JP2022024952A - 物体引渡しの機械学習制御 - Google Patents

物体引渡しの機械学習制御 Download PDF

Info

Publication number
JP2022024952A
JP2022024952A JP2020178736A JP2020178736A JP2022024952A JP 2022024952 A JP2022024952 A JP 2022024952A JP 2020178736 A JP2020178736 A JP 2020178736A JP 2020178736 A JP2020178736 A JP 2020178736A JP 2022024952 A JP2022024952 A JP 2022024952A
Authority
JP
Japan
Prior art keywords
posture
processor
memory
robot
data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2020178736A
Other languages
English (en)
Inventor
ヤン ウェイ
Jan Way
ジェイソン パクストン クリストファー
Jason Paxton Christopher
－ ウェイ チャオ ユー
Yu-Wei Chao
フォックス ディーター
Fox Dieter
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nvidia Corp
Original Assignee
Nvidia Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nvidia Corp filed Critical Nvidia Corp
Publication of JP2022024952A publication Critical patent/JP2022024952A/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1612—Programme controls characterised by the hand, wrist, grip control
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1628—Programme controls characterised by the control loop
    • B25J9/163—Programme controls characterised by the control loop learning, adaptive, model based, rule based expert control
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N5/00—Computing arrangements using knowledge-based models
    • G06N5/04—Inference or reasoning models
    • G06N5/041—Abduction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/30—Scenes; Scene-specific elements in albums, collections or shared content, e.g. social network photos or video
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/64—Three-dimensional objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/107—Static hand or arm
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/107—Static hand or arm
    • G06V40/11—Hand-related biometrics; Hand pose recognition
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1694—Programme controls characterised by use of sensors other than normal servo-feedback from position, speed or acceleration sensors, perception control, multi-sensor controlled systems, sensor fusion
    • B25J9/1697—Vision controlled systems
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00—Program-control systems
    • G05B2219/30—Nc systems
    • G05B2219/39—Robotics, robotics to robotics hand
    • G05B2219/39271—Ann artificial neural network, ffw-nn, feedforward neural network
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00—Program-control systems
    • G05B2219/30—Nc systems
    • G05B2219/39—Robotics, robotics to robotics hand
    • G05B2219/39487—Parallel jaws, two fingered hand
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00—Program-control systems
    • G05B2219/30—Nc systems
    • G05B2219/39—Robotics, robotics to robotics hand
    • G05B2219/39543—Recognize object and plan hand shapes in grasping movements
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00—Program-control systems
    • G05B2219/30—Nc systems
    • G05B2219/39—Robotics, robotics to robotics hand
    • G05B2219/39546—Map human grasps to manipulator grasps
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00—Program-control systems
    • G05B2219/30—Nc systems
    • G05B2219/40—Robotics, robotics mapping to robotics vision
    • G05B2219/40202—Human robot coexistence
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00—Program-control systems
    • G05B2219/30—Nc systems
    • G05B2219/40—Robotics, robotics mapping to robotics vision
    • G05B2219/40559—Collision between hand and workpiece, operator
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00—Program-control systems
    • G05B2219/30—Nc systems
    • G05B2219/40—Robotics, robotics mapping to robotics vision
    • G05B2219/40609—Camera to monitor end effector as well as object to be handled
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00—Program-control systems
    • G05B2219/30—Nc systems
    • G05B2219/40—Robotics, robotics mapping to robotics vision
    • G05B2219/40613—Camera, laser scanner on end effector, hand eye manipulator, local
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Evolutionary Computation (AREA)
  • Software Systems (AREA)
  • Multimedia (AREA)
  • Computing Systems (AREA)
  • Artificial Intelligence (AREA)
  • Robotics (AREA)
  • Mechanical Engineering (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Orthopedic Medicine & Surgery (AREA)
  • Computational Linguistics (AREA)
  • Medical Informatics (AREA)
  • Human Computer Interaction (AREA)
  • Molecular Biology (AREA)
  • Databases & Information Systems (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Manipulator (AREA)
  • Control Of Driving Devices And Active Controlling Of Vehicle (AREA)

Abstract

【課題】ロボットが人間のオペレータから物体を受け取れるようにする信頼性の高い引渡しの技法を提供する。【解決手段】ロボット制御システムは、物体１０２を保持している人間の手１０４の画像を取得し、人間の手１０４及び物体１０２の姿勢を推定し、人間の手１０４に干渉しないロボットの把持姿勢を決定することにより、人間の把持から物体１０２を取るようにロボットに指示する。少なくとも一実例では、深度カメラを使用して、物体１０２を保持している人間の手１０４の点群が取得される。人間の指をつまむ又はそれに接触することなく、人間の手１０４から物体１０２を取ることができる、ロボット・グリッパ１０６のための把持姿勢を生成するように訓練されたディープ・ネットワークに、点群が提供される。【選択図】図１

Description

タスクのロボティック・オートメーションは、重要な開発分野である。しかし、一部のタスクは、人間のオペレータとの協働が必要である。パーソナル・ケアのタスク、物体引渡し、又はロボットのタスクと手動のタスクとの間のインターフェース動作などのタスクは、ロボットと人間との間の相互作用が必要であることが多い。協働タスク空間内の１つの問題は、人間のオペレータとロボットとの間で物体を交換することである。タスク実行の一部として、交換は、ロボットから人間へ且つ／又は人間からロボットへ行われてもよい。人間の手から物体を取るとき、物体を確実に把持できるが人間の手に干渉する把持をロボットが選択する場合に、交換が困難になることがある。失敗すると、物体が落下することがあり、場合によっては人間のオペレータが負傷することがある。したがって、ロボットが人間のオペレータから物体を受け取れるようにする信頼性の高い引渡しの技法を開発することが、協働タスクの空間において重要な問題である。
図面を参照しながら様々な技法を説明する。
一実施例による、手のひらを下にして物体をつまむ把持を人間が実行する、人間とロボットとの相互作用姿勢の実例を示す図である。 一実施例による、物体を降ろす把持を人間が実行する人間とロボットとの相互作用姿勢の実例を示す図である。 一実施例による、手のひらを上にして物体をつまむ把持を人間が実行する人間とロボットとの相互作用姿勢の実例を示す図である。 一実施例による、水平方向に物体をつまむ把持を人間が実行する人間とロボットとの相互作用姿勢の実例を示す図である。 一実施例による、ロボットと人間の手の間で引渡しを実行するためのフレームワークの実例を示す図である。 一実施例による、ロボットからの物体の移動をプロンプトするために使用できる人間の手の姿勢の実例を示す図である。 一実施例による、物体を把持するために使用されてもよい手の姿勢の実例を示す図である。 一実施例による、ロボット・グリッパの実例を示す図である。 一実施例による、４本の指を有するロボット・グリッパの実例を示す図である。 一実施例による、ロボットと人間の相互作用の実例を示す図である。 一実施例による、人間とロボットとの相互作用システムの性能を表すデータを示す図である。 一実施例による、ロボットに物体を提示するために使用されてもよい手の姿勢の実例を示す図である。 一実施例による、コンピュータ・システムによって実行された結果、ロボットと人間の手との間で物体の移動を実行するプロセスの実例を示す図である。 少なくとも一実施例による、推論及び／又は訓練論理を示す図である。 少なくとも一実施例による、推論及び／又は訓練論理を示す図である。 少なくとも一実施例による、ニューラル・ネットワークの訓練及び展開を示す図である。 少なくとも一実施例による、例示的データ・センタ・システムを示す図である。 少なくとも一実施例による、自律車両の実例を示す図である。 少なくとも一実施例による、図１６Ａの自律車両のカメラのロケーション及び視野の実例を示す図である。 少なくとも一実施例による、図１６Ａの自律車両の例示的システム・アーキテクチャを示すブロック図である。 少なくとも一実施例による、クラウド・ベースのサーバと図１６Ａの自律車両との通信のためのシステムを示す図である。 少なくとも一実施例による、コンピュータ・システムを示すブロック図である。 少なくとも一実施例による、コンピュータ・システムを示すブロック図である。 少なくとも一実施例による、コンピュータ・システムを示す図である。 少なくとも一実施例による、コンピュータ・システムを示す図である。 少なくとも一実施例による、コンピュータ・システムを示す図である。 少なくとも一実施例による、コンピュータ・システムを示す図である。 少なくとも一実施例による、コンピュータ・システムを示す図である。 少なくとも一実施例による、コンピュータ・システムを示す図である。 少なくとも一実施例による、共有プログラミング・モデルを示す図である。 少なくとも一実施例による、共有プログラミング・モデルを示す図である。 少なくとも一実施例による、例示的な集積回路及び関連するグラフィックス・プロセッサを示す図である。 少なくとも一実施例による、例示的な集積回路及び関連グラフィックス・プロセッサを示す図である。 少なくとも一実施例による、例示的な集積回路及び関連グラフィックス・プロセッサを示す図である。 少なくとも一実施例による、追加の例示的グラフィックス・プロセッサ論理を示す図である。 少なくとも一実施例による、追加の例示的グラフィックス・プロセッサ論理を示す図である。 少なくとも一実施例による、コンピュータ・システムを示す図である。 少なくとも一実施例による、並列プロセッサを示す図である。 少なくとも一実施例による、パーティション・ユニットを示す図である。 少なくとも一実施例による、処理クラスタを示す図である。 少なくとも一実施例による、グラフィックス・マルチプロセッサを示す図である。 少なくとも一実施例による、マルチ・グラフィックス・プロセッシング・ユニット（ＧＰＵ）システムを示す図である。 少なくとも一実施例による、グラフィックス・プロセッサを示す図である。 少なくとも一実施例による、プロセッサ用のプロセッサ・マイクロ・アーキテクチャを示すブロック図である。 少なくとも一実施例による、深層学習アプリケーション・プロセッサを示す図である。 少なくとも一実施例による、例示的ニューロモーフィック・プロセッサを示すブロック図である。 １つ又は複数の実施例による、グラフィックス・プロセッサの少なくとも一部分を示す図である。 １つ又は複数の実施例による、グラフィックス・プロセッサの少なくとも一部分を示す図である。 １つ又は複数の実施例による、グラフィックス・プロセッサの少なくとも一部分を示す図である。 少なくとも一実施例による、グラフィックス・プロセッサのグラフィックス処理エンジン３５１０のブロック図である。 少なくとも一実施例による、グラフィックス・プロセッサ・コアの少なくとも一部分のブロック図である。 少なくとも一実施例による、グラフィックス・プロセッサ・コアの処理要素のアレイを含むスレッド実行論理３７００を示す図である。 少なくとも一実施例による、グラフィックス・プロセッサ・コアの処理要素のアレイを含むスレッド実行論理３７００を示す図である。 少なくとも一実施例による、並列処理ユニット（「ＰＰＵ」）を示す図である。 少なくとも一実施例による、汎用処理クラスタ（「ＧＰＣ」）を示す図である。 少なくとも一実施例による、並列処理ユニット（「ＰＰＵ」）のメモリ・パーティション・ユニットを示す図である。 少なくとも一実施例による、ストリーミング・マルチプロセッサを示す図である。
本明細書は、人間の手に提示された物体をロボットが受け取れるようにする視覚ベースのシステムについて説明する。一実例では、人間が物体を把持し、それを深度カメラで監視される視覚フィールド内に提示する。深度カメラは、物体を把持している手の３Ｄ画像を撮りそれをシステムに提供する。システムは画像から点群を生成し、人間の手に関連付けられた点群の部分と、物体に関連付けられた点群の部分とを分離する。この情報を使用して、システムは、人間の手の姿勢及び物体の姿勢を判定することができる。システムは、物体を把持するためにロボットによって実行されることが可能な把持のセットを生成し、次いでその把持のセットから、人間の手に干渉しない把持を選択する。一実装形態では、人間の把持が様々なタイプの手の姿勢に分類されて、物体を取得するためにロボットの適切な把持をシステムが選択するのを支援する。別の実装形態では、グラウンド・トゥルースの手及び物体の姿勢でアノテーション付けされた人間による物体引渡しのデータセットを前提として、ディープ・ネットワークが訓練され、このネットワークは、深度カメラによって観察された色付き点群を入力として取って、物体から人間の手をセグメント化し、ロボットが人間の指をつままずに、人間の手から物体を受け取ることができるように、ロボットの適切な把持及び制御を提案する。本明細書に記載の技法は、様々な実施例において、１台のロボットから別のロボットに、又は動物からロボットに物体が渡される場合に、又はいくつかの実例では、人間の手以外の付属肢から物体が取られるとき（たとえば、帽子を取るときなど）に、システムに適用されてもよい。
人間とロボットとの間で物体を移動させることは、人間と協働するロボットにとって重要な機能である。ロボットから人間への引渡しも、人間からロボットへの引渡しも難しいことがある。本明細書に記載のいくつかの技法は、人間からロボットへの引渡しの手法を説明し、この手法では、人間による物体の把持を分類し、それに応じて迅速に軌道を計画して、人間の意図に応じて人間の手から物体を取ることにより、ロボットが途中で人間に応じる。少なくとも一実施例は、様々な手の形状及び姿勢で物体を保持する典型的なやり方をカバーする人間の把持のデータセットを収集し、このデータセットについてディープ・モデルを学習して、これらのカテゴリのうちの１つに手の把持を分類する。少なくとも一実施例は、検出された把持及び手の位置に応じて、人間の手から物体を取り、また引渡しが妨げられたときには必要に応じて再計画する計画及び実行の手法を提供する。体系的評価により、本明細書は、様々な実施例が２つのベースラインよりも改善された引渡しを実現することを示す。
人間に物体を与え、人間から物体を取ることは、製造から家庭での身体的支援に至る用途にわたる協働ロボットにとって、基本的な機能である。いくつかの技法は、ロボットから人間への物体の移動に焦点を当て、反対の移動については、人間がロボットのグリッパに物体を置けばよいだけであると仮定する。この手法は、手術中など、人間が手元のタスクに注意を払う必要がある状況、又は障害により人間の運動性若しくは腕の動きが制限される状況では、場合により実行不可能である。したがって、少なくとも一実施例は、人間がロボットに物体を提示し、途中でロボットと接して物体を取るというやり方に適合し得る、より反応的な引渡しを実現する。
少なくとも一実施例では、人間からロボットへの引渡しを反応的にする際の１つの課題は、物体及び人間を確実且つ継続的に知覚することである。少なくとも一実施例は、コンピュータ・ビジョンの方法を利用して、人間の手の姿勢並びに６Ｄの物体姿勢を推定する。手の姿勢と物体の姿勢を別々に推定する技法を含む様々な技法が使用されてもよい。少なくともいくつかの実施例は、手が物体と相互作用している間に、手及び物体の姿勢を推定する。
少なくとも一実施例では、本明細書に記載の技法は、人間からロボットへの引渡しの知覚の問題を、手の把持の分類問題として策定することにより、それに対処する。一実例では、この技法は、人間が小さい物体を保持できるやり方をいくつかのカテゴリに離散化し、物体を保持している所与の人間の手をこれらの把持カテゴリのうちの１つに分類するディープ・モデルを学習するためのデータセットが収集される。引渡しタスクは、頑健論理動的システム（Ｒｏｂｕｓｔ Ｌｏｇｉｃａｌ－Ｄｙｎａｍｉｃａｌ Ｓｙｓｔｅｍ）としてモデル化され、このシステムは、人間の把持の分類を前提として、グリッパと人間の手の接触を回避する動作計画を生成する。少なくとも一実施例は、２つのベースライン方法と比較され、その方法の一方は、人間の手の姿勢を推論しない方法であり、他方は、独立した手と物体の姿勢推定に依存する方法である。少なくとも一実施例は、この２つのベースラインより、我々の手法の方が成功率及び時間効率が高いことを実証する。ユーザ調査（Ｎ＝９）が示され、先入的知識のないユーザがロボットに注意を払っているときと、二次的タスクに集中しているときの両方で、これらユーザに伴う有効性を実証する。
少なくとも一実施例は、視覚ベースの信頼性の高いアルゴリズムを提供し、このアルゴリズムは、人間からロボットへの引渡し又はロボットからロボットへの引渡しのタスクについて、たとえば、ロボットが人間又は別のロボットからどのように物体を取ることができるかについて、衝突を回避するための把持を生成することができる。少なくとも一実施例は、物体が人間の手によってどのように保持されているかに基づき、ロボットが物体を把持するやり方を調節する。その結果、少なくとも一実施例は、人間の手と接触しないことについて、より信頼性が高い。
人間とロボットとの間の引渡しは、協働的な製造から家庭での支援に至る多数の応用分野にわたって、人間とロボットとの協働において重要なトピックである。少なくとも一実施例は、ロボットが手に物体を持った状態から開始しそれを人間に渡す、ロボットから人間への引渡しに焦点を当てる。１つの課題は、最適化すべきロボットの行動のパラメータを選択して、滑らかな引渡しを行うことである。これには、ユーザの快適さ、主観的フィードバックに基づく嗜好、引渡し後の物体のアフォーダンス及び目的とする使用法、人間の動作制約、人間の社会的役割、並びに引渡し前に把持されているときの物体の構成を考慮して、物体姿勢、及び物体に対するロボットの把持を選択することが含まれる。少なくとも一実施例は、引渡し姿勢に到達するための軌道のパラメータを重要視して、アプローチ角度、引渡し姿勢とは対照的な軌道の開始姿勢、動作の円滑さ、物体の開放時間、推定される人間の手首姿勢、引渡し段階の相対的なタイミング、及び人間の人間工学的な嗜好を探る。いくつかの実施例は、引渡しパラメータのオフライン計算に焦点を当てる一方で、少なくとも一実施例は、反応的な引渡しを可能にするために人間の知覚を必要とする。
本明細書に記載の技法は、反応的な引渡しを可能にし、人間の手の姿勢推定技法を利用するために、人間の知覚に焦点を当てる。人間の手の姿勢推定は、２次元ＲＧＢ単眼画像、又は３Ｄ深度カメラ情報の両方を用いて実現することができる。一般に、３Ｄ深度カメラは、２次元ＲＧＢ画像のみに依存する技法よりも、手の姿勢をより正確に推定できるようにする追加的な情報を提供する。
本明細書に記載の技法は、ロボットの反応的なタスク計画を自動で生成するための手法である頑健論理動的システムに基づきタスクを実行するためのシステムを実装する。少なくとも一実施例では、この概念は、現在の論理状態を継続的に識別し、論理状態の不確実性及び変化に対処するように反応的に再計画するものであり、部分的に観察可能な環境を取り扱うのに有用な手法である。いくつかの実例では、人間とロボットとの協働に有用な、複雑なタスクを表現するための方法であるＢｅｈａｖｉｏｒ Ｔｒｅｅと同様のやり方で、タスク・モデルを考えることができる。
少なくとも一実施例は、人間の把持姿勢を分類することによって、この問題を部分的に解決する。少なくとも一実施例では、人間の把持姿勢は７つのカテゴリに離散化され、これらのカテゴリは、人間の手が物体を把持できるすべてのやり方をカバーしていないことがある。
少なくとも一実施例では、グラウンド・トゥルースの手及び物体の姿勢でアノテーション付けされた、人間による物体引渡しのデータセットが生成される。このデータセットを使用してディープ・ネットワークが訓練され、このネットワークは、ＲＧＢ深度カメラによって取得された色付き点群を入力として取って、物体から人間の手をセグメント化し、ロボットが人間の指をつまむ又はそれに接触することなく、人間の手から物体を受け取ることができるように、ロボットの把持及び制御を提案する。
本明細書に記載の技法の１つの利点は、手と物体の操作データセットから学習することにより、人間の手（又は、別のロボットのグリッパ）をつままずに、人間の手／別のロボットから物体を受け取ることができるロボットの把持を、モデルが生成できるかもしれないことである。いくつかの実例は、多くのウェアラブル・センサより安価で軽量なＲＧＢ－Ｄカメラに基づく低コストの解決策を提供する。様々な実施例は、より複雑なロボット・システムを構築するときに重要である確実な引渡しを可能にする。たとえば、本明細書に記載の技法は、人間と緊密に作業できる高齢者介護ロボット又は調理ロボットに適用可能であってもよい。
本明細書に記載の技法は、様々な実施例において、（１）分類の問題として提示された引渡しについて、多様な手の形状及び姿勢をカバーするデータセットによる、手と物体の相互作用の推理、（２）ロボットが滑らかで自然に人間に反応できるように、人間から物体を取るためのロボットの把持を適応的に計画するシステム、並びに、（３）ベースライン方法よりも改善されていることを実証する実験結果、及び先入的知識のないユーザについて我々の手法を検証するユーザ調査を提供する。
人間の手は、物体を異なるやり方で。人間の手は、物体をその手のひらにおいて提示することができ、又はつまむ把持を使用し物体を異なる向きで提示することができる。本明細書に記載の技法は、人間がどの把持を使用しているかを判定することができ、それに適宜順応して、人間とロボットとの間の反応的な引渡しを可能にする。
図１は、一実施例による、手のひらを下にして物体をつまむ把持を人間が実行する、人間とロボットとの相互作用姿勢の実例を示す図である。ロボット１００は、人間の手１０４から物体１０２を取るように位置決めされる。少なくとも一実施例では、深度カメラは、物体１０２を把持している人間の手１０４の画像を撮り、この画像から点群を生成し、この点群を訓練済みニューラル・ネットワークに提供する。ニューラル・ネットワークは、ロボット１００に連結されたロボット・グリッパ１０６について適切な把持を生成し、それによりロボット・グリッパ１０６は、人間の手１０４に干渉することなく物体１０２を把持することができる。
図２は、一実施例による、物体を降ろす把持を人間が実行する人間とロボットとの相互作用姿勢の実例を示す図である。ロボット２００は、人間の手２０４から物体２０２を取るように位置決めされる。少なくとも一実施例では、深度カメラは、物体２０２を把持している人間の手２０４の画像を撮り、この画像から点群を生成し、この点群を訓練済みニューラル・ネットワークに提供する。ニューラル・ネットワークは、ロボット２００に連結されたロボット・グリッパ２０６について適切な把持を生成し、それによりロボット・グリッパ２０６は、人間の手２０４に干渉することなく物体２０２を把持することができる。
図３は、一実施例による、手のひらを上にして物体をつまむ把持を人間が実行する人間とロボットとの相互作用姿勢の実例を示す図である。ロボット３００は、人間の手３０４から物体３０２を取るように位置決めされる。少なくとも一実施例では、深度カメラは、物体３０２を把持している人間の手３０４の画像を撮り、この画像から点群を生成し、この点群を訓練済みニューラル・ネットワークに提供する。ニューラル・ネットワークは、ロボット３００に連結されたロボット・グリッパ３０６について適切な把持を生成し、それによりロボット・グリッパ３０６は、人間の手３０４に干渉することなく物体３０２を把持することができる。
図４は、一実施例による、水平方向に物体をつまむ把持を人間が実行する人間とロボットとの相互作用姿勢の実例を示す図である。ロボット４００は、人間の手４０４から物体４０２を取るように位置決めされる。少なくとも一実施例では、深度カメラは、物体４０２を把持している人間の手４０４の画像を撮り、この画像から点群を生成し、この点群を訓練済みニューラル・ネットワークに提供する。ニューラル・ネットワークは、ロボット４００に連結されたロボット・グリッパ４０６について適切な把持を生成し、それによりロボット・グリッパ４０６は、人間の手４０４に干渉することなく物体４０２を把持することができる。
少なくとも一実施例では、ロボットが人間の手から物体を取るときに、人間の手によって物体が把持されているやり方に応じてロボットの動作が調節される。概して、これにより、ロボットが非直感的なやり方で挙動すること、又は人間の指を邪魔する、若しくはさらに人間の指と危険な接触をするやり方で挙動することが防止される。少なくとも一実施例では、アジュール身体追跡（Ａｚｕｒｅ Ｂｏｄｙ Ｔｒａｃｋｉｎｇ）のソフトウェア開発キット（「ＳＤＫ」）によって検出された人間の手を中心とする点群を取り、次いで物体が人間の手によってどのように把持されるかに基づき、手の把持のクラスを推定することにより、引渡しフレームワークがこの問題に対処する。次いで、少なくとも一実施例は、ロボットの把持を順応的に計画する。
図５は、一実施例による、ロボットと人間の手の間で引渡しを実行するためのフレームワークの実例を示す。一実例では、フレームワークは、物体を保持する手を示すＲＧＢＤ画像５０２を取得する。ＲＧＢＤ画像を使用して、手及び物体の点群５０４が生成される。少なくとも一実施例では、フレームワークは、手の検出を中心とする点群を取り、次いで人間のユーザにより物体が把持される傾向がある様々なやり方をカバーする７つの把持タイプのうちの１つとして点群を分類するために、モデル５０６を使用する。次いで、タスク・モデルは、ロボットの把持を順応的に計画する５０８。
図６は、一実施例による、ロボットからの物体の移動をプロンプトするために使用できる人間の手の姿勢の実例を示す。たとえば、第１の手の姿勢６０２は、人間が物体を受け取る準備ができたことを知らせる姿勢として設計されてもよく、第２の手の姿勢６０４は、人間がロボットから物体を受け取る準備ができていないことを示す姿勢として設計されてもよい。
少なくとも一実施例は、引渡しのタスクのために物体が人間の手によって把持されるやり方を示す人間の把持の離散的なセットを定義する。少なくとも一実施例は、人間とロボットとの間の引渡しのタスクについてよくある人間の把持を、図７に示すものなどの７つのカテゴリに離散化する。たとえば、手がブロックを把持している場合には、手の姿勢は、開いた手のひらの上、下部をつまむ、上部をつまむ、側部をつまむ、又は持ち上げるとして分類されることが可能である。別の例では、手が何も保持していない場合には、手は、ロボットが物体を渡すのを待っているか、特に何もしていない（その他）のいずれかとすることができる。
図７は、一実施例による、物体を把持するために使用されてもよい手の姿勢の実例を示す図である。第１の手の姿勢７０４は、開いた手のひらに物体が保持されている様子を示す。第２の手の姿勢７０４は、下部のつまみ位置で物体が保持されている様子を示す。第３の手の姿勢７０６は、持ち上げる姿勢で物体が保持されている様子を示す。第４の手の姿勢７０８は、上部のつまみ位置で物体が保持されている様子を示す。第５の手の姿勢７１０は、側部からつままれたときに物体が保持されている様子を示す。物体をロボットに提示するときに、上記その他の手の姿勢が、人間によって使用されてもよい。いくつかの実装形態では、図７に示す手の姿勢のカテゴリなど、手の姿勢の分類が使用されてもよい。他の実装形態では、手の姿勢は、図７に示していない様々なタイプの手の姿勢を含んでもよい自由形式とすることができる。こうした実例では、システムは、手の点群又は骨格姿勢を使用して、ロボットが人間の手から物体を取るのに適した姿勢を構築してもよい。
図８Ａは、一実施例による、ロボット・グリッパの実例を示す。一実例では、ロボット・グリッパ８０２は、閉じたり離したりできるあご８０４のセットを含む。いくつかの実例は、力の程度をシステムによって取得できるように、あご８０４の表面に触覚センサを含んでもよい。いくつかの実例では、グリッパ８０２は、システムの制御下であご８０４のセットを関節駆動及び位置決めすることができる手首関節を含む。
図８Ｂは、一実施例において使用することができる４本の指を有するロボット・グリッパ８０６の実例を示す。ロボット・グリッパ８０６は、人間の手をほぼ真似た第１の指８０８、第２の指８１０、第３の指８１２、及び対向する指８１４を含む。ロボット・グリッパ８０６は、本明細書に記載し図示する様々な実施例により使用することができる。たとえば、人間の手に保持された物体を、人間の手に干渉しないやり方で取るために、ロボット・グリッパ８０６が使用されてもよい。さらに、より多く又はより少ない指を有する他のタイプのロボット・グリッパも、使用することができる。一実例では、ロボット・グリッパは２本、３本、４本、５本、又はそれ以上の指を有してもよく、各指は、物体の把持を支援するための摩擦表面を有してもよい。一実例では、ロボット・グリッパの指は、物体との接触を示すことによりシステムを支援する触覚センサを有してもよい。一実例では、グリッパは、鉄を含む物体を人間の手から取るのを支援するために磁気要素を含んでもよい。別の実例では、グリッパは、物体を捕捉するための真空ピックアップ要素を含んでもよい。
一実例では、人間の把持を分類するためのモデルを学習するために、実施例は、アジュール・キネクト（Ａｚｕｒｅ Ｋｉｎｅｃｔ）ＲＧＢＤカメラを使用することにより、様々な手の形状及び手の姿勢を有する８人の対象者をカバーするデータセットを生成する。たとえば、一実装形態では、手の把持の例示的な画像が、対象者に示され、その対象者によって実行された同様の姿勢が、２０秒～６０秒にわたって記録される。一連の画像は、人間の把持の対応するカテゴリとしてラベル付けされる。記録中、対象者は自らの体及び手を異なる位置に動かして、カメラの視点を多様化することができる。対象者ごとに左右両方の手が記録される。一実例では、データセットは１５１，５５１個の画像から構成される。
深度画像についてＣｏｎｖＮｅｔｓを用いて深層特徴を学習する代わりに、少なくとも一実施例は、点群についてＰｏｉｎｔＮｅｔ＋＋を採用して、人間の把持を分類する。少なくとも一実施例では、バックボーンのネットワークは、点特徴を学習するための４つのセット抽象化層と、バッチ正規化、ＲｅＬｕ、及びドロップアウトを有する３層のパーセプトロンから構成されて、グローバル特徴の学習及び人間の把持の分類が行われる。手の周りでクロッピングされた点群を前提として、ネットワークは、定義された把持カテゴリのうちの１つにそれを分類し、これがロボット把持のさらなる計画のために使用されてもよい。
少なくとも一実施例は、人間からロボットへの引渡し中に人間の労力を最小に抑えるために、それぞれの人間の把持タイプを、規範的なロボット把持方向と関連付ける。図３に示すように、座標が、カメラ・フレーム内の規範的なロボット把持フレームを示す。動機は、ロボットが人間の手をつかむ可能性を低くしながら、その動作及び軌道を、可能な限り自然で円滑に保つことである。
タスク・モデルの少なくとも一実施例は、頑健論理動的システムに基づく。これは、特定の特性を有し反応的に実行される演算子ｏのリストとして、タスクを表す。各演算子は、タプルｏ＝｛ＬＰ，ＬＲ，ＬＥ，π｝であり、ここでＬＰは、ｏに入る際の論理前提条件のセットであり、ＬＲは、ｏの実行が進行中に適用しなくてはならない実行条件のセットであり、ＬＥは、真になることになる論理効果のセットである。演算子は、ポリシーπにも関連付けられ、ポリシーπは、効果ＬＥを実現するのに必要な制御を生成する。少なくとも一実施例では、ポリシー及び述語はデータから学習されるが、他の実施例では、手動で指定される。計画を前提として、少なくとも一実施例は、変更に迅速に応答できるように１０ｈｚで条件を確認して、優先順位が最も高い、前提条件が満たされる演算子を選択する。
図９は、一実施例によるロボットと人間の相互作用の実例を示す。図９は、最終的なタスク計画の様々なステップの概要を提供する。少なくとも一実施例では、システムは、人間のユーザに近づき、そのユーザから物体を取る正しいやり方を反応的に選択して、様々な実現可能な把持に順応しなくてはならない。一実例では、システムは、人間がどのようにブロックを提示したいのかについて安定した推定が得られるまで、「ホーム」位置に留まり待機する。
様々な実施例では、人間からロボットへの引渡しは、人間が適切な姿勢で物体を提示するのをロボットが待機し９０２、次いで物体を把持できるようにロボット・グリッパを位置決めする計画を作成し９０４、物体９０６を把持し９０６、次いでいくつかの実例では物体を落とす９０８という４つのステージで実現される。
反応的な局所的計画を使用するだけではなく、いつくかの実装形態は、多数の実現可能な把持に基づき計画し、知的な決定を下して、人間のユーザにとって自然な把持を見いだす。以下の表は、タスク計画の一実施例を、優先順位の高いものから示す。以下の表には、タスク実行のための演算子及び対応する前提条件ＬＰ、並びに反応的な実行が示してある。演算子は、優先順位の高いものから列挙され、すべての前提条件が真ならば、本明細書に記載の技法は、前に実行された演算子が何であったかに関わらず、関連する演算子を実行する。
Figure 2022024952000002
人間を待機。少なくとも一実施例は、ロボットが手でどのように相互作用すべきかを決定するいくつかの述語を算出する。すなわちｓｔａｂｌｅ、ｈａｎｄ＿ｏｖｅｒ＿ｔａｂｌｅ、及びｈａｎｄ＿ｈａｓ＿ｏｂｊ、及びｔｏｏ＿ｃｌｏｓｅ＿ｔｏ＿ｈａｎｄである。述語ｈａｎｄ＿ｏｖｅｒ＿ｔａｂｌｅは、これらの観察が、上に示したテーブル上の特定のボリューム内にあるか否かに対応し、ｓｔａｂｌｅ（）は、手が動いておらず、且つ手が少なくとも５回のタイムスタンプ（０．５秒）にわたって観察されているならば、真である。これは、少なくとも部分的に速度：
ｓｔａｂｌｅ（）＝｜｜ｘｔ－１－ｘｔ｜｜２＜λ
に基づき定義され、ここで閾値λについて位置がｘ、時間がｔである。これらの条件が真でない場合には、ロボットはホーム位置で待機する。
人間を回避。少なくとも一実施例では、いずれかの手についてｔｏｏ＿ｃｌｏｓｅ＿ｔｏ＿ｈａｎｄ（）が真であり、ロボットが、特定の把持に対応するアプローチ領域にない場合には、ロボットは手を回避しようとし、ホーム位置に戻ることになる。少なくとも一実施例は、エンド・エフェクタと手の間のユークリッド距離が２０ｃｍ未満の場合には、ｔｏｏ＿ｃｌｏｓｅ＿ｔｏ＿ｈａｎｄ（）が真になるように定義する。
実現可能なゴールを見いだす。ロボットの動作が安全であるようにするため、純粋に反応的なポリシーではなく、本明細書に記載の技法は、実行するための全体的な軌道を計画する。ｓｔａｂｌｅ（）、ｈａｎｄ＿ｏｖｅｒ＿ｔａｂｌｅ（）、及びｈａｎｄ＿ｈａｓ＿ｏｂｊ（）の場合には、ロボットは、上述した規範的な把持姿勢を使用して、手から物体を取ろうとする。
少なくとも一実施例では、有効な軌道ξを見いだすために、ロボットはまず、有効な把持姿勢を見いだし、それによりシステムは、ｈａｓ＿ｇｏａｌ及びｉｓ＿ｇｏａｌ＿ｖａｌｉｄを加える。これらのいずれもが偽の場合には、システムは妥当なゴール姿勢をサーチする。
少なくとも一実施例では、プランナが、ゴール姿勢の候補及び関連するスタンドオフ位置のリストを生成する。一実例では、図３のｙ軸周りのθ＿ｙ∈｛－π／４，－π／８，０，π／８，π／４｝、及びｚ軸周りのθ＿ｚ∈｛Ｏ，π｝の回転において１０個の選択肢が存在する。少なくとも一実施例では、実行可能なゴール選択肢とみなされるためには、把持位置とスタンドオフ位置の両方が、衝突の可能性がなく、有効なＩＫ解を有さなくてはならない。様々な実例では、状態が有効かどうかを判定するときに、ロボットは物体についてその視界を決してオクルードしてはいけないという制約も加えられる。
計画を見いだす。少なくとも一実施例では、プランナがゴール選択肢のリストを有する場合、プランナは次いで、現在の関節構成からのゴール選択肢の距離に応じて、ゴール選択肢をソートし、ＲＲＴ－Ｃｏｎｎｅｃｔ［５８］を使用して、スタンドオフ位置までの動作計画を見いだそうとする。システムが把持姿勢と動作計画の両方を見いだすことができる場合には、ロボットは、サブポリシーを実行してこの動作計画に従う。
しかし、人間はその手を動かすことがあり、又はその手にある物体の持ち方を変えることがある。関連する動作計画をゴールが有し、物体が最初に観察された場所の何らかの閾値内でその物体が動いていない場合には、ゴールは（述語ｉｓ＿ｇｏａｌ＿ｖａｌｉｄのとおり）有効とみなされる。物体が過剰に動く場合、ロボットは停止し、タスク・モデルは新しい把持を見いだすことに戻る。
物体を把持。少なくとも一実施例では、動作計画が完成すると、ロボットはスタンドオフ姿勢になり、関連するゴール姿勢、すなわち人間の手の中にある物体の予想される位置を有するはずである。これら２つの姿勢により、アプローチ領域、すなわち、物体に近づくためにロボットがその中で動くことができる円錐ボリュームが定義される。グリッパが閉じると、ロボットがそのゴール姿勢にある場合には、述語ｈａｓ＿ｏｂｊが真に設定される。把持演算子は、物体をオクルードすることがあり、したがってこれは、単に遮断する開ループ行動として実行される。
グリッパを開放。少なくとも一実施例では、ｈａｓ＿ｏｂｊが真で、ロボットが自分は物体を保持していると考えていることが示される場合、物体が移動していたり、姿勢推定が誤りであったりしたときには、この知覚は誤りであることがある。いくつかの実例では、グリッパが完全に閉じられたことを述べる述語ｇｒｉｐｐｅｒ＿ｆｕｌｌｙ＿ｃｌｏｓｅｄが加えられる。両方の条件が真の場合、ｈａｓ＿ｏｂｊは偽に設定され、ロボットは異なる状態に戻る。
落としに動く、及び物体を落とす。少なくとも一実施例では、落とし位置は、単一の関節空間位置であり、ロボットは、安全な、衝突の可能性のない動作計画を見いだすことになる。ロボットが落とし位置にある場合、システムは、グリッパを開放し物体をテーブルに置くようロボットに指示することになる。
上述した分類モデル及びタスク・モデルを含め、システム全体の一実例の体系的な試験を、図７に示す様々な手の位置及び把持について実行した。実施例は、同一のテーブルの異なる場所に装着された２つの異なるＦｒａｎｋａ Ｐａｎｄａロボットを使用する。人間のユーザは、４個の色付きブロックを１回に１個、ロボットに渡した。体系的な評価中、どの把持姿勢を使用して人間から物体を取るかを決定するための３つの手法が、それぞれ試験された。
単純なベースライン：人間の手の中のブロックを見るまで待機し、固定された把持配向を使用して手から物体を取る。人間の手は、マイクロソフトのアジュール身体トラッカによって検出される。
手の姿勢推定：状態推定に基づくシステムのバージョンであり、このバージョンでは、アジュール身体トラッカからの人間の手の姿勢を使用して、把持方向が推論される。
提案されたシステムの実施例：人間の把持を、上述した深度情報に基づき分類する提案されたシステム。
変形形態が、上述したのと同じタスク・モデルを実行した。これら３つのテスト・ケースを提供する順番がランダム化された。ユーザは、自らの右手を使用して、ロボットにブロックを提示した。
システム性能は、試験中に算出された計量基準のセットを用いて評価された。これらは、ユーザがタスクを実行している間に自動で算出され、ログ記録された。
計画成功率：ｆｏｌｌｏｗ＿ｐｌａｎ演算子がうまく実行できた回数であり、ロボットをそのスタンドオフ姿勢にし、人間とシステムの両方の確実性を測定する。
把持成功率：ロボットが試みた把持の総数に対して、どのくらいの頻度でロボットが人間の手からうまく物体を取ることができたかである。
行動実行時間：計画された単一の軌道を実行し、ブロックを把持し、それをテーブルに置くのにかかった時間量を追跡する。ブロックを人間から把持するためにロボットがより長い経路を取らなくてはならない場合、これは高くなる。
合計実行時間：人間が動いたことによる、又は把持のやり方を変えたことによる再計画を含め、計画されたすべての経路を実行するのにかかった時間量である。
試験持続時間：人間の手が最初に検出されてから、試験が完了するまでの時間である。
図１０は、体系的評価中の様々な計量基準についての結果を示す。本明細書に記載の技法は、他の２つのベースライン方法に比べて、一貫して成功率を改善し、合計実行時間及び試験持続時間短縮しており、これにより、この方法の有効性及び信頼性が証明される。第１のチャート１００２では、人間の手の把持分類の精度が示される。第２のチャート１００４では、我々の手の状態分類とＰｏｓｅＣＮＮとの、物体ミス検出率の比較が示される。多くの事例において、手が物体をオクルードしており、正確な姿勢推定を得ることが非常に難しいことを意味している。
１つの例外は、Ａｃｔｉｏｎ Ｅｘｅｃｕｔｉｏｎ Ｔｉｍｅであり、ここでは単純なベースライン方法の方が高速な場合があるが、これは単純なベースライン方法は、他の方法ほど順応的に計画せず、例外的な把持を試みようとはしないからである。これは、成功したアプローチから物体を落とすまでの時間が、平均して、場合により著しく短くなりうることを意味する。
人間の把持分類の評価：一実施例は、訓練手順中には見られなかった対象者によって収集された検証セットについて、手の把持分類モデルを評価する。分類精度は、第１のチャート１００２に報告されており、これは、初見の対象者について我々のモデルの良好な汎化能力を実証している。
さらに検出率、すなわち手の中に物体があるかどうかを評価するための実験が実行されて、オクルージョンに対して引渡しシステムがどれくらい頑健かについて見識が提供される。我々の手の把持分類モデルの検出率（物体がある／ない）が、代替的な物体検出方法の検出率と比較される。結果を第２のチャート１００４に報告する。本明細書に記載の人間の把持モデルの一実施例は、特に高いオクルージョンが生じる場合に、代替方法に比べてより高い検出率を実現し、より頑健である（たとえば、側部をつまむについては８７．５％対６．８％、持ち上げるについては、９４．４％対１１．９％）。
システムが滑らかな人間とロボットとの協働を可能にしたことを検証するために、ユーザ調査が実施された。２０歳～３６歳の９人のユーザが採用された。そのうち２人が女性で、７人が男性であった。平均年齢は、３０．４４±４．７４歳であった。調査は３回で構成された。
自由形式：ユーザは４個のブロックを与えられ、テーブルの前に立ち、ブロックを１度に１個ロボットに渡すように指示された。ユーザは、ユーザの手が動かない場合のみロボットはブロックを取るが、ユーザは任意の好きなやり方でブロックを保持してもよいと指示された。
注意を払っている状態：図３に示す５種類の人間の把持のセット、すなわち上部をつまむ、下部をつまむ、側部をつまむ、持ち上げる、及び開いた手のひらの上、が実演された。参加者は、再び４個のブロックを渡すように言われた。参加者は、所定の手の把持を試すように勧められたが、任意の他の把持を使用することができた。
注意が逸らされた状態：注意を逸らすものが存在するなかで、ユーザ性能が試験された。
我々の定量的な計量基準に基づく引渡し性能の結果を、以下の表に示す。計画成功率は、どれくらいの頻度でシステムがそのアプローチを再計画する必要があったかを示し、それに対して把持成功率は、システムが物体をうまく取った回数として示す。
Figure 2022024952000003
上述した計量基準に加えて、ユーザ調査中に以下の統計もカウントした：（ａ）ロボット把持が人間の指に接触した回数、（ｂ）使用する把持をユーザが変更した回数、（ｃ）ユーザが手の位置を変えた回数。各試験の後に、参加者は、ブロックをロボットに渡す間に自らが経験した何らかの問題を述べるように依頼された。３回の試験がすべて実行された後に、参加者は、リッカート尺度のアンケートに記入し、自らの答えを説明するように依頼された。
様々な反応があったが、ユーザは、滑らかにロボットとともに作業し、ロボットが適切な行動をすると考えていたと話したものの、フィードバックを求められたとき、いくつか共通の問題に言及した。またユーザは、自らの行動をロボットが認識していたとも考えていた。
ユーザ・データについての定量的計量基準を上の表に示す。ユーザの注意が逸らされたときには、アプローチ及び把持はそれほど成功しなかったが、時間は同様である。ユーザは、音楽ビデオ内で平均１２：８８±３：４８の顔を数え、このときの正しい数は１３であった。これは、ユーザの多くが、引渡しシステムにある一定レベルの自信を感じており、ビデオに充分な量の注意を払っていたことを示唆している。
一実施例では、本明細書に記載の人間の把持のカテゴリ化は、典型的なユーザ把持の７７％をカバーする。少なくとも一実施例は、初見の人間の把持のほとんどに対処することができ、初見の人間の把持は不確実性が高くなる傾向にあり、場合によってはロボットを後退させ、再計画させることがある。これらの初見の把持のいくつかを図１１に示す。図１１は、我々の訓練データセットには現れない外れ値の把持の実例、及び我々のシステムがより高い不確実性を示して引渡し性能がわずかに悪くなった把持のタイプの実例を示す。
注意が逸らされた状態の最終的な試験中に、ユーザは、最初の２回と比較してより頻繁に、再位置決めする、又は把持の仕方を変える必要があった。何人かのユーザは、指が挟まれたと訴え、又はロボットが物体を把持し損なったのを目の当たりにした。あるユーザは具体的に「手のひらを上に向ける手の姿勢を選んで使用して」失敗のリスクを最小に抑え、別のユーザは「１０秒程度ごとにロボットを見なくてはいけなかった」。
以下の表は、ユーザ調査の定量的な結果を提供する。ユーザは、注意が逸らされた状態で、異なる状況に集中しなくてはならないときでも、迅速にタスクを完了することができた。
Figure 2022024952000004
少なくとも一実例では、システム判別しやすい、どのブロックをロボットが動かそうとうとしているか、及びどのようにそこに到達しようとしているかを示す。
全体的に、試験中、ロボットがブロックを控えめにつかもうとしているとき、ユーザはすぐに気付く。またユーザは、ロボットの把持及びアプローチ中にわずかな誤りに気付くこともあるが、通常ユーザ自身がそれに合せて調節する。実験の第２回目の後、ユーザに物体の持ち方が示されると、システムはより信頼性の高い、一緒に作業しやすいものになった。
本明細書は、異なるタイプの把持を分類することによって、人間とロボットとの間の引渡しを可能にするシステムの実施例を説明する。他の実施例は、ニューラル・ネットワークを訓練して、物体を保持する人間の手の点群から把持を生成することにより、計画システムをより柔軟にし、全般的な把持タイプをサポートする。これらの技法の変形形態は、医療手術、製造、及びパーソナル・ケア作業など、人間とロボットとの多くの他のタイプの協働に適用することができる。
図１２は、一実施例による、コンピュータ・システムによって実行された結果、ロボットと人間の手の間で物体の移動を実行するプロセスの実例を示す。少なくとも一実施例は、図１３～図４１に示し、関連した説明に述べるものなどのコンピュータ・システム、プロセッサ、ＧＰＵ、又は機械学習ネットワークを使用して、実装されてもよい。少なくとも一実施例は、コンピュータ・システムの１つ又は複数のプロセッサによって実行された結果、以下に説明する動作をコンピュータ・システムに実行させる命令を記憶するコンピュータ可読メモリから、実行可能な命令を読み取るプロセッサを使用して実装される。
少なくとも一実施例では、ブロック１２０２において、物体を保持する手の画像が、深度カメラを使用して取得される。様々な実例では、深度カメラは、双眼ＲＧＢカメラ、医療用撮像装置、たとえば３次元ｘ線、超音波、ＣＡＴスキャン、又は磁気共鳴撮像画像（「ＭＲＩ」）とすることができる。自動運転車両を含むものなどのいくつかの実例では、画像は、レーダ撮像装置又はレーザ撮像装置（「ＬＩＤＡＲ」）で生成された画像であってもよい。少なくとも一実施例では、ブロック１２０４において、システムは、画像から点群を生成する。点群は、物体及び手を表す点の３次元セットを提供する。一実例では、点群は、ＲＧＢ深度カメラからの色付き点群である。
少なくとも一実例では、ブロック１２０６において、システムは点群を処理し、物体を保持している手を表す点群の第１の部分を識別する。ブロック１２０８において、システムは、物体を表す点群の第２の部分を識別する。点群の適切な部分を使用して、ブロック１２１０では、少なくとも一実例において、点群の第２の部分から物体の姿勢を判定し、点群の第１の部分から手の姿勢を判定する１２１２。一実例では、手の姿勢は、手の指について関節及びセグメントの長さを含む手の骨格構造を識別することを含む。
少なくとも一実施例では、ブロック１２１４において、システムは、グリッパが物体を把持できるようにするロボット・グリッパの把持姿勢のセットを生成する。これは、ブロック１２１０において判定された物体及び／又は物体の姿勢を表す点群の部分を使用して実現されてもよい。少なくとも一実施例では、物体の姿勢情報は、空間における物体のサイズ、形状、及び配向を含む。物体の配向は、垂直方向及び水平方向の回転及び傾斜を含むことができる。人間の手に干渉することになるが、それでも手が存在しない場合には好ましい多くの姿勢を、把持姿勢のセットは含んでもよい。
したがって、ブロック１２１６において、システムは、把持姿勢のセットから、手に干渉しない特定の把持を識別する。手に干渉することは、手に接触すること、又はロボット・グリッパによって手若しくは手の一部をつまむことを意味する。少なくとも一実施例では、システムは、手の指からの距離を最大限にしながら、物体にとって充分な安全基準を満たす把持を選択する。手に接触しない適切な把持を識別したあと、ブロック１２１８において、システムは、識別された把持を実行して人間の手から物体を取るよう、ロボットに指示する。
推論及び訓練の論理
図１３Ａは、１つ又は複数の実施例に関して推論及び／又は訓練の動作を実行するために使用される推論及び／又は訓練論理１３１５を示す。推論及び／又は訓練論理１３１５に関する詳細事項は、図１３Ａ及び／又は図１３Ｂと併せて以下に提供される。
少なくとも一実施例では、推論及び／又は訓練論理１３１５は、１つ又は複数の実施例の態様において推論するように訓練及び／若しくは使用されるニューラル・ネットワークのニューロン若しくは層を構成するための順伝播及び／若しくは出力の重み、及び／若しくは入力／出力データ、及び／若しくは他のパラメータを記憶するためのコード並びに／又はデータ・ストレージ１３０１を、限定することなく含んでもよい。少なくとも一実施例では、訓練論理１３１５は、タイミング及び／又は順序を制御するためのグラフ・コード又は他のソフトウェアを記憶するためのコード及び／又はデータ・ストレージ１３０１を含んでもよく、又はそれに結合されてもよく、コード及び／又はデータ・ストレージ１３０１には、重み及び／又は他のパラメータ情報がロードされて、整数及び／又は浮動小数点ユニット（総称して算術論理演算ユニット（ＡＬＵ））を含む論理が構成される。少なくとも一実施例では、グラフ・コードなどのコードは、そのコードが対応するニューラル・ネットワークのアーキテクチャに基づき、重み又は他のパラメータ情報をプロセッサＡＬＵにロードする。少なくとも一実施例では、コード及び／又はデータ・ストレージ１３０１は、１つ又は複数の実施例の態様を使用した訓練及び／又は推論中に、入力／出力データ及び／又は重みパラメータを順伝播する間に１つ又は複数の実施例と併せて訓練又は使用されるニューラル・ネットワークの各層の重みパラメータ及び／又は入力／出力データを記憶する。少なくとも一実施例では、コード及び／又はデータ・ストレージ１３０１の任意の部分は、プロセッサのＬ１、Ｌ２、又はＬ３のキャッシュ、若しくはシステム・メモリを含む他のオン・チップ又はオフ・チップのデータ・ストレージとともに含められてもよい。
少なくとも一実施例では、コード及び／又はデータ・ストレージ１３０１の任意の部分は、１つ若しくは複数のプロセッサ、又は他のハードウェア論理デバイス若しくは回路の内部にあっても外部にあってもよい。少なくとも一実施例では、コード及び／又はコード及び／又はデータ・ストレージ１３０１は、キャッシュ・メモリ、ダイナミック・ランダム・アドレス可能メモリ（「ＤＲＡＭ」：ｄｙｎａｍｉｃ ｒａｎｄｏｍｌｙ ａｄｄｒｅｓｓａｂｌｅ ｍｅｍｏｒｙ）、スタティック・ランダム・アドレス可能メモリ（「ＳＲＡＭ」：ｓｔａｔｉｃ ｒａｎｄｏｍｌｙ ａｄｄｒｅｓｓａｂｌｅ ｍｅｍｏｒｙ）、不揮発性メモリ（たとえば、フラッシュ・メモリ）、又は他のストレージであってもよい。少なくとも一実施例では、コード及び／又はコード及び／又はデータ・ストレージ１３０１が、たとえばプロセッサの内部にあるか外部にあるかの選択、又はＤＲＡＭ、ＳＲＡＭ、フラッシュ、若しくは何らか他のタイプのストレージから構成されるかの選択は、オン・チップ対オフ・チップで利用可能なストレージ、実行される訓練及び／又は推論の機能のレイテンシ要件、ニューラル・ネットワークの推論及び／又は訓練で使用されるデータのバッチ・サイズ、又はこれらの要因の何からの組合せに応じて決められてもよい。
少なくとも一実施例では、推論及び／又は訓練論理１３１５は、１つ又は複数の実施例の態様において推論するために訓練及び／若しくは使用されるニューラル・ネットワークのニューロン若しくは層に対応した、逆伝播及び／若しくは出力の重み、及び／若しくは入力／出力データを記憶するためのコード並びに／又はデータ・ストレージ１３０５を、限定することなく含んでもよい。少なくとも一実施例では、コード及び／又はデータ・ストレージ１３０５は、１つ又は複数の実施例の態様を使用した訓練及び／又は推論中に、入力／出力データ及び／又は重みパラメータを逆伝播する間に１つ又は複数の実施例と併せて訓練又は使用されるニューラル・ネットワークの各層の重みパラメータ及び／又は入力／出力データを記憶する。少なくとも一実施例では、訓練論理１３１５は、タイミング及び／又は順序を制御するためのグラフ・コード又は他のソフトウェアを記憶するためのコード及び／又はデータ・ストレージ１３０５を含んでもよく、又はそれに結合されてもよく、コード及び／又はデータ・ストレージ１３０５には、重み及び／又は他のパラメータ情報がロードされて、整数及び／又は浮動小数点ユニット（総称して算術論理演算ユニット（ＡＬＵ））を含む論理が構成される。少なくとも一実施例では、グラフ・コードなどのコードは、そのコードが対応するニューラル・ネットワークのアーキテクチャに基づき、重み又は他のパラメータ情報をプロセッサＡＬＵにロードする。少なくとも一実施例では、コード及び／又はデータ・ストレージ１３０５の任意の部分は、プロセッサのＬ１、Ｌ２、又はＬ３のキャッシュ、若しくはシステム・メモリを含む他のオン・チップ又はオフ・チップのデータ・ストレージとともに含められてもよい。少なくとも一実施例では、コード及び／又はデータ・ストレージ１３０５の任意の部分は、１つ又は複数のプロセッサ、又は他のハードウェア論理デバイス若しくは回路の内部にあっても外部にあってもよい。少なくとも一実施例では、コード及び／又はデータ・ストレージ１３０５は、キャッシュ・メモリ、ＤＲＡＭ、ＳＲＡＭ、不揮発性メモリ（たとえば、フラッシュ・メモリ）、又は他のストレージであってもよい。少なくとも一実施例では、コード及び／又はデータ・ストレージ１３０５が、たとえばプロセッサの内部にあるか外部にあるかの選択、又はＤＲＡＭ、ＳＲＡＭ、フラッシュ、若しくは何らか他のタイプのストレージから構成されるかの選択は、オン・チップ対オフ・チップで利用可能なストレージ、実行される訓練及び／又は推論の機能のレイテンシ要件、ニューラル・ネットワークの推論及び／又は訓練で使用されるデータのバッチ・サイズ、又はこれらの要因の何からの組合せに応じて決められてもよい。
少なくとも一実施例では、コード及び／又はデータ・ストレージ１３０１と、コード及び／又はデータ・ストレージ１３０５は、別々のストレージ構造であってもよい。少なくとも一実施例では、コード及び／又はデータ・ストレージ１３０１と、コード及び／又はデータ・ストレージ１３０５は、同じストレージ構造であってもよい。少なくとも一実施例では、コード及び／又はデータ・ストレージ１３０１と、コード及び／又はデータ・ストレージ１３０５は、部分的に同じストレージ構造で、部分的に別々のストレージ構造であってもよい。少なくとも一実施例では、コード及び／又はデータ・ストレージ１３０１と、コード及び／又はデータ・ストレージ１３０５との任意の部分は、プロセッサのＬ１、Ｌ２、又はＬ３のキャッシュ、若しくはシステム・メモリを含む他のオン・チップ又はオフ・チップのデータ・ストレージとともに含められてもよい。
少なくとも一実施例では、推論及び／又は訓練論理１３１５は、訓練及び／又は推論コード（たとえばグラフ・コード）に少なくとも部分的に基づく、又はそれにより示される論理演算及び／又は算術演算を実行するための、整数及び／又は浮動小数点ユニットを含む１つ又は複数の算術論理演算ユニット（「ＡＬＵ」）１３１０を、限定することなく含んでもよく、その結果が、アクティブ化ストレージ１３２０に記憶されるアクティブ化（たとえば、ニューラル・ネットワーク内の層若しくはニューロンからの出力値）を生成してもよく、これらは、コード及び／若しくはデータ・ストレージ１３０１、並びに／又はコード及び／若しくはデータ・ストレージ１３０５に記憶される入力／出力及び／又は重みパラメータのデータの関数である。少なくとも一実施例では、アクティブ化ストレージ１３２０に記憶されるアクティブ化は、命令又は他のコードを実行したことに応答して、ＡＬＵ１３１０によって実行される線形代数計算及び又は行列ベースの計算に従って生成され、ここでコード及び／又はデータ・ストレージ１３０５及び／又はデータ１３０１に記憶された重み値は、バイアス値、勾配情報、運動量値などの他の値、又は他のパラメータ若しくはハイパーパラメータとともにオペランドとして使用され、これらのいずれか又はすべてが、コード及び／若しくはデータ・ストレージ１３０５、又はコード及び／若しくはデータ・ストレージ１３０１、又はオン・チップ若しくはオフ・チップの別のストレージに記憶されてもよい。
少なくとも一実施例では、ＡＬＵ１３１０は、１つ若しくは複数のプロセッサ、又は他のハードウェア論理デバイス若しくは回路内に含まれるが、別の実施例では、ＡＬＵ１３１０は、それらを使用するプロセッサ又は他のハードウェア論理デバイス若しくは回路の外部にあってもよい（たとえばコプロセッサ）。少なくとも一実施例では、ＡＬＵ１３１０は、プロセッサの実行ユニット内に含まれてもよく、又は同じプロセッサ内にあるか異なるタイプの異なるプロセッサ（たとえば、中央処理装置、グラフィックス・プロセッシング・ユニット、固定機能ユニットなど）の間で分散されているかのいずれかであるプロセッサの実行ユニットによりアクセス可能なＡＬＵバンク内に、他のやり方で含まれてもよい。少なくとも一実施例では、データ・ストレージ１３０１、コード及び／又はデータ・ストレージ１３０５、並びにアクティブ化ストレージ１３２０は、同じプロセッサ又は他のハードウェア論理デバイス若しくは回路にあってもよく、別の実施例では、それらは異なるプロセッサ又は他のハードウェア論理デバイス若しくは回路にあってもよく、或いは同じプロセッサ又は他のハードウェア論理デバイス若しくは回路と、異なるプロセッサ又は他のハードウェア論理デバイス若しくは回路との何らかの組合せにあってもよい。少なくとも一実施例では、アクティブ化ストレージ１３２０の任意の部分は、プロセッサのＬ１、Ｌ２、又はＬ３のキャッシュ、若しくはシステム・メモリを含む他のオン・チップ又はオフ・チップのデータ・ストレージとともに含められてもよい。さらに、推論及び／又は訓練コードが、プロセッサ又は他のハードウェア論理若しくは回路にアクセス可能な他のコードとともに記憶されてもよく、プロセッサのフェッチ、デコード、スケジューリング、実行、リタイア、及び／又は他の論理回路を使用してフェッチ及び／又は処理されてもよい。
少なくとも一実施例では、アクティブ化ストレージ１３２０は、キャッシュ・メモリ、ＤＲＡＭ、ＳＲＡＭ、不揮発性メモリ（たとえば、フラッシュ・メモリ）、又は他のストレージであってもよい。少なくとも一実施例では、アクティブ化ストレージ１３２０は、完全に又は部分的に、１つ若しくは複数のプロセッサ又は他の論理回路の内部にあってもよく、又は外部にあってもよい。少なくとも一実施例では、アクティブ化ストレージ１３２０が、たとえばプロセッサの内部にあるか外部にあるかの選択、又はＤＲＡＭ、ＳＲＡＭ、フラッシュ、若しくは何らか他のタイプのストレージから構成されるかの選択は、オン・チップ対オフ・チップの利用可能なストレージ、実行される訓練及び／又は推論機能のレイテンシ要件、ニューラル・ネットワークの推論及び／又は訓練で使用されるデータのバッチ・サイズ、又はこれらの要因の何からの組合せに応じて決められてもよい。少なくとも一実施例では、図１３Ａに示す推論及び／又は訓練論理１３１５は、グーグルからのＴｅｎｓｏｒｆｌｏｗ（登録商標）処理ユニット、Ｇｒａｐｈｃｏｒｅ（商標）からの推論処理ユニット（ＩＰＵ：ｉｎｆｅｒｅｎｃｅ ｐｒｏｃｅｓｓｉｎｇ ｕｎｉｔ）、又はＩｎｔｅｌ ＣｏｒｐからのＮｅｒｖａｎａ（登録商標）（たとえば「Ｌａｋｅ Ｃｒｅｓｔ」）プロセッサなどの特定用途向け集積回路（「ＡＳＩＣ：ａｐｐｌｉｃａｔｉｏｎ－ｓｐｅｃｉｆｉｃ ｉｎｔｅｇｒａｔｅｄ ｃｉｒｃｕｉｔ」）と併せて使用されてもよい。少なくとも一実施例では、図１３Ａに示す推論及び／又は訓練論理１３１５は、中央処理装置（「ＣＰＵ」：ｃｅｎｔｒａｌ ｐｒｏｃｅｓｓｉｎｇ ｕｎｉｔ）ハードウェア、グラフィックス・プロセッシング・ユニット（「ＧＰＵ」：ｇｒａｐｈｉｃｓ ｐｒｏｃｅｓｓｉｎｇ ｕｎｉｔ）ハードウェア、又はフィールド・プログラマブル・ゲート・アレイ（「ＦＰＧＡ」：ｆｉｅｌｄ ｐｒｏｇｒａｍｍａｂｌｅ ｇａｔｅ ａｒｒａｙ）など他のハードウェアと併せて使用されてもよい。
図１３Ｂは、少なくとも１つの様々な実施例による、推論及び／又は訓練論理１３１５を示す。少なくとも一実施例では、推論及び／又は訓練論理１３１５は、ハードウェア論理を限定することなく含んでもよく、このハードウェア論理では、計算リソースが、ニューラル・ネットワーク内のニューロンの１つ若しくは複数の層に対応する重み値又は他の情報の専用のものであるか、又は他のやり方でそれらと併せてしか使用されない。少なくとも一実施例では、図１３Ｂに示す推論及び／又は訓練論理１３１５は、グーグルからのＴｅｎｓｏｒｆｌｏｗ（登録商標）処理ユニット、Ｇｒａｐｈｃｏｒｅ（商標）からの推論処理ユニット（ＩＰＵ）、又はインテルコーポレーションからのＮｅｒｖａｎａ（登録商標）（たとえば「Ｌａｋｅ Ｃｒｅｓｔ」）プロセッサなどの特定用途向け集積回路（ＡＳＩＣ）と併せて使用されてもよい。少なくとも一実施例では、図１３Ｂに示す推論及び／又は訓練論理１３１５は、中央処理装置（ＣＰＵ）ハードウェア、グラフィックス・プロセッシング・ユニット（「ＧＰＵ」）ハードウェア、又はフィールド・プログラマブル・ゲート・アレイ（ＦＰＧＡ）など他のハードウェアと併せて使用されてもよい。少なくとも一実施例では、推論及び／又は訓練論理１３１５は、限定することなく、コード及び／又はデータ・ストレージ１３０１、並びにコード及び／又はデータ・ストレージ１３０５を含み、これらを使用して、コード（たとえばグラフ・コード）、重み値、並びに／又はバイアス値、勾配情報、運動量値、及び／若しくは他のパラメータ若しくはハイパーパラメータ情報を含む他の情報を記憶してもよい。図１３Ｂに示す少なくとも一実施例では、コード及び／又はデータ・ストレージ１３０１並びにコード及び／又はデータ・ストレージ１３０５のそれぞれは、それぞれ計算ハードウェア１３０２及び計算ハードウェア１３０６などの専用計算リソースに関連付けられる。少なくとも一実施例では、計算ハードウェア１３０２及び計算ハードウェア１３０６のそれぞれは、線形代数関数などの数学的関数を、それぞれコード及び／又はデータ・ストレージ１３０１並びにコード及び／又はデータ・ストレージ１３０５に記憶された情報に対してのみ実行する１つ又は複数のＡＬＵを備え、その結果は、アクティブ化ストレージ１３２０に記憶される。
少なくとも一実施例では、コード並びに／又はデータ・ストレージ１３０１及び１３０５のそれぞれ、並びに対応する計算ハードウェア１３０２及び１３０６は、ニューラル・ネットワークの異なる層にそれぞれ対応し、それにより、コード及び／又はデータ・ストレージ１３０１並びに計算ハードウェア１３０２との１つの「ストレージ／計算の対１３０１／１３０２」から結果的に生じるアクティブ化は、ニューラル・ネットワークの概念的組織化を反映させるために、次のコード及び／又はデータ・ストレージ１３０５並びに計算ハードウェア１３０６との「ストレージ／計算の対１３０５／１３０６」への入力として提供される。少なくとも一実施例では、ストレージ／計算の対１３０１／１３０２、及び１３０５／１３０６は、２つ以上のニューラル・ネットワークの層に対応してもよい。少なくとも一実施例では、ストレージ／計算の対１３０１／１３０２、及び１３０５／１３０６の後に、又はそれと並列に、追加のストレージ／計算の対（図示せず）が、推論及び／又は訓練論理１３１５に含まれてもよい。
ニューラル・ネットワークの訓練及び導入
図１４は、少なくとも一実施例による、ディープ・ニューラル・ネットワークの訓練及び導入を示す。少なくとも一実施例では、未訓練ニューラル・ネットワーク９１４０６が、訓練データ・セット１４０２を使用して訓練される。少なくとも一実施例では、訓練フレームワーク１４０４は、ＰｙＴｏｒｃｈフレームワークであり、一方他の実施例では、訓練フレームワーク１４０４は、Ｔｅｎｓｏｒｆｌｏｗ、Ｂｏｏｓｔ、Ｃａｆｆｅ、マイクロソフトＣｏｇｎｉｔｉｖｅ Ｔｏｏｌｋｉｔ／ＣＮＴＫ、ＭＸＮｅｔ、Ｃｈａｉｎｅｒ、Ｋｅｒａｓ、Ｄｅｅｐｌｅａｒｎｉｎｇ４ｊ、又は他の訓練フレームワークである。少なくとも一実施例では、訓練フレームワーク１４０４は、未訓練ニューラル・ネットワーク１４０６を訓練し、本明細書に記載の処理リソースを使用してそれが訓練されるのを可能にして、訓練済みニューラル・ネットワーク１４０８を生成する。少なくとも一実施例では、重みは、ランダムに選択されてもよく、又はディープ・ビリーフ・ネットワークを使用した事前訓練によって選択されてもよい。少なくとも一実施例では、訓練は、教師あり、一部教師あり、又は教師なしのいずれかのやり方で実行されてもよい。
少なくとも一実施例では、未訓練ニューラル・ネットワーク１４０６は教師あり学習を使用して訓練され、ここで訓練データ・セット１４０２は、入力に対する所望の出力と対になった入力を含み、又は訓練データ・セット１４０２は、既知の出力を有する入力を含み、ニューラル・ネットワーク１４０６の出力が手動で採点される。少なくとも一実施例では、未訓練ニューラル・ネットワーク１４０６は教師ありのやり方で訓練され、訓練データ・セット１４０２からの入力を処理し、結果として得られた出力を、予想の又は所望の出力のセットと比較する。少なくとも一実施例では、次いで、誤差が、未訓練ニューラル・ネットワーク１４０６を通って逆伝播される。少なくとも一実施例では、訓練フレームワーク１４０４は、未訓練ニューラル・ネットワーク１４０６を制御する重みを調節する。少なくとも一実施例では、訓練フレームワーク１４０４は、未訓練ニューラル・ネットワーク１４０６が、新規データ１４１２などの既知の入力データに基づき、結果１４１４などにおいて正しい答えを生成するのに好適な訓練済みニューラル・ネットワーク１４０８などのモデルに向かって、どれだけ良好に収束しているかを監視するツールを含む。少なくとも一実施例では、訓練フレームワーク１４０４は、未訓練ニューラル・ネットワーク１４０６を繰り返し訓練する一方、損失関数、及び確率的勾配降下法などの調整アルゴリズムを使用して、未訓練ニューラル・ネットワーク１４０６の出力を精緻化するように重みを調整する。少なくとも一実施例では、訓練フレームワーク１４０４は、未訓練ニューラル・ネットワーク１４０６が所望の精度に到達するまで未訓練ニューラル・ネットワーク１４０６を訓練する。少なくとも一実施例では、次いで訓練済みニューラル・ネットワーク１４０８を、任意の数の機械学習動作を実装するように導入することができる。
少なくとも一実施例では、未訓練ニューラル・ネットワーク１４０６は、教師なし学習を使用して訓練され、ここで未訓練ニューラル・ネットワーク１４０６は、ラベルなしデータを使用して自らを訓練しようとする。少なくとも一実施例では、教師なし学習の訓練データ・セット１４０２は、いかなる関連出力データ又は「グラウンド・トゥルース」データもない入力データを含む。少なくとも一実施例では、未訓練ニューラル・ネットワーク１４０６は、訓練データ・セット１４０２内でグループ化を学習することができ、個々の入力が、未訓練データ・セット１４０２にどのように関係しているかを判定することができる。少なくとも一実施例では、教師なし訓練を使用して、自己組織化マップを生成することができ、自己組織化マップは、新規データ１４１２の次元を低減するのに有用な動作を実行することができるタイプの訓練済みニューラル・ネットワーク１４０８である。少なくとも一実施例では、教師なし訓練を使用して異常検出を実行することもでき、異常検出は、新規データ・セット１４１２の通常のパターンから逸脱した、新規データ・セット１４１２内のデータ点を識別できるようにする。
少なくとも一実施例では、半教師あり学習が使用されてもよく、それは、ラベル付きデータとラベルなしデータが訓練データ・セット１４０２に混在している技法である。少なくとも一実施例では、訓練フレームワーク１４０４を使用して、伝達学習技法などによる漸次的学習が実行されてもよい。少なくとも一実施例では、漸次的学習により、訓練済みニューラル・ネットワーク１４０８は、初期訓練中にネットワーク内に教え込まれた知識を忘れることなく、新規データ１４１２に適合できるようになる。
データ・センタ
図１５は、少なくとも一実施例が使用されてもよい例示的なデータ・センタ１５００を示す。少なくとも一実施例では、データ・センタ１５００は、データ・センタ・インフラストラクチャ層１５１０、フレームワーク層１５２０、ソフトウェア層１５３０、及びアプリケーション層１５４０を含む。
少なくとも一実施例では、図１５に示すように、データ・センタ・インフラストラクチャ層１５１０は、リソース・オーケストレータ１５１２、グループ化済みコンピューティング・リソース１５１４、及びノード・コンピューティング・リソース（「ノードＣ．Ｒ．」：ｎｏｄｅ ｃｏｍｐｕｔｉｎｇ ｒｅｓｏｕｒｃｅ）１５１６（１）～１５１６（Ｎ）を含んでもよく、ここで「Ｎ」は、任意の正の整数を表す。少なくとも一実施例では、ノードＣ．Ｒ．１５１６（１）～１５１６（Ｎ）は、任意の数の中央処理装置（「ＣＰＵ」）又は（アクセラレータ、フィールド・プログラマブル・ゲート・アレイ（ＦＰＧＡ）、グラフィックス・プロセッサなどを含む）他のプロセッサ、メモリ・デバイス（たとえば、ダイナミック読取り専用メモリ）、ストレージ・デバイス（たとえば、半導体ドライブ又はディスク・ドライブ）、ネットワーク入力／出力（「ＮＷ Ｉ／Ｏ」：ｎｅｔｗｏｒｋ ｉｎｐｕｔ／ｏｕｔｐｕｔ）デバイス、ネットワーク・スイッチ、仮想機械（「ＶＭ」：ｖｉｒｔｕａｌ ｍａｃｈｉｎｅ）、電源モジュール、及び冷却モジュールを含んでもよいが、これらに限定されない。少なくとも一実施例では、ノードＣ．Ｒ．１５１６（１）～１５１６（Ｎ）のうち１つ又は複数のノードＣ．Ｒ．は、上述したコンピューティング・リソースのうちの１つ又は複数を有するサーバであってもよい。
少なくとも一実施例では、グループ化済みコンピューティング・リソース１５１４は、１つ若しくは複数のラック（図示せず）内に収容されたノードＣ．Ｒ．の別々のグループ、又は様々なグラフィカル・ロケーション（同じく図示せず）においてデータ・センタに収容された多数のラックを含んでもよい。グループ化済みコンピューティング・リソース１５１４内のノードＣ．Ｒ．の別々のグループは、１つ若しくは複数のワークロードをサポートするように構成又は配分されてもよいグループ化済みのコンピュート・リソース、ネットワーク・リソース、メモリ・リソース、又はストレージ・リソースを含んでもよい。少なくとも一実施例では、ＣＰＵ又はプロセッサを含むいくつかのノードＣ．Ｒ．は、１つ又は複数のラック内でグループ化されて、１つ又は複数のワークロードをサポートするためのコンピュート・リソースが提供されてもよい。少なくとも一実施例では、１つ又は複数のラックはまた、任意の数の電源モジュール、冷却モジュール、及びネットワーク・スイッチを任意の組合せで含んでもよい。
少なくとも一実施例では、リソース・オーケストレータ１５１２は、１つ又は複数のノードＣ．Ｒ．１５１６（１）～１５１６（Ｎ）及び／若しくはグループ化済みコンピューティング・リソース１５１４を構成してもよく、又は他のやり方で制御してもよい。少なくとも一実施例では、リソース・オーケストレータ１５１２は、データ・センタ１５００用のソフトウェア設計インフラストラクチャ（「ＳＤＩ」：ｓｏｆｔｗａｒｅ ｄｅｓｉｇｎ ｉｎｆｒａｓｔｒｕｃｔｕｒｅ）管理エンティティを含んでもよい。少なくとも一実施例では、リソース・オーケストレータは、ハードウェア、ソフトウェア、又はこれらの何らかの組合せを含んでもよい。
図１５に示す少なくとも一実施例では、フレームワーク層１５２０は、ジョブ・スケジューラ１５３２、構成マネージャ１５３４、リソース・マネージャ１５３６、及び分配ファイル・システム１５３８を含む。少なくとも一実施例では、フレームワーク層１５２０は、ソフトウェア層１５３０のソフトウェア１５３２、及び／又はアプリケーション層１５４０の１つ若しくは複数のアプリケーション１５４２をサポートするためのフレームワークを含んでもよい。少なくとも一実施例では、ソフトウェア１５３２又はアプリケーション１５４２はそれぞれ、アマゾン・ウェブ・サービス、グーグル・クラウド、及びマイクロソフト・アジュールによって提供されるものなど、ウェブ・ベースのサービス・ソフトウェア又はアプリケーションを含んでもよい。少なくとも一実施例では、フレームワーク層１５２０は、大規模なデータ処理（たとえば「ビック・データ」）のために分配ファイル・システム１５３８を使用することができるＡｐａｃｈｅ Ｓｐａｒｋ（登録商標）（以下「Ｓｐａｒｋ」）など、無料でオープン・ソースのソフトウェア・ウェブ・アプリケーション・フレームワークの一種であってもよいが、これに限定されない。少なくとも一実施例では、ジョブ・スケジューラ１５３２は、データ・センタ１５００の様々な層によってサポートされるワークロードのスケジューリングを容易にするために、Ｓｐａｒｋドライバを含んでもよい。少なくとも一実施例では、構成マネージャ１５３４は、ソフトウェア層１５３０、並びに大規模なデータ処理をサポートするためのＳｐａｒｋ及び分配ファイル・システム１５３８を含むフレームワーク層１５２０などの異なる層を構成することが可能であってもよい。少なくとも一実施例では、リソース・マネージャ１５３６は、分配ファイル・システム１５３８及びジョブ・スケジューラ１５３２をサポートするようにマッピング若しくは配分されたクラスタ化済み又はグループ化済みのコンピューティング・リソースを管理することが可能であってもよい。少なくとも一実施例では、クラスタ化済み又はグループ化済みのコンピューティング・リソースは、データ・センタ・インフラストラクチャ層１５１０にあるグループ化済みコンピューティング・リソース１５１４を含んでもよい。少なくとも一実施例では、リソース・マネージャ１５３６は、リソース・オーケストレータ１５１２と連携して、これらのマッピング又は配分されたコンピューティング・リソースを管理してもよい。
少なくとも一実施例では、ソフトウェア層１５３０に含まれるソフトウェア１５３２は、ノードＣ．Ｒ．１５１６（１）～１５１６（Ｎ）、グループ化済みコンピューティング・リソース１５１４、及び／又はフレームワーク層１５２０の分配ファイル・システム１５３８のうちの少なくとも一部分によって使用されるソフトウェアを含んでもよい。１つ又は複数のタイプのソフトウェアは、インターネット・ウェブ・ページ検索ソフトウェア、電子メール・ウイルス・スキャン・ソフトウェア、データベース・ソフトウェア、及びストリーミング・ビデオ・コンテンツ・ソフトウェアを含んでもよいが、これらに限定されない。
少なくとも一実施例では、アプリケーション層１５４０に含まれるアプリケーション１５４２は、ノードＣ．Ｒ．１５１６（１）～１５１６（Ｎ）、グループ化済みコンピューティング・リソース１５１４、及び／又はフレームワーク層１５２０の分配ファイル・システム１５３８のうちの少なくとも一部分によって使用される１つ若しくは複数のタイプのアプリケーションを含んでもよい。１つ若しくは複数のタイプのアプリケーションは、任意の数のゲノム学アプリケーション、認識コンピュート、並びに訓練若しくは推論のソフトウェア、機械学習フレームワーク・ソフトウェア（たとえば、ＰｙＴｏｒｃｈ、Ｔｅｎｓｏｒｆｌｏｗ、Ｃａｆｆｅなど）を含む機械学習アプリケーション、又は１つ若しくは複数の実施例と併せて使用される他の機械学習アプリケーションを含んでもよいが、これらに限定されない。
少なくとも一実施例では、構成マネージャ１５３４、リソース・マネージャ１５３６、及びリソース・オーケストレータ１５１２のうちのいずれかは、任意の技術的に実行可能なやり方で取得された任意の量及びタイプのデータに基づき、任意の数及びタイプの自己修正措置を実装してもよい。少なくとも一実施例では、自己修正措置は、データ・センタ１５００のデータ・センタ演算子が、不良の恐れのある構成を決定しないようにし、十分に利用されていない且つ／又は性能の低いデータ・センタの部分をなくせるようにしてもよい。
少なくとも一実施例では、データ・センタ１５００は、１つ若しくは複数の機械学習モデルを訓練し、又は本明細書に記載の１つ若しくは複数の実施例による１つ若しくは複数の機械学習モデルを使用して情報を予測若しくは推論するためのツール、サービス、ソフトウェア、又は他のリソースを含んでもよい。たとえば、少なくとも一実施例では、機械学習モデルは、データ・センタ１５００に関して上述したソフトウェア及びコンピューティング・リソースを使用して、ニューラル・ネットワーク・アーキテクチャに従って重みパラメータを計算することによって、訓練されてもよい。少なくとも一実施例では、１つ又は複数のニューラル・ネットワークに対応する訓練済み機械学習モデルは、本明細書に記載の１つ又は複数の技法によって計算された重みパラメータを使用することにより、データ・センタ１５００に関して上述したリソースを使用して、情報を推論又は予測するために使用されてもよい。
少なくとも一実施例では、データ・センタは、上述したリソースを使用して訓練及び／又は推論を実行するために、ＣＰＵ、特定用途向け集積回路（ＡＳＩＣ）、ＧＰＵ、ＦＰＧＡ、又は他のハードウェアを使用してもよい。さらに、上述した１つ又は複数のソフトウェア及び／又はハードウェアのリソースは、画像認識、音声認識、又は他の人工知能サービスなどの情報の訓練又は推論の実行を、ユーザが行えるようにするためのサービスとして構成されてもよい。
推論及び／又は訓練論理１３１５を使用して、１つ若しくは複数の実施例に関連する推論及び／又は訓練の動作が実行される。推論及び／又は訓練論理１３１５に関する詳細事項は、図１３Ａ及び／又は図１３Ｂと併せて本明細書に提供される。少なくとも一実施例では、推論及び／又は訓練論理１３１５は、本明細書に記載のニューラル・ネットワークの訓練動作、ニューラル・ネットワークの機能及び／若しくはアーキテクチャ、又はニューラル・ネットワークのユース・ケースを使用して計算された重みパラメータに少なくとも部分的に基づき、推論又は予測の動作のために図１５のシステムにおいて使用されてもよい。
上述した技法は、たとえば、人間とロボットとの間で物体の交換を実行するためのシステムを実装するために使用されてもよい。いくつかの実例は、上述したように人間の手によって保持される物体の把持を生成するように訓練されたニューラル・ネットワークを作製するために、推論及び／又は訓練論理を使用する。
自律車両
図１６Ａは、少なくとも一実施例による自律車両１６００の例を示す。少なくとも一実施例では、自律車両１６００（或いは、本明細書において「車両１６００」と呼ばれる）は、限定することなく、車、トラック、バス、及び／又は１人若しくは複数の乗員を収容する別のタイプの車両などの乗用車とすることができる。少なくとも一実施例では、車両１６００は、貨物運搬用のセミ・トラクタのトレーラ・トラックであってもよい。少なくとも一実施例では、車両１６００は、航空機、ロボット車両、又は他の種類の車両であってもよい。
自律車両は、米国運輸省の一部門である全米高速道路交通安全局（「ＮＨＴＳＡ」：Ｎａｔｉｏｎａｌ Ｈｉｇｈｗａｙ Ｔｒａｆｆｉｃ Ｓａｆｅｔｙ Ａｄｍｉｎｉｓｔｒａｔｉｏｎ）、及び自動車技術者協会（「ＳＡＥ」：Ｓｏｃｉｅｔｙ ｏｆ Ａｕｔｏｍｏｔｉｖｅ Ｅｎｇｉｎｅｅｒｓ）の「自動車用運転自動化システムのレベル分類及び定義（Ｔａｘｏｎｏｍｙ ａｎｄ Ｄｅｆｉｎｉｔｉｏｎｓ ｆｏｒ Ｔｅｒｍｓ Ｒｅｌａｔｅｄ ｔｏ Ｄｒｉｖｉｎｇ Ａｕｔｏｍａｔｉｏｎ Ｓｙｓｔｅｍｓ ｆｏｒ Ｏｎ－Ｒｏａｄ Ｍｏｔｏｒ Ｖｅｈｉｃｌｅｓ）」（たとえば、２０１８年６月１５日発行の規格Ｎｏ．Ｊ３０１６－２０１８０６、２０１６年９月３０日発行の規格Ｎｏ．Ｊ３０１６－２０１６０９、及びこの規格の旧版及び新版）により定義される自動化レベルという観点から説明されてもよい。１つ又は複数の実施例では、車両１６００は、自律運転レベルのレベル１～レベル５のうちの１つ又は複数による機能性に対応可能であってもよい。たとえば、少なくとも一実施例では、車両１６００は、実施例に応じて、条件付き自動化（レベル３）、高度自動化（レベル４）、及び／又は完全自動化（レベル５）に対応可能であってもよい。
人間とロボットとの相互作用システムの様々な実施例は、車両に統合されて、荷物配送及び倉庫自動化などのタスクを支援してもよい。たとえば、人間から小包を受け取って送達するため、又は顧客に代わって物理的な現金支払いを受け取るために、実施例が使用されてもよい。
少なくとも一実施例では、車両１６００は、限定することなく、シャシ、車両本体、ホイール（たとえば、２本、４本、６本、８本、１８本など）、タイヤ、車軸、及び車両の他の構成要素などの構成要素を含んでもよい。少なくとも一実施例では、車両１６００は、限定することなく、内燃機関、ハイブリッド電力プラント、完全電気エンジン、及び／又は別のタイプの推進システムなどの推進システム１６５０を含んでもよい。少なくとも一実施例では、推進システム１６５０は、車両１６００のドライブ・トレインに連結されてもよく、ドライブ・トレインは、限定することなく、車両１６００の推進を可能にするためのトランスミッションを含んでもよい。少なくとも一実施例では、推進システム１６５０は、スロットル／アクセル１６５２からの信号を受信したことに応答して、制御されてもよい。
少なくとも一実施例では、限定することなくハンドルを含んでもよい操縦システム１６５４は、推進システム１６５０が動作しているときに（たとえば、車両が動いているときに）車両１６００を（たとえば所望の経路又はルートに沿って）操縦するために使用される。少なくとも一実施例では、操縦システム１６５４は、操縦アクチュエータ１６５６から信号を受信してもよい。ハンドルは、完全自動化（レベル５）の機能性に関しては任意選択であってもよい。少なくとも一実施例では、ブレーキ・アクチュエータ１６４８及び／又はブレーキ・センサからの信号を受信したことに応答して車両ブレーキを動作させるために、ブレーキ・センサ・システム１６４６が使用されてもよい。
少なくとも一実施例では、１つ又は複数のシステム・オン・チップ（「ＳｏＣ」：ｓｙｓｔｅｍ ｏｎ ｃｈｉｐ）（図１６Ａには示さず）及び／若しくはグラフィックス・プロセッシング・ユニット（「ＧＰＵ」）を限定することなく含んでもよいコントローラ１６３６は、車両１６００の１つ又は複数の構成要素及び／若しくはシステムに（たとえば、コマンドを表す）信号を提供する。たとえば、少なくとも一実施例では、コントローラ１６３６は、ブレーキ・アクチュエータ１６４８を介して車両ブレーキを動作させるための信号、操縦アクチュエータ１６５６を介して操縦システム１６５４を動作させるための信号、スロットル／アクセル１６５２を介して推進システム１６５０を動作させるための信号を送信してもよい。コントローラ１６３６は、自律運転を可能にし、且つ／又は運転車両１６００において人間のドライバを支援するために、センサ信号を処理し、動作コマンド（たとえばコマンドを表す信号）を出力する１つ又は複数の搭載（たとえば一体型の）コンピューティング・デバイス（たとえば、スーパーコンピュータ）を含んでもよい。少なくとも一実施例では、コントローラ１６３６は、自律運転機能のための第１のコントローラ１６３６、機能的安全機能のための第２のコントローラ１６３６、人工知能機能（たとえば、コンピュータ・ビジョン）のための第３のコントローラ１６３６、インフォテイメント機能のための第４のコントローラ１６３６、緊急事態における冗長性のための第５のコントローラ１６３６、及び／又は他のコントローラを含んでもよい。少なくとも一実施例では、単一のコントローラ１６３６が、上記機能性のうちの２つ以上に対処してもよく、２つ以上のコントローラ１６３６が、単一の機能性に対処してもよく、且つ／又はこれらの何らかの組合せであってもよい。
少なくとも一実施例では、コントローラ１６３６は、１つ又は複数のセンサから受信したセンサ・データ（たとえば、センサ入力）に応答して、車両１６００の１つ又は複数の構成要素及び／若しくはシステムを制御するための信号を提供する。少なくとも一実施例では、センサ・データは、たとえば限定することなく、全地球的航法衛星システム（「ＧＮＳＳ」：ｇｌｏｂａｌ ｎａｖｉｇａｔｉｏｎ ｓａｔｅｌｌｉｔｅ ｓｙｓｔｅｍ）センサ１６５８（たとえば、全地球測位システム・センサ）、ＲＡＤＡＲセンサ１６６０、超音波センサ１６６２、ＬＩＤＡＲセンサ１６６４、慣性計測装置（「ＩＭＵ」：ｉｎｅｒｔｉａｌ ｍｅａｓｕｒｅｍｅｎｔ ｕｎｉｔ）センサ１６６６（たとえば、加速度計、ジャイロスコープ、磁気コンパス、磁力計など）、マイクロフォン１６９６、ステレオ・カメラ１６６８、広角カメラ１６７０（たとえば、魚眼カメラ）、赤外線カメラ１６７２、周囲カメラ１６７４（たとえば、３６０度カメラ）、長距離カメラ（図１６Ａには示さず）、中距離カメラ（図１６Ａには示さず）、（たとえば、車両１６００のスピードを計測するための）スピード・センサ１６４４、振動センサ１６４２、操縦センサ１６４０、（たとえば、ブレーキ・センサ・システム１６４６の一部分としての）ブレーキ・センサ、及び／又は他のタイプのセンサから、受信されてもよい。
少なくとも一実施例では、コントローラ１６３６のうちの１つ又は複数は、車両１６００の計器クラスタ１６３２からの（たとえば入力データによって表される）入力を受信し、ヒューマン・マシン・インターフェース（「ＨＭＩ」：ｈｕｍａｎ－ｍａｃｈｉｎｅ ｉｎｔｅｒｆａｃｅ）ディスプレイ１６３４、可聴アナンシエータ、拡声器を介して、且つ／又は車両１６００の他の構成要素を介して、（たとえば、出力データ、ディスプレイ・データなどによって表される）出力を提供してもよい。少なくとも一実施例では、出力は、車両速度、スピード、時間、地図データ（たとえば、ハイ・デフィニション・マップ（図１６Ａには示さず）、ロケーション・データ（たとえば、地図上などの車両１６００のロケーション）、方向、他車両のロケーション（たとえば、占有グリッド）、コントローラ１６３６が感知した物体及び物体の状態についての情報などの情報を含んでもよい。たとえば、少なくとも一実施例では、ＨＭＩディスプレイ１６３４は、１つ若しくは複数の物体（たとえば、道路標識、警告標識、信号の変化など）の存在についての情報、及び／又は車両が行った、行っている、又はこれから行う運転操作についての情報（たとえば、現在車線変更中、３．２２ｋｍ（２マイル）先の出口３４Ｂを出る、など）を表示してもよい。
少なくとも一実施例では、車両１６００はさらにネットワーク・インターフェース１６２４を含み、このネットワーク・インターフェースは、１つ又は複数のネットワークを介して通信するためのワイヤレス・アンテナ１６２６及び／又はモデムを使用してもよい。たとえば、少なくとも一実施例では、ネットワーク・インターフェース１６２４は、ロング・ターム・エボリューション（「ＬＴＥ」：Ｌｏｎｇ－Ｔｅｒｍ Ｅｖｏｌｕｔｉｏｎ）、広帯域符号分割多元接続（「ＷＣＤＭＡ」：Ｗｉｄｅｂａｎｄ Ｃｏｄｅ Ｄｉｖｉｓｉｏｎ Ｍｕｌｔｉｐｌｅ Ａｃｃｅｓｓ）、ユニバーサル・モバイル・テレコミュニケーション・システム（「ＵＭＴＳ」：Ｕｎｉｖｅｒｓａｌ Ｍｏｂｉｌｅ Ｔｅｌｅｃｏｍｍｕｎｉｃａｔｉｏｎｓ Ｓｙｓｔｅｍ）、グローバル・システム・フォー・モバイル・コミュニケーションズ（「ＧＳＭ」：Ｇｌｏｂａｌ Ｓｙｓｔｅｍ ｆｏｒ Ｍｏｂｉｌｅ ｃｏｍｍｕｎｉｃａｔｉｏｎ）、ＩＭＴ－ＣＤＭＡマルチ・キャリア（「ＣＤＭＡ２０００」）などを介して通信可能であってもよい。また、少なくとも一実施例では、ワイヤレス・アンテナ１６２６は、Ｂｌｕｅｔｏｏｔｈ、Ｂｌｕｅｔｏｏｔｈ Ｌｏｗ Ｅｎｅｒｇｙ （「ＬＥ」：Ｌｏｗ Ｅｎｅｒｇｙ）、Ｚ－Ｗａｖｅ、ＺｉｇＢｅｅなどのローカル・エリア・ネットワーク、及び／又はＬｏＲａＷＡＮ、ＳｉｇＦｏｘなどの低電力広域ネットワーク（「ＬＰＷＡＮ」：ｌｏｗ ｐｏｗｅｒ ｗｉｄｅ－ａｒｅａ ｎｅｔｗｏｒｋ）を使用して、環境内の物体同士間（たとえば車両、モバイル・デバイスなど）での通信を可能にしてもよい。
１つ若しくは複数の実施例に関連する推論及び／又は訓練の動作を実行するために、推論及び／又は訓練論理１３１５が使用される。推論及び／又は訓練論理１３１５に関する詳細事項は、図１３Ａ及び／又は図１３Ｂと併せて本明細書に提供される。少なくとも一実施例では、推論及び／又は訓練論理１３１５は、本明細書に記載のニューラル・ネットワークの訓練動作、ニューラル・ネットワークの機能及び／若しくはアーキテクチャ、又はニューラル・ネットワークのユース・ケースを使用して計算された重みパラメータに少なくとも部分的に基づき、推論又は予測の動作のために図１６Ａのシステムにおいて使用されてもよい。
上述した技法は、たとえば、人間とロボットとの間で物体の交換を実行するためのシステムを実装するために使用されてもよい。いくつかの実例は、上述したように人間の手によって保持される物体の把持を生成するように訓練されたニューラル・ネットワークを作製するために、推論及び／又は訓練論理を使用する。
図１６Ｂは、少なくとも一実施例による図１６Ａの自律車両１６００についてカメラのロケーション及び視野の例を示す。少なくとも一実施例では、カメラ及びそれぞれの視野は、一例の実施例であり、限定するものではない。たとえば、少なくとも一実施例では、追加及び／又は代替のカメラが含まれてもよく、且つ／又はカメラが車両１６００の異なるロケーションに位置付けられてもよい。
少なくとも一実施例では、カメラのカメラ・タイプは、車両１６００の構成要素及び／又はシステムとともに使用できるように適合されていてもよいデジタル・カメラを含んでもよいが、これに限定されない。カメラは、自動車安全性要求レベル（「ＡＳＩＬ」：ａｕｔｏｍｏｔｉｖｅ ｓａｆｅｔｙ ｉｎｔｅｇｒｉｔｙ ｌｅｖｅｌ）Ｂ及び／又は別のＡＳＩＬにおいて動作してもよい。少なくとも一実施例では、カメラ・タイプは、実施例に応じて、毎秒６０フレーム（ｆｐｓ：ｆｒａｍｅｓ ｐｅｒ ｓｅｃｏｎｄ）、１２２０ｆｐｓ、２４０ｆｐｓなど、任意の画像捕捉率に対応可能であってもよい。少なくとも一実施例では、カメラは、ロール・シャッタ、グローバル・シャッタ、別のタイプのシャッタ、又はこれらの組合せを使用することが可能であってもよい。少なくとも一実施例では、カラー・フィルタ・アレイは、赤色、クリア、クリア、クリア（「ＲＣＣＣ」：ｒｅｄ ｃｌｅａｒ ｃｌｅａｒ ｃｌｅａｒ）のカラー・フィルタ・アレイ、赤色、クリア、クリア、青色（「ＲＣＣＢ：ｒｅｄ ｃｌｅａｒ ｃｌｅａｒ ｂｌｕｅ」）のカラー・フィルタ・アレイ、赤色、青色、緑色、クリア（「ＲＢＧＣ」：ｒｅｄ ｂｌｕｅ ｇｒｅｅｎ ｃｌｅａｒ）のカラー・フィルタ・アレイ、Ｆｏｖｅｏｎ Ｘ３のカラー・フィルタ・アレイ、ベイヤー・センサ（ＲＧＧＢ）のカラー・フィルタ・アレイ、モノクロ・センサのカラー・フィルタ・アレイ、及び／又は別のタイプのカラー・フィルタ・アレイを含んでもよい。少なくとも一実施例では、光感度を上げるために、ＲＣＣＣ、ＲＣＣＢ、及び／又はＲＢＧＣのカラー・フィルタ・アレイを有するカメラなど、クリア・ピクセル・カメラが使用されてもよい。
少なくとも一実施例では、カメラのうちの１つ又は複数を使用して、先進ドライバ支援システム（「ＡＤＡＳ」：ａｄｖａｎｃｅｄ ｄｒｉｖｅｒ ａｓｓｉｓｔａｎｃｅ ｓｙｓｔｅｍｓ）機能が（たとえば、冗長設計又はフェイル・セーフ設計の一部として）実行されてもよい。たとえば、少なくとも一実施例では、多機能モノ・カメラが設置されて、車線逸脱警告、交通標識支援、及びインテリジェント・ヘッドライト制御を含む機能が提供されてもよい。少なくとも一実施例では、カメラのうちの１つ又は複数（たとえばすべてのカメラ）は、画像データ（たとえばビデオ）の記録と提供を同時に行ってもよい。
少なくとも一実施例では、カメラのうちの１つ又は複数は、カメラの画像データ捕捉性能を妨げる恐れのある迷光及び車内部からの反射（たとえば、ダッシュボードからフロントガラスに反射される反射）をなくすために、カスタム設計の（３次元（「３Ｄ」：ｔｈｒｅｅ－ｄｉｍｅｎｓｉｏｎａｌ）印刷された）アセンブリなどの取付けアセンブリに取り付けられてもよい。ドアミラー取付けアセンブリを参照すると、少なくとも一実施例では、ドアミラー・アセンブリは、カメラ取付けプレートがドアミラーの形の合うように、カスタムで３Ｄ印刷されてもよい。少なくとも一実施例では、カメラは、ドアミラーと一体であってもよい。サイド・ビュー・カメラについて、少なくとも一実施例では、カメラはこの場合もキャビンの各角にある４本のピラーに一体化されてもよい。
少なくとも一実施例では、車両１６００前方の環境の一部分を含む視野を有するカメラ（たとえば正面カメラ）は周囲のビューに対して使用されて、正面の経路及び障害物を識別しやすくするとともに、コントローラ１６３６及び／又は制御ＳｏＣのうちの１つ又は複数とともに使用されて、占有グリッドの生成及び／又は好ましい車両経路の判定に不可欠な情報の提供を補助してもよい。少なくとも一実施例では、正面カメラを使用して、緊急ブレーキ、歩行者検出、及び衝突回避を限定することなく含む、ＬＩＤＡＲと同じＡＤＡＳ機能のうちの多くが実行されてもよい。少なくとも一実施例では、正面カメラはまた、車線逸脱警告（「ＬＤＷ」：Ｌａｎｅ Ｄｅｐａｒｔｕｒｅ Ｗａｒｎｉｎｇｓ）、自律クルーズ・コントロール（「ＡＣＣ」：Ａｕｔｏｎｏｍｏｕｓ Ｃｒｕｉｓｅ Ｃｏｎｔｒｏｌ）、及び／又は交通標識認識などの他の機能を限定することなく含むＡＤＡＳの機能及びシステムのために使用されてもよい。
少なくとも一実施例では、たとえばＣＭＯＳ：ｃｏｍｐｌｅｍｅｎｔａｒｙ ｍｅｔａｌ ｏｘｉｄｅ ｓｅｍｉｃｏｎｄｕｃｔｏｒ（「相補型金属酸化膜半導体」）カラー撮像装置を含む単眼カメラのプラットフォームを含む様々なカメラが、正面構成で使用されてもよい。少なくとも一実施例では、周囲からビューに入ってくる物体（たとえば歩行者、クロス・トラフィック、又は自転車）を感知するために、広角カメラ１６７０が使用されてもよい。図１６Ｂには１つの広角カメラ１６７０しか示していないが、他の実施例では、車両１６００には（ゼロを含む）任意の数の広角カメラ１６７０が存在してもよい。少なくとも一実施例では、特にニューラル・ネットワークがそれに対してまだ訓練されていない物体について、深度ベースの物体検出のために、任意の数の長距離カメラ１６９８（たとえば、長距離ビューのステレオ・カメラの対）が使用されてもよい。少なくとも一実施例では、長距離カメラ１６９８はまた、物体検出及び分類、並びに基本的な物体追跡に使用されてもよい。
少なくとも一実施例では、任意の数のステレオ・カメラ１６６８は、正面構成にも含まれてよい。少なくとも一実施例では、１つ又は複数のステレオ・カメラ１６６８は、拡張可能な処理ユニットを備えた一体型制御ユニットを含んでもよく、この制御ユニットは、一体型のコントローラ・エリア・ネットワーク（「ＣＡＮ」：Ｃｏｎｔｒｏｌｌｅｒ Ａｒｅａ Ｎｅｔｗｏｒｋ）又はイーサネット（登録商標）・インターフェースを単一チップ上に有するプログラム可能論理（「ＦＰＧＡ」）及びマルチ・コア・マイクロプロセッサを提供してもよい。少なくとも一実施例では、こうしたユニットは、画像内のすべての点に対する距離推定を含め、車両１６００の環境の３Ｄマップを生成するのに使用されてもよい。少なくとも一実施例では、ステレオ・カメラ１６６８のうちの１つ又は複数は、限定することなくコンパクト・ステレオ・ビジョン・センサを含んでもよく、このセンサは、車両１６００からターゲット物体までの距離を測定し、生成された情報（たとえば、メタデータ）を使用して自律緊急ブレーキ及び車線逸脱警告の機能をアクティブ化することができる２つのカメラ・レンズ（左右に１つずつ）及び画像処理チップを、限定することなく含んでもよい。少なくとも一実施例では、本明細書に記載のものに加えて、又はその代わりに、他のタイプのステレオ・カメラ１６６８が使用されてもよい。
少なくとも一実施例では、車両１６００の側方の環境の一部分を含む視野を有するカメラ（たとえば、サイド・ビュー・カメラ）が、周囲のビューのために使用されて、占有グリッドの作製及び更新、並びに側面衝突警告の生成のために使用される情報を提供してもよい。たとえば、少なくとも一実施例では、周囲カメラ１６７４（たとえば図１６Ｂに示すように４つの周囲カメラ１６７４）を、車両１６００に配置することができる。周囲カメラ１６７４は、限定することなく、任意の数及び組合せの広角カメラ１６７０、魚眼カメラ、及び／又は３６０度カメラなどを含んでもよい。たとえば、少なくとも一実施例では、４つの魚眼カメラが、車両１６００の前方、後方、及び側方に配置されてもよい。少なくとも一実施例では、車両１６００は、３つの周囲カメラ１６７４（たとえば、左、右、及び後方）を使用してもよく、第４の周囲カメラとして、１つ又は複数の他のカメラ（たとえば正面カメラ）を活用してもよい。
少なくとも一実施例では、車両１６００後方の環境の一部分を含む視野を有するカメラ（たとえば、リア・ビュー・カメラ）が、駐車支援、周囲のビュー、後方衝突警告のために使用されて、占有グリッドの作製及び更新がなされてもよい。少なくとも一実施例では、本明細書に記載の正面カメラとしても好適なカメラ（たとえば、長距離カメラ１６９８、及び／又は中距離カメラ１６７６、ステレオ・カメラ１６６８）、赤外線カメラ１６７２など）を含むが、これらに限定されない多種多様なカメラが使用されてもよい。
１つ若しくは複数の実施例に関連する推論及び／又は訓練の動作を実行するために、推論及び／又は訓練論理１３１５が使用される。推論及び／又は訓練論理１３１５に関する詳細事項は、図１３Ａ及び／又は図１３Ｂと併せて本明細書に提供される。少なくとも一実施例では、推論及び／又は訓練論理１３１５は、本明細書に記載のニューラル・ネットワークの訓練動作、ニューラル・ネットワークの機能及び／若しくはアーキテクチャ、又はニューラル・ネットワークのユース・ケースを使用して計算された重みパラメータに少なくとも部分的に基づき、推論又は予測の動作のために図１６Ｂのシステムにおいて使用されてもよい。
上述した技法は、たとえば、人間とロボットとの間で物体の交換を実行するためのシステムを実装するために使用されてもよい。いくつかの実例は、上述したように人間の手によって保持される物体の把持を生成するように訓練されたニューラル・ネットワークを作製するために、推論及び／又は訓練論理を使用する。
図１６Ｃは、少なくとも一実施例による図１６Ａの自律車両１６００の例示的システム・アーキテクチャを示すブロック図である。少なくとも一実施例では、図１６Ｃの車両１６００の構成要素、特徴、及びシステムのそれぞれは、バス１６０２を介して接続されるものとして示される。少なくとも一実施例では、バス１６０２は、限定することなく、ＣＡＮデータ・インターフェース（或いは、本明細書において（ＣＡＮバス）と呼ばれる）を含んでもよい。少なくとも一実施例では、ＣＡＮは、ブレーキの作動、加速、ブレーキ制御、操縦、フロントガラス・ワイパなど、車両１６００の様々な特徴及び機能の制御を補助するために使用される車両１６００内部のネットワークであってもよい。少なくとも一実施例では、バス１６０２は、それぞれが独自の一意の識別子（たとえばＣＡＮ ＩＤ）をもつ数十又はさらには数百のノードを有するように構成されてもよい。少なくとも一実施例では、バス１６０２は、ハンドル角度、対地スピード、エンジンの毎分回転数（「ＲＰＭ」：ｒｅｖｏｌｕｔｉｏｎｓ ｐｅｒ ｍｉｎｕｔｅ）、ボタン位置、及び／又は他の車両状態インジケータを見いだすように読み取られてもよい。少なくとも一実施例では、バス１６０２は、ＡＳＩＬのＢに準拠したＣＡＮバスであってもよい。
少なくとも一実施例では、ＣＡＮに加えて、又はその代わりに、ＦｌｅｘＲａｙ及び／又はＥｔｈｅｒｎｅｔ（登録商標）が使用されてもよい。少なくとも一実施例では、任意の数のバス１６０２が存在してもよく、これには、限定することなく、ゼロ以上のＣＡＮバス、ゼロ以上のＦｌｅｘＲａｙバス、ゼロ以上のＥｔｈｅｒｎｅｔ（登録商標）バス、及び／又は他のプロトコルを使用するゼロ以上の他のタイプのバスが含まれてもよい。少なくとも一実施例では、２つ以上のバス１６０２を使用して異なる機能が実行されてもよく、且つ／又はそれらを使用して冗長性が与えられてもよい。たとえば、第１のバス１６０２が衝突回避機能のために使用され、第２のバス１６０２が作動制御のために使用されてもよい。少なくとも一実施例では、各バス１６０２は、車両１６００の構成要素のいずれかと通信してもよく、２つ以上のバス１６０２が同じ構成要素と通信してもよい。少なくとも一実施例では、任意の数のシステム・オン・チップ（「ＳｏＣ」）１６０４のそれぞれ、コントローラ１６３６のそれぞれ、及び／又は車両内の各コンピュータは、同じ入力データ（たとえば、車両１６００のセンサからの入力）にアクセス可能であってもよく、ＣＡＮバスなどの共通のバスに接続されてもよい。
少なくとも一実施例では、車両１６００は、図１６Ａに関して本明細書に記載するものなど、１つ又は複数のコントローラ１６３６を含んでもよい。コントローラ１６３６は、様々な機能に使用されてもよい。少なくとも一実施例では、コントローラ１６３６は、車両１６００の様々な他の構成要素及びシステムのうちの任意のものに結合されてもよく、車両１６００、車両１６００の人工知能、及び／又は車両１６００のインフォテイメントなどの制御に使用されてもよい。
少なくとも一実施例では、車両１６００は、任意の数のＳｏＣ１６０４を含んでもよい。ＳｏＣ１６０４のそれぞれは、限定することなく、中央処理装置（「ＣＰＵ」）１６０６、グラフィックス・プロセッシング・ユニット（「ＧＰＵ」）１６０８、プロセッサ１６１０、キャッシュ１６１２、アクセラレータ１６１４、データ・ストア１６１６、及び／又は図示していない他の構成要素及び特徴を含んでもよい。少なくとも一実施例では、車両１６００を様々なプラットフォーム及びシステムにおいて制御するために、ＳｏＣ１６０４が使用されてもよい。たとえば、少なくとも一実施例では、ＳｏＣ１６０４は、１つ又は複数のサーバ（図１６Ｃには示さず）からネットワーク・インターフェース１６２４を介して地図のリフレッシュ及び／又は更新を得ることができるハイ・デフィニション（「ＨＤ」：Ｈｉｇｈ Ｄｅｆｉｎｉｔｉｏｎ）マップ１６２２を有するシステム（たとえば車両１６００のシステム）に組み込まれてもよい。
少なくとも一実施例では、ＣＰＵ１６０６は、ＣＰＵクラスタ、又はＣＰＵコンプレックス（或いは本明細書において「ＣＣＰＬＥＸ」と呼ばれる）を含んでもよい。少なくとも一実施例では、ＣＰＵ１６０６は、複数のコア及び／又はレベル２（「Ｌ２」）キャッシュを含んでもよい。たとえば、少なくとも一実施例では、ＣＰＵ１６０６は、コヒーレントなマルチプロセッサ構成において８つのコアを含んでもよい。少なくとも一実施例では、ＣＰＵ１６０６は、４つのデュアル・コア・クラスタを含んでもよく、ここで各クラスタは、専用のＬ２キャッシュ（たとえば、２ＭＢのＬ２キャッシュ）を有する。少なくとも一実施例では、ＣＰＵ１６０６（たとえば、ＣＣＰＬＥＸ）は、ＣＰＵ１６０６のクラスタの任意の組合せを、任意の所与の時間にアクティブ化できるようにする同時のクラスタ動作をサポートするように構成されてもよい。
少なくとも一実施例では、ＣＰＵ１６０６のうちの１つ又は複数は、電力管理機能を実装してもよく、この機能は限定することなく、以下の特徴のうちの１つ又は複数を含む：個々のハードウェア・ブロックが、アイドル時に自動的にクロック・ゲート制御されて動的電力を節約することができる；割込み待ち（「ＷＦＩ」：Ｗａｉｔ ｆｏｒ Ｉｎｔｅｒｒｕｐｔ）／イベント待ち（「ＷＦＥ」：Ｗａｉｔ ｆｏｒ Ｅｖｅｎｔ）命令の実行に起因してコアが能動的に命令を実行していないとき、各コア・クロックをゲート制御することができる；各コアを独立して電力ゲート制御することができる；すべてのコアがクロック・ゲート制御又は電力ゲート制御されるとき、各コア・クラスタを独立してクロック・ゲート制御することができる；且つ／又はすべてのコアが電力ゲート制御されるとき、各コア・クラスタを独立して電力ゲート制御することができる。少なくとも一実施例では、ＣＰＵ１６０６はさらに、電力状態を管理するための拡張アルゴリズムを実装してもよく、ここで、許容された電力状態及び予想されるウェイクアップ時間が指定され、コア、クラスタ、及びＣＣＰＬＥＸが入るべき最良の電力状態を、ハードウェア／マイクロコードが判定する。少なくとも一実施例では、処理コアは、作業がマイクロコードにオフロードされた状態で、電力状態に入る簡単なシーケンスをソフトウェアにおいてサポートしてもよい。
少なくとも一実施例では、ＧＰＵ１６０８は、統合されたＧＰＵ（或いは、本明細書において「ｉＧＰＵ」と呼ばれる）を含んでもよい。少なくとも一実施例では、ＧＰＵ１６０８は、プログラム可能であってもよく、並列なワークロードに対して効率的であってもよい。少なくとも一実施例では、ＧＰＵ１６０８は、少なくとも一実施例では、拡張テンソル命令セットを使用してもよい。一実施例では、ＧＰＵ１６０８は、１つ又は複数のストリーミング・マイクロプロセッサを含んでもよく、ここで各ストリーミング・マイクロプロセッサは、レベル１（「Ｌ１」）キャッシュ（たとえば少なくとも９６ＫＢのストレージ容量を有するＬ１キャッシュ）を含んでもよく、ストリーミング・マイクロプロセッサのうちの２つ以上は、Ｌ２キャッシュ（たとえば、５１２ＫＢのストレージ容量を有するＬ２キャッシュ）を共有してもよい。少なくとも一実施例では、ＧＰＵ１６０８は、少なくとも８つのストリーミング・マイクロプロセッサを含んでもよい。少なくとも一実施例では、ＧＰＵ１６０８は、コンピュート・アプリケーション・プログラミング・インターフェース（ＡＰＩ：ａｐｐｌｉｃａｔｉｏｎ ｐｒｏｇｒａｍｍｉｎｇ ｉｎｔｅｒｆａｃｅ）を使用してもよい。少なくとも一実施例では、ＧＰＵ１６０８は、１つ又は複数の並列なコンピューティング・プラットフォーム、及び／又はプログラミング・モジュール（たとえば、ＮＶＩＤＩＡのＣＵＤＡ）を使用してもよい。
少なくとも一実施例では、ＧＰＵ１６０８のうちの１つ又は複数は、自動車用及び組み込まれたユース・ケースにおいて最良の性能になるように電力最適化されてもよい。たとえば、一実施例では、ＧＰＵ１６０８は、フィン電界効果トランジスタ（「ＦｉｎＦＥＴ」：Ｆｉｎ ｆｉｅｌｄ－ｅｆｆｅｃｔ ｔｒａｎｓｉｓｔｏｒ）上で作製することができる。少なくとも一実施例では、各ストリーミング・マイクロプロセッサは、複数のブロックに区分けされた多数の混合精度の処理コアを組み込んでもよい。たとえば、限定することなく６４個のＰＦ３２コアと、３２個のＰＦ６４コアを、４つの処理ブロックに区分けすることができる。少なくとも一実施例では、各処理ブロックに、１６個のＦＰ３２コア、８個のＦＰ６４コア、１６個のＩＮＴ３２コア、深層学習の行列演算用の２つの混合精度のＮＶＩＤＩＡ ＴＥＮＳＯＲコア、レベルゼロ（「Ｌ０」）命令キャッシュ、ワープ・スケジューラ、ディスパッチ・ユニット、及び／又は６４ＫＢのレジスタ・ファイルを配分することができる。少なくとも一実施例では、ストリーミング・マイクロプロセッサは、整数と浮動小数点の独立した並列のデータ経路を含み、コンピュータ処理とアドレッシング計算を混用することによってワークロードの効率的な実行を実現する。少なくとも一実施例では、ストリーミング・マイクロプロセッサは、独立したスレッド・スケジューリング機能を含み、並列スレッド間でよりきめ細かい同期及び連携を可能にしてもよい。少なくとも一実施例では、ストリーミング・マイクロプロセッサは、性能を向上させると同時にプログラミングを簡単にするために、Ｌ１データ・キャッシュと共有メモリ・ユニットの組合せを含んでもよい。
少なくとも一実施例では、ＧＰＵ１６０８のうちの１つ又は複数は、高帯域幅メモリ（「ＨＢＷ」：ｈｉｇｈ ｂａｎｄｗｉｄｔｈ ｍｅｍｏｒｙ）及び／又は１６ＧＢのＨＢＭ２メモリ・サブシステムを含み、いくつかの例では、約９００ＧＢ／秒のピーク・メモリ帯域幅を提供してもよい。少なくとも一実施例では、ＨＢＭメモリに加えて、又はその代わりに、グラフィックス・ダブル・データ・レート・タイプの５つの同期ランダム・アクセス・メモリ（「ＧＤＤＲ５」：ｇｒａｐｈｉｃｓ ｄｏｕｂｌｅ ｄａｔａ ｒａｔｅ ｔｙｐｅ ｆｉｖｅ）などの同期グラフィックス・ランダム・アクセス・メモリ（「ＳＧＲＡＭ」：ｓｙｎｃｈｒｏｎｏｕｓ ｇｒａｐｈｉｃｓ ｒａｎｄｏｍ－ａｃｃｅｓｓ ｍｅｍｏｒｙ）が使用されてもよい。
少なくとも一実施例では、ＧＰＵ１６０８は、統合メモリ技術を含んでもよい。少なくとも一実施例では、アドレス・トランスレーション・サービス（「ＡＴＳ」：ａｄｄｒｅｓｓ ｔｒａｎｓｌａｔｉｏｎ ｓｅｒｖｉｃｅｓ）サポートを使用して、ＧＰＵ１６０８が、ＣＰＵ１６０６のページ・テーブルに直接アクセスできるようにしてもよい。少なくとも一実施例では、ＧＰＵ１６０８メモリ管理ユニット（「ＭＭＵ」：ｍｅｍｏｒｙ ｍａｎａｇｅｍｅｎｔ ｕｎｉｔ）がミスに遭遇したときには、アドレス・トランスレーション要求が、ＣＰＵ１６０６に送信されてもよい。少なくとも一実施例では、それに応答して、ＣＰＵ１６０６は、自らのページ・テーブルで、仮想から物理へのアドレスのマッピングを探し、トランスレーションをＧＰＵ１６０８に送り返してもよい。少なくとも一実施例では、統合メモリ技術は、ＣＰＵ１６０６とＧＰＵ１６０８の両方のメモリに対して単一の統合された仮想アドレス空間を与えることを可能にし、それにより、ＧＰＵ１６０８のプログラミング、及びＧＰＵ１６０８へのアプリケーションの移植を簡単にする。
少なくとも一実施例では、ＧＰＵ１６０８は、他のプロセッサのメモリへのＧＰＵ１６０８のアクセス頻度を記録することができる任意の数のアクセス・カウンタを含んでもよい。少なくとも一実施例では、アクセス・カウンタは、最も頻繁にページにアクセスしているプロセッサの物理メモリに、メモリ・ページが確実に移動されるのを補助し、それにより、プロセッサ間で共有されるメモリ範囲の効率を向上させてもよい。
少なくとも一実施例では、ＳｏＣ１６０４のうちの１つ又は複数は、本明細書に記載のものを含む任意の数のキャッシュ１６１２を含んでもよい。たとえば、少なくとも一実施例では、キャッシュ１６１２は、ＣＰＵ１６０６もＧＰＵ１６０８も利用可能な（たとえば、ＣＰＵ１６０６とＧＰＵ１６０８の両方に接続された）レベル３（「Ｌ３」）キャッシュを含むことができる。少なくとも一実施例では、キャッシュ１６１２は、キャッシュ・コヒーレンス・プロトコルなど（たとえば、ＭＥＩ、ＭＥＳＩ、ＭＳＩなど）を使用することにより、線の状態を記録することができるライト・バック・キャッシュを含んでもよい。少なくとも一実施例では、Ｌ３キャッシュは、実施例に応じて４ＭＢ以上を含んでもよいが、より小さいキャッシュ・サイズが使用されてもよい。
少なくとも一実施例では、ＳｏＣ１６０４のうちの１つ又は複数は、１つ又は複数のアクセラレータ１６１４（たとえば、ハードウェア・アクセラレータ、ソフトウェアアクセラレータ、又はこれらの組合せ）を含んでもよい。少なくとも一実施例では、ＳｏＣ１６０４は、最適化されたハードウェア・アクセラレータ及び／又は大型のオン・チップ・メモリを含むことができるハードウェア加速クラスタを含んでもよい。少なくとも一実施例では、大型のオン・チップ・メモリ（たとえば、４ＭＢのＳＲＡＭ）は、ハードウェア加速クラスタが、ニューラル・ネットワーク及び他の計算を加速できるようにしてもよい。少なくとも一実施例では、ハードウェア加速クラスタを使用して、ＧＰＵ１６０８を補完し、ＧＰＵ１６０８のタスクのうちのいくつかをオフロードしてもよい（たとえば、他のタスクを実行できるようにＧＰＵ１６０８のサイクルをより多く解放してもよい）。少なくとも一実施例では、加速を受け入れるのに十分なほど安定している目的とするワークロード（たとえば、知覚、畳み込みニューラル・ネットワーク（「ＣＮＮ」：ｃｏｎｖｏｌｕｔｉｏｎａｌ ｎｅｕｒａｌ ｎｅｔｗｏｒｋ）、再帰ニューラル・ネットワーク（「ＲＮＮ」：ｒｅｃｕｒｒｅｎｔ ｎｅｕｒａｌ ｎｅｔｗｏｒｋ）など）のために、アクセラレータ１６１４を使用することができる。少なくとも一実施例では、ＣＮＮは、領域ベースの、すなわち領域畳み込みニューラル・ネットワーク（「ＲＣＮＮ」：ｒｅｇｉｏｎａｌ ｃｏｎｖｏｌｕｔｉｏｎａｌ ｎｅｕｒａｌ ｎｅｔｗｏｒｋ）、及び（たとえば、物体検出に使用される）高速ＲＣＮＮ、又は他のタイプのＣＮＮを含んでもよい。
少なくとも一実施例では、アクセラレータ１６１４（たとえば、ハードウェア加速クラスタ）は、深層学習アクセラレータ（「ＤＬＡ」：ｄｅｅｐ ｌｅａｒｎｉｎｇ ａｃｃｅｌｅｒａｔｏｒ）を含んでもよい。ＤＬＡは、限定することなく、１つ又は複数のＴｅｎｓｏｒ処理ユニット（「ＴＰＵ」：Ｔｅｎｓｏｒ ｐｒｏｃｅｓｓｉｎｇ ｕｎｉｔｓ）を含んでもよく、このユニットは、深層学習アプリケーション及び推論のために、さらに毎秒１０兆の演算を提供するように構成されてもよい。少なくとも一実施例では、ＴＰＵは、画像処理機能（たとえば、ＣＮＮ、ＲＣＮＮなど）を実行するように構成され、そのために最適化されたアクセラレータであってもよい。ＤＬＡはさらに、ニューラル・ネットワーク・タイプと浮動小数点演算の特定のセット、並びに推論のために最適化されてもよい。少なくとも一実施例では、ＤＬＡの設計により、典型的な汎用ＧＰＵよりもミリメートル当たりの性能を向上させることができ、典型的には、ＣＰＵの性能を大いに上回る。少なくとも一実施例では、ＴＰＵは、たとえば特徴と重みの両方のためのＩＮＴ８、ＩＮＴ１６、及びＦＰ１６のデータ型をサポートする単一インスタンスの畳み込み関数、並びに後処理関数を含む、いくつか関数を実行してもよい。少なくとも一実施例では、ＤＬＡは、たとえば、限定することなく、カメラ・センサからのデータを使用した物体識別及び検出のためのＣＮＮ、カメラ・センサからのデータを使用した距離推定のためのＣＮＮ、マイクロフォン１６９６からのデータを使用した緊急車両検出、及び識別、及び検出のためのＣＮＮ、カメラ・センサからのデータを使用した顔認識及び車両所有者識別ためのＣＮＮ、並びに／又はセキュリティ及び／若しくは安全に関するイベントのためのＣＮＮを含め、様々な機能のうちのいずれかのための処理済み若しくは未処理のデータに対して、迅速且つ効率的にニューラル・ネットワーク、特にＣＮＮを実行してもよい。
少なくとも一実施例では、ＤＬＡは、ＧＰＵ１６０８の任意の機能を実行してもよく、たとえば推論アクセラレータを使用することにより、設計者は、任意の機能のためにＤＬＡ又はＧＰＵ１６０８のいずれかをターゲットにしてもよい。たとえば、少なくとも一実施例では、設計者は、ＣＮＮ及び浮動小数点演算の処理をＤＬＡに集中させ、他の機能をＧＰＵ１６０８及び／又は他のアクセラレータ１６１４に任せてもよい。
少なくとも一実施例では、アクセラレータ１６１４（たとえば、ハードウェア加速クラスタ）は、プログラマブル・ビジョン・アクセラレータ（「ＰＶＡ」：ｐｒｏｇｒａｍｍａｂｌｅ ｖｉｓｉｏｎ ａｃｃｅｌｅｒａｔｏｒ）を含んでもよく、このプログラマブル・ビジョン・アクセラレータは、本明細書において代替的にコンピュータ・ビジョン・アクセラレータと呼ばれてもよい。少なくとも一実施例では、ＰＶＡは、先進ドライバ支援システム（「ＡＤＡＳ」）１６３８、自律運転、拡張現実（「ＡＲ」：ａｕｇｍｅｎｔｅｄ ｒｅａｌｉｔｙ）アプリケーション、及び／又は仮想現実（「ＶＲ」：ｖｉｒｔｕａｌ ｒｅａｌｉｔｙ）アプリケーションのために、コンピュータ・ビジョン・アルゴリズムを加速するように設計及び構成されてもよい。ＰＶＡにより、性能と融通性との均衡が保たれてもよい。たとえば、少なくとも一実施例では、各ＰＶＡは、たとえば限定することなく、任意の数の縮小命令セット・コンピュータ（「ＲＩＳＣ」：ｒｅｄｕｃｅｄ ｉｎｓｔｒｕｃｔｉｏｎ ｓｅｔ ｃｏｍｐｕｔｅｒ）コア、ダイレクト・メモリ・アクセス（「ＤＭＡ」：ｄｉｒｅｃｔ ｍｅｍｏｒｙ ａｃｃｅｓｓ）、及び／又は任意の数のベクトル・プロセッサを含んでもよい。
少なくとも一実施例では、ＲＩＳＣコアは、画像センサ（たとえば、本明細書に記載のカメラのうちの任意のカメラの画像センサ）、及び／又は画像信号プロセッサなどと相互作用してもよい。少なくとも一実施例では、ＲＩＳＣコアのそれぞれは、任意の量のメモリを含んでもよい。少なくとも一実施例では、ＲＩＳＣコアは、実施例に応じて複数のプロトコルのうちの任意のものを使用してもよい。少なくとも一実施例では、ＲＩＳＣコアは、リアル・タイム・オペレーティング・システム（「ＲＴＯＳ」：ｒｅａｌ－ｔｉｍｅ ｏｐｅｒａｔｉｎｇ ｓｙｓｔｅｍ）を実行してもよい。少なくとも一実施例では、ＲＩＳＣコアは、１つ又は複数の集積回路デバイス、特定用途向け集積回路（「ＡＳＩＣ」）、及び／又はメモリ・デバイスを使用して実装されてもよい。たとえば、少なくとも一実施例では、ＲＩＳＣコアは、命令キャッシュ及び／又は密結合ＲＡＭを含むことができる。
少なくとも一実施例では、ＤＭＡは、ＰＶＡの構成要素がＣＰＵ１６０６とは無関係にシステム・メモリにアクセスできるようにしてもよい。少なくとも一実施例では、ＤＭＡは、多次元アドレッシング、及び／又はサーキュラ・アドレッシングを含むがこれらに限定されない、ＰＶＡに最適化を提供するために使用される任意の数の特徴をサポートしてもよい。少なくとも一実施例では、ＤＭＡは、６つ以上のアドレッシング次元までをサポートしてもよく、これには、限定することなく、ブロック幅、ブロック高さ、ブロック深度、水平ブロック・ステッピング、垂直ブロック・ステッピング、及び／又は深度ステッピングが含まれてもよい。
少なくとも一実施例では、ベクトル・プロセッサは、コンピュータ・ビジョン・アルゴリズムのためのプログラミングを効率的でフレキシブルに実行するように設計されてもよいプログラム可能なプロセッサとすることができ、信号処理機能を提供する。少なくとも一実施例では、ＰＶＡは、ＰＶＡコアと、２つのベクトル処理サブシステム・パーティションを含んでもよい。少なくとも一実施例では、ＰＶＡコアは、プロセッサ・サブシステム、ＤＭＡエンジン（たとえば２つのＤＭＡエンジン）、及び／又は他の周辺装置を含んでもよい。少なくとも一実施例では、ベクトル処理サブシステムは、ＰＶＡの一次処理エンジンとして動作してもよく、ベクトル処理ユニット（「ＶＰＵ」：ｖｅｃｔｏｒ ｐｒｏｃｅｓｓｉｎｇ ｕｎｉｔ）、命令キャッシュ、及び／又はベクトル・メモリ（たとえば、「ＶＭＥＭ」）を含んでもよい。少なくとも一実施例では、ＶＰＵは、たとえば単一命令複数データ（「ＳＩＭＤ」：ｓｉｎｇｌｅ ｉｎｓｔｒｕｃｔｉｏｎ， ｍｕｌｔｉｐｌｅ ｄａｔａ）、超長命令語（「ＶＬＩＷ」：ｖｅｒｙ ｌｏｎｇ ｉｎｓｔｒｕｃｔｉｏｎ ｗｏｒｄ）のデジタル信号プロセッサなどのデジタル信号プロセッサを含んでもよい。少なくとも一実施例では、ＳＩＭＤとＶＬＩＷの組合せによって、スループット及びスピードが改善されてもよい。
少なくとも一実施例では、ベクトル・プロセッサのそれぞれは、命令キャッシュを含んでもよく、専用のメモリに結合されてもよい。その結果、少なくとも一実施例では、ベクトル・プロセッサのそれぞれは、他のベクトル・プロセッサとは無関係に実行されるように構成されてもよい。少なくとも一実施例では、特定のＰＶＡに含まれるベクトル・プロセッサは、データ並列処理を用いるように構成されてもよい。たとえば、少なくとも一実施例では、単一のＰＶＡに含まれる複数のベクトル・プロセッサは、同じコンピュータ・ビジョン・アルゴリズムを画像の異なる領域上で実行してもよい。少なくとも一実施例では、特定のＰＶＡに含まれるベクトル・プロセッサは、異なるコンピュータ・ビジョン・アルゴリズムを同じ画像上で同時に実行してもよく、又はさらには、異なるアルゴリズムを連続した画像上で、若しくは画像の部分上で実行してもよい。少なくとも一実施例では、とりわけ、任意の数のＰＶＡがハードウェア加速クラスタに含まれてもよく、任意の数のベクトル・プロセッサがＰＶＡのそれぞれに含まれてもよい。少なくとも一実施例では、ＰＶＡは、システムの全体的な安全性を強化するために、追加のエラー訂正コード（「ＥＣＣ」：Ｅｒｒｏｒ Ｃｏｒｒｅｃｔｉｏｎ Ｃｏｄｅ）メモリを含んでもよい。
少なくとも一実施例では、アクセラレータ１６１４（たとえば、ハードウェア加速クラスタ）は、オン・チップのコンピュータ・ビジョン・ネットワーク、及びスタティック・ランダム・アクセス・メモリ（「ＳＲＡＭ」）を含み、アクセラレータ１６１４のための高帯域幅、低レイテンシのＳＲＡＭを提供してもよい。少なくとも一実施例では、オン・チップ・メモリは、たとえば限定することなく、８つのフィールド設定可能なメモリ・ブロックから成る少なくとも４ＭＢのＳＲＡＭを含んでもよく、これは、ＰＶＡからもＤＬＡからもアクセス可能であってもよい。少なくとも一実施例では、メモリ・ブロックの各対は、アドバンスト・ペリフェラル・バス（「ＡＰＢ」：ａｄｖａｎｃｅｄ ｐｅｒｉｐｈｅｒａｌ ｂｕｓ）インターフェース、構成回路、コントローラ、及びマルチプレクサを含んでもよい。少なくとも一実施例では、任意のタイプのメモリが使用されてもよい。少なくとも一実施例では、ＰＶＡ及びＤＬＡは、メモリへの高速アクセスをＰＶＡ及びＤＬＡに提供するバックボーンを介して、メモリにアクセスしてもよい。少なくとも一実施例では、バックボーンは、ＰＶＡ及びＤＬＡを（たとえばＡＰＢを使用して）メモリに相互接続するオン・チップのコンピュータ・ビジョン・ネットワークを含んでもよい。
少なくとも一実施例では、オン・チップのコンピュータ・ビジョン・ネットワークは、何らかの制御信号／アドレス／データを送信する前に、ＰＶＡとＤＬＡの両方が準備信号及び有効信号を提供することを判定するインターフェースを含んでもよい。少なくとも一実施例では、インターフェースは、制御信号／アドレス／データを送信するための別々の位相及び別々のチャネル、並びに継続的なデータ転送のためのバースト型通信を提供してもよい。少なくとも一実施例では、インターフェースは、国際標準化機構（「ＩＳＯ」：Ｏｒｇａｎｉｚａｔｉｏｎ ｆｏｒ Ｓｔａｎｄａｒｄｉｚａｔｉｏｎ）２６２６２又は国際電気標準会議（「ＩＥＣ」：Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｅｌｅｃｔｒｏｔｅｃｈｎｉｃａｌ Ｃｏｍｍｉｓｓｉｏｎ）６１５０８の規格に準拠してもよいが、他の規格及びプロトコルが使用されてもよい。
少なくとも一実施例では、ＳｏＣ１６０４のうちの１つ又は複数は、リアル・タイム・レイ・トレーシングのハードウェア・アクセラレータを含んでもよい。少なくとも一実施例では、リアル・タイム・レイ・トレーシングのハードウェア・アクセラレータを使用して、物体の（たとえば世界モデル内での）位置及び範囲が迅速且つ効率的に判定されて、ＲＡＤＡＲ信号解釈のため、音伝播合成及び／若しくは分析のため、ＳＯＮＡＲシステムのシミュレーションのため、一般波形の伝播シミュレーションのため、ローカリゼーション及び／若しくは他の機能を目的としたＬＩＤＡＲデータとの比較のため、並びに／又は他の使用法のためのリアル・タイムの可視化シミュレーションが生成されてもよい。
少なくとも一実施例では、アクセラレータ１６１４（たとえば、ハードウェア・アクセラレータ・クラスタ）は、自律運転のための多様な使用法を有する。少なくとも一実施例では、ＰＶＡは、ＡＤＡＳ及び自律車両の主要な処理ステージに使用することができるプログラマブル・ビジョン・アクセラレータであってもよい。少なくとも一実施例では、ＰＶＡの性能は、低電力及び低レイテンシの予測可能な処理を必要とするアルゴリズム・ドメインに良好に適合する。言い換えれば、ＰＶＡは、低レイテンシ及び低電力の予測可能なラン・タイムを必要とする半稠密（ｓｅｍｉ－ｄｅｎｓｅ）又は稠密な規則的計算に対して、データ・セットが小さくても良好に機能する。少なくとも一実施例では、車両１６００などの自律車両では、従来のコンピュータ・ビジョン・アルゴリズムを実行するようにＰＶＡが設計されるが、これは、それらが、物体検出及び整数数値の演算に有効だからである。
たとえば、技術の少なくとも一実施例によれば、ＰＶＡを使用して、コンピュータ・ステレオ・ビジョンが実行されてもよい。少なくとも一実施例では、いくつかの例においてセミ・グローバル・マッチングに基づくアルゴリズムが使用されてもよいが、これは限定するものではない。少なくとも一実施例では、レベル３～５の自律運転のためのアプリケーションは、動き推定／ステレオ・マッチング（たとえば、動きからの構造化、歩行者認識、車線検出など）をオン・ザ・フライで使用する。少なくとも一実施例では、ＰＶＡは、２つの単眼カメラからの入力に対して、コンピュータ・ステレオ・ビジョン機能を実行してもよい。
少なくとも一実施例では、ＰＶＡを使用して、高密度オプティカル・フローが実行されてもよい。たとえば、少なくとも一実施例では、ＰＶＡは、未加工のＲＡＤＡＲデータを（たとえば４Ｄの高速フーリエ変換を使用して）処理して、処理済みＲＡＤＡＲデータを提供することができる。少なくとも一実施例では、ＰＶＡは、飛行時間の深度処理に使用され、たとえば未加工の飛行時間データを処理することにより、処理済みの飛行時間データが提供される。
少なくとも一実施例では、たとえば限定することなく、物体検出ごとに信頼性の尺度を出力するニューラル・ネットワークを含む、制御及び運転の安全性を強化するための任意のタイプのネットワークを実行するために、ＤＬＡが使用されてもよい。少なくとも一実施例では、信頼性は、他の検出と比較した各検出の確率として、若しくはその相対的な「重み」を提供するものとして表されても、又は解釈されてもよい。少なくとも一実施例では、信頼性によって、どの検出を誤検出ではなく正検出とみなすべきかに関して、システムがさらなる判定を下せるようになる。たとえば、少なくとも一実施例では、システムは、信頼性に対して閾値を設定し、閾値を超える検出だけを正検出とみなしてもよい。自動緊急ブレーキ（「ＡＥＢ」：ａｕｔｏｍａｔｉｃ ｅｍｅｒｇｅｎｃｙ ｂｒａｋｉｎｇ）が使用される実施例では、誤検出によって車両は自動的に緊急ブレーキをかけることになり、これは明らかに望ましくない。少なくとも一実施例では、非常に信頼性の高い検出が、ＡＥＢのトリガとみなされてもよい。少なくとも一実施例では、ＤＬＡは、信頼値を回帰するようにニューラル・ネットワークを実行してもよい。少なくとも一実施例では、ニューラル・ネットワークは、とりわけ境界ボックスの次元、（たとえば別のサブシステムから）取得した地面推定、車両１６００の配向と相関しているＩＭＵセンサ１６６６からの出力、距離、ニューラル・ネットワーク及び／又は他のセンサ（たとえば、ＬＩＤＡＲセンサ１６６４若しくはＲＡＤＡＲセンサ１６６０）から取得した物体の３Ｄロケーション推定などのパラメータの少なくともいくつかのサブセットを、その入力として取ってもよい。
少なくとも一実施例では、ＳｏＣ１６０４のうちの１つ又は複数は、データ・ストア１６１６（たとえばメモリ）を含んでもよい。少なくとも一実施例では、データ・ストア１６１６は、ＳｏＣ１６０４のオン・チップ・メモリであってもよく、このメモリは、ＧＰＵ１６０８及び／又はＤＬＡ上で実行されるニューラル・ネットワークを記憶してもよい。少なくとも一実施例では、データ・ストア１６１６の容量は、冗長性及び安全性のためにニューラル・ネットワークの複数のインスタンスを記憶するのに十分なほど大きくてもよい。少なくとも一実施例では、データ・ストア１６１２は、Ｌ２又はＬ３のキャッシュを備えてもよい。
少なくとも一実施例では、ＳｏＣ１６０４のうちの１つ又は複数は、任意の数のプロセッサ１６１０（たとえば、組み込みプロセッサ）を含んでもよい。プロセッサ１６１０は、ブート電力並びに管理機能及び関連するセキュリティ執行に対処するための専用プロセッサ及びサブシステムであってもよいブート及び電力管理プロセッサを含んでもよい。少なくとも一実施例では、ブート及び電力管理プロセッサは、ＳｏＣ１６０４のブート・シーケンスの一部であってもよく、ラン・タイム電力管理サービスを提供してもよい。少なくとも一実施例では、ブート電力及び管理プロセッサは、クロックと電圧のプログラミング、システムの低電力状態への移行の支援、ＳｏＣ１６０４の熱及び温度センサの管理、並びに／又はＳｏＣ１６０４の電力状態の管理を提供してもよい。少なくとも一実施例では、各温度センサは、その出力周波数が温度に比例するリング発振器として実装されてもよく、ＳｏＣ１６０４は、リング発振器を使用して、ＣＰＵ１６０６、ＧＰＵ１６０８、及び／又はアクセラレータ１６１４の温度を検出してもよい。少なくとも一実施例では、温度が閾値を超えると判定された場合には、ブート及び電力管理プロセッサは、温度不良ルーチンに入り、ＳｏＣ１６０４を低電力状態にし、且つ／又は車両１６００を運転手－安全停止モードにしても（たとえば、車両１６００を安全停止させる）よい。
少なくとも一実施例では、プロセッサ１６１０はさらに、オーディオ処理エンジンとしての役割を果たすことができる組み込みプロセッサのセットを含んでもよい。少なくとも一実施例では、オーディオ処理エンジンは、多重インターフェースを介した多チャネルのオーディオ、及び幅広くフレキシブルな様々なオーディオＩ／Ｏインターフェースのための、完全なハードウェア・サポートを可能にするオーディオ・サブシステムであってもよい。少なくとも一実施例では、オーディオ処理エンジンは、専用ＲＡＭのあるデジタル信号プロセッサを有する専用プロセッサ・コアである。
少なくとも一実施例では、プロセッサ１６１０はさらに、低電力センサ管理及び立ち上げのユース・ケースをサポートするのに必要なハードウェア特徴を提供することができる常時オン・プロセッサ・エンジンを含んでもよい。少なくとも一実施例では、常時オン・プロセッサ・エンジンは、限定することなく、プロセッサ・コア、密結合ＲＡＭ、サポート周辺装置（たとえば、タイマ、及び割込みコントローラ）、様々なＩ／Ｏコントローラ周辺装置、及びルーティング論理を含んでもよい。
少なくとも一実施例では、プロセッサ１６１０はさらに安全クラスタ・エンジンを含んでもよく、このエンジンは限定することなく、自動車用途の安全管理に対処するための専用のプロセッサ・サブシステムを含む。少なくとも一実施例では、安全クラスタ・エンジンは、限定することなく、２つ以上のプロセッサ・コア、密結合ＲＡＭ、サポート周辺装置（たとえば、タイマ、及び割込みコントローラなど）、及び／又はルーティング論理を含んでもよい。安全モードでは、少なくとも一実施例においてロックステップ・モードで２つ以上のコアが動作し、これらの動作間で何らかの差を検出するための比較論理を有する単一コアとして機能してもよい。少なくとも一実施例では、プロセッサ１６１０はさらにリアル・タイム・カメラ・エンジンを含んでもよく、このエンジンは限定することなく、リアル・タイムのカメラ管理に対処するための専用のプロセッサ・サブシステムを含んでもよい。少なくとも一実施例では、プロセッサ１６１０はさらに、高ダイナミック・レンジの信号プロセッサを含んでもよく、この信号プロセッサは、カメラ処理パイプラインの一部であるハードウェア・エンジンである画像信号プロセッサを限定することなく含んでもよい。
少なくとも一実施例では、プロセッサ１６１０は、ビデオ画像合成器を含んでもよく、この合成器は、再生装置のウインドウに最終画像を生成するのにビデオ再生アプリケーションが必要とするビデオ後処理機能を実装する（たとえばマイクロプロセッサに実装された）処理ブロックであってもよい。少なくとも一実施例では、ビデオ画像合成器は、広角カメラ１６７０、周囲カメラ１６７４、及び／又はキャビン内監視カメラ・センサに対して、レンズゆがみ補正を実行してもよい。少なくとも一実施例では、キャビン内監視カメラ・センサは、好ましくは、キャビン内のイベントを識別し、それに適宜応答するように構成された、ＳｏＣ１６０４の別のインスタンスで実行されているニューラル・ネットワークによって監視される。少なくとも一実施例では、キャビン内システムは、セルラー・サービスをアクティブ化し、電話をかけたり、電子メールを書いたり、車両の行き先を変更したり、車両のインフォテイメント・システム及び設定をアクティブ化又は変更したり、音声作動式のウェブ・サーフィンを提供したりするために、限定することなく読唇を実行してもよい。少なくとも一実施例では、ある一定の機能は、車両が自律モードで動作しているときにドライバにとって利用可能になり、それ以外のときには使用不可になる。
少なくとも一実施例では、ビデオ画像合成器は、空間と時間の両方のノイズ低減のための拡張された時間的ノイズ低減を含んでもよい。たとえば、少なくとも一実施例では、ビデオで動きが生じる場合には、ノイズ低減が空間情報に適切に重み付けして、隣接するフレームによって提供される情報の重みを軽くする。少なくとも一実施例では、画像又は画像の一部分が動きを含まない場合には、ビデオ画像合成器により実行される時間的ノイズ低減は、前の画像からの情報を使用して、現在の画像のノイズを低減してもよい。
少なくとも一実施例では、ビデオ画像合成器はまた、入力されたステレオ・レンズ・フレームに対してステレオ平行化を実行するように構成されてもよい。少なくとも一実施例では、ビデオ画像合成器はさらに、オペレーティング・システムのデスクトップが使用中のときに、ユーザ・インターフェースを合成するために使用されてもよく、ＧＰＵ１６０８は、新規の表面を継続的にレンダリングする必要がなくなる。少なくとも一実施例では、ＧＰＵ１６０８の電源が入れられ、アクティブで３Ｄレンダリングを行っているとき、性能及び応答性を向上させるために、ビデオ画像合成器を使用してＧＰＵ１６０８をオフロードしてもよい。
少なくとも一実施例では、ＳｏＣ１６０４のうちの１つ又は複数はさらに、ビデオ及びカメラからの入力を受信するためのモバイル・インダストリ・プロセッサ・インターフェース（「ＭＩＰＩ」：ｍｏｂｉｌｅ ｉｎｄｕｓｔｒｙ ｐｒｏｃｅｓｓｏｒ ｉｎｔｅｒｆａｃｅ）のカメラ直列インターフェース、高速インターフェース、並びに／又はカメラ及び関連ピクセルの入力機能に使用されてもよいビデオ入力ブロックを含んでもよい。少なくとも一実施例では、ＳｏＣ１６０４のうちの１つ又は複数はさらに、入力／出力コントローラを含んでもよく、このコントローラはソフトウェアによって制御されてもよく、特定の役割に縛られていないＩ／Ｏ信号を受信するために使用されてもよい。
少なくとも一実施例では、ＳｏＣ１６０４のうちの１つ又は複数はさらに、周辺装置、オーディオ・エンコーダ／デコーダ（「コーデック」）、電力管理、及び／又は他の装置との通信を可能にするための幅広い周辺装置インターフェースを含んでもよい。ＳｏＣ１６０４は、（たとえば、ギガビット・マルチメディア・シリアル・リンク及びイーサネット（登録商標）を介して接続された）カメラからのデータ、センサ（たとえば、イーサネット（登録商標）を介して接続されてもよいＬＩＤＡＲセンサ１６６４、ＲＡＤＡＲセンサ１６６０など）からのデータ、バス１６０２からのデータ（たとえば、車両１６００のスピード、ハンドル位置など）、（たとえば、イーサネット（登録商標）又はＣＡＮバスを介して接続された）ＧＮＳＳセンサ１６５８からのデータなどを処理するために使用されてもよい。少なくとも一実施例では、ＳｏＣ１６０４のうちの１つ又は複数はさらに、専用の高性能大容量ストレージ・コントローラを含んでもよく、このコントローラは独自のＤＭＡエンジンを含んでもよく、ルーチンのデータ管理タスクからＣＰＵ１６０６を解放するために使用されてもよい。
少なくとも一実施例では、ＳｏＣ１６０４は、自動化レベル３～５に及ぶフレキシブルなアーキテクチャを有するエンドツーエンドのプラットフォームであってもよく、それにより、多様性及び冗長性を得るためにコンピュータ・ビジョン及びＡＤＡＳ技法を活用し効率的に利用する包括的な機能的安全性アーキテクチャが提供され、フレキシブルで、信頼性の高い運転ソフトウェア・スタックが、深層学習ツールとともに提供される。少なくとも一実施例では、ＳｏＣ１６０４は、従来のシステムより高速で、信頼性が高く、さらにはエネルギー効率及び空間効率が高い。たとえば、少なくとも一実施例では、アクセラレータ１６１４は、ＣＰＵ１６０６、ＧＰＵ１６０８、及びデータ・ストア１６１６と組み合わされると、レベル３～５の自律車両のための高速で効率的なプラットフォームを実現することができる。
少なくとも一実施例では、コンピュータ・ビジョン・アルゴリズムはＣＰＵ上で実行されてもよく、このアルゴリズムは、Ｃプログラミング言語などの高レベル・プログラミング言語を使用して構成されて、多様な視覚データにわたって多様な処理アルゴリズムを実行してもよい。しかし、少なくとも一実施例では、ＣＰＵは、多くのコンピュータ・ビジョン・アプリケーションの性能要件、たとえば実行時間及び電力消費に関する要件などを満足できないことが多い。少なくとも一実施例では、多くのＣＰＵは、車両内のＡＤＡＳアプリケーション及び現実的なレベル３～５の自律車両において使用される複雑な物体検出アルゴリズムを、リアル・タイムで実行することができない。
本明細書に記載の実施例は、複数のニューラル・ネットワークを同時に且つ／又は順番に実行できるようにし、結果を組み合わせて、レベル３～５の自律運転機能を可能にすることができる。たとえば、少なくとも一実施例では、ＤＬＡ又は個別ＧＰＵ（たとえば、ＧＰＵ１６２０）上で実行しているＣＮＮは、テキスト及び単語認識を含んでもよく、ニューラル・ネットワークがそれについて特に訓練されてこなかった標識を含む交通標識を、スーパーコンピュータが読み、理解できるようにする。少なくとも一実施例では、ＤＬＡはさらに、標識を識別し、解釈し、標識の意味的理解を提供することができ、その意味的理解を、ＣＰＵコンプレックス上で実行されている経路計画モジュールに渡すことができるニューラル・ネットワークを含んでもよい。
少なくとも一実施例では、レベル３、４、又は５の運転に関して、複数のニューラル・ネットワークが同時に実行されてもよい。たとえば、少なくとも一実施例では、電光と併せて「注意：点滅時は凍結状態」と示される警告標識は、いくつかのニューラル・ネットワークによって別々に解釈されても、集合的に解釈されてもよい。少なくとも一実施例では、標識自体は、第１の導入済みニューラル・ネットワーク（たとえば、訓練されてきたニューラル・ネットワーク）によって交通標識として識別されてもよく、「点滅時は凍結状態」という文字は、第２の導入済みニューラル・ネットワークによって解釈されてもよく、点滅光が検出された場合には、このニューラル・ネットワークが、凍結状態が存在することを車両の（好ましくはＣＰＵコンプレックス上で実行している）経路計画ソフトウェアに通知する。少なくとも一実施例では、点滅光は、第３の導入済みニューラル・ネットワークを複数のフレームにわたって動作させることによって識別されてもよく、点滅光の存在（又は存在しないこと）が、車両の経路計画ソフトウェアに通知される。少なくとも一実施例では、３つすべてのニューラル・ネットワークが、ＤＬＡ内及び／又はＧＰＵ１６０８上などで同時に実行されてもよい。
少なくとも一実施例では、顔認識及び車両所有者識別のためのＣＮＮは、カメラ・センサからのデータを使用して、車両１６００の承認済みのドライバ及び／又は所有者の存在を識別してもよい。少なくとも一実施例では、常時オンのセンサ処理エンジンを使用して、所有者がドライバ用ドアに近づいてきたときに車両を解錠し、ライトを点灯させ、所有者が車両から離れるときには、セキュリティ・モードで車両を使用不可にしてもよい。こうして、ＳｏＣ１６０４は、窃盗及び／又は自動車乗っ取りに対するセキュリティを実現する。
少なくとも一実施例では、緊急車両の検出及び識別のためのＣＮＮは、マイクロフォン１６９６からのデータを使用して、緊急車両のサイレンを検出及び識別してもよい。少なくとも一実施例では、ＳｏＣ１６０４は、環境及び市街地の音を分類するとともに、視覚データを分類するためにＣＮＮを使用する。少なくとも一実施例では、ＤＬＡ上で実行されるＣＮＮは、緊急車両が近づいてくる相対的なスピードを（たとえばドップラー効果を使用することによって）識別するように訓練される。少なくとも一実施例では、ＣＮＮはまた、ＧＮＳＳセンサ１６５８によって識別される、車両が稼働している地域に特有の緊急車両を識別するように訓練されてもよい。少なくとも一実施例では、欧州で稼働している場合には、ＣＮＮは欧州のサイレンを検出しようとし、米国の場合には、北米のサイレンだけを識別しようとする。少なくとも一実施例では、緊急車両が検出されると、緊急車両安全ルーチンを実行するための制御プログラムを使用して、車両の速度を落とし、道路脇に寄せ、車両を停止させ、且つ／又は緊急車両が通過するまで、超音波センサ１６６２を併用して車両をアイドリングにしてもよい。
少なくとも一実施例では、車両１６００はＣＰＵ１６１８（たとえば、個別ＣＰＵ又はｄＣＰＵ）を含んでもよく、このＣＰＵは高速相互接続（たとえば、ＰＣＩｅ）を介してＳｏＣ１６０４に結合されてもよい。少なくとも一実施例では、ＣＰＵ１６１８は、たとえばＸ８６プロセッサを含んでもよい。ＣＰＵ１６１８は、たとえば、ＡＤＡＳセンサとＳｏＣ１６０４の間で潜在的に不整合な結果を調停すること、並びに／又はコントローラ１６３６及び／若しくはチップ上のインフォテイメント・システム（「インフォテイメントＳｏＣ」）１６３０の状態及び健全性を監視することを含め、様々な機能のうちの任意の機能を実行するために使用されてもよい。
少なくとも一実施例では、車両１６００はＧＰＵ１６２０（たとえば、個別ＧＰＵ又はｄＧＰＵ）を含んでもよく、このＧＰＵは高速相互接続（たとえば、ＮＶＩＤＩＡのＮＶＬＩＮＫ）を介してＳｏＣ１６０４に結合されてもよい。少なくとも一実施例では、ＧＰＵ１６２０は、冗長な及び／又は異なるニューラル・ネットワークを実行することなどによって、追加の人工知能機能を提供してもよく、車両１６００のセンサからの入力（たとえば、センサ・データ）に少なくとも部分的に基づき、ニューラル・ネットワークを訓練及び／又は更新するために使用されてもよい。
少なくとも一実施例では、車両１６００はさらに、ネットワーク・インターフェース１６２４を含んでもよく、このインターフェースは限定することなく、ワイヤレス・アンテナ１６２６（たとえば、セルラー・アンテナ、Ｂｌｕｅｔｏｏｔｈアンテナなど、異なる通信プロトコル向けの１つ又は複数のワイヤレス・アンテナ１６２６）を含んでもよい。少なくとも一実施例では、クラウド（たとえば、サーバ及び／又は他のネットワーク・デバイス）、他の車両、及び／又はコンピューティング・デバイス（たとえば、乗員のクライアント・デバイス）とのインターネットを介したワイヤレス接続を可能にするために、ネットワーク・インターフェース１６２４が使用されてもよい。少なくとも一実施例では、他の車両と通信するために、車両１６０と他の車両との間に直接リンクが確立されてもよく、且つ／又は（たとえば、ネットワークにわたって、且つインターネットを介して）間接リンクが確立されてもよい。少なくとも一実施例では、直接リンクは、車車間通信リンクを使用して提供されてもよい。車車間通信リンクは、車両１６００の近傍の車両（たとえば、車両１６００の前方、側方、及び／又は後方の車両）についての情報を車両１６００に提供してもよい。少なくとも一実施例では、前述した機能は、車両１６００の協調型アダプティブ・クルーズ・コントロール機能の一部であってもよい。
少なくとも一実施例では、ネットワーク・インターフェース１６２４は、変調及び復調の機能を提供し、コントローラ１６３６がワイヤレス・ネットワークを介して通信できるようにするＳｏＣを含んでもよい。少なくとも一実施例では、ネットワーク・インターフェース１６２４は、ベースバンドから無線周波数へのアップ・コンバージョン、及び無線周波数からベースバンドへのダウン・コンバージョンのための無線周波数フロント・エンドを含んでもよい。少なくとも一実施例では、周波数変換は、任意の技術的に実行可能なやり方で実行されてもよい。たとえば、周波数変換は、よく知られたプロセスにより、且つ／又はスーパー・ヘテロダイン・プロセスを使用して実行することができる。少なくとも一実施例では、無線周波数フロント・エンド機能は、別個のチップによって提供されてもよい。少なくとも一実施例では、ネットワーク・インターフェースは、ＬＴＥ、ＷＣＤＭＡ、ＵＭＴＳ、ＧＳＭ、ＣＤＭＡ２０００、Ｂｌｕｅｔｏｏｔｈ、Ｂｌｕｅｔｏｏｔｈ ＬＥ、Ｗｉ－Ｆｉ、Ｚ－Ｗａｖｅ、ＺｉｇＢｅｅ、ＬｏＲａＷＡＮ、及び／又は他のワイヤレス・プロトコルを介して通信するためのワイヤレス機能を含んでもよい。
少なくとも一実施例では、車両１６００はさらにデータ・ストア１６２８を含んでもよく、このデータ・ストアは限定することなく、オフ・チップ（たとえばＳｏＣ１６０４上にない）ストレージを含んでもよい。少なくとも一実施例では、データ・ストア１６２８は、ＲＡＭ、ＳＲＡＭ、ダイナミック・ランダム・アクセス・メモリ（「ＤＲＡＭ」）、ビデオ・ランダム・アクセス・メモリ（「ＶＲＡＭ」：ｖｉｄｅｏ ｒａｎｄｏｍ－ａｃｃｅｓｓ ｍｅｍｏｒｙ）、フラッシュ、ハード・ディスク、並びに／又は少なくとも１ビットのデータを記憶することができる他の構成要素及び／若しくはデバイスを含む１つ若しくは複数のストレージ要素を、限定することなく含んでもよい。
少なくとも一実施例では、車両１６００はさらに、マッピング、知覚、占有グリッド生成、及び／又は経路計画の機能を支援するためのＧＮＳＳセンサ１６５８（たとえば、ＧＰＳ及び／又は補助ＧＰＳセンサ）を含んでもよい。少なくとも一実施例では、イーサネット（登録商標）からシリアル（たとえばＲＳ－２３２）へのブリッジを有するＵＳＢコネクタを使用するＧＰＳをたとえば限定することなく含む任意の数のＧＮＳＳセンサ１６５８が使用されてもよい。
少なくとも一実施例では、車両１６００はさらに、ＲＡＤＡＲセンサ１６６０を含んでもよい。ＲＡＤＡＲセンサ１６６０は、暗闇及び／又は厳しい気象条件の中でも、長距離の車両検出を行うために車両１６００によって使用されてもよい。少なくとも一実施例では、ＲＡＤＡＲの機能的安全性レベルは、ＡＳＩＬ Ｂであってもよい。ＲＡＤＡＲセンサ１６６０は、制御のために（たとえば、ＲＡＤＡＲセンサ１６６０によって生成されたデータを送信するために）、また物体追跡データにアクセスするために、ＣＡＮ及び／又はバス１６０２を使用してもよく、いくつかの例では、未加工データにアクセスするためにイーサネット（登録商標）にアクセスできる。少なくとも一実施例では、多様なタイプのＲＡＤＡＲセンサが使用されてもよい。たとえば限定することなく、ＲＡＤＡＲセンサ１６６０は、前方、後方、及び側方のＲＡＤＡＲ使用に好適であってもよい。少なくとも一実施例では、ＲＡＤＡＲセンサ１６６０のうちの１つ又は複数は、パルス・ドップラＲＡＤＡＲセンサである。
少なくとも一実施例では、ＲＡＤＡＲセンサ１６６０は、狭視野の長距離、広視野の短距離、側面を網羅する短距離など、異なる構成を含んでもよい。少なくとも一実施例では、長距離ＲＡＤＡＲは、アダプティブ・クルーズ・コントロール機能のために使用されてもよい。少なくとも一実施例では、長距離ＲＡＤＡＲシステムは、２つ以上の独立した走査によって実現される２５０ｍの範囲内などの広視野を提供してもよい。少なくとも一実施例では、ＲＡＤＡＲセンサ１６６０は、静的物体と移動している物体とを区別しやすくしてもよく、緊急ブレーキ支援及び前方衝突警告を行うためにＡＤＡＳシステム１６３８によって使用されてもよい。長距離ＲＡＤＡＲシステムに含まれるセンサ１６６０は、複数の（たとえば６つ以上の）固定ＲＡＤＡＲアンテナ、並びに高速ＣＡＮ及びＦｌｅｘＲａｙインターフェースを有するモノスタティックのマルチモードＲＡＤＡＲを、限定することなく含んでもよい。少なくとも一実施例では、６つのアンテナがある場合、中央の４つのアンテナは、隣接した車線からの干渉が最小の状態で、より高速で車両１６００の周囲を記録するように設計された集中したビーム・パターンを生成してもよい。少なくとも一実施例では、他の２つのアンテナは、視野を拡張してもよく、車両１６００の車線に入る又はそこから出る車両を迅速に検出するのを可能にする。
少なくとも一実施例では、中距離ＲＡＤＡＲシステムは、一例として最大１６０ｍ（前方）、又は８０ｍ（後方）の範囲、及び最大４２度（前方）、又は１５０度（後方）の視野を含んでもよい。少なくとも一実施例では、短距離ＲＡＤＡＲシステムは、限定することなく、後方バンパの両端部に設置されるように設計された任意の数のＲＡＤＡＲセンサ１６６０を含んでもよい。後方バンパの両端部に設置されたとき、少なくとも一実施例では、ＲＡＤＡＲセンサ・システムは、後方及び車両隣の死角を常に監視する２本のビームを生成してもよい。少なくとも一実施例では、短距離ＲＡＤＡＲシステムは、死角検出及び／又は車線変更支援を行うために、ＡＤＡＳシステム１６３８において使用されてもよい。
少なくとも一実施例では、車両１６００はさらに、超音波センサ１６６２を含んでもよい。超音波センサ１６６２は、車両１６００の前方、後方、及び／又は側方に配置されてもよく、駐車支援のため、且つ／又は占有グリッドを生成し更新するために使用されてもよい。少なくとも一実施例では、多様な超音波センサ１６６２が使用されてもよく、異なる検出範囲（たとえば、２．５ｍ、４ｍ）には異なる超音波センサ１６６２が使用されてもよい。少なくとも一実施例では、超音波センサ１６６２は、機能的安全性レベルＡＳＩＬ Ｂで動作してもよい。
少なくとも一実施例では、車両１６００は、ＬＩＤＡＲセンサ１６６４を含んでもよい。ＬＩＤＡＲセンサ１６６４は、物体及び歩行者の検出、緊急ブレーキ、衝突回避、及び／又は他の機能のために使用されてもよい。少なくとも一実施例では、ＬＩＤＡＲセンサ１６６４は、機能的安全性レベルＡＳＩＬ Ｂであってもよい。少なくとも一実施例では、車両１６００は、複数のＬＩＤＡＲセンサ１６６４（たとえば、２つ、４つ、６つなど）を含んでもよく、これらのセンサは、（たとえばデータをギガビット・イーサネット（登録商標）・スイッチに提供するために）イーサネット（登録商標）を使用してもよい。
少なくとも一実施例では、ＬＩＤＡＲセンサ１６６４は、３６０度の視野について、物体及びそれらの距離のリストを提供可能であってもよい。少なくとも一実施例では、市販のＬＩＤＡＲセンサ１６６４は、たとえば宣伝された範囲がおおよそ１００ｍであり、精度が２ｃｍ～３ｃｍであり、１００Ｍｂｐｓのイーサネット（登録商標）接続をサポートしてもよい。少なくとも一実施例では、１つ又は複数の非突出型ＬＩＤＡＲセンサ１６６４が使用されてもよい。こうした実施例では、ＬＩＤＡＲセンサ１６６４は、車両１６００の前方、後方、側方、及び／又は角に組み込むことができる小さいデバイスとして実装されてもよい。少なくとも一実施例では、こうした実施例のＬＩＤＡＲセンサ１６６４は、最大１２０度の水平視野、及び３５度の垂直視野を、低反射性の物体に対しても２００ｍの範囲で提供してもよい。少なくとも一実施例では、前方に取り付けられたＬＩＤＡＲセンサ１６６４は、４５度～１３５度の水平視野をもたらすように構成されてもよい。
少なくとも一実施例では、３ＤフラッシュＬＩＤＡＲなどのＬＩＤＡＲ技術も使用されてよい。３ＤフラッシュＬＩＤＡＲは、レーザのフラッシュを送信源として使用して、車両１６００の周囲を最大でおおよそ２００ｍまで照射する。少なくとも一実施例では、フラッシュＬＩＤＡＲユニットは、限定することなくレセプタを含み、このレセプタは、レーザ・パルスの通過時間及び各ピクセルにおける反射光を記録し、それらは、車両１６００から物体までの範囲に対応する。少なくとも一実施例では、フラッシュＬＩＤＡＲによって、非常に正確でゆがみのない周囲画像が、レーザのフラッシュごとに生成できるようになる。少なくとも一実施例では、４つのフラッシュＬＩＤＡＲが、車両１６００の各側面に１つ導入されてもよい。少なくとも一実施例では、３ＤフラッシュＬＩＤＡＲシステムは、ファン以外に可動部品のない半導体３Ｄ凝視アレイ（ｓｔａｒｉｎｇ ａｒｒａｙ）のＬＩＤＡＲカメラ（たとえば、非走査型ＬＩＤＡＲデバイス）を、限定することなく含む。少なくとも一実施例では、フラッシュＬＩＤＡＲデバイスは、フレーム当たり５ナノ秒のクラスＩ（目に安全な）レーザ・パルスを使用してもよく、３Ｄ範囲の点群及び位置同期された（ｃｏ－ｒｅｇｉｓｔｅｒｅｄ）強度データの形で反射レーザ光を捕捉してもよい。
少なくとも一実施例では、車両はさらにＩＭＵセンサ１６６６を含んでもよい。少なくとも一実施例では、ＩＭＵセンサ１６６６は、少なくとも一実施例では、車両１６００の後方車軸の中央に位置付けられてもよい。少なくとも一実施例では、ＩＭＵセンサ１６６６は、たとえば限定することなく、加速度計、磁力計、ジャイロスコープ、磁気コンパス、及び／又は他のタイプのセンサを含んでもよい。６軸の用途など少なくとも一実施例では、ＩＭＵセンサ１６６６は限定することなく、加速度計及びジャイロスコープを含んでもよい。９軸の用途など少なくとも一実施例では、ＩＭＵセンサ１６６６は限定することなく、加速度計、ジャイロスコープ、及び磁力計を含んでもよい。
少なくとも一実施例では、ＩＭＵセンサ１６６６は、微小電気機械システム（「ＭＥＭＳ」：ｍｉｃｒｏ－ｅｌｅｃｔｒｏ－ｍｅｃｈａｎｉｃａｌ ｓｙｓｔｅｍｓ）慣性センサ、高感度ＧＰＳ受信機、及び先進のＫａｌｍａｎフィルタリング・アルゴリズムを組み合わせて、位置、速度、及び姿勢の推定値を提供する小型の高性能ＧＰＳ補強型慣性航法システム（「ＧＰＳ／ＩＮＳ」：ＧＰＳ－Ａｉｄｅｄ Ｉｎｅｒｔｉａｌ Ｎａｖｉｇａｔｉｏｎ Ｓｙｓｔｅｍ）として実装されてもよい。少なくとも一実施例では、ＩＭＵセンサ１６６６により、車両１６００は、速度変化を直接観察しそれをＧＰＳからＩＭＵセンサ１６６６に相関させることによって、磁気センサからの入力を必要とせずに方位を推定できるようになる。少なくとも一実施例では、ＩＭＵセンサ１６６６及びＧＮＳＳセンサ１６５８は、単一の統合ユニットに組み合わされてもよい。
少なくとも一実施例では、車両１６００は、車両１６００の中及び／又はその周りに設置されたマイクロフォン１６９６を含んでもよい。少なくとも一実施例では、マイクロフォン１６９６は、とりわけ緊急車両の検出及び識別のために使用されてもよい。
少なくとも一実施例では、車両１６００はさらに、ステレオ・カメラ１６６８、広角カメラ１６７０、赤外線カメラ１６７２、周囲カメラ１６７４、長距離カメラ１６９８、中距離カメラ１６７６、及び／又は他のカメラ・タイプを含む任意の数のカメラ・タイプを含んでもよい。少なくとも一実施例では、カメラは、車両１６００の全周囲の周りで画像データを捕捉するために使用されてもよい。少なくとも一実施例では、使用されるカメラのタイプは、車両１６００に応じて異なる。少なくとも一実施例では、車両１６００の周りで必要な被写域を提供するために、カメラ・タイプの任意の組合せが使用されてもよい。少なくとも一実施例では、カメラの数は、実施例に応じて異なってもよい。たとえば、少なくとも一実施例では、車両１６００は６台のカメラ、７台のカメラ、１０台のカメラ、１２台のカメラ、又は別の数のカメラを含むことができる。カメラは、一例として限定することなく、ギガビット・マルチメディア・シリアル・リンク（「ＧＭＳＬ」：Ｇｉｇａｂｉｔ Ｍｕｌｔｉｍｅｄｉａ Ｓｅｒｉａｌ Ｌｉｎｋ）及び／又はギガビット・イーサネット（登録商標）をサポートしてもよい。少なくとも一実施例では、各カメラは、図１６Ａ及び図１６Ｂに関して本明細書でさらに詳細に上で説明されている。
少なくとも一実施例では、車両１６００はさらに、振動センサ１６４２を含んでもよい。振動センサ１６４２は、車軸など、車両１６００の構成要素の振動を測定してもよい。たとえば、少なくとも一実施例では、振動の変化は、路面の変化を示すことがある。少なくとも一実施例では、２つ以上の振動センサ１６４２が使用される場合には、路面の摩擦又はすべり量を判定するために振動の差が使用されてもよい（たとえば、動力により駆動される車軸と自由回転する車軸との間に振動差がある場合）。
少なくとも一実施例では、車両１６００は、ＡＤＡＳシステム１６３８を含んでもよい。ＡＤＡＳシステム１６３８は、限定することなく、いくつかの例においてＳｏＣを含んでもよい。少なくとも一実施例では、ＡＤＡＳシステム１６３８は、限定することなく、任意の数及び任意の組合せの、自律／アダプティブ／自動のクルーズ・コントロール（「ＡＣＣ」：ａｕｔｏｎｏｍｏｕｓ／ａｄａｐｔｉｖｅ／ａｕｔｏｍａｔｉｃ ｃｒｕｉｓｅ ｃｏｎｔｒｏｌ）システム、協調型アダプティブ・クルーズ・コントロール（「ＣＡＣＣ」：ｃｏｏｐｅｒａｔｉｖｅ ａｄａｐｔｉｖｅ ｃｒｕｉｓｅ ｃｏｎｔｒｏｌ）システム、正面衝突警告（「ＦＣＷ」：ｆｏｒｗａｒｄ ｃｒａｓｈ ｗａｒｎｉｎｇ）システム、自動緊急ブレーキ（「ＡＥＢ」：ａｕｔｏｍａｔｉｃ ｅｍｅｒｇｅｎｃｙ ｂｒａｋｉｎｇ）システム、車線逸脱警告（「ＬＤＷ」：ｌａｎｅ ｄｅｐａｒｔｕｒｅ ｗａｒｎｉｎｇ）システム、車線維持支援（「ＬＫＡ」：ｌａｎｅ ｋｅｅｐ ａｓｓｉｓｔ）システム、死角警告（「ＢＳＷ」：ｂｌｉｎｄ ｓｐｏｔ ｗａｒｎｉｎｇ）システム、後方クロス・トラフィック警告（「ＲＣＴＷ」：ｅａｒ ｃｒｏｓｓ－ｔｒａｆｆｉｃ ｗａｒｎｉｎｇ）システム、衝突警告（「ＣＷ」：ｃｏｌｌｉｓｉｏｎ ｗａｒｎｉｎｇ）システム、車線センタリング（「ＬＣ」：ａｎｅ ｃｅｎｔｅｒｉｎｇ）システム、並びに／又は他のシステム、特徴、及び／若しくは機能を含んでもよい。
少なくとも一実施例では、ＡＣＣシステムは、ＲＡＤＡＲセンサ１６６０、ＬＩＤＡＲセンサ１６６４、及び／又は任意の数のカメラを使用してもよい。少なくとも一実施例では、ＡＣＣシステムは、縦方向ＡＣＣシステム及び／又は横方向ＡＣＣシステムを含んでもよい。少なくとも一実施例では、縦方向ＡＣＣシステムは、車両１６００の直前の車両までの距離を監視及び制御し、車両１６００のスピードを自動的に調節して、前の車両からの安全な距離を維持する。少なくとも一実施例では、横方向ＡＣＣシステムは、距離の維持を実行し、必要なときに車線変更するよう車両１６００に通知する。少なくとも一実施例では、横方向ＡＣＣは、ＬＣ及びＣＷなどの他のＡＤＡＳ用途に関係する。
少なくとも一実施例では、ＣＡＣＣシステムは、他の車両からの情報を使用し、この情報は、ワイヤレス・リンクにより、又は間接的にネットワーク接続を介して（たとえばインターネットを介して）、他の車両からネットワーク・インターフェース１６２４及び／又はワイヤレス・アンテナ１６２６により受信されてもよい。少なくとも一実施例では、車車間（「Ｖ２Ｖ」：ｖｅｈｉｃｌｅ－ｔｏ－ｖｅｈｉｃｌｅ）通信リンクによって直接リンクが提供されてもよく、一方インフラストラクチャ車間（「Ｉ２Ｖ」：ｉｎｆｒａｓｔｒｕｃｔｕｒｅ－ｔｏ－ｖｅｈｉｃｌｅ）通信リンクによって間接リンクが提供されてもよい。一般に、Ｖ２Ｖ通信の概念は、すぐ前の先行車両（たとえば、車両１６００のすぐ前で同じ車線にいる車両）についての情報を提供し、Ｉ２Ｖ通信の概念は、さらにその前の交通についての情報を提供する。少なくとも一実施例では、ＣＡＣＣシステムは、Ｉ２ＶとＶ２Ｖの情報源のいずれか又は両方を含んでもよい。少なくとも一実施例では、車両１６００の前の車両についての情報があれば、ＣＡＣＣシステムは信頼性をさらに高めることができ、交通の流れをより円滑にし、路上での渋滞を低減できる可能性を有する。
少なくとも一実施例では、ＦＣＷシステムは、危険物に対してドライバに忠告するように設計され、それによりドライバは修正措置を取ることができる。少なくとも一実施例では、ＦＣＷシステムは正面カメラ及び／又はＲＡＤＡＲセンサ１６６０を使用し、これらは、ディスプレイ、スピーカ、及び／又は振動構成要素などのドライバへのフィードバックに電気的に結合されている専用のプロセッサ、ＤＳＰ、ＦＰＧＡ、及び／又はＡＳＩＣに結合されている。少なくとも一実施例では、ＦＣＷシステムは、音、視覚的警告、振動、及び／又はクイック・ブレーキ・パルスなどの形で警告を提供してもよい。
少なくとも一実施例では、ＡＥＢシステムは、別の車両又は他の物体との差し迫った正面衝突を検出し、指定された時間内又は距離パラメータ内にドライバが修正措置を取らない場合には、自動でブレーキをかけてもよい。少なくとも一実施例では、ＡＥＢシステムは、専用のプロセッサ、ＤＳＰ、ＦＰＧＡ、及び／又はＡＳＩＣに結合された正面カメラ及び／又はＲＡＤＡＲセンサ１６６０を使用してもよい。少なくとも一実施例では、ＡＥＢシステムが危険物を検出したとき、ＡＥＢシステムは通常、修正措置を取って衝突を避けるよう最初にドライバに忠告し、ドライバが修正措置を取らない場合には、ＡＥＢシステムは、予測される衝突を防ぐ又は少なくともその衝撃を軽減するために自動的にブレーキをかけてもよい。少なくとも一実施例では、ＡＥＢシステムは、ダイナミック・ブレーキ・サポート及び／又は衝突直前ブレーキなどの技法を含んでもよい。
少なくとも一実施例では、ＬＤＷシステムは、車両１６００が車線の目印に交差したときにドライバに忠告するために、ハンドル又は座席の振動など、視覚的、聴覚的、及び／又は触覚的な警告を提供する。少なくとも一実施例では、ドライバが方向指示器を作動させることによって意図的な車線逸脱を示す場合には、ＬＤＷシステムは作動しない。少なくとも一実施例では、ＬＤＷシステムは、正面カメラを使用してもよく、これは、ディスプレイ、スピーカ、及び／又は振動構成要素などのドライバへのフィードバックに電気的に結合することができる専用のプロセッサ、ＤＳＰ、ＦＰＧＡ、及び／又はＡＳＩＣに結合されている。少なくとも一実施例では、ＬＫＡシステムは、ＬＤＷシステムの変形形態である。ＬＫＡシステムは、車両１６００が車線からはみ出し始めた場合に、車両１６００を修正するように操縦入力又はブレーキ制御を提供する。
少なくとも一実施例では、ＢＳＷシステムは、自動車の死角にある車両を検出し、ドライバに警告する。少なくとも一実施例では、ＢＳＷシステムは、視覚的、聴覚的、及び／又は触覚的なアラートを提供して、合流又は車線変更が安全ではないことを示してもよい。少なくとも一実施例では、ＢＳＷシステムは、ドライバが方向指示器を使用したときに追加の警告を提供してもよい。少なくとも一実施例では、ＢＳＷシステムは、専用のプロセッサ、ＤＳＰ、ＦＰＧＡ、及び／又はＡＳＩＣに結合された背面カメラ及び／又はＲＡＤＡＲセンサ１６６０を使用してもよく、これらの専用のプロセッサ、ＤＳＰ、ＦＰＧＡ、及び／又はＡＳＩＣは、ディスプレイ、スピーカ、及び／又は振動構成要素などのドライバへのフィードバックに電気的に結合されている。
少なくとも一実施例では、ＲＣＴＷシステムは、車両１６００の後退時に、後方カメラの範囲外に物体が検出されたときに、視覚的、聴覚的、及び／又は触覚的な通知を提供してもよい。少なくとも一実施例では、ＲＣＴＷシステムは、衝突を回避するために確実に車両ブレーキがかけられるように、ＡＥＢシステムを含む。少なくとも一実施例では、ＲＣＴＷシステムは、１つ又は複数の背面ＲＡＤＡＲセンサ１６６０を使用してもよく、これはディスプレイ、スピーカ、及び／又は振動構成要素などのドライバへのフィードバックに電気的に結合された専用のプロセッサ、ＤＳＰ、ＦＰＧＡ、及び／又はＡＳＩＣに結合されている。
少なくとも一実施例では、従来のＡＤＡＳシステムは、誤検出結果を出しがちなことがあり、これはドライバにとっては迷惑で気が散るものであり得るが、通常は大したことにはならない。なぜなら、従来のＡＤＡＳシステムは、ドライバに忠告し、安全を要する状態が本当に存在し、それに適宜対応するかどうかを、ドライバが判断できるようにするからである。少なくとも一実施例では、結果が矛盾する場合、一次コンピュータ（たとえば第１のコントローラ１６３６）からの結果に従うか、又は二次コンピュータ（たとえば、第２のコントローラ１６３６）からの結果に従うかどうかを、車両１６００自体が判断する。たとえば、少なくとも一実施例では、ＡＤＡＳシステム１６３８は、バックアップ・コンピュータの合理性モジュールに知覚情報を抵抗するための、バックアップ及び／又は二次コンピュータであってもよい。少なくとも一実施例では、バックアップ・コンピュータの合理性モニタが、ハードウェア構成要素上の冗長性の多様なソフトウェアを実行して、知覚の誤り及び動的な運転タスクを検出してもよい。少なくとも一実施例では、ＡＤＡＳシステム１６３８からの出力は、監視ＭＣＵに提供されてもよい。少なくとも一実施例では、一次コンピュータからの出力と二次コンピュータからの出力が矛盾する場合には、監視ＭＣＵが、安全な動作を確保するために矛盾をどのように調和させるかを判定する。
少なくとも一実施例では、一次コンピュータは、一次コンピュータの選択した結果の信頼性を示す信頼性スコアを、監視ＭＣＵに提供するように構成されてもよい。少なくとも一実施例では、信頼性スコアが閾値を超える場合には、二次コンピュータが矛盾する又は一貫性のない結果を提供しているかどうかに関わらず、監視ＭＣＵは一次コンピュータの指示に従ってもよい。少なくとも一実施例では、信頼性スコアが閾値を満足せず、一次コンピュータと二次コンピュータが異なる結果（たとえば、矛盾）を示す場合には、監視ＭＣＵは、コンピュータ同士を調停して、適切な結果を判定してもよい。
少なくとも一実施例では、二次コンピュータが誤アラームを提供する条件を、一次コンピュータと二次コンピュータからの出力に少なくとも部分的に基づき判定するように訓練及び構成されたニューラル・ネットワークを、監視ＭＣＵが実行するように構成されてもよい。少なくとも一実施例では、監視ＭＣＵのニューラル・ネットワークは、二次コンピュータの出力が信用されてもよいときと、信用できないときとを学習してもよい。たとえば、少なくとも一実施例では、二次コンピュータがＲＡＤＡＲベースのＦＣＷシステムである場合、監視ＭＣＵのニューラル・ネットワークは、アラームをトリガする排水溝の格子又はマンホール・カバーなど、実際には危険物ではない金属物体をＦＣＷシステムが識別するときを学習してもよい。少なくとも一実施例では、二次コンピュータがカメラ・ベースのＬＤＷシステムである場合、自転車や歩行者が存在し、車線逸脱が実際には最も安全な操作であるときに、監視ＭＣＵのニューラル・ネットワークはＬＤＷを無効にするように学習してもよい。少なくとも一実施例では、監視ＭＣＵは、ニューラル・ネットワークを関連するメモリとともに実行するのに好適なＤＬＡ又はＧＰＵのうちの少なくとも１つを含んでもよい。少なくとも一実施例では、監視ＭＣＵは、ＳｏＣ１６０４の構成要素を備えても、且つ／又はその構成要素として含まれてもよい。
少なくとも一実施例では、ＡＤＡＳシステム１６３８は、コンピュータ・ビジョンの従来のルールを使用してＡＤＡＳ機能を実行する二次コンピュータを含んでもよい。少なくとも一実施例では、二次コンピュータは、従来のコンピュータ・ビジョン・ルール（ｉｆ－ｔｈｅｎルール）を使用してもよく、ニューラル・ネットワークが監視ＭＣＵに存在することによって、信頼性、安全性、及び性能が向上してもよい。たとえば、少なくとも一実施例では、多様な実装及び意図的な非同一性により、特にソフトウェア（又はソフトウェアとハードウェアのインターフェース）の機能によって生じる誤りに対し、システム全体の誤り耐性が高まる。たとえば、少なくとも一実施例では、一次コンピュータ上で実行中のソフトウェアにバグ又はエラーがあり、二次コンピュータ上で実行中の非同一のソフトウェア・コードが、全体的に同じ結果を提供する場合には、監視ＭＣＵは、全体的な結果が正しく、一次コンピュータ上のソフトウェア又はハードウェアのバグが重大なエラーを引き起こしていないという、より高い信頼性を有してもよい。
少なくとも一実施例では、ＡＤＡＳシステム１６３８の出力は、一次コンピュータの知覚ブロック、及び／又は一次コンピュータの動的運転タスクブロックに供給されてもよい。たとえば、少なくとも一実施例では、ＡＤＡＳシステム１６３８が、直前の物体に起因して正面衝突警告を示している場合には、知覚ブロックは、物体を識別するときにこの情報を使用してもよい。少なくとも一実施例では、二次コンピュータは、本明細書に記載するように、訓練済みの、したがって誤検出のリスクを低減する独自のニューラル・ネットワークを有してもよい。
少なくとも一実施例では、車両１６００はさらに、インフォテイメントＳｏＣ１６３０（たとえば、車両内インフォテイメント・システム（ＩＶＩ）：ｉｎ－ｖｅｈｉｃｌｅ ｉｎｆｏｔａｉｎｍｅｎｔ ｓｙｓｔｅｍ）を含んでもよい。インフォテイメント・システム１６３０はＳｏＣとして図示及び説明されるが、少なくとも一実施例では、ＳｏＣではなくてもよく、限定することなく２つ以上の個別の構成要素を含んでもよい。少なくとも一実施例では、インフォテイメントＳｏＣ１６３０は、限定することなく、ハードウェアとソフトウェアの組合せを含んでもよく、この組合せを使用して、オーディオ（たとえば、音楽、パーソナル・デジタル・アシスタント、ナビゲーション命令、ニュース、ラジオなど）、ビデオ（たとえば、ＴＶ、映画、ストリーミングなど）、電話（たとえば、ハンズフリー通話）、ネットワーク接続（たとえば、ＬＴＥ、Ｗｉ－Ｆｉなど）、及び／又は情報サービス（たとえば、ナビゲーション・システム、後方駐車支援、無線データ・システム、車両関連情報、たとえば燃料レベル、合計走行距離、ブレーキ燃料レベル、オイル・レベル、ドアの開閉、空気フィルタ情報など）を車両１６００に提供してもよい。たとえば、インフォテイメントＳｏＣ１６３０は、ラジオ、ディスク再生装置、ナビゲーション・システム、ビデオ再生装置、ＵＳＢ及びＢｌｕｅｔｏｏｔｈ接続、カーピュータ、車内エンタテイメント、Ｗｉ－Ｆｉ、ハンドル・オーディオ制御、ハンズフリー音声制御、ヘッド・アップ・ディスプレイ（「ＨＵＤ」：ｈｅａｄｓ－ｕｐ ｄｉｓｐｌａｙ）、ＨＭＩディスプレイ１６３４、テレマテックス・デバイス、（たとえば、様々な構成要素、特徴、及び／若しくはシステムを制御及び／若しくは相互作用するための）制御パネル、並びに／又は他の構成要素を含むことができる。少なくとも一実施例では、さらにインフォテイメントＳｏＣ１６３０を使用して、ＡＤＡＳシステム１６３８からの情報、車両操作計画、軌道などの自律運転情報、周囲環境情報（たとえば、交差点情報、車両情報、道路情報など）、及び／又は他の情報などの（たとえば、視覚的及び／又は聴覚的な）情報が、車両のユーザに提供されてもよい。
少なくとも一実施例では、インフォテイメントＳｏＣ１６３０は、任意の量及びタイプのＧＰＵ機能を含んでもよい。少なくとも一実施例では、インフォテイメントＳｏＣ１６３０は、バス１６０２（たとえば、ＣＡＮバス、イーサネット（登録商標）など）を介して、車両１６００の他のデバイス、システム、及び／又は構成要素と通信してもよい。少なくとも一実施例では、インフォテイメントＳｏＣ１６３０は監視ＭＣＵに結合されてもよく、それにより、一次コントローラ１６３６（たとえば、車両１６００の一次及び／又はバックアップのコンピュータ）が故障したときに、インフォテイメント・システムのＧＰＵが、一部の自己運転機能を実行してもよい。少なくとも一実施例では、インフォテイメントＳｏＣ１６３０は、本明細書に記載するように、車両１６００を運転手－安全停止モードにしてもよい。
少なくとも一実施例では、車両１６００はさらに、計器クラスタ１６３２（たとえば、デジタル・ダッシュボード、電子計器クラスタ、デジタル計器パネルなど）を含んでもよい。計器クラスタ１６３２は、限定することなく、コントローラ、及び／又はスーパーコンピュータ（たとえば、個別のコントローラ又はスーパーコンピュータ）を含んでもよい。少なくとも一実施例では、計器クラスタ１６３２は、限定することなく、スピード・メータ、燃料レベル、油圧、タコメータ、オドメータ、方向指示器、シフトレバー位置インジケータ、シート・ベルト警告灯、バーキング・ブレーキ警告灯、エンジン故障灯、補助拘束システム（たとえば、エアバッグ）情報、ライト制御、安全システム制御、ナビゲーション情報など、任意の数及び組合せの計器セットを含んでもよい。いくつかの例では、インフォテイメントＳｏＣ１６３０と計器クラスタ１６３２との間で、情報が表示及び／又は共有されてもよい。少なくとも一実施例では、計器クラスタ１６３２は、インフォテイメントＳｏＣ１６３０の一部として含まれてもよく、又はその逆であってもよい。
１つ若しくは複数の実施例に関連する推論及び／又は訓練の動作を実行するために、推論及び／又は訓練論理１３１５が使用される。推論及び／又は訓練論理１３１５に関する詳細事項は、図１３Ａ及び／又は図１３Ｂと併せて本明細書に提供される。少なくとも一実施例では、推論及び／又は訓練論理１３１５は、本明細書に記載のニューラル・ネットワークの訓練動作、ニューラル・ネットワークの機能及び／若しくはアーキテクチャ、又はニューラル・ネットワークのユース・ケースを使用して計算された重みパラメータに少なくとも部分的に基づき、推論又は予測の動作のために図１６Ｃのシステムにおいて使用されてもよい。
上述した技法は、たとえば、人間とロボットとの間で物体の交換を実行するためのシステムを実装するために使用されてもよい。いくつかの実例は、上述したように人間の手によって保持される物体の把持を生成するように訓練されたニューラル・ネットワークを作製するために、推論及び／又は訓練論理を使用する。
図１６Ｄは、少なくとも一実施例による、クラウド・ベースのサーバと図１６Ａの自律車両１６００との間で通信するためのシステム１６７６の図である。少なくとも一実施例では、システム１６７６は、限定することなく、サーバ１６７８、ネットワーク１６９０、並びに車両１６００を含む任意の数及びタイプの車両を含んでもよい。サーバ１６７８は、限定することなく、複数のＧＰＵ１６８４（Ａ）～１６８４（Ｈ）（本明細書ではまとめてＧＰＵ１６８４と呼ぶ）、ＰＣＩｅスイッチ１６８２（Ａ）～１６８２（Ｈ）（本明細書ではまとめてＰＣＩｅスイッチ１６８２と呼ぶ）、及び／又はＣＰＵ１６８０（Ａ）～１６８０（Ｂ）（本明細書ではまとめてＣＰＵ１６８０と呼ぶ）を含んでもよい。ＧＰＵ１６８４、ＣＰＵ１６８０、及びＰＣＩｅスイッチ１６８２は、たとえば限定することなく、ＮＶＩＤＩＡにより開発されたＮＶＬｉｎｋインターフェース１６８８、及び／又はＰＣＩｅ接続１６８６などの高速相互接続によって、相互接続されてもよい。少なくとも一実施例では、ＧＰＵ１６８４同士は、ＮＶＬｉｎｋ及び／又はＮＶＳスイッチＳｏＣを介して接続され、ＧＰＵ１６８４とＰＣＩｅスイッチ１６８２は、ＰＣＩｅ相互接続を介して接続される。少なくとも一実施例では、８個のＧＰＵ１６８４、２個のＣＰＵ１６８０、及び４個のＰＣＩｅスイッチ１６８２が図示してあるが、これは限定するものではない。少なくとも一実施例では、サーバ１６７８のそれぞれは、限定することなく、任意の数のＧＰＵ１６８４、ＣＰＵ１６８０、及び／又はＰＣＩｅスイッチ１６８２を任意の組合せで含んでもよい。たとえば、少なくとも一実施例では、サーバ１６７８は、それぞれが８個、１６個、３２個、及び／又はそれ以上のＧＰＵ１６８４を含むことができる。
少なくとも一実施例では、サーバ１６７８は、最近始まった道路工事などの予想外の又は変更された道路状態を示す画像を表す画像データを、ネットワーク１６９０を介して車両から受信してもよい。少なくとも一実施例では、サーバ１６７８は、ニューラル・ネットワーク１６９２、更新済みニューラル・ネットワーク１６９２、及び／又は、限定することなく交通状態及び道路状態に関する情報を含む地図情報１６９４を、ネットワーク１６９０を介して車両に送信してもよい。少なくとも一実施例では、地図情報１６９４の更新は、建築現場、穴、迂回路、洪水、及び／又は他の障害物に関する情報など、ＨＤマップ１６２２に対する更新を、限定することなく含んでもよい。少なくとも一実施例では、ニューラル・ネットワーク１６９２、更新済みニューラル・ネットワーク１６９２、及び／又は地図情報１６９４は、環境内の任意の数の車両から受信したデータに表された新しい訓練及び／又は経験から得られたものであってもよく、且つ／又は、データ・センタにおいて（たとえば、サーバ１６７８及び／又は他のサーバを使用して）実行された訓練に少なくとも部分的に基づき、得られたものであってもよい。
少なくとも一実施例では、サーバ１６７８を使用して、訓練データに少なくとも部分的に基づき、機械学習モデル（たとえば、ニューラル・ネットワーク）が訓練されてもよい。訓練データは車両によって生成されてもよく、且つ／又はシミュレーションで（たとえば、ゲーム・エンジンを使用して）生成されてもよい。少なくとも一実施例では、（たとえば、関連するニューラル・ネットワークが教師あり学習により恩恵を受ける場合には）任意の量の訓練データがタグ付けされ、且つ／又は他の前処理を受ける。少なくとも一実施例では、（たとえば、関連するニューラル・ネットワークが教師あり学習を必要としない場合には）任意の量の訓練データはタグ付け及び／又は前処理されない。少なくとも一実施例では、機械学習モデルが訓練されると、機械学習モデルは車両によって使用されてもよく（たとえば、ネットワーク１６９０を介して車両に送信されてもよく、且つ／又は機械学習モデルは、車両を遠隔監視するためにサーバ１６７８によって使用されてもよい。
少なくとも一実施例では、サーバ１６７８は車両からデータを受信し、リアル・タイムの知的推論ができるように、最新のリアル・タイムのニューラル・ネットワークにデータを適用してもよい。少なくとも一実施例では、サーバ１６７８は、ＮＶＩＤＩＡによって開発されたＤＧＸ及びＤＧＸステーション・マシンなど、ＧＰＵ１６８４によって動く深層学習スーパーコンピュータ及び／又は専用ＡＩコンピュータを含んでもよい。しかし、少なくとも一実施例では、サーバ１６７８は、ＣＰＵにより動くデータ・センタを使用する深層学習インフラストラクチャを含んでもよい。
少なくとも一実施例では、サーバ１６７８の深層学習インフラストラクチャは、高速のリアル・タイムの推論が可能であってもよく、その機能を使用して、車両１６００のプロセッサ、ソフトウェア、及び／又は関連ハードウェアの健全性を評価及び確認してもよい。たとえば、少なくとも一実施例では、深層学習インフラストラクチャは、一連の画像、及び／又はその一連の画像において（たとえば、コンピュータ・ビジョン及び／又は他の機械学習の物体分類技法により）車両１６００が位置特定した物体など、周期的な更新を車両１６００から受信してもよい。少なくとも一実施例では、深層学習インフラストラクチャは、独自のニューラル・ネットワークを実行して物体を識別し、それを車両１６００によって識別された物体と比較してもよく、結果が一致せず、車両１６００のＡＩが故障していると深層学習インフラストラクチャが結論づけた場合には、サーバ１６７８は、車両１６００のフェイル・セーフ・コンピュータに制御を掌握し、乗員に通知し、安全な停車操作を完了するよう命じる信号を車両１６００に送信してもよい。
少なくとも一実施例では、サーバ１６７８は、ＧＰＵ１６８４、及び１つ又は複数のプログラム可能な推論アクセラレータ（たとえば、ＮＶＩＤＩＡのＴｅｎｓｏｒＲＴ３）を含んでもよい。少なくとも一実施例では、ＧＰＵにより動くサーバと、推論の加速とを組み合わせることによって、リアル・タイムの応答を可能にすることができる。性能がそれほど重要ではない場合など、少なくとも一実施例では、ＣＰＵ、ＦＰＧＡ、及び他のプロセッサにより動くサーバが、推論に使用されてもよい。少なくとも一実施例では、１つ又は複数の実施例を実行するために、ハードウェア構造体１３１５が使用される。ハードウェア構造体１３１５に関する詳細事項は、図１３Ａ及び／又は図１３Ｂと併せて本明細書に提供される。
コンピュータ・システム
図１７は、例示的なコンピュータ・システムを示すブロック図であり、このコンピュータ・システムは、少なくとも一実施例による、命令を実行するための実行ユニットを含んでもよいプロセッサとともに形成された、相互接続されたデバイス及び構成要素、システム・オン・チップ（ＳｏＣ）、又はこれらの何らかの組合せ１７００を有するシステムであってもよい。少なくとも一実施例では、コンピュータ・システム１７００は、本明細書に記載の実施例などにおいて本開示に従ってデータを処理するためのアルゴリズムを実行する論理を含む実行ユニットを使用するための、プロセッサ１７０２などの構成要素を、限定することなく含んでもよい。少なくとも一実施例では、コンピュータ・システム１７００は、カリフォルニア州サンタクララのインテルコーポレーションから入手可能なＰＥＮＴＩＵＭ（登録商標）プロセッサ・ファミリー、ＸｅｏｎＴＭ、Ｉｔａｎｉｕｍ（登録商標）、ＸＳｃａｌｅＴＭ及び／又はＳｔｒｏｎｇＡＲＭＴＭ、Ｉｎｔｅｌ（登録商標）Ｃｏｒｅ（商標）、又はＩｎｔｅｌ（登録商標）Ｎｅｒｖａｎａ（商標）マイクロプロセッサなどのプロセッサを含んでもよいが、（他のマイクロプロセッサ、エンジニアリング・ワークステーション、セット・トップ・ボックスなどを有するＰＣを含め）他のシステムが使用されてもよい。少なくとも一実施例では、コンピュータ・システム１７００は、ワシントン州、レドモンドのマイクロソフトコーポレーションから入手可能なＷＩＮＤＯＷＳ（登録商標）のオペレーティング・システムのあるバージョンを実行してもよいが、他のオペレーティング・システム（たとえば、ＵＮＩＸ（登録商標）及びＬｉｎｕｘ）、組み込みソフトウェア、及び／又はグラフィカル・ユーザ・インターフェースが使用されてもよい。
実施例は、携帯型デバイス及び組み込みアプリケーションなど、他のデバイスで使用されてもよい。携帯型デバイスのいくつかの例は、セルラー・フォン、インターネット・プロトコル・デバイス、デジタル・カメラ、パーソナル・デジタル・アシスタント（「ＰＤＡ」：ｐｅｒｓｏｎａｌ ｄｉｇｉｔａｌ ａｓｓｉｓｔａｎｔｓ）、及び携帯型ＰＣを含む。少なくとも一実施例では、組み込みアプリケーションは、マイクロコントローラ、デジタル信号プロセッサ（「ＤＳＰ」：ｄｉｇｉｔａｌ ｓｉｇｎａｌ ｐｒｏｃｅｓｓｏｒ）、システム・オン・チップ、ネットワーク・コンピュータ（「ＮｅｔＰＣ」：ｎｅｔｗｏｒｋ ｃｏｍｐｕｔｅｒｓ）、セット・トップ・ボックス、ネットワーク・ハブ、広域ネットワーク（「ＷＡＮ」：ｗｉｄｅ ａｒｅａ ｎｅｔｗｏｒｋ）スイッチ、又は少なくとも一実施例による１つ又は複数の命令を実行することができる任意の他のシステムを含んでもよい。
少なくとも一実施例では、コンピュータ・システム１７００は、限定することなくプロセッサ１７０２を含んでもよく、このプロセッサ１７０２は限定することなく、本明細書に記載の技法による機械学習モデルの訓練及び／又は推論を実行するための１つ又は複数の実行ユニット１７０８を含んでもよい。少なくとも一実施例では、システム１７は、シングル・プロセッサのデスクトップ又はサーバ・システムであるが、別の実施例では、システム１７はマルチプロセッサ・システムであってもよい。少なくとも一実施例では、プロセッサ１７０２は、限定することなく、複合命令セット・コンピュータ（「ＣＩＳＣ」：complex instruction set computer）マイクロプロセッサ、縮小命令セット・コンピューティング（「ＲＩＳＣ」）マイクロプロセッサ、超長命令語（「ＶＬＩＷ」）マイクロプロセッサ、命令セットの組合せを実装するプロセッサ、又は任意の他のプロセッサ・デバイス、たとえばデジタル信号プロセッサなどを含んでもよい。少なくとも一実施例では、プロセッサ１７０２は、プロセッサ・バス１７１０に結合されてもよく、このプロセッサ・バスは、プロセッサ１７０２とコンピュータ・システム１７００内の他の構成要素との間でデジタル信号を送信してもよい。
少なくとも一実施例では、プロセッサ１７０２は、限定することなく、レベル１（「Ｌ１」）の内部キャッシュ・メモリ（「キャッシュ」）１７０４を含んでもよい。少なくとも一実施例では、プロセッサ１７０２は、単一の内部キャッシュ又は複数レベルの内部キャッシュを有してもよい。少なくとも一実施例では、キャッシュ・メモリは、プロセッサ１７０２の外部にあってもよい。他の実施例は、特定の実装形態及び必要性に応じて、内部キャッシュと外部キャッシュの両方の組合せも含んでよい。少なくとも一実施例では、レジスタ・ファイル１７０６は、整数レジスタ、浮動小数点レジスタ、状態レジスタ、及び命令ポインタ・レジスタを限定することなく含む様々レジスタに、異なるタイプのデータを記憶してもよい。
少なくとも一実施例では、整数及び浮動小数点の演算を実行するための論理を限定することなく含む実行ユニット１７０８も、プロセッサ１７０２にある。プロセッサ１７０２は、ある一定のマクロ命令のためのマイクロコードを記憶するマイクロコード（「ｕコード」）読取り専用メモリ（「ＲＯＭ」：ｒｅａｄ ｏｎｌｙ ｍｅｍｏｒｙ）も含んでよい。少なくとも一実施例では、実行ユニット１７０８は、パック命令セット１７０９に対処する論理を含んでもよい。少なくとも一実施例では、パック命令セット１７０９を、命令を実行する関連回路とともに汎用プロセッサ１７０２の命令セットに含めることにより、多くのマルチメディア・アプリケーションによって使用される演算を、汎用プロセッサ１７０２のパック・データを使用して実行することができる。１つ又は複数の実施例では、プロセッサのデータ・バスの全幅を使用してパック・データの演算を実行することによって、多くのマルチメディア・アプリケーションを加速し、より効率的に実行することができ、これにより、１度に１つのデータ要素に対して１つ又は複数の演算を実行するためにプロセッサのデータ・バス間でより小さい単位のデータを転送する必要をなくすことができる。
少なくとも一実施例では、実行ユニット１７０８はまた、マイクロコントローラ、組み込みプロセッサ、グラフィックス・デバイス、ＤＳＰ、及び他のタイプの論理回路において使用されてもよい。少なくとも一実施例では、コンピュータ・システム１７００は、限定することなくメモリ１７２０を含んでもよい。少なくとも一実施例では、メモリ１７２０は、ダイナミック・ランダム・アクセス・メモリ（「ＤＲＡＭ」）デバイス、スタティック・ランダム・アクセス・メモリ（「ＳＲＡＭ」）デバイス、フラッシュ・メモリ・デバイス、又は他のメモリ・デバイスとして実装されてもよい。メモリ１７２０は、プロセッサ１７０２によって実行されてもよいデータ信号によって表される命令１７１９、及び／又はデータ１７２１を記憶してもよい。
少なくとも一実施例では、システム論理チップが、プロセッサ・バス１７１０及びメモリ１７２０に結合されてもよい。少なくとも一実施例では、システム論理チップは、限定することなく、メモリ・コントローラ・ハブ（「ＭＣＨ」：ｍｅｍｏｒｙ ｃｏｎｔｒｏｌｌｅｒ ｈｕｂ）１７１６を含んでもよく、プロセッサ１７０２は、プロセッサ・バス１７１０を介してＭＣＨ１７１６と通信してもよい。少なくとも一実施例では、ＭＣＨ１７１６は、命令及びデータを記憶するため、及びグラフィックス・コマンド、データ、及びテクスチャを記憶するために、高帯域幅メモリ経路１７１８をメモリ１７２０に提供してもよい。少なくとも一実施例では、ＭＣＨ１７１６は、プロセッサ１７０２と、メモリ１７２０と、コンピュータ・システム１７００の他の構成要素との間でデータ信号を導き、プロセッサ・バス１７１０と、メモリ１７２０と、システムＩ／Ｏ１７２２との間でデータ信号をブリッジしてもよい。少なくとも一実施例では、システム論理チップは、グラフィックス・コントローラに結合するためのグラフィックス・ポートを提供してもよい。少なくとも一実施例では、ＭＣＨ１７１６は、高帯域幅メモリ経路１７１８を介してメモリ１７２０に結合されてもよく、グラフィックス／ビデオカード１７１２は、アクセラレーテッド・グラフィックス・ポート（「ＡＧＰ」：Ａｃｃｅｌｅｒａｔｅｄ Ｇｒａｐｈｉｃｓ Ｐｏｒｔ）相互接続１７１４を介してＭＣＨ１７１６に結合されてもよい。
少なくとも一実施例では、コンピュータ・システム１７００は、ＭＣＨ１７１６をＩ／Ｏコントローラ・ハブ（「ＩＣＨ」：Ｉ／Ｏ ｃｏｎｔｒｏｌｌｅｒ ｈｕｂ）１７３０に結合するためのプロプライエタリ・ハブ・インターフェース・バスであるシステムＩ／Ｏ１７２２を使用してもよい。少なくとも一実施例では、ＩＣＨ１７３０は、ローカルのＩ／Ｏバスを介していくつかのＩ／Ｏデバイスに直接接続を提供してもよい。少なくとも一実施例では、ローカルＩ／Ｏバスは、周辺装置をメモリ１７２０、チップセット、及びプロセッサ１７０２に接続するための高速Ｉ／Ｏバスを、限定することなく含んでもよい。例としては、オーディオ・コントローラ１７２９、ファームウェア・ハブ（「フラッシュＢＩＯＳ」）１７２８、ワイヤレス・トランシーバ１７２６、データ・ストレージ１７２４、ユーザ入力及びキーボードのインターフェースを含むレガシーＩ／Ｏコントローラ１７２３、ユニバーサル・シリアル・バス（「ＵＳＢ」：Ｕｎｉｖｅｒｓａｌ Ｓｅｒｉａｌ Ｂｕｓ）などのシリアル拡張ポート１７２７、及びネットワーク・コントローラ１７３４が、限定することなく含まれてもよい。データ・ストレージ１７２４は、ハード・ディスク・ドライブ、フロッピー（登録商標）・ディスク・ドライブ、ＣＤ－ＲＯＭデバイス、フラッシュ・メモリ・デバイス、又は他の大容量ストレージ・デバイスを備えてもよい。
少なくとも一実施例では、図１７は、相互接続されたハードウェア・デバイス又は「チップ」を含むシステムを示すが、一方他の実施例では、図１７は例示的なシステム・オン・チップ（「ＳｏＣ」）を示してもよい。少なくとも一実施例では、図１７で示すデバイスは、プロプライエタリ相互接続、標準相互接続（たとえば、ＰＣＩｅ）、又はこれらの何らかの組合せで相互接続されてもよい。少なくとも一実施例では、コンピュータ・システム１７００の１つ又は複数の構成要素は、コンピュート・エクスプレス・リンク（ＣＸＬ：ｃｏｍｐｕｔｅ ｅｘｐｒｅｓｓ ｌｉｎｋ）相互接続を使用して相互接続されてもよい。
１つ若しくは複数の実施例に関連する推論及び／又は訓練の動作を実行するために、推論及び／又は訓練論理１３１５が使用される。推論及び／又は訓練論理１３１５に関する詳細事項は、図１３Ａ及び／又は図１３Ｂと併せて本明細書に提供される。少なくとも一実施例では、推論及び／又は訓練論理１３１５は、本明細書に記載のニューラル・ネットワークの訓練動作、ニューラル・ネットワークの機能及び／若しくはアーキテクチャ、又はニューラル・ネットワークのユース・ケースを使用して計算された重みパラメータに少なくとも部分的に基づき、推論又は予測の動作のために図１７のシステムにおいて使用されてもよい。
上述した技法は、たとえば、人間とロボットとの間で物体の交換を実行するためのシステムを実装するために使用されてもよい。いくつかの実例は、上述したように人間の手によって保持される物体の把持を生成するように訓練されたニューラル・ネットワークを作製するために、推論及び／又は訓練論理を使用する。
図１８は、少なくとも一実施例による、プロセッサ１８１０を利用するための電子デバイス１８００を示すブロック図である。少なくとも一実施例では、電子デバイス１８００は、たとえば限定することなく、ノートブック、タワー・サーバ、ラック・サーバ、ブレード・サーバ、ラップトップ、デスクトップ、タブレット、モバイル・デバイス、電話、組み込みコンピュータ、又は任意の他の好適な電子デバイスであってもよい。
少なくとも一実施例では、システム１８００は、任意の好適な数又は種類の構成要素、周辺装置、モジュール、若しくはデバイスに通信可能に結合されたプロセッサ１８１０を、限定することなく含んでもよい。少なくとも一実施例では、Ｉ°Ｃバス、システム・マネージメント・バス（「ＳＭＢｕｓ」：Ｓｙｓｔｅｍ Ｍａｎａｇｅｍｅｎｔ Ｂｕｓ）、ロー・ピン・カウント（ＬＰＣ：Ｌｏｗ Ｐｉｎ Ｃｏｕｎｔ）バス、シリアル・ペリフェラル・インターフェース（「ＳＰＩ」：Ｓｅｒｉａｌ Ｐｅｒｉｐｈｅｒａｌ Ｉｎｔｅｒｆａｃｅ）、ハイ・デフィニション・オーディオ（「ＨＤＡ」：Ｈｉｇｈ Ｄｅｆｉｎｉｔｉｏｎ Ａｕｄｉｏ）バス、シリアル・アドバンス・テクノロジー・アタッチメント（「ＳＡＴＡ」：Ｓｅｒｉａｌ Ａｄｖａｎｃｅ Ｔｅｃｈｎｏｌｏｇｙ Ａｔｔａｃｈｍｅｎｔ）バス、ユニバーサル・シリアル・バス（「ＵＳＢ」）（バージョン１、２、３）、又はユニバーサル非同期レシーバ／トランスミッタ（「ＵＡＲＴ」：Ｕｎｉｖｅｒｓａｌ Ａｓｙｎｃｈｒｏｎｏｕｓ Ｒｅｃｅｉｖｅｒ／Ｔｒａｎｓｍｉｔｔｅｒ）バスなどのバス若しくはインターフェースを使用して結合されるプロセッサ１８１０。少なくとも一実施例では、図１８は、相互接続されたハードウェア・デバイス又は「チップ」を含むシステムを示すが、一方他の実施例では、図１８は例示的なシステム・オン・チップ（「ＳｏＣ」）を示してもよい。少なくとも一実施例では、図１８に示すデバイスは、プロプライエタリ相互接続、標準相互接続（たとえば、ＰＣＩｅ）、又はこれらの何らかの組合せで相互接続されてもよい。少なくとも一実施例では、図１８の１つ又は複数の構成要素は、コンピュート・エクスプレス・リンク（ＣＸＬ）相互接続を使用して相互接続されてもよい。
少なくとも一実施例では、図１８は、ディスプレイ１８２４、タッチ画面１８２５、タッチ・パッド１８３０、近距離無線通信ユニット（「ＮＦＣ」：Ｎｅａｒ Ｆｉｅｌｄ Ｃｏｍｍｕｎｉｃａｔｉｏｎｓ ｕｎｉｔ）１８４５、センサ・ハブ１８４０、熱センサ１８４６、エクスプレス・チップセット（「ＥＣ」：Ｅｘｐｒｅｓｓ Ｃｈｉｐｓｅｔ）１８３５、トラステッド・プラットフォーム・モジュール（「ＴＰＭ」：Ｔｒｕｓｔｅｄ Ｐｌａｔｆｏｒｍ Ｍｏｄｕｌｅ）１８３８、ＢＩＯＳ／ファームウェア／フラッシュ・メモリ（「ＢＩＯＳ、ＦＷフラッシュ」：ＢＩＯＳ／ｆｉｒｍｗａｒｅ／ｆｌａｓｈ ｍｅｍｏｒｙ）１８２２、ＤＳＰ１８６０、ソリッド・ステート・ディスク（「ＳＳＤ」：Ｓｏｌｉｄ Ｓｔａｔｅ Ｄｉｓｋ）若しくはハード・ディスク・ドライブ（「ＨＤＤ」：Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ）などのドライブ（「ＳＳＤ又はＨＤＤ」）１８２０、ワイヤレス・ローカル・エリア・ネットワーク・ユニット（「ＷＬＡＮ」：ｗｉｒｅｌｅｓｓ ｌｏｃａｌ ａｒｅａ ｎｅｔｗｏｒｋ ｕｎｉｔ）１８５０、Ｂｌｕｅｔｏｏｔｈユニット１８５２、ワイヤレス広域ネットワーク・ユニット（「ＷＷＡＮ」：Ｗｉｒｅｌｅｓｓ Ｗｉｄｅ Ａｒｅａ Ｎｅｔｗｏｒｋ ｕｎｉｔ）１８５６、全地球測位システム（ＧＰＳ：Ｇｌｏｂａｌ Ｐｏｓｉｔｉｏｎｉｎｇ Ｓｙｓｔｅｍ）１８５５、ＵＳＢ３．０カメラなどのカメラ（「ＵＳＢ３．０カメラ」）１８５４、又は、たとえばＬＰＤＤＲ３規格に実装された低電力ダブル・データ・レート（「ＬＰＤＤＲ」：Ｌｏｗ Ｐｏｗｅｒ Ｄｏｕｂｌｅ Ｄａｔａ Ｒａｔｅ）メモリ・ユニット（「ＬＰＤＤＲ３」）１８１５を含んでもよい。これらの構成要素は、それぞれ任意の好適なやり方で実装されてもよい。
少なくとも一実施例では、上述した構成要素を介して、他の構成要素がプロセッサ１８１０に通信可能に結合されてもよい。少なくとも一実施例では、加速度計１８４１、周囲光センサ（「ＡＬＳ」：Ａｍｂｉｅｎｔ Ｌｉｇｈｔ Ｓｅｎｓｏｒ）１８４２、コンパス１８４３、及びジャイロスコープ１８４４が、センサ・ハブ１８４０に通信可能に結合されてもよい。少なくとも一実施例では、熱センサ１８３９、ファン１８３７、キーボード１８４６、及びタッチ・パッド１８３０が、ＥＣ１８３５に通信可能に結合されてもよい。少なくとも一実施例では、スピーカ１８６３、ヘッドフォン１８６４、及びマイクロフォン（「ｍｉｃ」）１８６５が、オーディオ・ユニット（オーディオ・コーデック及びクラスｄアンプ）１８６４に通信可能に結合されてもよく、このオーディオ・ユニットが、ＤＳＰ１８６０に通信可能に結合されてもよい。少なくとも一実施例では、オーディオ・ユニット１８６４は、たとえば限定することなく、オーディオ・コーダ／デコーダ（「コーデック」）及びクラスＤアンプリファイアを含んでもよい。少なくとも一実施例では、ＳＩＭカード（「ＳＩＭ」）１８５７は、ＷＷＡＮユニット１８５６に通信可能に結合されてもよい。少なくとも一実施例では、ＷＬＡＮユニット１８５０及びＢｌｕｅｔｏｏｔｈユニット１８５２などの構成要素、並びにＷＷＡＮ１８５６は、次世代フォーム・ファクタ（「ＮＧＦＦ」：Ｎｅｘｔ Ｇｅｎｅｒａｔｉｏｎ Ｆｏｒｍ Ｆａｃｔｏｒ）に実装されてもよい。
１つ若しくは複数の実施例に関連する推論及び／又は訓練の動作を実行するために、推論及び／又は訓練論理１３１５が使用される。推論及び／又は訓練論理１３１５に関する詳細事項は、図１３Ａ及び／又は図１３Ｂと併せて本明細書に提供される。少なくとも一実施例では、推論及び／又は訓練論理１３１５は、本明細書に記載のニューラル・ネットワークの訓練動作、ニューラル・ネットワークの機能及び／若しくはアーキテクチャ、又はニューラル・ネットワークのユース・ケースを使用して計算された重みパラメータに少なくとも部分的に基づき、推論又は予測の動作のために図１８のシステムにおいて使用されてもよい。
上述した技法は、たとえば、人間とロボットとの間で物体の交換を実行するためのシステムを実装するために使用されてもよい。いくつかの実例は、上述したように人間の手によって保持される物体の把持を生成するように訓練されたニューラル・ネットワークを作製するために、推論及び／又は訓練論理を使用する。
図１９は、少なくとも一実施例による、コンピュータ・システム１９００を示す。少なくとも一実施例では、コンピュータ・システム１９００は、本開示全体を通して説明する様々なプロセス及び方法を実装するように構成される。
少なくとも一実施例では、コンピュータ・システム１９００は、限定することなく、少なくとも１つの中央処理装置（「ＣＰＵ」）１９０２を含み、この処理装置は、ＰＣＩ：Ｐｅｒｉｐｈｅｒａｌ Ｃｏｍｐｏｎｅｎｔ Ｉｎｔｅｒｃｏｎｎｅｃｔ（「ペリフェラル・コンポーネント・インターコネクト」）、ペリフェラル・コンポーネント・インターコネクト・エクスプレス（「ＰＣＩ－Ｅｘｐｒｅｓｓ」：ｐｅｒｉｐｈｅｒａｌ ｃｏｍｐｏｎｅｎｔ ｉｎｔｅｒｃｏｎｎｅｃｔ ｅｘｐｒｅｓｓ）、ＡＧＰ：Ａｃｃｅｌｅｒａｔｅｄ Ｇｒａｐｈｉｃｓ Ｐｏｒｔ（「アクセラレーテッド・グラフィックス・ポート」）、ハイパートランスポート、又は任意の他のバス若しくはポイントツーポイントの通信プロトコルなど、任意の好適なプロトコルを使用して実装された通信バス１９１０に接続される。少なくとも一実施例では、コンピュータ・システム１９００は、メイン・メモリ１９０４、及び（たとえば、ハードウェア、ソフトウェア、又はこれらの組合せとして実装される）制御論理を限定することなく含み、データは、ランダム・アクセス・メモリ（「ＲＡＭ」：ｒａｎｄｏｍ ａｃｃｅｓｓ ｍｅｍｏｒｙ）の形をとってもよいメイン・メモリ１９０４に記憶される。少なくとも一実施例では、ネットワーク・インターフェース・サブシステム（「ネットワーク・インターフェース」）１９２２は、他のシステムからデータを受信し、コンピュータ・システム１９００から他のシステムにデータを送信するための他のコンピューティング・デバイス及びネットワークとのインターフェースを提供する。
少なくとも一実施例では、コンピュータ・システム１９００は、少なくとも一実施例では、限定することなく、入力デバイス１９０８、パラレル処理システム１９１２、及びディスプレイ・デバイス１９０６を含み、このディスプレイ・デバイスは、従来の陰極線管（「ＣＲＴ」：ｃａｔｈｏｄｅ ｒａｙ ｔｕｂｅ）、液晶ディスプレイ（「ＬＣＤ」：ｌｉｑｕｉｄ ｃｒｙｓｔａｌ ｄｉｓｐｌａｙ）、発光ダイオード（「ＬＥＤ」：ｌｉｇｈｔ ｅｍｉｔｔｉｎｇ ｄｉｏｄｅ）、プラズマ・ディスプレイ、又は他の好適なディスプレイ技術を使用して実装することができる。少なくとも一実施例では、ユーザ入力は、キーボード、マウス、タッチ・パッド、マイクロフォンなどの入力デバイス１９０８から受け取る。少なくとも一実施例では、上記モジュールのそれぞれを単一の半導体プラットフォームに置いて、処理システムを形成することができる。
１つ若しくは複数の実施例に関連する推論及び／又は訓練の動作を実行するために、推論及び／又は訓練論理１３１５が使用される。推論及び／又は訓練論理１３１５に関する詳細事項は、図１３Ａ及び／又は図１３Ｂと併せて本明細書に提供される。少なくとも一実施例では、訓練論理１３１５は、本明細書に記載のニューラル・ネットワークの訓練動作、ニューラル・ネットワークの機能及び／若しくはアーキテクチャ、又はニューラル・ネットワークのユース・ケースを使用して計算された重みパラメータに少なくとも部分的に基づき、推論又は予測の動作のために図１９のシステムにおいて使用されてもよい。
上述したコンピュータ・システムは、たとえば、人間とロボットとの間で物体の交換を実行するためのシステムを実装するために使用されてもよい。いくつかの実例は、上述したように人間の手によって保持される物体の把持を生成するように訓練されたニューラル・ネットワークを作製するために、推論及び／又は訓練論理を使用する。
図２０は、少なくとも一実施例によるコンピュータ・システム２０００を示す。少なくとも一実施例では、コンピュータ・システム２０００は、限定することなく、コンピュータ２０１０及びＵＳＢスティック２０２０を含んでもよい。少なくとも一実施例では、コンピュータ・システム２０１０は、限定することなく、任意の数及びタイプのプロセッサ（図示せず）、並びにメモリを含んでもよい。少なくとも一実施例では、コンピュータ２０１０は、限定することなく、サーバ、クラウド・インスタンス、ラップトップ、及びデスクトップ・コンピュータを含む。
少なくとも一実施例では、ＵＳＢスティック２０２０は、限定することなく、処理ユニット２０３０、ＵＳＢインターフェース２０４０、及びＵＳＢインターフェース論理２０５０を含む。少なくとも一実施例では、処理ユニット２０３０は、命令を実行することができる任意の命令実行システム、装置、又はデバイスであってもよい。少なくとも一実施例では、処理ユニット２０３０は、限定することなく、任意の数及びタイプの処理コア（図示せず）を含んでもよい。少なくとも一実施例では、処理コア２０３０は、機械学習に関連する任意の量及びタイプの演算を実行するように最適化された特定用途向け集積回路（「ＡＳＩＣ」）を備える。たとえば、少なくとも一実施例では、処理コア２０３０は、機械学習の推論演算を実行するように最適化されたテンソル処理ユニット（「ＴＰＣ」：ｔｅｎｓｏｒ ｐｒｏｃｅｓｓｉｎｇ ｕｎｉｔ）である。少なくとも一実施例では、処理コア２０３０は、機械視覚及び機械学習の推論演算を実行するように最適化された視覚処理ユニット（「ＶＰＵ」）である。
少なくとも一実施例では、ＵＳＢインターフェース２０４０は、任意のタイプのＵＳＢコネクタ又はＵＳＢソケットであってもよい。たとえば、少なくとも一実施例では、ＵＳＢインターフェース２０４０は、データ及び電源用のＵＳＢ３．０ Ｔｙｐｅ－Ｃのソケットである。少なくとも一実施例では、ＵＳＢインターフェース２０４０は、ＵＳＢ３．０ Ｔｙｐｅ－Ａのコネクタである。少なくとも一実施例では、ＵＳＢインターフェース論理２０５０は、処理ユニット２０３０がＵＳＢコネクタ２０４０を介してデバイス（たとえばコンピュータ２０１０）と又はインターフェースをとることを可能にする任意の量及びタイプの論理を含んでもよい。
１つ若しくは複数の実施例に関連する推論及び／又は訓練の動作を実行するために、推論及び／又は訓練論理１３１５が使用される。推論及び／又は訓練論理１３１５に関する詳細事項は、図１３Ａ及び／又は図１３Ｂと併せて本明細書に提供される。少なくとも一実施例では、推論及び／又は訓練論理１３１５は、本明細書に記載のニューラル・ネットワークの訓練動作、ニューラル・ネットワークの機能及び／若しくはアーキテクチャ、又はニューラル・ネットワークのユース・ケースを使用して計算された重みパラメータに少なくとも部分的に基づき、推論又は予測の動作のために図２０のシステムにおいて使用されてもよい。
上述した技法は、たとえば、人間とロボットとの間で物体の交換を実行するためのシステムを実装するために使用されてもよい。いくつかの実例は、上述したように人間の手によって保持される物体の把持を生成するように訓練されたニューラル・ネットワークを作製するために、推論及び／又は訓練論理を使用する。
図２１Ａは、複数のＧＰＵ２１１０～２１１３が、高速リンク２１４０～２１４３（たとえば、バス、ポイントツーポイント相互接続など）を介して複数のマルチ・コア・プロセッサ２１０５～２１０６に通信可能に結合されている例示的なアーキテクチャを示す。一実施例では、高速リンク２１４０～２１４３は、４ＧＢ／秒、３０ＧＢ／秒、８０ＧＢ／秒、又はそれ以上の通信スループットをサポートする。ＰＣＩｅ４．０又は５．０、及びＮＶＬｉｎｋ２．０を含むがこれらに限定されない様々な相互接続プロトコルが使用されてもよい。
さらに、一実施例では、ＧＰＵ２１１０～２１１３のうちの２つ以上は高速リンク２１２９～２１３０を介して相互接続され、これらは、高速リンク２１４０～２１４３に使用されたものと同じ又は異なるプロトコル／リンクを使用して実装されてもよい。同様に、マルチ・コア・プロセッサ２１０５～２１０６のうちの２つ以上は、高速リンク２１２８を介して接続されてもよく、この高速リンク２１２８は、２０ＧＢ／秒、３０ＧＢ／秒、１２０ＧＢ／秒、又はそれ以上で動作する対称型マルチプロセッサ（ＳＭＰ）バスとすることができる。或いは、図２１Ａに示す様々なシステム構成要素間のすべての通信は、同じプロトコル／リンクを使用して（たとえば、共通の相互接続ファブリックを介して）実現されてもよい。
一実施例では、各マルチ・コア・プロセッサ２１０５～２１０６は、それぞれメモリ相互接続２１２６～２１２７を介してプロセッサ・メモリ２１０１～２１０２に通信可能に結合され、各ＧＰＵ２１１０～２１１３は、それぞれＧＰＵメモリ・相互接続２１５０～２１５３を介してＧＰＵメモリ２１２０～２１２３に通信可能に結合される。メモリ相互接続２１２６～２１２７及び２１５０～２１５３は、同じ又は異なるメモリ・アクセス技術を利用してもよい。例として、限定ではなく、プロセッサ・メモリ２１０１～２１０２及びＧＰＵメモリ２１２０～２１２３は、（積層ＤＲＡＭを含む）ダイナミック・ランダム・アクセス・メモリ（ＤＲＡＭ）、グラフィックスＤＤＲ ＳＤＲＡＭ（ＧＤＤＲ）（たとえば、ＧＤＤＲ５、ＧＤＤＲ６）、又は高帯域幅メモリ（ＨＢＭ）などの揮発性メモリであってもよく、且つ／又は３Ｄ ＸＰｏｉｎｔ又はＮａｎｏ－Ｒａｍなどの不揮発性メモリであってもよい。一実施例では、（たとえば、２レベルのメモリ（２ＬＭ）階層を使用して）、プロセッサ・メモリ２１０１～２１０２のいくつかの部分は揮発性メモリであってもよく、別の部分は不揮発性メモリであってもよい。
本明細書に記載するように、様々なプロセッサ２１０５～２１０６及びＧＰＵ２１１０～２１１３は、それぞれ特定のメモリ２１０１～２１０２、２１２０～２１２３に物理的に結合されてもよいが、同じ仮想システムのアドレス空間（「実効アドレス」空間とも呼ぶ）が様々な物理メモリ間に分配されている統合されたメモリ・アーキテクチャが実装されてもよい。たとえば、プロセッサ・メモリ２１０１～２１０２はそれぞれ、６４ＧＢのシステム・メモリ・アドレス空間を備えてもよく、ＧＰＵメモリ２１２０～２１２３はそれぞれ、３２ＧＢのシステム・メモリ・アドレス空間を備えてもよい（この例では結果的に、合計２５６ＧＢのアドレス指定可能メモリが得られる）。
図２１Ｂは、１つの例示的な実施例によるマルチ・コア・プロセッサ２１０７とグラフィックス加速モジュール２１４６との相互接続のさらなる詳細事項を示す。グラフィックス加速モジュール２１４６は、高速リンク２１４０を介してプロセッサ２１０７に結合されるライン・カードに集積された１つ又は複数のＧＰＵチップを含んでもよい。或いは、グラフィックス加速モジュール２１４６は、プロセッサ２１０７と同じパッケージ又はチップに集積されてもよい。
少なくとも一実施例では、図示しているプロセッサ２１０７は、複数のコア２１６０Ａ～２１６０Ｄを含み、それぞれのコアが、トランスレーション・ルックアサイド・バッファ２１６１Ａ～２１６１Ｄと、１つ又は複数のキャッシュ２１６２Ａ～２１６２Ｄとを有する。少なくとも一実施例では、コア２１６０Ａ～２１６０Ｄは、命令を実行しデータを処理するための、図示していない様々な他の構成要素を含んでもよい。キャッシュ２１６２Ａ～２１６２Ｄは、レベル１（Ｌ１）及びレベル２（Ｌ２）のキャッシュを備えてもよい。さらに、１つ又は複数の共有キャッシュ２１５６が、キャッシュ２１６２Ａ～２１６２Ｄに含まれ、コア２１６０Ａ～２１６０Ｄのセットによって共有されてもよい。たとえば、プロセッサ２１０７の一実施例は、２４個のコアを含み、各コアが、独自のＬ１キャッシュ、１２個の共有Ｌ２キャッシュ、及び１２個の共有Ｌ３キャッシュを有する。この実施例では、１つ又は複数のＬ２及びＬ３のキャッシュが、２つの隣接するコアによって共有される。プロセッサ２１０７及びグラフィックス加速モジュール２１４６は、システム・メモリ２１１４に接続されており、このシステム・メモリは、図２１Ａのプロセッサ・メモリ２１０１～２１０２を含んでもよい。
様々なキャッシュ２１６２Ａ～２１６２Ｄ、２１５６、及びシステム・メモリ２１１４に記憶されたデータ及び命令については、コヒーレンス・バス２１６４を介したコア間通信によって、コヒーレンスが維持される。たとえば、各キャッシュは、特定のキャッシュ・ラインに対する読取り又は書込みを検出したことに応答して、コヒーレンス・バス２１６４を介して通信するために、それに関連するキャッシュ・コヒーレンス論理／回路を有してもよい。一実装形態では、キャッシュ・アクセスを監視するために、コヒーレンス・バス２１６４を介してキャッシュ・スヌーピング・プロトコルが実装される。
一実施例では、プロキシ回路２１２５が、グラフィックス加速モジュール２１４６をコヒーレンス・バス２１６４に通信可能に結合して、グラフィックス加速モジュール２１４６がコア２１６０Ａ～２１６０Ｄのピアとしてキャッシュ・コヒーレンス・プロトコルに参加できるようにする。特に、インターフェース２１３５は、高速リンク２１４０（たとえば、ＰＣＩｅバス、ＮＶＬｉｎｋなど）を介してプロキシ回路２１２５への接続を提供し、インターフェース２１３７は、グラフィックス加速モジュール２１４６をリンク２１４０に接続する。
一実装形態では、アクセラレータ統合回路２１３６は、グラフィックス加速モジュール２１４６の複数のグラフィックス処理エンジン２１３１、２１３２、Ｎの代わりに、キャッシュ管理、メモリ・アクセス、コンテンツ管理、及び割込み管理のサービスを提供する。グラフィックス処理エンジン２１３１、２１３２、Ｎはそれぞれ、別個のグラフィックス・プロセッシング・ユニット（ＧＰＵ）を備えてもよい。或いは、グラフィックス処理エンジン２１３１、２１３２、Ｎは、ＧＰＵの中に、グラフィックス実行ユニット、メディア処理エンジン（たとえば、ビデオ・エンコーダ／デコーダ）、サンプラ、及びブリット・エンジンなど、異なるタイプのグラフィックス処理エンジンを備えてもよい。少なくとも一実施例では、グラフィックス加速モジュール２１４６は、複数のグラフィックス処理エンジン２１３１～２１３２、Ｎを有するＧＰＵであってもよく、又はグラフィックス処理エンジン２１３１～２１３２、Ｎは、共通のパッケージ、ライン・カード、若しくはチップに集積された個々のＧＰＵであってもよい。
一実施例では、アクセラレータ統合回路２１３６は、仮想から物理のメモリ・トランスレーション（実効から実（ｅｆｆｅｃｔｉｖｅ－ｔｏ－ｒｅａｌ）のメモリ・トランスレーションとも呼ばれる）など、様々なメモリ管理機能を実行するためのメモリ管理ユニット（ＭＭＵ）２１３９、及びシステム・メモリ２１１４にアクセスするためのメモリ・アクセス・プロトコルを含む。ＭＭＵ２１３９は、仮想／実効から物理／実へのアドレス・トランスレーションをキャッシュするためのトランスレーション・ルックアサイド・バッファ（ＴＬＢ）（図示せず）も含むことができる。一実装形態では、キャッシュ２１３８は、グラフィックス処理エンジン２１３１～２１３２、Ｎから効率的にアクセスできるように、コマンド及びデータを記憶する。一実施例では、キャッシュ２１３８及びグラフィックス・メモリ２１３３～２１３４、Ｍに記憶されたデータは、コア・キャッシュ２１６２Ａ～２１６２Ｄ、２１５６、及びシステム・メモリ２１１４とコヒーレントに保たれる。上に述べたように、これは、キャッシュ２１３８及びメモリ２１３３～２１３４、Ｍの代わりにプロキシ回路２１２５を介して（たとえば、プロセッサ・キャッシュ２１６２Ａ～２１６２Ｄ、２１５６におけるキャッシュ・ラインの修正／アクセスに関するアップデートをキャッシュ２１３８に送り、キャッシュ２１３８からのアップデートを受け取って）実現されてもよい。
レジスタ２１４５のセットが、グラフィックス処理エンジン２１３１～２１３２、Ｎによって実行されるスレッドのためのコンテキスト・データを記憶し、コンテキスト管理回路２１４８が、スレッド・コンテキストを管理する。たとえば、コンテキスト管理回路２１４８は、コンテキスト・スイッチ中に様々なスレッドのコンテキストを保存及び復元するために、保存及び復元の動作を実行してもよい（たとえば、ここで、第２のスレッドをグラフィックス処理エンジンによって実行できるように、第１のスレッドが保存され、第２のスレッドが記憶される）。たとえば、コンテキスト・スイッチ時に、コンテキスト管理回路２１４８は、現在のレジスタ値を（たとえば、コンテキスト・ポインタによって識別された）メモリの指定領域に記憶してもよい。次いで、コンテキストに戻るときに、コンテキスト管理回路２１４８がレジスタ値を復元してもよい。一実施例では、割込み管理回路２１４７は、システム・デバイスから受け取った割込みを受け取り、処理する。
一実装形態では、グラフィックス処理エンジン２１３１からの仮想／実効アドレスは、ＭＭＵ２１３９によってシステム・メモリ２１１４の実／物理アドレスにトランスレートされる。アクセラレータ統合回路２１３６の一実施例は、複数（たとえば、４個、８個、１６個）のグラフィックス・アクセラレータ・モジュール２１４６、及び／又は他のアクセラレータ・デバイスをサポートする。グラフィックス・アクセラレータ・モジュール２１４６は、プロセッサ２１０７上で実行される単一のアプリケーション専用のものであってもよく、又は複数のアプリケーション間で共有されてもよい。一実施例では、グラフィックス処理エンジン２１３１～２１３２、Ｎのリソースが複数のアプリケーション又は仮想機械（ＶＭ）と共有される仮想化グラフィックス実行環境が存在する。少なくとも一実施例では、リソースは、「スライス」に細分化されてもよく、このスライスが、処理要件、並びにＶＭ及び／又はアプリケーションに関連付けられた優先度に基づき、異なるＶＭ及び／又はアプリケーションに割り振られる。
少なくとも一実施例では、アクセラレータ統合回路２１３６は、グラフィックス加速モジュール２１４６のためのシステムへのブリッジとして機能し、アドレス・トランスレーション及びシステム・メモリのキャッシュ・サービスを提供する。さらに、アクセラレータ統合回路２１３６は、グラフィックス処理エンジン２１３１～２１３２の仮想化、割込み、及びメモリ管理をホスト・プロセッサが管理するための仮想化設備を提供してもよい。
グラフィックス処理エンジン２１３１～２１３２、Ｎのハードウェア・リソースは、ホスト・プロセッサ２１０７が見る実アドレス空間に明示的にマッピングされるので、いかなるホスト・プロセッサも、実効アドレス値を使用して、これらのリソースに直接アドレス指定することができる。一実施例では、アクセラレータ統合回路２１３６の１つの機能は、グラフィックス処理エンジン２１３１～２１３２、Ｎを、システムにとって独立したユニットに見えるように物理的に分離することである。
少なくとも一実施例では、１つ又は複数のグラフィックス・メモリ２１３３～２１３４、Ｍはそれぞれ、グラフィックス処理エンジン２１３１～２１３２、Ｎのそれぞれに結合される。グラフィックス・メモリ２１３３～２１３４、Ｍは、それぞれのグラフィックス処理エンジン２１３１～２１３２、Ｎによって処理される命令及びデータを記憶する。グラフィックス・メモリ２１３３～２１３４、Ｍは、（積層ＤＲＡＭを含む）ＤＲＡＭ、ＧＤＤＲメモリ、（たとえば、ＧＤＤＲ５、ＧＤＤＲ６）、又はＨＢＭなどの揮発性メモリであってもよく、且つ／又は３Ｄ ＸＰｏｉｎｔ又はＮａｎｏ－Ｒａｍなどの不揮発性メモリであってもよい。
一実施例では、リンク２１４０を介したデータ・トラフィックを低減するために、グラフィックス・メモリ２１３３～２１３４、Ｍに記憶されるデータが、グラフィックス処理エンジン２１３１～２１３２、Ｎによって最も頻繁に使用されることになるデータであるようにし、好ましくはコア２１６０Ａ～２１６０Ｄによっては使用されない（少なくとも頻繁には使用されない）データであるようにするためのバイアス技法が使用される。同様に、バイアス機構は、コアが必要とする（したがって、好ましくはグラフィックス処理エンジン２１３１～２１３２、Ｎは必要としない）データを、コアのキャッシュ２１６２Ａ～２１６２Ｄ、２１５６、及びシステム・メモリ２１１４の中に保つよう試みる。
図２１Ｃは、アクセラレータ統合回路２１３６がプロセッサ２１０７内に一体化されている別の例示的な実施例を示す。少なくともこの実施例では、グラフィックス処理エンジン２１３１～２１３２、Ｎは、インターフェース２１３７及びインターフェース２１３５により、高速リンク２１４０を介して直接アクセラレータ統合回路２１３６と通信する（この場合も任意の形のバス又はインターフェース・プロトコルを利用することができる）。アクセラレータ統合回路２１３６は、図２１Ｂに関して説明したのと同じ動作を実行してもよいが、コヒーレンス・バス２１６４及びキャッシュ２１６２Ａ～２１６２Ｄ、２１５６に近接していることを考えると、潜在的には、より高いスループットで動作してもよい。少なくとも一実施例は、（グラフィックス加速モジュールの仮想化のない）専用のプロセス・プログラミング・モデルと、（仮想化のある）共有プログラミング・モデルとを含む異なるプログラミング・モデルをサポートし、これらは、アクセラレータ統合回路２１３６によって制御されるプログラミング・モデルと、グラフィックス加速モジュール２１４６によって制御されるプログラミング・モデルとを含んでもよい。
少なくとも一実施例では、グラフィックス処理エンジン２１３１～２１３２、Ｎは、単一のオペレーティング・システムの下で単一のアプリケーション又はプロセスに専用のものである。少なくとも一実施例では、単一のアプリケーションは、他のアプリケーション要求をグラフィックス処理エンジン２１３１～２１３２、Ｎに集中させて、ＶＭ／パーティション内で仮想化を実現することができる。
少なくとも一実施例では、グラフィックス処理エンジン２１３１～２１３２、Ｎは、複数のＶＭ／アプリケーション・パーティションによって共有されてもよい。少なくとも一実施例では、共有モデルはシステム・ハイパーバイザを使用して、グラフィックス処理エンジン２１３１～２１３２、Ｎを仮想化して、各オペレーティング・システムによるアクセスを可能にしてもよい。ハイパーバイザのない単一パーティションのシステムでは、グラフィックス処理エンジン２１３１～２１３２、Ｎは、オペレーティング・システムによって所有される。少なくとも一実施例では、オペレーティング・システムは、グラフィックス処理エンジン２１３１～２１３２、Ｎを仮想化して、各プロセス又はアプリケーションへのアクセスを提供することができる。
少なくとも一実施例では、グラフィックス加速モジュール２１４６又は個々のグラフィックス処理エンジン２１３１～２１３２、Ｎは、プロセス・ハンドルを使用して、プロセス要素を選択する。少なくとも一実施例では、プロセス要素は、システム・メモリ２１１４に記憶されており、本明細書に記載の実効アドレスから実アドレスへのトランスレーション技法を使用してアドレス指定可能である。少なくとも一実施例では、プロセス・ハンドルは、ホスト・プロセスのコンテキストをグラフィックス処理エンジン２１３１～２１３２、Ｎに登録する（すなわち、プロセス要素リンク・リストにプロセス要素を追加するためのシステム・ソフトウェアをコールする）ときに、ホスト・プロセスに提供される実装固有の値であってもよい。少なくとも一実施例では、プロセス・ハンドルの下位１６ビットは、プロセス要素リンク・リスト内のプロセス要素のオフセットであってもよい。
図２１Ｄは、例示的なアクセラレータ統合スライス２１９０を示す。本明細書で使用するとき、「スライス」は、アクセラレータ統合回路２１３６の処理リソースの指定部分を備える。システム・メモリ２１１４内のアプリケーション実効アドレス空間２１８２は、プロセス要素２１８３を記憶する。一実施例では、プロセス要素２１８３は、プロセッサ２１０７上で実行されているアプリケーション２１８０からのＧＰＵ呼出し２１８１に応答して、記憶される。プロセス要素２１８３は、対応するアプリケーション２１８０のプロセス状態を収容する。プロセス要素２１８３に収容されたワーク記述子（ＷＤ）２１８４は、アプリケーションによって要求される単一のジョブとすることができ、又はジョブのキューに対するポインタを収容してもよい。少なくとも一実施例では、ＷＤ２１８４は、アプリケーションのアドレス空間２１８２におけるジョブ要求キューに対するポインタである。
グラフィックス加速モジュール２１４６及び／又は個々のグラフィックス処理エンジン２１３１～２１３２、Ｎは、システム内のプロセスのすべて又はサブセットによって共有されることが可能である。少なくとも一実施例では、プロセス状態を設定し、ＷＤ２１８４をグラフィックス加速モジュール２１４６に送信して、仮想化環境においてジョブを開始するためのインフラストラクチャが、含められてもよい。
少なくとも一実施例では、専用のプロセス・プログラミング・モデルは、実装固有である。このモデルでは、単一のプロセスが、グラフィックス加速モジュール２１４６又は個々のグラフィックス処理エンジン２１３１を所有する。グラフィックス加速モジュール２１４６が単一のプロセスによって所有されることから、グラフィックス加速モジュール２１４６が割り当てられたときに、ハイパーバイザは、所有パーティションについてアクセラレータ統合回路２１３６を初期化し、オペレーティング・システムは、所有プロセスについてアクセラレータ統合回路２１３６を初期化する。
動作時、アクセラレータ統合スライス２１９０内のＷＤフェッチ・ユニット２１９１は、グラフィックス加速モジュール２１４６の１つ又は複数のグラフィックス処理エンジンによって行われることになるワークの表示を含む次のＷＤ２１８４をフェッチする。図示してあるように、ＷＤ２１８４からのデータは、レジスタ２１４５に記憶され、ＭＭＵ２１３９、割込み管理回路２１４７、及び／又はコンテキスト管理回路２１４８によって使用されてもよい。たとえば、ＭＭＵ２１３９の一実施例は、ＯＳ仮想アドレス空間２１８５内のセグメント／ページ・テーブル２１８６にアクセスするためのセグメント／ページ・ウォーク回路を含む。割込み管理回路２１４７は、グラフィックス加速モジュール２１４６から受け取った割込みイベント２１９２を処理してもよい。グラフィックス動作を実行するとき、グラフィックス処理エンジン２１３１～２１３２、Ｎによって生成された実効アドレス２１９３は、ＭＭＵ２１３９によって実アドレスにトランスレートされる。
一実施例では、レジスタ２１４５の同じセットが、各グラフィックス処理エンジン２１３１～２１３２、Ｎ、及び／又はグラフィックス加速モジュール２１４６について複製され、ハイパーバイザ又はオペレーティング・システムによって初期化されてもよい。これらの複製されたレジスタのそれぞれは、アクセラレータ統合スライス２１９０に含まれてもよい。ハイパーバイザによって初期化されてもよい例示的なレジスタを、表１に示す。
Figure 2022024952000005
オペレーティング・システムによって初期化されてもよい例示的なレジスタを、表２に示す。
Figure 2022024952000006
一実施例では、各ＷＤ２１８４は、特定のグラフィックス加速モジュール２１４６及び／又はグラフィックス処理エンジン２１３１～２１３２、Ｎに固有のものである。ＷＤ２１８４は、グラフィックス処理エンジン２１３１～２１３２、Ｎがワークを行うために必要とするすべての情報を収容し、又は完了すべきワークのコマンド・キューをアプリケーションがセットアップした場所であるメモリ・ロケーションを指すポインタとすることができる。
図２１Ｅは、共有モデルの例示的な一実施例のさらなる詳細事項を示す。この実施例は、プロセス要素リスト２１９９が記憶されているハイパーバイザ実アドレス空間２１９８を含む。ハイパーバイザ実アドレス空間２１９８は、オペレーティング・システム２１９５のグラフィックス加速モジュール・エンジンを仮想化するハイパーバイザ２１９６を介してアクセス可能である。
少なくとも一実施例では、共有プログラミング・モデルは、システム内のすべて又はサブセットのパーティションからのすべて又はサブセットのプロセスが、グラフィックス加速モジュール２１４６を使用できるようにする。グラフィックス加速モジュール２１４６が複数のプロセス及びパーティションによって共有されるプログラミング・モデルが、２つ存在する：時間スライス共有及びグラフィックス指定共有（ｇｒａｐｈｉｃｓ－ｄｉｒｅｃｔｅｄ ｓｈａｒｅｄ）である。
このモデルでは、システム・ハイパーバイザ２１９６がグラフィックス加速モジュール２１４６を所有しており、その機能をすべてのオペレーティング・システム２１９５にとって利用可能にする。システム・ハイパーバイザ２１９６による仮想化をグラフィックス加速モジュール２１４６がサポートするために、グラフィックス加速モジュール２１４６は、以下のことに準拠してもよい：１）アプリケーションのジョブ要求は自律でなくてはならず（すなわち、ジョブ間で状態を維持する必要はなく）、又はグラフィックス加速モジュール２１４６が、コンテキストの保存及び復元の機構を提供しなくてはならない。２）アプリケーションのジョブ要求は、あらゆるトランスレーション誤りも含めて指定された時間量で完了するようグラフィックス加速モジュール２１４６によって保証され、又はグラフィックス加速モジュール２１４６が、ジョブの処理をプリエンプションする機能を提供する。３）グラフィックス加速モジュール２１４６は、指定の共有プログラミング・モデルで動作しているとき、プロセス間で公平性が保証されなくてはならない。
少なくとも一実施例では、アプリケーション２１８０は、グラフィックス加速モジュール２１４６のタイプ、ワーク記述子（ＷＤ）、権限マスク・レジスタ（ＡＭＲ）値、及びコンテキスト保存／復元エリア・ポインタ（ＣＳＲＰ）を伴って、オペレーティング・システム２１９５のシステム・コールを行う必要がある。少なくとも一実施例では、グラフィックス加速モジュール２１４６のタイプは、システム・コールで目的とする加速機能を記述している。少なくとも一実施例では、グラフィックス加速モジュール２１４６のタイプは、システム固有値であってもよい。少なくとも一実施例では、ＷＤは、グラフィックス加速モジュール２１４６のために特にフォーマット化されており、グラフィックス加速モジュール２１４６のコマンド、ユーザ定義の構造を指す実効アドレス・ポインタ、コマンドのキューを指す実効アドレス・ポインタ、又はグラフィックス加速モジュール２１４６によって行われるワークを記述するための任意の他のデータ構造の形とすることができる。一実施例では、ＡＭＲ値は、現在のプロセスに使用するためのＡＭＲ状態である。少なくとも一実施例では、オペレーティング・システムに渡される値は、ＡＭＲをセッティングするアプリケーションと同様である。アクセラレータ統合回路２１３６及びグラフィックス加速モジュール２１４６の実装形態が、ユーザ権限マスク・オーバーライド・レジスタ（ＵＡＭＯＲ）をサポートしていない場合、オペレーティング・システムは、ＡＭＲ値に現在のＵＡＭＯＲ値を適用してから、ハイパーバイザ・コールにＡＭＲを渡してもよい。ハイパーバイザ２１９６は、任意選択で、現在の権限マスク・オーバーライド・レジスタ（ＡＭＯＲ）値を適用してから、ＡＭＲをプロセス要素２１８３に入れてもよい。少なくとも一実施例では、ＣＳＲＰは、グラフィックス加速モジュール２１４６がコンテキスト状態を保存及び復元するためのアプリケーションのアドレス空間２１８２内のエリアの実効アドレスを収容するレジスタ２１４５のうちの１つである。ジョブ間で、又はジョブがプリエンプションされるときに、いかなる状態も保存する必要のない場合は、このポインタは任意選択である。少なくとも一実施例では、コンテキスト保存／復元エリアは、ピン留めされたシステム・メモリであってもよい。
システム・コールを受け取ると、オペレーティング・システム２１９５は、アプリケーション２１８０が登録済みであり、グラフィックス加速モジュール２１４６を使用する権限が与えられていることを検証してもよい。次いで、オペレーティング・システム２１９５は、表３に示す情報を伴ってハイパーバイザ２１９６にコールする。
Figure 2022024952000007
ハイパーバイザ・コールを受け取ると、ハイパーバイザ２１９６は、オペレーティング・システム２１９５が登録済みであり、グラフィックス加速モジュール２１４６を使用する権限が与えられていることを検証する。次いでハイパーバイザ２１９６は、プロセス要素２１８３を、対応するグラフィックス加速モジュール２１４６のタイプのプロセス要素リンク・リストに入れる。プロセス要素は、表４に示す情報を含んでもよい。
Figure 2022024952000008
少なくとも一実施例では、ハイパーバイザは、複数のアクセラレータ統合スライス２１９０のレジスタ２１４５を初期化する。
図２１Ｆに示すように、少なくとも一実施例では、物理プロセッサ・メモリ２１０１～２１０２及びＧＰＵメモリ２１２０～２１２３にアクセスするために使用される共通の仮想メモリ・アドレス空間を介してアドレス指定可能である統合メモリが使用される。この実装形態では、ＧＰＵ２１１０～２１１３で実行される動作は、プロセッサ・メモリ２１０１～２１０２にアクセスするのと同じ仮想／実効メモリ・アドレス空間を利用し、且つその逆も同様であり、それによりプログラマビリティが簡単になる。一実施例では、仮想／実効アドレス空間の第１の部分はプロセッサ・メモリ２１０１に割り振られ、第２の部分は第２のプロセッサ・メモリ２１０２に割り振られ、第３の部分はＧＰＵメモリ２１２０に割り振られるというように続く。少なくとも一実施例では、仮想／実効メモリ空間全体（実効アドレス空間と呼ばれることもある）は、これによりプロセッサ・メモリ２１０１～２１０２及びＧＰＵメモリ２１２０～２１２３のそれぞれにわたって分配されて、仮想アドレスが物理メモリにマッピングされた状態で、いずれかのプロセッサ又はＧＰＵが、いずれかの物理メモリにアクセスできるようになる。
一実施例では、ＭＭＵ２１３９Ａ～２１３９Ｅのうちの１つ又は複数の中のバイアス／コヒーレンス管理回路２１９４Ａ～２１９４Ｅは、１つ又は複数のホスト・プロセッサ（たとえば、２１０５）のキャッシュとＧＰＵ２１１０～２１１３のキャッシュとの間でキャッシュ・コヒーレンスを確保し、バイアス技法を実装して、ある特定のタイプのデータが記憶されるべき物理メモリを示す。バイアス／コヒーレンス管理回路２１９４Ａ～２１９４Ｅの複数のインスタンスが図２１Ｆに示されるが、バイアス／コヒーレンス回路は、１つ又は複数のホスト・プロセッサ２１０５のＭＭＵ内に実装されてもよく、且つ／又はアクセラレータ統合回路２１３６内に実装されてもよい。
一実施例は、ＧＰＵ付きメモリ２１２０～２１２３をシステム・メモリの一部としてマッピングできるようにし、共有仮想メモリ（ＳＶＭ）技法を使用してアクセス可能にすることができるが、完全なシステム・キャッシュ・コヒーレンスに関連する性能の低下が生じることはない。少なくとも一実施例では、ＧＰＵ付きメモリ２１２０～２１２３が、面倒なキャッシュ・コヒーレンス・オーバーヘッドなく、システム・メモリとしてアクセス可能であることにより、ＧＰＵオフロードのための有益な動作環境が提供される。この構成によって、従来のＩ／Ｏ ＤＭＡデータ・コピーのオーバーヘッドがなくても、ホスト・プロセッサ２１０５ソフトウェアがオペランドを設定し、計算結果にアクセスすることが可能になる。こうした従来のコピーは、ドライバ・コール、割込み、及びメモリ・マップドＩ／Ｏ（ＭＭＩＯ）アクセスを必要とし、これらはすべて、単純なメモリ・アクセスより非効率的である。少なくとも一実施例では、キャッシュ・コヒーレンス・オーバーヘッドなしでＧＰＵ付きメモリ２１２０～２１２３にアクセスできることが、オフロードされた計算の実行時間に不可欠であり得る。たとえば、かなりのストリーミング書込みメモリ・トラフィックがある場合には、キャッシュ・コヒーレンス・オーバーヘッドは、ＧＰＵ２１１０～２１１３が見る有効な書込み帯域幅を大幅に低減することある。少なくとも一実施例では、オペランド設定の効率、結果へのアクセスの効率、及びＧＰＵ計算の効率は、ＧＰＵオフロードの有効性を判定する際に役立つことがある。
少なくとも一実施例では、ＧＰＵバイアス及びホスト・プロセッサ・バイアスの選択は、バイアス・トラッカー・データ構造によって決められる。たとえばバイアス・テーブルが使用されてもよく、このテーブルは、ＧＰＵ付きメモリ・ページ当たり１ビット又は２ビットを含むページ粒度構造であってもよい（すなわち、メモリ・ページの粒度で制御されてもよい）。少なくとも一実施例では、バイアス・テーブルは、（たとえば、バイアス・テーブルの頻繁に使用された／最近使用されたエントリをキャッシュするための）バイアス・キャッシュがＧＰＵ２１１０～２１１３にある状態又はない状態で、１つ又は複数のＧＰＵ付きメモリ２１２０～２１２３の奪われたメモリ範囲（ｓｔｏｌｅｎ ｍｅｍｏｒｙ ｒａｎｇｅ）において実装されてもよい。或いは、バイアス・テーブル全体が、ＧＰＵ内に維持されてもよい。
少なくとも一実施例では、ＧＰＵ付きメモリ２１２０～２１２３への各アクセスに関連付けられたバイアス・テーブルのエントリが、ＧＰＵメモリへの実際のアクセスより先にアクセスされて、以下の動作を生じさせる。第１に、ＧＰＵバイアス内での自らのページを見いだすＧＰＵ２１１０～２１１３からのローカル要求が、対応するＧＰＵメモリ２１２０～２１２３に直接転送される。ホスト・バイアスにおいて自らのページを見いだすＧＰＵからのローカル要求は、（たとえば、上述した高速リンクを介して）プロセッサ２１０５に転送される。一実施例では、要求されたページをホスト・プロセッサ・バイアスにおいて見いだすプロセッサ２１０５からの要求は、通常のメモリ読取りと同様に要求を完了させる。或いは、ＧＰＵバイアス化ページに向けられた要求は、ＧＰＵ２１１０～２１１３に転送されてもよい。少なくとも一実施例では、次いでＧＰＵは、現在ページを使用していない場合、ホスト・プロセッサ・バイアスにページを移行してもよい。少なくとも一実施例では、ページのバイアス状態は、ソフトウェア・ベースの機構、ハードウェア支援型ソフトウェア・ベースの機構のいずれかによって、又は限られた事例のセットについては、単にハードウェア・ベースの機構によって、変更することができる。
バイアス状態を変更するための１つの機構は、ＡＰＩコール（たとえば、ＯｐｅｎＣＬ）を利用し、このＡＰＩコールが、ＧＰＵのデバイス・ドライバをコールし、このデバイス・ドライバが、ＧＰＵにメッセージを送って（又はコマンド記述子をキューに加えて）、バイアス状態を変更し、一部の移行については、ホストにおいてキャッシュ・フラッシング動作を実行するよう、ＧＰＵを導く。少なくとも一実施例では、キャッシュ・フラッシング動作は、ホスト・プロセッサ２１０５のバイアスからＧＰＵバイアスへの移行のために使用されるが、反対向きの移行には使用されない。
一実施例では、キャッシュ・コヒーレンスは、ホスト・プロセッサ２１０５によってキャッシュできないＧＰＵバイアス化ページを一時的にレンダリングすることによって、維持される。これらのページにアクセスするために、プロセッサ２１０５は、ＧＰＵ２１１０からのアクセスを要求してもよく、ＧＰＵ２１１０は、すぐにアクセスを許可してもよく、又は許可しなくてもよい。したがって、プロセッサ２１０５とＧＰＵ２１１０との間の通信を低減するために、ＧＰＵバイアス化ページが、ＧＰＵによって要求されるが、ホスト・プロセッサ２１０５によっては要求されないようにすること、又はその逆にすることが有益である。
１つ又は複数の実施例を実行するために、ハードウェア構造体１３１５が使用される。ハードウェア構造体（ｘ）１３１５に関する詳細事項は、図１３Ａ及び／又は図１３Ｂと併せて本明細書に提供される。
図２２は、本明細書に記載の様々な実施例による、１つ又は複数のＩＰコアを使用して作製することができる例示的な集積回路及び関連グラフィックス・プロセッサを示す。図示してあるものに加えて、少なくとも一実施例では、追加のグラフィックス・プロセッサ／コア、周辺装置インターフェース・コントローラ、若しくは汎用プロセッサ・コアを含む他の論理及び回路が含まれてもよい。
図２２は、少なくとも一実施例による１つ又は複数のＩＰコアを使用して作製することができる例示的なシステム・オン・チップ集積回路２２００を示すブロック図である。少なくとも一実施例では、集積回路２２００は、１つ又は複数のアプリケーション・プロセッサ２２０５（たとえば、ＣＰＵ）、少なくとも１つのグラフィックス・プロセッサ２２１０を含み、さらに、画像プロセッサ２２１５及び／又はビデオ・プロセッサ２２２０を含んでもよく、これらのいずれもが、モジュール式ＩＰコアであってもよい。少なくとも一実施例では、集積回路２２００は、ＵＳＢコントローラ２２２５、ＵＡＲＴコントローラ２２３０、ＳＰＩ／ＳＤＩＯコントローラ２２３５、及びＩ．ｓｕｐ．２Ｓ／Ｉ．ｓｕｐ．２Ｃコントローラ２２４０を含む周辺装置又はバス論理を含む。少なくとも一実施例では、集積回路２２００は、ハイ・デフィニション・マルチメディア・インターフェース（ＨＤＭＩ：ｈｉｇｈ－ｄｅｆｉｎｉｔｉｏｎ ｍｕｌｔｉｍｅｄｉａ ｉｎｔｅｒｆａｃｅ（登録商標））コントローラ２２５０及びモバイル・インダストリ・プロセッサ・インターフェース（ＭＩＰＩ）ディスプレイ・インターフェース２２５５のうちの１つ又は複数に結合されるディスプレイ・デバイス２２４５を含むことができる。少なくとも一実施例では、フラッシュ・メモリ及びフラッシュ・メモリ・コントローラを含むフラッシュ・メモリ・サブシステム２２６０によって、ストレージが提供されてもよい。少なくとも一実施例では、ＳＤＲＡＭ又はＳＲＡＭメモリ・デバイスにアクセスするために、メモリ・コントローラ２２６５を介してメモリ・インターフェースが提供されてもよい。少なくとも一実施例では、いくつかの集積回路はさらに、組み込みセキュリティ・エンジン２２７０を含む。
１つ若しくは複数の実施例に関連する推論及び／又は訓練の動作を実行するために、推論及び／又は訓練論理１３１５が使用される。推論及び／又は訓練論理１３１５に関する詳細事項は、図１３Ａ及び／又は図１３Ｂと併せて本明細書に提供される。少なくとも一実施例では、推論及び／又は訓練論理１３１５は、本明細書に記載のニューラル・ネットワークの訓練動作、ニューラル・ネットワークの機能及び／若しくはアーキテクチャ、又はニューラル・ネットワークのユース・ケースを使用して計算された重みパラメータに少なくとも部分的に基づき、推論又は予測の動作のために集積回路２２００において使用されてもよい。
上述した技法は、たとえば、人間とロボットとの間で物体の交換を実行するためのシステムを実装するために使用されてもよい。いくつかの実例は、上述したように人間の手によって保持される物体の把持を生成するように訓練されたニューラル・ネットワークを作製するために、推論及び／又は訓練論理を使用する。
図２３Ａ～図２３Ｂは、本明細書に記載の様々実施例による、１つ又は複数のＩＰコアを使用して作製することができる例示的な集積回路及び関連グラフィックス・プロセッサを示す。図示してあるものに加えて、少なくとも一実施例では、追加のグラフィックス・プロセッサ／コア、周辺装置インターフェース・コントローラ、又は汎用プロセッサ・コアを含む他の論理及び回路が含まれてもよい。
図２３Ａ～図２３Ｂは、本明細書に記載の実施例によるＳｏＣ内で使用するための例示的なグラフィックス・プロセッサを示すブロック図である。図２３Ａは、少なくとも一実施例による１つ又は複数のＩＰコアを使用して作製することができるシステム・オン・チップ集積回路の例示的なグラフィックス・プロセッサ２３１０を示す。図２３Ｂは、少なくとも一実施例による１つ又は複数のＩＰコアを使用して作製することができるシステム・オン・チップ集積回路のさらなる例示的なグラフィックス・プロセッサ２３４０を示す。少なくとも一実施例では、図２３Ａのグラフィックス・プロセッサ２３１０は、低電力グラフィックス・プロセッサ・コアである。少なくとも一実施例では、図２３Ｂのグラフィックス・プロセッサ２３４０は、高性能グラフィックス・プロセッサ・コアである。少なくとも一実施例では、グラフィックス・プロセッサ２３１０、２３４０のそれぞれは、図２２のグラフィックス・プロセッサ２２１０の変形形態とすることができる。
少なくとも一実施例では、グラフィックス・プロセッサ２３１０は、頂点プロセッサ２３０５と、１つ又は複数のフラグメント・プロセッサ２３１５Ａ～２３１５Ｎ（たとえば、２３１５Ａ、２３１５Ｂ、２３１５Ｃ、２３１５Ｄ～２３１５Ｎ－１、及び２３１５Ｎ）とを含む。少なくとも一実施例では、グラフィックス・プロセッサ２３１０は、別個の論理を介して異なるシェーダ・プログラムを実行することができ、それにより、頂点プロセッサ２３０５は、頂点シェーダ・プログラムのための動作を実行するように最適化され、一方、１つ又は複数のフラグメント・プロセッサ２３１５Ａ～２３１５Ｎは、フラグメント又はピクセルのシェーダ・プログラムのためのフラグメント（たとえば、ピクセル）シェーディング動作を実行する。少なくとも一実施例では、頂点プロセッサ２３０５は、３Ｄグラフィックス・パイプラインの頂点処理ステージを実行し、プリミティブ及び頂点データを生成する。少なくとも一実施例では、フラグメント・プロセッサ２３１５Ａ～２３１５Ｎは、頂点プロセッサ２３０５によって生成されたプリミティブ及び頂点データを使用して、ディスプレイ・デバイスに表示されるフレーム・バッファを生成する。少なくとも一実施例では、フラグメント・プロセッサ２３１５Ａ～２３１５Ｎは、ＯｐｅｎＧＬのＡＰＩにおいて提供されるフラグメント・シェーダ・プログラムを実行するように最適化され、ＯｐｅｎＧＬのＡＰＩは、Ｄｉｒｅｃｔ ３Ｄ ＡＰＩにおいて提供されるピクセル・シェーダ・プログラムと同様の動作を実行するために使用されてもよい。
少なくとも一実施例では、グラフィックス・プロセッサ２３１０はさらに、１つ又は複数のメモリ管理ユニット（ＭＭＵ）２３２０Ａ～２３２０Ｂ、キャッシュ２３２５Ａ～２３２５Ｂ、及び回路相互接続２３３０Ａ～２３３０Ｂを含む。少なくとも一実施例では、１つ又は複数のＭＭＵ２３２０Ａ～２３２０Ｂは、頂点プロセッサ２３０５及び／又はフラグメント・プロセッサ２３１５Ａ～２３１５Ｎを含め、グラフィックス・プロセッサ２３１０のための仮想から物理のアドレス・マッピングを提供し、それらは、１つ又は複数のキャッシュ２３２５Ａ～２３２５Ｂに記憶された頂点又は画像／テクスチャのデータに加えて、メモリに記憶された頂点又は画像／テキストのデータを参照してもよい。少なくとも一実施例では、１つ又は複数のＭＭＵ２３２０Ａ～２３２０Ｂは、図２２の１つ若しくは複数のアプリケーション・プロセッサ２２０５、画像プロセッサ２２１５、及び／又はビデオ・プロセッサ２２２０に関連付けられた１つ若しくは複数のＭＭＵを含む、システム内の他のＭＭＵと同期されてもよく、それにより各プロセッサ２２０５～２２２０は、共有の又は統合された仮想メモリ・システムに参加することができる。少なくとも一実施例では、１つ又は複数の回路相互接続２３３０Ａ～２３３０Ｂは、グラフィックス・プロセッサ２３１０が、ＳｏＣの内部バスを介して、又は直接接続を介して、ＳｏＣ内の他のＩＰコアとインターフェースをとることができるようにする。
少なくとも一実施例では、グラフィックス・プロセッサ２３４０は、図２３Ａのグラフィックス・プロセッサ２３１０の１つ又は複数のＭＭＵ２３２０Ａ～２３２０Ｂ、キャッシュ２３２５Ａ～２３２５Ｂ、及び回路相互接続２３３０Ａ～２３３０Ｂを含む。少なくとも一実施例では、グラフィックス・プロセッサ２３４０は、１つ又は複数のシェーダ・コア２３５５Ａ～２３５５Ｎ（たとえば、２３５５Ａ、２３５５Ｂ、２３５５Ｃ、２３５５Ｄ、２３５５Ｅ、２３５５Ｆ～２３５５Ｎ－１、及び２３５５Ｎ）を含み、このシェーダ・コアは、単一のコア、又はタイプ、又はコアが、頂点シェーダ、フラグメント・シェーダ、及び／又はコンピュート・シェーダを実装するためのシェーダ・プログラム・コードを含むすべてのタイプのプログラム可能なシェーダ・コードを実行することができる統合されたシェーダ・コア・アーキテクチャを提供する。少なくとも一実施例では、シェーダ・コアの数は変えることができる。少なくとも一実施例では、グラフィックス・プロセッサ２３４０は、１つ又は複数のシェーダ・コア２３５５Ａ～２３５５Ｎに実行スレッドをディスパッチするためのスレッド・ディスパッチャとして作用するコア間タスク・マネージャ２３４５と、たとえばシーン内のローカル空間コヒーレンスを利用するため、又は内部キャッシュの使用を最適化するために、シーンのレンダリング動作が画像空間において細分化される、タイル・ベースのレンダリングのためのタイリング動作を加速するためのタイリング・ユニット２３５８とを含む。
１つ若しくは複数の実施例に関連する推論及び／又は訓練の動作を実行するために、推論及び／又は訓練論理１３１５が使用される。推論及び／又は訓練論理１３１５に関する詳細事項は、図１３Ａ及び／又は図１３Ｂと併せて本明細書に提供される。少なくとも一実施例では、推論及び／又は訓練論理１３１５は、本明細書に記載のニューラル・ネットワークの訓練動作、ニューラル・ネットワークの機能及び／若しくはアーキテクチャ、又はニューラル・ネットワークのユース・ケースを使用して計算された重みパラメータに少なくとも部分的に基づき、推論又は予測の動作のために集積回路２３Ａ及び／又は２３Ｂにおいて使用されてもよい。
上述した技法は、たとえば、人間とロボットの間で物体の交換を実行するためのシステムを実装するために使用されてもよい。いくつかの実例は、上述したように人間の手によって保持される物体の把持を生成するように訓練されたニューラル・ネットワークを作製するために、推論及び／又は訓練論理を使用する。
図２４Ａ～図２４Ｂは、本明細書に記載の実施例による、さらなる例示的なグラフィックス・プロセッサ論理を示す。図２４Ａは、グラフィックス・コア２４００を示し、このグラフィックス・コア２４００は、少なくとも一実施例では図２２のグラフィックス・プロセッサ２２１０に含められてもよく、少なくとも一実施例では図２３Ｂのように、統合されたシェーダ・コア２３５５Ａ～２３５５Ｎであってもよい。図２４Ｂは、少なくとも一実施例におけるマルチ・チップ・モジュールに導入するのに適した高並列の汎用グラフィックス・プロセッシング・ユニット２４３０を示す。
少なくとも一実施例では、グラフィックス・コア２４００は、共有命令キャッシュ２４０２、テクスチャ・ユニット２４１８、及びキャッシュ／共有メモリ２４２０を含み、これらは、グラフィックス・コア２４００内の実行リソースに共通である。少なくとも一実施例では、グラフィックス・コア２４００は、複数のスライス２４０１Ａ～２４０１Ｎ、又はコアごとのパーティションを含むことができ、グラフィックス・プロセッサは、グラフィックス・コア２４００の複数のインスタンスを含むことができる。スライス２４０１Ａ～２４０１Ｎは、ローカル命令キャッシュ２４０４Ａ～２４０４Ｎ、スレッド・スケジューラ２４０６Ａ～２４０６Ｎ、スレッド・ディスパッチャ２４０８Ａ～２４０８Ｎ、及びレジスタのセット２４１０Ａ～２４１０Ｎを含むサポート論理を含むことができる。少なくとも一実施例では、スライス２４０１Ａ～２４０１Ｎは、追加機能ユニット（ＡＦＵ２４１２Ａ～２４１２Ｎ）、浮動小数点ユニット（ＦＰＵ２４１４Ａ～２４１４Ｎ）、整数算術論理演算ユニット（ＡＬＵ２４１６～２４１６Ｎ）、アドレス計算ユニット（ＡＣＵ２４１３Ａ～２４１３Ｎ）、倍精度浮動小数点ユニット（ＤＰＦＰＵ２４１５Ａ～２４１５Ｎ）、及び行列処理ユニット（ＭＰＵ２４１７Ａ～２４１７Ｎ）のセットを含むことができる。
少なくとも一実施例では、ＦＰＵ２４１４Ａ～２４１４Ｎは、単精度（３２ビット）及び半精度（１６ビット）の浮動小数点演算を実行することができ、ＤＰＦＰＵ２４１５Ａ～２４１５Ｎは、倍精度（６４ビット）の浮動小数点演算を実行する。少なくとも一実施例では、ＡＬＵ２４１６Ａ～２４１６Ｎは、８ビット、１６ビット、及び３２ビットの精度で可変精度の整数演算を実行することができ、混合精度の演算ができるように構成されることが可能である。少なくとも一実施例では、ＭＰＵ２４１７Ａ～２４１７Ｎも、半精度浮動小数点及び８ビット整数演算を含む混合精度の行列演算ができるように構成されることが可能である。少なくとも一実施例では、ＭＰＵ２４１７Ａ～２４１７Ｎは、汎用行列－行列乗算（ＧＥＭＭ）の加速をサポートできるようにすることを含め、機械学習アプリケーション・フレームワークを加速するための様々な行列演算を実行することができる。少なくとも一実施例では、ＡＦＵ２４１２Ａ～２４１２Ｎは、三角関数演算（たとえば、サイン、コサインなど）を含む、浮動小数点ユニット又は整数ユニットにサポートされていない追加の論理演算を実行することができる。
１つ又は複数の実施例に関連する推論及び／又は訓練の動作を実行するために、推論及び／又は訓練論理１３１５が使用される。推論及び／又は訓練論理１３１５に関する詳細事項は、図１３Ａ及び／又は図１３Ｂと併せて本明細書に提供される。少なくとも一実施例では、推論及び／又は訓練論理１３１５は、本明細書に記載のニューラル・ネットワークの訓練動作、ニューラル・ネットワークの機能及び／若しくはアーキテクチャ、又はニューラル・ネットワークのユース・ケースを使用して計算された重みパラメータに少なくとも部分的に基づき、推論又は予測の動作のためにグラフィックス・コア２４００において使用されてもよい。
上述した技法は、たとえば、人間とロボットとの間で物体の交換を実行するためのシステムを実装するために使用されてもよい。いくつかの実例は、上述したように人間の手によって保持される物体の把持を生成するように訓練されたニューラル・ネットワークを作製するために、推論及び／又は訓練論理を使用する。
図２４Ｂは、汎用処理ユニット（ＧＰＧＰＵ）２４３０を示し、この処理ユニットは、少なくとも一実施例において、グラフィックス・プロセッシング・ユニットのアレイによる高並列の計算動作を実行可能にするように構成されることが可能である。少なくとも一実施例では、ＧＰＧＰＵ２４３０は、ＧＰＧＰＵ２４３０の他のインスタンスに直接リンクされて、ディープ・ニューラル・ネットワークの訓練スピードを向上させるために複数のＧＰＵクラスタを生成することができる。少なくとも一実施例では、ＧＰＧＰＵ２４３０は、ホスト・プロセッサとの接続を可能にするためのホスト・インターフェース２４３２を含む。少なくとも一実施例では、ホスト・インターフェース２４３２は、ＰＣＩエクスプレス・インターフェースである。少なくとも一実施例では、ホスト・インターフェース２４３２は、ベンダー固有の通信インターフェース又は通信ファブリックとすることができる。少なくとも一実施例では、ＧＰＧＰＵ２４３０は、ホスト・プロセッサからコマンドを受け取り、グローバル・スケジューラ２４３４を使用して、これらのコマンドに関連付けられた実行スレッドを、コンピュート・クラスタ２４３６Ａ～２４３６Ｈのセットに分配する。少なくとも一実施例では、コンピュート・クラスタ２４３６Ａ～２４３６Ｈは、キャッシュ・メモリ２４３８を共有する。少なくとも一実施例では、キャッシュ・メモリ２４３８は、コンピュート・クラスタ２４３６Ａ～２４３６Ｈ内のキャッシュ・メモリ用の高レベル・キャッシュとして作用することができる。
少なくとも一実施例では、ＧＰＧＰＵ２４３０は、メモリ・コントローラ２４４２Ａ～２４４２Ｂのセットを介して、コンピュート・クラスタ２４３６Ａ～２４３６Ｈに結合されたメモリ２４４４Ａ～２４４４Ｂを含む。少なくとも一実施例では、メモリ２４４４Ａ～２４４４Ｂは、グラフィックス・ダブル・データ・レート（ＧＤＤＲ：ｇｒａｐｈｉｃｓ ｄｏｕｂｌｅ ｄａｔａ ｒａｔｅ）メモリを含む同期グラフィックス・ランダム・アクセス・メモリ（ＳＧＲＡＭ）など、ダイナミック・ランダム・アクセス・メモリ（ＤＲＡＭ）又はグラフィックス・ランダム・アクセス・メモリを含む、様々なタイプのメモリ・デバイスを含むことができる。
少なくとも一実施例では、コンピュート・クラスタ２４３６Ａ～２４３６Ｈはそれぞれ、図２４Ａのグラフィックス・コア２４００などのグラフィックス・コアのセットを含み、このグラフィックス・コアのセットは、機械学習計算に適したものを含め、様々な精度で計算動作を実行することができる複数のタイプの整数及び浮動小数点の論理ユニットを含むことができる。たとえば、少なくとも一実施例では、コンピュート・クラスタ２４３６Ａ～２４３６Ｈのそれぞれにおける浮動小数点ユニットの少なくともサブセットは、１６ビット又は３２ビットの浮動小数点演算を実行するように構成されることが可能であり、一方、浮動小数点ユニットの別のサブセットは、６４ビットの浮動小数点演算を実行するように構成されることが可能である。
少なくとも一実施例では、ＧＰＧＰＵ２４３０の複数のインスタンスは、コンピュート・クラスタとして動作するように構成されることが可能である。少なくとも一実施例では、コンピュート・クラスタ２４３６Ａ～２４３６Ｈにより同期及びデータ交換のために使用される通信は、実施例にわたって異なる。少なくとも一実施例では、ＧＰＧＰＵ２４３０の複数のインスタンスは、ホスト・インターフェース２４３２を介して通信する。少なくとも一実施例では、ＧＰＧＰＵ２４３０は、Ｉ／Ｏハブ２４３９を含み、このハブは、ＧＰＧＰＵ２４３０の他のインスタンスへの直接接続を可能にするＧＰＵリンク２４４０に、ＧＰＧＰＵ２４３０を結合する。少なくとも一実施例では、ＧＰＵリンク２４４０は、ＧＰＧＰＵ２４３０の複数のインスタンス間での通信及び同期を可能にするＧＰＵからＧＰＵへの専用のブリッジに結合される。少なくとも一実施例では、ＧＰＵリンク２４４０は、他のＧＰＧＰＵ又は並列プロセッサにデータを送受信するための高速相互接続に結合される。少なくとも一実施例では、ＧＰＧＰＵ２４３０の複数のインスタンスは、別々のデータ処理システムに位置付けられ、ホスト・インターフェース２４３２を介してアクセス可能なネットワーク・デバイスを介して通信する。少なくとも一実施例では、ＧＰＵリンク２４４０は、ホスト・インターフェース２４３２に加えて、又はその代わりに、ホスト・プロセッサへの接続を可能にするように構成することができる。
少なくとも一実施例では、ＧＰＧＰＵ２４３０は、ニューラル・ネットワークを訓練するように構成されることが可能である。少なくとも一実施例では、ＧＰＧＰＵ２４３０は、推論プラットフォーム内で使用することができる。ＧＰＧＰＵ２４３０が推論のために使用される少なくとも一実施例では、ＧＰＧＰＵは、ＧＰＧＰＵがニューラル・ネットワークの訓練に使用されるときよりも少数のコンピュート・クラスタ２４３６Ａ～２４３６Ｈを含んでもよい。少なくとも一実施例では、メモリ２４４４Ａ～２４４４Ｂに関連するメモリ技術は、推論の構成と訓練の構成とで異なってもよく、高帯域幅のメモリ技術が、訓練構成に当てられる。少なくとも一実施例では、ＧＰＧＰＵ２４３０の推論構成は、推論固有の命令をサポートすることができる。たとえば、少なくとも一実施例では、推論構成は、１つ又は複数の８ビットの整数のドット積命令をサポートすることができ、これは、導入済みニューラル・ネットワークの推論動作中に使用されてもよい。
１つ若しくは複数の実施例に関連する推論及び／又は訓練の動作を実行するために、推論及び／又は訓練論理１３１５が使用される。推論及び／又は訓練論理１３１５に関する詳細事項は、図１３Ａ及び／又は図１３Ｂと併せて本明細書に提供される。少なくとも一実施例では、推論及び／又は訓練論理１３１５は、本明細書に記載のニューラル・ネットワークの訓練動作、ニューラル・ネットワークの機能及び／若しくはアーキテクチャ、又はニューラル・ネットワークのユース・ケースを使用して計算された重みパラメータに少なくとも部分的に基づき、推論又は予測の動作のためにＧＰＧＰＵ２４３０において使用されてもよい。
上述した技法は、たとえば、人間とロボットとの間で物体の交換を実行するためのシステムを実装するために使用されてもよい。いくつかの実例は、上述したように人間の手によって保持される物体の把持を生成するように訓練されたニューラル・ネットワークを作製するために、推論及び／又は訓練論理を使用する。
図２５は、少なくとも一実施例によるコンピューティング・システム２５００を示すブロック図である。少なくとも一実施例では、コンピューティング・システム２５００は、メモリ・ハブ２５０５を含んでもよい相互接続経路を介して通信する１つ又は複数のプロセッサ２５０２とシステム・メモリ２５０４とを有する処理サブシステム２５０１を含む。少なくとも一実施例では、メモリ・ハブ２５０５は、チップセット構成要素内の別個の構成要素であってもよく、又は１つ若しくは複数のプロセッサ２５０２内に一体化されていてもよい。少なくとも一実施例では、メモリ・ハブ２５０５は、通信リンク２５０６を介してＩ／Ｏサブシステム２５１１に結合される。少なくとも一実施例では、Ｉ／Ｏサブシステム２５１１は、コンピューティング・システム２５００が１つ又は複数の入力デバイス２５０８からの入力を受け取れるようにすることができるＩ／Ｏハブ２５０７を含む。少なくとも一実施例では、Ｉ／Ｏハブ２５０７は、ディスプレイ・コントローラを有効にすることができ、このディスプレイ・コントローラは、１つ又は複数のプロセッサ２５０２に含まれて、１つ又は複数のディスプレイ・デバイス２５１０Ａに出力を提供してもよい。少なくとも一実施例では、Ｉ／Ｏハブ２５０７に結合された１つ又は複数のディスプレイ・デバイス２５１０Ａは、ローカルの、内部の、又は組み込まれたディスプレイ・デバイスを含むことができる。
少なくとも一実施例では、処理サブシステム２５０１は、バス又は他の通信リンク２５１３を介してメモリ・ハブ２５０５に結合された１つ又は複数の並列プロセッサ２５１２を含む。少なくとも一実施例では、通信リンク２５１３は、ＰＣＩエクスプレスなどであるがこれに限定されない任意の数の規格に基づく通信リンク技術若しくはプロトコルのうちの１つであってもよく、又はベンダー固有の通信インターフェース若しくは通信ファブリックであってもよい。少なくとも一実施例では、１つ又は複数の並列プロセッサ２５１２は、メニー・インテグレーテッド・コア（ＭＩＣ：ｍａｎｙ ｉｎｔｅｇｒａｔｅｄ ｃｏｒｅ）プロセッサなど、多数の処理コア及び／又は処理クラスタを含むことのできる、計算に集中した並列又はベクトルの処理システムを形成する。少なくとも一実施例では、１つ又は複数の並列プロセッサ２５１２は、グラフィックス処理サブシステムを形成し、このサブシステムは、Ｉ／Ｏハブ２５０７を介して結合された１つ又は複数のディスプレイ・デバイス２５１０Ａのうちの１つに、ピクセルを出力することができる。少なくとも一実施例では、１つ又は複数の並列プロセッサ２５１２はまた、１つ又は複数のディスプレイ・デバイス２５１０Ｂへの直接接続を可能にするディスプレイ・コントローラ及びディスプレイ・インターフェース（図示せず）を含むことができる。
少なくとも一実施例では、システム・ストレージ・ユニット２５１４は、Ｉ／Ｏハブ２５０７に接続されて、コンピューティング・システム２５００のためのストレージ機構を提供することができる。少なくとも一実施例では、Ｉ／Ｏスイッチ２５１６を使用して、Ｉ／Ｏハブ２５０７と、プラットフォームに一体化されてもよいネットワーク・アダプタ２５１８及び／又はワイヤレス・ネットワーク・アダプタ２５１９などの他の構成要素、並びに１つ又は複数のアドイン・デバイス２５２０を介して加えることができる様々な他のデバイスとの通信を可能にするためのインターフェース機構を提供することができる。少なくとも一実施例では、ネットワーク・アダプタ２５１８は、イーサネット（登録商標）・アダプタ、又は別の有線ネットワーク・アダプタとすることができる。少なくとも一実施例では、ワイヤレス・ネットワーク・アダプタ２５１９は、Ｗｉ－Ｆｉ、Ｂｌｕｅｔｏｏｔｈ、近距離無線通信（ＮＦＣ）、又は１つ若しくは複数のワイヤレス無線を含む他のネットワーク・デバイスのうちの１つ又は複数を含むことができる。
少なくとも一実施例では、コンピューティング・システム２５００は、ＵＳＢ又は他のポート接続、光学ストレージ・ドライブ、ビデオ捕捉デバイスなどを含む明示されていない他の構成要素を含むことができ、これらもＩ／Ｏハブ２５０７に接続されてもよい。少なくとも一実施例では、図２５の様々な構成要素を相互接続する通信経路が、ＰＣＩ（ペリフェラル・コンポーネント・インターコネクト）ベースのプロトコル（たとえば、ＰＣＩ－エクスプレス）などの任意の好適なプロトコル、又はＮＶ－Ｌｉｎｋ高速相互接続などの他のバス若しくはポイントツーポイント通信インターフェース、又は他の相互接続プロトコルを使用して、実装されてもよい。
少なくとも一実施例では、１つ又は複数の並列プロセッサ２５１２は、たとえばビデオ出力回路を含むグラフィックス及びビデオの処理に最適化された回路を組み込んでおり、グラフィックス・プロセッシング・ユニット（ＧＰＵ）を構成する。少なくとも一実施例では、１つ又は複数の並列プロセッサ２５１２は、汎用処理に最適化された回路を組み込んでいる。少なくとも実施例では、コンピューティング・システム２５００の構成要素は、単一の集積回路上の１つ又は複数の他のシステム要素と一体化されてもよい。たとえば、少なくとも一実施例では、１つ又は複数の並列プロセッサ２５１２、メモリ・ハブ２５０５、プロセッサ２５０２、及びＩ／Ｏハブ２５０７を、システム・オン・チップ（ＳｏＣ）集積回路に一体化することができる。少なくとも一実施例では、コンピューティング・システム２５００の構成要素は、単一のパッケージに一体化されて、システム・イン・パッケージ（ＳＩＰ：ｓｙｓｔｅｍ ｉｎ ｐａｃｋａｇｅ）構成を形成することができる。少なくとも一実施例では、コンピューティング・システム２５００の構成要素の少なくとも一部分を、マルチ・チップ・モジュール（ＭＣＭ：ｍｕｌｔｉ－ｃｈｉｐ ｍｏｄｕｌｅ）に一体化することができ、このモジュールを、他のマルチ・チップ・モジュールと相互接続して、モジュール式コンピューティング・システムにすることができる。
１つ若しくは複数の実施例に関連する推論及び／又は訓練の動作を実行するために、推論及び／又は訓練論理１３１５が使用される。推論及び／又は訓練論理１３１５に関する詳細事項は、図１３Ａ及び／又は図１３Ｂと併せて本明細書に提供される。少なくとも一実施例では、推論及び／又は訓練論理１３１５は、本明細書に記載のニューラル・ネットワークの訓練動作、ニューラル・ネットワークの機能及び／若しくはアーキテクチャ、又はニューラル・ネットワークのユース・ケースを使用して計算された重みパラメータに少なくとも部分的に基づき、推論又は予測の動作のために図２５００のシステムにおいて使用されてもよい。
上述した技法は、たとえば、人間とロボットとの間で物体の交換を実行するためのシステムを実装するために使用されてもよい。いくつかの実例は、上述したように人間の手によって保持される物体の把持を生成するように訓練されたニューラル・ネットワークを作製するために、推論及び／又は訓練論理を使用する。
プロセッサ
図２６Ａは、少なくとも一実施例による並列プロセッサ２６００を示す。少なくとも一実施例では、並列プロセッサ２６００の様々な構成要素は、プログラム可能なプロセッサ、特定用途向け集積回路（ＡＳＩＣ）、又はフィールド・プログラマブル・ゲート・アレイ（ＦＰＧＡ）などの１つ又は複数の集積回路デバイスを使用して実装されてもよい。少なくとも一実施例では、図示してある並列プロセッサ２６００は、例示的な実施例による図２５に示す１つ又は複数の並列プロセッサ２５１２の変形形態である。
少なくとも一実施例では、並列プロセッサ２６００は並列処理ユニット２６０２を含む。少なくとも一実施例では、並列処理ユニット２６０２は、並列処理ユニット２６０２の他のインスタンスを含む他のデバイスとの通信を可能にするＩ／Ｏユニット２６０４を含む。少なくとも一実施例では、Ｉ／Ｏユニット２６０４は、他のデバイスに直接接続されてもよい。少なくとも一実施例では、Ｉ／Ｏユニット２６０４は、メモリ・ハブ２５０５などのハブ又はスイッチ・インターフェースの使用を介して、他のデバイスと接続される。少なくとも一実施例では、メモリ・ハブ２５０５とＩ／Ｏユニット２６０４との間の接続は、通信リンク２５１３を形成する。少なくとも一実施例では、Ｉ／Ｏユニット２６０４は、ホスト・インターフェース２６０６及びメモリ・クロスバー２６１６に接続され、ここでホスト・インターフェース２６０６は、処理動作の実行を対象とするコマンドを受け取り、メモリ・クロスバー２６１６は、メモリ動作の実行を対象とするコマンドを受け取る。
少なくとも一実施例では、ホスト・インターフェース２６０６が、Ｉ／Ｏユニット２６０４を介してコマンド・バッファを受け取るとき、ホスト・インターフェース２６０６は、これらのコマンドを実行するためのワーク動作をフロント・エンド２６０８に向けることができる。少なくとも一実施例では、フロント・エンド２６０８はスケジューラ２６１０に結合され、このスケジューラは、コマンド又は他のワーク・アイテムを処理クラスタ・アレイ２６１２に分配するように構成される。少なくとも一実施例では、スケジューラ２６１０は、処理クラスタ・アレイ２６１２の処理クラスタ・アレイ２６１２にタスクが分配される前に、処理クラスタ・アレイ２６１２が適切に構成され、有効な状態にあることを確実にする。少なくとも一実施例では、スケジューラ２６１０は、マイクロコントローラで実行しているファームウェア論理を介して実装される。少なくとも一実施例では、マイクロコントローラ実装スケジューラ２６１０は、複雑なスケジューリング及びワーク分配動作を、粗い粒度と細かい粒度で実行するように構成可能であり、処理アレイ２６１２で実行しているスレッドの迅速なプリエンプション及びコンテキストのスイッチングを可能にする。少なくとも一実施例では、ホスト・ソフトウェアは、処理アレイ２６１２でのスケジューリングのワークロードを、複数のグラフィックス処理のドアベルのうちの１つを介して証明することができる。少なくとも一実施例では、次いで、スケジューラ２６１０を含むマイクロコントローラ内のスケジューラ２６１０論理によって、ワークロードを自動的に処理アレイ２６１２全体に分配することができる。
少なくとも一実施例では、処理クラスタ・アレイ２６１２は、最大「Ｎ個」の処理クラスタ（たとえば、クラスタ２６１４Ａ、クラスタ２６１４Ｂ～クラスタ２６１４Ｎ）を含むことができる。少なくとも一実施例では、処理クラスタ・アレイ２６１２の各クラスタ２６１４Ａ～２６１４Ｎは、大量の同時スレッドを実行することができる。少なくとも一実施例では、スケジューラ２６１０は、様々なスケジューリング及び／又はワーク分配のアルゴリズムを使用して、処理クラスタ・アレイ２６１２のクラスタ２６１４Ａ～２６１４Ｎにワークを配分することができ、これらのアルゴリズムは、プログラム又は計算のタイプごとに生じるワークロードに応じて、異なってもよい。少なくとも一実施例では、スケジューリングは、スケジューラ２６１０によって動的に対処されてもよく、又は処理クラスタ・アレイ２６１２によって実行されるように構成されたプログラム論理のコンパイル中に、コンパイラ論理によって部分的に支援されてもよい。少なくとも一実施例では、処理クラスタ・アレイ２６１２の異なるクラスタ２６１４Ａ～２６１４Ｎは、異なるタイプのプログラムを処理するように、又は異なるタイプの計算を実行するように配分されることが可能である。
少なくとも一実施例では、処理クラスタ・アレイ２６１２は、様々なタイプの並列処理動作を実行するように構成されることが可能である。少なくとも一実施例では、処理クラスタ・アレイ２６１２は、汎用の並列コンピュート動作を実行するように構成される。たとえば、少なくとも一実施例では、処理クラスタ・アレイ２６１２は、ビデオ及び／又はオーディオ・データのフィルタリング、物理動作を含むモデリング動作の実行、及びデータ変換の実行を含む処理タスクを実行するための論理を含むことができる。
少なくとも一実施例では、処理クラスタ・アレイ２６１２は、並列グラフィックス処理動作を実行するように構成される。少なくとも一実施例では、処理クラスタ・アレイ２６１２は、テクスチャ動作を実行するためのテクスチャ・サンプリング論理、並びにモザイク論理、及び他の頂点処理論理を含むがこれらに限定されないこうしたグラフィックス処理動作の実行をサポートするための追加の論理を含むことができる。少なくとも一実施例では、処理クラスタ・アレイ２６１２は、頂点シェーダ、モザイク・シェーダ、ジオメトリ・シェーダ、及びピクセル・シェーダなどであるが、これらに限定されないグラフィックス処理関連のシェーダ・プログラムを実行するように構成されることが可能である。少なくとも一実施例では、並列処理ユニット２６０２は、処理できるようにデータをシステム・メモリからＩ／Ｏユニット２６０４を介して転送することができる。少なくとも一実施例では、処理中、転送されたデータを、処理中にオン・チップ・メモリ（たとえば、並列プロセッサ・メモリ２６２２）に記憶し、次いでシステム・メモリに書き戻すことができる。
少なくとも一実施例では、並列処理ユニット２６０２を使用してグラフィックス処理が実行される場合には、処理クラスタ・アレイ２６１２の複数のクラスタ２６１４Ａ～２６１４Ｎにグラフィックス処理動作をよりうまく分配できるようにするため、処理ワークロードをおおよそ等しい大きさのタスクに分割するようにスケジューラ２６１０を構成することができる。少なくとも一実施例では、処理クラスタ・アレイ２６１２の一部分は、異なるタイプの処理を実行するように構成されることが可能である。たとえば、少なくとも一実施例では、レンダリング画像を生成して表示するために、第１の部分は、頂点シェーディング及びトポロジ生成を実行するように構成されてもよく、第２の部分は、モザイク及びジオメトリのシェーディングを実行するように構成されてもよく、第３の部分は、ピクセル・シェーディング又は他の画面空間動作を実行するように構成されてもよい。少なくとも一実施例では、クラスタ２６１４Ａ～２６１４Ｎのうちの１つ又は複数によって生成される中間データをバッファに記憶して、さらなる処理ができるようにクラスタ２６１４Ａ～２６１４Ｎの間で中間データを送信できるようにしてもよい。
少なくとも一実施例では、処理クラスタ・アレイ２６１２は、実行される処理タスクをスケジューラ２６１０を介して受け取ることができ、スケジューラ２６１０は、処理タスクを定義するコマンドをフロント・エンド２６０８から受け取る。少なくとも一実施例では、処理タスクは、処理されるデータのインデックス、たとえば、表面（パッチ）データ、プリミティブ・データ、頂点データ、及び／又はピクセル・データ、並びに状態パラメータ、及びデータをどのように処理すべきかを定義するコマンド（たとえば、どのプログラムを実行すべきか）を含むことができる。少なくとも一実施例では、スケジューラ２６１０は、タスクに対応するインデックスをフェッチするように構成されてもよく、又はフロント・エンド２６０８からインデックスを受け取ってもよい。少なくとも一実施例では、フロント・エンド２６０８は、入ってくるコマンド・バッファ（たとえば、バッチ・バッファ、プッシュ・バッファなど）によって指定されるワークロードが開始される前に、処理クラスタ・アレイ２６１２が有効な状態に構成されていることを保証するように構成されることが可能である。
少なくとも一実施例では、並列処理ユニット２６０２の１つ又は複数のインスタンスのそれぞれは、並列プロセッサ・メモリ２６２２と結合することができる。少なくとも一実施例では、並列プロセッサ・メモリ２６２２には、メモリ・クロスバー２６１６を介してアクセスすることができ、メモリ・クロスバー２６１６は、処理クラスタ・アレイ２６１２並びにＩ／Ｏユニット２６０４からメモリ要求を受け取ることができる。少なくとも一実施例では、メモリ・クロスバー２６１６は、メモリ・インターフェース２６１８を介して並列プロセッサ・メモリ２６２２にアクセスすることができる。少なくとも一実施例では、メモリ・インターフェース２６１８は、複数のパーティション・ユニット（たとえば、パーティション・ユニット２６２０Ａ、パーティション・ユニット２６２０Ｂ～パーティション・ユニット２６２０Ｎ）を含むことができ、これらのユニットはそれぞれ、並列プロセッサ・メモリ２６２２の一部分（たとえば、メモリ・ユニット）に結合することができる。少なくとも一実施例では、パーティション・ユニット２６２０Ａ～２６２０Ｎの数は、メモリ・ユニットの数と等しくなるように構成され、それにより、第１のパーティション・ユニット２６２０Ａは、対応する第１のメモリ・ユニット２６２４Ａを有し、第２のパーティション・ユニット２６２０Ｂは、対応するメモリ・ユニット２６２４Ｂを有し、Ｎ番目のパーティション・ユニット２６２０Ｎは、対応するＮ番目のメモリ・ユニット２６２４Ｎを有する。少なくとも一実施例では、パーティション・ユニット２６２０Ａ～２６２０Ｎの数は、メモリ・デバイスの数に等しくなくてもよい。
少なくとも一実施例では、メモリ・ユニット２６２４Ａ～２６２４Ｎは、グラフィックス・ダブル・データ・レート（ＧＤＤＲ）メモリを含む同期グラフィックス・ランダム・アクセス・メモリ（ＳＧＲＡＭ）など、ダイナミック・ランダム・アクセス・メモリ（ＤＲＡＭ）又はグラフィックス・ランダム・アクセス・メモリを含む、様々なタイプのメモリ・デバイスを含むことができる。少なくとも一実施例では、またメモリ・ユニット２６２４Ａ～２６２４Ｎはまた、高帯域幅メモリ（ＨＢＭ）を含むがこれに限定されない３Ｄ積層メモリを含んでもよい。少なくとも一実施例では、並列プロセッサ・メモリ２６２２の利用可能な帯域幅を効率的に使用するために、フレーム・バッファ又はテクスチャ・マップなどのレンダー・ターゲットが、メモリ・ユニット２６２４Ａ～２６２４Ｎにわたって記憶されて、パーティション・ユニット２６２０Ａ～２６２０Ｎが、各レンダー・ターゲットの部分を並列に書き込みできるようにしてもよい。少なくとも一実施例では、システム・メモリとローカル・キャッシュ・メモリを併用する統合メモリ設計に有利なように、並列プロセッサ・メモリ２６２２のローカル・インスタンスは除外されてもよい。
少なくとも一実施例では、処理クラスタ・アレイ２６１２のクラスタ２６１４Ａ～２６１４Ｎのうちのいずれか１つは、並列プロセッサ・メモリ２６２２内のメモリ・ユニット２６２４Ａ～２６２４Ｎのいずれかに書き込まれることになるデータを処理することができる。少なくとも一実施例では、メモリ・クロスバー２６１６は、各クラスタ２６１４Ａ～２６１４Ｎの出力を、出力に対してさらなる処理動作を実行することができる任意のパーティション・ユニット２６２０Ａ～２６２０Ｎ、又は別のクラスタ２６１４Ａ～２６１４Ｎに転送するように構成されることが可能である。少なくとも一実施例では、各クラスタ２６１４Ａ～２６１４Ｎは、メモリ・クロスバー２６１６を通ってメモリ・インターフェース２６１８と通信して、様々な外部メモリ・デバイスからの読取り、又はそれへの書込みを行うことができる。少なくとも一実施例では、メモリ・クロスバー２６１６は、Ｉ／Ｏユニット２６０４と通信するためのメモリ・インターフェース２６１８への接続部、並びに並列プロセッサ・メモリ２６２２のローカル・インスタンスへの接続部を有して、異なる処理クラスタ２６１４Ａ～２６１４Ｎ内の処理ユニットが、システム・メモリ、又は並列処理ユニット２６０２のローカルにない他のメモリと通信できるようにする。少なくとも一実施例では、メモリ・クロスバー２６１６は、仮想チャネルを使用して、クラスタ２６１４Ａ～２６１４Ｎと、パーティション・ユニット２６２０Ａ～２６２０Ｎとの間でトラフィック・ストリームを分離することができる。
少なくとも一実施例では、並列処理ユニット２６０２の複数のインスタンスは、単一のアドイン・カードに提供されてもよく、又は複数のアドイン・カードが相互接続されてもよい。少なくとも一実施例では、異なるインスタンスが異なる数の処理コア、異なる量のローカル並列プロセッサ・メモリ、及び／又は他の異なる構成を有する場合でも、並列処理ユニット２６０２の異なるインスタンスは相互動作するように構成されることが可能である。たとえば、少なくとも一実施例では、並列処理ユニット２６０２のいくつかインスタンスは、他のインスタンスに比べて高い精度の浮動小数点ユニットを含むことができる。少なくとも一実施例では、並列処理ユニット２６０２又は並列プロセッサ２６００のうちの１つ又は複数のインスタンスを組み込んだシステムは、デスクトップ、ラップトップ、若しくは携帯型のパーソナル・コンピュータ、サーバ、ワークステーション、ゲーム・コンソール、及び／又は組み込みシステムを含むが、これらに限定されない様々な構成及びフォーム・ファクタで実装することができる。
図２６Ｂは、少なくとも一実施例によるパーティション・ユニット２６２０のブロック図である。少なくとも一実施例では、パーティション・ユニット２６２０は、図２６Ａのパーティション・ユニット２６２０Ａ～２６２０Ｎのうちの１つのパーティション・ユニットのインスタンスである。少なくとも一実施例では、パーティション・ユニット２６２０は、Ｌ２キャッシュ２６２１、フレーム・バッファ・インターフェース２６２５、及びＲＯＰ：ｒａｓｔｅｒ ｏｐｅｒａｔｉｏｎｓ ｕｎｉｔ２６２６（ラスタ演算ユニット）を含む。Ｌ２キャッシュ２６２１は、メモリ・クロスバー２６１６及びＲＯＰ２６２６から受け取ったロード及びストアの動作を実行するように構成された読取り／書込みキャッシュである。少なくとも一実施例では、読取りミス及び至急の書戻し要求が、処理されるようにＬ２キャッシュ２６２１によってフレーム・バッファ・インターフェース２６２５に出力される。少なくとも一実施例では、更新も、処理されるようにフレーム・バッファ・インターフェース２６２５を介してフレームに送られる。少なくとも一実施例では、フレーム・バッファ・インターフェース２６２５は、図２６の（たとえば並列プロセッサ・メモリ２６２２内の）メモリ・ユニット２６２４Ａ～２６２４Ｎなど、並列プロセッサ・メモリのメモリ・ユニットのうちの１つとインターフェースをとる。
少なくとも一実施例では、ＲＯＰ２６２６は、ステンシル、ｚテスト、ブレンディングなどのラスタ演算を実行する処理ユニットである。少なくとも一実施例では、次いでＲＯＰ２６２６は、グラフィックス・メモリに記憶された処理済みグラフィックス・データを出力する。少なくとも一実施例では、ＲＯＰ２６２６は、メモリに書き込まれる深度又は色データを圧縮し、メモリから読み取られた深度又は色データを解凍するための圧縮論理を含む。少なくとも一実施例では、圧縮論理は、複数の圧縮アルゴリズムのうちの１つ又は複数を利用するロスレス圧縮論理とすることができる。ＲＯＰ２６２６によって実行される圧縮のタイプは、圧縮されるデータの統計的特徴に基づき変更することができる。たとえば、少なくとも一実施例では、深度及び色データに対してはタイルごとにデルタ色圧縮が実行される。
少なくとも一実施例では、ＲＯＰ２６２６は、パーティション・ユニット２６２０内ではなく、各処理クラスタ内（たとえば、図２６のクラスタ２６１４Ａ～２６１４Ｎ）に含まれる。少なくとも一実施例では、ピクセル・フラグメント・データではなく、ピクセル・データの読取り及び書込み要求が、メモリ・クロスバー２６１６を介して送信される。少なくとも一実施例では、処理済みグラフィックス・データは、図２５の１つ又は複数のディスプレイ・デバイス２５１０のうちの１つなどのディスプレイ・デバイスに表示されてもよく、プロセッサ２５０２によってさらに処理できるようにルーティングされてもよく、又は図２６Ａの並列プロセッサ２６００内の処理エンティティのうちの１つによってさらに処理できるようにルーティングされてもよい。
図２６Ｃは、少なくとも一実施例による並列処理ユニット内の処理クラスタ２６１４のブロック図である。少なくとも一実施例では、処理クラスタは、図２６の処理クラスタ２６１４Ａ～２６１４Ｎのうちの１つの処理クラスタのインスタンスである。少なくとも一実施例では、処理クラスタ２６１４は、多数のスレッドを並列で実行するように構成されてもよく、ここで用語「スレッド」とは、入力データの特定のセットに対して実行している特定のプログラムのインスタンスを指す。少なくとも一実施例では、複数の独立した命令ユニットを提供することなく、多数のスレッドの並列実行をサポートするために、単一命令複数データ（ＳＩＭＤ）の命令発行技法が使用される。少なくとも一実施例では、それぞれの処理クラスタ内の処理エンジンのセットに命令を発行するように構成された共通の命令ユニットを使用して、全体的に同期された多数のスレッドの並列実行をサポートするために、単一命令複数スレッド（ＳＩＭＴ：ｓｉｎｇｌｅ－ｉｎｓｔｒｕｃｔｉｏｎ， ｍｕｌｔｉｐｌｅ－ｔｈｒｅａｄ）の技法が使用される。
少なくとも一実施例では、処理クラスタ２６１４の動作は、ＳＩＭＴ並列プロセッサに処理タスクを分配するパイプライン・マネージャ２６３２を介して制御することができる。少なくとも一実施例では、パイプライン・マネージャ２６３２は、図２６のスケジューラ２６１０から命令を受け取り、グラフィックス・マルチプロセッサ２６３４及び／又はテクスチャ・ユニット２６３６を介してこれらの命令の実行を管理する。少なくとも一実施例では、グラフィックス・マルチプロセッサ２６３４は、ＳＩＭＴ並列プロセッサの例示的なインスタンスである。しかし、少なくとも一実施例では、アーキテクチャの異なる様々なタイプのＳＩＭＴ並列プロセッサが、処理クラスタ２６１４内に含まれてもよい。少なくとも一実施例では、グラフィックス・マルチプロセッサ２６３４の１つ又は複数のインスタンスは、処理クラスタ２６１４内に含めることができる。少なくとも一実施例では、グラフィックス・マルチプロセッサ２６３４はデータを処理することができ、処理済みデータを、他のシェーダ・ユニットを含む複数の可能な宛先のうちの１つに分配するためにデータ・クロスバー２６４０が使用されてもよい。少なくとも一実施例では、パイプライン・マネージャ２６３２は、データ・クロスバー２６４０を通して分配されることになる処理済みデータの宛先を指定することによって、処理済みデータの分配を容易にすることができる。
少なくとも一実施例では、処理クラスタ２６１４内の各グラフィックス・マルチプロセッサ２６３４は、関数実行論理（たとえば、算術論理演算ユニット、ロード・ストア・ユニットなど）の同一のセットを含むことができる。少なくとも一実施例では、関数実行論理は、前の命令が完了する前に新規の命令を発行することができるパイプライン式に構成されることが可能である。少なくとも一実施例では、関数実行論理は、整数及び浮動小数点の算術、比較演算、ブール演算、ビット・シフト、及び様々な代数関数の計算を含む様々な演算をサポートする。少なくとも一実施例では、同じ関数ユニットのハードウェアを活用して、異なる演算を実行することができ、関数ユニットの任意の組合せが存在してもよい。
少なくとも一実施例では、処理クラスタ２６１４に送信される命令がスレッドを構成する。少なくとも一実施例では、並列処理エンジンのセットにわたって実行されているスレッドのセットが、スレッド・グループである。少なくとも一実施例では、スレッド・グループは、異なる入力データに対してプログラムを実行する。少なくとも一実施例では、スレッド・グループ内の各スレッドを、グラフィックス・マルチプロセッサ２６３４内の異なる処理エンジンに割り当てることができる。少なくとも一実施例では、スレッド・グループは、グラフィックス・マルチプロセッサ２６３４内の処理エンジンの数よりも少ないスレッドを含んでもよい。少なくとも一実施例では、スレッド・グループが処理エンジンの数よりも少ないスレッドを含む場合、処理エンジンのうちの１つ又は複数は、そのスレッド・グループが処理されているサイクル中にはアイドルであってもよい。少なくとも一実施例では、スレッド・グループはまた、グラフィックス・マルチプロセッサ２６３４内の処理エンジンの数よりも多いスレッドを含んでもよい。少なくとも一実施例では、スレッド・グループがグラフィックス・マルチプロセッサ２６３４内の処理エンジンの数より多くのスレッドを含む場合には、連続したクロック・サイクルにわたって処理を実行することができる。少なくとも一実施例では、複数のスレッド・グループを、グラフィックス・マルチプロセッサ２６３４上で同時に実行することができる。
少なくとも一実施例では、グラフィックス・マルチプロセッサ２６３４は、ロード及びストアの動作を実行するための内部キャッシュ・メモリを含む。少なくとも一実施例では、グラフィックス・マルチプロセッサ２６３４は、内部キャッシュをやめて、処理クラスタ２６１４内のキャッシュ・メモリ（たとえば、Ｌ１キャッシュ２６４８）を使用することができる。少なくとも一実施例では、各グラフィックス・マルチプロセッサ２６３４は、パーティション・ユニット（たとえば、図２６のパーティション・ユニット２６２０Ａ～２６２０Ｎ）内のＬ２キャッシュにもアクセスすることができ、これらのキャッシュが、すべての処理クラスタ２６１４間で共有され、スレッド間でデータを転送するために使用されてもよい。少なくとも一実施例では、グラフィックス・マルチプロセッサ２６３４は、オフ・チップのグローバル・メモリにもアクセスすることができ、このメモリは、ローカル並列プロセッサ・メモリ及び／又はシステム・メモリのうちの１つ又は複数を含むことができる。少なくとも一実施例では、並列処理ユニット２６０２の外部にある任意のメモリが、グローバル・メモリとして使用されてもよい。少なくとも一実施例では、処理クラスタ２６１４は、共通の命令及びデータを共有することができるグラフィックス・マルチプロセッサ２６３４の複数のインスタンスを含み、これらはＬ１キャッシュ２６４８に記憶されてもよい。
少なくとも一実施例では、各処理クラスタ２６１４は、仮想アドレスを物理アドレスにマッピングするように構成されたＭＭＵ２６４５（メモリ管理ユニット）を含んでもよい。少なくとも一実施例では、ＭＭＵ２６４５の１つ又は複数のインスタンスは、図２６のメモリ・インターフェース２６１８内にあってもよい。少なくとも一実施例では、ＭＭＵ２６４５は、仮想アドレスを、タイル（タイリングについては詳述する）及び任意選択でキャッシュ・ライン・インデックスの物理アドレスにマッピングするために使用されるページ・テーブル・エントリ（ＰＴＥ）のセットを含む。少なくとも一実施例では、ＭＭＵ２６４５は、アドレスのトランスレーション・ルックアサイド・バッファ（ＴＬＢ：ｔｒａｎｓｌａｔｉｏｎ ｌｏｏｋａｓｉｄｅ ｂｕｆｆｅｒ）又はキャッシュを含んでもよく、これらは、グラフィックス・マルチプロセッサ２６３４若しくはＬ１キャッシュ、又は処理クラスタ２６１４内にあってもよい。少なくとも一実施例では、表面データ・アクセスをローカルに分散するように物理アドレスを処理して、パーティション・ユニット間で要求の効率的なインターリーブが可能になる。少なくとも一実施例では、キャッシュ・ライン・インデックスを使用して、キャッシュ・ラインの要求がヒットかミスかが判定されてもよい。
少なくとも一実施例では、各グラフィックス・マルチプロセッサ２６３４がテクスチャ・ユニット２６３６に結合されて、テクスチャ・マッピング動作、たとえば、テクスチャ・サンプル位置の判定、テクスチャ・データの読取り、及びテクスチャ・データのフィルタリングが実行されるように、処理クラスタ２６１４が構成されてもよい。少なくとも一実施例では、テクスチャ・データは、内部テクスチャＬ１キャッシュ（図示せず）から、又はグラフィックス・マルチプロセッサ２６３４内のＬ１キャッシュから読み取られ、必要に応じて、Ｌ２キャッシュ、ローカル並列プロセッサ・メモリ、又はシステム・メモリからフェッチされる。少なくとも一実施例では、各グラフィックス・マルチプロセッサ２６３４は、処理済みタスクをデータ・クロスバー２６４０に出力して、さらなる処理ができるように別の処理クラスタ２６１４に処理済みタスクを提供し、又はメモリ・クロスバー２６１６を介して、Ｌ２キャッシュ、ローカル並列プロセッサ・メモリ、又はシステム・メモリに処理済みタスクを記憶する。少なくとも一実施例では、プレＲＯＰ２６４２（プレ・ラスタ演算ユニット）は、グラフィックス・マルチプロセッサ２６３４からデータを受け取り、ＲＯＰユニットにデータを仕向けるように構成されており、ＲＯＰユニットは、本明細書に記載のするように、パーティション・ユニット（たとえば、図２６のパーティション・ユニット２６２０Ａ～２６２０Ｎ）内に位置付けられてもよい。少なくとも一実施例では、プレＲＯＰ２６４２ユニットは、色ブレンディングの最適化を実行し、ピクセル色データを組織化し、アドレス・トランスレーションを実行することができる。
１つ若しくは複数の実施例に関連する推論及び／又は訓練の動作を実行するために、推論及び／又は訓練論理１３１５が使用される。推論及び／又は訓練論理１３１５に関する詳細事項は、図１３Ａ及び／又は図１３Ｂと併せて本明細書に提供される。少なくとも一実施例では、推論及び／又は訓練論理１３１５は、本明細書に記載のニューラル・ネットワークの訓練動作、ニューラル・ネットワークの機能及び／若しくはアーキテクチャ、又はニューラル・ネットワークのユース・ケースを使用して計算された重みパラメータに少なくとも部分的に基づき、推論又は予測の動作のためにグラフィックス処理クラスタ２６１４において使用されてもよい。
上述した技法は、たとえば、人間とロボットとの間で物体の交換を実行するためのシステムを実装するために使用されてもよい。いくつかの実例は、上述したように人間の手によって保持される物体の把持を生成するように訓練されたニューラル・ネットワークを作製するために、推論及び／又は訓練論理を使用する。
図２６Ｄは、少なくとも一実施例によるグラフィックス・マルチプロセッサ２６３４を示す。少なくとも一実施例では、グラフィックス・マルチプロセッサ２６３４は、処理クラスタ２６１４のパイプライン・マネージャ２６３２と結合する。少なくとも一実施例では、グラフィックス・マルチプロセッサ２６３４は、命令キャッシュ２６５２、命令ユニット２６５４、アドレス・マッピング・ユニット２６５６、レジスタ・ファイル２６５８、１つ又は複数の汎用グラフィックス・プロセッシング・ユニット（ＧＰＧＰＵ）コア２６６２、及び１つ又は複数のロード／ストア・ユニット２６６６を含むがこれらに限定されない実行パイプラインを有する。ＧＰＧＰＵコア２６６２、及びロード／ストア・ユニット２６６６は、メモリ及びキャッシュ相互接続２６６８を介して、キャッシュ・メモリ２６７２及び共有メモリ２６７０に結合される。
少なくとも一実施例では、命令キャッシュ２６５２は、実行すべき命令のストリームをパイプライン・マネージャ２６３２から受け取る。少なくとも一実施例では、命令は、命令キャッシュ２６５２にキャッシュされ、命令ユニット２６５４により実行されるようにディスパッチされる。少なくとも一実施例では、命令ユニット２６５４は、命令をスレッド・グループ（たとえば、ワープ）としてディスパッチすることができ、アスレッド・グループの各スレッドは、ＧＰＧＰＵコア２６６２内の異なる実行ユニットに割り当てられる。少なくとも一実施例では、命令は、統一アドレス空間内のアドレスを指定することによって、ローカル、共有、又はグローバルのアドレス空間のいずれかにアクセスすることができる。少なくとも一実施例では、アドレス・マッピング・ユニット２６５６を使用して、統一アドレス空間のアドレスを、ロード／ストア・ユニット２６６６がアクセスできる個別メモリ・アドレスにトランスレーションすることができる。
少なくとも一実施例では、レジスタ・ファイル２６５８は、グラフィックス・マルチプロセッサ２６３４の機能ユニットにレジスタのセットを提供する。少なくとも一実施例では、レジスタ・ファイル２６５８は、グラフィックス・マルチプロセッサ２６３４の機能ユニット（たとえばＧＰＧＰＵコア２６６２、ロード／ストア・ユニット２６６６）のデータ経路に接続された、オペランドのための一時的なストレージを提供する。少なくとも一実施例では、レジスタ・ファイル２６５８は、レジスタ・ファイル２６５８の専用部分に各機能ユニットが配分されるように、それぞれの機能ユニット間で分割される。一実施例では、レジスタ・ファイル２６５８は、グラフィックス・マルチプロセッサ２６３４によって実行されている異なるワープ間で分割される。
少なくとも一実施例では、ＧＰＧＰＵコア２６６２はそれぞれ、グラフィックス・マルチプロセッサ２６３４の命令を実行するために使用される浮動小数点ユニット（ＦＰＵ）及び／又は整数算術論理演算ユニット（ＡＬＵ）を含むことができる。ＧＰＧＰＵコア２６６２同士は、同様のアーキテクチャであってもよく、又は異なるアーキテクチャであってもよい。少なくとも一実施例では、ＧＰＧＰＵコア２６６２の第１の部分は、単精度ＦＰＵ及び整数ＡＬＵを含み、ＧＰＧＰＵコアの第２の部分は、倍精度ＦＰＵを含む。少なくとも一実施例では、ＦＰＵは、浮動小数点演算のためにＩＥＥＥ７５４－２００８規格を実装することができ、又は、可変精度の浮動小数点演算を有効にすることができる。少なくとも一実施例では、グラフィックス・マルチプロセッサ２６３４はさらに、矩形コピー又はピクセル・ブレンディングの動作などの特定の機能を実行するための、１つ若しくは複数の固定機能ユニット又は特別機能ユニットをさらに含むことができる。少なくとも一実施例では、ＧＰＧＰＵコアの１つ又は複数は、固定の又は特別な機能論理も含むことができる。
少なくとも一実施例では、ＧＰＧＰＵコア２６６２は、複数のデータ・セットに対して単一の命令を実行することができるＳＩＭＤ論理を含む。少なくとも一実施例では、ＧＰＧＰＵコア２６６２は、ＳＩＭＤ４、ＳＩＭＤ８、及びＳＩＭＤ１６の命令を物理的に実行することができ、ＳＩＭＤ１、ＳＩＭＤ２、及びＳＩＭＤ３２の命令を論理的に実行することができる。少なくとも一実施例では、ＧＰＧＰＵコアのためのＳＩＭＤ命令は、シェーダ・コンパイラによるコンパイル時に生成されてもよく、又は単一プログラム複数データ（ＳＰＭＤ：ｓｉｎｇｌｅ ｐｒｏｇｒａｍ ｍｕｌｔｉｐｌｅ ｄａｔａ）又はＳＩＭＴのアーキテクチャ向けに書かれコンパイルされたプログラムを実行しているときに、自動的に生成されてもよい。少なくとも一実施例では、ＳＩＭＴ実行モデルのために構成されたプログラムの複数のスレッドは、単一のＳＩＭＤ命令を介して実行することができる。たとえば、少なくとも一実施例では、同じ又は同様の動作を実行する８個のＳＩＭＴスレッドを、単一のＳＩＭＤ８の論理ユニットを介して並列に実行することができる。
少なくとも一実施例では、メモリ及びキャッシュ相互接続２６６８は、グラフィックス・マルチプロセッサ２６３４の各機能ユニットをレジスタ・ファイル２６５８及び共有メモリ２６７０に接続する相互接続ネットワークである。少なくとも一実施例では、メモリ及びキャッシュ相互接続２６６８は、ロード／ストア・ユニット２６６６が、共有メモリ２６７０とレジスタ・ファイル２６５８の間でロード及びストアの動作を実装できるようにするクロスバー相互接続である。少なくとも一実施例では、レジスタ・ファイル２６５８は、ＧＰＧＰＵコア２６６２と同じ周波数で動作することができ、したがって、ＧＰＧＰＵコア２６６２とレジスタ・ファイル２６５８の間のデータ転送は非常に低レイテンシである。少なくとも一実施例では、共有メモリ２６７０を使用して、グラフィックス・マルチプロセッサ２６３４内の機能ユニットで実行されるスレッド間の通信を可能にすることができる。少なくとも一実施例では、キャッシュ・メモリ２６７２を、たとえばデータ・キャッシュとして使用して、機能ユニットとテクスチャ・ユニット２６３６の間で通信されるテクスチャ・データをキャッシュすることができる。少なくとも一実施例では、共有メモリ２６７０は、プログラム管理キャッシュとしても使用することができる。少なくとも一実施例では、ＧＰＧＰＵコア２６６２で実行されているスレッドは、キャッシュ・メモリ２６７２内に記憶される自動キャッシュ・データに加えて、共有メモリ内にプログラム的にデータを記憶することができる。
少なくとも一実施例では、本明細書に記載の並列プロセッサ又はＧＰＧＰＵは、ホスト／プロセッサ・コアに通信可能に結合されて、グラフィックス動作、機械学習動作、パターン分析動作、及び様々な汎用ＧＰＵ（ＧＰＧＰＵ）機能を加速する。少なくとも一実施例では、ＧＰＵは、バス又は他の相互接続（たとえば、ＰＣＩｅ又はＮＶＬｉｎｋなどの高速相互接続）を介してホスト・プロセッサ／コアに通信可能に結合されてもよい。少なくとも一実施例では、ＧＰＵは、コアと同じパッケージ又はチップに一体化されてもよく、内部（すなわち、パッケージ又はチップの内部の）プロセッサ・バス／相互接続を介してコアに通信可能に結合されてもよい。少なくとも一実施例では、ＧＰＵの接続方法に関わらず、プロセッサ・コアは、ワーク記述子に含まれたコマンド／命令のシーケンスの形でワークをＧＰＵに配分してもよい。少なくとも一実施例では、次いでＧＰＵは、これらのコマンド／命令を効率的に処理するために専用の回路／論理を使用する。
１つ若しくは複数の実施例に関連する推論及び／又は訓練の動作を実行するために、推論及び／又は訓練論理１３１５が使用される。推論及び／又は訓練論理１３１５に関する詳細事項は、図１３Ａ及び／又は図１３Ｂと併せて本明細書に提供される。少なくとも一実施例では、推論及び／又は訓練論理１３１５は、本明細書に記載のニューラル・ネットワークの訓練動作、ニューラル・ネットワークの機能及び／若しくはアーキテクチャ、又はニューラル・ネットワークのユース・ケースを使用して計算された重みパラメータに少なくとも部分的に基づき、推論又は予測の動作のためにグラフィックス・マルチプロセッサ２６３４において使用されてもよい。
上述した技法は、たとえば、人間とロボットとの間で物体の交換を実行するためのシステムを実装するために使用されてもよい。いくつかの実例は、上述したように人間の手によって保持される物体の把持を生成するように訓練されたニューラル・ネットワークを作製するために、推論及び／又は訓練論理を使用する。
図２７は、少なくとも一実施例による、マルチＧＰＵコンピューティング・システム２７００を示す。少なくとも一実施例では、マルチＧＰＵコンピューティング・システム２７００は、ホスト・インターフェース・スイッチ２７０４を介して複数の汎用グラフィックス・プロセッシング・ユニット（ＧＰＧＰＵ）２７０６Ａ～Ｄに結合されたプロセッサ２７０２を含むことができる。少なくとも一実施例では、ホスト・インターフェース・スイッチ２７０４は、プロセッサ２７０２をＰＣＩエクスプレス・バスに結合するＰＣＩエクスプレス・スイッチ・デバイスであり、このＰＣＩエクスプレス・バスを介して、プロセッサ２７０２は、ＧＰＧＰＵ２７０６Ａ～Ｄと通信することができる。ＧＰＧＰＵ２７０６Ａ～Ｄは、高速ポイントツーポイントＧＰＵツーＧＰＵリンク２７１６のセットを介して相互接続することができる。少なくとも一実施例では、ＧＰＵツーＧＰＵリンク２７１６は、専用ＧＰＵリンクを介して、ＧＰＧＰＵ２７０６Ａ～Ｄのそれぞれに接続される。少なくとも一実施例では、Ｐ２ＰのＧＰＵリンク２７１６は、プロセッサ２７０２が接続されているホスト・インターフェース・バス２７０４を介した通信を必要とせずに、ＧＰＧＰＵ２７０６Ａ～Ｄのそれぞれの間で直接通信を可能にする。少なくとも一実施例では、Ｐ２ＰのＧＰＵリンク２７１６に仕向けられたＧＰＵツーＧＰＵトラフィックがあると、ホスト・インターフェース・バス２７０４は、システム・メモリへのアクセスができるように、又はたとえば１つ又は複数のネットワーク・デバイスを介して、マルチＧＰＵコンピューティング・システム２７００の他のインスタンスと通信するために、利用可能な状態に保たれる。少なくとも一実施例では、ＧＰＧＰＵ２７０６Ａ～Ｄは、ホスト・インターフェース・スイッチ２７０４を介してプロセッサ２７０２に接続され、少なくとも一実施例では、プロセッサ２７０２は、Ｐ２ＰのＧＰＵリンク２７１６のための直接サポートを含み、ＧＰＧＰＵ２７０６Ａ～Ｄに直接接続することができる。
１つ又は複数の実施例に関連する推論及び／又は訓練の動作を実行するために、推論及び／又は訓練論理１３１５が使用される。推論及び／又は訓練論理１３１５に関する詳細事項は、図１３Ａ及び／又は図１３Ｂと併せて本明細書に提供される。少なくとも一実施例では、推論及び／又は訓練論理１３１５は、本明細書に記載のニューラル・ネットワークの訓練動作、ニューラル・ネットワークの機能及び／若しくはアーキテクチャ、又はニューラル・ネットワークのユース・ケースを使用して計算された重みパラメータに少なくとも部分的に基づき、推論又は予測の動作のためにマルチＧＰＵコンピューティング・システム２７００において使用されてもよい。
上述した技法は、たとえば、人間とロボットとの間で物体の交換を実行するためのシステムを実装するために使用されてもよい。いくつかの実例は、上述したように人間の手によって保持される物体の把持を生成するように訓練されたニューラル・ネットワークを作製するために、推論及び／又は訓練論理を使用する。
図２８は、少なくとも一実施例によるグラフィックス・プロセッサ２８００のブロック図である。少なくとも一実施例では、グラフィックス・プロセッサ２８００は、リング相互接続２８０２、パイプライン・フロント・エンド２８０４、メディア・エンジン２８３７、及びグラフィックス・コア２８８０Ａ～２８８０Ｎを含む。少なくとも一実施例では、リング相互接続２８０２は、グラフィックス・プロセッサ２８００を、他のグラフィックス・プロセッサ又は１つ又は複数の汎用プロセッサ・コアを含む他の処理ユニットに結合する。少なくとも一実施例では、グラフィックス・プロセッサ２８００は、マルチ・コア処理システム内に一体化された多数のプロセッサのうちの１つである。
少なくとも一実施例では、グラフィックス・プロセッサ２８００は、リング相互接続２８０２を介してコマンドのバッチを受け取る。少なくとも一実施例では、入ってくるコマンドは、パイプライン・フロント・エンド２８０４のコマンド・ストリーマ２８０３によって解釈される。少なくとも一実施例では、グラフィックス・プロセッサ２８００は、グラフィックス・コア２８８０Ａ～２８８０Ｎを介して３Ｄジオメトリ処理及びメディア処理を実行するためのスケーラブルな実行論理を含む。少なくとも一実施例では、３Ｄジオメトリ処理コマンドについては、コマンド・ストリーマ２８０３はコマンドをジオメトリ・パイプライン２８３６に供給する。少なくとも一実施例では、少なくとも一部のメディア処理コマンドについては、コマンド・ストリーマ２８０３はコマンドをビデオ・フロント・エンド２８３４に供給し、ビデオ・フロント・エンド２８３４はメディア・エンジン２８３７に結合される。少なくとも一実施例では、メディア・エンジン２８３７は、ビデオ及び画像の後処理のためのＶｉｄｅｏ Ｑｕａｌｉｔｙ Ｅｎｇｉｎｅ（ＶＱＥ）２８３０と、ハードウェア加速されたメディア・データのエンコード及びデコードを提供するマルチ・フォーマット・エンコード／デコード（ＭＦＸ）２８３３エンジンとを含む。少なくとも一実施例では、ジオメトリ・パイプライン２８３６及びメディア・エンジン２８３７はそれぞれ、少なくとも１つのグラフィックス・コア２８８０Ａによって提供されるスレッド実行リソースのための実行スレッドを生成する。
少なくとも一実施例では、グラフィックス・プロセッサ２８００は、モジュール式コア２８８０Ａ～２８８０Ｎ（コア・スライスと呼ばれることもある）を特徴とするスケーラブルなスレッド実行リソースを含み、それぞれのモジュール式コアは、複数のサブ・コア２８５０Ａ～５５０Ｎ、２８６０Ａ～２８６０Ｎ（コア・サブ・スライスと呼ばれることもある）を有する。少なくとも一実施例では、グラフィックス・プロセッサ２８００は、任意の数のグラフィックス・コア２８８０Ａ～２８８０Ｎを有することができる。少なくとも一実施例では、グラフィックス・プロセッサ２８００は、少なくとも第１のサブ・コア２８５０Ａ及び第２のサブ・コア２８６０Ａを有するグラフィックス・コア２８８０Ａを含む。少なくとも一実施例では、グラフィックス・プロセッサ２８００は、単一のサブ・コア（たとえば、２８５０Ａ）を有する低電力プロセッサである。少なくとも一実施例では、グラフィックス・プロセッサ２８００は、複数のグラフィックス・コア２８８０Ａ～２８８０Ｎを含み、このそれぞれが、第１のサブ・コア２８５０Ａ～２８５０Ｎのセット、及び第２のサブ・コア２８６０Ａ～２８６０Ｎのセットを含む。少なくとも一実施例では、第１のサブ・コア２８５０Ａ～２８５０Ｎの各サブ・コアは、少なくとも、実行ユニット２８５２Ａ～２８５２Ｎとメディア／テクスチャ・サンプラ２８５４Ａ～２８５４Ｎの第１のセットを含む。少なくとも一実施例では、第２のサブ・コア２８６０Ａ～２８６０Ｎの各サブ・コアは、少なくとも、実行ユニット２８６２Ａ～２８６２Ｎとサンプラ２８６４Ａ～２８６４Ｎの第２のセットを含む。少なくとも一実施例では、各サブ・コア２８５０Ａ～２８５０Ｎ、２８６０Ａ～２８６０Ｎは、共有リソース２８７０Ａ～２８７０Ｎのセットを共有する。少なくとも一実施例では、共有リソースは、共有キャッシュ・メモリ及びピクセル動作論理を含む。
１つ又は複数の実施例に関連する推論及び／又は訓練の動作を実行するために、推論及び／又は訓練論理１３１５が使用される。推論及び／又は訓練論理１３１５に関する詳細事項は、図１３Ａ及び／又は図１３Ｂと併せて本明細書に提供される。少なくとも一実施例では、推論及び／又は訓練論理１３１５は、本明細書に記載のニューラル・ネットワークの訓練動作、ニューラル・ネットワークの機能及び／若しくはアーキテクチャ、又はニューラル・ネットワークのユース・ケースを使用して計算された重みパラメータに少なくとも部分的に基づき、推論又は予測の動作のためにグラフィックス・プロセッサ２８００において使用されてもよい。
上述した技法は、たとえば、人間とロボットとの間で物体の交換を実行するためのシステムを実装するために使用されてもよい。いくつかの実例は、上述したように人間の手によって保持される物体の把持を生成するように訓練されたニューラル・ネットワークを作製するために、推論及び／又は訓練論理を使用する。
図２９は、少なくとも一実施例による、命令を実行するための論理回路を含んでもよいプロセッサ２９００のマイクロ・アーキテクチャを示すブロック図である。少なくとも一実施例では、プロセッサ２９００は、ｘ８６命令、ＡＭＲ命令、特定用途向け集積回路（ＡＳＩＣ）用の特別命令などを含む命令を実行してもよい。少なくとも一実施例では、プロセッサ２９１０は、カリフォルニア州サンタクララのインテルコーポレーションによる、ＭＭＸ技術で有効化されたマイクロプロセッサ内の６４ビット幅ＭＭＸＴＭレジスタなど、パック・データを記憶するためのレジスタを含んでもよい。少なくとも一実施例では、整数形式と浮動小数点形式の両方で利用可能なＭＭＸレジスタは、単一命令複数データ（「ＳＩＭＤ」）及びストリーミングＳＩＭＤ拡張（「ＳＳＥ」：ｓｔｒｅａｍｉｎｇ ＳＩＭＤ ｅｘｔｅｎｓｉｏｎｓ）命令を伴うパック・データ要素で動作してもよい。少なくとも一実施例では、ＳＳＥ２、ＳＳＥ３、ＳＳＥ４、ＡＶＸ、又はそれ以上（総称して「ＳＳＥｘ」と呼ばれる）の技術に関する１２８ビット幅のＸＭＭレジスタは、こうしたパック・データのオペランドを保持してもよい。少なくとも一実施例では、プロセッサ２９１０は、機械学習若しくは深層学習のアルゴリズム、訓練、又は推論を加速するために命令を実行してもよい。
少なくとも一実施例では、プロセッサ２９００は、実行すべき命令をフェッチし、プロセッサ・パイプラインで後に使用すべき命令を準備するイン・オーダー・フロント・エンド（「フロント・エンド」）２９０１を含む。少なくとも一実施例では、フロント・エンド２９０１は、いくつかのユニットを含んでもよい。少なくとも一実施例では、命令プリフェッチャ２９２６が、メモリから命令をフェッチし、命令デコーダ２９２８に命令を供給し、命令デコーダが、命令をデコード又は解釈する。たとえば、少なくとも一実施例では、命令デコーダ２９２８は、受け取った命令を、機械が実行することのできる「マイクロ命令」又は「マイクロ・オペレーション」と呼ばれる（「マイクロ・オプス」又は「ｕｏｐｓ」とも呼ばれる）１つ又は複数のオペレーションにデコードする。少なくとも一実施例では、命令デコーダ２９２８は、命令を、オプコード及び対応するデータ、並びに制御フィールドに構文解析して、これらがマイクロ・アーキテクチャによって使用されて、少なくとも一実施例による動作が実行されてもよい。少なくとも一実施例では、トレース・キャッシュ２９３０は、デコードされたｕｏｐｓを、実行できるようにｕｏｐキュー２９３４においてプログラム順のシーケンス又はトレースにアセンブルしてもよい。少なくとも一実施例では、トレース・キャッシュ２９３０が複雑な命令に遭遇すると、マイクロコードＲＯＭ２９３２が、動作の完了に必要なｕｏｐｓを提供する。
少なくとも一実施例では、単一のマイクロ・オプスに変換できる命令もあれば、全動作を完了するためにいくつかのマイクロ・オプスを必要とする命令もある。少なくとも一実施例では、命令を完了するために５つ以上のマイクロ・オプスが要な場合、命令デコーダ２９２８は、マイクロコードＲＯＭ２９３２にアクセスして、命令を実行してもよい。少なくとも一実施例では、命令は、命令デコーダ２９２８において処理できるように、少数のマイクロ・オプスにデコードされてもよい。少なくとも一実施例では、動作を完了するのに多数のマイクロ・オプスが必要な場合には、命令は、マイクロコードＲＯＭ２９３２に記憶されてもよい。少なくとも一実施例では、トレース・キャッシュ２９３０は、少なくとも一実施例によるマイクロコードＲＯＭ２９３２からの１つ又は複数の命令を完了するために、エントリ・ポイント・プログラマブル論理アレイ（「ＰＬＡ」：ｐｒｏｇｒａｍｍａｂｌｅ ｌｏｇｉｃ ａｒｒａｙ）を参照して、マイクロコード・シーケンスを読み取るための正しいマイクロ命令ポインタを判定する。少なくとも一実施例では、マイクロコードＲＯＭ２９３２が命令のためのマイクロ・オプスのシーケンシングを終了した後、機械のフロント・エンド２９０１は、トレース・キャッシュ２９３０からマイクロ・オプスのフェッチを再開してもよい。
少なくとも一実施例では、アウト・オブ・オーダー実行エンジン（「アウト・オブ・オーダー・エンジン」）２９０３は、実行できるように命令を準備してもよい。少なくとも一実施例では、アウト・オブ・オーダー実行論理は、命令のフローをなめらかにし、その順序を変更するために多数バッファを有し、命令がパイプラインを下り、実行されるようにスケジューリングされるときの性能を最適化する。アウト・オブ・オーダー実行エンジン２９０３は、限定することなく、アロケータ／レジスタ・リネーマ２９４０、メモリｕｏｐキュー２９４２、整数／浮動小数点ｕｏｐキュー２９４４、メモリ・スケジューラ２９４６、高速スケジューラ２９０２、低速／汎用浮動小数点スケジューラ（「低速／汎用ＦＰ：ｆｌｏａｔｉｎｇ ｐｏｉｎｔスケジューラ」）２９０４、及び単純浮動小数点スケジューラ（「単純ＦＰスケジューラ」）２９０６を含む。少なくとも一実施例では、高速スケジューラ２９０２、低速／汎用浮動小数点スケジューラ２９０４、及び単純浮動小数点スケジューラ２９０６は、本明細書において集合的に「ｕｏｐスケジューラ２９０２、２９０４、２９０６」とも呼ばれる。アロケータ／レジスタ・リネーマ２９４０は、実行するために各ｕｏｐが必要とする機械バッファ及びリソースを配分する。少なくとも一実施例では、アロケータ／レジスタ・リネーマ２９４０は、レジスタ・ファイルへのエントリ時に論理レジスタの名前を変更する。少なくとも一実施例では、アロケータ／レジスタ・リネーマ２９４０はまた、メモリ・スケジューラ２９４６及びｕｏｐスケジューラ２９０２、２９０４、２９０６の前の、２つのｕｏｐキュー、すなわちメモリ動作のためのメモリｕｏｐキュー２９４２と非メモリ動作のための整数／浮動小数点ｕｏｐキュー２９４４のうちの１つに、各ｕｏｐのエントリを配分する。少なくとも一実施例では、ｕｏｐスケジューラ２９０２、２９０４、２９０６は、ｕｏｐｓがいつ実行準備されるかを、それらの従属入力レジスタ・オペランドのソースが準備されていること、及びそれらの動作を完了するためにｕｏｐが必要とする実行リソースが利用可能であることに基づき、判定する。少なくとも一実施例では、少なくとも一実施例の高速スケジューラ２９０２は、メイン・クロック・サイクルの半分ごとにスケジューリングしてもよく、低速／汎用浮動小数点スケジューラ２９０４及び単純浮動小数点スケジューラ２９０６は、メイン・プロセッサのクロック・サイクル当たりに１回スケジューリングしてもよい。少なくとも一実施例では、ｕｏｐスケジューラ２９０２、２９０４、２９０６は、実行できるようにｕｏｐｓをスケジューリングするためにディスパッチ・ポートを調停する。
少なくとも一実施例では、実行ブロックｂ１１は、限定することなく、整数レジスタ・ファイル／バイパス・ネットワーク２９０８、浮動小数点レジスタ・ファイル／バイパス・ネットワーク（「ＦＰレジスタ・ファイル／バイパス・ネットワーク」）２９１０、アドレス生成ユニット（「ＡＧＵ」：ａｄｄｒｅｓｓ ｇｅｎｅｒａｔｉｏｎ ｕｎｉｔｓ）２９１２及び２９１４、高速算術論理演算ユニット（ＡＬＵ）（「高速ＡＬＵ」）２９１６及び２９１８、低速算術論理演算ユニット（「低速ＡＬＵ」）２９２０、浮動小数点ＡＬＵ（「ＦＰ」）２９２２、並びに浮動小数点移動ユニット（「ＦＰ移動」）２９２４を含む。少なくとも一実施例では、整数レジスタ・ファイル／バイパス・ネットワーク２９０８及び浮動小数点レジスタ・ファイル／バイパス・ネットワーク２９１０は、本明細書において「レジスタ・ファイル２９０８、２９１０」とも呼ばれる。少なくとも一実施例では、ＡＧＵ２９１２及び２９１４、高速ＡＬＵ２９１６及び２９１８、低速ＡＬＵ２９２０、浮動小数点ＡＬＵ２９２２、及び浮動小数点移動ユニット２９２４は、本明細書において「実行ユニット２９１２、２９１４、２９１６、２９１８、２９２０、２９２２、及び２９２４」とも呼ばれる。少なくとも一実施例では、実行ブロックｂ１１は、限定することなく、（ゼロを含む）任意の数及びタイプのレジスタ・ファイル、バイパス・ネットワーク、アドレス生成ユニット、及び実行ユニットを、任意の組合せで含んでもよい。
少なくとも一実施例では、レジスタ・ファイル２９０８、２９１０は、ｕｏｐスケジューラ２９０２、２９０４、２９０６と、実行ユニット２９１２、２９１４、２９１６、２９１８、２９２０、２９２２、及び２９２４との間に配置されてもよい。少なくとも一実施例では、整数レジスタ・ファイル／バイパス・ネットワーク２９０８は、整数演算を実行する。少なくとも一実施例では、浮動小数点レジスタ・ファイル／バイパス・ネットワーク２９１０は、浮動小数点演算を実行する。少なくとも一実施例では、レジスタ・ファイル２９０８、２９１０のそれぞれは、限定することなく、バイパス・ネットワークを含んでもよく、このバイパス・ネットワークは、レジスタ・ファイルにまだ書き込まれていない完了したばかりの結果を、新しい従属ｕｏｐｓにバイパス又は転送してもよい。少なくとも一実施例では、レジスタ・ファイル２９０８、２９１０は、互いにデータを通信してもよい。少なくとも一実施例では、整数レジスタ・ファイル／バイパス・ネットワーク２９０８は、限定することなく、２つの別々のレジスタ・ファイル、すなわち低次３２ビットのデータ用の１つのレジスタ・ファイル、及び高次３２ビットのデータ用の第２のレジスタ・ファイルを含んでもよい。少なくとも一実施例では、浮動小数点命令は、通常、６４～１２８ビット幅のオペランドを有することから、浮動小数点レジスタ・ファイル／バイパス・ネットワーク２９１０は、限定することなく、１２８ビット幅のエントリを含んでもよい。
少なくとも一実施例では、実行ユニット２９１２、２９１４、２９１６、２９１８、２９２０、２９２２、２９２４は、命令を実行してもよい。少なくとも一実施例では、レジスタ・ファイル２９０８、２９１０は、マイクロ命令が実行する必要のある整数及び浮動小数点のデータのオペランド値を記憶する。少なくとも一実施例では、プロセッサ２９００は、限定することなく、任意の数及び組合せの実行ユニット２９１２、２９１４、２９１６、２９１８、２９２０、２９２２、２９２４を含んでよい。少なくとも一実施例では、浮動小数点ＡＬＵ２９２２及び浮動小数点移動ユニット２９２４は、浮動小数点、ＭＭＸ、ＳＩＭＤ、ＡＶＸ、及びＳＥＥ、又は特別な機械学習命令を含む他の演算を実行してもよい。少なくとも一実施例では、浮動小数点ＡＬＵ２９２２は、限定することなく、６４ビットずつの浮動小数点デバイダを含み、除算、平方根、及び残りのマイクロ・オプスを実行してもよい。少なくとも一実施例では、浮動小数点値を含む命令は、浮動小数点ハードウェアによって対処されてもよい。少なくとも一実施例では、ＡＬＵ演算は、高速ＡＬＵ２９１６、２９１８に渡されてもよい。少なくとも一実施例では、高速ＡＬＵ２９１６、２９１８は、クロック・サイクルの半分の実効レイテンシで高速演算を実行してもよい。少なくとも一実施例では、低速ＡＬＵ２９２０は、乗数、シフト、フラグ論理、及びブランチ処理などの長レイテンシ・タイプの演算のための整数実行ハードウェアを、限定することなく含んでもよいことから、ほとんどの複雑な整数演算は低速ＡＬＵ２９２０に進む。少なくとも一実施例では、メモリのロード／ストア動作は、ＡＧＵＳ２９１２、２９１４によって実行されてもよい。少なくとも一実施例では、高速ＡＬＵ２９１６、高速ＡＬＵ２９１８、及び低速ＡＬＵ２９２０は、６４ビットのデータ・オペランドで整数演算を実行してもよい。少なくとも一実施例では、高速ＡＬＵ２９１６、高速ＡＬＵ２９１８、及び低速ＡＬＵ２９２０は、１６、３２、１２８、２５６などを含む様々なデータ・ビット・サイズをサポートするように実装されてもよい。少なくとも一実施例では、浮動小数点ＡＬＵ２９２２及び浮動小数点移動ユニット２９２４は、様々なビット幅を有する幅広いオペランドをサポートするように実装されてもよい。少なくとも一実施例では、浮動小数点ＡＬＵ２９２２及び浮動小数点移動ユニット２９２４は、ＳＩＭＤ及びマルチメディア命令と併せて１２８ビット幅のパック・データ・オペランドで動作してもよい。
少なくとも一実施例では、ｕｏｐスケジューラ２９０２、２９０４、２９０６は、親ロードが実行を終了する前に、従属演算をディスパッチする。少なくとも一実施例では、ｕｏｐｓは、プロセッサ２９００において投機的にスケジューリング及び実行されてもよいので、プロセッサ２９００は、メモリ・ミスに対処するための論理も含んでよい。少なくとも一実施例では、データ・キャッシュにおいてデータ・ロードがミスした場合、一時的に不正確なデータを有するスケジューラを通り過ぎたパイプラインに、進行中の従属演算が存在してもよい。少なくとも一実施例では、リプレイ機構が、不正確なデータを使用する命令を追跡及び再実行する。少なくとも一実施例では、従属演算は、リプレイされる必要があってもよく、独立した演算は、完了が許容されてもよい。少なくとも一実施例では、プロセッサの少なくとも一実施例のスケジューラ及びリプレイ機構はまた、テキスト・ストリング比較演算のための命令シーケンスを捕捉するように設計されてもよい。
少なくとも一実施例では、用語「レジスタ」は、オペランドを識別するための命令の一部として使用することができるオンボード・プロセッサのストレージ・ロケーションを指してもよい。少なくとも一実施例では、レジスタは、（プログラマの視点から見て）プロセッサの外部から使用可能であり得るものであってもよい。少なくとも一実施例では、レジスタは、特定のタイプの回路に限定されなくてもよい。むしろ、少なくとも一実施例では、レジスタは、データを記憶し、データを提供し、本明細書に記載の機能を実行してもよい。少なくとも一実施例では、本明細書に記載のレジスタは、専用物理レジスタ、レジスタ・リネーミングを使用して動的に配分される物理レジスタ、専用物理レジスタと動的に配分される物理レジスタとの組合せなど、任意の数の異なる技法を使用して、プロセッサ内の回路によって実装されてもよい。少なくとも一実施例では、整数レジスタは、３２ビットの整数データを記憶する。少なくとも一実施例のレジスタ・ファイルは、パック・データのための８つのマルチメディアＳＩＭＤレジスタも含む。
１つ若しくは複数の実施例に関連する推論及び／又は訓練の動作を実行するために、推論及び／又は訓練論理１３１５が使用される。推論及び／又は訓練論理１３１５に関する詳細事項は、図１３Ａ及び／又は図１３Ｂと併せて本明細書に提供される。少なくとも一実施例では、推論及び／又は訓練論理１３１５の一部又はすべてが、ＥＸＥブロック２９１１、及び図示してある若しくは図示していない他のメモリ又はレジスタに組み込まれてもよい。たとえば、少なくとも一実施例では、本明細書に記載の訓練及び／又は推論の技法は、ＥＸＥブロック２９１１に示すＡＬＵのうちの１つ又は複数を使用してもよい。さらに、重みパラメータは、本明細書に記載の１つ又は複数の機械学習アルゴリズム、ニューラル・ネットワーク・アーキテクチャ、ユース・ケース、又は訓練技法を実行するためのＥＸＥブロック２９１１のＡＬＵを構成するオン・チップ若しくはオフ・チップのメモリ及び／又はレジスタ（図示する又は図示せず）に記憶されてもよい。
上述した技法は、たとえば、人間とロボットとの間で物体の交換を実行するためのシステムを実装するために使用されてもよい。いくつかの実例は、上述したように人間の手によって保持される物体の把持を生成するように訓練されたニューラル・ネットワークを作製するために、推論及び／又は訓練論理を使用する。
図３０は、少なくとも一実施例による深層学習アプリケーション・プロセッサ３０００を示す。少なくとも一実施例では、深層学習アプリケーション・プロセッサ３０００は、深層学習アプリケーション・プロセッサ３０００によって実行される場合に、本開示全体を通して記載するプロセス及び技法の一部又はすべてを、深層学習アプリケーション・プロセッサ３０００に実行させる命令を使用する。少なくとも一実施例では、深層学習アプリケーション・プロセッサ３０００は、特定用途向け集積回路（ＡＳＩＣ）である。少なくとも一実施例では、アプリケーション・プロセッサ３０００は、１つ若しくは複数の命令又は両方を実行した結果としていずれもハードウェアに「ハード・ワイヤード」された行列乗算演算を実行する。少なくとも一実施例では、深層学習アプリケーション・プロセッサ３０００は、限定することなく、処理クラスタ３０１０（１）～３０１０（１２）、チップ間リンク（「ＩＣＬ」）３０２０（１）～３０２０（１２）、チップ間コントローラ（「ＩＣＣ」）３０３０（１）～３０３０（２）、高帯域幅メモリ第２世代（「ＨＢＭ２」）３０４０（１）～３０４０（４）、メモリ・コントローラ（「Ｍｅｍ Ｃｔｒｌｒｓ」）３０４２（１）～３０４２（４）、高帯域幅メモリ物理層（「ＨＢＭ ＰＨＹ」）３０４４（１）～３０４４（４）、管理－コントローラ中央処理装置（「管理－コントローラＣＰＵ」）３０５０、シリアル・ペリフェラル・インターフェース、集積回路間、及び汎用入力／出力ブロック（「ＳＰＩ、Ｉ２Ｃ、ＧＰＩＯ」）３０６０、周辺構成要素相互接続エクスプレス・コントローラ及びダイレクト・メモリ・アクセス・ブロック（「ＰＣＩｅコントローラ及びＤＭＡ」）３０７０、並びに１６レーン周辺構成要素相互接続エクスプレス・ポート（「ＰＣＩ Ｅｘｐｒｅｓｓｘ１６」）３０８０を含む。
少なくとも一実施例では、処理クラスタ３０１０は、本明細書に記載の技法を含む１つ又は複数の訓練技法を使用して計算された重みパラメータに基づき、推論又は予測の演算を含む深層学習演算を実行してもよい。少なくとも一実施例では、各処理クラスタ３０１０は、限定することなく、任意の数及びタイプのプロセッサを含んでもよい。少なくとも一実施例では、深層学習アプリケーション・プロセッサ３０００は、任意の数及びタイプの処理クラスタ３０００を含んでもよい。少なくとも一実施例では、チップ間リンク３０２０は、双方向性である。少なくとも一実施例では、チップ間リンク３０２０及びチップ間コントローラ３０３０は、１つ又は複数のニューラル・ネットワークに具体化された１つ又は複数の機械学習アルゴリズムを実行した結果得られるアクティブ化情報を含む情報を、複数の深層学習アプリケーション・プロセッサ３０００が交換できるようにする。少なくとも一実施例では、深層学習アプリケーション・プロセッサ３０００は、（ゼロを含む）任意の数及びタイプのＩＣＬ３０２０及びＩＣＣ３０３０を含んでもよい。
少なくとも一実施例では、ＨＢＭ２ ３０４０は、合計３２ギガバイト（ＧＢ：Ｇｉｇａｂｙｔｅ）のメモリを提供する。ＨＢＭ２ ３０４０（ｉ）は、メモリ・コントローラ３０４２（ｉ）とＨＢＭ ＰＨＹ３０４４（ｉ）の両方に関連付けられる。少なくとも一実施例では、任意の数のＨＢＭ２ ３０４０が、任意のタイプ及び合計量の高帯域幅メモリを提供してもよく、（ゼロを含む）任意の数及びタイプのメモリ・コントローラ３０４２及びＨＢＭ ＰＨＹ３０４４に関連付けられてもよい。少なくとも一実施例では、ＳＰＩ、Ｉ２Ｃ、ＧＰＩＯ３０６０、ＰＣＩｅコントローラ及びＤＭＡ３０７０、並びに／又はＰＣＩｅ３０８０は、任意の技術的に実行可能なやり方で任意の数及びタイプの通信規格を有効にする任意の数及びタイプのブロックに置き換えられてもよい。
１つ若しくは複数の実施例に関連する推論及び／又は訓練の動作を実行するために、推論及び／又は訓練論理１３１５が使用される。推論及び／又は訓練論理１３１５に関する詳細事項は、図１３Ａ及び／又は図１３Ｂと併せて本明細書に提供される。少なくとも一実施例では、深層学習アプリケーション・プロセッサ３０００は、深層学習アプリケーション・プロセッサ３０００に提供される情報を予測又は推論するようにニューラル・ネットワークなどの機械学習モデルを訓練するために使用される。少なくとも一実施例では、深層学習アプリケーション・プロセッサ３０００は、別のプロセッサ若しくはシステムによって、又は深層学習アプリケーション・プロセッサ３０００によって訓練されてきた訓練済み機械学習モデル（たとえば、ニューラル・ネットワーク）に基づき、情報を推論又は予測するために使用される。少なくとも一実施例では、プロセッサ３０００は、本明細書に記載の１つ又は複数のニューラル・ネットワークのユース・ケースを実行するために使用されてもよい。
上述した技法は、たとえば、人間とロボットとの間で物体の交換を実行するためのシステムを実装するために使用されてもよい。いくつかの実例は、上述したように人間の手によって保持される物体の把持を生成するように訓練されたニューラル・ネットワークを作製するために、推論及び／又は訓練論理を使用する。
図３１は、少なくとも一実施例による、ニューロモーフィック・プロセッサ３１００のブロック図である。少なくとも一実施例では、ニューロモーフィック・プロセッサ３１００は、ニューロモーフィック・プロセッサ３１００の外部のソースから１つ又は複数の入力を受信する。少なくとも一実施例では、これらの入力は、ニューロモーフィック・プロセッサ３１００内の１つ又は複数のニューロン３１０２に送信されてもよい。少なくとも一実施例では、ニューロン３１０２及びその構成要素は、１つ又は複数の算術論理演算ユニット（ＡＬＵ）を含む回路又は論理を使用して、実装されてもよい。少なくとも一実施例では、ニューロモーフィック・プロセッサ３１００は、限定することなく、ニューロン３１０２の数千又は数百万のインスタンスを含んでもよいが、任意の好適な数のニューロン３１０２が使用されてもよい。少なくとも一実施例では、ニューロン３１０２の各インスタンスは、ニューロン入力３１０４及びニューロン出力３１０６を含んでもよい。少なくとも一実施例では、ニューロン３１０２は出力を生成してもよく、この出力は、ニューロン３１０２の他のインスタンスの入力に送信されてもよい。たとえば、少なくとも一実施例では、ニューロン入力３１０４及びニューロン出力３１０６は、シナプス３１０８を介して相互接続されてもよい。
少なくとも一実施例では、ニューロン３１０２とシナプス３１０８は、ニューロモーフィック・プロセッサ３１００が受信した情報をニューロモーフィック・プロセッサ３１００が動作して処理又は分析するように、相互接続されてもよい。少なくとも一実施例では、ニューロン３１０２は、ニューロン入力３１０４を介して受信した入力が、閾値を超えているとき、出力パルス（又は「発火」若しくは「スパイク」）を送信してもよい。少なくとも一実施例では、ニューロン３１０２は、ニューロン入力３１０４において受信した信号を合計又は積分してもよい。たとえば、少なくとも一実施例では、ニューロン３１０２は、漏れ積分発火ニューロン（ｌｅａｋｙ ｉｎｔｅｇｒａｔｅ－ａｎｄ－ｆｉｒｅ ｎｅｕｒｏｎ）として実装されてもよく、ここで、合計（「膜電位」と呼ばれる）が閾値を超える場合には、ニューロン３１０２は、シグモイド関数又は閾値関数などの伝達関数を使用して、出力（又は「発火」）を生成してもよい。少なくとも一実施例では、漏れ積分発火ニューロンは、ニューロン入力３１０４で受信した信号を合計して膜電位にしてもよく、また、崩壊因子（又は漏れ）を適用して膜電位を低減してもよい。少なくとも一実施例では、複数の入力信号が、閾値を超えるほど十分に素早く（すなわち、膜電位の崩壊が少なすぎて発火できなくなる前に）ニューロン入力３１０４において受信された場合には、漏れ積分発火ニューロンが発火してもよい。少なくとも一実施例では、ニューロン３１０２は、入力を受信し、入力を積分して膜電位にし、膜電位を崩壊させる回路又は論理を使用して、実装されてもよい。少なくとも一実施例では、入力は平均化されてもよく、又は任意の他の好適な伝達関数が使用されてもよい。さらに、少なくとも一実施例では、ニューロン３１０２は、ニューロン３１０４に伝達関数を適用した結果が閾値を超えるとき、ニューロン３１０６において出力スパイクを生成するコンパレータ回路又は論理を、限定することなく含んでもよい。少なくとも一実施例では、ニューロン３１０２は発火すると、前に受信した入力情報を、たとえば膜電位を０又は他の好適なデフォルト値に再設定することによって、無視してもよい。少なくとも一実施例では、膜電位が０にリセットされると、ニューロン３１０２は、好適な期間（又は不応期）の後に通常の動作を再開してもよい。
少なくとも一実施例では、ニューロン３１０２は、シナプス３１０８を通して相互接続されてもよい。少なくとも一実施例では、シナプス３１０８は、第１のニューロン３１０２の出力から第２のニューロン３１０２の入力に信号を送信するように動作してもよい。少なくとも一実施例では、ニューロン３１０２は、シナプス３１０８の２つ以上のインスタンスを介して情報を送信してもよい。少なくとも一実施例では、ニューロン出力３１０６の１つ又は複数のインスタンスは、シナプス３１０８のインスタンスを介して、同じニューロン３１０２のニューロン入力３１０４のインスタンスに接続されてもよい。少なくとも一実施例では、シナプス３１０８のインスタンスを介して送信されることになる出力を生成するニューロン３１０２のインスタンスは、シナプス３１０８のそのインスタンスに対して「シナプス前ニューロン」と呼ばれてもよい。少なくとも一実施例では、シナプス３１０８のインスタンスを介して送信されることになる入力を受信するニューロン３１０２のインスタンスは、シナプス３１０８のそのインスタンスに対して「シナプス後ニューロン」と呼ばれてもよい。少なくとも一実施例では、ニューロン３１０２のインスタンスは、シナプス３１０８の１つ又は複数のインスタンスから入力を受信してもよく、また、シナプス３１０８の１つ又は複数のインスタンスを介して出力を送信してもよいので、ニューロン３１０２の単一のインスタンスは、したがって、シナプス３１０８の様々なインスタンスに対して「シナプス前ニューロン」と「シナプス後ニューロン」の両方であってもよい。
少なくとも一実施例では、ニューロン３１０２は、１つ又は複数の層に組織化されてもよい。ニューロン３１０２の各インスタンスは、１つ又は複数のシナプス３１０８を通って１つ又は複数のニューロン入力３１０４にファン・アウトすることができる１つのニューロン出力３１０６を有してもよい。少なくとも一実施例では、第１の層３１１０のニューロン３１０２のニューロン出力３１０６は、第２の層３１１２のニューロン３１０２のニューロン入力３１０４に接続されてもよい。少なくとも一実施例では、層３１１０は、「フィード・フォワード」層と呼ばれてもよい。少なくとも一実施例では、第１の層３１１０のインスタンスにおけるニューロン３１０２の各インスタンスは、第２の層３１１２におけるニューロン３１０２の各インスタンスにファン・アウトしてもよい。少なくとも一実施例では、第１の層３１１０は、「完全に接続されたフィード・フォワード層」と呼ばれてもよい。少なくとも一実施例では、第２の層３１１２のインスタンスにおけるニューロン３１０２の各インスタンスは、第３の層３１１４におけるニューロン３１０２の全インスタンスより少ないインスタンスにファン・アウトしてもよい。少なくとも一実施例では、第２の層３１１２は、「疎に接続されたフィード・フォワード層」と呼ばれてもよい。少なくとも一実施例では、第２の層３１１２のニューロン３１０２は、（同じ）第２の層３１１２におけるニューロン３１０２を含め、複数の他の層のニューロン３１０２にファン・アウトしてもよい。少なくとも一実施例では、第２の層３１１２は、「回帰層」と呼ばれてもよい。ニューロモーフィック・プロセッサ３１００は、疎に接続されたフィード・フォワード層と完全に接続されたフィード・フォワード層の両方を限定することなく含む、回帰層とフィード・フォワード層の任意の好適な組合せを限定することなく含んでもよい。
少なくとも一実施例では、ニューロモーフィック・プロセッサ３１００は、シナプス３１０８をニューロン３１０２に接続するための再構成可能相互接続アーキテクチャ、又は専用ハード・ワイヤード相互接続を、限定することなく含んでもよい。少なくとも一実施例では、ニューロモーフィック・プロセッサ３１００は、ニューラル・ネットワーク・トポロジ、及びニューロンのファン・イン／ファン・アウトに基づき、必要に応じてシナプスを異なるニューロン３１０２に配分できるようにする回路又は論理を、限定することなく含んでもよい。たとえば、少なくとも一実施例では、シナプス３１０８は、ネットワーク・オン・チップなどの相互接続ファブリックを使用して、又は専用の接続を用いて、ニューロン３１０２に接続されてもよい。少なくとも一実施例では、シナプス相互接続及びその構成要素は、回路又は論理を使用して実装されてもよい。
上述した技法は、たとえば、人間とロボットとの間で物体の交換を実行するためのシステムを実装するために使用されてもよい。いくつかの実例は、上述したように人間の手によって保持される物体の把持を生成するように訓練されたニューラル・ネットワークを作製するために、推論及び／又は訓練論理を使用する。
図３２は、少なくとも一実施例による処理システムのブロック図である。少なくとも一実施例では、システム３２００は、１つ又は複数のプロセッサ３２０２、及び１つ又は複数のグラフィックス・プロセッサ３２０８を含み、単一プロセッサのデスクトップ・システム、マルチプロセッサのワークステーション・システム、又は多数のプロセッサ３２０２若しくはプロセッサ・コア３２０７を有するサーバ・システムであってもよい。少なくとも一実施例では、システム３２００は、モバイル・デバイス、携帯型デバイス、又は組み込みデバイスで使用するためのシステム・オン・チップ（ＳｏＣ）集積回路内に組み込まれた処理プラットフォームである。
少なくとも一実施例では、システム３２００は、サーバ・ベースのゲーミング・プラットフォーム、ゲーム及びメディアのコンソールを含むゲーム・コンソール、モバイル・ゲーミング・コンソール、携帯型ゲーム・コンソール、若しくはオンライン・ゲーム・コンソールを含んでもよく、又はそれらに組み込まれてもよい。少なくとも一実施例では、システム３２００は、モバイル・フォン、スマート・フォン、タブレット・コンピューティング・デバイス、又はモバイル・インターネット・デバイスである。少なくとも一実施例では、処理システム３２００はまた、スマート・ウォッチ・ウェアラブル・デバイス、スマート・アイウェア・デバイス、拡張現実デバイス、若しくは仮想現実デバイスなどのウェアラブル・デバイスを含んでもよく、それらに結合されてもよく、又はそれらの中に一体化されてもよい。少なくとも一実施例では、処理システム３２００は、１つ又は複数のプロセッサ３２０２と、１つ又は複数のグラフィックス・プロセッサ３２０８によって生成されるグラフィカル・インターフェースとを有するテレビ又はセット・トップ・ボックス・デバイスである。
少なくとも一実施例では、１つ又は複数のプロセッサ３２０２はそれぞれ、実行されたときにシステム及びユーザ・ソフトウェアのための動作を実行する命令を処理するための１つ又は複数のプロセッサ・コア３２０７を含む。少なくとも一実施例では、１つ又は複数のプロセッサ・コア３２０７のそれぞれは、特定の命令セット３２０９を処理するように構成される。少なくとも一実施例では、命令セット３２０９は、複合命令セット・コンピューティング（ＣＩＳＣ）、縮小命令セット・コンピューティング（ＲＩＳＣ）、又は超長命令語（ＶＬＩＷ）を介したコンピューティングを容易にしてもよい。少なくとも一実施例では、プロセッサ・コア３２０７はそれぞれ、異なる命令セット３２０９を処理してもよく、この命令セットは、他の命令セットのエミュレーションを容易にする命令を含んでもよい。少なくとも一実施例では、プロセッサ・コア３２０７はまた、デジタル信号プロセッサ（ＤＳＰ）などの他の処理デバイスを含んでもよい。
少なくとも一実施例では、プロセッサ３２０２はキャッシュ・メモリ３２０４を含む。少なくとも一実施例では、プロセッサ３２０２は、単一の内部キャッシュ又は複数レベルの内部キャッシュを有してもよい。少なくとも一実施例では、キャッシュ・メモリは、プロセッサ３２０２の様々な構成要素間で共有される。少なくとも一実施例では、プロセッサ３２０２はまた、外部キャッシュ（たとえば、レベル３（Ｌ３）キャッシュ又はラスト・レベル・キャッシュ（ＬＬＣ））（図示せず）を使用し、このキャッシュは、知られているキャッシュ・コヒーレンス技法を使用して、プロセッサ・コア３２０７間で共有されてもよい。少なくとも一実施例では、さらにレジスタ・ファイル３２０６がプロセッサ３２０２に含まれ、このレジスタ・ファイルは、異なるタイプのデータを記憶するための異なるタイプのレジスタ（たとえば、整数レジスタ、浮動小数点レジスタ、状態レジスタ、及び命令ポインタ・レジスタ）を含んでもよい。少なくとも一実施例では、レジスタ・ファイル３２０６は、汎用レジスタ又は他のレジスタを含んでもよい。
少なくとも一実施例では、１つ又は複数のプロセッサ３２０２は、１つ又は複数のインターフェース・バス３２１０に結合されて、アドレス、データ、又は制御信号などの通信信号を、プロセッサ３２０２とシステム３２００内の他の構成要素との間で送信する。少なくとも一実施例では、インターフェース・バス３２１０は、一実施例では、ダイレクト・メディア・インターフェース（ＤＭＩ）バスのバージョンなどのプロセッサ・バスとすることができる。少なくとも一実施例では、インターフェース３２１０は、ＤＭＩバスに限定されず、１つ又は複数のペリフェラル・コンポーネント・インターコネクト・バス（たとえば、ＰＣＩ、ＰＣＩエクスプレス）、メモリ・バス、又は他のタイプのインターフェース・バスを含んでもよい。少なくとも一実施例では、プロセッサ３２０２は、統合メモリ・コントローラ３２１６、及びプラットフォーム・コントローラ・ハブ３２３０を含む。少なくとも一実施例では、メモリ・コントローラ３２１６は、メモリ・デバイスとシステム３２００の他の構成要素との間の通信を容易にし、一方でプラットフォーム・コントローラ・ハブ（ＰＣＨ）３２３０は、ローカルＩ／Ｏバスを介してＩ／Ｏデバイスへの接続を提供する。
少なくとも一実施例では、メモリ・デバイス３２２０は、ダイナミック・ランダム・アクセス・メモリ（ＤＲＡＭ）デバイス、スタティック・ランダム・アクセス・メモリ（ＳＲＡＭ）デバイス、フラッシュ・メモリ・デバイス、相変化メモリ・デバイス、又はプロセス・メモリとしての役割を果たすのに好適な性能を有する何らかの他のメモリ・デバイスとすることができる。少なくとも一実施例では、メモリ・デバイス３２２０は、システム３２００のためのシステム・メモリとして動作して、１つ又は複数のプロセッサ３２０２がアプリケーション若しくはプロセスを実行するときに使用するためのデータ３２２２及び命令３２２１を記憶することができる。少なくとも一実施例では、メモリ・コントローラ３２１６はまた、任意選択の外部グラフィックス・プロセッサ３２１２と結合しており、このグラフィックス・プロセッサは、プロセッサ３２０２内の１つ又は複数のグラフィックス・プロセッサ３２０８と通信して、グラフィックス及びメディアの動作を実行してもよい。少なくとも一実施例では、ディスプレイ・デバイス３２１１は、プロセッサ３２０２に接続することができる。少なくとも一実施例では、ディスプレイ・デバイス３２１１は、モバイル電子デバイス又はラップトップ・デバイスのような内部ディスプレイ・デバイス、又はディスプレイ・インターフェース（たとえば、ディスプレイ・ポートなど）を介して取り付けられる外部ディスプレイ・デバイスのうちの１つ又は複数を含むことができる。少なくとも一実施例では、ディスプレイ・デバイス３２１１は、仮想現実（ＶＲ）アプリケーション又は拡張現実（ＡＲ）アプリケーションで使用するための立体ディスプレイ・デバイスなどの頭部装着型ディスプレイ（ＨＭＤ）を含むことができる。
少なくとも一実施例では、プラットフォーム・コントローラ・ハブ３２３０は、周辺装置が高速Ｉ／Ｏバスを介してメモリ・デバイス３２２０及びプロセッサ３２０２に接続できるようにする。少なくとも一実施例では、Ｉ／Ｏ周辺装置は、オーディオ・コントローラ３２４６、ネットワーク・コントローラ３２３４、ファームウェア・インターフェース３２２８、ワイヤレス・トランシーバ３２２６、タッチ・センサ３２２５、データ・ストレージ・デバイス３２２４（たとえば、ハード・ディスク・ドライブ、フラッシュ・メモリなど）を含むが、これらに限定されない。少なくとも一実施例では、データ・ストレージ・デバイス３２２４は、ストレージ・インターフェース（たとえば、ＳＡＴＡ）を介して、又はペリフェラル・コンポーネント・インターコネクト・バス（たとえば、ＰＣＩ、ＰＣＩエクスプレス）などのペリフェラル・バスを介して、接続することができる。少なくとも一実施例では、タッチ・センサ３２２５は、タッチ画面センサ、圧力センサ、又は指紋センサを含むことができる。少なくとも一実施例では、ワイヤレス・トランシーバ３２２６は、ＷｉＦｉトランシーバ、Ｂｌｕｅｔｏｏｔｈトランシーバ、又は３Ｇ、４Ｇ、若しくはＬｏｎｇ Ｔｅｒｍ Ｅｖｏｌｕｔｉｏｎ（ＬＴＥ）トランシーバなどのモバイル・ネットワーク・トランシーバとすることができる。少なくとも一実施例では、ファームウェア・インターフェース３２２８は、システム・ファームウェアとの通信を可能にし、たとえば、ユニファイド・エクステンシブル・ファームウェア・インターフェース（ＵＥＦＩ）とすることができる。少なくとも一実施例では、ネットワーク・コントローラ３２３４は、有線ネットワークへのネットワーク接続を可能にすることができる。少なくとも一実施例では、高性能ネットワーク・コントローラ（図示せず）は、インターフェース・バス３２１０と結合する。少なくとも一実施例では、オーディオ・コントローラ３２４６は、多チャネル・ハイ・デフィニション・オーディオ・コントローラである。少なくとも一実施例では、システム３２００は、レガシー（たとえば、パーソナル・システム２（ＰＳ／２））デバイスをシステムに結合するための任意選択のレガシーＩ／Ｏコントローラ３２４０を含む。少なくとも一実施例では、プラットフォーム・コントローラ・ハブ３２３０は、キーボードとマウス３２４３の組合せ、カメラ３２４４、又は他のＵＳＢ入力デバイスなど、１つ又は複数のユニバーサル・シリアル・バス（ＵＳＢ）コントローラ３２４２の接続入力デバイスにも接続することができる。
少なくとも一実施例では、メモリ・コントローラ３２１６及びプラットフォーム・コントローラ・ハブ３２３０のインスタンスは、外部グラフィックス・プロセッサ３２１２などの個別の外部グラフィックス・プロセッサに一体化されてもよい。少なくとも一実施例では、プラットフォーム・コントローラ・ハブ３２３０及び／又はメモリ・コントローラ３２１６は、１つ又は複数のプロセッサ３２０２の外部にあってもよい。たとえば、少なくとも一実施例では、システム３２００は、外部のメモリ・コントローラ３２１６及びプラットフォーム・コントローラ・ハブ３２３０を含むことができ、これらは、プロセッサ３２０２と通信するシステム・チップセット内のメモリ・コントローラ・ハブ及び周辺装置コントローラ・ハブとして構成されてもよい。
１つ又は複数の実施例に関連する推論及び／又は訓練の動作を実行するために、推論及び／又は訓練論理１３１５が使用される。推論及び／又は訓練論理１３１５に関する詳細事項は、図１３Ａ及び／又は図１３Ｂと併せて本明細書に提供される。少なくとも一実施例では、推論及び／又は訓練論理１３１５の一部又はすべてが、グラフィックス・プロセッサ３２００に組み込まれてもよい。たとえば、少なくとも一実施例では、本明細書に記載の訓練及び／又は推論の技法は、パイプライン３２１２に具体化されたＡＬＵのうちの１つ又は複数を使用してもよい。さらに、少なくとも一実施例では、本明細書に記載の推論及び／又は訓練の動作は、図１３Ａ又は図１３Ｂに示す論理以外の論理を使用して行われてもよい。少なくとも一実施例では、重みパラメータは、本明細書に記載の１つ又は複数の機械学習アルゴリズム、ニューラル・ネットワーク・アーキテクチャ、ユース・ケース、又は訓練技法を実行するためのグラフィックス・プロセッサ３２００のＡＬＵを構成するオン・チップ若しくはオフ・チップのメモリ及び／又はレジスタ（図示している又は図示せず）に記憶されてもよい。
上述した技法は、たとえば、人間とロボットとの間で物体の交換を実行するためのシステムを実装するために使用されてもよい。いくつかの実例は、上述したように人間の手によって保持される物体の把持を生成するように訓練されたニューラル・ネットワークを作製するために、推論及び／又は訓練論理を使用する。
図３３は、少なくとも一実施例による、１つ又は複数のプロセッサ・コア３３０２Ａ～３３０２Ｎ、統合メモリ・コントローラ３３１４、及び統合グラフィックス・プロセッサ３３０８を有するプロセッサ３３００のブロック図である。少なくとも一実施例では、プロセッサ３３００は、破線の四角によって表される追加コア３３０２Ｎを含むそれ以下の数の追加コアを含むことができる。少なくとも一実施例では、プロセッサ・コア３３０２Ａ～３３０２Ｎのそれぞれは、１つ又は複数の内部キャッシュ・ユニット３３０４Ａ～３３０４Ｎを含む。少なくとも一実施例では、各プロセッサ・コアはまた、１つ又は複数の共有キャッシュ・ユニット３３０６にアクセスできる。
少なくとも一実施例では、内部キャッシュ・ユニット３３０４Ａ～３３０４Ｎ、及び共有キャッシュ・ユニット３３０６は、プロセッサ３３００内のキャッシュ・メモリ階層を表す。少なくとも一実施例では、キャッシュ・メモリ・ユニット３３０４Ａ～３３０４Ｎは、各プロセッサ・コア内の命令及びデータのキャッシュの少なくとも１つのレベル、並びにレベル２（Ｌ２）、レベル３（Ｌ３）、レベル４（Ｌ４）などの共有中間レベル・キャッシュの１つ又は複数のレベル、又はキャッシュの他のレベルを含んでもよく、ここで外部メモリの前の最高レベルのキャッシュは、ＬＬＣとして分類される。少なくとも一実施例では、キャッシュ・コヒーレンス論理は、様々なキャッシュ・ユニット３３０６及び３３０４Ａ～３３０４Ｎ間でコヒーレンスを維持する。
少なくとも一実施例では、プロセッサ３３００はまた、１つ又は複数のバス・コントローラ・ユニット３３１６とシステム・エージェント・コア３３１０のセットを含んでもよい。少なくとも一実施例では、１つ又は複数のバス・コントローラ・ユニット３３１６は、１つ又は複数のＰＣＩ若しくはＰＣＩエクスプレス・バスなどのペリフェラル・バスのセットを管理する。少なくとも一実施例では、システム・エージェント・コア３３１０は、様々なプロセッサ構成要素のための管理機能を提供する。少なくとも一実施例では、システム・エージェント・コア３３１０は、様々な外部メモリ・デバイス（図示せず）へのアクセスを管理するための１つ又は複数の統合メモリ・コントローラ３３１４を含む。
少なくとも一実施例では、プロセッサ・コア３３０２Ａ～３３０２Ｎの１つ又は複数は、同時マルチスレッディングのサポートを含む。少なくとも一実施例では、システム・エージェント・コア３３１０は、マルチスレッドの処理中にコア３３０２Ａ～３３０２Ｎを調整し動作させるための構成要素を含む。少なくとも一実施例では、システム・エージェント・コア３３１０はさらに、電力制御ユニット（ＰＣＵ）を含んでもよく、このユニットは、プロセッサ・コア３３０２Ａ～３３０２Ｎ及びグラフィックス・プロセッサ３３０８の１つ又は複数の電力状態を調整するための論理及び構成要素を含む。
少なくとも一実施例では、プロセッサ３３００はさらに、グラフィックス処理動作を実行するためのグラフィックス・プロセッサ３３０８を含む。少なくとも一実施例では、グラフィックス・プロセッサ３３０８は、共有キャッシュ・ユニット３３０６と、１つ又は複数の統合メモリ・コントローラ３３１４を含むシステム・エージェント・コア３３１０とに結合する。少なくとも一実施例では、システム・エージェント・コア３３１０はまた、１つ又は複数の結合されたディスプレイに対してグラフィックス・プロセッサの出力を行わせるためのディスプレイ・コントローラ３３１１を含む。少なくとも一実施例では、ディスプレイ・コントローラ３３１１はまた、少なくとも１つの相互接続を介してグラフィックス・プロセッサ３３０８に結合された別個のモジュールであってもよく、又はグラフィックス・プロセッサ３３０８内に一体化されていてもよい。
少なくとも一実施例では、プロセッサ３３００の内部構成要素を結合するために、リング・ベースの相互接続ユニット３３１２が使用される。少なくとも一実施例では、ポイントツーポイント相互接続、スイッチ相互接続、又は他の技法などの代替的な相互接続ユニットが使用されてもよい。少なくとも一実施例では、グラフィックス・プロセッサ３３０８は、Ｉ／Ｏリンク３３１３を介してリング相互接続３３１２と結合する。
少なくとも一実施例では、Ｉ／Ｏリンク３３１３は、様々なプロセッサ構成要素と、ｅＤＲＡＭモジュールなどの高性能組み込みメモリ・モジュール３３１８との間の通信を容易にするオン・パッケージＩ／Ｏ相互接続を含む多様なＩ／Ｏ相互接続のうちの少なくとも１つを表す。少なくとも一実施例では、プロセッサ・コア３３０２Ａ～３３０２Ｎのそれぞれ及びグラフィックス・プロセッサ３３０８は、共有ラスト・レベル・キャッシュとして組み込みメモリ・モジュール３３１８を使用する。
少なくとも一実施例では、プロセッサ・コア３３０２Ａ～３３０２Ｎは、共通の命令セット・アーキテクチャを実行する同種のコアである。少なくとも一実施例では、プロセッサ・コア３３０２Ａ～３３０２Ｎは、命令セット・アーキテクチャ（ＩＳＡ）の観点から見れば異種であり、ここでプロセッサ・コア３３０２Ａ～３３０２Ｎのうちの１つ又は複数は、共通の命令セットを実行するが、プロセッサ・コア３３０２Ａ～３３０２Ｎのうちの１つ又は複数の他のコアは、共通の命令セットのサブセット、又は異なる命令セットを実行する。少なくとも一実施例では、プロセッサ・コア３３０２Ａ～３３０２Ｎは、マイクロ・アーキテクチャの観点から見れば異種であり、ここで電力消費量が相対的に高い１つ又は複数のコアは、電力消費量がより低い１つ又は複数のコアと結合する。少なくとも一実施例では、プロセッサ３３００は、１つ又は複数のチップ上に、又はＳｏＣ集積回路として実装することができる。
１つ又は複数の実施例に関連する推論及び／又は訓練の動作を実行するために、推論及び／又は訓練論理１３１５が使用される。推論及び／又は訓練論理１３１５に関する詳細事項は、図１３Ａ及び／又は図１３Ｂと併せて本明細書に提供される。少なくとも一実施例では、推論及び／又は訓練論理１３１５の一部又はすべてが、グラフィックス・プロセッサ３３１０に組み込まれてもよい。たとえば、少なくとも一実施例では、本明細書に記載の訓練及び／又は推論の技法は、３Ｄパイプライン３２１２、グラフィックス・コア３３１５Ａ、共有機能論理３３１６、グラフィックス・コア３３１５Ｂ、共有機能論理３３２０、又は図３３の他の論理に具体化されたＡＬＵのうちの１つ又は複数を使用してもよい。さらに、少なくとも一実施例では、本明細書に記載の推論及び／又は訓練の動作は、図１３Ａ又は図１３Ｂに示す論理以外の論理を使用して行われてもよい。少なくとも一実施例では、重みパラメータは、本明細書に記載の１つ又は複数の機械学習アルゴリズム、ニューラル・ネットワーク・アーキテクチャ、ユース・ケース、又は訓練技法を実行するためのグラフィックス・プロセッサ３３１０のＡＬＵを構成するオン・チップ若しくはオフ・チップのメモリ及び／又はレジスタ（図示している又は図示せず）に記憶されてもよい。
上述した技法は、たとえば、人間とロボットとの間で物体の交換を実行するためのシステムを実装するために使用されてもよい。いくつかの実例は、上述したように人間の手によって保持される物体の把持を生成するように訓練されたニューラル・ネットワークを作製するために、推論及び／又は訓練論理を使用する。
図３４は、グラフィックス・プロセッサ３４００のブロック図であり、これは、個別グラフィックス・プロセッシング・ユニットであってもよく、又は複数の処理コアと一体化されたグラフィックス・プロセッサであってもよい。少なくとも一実施例では、グラフィックス・プロセッサ３４００は、メモリにマッピングされたＩ／Ｏインターフェースを介して、メモリに入れられたコマンドを用いて、グラフィックス・プロセッサ３４００のレジスタと通信する。少なくとも一実施例では、グラフィックス・プロセッサ３４００は、メモリにアクセスするためのメモリ・インターフェース３４１４を含む。少なくとも一実施例では、メモリ・インターフェース３４１４は、ローカル・メモリ、１つ若しくは複数の内部キャッシュ、１つ若しくは複数の共有外部キャッシュ、及び／又はシステム・メモリへのインターフェースである。
少なくとも一実施例では、グラフィックス・プロセッサ３４００はまた、ディスプレイ出力データをディスプレイ・デバイス３４２０に向けて駆動するためのディスプレイ・コントローラ３４０２も含む。少なくとも一実施例では、ディスプレイ・コントローラ３４０２は、ディスプレイ・デバイス３４２０用の１つ又は複数の重なり平面、及び多層のビデオ若しくはユーザ・インターフェース要素の合成のためのハードウェアを含む。少なくとも一実施例では、ディスプレイ・デバイス３４２０は、内部又は外部のディスプレイ・デバイスとすることができる。少なくとも一実施例では、ディスプレイ・デバイス３４２０は、仮想現実（ＶＲ）ディスプレイ・デバイス又は拡張現実（ＡＲ）ディスプレイ・デバイスなどの頭部装着型ディスプレイ・デバイスである。少なくとも一実施例では、グラフィックス・プロセッサ３４００は、ＭＰＥＧ－２などの動画エキスパート・グループ（ＭＰＥＧ）フォーマット、Ｈ．２６４／ＭＰＥＧ－４ＡＶＣなどのアドバンスト・ビデオ・コーディング（ＡＶＣ）フォーマット、並びに映画テレビ技術者協会（ＳＭＰＴＥ）４２１Ｍ／ＶＣ－１、及びＪＰＥＧなどのジョイント・フォトグラフィック・エキスパート・グループ（ＪＰＥＧ）フォーマット、及びモーションＪＰＥＧ（ＭＪＰＥＧ）フォーマットを含むがこれらに限定されない１つ又は複数のメディア符号化フォーマットに、それらのフォーマットから、又はそれらのフォーマット間で、メディアをエンコード、デコード、又はコード変換するためのビデオ・コーデック・エンジン３４０６を含む。
少なくとも一実施例では、グラフィックス・プロセッサ３４００は、たとえばビット境界ブロック転送を含む２次元（２Ｄ）ラスターライザ動作を実行するためのブロック画像転送（ＢＬＩＴ）エンジン３４０４を含む。しかし、少なくとも一実施例では、２Ｄグラフィックス動作は、グラフィックス処理エンジン（ＧＰＥ）３４１０の１つ又は複数の構成要素を使用して実行される。少なくとも一実施例では、ＧＰＥ３４１０は、３次元（３Ｄ）グラフィックス動作及びメディア動作を含むグラフィックス動作を実行するためのコンピュート・エンジンである。
少なくとも一実施例では、ＧＰＥ３４１０は、３Ｄのプリミティブ形状（たとえば、矩形、三角形など）に作用する処理関数を使用して、３次元画像及びシーンをレンダリングするなど、３Ｄ動作を実行するための３Ｄパイプライン３４１２を含む。３Ｄパイプライン３４１２は、プログラム可能で固定された関数要素を含み、これは、３Ｄ／メディア・サブシステム３４１５に対して様々なタスクを実行し、且つ／又は実行スレッドをスポーンする。３Ｄパイプライン３４１２を使用してメディア動作を実行できるが、少なくとも一実施例では、ＧＰＥ３４１０は、ビデオの後処理及び画像強調などのメディア動作を実行するために使用されるメディア・パイプライン３４１６も含む。
少なくとも一実施例では、メディア・パイプライン３４１６は、ビデオ・コーデック・エンジン３４０６の代わりに、又はそれを代表して、ビデオ・デコード加速、ビデオ・インターレース解除、及びエンコード加速などの１つ又は複数の特別なメディア動作を実行するための固定機能又はプログラム可能論理ユニットを含む。少なくとも一実施例では、メディア・パイプライン３４１６は、３Ｄ／メディア・サブシステム３４１５で実行するためのスレッドをスポーンするためのスレッド・スポーニング・ユニットをさらに含む。少なくとも一実施例では、スポーンされたスレッドは、３Ｄ／メディア・サブシステム３４１５に含まれた１つ又は複数のグラフィックス実行ユニット上で、メディア動作のための計算を実行する。
少なくとも一実施例では、３Ｄ／メディア・サブシステム３４１５は、３Ｄパイプライン３４１２及びメディア・パイプライン３４１６によってスポーンされたスレッドを実行するための論理を含む。少なくとも一実施例では、３Ｄパイプライン３４１２及びメディア・パイプライン３４１６は、スレッド実行要求を３Ｄ／メディア・サブシステム３４１５に送信し、この３Ｄ／メディア・サブシステム３４１５は、様々な要求を調停し、利用可能なスレッド実行リソースにディスパッチするためのスレッド・ディスパッチ論理を含む。少なくとも一実施例では、実行リソースは、３Ｄ及びメディア・スレッドを処理するためのグラフィックス実行ユニットのアレイを含む。少なくとも一実施例では、３Ｄ／メディア・サブシステム３４１５は、スレッド命令及びデータのための１つ又は複数の内部キャッシュを含む。少なくとも一実施例では、サブシステム３４１５はまた、スレッド間でデータを共有し、出力データを記憶するための、レジスタ及びアドレス可能メモリを含む共有メモリも含む。
１つ若しくは複数の実施例に関連する推論及び／又は訓練の動作を実行するために、推論及び／又は訓練論理１３１５が使用される。推論及び／又は訓練論理１３１５に関する詳細事項は、図１３Ａ及び／又は図１３Ｂと併せて本明細書に提供される。少なくとも一実施例では、推論及び／又は訓練論理１３１５の一部又はすべてが、グラフィックス・プロセッサ３４００に組み込まれてもよい。たとえば、少なくとも一実施例では、本明細書に記載の訓練及び／又は推論の技法は、３Ｄパイプライン３４１２に具体化されたＡＬＵのうちの１つ又は複数を使用してもよい。さらに、少なくとも一実施例では、本明細書に記載の推論及び／又は訓練の動作は、図１３Ａ又は図１３Ｂに示す論理以外の論理を使用して行われてもよい。少なくとも一実施例では、重みパラメータは、本明細書に記載の１つ又は複数の機械学習アルゴリズム、ニューラル・ネットワーク・アーキテクチャ、ユース・ケース、又は訓練技法を実行するためのグラフィックス・プロセッサ３４００のＡＬＵを構成するオン・チップ若しくはオフ・チップのメモリ及び／又はレジスタ（図示する又は図示せず）に記憶されてもよい。
上述した技法は、たとえば、人間とロボットとの間で物体の交換を実行するためのシステムを実装するために使用されてもよい。いくつかの実例は、上述したように人間の手によって保持される物体の把持を生成するように訓練されたニューラル・ネットワークを作製するために、推論及び／又は訓練論理を使用する。
図３５は、少なくとも一実施例によるグラフィックス・プロセッサのグラフィックス処理エンジン３５１０のブロック図である。少なくとも一実施例では、グラフィックス処理エンジン（ＧＰＥ）３５１０は、図３４に示すＧＰＥ３４１０の１つのバージョンである。少なくとも一実施例では、メディア・パイプライン３４１６は任意選択であり、ＧＰＥ３５１０内に明示的に含まれなくてもよい。少なくとも一実施例では、別個のメディア及び／又は画像のプロセッサが、ＧＰＥ３５１０に結合される。
少なくとも一実施例では、ＧＰＥ３５１０は、コマンド・ストリーマ３５０３に結合され、又はそれを含み、このコマンド・ストリーマは、３Ｄパイプライン３４１２及び／又はメディア・パイプライン３４１６にコマンド・ストリームを提供する。少なくとも一実施例では、コマンド・ストリーマ３５０３はメモリに結合され、このメモリは、システム・メモリであってもよく、又は内部キャッシュ・メモリ及び共有キャッシュ・メモリのうちの１つ若しくは複数であってもよい。少なくとも一実施例では、コマンド・ストリーマ３５０３は、メモリからコマンドを受信し、３Ｄパイプライン３４１２及び／又はメディア・パイプライン３４１６にコマンドを送信する。少なくとも一実施例では、コマンドは、リング・バッファからフェッチされる命令、プリミティブ、又はマイクロ・オペレーションであり、このリング・バッファは、３Ｄパイプライン３４１２及びメディア・パイプライン３４１６のためのコマンドを記憶する。少なくとも一実施例では、リング・バッファはさらに、複数のコマンドのバッチを記憶するバッチ・コマンド・バッファを含むことができる。少なくとも一実施例では、３Ｄパイプライン３４１２用のコマンドはまた、３Ｄパイプライン３４１２用の頂点及び形状のデータ、並びに／又はメディア・パイプライン３４１６用の画像データ及びメモリ・オブジェクトなどであるがこれらに限定されないメモリに記憶されたデータへの参照も含むことができる。少なくとも一実施例では、３Ｄパイプライン３４１２及びメディア・パイプライン３４１６は、演算を実行することにより、又は１つ若しくは複数の実行スレッドをグラフィックス・コア・アレイ３５１４にディスパッチすることにより、コマンド及びデータを処理する。少なくとも一実施例では、グラフィックス・コア・アレイ３５１４は、グラフィックス・コア（たとえば、グラフィックス・コア３５１５Ａ、グラフィックス・コア３５１５Ｂ）の１つ又は複数のブロックを含み、各ブロックは、１つ又は複数のグラフィックス・コアを含む。少なくとも一実施例では、各グラフィックス・コアは、グラフィックス及びコンピュートの動作を実行するための汎用及びグラフィックス専用の実行論理、並びに、図１３Ａ及び図１３Ｂの推論及び／又は訓練論理１３１５を含め、固定機能のテクスチャ処理及び／又は機械学習、及び人工知能の加速論理を含むグラフィックス実行リソースのセットを含む。
少なくとも一実施例では、３Ｄパイプライン３４１２は、命令を処理し、実行スレッドをグラフィックス・コア・アレイ３５１４にディスパッチすることにより、頂点シェーダ、ジオメトリ・シェーダ、ピクセル・シェーダ、フラグメント・シェーダ、コンピュート・シェーダ、又は他のシェーダ・プログラムなどの１つ又は複数のシェーダ・プログラムを処理するための固定機能及びプログラム可能論理を含む。少なくとも一実施例では、グラフィックス・コア・アレイ３５１４は、シェーダ・プログラムを処理する際に使用するための実行リソースの統合ブロックを提供する。少なくとも一実施例では、グラフィック・コア・アレイ３５１４のグラフィックス・コア３５１５Ａ～３５１５Ｂ内の多目的の実行論理（たとえば、実行ユニット）は、様々な３ＤのＡＰＩシェーダ言語のサポートを含み、複数のシェーダに関連付けられた複数の同時実行スレッドを実行することができる。
少なくとも一実施例では、グラフィックス・コア・アレイ３５１４はまた、ビデオ及び／又は画像の処理など、メディア機能を実行するための実行論理も含む。少なくとも一実施例では、実行ユニットはさらに、グラフィックス処理動作に加えて並列の汎用計算動作を実行するようにプログラム可能な汎用論理を含む。
少なくとも一実施例では、グラフィックス・コア・アレイ３５１４上で実行しているスレッドにより生成される出力データは、統合リターン・バッファ（ＵＲＢ）３５１８のメモリにデータを出力することができる。ＵＲＢ３５１８は、複数のスレッド用のデータを記憶することができる。少なくとも一実施例では、グラフィックス・コア・アレイ３５１４上で実行している異なるスレッド間でデータを送信するために、ＵＲＢ３５１８を使用してもよい。少なくとも一実施例では、グラフィックス・コア・アレイ３５１４上のスレッドと、共有機能論理３５２０内の固定機能論理との間の同期のために、ＵＲＢ３５１８がさらに使用されてもよい。
少なくとも一実施例では、グラフィックス・コア・アレイ３５１４はスケーラブルであり、それにより、グラフィックス・コア・アレイ３５１４は、可変数のグラフィックス・コアを含み、それぞれのグラフィックス・コアが、ＧＰＥ３５１０の目的とする電力及び性能のレベルに基づき可変数の実行ユニットを有する。少なくとも一実施例では、実行リソースは動的にスケーラブルであり、それにより実行リソースは、必要に応じて有効化又は無効化されてもよい。
少なくとも一実施例では、グラフィックス・コア・アレイ３５１４は、グラフィックス・コア・アレイ３５１４のグラフィックス・コア間で共有される複数のリソースを含む共有機能論理３５２０に結合される。少なくとも一実施例では、共有機能論理３５２０によって実行される共有機能は、専用の補足機能をグラフィックス・コア・アレイ３５１４に提供するハードウェア論理ユニットに具体化される。少なくとも一実施例では、共有機能論理３５２０は、サンプラ３５２１、数理３５２２、及びスレッド間通信（ＩＴＣ）３５２３の論理を含むが、これらに限定されない。少なくとも一実施例では、１つ又は複数のキャッシュ３５２５が、共有機能論理３５２０にイン含まれ、又はそれに結合される。
少なくとも一実施例では、専用機能の需要が不十分でグラフィックス・コア・アレイ３５１４内に含められない場合に、共有機能が使用される。少なくとも一実施例では、専用機能を１つにインスタンス化したものが、共有機能論理３５２０において使用され、グラフィックス・コア・アレイ３５１４内の他の実行リソース間で共有される。少なくとも一実施例では、共有機能論理３５２０内の、グラフィックス・コア・アレイ３５１４によってのみ使用される特定の共有機能は、グラフィックス・コア・アレイ３５１４内の共有機能論理３５１６内に含まれてもよい。少なくとも一実施例では、グラフィックス・コア・アレイ３５１４内の共有機能論理３５１６は、共有機能論理３５２０内の一部又はすべての論理を含むことができる。少なくとも一実施例では、共有機能論理３５２０内のすべての論理要素は、グラフィックス・コア・アレイ３５１４の共有機能論理３５１６内で複製されてもよい。少なくとも一実施例では、共有機能論理３５２０は、グラフィックス・コア・アレイ３５１４内の共有機能論理３５１６に有利なように除外される。
１つ若しくは複数の実施例に関連する推論及び／又は訓練の動作を実行するために、推論及び／又は訓練論理１３１５が使用される。推論及び／又は訓練論理１３１５に関する詳細事項は、図１３Ａ及び／又は図１３Ｂと併せて本明細書に提供される。少なくとも一実施例では、推論及び／又は訓練論理１３１５の一部又はすべてが、グラフィックス・プロセッサ３５１０に組み込まれてもよい。たとえば、少なくとも一実施例では、本明細書に記載の訓練及び／又は推論の技法は、３Ｄパイプライン３４１２、グラフィックス・コア３５１５Ａ、共有機能論理３５１６、グラフィックス・コア３５１５Ｂ、共有機能論理３５２０、又は図３５の他の論理に具体化されたＡＬＵのうちの１つ又は複数を使用してもよい。さらに、少なくとも一実施例では、本明細書に記載の推論及び／又は訓練の動作は、図１３Ａ又は図１３Ｂに示す論理以外の論理を使用して行われてもよい。少なくとも一実施例では、重みパラメータは、本明細書に記載の１つ又は複数の機械学習アルゴリズム、ニューラル・ネットワーク・アーキテクチャ、ユース・ケース、又は訓練技法を実行するためのグラフィックス・プロセッサ３５１０のＡＬＵを構成するオン・チップ若しくはオフ・チップのメモリ及び／又はレジスタ（図示する又は図示せず）に記憶されてもよい。
上述した技法は、たとえば、人間とロボットとの間で物体の交換を実行するためのシステムを実装するために使用されてもよい。いくつかの実例は、上述したように人間の手によって保持される物体の把持を生成するように訓練されたニューラル・ネットワークを作製するために、推論及び／又は訓練論理を使用する。
図３６は、本明細書に記載の少なくとも一実施例によるグラフィックス・プロセッサ・コア３６００のハードウェア論理のブロック図である。少なくとも一実施例では、グラフィックス・プロセッサ・コア３６００は、グラフィックス・コア・アレイ内に含まれる。少なくとも一実施例では、コア・スライスと呼ばれることもあるグラフィックス・プロセッサ・コア３６００は、モジュール式グラフィックス・プロセッサ内の１つ又は複数のグラフィックス・コアとすることができる。少なくとも一実施例では、グラフィックス・プロセッサ・コア３６００は、１つのグラフィックス・コア・スライスの例示であり、本明細書に記載のグラフィックス・プロセッサは、目的の電力及び性能のエンベロープに基づき、複数のグラフィックス・コア・スライスを含んでもよい。少なくとも一実施例では、各グラフィックス・コア３６００は、汎用及び固定の機能論理のモジュール式ブロックを含むサブ・スライスとも呼ばれる複数のサブ・コア３６０１Ａ～３６０１Ｆに結合された固定機能ブロック３６３０を含むことができる。
少なくとも一実施例では、固定機能ブロック３６３０は、たとえば低性能及び／又は低電力のグラフィックス・プロセッサ実装形態において、グラフィックス・プロセッサ３６００内のすべてのサブ・コアが共有できるジオメトリ／固定機能パイプライン３６３６を含む。少なくとも一実施例では、ジオメトリ／固定機能パイプライン３６３６は、３Ｄ固定機能パイプライン、ビデオ・フロント・エンド・ユニット、スレッド・スポーナ（ｓｐａｗｎｅｒ）及びスレッド・ディスパッチャ、並びに統合リターン・バッファを管理する統合リターン・バッファ・マネージャを含む。
少なくとも一実施例では、固定機能ブロック３６３０はまた、グラフィックスＳｏＣインターフェース３６３７、グラフィックス・マイクロコントローラ３６３８、及びメディア・パイプライン３６３９を含む。グラフィックスＳｏＣインターフェース３６３７は、グラフィックス・コア３６００と、システム・オン・チップ集積回路内の他のプロセッサ・コアとのインターフェースを提供する。少なくとも一実施例では、グラフィックス・マイクロコントローラ３６３８は、スレッド・ディスパッチ、スケジューリング、及びプリエンプションを含め、グラフィックス・プロセッサ３６００の様々な機能を管理するように構成可能なプログラム可能サブ・プロセッサである。少なくとも一実施例では、メディア・パイプライン３６３９は、画像及びビデオのデータを含むマルチメディア・データのデコーディング、エンコーディング、前処理、及び／又は後処理を容易にする論理を含む。少なくとも一実施例では、メディア・パイプライン３６３９は、サブ・コア３６０１～３６０１Ｆ内のコンピュート論理又はサンプリング論理への要求を介して、メディア動作を実装する。
少なくとも一実施例では、ＳｏＣインターフェース３６３７は、汎用アプリケーション・プロセッサ・コア（たとえば、ＣＰＵ）、及び／又はＳｏＣ内の他の構成要素と、グラフィックス・コア３６００が通信できるようにし、ＳｏＣ内の他の構成要素には、共有ラスト・レベル・キャッシュ・メモリ、システムＲＡＭ、及び／又は組み込みオン・チップ若しくはオン・パッケージのＤＲＡＭなどのメモリ階層要素が含まれる。少なくとも一実施例では、ＳｏＣインターフェース３６３７はまた、カメラ・イメージング・パイプラインなど、ＳｏＣ内の固定機能デバイスとの通信を可能にし、グラフィックス・コア３６００とＳｏＣ内のＣＰＵとの間で共有することができるグローバル・メモリ・アトミックの使用を可能にし、且つ／又はそれを実装する。少なくとも一実施例では、ＳｏＣインターフェース３６３７はまた、グラフィックス・コア３６００の電力管理制御を実装することができ、グラフィックス・コア３６００のクロック・ドメインと、ＳｏＣ内の他のクロック・ドメインとの間でインターフェースをとれるようにする。少なくとも一実施例では、ＳｏＣインターフェース３６３７は、グラフィックス・プロセッサ内の１つ又は複数のグラフィックス・コアのそれぞれにコマンド及び命令を提供するように構成されたコマンド・ストリーマ及びグローバル・スレッド・ディスパッチャから、コマンド・バッファを受信できるようにする。少なくとも一実施例では、コマンド及び命令は、メディア動作が実行されるときにはメディア・パイプライン３６３９にディスパッチされることが可能であり、又はグラフィックス処理動作が実行されるときには、ジオメトリ及び固定機能パイプライン（たとえば、ジオメトリ及び固定機能パイプライン３６３６、ジオメトリ及び固定機能パイプライン３６１４）にディスパッチされることが可能である。
少なくとも一実施例では、グラフィックス・マイクロコントローラ３６３８は、グラフィックス・コア３６００のための様々なスケジューリング及び管理タスクを実行するように構成されることが可能である。少なくとも一実施例では、グラフィックス・マイクロコントローラ３６３８は、サブ・コア３６０１Ａ～３６０１Ｆ内の実行ユニット（ＥＵ：ｅｘｅｃｕｔｉｏｎ ｕｎｉｔ）アレイ３６０２Ａ～３６０２Ｆ、３６０４Ａ～３６０４Ｆ内の様々なグラフィックス並列エンジンで、グラフィックスを実行し、且つ／又はワークロードのスケジューリングをコンピュートすることができる。少なくとも一実施例では、グラフィックス・コア３６００を含むＳｏＣのＣＰＵコア上で実行されているホスト・ソフトウェアは、複数のグラフィックス・プロセッサ・ドアベルのうちの１つにワークロードを送出することができ、このドアベルが、適切なグラフィックス・エンジンに対するスケジューリング動作を呼び出す。少なくとも一実施例では、スケジューリング動作は、どのワークロードを次に実行すべきかを判定すること、コマンド・ストリーマにワークロードを送出すること、エンジン上で実行されている既存のワークロードをプリエンプションすること、ワークロードの進行を管理すること、及びワークロードが完了したときにホスト・ソフトウェアに通知することを含む。少なくとも一実施例では、グラフィックス・マイクロコントローラ３６３８はまた、グラフィックス・コア３６００の低電力又はアイドル状態を促進して、オペレーティング・システム及び／又はシステム上のグラフィックス・ドライバ・ソフトウェアとは無関係に、低電力状態の移行全体にわたってグラフィックス・コア３６００内のレジスタを保存及び復元する機能をグラフィックス・コア３６００に提供することができる。
少なくとも一実施例では、グラフィックス・コア３６００は、図示してあるサブ・コア３６０１Ａ～３６０１Ｆより多くの、又はそれより少ない、Ｎ個までのモジュール式サブ・コアを有してもよい。Ｎ個のサブ・コアのセットごとに、少なくとも一実施例では、グラフィックス・コア３６００はまた、共有機能論理３６１０、共有及び／又はキャッシュ・メモリ３６１２、ジオメトリ／固定機能パイプライン３６１４、並びに様々なグラフィックスを加速し、処理動作をコンピュートするための追加の固定機能論理３６１６を含むことができる。少なくとも一実施例では、共有機能論理３６１０は、グラフィックス・コア３６００内の各Ｎ個のサブ・コアが共有できる論理ユニット（たとえば、サンプラ、数理、及び／又はスレッド間通信の論理）を含むことができる。共有の、及び／又はキャッシュのメモリ３６１２は、グラフィックス・コア３６００内のＮ個のサブ・コア３６０１Ａ～３６０１Ｆのためのラスト・レベル・キャッシュとすることができ、また、複数のサブ・コアがアクセスできる共有メモリとしての役割も果たすことができる。少なくとも一実施例では、ジオメトリ／固定機能パイプライン３６１４は、固定機能ブロック３６３０内のジオメトリ／固定機能パイプライン３６３６の代わりに含まれてもよく、同じ又は同様の論理ユニットを含むことができる。
少なくとも一実施例では、グラフィックス・コア３６００は、グラフィックス・コア３６００が使用するための様々な固定機能加速論理を含むことができる追加の固定機能論理３６１６を含む。少なくとも一実施例では、追加の固定機能論理３６１６は、位置限定シェーディング（ｐｏｓｉｔｉｏｎ ｏｎｌｙ ｓｈａｄｉｎｇ）に使用するための追加のジオメトリ・パイプラインを含む。位置限定シェーディングでは、少なくとも２つのジオメトリ・パイプラインが存在しているが、ジオメトリ／固定機能パイプライン３６１６、３６３６内の完全ジオメトリ・パイプラインと選別パイプライン（ｃｕｌｌ ｐｉｐｅｌｉｎｅ）においてであり、この選別パイプラインは、追加の固定機能論理３６１６内に含まれてもよい追加のジオメトリ・パイプラインである。少なくとも一実施例では、選別パイプラインは、完全ジオメトリ・パイプラインの縮小版である。少なくとも一実施例では、完全パイプライン及び選別パイプラインは、アプリケーションの異なるインスタンスを実行することができ、各インスタンスは別個のコンテキストを有する。少なくとも一実施例では、位置限定シェーディングは、切り捨てられた三角形の長い選別ランを隠すことができ、いくつかのインスタンスにおいてシェーディングを早く完了させることができる。たとえば、少なくとも一実施例では、選別パイプラインは、ピクセルをフレーム・バッファにラスタ化及びレンダリングすることなく、頂点の位置属性をフェッチしシェーディングするので、追加の固定機能論理３６１６内の選別パイプライン論理は、メイン・アプリケーションと並列で位置シェーダを実行することができ、完全パイプラインよりも全体的に早く臨界結果（ｃｒｉｔｉｃａｌ ｒｅｓｕｌｔ）を生成する。少なくとも一実施例では、選別パイプラインは、生成された臨界結果を使用して、すべての三角形について、これらの三角形が選別されているかどうかに関わらず、可視性情報をコンピュートすることができる。少なくとも一実施例では、（このインスタンスではリプレイ・パイプラインと呼ばれてもよい）完全パイプラインは、可視性情報を消費して、選別された三角形を飛ばして可視三角形だけをシェーディングすることができ、この可視性三角形が、最終的にラスタ化フェーズに渡される。
少なくとも一実施例では、追加の固定機能論理３６１６はまた、機械学習の訓練又は推論の最適化を含む実装形態のために、固定機能の行列乗算論理など、機械学習の加速論理を含むことができる。
少なくとも一実施例では、各グラフィックス・サブ・コア３６０１Ａ～３６０１Ｆ内において、実行リソースのセットを含み、このセットは、グラフィックス・パイプライン、メディア・パイプライン、又はシェーダ・プログラムからの要求に応答して、グラフィックス動作、メディア動作、及びコンピュート動作を実行するために使用されてもよい。少なくとも一実施例では、グラフィックス・サブ・コア３６０１Ａ～３６０１Ｆは、複数のＥＵアレイ３６０２Ａ～３６０２Ｆ、３６０４Ａ～３６０４Ｆ、スレッド・ディスパッチ及びスレッド間通信（ＴＤ／ＩＣ：ｔｈｒｅａｄ ｄｉｓｐａｔｃｈ ａｎｄ ｉｎｔｅｒ－ｔｈｒｅａｄ ｃｏｍｍｕｎｉｃａｔｉｏｎ）論理３６０３Ａ～３６０３Ｆ、３Ｄ（たとえば、テクスチャ）サンプラ３６０５Ａ～３６０５Ｆ、メディア・サンプラ３６０６Ａ～３６０６Ｆ、シェーダ・プロセッサ３６０７Ａ～３６０７Ｆ、及び共有ローカル・メモリ（ＳＬＭ：ｓｈａｒｅｄ ｌｏｃａｌ ｍｅｍｏｒｙ）３６０８Ａ～３６０８Ｆを含む。ＥＵアレイ３６０２Ａ～３６０２Ｆ、３６０４Ａ～３６０４Ｆはそれぞれ、複数の実行ユニットを含み、これらは、グラフィックス、メディア、又はコンピュート・シェーダ・プログラムを含むグラフィックス動作、メディア動作、又はコンピュート動作のサービスにおいて浮動小数点及び整数／固定小数点の論理演算を実行することができる汎用グラフィックス・プロセッシング・ユニットである。少なくとも一実施例では、ＴＤ／ＩＣ論理３６０３Ａ～３６０３Ｆは、サブ・コア内の実行ユニットのためのローカル・スレッド・ディスパッチ及びスレッド制御動作を実行し、サブ・コアの実行ユニット上で実行されているスレッド間の通信を容易にする。少なくとも一実施例では、３Ｄサンプラ３６０５Ａ～３６０５Ｆは、テクスチャ又は他の３Ｄグラフィックス関連のデータをメモリに読み取ることができる。少なくとも一実施例では、３Ｄサンプラは、所与のテクスチャに関連付けられた構成済みサンプル状態及びテクスチャ・フォーマットに基づき、テクスチャ・データを異なるやり方で読み取ることができる。少なくとも一実施例では、メディア・サンプラ３６０６Ａ～３６０６Ｆは、メディア・データに関連付けられたタイプ及びフォーマットに基づき、同様の読取り動作を実行することができる。少なくとも一実施例では、各グラフィックス・サブ・コア３６０１Ａ～３６０１Ｆは、代替的に３Ｄとメディアの統合サンプラを含むことができる。少なくとも一実施例では、各サブ・コア３６０１Ａ～３６０１Ｆ内の実行ユニット上で実行しているスレッドは、スレッド・グループ内で実行しているスレッドが、オン・チップ・メモリの共通プールを使用して実行できるようにするために、各サブ・コア内の共有ローカル・メモリ３６０８Ａ～３６０８Ｆを利用することができる。
１つ若しくは複数の実施例に関連する推論及び／又は訓練の動作を実行するために、推論及び／又は訓練論理１３１５が使用される。推論及び／又は訓練論理１３１５に関する詳細事項は、図１３Ａ及び／又は図１３Ｂと併せて本明細書に提供される。少なくとも一実施例では、推論及び／又は訓練論理１３１５の一部又はすべてが、グラフィックス・プロセッサ３６１０に組み込まれてもよい。たとえば、少なくとも一実施例では、本明細書に記載の訓練及び／又は推論の技法は、３Ｄパイプライン３６１０、グラフィックス・マイクロコントローラ３６３８、ジオメトリ及び固定機能パイプライン３６１４及び３６３６、又は図３３の他の論理に具体化されたＡＬＵのうちの１つ又は複数を使用してもよい。さらに、少なくとも一実施例では、本明細書に記載の推論及び／又は訓練の動作は、図１３Ａ又は図１３Ｂに示す論理以外の論理を使用して行われてもよい。少なくとも一実施例では、重みパラメータは、本明細書に記載の１つ又は複数の機械学習アルゴリズム、ニューラル・ネットワーク・アーキテクチャ、ユース・ケース、又は訓練技法を実行するためのグラフィックス・プロセッサ３６００のＡＬＵを構成するオン・チップ若しくはオフ・チップのメモリ及び／又はレジスタ（図示する又は図示せず）に記憶されてもよい。
上述した技法は、たとえば、人間とロボットとの間で物体の交換を実行するためのシステムを実装するために使用されてもよい。いくつかの実例は、上述したように人間の手によって保持される物体の把持を生成するように訓練されたニューラル・ネットワークを作製するために、推論及び／又は訓練論理を使用する。
図３７Ａ～図３７Ｂは、少なくとも一実施例による、グラフィックス・プロセッサ・コアの処理要素のアレイを含むスレッド実行論理３７００を示す。図３７Ａは、スレッド実行論理３７００が使用される少なくとも一実施例を示す。図３７Ｂは、少なくとも一実施例による、実行ユニットの例示的な内部詳細事項を示す図である。
図３７Ａに示すように、少なくとも一実施例では、スレッド実行論理３７００は、シェーダ・プロセッサ３７０２、スレッド・ディスパッチャ３７０４、命令キャッシュ３７０６、複数の実行ユニット３７０８Ａ～３７０８Ｎを含むスケーラブル実行ユニット・アレイ、サンプラ３７１０、データ・キャッシュ３７１２、及びデータ・ポート３７１４を含む。少なくとも一実施例では、スケーラブル実行ユニット・アレイは、１つ又は複数の実行ユニット（たとえば、実行ユニット３７０８Ａ、３７０８Ｂ、３７０８Ｃ、３７０８Ｄ～３７０８Ｎ－１、及び３７０８Ｎのうちのいずれか）を、たとえばワークロードの計算要件に基づき有効又は無効にすることによって、動的に拡大縮小することができる。少なくとも一実施例では、スケーラブル実行ユニットは、実行ユニットのそれぞれにリンクされる相互接続ファブリックを介して相互接続される。少なくとも一実施例では、スレッド実行論理３７００は、命令キャッシュ３７０６、データ・ポート３７１４、サンプラ３７１０、及び実行ユニット３７０８Ａ～３７０８Ｎのうちの１つ又は複数を介した、システム・メモリ又はキャッシュ・メモリなどのメモリへの１つ又は複数の接続を含む。少なくとも一実施例では、各実行ユニット（たとえば、３７０８Ａ）は、スレッドごとに複数のデータ要素を並列で処理しながら、複数の同時のハードウェア・スレッドを実行することができるスタンドアロンのプログラム可能な汎用計算ユニットである。少なくとも一実施例では、実行ユニット３７０８Ａ～３７０８Ｎのアレイは、任意の数の個々の実行ユニットを含むように拡大縮小可能である。
少なくとも一実施例では、実行ユニット３７０８Ａ～３７０８Ｎは、シェーダ・プログラムを実行するために主に使用される。少なくとも一実施例では、シェーダ・プロセッサ３７０２は、様々なシェーダ・プログラムを処理し、シェーダ・プログラムに関連付けられた実行スレッドを、スレッド・ディスパッチャ３７０４を介してディスパッチすることができる。少なくとも一実施例では、スレッド・ディスパッチャ３７０４は、グラフィックス及びメディア・パイプラインからのスレッド開始要求を調停し、要求されたスレッドを、実行ユニット３７０８Ａ～３７０８Ｎの１つ又は複数の実行ユニット上でインスタンス化するための論理を含む。たとえば、少なくとも一実施例では、ジオメトリ・パイプラインは、頂点シェーダ、モザイク・シェーダ、又はジオメトリ・シェーダを、処理できるようにスレッド実行論理にディスパッチすることができる。少なくとも一実施例では、スレッド・ディスパッチャ３７０４はまた、実行しているシェーダ・プログラムからのラン・タイム・スレッド・スポーニング要求（ｓｐａｗｎｉｎｇ ｒｅｑｕｅｓｔ）を処理することができる。
少なくとも一実施例では、実行ユニット３７０８Ａ～３７０８Ｎは、多くの標準的な３Ｄグラフィックス・シェーダ命令のネイティブ・サポートを含む命令セットをサポートし、それにより、グラフィックス・ライブラリ（たとえば、Ｄｉｒｅｃｔ３Ｄ及びＯｐｅｎＧＬ）からのシェーダ・プログラムが、最小のトランスレーションで実行される。少なくとも一実施例では、実行ユニットは、頂点及びジオメトリの処理（たとえば、頂点プログラム、ジオメトリ・プログラム、頂点シェーダ）、ピクセル処理（たとえば、ピクセル・シェーダ、フラグメント・シェーダ）、及び汎用処理（たとえば、コンピュート及びメディアのシェーダ）をサポートする。少なくとも一実施例では、１つ又は複数の算術論理演算ユニット（ＡＬＵ）を含む各実行ユニット３７０８Ａ～３７０８Ｎのそれぞれは、単一命令複数データ（ＳＩＭＤ）の実行を複数発行することができ、マルチスレッド化された動作によって、メモリ・アクセスのレイテンシが高いにもかかわらず、効率的な実行環境が可能になる。少なくとも一実施例では、各実行ユニット内の各ハードウェア・スレッドは、専用の高帯域幅レジスタ・ファイル及び関連する独立したスレッド状態を有する。少なくとも一実施例では、実行は、整数演算、単精度及び倍精度の浮動小数点演算、ＳＩＭＤブランチ性能、論理演算、超越演算、及び他の種々の演算を行うことができるパイプラインに対して、クロック当たり複数発行される。少なくとも一実施例では、メモリ、又は共有機能のうちの１つからのデータを待機している間に、実行ユニット３７０８Ａ～３７０８Ｎ内の従属論理は、要求したデータが戻されるまで、待機スレッドをスリープ状態にする。少なくとも一実施例では、待機スレッドがスリープ状態の間に、ハードウェア・リソースは他のスレッドの処理に専念してもよい。たとえば、少なくとも一実施例では、頂点シェーダ動作に関連する遅延中に、実行ユニットは、ピクセル・シェーダ、フラグメント・シェーダ、又は異なる頂点シェーダを含む別のタイプのシェーダ・プログラムを実行することができる。
少なくとも一実施例では、実行ユニット３７０８Ａ～３７０８Ｎの各実行ユニットは、データ要素のアレイに対して動作する。少なくとも一実施例では、データ要素の数は「実行サイズ」であり、又は命令に対するチャネルの数である。少なくとも一実施例では、実行チャネルは、データ要素のアクセス、マスキング、及び命令内のフロー制御に関する実行の論理ユニットである。少なくとも一実施例では、チャネルの数は、特定のグラフィックス・プロセッサのための物理的な算術論理演算ユニット（ＡＬＵ）又は浮動小数点ユニット（ＦＰＵ）の数とは無関係であってもよい。少なくとも一実施例では、実行ユニット３７０８Ａ～３７０８Ｎは、整数及び浮動小数点のデータ・タイプをサポートしてもよい。
少なくとも一実施例では、実行ユニット命令セットは、ＳＩＭＤ命令を含む。少なくとも一実施例では、様々なデータ要素が、パック・データ・タイプとしてレジスタに記憶されてもよく、実行ユニットは、要素のデータ・サイズに基づき様々な要素を処理する。たとえば、少なくとも一実施例では、２５６ビット幅ベクトルで動作しているとき、ベクトルの２５６ビットがレジスタに記憶され、実行ユニットは、４個の別々の６４ビット・パック・データ要素（クワッド・ワード（ＱＷ：Ｑｕａｄ－Ｗｏｒｄ）サイズのデータ要素）、８個の別々の３２ビット・パック・データ要素（ダブル・ワード（ＤＷ：Ｄｏｕｂｌｅ Ｗｏｒｄ）サイズのデータ要素）、１６個の別々の１６ビット・パック・データ要素（ワード（Ｗ：Ｗｏｒｄ）サイズのデータ要素）、又は３２個の別々の８ビット・データ要素（バイト（Ｂ：ｂｙｔｅ）サイズのデータ要素）としてベクトル上で動作する。しかし少なくとも一実施例では、異なるベクトル幅及びレジスタサイズが考えられる。
少なくとも一実施例では、１つ又は複数の実行ユニットを組み合わせて、融合ＥＵに共通したスレッド制御論理（３７０７Ａ～３７０７Ｎ）を有する融合実行ユニット（ｆｕｓｅｄ ｅｘｅｃｕｔｉｏｎ ｕｎｉｔ）３７０９Ａ～３７０９Ｎにすることができる。少なくとも一実施例では、複数のＥＵを融合して、ＥＵグループにすることができる。少なくとも一実施例では、融合ＥＵグループの各ＥＵは、別々のＳＩＭＤハードウェア・スレッドを実行するように構成されることが可能である。融合ＥＵグループのＥＵの数は、様々な実施例に応じて異なってもよい。少なくとも一実施例では、ＳＩＭＤ８、ＳＩＭＤ１６、及びＳＩＭＤ３２を含むがこれに限定されない様々なＳＩＭＤ幅を、ＥＵごとに実行することができる。少なくとも一実施例では、各融合グラフィックス実行ユニット３７０９Ａ～３７０９Ｎは、少なくとも２つの実行ユニットを含む。たとえば、少なくとも一実施例では、融合実行ユニット３７０９Ａは、第１のＥＵ３７０８Ａ、第２のＥＵ３７０８Ｂ、及び第１のＥＵ３７０８Ａと第２のＥＵ３７０８Ｂに共通のスレッド制御論理３７０７Ａを含む。少なくとも一実施例では、スレッド制御論理３７０７Ａは、融合グラフィックス実行ユニット３７０９Ａで実行されているスレッドを制御して、融合実行ユニット３７０９Ａ～３７０９Ｎ内の各ＥＵを、共通の命令ポインタ・レジスタを使用して実行できるようにする。
少なくとも一実施例では、１つ又は複数の内部命令キャッシュ（たとえば、３７０６）は、実行ユニットに対するスレッド命令をキャッシュするためにスレッド実行論理３７００に含まれる。少なくとも一実施例では、１つ又は複数のデータ・キャッシュ（たとえば、３７１２）は、スレッド実行中にスレッド・データをキャッシュするために含まれる。少なくとも一実施例では、サンプラ３７１０は、３Ｄ動作のためのテクスチャ・サンプリング、及びメディア動作のためのメディア・サンプリングを実行するために含まれる。少なくとも一実施例では、サンプラ３７１０は、特別なテクスチャ又はメディア・サンプリング機能を含み、サンプリングされたデータを実行ユニットに提供する前に、サンプリング処理中にテクスチャ又はメディアのデータを処理する。
実行中、少なくとも一実施例では、グラフィックス及びメディア・パイプラインは、スレッド開始要求を、スレッド・スポーニング及びディスパッチ論理を介してスレッド実行論理３７００に送る。少なくとも一実施例では、幾何学的物体のグループが処理され、ピクセル・データにラスタ化されたら、シェーダ・プロセッサ３７０２内のピクセル・プロセッサ論理（たとえば、ピクセル・シェーダ論理、フラグメント・シェーダ論理など）が呼び出されて、出力情報をさらにコンピュートし、結果を出力面（たとえば、色バッファ、深度バッファ、ステンシル・バッファなど）に書き込ませる。少なくとも一実施例では、ピクセル・シェーダ又はフラグメント・シェーダは、ラスタ化された物体間で補間されることになる様々な頂点属性の値を計算する。少なくとも一実施例では、次いで、シェーダ・プロセッサ３７０２内のピクセル・プロセッサ論理が、アプリケーション・プログラミング・インターフェース（ＡＰＩ）付きのピクセル・シェーダ・プログラム又はフラグメント・シェーダ・プログラムを実行する。少なくとも一実施例では、シェーダ・プログラムを実行するために、シェーダ・プロセッサ３７０２は、スレッド・ディスパッチャ３７０４を介してスレッドを実行ユニット（たとえば、３７０８Ａ）にディスパッチする。少なくとも一実施例では、シェーダ・プロセッサ３７０２は、サンプラ３７１０のテクスチャ・サンプリング論理を使用して、メモリに記憶されたテクスチャ・マップのテクスチャ・データにアクセスする。少なくとも一実施例では、テクスチャ・データ及び入力ジオメトリ・データに対する算術演算によって、各ジオメトリ・フラグメントのピクセル色データがコンピュートされ、又はさらに処理されないように１つ又は複数のピクセルが切り捨てられる。
少なくとも一実施例では、データ・ポート３７１４は、スレッド実行論理３７００のためのメモリ・アクセス機構を提供して、処理済みデータを、グラフィックス・プロセッサ出力パイプラインでさらに処理できるようにメモリに出力する。少なくとも一実施例では、データ・ポート３７１４は、１つ又は複数のキャッシュ・メモリ（たとえば、データ・キャッシュ３７１２）を含み、又はそれに結合されて、データ・ポートを介したメモリ・アクセスのためのデータをキャッシュする。
図３７Ｂに示してあるように、少なくとも一実施例では、グラフィック実行ユニット３７０８は、命令フェッチ・ユニット３７３７、汎用レジスタ・ファイル・アレイ（ＧＲＦ：ｇｅｎｅｒａｌ ｒｅｇｉｓｔｅｒ ｆｉｌｅ ａｒｒａｙ）３７２４、アーキテクチャ・レジスタ・ファイル・アレイ（ＡＲＦ）３７２６、スレッド調停装置（ａｒｂｉｔｅｒ）３７２２、送信ユニット３７３０、ブランチ・ユニット３７３２、ＳＩＭＤ浮動小数点ユニット（ＦＰＵ）３７３４のセット、及び少なくとも一実施例では、専用整数ＳＩＭＤ ＡＬＵ３７３５のセットを含むことができる。少なくとも一実施例では、ＧＲＦ３７２４及びＡＲＦ３７２６は、各同時ハードウェア・スレッドに関連付けられた汎用レジスタ・ファイルとアーキテクチャ・レジスタ・ファイルのセットを含み、このハードウェア・スレッドは、グラフィックス実行ユニット３７０８においてアクティブであってもよい。少なくとも一実施例では、スレッドごとのアーキテクチャ状態が、ＡＲＦ３７２６において維持され、スレッド実行中に使用されるデータが、ＧＲＦ３７２４に記憶される。少なくとも一実施例では、各スレッドに対する命令ポインタを含む各スレッドの実行状態は、ＡＲＦ３７２６のスレッド専用レジスタに保持することが可能である。
少なくとも一実施例では、グラフィックス実行ユニット３７０８は、同時マルチスレッディング（ＳＭＴ：Ｓｉｍｕｌｔａｎｅｏｕｓ Ｍｕｌｔｉ－Ｔｈｒｅａｄｉｎｇ）と微細化インターリーブ・マルチスレッディング（ＩＭＴ：Ｉｎｔｅｒｌｅａｖｅｄ Ｍｕｌｔｉ－Ｔｈｒｅａｄｉｎｇ）の組合せであるアーキテクチャを有する。少なくとも一実施例では、アーキテクチャは、実行ユニット当たりの同時スレッドのターゲット数及びレジスタ数に基づき設計時に微調整することができるモジュール式構成を有し、ここで実行ユニットのリソースは、複数の同時スレッドを実行するために使用される論理にわたって分割される。
少なくとも一実施例では、グラフィックス実行ユニット３７０８は複数の命令を共同発行することができ、この命令は、それぞれ異なる命令であってもよい。少なくとも一実施例では、グラフィックス実行ユニット・スレッド３７０８のスレッド調停装置３７２２は、送信ユニット３７３０、ブランチ・ユニット３７４２、又はＳＩＭＤ ＦＰＵ３７３４のうちの１つに命令をディスパッチして実行できるようにすることができる。少なくとも一実施例では、各実行スレッドは、ＧＲＦ３７２４内の１２８個の汎用レジスタにアクセスすることができ、ここで各レジスタは、３２ビットのデータ要素のＳＩＭＤ８要素のベクトルとしてアクセス可能な３２バイトを記憶することができる。少なくとも一実施例では、各実行ユニット・スレッドは、ＧＲＦ３７２４内の４Ｋバイトにアクセスすることができるが、実施例はこのように限定されず、他の実施例ではより多くの、又はより少ないリソースが提供されてもよい。少なくとも一実施例では、最大７個のスレッドを同時に実行できるが、実行ユニット当たりのスレッド数も、実施例に応じて変えることができる。７個のスレッドが４Ｋバイトにアクセスできる少なくとも一実施例では、ＧＲＦ３７２４は、合計２８Ｋバイトを記憶することができる。少なくとも一実施例では、フレキシブルなアドレッシング・モードにより、複数のレジスタがともにアドレスされてより幅広いレジスタを構築したり、ストライド設定された矩形ブロック・データ構造を表したりできるようにすることができる。
少なくとも一実施例では、メモリ動作、サンプラ動作、及び他のレイテンシの長いシステム通信は、メッセージ引渡し送信ユニット３７３０によって実行される「送信」命令を介してディスパッチされる。少なくとも一実施例では、ブランチ命令は、ＳＩＭＤの発散及び最終的な収束を容易にするために、専用のブランチ・ユニット３７３２にディスパッチされる。
少なくとも一実施例では、グラフィックス実行ユニット３７０８は、浮動小数点演算を実行するための１つ又は複数のＳＩＭＤ浮動小数点ユニット（ＦＰＵ）３７３４を含む。少なくとも一実施例では、ＦＰＵ３７３４は、整数計算もサポートする。少なくとも一実施例ではＦＰＵ３７３４は、最大Ｍ個の３２ビット浮動小数点（若しくは整数）演算をＳＩＭＤで実行し、又は最大で２Ｍ個の１６ビット整数演算、若しくは１６ビット浮動小数点演算をＳＩＭＤで実行することができる。少なくとも一実施例では、ＦＰＵのうちの少なくとも１つは、拡張数理機能を提供して、高スループットの超越数理関数、及び倍精度の６４ビット浮動小数点をサポートする。少なくとも一実施例では、８ビットの整数ＳＩＭＤ ＡＬＵ３７３５のセットも存在し、機械学習計算に関連する動作を実行するように特に最適化されてもよい。
少なくとも一実施例では、グラフィックス実行ユニット３７０８の複数のインスタンスのアレイが、グラフィックス・サブ・コア・グループ（たとえば、サブ・スライス）においてインスタンス化されてもよい。少なくとも一実施例では、実行ユニット３７０８は、複数の実行チャネルにわたって命令を実行することができる。少なくとも一実施例では、グラフィックス実行ユニット３７０８で実行される各スレッドは、異なるチャネルで実行される。
１つ若しくは複数の実施例に関連する推論及び／又は訓練の動作を実行するために、推論及び／又は訓練論理１３１５が使用される。推論及び／又は訓練論理１３１５に関する詳細事項は、図１３Ａ及び／又は図１３Ｂと併せて本明細書に提供される。少なくとも一実施例では、推論及び／又は訓練論理１３１５の一部又はすべてが、実行論理３７００に組み込まれてもよい。さらに、少なくとも一実施例では、本明細書に記載の推論及び／又は訓練の動作は、図１３Ａ又は図１３Ｂに示す論理以外の論理を使用して行われてもよい。少なくとも一実施例では、重みパラメータは、本明細書に記載の１つ又は複数の機械学習アルゴリズム、ニューラル・ネットワーク・アーキテクチャ、ユース・ケース、又は訓練技法を実行するための実行論理３７００のＡＬＵを構成するオン・チップ若しくはオフ・チップのメモリ及び／又はレジスタ（図示する又は図示せず）に記憶されてもよい。
上述した技法は、たとえば、人間とロボットとの間で物体の交換を実行するためのシステムを実装するために使用されてもよい。いくつかの実例は、上述したように人間の手によって保持される物体の把持を生成するように訓練されたニューラル・ネットワークを作製するために、推論及び／又は訓練論理を使用する。
図３８は、少なくとも一実施例による並列処理ユニット（「ＰＰＵ」）３８００を示す。少なくとも一実施例では、ＰＰＵ３８００は、ＰＰＵ３８００によって実行された場合に、本開示全体を通して記載するプロセス及び技法の一部又はすべてを、ＰＰＵ３８００に実行させる機械可読コードで構成される。少なくとも一実施例では、ＰＰＵ３８００はマルチスレッド・プロセッサであり、このプロセッサは、１つ又は複数の集積回路デバイスに実装され、コンピュータ可読命令（機械可読命令若しくは単に命令とも呼ばれる）を、複数のスレッドで並列に処理するように設計されたレイテンシ隠蔽技法としてマルチスレッディングを利用する。少なくとも一実施例では、スレッドとは、実行スレッドを指し、ＰＰＵ３８００によって実行されるように構成された命令のセットをインスタンス化したものである。少なくとも一実施例では、ＰＰＵ３８００は、液晶ディスプレイ（「ＬＣＤ」）デバイスなどのディスプレイ・デバイスに表示できるように２次元（「２Ｄ」）画像データを生成するために、３次元（「３Ｄ」）グラフィックス・データを処理するためのグラフィックス・レンダリング・パイプラインを実装するように構成されたグラフィックス・プロセッシング・ユニット（「ＧＰＵ」）である。少なくとも一実施例では、ＰＰＵ３８００を利用して、線形代数演算及び機械学習演算などの計算が実行される。図３８は、単に例示を目的とした例示的な並列プロセッサを示しており、本開示の範囲内で企図されるプロセッサ・アーキテクチャの非限定的な例として解釈されるべきであり、同プロセッサに追加するため、且つ／又はそれを置き換えるために、任意の好適なプロセッサが利用されてもよいことが解釈されるべきである。
少なくとも一実施例では、１つ又は複数のＰＰＵ３８００は、高性能コンピューティング（「ＨＰＣ」：Ｈｉｇｈ Ｐｅｒｆｏｒｍａｎｃｅ Ｃｏｍｐｕｔｉｎｇ）、データ・センタ、及び機械学習のアプリケーションを加速するように構成される。少なくとも一実施例では、ＰＰＵ３８００は、以下の非限定的な例を含む深層学習システム及びアプリケーションを加速するように構成される：自律車両プラットフォーム、深層学習、高精度音声、画像、テキスト認識システム、インテリジェント・ビデオ分析、分子シミュレーション、創薬、病気診断、天気予報、ビッグ・データ分析、天文学、分子動態シミュレーション、金融モデリング、ロボット工学、工場自動化、リアル・タイム言語翻訳、オンライン検索最適化、及び個別化ユーザ推奨など。
少なくとも一実施例では、ＰＰＵ３８００は、限定することなく、入力／出力（「Ｉ／Ｏ」）ユニット３８０６、フロント・エンド・ユニット３８１０、スケジューラ・ユニット３８１２、ワーク分配ユニット３８１４、ハブ３８１６、クロスバー（「Ｘｂａｒ」：ｃｒｏｓｓｂａｒ）３８２０、１つ又は複数の汎用処理クラスタ（「ＧＰＣ」：ｇｅｎｅｒａｌ ｐｒｏｃｅｓｓｉｎｇ ｃｌｕｓｔｅｒ）３８１８、及び１つ又は複数のパーティション・ユニット（「メモリ・パーティション・ユニット」）３８２２を含む。少なくとも一実施例では、ＰＰＵ３８００は、１つ又は複数の高速ＧＰＵ相互接続（「ＧＰＵ相互接続」）３８０８を介してホスト・プロセッサ又は他のＰＰＵ３８００に接続される。少なくとも一実施例では、ＰＰＵ３８００は、相互接続３８０２を介してホスト・プロセッサ又は他の周辺デバイスに接続される。少なくとも一実施例では、ＰＰＵ３８００は、１つ又は複数のメモリ・デバイス（「メモリ」）３８０４を備えるローカル・メモリに接続される。少なくとも一実施例では、メモリ・デバイス３８０４は、限定することなく、１つ又は複数のダイナミック・ランダム・アクセス・メモリ（「ＤＲＡＭ」）デバイスを含む。少なくとも一実施例では、１つ又は複数のＤＲＡＭデバイスは、複数のＤＲＡＭダイが各デバイス内で積層された高帯域幅メモリ（「ＨＢＭ」）サブシステムとして構成されても、且つ／又は構成可能であってもよい。
少なくとも一実施例では、高速ＧＰＵ相互接続３８０８は、有線ベースのマルチ・レーン通信リンクを指してもよく、このリンクは、拡張縮小するためにシステムによって使用され、１つ又は複数の中央処理装置（「ＣＰＵ」）と組み合わされた１つ又は複数のＰＰＵ３８００を含み、ＰＰＵ３８００とＣＰＵとの間のキャッシュ・コヒーレンス、及びＣＰＵマスタリングをサポートする。少なくとも一実施例では、データ及び／又はコマンドは、高速ＧＰＵ相互接続３８０８により、ハブ３８１６を介して、１つ又は複数のコピー・エンジン、ビデオ・エンコーダ、ビデオ・デコーダ、電力管理ユニット、及び図３８に明示されていないこともある他の構成要素などのＰＰＵ３８００の別のユニットに／から送信される。
少なくとも一実施例では、Ｉ／Ｏユニット３８０６は、システム・バス３８０２を介してホスト・プロセッサ（図３８には示さず）から通信（たとえば、コマンド、データ）を送受信するように構成される。少なくとも一実施例では、Ｉ／Ｏユニット３８０６は、システム・バス３８０２を介して直接、又は１つ若しくは複数の、メモリ・ブリッジなどの中間デバイスを介して、ホスト・プロセッサと通信する。少なくとも一実施例では、Ｉ／Ｏユニット３８０６は、システム・バス３８０２を介してＰＰＵ３８００のうちの１つ又は複数などの１つ又は複数の他のプロセッサと通信してもよい。少なくとも一実施例では、Ｉ／Ｏユニット３８０６は、ペリフェラル・コンポーネント・インターコネクト・エクスプレス（「ＰＣＩｅ」）インターフェースを実装して、ＰＣＩｅバスを介して通信できるようにする。少なくとも一実施例では、Ｉ／Ｏユニット３８０６は、外部デバイスと通信するためのインターフェースを実装する。
少なくとも一実施例では、Ｉ／Ｏユニット３８０６は、システム・バス３８０２を介して受信したパケットをデコードする。少なくとも一実施例では、少なくともいくつかのパケットは、ＰＰＵ３８００に様々な動作を実行させるように構成されたコマンドを表す。少なくとも一実施例では、Ｉ／Ｏユニット３８０６は、デコードされたコマンドを、コマンドによって指定されるＰＰＵ３８００の様々な他のユニットに送信する。少なくとも一実施例では、コマンドは、フロント・エンド・ユニット３８１０に送信され、且つ／又はハブ３８１６、若しくは（図３８には明示していない）１つ若しくは複数のコピー・エンジン、ビデオ・エンコーダ、ビデオ・デコーダ、電力管理ユニットなどのＰＰＵ３８００の他のユニットに送信される。少なくとも一実施例では、Ｉ／Ｏユニット３８０６はＰＰＵ３８００の様々な論理ユニット間で、通信をルーティングするように構成される。
少なくとも一実施例では、ホスト・プロセッサによって実行されるプログラムは、ワークロードをＰＰＵ３８００に提供して処理できるようにするバッファにおいて、コマンド・ストリームをエンコードする。少なくとも一実施例では、ワークロードは、命令と、これらの命令によって処理されることになるデータとを含む。少なくとも一実施例では、バッファは、ホスト・プロセッサとＰＰＵ３８００の両方がアクセス（たとえば、書込み／読取り）可能なメモリ内の領域であり、ホスト・インターフェース・ユニットは、Ｉ／Ｏユニット３８０６によってシステム・バス３８０２を介して送信されるメモリ要求を介して、システム・バス３８０２に接続されたシステム・メモリ内のバッファにアクセスするように構成されてもよい。少なくとも一実施例では、ホスト・プロセッサは、バッファにコマンド・ストリームを書き込み、次いでコマンド・ストリームの開始点を指すポインタをＰＰＵ３８００に送信し、それによりフロント・エンド・ユニット３８１０は、１つ又は複数のコマンド・ストリームを指すポインタを受信し、１つ又は複数のコマンド・ストリームを管理して、コマンド・ストリームからコマンドを読み取り、コマンドをＰＰＵ３８００の様々なユニットに転送する。
少なくとも一実施例では、フロント・エンド・ユニット３８１０は、１つ又は複数のコマンド・ストリームによって定義されるタスクを処理するように様々なＧＰＣ３８１８を構成するスケジューラ・ユニット３８１２に結合される。少なくとも一実施例では、スケジューラ・ユニット３８１２は、スケジューラ・ユニット３８１２によって管理される様々タスクに関連する状態情報を追跡するように構成され、ここで状態情報は、どのＧＰＣ３８１８にタスクが割り当てられるか、タスクがアクティブか非アクティブか、タスクに関連付けられた優先レベルなどを示してもよい。少なくとも一実施例では、スケジューラ・ユニット３８１２は、ＧＰＣ３８１８のうちの１つ又は複数において、複数のタスクの実行を管理する。
少なくとも一実施例では、スケジューラ・ユニット３８１２は、ＧＰＣ３８１８で実行するためのタスクをディスパッチするように構成されたワーク分配ユニット３８１４に結合される。少なくとも一実施例では、ワーク分配ユニット３８１４は、スケジューラ・ユニット３８１２から受信したスケジュール済みタスクの数を追跡し、ワーク分配ユニット３８１４は、ＧＰＣ３８１８のそれぞれについて、ペンディング・タスク・プール、及びアクティブ・タスク・プールを管理する。少なくとも一実施例では、ペンディング・タスク・プールは、特定のＧＰＣ３８１８によって処理されるように割り当てられたタスクを含むいくつかのスロット（たとえば、３２スロット）を備え、アクティブ・タスク・プールは、ＧＰＣ３８１８によりアクティブに処理されているタスクのためのいくつかのスロット（たとえば、４スロット）を備え、それにより、ＧＰＣ３８１８のうちの１つがタスクの実行を完了すると、ＧＰＣ３８１８のアクティブ・タスク・プールからそのタスクが排除され、ペンディング・タスク・プールからの他のタスクのうちの１つが選択され、ＧＰＣ３８１８で実行されるようにスケジューリングされる。少なくとも一実施例では、データ依存性が解決されるのを待機している間など、アクティブ・タスクがＧＰＣ３８１８上でアイドルである場合には、アクティブ・タスクがＧＰＣ３８１８から排除され、ペンディング・タスク・プールに戻され、その間に、ペンディング・タスク・プールの別のタスクが選択され、ＧＰＣ３８１８で実行されるようにスケジューリングされる。
少なくとも一実施例では、ワーク分配ユニット３８１４は、Ｘバー３８２０を介して１つ又は複数のＧＰＣ３８１８と通信する。少なくとも一実施例では、Ｘバー３８２０は、ＰＰＵ３８００のユニットのうちの多くを、ＰＰＵ３８００の別のユニットに結合する相互接続ネットワークであり、ワーク分配ユニット３８１４を特定のＧＰＣ３８１８に結合するように構成されることが可能である。少なくとも一実施例では、ＰＰＵ３８００の１つ又は複数の他のユニットも、ハブ３８１６を介してＸバー３８２０に接続されてもよい。
少なくとも一実施例では、タスクはスケジューラ・ユニット３８１２によって管理され、ワーク分配ユニット３８１４によってＧＰＣ３８１８のうちの１つにディスパッチされる。ＧＰＣ３８１８は、タスクを処理し、結果を生成するように構成される。少なくとも一実施例では、結果は、ＧＰＣ３８１８内の他のタスクによって消費されてもよく、Ｘバー３８２０を介して異なるＧＰＣ３８１８にルーティングされてもよく、又はメモリ３８０４に記憶されてもよい。少なくとも一実施例では、結果を、パーティション・ユニット３８２２を介してメモリ３８０４に書き込むことができ、パーティション・ユニット３８２２は、メモリ３８０４への／からのデータの読取り及び書込みを行うためのメモリ・インターフェースを実装する。少なくとも一実施例では、結果を、高速ＧＰＵ相互接続３８０８を介して別のＰＰＵ３８０４又はＣＰＵに送信することができる。少なくとも一実施例では、ＰＰＵ３８００は、ＰＰＵ３８００に結合された別々の個別メモリ・デバイス３８０４の数に等しいＵ個のパーティション・ユニット３８２２を、限定することなく含む。少なくとも一実施例では、パーティション・ユニット３８２２は、図４０と併せて本明細書でさらに詳細に説明される。
少なくとも一実施例では、ホスト・プロセッサはドライバ・カーネルを実行し、このカーネルは、ホスト・プロセッサで実行されている１つ又は複数のアプリケーションがＰＰＵ３８００で実行するための動作をスケジューリングできるようにするアプリケーション・プログラミング・インターフェース（ＡＰＩ）を実装している。少なくとも一実施例では、複数のコンピュート・アプリケーションが、ＰＰＵ３８００によって同時に実行され、ＰＰＵ３８００は、複数のコンピュート・アプリケーションに対して、隔離、サービス品質（「ＱｏＳ」：ｑｕａｌｉｔｙ ｏｆ ｓｅｒｖｉｃｅ）、及び独立したアドレス空間を提供する。少なくとも一実施例では、アプリケーションは、ＰＰＵ３８００によって実行するための１つ又は複数のタスクをドライバ・カーネルに生成させる（たとえば、ＡＰＩコールの形の）命令を生成し、ドライバ・カーネルは、ＰＰＵ３８００によって処理されている１つ又は複数のストリームにタスクを出力する。少なくとも一実施例では、各タスクは、ワープと呼ばれてもよい関連スレッドの１つ又は複数のグループを備える。少なくとも一実施例では、ワープは、並列に実行することができる複数の関連スレッド（たとえば、３２個のスレッド）を備える。少なくとも一実施例では、連動スレッドとは、タスクを実行するための命令を含み、共有メモリを介してデータを交換する複数のスレッドを指してもよい。少なくとも一実施例では、スレッド及び連動スレッドは、図４０と併せて少なくとも一実施例によりさらに詳細に説明される。
１つ若しくは複数の実施例に関連する推論及び／又は訓練の動作を実行するために、推論及び／又は訓練論理１３１５が使用される。推論及び／又は訓練論理１３１５に関する詳細事項は、図１３Ａ及び／又は図１３Ｂと併せて本明細書に提供される。少なくとも一実施例では、深層学習アプリケーション・プロセッサは、ＰＰＵ３８００に提供される情報を予測又は推論するようにニューラル・ネットワークなどの機械学習モデルを訓練するために使用される。少なくとも一実施例では、深層学習アプリケーション・プロセッサ３８００は、別のプロセッサ若しくはシステムによって、又はＰＰＵ３８００によって訓練されてきた訓練済み機械学習モデル（たとえば、ニューラル・ネットワーク）に基づき、情報を推論又は予測するために使用される。少なくとも一実施例では、ＰＰＵ３８００は、本明細書に記載の１つ又は複数のニューラル・ネットワークのユース・ケースを実行するために使用されてもよい。
上述した技法は、たとえば、人間とロボットとの間で物体の交換を実行するためのシステムを実装するために使用されてもよい。いくつかの実例は、上述したように人間の手によって保持される物体の把持を生成するように訓練されたニューラル・ネットワークを作製するために、推論及び／又は訓練論理を使用する。
図３９は、少なくとも一実施例による汎用処理クラスタ（「ＧＰＣ」）３９００を示す。少なくとも一実施例では、ＧＰＣ３９００は、図３８のＧＰＣ３８１８である。少なくとも一実施例では、各ＧＰＣ３９００は、限定することなく、タスクを処理するためのいくつかのハードウェア・ユニットを含み、各ＧＰＣ３９００は、限定することなく、パイプライン・マネージャ３９０２、プレ・ラスタ演算ユニット（「ＰＲＯＰ」：ｐｒｅ－ｒａｓｔｅｒ ｏｐｅｒａｔｉｏｎｓ ｕｎｉｔ）３９０４、ラスタ・エンジン３９０８、ワーク分配クロスバー（「ＷＤＸ」：ｗｏｒｋ ｄｉｓｔｒｉｂｕｔｉｏｎ ｃｒｏｓｓｂａｒ）３９１６、メモリ管理ユニット（「ＭＭＵ」）３９１８、１つ又は複数のデータ処理クラスタ（「ＤＰＣ」：Ｄａｔａ Ｐｒｏｃｅｓｓｉｎｇ Ｃｌｕｓｔｅｒｓ）３９０６、及びパーツの任意の好適な組合せを含む。
少なくとも一実施例では、ＧＰＣ３９００の動作は、パイプライン・マネージャ３９０２によって制御される。少なくとも一実施例では、パイプライン・マネージャ３９０２は、ＧＰＣ３９００に配分されたタスクを処理するために１つ又は複数のＤＰＣ３９０６の構成を管理する。少なくとも一実施例では、パイプライン・マネージャ３９０２は、グラフィックス・レンダリング・パイプラインの少なくとも一部分を実装するように、１つ又は複数のＤＰＣ３９０６のうちの少なくとも１つを構成する。少なくとも一実施例では、ＤＰＣ３９０６は、プログラム可能なストリーミング・マルチプロセッサ（「ＳＭ」：ｓｔｒｅａｍｉｎｇ ｍｕｌｔｉ－ｐｒｏｃｅｓｓｏｒ）３９１４で頂点シェーダ・プログラムを実行するように構成される。少なくとも一実施例では、パイプライン・マネージャ３９０２は、少なくとも一実施例では、ワーク分配ユニットから受信したパケットを、ＧＰＣ３９００内の適切な論理ユニットにルーティングするように構成され、いくつかのパケットは、ＰＲＯＰ３９０４の固定機能ハードウェア・ユニット及び／又はラスタ・エンジン３９０８にルーティングされてもよく、他のパケットは、プリミティブ・エンジン３９１２又はＳＭ３９１４によって処理されるようにＤＰＣ３９０６にルーティングされてもよい。少なくとも一実施例では、パイプライン・マネージャ３９０２は、ニューラル・ネットワーク・モデル及び／又はコンピューティング・パイプラインを実装するように、ＤＰＣ３９０６のうちの少なくとも１つを構成する。
少なくとも一実施例では、ＰＲＯＰユニット３９０４は、少なくとも一実施例では、ラスタ・エンジン３９０８及びＤＰＣ３９０６によって生成されたデータを、図３８と併せて上でより詳細に説明したパーティション・ユニット３８２２のラスタ動作（ＲＯＰ）ユニットにルーティングするように構成される。少なくとも一実施例では、ＰＲＯＰユニット３９０４は、色ブレンディングの最適化を実行し、ピクセル・データを組織化し、アドレス・トランスレーションを実行し、その他の動作を行うように構成される。少なくとも一実施例では、ラスタ・エンジン３９０８は、少なくとも一実施例では様々なラスタ動作を実行するように構成されたいくつかの固定機能ハードウェア・ユニットを、限定することなく含み、ラスタ・エンジン３９０８は、限定することなく、セットアップ・エンジン、粗いラスタ・エンジン、選別エンジン、クリッピング・エンジン、細かいラスタ・エンジン、タイル合体エンジン、及びこれらの任意の好適な組合せを含む。少なくとも一実施例では、セットアップ・エンジンは、変換された頂点を受信し、頂点によって定義された幾何プリミティブに関連付けられた平面方程式を生成し、平面方程式が、粗いラスタ・エンジンに送信されて、プリミティブに対するカバレッジ情報（たとえば、タイルのｘ、ｙカバレッジ・マスク）が生成され、粗いラスタ・エンジンの出力が、選別エンジンに送信され、ここでｚテストに落ちたプリミティブに関連付けられたフラグメントが選別され、クリッピング・エンジンに送信され、ここで視錐台の外側にあるフラグメントがクリップされる。少なくとも一実施例では、クリッピング及び選別を通過したフラグメントは、細かいラスタ・エンジンに渡されて、セットアップ・エンジンによって生成された平面方程式に基づき、ピクセル・フラグメントに対する属性が生成される。少なくとも一実施例では、ラスタ・エンジン３９０８の出力は、ＤＰＣ３９０６内に実装されたフラグメント・シェーダによってなど任意の好適なエンティティによって処理されることになるフラグメントを含む。
少なくとも一実施例では、ＧＰＣ３９００に含まれる各ＤＰＣ３９０６は、限定することなく、Ｍパイプ・コントローラ（「ＭＰＣ」：Ｍ－Ｐｉｐｅ Ｃｏｎｔｒｏｌｌｅｒ）３９１０、プリミティブ・エンジン３９１２、１つ又は複数のＳＭ３９１４、及びこれらの任意の好適な組合せを含む。少なくとも一実施例では、ＭＰＣ３９１０は、ＤＰＣ３９０６の動作を制御して、パイプライン・マネージャ３９０２から受信したパケットを、ＤＰＣ３９０６内の適切なユニットにルーティングする。少なくとも一実施例では、頂点に関連付けられたパケットは、頂点に関連付けられた頂点属性をメモリからフェッチするように構成されたプリミティブ・エンジン３９１２にルーティングされ、対照的に、シェーダ・プログラムに関連付けられたパケットは、ＳＭ３９１４に送信されてもよい。
少なくとも一実施例では、ＳＭ３９１４は、いくつかのスレッドにより表されたタスクを処理するように構成されたプログラム可能なストリーミング・プロセッサを、限定することなく含む。少なくとも一実施例では、ＳＭ３９１４はマルチスレッド化されており、スレッドの特定のグループからの複数のスレッド（たとえば、３２個のスレッド）を同時に実行するように構成され、単一命令複数データ（ＳＩＭＤ）アーキテクチャを実装し、ここでスレッドのグループ（ワープ）内の各スレッドは、同じ命令セットに基づき、異なるデータ・セットを処理するように構成される。少なくとも一実施例では、スレッド・グループ内のすべてのスレッドが同じ命令を実行する。少なくとも一実施例では、ＳＭ３９１４は、単一命令複数スレッド（ＳＩＭＴ）アーキテクチャを実装し、ここで、スレッド・グループの各スレッドは、同じ命令セットに基づき、異なるデータ・セットを処理するように構成されるが、スレッド・グループ内の個々のスレッドは、実行中に発散することが許容される。少なくとも一実施例では、プログラム・カウンタ、コール・スタック、及び実行状態がワープごとに維持されて、ワープ内のスレッドが発散するときに、ワープ間の同時処理、及びワープ内での直列実行が可能になる。別の実施例では、プログラム・カウンタ、コール・スタック、及び実行状態が個々のスレッドごとに維持されて、すべてのスレッド間、ワープ内、及びワープ間で等しい同時処理が可能になる。少なくとも一実施例では、実行状態が個々のスレッドごとに維持され、同じ命令を実行しているスレッドが、より効率的になるように収束され並列に実行されてもよい。ＳＭ３９１４の少なくとも一実施例は、本明細書でさらに詳細に説明される。
少なくとも一実施例では、ＭＭＵ３９１８は、ＧＰＣ３９００とメモリ・パーティション・ユニット（たとえば、図３８のパーティション・ユニット３８２２）との間でインターフェースを提供し、ＭＭＵ３９１８は、仮想アドレスから物理アドレスへのトランスレーション、メモリ保護、及びメモリ要求の調停を提供する。少なくとも一実施例では、ＭＭＵ３９１８は、仮想アドレスからメモリの物理アドレスへのトランスレーションを実行するための１つ又は複数のトランスレーション・ルックアサイド・バッファ（「ＴＬＢ」）を提供する。
１つ若しくは複数の実施例に関連する推論及び／又は訓練の動作を実行するために、推論及び／又は訓練論理１３１５が使用される。推論及び／又は訓練論理１３１５に関する詳細事項は、図１３Ａ及び／又は図１３Ｂと併せて本明細書に提供される。少なくとも一実施例では、深層学習アプリケーション・プロセッサは、ＧＰＣ３９００に提供される情報を予測又は推論するようにニューラル・ネットワークなどの機械学習モデルを訓練するために使用される。少なくとも一実施例では、ＧＰＣ３９００は、別のプロセッサ若しくはシステムによって、又はＧＰＣ３９００によって訓練されてきた訓練済み機械学習モデル（たとえば、ニューラル・ネットワーク）に基づき、情報を推論又は予測するために使用される。少なくとも一実施例では、ＧＰＣ３９００は、本明細書に記載の１つ又は複数のニューラル・ネットワークのユース・ケースを実行するために使用されてもよい。
上述した技法は、たとえば、人間とロボットとの間で物体の交換を実行するためのシステムを実装するために使用されてもよい。いくつかの実例は、上述したように人間の手によって保持される物体の把持を生成するように訓練されたニューラル・ネットワークを作製するために、推論及び／又は訓練論理を使用する。
図４０は、少なくとも一実施例による並列処理ユニット（「ＰＰＵ」）のメモリ・パーティション・ユニット４０００を示す。少なくとも一実施例では、パーティション・ユニット４０００は、限定することなく、ラスタ演算（「ＲＯＰ」）ユニット４００２、レベル２（「Ｌ２」）キャッシュ４００４、メモリ・インターフェース４００６、及びそれらの任意の好適な組合せを含む。メモリ・インターフェース４００６はメモリに結合される。メモリ・インターフェース４００６は、高速データ転送のために、３２、６４、１２８、１０２４ビットのデータ・バスなどを実装してもよい。少なくとも一実施例では、ＰＰＵは、パーティション・ユニット４０００の対当たりにメモリ・インターフェース４００６を１つの、Ｕ個のメモリ・インターフェース４００６を組み込んでおり、ここでパーティション・ユニット４０００の各対は、対応するメモリ・デバイスに接続される。たとえば、少なくとも一実施例では、ＰＰＵは、高帯域幅メモリ・スタック、又はグラフィックス・ダブル・データ・レート、バージョン５、同期ダイナミック・ランダム・アクセス・メモリ（「ＧＤＤＲ５ ＳＤＲＡＭ」）など、最大Ｙ個のメモリ・デバイスに接続されてもよい。
少なくとも一実施例では、メモリ・インターフェース４００６は、高帯域幅メモリの第２世代（「ＨＢＭ２」：ｈｉｇｈ ｂａｎｄｗｉｄｔｈ ｍｅｍｏｒｙ ｓｅｃｏｎｄ ｇｅｎｅｒａｔｉｏｎ）メモリ・インターフェースを実装し、ＹはＵの半分に等しい。少なくとも一実施例では、ＨＢＭ２メモリ・スタックは、ＰＰＵと同じ物理パッケージに位置付けられて、従来のＧＤＤＲ５ ＳＤＲＡＭシステムに比べて実質的な電力と面積の節約を実現する。少なくとも一実施例では、各ＨＢＭ２スタックは、限定することなく４個のメモリ・ダイを含み、Ｙは４に等しく、各ＨＢＭ２スタックは、１つのダイ当たりに２つの１２８ビット・チャネルの合計８チャネル、及び１０２４ビットのデータ・バス幅を含む。少なくとも一実施例では、メモリは、１ビット・エラー訂正２ビット・エラー検出（「ＳＥＣＤＥＤ」：Ｓｉｎｇｌｅ－Ｅｒｒｏｒ Ｃｏｒｒｅｃｔｉｎｇ Ｄｏｕｂｌｅ－Ｅｒｒｏｒ Ｄｅｔｅｃｔｉｎｇ）エラー訂正コード（「ＥＣＣ」）をサポートしてデータを保護する。ＥＣＣは、データ破損を受けやすいコンピュート・アプリケーションに、より高い信頼性を提供する。
少なくとも一実施例では、ＰＰＵは、マルチ・レベルのメモリ階層を実装する。少なくとも一実施例では、メモリ・パーティション・ユニット４０００は、統合されたメモリをサポートして、中央処理装置（「ＣＰＵ」）及びＰＰＵメモリに単一の統合された仮想アドレス空間を提供し、仮想メモリ・システム間でのデータの共有を可能にする。少なくとも一実施例では、他のプロセッサに位置付けられたメモリにＰＰＵがアクセスする頻度を追跡して、より頻繁にページにアクセスしているＰＰＵの物理メモリに、メモリ・ページが確実に移動されるようにする。少なくとも一実施例では、高速ＧＰＵ相互接続３８０８は、アドレス・トランスレーション・サービスをサポートして、ＰＰＵが直接ＣＰＵのページ・テーブルにアクセスできるようにし、ＰＰＵによるＣＰＵメモリへのフル・アクセスを実現する。
少なくとも一実施例では、コピー・エンジンは、複数のＰＰＵ間、又はＰＰＵとＣＰＵの間で、データを転送する。少なくとも一実施例では、コピー・エンジンは、ページ・テーブルにマッピングされていないアドレスについてページ誤りを生成することができ、次いでメモリ・パーティション・ユニット４０００がページ誤りに対応して、アドレスをページ・テーブルにマッピングし、その後で、コピー・エンジンが転送を実行する。少なくとも一実施例では、メモリは、複数のプロセッサ間でコピー・エンジンの複数の動作についてピン留めされて（たとえば、ページ移動不可能にされて）、実質的に利用可能なメモリを低減させる。少なくとも一実施例では、ハードウェアのページ誤りがある場合、メモリ・ページが常駐であるかどうかに関わらず、アドレスをコピー・エンジンに渡すことができ、コピー・プロセスは透過的である。
少なくとも一実施例によれば、図３８のメモリ３８０４又は他のシステム・メモリからのデータは、メモリ・パーティション・ユニット４０００によってフェッチされ、Ｌ２キャッシュ４００４に記憶され、このＬ２キャッシュは、オン・チップに位置付けられ、様々ＧＰＣ間で共有される。少なくとも一実施例では、各メモリ・パーティション・ユニット４０００は、対応するメモリ・デバイスに関連付けられたＬ２キャッシュの少なくとも一部分を、限定することなく含む。少なくとも一実施例では、より低いレベルのキャッシュが、ＧＰＣ内の様々なユニットに実装される。少なくとも一実施例では、ＳＭ３９１４のそれぞれは、レベル１（「Ｌ１」）キャッシュを実装してもよく、ここでＬ１キャッシュは、特定のＳＭ３９１４専用のプライベート・メモリであり、Ｌ２キャッシュ４００４からのデータは、ＳＭ３９１４の機能ユニットで処理するために、Ｌ１キャッシュのそれぞれにフェッチされ記憶される。少なくとも一実施例では、Ｌ２キャッシュ４００４は、メモリ・インターフェース４００６及びＸバー３８２０に結合される。
少なくとも一実施例では、ＲＯＰユニット４００２は、色圧縮、ピクセル・ブレンディングなど、ピクセル色に関係するグラフィックス・ラスタ演算を実行する。ＲＯＰユニット４００２は、少なくとも一実施例では、ラスタ・エンジン３９０８と併せて深度テストを実装して、ピクセル・フラグメントに関連付けられたサンプル・ロケーションの深度を、ラスタ・エンジン３９０８の選別エンジンから受信する。少なくとも一実施例では、深度は、フラグメントに関連付けられたサンプル・ロケーションの深度バッファにおける対応する深度と比べてテストされる。少なくとも一実施例では、フラグメントが、サンプル・ロケーションの深度テストを通過すると、ＲＯＰユニット４００２は、深度バッファを更新し、深度テストの結果をラスタ・エンジン３９０８に送信する。パーティション・ユニット４０００の数はＧＰＣの数とは異なってもよく、したがって、各ＲＯＰユニット４００２は、少なくとも一実施例では、ＧＰＣのそれぞれに結合されてもよいことが理解されよう。少なくとも一実施例では、ＲＯＰユニット４００２は、異なるＧＰＣから受信したパケットを追跡し、ＲＯＰユニット４００２によって生成された結果を、Ｘバー３８２０を通してどれにルーティングするかを判定する。
図４１は、少なくとも一実施例による、ストリーミング・マルチプロセッサ（「ＳＭ」）４１００を示す。少なくとも一実施例では、ＳＭ４１００は、図３９のＳＭである。少なくとも一実施例では、ＳＭ４１００は、限定することなく、命令キャッシュ４１０２、１つ又は複数のスケジューラ・ユニット４１０４、レジスタ・ファイル４１０８、１つ又は複数の処理コア（「コア」）４１１０、１つ又は複数の特殊機能ユニット（「ＳＦＵ」：ｓｐｅｃｉａｌ ｆｕｎｃｔｉｏｎ ｕｎｉｔ）４１１２、１つ又は複数のロード／ストア・ユニット（「ＬＳＵ」ｌｏａｄ／ｓｔｏｒｅ ｕｎｉｔ）４１１４、相互接続ネットワーク４１１６、共有メモリ／レベル１（「Ｌ１」）キャッシュ４１１８、及びこれらの任意の好適な組合せを含む。少なくとも一実施例では、ワーク分配ユニットは、並列処理ユニット（「ＰＰＵ」）の汎用処理クラスタ（「ＧＰＣ」）で実行するためにタスクをディスパッチし、各タスクは、ＧＰＣ内の特定のデータ処理クラスタ（「ＤＰＣ」）に配分され、タスクがシェーダ・プログラムに関連する場合には、タスクはＳＭ４１００のうちの１つに配分される。少なくとも一実施例では、スケジューラ・ユニット４１０４は、ワーク分配ユニットからタスクを受信し、ＳＭ４１００に割り当てられた１つ又は複数のスレッド・ブロックについて命令スケジューリングを管理する。少なくとも一実施例では、スケジューラ・ユニット４１０４は、並列スレッドのワープとして実行できるようにスレッド・ブロックをスケジューリングし、ここで各スレッド・ブロックは、少なくとも１つのワープに配分される。少なくとも一実施例では、各ワープは、スレッドを実行する。少なくとも一実施例では、スケジューラ・ユニット４１０４は、複数の異なるスレッド・ブロックを管理して、異なるスレッド・ブロックにワープを配分し、次いで複数の異なる連動グループからの命令を、各クロック・サイクル中に様々な機能ユニット（たとえば、処理コア４１１０、ＳＦＵ４１１２、及びＬＳＵ４１１４）にディスパッチする。
少なくとも一実施例では、連動グループとは、通信するスレッドのグループを組織化するためのプログラミング・モデルを指し、このモデルは、スレッドが通信する粒度をデベロッパが表せるようにして、より豊富でより効率的な並列分解の表現を可能にする。少なくとも一実施例では、連動した起動ＡＰＩは、並列アルゴリズムを実行できるようにスレッド・ブロック間の同期をサポートする。少なくとも一実施例では、従来のプログラミング・モデルのアプリケーションは、連動スレッドを同期するための単一の簡単な構造、すなわちスレッド・ブロックのすべてのスレッドにわたるバリア（たとえば、ｓｙｎｃｔｈｒｅａｄｓ（）関数）を提供する。しかし、少なくとも一実施例では、プログラマは、スレッド・ブロックの粒度よりも小さいスレッド・グループを定義し、定義されたグループ内で同期して、集合的なグループ全般にわたる機能インターフェースの形で、より高い性能、設計の融通性、及びソフトウェア再利用を可能にしてもよい。少なくとも一実施例では、連動グループによって、プログラマは、サブ・ブロック（すなわち、単一スレッドと同じ大きさ）の粒度及びマルチ・ブロックの粒度において、スレッドのグループを明示的に定義し、連動グループ内のスレッドに対する同期などの集合的な動作を実行できるようになる。プログラミング・モデルは、ソフトウェア境界を横切るクリーンな合成をサポートし、それにより、ライブラリ及びユーティリティ関数を、収束について仮定する必要なくそれらのローカルなコンテキスト内で安全に同期することができる。少なくとも一実施例では、連動グループのプリミティブは、プロデューサ－コンシューマ並列性、日和見並列性（ｏｐｐｏｒｔｕｎｉｓｔｉｃ ｐａｒａｌｌｅｌｉｓｍ）、及びスレッド・ブロックのグリッド全体にわたるグローバルな同期を限定することなく含む新しいパターンの連動並列性を可能にする。
少なくとも一実施例では、ディスパッチ・ユニット４１０６は、機能ユニットの１つ又は複数に命令を送信するように構成され、スケジューラ・ユニット４１０４は、同じワープからの２つの異なる命令を、各クロック・サイクル中にディスパッチできるようにする２つのディスパッチ・ユニット４１０６を限定することなく含む。少なくとも一実施例では、各スケジューラ・ユニット４１０４は、単一のディスパッチ・ユニット４１０６又は追加のディスパッチ・ユニット４１０６を含む。
少なくとも一実施例では、各ＳＭ４１００は、少なくとも一実施例では、ＳＭ４１００の機能ユニットにレジスタのセットを提供するレジスタ・ファイル４１０８を限定することなく含む。少なくとも一実施例では、レジスタ・ファイル４１０８は、各機能ユニットがレジスタ・ファイル４１０８の専用部分に配分されるように、それぞれの機能ユニット間で分割される。少なくとも一実施例では、レジスタ・ファイル４１０８は、ＳＭ４１００によって実行されている異なるワープ間で分割され、レジスタ・ファイル４１０８は、機能ユニットのデータ経路に接続されたオペランド用の一時的なストレージを提供する。少なくとも一実施例では、各ＳＭ４１００は、限定することなく、複数のＬ処理コア４１１０を含む。少なくとも一実施例では、各ＳＭ４１００は、限定することなく、多数の（たとえば、１２８個以上の）個別の処理コア４１１０を含む。少なくとも一実施例では、各処理コア４１１０は、少なくとも一実施例では、浮動小数点算術論理演算ユニット及び整数算術論理演算ユニットを限定することなく含む完全にパイプライン化された、単精度の、倍精度の、及び／又は混合精度の処理ユニットを限定することなく含む。少なくとも一実施例では、浮動小数点算術論理演算ユニットは、浮動小数点演算のためのＩＥＥＥ７５４－２００８規格を実装する。少なくとも一実施例では、処理コア４１１０は、限定することなく、６４個の単精度（３２ビット）浮動小数点コア、６４個の整数コア、３２個の倍精度（６４ビット）浮動小数点コア、及び８個のテンソル・コアを含む。
テンソル・コアは、少なくとも一実施例による行列演算を実行するように構成される。少なくとも一実施例では、１つ又は複数のテンソル・コアは、処理コア４１１０に含まれる。少なくとも一実施例では、テンソル・コアは、ニューラル・ネットワークの訓練及び推論のための畳み込み演算など、深層学習の行列演算を実行するように構成される。少なくとも一実施例では、各テンソル・コアは、４×４の行列で動作し、行列の積和演算（ｍａｔｒｉｘ ｍｕｌｔｉｐｌｙ ａｎｄ ａｃｃｕｍｕｌａｔｅ ｏｐｅｒａｔｉｏｎ）Ｄ＝Ａ×Ｂ＋Ｃを実行し、ここでＡ、Ｂ、Ｃ、及びＤは４×４の行列である。
少なくとも一実施例では、行列乗算の入力Ａ及びＢは、１６ビットの浮動小数点行列であり、和の行列Ｃ及びＤは、１６ビットの浮動小数点又は３２ビットの浮動小数点行列である。少なくとも一実施例では、テンソル・コアは、３２ビットの浮動小数点の和を有する１６ビットの浮動小数点入力データで動作する。少なくとも一実施例では、１６ビットの浮動小数点乗算は、６４個の演算を使用し、結果的に完全精度の積をもたらし、次いでその積が、４×４×４の行列乗算の他の中間積との３２ビット浮動小数点加算を使用して加算される。テンソル・コアを使用して、少なくとも一実施例では、これらの小さい要素から構築される、はるかに大きい２次元又はさらに高次元の行列演算が実行される。少なくとも一実施例では、ＣＵＤＡ９Ｃ＋＋ＡＰＩなどのＡＰＩは、ＣＵＤＡ－Ｃ＋＋プログラムからテンソル・コアを効率的に使用するために、特殊な行列ロード演算、行列積和演算、及び行列ストア演算を公開している。少なくとも一実施例では、ＣＵＤＡレベルにおいて、ワープ・レベル・インターフェースは、ワープの３２スレッドすべてにわたる１６×１６のサイズの行列を仮定している。
少なくとも一実施例では、各ＳＭ４１００は、特殊関数（たとえば、属性評価、逆数平方根など）を実行するＭ個のＳＦＵ４１１２を、限定することなく含む。少なくとも一実施例では、ＳＦＵ４１１２は、限定することなく、階層ツリー・データ構造をトラバースするように構成されたツリー・トラバーサル・ユニットを含む。少なくとも一実施例では、ＳＦＵ４１１２は、テクスチャ・マップのフィルタリング動作を実行するように構成されたテクスチャ・ユニットを、限定することなく含む。少なくとも一実施例では、テクスチャ・ユニットは、メモリ及びサンプル・テクスチャ・マップからテクスチャ・マップ（たとえば、テクセルの２Ｄアレイ）をロードして、ＳＭ４１００により実行されるシェーダ・プログラムで使用するためのサンプリングされたテクスチャ値を生成するように構成される。少なくとも一実施例では、テクスチャ・マップは、共有メモリ／レベル１キャッシュ４１１８に記憶される。少なくとも一実施例では、テクスチャ・ユニットは、少なくとも一実施例によれば、ミップ・マップ（たとえば、詳細さのレベルが異なるテクスチャ・マップ）を使用したフィルタリング動作などのテクスチャ動作を実装する。少なくとも一実施例では、各ＳＭ４１００は、限定することなく、２つのテクスチャ・ユニットを含む。
各ＳＭ４１００は、少なくとも一実施例では、共有メモリ／Ｌ１キャッシュ４１１８とレジスタ・ファイル４１０８の間でロード及びストア動作を実装するＮ個のＬＳＵ４１１４を、限定することなく含む。各ＳＭ４１００は、少なくとも一実施例では、機能ユニットのそれぞれをレジスタ・ファイル４１０８に接続し、ＬＳＵ４１１４をレジスタ・ファイル４１０８に接続する相互接続ネットワーク４１１６と、共有メモリ／Ｌ１キャッシュ４１１８を、限定することなく含む。少なくとも一実施例では、相互接続ネットワーク４１１６はクロスバーであり、このクロスバーは、いずれかの機能ユニットをレジスタ・ファイル４１０８のいずれかのレジスタに接続し、ＬＳＵ４１１４をレジスタ・ファイル４１０８と共有メモリ／Ｌ１キャッシュ４１１８のメモリ・ロケーションとに接続するように構成されてもよい。
少なくとも一実施例では、共有メモリ／Ｌ１キャッシュ４１１８は、少なくとも一実施例では、ＳＭ４１００とプリミティブ・エンジンの間、及びＳＭ４１００のスレッド間でデータ・ストレージ及び通信を可能にするオン・チップ・メモリのアレイである。少なくとも一実施例では、共有メモリ／Ｌ１キャッシュ４１１８は、限定することなく、１２８ＫＢのストレージ容量を備え、ＳＭ４１００からパーティション・ユニットに向かう経路にある。少なくとも一実施例では、共有メモリ／Ｌ１キャッシュ４１１８は、少なくとも一実施例では、読取り及び書込みをキャッシュするために使用される。少なくとも一実施例では、共有メモリ／Ｌ１キャッシュ４１１８、Ｌ２キャッシュ、及びメモリのうちの１つ又は複数は、補助ストレージである。
少なくとも一実施例では、データ・キャッシュと共有メモリ機能とを単一のメモリ・ブロックに組み合わせることによって、両方のタイプのメモリ・アクセスについて性能が向上する。少なくとも一実施例では、容量は、共有メモリを使用しないプログラムによってキャッシュとして使用され、又は使用可能であり、それにより、共有メモリが容量の半分を使用するように構成されている場合、テクスチャ及びロード／ストア動作が、残りの容量を使用することができる。少なくとも一実施例によれば、共有メモリ／Ｌ１キャッシュ４１１８内に統合することによって、共有メモリ／Ｌ１キャッシュ４１１８が、データをストリームするための高スループットの管として機能しながら、同時に高帯域幅及び低レイテンシのアクセスを、頻繁に再使用されるデータに提供できるようになる。少なくとも一実施例では、汎用並列計算向けに構成されるときには、グラフィックス処理と比べてより簡単な構成を使用することができる。少なくとも一実施例では、固定機能のグラフィックス・プロセッシング・ユニットがバイパスされて、はるかに簡単なプログラミング・モデルが作製される。汎用並列計算の構成では、ワーク分配ユニットは、少なくとも一実施例においてスレッド・ブロックを直接ＤＰＣに割当て及び分配する。少なくとも一実施例では、ブロック内のスレッドは、各スレッドが確実に一意の結果を生成するように、計算において一意のスレッドＩＤを使用して同じプログラムを実行し、ＳＭ４１００を使用して、プログラムを実行し計算を行い、共有メモリ／Ｌ１キャッシュ４１１８を使用してスレッド間で通信し、ＬＳＵ４１１４を使用して、共有メモリ／Ｌ１キャッシュ４１１８及びメモリ・パーティション・ユニットを介してグローバル・メモリを読み取り、書き込む。少なくとも一実施例では、汎用並列計算向けに構成されるときには、ＳＭ４１００は、ＤＣＰ上で新規のワークを起動するためにスケジューラ・ユニット４１０４が使用できるコマンドを書き込む。
少なくとも一実施例では、ＰＰＵは、デスクトップ・コンピュータ、ラップトップ・コンピュータ、タブレット・コンピュータ、サーバ、スーパーコンピュータ、スマート・フォン（たとえば、ワイヤレスの携帯型デバイス）、パーソナル・デジタル・アシスタント（「ＰＤＡ」）、デジタル・カメラ、車両、頭装着型ディスプレイ、携帯型電子デバイスなどに含まれ、又はこれらに結合される。少なくとも一実施例では、ＰＰＵは、単一の半導体基板に具体化される。少なくとも一実施例では、ＰＰＵは、追加のＰＰＵ、メモリ、縮小命令セット・コンピュータ（「ＲＩＳＣ」）ＣＰＵ、メモリ管理ユニット（「ＭＭＵ」）、デジタル－アナログ変換器（「ＤＡＣ」：ｄｉｇｉｔａｌ－ｔｏ－ａｎａｌｏｇ ｃｏｎｖｅｒｔｅｒ）などの１つ又は複数の他のデバイスとともにシステム・オン・チップ（「ＳｏＣ」）に含まれる。
少なくとも一実施例では、ＰＰＵは、１つ又は複数のメモリ・デバイスを含むグラフィックス・カードに含まれてもよい。グラフィックス・カードは、デスクトップ・コンピュータのマザーボード上のＰＣＩｅスロットとインターフェースをとるように構成されてもよい。少なくとも一実施例では、ＰＰＵは、マザーボードのチップセットに含まれる統合グラフィックス・プロセッシング・ユニット（「ｉＧＰＵ」：ｉｎｔｅｇｒａｔｅｄ ｇｒａｐｈｉｃｓ ｐｒｏｃｅｓｓｉｎｇ ｕｎｉｔ）であってもよい。
１つ若しくは複数の実施例に関連する推論及び／又は訓練の動作を実行するために、推論及び／又は訓練論理１３１５が使用される。推論及び／又は訓練論理１３１５に関する詳細事項は、図１３Ａ及び／又は図１３Ｂと併せて本明細書に提供される。少なくとも一実施例では、深層学習アプリケーション・プロセッサは、ＳＭ４１００に提供される情報を予測又は推論するようにニューラル・ネットワークなどの機械学習モデルを訓練するために使用される。少なくとも一実施例では、ＳＭ４１００は、別のプロセッサ若しくはシステムによって、又はＳＭ４１００によって訓練されてきた訓練済み機械学習モデル（たとえば、ニューラル・ネットワーク）に基づき、情報を推論又は予測するために使用される。少なくとも一実施例では、ＳＭ４１００は、本明細書に記載の１つ又は複数のニューラル・ネットワークのユース・ケースを実行するために使用されてもよい。
上述した技法は、たとえば、人間とロボットとの間で物体の交換を実行するためのシステムを実装するために使用されてもよい。いくつかの実例は、上述したように人間の手によって保持される物体の把持を生成するように訓練されたニューラル・ネットワークを作製するために、推論及び／又は訓練論理を使用する。
少なくとも一実施例では、単一の半導体プラットフォームとは、単独で単体の半導体ベースの集積回路又はチップを指してもよい。少なくとも一実施例では、マルチ・チップ・モジュールは、オン・チップ動作をシミュレートする接続性が向上した状態で使用されてもよく、従来の中央処理装置（「ＣＰＵ」）及びバスの実装形態の利用を大幅に改善する。少なくとも一実施例では、ユーザの希望に応じて、半導体プラットフォームとは別々に、又は半導体プラットフォームとの様々な組合せで、様々なモジュールがさらに設置されてもよい。
少なくとも一実施例では、機械読取り可能で実行可能なコード若しくはコンピュータ制御論理アルゴリズムの形のコンピュータ・プログラムが、メイン・メモリ１９０４及び／又は二次ストレージに記憶される。コンピュータ・プログラムは、１つ又は複数のプロセッサによって実行された場合に、少なくとも一実施例による様々な機能をシステム１９００が実行できるようにする。メモリ１９０４、ストレージ、及び／又は任意の他のストレージが、コンピュータ読取り可能媒体の考えられる例である。少なくとも一実施例では、二次ストレージとは、フロッピー（登録商標）・ディスク・ドライブ、磁気テープ・ドライブ、コンパクト・ディスク・ドライブ、デジタル多用途ディスク（「ＤＶＤ」：ｄｉｇｉｔａｌ ｖｅｒｓａｔｉｌｅ ｄｉｓｋ）ドライブ、記録デバイス、ユニバーサル・シリアル・バス（「ＵＳＢ」）フラッシュ・メモリなどを表すハード・ディスク・ドライブ及び／若しくはリムーバブル・ストレージ・ドライブなどの任意の好適なストレージ・デバイス又はシステムを指してもよい。少なくとも一実施例では、様々な先の図面のアーキテクチャ及び／又は機能は、ＣＰＵ１９０２、並列処理システム１９１２、ＣＰＵ１９０２と並列処理システム１９１２の両方の機能の少なくとも一部分を実現可能な集積回路、チップセット（たとえば、関連機能を実行するためのユニットとして機能し、販売されるように設計された集積回路のグループなど）、及び集積回路の任意の好適な組合せの文脈において実装される。
少なくとも一実施例では、様々な先の図面のアーキテクチャ及び／又は機能は、汎用コンピュータ・システム、回路板システム、エンタテイメント目的専用のゲーム・コンソール・システム、及び特定用途システムなどの文脈において実装される。少なくとも一実施例では、コンピュータ・システム１９００は、デスクトップ・コンピュータ、ラップトップ・コンピュータ、タブレット・コンピュータ、サーバ、スーパーコンピュータ、スマート・フォン（たとえば、ワイヤレスの携帯型デバイス）、パーソナル・デジタル・アシスタント（「ＰＤＡ」）、デジタル・カメラ、車両、頭装着型ディスプレイ、携帯型電子デバイス、モバイル・フォン・デバイス、テレビ、ワークステーション、ゲーム・コンソール、組み込みシステム、及び／又は任意の他のタイプの論理の形をとってもよい。
少なくとも一実施例では、並列処理システム１９１２は、限定することなく、複数の並列処理ユニット（「ＰＰＵ」）１９１４、及び関連メモリ１９１６を含む。少なくとも一実施例では、ＰＰＵ１９１４は、相互接続１９１８及びスイッチ１９２０又はマルチプレクサを介してホスト・プロセッサ又は他の周辺デバイスに接続される。少なくとも一実施例では、並列処理システム１９１２は、計算タスクをＰＰＵ１９１４にわたって分配し、これは、たとえば複数のグラフィックス・プロセッシング・ユニット（「ＧＰＵ」）のスレッド・ブロックにわたる計算タスクの分配の一部として、並列化可能とすることができる。少なくとも一実施例では、メモリは、ＰＰＵ１９１４の一部又は全部にわたって共有され、（たとえば、読取り及び／又は書込みアクセスのために）アクセス可能であるが、こうした共有メモリは、ＰＰＵ１９１４に常駐しているローカル・メモリ及びレジスタの使用に対して、性能に不利益をもたらすことがある。少なくとも一実施例では、ＰＰＵ１９１４の動作は、＿ｓｙｎｃｔｈｒｅａｄｓ（）などのコマンドを使用することによって同期され、ここで（たとえば、複数のＰＰＵ１９１４にわたって動作している）ブロック内のすべてのスレッドが、進行前にコードのある一定の実行ポイントに到達する。
他の変形形態は、本開示の範囲内にある。したがって、開示した技法は、様々な修正及び代替的な構成が可能であるが、それらのうち一定の例示的な実施例が図面に示され、上で詳細に説明されてきた。しかし、特定の１つ又は複数の開示された形に本開示を限定する意図はなく、その反対に、特許請求の範囲に定義される開示の趣旨及び範囲に入るすべての修正形態、代替的な構成、及び等価物を網羅することを意図している。
開示される実施例を説明する文脈において（特に、以下の特許請求の範囲の文脈において）「ａ」及び「ａｎ」及び「ｔｈｅ」という用語、並びに同様の指示語を使用することは、本明細書に別段の記載のない限り、又は文脈によって明らかに否定されない限り、単数と複数の両方を網羅すると解釈されるべきであり、用語の定義であると解釈されるべきではない。「備える（ｃｏｍｐｒｉｓｉｎｇ）」、「有する（ｈａｖｉｎｇ）」、「含む（ｉｎｃｌｕｄｉｎｇ）」、「収容する（ｃｏｎｔａｉｎｉｎｇ）」という用語は、別段の記載のない限り、オープンエンドの用語（「含むが、これに限定されない」を意味する）と解釈される。「接続される」という用語は、修飾されずに物理的接続を指している場合には、何か介在するものがあったとしても、部分的に又は完全に中に収容される、取り付けられる、又は互いに接合されるものとして解釈される。本明細書において値の範囲を詳述することは、本明細書において別段の記載がない限り、またそれぞれ別々の値が、本明細書に個々に詳述されているかのように明細書に組み込まれていない限り、範囲内に含まれるそれぞれ別々の値を個々に参照する簡潔な方法として機能することを単に意図しているにすぎない。「セット」（たとえば、「アイテムのセット」）又は「サブセット」という用語の使用は、文脈によって別段の記載がない、又は否定されていない限り、１つ又は複数の部材を備える空ではない集合として解釈されるべきである。さらに、文脈によって別段の記載がない、又は否定されていない限り、対応するセットの「サブセット」という用語は、対応するセットの厳密なサブセットを必ずしも指すのではなく、サブセットと対応するセットは等しくてもよい。
「Ａ、Ｂ、及びＣのうちの少なくとも１つ」又は「Ａ、Ｂ、及びＣのうちの少なくとも１つ」という形の言い回しなどの結合語は、別段の具体的な記載のない限り、又は文脈によって明確に否定されていない限り、項目、用語などが、ＡかＢかＣである、又はＡとＢとＣのセットのいずれかの空でないサブセットであることを提示するために一般に使用される文脈で理解される。たとえば、３つの部材を有するセットの説明的な例では、「Ａ、Ｂ、及びＣのうちの少なくとも１つ」並びに「Ａ、Ｂ、及びＣのうちの少なくとも１つ」という結合句は、次のセットのうちのいずれかを指す：｛Ａ｝、｛Ｂ｝、｛Ｃ｝、｛Ａ、Ｂ｝、｛Ａ、Ｃ｝、｛Ｂ、Ｃ｝、｛Ａ、Ｂ、Ｃ｝。したがって、こうした結合語は、ある一定の実施例が、少なくとも１つのＡ、少なくとも１つのＢ、及び少なくとも１つのＣのそれぞれの存在を必要とすることを全体的に暗示するものではない。さらに、別段の記載のない、又は文脈によって否定されていない限り、「複数」という用語は、複数である状態を示す（たとえば、「複数の項目（ａ ｐｌｕｒａｌｉｔｙ ｏｆ ｉｔｅｍｓ）」は複数の項目（ｍｕｌｔｉｐｌｅ ｉｔｅｍｓ）を示す）。複数である項目の数は、少なくとも２つであるが、明示的に、又は文脈によって示されている場合にはそれより多くてもよい。さらに、別段の記載のない、又は文脈からそうでないことが明らかでない限り、「～に基づく」という言い回しは、「少なくとも部分的に～に基づく」を意味し、「～だけに基づく」を意味しない。
本明細書に記載のプロセスの動作は、本明細書に別段の記載のない、又は文脈によって明確に否定されない限り、任意の好適な順序で実行することができる。少なくとも一実施例では、本明細書に記載のプロセス（又はその変形及び／又は組合せ）などのプロセスは、実行可能命令で構成された１つ又は複数のコンピュータ・システムの制御下で実行され、１つ又は複数のプロセッサ上で、ハードウェアによって、又はそれらの組合せによって集合的に実行されるコード（たとえば、実行可能な命令、１つ若しくは複数のコンピュータ・プログラム、又は１つ若しくは複数のアプリケーション）として実装される。少なくとも一実施例では、コードは、たとえば１つ又は複数のプロセッサによって実行可能な複数の命令を備えるコンピュータ・プログラムの形で、コンピュータ読取り可能ストレージ媒体に記憶される。少なくとも一実施例では、コンピュータ読取り可能ストレージ媒体は、一時的な信号（たとえば、伝播する一時的な電気若しくは電磁送信）を除外するが、一時的な信号のトランシーバ内の非一時的なデータ・ストレージ回路（たとえば、バッファ、キャッシュ、及びキュー）を含む非一時的なコンピュータ読取り可能ストレージ媒体である。少なくとも一実施例では、コード（たとえば、実行可能コード又はソース・コード）は、１つ又は複数の非一時的なコンピュータ読取り可能ストレージ媒体のセットに記憶され、このストレージ媒体には、コンピュータ・システムの１つ又は複数のプロセッサによって実行されたときに（すなわち、実行された結果として）、コンピュータ・システムに本明細書に記載の動作を実行させる実行可能命令が記憶されている（又は、実行可能命令を記憶するための他のメモリを有する）。非一時的なコンピュータ読取り可能ストレージ媒体のセットは、少なくとも一実施例では、複数の非一時的なコンピュータ読取り可能ストレージ媒体を備え、複数の非一時的なコンピュータ読取り可能ストレージ媒体の個々の非一時的なストレージ媒体のうちの１つ又は複数には、すべてのコードがないが、複数の非一時的なコンピュータ読取り可能ストレージ媒体は、集合的にすべてのコードを記憶している。少なくとも一実施例では、実行可能命令は、異なる命令が異なるプロセッサによって実行されるように実行され、たとえば、非一時的なコンピュータ読取り可能ストレージ媒体は命令を記憶し、メインの中央処理装置（「ＣＰＵ」）は一部の命令を実行し、グラフィックス・プロセッシング・ユニット（「ＧＰＵ」）は他の命令を実行する。少なくとも一実施例では、コンピュータ・システムの異なる構成要素は、別々のプロセッサを有し、異なるプロセッサは、命令の異なるサブセットを実行する。
したがって、少なくとも一実施例では、コンピュータ・システムは、本明細書に記載のプロセスの動作を単独で又は集合的に実行する１つ又は複数のサービスを実装するように構成され、こうしたコンピュータ・システムは、動作の実行を可能にする適用可能なハードウェア及び／又はソフトウェアで構成される。さらに、本開示の少なくとも一実施例を実装するコンピュータ・システムは、単一のデバイスであり、別の実施例では、異なるやり方で動作する複数のデバイスを備える分散型のコンピュータ・システムであり、それにより単一のデバイスがすべての動作を実行しないように分散型のコンピュータ・システムが本明細書に記載の動作を実行する。
本明細書に提供されるあらゆる例、又は例示的な言葉（たとえば、「など」）の使用は、本開示の実施例をより明らかにすることだけを意図しており、別段の主張のない限り、本開示の範囲に制限を加えるものではない。本明細書のいかなる言葉も、特許請求されていない任意の要素を、本開示の実践に不可欠なものとして示すと解釈されるべきではない。
本明細書に引用される出版物、特許出願、及び特許を含むすべての参考文献は、各参考文献が参照により組み込まれることがあたかも個別に明確に示され、その全体が本明細書に記載されたかのように、それと同程度まで参照により本明細書に組み込まれる。
明細書及び特許請求の範囲において、「結合される」及び「接続される」という用語が、その派生語とともに使用されてもよい。これらの用語は、互いに同義語として意図されていない場合があることを理解すべきである。むしろ、特定の例では、「接続される」又は「結合される」は、２つ以上の要素が物理的又は電気的に互いに直接又は間接的に接触していることを示すために使用されてもよい。また「結合される」は、２つ以上の要素が直接互いに接触していないが、なお互いに連動又は相互作用することを意味してもよい。
別段の具体的な記載のない限り、明細書全体を通して「処理する」、「コンピューティング」、「計算する」、又は「判定する」などの用語は、コンピューティング・システムのレジスタ及び／又はメモリ内の、電子的などの物理的な量として表されるデータをコンピューティング・システムのメモリ、レジスタ、又は他のそのような情報ストレージ・デバイス、送信デバイス、若しくはディスプレイ・デバイス内の物理的な量として同様に表される他のデータになるよう操作及び／又は変換するコンピュータ若しくはコンピューティング・システム、又は同様の電子コンピューティング・デバイスの行為及び／又はプロセスを指す。
同様に、「プロセッサ」という用語は、レジスタ及び／又はメモリからの電子データを処理し、その電子データを、レジスタ及び／又はメモリに記憶することができる他の電子データに変換する任意のデバイス、又はデバイスの一部分を指してもよい。非限定的な例として、「プロセッサ」は、ＣＰＵ又はＧＰＵであってもよい。「コンピューティング・プラットフォーム」は、１つ又は複数のプロセッサを備えてもよい。本明細書で使用する「ソフトウェア」プロセスは、たとえば、タスク、スレッド、及び知的エージェントなど、経時的にワークを実行するソフトウェア及び／又はハードウェアのエンティティを含んでもよい。また、各プロセスは、命令を直列で又は並列で連続的に又は断続的に実行するための複数のプロセスを指してもよい。「システム」及び「方法」という用語は、１つ又は複数の方法をシステムが具体化することができ、方法がシステムと考えられてもよい場合に限り、本明細書において交換可能に使用される。
本明細書では、アナログ・データ又はデジタル・データを得る、取得する、受信する、又はそれらをサブシステム、コンピュータ・システム、又はコンピュータ実装機械に入力することに言及することができる。アナログ・データ又はデジタル・データを得る、取得する、受信する、又は入力するプロセスは、関数呼出し、又はアプリケーション・プログラミング・インターフェースへの呼出しのパラメータとしてデータを受信するなど、様々なやり方で実現することができる。いくつかの実装形態では、アナログ・データ又はデジタル・データを得る、取得する、受信する、又は入力するプロセスは、直列又は並列のインターフェースを介してデータを転送することによって実現することができる。別の実装形態では、アナログ・データ又はデジタル・データを得る、取得する、受信する、又は入力するプロセスは、提供するエンティティから取得するエンティティにコンピュータ・ネットワークを介してデータを転送することによって実現することができる。また、アナログ・データ又はデジタル・データを提供する、出力する、送信する、送る、又は提示することにも言及することができる。様々な例では、アナログ・データ又はデジタル・データを提供する、出力する、送信する、送る、又は提示するプロセスは、関数呼出しの入力又は出力のパラメータ、アプリケーション・プログラミング・インターフェース若しくはプロセス間通信機構のパラメータとしてデータを転送することによって実現することができる。
上の議論は、記載した技法の例示的な実装形態について述べているが、記載した機能を実装するために他のアーキテクチャが使用されてもよく、この他のアーキテクチャは、本開示の範囲内にあることが意図される。さらに、議論を目的として、役割の具体的な分配が定義されているが、様々な機能及び役割は、状況に応じて異なるやり方で分配及び分割されてもよい。
さらに、主題は、構造的特徴及び／又は方法論的行為に特有の言葉で説明されてきたが、添付の特許請求の範囲で請求される主題は、必ずしも説明された特有の特徴又は行為に限定されないことが理解されるべきである。むしろ、特有の特徴及び行為は、特許請求の範囲を実装する例示的な形として開示されている。

Claims (26)

  1. 物体を保持している手を表す点群を取得し、
    前記点群の第１の部分から、前記物体の姿勢を判定し、
    前記点群の第２の部分から、前記手の姿勢を判定し、
    ロボットが前記物体を把持することを可能にする把持姿勢のセットを生成し、
    前記手の前記姿勢に少なくとも部分的に基づき、前記把持姿勢のセットから、前記手に干渉しない標的把持姿勢を選択し、
    前記ロボットに、前記標的把持姿勢を実行させる
    ための１つ又は複数のプロセッサを備える１つ又は複数のコンピュータを備えるプロセッサ。
  2. 前記手の前記姿勢が、複数のセグメント及び関節角度を識別する、請求項１に記載のプロセッサ。
  3. 前記１つ又は複数のプロセッサが、
    ３次元画像を深度カメラから取得し、
    前記３次元画像から前記点群を生成する、請求項１に記載のプロセッサ。
  4. 前記把持姿勢のセットが、前記ロボットのロボット・グリッパのための姿勢であり、
    前記ロボット・グリッパが、前記把持を実行する２つの対向する指を有する、請求項１に記載のプロセッサ。
  5. 前記物体の前記姿勢が、前記物体の配向を示す３つの角度、及び前記物体の位置を識別する情報を含む、請求項１に記載のプロセッサ。
  6. 前記ロボットが、前記手から前記物体を取る、請求項１に記載のプロセッサ。
  7. コンピュータ可読媒体に結合された１つ又は複数のプロセッサを備えるシステムであって、
    前記コンピュータ可読媒体が、前記１つ又は複数のプロセッサによって実行される結果として、前記システムに、
    物体を保持する付属肢の３次元画像から、前記付属肢の姿勢及び前記物体の姿勢を判定すること、
    ロボット・グリッパが前記物体を把持することを可能にする把持姿勢のセットを判定すること、
    前記把持姿勢のセットから、前記付属肢に干渉しない把持姿勢を選択すること、及び
    前記把持姿勢を実行すること
    を行わせる実行可能な命令を記憶している、システム。
  8. 前記３次元画像が、深度カメラ、レーダ画像、ＬＩＤＡＲ画像、又は３次元医療用撮像装置から生成される、請求項７に記載のシステム。
  9. 前記実行可能命令が、前記１つ又は複数のプロセッサによって実行される結果として、前記システムにさらに、
    前記３次元画像から点群を生成すること、
    前記付属肢を表す前記点群の第１の部分を識別すること、及び
    前記物体を表す前記点群の第２の部分を識別すること
    を行わせる、請求項７に記載のシステム。
  10. 前記実行可能命令が、前記１つ又は複数のプロセッサによって実行される結果として、前記システムにさらに、
    前記３次元画像から手の姿勢のタイプを判定すること、及び
    前記手の姿勢のタイプに少なくとも部分的に基づいて、把持姿勢を判定すること
    を行わせる、請求項７に記載のシステム。
  11. 前記実行可能命令が、前記１つ又は複数のプロセッサによって実行される結果として、前記システムにさらに、
    前記３次元画像から点群を生成すること、及び
    前記把持姿勢を出力する訓練済みモデルに、前記点群を提供すること
    を行わせる、請求項７に記載のシステム。
  12. 前記訓練モデルが、点群情報及び対応する把持姿勢を含むグラウンド・トゥルース・データを提供することによって訓練される、請求項１１に記載のシステム。
  13. 前記ロボット・グリッパが、前記把持姿勢の実行中に前記付属肢に接触することが予測される場合に、前記把持姿勢が、前記付属肢に干渉すると判定される、請求項７に記載のシステム。
  14. １つ又は複数のプロセッサによって実行された場合に、前記１つ又は複数のプロセッサに、少なくとも、
    物体を保持する付属肢の３次元画像を取得すること、
    前記３次元画像から３Ｄモデルを生成すること、
    前記３Ｄモデルを、前記付属肢に接触することなく前記付属肢を把持することができるロボット・グリッパの把持姿勢を生成する訓練済みネットワークに提供すること、及び
    前記ロボット・グリッパに前記把持姿勢を実行させること
    を行わせる命令のセットを記憶している機械可読媒体。
  15. 前記訓練済みネットワークが、物体を保持している付属肢の色付き３Ｄモデルと、前記ロボット・グリッパが前記付属肢に接触することなく前記付属肢から前記物体を受け取ることができるように、前記ロボット・グリッパのために提案された把持とを含む訓練データを、ネットワークに提供することによって、少なくとも部分的に訓練される、請求項１４に記載の機械可読媒体。
  16. 訓練データが、少なくとも、
    人間による物体引渡しのデータセットを生成すること、及び
    グラウンド・トゥルースの手の姿勢及びグラウンド・トゥルースの物体の姿勢を用いて前記データセットにアノテーション付けすること
    によって生成される、請求項１５に記載の機械可読記憶媒体。
  17. 前記命令が、前記１つ又は複数のプロセッサによって実行される結果として、前記１つ又は複数のプロセッサに、
    前記３Ｄモデルから、前記付属肢の姿勢を判定すること、及び
    前記３Ｄモデルから、前記物体の姿勢を判定すること
    を行わせる命令をさらに含む、請求項１４に記載の機械可読媒体。
  18. 前記把持姿勢が、少なくとも部分的に、前記物体の前記姿勢及び前記付属肢の前記姿勢に基づいており、
    前記把持姿勢が、前記付属肢に接触せずに前記物体をうまく把持することになる把持として判定される、請求項１７に記載の機械可読記憶媒体。
  19. 前記ネットワークが、異なる物体のタイプを保持する前記付属肢の画像を使用して訓練される、請求項１４に記載の機械可読記憶媒体。
  20. 前記命令が、前記１つ又は複数のプロセッサによって実行される結果として、前記１つ又は複数のプロセッサに、前記付属肢の前記姿勢が前記ロボットに前記物体を渡そうとしている姿勢タイプであると判定される結果として、前記把持姿勢を判定させる命令をさらに含む、請求項１４に記載の機械可読媒体。
  21. 物体を保持している付属肢の３Ｄモデルと、ロボット・グリッパが前記付属肢に干渉することなく前記付属肢から前記物体を受け取ることができるように、前記ロボット・グリッパのために提案された把持とを含む訓練データを、ネットワークに提供することによって、少なくとも部分的に１つ又は複数のニューラル・ネットワークを訓練するための１つ又は複数の算術論理演算ユニット（ＡＬＵ）を備える、プロセッサ。
  22. 訓練データが、少なくとも、
    人間による物体引渡しのデータセットを生成すること、及び
    グラウンド・トゥルースの手の姿勢及びグラウンド・トゥルースの物体の姿勢を用いて前記データセットにアノテーション付けすること
    によって生成される、請求項２１に記載のプロセッサ。
  23. 前記ネットワークが、
    前記３Ｄモデルから、前記付属肢の姿勢を判定し、
    前記３Ｄモデルから、前記物体の姿勢を判定する、請求項２１に記載のプロセッサ。
  24. 前記３Ｄモデルが、前記物体を保持している前記付属肢の３次元画像から生成される、請求項２１に記載のプロセッサ。
  25. 前記３Ｄモデルが点群である、請求項２１に記載のプロセッサ。
  26. 前記付属肢が、人間の手、ロボットのグリッパ若しくは手、動物の一部分、又は人間の脚若しくは腕である、請求項２１に記載のプロセッサ。
JP2020178736A 2020-07-28 2020-10-26 物体引渡しの機械学習制御 Pending JP2022024952A (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US16/941,339 2020-07-28
US16/941,339 US11597078B2 (en) 2020-07-28 2020-07-28 Machine learning control of object handovers

Publications (1)

Publication Number Publication Date
JP2022024952A true JP2022024952A (ja) 2022-02-09

Family

ID=79300708

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2020178736A Pending JP2022024952A (ja) 2020-07-28 2020-10-26 物体引渡しの機械学習制御

Country Status (4)

Country Link
US (2) US11597078B2 (ja)
JP (1) JP2022024952A (ja)
CN (1) CN114004329A (ja)
DE (1) DE102021118885B4 (ja)

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11855971B2 (en) * 2018-01-11 2023-12-26 Visa International Service Association Offline authorization of interactions and controlled tasks
US11958529B2 (en) * 2020-08-20 2024-04-16 Nvidia Corporation Controlling position of robot by determining goal proposals by using neural networks
JP2022136604A (ja) * 2021-03-08 2022-09-21 キヤノン株式会社 ロボットシステム、端末、ヘッドマウントディスプレイ、ヘルメット、腕時計端末、ティーチングペンダント、ロボットシステムの制御方法、端末の制御方法、ロボットシステムを用いた物品の製造方法、制御プログラムおよび記録媒体
US20220288783A1 (en) * 2021-03-10 2022-09-15 Nvidia Corporation Machine learning of grasp poses in a cluttered environment
US11875528B2 (en) * 2021-05-25 2024-01-16 Fanuc Corporation Object bin picking with rotation compensation
CN114770504B (zh) * 2022-04-26 2024-01-30 深圳优地科技有限公司 机器人控制方法、装置、机器人及存储介质
DE102022124832A1 (de) 2022-09-27 2024-03-28 Deutsches Zentrum für Luft- und Raumfahrt e.V. Verfahren zum Roboterlernen von Fertigkeiten aus Benutzerdemonstration und Roboter, Datenstruktur und Computerprogramm zum autonomen Ausführen von Aufgaben
CN115635482B (zh) * 2022-10-18 2024-01-30 深圳市人工智能与机器人研究院 基于视觉的机器人到人物体传递方法、装置、介质及终端
CN116652940B (zh) * 2023-05-19 2024-06-04 兰州大学 仿人手精密操控方法和装置、电子设备及存储介质

Family Cites Families (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2006006624A1 (ja) * 2004-07-13 2006-01-19 Matsushita Electric Industrial Co., Ltd. 物品保持システム、ロボット及びロボット制御方法
JP4456561B2 (ja) * 2005-12-12 2010-04-28 本田技研工業株式会社 自律移動ロボット
DE602007003849D1 (de) * 2007-10-11 2010-01-28 Mvtec Software Gmbh System und Verfahren zur 3D-Objekterkennung
US8933912B2 (en) 2012-04-02 2015-01-13 Microsoft Corporation Touch sensitive user interface with three dimensional input sensor
US9233469B2 (en) 2014-02-13 2016-01-12 GM Global Technology Operations LLC Robotic system with 3D box location functionality
WO2015153739A1 (en) * 2014-04-01 2015-10-08 University Of South Florida Systems and methods for planning a robot grasp based upon a demonstrated grasp
US20160091095A1 (en) 2014-09-29 2016-03-31 Caterpillar Global Mining Llc Diaphragm Air Seal
DE102014223167A1 (de) 2014-11-13 2016-05-19 Kuka Roboter Gmbh Bestimmen von objektbezogenen Greifräumen mittels eines Roboters
JP2016201609A (ja) 2015-04-08 2016-12-01 日本電気通信システム株式会社 加入者端末装置、通信サービス提供システム、通信制御方法、及び、通信制御プログラム
US9687983B1 (en) * 2016-05-11 2017-06-27 X Development Llc Generating a grasp pose for grasping of an object by a grasping end effector of a robot
KR102576842B1 (ko) * 2017-01-04 2023-09-12 삼성전자주식회사 핸드-아이 캘리브레이션을 수행하는 로봇 및 전자 장치
JP2018169660A (ja) * 2017-03-29 2018-11-01 セイコーエプソン株式会社 オブジェクト姿勢検出装置、制御装置、ロボットおよびロボットシステム
CN112088070A (zh) * 2017-07-25 2020-12-15 M·奥利尼克 用于操作机器人系统并执行机器人交互的系统及方法
JP2019025572A (ja) * 2017-07-28 2019-02-21 セイコーエプソン株式会社 ロボットの制御装置、ロボット、ロボットシステム、並びに、ロボットの異常を確認する方法
JP6822929B2 (ja) * 2017-09-19 2021-01-27 株式会社東芝 情報処理装置、画像認識方法および画像認識プログラム
US10766149B2 (en) 2018-03-23 2020-09-08 Amazon Technologies, Inc. Optimization-based spring lattice deformation model for soft materials
JP7057214B2 (ja) * 2018-05-18 2022-04-19 トヨタ自動車株式会社 把持装置、タグが付された容器、対象物把持プログラムおよび対象物把持方法
US10471591B1 (en) * 2018-06-01 2019-11-12 X Development Llc Object hand-over between robot and actor
CN112601641B (zh) * 2018-08-23 2024-03-08 实时机器人有限公司 用于机器人运动规划的碰撞检测
DE102019122790B4 (de) 2018-08-24 2021-03-25 Nvidia Corp. Robotersteuerungssystem
US11833681B2 (en) * 2018-08-24 2023-12-05 Nvidia Corporation Robotic control system
US11724401B2 (en) * 2019-11-13 2023-08-15 Nvidia Corporation Grasp determination for an object in clutter
US11331799B1 (en) * 2019-12-31 2022-05-17 X Development Llc Determining final grasp pose of robot end effector after traversing to pre-grasp pose

Also Published As

Publication number Publication date
US20230202031A1 (en) 2023-06-29
CN114004329A (zh) 2022-02-01
DE102021118885A1 (de) 2022-02-03
US20220032454A1 (en) 2022-02-03
US11597078B2 (en) 2023-03-07
DE102021118885B4 (de) 2022-11-10

Similar Documents

Publication Publication Date Title
US11833681B2 (en) Robotic control system
US20240042601A1 (en) Robotic control system
JP7491808B2 (ja) 手持ち物体の姿勢追跡
US20210086364A1 (en) Vision-based teleoperation of dexterous robotic system
US20210125052A1 (en) Reinforcement learning of tactile grasp policies
JP2020192676A (ja) 変分把持生成
US20210398338A1 (en) Image generation using one or more neural networks
US20210383533A1 (en) Machine-learning-based object detection system
JP2021033997A (ja) １つ又は複数のニューラル・ネットワークを使用した視線検出
US11597078B2 (en) Machine learning control of object handovers
US20210125036A1 (en) Determining object orientation from an image with machine learning
JP2023502575A (ja) 画像内の物体の向きを予測するためのニューラル・ネットワークを使用する訓練及び推論
JP2021099788A (ja) クラッタ内の物体向けの把持姿勢決定
JP2023500608A (ja) ニューラル・ネットワークにおいて分布外入力データを識別するためのプロセッサ及びシステム
US20220398456A1 (en) Identification of multi-scale features using a neural network
US20210233273A1 (en) Determining a 3-d hand pose from a 2-d image using machine learning
US20210192287A1 (en) Master transform architecture for deep learning
JP2023500065A (ja) ニューラル・ネットワークの逆伝播用の分配された重み更新
US20210133990A1 (en) Image aligning neural network
EP3816853A1 (en) Gaze determination using one or more neural networks
US20220222477A1 (en) Performing non-maximum suppression in parallel
US20210183088A1 (en) Depth estimation using a neural network
JP2022185572A (ja) ニューラル・ネットワークを用いた分類のための技法

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20230227

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20240125

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20240216

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20240516