JP2022176081A - 適応視標追跡機械学習モデル・エンジン - Google Patents
適応視標追跡機械学習モデル・エンジン Download PDFInfo
- Publication number
- JP2022176081A JP2022176081A JP2022039787A JP2022039787A JP2022176081A JP 2022176081 A JP2022176081 A JP 2022176081A JP 2022039787 A JP2022039787 A JP 2022039787A JP 2022039787 A JP2022039787 A JP 2022039787A JP 2022176081 A JP2022176081 A JP 2022176081A
- Authority
- JP
- Japan
- Prior art keywords
- data
- eye
- adaptive
- vehicle
- tracking
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
- G06F3/013—Eye tracking input arrangements
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/211—Selection of the most significant subset of features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/217—Validation; Performance evaluation; Active pattern learning techniques
- G06F18/2178—Validation; Performance evaluation; Active pattern learning techniques based on feedback of a supervisor
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N20/00—Machine learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/0464—Convolutional networks [CNN, ConvNet]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/0985—Hyperparameter optimisation; Meta-learning; Learning-to-learn
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/10—Interfaces, programming languages or software development kits, e.g. for simulating neural networks
- G06N3/105—Shells for specifying net layout
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/59—Context or environment of the image inside of a vehicle, e.g. relating to seat occupancy, driver state or inner lighting conditions
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/168—Feature extraction; Face representation
- G06V40/171—Local features and components; Facial parts ; Occluding parts, e.g. glasses; Geometrical relationships
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/18—Eye characteristics, e.g. of the iris
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/082—Learning methods modifying the architecture, e.g. adding, deleting or silencing nodes or connections
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- General Engineering & Computer Science (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- Software Systems (AREA)
- Life Sciences & Earth Sciences (AREA)
- Computing Systems (AREA)
- Multimedia (AREA)
- Mathematical Physics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Molecular Biology (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Human Computer Interaction (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Evolutionary Biology (AREA)
- Bioinformatics & Computational Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Ophthalmology & Optometry (AREA)
- Medical Informatics (AREA)
- Image Analysis (AREA)
- Control Of Driving Devices And Active Controlling Of Vehicle (AREA)
- Traffic Control Systems (AREA)
Abstract
【課題】視標追跡システムのための適応視標追跡機械学習モデル・エンジン(「適応モデル・エンジン」)を提供する。【解決手段】適応モデル・エンジンは、データを収集すること、トレーニングすること、最適化すること、及び識別された配備環境の特徴のセットに基づいてカスタマイズされた視標追跡モデルである適応視標追跡モデルを配備することをサポートする視標追跡又は凝視追跡開発パイプライン(「適応モデル・トレーニング・パイプライン」)を含み得る。適応モデル・エンジンは、サラウンド環境において凝視ベクトル推定に対してトレーニングされ、複数の視標追跡変形モデル及び複数のフェイス・ランドマーク・ニューラル・ネットワーク基準に基づいてアンサンブルし得る適応視標追跡モデルをアンサンブルすることをサポートする。【選択図】図1A
Description
視標追跡技術の最近の向上は、デスクトップ、ラップトップ、及びタブレット(すなわち、ユーザが小平面を見ている非サラウンド又は2D環境)のために開発されてきており、そのようなものとして、従来の視標追跡ソリューションは、サラウンド配備アプリケーション(たとえば、運転監視システム)に適用されるときに限定される。これは、車両における(すなわち、サラウンド又は3D環境における)視標追跡の要件が、非サラウンド環境の要件とは異なるからである。たとえば、ドライバの頭部姿勢及び凝視(gaze)角度の予想範囲が、典型的には、デスクトップ・ユーザに比べると運転の自然の進路においてはるかに広く、ドライバからの様々な深度における、はるかに多くの表面を伴い得る。加えて、車両における視標追跡は、様々な照明条件-良い照明条件及び悪い照明条件-で堅牢に動作しなければならない。たとえば、車両は、環境及び環境光が異なる1日の異なる時間に動作される可能性があり、そのようなものとして、視標追跡は、日光と暗闇の間の全範囲で効果的に動作しなければならない。
従来の視標追跡技術は、機械学習技法を含み、具体的には、機械学習モデルをトレーニングするために収集されたデータのタイプ、及び、データから生成された機械学習モデルのアプリケーションの硬直性が原因で限定される。高レベルでは、視標追跡機械学習モデルは、通常、分類問題として凝視領域検出を公式化する分類モデルである。典型的な実装形態では、粗い頭部姿勢方向、及び両目を含む顔部分が、サポート・ベクトル・マシン(「SVM」:Support Vector Machine)凝視分類器をトレーニングするために識別され、使用される。SVM凝視分類器は、次いで、8つの所定の凝視領域の1つを出力する。別の実例において、顔の特徴が、6つの領域内のこれらの空間構成において識別され、分類される。しかしながら、顔の特徴の分類は、しばしば、正確な凝視推定を使用せずに実施される。この空間構成ベースの技法は、対象間の、及び対象内の、分類精度の変動を生じる恐れがある。さらに、空間構成ベースの技法は、明示的な瞳孔の特徴を取得せず、そのようなものとして、(頭部の動きではなく)凝視に対する瞳孔の動きの理解の精度及び堅牢性が低下することがある。
第3の従来のアプローチでは、畳み込みニューラル・ネットワーク(「CNN」:Convolutional Neural Network)が、凝視領域を分類するためにフェイシャル・ディスクリプタを使用してトレーニングされる。しかしながら、これらのアプローチによる凝視分類モデルの有効性及び精度は、しばしば、固定された3D形状を有する特定の車両タイプに限定される。そのようなものとして、機械学習動作を実施するための代替の基礎を有する、より包括的な視標追跡システムが、視標追跡システムのための計算動作及びインターフェースを向上させることができる。
本開示の実施例は、視標追跡システムのための適応視標追跡機械学習モデル・エンジン(「適応モデル・エンジン」)に関する。視標追跡又は凝視追跡開発パイプライン(「適応モデル・トレーニング・パイプライン」)を含む適応モデル・エンジンを提供するためのシステム及び方法が開示される-適応モデル・トレーニング・パイプラインは、以下のトレーニング動作を実行し得る:データを収集すること、トレーニングすること、最適化すること、及び識別された配備環境の特徴のセットに基づいてカスタマイズされた適応視標追跡モデルを配備すること。適応モデル・エンジンは、サラウンド環境における凝視ベクトル推定のために適応視標追跡モデルをトレーニングすること、並びに複数の視標追跡変形モデル及び複数のフェイス・ランドマーク・ニューラル・ネットワーク基準に基づいて、適応視標追跡モデルを生成することをサポートし得る。
前述されたものなどの従来のシステムとは対照的に、適応視標追跡モデルを生成するために、データが、サラウンド・シーン又はサラウンド配備環境から収集され得る。たとえば、サラウンド・シーン・データ収集は、複数のセンサ、複数の観点、及びデータ同期技法に基づき得る。適応モデル・エンジンのためのデータ収集は、凝視方向ベクトル及び凝視方向ベクトル範囲を含むグラウンド・トゥルース値についての、増強されたデータ変動(たとえば、サラウンド・シーン・データ・タイプのセット)を含むことができる。適応モデル・エンジンは、サラウンド・シーン・データ・タイプのセットに基づく、適応視標追跡モデルの適応モデル・トレーニングをサポートする。サラウンド・シーン・データ・タイプのセットは、適応モデル・トレーニング中に使用されることが可能な異なる入力を表し得る。適応モデル・トレーニングは、適応視標追跡モデルをトレーニングするために使用されるサラウンド・シーン・データ・タイプのセットの多様性を管理するための、いくつかのデータ準備及び処理ステージを含み得る。
いくつかの実施例において、適応モデル・エンジンの適応モデル・トレーニングは、適応視標追跡モデルを最適化するための技法を含み得る。再トレーニングされた適応視標追跡モデルを生成するために、反復的向上が、適応視標追跡モデルに対して具体的に実施されることが可能である。たとえば、車両のための第1の適応視標追跡モデルが生成され、次いで、車両のタイプ、車両のサイズと形状、ディープ・ニューラル・ネットワーク(「DNN」:Deep Neural Network)モデルのサイズと基本設定の変化、及びDNN機能の焦点と範囲に基づいて、第2の適応視標追跡モデルとして最適化されることが可能である。
適応視標追跡機械学習モデル・エンジン提供するための本システム及び方法について、添付の図面を参照して、以下に詳しく説明する。
機械学習モデル・エンジンを使用した、適応視標追跡アプローチに関するシステム及び方法が開示される。本開示は、例示的自律型車両700(本明細書で別法として「車両700」又は「エゴ車両700」と称され、その実例は図7A~7Dを参照して説明される)に関して説明されることがあるが、これは限定を意図していない。たとえば、本明細書に記載のシステム及び方法は、制限なしに、非自律型車両、半自律型車両(たとえば、1つ又は複数の適応型運転者支援システム(ADAS:adaptive driver assistance system)における)、操縦される若しくは操縦されないロボット若しくはロボット・プラットフォーム、倉庫車両、オフロード車両、1つ又は複数のトレーラに連結された車両、飛行船舶、ボート、シャトル、緊急対応車両、オートバイ、電気若しくは原動機付自転車、航空機、建設車両、潜水艦、ドローン、及び/又は他の車両タイプによって使用され得る。加えて、本開示は、自律運転及び視標追跡技術について説明され得るが、これは限定を意図しておらず、本明細書に記載のシステム及び方法は、拡張現実、仮想現実、複合現実、ロボット工学、セキュリティ及び監視、自律若しくは半自律マシン・アプリケーション、並びに/又は、自律運転が使用され得る任意の他の技術空間において使用され得る。
本開示の実施例は、視標追跡システムのための機械学習モデル・エンジン(「適応モデル・エンジン」)を使用した、適応視標追跡のためのアプローチを提供することを対象とする。適応モデル・エンジンは、データを収集すること、トレーニングすること、最適化すること、及び識別された配備環境の特徴のセットに基づいてカスタマイズされた適応視標追跡モデルを配備することをサポートする視標追跡又は凝視追跡開発パイプライン(「適応モデル・トレーニング・パイプライン」)を含み得る。適応モデル・エンジンは、サラウンド環境における凝視ベクトル推定のために適応視標追跡モデルをトレーニングすること、並びに複数の視標追跡変形モデル及び複数のフェイス・ランドマーク・ニューラル・ネットワーク基準に基づいて、適応視標追跡モデルを生成することをサポートする。
1つ又は複数の実施例によれば、適応モデル・エンジンは、サラウンド・シーン又はサラウンド配備環境におけるサラウンド・シーン・データ収集を使用して、適応視標追跡モデルを生成する。サラウンド・シーンは、グラウンド・トゥルース値の適応モデル・エンジン・データ(たとえば、適応モデル・エンジン・データのセット)のキャプチャを可能にするために、グラウンド・トゥルース・データが収集される、任意の多次元環境(たとえば、2D又は3D環境)を指すことができる。2次元シーン・データ収集を伴う従来のシステムとは対照的に、適応モデル・エンジンのためのデータ収集は、凝視方向ベクトル及び凝視方向ベクトル範囲を含むグラウンド・トゥルース値の増強されたデータ変動(たとえば、サラウンド・シーン・データ・タイプのセット)を含むことができる。
サラウンド・シーン・データ収集は、複数のセンサ、複数の観点、及びデータ同期技法に基づき得る。サラウンド・シーンにおけるデータを収集することによって、従来の視標追跡データ収集技法を超えるいくつかの長所が達成されることが可能である。これらの長所は、以下を制限なしに含む:カメラ配置の柔軟性、1人又は複数の人の体、頭、目の動きを含む多様なデータの迅速な獲得、並びに、サラウンド・シーン及びシーン形状の堅牢なモデリング。たとえば、サラウンド・シーン・データ収集は、具体的には、適応視標追跡モデルが、異なる車両形状を有する車両の異なるタイプに配備されることが可能な、異なる視標追跡モデルにカスタマイズされるように、適応視標追跡モデルをトレーニングするために使用されることが可能なやり方で、シーン及び車両形状データ収集のために使用されることが可能である。サラウンド・シーン・データ収集は、ベンチ・セットアップに基づくことが可能であり、ここで、参加者は、データ収集インターフェースを通じて画面上にターゲット・グラウンド・トゥルース(「GT」:Ground Truth)凝視点を提示される。サラウンド・シーン・データ収集は、車両内セットアップに基づくことが可能であり、ここで、車両は、いくつかの領域に分割され、サラウンド・シーン・データは、領域におけるシグナリング・メカニズム(たとえば、発光ダイオード(「LED」)パネル)を使用して収集される。
適応モデル・エンジンは、サラウンド・シーン・データ・タイプのセットに基づく、適応視標追跡モデルの適応モデル・トレーニングをサポートする。サラウンド・シーン・データ・タイプは、サラウンド・シーンにおけるサラウンド・シーン・データ収集中に検索されたデータのカテゴリを指すことができる。サラウンド・シーン・データ・タイプのセットは、適応モデル・トレーニング中に使用される異なる入力を表し得る。本開示の様々な実施例による適応モデル・トレーニング・パイプラインは、複数のセンサ及びデータ同期動作に少なくとも基づいて、サラウンド・シーン・データ収集中に検索されたデータに対応するサラウンド・シーン・データ・タイプのセットを処理することを含むことができる。
適応モデル・トレーニングは、適応視標追跡モデルをトレーニングするために使用されるサラウンド・シーン・データ・タイプのセットの多様性を管理するための、いくつかのデータ準備及び処理ステージを含み得る。データ準備ステージは、事前処理、データ・フィルタ処理、グラウンド・トゥルース有効化、及びタスク固有サブサンプリングを含むことができる。サラウンド・シーン・データ・タイプのセット、並びにデータ準備及び処理ステージを使用して適応視標追跡モデルをトレーニングすることは、適応視標追跡を配備環境の変化に適合させることをサポートする。たとえば、適応視標追跡モデルは、第1に、異なる車両視標追跡システムをサポートするための異なる照明、カメラ、及び配置データ・タイプをサポートすることと、第2に、異なる占有者データ・タイプ(たとえば、顔の特性、民族性、アイウェア、ヘッドギア、衣類、顔ひげ、部分的な遮蔽、並びに、体、頭、及び目の動き)をサポートすることと、第3に、グラウンド・トゥルース生成及びラベリングのエラーを処理することとを行うようにトレーニングされることが可能である。
適応モデル・トレーニングは、1つ又は複数の実施例による、適応モデル・トレーニング・パイプライン、及び、特に、特定のタイプの問題がDNNを使用して解決されるように、キャプチャされてきた十分なデータがあるとき、高品質の結果をかなえるためのディープ・ニューラル・ネットワーク(「DNN」)の能力に基づくことが可能である。このようにして、適応モデル・エンジンは、異なる配備環境における視標追跡システムのためのカスタマイズされた適応視標追跡モデルを導出することをサポートし得る。カスタマイズされた適応視標追跡モデルは、適応モデル・エンジン・データ-具体的には、適合可能な視標追跡モデル-を使用して生成されることが可能である。適合可能な視標追跡モデルは、最大変動モデルであることが可能である。適合可能な視標追跡モデルは、最大変動に重点的に取り組むデータの大きいプール(すなわち、両極端で構成された、又は、多種多様な入力データ及び特徴を保証するように選ばれたサンプル)に対して、最初にトレーニングされることが可能である。適合可能な視標追跡モデルは、計算の複雑性を低減させ、オーバーフィッティングにつながる冗長なパラメータを棄てるために、(たとえば、小さい値のノルム(small valued norms)を有する特徴マップを落として)取り除かれ得る。取り除かれた適合可能な視標追跡モデルは、次いで、配備された環境データの特徴のセット(たとえば、車のタイプ及びカメラのロケーション/観点)にマッチするデータ分散に対して再トレーニングされるか、微調整されることが可能である。
カスタマイズされた適応視標追跡モデルは、複数の視標追跡変形モデル(たとえば、包括的なヘッド・ノルム、単一の目のモデル、制限された頭部姿勢)及び複数のフェイス・ランドマーク・ニューラル・ネットワーク基準(たとえば、フェイス・ランドマーク信頼度、頭部姿勢、左/右の目の外見品質)を含む適応モデル・エンジン・データを、適応モデル選択アンサンブル・マネージャへの入力として使用して生成されることが可能である。カスタマイズされた適応視標追跡モデルは、凝視ベクトル推定データ(たとえば、顔、左目、右目、2D/3Dランドマーク)を考慮して、人が見ている場所を予測する凝視推定をサポートする。凝視推定は、凝視ベクトルを予測する3D凝視ベクトル推定に基づくことが可能である。
さらに、適応モデル・エンジンの適応モデル・トレーニングは、適応視標追跡モデルを最適化するための技法を含み得る。再トレーニングされた適応視標追跡モデルを生成するために、適応視標追跡モデルに対して、反復的向上が具体的に実施されることが可能である。たとえば、車両のための第1の適応視標追跡モデルが生成され、次いで、車両のタイプ、車両のサイズと形状、ユーザ固有パラメータ、DNNモデルのサイズと基本設定の変化、及びDNN機能の焦点と範囲に基づいて、第2の適応視標追跡モデルとして最適化されることが可能である。さらに、より一般には、適応視標追跡モデルは、自動車アプリケーションを超えて、異なるタイプのアプリケーション・シナリオに適合されることが可能である。
適応視標追跡機械学習モデル・エンジン
図1Aを参照すると、図1Aは、本開示のいくつかの実施例による、適応視標追跡機械学習モデル・エンジン(「適応モデル・エンジン」)のための実例のシステム100である。たとえば、システム100は、視標追跡又は凝視追跡開発パイプライン(「適応モデル・トレーニング・パイプライン」)を含む適応モデル・エンジンを提供し得る。システム100は、以下を含む3つの異なるタイプのモデル向上動作をさらにサポートする-適応モデル選択及びアンサンブル動作、トレーニングベースの向上動作、並びに反復フィードバック動作。本明細書に記載のこの及び他の配置は、単に実例として説明されていることを理解されたい。他の構成及び要素(たとえば、マシン、インターフェース、機能、順番、機能のグループ化など)が、図示されたものに加えて又はそれらの代わりに使用され得、いくつかの要素は、完全に省略され得る。さらに、本明細書に記載の要素の多数は、個別の若しくは分散された構成要素として又は他の構成要素と併せて、並びに任意の適切な組合せ及び場所において実装され得る機能エンティティである。エンティティによって実行されるものとして本明細書に記載された様々な機能は、ハードウェア、ファームウェア、及び/又はソフトウェアによって実施され得る。たとえば、様々な機能は、メモリに記憶された命令を実行するプロセッサによって実施され得る。
図1Aを参照すると、図1Aは、本開示のいくつかの実施例による、適応視標追跡機械学習モデル・エンジン(「適応モデル・エンジン」)のための実例のシステム100である。たとえば、システム100は、視標追跡又は凝視追跡開発パイプライン(「適応モデル・トレーニング・パイプライン」)を含む適応モデル・エンジンを提供し得る。システム100は、以下を含む3つの異なるタイプのモデル向上動作をさらにサポートする-適応モデル選択及びアンサンブル動作、トレーニングベースの向上動作、並びに反復フィードバック動作。本明細書に記載のこの及び他の配置は、単に実例として説明されていることを理解されたい。他の構成及び要素(たとえば、マシン、インターフェース、機能、順番、機能のグループ化など)が、図示されたものに加えて又はそれらの代わりに使用され得、いくつかの要素は、完全に省略され得る。さらに、本明細書に記載の要素の多数は、個別の若しくは分散された構成要素として又は他の構成要素と併せて、並びに任意の適切な組合せ及び場所において実装され得る機能エンティティである。エンティティによって実行されるものとして本明細書に記載された様々な機能は、ハードウェア、ファームウェア、及び/又はソフトウェアによって実施され得る。たとえば、様々な機能は、メモリに記憶された命令を実行するプロセッサによって実施され得る。
システム100は、適応モデル・トレーニング・パイプラインを含む適応モデル・エンジンを提供するための構成要素、命令、及び動作を提供する。図1Aに示されているように-及び以下に記載のように-、構成要素、命令、及び動作は、以下を含む:データ収集動作のためのベンチ・セットアップ112及び車内セットアップ114を含むデータ収集110-データ抽出122、データ・フィルタ処理124、データ・ラベリング126、合成データ生成128のためのデータ準備130、データ・サブサンプリング132のためのデータ準備130、データ事前処理134、及びデータ隔離136-DNNモデル・トレーニング140-マルチステージ有効化150-フィードバック160、品質保証(「QA」:Quality Assurance)170、キー・パフォーマンス指標(「KPI」:Key Performance Indicator)172、モデル選択及び配備180、並びに配備環境190。
図1Bを参照すると、図1Bは、本開示のいくつかの実施例による、適応視標追跡のための実例のシステム100を示す。図1Bは、車両102(すなわち、第1の配備環境データを有する第1の配備環境)、及び車両104(すなわち、第2の配備環境データを有する第2の配備環境)を含む。第1の配備環境及び第2の配備環境は、車両の異なるタイプ(たとえば、車両タイプ、サイズ、及び形状)を表すことができる。たとえば、第1の車両は、スポーツ・ユーティリティ・ビークル(「SUV」)であり得、第2の車両は、セダンであり得る-各車両は、視標追跡モデルによってサポートされる異なる特徴を有する。車両の異なるタイプ(たとえば、第1の車両及び別の車両)並びに非自動車配備環境が、本開示の実施例によって想定される。
車両102及び車両104は、これらのそれぞれの環境の特徴のセットに対応する配備環境データにアクセスし、配備環境データを図1Aのシステム100(すなわち、適応モデル・エンジン)に提供し得る。特徴のセットは、配備のための対応するモデルを識別するために使用され得る。たとえば、特徴のセットは、空間構成特徴(たとえば、車両のタイプ、サイズ、及び形状)、DNN基本設定構成特徴(たとえば、DNNモデルのサイズ及びパフォーマンス基本設定、DNN機能の焦点と範囲)、又は凝視タイプ構成特徴(たとえば、運転者注意散漫のための領域ベースの凝視、サッカード・ベースの認知負荷推定(saccade-based cognitive load estimation)、自動車ドメインと非自動車ドメイン両方の凝視ベースの人間-機械相互作用)を含み得る。
配備環境の特徴のセットは、サラウンド・シーンにおけるデータ収集中に検索されたデータのカテゴリを指すサラウンド・シーン・データ・タイプにさらに対応し得る。サラウンド・シーン・データ・タイプのセットは、モデル・トレーニング中に使用される異なる入力を表し得る。この点に関して、特徴のセットは、モデル・トレーニング中に使用される入力のタイプに対応し得る。たとえば、適応視標追跡モデルは、第1に、異なる車両視標追跡システムをサポートするために、異なる照明、カメラ、及び配置データ・タイプをサポートすることと、第2に、異なる占有者データ・タイプ(たとえば、顔の特性、民族性、アイウェア、ヘッドギア、衣類、顔ひげ、部分遮蔽、並びに体、頭、及び目の動き)をサポートすることと、第3に、グラウンド・トゥルース生成及びラベリング時のエラーを処理することとを行うようにトレーニングされることが可能である。そのようなものとして、に対応する配備環境データ
配備環境データは、配備環境によって、配備環境の、配備環境において、又は配備環境内で生成されたデータを含み得る。たとえば、運転システム(たとえば、運転システム106及び運転システム108)並びに/又は車両の他の構成要素は、配備環境データの1つ又は複数の部分を、適応モデル・エンジン(たとえば、適応モデル選択及びアンサンブル・マネージャ)に通信し得る。さらなる実例として、1つ又は複数の計算デバイス800は、配備環境データの1つ又は複数の部分を適応モデル・エンジンに通信し得る。実例として、計算デバイス800は、本明細書に記載のように、データ収集のために配備環境において使用され得るが、配備環境及び/又は配備される車両の一部でなくてもよい。
配備環境データは、配備環境の凝視タイプに基づいて生成され得る。凝視タイプに基づいて生成された配備環境データは、配備環境における配備のための1つ又は複数の適応視標追跡モデルを生成するために適応モデル・エンジンが使用する1つ又は複数の特徴によって、キャプチャされ得る。凝視タイプは、運転者注意散漫のための領域ベースの凝視検出、サッカード・ベースの認知負荷推定、自動車ドメインと非自動車ドメイン両方の凝視ベースの人間-機械相互作用を含むことができる。たとえば、第1の車両構成(たとえば、車両タイプ、サイズ、及び形状)は、運転者注意散漫のための領域ベースの凝視に関連付けられ得る一方で、第2の車両構成は、凝視ベースの人間-機械相互作用に関連付けられ得る。単一の車両構成は、第1の凝視タイプを有する車両の第1の部分、及び第2の凝視タイプを有する車両の第2の部分を含み得る。そのようなものとして、配備環境データは、車両構成の1つ又は複数の凝視タイプ、及び1つ又は複数の凝視タイプに関連付けられた対応する部分を識別するために使用されることが可能な凝視タイプ情報を含むことができる。凝視タイプの他の変更形態及び組合せが、本開示の実施例によって想定される。
1つ又は複数の実施例において、適応モデル・エンジンは、-本明細書で論じられるように-配備環境の特徴のセットに少なくとも基づいて、対応する配備環境に合わせてカスタマイズされた適応視標追跡モデルを導出するために使用されることが可能である。1つ又は複数の実施例において、特徴のセットは、データベースを使用して、及び/又は、手でエンター若しくは選択された設定若しくは構成要素から、適応モデル・エンジンに指示され得る。さらなる実例として、配備環境データは、配備環境データによってキャプチャされた特徴のセットのうちの1つ又は複数のスキーマ又は他の指標を使用して、適応モデル・エンジンに提供され得る。また、1つ又は複数の実施例において、1つ又は複数の特徴は、配備環境データ内の潜在的なものであり得る。動作的に、車両102又は車両104は、配備環境データを適応モデル・エンジンに提供し、対応する車両の配備環境に合わせてカスタマイズされた適応視標追跡モデルを、適応モデル・エンジンから受信し得る。1つの実例において、適応モデル・エンジンは、第1の車両配備環境、第2の車両配備環境、及び第3の非車両配備環境の適応視標追跡モデルを導出するために使用されることが可能であり、それぞれの車両配備環境が異なる形状を備える。実施例によれば、第1の車両配備環境は、第1の車両タイプに関連付けられ得、第2の車両配備環境は、第1の車両タイプとは異なり得る第2の車両タイプに関連付けられ得る。
別の実施例において、第2の配備環境の特徴のセットに対応する第2の配備環境データがアクセスされ、第2の適応視標追跡モデルの生成を行うために適応モデル・エンジンを提供される。第2の適応視標追跡モデルは、第2の配備環境の特徴に少なくとも基づいて識別された適応モデル・エンジン・データを使用して、第2の配備環境に合わせてカスタマイズされる。第2の適応視標追跡モデルは、第2の配備環境における配備のために提供される。
少なくとも1つの実施例において、車両102又は車両104は、データを適応モデル・エンジンに伝送することによって配備環境データを提供し得る。しかしながら、他の実例において、配備環境データのうちの少なくともいくつかは、配備環境内の別のデバイス又はユーザによって提供され得る。
配備環境の特徴のセットに少なくとも基づいて識別されたデータを使用して、適応モデル・エンジンは(たとえば、適応モデル選択及びアンサンブル・マネージャ180を使用して)、車両102のための第1のカスタマイズされた適応視標追跡モデル、及び車両104のための第2のカスタマイズされた適応視標追跡モデルを導出する。対応する適応視標追跡モデルは、凝視サラウンド・シーン・データ及び凝視ベクトル推定データに少なくとも基づいてトレーニングされ得る。カスタマイズされた適応視標追跡モデルは、凝視ベクトル推定データ(たとえば、顔、左目、右目、2D/3Dランドマーク)を考慮して、人が見ている場所を予測する凝視推定をサポートする。凝視推定は、凝視ベクトルを予測する3D凝視ベクトル推定に基づくことが可能である。
適応モデル・エンジン・データは、複数の視標追跡変形モデル(たとえば、包括的なヘッド・ノルム、単一の目のモデル、制限された頭部姿勢)、及び複数のフェイス・ランドマーク・ニューラル・ネットワーク基準(たとえば、フェイス・ランドマーク信頼度、頭部姿勢、左/右の目の外見品質)を含み得る。複数の視標追跡変形モデル、及び複数のフェイス・ランドマーク・ニューラル・ネットワーク基準は、適応視標追跡モデルを生成するために、配備環境データに少なくとも基づいて、(たとえば、向上された予測的パフォーマンスのためにアンサンブル機械学習方法を使用して)アンサンブルとして選択され、まとめてパッケージ化されるか、結合される。たとえば、適応モデル選択及びアンサンブル・マネージャは、適応視標追跡モデルを生成するために、第1の視標追跡変形モデル、及び第1のフェイス・ランドマーク・ニューラル・ネットワーク・モデルを受信し得る。アンサンブル方法は、分散(たとえば、バギング)、バイアス(たとえば、ブースティング)を減少させるため、又は、予測(たとえば、スタッキング)を向上するために、いくつかの機械学習技法を1つの予測モデルに結合させるメタアルゴリズムを指すことができる。
アンサンブル方法は、ベース・ラーナーが順次生成される連続アンサンブル方法(たとえばAdaBoost)、又は、ベース・ラーナーが並列に生成される並列アンサンブル方法(たとえば、ランダム・フォレスト)を使用して実施されることが可能である。1つ又は複数の実施例において、機械学習アンサンブリングは、空間構成特徴、DNN基本設定構成特徴、又は凝視タイプ構成特徴に基づき得る。たとえば、選択及びアンサンブリングが、DNN基本設定構成特徴によるものであるように、特定のDNN基本設定構成特徴、DNNモデル・サイズ及びパフォーマンス基本設定、DNN機能の焦点と範囲から、決定が行われることが可能である。この点に関して、適応視標追跡モデルを生成することは、複数のフェイス・ランドマーク・ニューラル・ネットワーク基準及び複数の視標追跡変形モデルを選択することを含むことができる。複数の視標追跡変形モデル及び複数のフェイス・ランドマーク・ニューラル・ネットワーク基準は、以下を含む(たとえば、適応視標追跡モデルを介した)出力を生成するために結合される:凝視ベクトル、カメラ空間における注視点、又は両方。出力は、配備環境データにおいて識別されるような、DNNモデル・サイズ、パフォーマンス基本設定、並びにDNN機能、焦点、及び範囲で整列させる。
いくつかの実施例において、車両102又は車両104から受信された配備環境データは、配備環境に関連付けられた凝視角度範囲を含む。凝視角度範囲は、所定の凝視角度範囲基準(たとえば、目の高さ(0°)、25°上又は下、目の高さ(10°)30°)を使用して表されることが可能である-他の変更形態及び組合せが本明細書で想定される。アルゴリズムは、凝視角度及び対応する凝視角度範囲を決定するために、頭部と両目の間の関係を分析する。そのようなものとして、適応視標追跡モデルをカスタマイズすることは、凝視角度範囲に少なくとも基づいて適応視標追跡モデルを生成するために、適応モデル・エンジン・データを識別することに少なくとも基づく。適応視標追跡モデルは、適応モデル・エンジン・データからのデータのサブセットを含む。
車両102又は車両104は(たとえば、その運転システムを介して)、配備環境の特徴に少なくとも基づいて識別された適応モデル・エンジン・データを使用して配備環境に合わせてカスタマイズされた適応視標追跡モデルを、(たとえば、適応モデル選択及びアンサンブル・マネージャ180を介して)適応モデル・エンジンから受信する。車両102又は車両104は、配備環境における配備のために、適応視標追跡モデルを使用する。適応視標追跡モデルは、配備環境の凝視のタイプ(たとえば、運転者注意散漫のための領域ベースの凝視、サッカード・ベースの認知負荷推定、自動車ドメインと非自動車ドメイン両方の凝視ベースの人間-機械相互作用)を効率的に識別するために配備されることが可能である。
図2A~図2Cに移ると、図2A~図2Cは、データ収集をサポートするデータ収集構成要素、命令、及び動作を示す。データ収集構成要素は、本明細書に記載の配備環境データのうちの少なくともいくつかを生成するために使用され得る。データ収集は、データ・コレクタ210によって管理され得、データ・コレクタ210は、配備環境190(たとえば、車両)及び/又は計算デバイス800の任意の組合せにおいて実装され得る。データ収集構成要素は、ベンチ構成220、車内構成230、グラウンド・トゥルース・ディスプレイ240、ユーザの記録250、ドライブワークス・レコーダ260、アニメータ272、点分布274、LEDパネル276、LEDコントローラ278、及びレコーダ/カメラ構成280を含み得る)。配備環境190及び/又は配備環境190に取り付けられたデバイス(たとえば、LEDパネル276)を使用してデータが生成される場合、出力は、サーバ、クラウド・コンピューティング環境、GPUデバイス等などの、計算デバイス800に提供され得る。
1つ又は複数の実施例において、計算デバイス800は、適応モデル選択及びアンサンブル・マネージャ450Cを備え得る、並びに/又は、計算デバイス800は、出力データ、配備環境データ、及び/若しくは、配備環境データを生成するために使用されるデータのうちの少なくともいくつかを、適応モデル選択及びアンサンブル・マネージャ450Cを含み得る別のデバイスに提供し得る(たとえば、伝送し得る)。1つ又は複数の実施例において、データは、DNNモデル・トレーニング140、フィードバック160、マルチステージ有効化150、及び/又はデータ準備130の1つ又は複数を実装する計算デバイス800に提供され得る。
データ収集動作は、データの大きい変動をキャプチャするための凝視データ収集を容易にする。データの変動は、周囲の照明(屋内、屋外)、3Dヘッド・ボックスにおける頭部の動き、頭部姿勢角度、瞳孔の動き、アイウェア(眼鏡、サングラス、コンタクト・レンズ)、ヘッドウェア(ハット、キャップ等)、遮蔽(顔のマスク、カップから飲むこと)、顔ひげ(あごひげ、口ひげ)及び化粧、並びに対象人口統計(年齢、性別、民族性、目のタイプ)を含むことができる。
データ収集動作は、ベンチ・セットアップ(たとえば、オン・ベンチ構成220)、又は車内セットアップ(たとえば、車内構成230)に基づくことが可能である。有利なことに、ベンチ・セットアップと車内セットアップ両方に関して、高スループット及び現実的なデータ収集が存在することが可能である。図2Aは、ベンチ・セットアップ及び車内セットアップのそれぞれのために使用され得るビルディング・ブロックを含む。両方のセットアップに対して、同期されたマルチカメラ(たとえば、8個のカメラ)の記録(すなわち、データ同期動作)が、カメラのロケーション及び観点の変動に対する堅牢性を達成するために使用されることが可能である。これは、自動車製造業者による非常に望まれる特徴である車内カメラ配置の柔軟性を提供し得る。
図2Bは、データ収集のための凝視コレクション命令及びデータの高レベル・アーキテクチャ(たとえば、凝視コレクション・ソフトウェア)を示す。1つ若しくは複数の命令又はデータ・プロセッサが、オン・ベンチ・コレクションと車内コレクション両方に共通であり得るが、1つ又は複数の命令又はデータ・プロセッサが、特に車内データ収集のためにデザインされ得ることが想定される。たとえば、アニメータ、GazeExperimentGUI、生成器、GazeExperimentModel、及びリッスンが、オン・ベンチ及び車内コレクションに共通である一方で、GazeExperimentLED、LightGrid、及びLEDコントローラ(PiLib)が、特に車内データ収集のためにデザインされる。この点に関して、ベンチ・セットアップ及び車両内セットアップからのサラウンド・シーン・データ・タイプのセットのサラウンド・シーン・データを処理することが、2つ以上の共通データ・プロセッサに少なくとも基づく一方で、ベンチ・セットアップ及び車両内セットアップの少なくとも1つの異なるデータ・プロセッサが、サラウンド・シーン・データを処理し、ベンチ・セットアップ又は車両内セットアップのために排他的にデータ同期動作を実行する。
ベンチ・セットアップについては、参加者は、データ収集アプリを通じて画面上にターゲット・グラウンド・トゥルース(「GT」)凝視点を提示され得る。GTポイントは、画面上の一様なデータ分散のために擬似ランダム的に生成され得る。視覚刺激として機能させるために、円形ターゲット・ポイントのサイズは、連続的に変化され得る。加えて、参加者がターゲット・ポイントに固定しつつ注意を払っているかどうかを保証するために、L又はR字が各円の中心に示され得る。参加者は、次いで、次のターゲットに進むために示された文字を、適宜右又は左クリックすることを求められる。
図2Cに移ると、図2Cは、車内セットアップ又は車両内セットアップのための車又は車両を示す。図2Cは、凝視定義を説明するために使用され得る。車は、以下を含む車内データ収集のための7つの領域に分割される:「前面中央」、「前面右」、「情報クラスタ」、「エンターテイメント・コンソール」、「左外部」、「右外部」、及び「オフ・ロード」。「オフ・ロード」領域は、6つの領域以外の車の内部として定義される。車内セットアップについては、LEDパネルが、車の各領域(たとえば、領域1、領域2、領域3、領域4、領域5、及び領域6)にマウントされる。LEDボードのポジションは、車の形状全体にわたってできるだけ多くのロケーションをカバーするために、反復して変化するように構成されることが可能である。図3に示されているように、構成可能な一連のポイントが、複数の凝視領域上のLEDパネル全体に強調される。
図3は、車内データ収集をサポートする車内データ収集構成要素、命令、及び動作を示している。車内データ収集構成要素は、車内グリッド310、LED230、LEDコントローラ330、カメラ340、及びユーザ入力インターフェース350を含む。LEDコントローラ330は、車内グリッド310、LED230、LEDコントローラ330、カメラ340、及びユーザ入力インターフェース350を接続するブレイクアウト基板であることが可能である。選択されたグリッドは、ユーザ凝視データが、選択されたグリッドに基づいて収集されるように、視覚刺激として機能するようにトリガされることが可能である。図示のように、LEDボードの構成は、凝視データ収集を支援する。各ボードは、特定の領域内に置かれ、個々のLEDは、車インターフェースを通じて照らされる。ユーザ又は対象は、操舵輪制御を通じて、データ・キャプチャのスタート及びエンドをトリガする。操舵輪制御は、ネットワーク・ソケット、及びGPIOブレイクアウトに接続される。これは、ユーザがLEDを見ているときにデータが収集されることを保証する。操舵輪ボタンは、ネットワーク・ソケットにおけるJSONパック青色LED、JSONパック赤色LED、及びJSONパック緑色LED、並びに、GPIOブレイクアウト上のSLシリアルIDX/RGB、SLシリアルIDX/RGB、及びSLシリアルIDX/RGBに対応する、始めること、有効化すること、及び記録することを始動させる。
図1Aに戻ると、図1Aは、データ準備をサポートするデータ準備構成要素、命令、及び動作を示す。データ準備動作は、データ抽出122、データ・フィルタ処理124、データ・ラベリング126、合成データ生成128、データ・サブサンプリング132、データ事前処理134、及びデータ隔離136を含む。データ抽出122は、(マウス・クリックを通じて)タイムスタンプ、及び、各ターゲット凝視点のGT凝視値を格納するファイルとともに、カメラからの未加工ビデオのデータ収集レコードにアクセスすることを含む。これらのファイルは、未加工ビデオからフレームを抽出し、対応するGTを割り当てるために、構文解析される。データ・フィルタ処理124は、データ分散を最適化するやり方で抽出されたものから最も有用なフレームを識別する。ビデオが30又は60Hzで記録されるとき、ほとんどの抽出されたフレームは、外見的に非常に似ており、したがって、学習にとって冗長である。また、トレーニングするために使用される場合、これらのフレームは、データ・ラベリングのため、及びモデル・トレーニングのための追加の計算コストを生じるはずである。これに対処するために、データ・フィルタ処理124は、頭部姿勢角度の変動に基づくなど、外見的類似点に基づいて、フレームをフィルタ処理し得る。
データ・ラベリング(及び有効化)126は、顔及び目の境界ボックス、フェイス・ランドマーク、目の状態(開いている、半分開いている、わずかに開いている、閉じている)、グレア/グリント強度及び局在化等などの、様々な属性がモデル・トレーニングにおいて使用されるように、人間のラベラーによって注釈をつけられたフレームの最終リストを生成することを含む。加えて、人間のラベリング・エラーを低減させるか除くために、有効化ステップは、アルゴリズム生成した予想されるラベルについて所与のラベルをチェック及び検証するグラウンド・トゥルース有効化メカニズムを採用する。予想されるラベルから非常に逸脱するこれらのサンプルは、手動ラベリングの別の繰返しのために、棄てられるか、再び送られる。
データ・サブサンプリング132は、タスク固有モデルを生成するために、トレーニングの前に採用され得る。たとえば、モデルが、特定の車のタイプ(コンパクト、セダン、SUV、トラック等)に配備するためのものであるか、特定の頭部姿勢又は凝視角度範囲に対して機能することが望まれる場合、データは、DNNモデル・トレーニング140に送り込むために、適宜サブサンプルされ得る。データ隔離136は、データをトレーニング、テスト、及び有効化セットに分割するためのDNNモデル・トレーニング要件をサポートする。データ隔離136は、対象全体の高度のモデル一般化能力を達成するために、フレームレベルではなく、ユーザレベル・データ隔離(キーとしての一意の匿名のユーザid)を採用する。これは、ユーザのどれも、分割の2つ以上に含まれないことを保証する。
データ準備130は、以下のそれぞれを含むデータ事前処理動作をサポートするデータ事前処理134も含むことができる:グレア検出、凝視データ正規化、及び手動目-凝視特徴抽出。データ事前処理134は、グレアの除去、及び対応するマスキングのためのグレア検出を含み得る。グレア検出は、トレーニングの前に、眼鏡及び他の反射性オブジェクト上のグレアに対する堅牢性を達成するために、データ準備130によって使用され得る。モデル・トレーニングは、入力イメージに対するイメージ処理を使用したグレア除去のため、及び、(トレーニングされるとモデルに同様に提供され得る)トレーニングされたネットワークに、追加の入力としてグレア・マスクを提供するためなどの、様々なやり方で、これを活用することができる。
データ事前処理134は、凝視データ正規化をさらに含み得る。凝視データ正規化は、凝視推定分析の自由度を低減させることを目指し得る。凝視データ正規化は、カメラ軸、及び顔又は個々の目の軸が整列される正規化されたカメラ空間を使用し得る(すなわち、カメラからの凝視データの軸を、カメラからの凝視データにおける顔又は目に整列させる)。このような正規化されたカメラ空間において、DNNは、整列されたイメージ全体の外見変動をより正確に学習し得る。凝視データを正規化することは、元のフレームを歪ませないこと(たとえば、歪んでいない凝視データ正規化動作)、フェイス・ランドマークの局在化及びPnPを通じた3D頭部姿勢推定、目及び顔の中心の3Dポジション推定、並びにイメージ・ワーピングを含み得る。
データ事前処理134は、ハンドデザインの又は手動式の目-特徴抽出をさらに含み得る。各フレームに対して、データ事前処理動作は、目及び瞳孔の輪郭、眼球に対する瞳孔の相対位置などを含む、凝視(たとえば、28個の特徴)と相関したハンドクラフトの特徴を抽出することを含み得る。入力イメージとともに、これらの特徴は、学習処理に役立つように明示的に提供され得る。このようにして、データ事前処理134は、手動式抽出凝視特徴のセットを抽出することを含み、手動式抽出凝視特徴のセットは、適応モデル・エンジンにおけるトレーニング動作のために明示的にタグ付けされる。
図1Aに示されているように、適応モデル・エンジンは、DNNモデル・トレーニング140を含む。図4A及び図4Bは、DNNモデル・トレーニング140をサポートするDNNモデル・トレーニング構成要素、命令、及び動作の例を含む。図4Aに関して、DNNモデル・トレーニング構成要素は、入力フレーム402A、モデル入力生成器404A、データ拡張406A、入力選択408A、ネットワーク・アーキテクチャ410A、出力412A、出力選択414A、及び最終凝視416Aを含み得る。DNNモデル・トレーニング構成要素は、トレーニングが実現されることが可能な凝視モデル・トレーニング・パイプラインを定義する。動作時、入力フレーム(たとえば、入力フレーム402A)は、モデル入力生成器(たとえば、モデル入力生成器404A)を通じて受信され、処理されることが可能である。潜在的なネットワーク入力(たとえば、サラウンド・シーン・データ・タイプのセット)は、限定ではなく実例として、顔(元の若しくは正規化された)、左目(元の若しくは正規化された)、右目(元の若しくは正規化された)、各目+グレア・マスクを伴うチャネル、各目+瞳孔マスクを伴うチャネル、両目のストライプ(両目をカバーする顔を覆う長方形のクロップ)、2Dランドマーク、3Dランドマーク、フェイス・マスク/グリッド3D頭部姿勢角度、及び/又はハンドクラフトの目-凝視特徴を含み得る。入力フレームは、ネットワーク・アーキテクチャ(たとえば、ニューラル・ネットワーク・アーキテクチャ410A)についての任意の数のこれらの特徴又はその組合せを含む入力選択(たとえば、入力選択408A)を生成するために、モデル入力生成器404Aによって処理される。
いくつかの実施例において、データ拡張(たとえば、データ拡張406A)が、-本明細書でさらに詳しく論じられるように-入力選択とともにさらに提供される。ネットワーク・アーキテクチャは入力を処理して、最終凝視(たとえば、最終凝視416A)を生成するために出力選択(たとえば、出力選択414A)として処理される注視点及び凝視線(たとえば、出力412A)などの出力を生成する。モデル出力の異なる変更形態及び組合せが可能であることが想定される。たとえば、モデル出力は、限定ではなく実例として、凝視ベクトル(Θ,Φ)、カメラ空間における注視点(x,y,z)、又は、その組合せ(x,y,z,Θ,Φ)を含み得る。凝視モデル・トレーニング・パイプラインは、図4Bに示されたものなどの、エンドツーエンドの車両内凝視追跡システム上で動作し得る。
図4Bは、カメラ402B、顔検出404B、検出された顔406B、3D凝視ベクトル推定408B、フェイス・ランドマーク検出410B、3D凝視オリジン推定412B、3D車両形状414B、投影ベースの車内凝視領域マッピング416、及び出力凝視領域418Bを含むDNNモデル・トレーニング構成要素の例を示す。動作時、カメラ(たとえば、カメラ402B)は、検出された顔(たとえば、検出された顔406B)を識別するために顔検出動作(たとえば、顔検出404B)を使用して処理されたコンテンツを記録する。検出された顔は、フェイス・ランドマーク(たとえば、フェイス・ランドマーク検出410B)を識別するため、3D凝視オリジン推定(たとえば、3D凝視オリジン推定412B)を決定するためにさらに処理される。検出された顔はまた、3D凝視ベクトル推定(たとえば、3D凝視ベクトル推定408B)を決定するために処理されることが可能である。
動作的に、3D凝視ベクトル推定は、ユーザの凝視方向又は凝視ベクトルを推定するために提供され得る。いくつかの実例において、3D凝視ベクトル推定4108B及び3D凝視オリジン推定412Bは、出力凝視領域418Bを決定する。3D凝視ベクトル推定、3D凝視ベクトル推定、及び3D車両形状(たとえば、3D車両形状414B)は、出力凝視領域(たとえば、出力凝視領域418B)を生成するために、投影ベースの車内凝視領域マッピング(たとえば、投影ベースの車内凝視領域マッピング416B)と組み合わせて処理されてもよい。
追加の凝視生成動作が上述の動作を補足するために想定される。いくつかの実施例において、データ拡張(たとえば、データ拡張406A)が、凝視決定動作における追加の堅牢性のために提供されることが可能である。たとえば、データ拡張は、ガウスぼかし、ガンマ調節;(遮蔽の不変のための)形状を使用して目を遮蔽すること;及び、いくつかの確率で目をランダムにドロップすることを含むことができる。追加の凝視生成動作は、特定のタスクのためのデータ・フィルタ処理、及び損失関数の使用へのサポートも提供し得る。たとえば、データは、頭部姿勢制限モデルを生成するための頭部姿勢角度、及び損失関数(たとえば、L1、L2、logcosh、コサイン)に基づいて、フィルタ処理され得る。補足的な凝視生成動作の他の変更形態及び組合せが、本開示の実施例と互換性のあるものとして想定される。
適応モデル・エンジンは、異なるタイプのモデル向上動作へのサポートをさらに含み、この実例は、適応モデル選択及びアンサンブリング、トレーニングベースの向上、並びに反復フィードバックを含む。図4Cを参照すると、図4Cは、本開示の実施例による、適応視標追跡モデルを提供するために使用され得る、適応モデル選択及びアンサンブリングのためのデータ・フロー図を含む。図4Cは、全体的な凝視を生成することをサポートする適応モデル選択及びアンサンブル構成要素、命令、並びに動作を含む。図4Cは、フェイス・ランドマーク・ネットワーク410C、モデル420C、モデル430C、モデル440C、並びに適応モデル選択及びアンサンブル・マネージャ450Cを含み、適応モデル選択及びアンサンブル・マネージャ450Cは、モデルから選択して、適応視標追跡モデル460Cを生成する。
動作時、適応モデル選択及びアンサンブル・マネージャ450Cは、全体的な凝視を決定する(予測する)適応視標追跡モデル460Cを生成するために、入力(たとえば、フェイス・ランドマーク及び変形モデル)を受信するように構成される。本明細書で論じられるように、視標追跡モデルは、様々な入力でトレーニングされ得る。モデル・トレーニングは、視標追跡モデルが結合されるときに活用される相補的情報を学習することを含むことができる。たとえば、伝統的なジョイント・モデルと顔が正規化されたシータ-ファイ・モデルとのアンサンブルが、適応モデル選択及びアンサンブル・マネージャ450Cによって生成されることが可能である。
図4Cは、アンサンブルされる、又は-より一般に-結合され得る変形モデルの様々な実例(たとえば、モデル#1:包括的ヘッド・ノルム;モデル#2単一の目のモデル;からモデル#N:制限された頭部姿勢まで)を示す。これらの変形モデルは、様々な可能なアプローチを使用した配備環境の特徴のセットに基づいて、適応的にアンサンブル又は選択されることが可能である。本明細書に記載のように、適応モデル選択及びアンサンブル・マネージャ450Cの特徴は、データベースを使用して、及び/又は、手動でエンター若しくは選択された設定若しくは構成から、適応モデル・エンジンに指示され得る適応視標追跡モデル460Cをカスタマイズするために使用され得る。たとえば、適応モデル選択及びアンサンブル・マネージャは、配備環境に対応し、特徴のセットを指示する、構成及び/又は設定データにアクセスし得る。設定又は構成は、グラフィカル・ユーザ・インターフェース(GUI)のユーザ・インターフェース、及び/又は構成若しくは設定ファイルを通じて、適応モデル選択及びアンサンブル・マネージャ450Cにエンター及び提供され得る。
追加又は代替として、配備環境データは、配備環境データによってキャプチャされた1つ又は複数の特徴のスキーマ又は他の指標を使用して適応モデル・エンジンに提供され得る。たとえば、設定、構成、スキーマ、及び/又は他の指標は、トレーニングのための1つ又は複数のモデル、たとえば、(モデル420C、430C、又は440C)、どのようにモデルがトレーニングされ得るか、どのようにモデルがアンサンブルされ得るか等を選択するために、適応モデル選択及びアンサンブル・マネージャ450Cが使用し得る配備環境の1つ又は複数の特性を定義又は指定し得る。たとえば、他ではないが、図4Bを参照して説明された、潜在的なネットワーク入力の1つ又は複数のための(たとえば、サラウンド・シーン・データ・タイプの)入力を配備環境が提供することを特性が指示又は指定する場合、適応モデル選択及びアンサンブル・マネージャ450Cは、アンサンブルにおいて、トレーニングのための入力を有する1つ又は複数のモデルを選択及び/又は収集し得る。同様に、大きい頭部姿勢を提供するカメラを配備環境が含むことを特性が指示又は指定する場合、適応モデル選択及びアンサンブル・マネージャ450Cは、単一の目のモデルを有する1つ又は複数のモデルのアンサンブルが、1つの目だけが可視である場合に使用されることが可能であるとき、選択及び/又は収集し得る。
また、1つ又は複数の実施例において、1つ又は複数の特徴は、配備環境データ内で潜在的であり得る。たとえば、トレーニング中、適応モデル選択及びアンサンブル・マネージャ450Cが、適応視標追跡モデル460C及び/又はその1つ若しくは複数の部分が閾値レベルを下回って実施していると決定した場合、適応モデル選択及びアンサンブル・マネージャ450Cは、たとえば、1つ又は複数の他の利用可能な構成オプションに少なくとも基づいて、適応視標追跡モデル460Cを自動的に再構成し得る。他の利用可能な構成オプションは、たとえば、配備環境データに対応する入力を有する、及び/又は、配備環境の1つ若しくは複数の特性に対応する、1つ又は複数の他のモデルを含み得る。
さらなる例として、1つ又は複数の実施例において、たとえば、1つ若しくは複数の機械学習モデル及び/又はアルゴリズムを使用して、配備環境データ又は配備環境にそうでなければ対応するデータの1つ又は複数の部分から、潜在的特徴が抽出され得る。様々な実施例において、データの分析に少なくとも基づいて、最新の特徴が抽出され、1つ又は複数の基準に適用され得る。1つ又は複数の実施例において、適応モデル・エンジンは、(例として、また限定ではなく)フェイス・ランドマーク信頼度、頭部姿勢、データ正規化品質、及び/又は、左/右の目の外見品質を関連させるための基準など、様々な基準をサポートすること(適用すること)ができる。図4Cに指示されているように、基準についてのデータは、限定ではなく実例として、フェイス・ランドマーク・ネットワーク410Cによって提供され得る。左/右の目の外見品質変形モデルについて、データによって指示されるようなすべての入力が利用可能な場合、完全変形モデルが使用されることが可能である;しかしながら、たとえば、大きい頭部姿勢により、1つの目だけが可視の場合、単一の目のモデルが使用されることが可能であることが想定される。動作的に、頭部姿勢は、対応する変形モデルが、対応する頭部姿勢の制限されたデータでトレーニングされるように、決定されることが可能である。
トレーニングベースの向上動作は、(たとえば、故障ケースを識別し、数量化する)DNNモデルを連続的に向上するために、たとえば、図1AのQA170、KPI172、マルチステージ有効化150、並びにフィードバック・ベンチマーキング及びエラー分析160に依存する反復フィードバック・メカニズムを使用して、実装され得る。QA170は、品質要件が満足される信頼度を提供するために、モデル又はモデル変更形態におけるミス及び欠陥を防ぐための動作を提供し得る。KPIは、モデルの長期パフォーマンスを測るために使用される数量化可能な測定のセットを含むことができる。KPIは、具体的には、同じモデル又は別の異なるモデルの変更形態に比べて、1つのモデルのパフォーマンスを決定するのに役立てることができる。QA及びKPIに基づいて、トレーニングベースの向上は、マルチステップ方策(たとえば、トレーニングすること、取り除くこと、及び再トレーニングすること)を使用して、反復して実施され得る。方策は、配備された環境に重点をおいて-完全凝視角度範囲に堅牢な-低計算ネットワークを取得するために採用されることが可能である。たとえば、少なくとも1つの実施例において、変形モデルは、最大変動に重点的に取り組むデータの大きいプールに対して最初にトレーニングされる。変形モデルは、計算の複雑性を低減させ、オーバーフィッティングにつながる冗長なパラメータを棄てるために、-小さい値のノルムを有する特徴マップを積極的に落として-取り除かれる。少なくとも1つの実施例において、取り除くことは、-配備される各新しいモデル・バージョンに対して-大規模ベンチマーキング(たとえば、ベンチマーキング・バージョン)、及び、評価基準(たとえば、様々なデータ・バケットにおける正確な凝視ベクトル・エラー、運転のN時間毎の偽の凝視領域検出の数)に関するモデルの以前のバージョンに対する差の列挙を含み得る。取り除かれたモデルは、次いで、車のタイプ及びカメラのロケーション又はカメラの観点などの、配備された環境にマッチするデータ分散に対して再トレーニングされ、微調整される。この点に関して、トレーニングベースの向上動作は、適応モデル・エンジンのマルチステージ再トレーニング・パイプラインに少なくとも基づいて、適応視標追跡モデルのためのフィードバック・データを受信すること、及び、適応視標追跡モデルを再トレーニングすることを含むことができる。適応視標追跡モデルを再トレーニングすると、再トレーニングされた適応視標追跡モデルが生成される。
ここで図5を参照すると、本明細書に記載される、方法500の各ブロックは、任意の組合せのハードウェア、ファームウェア、及び/又はソフトウェアを使用して実行することができる計算プロセスを含む。たとえば、様々な機能が、メモリに記憶された命令を実行するプロセッサによって実施され得る。方法はまた、コンピュータ記憶媒体に記憶されたコンピュータ使用可能命令として実施され得る。方法は、いくつか例を挙げると、独立型アプリケーション、サービス若しくはホスト型サービス(独立型の若しくは別のホスト型サービスと組み合わせた)、又は別の製品へのプラグインによって、提供され得る。加えて、方法500は、例として、図1のシステム100に関して説明されている。しかしながら、これらの方法は、追加で又は別法として、本明細書に記載のものを含むがこれらに限定されない、任意の1つのシステム、又は任意の組合せのシステムによって実行され得る。
図5は、本開示のいくつかの実施例による、適応視標追跡モデルを提供するための適応モデル・エンジンと相互作用するための方法500を示す流れ図である。方法500は、ブロックB502において、(たとえば、車両102又は104の)配備環境に少なくとも基づいて、配備環境に対応する配備環境データにアクセスすることを含む。配備環境データは、サラウンド・シーン・データ・タイプのセットに対応する配備環境の特徴のデータを含み得、ここで、サラウンド・シーン・データ・タイプは、サラウンド・シーン・データ収集中に検索されたデータのカテゴリである。
方法500は、ブロックB504において、1つ又は複数の配備環境の特徴に少なくとも基づいて、1つ又は複数の配備環境に合わせてカスタマイズされた適応視標追跡モデルを導出することをサポートする適応モデル・エンジンに配備環境データを提供することを含む。たとえば、配備環境データは、モデル選択及び配備180のために、適応モデル・エンジンの適応モデル選択及びアンサンブル・マネージャ450Cに提供され得る。
方法500は、ブロックB506において、配備環境の特徴に少なくとも基づいて識別された適応モデル・エンジン・データを使用して配備環境に合わせてカスタマイズされた適応視標追跡モデル460Cを、適応モデル・エンジンから受信することを含む。たとえば、適応モデル選択及びアンサンブル・マネージャ450Cは、モデル420C、モデル430C、及び/又は440Cの1つ又は複数を選択、アンサンブル、及びトレーニングし、1つ又は複数のデバイス(たとえば、配備環境データを提供した、及び/又は適応視標追跡モデル460Cの生成をリクエストしたデバイス)に、結果として生じた適応視標追跡モデル460Cを提供し得る。
方法500は、ブロックB508において、配備環境における配備のために、適応視標追跡モデルを提供することを含む。たとえば、適応視標追跡モデル460Cを受信したデバイスは、配備環境内のデバイス(たとえば、車両102又は104)に、適応視標追跡モデル460Cを提供(たとえば、伝送)し得る。
図6は、本開示のいくつかの実施例による、適応モデル・エンジンが適応視標追跡モデルを提供するための方法600を示す流れ図である。方法600は、ブロックB602において、配備環境に対応する配備環境データを、適応モデル・エンジンにおいて受信することを含み、適応モデル・エンジンは、1つ又は複数の配備環境の特徴に少なくとも基づいて、1つ又は複数の配備環境に合わせてカスタマイズされた適応視標追跡モデルを導出することをサポートする。たとえば、配備環境データは、モデル選択及び配備180のために、適応モデル・エンジンの適応モデル選択及びアンサンブル・マネージャ450Cによって受信され得る。
方法600は、ブロックB604において、配備環境の特徴に少なくとも基づいて識別された適応モデル・エンジン・データを使用して配備環境に合わせてカスタマイズされた適応視標追跡モデルを、適応モデル・エンジン使用して生成することを含み、ここで、適応視標追跡モデルは、凝視サラウンド・シーン・データ及び凝視ベクトル推定データに少なくとも基づいてトレーニングされる。たとえば、適応モデル選択及びアンサンブル・マネージャ450Cは、配備環境190に合わせてカスタマイズされた適応視標追跡モデル460Cを生成し得る。
方法600は、ブロックB606において、適応視標追跡モデルを、適応モデル・エンジンから通信することを含む。たとえば、適応モデル選択及びアンサンブル・マネージャ450Cは、1つ又は複数のデバイス(たとえば、配備環境データを提供した、及び/又は適応視標追跡モデル460Cの生成をリクエストしたデバイス)に、結果として生じた適応視標追跡モデル460Cを提供し得る。
適応視標追跡機械学習モデル・エンジンを提供するために開示されるシステム及び方法は、プロセッサを使用して実行されることが可能なことが想定される。プロセッサは、1つ又は複数の回路を含み得る。プロセッサは、以下の少なくとも1つに備えられ得る:自律若しくは半自律マシンのための制御システム;自律若しくは半自律マシンのための知覚システム;シミュレーション動作を実施するためのシステム;深層学習動作を実施するためのシステム;エッジ・デバイスを使用して実装されるシステム;ロボットを使用して実装されるシステム;1つ若しくは複数の仮想マシン(VM)を組み込むシステム;データ・センタに少なくとも部分的に実装されるシステム;又はクラウド計算資源を使用して少なくとも部分的に実装されるシステム。
例示的自律型車両
図7Aは、本開示のいくつかの実施例による、例示的自律型車両700の図である。自律型車両700(本明細書で別法として「車両700」と称する)は、旅客車両、たとえば、乗用車、トラック、バス、ファースト・レスポンダ車両、シャトル、電気若しくは原動機付自転車、オートバイ、消防車、警察車両、救急車、ボート、建設車両、潜水艦、ドローン、トレーラに連結された車両、及び/又は別のタイプの車両(たとえば、無人の及び/又は1人若しくは複数の乗客を乗せた)、を含み得るが、これらに限定されない。自律型車両は、一般に、米国運輸省道路交通安全局(NHTSA:National Highway Traffic Safety Administration)、米国運輸省の部署、及び自動車技術者協会(SAE:Society of Automotive Engineers)「Taxonomy and Definitions for Terms Related to Driving Automation Systems for On-Road Motor Vehicle」(2018年6月15日に公開された規格番号J3016-201806、2016年9月30日に公開された規格番号J3016-201609、及びこの規格の前の及び未来のバージョン)によって定義される、自動化レベルに関して記述される。車両700は、自律運転レベルのレベル3~レベル5のうちの1つ又は複数による機能の能力を有し得る。たとえば、車両700は、実施例に応じて、条件付き自動化(レベル3)、高度自動化(レベル4)、及び/又は完全自動化(レベル5)の能力を有し得る。
図7Aは、本開示のいくつかの実施例による、例示的自律型車両700の図である。自律型車両700(本明細書で別法として「車両700」と称する)は、旅客車両、たとえば、乗用車、トラック、バス、ファースト・レスポンダ車両、シャトル、電気若しくは原動機付自転車、オートバイ、消防車、警察車両、救急車、ボート、建設車両、潜水艦、ドローン、トレーラに連結された車両、及び/又は別のタイプの車両(たとえば、無人の及び/又は1人若しくは複数の乗客を乗せた)、を含み得るが、これらに限定されない。自律型車両は、一般に、米国運輸省道路交通安全局(NHTSA:National Highway Traffic Safety Administration)、米国運輸省の部署、及び自動車技術者協会(SAE:Society of Automotive Engineers)「Taxonomy and Definitions for Terms Related to Driving Automation Systems for On-Road Motor Vehicle」(2018年6月15日に公開された規格番号J3016-201806、2016年9月30日に公開された規格番号J3016-201609、及びこの規格の前の及び未来のバージョン)によって定義される、自動化レベルに関して記述される。車両700は、自律運転レベルのレベル3~レベル5のうちの1つ又は複数による機能の能力を有し得る。たとえば、車両700は、実施例に応じて、条件付き自動化(レベル3)、高度自動化(レベル4)、及び/又は完全自動化(レベル5)の能力を有し得る。
車両700は、車両のシャシ、車体、車輪(たとえば、2、4、6、8、18など)、タイヤ、車軸、及び他の構成要素などの構成要素を含み得る。車両700は、内部燃焼エンジン、ハイブリッド動力装置、完全な電気式エンジン、及び/又は別の推進システム・タイプなど、推進システム750を含み得る。推進システム750は、車両700の推進力を有効にするために、トランスミッションを含み得る、車両700のドライブ・トレインに接続され得る。推進システム750は、スロットル/加速装置752からの信号の受信に応答して制御され得る。
ハンドルを含み得る、ステアリング・システム754は、推進システム750が動作しているときに(たとえば、車両が移動中のときに)車両700のかじを取る(たとえば、所望の進路又はルートに沿って)ために使用され得る。ステアリング・システム754は、ステアリング・アクチュエータ756から信号を受信することができる。ハンドルは、完全自動化(レベル5)機能のオプションでもよい。
ブレーキ・センサ・システム746は、ブレーキ・アクチュエータ748及び/又はブレーキ・センサからの信号の受信に応答して車両ブレーキを動作させるために使用され得る。
1つ又は複数のシステム・オン・チップ(SoC:system on Chip)704(図7C)及び/又はGPUを含み得る、コントローラ736は、車両700の1つ若しくは複数の構成要素及び/又はシステムに信号(たとえば、コマンドの表現)を提供することができる。たとえば、コントローラは、1つ又は複数のブレーキ・アクチュエータ748を介して車両ブレーキを動作させて、1つ又は複数のステアリング・アクチュエータ756を介してステアリング・システム754を動作させて、1つ又は複数のスロットル/加速装置752を介して推進システム750を動作させるために、信号を送ることができる。コントローラ736は、センサ信号を処理する、並びに律的運転を可能にするために及び/又は運転者の車両700の運転を支援するために動作コマンド(たとえば、コマンドを表す信号)を出力する、1つ又は複数の搭載された(たとえば、統合された)計算デバイス(たとえば、スーパーコンピュータ)を含み得る。コントローラ736は、自律運転機能のための第1のコントローラ736、機能的安全性機能のための第2のコントローラ736、人工知能機能(たとえば、コンピュータ・ビジョン)のための第3のコントローラ736、インフォテインメント機能のための第4のコントローラ736、緊急状態における冗長性のための第5のコントローラ736、及び/又は他のコントローラを含み得る。いくつかの実例では、単一のコントローラ736が、前述の機能のうちの2個以上を処理することができ、2個以上のコントローラ736が、単一の機能、及び/又はその任意の組合せを処理することができる。
コントローラ736は、1つ又は複数のセンサから受信したセンサ・データ(たとえば、センサ入力)に応答して車両700の1つ若しくは複数の構成要素及び/又はシステムを制御するための信号を提供することができる。センサ・データは、たとえば、そして制限なしに、全地球的航法衛星システム・センサ758(たとえば、グローバル・ポジショニング・システム・センサ)、RADARセンサ760、超音波センサ762、LIDARセンサ764、慣性計測装置(IMU:inertial measurement unit)センサ766(たとえば、加速度計、ジャイロスコープ、磁気コンパス、磁力計など)、マイクロフォン796、ステレオ・カメラ768、ワイドビュー・カメラ770(たとえば、魚眼カメラ)、赤外線カメラ772、サラウンド・カメラ774(たとえば、360度カメラ)、長距離及び/又は中距離カメラ798、スピード・センサ744(たとえば、車両700のスピードを測定するための)、振動センサ742、ステアリング・センサ740、ブレーキ・センサ(たとえば、ブレーキ・センサ・システム746の一部としての)、及び/又は他のセンサ・タイプから受信され得る。
コントローラ736のうちの1つ又は複数のコントローラは、車両700の計器群732から入力(たとえば、入力データによって表される)を受信し、出力(たとえば、出力データ、表示データなどによって表される)をヒューマン・マシン・インターフェース(HMI:human-machine interface)ディスプレイ734、可聴式アナンシエータ、ラウドスピーカ、及び/又は車両700の他の構成要素を介して提供することができる。出力は、車両ベロシティ、スピード、時間、マップ・データ(たとえば、図7CのHDマップ722)、位置データ(たとえば、マップ上などの、車両700の位置)、方向、他の車両の位置(たとえば、占有グリッド)、コントローラ736によって把握されるものとしての物体及び物体の状況に関する情報などの、情報を含み得る。たとえば、HMIディスプレイ734は、1つ又は複数の物体(たとえば、道路標識、警告標識、交通信号の変化など)の存在、及び/又は車両が行った、行っている、又は行うであろう運転操作(たとえば、今、車線変更をしていること、3.22km(2マイル)内の出口34Bを出ることなど)に関する情報を表示することができる。
車両700はさらに、1つ若しくは複数のワイヤレス・アンテナ726及び/又はモデムを使用して1つ若しくは複数のネットワークを介して通信することができるネットワーク・インターフェース724を含む。たとえば、ネットワーク・インターフェース724は、LTE、WCDMA(登録商標)、UMTS、GSM、CDMA2000などを介する通信の能力を有し得る。ワイヤレス・アンテナ726はまた、ブルートゥース(登録商標)、ブルートゥース(登録商標)LE、Z-Wave、ZigBeeなどのローカル・エリア・ネットワーク、及び/又はLoRaWAN、SigFoxなどのロー・パワー・ワイドエリア・ネットワーク(LPWAN:low power wide-area network)を使用し、環境内の物体(たとえば、車両、モバイル・デバイスなど)の間の通信を可能にすることができる。
図7Bは、本開示のいくつかの実施例による、図7Aの例示的自律型車両700のカメラ位置及び視野の実例である。カメラ及びそれぞれの視野は、1つの例示的実施例であり、制限することは意図されていない。たとえば、追加の及び/又は代替カメラが含まれ得る、及び/又はカメラは車両700の異なる位置に置かれ得る。
カメラのカメラ・タイプは、車両700の構成要素及び/又はシステムと使用するようになされ得るデジタル・カメラを含み得るが、これに限定されない。カメラは、自動車安全整合性レベル(ASIL:automotive safety integrity level)Bにおいて及び/又は別のASILにおいて動作することができる。カメラ・タイプは、実施例に応じて、60フレーム/秒(fps)、120fps、240fpsなど、任意の画像キャプチャ・レートの能力を有し得る。カメラは、ロール・シャッタ、グローバル・シャッタ、別のタイプのシャッタ、又はその組合せを使用する能力を有し得る。いくつかの実例では、カラー・フィルタ・アレイは、RCCC(red clear clear clear)カラー・フィルタ・アレイ、RCCB(red clear clear blue)カラー・フィルタ・アレイ、RBGC(red blue green clear)カラー・フィルタ・アレイ、Foveon X3カラー・フィルタ・アレイ、Bayerセンサ(RGGB)カラー・フィルタ・アレイ、モノクロ・センサ・カラー・フィルタ・アレイ、及び/又は別のタイプのカラー・フィルタ・アレイを含み得る。一部の実施例では、RCCC、RCCB、及び/又はRBGCカラー・フィルタ・アレイを有するカメラなどのクリア画素カメラは、光感度を上げるための取り組みにおいて使用され得る。
いくつかの実例では、カメラのうちの1つ又は複数が、高度運転者支援システム(ADAS:advanced driver assistance system)機能(たとえば、冗長又はフェイルセーフ設計の一部として)を実行するために使用され得る。たとえば、多機能モノ・カメラは、車線逸脱警報、交通標識アシスト及びインテリジェント・ヘッドランプ制御を含む機能を提供するために設置され得る。カメラのうちの1つ又は複数(たとえば、すべてのカメラ)が、画像データ(たとえば、ビデオ)を同時に記録及び提供することができる。
カメラのうちの1つ又は複数は、カメラの画像データ・キャプチャ能力を妨げることがある自動車内からの迷光及び反射(たとえば、フロントガラスのミラーにおいて反射されたダッシュボードからの反射)を取り除くために、カスタム設計された(3D印刷された)部品などの取付部品において取り付けられ得る。サイドミラー取付部品を参照すると、サイドミラー部品は、カメラ取付板がサイドミラーの形状に合うように、カスタム3D印刷され得る。いくつかの実例では、カメラは、サイドミラー内に統合され得る。サイドビュー・カメラについては、カメラはまた、キャビンの各角にある4個の支柱内に統合され得る。
車両700の前の環境の部分を含む視野を有するカメラ(たとえば、前向きのカメラ)は、前向きの進路及び障害物の識別を助け、1つ若しくは複数のコントローラ736及び/又は制御SoCの助けにより、占有グリッドの生成及び/又は好ましい車両進路の決定に不可欠な情報の提供の提供を助けるための、サラウンド・ビューのために使用され得る。前向きのカメラは、緊急ブレーキ、歩行者検出、及び衝突回避を含む、LIDARと同じADAS機能の多くを実行するために使用され得る。前向きのカメラはまた、車線逸脱警報(「LDW(Lane Departure Warning)」)、自律的クルーズ制御(「ACC(Autonomous Cruise Control)」)、及び/又は交通標識認識などの他の機能を含むADAS機能及びシステムのために使用され得る。
様々なカメラが、たとえば、CMOS(complementary metal oxide semiconductor)カラー画像化装置を含む単眼カメラ・プラットフォームを含む、前向きの構成において使用され得る。別の実例は、周辺(たとえば、歩行者、交差する交通又は自転車)からのビューに入る物体を把握するために使用され得るワイドビュー・カメラ770でもよい。図7Bにはワイドビュー・カメラは1つだけ示されているが、車両700には任意の数のワイドビュー・カメラ770が存在し得る。加えて、長距離カメラ798(たとえば、ロングビュー・ステレオ・カメラ・ペア)が、特に、ニューラル・ネットワークがまだトレーニングされていない物体について、深度ベースの物体検出のために使用され得る。長距離カメラ798はまた、物体検出及び分類、並びに基本物体追跡のために使用され得る。
1つ又は複数のステレオ・カメラ768もまた、前向きの構成に含まれ得る。ステレオ・カメラ768は、単一のチップ上に統合されたCAN又はイーサネット(登録商標)・インターフェースを有するプログラマブル論理(FPGA)及びマルチコア・マイクロプロセッサを提供し得る、拡張可能な処理ユニットを備えた統合された制御ユニットを含み得る。そのようなユニットは、画像内のすべてのポイントの距離推定値を含む、車両の環境の3Dマップを生成するために使用され得る。代替ステレオ・カメラ768は、2個のカメラ・レンズ(左と右に1つずつ)と、車両から対象物体までの距離を測定する及び生成された情報(たとえば、メタデータ)を使用して自律的緊急ブレーキ及び車線逸脱警報機能をアクティブにすることができる画像処理チップとを含み得る、コンパクト・ステレオ・ビジョン・センサを含み得る。他のタイプのステレオ・カメラ768が、本明細書に記載のものに加えて、又はそれらの代わりに、使用されてもよい。
車両700の側面に対する環境の部分を含む視野を有するカメラ(たとえば、サイドビュー・カメラ)が、占有グリッドを作成及び更新するために並びに側面衝撃衝突警報を生成するために使用される情報を提供する、サラウンド・ビューのために使用され得る。たとえば、サラウンド・カメラ774(たとえば、図7Bに示されるような4個のサラウンド・カメラ774)は、車両700上に位置付けられ得る。サラウンド・カメラ774は、ワイドビュー・カメラ770、魚眼カメラ、360度カメラ、及び/又は同類のものを含み得る。たとえば、4個の魚眼カメラが、車両の前、後ろ、及び側面に配置され得る。代替配置において、車両は、3個のサラウンド・カメラ774(たとえば、左、右、及び後部)を使用してもよく、第4のサラウンド・ビュー・カメラとして1つ又は複数の他のカメラ(たとえば、前向きのカメラ)を活用してもよい。
車両700の後ろに対する環境の部分を含む視野を有するカメラ(たとえば、後方確認カメラ)が、駐車支援、サラウンド・ビュー、後部衝突警報、並びに占有グリッドの作成及び更新のために使用され得る。本明細書に記載のように、前向きのカメラ(たとえば、長距離及び/又は中距離カメラ798、ステレオ・カメラ768)、赤外線カメラ772など)としても適したカメラを含むがこれらに限定されない、多種多様なカメラが使用され得る。
図7Cは、本開示のいくつかの実施例による、図7Aの例示的自律型車両700の例示的システム・アーキテクチャのブロック図である。本明細書に記載されているこの及び他の配置は単に実例として説明されていることを理解されたい。他の配置及び要素(たとえば、マシン、インターフェース、機能、順番、機能のグループ分けなど)が、示されたものに加えて又はこれらに代わって使用されてもよく、いくつかの要素はともに除外されてもよい。さらに、本明細書に記載の要素の多くは、個別の又は分散された構成要素として又は他の構成要素と併せて、並びに任意の適切な組合せ及び場所において、実装され得る機能エンティティである。エンティティによって実行されるものとして本明細書に記載された様々な機能は、ハードウェア、ファームウェア、及び/又はソフトウェアによって実施され得る。たとえば、様々な機能が、メモリに記憶された命令を実行するプロセッサによって実施され得る。
図7Cの車両700の構成要素、特徴、及びシステムのそれぞれは、バス702を介して接続されるものとして図示されている。バス702は、コントローラ・エリア・ネットワーク(CAN)データ・インターフェース(或いは、「CANバス」と称される)を含み得る。CANは、ブレーキ、加速度、ブレーキ、ステアリング、フロント・ガラス・ワイパなどの作動など、車両700の様々な特徴及び機能の制御を助けるために使用される車両700内のネットワークでもよい。CANバスは、それぞれが独自の一意の識別子(たとえば、CAN ID)を有する、数ダース又は数百ものノードを有するように構成され得る。CANバスは、ハンドル角度、対地速度、1分間のエンジン回転(RPM:revolutions per minute)、ボタン位置、及び/又は他の車両状況指標を見つけるために読み取られ得る。CANバスは、ASIL B準拠でもよい。
バス702は、CANバスであるものとして本明細書に記載されているが、これは制限することを意図されていない。たとえば、CANバスに加えて、又はこのその代替として、FlexRay及び/又はイーサネット(登録商標)が使用されてもよい。加えて、単一の線が、バス702を表すために使用されているが、これは制限することを意図されていない。たとえば、1つ若しくは複数のCANバス、1つ若しくは複数のFlexRayバス、1つ若しくは複数のイーサネット(登録商標)・バス、及び/又は異なるプロトコルを使用する1つ若しくは複数の他のタイプのバスを含み得る、任意の数のバス702が存在し得る。いくつかの実例では、2個以上のバス702が、異なる機能を実行するために使用され得る、及び/又は冗長性のために使用され得る。たとえば、第1のバス702は衝突回避機能のために使用されてもよく、第2のバス702は作動制御のために使用されてもよい。任意の実例において、各バス702は、車両700の構成要素のいずれかと通信し得、2個以上のバス702が同じ構成要素と通信し得る。いくつかの実例では、車両内の各SoC704、各コントローラ736、及び/又は各コンピュータは、同じ入力データ(たとえば、車両700のセンサからの入力)へのアクセスを有し得、CANバスなどの共通バスに接続され得る。
車両700は、図7Aに関して本明細書で説明されるものなど、1つ又は複数のコントローラ736を含み得る。コントローラ736は、様々な機能のために使用され得る。コントローラ736は、車両700の様々な他の構成要素及びシステムのいずれかに連結されてもよく、車両700、車両700の人工知能、車両700のためのインフォテインメント、及び/又は同類のものの制御のために使用され得る。
車両700は、システム・オン・チップ(SoC)704を含み得る。SoC704は、CPU706、GPU708、プロセッサ710、キャッシュ712、加速装置714、データ・ストア716、及び/又は図示されていない他の構成要素及び特徴を含み得る。SoC704は、様々なプラットフォーム及びシステム内の車両700を制御するために使用され得る。たとえば、SoC704は、1つ又は複数のサーバ(たとえば、図7Dのサーバ778)からネットワーク・インターフェース724を介してマップのリフレッシュ及び/又は更新を取得することができるHDマップ722を有するシステム(たとえば、車両700のシステム)において結合され得る。
CPU706は、CPUクラスタ又はCPU複合体(或いは、「CCPLEX」とも称される)を含み得る。CPU706は、複数のコア及び/又はL2キャッシュを含み得る。たとえば、一部の実施例では、CPU706は、コヒーレント・マルチプロセッサ構成内の8個のコアを含み得る。一部の実施例では、CPU706は、4個のデュアルコア・クラスタを含むことができ、各クラスタが専用のL2キャッシュ(たとえば、2MBL2キャッシュ)を有する。CPU706(たとえば、CCPLEX)は、CPU706のクラスタの任意の組合せが任意の所与の時間にアクティブになることを可能にする同時クラスタ動作をサポートするように構成され得る。
CPU706は、以下の特徴のうちの1つ又は複数を含む電力管理能力を実装することができる:個別ハードウェア・ブロックが、動的電力を節約するためにアイドル状態のときに自動的にクロック・ゲーティングされ得る、各コア・クロックは、WFI/WFE命令の実行により命令をコアがアクティブに実行していないときにゲーティングされ得る、各コアは、独立してパワー・ゲーティングされ得る、各コア・クラスタは、すべてのコアがクロック・ゲーティングされる若しくはパワー・ゲーティングされるときに、独立してクロック・ゲーティングされ得る、及び/又は、各コア・クラスタは、すべてのコアがパワー・ゲーティングされるときに、独立してパワー・ゲーティングされ得る。CPU706は、電力状態を管理するための強化されたアルゴリズムをさらに実装することができ、そこでは、許容される電力状態及び予想されるウェイクアップ時間が指定され、ハードウェア/マイクロ・コードが、コア、クラスタ、及びCCPLEXに入力するための最良の電力状態を決定する。処理コアは、作業がマイクロ・コードにオフロードされたソフトウェアにおける簡略化された電力状態入力シーケンスをサポートすることができる。
GPU708は、統合されたGPU(或いは本明細書において「iGPU」と称される)を含み得る。GPU708は、プログラマブルになり得、並行のワークロードに効率的になり得る。一部の実例では、GPU708は、強化されたテンソル命令セットを使用することができる。GPU708は、1つ又は複数のストリーミング・マイクロプロセッサを含み得、そこで、各ストリーミング・マイクロプロセッサは、L1キャッシュ(たとえば、少なくとも96KB記憶容量を有するL1キャッシュ)を含み得、ストリーミング・マイクロプロセッサのうちの2個以上が、キャッシュ(たとえば、512KB記憶容量を有するL2キャッシュ)を共用し得る。一部の実施例では、GPU708は、少なくとも8個のストリーミング・マイクロプロセッサを含み得る。GPU708は、計算アプリケーション・プログラミング・インターフェース(API)を使用することができる。加えて、GPU708は、1つ若しくは複数の並行のコンピューティング・プラットフォーム及び/又はプログラミング・モデル(たとえば、NVIDIAのCUDA)を使用することができる。
GPU708は、自動車の及び組み込まれた使用事例における最高のパフォーマンスのために電力最適化され得る。たとえば、GPU708は、FinFET(Fin field-effect transistor)上に製造され得る。しかしながら、これは制限することを意図されておらず、GPU708は、他の半導体製造プロセスを使用し、製造され得る。各ストリーミング・マイクロプロセッサは、複数のブロックに区切られたいくつかの混合精度処理コアを組み込むことができる。限定ではなく、たとえば、64 PF32コア及び32 PF64コアは、4個の処理ブロックに区切られてもよい。そのような実例では、各処理ブロックは、16 FP32コア、8 FP64コア、16 INT32コア、深層学習行列演算のための2個の混合精度NVIDIAテンソル・コア、L0命令キャッシュ、ワープ・スケジューラ、発送ユニット、及び/又は64KBレジスタ・ファイルを割り当てられ得る。加えて、ストリーミング・マイクロプロセッサは、計算及びアドレス指定演算の混合を有するワークロードの効率的な実行を提供するための独立した並行の整数及び浮動小数点データ進路を含み得る。ストリーミング・マイクロプロセッサは、並行スレッドの間のより高い細粒度の同期及び連携を可能にするために、独立したスレッド・スケジューリング能力を含み得る。ストリーミング・マイクロプロセッサは、プログラミングを単純化しつつ性能を向上させるために、結合されたL1データ・キャッシュ及び共用メモリ・ユニットを含み得る。
GPU708は、一部の実例では、900GB/秒のピーク・メモリ帯域幅に関して、提供するための高帯域幅メモリ(HBM:high bandwidth memory)及び/又は16GBHBM2メモリ・サブシステムを含み得る。いくつかの実例では、HBMメモリに加えて、又はこれの代わりに、グラフィックス・ダブル・データ・レート・タイプ5同期ランダム・アクセス・メモリ(GDDR5:graphics double data rate type five synchronous random-access memory)などの同期グラフィックス・ランダム・アクセス・メモリ(SGRAM:synchronous graphics random-access memory)が使用され得る。
GPU708は、メモリ・ページに最も頻繁にアクセスするプロセッサへのそれらのメモリ・ページのより正確な移動を可能にするためにアクセス・カウンタを含む統一されたメモリ技術を含むことができ、それにより、プロセッサ間で共用される記憶範囲の効率を向上させる。いくつかの実例では、アドレス変換サービス(ATS:address translation service)サポートが、GPU708がCPU706ページ・テーブルに直接アクセスすることを可能にするために使用され得る。そのような実例では、GPU708メモリ管理ユニット(MMU:memory management unit)がミスを経験するとき、アドレス変換要求が、CPU706に送信され得る。応答して、CPU706は、アドレスの仮想対現実マッピングのためのそのページ・テーブルを調べることができ、GPU708に変換を送り返す。そのようなものとして、統一されたメモリ技術は、CPU706とGPU708との両方のメモリの単一統一仮想アドレス空間を可能にすることができ、それによりGPU708へのアプリケーションのGPU708プログラミング及び移植を単純化する。
加えて、GPU708は、他のプロセッサのメモリへのGPU708のアクセスの頻度を記録することができるアクセス・カウンタを含み得る。アクセス・カウンタは、メモリ・ページが最も頻繁にそのページにアクセスしているプロセッサの物理メモリに移動されることを確実にするのを助けることができる。
SoC704は、本明細書に記載のものを含む任意の数のキャッシュ712を含み得る。たとえば、キャッシュ712は、CPU706とGPU708との両方に利用可能な(たとえば、CPU706とGPU708との両方に接続された)L3キャッシュを含み得る。キャッシュ712は、キャッシュ・コヒーレンス・プロトコル(たとえば、MEI、MESI、MSIなど)を使用することなどによって、線の状態を記録することができるライトバック・キャッシュを含み得る。L3キャッシュは、より小さいキャッシュ・サイズが使用されてもよいが、実施例に応じて、4MB以上を含み得る。
SoC704は、車両700の様々なタスク又は動作のいずれか(たとえば、処理DNN)に関して処理を実行する際に活用され得る論理演算ユニット(ALU:arithmetic logic unit)を含み得る。加えて、SoC704は、システム内で数学演算を実行するための浮動小数点演算ユニット(FPU:floating point unit)(又は他のマス・コプロセッサ又は数値演算コプロセッサ・タイプ)を含み得る。たとえば、SoC104は、CPU706及び/又はGPU708内の実行ユニットとして統合された1つ又は複数のFPUを含み得る。
SoC704は、1つ又は複数の加速装置714(たとえば、ハードウェア・加速装置、ソフトウェア・加速装置、又はその組合せ)を含み得る。たとえば、SoC704は、最適化されたハードウェア加速装置及び/又は大きなオンチップ・メモリを含み得る、ハードウェア加速クラスタを含み得る。大きなオンチップメモリ(たとえば、4MBのSRAM)は、ハードウェア加速クラスタがニューラル・ネットワーク及び他の演算を加速することを可能にし得る。ハードウェア加速クラスタは、GPU708を補完するために及びGPU708のタスクの一部をオフロードするために(たとえば、他のタスクを実行するためのGPU708のより多くのサイクルを解放するために)使用され得る。一実例として、加速装置714は、加速に適するように十分に安定している対象ワークロード(たとえば、知覚、畳み込みニューラル・ネットワーク(CNN:convolutional neural network)など)のために使用され得る。本明細書では、「CNN」という用語は、領域ベースの又は領域的畳み込みニューラル・ネットワーク(RCNN:regional convolutional neural network)及び高速RCNN(たとえば、物体検出のために使用されるものとしての)を含む、すべてのタイプのCNNを含み得る。
加速装置714(たとえば、ハードウェア加速クラスタ)は、深層学習加速装置(DLA:deep learning accelerator)を含み得る。DLAは、深層学習アプリケーション及び推論のために1秒あたり追加の10兆の動作を提供するように構成することができる1つ又は複数のテンソル処理ユニット(TPU:Tensor processing unit)を含み得る。TPUは、画像処理機能(たとえば、CNN、RCNNなどの)を実行するように構成及び最適化された加速装置でもよい。DLAはさらに、特定のセットのニューラル・ネットワーク・タイプ及び浮動小数点演算、並びに推論のために最適化され得る。DLAの設計は、汎用GPUよりも1ミリメートルあたりより多くのパフォーマンスを提供することができ、CPUのパフォーマンスを大きく超える。TPUは、たとえば、特徴と重みとの両方についてINT8、INT16、及びFP16データ・タイプをサポートする、単一インスタンス畳み込み機能、並びにポストプロセッサ機能を含む、いくつかの機能を実行することができる。
DLAは、以下を含むがこれらに限定されない、様々な機能のいずれかのために処理済み又は未処理のデータでニューラル・ネットワーク、特にCNN、を迅速に及び効率的に実行することができる:カメラ・センサからのデータを使用する物体識別及び検出のためのCNN、カメラ・センサからのデータを使用する距離推定のためのCNN、マイクロフォンからのデータを使用する緊急車両検出及び識別及び検出のためのCNN、カメラ・センサからのデータを使用する顔認識及び車両所有者識別のためのCNN、及び/又は、セキュリティ及び/又は安全性関連イベントのためのCNN。
DLAは、GPU708の任意の機能を実行することができ、そして、推論加速装置を使用することによって、たとえば、設計者は、任意の機能のためにDLA又はGPU708のいずれかを対象にすることができる。たとえば、設計者は、DLA上のCNN及び浮動小数点演算の処理に重点的に取り組み、他の機能をGPU708及び/又は他の加速装置714に任せることができる。
加速装置714(たとえば、ハードウェア加速クラスタ)は、或いはコンピュータ・ビジョン加速装置と本明細書で称され得るプログラマブル・ビジョン加速装置(PVA:programmable vision accelerator)を含み得る。PVAは、高度運転者支援システム(ADAS:advanced driver assistance system)、自律運転、及び/又は拡張現実(AR:augmented reality)及び/又は仮想現実(VR:virtual reality)アプリケーションのためのコンピュータ・ビジョン・アルゴリズムを加速するように設計及び構成され得る。PVAは、パフォーマンスと柔軟性との間のバランスをもたらすことができる。たとえば、各PVAは、たとえば、任意の数の縮小命令セット・コンピュータ(RISC:reduced instruction set computer)コア、直接メモリ・アクセス(DMA:direct memory access)、及び/又は任意の数のベクトル・プロセッサを含み得るが、これらに限定されない。
RISCコアは、画像センサ(たとえば、本明細書に記載のカメラのうちのいずれかのカメラの画像センサ)、画像信号プロセッサ、及び/又は同類のものと相互作用することができる。それぞれのRISCコアは、任意の量のメモリを含み得る。RISCコアは、実施例に応じて、いくつかのプロトコルのいずれかを使用することができる。いくつかの実例では、RISCコアは、リアルタイム・オペレーティング・システム(RTOS:real-time operating system)を実行することができる。RISCコアは、1つ若しくは複数の集積回路デバイス、特定用途向け集積回路(ASIC)、及び/又はメモリ・デバイスを使用して、実装され得る。たとえば、RISCコアは、命令キャッシュ及び/又はしっかりと結合されたRAMを含み得る。
DMAは、CPU706から独立したシステム・メモリにPVAの構成要素がアクセスすることを可能にし得る。DMAは、多次元アドレス指定及び/又は循環アドレス指定をサポートすることを含むがこれに限定されないPVAに最適化をもたらすために使用される任意の数の特徴をサポートすることができる。いくつかの実例では、DMAは、ブロック幅、ブロック高さ、ブロック深度、水平ブロック・ステッピング、垂直ブロック・ステッピング、及び/又は深度ステッピングを含み得る、6次元まで又はそれ以上のアドレス指定をサポートすることができる。
ベクトル・プロセッサは、コンピュータ・ビジョン・アルゴリズムのプログラミングを効率的に柔軟に実行する及び信号処理能力を提供するように設計され得るプログラマブル・プロセッサでもよい。いくつかの実例では、PVAは、PVAコア及び2個のベクトル処理サブシステム・パーティションを含み得る。PVAコアは、プロセッサ・サブシステム、DMAエンジン(たとえば、2個のDMAエンジン)、及び/又は他の周辺装置を含み得る。ベクトル処理サブシステムは、PVAの1次的処理エンジンとして動作することができ、ベクトル処理ユニット(VPU:vector processing unit)、命令キャッシュ、及び/又はベクトル・メモリ(たとえば、VMEM)を含み得る。VPUコアは、たとえば、単一の命令、複数のデータ(SIMD)、超長命令語(VLIW:very long instruction word)デジタル信号プロセッサなど、デジタル信号プロセッサを含み得る。SIMD及びVLIWの組合せは、スループット及びスピードを高めることができる。
それぞれのベクトル・プロセッサは、命令キャッシュを含み得、専用のメモリに連結され得る。結果として、一部の実例では、それぞれのベクトル・プロセッサは、他のベクトル・プロセッサから独立して実行するように構成され得る。他の実例において、特定のPVAに含まれるベクトル・プロセッサは、データ並列処理を用いるように構成され得る。たとえば、一部の実施例では、単一のPVAに含まれる複数のベクトル・プロセッサは、同じコンピュータ・ビジョン・アルゴリズムを、しかし画像の異なる領域上で、実行することができる。他の実例において、特定のPVAに含まれるベクトル・プロセッサは、異なるコンピュータ・ビジョン・アルゴリズムを、同じ画像上で、同時に実行することができ、或いは順次画像又は画像の部分で異なるアルゴリズムを実行することさえできる。特に、任意の数のPVAは、ハードウェア加速クラスタに含まれ得、任意の数のベクトル・プロセッサは、それぞれのPVAに含まれ得る。加えて、PVAは、全体的システム安全性を高めるために、追加のエラー訂正コード(ECC:error correcting code)メモリを含み得る。
加速装置714(たとえば、ハードウェア加速クラスタ)は、加速装置714のための高帯域幅、低レイテンシSRAMを提供するための、コンピュータ・ビジョン・ネットワーク・オンチップ及びSRAMを含み得る。いくつかの実例では、オンチップ・メモリは、たとえば、そして制限ではなく、PVAとDLAとの両方によってアクセス可能でもよい、8個のフィールド構成可能なメモリ・ブロックから成る、少なくとも4MBのSRAMを含み得る。各ペアのメモリ・ブロックは、高度周辺バス(APB:advanced peripheral bus)インターフェース、構成回路、コントローラ、及びマルチプレクサを含み得る。任意のタイプのメモリが、使用され得る。PVA及びDLAは、メモリへの高速アクセスを有するPVA及びDLAを提供するバックボーンを介してメモリにアクセスすることができる。バックボーンは、(たとえば、APBを使用して)PVA及びDLAをメモリに相互接続するコンピュータ・ビジョン・ネットワーク・オンチップを含み得る。
コンピュータ・ビジョン・ネットワーク・オンチップは、PVAとDLAとの両方が作動可能及び有効信号を提供することを、任意の制御信号/アドレス/データの送信の前に、決定するインターフェースを含み得る。そのようなインターフェースは、制御信号/アドレス/データを送信するための別個のフェーズ及び別個のチャネル、並びに連続的データ転送のためのバーストタイプの通信を提供することができる。このタイプのインターフェースは、ISO26262又はIEC61508規格に従うことができるが、他の規格及びプロトコルが使用されてもよい。
いくつかの実例では、SoC704は、特許文献1に記載されるような、リアルタイム・レイトレーシング・ハードウェア加速装置を含み得る。リアルタイム・レイトレーシング・ハードウェア加速装置は、RADAR信号解釈のための、音響伝播合成及び/又は分析のための、SONARシステムのシミュレーションのための、一般波伝播シミュレーションのための、ローカリゼーション及び/又は他の機能を目的とするLIDARデータに対する比較のための、及び/又は他の使用のための、リアルタイム視覚化シミュレーションを生成するために、(たとえば、世界モデル内の)物体の位置及び規模を迅速に効率的に決定するために使用され得る。一部の実施例では、1つ又は複数の木の走査ユニット(TTU:tree traversal unit)が、1つ又は複数のレイトレーシング関連動作を実行するために使用され得る。
加速装置714(たとえば、ハードウェア加速装置クラスタ)は、自律運転のための多様な用途を有する。PVAは、ADAS及び自律型車両における極めて重要な処理段階に使用され得るプログラマブル・ビジョン加速装置でもよい。PVAの能力は、低電力及び低レイテンシにおいて、予測可能な処理を必要とするアルゴリズムの領域にふさわしい。言い換えれば、PVAは、低レイテンシ及び低電力とともに予測可能な実行時間を必要とする、小さなデータ集合上でも、半高密度の又は高密度の通常の計算で上手く機能する。それ故に、PVAは、物体検出及び整数計算での動作において効率的であるので、自律型車両のためのプラットフォームとの関連で、PVAは、クラシック・コンピュータ・ビジョン・アルゴリズムを実行するように設計される。
たとえば、本技術の1つの実施例によれば、PVAは、コンピュータ・ステレオ・ビジョンを実行するために使用される。半グローバルなマッチングベースのアルゴリズムが、一部の実例では使用され得るが、これは制限することを意図されていない。レベル3~5の自律運転のための多数のアプリケーションは、動き推定/ステレオ・マッチング・オンザフライ(たとえば、SFM(structure from motion)、歩行者認識、レーン検出など)を必要とする。PVAは、2個の単眼カメラからの入力でコンピュータ・ステレオ・ビジョン機能を実行することができる。
いくつかの実例では、PVAは、高密度のオプティカル・フローを実行するために使用され得る。処理されたRADARを提供するために未加工のRADARデータを処理する(たとえば、4D高速フーリエ変換を使用して)ことによる。他の実例において、PVAは、たとえば、飛行データの未加工の時間を処理して飛行データの処理済み時間を提供することにより、飛行深度処理の時間に使用される。
DLAは、たとえば、各物体検出の信頼性の測定値を出力するニューラル・ネットワークを含む、制御及び運転安全性を強化するために任意のタイプのネットワークを実行するために使用され得る。そのような信頼性値は、確率として、又は他の検出と比較した各検出の相対的「重み」を提供するものとして、解釈され得る。この信頼性値は、どの検出が誤判定検出ではなくて真陽性検出と考えられるべきであるかに関するさらなる決定をシステムが行うことを可能にする。たとえば、システムは、信頼性の閾値を設定し、真陽性検出としての閾値を超える検出のみを考慮することができる。自動非常ブレーキ(AEB:automatic emergency braking)システムにおいて、誤判定検出は、車両に非常ブレーキを自動で実行させることになり、これは明らかに望ましくない。したがって、最も確信のある検出のみが、AEBのトリガとして考えられるべきである。DLAは、信頼性値を回帰するニューラル・ネットワークを実行し得る。ニューラル・ネットワークは、境界ボックス次元、(たとえば、別のサブシステムから)取得されたグラウンド・プレーン推定、ニューラル・ネットワーク及び/又は他のセンサ(たとえば、LIDARセンサ764又はRADARセンサ760)から取得された物体の車両700方位、距離、3D位置推定と相関する慣性計測装置(IMU:inertial measurement unit)センサ766出力、その他など、少なくともいくつかのサブセットのパラメータをその入力として受け取ることができる。
SoC704は、データ・ストア716(たとえば、メモリ)を含み得る。データ・ストア716は、SoC704のオンチップ・メモリでもよく、GPU及び/又はDLAで実行されることになるニューラル・ネットワークを記憶することができる。いくつかの実例では、データ・ストア716は、冗長性及び安全性のためにニューラル・ネットワークの複数のインスタンスを記憶するのに十分な大きさの容量を有し得る。データ・ストア712は、L2又はL3キャッシュ712を備え得る。データ・ストア716の参照は、本明細書に記載のような、PVA、DLA、及び/又は他の加速装置714に関連するメモリの参照を含み得る。
SoC704は、1つ又は複数のプロセッサ710(たとえば、組み込まれたプロセッサ)を含み得る。プロセッサ710は、ブート電力及び管理能力及び関連するセキュリティ施行を処理するための専用のプロセッサ及びサブシステムでもよいブート及び電力管理プロセッサを含み得る。ブート及び電力管理プロセッサは、SoC704ブート・シーケンスの一部でもよく、実行時間電力管理サービスを提供することができる。ブート電力及び管理プロセッサは、クロック及び電圧プログラミング、システム低電力状態移行の支援、SoC704熱及び温度センサの管理、及び/又はSoC704電力状態の管理を提供することができる。各温度センサは、その出力頻度が温度に比例するリング発振器として実装されてもよく、SoC704は、リング発振器を使用してCPU706、GPU708、及び/又は加速装置714の温度を検出することができる。温度が、閾値を超えたと判定された場合、ブート及び電力管理プロセッサは、温度障害ルーティンに入り、SoC704をより低い電力状態に置く及び/又は車両700をショーファーの安全停止モードにする(たとえば、車両700を安全停止させる)ことができる。
プロセッサ710は、オーディオ処理エンジンの機能を果たし得る1セットの組み込まれたプロセッサをさらに含み得る。オーディオ処理エンジンは、複数のインターフェースを介するマルチチャネル・オーディオの完全なハードウェア・サポートとオーディオI/Oインターフェースの広く柔軟な範囲とを可能にするオーディオ・サブシステムでもよい。いくつかの実例では、オーディオ処理エンジンは、専用のRAMを有するデジタル信号プロセッサを有する専用のプロセッサ・コアである。
プロセッサ710は、低電力センサ管理及びウェイク使用事例をサポートするための必要なハードウェア特徴を提供することができる常時オンのプロセッサ・エンジンをさらに含み得る。常時オンのプロセッサ・エンジンは、プロセッサ・コア、しっかりと結合されたRAM、支援周辺装置(たとえば、タイマ及び割り込みコントローラ)、様々なI/Oコントローラ周辺装置、及びルーティング論理を含み得る。
プロセッサ710は、自動車のアプリケーションの安全性管理を処理するために専用のプロセッサ・サブシステムを含む安全性クラスタ・エンジンをさらに含み得る。安全性クラスタ・エンジンは、2個以上のプロセッサ・コア、しっかりと結合されたRAM、サポート周辺装置(たとえば、タイマ、割り込みコントローラなど)、及び/又はルーティング論理を含み得る。安全性モードにおいて、2個以上のコアは、ロックステップ・モードにおいて動作し、それらの動作の間の何らかの差を検出するための比較論理を有する単一のコアとして機能することができる。
プロセッサ710は、リアルタイム・カメラ管理を処理するための専用のプロセッサ・サブシステムを含み得るリアルタイム・カメラ・エンジンをさらに含み得る。
プロセッサ710は、カメラ処理パイプラインの一部であるハードウェア・エンジンである画像信号プロセッサを含み得る高ダイナミック・レンジ信号プロセッサをさらに含み得る。
プロセッサ710は、プレイヤ・ウインドウのための最終的画像を生み出すためにビデオ再生アプリケーションによって必要とされるビデオ処理後機能を実装する処理ブロック(たとえば、マイクロプロセッサに実装された)でもよいビデオ画像合成器を含み得る。ビデオ画像合成器は、ワイドビュー・カメラ770で、サラウンド・カメラ774で、及び/又はキャビン内監視カメラ・センサでレンズ歪み補正を実行することができる。キャビン内監視カメラ・センサは好ましくは、キャビン内イベントを識別し、適切に応答するように構成された、高度SoCの別のインスタンス上で実行するニューラル・ネットワークによって監視される。キャビン内システムは、セルラ・サービスをアクティブにする及び電話をかける、電子メールを書き取らせる、車両の目的地を変更する、車両のインフォテインメント・システム及び設定をアクティブにする又は変更する、或いは音声起動型ウェブ・サーフィンを提供するために、読唇術を実行することができる。ある特定の機能は、自律モードで動作しているときにのみ運転者に利用可能であり、そうでない場合には無効にされる。
ビデオ画像合成器は、空間的ノイズ低減及び時間的ノイズ低減の両方のための強化された時間的ノイズ低減を含み得る。たとえば、動きがビデオ内で生じた場合、ノイズ低減は、隣接するフレームによって提供される情報の重みを減らし、空間的情報に適切に重みを加える。画像又は画像の一部が動きを含まない場合、ビデオ画像合成器によって実行される時間的ノイズ低減は、前の画像からの情報を使用して現在の画像におけるノイズを減らすことができる。
ビデオ画像合成器はまた、入力ステレオ・レンズ・フレーム上でステレオ・レクティフィケーションを実行するように構成され得る。ビデオ画像合成器はさらに、オペレーティング・システム・デスクトップが使用中であるときにユーザ・インターフェース合成のために使用することができ、GPU708は、新しい表面を連続してレンダリングために必要とされない。GPU708の電源が入れられ、3Dレンダリングをアクティブに行っているときでも、ビデオ画像合成器は、GPU708をオフロードしてパフォーマンス及び反応性を向上させるために使用され得る。
SoC704は、カメラからビデオ及び入力を受信するためのモバイル・インダストリ・プロセッサ・インターフェース(MIPI:mobile industry processor interface)カメラ・シリアル・インターフェース、高速インターフェース、及び/又は、カメラ及び関連画素入力機能のために使用され得るビデオ入力ブロックをさらに含み得る。SoC704は、ソフトウェアによって制御され得る、及び特定の役割にコミットされていないI/O信号を受信するために使用され得る、入力/出力コントローラをさらに含み得る。
SoC704は、周辺装置、オーディオ・コーデック、電力管理、及び/又は他のデバイスとの通信を可能にするために、広範囲の周辺インターフェースをさらに含み得る。SoC704は、(たとえば、ギガビット・マルチメディア・シリアル・リンク及びイーサネット(登録商標)を介して接続された)カメラからのデータ、センサ(たとえば、イーサネット(登録商標)を介して接続され得るLIDARセンサ764、RADARセンサ760など)、バス702からのデータ(たとえば、車両700のスピード、ハンドル位置など)、(たとえば、イーサネット(登録商標)又はCANバスを介して接続された)GNSSセンサ758からのデータを処理するために使用され得る。SoC704は、独自のDMAエンジンを含み得る及びルーティン・データ管理タスクからCPU706を解放するために使用され得る専用の高性能大容量記憶コントローラをさらに含み得る。
SoC704は、自動化レベル3~5に広がる柔軟なアーキテクチャを有する終端間プラットフォームでもよく、それによって、多様性及び冗長性のためにコンピュータ・ビジョン及びADAS技法を活用し、効率的に使用し、深層学習ツールとともに、柔軟な、信頼できる運転ソフトウェア・スタックのためのプラットフォームを提供する、総合的機能的安全性アーキテクチャを提供する。SoC704は、従来のシステムよりも高速で、信頼でき、さらにエネルギ効率がよく、空間効率がよくなり得る。たとえば、加速装置714が、CPU706と結合されるとき、GPU708、及びデータ・ストア716は、レベル3~5の自律型車両のための高速で効率的なプラットフォームを提供することができる。
したがって、本技術は、従来のシステムによって達成することができない能力及び機能性をもたらす。たとえば、コンピュータ・ビジョン・アルゴリズムは、多種多様な視覚的データにわたり多種多様な処理アルゴリズムを実行するために、Cプログラミング言語などの高レベルのプログラミング言語を使用して構成され得る、CPUで実行され得る。しかしながら、CPUは、しばしば、たとえば、実行時間及び電力消費に関連するものなど、多数のコンピュータ・ビジョン・アプリケーションの性能要件を満たすことができない。具体的には、多数のCPUは、車両内ADASアプリケーションの要件及び実際のレベル3~5の自律型車両の要件である、リアルタイムでの複合物体検出アルゴリズムを実行することができない。
従来のシステムとは対照的に、CPU複合体、GPU複合体、及びハードウェア加速クラスタを提供することによって、本明細書に記載の技術は、複数のニューラル・ネットワークが同時に及び/又は連続して実行されることと、レベル3~5の自律運転機能を可能にするために結果が結合されることとを可能にする。たとえば、DLA又はdGPU(たとえば、GPU720)で実行するCNNは、ニューラル・ネットワークが具体的にトレーニングされていない標識を含む、交通標識をスーパーコンピュータが読み取る及び理解することを可能にする、テキスト及び単語認識を含み得る。DLAは、標識の意味論的理解を識別、解釈、及び提供することと、CPU複合体で実行する進路計画立案モジュールに意味論的理解を渡すこととを行うことができる、ニューラル・ネットワークをさらに含み得る。
別の実例として、複数のニューラル・ネットワークは、レベル3、4、又は5の運転に必要とされるように、同時に実行され得る。たとえば、電光とともに、「注意:点滅光は、凍った状態を示す」から成る警告標識は、いくつかのニューラル・ネットワークによって独立して又は集合的に解釈され得る。標識自体は、第1の配備されたニューラル・ネットワーク(たとえば、トレーニングされてあるニューラル・ネットワーク)によって交通標識として識別され得、テキスト「点滅光は、凍った状態を示す」は、点滅光が検出されるときには凍った状態が存在することを車両の進路計画立案ソフトウェア(好ましくはCPU複合体上で実行する)に知らせる、第2の配備されたニューラル・ネットワークによって解釈され得る。点滅光は、点滅光の存在(又は無いこと)を車両の進路計画立案ソフトウェアに知らせ、複数のフレームを介して第3の配備されたニューラル・ネットワークを動作させることによって識別され得る。すべての3個のニューラル・ネットワークは、DLA内及び/又はGPU708上などで、同時に実行することができる。
いくつかの実例では、顔認識及び車両所有者識別のためのCNNは、カメラ・センサからのデータを使用して車両700の正規の運転者及び/又は所有者の存在を識別することができる。常時オンのセンサ処理エンジンは、所有者が運転席側のドアに近づくときに車両を解錠する及び明かりをつけるために、並びに、セキュリティ・モードにおいて、所有者が車両を離れるときに車両の動作を停止させるために、使用され得る。このようにして、SoC704は、盗難及び/又は車の乗っ取りに対するセキュリティをもたらす。
別の実例では、緊急車両検出及び識別のためのCNNは、マイクロフォン796からのデータを使用して緊急車両サイレンを検出及び識別することができる。一般分類子を使用してサイレンを検出する及び特徴を手動で抽出する従来のシステムとは対照的に、SoC704は、環境の及び都市の音の分類、並びに視覚的データの分類のためにCNNを使用する。好ましい一実施例では、DLA上で実行するCNNは、(たとえば、ドップラー効果を使用することによって)緊急車両の相対的終速度を識別するようにトレーニングされる。CNNはまた、GNSSセンサ758によって識別されるように、車両が稼働しているローカル・エリアに特有の緊急車両を識別するようにトレーニングされ得る。それ故に、たとえば、欧州で稼働しているとき、CNNは、欧州のサイレンを検出しようとすることになり、そして、米国にあるとき、CNNは、北米のサイレンのみを識別しようとすることになる。緊急車両が検出された後は、制御プログラムが、緊急車両が通過するまで、超音波センサ762の支援を受けて、車両を減速する、道の端に停止させる、車両を駐車する、及び/又は車両をアイドリングさせる、緊急車両安全性ルーティンを実行するために使用され得る。
車両は、高速相互接続(たとえば、PCIe)を介してSoC704に連結され得るCPU718(たとえば、個別のCPU、又はdCPU)を含み得る。CPU718は、たとえば、X86プロセッサを含み得る。CPU718は、たとえば、ADASセンサとSoC704との間の潜在的に不整合の結果を調停すること、及び/又はコントローラ736及び/又はインフォテインメントSoC730の状況及び調子を監視することを含む、様々な機能のいずれかを実行するために使用され得る。
車両700は、高速相互接続(たとえば、NVIDIAのNVLINK)を介してSoC704に連結され得るGPU720(たとえば、個別のGPU、又はdGPU)を含み得る。GPU720は、冗長及び/又は異なるニューラル・ネットワークを実行することなどによって、付加的人工知能機能をもたらすことができ、車両700のセンサからの入力(たとえば、センサ・データ)に基づいてニューラル・ネットワークをトレーニング及び/又は更新するために使用され得る。
車両700は、1つ又は複数のワイヤレス・アンテナ726(たとえば、セルラ・アンテナ、ブルートゥース(登録商標)・アンテナなど、異なる通信プロトコルのための1つ又は複数のワイヤレス・アンテナ)を含み得るネットワーク・インターフェース724をさらに含み得る。ネットワーク・インターフェース724は、インターネットを介するクラウドとの(たとえば、サーバ778及び/又は他のネットワーク・デバイスとの)、他の車両との、及び/又は計算デバイス(たとえば、乗客のクライアント・デバイス)とのワイヤレス接続を使用可能にするために使用され得る。他の車両と通信するために、直接リンクが2個の車両の間に確立され得る、及び/又は、間接リンクが(たとえば、ネットワークを通じて及びインターネットを介して)確立され得る。直接リンクは、車両対車両通信リンクを使用し、提供され得る。車両対車両通信リンクは、車両700に近接する車両(たとえば、車両700の前の、横の、及び/又は後ろの車両)に関する車両700情報を提供することができる。この機能は、車両700の共同適応クルーズ制御機能の一部でもよい。
ネットワーク・インターフェース724は、変調及び復調機能を提供する及びコントローラ736がワイヤレス・ネットワークを介して通信することを可能にする、SoCを含み得る。ネットワーク・インターフェース724は、ベースバンドから無線周波数へのアップコンバージョン、及び無線周波数からベースバンドへのダウンコンバージョンのための無線周波数フロントエンドを含み得る。周波数コンバージョンは、よく知られているプロセスを通して実行することができ、及び/又はスーパーヘテロダイン・プロセスを用いて実行することができる。いくつかの実例では、無線周波数フロントエンド機能は、別個のチップによって提供され得る。ネットワーク・インターフェースは、LTE、WCDMA(登録商標)、UMTS、GSM、CDMA2000、ブルートゥース(登録商標)、ブルートゥース(登録商標)LE、Wi-Fi、Z-Wave、ZigBee、LoRaWAN、及び/又は他のワイヤレス・プロトコルを介して通信するためのワイヤレス機能を含み得る。
車両700は、チップ外の(たとえば、SoC704外の)ストレージを含み得るデータ・ストア728をさらに含み得る。データ・ストア728は、RAM、SRAM、DRAM、VRAM、フラッシュ、ハードディスク、及び/又は、少なくとも1ビットのデータを記憶することができる他の構成要素及び/又はデバイスを含む、1つ又は複数の記憶素子を含み得る。
車両700は、GNSSセンサ758をさらに含み得る。GNSSセンサ758(たとえば、GPS、支援されたGPSセンサ、ディファレンシャルGPS(DGPS)センサなど)は、マッピング、知覚、占有グリッド生成、及び/又は進路計画策定機能を支援する。たとえば、シリアル(RS-232)ブリッジへのイーサネット(登録商標)を有するUSBコネクタを使用するGPSを含むが、これに限定されない、任意の数のGNSSセンサ758が、使用され得る。
車両700は、RADARセンサ760をさらに含み得る。RADARセンサ760は、暗闇及び/又は厳しい気象条件においても、長距離車両検出のために車両700によって使用され得る。RADAR機能安全性レベルは、ASIL Bでもよい。一部の実例では、RADARセンサ760は、未加工のデータにアクセスするためのイーサネット(登録商標)へのアクセスを用いて、制御のために及び物体追跡データにアクセスするために(たとえば、RADARセンサ760によって生成されたデータを送信するために)CAN及び/又はバス702を使用することができる。多種多様なRADARセンサ・タイプが、使用され得る。たとえば、そして制限なしに、RADARセンサ760は、前部、後部、及び側部RADAR使用に適し得る。一部の実例では、パルス・ドップラーRADARセンサが使用される。
RADARセンサ760は、狭い視野を有する長距離、広い視野を有する短距離、短距離側部カバレッジなど、異なる構成を含み得る。いくつかの実例では、長距離RADARは、適応クルーズ制御機能のために使用され得る。長距離RADARシステムは、250mの範囲内など、2個以上の独立したスキャンによって実現される広い視野を提供することができる。RADARセンサ760は、静的物体と動く物体との区別を助けることができ、緊急ブレーキ・アシスト及び前方衝突警報のためのADASシステムによって使用され得る。長距離RADARセンサは、複数の(たとえば、6つ以上の)固定RADARアンテナと高速CAN及びFlexRayインターフェースとを有するモノスタティック・マルチモーダルRADARを含み得る。6つのアンテナを有する一実例では、中央の4個のアンテナは、隣接レーン内の交通からの干渉を最小限にして高速で車両700の周囲を記録するように設計された、集束ビーム・パターンを作成し得る。他の2個のアンテナは、視野を広げることができ、車両700のレーンに入る又はこれを去る車両を迅速に検出することを可能にする。
一実例として、中距離RADARシステムは、760m(前)又は80m(後)までの範囲、及び42度(前)又は750度(後)までの視野を含み得る。短距離RADARシステムは、後部バンパの両端に設置されるように設計されたRADARセンサを含み得るが、これに限定されない。後部バンパの両端に設置されるとき、そのようなRADARセンサ・システムは、車両の後ろ及び隣の死角を常に監視する2個のビームを作成することができる。
短距離RADARシステムは、死角検出及び/又はレーン変更アシストのためにADASシステムにおいて使用され得る。
車両700は、超音波センサ762をさらに含み得る。車両700の前部、後部、及び/又は側部に位置付けられ得る、超音波センサ762は、駐車アシストのために及び/又は占有グリッドの作成及び更新のために使用され得る。多種多様な超音波センサ762が使用され得、異なる超音波センサ762が、異なる範囲の検出(たとえば、2.5m、4m)のために使用され得る。超音波センサ762は、ASIL Bの機能的安全性レベルにおいて動作することができる。
車両700はLIDARセンサ764を含み得る。LIDARセンサ764は、物体及び歩行者検出、緊急ブレーキ、衝突回避、及び/又は他の機能のために使用され得る。LIDARセンサ764は、機能的安全性レベルASIL Bでもよい。いくつかの実例では、車両700は、(たとえば、ギガビット・イーサネット(登録商標)・スイッチにデータを提供するために)イーサネット(登録商標)を使用することができる複数の(たとえば、2個、4個、6個などの)LIDARセンサ764を含み得る。
いくつかの実例では、LIDARセンサ764は、物体及び360度視野のそれらの距離のリストを提供する能力を有し得る。市販のLIDARセンサ764は、たとえば、2cm~3cmの精度を有し、700Mbpsイーサネット(登録商標)接続のサポートを有して、約700mの広告された範囲を有し得る。いくつかの実例では、1つ又は複数の非突出したLIDARセンサ764が、使用され得る。そのような実例では、LIDARセンサ764は、車両700の前部、後部、側部、及び/又は角に組み込まれ得る小さいデバイスとして実装され得る。そのような実例では、LIDARセンサ764は、低反射物体についても200mの範囲を有し、120度水平及び35度垂直視野まで提供することができる。前部に取り付けられたLIDARセンサ764は、45度と135度との間の水平視野向けに構成され得る。
いくつかの実例では、3DフラッシュLIDARなどのLIDAR技術もまた使用され得る。3DフラッシュLIDARは、約200mまで車両の周囲を照らすために、送信元としてレーザーのフラッシュを使用する。フラッシュLIDARユニットは、車両から物体までの範囲に順番に対応する、レーザー・パルス走行時間及び各画素上の反射光を記録する、レセプタを含む。フラッシュLIDARは、周囲の高精度の及び歪みのない画像があらゆるレーザー・フラッシュで生成されることを可能にし得る。いくつかの実例では、4個のフラッシュLIDARセンサが、車両700の各側面に1つずつ、配備され得る。利用可能な3DフラッシュLIDARシステムは、送風機以外に動く部分を有さないソリッドステート3Dステアリング・アレイLIDARカメラ(たとえば、非スキャン型LIDARデバイス)を含む。フラッシュLIDARデバイスは、1フレームにつき5ナノ秒クラスI(目に安全な)レーザー・パルスを使用することができ、3D範囲点群及び共記載された強度データの形で反射レーザー光をキャプチャし得る。フラッシュLIDARを使用することによって、また、フラッシュLIDARは、動く部分を有さないソリッドステート・デバイスであるので、LIDARセンサ764は、モーション・ブラー、振動、及び/又は衝撃の影響を受けにくくなり得る。
車両は、IMUセンサ766をさらに含み得る。一部の実例では、IMUセンサ766は、車両700の後部車軸の中央に位置付けられ得る。IMUセンサ766は、たとえば、加速度計、磁力計、ジャイロスコープ、磁気コンパス、及び/又は他のセンサ・タイプを含み得るが、これらに限定されない。いくつかの実例では、6軸アプリケーションなどにおいて、IMUセンサ766は、加速度計及びジャイロスコープを含み得るが、9軸アプリケーションにおいて、IMUセンサ766は、加速度計、ジャイロスコープ、及び磁力計を含み得る。
一部の実施例では、IMUセンサ766は、マイクロ電気機械システム(MEMS:micro-electro-mechanical system)慣性センサ、高感度GPSレシーバ、及び高度カルマン・フィルタリング・アルゴリズムを結合して位置、ベロシティ、及び姿勢の推定値を提供するミニチュア、高性能GPS支援型慣性航行システム(GPS/INS:GPS-Aided Inertial Navigation System)として実装され得る。そのようなものとして、一部の実例では、IMUセンサ766は、GPSからIMUセンサ766までのベロシティの変化を直接観測すること及び関連付けることによって、磁気センサからの入力を必要とせずに進行方向を車両700が推定することを可能にし得る。いくつかの実例では、IMUセンサ766及びGNSSセンサ758は、単一の統合されたユニットにおいて結合され得る。
車両は、車両700内及び/又は周囲に置かれたマイクロフォン796を含み得る。マイクロフォン796は、中でも、緊急車両検出及び識別のために使用され得る。
車両は、ステレオ・カメラ768、ワイドビュー・カメラ770、赤外線カメラ772、サラウンド・カメラ774、長距離及び/又は中距離カメラ798、及び/又は他のカメラ・タイプを含む、任意の数のカメラ・タイプをさらに含み得る。カメラは、車両700の全外面の周りの画像データをキャプチャするために使用され得る。使用されるカメラのタイプは、車両700の実施例及び要件に応じて決まり、任意の組合せのカメラ・タイプが、車両700の周りの必要なカバレッジを実現するために使用され得る。加えて、カメラの数は、実施例に応じて異なり得る。たとえば、車両は、6個のカメラ、7個のカメラ、10個のカメラ、12個のカメラ、及び/又は別の数のカメラを含み得る。カメラは、一実例として、ギガビット・マルチメディア・シリアル・リンク(GMSL:Gigabit Multimedia Serial Link)及び/又はギガビット・イーサネット(登録商標)をサポートし得るが、これに限定されない。それぞれのカメラは、図7A及び図7Bに関連して本明細書においてさらに詳しく説明される。
車両700は、振動センサ742をさらに含み得る。振動センサ742は、車軸など、車両の構成要素の振動を測定することができる。たとえば、振動の変化は、道路の表面の変化を示し得る。別の実例では、2個以上の振動センサ742が使用されるとき、振動の差は、道路表面の摩擦又は滑りを判定するために使用され得る(たとえば、振動の差が電力駆動車軸と自由回転車軸との間であるとき)。
車両700は、ADASシステム738を含み得る。一部の実例では、ADASシステム738は、SoCを含み得る。ADASシステム738は、自律/適応/自動クルーズ制御(ACC:autonomous/adaptive/automatic cruise control)、共同適応クルーズ制御(CACC:cooperative adaptive cruise control)、前方衝突警報(FCW:forward crash warning)、自動緊急ブレーキ(AEB:automatic emergency braking)、車線逸脱警報(LDW:lane departure warning)、レーン・キープ・アシスト(LKA:lane keep assist)、死角警報(BSW:blind spot warning)、後部交差交通警報(RCTW:rear cross-traffic warning)、衝突警報システム(CWS:collision warning system)、レーン・センタリング(LC:lane centering)、及び/又は他の特徴及び機能を含み得る。
ACCシステムは、RADARセンサ760、LIDARセンサ764、及び/又はカメラを使用し得る。ACCシステムは、縦ACC及び/又は横ACCを含み得る。縦ACCは、車両700の直ぐ前の車両までの距離を監視及び制御し、前方の車両からの安全距離を維持するために車両速度を自動的に調整する。横ACCは、距離の保持を実行し、必要なときにレーンを変更するように車両700にアドバイスする。横ACCは、LCA及びCWSなどの他のADASアプリケーションに関連する。
CACCは、ワイヤレス・リンクを介して他の車両からネットワーク・インターフェース724及び/又はワイヤレス・アンテナ726を介して、或いは間接的にネットワーク接続を介して(たとえば、インターネットを介して)、受信することができる、他の車両からの情報を使用する。直接リンクは、車両対車両(V2V:vehicle-to-vehicle)通信リンクによって提供され得、一方、間接リンクは、インフラストラクチャ対車両(I2V:infrastructure-to-vehicle)通信リンクでもよい。一般に、V2V通信概念は、直前の車両(たとえば、車両700と同じレーン内にある、車両700の直ぐ前の車両)に関する情報を提供し、一方、I2V通信概念は、さらに前の交通に関する情報を提供する。CACCシステムは、I2V情報ソースとV2V情報ソースとのいずれか又は両方を含み得る。車両700の前方の車両の情報を所与として、CACCは、より高信頼になり得、CACCは、交通の流れをよりスムーズにし、道路の渋滞を減らす可能性を有する。
運転者が修正行動を取ることができるように、FCWシステムは、危険を運転者に警告するように設計される。FCWシステムは、ディスプレイ、スピーカ、及び/又は振動部品など、運転者フィードバックに電気的に連結された、専用のプロセッサ、DSP、FPGA、及び/又はASICに連結された、前向きのカメラ及び/又はRADARセンサ760を使用する。FCWシステムは、音響、視覚的警報、振動及び/又はクイック・ブレーキ・パルスなどの形で、警報を提供することができる。
AEBシステムは、別の車両又は他の物体との差し迫った前方衝突を検出し、運転者が指定された時間又は距離パラメータ内に修正行動を取らない場合に、ブレーキを自動的に適用することができる。AEBシステムは、専用のプロセッサ、DSP、FPGA、及び/又はASICに連結された、前向きのカメラ及び/又はRADARセンサ760を使用することができる。AEBシステムが危険を検出するとき、AEBシステムは通常は、先ず、衝突を回避するための修正行動を取るように運転者に警告し、運転者が修正行動を取らない場合、AEBシステムは、予測される衝突の影響を防ぐ、又は少なくとも軽減するための努力の一環としてブレーキを自動的に適用することができる。AEBシステムは、ダイナミック・ブレーキ・サポート及び/又は衝突切迫ブレーキなどの技法を含み得る。
LDWシステムは、ハンドル又はシートの振動など、視覚的、可聴式、及び/又は触覚的警報を提供して、車両700が車線区分線を越えたときに運転者に警告する。LDWシステムは、運転者が、方向指示器を起動することによって、意図的な車線逸脱を指示するときには、起動しない。LDWシステムは、ディスプレイ、スピーカ、及び/又は振動部品など、運転者フィードバックに電気的に連結された、専用のプロセッサ、DSP、FPGA、及び/又はASICに連結された、前側を向いたカメラを使用することができる。
LKAシステムは、LDWシステムの変更形態である。LKAシステムは、車両700が車線をはみ出し始めた場合に車両700を修正するためにステアリング入力又はブレーキを提供する。
BSWシステムは、自動車の死角において車両の運転者に検出及び警告する。BSWシステムは、合流又はレーンの変更が安全ではないことを指示するために視覚的、可聴式、及び/又は触覚的警告を提供することができる。システムは、運転者が方向指示器を使用するとき、付加的警報を提供し得る。BSWシステムは、運転者フィードバック、たとえば、ディスプレイ、スピーカ、及び/又は振動部品、に電気的に連結された、専用プロセッサ、DSP、FPGA、及び/又はASICに連結された、後ろ側を向いたカメラ及び/又はRADARセンサ760を使用し得る。
RCTWシステムは、車両700がバックしているときにリアカメラの範囲外で物体が検出されると視覚的、可聴式、及び/又は触覚的通知を提供することができる。いくつかのRCTWシステムは、衝突を回避するために車両ブレーキが適用されることを確実にするために、AEBを含む。RCTWシステムは、運転者フィードバック、たとえば、ディスプレイ、スピーカ、及び/又は振動部品、に電気的に連結された、専用プロセッサ、DSP、FPGA、及び/又はASICに連結された、1つ又は複数の後ろを向いたRADARセンサ760を使用することができる。
従来のADASシステムは、運転者に警告し、安全状態が本当に存在するかどうかを運転者が判定し、それに応じて行動することを可能にするので、従来のADASシステムは、通常は壊滅的ではないが、運転者を悩ませている及び気を散らせていることがある誤判定結果を生み出す傾向にあることがあった。しかしながら、自律型車両700では、結果が矛盾する場合には、車両700自体が、1次的コンピュータ又は2次的コンピュータ(たとえば、第1のコントローラ736又は第2のコントローラ736)からの結果を聞き入れるかどうかを決定しなければならない。たとえば、一部の実施例では、ADASシステム738は、知覚情報をバックアップ・コンピュータ合理性モジュールに提供するためのバックアップ及び/又は2次的コンピュータでもよい。バックアップ・コンピュータ合理性モニタは、ハードウェア構成要素で冗長な多様なソフトウェアを実行して、知覚及び動的運転タスクにおいて障害を検出することができる。ADASシステム738からの出力は、監督MCUに提供され得る。1次的コンピュータ及び2次的コンピュータからの出力が矛盾する場合、監督MCUは、安全な動作を確実にするためにその矛盾をどのように調整するかを決定する必要がある。
いくつかの実例では、1次的コンピュータは、選択された結果における1次的コンピュータの信頼性を指示する、信頼性スコアを監督MCUに提供するように構成され得る。信頼性スコアが閾値を超えた場合、監督MCUは、2次的コンピュータが矛盾する又は不整合の結果を与えるかどうかにかかわらず、1次的コンピュータの指示に従い得る。信頼性スコアが閾値を満たさない場合、及び1次的及び2次的コンピュータが異なる結果を示す(たとえば、矛盾する)場合、監督MCUは、コンピュータの間で調停して適切な結果を決定することができる。
監督MCUは、2次的コンピュータが誤ったアラームを提供する状態を、1次的コンピュータ及び2次的コンピュータからの出力に基づいて、判定するようにトレーニング及び構成されたニューラル・ネットワークを実行するように構成され得る。したがって、監督MCU内のニューラル・ネットワークは、2次的コンピュータの出力が信頼され得るとき、及びそれが信頼され得ないときを学習することができる。たとえば、2次的コンピュータがRADARベースのFCWシステムであるとき、監督MCU内のニューラル・ネットワークは、アラームをトリガする下水溝の鉄格子又はマンホールの蓋など、実際には危険ではない金属製の物をいつFCWが識別しているかを学習することができる。同様に、2次的コンピュータがカメラベースのLDWシステムであるとき、監督MCU内のニューラル・ネットワークは、自転車に乗った人又は歩行者が存在し、車線逸脱が、実際には、最も安全な操作であるときに、LDWを無視することを学習することができる。監督MCU上で実行中のニューラル・ネットワークを含む実施例では、監督MCUは、関連メモリを有するニューラル・ネットワークを実行するのに適したDLA又はGPUのうちの少なくとも1つを含み得る。好ましい実施例において、監督MCUは、SoC704の構成要素を備え得る、及び/又はSoC704の構成要素として含まれ得る。
他の実例において、ADASシステム738は、コンピュータ・ビジョンの従来のルールを使用するADAS機能を実行する2次的コンピュータを含み得る。そのようなものとして、2次的コンピュータは、古典的コンピュータ・ビジョン・ルール(if-then)を使用することができ、監督MCU内のニューラル・ネットワークの存在は、信頼性、安全性及び性能を向上させることができる。たとえば、多様な実装形態及び意図的な非同一性は、特にソフトウェア(又はソフトウェア-ハードウェア・インターフェース)機能によって引き起こされる障害に対して、システム全体をよりフォールトトレラントにする。たとえば、1次的コンピュータで実行中のソフトウェア内にソフトウェア・バグ又はエラーが存在し、2次的コンピュータで実行中の同一でないソフトウェア・コードが同じ総合的結果を提供する場合、監督MCUは、総合的結果は正しく、1次的コンピュータ上のソフトウェア又はハードウェア内のバグは重大なエラーを引き起こしていないというより大きな確信を有し得る。
いくつかの実例では、ADASシステム738の出力は、1次的コンピュータの知覚ブロック及び/又は1次的コンピュータの動的運転タスク・ブロックに供給され得る。たとえば、ADASシステム738が、直ぐ前の物体が原因で、前方衝突警報を示した場合、知覚ブロックは、物体を識別するときに、この情報を使用することができる。他の実例において、2次的コンピュータは、本明細書に記載のように、トレーニングされ、それ故に誤判定のリスクを減らす、独自のニューラル・ネットワークを有し得る。
車両700は、インフォテインメントSoC730(たとえば、車両内のインフォテインメント・システム(IVI:in-vehicle infotainment system))をさらに含み得る。SoCとして図示及び記述されているが、インフォテインメント・システムは、SoCでなくてもよく、2個以上の個別の構成要素を含み得る。インフォテインメントSoC730は、オーディオ(たとえば、音楽、携帯情報端末、ナビゲーション命令、ニュース、無線など)、ビデオ(たとえば、TV、映画、ストリーミングなど)、電話(たとえば、ハンズフリー通話)、ネットワーク接続(たとえば、LTE、Wi-Fiなど)、及び/又は情報サービス(たとえば、ナビゲーション・システム、後方駐車支援、無線データシステム、燃料レベル、総移動距離、ブレーキ燃料レベル、オイル・レベル、ドアを開ける/閉じる、エア・フィルタ情報などの車両関連情報)を車両700に提供するために使用され得るハードウェア及びソフトウェアの組合せを含み得る。たとえば、インフォテインメントSoC730は、無線、ディスク・プレイヤ、ナビゲーション・システム、ビデオ・プレイヤ、USB及びブルートゥース(登録商標)接続、カーピュータ、車内エンターテイメント、Wi-Fi、ハンドル・オーディオ制御装置、ハンズ・フリー音声制御、ヘッドアップ・ディスプレイ(HUD:heads-up display)、HMIディスプレイ734、テレマティックス・デバイス、制御パネル(たとえば、様々な構成要素、特徴、及び/又はシステムを制御する及び/又はこれと相互に作用するための)、及び/又は他の構成要素でもよい。インフォテインメントSoC730は、ADASシステム738からの情報、計画された車両操作などの自律運転情報、軌道、周囲環境情報(たとえば、交差点情報、車両情報、道路情報など)、及び/又は他の情報など、車両のユーザへの情報(たとえば、視覚的及び/又は可聴式の)を提供するためにさらに使用され得る。
インフォテインメントSoC730は、GPU機能性を含み得る。インフォテインメントSoC730は、バス702(たとえば、CANバス、イーサネット(登録商標)など)を介して、車両700の他のデバイス、システム、及び/又は構成要素と通信することができる。いくつかの実例では、インフォテインメント・システムのGPUが、1次的コントローラ736(たとえば、車両700の1次的及び/又はバックアップ・コンピュータ)が故障した場合に、いくつかのセルフドライブ機能を実行することができるように、インフォテインメントSoC730は、監督MCUに連結され得る。そのような実例では、インフォテインメントSoC730は、本明細書に記載のように、車両700をショーファーの安全停止モードにすることができる。
車両700は、計器群732(たとえば、デジタル・ダッシュ、電子計器群、デジタル計器パネルなど)をさらに含み得る。計器群732は、コントローラ及び/又はスーパーコンピュータ(たとえば、個別のコントローラ又はスーパーコンピュータ)を含み得る。計器群732は、スピードメーター、燃料レベル、油圧、タコメーター、オドメーター、方向指示器、ギアシフト位置インジケータ、シート・ベルト警告灯、パーキングブレーキ警告灯、エンジン故障灯、エアバッグ(SRS)システム情報、照明制御装置、安全システム制御装置、ナビゲーション情報など、1セットの器具類を含み得る。いくつかの実例では、情報は、インフォテインメントSoC730及び計器群732の間で表示及び/又は共有され得る。言い換えれば、計器群732は、インフォテインメントSoC730の一部として含まれてもよく、逆もまた同様である。
図7Dは、本開示のいくつかの実施例による、図7Aのクラウドベースのサーバと例示的自律型車両700との間の通信のシステム図である。システム776は、サーバ778、ネットワーク790、及び、車両700を含む車両を含み得る。サーバ778は、複数のGPU784(A)~784(H)(本明細書でGPU784と総称される)、PCIeスイッチ782(A)~782(H)(本明細書でPCIeスイッチ782と総称される)、及び/又はCPU780(A)~780(B)(本明細書でCPU780と総称される)を含み得る。GPU784、CPU780、及びPCIeスイッチは、たとえば、NVIDIAによって開発されたNVLinkインターフェース788及び/又はPCIe接続786などの、これらに限定されない、高速相互接続で相互に接続され得る。いくつかの実例では、GPU784は、NVLink及び/又はNVSwitch SoCを介して接続され、GPU784及びPCIeスイッチ782は、PCIe相互接続を介して接続される。8個のGPU784、2個のCPU780、及び2個のPCIeスイッチが図示されているが、これは制限を意図されていない。実施例に応じて、それぞれのサーバ778は、任意の数のGPU784、CPU780、及び/又はPCIeスイッチを含み得る。たとえば、サーバ778は、それぞれ、8個、16個、32個、及び/又はそれ以上のGPU784を含み得る。
サーバ778は、最近開始された道路工事など、予想外の又は変更された道路状態を示す画像を表す画像データを、ネットワーク790を介して、車両から、受信することができる。サーバ778は、ニューラル・ネットワーク792、更新されたニューラル・ネットワーク792、及び/又は、交通及び道路状態に関する情報を含むマップ情報794をネットワーク790を介して車両に送信することができる。マップ情報794の更新は、建設現場、くぼみ、迂回路、洪水、及び/又は他の障害物に関する情報など、HDマップ722の更新を含み得る。いくつかの実例では、ニューラル・ネットワーク792、更新されたニューラル・ネットワーク792、及び/又はマップ情報794は、環境において任意の数の車両から受信されたデータにおいて表された新しいトレーニング及び/又は経験から、及び/又は(たとえば、サーバ778及び/又は他のサーバを使用する)データ・センタにおいて実行されたトレーニングに基づいて、生じた可能性がある。
サーバ778は、トレーニング・データに基づいてマシン学習モデル(たとえば、ニューラル・ネットワーク)をトレーニングするために使用され得る。トレーニング・データは、車両によって生成され得る、及び/又は(たとえば、ゲーム・エンジンを使用して)シミュレーションにおいて生成され得る。いくつかの実例では、トレーニング・データは、タグ付けされる(たとえば、ニューラル・ネットワークが、監督された学習の恩恵を受ける場合)及び/又は他の事前処理を受けるが、他の実例において、トレーニング・データは、タグ付け及び/又は事前処理されない(たとえば、ニューラル・ネットワークが、監督された学習を必要としない場合)。トレーニングは、たとえば以下のクラスを含むがこれらに限定されない、任意の1つ又は複数のクラスのマシン学習技法に従って、実行され得る:監視されたトレーニング、半監視されたトレーニング、監視されていないトレーニング、自己学習、強化学習、連合型学習、転移学習、特徴学習(主要構成要素及びクラスタ分析を含む)、マルチ線形部分空間学習、多様体学習、表現学習(予備辞書学習を含む)、ルールに基づくマシン学習、異常検出、及びそれらの変更形態若しくは組合せ。マシン学習モデルがトレーシングされた後は、マシン学習モデルは、車両によって使用され得(たとえば、ネットワーク790を介して車両に送信される)、及び/又は、マシン学習モデルは、車両を遠隔監視するために、サーバ778によって使用され得る。
いくつかの実例では、サーバ778は、車両からデータを受信し、リアルタイムのインテリジェント推論のために最新のリアルタイムのニューラル・ネットワークにデータを適用することができる。サーバ778は、NVIDIAによって開発されたDGX及びDGXステーション・マシンなど、GPU784によって電力供給される深層学習スーパーコンピュータ及び/又は専用のAIコンピュータを含み得る。しかしながら、一部の実例では、サーバ778は、CPU電源式データ・センタのみを使用する深層学習インフラストラクチャを含み得る。
サーバ778の深層学習インフラストラクチャは、高速のリアルタイム推論の能力を有することでき、その能力を使用して車両700内のプロセッサ、ソフトウェア、及び/又は関連ハードウェアの調子を評価及び検証することができる。たとえば、深層学習インフラストラクチャは、車両700がそのシーケンスの画像内に位置したシーケンスの画像及び/又は物体など、車両700からの定期的更新を受信することができる(たとえば、コンピュータ・ビジョン及び/又は他のマシン学習物体分類技法を介して)。深層学習インフラストラクチャは、物体を識別し、車両700によって識別された物体とそれらを比較するために、独自のニューラル・ネットワークを実行することができ、結果が一致せず、インフラストラクチャが、車両700内のAIは正常に機能していないという結論を下した場合、サーバ778は、制御を推測し、乗客に通知し、安全な駐車操作を完了するように車両700のフェイルセーフ・コンピュータに命じる車両700への信号を送信することができる。
推論のために、サーバ778は、GPU784及び1つ又は複数のプログラマブル推論加速装置(たとえば、NVIDIAのTensorRT)を含み得る。GPU電源式サーバ及び推論加速の組合せは、リアルタイムの反応性を可能にすることができる。パフォーマンスがさほど必要とされない場合など、他の実例では、CPU、FPGA、及び他のプロセッサによって電力供給されるサーバが、推論のために使用され得る。
例示的計算デバイス
図8は、本開示のいくつかの実施例の実装に使用するのに適した計算デバイス800の一実例のブロック図である。計算デバイス800は、以下のデバイスを間接的に又は直接的につなぐ相互接続システム802を含み得る:メモリ804、1つ又は複数の中央処理装置(CPU)806、1つ又は複数のグラフィック処理ユニット(GPU)808、通信インターフェース810、入力/出力(I/O)ポート812、入力/出力構成要素814、電力供給装置816、1つ又は複数の提示構成要素818(たとえば、ディスプレイ)、及び1つ又は複数の論理ユニット820。少なくとも1つの実施例において、計算デバイス800は、1つ又は複数の仮想マシン(VM)を含み得る、及び/又は、その構成要素のいずれかは、仮想構成要素(たとえば、仮想ハードウェア構成要素)を含み得る。非限定的実例として、GPU808のうちの1つ又は複数は、1つ又は複数のvGPUを含み得、CPU806のうちの1つ又は複数は、1つ又は複数のvCPUを含み得、及び/又は、論理ユニット820のうちの1つ又は複数は、1つ又は複数の仮想論理ユニットを含み得る。そのようなものとして、計算デバイス800は、個別の構成要素(たとえば、計算デバイス800専用の全GPU)、仮想構成要素(たとえば、計算デバイス800専用のGPUの一部分)、又はその組合せを含み得る。
図8は、本開示のいくつかの実施例の実装に使用するのに適した計算デバイス800の一実例のブロック図である。計算デバイス800は、以下のデバイスを間接的に又は直接的につなぐ相互接続システム802を含み得る:メモリ804、1つ又は複数の中央処理装置(CPU)806、1つ又は複数のグラフィック処理ユニット(GPU)808、通信インターフェース810、入力/出力(I/O)ポート812、入力/出力構成要素814、電力供給装置816、1つ又は複数の提示構成要素818(たとえば、ディスプレイ)、及び1つ又は複数の論理ユニット820。少なくとも1つの実施例において、計算デバイス800は、1つ又は複数の仮想マシン(VM)を含み得る、及び/又は、その構成要素のいずれかは、仮想構成要素(たとえば、仮想ハードウェア構成要素)を含み得る。非限定的実例として、GPU808のうちの1つ又は複数は、1つ又は複数のvGPUを含み得、CPU806のうちの1つ又は複数は、1つ又は複数のvCPUを含み得、及び/又は、論理ユニット820のうちの1つ又は複数は、1つ又は複数の仮想論理ユニットを含み得る。そのようなものとして、計算デバイス800は、個別の構成要素(たとえば、計算デバイス800専用の全GPU)、仮想構成要素(たとえば、計算デバイス800専用のGPUの一部分)、又はその組合せを含み得る。
図8の様々なブロックは、線で相互接続システム802を介して接続しているように示されているが、これは制限することを意図されておらず、単に分かりやすくするためである。たとえば、一部の実施例では、表示デバイスなどの提示構成要素818は、I/O構成要素814と考えられ得る(たとえば、ディスプレイがタッチ・スクリーンである場合)。別の実例として、CPU806及び/又はGPU808はメモリを含み得る(たとえば、メモリ804は、GPU808、CPU806、及び/又は他の構成要素のメモリに加えた記憶デバイスを表し得る)。言い換えれば、図8の計算デバイスは、単に例示である。「ワークステーション」、「サーバ」、「ラップトップ」、「デスクトップ」、「タブレット」、「クライアント・デバイス」、「モバイル・デバイス」、「ハンドヘルド・デバイス」、「ゲーム機」、「電子制御ユニット(ECU:electronic control unit)」、「仮想現実システム」、及び/又は他のデバイス若しくはシステム・タイプなどのカテゴリはすべて、図8の計算デバイスの範囲内にあることが意図されているので、これらは区別されない。
相互接続システム802は、1つ又は複数のリンク又はバス、たとえば、アドレス・バス、データ・バス、制御バス、又はその組合せ、を表し得る。相互接続システム802は、1つ又は複数のバス又はリンク・タイプ、たとえば、業界標準アーキテクチャ(ISA:industry standard architecture)バス、拡張業界標準アーキテクチャ(EISA:extended industry standard architecture)バス、VESA(video electronics standards association)バス、周辺構成要素相互接続(PCI:peripheral component interconnect)バス、周辺構成要素相互接続エクスプレス(PCIe:peripheral component interconnect express)バス、及び/又は別のタイプのバス若しくはリンク、を含み得る。一部の実施例では、構成要素の間に直接接続が存在する。一実例として、CPU806は、メモリ804に直接接続され得る。さらに、CPU806は、GPU808に直接接続され得る。構成要素の間に直接、又はポイント対ポイント接続が存在する場合、相互接続システム802は、接続を実施するためのPCIeリンクを含み得る。これらの実例では、PCIバスは、計算デバイス800に含まれる必要はない。
メモリ804は、様々なコンピュータ可読媒体のいずれかを含み得る。コンピュータ可読媒体は、計算デバイス800によってアクセスすることができる任意の利用可能な媒体でもよい。コンピュータ可読媒体は、揮発性及び不揮発性媒体の両方、及び取り外し可能な及び取り外し不可能な媒体を含み得る。例として、しかし限定ではなく、コンピュータ可読媒体は、コンピュータ記憶媒体及び通信媒体を備え得る。
コンピュータ記憶媒体は、コンピュータ可読命令、データ構造体、プログラム・モジュール、及び/又は他のデータ・タイプなどの情報の記憶のための任意の方法又は技術において実装された揮発性及び不揮発性媒体及び/又は取り外し可能な及び取り外し不可能な媒体の両方を含み得る。たとえば、メモリ804は、オペレーティング・システムなど、(たとえば、プログラム及び/又はプログラム要素を表す)コンピュータ可読命令を記憶することができる。コンピュータ記憶媒体は、RAM、ROM、EEPROM、フラッシュメモリ又は他のメモリ技術、CD-ROM、デジタル多用途ディスク(DVD:digital versatile disk)又は他の光ディスク・ストレージ、磁気カセット、磁気テープ、磁気ディスク・ストレージ又は他の磁気記憶デバイス、或いは、所望の情報を記憶するために使用し得る及び計算デバイス800によってアクセスし得る任意の他の媒体を含み得るが、これらに限定されない。本明細書では、コンピュータ記憶媒体は、信号自体を含まない。
コンピュータ記憶媒体は、搬送波などの変調データ信号又は他の移送機構においてコンピュータ可読命令、データ構造体、プログラム・モジュール、及び/又は他のデータ・タイプを実施することができ、任意の情報配信媒体を含む。「変調データ信号」という用語は、その特性セットのうちの1つ又は複数を有する或いは信号内の情報をエンコードするような方式で変化した信号を指し得る。例として、しかし限定せず、コンピュータ記憶媒体は、ワイヤード・ネットワーク又は直接ワイヤード接続などのワイヤード媒体と、音響、RF、赤外線及び他のワイヤレス媒体などのワイヤレス媒体とを含み得る。前述のいずれかの組合せもまた、コンピュータ可読媒体の範囲に含まれるべきである。
CPU806は、コンピュータ可読命令のうちの少なくともいくつかを実行して計算デバイス800の1つ又は複数の構成要素を制御して本明細書に記載の方法及び/又はプロセスのうちの1つ又は複数を実行するように構成され得る。CPU806は、多数のソフトウェア・スレッドを同時に処理する能力を有する1つ又は複数の(たとえば、1個、2個、4個、8個、28個、72個などの)コアをそれぞれ含み得る。CPU806は、任意のタイプのプロセッサを含み得、実装された計算デバイス800のタイプに応じて、異なるタイプのプロセッサを含み得る(たとえば、モバイル・デバイスのためのより少数のコアを有するプロセッサ、及びサーバのためのより多数のコアを有するプロセッサ)。たとえば、計算デバイス800のタイプに応じて、プロセッサは、縮小命令セット計算(RISC:Reduced Instruction Set Computing)を使用して実装されたAdvanced RISC Machines(ARM)プロセッサ、又は複合命令セット計算(CISC:Complex Instruction Set Computing)を使用して実装されたx86プロセッサでもよい。計算デバイス800は、計算コプロセッサなど、1つ又は複数のマイクロプロセッサ又は補助コプロセッサ内の1つ又は複数のCPU806を含み得る。
CPU806に加えて又はその代わりに、GPU808は、コンピュータ可読命令のうちの少なくともいくつかを実行して計算デバイス800の1つ又は複数の構成要素を制御して本明細書に記載の方法及び/又はプロセスのうちの1つ又は複数を実行するように構成され得る。GPU808のうちの1つ若しくは複数は、統合されたGPU(たとえば、CPU806のうちの1つ又は複数とでもよく、及び/又はGPU808のうちの1つ若しくは複数は、離散GPUでもよい。実施例では、GPU808のうちの1つ又は複数は、CPU806のうちの1つ又は複数のコプロセッサでもよい。GPU808は、グラフィックス(たとえば、3Dグラフィックス)をレンダリングする又は汎用計算を実行するために、計算デバイス800によって使用され得る。たとえば、GPU808は、GPUによる汎用計算(GPGPU:General-Purpose computing on GPU)のために使用され得る。GPU808は、同時に数百又は数千のソフトウェア・スレッドを処理する能力を有する数百又は数千のコアを含み得る。GPU808は、レンダリング・コマンド(たとえば、ホスト・インターフェースを介して受信されたCPU806からのレンダリング・コマンド)に応答して、出力画像のための画素データを生成することができる。GPU808は、画素データ又は任意の他の適切なデータ、たとえばGPGPUデータ、を記憶するためのグラフィックス・メモリ、たとえば表示メモリ、を含み得る。表示メモリは、メモリ804の一部として含まれ得る。GPU808は、並行して動作する(たとえば、リンクを介して)2個以上のGPUを含み得る。リンクは、GPUに直接接続することができ(たとえば、NVLINKを使用して)、又はスイッチを介して(たとえば、NVSwitchを使用して)GPUを接続することができる。ともに結合されるとき、各GPU808は、出力の異なる部分の又は異なる出力の画素データ又はGPGPUデータ(たとえば、第1の画像の第1のGPU及び第2の画像の第2のGPU)を生成することができる。各GPUは、独自のメモリを含むことができ、又は他のGPUとメモリを共有することができる。
CPU806及び/又はGPU808に加えて又はその代わりに、論理ユニット820は、コンピュータ可読命令のうちの少なくともいくつかを実行して計算デバイス800のうちの1つ又は複数を制御して本明細書に記載の方法及び/又はプロセスのうちの1つ又は複数を実行するように構成され得る。実施例では、CPU806、GPU808、及び/又は論理ユニット820は、方法、プロセス及び/又はその部分の任意の組合せを離散的に又は合同で実行することができる。論理ユニット820のうちの1つ若しくは複数は、CPU806及び/若しくはGPU808のうちの1つ若しくは複数の一部でもよく及び/又はそこで統合されてもよく、及び/又は、論理ユニット820のうちの1つ若しくは複数は、CPU806及び/若しくはGPU808に対する離散構成要素であっても若しくは他の方法でそれらの外部にあってもよい。実施例では、論理ユニット820のうちの1つ又は複数は、CPU806のうちの1つ若しくは複数及び/又はGPU808のうちの1つ若しくは複数のコプロセッサでもよい。
論理ユニット820の実例は、1つ又は複数の処理コア及び/又はその構成要素、たとえば、テンソル・コア(TC:Tensor Core)、テンソル処理ユニット(TPU:Tensor Processing Unit)、画素ビジュアル・コア(PVC:Pixel Visual Core)、ビジョン処理ユニット(VPU:Vision Processing Unit)、グラフィックス処理クラスタ(GPC:Graphics Processing Cluster)、テクスチャ処理クラスタ(TPC:Texture Processing Cluster)、ストリーミング・マルチプロセッサ(SM:Streaming Multiprocessor)、木の走査ユニット(TTU:Tree Traversal Unit)、人工知能加速装置(AIA:Artificial Intelligence Accelerator)、深層学習加速装置(DLA:Deep Learning Accelerator)、論理演算ユニット(ALU)、特定用途向け集積回路(ASIC)、浮動小数点演算ユニット(FPU)、入力/出力(I/O)エレメント、周辺構成要素相互接続(PCI)又は周辺構成要素相互接続エクスプレス(PCIe)エレメント、及び/又は同類のもの、を含む。
通信インターフェース810は、ワイヤード及び/又はワイヤレス通信を含む、電子通信ネットワークを介して計算デバイス800が他の計算デバイスと通信することを可能にする、1つ又は複数のレシーバ、トランスミッタ、及び/又はトランシーバを含み得る。通信インターフェース810は、ワイヤレス・ネットワーク(たとえば、Wi-Fi、Z-Wave、ブルートゥース(登録商標)、ブルートゥース(登録商標)LE、ZigBeeなど)、ワイヤード・ネットワーク(たとえば、イーサネット(登録商標)又はInfiniBandを介して通信すること)、低電力ワイド・エリア・ネットワーク(たとえば、LoRaWAN、SigFoxなど)、及び/又はインターネットなどの、いくつかの異なるネットワークのうちのいずれかを介する通信を可能にするための構成要素及び機能を含み得る。
I/Oポート812は、そのうちのいくつかは計算デバイス800に内蔵(たとえば、統合)され得る、I/O構成要素814、提示構成要素818、及び/又は他の構成要素を含む、他のデバイスに計算デバイス800が論理的に連結されることを可能にすることができる。例示的なI/O構成要素814は、マイクロフォン、マウス、キーボード、ジョイスティック、ゲーム・パッド、ゲーム・コントローラ、サテライト・ディッシュ、スキャナ、プリンタ、ワイヤレス・デバイスなどを含む。I/O構成要素814は、エア・ジェスチャ、音声、又は、ユーザによって生成される他の生理的入力を処理する自然ユーザ・インターフェース(NUI:natural user interface)を提供することができる。場合によっては、入力は、さらなる処理のための適切なネットワーク要素に送信され得る。NUIは、音声認識、スタイラス認識、顔認識、生体認識、画面上での及び画面の隣でのジェスチャ認識、エア・ジェスチャ、頭部及び視標追跡、並びに計算デバイス800のディスプレイに関連するタッチ認識(さらに詳しく後述するような)の任意の組合せを実装し得る。計算デバイス800は、ジェスチャ検出及び認識のための、ステレオスコープ・カメラ・システム、赤外線カメラ・システム、RGBカメラ・システム、タッチ画面技術、及びこれらの組合せなど、深度カメラを含み得る。追加で、計算デバイス800は、動きの検出を可能にする加速度計又はジャイロスコープを含み得る(たとえば、慣性測定ユニット(IMU:inertia measurement unit)の一部として)。いくつかの実例では、加速度計又はジャイロスコープの出力は、没入型拡張現実又は仮想現実をレンダリングするために、計算デバイス800によって使用され得る。
電力供給装置816は、ハードワイヤード電力供給装置、バッテリ電力供給装置、又はその組合せを含み得る。電力供給装置816は、計算デバイス800の構成要素が動作することを可能にするために計算デバイス800に電力を提供することができる。
提示構成要素818は、ディスプレイ(たとえば、モニタ、タッチ画面、テレビジョン画面、ヘッドアップ表示装置(HUD)、他のディスプレイタイプ、又はその組合せ)、スピーカ、及び/又は他の提示構成要素を含み得る。提示構成要素818は、他の構成要素(たとえば、GPU808、CPU806など)からデータを受信し、データを(たとえば、画像、ビデオ、音響などとして)出力することができる。
例示的データ・センタ
図9は、本開示の少なくとも1つの実施例において使用され得る例示的データ・センタ900を示す。データ・センタ900は、データ・センタ・インフラストラクチャ層910、フレームワーク層920、ソフトウェア層930、及び/又はアプリケーション層940を含み得る。
図9は、本開示の少なくとも1つの実施例において使用され得る例示的データ・センタ900を示す。データ・センタ900は、データ・センタ・インフラストラクチャ層910、フレームワーク層920、ソフトウェア層930、及び/又はアプリケーション層940を含み得る。
図9に示すように、データ・センタ・インフラストラクチャ層910は、資源オーケストレータ912、グループ化された計算資源914、及びノード計算資源(「ノードC.R.」)916(1)~916(N)を含み得、そこで、「N」は、任意の整数の、自然数を表す。少なくとも1つの実施例において、ノードC.R.916(1)~916(N)は、任意の数の中央処理装置(「CPU」)又は他のプロセッサ(加速装置、フィールド・プログラマブル・ゲート・アレイ(FPGA)、グラフィックス・プロセッサ若しくはグラフィックス・プロセッシング・ユニット(GPU)などを含む)、メモリ・デバイス(たとえば、動的リード・オンリ・メモリ)、記憶デバイス(たとえば、ソリッドステート若しくはディスク・ドライブ)、ネットワーク入力/出力(「NW I/O」)デバイス、ネットワーク・スイッチ、仮想マシン(「VM」)、電力モジュール、及び/又は冷却モジュールなどを含み得るが、これらに限定されない。いくつかの実施例において、ノードC.R.916(1)~916(N)のうちの1つ又は複数のノードC.R.は、前述の計算資源のうちの1つ又は複数を有するサーバに対応し得る。加えて、いくつかの実施例において、ノードC.R.916(1)~9161(N)は、1つ若しくは複数の仮想構成要素、たとえば、vGPU、vCPU、及び/若しくは同類のもの、を含み得る、並びに/又は、ノードC.R.916(1)~916(N)のうちの1つ若しくは複数は、仮想マシン(VM)に対応し得る。
少なくとも1つの実施例において、グループ化された計算資源914は、1つ又は複数のラック(図示せず)内に収容された別個のグループのノードC.R.916、或いは様々な地理的場所(やはり図示せず)にあるデータ・センタに収容された多数のラックを含み得る。グループ化された計算資源914内の別個のグループのノードC.R.916は、1つ又は複数のワークロードをサポートするように構成する又は割り当てることができる、グループ化された計算、ネットワーク、メモリ又はストレージ資源を含み得る。少なくとも1つの実施例において、CPU、GPU、及び/又は他のプロセッサを含むいくつかのノードC.R.916は、1つ又は複数のワークロードをサポートするための計算資源を提供するために、1つ又は複数のラック内にグループ化され得る。1つ又は複数のラックはまた、任意の組合せで、任意の数の電力モジュール、冷却モジュール、及び/又はネットワーク・スイッチを含み得る。
資源オーケストレータ922は、1つ若しくは複数のノードC.R.916(1)~916(N)及び/又はグループ化された計算資源914を構成又は他の方法で制御することができる。少なくとも1つの実施例において、資源オーケストレータ922は、データ・センタ900のソフトウェア設計インフラストラクチャ(「SDI」)管理エンティティを含み得る。資源オーケストレータ922は、ハードウェア、ソフトウェア、又はその何らかの組合せを含み得る。
少なくとも1つの実施例において、図9に示すように、フレームワーク層920は、ジョブ・スケジューラ932、構成マネージャ934、資源マネージャ936、及び/又は分散型ファイル・システム938を含み得る。フレームワーク層920は、ソフトウェア層930のソフトウェア932及び/又はアプリケーション層940の1つ若しくは複数のアプリケーション942をサポートするためにフレームワークを含み得る。ソフトウェア932又はアプリケーション942は、ウェブベースのサービス・ソフトウェア又はアプリケーション、たとえば、アマゾン・ウェブ・サービス、グーグル・クラウド及びMicrosoft Azureによって提供されるもの、をそれぞれ含み得る。フレームワーク層920は、大規模データ処理(たとえば、「ビッグ・データ」)のための分散型ファイル・システム938を使用し得るApache Spark(商標)(以下「Spark」)などのフリー及びオープン・ソース・ソフトウェア・ウェブ・アプリケーション・フレームワークのタイプでもよいが、これに限定されない。少なくとも1つの実施例において、ジョブ・スケジューラ932は、データ・センタ900の様々な層によってサポートされるワークロードのスケジューリングを容易にするために、Sparkドライバを含み得る。構成マネージャ934は、異なる層、たとえば、ソフトウェア層930と、大規模データ処理をサポートするためのSpark及び分散型ファイル・システム938を含むフレームワーク層920、を構成する能力を有し得る。資源マネージャ936は、分散型ファイル・システム938及びジョブ・スケジューラ932のサポートのためにマップされた又は割り当てられたクラスタ化された又はグループ化された計算資源を管理する能力を有し得る。少なくとも1つの実施例において、クラスタ化された又はグループ化された計算資源は、データ・センタ・インフラストラクチャ層910にグループ化された計算資源914を含み得る。資源マネージャ1036は、資源オーケストレータ912と調整して、これらのマップされた又は割り当てられた計算資源を管理することができる。
少なくとも1つの実施例において、ソフトウェア層930に含まれるソフトウェア932は、ノードC.R.916(1)~916(N)の少なくとも部分、グループ化された計算資源914、及び/又はフレームワーク層920の分散型ファイル・システム938によって使用されるソフトウェアを含み得る。1つ又は複数のタイプのソフトウェアは、インターネット・ウェブ・ページ検索ソフトウェア、電子メール・ウイルス・スキャン・ソフトウェア、データベース・ソフトウェア、及びストリーミング・ビデオ・コンテンツ・ソフトウェアを含み得るが、これらに限定されない。
少なくとも1つの実施例において、アプリケーション層940に含まれるアプリケーション942は、ノードC.R.916(1)~916(N)の少なくとも部分、グループ化された計算資源914、及び/又はフレームワーク層920の分散型ファイル・システム938によって使用される1つ又は複数のタイプのアプリケーションを含み得る。1つ又は複数のタイプのアプリケーションは、任意の数のゲノミクス・アプリケーション、認知計算、並びに、トレーニング若しくは推論ソフトウェア、マシン学習フレームワーク・ソフトウェア(たとえば、PyTorch、TensorFlow、Caffeなど)、及び/又は1つ若しくは複数の実施例と併せて使用される他のマシン学習アプリケーションを含む、マシン学習アプリケーションを含み得るが、これらに限定されない。
少なくとも1つの実施例において、構成マネージャ934、資源マネージャ936、及び資源オーケストレータ912のうちのいずれかは、任意の技術的に可能な方式で取得される任意の量及びタイプのデータに基づいて任意の数及びタイプの自己書換え型アクションを実装することができる。自己書換え型アクションは、よくない可能性のある構成決定を行うこと並びにデータ・センタの十分に活用されていない及び/又は実行の不十分な部分を恐らく回避することからデータ・センタ900のデータ・センタ・オペレータを解放し得る。
データ・センタ900は、1つ又は複数のマシン学習モデルをトレーニングする或いは本明細書に記載の1つ又は複数の実施例による1つ又は複数のマシン学習モデルを使用して情報を予測する又は推論するために、ツール、サービス、ソフトウェア或いは他の資源を含み得る。たとえば、マシン学習モデルは、データ・センタ900に関して前述されたソフトウェア及び/又は計算資源を使用するニューラル・ネットワーク・アーキテクチャによる重量パラメータの計算によって、トレーニングされ得る。少なくとも1つの実施例において、1つ又は複数のニューラル・ネットワークに対応するトレーニングされた又は配備されたマシン学習モデルは、たとえば、本明細書に記載のものに限定されない、1つ又は複数のトレーニング技法を介して計算された重量パラメータを使用することによって、データ・センタ900に関して前述された資源を使用して情報を推論又は予測するために使用され得る。
少なくとも1つの実施例において、データ・センタ900は、前述の資源を使用するトレーニング及び/又は推論の実行のために、CPU、特定用途向け集積回路(ASIC)、GPU、FPGA、及び/又は他のハードウェア(若しくはそれに対応する仮想計算資源)を使用することができる。さらに、前述の1つ又は複数のソフトウェア及び/又はハードウェア資源は、情報の推論をユーザがトレーニング又は実行することを可能にするためのサービス、たとえば、画像認識、音声認識、又は他の人工知能サービス、として構成され得る。
例示的ネットワーク環境
本開示の実施例の実装において使用するのに適したネットワーク環境は、1つ若しくは複数のクライアント・デバイス、サーバ、ネットワーク接続型ストレージ(NAS:network attached storage)、他のバックエンド・デバイス、及び/又は他のデバイス・タイプを含み得る。クライアント・デバイス、サーバ、及び/又は他のデバイス・タイプ(たとえば、各デバイス)は、図8の計算デバイス800の1つ又は複数のインスタンスで実装され得、たとえば、各デバイスは、計算デバイス800の類似の構成要素、特徴、及び/又は機能性を含み得る。加えて、バックエンド・デバイス(たとえば、サーバ、NASなど)が、実装される場合、バックエンド・デバイスは、データ・センタ900の一部として含まれ得、その実例は、図9に関して本明細書でさらに詳述される。
本開示の実施例の実装において使用するのに適したネットワーク環境は、1つ若しくは複数のクライアント・デバイス、サーバ、ネットワーク接続型ストレージ(NAS:network attached storage)、他のバックエンド・デバイス、及び/又は他のデバイス・タイプを含み得る。クライアント・デバイス、サーバ、及び/又は他のデバイス・タイプ(たとえば、各デバイス)は、図8の計算デバイス800の1つ又は複数のインスタンスで実装され得、たとえば、各デバイスは、計算デバイス800の類似の構成要素、特徴、及び/又は機能性を含み得る。加えて、バックエンド・デバイス(たとえば、サーバ、NASなど)が、実装される場合、バックエンド・デバイスは、データ・センタ900の一部として含まれ得、その実例は、図9に関して本明細書でさらに詳述される。
ネットワーク環境の構成要素は、ワイヤード、ワイヤレス、又はその両方でもよい、ネットワークを介して互いに通信し得る。ネットワークは、複数のネットワーク、又はネットワークのネットワークを含み得る。実例として、ネットワークは、1つ若しくは複数のワイド・エリア・ネットワーク(WAN)、1つ若しくは複数のローカル・エリア・ネットワーク(LAN)、1つ若しくは複数のパブリック・ネットワーク、たとえば、インターネット及び/若しくは公衆交換電話網(PSTN)、並びに/又は1つ若しくは複数のプライベート・ネットワークを含み得る。ネットワークが、ワイヤレス電気通信ネットワークを含む場合、構成要素、たとえば、基地局、通信塔、或いはアクセス・ポイント(並びに他の構成要素)、は、ワイヤレス接続を提供し得る。
互換性のあるネットワーク環境は、1つ又は複数のピア・ツー・ピア・ネットワーク環境(その場合、サーバはネットワーク環境に含まれないことがある)と、1つ又は複数のクライアント・サーバ・ネットワーク環境(その場合、1つ又は複数のサーバがネットワーク環境に含まれ得る)とを含み得る。ピア・ツー・ピア・ネットワーク環境では、サーバに関して本明細書に記載した機能性は、任意の数のクライアント・デバイスで実装され得る。
少なくとも1つの実施例において、ネットワーク環境は、1つ又は複数のクラウドベースのネットワーク環境、分散型計算環境、その組合せなどを含み得る。クラウドベースのネットワーク環境は、フレームワーク層、ジョブ・スケジューラ、資源マネージャ、並びに、1つ若しくは複数のコア・ネットワーク・サーバ及び/又はエッジ・サーバを含み得る、サーバのうちの1つ又は複数で実装された分散型ファイル・システムを含み得る。フレームワーク層は、ソフトウェア層のソフトウェア及び/又はアプリケーション層の1つ若しくは複数のアプリケーションをサポートするために、フレームワークを含み得る。ソフトウェア又はアプリケーションは、それぞれ、ウェブベースのサービス・ソフトウェア又はアプリケーションを含み得る。実施例において、クライアント・デバイスのうちの1つ又は複数は、ウェブベースのサービス・ソフトウェア又はアプリケーションを使用し得る(たとえば、1つ又は複数のアプリケーション・プログラミング・インターフェース(API)を介してサービス・ソフトウェア及び/又はアプリケーションにアクセスすることによって)。フレームワーク層は、たとえば大規模データ処理(たとえば、「ビッグ・データ」)のための分散型ファイル・システムを使用し得る、フリー及びオープン・ソース・ソフトウェア・ウェブ・アプリケーション・フレームワークのタイプでもよいが、これに限定されない。
クラウドベースのネットワーク環境は、本明細書に記載の計算及び/又はデータ・ストレージ機能(又は1つ若しくは複数のその部分)の任意の組合せを実施するクラウド計算及び/又はクラウド・ストレージを提供し得る。これらの様々な機能のいずれも、セントラル又はコア・サーバ(たとえば、州、領域、国、世界にわたって分散され得る1つ又は複数のデータ・センタなどの)から複数の場所に分散され得る。ユーザ(たとえば、クライアント・デバイス)への接続が、エッジ・サーバに比較的近い場合、コア・サーバは、機能性の少なくとも一部分をエッジ・サーバに任じ得る。クラウドベースのネットワーク環境は、プライベート(たとえば、単一の組織に制限される)でもよく、パブリック(たとえば、多数の組織に利用可能)、及び/又はその組合せ(たとえば、ハイブリッド・クラウド環境)でもよい。
クライアント・デバイスは、図8に関して本明細書に記載の例示的計算デバイス800の構成要素、特徴、及び機能性のうちの少なくともいくつかを含み得る。実例として、及び制限ではなく、クライアント・デバイスは、パーソナル・コンピュータ(PC)、ラップトップ・コンピュータ、モバイル・デバイス、スマートフォン、タブレット・コンピュータ、スマート・ウォッチ、ウェアラブル・コンピュータ、パーソナル・デジタル・アシスタント(PDA)、MP3プレイヤ、仮想現実ヘッドセット、全地球測位システム(GPS)又はデバイス、ビデオ・プレイヤ、ビデオカメラ、監視デバイス又はシステム、車両、ボート、飛行船、仮想マシン、ドローン、ロボット、ハンドヘルド通信デバイス、病院デバイス、ゲーミング・デバイス又はシステム、娯楽システム、車両コンピュータ・システム、組み込み型システム・コントローラ、リモート制御、器具、民生用電子デバイス、ワークステーション、エッジ・デバイス、これらの描写されたデバイスの任意の組合せ、或いは任意の他の適切なデバイスとして実施され得る。
本開示は、コンピュータ又は、携帯情報端末若しくは他のハンドヘルド・デバイスなどの、他のマシンによって実行されている、プログラム・モジュールなどのコンピュータ実行可能命令を含む、コンピュータ・コード又はマシン使用可能命令との一般的関連において説明されることがある。一般に、ルーティン、プログラム、オブジェクト、構成要素、データ構造体などを含むプログラム・モジュールは、特定のタスクを実行する又は特定の抽象データ・タイプを実装するコードを指す。本開示は、ハンドヘルド・デバイス、家電製品、汎用コンピュータ、より特殊な計算デバイスなどを含む、様々な構成で実施され得る。本開示はまた、通信ネットワークを介してリンクされた遠隔処理デバイスによってタスクが実行される分散型コンピューティング環境において実施され得る。
本明細書では、2個以上の要素に関する「及び/又は」の記述は、1つの要素のみ、又は要素の組合せを意味すると解釈されるべきである。たとえば、「要素A、要素B、及び/又は要素C」は、要素Aのみ、要素Bのみ、要素Cのみ、要素A及び要素B、要素A及び要素C、要素B及び要素C、或いは、要素A、B、及びCを含み得る。加えて、「要素A又は要素Bのうちの少なくとも1つ」は、要素Aの少なくとも1つ、要素Bの少なくとも1つ、或いは、要素Aの少なくとも1つ及び要素Bの少なくとも1つを含み得る。さらに、「要素A及び要素Bのうちの少なくとも1つ」は、要素Aのうちの少なくとも1つ、要素Bのうちの少なくとも1つ、或いは、要素Aのうちの少なくとも1つ及び要素Bのうちの少なくとも1つを含み得る。
本開示の主題は、法定の要件を満たすために特異性を有して記述されている。しかしながら、その記述自体が本開示の範囲を制限することは意図されていない。そうではなくて、本発明者は、請求されている主題が、他の現在の又は未来の技術と併せて、異なるステップ又は本文書に記載されたものと類似のステップの組合せを含むように、他の形で実施され得ることを意図している。さらに、「ステップ」及び/又は「ブロック」という用語は、使用される方法の異なる要素を含意するように本明細書で使用され得るが、これらの用語は、個別のステップの順番が明示的に記載されていない限り及びそのように記載されているときを除いて本明細書で開示される様々なステップの間に何らかの特定の順番を暗示するものとして解釈されるべきではない。
Claims (20)
- 配備環境の特徴のセットに少なくとも基づいて、視標追跡モデルのためのトレーニング・データ又は1つ若しくは複数の構成要素のうちの少なくとも1つを含む、第1のデータのサブセットを選択するステップと、
前記配備環境に対してカスタマイズされた適合視標追跡モデルとして前記視標追跡モデルの少なくとも一部を、前記第1のデータのサブセットを使用して再トレーニングするステップと、
前記適合視標追跡モデルを前記配備環境に配備する第2のデータを伝送するステップと
を含む、方法。 - 前記第1のデータのサブセットを選択するステップが、前記配備環境の前記特徴のセットに関連付けられたサラウンド・シーン・データに少なくとも基づき、前記サラウンド・シーン・データが、複数のセンサを使用したサラウンド・シーン・データ収集中に検索されたデータのカテゴリを表す、請求項1に記載の方法。
- 前記第1のデータのサブセットが、1つ又は複数のベンチ・セットアップ及び1つ又は複数の車両内セットアップのそれぞれからのデータのカテゴリに対応する前記トレーニング・データを含む、請求項1に記載の方法。
- 前記第1のデータのサブセットが、前記配備環境の前記特徴のセットの1つ又は複数に対応する前記トレーニング・データを含む、請求項1に記載の方法。
- 前記視標追跡モデルが、複数の視標追跡変形モデルの第1の変形モデルを備え、前記複数の視標追跡変形モデルが、
正規化された凝視データを、カメラからの凝視データの軸を前記凝視データ内に描写された顔又は目に整列させることに少なくとも基づいて生成するステップと、
前記正規化された凝視データのタグ付けされた凝視特徴を決定するステップであって、前記タグ付けされた凝視特徴が、対応するカメラ空間内の凝視ベクトル又は注視点の1つ又は複数に対応する、ステップと、
前記タグ付けされた凝視特徴の第1のサブセットを使用して前記複数の視標追跡変形モデルの前記第1の変形モデルを、及び前記タグ付けされた凝視特徴の第2のサブセットを使用して前記複数の視標追跡変形モデルの第2の変形モデルをトレーニングするステップと
に少なくとも基づいて生成される、請求項1に記載の方法。 - 前記視標追跡モデルが、前記第1のデータの視標追跡変形モデルのサブセットを備え、前記選択するステップが、前記配備環境の前記特徴のセットに対応するフェイス・ランドマーク・ニューラル・ネットワーク基準に少なくとも基づいて、前記視標追跡変形モデルから前記サブセットを選択するステップを含む、請求項1に記載の方法。
- 前記配備環境の前記特徴のセットが、空間構成特徴のセット、DNN基本設定構成特徴のセット、又は凝視タイプ構成特徴のセットのうちの1つ又は複数を含む、請求項1に記載の方法。
- 前記第1のデータの前記サブセットが、前記トレーニング・データを含み、前記特徴のセットが、前記配備環境に関連付けられた凝視角度範囲のしるしを含み、前記選択するステップが、前記凝視角度範囲に対応する前記トレーニング・データの1つ又は複数の部分を識別することに少なくとも基づく、請求項1に記載の方法。
- 前記適合視標追跡モデルが、第1の適合視標追跡モデルを備え、前記方法が、
前記適合視標追跡モデルのためのフィードバック・データを受信するステップであって、前記フィードバック・データが、前記配備環境に対応する、ステップと、
前記フィードバック・データを使用して前記第1の適合視標追跡モデルを再トレーニングすることに少なくとも基づいて、第2の適合視標追跡モデルを生成するステップと、
前記第2の適合視標追跡モデルを前記配備環境に配備する第3のデータを伝送するステップと
をさらに含む、請求項1に記載の方法。 - 前記視標追跡モデルが、第1の視標追跡モデルを備え、前記第1のデータのサブセットが、前記第1のデータの第1のサブセットを含み、前記方法が、
第2の配備環境に対応する前記第1のデータの第2のサブセットを選択するステップと、
第2の視標追跡モデルの1つ又は複数の部分を再トレーニングすることに少なくとも基づいて、前記第2の配備環境に適合された第2の適合視標追跡モデルを、前記第1のデータの前記第2のサブセットを使用して生成するステップと、
前記第2の適合視標追跡モデルを前記第2の配備環境に配備する第3のデータを伝送するステップと
をさらに含む、請求項1に記載の方法。 - 前記配備環境が、第1の車両タイプに関連付けられ、前記第2の配備環境が、第2の車両タイプに関連付けられる、請求項10に記載の方法。
- 配備環境の特徴のセットに対応し、且つ視標追跡モデルのためのトレーニング・データ又は1つ若しくは複数の構成要素のうちの少なくとも1つを含む、第1のデータのサブセットを識別し、
前記配備環境に対してカスタマイズされた適合視標追跡モデルとして前記視標追跡モデルの少なくとも一部を、前記第1のデータのサブセットを使用して再トレーニングし、
前記適合視標追跡モデルを前記配備環境に配備する第2のデータを伝送する
ための1つ又は複数の回路を備えるプロセッサ。 - 前記プロセッサが、
自律若しくは半自律マシンのための制御システム、
自律若しくは半自律マシンのための知覚システム、
シミュレーション動作を実施するためのシステム、
深層学習動作を実施するためのシステム、
エッジ・デバイスを使用して実装されるシステム、
ロボットを使用して実装されるシステム、
1つ若しくは複数の仮想マシン(VM)を組み込むシステム、
データ・センタに少なくとも部分的に実装されるシステム、又は
クラウド計算資源を使用して少なくとも部分的に実装されるシステム
の少なくとも1つに含まれる、請求項12に記載のプロセッサ。 - 前記第1のデータのサブセットの識別が、前記配備環境に関連付けられた凝視角度範囲に少なくとも基づく、請求項12に記載のプロセッサ。
- 前記視標追跡モデルが、前記配備環境の前記特徴のセットに少なくとも基づく前記第1のデータの複数の視標追跡変形モデルのサブセットを含む、請求項12に記載のプロセッサ。
- 前記適合視標追跡モデルが、第1の適合視標追跡モデルを備え、前記1つ又は複数の回路が、さらに、
前記第1の適合視標追跡モデルのためのフィードバック・データであって、前記配備環境に対応するフィードバック・データを受信し、
前記フィードバック・データを使用して前記第1の適合視標追跡モデルを再トレーニングすることに少なくとも基づいて、第2の適合視標追跡モデルを生成し、
前記第2の適合視標追跡モデルを前記配備環境に配備する第3のデータを伝送する、請求項12に記載のプロセッサ。 - 1つ又は複数の処理デバイスと、前記1つ又は複数の処理デバイスによって実行される場合に、前記1つ又は複数の処理デバイスによる動作の実施を引き起こすプログラム命令を格納する、前記1つ又は複数の処理デバイスに通信連結された1つ又は複数のメモリ・デバイスとを備え、前記動作が、
配備環境の特徴のセットに対応する第1のデータを提供するステップと、
前記配備環境の前記特徴のセットに少なくとも基づいて、視標追跡モデルのためのトレーニング・データ又は1つ若しくは複数の構成要素のうちの少なくとも1つを含む、第1のデータのサブセットを選択することに少なくとも基づいて決定された適合視標追跡モデルを受信し、前記配備環境に対してカスタマイズされた適合視標追跡モデルとして前記視標追跡モデルの少なくとも一部を、前記第1のデータのサブセットを使用して再トレーニングするステップと、
前記適合視標追跡モデルを前記配備環境に配備する第2のデータを伝送するステップと
を含む、システム。 - 前記第1のデータが、前記配備環境に関連付けられた車両内セットアップから提供される、請求項17に記載のシステム。
- 前記第1のデータが、前記配備環境に関連付けられたベンチ・セットアップから提供される、請求項17に記載のシステム。
- 前記適合視標追跡モデルが、第1の適合視標追跡モデルを備え、前記動作が、
前記第1の適合視標追跡モデルにフィードバック・データを提供するステップであって、前記フィードバック・データが、前記配備環境に対応する、ステップと、
前記フィードバック・データを使用して前記第1の適合視標追跡モデルを再トレーニングすることに少なくとも基づいて生成された第2の適合視標追跡モデルを受信するステップと、
前記第2の適合視標追跡モデルを前記配備環境に配備する第3のデータを伝送するステップと
をさらに含む、請求項17に記載のシステム。
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US17/319,891 US11704814B2 (en) | 2021-05-13 | 2021-05-13 | Adaptive eye tracking machine learning model engine |
US17/319,891 | 2021-05-13 |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2022176081A true JP2022176081A (ja) | 2022-11-25 |
Family
ID=83806191
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2022039787A Pending JP2022176081A (ja) | 2021-05-13 | 2022-03-15 | 適応視標追跡機械学習モデル・エンジン |
Country Status (4)
Country | Link |
---|---|
US (1) | US11704814B2 (ja) |
JP (1) | JP2022176081A (ja) |
CN (1) | CN115344117A (ja) |
DE (1) | DE102022111322A1 (ja) |
Families Citing this family (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113537295B (zh) * | 2021-06-22 | 2023-10-24 | 北京航空航天大学 | 基于离群点引导的视线估计跨场景适配方法和装置 |
US11830259B2 (en) * | 2021-08-24 | 2023-11-28 | Nvidia Corporation | Robust state estimation |
GB2626136A (en) * | 2023-01-10 | 2024-07-17 | Mercedes Benz Group Ag | System and method for estimation of eye gaze direction of a user with or without eyeglasses |
CN117809358B (zh) * | 2023-12-26 | 2024-07-05 | 北京极溯光学科技有限公司 | 一种眼球自转角度的确定方法、装置、设备及存储介质 |
Family Cites Families (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US8581647B2 (en) | 2011-11-10 | 2013-11-12 | Qualcomm Incorporated | System and method of stabilizing charge pump node voltage levels |
JP2016201609A (ja) | 2015-04-08 | 2016-12-01 | 日本電気通信システム株式会社 | 加入者端末装置、通信サービス提供システム、通信制御方法、及び、通信制御プログラム |
US10885698B2 (en) | 2018-08-10 | 2021-01-05 | Nvidia Corporation | Method for programmable timeouts of tree traversal mechanisms in hardware |
US11400944B2 (en) * | 2019-01-04 | 2022-08-02 | Byton North America Corporation | Detecting and diagnosing anomalous driving behavior using driving behavior models |
CN110058694B (zh) * | 2019-04-24 | 2022-03-25 | 腾讯科技(深圳)有限公司 | 视线追踪模型训练的方法、视线追踪的方法及装置 |
-
2021
- 2021-05-13 US US17/319,891 patent/US11704814B2/en active Active
-
2022
- 2022-03-15 JP JP2022039787A patent/JP2022176081A/ja active Pending
- 2022-04-14 CN CN202210394602.4A patent/CN115344117A/zh active Pending
- 2022-05-06 DE DE102022111322.1A patent/DE102022111322A1/de active Pending
Also Published As
Publication number | Publication date |
---|---|
US11704814B2 (en) | 2023-07-18 |
CN115344117A (zh) | 2022-11-15 |
DE102022111322A1 (de) | 2022-11-17 |
US20220366568A1 (en) | 2022-11-17 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11841458B2 (en) | Domain restriction of neural networks through synthetic data pre-training | |
US11657263B2 (en) | Neural network based determination of gaze direction using spatial models | |
JP2022536030A (ja) | ビデオ分析アプリケーションにおける相関フィルタを使用した複数物体追跡 | |
US11841987B2 (en) | Gaze determination using glare as input | |
CN114155272A (zh) | 自主机器应用中的自适应目标跟踪算法 | |
CN114332907A (zh) | 包括使用神经网络进行鲁棒预测的背景修改的数据增强 | |
US11704814B2 (en) | Adaptive eye tracking machine learning model engine | |
JP2023031237A (ja) | 自律マシン・アプリケーションのためのLiDARデータを使用する物体追跡 | |
US20230110713A1 (en) | Training configuration-agnostic machine learning models using synthetic data for autonomous machine applications | |
US20230351807A1 (en) | Data set generation and augmentation for machine learning models | |
US11886634B2 (en) | Personalized calibration functions for user gaze detection in autonomous driving applications | |
US20220277193A1 (en) | Ground truth data generation for deep neural network perception in autonomous driving applications | |
US20230341235A1 (en) | Automatic graphical content recognition for vehicle applications | |
JP2023051713A (ja) | 自律マシン・アプリケーションにおける深層学習を使用する視認距離推定 | |
JP2023131069A (ja) | 自律システム及びアプリケーションのためのニューラル・ネットワークを使用したマップ情報の物体データ・キュレーション | |
US20220340149A1 (en) | End-to-end evaluation of perception systems for autonomous systems and applications | |
JP2023021910A (ja) | 自律マシン・アプリケーションにおける距離画像マッピングのための信念伝搬 | |
JP2022104773A (ja) | 拘束デバイスのローカリゼーション | |
US20230298361A1 (en) | Image to world space transformation for ground-truth generation in autonomous systems and applications | |
JP2023071168A (ja) | 自律マシン・アプリケーションのための粒子ベース危険検出 | |
JP2023087616A (ja) | 自律システム及びアプリケーションのための画像コントラスト分析を使用した眩しさ軽減 | |
JP2022117916A (ja) | 自律マシン・アプリケーションのための配備されたディープ・ニューラル・ネットワークのパッチ | |
US20240087561A1 (en) | Using scene-aware context for conversational ai systems and applications | |
US20240161341A1 (en) | Sensor calibration for autonomous systems and applications | |
US20240022601A1 (en) | Detecting identity spoofing attacks in multi-sensor systems and applications |