JP2020509466A - 完全な畳み込みアーキテクチャを使用する運転者の視覚的注意のための計算フレームワークのシステム及び方法 - Google Patents

Abstract

運転シーンの１つ以上の対象の顕著性を推定するためのシステム及び方法が提供される。一部の態様では、システムは、運転シーンの１つ以上の対象の顕著性を推定するためのプロセスを実行するための命令を記憶するメモリを含む。システムは、命令を実行するように構成されたプロセッサを更に含む。様々な態様では、プロセスは、運転者の視覚的注意をモデル化するために、ベイズフレームワークを生成することを含み、ベイズフレームワークは、ボトムアップ顕著性要素及びトップダウン顕著性要素を含む。様々な態様では、プロセスはまた、運転シーン内の１つ以上の対象の視覚的顕著性モデルを生成するために、ベイズフレームワークに基づいて、完全な畳み込みニューラルネットワークを生成することを含む。更なる態様では、プロセスは、運転者の注意を引き付ける特徴を示すために、視覚的顕著性モデルを出力することを含む。【選択図】図１

Description

（関連出願への相互参照）
本開示は、２０１７年２月６日に出願された仮出願第６２／４５５，３２８号に対する優先権を主張する、２０１７年５月３０日に出願された米国特許出願第１５／６０８，５２３号に対する優先権を主張するものであり、各出願の内容の全体が、本明細書に組み込まれる。

（発明の分野）
本明細書における主題は、運転シーンにおける顕著性を推定するための方法及びシステムに関する。

複雑な運転環境内で交通参加者と相互作用することは、困難かつ重要なタスクである。人間の視覚システムは、このタスクを達成する役割を果たすことができる。具体的には、視覚的注意機構により、人間の運転者が、シーンの顕著な及び関連する領域に注目して、運転の決定を行うことを可能にし得る。調査的な人間の視覚システムは、支援及び自律的車両技術を改善することができる。

人間の運転者の最も複雑な能力の中でも、複雑な運転環境において交通参加者をシームレスに知覚して、交通参加者と相互作用する運転者の能力であり得る。人間の視覚は、シーンの理解及び最終的には好適な車両制御挙動につながる環境を知覚する役割を果たし得る。運転者は、最も重要かつ顕著な領域又は物体に注意を向けることができる。しかしながら、今日まで、複雑な交通運転環境において、運転者の注視挙動を正確に模倣し、顕著性を推定することができる計算フレームワークは存在しない。それにもかかわらず、特定の運転環境において顕著な及び関連する領域又は対象を計算する交通顕著性検出は、インテリジェントな車両システムの重要な構成要素であり得、自律運転、交通標識検出、運転トレーニング、衝突警告及び他のタスクをサポートするのに有用であり得る。

視覚的注意は、一般に、視野の重要な及び関連する領域を選択して、後続の複雑な処理（例えば、物体認識）をリアルタイムで可能にする機構を指す。視覚的注意のモデル化は研究されているけれども、既存の理論モデル及び計算モデルは、眼球の動き（例えば、固定／サッカード）を説明することを試みているが、それらは、ボトムアップ機構及びトップダウン機構のいくつかの組み合わせによって複雑に従来誘導される人間の注視挙動を依然として確実に模倣することはできない。ボトムアップキューは、外部刺激によって影響され得、主に、画像ベースの誘目性などの視覚的シーンの特性に基づくものであり、一方で、トップダウンキューは、他の因子の中でも、タスク、知識、メモリ、及び予想が、関連する／情報的なシーン領域に向かう注視を誘導するという目標指向的である。

ボトムアップアプローチは、それらの隣接する背景から目立つ視野内のいくつかの部分又はイベントを直感的に特徴付けることができる。例えば、運転場面では、自動車の点滅するインジケータなどの再帰反射性の交通標識又はイベント、テールブレーキ光の開始などの、高い相対コントラストに起因して背景に飛び出してしまう物体は、顕著なものであり得る。一方で、トップダウンアプローチは、タスク主導又は目標指向的である。例えば、対象は、異なるタスクの下で同じシーンを観察すること（例えば、同じシーンの異なる態様を分析すること）を求められ得、眼球の動き及び固定の相当な差が、実行される特定のタスクに基づいて見出され得る。これにより、異なるタスクが異なるアルゴリズムを必要とし得る故に、トップダウン注意のモデル化を概念的に困難にさせる。

運転は、一般に、経時的に発生する異なるトップダウン因子が注視挙動を支配する際に非常に能動的な役割を果たす複雑な動的環境において、行われる。操縦（例えば、左／右へ曲がること、次の出口から退出することなど）の計画、交通法の知識、所与の位置における他の道路参加者の発見の予想などの因子は、ボトムアップイベントと競合し得、注視挙動に大きく影響を及ぼし得る。

本概要は、発明を実施するための形態において以下に更に記載される簡略化された形態で概念の選択を導入するために提供される。本概要は、特許請求される主題の重要な特徴を特定することを意図するものでもなく、特許請求される主題の範囲を決定する際の補助として使用されることを意図するものでもない。

本開示は、視覚的注意を理解するために、運転者の注視挙動を対象とする。本開示の態様によれば、人間の運転者の視覚的注意をモデル化するためのベイズフレームワークが提示される。更に、ベイズフレームワークに基づいて、完全な畳み込みニューラルネットワークを開発して、新規な運転シーンにおける顕著な領域を推定することができる。本開示の更なる態様によれば、運転者の注意を引き付けるシーン内の領域を調査することができ、ここでは、運転者の注視は、注意の領域を提供し、不注意に目が見えないこと、見ていたが見えていなかった等の心理的影響を残す。このようにして、現実世界の運転シーンにおける運転者の眼球固定が予測され得る。この目的のために、ベイズフレームワークを使用して、運転者の視覚的注意をモデル化することができ、完全な畳み込みニューラルネットワークを開発して、注視固定を予測し、路上運転データを使用してシステムの性能を評価することができる。

様々な態様では、本開示は、ベイズフレームワークを使用して、運転者の視覚的注意をモデル化する際に、タスク依存のトップダウン及びボトムアップ因子を組み込むことができる。例えば、視覚的顕著性は、完全な畳み込みニューラルネットワークを使用してモデル化されて、運転者の注視固定を予測することができ、徹底的な評価及び比較試験が、路上運転データを使用して実行され得、車両状態から推測されるように異なる「タスク」のトップダウン影響を評価することができる。

本開示の態様に特徴的であると考えられる新規な特徴は、添付の特許請求の範囲に規定される。以下の説明において、同様の部分は、それぞれ同一の数字を用いて、明細書及び図面全体を通して記される。図面は必ずしも縮尺どおりに描画されておらず、明確性及び簡潔さのために、特定の図面は、誇張された又は一般化された形態で示され得る。しかしながら、本開示自体、並びに好ましい使用形態、その更なる目的及び進歩は、添付図面と併せて読むと、本開示の例示的な態様の以下の発明を実施するための形態を参照することによって、最も良く理解されるであろう。

本開示の態様によるデータ取得システムの例示的な動作環境の概略図を示す。 データ取得システムを管理するための例示的なネットワークを示す。 本開示の態様による視覚システムを示す。 本開示の態様による、学習された事前位置の画像を示す。 本開示の態様による、注視分布の画像を示す。 本開示の態様による、注視分布の画像を示す。 本開示の態様による、注視分布の画像を示す。 本開示の態様による、顕著性スコア対速度を実証するグラフを示す。 本開示の態様による、ヨーレートに基づく試験シーケンスの事前位置の影響の結果を実証するグラフを示す。 本開示の態様による、他の方法と共に本開示のシステム及び方法の定性的結果を示す。 本開示の態様と共に使用するための例示的なコンピュータシステムの様々な特徴を示す。 本開示の態様による、顕著性モデルを生成するフローチャート方法を示す。

以下は、本明細書で用いられる選択された用語の定義を含む。定義は、用語の範囲内に含まれかつ実装に使用され得る構成要素の様々な実施例及び／又は形態を含む。実施例は、限定することを意図するものではない。

本明細書で使用するとき、「プロセッサ」は、信号を処理し、一般的な演算及び算術機能を実行する。プロセッサによって処理される信号は、デジタル信号、データ信号、コンピュータ命令、プロセッサ命令、メッセージ、ビット、ビットストリーム又は受信、送信、及び／又は検出され得る他の演算を含んでもよい。

本明細書で使用するとき、「バス」は、単一又は複数のシステム内のコンピュータ構成要素間でデータを転送するように動作可能に接続された相互接続されたアーキテクチャを指す。バスは、とりわけ、メモリバス、メモリコントローラ、周辺バス、外部バス、クロスバースイッチ、及び／又はローカルバスとすることができる。バスはまた、とりわけ、コントローラエリアネットワーク（ＣＡＮ）、ローカル相互接続ネットワーク（ＬＩＮ）などのプロトコルを使用して車両内部の構成要素を相互接続する車両バスであってもよい。

本明細書で使用するとき、「メモリ」は、揮発性メモリ及び／又は不揮発性メモリを含んでもよい。不揮発性メモリとしては、例えば、ＲＯＭ（読み取り専用メモリ）、ＰＲＯＭ（プログラム可能な読み取り専用メモリ）、ＥＰＲＯＭ（消去可能なＰＲＯＭ）、及びＥＥＰＲＯＭ（電気的に消去可能なＰＲＯＭ）を挙げることができる。揮発性メモリとしては、例えば、ＲＡＭ（ランダムアクセスメモリ）、シンクロナスＲＡＭ（ＳＲＡＭ）、ダイナミックＲＡＭ（ＤＲＡＭ）、シンクロナスＤＲＡＭ（ＳＤＲＡＭ）、ダブルデータレートＳＤＲＡＭ（ＤＤＲ ＳＤＲＡＭ）、及び／又はダイレクトＲＡＭバスＲＡＭ（ＤＲＲＡＭ）を挙げることができる。

本明細書で使用するとき、「動作可能な接続」としては、その接続によって実体が「動作可能に接続されている」接続を挙げることができ、信号、物理通信、及び／又は論理通信が送信及び／又は受信され得るものである。動作可能な接続としては、物理的インターフェース、データインターフェース、及び／又は電気インターフェースを挙げることができる。

本明細書で使用するとき、「車両」は、任意の形態のエネルギーによって電力供給される任意の移動車両を指す。車両は、人間の乗員又は積荷を運ぶことができる。「車両」という用語には、限定するものではないが、自動車、トラック、バン、ミニバン、ＳＵＶ、オートバイ、スクータ、ボート、水上バイク、及び航空機が含まれる。場合によっては、モータ車両は、１つ以上のエンジンを含む。

一般的に記載すると、本開示は、運転シーンにおける顕著性を推定するためのシステム及び方法を提供する。図１を参照すると、本開示の一態様による車両データ取得システム１１０の例示的な動作環境１００の概略図が提供される。車両データ取得システム１１０は、車両１０２内に存在してもよい。車両データ取得システム１１０の構成要素、並びに本明細書で考察される他のシステム、ハードウェアアーキテクチャ、及びソフトウェアアーキテクチャの構成要素は、様々な実装に組み合わされるか、省略されるか、又は編成されてもよい。

車両１０２は、一般的に、複数の車両システムを動作可能に制御する電子制御ユニット（ＥＣＵ）１１２を含むことができる。車両システムとしては、限定するものではないが、とりわけ、車両ＨＶＡＣシステム、車両オーディオシステム、車両ビデオシステム、車両インフォテインメントシステム、車両電話システムなどを含む、車両データ取得システム１１０が挙げられる。データ取得システム１１０は、前方カメラ又は他の画像捕捉デバイス（例えば、スキャナ）１２０、ルーフカメラ又は他の画像捕捉デバイス（例えば、スキャナ）１２１及び後方カメラ又は他の画像捕捉デバイス（例えば、スキャナ）１２２を含んでもよく、これはまた、ＥＣＵ１１２に接続されて、車両１０２の周囲の環境の画像を提供することができる。データ取得システム１１０はまた、前方カメラ１２０、ルーフカメラ１２１、後方カメラ１２２、ヘッドライト１２４、テールライト１２６、通信デバイス１３０、及び自動運転システム１３２と通信する、プロセッサ１１４及びメモリ１１６を含んでもよい。

ＥＣＵ１１２は、データを転送し、コマンドを送信し、車両システムと通信するための内部処理メモリ、インターフェース回路、及びバスラインを含んでもよい。ＥＣＵ１１２は、図示されていない内部プロセッサ及びメモリを含み得る。車両１０２はまた、車両データ取得システム１１０の様々な構成要素間でデータを内部的に送信するためのバスを含んでもよい。

車両１０２は、様々なプロトコルを利用して有線又は無線コンピュータ通信を提供するための通信デバイス１３０（例えば、無線モデム）を更に含んで、車両１０２内の特徴及びシステムに対して内部的に、更に外部デバイスに対して電子信号を送受信することができる。これらのプロトコルは、無線周波数（ＲＦ）通信（例えば、ＩＥＥＥ８０２．１１（Ｗｉ−Ｆｉ）、ＩＥＥＥ８０２．１５．１（Ｂｌｕｅｔｏｏｔｈ（登録商標）））、近距離通信システム（ＮＦＣ）（例えば、ＩＳＯ１３１５７）、ローカルエリアネットワーク（ＬＡＮ）、無線ワイドエリアネットワーク（ＷＷＡＮ）（例えば、セルラ）及び／又はポイントツーポイントシステムを利用する無線システムを含んでもよい。更に、車両１０２の通信デバイス１３０は、バス（例えば、ＣＡＮ又はＬＩＮプロトコルバス）を介して内部コンピュータ通信用に動作可能に接続されて、電子制御ユニット１１２と車両特徴及びシステムとの間のデータ入出力を容易にすることができる。一態様では、通信デバイス１３０は、車両間（Ｖ２Ｖ）通信用に構成されてもよい。例えば、Ｖ２Ｖ通信は、予約された周波数スペクトルでの無線通信を含み得る。別の実施例として、Ｖ２Ｖ通信は、Ｗｉ−Ｆｉ又はＢｌｕｅｔｏｏｔｈ（登録商標）を使用して設定された車両間のアドホックネットワークを含んでもよい。

車両１０２は、前方カメラ１２０、ルーフカメラ１２１、及び後方カメラ１２２を含んでもよい。前方カメラ１２０、ルーフカメラ１２１及び後方カメラ１２２の各々は、１つ以上の画像又は画像ストリームを捕捉することができるデジタルカメラであってもよく、又はスキャナなどの別の画像捕捉デバイスであってもよい。前方カメラ１２０は、車両１０２の真正面の環境の画像を捕捉するように構成されたダッシュボードカメラであってもよい。ルーフカメラ１２１は、車両１０２の正面の環境をより広く見るように構成されたカメラであってもよい。前方カメラ１２０、ルーフカメラ１２１及び／又は後方カメラ１２２はまた、他のシステムの中でも、車線保持支援システム、衝突警告システム又は完全自律運転システムを含み得る、自動運転システム１３２に画像を提供してもよい。

車両１０２は、車両上で使用される任意の従来のライトを含むことができる、ヘッドライト１２４及びテールライト１２６を含んでもよい。ヘッドライト１２４及びテールライト１２６は、様々な通知を提供するために、車両データ取得システム１１０及び／又はＥＣＵ１１２によって制御されてもよい。例えば、ヘッドライト１２４及びテールライト１２６は、車両１０２と並行して駐車された車両から識別子をスキャンするのを支援し得る。例えば、ヘッドライト１２４及び／又はテールライト１２６は、車両１０２の環境をスキャンする際に望ましい照明を提供するように作動又は制御されてもよい。ヘッドライト１２４及びテールライト１２６はまた、点滅によってリモートコマンド（例えば、移動要求）の確認応答などの情報を提供してもよい。

図２は、データ取得システム１１０を管理するための例示的なネットワーク２００を示す。ネットワーク２００は、複数のシステム間の通信を容易にする通信ネットワークであってもよい。例えば、ネットワーク２００は、インターネット又は別のインターネットプロトコル（ＩＰ）ベースのネットワークを含んでもよい。ネットワーク２００は、データ取得システム１１０がモバイルデバイス２１０、モバイルサービスプロバイダ２２０又は製造業者システム２３０と通信することを可能にし得る。

車両１０２内のデータ取得システム１１０は、通信デバイス１３０を介してネットワーク２００と通信することができる。データ取得１１０は、例えば、前方カメラ１２０、ルーフカメラ１２１、及び／又は後方カメラ１２２によって捕捉された画像を製造業者システム２３０に送信してもよい。データ取得システム１１０はまた、別の車両から又は製造業者システム２３０からの通知を受信してもよい。

製造業者システム２３０は、１つ以上の車両製造業者又はディーラに関連付けられた、下記の図９に関して示されるようなコンピュータシステムを含んでもよい。製造業者システム２３０は、前方カメラ１２０、ルーフカメラ１２１、及び／又は後方カメラ１２２によって収集されたデータを記憶する１つ以上のデータベースを含んでもよい。製造業者システム２３０はまた、車両１０２の運転シーンの１つ以上の対象の顕著性を推定するためのプロセスを実行するための命令を記憶するメモリと、その命令を実行するように構成されたプロセッサと、を含んでもよい。

本開示の態様によれば、製造業者システム２３０は、運転シーンの顕著性を判定するように構成され得る。一部の態様では、顕著性は、ｓ_ｚ＝ｐ（Ｏ＝１｜Ｆ＝ｆ_ｚ，Ｌ＝ｌ_ｚ）として表すことができ、式中、ｚは、運転者の視野内の点とすることができる。点は、シーンカメラフレーム内の画素であってもよく、ｆ_ｚ及びｌ_ｚは、点ｚの視覚的特徴及び位置（ｘ，ｙ）を表すことができ、Ｏは、２値変数とすることができ、この場合、Ｏ＝１は、運転に関連する物体／領域（対象とも称される）の存在を表すことができる。したがって、様々な態様では、点ｚにおける関連する対象の確率が高いほど、点ｚがより顕著になり得る。

運転は、一般に、異なる時点での異なるタスク、例えば、自動車追従、車線維持、曲がること、車線変更などを含む、高度に動的な環境で行われる。異なるタスクを念頭においた同じ運転シーンは、運転者の注視挙動に影響を及ぼす場合がある。異なるタスクに起因するそのような影響は、本開示の様々な態様に従ってモデル化され得る。例えば、一部の態様では、これらの影響は、以下の式（１）を使用して、製造業者システム２３０によってモデル化されてもよく、式中、Ｔは、全てのタスク、

の空間から描かれる離散ランダム変数とすることができる。

ベイズルールを使用して、式（１）の右辺の第１の成分（空間的な制約に起因してＳ_ｚ（Ｔ_ｉ）と略される）をより詳しく見る。

一部の態様では、特徴及び点ｚの位置が条件的に独立していると考えられるとき、式（２）は簡略化されてもよい。換言すれば、特徴の分布は、任意の所与のタスク中に対象上に出現するか否かにかかわらず、シーンにわたる位置で変化しない場合がある。したがって、式（２）は、以下の式（３）に示されるように、有意成分に分解されてもよく、簡略化のために、Ｏ＝１は、Ｏと略すことができる。

様々な態様では、式（３）の第１の成分は、対象に依存しないため、ボトムアップ顕著性と称され得る。一部の態様では、点ｚの特徴の確率が低くなるにつれて、より顕著な点ｚが生じ得る。換言すれば、希少な特徴は、顕著性であり得る。様々な態様では、式（３）の第２の成分は、対象及び関連する知識に依存し得、したがって、トップダウン顕著性と称され得る。したがって、一部の態様では、第２の成分の第１の部分は、対象において見出される特徴を促し得る。すなわち、重要な特徴は、顕著性であり得る。本開示の更なる態様では、第２の成分の第２の部分は、対象の予想位置の知識を符号化することができ、事前位置と称され得る。運転の観点からすれば、これは、運転者が、車線を変更しながら側方ミラーをチェックすること又は肩越しに見ることなどの、特定のタスクを実行している間に、シーンの特定の位置における関連する対象の事前予想を展開することを伴い得る。

様々な態様では、ｐ（ｆ_ｚ｜Ｔ_ｉ）及びｐ（ｆ_ｚ｜Ｏ，Ｔ_ｉ）におけるような高次元特徴分布を正確に学習することは困難であり得、したがって、式（３）における最初の２つの項は、以下のようにベイズルールを使用して再構成されてもよい。

本開示の態様では、式（４）の最後の項、ｐ（Ｏ｜Ｔ_ｉ）は、特定のタスクを与えられた対象クラスの事前確率とすることができ、均一である（例えば、一定値）と考えられ得る。

図３は、本開示の態様による製造業者システム２３０のアーキテクチャ３００を示す。様々な態様では、複数の第１の六面体３０５、複数の第２の六面体３１０、及び複数の第３の六面体３１５は、それぞれ、畳み込み層、プーリング層、及び逆畳み込み層を表すことができる。図３に示されるように、複数の第１の六面体３０５の各々に関連する数字は、複数の第１の六面体３０５の各々のカーネルサイズを順に示す。一部の態様では、複数の第２の六面体３１０の各々のカーネルサイズは、２×２であってもよい。更に、一部の態様では、複数の第１の六面体３０５及び複数の第２の六面体３１０、例えば、それぞれ、畳み込み層及びプーリング層の各々のストライドは、それぞれ、１及び２であってもよい。他の態様では、複数の第３の六面体３１５のうちの前方２つは、４×４×１のカーネルサイズ及び２のストライドであってもよく、複数の第３の六面体３１５のうちの最後の１つは、１６×１６×１のカーネルサイズ及び８のストライドであってもよい。したがって、本開示の様々な態様では、式（１）からの全体的な顕著性は、以下とすることができる。

式中、Ｚは、正規化因子とすることができる。様々な態様では、因子ｐ（Ｏ｜ｆ_ｚ，Ｔ_ｉ）及びｐ（Ｏ｜ｌ_ｚ，Ｔ_ｉ）は、運転データから学習され得る。例えば、ｐ（Ｏ｜ｆ_ｚ，Ｔ_ｉ）は、完全な畳み込みニューラルネットワークを使用してモデル化されてもよく、ｐ（Ｏ｜ｌ_ｚ，Ｔ_ｉ）は、各タスクの事前位置から学習され得る。

本開示の態様では、顕著な領域は、学習された事前分布に基づいて推定された重みを用いて、例えば、製造業者システム２３０によって、調整され得る。様々な態様では、モデル化ｐ（Ｏ｜ｆ_ｚ，Ｔ_ｉ）は、所与の「タスク」Ｔ_ｉにおける特徴ベクトルの重みに基づくことができ、対象クラス、すなわち、顕著性対象対非顕著性対象を区別することができる。一部の態様では、運転データについて、ある点におけるより長い固定が、運転者によってその点がより注意を受けるものとして解釈され得、したがって、より顕著とすることができる。したがって、顕著性は、画素ごとの回帰問題としてモデル化することができる。

更なる態様では、顕著性の局所的な誘目性特徴は、周囲の背景の分析を必要とする場合がある。換言すれば、局所的な特徴は、独立して分析されるのではなくて、周囲の特徴と関連して分析される。一部の態様では、これは、スキップ接続３２０．１、３２０．２（集合的にスキップ接続３２０）によって達成され得る。例えば、スキップ接続３２０．１は、複数の第２の六面体３１０のうちの第１のものを複数の第１の六面体３０５のうちの第１のものに接続することができ、スキップ接続３２０．２は、複数の第２の六面体３１０のうちの第２のものを複数の第１の六面体３０５のうちの第２のものに接続することができる。スキップ接続３２０は、早期の特徴応答が後期の特徴応答と直接相互作用することを可能にし得、これは、多くの場合、（例えば、中間最大プール層に起因する）より早期のマップのダウンサンプリングバージョンと連動し、したがって、同じ受容野サイズについて、元の入力フレーム内の画素の周囲のより大きな領域をカバーすることができる。

様々な態様では、顕著性データセットは、例えば、画像フレームの中央を中心とするガウスブロブを顕著性マップとして使用して、自由視野画像及びビデオフレームのための人間の眼球固定の強い中心バイアスを明らかにすることができる。運転データの観点から、運転者は、ほとんどの時間の前に注意を払うことができ、したがって、本開示の製造業者システム２３０は、些細な中心バイアス解の学習を回避するように構成されてもよい。

上記の基準に基づいて、一部の態様では、製造業者システム２３０は、畳み込みニューラルネットワーク（ＣＮＮ）、例えば、完全な畳み込みニューラルネットワーク（ＦＣＮ）を含んでもよい。一部の態様では、完全な畳み込みニューラルネットワークは、任意のサイズの入力を得ることができ、対応するサイズの出力を生成することができる。更に、（完全に接続されていない層を有する）完全な畳み込みネットワークは、その位置に関係なく同様に画像画素を処理することができる。すなわち、一部の態様では、完全な畳み込み層の受容野が、エッジ効果を引き起こすほど大きくない限り（例えば、受容野のサイズが入力層のサイズと同じ場合）、製造業者システム２３０の完全な畳み込みネットワークは、位置情報を利用する手法を持たない。

図４は、ヨーレートから推測されるように、異なる「タスク」について学習された事前位置を示す。すなわち、図４に示すように、上部及び下部列は、それぞれ、負のヨーレート（左へ曲がること）及び正のヨーレート（右へ曲がること）の影響を示す。加えて、図４は、ヨーレートの大きさが増加するにつれて、中心からシフトする事前位置を示す。本開示の様々な態様では、顕著性推定タスクは、画素ごとの回帰問題として考えられ得るので、製造業者システム２３０の完全な畳み込みネットワークは、そのような回帰問題に適合され得る。例えば、一部の態様では、例えば、スコア層を変更して、回帰のための単一チャネル顕著性スコア及び損失層を反映するなどの、わずかな修正を伴う、複数のスキップ接続を有するＦＣＮ−８（完全な畳み込みネットワーク）アーキテクチャが配備されてもよい。いくつかの予想において、損失関数に関して、Ｌ２損失Ｌは、以下のように定義することができる。

式中、Ｎは、データの総数とすることができ、

は、推定された顕著性とすることができ、ｙは、対象とされた顕著性とすることができる。

様々な態様では、バイリニアのアップサンプリングされたフィルタ重みを有する固定された逆畳み込み層を、歪みストラテジの１つとして使用することができる。更なる態様では、本開示は、セグメンテーションデータセットを使用してトレーニングされ得る完全な畳み込みネットワーク（例えば、ＦＣＮ−８）を使用して初期化されてもよく、製造業者システム２３０のＤＲ（ｅｙｅ）ＶＥトレーニングデータセットを使用して、顕著性推定タスクについてトレーニングされてもよい。例えば、ＤＲ（ｅｙｅ）ＶＥデータセットは、それぞれ５分間の７４シーケンスを含んでもよく、前方カメラ１２０、ルーフカメラ１２１、後方カメラ１２２、頭部搭載カメラからのビデオ、装着型視標追跡デバイスから捕捉された注視位置及び／又は車両状態（例えば、速度、コース、緯度、経度など）に関連する全地球測位システム（ＧＰＳ）からの他の情報を提供することができる。捕捉された注視画素位置は、σ_ｓ＝２００画素及びσ_ｔ＝ｋ／２を用いる、時空間ガウスモデルＧ（σ_ｓ，σ_ｔ）を使用して更に処理することができ、ここで、ｋ＝２５フレームであり、平滑化されたグランドトゥルース顕著性マップが取得される。一部の態様では、ＤＲ（ｅｙｅ）ＶＥデータセットは、異なる領域（例えば、繁華街、田舎、及びハイウェイ）において、異なる気象条件（例えば、晴れ、曇り、及び雨）の下、並びにその日の異なる時間（例えば、朝、夕方、及び夜）に、複数の運転者から収集されてもよい。様々な態様では、ＤＲ（ｅｙｅ）ＶＥデータセットは、トレーニング及び試験（例えば、トレーニングのための最初の３７シーケンス及び試験のための最後の３７シーケンス）のために分離されてもよい。一部の態様では、エラーを伴うフレームが、除外されてもよい。更なる態様では、トレーニングについて、一般に、車両が移動していないときには、運転者は、運転に関連するイベントに注意を払うことが予想されないので、車両が静止しているときのフレームもまた、除外されてもよい。

本明細書で考察されるように、運転中における、車線変更、左／右へ曲がること、ハイウェイからの退出などのようなタスクは、トップダウン注意に影響を及ぼし得る。したがって、確率分布ｐ（Ｏ｜ｆ_ｚ，Ｔ_ｉ）及びｐ（Ｏ｜ｌ_ｚ，Ｔ_ｉ）は、これらのタスクが条件付けられ得、本開示の一部の態様では、これらの分布は、運転者がそのようなタスクに従事しているときにＤＲ（ｅｙｅ）ＶＥデータセットの一部から学習され得る。一部の態様では、ＤＲ（ｅｙｅ）ＶＥデータセットは、そのようなタスク情報を目下欠いており、したがって、これらの「タスク」は、車両動力学に基づいて定義され得る。例えば、ＤＲ（ｅｙｅ）ＶＥデータセットは、ヨーレートに基づいて分割されてもよい。一部の態様では、ヨーレートは、イベント、例えば、（右／左）へ曲がること、退出、カーブ追従などを示すことができ、タスク場面を推測するための合理的かつ自動的な手法を提供することができる。様々な態様では、データセットにおいて、ヨーレートは、ＧＰＳによって提供されるコース測定から計算され得る。

一部の態様では、ＤＲ（ｅｙｅ）ＶＥデータセットは、５°／秒のビンサイズを有するヨーレートの離散間隔に分割されることができる。次いで、事前位置、ｐ（Ｏ｜ｌ_ｚ，Ｔ_ｉ）は、ビン内の全てのトレーニングセット注意マップの平均として計算されることができる。本明細書で考察されるように、図４は、事前位置の推定へのヨーレートの影響を示す。例えば、ヨーレートの大きさが増加するにつれて、事前位置は、エッジに向かって（例えば、中心から離れて）段々曲げられることになる。また、一部の態様では、正のヨーレート（右へ曲がるイベント）は、中心の右に向かって事前位置をシフトさせ、負のヨーレート（左へ曲がるイベント）は、反対側にシフトさせる。

更なる態様では、学習ｐ（Ｏ｜ｆ_ｚ，Ｔ_ｉ）は、ニューラルネットワークをトレーニングすることによって達成され得る。しかしながら、ヨーレートの大きさが増加するにつれて、ビン内のトレーニングのためのデータセットサイズは、劇的に減少し得る。これを解決するために、ｐ（Ｏ｜ｆ_ｚ，Ｔ_ｉ）〜ｐ（Ｏ｜ｆ_ｚ）は、この成分について全てのデータを取ることによって近似されてもよい。例えば、定量分析のために、推定された顕著性マップとグランドトゥルース顕著性マップとの間の線形相関係数（ＣＣ）（ピアソンの線形係数としても知られる）を計算することができる。一部の態様では、各顕著性マップｓは、以下のように正規化されてもよい。

式中、

は、顕著性マップｓの平均を表すことができ、σ（ｓ）は、ｓの標準偏差とすることができ、ｚは、シーンカメラフレーム内の画素とすることができる。次いで、ＣＣは、以下のように計算することができる。

式中、ｓ’は、正規化されたグランドトゥルース顕著性マップを表すことができ、

は、正規化された推定された顕著性マップとすることができる。

図５Ａ〜図５Ｃは、注視分布の画像を示す。一部の態様では、図５Ａ〜５Ｃは、平均グランドトゥルース眼球固定から学習された中心バイアスフィルタを示す。一部の態様では、図５Ａに示すように水平軸にわたる注視分布及び図５Ｂに示すように垂直軸にわたる注視分布が、学習されることができる。更に、図５Ｃは、全体的な注視分布を示す。一部の態様では、ベースラインについて、中心バイアスフィルタを伴う性能を計算することができる。このベースラインは、本明細書で考察されるシステム及び方法の性能の比較として使用することができる。表Ｉは、提案された方法の性能を示す。すなわち、表Ｉは、ベースライン、従来のボトムアップ顕著性方法及び本開示のアプローチによって得られた試験結果を示しており、ここで、括弧内の結果は、学習された事前位置を組み込むことによって得られた。

全体として、本開示のシステム及び方法は、約０．５５のスコアを達成する。一方、従来の方法は、相関関係を示さず（ＣＣ＜０．３）、単純なトップダウンキューに対応するベースライン結果は、より良いパフォーマンスを収める。したがって、本開示のシステム及び方法は、ベースライン並びに従来のアプローチよりも性能が優れている。一部の態様では、本開示のシステム及び方法は、フレームのシーケンスとは対照的に、固定領域を予測するために単一フレームを使用して最新の結果を達成し、したがって、計算的により一層効率的であり得る。

図６は、顕著性スコア対速度を比較するグラフを示す。図６に示すように、各点は、所与の速度を超える速度を有するフレームの平均相関係数を提示することができる。図６に更に示すように、速度が増加するにつれて、本開示のシステム及び方法の性能は、１００ｋｍ／時を超える速度に対して約０．７０である相関係数で改善される。これは、運転者が、高速で運転している間に自然により集中して、他の無関係なイベントによって気を取られなくすることができるからであり、本開示の態様により、学習されたネットワークによって非常に良好に捕捉される車線マーキングのような道路特徴に常に追従する傾向があるからである。なお更なる態様では、車両が静止しているときのフレームを除外することにより、約５％性能を更に改善することができる。これは、車両が動いていないときに、運転者が非運転イベントを自由に見回し得るという事実に起因し得る。

図７は、ヨーレートが＞１５°／秒の試験シーケンスへの事前位置の影響の試験結果を示す。例えば、図７は、１０ｋｍ／時未満の速度についての試験結果、１０ｋｍ／時〜３０ｋｍ／時の速度及び３０ｋｍ／時を超える速度についての試験結果を示す。特に、図７に示すように、ヨーレートが１５°／秒を超え、かつ速度が３０ｋｍ／時を超える場合、視覚的特徴のみを使用して１０％の改善を達成することができる。これらは、運転者が、（左／右へ）曲がること及び退出などのような操縦に能動的に関与し得るという事実関係にある。

ネットワークの出力を詳しく見ると、図８に示すように、本開示のシステム及び方法が、運転者の注意を引き付ける道路特徴によく応答し得ることが示され、図８は、異なる「タスク」中の運転者の眼球固定予測のためのＧＢＶＳ、ＩＴＴＩ及び画像サインに基づく方法と共に、本開示の態様による定性的結果を示す。加えて、図８の「ＧＴ」の縦列は、グランドトゥルース固定マップ（ＧＴ）を示す。図８に示されるように、車線マーキングの消滅点は、運転者の注視挙動に影響を及ぼし、本開示のシステム及び方法は、それらの有意な表れを学習することができる。注視データから、運転中の現在の「タスク」が重要な因子であり得ることは明らかである。例えば、運転者が間近に迫った出口を退出するよう計画しているか否かは、自身の注視挙動に影響を及ぼすであろう（図８の上からの５つ目の列）。視覚的特徴のみから、このような因子は、注視挙動を模倣するように組み込むことができず、したがって、本開示のシステム及び方法は、事前位置を使用してこのようなタスク指向の予想をモデル化することができる。一般に、視覚的特徴とは独立した任意の情報が、事前情報として組み込まれ、データから学習されてもよい。

本発明の態様は、ハードウェア、ソフトウェア又はそれらの組み合わせを使用して実装されてもよく、１つ以上のコンピュータシステム又は他の処理システムに実装されてもよい。本発明の一態様では、特徴は、本明細書に記載される機能を実行することができる１つ以上のコンピュータシステムを対象とする。このようなコンピュータシステム９００の実施例を図９に示す。

コンピュータシステム９００は、プロセッサ９０４などの１つ以上のプロセッサを含む。プロセッサ９０４は、通信基盤９０６（例えば、通信バス、クロスオーバーバー又はネットワーク）に接続されている。様々なソフトウェア態様が、この例示的なコンピュータシステムに関して説明される。この説明を読んだ後、他のコンピュータシステム及び／又はアーキテクチャを使用して本発明の態様を実施する手法が当業者（複数可）には明らかとなるであろう。

コンピュータシステム９００は、表示ユニット９３０上に表示するために、通信基盤９０６から（又は図示されないフレームバッファから）グラフィック、テキスト及び他のデータを転送する表示インターフェース９０２を含んでもよい。コンピュータシステム９００はまた、メインメモリ９０８、好ましくはランダムアクセスメモリ（ＲＡＭ）を含み、また、二次メモリ９１０を含んでもよい。二次メモリ９１０は、例えば、フロッピーディスクドライブ、磁気テープドライブ、光ディスクドライブ、ユニバーサルシリアルバス（ＵＳＢ）フラッシュドライブなどを表すハードディスクドライブ９１２及び／又は取り外し可能な記憶ドライブ９１４を含んでもよい。取り外し可能な記憶ドライブ９１４は、周知の手法で取り外し可能な記憶ユニット９１８から読み取り、及び／又は取り外し可能な記憶ユニット９１８に書き込む。取り外し可能な記憶ユニット９１８は、フロッピーディスク、磁気テープ、光ディスク、ＵＳＢフラッシュドライブなどを表し、これは、取り外し可能な記憶ドライブ９１４によって読み取られ、かつ取り外し可能な記憶ドライブ９１４に書き込まれる。理解されるように、取り外し可能な記憶ユニット９１８は、コンピュータソフトウェア及び／又はデータを中に記憶したコンピュータ使用可能な記憶媒体を含む。

本発明の代替的な態様は、二次メモリ９１０を含んでもよく、コンピュータプログラム又は他の命令がコンピュータシステム９００にロードされることを可能にするために他の同様のデバイスを含んでもよい。このようなデバイスは、例えば、取り外し可能な記憶ユニット９２２及びインターフェース９２０を含んでもよい。このような実施例としては、プログラムカートリッジ及びカートリッジインターフェース（ビデオゲームデバイスに見られるものなど）、取り外し可能なメモリチップ（消去可能でプログラム可能な読み取り専用メモリ（ＥＰＲＯＭ）など）、又はプログラム可能な読み取り専用メモリ（ＰＲＯＭ）及び関連するソケット、並びに、ソフトウェア及びデータが取り外し可能な記憶ユニット９２２からコンピュータシステム９００に転送されることを可能にする他の取り外し可能な記憶ユニット９２２及びインターフェース９２０を挙げることができる。

コンピュータシステム９００はまた、通信インターフェース９２４を含んでもよい。通信インターフェース９２４は、ソフトウェア及びデータがコンピュータシステム９００と外部デバイスとの間で転送されることを可能にする。通信インターフェース９２４の実施例としては、モデム、ネットワークインターフェース（例えばイーサネット（登録商標）カードなど）、通信ポート、パーソナルコンピュータメモリカード国際協会（ＰＣＭＣＩＡ）スロット及びカードなどを挙げることができる。通信インターフェース９２４を介して転送されるソフトウェア及びデータは、通信インターフェース９２４によって受信することができる電子信号、電磁信号、光信号又は他の信号であり得る信号９２８の形態にある。これらの信号９２８は、通信経路（例えば、チャネル）９２６を介して通信インターフェース９２４に提供される。この経路９２６は、信号９２８を運び、ワイヤ若しくはケーブル、光ファイバー、電話回線、セルラリンク、無線周波数（ＲＦ）リンク及び／又は他の通信チャネルを使用して実装されてもよい。本文書では、「コンピュータプログラム媒体」及び「コンピュータ使用可能な媒体」という用語は、一般に、取り外し可能な記憶媒体９１８、ハードディスクドライブ９１２にインストールされたハードディスク及び信号９２８などの媒体を指すために使用される。これらのコンピュータプログラム製品は、コンピュータシステム９００にソフトウェアを提供する。本発明の態様は、このようなコンピュータプログラム製品を対象とする。

コンピュータプログラム（コンピュータ制御論理とも称される）は、メインメモリ９０８及び／又は二次メモリ９１０に記憶されている。コンピュータプログラムはまた、通信インターフェース９２４を介して受信されてもよい。このようなコンピュータプログラムは、実行されると、本明細書で考察されるように、コンピュータシステム９００が、本発明の態様に従う特徴を果たすことを可能にする。特に、コンピュータプログラムは、実行されると、プロセッサ９０４が本発明の態様に従う特徴を果たすことを可能にする。したがって、このようなコンピュータプログラムは、コンピュータシステム９００のコントローラを表す。

発明がソフトウェアを使用して実施される本発明の一態様では、ソフトウェアは、コンピュータプログラム製品に記憶され、取り外し可能な記憶ドライブ９１４、ハードドライブ９１２、又は通信インターフェース９２０を使用してコンピュータシステム９００にロードされてもよい。制御ロジック（ソフトウェア）は、プロセッサ９０４によって実行されると、プロセッサ９０４に本明細書に記載される機能を行わせる。本発明の別の態様では、システムは、例えば、特定用途向け集積回路（ＡＳＩＣ）などのハードウェア構成要素を使用して、主にハードウェアに実装される。本明細書に記載される機能を行うようなハードウェア状態マシンの実装は、当業者（複数可）に明らかであろう。

図１０は、本開示の態様による、顕著性モデルを生成するフローチャート方法を示す。顕著性モデルを生成する方法１０００は、運転者１０１０の視覚的注意をモデル化するためにベイズフレームワークを生成することと、ベイズフレームワークに基づいて、完全な畳み込みニューラルネットワークを生成して、運転シーン１０２０内の１つ以上の対象の視覚的顕著性モデルを生成することと、運転者１０３０の注意を引き付ける特徴を示すために視覚的顕著性モデルを出力することとを含む。

上記に開示された及び他の特徴並びに機能又はこれらの代替物若しくは変形の様々な実装が、望ましくは多くの他の異なるシステム又はアプリケーションに組み合わされ得ることが理解されるであろう。また、その中に様々な現在予知されない若しくは予期されない代替物、修正、変形又は改善が、当業者によって後に行われてもよく、これらはまた、以下の特許請求の範囲によって包含されることが意図される。

Claims (20)

1. 運転シーンの１つ以上の対象の顕著性を推定するための自動運転（ＡＤ）システムであって、
   前記運転シーンの前記１つ以上の対象の前記顕著性を推定するためのプロセスを実行するための命令を記憶するメモリと、
   前記命令を実行するように構成されたプロセッサであって、前記プロセスが、
   運転者の視覚的注意をモデル化するために、ベイズフレームワークを生成することであって、前記ベイズフレームワークが、ボトムアップ顕著性要素及びトップダウン顕著性要素を含む、生成することと、
   前記運転シーン内の前記１つ以上の対象の視覚的顕著性モデルを生成するために、前記ベイズフレームワークに基づいて、完全な畳み込みニューラルネットワークを生成することと、
   前記運転者の注意を引き付ける特徴を示すために、前記視覚的顕著性モデルを出力することと、を含む、プロセッサと、を備える、ＡＤシステム。
2. 前記ボトムアップ顕著性要素が、対象非依存性であり、
   前記トップダウン顕著性要素が、対象依存性である、請求項１に記載のＡＤシステム。
3. 前記トップダウン顕著性要素が、重要な対象が顕著であることを示す第１の構成要素と、対象の予想された位置の知識を示す第２の構成要素と、を含む、請求項２に記載のＡＤシステム。
4. 前記対象の前記予想された位置が、ヨーレートに基づいており、前記ヨーレートの大きさが増加するにつれて、前記対象の前記予想された位置が、中心視野から離れてシフトする、請求項３に記載のＡＤシステム。
5. 前記プロセスが、学習された事前分布に基づいて推定された重みを用いて、前記運転シーンの１つ以上の顕著な領域を調整することを更に含む、請求項１に記載のＡＤシステム。
6. 前記重みが、前記１つ以上の対象のタスクに基づく、請求項５に記載のＡＤシステム。
7. 前記完全な畳み込みニューラルネットワークが、前記１つ以上の対象の周囲の特徴に関連して前記１つ以上の対象を分析することを可能にするように構成された１つ以上のスキップ接続を含む、請求項１に記載のＡＤシステム。
8. 運転シーンの１つ以上の対象の顕著性を推定するための方法であって、
   運転者の視覚的注意をモデル化するために、ベイズフレームワークを生成することであって、前記ベイズフレームワークが、ボトムアップ顕著性要素及びトップダウン顕著性要素を含む、生成することと、
   前記運転シーン内の前記１つ以上の対象の視覚的顕著性モデルを生成ために、前記ベイズフレームワークに基づいて、完全な畳み込みニューラルネットワークを生成することと、
   前記運転者の注意を引き付ける特徴を示すために、前記視覚的顕著性モデルを出力することと、を含む、方法。
9. 前記ボトムアップ顕著性要素が、対象非依存性であり、
   前記トップダウン顕著性要素が、対象依存性である、請求項８に記載の方法。
10. 前記トップダウン顕著性要素が、重要な対象が顕著であることを示す第１の構成要素と、対象の予想された位置を示す第２の構成要素と、を含み、前記予想された位置が、以前の運転者体験に基づく、請求項９に記載の方法。
11. 前記対象の前記予想された位置が、ヨーレートに基づく、請求項１０に記載の方法。
12. 学習された事前分布に基づいて推定された重みを用いて、前記運転シーンの１つ以上の顕著な領域を調整することを更に含む、請求項８に記載の方法。
13. 前記重みが、前記１つ以上の対象のタスクに基づく、請求項１２に記載の方法。
14. 前記完全な畳み込みニューラルネットワークの１つ以上のスキップ接続に基づいて、前記１つ以上の対象の周囲の特徴に関連して前記１つ以上の対象を分析することを更に含む、請求項８に記載の方法。
15. 実行可能なコンピュータプログラムコードを含む非一時的コンピュータ可読記憶媒体であって、前記コードが、
    運転者の視覚的注意をモデル化するために、ベイズフレームワークを生成することであって、前記ベイズフレームワークが、ボトムアップ顕著性要素及びトップダウン顕著性要素を含む、生成することと、
    前記運転シーン内の前記１つ以上の対象の視覚的顕著性モデルを生成するために、前記ベイズフレームワークに基づいて、完全な畳み込みニューラルネットワークを生成することと、
    前記運転者の注意を引き付ける特徴を示すために、前記視覚的顕著性モデルを出力することと、を行うように構成された命令を含む、非一時的コンピュータ可読記憶媒体。
16. 前記ボトムアップ顕著性要素が、対象非依存性であり、
    前記トップダウン顕著性要素が、対象依存性である、請求項１５に記載の非一時的コンピュータ可読記憶媒体。
17. 前記トップダウン顕著性要素が、重要な対象が顕著であることを示す第１の構成要素と、対象の予想された位置を示す第２の構成要素と、を含み、前記予想された位置が、以前の運転者体験に基づく、請求項１５に記載の非一時的コンピュータ可読記憶媒体。
18. 前記対象の前記予想された位置が、ヨーレートに基づく、請求項１７に記載の非一時的コンピュータ可読記憶媒体。
19. 前記コードが、学習された事前分布に基づいて推定された重みを用いて、前記運転シーンの１つ以上の顕著な領域を調整するように更に構成された命令を含む、請求項１５に記載の非一時的コンピュータ可読記憶媒体。
20. 前記重みが、前記１つ以上の対象のタスクに基づく、請求項１２に記載の非一時的コンピュータ可読記憶媒体。

Images