JP2017188099A - ドライバの動的道路シーンに対する精通度インデックスのリアルタイム作成 - Google Patents

ドライバの動的道路シーンに対する精通度インデックスのリアルタイム作成 Download PDF

Info

Publication number
JP2017188099A
JP2017188099A JP2017056081A JP2017056081A JP2017188099A JP 2017188099 A JP2017188099 A JP 2017188099A JP 2017056081 A JP2017056081 A JP 2017056081A JP 2017056081 A JP2017056081 A JP 2017056081A JP 2017188099 A JP2017188099 A JP 2017188099A
Authority
JP
Japan
Prior art keywords
scene
familiarity
road
user
road scene
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2017056081A
Other languages
English (en)
Other versions
JP6341311B2 (ja
Inventor
ピライ,プリ−ティ
J Pillai Preeti
ヤラ,ベエーラガネッシュ
Yalla Veeraganesh
パルンデカ,ラウル
Ravi Parundekar Rahul
尾口 健太郎
Kentaro Oguchi
健太郎 尾口
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Toyota Motor Corp
Original Assignee
Toyota Motor Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Toyota Motor Corp filed Critical Toyota Motor Corp
Publication of JP2017188099A publication Critical patent/JP2017188099A/ja
Application granted granted Critical
Publication of JP6341311B2 publication Critical patent/JP6341311B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G01MEASURING; TESTING
    • G01CMEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G01C21/34Route searching; Route guidance
    • G01C21/36Input/output arrangements for on-board computers
    • G01C21/3691Retrieval, searching and output of information related to real-time traffic, weather, or environmental conditions
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/08Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to drivers or passengers
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08Interaction between the driver and the control system
    • B60W50/14Means for informing the driver, warning the driver or prompting a driver intervention
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/23Clustering techniques
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/24Classification techniques
    • G06F18/243Classification techniques relating to the number of classes
    • G06F18/2431Multiple classes
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/56Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads

Abstract

【課題】車両のドライバに対して、現在走行中の道路のよりきめの細かい状況に応じた、信頼性が高い精通度スコアを提供する。
【解決手段】現在の道路のシーンを記述するシーン特徴量を作成するステップと、ユーザが過去に経験した道路のシーンを記述する複数のシーン特徴量を格納した精通度グラフにおいて定義される複数の道路シーンクラスタの中から、現在の道路シーンに対応する道路シーンクラスタを特定するステップと、特定された道路シーンクラスタにおける現在の道路シーンのシーン特徴量との位置に基づいて現在の道路シーンに対する前記ユーザの精通度を推定した精通度インデックスを生成するステップと、を含む方法。
【選択図】図10

Description

本開示は道路シーン精通度に関する。
ドライバの道路シーン精通度を決定するための既存のソリューション(例えば、特許文献1)は、ユーザの走行履歴および特定のルートのルート情報にしばしば依存する。一般に、これらの既存のシステムは、ユーザがどの道路区間(道路セグメント)を現在移動しているか、ユーザが前にその道路区間を走行したかどうか、およびユーザが過去にどのくらいの頻度でその道路区間を選んだかを知る必要がある。これらのルートベースの手法は、特定の時点における道路環境状態によって影響される動的道路状況を考慮に入れていない。結果として、これらの既存の技法は、一般に、動的道路状態を有する、ルートに依存しない道路シーンに対するユーザの精通度を算出することができない。
さらに、これらの既存のシステムによって使用されるルート情報は、通常、道路についての一般知識からなり、たとえば、全体的な道路属性を用いて高いレベルで道路を記述する。例えば特許文献1では、道路のタイプ・形状・車線数・制限速度・渋滞度などに基づいて、現在の道路に対するユーザの精通度を求めている。しかしながら、ここで考慮されている事項は、マクロなものであり日々変化する道路の状況(例えば、道路上または道路付近での車両や歩行者の数やその位置関係など)を考慮することができない。結果として、これらの既存の技法は、ユーザが自分の走行位置から特定の走行状況に直面するとき、きめの細かいレベル(たとえば、通りレベル)で信頼性が高い精通度スコアを提供することもできない。
国際公開第2015/5013042号
本開示は、車両のドライバに対して、現在走行中の道路のよりきめの細かい状況に応じた、信頼性が高い精通度スコアを提供することを目的とする。
本開示に記載される主題の1つの態様は、コンピュータによって実行される方法であって、現在の道路のシーンを記述するシーン特徴量を作成するステップと、ユーザが過去に経験した道路のシーンを記述する複数のシーン特徴量を格納した精通度グラフにおいて定義される複数の道路シーンクラスタの中から、現在の道路シーンに対応する道路シーンクラスタを特定するステップと、特定された道路シーンクラスタにおける現在の道路シーンのシーン特徴量との位置に基づいて現在の道路シーンに対する前記ユーザの精通度を推定した精通度インデックスを生成するステップと、を含む。
現在の道路シーンに対応する道路シーンクラスタは、現在の道路シーンに対応するマクロシーンカテゴリを決定し、決定されたマクロシーンカテゴリに対応する道路シーンクラスタを特定することができる。
あるいは、現在の道路シーンに対応する道路シーンクラスタは、現在の道路シーンのシ
ーン特徴量と最も近い道路シーンクラスタを特定することにより特定することができる。
現在の道路シーンに対する精通度は、特定された道路シーンカテゴリにおける現在のシーン特徴量の近傍でのシーン特徴量の密度に基づいて決定することができる。例えば、道路シーンクラスタを、シーン特徴量の密度に基づいて複数の精通度ゾーンに分割しておき、現在の道路シーン特徴量がどの精通度ゾーンの中に位置するかを決定することで精通度を決定することができる。
あるいは、現在の道路シーンに対する精通度は、現在のシーン特徴量との近接度(距離・類似度)が所定のしきい値以内のシーン特徴量の数に応じて決定することもできる。
本開示に記載される主題の他の態様は、コンピュータによって実行される方法であって、
現在の道路のシーンを記述するシーン特徴量を作成するステップと、ユーザが過去に経験した道路のシーンを記述する複数の他のシーン特徴量を取得するステップと、特徴量空間での現在の道路シーンのシーン特徴量の近傍における前記他のシーン特徴量の密度に基づいて、現在の道路シーンに対する前記ユーザの精通度を推定した精通度インデックスを生成するステップと、を含む。
このような構成によれば、クラスタリング処理を行うことなく上記と同様の効果を奏することができる。
本開示に記載される主題の1つの発明的態様によれば、システムは、1つまたは複数のプロセッサ、ならびに、1つまたは複数のプロセッサによって実行されると、1つまたは複数の動的物体および現在の道路シーンのシーン配置を記述するシーン特徴量を作成することと、ユーザに関連付けられた精通度グラフに含まれる1つまたは複数のシーンクラスタの中から、現在の道路シーンに対応する道路シーンクラスタを識別することと、識別された道路シーンクラスタを備える他のシーン特徴量に対するシーン特徴量の位置を特定することと、シーン特徴量の位置に基づいて現在の道路シーンに対するユーザの精通度を推定する精通度インデックスを作成することとをシステムに行わせる命令を記憶する、1つまたは複数のメモリを含む。
一般に、本開示に記載される主題の別の発明的態様は、1つまたは複数の動的物体および現在の道路シーンのシーン配置を記述するシーン特徴量を作成することと、ユーザに関連付けられた精通度グラフに含まれる1つまたは複数のシーンクラスタの中から、現在の道路シーンに対応する道路シーンクラスタを識別することと、識別された道路シーンクラスタを備える他のシーン特徴量に対するシーン特徴量の位置を特定することと、シーン特徴量の位置に基づいて現在の道路シーンに対するユーザの精通度を推定する精通度インデックスを作成することとを含む方法において具現化することができる。
他の態様は、上記その他の発明的態様のための対応する方法、システム、装置、およびコンピュータプログラム製品を含む。
上記その他の実装形態は、各々、場合によっては、以下の特徴および/または動作のうちの1つまたは複数を含む場合がある。
たとえば、1つまたは複数の動的物体および現在の道路シーンのシーン配置を記述するシーン特徴量を作成することが、車道に向けられた車両の1つまたは複数のセンサを使用して特定の時点において車道の道路シーン画像を取り込むこと、ならびに道路シーン画像を使用して特徴量ベクトルを含むシーン特徴量を作成することを含む。
現在の道路シーンに対応する道路シーンクラスタを識別することが、シーン特徴量を使
用して現在の道路シーンをマクロシーンカテゴリに分類すること、およびマクロシーンカテゴリに関連付けられた複数のシーン特徴量履歴を含む道路シーンクラスタ、複数の特徴量ベクトル履歴を含む複数のシーン特徴量履歴をそれぞれ取り出すことを含む。
シーン特徴量の位置が特徴量ベクトルの位置であり、他のシーン特徴量に対するシーン特徴量の位置を特定することが、道路シーンクラスタの複数の特徴量ベクトル履歴のそれぞれの位置に対する特徴量ベクトルの位置を特定することを含む。
マクロシーンカテゴリが都市カテゴリ、地方カテゴリ、住居カテゴリ、工事ゾーンカテゴリ、ハイウェイカテゴリ、および事故カテゴリのうちの1つを含む。
シーン特徴量を含むように道路シーンクラスタを更新することをさらに含む。
現在の道路シーンに対するユーザの精通度を推定する精通度インデックスを作成することが、道路シーンクラスタ内のシーン特徴量の密度に基づいて道路シーンクラスタ用のネストされた精通度ゾーンのセットを決定すること、およびネストされた精通度ゾーンのセット内のシーン特徴量の位置を特定することにより現在の道路シーンに対するユーザの精通度インデックスを決定することを含む。
ユーザの精通度インデックスに基づいて支援レベルを決定し、決定された支援レベルで車両の1つまたは複数の出力装置を介して、ユーザに聴覚的指示、視覚的指示、および触覚的指示のうちの1つまたは複数を与えることをさらに含む。
支援レベルが、1)ユーザに聴覚的指示、視覚的指示、および触覚的指示のうちの1つまたは複数を与える頻度、ならびに2)聴覚的指示、視覚的指示、および触覚的指示のうちの1つまたは複数の詳細レベルのうちの1つまたは複数を含む。
現在の道路シーンが特定の時点において取り込まれた道路シーン画像内に描写され、特定の時点においてユーザに関連付けられた生理学的データを特定し、生理学的データに基づいて生理学的重み値を作成し、生理学的重み値を使用してシーン特徴量を強化することをさらに含む。
ユーザに関連付けられた生理学的データが、特定の時点におけるユーザの頭の動き、眼の動き、心電図検査データ、呼吸データ、皮膚コンダクタンス、および筋肉の緊張度のうちの1つまたは複数を含む。
ユーザに関連付けられたナビゲーション履歴データ(走行データ履歴)を特定し、ナビゲーション履歴データに基づいてナビゲーション履歴重み値を作成し、ナビゲーション履歴重み値を使用してシーン特徴量を強化することをさらに含む。
ユーザに関連付けられたナビゲーション履歴データが、ユーザが以前移動した1つまたは複数の道路区間に関連付けられた道路名、道路タイプ、道路速度情報、および時間情報のうちの1つまたは複数を含む。
本開示において提示される新規の技術は、いくつかの点で特に有利である。たとえば、本明細書に記載される技術は、ユーザが車道上を走行しているときにリアルタイムに発生する様々な動的道路走行状況に対するユーザの精通度インデックスを作成することができる。詳細には、本技術は、現在ユーザの前方にある走行状態のシーン特徴量を処理し、記憶し、ユーザが自分の走行履歴において直面した道路シーン履歴のシーン特徴量と比較する。この手法の下で、本技術は、ユーザが行程中に特定の道路走行状況に遭遇したときに、ユーザの個人的な走行経験を考慮に入れることができる。また、本明細書で開示される技術は、現在の車道の道路情報が利用不可能な場合でも、様々な道路タイプ、様々な道路シーン状況/交通状態、および様々な時刻についてのドライバ精通度インデックスを自動的に作成することができる。
本明細書で開示される技術は、マクロシーンレベルおよびミクロシーンレベル(たとえば、ドライバの視点から見えるようなきめの細かいレベル)で現在の外部道路シーンを分
析し、それにより算出コストを低減することができる。さらに、本明細書で開示される技術はまた、ドライバ精通度測度を算出する際の補足情報として、ユーザ感覚データ、ユーザの走行履歴、および現在の車道の道路情報を利用する。したがって、本技術は、特定の道路シーン地域性に対するユーザの推定された精通度をさらに強化することができる。
本明細書で開示される技術は、ユーザが現在対処している動的走行状態に対応するリアルタイム精通度インデックスを効果的に算出することができる。結果として、本技術は、適切なレベルで必要な支援をユーザに事前に提供し、望ましくない注意散漫をもたらすことを回避し、それにより、ユーザの運転経験および安全を改善することができる。上記の利点は例として提供されたこと、ならびに本技法は多数の他の利点および利益を有することができることを理解されたい。
本開示によれば、車両のドライバに対して、現在走行中の道路のよりきめの細かい状況に応じた、信頼性が高い精通度スコアを提供することができる。
ドライバ精通度インデックスを作成するための例示的なシステムのブロック図である。 例示的なコンピューティングデバイスのブロック図である。 例示的な精通度アプリケーションのブロック図である。 現在の道路シーンに対するユーザの精通度を推定する精通度インデックスを作成するための例示的な方法のフローチャートである。 現在の道路シーンを記述するシーン特徴量を作成するための例示的な方法のフローチャートである。 精通度グラフ内の現在の道路シーンに対応する道路シーンクラスタを識別するための例示的な方法のフローチャートである。 道路シーンクラスタを備える他のシーン特徴量に対するシーン特徴量の位置を特定するための例示的な方法のフローチャートである。 現在の道路シーンに対するユーザの精通度インデックスを決定するための例示的な方法のフローチャートである。 適切なレベルで車両内のユーザに指示を与えるための例示的な方法のフローチャートである。 シーン特徴量を強化するための例示的な方法のフローチャートである。 精通度インデックスに基づいてユーザに指示を与えるためのドライバ支援システムのブロック図である。 特定の地区において様々な道路シーンに関連付けられた、マクロシーンレベルおよびミクロシーンレベルにおける例示的な道路シーン構造を描写する図である。 精通度グラフ内の道路シーンクラスタの例を描写する図である。 (上面図で)道路シーンクラスタ内のシーン特徴量データポイントの例示的な密度分布および例示的な精通度ゾーンを示す図である。
本開示は、添付図面の図において限定としてではなく例として示され、添付図面では、同様の構成要素を参照するために同様の参照番号が使用される。
本明細書に記載される技術は、きめの細かいレベルで道路シーン精通度を自動的に決定することが可能である。
下記に記載されるように、いくつかの実施形態では、本技術は、車両の1つまたは複数
のセンサ(たとえば、車道カメラ)を使用して、リアルタイムにユーザについての道路シーン精通度インデックスを作成することにより、シーン精通度(scene familiarity)を
決定することができる。シーン精通度はドライバごとおよび道路シーンごとに定義されるものであり、あるドライバのある道路シーンに対するシーン精通度は、当該ドライバが当該道路シーンに慣れ親しんでいるかあるいは当該道路シーンでの運転に慣れ親しんでいるかを表す度合いである。場合によっては、本技術は、複数のレベルのシーンを総合的に使用して、ドライバの精通度インデックスを作成することができる。詳細には、特定の道路シーンに対するユーザの精通度インデックスは、マクロシーンレベルにおける道路シーン情報(本明細書ではマクロシーン情報とも呼ばれる)、およびミクロシーンレベルにおける道路シーン情報(本明細書ではミクロシーン情報とも呼ばれる)を使用して、算出することができる。
マクロシーン情報は、高いレベルで外部道路シーンを記述する。詳細には、マクロシーン情報は、比較的動的でなく、全般に時間的に大幅に変化しない、外部シーンの高レベルで全体的な概観を提供することができる。たとえば、マクロシーン情報は、外部道路シーンに関連付けられた地区のタイプ(たとえば、地域性)を記述するマクロシーンカテゴリを示すことができる。マクロシーンカテゴリの非限定的な例には、市(city)、都市(urban)、地方(rural)、ハイウェイ(highway)、高速道路(expressway)、住居エリア
、工事ゾーン、事故などが含まれる。マクロシーン情報は、対象の道路区間の車道の数、速度制限などの任意の他の一般的な車道特性(roadway characteristics)をさらに含む
場合がある。
ミクロシーン情報は、きめの細かいレベルで現在の道路シーンを記述する。マクロシーン情報とは対照的に、ミクロシーン情報は、マクロ道路シーンの様々な態様のよりきめの細かい詳細を含む場合がある。様々なタイプのミクロシーン情報の非限定的な例には、走行可能車線幅(たとえば、元の車線幅の半分)、開いている車線の数(たとえば、左の2車線および右の2車線が現在開いており、中央の車線が重大な自動車事故のせいで閉鎖されている)、交通信号の状況(たとえば、ワシントン通りとホワイト通りとの間の交差点で点滅している赤信号)、交差点(たとえば、交差点が2台のパトカーによって封鎖されている)、周囲の車両配置(たとえば、ユーザの車両が混雑した交通内の他の止まっている車両によって閉じ込められている)、動的物体の物体タイプ(たとえば、工事コーン、道路バリケード、工事車両、歩行者、道路工事作業員など)、各物体タイプの数(たとえば、総数)、道路シーン内の動的物体の相対位置および/または空間分布などが含まれ得る。さらなる例として、マクロシーン情報が現在の道路シーンが「都市」であると特定している場合、ミクロシーン情報は、ドライバの走行位置におけるドライバの視点から知覚された車道(ストリート)レベルの詳細を含む場合がある。すなわち、ミクロシーン情報に含まれる詳細は、マクロシーン情報に応じて決定されてもよい。ミクロシーン情報に含まれる詳細のうちのいずれも一時的であり得る。たとえば、ミクロシーン情報に含まれる詳細が、特定の時点において道路シーンに関連付けられた動的走行コンテキストを記述することも有効である。
マクロシーン情報は、シーンの位置に基づいて決定されるか、シーン内に特定の動的物体(工事車両など)が検出されたことに基づいて決定されるのに対し、ミクロシーン情報は、シーン内から検出される動的物体の数やその配置に基づいて決定されるものである。
図8は、特定の地区におけるマクロシーンレベルおよびミクロシーンレベルの道路シーン詳細の例を描写する。なお、本開示では右側通行を想定して説明するが、左側通行の場合には必要に応じて適宜変更を加えればよい。図示されるように、ミクロシーンレベルにおける道路シーン情報は、ドライバが異なる日および/または異なる時刻に同じ地区を通って走行する場合、著しく変化することがある。一例として、ユーザは、通常、毎日自分のオフィスに行くために下町エリア内のステート通りを選ぶとする。ユーザはこの都市エ
リアに一般的に精通しているといえるが、ユーザが経験する走行状況は、各回の走行ごとに大いに異なる場合があり、ユーザは、それらの特定の走行状況のうちの1つまたは複数に精通していない場合がある。
たとえば、図8に図示される例示的なシナリオでは、Day1の時刻t=t1において、ユーザはステート通りに沿って移動している。道路は空いており、ユーザはその地区を通ってスムーズに走行できる。マクロシーン情報は、時刻t1における道路シーンが「都市」道路シーンとして分類されることを示す。ミクロシーン情報は、時刻t=t1における「都市」道路シーンを空(す)いている道路(clear road)として記述する。対照的に、Day3の時刻t=t2において、ステート通りは、工事中であり、5つの工事コーンが道路上に置かれている。ユーザは、作業ゾーンを回避して移動を続けるために、右車線から左車線に乗り換えなければならない。マクロシーンレベルにおいて、時刻t=t2における道路シーンは、「工事」道路シーンとして分類される。ミクロシーン情報は、時刻t=t2における道路シーンが5つの工事コーンを含むことを示す。Day3の時刻t=t3において、同じ作業ゾーン内で2人の道路工事作業員が働いている。ユーザは、そのエリアを通って走行しているとき、左車線に変更し、減速する。時刻t=t3における道路シーンは、依然として工事ゾーンのマクロシーンカテゴリに分類される。ミクロシーン情報は、時刻t=t3における道路シーン内に存在する5つの工事コーンおよび2人の道路工事作業員を記述する。Day4の時刻t=t4において、工事ゾーン内で働いている5人の道路工事作業員および工事車両が存在する。時刻t=t4における道路シーンは、依然として工事ゾーンのマクロシーンカテゴリに分類される。ミクロシーン情報は、時刻t=t4における道路シーン内に5つの工事コーン、5人の道路工事作業員、および工事車両が存在することを記述する。有利なことに、本技術は、本明細書に記載されたマクロシーン情報およびミクロシーン情報を使用して、ユーザに潜在的な危険を通知し、それにより、ユーザが前もって左車線に変更および減速し、したがって存在する可能性があるさらなる危険に備えることが可能になる。これにより、ユーザが作業ゾーンを通って移動するときの事故および他の不運なイベントのリスクが低下する。
いくつかの実施形態では、ミクロシーン情報は、作業ゾーン内のこれらの工事コーン、工事車両、および道路工事作業員の相対位置および空間分布を記述するシーン配置をさらに含む場合がある。上記の例を引き続き使用して説明すると、ユーザは、自分の日常の通勤の一部としてマクロ道路シーン(たとえば、都市道路シーン)に精通しているが、ミクロ道路シーン(たとえば、工事ゾーンの特定の配置)に精通していない場合がある。たとえば、ユーザは、交通コーンおよびバリケードを有する作業ゾーン(たとえば、時刻t=t2におけるミクロシーン)に遭遇することに精通しているが、この工事ゾーンの特定の構成(道路工事作業員および作業中の工事車両の配置)に精通していない場合がある。本技術は、有利なことに、その特定の工事ゾーン(たとえば時刻t=t4の工事ゾーン)をどのようにナビゲートするかに関する特定の指示をユーザに与えることにより、ユーザを支援することができる。
図1は、道路シーン精通度を決定するための例示的なシステム100のブロック図である。図示されるシステム100は、サーバ102と、クライアントデバイス124と、移動プラットフォーム118とを含む。システム100のエンティティは、ネットワーク112を介して通信可能に結合される。図1に図示されるシステム100は、例として提供され、本開示によって考察されるシステム100および/またはさらなるシステムは、追加のおよび/またはより少ない構成要素を含む場合があり、構成要素を組み合わせ、かつ/または構成要素のうちの1つもしくは複数をさらなる構成要素に分割することができることなどを理解されたい。たとえば、システム100は、任意の数のサーバ102、クライアントデバイス124、および/または移動プラットフォーム118を含む場合がある。追加または代替として、システム100は、ユーザから音声コマンドを受信し処理する
ための音声サーバ、検索クエリに該当する検索結果を提供するための検索サーバなどを含む場合がある。
ネットワーク112は、従来のタイプの有線またはワイヤレスであり得るし、星形構成、トークンリング構成、または他の構成を含む、多数の様々な構成を有する場合がある。さらに、ネットワーク112は、1つまたは複数のローカルエリアネットワーク(LAN)、ワイドエリアネットワーク(WAN)(たとえば、インターネット)、公衆ネットワーク、プライベートネットワーク、仮想ネットワーク、ピアツーピアネットワーク、および/または、複数のデバイスがそれを介して通信することができる他の相互接続データパスを含む場合がある。たとえば、ネットワーク112は、車々間ネットワーク、車路間/路車間/車路車間ネットワークなどを含む場合がある。
ネットワーク112はまた、様々な異なる通信プロトコルでデータを送るための電気通信ネットワークの部分に結合されるか、またはそれらを含む場合がある。いくつかの実施形態では、ネットワーク112は、ショートメッセージングサービス(SMS)、マルチメディアメッセージングサービス(MMS)、ハイパーテキスト転送プロトコル(HTTP)、直接データ接続、WAP、電子メールなどを介して、データを送受信するためのBluetooth(登録商標)通信ネットワークまたはセルラー通信ネットワークを含む。いくつかの実施形態では、ネットワーク112は、DSRC、WAVE、802.11p、3G、4G、5G+ネットワーク、WiFi(登録商標)、または任意の他のワイヤレスネットワークなどの接続を使用するワイヤレスネットワークである。図1は、サーバ102、クライアントデバイス124、および移動プラットフォーム118に結合するネットワーク112用の単一ブロックを示すが、ネットワーク112は、実際には、上述されたように、ネットワークの任意の数の組合せを備える場合があることを理解されたい。
サーバ102は、プロセッサ、メモリ、およびネットワーク通信能力(たとえば、通信ユニット)を含むハードウェアサーバおよび/または仮想サーバを含むことができる。サーバ102は、信号線110によって表されるように、ネットワーク112に通信可能に結合することができる。いくつかの実施形態では、サーバ102は、クライアントデバイス124および移動プラットフォーム118のうちの1つまたは複数との間でデータを送受信することができる。サーバ102は、本明細書の中の他の場所でさらに説明されるように、精通度アプリケーションのインスタンス104aと、精通度グラフデータベース106と、ナビゲーションデータベース108とを含む場合がある。
精通度グラフデータベース106は、システムのユーザごとに作成される精通度グラフを記憶することができる。精通度グラフは、ユーザが過去に体験した道路シーン履歴を記述するデータのセットである。各精通度グラフは、特定の1人または複数のユーザと関連付けることができる。いくつかの実施形態では、精通度グラフのデータは、対応するユーザが経験した道路シーン履歴を記述するシーン特徴量(スペクトル署名とも称される)の分布を含む場合がある。シーン特徴量は、例えば、多次元ベクトル(特徴量ベクトル)によって表現され、多次元ベクトル空間内での点(データポイント)を表す。したがって、この多次元ベクトル空間内での特徴量の分布が定義でき、また、2つの特徴量間の距離(近接度あるいは類似度とも称される)も定義できる。システム100は、ユーザが触れた新しい道路シーンを学ぶことができ、時間とともにそのユーザの精通度グラフを発展させることができる。
いくつかの実施形態では、精通度グラフ内の2つの所与のデータポイント間の近接度は、それらのそれぞれのシーン特徴量間の類似度を示すことができる。結果として、精通度グラフ内のシーン特徴量は、マクロシーン属性、ミクロシーン属性などの様々な特性に従って、クラスタを形成できる。たとえば、あるマクロシーンカテゴリ(たとえば、高速道
路、工事ゾーンなど)における道路シーンのシーン特徴量データポイントは、シーン要素の組み合わせやシーン配置が類似するため、一カ所にまとまってクラスタを形成することがある。
精通度グラフは、任意の形態のデータ表現で作成され、任意の形態のデータ表現を有することができる。たとえば、精通度グラフは、視覚グラフ、グラフィカルプロット、ベクトル空間、構造化データフォーマットなどで表現することができる。他の例、変形形態、および/または組合せも可能であり、考えられる。精通度グラフの例は、少なくとも図4B、図4C、および図9を参照して下記でより詳細に記載される。
ナビゲーションデータベース108は、ナビゲーション関連データを記憶することができる。例には、マッピングデータ、経路データ、関心地点(point of interest)、ユー
ザ旅行履歴などが含まれる。いくつかの実施形態では、ナビゲーション関連データは、図7に示されるように、各ユーザの走行履歴を記述するナビゲーション履歴データ、および/またはユーザによって以前に取られた走行履歴に関連付けられたルートデータを含む場合がある。ナビゲーション履歴データの非限定的な例には、ユーザが過去に移動した道路区間に関連付けられた道路名のリスト、当該道路区間の道路タイプ(たとえば、都市、地方、住居、高速道路など)、道路速度情報(たとえば、当該道路区間の速度制限、ユーザの実際の速度など)、時間情報(たとえば、ユーザが道路区間上を移動した日付および時刻、ユーザが道路区間上を移動した回数など)、当該道路区間に関連付けられた運転容易度(たとえば、低い、適度、高い、容易、困難など)などが含まれる。
図1では、サーバ102が精通度グラフデータベース106およびナビゲーションデータベース108を含むものとして示されているが、移動プラットフォーム118やクライアントデバイス124が、追加または代替として、精通度グラフやナビゲーション履歴データを記憶する場合があることを理解されたい。たとえば、移動プラットフォーム118やクライアントデバイス124は、精通度グラフデータベース106やナビゲーションデータベース108のインスタンスを含む場合があり、精通度グラフデータベース106やナビゲーションデータベース108からデータをキャッシュまたは複製する(たとえば、様々な間隔で精通度グラフやナビゲーション履歴データをダウンロードする)場合があり、様々な増分でサーバ102に最新データをプッシュする場合などがある。たとえば、精通度グラフやナビゲーション履歴データは、移動プラットフォーム118の中に事前に記憶/インストールされ、セットアップまたは最初の使用時に記憶またはリフレッシュされ、様々な間隔で複製される場合がある。さらなる実施形態では、精通度グラフデータベース106およびナビゲーションデータベース108からのデータは、実行時に要求/ダウンロードされる場合がある。他の適切な変形形態も可能であり、考えられる。
クライアントデバイス124は、メモリ、プロセッサ、および通信ユニットを含むコンピューティングデバイスである。クライアントデバイス124は、ネットワーク112に結合することができ、サーバ102および移動プラットフォーム118(ならびに/またはネットワーク112に結合されたシステムの任意の他の構成要素)のうちの1つまたは複数との間でデータを送受信することができる。クライアントデバイス124の非限定的な例には、ラップトップコンピュータ、デスクトップコンピュータ、タブレットコンピュータ、モバイル電話、携帯情報端末(PDA)、モバイル電子メールデバイス、または、情報を処理し、ネットワーク112にアクセスすることが可能な任意の他の電子デバイスが含まれる。いくつかの実施形態では、クライアントデバイスは、1つまたは複数のセンサ120を含む場合がある。
いくつかの実施形態では、クライアントデバイス124は、ユーザ支援アプリケーションのインスタンス122bを含む場合があり、ユーザ支援アプリケーションは、前方の道
路状況に対するユーザの精通度に対応する頻度および詳細レベルで、ユーザに走行指示を与える。ユーザ128は、線126によって示されるように、クライアントデバイス124と対話することができる。図1は1つのクライアントデバイス124を示すが、システム100は1つまたは複数のクライアントデバイス124を含むことができる。
移動プラットフォーム118は、メモリ、プロセッサ、および通信ユニットを有するコンピューティングデバイスを含む。そのようなプロセッサの例には、1つまたは複数のセンサ、アクチュエータ、モチベータなどの移動プラットフォーム118の他の構成要素に結合された電子制御ユニット(ECU)または他の適切なプロセッサが含まれ得る。移動プラットフォーム118は、信号線114を介してネットワーク112に結合することができ、サーバ102およびクライアントデバイス124のうちの1つまたは複数との間でデータを送受信することができる。たとえば、移動プラットフォーム118は、ユーザの走行履歴を記録し、走行履歴および関連するルート情報を収集し、ナビゲーションデータベース108に記憶することができる。いくつかの実施形態では、移動プラットフォーム118は、ある点から別の点に移動することが可能である。移動プラットフォーム118の非限定的な例には、車両(vehicle)、自動車(automobile)、バス、ボート、飛行機
、生体工学インプラント(bionic implant)、または、非一時的コンピュータエレクトロニクス(たとえば、プロセッサ、メモリ、もしくは非一時的コンピュータエレクトロニクスの任意の組合せ)を有する任意の他のモバイルシステムが含まれる。ユーザ128は、線130によって表されるように、移動プラットフォーム118と対話することができる。ユーザ128は、移動プラットフォーム118を運転する人間のユーザであり得る。たとえば、ユーザ128は車両のドライバであり得る。
移動プラットフォーム118は、1つまたは複数のセンサ120と、ユーザ支援アプリケーションのインスタンス122cとを含むことができる。図1は1つの移動プラットフォーム118を示すが、システム100は1つまたは複数の移動プラットフォーム118を含むことができる。
センサ120は、移動プラットフォーム118やクライアントデバイス124に適した任意のタイプのセンサを含む。センサ120は、コンピューティングデバイスおよび/またはその周辺環境の特性を判断することに適した任意のタイプのデータを収集するように構成される。センサ120の非限定的な例には、様々な光学センサ(CCD、CMOS、2D、3D、光検出測距(LIDAR)、カメラなど)、オーディオセンサ、動き検出センサ、気圧計、高度計、熱電対、湿度センサ、IRセンサ、レーダーセンサ、そのた他の光学センサ、ジャイロスコープ、加速度計、速度計、ステアリングセンサ、制動センサ、スイッチ、車両インジケータセンサ、ワイパーセンサ、位置センサ、トランシーバ、ソナーセンサ、超音波センサ、タッチセンサ、近接センサなどが含まれる。図7に示されるように、1つまたは複数のセンサ120は、1つまたは複数の車道センサ702と、1つまたは複数の生理学的センサ704と、1つまたは複数の顔面センサ706とを含む場合がある。
いくつかの実施形態では、車道センサ702は、車道に面し、外部環境のビデオ画像および静止画像を含む画像を記録するように構成された1つまたは複数の光学センサを含み、任意の適用可能なフレームレートを使用してビデオストリームのフレームを記憶し、任意の適用可能な方法を使用して取り込まれたビデオ画像および静止画像を符号化や処理をし、それらのセンサ範囲内の周辺環境の道路シーン画像を取り込むことができる。たとえば、移動プラットフォームのコンテキストでは、車道センサ702は、車道、空、山、路側構造体、ビルディング、木、動的物体、および/または車道に沿って位置する静的物体(たとえば、車線、交通信号、道路標識など)などを含む、移動プラットフォーム118のまわりの環境を取り込むことができる。いくつかの実施形態では、動的物体は、ユーザ
が同じ地区を通って走行するたびに、道路シーン内のそれらの存在またはそれらの位置が動的に変化する道路物体を含む場合がある。動的物体の非限定的な例には、周囲の移動プラットフォーム118、工事車両、歩行者、道路工事作業員、交通コーン、バリケードなどが含まれる。いくつかの実施形態では、車道センサ702は、移動プラットフォーム118の経路に対していずれの方向(前方、後方、横方向、上方、下方、対向など)でも検知するように取り付けることができる。いくつかの実施形態では、1つまたは複数の車道センサ702は、多方向であり得る(たとえば、LIDAR)。いくつかの実施形態では、車道センサ702によって取り込まれた道路シーン画像は、リアルタイムでユーザの精通度インデックスを決定するために処理することができる。いくつかの実施形態では、道路シーン画像は、後の処理や分析のために、1つまたは複数のデータストレージ、たとえば図2Aに図示されるデータストア212に記憶することができる。
いくつかの実施形態では、顔面センサ706は、移動プラットフォーム118内の個人の画像を取り込むための、当該個人の方向を向いた1つまたは複数の光学センサを含む場合がある。たとえば、顔面センサ706は、ドライバの座席にいるドライバ(ユーザ)の方向を向き、ビデオ画像および静止画像を含む画像を記録するように構成し、任意の利用可能なフレームレートを使用してビデオストリームのフレームを記録し、任意の利用可能な方法を使用してビデオ画像および静止画像を符号化や処理をすることができる。いくつかの実施形態では、顔面センサ706は、そのユーザの活動(たとえば、頭の動き)および/または顔の表情(たとえば、眼瞼運動、眼球の衝動性運動など)を監視することにより、ユーザ128(たとえば、ドライバ)の挙動データを収集することができる。たとえば、顔面センサ706は、ユーザの頭の位置を監視して、ユーザが正しい方向を向いているかどうかを判定することができる。さらなる例として、顔面センサ706は、上まぶたおよび下まぶたを検出して、ユーザの眼が適切に開いているかどうかを判定することができる。顔面センサ706によって取り込まれたユーザの挙動データは、少なくとも図6および図7を参照して下記でより詳細に説明される。
いくつかの実施形態では、生理学的センサ704は、走行しているときのユーザの生理学的信号を測定および監視するように構成された1つまたは複数のバイオセンサを含む場合がある。取り込まれる生理学的信号の例には、限定はしないが、心電図検査信号(たとえば、ECG/EKG(electrocardiogram/elektrokardiogramm)信号)、呼吸信号、皮膚コンダクタンス、皮膚温度、筋肉の緊張などが含まれ得る。生理学的信号は、少なくとも図6および図7を参照して下記でより詳細に説明される。
移動プラットフォーム118および/またはクライアントデバイス124のプロセッサ(たとえば、図2A参照)は、センサデータを受信し処理することができる。移動プラットフォーム118のコンテキストでは、プロセッサは、車などの移動プラットフォーム118に実装された電子制御ユニット(ECU)を含んだり、これに結合あるは他の何らかの方法で関連付けられたりするが、他のタイプの移動プラットフォームも考えられる。ECUは、センサデータを受信し、精通度アプリケーション104によるアクセスおよび/または取出しのために、車両動作データとして車両CAN(コントローラエリアネットワーク)データストアに記憶することができる。さらなる例では、車両動作データは、(受信および/または処理されると、たとえば、車両バス、ECUなどを介して)精通度アプリケーション104に、より直接的に供給される場合がある。他の適切な変形形態も可能であり、考えられる。さらなる例として、1つまたは複数のセンサ120は、道路区間上を移動している移動プラットフォーム118(たとえば、車両)から画像データを取り込むことができ、画像データは道路区間を含むシーンを描写する。精通度アプリケーション104は、本明細書の中の他の場所でさらに説明されるように、(たとえば、バス、ECUなどを介して)センサ120から画像データ(たとえば、リアルタイムビデオストリーム、一連の静止画像など)を受信し、それを処理して精通度インデックスを決定すること
ができる。
サーバ102、移動プラットフォーム118、および/またはクライアントデバイス124は、精通度アプリケーションのインスタンス104a、104b、および104c(本明細書では総称して104と呼ぶこともある)を含む場合がある。いくつかの構成では、精通度アプリケーション104は、異なる位置にある異なるデバイス上にネットワーク112を介して分散される場合があり、その場合、クライアントデバイス124、移動プラットフォーム118、および/またはサーバ102は、各々、精通度アプリケーション104の複数の態様(同じ、同様、異なるなど)の精通度アプリケーション104のインスタンスを含む場合がある。たとえば、精通度アプリケーションの各インスタンス104a、104b、および104cは、下記でより詳細に説明される、図2Bに図示されるサブ構成要素、および/またはこれらのサブ構成要素の様々な変形形態のうちの1つまたは複数を備える場合がある。いくつかの実施形態では、精通度アプリケーション104は、たとえば、図2Bに図示される構成要素のすべてを備えるネイティブアプリケーションであり得る。
他の変形形態および/または組合せも可能であり、考えられる。図1に示されるシステム100は例示的なシステムの代表であり、様々な異なるシステム環境およびシステム構成が考えられ、本開示の範囲内にあることを理解されたい。たとえば、様々な処理および/または機能は、サーバからクライアントに、あるいはクライアントからサーバに、移されてもよく、データは、単一のデータストアに統合されたり、追加のデータストアの中にさらにセグメント化されたりしてもよくいくつかの実施形態は、追加のまたはより少ないコンピューティングデバイス、サービス、および/またはネットワークを含み、クライアントまたはサーバ側の様々な機能を実装する場合がある。さらに、システムの様々なエンティティは、単一のコンピューティングデバイスもしくはシステムの中に統合されてもよく、または追加のコンピューティングデバイスもしくはシステムの中に分割されてもよい。
精通度アプリケーション104は、ユーザのシーン精通度を決定するように実行可能なソフトウェアおよび/またはハードウェア論理を含む。本明細書の中の他の場所で説明されるように、いくつかの実施形態では、所与のユーザについて、精通度アプリケーション104は、センサデータを処理し、道路シーンを記述するマルチレベル特徴量表現を作成し、道路シーンに対するユーザの精通度を反映する精通度インデックスを作成する。いくつかの実施形態では、精通度アプリケーション104は、1つもしくは複数のコンピュータデバイスの1つもしくは複数のプロセッサによって実行可能なソフトウェア、限定はしないが、フィールドプログラマブルゲートアレイ(FPGA)、特定用途向け集積回路(ASIC)などのハードウェア、および/またはハードウェアとソフトウェアの組合せなどを使用して実装することができる。精通度アプリケーション104は、少なくとも図2〜図7を参照して下記でより詳細に記載される。
移動プラットフォーム118および/またはクライアントデバイス124は、ユーザ支援アプリケーションのインスタンス122bおよび122c(本明細書では単に122とも呼ばれる)を含む場合がある。いくつかの構成では、ユーザ支援アプリケーション122は、異なる位置にある異なるデバイス上にネットワーク112を介して分散される場合があり、その場合、移動プラットフォーム118および/またはクライアントデバイス124は、各々、ユーザ支援アプリケーション122の複数の態様(同じ、同様、異なるなど)のユーザ支援アプリケーション122のインスタンスを含む場合がある。たとえば、ユーザ支援アプリケーションの各インスタンス122bおよび122cは、下記でより詳細に説明される、図7に図示されるサブ構成要素、および/またはこれらのサブ構成要素の様々な変形形態のうちの1つまたは複数を備える場合がある。いくつかの実施形態では
、ユーザ支援アプリケーション122は、たとえば、図7に図示される構成要素のすべてを備えるネイティブアプリケーションであり得る。他の変形形態および/またはそれらの組合せも可能であり、考えられる。
ユーザ支援アプリケーション122は、道路シーン精通度に基づいてユーザにユーザ支援を提供するように実行可能なソフトウェアおよび/またはハードウェア論理を含む。いくつかの実施形態では、本明細書の中の他の場所で説明されるように、ユーザ支援アプリケーション122は、前方の道路シーン状況に対するユーザの精通度に応じて、リアルタイムおよび適切なレベルでユーザに指示を与えることができる。さらなる例として、いくつかの実施形態では、ユーザの移動プラットフォーム118および/またはクライアントデバイス124上で少なくとも部分的に動作するユーザ支援アプリケーション122のインスタンスは、移動プラットフォーム118および/またはクライアントデバイス124の1つまたは複数の出力デバイス(たとえば、スピーカシステム、ディスプレイ上に表示されるグラフィカルユーザインターフェースなど)を介して、精通度アプリケーション104によって決定された精通度インデックスに基づいて決定されたユーザ支援指示をユーザに与えることができる。
いくつかの実施形態では、ユーザ支援アプリケーション122は、1つもしくは複数のコンピュータデバイスの1つもしくは複数のプロセッサによって実行可能なソフトウェア、限定はしないが、フィールドプログラマブルゲートアレイ(FPGA)、特定用途向け集積回路(ASIC)などのハードウェア、および/またはハードウェアとソフトウェアの組合せなどを使用して実装することができる。ユーザ支援アプリケーション122は、少なくとも図7を参照して下記でより詳細に記載される。
図2Aは、サーバ102、移動プラットフォーム118、またはクライアントデバイス124のいずれかのアーキテクチャを表すことができる、コンピューティングデバイス200のブロック図である。
図示されるように、コンピューティングデバイス200は、1つまたは複数のプロセッサ202と、1つまたは複数のメモリ204と、通信ユニット206と、1つまたは複数のセンサ120と、1つまたは複数の入力および/または出力デバイス210と、1つまたは複数のデータストア212とを含む。コンピューティングデバイス200のこれらの構成要素は、バス208によって通信可能に結合される。コンピューティングデバイス200がサーバ102を表す実施形態では、コンピューティングデバイス200は、精通度アプリケーション104のインスタンスと、精通度グラフデータベース106と、ナビゲーションデータベース108とを含む場合がある。コンピューティングデバイス200が移動プラットフォーム118またはクライアントデバイス124を表す実施形態では、コンピューティングデバイス200は、ユーザ支援アプリケーション122のインスタンスと、精通度アプリケーション104のインスタンスとを含む場合がある。これらの実施形態は例にすぎず、本明細書の中の他の場所で説明されるように、他の構成も可能であることを理解されたい。さらに、図2Aに図示されるコンピューティングデバイス200は例として提供され、コンピューティングデバイス200は、本開示の範囲から逸脱することなく、他の形態を取り、追加のまたはより少ない構成要素を含む場合があることを理解されたい。たとえば、図示されていないが、コンピューティングデバイス200は、様々なオペレーティングシステム、ソフトウェア構成要素、ハードウェア構成要素、および他の物理構成を含む場合がある。
コンピューティングデバイス200が移動プラットフォーム118に含まれたり組み込まれたりする実施形態では、コンピューティングデバイス200は、プラットフォームバス(たとえば、CAN)、1つもしくは複数のセンサ(たとえば、1つもしくは複数の制
御ユニット(たとえば、ECU、ECM、PCMなど)、自動車用センサ、音響センサ、化学センサ、生体工学センサ、位置センサ(たとえば、GPS、コンパス、加速度計、ジャイロスコープなど)、スイッチ、およびコントローラ、カメラなど)、エンジン、動力伝達装置、サスペンションコンポーネント、計装、温度調節器、ならびに/または、必要な任意の他の電気的、機械的、構造的、および機械的な構成要素などの、様々な構成要素を含み、かつ/またはそれらに結合される場合がある。
プロセッサ202は、様々な入力/出力演算、論理演算、および/または数学演算を実施することにより、ソフトウェア命令を実行することができる。プロセッサ202は、たとえば、複合命令セットコンピュータ(CISC)アーキテクチャ、縮小命令セットコンピュータ(RISC)アーキテクチャ、および/または命令セットの組合せを実装するアーキテクチャを含む、データ信号を処理する様々なコンピューティングアーキテクチャを有する場合がある。プロセッサ202は、実体および/または仮想であり得るし、シングルコアまたは複数の処理ユニットおよび/もしくはコアを含む場合がある。いくつかの実施形態では、プロセッサ202は、電子表示信号を生成し、ディスプレイデバイス(図示せず)に供給し、画像の表示をサポートし、画像を取り込み送信し、様々なタイプの特徴抽出およびサンプリングなどを含む複雑なタスクを実行することが可能であり得る。いくつかの実施形態では、プロセッサ202は、バス208を介してメモリ204に結合されて、そこからデータおよび命令にアクセスし、その中にデータを記憶することができる。バス208は、たとえば、メモリ204、通信ユニット206、センサ120、入力/出力デバイス210、および/またはデータストア212を含む、コンピューティングデバイス200の他の構成要素にプロセッサ202を結合することができる。
メモリ204は、データを記憶し、コンピューティングデバイス200の他の構成要素にデータアクセスを提供することができる。いくつかの実施形態では、メモリ204は、プロセッサ202によって実行され得る命令および/またはデータを記憶することができる。たとえば、コンピューティングデバイス200の構成に応じて、メモリ204は、アプリケーション104および/または122のうちの1つまたは複数を記憶することができる。メモリ204は、たとえば、本明細書に記載された様々なデータ、オペレーティングシステム、ハードウェアドライバ、他のソフトウェアアプリケーション、データベースなどを含む、他の命令およびデータを記憶することも可能である。メモリ204は、プロセッサ202およびコンピューティングデバイス200の他の構成要素との通信のために、バス208に結合することができる。
メモリ204は、プロセッサ202によって、またはプロセッサ202とともに処理するための、命令、データ、コンピュータプログラム、ソフトウェア、コード、ルーチンなどを、含有、記憶、通信、伝搬、または搬送することができる任意の有形非一時的な装置またはデバイスであり得る、非一時的コンピュータ使用可能(たとえば、読取り可能、書込み可能などの)媒体を含む。いくつかの実施形態では、メモリ204は、揮発性メモリおよび不揮発性メモリのうちの1つまたは複数を含む場合がある。たとえば、メモリ204は、限定はしないが、ダイナミックランダムアクセスメモリ(DRAM)デバイス、スタティックランダムアクセスメモリ(SRAM)デバイス、ディスクリートメモリデバイス(たとえば、PROM、FPROM、ROM)、ハードディスクドライブ、光ディスクドライブ(CD、DVD、Blu−ray(登録商標)など)のうちの1つまたは複数を含む場合がある。メモリ204は単一のデバイスであり得るか、または複数のタイプのデバイスおよび構成を含む場合があることを理解されたい。
通信ユニット206は、通信ユニット206がワイヤレス接続および/または有線接続を使用して、(たとえば、ネットワーク112を介して)通信可能に結合された他のコンピューティングデバイスにデータを送信し、それらからデータを受信する。通信ユニット
206は、データを送受信するための1つまたは複数の有線インターフェースおよび/またはワイヤレストランシーバを含む場合がある。通信ユニット206は、ネットワーク112に結合し、(構成に応じて)クライアントデバイス124、移動プラットフォーム118、および/またはサーバ102などの他のコンピューティングノードと通信することができる。通信ユニット206は、上記で説明された通信方法などの標準の通信方法を使用して、他のコンピューティングノードとデータを交換することができる。
データストア212は、データを記憶する非一時的記憶媒体を含む。非限定的で例示的な非一時的記憶媒体には、ダイナミックランダムアクセスメモリ(DRAM)デバイス、スタティックランダムアクセスメモリ(SRAM)デバイス、フラッシュメモリ、ハードディスクドライブ、フロッピーディスクドライブ、ディスクベースのメモリデバイス(たとえば、CD、DVD、Blu−ray(登録商標)など)、フラッシュメモリデバイス、または他の何らかの既知の有形揮発性もしくは不揮発性ストレージデバイスが含まれ得る。図2Aによって表されるコンピューティングデバイスに応じて、データストアは、精通度グラフデータベース106および/またはナビゲーションデータベース108のうちの1つまたは複数を表すことができる。
データストア212は、コンピューティングデバイス200、あるいは、コンピューティングデバイス200とは異なるが結合されたまたはアクセス可能な別のコンピューティングデバイスおよび/またはストレージシステムに含まれる場合がある。いくつかの実施形態では、データストア212は、サーバ102、移動プラットフォーム118、および/またはクライアントデバイス124によって動作可能なデータベース管理システム(DBMS)と共同して、データを記憶することができる。たとえば、DBMSは、構造化照会言語(SQL)のDBMS、非SQLのDBMSなどを含む可能性がある。場合によっては、DBMSは、行と列から構成される多次元テーブルにデータを記憶し、プログラムに基づいた演算を使用して、データの行を操作、すなわち、挿入、照会、更新、および/または削除することができる。
入力/出力(I/O)デバイス210は、情報を入力および/または出力するための任意の標準デバイスを含む。非限定的で例示的なIOデバイス210には、ユーザ128に道路シーン情報を表示するためのスクリーン(たとえば、LEDベースのディスプレイ)、ユーザ128に音声情報を出力するためのオーディオ再生デバイス(たとえば、スピーカ)、音声コマンドおよび/もしくはボイスコマンドを取り込むためのマイクロフォン、キーボード、タッチスクリーン、ポインティングデバイス、インジケータ、ならびに/または、ユーザ128との通信および/もしくは対話を容易にするための任意の他のI/O構成要素が含まれ得る。入力/出力デバイス210は、直接または介在するI/Oコントローラを介して、コンピューティングデバイス200に結合することができる。
精通度アプリケーション104は、様々な道路シーンに対するユーザの精通度を決定するように実行可能なコンピュータ論理である。いくつかの実施形態では、精通度アプリケーション104は、道路シーンデータ(たとえば、センサ120および/またはデータストア212からの道路シーン画像)を受信し、道路シーンデータを処理して、マクロシーンレベルおよびミクロシーンレベルで様々なタイプのシーン情報を抽出することができる。精通度アプリケーション104は、データストア212に結合されて、様々な道路シーンに対するユーザの精通度を決定するために必要とするデータを取り出すことができる。下記でより詳細に説明されるように、精通度アプリケーション104は、道路シーンデータ、精通度グラフデータ、ナビゲーション履歴データ、ユーザデータ、センサデータ、CANデータ、および/または他のデータタイプを使用して、精通度を決定することができる。さらなる例では、精通度アプリケーション104は、精通度グラフデータベース106に結合されて、精通度グラフデータを記憶、取出し、および/または他の方法で操作す
ることができ、ナビゲーションデータベースに結合されて、ナビゲーション履歴データを取り出すことができ、(たとえば、バス208および/または様々なコントローラを介して)センサに結合されて、センサデータを受信することができ、ユーザ支援アプリケーション122などの他の構成要素に結合されて、データを供給および/または受信することなどができる。
ユーザ支援アプリケーション122は、(たとえば、バス208および/または様々なコントローラを介して)精通度アプリケーション104からユーザの精通度インデックスを受信し、入力/出力デバイス210を介してユーザにユーザ支援(たとえば、走行ガイダンス)を提供するように実行可能なコンピュータ論理である。
図2Bは、例示的な精通度アプリケーション104のブロック図である。図示されるように、精通度アプリケーション104は、シーンプロセッサ252と、シーン特徴量作成器254と、道路シーンカテゴライザ256と、ユーザモニタ258と、精通度レベル分類器260とを含む場合があるが、精通度アプリケーション104は、限定はしないが、構成エンジン(configuration engine)、他のトレーニングエンジン(training engine
)、暗号化エンジン(encryption engine)などのさらなる構成要素を含む場合があり、
かつ/または、これらの様々な構成要素は、単一のエンジンに組み合わされるか、もしくはさらなるエンジンに分割される場合があることを理解されたい。
シーンプロセッサ252、シーン特徴量作成器254、道路シーンカテゴライザ256、ユーザモニタ258、および精通度レベル分類器260は、ソフトウェア、ハードウェア、または上記の組合せとして実装することができる。いくつかの実施形態では、シーンプロセッサ252、シーン特徴量作成器254、道路シーンカテゴライザ256、ユーザモニタ258、および精通度レベル分類器260は、バス208および/またはプロセッサ202により、互いに、かつ/またはコンピューティングデバイス200の他の構成要素に、通信可能に結合することができる。いくつかの実施形態では、構成要素104、252、254、256、258、および/または260のうちの1つまたは複数は、それらの機能を実現するためにプロセッサ202によって実行可能な命令のセットである。さらなる実施形態では、構成要素104、252、254、256、258、および/または260のうちの1つまたは複数は、メモリ204に記憶可能であり、それらの機能を実現するためにプロセッサ202によってアクセス可能かつ実行可能である。上記の実施形態のいずれにおいても、これらの構成要素104、252、254、256、258、および/または260は、プロセッサ202およびコンピューティングデバイス200の他の構成要素との連携および通信に適合することができる。
精通度アプリケーション104、およびその構成要素252、254、256、258、および260は、少なくとも図3〜図7を参照して下記でより詳細に記載される。
図3は、道路シーンに対するユーザ精通度を決定するための例示的な方法300のフローチャートである。ブロック302において、シーン特徴量作成器254は、シーン情報から現在の道路シーンを記述するシーン特徴量を作成する(たとえば、プロセッサ202がプログラムを実行する)。いくつかの実施形態では、現在の道路シーンは、現在ユーザの移動プラットフォーム118の前にある道路シーンであり、1つまたは複数のセンサ120(たとえば、車道センサ702)によって取り込まれる。いくつかの実施形態では、シーン情報は、センサデータから抽出され、現在の道路シーンを記述する1つまたは複数の道路シーン態様を含む場合がある。シーン特徴量は、現在の道路シーンの記述である。いくつかの実施形態では、シーン特徴量は、本明細書の中の他の場所で説明されるように、凝縮された表現でシーン情報を要約することができる。
図4Aは、道路シーン画像内で描写される現在の道路シーンを記述するシーン特徴量を作成するための例示的な方法302のフローチャートである。
ブロック402において、車道センサ702は、特定の時点における車道の道路シーン画像を取り込むことができる。詳細には、車道の方を向いた車道センサ702は、移動プラットフォーム118の中に据え付けられて、移動プラットフォーム118の周囲の環境を記述する道路シーンデータを取り込むことができる。たとえば、車道センサ702は画像データを取り込むことができる。画像データは、移動プラットフォーム118が道路に沿って移動するにつれて、ある特定のレート/間隔(たとえば、0.5秒ごと、1秒ごと、3秒ごとなど)で取り込まれた道路シーン画像を含む場合がある。いくつかの実施形態では、取込み間隔は、道路シーンのシーンレベルのコンテキストおよび/または複雑度に応じて変化する場合がある。たとえば、車道センサ702は、道路区間が複雑な道路構造を有しているとき、またはシーン内で検出された動的物体の数がしきい値を超えるとき、より頻繁に(たとえば、0.2秒ごとに)外部シーンを取り込むようにしてもよい。さらなる実施形態では、取込みレート/間隔は、標準フレームレート、可変フレームレートなどであり得る。
ブロック404において、シーン特徴量作成器254は、道路シーン画像を使用してシーン特徴量を作成することができる。いくつかの実施形態では、シーン特徴量は特徴量ベクトルを含む場合があるが、他のデータ表現も可能であり、考えられる。詳細には、シーンプロセッサ252は、車道センサ702によって取り込まれた道路シーン画像を処理してシーン情報を抽出することができ、シーン特徴量作成器254は、抽出されたシーン情報から現在の道路シーンのシーン特徴量を算出することができる。
いくつかの実施形態では、シーンプロセッサ252は、センサデータを使用してシーン情報を特定する(たとえば、プロセッサ202がプログラムを実行する)。たとえば、シーンプロセッサ252は、センサデータを受信するために、(たとえば、バス208および/もしくはプロセッサ202を介して)センサ120やデータストア212に通信可能に結合することができ、センサデータを処理してシーン情報を抽出することができる。さらなる非限定的な例として、シーンプロセッサ252は、1つまたは複数の光センサやレーダーセンサ(たとえば、1つまたは複数のカメラ)から画像データを受信し、画像データを処理して、特定の道路区間に関連付けられた様々な道路シーン態様を抽出することができる。
いくつかの実施形態では、シーンプロセッサ252は、ウィンドウ化アルゴリズム(windowing algorithm)を使用して、道路シーンデータ(たとえば、車道センサ702によ
って取り込まれた道路シーン画像)から、1つまたは複数の道路シーン態様を含むシーン情報を抽出することができる。詳細には、シーンプロセッサ252は、道路シーン画像内で様々なサイズの検出ウィンドウをスライドして、勾配・テクスチャ情報を取り込み、テンプレート画像と照合することで、シーン内に現れる1つまたは複数の物体を識別することができる。たとえば、シーンプロセッサ252は、様々なアイテム、たとえば、空、水平線、車道、路側構造体、ビルディング、車両、歩行者、交通規制などを、画像から検出することができる。シーンプロセッサ252は、これらの検出対象に応じた種々のサイズのテンプレート画像を有する。いくつかの実施形態では、シーンプロセッサ252は、ミクロレベルのシーン複雑度で現在の外部状況を記述する様々な道路シーン態様を、画像から特定することもできる。
たとえば、シーンプロセッサ252は、所与の道路シーンの全体的な空間情報(spatial information)および空間包囲特性(spatial envelop property)を分析して、シーン
内に存在する物体であるシーン構成物(たとえば、動的物体、静的物体など)、検出され
た物体の物体タイプあるいは種類(たとえば、工事車両、道路工事作業員、警察官、車線境界、バリケード、交通標識など)、各物体タイプに関連付けられた項目の数(歩行者の人数、交通コーンの総数)、シーン内の検出された物体の相対位置および/または空間分布(たとえば、他の移動プラットフォーム118の車線位置、交通コーン間の相対距離、周囲の車両配置)などを特定することができる。いくつかの実施形態では、シーンプロセッサ252は、画像データに基づいて、気象状態(たとえば、晴れ、部分的に曇り、豪雨)、明暗状態(たとえば、明るい、低い、通常)、シーンの状況を表すシーンレベルコンテキスト(たとえば、少ない、適度な、混雑した交通など)、移動プラットフォーム118が移動している道路上のエリア(たとえば、車線3などの車線番号、追越車線などの車線タイプ)、走行可能車線幅(たとえば、元の車線幅の3分の2)、開いている車線の数(閉鎖されておらず利用可能な車線の数)などの、動的外部状況の他の道路シーン態様を特定することもできる。シーン分析および物体検出のための他の技法、たとえば、GIST画像記述子、Bag of Word(BoW)モデル、ローカルバイナリパターン(LBP)モデル、および/または他のビジョンアルゴリズムなども適用可能であり、考えられる。
いくつかの実施形態では、シーン特徴量作成器254は、取り込まれたシーン画像からシーンプロセッサ252が抽出したミクロシーン情報に基づいて、現在の道路シーン用のシーン特徴量を作成することができる。詳細には、シーン特徴量作成器254は、外部シーンを記述するシーン特徴量に様々な道路シーン特徴および道路シーン態様を組み合わせることができる。いくつかの実施形態では、シーン特徴量は、ミクロシーンレベルの複雑度でユーザの前にある道路シーン状況の凝縮された記述であり得る。たとえば、シーン特徴量は、現在の道路シーンのシーン構成およびシーン配置を記述することができる。いくつかの実施形態では、シーン構成は、どの動的物体がシーン内に見えるか、これらの検出された動的物体の物体タイプ、各物体タイプの項目の数などを示すことができる。いくつかの実施形態では、道路シーンの空間局所情報は、シーン配置を表すことができる。たとえば、シーン配置は、シーン内の検出された動的物体の相対位置、相対距離、および/または空間分布を記述することができる。いくつかの実施形態では、シーン特徴量は、本明細書の中の他の場所で説明されるように、他の道路シーン態様(たとえば、走行可能車線幅、開いている車線の数、車両/歩行者の交通に起因する各車線の渋滞情報など)を含む場合もある。
いくつかの実施形態では、シーン特徴量は、均一なフォーマットの表現で様々な道路シーンを効果的に記述するために、あらかじめ決定された構造に準拠することができる。たとえば、シーン特徴量作成器254は、特徴量ベクトルの形態で現在の道路シーン用のシーン特徴量を算出することができる。いくつかの実施形態では、(特徴量インデックスとも呼ばれる)特徴量ベクトルは、複数の数値を含む多次元ベクトルであり得るし、各値は道路シーン属性または道路シーン態様を記述する。他のタイプの多次元ベクトル(たとえば、バイナリベクトル、文字ベクトル、論理値のベクトルなど)も可能であり、考えられる。この本開示では、シーン特徴量を特徴量ベクトルの形態で作成することができるので、シーン特徴量は、特徴量ベクトルおよび/または特徴量インデックスと互換的に呼ばれる場合がある。
たとえば、図8に示されるように、シーン特徴量作成器254は、Day4の時刻t=t4における道路シーンを記述するために、[100,5,2,125,5,4,150,1,20,1]という特徴量ベクトルv4を作成することができる。この例では、特徴量ベクトルの最初の3つの値(100,5,2)は、シーン内に工事コーンが存在すること、そして、5個が約2フィート離れて置かれていることを示す。次の3つの値(125,5,4)は、道路シーンが道路工事作業員を含むこと、そして5人が約4フィートの距離を置いて作業ゾーン内に広がっていることを示す。最後の4つの値(150,1,20
,1)は、シーン内に工事車両が存在することを示す。たとえば、工事車両の位置は基準点から20フィート離れており、工事車両は作業ゾーン内で動作中である。このように特徴量ベクトルは、物体を表す識別子と物体ごとに定義されたフィールド(可変個数)の複数の組み合わせとして表現することができる。
さらなる例として、図8をまた参照すると、Day3の時刻t=t3における道路シーンは、[100,5,2,125,2,8,150,0,0,0]の特徴量ベクトルv3によって記述することができる。この例では、特徴量ベクトルの最初の3つの値(100,5,2)は、シーン内で工事コーンが検出され、5個が約2フィート離れて置かれていることを示す。次の3つの値(125,2,8)は、道路シーンが2人の道路工事作業員を含み、彼らが互いから8フィート離れて作業していることを示す。最後の4つの値(150,0,0,0)は、シーン内に工事車両が存在しないことを示し、2つのそれぞれの値はシーン内の相対位置を表し、したがって、工事車両の動作状況はゼロであると判断される。
さらなる例として、図8に図示されるDay3の時刻t=t2における道路シーンは、[100,5,2,125,0,0,150,0,0,0]の特徴量ベクトルv2によって記述することができる。この例では、特徴量ベクトルの最初の3つの値(100,5,2)は、シーン内で工事コーンが検出され、5個が約2フィート離れて置かれていることを示す。次の3つの値(125,0,0)は、道路シーンが道路工事作業員を含んでいないことを示し、最後の4つの値(150,0,0,0)は、道路シーンが工事車両を含んでいないことを示す。この例では、本明細書の中の他の場所に記載される他の道路シーン態様を記述する他のベクトル値は、現在ユーザの前にある外部状況の包括的な表現を作成するために、特徴量ベクトル内でインデックスを付けることができる。
再び図3を参照すると、ブロック304において、精通度レベル分類器260は、ユーザに関連付けられた精通度グラフに含まれるシーンクラスタの中から、現在の道路シーンに対応する道路シーンクラスタを識別する(たとえば、プロセッサ202がプログラムを実行する)。精通度レベル分類器260は、現在の道路シーンが属するマクロシーンカテゴリに基づいて、現在の道路シーンの道路シーンクラスタを識別することができる。精通度レベル分類器260は、ストレージからマクロシーンカテゴリを取り出し、かつ/または道路シーンカテゴライザ256からマクロシーンカテゴリを受信し、次いで、マクロシーンカテゴリを使用して精通度グラフ内の道路シーンクラスタを識別することができる。いくつかの実施形態では、道路シーンカテゴライザ256は、標準シーン処理アルゴリズムを使用して道路シーンを処理し、マクロシーンカテゴリに分類することができる。さらなる実施形態では、道路シーンカテゴライザ256は、シーン特徴量を使用して道路シーンをマクロシーンカテゴリに分類することができる。
図4Bは、現在の道路シーンを特定し、現在の道路シーンに対応する道路シーンクラスタを識別するための例示的な方法304のフローチャートである。ブロック406において、道路シーンカテゴライザ256は、現在の道路シーンをマクロシーンカテゴリ(たとえば、地区のタイプ)に分類する(たとえば、プロセッサ202がプログラムを実行する)。例示的なマクロシーンカテゴリには、限定はしないが、都市カテゴリ、地方カテゴリ、住居カテゴリ、工事ゾーンカテゴリ、高速道路カテゴリ、事故カテゴリなどが含まれる。
いくつかの実施形態では、道路シーンカテゴライザ256は、現在の道路シーンを、対応する確率とともに1つまたは複数のマクロシーンカテゴリ(たとえば、地区のタイプ)に分類し、次いで、最も高い確率を有するマクロシーンカテゴリを選択することができる。次いで、道路シーンカテゴライザ256は、分類が正しかったか否かを示すフィードバ
ックを受信すると、将来の繰返しのために、カテゴリ決定に使用される1つまたは複数の変数を更新する。これにより、フィードバックに基づく学習が行われ、道路シーンカテゴライザ256はより精度よく道路シーンを分類できるようになる。
いくつかの実施形態では、道路シーンカテゴライザ256は、(たとえば、ミクロシーン情報によって反映されるように)道路シーン内で何が検出されたかに応じて、様々なセマンティックカテゴリに道路シーン状況を分類することができる。たとえば、本明細書の中の他の場所で説明されるように、道路シーンカテゴライザ256は、シーン特徴量内に含まれる物体(の種類)などのミクロシーン情報を使用して道路シーンを分類することができるが、他の適切な変形形態も可能であり、考えられる。たとえば、図8の例示的なDay1に示されるように、高層ビル、混み合った通り、および混雑した歩道を含むものとして、シーン特徴量が道路シーンを記述する(たとえば、特徴量インデックスの値が歩行者間および車両間の小さい相対距離を示す)場合、道路シーンカテゴライザ256は、これらの特性を既知の道路シーンカテゴリに関連付けられた事前に記憶された特性と比較することにより、これらの特性に基づいて、現在の道路シーンのマクロシーンカテゴリを「都市」シーンとして識別することができる。
さらなる例では、図8の例示的なDay3およびDay4に示されるように、交通コーン、道路工事作業員、および/または工事車両を有するものとして車道環境を記述するデータをシーン特徴量が含む場合、道路シーンカテゴライザ256は、これらの特性に基づいて、現在の道路シーンのマクロシーンカテゴリを「工事ゾーン」シーンとして識別することができる。別の例として、シーン特徴量は、救急車、警察官、および損壊車両を有する車道シーンを記述するデータを含み、道路シーンカテゴライザ256は、これらの特性に基づいて、現在の道路シーンを「事故」の道路シーンカテゴリに分類することができる。
マクロシーン情報はマクロレベルのシーン複雑度で現在の道路シーンを粗く記述することができるので、マクロシーンカテゴリはマクロシーン情報を備えることができるが、ミクロシーン情報は、本明細書の中の他の場所で説明されるように、道路シーンについての具体的な詳細を含む。さらなる例として、シーン特徴量は、ミクロシーン情報として、現在の道路シーンに関する具体的な詳細を含む場合がある。場合によっては、特徴量ベクトルは、ユーザが現時点で処理する必要がある道路シーンの簡潔で包括的な記述を表す。いくつかの実施形態では、道路シーンカテゴライザ256は、特徴量ベクトルを更新して、現在の道路シーンを記述する特徴量ベクトルにマクロシーンカテゴリを組み込むことができる。いくつかの実施形態では、マクロシーン情報(たとえば、マクロシーンカテゴリ)およびミクロシーン情報(たとえば、シーン特徴量)は、精通度レベル分類器260に別々に供給されて、前方の道路シーン状況に対するユーザの精通度を決定することができる。
いくつかの実施形態では、精通度レベル分類器260は、精通度グラフデータベース106に結合されて、移動プラットフォーム118のユーザに関連付けられた精通度グラフを取り出すことができる。ユーザに関連付けられた例示的な精通度グラフが図9に描写される。精通度グラフは、ユーザが経験した様々な道路シーンの履歴を含む。グラフは、様々なインスタンスが共有する属性に基づいて、それらのインスタンスを関連付けることができる。たとえば、様々な工事ゾーンは、「工事」の共通属性に基づいて関連付けることができる。本明細書の中の他の場所でさらなる例が説明される。
いくつかの実施形態では、ユーザの精通度グラフは、ユーザが経験した道路シーン履歴を記述するシーン特徴量履歴を含む。詳細には、シーン特徴量履歴は、ミクロシーンレベルで過去にユーザが経験した道路シーン状況を記述することができるが、シーン特徴量は
、ミクロシーンレベルで現在ユーザの前方にある道路シーン状況を記述する。ユーザの精通度グラフは、ユーザの走行履歴内の以前の走行インスタンスについてシーン特徴量作成器254が作成したシーン特徴量を集めた集合であり得る。結果として、シーン特徴量と同様に、各シーン特徴量履歴も、(特徴量インデックス履歴とも呼ばれる)特徴量ベクトル履歴によって表すことができ、特徴量ベクトル履歴はまた、複数の値(たとえば、数値、バイナリ値、文字値、論理値など、および/またはそれらの任意の組合せ)を含む多次元ベクトルであり得る。特徴量ベクトル履歴に含まれる値は、ユーザが経験した対応する道路シーン履歴の道路シーン属性、様々な道路シーン態様などを記述することができる。
いくつかの実施形態では、現在の道路シーンを記述するシーン特徴量は、ユーザの走行履歴が増加するにつれて、道路シーン履歴を記述するシーン特徴量履歴を充実させることができる。たとえば、図8に図示される複数の道路シーン状況を参照すると、Day4の時刻t=t4における道路シーン状況に対するユーザのリアルタイム精通度インデックスを決定するとき、時刻t=t4(現在)においてユーザの前にある道路シーンを記述するベクトルv4(たとえば、[100,5,2,125,5,4,150,1,20,1])は、現在の道路シーンのシーン特徴量と見なされるが、Day3の時刻t=t3(過去)においてユーザの前にある道路シーン状況を記述するベクトルv3(たとえば、[100,5,2,125,2,8,150,0,0,0])は、道路シーン履歴のシーン特徴量履歴と見なされる。これら2つの特徴量ベクトルは精通度グラフに含まれ、シーン特徴量作成器254が後続の時点において現在の道路シーン状況についての新しいシーン特徴量を作成すると、シーン特徴量履歴になる。有利なことに、ユーザの精通度グラフは、下記でより詳細に記載されるように、現在の道路シーンに対応するシーン特徴量を含むように更新することができ、結果として、ユーザの精通度グラフは、ユーザが遭遇するあらゆる道路シーン状況を取り込むことができる。これにより、ユーザが毎日走行を続けるにつれて、グラフが時間とともに自動的に発展することが可能になる。
いくつかの実施形態では、精通度グラフに含まれる(シーン特徴量データポイントとも呼ばれる)シーン特徴量間の近接度は、マクロレベルおよび/またはミクロレベルでシーンコンテキスト内のそれらの類似性を反映することができる。詳細には、ミクロシーンレベルで、精通度グラフ内の2つのシーン特徴量履歴間の相対距離および/またはそれらのシーン特徴量内の1つもしくは複数の値は、(特徴量の値によって表されるように、たとえば、シーン構成、シーン配置などの観点から)特徴量に対応する道路シーンにどれほど近く関係するかを示すことができる。一例として、マクロシーンレベルで、同じマクロシーンカテゴリに属するシーン特徴量履歴は、一緒に集まる可能性がある。さらに、そのクラスタ内で、(ミクロシーンレベルで)共通の属性を有する様々なシーン特徴量は、本明細書の中の他の場所で説明されるように、照会/検索され得るさらなるデータクラスタを形成することができる。シーンクラスタは、例えば、過去のシーン特徴量に対して既存の任意のクラスタリングアルゴリズムを適用して生成することもできるし、共通するマクロシーン情報を有するシーン特徴量が1つのクラスタを形成するものとして生成することもできる。
たとえば、図8に図示される時刻t=t2、t=t3、およびt=t4における道路シーン状況のシーン特徴量履歴は、両方とも、全体的に同様の空間配置に分布する工事コーンおよび/または道路工事作業員および/または工事車両を有する道路シーンを記述する。これらの道路シーン状況を表すシーン特徴量履歴(たとえば、特徴量ベクトルv2、v3、およびv4)は、したがって、精通度グラフ内で互いに近接し、一緒にグループ化されて、「工事ゾーン」のそれらの共通マクロシーンカテゴリに対応するクラスタ、たとえば、図9に示される「工事」のクラスタを形成することができる。対照的に、図8に図示される時刻t=t1における道路シーン状況のシーン特徴量履歴は、空いた車道を有する都市シーンを記述することができる。このシーン特徴量履歴のベクトル値は、工事コーン
、道路工事作業員、および/または工事ゾーンシーンの他の道路シーン態様を記述しないので、時刻t=t2、t=t3、およびt=t4における道路シーンを記述するシーン特徴量履歴のベクトル値とは実質的に異なる。結果として、時刻t=t1において取り込まれた道路シーンのシーン特徴量履歴の位置は、精通度グラフ内のこれら3つのシーン特徴量履歴の位置から離れており、これら3つのシーン特徴量に関連付けられた「工事」の道路シーンクラスタに含まれない。代わりに、時刻t=t1における道路シーンのシーン特徴量履歴の位置は、特徴量インデックス履歴の値におけるそれらの類似性に起因して「都市」として分類された道路シーンを記述する様々な他のシーン特徴量履歴により近接することができ、したがって、図9に図示される「都市」の道路シーンクラスタにグループ化することができる。
いくつかの実施形態では、ユーザの精通度グラフは、ユーザの走行履歴内のそれぞれのマクロシーンカテゴリに関連付けられた複数の道路シーンクラスタを含む場合がある。たとえば、図9に示されるように、ユーザの精通度グラフは、住居シーンクラスタ、地方シーンクラスタ、高速道路シーンクラスタ、工事シーンクラスタ、および都市シーンクラスタを含む場合がある。道路シーンクラスタの他の例が可能であり、考えられる。いくつかの実施形態では、精通度グラフは、ユーザが頻繁に遭遇していない道路シーン状況履歴を表す、1つまたは複数の孤立(isolated)/分散(scattered)されたシーン特徴量履歴
を含む場合もある。ユーザが走行を続けるにつれて、類似する道路シーン状況が発生し、それらのシーン特徴量履歴がユーザの精通度グラフに更新(たとえば、挿入)される。いくつかの実施形態では、一カ所に集まったシーン特徴量履歴の数がしきい値を満たすと、これらの特徴量データポイントについて新しいシーンクラスタが確立される。たとえば、精通度レベル分類器260は、これらの孤立したシーン特徴量履歴について、新しい道路シーンクラスタを作成する。いくつかの実施形態では、精通度レベル分類器260は、k平均クラスタリングアルゴリズムを使用して、近接するシーン特徴量データポイントを道路シーンクラスタにグループ化することができる。その他非階層型クラスタリングアルゴリズムや階層型クラスタリングアルゴリズムも可能であり、考えられる。いくつかの実施形態では、様々なマクロシーンに関連付けられたデータポイントは、同じ精通度グラフに含まれ、同じ精通度グラフに関連付けられ、かつ/または異なる精通度グラフにセグメント化される場合がある。
再び図4Bを参照すると、ブロック408において、精通度レベル分類器260は、現在の道路シーンに対応する道路シーンクラスタを識別する(たとえば、プロセッサ202がプログラムを実行するする)。いくつかの実施形態では、道路シーンクラスタは、道路シーンカテゴリを使用して、ユーザに関連付けられた精通度グラフから選択することができる。これらまたは他の実施形態では、道路シーンクラスタは、データポイント密度を示す密度パラメータ、および/またはデータポイントがその中に存在するべき距離しきい値を指定する距離パラメータを使用して、選択することができる。他のフィルタおよび/または選択パラメータも可能であり、考えられる。
道路シーンカテゴライザ256が時刻t=t4において現在前方にある道路シーンを「工事ゾーン」のマクロシーンカテゴリに分類することができる上記の例を続けると、精通度レベル分類器260は、次いで、精通度グラフ内で「工事ゾーン」のカテゴリに対応する道路シーンクラスタ、たとえば、図9に図示されるシーンクラスタ「工事」を特定することができる。本明細書の中の他の場所で説明されるように、いくつかの実施形態では、道路シーンクラスタ「工事」は、「工事ゾーン」のそれらの共通マクロシーンカテゴリに基づいて、互いに近接し、一カ所に集まった複数のシーン特徴量履歴を含む場合がある。これらの実施形態では、精通度レベル分類器260は、たとえば、時刻t=t4においてユーザの前にある道路シーンのマクロシーン情報(たとえば、マクロシーンカテゴリ)に基づいて、その現在の道路シーンに関するシーン特徴量履歴のクラスタを効果的に識別す
ることができる。これは、ユーザがしばらくの間走行し、かなりの量のユーザの走行履歴が収集された場合に、特に有利である。この例では、ユーザの精通度インデックスを算出するためにユーザの精通度グラフの関係する部分(たとえば、同様のマクロシーンのクラスタ)のみがさらに利用されるので、算出コストは、したがってかなり低減されるが、算出効率が問題ではなく、かつ/またはより大きなデータ範囲が必要な他の変形形態も可能であり、考えられる。
他の実施形態では、現在の道路シーンのマクロシーン情報(マクロシーンカテゴリ)を求めることなく、現在の道路シーンが含まれる道路シーンクラスタを決定する。例えば、特徴量空間において、現在の道路シーンのシーン特徴量の最近傍に位置する他の(過去の)シーン特徴量を決定し、この最近傍のシーン特徴量が属する道路シーンクラスタを現在の道路シーンの道路シーンクラスタとして決定してもよい。ここで利用する最近傍のシーン特徴量は1つでもよいし複数(近いものから所定数個)でもよく、複数の場合には多数決(たとえば、単純な多数決や距離に応じた重み付けをした多数決)にしたがって決定すればよい。
再び図3を参照すると、ブロック306において、精通度レベル分類器260は、処理中のシーン特徴量の、ブロック304において識別された道路シーンクラスタを備える他のシーン特徴量に対する位置を特定する(たとえば、プロセッサ202がプログラムを実行する)。いくつかの実施形態では、シーン特徴量間の距離は、シーン特徴量に含まれる値の間の類似性および/または差異に基づいて、特定することができる。
いくつかの実施形態では、方法300は、図4Cにおいて説明される動作を使用してクラスタ内でのシーン特徴量の位置を特定するが、他の適切な変形形態も可能であり、考えられる。図4Cは、詳細には、現在ユーザの前方にある道路シーンを記述するものとして作成されたシーン特徴量を、識別された道路シーンクラスタを備える他のシーン特徴量履歴と比較して、ユーザの精通度グラフ内のシーン特徴量の相対位置を特定するための例示的な方法306のフローチャートである。
ブロック410において、精通度レベル分類器260は、識別された道路シーンクラスタの特徴量ベクトル履歴に対する特徴量ベクトルの位置を特定する(たとえば、プロセッサ202がプログラムを実行する)。いくつかの実施形態では、精通度レベル分類器260は、そのベクトル値を、識別されたクラスタを備える特徴量ベクトル履歴のベクトル値と照合することにより、特徴量ベクトルの位置を特定する。本明細書の中の他の場所で説明されるように、ミクロレベルのシーン複雑度で、精通度グラフ内のシーン特徴量データポイント間の近接度は、対応するシーン特徴量のベクトル値によって示されるシーン構成およびシーン配置の観点からそれらの類似性を示すことができる。
あるいは、特徴量ベクトルのクラスタ内での位置は、クラスタ中心から特徴量ベクトルまでの距離(近接度)に基づいて(例えば、当該距離(近接度)として)、決定することもできる。
上記の例を続けると、図8に図示される時刻t=t4において発生する道路シーン状況は、工事ゾーンシーンとして分類することができ、精通度グラフ内でこのマクロシーンカテゴリに対応する道路シーンクラスタ「工事」を取り出すことができる。次いで、精通度レベル分類器260は、時刻t=t4における現在の道路シーンを記述するシーン特徴量(たとえば、[100,5,2,125,5,4,150,1,20,1]の特徴量ベクトルv4)を、道路シーンクラスタ「工事」を形成するシーン特徴量履歴、たとえば、時刻t=t3における道路シーン履歴を記述するシーン特徴量(たとえば、[100,5,2,125,2,8,150,0,0,0]の特徴量ベクトルv3)、および時刻t=t2における道路シーン履歴を記述するシーン特徴量(たとえば、[100,5,2,125,0,0,150,0,0,0]の特徴量ベクトルv2)と照合することができる。た
とえば、精通度レベル分類器260は、特徴量ベクトルv4と特徴量ベクトルv3との間の距離、特徴量ベクトルv4と特徴量ベクトルv2との間の距離を算出することができ、これらの算出された距離を比較することができる。次いで、精通度レベル分類器260は、道路シーンクラスタ「工事」内で、特徴量ベクトルv4と特徴量ベクトルv3との間の距離が特徴量ベクトルv4と特徴量ベクトルv2との間の距離よりも小さいので、時刻t=t4における道路シーンのシーン特徴量が、時刻t=t2における道路シーンのシーン特徴量よりも、時刻t=t3における道路シーンのシーン特徴量に近いと判断することができる。これらのシーン特徴量間の判断された近接度は、時刻t=t4における道路シーン状況が、時刻t=t2における道路シーン状況よりも時刻t=t3における道路シーン状況に類似しているという事実を示す。たとえば、時刻t=t4および時刻t=t3における道路シーンは、両方とも道路工事作業員を含むが、時刻t=t2における道路シーンは道路工事作業員を含まない。
ブロック412において、精通度レベル分類器260は、精通度グラフ内のシーン特徴量を含むように道路シーンクラスタを更新する(たとえば、プロセッサ202がプログラムを実行する)。詳細には、精通度レベル分類器260は、ブロック410において特定された位置に、ユーザの前方にある現在の道路シーンを記述するシーン特徴量を含めるように道路シーンクラスタを更新する。上記の例を引き続き用いて説明すると、精通度レベル分類器260は、精通度グラフ内にすでに存在し、「工事」のクラスタを備える他のシーン特徴量(たとえば、シーン特徴量v2、シーン特徴量v3など)に対するその相対近接度に基づいて、シーン特徴量v4を含めるように図9に図示される精通度グラフ内の「工事」の道路シーンクラスタを更新することができる。たとえば、精通度レベル分類器260は、「工事」の道路シーンクラスタ内で、シーン特徴量v2よりもシーン特徴量v3に近くシーン特徴量v4を配置することができる。いくつかの実施形態では、精通度レベル分類器260は、ユーザが時間とともに遭遇する様々な動的道路シーン状況を記述するシーン特徴量を用いて、ユーザの精通度グラフを絶えず更新することができる。これらのシーン特徴量は、上記で詳細に記載されたように、自動的に作成され、有利なことに、精通度グラフのクラスタ内に配置することができる。
再び図3を参照すると、ブロック308において、精通度レベル分類器260は、ブロック304において特定された現在の道路シーンを記述するシーン特徴量のクラスタ内での位置(例えば、同一のクラスタ内の他のシーン特徴量との相対的な位置関係)に基づいて、現在の道路シーンに対するユーザの精通度を推定する精通度インデックスを作成する(たとえば、プロセッサ202がプログラムを実行する)。精通度インデックス(たとえば、リアルタイム精通度インデックス、オンルート精通度インデックスとも呼ばれる)は、現在ユーザの前にある道路シーンに対するユーザの精通度を示すことができる。ある実施形態では、精通度インデックスは、現在の道路シーンを記述するシーン特徴量の位置における同一のクラスタ内の他の道路シーン特徴量の密度を基づいて決定される。他の実施形態では、精通度インデックスは、現在の道路シーンを記述するシーン特徴量のクラスタ中心からの距離に基づいて決定することができる。いくつかの実施形態では、精通度レベル分類器260は、シーン特徴量が属する道路シーンクラスタに関連付けられた1つまたは複数の精通度ゾーンを適用して、精通度インデックスを作成することができる。
図4Dは、現在の道路シーンに対するユーザの精通度インデックスを作成するための例示的な方法308のフローチャートであるが、他の適切な方法も可能であり、考えられることを理解されたい。ブロック414において、精通度レベル分類器260は、クラスタ内のシーン特徴量データポイントの密度に基づいて、精通度グラフ内の道路シーンクラスタ用のネストされた精通度ゾーンのセットを決定する(たとえば、プロセッサ202がプログラムを実行する)。本明細書の中の他の場所に記載されるように、精通度グラフ内の各シーン特徴量は、ユーザが過去に以前遭遇した道路シーン履歴を表す。結果として、精
通度グラフ内のこれらのシーン特徴量の分布パターンは、これらの道路シーン状況履歴に対してユーザがどれほど精通しているかを示すことができる。たとえば、多数のシーン特徴量履歴が緊密に一カ所に集まっている場合は、ユーザが複数回同様の道路シーンに遭遇し、したがって、同様の道路シーン状況が発生した場合にその道路シーン状況におそらく精通していることを示す。対照的に、孤立した(クラスタを形成していない)シーン特徴量データポイントは、ユーザの走行履歴において多くは発生していない道路シーン状況に対応する。結果として、同様のシーン特徴量を有する道路シーン状況は、おそらくユーザにとってなじみがなく、したがって、ユーザはより多くのガイダンスを必要とする。これは、有利なことに、ユーザが道路あるいは道路シーン状況に精通していた場合とは異なる情報をユーザが受信する結果になる。
いくつかの実施形態では、精通度レベル分類器260は、クラスタ内のどの領域が密度しきい値を満たすサブクラスタとなるかを判定することにより、シーンクラスタに関連付けられた1つまたは複数の精通度ゾーンを特定する。詳細には、精通度レベル分類器260は、道路シーンクラスタ内の様々なエリアの特徴量データポイントの密度を1つまたは複数のしきい値と比較して、特徴量データポイントの高い密度、平均(適度な)密度、または低い密度を有するものとして、これらのエリアを分類する。次いで、精通度レベル分類器260は、道路シーンクラスタのこれらのエリアを、それぞれ、「非常に精通している」、「適度に精通している」、および「あまり精通していない」精通度ゾーンとして識別する。いくつかの実施形態では、これらの精通度ゾーンは、部分的に互いを重複、含有、または除外する可能性があるので、クラスタをカバーするネスト構造を形成することができる。図10は、シーン特徴量データポイントの例示的な密度分布、および図9に図示される精通度グラフからの道路シーンクラスタ「工事」に関連付けられた例示的な精通度ゾーンを示す。図示される例では、道路シーンクラスタ「工事」は、3つの異なるしきい値を表す3つの同心円の形態で3つのネストした精通度ゾーンのセットを有する。ただし、しきい値(すなわち精通度ゾーンの境界)は任意の適切な形態または形状を有したり、交差したり、均一でなかったりしてもよく、また、任意の非幾何学的形状または幾何学的形状(たとえば、楕円、三角形、矩形など)を有してもよいことを理解されたい。また、ここでは精通度ゾーンの数が3つの場合を例に挙げて説明したが、精通度ゾーンの数はより多くても少なくてもかまわないことも理解されたい。
また、精通度インデックスは、精通度ゾーンを用いずに決定されてもよい。例えば、精通度インデックスは、特徴量空間において現在のシーン特徴量の近傍に位置する他のシーン特徴量(所定の距離あるいは近接度以内に位置する他のシーン特徴量)の数に基づいて決定されてもよい。このような、現在のシーン特徴量の近傍における他のシーン特徴量の数は、クラスタの密度と同様に扱えるためである。精通度インデックスは、上記と同様に、近傍におけるシーン特徴量の数が多いほど、より精通していることを表すように生成すればよい。なお、この手法によって精通度ゾーンを決定する場合は、精通度グラフ内のシーン特徴量をクラスタリングしたり、現在のシーン特徴量が属するクラスタを決定したりする処理は省略可能であることに留意されたい。
また、精通度インデックスは、現在のシーン特徴量のクラスタ中心からの距離に基づいて決定されてもよい。この場合、精通度インデックスは、現在のシーン特徴量がクラスタ中心に近いほどより精通していることを表すように生成する。また、精通度インデックスは、クラスタの密度も考慮して生成されてもよく、クラスタ中心からの距離が同じであってもクラスタ密度が高いほど精通度インデックスは高く(より精通していることを表す)ように決定すればよい。例えば、クラスタ中心から現在のシーン特徴量までの距離に存在するシーン特徴量の数や、クラスタ全体に存在するシーン特徴量の数を考慮して生成されてもよい。
ブロック416において、精通度レベル分類器260は、現在の道路シーンに対するユーザの精通度の推定値を反映するユーザの精通度インデックスを決定する(たとえば、プ
ロセッサ202がプログラムを実行する)。いくつかの実施形態では、精通度レベル分類器260は、現在の道路シーンを記述するシーン特徴量が、ネストされた精通度ゾーンのいずれに位置を特定することにより、精通度インデックスを決定する。たとえば、精通度レベル分類器260は、本明細書の中の他の場所で説明されるように、現在の道路シーンを記述するシーン特徴量の位置を、現在の道路シーンに対応する道路シーンのネストされた精通度ゾーンと比較する。
前の例を引き続き用いて説明すると、時刻t=t4における現在の道路シーンに対するユーザの精通度インデックスを決定すると、精通度レベル分類器260は、図10に示される道路シーンクラスタ「工事」の3つの精通度ゾーンに対する、時刻t=t4における現在の道路シーンを記述するシーン特徴量(たとえば、特徴量ベクトルv4)の位置を特定する。このシーン特徴量が最も内側の「非常に精通している」精通度ゾーン内に位置する場合、精通度レベル分類器260は、現在の道路シーン状況に対するユーザの精通度インデックスを「非常に精通している」と決定することができる。このシーン特徴量が最も内側の「非常に精通している」精通度ゾーンの外側だが、中央の「適度に精通している」精通度ゾーンの内側にある場合、精通度レベル分類器260は、現在の道路シーンに対するユーザの精通度を「適度に精通している」と分類することができる。このシーン特徴量が中央の「適度に精通している」精通度ゾーンの外側だが、最も外側の「あまり精通していない」精通度ゾーン内にある場合、精通度レベル分類器260は、ユーザの精通度インデックスを「あまり精通していない」または「精通していない」と分類することができる。
いくつかの実施形態では、精通度レベル分類器260は、精通度測度(familiarity metric)、たとえば精通度スコアの形態で、現在の道路シーンに対するユーザの精通度インデックスを作成することができる。いくつかの実施形態では、精通度スコアは、ユーザの精通度を推定する定量化された値(たとえば、数値)、たとえば、精通度の割合であり得る。いくつかの実施形態では、精通度レベル分類器260は、シーン特徴量から基準点までの距離を特定することができ、特定された距離に基づいて、現在の道路シーンに対するユーザの精通度の推定割合を算出することができる。非限定的な例として、図10に図示されるシーン特徴量の分布を参照して、精通度レベル分類器260は、特徴量ベクトルv4から3つの同心精通度ゾーンの中心点(基準点)までの距離を計算し、計算された距離に反比例する精通度の割合を推定することができる。たとえば、シーン特徴量データポイントv4から中心点までの距離が1.50である場合、ユーザは、時刻t=t4において発生する道路シーン状況に95%精通していると判定する。シーン特徴量データポイントv4から中心点までの距離が5.23である場合、ユーザは、この道路シーン状況に33%精通していると判定する。この例では、精通度レベル分類器260はさらに、たとえば、[0%,33%)の範囲内の精通度の割合を「精通していない」と、[33%,70%]の範囲内の精通度の割合を「適度に精通している」または「かなり精通している」と、(70%,100%]の範囲内の精通度の割合を「非常に精通している」と分類することができる。
図6は、シーン特徴量を強化(augment)するための例示的な方法600のフローチャ
ートである。いくつかの実施形態では、精通度レベル分類器260は、ユーザが車道上を走行しているときに(データを収集、処理、および/または送信することによってもたらされる遅延に起因する時間遅延を含む)リアルタイムで取り込まれたユーザの生理学的データ、ならびにユーザのナビゲーション履歴データを使用して、(少なくとも図3〜図4Dを参照して詳細に説明された)道路シーン画像に基づいて算出されたシーン特徴量を強化することができる。詳細には、図7に示されるように、精通度レベル分類器260は、生理学的センサ704および顔面センサ706から生理学的データを受信することができ、ナビゲーションデータベース108からナビゲーション履歴データを取り出すことがで
き、これら2つのタイプのユーザ固有データを利用して、特定の時点において車道センサ702が取り込んだ道路シーン画像から作成されたシーン特徴量を強化することができる。
ブロック602において、生理学的センサ704および顔面センサ706は、特定の時点においてユーザに関連付けられた生理学的データを特定することができる。いくつかの実施形態では、生理学的データは、生理学的センサ704によって監視されるユーザの生理学的信号、および顔面センサ706によって取り込まれるユーザの挙動データを含む場合がある。生理学的センサ704によって監視される生理学的データの非限定的な例には、心電図検査データ(たとえば、ECG/EKG信号)、呼吸データ、皮膚コンダクタンス、皮膚温度、筋肉の緊張度などが含まれる。顔面センサ706によって取り込まれるユーザの挙動データの非限定的な例には、頭の動き、眼瞼運動、眼の衝動性運動などが含まれる。生理学的信号および挙動データの他の例が可能であり、考えられる。
いくつかの実施形態では、生理学的信号は、現在の外部道路シーンと相関するユーザの体のリアルタイム反応を記述することができる。結果として、生理学的信号は、前方の道路シーンによってもたらされるユーザのストレス量および不安レベルを示すことができ、したがって、現在の道路シーン状況に対するユーザの精通度を重み付けする際に有益であり得る。一例として、移動プラットフォーム118が工事ゾーンを通って移動する。事故が発生したときに取り込まれるユーザの生理学的データ(たとえば、バイオメトリックデータ)は、ユーザの心拍が著しく上がり、ユーザの呼吸が短く速くなり、ユーザの筋肉の緊張度が増す(たとえば、ユーザがハンドルを堅く握る)ことを示す。このようにして、ユーザはパニック状態にあり、その特定のタイプの工事ゾーン、および、範囲を広げると、ユーザの精通度グラフ内で利用可能なデータポイントに応じて一般的な工事ゾーンに精通していないと判断することができる。
いくつかの実施形態では、挙動データは、現在の道路シーンに応答してユーザによって実行されるリアルタイム身体活動を記述することができる。いくつかの実施形態では、挙動データは、ユーザの健康状態ならびに道路シーンに対するユーザの注意レベルおよび警戒レベルを示すことができる。たとえば、まぶたの間の距離は、ユーザが眠いか否かを示すことができ、頭の動きは、ユーザが前方を適切に向いているかどうかを示すことができ、眼の衝動性運動および頭の左右の動きは、ユーザの道路走査の度合を示すことができる。したがって、挙動データは、道路シーン状況に対するユーザの精通度を決定するのに特に役立つことができる。たとえば、ユーザは、ユーザが前にまれにしか遭遇していない不慣れな走行状況に対処するとき、運転作業(たとえば、より頻繁に車道を走査すること、潜在的な危険に能動的に応答すること)により集中する傾向があり、より用心深い(たとえば、目が覚めて集中している)ままである。対照的に、ユーザが状況に精通している場合、ユーザは、あまり集中せず、よりリラックスする傾向がある。
いくつかの実施形態では、特定の時点において車道の道路シーン画像が取り込まれると、精通度レベル分類器260は、有利なことに、その同じ特定の時点において、またはそのあたりで取り込まれたユーザの挙動および生理学的反応を利用して、取り込まれた画像内で図示される道路シーンに対するユーザの精通度を記述するユーザの精通度インデックスを作成することができる。いくつかの実施形態では、車道センサ702によって取り込まれた道路シーン画像データを、生理学的センサ704および顔面センサ706によって取り込まれたそれぞれのユーザ監視データと関連付けるために、タイムスタンプを使用することができる。
ブロック604において、精通度レベル分類器260は、生理学的データに基づいて生理学的重み値を作成する(たとえば、プロセッサ202がプログラムを実行する)。いく
つかの実施形態では、生理学的重み値は、現在の道路シーン状況にユーザがどれほど注意深く能動的に応答しているかを推定する値(たとえば、基準値)である。たとえば、1〜100のスケールで、95の生理学的重み値は、ユーザがパニック状態にあり、および十分に集中して状況に対処可能なことを示し、95の生理学的重み値は、ユーザにストレスがかかっており、および道路シーンにかなりの注意を払っていることを示し、21の生理学的重み値は、ユーザが落ち着いており、および現在の走行状況を楽しんでいることを示すことができる。
ブロック606において、精通度レベル分類器260は、ユーザに関連付けられたナビゲーション履歴データ(あるいは走行データ履歴)を特定する(たとえば、プロセッサ202がプログラムを実行する)。詳細には、精通度レベル分類器260は、ナビゲーションデータベース108からユーザのナビゲーション履歴データを取り出す。本明細書の中の別の場所で説明されるように、ナビゲーション履歴データは、ユーザが自分の走行履歴内で経験した走行インスタンスを記述する、様々なタイプの全体情報(たとえば、ユーザが以前移動した道路区間のリスト、道路タイプ、道路速度情報、時間情報、運転容易度など)を含む場合がある。ナビゲーション履歴データは、ユーザが現在直面している道路シーン状況に対するユーザの精通度を評価するのに役立つことができる。たとえば、ユーザは、日常的に、毎日自分のオフィスに行くために下町エリアのステート通りを選ぶ。ユーザのナビゲーション履歴データは、ユーザが過去4週間に50回ステート通りを使用して通勤したことを示す。ユーザのナビゲーション履歴データは、ユーザが過去6ヶ月に10回よりも少なく州間高速道路15(I−15)を選び、最後は3ヶ月前であったことも示す。このシナリオでは、ステート通りで発生する道路シーン状況は、高速道路I−15で発生する同様の道路シーン状況よりもユーザになじみがある可能性が高い。たとえば、ユーザは、ステート通り上の車線閉鎖状況を回避する近道をすでに知っている可能性があるが、高速道路I−15で発生する同様の状況に対処するためには、相当な量のガイダンスを必要とする可能性がある。
ブロック608において、精通度レベル分類器260は、ナビゲーション履歴データに基づいてナビゲーション履歴重み値を作成する(たとえば、プロセッサ202がプログラムを実行する)。いくつかの実施形態では、ナビゲーション履歴重み値は、ユーザの個人的な走行履歴を仮定すると、道路シーンに含まれる道路区間に対するユーザの精通度を示す値であり得る。いくつかの実施形態では、ナビゲーション履歴重み値は、あらかじめ決定された時間期間履歴内でユーザが道路区間を選んだ回数に反比例する場合がある。いくつかの実施形態では、精通度レベル分類器260はさらに、ナビゲーション履歴データの他の因子(たとえば、道路タイプ、時間情報、速度情報、運転容易度など)に基づいて、ナビゲーション履歴重み値を調整することができる。いくつかの実施形態では、様々な道路区間用のナビゲーション履歴重み値は、ナビゲーションデータベース108および/またはメモリに記憶される場合があり、実行時に取り出されるか、または実行時に計算される場合がある。特定の道路区間を含む道路シーンに対するユーザの精通度インデックスを算出すると、精通度レベル分類器260は、ナビゲーションデータベース108および/もしくはメモリから対応する道路区間のナビゲーション履歴重み値を取り出すことができるか、またはリアルタイムでその値を計算することができる。
ブロック610において、精通度レベル分類器260は、生理学的重み値およびナビゲーション履歴重み値を使用して、現在の道路シーンを記述するシーン特徴量を強化する(たとえば、プロセッサ202がプログラムを実行する)。たとえば、精通度レベル分類器260は、道路シーン画像データから作成されたシーン特徴量に、追加のベクトル値として生理学的重み値およびナビゲーション履歴重み値を付加する。いくつかの実施形態では、これらの重み値をシーン特徴量と乗算することにより、それらを組み込むことができる。他の数学的および非数学的な集計も可能であり、考えられる。いくつかの実施形態では
、強化されたシーン特徴量は、道路シーン状況を記述する様々な情報(たとえば、道路シーン画像から作成されたシーン特徴量、生理学的重み値、ナビゲーション履歴重み値)を収集する合成特徴量または集合コードワード(符号語)と考えることができる。いくつかの実施形態では、精通度レベル分類器260は、次いで、少なくとも図4Cを参照して詳細に説明されたように、精通度グラフ内の対応するマクロシーンクラスタの既存のシーン特徴量履歴に対して、強化されたシーン特徴量を配置することができる。
ある実施形態では、強化されたシーン特徴量あるいは重み付けされたシーン特徴量は、シーン特徴量データポイントの密度を求める際に、重み値の数に応じた個数としてカウントされる。すなわち、上述の重み値(生理学的重み値および/またはナビゲーション履歴重み値)は密度算出の際に用いられる重みである。
図5は、現在ユーザの前にある道路シーン状況に対するユーザの推定精通度に調整された適切なレベルで車両内のユーザに指示を与えるための例示的な方法500のフローチャートである。図7は、精通度インデックスに基づいてユーザに指示を与えるための、コンピューティングデバイス200に実装されたドライバ支援システム700のブロック図である。詳細には、ユーザ支援アプリケーション122は、図示されるように精通度アプリケーション104の精通度レベル分類器260から精通度インデックスを受信することができ、精通度インデックスに対応する支援レベルでユーザに走行ガイダンスを提供することができる。
図7に示されるように、様々な実施形態では、支援アプリケーション122は、支援レベル選択器712とユーザ支援作成器714とを含む場合があるが、支援アプリケーション122は、限定はしないが、構成エンジン、トレーニングエンジン、暗号化エンジンなどのさらなる構成要素を含む場合があり、かつ/またはこれらの様々な構成要素は、単一のエンジンに組み合わされるか、もしくはさらなるエンジンに分割される場合があることを理解されたい。
支援レベル選択器712およびユーザ支援作成器714は、ソフトウェア、ハードウェア、または上記の組合せとして実装することができる。いくつかの実施形態では、支援レベル選択器712およびユーザ支援作成器714は、バス208および/またはプロセッサ202により、互いに、かつ/またはコンピューティングデバイス200の他の構成要素に、通信可能に結合することができる。いくつかの実施形態では、構成要素712および/または714は、それらの機能を実現するためにプロセッサ202によって実行可能な命令のセットである。さらなる実施形態では、構成要素712および/または714は、メモリ204に記憶可能であり、それらの機能を実現するためにプロセッサ202によってアクセス可能かつ実行可能である。上記の実施形態のいずれにおいても、構成要素712および/または714は、プロセッサ202およびコンピューティングデバイス200の他の構成要素との協働および通信に適合することができる。
ブロック502において、支援レベル選択器712は、精通度インデックスに基づいて支援レベルを決定する(たとえば、プロセッサ202がプログラムを実行するする)。いくつかの実施形態では、支援レベルは、移動プラットフォーム118のドライバ支援システムが、運転の注意散漫にならずにユーザと対話するべき範囲を示す。いくつかの実施形態では、支援レベルは、ユーザへの指示の提供頻度、およびそれらの指示の詳細度を含む場合がある。
一例として、ユーザは、道路区間上を走行しており、第1の工事ゾーン(たとえば、図8に図示される時刻t=t2における道路シーン状況)に遭遇する。精通度レベル分類器260によって作成された精通度インデックスは、ユーザが前方の工事ゾーンの複雑さに非常に精通しており、したがって少ししか支援を必要としない可能性があることを示すも
のとする。この場合、支援レベル選択器712は、ドライバ支援システム700の支援レベルを、「低い」詳細レベルで5分ごとにユーザに指示を与えるものとして決定することができる。3マイル走行した後、ユーザは、第2の工事ゾーン(たとえば、図8に図示される時刻t=t4における道路シーン状況)に遭遇する。今度は、精通度レベル分類器260によって作成された精通度インデックスは、ユーザが前方の工事ゾーンの複雑さに精通しておらず、したがってより多くの支援を必要とする可能性があることを示すものとする。この場合、支援レベル選択器712は、ドライバ支援システム700の支援レベルを、「高い」詳細レベルで2分ごとにユーザに指示を与えるものとして決定する。
ブロック504において、ユーザ支援作成器714は、ブロック502において決定された支援レベルで、1つまたは複数の走行指示を作成し、それらをユーザに与える(たとえば、プロセッサ202がプログラムを実行する)。いくつかの実施形態では、走行指示は、車両の出力装置(たとえば、スピーカシステム、ディスプレイ上に表示されるグラフィカルユーザインターフェース、振動システムなど)を介してユーザに与えられた、聴覚的指示、視覚的指示、触覚的指示、および/またはそれらの組合せのうちの1つまたは複数であり得る。上記の例を続けると、第1の工事ゾーンを通ってユーザを誘導するために、支援作成器714は、5分間隔でユーザの走行指示を与え、走行指示は、「次の左車線に移動せよ」などの一般的かつ簡単な指示であり得る。対照的に、第2の工事ゾーンを通ってユーザを誘導するために、支援作成器714は、2分間隔でユーザの走行指示を与え、走行指示は、「25mphへの減速を開始し、次の5秒以内に次の左車線に移動しろ」、「速度を25mphに維持し、4分の1マイルの間現在の車線に留まり、破片および作業中の工事車両を注視しろ」などのより精巧な詳細を含む場合がある。ユーザの推定精通度に走行支援の強度を自動的に適合させる(たとえば、ユーザの介入なしに支援レベルを上げ下げする)ことにより、ドライバ支援システム700は、ユーザが道路シーンに精通していないときはミクロシーン詳細に基づいてユーザにより詳細な支援を提供することができ、精通している状況の場合は指示を与えてユーザを煩わすことを回避することができる。したがって、ドライバ支援システム700は、ユーザが走行しているとき、必要に応じて走行指示を与え、ユーザに望ましくない注意散漫を引き起こすことを回避することができる。
上記の説明では、本発明を十分に理解できるように、多くの詳細について説明した。
しかしながら、本開示で説明された技術は、これらの詳細を含まずに実施できることを理解すべきである。さらに、説明が不明瞭になることを避けるために、種々のシステム、装置、構造をブロック図の形式で表した。たとえば、種々の実装例が、特定のハードウェア、ソフトウェア、およびユーザインタフェースを持つものとして説明した。しかし、ここでの説明は、データおよびコマンドを受信する任意のタイプの計算装置および任意の周辺機器について適用できる。
いくつかの例では、種々の実装例は、有形(非一時的)なコンピュータ可読記憶媒体に記憶されたデータビットに対する動作のアルゴリズムおよび記号的表現として提供される。なお、本明細書において(また一般に)アルゴリズムとは、所望の結果を得るための論理的な手順を意味する。処理のステップは、物理量を物理的に操作するものである。必ずしも必須ではないが、通常は、これらの量は記憶・伝送・結合・比較およびその他の処理が可能な電気的または磁気的信号の形式を取る。通例にしたがって、これらの信号をビット・値・要素・エレメント・シンボル・キャラクタ・項・数値などとして称することが簡便である。
なお、これらの用語および類似する用語はいずれも、適切な物理量と関連付いているものであり、これら物理量に対する簡易的なラベルに過ぎないということに留意する必要がある。以下の説明から明らかなように、特に断らない限りは、本明細書において「処理」
「計算」「コンピュータ計算(処理)」「判断」「表示」等の用語を用いた説明は、コンピュータシステムや類似の電子的計算装置の動作および処理であって、コンピュータシステムのレジスタやメモリ内の物理的(電子的)量を、他のメモリやレジスタまたは同様の情報ストレージや通信装置、表示装置内の物理量として表される他のデータへ操作および変形する動作および処理を意味する。
本明細書で説明された種々の実装例は、説明された動作を実行する装置にも関する。この装置は要求される目的のための特別に製造されるものであっても良いし、汎用コンピュータを用いて構成しコンピュータ内に格納されるプログラムによって選択的に実行されたり再構成されたりするものであっても良い。このようなコンピュータプログラムは、コンピュータ可読記憶媒体に格納されてもよい。コンピュータ可読記憶媒体は、コンピュータのシステムバスに接続可能な、フロッピー(登録商標)ディスク・光ディスク・CD−ROM・磁気ディスク、読み込み専用メモリ(ROM)、ランダムアクセスメモリ(RAM)、EPROM、EEPROM、磁気カード、光学式カード、非一時的なメモリを有するUSBキーを含むフラッシュメモリ、電子的命令を格納するのに適したその他の任意のメデ
ィア媒体を含むが、これらに限定される訳ではない。
発明の具体的な実施形態は、完全にハードウェアによって実現されるものでも良いし、完全にソフトウェアによって実現されるものでも良いし、ハードウェアとソフトウェアの両方によって実現されるものでも良い。たとえば、本技術はソフトウェアとして実装することができる。ここでソフトウェアとは、ファームウェア、常駐ソフトウェア、マイクロコードやその他のソフトウェアを含むものである。さらに、ある実施形態は、コンピュータが利用あるいは読み込み可能な記憶媒体からアクセス可能なコンピュータプログラムプロダクトの形態を取ることもできる。この記憶媒体は、コンピュータや任意の命令実行システムによってあるいはそれらと共に利用されるプログラムコードを提供する。コンピュータが利用あるいは読み込み可能な記憶媒体とは、命令実行システムや装置によってあるいはそれらと共に利用されるプログラムを、保持、格納、通信、伝搬および転送可能な任意の装置を指す。
プログラムコードを格納・実行するために適したデータ処理システムは、システムバスを介して記憶素子に直接または間接的に接続された少なくとも1つのプロセッサを有する。記憶素子は、プログラムコードの実際の実行に際して使われるローカルメモリや、大容量記憶装置や、実行中に大容量記憶装置からデータを取得する回数を減らすためにいくつかのプログラムコードを一時的に記憶するキャッシュメモリなどを含む。入力/出力(I/O)装置は、例えばキーボード、ディスプレイ、ポインティング装置などであるが、これらはI/Oコントローラを介して直接あるいは間接的にシステムに接続される。
システムにはネットワーク・アダプターも接続されており、これにより、私的ネットワークや公共ネットワークを介して他のデータ処理システムやリモートにあるプリンタや記憶装置に接続される。無線(例えばWi−Fi(登録商標))トランシーバ、イーサネット(登録商標)・アダプター、モデムは、ネットワーク・アダプターの一部の例である。プライベートネットワークおよび公共ネットワークは、数多くの構成やトポロジーを取り得る。データは、これらのネットワークを介して、例えばインターネット層、トランスポート層、アプリケーションプロトコルなどを含む種々の通信プロトコルを用いて、装置間で送信される。データがネットワークを介して送信される際に用いられる通信プロトコルには、例えば次のようなものがある。トランスミッション・コントロール・プロトコル/インターネット・プロトコル(TCP/IP)、ユーザ・データグラム・プロトコル(UDP)、トランスミッション・コントロール・プロトコル(TCP)、ハイパーテキスト・トランスファー・プロトコル(HTTP)、セキュア・ハイパーテキスト・トランスファー・プロトコル(HTTPS)、ダイナミック・アダプティブ・ストリーミング・オー
バー・HTTP(DASH)、リアルタイム・ストリーミング・プロトコル(RTSP)、リアルタイム・トランスポート・プロトコル(RTP)、リアルタイム・トランスポート・コントロール・プロトコル(RTCP)、ボイス・オーバー・インターネット・プロトコル(VOIP)、ファイル・トランスファー・プロトコル(FTP)、ウェブソケット(WS)、無線アクセスプロトコル(WAP)、種々のメッセージングプロトコル(SMS、MMS、XMS、IMAP、SMTP、POP、WebDAV等)、その他既知のプロトコル。
最後に、本明細書において提示されるアルゴリズムおよびインターフェースは特定のコンピュータや他の装置と本来的に関連するものではない。本明細書における説明にしたがってプログラムを有する種々の汎用システムを用いることができるし、また要求された処理ステップを実行するための特定用途の装置を製作することが適した場合もある。これら種々のシステムに要求される構成は、上記の説明で明らかにされている。さらに、本発明は、任意の特定のプログラミング言語と関連づけられるものではない。本明細書で説明される内容を実装するために、種々のプログラミング言語を利用できることは明らかであろう。
前述の説明は、例示と説明を目的として行われたものである。したがって、開示された実施形態が本発明の全てではないし、本発明を上記の実施形態に限定するものでもない。本発明は、上記の開示にしたがって、種々の変形が可能である。本発明の範囲は上述の実施形態に限定解釈されるべきではなく、特許請求の範囲にしたがって解釈されるべきである。本発明の技術に詳しい者であれば、本発明はその思想や本質的特徴から離れることなくその他の種々の形態で実現できることを理解できるであろう。同様に、モジュール・処理・特徴・属性・方法およびその他の本発明の態様に関する名前付けや分割方法は必須なものでものないし重要でもない。また、本発明やその特徴を実装する機構は異なる名前や分割方法や構成を備えていても構わない。
さらに、当業者であれば、モジュール・処理・特徴・属性・方法およびその他の本発明の態様は、ソフトウェア、ハードウェア、ファームウェアもしくはこれらの組合せとして実装できることを理解できるであろう。また、本発明をソフトウェアとして実装する場合には、モジュールなどの各要素は、どのような様式で実装されても良い。例えば、スタンドアローンのプログラム、大きなプログラムの一部、異なる複数のプログラム、静的あるいは動的なリンクライブラリー、カーネルローダブルモジュール、デバイスドライバー、その他コンピュータプログラミングの当業者にとって既知な方式として実装することができる。さらに、本発明の実装は特定のプログラミング言語に限定されるものではないし、特定のオペレーティングシステムや環境に限定されるものでもない。
104 精通度アプリケーション
106 精通度グラフデータベース
108 ナビゲーションデータベース
118 移動プラットフォーム
122 ユーザ支援アプリケーション
124 クライアントデバイス
200 コンピューティングデバイス
202 プロセッサ
204 メモリ
206 通信ユニット
252 シーンプロセッサ
254 シーン特徴量作成器
256 道路シーンカテゴライザ
258 ユーザモニタ
260 精通度レベル分類器

Claims (17)

  1. コンピュータによって実行される方法であって、
    現在の道路のシーンを記述するシーン特徴量を作成するステップと、
    ユーザが過去に経験した道路のシーンを記述する複数のシーン特徴量を格納した精通度グラフにおいて定義される複数の道路シーンクラスタの中から、現在の道路シーンに対応する道路シーンクラスタを特定するステップと、
    特定された道路シーンクラスタにおける現在の道路シーンのシーン特徴量の位置に基づいて現在の道路シーンに対する前記ユーザの精通度を推定した精通度インデックスを生成するステップと、
    を含む、方法。
  2. 前記シーン特徴量は、前記道路シーンにおける動的物体とその配置を含み、
    前記シーン特徴量を生成するステップは、
    道路の方を向いた車両のセンサによって前記道路をセンシングしたセンサデータを取得するステップと、
    前記センサデータを用いて、道路上の動的物体とその位置を検出するステップと、
    前記検出の結果に基づいて、検出された動的物体の種類、数、および配置を記述するシーン特徴量を生成するステップと、
    を含む、請求項1に記載の方法。
  3. 前記精通度グラフに含まれる過去のシーン特徴量は、それぞれマクロシーンカテゴリと関連付けられており、
    前記道路シーンクラスタを特定するステップは、
    前記シーン特徴量を用いて、現在の道路シーンのマクロシーンカテゴリを決定するステップと、
    前記精通度グラフに含まれる過去のシーン特徴量の中から、前記決定されたマクロシーンカテゴリに関連付けられたシーン特徴量を取得するステップと、
    を含む、請求項2に記載の方法。
  4. 前記マクロシーンカテゴリは、都市カテゴリ、地方カテゴリ、住居カテゴリ、工事ゾーンカテゴリ、高速道路カテゴリ、および事故カテゴリの少なくとも何れかを含む、
    請求項3に記載の方法。
  5. 前記精通度グラフに含まれる過去のシーン特徴量に対してクラスタリングアルゴリズムを適用して、前記過去のシーン特徴量を複数のクラスタに分類するステップをさらに含み、
    前記道路シーンクラスタを特定するステップは、現在の道路シーンのシーン特徴量と最も近い道路シーンクラスタを特定することにより行われる、
    請求項1または2に記載の方法。
  6. 前記精通度インデックスを生成するステップでは、前記精通度インデックスは、現在の道路シーンのシーン特徴量の近傍における前記道路シーンクラスタに含まれる他のシーン特徴量の密度に基づいて、前記密度が高いほどより精通していることを示すように生成される、
    請求項1から5のいずれか1項に記載の方法。
  7. 前記道路シーンクラスタに含まれる他のシーン特徴量の密度に基づいて、前記道路シーンクラスタを複数の精通度ゾーンに分割するステップを含み、
    前記精通度インデックスを生成するステップでは、現在の道路シーンのシーン特徴量が
    前記道路シーンクラスタのどの精通度ゾーンに位置するかを決定し、決定された精通度ゾーンに基づいて前記精通度インデックスを生成する、
    請求項6に記載の方法。
  8. 前記精通度インデックスを生成するステップでは、
    現在の道路シーンのシーン特徴量との近接度がしきい値以内の、前記道路シーンクラスタに含まれる他のシーン特徴量の数を決定し、
    前記数が多いほど前記精通度インデックスはより精通していることを示すように生成される、
    請求項1から5のいずれか1項に記載の方法。
  9. 現在の道路シーンのシーン特徴量を用いて、道路シーンクラスタを更新するステップをさらに含む、
    請求項1から8のいずれか1項に記載の方法。
  10. 前記ユーザの精通度インデックスに基づいて支援レベルを決定するステップと、
    前記決定された支援レベルで、車両が有する出力装置を介してユーザに対して、聴覚的指示、視覚的指示、および触覚的指示の少なくとも何れかを提供するステップと、
    をさらに含む、請求項1から9のいずれか1項に記載の方法。
  11. 前記支援レベルは、指示の提供頻度または指示の詳細度のいずれかを含む、
    請求項10に記載の方法。
  12. 前記ユーザの生理学的データを取得するステップと、
    前記生理学的データに基づいて、第1の重み値を生成するステップと、
    前記第1の重み値を用いてシーン特徴量を強化するステップと、
    をさらに含む、請求項1から11のいずれか1項に記載の方法。
  13. 前記生理学的データは、前記ユーザの頭の動き、目の動き、心電図検査データ、呼吸データ、皮膚コンダクタンス、筋肉の緊張度の少なくともいずれかを含む、
    請求項12に記載の方法。
  14. 前記ユーザに関連付けられた過去の走行データ履歴を取得するステップと、
    前記走行データ履歴に基づいて、第2の重み値を生成するステップと、
    前記第2の重み値を用いてシーン特徴量を強化するステップと、
    をさらに含む、請求項1から13のいずれか1項に記載の方法。
  15. コンピュータによって実行される方法であって、
    現在の道路のシーンを記述するシーン特徴量を作成するステップと、
    ユーザが過去に経験した道路のシーンを記述する複数の他のシーン特徴量を取得するステップと、
    特徴量空間での現在の道路シーンのシーン特徴量の近傍における前記他のシーン特徴量の密度に基づいて、現在の道路シーンに対する前記ユーザの精通度を推定した精通度インデックスを生成するステップと、
    を含む、方法。
  16. 請求項1から15のいずれか1項に記載の方法の各ステップをコンピュータに実行させるプログラム。
  17. プロセッサと、
    請求項1から15のいずれか1項に記載の方法の各ステップをコンピュータに実行させるプログラムを格納したメモリと、
    を備える、システム。
JP2017056081A 2016-03-31 2017-03-22 ドライバの動的道路シーンに対する精通度インデックスのリアルタイム作成 Expired - Fee Related JP6341311B2 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US15/087,726 2016-03-31
US15/087,726 US9805276B2 (en) 2016-03-31 2016-03-31 Generating real-time driver familiarity index for fine-grained dynamic road scenes

Publications (2)

Publication Number Publication Date
JP2017188099A true JP2017188099A (ja) 2017-10-12
JP6341311B2 JP6341311B2 (ja) 2018-06-13

Family

ID=59961071

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2017056081A Expired - Fee Related JP6341311B2 (ja) 2016-03-31 2017-03-22 ドライバの動的道路シーンに対する精通度インデックスのリアルタイム作成

Country Status (2)

Country Link
US (1) US9805276B2 (ja)
JP (1) JP6341311B2 (ja)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2020052927A (ja) * 2018-09-28 2020-04-02 マツダ株式会社 自動車運行管理システム及び自動車運行管理システムに用いられる運行管理装置
JP2020091528A (ja) * 2018-12-03 2020-06-11 株式会社デンソー 画像取得システム
JP2020160968A (ja) * 2019-03-27 2020-10-01 本田技研工業株式会社 車両制御装置、車両および車両制御方法

Families Citing this family (27)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6884517B2 (ja) * 2016-06-15 2021-06-09 キヤノン株式会社 情報処理装置、情報処理方法及びプログラム
EP3285213A1 (en) * 2016-08-16 2018-02-21 Hexagon Technology Center GmbH Lod work package
US10480157B2 (en) * 2016-09-07 2019-11-19 Caterpillar Inc. Control system for a machine
US10140856B2 (en) * 2016-12-06 2018-11-27 Here Global B.V. Automatic detection of lane closures using probe data
WO2018222937A1 (en) 2017-05-31 2018-12-06 Carmera, Inc. System of vehicles equipped with imaging equipment for high-definition near real-time map generation
CN107729951B (zh) * 2017-11-14 2024-02-09 吉林大学 一种考虑道路与环境特征的驾驶员行为分析装置及方法
US10134285B1 (en) * 2017-12-29 2018-11-20 Forward Thinking Systems, LLC FleetCam integration
US10423886B2 (en) 2017-12-29 2019-09-24 Forward Thinking Systems, LLC Electronic logs with compliance support and prediction
US10963706B2 (en) 2018-01-13 2021-03-30 Toyota Jidosha Kabushiki Kaisha Distributable representation learning for associating observations from multiple vehicles
US10586118B2 (en) 2018-01-13 2020-03-10 Toyota Jidosha Kabushiki Kaisha Localizing traffic situation using multi-vehicle collaboration
US10916135B2 (en) * 2018-01-13 2021-02-09 Toyota Jidosha Kabushiki Kaisha Similarity learning and association between observations of multiple connected vehicles
US10479356B1 (en) 2018-08-17 2019-11-19 Lyft, Inc. Road segment similarity determination
US11056005B2 (en) 2018-10-24 2021-07-06 Waymo Llc Traffic light detection and lane state recognition for autonomous vehicles
US10665109B1 (en) * 2019-05-17 2020-05-26 sibrtech inc. Construction zone apparatus and method
US11928557B2 (en) 2019-06-13 2024-03-12 Lyft, Inc. Systems and methods for routing vehicles to capture and evaluate targeted scenarios
CN112109645B (zh) * 2019-06-19 2023-08-15 宝马股份公司 向车辆用户提供辅助的方法和系统
US11157007B2 (en) 2019-06-28 2021-10-26 Lyft, Inc. Approaches for encoding environmental information
US11449475B2 (en) * 2019-06-28 2022-09-20 Lyft, Inc. Approaches for encoding environmental information
US10754893B1 (en) 2019-09-09 2020-08-25 Forward Thinking Systems, LLC Providing access to vehicle videos
US11568744B2 (en) * 2019-09-12 2023-01-31 Pony Ai Inc. System and method for determining a stop point
US11788846B2 (en) 2019-09-30 2023-10-17 Lyft, Inc. Mapping and determining scenarios for geographic regions
US11816900B2 (en) * 2019-10-23 2023-11-14 Lyft, Inc. Approaches for encoding environmental information
CN111339851B (zh) * 2020-02-14 2022-01-11 青岛智能产业技术研究院 一种基于场景熟悉度的无人车远程接管方法
KR20210111557A (ko) * 2020-03-03 2021-09-13 현대자동차주식회사 심층 학습 기반의 객체 분류 장치 및 그 방법
US11532096B2 (en) * 2020-05-21 2022-12-20 Verizon Connect Development Limited Systems and methods for utilizing a deep learning model to determine vehicle viewpoint estimations
US20220148421A1 (en) * 2021-09-03 2022-05-12 Esther S. Massengill Instrumented Traffic Cones for 5G/6G Networking
US11721096B2 (en) * 2021-09-23 2023-08-08 Here Global B.V. Method, apparatus, and system for confirming road vector geometry based on aerial images

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003083759A (ja) * 2001-09-17 2003-03-19 Nissan Motor Co Ltd ナビゲーション装置
JP2006047092A (ja) * 2004-08-04 2006-02-16 Nissan Motor Co Ltd ナビゲーション装置
JP2010006232A (ja) * 2008-06-26 2010-01-14 Advics Co Ltd 車両制御装置
JP2014135039A (ja) * 2012-12-13 2014-07-24 Denso Corp 移動体検出装置

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6879969B2 (en) 2001-01-21 2005-04-12 Volvo Technological Development Corporation System and method for real-time recognition of driving patterns
JP2005195536A (ja) 2004-01-09 2005-07-21 Mazda Motor Corp 自動車の運転支援システム
DE602005017144D1 (de) 2005-08-18 2009-11-26 Honda Res Inst Europe Gmbh Fahrerassistenzsystem
US7880621B2 (en) 2006-12-22 2011-02-01 Toyota Motor Engineering & Manufacturing North America, Inc. Distraction estimator
EP2669845A3 (en) * 2012-06-01 2014-11-19 Ricoh Company, Ltd. Target recognition system, target recognition method executed by the target recognition system, target recognition program executed on the target recognition system, and recording medium storing the target recognition program
US9417069B2 (en) 2013-07-25 2016-08-16 Honda Motor Co., Ltd. Familiarity modeling

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003083759A (ja) * 2001-09-17 2003-03-19 Nissan Motor Co Ltd ナビゲーション装置
JP2006047092A (ja) * 2004-08-04 2006-02-16 Nissan Motor Co Ltd ナビゲーション装置
JP2010006232A (ja) * 2008-06-26 2010-01-14 Advics Co Ltd 車両制御装置
JP2014135039A (ja) * 2012-12-13 2014-07-24 Denso Corp 移動体検出装置

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2020052927A (ja) * 2018-09-28 2020-04-02 マツダ株式会社 自動車運行管理システム及び自動車運行管理システムに用いられる運行管理装置
JP7169536B2 (ja) 2018-09-28 2022-11-11 マツダ株式会社 自動車運行管理システム及び自動車運行管理システムに用いられる運行管理装置
JP2020091528A (ja) * 2018-12-03 2020-06-11 株式会社デンソー 画像取得システム
JP7074037B2 (ja) 2018-12-03 2022-05-24 株式会社デンソー 画像取得システム
JP2020160968A (ja) * 2019-03-27 2020-10-01 本田技研工業株式会社 車両制御装置、車両および車両制御方法
JP2021184296A (ja) * 2019-03-27 2021-12-02 本田技研工業株式会社 車両制御装置、車両および車両制御方法
JP7108109B2 (ja) 2019-03-27 2022-07-27 本田技研工業株式会社 車両制御装置、車両および車両制御方法
US11731624B2 (en) 2019-03-27 2023-08-22 Honda Motor Co., Ltd. Vehicle controller, vehicle, and vehicle control method

Also Published As

Publication number Publication date
US20170286782A1 (en) 2017-10-05
JP6341311B2 (ja) 2018-06-13
US9805276B2 (en) 2017-10-31

Similar Documents

Publication Publication Date Title
JP6341311B2 (ja) ドライバの動的道路シーンに対する精通度インデックスのリアルタイム作成
US10981567B2 (en) Feature-based prediction
JP6369611B2 (ja) ディープ(双方向)再帰型ニューラルネットワークを用いたセンサデータの時間融合に基づく効率的な運転者行動予測システム
US10611379B2 (en) Integrative cognition of driver behavior
KR102070527B1 (ko) 자율 주행 차량 교통 예측에서 예측되는 궤적에 대한 평가 프레임 워크
JP6394735B2 (ja) 階層型コンテキストアウェアによる手足の検出
US11733703B2 (en) Automatic braking of autonomous vehicles using machine learning based prediction of behavior of a traffic entity
JP2018027776A (ja) 運転者行動予測モデルの個人適合
US10346888B2 (en) Systems and methods to obtain passenger feedback in response to autonomous vehicle driving events
JP2019125368A (ja) 複数のコネクティッド車両による観測値を関連付ける方法
JP7391990B2 (ja) 運転者疲労マップに基づく個人向けルート探索
JP2021506000A (ja) 多段画像ベースの物体検出および認識
JP5278419B2 (ja) 運転シーンの遷移予測装置及び車両用推奨運転操作提示装置
US11919545B2 (en) Scenario identification for validation and training of machine learning based models for autonomous vehicles
US11467579B2 (en) Probabilistic neural network for predicting hidden context of traffic entities for autonomous vehicles
Soultana et al. Context-awareness in the smart car: study and analysis
Fasanmade A Context Aware Classification System for Monitoring Drivers' Distraction Levels
Aboah AI-based framework for automatically extracting high-low features from NDS data to understand driver behavior
JP2024013226A (ja) 運転関連の向上した仮想フィールド

Legal Events

Date Code Title Description
A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20180125

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20180130

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20180402

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20180417

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20180430

R151 Written notification of patent or utility model registration

Ref document number: 6341311

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151

LAPS Cancellation because of no payment of annual fees