JP2017188099A - ドライバの動的道路シーンに対する精通度インデックスのリアルタイム作成 - Google Patents
ドライバの動的道路シーンに対する精通度インデックスのリアルタイム作成 Download PDFInfo
- Publication number
- JP2017188099A JP2017188099A JP2017056081A JP2017056081A JP2017188099A JP 2017188099 A JP2017188099 A JP 2017188099A JP 2017056081 A JP2017056081 A JP 2017056081A JP 2017056081 A JP2017056081 A JP 2017056081A JP 2017188099 A JP2017188099 A JP 2017188099A
- Authority
- JP
- Japan
- Prior art keywords
- scene
- familiarity
- road
- user
- road scene
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 claims abstract description 74
- 238000010276 construction Methods 0.000 claims description 85
- 230000015654 memory Effects 0.000 claims description 32
- 238000004422 calculation algorithm Methods 0.000 claims description 11
- 238000001514 detection method Methods 0.000 claims description 7
- 230000002708 enhancing effect Effects 0.000 claims description 5
- 230000004886 head movement Effects 0.000 claims description 5
- 230000000007 visual effect Effects 0.000 claims description 5
- 230000000241 respiratory effect Effects 0.000 claims description 4
- 230000004424 eye movement Effects 0.000 claims description 2
- 206010049816 Muscle tightness Diseases 0.000 claims 1
- 239000013598 vector Substances 0.000 description 62
- 238000004891 communication Methods 0.000 description 22
- 238000003860 storage Methods 0.000 description 17
- 230000008569 process Effects 0.000 description 16
- 238000012545 processing Methods 0.000 description 16
- 238000005516 engineering process Methods 0.000 description 13
- 230000006399 behavior Effects 0.000 description 9
- 238000010586 diagram Methods 0.000 description 9
- 230000033001 locomotion Effects 0.000 description 7
- 230000003287 optical effect Effects 0.000 description 7
- 230000008859 change Effects 0.000 description 6
- 238000004364 calculation method Methods 0.000 description 5
- 230000003068 static effect Effects 0.000 description 5
- 238000004590 computer program Methods 0.000 description 4
- 210000000744 eyelid Anatomy 0.000 description 4
- 230000001815 facial effect Effects 0.000 description 4
- 210000003205 muscle Anatomy 0.000 description 4
- 238000012546 transfer Methods 0.000 description 4
- 230000008901 benefit Effects 0.000 description 3
- 230000005540 biological transmission Effects 0.000 description 3
- 230000003203 everyday effect Effects 0.000 description 3
- 210000001508 eye Anatomy 0.000 description 3
- 230000006870 function Effects 0.000 description 3
- 239000000203 mixture Substances 0.000 description 3
- 238000004458 analytical method Methods 0.000 description 2
- 238000013459 approach Methods 0.000 description 2
- 230000002354 daily effect Effects 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 210000003128 head Anatomy 0.000 description 2
- 230000010354 integration Effects 0.000 description 2
- 230000004044 response Effects 0.000 description 2
- 238000012549 training Methods 0.000 description 2
- 208000019901 Anxiety disease Diseases 0.000 description 1
- 101001093748 Homo sapiens Phosphatidylinositol N-acetylglucosaminyltransferase subunit P Proteins 0.000 description 1
- 125000002066 L-histidyl group Chemical group [H]N1C([H])=NC(C([H])([H])[C@](C(=O)[*])([H])N([H])[H])=C1[H] 0.000 description 1
- 206010041349 Somnolence Diseases 0.000 description 1
- 230000003044 adaptive effect Effects 0.000 description 1
- 230000002776 aggregation Effects 0.000 description 1
- 238000004220 aggregation Methods 0.000 description 1
- 230000036626 alertness Effects 0.000 description 1
- 230000036506 anxiety Effects 0.000 description 1
- 230000003190 augmentative effect Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000033228 biological regulation Effects 0.000 description 1
- 210000005252 bulbus oculi Anatomy 0.000 description 1
- 230000010267 cellular communication Effects 0.000 description 1
- 239000012141 concentrate Substances 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 230000008921 facial expression Effects 0.000 description 1
- 201000011243 gastrointestinal stromal tumor Diseases 0.000 description 1
- 230000014509 gene expression Effects 0.000 description 1
- 230000003862 health status Effects 0.000 description 1
- 239000007943 implant Substances 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 238000003064 k means clustering Methods 0.000 description 1
- 238000007726 management method Methods 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 239000011664 nicotinic acid Substances 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 230000037081 physical activity Effects 0.000 description 1
- 230000006461 physiological response Effects 0.000 description 1
- 230000001902 propagating effect Effects 0.000 description 1
- 230000029058 respiratory gaseous exchange Effects 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 238000000638 solvent extraction Methods 0.000 description 1
- 230000003595 spectral effect Effects 0.000 description 1
- 239000000126 substance Substances 0.000 description 1
- 239000000725 suspension Substances 0.000 description 1
- 239000003826 tablet Substances 0.000 description 1
- 230000001131 transforming effect Effects 0.000 description 1
- 238000012559 user support system Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
- G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
- G01C21/26—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
- G01C21/34—Route searching; Route guidance
- G01C21/36—Input/output arrangements for on-board computers
- G01C21/3691—Retrieval, searching and output of information related to real-time traffic, weather, or environmental conditions
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
- B60W40/08—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to drivers or passengers
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
- B60W50/08—Interaction between the driver and the control system
- B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/23—Clustering techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/243—Classification techniques relating to the number of classes
- G06F18/2431—Multiple classes
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
- G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
Abstract
【解決手段】現在の道路のシーンを記述するシーン特徴量を作成するステップと、ユーザが過去に経験した道路のシーンを記述する複数のシーン特徴量を格納した精通度グラフにおいて定義される複数の道路シーンクラスタの中から、現在の道路シーンに対応する道路シーンクラスタを特定するステップと、特定された道路シーンクラスタにおける現在の道路シーンのシーン特徴量との位置に基づいて現在の道路シーンに対する前記ユーザの精通度を推定した精通度インデックスを生成するステップと、を含む方法。
【選択図】図10
Description
ーン特徴量と最も近い道路シーンクラスタを特定することにより特定することができる。
現在の道路のシーンを記述するシーン特徴量を作成するステップと、ユーザが過去に経験した道路のシーンを記述する複数の他のシーン特徴量を取得するステップと、特徴量空間での現在の道路シーンのシーン特徴量の近傍における前記他のシーン特徴量の密度に基づいて、現在の道路シーンに対する前記ユーザの精通度を推定した精通度インデックスを生成するステップと、を含む。
たとえば、1つまたは複数の動的物体および現在の道路シーンのシーン配置を記述するシーン特徴量を作成することが、車道に向けられた車両の1つまたは複数のセンサを使用して特定の時点において車道の道路シーン画像を取り込むこと、ならびに道路シーン画像を使用して特徴量ベクトルを含むシーン特徴量を作成することを含む。
現在の道路シーンに対応する道路シーンクラスタを識別することが、シーン特徴量を使
用して現在の道路シーンをマクロシーンカテゴリに分類すること、およびマクロシーンカテゴリに関連付けられた複数のシーン特徴量履歴を含む道路シーンクラスタ、複数の特徴量ベクトル履歴を含む複数のシーン特徴量履歴をそれぞれ取り出すことを含む。
シーン特徴量の位置が特徴量ベクトルの位置であり、他のシーン特徴量に対するシーン特徴量の位置を特定することが、道路シーンクラスタの複数の特徴量ベクトル履歴のそれぞれの位置に対する特徴量ベクトルの位置を特定することを含む。
マクロシーンカテゴリが都市カテゴリ、地方カテゴリ、住居カテゴリ、工事ゾーンカテゴリ、ハイウェイカテゴリ、および事故カテゴリのうちの1つを含む。
シーン特徴量を含むように道路シーンクラスタを更新することをさらに含む。
支援レベルが、1)ユーザに聴覚的指示、視覚的指示、および触覚的指示のうちの1つまたは複数を与える頻度、ならびに2)聴覚的指示、視覚的指示、および触覚的指示のうちの1つまたは複数の詳細レベルのうちの1つまたは複数を含む。
ユーザに関連付けられた生理学的データが、特定の時点におけるユーザの頭の動き、眼の動き、心電図検査データ、呼吸データ、皮膚コンダクタンス、および筋肉の緊張度のうちの1つまたは複数を含む。
ユーザに関連付けられたナビゲーション履歴データ(走行データ履歴)を特定し、ナビゲーション履歴データに基づいてナビゲーション履歴重み値を作成し、ナビゲーション履歴重み値を使用してシーン特徴量を強化することをさらに含む。
ユーザに関連付けられたナビゲーション履歴データが、ユーザが以前移動した1つまたは複数の道路区間に関連付けられた道路名、道路タイプ、道路速度情報、および時間情報のうちの1つまたは複数を含む。
析し、それにより算出コストを低減することができる。さらに、本明細書で開示される技術はまた、ドライバ精通度測度を算出する際の補足情報として、ユーザ感覚データ、ユーザの走行履歴、および現在の車道の道路情報を利用する。したがって、本技術は、特定の道路シーン地域性に対するユーザの推定された精通度をさらに強化することができる。
のセンサ(たとえば、車道カメラ)を使用して、リアルタイムにユーザについての道路シーン精通度インデックスを作成することにより、シーン精通度(scene familiarity)を
決定することができる。シーン精通度はドライバごとおよび道路シーンごとに定義されるものであり、あるドライバのある道路シーンに対するシーン精通度は、当該ドライバが当該道路シーンに慣れ親しんでいるかあるいは当該道路シーンでの運転に慣れ親しんでいるかを表す度合いである。場合によっては、本技術は、複数のレベルのシーンを総合的に使用して、ドライバの精通度インデックスを作成することができる。詳細には、特定の道路シーンに対するユーザの精通度インデックスは、マクロシーンレベルにおける道路シーン情報(本明細書ではマクロシーン情報とも呼ばれる)、およびミクロシーンレベルにおける道路シーン情報(本明細書ではミクロシーン情報とも呼ばれる)を使用して、算出することができる。
、工事ゾーン、事故などが含まれる。マクロシーン情報は、対象の道路区間の車道の数、速度制限などの任意の他の一般的な車道特性(roadway characteristics)をさらに含む
場合がある。
マクロシーン情報は、シーンの位置に基づいて決定されるか、シーン内に特定の動的物体(工事車両など)が検出されたことに基づいて決定されるのに対し、ミクロシーン情報は、シーン内から検出される動的物体の数やその配置に基づいて決定されるものである。
リアに一般的に精通しているといえるが、ユーザが経験する走行状況は、各回の走行ごとに大いに異なる場合があり、ユーザは、それらの特定の走行状況のうちの1つまたは複数に精通していない場合がある。
ための音声サーバ、検索クエリに該当する検索結果を提供するための検索サーバなどを含む場合がある。
路、工事ゾーンなど)における道路シーンのシーン特徴量データポイントは、シーン要素の組み合わせやシーン配置が類似するため、一カ所にまとまってクラスタを形成することがある。
ザ旅行履歴などが含まれる。いくつかの実施形態では、ナビゲーション関連データは、図7に示されるように、各ユーザの走行履歴を記述するナビゲーション履歴データ、および/またはユーザによって以前に取られた走行履歴に関連付けられたルートデータを含む場合がある。ナビゲーション履歴データの非限定的な例には、ユーザが過去に移動した道路区間に関連付けられた道路名のリスト、当該道路区間の道路タイプ(たとえば、都市、地方、住居、高速道路など)、道路速度情報(たとえば、当該道路区間の速度制限、ユーザの実際の速度など)、時間情報(たとえば、ユーザが道路区間上を移動した日付および時刻、ユーザが道路区間上を移動した回数など)、当該道路区間に関連付けられた運転容易度(たとえば、低い、適度、高い、容易、困難など)などが含まれる。
路状況に対するユーザの精通度に対応する頻度および詳細レベルで、ユーザに走行指示を与える。ユーザ128は、線126によって示されるように、クライアントデバイス124と対話することができる。図1は1つのクライアントデバイス124を示すが、システム100は1つまたは複数のクライアントデバイス124を含むことができる。
、生体工学インプラント(bionic implant)、または、非一時的コンピュータエレクトロニクス(たとえば、プロセッサ、メモリ、もしくは非一時的コンピュータエレクトロニクスの任意の組合せ)を有する任意の他のモバイルシステムが含まれる。ユーザ128は、線130によって表されるように、移動プラットフォーム118と対話することができる。ユーザ128は、移動プラットフォーム118を運転する人間のユーザであり得る。たとえば、ユーザ128は車両のドライバであり得る。
が同じ地区を通って走行するたびに、道路シーン内のそれらの存在またはそれらの位置が動的に変化する道路物体を含む場合がある。動的物体の非限定的な例には、周囲の移動プラットフォーム118、工事車両、歩行者、道路工事作業員、交通コーン、バリケードなどが含まれる。いくつかの実施形態では、車道センサ702は、移動プラットフォーム118の経路に対していずれの方向(前方、後方、横方向、上方、下方、対向など)でも検知するように取り付けることができる。いくつかの実施形態では、1つまたは複数の車道センサ702は、多方向であり得る(たとえば、LIDAR)。いくつかの実施形態では、車道センサ702によって取り込まれた道路シーン画像は、リアルタイムでユーザの精通度インデックスを決定するために処理することができる。いくつかの実施形態では、道路シーン画像は、後の処理や分析のために、1つまたは複数のデータストレージ、たとえば図2Aに図示されるデータストア212に記憶することができる。
ができる。
、ユーザ支援アプリケーション122は、たとえば、図7に図示される構成要素のすべてを備えるネイティブアプリケーションであり得る。他の変形形態および/またはそれらの組合せも可能であり、考えられる。
御ユニット(たとえば、ECU、ECM、PCMなど)、自動車用センサ、音響センサ、化学センサ、生体工学センサ、位置センサ(たとえば、GPS、コンパス、加速度計、ジャイロスコープなど)、スイッチ、およびコントローラ、カメラなど)、エンジン、動力伝達装置、サスペンションコンポーネント、計装、温度調節器、ならびに/または、必要な任意の他の電気的、機械的、構造的、および機械的な構成要素などの、様々な構成要素を含み、かつ/またはそれらに結合される場合がある。
206は、データを送受信するための1つまたは複数の有線インターフェースおよび/またはワイヤレストランシーバを含む場合がある。通信ユニット206は、ネットワーク112に結合し、(構成に応じて)クライアントデバイス124、移動プラットフォーム118、および/またはサーバ102などの他のコンピューティングノードと通信することができる。通信ユニット206は、上記で説明された通信方法などの標準の通信方法を使用して、他のコンピューティングノードとデータを交換することができる。
ることができ、ナビゲーションデータベースに結合されて、ナビゲーション履歴データを取り出すことができ、(たとえば、バス208および/または様々なコントローラを介して)センサに結合されて、センサデータを受信することができ、ユーザ支援アプリケーション122などの他の構成要素に結合されて、データを供給および/または受信することなどができる。
)、暗号化エンジン(encryption engine)などのさらなる構成要素を含む場合があり、
かつ/または、これらの様々な構成要素は、単一のエンジンに組み合わされるか、もしくはさらなるエンジンに分割される場合があることを理解されたい。
って取り込まれた道路シーン画像)から、1つまたは複数の道路シーン態様を含むシーン情報を抽出することができる。詳細には、シーンプロセッサ252は、道路シーン画像内で様々なサイズの検出ウィンドウをスライドして、勾配・テクスチャ情報を取り込み、テンプレート画像と照合することで、シーン内に現れる1つまたは複数の物体を識別することができる。たとえば、シーンプロセッサ252は、様々なアイテム、たとえば、空、水平線、車道、路側構造体、ビルディング、車両、歩行者、交通規制などを、画像から検出することができる。シーンプロセッサ252は、これらの検出対象に応じた種々のサイズのテンプレート画像を有する。いくつかの実施形態では、シーンプロセッサ252は、ミクロレベルのシーン複雑度で現在の外部状況を記述する様々な道路シーン態様を、画像から特定することもできる。
内に存在する物体であるシーン構成物(たとえば、動的物体、静的物体など)、検出され
た物体の物体タイプあるいは種類(たとえば、工事車両、道路工事作業員、警察官、車線境界、バリケード、交通標識など)、各物体タイプに関連付けられた項目の数(歩行者の人数、交通コーンの総数)、シーン内の検出された物体の相対位置および/または空間分布(たとえば、他の移動プラットフォーム118の車線位置、交通コーン間の相対距離、周囲の車両配置)などを特定することができる。いくつかの実施形態では、シーンプロセッサ252は、画像データに基づいて、気象状態(たとえば、晴れ、部分的に曇り、豪雨)、明暗状態(たとえば、明るい、低い、通常)、シーンの状況を表すシーンレベルコンテキスト(たとえば、少ない、適度な、混雑した交通など)、移動プラットフォーム118が移動している道路上のエリア(たとえば、車線3などの車線番号、追越車線などの車線タイプ)、走行可能車線幅(たとえば、元の車線幅の3分の2)、開いている車線の数(閉鎖されておらず利用可能な車線の数)などの、動的外部状況の他の道路シーン態様を特定することもできる。シーン分析および物体検出のための他の技法、たとえば、GIST画像記述子、Bag of Word(BoW)モデル、ローカルバイナリパターン(LBP)モデル、および/または他のビジョンアルゴリズムなども適用可能であり、考えられる。
,1)は、シーン内に工事車両が存在することを示す。たとえば、工事車両の位置は基準点から20フィート離れており、工事車両は作業ゾーン内で動作中である。このように特徴量ベクトルは、物体を表す識別子と物体ごとに定義されたフィールド(可変個数)の複数の組み合わせとして表現することができる。
ックを受信すると、将来の繰返しのために、カテゴリ決定に使用される1つまたは複数の変数を更新する。これにより、フィードバックに基づく学習が行われ、道路シーンカテゴライザ256はより精度よく道路シーンを分類できるようになる。
、ミクロシーンレベルで現在ユーザの前方にある道路シーン状況を記述する。ユーザの精通度グラフは、ユーザの走行履歴内の以前の走行インスタンスについてシーン特徴量作成器254が作成したシーン特徴量を集めた集合であり得る。結果として、シーン特徴量と同様に、各シーン特徴量履歴も、(特徴量インデックス履歴とも呼ばれる)特徴量ベクトル履歴によって表すことができ、特徴量ベクトル履歴はまた、複数の値(たとえば、数値、バイナリ値、文字値、論理値など、および/またはそれらの任意の組合せ)を含む多次元ベクトルであり得る。特徴量ベクトル履歴に含まれる値は、ユーザが経験した対応する道路シーン履歴の道路シーン属性、様々な道路シーン態様などを記述することができる。
、道路工事作業員、および/または工事ゾーンシーンの他の道路シーン態様を記述しないので、時刻t=t2、t=t3、およびt=t4における道路シーンを記述するシーン特徴量履歴のベクトル値とは実質的に異なる。結果として、時刻t=t1において取り込まれた道路シーンのシーン特徴量履歴の位置は、精通度グラフ内のこれら3つのシーン特徴量履歴の位置から離れており、これら3つのシーン特徴量に関連付けられた「工事」の道路シーンクラスタに含まれない。代わりに、時刻t=t1における道路シーンのシーン特徴量履歴の位置は、特徴量インデックス履歴の値におけるそれらの類似性に起因して「都市」として分類された道路シーンを記述する様々な他のシーン特徴量履歴により近接することができ、したがって、図9に図示される「都市」の道路シーンクラスタにグループ化することができる。
を含む場合もある。ユーザが走行を続けるにつれて、類似する道路シーン状況が発生し、それらのシーン特徴量履歴がユーザの精通度グラフに更新(たとえば、挿入)される。いくつかの実施形態では、一カ所に集まったシーン特徴量履歴の数がしきい値を満たすと、これらの特徴量データポイントについて新しいシーンクラスタが確立される。たとえば、精通度レベル分類器260は、これらの孤立したシーン特徴量履歴について、新しい道路シーンクラスタを作成する。いくつかの実施形態では、精通度レベル分類器260は、k平均クラスタリングアルゴリズムを使用して、近接するシーン特徴量データポイントを道路シーンクラスタにグループ化することができる。その他非階層型クラスタリングアルゴリズムや階層型クラスタリングアルゴリズムも可能であり、考えられる。いくつかの実施形態では、様々なマクロシーンに関連付けられたデータポイントは、同じ精通度グラフに含まれ、同じ精通度グラフに関連付けられ、かつ/または異なる精通度グラフにセグメント化される場合がある。
ることができる。これは、ユーザがしばらくの間走行し、かなりの量のユーザの走行履歴が収集された場合に、特に有利である。この例では、ユーザの精通度インデックスを算出するためにユーザの精通度グラフの関係する部分(たとえば、同様のマクロシーンのクラスタ)のみがさらに利用されるので、算出コストは、したがってかなり低減されるが、算出効率が問題ではなく、かつ/またはより大きなデータ範囲が必要な他の変形形態も可能であり、考えられる。
他の実施形態では、現在の道路シーンのマクロシーン情報(マクロシーンカテゴリ)を求めることなく、現在の道路シーンが含まれる道路シーンクラスタを決定する。例えば、特徴量空間において、現在の道路シーンのシーン特徴量の最近傍に位置する他の(過去の)シーン特徴量を決定し、この最近傍のシーン特徴量が属する道路シーンクラスタを現在の道路シーンの道路シーンクラスタとして決定してもよい。ここで利用する最近傍のシーン特徴量は1つでもよいし複数(近いものから所定数個)でもよく、複数の場合には多数決(たとえば、単純な多数決や距離に応じた重み付けをした多数決)にしたがって決定すればよい。
あるいは、特徴量ベクトルのクラスタ内での位置は、クラスタ中心から特徴量ベクトルまでの距離(近接度)に基づいて(例えば、当該距離(近接度)として)、決定することもできる。
とえば、精通度レベル分類器260は、特徴量ベクトルv4と特徴量ベクトルv3との間の距離、特徴量ベクトルv4と特徴量ベクトルv2との間の距離を算出することができ、これらの算出された距離を比較することができる。次いで、精通度レベル分類器260は、道路シーンクラスタ「工事」内で、特徴量ベクトルv4と特徴量ベクトルv3との間の距離が特徴量ベクトルv4と特徴量ベクトルv2との間の距離よりも小さいので、時刻t=t4における道路シーンのシーン特徴量が、時刻t=t2における道路シーンのシーン特徴量よりも、時刻t=t3における道路シーンのシーン特徴量に近いと判断することができる。これらのシーン特徴量間の判断された近接度は、時刻t=t4における道路シーン状況が、時刻t=t2における道路シーン状況よりも時刻t=t3における道路シーン状況に類似しているという事実を示す。たとえば、時刻t=t4および時刻t=t3における道路シーンは、両方とも道路工事作業員を含むが、時刻t=t2における道路シーンは道路工事作業員を含まない。
通度グラフ内のこれらのシーン特徴量の分布パターンは、これらの道路シーン状況履歴に対してユーザがどれほど精通しているかを示すことができる。たとえば、多数のシーン特徴量履歴が緊密に一カ所に集まっている場合は、ユーザが複数回同様の道路シーンに遭遇し、したがって、同様の道路シーン状況が発生した場合にその道路シーン状況におそらく精通していることを示す。対照的に、孤立した(クラスタを形成していない)シーン特徴量データポイントは、ユーザの走行履歴において多くは発生していない道路シーン状況に対応する。結果として、同様のシーン特徴量を有する道路シーン状況は、おそらくユーザにとってなじみがなく、したがって、ユーザはより多くのガイダンスを必要とする。これは、有利なことに、ユーザが道路あるいは道路シーン状況に精通していた場合とは異なる情報をユーザが受信する結果になる。
また、精通度インデックスは、精通度ゾーンを用いずに決定されてもよい。例えば、精通度インデックスは、特徴量空間において現在のシーン特徴量の近傍に位置する他のシーン特徴量(所定の距離あるいは近接度以内に位置する他のシーン特徴量)の数に基づいて決定されてもよい。このような、現在のシーン特徴量の近傍における他のシーン特徴量の数は、クラスタの密度と同様に扱えるためである。精通度インデックスは、上記と同様に、近傍におけるシーン特徴量の数が多いほど、より精通していることを表すように生成すればよい。なお、この手法によって精通度ゾーンを決定する場合は、精通度グラフ内のシーン特徴量をクラスタリングしたり、現在のシーン特徴量が属するクラスタを決定したりする処理は省略可能であることに留意されたい。
また、精通度インデックスは、現在のシーン特徴量のクラスタ中心からの距離に基づいて決定されてもよい。この場合、精通度インデックスは、現在のシーン特徴量がクラスタ中心に近いほどより精通していることを表すように生成する。また、精通度インデックスは、クラスタの密度も考慮して生成されてもよく、クラスタ中心からの距離が同じであってもクラスタ密度が高いほど精通度インデックスは高く(より精通していることを表す)ように決定すればよい。例えば、クラスタ中心から現在のシーン特徴量までの距離に存在するシーン特徴量の数や、クラスタ全体に存在するシーン特徴量の数を考慮して生成されてもよい。
ロセッサ202がプログラムを実行する)。いくつかの実施形態では、精通度レベル分類器260は、現在の道路シーンを記述するシーン特徴量が、ネストされた精通度ゾーンのいずれに位置を特定することにより、精通度インデックスを決定する。たとえば、精通度レベル分類器260は、本明細書の中の他の場所で説明されるように、現在の道路シーンを記述するシーン特徴量の位置を、現在の道路シーンに対応する道路シーンのネストされた精通度ゾーンと比較する。
ートである。いくつかの実施形態では、精通度レベル分類器260は、ユーザが車道上を走行しているときに(データを収集、処理、および/または送信することによってもたらされる遅延に起因する時間遅延を含む)リアルタイムで取り込まれたユーザの生理学的データ、ならびにユーザのナビゲーション履歴データを使用して、(少なくとも図3〜図4Dを参照して詳細に説明された)道路シーン画像に基づいて算出されたシーン特徴量を強化することができる。詳細には、図7に示されるように、精通度レベル分類器260は、生理学的センサ704および顔面センサ706から生理学的データを受信することができ、ナビゲーションデータベース108からナビゲーション履歴データを取り出すことがで
き、これら2つのタイプのユーザ固有データを利用して、特定の時点において車道センサ702が取り込んだ道路シーン画像から作成されたシーン特徴量を強化することができる。
つかの実施形態では、生理学的重み値は、現在の道路シーン状況にユーザがどれほど注意深く能動的に応答しているかを推定する値(たとえば、基準値)である。たとえば、1〜100のスケールで、95の生理学的重み値は、ユーザがパニック状態にあり、および十分に集中して状況に対処可能なことを示し、95の生理学的重み値は、ユーザにストレスがかかっており、および道路シーンにかなりの注意を払っていることを示し、21の生理学的重み値は、ユーザが落ち着いており、および現在の走行状況を楽しんでいることを示すことができる。
、強化されたシーン特徴量は、道路シーン状況を記述する様々な情報(たとえば、道路シーン画像から作成されたシーン特徴量、生理学的重み値、ナビゲーション履歴重み値)を収集する合成特徴量または集合コードワード(符号語)と考えることができる。いくつかの実施形態では、精通度レベル分類器260は、次いで、少なくとも図4Cを参照して詳細に説明されたように、精通度グラフ内の対応するマクロシーンクラスタの既存のシーン特徴量履歴に対して、強化されたシーン特徴量を配置することができる。
ある実施形態では、強化されたシーン特徴量あるいは重み付けされたシーン特徴量は、シーン特徴量データポイントの密度を求める際に、重み値の数に応じた個数としてカウントされる。すなわち、上述の重み値(生理学的重み値および/またはナビゲーション履歴重み値)は密度算出の際に用いられる重みである。
のとする。この場合、支援レベル選択器712は、ドライバ支援システム700の支援レベルを、「低い」詳細レベルで5分ごとにユーザに指示を与えるものとして決定することができる。3マイル走行した後、ユーザは、第2の工事ゾーン(たとえば、図8に図示される時刻t=t4における道路シーン状況)に遭遇する。今度は、精通度レベル分類器260によって作成された精通度インデックスは、ユーザが前方の工事ゾーンの複雑さに精通しておらず、したがってより多くの支援を必要とする可能性があることを示すものとする。この場合、支援レベル選択器712は、ドライバ支援システム700の支援レベルを、「高い」詳細レベルで2分ごとにユーザに指示を与えるものとして決定する。
しかしながら、本開示で説明された技術は、これらの詳細を含まずに実施できることを理解すべきである。さらに、説明が不明瞭になることを避けるために、種々のシステム、装置、構造をブロック図の形式で表した。たとえば、種々の実装例が、特定のハードウェア、ソフトウェア、およびユーザインタフェースを持つものとして説明した。しかし、ここでの説明は、データおよびコマンドを受信する任意のタイプの計算装置および任意の周辺機器について適用できる。
「計算」「コンピュータ計算(処理)」「判断」「表示」等の用語を用いた説明は、コンピュータシステムや類似の電子的計算装置の動作および処理であって、コンピュータシステムのレジスタやメモリ内の物理的(電子的)量を、他のメモリやレジスタまたは同様の情報ストレージや通信装置、表示装置内の物理量として表される他のデータへ操作および変形する動作および処理を意味する。
ィア媒体を含むが、これらに限定される訳ではない。
バー・HTTP(DASH)、リアルタイム・ストリーミング・プロトコル(RTSP)、リアルタイム・トランスポート・プロトコル(RTP)、リアルタイム・トランスポート・コントロール・プロトコル(RTCP)、ボイス・オーバー・インターネット・プロトコル(VOIP)、ファイル・トランスファー・プロトコル(FTP)、ウェブソケット(WS)、無線アクセスプロトコル(WAP)、種々のメッセージングプロトコル(SMS、MMS、XMS、IMAP、SMTP、POP、WebDAV等)、その他既知のプロトコル。
106 精通度グラフデータベース
108 ナビゲーションデータベース
118 移動プラットフォーム
122 ユーザ支援アプリケーション
124 クライアントデバイス
200 コンピューティングデバイス
202 プロセッサ
204 メモリ
206 通信ユニット
252 シーンプロセッサ
254 シーン特徴量作成器
256 道路シーンカテゴライザ
258 ユーザモニタ
260 精通度レベル分類器
Claims (17)
- コンピュータによって実行される方法であって、
現在の道路のシーンを記述するシーン特徴量を作成するステップと、
ユーザが過去に経験した道路のシーンを記述する複数のシーン特徴量を格納した精通度グラフにおいて定義される複数の道路シーンクラスタの中から、現在の道路シーンに対応する道路シーンクラスタを特定するステップと、
特定された道路シーンクラスタにおける現在の道路シーンのシーン特徴量の位置に基づいて現在の道路シーンに対する前記ユーザの精通度を推定した精通度インデックスを生成するステップと、
を含む、方法。 - 前記シーン特徴量は、前記道路シーンにおける動的物体とその配置を含み、
前記シーン特徴量を生成するステップは、
道路の方を向いた車両のセンサによって前記道路をセンシングしたセンサデータを取得するステップと、
前記センサデータを用いて、道路上の動的物体とその位置を検出するステップと、
前記検出の結果に基づいて、検出された動的物体の種類、数、および配置を記述するシーン特徴量を生成するステップと、
を含む、請求項1に記載の方法。 - 前記精通度グラフに含まれる過去のシーン特徴量は、それぞれマクロシーンカテゴリと関連付けられており、
前記道路シーンクラスタを特定するステップは、
前記シーン特徴量を用いて、現在の道路シーンのマクロシーンカテゴリを決定するステップと、
前記精通度グラフに含まれる過去のシーン特徴量の中から、前記決定されたマクロシーンカテゴリに関連付けられたシーン特徴量を取得するステップと、
を含む、請求項2に記載の方法。 - 前記マクロシーンカテゴリは、都市カテゴリ、地方カテゴリ、住居カテゴリ、工事ゾーンカテゴリ、高速道路カテゴリ、および事故カテゴリの少なくとも何れかを含む、
請求項3に記載の方法。 - 前記精通度グラフに含まれる過去のシーン特徴量に対してクラスタリングアルゴリズムを適用して、前記過去のシーン特徴量を複数のクラスタに分類するステップをさらに含み、
前記道路シーンクラスタを特定するステップは、現在の道路シーンのシーン特徴量と最も近い道路シーンクラスタを特定することにより行われる、
請求項1または2に記載の方法。 - 前記精通度インデックスを生成するステップでは、前記精通度インデックスは、現在の道路シーンのシーン特徴量の近傍における前記道路シーンクラスタに含まれる他のシーン特徴量の密度に基づいて、前記密度が高いほどより精通していることを示すように生成される、
請求項1から5のいずれか1項に記載の方法。 - 前記道路シーンクラスタに含まれる他のシーン特徴量の密度に基づいて、前記道路シーンクラスタを複数の精通度ゾーンに分割するステップを含み、
前記精通度インデックスを生成するステップでは、現在の道路シーンのシーン特徴量が
前記道路シーンクラスタのどの精通度ゾーンに位置するかを決定し、決定された精通度ゾーンに基づいて前記精通度インデックスを生成する、
請求項6に記載の方法。 - 前記精通度インデックスを生成するステップでは、
現在の道路シーンのシーン特徴量との近接度がしきい値以内の、前記道路シーンクラスタに含まれる他のシーン特徴量の数を決定し、
前記数が多いほど前記精通度インデックスはより精通していることを示すように生成される、
請求項1から5のいずれか1項に記載の方法。 - 現在の道路シーンのシーン特徴量を用いて、道路シーンクラスタを更新するステップをさらに含む、
請求項1から8のいずれか1項に記載の方法。 - 前記ユーザの精通度インデックスに基づいて支援レベルを決定するステップと、
前記決定された支援レベルで、車両が有する出力装置を介してユーザに対して、聴覚的指示、視覚的指示、および触覚的指示の少なくとも何れかを提供するステップと、
をさらに含む、請求項1から9のいずれか1項に記載の方法。 - 前記支援レベルは、指示の提供頻度または指示の詳細度のいずれかを含む、
請求項10に記載の方法。 - 前記ユーザの生理学的データを取得するステップと、
前記生理学的データに基づいて、第1の重み値を生成するステップと、
前記第1の重み値を用いてシーン特徴量を強化するステップと、
をさらに含む、請求項1から11のいずれか1項に記載の方法。 - 前記生理学的データは、前記ユーザの頭の動き、目の動き、心電図検査データ、呼吸データ、皮膚コンダクタンス、筋肉の緊張度の少なくともいずれかを含む、
請求項12に記載の方法。 - 前記ユーザに関連付けられた過去の走行データ履歴を取得するステップと、
前記走行データ履歴に基づいて、第2の重み値を生成するステップと、
前記第2の重み値を用いてシーン特徴量を強化するステップと、
をさらに含む、請求項1から13のいずれか1項に記載の方法。 - コンピュータによって実行される方法であって、
現在の道路のシーンを記述するシーン特徴量を作成するステップと、
ユーザが過去に経験した道路のシーンを記述する複数の他のシーン特徴量を取得するステップと、
特徴量空間での現在の道路シーンのシーン特徴量の近傍における前記他のシーン特徴量の密度に基づいて、現在の道路シーンに対する前記ユーザの精通度を推定した精通度インデックスを生成するステップと、
を含む、方法。 - 請求項1から15のいずれか1項に記載の方法の各ステップをコンピュータに実行させるプログラム。
- プロセッサと、
請求項1から15のいずれか1項に記載の方法の各ステップをコンピュータに実行させるプログラムを格納したメモリと、
を備える、システム。
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US15/087,726 | 2016-03-31 | ||
US15/087,726 US9805276B2 (en) | 2016-03-31 | 2016-03-31 | Generating real-time driver familiarity index for fine-grained dynamic road scenes |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2017188099A true JP2017188099A (ja) | 2017-10-12 |
JP6341311B2 JP6341311B2 (ja) | 2018-06-13 |
Family
ID=59961071
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2017056081A Expired - Fee Related JP6341311B2 (ja) | 2016-03-31 | 2017-03-22 | ドライバの動的道路シーンに対する精通度インデックスのリアルタイム作成 |
Country Status (2)
Country | Link |
---|---|
US (1) | US9805276B2 (ja) |
JP (1) | JP6341311B2 (ja) |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2020052927A (ja) * | 2018-09-28 | 2020-04-02 | マツダ株式会社 | 自動車運行管理システム及び自動車運行管理システムに用いられる運行管理装置 |
JP2020091528A (ja) * | 2018-12-03 | 2020-06-11 | 株式会社デンソー | 画像取得システム |
JP2020160968A (ja) * | 2019-03-27 | 2020-10-01 | 本田技研工業株式会社 | 車両制御装置、車両および車両制御方法 |
Families Citing this family (27)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP6884517B2 (ja) * | 2016-06-15 | 2021-06-09 | キヤノン株式会社 | 情報処理装置、情報処理方法及びプログラム |
EP3285213A1 (en) * | 2016-08-16 | 2018-02-21 | Hexagon Technology Center GmbH | Lod work package |
US10480157B2 (en) * | 2016-09-07 | 2019-11-19 | Caterpillar Inc. | Control system for a machine |
US10140856B2 (en) * | 2016-12-06 | 2018-11-27 | Here Global B.V. | Automatic detection of lane closures using probe data |
WO2018222937A1 (en) | 2017-05-31 | 2018-12-06 | Carmera, Inc. | System of vehicles equipped with imaging equipment for high-definition near real-time map generation |
CN107729951B (zh) * | 2017-11-14 | 2024-02-09 | 吉林大学 | 一种考虑道路与环境特征的驾驶员行为分析装置及方法 |
US10134285B1 (en) * | 2017-12-29 | 2018-11-20 | Forward Thinking Systems, LLC | FleetCam integration |
US10423886B2 (en) | 2017-12-29 | 2019-09-24 | Forward Thinking Systems, LLC | Electronic logs with compliance support and prediction |
US10963706B2 (en) | 2018-01-13 | 2021-03-30 | Toyota Jidosha Kabushiki Kaisha | Distributable representation learning for associating observations from multiple vehicles |
US10586118B2 (en) | 2018-01-13 | 2020-03-10 | Toyota Jidosha Kabushiki Kaisha | Localizing traffic situation using multi-vehicle collaboration |
US10916135B2 (en) * | 2018-01-13 | 2021-02-09 | Toyota Jidosha Kabushiki Kaisha | Similarity learning and association between observations of multiple connected vehicles |
US10479356B1 (en) | 2018-08-17 | 2019-11-19 | Lyft, Inc. | Road segment similarity determination |
US11056005B2 (en) | 2018-10-24 | 2021-07-06 | Waymo Llc | Traffic light detection and lane state recognition for autonomous vehicles |
US10665109B1 (en) * | 2019-05-17 | 2020-05-26 | sibrtech inc. | Construction zone apparatus and method |
US11928557B2 (en) | 2019-06-13 | 2024-03-12 | Lyft, Inc. | Systems and methods for routing vehicles to capture and evaluate targeted scenarios |
CN112109645B (zh) * | 2019-06-19 | 2023-08-15 | 宝马股份公司 | 向车辆用户提供辅助的方法和系统 |
US11157007B2 (en) | 2019-06-28 | 2021-10-26 | Lyft, Inc. | Approaches for encoding environmental information |
US11449475B2 (en) * | 2019-06-28 | 2022-09-20 | Lyft, Inc. | Approaches for encoding environmental information |
US10754893B1 (en) | 2019-09-09 | 2020-08-25 | Forward Thinking Systems, LLC | Providing access to vehicle videos |
US11568744B2 (en) * | 2019-09-12 | 2023-01-31 | Pony Ai Inc. | System and method for determining a stop point |
US11788846B2 (en) | 2019-09-30 | 2023-10-17 | Lyft, Inc. | Mapping and determining scenarios for geographic regions |
US11816900B2 (en) * | 2019-10-23 | 2023-11-14 | Lyft, Inc. | Approaches for encoding environmental information |
CN111339851B (zh) * | 2020-02-14 | 2022-01-11 | 青岛智能产业技术研究院 | 一种基于场景熟悉度的无人车远程接管方法 |
KR20210111557A (ko) * | 2020-03-03 | 2021-09-13 | 현대자동차주식회사 | 심층 학습 기반의 객체 분류 장치 및 그 방법 |
US11532096B2 (en) * | 2020-05-21 | 2022-12-20 | Verizon Connect Development Limited | Systems and methods for utilizing a deep learning model to determine vehicle viewpoint estimations |
US20220148421A1 (en) * | 2021-09-03 | 2022-05-12 | Esther S. Massengill | Instrumented Traffic Cones for 5G/6G Networking |
US11721096B2 (en) * | 2021-09-23 | 2023-08-08 | Here Global B.V. | Method, apparatus, and system for confirming road vector geometry based on aerial images |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2003083759A (ja) * | 2001-09-17 | 2003-03-19 | Nissan Motor Co Ltd | ナビゲーション装置 |
JP2006047092A (ja) * | 2004-08-04 | 2006-02-16 | Nissan Motor Co Ltd | ナビゲーション装置 |
JP2010006232A (ja) * | 2008-06-26 | 2010-01-14 | Advics Co Ltd | 車両制御装置 |
JP2014135039A (ja) * | 2012-12-13 | 2014-07-24 | Denso Corp | 移動体検出装置 |
Family Cites Families (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US6879969B2 (en) | 2001-01-21 | 2005-04-12 | Volvo Technological Development Corporation | System and method for real-time recognition of driving patterns |
JP2005195536A (ja) | 2004-01-09 | 2005-07-21 | Mazda Motor Corp | 自動車の運転支援システム |
DE602005017144D1 (de) | 2005-08-18 | 2009-11-26 | Honda Res Inst Europe Gmbh | Fahrerassistenzsystem |
US7880621B2 (en) | 2006-12-22 | 2011-02-01 | Toyota Motor Engineering & Manufacturing North America, Inc. | Distraction estimator |
EP2669845A3 (en) * | 2012-06-01 | 2014-11-19 | Ricoh Company, Ltd. | Target recognition system, target recognition method executed by the target recognition system, target recognition program executed on the target recognition system, and recording medium storing the target recognition program |
US9417069B2 (en) | 2013-07-25 | 2016-08-16 | Honda Motor Co., Ltd. | Familiarity modeling |
-
2016
- 2016-03-31 US US15/087,726 patent/US9805276B2/en active Active
-
2017
- 2017-03-22 JP JP2017056081A patent/JP6341311B2/ja not_active Expired - Fee Related
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2003083759A (ja) * | 2001-09-17 | 2003-03-19 | Nissan Motor Co Ltd | ナビゲーション装置 |
JP2006047092A (ja) * | 2004-08-04 | 2006-02-16 | Nissan Motor Co Ltd | ナビゲーション装置 |
JP2010006232A (ja) * | 2008-06-26 | 2010-01-14 | Advics Co Ltd | 車両制御装置 |
JP2014135039A (ja) * | 2012-12-13 | 2014-07-24 | Denso Corp | 移動体検出装置 |
Cited By (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2020052927A (ja) * | 2018-09-28 | 2020-04-02 | マツダ株式会社 | 自動車運行管理システム及び自動車運行管理システムに用いられる運行管理装置 |
JP7169536B2 (ja) | 2018-09-28 | 2022-11-11 | マツダ株式会社 | 自動車運行管理システム及び自動車運行管理システムに用いられる運行管理装置 |
JP2020091528A (ja) * | 2018-12-03 | 2020-06-11 | 株式会社デンソー | 画像取得システム |
JP7074037B2 (ja) | 2018-12-03 | 2022-05-24 | 株式会社デンソー | 画像取得システム |
JP2020160968A (ja) * | 2019-03-27 | 2020-10-01 | 本田技研工業株式会社 | 車両制御装置、車両および車両制御方法 |
JP2021184296A (ja) * | 2019-03-27 | 2021-12-02 | 本田技研工業株式会社 | 車両制御装置、車両および車両制御方法 |
JP7108109B2 (ja) | 2019-03-27 | 2022-07-27 | 本田技研工業株式会社 | 車両制御装置、車両および車両制御方法 |
US11731624B2 (en) | 2019-03-27 | 2023-08-22 | Honda Motor Co., Ltd. | Vehicle controller, vehicle, and vehicle control method |
Also Published As
Publication number | Publication date |
---|---|
US20170286782A1 (en) | 2017-10-05 |
JP6341311B2 (ja) | 2018-06-13 |
US9805276B2 (en) | 2017-10-31 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6341311B2 (ja) | ドライバの動的道路シーンに対する精通度インデックスのリアルタイム作成 | |
US10981567B2 (en) | Feature-based prediction | |
JP6369611B2 (ja) | ディープ(双方向)再帰型ニューラルネットワークを用いたセンサデータの時間融合に基づく効率的な運転者行動予測システム | |
US10611379B2 (en) | Integrative cognition of driver behavior | |
KR102070527B1 (ko) | 자율 주행 차량 교통 예측에서 예측되는 궤적에 대한 평가 프레임 워크 | |
JP6394735B2 (ja) | 階層型コンテキストアウェアによる手足の検出 | |
US11733703B2 (en) | Automatic braking of autonomous vehicles using machine learning based prediction of behavior of a traffic entity | |
JP2018027776A (ja) | 運転者行動予測モデルの個人適合 | |
US10346888B2 (en) | Systems and methods to obtain passenger feedback in response to autonomous vehicle driving events | |
JP2019125368A (ja) | 複数のコネクティッド車両による観測値を関連付ける方法 | |
JP7391990B2 (ja) | 運転者疲労マップに基づく個人向けルート探索 | |
JP2021506000A (ja) | 多段画像ベースの物体検出および認識 | |
JP5278419B2 (ja) | 運転シーンの遷移予測装置及び車両用推奨運転操作提示装置 | |
US11919545B2 (en) | Scenario identification for validation and training of machine learning based models for autonomous vehicles | |
US11467579B2 (en) | Probabilistic neural network for predicting hidden context of traffic entities for autonomous vehicles | |
Soultana et al. | Context-awareness in the smart car: study and analysis | |
Fasanmade | A Context Aware Classification System for Monitoring Drivers' Distraction Levels | |
Aboah | AI-based framework for automatically extracting high-low features from NDS data to understand driver behavior | |
JP2024013226A (ja) | 運転関連の向上した仮想フィールド |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20180125 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20180130 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20180402 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20180417 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20180430 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 6341311 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |
|
LAPS | Cancellation because of no payment of annual fees |