JP2017174417A - 道路シーン状況の理解および確実に共有するための道路シーン状況のセマンティック表現 - Google Patents

道路シーン状況の理解および確実に共有するための道路シーン状況のセマンティック表現 Download PDF

Info

Publication number
JP2017174417A
JP2017174417A JP2017040721A JP2017040721A JP2017174417A JP 2017174417 A JP2017174417 A JP 2017174417A JP 2017040721 A JP2017040721 A JP 2017040721A JP 2017040721 A JP2017040721 A JP 2017040721A JP 2017174417 A JP2017174417 A JP 2017174417A
Authority
JP
Japan
Prior art keywords
road
lane
data
scene
vehicle
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2017040721A
Other languages
English (en)
Other versions
JP6414255B2 (ja
Inventor
ヤラ,ベエーラガネッシュ
Yalla Veeraganesh
パルンデカ,ラウル
Ravi Parundekar Rahul
ピライ,プリーティ
J Pillai Preeti
尾口 健太郎
Kentaro Oguchi
健太郎 尾口
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Toyota Motor Corp
Original Assignee
Toyota Motor Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Toyota Motor Corp filed Critical Toyota Motor Corp
Publication of JP2017174417A publication Critical patent/JP2017174417A/ja
Application granted granted Critical
Publication of JP6414255B2 publication Critical patent/JP6414255B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G08SIGNALLING
    • G08GTRAFFIC CONTROL SYSTEMS
    • G08G1/00Traffic control systems for road vehicles
    • G08G1/16Anti-collision systems
    • G08G1/167Driving aids for lane monitoring, lane changing, e.g. blind spot detection
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01CMEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G01C21/34Route searching; Route guidance
    • G01C21/3407Route searching; Route guidance specially adapted for specific applications
    • G01C21/3415Dynamic re-routing, e.g. recalculating the route when the user deviates from calculated route or after detecting real-time traffic data or accidents
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01CMEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G01C21/34Route searching; Route guidance
    • G01C21/36Input/output arrangements for on-board computers
    • G01C21/3602Input other than that of destination using image analysis, e.g. detection of road signs, lanes, buildings, real preceding vehicles using a camera
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/20Scenes; Scene-specific elements in augmented reality scenes
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/56Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/588Recognition of the road, e.g. of lane markings; Recognition of the vehicle driving pattern in relation to the road
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/70Labelling scene content, e.g. deriving syntactic or semantic representations
    • GPHYSICS
    • G08SIGNALLING
    • G08GTRAFFIC CONTROL SYSTEMS
    • G08G1/00Traffic control systems for road vehicles
    • G08G1/09Arrangements for giving variable traffic instructions
    • G08G1/0962Arrangements for giving variable traffic instructions having an indicator mounted inside the vehicle, e.g. giving voice messages
    • G08G1/0967Systems involving transmission of highway information, e.g. weather, speed limits
    • G08G1/096708Systems involving transmission of highway information, e.g. weather, speed limits where the received information might be used to generate an automatic action on the vehicle control
    • G08G1/096716Systems involving transmission of highway information, e.g. weather, speed limits where the received information might be used to generate an automatic action on the vehicle control where the received information does not generate an automatic action on the vehicle control
    • GPHYSICS
    • G08SIGNALLING
    • G08GTRAFFIC CONTROL SYSTEMS
    • G08G1/00Traffic control systems for road vehicles
    • G08G1/09Arrangements for giving variable traffic instructions
    • G08G1/0962Arrangements for giving variable traffic instructions having an indicator mounted inside the vehicle, e.g. giving voice messages
    • G08G1/0967Systems involving transmission of highway information, e.g. weather, speed limits
    • G08G1/096733Systems involving transmission of highway information, e.g. weather, speed limits where a selection of the information might take place
    • G08G1/09675Systems involving transmission of highway information, e.g. weather, speed limits where a selection of the information might take place where a selection from the received information takes place in the vehicle
    • GPHYSICS
    • G08SIGNALLING
    • G08GTRAFFIC CONTROL SYSTEMS
    • G08G1/00Traffic control systems for road vehicles
    • G08G1/09Arrangements for giving variable traffic instructions
    • G08G1/0962Arrangements for giving variable traffic instructions having an indicator mounted inside the vehicle, e.g. giving voice messages
    • G08G1/0967Systems involving transmission of highway information, e.g. weather, speed limits
    • G08G1/096766Systems involving transmission of highway information, e.g. weather, speed limits where the system is characterised by the origin of the information transmission
    • G08G1/096791Systems involving transmission of highway information, e.g. weather, speed limits where the system is characterised by the origin of the information transmission where the origin of the information is another vehicle
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04WWIRELESS COMMUNICATION NETWORKS
    • H04W84/00Network topologies
    • H04W84/005Moving wireless networks
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04WWIRELESS COMMUNICATION NETWORKS
    • H04W84/00Network topologies
    • H04W84/18Self-organising networks, e.g. ad-hoc networks or sensor networks

Abstract

【課題】現在の道路シーン状況のセマンティック記述を、複数の車両や基盤の間で確実かつ自動的に交換する。【解決手段】コンピュータによって実行される方法であって、道路区間上の第1の車両のセンサから、道路シーンデータおよび車両動作データを受信するステップと、状況オントロジーデータを受信するステップと、前記道路シーンデータ、前記車両動作データ、および前記状況オントロジーデータを用いて、前記道路区間のセマンティック道路シーン記述を自動的に作成するステップと、前記セマンティック道路シーン記述を、通信ネットワークを介して、前記道路区間に関連付けられた第2の車両に送信するステップと、を含む。【選択図】図8

Description

本開示は道路シーン処理(road scene processing)に関する。より詳細な例では、本
開示は、道路シーン記述を作成し、車両間で交換するための技術に関する。
最近の新式の車両は、ドライバ支援、乗員の安全・快適さ、診断・保守目的の外部サービスとの通信などに関する様々な異なるアプリケーションのために、外部環境などの車両の環境についての情報に依存している。しかしながら、これらの既存の手法は、一般に、自車両の挙動を適合させるためだけにその情報を使用している。これらの車両は、通常、他の近隣車両によって実行されている処理を把握しておらず、そのような状況を自身で検出できずに最新の状況に対処することができないか、または、このような状況を不完全または不正確しか把握できず、その範囲内でしか対処することができない。結果として、車載システムは、不正確な情報を乗員に提供することがあり、また、システムによって提供される運転支援は、ユーザの運転経験や安全を改善させなかったり、場合によっては悪化させたりすることがある。
いくつかの例示的なアプリケーションでは、ナビゲーションシステムは、現在の道路シーン情報を他の車両と共有(シェア)する作業をユーザが行うことを要求する。詳細には、これらのソリューションは、他のドライバが知るべき交通状況を中央通信基盤にプロアクティブに報告することをユーザに要求する。そして、中央通信基盤は、そのような情報をシステムの他の車両にブロードキャストする。しかしながら、これらの既存の技法は、状況を報告するユーザによる道路シーンの主観的な観測および評価の影響を受ける。また、これらのソリューションは、ユーザが運転している際に、望ましくない注意散漫を引き起こす可能性がある。
上記の問題点を考慮して、本発明は、現在の道路シーン状況のセマンティック記述を、複数の車両および/または基盤の間で確実かつ自動的に交換することを目的とする。
本開示に記載される主題の1つの発明的態様によれば、システムは、1つまたは複数のプロセッサ、ならびに、1つまたは複数のプロセッサによって実行されると、道路区間上の第1の車両に関連付けられた1つまたは複数のセンサから、道路シーンデータおよび車両動作データを受信することと、状況オントロジーデータを受信することと、道路シーンデータ、車両動作データ、および状況オントロジーデータを使用して、道路区間のセマンティック道路シーン記述を自動的に作成することと、通信ネットワークを介して、道路区間に関連付けられた1つまたは複数の他の車両にセマンティック道路シーン記述を送信することとをシステムに行わせる命令を記憶する、1つまたは複数のメモリを含む。
一般に、本開示に記載される主題の別の発明的態様は、道路区間上の第1の車両に関連付けられた1つまたは複数のセンサから、道路シーンデータおよび車両動作データを受信することと、状況オントロジーデータを受信することと、道路シーンデータ、車両動作データ、および状況オントロジーデータを使用して、道路区間のセマンティック道路シーン記述を自動的に作成することと、通信ネットワークを介して、道路区間に関連付けられた1つまたは複数の他の車両にセマンティック道路シーン記述を送信することとを含む方法
において具現化することができる。
他の態様は、上記その他の発明的態様のための対応する方法、システム、装置、およびコンピュータプログラム製品を含む。
上記その他の実装形態は、各々、場合によっては、以下の特徴および/または動作のうちの1つまたは複数を含む場合がある。たとえば、一実施形態では、状況オントロジーデータが道路シーン状況を記述するための1つまたは複数のあらかじめ定義されたセマンティック用語(semantic term)を含んでもよい。
また一実施形態では、道路シーンデータに基づいて1つまたは複数の静的道路物体を検出し、検出された静的道路物体に基づいて道路区間の1つまたは複数の車線を特定してもよい。
また一実施形態では、道路区間の1つまたは複数の車線を特定することが、道路区間に関連付けられた地図データを受信し、地図データおよび検出された静的道路物体に基づいて道路区間の1つまたは複数の車線を特定することを含んでもよい。
また一実施形態では、道路シーンデータに基づいて1つまたは複数の動的道路物体を検出し、車線情報および動的道路物体情報に基づいて車線ごとの車線レベルアクティビティ情報を特定し、車線情報および動的道路物体情報に基づいて車線ごとの車線レベル空間レイアウトを特定してもよい。
また一実施形態では車線レベルアクティビティ情報を特定することが、1つまたは複数の動的道路物体の動きおよび車線位置を空間的および時間的に監視し、1つまたは複数の動的道路物体の監視された動きおよび監視された車線位置に基づいて車線ごとの車線レベルアクティビティ情報を作成することを含んでもよい。
また一実施形態では、動きおよび車線位置を空間的および時間的に監視することが、検出された動的道路物体の各々に一意の物体識別子を割り当て、割り当てられた物体識別子に基づいて動的道路物体の動きおよび車線位置を空間的および時間的に監視することを含むことを含んでもよい。
また一実施形態では、車線ごとの車線レベル空間レイアウトを特定することが、道路シーンデータに基づいて各車線内の動的道路物体の数を特定し、各車線内の動的道路物体の数および第1の車両に関連付けられた1つまたは複数のセンサのセンサ範囲に基づいて車線ごとの車線レベル空間レイアウトを特定することを含んでもよい。
また一実施形態では、道路シーンデータに基づいて道路区間に関連付けられた地域属性、明暗属性、気象属性、およびシーンレベルコンテキストのうちの1つまたは複数を特定し、気象属性および車両動作データに基づいて道路区間に関連付けられた路面状態を特定し、車線ごとの車線レベルアクティビティ情報を特定し、車線ごとの車線レベル空間レイアウトを特定することであって、道路区間の作成されたセマンティック道路シーン記述が、道路区間に関連付けられた地域属性、明暗属性、気象属性、シーンレベルコンテキスト、路面状態、車線ごとの車線レベルアクティビティ情報、および車線ごとの車線レベル空間レイアウトのうちの1つまたは複数を含む、特定することを含んでもよい。
また一実施形態では、道路区間に関連付けられた2つ以上の車両から、それぞれ、2つ以上の他のセマンティック道路シーン記述を受信し、2つ以上の他のセマンティック道路シーン記述の各々の中の1つまたは複数の態様に基づいて2つ以上の他のセマンティック
道路シーン記述を調整させ、調整したセマンティック道路シーン記述に基づいて道路区間に関する1つまたは複数の外部状態を特定し、1つまたは複数の外部状態に基づいて1つまたは複数の対話型ルーチンを実行することを含んでもよい。
また一実施形態では、2つ以上の他のセマンティック道路シーン記述の各々の少なくとも1つの態様が車線情報であり、2つ以上の他のセマンティック道路シーン記述を調整させることが、2つ以上の他のセマンティック道路シーン記述の各々に含まれる車線情報に基づいて2つ以上の他のセマンティック道路シーン記述を調整させることを含んでもよい。
また一実施形態では、道路区間に関連付けられた地図データを受信し、2つ以上の他のセマンティック道路シーン記述を調整させることが、2つ以上の他のセマンティック道路シーン記述の各々および地図データに含まれる車線情報に基づいて2つ以上の他のセマンティック道路シーン記述を調整させることを含んでもよい。
また一実施形態では、1つまたは複数の対話型ルーチンを実行することが、1つまたは複数の外部状態に基づいてナビゲーションガイダンスを作成し、第1の車両のユーザにナビゲーションガイダンスを提供することを含んでもよい。
また一実施形態では、1つまたは複数の他の車両が第1の車両の無線周波通信範囲内にあり、通信ネットワークが車両対車両ネットワークおよび車両対基盤ネットワークのうちの1つであることと、道路シーンデータが1つまたは複数の光学センサによって取り込まれた画像データを含んでもよい。
本開示における「道路シーン状況」は、道路における状況(situation)を表し、道路
・道路上または道路近傍のある物体・道路を取り巻く環境等の状態を含む概念である。道路の状態には、例えば、車線の数、通行規制の有無および内容、路面状態などが含まれる。道路上または道路近傍の物体には、車両(自動車、トラック、自動二輪車等)、歩行者、道路工事作業員、交通標識、ガードレール、中央分離帯、障害物、路側機などが含まれる。これらの物体の状態には、それらの位置、移動方向、移動速度および加速度、目的地などが含まれる。道路を取り巻く環境には、気象、明暗、日時などが含まれる。
本開示において「シーンレベルコンテキスト」は、道路に関するコンテキストを表し、気象、明暗、日時、交通状況(交通渋滞、道路工事、運転し易さ(度合い)、横断可能な道路領域)などが含まれる。
本開示において「車線レベルアクティビティ」は、車線上の道路物体が行っている活動を表す。車線レベルアクティビティは、例えば、どの車両がどの車線上を走行あるいは停止しているか、その移動速度、移動方向などを表す。また、移動以外の任意の動作もアク車線レベルティビティに含まれてよい。
本開示において「車線レベル空間レイアウト」は、道路上の道路物体の車線ごとの空間配置を表す。車線レベル空間レイアウトは、ある車線上での物体間の距離や位置関係を含む。
本開示における「セマンティック道路シーン記述」は、道路シーン状況を要約するものである。セマンティック道路シーン記述は、あらかじめ定義されたオントロジーを用いて表現することができる。
本開示における「道路物体(roadway object)」は、道路上または道路近傍に存在する物体である。「道路物体」は、「静的道路物体」と「動的道路物体」に分類できる。「静的道路物体」は、道路に対して移動しない物体である。ここで「移動しない」というのは、所定の時間スパンで移動しないことを意味する。静的道路物体には、例えば、車線、交通信号、道路標識、トラフィックコーン、バリケードが含まれる。「動的道路物体」は、
道路に対して移動する物体であり、例えば、車両(自動車、トラック、自動二輪車等)、歩行者、道路工事作業員が含まれる。
本開示において提示される道路シーン状況を理解し、共有するための新規の技術は、いくつかの点で特に有利である。たとえば、本明細書に記載される技術により、現在の道路シーン状況のセマンティック記述が、複数の車両および/または基盤の間で確実かつ自動的に交換されることが可能になる。
さらなる例として、本明細書に記載される技術により、シーン内の物体間関係を考慮に入れ、シーン内の複数の物体ならびにシーン自体のコンテキストからの情報を集約することによって、現在の状況のセマンティック記述に時空間情報が含められる。したがって、本技術により、ドライバの安全および運転経験を改善するために様々なアプリケーションにおいて使用するための現在の道路シーン状況の包括的理解を与えることができる。さらに、ユーザの介入なしに複数の車両から道路シーン情報を自動的に集約および送信することにより、運転時のユーザに不要な注意散漫を引き起こすことも回避することができる。
上記の利点は例として提供されたこと、および本技法は多数の他の利点および利益を有することができることを理解されたい。
本開示は、添付図面の図において限定としてではなく例として示され、添付図面では、同様の構成要素を参照するために同様の参照番号が使用される。
道路シーン状況を処理および理解し、セマンティック道路シーン記述を作成および共有するための例示的なシステムのブロック図である。 例示的なコンピューティングデバイスのブロック図である。 例示的な道路シーンアプリケーションのブロック図である。 道路区間用のセマンティック道路シーン記述を作成するための例示的な方法のフローチャートである。 車両および/または道路区間に関する外部道路シーン状態を特定するための例示的な方法のフローチャートである。 道路区間用のセマンティック道路シーン記述を作成するためのさらなる例示的な方法のフローチャートである。 車線レベルアクティビティ情報を作成するための例示的な方法のフローチャートである。 車線レベル空間レイアウトを作成するための例示的な方法のフローチャートである。 道路区間に関連付けられた道路シーンを処理するための例示的なシステムのブロック図である。 道路区間用のセマンティック道路シーン記述を作成するための例示的なシステムのブロック図である。 例示的なセマンティック道路シーン記述を描写する図である。 特定の地理空間領域内の様々な位置における現在の道路シーン状況を報告する例示的な状況地図を示す図である。 状況オントロジーデータの一例を描写する図である。 道路区間に関連付けられた車線構造の一例を示す図である。 道路区間に関連付けられた車線構造の別の例を示す図である。
本明細書に記載される技術は、現在の道路シーン状況を処理および理解し、容易に交換
可能なフォーマットで現在の道路シーン状況を表すことができるものである。シーン状況の交換は、車車間(V2V)プロトコルを使用した複数の車両の間や、車路間/路車間(V2I/I2V)プロトコルを使用した車両と路側機(インフラストラクチャー。基盤とも称する。)の間で行われる。下記でさらに詳細に記載されるように、いくつかの実施形態では、交換されるべきセマンティック道路シーン記述は、対象車両の環境の様々な側面を記述することができ、一例として、内部環境や外部環境が含まれる。たとえば、当該記述は、車両が存在・移動している道路区間(road segment)に関連付けられた1つまたは複数の外部状態(outside condition)を含む。そのような状態の非限定的な例には、現
在のシーン構成要素(current scene composition)、個々のオブジェクト属性(たとえ
ば、車両の色やモデル)、シーン内に存在する1つまたは複数の道路物体によって実行されるアクティビティとそのアクティビティタイプ、シーン内の物体間関係(object-to-object relationship)、シーンパラメータなどが含まれる。シーンパラメータの非限定的
な例には、気象状態、明暗状態、地域のタイプ、運転のし易さの基準(ease-of-drive metric)、横断可能な道路領域などが含まれる。通信範囲内の別の車両からセマンティック記述を受信する車両は、セマンティック道路シーン記述から必要な情報を抽出し、それを処理して予測サービスをその乗員に提供することができる。
図1は、道路シーン状況を処理および理解し、道路区間に関連付けられたセマンティック道路シーン記述を作成・共有するための例示的なシステム100のブロック図である。図示されたシステム100は、サーバ101と、地図サーバ170と、基盤サーバ190と、クライアントデバイス115と、移動プラットフォーム135とを含む。システム100のエンティティは、ネットワーク105を介して通信可能に結合される。図1に描写されたシステム100は、例示を目的として提供され、本開示によって考察されるシステム100および/またはさらなるシステムは、追加の構成要素を含んだり一部の構成要素を含まなかったりする場合があり、また、構成部品を組み合わせたり、構成部品のうちの1つまたは複数をさらなる構成部品に分割したりすることができることなどを理解されたい。たとえば、システム100は、任意の数の移動プラットフォーム135、クライアントデバイス115、基盤サーバ190、地図サーバ170、またはサーバ101を含む場合がある。追加または代替として、システム100は、ユーザから音声コマンドを受信し処理するための音声サーバ、検索クエリに該当する検索結果を提供するための検索サーバなどを含む場合がある。
ネットワーク105は、従来のタイプの有線またはワイヤレスであり得るし、星形構成、トークンリング構成、または他の構成を含む、多数の様々な構成を有する場合がある。さらに、ネットワーク105は、1つまたは複数のローカルエリアネットワーク(LAN)、ワイドエリアネットワーク(WAN)(たとえば、インターネット)、公衆ネットワーク、プライベートネットワーク、仮想ネットワーク、ピアツーピアネットワーク、および/または、複数のデバイスがそれを介して通信することができる他の相互接続データパスを含む場合がある。たとえば、ネットワーク105は、車両対車両ネットワーク、車両対基盤/基盤対車両ネットワークなどを含む場合がある。
ネットワーク105はまた、様々な異なる通信プロトコルでデータを送るための電気通信ネットワークの部分に結合されるか、またはそれらを含む場合がある。いくつかの実施形態では、ネットワーク105は、ショートメッセージングサービス(SMS)、マルチメディアメッセージングサービス(MMS)、ハイパーテキスト転送プロトコル(HTTP)、直接データ接続、WAP、電子メールなどを介して、データを送受信するためのBluetooth(登録商標)通信ネットワークまたはセルラー通信ネットワークを含む。いくつかの実施形態では、ネットワーク105は、DSRC、WAVE、802.11p、3G、4G、5G+ネットワーク、WiFi(登録商標)、または任意の他のワイヤレスネットワークなどの接続を使用するワイヤレスネットワークである。図1は、サーバ
101、地図サーバ170、基盤サーバ190、クライアントデバイス115、および移動プラットフォーム135に結合するネットワーク105用の単一ブロックを示すが、ネットワーク105は、実際には、上述されたように、ネットワークの任意の数の組合せを備える場合があることを理解されたい。
サーバ101は、プロセッサ、メモリ、およびネットワーク通信能力(たとえば、通信ユニット)を含むハードウェアサーバおよび/または仮想サーバを含むことができる。サーバ101は、信号線104によって表されるように、ネットワーク105に通信可能に結合することができる。いくつかの実施形態では、サーバ101は、地図サーバ170、基盤サーバ190、クライアントデバイス115、および移動プラットフォーム135のうちの1つまたは複数との間でデータを送受信することができる。サーバ101は、本明細書の中の他の場所でさらに説明されるように、道路シーンアプリケーションのインスタンス109aおよび状況オントロジーデータベース103を含む場合がある。
状況オントロジーデータベース(situation ontology database)103は、道路シー
ン状況を記述するための用語データ(terminology data)を記憶することができる。図1では、サーバ101が状況オントロジーデータベース103を含むものとして示されているが、移動プラットフォーム135および/またはクライアントデバイス115が、追加および/または代替として、用語データを記憶する場合があることを理解されたい。たとえば、移動プラットフォーム135および/またはクライアントデバイス115は、状況オントロジーデータベース103のインスタンスを含む場合があり、状況オントロジーデータベース103からのデータをキャッシュする(たとえば、様々な間隔で用語データをダウンロードする)ことなどができる。たとえば、用語データは、移動プラットフォーム135の中に事前に記憶/インストールされ、セットアップまたは最初の使用時に記憶および/またはリフレッシュされ、様々な間隔で複製されるなどの場合がある。さらなる実施形態では、状況オントロジーデータベース103からのデータは、実行時に要求/ダウンロードされる場合がある。他の適切な変形形態も可能であり、考えられる。
用語データは言語フレームワークを表すことができる。図11は、状況オントロジーデータベース103に記憶される状況オントロジーデータの一例を示す。図示されたように、状況オントロジーデータは、気象状態、明暗状態、フロントガラスの状態、路面状態、道路物体のタイプ、道路物体のアクティビティ、道路物体の相対速度などを記述するための、あらかじめ定義されたセマンティック用語を含む場合がある。たとえば、気象状態を記述するために、セマンティック道路シーン記述は、以下の言葉:晴れ、曇り、部分的に曇り、雨、雪、豪雨、および霧のうちの1つまたは複数を含む場合がある。別の例として、セマンティック道路シーン記述は、特定の移動プラットフォーム135の相対運動を遅いまたは速いと定量化することができる。いくつかの実施形態では、これらの特定のあらかじめ定義されたセマンティック用語は、移動プラットフォーム135間、および移動プラットフォーム135とシステム100内の基盤との間の通信用の共通用語の基礎(common terminology basis)を提供する。結果として、これらのエンティティは、相互に適用可能、解釈可能、および互いに理解可能なセマンティック道路シーン記述を作成することができる。いくつかの実施形態では、状況オントロジーデータベース103は、データを記憶しデータへのアクセスを提供するためのデータベース管理システム(DBMS)を含む場合があるか、またはその一部であり得る。
クライアントデバイス115は、メモリ、プロセッサ、および通信ユニットを含むコンピューティングデバイスである。クライアントデバイス115は、ネットワーク105に結合可能であり、サーバ101、地図サーバ170、基盤サーバ190、および移動プラットフォーム135(ならびに/またはネットワーク105に結合されたシステムの任意の他の構成部品)のうちの1つまたは複数との間でデータを送受信することができる。ク
ライアントデバイス115の非限定的な例には、ラップトップコンピュータ、デスクトップコンピュータ、タブレットコンピュータ、モバイル電話、携帯情報端末(PDA)、モバイル電子メールデバイス、または、情報を処理し、ネットワーク105にアクセスすることが可能な任意の他の電子デバイスが含まれる。いくつかの実施形態では、クライアントデバイスは、1つまたは複数のセンサ106を含む場合がある。
いくつかの実施形態では、クライアントデバイス115は、ナビゲーションアプリケーションのインスタンス117bを含む場合があり、ナビゲーションアプリケーションは、セマンティック道路シーン記述から抽出された現在の道路シーン情報を利用して、ユーザにナビゲーション指示を与える。ユーザ125は、線110によって示されるように、クライアントデバイス115と対話することができる。図1は1つのクライアントデバイス115を示すが、システム100は1つまたは複数のクライアントデバイス115を含むことができる。
移動プラットフォーム135は、メモリ、プロセッサ、および通信ユニットを有するコンピューティングデバイスを含む。そのようなプロセッサの例には、1つまたは複数のセンサ、アクチュエータ、モチベータなどの、移動プラットフォーム135の他の構成部品に結合された、電子制御ユニット(ECU)または他の適切なプロセッサが含まれ得る。移動プラットフォーム135は、信号線134を介してネットワーク105に結合することができ、サーバ101、地図サーバ170、基盤サーバ190、およびクライアントデバイス115のうちの1つまたは複数との間でデータを送受信することができる。いくつかの実施形態では、移動プラットフォーム135は、ある点(位置)から別の点(位置)に移動することが可能である。移動プラットフォーム135は、移動可能コンピュータあるいは移動端末と称することもできる。移動プラットフォーム135の非限定的な例には、車両(vehicle)、自動車(automobile)、バス、ボート、飛行機、生体工学インプラ
ント、スマートフォン端末、タブレット端末、ポータブルコンピュータ端末、または、非一時的コンピュータエレクトロニクス(たとえば、プロセッサ、メモリ、もしくは非一時的コンピュータエレクトロニクスの任意の組合せ)を有する任意の他のモバイルシステムが含まれる。ユーザ125は、線154によって表されるように、移動プラットフォーム135と対話することができる。ユーザ125は、移動プラットフォーム135を運転する人間のユーザであり得る。たとえば、ユーザ125は車両のドライバであり得る。
移動プラットフォーム135は、1つまたは複数のセンサ106と、車両CAN(コントローラエリアネットワーク)データストア107と、道路シーンデータストレージ108と、ナビゲーションアプリケーションのインスタンス117aとを含むことができる。図1は1つの移動プラットフォーム135を示すが、システム100は1つまたは複数の移動プラットフォーム135を含むことができる。
車両CANデータストア107は、移動プラットフォーム135のコントローラエリアネットワーク(CAN)を使用して、移動プラットフォーム135の様々なモジュール間で通信されている様々なタイプの車両動作データ(車両CANデータと呼ばれることもある)を記憶する。いくつかの実施形態では、車両動作データは、移動プラットフォーム135の様々な構成部品の動作状態を監視するための、これらの構成部品に結合された複数のセンサ106から収集される。車両CANデータの例には、限定はしないが、速度、加速度、減速度、車輪速度(毎分回転数−RPM)、車輪スリップ、トラクション制御情報、牽引制御情報、ワイパー制御情報、ステアリング角、制動力などが含まれる。いくつかの実施形態では、車両動作データは、移動プラットフォーム135の現在位置を記述する位置データ(たとえば、GPS(全地球測位システム)座標)を含む場合もある。他の標準的な車両動作データも考えられる。いくつかの実施形態では、車両CANデータストア107は、データを記憶しデータへのアクセスを提供するためのデータストレージシステ
ム(たとえば、標準のデータまたはデータベースの管理システム)の一部であり得る。
道路シーンデータストレージ108は、移動プラットフォーム135の1つまたは複数のセンサによって取り込まれた道路シーンデータを記憶する。道路シーンデータは、移動プラットフォーム135の外部環境を記述するデータであり、外部環境には、車道や当該車道に沿って位置する他の物体が含まれる。いくつかの実施形態では、移動プラットフォーム135の1つまたは複数の第1のセンサ106は、移動プラットフォーム135の動作に関するセンサデータを取り込むことができる。このセンサデータは、処理され、車両動作データとして車両CANデータストア107に記憶され、かつ/または、本明細書の中の他の場所で説明されるように、道路シーンアプリケーション109に供給される場合がある。車両動作データのさらなる非限定的な例には、限定はしないが、速度、加速度、減速度、車輪速度、車輪スリップ、トラクション制御情報、牽引制御情報、ワイパー制御情報、ステアリング角、制動力などが含まれる。いくつかのさらなる実施形態では、移動プラットフォーム135の1つまたは複数の第2のセンサ106は、移動プラットフォーム135の外部および/または周囲の環境を記述するシーンデータを取り込むことができる。このシーンデータは、処理され、道路シーンデータとして道路シーンデータストレージ108に記憶され、かつ/または、本明細書の中の他の場所で説明されるように、道路シーンアプリケーション109に供給される場合がある。
道路シーンデータに関するさらなる例では、センサ106は、屋内環境または屋外環境のビデオ画像および静止画像を含む画像を記録するように構成された1つまたは複数の光学センサを含む場合があり、任意の適用可能なフレームレートを使用してビデオストリームのフレームを記憶することができ、任意の適用可能な方法を使用して取り込まれたビデオ画像および静止画像を符号化および/または処理することができ、それらのセンサ範囲内の周辺環境の画像を取り込むことができる。たとえば、移動プラットフォームのコンテキストでは、センサ106は、移動プラットフォーム135のまわりの環境、例えば、道路、空、山、路側構造体、ビルディング、木、動的道路物体(たとえば、周囲の移動プラットフォーム135、歩行者、道路工事作業員など)、および/または静的道路物体(たとえば、車線、交通信号、道路標識、トラフィックコーン、バリケードなど)を取り込むことができる。いくつかの実施形態では、センサ106は、移動プラットフォーム135の経路に対していずれの方向(前方、後方、横方向、上方、下方、対向など)でも検知するように取り付けることができる。いくつかの実施形態では、1つまたは複数のセンサ106は、多方向(たとえば、LIDAR)であり得る。
サーバ101、移動プラットフォーム135および/またはクライアントデバイス115は、道路シーンアプリケーションのインスタンス109a、109b、および109c(本明細書では単に109とも呼ばれる)を含む場合がある。いくつかの構成では、道路シーンアプリケーション109は、異なる位置における異なるデバイス上にネットワーク105を介して分散配置される場合があり、その場合は、クライアントデバイス115、移動プラットフォーム135および/またはサーバ101は、各々、道路シーンアプリケーション109の種々の態様(同じ、同様、異なるなど)を備える道路シーンアプリケーション109のインスタンスを含む場合がある。たとえば、道路シーンアプリケーションの各インスタンス109a、109b、および109cは、下記でより詳細に説明される、図2Bに描写される副構成部品および/またはこれらの副構成部品の様々な変形形態のうちの1つまたは複数を備える場合がある。いくつかの実施形態では、道路シーンアプリケーション109は、たとえば、図2Bに描写される構成要素のすべてを備えるネイティブアプリケーションであり得る。
他の変形形態および/または組合せも可能であり、考えられる。図1に示されたシステム100は例示的なシステムの代表であり、様々な異なるシステム環境およびシステム構
成が考えられ、本開示の範囲内にあることを理解されたい。たとえば、様々な行為および/または機能をサーバからクライアントに、またはその逆に移動することができ、データは、単一のデータストアに統合されるか、または追加のデータストアの中にさらにセグメント化される場合があり、いくつかの実装形態は、追加のまたはより少ないコンピューティングデバイス、サービス、および/またはネットワークを含む場合があり、様々な機能のクライアントまたはサーバ側を実装する場合がある。さらに、システムの様々なエンティティは、単一のコンピューティングデバイスもしくはシステムの中に統合されるか、または追加のコンピューティングデバイスもしくはシステムの中に分割される場合などがある。
道路シーンアプリケーション109は、道路シーンデータを処理し、道路シーン状況を推論し、セマンティック道路シーン記述を作成し、他の移動プラットフォーム135からの道路シーン記述を処理することなどを行うように実行可能なソフトウェアおよび/またはハードウェア論理を含む。いくつかの実施形態では、道路シーンアプリケーション109は、1つもしくは複数のコンピュータデバイスの1つもしくは複数のプロセッサによって実行可能なソフトウェア、限定はしないが、フィールドプログラマブルゲートアレイ(FPGA)、特定用途向け集積回路(ASIC)などのハードウェア、および/またはハードウェアとソフトウェアの組合せなどを使用して実装することができる。道路シーンアプリケーション109は、少なくとも図2〜図8を参照して下記でより詳細に記載される。
ナビゲーションアプリケーション117は、ユーザにナビゲーション指示を与えるように実行可能なソフトウェアおよび/またはハードウェア論理を含む。いくつかの実施形態では、ナビゲーションアプリケーション117は、1つもしくは複数のコンピュータデバイスの1つもしくは複数のプロセッサによって実行可能なソフトウェア、限定はしないが、フィールドプログラマブルゲートアレイ(FPGA)、特定用途向け集積回路(ASIC)などのハードウェア、および/またはハードウェアとソフトウェアの組合せなどを使用して実装することができる。
ナビゲーションアプリケーション117は、位置データ(たとえば、GPS三角測量)を受信し、対応するコンピューティングデバイスに供給するように構成された、地理位置トランシーバ(たとえば、GPS)などのセンサ106からのデータを利用することができる。たとえば、移動プラットフォーム135および/またはクライアントデバイス115は、そのような地理位置トランシーバを備えている場合があり、ナビゲーションアプリケーション117の対応するインスタンスは、そのようなトランシーバからの位置データを受信し処理するように構成される場合がある。
いくつかの実施形態では、第1の移動プラットフォーム135上で動作する道路シーンアプリケーション109のインスタンスは、(たとえば、第1の移動プラットフォーム135の通信範囲内の)他の移動プラットフォーム135から道路シーン記述を受信し、場合によってはローカルに作成された道路シーン記述とともに、受信された道路シーン記述を処理して、第1の移動プラットフォーム135、およびより具体的には、移動プラットフォーム135と対話しているユーザに関する包括的な現在の道路シーン状況を特定することができる。限定ではなく例として、ユーザの第1の移動プラットフォーム135および/またはクライアントデバイス115上で動作するナビゲーションアプリケーション117のインスタンスは、移動プラットフォーム135および/またはクライアントデバイス115の1つまたは複数の出力デバイス(たとえば、スピーカシステム、ディスプレイ上に表示されるグラフィカルユーザインターフェースなど)を介して、道路シーンアプリケーション109によって特定された現在の道路シーン状況に基づくナビゲーション指示をユーザに与えることができる。場合によっては、受信される道路シーン記述は、本明細
書の中の他の場所で説明されるように、ある時点に第1の移動プラットフォーム135のある特定の範囲内に位置する道路シーンアプリケーション109のインスタンスから受信される場合がある。
センサ106は、移動プラットフォーム135および/またはクライアントデバイス115に適した任意のタイプのセンサを含む場合がある。センサ106は、コンピューティングデバイスおよび/またはその周辺環境の特性を判断することに適した任意のタイプのデータを収集するように構成される場合がある。センサ106の非限定的な例には、様々な光学センサ(CCD、CMOS、2D、3D、レーザーイメージング検出・測距(LIDAR)、カメラなど)、オーディオセンサ、動き検出センサ、気圧計、高度計、熱電対、湿度センサ、IRセンサ、レーダーセンサ、他の光センサ、ジャイロスコープ、加速度計、速度計、ステアリングセンサ、制動センサ、スイッチ、車両インジケータセンサ、ワイパーセンサ、地理位置センサ、トランシーバ、ソナーセンサ、超音波センサ、タッチセンサ、近接センサなどが含まれる。
移動プラットフォーム135および/またはクライアントデバイス115のプロセッサ(たとえば、図2参照)は、センサデータを受信し処理することができる。移動プラットフォーム135のコンテキストでは、プロセッサは、車などの移動プラットフォーム135に実装された電子制御ユニット(ECU)であり得るが、他の移動プラットフォームのタイプも考えられる。ECUは、センサデータを受信し、道路シーンアプリケーション109によるアクセス・取出しのために車両動作データとして車両CANデータストア107に記憶することができる。さらなる例では、車両動作データは、(受信および/または処理されると、たとえば、車両バス、ECUなどを介して)道路シーンアプリケーション109に、より直接的に供給される。他の適切な変形形態も可能であり、考えられる。さらなる例として、1つまたは複数のセンサ106は、道路区間上を移動している移動プラットフォーム135(たとえば、車両)から画像データを取り込むことができ、画像データは道路区間を含むシーンを描写する。道路シーンアプリケーション109は、本明細書の中の他の場所でさらに説明されるように、(たとえば、バス、ECUなどを介して)センサ106から画像データ(たとえば、リアルタイムビデオストリーム、一連の静止画像など)を受信し、それを処理して現在の道路シーン状況を特定することができる。
地図サーバ170は、プロセッサ、メモリ、およびネットワーク通信能力を有するハードウェアサーバおよび/または仮想サーバを含む。いくつかの実施形態では、地図サーバ170は、サーバ101、基盤サーバ190、移動プラットフォーム135、およびクライアントデバイス115のうちの1つまたは複数との間でデータを送受信する。たとえば、地図サーバ170は、特定の道路区間を含む地理空間領域の地図を記述するデータを、道路シーンアプリケーション109およびナビゲーションアプリケーション117のうちの1つまたは複数に送る。地図サーバ170は、信号線171を介してネットワーク105に通信可能に結合される。いくつかの実施形態では、地図サーバ170は、関心地点(POI)データベース172および地図データベース174を含む。
関心地点(POI)データベース172は、様々な地理的領域についての関心地点(POI)を記述するデータを記憶する。たとえば、POIデータベース172は、様々な道路区間に沿った観光地、ホテル、レストラン、ガソリンスタンド、大学スタジアム、ランドマークなどを記述するデータを記憶する。いくつかの実施形態では、POIデータベース172は、データを記憶しデータへのアクセスを提供するためのデータベース管理システム(DBMS)を含む場合がある。地図データベース174は、1つまたは複数の地理的領域に関連する地図を記述するデータを記憶する。いくつかの実施形態では、地図データは、地上部分における1つまたは複数の地理的領域を記述することができる。たとえば、地図データは、特定の道路に関連付けられた1つまたは複数の車線を記述する情報を含
む場合がある。より具体的には、地図データは、道路の進行方向、その道路上の車線の数、その道路の出口および入口、1つまたは複数の車線が特殊な状況を有している(たとえば、カープール車線である)かどうか、それらの車線における道路の状態、それらの車線についての交通および/または事故のデータ、それらの車線に関連する交通規制(たとえば、車線標識、路面標識、交通信号、交通標識など)などを記述することができる。いくつかの実施形態では、地図データベース174は、データを記憶しデータへのアクセスを提供するためのデータベース管理システム(DBMS)を含み、かつ/またはそれに関連付けられる場合がある。
基盤サーバ190は、プロセッサ、メモリ、およびネットワーク通信能力を有するハードウェアサーバおよび/または仮想サーバを含む。いくつかの実施形態では、基盤サーバ190は、サーバ101、地図サーバ170、移動プラットフォーム135、およびクライアントデバイス115のうちの1つまたは複数との間でデータを送受信する。いくつかの実施形態では、基盤サーバ190および/またはそれに結合された基盤コンポーネント(たとえば、タワーなど)は、移動プラットフォーム135とデータを交換するためのV2I/I2V通信プロトコルを利用する。基盤コンポーネント(基盤構成部品)の非限定的な例には、路側ユニット、たとえば、車道に沿って配備された固定ステーションなどが含まれる。基盤サーバ190は、自身が受信または交換したデータ、例えば、移動プラットフォーム135が他の移動プラットフォームに送信した道路シーン記述(V2Vデータ)や基盤サーバ190に送信した道路シーン記述(V2I/I2Vデータ)などを、V2Vデータストア192、V2I/I2Vデータストア194などの1つまたは複数の対応するデータリポジトリに記憶する。いくつかの実施形態では、V2Vデータストア192および/またはV2I/I2Vデータストア194は、データを記憶しデータへのアクセスを提供するためのデータベース管理システム(DBMS)を含み、かつ/またはそれに関連付けられる場合がある。移動プラットフォーム135および基盤は、ワイヤレス接続を介して、ネットワーク105に含まれるV2V通信ネットワークおよび/またはV2I/I2V通信ネットワークに通信可能に結合することができる。いくつかの実施形態では、移動プラットフォーム135および基盤は、それらの無線周波通信範囲内にあるネットワークに結合された他のエンティティにメッセージを送信し、それらからメッセージを受信することができる。
図2Aは、サーバ101、クライアントデバイス115、移動プラットフォーム135、地図サーバ170、または基盤サーバ190のアーキテクチャを表すことができる、コンピューティングデバイス200のブロック図である。
描写されたように、コンピューティングデバイス200は、1つまたは複数のプロセッサ213と、1つまたは複数のメモリ215と、通信ユニット217と、1つまたは複数のセンサ106と、1つまたは複数の入力および/または出力デバイス219と、1つまたは複数のデータストア221とを含む。コンピューティングデバイス200の構成部品は、バス210によって通信可能に結合される。コンピューティングデバイス200がサーバ101、クライアントデバイス115、または移動プラットフォーム135を表す実装形態では、コンピューティングデバイス200は、ナビゲーションアプリケーション117および/または道路シーンアプリケーションを含む場合がある。さらに、コンピューティングデバイス200がサーバ101、地図サーバ170、および/または基盤サーバ190を表す実装形態では、コンピューティングデバイス200は、状況オントロジー103、POIデータベース172、地図データベース174、V2Vデータストア192、および/またはV2I/I2Vデータストア194などの、対応するデータリポジトリ221を含む場合がある。
図2Aに描写されたコンピューティングデバイス200は例として提供され、それらは
、本開示の範囲から逸脱することなく、他の形態を取り、追加のまたはより少ない構成部品を含む場合があることを理解されたい。たとえば、図示されていないが、コンピューティングデバイス200は、様々なオペレーティングシステム、ソフトウェア構成部品、ハードウェア構成部品、および他の物理構成を含む場合がある。
コンピューティングデバイス200が移動プラットフォーム135に含まれるか、または組み込まれる実施形態では、コンピューティングデバイス200は、プラットフォームバス(たとえば、CAN)、1つまたは複数のセンサ(たとえば、1つまたは複数の制御ユニット(たとえば、ECU、ECM、PCMなど)、自動車用センサ、音響センサ、化学センサ、生体工学センサ、位置センサ(たとえば、GPS、コンパス、加速度計、ジャイロスコープなど)、スイッチ、およびコントローラ、カメラなど)、エンジン、動力伝達装置、サスペンションコンポーネント、計器(instrumentation)、温度調節器、およ
び/または、必要な任意の他の電気的、機械的、構造的、および機械的な構成部品などの、移動プラットフォーム135の様々なプラットフォーム構成部品を含み、かつ/またはそれらに結合される場合がある。
プロセッサ213は、様々な入力/出力演算、論理演算、および/または数学演算を実施することによって、ソフトウェア命令を実行することができる。プロセッサ213は、たとえば、複合命令セットコンピュータ(CISC)アーキテクチャ、縮小命令セットコンピュータ(RISC)アーキテクチャ、および/または命令セットの組合せを実装するアーキテクチャを含む、データ信号を処理する様々なコンピューティングアーキテクチャを有する場合がある。プロセッサ213は、実体および/または仮想であり得るし、シングルコアまたは複数の処理ユニットおよび/もしくはコアを含む場合がある。いくつかの実装形態では、プロセッサ213は、電子表示信号を生成し、ディスプレイデバイス(図示せず)に供給し、画像の表示をサポートし、画像を取り込み送信し、様々なタイプの特徴抽出およびサンプリングなどを含む複雑なタスクを実行することが可能であり得る。いくつかの実装形態では、プロセッサ213は、バス210を介してメモリ215に結合されて、そこからデータおよび命令にアクセスし、その中にデータを記憶することができる。バス210は、コンピューティングデバイス200の他の構成部品、たとえば、メモリ215、通信ユニット217、センサ106、入力/出力デバイス219、および/またはデータストア221を、プロセッサ213と結合することができる。
メモリ215は、データを記憶し、コンピューティングデバイス200の他の構成部品にデータへのアクセスを提供することができる。いくつかの実装形態では、メモリ215は、プロセッサ213によって実行され得る命令および/またはデータを記憶することができる。たとえば、コンピューティングデバイス200の構成に応じて、メモリ215は、アプリケーション117および/または109のうちの1つまたは複数を記憶することができる。メモリ215は、たとえば、本明細書に記載された様々なデータ、オペレーティングシステム、ハードウェアドライバ、他のソフトウェアアプリケーション、データベースなどを含む、他の命令およびデータを記憶することも可能である。メモリ215は、プロセッサ213およびコンピューティングデバイス200の他の構成部品との通信のために、バス210に結合することができる。
メモリ215は、プロセッサ213によって、またはプロセッサ213とともに処理するための、命令、データ、コンピュータプログラム、ソフトウェア、コード、ルーチンなどを、含有、記憶、通信、伝搬、または搬送することができる任意の有形非一時的な装置またはデバイスであり得る、非一時的コンピュータ使用可能(たとえば、読取り可能、書込み可能などの)媒体を含む。いくつかの実装形態では、メモリ215は、揮発性メモリおよび不揮発性メモリのうちの1つまたは複数を含む場合がある。たとえば、メモリ215は、限定はしないが、ダイナミックランダムアクセスメモリ(DRAM)デバイス、ス
タティックランダムアクセスメモリ(SRAM)デバイス、ディスクリートメモリデバイス(たとえば、PROM、FPROM、ROM)、ハードディスクドライブ、光ディスクドライブ(CD、DVD、Blu−ray(登録商標)など)のうちの1つまたは複数を含む場合がある。メモリ215は単一のデバイスであり得るか、または複数のタイプのデバイスおよび構成を含む場合があることを理解されたい。
通信ユニット217は、通信ユニット217がワイヤレス接続および/または有線接続を使用して、(たとえば、ネットワーク105を介して)通信可能に結合された他のコンピューティングデバイスにデータを送信し、それらからデータを受信する。通信ユニット217は、データを送受信するための1つまたは複数の有線インターフェースおよび/またはワイヤレストランシーバを含む場合がある。通信ユニット217は、ネットワーク105に結合し、(構成に応じて)クライアントデバイス115、移動プラットフォーム135、および/またはサーバ101などの他のコンピューティングノードと通信することができる。通信ユニット217は、上記で説明された通信方法などの標準の通信方法を使用して、他のコンピューティングノードとデータを交換することができる。
データストア221は、データを記憶する非一時的記憶媒体を含む。非限定的で例示的な非一時的記憶媒体には、ダイナミックランダムアクセスメモリ(DRAM)デバイス、スタティックランダムアクセスメモリ(SRAM)デバイス、フラッシュメモリ、ハードディスクドライブ、フロッピーディスクドライブ、ディスクベースのメモリデバイス(たとえば、CD、DVD、Blu−ray(登録商標)など)、フラッシュメモリデバイス、または他の何らかの既知の有形揮発性もしくは不揮発性ストレージデバイスが含まれ得る。図2Aによって表されたコンピューティングデバイスに応じて、データストアは、状況オントロジーデータストア103、車両CANデータストア107、道路シーンデータストア108、POIデータベース172、地図データベース174、V2Vデータストア192、および/またはV2I/I2Vデータストア194のうちの1つまたは複数を表すことができる。
データストア221は、コンピューティングデバイス200、あるいは、別のコンピューティングデバイス、および/またはコンピューティングデバイス200とは別個であるが、それと結合されたりアクセス可能なストレージシステムに含まれたりする場合がある。いくつかの実施形態では、データストア221は、サーバ101、地図サーバ170、基盤サーバ190、移動プラットフォーム135、および/またはクライアントデバイス115によって動作可能なデータベース管理システム(DBMS)と共同して、データを記憶することができる。たとえば、DBMSは、構造化照会言語(SQL)のDBMS、非SQLのDBMSなどを含む可能性がある。場合によっては、DBMSは、行と列から構成される多次元テーブルにデータを記憶し、プログラムに基づいた演算を使用して、データの行を操作、すなわち、挿入、問合せ、更新、および/または削除することができる。
入力/出力(I/O)デバイス219は、情報を入力および/または出力するための任意の標準デバイスを含む。非限定的で例示的なIOデバイス219には、ユーザ125に道路シーン情報を表示するためのスクリーン(たとえば、LEDベースのディスプレイ)、ユーザ125に音声情報を出力するためのオーディオ再生デバイス(たとえば、スピーカ)、音声コマンドおよび/もしくはボイスコマンドを取り込むためのマイクロフォン、キーボード、タッチスクリーン、ポインティングデバイス、インジケータ、ならびに/または、ユーザ125との通信および/もしくは対話を容易にするための任意の他のI/O構成部品が含まれ得る。入力/出力デバイス219は、直接または介在するI/Oコントローラを介してのいずれかで、コンピューティングデバイス200に結合することができる。
道路シーンアプリケーション109は、(たとえば、データストア221および/またはセンサ106から)道路シーンデータを受信し、道路シーンデータを処理して様々なタイプのシーン情報を抽出することができる。たとえば、道路シーンアプリケーション109は、画像データに基づいて、限定はしないが、地域性、明暗状態、気象状態、シーン構成要素(たとえば、動的道路物体、静的道路物体)、シーンレベルコンテキストなどを含むシーン情報を特定することができる。さらなる非限定的な例として、道路シーンアプリケーション109は、1つまたは複数の光センサおよび/またはレーダーセンサ(たとえば、1つまたは複数のカメラ)から画像データを受信し、画像データを処理して、特定の道路区間に関連付けられた様々なタイプの道路シーン情報を抽出することができる。
いくつかの実施形態では、道路シーンアプリケーション109は、たとえば、道路シーンデータから抽出されたシーン情報および移動プラットフォーム135から受信された車両動作データを使用して、道路シーン状況の1つまたは複数の態様を効率的に特定することができる。これらの態様には、限定はしないが、所与の道路区間の路面状態、道路区間の各車線に関連付けられた車線レベルアクティビティ情報、道路区間の各車線に関連付けられた車線レベル空間レイアウト、道路区間に関連付けられた気象、道路区間に関連付けられた明暗などが含まれ得る。
道路シーンアプリケーション109は、状況オントロジーデータを適用してセマンティック道路シーン記述を作成することができ、セマンティック道路シーン記述は、本明細書の中の他の場所でさらに記載されるように、道路区間の道路シーン状況を要約するものである。セマンティック道路シーン記述は、道路区間に関連付けられた他の移動プラットフォーム135、たとえば、道路区間に近接している移動プラットフォーム135(たとえば、道路区間に接している移動プラットフォーム135、現在の移動プラットフォーム135の前方または後方のあらかじめ決定された距離内で移動している移動プラットフォーム135)に送信することができる。
例示的な道路シーンアプリケーション109のブロック図を描写する図2Bに示されたように、道路シーンアプリケーション109は、POI抽出器252と、シーンプロセッサ254と、アクティビティアグリゲータ256と、空間レイアウトエンコーダ258と、道路状態推定器260と、セマンティック記述作成器262と、インターフェースエンジン264とを含む場合があるが、道路シーンアプリケーション109は、限定はしないが、構成エンジン、トレーニングエンジン、暗号化エンジンなどのさらなる構成部品を含む場合があり、かつ/またはこれらの様々な構成部品は、単一のエンジンに組み合わされるか、もしくはさらなるエンジンに分割される場合があることを理解されたい。
POI抽出器252、シーンプロセッサ254、アクティビティアグリゲータ256、空間レイアウトエンコーダ258、道路状態推定器260、セマンティック記述作成器262、および/またはインターフェースエンジン264は、ソフトウェア、ハードウェア、または上記の組合せとして実装することができる。いくつかの実装形態では、POI抽出器252、シーンプロセッサ254、アクティビティアグリゲータ256、空間レイアウトエンコーダ258、道路状態推定器260、セマンティック記述作成器262、および/またはインターフェースエンジン264は、バス210および/またはプロセッサ213により、互いに、かつ/またはコンピューティングデバイス200の他の構成部品に、通信可能に結合することができる。いくつかの実装形態では、構成部品109、252、254、256、258、260、262、および/または264のうちの1つまたは複数は、それらの機能を実現するためにプロセッサ213によって実行可能な命令のセットである。さらなる実装形態では、構成部品109、252、254、256、258、260、262、および/または264のうちの1つまたは複数は、メモリ215に記憶
可能であり、それらの機能を実現するためにプロセッサ213によってアクセス可能かつ実行可能である。上記の実装形態のいずれにおいても、これらの構成部品109、252、254、256、258、260、262、および/または264は、プロセッサ213およびコンピューティングデバイス200の他の構成部品との連携および通信に適合することができる。
POI抽出器252は、地図データを受信するために、メモリ215、通信ユニット217、データストア221、および/または他の構成部品に結合することができ、地図データから道路区間に関連付けられた1つまたは複数の関心地点(POI)および/またはランドマークを抽出することができる。いくつかの実施形態では、POI抽出器252は、たとえば、トランシーバ(たとえば、GPSデバイス)、測位システム、および/または車両CANデータストア107から、移動プラットフォーム135の現在位置に関連付けられた地理位置データ(たとえば、GPS座標)を受信することができる。次いで、POI抽出器252は、地理位置データを使用してPOIデータベース172および/または地図データベース174を検索することにより、移動プラットフォーム135の現在位置に近い1つまたは複数の関心地点および/またはランドマークを特定することができる。
一例として、車両が高速道路I−15を走行しており、GPSデバイスによって検出されたそのGPS座標が北緯40.5829°、西経111.8932°であると仮定すると、POI抽出器252は、この座標を使用して、あらかじめ決定された近接範囲(たとえば、2マイル)内の関心地点および/またはランドマークを求めるためにPOIデータベース172を検索することができる。この例では、POI抽出器252は、車両がリオティントスタジアムおよびジョーダンコモンズメガプレックス劇場の近傍内を移動していると判断することができる。いくつかの実施形態では、抽出されたPOIおよびランドマークは、セマンティック道路シーン記述内でどの道路区間が引用されるかを識別するのに役立つことができる。POIおよびランドマークは、本明細書の中の他の場所でさらに説明されるように、同じ道路区間に関連付けられた異なる車両から受信された複数のセマンティック道路シーン記述を統合するために役立てることもできる。
シーンプロセッサ254は、センサデータを受信するためにセンサ106(たとえば、バス210および/もしくはプロセッサ213)ならびに/またはデータストア221に通信可能に結合されており、センサデータを処理して様々なタイプのシーン情報を抽出することができる。たとえば、センサ106は、移動プラットフォーム135の中に据え付けられ、移動プラットフォーム135の周囲の環境を記述する道路シーンデータを取り込むことができる。
いくつかの実施形態では、センサ106は画像データを取り込むことができる。画像データは、移動プラットフォーム135が道路に沿って移動するにつれて、ある特定のレート/間隔(たとえば、0.5秒ごと、1秒ごと、3秒ごとなど)で取り込まれた画像を含む場合がある。いくつかの実施形態では、取込み間隔は、特定の時刻および/またはシーンレベルコンテキストに応じて変化する場合がある。たとえば、画像センサ106は、ピーク時間(たとえば平日のAM8時〜AM10時およびPM5時〜PM7時の間)はより頻繁に(たとえば、0.2秒ごとに)外部シーンを取り込むようにしてもよい。いくつかの実施形態では、画像センサ106は、道路シーンアプリケーション109によって特定されたシーンレベルコンテキストに基づいて、取込み間隔を調整することができる。たとえば、画像センサ106は、交通混雑および/または渋滞が発生すると0.2秒ごとに外部シーンを取り込むようにしてもよい。さらなる実施形態では、取込みレート/間隔は標準のフレームレートであり得る。
いくつかの実施形態では、シーンプロセッサ254は、道路シーンデータを処理して1つまたは複数のシーン情報を特定するための1つまたは複数の構成部品を含む場合がある。図7に示されたように、道路シーンを処理するための例示的なシーンプロセッサ254は、地域性検出器702と、明暗検出器704と、気象検出器706と、動的道路物体検出器708と、静的道路物体検出器710と、シーンレベルコンテキスト検出器712とを含む場合がある。
いくつかの実施形態では、シーンプロセッサ254は、視覚アルゴリズムを使用して、道路シーンデータ(たとえば、画像センサデータなど)から1つまたは複数のシーンパラメータを抽出することができる。たとえば、地域性検出器702は、画像内に描写されたものに基づいて、移動プラットフォーム135に関連付けられた位置のタイプを識別することができる。たとえば、センサ106によって取り込まれた画像が高いビルディング、混雑した通り、および人が多い横断歩道を記述する場合、地域性検出器702は、移動プラットフォーム135の地域性を市街地として識別することができる。地域性の例示的なカテゴリには、限定はしないが、市街地、地方、ハイウェイ、横断歩道、ガソリンスタンド、林道、広場、市場などが含まれる。
いくつかの実施形態では、明暗検出器704は、入力された画像データを処理して、それが関連付けられた移動プラットフォーム135によって知覚された現在のシーンの明暗レベルを推定することができる。明暗状態の例には、限定はしないが、昼間、夜間、通常、明るい(bright)、低い(low)、暗い(dark)、散乱(diffused)、まぶしい(glare)などが含まれる。
いくつかの実施形態では、気象検出器706は、道路シーンデータおよび/または車両動作データ(たとえば、時間データ、温度データ、気圧データ、光データ、外部湿度データ、ワイパーデータ、および/または画像データなど)を処理することによって、それが関連付けられた移動プラットフォーム135の視点から観測された現在の気象状態を特定することができる。たとえば、場合によっては、気象検出器706は、画像データを分析して外部光特性、時刻に関する空の曇り具合、温度、および気圧の傾向を判断し、気象の変化を特定し、ワイパーの使用(オン対オフ、低速対高速)を決定し、降水量を判断することなどができる。たとえば、気象検出器706は、画像に描写された外部シーンおよびワイパーの動作に基づいて、豪雨であると判断することができる。気象状態の例には、限定はしないが、晴れ、雪、雨、豪雨、曇り、部分的に曇り、霧などが含まれる。いくつかの実施形態では、気象状態および他のシーンパラメータは、道路シーンデータに加えて移動プラットフォーム135の車両動作データに基づいて特定することもできる。
いくつかの実施形態では、動的道路物体検出器708は、それが関連付けられた移動プラットフォーム135の視点から観測された1つまたは複数の動的道路物体を検出することができる。たとえば、動的道路物体検出器708は、光学センサ106の視界内の1つまたは複数の車両、歩行者、道路工事作業員などを検出することができる。たとえば、動的道路物体検出器708は、視覚アルゴリズムを使用して画像内の物体を検出し、この検出された物体を記録することができる。基準点に対する検出物体の相対位置が後続の画像および/またはフレームにわたって動的に変化する場合、動的道路物体検出器708は、検出物体が動的道路物体であると判断することができる。いくつかの実施形態では、動的道路物体検出器708は、各動的道路物体に一意の物体識別子(たとえば、物体ID)を割り当てることができる。物体IDは、道路区間上の動的道路物体のアクティビティおよび位置を監視するのに役立てることができる。
いくつかの実施形態では、動的道路物体に割り当てられた物体IDは、移動プラットフォーム135に対してローカルに一意(ローカルユニーク)であり得る。一例として、車
両Aが識別した動的道路物体に第1のセットの物体IDを割り当て、車両Bが識別した動的道路物体に第2のセットの物体IDを割り当てると仮定する。第1のセットおよび第2のセットの中の物体IDは、それぞれ車両Aおよび車両Bに対してローカルに一意であり得るが、第1のセットの中の車両Aによって割り当てられた1つまたは複数の物体IDは、第2のセットの中の車両Bによって割り当てられた物体IDとランダムに同じ場合がある。いくつかの実施形態では、物体IDは普遍的に一意(ユニバーサルユニーク)であり得るし、各物体IDはシーン内に存在する動的道路物体を一意に識別することができ、したがって、異なる移動プラットフォーム135は同じ物体IDを使用して同じ動的道路物体を引用することができることを意味する。
いくつかの実施形態では、静的道路物体検出器710は、それが関連付けられた移動プラットフォーム135の視点から観測された1つまたは複数の静的道路物体を検出することができる。例示的な静的道路物体には、限定はしないが、交通標識、交通信号、道路標識、工事コーン、バリケードなどが含まれる。たとえば、静的道路物体検出器710は、標準の物体検出アルゴリズムを使用して画像内の物体を検出し、検出された後はこの物体を追跡する。基準点に対する検出物体の相対位置が後続の画像および/またはフレームとのあいだで変化しない場合、静的道路物体検出器710は、検出された物体が静的道路物体であると判断する。道路構造が複雑(たとえば、複数車線のハイウェイ、複雑な交差点など)であるシナリオでは、静的道路物体検出器710は、道路区間に関連付けられた道路シーンデータおよび地図データに基づいて、道路標識(たとえば、車線境界)、交通信号などの静的道路物体を識別することができる。たとえば、静的道路物体検出器710は、地図データを参照して、交差点を通る車線ラインの延長線を識別することができる。
いくつかの実施形態では、静的道路物体は、シーンレベルコンテキストを特定するのに役立てることができる。たとえば、静的道路物体検出器710は、右カーブに道路工事標識があり、交差点の中央にトラフィックコーンがあると判断し、シーンレベルコンテキスト検出器712は、道路シーン状況のシーンレベルコンテキストが道路工事であると判断することができる。別の例では、静的道路物体検出器710は、車道をブロックするバリケードおよび矢印パネルがあると判断することができ、シーンレベルコンテキスト検出器712は、道路区間のシーンレベルコンテキストを車線閉鎖と判断することができる。
いくつかの実施形態では、静的道路物体は、道路区間の1つまたは複数の車線を記述する車線構造を判断するのに役立つことができる。道路区間に関連付けられた車線構造の一例が図12Aに示されている。図示されたように、静的道路物体検出器710が、路面上の(左から右に)白い実線、白い破線、黄色い二重線、白い破線、および白い実線を検出すると仮定する。これらの静的道路物体に基づいて、シーンプロセッサ254は、道路区間が各方向に2車線を有する4車線、2方向の通りであると判断することができる。いくつかの実施形態では、シーンプロセッサ254は、各車線に車線番号を割り当てることができる。たとえば、図12Aに描写されたように、4車線は、車道の左側から右側に昇順で番号付けされる場合があり、一番左の車線が車線1と見なされる。車線番号付けの他の例が考えられる。さらなる例では、道路区間上の車線の数を地図データから特定することができ、シーンプロセッサ254は、検出された静的道路物体(たとえば、移動プラットフォーム135から見える車線)に基づいて、移動プラットフォーム135がどの車線内に位置するかを判断することができる。
いくつかの実施形態では、シーンレベルコンテキスト検出器712は、道路シーンデータおよび/または車両動作データを処理することによって、移動プラットフォーム135の視点から観測されたシーンレベルコンテキストを特定することができる。シーンレベルコンテキストの例には、限定はしないが、交通渋滞、道路工事、運転し易さ、横断可能な道路領域などが含まれる。いくつかの実施形態では、シーンレベルコンテキストはまた、
本明細書でさらに記載されるように、道路区間の各車線に関連付けられたアクティビティ情報および/もしくは空間レイアウトに基づいて特定することができるか、または地図データもしくは移動プラットフォーム135の地理位置から特定することができる。さらなる例では、シーンレベルコンテキスト検出器712は、道路シーンデータを処理してシーン内の物体を特定し、物体に基づいてコンテキストを特定することができる。
たとえば、カメラによって取り込まれた画像が道路の右側(右側通行を想定)に工事車両およびトラフィックコーンが存在することを記述する場合、シーンレベルコンテキスト検出器712は、道路区間のシーンレベルコンテキストを道路工事として識別することができる。別の例では、対象の移動プラットフォーム135の周囲の複数の移動プラットフォーム135の間隔がほとんどあるいはまったくないことを画像が示し、かつ、ブレーキライトがオンであることを示す赤い部分を各移動プラットフォーム135が含む場合、シーンレベルコンテキスト検出器712は、道路区間のシーンレベルコンテキストを運転がしにくい(運転し易さの基準が低い)交通渋滞として識別することができる。いくつかの他の変形形態も可能であり、考えられる。
構成部品702、704、706、708、710、および/または712の各々は、受信および/または処理したデータを、セマンティック記述作成器262によるアクセスおよび/または取出しのために、道路シーンデータストア108に記憶することができる。
図2Bに戻ると、いくつかの実施形態では、シーンプロセッサ254は、道路区間に関連付けられた地図データから、道路区間に関連付けられた車線構造を抽出することができる。たとえば、地図データは、州間高速道路15(I−15)がソルトレークシティの下町の近くの道路区間上で各方向に5車線を有することを示す場合がある。いくつかの実施形態では、シーンプロセッサ254は、地図データおよび静的道路物体に基づいて車線構造を特定することができる。たとえば、図12Bは、高速道路の2つの道路区間1252および1254に関連付けられた例示的な車線構造を明示する。この例では、地図データが、4車線を有するものとして高速道路を記述すると仮定する。地図データおよび検出された静的道路物体(たとえば、三角形部分を示す道路標識)に基づいて、シーンプロセッサ254は、道路区間1252が4車線を有し、道路区間1254が仕切り1256によって分割された4車線を有すると判断することができる。
いくつかの実施形態では、シーンプロセッサ254は、道路区間の車線構造を記述する車線情報を作成することができる。いくつかの実施形態では、車線情報は車線番号および車線タイプを含む場合がある。たとえば、車線情報は、高速道路I−15上で、車線1がカープール車線であり、車線2が追越車線であり、車線3および4が走行車線であり、車線5が緊急車線であることを示す場合がある。いくつかの実施形態では、車線情報は、車線幅、車線容量(たとえば、大型車両の数)、車線状況(たとえば、車線工事、車線閉鎖など)、他の車線特性などを含む場合もある。
いくつかの実施形態では、シーンプロセッサ254は、画像データおよび/または地図データから特定された複数の道路シーンパラメータ(たとえば、地域性、明暗状態、気象状態、静的道路物体、動的道路物体、車線情報、シーンレベルコンテキストなど)を、セマンティック記述作成器262を含む道路シーンアプリケーション109の他の構成部品に送り、かつ/または、これらもしくは他の構成部品によるアクセスおよび/もしくは取出しのためにデータストア221にパラメータを記憶する。図7に示されるように、セマンティック記述作成器262は、道路シーンパラメータ、車両動作データ、および状況オントロジーデータに基づいて、現在の外部状況についてのセマンティック記述を作成することができる。いくつかの実施形態では、地図データは、本明細書の中の他の場所でさら
に説明されるように、セマンティック道路シーン記述を作成する際に使用することができる。
アクティビティアグリゲータ256は、シーン構成要素(たとえば、動的道路物体、静的道路物体、車線情報など)を記述するデータを受信するために、シーンプロセッサ254、メモリ215、通信ユニット217、データストア221、および/または他の構成部品に結合することができ、様々な道路物体のアクティビティを記述する情報を集約して車線レベルアクティビティ情報を作成することができる。いくつかの実施形態では、車線レベルアクティビティ情報は、道路区間の各車線内の1つまたは複数の動的道路物体のアクティビティを記述する。いくつかの実施形態では、アクティビティアグリゲータ256は、シーン内に存在する道路物体に対して時空間追跡を実行し、時空間追跡情報に基づいて車線レベルアクティビティを特定する。
いくつかの実施形態では、アクティビティアグリゲータ256は、移動プラットフォーム135および1つまたは複数の動的物体の車線位置を検出することができる。たとえば、アクティビティアグリゲータ256は、検出された静的道路物体、車線情報、および/または地図データを使用して、道路区間上を移動している移動プラットフォームおよび他の周囲の移動プラットフォーム135の位置を特定することができる。一例として、図12Aに描写された道路区間1202上を第1の移動プラットフォーム135が走行している。シーンプロセッサ254は、第1の移動プラットフォーム135の右側の白い破線および左側の黄色い二重線を識別する。アクティビティアグリゲータ256は、道路区間1202の車線情報(たとえば、車線番号)を適用し、このようにして、第1の移動プラットフォーム135が車線3を走行しており、隣の左車線および隣の右車線の他の移動プラットフォーム135が、それぞれ道路区間の車線2および車線4を走行していると判断する。
別の例として、図12Bに描写された道路区間1252上を移動プラットフォーム135が走行している。シーンプロセッサ254は、移動プラットフォーム135の右側の白い実線および左側の白い破線を識別する。アクティビティアグリゲータ256は、したがって、移動プラットフォーム135が高速道路の最も右の車線を走行していると判断することができる。アクティビティアグリゲータ256は、地図データを参照することができ、高速道路が4車線を有すると判断する。したがって、アクティビティアグリゲータ256は、移動プラットフォーム135が高速道路の車線4を移動しており、隣の左車線にいる他の移動プラットフォーム135が高速道路の車線3を移動していると判断することができる。
いくつかの実施形態では、アクティビティアグリゲータ256は、動的道路物体が関連付けられた移動プラットフォーム135に対するその相対距離に基づいて、動的道路物体の車線位置を推定することができる。たとえば、第1の移動プラットフォーム135のセンサ106によって取り込まれた画像データは、第2の移動プラットフォーム135が、第1の移動プラットフォーム135の左側におおよそ車線幅の距離を置いて、第1の移動プラットフォーム135と平行に移動していることを記述する。第1の移動プラットフォーム135が車線4を移動している場合、アクティビティアグリゲータ256は、第2の移動プラットフォーム135が高速道路の車線2を移動していると判断することができる。
さらなる例として、図12Bに描写された道路区間1254上を移動プラットフォーム135が走行している。この例では、地図データが、4車線および車線2と車線3との間の仕切り1256を有するものとして道路区間1254を記述すると仮定する。シーンプロセッサ254は、第1の移動プラットフォーム135の右側の仕切り/三角形標識およ
び左側の白い破線を検出する。シーンプロセッサ254は、地図データを参照し、移動プラットフォーム135が高速道路の車線2を移動していると判断する。第1の移動プラットフォーム135の隣の左車線にいる他の移動プラットフォーム135は、車線1を走行している。有利なことには、地図データは、道路構造が複雑(たとえば、複数車線の高速道路、複雑な交差点など)である場合、第1の移動プラットフォーム135および動的道路物体の位置を特定するのに役立てることができる。複雑な道路構造により、移動プラットフォーム135の視点から検出された静的道路物体のみに基づいて、車線位置を特定することが困難になり得る。
いくつかの実施形態では、アクティビティアグリゲータ256は、動的道路物体の車線位置を空間的および時間的に監視して、動的道路物体によって実行されたアクティビティを抽出することができる。いくつかの実施形態では、アクティビティアグリゲータ256は、動的道路物体検出器708によって割り当てられたそれらの物体IDに基づいて、動的道路物体を監視することができる。いくつかの実施形態では、アクティビティアグリゲータ256は、第1の車両自体の車線位置を監視することもできる。
さらなる例として、時間t=t0において、アクティビティアグリゲータ256は、車両1(自車両)が道路区間1254の車線4を走行しており、物体ID=10および11を有する2つの車両(たとえば、車両10および車両11)も車線4を走行しており、物体ID=12および13を有する2つの車両(たとえば、車両12および車両13)が車線3を走行していると判断する。時間t=t1(たとえば、ある特定の時間量の後)(たとえば、t1=t0+0.5秒)において、シーンプロセッサ254は、新しく受信された道路シーンデータを処理し、車両1(自車両)がまだ車線4を走行していると判断する。車両10、車両13、および物体ID=14を有する新しい車両(たとえば、車両14)は現在車線4を走行しているが、車両12はまだ車線3を走行している。このシナリオでは、アクティビティアグリゲータ256は、車両1、車両10、および車両12が以前と同じ車線内にあり、車両11が高速道路から離れ、車両13が車線3から車線4に変更し、車両14が車線4にちょうど進入した新しい車両であると判断する。空間的だけでなく時間的にも、動的道路物体および車両1の車線位置を監視することによって、アクティビティアグリゲータ256は、第1の車両の周囲の動的道路物体のアクティビティを抽出し、これらの動的道路物体の現在位置およびアクティビティを最新のままにすることができる。さらなる例では、アクティビティアグリゲータ256は、道路シーンデータに基づいて、車両13が水をまき散らしており車両14が衝突したと判断することができる。
いくつかの実施形態では、アクティビティアグリゲータ256は、動的道路物体の動きを空間的および時間的に監視して、これらの動的道路物体によって実行されたアクティビティを抽出することができる。いくつかの実施形態では、アクティビティアグリゲータ256は、たとえば、アクティビティアグリゲータ256が関連付けられた移動プラットフォーム135の道路シーンデータおよび車両動作データに基づいて、1つまたは複数の動的道路物体の相対速度を監視することができる。
場合によっては、アクティビティアグリゲータ256は、取り込まれた画像内の動的道路物体を識別することができ、空間的および時間的に後続する複数の画像にわたって動的道路物体を監視することができる。次いで、アクティビティアグリゲータ256は、速度推定アルゴリズム(たとえば、オプティカルフロー計算)を適用して、動的道路物体の相対速度を推定することができる。動的道路物体の相対速度は、道路シーンデータから抽出された動的道路物体と移動プラットフォーム135との間の相対運動に基づいて、推定することができる。たとえば、上記のシナリオでは、アクティビティアグリゲータ256は、車両1に対する車両10の相対位置が複数のフレームにわたって変化しなかったことを道路シーンデータが示すので、車両10が車両1と同様の速度で移動していると判断する
ことができる。次いで、アクティビティアグリゲータ256は、車両1の車両動作データ(たとえば、速度計出力)によって識別されたように、車両10が約55mphで走行していると判断することができる。
いくつかの実施形態では、アクティビティアグリゲータ256は、特定の動的道路物体の識別された相対速度に基づいて、動的道路物体のアクティビティを特定することができる。たとえば、アクティビティアグリゲータ256は、特定の動的道路物体が一定の速度で移動しているか、速度を上げている(たとえば、加速している)か、速度を下げている(減速している)か、または停止したかを判定することができる。アクティビティアグリゲータ256は、その監視された動きに基づいて、動的道路物体が遅く移動しているか速く移動しているか、その特定の動的道路物体が道路区間に関連付けられた速度制限を超えているか否かを判定することもできる。たとえば、アクティビティアグリゲータ256は、右カーブにいる車が動いていない、たとえば、その相対速度がゼロに等しいので、その車が駐車していると判断することができる。
いくつかの実施形態では、アクティビティアグリゲータ256は、複数の動的道路物体のアクティビティを集約して、道路区間の車線ごとの車線レベルアクティビティ情報を作成することができる。いくつかの実施形態では、車線レベルアクティビティ情報は、車線レベルでの各車線における1つまたは複数の車両のアクティビティを記述する。たとえば、アクティビティアグリゲータ256は、車線2にいる複数の車両が速度制限に近い一定の平均速度で移動していると判断し、したがって車線2内のスムーズな交通の流れを識別することができる。別の例として、アクティビティアグリゲータ256は、車線4にいる車両14が衝突し、車両14の後方の他の車両が動いていないと判断することができる。次いで、アクティビティアグリゲータ256は、車両14が衝突し、車線4にいる車が停止したことを記述する、車線4についての車線レベルアクティビティ情報を作成することができる。道路区間の各車線に関連するアクティビティ情報は、他の車両、たとえば、後方から道路区間に接近している車両にとって大きな価値があり得る。
シーン内の動的道路物体の時空間追跡を容易にするために、各動的道路物体は、物体を識別する特徴(たとえば、色、モデル、形状、ナンバープレートなど)とともに一意の物体IDを割り当てることができる。たとえば、上述されたシナリオでは、物体ID(たとえば、車両13)により、時間t=t1に車線4にいる車両13が時間t=t0に車線3にいた車両13と同じであることが、アクティビティアグリゲータ256に明らかにされる。したがって、アクティビティアグリゲータ256は、車両13が画像内に最近現れた新しい車両であると誤認することなく、車両13が車線3から車線4に変更したと判断することができる。いくつかの実施形態では、動的道路物体に対応する物体IDは、セマンティック道路シーン記述に含まれる場合があり、セマンティック道路シーン記述は、他の車両および/または基盤サーバ190および/またはサーバ101に送られる。物体IDにより、受信側エンティティ(たとえば、他の移動プラットフォーム135、基盤サーバ190、サーバ101など)がデータを分析(resolve)し、同じ動的道路物体に関する
車線レベルアクティビティ情報を集約するときの重複を回避することが可能になるので、これは有利である。たとえば、車両13が車線3から車線4に変更したことを車両Aから受信された車線レベルアクティビティ情報が示し、車両13が水をまき散らしていることを車両Bから受信された車線レベルアクティビティ情報が示す。物体ID(たとえば、物体ID=13)に基づいて、基盤サーバ190および/またはサーバ101および/または受信側車両は、車両Aおよび車両Bから受信された車線レベルアクティビティ情報を集約することができ、車両13が車線3から車線4に変更し、車両13が水をまき散らしているとの結論に達することができる。
動的道路物体検出器708を参照して上述されたように、特定の動的道路物体に関連付
けられた物体IDは、各移動プラットフォーム135に対して普遍的に一意(ユニバーサルユニーク)であってもよく、ローカルに一意(ローカルユニーク)であってもよい。上記の例では、物体IDは普遍的に一意であり、したがって、車両Aおよび車両Bは、同じ物体ID(たとえば、物体ID=13)を使用して、同じ動的道路物体(たとえば、同じ車両13)について言及することができる。しかしながら、物体IDを生成した車両(たとえば、第1の車両)においてのみ物体IDが一意(ローカルユニーク)である実施形態でも、物体IDの使用は依然として有利であり得る。詳細には、物体IDは、異なる時点で同じ送信側エンティティから受信された車線レベルアクティビティ情報を集約するために、依然として使用することができる。たとえば、時間t=t1において車両Aから受信された車線レベルアクティビティ情報は、車両14が衝突したことを示し、時間t=t2において車両Aから受信された車線レベルアクティビティ情報は、車両14が緊急車線に移動したことを示す。物体ID(たとえば、物体ID=14)に基づいて、基盤サーバ190および/またはサーバ101および/または受信側車両は、時間t1およびt2において車両Aから受信された車線レベルアクティビティ情報を集約して、道路区間上の現在の状況を識別することができる。この例では、車両Cが車両14に異なる物体IDを割り当てることができるが、物体ID14は、車両Aの視点から分かるように、基盤サーバ190および/またはサーバ101および/または受信側車両に対して依然として一意である。したがって、物体ID14は、有利なことに、車両Aから受信された車両14に関するアクティビティ情報を処理するために使用することができる。いくつかの実施形態では、動的道路物体に対応する物体IDは、暗号化され、セマンティック道路シーン記述に含まれる場合がある。いくつかのさらなる実施形態では、物体IDはセマンティック道路シーン記述から割愛される場合がある。
空間レイアウトエンコーダ258は、シーン構成要素(たとえば、動的道路物体、静的道路物体、車線情報、車線位置など)を記述するデータを受信するために、シーンプロセッサ254、アクティビティアグリゲータ256、メモリ215、通信ユニット217、データストア221、および/または他の構成部品に結合することができ、道路区間の車線ごとの車線レベル空間レイアウトを符号化することができる。いくつかの実施形態では、車線レベル空間レイアウトは、特定の車線内の動的道路物体の間の物体間関係を記述する。たとえば、車線レベル空間レイアウトは、車線を走行している2つの移動プラットフォーム135の間の平均距離を示すことができる。いくつかの実施形態では、平均距離は、車線内の2つの動的道路物体間の空間距離および/または時間距離であり得る。
いくつかの実施形態では、空間レイアウトエンコーダ258は、たとえば、車両のセンサ106によって取り込まれた道路シーンデータに基づいて、道路区間の各車線内の動的道路物体の数を特定することができる。一例として、道路区間の車線3を車両が移動していると仮定する。動的道路物体検出器708は、道路シーンデータを処理し、車線3内の第1の車両の前方を走行している車およびトラックがあると判断することができる。道路シーンデータは、車線2を走行している3台の車があり、車線4を走行している5台の車があることも記述する。
いくつかの実施形態では、空間レイアウトエンコーダ258は、移動プラットフォーム135のセンサ106に関連付けられたセンサ範囲を受信することができる。いくつかの実施形態では、センサ106のセンサ範囲(可視範囲とも呼ばれる)は、その視界、たとえばセンサの取込み領域を指定する。センサ106のセンサ範囲は、固定値または動的値であり得る。いくつかの実施形態では、カメラのセンサ範囲は、ユーザによって手動で調整され、かつ/または現在の道路シーンの光の状態(たとえば、明るい、低い、通常など)に基づいて、自動的に調整される場合がある。たとえば、センサ106は、夜間に15m、昼光で45mの可視範囲をカバーすることができる。
いくつかの実施形態では、空間レイアウトエンコーダ258は、各車線内で検出された動的道路物体の数およびセンサ106のセンサ範囲を使用して、車線ごとの車線レベル空間レイアウトを特定することができる。上記の例では、動的道路物体検出器708は、車線4内の5台の車を識別し、センサ106は25mのセンサ範囲で動作している。空間レイアウトエンコーダ258は、したがって、車線4の車線レベル空間レイアウトが25m内の5台の車であると判断することができる。いくつかの実施形態では、道路シーンアプリケーション109は、車両の動作およびその走行履歴内の交通パターンを監視するトレーニングエンジン(training engine)を含む場合がある。たとえば、トレーニングエン
ジンは、適度な交通状態では25mのセンサ範囲内に通常3台の車があると判断することができる。空間レイアウトエンコーダ258は、したがって、車両の位置が互いに近すぎるので、車線4において車両が一団になっていると判断することができる。空間レイアウトエンコーダ258は、したがって、車線4内の前方で渋滞状況が発生していると予測することができる。
いくつかの実施形態では、空間レイアウトエンコーダ258は、道路シーンデータに基づいて、車線ごとの車線レベル空間レイアウトを特定することができる。いくつかの実施形態では、空間レイアウトエンコーダ258は、道路シーンデータに基づいて、センサ106から第1の動的道路物体および第2の動的道路物体までの距離を推定する。次いで、空間レイアウトエンコーダ258は、2つの推定された距離の間の差を計算することによって、これら2つの動的道路物体間の相対距離を特定する。たとえば、空間レイアウトエンコーダ258は、車線2内の車両間の平均距離が約5mであるか、または約2.3秒の車間距離であると特定することができる。
さらなる例として、上記のシナリオでは、空間レイアウトエンコーダ258は、車線2において、車両20と車両21との間の相対距離が3秒であり、一方、車両21と車両22との間の相対距離が1秒であると判断することができる。この車線レベル空間レイアウト(たとえば、物体間関係)に基づいて、空間レイアウトエンコーダ258は、車線2内の交通が車線4ほど混雑しておらず(3台の車両対5台の車両)、車両22がおそらく車両21のぴったり後ろについて走っていると判断することができる。
いくつかの実施形態では、セマンティック記述作成器262は、アクティビティアグリゲータ256によって作成された車線レベルアクティビティ情報、空間レイアウトエンコーダ258によって作成された車線レベル空間レイアウト、および/または他の道路シーン情報に基づいて、道路区間に関連する現在の外部状態を特定することができる。一例として、アクティビティアグリゲータ256は、道路区間の制限速度が65mph(時速105km)であるが、特定の車線内の車両が25mph(時速40km)の平均速度でゆっくり移動していると判断する。空間レイアウトエンコーダ258は、あらゆる2台の車両間の相対車間距離が約1秒であるので、車線1内の車両が互いに接近して続いていると判断する。道路区間に関連付けられた車線情報は、その特定の車線が追越車線(たとえば、車線1)であり、そこでは車両が制限速度に近い速度で移動するべきであることを示す。したがって、セマンティック記述作成器262は、車線1において交通渋滞が発生していると判断し、セマンティック道路シーン記述内の車線1を記述する態様にこの情報を含めることができる。他の実施形態では、セマンティック記述作成器262は、外部シーンを記述する複数の個別の道路シーンパラメータを、セマンティック道路シーン記述に含めることができる。これらの実施形態では、これらの道路シーンパラメータに基づく外部状態の特定は、受信側エンティティによって実行される場合がある。これは、セマンティック道路シーン記述の受信側エンティティが、基盤サーバ190、サーバ101、他のクラウドサーバ、V2I/I2V通信ネットワーク内の基盤などのかなりの計算リソースを有するときに有利である。
道路状態推定器260は、車両動作データ(たとえば、車両CANデータ)およびシーン情報(たとえば、地域性、気象状態など)を記述するデータを受信するために、シーンプロセッサ254、メモリ215、通信ユニット217、データストア221、および/または他の構成部品に結合することができ、道路区間に関連付けられた路面状態を推定することができる。路面状態の例には、限定はしないが、通常(たとえば、乾燥)、湿潤、滑りやすい、水浸し、でこぼこ、横滑り、雪、跳ね返りなどが含まれる。
一例として、シーンプロセッサ254は、現在の気象状態を「豪雨」として識別する場合があり、第1の車両の車両動作データは、タイヤと道路との間の低い牽引力を示す場合がある。道路状態推定器260は、したがって、道路区間の路面状態が「湿潤」または「滑りやすい」と判断することができる。いくつかの実施形態では、道路状態推定器260は、路面状態を特定する際に、道路シーンデータ(たとえば、画像センサデータおよび他の道路シーン情報(たとえば、地域属性))を使用することができる。このシナリオのさらなる例として、シーンプロセッサ254は、道路区間の地域性を「林道」として分類する場合があり、道路シーンデータは、茶色で泥だらけの路面を記述する場合がある。道路状態推定器260は、したがって、道路区間の路面状態が「泥だらけで跳ね返り」と判断することができる。
セマンティック記述作成器262は、車両移動プラットフォーム135の視点から観測されたように現在の外部状況を記述するデータ(道路シーンデータ、車両動作データ、地図データ、状況オントロジーデータなど)を受信するために、POI抽出器252、シーンプロセッサ254、アクティビティアグリゲータ256、空間レイアウトエンコーダ258、道路状態推定器260、メモリ215、通信ユニット217、データストア221、および/または他の構成部品に結合することができ、受信されたデータに基づいて道路区間を記述するセマンティック道路シーン記述を作成することができる。詳細には、セマンティック記述作成器262は、道路シーンアプリケーション109のこれらの構成部品によって特定された道路シーンパラメータを、状況オントロジーデータを使用してセマンティック道路シーン記述の中に組み合わせることができる。いくつかの実施形態では、セマンティック記述作成器262は、たとえば、アクティビティアグリゲータ256および空間レイアウトエンコーダ258を参照して上述されたように、これらの受信された道路シーンパラメータに基づいて現在の状況の1つまたは複数の外部状態を特定することもできる。セマンティック記述作成器262およびセマンティック道路シーン記述は、少なくとも図8および図9を参照して詳細に記載される。
図8は、道路区間用のセマンティック道路シーン記述を作成するための例示的なシステム800のブロック図である。図8に示されるように、セマンティック記述作成器262は、それぞれ、気象検出器706、地域性検出器702、明暗検出器704、シーンレベルコンテキスト検出器710、道路状態推定器260、アクティビティアグリゲータ256、および空間レイアウトエンコーダ258から、気象状態、地域性、明暗状態、シーンレベル交通コンテキスト、路面状態、車線レベルアクティビティ情報、および車線レベル空間レイアウトを受信することができる。いくつかの実施形態では、セマンティック記述作成器262は、POI抽出器252からPOI/ランドマーク情報を受信することもできる。いくつかの実施形態では、セマンティック記述作成器262は、次いで、状況オントロジーデータベース103に記憶され、かつ/またはローカルメモリ(たとえば、移動プラットフォーム135のメモリ215、道路シーンデータストア108、別のデータストアなど)に記憶および/もしくはキャッシュされた状況オントロジーデータを適用して、セマンティック道路シーン記述を作成することができる。セマンティック道路シーン記述は、これらの構成部品から受信された道路シーン情報を1つの表現に編集(compile)
し、この表現はその後、複数の車両および/または基盤と共有される。場合によっては、セマンティック道路シーン記述は、効率的な送信用に圧縮される場合がある。
いくつかの実施形態では、セマンティック記述作成器262は、移動プラットフォーム135の現在位置を受信し、セマンティック道路シーン記述に現在位置を含めてもよい。移動プラットフォーム135の現在位置は、セマンティック道路シーン記述の受信側エンティティが、対応する道路シーン状況が発生した位置を特定するのに役立てることができる。たとえば、セマンティック道路シーン記述内の地理位置データ(たとえば、GPS座標)に基づいて、受信側移動プラットフォーム135は、セマンティック道路シーン記述内で記述された外部状況がその現在位置の5km後方で発生したと判断することができる。いくつかの実施形態では、送信側移動プラットフォーム135の現在位置は、完全に正確な位置である必要はなくおおよその位置であってよい。たとえば、GPSデバイスによって識別された地理位置(たとえば、GPS座標)は、完全に正確ではない可能性がある。別の例として、セマンティック道路シーン記述内の位置態様は、「ユタ大学プレジデントサークルを約200m過ぎたところ」であり得る。この例では、受信側移動プラットフォーム135は、自身の位置をたとえばプレジデントサークルの手前約150mと判断し、したがって、セマンティック記述に記述された道路シーン状況が350m前方で発生したと判断することができる。
いくつかの実施形態では、セマンティック道路シーン記述は、構造化データファイルであり得る。たとえば、セマンティック道路シーン記述は、XML(拡張マークアップ言語)、CSV(コンマ区切り形式)、JSON(JavaScript(登録商標)オブジェクト表記)などの任意の形態の構造化データファイルフォーマットで作成することができる。いくつかの実施形態では、セマンティック道路シーン記述は、様々な移動プラットフォーム135、基盤サーバ190、サーバ101、基盤などの間で効率的に交換されるべき、あらかじめ定義されたテンプレートに準拠することができる。いくつかの実施形態では、あらかじめ定義されたテンプレートに含まれる道路シーン態様は、道路区間の地域性に基づいて動的に調整することができる。たとえば、「市街地」の地域性に適用されるあらかじめ定義されたテンプレートは、横断歩道を記述する態様を含む場合があり、「高速道路」の地域性に使用されるあらかじめ定義されたテンプレートは、横断歩道を記述する態様を含まない場合がある。
図9は、セマンティック記述作成器262によって作成された例示的なセマンティック道路シーン記述を明示する。図示されたように、セマンティック記述作成器262は、状況オントロジーデータによって定義された対応する用語を使用して、気象状態、明暗状態、地域性、シーンレベル交通コンテキスト、および路面状態を記述することができる。たとえば、図9に描写されたように、セマンティック道路シーン記述900は、以下の態様:気象状態を「晴れ」として示す気象属性、明暗状態を「日中の明るさ(day bright)」として示す明暗属性、地域性を「ハイウェイ」として示す地域属性、路面状態を「湿潤(wet)」として示す道路状態属性、およびシーンレベルにおける交通コンテキストを「適
度(moderate)」として示すコンテキスト属性のうちの1つまたは複数を含む場合がある。
描写されたように、セマンティック道路シーン記述900は、第1の車両の現在位置、ならびに第1の車両の現在位置に近い1つまたは複数のPOIおよび/またはランドマークを含む場合がある。詳細には、セマンティック道路シーン記述900は、第1の車両の現在位置(たとえば、GPS座標)を「北緯40.5829°、西経111.8932°」として示す位置属性、ならびに近くのランドマークおよびPOIを「リオティントスタジアム」および「ジョーダンコモンズメガプレックス劇場」として示すランドマーク属性を含む場合がある。
図9に示されたように、セマンティック記述作成器262は、道路区間の各車線を記述
する1つまたは複数の態様を含む場合がある。いくつかの実施形態では、これらの態様は、各車線の車線固有情報、たとえば、車線番号、車線レベルアクティビティ情報(たとえば、車線内に存在する1つまたは複数の動的道路物体の属性(物体タイプ、物体IDなど)、1つまたは複数の動的道路物体のアクティビティなど)、および車線レベル空間レイアウト(たとえば、車線を占有する動的道路物体の数、車線内の物体間関係など)などを記述することができる。たとえば、図9に描写されたように、セマンティック道路シーン記述900は、道路区間の車線1、車線2、および車線3に対応する3つの態様を含む場合がある。図示されたように、態様「車線1」は、互いの間に3.5mの距離を置いて車線1を移動している3台の車があることを示す。態様「車線2」は、車線2を占有している2つのタイプの動的道路物体を記述する。詳細には、車線2を適度な速度で移動している3台の車および車線2をゆっくり移動している2台のトラックが存在する。態様「車線2」は、車線2内の車両の平均車間距離が2秒であることも示す。態様「車線3」は、物体ID=14を有する車が衝突し、車線3内の他の車両(たとえば、5台の車)が停止したことを示す。いくつかの実施形態では、セマンティック道路シーン記述は、他の道路シーン態様を含む場合がある。
いくつかの実施形態では、送信側移動プラットフォーム135は、たとえば、V2V通信ネットワークを介して、道路区間に関連付けられた1つまたは複数の他の移動プラットフォーム135に、セマンティック道路シーン記述を送信することができる。いくつかの実施形態では、道路区間に関連付けられた移動プラットフォーム135とは、その道路区間に近接している1つまたは複数の移動プラットフォーム135である。たとえば、道路区間に関連付けられた移動プラットフォーム135は、限定はしないが、当該道路区間に接近している移動プラットフォーム135(たとえば、当該道路区間上の第1の車両の後方を移動している車両、次の15分以内に当該道路区間に到達すると予測される車両など)、当該道路区間を通過した移動プラットフォーム135(たとえば、当該道路区間上の第1の車両の前方を移動している車両、直前15分以内に当該道路区間を通過した車両など)、当該道路区間上の基準点からあらかじめ決定された距離内を移動している移動プラットフォーム135(たとえば、リオティントスタジアムから2マイルの半径内を移動している車両、第1の車両の現在位置から3kmの半径内を移動している車両など)などが含まれ得る。いくつかの実施形態では、送信側移動プラットフォーム135は、その無線周波通信範囲内にある任意の他の移動プラットフォーム135に、セマンティック道路シーン記述を送信することができる。いくつかの実施形態では、送信側移動プラットフォーム135は、V2I/I2V通信ネットワークを介して、基盤またはクラウドサーバにセマンティック道路シーン記述を送信することができる。他の変形形態も可能であり、考えられる。
いくつかの実施形態では、受信側移動プラットフォーム135は、他の周囲の移動プラットフォーム135からセマンティック記述を受信することで恩恵を受ける。なぜならば、自身が接近している現在の道路シーン状況をより正確に特定することができるためである。たとえば、図12Bを参照して、以下のような状況を考える。いくつかの第1の車両が道路区間1252上で第2の車両の後方を走行しており、自身が作成したセマンティック記述を第2の車両に通信している。第2の車両は、現在道路区間1254の車線3を走行している。作成されたセマンティック記述は、道路区間1252の車線4における自動車事故の発生を記述している。このような状況では、道路区間1252上の車線4における交通は、自動車事故のせいで進むことができず、したがって、車線4内の道路区間1254に接近する車両は存在しないはずであると判断できる。そこで、第2の車両は、より速く移動するために道路区間1254の車線3から車線4にシフトするように、そのドライバにナビゲーション提案を提供することができる。
いくつかの実施形態では、セマンティック道路シーン記述は、たとえば、ネットワーク
の容量(たとえば、V2V通信ネットワークおよび/またはV2I/I2V通信ネットワークの帯域幅制限)に応じてリアルタイムまたは非リアルタイムで、1つまたは複数の受信側エンティティ(たとえば、他の移動プラットフォーム135、基盤構成要素、サーバ101、クライアントデバイス115など)に配布することができる。一例として、V2V通信ネットワークの利用可能な帯域幅がしきい値を満たす(しきい値以上である)場合、道路シーンデータがセンサ106から取り込まれ/収集され、道路シーンアプリケーション109によって処理されると、第1の車両はリアルタイムで他の車両にセマンティック道路シーン記述を通信する。いくつかの実施形態では、移動プラットフォーム135は、指定された間隔で(たとえば、4秒ごとに)セマンティック道路シーン記述を送信する。いくつかの実施形態では、セマンティック道路シーン記述の作成および送信は、ユーザの介入なしに道路シーンアプリケーション109によって自動的に実行される。
いくつかの実施形態では、道路シーンデータの取込みおよび処理は、特定の道路区間に沿った各々の移動プラットフォーム135が(たとえば、自動的に)行う。詳細には、道路区間上を走行している各移動プラットフォーム135は、その視点から知覚および分析された現在の道路シーン状況を記述するセマンティック記述を作成する。
いくつかの実施形態では、道路区間に関連付けられた移動プラットフォーム135は、道路区間に関連付けられた2つ以上の他の移動プラットフォーム135から、道路区間の複数のセマンティック記述を受信する。たとえば、道路区間上を走行している第1の車両は、その道路区間に接近している1つまたは複数の第2の車両に、第1の車両が作成するセマンティック記述を送信し、その道路区間を通過した2つ以上の第3の車両から、これらの第3の車両が作成するセマンティック記述を受信する。各受信側車両が複数の周囲の車両からセマンティック記述を受信し、2つ以上のソースに基づいて現在の道路シーン状況を検証できるので、これは有利である。この例では、第1の車両、1つまたは複数の第2の車両、および2つ以上の第3の車両は、道路区間に関連付けられた車両と考えることができる。道路区間に関連付けられた車両の他の例が本明細書の中の他の場所に記載される。
いくつかの実施形態では、受信側車両は、2つ以上のセマンティック道路シーン記述を統合または調整(align)し、送信側車両が検知して2つ以上のセマンティック記述内に
記述した内容に基づいて、道路区間の外部状況を再現(reconstruct)することができる
。詳細には、受信側車両は、2つ以上のセマンティック道路シーン記述を、それらに含まれる1つまたは複数の道路シーン態様に基づいて統合することができる。
いくつかの実施形態では、車両情報を使用して、2つ以上のセマンティック道路シーン記述を集約(aggregate)することができる。たとえば、第1の送信側車両から受信され
た第1のセマンティック記述は、車線1内の車が物体間距離3秒でスムーズに移動していることを記述し、第2の送信側車両から受信された第2のセマンティック記述は、車線1内の車およびトラックが物体間距離2.7秒でスムーズに移動していることを記述する。統合したセマンティック記述の車線1に関連付けられた道路シーン態様に基づいて、受信側車両の道路シーンアプリケーション109は、車線1内の車両は車およびトラックを含み、それらが2.7秒と3秒との間のいずれかの車間距離でスムーズに走行していると判断することができる。
いくつかの実施形態では、静的道路物体に基づいて、2つ以上のセマンティック道路シーン記述を統合することができる。たとえば、第1の送信側車両から受信された第1のセマンティック記述は、基準点としてステート通りとワシントン通りの交差点にある交通信号を記述し、ワシントン通りの車線2の赤信号で2台の車および牽引車両が停止していることを記述する。第2の送信側車両から受信された第2のセマンティック記述は、同じ交
差点にある同じ交通信号を記述する。第2のセマンティック記述はさらに、ワシントン通りの車線4および車線5の赤信号で車およびトラックが停止しており、右折信号を出していることを記述する。静的道路物体(たとえば、交通信号)に基づいて、受信側車両の道路シーンアプリケーション109は、第1のセマンティック記述を第2のセマンティック記述と統合して、交差点におけるより完全な外部状況を理解することができる。たとえば、受信側車両の道路シーンアプリケーション109は、車線2内の赤信号で停止している2台の車および牽引車両があり、右折してワシントン通りを離れようとしている車線4内の車および車線5内のトラックがあると判断することができる。
いくつかの実施形態では、道路区間に関連付けられた車線情報および地図データに基づいて、2つ以上のセマンティック道路シーン記述を統合してもよい。地図データは、道路区間が複雑な道路構造を有する場合の統合に特に役立てることができる。たとえば、上記の状況では、受信側車両は、地図データを参照して、ワシントン通りが5車線を有すること、ならびに第1のセマンティック記述および第2のセマンティック記述において記述された交通信号が実際は同じものであるか、または同じ交通の流れを制御することを判断すべき場合がある。そして、受信側車両の道路シーンアプリケーション109は、第1のセマンティック記述と第2のセマンティック記述を、それらに含まれる車線情報を使用して組み合わせることができる。この例では、受信側車両はまた、地図データを参照して、ワシントン通りがこの交差点において2つの右折車線を有し、赤信号時の右折を許可しないことを判断すべき場合もある。
いくつかの実施形態では、動的道路物体に基づいて、2つ以上のセマンティック道路シーン記述を統合することができる。たとえば、第1のセマンティック記述および第2のセマンティック記述が両方とも同じ動的道路物体(たとえば、ナンバープレートXYZを有する黒い車)を記述する場合、受信側車両の道路シーンアプリケーション109は、動的道路物体に基づいて第1のセマンティック記述を第2のセマンティック記述と統合して、より完全な外部道路シーンを再現することができる。いくつかの実施形態では、動的道路物体の物体IDおよび/または識別形状は、セマンティック道路シーン記述内で表すことができ、したがって、統合用の動的道路物体を識別するために使用することができる。
いくつかの実施形態では、複数のセマンティック記述の統合は、サーバ101、基盤サーバ190、および/またはシステム100の構成部品によって実行することができる。たとえば、サーバ101または190は、V2I/I2V通信ネットワークを介して、異なる第1の車両から同じ道路区間に関する複数のセマンティック記述を受信する。いくつかの実施形態では、サーバ101または190は、受信されたセマンティック記述を統合し、統合したセマンティック記述に基づいて外部状態を特定し、道路区間に関連付けられた他の車両に特定された外部状態を送信する。この実施形態では、サーバ101または190におけるセマンティック記述の処理のせいで何らかの遅延が生じうる。
インターフェースエンジン264は、ユーザインターフェースを作成し、ユーザに提供するために、メモリ215、通信ユニット217、データストア221、および/または他の構成部品に結合することができる。いくつかの実施形態では、インターフェースエンジン264は、ユーザに道路シーン情報を提示するユーザインターフェースを提供するためのグラフィカルデータを作成することができる。さらなる実施形態では、ナビゲーションアプリケーション117は、それに提供されるか、または道路シーンアプリケーション109によって記憶された道路シーン情報に基づいて、これらの動作を実行することができる。
図10は、状況地図の形態の例示的なユーザインターフェースを描写する。いくつかの実施形態では、道路シーンアプリケーション109は、様々な車両から様々な位置におけ
る道路シーン状況を記述するセマンティック記述を受信する。次いで、道路シーンアプリケーション109は、各位置に関連付けられた外部状態を再現(再構成)し、インターフェースエンジン264は、これらの位置における現在の道路シーン状況をユーザに報告する状況地図を作成する。たとえば、図10に示されるように、状況地図1010は、位置1002にあるエンジンが止まった車、位置1004にある工事ゾーン、および位置1006にある水をまき散らしている車を記述する。状況地図は、特定の地理空間領域内の現在の外部状態をユーザに知らせることができ、ユーザは、したがって、これらの道路シーン状況を自分が望むように回避および/または適合することができる。いくつかの実施形態では、インターフェースエンジン264は、クライアントデバイス115および/またはモバイルコンピューティングシステム135にグラフィカルデータを送り、ユーザにユーザインターフェースを提示することをクライアントデバイス115および/またはモバイルコンピューティングシステム135に行わせる。
いくつかの実施形態では、セマンティック記述から道路区間に関する1つまたは複数の外部状態を受信および/または特定することに応答して、受信側車両は、1つまたは複数の実行ルーチン、たとえば、図10を参照して上述されたように状況地図を作成することを実行することができる。いくつかの実施形態では、道路シーンアプリケーション109は、再現(再構成)された外部状態をナビゲーションアプリケーション117に送ることができる。次いで、ナビゲーションアプリケーション117は、外部状態に基づいてナビゲーションガイダンスを作成することができる。
一例として、第1の車両の前方(たとえば、5km前方)の複数の車両が、図9に描写されたセマンティック記述900に記述された道路シーン状況を検出する。第1の車両の道路シーンアプリケーション109は、これらの複数の車両から受信されたセマンティック記述を分析し、5km前方で発生している外部状態を算出する。詳細には、道路シーンアプリケーション109は、3台の車が車線1内で互いの間に3.5mの距離を取って移動しており、車線2内で、3台の車が適度な速度で移動し、2台のトラックが2秒の平均車間距離を取ってゆっくりと移動しており、物体ID=14を有する車が車線3において衝突し、車線3内の交通が停止したとことを特定する。道路シーンアプリケーション109は、この集約された外部状況情報をナビゲーションアプリケーション117に送ることができる。前方の状況に適合するために、ナビゲーションアプリケーション117は、車線3内の交通が停止したので、ユーザは車線3を回避するべきであると判断することができる。ナビゲーションアプリケーション117は、車線2が5台の車両で混雑しており、車線内をゆっくりと移動している2台のトラック(すなわち、大型車両)があるとき2秒の物体間距離は比較的小さいので、ユーザは車線2も回避するべきであると判断することができる。次いで、ナビゲーションアプリケーション117は、より速い通勤およびより良い運転経験のために、その道路区間に接近しているとき車線1に変更するようにユーザに提案するナビゲーションガイダンスを作成することができる。
図3Aは、道路区間用のセマンティック道路シーン記述を作成するための例示的な方法300のフローチャートである。ブロック302において、道路シーンアプリケーション109は、道路区間上の第1の車両に関連付けられた道路シーンデータおよび車両動作データを受信する。いくつかの実施形態では、道路シーンデータは、センサ106(たとえば、カメラなど)によって取り込まれた画像データであり得る。ブロック304において、道路シーンアプリケーション109は、状況オントロジーデータを受信する。たとえば、状況オントロジーデータは、道路シーン状況を記述するための用語データであり得る。ブロック306において、セマンティック記述作成器306は、道路シーンデータ、車両動作データ、および状況オントロジーデータを使用して、道路区間のセマンティック道路シーン記述を自動的に作成する。ブロック308において、道路シーンアプリケーション109は、第2の車両にセマンティック道路シーン記述を送信する。いくつかの実施形態
では、第2の車両は、道路区間に関連付けられた車両(たとえば、道路区間に近接している車両)であり得る。
図3Bは、車両および/または道路区間に関する外部道路シーン状態を特定するための例示的な方法350のフローチャートである。ブロック352において、車両の道路シーンアプリケーション109は、道路区間に関連付けられた複数の他の車両(たとえば、道路区間に近接している他の車両)から、複数のセマンティック道路シーン記述を受信する。ブロック354において、道路シーンアプリケーション109は、1つまたは複数の静的道路物体および/または地図データを使用して、複数のセマンティック道路シーン記述を統合する。次に、ブロック356において、道路シーンアプリケーション109は、統合したセマンティック道路シーン記述に基づいて、車両および/または道路区間に関する外部状態を特定する。外部状態を特定することに応答して、ブロック358において、特定された外部状態に基づいて1つまたは複数の対話型ルーチンを実行する。たとえば、道路シーンアプリケーション109は、状況地図を作成し、車両のユーザに提示する。いくつかの実施形態では、状況地図は、車両に関する特定の地理的領域内の様々な位置における道路シーン状況を記述する。別の例として、ナビゲーションアプリケーション117は、道路シーンアプリケーション109によって特定された外部道路シーン状態に従って、ナビゲーションガイダンスを作成し、ユーザに提供する。
図4は、車両の視点から道路区間用のセマンティック道路シーン記述を作成するためのさらなる例示的な方法のフローチャートである。ブロック402において、セマンティック記述作成器262は、シーンプロセッサ254から、地域属性、明暗属性、およびシーンレベルコンテキストを受信する。いくつかの実施形態では、シーンプロセッサ254は、道路シーンデータを処理することによって、道路区間に関連付けられた地域属性、明暗属性、シーンレベルコンテキスト、および気象属性を特定する。いくつかの実施形態では、シーンプロセッサ254は、道路シーンデータを処理することによって、道路区間に関連付けられた1つまたは複数の静的道路物体、および1つまたは複数の動的道路物体を検出することもできる。次に、ブロック404において、道路状態推定器260は、気象属性および車両に関連付けられた車両動作データに基づいて、路面状態を特定する。
方法400は、ブロック406に進んで、道路区間に関連付けられた地図データを受信する。ブロック408において、シーンプロセッサ254は、検出された静的道路物体および/または地図データを使用して、道路区間の1つまたは複数の車線を特定する。次いで、ブロック410において、アクティビティアグリゲータ256は、車線情報(たとえば、車線番号)および動的道路物体情報を使用して、車線ごとの車線レベルアクティビティ情報を特定する。たとえば、車線レベルアクティビティ情報は、2台の車および2台のトラックが道路区間の車線2をゆっくり移動していることを示す場合がある。ブロック412において、空間レイアウトエンコーダ258は、車線情報および動的道路物体情報を使用して、車線ごとの車線レベル空間レイアウトを特定する。たとえば、車線レベル空間レイアウトは、道路区間の車線2に4台の車両があることを示す場合がある。さらなる例として、車線レベル空間レイアウトは、これら4台の車両の間の物体間関係が3秒の平均車間時間/距離であることを示す場合がある。
方法400は、ブロック414に進んで、地域属性、明暗属性、気象属性、シーンレベルコンテキスト、路面状態、車線ごとの車線レベルアクティビティ情報、車線ごとの車線レベル空間レイアウト、および状況オントロジーデータに基づいて、セマンティック記述作成器262により、セマンティック道路シーン記述を414で自動的に作成する。たとえば、セマンティック記述作成器262は、状況オントロジーデータを適用して、有効かつ確実な共有のために、これらの道路シーン態様を道路シーン状況の包括的表現の中に集約する。
図5は、車線レベルアクティビティ情報を作成するための例示的な方法のフローチャートである。ブロック502において、アクティビティアグリゲータ256は、1つまたは複数の動的道路物体の動きおよび車線位置を空間的および時間的に監視する。いくつかの実施形態では、アクティビティアグリゲータ256は、各動的道路物体に割り当てられた一意の物体IDに基づいて、空間的および時間的に様々な動的道路物体を記録する。いくつかの実施形態では、アクティビティアグリゲータ256は、第1の車両の動きおよび車線位置を空間的および時間的に監視することもできる。ブロック504において、アクティビティアグリゲータ256は、動的道路物体および第1の車両の監視された動きおよび車線位置に基づいて、道路区間の車線ごとの車線レベルアクティビティ情報を作成する。たとえば、アクティビティアグリゲータ256は、特定の車両が隣接する左車線に変更したこと、および/または特定の車線内の交通が制限速度に近い速度でスムーズに動いていることを判断することができる。
図6は、車線レベル空間レイアウトを作成するための例示的な方法のフローチャートである。ブロック602において、空間レイアウトエンコーダ258は、たとえば、センサ106によって取り込まれた画像に基づいて、道路区間の各車線内の動的道路物体の数を特定する。ブロック604において、空間レイアウトエンコーダ258は、動的道路物体の数およびセンサ106のセンサ範囲を使用して、車線ごとの車線レベル空間レイアウトを特定することができる。たとえば、空間レイアウトエンコーダ258は、センサの25mのカバレージ範囲内の車線2に5台の車両があると特定する。別の例として、空間レイアウトエンコーダ258は、車線2内の車両間の平均距離が約5mであるか、または約2.3秒の車間距離であると特定することができる。
以上の説明では、説明の目的で、本明細書を完全に理解するために、多数の具体的な詳細が明記されている。しかしながら、本開示はこれらの具体的な詳細なしに実践され得ることは、当業者には明らかである。場合によっては、説明を不明瞭にすることを回避するために、構造およびデバイスがブロック図の形で示される。たとえば、本実装形態は、主にユーザインターフェースおよび特定のハードウェアを参照して、上記で記載することができる。しかしながら、本実装形態は、データおよびコマンドを受信することができる任意のタイプのコンピューティングデバイス、ならびにサービスを提供する任意の周辺デバイスに適用することができる。
本明細書における「いくつかの実装形態」または「いくつかの事例」に対する参照は、その実装形態または事例とともに記載される特定の特徴、構造、または特性が説明の少なくとも1つの実装形態に含まれ得ることを意味する。本明細書における様々な場所での「いくつかの実装形態では」というフレーズの出現は、必ずしもすべてが同じ実装形態を参照しているとは限らない。
以下に続く詳細説明のいくつかの部分は、コンピュータメモリ内のデータビット上の演算のアルゴリズムおよびシンボル表現の観点から提示される。これらのアルゴリズム的な記述および表現は、データ処理技術分野の当業者により、他の当業者に自分の仕事の本質を最も効果的に伝達するために使用される手段である。本明細書において、かつ一般的に、アルゴリズムは、望ましい結果に導く自己矛盾のない一連のステップであると考えられる。ステップは、物理量の物理的操作を必要とするステップである。必ずしもそうであるとは限らないが、通常、これらの量は、記憶、転送、合成、比較、および他の方法で操作することが可能な電気信号または磁気信号の形態をとる。主に共通使用の理由で、これらの信号をビット、値、素子、シンボル、文字、用語、番号などとして参照することは、時には好都合であると証明されている。
しかしながら、これらおよび同様の用語のすべてが、適切な物理量に関連付けられ、これらの量に適用される便利なラベルにすぎないことは留意されるべきである。以下の説明から明白であると別段に明記されていない限り、説明全体にわたって、「処理」または「計算」または「算出」または「決定」または「表示」などを含む用語を利用する説明は、コンピュータシステムのレジスタおよびメモリ内の物理(電子)量として表されるデータを操作し、コンピュータシステムのメモリもしくはレジスタ、または他のそのような情報を記憶、送信、もしくは表示するデバイス内の物理量と同様に表される他のデータに変換する、コンピュータシステムまたは同様の電子コンピューティングデバイスのアクションおよびプロセスを参照する。
本明細書の本実装形態はまた、本明細書において動作を実行するための装置に関係することもできる。この装置は、必要な目的のために特別に構築される場合があるか、またはコンピュータに記憶されたコンピュータプログラムによって、選択的にアクティブ化もしくは再構成される汎用コンピュータを含む場合がある。そのようなコンピュータプログラムは、限定はしないが、各々がコンピュータシステムバスに結合される、フロッピーディスク、光ディスク、CD−ROM、および磁気ディスクを含む任意のタイプのディスク、読取り専用メモリ(ROM)、ランダムアクセスメモリ(RAM)、EPROM、EEPROM、磁気カードもしくは光カード、不揮発性メモリを有するUSBキーを含むフラッシュメモリ、または電子命令を記憶するのに適した任意のタイプの媒体を含む、コンピュータ可読記憶媒体に記憶される場合がある。
本明細書は、いくつかの全体的にハードウェアの実装形態、いくつかの全体的にソフトウェアの実装形態、またはハードウェアとソフトウェアの両方の構成要素を含んでいるいくつかの実装形態の形態をとることができる。いくつかの好ましい実装形態では、本明細書は、限定はしないが、ファームウェア、常駐ソフトウェア、マイクロコードなどを含む、ソフトウェアに実装される。
さらに、説明は、コンピュータまたは任意の命令実行システムが使用するか、またはそれとともに使用されるプログラムコードを提供する、コンピュータ使用可能媒体またはコンピュータ可読媒体からアクセス可能なコンピュータプログラム製品の形態をとることができる。この説明の目的で、コンピュータ使用可能媒体またはコンピュータ可読媒体は、命令実行システム、命令実行装置、または命令実行デバイスが使用するか、またはそれとともに使用されるプログラムを、内蔵、記憶、通信、伝播、または転送することができる任意の装置であり得る。
プログラムコードを記憶または実行するのに適したデータ処理システムは、システムバスを介してメモリ素子に直接的または間接的に結合された少なくとも1つのプロセッサを含む。メモリ素子は、プログラムコードの実際の実行中に利用されるローカルメモリ、バルクストレージ、および、実行中にバルクストレージからコードが取り出されねばならない回数を低減するために、少なくともいくつかのプログラムコードの一時的ストレージを提供するキャッシュメモリを含むことができる。
(限定はしないが、キーボード、ディスプレイ、ポインティングデバイスなどを含む)入力/出力デバイスまたはI/Oデバイスは、直接または介在するI/Oコントローラを介して、システムに結合することができる。
ネットワークアダプタは、データ処理システムが、介在する専用ネットワークまたは公共ネットワークを介して、他のデータ処理システムまたはリモートプリンタまたはストレージデバイスに結合されるようになることを可能にするために、システムに結合される場合もある。モデム、ケーブルモデム、およびイーサネット(登録商標)カードは、現在利
用可能なタイプのネットワークアダプタのうちのほんの一部である。
最後に、本明細書に提示されたアルゴリズムおよびディスプレイは、任意の特定のコンピュータまたは他の装置に本質的に関係しない。様々な汎用システムは、本明細書における教示によるプログラムとともに使用される場合があるか、または必要な方法ステップを実施するためにより特化した装置を構築することが好都合であると証明する場合がある。様々なこれらのシステムに必要な構造は、下記の説明から明らかになる。加えて、本明細書は、いかなる特定のプログラミング言語も参照して記載されていない。本明細書に記載された明細書の教示を実装するために、様々なプログラミング言語を使用できることが諒解されよう。
本明細書の実装形態の上記の説明は、例示および説明の目的で提示されている。本明細書を開示されたそのままの形態に徹底または限定するものではない。上記の教示に照らして、多くの修正形態または変形形態が可能である。本開示の範囲は、この詳細説明によって限定されず、むしろ本出願の特許請求の範囲によって限定されるものである。当業者によって理解されるように、本明細書は、その趣旨または本質的な特性から逸脱することなく、他の固有の形態で具現化される場合がある。同様に、モジュール、ルーチン、特徴、属性、方法、および他の態様の特定の命名および分割は、必須または重要ではなく、本明細書またはその特徴を実装するメカニズムは、様々な名称、分割、またはフォーマットを有する場合がある。さらに、当業者には明らかなように、本開示のモジュール、ルーチン、特徴、属性、方法、および他の態様は、ソフトウェア、ハードウェア、ファームウェア、またはその3つの任意の組合せとして実装することができる。また、その例がモジュールである本明細書の構成部品がソフトウェアとして実装される場合はいつでも、構成部品は、スタンドアロンプログラムとして、より大きいプログラムの一部として、複数の別々のプログラムとして、静的もしくは動的にリンクされたライブラリとして、カーネルのロード可能なモジュールとして、デバイスドライバとして、または、コンピュータプログラミングの当業者に現在知られているか、もしくは将来知られるすべておよび任意の他の方法で、実装することができる。加えて、本開示は、任意の固有のプログラミング言語における、または任意の固有のオペレーティングシステムもしくは動作環境のための実装に少しも限定されない。したがって、本開示は、以下の特許請求の範囲で明記される本明細書の範囲を限定するものではなく、例示するものである。
100 システム
101 サーバ
103 状況オントロジーデータベース
107 車両CAN(コントローラエリアネットワーク)データストア
108 道路シーンデータストレージ
109 道路シーンアプリケーション
115 クライアントデバイス
117 ナビゲーションアプリケーション
135 移動プラットフォーム
170 地図サーバ
172 関心地点(POI)データベース
174 地図データベース
190 基盤サーバ
192 V2Vデータストア
194 V2I/I2Vデータストア

Claims (21)

  1. コンピュータによって実行される方法であって、
    道路区間上の第1の車両のセンサから、道路シーンデータおよび車両動作データを受信するステップと、
    状況オントロジーデータを受信するステップと、
    前記道路シーンデータ、前記車両動作データ、および前記状況オントロジーデータを用いて、前記道路区間のセマンティック道路シーン記述を自動的に作成するステップと、
    前記セマンティック道路シーン記述を、通信ネットワークを介して、前記道路区間に関連付けられた第2の車両に送信するステップと、
    を含む方法。
  2. 前記道路区間に関連付けられた第2の車両は、前記道路区間に近接している車両である、
    請求項1に記載の方法。
  3. 前記状況オントロジーデータは、道路シーン状況を記述するあらかじめ定義されたセマンティック用語を含む、
    請求項1または2に記載の方法。
  4. 前記道路シーンデータに基づいて、静的道路物体を検出するステップと、
    検出された前記静的道路物体に基づいて、前記道路区間上の車線を決定するステップと、
    をさらに含む、請求項1から3のいずれか1項に記載の方法。
  5. 前記道路区間上の車線を決定する前記ステップは、
    前記道路区間に関連付けられた地図データを受信するステップと、
    前記地図データと前記検出された静的道路物体とに基づいて、前記道路区間の車線を決定するステップと、
    を含む、請求項4に記載の方法。
  6. 前記道路シーンデータに基づいて、動的道路物体を検出するステップと、
    車線情報と動的道路物体情報とに基づいて、車線レベルアクティビティ情報を決定するステップと、
    前記車線情報と前記動的道路物体情報とに基づいて、車線レベル空間レイアウトをそれぞれの車線について決定するステップと、
    をさらに含む、請求項4または5に記載の方法。
  7. 車線レベル空間レイアウトをそれぞれの車線について決定する前記ステップは、
    前記動的道路物体の動きおよび車線位置を空間的および時間的に監視するステップと、
    前記動的道路物体の監視された動きおよび車線位置に基づいて、車線レベル空間レイアウトをそれぞれの車線について決定するステップと、
    を含む、請求項6に記載の方法。
  8. 前記動きおよび前記車線位置を空間的および時間的に監視する前記ステップは、
    検出された前記動的道路物体に一意の物体識別子を割り当てるステップと、
    割り当てられた前記物体識別子に基づいて、前記動的道路物体の動きおよび車線位置を空間的および時間的に監視するステップと、
    を含む、請求項7に記載の方法。
  9. 車線レベル空間レイアウトをそれぞれの車線について決定する前記ステップは、
    前記道路シーンデータに基づいて、各車線上の動的道路物体の数を決定するステップと、
    各車線上の動的道路物体の数と前記第1の車両のセンサのセンサ範囲とに基づいて、各車線について車線レベル空間レイアウトを決定するステップと、
    を含む、請求項6に記載の方法。
  10. 前記道路区間に関連付けられた地域属性、明暗属性、気象属性、およびシーンレベルコンテキストのうちの少なくともいずれかを、前記道路シーンデータに基づいて決定するステップと、
    前記道路区間に関連する路面状態を、前記気象属性および前記車両動作データに基づいて決定するステップと、
    車線レベル空間レイアウトをそれぞれの車線について決定するステップと、
    を含み、
    前記道路区間について生成される前記セマンティック道路シーン記述は、前記道路区間に関連付けられた、前記地域属性、前記明暗属性、前記気象属性、前記シーンレベルコンテキスト、前記路面状態、前記各車線についての車線レベルアクティビティ情報を、および前記各車線についての車線レベル空間レイアウトの少なくともいずれかを含む、
    請求項4に記載の方法。
  11. 前記道路区間に関連付けられた複数の車両のそれぞれから、複数の他のセマンティック道路シーン記述を受信するステップと、
    前記他のセマンティック道路シーン記述のそれぞれについての態様に基づいて、前記複数の他のセマンティック道路シーン記述を調整するステップと、
    調整された前記セマンティック道路シーン記述に基づいて、前記道路区間に関する外部状態を決定するステップと、
    前記外部状態に基づいて、対話型ルーチンを実行するステップと、
    をさらに含む、請求項1から10のいずれか1項に記載の方法。
  12. 前記他のセマンティック道路シーン記述のそれぞれについての態様は車線情報であり、
    前記複数の他のセマンティック道路シーン記述を調整する前記ステップでは、前記他のセマンティック道路シーン記述のそれぞれに含まれる前記車線情報に基づいて前記複数の他のセマンティック道路シーン記述を調整する、
    請求項11に記載の方法。
  13. 前記道路区間に関連付けられた地図データを受信するステップをさらに含み、
    前記複数の他のセマンティック道路シーン記述を調整する前記ステップでは、前記他のセマンティック道路シーン記述のそれぞれに含まれる前記車線情報と前記地図データとに基づいて前記複数の他のセマンティック道路シーン記述を調整する、
    請求項11または12に記載の方法。
  14. 前記対話型ルーチンを実行する前記ステップは、
    前記外部状態に基づいて、ナビゲーションガイダンスを生成するステップと、
    前記ナビゲーションガイダンスを、前記第1の車両のユーザに提供するステップと、
    を含む、請求項1から13のいずれか1項に記載の方法。
  15. 前記の車両は、前記第1の車両の無線通信範囲内に位置し、
    前記通信ネットワークは、車車間通信または路車間通信である、
    請求項1から14のいずれか1項に記載の方法。
  16. 前記道路シーンデータは、光学センサによって取得された画像データを含む、
    請求項1から15のいずれか1項に記載の方法。
  17. コンピュータによって実行される方法であって、
    道路区間上の第1の車両のセンサから、道路シーンデータを受信するステップと、
    状況オントロジーデータを受信するステップと、
    前記道路シーンデータに基づいて、静的道路物体を検出するステップと、
    前記道路シーンデータに基づいて、動的道路物体を検出するステップと、
    検出された前記静的道路物体に基づいて、前記道路区間上の車線を決定するステップと、
    前記動的道路物体の動きおよび車線位置を空間的および時間的に監視するステップと、
    前記動的道路物体の監視された動きおよび車線位置に基づいて、各車線についての車線レベルアクティビティ情報を作成するステップと、
    前記状況オントロジーデータを用いて、各車線の車線レベルアクティビティ情報を含むセマンティック道路シーン記述を各車線について自動的に作成するステップと、
    前記セマンティック道路シーン記述を、通信ネットワークを介して、前記道路区間に関連付けられた第2の車両に送信するステップと、
    を含む方法。
  18. 前記動的道路物体の動きおよび車線位置を空間的および時間的に監視する前記ステップは、
    検出された前記動的道路物体に一意の物体識別子を割り当てるステップと、
    割り当てられた前記物体識別子に基づいて、前記動的道路物体の動きおよび車線位置を空間的および時間的に監視するステップと、
    を含む、請求項17に記載の方法。
  19. 前記道路シーンデータに基づいて、各車線上の動的道路物体の数を決定するステップと、
    各車線上の動的道路物体の数と前記第1の車両のセンサのセンサ範囲とに基づいて、各車線について車線レベル空間レイアウトを決定するステップと、
    をさらに含み、
    前記道路区間について生成される前記セマンティック道路シーン記述は、前記道路区間に関連付けられた各車線の車線レベル空間レイアウトを含む、
    請求項17または18に記載の方法。
  20. 請求項1から19のいずれか1項に記載の方法の各ステップをコンピュータに実行させるためのプログラム。
  21. プロセッサと、
    請求項1から19のいずれか1項に記載の方法の各ステップを前記プロセッサに実行させるためのプログラムを格納したメモリと、
    を備える、コンピュータシステム。
JP2017040721A 2016-03-25 2017-03-03 道路シーン状況の理解および確実に共有するための道路シーン状況のセマンティック表現 Active JP6414255B2 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US15/081,756 US9792821B1 (en) 2016-03-25 2016-03-25 Understanding road scene situation and semantic representation of road scene situation for reliable sharing
US15/081,756 2016-03-25

Publications (2)

Publication Number Publication Date
JP2017174417A true JP2017174417A (ja) 2017-09-28
JP6414255B2 JP6414255B2 (ja) 2018-10-31

Family

ID=59898153

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2017040721A Active JP6414255B2 (ja) 2016-03-25 2017-03-03 道路シーン状況の理解および確実に共有するための道路シーン状況のセマンティック表現

Country Status (2)

Country Link
US (1) US9792821B1 (ja)
JP (1) JP6414255B2 (ja)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110332945A (zh) * 2019-08-01 2019-10-15 北京眸星科技有限公司 基于交通道路标线视觉识别的车载导航方法和装置
JP2019192228A (ja) * 2018-04-27 2019-10-31 本田技研工業株式会社 車線レベル危険予測のためのシステム及び方法
JP2020077378A (ja) * 2018-09-13 2020-05-21 トヨタ自動車株式会社 V2xレシーバによるv2x通信の理解を改善するコンテキストシステム
JP2022500732A (ja) * 2018-09-07 2022-01-04 ウェイモ エルエルシー 自律型車両のための周囲照明状態
JP2022019656A (ja) * 2020-07-16 2022-01-27 トヨタ モーター ノース アメリカ,インコーポレイティド 車両のデータアクセス能力を向上するための方法とシステム
JP7444736B2 (ja) 2019-12-30 2024-03-06 株式会社Subaru 交通制御システム

Families Citing this family (39)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6391507B2 (ja) * 2015-03-18 2018-09-19 アイシン・エィ・ダブリュ株式会社 ナビゲーション装置、ナビゲーションプログラム、及びナビゲーション方法
JP6544445B2 (ja) * 2016-01-29 2019-07-17 日産自動車株式会社 車両の走行制御方法および車両の走行制御装置
US10184800B2 (en) * 2016-05-17 2019-01-22 Here Global B.V. Sharing safety driving metrics for navigable segments
US9747793B1 (en) 2016-08-21 2017-08-29 International Business Machines Corporation Transportation vehicle traffic management
US11144592B2 (en) * 2016-10-27 2021-10-12 Ricoh Company, Ltd. Extendable JSON configuration architecture
US10297147B2 (en) 2016-12-06 2019-05-21 Flir Commercial Systems, Inc. Methods and apparatus for monitoring traffic data
US10679669B2 (en) * 2017-01-18 2020-06-09 Microsoft Technology Licensing, Llc Automatic narration of signal segment
US10942519B2 (en) * 2017-07-07 2021-03-09 Autox, Inc. System and method for navigating an autonomous driving vehicle
JP7040936B2 (ja) * 2017-12-26 2022-03-23 株式会社ゼンリンデータコム 情報収集システムおよび情報収集装置
KR102595787B1 (ko) 2018-02-27 2023-11-24 삼성전자주식회사 전자 장치 및 그 제어 방법
US10867510B2 (en) * 2018-04-05 2020-12-15 Toyota Jidosha Kabushiki Kaisha Real-time traffic monitoring with connected cars
CN108564126B (zh) * 2018-04-19 2022-04-19 郑州大学 一种融合语义控制的特定场景生成方法
CN108764137A (zh) * 2018-05-29 2018-11-06 福州大学 基于语义分割的车辆行驶车道定位方法
JP6750646B2 (ja) * 2018-06-07 2020-09-02 トヨタ自動車株式会社 車載装置、情報処理方法、および、情報処理プログラム
CN110163405B (zh) * 2018-07-23 2022-03-25 腾讯大地通途(北京)科技有限公司 通行时间确定方法、装置、终端及存储介质
KR102521834B1 (ko) 2018-08-21 2023-04-17 삼성전자주식회사 차량으로 영상을 제공하는 방법 및 이를 위한 전자 장치
US11263245B2 (en) * 2018-10-30 2022-03-01 Here Global B.V. Method and apparatus for context based map data retrieval
US11543262B2 (en) * 2018-12-05 2023-01-03 Toyota Motor North America, Inc. Data analytics for smart vehicle fueling
CN109635719B (zh) * 2018-12-10 2023-11-17 宽凳(北京)科技有限公司 一种图像识别方法、装置和计算机可读存储介质
US11194847B2 (en) * 2018-12-21 2021-12-07 Here Global B.V. Method, apparatus, and computer program product for building a high definition map from crowd sourced data
US10929665B2 (en) * 2018-12-21 2021-02-23 Samsung Electronics Co., Ltd. System and method for providing dominant scene classification by semantic segmentation
US11409285B2 (en) * 2018-12-27 2022-08-09 Continental Automotive Systems, Inc. Method for maneuver prediction of traffic participant
CN111553374B (zh) * 2019-02-12 2022-07-26 腾讯大地通途(北京)科技有限公司 道路场景划分方法、装置、电子设备及存储介质
WO2020172875A1 (zh) * 2019-02-28 2020-09-03 深圳市大疆创新科技有限公司 道路结构信息的提取方法、无人机及自动驾驶系统
US11113570B2 (en) 2019-09-16 2021-09-07 The Boeing Company Systems and methods for automatically generating training image sets for an environment
US10885386B1 (en) 2019-09-16 2021-01-05 The Boeing Company Systems and methods for automatically generating training image sets for an object
CN110599570B (zh) * 2019-09-17 2022-09-20 武汉中海庭数据技术有限公司 基于众包数据开放场景下的地图生成方法及系统
KR20210044961A (ko) * 2019-10-15 2021-04-26 현대자동차주식회사 자율주행차량의 차선변경 전략 결정 장치 및 그 방법
CN110827578B (zh) * 2019-10-23 2022-05-10 江苏广宇协同科技发展研究院有限公司 一种基于车路协同的车辆防碰撞提示方法、装置及系统
US11640675B2 (en) 2019-12-13 2023-05-02 Toyota Motor Engineering & Manufacturing North America, Inc. Methods and systems for interpreting traffic scenes
US10909392B1 (en) * 2019-12-27 2021-02-02 Lyft, Inc. Systems and methods for computer-based labeling of sensor data captured by a vehicle
CN111582019B (zh) * 2020-03-24 2023-10-03 北京掌行通信息技术有限公司 无人车车道级场景的判定方法、系统、终端及存储介质
CN111797183A (zh) * 2020-05-29 2020-10-20 汉海信息技术(上海)有限公司 挖掘信息点的道路属性的方法、装置及电子设备
CN111739294B (zh) * 2020-06-11 2021-08-24 腾讯科技(深圳)有限公司 一种路况信息收集方法、装置、设备及存储介质
CN115705773A (zh) * 2021-08-12 2023-02-17 华为技术有限公司 交互方法、交互装置
CN113947893A (zh) * 2021-09-03 2022-01-18 网络通信与安全紫金山实验室 一种自动驾驶车辆行车场景还原方法及系统
US20230099494A1 (en) * 2021-09-29 2023-03-30 Nvidia Corporation Assigning obstacles to lanes using neural networks for autonomous machine applications
WO2023239955A1 (en) * 2022-06-09 2023-12-14 AeroCine Ventures, Inc. Localization processing service and observed scene reconstruction service
CN115223119A (zh) * 2022-06-15 2022-10-21 广州汽车集团股份有限公司 一种可行驶区域检测方法与系统

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006057456A (ja) * 2004-08-17 2006-03-02 Fujitsu Ten Ltd エンジン制御装置
JP2007071579A (ja) * 2005-09-05 2007-03-22 Xanavi Informatics Corp 車載用ナビゲーション装置およびシステム
JP2010271162A (ja) * 2009-05-21 2010-12-02 Mitsubishi Electric Corp 道路レーンデータ生成装置、道路レーンデータ生成方法および道路レーンデータ生成プログラム
JP2013073422A (ja) * 2011-09-28 2013-04-22 Daihatsu Motor Co Ltd 携帯端末装置
JP2014029655A (ja) * 2012-07-31 2014-02-13 Jvc Kenwood Corp 渋滞情報提供システム、渋滞情報提供装置、渋滞情報提供方法、及び、プログラム
WO2016020598A1 (fr) * 2014-08-06 2016-02-11 Renault S.A.S. Systeme d'aide a la conduite et procede mis en oeuvre dans un tel systeme

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7555165B2 (en) 2003-11-13 2009-06-30 Eastman Kodak Company Method for semantic scene classification using camera metadata and content-based cues
DE602005017144D1 (de) 2005-08-18 2009-11-26 Honda Res Inst Europe Gmbh Fahrerassistenzsystem
JP5200926B2 (ja) 2008-12-26 2013-06-05 トヨタ自動車株式会社 運転支援装置
US20130031479A1 (en) * 2011-07-25 2013-01-31 Flowers Harriett T Web-based video navigation, editing and augmenting apparatus, system and method
US9461876B2 (en) * 2012-08-29 2016-10-04 Loci System and method for fuzzy concept mapping, voting ontology crowd sourcing, and technology prediction
WO2014072767A1 (en) * 2012-11-06 2014-05-15 Nokia Corporation Apparatus and method for displaying image-based representations of geographical locations in an electronic text

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006057456A (ja) * 2004-08-17 2006-03-02 Fujitsu Ten Ltd エンジン制御装置
JP2007071579A (ja) * 2005-09-05 2007-03-22 Xanavi Informatics Corp 車載用ナビゲーション装置およびシステム
JP2010271162A (ja) * 2009-05-21 2010-12-02 Mitsubishi Electric Corp 道路レーンデータ生成装置、道路レーンデータ生成方法および道路レーンデータ生成プログラム
JP2013073422A (ja) * 2011-09-28 2013-04-22 Daihatsu Motor Co Ltd 携帯端末装置
JP2014029655A (ja) * 2012-07-31 2014-02-13 Jvc Kenwood Corp 渋滞情報提供システム、渋滞情報提供装置、渋滞情報提供方法、及び、プログラム
WO2016020598A1 (fr) * 2014-08-06 2016-02-11 Renault S.A.S. Systeme d'aide a la conduite et procede mis en oeuvre dans un tel systeme

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2019192228A (ja) * 2018-04-27 2019-10-31 本田技研工業株式会社 車線レベル危険予測のためのシステム及び方法
JP7343869B2 (ja) 2018-04-27 2023-09-13 本田技研工業株式会社 車線レベル危険予測のためのシステム及び方法
JP2022500732A (ja) * 2018-09-07 2022-01-04 ウェイモ エルエルシー 自律型車両のための周囲照明状態
JP7245320B2 (ja) 2018-09-07 2023-03-23 ウェイモ エルエルシー 自律型車両のための周囲照明状態
US11747167B2 (en) 2018-09-07 2023-09-05 Waymo Llc Ambient lighting conditions for autonomous vehicles
JP2020077378A (ja) * 2018-09-13 2020-05-21 トヨタ自動車株式会社 V2xレシーバによるv2x通信の理解を改善するコンテキストシステム
JP7078022B2 (ja) 2018-09-13 2022-05-31 トヨタ自動車株式会社 V2xレシーバによるv2x通信の理解を改善するコンテキストシステム
CN110332945A (zh) * 2019-08-01 2019-10-15 北京眸星科技有限公司 基于交通道路标线视觉识别的车载导航方法和装置
JP7444736B2 (ja) 2019-12-30 2024-03-06 株式会社Subaru 交通制御システム
JP2022019656A (ja) * 2020-07-16 2022-01-27 トヨタ モーター ノース アメリカ,インコーポレイティド 車両のデータアクセス能力を向上するための方法とシステム
JP7412390B2 (ja) 2020-07-16 2024-01-12 トヨタ モーター ノース アメリカ,インコーポレイティド 車両のデータアクセス能力を向上するための方法とシステム

Also Published As

Publication number Publication date
US9792821B1 (en) 2017-10-17
JP6414255B2 (ja) 2018-10-31
US20170278402A1 (en) 2017-09-28

Similar Documents

Publication Publication Date Title
JP6414255B2 (ja) 道路シーン状況の理解および確実に共有するための道路シーン状況のセマンティック表現
US11257377B1 (en) System for identifying high risk parking lots
US10867510B2 (en) Real-time traffic monitoring with connected cars
EP3451312B1 (en) Providing a confidence-based road event message
EP3441724B1 (en) Method and apparatus for detecting false positive slippery road reports using mapping data
EP3578924B1 (en) Warning polygons for weather from vehicle sensor data
JP6468563B2 (ja) 運転サポート
US20220013014A1 (en) Method, apparatus, and system for detecting lane departure events based on probe data and sensor data
IL278230B2 (en) System and method for using V2X and information from sensors
US10783384B2 (en) Object detection using shadows
US20210404818A1 (en) Method, apparatus, and system for providing hybrid traffic incident identification for autonomous driving
US20230196855A1 (en) Detecting and Mitigating Local Individual Driver Anomalous Behavior
US11227420B2 (en) Hazard warning polygons constrained based on end-use device
US20230252084A1 (en) Vehicle scenario mining for machine learning models
US20230222905A1 (en) Method, apparatus, and system for traffic light signal phase and timing verification using sensor data and probe data
US20220200701A1 (en) System and method for determining actions of a vehicle by visible light communication
US20230408276A1 (en) Methods and apparatuses for late lane change prediction and mitigation
US20230417559A1 (en) Method, apparatus, and system for detecting road obstruction intensity for routing or mapping
US20230085192A1 (en) Systems and methods for traffic control
US20230298362A1 (en) Method, apparatus, and system for estimating a lane width
US20240125617A1 (en) Aggregation of Data Representing Geographical Areas
US20240124009A1 (en) Optimizing alerts for vehicles experiencing stuck conditions
US20230358558A1 (en) Method, apparatus, and system for determining a lane marking confusion index based on lane confusion event detections

Legal Events

Date Code Title Description
A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20180124

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20180130

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20180329

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20180904

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20180917

R151 Written notification of patent or utility model registration

Ref document number: 6414255

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151