JP2019527862A - 自律走行のための地図画像に基づく交通予測 - Google Patents

自律走行のための地図画像に基づく交通予測 Download PDF

Info

Publication number
JP2019527862A
JP2019527862A JP2018515296A JP2018515296A JP2019527862A JP 2019527862 A JP2019527862 A JP 2019527862A JP 2018515296 A JP2018515296 A JP 2018515296A JP 2018515296 A JP2018515296 A JP 2018515296A JP 2019527862 A JP2019527862 A JP 2019527862A
Authority
JP
Japan
Prior art keywords
map image
objects
vehicle
features
map
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2018515296A
Other languages
English (en)
Other versions
JP6720296B2 (ja
Inventor
ミャオ、チンハオ
リー、リーユン
シア、チョンプー
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Baidu com Times Technology Beijing Co Ltd
Baidu USA LLC
Original Assignee
Baidu com Times Technology Beijing Co Ltd
Baidu USA LLC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Baidu com Times Technology Beijing Co Ltd, Baidu USA LLC filed Critical Baidu com Times Technology Beijing Co Ltd
Publication of JP2019527862A publication Critical patent/JP2019527862A/ja
Application granted granted Critical
Publication of JP6720296B2 publication Critical patent/JP6720296B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/16—Anti-collision systems
    • G08G1/166—Anti-collision systems for active traffic, e.g. moving vehicles, pedestrians, bikes
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/09—Arrangements for giving variable traffic instructions
    • G08G1/0962—Arrangements for giving variable traffic instructions having an indicator mounted inside the vehicle, e.g. giving voice messages
    • G08G1/0967—Systems involving transmission of highway information, e.g. weather, speed limits
    • G08G1/096708—Systems involving transmission of highway information, e.g. weather, speed limits where the received information might be used to generate an automatic action on the vehicle control
    • G08G1/096725—Systems involving transmission of highway information, e.g. weather, speed limits where the received information might be used to generate an automatic action on the vehicle control where the received information generates an automatic action on the vehicle control
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot
    • G05D1/0088—Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot characterized by the autonomous decision making process, e.g. artificial intelligence, predefined behaviours
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0212—Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory
    • G05D1/0214—Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory in accordance with safety or protection criteria, e.g. avoiding hazardous areas
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0231—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
    • G05D1/0246—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0268—Control of position or course in two dimensions specially adapted to land vehicles using internal positioning means
    • G05D1/0274—Control of position or course in two dimensions specially adapted to land vehicles using internal positioning means using mapping information stored in a memory device
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/29—Geographical information databases
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/588—Recognition of the road, e.g. of lane markings; Recognition of the vehicle driving pattern in relation to the road
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/01—Detecting movement of traffic to be counted or controlled
    • G08G1/0104—Measuring and analyzing of parameters relative to traffic conditions
    • G08G1/0108—Measuring and analyzing of parameters relative to traffic conditions based on the source of data
    • G08G1/0112—Measuring and analyzing of parameters relative to traffic conditions based on the source of data from the vehicle, e.g. floating car data [FCD]
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/01—Detecting movement of traffic to be counted or controlled
    • G08G1/04—Detecting movement of traffic to be counted or controlled using optical or ultrasonic detectors
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/16—Anti-collision systems
    • G08G1/161—Decentralised systems, e.g. inter-vehicle communication
    • G08G1/163—Decentralised systems, e.g. inter-vehicle communication involving continuous checking
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/09—Arrangements for giving variable traffic instructions
    • G08G1/0962—Arrangements for giving variable traffic instructions having an indicator mounted inside the vehicle, e.g. giving voice messages
    • G08G1/09626—Arrangements for giving variable traffic instructions having an indicator mounted inside the vehicle, e.g. giving voice messages where the origin of the information is within the own vehicle, e.g. a local storage device, digital map

Abstract

一実施形態では、ＡＤＶを囲む走行環境を感知する感知データに応答して、走行環境と関連付けられた位置をカバーする地図の地図画像が取得される。地図画像に対し画像認識が行われて、地図画像から１つ以上の対象が認識される。対象は、特定の道路、建物の構造（例えば、駐車場、クロスロードやラウンドアバウトなど）を表すことができる。認識された対象から１つまたは複数の特徴が抽出され、特徴は、走行環境の交通状態を示したり、記述することができる。感知データから感知された１つまたは複数の交通参加者の行動は、抽出された特徴に基づいて予測される。ＡＤＶを制御して走行環境でナビゲートするための軌道は、交通参加者の予測された行動をもとに計画される。交通参加者は、車両、自転車に乗る人や歩行者であってもよい。【選択図】図７

Description

本開示の実施形態は、一般的に、自律走行車を動作させることに関する。より具体的には、本開示の実施形態は、自律走行車を動作させるための交通予測に関する。
自律走行モード（例えば、運転者なしに）で動作している車両において、搭乗者、特に運転者は、運転に関連する担当事項の一部を軽減することができる。自律走行モードで動作する際、車両はオンボードセンサを用いて様々な位置へナビゲートすることができ、その結果、最小限の人間とのインタラクションで、又は、一部の場合、乗客なしに車両の移動が可能となる。
交通予測は、完全に自律的な運転ソリューションを実現するために重要な要素である。これは、人間の脳の役割をして、周囲の交通参加者が近い将来にどこに向かうのか予測して、自律走行車自体が安全的かつ正しい動作を取るようにする。交通予測は、交通参加者の近い将来の行動を予測するために、高精度地図（高解像度の地図とも呼ばれる）を非常に依存する。しかし、高精度地図を作成するには多くのコストと時間がかかる。これはたくさんの人為的なラベリング（ｌａｂｅｌｉｎｇ）作業を必要とし、多くのコストと時間がかかる。これは、多くの場合、人間のミスやエラーによって自律走行車に危険を与える可能性がある。
本開示の実施形態は、自律走行車を作動させるためのコンピュータ実施方法、非一時的機械可読媒体およびデータ処理システムを提供する。
本発明の一実施形態では、自律走行車を動作させるためのコンピュータ実施方法において、自律走行車（ＡＤＶ）の周辺の走行環境を感知する感知データに応答して、前記走行環境と関連する位置をカバーする地図の地図画像を取得するステップと、前記地図画像から１つまたは複数の対象を認識するために、前記地図画像の画像認識を行うステップと、前記認識された対象から１つまたは複数の特徴を抽出するステップであって、前記１つまたは複数の特徴は、前記走行環境の交通状態を示す、ステップと、前記抽出された特徴に基づいて、前記感知データから感知された１つまたは複数の交通参加者の行動を予測するステップと、前記１つまたは複数の交通参加者の前記予測された行動に基づいて、前記ＡＤＶを制御して前記走行環境でナビゲートするための軌跡を計画するステップを含む。
本開示の他の実施形態では、コマンドを格納し、前記コマンドがプロセッサによって実行されるとき、前記プロセッサにとって動作を実行するようにする、非一時的機械可読媒体であって、前記動作は、自律走行車（ＡＤＶ）の周辺の走行環境を感知する感知データに応答して、前記走行環境と関連する位置をカバーする地図の地図画像を取得することと、前記地図画像から１つまたは複数の対象を認識するために、前記地図画像の画像認識を行うことと、前記認識された対象から１つまたは複数の特徴を抽出することであって、前記１つまたは複数の特徴は、前記走行環境の交通状態を示す、ことと、前記抽出された特徴に基づいて、前記感知データから感知された１つまたは複数の交通参加者の行動を予測することと、前記１つまたは複数の交通参加者の前記予測された行動に基づいて、前記ＡＤＶを制御して前記走行環境でナビゲートするための軌跡を計画することを含む。
本開示の別の実施形態では、プロセッサと、前記プロセッサに接続されてコマンドを格納するメモリとを含み、前記コマンドが前記プロセッサによって実行されるとき、前記プロセッサにとって動作を実行するようにする、データ処理システムにおいて、前記動作は、自律走行車（ＡＤＶ）の周辺の走行環境を感知する感知データに応答して、前記走行環境と関連する位置をカバーする地図の地図画像を取得することと、前記地図画像から１つまたは複数の対象を認識するために、前記地図画像の画像認識を行うことと、前記認識された対象から１つまたは複数の特徴を抽出することであって、前記１つまたは複数の特徴は、前記走行環境の交通状態を示す、ことと、前記抽出された特徴に基づいて、前記感知データから感知された１つまたは複数の交通参加者の行動を予測することと、前記１つまたは複数の交通参加者の前記予測された行動に基づいて、前記ＡＤＶを制御して前記走行環境でナビゲートするための軌跡を計画することを含む。
本開示の実施形態は、同様の参照番号で同様の要素を示す添付の図面において、例示として説明され、これに限定されない。
一実施形態に係るネットワークシステムを示すブロック図である。
一実施形態に係る自律走行車の一例を示すブロック図である。
一実施形態に係る自律走行車とともに使用される感知及び計画システムの一例を示すブロック図である。
一実施形態に係る自律走行車を動作させるプロセスフローを示す処理図である。
一実施形態に係る認識された走行環境の一例を示すブロック図である。
他の実施形態に係る認識された走行環境の一例を示すブロック図である。
一実施形態に係る自律走行車を動作させるプロセスを示すフローチャートである。
一実施形態に係るデータ処理システムを示すブロック図である。
以下、検討した詳細を参照して本発明の様々な実施形態及び態様を説明し、添付の図面は、前記様々な実施形態を示す。以下の説明及び図面は、本発明の例示であり、本発明を限定するものとして解釈されるべきではない。本発明の様々な実施形態の完全な理解を提供するために、多くの詳細が記載されている。しかしながら、場合によって、本発明の実施形態の説明の簡潔さから、周知又は従来の詳細は記載されていない。
本明細書において、「一実施形態」又は「実施形態」とは、当該実施形態に説明した特定の特徴、構造、又は特性を本発明の少なくとも１つの実施形態に含めることができることを意味する。本明細書を通じて使用される「一実施形態では」という語句は、必ずしもすべて同じ実施形態を指すとは限らない。
画像処理技術は、ますます高度化される。この多くの技術は、顔認識、対象感知などの商業商品の生産に成功的に適用されている。本開示の一実施形態によると、交通予測のための新しいアプローチは、地図画像から、例えば、道路、駐車場、クロスロード、ラウンドアバウト等の重要な特徴を識別するために、高度なビジョンの技術を持つ画像として一般的なナビゲーション地図（ｒｅｇｕｌａｒ ｎａｖｉｇａｔｉｏｎ ｍａｐ）を使用することである。このような特徴は、自律走行車（ＡＤＶ）に適用されて、道路上で交通参加者の行動を予測する。
一実施形態によると、ＡＤＶを囲む運転環境を感知する感知データに応答して、走行環境と関連付けられた位置をカバーする地図（例えば、一般的な地図または一般的な解像度の地図）の地図画像が取得される。地図画像に対し画像認識が行われて、地図画像から１つ以上の対象が認識される。対象は、特定の道路、建物の構造（例えば、駐車場）、クロスロードまたはラウンドアバウトなどを示すことができる。認識された対象から１つまたは複数の特徴が抽出され、特徴は、走行環境の交通状態を示したり、記述したりすることができる。感知データから感知された１つまたは複数の交通参加者の行動は、抽出された特徴に基づいて予測される。ＡＤＶを制御して走行環境でナビゲートするための軌道は、交通参加者の予測された行動をもとに計画される。交通参加者は、車両、自転車に乗る人や歩行者であってもよい。
図１は本発明に係る一実施形態に係る自律走行車のネットワーク配置を示すブロック図である。図１を参照して、ネットワーク配置１００は、ネットワーク１０２によって１つ以上のサーバ１０３〜１０４に通信可能に接続することができる自律走行車１０１を含む。１つの自律走行車を示すが、ネットワーク１０２によって、複数の自律走行車は互いに接続され、及び／又はサーバ１０３〜１０４に接続されることができる。ネットワーク１０２は、任意のタイプのネットワーク、例えば有線又は無線のローカルエリアネットワーク（ＬＡＮ）、例えばインターネットのようなの広域ネットワーク（ＷＡＮ）、セルラーネットワーク、衛星ネットワーク又はその組み合わせであってもよい。サーバ１０３〜１０４は、任意のタイプのサーバ又はサーバクラスタ、例えばＷｅｂサーバ又はクラウドサーバ、アプリケーションサーバ、バックエンドサーバ又はその組み合わせであってもよい。サーバ１０３〜１０４は、データ分析サーバ、内容サーバ、交通情報サーバ、地図（マップ）及び興味のあるポイント（ＭＰＯＩ）サーバ又は位置サーバ等であってもよい。
自律走行車とは、運転者からの入力が非常に少ない又はない場合に案内する自律走行モードに設置される車両である。自律走行車は、車両が走行している環境にかかる情報を検出するように配置される１つまたは複数のセンサを含むセンサシステムを備える。車両及びその関連しているコントローラが、検出された情報で環境を案内する。自律走行車１０１が手動モード、完全自律走行モードまたは部分自律走行モードで運転されることができる。
一実施形態において、自律走行車１０１は、感知及び計画システム１１０と、車両制御システム１１１と、無線通信システム１１２と、ユーザインターフェースシステム１１３と、インフォテイメントシステム１１４と、センサシステム１１５とを含むが、これらに限定されない。自律走行車１０１は、通常の車両に含まれるある一般的な構成要素（部材）、例えばエンジン、車輪、ハンドル、変速器等をさらに含んでもよく、前記構成要素は、車両制御システム１１１及び／又は感知及び計画システム１１０により多種の通信信号及び／又はコマンド（例えば、加速信号又はコマンド、減速信号又はコマンド、ステアリング信号又はコマンド、ブレーキ信号又はコマンド等）を使用して制御されることができる。
構成要素１１０〜１１５は、インターコネクト、バス、ネットワーク又はそれらの組み合わせを介して互いに通信可能に接続することができる。例えば、構成要素１１０〜１１５は、コントローラローカルエリアネットワーク（ＣＡＮ）バスを介して互いに通信可能に接続することができる。ＣＡＮバスは、マイクロコントローラ及び装置がホストコンピューターのない応用において互いに通信することを許可するような車両バス標準として設計される。それは、最初に自動車内における複数の電線のために設計されたメッセージに基づくプロトコルであるが、他のたくさんの環境（状況）にも用いられる。
図２を参照すると、一実施形態において、センサシステム１１５は、１つ以上のカメラ２１１と、全地球測位システム（ＧＰＳ）ユニット２１２と、慣性計測ユニット（ＩＭＵ）２１３と、レーダーユニット２１４と、光検出及び測距（ＬＩＤＡＲ）ユニット２１５とを含むが、これらに限定されない。ＧＰＳシステム２１２は、送受信機を含んでもよく、前記送受信機は、自律走行車の位置に関する情報を提供するように操作されることができる。ＩＭＵユニット２１３は、慣性加速度に基づいて自律走行車の位置及び方向変化を感知することができる。レーダーユニット２１４は、無線信号を利用して自律走行車のローカル環境内の対象を感知するシステムを示すことができる。いくつかの実施形態において、対象を感知する以外、レーダーユニット２１４は、さらに対象の速度及び／又は走行方向を感知することができる。ＬＩＤＡＲユニット２１５は、レーザを使用して自律走行車の位置する環境における対象を感知することができる。その他のシステム構成要素以外、ＬＩＤＡＲユニット２１５は、１つ以上のレーザ光源、レーザースキャナ及び１つ以上の検出器をさらに含んでもよい。カメラ２１１は、自律走行車の周辺環境の画像をキャプチャするための１つ以上の装置を含んでもよい。カメラ２１１は、スチルカメラ及び／又はビデオカメラであってもよい。カメラは、例えば回転及び／又は傾斜のプラットフォームに取り付けられる、機械的に移動可能なものであってもよい。
センサシステム１１５は、その他のセンサ、例えばソナーセンサ、赤外線センサ、ステアリングセンサ、スロットルセンサ、ブレーキセンサ、及びオーディオセンサ（例えばマイクロフォン）をさらに含んでもよい。オーディオセンサは、自律走行車周辺の環境から音をキャプチャするように配置されてもよい。ステアリングセンサは、ハンドル、車両の車輪又はその組み合わせのステアリング角を感知するように配置されることができる。スロットルセンサ及びブレーキセンサは、それぞれ車両のスロットル位置及びブレーキ位置を感知する。いくつかの場合、スロットルセンサ及びブレーキセンサは、集積型スロットル／ブレーキセンサに一体化されてもよい。
一実施形態において、車両制御システム１１１は、ステアリングユニット２０１と、スロットルユニット２０２（加速ユニットとも呼ばれる）と、ブレーキユニット２０３とを含むが、これらに限定されない。ステアリングユニット２０１は、車両の方向又は走行方向を調整することに用いられる。スロットルユニット２０２は、モーター又はエンジンの速度を制御して、さらに車両の速度及び加速度を制御することに用いられる。ブレーキユニット２０３は、摩擦を提供することによって車両の車輪又はタイヤをスローダウンして車両を減速させることに用いられる。注意すべきなのは、図２に示すような構成要素はハードウェア、ソフトウェア又はその組み合わせで実現されることができる。
図１を再び参照すると、無線通信システム１１２は、自律走行車１０１と、例えば装置、センサ、その他の車両等の外部システムとの間の通信を可能にする。例えば、無線通信システム１１２は、１つ以上の装置に直接に又は通信ネットワークを介して無線通信し、例えばネットワーク１０２によってサーバ１０３〜１０４に通信できる。無線通信システム１１２は、任意のセルラー通信ネットワーク又は無線ローカルエリアネットワーク（ＷＬＡＮ）（例えばＷｉＦｉ）を使用して他の構成要素やシステムに通信できる。無線通信システム１１２は、例えば赤外線リンク、ブルートゥース（登録商標）等を使用して装置（例えば、乗客の移動装置、車両１０１内のディスプレイデバイス、スピーカー）に直接に通信できる。ユーザインターフェースシステム１１３は、車両１０１内で実行される周辺装置の一部であってもよく、例えばキーワード、タッチスクリーンディスプレイ装置、マイクロフォン、及びスピーカー等を含む。
自律走行車１０１の一部又は全ての機能は、特に自律走行モードで動作する場合、感知及び計画システム１１０により制御されたり管理されたりすることができる。感知及び計画システム１１０は、必要なハードウェア（例えば、プロセッサ、メモリ、記憶装置）、及びソフトウェア（例えば、オペレーティングシステム、計画及びルーティングプログラム）を含み、センサシステム１１５、車両制御システム１１１、無線通信システム１１２、及び／又はユーザインターフェースシステム１１３から情報を受信し、受信された情報を処理し、出発地から目的地までのルートや経路を計画し、そして計画及び制御情報に基づいて車両１０１を走行させる。あるいは、感知及び計画システム１１０と車両制御システム１１１とは一体化されてもよい。
例えば、乗客であるユーザは、例えばユーザインターフェースによって行程の出発位置及び目的位置を指定することができる。感知及び計画システム１１０は、行程関連データを取得する。例えば、感知及び計画システム１１０は、ＭＰＯＩサーバから位置及び経路情報を取得することができ、前記ＭＰＯＩサーバは、サーバ１０３〜１０４の一部であってもよい。位置サーバは、位置サービスを提供し、かつＭＰＯＩサーバは、マップサービス及びある位置のＰＯＩを提供する。あるいは、このような位置及びＭＰＯＩ情報は、感知及び計画システム１１０の永続記憶装置にローカルでキャッシュされることができる。
自律走行車１０１が経路に沿って走行する期間に、感知及び計画システム１１０は、さらに交通情報システムやサーバ（ＴＩＳ）からリアルタイム交通情報を取得できる。注意すべきなのは、サーバ１０３〜１０４は、第三者のエンティティにより動作されることができる。あるいは、サーバ１０３〜１０４の機能は、感知及び計画システム１１０と一体化されてもよい。リアルタイム交通情報、ＭＰＯＩ情報、位置情報、及びセンサシステム１１５が検出又は感知したリアルタイムなローカル環境データ（例えば、障害物、対象、付近車両）に基づいて、感知及び計画システム１１０は、指定された目的地に安全で効果的に到達するように、最適な経路を計画し、かつ計画した経路により、例えば車両制御システム１１１を介して車両１０１を走行させることができる。
サーバ１０３は、様々のクライアントにデータ分析サービスを提供するデータ分析システムであっても良い。一つの実施形態において、データ分析システム１０３は、データ収集部１２１と、機器学習エンジン１２２とを含む。データ収集部１２１は、様々の車両（自律走行車又は人間運転者による一般車両）からの運転統計情報１２３を収集する。運転統計情報１２３は、異なる時点で発行された運転コマンド（例えば、スロットル、ブレーキ及びステアリングコマンド）及び車両のセンサにより取得された車両のレスポンス（例えば、速度、加速度、減速度、方向）を含む。運転統計情報１２３は、異なる時点での運転環境情報、例えば、経路（出発地及び目的地の位置）、ＭＰＯＩ、道路状態、天気状態等を更に含む。
運転統計情報１２３に基づいて、機器学習エンジン１２２は、様々な目的のために、規則、アルゴリズム、および／または予測モデル１２４のセットを生成または訓練する。一実施形態では、規則／アルゴリズム／モデル１２４は、地図画像に含まれている対象を認識し対象から特徴を抽出するための規則、アルゴリズム、および／またはモデルを含む。たとえば、規則／アルゴリズム／モデル１２４は、例えば、地図画像に含まれている対象の形および／または色相に基づいて、地図画像から特定の対象を認識する方法を特定するデータを含むことができる。特定の種類の対象に対し、規則／アルゴリズムの／モデル１２４は、例えば、停止標識、譲歩標識、車道の構成（例えば、左折専用車道、右折専用車道、直線専用車道）、出／入口などの対象と関連付けられる特定の特徴をさらに特定したり、暗示したりすることができる。規則／アルゴリズム／モデル１２４は、リアルタイムでＡＤＶを制御するために、軌道を計画するのに適用されるように、ＡＤＶにアップロードすることができる。
図３は、一実施形態に係る自律走行車とともに使用される感知及び計画システムの一例を示すブロック図である。システム３００は、図１の自律走行車１０１の一部として実現することができ、感知及び計画システム１１０、制御システム１１１とセンサシステム１１５を含むが、これに限定されない。図３を参照すると、感知及び計画システム１１０は、位置決め（ｌｏｃａｌｉｚａｔｉｏｎ）モジュール３０１、感知モジュール３０２、予測モジュール３０３、決定モジュール３０４、計画モジュール３０５、制御モジュール３０６、地図画像アナライザ３０７と地図の特徴抽出器３０８を含むが、これに限定されない。
モジュール３０１〜３０８の一部または全部は、ソフトウェア、ハードウェア、またはそれらの組み合わせによって実現されてもよい。例えば、これらのモジュールは、永続記憶装置３５２にインストールされ、メモリ３５１にロードされて１つまたは複数のプロセッサ（図示せず）によって実行されてもよい。注意すべきなのは、一部またはすべてのモジュールは、図２に示す車両制御システム１１１における一部またはすべてのモジュールに通信可能に接続されたり、統合されたりしてもよい。また、モジュール３０１〜３０８の一部は、１つの集積モジュールとして一体化されてもよい。
位置決めモジュール３０１は、（例えば、ＧＰＳユニット２１２を利用して）自律走行車３００の現在位置を決定し、ユーザの行程や経路に関連する任意のデータを管理する。位置決めモジュール３０１（地図及び経路モジュールとも呼ばれる）は、ユーザの行程や経路に関連する任意のデータを管理する。ユーザは、例えば、ユーザインターフェースを介してログインして行程の出発位置と目的地を指定することができる。位置決めモジュール３０１は、地図及び経路情報３１１のような自律走行車３００の他の構成要素と通信して行程関連データを取得する。たとえば、位置決めモジュール３０１は、位置サーバ、および地図とＰＯＩ（ＭＰＯＩ）サーバから位置と経路情報を取得することができる。位置サーバは、位置サービスを提供し、ＭＰＯＩサーバは、地図サービスと、地図及び経路情報３１１との一部としてキャッシュすることができる特定位置のＰＯＩとを提供する。自律走行車３００が経路に沿って移動する間に、位置決め（ｌｏｃａｌｉｚａｔｉｏｎ）モジュール３０１は、交通情報システム、またはサーバからリアルタイムの交通情報も取得することができる。
センサシステム１１５により提供されたセンサデータ、及び位置決めモジュール３０１により得られた位置決め情報に基づいて、感知モジュール３０２は周辺環境に対する感知（ｐｅｒｃｅｐｔｉｏｎ）を決定する。感知情報は、普通の運転者が運転している車両周辺から感知したものを示すことができる。感知情報は、例えば対象の形式で現される車線配置（例えば、直線又はカーブ）、トラフィック信号、他の車両の相対位置、歩行者、建物、横断歩道又はその他の交通関連標識（例えば、停止標識、譲歩標識）などを含んでもよい。
感知モジュール３０２は、自律走行車の環境で対象および／または特徴を識別するように、１つ以上のカメラによってキャプチャされた画像を処理及び分析するためのコンピュータビジョンシステム、またはコンピュータビジョンシステムの機能を含んでもよい。対象は、交通信号、道路境界、他の車両、歩行者、および／または障害物などを含むことができる。コンピュータビジョンシステムは、対象認識アルゴリズム、ビデオ追跡、および他のコンピュータビジョン技術を使用することができる。一部の実施形態では、コンピュータビジョンシステムは、環境をマッピングし、対象を追跡し、対象の速度推定などを行うことができる。感知モジュール３０２は、レーダーおよび／またはＬＩＤＡＲのような他のセンサによって提供される他のセンサのデータに基づいて対象を検出することもできる。
それぞれの対象について、予測モジュール３０３は、当該状況下で対象がどのような行動をするのかを予測する。予測は、地図及び経路情報３１１と、交通規則３１２とのセットを考慮して、その時点での走行環境を感知する感知データに基づき実行される。例えば、対象が逆方向の車両であり、現在の走行環境がクロスロードを含む場合、予測モジュール３０３は、車両が直進するか、または転回するかを予測する。感知データが、クロスロードに信号灯がないことを示す場合に、予測モジュール３０３は、車両がクロスロードに進入する前に、完全に停止すべき可能性があると予測することができる。感知データが、車両が現在左折専用車道または右折専用車道にあることを示す場合に、予測モジュール３０３は、車両がそれぞれ左折または右折する可能性がより高いと予測することができる。
それぞれの対象については、決定モジュール３０４は、対象をどのように処理するかを決定する。例えば、特定の対象（例えば、クロスロードにある他の車）だけでなく、対象を記述するメタデータ（例えば、速度、方向、転回角度）に対して、決定モジュール３０４は、対象をどの方式で対処するかを決定する（例えば、追い越し、譲歩、停止、通過）。決定モジュール３０４は、永続記憶装置３５２に記憶できる交通規則や走行規則３１２のような規則のセットに基づいて、これらの決定を下すことができる。
感知された各対象に対する決定に基づいて、計画モジュール３０５は、自律走行車に対するルートまたは経路だけでなく、走行パラメータ（例えば、距離、速度、および／または転回角度）を計画する。つまり、与えられた対象について、決定モジュール３０４は、対象の処理を決定し、計画モジュール３０５は、それをどのように実行するかを決定する。例えば、与えられた対象について、決定モジュール３０４は、対象を通過することに決定し、これに対し、計画モジュール３０５は、対象の左側または右側から通過するかを決定することができる。計画及び制御データは、計画モジュール３０５によって生成され、車両３００が次の移動のサイクル（例えば、次のルート／経路セグメント）でどのように動くのかを記述する情報を含む。たとえば、計画および制御データは、車両３００が時速３０マイル（ｍｐｈ）の速度で１０ ｍ移動し、２５ ｍｐｈの速度で右側車線に変更するよう指示することができる。
計画及び制御データに基づいて、制御モジュール３０６は、計画及び制御データによって定義された経路またはルートに沿って、車両制御システム１１１に適切なコマンドまたは信号を送信することにより、自律走行車を制御し走行させる。計画及び制御データには、ルートまたは経路上の異なる時点において、適切な車両設定または走行パラメータ（例えば、スロットル、ブレーキ、およびステアリングコマンド）を使用して、経路またはルートの第１の地点から第２の地点まで車両を走行させることができる十分な情報が含まれている。
一実施形態では、計画段階は、複数の計画サイクルまたはコマンドサイクル（例えば、１００ミリ秒（ＭＳ）の時間間隔）ごとに実行される。計画サイクルまたはコマンドサイクルごとに、１つまたは複数の制御コマンドが計画及び制御データに基づいて発行される。つまり、各１００ＭＳ毎に、計画モジュール３０５は、次の経路セグメントまたはルートセグメントを計画し、次の経路セグメントまたはルートセグメントは、例えば目標位置とＡＤＶが目標位置に到達するのに必要な時間とを含むことができる。あるいは、計画モジュール３０５は、特定の速度、方向、および／またはステアリング角等を追加的に特定することができる。一実施形態では、計画モジュール３０５は、例えば、５秒のような所定の次の経路セグメントまたはルートセグメントを計画する。各計画サイクルについて、計画モジュール３０５は、直前のサイクルで計画された目標位置に基づき、現在のサイクル（例えば、次の５秒）の目標位置を計画する。その後、制御モジュール３０６は、現在のサイクルの計画及び制御データに基づいて、１つ以上の制御コマンド（例えば、スロットル、ブレーキ、ステアリング制御コマンド）を発生する。
注意すべきなのは、決定モジュール３０４と計画モジュール３０５は、１つの集積モジュールとして一体化されてもよい。決定モジュール３０４／計画モジュール３０５は、自律走行車の走行経路を決定するためのナビゲーションシステムまたはナビゲーションシステムの機能を含むことができる。例えば、ナビゲーションシステムは、一連の速度と進行方向（ｄｉｒｅｃｔｉｏｎａｌ ｈｅａｄｉｎｇ）を決定して、感知された障害物を実質的に避ける経路に沿って自律走行車の移動を行いながら、大体的に最終的な目的地に至る道によるルートに沿って、自律走行車を走行させることができる。目的地は、ユーザインターフェースシステム１１３を介するユーザ入力に応じて設定されることができる。ナビゲーションシステムは、自律走行車が動作されている間に、走行経路を動的に更新することができる。ナビゲーションシステムは、自律走行車の走行経路を決定するために、ＧＰＳシステムおよび１つまたは複数の地図からのデータを統合することができる。
決定モジュール３０４／計画モジュール３０５は、自律走行車の環境における潜在的な障害物を識別、評価、回避したり、その他の方式で迂回するための衝突回避システムまたは衝突回避システムの機能をさらに含むことができる。例えば、衝突回避システムは、方向転換操作、転回操作、ブレーキ操作などを行うために、制御システム１１１の１つまたは複数のサブシステムを操作して、自律走行車のナビゲーションの変化を実行することができる。衝突回避システムは、周辺の交通パターン、道路状況等に基づいて、実現可能な障害物回避操作を自動的に決定することができる。衝突回避システムは、自律走行車が方向転換して進入する隣接領域で、他のセンサシステムにより車両、建物の障害物などが検出されたときに、方向転換操作を行わないように構成することができる。衝突回避システムは、使用可能であり、自律走行車の乗員の安全を最大限にする操作を自動的に選択することができる。衝突回避システムは、自律走行車の乗客室において最低限の加速を引き起こすと予想される回避操作を選択することができる。
一実施形態によれば、図３及び図４を参照すると、感知モジュール３０２によって感知された対象に応答して、予測モジュール３０３は、地図画像アナライザ３０７を呼び出して、現在の走行環境と関連する位置に対する所定距離をカバーする地図画像を分析する。地図画像アナライザ３０７は、地図画像に含まれる１つまたは複数の対象を認識するために地図画像の画像認識を行うものである。認識された対象は、地図の分析規則３１３を使用し、対象の形および／または色相に基づいて、１つまたは複数の道路、クロスロード、ラウンドアバウトや建物の構造（例えば、駐車場）として認識されることができる。認識された対象に基づいて、地図の特徴抽出器３０８は、地図特徴抽出規則３１４を用いて、認識された対象から１つまたは複数の特徴を抽出したり生成したりする。特徴は、対象を記述する情報を含まれることができる。特徴は、認識された対象に基づいて生成された追加の特徴をさらに含むことができる。追加的な特徴は、一般的な高解像度地図からは取得可能であるが、一般的な地図からは取得できない特徴を含み、ここで、追加的な特徴は、特徴抽出規則３１４を考慮し対象に基づいて示されることができる。
高精度地図は、当該車両が走行可能な位置に関する車道レベル情報を提供する。例えば、地図上の現在位置が与えられているときは、単に直進したり右折したりする可能性がある。交通法などにより、Ｕターンしたり左折したりすることができない。一般的な地図には、このような情報がないだろう。むしろ、一般的な地図には、通常、道路の衛星画像などの画像が含まれる。しかし、地図画像には、道路、クロスロード、建物の構造、ラウンドアバウトなどの対象の画像が含まれることができる。対象の形および／または色相に基づいて、画像認識によりそのような対象を識別することができる。
一実施形態によると、対象の標識は、地図から走行可能な道路を識別する道路の標識を含むことができる。これは、障害物が車道で移動する場合に、これを案内するのに有利である。対象の標識は、道路上の駐車場や駐車領域のような特定の建物の構造をさらに含むことができる。これは、障害物が駐車場に移動するかを予測するのに有利である。対象の標識は、交通参加者（ｔｒａｆｆｉｃ ｐａｒｔｉｃｉｐａｎｔ）がクロスロードで異なる行動パターンを持つことができるクロスロードをさらに含んでもよい。対象の標識には、ラウンドアバウトが含まれており、ここでラウンドアバウトとその出口を識別する交通参加者の軌道を計画するのに有利であることができる。
一実施形態によると、抽出された特徴は、道路の曲率、クロスロードまたは交差点、及びラウンドアバウトを含めることができるが、これに限定されるものではない。道路の曲率の特徴は、特にクロスロードで道路がどのようにワインディング（ｗｉｎｄｉｎｇ）するかを示す情報が含まれ、交通参加者が転回するかどうかを予測するのに役立つ。クロスロードや交差点に関する特徴は、図５に示すように、クロスロードがどのほど多くの交差点（ｃｒｏｓｓ ｒｏａｄ）を有するかと、これらがどのように接続されるかを示す情報とを含む。ラウンドアバウトの特徴は、図６に示すように、ラウンドアバウトに出口がいくつかあるかと、これらがどのように分布されるかを示す情報とが含まれる。
なお、図５を参照すると、この形態において、地図の画像は、感知データとの組み合わせによりクロスロード５００を示す。この形態において、地図画像の画像認識に基づいて、クロスロード５００が画像アナライザ３０７によって認識される。クロスロード５００の特徴は、特徴抽出器３０８によって抽出される。クロスロード５００の特徴は、各車道の各方向の車道の数、車道の曲率、横断歩道の位置などを含むことができる。また、クロスロードの特性に応じて推測したり、予測したりすることができる信号灯、停止標識、および／または譲歩標識の位置が特徴にさらに含まれることができる。抽出された特徴は、特徴を記述するメタデータに変換されることができ、これは対応する高解像度の地図によって提供されるデータと類似するものである。しかし、画像認識や特徴抽出技術を使用して、高解像度の地図を使用することなく、一般的な地図（ｒｅｇｕｌａｒ ｍａｐ）を適用することができる。
予測モジュール３０３は、車両５０２−５０３を感知する感知データに組み合わせて、クロスロード５００の特徴に基づき、車両５０２−５０３が現在どの車道で走行しているかを含む車両５０２−５０３の現在位置を決定することができる。予測モジュール３０３は、車両５０２−５０３の次の動きや行動を予測したり、決定したりすることができる。この形態において、車両５０２は、左側車線を走行し、かつ、信号灯に従って、車両５０２は、クロスロードを渡って直進したり左折したりすることができる。この形態において、車両５０３は、右側の車線を走行し、かつ、信号灯に従って、車両５０３は、クロスロードを渡って直進したり右折したりすることができる。感知データによって推定できる車両５０２−５０３の速度に基づいて、予測モジュール３０３は、高速で車両が一般的に直線に従って移動し、それが転回することは不合理または不安全であると予測することができる。一方、車両が比較的低い速度で移動している場合には、車両が転回する可能性がある。
あるいは、画像解析を考慮し、感知データに基づいて、クロスロード５００は、４方向停止クロスロードであると決定できる。４方向停止クロスロードとは、信号灯がないクロスロードを示す。具体的に、クロスロードへの各車道には、停止標示がある。この構成では、予測モジュール３０３は、各車両５０１−５０３がクロスロードに進入する前に、完全に停止しなければならないと予測することができる。車両５０２−５０３の行動の予測は、決定モジュール３０４によって使用されて、次の瞬間にＡＤＶ５０１がどのように動くべきかを決定することができる。
なお、図６を参照すると、地図画像に基づいて、ラウンドアバウトが認識され、複数の出口が特徴の一部として決定される。また、交通法に従い、ラウンドアバウトの入口に停止標識があることができる。この形態において、特徴抽出器３０８は、内部車道（例えば、高速車道）と外部車道（例えば、低速車道）を含むラウンドアバウト内に２つの車道があることを決定することができる。予測モジュール３０３は、画像アナライザ３０７と特徴抽出３０８によって提供された特徴に基づいて、車両６０２が外部車道で移動し、感知モジュール３０２によって感知された速度に従って、車両６０２が次の出口またはそれ以降の出口から進出するか、または進出しないかを決定する。予測モジュール３０３は、車両６０５が内側車道で移動しているので、車両６０５が次の出口から進出する可能性は低いと決定することができる。同様に、予測モジュール３０３は、特徴抽出器３０８によって提供された出入口に停止標識のある可能性があるので、車両６０３−６０４がラウンドアバウトに進入する前に、完全に停止しなければならない可能性があると予測することができる。これらの情報は、車両６０２−６０５のそれぞれがどのように行動するかを予測するために予測モジュール３０３によって使用され、これはＡＤＶ６０１が次のコマンドサイクルでどのように動くかを決定モジュール３０４が決定する方法に影響を与える。画像アナライザ３０７および／または特徴抽出器３０８は、予測モジュール３０３の一部として一体化されることができる。
図７は、一実施形態に係る自律走行車を動作させるプロセスを示すフローチャートである。プロセス７００は、ソフトウェア、ハードウェア、またはこれらの組み合わせを含む処理ロジックによって実行される。例えば、プロセス７００は、画像アナライザ３０７、特徴抽出器３０８および／または予測モジュール３０３によって実行される。図７を参照すると、動作７０１において、処理ロジックは、ＡＤＶを囲む走行環境を感知する感知データを受信する。動作７０２において、処理ロジックは、走行環境に関連する地図（例えば、一般的な解像度地図）の地図画像を取得する。動作７０３において、処理ロジックは、地図画像から１つまたは複数の対象（例えば、クロスロード、ラウンドアバウト、建物の構造）を識別するために、地図画像上に対して画像解析や画像認識を行う。動作７０４において、処理ロジックは、認識された対象から１つまたは複数の特徴を抽出し、特徴は、走行環境の可能な交通状態を示す。動作７０５において、処理ロジックは、抽出された特徴を考慮して感知データに基づき、１つまたは複数の交通参加者（例えば、車両、自転車に乗る人、歩行者）の行動を予測する。
注意すべきなのは、上記図示された構成要素の一部または全部は、ソフトウェア、ハードウェア、またはこれらの組み合わせにより実現されることができる。たとえば、これらの構成要素は、本明細書全体に記載されたプロセスまたはステップを実行するために、プロセッサ（図示せず）によってメモリにロードされて実行されることができる永続記憶装置にインストールされて記憶されるソフトウェアとして実現ことができる。あるいは、これらの構成要素は、集積回路（例えば、特定用途向け集積回路またはＡＳＩＣ）、デジタル信号プロセッサ（ＤＳＰ）またはフィールドプログラマブルゲートアレイ（Ｆｉｅｌｄ Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ、ＦＰＧＡ）のような専用のハードウェアにプログラムされたり内蔵された実行可能コードとして実現されることができ、これは、アプリケーションから対応するドライバおよび／またはオペレーティングシステムを介してアクセスすることができる。さらに、これらの構成要素は、１つ以上の特定のコマンドを使用してソフトウェアコンポーネントによってアクセス可能なコマンドセットの一部であり、プロセッサまたはプロセッサコアの特定のハードウェアロジックとして実現することができる。
図８は、本出願の一実施形態と組み合わせて使用されるデータ処理システムを例示的に示すブロック図である。例えば、システム１５００は、上記プロセス又は方法のいずれか（例えば、図１の感知及び計画システム１１０、及びサーバ１０３〜１０４のいずれか）を実行する上記任意のデータ処理システムを示してもよい。システム１５００は、複数の異なる構成要素を含んでもよい。これらの構成要素は、集積回路（ＩＣ）、集積回路の一部、分散型電子装置又は回路基板（例えば、コンピュータシステムのマザーボード又はアドインカード）に適用された他のモジュール、又は他の方式でコンピュータシステムのシャシーに組み込まれた構成要素として実現されることができる。
さらに、システム１５００は、コンピュータシステムの複数の構成要素の高レベルビューを示すことを目的とする。しかしながら、いくつかの実現形態では、付加的構成要素が存在する場合があることを理解すべきである。また、他の実現形態において示される構成要素が異なる配置を有してもよい。システム１５００は、デスクトップコンピュータ、ラップトップコンピュータ、タブレットコンピュータ、サーバ、携帯電話、メディアプレーヤー、パーソナルディジタルアシスタント（ＰＤＡ）、スマート腕時計、パーソナルコミュニケーター、ゲーム装置、ネットワークルータ又はハブ、無線アクセスポイント（ＡＰ）又はリピーター、セットトップボックス、又はそれらの組合せを示してもよい。また、単一の機器又はシステムのみを示したが、用語「機器」又は「システム」は、さらに、独立又は共同で１つ（又は複数）のコマンドセットを実行することにより本明細書に説明される任意の１種又は複数種の方法を実行する機器又はシステムの任意のセットを含むことを理解すべきである。
一実施形態において、システム１５００は、バス又は相互接続部材１５１０によって接続されたプロセッサ１５０１、メモリ１５０３及び装置１５０５〜１５０８を備える。プロセッサ１５０１は、単一のプロセッサコア又は複数のプロセッサコアを含む単一のプロセッサ又は複数のプロセッサを示してもよい。プロセッサ１５０１は、マイクロプロセッサ、中央処理装置（ＣＰＵ）等のような１つ又は複数の汎用プロセッサを示してもよい。より具体的には、プロセッサ１５０１は、複雑コマンドセット計算（ＣＩＳＣ）マイクロプロセッサ、縮小コマンドセットコンピュータ（ＲＩＳＣ）マイクロプロセッサ、超長コマンド語（ＶＬＩＷ）マイクロプロセッサ、又は他のコマンドセットを実現するプロセッサ、又はコマンドセットの組合せを実現するプロセッサであってもよい。プロセッサ１５０１は、さらに、専用集積回路（ＡＳＩＣ）、セルラ又はベースバンドプロセッサ、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）、デジタル信号プロセッサ（ＤＳＰ）、グラフィックプロセッサ、ネットワークプロセッサ、通信プロセッサ、暗号プロセッサ、コプロセッサ、組み込みプロセッサのような１つ又は複数の専用プロセッサ、あるいはコマンド処理可能な任意の他のタイプのロジックであってもよい。
プロセッサ１５０１（超低電圧プロセッサのような低電力マルチコアプロセッサソケットであってもよい）は、前記システムの各種の構成要素と通信するための主処理ユニット及び中央ハブとして用いられてもよい。このようなプロセッサは、システムオンチップ（ＳｏＣ）として実現されることができる。プロセッサ１５０１は、本明細書に説明される動作及びステップを実行するためのコマンドを実行するように構成される。また、システム１５００は、選択可能なグラフィックサブシステム１５０４と通信するグラフィックインターフェースをさらに含んでもよく、グラフィックサブシステム１５０４は、ディスプレイコントローラ、グラフィックプロセッサ及び／又はディスプレイデバイスをさらに備えてもよい。
プロセッサ１５０１は、メモリ１５０３と通信してもよく、メモリ１５０３は、一実施形態において複数のメモリによって所定量のシステムメモリを提供する。メモリ１５０３は、ランダムアクセスメモリ（ＲＡＭ）、ダイナミックＲＡＭ（ＤＲＡＭ）、シンクロナスＤＲＡＭ（ＳＤＲＡＭ）、スタティックＲＡＭ（ＳＲＡＭ）又は他のタイプのメモリのような１つ又は複数の揮発性記憶装置（又はメモリ）を備えてもよい。メモリ１５０３は、プロセッサ１５０１又は任意の他の装置により実行されるコマンド列を含む情報を記憶できる。例えば、複数種のオペレーティングシステム、装置ドライバー、ファームウェア（例えば、基本入出力システム又はＢＩＯＳ）及び／又はアプリケーションの実行可能なコード及び／又はデータは、メモリ１５０３にロードされて、プロセッサ１５０１により実行されてもよい。オペレーティングシステムは、ロボットオペレーティングシステム（ＲＯＳ）、Ｍｉｃｒｏｓｏｆｔ(R)会社からのＷｉｎｄｏｗｓ(R)オペレーティングシステム、アップル会社からのＭａｃＯＳ(R)／ｉＯＳ(R)、Ｇｏｏｇｌｅ(R)会社からのＡｎｄｒｏｉｄ(R)、Ｌｉｎｕｘ（登録商標）、Ｕｎｉｘ又は他のリアルタイム又は組み込みオペレーティングシステムのような任意のタイプのオペレーティングシステムであってもよい。
システム１５００は、ＩＯ装置、例えば装置１５０５〜１５０８をさらに備えてもよく、ネットワークインターフェースデバイス１５０５、選択可能な入力装置１５０６及び他の選択可能なＩＯ装置１５０７を備えてもよい。ネットワークインターフェースデバイス１５０５は、無線送受信機及び／又はネットワークインターフェースカード（ＮＩＣ）を備えてもよい。前記無線送受信機は、ＷｉＦｉ送受信機、赤外送受信機、ブ経路ゥース送受信機、ＷｉＭａｘ送受信機、無線セルラーホン送受信機、衛星送受信機（例えば、全地球測位システム（ＧＰＳ）送受信機）又は他の無線周波数（ＲＦ）送受信機又はそれらの組合せであってもよい。ＮＩＣは、イーサネット（登録商標）カードであってもよい。
入力装置１５０６は、マウス、タッチパッド、タッチスクリーン（それはディスプレイデバイス１５０４と集積されてもよい）、ポインタデバイス（例えばスタイラス）及び／又はキーボード（例えば、物理キーボード、又はタッチスクリーンの一部として表示された仮想キーボード）を備えてもよい。例えば、入力装置１５０６は、タッチスクリーンに接続されるタッチスクリーンコントローラを含んでもよい。タッチスクリーン及びタッチスクリーンコントローラは、例えば複数種のタッチ感度技術（容量式、抵抗式、赤外式及び表面音波の技術を含むが、それらに限定されない）のいずれか、及びタッチスクリーンの１つ又は複数の接触点を決定するための他の近接センサアレイ又は他の素子を用いて、そのタッチ点及び移動又は断続を検出することができる。
ＩＯ装置１５０７は、音声装置を備えてもよい。音声装置は、スピーカ及び／又はマイクロホンを含んでもよく、それにより音声認識、音声コピー、デジタル記録及び／又は電話機能のような音声サポートの機能を促進する。他のＩＯ装置１５０７は、汎用シリアルバス（ＵＳＢ）ポート、パラレルポート、シリアルポート、印刷機、ネットワークインターフェース、バスブリッジ（例えば、ＰＣＩ〜ＰＣＩブリッジ）、センサ（例えば、加速度計、ジャイロスコープ、磁力計、光センサ、コンパス、近接センサ等のような動きセンサ）又はそれらの組合せをさらに備えてもよい。装置１５０７は、結像処理サブシステム（例えば、カメラ）をさらに備えてもよく、前記結像処理サブシステムは、カメラ機能（例えば、写真及びビデオ断片の記録）を促進するための電荷カップリング装置（ＣＣＤ）又は相補型金属酸化物半導体（ＣＭＯＳ）光学センサのような光学センサを備えてもよい。あるセンサは、センサハブ（図示せず）によって相互接続部材１５１０に接続されてもよく、キーボード又は熱センサのような他の装置は、組み込みコントローラ（図示せず）により制御されてもよく、これはシステム１５００の特定配置又は設計により決められる。
データ、アプリケーション、１つ又は複数のオペレーティングシステム等のような情報の永続記憶を提供するために、大容量メモリ（図示せず）が、プロセッサ１５０１に接続されてもよい。様々な実施形態において、薄型化と軽量化のシステム設計を実現しかつシステムの応答能力を向上させるために、このような大容量メモリは、ソリッドステート装置（ＳＳＤ）によって実現されることができる。なお、他の実施形態において、大容量メモリは、主にハードディスクドライブ（ＨＤＤ）で実現されてもよく、少量のＳＳＤ記憶量は、ＳＳＤキャッシュとして、停電イベント期間にコンテキスト状態及び他のこのような情報の不揮発性記憶を実現し、それによりシステム動作が再開する時に通電を速く実現することができる。さらに、フラッシュデバイスは、例えばシリアルペリフェラルインターフェース（ＳＰＩ）によってプロセッサ１５０１に接続されてもよい。このようなフラッシュデバイスは、システムソフトウェアの不揮発性記憶に用いられてもよく、前記システムソフトウェアは、前記システムのＢＩＯＳ及び他のファームウェアを備える。
記憶装置１５０８は、任意の１種又は複数種の本明細書に記載の方法又は機能を実現する１つ又は複数のコマンドセット又はソフトウェア（例えば、モジュール、ユニット及び／又はロジック１５２８）が記憶されるコンピュータアクセス可能な記憶媒体１５０９（機械可読記憶媒体又はコンピュータ可読媒体とも呼ばれる）を備えてもよい。処理モジュール／ユニット／ロジック１５２８は、例えば、計画モジュール３０４及び／又は制御モジュール３０５のような上記構成要素のいずれかを示してもよい。処理モジュール／ユニット／ロジック１５２８は、さらにデータ処理システム１５００、メモリ１５０３及びプロセッサ１５０１により実行される期間に、メモリ１５０３内及び／又はプロセッサ１５０１内に完全又は少なくとも部分的に存在してもよく、ここで、メモリ１５０３及びプロセッサ１５０１も、機器アクセス可能な記憶媒体を構成する。処理モジュール／ユニット／ロジック１５２８は、さらにネットワークによってネットワークインターフェースデバイス１５０５を経由して送受信されてもよい。
コンピュータ可読記憶媒体１５０９は、以上に説明されたいくつかのソフトウェア機能の一部を永続的に記憶してもよい。コンピュータ可読記憶媒体１５０９は、例示的な実施形態において単一の媒体として示されたが、用語「コンピュータ可読記憶媒体」は、前記１つ又は複数のコマンドセットが記憶される単一の媒体又は複数の媒体（例えば、集中型又は分散型データベース、及び／又は関連するキャッシュ及びサーバ）を備えることを理解すべきである。用語「コンピュータ可読記憶媒体」は、さらにコマンドセットを記憶又はコーディング可能な任意の媒体を備えることを理解すべきであり、前記コマンドセットは、機器により実行されかつ前記機器に本発明の任意の１種又は複数種の方法を実行させる。従って、用語「コンピュータ可読記憶媒体」は、ソリッドステートメモリ及び光学媒体と磁気媒体又は任意の他の非一時的機械可読媒体を備えるが、それらに限定されないことを理解すべきである。
本明細書に記載の処理モジュール／ユニット／ロジック１５２８、構成要素及び他の特徴は、ディスクリートハードウェア構成要素として実現されてもよく、又はハードウェア構成要素（例えばＡＳＩＣＳ、ＦＰＧＡ、ＤＳＰ又は類似装置）の機能に統合されてもよい。さらに、処理モジュール／ユニット／ロジック１５２８は、ハードウェア装置内のファームウェア又は機能回路として実現されてもよい。また、処理モジュール／ユニット／ロジック１５２８は、ハードウェア装置及びソフトウェアコンポーネントの任意の組合せで実現されてもよい。
なお、システム１５００は、データ処理システムの各種の構成要素を有するように示されているが、構成要素の相互接続のいかなる特定のアーキテクチャー又は方式を示すものではないことに注意すべきであり、それは、このような詳細が本発明の実施形態に密接な関係がないためである。また、より少ない構成要素又はより多くの構成要素を有するネットワークコンピュータ、ハンドヘルドコンピュータ、携帯電話、サーバ及び／又は他のデータ処理システムは、本発明の実施形態と共に使用されてもよい。
上記詳細な説明の一部は、コンピュータメモリにおけるデータビットに対する演算のアルゴリズム及び記号表現で示される。これらのアルゴリズムの説明及び表現は、データ処理分野における当業者によって使用され、それらの作業実質を所属分野の他の当業者に最も効果的に伝達する方法である。ここで、アルゴリズムは、通常、所望の結果につながる首尾一貫した動作列（ｓｅｑｕｅｎｃｅ ｏｆ ｏｐｅｒａｔｉｏｎｓ）と考えられる。これらの動作とは、物理量に対して物理的動作を行う必要となるステップを指す。
ただし、これらの全ての及び類似の用語は、いずれも適切な物理量に関連付けられ、かつただこれらの量に適用される適切なラベルであることに注意すべきである。特に断らない限り、本出願の全体にわたって用語（例えば、添付している特許請求の範囲に説明された用語）による説明とは、コンピュータシステム又は類似の電子計算装置の動作及び処理であり、前記コンピュータシステム又は電子計算装置は、コンピュータシステムのレジスタ及びメモリに物理（例えば、電子）量としてデータを示し、かつ前記データをコンピュータシステムメモリ又はレジスタ又は他のこのような情報記憶装置、伝送又はディスプレイデバイス内において類似に物理量として示される他のデータに変換する。
本発明の実施形態は、さらに本明細書における動作を実行するためのコンピュータプログラムに関する。このようなコンピュータプログラムは、非揮発性のンピュータ可読媒体に記憶される。機器可読媒体は、機器（例えば、コンピュータ）可読な形態で情報を記憶する任意の機構を備える。例えば、機器可読（例えば、コンピュータ可読）媒体は、機器（例えば、コンピュータ）可読記憶媒体（例えば、読み出し専用メモリ（「ＲＯＭ」）、ランダムアクセスメモリ（「ＲＡＭ」）、磁気ディスク記憶媒体、光記憶媒体、フラッシュメモリメモリ）を備える。
上記図面に示される手順又は方法は、ハードウェア（例えば、回路、専用ロジック等）、ソフトウェア（例えば、非揮発性のコンピュータ可読媒体に具現化される）、又は両方の組合せを含む処理ロジックにより実行されてもよい。前記手順又は方法は、本明細書において特定の順序に応じて説明されるが、説明された動作の一部は、異なる順序に応じて実行されてもよい。また、いくつかの動作は、順番ではなく並行に実行されてもよい。
本発明の実施形態は、いずれかの特定のプログラミング言語を参照して説明されていないが、複数種のプログラミング言語で本明細書に記載の本発明の実施形態の教示を実現できることを理解すべきである。
以上の明細書では、本発明の具体的な例示的な実施形態を参照してその実施形態を説明した。明らかなように、添付している特許請求の範囲に記載の本発明のより広い趣旨及び範囲を逸脱しない限り、様々な変形が可能である。従って、限定的なものではなく例示的なものとして本明細書及び図面を理解すべきである。
本開示の実施形態は、一般的に、自律走行車を動作させることに関する。より具体的には、本開示の実施形態は、自律走行車を動作させるための交通予測に関する。
自律走行モード（例えば、運転者なしに）で動作している車両において、搭乗者、特に運転者は、運転に関連する担当事項の一部を軽減することができる。自律走行モードで動作する際、車両はオンボードセンサを用いて様々な位置へナビゲートすることができ、その結果、最小限の人間とのインタラクションで、又は、一部の場合、乗客なしに車両の移動が可能となる。
交通予測は、完全に自律的な運転ソリューションを実現するために重要な要素である。これは、人間の脳の役割をして、周囲の交通参加者が近い将来にどこに向かうのか予測して、自律走行車自体が安全的かつ正しい動作を取るようにする。交通予測は、交通参加者の近い将来の行動を予測するために、高精度地図（高解像度の地図とも呼ばれる）を非常に依存する。しかし、高精度地図を作成するには多くのコストと時間がかかる。これはたくさんの人為的なラベリング（ｌａｂｅｌｉｎｇ）作業を必要とし、多くのコストと時間がかかる。これは、多くの場合、人間のミスやエラーによって自律走行車に危険を与える可能性がある。
本開示の実施形態は、自律走行車を作動させるためのコンピュータ実施方法、非一時的機械可読媒体およびデータ処理システムを提供する。
本発明の一実施形態では、自律走行車を動作させるためのコンピュータ実施方法において、自律走行車（ＡＤＶ）の周辺の走行環境を感知する感知データに応答して、前記走行環境と関連する位置をカバーする地図の地図画像を取得するステップと、前記地図画像から１つまたは複数の対象を認識するために、前記地図画像の画像認識を行うステップと、前記認識された対象から１つまたは複数の特徴を抽出するステップであって、前記１つまたは複数の特徴は、前記走行環境の交通状態を示す、ステップと、前記抽出された特徴に基づいて、前記感知データから感知された１つまたは複数の交通参加者の行動を予測するステップと、前記１つまたは複数の交通参加者の前記予測された行動に基づいて、前記ＡＤＶを制御して前記走行環境でナビゲートするための軌跡を計画するステップを含む。
本開示の他の実施形態では、コマンドを格納し、前記コマンドがプロセッサによって実行されるとき、前記プロセッサにとって動作を実行するようにする、非一時的機械可読媒体であって、前記動作は、自律走行車（ＡＤＶ）の周辺の走行環境を感知する感知データに応答して、前記走行環境と関連する位置をカバーする地図の地図画像を取得することと、前記地図画像から１つまたは複数の対象を認識するために、前記地図画像の画像認識を行うことと、前記認識された対象から１つまたは複数の特徴を抽出することであって、前記１つまたは複数の特徴は、前記走行環境の交通状態を示す、ことと、前記抽出された特徴に基づいて、前記感知データから感知された１つまたは複数の交通参加者の行動を予測することと、前記１つまたは複数の交通参加者の前記予測された行動に基づいて、前記ＡＤＶを制御して前記走行環境でナビゲートするための軌跡を計画することを含む。
本開示の別の実施形態では、プロセッサと、前記プロセッサに接続されてコマンドを格納するメモリとを含み、前記コマンドが前記プロセッサによって実行されるとき、前記プロセッサにとって動作を実行するようにする、データ処理システムにおいて、前記動作は、自律走行車（ＡＤＶ）の周辺の走行環境を感知する感知データに応答して、前記走行環境と関連する位置をカバーする地図の地図画像を取得することと、前記地図画像から１つまたは複数の対象を認識するために、前記地図画像の画像認識を行うことと、前記認識された対象から１つまたは複数の特徴を抽出することであって、前記１つまたは複数の特徴は、前記走行環境の交通状態を示す、ことと、前記抽出された特徴に基づいて、前記感知データから感知された１つまたは複数の交通参加者の行動を予測することと、前記１つまたは複数の交通参加者の前記予測された行動に基づいて、前記ＡＤＶを制御して前記走行環境でナビゲートするための軌跡を計画することを含む。
本開示の実施形態は、同様の参照番号で同様の要素を示す添付の図面において、例示として説明され、これに限定されない。
一実施形態に係るネットワークシステムを示すブロック図である。
一実施形態に係る自律走行車の一例を示すブロック図である。
一実施形態に係る自律走行車とともに使用される感知及び計画システムの一例を示すブロック図である。
一実施形態に係る自律走行車を動作させるプロセスフローを示す処理図である。
一実施形態に係る認識された走行環境の一例を示すブロック図である。
他の実施形態に係る認識された走行環境の一例を示すブロック図である。
一実施形態に係る自律走行車を動作させるプロセスを示すフローチャートである。
一実施形態に係るデータ処理システムを示すブロック図である。
以下、検討した詳細を参照して本発明の様々な実施形態及び態様を説明し、添付の図面は、前記様々な実施形態を示す。以下の説明及び図面は、本発明の例示であり、本発明を限定するものとして解釈されるべきではない。本発明の様々な実施形態の完全な理解を提供するために、多くの詳細が記載されている。しかしながら、場合によって、本発明の実施形態の説明の簡潔さから、周知又は従来の詳細は記載されていない。
本明細書において、「一実施形態」又は「実施形態」とは、当該実施形態に説明した特定の特徴、構造、又は特性を本発明の少なくとも１つの実施形態に含めることができることを意味する。本明細書を通じて使用される「一実施形態では」という語句は、必ずしもすべて同じ実施形態を指すとは限らない。
画像処理技術は、ますます高度化される。この多くの技術は、顔認識、対象感知などの商業商品の生産に成功的に適用されている。本開示の一実施形態によると、交通予測のための新しいアプローチは、地図画像から、例えば、道路、駐車場、クロスロード、ラウンドアバウト等の重要な特徴を識別するために、高度なビジョンの技術を持つ画像として一般的なナビゲーション地図（ｒｅｇｕｌａｒ ｎａｖｉｇａｔｉｏｎ ｍａｐ）を使用することである。このような特徴は、自律走行車（ＡＤＶ）に適用されて、道路上で交通参加者の行動を予測する。
一実施形態によると、ＡＤＶを囲む運転環境を感知する感知データに応答して、走行環境と関連付けられた位置をカバーする地図（例えば、一般的な地図または一般的な解像度の地図）の地図画像が取得される。地図画像に対し画像認識が行われて、地図画像から１つ以上の対象が認識される。対象は、特定の道路、建物の構造（例えば、駐車場）、クロスロードまたはラウンドアバウトなどを示すことができる。認識された対象から１つまたは複数の特徴が抽出され、特徴は、走行環境の交通状態を示したり、記述したりすることができる。感知データから感知された１つまたは複数の交通参加者の行動は、抽出された特徴に基づいて予測される。ＡＤＶを制御して走行環境でナビゲートするための軌道は、交通参加者の予測された行動をもとに計画される。交通参加者は、車両、自転車に乗る人や歩行者であってもよい。
図１は本発明に係る一実施形態に係る自律走行車のネットワーク配置を示すブロック図である。図１を参照して、ネットワーク配置１００は、ネットワーク１０２によって１つ以上のサーバ１０３〜１０４に通信可能に接続することができる自律走行車１０１を含む。１つの自律走行車を示すが、ネットワーク１０２によって、複数の自律走行車は互いに接続され、及び／又はサーバ１０３〜１０４に接続されることができる。ネットワーク１０２は、任意のタイプのネットワーク、例えば有線又は無線のローカルエリアネットワーク（ＬＡＮ）、例えばインターネットのようなの広域ネットワーク（ＷＡＮ）、セルラーネットワーク、衛星ネットワーク又はその組み合わせであってもよい。サーバ１０３〜１０４は、任意のタイプのサーバ又はサーバクラスタ、例えばＷｅｂサーバ又はクラウドサーバ、アプリケーションサーバ、バックエンドサーバ又はその組み合わせであってもよい。サーバ１０３〜１０４は、データ分析サーバ、内容サーバ、交通情報サーバ、地図（マップ）及び興味のあるポイント（ＭＰＯＩ）サーバ又は位置サーバ等であってもよい。
自律走行車とは、運転者からの入力が非常に少ない又はない場合に案内する自律走行モードに設置される車両である。自律走行車は、車両が走行している環境にかかる情報を検出するように配置される１つまたは複数のセンサを含むセンサシステムを備える。車両及びその関連しているコントローラが、検出された情報で環境を案内する。自律走行車１０１が手動モード、完全自律走行モードまたは部分自律走行モードで運転されることができる。
一実施形態において、自律走行車１０１は、感知及び計画システム１１０と、車両制御システム１１１と、無線通信システム１１２と、ユーザインターフェースシステム１１３と、インフォテイメントシステム１１４と、センサシステム１１５とを含むが、これらに限定されない。自律走行車１０１は、通常の車両に含まれるある一般的な構成要素（部材）、例えばエンジン、車輪、ハンドル、変速器等をさらに含んでもよく、前記構成要素は、車両制御システム１１１及び／又は感知及び計画システム１１０により多種の通信信号及び／又はコマンド（例えば、加速信号又はコマンド、減速信号又はコマンド、ステアリング信号又はコマンド、ブレーキ信号又はコマンド等）を使用して制御されることができる。
構成要素１１０〜１１５は、インターコネクト、バス、ネットワーク又はそれらの組み合わせを介して互いに通信可能に接続することができる。例えば、構成要素１１０〜１１５は、コントローラローカルエリアネットワーク（ＣＡＮ）バスを介して互いに通信可能に接続することができる。ＣＡＮバスは、マイクロコントローラ及び装置がホストコンピューターのない応用において互いに通信することを許可するような車両バス標準として設計される。それは、最初に自動車内における複数の電線のために設計されたメッセージに基づくプロトコルであるが、他のたくさんの環境（状況）にも用いられる。
図２を参照すると、一実施形態において、センサシステム１１５は、１つ以上のカメラ２１１と、全地球測位システム（ＧＰＳ）ユニット２１２と、慣性計測ユニット（ＩＭＵ）２１３と、レーダーユニット２１４と、光検出及び測距（ＬＩＤＡＲ）ユニット２１５とを含むが、これらに限定されない。ＧＰＳユニット２１２は、送受信機を含んでもよく、前記送受信機は、自律走行車の位置に関する情報を提供するように操作されることができる。ＩＭＵユニット２１３は、慣性加速度に基づいて自律走行車の位置及び方向変化を感知することができる。レーダーユニット２１４は、無線信号を利用して自律走行車のローカル環境内の対象を感知するシステムを示すことができる。いくつかの実施形態において、対象を感知する以外、レーダーユニット２１４は、さらに対象の速度及び／又は走行方向を感知することができる。ＬＩＤＡＲユニット２１５は、レーザを使用して自律走行車の位置する環境における対象を感知することができる。その他のシステム構成要素以外、ＬＩＤＡＲユニット２１５は、１つ以上のレーザ光源、レーザースキャナ及び１つ以上の検出器をさらに含んでもよい。カメラ２１１は、自律走行車の周辺環境の画像をキャプチャするための１つ以上の装置を含んでもよい。カメラ２１１は、スチルカメラ及び／又はビデオカメラであってもよい。カメラは、例えば回転及び／又は傾斜のプラットフォームに取り付けられる、機械的に移動可能なものであってもよい。
センサシステム１１５は、その他のセンサ、例えばソナーセンサ、赤外線センサ、ステアリングセンサ、スロットルセンサ、ブレーキセンサ、及びオーディオセンサ（例えばマイクロフォン）をさらに含んでもよい。オーディオセンサは、自律走行車周辺の環境から音をキャプチャするように配置されてもよい。ステアリングセンサは、ハンドル、車両の車輪又はその組み合わせのステアリング角を感知するように配置されることができる。スロットルセンサ及びブレーキセンサは、それぞれ車両のスロットル位置及びブレーキ位置を感知する。いくつかの場合、スロットルセンサ及びブレーキセンサは、集積型スロットル／ブレーキセンサに一体化されてもよい。
一実施形態において、車両制御システム１１１は、ステアリングユニット２０１と、スロットルユニット２０２（加速ユニットとも呼ばれる）と、ブレーキユニット２０３とを含むが、これらに限定されない。ステアリングユニット２０１は、車両の方向又は走行方向を調整することに用いられる。スロットルユニット２０２は、モーター又はエンジンの速度を制御して、さらに車両の速度及び加速度を制御することに用いられる。ブレーキユニット２０３は、摩擦を提供することによって車両の車輪又はタイヤをスローダウンして車両を減速させることに用いられる。注意すべきなのは、図２に示すような構成要素はハードウェア、ソフトウェア又はその組み合わせで実現されることができる。
図１を再び参照すると、無線通信システム１１２は、自律走行車１０１と、例えば装置、センサ、その他の車両等の外部システムとの間の通信を可能にする。例えば、無線通信システム１１２は、１つ以上の装置に直接に又は通信ネットワークを介して無線通信し、例えばネットワーク１０２によってサーバ１０３〜１０４に通信できる。無線通信システム１１２は、任意のセルラー通信ネットワーク又は無線ローカルエリアネットワーク（ＷＬＡＮ）（例えばＷｉＦｉ）を使用して他の構成要素やシステムに通信できる。無線通信システム１１２は、例えば赤外線リンク、ブルートゥース（登録商標）等を使用して装置（例えば、乗客の移動装置、車両１０１内のディスプレイデバイス、スピーカー）に直接に通信できる。ユーザインターフェースシステム１１３は、車両１０１内で実行される周辺装置の一部であってもよく、例えばキーボード、タッチスクリーンディスプレイ装置、マイクロフォン、及びスピーカー等を含む。
自律走行車１０１の一部又は全ての機能は、特に自律走行モードで動作する場合、感知及び計画システム１１０により制御されたり管理されたりすることができる。感知及び計画システム１１０は、必要なハードウェア（例えば、プロセッサ、メモリ、記憶装置）、及びソフトウェア（例えば、オペレーティングシステム、計画及びルーティングプログラム）を含み、センサシステム１１５、車両制御システム１１１、無線通信システム１１２、及び／又はユーザインターフェースシステム１１３から情報を受信し、受信された情報を処理し、出発地から目的地までのルートや経路を計画し、そして計画及び制御情報に基づいて車両１０１を走行させる。あるいは、感知及び計画システム１１０と車両制御システム１１１とは一体化されてもよい。
例えば、乗客であるユーザは、例えばユーザインターフェースによって行程の出発位置及び目的位置を指定することができる。感知及び計画システム１１０は、行程関連データを取得する。例えば、感知及び計画システム１１０は、ＭＰＯＩサーバから位置及び経路情報を取得することができ、前記ＭＰＯＩサーバは、サーバ１０３〜１０４の一部であってもよい。位置サーバは、位置サービスを提供し、かつＭＰＯＩサーバは、マップサービス及びある位置のＰＯＩを提供する。あるいは、このような位置及びＭＰＯＩ情報は、感知及び計画システム１１０の永続記憶装置にローカルでキャッシュされることができる。
自律走行車１０１が経路に沿って走行する期間に、感知及び計画システム１１０は、さらに交通情報システムやサーバ（ＴＩＳ）からリアルタイム交通情報を取得できる。注意すべきなのは、サーバ１０３〜１０４は、第三者のエンティティにより動作されることができる。あるいは、サーバ１０３〜１０４の機能は、感知及び計画システム１１０と一体化されてもよい。リアルタイム交通情報、ＭＰＯＩ情報、位置情報、及びセンサシステム１１５が検出又は感知したリアルタイムなローカル環境データ（例えば、障害物、対象、付近車両）に基づいて、感知及び計画システム１１０は、指定された目的地に安全で効果的に到達するように、最適な経路を計画し、かつ計画した経路により、例えば車両制御システム１１１を介して車両１０１を走行させることができる。
サーバ１０３は、様々のクライアントにデータ分析サービスを提供するデータ分析システムであっても良い。一つの実施形態において、データ分析システム１０３は、データ収集部１２１と、機器学習エンジン１２２とを含む。データ収集部１２１は、様々の車両（自律走行車又は人間運転者による一般車両）からの運転統計情報１２３を収集する。運転統計情報１２３は、異なる時点で発行された運転コマンド（例えば、スロットル、ブレーキ及びステアリングコマンド）及び車両のセンサにより取得された車両のレスポンス（例えば、速度、加速度、減速度、方向）を含む。運転統計情報１２３は、異なる時点での運転環境情報、例えば、経路（出発地及び目的地の位置）、ＭＰＯＩ、道路状態、天気状態等を更に含む。
運転統計情報１２３に基づいて、機器学習エンジン１２２は、様々な目的のために、規則、アルゴリズム、および／または予測モデル１２４のセットを生成または訓練する。一実施形態では、規則／アルゴリズム／モデル１２４は、地図画像に含まれている対象を認識し対象から特徴を抽出するための規則、アルゴリズム、および／またはモデルを含む。たとえば、規則／アルゴリズム／モデル１２４は、例えば、地図画像に含まれている対象の形および／または色相に基づいて、地図画像から特定の対象を認識する方法を特定するデータを含むことができる。特定の種類の対象に対し、規則／アルゴリズムの／モデル１２４は、例えば、停止標識、譲歩標識、車道の構成（例えば、左折専用車道、右折専用車道、直線専用車道）、出／入口などの対象と関連付けられる特定の特徴をさらに特定したり、暗示したりすることができる。規則／アルゴリズム／モデル１２４は、リアルタイムでＡＤＶを制御するために、軌道を計画するのに適用されるように、ＡＤＶにアップロードすることができる。
図３は、一実施形態に係る自律走行車とともに使用される感知及び計画システムの一例を示すブロック図である。システム３００は、図１の自律走行車１０１の一部として実現することができ、感知及び計画システム１１０、制御システム１１１とセンサシステム１１５を含むが、これに限定されない。図３を参照すると、感知及び計画システム１１０は、位置決め（ｌｏｃａｌｉｚａｔｉｏｎ）モジュール３０１、感知モジュール３０２、予測モジュール３０３、決定モジュール３０４、計画モジュール３０５、制御モジュール３０６、地図画像アナライザ３０７と地図の特徴抽出器３０８を含むが、これに限定されない。
モジュール３０１〜３０８の一部または全部は、ソフトウェア、ハードウェア、またはそれらの組み合わせによって実現されてもよい。例えば、これらのモジュールは、永続記憶装置３５２にインストールされ、メモリ３５１にロードされて１つまたは複数のプロセッサ（図示せず）によって実行されてもよい。注意すべきなのは、一部またはすべてのモジュールは、図２に示す車両制御システム１１１における一部またはすべてのモジュールに通信可能に接続されたり、統合されたりしてもよい。また、モジュール３０１〜３０８の一部は、１つの集積モジュールとして一体化されてもよい。
位置決めモジュール３０１は、（例えば、ＧＰＳユニット２１２を利用して）自律走行車１０１の現在位置を決定し、ユーザの行程や経路に関連する任意のデータを管理する。位置決めモジュール３０１（地図及び経路モジュールとも呼ばれる）は、ユーザの行程や経路に関連する任意のデータを管理する。ユーザは、例えば、ユーザインターフェースを介してログインして行程の出発位置と目的地を指定することができる。位置決めモジュール３０１は、地図及び経路情報３１１のような自律走行車１０１の他の構成要素と通信して行程関連データを取得する。たとえば、位置決めモジュール３０１は、位置サーバ、および地図とＰＯＩ（ＭＰＯＩ）サーバから位置と経路情報を取得することができる。位置サーバは、位置サービスを提供し、ＭＰＯＩサーバは、地図サービスと、地図及び経路情報３１１との一部としてキャッシュすることができる特定位置のＰＯＩとを提供する。自律走行車１０１が経路に沿って移動する間に、位置決め（ｌｏｃａｌｉｚａｔｉｏｎ）モジュール３０１は、交通情報システム、またはサーバからリアルタイムの交通情報も取得することができる。
センサシステム１１５により提供されたセンサデータ、及び位置決めモジュール３０１により得られた位置決め情報に基づいて、感知モジュール３０２は周辺環境に対する感知（ｐｅｒｃｅｐｔｉｏｎ）を決定する。感知情報は、普通の運転者が運転している車両周辺から感知したものを示すことができる。感知情報は、例えば対象の形式で現される車線配置（例えば、直線又はカーブ）、トラフィック信号、他の車両の相対位置、歩行者、建物、横断歩道又はその他の交通関連標識（例えば、停止標識、譲歩標識）などを含んでもよい。
感知モジュール３０２は、自律走行車の環境で対象および／または特徴を識別するように、１つ以上のカメラによってキャプチャされた画像を処理及び分析するためのコンピュータビジョンシステム、またはコンピュータビジョンシステムの機能を含んでもよい。対象は、交通信号、道路境界、他の車両、歩行者、および／または障害物などを含むことができる。コンピュータビジョンシステムは、対象認識アルゴリズム、ビデオ追跡、および他のコンピュータビジョン技術を使用することができる。一部の実施形態では、コンピュータビジョンシステムは、環境をマッピングし、対象を追跡し、対象の速度推定などを行うことができる。感知モジュール３０２は、レーダーおよび／またはＬＩＤＡＲのような他のセンサによって提供される他のセンサのデータに基づいて対象を検出することもできる。
それぞれの対象について、予測モジュール３０３は、当該状況下で対象がどのような行動をするのかを予測する。予測は、地図及び経路情報３１１と、交通規則３１２とのセットを考慮して、その時点での走行環境を感知する感知データに基づき実行される。例えば、対象が逆方向の車両であり、現在の走行環境がクロスロードを含む場合、予測モジュール３０３は、車両が直進するか、または転回するかを予測する。感知データが、クロスロードに信号灯がないことを示す場合に、予測モジュール３０３は、車両がクロスロードに進入する前に、完全に停止すべき可能性があると予測することができる。感知データが、車両が現在左折専用車道または右折専用車道にあることを示す場合に、予測モジュール３０３は、車両がそれぞれ左折または右折する可能性がより高いと予測することができる。
それぞれの対象については、決定モジュール３０４は、対象をどのように処理するかを決定する。例えば、特定の対象（例えば、クロスロードにある他の車）だけでなく、対象を記述するメタデータ（例えば、速度、方向、転回角度）に対して、決定モジュール３０４は、対象をどの方式で対処するかを決定する（例えば、追い越し、譲歩、停止、通過）。決定モジュール３０４は、永続記憶装置３５２に記憶できる交通規則や走行規則３１２のような規則のセットに基づいて、これらの決定を下すことができる。
感知された各対象に対する決定に基づいて、計画モジュール３０５は、自律走行車に対するルートまたは経路だけでなく、走行パラメータ（例えば、距離、速度、および／または転回角度）を計画する。つまり、与えられた対象について、決定モジュール３０４は、対象の処理を決定し、計画モジュール３０５は、それをどのように実行するかを決定する。例えば、与えられた対象について、決定モジュール３０４は、対象を通過することに決定し、これに対し、計画モジュール３０５は、対象の左側または右側から通過するかを決定することができる。計画及び制御データは、計画モジュール３０５によって生成され、自律走行車１０１が次の移動のサイクル（例えば、次のルート／経路セグメント）でどのように動くのかを記述する情報を含む。たとえば、計画および制御データは、自律走行車１０１が時速３０マイル（ｍｐｈ）の速度で１０ ｍ移動し、２５ ｍｐｈの速度で右側車線に変更するよう指示することができる。
計画及び制御データに基づいて、制御モジュール３０６は、計画及び制御データによって定義された経路またはルートに沿って、車両制御システム１１１に適切なコマンドまたは信号を送信することにより、自律走行車を制御し走行させる。計画及び制御データには、ルートまたは経路上の異なる時点において、適切な車両設定または走行パラメータ（例えば、スロットル、ブレーキ、およびステアリングコマンド）を使用して、経路またはルートの第１の地点から第２の地点まで車両を走行させることができる十分な情報が含まれている。
一実施形態では、計画段階は、複数の計画サイクルまたはコマンドサイクル（例えば、１００ミリ秒（ＭＳ）の時間間隔）ごとに実行される。計画サイクルまたはコマンドサイクルごとに、１つまたは複数の制御コマンドが計画及び制御データに基づいて発行される。つまり、各１００ＭＳ毎に、計画モジュール３０５は、次の経路セグメントまたはルートセグメントを計画し、次の経路セグメントまたはルートセグメントは、例えば目標位置とＡＤＶが目標位置に到達するのに必要な時間とを含むことができる。あるいは、計画モジュール３０５は、特定の速度、方向、および／またはステアリング角等を追加的に特定することができる。一実施形態では、計画モジュール３０５は、例えば、５秒のような所定の次の経路セグメントまたはルートセグメントを計画する。各計画サイクルについて、計画モジュール３０５は、直前のサイクルで計画された目標位置に基づき、現在のサイクル（例えば、次の５秒）の目標位置を計画する。その後、制御モジュール３０６は、現在のサイクルの計画及び制御データに基づいて、１つ以上の制御コマンド（例えば、スロットル、ブレーキ、ステアリング制御コマンド）を発生する。
注意すべきなのは、決定モジュール３０４と計画モジュール３０５は、１つの集積モジュールとして一体化されてもよい。決定モジュール３０４／計画モジュール３０５は、自律走行車の走行経路を決定するためのナビゲーションシステムまたはナビゲーションシステムの機能を含むことができる。例えば、ナビゲーションシステムは、一連の速度と進行方向（ｄｉｒｅｃｔｉｏｎａｌ ｈｅａｄｉｎｇ）を決定して、感知された障害物を実質的に避ける経路に沿って自律走行車の移動を行いながら、大体的に最終的な目的地に至る道によるルートに沿って、自律走行車を走行させることができる。目的地は、ユーザインターフェースシステム１１３を介するユーザ入力に応じて設定されることができる。ナビゲーションシステムは、自律走行車が動作されている間に、走行経路を動的に更新することができる。ナビゲーションシステムは、自律走行車の走行経路を決定するために、ＧＰＳシステムおよび１つまたは複数の地図からのデータを統合することができる。
決定モジュール３０４／計画モジュール３０５は、自律走行車の環境における潜在的な障害物を識別、評価、回避したり、その他の方式で迂回するための衝突回避システムまたは衝突回避システムの機能をさらに含むことができる。例えば、衝突回避システムは、方向転換操作、転回操作、ブレーキ操作などを行うために、制御システム１１１の１つまたは複数のサブシステムを操作して、自律走行車のナビゲーションの変化を実行することができる。衝突回避システムは、周辺の交通パターン、道路状況等に基づいて、実現可能な障害物回避操作を自動的に決定することができる。衝突回避システムは、自律走行車が方向転換して進入する隣接領域で、他のセンサシステムにより車両、建物の障害物などが検出されたときに、方向転換操作を行わないように構成することができる。衝突回避システムは、使用可能であり、自律走行車の乗員の安全を最大限にする操作を自動的に選択することができる。衝突回避システムは、自律走行車の乗客室において最低限の加速を引き起こすと予想される回避操作を選択することができる。
一実施形態によれば、図３及び図４を参照すると、感知モジュール３０２によって感知された対象に応答して、予測モジュール３０３は、地図画像アナライザ３０７を呼び出して、現在の走行環境と関連する位置に対する所定距離をカバーする地図画像を分析する。地図画像アナライザ３０７は、地図画像に含まれる１つまたは複数の対象を認識するために地図画像の画像認識を行うものである。認識された対象は、地図の分析規則３１３を使用し、対象の形および／または色相に基づいて、１つまたは複数の道路、クロスロード、ラウンドアバウトや建物の構造（例えば、駐車場）として認識されることができる。認識された対象に基づいて、地図の特徴抽出器３０８は、地図特徴抽出規則３１４を用いて、認識された対象から１つまたは複数の特徴を抽出したり生成したりする。特徴は、対象を記述する情報を含まれることができる。特徴は、認識された対象に基づいて生成された追加の特徴をさらに含むことができる。追加的な特徴は、一般的な高解像度地図からは取得可能であるが、一般的な地図からは取得できない特徴を含み、ここで、追加的な特徴は、地図特徴抽出規則３１４を考慮し対象に基づいて示されることができる。
高精度地図は、当該車両が走行可能な位置に関する車道レベル情報を提供する。例えば、地図上の現在位置が与えられているときは、単に直進したり右折したりする可能性がある。交通法などにより、Ｕターンしたり左折したりすることができない。一般的な地図には、このような情報がないだろう。むしろ、一般的な地図には、通常、道路の衛星画像などの画像が含まれる。しかし、地図画像には、道路、クロスロード、建物の構造、ラウンドアバウトなどの対象の画像が含まれることができる。対象の形および／または色相に基づいて、画像認識によりそのような対象を識別することができる。
一実施形態によると、対象の標識は、地図から走行可能な道路を識別する道路の標識を含むことができる。これは、障害物が車道で移動する場合に、これを案内するのに有利である。対象の標識は、道路上の駐車場や駐車領域のような特定の建物の構造をさらに含むことができる。これは、障害物が駐車場に移動するかを予測するのに有利である。対象の標識は、交通参加者（ｔｒａｆｆｉｃ ｐａｒｔｉｃｉｐａｎｔ）がクロスロードで異なる行動パターンを持つことができるクロスロードをさらに含んでもよい。対象の標識には、ラウンドアバウトが含まれており、ここでラウンドアバウトとその出口を識別する交通参加者の軌道を計画するのに有利であることができる。
一実施形態によると、抽出された特徴は、道路の曲率、クロスロードまたは交差点、及びラウンドアバウトを含めることができるが、これに限定されるものではない。道路の曲率の特徴は、特にクロスロードで道路がどのようにワインディング（ｗｉｎｄｉｎｇ）するかを示す情報が含まれ、交通参加者が転回するかどうかを予測するのに役立つ。クロスロードや交差点に関する特徴は、図５に示すように、クロスロードがどのほど多くの交差点（ｃｒｏｓｓ ｒｏａｄ）を有するかと、これらがどのように接続されるかを示す情報とを含む。ラウンドアバウトの特徴は、図６に示すように、ラウンドアバウトに出口がいくつかあるかと、これらがどのように分布されるかを示す情報とが含まれる。
なお、図５を参照すると、この形態において、地図の画像は、感知データとの組み合わせによりクロスロード５００を示す。この形態において、地図画像の画像認識に基づいて、クロスロード５００が画像アナライザ３０７によって認識される。クロスロード５００の特徴は、特徴抽出器３０８によって抽出される。クロスロード５００の特徴は、各車道の各方向の車道の数、車道の曲率、横断歩道の位置などを含むことができる。また、クロスロードの特性に応じて推測したり、予測したりすることができる信号灯、停止標識、および／または譲歩標識の位置が特徴にさらに含まれることができる。抽出された特徴は、特徴を記述するメタデータに変換されることができ、これは対応する高解像度の地図によって提供されるデータと類似するものである。しかし、画像認識や特徴抽出技術を使用して、高解像度の地図を使用することなく、一般的な地図（ｒｅｇｕｌａｒ ｍａｐ）を適用することができる。
予測モジュール３０３は、車両５０２−５０３を感知する感知データに組み合わせて、クロスロード５００の特徴に基づき、車両５０２−５０３が現在どの車道で走行しているかを含む車両５０２−５０３の現在位置を決定することができる。予測モジュール３０３は、車両５０２−５０３の次の動きや行動を予測したり、決定したりすることができる。この形態において、車両５０２は、左側車線を走行し、かつ、信号灯に従って、車両５０２は、クロスロードを渡って直進したり左折したりすることができる。この形態において、車両５０３は、右側の車線を走行し、かつ、信号灯に従って、車両５０３は、クロスロードを渡って直進したり右折したりすることができる。感知データによって推定できる車両５０２−５０３の速度に基づいて、予測モジュール３０３は、高速で車両が一般的に直線に従って移動し、それが転回することは不合理または不安全であると予測することができる。一方、車両が比較的低い速度で移動している場合には、車両が転回する可能性がある。
あるいは、画像解析を考慮し、感知データに基づいて、クロスロード５００は、４方向停止クロスロードであると決定できる。４方向停止クロスロードとは、信号灯がないクロスロードを示す。具体的に、クロスロードへの各車道には、停止標示がある。この構成では、予測モジュール３０３は、各車両５０１−５０３がクロスロードに進入する前に、完全に停止しなければならないと予測することができる。車両５０２−５０３の行動の予測は、決定モジュール３０４によって使用されて、次の瞬間にＡＤＶ５０１がどのように動くべきかを決定することができる。
なお、図６を参照すると、地図画像に基づいて、ラウンドアバウトが認識され、複数の出口が特徴の一部として決定される。また、交通法に従い、ラウンドアバウトの入口に停止標識があることができる。この形態において、特徴抽出器３０８は、内部車道（例えば、高速車道）と外部車道（例えば、低速車道）を含むラウンドアバウト内に２つの車道があることを決定することができる。予測モジュール３０３は、画像アナライザ３０７と特徴抽出３０８によって提供された特徴に基づいて、車両６０２が外部車道で移動し、感知モジュール３０２によって感知された速度に従って、車両６０２が次の出口またはそれ以降の出口から進出するか、または進出しないかを決定する。予測モジュール３０３は、車両６０５が内側車道で移動しているので、車両６０５が次の出口から進出する可能性は低いと決定することができる。同様に、予測モジュール３０３は、特徴抽出器３０８によって提供された出入口に停止標識のある可能性があるので、車両６０３−６０４がラウンドアバウトに進入する前に、完全に停止しなければならない可能性があると予測することができる。これらの情報は、車両６０２−６０５のそれぞれがどのように行動するかを予測するために予測モジュール３０３によって使用され、これはＡＤＶ６０１が次のコマンドサイクルでどのように動くかを決定モジュール３０４が決定する方法に影響を与える。画像アナライザ３０７および／または特徴抽出器３０８は、予測モジュール３０３の一部として一体化されることができる。
図７は、一実施形態に係る自律走行車を動作させるプロセスを示すフローチャートである。プロセス７００は、ソフトウェア、ハードウェア、またはこれらの組み合わせを含む処理ロジックによって実行される。例えば、プロセス７００は、画像アナライザ３０７、特徴抽出器３０８および／または予測モジュール３０３によって実行される。図７を参照すると、動作７０１において、処理ロジックは、ＡＤＶを囲む走行環境を感知する感知データを受信する。動作７０２において、処理ロジックは、走行環境に関連する地図（例えば、一般的な解像度地図）の地図画像を取得する。動作７０３において、処理ロジックは、地図画像から１つまたは複数の対象（例えば、クロスロード、ラウンドアバウト、建物の構造）を識別するために、地図画像上に対して画像解析や画像認識を行う。動作７０４において、処理ロジックは、認識された対象から１つまたは複数の特徴を抽出し、特徴は、走行環境の可能な交通状態を示す。動作７０５において、処理ロジックは、抽出された特徴を考慮して感知データに基づき、１つまたは複数の交通参加者（例えば、車両、自転車に乗る人、歩行者）の行動を予測する。
注意すべきなのは、上記図示された構成要素の一部または全部は、ソフトウェア、ハードウェア、またはこれらの組み合わせにより実現されることができる。たとえば、これらの構成要素は、本明細書全体に記載されたプロセスまたはステップを実行するために、プロセッサ（図示せず）によってメモリにロードされて実行されることができる永続記憶装置にインストールされて記憶されるソフトウェアとして実現ことができる。あるいは、これらの構成要素は、集積回路（例えば、特定用途向け集積回路またはＡＳＩＣ）、デジタル信号プロセッサ（ＤＳＰ）またはフィールドプログラマブルゲートアレイ（Ｆｉｅｌｄ Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ、ＦＰＧＡ）のような専用のハードウェアにプログラムされたり内蔵された実行可能コードとして実現されることができ、これは、アプリケーションから対応するドライバおよび／またはオペレーティングシステムを介してアクセスすることができる。さらに、これらの構成要素は、１つ以上の特定のコマンドを使用してソフトウェアコンポーネントによってアクセス可能なコマンドセットの一部であり、プロセッサまたはプロセッサコアの特定のハードウェアロジックとして実現することができる。
図８は、本出願の一実施形態と組み合わせて使用されるデータ処理システムを例示的に示すブロック図である。例えば、システム１５００は、上記プロセス又は方法のいずれか（例えば、図１の感知及び計画システム１１０、及びサーバ１０３〜１０４のいずれか）を実行する上記任意のデータ処理システムを示してもよい。システム１５００は、複数の異なる構成要素を含んでもよい。これらの構成要素は、集積回路（ＩＣ）、集積回路の一部、分散型電子装置又は回路基板（例えば、コンピュータシステムのマザーボード又はアドインカード）に適用された他のモジュール、又は他の方式でコンピュータシステムのシャシーに組み込まれた構成要素として実現されることができる。
さらに、システム１５００は、コンピュータシステムの複数の構成要素の高レベルビューを示すことを目的とする。しかしながら、いくつかの実現形態では、付加的構成要素が存在する場合があることを理解すべきである。また、他の実現形態において示される構成要素が異なる配置を有してもよい。システム１５００は、デスクトップコンピュータ、ラップトップコンピュータ、タブレットコンピュータ、サーバ、携帯電話、メディアプレーヤー、パーソナルディジタルアシスタント（ＰＤＡ）、スマート腕時計、パーソナルコミュニケーター、ゲーム装置、ネットワークルータ又はハブ、無線アクセスポイント（ＡＰ）又はリピーター、セットトップボックス、又はそれらの組合せを示してもよい。また、単一の機器又はシステムのみを示したが、用語「機器」又は「システム」は、さらに、独立又は共同で１つ（又は複数）のコマンドセットを実行することにより本明細書に説明される任意の１種又は複数種の方法を実行する機器又はシステムの任意のセットを含むことを理解すべきである。
一実施形態において、システム１５００は、バス又は相互接続部材１５１０によって接続されたプロセッサ１５０１、メモリ１５０３及び装置１５０５〜１５０８を備える。プロセッサ１５０１は、単一のプロセッサコア又は複数のプロセッサコアを含む単一のプロセッサ又は複数のプロセッサを示してもよい。プロセッサ１５０１は、マイクロプロセッサ、中央処理装置（ＣＰＵ）等のような１つ又は複数の汎用プロセッサを示してもよい。より具体的には、プロセッサ１５０１は、複雑コマンドセット計算（ＣＩＳＣ）マイクロプロセッサ、縮小コマンドセットコンピュータ（ＲＩＳＣ）マイクロプロセッサ、超長コマンド語（ＶＬＩＷ）マイクロプロセッサ、又は他のコマンドセットを実現するプロセッサ、又はコマンドセットの組合せを実現するプロセッサであってもよい。プロセッサ１５０１は、さらに、専用集積回路（ＡＳＩＣ）、セルラ又はベースバンドプロセッサ、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）、デジタル信号プロセッサ（ＤＳＰ）、グラフィックプロセッサ、ネットワークプロセッサ、通信プロセッサ、暗号プロセッサ、コプロセッサ、組み込みプロセッサのような１つ又は複数の専用プロセッサ、あるいはコマンド処理可能な任意の他のタイプのロジックであってもよい。
プロセッサ１５０１（超低電圧プロセッサのような低電力マルチコアプロセッサソケットであってもよい）は、前記システムの各種の構成要素と通信するための主処理ユニット及び中央ハブとして用いられてもよい。このようなプロセッサは、システムオンチップ（ＳｏＣ）として実現されることができる。プロセッサ１５０１は、本明細書に説明される動作及びステップを実行するためのコマンドを実行するように構成される。また、システム１５００は、選択可能なグラフィックサブシステム１５０４と通信するグラフィックインターフェースをさらに含んでもよく、グラフィックサブシステム１５０４は、ディスプレイコントローラ、グラフィックプロセッサ及び／又はディスプレイデバイスをさらに備えてもよい。
プロセッサ１５０１は、メモリ１５０３と通信してもよく、メモリ１５０３は、一実施形態において複数のメモリによって所定量のシステムメモリを提供する。メモリ１５０３は、ランダムアクセスメモリ（ＲＡＭ）、ダイナミックＲＡＭ（ＤＲＡＭ）、シンクロナスＤＲＡＭ（ＳＤＲＡＭ）、スタティックＲＡＭ（ＳＲＡＭ）又は他のタイプのメモリのような１つ又は複数の揮発性記憶装置（又はメモリ）を備えてもよい。メモリ１５０３は、プロセッサ１５０１又は任意の他の装置により実行されるコマンド列を含む情報を記憶できる。例えば、複数種のオペレーティングシステム、装置ドライバー、ファームウェア（例えば、基本入出力システム又はＢＩＯＳ）及び／又はアプリケーションの実行可能なコード及び／又はデータは、メモリ１５０３にロードされて、プロセッサ１５０１により実行されてもよい。オペレーティングシステムは、ロボットオペレーティングシステム（ＲＯＳ）、Ｍｉｃｒｏｓｏｆｔ(R)会社からのＷｉｎｄｏｗｓ(R)オペレーティングシステム、アップル会社からのＭａｃＯＳ(R)／ｉＯＳ(R)、Ｇｏｏｇｌｅ(R)会社からのＡｎｄｒｏｉｄ(R)、Ｌｉｎｕｘ（登録商標）、Ｕｎｉｘ又は他のリアルタイム又は組み込みオペレーティングシステムのような任意のタイプのオペレーティングシステムであってもよい。
システム１５００は、Ｉ／Ｏ装置、例えば装置１５０５〜１５０８をさらに備えてもよく、ネットワークインターフェースデバイス１５０５、選択可能な入力装置１５０６及び他の選択可能なＩ／Ｏ装置１５０７を備えてもよい。ネットワークインターフェースデバイス１５０５は、無線送受信機及び／又はネットワークインターフェースカード（ＮＩＣ）を備えてもよい。前記無線送受信機は、ＷｉＦｉ送受信機、赤外送受信機、ブ経路ゥース送受信機、ＷｉＭａｘ送受信機、無線セルラーホン送受信機、衛星送受信機（例えば、全地球測位システム（ＧＰＳ）送受信機）又は他の無線周波数（ＲＦ）送受信機又はそれらの組合せであってもよい。ＮＩＣは、イーサネット（登録商標）カードであってもよい。
入力装置１５０６は、マウス、タッチパッド、タッチスクリーン（それはディスプレイデバイス１５０４と集積されてもよい）、ポインタデバイス（例えばスタイラス）及び／又はキーボード（例えば、物理キーボード、又はタッチスクリーンの一部として表示された仮想キーボード）を備えてもよい。例えば、入力装置１５０６は、タッチスクリーンに接続されるタッチスクリーンコントローラを含んでもよい。タッチスクリーン及びタッチスクリーンコントローラは、例えば複数種のタッチ感度技術（容量式、抵抗式、赤外式及び表面音波の技術を含むが、それらに限定されない）のいずれか、及びタッチスクリーンの１つ又は複数の接触点を決定するための他の近接センサアレイ又は他の素子を用いて、そのタッチ点及び移動又は断続を検出することができる。
Ｉ／Ｏ装置１５０７は、音声装置を備えてもよい。音声装置は、スピーカ及び／又はマイクロホンを含んでもよく、それにより音声認識、音声コピー、デジタル記録及び／又は電話機能のような音声サポートの機能を促進する。他のＩ／Ｏ装置１５０７は、汎用シリアルバス（ＵＳＢ）ポート、パラレルポート、シリアルポート、印刷機、ネットワークインターフェース、バスブリッジ（例えば、ＰＣＩ〜ＰＣＩブリッジ）、センサ（例えば、加速度計、ジャイロスコープ、磁力計、光センサ、コンパス、近接センサ等のような動きセンサ）又はそれらの組合せをさらに備えてもよい。装置１５０７は、結像処理サブシステム（例えば、カメラ）をさらに備えてもよく、前記結像処理サブシステムは、カメラ機能（例えば、写真及びビデオ断片の記録）を促進するための電荷カップリング装置（ＣＣＤ）又は相補型金属酸化物半導体（ＣＭＯＳ）光学センサのような光学センサを備えてもよい。あるセンサは、センサハブ（図示せず）によって相互接続部材１５１０に接続されてもよく、キーボード又は熱センサのような他の装置は、組み込みコントローラ（図示せず）により制御されてもよく、これはシステム１５００の特定配置又は設計により決められる。
データ、アプリケーション、１つ又は複数のオペレーティングシステム等のような情報の永続記憶を提供するために、大容量メモリ（図示せず）が、プロセッサ１５０１に接続されてもよい。様々な実施形態において、薄型化と軽量化のシステム設計を実現しかつシステムの応答能力を向上させるために、このような大容量メモリは、ソリッドステート装置（ＳＳＤ）によって実現されることができる。なお、他の実施形態において、大容量メモリは、主にハードディスクドライブ（ＨＤＤ）で実現されてもよく、少量のＳＳＤ記憶量は、ＳＳＤキャッシュとして、停電イベント期間にコンテキスト状態及び他のこのような情報の不揮発性記憶を実現し、それによりシステム動作が再開する時に通電を速く実現することができる。さらに、フラッシュデバイスは、例えばシリアルペリフェラルインターフェース（ＳＰＩ）によってプロセッサ１５０１に接続されてもよい。このようなフラッシュデバイスは、システムソフトウェアの不揮発性記憶に用いられてもよく、前記システムソフトウェアは、前記システムのＢＩＯＳ及び他のファームウェアを備える。
記憶装置１５０８は、任意の１種又は複数種の本明細書に記載の方法又は機能を実現する１つ又は複数のコマンドセット又はソフトウェア（例えば、モジュール、ユニット及び／又はロジック１５２８）が記憶されるコンピュータアクセス可能な記憶媒体１５０９（機械可読記憶媒体又はコンピュータ可読媒体とも呼ばれる）を備えてもよい。処理モジュール／ユニット／ロジック１５２８は、例えば、計画モジュール３０４及び／又は制御モジュール３０５のような上記構成要素のいずれかを示してもよい。処理モジュール／ユニット／ロジック１５２８は、さらにデータ処理システム１５００、メモリ１５０３及びプロセッサ１５０１により実行される期間に、メモリ１５０３内及び／又はプロセッサ１５０１内に完全又は少なくとも部分的に存在してもよく、ここで、メモリ１５０３及びプロセッサ１５０１も、機器アクセス可能な記憶媒体を構成する。処理モジュール／ユニット／ロジック１５２８は、さらにネットワークによってネットワークインターフェースデバイス１５０５を経由して送受信されてもよい。
コンピュータ可読記憶媒体１５０９は、以上に説明されたいくつかのソフトウェア機能の一部を永続的に記憶してもよい。コンピュータ可読記憶媒体１５０９は、例示的な実施形態において単一の媒体として示されたが、用語「コンピュータ可読記憶媒体」は、前記１つ又は複数のコマンドセットが記憶される単一の媒体又は複数の媒体（例えば、集中型又は分散型データベース、及び／又は関連するキャッシュ及びサーバ）を備えることを理解すべきである。用語「コンピュータ可読記憶媒体」は、さらにコマンドセットを記憶又はコーディング可能な任意の媒体を備えることを理解すべきであり、前記コマンドセットは、機器により実行されかつ前記機器に本発明の任意の１種又は複数種の方法を実行させる。従って、用語「コンピュータ可読記憶媒体」は、ソリッドステートメモリ及び光学媒体と磁気媒体又は任意の他の非一時的機械可読媒体を備えるが、それらに限定されないことを理解すべきである。
本明細書に記載の処理モジュール／ユニット／ロジック１５２８、構成要素及び他の特徴は、ディスクリートハードウェア構成要素として実現されてもよく、又はハードウェア構成要素（例えばＡＳＩＣＳ、ＦＰＧＡ、ＤＳＰ又は類似装置）の機能に統合されてもよい。さらに、処理モジュール／ユニット／ロジック１５２８は、ハードウェア装置内のファームウェア又は機能回路として実現されてもよい。また、処理モジュール／ユニット／ロジック１５２８は、ハードウェア装置及びソフトウェアコンポーネントの任意の組合せで実現されてもよい。
なお、システム１５００は、データ処理システムの各種の構成要素を有するように示されているが、構成要素の相互接続のいかなる特定のアーキテクチャー又は方式を示すものではないことに注意すべきであり、それは、このような詳細が本発明の実施形態に密接な関係がないためである。また、より少ない構成要素又はより多くの構成要素を有するネットワークコンピュータ、ハンドヘルドコンピュータ、携帯電話、サーバ及び／又は他のデータ処理システムは、本発明の実施形態と共に使用されてもよい。
上記詳細な説明の一部は、コンピュータメモリにおけるデータビットに対する演算のアルゴリズム及び記号表現で示される。これらのアルゴリズムの説明及び表現は、データ処理分野における当業者によって使用され、それらの作業実質を所属分野の他の当業者に最も効果的に伝達する方法である。ここで、アルゴリズムは、通常、所望の結果につながる首尾一貫した動作列（ｓｅｑｕｅｎｃｅ ｏｆ ｏｐｅｒａｔｉｏｎｓ）と考えられる。これらの動作とは、物理量に対して物理的動作を行う必要となるステップを指す。
ただし、これらの全ての及び類似の用語は、いずれも適切な物理量に関連付けられ、かつただこれらの量に適用される適切なラベルであることに注意すべきである。特に断らない限り、本出願の全体にわたって用語（例えば、添付している特許請求の範囲に説明された用語）による説明とは、コンピュータシステム又は類似の電子計算装置の動作及び処理であり、前記コンピュータシステム又は電子計算装置は、コンピュータシステムのレジスタ及びメモリに物理（例えば、電子）量としてデータを示し、かつ前記データをコンピュータシステムメモリ又はレジスタ又は他のこのような情報記憶装置、伝送又はディスプレイデバイス内において類似に物理量として示される他のデータに変換する。
本発明の実施形態は、さらに本明細書における動作を実行するためのコンピュータプログラムに関する。このようなコンピュータプログラムは、非揮発性のンピュータ可読媒体に記憶される。機器可読媒体は、機器（例えば、コンピュータ）可読な形態で情報を記憶する任意の機構を備える。例えば、機器可読（例えば、コンピュータ可読）媒体は、機器（例えば、コンピュータ）可読記憶媒体（例えば、読み出し専用メモリ（「ＲＯＭ」）、ランダムアクセスメモリ（「ＲＡＭ」）、磁気ディスク記憶媒体、光記憶媒体、フラッシュメモリメモリ）を備える。
上記図面に示される手順又は方法は、ハードウェア（例えば、回路、専用ロジック等）、ソフトウェア（例えば、非揮発性のコンピュータ可読媒体に具現化される）、又は両方の組合せを含む処理ロジックにより実行されてもよい。前記手順又は方法は、本明細書において特定の順序に応じて説明されるが、説明された動作の一部は、異なる順序に応じて実行されてもよい。また、いくつかの動作は、順番ではなく並行に実行されてもよい。
本発明の実施形態は、いずれかの特定のプログラミング言語を参照して説明されていないが、複数種のプログラミング言語で本明細書に記載の本発明の実施形態の教示を実現できることを理解すべきである。
以上の明細書では、本発明の具体的な例示的な実施形態を参照してその実施形態を説明した。明らかなように、添付している特許請求の範囲に記載の本発明のより広い趣旨及び範囲を逸脱しない限り、様々な変形が可能である。従って、限定的なものではなく例示的なものとして本明細書及び図面を理解すべきである。

Claims (21)

  1. 自律走行車を動作させるためのコンピュータ実施方法において、
    自律走行車（ＡＤＶ）の周辺の走行環境を感知する感知データに応答して、前記走行環境と関連する位置をカバーする地図の地図画像を取得するステップと、
    前記地図画像から１つまたは複数の対象を認識するために、前記地図画像の画像認識を行うステップと、
    前記認識された対象から１つまたは複数の特徴を抽出するステップであって、前記１つまたは複数の特徴は、前記走行環境の交通状態を示す、ステップと、
    前記抽出された特徴に基づいて、前記感知データから感知された１つまたは複数の交通参加者の行動を予測するステップと、
    前記１つまたは複数の交通参加者の前記予測された行動に基づいて、前記ＡＤＶを制御して前記走行環境でナビゲートするための軌跡を計画するステップを含む方法。
  2. 請求項１に記載の方法において、
    前記１つまたは複数の対象は、前記地図画像から取得された前記対象の形または色相のうちの少なくとも一つに基づいて認識される、方法。
  3. 請求項２に記載の方法において、
    前記１つまたは複数の対象は、１つまたは複数の道路のクロスロードを示す、方法。
  4. 請求項２に記載の方法において、
    前記１つまたは複数の対象は、１つまたは複数の道路に接続されたラウンドアバウト（ｒｏｕｎｄａｂｏｕｔ）を示す、方法。
  5. 請求項２に記載の方法において、
    前記１つまたは複数の対象は、道路に沿う駐車場を示す、方法。
  6. 請求項１に記載の方法において、
    前記１つまたは複数の特徴を抽出するステップは、
    前記地図画像に基づいて道路の曲率を推定するステップを含む、方法。
  7. 請求項１に記載の方法において、
    前記１つまたは複数の特徴を抽出するステップは、
    前記地図画像が道路標識を含んでいなくても、前記対象の種類に基づいて、可能な前記道路標識を予測するステップを含む、方法。
  8. コマンドを格納し、
    前記コマンドがプロセッサによって実行されるとき、前記プロセッサにとって動作を実行するようにする、非一時的機械可読媒体であって、
    前記動作は、
    自律走行車（ＡＤＶ）の周辺の走行環境を感知する感知データに応答して、前記走行環境と関連する位置をカバーする地図の地図画像を取得することと、
    前記地図画像から１つまたは複数の対象を認識するために、前記地図画像の画像認識を行うことと、
    前記認識された対象から１つまたは複数の特徴を抽出することであって、前記１つまたは複数の特徴は、前記走行環境の交通状態を示す、ことと、
    前記抽出された特徴に基づいて、前記感知データから感知された１つまたは複数の交通参加者の行動を予測することと、
    前記１つまたは複数の交通参加者の前記予測された行動に基づいて、前記ＡＤＶを制御して前記走行環境でナビゲートするための軌跡を計画することを含む、非一時的機械可読媒体。
  9. 請求項８に記載の非一時的機械可読媒体において、
    前記１つまたは複数の対象は、前記地図画像から取得された前記対象の形または色相のうちの少なくとも一つに基づいて認識される、非一時的機械可読媒体。
  10. 請求項９に記載の非一時的機械可読媒体において、
    前記１つまたは複数の対象は、１つまたは複数の道路のクロスロードを示す、非一時的機械可読媒体。
  11. 請求項９に記載の非一時的機械可読媒体において、
    前記１つまたは複数の対象は、１つまたは複数の道路に接続されたラウンドアバウトを示す、非一時的機械可読媒体。
  12. 請求項９に記載の非一時的機械可読媒体において、
    前記１つまたは複数の対象は、道路に沿う駐車場を示す、非一時的機械可読媒体。
  13. 請求項８に記載の非一時的機械可読媒体において、
    前記１つまたは複数の特徴を抽出することは、
    前記地図画像に基づいて道路の曲率を推定することを含む、非一時的機械可読媒体。
  14. 請求項８に記載の非一時的機械可読媒体において、
    前記１つまたは複数の特徴を抽出することは、
    前記地図画像が道路標識を含んでいなくても、前記対象の種類に基づいて、可能な前記道路標識を予測することを含む、非一時的機械可読媒体。
  15. プロセッサと、
    前記プロセッサに接続されてコマンドを格納するメモリとを含み、
    前記コマンドが前記プロセッサによって実行されるとき、前記プロセッサにとって動作を実行するようにする、データ処理システムにおいて、
    前記動作は、
    自律走行車（ＡＤＶ）の周辺の走行環境を感知する感知データに応答して、前記走行環境と関連する位置をカバーする地図の地図画像を取得することと、
    前記地図画像から１つまたは複数の対象を認識するために、前記地図画像の画像認識を行うことと、
    前記認識された対象から１つまたは複数の特徴を抽出することであって、前記１つまたは複数の特徴は、前記走行環境の交通状態を示す、ことと、
    前記抽出された特徴に基づいて、前記感知データから感知された１つまたは複数の交通参加者の行動を予測することと、
    前記１つまたは複数の交通参加者の前記予測された行動に基づいて、前記ＡＤＶを制御して前記走行環境でナビゲートするための軌跡を計画することを含む、データ処理システム。
  16. 請求項１５に記載のデータ処理システムにおいて、
    前記１つまたは複数の対象は、前記地図画像から取得された前記対象の形または色相のうちの少なくとも一つに基づいて認識される、データ処理システム。
  17. 請求項１６に記載のデータ処理システムにおいて、
    前記１つまたは複数の対象は、１つまたは複数の道路のクロスロードを示す、データ処理システム。
  18. 請求項１６に記載のデータ処理システムにおいて、
    前記１つまたは複数の対象は、１つまたは複数の道路に接続されたラウンドアバウトを示す、データ処理システム。
  19. 請求項１６に記載のデータ処理システムにおいて、
    前記１つまたは複数の対象は、道路に沿う駐車場を示す、データ処理システム。
  20. 請求項１５に記載のデータ処理システムにおいて、
    前記１つまたは複数の特徴を抽出することは、
    前記地図画像に基づいて道路の曲率を推定することを含む、データ処理システム。
  21. 請求項１５に記載のデータ処理システムにおいて、
    前記１つまたは複数の特徴を抽出することは、
    前記地図画像が道路標識を含んでいなくても、前記対象の種類に基づいて、可能な前記道路標識を予測することを含む、データ処理システム。
JP2018515296A 2017-06-22 2017-06-22 自律走行のための地図画像に基づく交通予測 Active JP6720296B2 (ja)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/CN2017/089488 WO2018232681A1 (en) 2017-06-22 2017-06-22 TRAFFIC PREDICTION BASED ON CARD IMAGES FOR AUTONOMOUS DRIVING

Publications (2)

Publication Number Publication Date
JP2019527862A true JP2019527862A (ja) 2019-10-03
JP6720296B2 JP6720296B2 (ja) 2020-07-08

Family

ID=64692699

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2018515296A Active JP6720296B2 (ja) 2017-06-22 2017-06-22 自律走行のための地図画像に基づく交通予測

Country Status (6)

Country Link
US (1) US11367354B2 (ja)
EP (1) EP3437022A4 (ja)
JP (1) JP6720296B2 (ja)
KR (1) KR102093047B1 (ja)
CN (1) CN109429518B (ja)
WO (1) WO2018232681A1 (ja)

Families Citing this family (45)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6773223B2 (ja) * 2017-06-20 2020-10-21 日産自動車株式会社 走行制御方法及び走行制御装置
US10019011B1 (en) * 2017-10-09 2018-07-10 Uber Technologies, Inc. Autonomous vehicles featuring machine-learned yield model
US10752249B2 (en) * 2018-03-14 2020-08-25 Toyota Research Institute, Inc. Vehicle systems and methods for providing turn assistance at an intersection
US11602999B1 (en) * 2018-05-01 2023-03-14 Zoox, Inc. Predictive control strategies for vehicles
US10816979B2 (en) * 2018-08-24 2020-10-27 Baidu Usa Llc Image data acquisition logic of an autonomous driving vehicle for capturing image data using cameras
US10747230B2 (en) * 2018-10-08 2020-08-18 Mando Corporation Vehicle control apparatus, vehicle control system, and image sensor
US11167751B2 (en) * 2019-01-18 2021-11-09 Baidu Usa Llc Fail-operational architecture with functional safety monitors for automated driving system
EP3707469B1 (en) * 2019-01-30 2023-10-11 Baidu.com Times Technology (Beijing) Co., Ltd. A point clouds registration system for autonomous vehicles
CN111771206A (zh) * 2019-01-30 2020-10-13 百度时代网络技术（北京）有限公司 用于自动驾驶车辆的地图分区系统
EP3696786B1 (en) * 2019-02-13 2023-12-13 Volkswagen Aktiengesellschaft System, vehicle, network component, apparatuses, methods, and computer programs for a vehicle and a network component
CN109801508B (zh) * 2019-02-26 2021-06-04 百度在线网络技术（北京）有限公司 路口处障碍物的运动轨迹预测方法及装置
FR3093690B1 (fr) * 2019-03-14 2021-02-19 Renault Sas Procédé de sélection pour un véhicule automobile d’une voie de circulation d’un rond-point
US11155258B2 (en) * 2019-03-25 2021-10-26 GM Global Technology Operations LLC System and method for radar cross traffic tracking and maneuver risk estimation
CN112041773A (zh) * 2019-03-29 2020-12-04 百度时代网络技术（北京）有限公司 自动驾驶车辆的规划和控制之间的通信协议
EP3726497A1 (en) * 2019-04-15 2020-10-21 Zenuity AB Autonomous decisions in traffic situations with planning control
US11183059B2 (en) * 2019-04-22 2021-11-23 Baidu Usa Llc Parking management architecture for parking autonomous driving vehicles
KR102206512B1 (ko) 2019-05-10 2021-01-22 재단법인대구경북과학기술원 이동로봇의 센서 데이터를 활용한 교차점 패턴 인식모델 생성 방법 및 교차점 패턴 인식 시스템
KR102349159B1 (ko) * 2019-05-21 2022-01-10 엘지전자 주식회사 경로 제공 장치 및 그것의 경로 제공 방법
CN110162062B (zh) * 2019-06-10 2023-04-18 阿波罗智联(北京)科技有限公司 车辆行驶规划方法、装置、设备和可读存储介质
CN110288835B (zh) * 2019-06-28 2021-08-17 江苏大学 一种基于运动学预测补偿机制的周边车辆行为实时识别方法
US11704913B2 (en) * 2019-07-02 2023-07-18 Baidu Usa Llc Method for automatically labeling objects in past frames based on object detection of a current frame for autonomous driving
US11136048B2 (en) * 2019-07-22 2021-10-05 Baidu Usa Llc System for sensor synchronization data analysis in an autonomous driving vehicle
JP2021043707A (ja) * 2019-09-11 2021-03-18 本田技研工業株式会社 車両制御装置、車両制御方法、およびプログラム
US11591012B2 (en) * 2019-10-01 2023-02-28 Robert Bosch Gmbh Vehicle trajectory prediction using road topology and traffic participant object states
US11310269B2 (en) * 2019-10-15 2022-04-19 Baidu Usa Llc Methods to detect spoofing attacks on automated driving systems
CN110716552A (zh) * 2019-11-11 2020-01-21 朱云 汽车，火车，地铁以及飞机新型驾驶系统
CN112987707A (zh) * 2019-11-29 2021-06-18 北京京东乾石科技有限公司 一种车辆的自动驾驶控制方法及装置
US11891087B2 (en) 2019-12-20 2024-02-06 Uatc, Llc Systems and methods for generating behavioral predictions in reaction to autonomous vehicle movement
US20210284195A1 (en) * 2020-03-13 2021-09-16 Baidu Usa Llc Obstacle prediction system for autonomous driving vehicles
JP7355930B2 (ja) * 2020-03-26 2023-10-03 バイドゥドットコム タイムズ テクノロジー （ベイジン） カンパニー リミテッド 自動運転システム内の慣性ナビゲーションシステムの時間決定
US11613275B2 (en) * 2020-04-27 2023-03-28 Baidu Usa Llc Grayscale-based camera perception
US11698639B2 (en) * 2020-06-04 2023-07-11 Waymo Llc Predicting jaywalking behaviors of vulnerable road users
CN111860227B (zh) * 2020-06-30 2024-03-08 阿波罗智能技术(北京)有限公司 训练轨迹规划模型的方法、装置和计算机存储介质
US11748995B2 (en) 2020-09-29 2023-09-05 Toyota Research Institute, Inc. Object state tracking and prediction using supplemental information
CN114475642B (zh) * 2020-11-12 2023-12-05 上海海拉电子有限公司 一种面向自动驾驶的路口检测预警方法
CN112950972B (zh) * 2021-01-25 2022-07-01 广州小鹏自动驾驶科技有限公司 一种停车场地图构建方法、装置、设备和介质
CN112885132A (zh) * 2021-01-27 2021-06-01 安徽蓝鸟智能停车科技产业化有限公司 一种基于ai无人驾驶智能调度系统及自动驾驶方法
CN113119996B (zh) * 2021-03-19 2022-11-08 京东鲲鹏(江苏)科技有限公司 一种轨迹预测方法、装置、电子设备及存储介质
CN113096427B (zh) * 2021-03-30 2022-08-26 北京三快在线科技有限公司 一种信息显示方法及装置
KR102507973B1 (ko) * 2021-04-28 2023-03-08 주식회사 한화 무인 반송 차량 및 이의 동작 방법
KR102549744B1 (ko) * 2021-07-12 2023-06-29 숭실대학교 산학협력단 심층강화학습기반 자율주행차를 이용한 도로정보시스템에서의 도로 흐름 제어 방법, 이를 수행하기 위한 기록 매체 및 장치
CN113815645A (zh) * 2021-09-14 2021-12-21 江苏大学 一种适用于环形交叉口的自动驾驶行为决策系统与运动规划方法
CN114049615B (zh) * 2021-11-12 2023-09-05 阿波罗智联(北京)科技有限公司 行驶环境中交通对象融合关联方法、装置及边缘计算设备
CN114758311B (zh) * 2022-06-14 2022-09-02 北京航空航天大学 一种基于异质特征融合的交通流量预测方法及系统
CN116168370B (zh) * 2023-04-24 2023-07-18 北京数字政通科技股份有限公司 一种自动驾驶数据识别方法及其系统

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006309445A (ja) * 2005-04-27 2006-11-09 Aisin Aw Co Ltd 運転支援装置
US20080162027A1 (en) * 2006-12-29 2008-07-03 Robotic Research, Llc Robotic driving system
JP2016149132A (ja) * 2015-02-12 2016-08-18 ホンダ リサーチ インスティテュート ヨーロッパ ゲーエムベーハーＨｏｎｄａ Ｒｅｓｅａｒｃｈ Ｉｎｓｔｉｔｕｔｅ Ｅｕｒｏｐｅ ＧｍｂＨ 乗り物のドライバ支援システムにおける予測のためのシステムおよび方法
WO2016129234A1 (ja) * 2015-02-09 2016-08-18 株式会社デンソー 車両用表示制御装置及び車両用表示制御方法
US9523984B1 (en) * 2013-07-12 2016-12-20 Google Inc. Methods and systems for determining instructions for pulling over an autonomous vehicle
JP2017097906A (ja) * 2012-09-05 2017-06-01 グーグル インコーポレイテッド 複数の情報源を用いる建設区域検出

Family Cites Families (41)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP0290633B1 (de) 1987-05-09 1989-11-02 Carl Schenck Ag Verfahren zum Erkennen von Änderungen in Fahrraum eines unbemannten Fahrzeuges
JP3898709B2 (ja) 2004-05-19 2007-03-28 本田技研工業株式会社 車両用走行区分線認識装置
KR20060134719A (ko) 2005-06-23 2006-12-28 주식회사 만도 차량의 주차 구획 인식방법
JP4257661B2 (ja) * 2006-06-30 2009-04-22 アイシン・エィ・ダブリュ株式会社 ナビゲーション装置
US8751154B2 (en) * 2008-04-24 2014-06-10 GM Global Technology Operations LLC Enhanced clear path detection in the presence of traffic infrastructure indicator
CN101608924B (zh) 2009-05-20 2011-09-14 电子科技大学 一种基于灰度估计和级联霍夫变换的车道线检测方法
JP5441626B2 (ja) * 2009-11-06 2014-03-12 日立オートモティブシステムズ株式会社 車載用マルチアプリ実行装置
US8509982B2 (en) * 2010-10-05 2013-08-13 Google Inc. Zone driving
US8195394B1 (en) 2011-07-13 2012-06-05 Google Inc. Object detection and classification for autonomous vehicles
US8655586B2 (en) 2011-12-28 2014-02-18 Toyota Motor Engineering & Manufacturing North America, Inc. Intelligent range map for an electric vehicle
CN103226354A (zh) * 2013-02-27 2013-07-31 广东工业大学 基于光电导航的无人驾驶道路识别系统
US9145139B2 (en) * 2013-06-24 2015-09-29 Google Inc. Use of environmental information to aid image processing for autonomous vehicles
US20150106010A1 (en) 2013-10-15 2015-04-16 Ford Global Technologies, Llc Aerial data for vehicle navigation
US9988047B2 (en) * 2013-12-12 2018-06-05 Magna Electronics Inc. Vehicle control system with traffic driving control
US9395192B1 (en) * 2013-12-20 2016-07-19 Google Inc. Methods and systems for road and lane boundary tracing
DE102014007914A1 (de) * 2014-05-27 2015-12-03 Elektrobit Automotive Gmbh Graphisches Darstellen von Straßen und Routen unter Benutzung von Hardware-Tesselierung
US10317231B2 (en) 2014-06-10 2019-06-11 Mobileye Vision Technologies Ltd. Top-down refinement in lane marking navigation
JP6096723B2 (ja) 2014-07-11 2017-03-15 株式会社日本自動車部品総合研究所 走行区画線認識装置及び走行区画線認識プログラム
US10632917B2 (en) 2014-08-12 2020-04-28 Sony Corporation Signal processing device, signal processing method, and monitoring system
KR101610502B1 (ko) * 2014-09-02 2016-04-07 현대자동차주식회사 자율주행차량의 주행환경 인식장치 및 방법
US9870617B2 (en) * 2014-09-19 2018-01-16 Brain Corporation Apparatus and methods for saliency detection based on color occurrence analysis
DE102014224810B4 (de) 2014-12-03 2019-05-23 Elektrobit Automotive Gmbh Navigationssystem
US9528838B2 (en) * 2014-12-09 2016-12-27 Toyota Motor Engineering & Manufacturing North America, Inc. Autonomous vehicle detection of and response to intersection priority
US9576200B2 (en) * 2014-12-17 2017-02-21 Toyota Motor Engineering & Manufacturing North America, Inc. Background map format for autonomous driving
WO2016118499A1 (en) * 2015-01-19 2016-07-28 The Regents Of The University Of Michigan Visual localization within lidar maps
KR101621649B1 (ko) 2015-01-28 2016-05-16 한양대학교 산학협력단 동적 장애물에 대한 위치 분포 정보 생성 방법, 위치 분포 정보를 이용한 차량 제어 방법 및 시스템
KR102623680B1 (ko) * 2015-02-10 2024-01-12 모빌아이 비젼 테크놀로지스 엘티디. 자율 주행을 위한 약도
JP6025273B2 (ja) * 2015-03-17 2016-11-16 富士重工業株式会社 車両の走行制御装置
US9711050B2 (en) * 2015-06-05 2017-07-18 Bao Tran Smart vehicle
US9632502B1 (en) * 2015-11-04 2017-04-25 Zoox, Inc. Machine-learning systems and techniques to optimize teleoperation and/or planner decisions
US10255523B2 (en) * 2015-11-16 2019-04-09 Orbital Insight, Inc. Moving vehicle detection and analysis using low resolution remote sensing imagery
US10242455B2 (en) * 2015-12-18 2019-03-26 Iris Automation, Inc. Systems and methods for generating a 3D world model using velocity data of a vehicle
CN105718872B (zh) * 2016-01-15 2020-02-04 武汉光庭科技有限公司 两侧车道快速定位及检测车辆偏转角度的辅助方法及系统
US10026309B1 (en) * 2016-04-11 2018-07-17 State Farm Mutual Automobile Insurance Company Networked vehicle control systems to facilitate situational awareness of vehicles
US9672446B1 (en) * 2016-05-06 2017-06-06 Uber Technologies, Inc. Object detection for an autonomous vehicle
US20170329332A1 (en) * 2016-05-10 2017-11-16 Uber Technologies, Inc. Control system to adjust operation of an autonomous vehicle based on a probability of interference by a dynamic object
CN106097444B (zh) * 2016-05-30 2017-04-12 百度在线网络技术（北京）有限公司 高精地图生成方法和装置
CN205992299U (zh) * 2016-08-25 2017-03-01 泉州理工职业学院 一种道路交通标志自动识别系统
CN106384506B (zh) 2016-09-03 2019-07-12 湖北鑫美企业发展股份有限公司 一种多车辆复杂路段的道路监控系统
US9953236B1 (en) * 2017-03-10 2018-04-24 TuSimple System and method for semantic segmentation using dense upsampling convolution (DUC)
US10438074B2 (en) * 2017-06-14 2019-10-08 Baidu Usa Llc Method and system for controlling door locks of autonomous driving vehicles based on lane information

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006309445A (ja) * 2005-04-27 2006-11-09 Aisin Aw Co Ltd 運転支援装置
US20080162027A1 (en) * 2006-12-29 2008-07-03 Robotic Research, Llc Robotic driving system
JP2017097906A (ja) * 2012-09-05 2017-06-01 グーグル インコーポレイテッド 複数の情報源を用いる建設区域検出
US9523984B1 (en) * 2013-07-12 2016-12-20 Google Inc. Methods and systems for determining instructions for pulling over an autonomous vehicle
WO2016129234A1 (ja) * 2015-02-09 2016-08-18 株式会社デンソー 車両用表示制御装置及び車両用表示制御方法
JP2016149132A (ja) * 2015-02-12 2016-08-18 ホンダ リサーチ インスティテュート ヨーロッパ ゲーエムベーハーＨｏｎｄａ Ｒｅｓｅａｒｃｈ Ｉｎｓｔｉｔｕｔｅ Ｅｕｒｏｐｅ ＧｍｂＨ 乗り物のドライバ支援システムにおける予測のためのシステムおよび方法

Also Published As

Publication number Publication date
CN109429518A (zh) 2019-03-05
CN109429518B (zh) 2022-10-28
US11367354B2 (en) 2022-06-21
JP6720296B2 (ja) 2020-07-08
KR102093047B1 (ko) 2020-03-24
WO2018232681A1 (en) 2018-12-27
EP3437022A1 (en) 2019-02-06
US20180374360A1 (en) 2018-12-27
KR20190013688A (ko) 2019-02-11
EP3437022A4 (en) 2019-02-06

Similar Documents

Publication Publication Date Title
JP6720296B2 (ja) 自律走行のための地図画像に基づく交通予測
JP6738932B2 (ja) シミュレーションプラットフォームに配置された、機械学習モデルを訓練するためのシステム及び方法
JP6754856B2 (ja) 自動運転車両のためのセンサー集約フレームワーク
JP6499806B2 (ja) 自律走行車のステアリング率の動的調整
JP6975512B2 (ja) 自動運転車両の周辺車両の挙動に基づくリアルタイム感知調整と運転調整
JP6811282B2 (ja) 自動運転車に用いられる自動データラベリング
KR102078488B1 (ko) 차량 주변의 컨텍스트에 기초하여 차량의 하나 이상의 궤적을 예측하는 방법 및 시스템
JP6832421B2 (ja) シミュレーションに基づく自動運転車の感知要求の評価方法
JP6748244B2 (ja) 自動運転車に用いられる学習に基づく速度計画装置
KR102070527B1 (ko) 자율 주행 차량 교통 예측에서 예측되는 궤적에 대한 평가 프레임 워크
KR102062608B1 (ko) 자율 주행 차량의 제어 피드백에 기초한 맵 업데이트 방법 및 시스템
JP6684345B2 (ja) 自律走行車の走行を決定するための周辺環境を構築する方法及びシステム
JP6588592B2 (ja) 自動運転車両に用いられる衝突予測及びエアバッグ事前展開システム
JP6972150B2 (ja) 自動運転車両のための歩行者確率予測システム
CN110621541B (zh) 用于生成轨迹以操作自动驾驶车辆的方法和系统
JP7116065B2 (ja) 自律走行車に用いられるトンネルに基づく計画システム
KR20210069111A (ko) 자율 주행 차량의 저속 정경을 위한 보행자 상호 작용 시스템
JP2019500661A (ja) 自律走行車を完全に停止させるための速度制御
JP2018116705A (ja) ブレーキライトを利用して自動運転車両と追従車両との間の距離を保持する方法
JP2018158719A (ja) 自動運転車両に用いられる制御型の計画と制御システム
CN109085818B (zh) 基于车道信息控制自动驾驶车辆的车门锁的方法和系统
JP2021511998A (ja) 自動運転車両のための螺旋曲線に基づく垂直駐車計画システム
CN111103876A (zh) 自动驾驶车辆的基于雷达通信的扩展感知
KR102247168B1 (ko) 자율 주행 차량 내 비 회피 계획 시스템의 장애물 필터링 방법
KR102223350B1 (ko) 자율 주행의 셀프 리버스 차선을 위한 상호 회피 알고리즘

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20180316

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20180316

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20190927

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20191223

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20200602

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20200617

R150 Certificate of patent or registration of utility model

Ref document number: 6720296

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313113

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250