JP2019504373A - 車両の周囲の状況に基づいて車両の一つ又は複数の軌跡を予測する方法とシステム - Google Patents

車両の周囲の状況に基づいて車両の一つ又は複数の軌跡を予測する方法とシステム Download PDF

Info

Publication number
JP2019504373A
JP2019504373A JP2018517765A JP2018517765A JP2019504373A JP 2019504373 A JP2019504373 A JP 2019504373A JP 2018517765 A JP2018517765 A JP 2018517765A JP 2018517765 A JP2018517765 A JP 2018517765A JP 2019504373 A JP2019504373 A JP 2019504373A
Authority
JP
Japan
Prior art keywords
vehicle
recognized
information
group
trajectories
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2018517765A
Other languages
English (en)
Other versions
JP6684346B2 (ja
Inventor
シーユァン ファン
シーユァン ファン
イーシュアン ヤン
イーシュアン ヤン
ジンハオ ミャオ
ジンハオ ミャオ
リーユィン リー
リーユィン リー
リャンリャン ヂャン
リャンリャン ヂャン
ジンガオ ワン
ジンガオ ワン
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Baidu USA LLC
Original Assignee
Baidu USA LLC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Baidu USA LLC filed Critical Baidu USA LLC
Publication of JP2019504373A publication Critical patent/JP2019504373A/ja
Application granted granted Critical
Publication of JP6684346B2 publication Critical patent/JP6684346B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W60/00—Drive control systems specially adapted for autonomous road vehicles
    • B60W60/001—Planning or execution of driving tasks
    • B60W60/0027—Planning or execution of driving tasks using trajectory prediction for other traffic participants
    • B60W60/00276—Planning or execution of driving tasks using trajectory prediction for other traffic participants for two or more other traffic participants
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W60/00—Drive control systems specially adapted for autonomous road vehicles
    • B60W60/001—Planning or execution of driving tasks
    • B60W60/0027—Planning or execution of driving tasks using trajectory prediction for other traffic participants
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/20—Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor
    • B60K35/28—Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor characterised by the type of the output information, e.g. video entertainment or vehicle dynamics information; characterised by the purpose of the output information, e.g. for attracting the attention of the driver
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W30/00—Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units
    • B60W30/08—Active safety systems predicting or avoiding probable or impending collision or attempting to minimise its consequences
    • B60W30/095—Predicting travel path or likelihood of collision
    • B60W30/0956—Predicting travel path or likelihood of collision the prediction being responsive to traffic or environmental parameters
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/0097—Predicting future conditions
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W60/00—Drive control systems specially adapted for autonomous road vehicles
    • B60W60/001—Planning or execution of driving tasks
    • B60W60/0027—Planning or execution of driving tasks using trajectory prediction for other traffic participants
    • B60W60/00274—Planning or execution of driving tasks using trajectory prediction for other traffic participants considering possible movement changes
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0212—Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0287—Control of position or course in two dimensions specially adapted to land vehicles involving a plurality of land vehicles, e.g. fleet or convoy travelling
    • G05D1/0289—Control of position or course in two dimensions specially adapted to land vehicles involving a plurality of land vehicles, e.g. fleet or convoy travelling with means for avoiding collisions between vehicles
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/044—Recurrent networks, e.g. Hopfield networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/16—Anti-collision systems
    • G08G1/166—Anti-collision systems for active traffic, e.g. moving vehicles, pedestrians, bikes
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2360/00—Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
    • B60K2360/16—Type of output information
    • B60K2360/175—Autonomous driving
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W2050/0001—Details of the control system
    • B60W2050/0019—Control system elements or transfer functions
    • B60W2050/0028—Mathematical models, e.g. for simulation
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2420/00—Indexing codes relating to the type of sensors based on the principle of their operation
    • B60W2420/40—Photo, light or radio wave sensitive means, e.g. infrared sensors
    • B60W2420/403—Image sensing, e.g. optical camera
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2420/00—Indexing codes relating to the type of sensors based on the principle of their operation
    • B60W2420/40—Photo, light or radio wave sensitive means, e.g. infrared sensors
    • B60W2420/408—Radar; Laser, e.g. lidar
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2420/00—Indexing codes relating to the type of sensors based on the principle of their operation
    • B60W2420/54—Audio sensitive means, e.g. ultrasound
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2552/00—Input parameters relating to infrastructure
    • B60W2552/30—Road curve radius
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2552/00—Input parameters relating to infrastructure
    • B60W2552/35—Road bumpiness, e.g. potholes
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2552/00—Input parameters relating to infrastructure
    • B60W2552/53—Road markings, e.g. lane marker or crosswalk
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2554/00—Input parameters relating to objects
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2554/00—Input parameters relating to objects
    • B60W2554/20—Static objects
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2554/00—Input parameters relating to objects
    • B60W2554/40—Dynamic objects, e.g. animals, windblown objects
    • B60W2554/402—Type
    • B60W2554/4026—Cycles
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2554/00—Input parameters relating to objects
    • B60W2554/40—Dynamic objects, e.g. animals, windblown objects
    • B60W2554/402—Type
    • B60W2554/4029—Pedestrians
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2554/00—Input parameters relating to objects
    • B60W2554/40—Dynamic objects, e.g. animals, windblown objects
    • B60W2554/404—Characteristics
    • B60W2554/4044—Direction of movement, e.g. backwards
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2554/00—Input parameters relating to objects
    • B60W2554/40—Dynamic objects, e.g. animals, windblown objects
    • B60W2554/406—Traffic density
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2554/00—Input parameters relating to objects
    • B60W2554/80—Spatial relation or speed relative to objects
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2555/00—Input parameters relating to exterior conditions, not covered by groups B60W2552/00, B60W2554/00
    • B60W2555/20—Ambient conditions, e.g. wind or rain
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2556/00—Input parameters relating to data
    • B60W2556/10—Historical data

Landscapes

  • Engineering & Computer Science (AREA)
  • Automation & Control Theory (AREA)
  • Physics & Mathematics (AREA)
  • Mechanical Engineering (AREA)
  • Transportation (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Theoretical Computer Science (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Health & Medical Sciences (AREA)
  • Data Mining & Analysis (AREA)
  • Biomedical Technology (AREA)
  • Software Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Computing Systems (AREA)
  • Molecular Biology (AREA)
  • General Health & Medical Sciences (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Mathematical Physics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Chemical & Material Sciences (AREA)
  • Combustion & Propulsion (AREA)
  • Traffic Control Systems (AREA)
  • Business, Economics & Management (AREA)
  • Game Theory and Decision Science (AREA)
  • Medical Informatics (AREA)
  • Control Of Driving Devices And Active Controlling Of Vehicle (AREA)

Abstract

自動運転車両の周囲の環境を感知して付近の一つ又は複数の車両を認識する。認識された車両ごとについて、認識された車両の現在位置に基づいて、認識された車両に加えられる物理的制約を限定する車両の周囲の情報を含む車両無関係情報を取得して認識された車両の周囲の状況を決定する。認識された車両ごとについて、少なくとも部分的に認識された車両に関連する車両無関係情報に基づいて認識された車両の一つ又は複数の軌跡を予測する。一つ又は複数の認識された車両の前記一つ又は複数の予測軌跡に基づいて自動運転車両を制御する。
【選択図】図１

Description

本発明の実施形態は、主に自動運転車両の操作に関する。具体的に、本発明の実施形態は車両の周囲の状況に基づいて車両の軌跡を予測することに関する。
自動運転モード（例えば、セルフドライブ）で操作される車両は、乗員、特に運転者を運転に関する責任から解放することができる。自動モードで操作される際に、車両は車載センサを利用して各位置まで案内することができ、車両が最も少ないヒューマンコンピュータインタラクションで、或いは乗客が一人もいない場合に走行することが許される。
人間が運転する時に各種の決断を行うことと同様に、自動運転車両は、常に実際の周囲環境に応じて即時の運転決断を行う必要がある。周囲環境は、特定の運転条件、周囲の障害物及び交通状況を含むことができる。 このような環境は、いつも車両の運動に影響し、且つ車両の当該環境において行う次の操作を決定し又は認識し難い可能性がある。ところが、人間は例えば肉眼を使用することにより困難を容易に認識し解決することができる。残念ながら、これは自動運転車両に対して挑戦性を有する恐れがある。
本発明の実施形態は、図面の各図に制限ではなく、例示的に示される。図面における同一の符号は類似の要素を示す。
本発明の一実施形態によるネットワークシステムを示すブロック図である。 本発明の一実施形態による自動運転車両の例示を示したブロック図である。 本発明の一実施形態による、自動運転車両と共に使用される感知／企画システムの例示を示したブロック図である。 本発明の一実施形態による機器学習モデルの例示を示した図である。 本発明の一実施形態による別の機器学習モデルの例示を示した図である。 本発明の一実施形態による別の機器学習モデルの例示を示した図である。 本発明の一実施形態による自動運転車両を操作するプロセスを示したフローチャートである。 本発明の一実施形態による運転シーンを示した例示である。 一実施形態によるデータ処理システムを示したブロック図である。
以下に論述される詳細を参照して本発明の各実施形態と局面を説明する。図面に前記各実施形態が示された。下記の記載及び図面は、本発明の説明であり、本発明に対する制限ではありません。多くの特定の詳細を説明して本発明の各実施形態に対する全面的な理解を提供させる。ところが、幾つかの場合に、周知的又は常用の詳細を説明せずに本発明に対する実施形態の簡単な論述を提供させる。
本明細書に言及された「一実施形態」又は「実施形態」は、当該実施形態と組合わせて説明される特定な特徴、構成又は特性が本発明の少なくとも一つの実施形態に含まれることが可能であることを意味する。「一実施形態において」という用語の本明細書の各箇所における出現は、全てが同一の実施形態を意味するわけではない。
幾つかの実施形態によれば、自動運転車両のモデルを構築する場合に、システムは、自動運転車両の運転環境を感知して運転環境を理解し、安全的且つ適当な策定を行って人間の思考の過程を模擬する。例えば、システムは、運転環境を感知し又はスキャンして自動運転車両の付近の一つ又は複数の車両を認識する。認識された車両のそれぞれについて、システムは認識された車両の現在位置を取得する。当該現在位置を使用することにより、システムは認識された車両の周囲の状況情報を取得することができる。状況情報は、認識された車両の運動の自由度に影響する要素であっても良い。システムは、認識された車両の軌跡予測結果を訓練し提供するために、状況情報を機器学習モデル（例えば再帰ニューラルネットワーク（ＲＮＮ）モデル）に提供することにより、自動運転車両が予測結果に基づいて安全で適当な運転策定を行うことを許す。
一実施形態において、自動運転車両の周囲環境を感知して近くの一つ又は複数の車両を認識する。認識された車両のそれぞれについて、認識された車両の現在位置に基づいて、車両無関係情報を取得して認識された車両の周囲の状況を決定する。なお、車両無関係情報には、認識された車両に加えられる物理的制約を限定する車両周囲情報が含まれる。少なくとも認識された車両に関連する車両無関係情報の一部に基づいて認識された車両の一つ又は複数の軌跡を予測する。一つ又は複数の認識された車両の一つ又は複数の予測軌跡に基づいて自動運転車両を制御する。
図１は、本発明の一実施形態による自動運転車両のネットワーク構造を示したブロック図である。図１を参照し、ネットワーク構造１００は、ネットワーク１０２を介して一つ又は複数のサーバ１０３〜１０４と通信可能に接続できる自動運転車両１０１を具備する。一つの自動運転車両が示されたが、複数の自動運転車両は互いにネットワーク１０２を介して接続されても良く、及び／又はサーバ１０３〜１０４に接続されても良い。ネットワーク１０２は、任意のタイプのネットワーク、例えば、有線又は無線のローカルエリアネットワーク（ＬＡＮ）、インターネットのような広域ネットワーク（ＷＡＮ）、セルラーネットワーク、衛星ネットワーク或いはそれらの組み合わせであっても良い。サーバ１０３〜１０４は、任意のタイプのサーバ又はサーバグループ、例えば、ネットワーク又はクラウドサーバ、アプリサーバ、ブラックグランドサーバ或いはそれらの組み合わせであっても良い。サーバ１０３〜１０４は、データ解析サーバ、コンテンツサーバ、交通情報サーバ、地図及び興味のある点（ＭＰＯＩ）サーバ或いは位置サーバなどであっても良い。
自動運転車両は自動運転モードに配置可能な車両であっても良い。前記自動運転モードにおいて、車両はドライバーからの入力が無く、或いは非常に少ない場合に環境を案内して通過する。このような自動運転車両はセンサシステムを具備しても良く、前記センサシステムは車両の走行環境に関する情報を検出するように配置される一つ又は複数のセンサを具備する。前記車両と関連するコントローラは、検出された情報を利用して前記環境を案内する。自動運転車両１０１は、マニュアルモード、全自動運転モード或いは一部の自動運転モードにおいて走行可能である。
一実施形態において、自動運転車両１０１は、感知／企画システム１１０、車両制御システム１１１、無線通信システム１１２、ユーザインターフェースシステム１１３及びセンサシステム１１４を含むが、それらに限定されない。自動運転車両１０１は更に通常の車両に含まれる幾つかの常用部品、例えばエンジン、車輪、ハンドル、変速機などを含んでも良い。前記部品は車両制御システム１１１及び／又は感知／企画システム１１０により複数の通信信号及び／又は指令を使用して制御されても良い。当該複数の通信信号及び／又は指令は例えば加速信号又は指令、減速信号又は指令、操舵信号又は指令、制動信号又は指令などである。
部品１１０〜１１４は、インターコネクタ、バス、ネットワーク或いはそれらの組み合わせを介して通信可能に互いに接続されても良い。例えば、部品１１０〜１１４は、コントローラローカルエリアネットワーク（ＣＡＮ）バスを介して通信可能に互いに接続されても良い。ＣＡＮバスは、マイクロコントローラと装置がホストコンピュータのないアプリにおいて互いに通信することを許すように設定される車両バス基準である。それは最初に車両内におけるマルチプレックス電気配線の設計に用いられる、メッセージによるプロトコルであるが、他の環境にも広く用いられる。
図２を参考し、一実施形態において、センサシステム１１４は一つ又は複数のカメラ２１１、グローバルポジションシステム（ＧＰＳ）ユニット２１２、慣性測定ユニット（ＩＭＵ）２１３、レーダユニット２１４及び光学探測／距離測定（ＬＩＤＡＲ）ユニット２１５を含むが、それらに限定されない。ＧＰＳシステム２１２は送受信機を含むことができる。前記送受信機は、操作により自動運転車両の位置に関する情報を提供可能である。ＩＭＵユニット２１３は慣性加速度に基いて自動運転車両の位置及び方向変化を探測することができる。レーダユニット２１４は、無線電気信号を利用して自動運転車両のローカル環境における目標を感知するシステムとして表すことができる。幾つかの実施形態において、目標の感知以外、レーダユニット２１４は、付加的に目標の速度及び／又は進行方向も感知することができる。ＬＩＤＡＲユニット２１５は、レーザを使用して自動運転車両の位置する環境における目標を感知することができる。他のシステム部品以外に、ＬＩＤＡＲユニット２１５は更に一つ又は複数のレーザ光源、レーザスキャナ及び一つ又は複数の検出器を含んでも良い。カメラ２１１は、自動運転車両の周囲環境の画像を取得する一つ又は複数の装置を含んでも良い。カメラ２１１は静止物カメラ及び／又はビデオカメラであっても良い。カメラは機械的に移動できるものであっても良く、例えば、カメラを回転的及び／又は傾斜的な仕事台に装着することができる。
センサシステム１１４には、他のセンサ、例えばソナーセンサ、赤外線センサ、操舵センサ、アクセルセンサ、ブレーキセンサ及びラジオセンサ（例えば、マイクロフォン）が含まれても良い。ラジオセンサは、自動運転車両の周囲の環境から音声を取得するように配置されても良い。操舵センサはハンドル、車両の車輪又はそれらの組み合わせの操舵角を検出するように配置されても良い。アクセルセンサとブレーキセンサはそれぞれ車両のアクセル位置とブレーキ位置を検出する。ある場合に、アクセルセンサとブレーキセンサは集積型のアクセル／ブレーキセンサとして集積されても良い。
一実施形態において、車両制御システム１１１は操舵ユニット２０１、アクセルユニット２０２（加速ユニットとも呼ばれる）とブレーキユニット２０３を含むが、それらに限定されない。操舵ユニット２０１は車両の方向又は進行方向を調整するために用いられる。アクセルユニット２０２は電動機又はエンジンの速度を制御するために用いられ、電動機又はエンジンの速度は更に車両の速度と加速度を制御するために用いられる。ブレーキユニット２０３は、摩擦を提供して車両の車輪又はタイヤを減速させることにより車両を減速させる。注意すべきなのは、図２に示された部品はハードウェア、ソフトウェア或いはそれらの組み合わせで実施することができる。
図１に戻し、無線通信システム１１２は、自動運転車両１０１と装置、センサ、他の車両などのような外部システムとの通信を許す。例えば、無線通信システム１１２は、一つ又は複数の装置と直接的に無線通信しても良く、或いは通信ネットワークを経由して無線通信し、例えばネットワーク１０２を経由してサーバ１０３〜１０４と通信しても良い。無線通信システム１１２は、如何なるセルラー通信ネットワーク又は無線ローカルエリアネットワーク（ＷＬＡＮ）、例えばＷｉＦｉを使用して他の部品又はシステムと通信することができる。無線通信システム１１２は、例えば赤外線リンク、ブルートゥースなどを使用して装置（例えば、乗客の携帯装置、表示装置、車両１０１内のスピーカ）と直接的に通信する。ユーザインターフェースシステム１１３は、車両１０１内に実施される周辺機器の部分であっても良く、例えばキーワード、タッチパネル表示装置、マイクロフォン及びスピーカなどを含む。
自動運転車両１０１の機能のうちの一部又は全部は、特に自動運転モードで操作される場合に、感知／企画システム１１０により制御し又は管理されることができる。感知／企画システム１１０は、センサシステム１１４、制御システム１１１、無線通信システム１１２及び／又はユーザインターフェースシステム１１３から情報を受信し、受信された情報を処理し、開始点から目標点までの路線又は経路を企画した後に、企画と制御情報に基づいて車両１０１を運転するように、必要なハードウェア（例えば、プロセッサ、メモリ、記憶デバイス）とソフトウェア（例えば、操作システム、企画と路線設定プログラム）を含む。その代わりに、感知／企画システム１１０は車両制御システム１１１と一体に集積されても良い。
例えば、乗客であるユーザは、例えばユーザインターフェースを介してトリップの開始位置と目標地を指定することができる。感知／企画システム１１０はトリップに関連するデータを取得する。例えば、感知／企画システム１１０は、ＭＰＯＩサーバから位置と路線情報を取得することができる。前記ＭＰＯＩサーバはサーバ１０３〜１０４の一部であっても良い。位置サーバは位置サービスを提供し、ＭＰＯＩサーバは地図サービスとある位置のＰＯＩを提供する。その代わりに、このような位置とＭＰＯＩ情報は、ローカルに感知／企画システム１１０の非揮発的な記憶装置にキャッシュされても良い。
自動運転車両１０１が路線に沿って移動している場合に、感知／企画システム１１０は交通情報システム又はサーバ（ＴＩＳ）からリアルタイムの交通情報を取得することもできる。注意すべきなのは、サーバ１０３〜１０４は第三の者のものに操作されても良い。その代わりに、サーバ１０３〜１０４の機能は感知／企画システム１１０と一体に集積されても良い。感知／企画システム１１０は、リアルタイム交通情報、ＭＰＯＩ情報と位置情報、及びセンサシステム１１５により検出され又は感知されるリアルタイムのローカル環境データ（例えば、障害物、目標、付近の車両）に基いて、最適な路線を企画し且つ企画された路線に従って例えば制御システム１１１を介して車両１０１を運転することにより、所定の目標地まで安全的且つ効率的に到達可能である。
一実施形態において、安全で適当な運転策定を行う間に、自動運転車両１０１は周囲環境を感知して付近の一つ又は複数の車両を認識する。認識された車両ごとについて、自動運転車両１０１は認識された車両の現在位置に基づいて、車両無関係情報を取得して認識された車両の周囲の状況を決定する。なお、車両無関係情報には、認識された車両に加えられる物理的制約を限定する車両周囲情報が含まれる。自動運転車両１０１は、少なくとも認識された車両に関連する車両無関係情報の一部に基づいて、認識された車両の一つ又は複数の軌跡を予測する。そして、認識された車両の予測軌跡に基づいて、自動運転車両１０１は操作を行う。
一実施形態において、車両無関係情報には、前記車両が認識される時の時間、運転状況、興味のある点（ＰＯＩ）とイベント情報、及び前記車両に更に物理的制約が加えられた交通情報が更に含まれる。これらの要素は、車両が後にどのように操作可能かに影響する可能性がある。
一実施形態において、自動運転車両１０１は、少なくとも部分的に機器学習モデルを呼び出して部分的に車両無関係情報に基づいて認識された車両の一つ又は複数の軌跡を予測することにより、車両無関係情報に基づいて一つ又は複数の軌跡を生成し又は予測する。
認識された車両のそれぞれについて、自動運転車両１０１は更に自動運転車両１０１の一つ又は複数のセンサから認識された車両に関連するセンサデータを取得し、且つ部分的にセンサデータに基づいて認識された車両の現在位置を決定する。
図３は、本発明の一実施形態による自動運転車両と一緒に使用される感知／企画システムの例示を示したブロック図である。システム３００は図１の自動運転車両１０１の一部として実施可能であり、感知／企画システム１１０、制御システム１１１とセンサシステム１１４を含むが、それらに限定されない。図３を参考し、感知／企画システム１１０は、位置決めモジュール３０１、感知モジュール３０２、策定モジュール３０３、企画モジュール３０４、制御モジュール３０５、車両関連特徴抽出モジュール３０６、車両無関係特徴抽出モジュール３０７、行為予測モジュール３０８を含むが、それらに限定されない。
モジュール３０１〜３０８のうち一部又は全部は、ソフトウェア、ハードウェア或いはそれらの組み合わせで実施されても良い。例えば、これらのモジュールは、非揮発的な記憶装置３５２にインストールされ、メモリ３５１にロードされ、且つ一つ又は複数のプロセッサ（図示しない）により実行されても良い。注意すべきなのは、これらのモジュールのうち一部又は全部は、通信可能に図２の車両制御システム１１１の一部又は全部のモジュールに接続され、或いはそれらと一体に集積されても良い。モジュール３０１〜３０７のうち一部は、一体に集積モジュールとして集積可能である。
位置決めモジュール３０１は、自動運転車両３００の現在位置（例えば、ＧＰＳユニット２１２を利用する）を決定し、且つユーザのトリップ又は路線に関連する如何なるデータを管理する。ユーザは例えばユーザインターフェースを経由して登録してトリップの開始位置と目的地を指定することができる。位置決めモジュール３０１は自動運転車両３００における他の部品（例えば地図／路線情報３１１）と通信してトリップに関するデータを取得する。例えば、位置決めモジュール３０１は位置サーバと地図／ＰＯＩ（ＭＰＯＩ）サーバから位置と路線情報を取得することができる。位置サーバは位置サービスを提供し、ＭＰＯＩサーバは地図サービスとある位置のＰＯＩを提供することにより、地図／路線情報３１１の一部としてキャッシュされることができる。自動運転車両３００が路線に沿って移動する際に、位置決めモジュール３０１は交通情報システム又はサーバからリアルタイムの交通情報を取得することもできる。
感知モジュール３０２は、センサシステム１１４により提供されたセンサデータと、位置決めモジュール３０１により取得された位置決め情報に基づいて、周囲の環境への感知を決定する。感知情報は、通常のドライバーがドライバーにより運転されている車両周囲において感知すべきものを示すことができる。感知は、例えば目標の形を採用する車線配置（例えば、直線車線又はカーブ車線）、信号機信号、他の車両の相対位置、歩行者、建築、横断歩道又は他の交通関連標識（例えば、停止標識、譲り標識）などを含むことができる。
感知モジュール３０２は、一つ又は複数のカメラにより採集される画像を処理し解析して自動運転車両の環境における目標及び／又は特徴を識別するように、コンピュータ視覚システム又はコンピュータ視覚システムの機能を含むことができる。前記目標は、交通信号、道路の境界、他の車両、歩行者及び／又は障害物などを含むことができる。コンピュータ視覚システムは、目標識別アルゴリズム、ビデオトラッキング及び他のコンピュータ視覚技術を使用することができる。幾つかの実施形態において、コンピュータ視覚システムは、環境地図を描画し、目標を追跡し、及び目標の速度などを推定することができる。感知モジュール３０２は、レーダ及び／又はＬＩＤＡＲのような他のセンサにより提供される他のセンサデータに基いて目標を検出することもできる。
目標ごとに対して、策定モジュール３０３は目標をどのように処置するかについての決定を下す。例えば、特定の目標（例えば、交差の路線における他の車両）及び目標を描画するメタデータ（例えば、速度、方向、操舵角度）について、策定モジュール３０３は前記目標とどのように出会うか（例えば、追い越し、譲り、停止、追い抜き）を決定する。策定モジュール３０３は交通ルール又は運転ルール３１２のルールセットに基づいてこのような決定を下すことができる。前記ルールセットは非揮発的な記憶装置３５２（示されていない）に記憶されても良い。
企画モジュール３０４は、感知された目標のそれぞれに対する決定に基づいて、自動運転車両に経路又は路線及び運転パラメータ（例えば、距離、速度及び／又は操舵角度）を企画する。言い換えれば、所定の目標について、策定モジュール３０３は当該目標に対してなにをするかを決定し、企画モジュール３０４はどのようにするかを決定する。例えば、所定の目標について、策定モジュール３０３は前記目標を追い越すことを決定することができ、企画モジュール３０４は前記目標の左側か右側に追い越すことを決定することができる。企画と制御データは、企画モジュール３０４により生成され、車両３００が次の移動循環（例えば、次の路線／経路区間）においてどのように移動するかを描画する情報を含む。例えば、企画と制御データは、車両３００が３０マイル／時間（ｍｐｈ）の速度で１０メートルだけ移動し、その後に２５ｍｐｈの速度で右側の車線に変更するように指示することができる。
制御モジュール３０５は、企画と制御データに基づいて、企画と制御データにより限定された路線又は経路に応じて適当な指令又は信号を車両制御システム１１１に送信することにより自動運転車両を制御し運転する。前記企画と制御データは、経路又は路線に沿って異なるタイミングで適当な車両設置又は運転パラメータ（例えば、アクセル、ブレーキと操舵指令）を使用することにより車両を路線又は経路の第一の点から第二の点まで運転するように十分な情報を有する。
注意すべきなのは、策定モジュール３０３と企画モジュール３０４は、集積モジュールとして集積することができる。策定モジュール３０３／企画モジュール３０４は、自動運転車両の運転経路を決定するように、ナビゲーションシステム又はナビゲーションシステムの機能を具備することができる。例えば、ナビゲーションシステムは、自動運転車両が下記の経路に沿って移動することを実現する一連の速度と進行方向を決定することができる。前記経路は、自動運転車両を最終の目的地まで走行させる車線による経路に沿って進行させると共に、基本的に感知された障害物を回避する。目的地は、ユーザインターフェースシステム１１３を経由して行われたユーザ入力に基づいて設定されても良い。ナビゲーションシステムは自動運転車両が運転していると同時に動的に運転経路を更新することができる。ナビゲーションシステムは、自動運転車両のための運転経路を決定するように、ＧＰＳシステムと一つ又は複数の地図からのデータを合併することができる。
策定モジュール３０３／企画モジュール３０４は、識別、推定及び回避、或いは他の手段で自動運転車両の環境における潜在の障害物を越えるように、更に衝突回避システム又は衝突回避システムの機能を具備する。例えば、衝突回避システムは、以下の手段で自動運転車両のナビゲーションにおける変化を実現することができる。即ち、操作制御システム１１１のうち一つ又は複数のサブシステムは操舵操作、回転操作、制動操作などを採用する。衝突回避システムは、周囲の交通モード、道路状況などに基いて自動的に実現可能な障害物回避操作を決定することができる。衝突回避システムは、他のセンサシステムにより自動運転車両が方向変更して進入しようとする隣接領域における車両、建築障害物などが検出された時に操舵操作を行わないように配置することができる。衝突回避システムは、使用可能で且つ自動運転車両の乗員の安全性を最大化させる操作を自動的に選択することができる。衝突回避システムは、自動運転車両の車室に最小値の加速度が発生させるように予測される回避操作を選択することができる。
車両関連特徴抽出モジュール３０６は、車両関連情報又は特徴（例えば、他の車両に関連するセンサデータ）を取得し、車両関連情報を行為予測モジュール３０８に提供する。例えば、感知モジュール３０２は、自動運転車両（例えば、自動運転車両１０１）の周囲環境を感知して自動運転車両の付近又は所定の隣接範囲内の一つ又は複数の車両を検出し又は認識することができる。一つ又は複数の付近の車両が認識され且つ認識された車両ごとについて、センサシステム１１４（例えば、レーダユニット２１４により）は無線電信号を利用して認識された車両を探索し、且つ認識された車両に関連するセンサデータ（例えば、速度、加速度、進行方向等）を生成することができる。
また、例えば、地図／路線情報３１１、ＭＰＯＩ情報、位置情報及び／又はセンサデータを利用することにより、認識された車両の現在位置を決定することができる。例えば、認識された車両のセンサデータと現在位置は、例えば感知／企画システム１１０により生成され且つ認識された車両に割り当てられる車両標識子（ＶＩＤ）に応じて感知／企画システム１１０のメモリ又は記憶装置に記憶することができる。従って、車両関連特徴抽出モジュール３０６は、感知／企画システム１１０のメモリからセンサデータを読み取り又は検索してセンサデータを取得し、センサデータを行為予測モジュール３０８に提供することができる。
車両無関係特徴抽出モジュール３０７は、認識された車両の現在位置に基づいて、車両無関係情報又は特徴（例えば、状況認識特徴）を取得して認識された車両の周囲の状況を決定することができる。状況認識特徴は、「何時、何処、だれ」の概念を含むように異なる種類に分類され、且つ認識された車両に加えられる各種の物理的制約を限定する情報を含むことができる。例えば、感知モジュール３０２により、車両無関係特徴抽出モジュール３０７は車両が感知され、認識される時間（例えば、月、何曜日、時間、分、秒）を決定することができる。一ヶ月における異なる日付と一週間における異なる日は、異なる運転状況（例えば交通渋滞）を有することができる。これは、他の運転者が彼らの車両をどのように操作可能かを影響することができる。また、車両無関係特徴抽出モジュール３０７は、遠隔サーバ（例えば、サーバ１０３乃至１０４）、感知モジュール３０２及び／又はセンサシステム１１４から運転状況情報、車両周囲情報、興味のある点（ＰＯＩ）とイベント情報、及び交通情報のような状況認識特徴を受信することができる。
幾つかの実施形態において、運転状況情報は可視度、安定性及び運転性能の決定に用いられる。従って、運転状況情報は、道路の平らさ、道路の幅と車両の幅との比、道路の曲率、降水レベル、霧レベル、雪レベル、温度及び／又は認識された車両の運転状況に影響する如何なる情報を含んでも良い。
幾つかの実施形態において、車両周囲情報は、車両の運動自由度を示す情報、例えば阻止面積パーセンテージ、阻止障害物のタイプの分布（例えば、静的な障害物、車両、自転車、歩行者及び／又は認識された車両の付近の他の移動障害物、及びそれらの認識された車両に対する方向）及び相対的な渋滞度を含む。
幾つかの実施形態において、ＰＯＩとイベント情報は、車両の運動自由度を決定するように用いられても良い。つまり、ＰＯＩとイベント情報は、車両の目的地の周囲の環境を描画することができる。例えば、特定の興味のある点（例えば、観光名所）は車両（例えば、認識された車両）の目的地の進行方向を示すことができる。例えば、一週間の特定の日付の間にこのような興味のある点においてイベント（例えば、コンサート）が発生すると、人込みが当該特定の日付の間にこのようなイベントのために集まることを想定することができる。従って、車両が当該特定の日付の間に興味のある点（即ちその目的地）の付近の範囲に位置する場合に、車両の運動自由度に影響する恐れがある。従って、幾つかの実施形態において、ＰＯＩとイベント情報は、付近のＰＯＩタイプの分布データ、イベントタイプの分布データ、イベントのファッション情報とイベントのファッションの履歴を含むことができる。
幾つかの実施形態において、交通情報は、特定時間と目的地の交通履歴データを含むことができる。例えば、一週間における先頭の四日間の同じ一時間内の平均交通履歴データの分布は本日の交通状況を予測する要素であっても良い。また、例えば、ある目的地の付近の事故履歴も本日に当該目的地において事故が発生する可能性を予測する要素であっても良い。
行為予測モジュール３０８は、車両無関係情報及び／又は車両関連情報に基づいて、認識された車両の一つ又は複数の軌跡を予測し、予測された軌跡を策定モジュール３０３及び／又は企画モジュール３０４に提供する。例えば、行為予測モジュール３０８は、一つ又は複数の機器学習モデル又はアルゴリズム（例えば、再帰ニューラルネットワーク（ＲＮＮ）モデル）を呼び出して、車両無関係情報及び／又は車両関連情報により提供されたデータから学習し且つそれによって予測を行うことにより、当該モデルを訓練して車両無関係情報及び／又は車両関連情報の訓練セットに応じて認識された車両の一つ又は複数の軌跡を予測することができる。
図４は、本発明の一実施形態による機器学習モデルの例示を示した図である。幾つかの実施形態において、機器学習モデル４００は、図３の行為予測モジュール３０８により呼出可能である。図４を参考し、機器学習モデルは、ＲＮＮモデルの一部として、例えば入力層４０２、隠蔽層４１１乃至４１３、出力層４１５を備える。ＲＮＮモデルは一種類の人工ニューラルネットワークである。なお、ユニットの間の接続は方向のある循環を形成する。これは、ネットワークの内部状態を生成し、動的な時間行為を表すことが許される。ＲＮＮは、その内部メモリを使用して任意の入力シーケンスを処理することができる。
図４に示されたように、車両無関係特徴４０１は、再帰で入力層４０２に提供される。入力層４０２は、入力ノード又はニューロンを含むことができる。前記入力ノード又はニューロンは、車両無関係特徴４０１（例えば、車両が感知し認識された時間、運転状況情報、車両周囲情報、ＰＯＩとイベント情報及び交通情報）を受信し、車両無関係特徴４０１を中間ニューロンを含める第一隠蔽層４１１に伝送して処理を行う。幾つかの実施形態において、入力層４０２は、情報を第一隠蔽層４１１に伝送する前に、車両無関係特徴４０１を簡単の形として変換し又はコーディングすることができる。幾つかの実施形態において、第一隠蔽層４１１は、車両無関係特徴４０１を訓練セットとして使用する指導型学習ルールを呼び出すことができる。幾つかの実施形態において、指導型学習ルールの代わりに、或いは指導型学習ルールの他、第一隠蔽層４１１は非指導型学習ルール（例えば、デルタ（ｄｅｌｔａ）ルール）を呼び出しても良い。非指導型学習ルールは、提供された車両無関係特徴４０１に応じて入力層４０２と第一隠蔽層４１１との接続の重みを補正し又は更新する。
第一隠蔽層４１１からの出力データを次の隠蔽層（例えば第Ｎ隠蔽層４１３）に提供して更なる処理に使用させることができる。なお、Ｎは機器学習モデル４００における隠蔽層の数である。第Ｎ隠蔽層４１３は、第一隠蔽層４１１からの中間ニューロンと通信する中間ニューロンを含むことができる。第一隠蔽層４１１と同様に、幾つかの実施形態において、第Ｎ隠蔽層４１３は、指導型及び／又は非指導型学習ルールを呼び出して第一隠蔽層４１１からのデータを処理することもできる。当該データを処理した後に、第Ｎ隠蔽層４１３からの出力データは出力層４１５に提供されても良く、第Ｎ隠蔽層４１３からの出力データは車両の一つ又は複数の予測軌跡を示す。幾つかの実施形態において、出力層４１５は出力ノード又はニューロンを含むことができる。前記入力ノード又はニューロンは、第Ｎ隠蔽層４１３から出力データを受信し、且つ当該データを例えば策定モジュール３０３及び／又は企画モジュール３０４に伝送する。
図５は、本発明の一実施形態による他の機器学習モデルの例示を示した図である。幾つかの実施形態において、機器学習モデル５００は、図３の行為予測モジュール３０８により呼び出されても良い。図５を参照し、機器学習モデルは、第一入力層５０２、第二入力層５０３、隠蔽層５１１乃至５１３、出力層５２１を含む。図５に示されたように、再帰で車両無関係特徴４０１を第一入力層５０２に、車両関連特徴（例えば、車両に関連するセンサデータと現在位置）を第二入力層５０３に提供する。第一入力層５０２は車両無関係特徴４０１を受信する第一グループの入力ニューロン（示されていない）を含んでも良く、第二入力層５０３は車両関連特徴５０１を受信可能な第二グループの入力ニューロン（示されていない）を含んでも良い。第一グループの入力ニューロンと第二グループの入力ニューロンは、車両無関係特徴４０１と車両関連特徴５０１を第一隠蔽層５１１に提供する。第一隠蔽層５１１は、指導型及び／又は非指導型学習ルールを呼び出すことにより車両無関係特徴４０１と車両関連特徴５０１からのデータ又は情報を処理することができる。その後に、処理されたデータは次の隠蔽層（例えば、第Ｎ隠蔽層５１３、Ｎは機器学習モデル５００における隠蔽層の数）伝送される。第Ｎ隠蔽層５１３は、指導型及び／又は非指導型学習ルールを呼び出して当該データを更に処理し、且つ車両の一つ又は複数の予測軌跡を示す出力データを出力層５２１に伝送することができる。
図６は、本発明の一実施形態による他の機器学習モデルの例示を示した図である。幾つかの実施形態において、機器学習モデル６００は、図３の行為予測モジュール３０８により呼び出されても良い。図６を参照し、車両無関係特徴４０１と車両関連特徴５０１は、それぞれ第一学習モデル６０１と第二学習モデル６０２に並行に提供され、且つ第一学習モデル６０１と第二学習モデル６０２からの結果又は出力情報は最終予測６２３として組合され、又は合併される。幾つかの実施形態において、第一学習モデル６０１と第二学習モデル６０２は、図４の機器学習モデル４００及び／又は図５の機器学習モデル５００と類似し又は同様である。
図６を参考し、車両無関係特徴４０１は再帰で入力層６０３に提供される。その後に、入力層６０３は、車両無関係特徴４０１からの情報を第一隠蔽層６１１に伝送する。（例えば、指導型及び／又は非指導型学習ルールを使用する）当該情報を処理する時に、第一隠蔽層６１１は処理された情報を次の隠蔽層（例えば、第Ｎ隠蔽層６１３、Ｎは第一学習モデル６０１における隠蔽層の数）に伝送し又は提供して付加的な処理を行い、且つ第Ｎ隠蔽層６１３からの出力情報を出力層６２１に提供することができる。
同様に、図６を参考し、車両関連特徴５０１も再帰で入力層６０４に提供される。その後に、入力層６０４は、車両関連特徴５０１からの情報を第一隠蔽層６１２に伝送して処理を行う。当該情報を処理した後に、第一隠蔽層６１２は処理された情報を次の層（例えば、第Ｎ隠蔽層６１４、Ｎは第二学習モデル６０２における隠蔽層の数）に伝送して付加的な処理を行い、且つ第Ｎ隠蔽層６１４からの出力情報を出力層６２２に提供することができる。出力層６２１と出力層６２２からの出力情報は（例えば、ベイジアンアルゴリズム、ディシジョンツリ及び／又は乗法を使用する）最終予測６２３として組合し又は合併され、最終予測６２３は車両の一つ又は複数の最終予測軌跡を示す。
図７は、本発明の一実施形態による自動運転車両を操作するプロセスを示すフローチャートである。プロセス７００は、処理ロジックにより実行されても良い。処理ロジックはソフトウェア、ハードウェア又はそれらの組み合わせを含んでも良い。例えば、プロセス７００は、図１の感知／企画システム１１０により実行されても良い。図７を参考し、ブロック７０１において、処理ロジックは、自動運転車両の周囲環境を感知して付近の一つ又は複数の車両を認識する。ブロック７０２において、処理ロジックは、認識された車両ごとについて、認識された車両の現在位置に基づいて車両無関係情報を取得して認識された車両の周囲の状況を決定する。なお、車両無関係情報は、認識された車両に加えられる物理的制約を限定する車両の周囲の情報を含む。ブロック７０３において、処理ロジックは、少なくとも部分的に認識された車両に関連する車両無関係情報に基づいて認識された車両の一つ又は複数の軌跡を予測する。ブロック７０４において、処理ロジックは一つ又は複数の認識された車両の一つ又は複数の予測軌跡に基づいて自動運転車両を制御する。
図８は、本発明の一実施形態による運転シーンの例示を示した。図８を参考し、当該例示において、第一車両８０１（例えば、自動運転車両１０１）（「メイン車両」とも呼ばれる）、第二車両８０２と第三車両８０３は、同一の時間又はほぼ同一の時間に停車標識の交差点に到達しても良く、第二車両８０２と第三車両８０３はメイン車両の企画軌跡と干渉する軌跡で走行する可能性がある。その後、メイン車両は、（例えば、感知モジュール３０２を呼び出すことにより）停車標識の交差点における周囲の環境を感知して付近の一つ又は複数の車両を認識することができる。この場合に、メイン車両は第二車両８０２と第三車両８０３を認識することになる。認識された車両ごとについて（即ち、第二車両８０２と第三車両８０３）、メイン車両は（例えば、少なくとも部分的に位置決めモジュール３０１を呼び出すことにより）認識された車両の現在位置を取得する。メイン車両は（例えば、車両無関係特徴抽出モジュール３０７を呼び出すことにより）当該現在位置を使用して認識された車両の車両無関係情報又は特徴（例えば、周囲環境情報）を取得することができる。この場合に、メイン車両は、第三車両８０３の周囲の障害物について一つも検出していなかった。ところが、感知モジュール３０２を呼び出し、及び／又はセンサシステム１１４からのセンサデータを利用することにより、メイン車両が第二車両８０２の軌跡を干渉する歩行者８０４を検出することになる。第三車両８０３に対して経路を干渉する障害物がないため、メイン車両は第三車両８０３が追い越す操作を実行しようとすることを予測することができる。従って、メイン車両は、例えば第三車両８０３に対して譲ることができる。その一方、歩行者８０４が交差点を通過することを待つ必要があるかもしれないため、第二車両８０２は暫く操作不可になる可能性がある。従って、メイン車両は、第二車両８０２が譲り、且つ第二車両８０２を追い越すことを予測することができる。
注意すべきなのは、いままで示され説明された部品における一部又は全部がソフトウェア、ハードウェア又はそれらの組み合わせで実施可能である。例えば、このような部品は非揮発的な記憶装置にインストールされ記憶されるソフトウェアとして実施可能である。前記ソフトウェアは、プロセッサ（図示しない）によりメモリにロードされてメモリに実行されることにより本願の全文に記述されたプロセス又は操作を実施することができる。その代わりに、このような部品は、専用ハードウェア（例えば、集積回路（例えば、専用集積回路又はＡＳＩＣ）、デジタル信号プロセッサ（ＤＳＰ）或いはフィールドプログラマブルゲートアレイ（ＦＰＧＡ））にプログラミングされ、或いは組み込まれた実行可能なコードとして実施可能である。前記実行可能なコードは、アプリからの相応的なドライブプログラム及び／又は操作システムを介してアクセス可能である。また、そのような部品はプロセッサ又はプロセッサのコアにおける特定なハードウェアロジックとして実施され、ソフトウェア部品により一つ又は複数の特定なコマンドを介してアクセスされるコマンドセットの一部とすることができる。
図９は本発明の一実施形態と共に使用可能なデータ処理システムの例示を示したブロック図である。例えば、システム９００は、以上で説明された前記プロセス又は方法の何れか一つを実行する如何なるデータ処理システム、例えば、図１の感知／企画システム１１０又はサーバ１０３〜１０４のうちの何れか一つを示すことができる。システム９００は異なる部品を多く具備することができる。これらの部品は、集積回路（ＩＣ）、集積回路の一部、独立な電子装置又はプリント基板（例えば、コンピュータシステムのマザーボード又はインサートカード）に適用される他のモジュールとして実行可能し、或いは他の方式でコンピュータシステムのフレームに設置される部品として実施可能である。
注意すべきなのは、システム９００はコンピュータシステムの複数の部品のハイレベルビューを示した。理解すべきなのは、幾つかの実施例に付加的な部品を具備しても良く、また他の実施例に示された部品の異なる配置を具備しても良い。システム９００は、デスクトップコンピュータ、ノードパソコン、タブレット、サーバ、モバイルフォン、メディアプレーヤ、パーソナルデジタルアシスタント（ＰＤＡ）、スマート腕時計、パーソナル通信機、ゲーム装置、ネットワークルータ又はハブ、無線アクセスポイント（ＡＰ）又はリピータ、セットトップボックス或いはそれらの組み合わせを示すことができる。また、単一の機器又はシステムが示されたが、単語「機器」又は「システム」は更に一つ（又は複数の）コマンドセットを単独で或いは協同的に実行することにより、本文に説明された任意の一つ又は複数の方法を実行する機器或いはシステムの如何なるセットを含むことを理解すべきである。
一実施形態において、システム９００は、バス又はインターコネクタ９１０を介して接続されるプロセッサ９０１、メモリ９０３及び装置９０５〜９０８を具備する。プロセッサ９０１は、そのうちに単一のプロセッサコア、又は複数のプロセッサコアの単一のプロセッサ、又は複数のプロセッサが含まれることを表すことができる。プロセッサ９０１は、一つ又は複数の汎用プロセッサ、例えばマイクロプロセッサ、中央処理ユニット（ＣＰＵ）などを表すことができる。具体的に、プロセッサ９０１は複雑コマンドセット演算（ＣＩＳＣ）マイクロプロセッサ、簡単コマンドセット演算（ＲＩＳＣ）マイクロプロセッサ、超長コマンドワード（ＶＬＩＷ）マイクロプロセッサ、或いは他のコマンドセットを実施するプロセッサ、或いはコマンドセットの組み合わせを実施するプロセッサであっても良い。プロセッサ９０１は更に一つ又は複数の専用プロセッサ、例えば専用集積回路（ＡＳＩＣ）、セルラー又はベースバンドプロセッサ、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）、デジタル信号プロセッサ（ＤＳＰ）、ネットワークプロセッサ、図形プロセッサ、ネットワークプロセッサ、通信プロセッサ、暗号化プロセッサ、セカンドプロセッサ、組み込みプロセッサ、或いはコマンドを処理可能な任意の他のタイプのロジックであっても良い。
プロセッサ９０１（ローパワーマルチコアプロセッサソケット、例えば超低電圧プロセッサであっても良い）は前記システムの各部品と通信用のメイン処理ユニットと中央ハブとして使用可能である。このようなプロセッサは、チップ上システム（ＳｏＣ）として実施可能である。プロセッサ９０１は、本文に説明された操作及びステップを実行するためのコマンドを実行するように配置される。システム９００は更に選択可能な図形サブシステム９０４と通信するための図形インターフェースを含んでも良い。図形サブシステム９０４は、表示コントローラ、図形プロセッサ及び／又は表示装置を含んでも良い。
プロセッサ９０１はメモリ９０３と通信可能である。ある実施形態において、メモリ９０３は複数のメモリ装置を介して実施されることにより定量のシステム記憶が提供可能である。メモリ９０３は、一つ又は複数の揮発的な記憶（或いはメモリ）装置、例えばランダムアクセスメモリ（ＲＡＭ）、ダイナミックＲＡＭ（ＤＲＡＭ）、同期ＤＲＡＭ（ＳＤＲＡＭ）、スタティックＲＡＭ（ＳＲＡＭ）又は他のタイプの記憶装置を含んでも良い。メモリ９０３はプロセッサ９０１又は他の任意の装置により実行されるコマンドシーケンスを含む情報を記憶可能である。例えば、各操作システム、装置ドライブプログラム、ファームウェア（例えば、入出力基盤システム又はＢＩＯＳ）及び／又はアプリの実行可能なコード及び／又はデータは、メモリ９０３にロードされ且つプロセッサ９０１により実行可能である。操作システムは、任意のタイプの操作システム、例えばロボット操作システム（ＲＯＳ）、Ｍｉｃｒｏｓｏｆｔ（登録商標）会社からのＷｉｎｄｏｗｓ（登録商標）操作システム、アップル会社からのＭａｃ ＯＳ（登録商標）／ｉＯＳ（登録商標）、Ｇｏｏｇｌｅ（登録商標）会社からのＡｎｄｒｏｉｄ（登録商標）、ＬＩＮＵＸ、ＵＮＩＸ、或いは他のリアルタイム又は組み込み操作システムであっても良い。
システム９００は更にＩＯ装置、例えばネットワークインターフェース装置９０５、選択可能な入力装置９０６、及び他の選択可能なＩＯ装置９０７を含む装置９０５〜９０８を含む。ネットワークインターフェース装置９０５は、無線送受信機及び／又はネットワークインターフェースカード（ＮＩＣ）を含んでも良い。前記無線送受信機は、ＷｉＦｉ送受信機、赤外線送受信機、ブルートゥース送受信機、ＷｉＭａｘ送受信機、無線セルラー電話送受信機、衛星送受信機（例えば、グローバルポジションシステム（ＧＰＳ）送受信機）、他の無線周波数（ＲＦ）送受信機或いはそれらの組み合わせであっても良い。ＮＩＣはイーサネットカードであっても良い。
入力装置９０６は、マウス、タッチパネル、タッチセンシティブスクリーン（表示装置９０４と一体化に集積可能）、指示装置（例えばスタイラス）及び／又はキーボード（例えば、物理キーボード又はタッチセンシティブスクリーンの一部として表示される仮想キーボード）を含んでも良い。例えば、入力装置９０６はタッチパネルに接続されるタッチパネルコントローラを含んでも良い。タッチパネルとタッチパネルコントローラは、例えば複数種類のタッチセンシティブ技術（コンデンサ、抵抗、赤外と表面弾性波技術を含むが、それらに限定されない）のうちの何れか一つ、及び他の近隣センサアレイ又はタッチパネルと接触する一つ又は複数のポイントを特定するための他の素子を利用してその接触、移動又は中断を検出する。
ＩＯ装置９０７はラジオ装置を含んでも良い。ラジオ装置は、例えば音声識別、音声複製、デジタル記録及び／又は電話機能のような音声をサポートする機能を促進するように、スピーカ及び／又はマイクロフォンを含んでも良い。他のＩＯ装置９０７は、ユニバーサルシリアルバス（ＵＳＢ）ポート、パラレルポート、シリアルポート、プリンター、ネットワークインターフェース、バスブリッジ（例えば、ＰＣＩ−ＰＣＩブリッジ）、センサ（例えば、加速度計のような運動センサ、ジャイロ、磁力計、光センサ、コンパス、近接センサなど）或いはそれらの組み合わせを更に含んでも良い。装置９０７は画像形成処理サブシステム（例えば、カメラ）を含んでも良い。前記画像形成処理サブシステムは、カメラ機能（例えば、写真とビデオセグメントを記録する）を促進するための光学センサ、例えば電荷結合装置（ＣＣＤ）又は相補型金属酸化物半導体（ＣＭＯＳ）の光学センサを含んでも良い。幾つかのセンサはセンサハブ（図示しない）を介してインターコネクタ９１０に接続されても良い。キーボード又は熱センサのような他の装置は、システム９００の具体的な配置又は設計に応じて組み込みコントローラ（図示しない）により制御されても良い。
例えばデータ、アプリ、一つ又は複数の操作システムなどの情報の非揮発的な記憶を提供するために、大容量の記憶デバイス（図示しない）はプロセッサ９０１に接続されても良い。各実施形態において、より薄い且つより軽いシステム設計を実現すると共にシステムの応答性を改善するために、このような大容量の記憶デバイスは、ソリッドステートデバイス（ＳＳＤ）により実施されても良い。ところが、他の実施形態において、大容量の記憶デバイスは、主にハードディスクドライバー（ＨＤＤ）を使用して実施されても良い。そのうち、容量の小さいＳＳＤ記憶デバイスは、ＳＳＤキャッシュとして使用されて断電の間にコンテキスト及び他の類似の情報の非揮発的な記憶を実現することにより、システムの動作が再起動される時に快速給電を実現することができる。また、フラッシュメモリは、例えばシリアルペリフェラルインターフェース（ＳＰＩ）を介してプロセッサ９０１に接続されても良い。このようなフラッシュメモリは、システムソフトウェアの非揮発的な記憶を提供することができる。前記システムソフトウェアには、前記システムのＢＩＯＳ及び他のファームウェアが含まれる。
記憶装置９０８は、本文に記載された任意の一つ又は複数の方法或いは機能を表す一つ又は複数のコマンドセット又はソフトウェア（例えば、モジュール、ユニット及び／又はロジック９２８）が記憶されるコンピュータアクセス可能な記憶媒体９０９（機器読取可能な記憶媒体或いはコンピュータ読取可能な媒体とも呼ばれる）を含んでも良い。処理モジュール／ユニット／ロジック９２８は、前記部品のうちの何れか一つ、例えば企画モジュール３０４、制御モジュール３０５、モジュール３０６乃至３０８のうちの何れか一つ（単一或いは組合わせ）を示すことができる。処理モジュール／ユニット／ロジック９２８は、データ処理システム９００、メモリ９０３及びプロセッサ９０１により実行される間に完全的又は少なくとも一部的にメモリ９０３内及び／又はプロセッサ９０１内に保存されても良い。データ処理システム９００、メモリ９０３及びプロセッサ９０１も機器読取可能な記憶媒体として構成される。処理モジュール／ユニット／ロジック９２８は、ネットワークによりネットワークインターフェース装置９０５を介して伝送し又は受信可能である。
コンピュータ読取可能な記憶媒体９０９は、以上で説明された幾つかのソフトウェア機能を永遠に記憶しても良い。コンピュータ読取可能な記憶媒体９０９は、例示的な実施形態において単一の媒体として示されたが、「コンピュータ読取可能な記憶媒体」という用語は前記一つ又は複数のコマンドセットを記憶する単一の媒体又は複数の媒体（例えば、集中式又は分散式のデータベース及び／又は関連のキャッシュ及びサーバ）を含むと理解すべきである。「コンピュータ読取可能な記憶媒体」という用語は、コマンドセットを記憶し又はコーディング可能な任意の媒体を含むと理解すべきである。前記コマンドセットは、機器により実行され且つ前記機器に本発明の任意の一つ又は複数の方法を実行させるために用いられる。従って、「コンピュータ読取可能な記憶媒体」という用語は、固体メモリ及び光学媒体及び磁気媒体、或いは如何なる他の非揮発的な機器読取可能な媒体を含むと理解すべきであるが、それらに限定されない。
本文に記載の処理モジュール／ユニット／ロジック９２８、部品及び他の特徴は、独立なハードウェア部品として実施され、又はハードウェア部品（例えば、ＡＳＩＣＳ、ＦＰＧＡ、ＤＳＰ又は類似の装置）の機能に集積されるように実施可能である。また、処理モジュール／ユニット／ロジック９２８は、ハードウェア装置におけるファームウェア又は機能回路として実施可能である。また、処理モジュール／ユニット／ロジック９２８は、ハードウェア装置とソフトウェア部品の如何なる組み合わせで実施されても良い。
注意すべきなのは、システム９００はデータ処理システムの各部品を備えると示されたが、部品の接続の如何なる特定な構成又は手段を示すわけではない。これは、このような詳細が本発明の実施形態と緊密な関係を有していないからである。更に、より少ない部品を持ち、或いはより多い部品を持ち可能なネットワークコンピュータ、携帯コンピュータ、モバイルフォン、サーバ及び／又は他のデータ処理システムも本発明の実施形態と共に使用可能と理解すべきである。
前記の詳しい説明における幾つかの部分は、既にコンピュータメモリ内にデータビットに対する演算のアルゴリズムと符号標記により表された。これらのアルゴリズムの説明及び標記は、データ処理分野における技術者により使用される方式であり、彼らの作業の意図を効率的に当分野の他の技術者に伝達する。本文において、アルゴリズムは一般的に所望の結果を引き起こすセルフコンシステント操作シーケンスであると考えられる。これらの操作は物理量に対する物理の制御の必要がある操作である。
ところが、理解すべきなのは、全てのこれらと類似する用語は、何れも適当な物理量に関連させると意味し、且つこれらの量に適用する便利な標識に過ぎない。上記の論述に他の方式で明確に指定される場合以外、全明細書において、用語（例えば付加の特許請求の範囲に記載される用語）で行われた論述はコンピュータシステム又は類似の電子演算装置の動作及び処理であると理解すべきである。前記コンピュータシステム又は電子演算装置は、コンピュータシステムのレジスタとメモリに物理（電子）量として表されるデータを制御し、前記データをコンピュータシステムメモリ、レジスタ、他の類似の情報記憶デバイス、伝送又は表示装置に同様に物理量として表される他のデータに変換する。
本発明の実施形態は更に本文における操作を実行するデバイスに関する。このようなコンピュータプログラムは非揮発的なコンピュータ読取可能な媒体に記憶される。機器読取可能な媒体は、機器（例えば、コンピュータ）読取可能な形で情報を記憶する如何なる機構を含む。例えば、機器読取可能（例えば、コンピュータ読取可能）な媒体は、機器（例えば、コンピュータ）読取可能な記憶媒体（例えば、読み出し専用メモリ（「ＲＯＭ」）、ランダムアクセスメモリ（「ＲＡＭ」）、ディスク記憶媒体、光記憶媒体、フラッシュメモリ装置）を含む。
前記の図面に描画されるプロセス又は方法は処理ロジックにより実行されても良い。前記処理ロジックは、ハードウェア（例えば、回路、専用ロジック等）、ソフトウェア（例えば、非揮発的なコンピュータ読取可能な媒体として表す）或いは両者の組み合わせを含む。前記過程又は方法は前記の記載において所定の順序に従う操作として説明されたが、前記操作のうちの一部が異なる順序に従って実行可能と理解すべきである。また、一部の操作は順序での実行ではなく、並行に実行可能である。
本発明の実施形態は、如何なる特定のプログラミング言語に従って説明することではない。理解すべきなのは、複数のプログラミング言語を使用して本文に記載された本発明の実施形態を実施することができる。
以上の明細書において、既に本発明の具体的な例示的実施形態を参照して本発明の実施形態を説明した。明らかに、付加の特許請求の範囲に記載の本発明のより広い主旨及び範囲から逸脱されない場合に、本発明に対する各修正が可能である。よって、制限的な意味ではなく、説明的な意味で本明細書及び図面を理解すべきである。
本発明の実施形態は、主に自動運転車両の操作に関する。具体的に、本発明の実施形態は車両の周囲の状況に基づいて車両の軌跡を予測することに関する。
自動運転モード（例えば、セルフドライブ）で操作される車両は、乗員、特に運転者を運転に関する責任から解放することができる。自動モードで操作される際に、車両は車載センサを利用して各位置まで案内することができ、車両が最も少ないヒューマンコンピュータインタラクションで、或いは乗客が一人もいない場合に走行することが許される。
人間が運転する時に各種の決断を行うことと同様に、自動運転車両は、常に実際の周囲環境に応じて即時の運転決断を行う必要がある。周囲環境は、特定の運転条件、周囲の障害物及び交通状況を含むことができる。このような環境は、いつも車両の運動に影響し、且つ車両の当該環境において行う次の操作を決定し又は認識し難い可能性がある。ところが、人間は例えば肉眼を使用することにより困難を容易に認識し解決することができる。残念ながら、これは自動運転車両に対して挑戦性を有する恐れがある。
本願の一態様は、自動運転車両を運転するためのコンピュータ実施方法を提供し、この方法は、自動運転車両の周囲の環境を感知して付近の一つ又は複数の車両を認識するステップと、認識された車両ごとについて、前記認識された車両の現在位置に基づいて、前記認識された車両に加えられる物理的制約を限定する車両の周囲の情報を含む車両無関係情報を取得して前記認識された車両の周囲の状況を決定し、少なくとも部分的に前記認識された車両に関連する前記車両無関係情報に基づいて前記認識された車両の一つ又は複数の軌跡を予測するステップと、一つ又は複数の認識された車両の前記一つ又は複数の予測軌跡に基づいて前記自動運転車両を制御するステップと、を含む。
本願の他の態様は、コマンドが記憶されており、前記コマンドがプロセッサにより実行されるとき、前記プロセッサに、自律走行車を動作させる処理を実行させる、不発揮性の機械可読媒体を提供し、前記処理は、自動運転車両の周囲の環境を感知して付近の一つ又は複数の車両を認識することと、認識された車両ごとについて、前記認識された車両の現在位置に基づいて、前記認識された車両に加えられる物理的制約を限定する車両の周囲の情報を含む車両無関係情報を取得して前記認識された車両の周囲の状況を決定し、少なくとも部分的に前記認識された車両に関連する前記車両無関係情報に基づいて前記認識された車両の一つ又は複数の軌跡を予測することと、一つ又は複数の認識された車両の前記一つ又は複数の予測軌跡に基づいて前記自動運転車両を制御することと、を含む。
本願の他の態様は、プロセッサと、前記プロセッサに連結されてコマンドを記憶するメモリと、を含み、前記メモリがプロセッサにより実行されるとき、前記プロセッサに、自律走行車を動作させる処理を実行させる、データ処理システムを提供し、前記処理は、自動運転車両の周囲の環境を感知して付近の一つ又は複数の車両を認識することと、認識された車両ごとについて、前記認識された車両の現在位置に基づいて、前記認識された車両に加えられる物理的制約を限定する車両の周囲の情報を含む車両無関係情報を取得して前記認識された車両の周囲の状況を決定し、少なくとも部分的に前記認識された車両に関連する前記車両無関係情報に基づいて前記認識された車両の一つ又は複数の軌跡を予測することと、一つ又は複数の認識された車両の前記一つ又は複数の予測軌跡に基づいて前記自動運転車両を制御することと、を含む。
本発明の実施形態は、図面の各図に制限ではなく、例示的に示される。図面における同一の符号は類似の要素を示す。
本発明の一実施形態によるネットワークシステムを示すブロック図である。 本発明の一実施形態による自動運転車両の例示を示したブロック図である。 本発明の一実施形態による、自動運転車両と共に使用される感知／企画システムの例示を示したブロック図である。 本発明の一実施形態による機器学習モデルの例示を示した図である。 本発明の一実施形態による別の機器学習モデルの例示を示した図である。 本発明の一実施形態による別の機器学習モデルの例示を示した図である。 本発明の一実施形態による自動運転車両を操作するプロセスを示したフローチャートである。 本発明の一実施形態による運転シーンを示した例示である。 一実施形態によるデータ処理システムを示したブロック図である。
以下に論述される詳細を参照して本発明の各実施形態と局面を説明する。図面に前記各実施形態が示された。下記の記載及び図面は、本発明の説明であり、本発明に対する制限ではありません。多くの特定の詳細を説明して本発明の各実施形態に対する全面的な理解を提供させる。ところが、幾つかの場合に、周知的又は常用の詳細を説明せずに本発明に対する実施形態の簡単な論述を提供させる。
本明細書に言及された「一実施形態」又は「実施形態」は、当該実施形態と組合わせて説明される特定な特徴、構成又は特性が本発明の少なくとも一つの実施形態に含まれることが可能であることを意味する。「一実施形態において」という用語の本明細書の各箇所における出現は、全てが同一の実施形態を意味するわけではない。
幾つかの実施形態によれば、自動運転車両のモデルを構築する場合に、システムは、自動運転車両の運転環境を感知して運転環境を理解し、安全的且つ適当な策定を行って人間の思考の過程を模擬する。例えば、システムは、運転環境を感知し又はスキャンして自動運転車両の付近の一つ又は複数の車両を認識する。認識された車両のそれぞれについて、システムは認識された車両の現在位置を取得する。当該現在位置を使用することにより、システムは認識された車両の周囲の状況情報を取得することができる。状況情報は、認識された車両の運動の自由度に影響する要素であっても良い。システムは、認識された車両の軌跡予測結果を訓練し提供するために、状況情報を機器学習モデル（例えば再帰ニューラルネットワーク（ＲＮＮ）モデル）に提供することにより、自動運転車両が予測結果に基づいて安全で適当な運転策定を行うことを許す。
一実施形態において、自動運転車両の周囲環境を感知して近くの一つ又は複数の車両を認識する。認識された車両のそれぞれについて、認識された車両の現在位置に基づいて、車両無関係情報を取得して認識された車両の周囲の状況を決定する。なお、車両無関係情報には、認識された車両に加えられる物理的制約を限定する車両周囲情報が含まれる。少なくとも認識された車両に関連する車両無関係情報の一部に基づいて認識された車両の一つ又は複数の軌跡を予測する。一つ又は複数の認識された車両の一つ又は複数の予測軌跡に基づいて自動運転車両を制御する。
図１は、本発明の一実施形態による自動運転車両のネットワーク構造を示したブロック図である。図１を参照し、ネットワーク構造１００は、ネットワーク１０２を介して一つ又は複数のサーバ１０３〜１０４と通信可能に接続できる自動運転車両１０１を具備する。一つの自動運転車両が示されたが、複数の自動運転車両は互いにネットワーク１０２を介して接続されても良く、及び／又はサーバ１０３〜１０４に接続されても良い。ネットワーク１０２は、任意のタイプのネットワーク、例えば、有線又は無線のローカルエリアネットワーク（ＬＡＮ）、インターネットのような広域ネットワーク（ＷＡＮ）、セルラーネットワーク、衛星ネットワーク或いはそれらの組み合わせであっても良い。サーバ１０３〜１０４は、任意のタイプのサーバ又はサーバグループ、例えば、ネットワーク又はクラウドサーバ、アプリサーバ、ブラックグランドサーバ或いはそれらの組み合わせであっても良い。サーバ１０３〜１０４は、データ解析サーバ、コンテンツサーバ、交通情報サーバ、地図及び興味のある点（ＭＰＯＩ）サーバ或いは位置サーバなどであっても良い。
自動運転車両は自動運転モードに配置可能な車両であっても良い。前記自動運転モードにおいて、車両はドライバーからの入力が無く、或いは非常に少ない場合に環境を案内して通過する。このような自動運転車両はセンサシステムを具備しても良く、前記センサシステムは車両の走行環境に関する情報を検出するように配置される一つ又は複数のセンサを具備する。前記車両と関連するコントローラは、検出された情報を利用して前記環境を案内する。自動運転車両１０１は、マニュアルモード、全自動運転モード或いは一部の自動運転モードにおいて走行可能である。
一実施形態において、自動運転車両１０１は、感知／企画システム１１０、車両制御システム１１１、無線通信システム１１２、ユーザインターフェースシステム１１３及びセンサシステム１１４を含むが、それらに限定されない。自動運転車両１０１は更に通常の車両に含まれる幾つかの常用部品、例えばエンジン、車輪、ハンドル、変速機などを含んでも良い。前記部品は車両制御システム１１１及び／又は感知／企画システム１１０により複数の通信信号及び／又は指令を使用して制御されても良い。当該複数の通信信号及び／又は指令は例えば加速信号又は指令、減速信号又は指令、操舵信号又は指令、制動信号又は指令などである。
部品１１０〜１１４は、インターコネクタ、バス、ネットワーク或いはそれらの組み合わせを介して通信可能に互いに接続されても良い。例えば、部品１１０〜１１４は、コントローラローカルエリアネットワーク（ＣＡＮ）バスを介して通信可能に互いに接続されても良い。ＣＡＮバスは、マイクロコントローラと装置がホストコンピュータのないアプリにおいて互いに通信することを許すように設定される車両バス基準である。それは最初に車両内におけるマルチプレックス電気配線の設計に用いられる、メッセージによるプロトコルであるが、他の環境にも広く用いられる。
図２を参考し、一実施形態において、センサシステム１１４は一つ又は複数のカメラ２１１、グローバルポジションシステム（ＧＰＳ）ユニット２１２、慣性測定ユニット（ＩＭＵ）２１３、レーダユニット２１４及び光学探測／距離測定（ＬＩＤＡＲ）ユニット２１５を含むが、それらに限定されない。ＧＰＳシステム２１２は送受信機を含むことができる。前記送受信機は、操作により自動運転車両の位置に関する情報を提供可能である。ＩＭＵユニット２１３は慣性加速度に基いて自動運転車両の位置及び方向変化を探測することができる。レーダユニット２１４は、無線電気信号を利用して自動運転車両のローカル環境における目標を感知するシステムとして表すことができる。幾つかの実施形態において、目標の感知以外、レーダユニット２１４は、付加的に目標の速度及び／又は進行方向も感知することができる。ＬＩＤＡＲユニット２１５は、レーザを使用して自動運転車両の位置する環境における目標を感知することができる。他のシステム部品以外に、ＬＩＤＡＲユニット２１５は更に一つ又は複数のレーザ光源、レーザスキャナ及び一つ又は複数の検出器を含んでも良い。カメラ２１１は、自動運転車両の周囲環境の画像を取得する一つ又は複数の装置を含んでも良い。カメラ２１１は静止物カメラ及び／又はビデオカメラであっても良い。カメラは機械的に移動できるものであっても良く、例えば、カメラを回転的及び／又は傾斜的な仕事台に装着することができる。
センサシステム１１４には、他のセンサ、例えばソナーセンサ、赤外線センサ、操舵センサ、アクセルセンサ、ブレーキセンサ及びラジオセンサ（例えば、マイクロフォン）が含まれても良い。ラジオセンサは、自動運転車両の周囲の環境から音声を取得するように配置されても良い。操舵センサはハンドル、車両の車輪又はそれらの組み合わせの操舵角を検出するように配置されても良い。アクセルセンサとブレーキセンサはそれぞれ車両のアクセル位置とブレーキ位置を検出する。ある場合に、アクセルセンサとブレーキセンサは集積型のアクセル／ブレーキセンサとして集積されても良い。
一実施形態において、車両制御システム１１１は操舵ユニット２０１、アクセルユニット２０２（加速ユニットとも呼ばれる）とブレーキユニット２０３を含むが、それらに限定されない。操舵ユニット２０１は車両の方向又は進行方向を調整するために用いられる。アクセルユニット２０２は電動機又はエンジンの速度を制御するために用いられ、電動機又はエンジンの速度は更に車両の速度と加速度を制御するために用いられる。ブレーキユニット２０３は、摩擦を提供して車両の車輪又はタイヤを減速させることにより車両を減速させる。注意すべきなのは、図２に示された部品はハードウェア、ソフトウェア或いはそれらの組み合わせで実施することができる。
図１に戻し、無線通信システム１１２は、自動運転車両１０１と装置、センサ、他の車両などのような外部システムとの通信を許す。例えば、無線通信システム１１２は、一つ又は複数の装置と直接的に無線通信しても良く、或いは通信ネットワークを経由して無線通信し、例えばネットワーク１０２を経由してサーバ１０３〜１０４と通信しても良い。無線通信システム１１２は、如何なるセルラー通信ネットワーク又は無線ローカルエリアネットワーク（ＷＬＡＮ）、例えばＷｉＦｉを使用して他の部品又はシステムと通信することができる。無線通信システム１１２は、例えば赤外線リンク、ブルートゥース（登録商標）などを使用して装置（例えば、乗客の携帯装置、表示装置、車両１０１内のスピーカ）と直接的に通信する。ユーザインターフェースシステム１１３は、車両１０１内に実施される周辺機器の部分であっても良く、例えばキーボード、タッチパネル表示装置、マイクロフォン及びスピーカなどを含む。
自動運転車両１０１の機能のうちの一部又は全部は、特に自動運転モードで操作される場合に、感知／企画システム１１０により制御し又は管理されることができる。感知／企画システム１１０は、センサシステム１１４、制御システム１１１、無線通信システム１１２及び／又はユーザインターフェースシステム１１３から情報を受信し、受信された情報を処理し、開始点から目標点までの路線又は経路を企画した後に、企画と制御情報に基づいて車両１０１を運転するように、必要なハードウェア（例えば、プロセッサ、メモリ、記憶デバイス）とソフトウェア（例えば、操作システム、企画と路線設定プログラム）を含む。その代わりに、感知／企画システム１１０は車両制御システム１１１と一体に集積されても良い。
例えば、乗客であるユーザは、例えばユーザインターフェースを介してトリップの開始位置と目標地を指定することができる。感知／企画システム１１０はトリップに関連するデータを取得する。例えば、感知／企画システム１１０は、ＭＰＯＩサーバから位置と路線情報を取得することができる。前記ＭＰＯＩサーバはサーバ１０３〜１０４の一部であっても良い。位置サーバは位置サービスを提供し、ＭＰＯＩサーバは地図サービスとある位置のＰＯＩを提供する。その代わりに、このような位置とＭＰＯＩ情報は、ローカルに感知／企画システム１１０の非揮発的な記憶装置にキャッシュされても良い。
自動運転車両１０１が路線に沿って移動している場合に、感知／企画システム１１０は交通情報システム又はサーバ（ＴＩＳ）からリアルタイムの交通情報を取得することもできる。注意すべきなのは、サーバ１０３〜１０４は第三の者のものに操作されても良い。その代わりに、サーバ１０３〜１０４の機能は感知／企画システム１１０と一体に集積されても良い。感知／企画システム１１０は、リアルタイム交通情報、ＭＰＯＩ情報と位置情報、及びセンサシステム１１５により検出され又は感知されるリアルタイムのローカル環境データ（例えば、障害物、目標、付近の車両）に基いて、最適な路線を企画し且つ企画された路線に従って例えば制御システム１１１を介して車両１０１を運転することにより、所定の目標地まで安全的且つ効率的に到達可能である。
一実施形態において、安全で適当な運転策定を行う間に、自動運転車両１０１は周囲環境を感知して付近の一つ又は複数の車両を認識する。認識された車両ごとについて、自動運転車両１０１は認識された車両の現在位置に基づいて、車両無関係情報を取得して認識された車両の周囲の状況を決定する。なお、車両無関係情報には、認識された車両に加えられる物理的制約を限定する車両周囲情報が含まれる。自動運転車両１０１は、少なくとも認識された車両に関連する車両無関係情報の一部に基づいて、認識された車両の一つ又は複数の軌跡を予測する。そして、認識された車両の予測軌跡に基づいて、自動運転車両１０１は操作を行う。
一実施形態において、車両無関係情報には、前記車両が認識される時の時間、運転状況、興味のある点（ＰＯＩ）とイベント情報、及び前記車両に更に物理的制約が加えられた交通情報が更に含まれる。これらの要素は、車両が後にどのように操作可能かに影響する可能性がある。
一実施形態において、自動運転車両１０１は、少なくとも部分的に機器学習モデルを呼び出して部分的に車両無関係情報に基づいて認識された車両の一つ又は複数の軌跡を予測することにより、車両無関係情報に基づいて一つ又は複数の軌跡を生成し又は予測する。
認識された車両のそれぞれについて、自動運転車両１０１は更に自動運転車両１０１の一つ又は複数のセンサから認識された車両に関連するセンサデータを取得し、且つ部分的にセンサデータに基づいて認識された車両の現在位置を決定する。
図３は、本発明の一実施形態による自動運転車両と一緒に使用される感知／企画システムの例示を示したブロック図である。システム３００は図１の自動運転車両１０１の一部として実施可能であり、感知／企画システム１１０、制御システム１１１とセンサシステム１１４を含むが、それらに限定されない。図３を参考し、感知／企画システム１１０は、位置決めモジュール３０１、感知モジュール３０２、策定モジュール３０３、企画モジュール３０４、制御モジュール３０５、車両関連特徴抽出モジュール３０６、車両無関係特徴抽出モジュール３０７、行為予測モジュール３０８を含むが、それらに限定されない。
モジュール３０１〜３０８のうち一部又は全部は、ソフトウェア、ハードウェア或いはそれらの組み合わせで実施されても良い。例えば、これらのモジュールは、非揮発的な記憶装置３５２にインストールされ、メモリ３５１にロードされ、且つ一つ又は複数のプロセッサ（図示しない）により実行されても良い。注意すべきなのは、これらのモジュールのうち一部又は全部は、通信可能に図２の車両制御システム１１１の一部又は全部のモジュールに接続され、或いはそれらと一体に集積されても良い。モジュール３０１〜３０８のうち一部は、一体に集積モジュールとして集積可能である。
位置決めモジュール３０１は、自動運転車両３００の現在位置（例えば、ＧＰＳユニット２１２を利用する）を決定し、且つユーザのトリップ又は路線に関連する如何なるデータを管理する。ユーザは例えばユーザインターフェースを経由して登録してトリップの開始位置と目的地を指定することができる。位置決めモジュール３０１は自動運転車両３００における他の部品（例えば地図／路線情報３１１）と通信してトリップに関するデータを取得する。例えば、位置決めモジュール３０１は位置サーバと地図／ＰＯＩ（ＭＰＯＩ）サーバから位置と路線情報を取得することができる。位置サーバは位置サービスを提供し、ＭＰＯＩサーバは地図サービスとある位置のＰＯＩを提供することにより、地図／路線情報３１１の一部としてキャッシュされることができる。自動運転車両３００が路線に沿って移動する際に、位置決めモジュール３０１は交通情報システム又はサーバからリアルタイムの交通情報を取得することもできる。
感知モジュール３０２は、センサシステム１１４により提供されたセンサデータと、位置決めモジュール３０１により取得された位置決め情報に基づいて、周囲の環境への感知を決定する。感知情報は、通常のドライバーがドライバーにより運転されている車両周囲において感知すべきものを示すことができる。感知は、例えば目標の形を採用する車線配置（例えば、直線車線又はカーブ車線）、信号機信号、他の車両の相対位置、歩行者、建築、横断歩道又は他の交通関連標識（例えば、停止標識、譲り標識）などを含むことができる。
感知モジュール３０２は、一つ又は複数のカメラにより採集される画像を処理し解析して自動運転車両の環境における目標及び／又は特徴を識別するように、コンピュータ視覚システム又はコンピュータ視覚システムの機能を含むことができる。前記目標は、交通信号、道路の境界、他の車両、歩行者及び／又は障害物などを含むことができる。コンピュータ視覚システムは、目標識別アルゴリズム、ビデオトラッキング及び他のコンピュータ視覚技術を使用することができる。幾つかの実施形態において、コンピュータ視覚システムは、環境地図を描画し、目標を追跡し、及び目標の速度などを推定することができる。感知モジュール３０２は、レーダ及び／又はＬＩＤＡＲのような他のセンサにより提供される他のセンサデータに基いて目標を検出することもできる。
目標ごとに対して、策定モジュール３０３は目標をどのように処置するかについての決定を下す。例えば、特定の目標（例えば、交差の路線における他の車両）及び目標を描画するメタデータ（例えば、速度、方向、操舵角度）について、策定モジュール３０３は前記目標とどのように出会うか（例えば、追い越し、譲り、停止、追い抜き）を決定する。策定モジュール３０３は交通ルール又は運転ルール３１２のルールセットに基づいてこのような決定を下すことができる。前記ルールセットは非揮発的な記憶装置３５２（示されていない）に記憶されても良い。
企画モジュール３０４は、感知された目標のそれぞれに対する決定に基づいて、自動運転車両に経路又は路線及び運転パラメータ（例えば、距離、速度及び／又は操舵角度）を企画する。言い換えれば、所定の目標について、策定モジュール３０３は当該目標に対してなにをするかを決定し、企画モジュール３０４はどのようにするかを決定する。例えば、所定の目標について、策定モジュール３０３は前記目標を追い越すことを決定することができ、企画モジュール３０４は前記目標の左側か右側に追い越すことを決定することができる。企画と制御データは、企画モジュール３０４により生成され、車両３００が次の移動循環（例えば、次の路線／経路区間）においてどのように移動するかを描画する情報を含む。例えば、企画と制御データは、車両３００が３０マイル／時間（ｍｐｈ）の速度で１０メートルだけ移動し、その後に２５ｍｐｈの速度で右側の車線に変更するように指示することができる。
制御モジュール３０５は、企画と制御データに基づいて、企画と制御データにより限定された路線又は経路に応じて適当な指令又は信号を車両制御システム１１１に送信することにより自動運転車両を制御し運転する。前記企画と制御データは、経路又は路線に沿って異なるタイミングで適当な車両設置又は運転パラメータ（例えば、アクセル、ブレーキと操舵指令）を使用することにより車両を路線又は経路の第一の点から第二の点まで運転するように十分な情報を有する。
注意すべきなのは、策定モジュール３０３と企画モジュール３０４は、集積モジュールとして集積することができる。策定モジュール３０３／企画モジュール３０４は、自動運転車両の運転経路を決定するように、ナビゲーションシステム又はナビゲーションシステムの機能を具備することができる。例えば、ナビゲーションシステムは、自動運転車両が下記の経路に沿って移動することを実現する一連の速度と進行方向を決定することができる。前記経路は、自動運転車両を最終の目的地まで走行させる車線による経路に沿って進行させると共に、基本的に感知された障害物を回避する。目的地は、ユーザインターフェースシステム１１３を経由して行われたユーザ入力に基づいて設定されても良い。ナビゲーションシステムは自動運転車両が運転していると同時に動的に運転経路を更新することができる。ナビゲーションシステムは、自動運転車両のための運転経路を決定するように、ＧＰＳシステムと一つ又は複数の地図からのデータを合併することができる。
策定モジュール３０３／企画モジュール３０４は、識別、推定及び回避、或いは他の手段で自動運転車両の環境における潜在の障害物を越えるように、更に衝突回避システム又は衝突回避システムの機能を具備する。例えば、衝突回避システムは、以下の手段で自動運転車両のナビゲーションにおける変化を実現することができる。即ち、操作制御システム１１１のうち一つ又は複数のサブシステムは操舵操作、回転操作、制動操作などを採用する。衝突回避システムは、周囲の交通モード、道路状況などに基いて自動的に実現可能な障害物回避操作を決定することができる。衝突回避システムは、他のセンサシステムにより自動運転車両が方向変更して進入しようとする隣接領域における車両、建築障害物などが検出された時に操舵操作を行わないように配置することができる。衝突回避システムは、使用可能で且つ自動運転車両の乗員の安全性を最大化させる操作を自動的に選択することができる。衝突回避システムは、自動運転車両の車室に最小値の加速度が発生させるように予測される回避操作を選択することができる。
車両関連特徴抽出モジュール３０６は、車両関連情報又は特徴（例えば、他の車両に関連するセンサデータ）を取得し、車両関連情報を行為予測モジュール３０８に提供する。例えば、感知モジュール３０２は、自動運転車両（例えば、自動運転車両１０１）の周囲環境を感知して自動運転車両の付近又は所定の隣接範囲内の一つ又は複数の車両を検出し又は認識することができる。一つ又は複数の付近の車両が認識され且つ認識された車両ごとについて、センサシステム１１４（例えば、レーダユニット２１４により）は無線電信号を利用して認識された車両を探索し、且つ認識された車両に関連するセンサデータ（例えば、速度、加速度、進行方向等）を生成することができる。
また、例えば、地図／路線情報３１１、ＭＰＯＩ情報、位置情報及び／又はセンサデータを利用することにより、認識された車両の現在位置を決定することができる。例えば、認識された車両のセンサデータと現在位置は、例えば感知／企画システム１１０により生成され且つ認識された車両に割り当てられる車両標識子（ＶＩＤ）に応じて感知／企画システム１１０のメモリ又は記憶装置に記憶することができる。従って、車両関連特徴抽出モジュール３０６は、感知／企画システム１１０のメモリからセンサデータを読み取り又は検索してセンサデータを取得し、センサデータを行為予測モジュール３０８に提供することができる。
車両無関係特徴抽出モジュール３０７は、認識された車両の現在位置に基づいて、車両無関係情報又は特徴（例えば、状況認識特徴）を取得して認識された車両の周囲の状況を決定することができる。状況認識特徴は、「何時、何処、だれ」の概念を含むように異なる種類に分類され、且つ認識された車両に加えられる各種の物理的制約を限定する情報を含むことができる。例えば、感知モジュール３０２により、車両無関係特徴抽出モジュール３０７は車両が感知され、認識される時間（例えば、月、何曜日、時間、分、秒）を決定することができる。一ヶ月における異なる日付と一週間における異なる日は、異なる運転状況（例えば交通渋滞）を有することができる。これは、他の運転者が彼らの車両をどのように操作可能かを影響することができる。また、車両無関係特徴抽出モジュール３０７は、遠隔サーバ（例えば、サーバ１０３乃至１０４）、感知モジュール３０２及び／又はセンサシステム１１４から運転状況情報、車両周囲情報、興味のある点（ＰＯＩ）とイベント情報、及び交通情報のような状況認識特徴を受信することができる。
幾つかの実施形態において、運転状況情報は可視度、安定性及び運転性能の決定に用いられる。従って、運転状況情報は、道路の平らさ、道路の幅と車両の幅との比、道路の曲率、降水レベル、霧レベル、雪レベル、温度及び／又は認識された車両の運転状況に影響する如何なる情報を含んでも良い。
幾つかの実施形態において、車両周囲情報は、車両の運動自由度を示す情報、例えば阻止面積パーセンテージ、阻止障害物のタイプの分布（例えば、静的な障害物、車両、自転車、歩行者及び／又は認識された車両の付近の他の移動障害物、及びそれらの認識された車両に対する方向）及び相対的な渋滞度を含む。
幾つかの実施形態において、ＰＯＩとイベント情報は、車両の運動自由度を決定するように用いられても良い。つまり、ＰＯＩとイベント情報は、車両の目的地の周囲の環境を描画することができる。例えば、特定の興味のある点（例えば、観光名所）は車両（例えば、認識された車両）の目的地の進行方向を示すことができる。例えば、一週間の特定の日付の間にこのような興味のある点においてイベント（例えば、コンサート）が発生すると、人込みが当該特定の日付の間にこのようなイベントのために集まることを想定することができる。従って、車両が当該特定の日付の間に興味のある点（即ちその目的地）の付近の範囲に位置する場合に、車両の運動自由度に影響する恐れがある。従って、幾つかの実施形態において、ＰＯＩとイベント情報は、付近のＰＯＩタイプの分布データ、イベントタイプの分布データ、イベントのファッション情報とイベントのファッションの履歴を含むことができる。
幾つかの実施形態において、交通情報は、特定時間と目的地の交通履歴データを含むことができる。例えば、一週間における先頭の四日間の同じ一時間内の平均交通履歴データの分布は本日の交通状況を予測する要素であっても良い。また、例えば、ある目的地の付近の事故履歴も本日に当該目的地において事故が発生する可能性を予測する要素であっても良い。
行為予測モジュール３０８は、車両無関係情報及び／又は車両関連情報に基づいて、認識された車両の一つ又は複数の軌跡を予測し、予測された軌跡を策定モジュール３０３及び／又は企画モジュール３０４に提供する。例えば、行為予測モジュール３０８は、一つ又は複数の機器学習モデル又はアルゴリズム（例えば、再帰ニューラルネットワーク（ＲＮＮ）モデル）を呼び出して、車両無関係情報及び／又は車両関連情報により提供されたデータから学習し且つそれによって予測を行うことにより、当該モデルを訓練して車両無関係情報及び／又は車両関連情報の訓練セットに応じて認識された車両の一つ又は複数の軌跡を予測することができる。
図４は、本発明の一実施形態による機器学習モデルの例示を示した図である。幾つかの実施形態において、機器学習モデル４００は、図３の行為予測モジュール３０８により呼出可能である。図４を参考し、機器学習モデルは、ＲＮＮモデルの一部として、例えば入力層４０２、隠蔽層４１１乃至４１３、出力層４１５を備える。ＲＮＮモデルは一種類の人工ニューラルネットワークである。なお、ユニットの間の接続は方向のある循環を形成する。これは、ネットワークの内部状態を生成し、動的な時間行為を表すことが許される。ＲＮＮは、その内部メモリを使用して任意の入力シーケンスを処理することができる。
図４に示されたように、車両無関係特徴４０１は、再帰で入力層４０２に提供される。入力層４０２は、入力ノード又はニューロンを含むことができる。前記入力ノード又はニューロンは、車両無関係特徴４０１（例えば、車両が感知し認識された時間、運転状況情報、車両周囲情報、ＰＯＩとイベント情報及び交通情報）を受信し、車両無関係特徴４０１を中間ニューロンを含める第一隠蔽層４１１に伝送して処理を行う。幾つかの実施形態において、入力層４０２は、情報を第一隠蔽層４１１に伝送する前に、車両無関係特徴４０１を簡単の形として変換し又はコーディングすることができる。幾つかの実施形態において、第一隠蔽層４１１は、車両無関係特徴４０１を訓練セットとして使用する指導型学習ルールを呼び出すことができる。幾つかの実施形態において、指導型学習ルールの代わりに、或いは指導型学習ルールの他、第一隠蔽層４１１は非指導型学習ルール（例えば、デルタ（ｄｅｌｔａ）ルール）を呼び出しても良い。非指導型学習ルールは、提供された車両無関係特徴４０１に応じて入力層４０２と第一隠蔽層４１１との接続の重みを補正し又は更新する。
第一隠蔽層４１１からの出力データを次の隠蔽層（例えば第Ｎ隠蔽層４１３）に提供して更なる処理に使用させることができる。なお、Ｎは機器学習モデル４００における隠蔽層の数である。第Ｎ隠蔽層４１３は、第一隠蔽層４１１からの中間ニューロンと通信する中間ニューロンを含むことができる。第一隠蔽層４１１と同様に、幾つかの実施形態において、第Ｎ隠蔽層４１３は、指導型及び／又は非指導型学習ルールを呼び出して第一隠蔽層４１１からのデータを処理することもできる。当該データを処理した後に、第Ｎ隠蔽層４１３からの出力データは出力層４１５に提供されても良く、第Ｎ隠蔽層４１３からの出力データは車両の一つ又は複数の予測軌跡を示す。幾つかの実施形態において、出力層４１５は出力ノード又はニューロンを含むことができる。前記入力ノード又はニューロンは、第Ｎ隠蔽層４１３から出力データを受信し、且つ当該データを例えば策定モジュール３０３及び／又は企画モジュール３０４に伝送する。
図５は、本発明の一実施形態による他の機器学習モデルの例示を示した図である。幾つかの実施形態において、機器学習モデル５００は、図３の行為予測モジュール３０８により呼び出されても良い。図５を参照し、機器学習モデルは、第一入力層５０２、第二入力層５０３、隠蔽層５１１乃至５１３、出力層５２１を含む。図５に示されたように、再帰で車両無関係特徴４０１を第一入力層５０２に、車両関連特徴（例えば、車両に関連するセンサデータと現在位置）を第二入力層５０３に提供する。第一入力層５０２は車両無関係特徴４０１を受信する第一グループの入力ニューロン（示されていない）を含んでも良く、第二入力層５０３は車両関連特徴５０１を受信可能な第二グループの入力ニューロン（示されていない）を含んでも良い。第一グループの入力ニューロンと第二グループの入力ニューロンは、車両無関係特徴４０１と車両関連特徴５０１を第一隠蔽層５１１に提供する。第一隠蔽層５１１は、指導型及び／又は非指導型学習ルールを呼び出すことにより車両無関係特徴４０１と車両関連特徴５０１からのデータ又は情報を処理することができる。その後に、処理されたデータは次の隠蔽層（例えば、第Ｎ隠蔽層５１３、Ｎは機器学習モデル５００における隠蔽層の数）伝送される。第Ｎ隠蔽層５１３は、指導型及び／又は非指導型学習ルールを呼び出して当該データを更に処理し、且つ車両の一つ又は複数の予測軌跡を示す出力データを出力層５２１に伝送することができる。
図６は、本発明の一実施形態による他の機器学習モデルの例示を示した図である。幾つかの実施形態において、機器学習モデル６００は、図３の行為予測モジュール３０８により呼び出されても良い。図６を参照し、車両無関係特徴４０１と車両関連特徴５０１は、それぞれ第一学習モデル６０１と第二学習モデル６０２に並行に提供され、且つ第一学習モデル６０１と第二学習モデル６０２からの結果又は出力情報は最終予測６２３として組合され、又は合併される。幾つかの実施形態において、第一学習モデル６０１と第二学習モデル６０２は、図４の機器学習モデル４００及び／又は図５の機器学習モデル５００と類似し又は同様である。
図６を参考し、車両無関係特徴４０１は再帰で入力層６０３に提供される。その後に、入力層６０３は、車両無関係特徴４０１からの情報を第一隠蔽層６１１に伝送する。（例えば、指導型及び／又は非指導型学習ルールを使用する）当該情報を処理する時に、第一隠蔽層６１１は処理された情報を次の隠蔽層（例えば、第Ｎ隠蔽層６１３、Ｎは第一学習モデル６０１における隠蔽層の数）に伝送し又は提供して付加的な処理を行い、且つ第Ｎ隠蔽層６１３からの出力情報を出力層６２１に提供することができる。
同様に、図６を参考し、車両関連特徴５０１も再帰で入力層６０４に提供される。その後に、入力層６０４は、車両関連特徴５０１からの情報を第一隠蔽層６１２に伝送して処理を行う。当該情報を処理した後に、第一隠蔽層６１２は処理された情報を次の層（例えば、第Ｎ隠蔽層６１４、Ｎは第二学習モデル６０２における隠蔽層の数）に伝送して付加的な処理を行い、且つ第Ｎ隠蔽層６１４からの出力情報を出力層６２２に提供することができる。出力層６２１と出力層６２２からの出力情報は（例えば、ベイジアンアルゴリズム、ディシジョンツリ及び／又は乗法を使用する）最終予測６２３として組合し又は合併され、最終予測６２３は車両の一つ又は複数の最終予測軌跡を示す。
図７は、本発明の一実施形態による自動運転車両を操作するプロセスを示すフローチャートである。プロセス７００は、処理ロジックにより実行されても良い。処理ロジックはソフトウェア、ハードウェア又はそれらの組み合わせを含んでも良い。例えば、プロセス７００は、図１の感知／企画システム１１０により実行されても良い。図７を参考し、ブロック７０１において、処理ロジックは、自動運転車両の周囲環境を感知して付近の一つ又は複数の車両を認識する。ブロック７０２において、処理ロジックは、認識された車両ごとについて、認識された車両の現在位置に基づいて車両無関係情報を取得して認識された車両の周囲の状況を決定する。なお、車両無関係情報は、認識された車両に加えられる物理的制約を限定する車両の周囲の情報を含む。ブロック７０３において、処理ロジックは、少なくとも部分的に認識された車両に関連する車両無関係情報に基づいて認識された車両の一つ又は複数の軌跡を予測する。ブロック７０４において、処理ロジックは一つ又は複数の認識された車両の一つ又は複数の予測軌跡に基づいて自動運転車両を制御する。
図８は、本発明の一実施形態による運転シーンの例示を示した。図８を参考し、当該例示において、第一車両８０１（例えば、自動運転車両１０１）（「メイン車両」とも呼ばれる）、第二車両８０２と第三車両８０３は、同一の時間又はほぼ同一の時間に停車標識の交差点に到達しても良く、第二車両８０２と第三車両８０３はメイン車両の企画軌跡と干渉する軌跡で走行する可能性がある。その後、メイン車両は、（例えば、感知モジュール３０２を呼び出すことにより）停車標識の交差点における周囲の環境を感知して付近の一つ又は複数の車両を認識することができる。この場合に、メイン車両は第二車両８０２と第三車両８０３を認識することになる。認識された車両ごとについて（即ち、第二車両８０２と第三車両８０３）、メイン車両は（例えば、少なくとも部分的に位置決めモジュール３０１を呼び出すことにより）認識された車両の現在位置を取得する。メイン車両は（例えば、車両無関係特徴抽出モジュール３０７を呼び出すことにより）当該現在位置を使用して認識された車両の車両無関係情報又は特徴（例えば、周囲環境情報）を取得することができる。この場合に、メイン車両は、第三車両８０３の周囲の障害物について一つも検出していなかった。ところが、感知モジュール３０２を呼び出し、及び／又はセンサシステム１１４からのセンサデータを利用することにより、メイン車両が第二車両８０２の軌跡を干渉する歩行者８０４を検出することになる。第三車両８０３に対して経路を干渉する障害物がないため、メイン車両は第三車両８０３が追い越す操作を実行しようとすることを予測することができる。従って、メイン車両は、例えば第三車両８０３に対して譲ることができる。その一方、歩行者８０４が交差点を通過することを待つ必要があるかもしれないため、第二車両８０２は暫く操作不可になる可能性がある。従って、メイン車両は、第二車両８０２が譲り、且つ第二車両８０２を追い越すことを予測することができる。
注意すべきなのは、いままで示され説明された部品における一部又は全部がソフトウェア、ハードウェア又はそれらの組み合わせで実施可能である。例えば、このような部品は非揮発的な記憶装置にインストールされ記憶されるソフトウェアとして実施可能である。前記ソフトウェアは、プロセッサ（図示しない）によりメモリにロードされてメモリに実行されることにより本願の全文に記述されたプロセス又は操作を実施することができる。その代わりに、このような部品は、専用ハードウェア（例えば、集積回路（例えば、専用集積回路又はＡＳＩＣ）、デジタル信号プロセッサ（ＤＳＰ）或いはフィールドプログラマブルゲートアレイ（ＦＰＧＡ））にプログラミングされ、或いは組み込まれた実行可能なコードとして実施可能である。前記実行可能なコードは、アプリからの相応的なドライブプログラム及び／又は操作システムを介してアクセス可能である。また、そのような部品はプロセッサ又はプロセッサのコアにおける特定なハードウェアロジックとして実施され、ソフトウェア部品により一つ又は複数の特定なコマンドを介してアクセスされるコマンドセットの一部とすることができる。
図９は本発明の一実施形態と共に使用可能なデータ処理システムの例示を示したブロック図である。例えば、システム９００は、以上で説明された前記プロセス又は方法の何れか一つを実行する如何なるデータ処理システム、例えば、図１の感知／企画システム１１０又はサーバ１０３〜１０４のうちの何れか一つを示すことができる。システム９００は異なる部品を多く具備することができる。これらの部品は、集積回路（ＩＣ）、集積回路の一部、独立な電子装置又はプリント基板（例えば、コンピュータシステムのマザーボード又はインサートカード）に適用される他のモジュールとして実行可能し、或いは他の方式でコンピュータシステムのフレームに設置される部品として実施可能である。
注意すべきなのは、システム９００はコンピュータシステムの複数の部品のハイレベルビューを示した。理解すべきなのは、幾つかの実施例に付加的な部品を具備しても良く、また他の実施例に示された部品の異なる配置を具備しても良い。システム９００は、デスクトップコンピュータ、ノードパソコン、タブレット、サーバ、モバイルフォン、メディアプレーヤ、パーソナルデジタルアシスタント（ＰＤＡ）、スマート腕時計、パーソナル通信機、ゲーム装置、ネットワークルータ又はハブ、無線アクセスポイント（ＡＰ）又はリピータ、セットトップボックス或いはそれらの組み合わせを示すことができる。また、単一の機器又はシステムが示されたが、単語「機器」又は「システム」は更に一つ（又は複数の）コマンドセットを単独で或いは協同的に実行することにより、本文に説明された任意の一つ又は複数の方法を実行する機器或いはシステムの如何なるセットを含むことを理解すべきである。
一実施形態において、システム９００は、バス又はインターコネクタ９１０を介して接続されるプロセッサ９０１、メモリ９０３及び装置９０５〜９０８を具備する。プロセッサ９０１は、そのうちに単一のプロセッサコア、又は複数のプロセッサコアの単一のプロセッサ、又は複数のプロセッサが含まれることを表すことができる。プロセッサ９０１は、一つ又は複数の汎用プロセッサ、例えばマイクロプロセッサ、中央処理ユニット（ＣＰＵ）などを表すことができる。具体的に、プロセッサ９０１は複雑コマンドセット演算（ＣＩＳＣ）マイクロプロセッサ、簡単コマンドセット演算（ＲＩＳＣ）マイクロプロセッサ、超長コマンドワード（ＶＬＩＷ）マイクロプロセッサ、或いは他のコマンドセットを実施するプロセッサ、或いはコマンドセットの組み合わせを実施するプロセッサであっても良い。プロセッサ９０１は更に一つ又は複数の専用プロセッサ、例えば専用集積回路（ＡＳＩＣ）、セルラー又はベースバンドプロセッサ、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）、デジタル信号プロセッサ（ＤＳＰ）、ネットワークプロセッサ、図形プロセッサ、通信プロセッサ、暗号化プロセッサ、セカンドプロセッサ、組み込みプロセッサ、或いはコマンドを処理可能な任意の他のタイプのロジックであっても良い。
プロセッサ９０１（ローパワーマルチコアプロセッサソケット、例えば超低電圧プロセッサであっても良い）は前記システムの各部品と通信用のメイン処理ユニットと中央ハブとして使用可能である。このようなプロセッサは、チップ上システム（ＳｏＣ）として実施可能である。プロセッサ９０１は、本文に説明された操作及びステップを実行するためのコマンドを実行するように配置される。システム９００は更に選択可能な図形サブシステム９０４と通信するための図形インターフェースを含んでも良い。図形サブシステム９０４は、表示コントローラ、図形プロセッサ及び／又は表示装置を含んでも良い。
プロセッサ９０１はメモリ９０３と通信可能である。ある実施形態において、メモリ９０３は複数のメモリ装置を介して実施されることにより定量のシステム記憶が提供可能である。メモリ９０３は、一つ又は複数の揮発的な記憶（或いはメモリ）装置、例えばランダムアクセスメモリ（ＲＡＭ）、ダイナミックＲＡＭ（ＤＲＡＭ）、同期ＤＲＡＭ（ＳＤＲＡＭ）、スタティックＲＡＭ（ＳＲＡＭ）又は他のタイプの記憶装置を含んでも良い。メモリ９０３はプロセッサ９０１又は他の任意の装置により実行されるコマンドシーケンスを含む情報を記憶可能である。例えば、各操作システム、装置ドライブプログラム、ファームウェア（例えば、入出力基盤システム又はＢＩＯＳ）及び／又はアプリの実行可能なコード及び／又はデータは、メモリ９０３にロードされ且つプロセッサ９０１により実行可能である。操作システムは、任意のタイプの操作システム、例えばロボット操作システム（ＲＯＳ）、Ｍｉｃｒｏｓｏｆｔ（登録商標）会社からのＷｉｎｄｏｗｓ（登録商標）操作システム、アップル会社からのＭａｃ ＯＳ（登録商標）／ｉＯＳ（登録商標）、Ｇｏｏｇｌｅ（登録商標）会社からのＡｎｄｒｏｉｄ（登録商標）、ＬＩＮＵＸ（登録商標）、ＵＮＩＸ（登録商標）、或いは他のリアルタイム又は組み込み操作システムであっても良い。
システム９００は更にＩＯ装置、例えばネットワークインターフェース装置９０５、選択可能な入力装置９０６、及び他の選択可能なＩＯ装置９０７を含む装置９０５〜９０８を含む。ネットワークインターフェース装置９０５は、無線送受信機及び／又はネットワークインターフェースカード（ＮＩＣ）を含んでも良い。前記無線送受信機は、ＷｉＦｉ送受信機、赤外線送受信機、ブルートゥース（登録商標）送受信機、ＷｉＭａｘ送受信機、無線セルラー電話送受信機、衛星送受信機（例えば、グローバルポジションシステム（ＧＰＳ）送受信機）、他の無線周波数（ＲＦ）送受信機或いはそれらの組み合わせであっても良い。ＮＩＣはイーサネット（登録商標）カードであっても良い。
入力装置９０６は、マウス、タッチパネル、タッチセンシティブスクリーン（表示装置９０４と一体化に集積可能）、指示装置（例えばスタイラス）及び／又はキーボード（例えば、物理キーボード又はタッチセンシティブスクリーンの一部として表示される仮想キーボード）を含んでも良い。例えば、入力装置９０６はタッチパネルに接続されるタッチパネルコントローラを含んでも良い。タッチパネルとタッチパネルコントローラは、例えば複数種類のタッチセンシティブ技術（コンデンサ、抵抗、赤外と表面弾性波技術を含むが、それらに限定されない）のうちの何れか一つ、及び他の近隣センサアレイ又はタッチパネルと接触する一つ又は複数のポイントを特定するための他の素子を利用してその接触、移動又は中断を検出する。
ＩＯ装置９０７はラジオ装置を含んでも良い。ラジオ装置は、例えば音声識別、音声複製、デジタル記録及び／又は電話機能のような音声をサポートする機能を促進するように、スピーカ及び／又はマイクロフォンを含んでも良い。他のＩＯ装置９０７は、ユニバーサルシリアルバス（ＵＳＢ）ポート、パラレルポート、シリアルポート、プリンター、ネットワークインターフェース、バスブリッジ（例えば、ＰＣＩ−ＰＣＩブリッジ）、センサ（例えば、加速度計のような運動センサ、ジャイロ、磁力計、光センサ、コンパス、近接センサなど）或いはそれらの組み合わせを更に含んでも良い。装置９０７は画像形成処理サブシステム（例えば、カメラ）を含んでも良い。前記画像形成処理サブシステムは、カメラ機能（例えば、写真とビデオセグメントを記録する）を促進するための光学センサ、例えば電荷結合装置（ＣＣＤ）又は相補型金属酸化物半導体（ＣＭＯＳ）の光学センサを含んでも良い。幾つかのセンサはセンサハブ（図示しない）を介してインターコネクタ９１０に接続されても良い。キーボード又は熱センサのような他の装置は、システム９００の具体的な配置又は設計に応じて組み込みコントローラ（図示しない）により制御されても良い。
例えばデータ、アプリ、一つ又は複数の操作システムなどの情報の非揮発的な記憶を提供するために、大容量の記憶デバイス（図示しない）はプロセッサ９０１に接続されても良い。各実施形態において、より薄い且つより軽いシステム設計を実現すると共にシステムの応答性を改善するために、このような大容量の記憶デバイスは、ソリッドステートデバイス（ＳＳＤ）により実施されても良い。ところが、他の実施形態において、大容量の記憶デバイスは、主にハードディスクドライバー（ＨＤＤ）を使用して実施されても良い。そのうち、容量の小さいＳＳＤ記憶デバイスは、ＳＳＤキャッシュとして使用されて断電の間にコンテキスト及び他の類似の情報の非揮発的な記憶を実現することにより、システムの動作が再起動される時に快速給電を実現することができる。また、フラッシュメモリは、例えばシリアルペリフェラルインターフェース（ＳＰＩ）を介してプロセッサ９０１に接続されても良い。このようなフラッシュメモリは、システムソフトウェアの非揮発的な記憶を提供することができる。前記システムソフトウェアには、前記システムのＢＩＯＳ及び他のファームウェアが含まれる。
記憶装置９０８は、本文に記載された任意の一つ又は複数の方法或いは機能を表す一つ又は複数のコマンドセット又はソフトウェア（例えば、モジュール、ユニット及び／又はロジック９２８）が記憶されるコンピュータアクセス可能な記憶媒体９０９（機器読取可能な記憶媒体或いはコンピュータ読取可能な媒体とも呼ばれる）を含んでも良い。処理モジュール／ユニット／ロジック９２８は、前記部品のうちの何れか一つ、例えば企画モジュール３０４、制御モジュール３０５、モジュール３０６乃至３０８のうちの何れか一つ（単一或いは組合わせ）を示すことができる。処理モジュール／ユニット／ロジック９２８は、データ処理システム９００、メモリ９０３及びプロセッサ９０１により実行される間に完全的又は少なくとも一部的にメモリ９０３内及び／又はプロセッサ９０１内に保存されても良い。データ処理システム９００、メモリ９０３及びプロセッサ９０１も機器読取可能な記憶媒体として構成される。処理モジュール／ユニット／ロジック９２８は、ネットワークによりネットワークインターフェース装置９０５を介して伝送し又は受信可能である。
コンピュータ読取可能な記憶媒体９０９は、以上で説明された幾つかのソフトウェア機能を永遠に記憶しても良い。コンピュータ読取可能な記憶媒体９０９は、例示的な実施形態において単一の媒体として示されたが、「コンピュータ読取可能な記憶媒体」という用語は前記一つ又は複数のコマンドセットを記憶する単一の媒体又は複数の媒体（例えば、集中式又は分散式のデータベース及び／又は関連のキャッシュ及びサーバ）を含むと理解すべきである。「コンピュータ読取可能な記憶媒体」という用語は、コマンドセットを記憶し又はコーディング可能な任意の媒体を含むと理解すべきである。前記コマンドセットは、機器により実行され且つ前記機器に本発明の任意の一つ又は複数の方法を実行させるために用いられる。従って、「コンピュータ読取可能な記憶媒体」という用語は、固体メモリ及び光学媒体及び磁気媒体、或いは如何なる他の非揮発的な機器読取可能な媒体を含むと理解すべきであるが、それらに限定されない。
本文に記載の処理モジュール／ユニット／ロジック９２８、部品及び他の特徴は、独立なハードウェア部品として実施され、又はハードウェア部品（例えば、ＡＳＩＣＳ、ＦＰＧＡ、ＤＳＰ又は類似の装置）の機能に集積されるように実施可能である。また、処理モジュール／ユニット／ロジック９２８は、ハードウェア装置におけるファームウェア又は機能回路として実施可能である。また、処理モジュール／ユニット／ロジック９２８は、ハードウェア装置とソフトウェア部品の如何なる組み合わせで実施されても良い。
注意すべきなのは、システム９００はデータ処理システムの各部品を備えると示されたが、部品の接続の如何なる特定な構成又は手段を示すわけではない。これは、このような詳細が本発明の実施形態と緊密な関係を有していないからである。更に、より少ない部品を持ち、或いはより多い部品を持ち可能なネットワークコンピュータ、携帯コンピュータ、モバイルフォン、サーバ及び／又は他のデータ処理システムも本発明の実施形態と共に使用可能と理解すべきである。
前記の詳しい説明における幾つかの部分は、既にコンピュータメモリ内にデータビットに対する演算のアルゴリズムと符号標記により表された。これらのアルゴリズムの説明及び標記は、データ処理分野における技術者により使用される方式であり、彼らの作業の意図を効率的に当分野の他の技術者に伝達する。本文において、アルゴリズムは一般的に所望の結果を引き起こすセルフコンシステント操作シーケンスであると考えられる。これらの操作は物理量に対する物理の制御の必要がある操作である。
ところが、理解すべきなのは、全てのこれらと類似する用語は、何れも適当な物理量に関連させると意味し、且つこれらの量に適用する便利な標識に過ぎない。上記の論述に他の方式で明確に指定される場合以外、全明細書において、用語（例えば付加の特許請求の範囲に記載される用語）で行われた論述はコンピュータシステム又は類似の電子演算装置の動作及び処理であると理解すべきである。前記コンピュータシステム又は電子演算装置は、コンピュータシステムのレジスタとメモリに物理（電子）量として表されるデータを制御し、前記データをコンピュータシステムメモリ、レジスタ、他の類似の情報記憶デバイス、伝送又は表示装置に同様に物理量として表される他のデータに変換する。
本発明の実施形態は更に本文における操作を実行するデバイスに関する。このようなコンピュータプログラムは非揮発的なコンピュータ読取可能な媒体に記憶される。機器読取可能な媒体は、機器（例えば、コンピュータ）読取可能な形で情報を記憶する如何なる機構を含む。例えば、機器読取可能（例えば、コンピュータ読取可能）な媒体は、機器（例えば、コンピュータ）読取可能な記憶媒体（例えば、読み出し専用メモリ（「ＲＯＭ」）、ランダムアクセスメモリ（「ＲＡＭ」）、ディスク記憶媒体、光記憶媒体、フラッシュメモリ装置）を含む。
前記の図面に描画されるプロセス又は方法は処理ロジックにより実行されても良い。前記処理ロジックは、ハードウェア（例えば、回路、専用ロジック等）、ソフトウェア（例えば、非揮発的なコンピュータ読取可能な媒体として表す）或いは両者の組み合わせを含む。前記過程又は方法は前記の記載において所定の順序に従う操作として説明されたが、前記操作のうちの一部が異なる順序に従って実行可能と理解すべきである。また、一部の操作は順序での実行ではなく、並行に実行可能である。
本発明の実施形態は、如何なる特定のプログラミング言語に従って説明することではない。理解すべきなのは、複数のプログラミング言語を使用して本文に記載された本発明の実施形態を実施することができる。
以上の明細書において、既に本発明の具体的な例示的実施形態を参照して本発明の実施形態を説明した。明らかに、付加の特許請求の範囲に記載の本発明のより広い主旨及び範囲から逸脱されない場合に、本発明に対する各修正が可能である。よって、制限的な意味ではなく、説明的な意味で本明細書及び図面を理解すべきである。

Claims (21)

  1. 自動運転車両を走行させるためのコンピュータ実施方法であって、
    自動運転車両の周囲の環境を感知して付近の一つ又は複数の車両を認識するステップと、
    認識された車両ごとについて、
    前記認識された車両の現在位置に基づいて、前記認識された車両に加えられる物理的制約を限定する車両の周囲の情報を含む車両無関係情報（vehicle-independent information）を取得して前記認識された車両の周囲の状況を決定し、
    少なくとも部分的に前記認識された車両に関連する前記車両無関係情報に基づいて前記認識された車両の一つ又は複数の軌跡を予測するステップと、
    一つ又は複数の認識された車両の前記一つ又は複数の予測軌跡に基づいて前記自動運転車両を制御するステップと、を含む、
    ことを特徴とする方法。
  2. 前記認識された車両ごとについて、
    前記自動運転車両の一つ又は複数のセンサから前記認識された車両に関連するセンサデータを取得し、
    少なくとも部分的に前記センサデータに基づいて前記認識された車両の前記現在位置を決定するステップを更に含む、
    ことを特徴とする請求項１に記載の方法。
  3. 前記車両無関係情報は、前記車両に対して物理的制約が更に加えられる、前記車両の認識される時間、運転状況、興味のある点（ＰＯＩ）とイベント情報、及び交通情報を更に含む、
    ことを特徴とする請求項１に記載の方法。
  4. 前記興味のある点とイベント情報は、前記認識された車両の目的地への進行方向を示す情報を含む、
    ことを特徴とする請求項３に記載の方法。
  5. 少なくとも部分的に前記車両無関係情報に基づいて前記認識された車両の一つ又は複数の軌跡を予測するステップは、
    機器学習モデルを呼び出すことにより、前記車両無関係情報に基づいて前記一つ又は複数の軌跡を出力するステップを含む、
    ことを特徴とする請求項１に記載の方法。
  6. 少なくとも部分的に前記車両無関係情報に基づいて前記認識された車両の一つ又は複数の軌跡を予測するステップは、
    前記センサデータを第一機器学習モデルに入力して、前記認識された車両の第一グループの予測軌跡を出力するステップと、
    前記車両無関係情報を第二機器学習モデルに入力して、前記認識された車両の第二グループの予測軌跡を出力するステップと、
    前記第一グループの予測軌跡と前記第二グループの予測軌跡とを合併して、最終グループの予測軌跡を取得するステップと、を含む、
    ことを特徴とする請求項２に記載の方法。
  7. 前記第一グループの予測軌跡と前記第二グループの予測軌跡とを合併して、最終グループの予測軌跡を取得するステップは、べイジアンアルゴリズムによって実行される、
    ことを特徴とする請求項６に記載の方法。
  8. コマンドが記憶されており、前記コマンドがプロセッサにより実行されると、前記プロセッサに、自律走行車を動作させる処理を実行させる、不発揮性の機械可読媒体であって、
    前記処理は、
    自動運転車両の周囲の環境を感知して付近の一つ又は複数の車両を認識することと、
    認識された車両ごとについて、
    前記認識された車両の現在位置に基づいて、前記認識された車両に加えられる物理的制約を限定する車両の周囲の情報を含む車両無関係情報を取得して前記認識された車両の周囲の状況を決定し、
    少なくとも部分的に前記認識された車両に関連する前記車両無関係情報に基づいて前記認識された車両の一つ又は複数の軌跡を予測することと、
    一つ又は複数の認識された車両の前記一つ又は複数の予測軌跡に基づいて前記自動運転車両を制御することと、を含む、
    ことを特徴とする不発揮性の機械可読媒体。
  9. 前記処理は、
    前記認識された車両ごとについて、
    前記自動運転車両の一つ又は複数のセンサから前記認識された車両に関連するセンサデータを取得し、
    少なくとも部分的に前記センサデータに基づいて前記認識された車両の前記現在位置を決定することを更に含む、
    ことを特徴とする請求項８に記載の機械可読媒体。
  10. 前記車両無関係情報は、前記車両に対して物理的制約が更に加えられる、前記車両の認識される時間、運転状況、興味のある点とイベント情報、及び交通情報を更に含む、
    ことを特徴とする請求項８に記載の機械可読媒体。
  11. 前記興味のある点とイベント情報は、前記認識された車両の目的地への進行方向を示す情報を含む、
    ことを特徴とする請求項１０に記載の機械可読媒体。
  12. 少なくとも部分的に前記車両無関係情報に基づいて前記認識された車両の一つ又は複数の軌跡を予測することは、
    機器学習モデルを呼び出すことにより、前記車両無関係情報に基づいて前記一つ又は複数の軌跡を出力することを含む、
    ことを特徴とする請求項８に記載の機械可読媒体。
  13. 少なくとも部分的に前記車両無関係情報に基づいて前記認識された車両の一つ又は複数の軌跡を予測することは、
    前記センサデータを第一機器学習モデルに入力し、前記認識された車両の第一グループの予測軌跡を出力することと、
    前記車両無関係情報を第二機器学習モデルに入力し、前記認識された車両の第二グループの予測軌跡を出力することと、
    前記第一グループの予測軌跡と前記第二グループの予測軌跡とを合併して、最終グループの予測軌跡を取得することと、を含む、
    ことを特徴とする請求項９に記載の機械可読媒体。
  14. 前記第一グループの予測軌跡と前記第二グループの予測軌跡とを合併して、最終グループの予測軌跡を取得することは、べイジアンアルゴリズムによって実行される、
    ことを特徴とする請求項１３に記載の機械可読媒体。
  15. プロセッサと、
    前記プロセッサに連結されてコマンドを記憶するメモリと、を含み、
    前記コマンドが前記プロセッサによって実行されるとき、前記プロセッサに、自律走行車を動作させる処理を実行させる、データ処理システムであって、
    前記処理は、
    自動運転車両の周囲の環境を感知して付近の一つ又は複数の車両を認識することと、
    認識された車両ごとについて、
    前記認識された車両の現在位置に基づいて、前記認識された車両に加えられる物理的制約を限定する車両の周囲の情報を含む車両無関係情報を取得して前記認識された車両の周囲の状況を決定し、
    少なくとも部分的に前記認識された車両に関連する前記車両無関係情報に基づいて前記認識された車両の一つ又は複数の軌跡を予測することと、
    一つ又は複数の認識された車両の前記一つ又は複数の予測軌跡に基づいて前記自動運転車両を制御することと、を含む、
    ことを特徴とするシステム。
  16. 前記処理は、
    前記認識された車両ごとについて、
    前記自動運転車両の一つ又は複数のセンサから前記認識された車両に関連するセンサデータを取得し、
    少なくとも部分的に前記センサデータに基づいて前記認識された車両の前記現在位置を決定することを更に含む、
    ことを特徴とする請求項１５に記載のシステム。
  17. 前記車両無関係情報は、前記車両に対して物理的制約が更に加えられる、前記車両の認識される時間、運転状況、興味のある点とイベント情報、及び交通情報を更に含む、
    ことを特徴とする請求項１５に記載のシステム。
  18. 前記興味のある点とイベント情報は、前記認識された車両の目的地への進行方向を示す情報を含む、
    ことを特徴とする請求項１７に記載のシステム。
  19. 少なくとも部分的に前記車両無関係情報に基づいて前記認識された車両の一つ又は複数の軌跡を予測することは、機器学習モデルを呼び出すことにより、前記車両無関係情報に基づいて前記一つ又は複数の軌跡を出力することを含む、
    ことを特徴とする請求項１５に記載のシステム。
  20. 少なくとも部分的に前記車両無関係情報に基づいて前記認識された車両の一つ又は複数の軌跡を予測することは、
    前記センサデータを第一機器学習モデルに入力し、前記認識された車両の第一グループの予測軌跡を出力することと、
    前記車両無関係情報を第二機器学習モデルに入力し、前記認識された車両の第二グループの予測軌跡を出力することと、
    前記第一グループの予測軌跡と前記第二グループの予測軌跡とを合併して、最終グループの予測軌跡を取得することと、を含む、
    ことを特徴とする請求項１６に記載のシステム。
  21. 前記第一グループの予測軌跡と前記第二グループの予測軌跡とを合併して、前記最終グループの予測軌跡を取得することは、べイジアンアルゴリズムによって実行される、
    ことを特徴とする請求項２０に記載のシステム。
JP2018517765A 2016-12-21 2017-05-24 車両の周囲の状況に基づいて車両の一つ又は複数の軌跡を予測する方法とシステム Active JP6684346B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US15/387,466 US10268200B2 (en) 2016-12-21 2016-12-21 Method and system to predict one or more trajectories of a vehicle based on context surrounding the vehicle
US15/387,466 2016-12-21
PCT/US2017/034160 WO2018118112A1 (en) 2016-12-21 2017-05-24 Method and system to predict one or more trajectories of a vehicle based on context surrounding the vehicle

Publications (2)

Publication Number Publication Date
JP2019504373A true JP2019504373A (ja) 2019-02-14
JP6684346B2 JP6684346B2 (ja) 2020-04-22

Family

ID=62110823

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2018517765A Active JP6684346B2 (ja) 2016-12-21 2017-05-24 車両の周囲の状況に基づいて車両の一つ又は複数の軌跡を予測する方法とシステム

Country Status (6)

Country Link
US (2) US10268200B2 (ja)
EP (1) EP3356900B1 (ja)
JP (1) JP6684346B2 (ja)
KR (1) KR102078488B1 (ja)
CN (1) CN108475057B (ja)
WO (1) WO2018118112A1 (ja)

Families Citing this family (114)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10769453B2 (en) * 2017-05-16 2020-09-08 Samsung Electronics Co., Ltd. Electronic device and method of controlling operation of vehicle
US10829149B1 (en) * 2017-03-01 2020-11-10 Zoox, Inc. Steering control for vehicles
CN108628904B (zh) * 2017-03-23 2021-03-02 北京嘀嘀无限科技发展有限公司 一种路径编码、相似路径检索方法及装置和电子设备
KR102406507B1 (ko) * 2017-03-27 2022-06-10 현대자동차주식회사 딥러닝 기반 자율주행 차량 제어 장치, 그를 포함한 시스템 및 그 방법
US10643084B2 (en) 2017-04-18 2020-05-05 nuTonomy Inc. Automatically perceiving travel signals
US10572773B2 (en) * 2017-05-05 2020-02-25 Intel Corporation On the fly deep learning in machine learning for autonomous machines
WO2018212538A1 (en) * 2017-05-16 2018-11-22 Samsung Electronics Co., Ltd. Electronic device and method of detecting driving event of vehicle
US11537134B1 (en) * 2017-05-25 2022-12-27 Apple Inc. Generating environmental input encoding for training neural networks
US11029693B2 (en) 2017-08-08 2021-06-08 Tusimple, Inc. Neural network based vehicle dynamics model
US20190050714A1 (en) * 2017-08-09 2019-02-14 Ants Technology (Hk) Limited Modular distributed artificial neural networks
US10953881B2 (en) 2017-09-07 2021-03-23 Tusimple, Inc. System and method for automated lane change control for autonomous vehicles
US10782694B2 (en) * 2017-09-07 2020-09-22 Tusimple, Inc. Prediction-based system and method for trajectory planning of autonomous vehicles
US10782693B2 (en) * 2017-09-07 2020-09-22 Tusimple, Inc. Prediction-based system and method for trajectory planning of autonomous vehicles
US10953880B2 (en) 2017-09-07 2021-03-23 Tusimple, Inc. System and method for automated lane change control for autonomous vehicles
US10649458B2 (en) * 2017-09-07 2020-05-12 Tusimple, Inc. Data-driven prediction-based system and method for trajectory planning of autonomous vehicles
US11243532B1 (en) * 2017-09-27 2022-02-08 Apple Inc. Evaluating varying-sized action spaces using reinforcement learning
US11555706B1 (en) 2017-09-27 2023-01-17 Apple Inc. Processing graph representations of tactical maps using neural networks
US20190164007A1 (en) * 2017-11-30 2019-05-30 TuSimple Human driving behavior modeling system using machine learning
DE112019000070T5 (de) 2018-01-07 2020-03-12 Nvidia Corporation Führen von fahrzeugen durch fahrzeugmanöver unter verwendung von modellen für maschinelles lernen
WO2019152888A1 (en) 2018-02-02 2019-08-08 Nvidia Corporation Safety procedure analysis for obstacle avoidance in autonomous vehicle
JP2019151177A (ja) * 2018-03-01 2019-09-12 本田技研工業株式会社 車両制御装置、車両制御方法、及びプログラム
US11104334B2 (en) 2018-05-31 2021-08-31 Tusimple, Inc. System and method for proximate vehicle intention prediction for autonomous vehicles
US11966838B2 (en) 2018-06-19 2024-04-23 Nvidia Corporation Behavior-guided path planning in autonomous machine applications
RU2758730C1 (ru) * 2018-07-04 2021-11-01 Ниссан Мотор Ко., Лтд. Способ поддержки вождения и устройство поддержки вождения
CN108944945B (zh) * 2018-07-10 2020-03-20 深圳地平线机器人科技有限公司 用于辅助驾驶的状态预测方法、装置、电子设备和车辆
US11260855B2 (en) 2018-07-17 2022-03-01 Baidu Usa Llc Methods and systems to predict object movement for autonomous driving vehicles
EP3598414A1 (en) * 2018-07-20 2020-01-22 Volvo Car Corporation System and method for avoiding a collision course
DE102018118761A1 (de) * 2018-08-02 2020-02-06 Robert Bosch Gmbh Verfahren zum zumindest teilautomatisierten Führen eines Kraftfahrzeugs
JP6684533B2 (ja) * 2018-08-28 2020-04-22 三菱ロジスネクスト株式会社 進路予測装置および進路予測方法
CN110874610B (zh) * 2018-09-01 2023-11-03 图森有限公司 一种使用机器学习的人类驾驶行为建模系统及方法
WO2020055759A1 (en) * 2018-09-11 2020-03-19 Nvidia Corporation Future object trajectory predictions for autonomous machine applications
CN110378502A (zh) * 2018-09-13 2019-10-25 北京京东尚科信息技术有限公司 辅助无人车确定路径的方法和装置
CN110928286B (zh) * 2018-09-19 2023-12-26 阿波罗智能技术(北京)有限公司 用于控制车辆的自动驾驶的方法、设备、介质和系统
US11199847B2 (en) * 2018-09-26 2021-12-14 Baidu Usa Llc Curvature corrected path sampling system for autonomous driving vehicles
US11169531B2 (en) * 2018-10-04 2021-11-09 Zoox, Inc. Trajectory prediction on top-down scenes
US10885776B2 (en) * 2018-10-11 2021-01-05 Toyota Research Institute, Inc. System and method for roadway context learning by infrastructure sensors
US11073831B2 (en) * 2018-10-17 2021-07-27 Baidu Usa Llc Autonomous driving using a standard navigation map and lane configuration determined based on prior trajectories of vehicles
US11194331B2 (en) * 2018-10-30 2021-12-07 The Regents Of The University Of Michigan Unsupervised classification of encountering scenarios using connected vehicle datasets
US11110922B2 (en) 2018-11-05 2021-09-07 Zoox, Inc. Vehicle trajectory modification for following
EP3650297B1 (en) * 2018-11-08 2023-06-14 Bayerische Motoren Werke Aktiengesellschaft Method and apparatus for determining information related to a lane change of a target vehicle, and computer program
US11577750B2 (en) 2018-11-08 2023-02-14 Bayerische Motoren Werke Aktiengesellschaft Method and apparatus for determining a vehicle comfort metric for a prediction of a driving maneuver of a target vehicle
CN109631915B (zh) * 2018-12-19 2021-06-29 百度在线网络技术（北京）有限公司 轨迹预测方法、装置、设备及计算机可读存储介质
WO2020136978A1 (ja) 2018-12-27 2020-07-02 本田技研工業株式会社 経路決定方法
US11494613B2 (en) * 2019-01-02 2022-11-08 The Aerospace Corporation Fusing output of artificial intelligence networks
WO2020160144A1 (en) 2019-01-29 2020-08-06 Aptiv Technologies Limited Traffic light estimation
WO2020154970A1 (en) * 2019-01-30 2020-08-06 Baidu.Com Times Technology (Beijing) Co., Ltd. Deep learning–based feature extraction for lidar localization of autonomous driving vehicles
US10838418B2 (en) * 2019-01-31 2020-11-17 StradVision, Inc. Method for providing autonomous driving service platform to be used for supporting autonomous driving of vehicles by using competitive computing and information fusion, and server using the same
US20200249674A1 (en) * 2019-02-05 2020-08-06 Nvidia Corporation Combined prediction and path planning for autonomous objects using neural networks
WO2020163390A1 (en) 2019-02-05 2020-08-13 Nvidia Corporation Driving lane perception diversity and redundancy in autonomous driving applications
WO2020164089A1 (en) * 2019-02-15 2020-08-20 Bayerische Motoren Werke Aktiengesellschaft Trajectory prediction using deep learning multiple predictor fusion and bayesian optimization
CN113454555A (zh) * 2019-02-15 2021-09-28 宝马股份公司 用于驾驶策略的轨迹预测
CN109849934B (zh) * 2019-02-19 2020-09-29 百度在线网络技术（北京）有限公司 轨迹处理的方法、装置、存储介质和终端设备
CN109855641B (zh) * 2019-02-20 2021-06-11 百度在线网络技术（北京）有限公司 预测运动轨迹的方法、装置、存储介质和终端设备
CN110047276B (zh) * 2019-03-11 2020-11-27 广州文远知行科技有限公司 障碍物车辆的拥堵状态确定方法、装置和相关产品
JP7250571B2 (ja) * 2019-03-11 2023-04-03 本田技研工業株式会社 倒立振子型ロボット
JP7250573B2 (ja) * 2019-03-11 2023-04-03 本田技研工業株式会社 倒立振子型ロボット
JP7250572B2 (ja) 2019-03-11 2023-04-03 本田技研工業株式会社 倒立振子型ロボット
JP7469850B2 (ja) * 2019-03-25 2024-04-17 本田技研工業株式会社 経路決定装置、ロボット及び経路決定方法
US11364904B2 (en) * 2019-03-26 2022-06-21 GM Global Technology Operations LLC Path-planning fusion for a vehicle
US20200310422A1 (en) * 2019-03-26 2020-10-01 GM Global Technology Operations LLC Cognitive processor feedforward and feedback integration in autonomous systems
US10962371B2 (en) * 2019-04-02 2021-03-30 GM Global Technology Operations LLC Method and apparatus of parallel tracking and localization via multi-mode slam fusion process
RU2750152C1 (ru) 2019-04-25 2021-06-22 Общество с ограниченной ответственностью "Яндекс Беспилотные Технологии" Способы и системы для определения порядка оценивания траекторий транспортных средств
EP3966652A1 (en) * 2019-05-07 2022-03-16 Kontrol GmbH Formal verification for the development and real-time application of autonomous systems
GB2587836B (en) * 2019-05-07 2021-11-10 Motional Ad Llc Systems and methods for planning and updating a vehicle's trajectory
US11157784B2 (en) * 2019-05-08 2021-10-26 GM Global Technology Operations LLC Explainable learning system and methods for autonomous driving
WO2020224778A1 (en) * 2019-05-08 2020-11-12 Volvo Truck Corporation A method for determining if a vehicle control command precludes a future vehicle safety maneuver
KR102721869B1 (ko) * 2019-05-20 2024-10-28 현대모비스 주식회사 자율 주행 장치 및 방법
US11131993B2 (en) * 2019-05-29 2021-09-28 Argo AI, LLC Methods and systems for trajectory forecasting with recurrent neural networks using inertial behavioral rollout
CN110262486B (zh) * 2019-06-11 2020-09-04 北京三快在线科技有限公司 一种无人驾驶设备运动控制方法及装置
CN112078592B (zh) * 2019-06-13 2021-12-24 魔门塔(苏州)科技有限公司 一种车辆行为和/或车辆轨迹的预测方法及装置
CN110275531B (zh) * 2019-06-21 2020-11-27 北京三快在线科技有限公司 障碍物的轨迹预测方法、装置及无人驾驶设备
CN113905938B (zh) * 2019-07-08 2023-11-28 华为技术有限公司 用于改进多个自动驾驶车辆与其所在驾驶环境间交互的系统和方法
US11691650B2 (en) * 2019-07-08 2023-07-04 Uatc, Llc Systems and methods for generating motion forecast data for a plurality of actors with respect to an autonomous vehicle
CN110333517B (zh) * 2019-07-11 2022-11-25 腾讯科技（深圳）有限公司 障碍物感知方法、装置及存储介质
CN112286049A (zh) 2019-07-27 2021-01-29 华为技术有限公司 运动轨迹预测方法和装置
DE102019211457A1 (de) * 2019-07-31 2021-02-04 Volkswagen Aktiengesellschaft Verfahren und System zum Bereitstellen einer kontextabhängigen Wissensbasis zum Plausibilisieren mindestens einer Wahrnehmungsfunktion
GB201912145D0 (en) * 2019-08-23 2019-10-09 Five Ai Ltd Performance testing for robotic systems
US11460843B2 (en) * 2019-09-25 2022-10-04 GM Global Technology Operations LLC Parallelized tree-based decision scheme for autonomous vehicle
CN114450703B (zh) * 2019-09-30 2024-12-13 北京航迹科技有限公司 预测行人的移动轨迹的系统和方法
WO2021062596A1 (en) * 2019-09-30 2021-04-08 Beijing Voyager Technology Co., Ltd. Systems and methods for predicting a vehicle trajectory
US11591012B2 (en) * 2019-10-01 2023-02-28 Robert Bosch Gmbh Vehicle trajectory prediction using road topology and traffic participant object states
US20210101625A1 (en) 2019-10-08 2021-04-08 Motional Ad Llc Navigating multi-way stop intersections with an autonomous vehicle
US11643073B2 (en) * 2019-10-24 2023-05-09 Zoox, Inc. Trajectory modifications based on a collision zone
US11420630B2 (en) 2019-10-24 2022-08-23 Zoox, Inc. Trajectory modifications based on a collision zone
CN112712729B (zh) * 2019-10-26 2023-01-06 华为技术有限公司 预测运动轨迹的方法和系统
CN118977732A (zh) * 2019-10-29 2024-11-19 索尼集团公司 地理控制区中的车辆控制
CN111009153B (zh) * 2019-12-04 2021-10-15 珠海深圳清华大学研究院创新中心 一种轨迹预测模型的训练方法、装置和设备
CN111114554B (zh) * 2019-12-16 2021-06-11 苏州智加科技有限公司 行驶轨迹预测方法、装置、终端及存储介质
CN111123933B (zh) * 2019-12-24 2021-10-01 华为技术有限公司 车辆轨迹规划的方法、装置、智能驾驶域控制器和智能车
US11314258B2 (en) * 2019-12-27 2022-04-26 Intel Corporation Safety system for a vehicle
CN111260950B (zh) * 2020-01-17 2021-03-26 清华大学 一种基于轨迹预测的轨迹跟踪方法、介质和车载设备
KR102416686B1 (ko) * 2020-03-04 2022-07-05 김명락 자율주행차량 사용자정보 수집을 통한 유동인구 및 지역 가치 예측 방법
US12077190B2 (en) 2020-05-18 2024-09-03 Nvidia Corporation Efficient safety aware path selection and planning for autonomous machine applications
US20210357763A1 (en) * 2020-05-18 2021-11-18 StradVision, Inc. Method and device for performing behavior prediction by using explainable self-focused attention
CN111845768A (zh) * 2020-06-19 2020-10-30 腾讯科技（深圳）有限公司 车辆行驶参数的预测方法、装置
CN113942524B (zh) * 2020-07-15 2023-08-08 广州汽车集团股份有限公司 一种车辆行驶控制方法、系统及计算机可读存储介质
US20220048503A1 (en) 2020-08-12 2022-02-17 Argo AI, LLC Path-conditioned motion forecasting for vehicle motion planning
US11648965B2 (en) 2020-09-28 2023-05-16 Argo AI, LLC Method and system for using a reaction of other road users to ego-vehicle actions in autonomous driving
US12187269B2 (en) * 2020-09-30 2025-01-07 Toyota Motor Engineering & Manufacturing North America, Inc. Optical sense-compute solution for real-time navigation involving multiple vehicles
DE112020007699T5 (de) * 2020-10-13 2023-08-03 Dr. Ing. H.C. F. Porsche Aktiengesellschaft Vorrichtung und Verfahren zur Vorhersage einer Bewegungsbahn eines Fahrzeugs
DE102020127051A1 (de) * 2020-10-14 2022-04-14 Dr. Ing. H.C. F. Porsche Aktiengesellschaft Verfahren zur Bestimmung von sicherheitskritischen Ausgabewerten mittels einer Datenanalyseeinrichtung für eine technische Entität
JP7125969B2 (ja) * 2020-10-28 2022-08-25 本田技研工業株式会社 車両制御装置、車両制御方法、およびプログラム
FR3118928B1 (fr) 2021-01-19 2023-12-15 Baptiste Hanrion Procédé et système d’aide à la conduite d’un véhicule dans un flux de circulation impliquant d’autres véhicules
KR102560693B1 (ko) 2021-02-04 2023-07-27 엘아이지넥스원 주식회사 선박 복귀 시점 결정 장치 및 방법
CN113232674A (zh) * 2021-05-28 2021-08-10 南京航空航天大学 基于决策树和贝叶斯网络的车辆控制方法和装置
KR102459218B1 (ko) * 2022-01-28 2022-10-26 이지디텍터 주식회사 3차원 시정정보를 제공하는 방법 및 이를 이용한 내비게이션 시스템과 이동체와 프로그램
CN114750782A (zh) * 2022-04-19 2022-07-15 重庆兰德适普信息科技有限公司 路径规划方法、装置、设备及车辆控制方法、装置、设备
CN114758502B (zh) * 2022-04-29 2023-08-18 北京百度网讯科技有限公司 双车联合轨迹预测方法及装置、电子设备和自动驾驶车辆
DE102022205068A1 (de) * 2022-05-20 2023-11-23 Continental Autonomous Mobility Germany GmbH Verfahren für ein Fahrzeug zur Bewegungsprädiktion, ein Assistenzsystem sowie ein Fahrzeug
CN115201615B (zh) * 2022-09-15 2022-12-20 之江实验室 基于物理约束神经网络的非侵入式负荷监测方法及装置
CN117994754A (zh) * 2022-10-31 2024-05-07 华为技术有限公司 车辆的位置获取方法、模型的训练方法以及相关设备
US12179786B2 (en) * 2023-04-24 2024-12-31 International Business Machines Corporation Computer-based vehicle control and predicted vehicle operation
US20240400095A1 (en) * 2023-05-31 2024-12-05 Zoox, Inc. Vehicle trajectory tree structure including learned trajectories
CN118736878B (zh) * 2024-09-02 2024-12-17 卡尔动力(北京)科技有限公司 车辆行驶信息的处理方法

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010055403A (ja) * 2008-08-28 2010-03-11 Fujitsu Ten Ltd 運転支援装置、運転支援プログラムおよび車載システム
JP2010228740A (ja) * 2009-03-05 2010-10-14 Nissan Motor Co Ltd 走行経路生成装置、走行経路生成方法、及び運転操作支援装置
JP2011107068A (ja) * 2009-11-20 2011-06-02 Aisin Aw Co Ltd ナビゲーション装置、渋滞情報配信装置、及びナビゲーション方法
JP2011221698A (ja) * 2010-04-07 2011-11-04 Toyota Motor Corp 将来挙動予測装置
JP2011221667A (ja) * 2010-04-06 2011-11-04 Toyota Motor Corp 対象物リスク予測装置
JP2016045636A (ja) * 2014-08-21 2016-04-04 日産自動車株式会社 移動物体進路予測装置

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4561139B2 (ja) * 2004-03-22 2010-10-13 アイシン・エィ・ダブリュ株式会社 ナビゲーションシステム
WO2010101749A1 (en) 2009-03-05 2010-09-10 Massachusetts Institute Of Technology Predictive semi-autonomous vehicle navigation system
EP2562060B1 (en) * 2011-08-22 2014-10-01 Honda Research Institute Europe GmbH A method and system for predicting movement behavior of a target traffic object
US8965633B2 (en) 2011-09-02 2015-02-24 GM Global Technology Operations LLC System and method for speed adaptive steering override detection during automated lane centering
US8457827B1 (en) * 2012-03-15 2013-06-04 Google Inc. Modifying behavior of autonomous vehicle based on predicted behavior of other vehicles
US10737665B2 (en) 2012-08-28 2020-08-11 Ford Global Technologies, Llc Vehicle braking based on external object communications
DE102013005362A1 (de) * 2013-03-28 2013-10-10 Daimler Ag Verfahren zur Analyse einer Verkehrssituation
WO2014192137A1 (ja) * 2013-05-31 2014-12-04 トヨタ自動車株式会社 移動軌跡予測装置及び移動軌跡予測方法
US20150106010A1 (en) * 2013-10-15 2015-04-16 Ford Global Technologies, Llc Aerial data for vehicle navigation
EP2923911B1 (en) * 2014-03-24 2019-03-13 Honda Research Institute Europe GmbH A method and system for predicting movement behavior of a target traffic object
CN105374231A (zh) * 2014-08-27 2016-03-02 中国移动通信集团公司 一种预警方法、装置及系统
US9248834B1 (en) * 2014-10-02 2016-02-02 Google Inc. Predicting trajectories of objects based on contextual information
EP3842747A1 (en) * 2015-02-10 2021-06-30 Mobileye Vision Technologies Ltd. Sparse map for autonomous vehicle navigation
US10044751B2 (en) * 2015-12-28 2018-08-07 Arbor Networks, Inc. Using recurrent neural networks to defeat DNS denial of service attacks

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010055403A (ja) * 2008-08-28 2010-03-11 Fujitsu Ten Ltd 運転支援装置、運転支援プログラムおよび車載システム
JP2010228740A (ja) * 2009-03-05 2010-10-14 Nissan Motor Co Ltd 走行経路生成装置、走行経路生成方法、及び運転操作支援装置
JP2011107068A (ja) * 2009-11-20 2011-06-02 Aisin Aw Co Ltd ナビゲーション装置、渋滞情報配信装置、及びナビゲーション方法
JP2011221667A (ja) * 2010-04-06 2011-11-04 Toyota Motor Corp 対象物リスク予測装置
JP2011221698A (ja) * 2010-04-07 2011-11-04 Toyota Motor Corp 将来挙動予測装置
JP2016045636A (ja) * 2014-08-21 2016-04-04 日産自動車株式会社 移動物体進路予測装置

Also Published As

Publication number Publication date
US20180173240A1 (en) 2018-06-21
US10268200B2 (en) 2019-04-23
EP3356900A4 (en) 2018-11-14
KR20180088789A (ko) 2018-08-07
CN108475057A (zh) 2018-08-31
US20190204843A1 (en) 2019-07-04
EP3356900A1 (en) 2018-08-08
WO2018118112A1 (en) 2018-06-28
EP3356900B1 (en) 2020-04-29
JP6684346B2 (ja) 2020-04-22
CN108475057B (zh) 2021-04-09
KR102078488B1 (ko) 2020-02-17
US11400959B2 (en) 2022-08-02

Similar Documents

Publication Publication Date Title
JP6684346B2 (ja) 車両の周囲の状況に基づいて車両の一つ又は複数の軌跡を予測する方法とシステム
JP6975512B2 (ja) 自動運転車両の周辺車両の挙動に基づくリアルタイム感知調整と運転調整
JP6517891B2 (ja) 自律走行車用のグループ運転スタイル学習フレーム
JP6578439B2 (ja) 自律走行車の移動をシミュレートするための物理モデル及び機械学習結合方法
JP6585291B2 (ja) 自動運転車両の速度制御に用いられるパラメータの推定方法
CN109489673B (zh) 用于自动驾驶车辆的数据驱动地图更新系统
CN110462543B (zh) 用于评估自动驾驶车辆的感知要求的基于仿真的方法
JP6619778B2 (ja) 自律走行車の車両交通行動を予測して運転決定をするための方法及びシステム
JP6650028B2 (ja) 自律走行車のための横滑り補償制御方法
KR102279078B1 (ko) 자율 주행 차량의 v2x 통신 기반의 차량 차로 시스템
JP6588592B2 (ja) 自動運転車両に用いられる衝突予測及びエアバッグ事前展開システム
JP6543373B2 (ja) 自動運転車両に用いられる制御型の計画と制御システム
CN108733046B (zh) 用于自动驾驶车辆的轨迹重新规划的系统和方法
JP2019185783A (ja) シミュレーションプラットフォームに配置された、機械学習モデルを訓練するためのシステム及び方法
JP2020021471A (ja) 自動運転車（ａｄｖ）のサブシステムによるパトロールカーのパトロール
JP2019145077A (ja) 自律走行車（ａｄｖ）に対して車両とクラウド間のリアルタイム交通地図を構築するためのシステム
JP2019182401A (ja) 自動運転車に用いられる学習に基づく速度計画装置
JP2019500661A (ja) 自律走行車を完全に停止させるための速度制御
CN109085818B (zh) 基于车道信息控制自动驾驶车辆的车门锁的方法和系统
CN111103876A (zh) 自动驾驶车辆的基于雷达通信的扩展感知
CN111629947A (zh) 自动驾驶车辆的用于生成参考线的方法和系统

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20180406

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20180406

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20190522

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20190625

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20190925

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20200303

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20200327

R150 Certificate of patent or registration of utility model

Ref document number: 6684346

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250