JP2019182414A - 自動運転車に対して障害物の予測軌跡を生成するための方法 - Google Patents

自動運転車に対して障害物の予測軌跡を生成するための方法 Download PDF

Info

Publication number
JP2019182414A
JP2019182414A JP2019077263A JP2019077263A JP2019182414A JP 2019182414 A JP2019182414 A JP 2019182414A JP 2019077263 A JP2019077263 A JP 2019077263A JP 2019077263 A JP2019077263 A JP 2019077263A JP 2019182414 A JP2019182414 A JP 2019182414A
Authority
JP
Japan
Prior art keywords
obstacle
movement trajectory
trajectory
polynomial function
lateral
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2019077263A
Other languages
English (en)
Other versions
JP6748259B2 (ja
Inventor
シュ、ケチェン
Kecheng Xu
ミャオ、ジンハオ
Jinghao Miao
チャン、ヤジア
Yajia Zhang
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Baidu USA LLC
Original Assignee
Baidu USA LLC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Baidu USA LLC filed Critical Baidu USA LLC
Publication of JP2019182414A publication Critical patent/JP2019182414A/ja
Application granted granted Critical
Publication of JP6748259B2 publication Critical patent/JP6748259B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W30/00Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units
    • B60W30/10Path keeping
    • B60W30/12Lane keeping
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05DSYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02Control of position or course in two dimensions
    • G05D1/021Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0212Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory
    • G05D1/0214Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory in accordance with safety or protection criteria, e.g. avoiding hazardous areas
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W30/00Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units
    • B60W30/08Active safety systems predicting or avoiding probable or impending collision or attempting to minimise its consequences
    • B60W30/09Taking automatic action to avoid collision, e.g. braking and steering
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W30/00Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units
    • B60W30/08Active safety systems predicting or avoiding probable or impending collision or attempting to minimise its consequences
    • B60W30/095Predicting travel path or likelihood of collision
    • B60W30/0956Predicting travel path or likelihood of collision the prediction being responsive to traffic or environmental parameters
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05DSYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/0088Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots characterized by the autonomous decision making process, e.g. artificial intelligence, predefined behaviours
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05DSYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02Control of position or course in two dimensions
    • G05D1/021Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0212Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory
    • G05D1/0221Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory involving a learning process
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05DSYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02Control of position or course in two dimensions
    • G05D1/021Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0212Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory
    • G05D1/0223Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory involving speed control of the vehicle
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05DSYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02Control of position or course in two dimensions
    • G05D1/021Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0231Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
    • G05D1/0234Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using optical markers or beacons
    • G05D1/0236Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using optical markers or beacons in combination with a laser
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05DSYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02Control of position or course in two dimensions
    • G05D1/021Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0231Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
    • G05D1/0238Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using obstacle or wall sensors
    • G05D1/024Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using obstacle or wall sensors in combination with a laser
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05DSYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02Control of position or course in two dimensions
    • G05D1/021Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0231Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
    • G05D1/0242Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using non-visible light signals, e.g. IR or UV signals
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05DSYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02Control of position or course in two dimensions
    • G05D1/021Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0231Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
    • G05D1/0246Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means
    • G05D1/0253Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means extracting relative motion information from a plurality of images taken successively, e.g. visual odometry, optical flow
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05DSYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02Control of position or course in two dimensions
    • G05D1/021Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0255Control of position or course in two dimensions specially adapted to land vehicles using acoustic signals, e.g. ultra-sonic singals
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05DSYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02Control of position or course in two dimensions
    • G05D1/021Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0257Control of position or course in two dimensions specially adapted to land vehicles using a radar
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05DSYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02Control of position or course in two dimensions
    • G05D1/021Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0259Control of position or course in two dimensions specially adapted to land vehicles using magnetic or electromagnetic means
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05DSYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02Control of position or course in two dimensions
    • G05D1/021Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0276Control of position or course in two dimensions specially adapted to land vehicles using signals provided by a source external to the vehicle
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05DSYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02Control of position or course in two dimensions
    • G05D1/021Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0276Control of position or course in two dimensions specially adapted to land vehicles using signals provided by a source external to the vehicle
    • G05D1/0278Control of position or course in two dimensions specially adapted to land vehicles using signals provided by a source external to the vehicle using satellite positioning signals, e.g. GPS
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05DSYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02Control of position or course in two dimensions
    • G05D1/021Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0276Control of position or course in two dimensions specially adapted to land vehicles using signals provided by a source external to the vehicle
    • G05D1/028Control of position or course in two dimensions specially adapted to land vehicles using signals provided by a source external to the vehicle using a RF signal
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F17/00Digital computing or data processing equipment or methods, specially adapted for specific functions
    • G06F17/10Complex mathematical operations
    • G06F17/11Complex mathematical operations for solving equations, e.g. nonlinear equations, general mathematical optimization problems
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2520/00Input parameters relating to overall vehicle dynamics
    • B60W2520/06Direction of travel
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2520/00Input parameters relating to overall vehicle dynamics
    • B60W2520/10Longitudinal speed
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2520/00Input parameters relating to overall vehicle dynamics
    • B60W2520/10Longitudinal speed
    • B60W2520/105Longitudinal acceleration
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2520/00Input parameters relating to overall vehicle dynamics
    • B60W2520/12Lateral speed
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2520/00Input parameters relating to overall vehicle dynamics
    • B60W2520/12Lateral speed
    • B60W2520/125Lateral acceleration
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2554/00Input parameters relating to objects
    • B60W2554/40Dynamic objects, e.g. animals, windblown objects
    • B60W2554/404Characteristics
    • B60W2554/4042Longitudinal speed
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2554/00Input parameters relating to objects
    • B60W2554/40Dynamic objects, e.g. animals, windblown objects
    • B60W2554/404Characteristics
    • B60W2554/4044Direction of movement, e.g. backwards
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2556/00Input parameters relating to data
    • B60W2556/45External transmission of data to or from the vehicle
    • B60W2556/50External transmission of data to or from the vehicle of positioning data, e.g. GPS [Global Positioning System] data

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Automation & Control Theory (AREA)
  • General Physics & Mathematics (AREA)
  • Remote Sensing (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Electromagnetism (AREA)
  • Transportation (AREA)
  • Mechanical Engineering (AREA)
  • Mathematical Physics (AREA)
  • Mathematical Optimization (AREA)
  • Data Mining & Analysis (AREA)
  • Pure & Applied Mathematics (AREA)
  • Mathematical Analysis (AREA)
  • Computational Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Optics & Photonics (AREA)
  • General Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Databases & Information Systems (AREA)
  • Business, Economics & Management (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Game Theory and Decision Science (AREA)
  • Medical Informatics (AREA)
  • Algebra (AREA)
  • Operations Research (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Acoustics & Sound (AREA)
  • Traffic Control Systems (AREA)
  • Control Of Driving Devices And Active Controlling Of Vehicle (AREA)

Abstract

【課題】経路を計画して自動運転車(ADV)を制御する場合において、車線の形状を考慮した上で起点から終点までの縦方向軌跡を生成するための方法を提供する、。【解決手段】車線内で運転されているADV501の周囲の運転環境が感知された感知データに基いて、障害物が起点から終点まで移動することを予測する。車線511の形状に応じて、起点から終点までの縦方向移動軌跡を生成する。起点から終点までの横方向移動軌跡を生成し、第一の多項式関数を使用して横方向移動軌跡の形状を最適化する。そして、縦方向移動軌跡と横方向移動軌跡とを組み合わせて、障害物が如何に移動するかを予測する最終の予測軌跡を形成する。障害物の予測軌跡に基づいて経路を生成して、例えば障害物との衝突を回避するようにADVの移動を制御する。【選択図】図5

Description

本願は、主に自動運転車の操作に関する。具体的に、本願は、自動運転車に対して障害物の予測軌跡を生成することに関する。
自動運転モードで走行する(例えば、ドライバーレス)車両は、乗員、特に運転者を幾つかの運転に関する役割から解放可能である。車両は、自動運転モードで走行される場合に、車載センサを使用して各位置までナビゲーションすることにより、ヒューマンマシンインタラクションが最も少ない場合、又は乗客が一人もいない場合などに車両を運転することを許可することができる。
運動計画と制御は、自動運転における肝心的な操作である。経路を計画して自動運転車(ADV)を制御する場合に、システムは、ADVの周囲の運転環境に基づいて、感知された障害物のそれぞれの移動を予測する。一般的に、障害物の横方向の移動経路を示す移動軌跡を予測する場合に、従来のシステムは一定の指数曲線を利用する。ところが、このような曲線は、障害物の進行方向と合わせない場合がある。また、従来のシステムは、車線の形状を考慮していないため、乗客に安全又は快適に関する問題が起こる恐れがある。
本願の実施形態は、図面の各図において限定的ではなく例示的な形態で示され、図面における同じ図面符号は類似する素子を示す。
一実施形態によるネットワークシステムを示すブロック図である。
一実施形態による自動運転車の例示を示すブロック図である。
一実施形態による自動運転車と共に使用される感知/計画システムの例示を示すブロック図である。 一実施形態による自動運転車と共に使用される感知/計画システムの例示を示すブロック図である。
一実施形態による予測モジュールの例示を示すブロック図である。
一実施形態による障害物の移動軌跡を予測する運転場面を示すブロック図である。
一実施形態による横方向移動軌跡の例示を示す。
縦方向軌跡の終点を確定可能な曲線車線の例示を示す。
幾つかの実施形態による異なる車線に用いられる縦方向移動経路の例示を示す。 幾つかの実施形態による異なる車線に用いられる縦方向移動経路の例示を示す。
一実施形態による障害物の移動を予測するフローの例示を示すフローチャートである。
一実施形態によるデータ処理システムを示すブロック図である。
以下、説明の詳細を参照しながら本願の様々な実施形態及び態様を説明し、図面には、上記様々な実施形態が示される。以下の説明及び図面は、本願を例示するためのものであり、限定するものとして解釈されるべきではない。本願の様々な実施形態を全面的に理解するために、多くの特定の詳細を説明する。ところが、いくつかの場合には、本願の実施形態に対する簡単な説明を提供するために、周知又は従来技術の詳細について説明していない。
本明細書において、「一実施形態」又は「実施形態」とは、当該実施形態に組み合わせて説明された特定の特徴、構造又は特性が本願の少なくとも一実施形態に含まれてもよいと意味する。「一実施形態では」という表現は、本明細書全体において同一の実施形態を指すとは限らない。
幾つかの実施形態によれば、障害物の移動軌跡を予測する場合に、予測システム又はモジュールは、軌跡の予測を、1)縦方向移動軌跡の生成と、2)横方向移動軌跡の生成とのような二つの部分に分ける。横方向移動軌跡(横方向軌跡とも略称される)を生成することは、第一の多項式関数を使用して軌跡を最適化することを含む。縦方向移動軌跡(縦方向軌跡とも略称される)を生成することは、第二の多項式関数を使用して軌跡を最適化することを含む。障害物の現在状態を初期状態として、障害物の予測終了状態を1セットの制約条件として最適化を実行することにより、軌跡が少なくとも障害物の現在の進行方向に平滑的に合わせることになる。予測された障害物が移動された車線の形状に基づいて、終了状態を確定する。縦方向移動軌跡と横方向移動軌跡が定義し生成されると、縦方向移動軌跡と横方向移動軌跡とを組み合わせて障害物の最終の予測軌跡を確定することができる。従って、障害物の現在状態と車線の形状に基づくと、障害物の予測軌跡がより正確になる。
一実施形態によれば、車線内に運転されているADVの周囲の運転環境が感知された感知データに基づいて、障害物が起点から終点まで移動することを予測する。車線の形状を考慮した上で、起点から終点までの縦方向移動軌跡を生成する。起点から終点までの横方向移動軌跡を生成することは、第一の多項式関数を使用して横方向移動軌跡の形状を最適化することを含む。そして、縦方向移動軌跡と横方向移動軌跡とを組み合わせて、障害物が如何に移動するかを予測する最終の予測軌跡を形成する。障害物の予測軌跡に基づいて経路を生成して、例えば障害物との衝突を回避するようにADVの移動を制御する。
障害物の現在の進行方向に基づいて平滑軌跡を生成するように、縦方向移動軌跡と横方向移動軌跡を最適化する。第一の多項式関数は五次多項式関数を含む。横方向移動軌跡を最適化する場合に、一実施形態において、障害物の現在状態(例えば、位置、速度、進行方向)に基づいて、障害物に関連付けられた1セットの初期横方向状態(横方向初期状態とも呼ばれる)を確定する。更に、障害物の現在状態に基づいて、1セットの終了横方向状態(横方向終了状態とも呼ばれる)を確定する。初期横方向状態と終了横方向状態は、横方向移動軌跡を最適化するように、第一の多項式関数が満たす必要がある1セットの制約条件として用いられる。
他の実施形態によれば、縦方向移動軌跡を最適化する場合に、例えば四次多項式関数のような第二の多項式関数を利用する。障害物の現在状態に基いて、1セットの初期縦方向状態と終了縦方向状態(縦方向初期状態と縦方向終了状態とも呼ばれる)を確定する。初期縦方向状態と終了縦方向状態は、第二の多項式関数を使用して最適化を行う1セットの制約条件の一部として用いられる。
図1は、本願の一実施形態による自動運転車のネットワーク構造を示すブロック図である。図1を参照し、ネットワーク構造100には、ネットワーク102を介して一つ又は複数のサーバ103〜104に通信接続される自動運転車101が備えられる。一つの自動運転車が示されたが、複数の自動運転車がネットワーク102を介して互いに接続され、及び/又はサーバ103〜104に接続可能である。ネットワーク102は、例えば、有線又は無線のローカルエリアネットワーク(LAN)、インターネットのようなワイドエリアネットワーク(WAN)、セルラーネットワーク、衛星ネットワーク又はそれらの組み合わせのような任意のタイプのネットワークであっても良い。サーバ103〜104は、例えば、ネットワーク又はクラウドサーバ、アプリサーバ、バックエンドサーバ又はそれらの組み合わせのような任意のタイプのサーバ又はサーバグループであっても良い。サーバ103〜104は、データ解析サーバ、コンテンツサーバ、交通情報サーバ、地図/興味点(MPOI)サーバ又は位置サーバなどであっても良い。
自動運転車は、自動運転モードとして配置可能な車両であり、前記自動運転モードにおいて運転者からの入力が非常に少なく又はない場合に車両が環境をナビゲーションし通過する。このような自動運転車はセンサシステムを備えても良い。前記センサシステムは、車両の走行環境に関する情報を検出するように配置される一つ又は複数のセンサを備える。前記車両と関連するコントローラとは、検出された情報を使用して前記環境をナビゲーションし通過する。自動運転車101は、手動モード、オートマチック運転モード、又は一部の自動運転モードで走行することができる。
一実施形態において、自動運転車101には、感知/計画システム110と、車両制御システム111と、無線通信システム112と、ユーザインターフェースシステム113と、インフォテインメントシステム114、センサシステム115とが含まれるが、それらに限定されない。自動運転車101には、通常の車両に備えられている幾つかの常用的な部品、例えばエンジン、車輪、ハンドル、変速機などが更に備えられても良い。前記部品は、車両制御システム111及び/又は感知/計画システム110により複数種の通信信号及び/又は指令を使用して制御可能である。当該複数種の通信信号及び/又は指令は、例えば、加速信号又は指令、減速信号又は指令、操舵信号又は指令、ブレーキ信号又は指令などである。
部品110〜115は、インターコネクタ、バス、ネットワーク或いはそれらの組み合わせにより互いに通信接続することができる。例えば、部品110〜115は、コントローラローカルエリアネットワーク(CAN)バスを介して互いに通信接続することができる。CANバスは、ホストコンピュータなしのアプリケーションでマイクロコントローラ及びデバイスが相互に通信できるように設計された車両バス規格である。これは、もともと自動車内の多重電気配線のために設計されたメッセージベースのプロトコルであるが、他の多くの環境でも使用される。
ここで、図2を参照し、一実施形態において、センサシステム115は、一つ又は複数のカメラ211、全地球位置決めシステム(GPS)ユニット212、慣性計測ユニット(IMU)213、レーダユニット214及び光検出及び測距(LIDAR)ユニット215を含むが、それらに限定されない。GPSユニット212は送受信機を含むことができる。前記送受信機は、操作により自動運転車の位置に関する情報を提供可能である。IMUユニット213は、慣性加速度に基いて自動運転車の位置及び方位変化を検知することができる。レーダユニット214は、無線電気信号を利用して自動運転車のローカル環境におけるオブジェクトを感知するシステムとして表すことができる。幾つかの実施形態において、オブジェクトの感知以外、レーダユニット214は、付加的にオブジェクトの速度及び/又は進行方向も感知することができる。LIDARユニット215は、レーザを使用して自動運転車の位置する環境におけるオブジェクトを感知することができる。他のシステム部品以外に、LIDARユニット215は、一つ又は複数のレーザ光源、レーザスキャナ及び一つ又は複数の検出器を更に含んでも良い。カメラ211は、自動運転車の周囲環境の画像を採集する一つ又は複数の装置を含んでも良い。カメラ211は、静止物カメラ及び/又はビデオカメラであっても良い。カメラは、例えば、回転及び/又は傾斜のプラットフォームにカメラを取り付けることによって、機械的に移動されてもよい。
センサシステム115には、例えばソナーセンサ、赤外線センサ、操舵センサ、アクセルセンサ、ブレーキセンサ及びラジオセンサ(例えば、マイクロフォン)のような他のセンサが含まれても良い。ラジオセンサは、自動運転車の周囲の環境から音声を取得するように配置されても良い。操舵センサは、ハンドル、車両の車輪又はそれらの組み合わせの操舵角を検出するように配置されても良い。アクセルセンサとブレーキセンサは、車両のアクセル位置とブレーキ位置をそれぞれ検出する。ある場合に、アクセルセンサとブレーキセンサは、集積型のアクセル/ブレーキセンサとして集積されても良い。
一実施形態において、車両制御システム111は、操舵ユニット201、アクセルユニット202(加速ユニットとも呼ばれる)とブレーキユニット203を含むが、それらに限定されない。操舵ユニット201は、車両の方向又は進行方向を調整するために用いられる。アクセルユニット202は、モータ又はエンジンの速度を制御するために用いられ、モータ又はエンジンの速度は、更に車両の速度と加速度を制御するために用いられる。ブレーキユニット203は、摩擦を提供して車両の車輪又はタイヤを減速させることにより車両を減速させる。なお、図2に示された部品はハードウェア、ソフトウェア或いはそれらの組み合わせで実施することができる。
図1に戻し、無線通信システム112は、自動運転車101と装置、センサ、他の車両などのような外部システムとの通信を許す。例えば、無線通信システム112は、一つ又は複数の装置と直接的に無線通信しても良く、或いは通信ネットワークを経由して無線通信し、例えばネットワーク102を経由してサーバ103〜104と通信しても良い。無線通信システム112は、如何なるセルラー通信ネットワーク又は無線ローカルエリアネットワーク(WLAN)、例えばWiFi(登録商標)を使用して他の部品又はシステムと通信することができる。無線通信システム112は、例えば赤外線リンク、ブルートゥース(登録商標)などを使用して装置(例えば、乗客の携帯装置、表示装置、車両101内のスピーカ)と直接的に通信する。ユーザインターフェースシステム113は、車両101内に実施される周辺機器の部分であっても良く、例えばキーボード、タッチパネル表示装置、マイクロフォン及びスピーカなどを含む。
自動運転車101の機能のうちの一部又は全部は、特に自動運転モードで操作される場合に、感知/計画システム110により制御し又は管理されることができる。感知/計画システム110は、センサシステム115、制御システム111、無線通信システム112及び/又はユーザインターフェースシステム113から情報を受信し、受信された情報を処理し、開始点から目標点までの路線又は経路を計画した後に、計画と制御情報に基づいて車両101を運転するように、必要なハードウェア(例えば、プロセッサ、メモリ、記憶デバイス)とソフトウェア(例えば、操作システム、計画と路線設定プログラム)を含む。その代わりに、感知/計画システム110は、車両制御システム111と一体に集積されても良い。
例えば、乗客であるユーザは、例えばユーザインターフェースを介してトリップの開始位置と目的地を指定することができる。感知/計画システム110は、トリップに関連するデータを取得する。例えば、感知/計画システム110は、MPOIサーバから位置と路線情報を取得することができる。前記MPOIサーバは、サーバ103〜104の一部であっても良い。位置サーバは位置サービスを提供し、MPOIサーバは地図サービスとある位置のPOIを提供する。その代わりに、このような位置とMPOI情報は、感知/計画システム110の不揮発性記憶装置にローカルキャッシュされても良い。
自動運転車101が路線に沿って移動する場合に、感知/計画システム110は、交通情報システム又はサーバ(TIS)からリアルタイムの交通情報を取得することもできる。なお、サーバ103〜104は、第三者エンティティに操作されても良い。その代わりに、サーバ103〜104の機能は、感知/計画システム110と一体に集積されても良い。リアルタイム交通情報、MPOI情報と位置情報、及びセンサシステム115により検出又は感知されたリアルタイムのローカル環境データ(例えば、障害物、オブジェクト、付近の車両)に基いて、感知/計画システム110は、最適な路線を計画し且つ計画された路線に従って例えば制御システム111を介して車両101を運転することにより、所定の目的地まで安全的且つ効率的に到達可能である。
サーバ103は、様々なクライアントに対してデータ解析サービスを実行するデータ解析システムであっても良い。一実施形態において、データ解析システム103は、データ採集器121と、機器学習エンジン122とを含む。データ採集器121は、複数種の車両(自動運転車、又は人間の運転者により運転される通常の車両)から運転統計データ123を採集する。運転統計データ123には、異なるタイミングで車両のセンサにより採集された、発出された運転指令(例えば、アクセル指令、ブレーキ指令、操舵指令)を示す情報及び車両の応答(例えば、速度、加速度、減速度、方向)を示す情報が含まれる。運転統計データ123は、異なるタイミングにおける運転環境を記述する情報、例えば、路線(出発位置と目的地の位置を含む)、MPOI、天気状況及び道路状況を更に含んでも良い。
機器学習エンジン122は、運転統計データ123に基いて、各種の目的のために、ルールセット、アルゴリズム及び/又は予測モデル124を生成し又は訓練する。一実施形態において、アルゴリズム124は、ADVの周囲の運転環境に基いて、感知モジュール(例えば、感知モジュール302)により感知された障害物の移動軌跡を予測するアルゴリズムを含む。具体的に、アルゴリズム124は、縦方向移動軌跡を生成するアルゴリズムと、横方向移動軌跡を生成するアルゴリズムと、縦方向移動軌跡と横方向移動軌跡とを組合わせて障害物が次の所定の時間帯(例えば、次の計画又は運転周期)に如何に移動するかを予測する最終の予測軌跡を生成するアルゴリズムとを含んでも良い。そして、このようなアルゴリズム124をADVにアップロードすることにより、自動運転期間に障害物の移動軌跡をリアルタイムに予測することができる。
図3Aと図3Bは、一実施形態による自動運転車と共に使用される感知/計画システムの例示を示すブロック図である。システム300は、図1の自動運転車101の一部として実施されても良く、感知/計画システム110、制御システム111とセンサシステム115を含むが、それらに限定されない。図3A〜図3Bを参照し、感知/計画システム110には、位置決めモジュール301、感知モジュール302、予測モジュール303、決定モジュール304、計画モジュール305、制御モジュール306及び路線設定モジュール307が含まれるが、それらに限定されない。
モジュール301〜307のうち一部又は全部は、ソフトウェア、ハードウェア或いはそれらの組み合わせで実施されても良い。例えば、これらのモジュールは、不揮発性記憶装置352にインストールされ、メモリ351にロードされ、且つ一つ又は複数のプロセッサ(図示しない)により実行されても良い。なお、これらのモジュールのうち一部又は全部は、図2の車両制御システム111の一部又は全部のモジュールに通信可能に接続され、或いはそれらと一体に集積されても良い。モジュール301〜307のうち一部は、一体に集積モジュールとして集積可能である。
位置決めモジュール301は、自動運転車300の現在位置を確定し(例えば、GPSユニット212を利用し)、ユーザのトリップ又は路線に関する如何なるデータを管理する。位置決めモジュール301(地図/路線モジュールと呼ばれる)は、ユーザのトリップ又は路線に関連する如何なるデータを管理する。ユーザは、例えばユーザインターフェースを経由して登録してトリップの開始位置と目的地を指定することができる。位置決めモジュール301は、自動運転車300における地図及びルート情報311のような他の要素と通信してトリップに関するデータを取得する。例えば、位置決めモジュール301は、位置サーバと地図/POI(MPOI)サーバから位置と路線情報を取得することができる。位置サーバは位置サービスを提供し、MPOIサーバは地図サービスとある位置のPOIを提供することにより、地図及びルート情報311の一部としてキャッシュされることができる。自動運転車300が路線に沿って移動する際に、位置決めモジュール301は、交通情報システム又はサーバからリアルタイムな交通情報を取得することもできる。
感知モジュール302は、センサシステム115により提供されたセンサデータと、位置決めモジュール301により取得された測位情報に基づいて、周囲の環境への感知を確定する。感知情報は、ドライバーにより運転されている車両周囲において通常のドライバーが感知すべきものを示すことができる。感知は、例えばオブジェクトの形態を採用する車線構成、信号機信号、他の車両の相対位置、歩行者、建築物、横断歩道、又は他の交通関連標識(例えば、止まれ標識、ゆずれ標識)などを含むことができる。車線構成には、例えば、車線の形状(直線又は湾曲)、車線の幅、道路における車線の数、一方向又は双方向車線、合流又はバイパス車線、出口車線などのような、一つ又は複数の車線を記述する情報が含まれる。
感知モジュール302は、1つ以上のカメラによって取得された画像を処理及び解析して、自動運転車の環境内のオブジェクト及び/又は特徴を認識するコンピュータビジョンシステム又はコンピュータビジョンシステムの機能を含むことができる。上記オブジェクトは、交通信号、道路境界、他の車両、歩行者及び/又は障害物などを含むことができる。コンピュータビジョンシステムは、オブジェクト認識アルゴリズム、ビデオトラッキング、及び他のコンピュータビジョン技術を使用することができる。いくつかの実施形態では、コンピュータビジョンシステムは、環境地図を描き、オブジェクトを追跡し、オブジェクトの速度などを推定することができる。感知モジュール302は、レーダ及び/又はLIDARのような他のセンサによって提供される他のセンサデータに基づいてオブジェクトを検出することもできる。
オブジェクトごとについて、予測モジュール303は、この場合にオブジェクトがどのように動くかを予測する。この予測は、地図及びルート情報311と交通ルール312のセットに基いて、当該タイミングで運転環境が感知された感知データに従って実行される。例えば、オブジェクトが反対方向における車両であって且つ現在の運転環境に交差点が含まれている場合に、予測モジュール303は、車両が直進する、又はカーブ走行する可能性を予測する。感知データにより交差点において信号機がないと示された場合に、予測モジュール303は、車両が交差点に入る前に完全に駐車する必要があると予測可能である。感知データにより車両が現在に左折車線又は右折車線に位置すると示された場合に、予測モジュール303は、車両が左折又は右折の可能性が大きいと予測可能である。
オブジェクトごとに対して、決定モジュール304は、オブジェクトをどのように対応するかを決定する。例えば、特定のオブジェクト(例えば、交差のルートにおける他の車両)及びオブジェクトを記述するメタデータ(例えば、速度、方向、操舵角)について、決定モジュール304は上記オブジェクトと遇うときに如何に対応するか(例えば、追い越し、道譲り、停止、追い抜き)を決定する。決定モジュール304は、交通ルール又は運転ルール312のようなルールセットに基づいてそのような決定を行うことができ、上記ルールセットは不揮発性記憶装置352に記憶されることができる。
路線設定モジュール307は、起点から終点までの一つ又は複数の路線又は経路を提供するように配置される。(例えばユーザから受け取られた)開始位置から目標位置までの所定のトリップについて、路線設定モジュール307は、路線と地図情報311を取得し、開始位置から目標位置までの全ての走行可能な路線又は経路を確定する。路線設定モジュール307は、開始位置から目標位置までの各路線が確定された地形図による参照線を生成することができる。参照線は、例えば他の車両、障碍物又は交通状況からの干渉を受けない理想的な路線又は経路である。つまり、道路において他の車両、歩行者又は障害物がない場合に、ADVは参照線に従って精確的に又は緊密的に追随すべきである。そして、地形図を決定モジュール304及び/又は計画モジュール305に提供する。決定モジュール304及び/又は計画モジュール305は、他のモジュールにより提供された他のデータ(例えば、位置決めモジュール301からの交通状況、感知モジュール302により感知された運転環境及び予測モジュール303により予測された交通状況)に基いて、全ての走行可能な路線を検査して最適路線のうちの何れか一つを選択し更新する。タイミングにおける特定の運転環境に従って、ADVを制御するための実際の経路又は路線は、路線設定モジュール307から提供された参照線と異なり又は近い可能性がある。
計画モジュール305は、感知されたオブジェクトのそれぞれに対する決定に基づいて、路線設定モジュール307により提供された参照線を基礎として、自動運転車に対して経路又は路線及び運転パラメータ(例えば、距離、速度及び/又は操舵角度)を計画する。言い換えれば、所定のオブジェクトについて、決定モジュール304は、当該オブジェクトに対してなにをするかを決定し、計画モジュール305はどのようにするかを確定する。例えば、所定のオブジェクトについて、決定モジュール304は前記オブジェクトを追い越すことを決定することができ、計画モジュール305は前記オブジェクトの左側か右側に追い越すことを確定することができる。計画と制御データは、計画モジュール305により生成され、車両300が次の移動循環(例えば、次の路線/経路区間)においてどのように移動するかを記述する情報を含む。例えば、計画と制御データは、車両300が30マイル/時間(mph)の速度で10メートルだけ移動し、その後に25mphの速度で右側の車線に変更するように示すことができる。
計画と制御データに基づいて、制御モジュール306は、計画と制御データにより限定された路線又は経路に応じて、適当な指令又は信号を車両制御システム111に送信することにより自動運転車を制御し運転するようにする。前記計画と制御データは、経路又は路線に沿って異なるタイミングで適当な車両設置又は運転パラメータ(例えば、アクセル指令、ブレーキ指令と操舵指令)を使用することにより車両を路線又は経路の第一の点から第二の点まで運転するのに十分な情報を有する。
一実施形態において、計画段階は、複数の計画周期(運転周期とも呼ばれる)(例えば、100ミリ秒(ms)の時間間隔毎)に実行される。各計画周期又は運転周期について、計画データと制御データに基いて一つ又は複数の制御指令を発する。つまり、100ms毎に、計画モジュール305は次の路線区間又は経路区間を計画し、例えば、目標位置とADVが目標位置まで到着するのに必要な時間とが含まれる。その代わりに、計画モジュール305は、具体的な速度、方向及び/又は操舵角などを更に規定することもできる。一実施形態において、計画モジュール305は、次の予定時間帯(例えば、5秒)に対して路線区間又は経路区間を計画する。各計画周期について、計画モジュール305は、前の周期において計画された目標位置に基いて、現在の周期(例えば、次の5秒)に用いる目標位置を計画する。そして、制御モジュール306は、現在の周期における計画データと制御データに基いて、一つ又は複数の制御指令(例えば、アクセル、ブレーキ、操舵の制御指令)を生成する。
なお、決定モジュール304と計画モジュール305は、集積モジュールとして集積することができる。決定モジュール304/計画モジュール305は、自動運転車の運転経路を確定するように、ナビゲーションシステム又はナビゲーションシステムの機能を具備することができる。例えば、ナビゲーションシステムは、自動運転車が下記の経路に沿って移動することに影響を与える一連の速度と進行方向を確定することができる。前記経路において、自動運転車を最終の目的地まで走行させる車線による経路に沿って進行させると共に、感知された障害物を実質的に回避する。目的地は、ユーザインターフェースシステム113を経由して行われたユーザ入力に基づいて設定されても良い。ナビゲーションシステムは、自動運転車が運転していると同時に動的に運転経路を更新することができる。ナビゲーションシステムは、自動運転車のための運転経路を確定するように、GPSシステムと一つ又は複数の地図からのデータを合併することができる。
一実施形態によれば、障害物の移動軌跡を予測する場合に、予測モジュール303は、軌跡の予測を、1)縦方向移動軌跡の生成、及び2)横方向移動軌跡の生成のような二つの部分に分ける。横方向移動軌跡は、予測モジュール303により生成され、第一の多項式関数を使用して軌跡を最適化する。縦方向移動軌跡は、予測モジュール303により生成され、第二の多項式関数を使用して軌跡を最適化する。障害物の現在状態を開始状態として、予測された障害物の終了状態を1セットの制約条件として最適化を実行することにより、軌跡を障害物の現在の進行方向に平滑に合わせる。障害物又はADVの状態は、障害物又はADVの位置(例えば、x、y、z)、速度、進行方向及び/又は加速度を記述する情報を含む。予測された障害物が移動された車線の形状に基いて、終了状態を確定する。ADV及び/又は障害物の状態は、運転統計313の一部として保持し記憶することができる。同様に、自動運転期間に生成された軌跡は、軌跡314の一部として記憶することができる。軌跡314は、運転統計313の一部として記憶することもできる。
縦方向移動軌跡と横方向移動軌跡が定義され生成されると、予測モジュール303は、縦方向移動軌跡と横方向移動軌跡とを組合わせることにより、障害物の最終の予測軌跡を生成する。従って、障害物の現在状態と車線の形状に基くため、障害物の予測軌跡がより正確になる。
図4は、一実施形態による予測モジュールの例示を示すブロック図である。図4を参照し、予測モジュール303には、縦方向軌跡生成装置401(縦方向軌跡モジュールとも略称される)と、横方向軌跡生成装置402(横方向軌跡モジュールとも略称される)と、軌跡アグリゲータ403とが備えられるが、それらに限定されない。なお、モジュール401〜403は、ソフトウェア、ハードウェア又はそれらの組合わせにより実施可能である。
一実施形態によれば、予測モジュール303は、感知モジュール302から提供された感知データを元に、車線内に運転されているADVの周囲の運転環境が感知された感知データに基いて、障害物の起点から終点までの移動を予測する。縦方向軌跡生成装置401は、車線の形状に基いて、起点から終点までの縦方向移動軌跡を生成する。横方向軌跡生成装置402は、起点から終点までの横方向移動軌跡を生成し、第一の多項式関数を使用して横方向移動軌跡の形状を最適化する。そして、軌跡アグリゲータ403は、縦方向移動軌跡と横方向移動軌跡とを組合わせて、障害物が如何に移動するかを予測する最終の予測軌跡を形成する。そして、例えば、計画モジュール305により経路を生成することにより、障害物の予測軌跡に基づいて例えば障害物との衝突を回避するようにADVの移動を制御する。
縦方向移動軌跡と横方向移動軌跡をそれぞれ縦方向軌跡生成装置401と横方向軌跡生成装置402により最適化することにより、障害物の現在の進行方向に基いて平滑軌跡を生成する。第一の多項式関数は五次多項式関数を含む。横方向移動軌跡を最適化する場合に、一実施形態において、障害物の現在状態(例えば、位置、速度、進行方向)に基いて、障害物と関連付けられた1セットの初期横方向状態を確定する。更に、障害物の現在状態に基いて、1セットの終了横方向状態を確定する。初期横方向状態と終了横方向状態は、横方向移動軌跡を最適化するように、第一の多項式関数が満たす必要がある1セットの制約条件として用いられる。
他の実施形態によれば、縦方向移動軌跡を最適化する場合に、例えば四次多項式関数のような第二の多項式関数を利用する。障害物の現在状態に基いて、1セットの初期縦方向状態と終了縦方向状態を確定する。初期縦方向状態と終了縦方向状態は、第二の多項式関数を使用して最適化を行う1セットの制約条件の一部として用いられる。
ここで、図5を参照する。当該例示において、ADV501が車線511に走行し、且つ車両502(障害物の例示とする)が車線512から車線511へ車線を変更している。仮にADV501と車両502が最終的に車線511の中心線(例えば、参照線)に沿って運転するとする。このような運転場面が予測モジュール303により確定されると、予測モジュール303は、車両502が時刻t0で車線511に入り始め、且つ時刻t1で車線511の中心線まで達すると予測するように配置される。そして、予測モジュール303は、軌道505を予測し確定する。車両502は、時刻t1で位置502Bまで達するように、軌道505に沿って位置502Aから車線511に入る。このような軌跡505は、ADV501が車線511内に移動し、或いは他の車線(例えば、車線512)へ変更する経路を計画モジュール305により如何に計画するかに対して影響を与える。従来の自動運転システムは、車両502の幾つかの現在状態(例えば、速度と進行方向)を考慮せず、且つ車線511の形状を考慮せずに、例えば指数曲線のような一定の曲線により車両502の横方向軌跡を確定する。
一実施形態によれば、ここで図4と図5を参照する。感知モジュール302は、時刻t0で車両502を検出し感知すると、車両502が近いうちに(即ち、次の計画周期)において如何に移動するかを予測するように予測モジュール303を呼び出す。車両502が所定の時間帯に如何に移動するかを予測する場合に、当該例示において、車両502が車線511の中心線まで達すると予測する時刻t1において、予測モジュール302は、車両502の移動する軌跡505を予測する。軌跡505の形状は、ADV501の経路又は軌跡を如何に計画するかに対して影響を与える可能である。
軌跡505を確定する場合に、時刻t0での起点502Aにおける車両502の位置(例えば、x、y、z)、速度、進行方向と加速度を含む、車両502の時刻t0における初期状態を確定する。更に、時刻t1での終点502Bにおける車両502の終了状態を推定する。起点502Aと終点502Bの間の軌跡505を生成する。そして、車両502が安定に(即ち、安全で且つ快適に)軌跡505に沿って運転するように、車両502の初期状態と終了状態とに基く多項式関数を使用して、軌跡505を最適化する。
一実施形態によれば、軌跡505を予測する場合に、予測を(1)横方向軌跡予測/生成、及び(2)縦方向軌跡予測/生成のような二つの部分に分ける。横方向軌跡生成装置402は横方向軌跡を生成するように配置され、縦方向軌跡生成装置401は軌跡の多項式フィッティングとも呼ばれる、一つ又は複数の多項式を使用して関数を最適化することで、縦方向軌跡を生成するように配置される。つまり、目標予測軌跡は、1セットの制約条件を満たす多項式関数により定義される曲線に類似するように最適化される。少なくとも軌跡の進行方向と曲率が初期起点の位置、速度と進行方向(即ち、初期状態)に合わせるように、目標軌跡の初期状態と終了状態に基いて1セットの制約条件を定義する。従って、予測された軌跡は、通常の運転者がこの場合に運転しようとする軌跡に類似する。
一実施形態によれば、第一の多項式関数を使用して横方向移動軌跡を生成する場合に、初期横方向状態を確定する。初期横方向状態には、初期横方向オフセット(l)、初期横方向速度(l )と初期横方向加速度(l ・・)が含まれる。初期横方向速度l は、時刻対する初期横方向オフセットの導関数(dl/dt)を示す。初期横方向加速度l ・・は、初期横方向速度の導関数(dl /dt)を示す。
横方向軌跡生成装置402は、終了横方向状態を確定するために、まず初期横方向オフセットと初期横方向速度から車線の中心まで達する時刻(t)を算出する。車両が車線の中心まで達した後に車線の中心線に沿って移動すると仮定したため、終了横方向オフセット(l)が0とする(例えば、図5に示されたs/t軸)。更に、終了横方向速度(l )が0、終了横方向速度が時刻に対する終了横方向オフセットの一次導関数であると仮定する。これは、車両が車線の中心から離れようとしないと仮定したからである。更に、終了横方向加速度(l ・・)が0、終了横方向加速度が時刻に対する終了横方向オフセットの二次導関数であると仮定する。これは、車両が車線の中心から離れようとしないと仮定したからである。
時刻t0における初期横方向状態(l,l ,l ・・)と時刻tlat(当該例示において、図5に示すt1)における終了横方向状態(l,l ,l ・・)が与えられる。一実施形態において、例えば図6に示すように、横方向軌跡生成装置402は、軌跡の横方向の成分に五次多項式l(t)をフィッティングして横方向移動軌跡を生成することができる。当該五次多項式は以下の条件を満たす。
代数において、五次関数は以下の形の関数である。
係数a、b、c、d、eとfは、フィールド(field)のメンバーであり、一般的に有理数、実数又は複数であり、且つaがゼロではない。言い換えれば、五次関数は五次多項式により定義される。初期横方向状態と終了横方向状態により、制約条件とする五つの方程式が形成されるため、前記五次多項式関数は、前記1セットの制約条件を満たすと共に、初期横方向状態と終了横方向状態に基づいて最適化(例えば、平滑で連続する)可能である。
一実施形態によれば、第二の多項式関数を使用して縦方向移動軌跡を生成する場合に、縦方向軌跡生成装置401は、初期縦方向状態と終了縦方向状態を確定する必要がある。初期縦方向状態は、車両の現在状態(例えば、位置、速度、進行方向、加速度など)から導出可能である。図5に戻して参照し、初期縦方向状態には、初期縦方向オフセットs、初期縦方向速度s 及び初期縦方向加速度s ・・が含まれる。
終了縦方向状態を算出する前に、縦方向軌跡生成装置401は、まず終了縦方向状態まで達する時刻を算出する。終了縦方向状態まで達した時刻が確定されると、縦方向軌跡生成装置401は、曲率により示される車線の形状を考慮する。車線は、ほぼ直線又は湾曲の車線であっても良い。ここで図7を参照し、縦方向軌跡生成装置401は、ADV501の前方に一定の距離(例えば、150メートル)の車線を検索する。一実施形態において、最大曲率(k)の位置を確定しsで示す。
一実施形態において、曲率kに基づいて、以下の数式で最大曲率を有する点s1における速度を取得することができる。
最大曲率kが0.02(半径/メートル)よりも大きいと、上述で説明された数式により当該位置における速度を算出することができ、当該速度は即ち終了縦方向速度(s )である。図8Aは、曲線の車線における縦方向移動軌跡の例示を示す。なお、ADVと障害物との間の距離(S)が徐々に小さくなる。当該終了縦方向速度になった時刻は、一定減速運動により算出可能である。
最大曲率が0.02半径/メートルよりも小さい場合に、車線が直線であると意味する。この場合に、終了縦方向速度を現在の速度と同じように指定し、且つ終了縦方向速度になった時刻tlongをデフォルトとして5.0にセットすることができ、それは予測時間帯の持続時刻を示す。二つの場合に、終了縦方向加速度が0であると仮定する。図8Bは、相対的にまっすぐな車線における縦方向移動軌跡の例示を示す。なお、ADVと障害物の間に相対的に同じである速度又は距離が維持される。当該例示において、ADVと障害物の間の距離(S)は一定である。
一実施形態において、縦方向軌跡生成装置401は、s(t)で示される四次多項式により軌跡の縦方向の成分を算出することができる。当該四次多項式は、以下の条件を満たす。
四次多項式関数は、以下のように定義可能である。
最終軌跡を形成するために、一連の時刻{t,t,t,…,t}が与えられ、且つ算出される横方向多項式l(t)と縦方向多項式s(t)が定義、提供される。時刻tのそれぞれについて、軌跡アグリゲータ403は、以下のように算出することができる。
(s,l)のペア毎について、軌跡アグリゲータ403は、デカルト座標におけるポイント(x,y)を形成することができる。且つ、最後に、軌跡アグリゲータ403は、ポイントの序列{(x,y),(x,y),…,(x,y)}を生成して最終の予測軌跡を形成することができる。予測された障害物の軌跡に基づいて、障害物の移動に応じてADVの経路を計画して、例えば障害物との衝突を回避するようにナビゲーションする。
用語として、多項式の最適化又は多項式フィッティングとは、曲線を曲線に沿って連続させる(例えば、導関数を取得可能)ための、多項式関数により示される曲線形状(当該例示は軌跡である)の最適化を示す。自動運転の分野において、起点から終点までの多項式の曲線が複数の区間(或いは、複数のブロック)に区画され、各区間が制御点(又は、参照点)に対応する。このような区分多項式の曲線は区分多項式と呼ばれる。区分多項式を最適化する場合に、1セットの初期状態の制約条件と1セットの終了状態の制約条件を満たす必要がある以外、二つの隣接区間の間の1セットの連携制約条件と1セットの境界制約条件を更に満たす必要がある。
隣接区間の位置(x、y)、速度、進行方向と加速度が含まれる1セットの連携制約条件は必ず同じである。例えば、第一区間(例えば、前の区間)の終了位置と第二区間(例えば、次の区間)の開始位置は同じ、或いは所定の隣接範囲内にある必要がある。第一区間の終了位置の速度、進行方向及び加速度と、第二区間の開始位置の対応の速度、進行方向及び加速度とは同じ、或いは所定の範囲内にある必要がある。また、制御点のそれぞれは所定の境界(例えば、制御点を中心として左右の0.2メートル)に関連付けられた。多項式の曲線は、対応する境界内における制御点のそれぞれを必ず通過する必要がある。最適化の間にこの二つのセットの制約条件が満たされると、軌跡を示す多項式の曲線が平滑で連続的であるべきである。
図9は、一実施形態による障害物の軌跡を予測するフローを示すフローチャートである。フロー900は、処理ロジックにより実行可能である。処理ロジックには、ソフトウェア、ハードウェア、或いはそれらの組合せが含まれても良い。例えば、フロー900は予測モジュール303により実行可能である。図9を参照し、処理901において、処理ロジックは、車線内に運転されているADVの周囲の運転環境が感知された感知データに基づいて、障害物が起点から終点まで移動していることを予測する。処理902において、処理ロジックは、車線の形状に基づいて、起点から終点までの縦方向移動軌跡を生成する。処理903において、処理ロジックは、起点から終点までの横方向移動軌跡を生成し、第一の多項式関数を使用して横方向移動軌跡の形状を最適化する。処理904において、縦方向移動軌跡と横方向移動軌跡とを組合わせて最終の予測軌跡を形成する。処理905において、障害物の予測軌跡に基づいてADVの移動を制御する。一実施形態において、第二の多項式関数を使用して縦方向移動軌跡を最適化する。第一の多項式関数は五次多項式関数であっても良く、第二の多項式関数は四次多項式関数であっても良い。
なお、以上に例示及び説明された構成要素の一部又は全ては、ソフトウェア、ハードウェア、又はこれらの組み合わせで実現されることができる。例えば、このような構成要素は、永続性記憶装置にインストールされ記憶されたソフトウェアとして実現されてもよく、上記ソフトウェアは、本願にわたって記載されたプロセス又は動作を実現するように、プロセッサ(図示せず)でメモリにロードして実行されてもよい。あるいは、このような構成要素は、集積回路(例えば、特定用途向け集積回路又はASIC)、デジタルシグナルプロセッサ(DSP)、又はフィールドプログラマブルゲートアレイ(FPGA)のような専用ハードウェアにプログラミング又は埋め込まれた実行可能なコードとして実現されてもよく、上記実行可能なコードはアプリケーションからの対応するドライバー及び/又はオペレーティングシステムを介してアクセスすることができる。さらに、このような構成要素は、ソフトウェア構成要素が一つ以上の特定のコマンドによってアクセス可能なコマンドセットの一部として、プロセッサ又はプロセッサコアにおける特定のハードウェアロジックとして実現されることができる。
図10は、本願の一実施形態と共に使用可能なデータ処理システムの例を示すブロック図である。例えば、システム1500は、上記プロセス又は方法のいずれかを実行する上記データ処理システムのいずれか(例えば、図1の感知及び計画システム110、又はサーバ103〜104のいずれか)を表すことができる。システム1500は、複数の異なる構成要素を含むことができる。これらの構成要素は、集積回路(IC)、集積回路の一部、ディスクリート型電子デバイス、又は回路基板(例えば、コンピュータシステムのマザーボード若しくはアドインカード)に適するその他のモジュールとして実現されることができ、又は、他の形態でコンピュータシステムのシャーシ内に組み込まれる構成要素として実現されることができる。
なお、システム1500は、コンピュータシステムの複数の構成要素の高レベルビューを示すことを意図している。しかしながら、理解すべきことは、特定の実施例において付加的構成要素が存在してもよく、また、その他の実施例において示された構成要素を異なる配置にすることが可能である。システム1500は、デスクトップコンピュータ、ラップトップコンピュータ、タブレットコンピュータ、サーバ、携帯電話、メディアプレイヤー、パーソナルデジタルアシスタント(PDA)、スマートウォッチ、パーソナルコミュニケーター、ゲーム装置、ネットワークルーター又はハブ、無線アクセスポイント(AP)又はリピーター、セット・トップボックス、又はこれらの組み合わせを表すことができる。さらに、単一の機器又はシステムのみが示されたが、「機器」又は「システム」という用語は、本明細書で説明されるいずれか一種以上の方法を実現するための、単独で又は共同で1つ(又は複数)のコマンドセットを実行する機器又はシステムのいずれかの組み合わせも含まれると解釈されるものとする。
一実施形態では、システム1500は、バス又はインターコネクト1510を介して接続される、プロセッサ1501と、メモリ1503と、装置1505〜1508とを含む。プロセッサ1501は、単一のプロセッサコア又は複数のプロセッサコアが含まれる単一のプロセッサ又は複数のプロセッサを表すことができる。プロセッサ1501は、マイクロプロセッサ、中央処理装置(CPU)などのような、一つ以上の汎用プロセッサを表すことができる。より具体的には、プロセッサ1501は、複雑コマンドセットコンピューティング(CISC)マイクロプロセッサ、縮小コマンドセットコンピューティング(RISC)マイクロプロセッサ、超長コマンド語(VLIW)マイクロプロセッサ、又はその他のコマンドセットを実行するプロセッサ、又はコマンドセットの組み合わせを実行するプロセッサであってもよい。プロセッサ1501は更に、例えば、特定用途向け集積回路(ASIC)、セルラー又はベースバンドプロセッサ、フィールドプログラマブルゲートアレイ(FPGA)、デジタルシグナルプロセッサ(DSP)、ネットワークプロセッサ、グラフィックプロセッサ、通信プロセッサ、暗号化プロセッサ、コプロセッサ、組込みプロセッサ、又はコマンドを処理可能な任意の他のタイプのロジックのような、一つ以上の専用プロセッサであってもよい。
プロセッサ1501は、超低電圧プロセッサのような低電力マルチコアプロセッサソケットであってもよく、上記システムの様々な構成要素と通信するための主処理ユニット及び中央ハブとして機能することができる。このようなプロセッサは、システムオンチップ(SoC)として実現されることができる。プロセッサ1501は、本明細書で説明される動作及びステップを実行するためのコマンドを実行するように構成される。システム1500は、さらに所望によるグラフィックサブシステム1504と通信するグラフィックインターフェースを含むことができ、グラフィックサブシステム1504は、表示コントローラ、グラフィックプロセッサ、及び/又は表示装置を含むことができる。
プロセッサ1501は、メモリ1503と通信することができ、メモリ1503は、一実施形態では、所定量のシステムメモリを提供するための複数のメモリ装置によって実現されることができる。メモリ1503は、ランダムアクセスメモリ(RAM)、ダイナミックRAM(DRAM)、シンクロナスDRAM(SDRAM)、スタティックRAM(SRAM)、又はその他のタイプの記憶装置のような、一つ以上の揮発性記憶(又はメモリ)装置を含むことができる。メモリ1503は、プロセッサ1501又はその他の任意の装置により実行されるコマンドシーケンスを含む情報を記憶することができる。例えば、様々なオペレーティングシステム、デバイスドライバ、ファームウェア(例えば、ベーシックインプット/アウトプットシステム又はBIOS)、及び/又はアプリケーションの実行可能なコード及び/又はデータは、メモリ1503にロードされ、プロセッサ1501により実行されることができる。オペレーティングシステムは、例えば、ロボットオペレーティングシステム(ROS)、Microsoft(登録商標)社のWindows(登録商標)オペレーティングシステム、アップル社のMacOS(登録商標)/iOS(登録商標)、Google(登録商標)社のAndroid(登録商標)、LINUX(登録商標)、UNIX(登録商標)、又はその他のリアルタイム若しくは組込みオペレーティングシステムのような、任意のタイプのオペレーティングシステムであってもよい。
システム1500は、さらに、ネットワークインターフェース装置1505、所望による入力装置1506、及びその他の所望によるI/O装置1507を含む装置1505〜1508のようなI/O装置を含むことができる。ネットワークインターフェース装置1505は、無線送受信機及び/又はネットワークインターフェースカード(NIC)を含むことができる。上記無線送受信機は、WiFi送受信機、赤外線送受信機、ブルートゥース送受信機、WiMax送受信機、無線携帯電話送受信機、衛星送受信機(例えば、全地球位置決めシステム(GPS)送受信機)、又はその他の無線周波数(RF)送受信機、又はこれらの組み合わせであってもよい。NICは、イーサネット(登録商標)カード(Ethernet(登録商標)card)であってもよい。
入力装置1506は、マウス、タッチパネル、タッチスクリーン(表示装置1504と統合されてもよい)、ポインター装置(例えば、スタイラス)、及び/又はキーボード(例えば、物理キーボード又はタッチスクリーンの一部として表示された仮想キーボード)を含むことができる。例えば、入力装置1506は、タッチスクリーンと接続するタッチスクリーンコントローラを含むことができる。タッチスクリーン及びタッチスクリーンコントローラは、例えば、様々なタッチ感応技術(コンデンサ、抵抗、赤外線、及び表面音波の技術を含むが、これらに限定されない)のいずれか、並びにその他の近接センサアレイ、又は、タッチスクリーンと接触する一つ以上の点を決定するためのその他の素子を用いて、それらの接触及び移動又は間欠を検出することができる。
I/O装置1507は、音声装置を含むことができる。音声装置は、音声認識、音声複製、デジタル記録、及び/又は電話機能のような音声サポート機能を促進するために、スピーカ及び/又はマイクロフォンを含んでもよい。その他のI/O装置1507は、さらに、ユニバーサルシリアルバス(USB)ポート、パラレルポート、シリアルポート、プリンタ、ネットワークインターフェース、バスブリッジ(例えば、PCIーPCIブリッジ)、センサ(例えば、加速度計のようなモーションセンサ、ジャイロスコープ、磁力計、光センサ、コンパス、近接センサなど)、又はこれらの組み合わせを含むことができる。装置1507は、さらに結像処理サブシステム(例えば、カメラ)を含むことができ、上記結像処理サブシステムは、写真及びビデオ断片の記録のようなカメラ機能を促進するための、電荷結合素子(CCD)又は相補型金属酸化物半導体(CMOS)光学センサのような光学センサを含むことができる。特定のセンサは、センサハブ(図示せず)を介してインターコネクト1510に接続されることができ、キーボード又はサーマルセンサのようなその他の装置はシステム1500の具体的な配置又は設計により、組込みコントローラ(図示せず)により制御されることができる。
データ、アプリケーション、一つ以上のオペレーティングシステムなどの情報の永続性記憶を提供するために、プロセッサ1501には、大容量記憶装置(図示せず)が接続されることができる。様々な実施形態において、より薄くて軽量なシステム設計を可能にしながら、システムの応答性を向上するために、このような大容量記憶装置は、ソリッドステート装置(SSD)によって実現されることができる。しかしながら、その他の実施形態において、大容量記憶装置は、主にハードディスクドライブ(HDD)を使用して実現することができ、より小さい容量のSSD記憶装置をSSDキャッシュとして機能することで、停電イベントの間にコンテキスト状態及び他のそのような情報の不揮発性記憶を可能にし、それによりシステム動作が再開するときに通電を速く実現することができる。また、フラッシュデバイスは、例えば、シリアルペリフェラルインターフェース(SPI)を介してプロセッサ1501に接続されることができる。このようなフラッシュデバイスは、上記システムのBIOS及びその他のファームウェアを含むシステムソフトウェアの不揮発性記憶のために機能することができる。
記憶装置1508は、コンピュータ読取可能な媒体1509(機械可読記憶媒体又はコンピュータ可読媒体ともいう)を含むことができ、上記コンピュータ読取可能な媒体1509には、本明細書で記載されたいずれか一種以上の方法又は機能を具体化する一つ以上のコマンドセット又はソフトウェア(例えば、モジュール、ユニット、及び/又はロジック1528)が記憶されている。処理モジュール/ユニット/ロジック1528は、予測モジュール303、計画モジュール305及び/又は制御モジュール306などの上記構成要素のいずれかを表すことができる。処理モジュール/ユニット/ロジック1528は、さらに、データ処理システム1500、メモリ1503、及びプロセッサ1501による実行中に、メモリ1503内及び/又はプロセッサ1501内に完全的に又は少なくとも部分的に存在してもよく、データ処理システム1500、メモリ1503、及びプロセッサ1501も機械アクセス可能な記憶媒体を構成する。処理モジュール/ユニット/ロジック1528は、さらに、ネットワークによってネットワークインターフェース装置1505を経由して送受信されてもよい。
コンピュータ可読記憶媒体1509は、以上に説明されたいくつかのソフトウェア機能を永続的に記憶するために用いることができる。コンピュータ可読記憶媒体1509は、例示的な実施形態において単一の媒体として示されるが、「コンピュータ可読記憶媒体」という用語は、上記一つ以上のコマンドセットが記憶される単一の媒体又は複数の媒体(例えば、集中型又は分散型データベース、及び/又は関連するキャッシュとサーバ)を含むと解釈されるものとする。また、「コンピュータ可読記憶媒体」という用語は、コマンドセットを記憶又は符号化できる任意の媒体を含むと解釈されるものであり、上記コマンドセットは機械により実行され、本願のいずれか一種以上の方法を上記機械に実行させるためのものである。それゆえに、「コンピュータ可読記憶媒体」という用語は、ソリッドステートメモリ、光学媒体及び磁気媒体、又はその他の任意の非一時的な機械可読媒体を含むが、これらに限定されないと解釈されるものとする。
本明細書に記載の処理モジュール/ユニット/ロジック1528、構成要素及びその他の特徴は、ディスクリートハードウェア構成要素として実現されてもよく、又はハードウェア構成要素(例えば、ASICS、FPGA、DSP又は類似の装置)の機能に統合されてもよい。さらに、処理モジュール/ユニット/ロジック1528は、ハードウェア装置におけるファームウェア又は機能性回路として実現されてもよい。さらに、処理モジュール/ユニット/ロジック1528は、ハードウェア装置とソフトウェア構成要素の任意の組み合わせで実現されてもよい。
なお、システム1500は、データ処理システムの様々な構成要素を有するものとして示されているが、構成要素を相互接続する任意の特定のアーキテクチャ又は方式を表すことを意図するものではなく、そのような詳細は、本願の実施形態と密接な関係がない。また、より少ない構成要素又はより多くの構成要素を有するネットワークコンピュータ、ハンドヘルドコンピュータ、携帯電話、サーバ、及び/又はその他のデータ処理システムも、本願の実施形態と共に使用することができることを理解されたい。
上記具体的な説明の一部は、既に、コンピュータメモリにおけるデータビットに対する演算のアルゴリズムと記号表現で示される。これらのアルゴリズムの説明及び表現は、データ処理分野における当業者によって使用される、それらの作業実質を所属分野の他の当業者に最も効果的に伝達する方法である。本明細書では、一般的に、アルゴリズムは、所望の結果につながるセルフコンシステントシーケンスと考えられる。これらの動作は、物理量の物理的処置が必要なものである。
しかしながら、念頭に置くべきことは、これらの用語及び類似の用語の全ては、適切な物理量に関連付けられるものであり、これらの量を標識しやすくするためのものに過ぎない。以上の説明で他に明示的に記載されていない限り、本明細書の全体にわたって理解すべきことは、用語(例えば、添付された特許請求の範囲に記載のもの)による説明とは、コンピュータシステム、又は類似の電子計算装置の動作又はプロセスを指し、上記コンピュータシステム又は電子計算装置は、コンピュータシステムのレジスタ及びメモリにおける物理(電子)量として示されたデータを制御するとともに、上記データをコンピュータシステムメモリ又はレジスタ又はこのようなその他の情報記憶装置、伝送又は表示装置において同様に物理量として示された別のデータに変換する。
本願の実施形態は、本明細書の動作を実行するための装置にも関する。このようなコンピュータプログラムは、非一時的なコンピュータ可読媒体に記憶される。機械可読媒体は、機械(例えば、コンピュータ)により読み取り可能な形式で情報を記憶するための任意のメカニズムを含む。例えば、機械可読(例えば、コンピュータ可読)媒体は、機械(例えば、コンピュータ)可読記憶媒体(例えば、読み出し専用メモリ(「ROM」)、ランダムアクセスメモリ(「RAM」)、磁気ディスク記憶媒体、光学記憶媒体、フラッシュメモリ装置)を含む。
上述した図面において説明されたプロセス又は方法は、ハードウェア(例えば、回路、専用ロジックなど)、ソフトウェア(例えば、非一時的なコンピュータ可読媒体に具現化されるもの)、又は両方の組み合わせを含む処理ロジックにより実行されることができる。上記プロセス又は方法は、以上で特定の順序に応じて説明されたが、上記動作の一部が異なる順序で実行されてもよいことを理解されたい。また、一部の動作は、順番ではなく並行して実行されてもよい。
本願の実施形態は、いずれの特定のプログラミング言語を参照することなく記載されている。理解すべきことは、本明細書に記載の本願の実施形態の教示を実現するために、様々なプログラミング言語を使用することができる。
上記明細書において、本願の実施形態は、既にその具体的な例示的な実施形態を参照しながら記載された。明らかなように、添付された特許請求の範囲に記載された本願のより広い趣旨及び範囲を逸脱しない限り、本発明に対して様々な変更を行うことができる。それゆえに、本明細書及び図面は、限定的な意味でなく、例示的な意味で理解されるべきである。
本願の一局面は、自動運転期間に障害物の軌跡を予測するためのコンピュータ実施方法に関する。前記方法は、車線内に運転されている自動運転車(ADV)の周囲の運転環境が感知された感知データに基いて、障害物が起点から終点まで移動することを予測するステップと、前記車線の形状に応じて、前記起点から前記終点までの縦方向移動軌跡を生成するステップと、前記起点から前記終点までの横方向移動軌跡を生成するステップであって、第一の多項式関数を使用して前記横方向移動軌跡の形状を最適化する、ステップと、前記縦方向移動軌跡と前記横方向移動軌跡を組合わせて、前記障害物が如何に移動するかを予測する予測軌跡を生成するステップと、前記障害物の前記予測軌跡に基づいて、前記自動運転車の移動を制御するステップと、を含む。
本願の他の局面は、指令が記憶された非一時的な機械可読媒体に関する。前記指令がプロセッサにより実行されると、前記プロセッサに処理を実行させ、前記処理は、車線内に運転されている自動運転車(ADV)の周囲の運転環境が感知された感知データに基いて、障害物が起点から終点まで移動することを予測するステップと、前記車線の形状に応じて、前記起点から前記終点までの縦方向移動軌跡を生成するステップと、前記起点から前記終点までの横方向移動軌跡を生成するステップであって、第一の多項式関数を使用して前記横方向移動軌跡の形状を最適化する、ステップと、前記縦方向移動軌跡と前記横方向移動軌跡を組合わせて、前記障害物が如何に移動するかを予測する予測軌跡を生成するステップと、前記障害物の前記予測軌跡に基づいて、前記自動運転車の移動を制御するステップと、を含む。
本願のもう一つの局面は、データ処理システムに関する。前記データ処理システムは、プロセッサと、前記プロセッサに接続されて指令を記憶するメモリと、を備え、前記指令が前記プロセッサにより実行されると、前記プロセッサに処理を実行させ、前記処理は、車線内に運転されている自動運転車(ADV)の周囲の運転環境が感知された感知データに基いて、障害物が起点から終点まで移動することを予測するステップと、前記車線の形状に応じて、前記起点から前記終点までの縦方向移動軌跡を生成するステップと、前記起点から前記終点までの横方向移動軌跡を生成するステップであって、第一の多項式関数を使用して前記横方向移動軌跡の形状を最適化する、ステップと、前記縦方向移動軌跡と前記横方向移動軌跡を組合わせて、前記障害物が如何に移動するかを予測する予測軌跡を生成するステップと、前記障害物の前記予測軌跡に基づいて、前記自動運転車の移動を制御するステップと、を含む。

Claims (21)

  1. 自動運転期間に障害物の軌跡を予測するためのコンピュータ実施方法であって、
    車線内に運転されている自動運転車(ADV)の周囲の運転環境が感知された感知データに基いて、障害物が起点から終点まで移動することを予測するステップと、
    前記車線の形状に応じて、前記起点から前記終点までの縦方向移動軌跡を生成するステップと、
    前記起点から前記終点までの横方向移動軌跡を生成するステップであって、第一の多項式関数を使用して前記横方向移動軌跡の形状を最適化する、ステップと、
    前記縦方向移動軌跡と前記横方向移動軌跡を組合わせて、前記障害物が如何に移動するかを予測する予測軌跡を生成するステップと、
    前記障害物の前記予測軌跡に基づいて、前記自動運転車の移動を制御するステップと、
    を含む方法。
  2. 前記障害物の現在の進行方向に基づいて平滑軌跡を生成するように、前記縦方向移動軌跡と前記横方向移動軌跡を最適化する、請求項1に記載の方法。
  3. 前記第一の多項式関数は五次多項式関数である請求項1に記載の方法。
  4. 前記障害物の現在状態に基いて、前記障害物の前記起点に関連付けられた1セットの初期横方向状態を確定するステップと、
    前記障害物の現在状態に基いて、前記終点に関連付けられた1セットの終了横方向状態を確定するステップと、を更に含み、
    前記初期横方向状態と前記終了横方向状態は、前記横方向移動軌跡を最適化するように、前記第一の多項式関数の第一セットの制約条件として用いられる請求項1に記載の方法。
  5. 縦方向移動軌跡を生成するステップは、第二の多項式関数を使用して前記縦方向移動軌跡の形状を最適化するステップを含む請求項1に記載の方法。
  6. 前記第二の多項式関数は四次多項式関数である請求項5に記載の方法。
  7. 前記障害物の現在状態に基いて、前記障害物の前記起点に関連付けられた1セットの初期縦方向状態を確定するステップと、
    前記障害物の現在状態に基いて、前記終点に関連付けられた1セットの終了縦方向状態を確定するステップと、を更に含み、
    前記初期縦方向状態と前記終了縦方向状態は、前記縦方向移動軌跡を最適化するように、前記第二の多項式関数の第二セットの制約条件として用いられる請求項5に記載の方法。
  8. 指令が記憶された非一時的な機械可読媒体であって、
    前記指令がプロセッサにより実行されると、前記プロセッサに処理を実行させ、前記処理は、
    車線内に運転されている自動運転車(ADV)の周囲の運転環境が感知された感知データに基いて、障害物が起点から終点まで移動することを予測するステップと、
    前記車線の形状に応じて、前記起点から前記終点までの縦方向移動軌跡を生成するステップと、
    前記起点から前記終点までの横方向移動軌跡を生成するステップであって、第一の多項式関数を使用して前記横方向移動軌跡の形状を最適化する、ステップと、
    前記縦方向移動軌跡と前記横方向移動軌跡を組合わせて、前記障害物が如何に移動するかを予測する予測軌跡を生成するステップと、
    前記障害物の前記予測軌跡に基づいて、前記自動運転車の移動を制御するステップと、
    を含む機械可読媒体。
  9. 前記障害物の現在の進行方向に基づいて平滑軌跡を生成するように、前記縦方向移動軌跡と前記横方向移動軌跡を最適化する、請求項8に記載の機械可読媒体。
  10. 前記第一の多項式関数は五次多項式関数である請求項8に記載の機械可読媒体。
  11. 前記処理は、
    前記障害物の現在状態に基いて、前記障害物の前記起点に関連付けられた1セットの初期横方向状態を確定するステップと、
    前記障害物の現在状態に基いて、前記終点に関連付けられた1セットの終了横方向状態を確定するステップと、を更に含み、
    前記初期横方向状態と前記終了横方向状態は、前記横方向移動軌跡を最適化するように、前記第一の多項式関数の第一セットの制約条件として用いられる請求項8に記載の機械可読媒体。
  12. 縦方向移動軌跡を生成するステップは、第二の多項式関数を使用して前記縦方向移動軌跡の形状を最適化するステップを含む請求項8に記載の機械可読媒体。
  13. 前記第二の多項式関数は四次多項式関数である請求項12に記載の機械可読媒体。
  14. 前記処理は、
    前記障害物の現在状態に基いて、前記障害物の前記起点に関連付けられた1セットの初期縦方向状態を確定するステップと、
    前記障害物の現在状態に基いて、前記終点に関連付けられた1セットの終了縦方向状態を確定するステップと、を更に含み、
    前記初期縦方向状態と前記終了縦方向状態は、前記縦方向移動軌跡を最適化するように、前記第二の多項式関数の第二セットの制約条件として用いられる請求項12に記載の機械可読媒体。
  15. データ処理システムであって、
    プロセッサと、
    前記プロセッサに接続されて指令を記憶するメモリと、を備え、
    前記指令が前記プロセッサにより実行されると、前記プロセッサに処理を実行させ、前記処理は、
    車線内に運転されている自動運転車(ADV)の周囲の運転環境が感知された感知データに基いて、障害物が起点から終点まで移動することを予測するステップと、
    前記車線の形状に応じて、前記起点から前記終点までの縦方向移動軌跡を生成するステップと、
    前記起点から前記終点までの横方向移動軌跡を生成するステップであって、第一の多項式関数を使用して前記横方向移動軌跡の形状を最適化する、ステップと、
    前記縦方向移動軌跡と前記横方向移動軌跡を組合わせて、前記障害物が如何に移動するかを予測する予測軌跡を生成するステップと、
    前記障害物の前記予測軌跡に基づいて、前記自動運転車の移動を制御するステップと、
    を含むシステム。
  16. 前記障害物の現在の進行方向に基づいて平滑軌跡を生成するように、前記縦方向移動軌跡と前記横方向移動軌跡を最適化する請求項15に記載のシステム。
  17. 前記第一の多項式関数は五次多項式関数である請求項15に記載のシステム。
  18. 前記処理は、
    前記障害物の現在状態に基いて、前記障害物の前記起点に関連付けられた1セットの初期横方向状態を確定するステップと、
    前記障害物の現在状態に基いて、前記終点に関連付けられた1セットの終了横方向状態を確定するステップと、を更に含み、
    前記初期横方向状態と前記終了横方向状態は、前記横方向移動軌跡を最適化するように、前記第一の多項式関数の第一セットの制約条件として用いられる請求項15に記載のシステム。
  19. 縦方向移動軌跡を生成するステップは、第二の多項式関数を使用して前記縦方向移動軌跡の形状を最適化するステップを含む請求項15に記載のシステム。
  20. 前記第二の多項式関数は四次多項式関数である請求項19に記載のシステム。
  21. 前記処理は、
    前記障害物の現在状態に基いて、前記障害物の前記起点に関連付けられた1セットの初期縦方向状態を確定するステップと、
    前記障害物の現在状態に基いて、前記終点に関連付けられた1セットの終了縦方向状態を確定するステップと、を更に含み、
    前記初期縦方向状態と前記終了縦方向状態は、前記縦方向移動軌跡を最適化するように、前記第二の多項式関数の第二セットの制約条件として用いられる請求項19に記載のシステム。
JP2019077263A 2018-04-17 2019-04-15 自動運転車に対して障害物の予測軌跡を生成するための方法 Active JP6748259B2 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US15/955,498 US11378961B2 (en) 2018-04-17 2018-04-17 Method for generating prediction trajectories of obstacles for autonomous driving vehicles
US15/955,498 2018-04-17

Publications (2)

Publication Number Publication Date
JP2019182414A true JP2019182414A (ja) 2019-10-24
JP6748259B2 JP6748259B2 (ja) 2020-08-26

Family

ID=68161693

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2019077263A Active JP6748259B2 (ja) 2018-04-17 2019-04-15 自動運転車に対して障害物の予測軌跡を生成するための方法

Country Status (3)

Country Link
US (1) US11378961B2 (ja)
JP (1) JP6748259B2 (ja)
CN (1) CN110389581B (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021133832A1 (en) * 2019-12-27 2021-07-01 Waymo Llc Conditional behavior prediction for autonomous vehicles

Families Citing this family (41)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11718303B2 (en) * 2018-01-03 2023-08-08 Toyota Research Institute, Inc. Vehicles and methods for building vehicle profiles based on reactions created by surrounding vehicles
US10795367B2 (en) 2018-01-11 2020-10-06 Uatc, Llc Mapped driving paths for autonomous vehicle
SG11202103372XA (en) * 2018-10-01 2021-04-29 Op Solutions Llc Methods and systems of exponential partitioning
TWI674984B (zh) * 2018-11-15 2019-10-21 財團法人車輛研究測試中心 自動駕駛車輛之行駛軌跡規劃系統及方法
CN109814568B (zh) * 2019-02-19 2022-05-03 阿波罗智能技术(北京)有限公司 无人车速度轨迹的生成方法、装置和存储介质
US11603098B2 (en) * 2019-08-27 2023-03-14 GM Global Technology Operations LLC Systems and methods for eye-tracking data collection and sharing
CN110895406B (zh) * 2019-11-11 2021-02-02 北京三快在线科技有限公司 一种基于干扰物轨迹规划的无人设备的测试方法及装置
CN111027195B (zh) * 2019-12-03 2023-02-28 阿波罗智能技术(北京)有限公司 仿真场景的生成方法、装置及设备
US11860634B2 (en) * 2019-12-12 2024-01-02 Baidu Usa Llc Lane-attention: predicting vehicles' moving trajectories by learning their attention over lanes
US11061403B2 (en) * 2019-12-12 2021-07-13 Baidu Usa Llc Path planning with a preparation distance for a lane-change
EP3891571A4 (en) * 2020-02-26 2021-12-22 Baidu.com Times Technology (Beijing) Co., Ltd. TRAJECTORY PLANNING WITH OBSTACLE AVOIDANCE FOR AUTONOMOUS VEHICLES
US11520338B2 (en) * 2020-02-27 2022-12-06 Uatc, Llc Systems and methods for vehicle spatial path sampling
CN111380555A (zh) * 2020-02-28 2020-07-07 北京京东乾石科技有限公司 车辆行为预测方法及装置、电子设备、存储介质
CN111338353A (zh) * 2020-03-26 2020-06-26 吉林大学 一种动态驾驶环境下智能车辆变道轨迹规划方法
CN111537950B (zh) * 2020-04-14 2023-04-21 哈尔滨工业大学 一种基于位置指纹和二步多项式拟合的卫星位置预测跟踪方法
CN113625698B (zh) * 2020-04-23 2024-05-03 纳恩博(常州)科技有限公司 控制车辆转向的方法、装置和存储介质
CN113721598A (zh) * 2020-05-11 2021-11-30 北京京东乾石科技有限公司 一种障碍物轨迹预测方法、装置、设备和存储介质
US11904890B2 (en) * 2020-06-17 2024-02-20 Baidu Usa Llc Lane change system for lanes with different speed limits
CN111650945B (zh) * 2020-06-28 2023-10-24 北京智行者科技股份有限公司 动态障碍物防撞方法
CN111879319B (zh) * 2020-06-29 2023-10-20 中国科学院合肥物质科学研究院 用于地面无人平台的室内测试方法、系统及计算机设备
CN112179344A (zh) * 2020-08-28 2021-01-05 达闼机器人有限公司 基于机器人坐标系的轨迹生成方法、装置及计算设备
CN114550474B (zh) * 2020-11-24 2023-03-03 华为技术有限公司 一种横向规划约束确定方法及装置
CN112519783B (zh) * 2020-12-04 2021-11-19 中南大学 一种智能驾驶的自底向上平滑轨迹生成方法及系统
CN114708723B (zh) * 2020-12-16 2023-07-21 华为技术有限公司 轨迹预测方法和装置
US11738772B1 (en) * 2020-12-18 2023-08-29 Zoox, Inc. Object avoidance with perceived safety subgoal
CN114692289A (zh) * 2020-12-31 2022-07-01 华为技术有限公司 自动驾驶算法测试方法及相关设备
CN113341824A (zh) * 2021-06-17 2021-09-03 鄂尔多斯市普渡科技有限公司 一种开放式自动驾驶避障控制系统及控制方法
CN113386766B (zh) * 2021-06-17 2022-09-23 东风汽车集团股份有限公司 一种连续的、周期自适应同步的在线轨迹规划系统及方法
CN113359763A (zh) * 2021-07-05 2021-09-07 广州蓝胖子移动科技有限公司 轮式机器人及动态障碍物轨迹预测方法、装置、存储介质
CN113788015B (zh) * 2021-08-04 2023-04-18 杭州飞步科技有限公司 车辆轨迹的确定方法、装置、设备以及存储介质
CN113753077A (zh) * 2021-08-17 2021-12-07 北京百度网讯科技有限公司 预测障碍物的运动轨迹的方法、装置及自动驾驶车辆
CN113553482B (zh) * 2021-09-18 2022-02-01 深圳市城市交通规划设计研究中心股份有限公司 停留点识别和出行链构建系统、算法、设备及存储介质
CN113963535B (zh) * 2021-09-30 2023-01-13 华为技术有限公司 行驶决策确定方法、装置、电子设备存储介质
CN114167860B (zh) * 2021-11-24 2023-07-07 东风商用车有限公司 一种自动驾驶最优轨迹生成方法及装置
CN115230688B (zh) * 2021-12-07 2023-08-25 上海仙途智能科技有限公司 障碍物轨迹预测方法、系统和计算机可读存储介质
US20230303117A1 (en) * 2022-03-14 2023-09-28 Argo AI, LLC Method and system for assessing whether a vehicle is likely to leave an off-road parking area
CN115123252B (zh) * 2022-07-05 2023-03-31 小米汽车科技有限公司 车辆控制方法、装置、车辆及存储介质
CN115355916B (zh) * 2022-10-24 2023-03-03 北京智行者科技股份有限公司 移动工具的轨迹规划方法、设备和计算机可读存储介质
CN117389276B (zh) * 2023-11-05 2024-05-28 理工雷科智途(北京)科技有限公司 一种基于行驶风险预测的无人车行驶路径跟踪控制方法
CN117962932B (zh) * 2024-04-02 2024-06-11 福瑞泰克智能系统有限公司 障碍物的行驶轨迹生成方法、装置和存储介质及电子设备
CN118107575A (zh) * 2024-04-30 2024-05-31 新石器中研(上海)科技有限公司 碰撞检查方法、控制装置、可读存储介质及驾驶设备

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007534041A (ja) * 2003-09-23 2007-11-22 ダイムラークライスラー・アクチェンゲゼルシャフト 車両用の車線変更運転認識方法及び装置
US9227632B1 (en) * 2014-08-29 2016-01-05 GM Global Technology Operations LLC Method of path planning for evasive steering maneuver
US20170186322A1 (en) * 2015-12-18 2017-06-29 GM Global Technology Operations LLC Method to determine an evasion trajectory for a vehicle
JP2019128962A (ja) * 2018-01-26 2019-08-01 バイドゥ・ユーエスエイ・リミテッド・ライアビリティ・カンパニーBaidu USA LLC 自動運転車のための経路及び速度の最適化フォールバックメカニズム[path and speed optimization fallback mechanism for autonomous vehicles]

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5130638B2 (ja) * 2006-03-22 2013-01-30 日産自動車株式会社 回避操作算出装置、回避制御装置、各装置を備える車両、回避操作算出方法および回避制御方法
JP4062353B1 (ja) 2006-11-10 2008-03-19 トヨタ自動車株式会社 障害物進路予測方法、装置、およびプログラム
JP5244787B2 (ja) 2007-03-29 2013-07-24 トヨタ自動車株式会社 衝突可能性取得装置および衝突可能性取得方法
JP5251216B2 (ja) 2007-07-31 2013-07-31 日産自動車株式会社 車両用走行制御装置および車両用走行制御方法
US8612109B2 (en) * 2007-07-31 2013-12-17 Nissan Motor Co., Ltd. Vehicular running control apparatus and vehicular running control method
KR101672133B1 (ko) * 2015-05-12 2016-11-16 한양대학교 산학협력단 차량 궤적 예측 장치 및 방법과, 이를 이용한 적응식 정속 주행 시스템
CN107240299B (zh) 2017-07-20 2021-07-13 北京纵目安驰智能科技有限公司 自主驾驶车辆对移动物体识别以及车辆避障的方法
CN107346611B (zh) 2017-07-20 2021-03-23 北京纵目安驰智能科技有限公司 一种自主驾驶的车辆的避障方法以及避障系统
DE102017118651A1 (de) * 2017-08-16 2019-02-21 Valeo Schalter Und Sensoren Gmbh Verfahren und System zur Kollisionsvermeidung eines Fahrzeugs

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007534041A (ja) * 2003-09-23 2007-11-22 ダイムラークライスラー・アクチェンゲゼルシャフト 車両用の車線変更運転認識方法及び装置
US9227632B1 (en) * 2014-08-29 2016-01-05 GM Global Technology Operations LLC Method of path planning for evasive steering maneuver
US20170186322A1 (en) * 2015-12-18 2017-06-29 GM Global Technology Operations LLC Method to determine an evasion trajectory for a vehicle
JP2019128962A (ja) * 2018-01-26 2019-08-01 バイドゥ・ユーエスエイ・リミテッド・ライアビリティ・カンパニーBaidu USA LLC 自動運転車のための経路及び速度の最適化フォールバックメカニズム[path and speed optimization fallback mechanism for autonomous vehicles]

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021133832A1 (en) * 2019-12-27 2021-07-01 Waymo Llc Conditional behavior prediction for autonomous vehicles

Also Published As

Publication number Publication date
US11378961B2 (en) 2022-07-05
US20190317511A1 (en) 2019-10-17
JP6748259B2 (ja) 2020-08-26
CN110389581A (zh) 2019-10-29
CN110389581B (zh) 2022-07-19

Similar Documents

Publication Publication Date Title
JP6748259B2 (ja) 自動運転車に対して障害物の予測軌跡を生成するための方法
JP6861238B2 (ja) 自動運転車の車線変更軌跡を確定するための方法
EP3517893B1 (en) Path and speed optimization fallback mechanism for autonomous vehicles
JP6748244B2 (ja) 自動運転車に用いられる学習に基づく速度計画装置
CN111824139B (zh) 用于预测与自动驾驶车辆相关的运动对象的运动的方法
JP6667686B2 (ja) 自動運転車両のための走行軌跡生成方法、システム及び機械可読媒体
JP2019206327A (ja) 自動運転車両の軌道の生成方法
CN110389580B (zh) 用于规划自动驾驶车辆的路径的漂移校正的方法
JP2019194073A (ja) 自動運転車の軌跡候補を評価するための方法
CN111123906B (zh) 不同横向加速度约束下的最优纵向轨迹生成
JP2019138903A (ja) 加速カーブの投影に用いられるシステム及び方法
JP2020066428A (ja) 自動運転車両のための人間の運転行動を模倣する2段階基準線平滑化方法
CN111615618B (zh) 用于自动驾驶车辆的高速规划的基于多项式拟合的参考线平滑方法
CN111615476B (zh) 用于自动驾驶车辆的基于螺旋曲线的竖直停车规划系统
US11048252B2 (en) Optimal path generation for static obstacle avoidance
CN111328313B (zh) 用于自动驾驶车辆的控制占主导的三点转弯规划
CN111328385B (zh) 用于自动驾驶车辆的基于螺旋路径的三点转弯规划
US11073834B2 (en) Path generation for static obstacle avoidance
CN113226825A (zh) 自动驾驶车辆的基于扭矩反馈的车辆纵向自动校准系统
CN111649751B (zh) 一种用于参考线平滑的超自由缝合方法
CN112272805A (zh) 连接两条平滑参考线的基于多点增强的拼接方法
CN111801638B (zh) 基于枚举的自动驾驶车辆的三点转弯规划

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20190426

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20190426

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20200306

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20200317

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20200617

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20200804

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20200806

R150 Certificate of patent or registration of utility model

Ref document number: 6748259

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250