JP2020502609A - センサデータから得られた物体の地図情報を使用した平滑化 - Google Patents

センサデータから得られた物体の地図情報を使用した平滑化 Download PDF

Info

Publication number
JP2020502609A
JP2020502609A JP2019516482A JP2019516482A JP2020502609A JP 2020502609 A JP2020502609 A JP 2020502609A JP 2019516482 A JP2019516482 A JP 2019516482A JP 2019516482 A JP2019516482 A JP 2019516482A JP 2020502609 A JP2020502609 A JP 2020502609A
Authority
JP
Japan
Prior art keywords
width
distance
representation
data points
location
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2019516482A
Other languages
English (en)
Other versions
JP6839269B2 (ja
Inventor
パテル,ニルマル
Original Assignee
ウェイモ エルエルシー
ウェイモ エルエルシー
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ウェイモ エルエルシー, ウェイモ エルエルシー filed Critical ウェイモ エルエルシー
Publication of JP2020502609A publication Critical patent/JP2020502609A/ja
Application granted granted Critical
Publication of JP6839269B2 publication Critical patent/JP6839269B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08Interaction between the driver and the control system
    • B60W50/14Means for informing the driver, warning the driver or prompting a driver intervention
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01BMEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00Measuring arrangements characterised by the use of optical techniques
    • G01B11/24Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60KARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60KARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/20Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor
    • B60K35/28Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor characterised by the type of the output information, e.g. video entertainment or vehicle dynamics information; characterised by the purpose of the output information, e.g. for attracting the attention of the driver
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W30/00Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units
    • B60W30/14Adaptive cruise control
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/02Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to ambient conditions
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W60/00Drive control systems specially adapted for autonomous road vehicles
    • B60W60/001Planning or execution of driving tasks
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01BMEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00Measuring arrangements characterised by the use of optical techniques
    • G01B11/02Measuring arrangements characterised by the use of optical techniques for measuring length, width or thickness
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01BMEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00Measuring arrangements characterised by the use of optical techniques
    • G01B11/02Measuring arrangements characterised by the use of optical techniques for measuring length, width or thickness
    • G01B11/04Measuring arrangements characterised by the use of optical techniques for measuring length, width or thickness specially adapted for measuring length or width of objects while moving
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01CMEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G01C21/28Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network with correlation of data from several navigational instruments
    • G01C21/30Map- or contour-matching
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01CMEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G01C21/34Route searching; Route guidance
    • G01C21/36Input/output arrangements for on-board computers
    • G01C21/3697Output of additional, non-guidance related information, e.g. low fuel level
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/02Systems using the reflection of electromagnetic waves other than radio waves
    • G01S17/06Systems determining position data of a target
    • G01S17/42Simultaneous measurement of distance and other co-ordinates
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88Lidar systems specially adapted for specific applications
    • G01S17/93Lidar systems specially adapted for specific applications for anti-collision purposes
    • G01S17/931Lidar systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05DSYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02Control of position or course in two dimensions
    • G05D1/021Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0231Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
    • G05D1/0238Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using obstacle or wall sensors
    • G05D1/024Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using obstacle or wall sensors in combination with a laser
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00Manipulating 3D models or images for computer graphics
    • G06T19/006Mixed reality
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/56Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/56Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/588Recognition of the road, e.g. of lane markings; Recognition of the vehicle driving pattern in relation to the road
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/60Type of objects
    • G06V20/64Three-dimensional objects
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60KARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2360/00Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
    • B60K2360/16Type of output information
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60KARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2360/00Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
    • B60K2360/20Optical features of instruments
    • B60K2360/33Illumination features
    • B60K2360/333Lasers
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W2050/0001Details of the control system
    • B60W2050/0002Automatic control, details of type of controller or control system architecture
    • B60W2050/0004In digital systems, e.g. discrete-time systems involving sampling
    • B60W2050/0005Processor details or data handling, e.g. memory registers or chip architecture
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08Interaction between the driver and the control system
    • B60W50/14Means for informing the driver, warning the driver or prompting a driver intervention
    • B60W2050/146Display means
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2420/00Indexing codes relating to the type of sensors based on the principle of their operation
    • B60W2420/40Photo, light or radio wave sensitive means, e.g. infrared sensors
    • B60W2420/408Radar; Laser, e.g. lidar
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2554/00Input parameters relating to objects
    • B60W2554/80Spatial relation or speed relative to objects
    • B60W2554/802Longitudinal distance

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Remote Sensing (AREA)
  • Radar, Positioning & Navigation (AREA)
  • General Physics & Mathematics (AREA)
  • Automation & Control Theory (AREA)
  • Transportation (AREA)
  • Mechanical Engineering (AREA)
  • Electromagnetism (AREA)
  • Theoretical Computer Science (AREA)
  • Combustion & Propulsion (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Chemical & Material Sciences (AREA)
  • Multimedia (AREA)
  • Software Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Hardware Design (AREA)
  • Computer Graphics (AREA)
  • Human Computer Interaction (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Optics & Photonics (AREA)
  • Mathematical Physics (AREA)
  • Traffic Control Systems (AREA)
  • Navigation (AREA)
  • Business, Economics & Management (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Game Theory and Decision Science (AREA)
  • Medical Informatics (AREA)
  • Optical Radar Systems And Details Thereof (AREA)
  • Image Analysis (AREA)

Abstract

本技術は、車両100の認識システム172によって検出された物体の表現を生成することに関する。例えば、物体690に対応する一連のデータ点790は、認識システムから受信される。車線の形状および場所、ならびに車線に関する中央点の場所を識別する地図情報が、読み出される。中央点の代表点は、一連のデータ点に基づいて選択される。第1の位置は、代表点の場所に基づいて決定される。第2の位置は、一連のデータ点に基づいて決定される。第1の位置および第2の位置は、第1の位置と第2の位置との距離に基づいて、物体の表現に対する第3の位置を決定するために使用される。物体の表現は、第3の位置を使用して生成される。物体の表現は、車両100のディスプレイ152上に表示される。【選択図】図9

Description

関連出願の相互参照
[0001] 本出願は、2016年11月14日出願の米国特許出願第15/350,473号の継続出願であり、同特許出願の開示内容は、参考により本明細書に組み込まれる。
[0002] 人間の運転者を必要としない車両などの自律走行車両は、乗客または品物をある場所から別の場所へ輸送するのを支援するために使用され得る。そのような車両は、乗客が、ピックアップ場所または行き先場所などを初期入力し、車両自体がその場所まで操縦する、完全な自律モードで動作することができる。
[0003] これらの車両は、その周囲の非常に詳細な地図に依拠し得る。これらの地図は、ナビゲーション(例えば、2つの場所の間をどのように進むかを決定する)ならびに位置確認(車両が一体どこにいるのかを決定する)の両方にとって重要となる。
[0004] 地図に加えて、これらの車両は、通常、周囲にある物体を検出するために、さまざまな種類のセンサを備えている。例えば、自律走行車両は、レーザ、ソナー、レーダ、カメラ、および車両の周囲を走査して、そこからのデータを記録する他のデバイスを含み得る。1つまたは複数のこれらのデバイスからのセンサデータは、物体およびそれらのそれぞれの特性(位置、形状、進行方向、速度等)を検出するために使用され得る。これらの特性は、近い将来に物体が取り得る動作を予測するために使用され、車両がそれらの物体を避けるように制御するために使用され得る。したがって、検出、識別、および予測は、自律走行車両の安全な動作には重要な機能である。
[0005] 本開示の態様は、車両の認識システムによって検出された物体の表現を生成するための方法を提供する。方法は、1つまたは複数のプロセッサによって、認識システムから一連のデータ点を受信することを含む。一連のデータ点の中のデータ点は、レーザセンサのレーザで掃引する間に検出された物体に対応している。方法は、1つまたは複数のプロセッサによって、車線の形状および場所、ならびに車線に関する中央点の場所を識別する地図情報を読み出すことと、1つまたは複数のプロセッサによって、一連のデータ点に基づいて中央点の代表点を選択することと、1つまたは複数のプロセッサによって、代表点の場所に基づいて第1の位置を決定することと、1つまたは複数のプロセッサによって、一連のデータ点に基づいて第2の位置を決定することと、1つまたは複数のプロセッサによって、第1の位置と第2の位置との距離に基づいて、物体の表現に対する第3の位置を決定するために、第1の位置および第2の位置を使用することと、1つまたは複数のプロセッサによって、第3の位置を使用して、物体の表現を生成することと、1つまたは複数のプロセッサによって、車両のディスプレイ上に物体の表現を表示することとをさらに含む。
[0006] 1つの例では、距離が、第1の距離であるとき、第1の位置が、第3の位置への第1の寄与を有し、距離が、第1の距離より大きい第2の距離であるとき、第2の位置が、第1の寄与より大きい、第3の位置への第2の寄与を有するように、第1の位置および第2の位置が、使用される。別の例では、地図情報は、車線に対する進行方向を識別する進行方向情報をさらに含み、さらに方法は、代表点と関連付けられる車線の進行方向に基づいて第1の方位を決定することと、一連のデータ点に基づいて第2の方位を決定することと、距離に基づいて物体の表現に対する第3の方位を決定するために、第1の方位および第2の方位を結合し、物体に関する表現が第3の位置を使用して生成されることとを含む。この例では、距離が、第1の距離であるとき、第1の方位が、第3の方位への第1の寄与を有し、距離が、第1の距離より大きい第2の距離であるとき、第2の方位が、第1の寄与より大きい、第3の位置への第2の寄与を有するように、第1の方位および第2の方位が、使用される。
[0007] 別の例では、方法は、代表点と関連付けられる車線の幅に基づいて第1の幅を決定することと、一連のデータ点に基づいて第2の幅を決定することと、距離に基づいて物体の表現に対する第3の幅を決定するために、第1の幅および第2の幅を結合し、物体に関する表現が第3の幅を使用して生成されることとをさらに含む。この例では、距離が、第1の距離であるとき、第1の幅が、第3の幅への第1の寄与を有し、距離が、第1の距離より大きい第2の距離であるとき、第2の幅が、第1の寄与より大きい、第3の幅への第2の寄与を有するように、第1の幅および第2の幅が、結合される。
[0008] 別の例では、方法は、一連のデータ点を受信する前に、レーザでの掃引より前の、レーザでの第1の掃引の間に検出された物体に対応する、以前の一連のデータ点を受信することと、以前の一連のデータ点に基づいて長さを決定することと、さらに長さに基づいた物体の表現を生成することとをさらに含む。この例では、長さは、レーザの観点から長さに対応する物体の辺の角度幅にさらに基づいて決定される。さらに、またはあるいは、長さは、角度幅が最小閾値の角度幅値より小さいかどうかに基づいてさらに決定される。
[0009] 本開示の別の態様は、車両の認識システムによって検出された物体の表現を生成するためのシステムを提供する。システムは、認識システムから一連のデータ点を受信するように構成された1つまたは複数のプロセッサを含む。一連のデータ点の中のデータ点は、レーザセンサのレーザで掃引する間に検出された物体に対応している。1つまたは複数のプロセッサは、さらに、車線の形状および場所、ならびに車線に関する中央点の場所を識別する地図情報を読み出し、一連のデータ点に基づいて中央点の代表点を選択し、代表点の場所に基づいて第1の位置を決定し、一連のデータ点に基づいて第2の位置を決定し、第1の位置と第2の位置との距離に基づいて物体の表現に対する第3の位置を決定するために、第1の位置および第2の位置を使用し、第3の位置を使用して物体の表現を生成し、そして車両のディスプレイ上に物体の表現を表示するように構成される。
[0010] 1つの例では、システムは、車両をさらに含む。別の例では、距離が、第1の距離であるとき、第1の位置が、第3の位置への第1の寄与を有し、距離が、第1の距離より大きい第2の距離であるとき、第2の位置が、第1の寄与より大きい、第3の位置への第2の寄与を有するように、第1の位置および第2の位置が、使用される。別の例では、地図情報は、車線に対する進行方向を識別する進行方向情報をさらに含み、1つまたは複数のプロセッサは、代表点と関連付けられる車線の進行方向に基づいて第1の方位を決定し、一連のデータ点に基づいて第2の方位を決定し、そして距離に基づいて物体の表現に対する第3の方位を決定するために、第1の方位および第2の方位を結合し、物体に関する表現が第3の位置を使用して生成されるようにさらに構成される。この例では、距離が、第1の距離であるとき、第1の方位が、第3の方位への第1の寄与を有し、距離が、第1の距離より大きい第2の距離であるとき、第2の方位が、第1の寄与より大きい、第3の方位への第2の寄与を有するように、第1の方位および第2の方位が、使用される。
[0011] 別の例では、1つまたは複数のプロセッサは、代表点と関連付けられる車線の幅に基づいて第1の幅を決定し、一連のデータ点に基づいて第2の幅を決定し、距離に基づいて物体の表現に対する第3の幅を決定するために、第1の幅および第2の幅を結合し、物体に関する表現が第3の幅を使用して生成されるようにさらに構成される。この例では、距離が、第1の距離であるとき、第1の幅が、第3の幅への第1の寄与を有し、距離が、第1の距離より大きい第2の距離であるとき、第2の幅が、第1の寄与より大きい、第3の幅への第2の寄与を有するように、第1の幅および第2の幅が、結合される。
[0012] 本開示の別の態様は、車両の認識システムによって検出された物体の表現を生成するための方法を提供する。方法は、1つまたは複数のプロセッサによって、一連のデータ点の中のデータ点が、レーザセンサのレーザで掃引する間に検出された物体に対応している、一連のデータ点を認識システムから受信することと、一連のデータ点から物体の場所を決定することと、その場所に最も近い交通車線の中央点を識別するために、交通車線の中央点を識別する地図情報にアクセスすることと、識別された中央点と物体の場所との間の距離に基づいて物体の表現に対する場所を決定することと、1つまたは複数のプロセッサによって、物体の表現に対する場所に基づいて車両のディスプレイ上に物体の表現を表示することとを含む。
[0013] 1つの例では、地図情報は、車線に対する進行方向を識別する進行方向情報をさらに含み、方法は、一連のデータ点に基づいて物体の方位を決定することと、物体の方位、および識別された中央点と物体の場所との間の距離に基づいて、物体の表現に対する方位を決定することとをさらに含む。この例では、表現を表示することは、さらに、表現に対する方位に基づいている。
[0014] 別の例では、方法は、一連のデータ点に基づいて物体の幅を決定することと、物体の幅、および識別された中央点と物体の場所との間の距離に基づいて、物体の表現に対する幅を決定することとをさらに含む。この例では、表現を表示することは、さらに、表現に対する幅に基づいている。
[0015]本開示の態様による例示的車両の機能図である。 [0016]本開示の態様による地図情報の図である。 [0016]本開示の態様による地図情報の図である。 [0017]本開示の態様による車両の例示的外観図である。 [0017]本開示の態様による車両の例示的外観図である。 [0017]本開示の態様による車両の例示的外観図である。 [0017]本開示の態様による車両の例示的外観図である。 [0018]本開示の態様によるシステムの絵図である。 [0019]本開示の態様による図4のシステムの機能図である。 [0020]本開示の態様による車道の区分の図である。 [0021]本開示の態様による車道およびデータの区分の図である。 [0022]本開示の態様による車道およびデータの区分の図である。 [0023]本開示の態様による車道およびデータの区分の図である。 [0024]本開示の態様による車道およびデータの区分の図である。 [0025]本開示の態様による車道およびデータの区分の図である。 [0026]本開示の態様による車道の区分の図である。 [0027]本開示の態様による車道の区分の図である。 [0028]本開示の態様による車道の区分の図である。 [0029]本開示の態様による流れ図である。
概要
[0030] 本技術は、リアルタイムに収集されたセンサデータを使用して、車両の周囲で検出された物体の視覚的表現を生成することに関する。上記したように、検出、識別、および予測に加えて、どのような物体が車両のセンサによって検出されたのかという情報を乗客に提供することは、乗客が車両のセンサの機能性についての情報を保持し、乗客が安全であるいう感覚を維持するためには重要である。例えば、経時的に物体の表現を生成するために、LIDARシステムのレーザによって生成されたデータ点群を使用するとき、表現が、「ぶれている」ように見えることがある。一例として、一つの一連のデータ点が、物体を横断するレーザの単一での掃引に対応している場合がある。この一連のデータ点は、その一連のデータ点から決定された値に対応するサイズ、形状、および方位を有する長方形などの、表示に対する物体の表現を生成するために使用され得る。経時的に、表現は、レーザでの新しい掃引から生成された新しい一連のデータ点から新しい表現を生成することによって更新される。しかしながら、センサデータが、リアルタイムに物体の表現を生成するために使用されるとき、センサデータに「忠実」になるほど、表現は、より非現実的になることがある。換言すれば、静止しているまたは滑らかに動いている物体を表わすのではなく、データ点群の中の点が、経時的に同じ場所に連続的に位置していないために、表現は、わずかに回転してずれているように見える。これは、レーザが、物体が位置付けられた領域を横断して掃引しているときに、物体、LIDARシステムのレーザ、および/または車両が移動しているからであり得る。したがって、物体自体が完全に静止しているとき、または特定の方向に一定の速度で移動しているときでさえ、このずれおよび回転は、物体の位置、進行方向、および形状/サイズに影響を及ぼす可能性がある。物体(車両、歩行者、および自転車に乗る人など)は、実際にはこのようには動いていないので、そのような表現を見ることで、乗客を当惑させる可能性がある。
[0031] ずれおよび回転を低減させることができるローパスフィルタなどの典型的な平滑化技術は、さらに、物体を非現実的に動かし得る。例えば、そのようなフィルタによって、物体が、間違った進行方向に、過度に大きいサイズもしくは形状で、または位置でさえ間違えたまま動いていることになる可能性がある。さらに、データ点上でそのような平滑化技術を行い、次いで車両を制御するために平滑化データを使用することは、データの精度がより低くなり、実際に、車両、乗客、および他の物体に危険を及ぼす可能性がある。
[0032] レーザデータを使用して、物体のより現実的な表現を作成するために、物体の表現は、事前に記憶された地図情報を使用して、前述のずれおよび回転を低減させるために平滑化することができる。物体の表現を生成する前に、データ点を平滑化するために地図情報を使用するが、この平滑化したデータを車両の制御には使用しないことで、表現のずれおよび回転を、車両、乗客、または他の物体の安全を危険にさらすことなく、低減させることができる。
[0033] 例えば、物体に対応する一連のデータ点は、車両のコンピューティングデバイスによって認識システムから受信され得る。地図情報は、一連のデータ点に関する基準点または基準線を識別するために使用され得る。物体に関するデータ点の基準点への近接性は、物体の表現を生成する前にデータ点を平滑化するために使用され得る。
[0034] 1つの例では、コンピューティングデバイスは、所与の物体に関する一連のデータ点に最も近い、地図情報の中央点(または線)を識別し得る。物体が、車線内に、または車線近くにいる場合、最も近い中央点は、車線内の中央点であり得る。物体が、駐車場内に、または駐車場近くにいる場合、最も近い中央点は、駐車場内の中央点であり得る。
[0035] 次いで、この最も近い中央点は、一連のデータ点を平滑化するための基準点になり得る。地図情報で識別された、基準点および関連車線(または駐車場)情報は、一連のデータ点によって生成される表現の特性を調整するために、使用され得る。さらに、平均場所が、基準点に近いほど、より大きく調整され得る。これにより、同じ物体に対して経時的に生成された異なる表現が、よりいっそう滑らかに動いて見えるようになる。
[0036] 基準点での車線または駐車場の幅は、表現の幅を決定するために使用され得る。一例として、第1の幅は、中央点の場所では車線(または駐車場)の実際の幅、車線(または駐車場)の平均幅、または車線(または駐車場)に関する平均幅値もしくはデフォルト幅値に設定され得る。
[0037] 第1の幅は、一連のデータ点から決定された物体の第2の幅と結合され得る。例えば、この第2の幅は、レーザの観点から物体の最も広い幅であり得る。第1の幅および第2の幅は、平均場所の代表点への近接性に基づいて、結合してまとめることができる。この点に関して、平均場所が、代表点と等しいとき、第1の幅が、表現の幅に設定され得る。平均場所が、代表点からより遠いとき、平均場所が、代表点からとても遠いので、第2の幅が、表現の幅として設定されるまで、第2の幅が、幅に及ぼす影響がより大きくなり得る。
このことは、同じ物体に関して生成された表現の間で、サイズのずれを低減するまたは防ぐことができる。
[0038] 表現の方位は、地図情報を使用して決定することができる。第1の方位は、基準点と関連付けられる車線の進行方向から決定することができる。第2の方位は、一連のデータ点から決定することができる。幅の例と同様に、第1の方位および第2の方位は、第1の方位と第2の方位との間の角度差に基づいて、結合してまとめることができる。この点に関して、第1の方位が第2の方位と同じとき、第1の方位が、表現の方位に設定され得る。平均場所が、代表点からより遠いとき、平均場所が、代表点からとても遠いので、第2の方位が、表現の方位として設定されるまで、第2の方位が、方位に及ぼす影響がより大きくなり得る。このことは、同じ物体に関して生成された表現の間で、大きな回転を低減するまたは防ぐことができる。
[0039] 表現の位置は、地図情報を使用して決定することができる。第1の位置は、基準点の位置である可能性もある。第2の位置は、平均場所である可能性もある。幅および方位の例と同様に、第1の位置および第2の位置は、平均場所の代表点への近接性に基づいて表現の位置を決定するために、結合してまとめることができる。この点に関して、平均場所が代表点と同じとき、第1の位置が、表現の位置に設定され得る。平均場所が、代表点から遠いとき、平均場所が、代表点からとても遠いので、第2の位置が、表現の位置として設定されるまで、第2の位置が、位置に及ぼす影響がより大きくなり得る。このことは、同じ物体に関して生成された表現の間で、大きな横方向のずれを低減するまたは防ぐことができる。
[0040] 本明細書に記載される特徴により、車両のコンピューティングシステムが、物体の現実的な表現をリアルタイムに生成することができる。検出した物体の中央車線または駐車場への近接性に基づいて、表現の幅、方位、および位置を生成することによって、上述した技術は、異なる一連のデータ点から経時的に生成された表現に対する滑らかな連続した動きを作り出し、コンピューティングデバイスが、表現上に多過ぎて影響を及ぼすようなデータ点または地図情報を有することを防ぐ。そのうえ、平滑化を表現の生成に限定することによって、コンピューティングデバイスが、可能な限り正確な情報を用いて車両を制御することができるようになる。
システム例
[0041] 図1に示すように、本開示の1つの態様による車両100は、さまざまな構成要素を含む。本開示の或る態様は、特定の種類の車両と関連して特に有用であるが、車両は、自動車、トラック、自動二輪車、バス、RV車等を含むがこれらに限定されることなく、どのような種類の車両であってもよい。車両は、1つまたは複数のプロセッサ120、メモリ130、および汎用コンピューティングデバイスの中に典型的に存在する他の構成要素を備えたコンピューティングデバイス110などの、1つまたは複数のコンピューティングデバイスを有し得る。
[0042] メモリ130は、プロセッサ120によって実行され得る、または別な方法で使用され得る命令132およびデータ134を含む、1つまたは複数のプロセッサ120によってアクセス可能な情報を記憶する。メモリ130は、コンピューティングデバイス可読媒体、またはハードドライブ、メモリカード、ROM、RAM、DVD、もしくは他の光ディスクなどの電子デバイスを用いて読み取ることができるデータを記憶する他の媒体、ならびに他の書込み可能メモリおよび読取り専用メモリを含む、プロセッサによってアクセス可能な情報を記憶することができるどのような種類のものであってもよい。システムおよび方法は、前述のものとは異なる組合せを含んでいてもよく、それによって、命令およびデータの異なる部分が、異なる種類の媒体上に記憶される。
[0043] 命令132は、プロセッサによって直接的に(マシンコードなど)または間接的に(スクリプトなど)実行される命令のどのようなセットであってもよい。例えば、命令は、コンピューティングデバイス可読媒体上にコンピューティングデバイスコードとして記憶されてもよい。これに関して、用語「命令」および「プログラム」は、本明細書において置換可能に使用され得る。命令は、プロセッサによる直接処理用の、オブジェクトコードフォーマットで記憶されてもよい、または要求に応じて解釈される、または前もってコンパイルされる、独立ソースコードモジュールのスクリプトまたは集まりを含む、何らかの他のコンピューティングデバイス言語で記憶されてもよい。命令の機能、方法、およびルーチンは、以下でさらに詳細に説明される。
[0044] データ134は、命令132に従ってプロセッサ120によって読み出される、記憶される、または修正され得る。例えば、請求項の主題は、どのような特定のデータ構造によっても限定されないが、データは、コンピューティングデバイスレジスタに、複数の異なるフィールドおよびレコード、XML文書、またはフラットファイルを有するテーブルとしてリレーショナルデータベースに記憶されてもよい。データは、さらに、どのようなコンピューティングデバイス可読フォーマットにフォーマット化されてもよい。
[0045] 1つまたは複数のプロセッサ120は、市販のCPUなどのどのような従来型のプロセッサであってもよい。あるいは、1つまたは複数のプロセッサは、ASICまたは他のハードウェアベースプロセッサなどの専用デバイスであってもよい。図1は、コンピューティングデバイス110のプロセッサ、メモリ、および他の要素が同じブロックの中にあるように機能的に図示しているが、プロセッサ、コンピューティングデバイス、またはメモリは、実際には、同じ物理的筐体の中に格納されている場合もあり、または格納されていない場合もあるマルチプロセッサ、コンピューティングデバイス、またはメモリが含まれ得ることが、当業者には理解されよう。例えば、メモリは、コンピューティングデバイス110のものとは異なる筐体の中に位置付けられるハードドライブまたは他の記憶媒体であってもよい。したがって、プロセッサまたはコンピューティングデバイスへの言及は、プロセッサもしくはコンピューティングデバイスの集まり、または並行して動作する場合もある、または並行して動作しない場合もあるメモリへの言及を含むものと理解されたい。
[0046] コンピューティングデバイス110は、上述したプロセッサおよびメモリ、ならびにユーザ入力装置150(例えばマウス、キーボード、タッチスクリーン、および/またはマイクロホン)、およびさまざまな電子ディスプレイ(例えば、スクリーンまたは情報を表示するように動作し得る何らかの他の電気装置を有するモニタ)などの、コンピューティングデバイスに関連して通常使用されるすべての構成要素を含んでいてもよい。この例では、車両は、情報または視聴覚経験を提供するために、内部電子ディスプレイ152ならびに1つまたは複数のスピーカ154を含む。この点に関して、内部電子ディスプレイ152は、車両100の室内に位置付けられてもよく、車両100内の乗客に情報を提供するために、コンピューティングデバイス110によって使用されてもよい。
[0047] コンピューティングデバイス110は、以下に詳細に記載されるクライアントコンピューティングデバイスおよびサーバコンピューティングデバイスなどの他のコンピューティングデバイスとの通信を容易にするために、1つまたは複数の無線ネットワーク接続装置156をさらに含んでいてもよい。無線ネットワーク接続装置は、Bluetooth、Bluetooth low energy(LE)、セルラ方式接続などの近距離通信プロトコル、ならびにインターネット、ワールドワイドウェブ、イントラネット、仮想プライベートネットワーク、広域ネットワーク、ローカルネットワーク、1つまたは複数の会社に所有権がある通信プロトコルを使用するプライベートネットワーク、イーサネット、WiFiおよびHTTP、および前述のもののさまざまな組合せを含むさまざまな構成およびプロトコルを含んでいてもよい。
[0048] 1つの例では、コンピューティングデバイス110は、車両100の中に組み込まれる自律運転コンピューティングシステムであってもよい。自律運転コンピューティングシステムは、車両のさまざまな構成要素と通信することができる。例えば、図1に戻ると、コンピューティングデバイス110は、メモリ130の命令132に従って、車両100の動き、速度等を制御するために、減速システム160、加速システム162、操向システム164、方向指示システム166、経路指定システム168、測位システム170、認識システム172、および動力システム174(例えば、ガソリンエンジンまたは電気エンジン)などの車両100のさまざまなシステムと通信する。さらに、これらのシステムは、コンピューティングデバイス110の外部に示されているが、実際には、これらのシステムは、この場合も、車両100を制御するための自律運転コンピューティングシステムとして、同様に、コンピューティングデバイス110の中に組み込まれていてもよい。
[0049] 一例として、コンピューティングデバイス110は、車両の速度を制御するために、減速システム160および加速システム162と相互作用してもよい。同様に、操向システム164は、車両100の方向を制御するために、コンピューティングデバイス110によって使用されてもよい。例えば、車両100が、自動車またはトラックなど、道路上で使用するように構成される場合、操向システムは、車両の向きを変えるために車輪の角度を制御する構成要素を含む場合もある。方向指示システム166は、例えば、必要なときに、方向指示器または制動灯を点灯することによって他の運転者または車両に車両の意思を信号で伝えるために、コンピューティングデバイス110によって使用されてもよい。
[0050] 経路指定システム168は、場所を決定してそこまでの経路を辿るために、コンピューティングデバイス110によって使用されてもよい。この点に関して、経路指定システム168および/またはデータ134は、詳細な地図情報、例えば、車道の形状および標高、車線境界線、車線および進行方向情報(進行方向または車線の方位を識別する)、交差点、横断歩道、制限速度、交通信号、建物、標識、リアルタイム交通情報、植生、または他のそのような物体および情報を識別する非常に詳細な地図を記憶し得る。換言すれば、この詳細な地図情報は、車道ならびにそうした車道に対する制限速度(法定制限速度)を含む、車両に予想される周囲のジオメトリを画定し得る。さらに、この地図情報は、認識システム172から受信したリアルタイム情報に関連して、所与の場所では、どの進行方向が、通行権を有しているのかを決定するために、コンピューティングデバイス110によって使用され得る、交通信号灯、一時停止標識、ゆずれの標識等などの、交通制御に関する情報を含み得る。
[0051] 図2Aおよび図2Bは、車線210、212、214、216、ならびに駐車場230に対する入口/出口区域220を含む車道の区分に関する地図情報の一例である。図2Aを参照すると、地図情報は、車線マークまたは車線境界線240、242、中央区域250(車線210、212と車線214、216との間で異なる進行方向を隔てる)、および縁石260、262、264の形状、場所、および他の特性を識別する情報を含む。いくつかの例では、地図情報は、駐車場280、282、284、286、288などの駐車場の形状およびサイズを識別する情報さえも含み得る。図2Aに示される特徴に加えて、図2Bに示すように、地図情報は、車線210、212、214、216ごとにそれぞれ、中央点または中央線270、272、274、276(多数の点で描かれた)の情報をさらに含み得る。車線と同様に、駐車場280、282、284、286、288のそれぞれは、中央点または中央線290、292、294、296、298を識別する情報と関連付けられ得る。
[0052] 地図情報は、本明細書では、画像ベース地図として描写されているが、地図情報は、完全な画像ベース(例えばラスタ)である必要はない。例えば、地図情報は、1つまたは複数の道路グラフまたは道路、車線、交差点、およびこれらの特徴の間の接続などの、情報のグラフネットワークを含む場合がある。各特徴は、グラフデータとして記憶されてもよく、地理的場所などの情報と関連付けられてもよく、それが他の関連特徴にリンクされているか否かにかかわらず、例えば、一時停止標識は、道路および交差点等にリンクされている場合もある。いくつかの例では、関連データは、或る道路グラフ特徴の効率的な検索を可能にするために、道路グラフの格子ベース指標を含む場合もある。
[0053] 測位システム170は、車両の地図上または地上での相対的位置または絶対的位置を決定するために、コンピューティングデバイス110によって使用され得る。例えば、デバイスの緯度、経度、および/または高度位置を決定するために、測位システム170は、GPS受信機を含む場合がある。さらに、レーザベース位置確認システム、慣性支援GPS、またはカメラベース位置確認などの他の位置確認システムが、車両の場所を識別するために使用されてもよい。車両の場所は、緯度、経度、および高度などの絶対的な地理的位置、ならびに多くの場合、絶対的な地理的位置より少ないノイズで決定され得る、車両のすぐ近くの周囲の他の自動車に対する場所などの相対的な位置情報を含んでいてもよい。
[0054] 測位システム170は、車両の方向および速度、またはその変化を決定するために、加速度計、ジャイロスコープ、または別の方向/速度検出デバイスなどの、コンピューティングデバイス110と通信する他のデバイスをさらに含んでいてもよい。一例として挙げるに過ぎないが、加速デバイスは、重力方向またはそれに垂直な平面に対するピッチ、ヨー、またはロール(またはその変化)を決定することができる。デバイスは、速度の増減およびそのような変化の方向をさらに追跡することができる。本明細書に説明されるような場所および方位データのデバイスへの提供は、コンピューティングデバイス110、他のコンピューティングデバイス、および前述のものの組合せに自動的に提供され得る。
[0055] 認識システム172は、他の車両、車道の障害物、交通信号、標識、樹木等などの車両外部の物体を検出するための1つまたは複数の構成要素をさらに含む。例えば、認識システム172は、LIDAR(レーザ)、ソナー、レーダ、カメラなどのセンサ、および/またはコンピューティングデバイス110によって処理され得るデータを記録する何らかの他の検出デバイスを含む場合がある。車両が、自動車などの小型乗用車である場合には、自動車は、ルーフもしくは他の都合のよい場所に載置されたレーザまたは他のセンサを含んでいてもよい。例えば、車両の認識システムは、物体、および場所、方位、サイズ、形状、種類、動きの方向および速度等などのそれらの特性を検出するのに各種センサを使用することができる。センサからの未加工のデータおよび/または前述の特性は、コンピューティングデバイス110による処理のために、記述的機能またはベクトルに定量化するまたは配列することができる。以下でさらに詳細に検討されるように、コンピューティングデバイス110は、車両の場所を決定するために測位システム170を使用し、その場所に安全に到達する必要があるとき、物体を検出して反応するために、認識システム172を使用することができる。
[0056] 図3A〜図3Dは、車両100の外観図の例である。見て分かるように、車両100は、ヘッドライト302、フロントガラス303、テールライト/方向指示灯304、リアガラス305、ドア306、ドアミラー308、タイヤおよび車輪310、および方向指示灯/駐車灯312などの典型的な車両の多くの特徴を含む。ヘッドライト302、テールライト/方向指示灯304、および方向指示灯/駐車灯312は、方向指示システム166と関連付けられる場合がある。さらに、ライトバー307が、方向指示システム166と関連付けられる場合もある。
[0057] 車両100は、認識システム172のセンサをさらに含む。例えば、筐体314は、360度の視野またはより狭い視野を有する1つまたは複数のレーザデバイス、および1つまたは複数のカメラデバイスを含む場合がある。筐体316および318は、例えば、1つまたは複数のレーダデバイスおよび/またはソナーデバイスを含む場合もある。さらに、認識システム172のデバイスが、テールライト/方向指示灯304および/またはドアミラー308などの、典型的な車両構成要素の中に組み込まれている場合もある。これらのレーダデバイス、カメラデバイス、およびレーザデバイスのそれぞれは、認識システム172の一部としてこれらのデバイスからのデータを処理し、センサデータを、コンピューティングデバイス110に提供する処理構成要素と関連付けられ得る。
[0058] データ134は、次の10秒、またはそれより長い、またはそれより短い期間などの、時間の所定の期間の間の物体の将来の挙動を予測するために、さまざまな挙動−時間モデルを記憶し得る。1つの例では、挙動−時間モデルは、認識システム172から受信した物体、特に、道路ユーザの特性ならびに以下でさらに詳細に検討される追加的なコンテキスト情報を含む、別の道路ユーザに関するデータを使用し得る。一例として、認識システム172からのデータに含まれる場所、進行方向、速度、および他の特性を考えると、挙動−時間モデルは、物体が、所定の期間の間にどのような挙動を取り得るのかについての1つまたは複数の一連の予測、ならびに予測ごとに対応する可能性値を提供することができる。予測は、例えば、物体が、所定の期間に対応する将来のさまざまな時点での予想される将来の場所を画定する軌道を含む場合がある。可能性値は、どの予測が、(互いに比較して)より発生しそうなのかを示し得る。この点に関して、最大可能性値を有する予測は、最も発生する可能性があり得、他方で、可能性値がより低い予測は、発生する可能性が低くなり得る。
[0059] したがって、挙動−時間モデルは、特定の道路ユーザが、特定の地平線上でまたは所定の期間(例えば10秒)に何を行うであろうかという一連の考えられる仮説、および仮説ごとの相対的な可能性を生成するように構成され得る。これらのモデルは、その場所で観察された物体が、過去にどのような挙動をしたのかについてのデータ、直観力等を使用して、訓練することができ、さらに、車両、歩行者、自動二輪車、自転車に乗る人等などの特定の種類の物体に対して具体的に示すことができる。次いで、コンピューティングデバイス110は、車両の軌道と相互作用し、考慮する価値のある可能性が十分にある仮説について判断することができる。
[0060] コンピューティングデバイス110は、さまざまな構成要素を制御することによって、車両の方向および速度を制御することができる。例えば、コンピューティングデバイス110は、詳細な地図情報からのデータ、認識システム172、および経路指定システム168を使用して、完全に自律して行き先場所まで車両をナビゲートすることができる。車両を操縦するために、コンピューティングデバイス110は、車両に、(例えば、加速システム162によって動力システム174またはエンジンに提供される燃料または他のエネルギを増やすことによって)加速させる、(例えば、エンジンに供給される燃料を減らす、ギヤを変更する、および/または減速システム160によってブレーキをかけることによって)減速させる、(例えば、操向システム164を用いて車両100の前輪または後輪の向きを変えることによって)方向転換させる、および(例えば、方向指示システム166の方向指示器を点灯することによって)そのような変化の信号を送らせることができる。したがって、加速システム162および減速システム160は、車両のエンジンと車両の車輪との間のさまざまな構成要素を含む動力伝達系の部分であり得る。さらに、これらのシステムを制御することによって、コンピューティングデバイス110は、車両を自律的に操縦するために、車両の動力伝達系をさらに制御することができる。
[0061] 車両100の1つまたは複数のコンピューティングデバイス110は、さらに、他のコンピューティングデバイスにおよび他のコンピューティングデバイスから情報を送信または受信することができる。図4および図5はそれぞれ、複数のコンピューティングデバイス410、420、430、440、およびネットワーク460を介して接続される記憶システム450を含む例示的システム400の絵図および機能図である。システム400は、車両100および車両100と同様に構成され得る車両100Aをさらに含む。簡潔にするために、少数の車両およびコンピューティングデバイスだけが描写されているが、典型的なシステムは、かなり多数の車両およびコンピューティングデバイスを含む場合がある。
[0062] 図4に示すように、コンピューティングデバイス410、420、430、440のそれぞれは、1つまたは複数のプロセッサ、メモリ、データ、および命令を含み得る。そのようなプロセッサ、メモリ、データ、および命令は、コンピューティングデバイス110の1つまたは複数のプロセッサ120、メモリ130、データ134、および命令132と同様に構成され得る。
[0063] ネットワーク460および介在ノードは、Bluetooth、Bluetooth LEなどの近距離通信プロトコル、インターネット、ワールドワイドウェブ、イントラネット、仮想プライベートネットワーク、広域ネットワーク、ローカルネットワーク、1つまたは複数の会社に所有権がある通信プロトコルを使用するプライベートネットワーク、イーサネット、WiFiおよびHTTPおよび前述のもののさまざまな組合せを含むさまざまな構成およびプロトコルを含み得る。データを、モデムおよび無線インタフェースなどの、他のコンピューティングデバイスにおよび他のコンピューティングデバイスから伝送することができる何らかのデバイスによって、そのような通信は容易になり得る。
[0064] 1つの例では、1つまたは複数のコンピューティングデバイス410は、複数のコンピューティングデバイスを有するサーバ、例えば、他のコンピューティングデバイスからデータを受信して処理し、そこへ伝送するためのネットワークの異なるノードと情報を交換する負荷分散サーバファームを含む場合がある。例えば、1つまたは複数のコンピューティングデバイス410は、車両100の1つまたは複数のコンピューティングデバイス110、または車両100Aの類似のコンピューティングデバイス、ならびにネットワーク460を介するクライアントコンピューティングデバイス420、430、440と通信することができる1つまたは複数のサーバコンピューティングデバイスを含む場合がある。例えば、車両100および車両100Aは、サーバコンピューティングデバイスによってさまざまな場所へ派遣され得る車両の隊列の一部であり得る。この点に関して、車両の隊列は、車両のそれぞれの測位システムによって提供された位置情報をサーバコンピューティングデバイスに定期的に送ることができ、1つまたは複数のサーバコンピューティングデバイスは、車両の場所を追跡することができる。
[0065] さらに、サーバコンピューティングデバイス410は、コンピューティングデバイス420、430、440のディスプレイ424、434、444などのディスプレイ上で、ユーザ422、432、442などのユーザに情報を伝送および提示するためにネットワーク460を使用することができる。この点に関して、コンピューティングデバイス420、430、440は、クライアントコンピューティングデバイスと見なされ得る。
[0066] 図5に示すように、各クライアントコンピューティングデバイス420、430、440は、ユーザ422、432、442によって使用されるように意図されたパーソナルコンピューティングデバイスであってもよく、1つまたは複数のプロセッサ(例えば、中央処理装置(CPU)、データおよび命令を記憶しているメモリ(例えば、RAMおよび内蔵ハードドライブ)、ディスプレイ424、434、444などのディスプレイ(例えば、スクリーン、タッチスクリーンを有するモニタ、プロジェクタ、テレビジョン、または情報を表示するように動作可能である他のデバイス)、およびユーザ入力装置(例えばマウス、キーボード、タッチスクリーン、またはマイクロホン)を含む、パーソナルコンピューティングデバイスに関連して通常使用される構成要素を全て有していてもよい。クライアントコンピューティングデバイスは、ビデオストリームを録画するためのカメラ、スピーカ、ネットワークインターフェースデバイス、およびこれらの要素を相互に接続するために使用される構成要素の全てをさらに含んでいてもよい。
[0067] クライアントコンピューティングデバイス420、430、および440はそれぞれ、標準サイズのパーソナルコンピューティングデバイスを備えている場合もあるが、それらは、インターネットなどのネットワークを通じてサーバと無線でデータをやりとりすることができるモバイルコンピューティングデバイスを代わりに備えていてもよい。一例として挙げるに過ぎないが、クライアントコンピューティングデバイス420は、携帯電話、またはインターネットまたは他のネットワークを介して情報を取得することができる、無線使用可能PDA、タブレットPC、ウェアラブルコンピューティングデバイスまたはシステム、ラップトップ、またはネットブックなどのデバイスであってよい。別の例では、クライアントコンピューティングデバイス430は、図4に示すような「スマートウォッチ」などの、ウェアラブルコンピューティングデバイスであってもよい。一例として、ユーザは、キーボード、キーパッド、多機能入力ボタン、マイクロホン、カメラまたは他のセンサを用いた視覚的信号(例えば、手または他のジェスチャ)、タッチスクリーン等を使用して、情報を入力することができる。
[0068] いくつかの例では、クライアントコンピューティングデバイス440は、ユーザ422および432などのユーザにコンシェルジュサービスを提供するために、管理者によって使用されるコンシェルジュワークステーションであってもよい。例えば、以下でさらに詳細に説明されるように、ユーザ442は、車両100および車両100Aの安全な動作およびユーザの安全を確実にするために、それぞれのクライアントコンピューティングデバイスまたは車両100もしくは車両100Aを通して、ユーザと通話または音声接続を介して通信するのに、コンシェルジュワークステーション440を使用するコンシェルジュである場合がある。一つのコンシェルジュワークステーション440だけが、図4および図5には示されているが、そのようなワークステーションは、典型的なシステムの中にいくつ含まれていてもよい。
[0069] 記憶システム450は、さまざまな種類の情報を記憶することができる。この情報は、本明細書に記載される特徴の一部または全てを行うために、1つまたは複数のサーバコンピューティングデバイス410などの、サーバコンピューティングデバイスによって読み出すこと、または他の方法でアクセスすることができる。例えば、情報は、1つまたは複数のサーバコンピューティングデバイスに対してユーザを識別するのに使用され得る証明書などのユーザーアカウント情報(例えば、従来の1要素認証ならびにランダム識別子、生体認証等などの多要素認証で典型的に使用される他の種類の証明書の場合のようなユーザ名およびパスワード)を含む場合がある。ユーザーアカウント情報は、ユーザ名などの個人情報、連絡先情報、ユーザのクライアントコンピューティングデバイス(または、複数のデバイスが同じユーザーアカウントで使用されている場合には複数のデバイス)の識別情報、ならびにユーザに対する1つまたは複数の一意の信号をさらに含む場合がある。
[0070] メモリ130のように、記憶システム450は、ハードドライブ、メモリカード、ROM、RAM、DVD、CD−ROM、書込み可能メモリおよび読取り専用メモリなどの、サーバコンピューティングデバイス410によってアクセス可能な情報を記憶することができる、どのような種類のコンピュータ化された記憶装置であってもよい。さらに、記憶システム450は、データが、同じまたは異なる地理的位置に物理的に設置され得る複数の異なる記憶デバイス上に記憶される分散型記憶システムを含む場合もある。記憶システム450は、図4に示すようにネットワーク460を介してコンピューティングデバイスに接続されてもよい、および/またはコンピューティングデバイス110、410、420、430、440等のいずれかに直接接続されても、または組み込まれていてもよい。方法例
[0071] 上述され、図に例示された動作の他に、さまざまな動作をこれより説明する。以下の動作は、下記の順序に厳密にしたがって行われる必要はないことを理解されたい。それよりも、さまざまな段階は、異なる順序で、または同時に処理されることができ、さらに、段階は、追加されても、または省略されてもよい。
[0072] 1つの態様では、ユーザは、クライアントコンピューティングデバイスに車両を要請するためのアプリケーションをダウンロードすることができる。例えば、ユーザ422および432は、アプリケーションを、電子メール中のリンクを介して、ウェブサイトまたはアプリケーションストアから直接、クライアントコンピューティングデバイス420および430にダウンロードすることができる。例えば、クライアントコンピューティングデバイスは、ネットワーク上でアプリケーションの要求を、例えば1つまたは複数のサーバコンピューティングデバイス410に伝送し、それに応じて、アプリケーションを受信することができる。アプリケーションは、クライアントコンピューティングデバイスでローカルにインストールすることができる。
[0073] 次いで、ユーザは、自身のクライアントコンピューティングデバイスを使用してアプリケーションにアクセスして、車両を要請することができる。一例として、ユーザ432などのユーザは、クライアントコンピューティングデバイス430を使用して、1つまたは複数のサーバコンピューティングデバイス410に車両の要請を送信することができる。要請は、ピックアップ場所もしくは区域、および/または行き先場所もしくは区域を識別する情報を含んでもよい。それに応じて、1つまたは複数のサーバコンピューティングデバイス410は、例えば利用可能性および場所に基づいて、車両を識別して、ピックアップ場所へ派遣することができる。この派遣は、車両をユーザ(および/またはユーザのクライアントコンピューティングデバイス)に割り当てるために、ユーザ(および/またはユーザのクライアントデバイス)、ピックアップ場所、および行き先場所もしくは区域を識別する情報を車両に送信することが含まれ得る。
[0074] 車両100が、車両を派遣する情報を受信すると、車両の1つまたは複数のコンピューティングデバイス110は、上述したさまざまな特徴を使用して、車両をピックアップ場所まで操縦することができる。ユーザ、ここでは乗客が、安全に車両内に入ると、コンピューティングデバイス110は、行き先場所までのルートに沿って自律的に車両を制御するのに必要なシステムを始動することができる。例えば、経路指定システム168は、データ134の地図情報を使用して、地図情報のひと続きの車線部分をたどる行き先場所までの通路または経路を決定することができる。次いで、コンピューティングデバイス110は、行き先に向かって経路に沿って、上記の通り車両を自律的に(または自律運転モードで)操縦することができる。
[0075] 図6は、図2Aおよび図2Bの地図情報で画定された車道の区分に対応する車道の区分の例示的図である。例えば、図6は、車線210、212、214、216に対応する車線610、612、614、616、ならびに駐車場230に対する入口/出口区域220に対応する駐車場630に対する入口/出口区域620を含む。図6は、車線境界線240、242に対応する車線境界線640、642、中央区域250に対応する中央区域650、および縁石260、262、264に対応する縁石660、662、664をさらに含む。この例では、車両100は、駐車場630の入口/出口区域620に接近しながら、車線610を走行している。
[0076] 車両が上記のように運転されるとき、認識システムは、車両の周囲で検出した物体に関する情報を、車両のコンピューティングデバイスに提供する。この点に関して、物体に対応する一連のデータ点が、認識システムから車両のコンピューティングデバイスによって受信され得る。例えば、車両100が車両690に接近するとき、認識システム172は、センサを経由して、車両690を含む、車両100の周囲区域についての情報を生成することができる。車両690に関して、この情報は、例えば、車両690の場所、方位、速度、形状等を含む場合がある。この情報は、認識システム172によって検出された物体の形状および場所を識別する離散値および/または未加工のセンサデータとして受信され得る。次に図7を見ると、一例として、認識システム172は、認識システムのレーザでの単一の走査または掃引の間に認識システム172によって検出された車両690の部分に対応する場所および強度情報を含むレーザデータ790(ここでは図6の例の上にオーバレイされている)を、コンピューティングデバイス110に提供する場合がある。一例として、単一の走査は、レーザの視野を通る1回の通過に対応し得る。
[0077] 受信されたデータを使用することで、コンピューティングデバイスは、所与の物体に関する一連のデータ点に最も近い地図情報の車線の中央点(または線)を識別することができる。一例として、コンピューティングデバイス110は、車両周辺の区域における車線の形状および場所ならびに車線に対する中央点の場所を識別する地図情報を読み出すことができる。一連のデータ点の場所は、まとめて平均化され、この平均場所は、車線(または駐車場)に対する最も近い中央点を識別するために使用され得る。物体が車線内に、またはその近くにいる場合、最も近い中央点は、車線内の中央点であり得る。例えば、図8は、データ790ならびに(図6の車線610および612に対応する)車線210および車線212の部分を含む地図情報の部分の詳細図である。加えて、図8は、(車線210の)中央線270および(車線212の)中央線272のオーバレイを含む。ここでは、円890は、データ790に対応する物体(ここでは車両690)の平均場所または推定場所を表す。見て分かるように、円890は、地図情報の他のどの中央線よりも中央線270に最も近い。図8の部分の(データ790のない)詳細図である図8を参照すると、基準線910は、円890と中央線272との間の最短距離を表し、したがって、点920は、円890の場所に最も近い中央線270上の中央点を表している。言うまでもなく、物体が、駐車場内に、またはその近くにいる場合、最も近い中央点は、駐車場内の中央線上の中央点であり得る。
[0078] この最も近い中央点は、次いで、表現を生成するために使用される一連のデータ点に対する基準点になり得る。これに関して、点920は、データ790を平滑化するための基準点の場所を表している。
[0079] 上記したように、地図情報の中で識別される基準点および関連車線(または駐車場)情報は、一連のデータ点の特性を調整することによって、幅、方位、および位置などの表現の特性を生成するために使用することができる。加えて、平均場所が、基準点に近いほど、基準点は、表現の特性に対する調整または影響が大きくなり得る。したがって、調整は、円890および点920によって表される場所の間の距離、または基準線910の長さに基づいて行うことができる。このことにより、同じ物体に関して生成された経時的に異なる表現が、非常により滑らかに動くように見えるようになり得る。
[0080] 基準点での車線または駐車場の幅は、表現に対する幅を決定するために使用することができる。この点に関して、コンピューティングデバイスは、物体が、車線の幅よりも車線を横切る幅が狭いと仮定することができる。一例として、第1の幅は、中央点の場所での車線(または駐車場)の実際の幅、車線(または駐車場)の平均幅、または1メートル未満(またはより長いまたはより短い)車線(または駐車場)に対する平均幅もしくはデフォルト幅値に設定される場合がある。図10を参照すると、車線210の幅は、基準線1010の長さに対応した縁石262と車線境界線280との間の距離として決定することができる。したがって、基準線1010の長さは、第1の幅であり得る。この距離は、リアルタイムに決定される場合があり、または詳細な地図情報(利用可能な場合)から読み出される場合もある。
[0081] 物体の第2の幅は、一連のデータ点から決定され得る。例えば、この第2の幅は、一連のデータ点を生成する車両の認識システムのセンサ、例えばLIDARまたはレーザの観点から、物体の最も広い幅であり得る。図8を参照すると、データ790の幅は、車両100のレーザの観点から、データ点の間の最大距離になり得るので(図7を参照)、データ点810とデータ点820との間の距離、または基準線830の長さに対応し得る。したがって、この距離が、第2の幅になる。
[0082] 第2の幅は、平均場所の代表点への近接性に基づいて、第1の幅および第2の幅を結合してまとめることで、表現の幅を決定するために「調整」され得る。一例として、第1の幅および第2の幅は、平均場所と代表点との間の距離と、最大距離値とに基づいて混合量を使用して、結合してまとめることができる。以下は、混合量を決定するための例示的等式である:mix_amount=distance_to_representative_point/maximum distance value、上式において、distance_to_representative_pointは、平均場所と代表点との間の距離である。maximum_distance_value、すなわち最大距離値は、中央点の場所での車線(または駐車場)の実際の幅の半分、車線(または駐車場)の平均幅の半分、または1メートル未満(またはより長いまたはより短い)車線(または駐車場)に対する平均幅もしくはデフォルト幅値の半分を表す値に対応することができる。
[0083] 上記したように、混合量、第1の幅、および第2の幅は、表現の幅を決定するために、使用することができる。以下は、表現の幅を決定するための例示的等式である:width_of_the_representation=first_width(1−mix_amount)+second_widthmix_amount、上式において、first_widthは、第1の幅であり、second_widthは、第2の幅である。この点に関して、平均場所が、代表点と同じである(基準線910の長さがゼロである)とき、表現の幅は、第1の幅になる。平均場所と代表点との間の距離が増大するとき、混合値は、増大し、それによって、代表点までの距離が、最大距離値と等しくなるまで、第2の幅が表現の幅へ及ぼす影響が増大し、表現の幅は、第2の幅に設定される。この点に関して、代表点までの距離が、最大距離値の半分であるとき、第1の幅および第2の幅のそれぞれからの50%の寄与が、表現の幅として設定されることになる。代表点までの距離が、最大距離値より大きい場合、後述するように、異なる車線に対する異なる、より近い代表点を、表現の幅を決定するために使用することができる、または表現の幅は、第2の幅に単純に設定することができる。
[0084] 図10の例を参照すると、表現の幅は、基準線830の長さに設定されている。平均場所が、代表点からより遠い(基準線910の長さがゼロより大きい)とき、第2の幅が、表現の幅に及ぼす影響がより大きくなり得る。したがって、平均場所が、代表点からとても遠い(基準線910の長さが最大距離値である、またはそれに近い)とき、第2の幅が、表現の幅として設定される。この点に関して、円890の場所が、中央線270から離れる方に移動するとき、基準線1010の長さは、幅の組合せに、ひいては、表現の幅に及ぼす影響がより大きくなることになる。円890の場所が、代表点から最大距離値にあるとき、第1の幅および第2の幅の組合せは、結果として第2の幅、または基準線1010の長さになる。したがって、基準線1010の長さが、表現の幅として設定されることになる。このようにして表現の幅を設定することで、同じ物体に対して生成された表現の間のサイズのずれを低減する、または防ぐことができる。
[0085] 表現に対する方位は、地図情報、具体的には基準点の車線の進行方向を使用して、決定することができる。一例として、第1の方位は、基準点と関連付けられた車線の進行方向から決定することができる。図10を参照すると、矢印1020は、詳細な地図情報の中に含まれるように車線210の方位を表し、したがって、車線610の方位に対応している。第2の方位は、短期間の間、同じ物体に対する一連の点を観察することによって、または物体のカメラ画像を分析することによって決定することができる。
[0086] 幅の例のように、第2の方位は、平均場所の代表点への近接性、むしろ上述した例では基準線910の長さに基づいて、第1の方位および第2の方位を結合してまとめることで、表現の方位を決定するために「調整」され得る。一例として、第1の方位および第2の方位は、平均場所と代表点との間の距離と、最大距離値とに基づいて混合量を使用して、結合してまとめることができる。さらに、以下は、混合量を決定するための例示的等式である:mix_amount=distance_to_representative_point/maximum distance value。
[0087] 上記したように、混合量、第1の方位、および第2の方位は、表現の方位を決定するために使用することができる。以下は、表現の方位を決定するための例示的等式である:orientation_of_the_reprentation=first_orientation(1−mix_amount)+second_orientationmix_amount、上式において、first_orientationは、第1の方位であり、second_orientationは、第2の方位である。この点に関して、平均場所が、代表点と同じであるとき、表現の方位は、第1の方位になる。平均場所と代表点との間の距離が増大するとき、混合値は、増大し、それによって、代表点までの距離が、最大距離値と等しくなるまで、第2の方位が表現の方位へ及ぼす影響が増大し、表現の方位が、第2の方位に設定される。この点に関して、代表点までの距離が、最大距離値の半分である時、第1の方位および第2の方位のそれぞれからの50%の寄与が、表現の方位として設定されることになる。代表点までの距離が、最大距離値より大きい場合、後述するように、異なる車線に対する異なる、より近い代表点を、表現の方位を決定するために使用することができる、または表現の方位は、第2の方位に単純に設定することができる。このことは、同じ物体に関して生成された表現の間で、大きな回転を低減するまたは防ぐことができる。
[0088] 加えて、表現の位置は、基準点を含む地図情報を使用して、決定することができる。一例として、第1の位置は、基準点の位置である可能性がある。第2の位置は、平均場所である可能性がある。幅および方位の例と同様に、第1の位置および第2の位置は、平均場所の代表点への近接性に基づいて、表現の位置を決定するために、結合してまとめることができる。一例として、第1の位置および第2の位置は、平均場所および代表点の間の距離と、最大距離値とに基づいて混合量を使用して、結合してまとめることができる。さらに、以下は、混合量を決定するための例示的等式である:mix_amount=distance_to_representative_point/maximum distance value。
[0089] 上記したように、混合量、第1の位置、および第2の位置を使用して、表現の位置を決定することができる。以下は、表現の位置を決定するための例示的等式である:position_of_the_reprentation=first_position(1−mix_amount)+second_positionmix_amount、上式において、first_positionは、第1の位置であり、second_positionは、第2の位置である。この点に関して、平均場所が、代表点と同じであるとき、表現の位置は第1の位置になる。平均場所と代表点との間の距離が増大するとき、混合値は、増大し、それによって、代表点までの距離が、最大距離値と等しくなるまで、第2の位置が表現の位置へ及ぼす影響が増大し、表現の位置が、第2の位置に設定される。この点に関して、代表点までの距離が、最大距離値の半分である時、第1の位置および第2の位置のそれぞれからの50%の寄与が、表現の位置として設定されることになる。代表点までの距離が、最大距離値より大きい場合、後述するように、異なる車線に対する異なる、より近い代表点を、表現の位置を決定するために使用することができる、または表現の位置は、第2の位置に単純に設定することができる。このことは、同じ物体に関して生成された表現の間で、大きな横方向のずれを低減するまたは防ぐことができる。
[0090] 表現に関する特性が上記のように決定されると、表現は、車両の1人または複数の乗客に表示され得る。例えば、表現は、内部電子ディスプレイ152または別のディスプレイ上に表示される場合がある。さらに、これらの特性は、乗客への表示用に調整されるが、特性は、車両および乗客の安全のために、車両を操縦する目的で調整されるべきではない。
[0091] 多くの場合、物体は、実際には、動いて車線または駐車場から外に出ることがある。この場合、上記したように、車線または駐車場に対する代表点が、物体の形状(長さ、幅等)、方位、および位置に及ぼす影響は、次第に少なくなる。言うまでもなく、物体の一連のデータ点の平均場所が、動いて別の中央点により近づくとき、この新しい中央点は、上記のように、表現を生成するための基準点になり得る。加えて、1つの車線に対する平均場所と中央点との間の距離が、最大距離値より大きくなる場合、その中央点は、代表点としてもはや使用され得ない。例えば、図11は、車線210および212に沿って(1110から1150まで順々に)経時的に動いている物体に関する一連のデータ点の平均場所に対応する円1110、1120、1130、1140、1150を描写している車線210および212の図である。見て分かるように、円1110は、中央線270に近接している物体に対応している。円1110と円1120との間で、物体は、中央線270を越え、その後、円1130で示すように、車線境界線240に向かって動いている。平均場所が中央線270から離れて動くとき(円1120から円1130まで、最終的には円1140まで)、中央線270上の対応する基準点は、物体の表現の特性にそれほど影響を及ぼさないであろう。円1140では、中央線270と中央線272の中間で、対応する基準点は、特性には影響を及ぼさない。換言すれば、第2の幅、第2の方位、および第2の位置は、表現の幅、方位、および位置として設定され得る、というより、そうした特性は、(上記のように)円ごとに一連のデータ点から決定された特性に単純に対応することができる。この点に関して、異なる車線間での表現の移行は、はるかに滑らかに見えるようになる。さらに上記したように、円1140および1150のように、物体が動いて中央線272に近づくほど、中央線272上の対応する基準点が基準点の特性に及ぼす影響は、大きくなる。
[0092] 地図情報が、上述した中央点または車線情報を含まない場合には、表現に対する幅、方位、および位置値は、上記のように一連のデータ点から決定され得る。
[0093] いくつかの例では、表現は、以前に観察された情報に基づいて生成されることもできる。例えば、表現の長さまたは幅は、以前の一連のデータ点の、以前に決定された長さまたは幅から決定することができる。一例として、バスまたはトレーラトラクタなどの大型の物体の長さは、物体の方位(実際には、第2の方位または一連のデータ点から決定された方位)と物体との間の相対的な位置が変化するために、ずれているように見えることがある。換言すれば、車両が、物体のすぐ後にいて、物体の後端部だけを見ているとき、一連のデータ点は、物体の隣辺からのデータ点を、あったとしても、わずかしか含まない。したがって、物体は、それが、バスまたはトレーラトラクタなどの非常に長い物体であっても、非常に短い物体であるように見える可能性がある。車両の方位が変わる、または物体が向きを変えるとき、車両の方位と物体の後端部との間の角度は、増大し、一連のデータ点は、物体の隣辺からのより多くの点を含むことができ、したがって、物体の長さについてのより多くの情報を提供する。同様に、車両と物体との間の角度が減少するとき、一連のデータ点は、物体の隣辺からのより少ない点を含むことになる。これにより、物体の表現が、短期間の間に、サイズが変化して見えるようなり、したがって、車両のコンピューティングデバイスが、物体をバスまたはトレーラトラクタとして完全に検出していない、または識別していないという印象を乗客に与える可能性がある。
[0094] 以前の一連のデータ点からの、以前の長さまたは幅の寸法を表現の長さまたは幅として使用することにより、上記のように表現の長さまたは幅が、劇的に変化する可能性を低減することができる。
[0095] 以前の一連のデータ点の中の、以前の長さまたは幅の寸法を使用するどうかは、現在の一連のデータ点の長さまたは幅が「信頼できる」かどうかに基づき得る。物体の辺に関するデータ点の数が比較的少ない(すなわち、閾値を満たさない)、または辺の角度幅(車両のレーザまたは進行方向と辺との間の角度)が、最小閾値を満たさない物体の辺の長さまたは幅の寸法は、「信頼できる」とはなり得ない。この点に関して、コンピューティングデバイス100は、一連のデータ点から、物体の長さまたは幅の角度幅を決定することができる。一連のデータ点の中の物体の長さの角度幅が、1度未満、それより大きい、もしくは小さい、またはゼロなどの、最小閾値を満たさない場合、幅は、「信頼できる」値であり得ない。これに関して、以前の「信頼できる」幅は、表現の幅として使用することができる。同様に、一連のデータ点の中の物体の長さの角度幅が、1度以上、またはそれより大きい、もしくは小さいなどの、最小閾値より大きい場合、長さは、「信頼できる」値であり得る。これに関して、「信頼できる」長さは、表現の幅として使用することができる。言うまでもなく、物体の幅に関しても、同じことが言える。
[0096] そのうえ、(現在の一連のデータ点の中の)物体の現在の幅が、「信頼できる」ものではない場合には、以前の「信頼できる」幅が、第1の幅として設定され得る。この点に関して、表現の幅は、上記のように、この(第1の幅としての)以前の幅および第2の幅の組合せに基づいて決定することができる。
[0097] 例えば、図12を見ると、バス1200は、駐車場630に対する入口/出口区域620から車線610に出ようとしている。この例では、認識システムのレーザによって生成されたバスに対する一連のデータ点は、長辺1210および短辺1212の両方を含む。したがって、この時点では、長辺1210および短辺1212の両方に関する角度幅は、比較的大きい(すなわち1度より大きい)。したがって、一連のデータ点の長さおよび幅が「信頼できる」ことになるので、表現の長さおよび幅は、一連のデータ点の長さおよび幅に設定することができる。
[0098] 図13では、バス1200は、車線610にさらに進んでおり、短辺1212とレーザとの間の角度は減少しているが、長辺1210および短辺1212は両方共に、車両のレーザにとって依然として可視的である。したがって、この時点では、長辺1210および短辺1212両方での角度幅は、比較的大きい(すなわち1度より大きい)。したがって、一連のデータ点の長さおよび幅が「信頼できる」ことになるので、表現の長さおよび幅は、一連のデータ点の長さおよび幅に設定することができる。
[0099] 図14では、バス1200は、車線610に完全に入っている。この時点では、長辺側1210の角度幅は、ほぼゼロに近い。したがって、たとえあったとしても、長辺1210に対応する一連のデータ点の中のデータ点は、ごくわずかである。よって、図14の長辺1210の長さは、「信頼できる」ものではないことになる。その関連で、図14の例から生成された一連のデータ点に基づいて生成された表現は、バスより大幅に短い物体であるように見えることになる。この例では、両方とも「信頼できる」ものであった、図13の例の時、または図12の例の時に生成された一連のデータ点から決定されたバス1210の長さは、図14の例ではベースとなる表現を生成するために使用され得る。したがって、物体の表現の長さは、車両の乗客にとっては、経時的により一貫性を有しているように見える。
[0100] 図15は、車両の認識システムによって検出された物体の表現を生成するために、それに従って、車両100のコンピューティングデバイス110などの、車両の1つまたは複数のコンピューティングデバイスの1つまたは複数のプロセッサによって行われることができる例示的流れ図1500である。この例では、ブロック1510では、一連のデータ点が、認識システムから受信される。データ点は、レーザセンサのレーザでの掃引の間に検出された物体に対応している。ブロック1520では、車線の形状および場所、ならびに車線に対する中央点の場所を識別する地図情報が、読み出される。ブロック1530では、中央点の代表点が、一連のデータ点に基づいて選択される。ブロック1540では、第1の位置が、代表点の場所に基づいて決定される。ブロック1550では、第2の位置が、一連のデータ点に基づいて決定される。ブロック1560では、第1の位置と第2の位置との距離に基づいて物体の表現に対する第3の位置を決定するために、第1の位置および第2の位置が、使用される。ブロック1570では、物体の表現が、第3の位置を使用して生成される。ブロック1580では、物体の表現が、車両のディスプレイ上に表示される。
[0101] 特に明記しない限り、前述の代替例は、相互排除的ではないが、一意的な利点を実現するために、さまざまに組み合せて実装することができる。上述した特徴のこれらの変型例および組合せ、および他の変型例および組合せは、特許請求の範囲によって画定される主題を逸脱しないかぎり、利用することができるので、実施形態についての前述の説明は、特許請求の範囲によって画定される主題を限定するものとしてではなく、例証として見なされなければならない。加えて、本明細書に記載された例、ならびに「などの」、「含む」、および同種のもののように言い表す句が提示されているが、特許請求の範囲の主題を具体的な例に限定するものとして解釈されてはならず、むしろ、それらの例は、多くの可能な実施形態の1つを例示することを目的としているにすぎない。さらに、異なる図面の中の同じ参照番号は、同じまたは類似の要素を識別することができる。
産業用適用性
[0102] 本明細書に記載される技術は、例えば、自律走行車両、およびリアルタイムに収集されたセンサデータを使用して、車両の周囲で検出された物体の視覚的表現を生成することの分野などで、広範囲にわたる産業上の適用性を享受するものである。

Claims (20)

  1. 車両の認識システムによって検出された物体の表現を生成するための方法であって、
    1つまたは複数のプロセッサによって、一連のデータ点の中のデータ点が、レーザセンサのレーザで掃引する間に検出された物体に対応している、前記一連のデータ点を前記認識システムから受信することと、
    前記1つまたは複数のプロセッサによって、車線の形状および場所、ならびに前記車線に関する中央点の場所を識別する地図情報を読み出すことと、
    前記1つまたは複数のプロセッサによって、前記一連のデータ点に基づいて前記中央点の代表点を選択することと、
    前記1つまたは複数のプロセッサによって、前記代表点の前記場所に基づいて第1の位置を決定することと、
    前記1つまたは複数のプロセッサによって、前記一連のデータ点に基づいて第2の位置を決定することと、
    前記1つまたは複数のプロセッサによって、前記第1の位置と前記第2の位置との距離に基づいて、前記物体の前記表現に対する第3の位置を決定するために、前記第1の位置および前記第2の位置を使用することと、
    前記1つまたは複数のプロセッサによって、前記第3の位置を使用して、前記物体の前記表現を生成することと、
    前記1つまたは複数のプロセッサによって、前記車両のディスプレイ上に前記物体の前記表現を表示することと
    を含む方法。
  2. 前記距離が、第1の距離であるとき、前記第1の位置が、前記第3の位置への第1の寄与を有し、前記距離が、前記第1の距離より大きい第2の距離であるとき、前記第2の位置が、前記第1の寄与より大きい、前記第3の位置への第2の寄与を有するように、前記第1の位置および前記第2の位置が使用される、請求項1に記載の方法。
  3. 前記地図情報が、前記車線に対する進行方向を識別する進行方向情報をさらに含み、
    前記代表点と関連付けられる前記車線の前記進行方向に基づいて第1の方位を決定することと、
    前記一連のデータ点に基づいて第2の方位を決定することと、
    前記距離に基づいて前記物体の前記表現に対する第3の方位を決定するために、前記第1の方位および前記第2の方位を結合し、前記物体に関する前記表現が前記第3の位置を使用して生成されることと
    をさらに含む、請求項1に記載の方法。
  4. 前記距離が、第1の距離であるとき、前記第1の方位が、前記第3の方位への第1の寄与を有し、前記距離が、前記第1の距離より大きい第2の距離であるとき、前記第2の方位が、前記第1の寄与より大きい、前記第3の位置への第2の寄与を有するように、前記第1の方位および前記第2の方位が、使用される、請求項3に記載の方法。
  5. 前記代表点と関連付けられる前記車線の幅に基づいて第1の幅を決定することと、
    前記一連のデータ点に基づいて第2の幅を決定することと、
    前記距離に基づいて前記物体の前記表現に対する第3の幅を決定するために、前記第1の幅および前記第2の幅を結合し、前記物体に関する前記表現が、前記第3の幅を使用して生成されることと
    をさらに含む、請求項1に記載の方法。
  6. 前記距離が、第1の距離であるとき、前記第1の幅が、前記第3の幅への第1の寄与を有し、前記距離が、前記第1の距離より大きい第2の距離であるとき、前記第2の幅が、前記第1の寄与より大きい、前記第3の幅への第2の寄与を有するように、前記第1の幅および前記第2の幅が、結合される、請求項5に記載の方法。
  7. 前記一連のデータ点を受信する前に、前記レーザでの前記掃引より前の、前記レーザでの第1の掃引の間に検出された前記物体に対応する、以前の一連のデータ点を受信することと、
    前記以前の一連のデータ点に基づいて長さを決定することと、
    前記物体の前記表現が、前記長さにさらに基づいて生成されることと
    をさらに含む、請求項1に記載の方法。
  8. 前記長さが、さらに、前記レーザの観点から前記長さに対応する前記物体の辺の角度幅に基づいて決定される、請求項7に記載の方法。
  9. 前記長さが、さらに、前記角度幅が最小閾値の角度幅値より小さいかどうかに基づいて決定される、請求項8に記載の方法。
  10. 車両の認識システムによって検出された物体の表現を生成するためのシステムであって、
    一連のデータ点の中のデータ点が、レーザセンサのレーザで掃引する間に検出された物体に対応している、前記一連のデータ点を前記認識システムから受信し、
    車線の形状および場所、ならびに前記車線に関する中央点の場所を識別する地図情報を読み出し、
    前記一連のデータ点に基づいて前記中央点の代表点を選択し、
    前記代表点の前記場所に基づいて第1の位置を決定し、
    前記一連のデータ点に基づいて第2の位置を決定し、
    前記第1の位置と前記第2の位置との距離に基づいて前記物体の前記表現に対する第3の位置を決定するために、前記第1の位置および前記第2の位置を使用し、
    前記第3の位置を使用して前記物体の前記表現を生成し、そして
    前記車両のディスプレイ上に前記物体の前記表現を表示する
    ように構成される1つまたは複数のプロセッサ
    を含むシステム。
  11. 前記車両をさらに含む、請求項10に記載のシステム。
  12. 前記距離が、第1の距離であるとき、前記第1の位置が、前記第3の位置への第1の寄与を有し、前記距離が、前記第1の距離より大きい第2の距離であるとき、前記第2の位置が、前記第1の寄与より大きい、前記第3の位置への第2の寄与を有するように、前記第1の位置および前記第2の位置が、使用される、請求項10に記載のシステム。
  13. 前記地図情報が、前記車線に対する進行方向を識別する進行方向情報をさらに含み、前記1つまたは複数のプロセッサが、
    前記代表点と関連付けられる前記車線の前記進行方向に基づいて第1の方位を決定し、
    前記一連のデータ点に基づいて第2の方位を決定し、そして
    前記距離に基づいて前記物体の前記表現に対する第3の方位を決定するために、前記第1の方位および前記第2の方位を結合し、前記物体に関する前記表現が、前記第3の位置を使用して生成される
    ようにさらに構成される、請求項10に記載のシステム。
  14. 前記距離が、第1の距離であるとき、前記第1の方位が、前記第3の方位への第1の寄与を有し、前記距離が、前記第1の距離より大きい第2の距離であるとき、前記第2の方位が、前記第1の寄与より大きい、前記第3の方位への第2の寄与を有するように、前記第1の方位および前記第2の方位が、使用される、請求項13に記載のシステム。
  15. 前記1つまたは複数のプロセッサが、
    前記代表点と関連付けられる前記車線の幅に基づいて第1の幅を決定し、
    前記一連のデータ点に基づいて第2の幅を決定し、
    前記距離に基づいて前記物体の前記表現に対する第3の幅を決定するために、前記第1の幅および前記第2の幅を結合し、前記物体に関する前記表現が、前記第3の幅を使用して生成される
    ようにさらに構成される、請求項10に記載のシステム。
  16. 前記距離が、第1の距離であるとき、前記第1の幅が、前記第3の幅への第1の寄与を有し、前記距離が、前記第1の距離より大きい第2の距離であるとき、前記第2の幅が、前記第1の寄与より大きい、前記第3の幅への第2の寄与を有するように、前記第1の幅および前記第2の幅が、結合される、請求項15に記載のシステム。
  17. 前記1つまたは複数のプロセッサが、
    前記一連のデータ点を受信する前に、前記レーザでの前記掃引より前の、前記レーザでの第1の掃引の間に検出された前記物体に対応する、以前の一連のデータ点を受信し、
    前記以前の一連のデータ点に基づいて長さを決定し、
    前記物体の前記表現が、前記長さにさらに基づいて生成される
    ようにさらに構成される、請求項10に記載のシステム。
  18. 車両の認識システムによって検出された物体の表現を生成するための方法であって、
    1つまたは複数のプロセッサによって、一連のデータ点の中のデータ点が、レーザセンサのレーザで掃引する前に検出された物体に対応している、前記一連のデータ点を前記認識システムから受信することと、
    前記一連のデータ点から前記物体の場所を決定することと、
    前記場所に最も近い交通車線の中央点を識別するために、交通車線の中央点を識別する地図情報にアクセスすることと、
    前記識別された中央点と前記物体の前記場所との間の距離に基づいて前記物体の前記表現に対する場所を決定することと、
    前記1つまたは複数のプロセッサによって、前記物体の前記表現に対する前記場所に基づいて前記車両のディスプレイ上に前記物体の前記表現を表示することと
    を含む方法。
  19. 前記地図情報が、前記車線に対する進行方向を識別する進行方向情報をさらに含み、
    前記一連のデータ点に基づいて前記物体の方位を決定することと、
    前記物体の前記方位、および前記識別された中央点と前記物体の前記場所との間の前記距離に基づいて、前記物体の前記表現に対する方位を決定することと
    をさらに含み、
    前記表現を表示することが、さらに、前記表現に対する前記方位に基づいている、請求項18に記載の方法。
  20. 前記一連のデータ点に基づいて前記物体の幅を決定することと、
    前記物体の前記幅、および前記識別された中央点と前記物体の前記場所との間の前記距離に基づいて、前記物体の前記表現に対する幅を決定することと
    をさらに含み、
    前記表現を表示することが、さらに、前記表現に対する前記幅に基づいている、請求項18に記載の方法。
JP2019516482A 2016-11-14 2017-11-08 センサデータから得られた物体の地図情報を使用した平滑化 Active JP6839269B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US15/350,473 US11112237B2 (en) 2016-11-14 2016-11-14 Using map information to smooth objects generated from sensor data
US15/350,473 2016-11-14
PCT/US2017/060554 WO2018089435A2 (en) 2016-11-14 2017-11-08 Using map information to smooth objects generated from sensor data

Publications (2)

Publication Number Publication Date
JP2020502609A true JP2020502609A (ja) 2020-01-23
JP6839269B2 JP6839269B2 (ja) 2021-03-03

Family

ID=60473643

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2019516482A Active JP6839269B2 (ja) 2016-11-14 2017-11-08 センサデータから得られた物体の地図情報を使用した平滑化

Country Status (6)

Country Link
US (2) US11112237B2 (ja)
EP (2) EP3839438A3 (ja)
JP (1) JP6839269B2 (ja)
KR (1) KR102210140B1 (ja)
CN (1) CN109952491B (ja)
WO (1) WO2018089435A2 (ja)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10262234B2 (en) * 2017-04-24 2019-04-16 Baidu Usa Llc Automatically collecting training data for object recognition with 3D lidar and localization
JP6845117B2 (ja) * 2017-10-18 2021-03-17 株式会社Soken 移動物体認識装置
DE102018209607A1 (de) * 2018-06-14 2019-12-19 Volkswagen Aktiengesellschaft Verfahren und Vorrichtung zum Bestimmen einer Position eines Kraftfahrzeugs
WO2020132952A1 (en) * 2018-12-26 2020-07-02 Baidu.Com Times Technology (Beijing) Co., Ltd. Polynomial-fit based reference line smoothing method for high speed planning of autonomous driving vehicles
US10769948B2 (en) * 2018-12-27 2020-09-08 Industrial Technology Research Institute Parking spot detection system and method thereof
US11967106B2 (en) 2019-12-27 2024-04-23 Motional Ad Llc Object tracking supporting autonomous vehicle navigation

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002002425A (ja) * 2000-06-15 2002-01-09 Mazda Motor Corp 車両用表示装置
JP2003281699A (ja) * 2002-03-25 2003-10-03 Nissan Motor Co Ltd 走路上反射物の物体種類判定方法
JP2004237885A (ja) * 2003-02-06 2004-08-26 Nissan Motor Co Ltd 車両用走行制御装置
JP2005145187A (ja) * 2003-11-13 2005-06-09 Nissan Motor Co Ltd 車両用走行制御装置
JP2015210720A (ja) * 2014-04-28 2015-11-24 トヨタ自動車株式会社 運転支援装置

Family Cites Families (31)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
AU641315B2 (en) * 1991-04-11 1993-09-16 Honda Giken Kogyo Kabushiki Kaisha System for detecting the position of moving body
CA2140164A1 (en) * 1994-01-27 1995-07-28 Kenneth R. Robertson System and method for computer cursor control
US5793310A (en) * 1994-02-04 1998-08-11 Nissan Motor Co., Ltd. Portable or vehicular navigating apparatus and method capable of displaying bird's eye view
JP3545839B2 (ja) * 1995-06-09 2004-07-21 株式会社ザナヴィ・インフォマティクス 現在位置算出装置
US5964822A (en) * 1997-08-27 1999-10-12 Delco Electronics Corp. Automatic sensor azimuth alignment
DE60119403T2 (de) * 2000-02-14 2007-04-19 Matsushita Electric Industrial Co., Ltd., Kadoma Vorrichtung und Verfahren zum Ändern von Karteninformationen
US20050149251A1 (en) * 2000-07-18 2005-07-07 University Of Minnesota Real time high accuracy geospatial database for onboard intelligent vehicle applications
US6549846B1 (en) 2000-11-21 2003-04-15 Trimble Navigation Limited Accurate vehicle navigation
US6888622B2 (en) * 2002-03-12 2005-05-03 Nissan Motor Co., Ltd. Method for determining object type of reflective object on track
CN101641610A (zh) * 2007-02-21 2010-02-03 电子地图北美公司 用于包含绝对及相对坐标的车辆导航及领航的系统及方法
US8890951B2 (en) * 2008-04-24 2014-11-18 GM Global Technology Operations LLC Clear path detection with patch smoothing approach
US8055445B2 (en) 2008-09-24 2011-11-08 Delphi Technologies, Inc. Probabilistic lane assignment method
JP5152677B2 (ja) * 2009-02-26 2013-02-27 アイシン・エィ・ダブリュ株式会社 ナビゲーション装置及びナビゲーション用プログラム
DE102009020328A1 (de) * 2009-05-07 2010-11-11 Bayerische Motoren Werke Aktiengesellschaft Verfahren zur Darstellung von unterschiedlich gut sichtbaren Objekten aus der Umgebung eines Fahrzeugs auf der Anzeige einer Anzeigevorrichtung
DE102009020300A1 (de) 2009-05-07 2010-11-11 Bayerische Motoren Werke Aktiengesellschaft Verfahren zur Darstellung von zumindest teilweise automatisch erkannter Umgebung eines Fahrzeugs auf der Anzeige einer Anzeigevorrichtung
JP5787485B2 (ja) 2010-03-08 2015-09-30 Toa株式会社 監視装置、及びプログラム
US9013634B2 (en) * 2010-09-14 2015-04-21 Adobe Systems Incorporated Methods and apparatus for video completion
PT2450865E (pt) * 2010-11-04 2013-04-18 Kapsch Trafficcom Ag Dispositivos e métodos de controlo móveis para veículos
US20130141520A1 (en) * 2011-12-02 2013-06-06 GM Global Technology Operations LLC Lane tracking system
US20130197736A1 (en) 2012-01-30 2013-08-01 Google Inc. Vehicle control based on perception uncertainty
DE102012001950A1 (de) 2012-02-02 2013-08-08 Daimler Ag Verfahren zum Betreiben einer Kameraanordnung für ein Fahrzeug und Kameraanordnung
WO2013145554A1 (ja) * 2012-03-29 2013-10-03 パナソニック株式会社 画像処理装置及び画像処理方法
KR20190125517A (ko) * 2013-04-11 2019-11-06 웨이모 엘엘씨 차량 온보드 센서들을 사용하여 날씨 상태들을 검출하는 방법들 및 시스템들
JP6096626B2 (ja) * 2013-09-20 2017-03-15 株式会社東芝 計測支援装置、方法及びプログラム
TWI503560B (zh) 2013-12-25 2015-10-11 財團法人工業技術研究院 移動車輛定位校正方法與裝置
US9098754B1 (en) 2014-04-25 2015-08-04 Google Inc. Methods and systems for object detection using laser point clouds
US9959624B2 (en) * 2014-12-22 2018-05-01 Volkswagen Ag Early detection of turning condition identification using perception technology
KR101750876B1 (ko) * 2015-05-28 2017-06-26 엘지전자 주식회사 차량용 디스플레이 장치 및 차량
US9734455B2 (en) * 2015-11-04 2017-08-15 Zoox, Inc. Automated extraction of semantic information to enhance incremental mapping modifications for robotic vehicles
US9987983B2 (en) * 2016-02-11 2018-06-05 GM Global Technology Operations LLC Parking assist system for a vehicle and method of using the same
JP6606472B2 (ja) * 2016-07-04 2019-11-13 株式会社Soken 走路形状認識装置、走路形状認識方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002002425A (ja) * 2000-06-15 2002-01-09 Mazda Motor Corp 車両用表示装置
JP2003281699A (ja) * 2002-03-25 2003-10-03 Nissan Motor Co Ltd 走路上反射物の物体種類判定方法
JP2004237885A (ja) * 2003-02-06 2004-08-26 Nissan Motor Co Ltd 車両用走行制御装置
JP2005145187A (ja) * 2003-11-13 2005-06-09 Nissan Motor Co Ltd 車両用走行制御装置
JP2015210720A (ja) * 2014-04-28 2015-11-24 トヨタ自動車株式会社 運転支援装置

Also Published As

Publication number Publication date
CN109952491A (zh) 2019-06-28
EP3538846A2 (en) 2019-09-18
US11112237B2 (en) 2021-09-07
CN109952491B (zh) 2023-05-12
US20180135972A1 (en) 2018-05-17
EP3839438A3 (en) 2021-10-20
EP3538846B1 (en) 2021-02-17
EP3839438A2 (en) 2021-06-23
JP6839269B2 (ja) 2021-03-03
WO2018089435A2 (en) 2018-05-17
KR102210140B1 (ko) 2021-02-02
US20210356257A1 (en) 2021-11-18
KR20190067851A (ko) 2019-06-17
WO2018089435A3 (en) 2018-06-28

Similar Documents

Publication Publication Date Title
US11537133B2 (en) Dynamic routing for autonomous vehicles
US11619940B2 (en) Operating an autonomous vehicle according to road user reaction modeling with occlusions
CN111183428B (zh) 识别自动驾驶车辆的分配的乘客
JP6839269B2 (ja) センサデータから得られた物体の地図情報を使用した平滑化
JP2019537530A (ja) 自律走行車の停車位置のプランニング
US20210211576A1 (en) Camera peek into turn

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20190521

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20200702

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20200720

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20200929

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20210201

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20210212

R150 Certificate of patent or registration of utility model

Ref document number: 6839269

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150