JP2020502609A - センサデータから得られた物体の地図情報を使用した平滑化 - Google Patents
センサデータから得られた物体の地図情報を使用した平滑化 Download PDFInfo
- Publication number
- JP2020502609A JP2020502609A JP2019516482A JP2019516482A JP2020502609A JP 2020502609 A JP2020502609 A JP 2020502609A JP 2019516482 A JP2019516482 A JP 2019516482A JP 2019516482 A JP2019516482 A JP 2019516482A JP 2020502609 A JP2020502609 A JP 2020502609A
- Authority
- JP
- Japan
- Prior art keywords
- width
- distance
- representation
- data points
- location
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000009499 grossing Methods 0.000 title description 6
- 238000000034 method Methods 0.000 claims description 31
- 238000010408 sweeping Methods 0.000 claims 1
- 238000010586 diagram Methods 0.000 abstract description 17
- 238000005516 engineering process Methods 0.000 abstract description 2
- 230000014509 gene expression Effects 0.000 description 11
- 230000000694 effects Effects 0.000 description 10
- 238000004891 communication Methods 0.000 description 6
- 239000000203 mixture Substances 0.000 description 6
- 230000001133 acceleration Effects 0.000 description 5
- 230000008859 change Effects 0.000 description 5
- 238000002156 mixing Methods 0.000 description 5
- 238000000638 solvent extraction Methods 0.000 description 5
- 230000004807 localization Effects 0.000 description 4
- 230000007423 decrease Effects 0.000 description 3
- 238000001514 detection method Methods 0.000 description 3
- 230000006870 function Effects 0.000 description 3
- 230000033001 locomotion Effects 0.000 description 3
- 230000000007 visual effect Effects 0.000 description 3
- 230000006399 behavior Effects 0.000 description 2
- 238000006073 displacement reaction Methods 0.000 description 2
- 239000000446 fuel Substances 0.000 description 2
- 238000013459 approach Methods 0.000 description 1
- 230000001413 cellular effect Effects 0.000 description 1
- 230000003247 decreasing effect Effects 0.000 description 1
- 239000011521 glass Substances 0.000 description 1
- 230000005484 gravity Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000008569 process Effects 0.000 description 1
- 230000011664 signaling Effects 0.000 description 1
- 230000007704 transition Effects 0.000 description 1
- 239000013598 vector Substances 0.000 description 1
Images
Classifications
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
- B60W50/08—Interaction between the driver and the control system
- B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
- G01B11/00—Measuring arrangements characterised by the use of optical techniques
- G01B11/24—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
- B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
- B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
- B60K35/20—Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor
- B60K35/28—Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor characterised by the type of the output information, e.g. video entertainment or vehicle dynamics information; characterised by the purpose of the output information, e.g. for attracting the attention of the driver
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W30/00—Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units
- B60W30/14—Adaptive cruise control
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
- B60W40/02—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to ambient conditions
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W60/00—Drive control systems specially adapted for autonomous road vehicles
- B60W60/001—Planning or execution of driving tasks
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
- G01B11/00—Measuring arrangements characterised by the use of optical techniques
- G01B11/02—Measuring arrangements characterised by the use of optical techniques for measuring length, width or thickness
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
- G01B11/00—Measuring arrangements characterised by the use of optical techniques
- G01B11/02—Measuring arrangements characterised by the use of optical techniques for measuring length, width or thickness
- G01B11/04—Measuring arrangements characterised by the use of optical techniques for measuring length, width or thickness specially adapted for measuring length or width of objects while moving
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
- G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
- G01C21/26—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
- G01C21/28—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network with correlation of data from several navigational instruments
- G01C21/30—Map- or contour-matching
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
- G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
- G01C21/26—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
- G01C21/34—Route searching; Route guidance
- G01C21/36—Input/output arrangements for on-board computers
- G01C21/3697—Output of additional, non-guidance related information, e.g. low fuel level
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
- G01S17/02—Systems using the reflection of electromagnetic waves other than radio waves
- G01S17/06—Systems determining position data of a target
- G01S17/42—Simultaneous measurement of distance and other co-ordinates
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
- G01S17/88—Lidar systems specially adapted for specific applications
- G01S17/93—Lidar systems specially adapted for specific applications for anti-collision purposes
- G01S17/931—Lidar systems specially adapted for specific applications for anti-collision purposes of land vehicles
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
- G05D1/02—Control of position or course in two dimensions
- G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
- G05D1/0231—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
- G05D1/0238—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using obstacle or wall sensors
- G05D1/024—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using obstacle or wall sensors in combination with a laser
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T19/00—Manipulating 3D models or images for computer graphics
- G06T19/006—Mixed reality
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
- G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
- G06V20/588—Recognition of the road, e.g. of lane markings; Recognition of the vehicle driving pattern in relation to the road
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/60—Type of objects
- G06V20/64—Three-dimensional objects
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
- B60K2360/00—Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
- B60K2360/16—Type of output information
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
- B60K2360/00—Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
- B60K2360/20—Optical features of instruments
- B60K2360/33—Illumination features
- B60K2360/333—Lasers
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
- B60W2050/0001—Details of the control system
- B60W2050/0002—Automatic control, details of type of controller or control system architecture
- B60W2050/0004—In digital systems, e.g. discrete-time systems involving sampling
- B60W2050/0005—Processor details or data handling, e.g. memory registers or chip architecture
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
- B60W50/08—Interaction between the driver and the control system
- B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
- B60W2050/146—Display means
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W2420/00—Indexing codes relating to the type of sensors based on the principle of their operation
- B60W2420/40—Photo, light or radio wave sensitive means, e.g. infrared sensors
- B60W2420/408—Radar; Laser, e.g. lidar
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W2554/00—Input parameters relating to objects
- B60W2554/80—Spatial relation or speed relative to objects
- B60W2554/802—Longitudinal distance
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Remote Sensing (AREA)
- Radar, Positioning & Navigation (AREA)
- General Physics & Mathematics (AREA)
- Automation & Control Theory (AREA)
- Transportation (AREA)
- Mechanical Engineering (AREA)
- Electromagnetism (AREA)
- Theoretical Computer Science (AREA)
- Combustion & Propulsion (AREA)
- Computer Networks & Wireless Communication (AREA)
- Chemical & Material Sciences (AREA)
- Multimedia (AREA)
- Software Systems (AREA)
- General Engineering & Computer Science (AREA)
- Computer Hardware Design (AREA)
- Computer Graphics (AREA)
- Human Computer Interaction (AREA)
- Aviation & Aerospace Engineering (AREA)
- Optics & Photonics (AREA)
- Mathematical Physics (AREA)
- Traffic Control Systems (AREA)
- Navigation (AREA)
- Business, Economics & Management (AREA)
- Health & Medical Sciences (AREA)
- Artificial Intelligence (AREA)
- Evolutionary Computation (AREA)
- Game Theory and Decision Science (AREA)
- Medical Informatics (AREA)
- Optical Radar Systems And Details Thereof (AREA)
- Image Analysis (AREA)
Abstract
Description
[0001] 本出願は、2016年11月14日出願の米国特許出願第15/350,473号の継続出願であり、同特許出願の開示内容は、参考により本明細書に組み込まれる。
[0030] 本技術は、リアルタイムに収集されたセンサデータを使用して、車両の周囲で検出された物体の視覚的表現を生成することに関する。上記したように、検出、識別、および予測に加えて、どのような物体が車両のセンサによって検出されたのかという情報を乗客に提供することは、乗客が車両のセンサの機能性についての情報を保持し、乗客が安全であるいう感覚を維持するためには重要である。例えば、経時的に物体の表現を生成するために、LIDARシステムのレーザによって生成されたデータ点群を使用するとき、表現が、「ぶれている」ように見えることがある。一例として、一つの一連のデータ点が、物体を横断するレーザの単一での掃引に対応している場合がある。この一連のデータ点は、その一連のデータ点から決定された値に対応するサイズ、形状、および方位を有する長方形などの、表示に対する物体の表現を生成するために使用され得る。経時的に、表現は、レーザでの新しい掃引から生成された新しい一連のデータ点から新しい表現を生成することによって更新される。しかしながら、センサデータが、リアルタイムに物体の表現を生成するために使用されるとき、センサデータに「忠実」になるほど、表現は、より非現実的になることがある。換言すれば、静止しているまたは滑らかに動いている物体を表わすのではなく、データ点群の中の点が、経時的に同じ場所に連続的に位置していないために、表現は、わずかに回転してずれているように見える。これは、レーザが、物体が位置付けられた領域を横断して掃引しているときに、物体、LIDARシステムのレーザ、および/または車両が移動しているからであり得る。したがって、物体自体が完全に静止しているとき、または特定の方向に一定の速度で移動しているときでさえ、このずれおよび回転は、物体の位置、進行方向、および形状/サイズに影響を及ぼす可能性がある。物体(車両、歩行者、および自転車に乗る人など)は、実際にはこのようには動いていないので、そのような表現を見ることで、乗客を当惑させる可能性がある。
このことは、同じ物体に関して生成された表現の間で、サイズのずれを低減するまたは防ぐことができる。
システム例
産業用適用性
Claims (20)
- 車両の認識システムによって検出された物体の表現を生成するための方法であって、
1つまたは複数のプロセッサによって、一連のデータ点の中のデータ点が、レーザセンサのレーザで掃引する間に検出された物体に対応している、前記一連のデータ点を前記認識システムから受信することと、
前記1つまたは複数のプロセッサによって、車線の形状および場所、ならびに前記車線に関する中央点の場所を識別する地図情報を読み出すことと、
前記1つまたは複数のプロセッサによって、前記一連のデータ点に基づいて前記中央点の代表点を選択することと、
前記1つまたは複数のプロセッサによって、前記代表点の前記場所に基づいて第1の位置を決定することと、
前記1つまたは複数のプロセッサによって、前記一連のデータ点に基づいて第2の位置を決定することと、
前記1つまたは複数のプロセッサによって、前記第1の位置と前記第2の位置との距離に基づいて、前記物体の前記表現に対する第3の位置を決定するために、前記第1の位置および前記第2の位置を使用することと、
前記1つまたは複数のプロセッサによって、前記第3の位置を使用して、前記物体の前記表現を生成することと、
前記1つまたは複数のプロセッサによって、前記車両のディスプレイ上に前記物体の前記表現を表示することと
を含む方法。 - 前記距離が、第1の距離であるとき、前記第1の位置が、前記第3の位置への第1の寄与を有し、前記距離が、前記第1の距離より大きい第2の距離であるとき、前記第2の位置が、前記第1の寄与より大きい、前記第3の位置への第2の寄与を有するように、前記第1の位置および前記第2の位置が使用される、請求項1に記載の方法。
- 前記地図情報が、前記車線に対する進行方向を識別する進行方向情報をさらに含み、
前記代表点と関連付けられる前記車線の前記進行方向に基づいて第1の方位を決定することと、
前記一連のデータ点に基づいて第2の方位を決定することと、
前記距離に基づいて前記物体の前記表現に対する第3の方位を決定するために、前記第1の方位および前記第2の方位を結合し、前記物体に関する前記表現が前記第3の位置を使用して生成されることと
をさらに含む、請求項1に記載の方法。 - 前記距離が、第1の距離であるとき、前記第1の方位が、前記第3の方位への第1の寄与を有し、前記距離が、前記第1の距離より大きい第2の距離であるとき、前記第2の方位が、前記第1の寄与より大きい、前記第3の位置への第2の寄与を有するように、前記第1の方位および前記第2の方位が、使用される、請求項3に記載の方法。
- 前記代表点と関連付けられる前記車線の幅に基づいて第1の幅を決定することと、
前記一連のデータ点に基づいて第2の幅を決定することと、
前記距離に基づいて前記物体の前記表現に対する第3の幅を決定するために、前記第1の幅および前記第2の幅を結合し、前記物体に関する前記表現が、前記第3の幅を使用して生成されることと
をさらに含む、請求項1に記載の方法。 - 前記距離が、第1の距離であるとき、前記第1の幅が、前記第3の幅への第1の寄与を有し、前記距離が、前記第1の距離より大きい第2の距離であるとき、前記第2の幅が、前記第1の寄与より大きい、前記第3の幅への第2の寄与を有するように、前記第1の幅および前記第2の幅が、結合される、請求項5に記載の方法。
- 前記一連のデータ点を受信する前に、前記レーザでの前記掃引より前の、前記レーザでの第1の掃引の間に検出された前記物体に対応する、以前の一連のデータ点を受信することと、
前記以前の一連のデータ点に基づいて長さを決定することと、
前記物体の前記表現が、前記長さにさらに基づいて生成されることと
をさらに含む、請求項1に記載の方法。 - 前記長さが、さらに、前記レーザの観点から前記長さに対応する前記物体の辺の角度幅に基づいて決定される、請求項7に記載の方法。
- 前記長さが、さらに、前記角度幅が最小閾値の角度幅値より小さいかどうかに基づいて決定される、請求項8に記載の方法。
- 車両の認識システムによって検出された物体の表現を生成するためのシステムであって、
一連のデータ点の中のデータ点が、レーザセンサのレーザで掃引する間に検出された物体に対応している、前記一連のデータ点を前記認識システムから受信し、
車線の形状および場所、ならびに前記車線に関する中央点の場所を識別する地図情報を読み出し、
前記一連のデータ点に基づいて前記中央点の代表点を選択し、
前記代表点の前記場所に基づいて第1の位置を決定し、
前記一連のデータ点に基づいて第2の位置を決定し、
前記第1の位置と前記第2の位置との距離に基づいて前記物体の前記表現に対する第3の位置を決定するために、前記第1の位置および前記第2の位置を使用し、
前記第3の位置を使用して前記物体の前記表現を生成し、そして
前記車両のディスプレイ上に前記物体の前記表現を表示する
ように構成される1つまたは複数のプロセッサ
を含むシステム。 - 前記車両をさらに含む、請求項10に記載のシステム。
- 前記距離が、第1の距離であるとき、前記第1の位置が、前記第3の位置への第1の寄与を有し、前記距離が、前記第1の距離より大きい第2の距離であるとき、前記第2の位置が、前記第1の寄与より大きい、前記第3の位置への第2の寄与を有するように、前記第1の位置および前記第2の位置が、使用される、請求項10に記載のシステム。
- 前記地図情報が、前記車線に対する進行方向を識別する進行方向情報をさらに含み、前記1つまたは複数のプロセッサが、
前記代表点と関連付けられる前記車線の前記進行方向に基づいて第1の方位を決定し、
前記一連のデータ点に基づいて第2の方位を決定し、そして
前記距離に基づいて前記物体の前記表現に対する第3の方位を決定するために、前記第1の方位および前記第2の方位を結合し、前記物体に関する前記表現が、前記第3の位置を使用して生成される
ようにさらに構成される、請求項10に記載のシステム。 - 前記距離が、第1の距離であるとき、前記第1の方位が、前記第3の方位への第1の寄与を有し、前記距離が、前記第1の距離より大きい第2の距離であるとき、前記第2の方位が、前記第1の寄与より大きい、前記第3の方位への第2の寄与を有するように、前記第1の方位および前記第2の方位が、使用される、請求項13に記載のシステム。
- 前記1つまたは複数のプロセッサが、
前記代表点と関連付けられる前記車線の幅に基づいて第1の幅を決定し、
前記一連のデータ点に基づいて第2の幅を決定し、
前記距離に基づいて前記物体の前記表現に対する第3の幅を決定するために、前記第1の幅および前記第2の幅を結合し、前記物体に関する前記表現が、前記第3の幅を使用して生成される
ようにさらに構成される、請求項10に記載のシステム。 - 前記距離が、第1の距離であるとき、前記第1の幅が、前記第3の幅への第1の寄与を有し、前記距離が、前記第1の距離より大きい第2の距離であるとき、前記第2の幅が、前記第1の寄与より大きい、前記第3の幅への第2の寄与を有するように、前記第1の幅および前記第2の幅が、結合される、請求項15に記載のシステム。
- 前記1つまたは複数のプロセッサが、
前記一連のデータ点を受信する前に、前記レーザでの前記掃引より前の、前記レーザでの第1の掃引の間に検出された前記物体に対応する、以前の一連のデータ点を受信し、
前記以前の一連のデータ点に基づいて長さを決定し、
前記物体の前記表現が、前記長さにさらに基づいて生成される
ようにさらに構成される、請求項10に記載のシステム。 - 車両の認識システムによって検出された物体の表現を生成するための方法であって、
1つまたは複数のプロセッサによって、一連のデータ点の中のデータ点が、レーザセンサのレーザで掃引する前に検出された物体に対応している、前記一連のデータ点を前記認識システムから受信することと、
前記一連のデータ点から前記物体の場所を決定することと、
前記場所に最も近い交通車線の中央点を識別するために、交通車線の中央点を識別する地図情報にアクセスすることと、
前記識別された中央点と前記物体の前記場所との間の距離に基づいて前記物体の前記表現に対する場所を決定することと、
前記1つまたは複数のプロセッサによって、前記物体の前記表現に対する前記場所に基づいて前記車両のディスプレイ上に前記物体の前記表現を表示することと
を含む方法。 - 前記地図情報が、前記車線に対する進行方向を識別する進行方向情報をさらに含み、
前記一連のデータ点に基づいて前記物体の方位を決定することと、
前記物体の前記方位、および前記識別された中央点と前記物体の前記場所との間の前記距離に基づいて、前記物体の前記表現に対する方位を決定することと
をさらに含み、
前記表現を表示することが、さらに、前記表現に対する前記方位に基づいている、請求項18に記載の方法。 - 前記一連のデータ点に基づいて前記物体の幅を決定することと、
前記物体の前記幅、および前記識別された中央点と前記物体の前記場所との間の前記距離に基づいて、前記物体の前記表現に対する幅を決定することと
をさらに含み、
前記表現を表示することが、さらに、前記表現に対する前記幅に基づいている、請求項18に記載の方法。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US15/350,473 US11112237B2 (en) | 2016-11-14 | 2016-11-14 | Using map information to smooth objects generated from sensor data |
US15/350,473 | 2016-11-14 | ||
PCT/US2017/060554 WO2018089435A2 (en) | 2016-11-14 | 2017-11-08 | Using map information to smooth objects generated from sensor data |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2020502609A true JP2020502609A (ja) | 2020-01-23 |
JP6839269B2 JP6839269B2 (ja) | 2021-03-03 |
Family
ID=60473643
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2019516482A Active JP6839269B2 (ja) | 2016-11-14 | 2017-11-08 | センサデータから得られた物体の地図情報を使用した平滑化 |
Country Status (6)
Country | Link |
---|---|
US (2) | US11112237B2 (ja) |
EP (2) | EP3839438A3 (ja) |
JP (1) | JP6839269B2 (ja) |
KR (1) | KR102210140B1 (ja) |
CN (1) | CN109952491B (ja) |
WO (1) | WO2018089435A2 (ja) |
Families Citing this family (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US10262234B2 (en) * | 2017-04-24 | 2019-04-16 | Baidu Usa Llc | Automatically collecting training data for object recognition with 3D lidar and localization |
JP6845117B2 (ja) * | 2017-10-18 | 2021-03-17 | 株式会社Soken | 移動物体認識装置 |
DE102018209607A1 (de) * | 2018-06-14 | 2019-12-19 | Volkswagen Aktiengesellschaft | Verfahren und Vorrichtung zum Bestimmen einer Position eines Kraftfahrzeugs |
WO2020132952A1 (en) * | 2018-12-26 | 2020-07-02 | Baidu.Com Times Technology (Beijing) Co., Ltd. | Polynomial-fit based reference line smoothing method for high speed planning of autonomous driving vehicles |
US10769948B2 (en) * | 2018-12-27 | 2020-09-08 | Industrial Technology Research Institute | Parking spot detection system and method thereof |
US11967106B2 (en) | 2019-12-27 | 2024-04-23 | Motional Ad Llc | Object tracking supporting autonomous vehicle navigation |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2002002425A (ja) * | 2000-06-15 | 2002-01-09 | Mazda Motor Corp | 車両用表示装置 |
JP2003281699A (ja) * | 2002-03-25 | 2003-10-03 | Nissan Motor Co Ltd | 走路上反射物の物体種類判定方法 |
JP2004237885A (ja) * | 2003-02-06 | 2004-08-26 | Nissan Motor Co Ltd | 車両用走行制御装置 |
JP2005145187A (ja) * | 2003-11-13 | 2005-06-09 | Nissan Motor Co Ltd | 車両用走行制御装置 |
JP2015210720A (ja) * | 2014-04-28 | 2015-11-24 | トヨタ自動車株式会社 | 運転支援装置 |
Family Cites Families (31)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
AU641315B2 (en) * | 1991-04-11 | 1993-09-16 | Honda Giken Kogyo Kabushiki Kaisha | System for detecting the position of moving body |
CA2140164A1 (en) * | 1994-01-27 | 1995-07-28 | Kenneth R. Robertson | System and method for computer cursor control |
US5793310A (en) * | 1994-02-04 | 1998-08-11 | Nissan Motor Co., Ltd. | Portable or vehicular navigating apparatus and method capable of displaying bird's eye view |
JP3545839B2 (ja) * | 1995-06-09 | 2004-07-21 | 株式会社ザナヴィ・インフォマティクス | 現在位置算出装置 |
US5964822A (en) * | 1997-08-27 | 1999-10-12 | Delco Electronics Corp. | Automatic sensor azimuth alignment |
DE60119403T2 (de) * | 2000-02-14 | 2007-04-19 | Matsushita Electric Industrial Co., Ltd., Kadoma | Vorrichtung und Verfahren zum Ändern von Karteninformationen |
US20050149251A1 (en) * | 2000-07-18 | 2005-07-07 | University Of Minnesota | Real time high accuracy geospatial database for onboard intelligent vehicle applications |
US6549846B1 (en) | 2000-11-21 | 2003-04-15 | Trimble Navigation Limited | Accurate vehicle navigation |
US6888622B2 (en) * | 2002-03-12 | 2005-05-03 | Nissan Motor Co., Ltd. | Method for determining object type of reflective object on track |
CN101641610A (zh) * | 2007-02-21 | 2010-02-03 | 电子地图北美公司 | 用于包含绝对及相对坐标的车辆导航及领航的系统及方法 |
US8890951B2 (en) * | 2008-04-24 | 2014-11-18 | GM Global Technology Operations LLC | Clear path detection with patch smoothing approach |
US8055445B2 (en) | 2008-09-24 | 2011-11-08 | Delphi Technologies, Inc. | Probabilistic lane assignment method |
JP5152677B2 (ja) * | 2009-02-26 | 2013-02-27 | アイシン・エィ・ダブリュ株式会社 | ナビゲーション装置及びナビゲーション用プログラム |
DE102009020328A1 (de) * | 2009-05-07 | 2010-11-11 | Bayerische Motoren Werke Aktiengesellschaft | Verfahren zur Darstellung von unterschiedlich gut sichtbaren Objekten aus der Umgebung eines Fahrzeugs auf der Anzeige einer Anzeigevorrichtung |
DE102009020300A1 (de) | 2009-05-07 | 2010-11-11 | Bayerische Motoren Werke Aktiengesellschaft | Verfahren zur Darstellung von zumindest teilweise automatisch erkannter Umgebung eines Fahrzeugs auf der Anzeige einer Anzeigevorrichtung |
JP5787485B2 (ja) | 2010-03-08 | 2015-09-30 | Toa株式会社 | 監視装置、及びプログラム |
US9013634B2 (en) * | 2010-09-14 | 2015-04-21 | Adobe Systems Incorporated | Methods and apparatus for video completion |
PT2450865E (pt) * | 2010-11-04 | 2013-04-18 | Kapsch Trafficcom Ag | Dispositivos e métodos de controlo móveis para veículos |
US20130141520A1 (en) * | 2011-12-02 | 2013-06-06 | GM Global Technology Operations LLC | Lane tracking system |
US20130197736A1 (en) | 2012-01-30 | 2013-08-01 | Google Inc. | Vehicle control based on perception uncertainty |
DE102012001950A1 (de) | 2012-02-02 | 2013-08-08 | Daimler Ag | Verfahren zum Betreiben einer Kameraanordnung für ein Fahrzeug und Kameraanordnung |
WO2013145554A1 (ja) * | 2012-03-29 | 2013-10-03 | パナソニック株式会社 | 画像処理装置及び画像処理方法 |
KR20190125517A (ko) * | 2013-04-11 | 2019-11-06 | 웨이모 엘엘씨 | 차량 온보드 센서들을 사용하여 날씨 상태들을 검출하는 방법들 및 시스템들 |
JP6096626B2 (ja) * | 2013-09-20 | 2017-03-15 | 株式会社東芝 | 計測支援装置、方法及びプログラム |
TWI503560B (zh) | 2013-12-25 | 2015-10-11 | 財團法人工業技術研究院 | 移動車輛定位校正方法與裝置 |
US9098754B1 (en) | 2014-04-25 | 2015-08-04 | Google Inc. | Methods and systems for object detection using laser point clouds |
US9959624B2 (en) * | 2014-12-22 | 2018-05-01 | Volkswagen Ag | Early detection of turning condition identification using perception technology |
KR101750876B1 (ko) * | 2015-05-28 | 2017-06-26 | 엘지전자 주식회사 | 차량용 디스플레이 장치 및 차량 |
US9734455B2 (en) * | 2015-11-04 | 2017-08-15 | Zoox, Inc. | Automated extraction of semantic information to enhance incremental mapping modifications for robotic vehicles |
US9987983B2 (en) * | 2016-02-11 | 2018-06-05 | GM Global Technology Operations LLC | Parking assist system for a vehicle and method of using the same |
JP6606472B2 (ja) * | 2016-07-04 | 2019-11-13 | 株式会社Soken | 走路形状認識装置、走路形状認識方法 |
-
2016
- 2016-11-14 US US15/350,473 patent/US11112237B2/en active Active
-
2017
- 2017-11-08 KR KR1020197013366A patent/KR102210140B1/ko active IP Right Grant
- 2017-11-08 EP EP21150999.7A patent/EP3839438A3/en not_active Withdrawn
- 2017-11-08 EP EP17804739.5A patent/EP3538846B1/en active Active
- 2017-11-08 JP JP2019516482A patent/JP6839269B2/ja active Active
- 2017-11-08 CN CN201780070410.5A patent/CN109952491B/zh active Active
- 2017-11-08 WO PCT/US2017/060554 patent/WO2018089435A2/en active Application Filing
-
2021
- 2021-08-02 US US17/391,618 patent/US20210356257A1/en active Pending
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2002002425A (ja) * | 2000-06-15 | 2002-01-09 | Mazda Motor Corp | 車両用表示装置 |
JP2003281699A (ja) * | 2002-03-25 | 2003-10-03 | Nissan Motor Co Ltd | 走路上反射物の物体種類判定方法 |
JP2004237885A (ja) * | 2003-02-06 | 2004-08-26 | Nissan Motor Co Ltd | 車両用走行制御装置 |
JP2005145187A (ja) * | 2003-11-13 | 2005-06-09 | Nissan Motor Co Ltd | 車両用走行制御装置 |
JP2015210720A (ja) * | 2014-04-28 | 2015-11-24 | トヨタ自動車株式会社 | 運転支援装置 |
Also Published As
Publication number | Publication date |
---|---|
CN109952491A (zh) | 2019-06-28 |
EP3538846A2 (en) | 2019-09-18 |
US11112237B2 (en) | 2021-09-07 |
CN109952491B (zh) | 2023-05-12 |
US20180135972A1 (en) | 2018-05-17 |
EP3839438A3 (en) | 2021-10-20 |
EP3538846B1 (en) | 2021-02-17 |
EP3839438A2 (en) | 2021-06-23 |
JP6839269B2 (ja) | 2021-03-03 |
WO2018089435A2 (en) | 2018-05-17 |
KR102210140B1 (ko) | 2021-02-02 |
US20210356257A1 (en) | 2021-11-18 |
KR20190067851A (ko) | 2019-06-17 |
WO2018089435A3 (en) | 2018-06-28 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11537133B2 (en) | Dynamic routing for autonomous vehicles | |
US11619940B2 (en) | Operating an autonomous vehicle according to road user reaction modeling with occlusions | |
CN111183428B (zh) | 识别自动驾驶车辆的分配的乘客 | |
JP6839269B2 (ja) | センサデータから得られた物体の地図情報を使用した平滑化 | |
JP2019537530A (ja) | 自律走行車の停車位置のプランニング | |
US20210211576A1 (en) | Camera peek into turn |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20190521 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20200702 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20200720 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20200929 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20210201 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20210212 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6839269 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |