CN107816976B - 一种接近物体的位置确定方法和装置 - Google Patents
一种接近物体的位置确定方法和装置 Download PDFInfo
- Publication number
- CN107816976B CN107816976B CN201711020454.5A CN201711020454A CN107816976B CN 107816976 B CN107816976 B CN 107816976B CN 201711020454 A CN201711020454 A CN 201711020454A CN 107816976 B CN107816976 B CN 107816976B
- Authority
- CN
- China
- Prior art keywords
- determining
- point cloud
- approaching object
- actual
- cloud data
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 52
- 238000012545 processing Methods 0.000 claims abstract description 161
- 238000006073 displacement reaction Methods 0.000 claims description 39
- 230000000694 effects Effects 0.000 claims description 14
- 238000004891 communication Methods 0.000 description 23
- 230000008569 process Effects 0.000 description 14
- 230000006870 function Effects 0.000 description 9
- 238000013500 data storage Methods 0.000 description 8
- 238000010586 diagram Methods 0.000 description 8
- 230000005540 biological transmission Effects 0.000 description 7
- 238000005259 measurement Methods 0.000 description 7
- ATUOYWHBWRKTHZ-UHFFFAOYSA-N Propane Chemical compound CCC ATUOYWHBWRKTHZ-UHFFFAOYSA-N 0.000 description 4
- 230000001413 cellular effect Effects 0.000 description 4
- 230000005057 finger movement Effects 0.000 description 4
- 239000000446 fuel Substances 0.000 description 4
- 238000005516 engineering process Methods 0.000 description 3
- 230000003993 interaction Effects 0.000 description 3
- 238000012986 modification Methods 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- 238000012549 training Methods 0.000 description 3
- LFQSCWFLJHTTHZ-UHFFFAOYSA-N Ethanol Chemical compound CCO LFQSCWFLJHTTHZ-UHFFFAOYSA-N 0.000 description 2
- QVGXLLKOCUKJST-UHFFFAOYSA-N atomic oxygen Chemical compound [O] QVGXLLKOCUKJST-UHFFFAOYSA-N 0.000 description 2
- 230000006399 behavior Effects 0.000 description 2
- 230000010267 cellular communication Effects 0.000 description 2
- 238000001514 detection method Methods 0.000 description 2
- 239000003502 gasoline Substances 0.000 description 2
- 238000012544 monitoring process Methods 0.000 description 2
- 239000001294 propane Substances 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- 230000001133 acceleration Effects 0.000 description 1
- 230000002776 aggregation Effects 0.000 description 1
- 238000004220 aggregation Methods 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 239000003990 capacitor Substances 0.000 description 1
- 238000002485 combustion reaction Methods 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 239000002828 fuel tank Substances 0.000 description 1
- 239000007789 gas Substances 0.000 description 1
- 230000002452 interceptive effect Effects 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 230000033001 locomotion Effects 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 239000002184 metal Substances 0.000 description 1
- 239000010705 motor oil Substances 0.000 description 1
- 239000003921 oil Substances 0.000 description 1
- 239000001301 oxygen Substances 0.000 description 1
- 229910052760 oxygen Inorganic materials 0.000 description 1
- 239000003208 petroleum Substances 0.000 description 1
- 238000010897 surface acoustic wave method Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
- G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
- G01S7/4808—Evaluating distance, position or velocity data
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
- G01C11/00—Photogrammetry or videogrammetry, e.g. stereogrammetry; Photographic surveying
- G01C11/04—Interpretation of pictures
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
- G01C3/00—Measuring distances in line of sight; Optical rangefinders
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
- G01S17/02—Systems using the reflection of electromagnetic waves other than radio waves
- G01S17/06—Systems determining position data of a target
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
- G01S17/02—Systems using the reflection of electromagnetic waves other than radio waves
- G01S17/06—Systems determining position data of a target
- G01S17/08—Systems determining position data of a target for measuring distance only
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
- G01S17/02—Systems using the reflection of electromagnetic waves other than radio waves
- G01S17/50—Systems of measurement based on relative movement of target
- G01S17/58—Velocity or trajectory determination systems; Sense-of-movement determination systems
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
- G01S17/66—Tracking systems using electromagnetic waves other than radio waves
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
- G01S17/86—Combinations of lidar systems with systems other than lidar, radar or sonar, e.g. with direction finders
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
- G01S17/88—Lidar systems specially adapted for specific applications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
- G01S17/88—Lidar systems specially adapted for specific applications
- G01S17/93—Lidar systems specially adapted for specific applications for anti-collision purposes
- G01S17/931—Lidar systems specially adapted for specific applications for anti-collision purposes of land vehicles
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
- G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
-
- G—PHYSICS
- G08—SIGNALLING
- G08G—TRAFFIC CONTROL SYSTEMS
- G08G1/00—Traffic control systems for road vehicles
- G08G1/16—Anti-collision systems
- G08G1/166—Anti-collision systems for active traffic, e.g. moving vehicles, pedestrians, bikes
Landscapes
- Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Electromagnetism (AREA)
- General Physics & Mathematics (AREA)
- Radar, Positioning & Navigation (AREA)
- Remote Sensing (AREA)
- Computer Networks & Wireless Communication (AREA)
- Multimedia (AREA)
- Theoretical Computer Science (AREA)
- Traffic Control Systems (AREA)
- Length Measuring Devices By Optical Means (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Image Analysis (AREA)
- Optical Radar Systems And Details Thereof (AREA)
Abstract
本发明公开一种接近物体的位置确定方法和装置,以解决现有技术中无法准确的确定得到自动驾驶车辆的接近物体以及接近物体的位置的问题。包括:自动驾驶车辆的控制装置在当前处理周期中接收来自摄像头的图像数据和来自距离测量装置的点云数据,其中摄像头和距离测量装置搭载在自动驾驶车辆上;确定图像数据中接近自动驾驶车辆的物体以及接近的物体的二维位置;确定点云数据中接近自动驾驶车辆的物体以及接近的物体与自动驾驶车辆之间的距离;根据从图像数据中接近的物体以及接近的物体的二维位置、和点云数据中接近的物体以及接近的物体与自动驾驶车辆之间的距离,确定实际接近物体;根据点云数据确定当前处理周期中实际接近物体的三维位置。
Description
技术领域
本发明涉及自动驾驶领域,特别地,涉及一种接近物体的位置确定方法和装置。
背景技术
在现有的自动驾驶技术领域中,通常会对接近自动驾驶车辆的物体进行识别。识别的方法主要有两种,一种是通过搭载在自动驾驶车辆上的摄像头采集到的视频图像数据进行识别,一种是通过搭载在自动驾驶车辆上的测距装置采集到的距离数据进行识别。进一步还会确定识别到的物体的位置。
但是在现有技术中都无法通过这两种方法识别确定得到准确的物体和物体位置。
发明内容
鉴于上述问题,提供了一种接近物体的位置确定方法和装置,以解决现有技术中无法准确的识别确定得到自动驾驶车辆的接近物体以及接近物体的位置的问题。
根据本申请的一个方面,一些实施例中提供了一种接近物体的位置确定方法,包括:
自动驾驶车辆的控制装置在当前处理周期中接收来自摄像头的图像数据和来自距离测量装置的点云数据,其中摄像头和距离测量装置搭载在自动驾驶车辆上;
确定图像数据中接近自动驾驶车辆的物体以及接近的物体的二维位置;
确定点云数据中接近自动驾驶车辆的物体以及接近的物体与自动驾驶车辆之间的距离;
根据从图像数据中接近的物体以及接近的物体的二维位置、和点云数据中接近的物体以及接近的物体与自动驾驶车辆之间的距离,确定实际接近物体;
根据点云数据确定当前处理周期中实际接近物体的三维位置。
在本申请的一些实施例中,确定图像数据中接近自动驾驶车辆的物体以及接近的物体的二维位置,包括:在图像数据中识别出物体,将识别出来的物体确定为接近自动驾驶车辆的物体;并确定接近的物体的二维位置。
在本申请的一些实施例中,确定点云数据中接近自动驾驶车辆的物体以及接近的物体与自动驾驶车辆之间的距离,包括:从点云数据中识别出至少一个物体;根据至少一个物体在点云数据中的三维位置和自动驾驶车辆的三维位置,确定至少一个物体与自动驾驶车辆的距离;将距离小于预定距离所对应的物体确定为接近的物体;保存接近的物体与自动驾驶车辆之间的距离。
在本申请的一些实施例中,确定的实际接近物体,包括:根据点云数据中接近的物体的位置、以及接近的物体与自动驾驶车辆之间的距离,确定该接近的物体在图像上的位置;根据点云数据中接近的物体在图像上的位置,将点云数据中接近的物体与图像数据中相同位置上的接近的物体进行对比,确定点云数据中接近的物体与图像数据中的接近的物体是同一物体的概率;在所确定的概率大于预定概率的情况下,确定点云数据中的接近的物体与图像数据中的接近的物体是同一物体,并确定该同一物体为实际接近物体。
在本申请的一些实施例中,确定点云数据中接近的物体与图像数据中的接近的物体是同一物体的概率,包括:将点云数据中接近的物体对应的点云投射到图像数据中相同位置上接近的物体上,确定点云落在图像数据中相同位置上接近的物体的边界框内的概率。
在本申请的一些实施例中,根据点云数据确定当前处理周期中实际接近物体的三维位置,包括:将实际接近物体对应的点云的位置确定为实际接近物体的三维位置。
在本申请的一些实施例中,所述方法还包括:根据当前处理周期和相邻的上一个处理周期中分别确定的实际接近物体,确定实际接近物体的速度。
在本申请的一些实施例中,确定实际接近物体的速度,包括:将当前处理周期中实际接近物体对应的点云和相邻的上一个处理周期中实际接近物体对应的点云进行匹配,确定两个点云之间的位移;根据确定的位移和相邻两个处理周期的时间差确定实际接近物体的速度。
在本申请的一些实施例中,方法还包括:确定两个点云之间的位移方向,根据位移方向和实际接近物体的速度确定实际接近物体的速度矢量。
在本申请的一些实施例中,方法还包括:对多个处理周期中确定的实际接近物体建立关联关系;在当前处理周期相邻的上一个处理周期缺乏图像数据和/或点云数据的情况下,根据所建立的实际接近物体的关联关系,确定在当前处理周期之前最近的处理周期中确定的实际接近物体;根据该最近的处理周期中确定的实际接近物体和当前处理周期中确定的实际接近物体,确定实际接近物体的速度。
根据本申请的另一个方面,还提供了一种接近物体的位置确定装置,包括:
接收模块,用于在当前处理周期中接收来自摄像头的图像数据和来自距离测量装置的点云数据,其中摄像头和距离测量装置搭载在自动驾驶车辆上;
第一确定模块,用于确定图像数据中接近自动驾驶车辆的物体以及接近的物体的二维位置;
第二确定模块,用于确定点云数据中接近自动驾驶车辆的物体以及接近的物体与自动驾驶车辆之间的距离;
物体确定模块,用于根据从图像数据中接近的物体以及接近的物体的二维位置、和点云数据中接近的物体以及接近的物体与自动驾驶车辆之间的距离,确定的实际接近物体;
位置确定模块,根据点云数据确定当前处理周期中实际接近物体的三维位置。
在本申请的一些实施例中,第一确定模块具体用于:在图像数据中识别出物体,将识别出来的物体确定为接近自动驾驶车辆的物体;并确定接近的物体的二维位置。
在本申请的一些实施例中,第二确定模块具体用于:从点云数据中识别出至少一个物体;根据至少一个物体在点云数据中的三维位置和自动驾驶车辆的三维位置,确定至少一个物体与自动驾驶车辆的距离;将距离小于预定距离所对应的物体确定为接近的物体;保存接近的物体与自动驾驶车辆之间的距离。
在本申请的一些实施例中,物体确定模块具体用于:根据点云数据中接近的物体的位置、以及接近的物体与自动驾驶车辆之间的距离,确定该接近的物体在图像上的位置;根据点云数据中接近的物体在图像上的位置,将点云数据中接近的物体与图像数据中相同位置上的接近的物体进行对比,确定点云数据中接近的物体与图像数据中的接近的物体是同一物体的概率;在所确定的概率大于预定概率的情况下,确定点云数据中的接近的物体与图像数据中的接近的物体是同一物体,并确定该同一物体为实际接近物体。
在本申请的一些实施例中,物体确定模块确定点云数据中接近的物体与图像数据中的接近的物体是同一物体的概率,包括:将点云数据中接近的物体对应的点云投射到图像数据中相同位置上接近的物体上,确定点云落在图像数据中相同位置上接近的物体的边界框内的概率。
在本申请的一些实施例中,位置确定模块具体用于:将实际接近物体对应的点云的位置确定为实际接近物体的三维位置。
在本申请的一些实施例中,装置还包括:速度确定模块,用于根据当前处理周期和相邻的上一个处理周期中分别确定的实际接近物体,确定实际接近物体的速度。
在本申请的一些实施例中,速度确定模块具体用于:将当前处理周期中实际接近物体对应的点云和相邻的上一个处理周期中实际接近物体对应的点云进行匹配,确定两个点云之间的位移;根据确定的位移和相邻两个处理周期的时间差确定实际接近物体的速度。
在本申请的一些实施例中,速度确定模块还用于:确定两个点云之间的位移方向,根据位移方向和实际接近物体的速度确定实际接近物体的速度矢量。
在本申请的一些实施例中,速度确定模块还用于:对多个处理周期中确定的实际接近物体建立关联关系;在当前处理周期相邻的上一个处理周期缺乏图像数据和/或点云数据的情况下,根据所建立的实际接近物体的关联关系,确定在当前处理周期之前最近的处理周期中确定的实际接近物体;根据该最近的处理周期中确定的实际接近物体和当前处理周期中确定的实际接近物体,确定实际接近物体的速度。
根据本申请的另一个方面,还提供了一种接近物体的位置确定装置,包括:一个处理器和至少一个存储器,所述至少一个存储器中存储有至少一条机器可执行指令,所述处理器执行所述至少一条指令,以实现:
在当前处理周期中接收来自摄像头的图像数据和来自距离测量装置的点云数据,其中摄像头和距离测量装置搭载在自动驾驶车辆上;
确定图像数据中接近自动驾驶车辆的物体以及接近的物体的二维位置;
确定点云数据中接近自动驾驶车辆的物体以及接近的物体与自动驾驶车辆之间的距离;
根据从图像数据中接近的物体以及接近的物体的二维位置、和点云数据中接近的物体以及接近的物体与自动驾驶车辆之间的距离,确定实际接近物体;
根据点云数据确定当前处理周期中实际接近物体的三维位置。
在本申请的一些实施例中,所述处理器执行所述至少一条指令实现确定图像数据中接近自动驾驶车辆的物体以及接近的物体的二维位置,包括:在图像数据中识别出物体,将识别出来的物体确定为接近自动驾驶车辆的物体;并确定接近的物体的二维位置。
在本申请的一些实施例中,所述处理器执行所述至少一条指令实现确定点云数据中接近自动驾驶车辆的物体以及接近的物体与自动驾驶车辆之间的距离,包括:从点云数据中识别出至少一个物体;根据至少一个物体在点云数据中的三维位置和自动驾驶车辆的三维位置,确定至少一个物体与自动驾驶车辆的距离;将距离小于预定距离所对应的物体确定为接近的物体;保存接近的物体与自动驾驶车辆之间的距离。
在本申请的一些实施例中,所述处理器执行所述至少一条指令实现确定的实际接近物体,包括:根据点云数据中接近的物体的位置、以及接近的物体与自动驾驶车辆之间的距离,确定该接近的物体在图像上的位置;根据点云数据中接近的物体在图像上的位置,将点云数据中接近的物体与图像数据中相同位置上的接近的物体进行对比,确定点云数据中接近的物体与图像数据中的接近的物体是同一物体的概率;在所确定的概率大于预定概率的情况下,确定点云数据中的接近的物体与图像数据中的接近的物体是同一物体,并确定该同一物体为实际接近物体。
在本申请的一些实施例中,所述处理器执行所述至少一条指令实现确定点云数据中接近的物体与图像数据中的接近的物体是同一物体的概率,包括:将点云数据中接近的物体对应的点云投射到图像数据中相同位置上接近的物体上,确定点云落在图像数据中相同位置上接近的物体的边界框内的概率。
在本申请的一些实施例中,所述处理器执行所述至少一条指令实现根据点云数据确定当前处理周期中实际接近物体的三维位置,包括:将实际接近物体对应的点云的位置确定为实际接近物体的三维位置。
在本申请的一些实施例中,所述处理器执行所述至少一条指令还实现:根据当前处理周期和相邻的上一个处理周期中分别确定的实际接近物体,确定实际接近物体的速度。
在本申请的一些实施例中,所述处理器执行所述至少一条指令实现确定实际接近物体的速度,包括:将当前处理周期中实际接近物体对应的点云和相邻的上一个处理周期中实际接近物体对应的点云进行匹配,确定两个点云之间的位移;根据确定的位移和相邻两个处理周期的时间差确定实际接近物体的速度。
在本申请的一些实施例中,所述处理器执行所述至少一条指令还实现:确定两个点云之间的位移方向,根据位移方向和实际接近物体的速度确定实际接近物体的速度矢量。
在本申请的一些实施例中,所述处理器执行所述至少一条指令还实现:对多个处理周期中确定的实际接近物体建立关联关系;在当前处理周期相邻的上一个处理周期缺乏图像数据和/或点云数据的情况下,根据所建立的实际接近物体的关联关系,确定在当前处理周期之前最近的处理周期中确定的实际接近物体;根据该最近的处理周期中确定的实际接近物体和当前处理周期中确定的实际接近物体,确定实际接近物体的速度。
根据本申请实施例提供的接近物体的位置确定方法和装置,通过结合使用摄像头获取的图像数据和测距装置获取的点云数据,综合从图像数据中识别出的物体以及从测距数据(即点云数据)中识别的物体,确定得到实际接近物体,能够准确地确定得到自动驾驶车辆周围的实际接近物体,并根据点云数据确定得到实际接近物体的三维位置,从而能够解决相关技术中无法通过图像数据或者距离数据来确定得到准确的接近物体以及接近物体的位置的问题。
附图说明
附图用来提供对本发明的进一步理解,并且构成说明书的一部分,与本发明的实施例一起用于解释本发明,并不构成对本发明的限制。
图1a为本申请多个实施例中的一种接近物体的位置确定方法的处理流程图;
图1b为图1a中步骤102的处理流程图;
图1c为图1a中步骤103的处理流程图;
图1d为图1a中步骤104的处理流程图;
图2a为本申请多个实施例中的接近物体的位置确定方法的处理流程图;
图2b为本申请多个实施例中的接近物体的位置确定方法的另一个处理流程图;
图3a为本申请多个实施例中的接近物体的位置确定装置的应用环境示意图;
图3b为本申请多个实施例中的接近物体的位置确定装置的结构框图;
图3c为本申请多个实施例中的接近物体的位置确定装置的另一个结构框图;
图4为本申请多个实施例中的接近物体的位置确定装置的另一个结构框图。
具体实施方式
为了使本技术领域的人员更好地理解本发明中的技术方案,下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都应当属于本发明保护的范围。
在相关技术中,使用摄像头获取到的图像数据来识别接近自动驾驶车辆的物体,能够准确的识别出物体,但是无法计算确定物体准确的位置信息,会存在定位不准确的问题。通过测距装置获取的测距数据,通常能够确定得到准确的位置信息,但是无法准确的识别物体。从而在相关技术中,均无法通过图像数据或者距离数据来确定得到准确的接近物体以及接近物体的位置。
针对相关技术中的上述问题,本申请提出了一种接近物体的位置确定方法和装置,在该方法中,通过结合使用图像数据和测距数据可以准确地识别出物体,并且准确地确定得到物体的位置。具体地,在当前处理周期中,确定图像数据中接近自动驾驶车辆的物体以及接近的物体的二维位置,确定点云数据中接近自动驾驶车辆的物体以及接近的物体与自动驾驶车辆之间的距离,根据从图像数据中接近的物体以及接近的物体的二维位置、和点云数据中接近的物体以及接近的物体与自动驾驶车辆之间的距离,确定实际接近物体和实际接近物体的三维位置。从而,本申请提供的方法能够准确地识别出自动驾驶车辆的接近物体,以及确定得到解决物体的准确位置,能够解决相关技术中无法通过图像数据或者距离数据来确定得到准确的接近物体以及接近物体的位置的问题。
下面对本申请的技术方案进行说明。
图1a示出了本申请多个实施例中的一种接近物体的位置确定方法的处理流程,如图1a所示,该处理流程包括:
步骤11,自动驾驶车辆的控制装置在当前处理周期中接收来自摄像头的图像数据和来自距离测量装置的点云数据,其中摄像头和距离测量装置搭载在自动驾驶车辆上。
其中处理周期可以是一个预定的时间周期,例如50毫秒,该时间周期可以根据具体应用的需要而具体设置。
步骤12,确定图像数据中接近自动驾驶车辆的物体以及接近的物体的二维位置。
其中,物体可以是接近自动驾驶车辆的车辆、行人以及其它多种物体。
在一些实施例中,如图1b所示,可以通过如下步骤进行确定:
步骤1201,在图像数据中识别出物体,将识别出来的物体确定为接近自动驾驶车辆的物体;
步骤1202,确定接近的物体的二维位置。
步骤13,确定点云数据中接近自动驾驶车辆的物体以及接近的物体与自动驾驶车辆之间的距离。
在一些实施例中,如图1c所示,可以通过如下步骤进行确定:
步骤1301,从点云数据中识别出至少一个物体;可以通过多种方法从点云数据中识别接近的物体,本申请对此不进行限制。
步骤1302,根据至少一个物体的在点云数据中的三维位置和自动驾驶车辆的三维位置,确定至少一个物体与自动驾驶车辆的距离;
步骤1303,将距离小于预定距离所对应的物体确定为接近的物体;
步骤1304,保存接近的物体与自动驾驶车辆之间的距离。
步骤14,根据从图像数据中接近的物体以及接近的物体的二维位置、和点云数据中接近的物体以及接近的物体与自动驾驶车辆之间的距离,确定实际接近物体。
也即,根据物体的位置,将图像数据中接近的物体与点云数据中接近的物体进行匹配,判断匹配的概率,在匹配概率超过预定概率的情况下,认为这两个物体是同一个物体,也即实际接近物体;
在一些实施例中,如图1d所示,可以通过如下的步骤确定实际接近的物体:
步骤1401、根据点云数据中的接近的物体与自动驾驶车辆之间的距离,确定该接近的物体在图像上的位置;
根据点云数据中接近的物体的位置、以及接近的物体与自动驾驶车辆之间的距离,可以将点云数据中接近的物体定位到图像中;
步骤1402、根据点云数据中接近的物体在图像上的位置,将点云数据中接近的物体与图像数据中相同位置上的接近的物体进行对比,确定点云数据中接近的物体与图像数据中的接近的物体是同一物体的概率;
在一些实施例中,可以将点云数据中接近的物体对应的点云投射到图像数据中相同位置上接近的物体上,确定点云落在图像数据中相同位置上接近的物体的边界框内的概率;
其中,物体的边界框是在图像数据中识别物体时,对物体进行标定的一种信息,在具体应用中也可以是其它的对物体进行标定的信息。
其中,由于图像处理技术的限制以及对常识的理解,“相同的位置”应当理解为大致相同的位置,或者理解为在一个位置附近的预定距离范围内的区域;
步骤1403、在所确定的概率大于预定概率的情况下,确定点云数据中的接近的物体与图像数据中的接近的物体是同一物体,并确定该同一物体为实际接近物体。
如果点云落在物体的边界框内的概率超过预定概率,可以认为点云数据中接近的物体和图像数据中接近的物体,在物体位置和物体大小上都是较为匹配的,从而可以认为这两个物体是同一个物体,也即该物体是实际接近物体。如果点云落在物体的边界框内的概率低于预定概率,可以认为点云中的接近物体与图像数据中的接近物体,在物体位置和/或物体大小上并不匹配,这两个物体并不是同一个物体,也即不能确定出实际接近物体。
步骤15,根据点云数据确定当前处理周期中实际接近物体的三维位置。
在一些实施例中,可以将实际接近物体对应的点云的位置确定为实际接近物体的三维位置。由于可以从点云数据得出较为准确的三维位置,从而可以直接将实际接近物体对应的点云的位置确定为其的三维位置。
通过上述处理过程,通过结合使用摄像头获取的图像数据和测距装置获取的点云数据,综合从图像数据中识别出的物体以及从测距数据(即点云数据)中识别的物体,确定得到实际接近物体,能够准确地确定得到自动驾驶车辆周围的实际接近物体,并根据点云数据确定得到实际接近物体的三维位置,从而能够解决相关技术中无法通过图像数据或者距离数据来确定得到准确的接近物体以及接近物体的位置的问题。
在上述处理过程的基础上,本申请提供的方法还可以进一步确定实际接近物体的速度,在一些实施例中,可以根据当前处理周期和相邻的上一个处理周期中分别确定的实际接近物体,确定实际接近物体的速度。
图2a示出了确定实际接近物体的速度的处理流程,包括:
步骤21,将当前处理周期中实际接近物体对应的点云和相邻的上一个处理周期中实际接近物体对应的点云进行匹配,确定两个点云之间的位移;
匹配的过程可以通过迭代最近点(Iteration Closet Point,ICP)算法来实现,具体地,可以将相邻的上一个处理周期中实际接近物体对应的点云和当前处理周期中实际接近物对应的点云进行匹配,找到最佳的匹配向量,也即两个点云之间的位移;
步骤22,根据确定的位移和相邻两个处理周期的时间差确定实际接近物体的速度;
两个点云之间的位移除以位移时间差(也即相邻两个处理周期的时间差)就是实际接近物体的速度;
更进一步地,还可以包括下面的步骤23;
步骤23,确定两个点云之间的位移方向,根据位移方向和实际接近物体的速度确定实际接近物体的速度矢量。
此外,在自动驾驶车辆的实际运行过程中,可能会发生丢失某个处理周期的数据的情况,也就在某个处理周期中没有接收到图像数据和/或点云数据,在这种情况下,本申请可以通过如下处理过程确定得到实际接近物体的速度,如图2b所示,该处理过程包括:
步骤21s、对多个处理周期中确定的实际接近物体建立关联关系;
也即对多个处理周期中的实际接近物体进行追踪,确定多个处理周期中的同一个实际接近物体,并记录该实际接近物体的相关信息;
步骤22s、在当前处理周期相邻的上一个处理周期缺乏图像数据和/或点云数据的情况下,根据所建立的实际接近物体的关联关系,确定在当前处理周期之前最近的处理周期中确定的实际接近物体;
步骤23s、根据该最近的处理周期中确定的实际接近物体和当前处理周期中确定的实际接近物体,确定实际接近物体的速度。确定速度的处理过程可以如图2a所示的处理过程所示。
图2a和图2b的处理过程可以结合使用,从而能够更高效地确定实际接近物体的速度。
通过上述处理过程,本申请在确定实际接近物体的位置的基础上,还能够准确的确定得到实际接近物体的速度,为自动驾驶车辆的其它控制和规划功能提供准确的数据输入。
基于相同的发明构思,本申请的实施例中还提供了一种接近物体的位置确定装置。
图3a中示出了本申请提供的接近物体的位置确定装置的应用环境,也即图3a示出了一个车辆系统1001的示意图,本申请提供的接近物体的位置确定装置300应用在自动驾驶车辆105(以下有些地方简称为车辆105)中。车辆系统1001包括多个系统和多个构件,这些系统和构件能够生成和/或传输一个或多个源信息/源数据,系统1001还包括与车内控制系统150和接近物体的位置确定装置300相关的多个服务。系统1001能够被安装在车辆105中。例如,安装在车辆105中的摄像头作为车辆子系统140中的一个装置,能够生成图像数据和计时数据,该图像数据和计时数据能够被控制系统150接收到。车辆感应子系统144中包括多种距离测量装置,可以包括LiDAR、雷达、惯性感应器、全球定位系统等装置,距离测量装置用于获取包括点云数据等的距离数据。车内控制系统150以及在其中运行的接近物体的位置确定装置300能够接收所输入的上述图像数据和距离数据(例如点云数据)。接近物体的位置确定装置300用于在当前处理周期中接收来自摄像头的图像数据和来自距离测量装置的点云数据,其中摄像头和距离测量装置搭载在自动驾驶车辆上;确定图像数据中接近自动驾驶车辆的物体以及接近的物体的二维位置;确定点云数据中接近自动驾驶车辆的物体以及接近的物体与自动驾驶车辆之间的距离;根据从图像数据中接近的物体以及接近的物体的二维位置、和点云数据中接近的物体以及接近的物体与自动驾驶车辆之间的距离,确定实际接近物体;根据点云数据确定当前处理周期中实际接近物体的三维位置。
在本申请提供的一个实施例中,控制系统150能够与多个车辆子系统140进行数据通信,所有这些车辆子系统140常驻在车辆105中。一个车辆子系统接口141被用于促进控制系统150和多个车辆子系统140之间的数据通信。控制系统150包括一个数据处理器171以执行接近物体的位置确定方法,用以处理从一个或多个车辆子系统140接收到的图像数据和点云数据。该数据处理器171能够与一个数据存储装置172合并设置,并作为控制系统150中的计算系统170的一部分。数据存储装置172能够被用于存储数据、存储处理参数、以及存储数据处理指令。处理模块接口165被用于促进数据处理器171和接近物体的位置确定装置300之间的数据通信。在多个实施例中,多个处理模块被配置为与接近物体的位置确定装置300相类似的配置,并被数据处理器171执行。如图3a中的虚线所示,接近物体的位置确定装置300能被集成到控制系统150中,或者可选地被下载到控制系统150中。
控制系统150能够用于与广域网120进行数据的接收/发送,以及与和广域网相连接的网络资源122进行数据的接收/发送。可联网装置130和/或用户移动装置132能够用于通过网络120进行通信。可联网装置接口131能够被控制系统150使用,以促进控制系统150、以及通过可联网的装置130所连接的网络120之间的数据通信。相类似地,用户移动装置接口133能够被控制系统150使用,以促进控制系统150和通过用户移动装置132连接到的网络120之间的数据通信。以该种方式,控制系统150能够实时地通过网络120接入到网络资源122中。数据处理器171能够从网络资源122获取被数据处理器171所执行的多个处理模块、用于训练内部神经网络的数据内容、多个系统参数以及其它数据。
系统1001包括广域数据网络120。网络120为一个或多个传统广域数据网,例如因特网、一个蜂窝电话网络、卫星网络、寻呼网络、无线广播网络、游戏网络、WiFi网络、点到点网络、IP电话(VoIP)网络等等。一个或多个这样的网络120能够将一个用户或者一个客户端系统连接到网络资源122,例如多个网站、多个服务器、多个中央控制网站,或者类似的网络资源。网络资源122能够生成和/或发布数据,该数据能够被车辆105通过车内可联网装置130或者用户移动装置132接收到。网络资源122也可以提供网络云服务,网络资源122能够支持在处理图像输入分析或者图像输出分析中进行计算或者辅助计算的函数。天线用于通过蜂窝、卫星、无线电或者其它传统的信号接收方案,将控制系统150和接近物体的位置确定装置300连接到数据网络120。这样的蜂窝数据网络是当前可获得的(例如,VerizonTM,AT&TTM,T-MobileTM,等等)。这样的基于卫星的数据网络或内容网络也是当前可获得的(例如,SiriusTM,HughesNetTM,等等)。传统的广播网络也是为人熟知的,例如,多个AM/FM无线网络、寻呼网络、UHF网络、游戏网络、WiFi网络、点到点网络、IP电话(VoIP)网络,以及类似的网络。从而,如下详述,控制系统150和接近物体的位置确定装置300能够通过可联网装置接口131接收基于网络的数据或内容,该可联网装置接口131用于连接可联网装置接收器130和网络120。以该种方式,控制系统150以及接近物体的位置确定装置300能够支持车辆105其中的多个可连接网络的车内装置和系统。
如图3a所示,控制系统150和接近物体的位置确定装置300也能够接收来自用户移动装置132的数据、图像处理控制参数、以及训练内容,该用户移动装置132能够被设置在车辆105之中或靠近车辆105。用户移动装置132可以是标准移动装置,例如蜂窝电话、智能电话、个人数字助理(PAD’s)、MP3播放器、平板计算装置(例如,iPaDTM)、手提计算机、CD播放器、以及其它移动装置,用户移动装置132能够为控制系统150和接近物体的位置确定装置300产生、接收和/或发送数据、图像处理控制参数以及内容。如图3a所示,移动装置132也能够与网络云120进行数据通信。移动装置132能够从其自身内部的存储部件中获取数据和内容,也能通过网络120从网络资源122中获取数据和内容。此外,移动装置132自身可以包括一个GPS数据接收器、多个加速计、多个WiFi三角测量或者其它地理位置探测器或部件,这些部件能够被用于在任何时刻确定用户的实时地理位置。在任何情况下,如图3a所示,控制系统150和接近物体的位置确定装置300能从移动装置132接收数据。
继续参考图3a,实施例中的系统101包括车辆可操作子系统140。在车辆105已实施的实施例中,许多标准车辆包括多个可操作子系统,例如,多个电子控制单元(ECUs),支持对引擎、刹车、变速器、电子系统、排气系统、内部环境等等进行监视/控制的子系统。例如,在车辆可操作子系统140(例如车辆105的ECUs)与控制系统150通过车辆子系统接口141进行通信的数据信号中,包括车辆105的一个或多个部件或者子系统的状态的信息。特别地,该数据信号能够从车辆可操作子系统140发送到车辆105的一个控制器局域网(CAN)总线,该数据信号能够通过车辆子系统接口141被控制系统150接收和处理。本申请描述的装置能够实质性的被用于任何使用CAN总线、或者本申请所定义的使用类似的数据通信总线的机械化的系统,该系统包括但不限于工业装置、船只、卡车、机械装置或汽车;从而,这里使用的术语“车辆”包括任何上述机械化的系统。本申请描述的装置的实施例也能够与任何配置有某种形式的网络数据通信的系统一起使用,但是,这样的网络通信不是必须的。
继续参考图3a,实施例中的系统101以及其中的车辆可操作子系统140能够包括支持车辆105运行的多个车辆子系统。通常而言,车辆105可以是一个轿车、卡车、摩托车、公共汽车、船只、飞机、直升机、割草机、挖土机、摩托雪橇、航空器、旅游休闲车、游乐园车辆、农场装置、建筑装置、有轨电车、高尔夫车、火车、无轨电车。也可以是其它车辆。车辆105可以完全地或部分地以自动模式进行运行。例如,车辆105可以在自动模式下同时控制其自身,并且还可以被操作以确定车辆的当前状态以及车辆所处环境的当前状态,确定在该环境中的其它至少一个车辆的一个预测行为,确定上述其它至少一个车辆执行所述预测行为的可能性所对应信任等级,并且基于所确定的信息来控制车辆105。在处于自动驾驶模式下时,车辆105可以在无人交互的情况下运行。
车辆105可能包括各种车辆子系统,例如一个车辆驱动子系统142、车辆传感器子系统144、车辆控制子系统146、以及乘员接口子系统148。如上所述,车辆105还可以包括控制系统150、计算子系统170、以及接近物体的位置确定装置300。车辆105或多或少地包括一些子系统,每个子系统可以包括多个单元。进一步地,车辆105的每个子系统和单元之间可以是互联的。从而,车辆105的一个或多个所描述的功能可以被划分为附加的功能性部件或者实体部件,或者结合为数量更少的功能性部件或者实体部件。在更进一步的例子中,附加的功能性部件或者实体部件可以增加到如图3a所示的示例中。
车辆驱动子系统142可以包括为车辆105提供动能的多个可操作部件。在一个实施例中,车辆驱动子系统142可以包括一个发动机或电动机、多个轮子/轮胎、一个变速器、一个电子子系统、以及一个动力源。发动机或者电动机可以是如下装置的任意组合:一个内燃机、电机、蒸汽机、燃料电池发动机、丙烷发动机、或者其它形式的发动机或电动机。在一些实施例中,发动机可以将一种动力源转换为机械能。在一些实施例中,车辆驱动子系统142可以包括多种发动机或电动机。例如,一个油电混合轿车可以包括一个汽油发动机和一个电动机,也可以包括其它的情况。
车辆105的多个轮子可以是标准车轮。车辆105的多个轮子可以是多种形式的轮子,包括一个独轮、双轮、三轮、或者一个四轮形式,例如轿车或卡车上的四轮。其它数量的轮子也是可以的,例如六轮或者更多的轮子。车辆105的任何组合的轮子可被操作为与其他轮子的旋转方向不同。轮子可以是至少一个与变速器固定连接的轮子,以及至少一个轮胎与轮子的边缘相匹配使得轮子与驾驶表面相接触。这些轮子可以包括金属与橡胶的结合,或者是其他物质的结合。变速器可以包括可被操作以将发动机的机械动力传送到轮子的单元。出于这个目的,变速器可以包括一个齿轮箱、一个离合器、一个差动齿轮,和多个传动轴。变速器也可以包括其它单元。传动轴可以包括与轮子相匹配的一个或多个轮轴。电子系统可以包括用于传送或控制车辆105的电子信号的单元。这些电子信号可用于启动车辆105中的多个灯、多个伺服机构、多个电动机,以及其它电子驱动或者控制的装置。动力源可以是全部或部分地为发动机或电动机提供动力的能源。也即,发动机或电动机能够将动力源转换为机械能。示例性地,动力源可以包括汽油、石油、石油类燃料、丙烷、其它压缩气体燃料、乙醇、燃料电池、太阳能板、电池以及其它电能源。动力源可以附加的或者可选地包括燃料箱、电池、电容、或者飞轮的任意组合。动力源也可以为车辆105的其它子系统提供能量。
车辆传感器子系统144可以包括多个传感器,这些传感器用于感应车辆105的环境和条件的信息。例如,车辆感应器子系统144可以包括一个惯性测量单元(IMU)、一个全球定位系统(GPS)收发器、一个雷达单元、一个激光测距仪/LIDAR单元(或其它距离测量装置)、以及一个或多个摄像头或图像捕捉装置。车辆传感器子系统144可以包括用于监视车辆105内部系统的多个感应器(例如,一个氧气(O2)监视器、一个油量表传感器、一个发动机油压传感器,等等)。还可以配置其它传感器。被包括在车辆传感器子系统144中的一个或多个传感器可以被单独驱动或者被集体驱动,以更新一个或多个传感器的位置、方向,或者这二者。
IMU可以包括任何传感器的结合(例如加速器和陀螺仪),用于基于惯性加速来感应车辆105的位置变化和方向变化。GPS收发器可以是任何用于估计车辆105的地理位置的传感器。出于该目的,GPS收发器可以包括一个接收器/发送器以提供车辆105相对于地球的位置信息。雷达单元可以是使用无线电信号来感应车辆105所在环境中的对象的系统。在一些实施例中,除感应对象之外,雷达单元还可以用于感应接近车辆105的物体的速度和前进方向。激光测距仪或LIDAR单元(或者其它距离测量装置)可以是任何使用激光来感应车辆105所在环境中的物体的传感器。在一个实施例中,激光测距仪/LIDAR单元可以包括位于其它系统部件中的一个或多个激光源、一个激光扫描仪、以及一个或多个探测器。激光测距仪/LIDAR单元用于以连续(例如使用外差检测)或者不连续的检测模式进行工作。摄像头可以包括一个或多个用于捕捉车辆105所在环境的多个图像的装置。摄像头可以是静态图像摄像头或者动态视频摄像头。
车辆控制系统146用于控制对车辆105及其构件的操作。相应地,车辆控制系统146可以包括各种单元,例如一个转向单元、一个油门、一个刹车单元、一个导航单元和一个自动控制系统。
转向单元可以是任何调整车辆105前进方向的机械的组合。油门,例如可以被用于控制发动机的运转速度,进而控制车辆105的速度。刹车单元可以包括用于对车辆105进行减速的机械的组合。刹车单元可以以标准方式利用摩擦力来使轮胎减速。在其他实施例中,刹车单元可以将轮子的动能转化为电流。刹车单元也可以采用其它形式。导航单元可以是任何为车辆105确定驾驶路径或路线的系统。导航单元还可以在车辆105行进的过程中动态的更新驾驶路径。在一些实施例中,导航单元用于将来自接近物体的位置确定装置300的数据、来自GPS收发器的数据、以及一个或多个预定地图的数据结合起来,从而确定车辆105的驾驶路径。自动控制单元可以是一个用于识别、评估、以及避免或越过车辆105所在环境中的潜在障碍的系统。通常,自动控制单元可以用于在没有驾驶员的情况下控制车辆105,或者为驾驶员控制车辆提供辅助。在一些实施例中,自动控制单元用于将来自接近物体的位置确定装置300的数据、GPS收发器的数据、雷达数据、LIDAR数据、摄像头数据、以及来自其它车辆子系统的数据结合起来,来确定车辆105的驾驶路径或路线。车辆控制系统146还可以附加地或者可选地包括其它未示出或未描述的部件。
乘员接口子系统148可以用于允许车辆105与外部传感器、其它车辆、其它计算系统和/或车辆105的一个乘员或者使用者之间的互动。例如,乘员接口子系统148可以包括标准视觉显示装置(例如,等离子显示器、液晶显示器(LCDs),触屏显示器、头戴显示器,或其它类似的显示器),扬声器或其它音频输出装置,麦克风或者其它音频输入装置,导航接口、以及控制车辆105的内部环境(例如温度、风扇,等等)的接口。
在一个实施例中,乘员接口子系统148可以提供为车辆105的使用者或乘员与其它车辆子系统进行互动的方式。视觉显示装置可以为车辆105的使用者提供信息。用户接口装置也可以通过触屏从使用者或者驾驶员那里接收输入。触屏可以通过电容感应、电阻感应或者表面声波处理,或者通过其它方式,来至少感应使用者手指的位置和手指移动中的一种。触屏可以感应到平行于触屏表面的手指运动或面状的手指运动,垂直于触屏表面的手指运动,或者以上皆有,也可以用于感应施加到触屏表面的压力水平。触屏可以由一个或多个半透明或透明绝缘层以及一个或多个半透明或透明的导电层构成。触屏也可以具有其它形式。
在其他一些例子中,乘员接口子系统148可以为车辆105提供与其所在环境中的其它车辆进行通信的方式。麦克风可以用于从车辆105的使用者那里接收音频(例如,一个声音命令或者其它音频输入)。类似地,扬声器可以用于输出音频给车辆的使用者。在一个示例性的实施例中,乘员接口子系统148可以直接或者通过通信网络与一个或多个设备进行无线通信。例如,一个无线通信系统可以使用3G蜂窝通信,例如CDMA、EVDO、GSM/GPRS、或者4G蜂窝通信,例如WiMAX或LTE。可选地,无线通信系统可以与一个无线本地局域网(WLAN)进行通信,例如,使用在一些实施例中,无线通信系统146可以直接与一个设备进行通信,例如,使用红外线路,或者ZIGBEE。其它无线协议,例如各种车载通信系统,也在本申请公开的范围之内。例如,无线通信系统可以包括一个或多个专用短程通信(DSRC)装置,这些装置会与车辆和/或路边站进行公开或私密的数据通信。
计算系统170能控制车辆105的部分或者全部功能。计算系统170可以包括至少一个数据处理器171(可以包括至少一个微处理器),数据处理器171执行存储在非易失性计算机可读介质中存储的处理指令,例如数据存储装置172。计算系统170也可以是多个计算装置,这些计算装置分布式地控制车辆105的个别部件或者个别子系统。在一些实施例中,数据存储装置172中可以包含被数据处理器171执行来实现车辆105的各种功能的处理指令(例如,程序逻辑),这些功能包括本申请所描述的附图中的功能。数据存储装置172还可以包括其它指令,包括用于数据发送的指令、用于数据接收的指令、用于互动的指令、或者用于控制一个或多个车辆驱动子系统140、车辆感应器子系统144、车辆控制子系统146和乘员接口子系统148的指令。
除存储处理指令之外,数据存储设备172可以存储多种信息,包括存储数据,例如图像处理参数、训练数据、道路地图、和路径信息。在车辆105以自动方式、半自动方式和/或手动模式运行的期间,这些信息可以被车辆105和计算系统170所使用。
车辆105可以包括一个用户界面,该用户界面用于为车辆105的使用者或乘员提供信息,或者接收来自车辆105的使用者或者乘员的输入。用户界面可以控制或者使能控制交互式图像的内容和图层,该交互式图像可以显示在一个显示设备上。进一步地,用户界面可以包括一组乘员接口子系统148中的一个或多个输入/输出设备,例如显示设备、扬声器、麦克风、或者一个无线通信系统。
计算系统170可以根据从各种车辆子系统(例如,车辆驱动子系统142,车辆传感器子系统144,以及车辆控制子系统146)接收到的输入,或者从乘员接口子系统148接收到的输入,来控制车辆105的功能。例如,计算系统170可以使用来自车辆控制系统146的输入来控制转向单元,来避开由车辆传感器子系统144以及接近物体的位置确定装置300检测到的障碍物。在一个实施例中,计算系统170可以用来控制车辆105及其子系统的多个方面。
虽然图3a中显示了集成到车辆105中的各种构件,例如车辆子系统140、计算系统170、数据存储设备172、控制系统150、以及接近物体的位置确定装置300,这些部件中的一个或多个部件可以搭载到车辆105上或单独关联到车辆105上。例如,数据存储装置172可以部分或者全部地独立于车辆105存在。从而,车辆105能够以分离的或者集成的设备单元的形式而存在。构成车辆105的设备单元可以以有线通信或者无线通信的方式实现通信聚合。在多个实施例中,进行数据通信的控制系统150和接近物体的位置确定装置300可以被实施为一个集成的部件或者是分离的部件。在一个实施例中,通过与移动装置132进行数据通信和/或通过网络120连接到网络资源122进行数据通信,控制系统150和/或接近物体的位置确定装置300的软件部件能得到动态的更新、修改和/或扩展。控制系统150能够周期性地询问一个移动设备132或者一个网络资源122以进行更新,或者该更新能够推送给控制系统150。
在上述实施例中,接近物体的位置确定装置300可以包括一个与控制系统150进行通信的接口,如图3a所示,如本申请所述的接近物体的位置确定装置300通过该接口可以发送和接收数据。此外,接近物体的位置确定装置300可以包括一个与控制系统150和/或系统101的其它子系统进行通信的接口,通过该接口接近物体的位置确定装置300可以从如上所述的各种数据源接收辅助数据。基于多个因素该辅助数据可以被用来扩展、修改或者训练接近物体的位置确定装置300的操作,这多个因素包括使用者操作车辆的环境(例如,车辆的位置、具体目的地、行车方向、速度、时刻、车辆状态,等等),以及如本文所述的可以从本地和远程的多个资源获取到的其它多种数据。如上所述,接近物体的位置确定装置300可以实施在系统和平台上,该系统和平台没有配置在车辆中、不是必须在车辆中使用的或者也不是必须与车辆一起使用的。
图3b中示出了本申请的实施例中提供的一种接近物体的位置确定装置,该装置即为图3a中的接近物体的位置确定装置,如图3b所示,该装置包括:
接收模块31,用于在当前处理周期中接收来自摄像头的图像数据和来自距离测量装置的点云数据,其中摄像头和距离测量装置搭载在自动驾驶车辆上;
第一确定模块32,用于确定图像数据中接近自动驾驶车辆的物体以及接近的物体的二维位置;
第二确定模块33,用于确定点云数据中接近自动驾驶车辆的物体以及接近的物体与自动驾驶车辆之间的距离;
物体确定模块34,用于根据从图像数据中接近的物体以及接近的物体的二维位置、和点云数据中接近的物体以及接近的物体与自动驾驶车辆之间的距离,确定实际接近物体;
位置确定模块35,根据点云数据确定当前处理周期中实际接近物体的三维位置。
在本申请的一些实施例中,第一确定模块32具体用于:在图像数据中识别出物体,将识别出来的物体确定为接近自动驾驶车辆的物体;并确定接近的物体的二维位置。
在本申请的一些实施例中,第二确定模块33具体用于:从点云数据中识别出至少一个物体;根据至少一个物体在点云数据中的三维位置和自动驾驶车辆的三维位置,确定至少一个物体与自动驾驶车辆的距离;将距离小于预定距离所对应的物体确定为接近的物体;保存接近的物体与自动驾驶车辆之间的距离。
在本申请的一些实施例中,物体确定模块34具体用于:根据点云数据中接近的物体的位置、以及接近的物体与自动驾驶车辆之间的距离,确定该接近的物体在图像上的位置;根据点云数据中接近的物体在图像上的位置,将点云数据中接近的物体与图像数据中相同位置上的接近的物体进行对比,确定点云数据中接近的物体与图像数据中的接近的物体是同一物体的概率;在所确定的概率大于预定概率的情况下,确定点云数据中的接近的物体与图像数据中的接近的物体是同一物体,并确定该同一物体为实际接近物体。
在本申请的一些实施例中,物体确定模块34确定点云数据中接近的物体与图像数据中的接近的物体是同一物体的概率,包括:将点云数据中接近的物体对应的点云投射到图像数据中相同位置上接近的物体上,确定点云落在图像数据中相同位置上接近的物体的边界框内的概率。
在本申请的一些实施例中,位置确定模块35具体用于:将实际接近物体对应的点云的位置确定为实际接近物体的三维位置。
在本申请的一些实施例中,如图3c所示,该装置还包括:速度确定模块36,用于根据当前处理周期和相邻的上一个处理周期中分别确定的实际接近物体,确定实际接近物体的速度。
在本申请的一些实施例中,速度确定模块36体用于:将当前处理周期中实际接近物体对应的点云和相邻的上一个处理周期中实际接近物体对应的点云进行匹配,确定两个点云之间的位移;根据确定的位移和相邻两个处理周期的时间差确定实际接近物体的速度。
在本申请的一些实施例中,速度确定模块36还用于:确定两个点云之间的位移方向,根据位移方向和实际接近物体的速度确定实际接近物体的速度矢量。
在本申请的一些实施例中,速度确定模块36还用于:对多个处理周期中确定的实际接近物体建立关联关系;在当前处理周期相邻的上一个处理周期缺乏图像数据和/或点云数据的情况下,根据所建立的实际接近物体的关联关系,确定在当前处理周期之前最近的处理周期中确定的实际接近物体;根据该最近的处理周期中确定的实际接近物体和当前处理周期中确定的实际接近物体,确定实际接近物体的速度。
根据本申请实施例提供的装置,通过结合使用摄像头获取的图像数据和测距装置获取的点云数据,综合从图像数据中识别出的物体以及从测距数据(即点云数据)中识别的物体,确定得到实际接近物体,能够准确地确定得到自动驾驶车辆周围的实际接近物体,并根据点云数据确定得到实际接近物体的三维位置,从而能够解决相关技术中无法通过图像数据或者距离数据来确定得到准确的接近物体以及接近物体的位置的问题。
更进一步地,根据本申请实施例提供的装置,还能够准确的确定得到实际接近物体的速度,为自动驾驶车辆的其它控制和规划功能提供准确的数据输入。
基于相同的发明构思,本申请的实施例中还提供了一种接近物体的位置确定装置,如图4所示,该装置包括:一个处理器401和至少一个存储器402,所述至少一个存储器402中存储有至少一条机器可执行指令,所述处理器401执行所述至少一条指令,以实现:
在当前处理周期中接收来自摄像头的图像数据和来自距离测量装置的点云数据,其中摄像头和距离测量装置搭载在自动驾驶车辆上;
确定图像数据中接近自动驾驶车辆的物体以及接近的物体的二维位置;
确定点云数据中接近自动驾驶车辆的物体以及接近的物体与自动驾驶车辆之间的距离;
根据从图像数据中接近的物体以及接近的物体的二维位置、和点云数据中接近的物体以及接近的物体与自动驾驶车辆之间的距离,确定实际接近物体;
根据点云数据确定当前处理周期中实际接近物体的三维位置。
在一些实施例中,处理器401执行至少一条指令实现确定图像数据中接近自动驾驶车辆的物体以及接近的物体的二维位置,包括:在图像数据中识别出物体,将识别出来的物体确定为接近自动驾驶车辆的物体;并确定接近的物体的二维位置。
在一些实施例中,处理器401执行至少一条指令实现确定点云数据中接近自动驾驶车辆的物体以及接近的物体与自动驾驶车辆之间的距离,包括:从点云数据中识别出至少一个物体;根据至少一个物体在点云数据中的三维位置和自动驾驶车辆的三维位置,确定至少一个物体与自动驾驶车辆的距离;将距离小于预定距离所对应的物体确定为接近的物体;保存接近的物体与自动驾驶车辆之间的距离。
在一些实施例中,处理器401执行至少一条指令实现确定的实际接近物体,包括:根据点云数据中接近的物体的位置、以及接近的物体与自动驾驶车辆之间的距离,确定该接近的物体在图像上的位置;根据点云数据中接近的物体在图像上的位置,将点云数据中接近的物体与图像数据中相同位置上的接近的物体进行对比,确定点云数据中接近的物体与图像数据中的接近的物体是同一物体的概率;在所确定的概率大于预定概率的情况下,确定点云数据中的接近的物体与图像数据中的接近的物体是同一物体,并确定该同一物体为实际接近物体。
在一些实施例中,处理器401执行至少一条指令实现确定点云数据中接近的物体与图像数据中的接近的物体是同一物体的概率,包括:将点云数据中接近的物体对应的点云投射到图像数据中相同位置上接近的物体上,确定点云落在图像数据中相同位置上接近的物体的边界框内的概率。
在一些实施例中,处理器401执行至少一条指令实现根据点云数据确定当前处理周期中实际接近物体的三维位置,包括:将实际接近物体对应的点云的位置确定为实际接近物体的三维位置。
在一些实施例中,处理器401执行至少一条指令还实现:根据当前处理周期和相邻的上一个处理周期中分别确定的实际接近物体,确定实际接近物体的速度。
在一些实施例中,处理器401执行至少一条指令实现确定实际接近物体的速度,包括:将当前处理周期中实际接近物体对应的点云和相邻的上一个处理周期中实际接近物体对应的点云进行匹配,确定两个点云之间的位移;根据确定的位移和相邻两个处理周期的时间差确定实际接近物体的速度。
在一些实施例中,处理器401执行至少一条指令还实现:确定两个点云之间的位移方向,根据位移方向和实际接近物体的速度确定实际接近物体的速度矢量。
在一些实施例中,处理器401执行至少一条指令还实现:对多个处理周期中确定的实际接近物体建立关联关系;在当前处理周期相邻的上一个处理周期缺乏图像数据和/或点云数据的情况下,根据所建立的实际接近物体的关联关系,确定在当前处理周期之前最近的处理周期中确定的实际接近物体;根据该最近的处理周期中确定的实际接近物体和当前处理周期中确定的实际接近物体,确定实际接近物体的速度。
根据本申请实施例提供的装置,通过结合使用摄像头获取的图像数据和测距装置获取的点云数据,综合从图像数据中识别出的物体以及从测距数据(即点云数据)中识别的物体,确定得到实际接近物体,能够准确地确定得到自动驾驶车辆周围的实际接近物体,并根据点云数据确定得到实际接近物体的三维位置,从而能够解决相关技术中无法通过图像数据或者距离数据来确定得到准确的接近物体以及接近物体的位置的问题。
更进一步地,根据本申请实施例提供的装置,还能够准确的确定得到实际接近物体的速度,为自动驾驶车辆的其它控制和规划功能提供准确的数据输入。
显然,本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样,倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内,则本发明也意图包含这些改动和变型在内。
Claims (24)
1.一种接近物体的位置确定方法,其特征在于,包括:
自动驾驶车辆的控制装置在当前处理周期中接收来自摄像头的图像数据和来自距离测量装置的点云数据,其中摄像头和距离测量装置搭载在自动驾驶车辆上;
确定图像数据中接近自动驾驶车辆的物体以及接近的物体的二维位置;
确定点云数据中接近自动驾驶车辆的物体以及接近的物体与自动驾驶车辆之间的距离;
根据从图像数据中接近的物体以及接近的物体的二维位置、和点云数据中接近的物体以及接近的物体与自动驾驶车辆之间的距离,确定实际接近物体,包括:
根据点云数据中接近的物体的位置、以及接近的物体与自动驾驶车辆之间的距离,确定该接近的物体在图像上的位置;
根据点云数据中接近的物体在图像上的位置,将点云数据中接近的物体与图像数据中相同位置上的接近的物体进行对比,确定点云数据中接近的物体与图像数据中的接近的物体是同一物体的概率,包括:
将点云数据中接近的物体对应的点云投射到图像数据中相同位置上接近的物体上,确定点云落在图像数据中相同位置上接近的物体的边界框内的概率;
在所确定的概率大于预定概率的情况下,确定点云数据中的接近的物体与图像数据中的接近的物体是同一物体,并确定该同一物体为实际接近物体;
根据点云数据确定实际接近物体的三维位置。
2.根据权利要求1的方法,其特征在于,确定图像数据中接近自动驾驶车辆的物体以及接近的物体的二维位置,包括:
在图像数据中识别出物体,将识别出来的物体确定为接近自动驾驶车辆的物体;
并确定接近的物体的二维位置。
3.根据权利要求1所述的方法,其特征在于,确定点云数据中接近自动驾驶车辆的物体以及接近的物体与自动驾驶车辆之间的距离,包括:
从点云数据中识别出至少一个物体;
根据至少一个物体在点云数据中的三维位置和自动驾驶车辆的三维位置,确定至少一个物体与自动驾驶车辆的距离;
将距离小于预定距离所对应的物体确定为接近的物体;
保存接近的物体与自动驾驶车辆之间的距离。
4.根据权利要求1的方法,其特征在于,根据点云数据确定当前处理周期中实际接近物体的三维位置,包括:
将实际接近物体对应的点云的位置确定为实际接近物体的三维位置。
5.根据权利要求1的方法,其特征在于,所述方法还包括:
根据当前处理周期和相邻的上一个处理周期中分别确定的实际接近物体,确定实际接近物体的速度。
6.根据权利要求5的方法,其特征在于,确定实际接近物体的速度,包括:
将当前处理周期中实际接近物体对应的点云和相邻的上一个处理周期中实际接近物体对应的点云进行匹配,确定两个点云之间的位移;
根据确定的位移和相邻两个处理周期的时间差确定实际接近物体的速度。
7.根据权利要求6的方法,其特征在于,方法还包括:
确定两个点云之间的位移方向,根据位移方向和实际接近物体的速度确定实际接近物体的速度矢量。
8.根据权利要求5的方法,其特征在于,方法还包括:
对多个处理周期中确定的实际接近物体建立关联关系;
在当前处理周期相邻的上一个处理周期缺乏图像数据和/或点云数据的情况下,根据所建立的实际接近物体的关联关系,确定在当前处理周期之前最近的处理周期中确定的实际接近物体;
根据该最近的处理周期中确定的实际接近物体和当前处理周期中确定的实际接近物体,确定实际接近物体的速度。
9.一种接近物体的位置确定装置,其特征在于,包括:
接收模块,用于在当前处理周期中接收来自摄像头的图像数据和来自距离测量装置的点云数据,其中摄像头和距离测量装置搭载在自动驾驶车辆上;
第一确定模块,用于确定图像数据中接近自动驾驶车辆的物体以及接近的物体的二维位置;
第二确定模块,用于确定点云数据中接近自动驾驶车辆的物体以及接近的物体与自动驾驶车辆之间的距离;
物体确定模块,用于根据从图像数据中接近的物体以及接近的物体的二维位置、和点云数据中接近的物体以及接近的物体与自动驾驶车辆之间的距离,确定实际接近物体;物体确定模块具体用于:
根据点云数据中接近的物体的位置、以及接近的物体与自动驾驶车辆之间的距离,确定该接近的物体在图像上的位置;
根据点云数据中接近的物体在图像上的位置,将点云数据中接近的物体与图像数据中相同位置上的接近的物体进行对比,确定点云数据中接近的物体与图像数据中的接近的物体是同一物体的概率,包括:
将点云数据中接近的物体对应的点云投射到图像数据中相同位置上接近的物体上,确定点云落在图像数据中相同位置上接近的物体的边界框内的概率;
在所确定的概率大于预定概率的情况下,确定点云数据中的接近的物体与图像数据中的接近的物体是同一物体,并确定该同一物体为实际接近物体;
位置确定模块,根据点云数据确定实际接近物体的三维位置。
10.根据权利要求9所述的装置,其特征在于,第一确定模块具体用于:
在图像数据中识别出物体,将识别出来的物体确定为接近自动驾驶车辆的物体;
并确定接近的物体的二维位置。
11.根据权利要求9所述的装置,其特征在于,第二确定模块具体用于:
从点云数据中识别出至少一个物体;
根据至少一个物体在点云数据中的三维位置和自动驾驶车辆的三维位置,确定至少一个物体与自动驾驶车辆的距离;
将距离小于预定距离所对应的物体确定为接近的物体;
保存接近的物体与自动驾驶车辆之间的距离。
12.根据权利要求9所述的装置,其特征在于,位置确定模块具体用于:
将实际接近物体对应的点云的位置确定为实际接近物体的三维位置。
13.根据权利要求9所述的装置,其特征在于,装置还包括:
速度确定模块,用于根据当前处理周期和相邻的上一个处理周期中分别确定的实际接近物体,确定实际接近物体的速度。
14.根据权利要求13所述的装置,其特征在于,速度确定模块具体用于:
将当前处理周期中实际接近物体对应的点云和相邻的上一个处理周期中实际接近物体对应的点云进行匹配,确定两个点云之间的位移;
根据确定的位移和相邻两个处理周期的时间差确定实际接近物体的速度。
15.根据权利要求14所述的装置,其特征在于,速度确定模块还用于:
确定两个点云之间的位移方向,根据位移方向和实际接近物体的速度确定实际接近物体的速度矢量。
16.根据权利要求13所述的装置,其特征在于,速度确定模块还用于:
对多个处理周期中确定的实际接近物体建立关联关系;
在当前处理周期相邻的上一个处理周期缺乏图像数据和/或点云数据的情况下,根据所建立的实际接近物体的关联关系,确定在当前处理周期之前最近的处理周期中确定的实际接近物体;
根据该最近的处理周期中确定的实际接近物体和当前处理周期中确定的实际接近物体,确定实际接近物体的速度。
17.一种接近物体的位置确定装置,其特征在于,包括:一个处理器和至少一个存储器,所述至少一个存储器中存储有至少一条机器可执行指令,所述处理器执行所述至少一条指令,以实现:
在当前处理周期中接收来自摄像头的图像数据和来自距离测量装置的点云数据,其中摄像头和距离测量装置搭载在自动驾驶车辆上;
确定图像数据中接近自动驾驶车辆的物体以及接近的物体的二维位置;
确定点云数据中接近自动驾驶车辆的物体以及接近的物体与自动驾驶车辆之间的距离;
根据从图像数据中接近的物体以及接近的物体的二维位置、和点云数据中接近的物体以及接近的物体与自动驾驶车辆之间的距离,确定实际接近物体,包括:
根据点云数据中接近的物体的位置、以及接近的物体与自动驾驶车辆之间的距离,确定该接近的物体在图像上的位置;
根据点云数据中接近的物体在图像上的位置,将点云数据中接近的物体与图像数据中相同位置上的接近的物体进行对比,确定点云数据中接近的物体与图像数据中的接近的物体是同一物体的概率,包括:
将点云数据中接近的物体对应的点云投射到图像数据中相同位置上接近的物体上,确定点云落在图像数据中相同位置上接近的物体的边界框内的概率;
在所确定的概率大于预定概率的情况下,确定点云数据中的接近的物体与图像数据中的接近的物体是同一物体,并确定该同一物体为实际接近物体;
根据点云数据确定当前处理周期中实际接近物体的三维位置。
18.根据权利要求17所述的装置,其特征在于,所述处理器执行所述至少一条指令实现确定图像数据中接近自动驾驶车辆的物体以及接近的物体的二维位置,包括:
在图像数据中识别出物体,将识别出来的物体确定为接近自动驾驶车辆的物体;
并确定接近的物体的二维位置。
19.根据权利要求17所述的装置,其特征在于,所述处理器执行所述至少一条指令实现确定点云数据中接近自动驾驶车辆的物体以及接近的物体与自动驾驶车辆之间的距离,包括:
从点云数据中识别出至少一个物体;
根据至少一个物体在点云数据中的三维位置和自动驾驶车辆的三维位置,确定至少一个物体与自动驾驶车辆的距离;
将距离小于预定距离所对应的物体确定为接近的物体;
保存接近的物体与自动驾驶车辆之间的距离。
20.根据权利要求17所述的装置,其特征在于,所述处理器执行所述至少一条指令实现根据点云数据确定当前处理周期中实际接近物体的三维位置,包括:
将实际接近物体对应的点云的位置确定为实际接近物体的三维位置。
21.根据权利要求17所述的装置,其特征在于,所述处理器执行所述至少一条指令还实现:根据当前处理周期和相邻的上一个处理周期中分别确定的实际接近物体,确定实际接近物体的速度。
22.根据权利要求21所述的装置,其特征在于,所述处理器执行所述至少一条指令实现确定实际接近物体的速度,包括:
将当前处理周期中实际接近物体对应的点云和相邻的上一个处理周期中实际接近物体对应的点云进行匹配,确定两个点云之间的位移;
根据确定的位移和相邻两个处理周期的时间差确定实际接近物体的速度。
23.根据权利要求22所述的装置,其特征在于,所述处理器执行所述至少一条指令还实现:
确定两个点云之间的位移方向,根据位移方向和实际接近物体的速度确定实际接近物体的速度矢量。
24.根据权利要求21所述的装置,其特征在于,所述处理器执行所述至少一条指令还实现:
对多个处理周期中确定的实际接近物体建立关联关系;
在当前处理周期相邻的上一个处理周期缺乏图像数据和/或点云数据的情况下,根据所建立的实际接近物体的关联关系,确定在当前处理周期之前最近的处理周期中确定的实际接近物体;
根据该最近的处理周期中确定的实际接近物体和当前处理周期中确定的实际接近物体,确定实际接近物体的速度。
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
USUS15/496,113 | 2017-04-25 | ||
US15/496,113 US10552691B2 (en) | 2017-04-25 | 2017-04-25 | System and method for vehicle position and velocity estimation based on camera and lidar data |
Publications (2)
Publication Number | Publication Date |
---|---|
CN107816976A CN107816976A (zh) | 2018-03-20 |
CN107816976B true CN107816976B (zh) | 2020-06-16 |
Family
ID=61603195
Family Applications (3)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201711020454.5A Active CN107816976B (zh) | 2017-04-25 | 2017-10-27 | 一种接近物体的位置确定方法和装置 |
CN201880027842.2A Active CN110914707B (zh) | 2017-04-25 | 2018-05-18 | 基于相机和lidar数据的车辆位置和速度估计的系统和方法 |
CN202311407767.1A Pending CN117452428A (zh) | 2017-04-25 | 2018-05-18 | 基于相机和lidar数据的车辆位置和速度估计的系统和方法 |
Family Applications After (2)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201880027842.2A Active CN110914707B (zh) | 2017-04-25 | 2018-05-18 | 基于相机和lidar数据的车辆位置和速度估计的系统和方法 |
CN202311407767.1A Pending CN117452428A (zh) | 2017-04-25 | 2018-05-18 | 基于相机和lidar数据的车辆位置和速度估计的系统和方法 |
Country Status (5)
Country | Link |
---|---|
US (4) | US10552691B2 (zh) |
EP (1) | EP3616020A4 (zh) |
CN (3) | CN107816976B (zh) |
AU (2) | AU2018256926B2 (zh) |
WO (1) | WO2018201162A1 (zh) |
Families Citing this family (21)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US10552691B2 (en) | 2017-04-25 | 2020-02-04 | TuSimple | System and method for vehicle position and velocity estimation based on camera and lidar data |
US10737695B2 (en) * | 2017-07-01 | 2020-08-11 | Tusimple, Inc. | System and method for adaptive cruise control for low speed following |
US10752246B2 (en) | 2017-07-01 | 2020-08-25 | Tusimple, Inc. | System and method for adaptive cruise control with proximate vehicle detection |
KR102420568B1 (ko) * | 2018-04-27 | 2022-07-13 | 삼성전자주식회사 | 차량의 위치를 결정하는 방법 및 이를 위한 차량 |
CN110163904B (zh) | 2018-09-11 | 2022-04-22 | 腾讯大地通途(北京)科技有限公司 | 对象标注方法、移动控制方法、装置、设备及存储介质 |
US10878282B2 (en) * | 2018-10-15 | 2020-12-29 | Tusimple, Inc. | Segmentation processing of image data for LiDAR-based vehicle tracking system and method |
CN109684944B (zh) * | 2018-12-10 | 2021-09-03 | 百度在线网络技术(北京)有限公司 | 障碍物检测方法、装置、计算机设备和存储介质 |
CN110068826B (zh) * | 2019-03-27 | 2021-05-07 | 东软睿驰汽车技术(沈阳)有限公司 | 一种测距的方法及装置 |
RU2767955C1 (ru) | 2019-05-27 | 2022-03-22 | Общество с ограниченной ответственностью "Яндекс Беспилотные Технологии" | Способы и системы для определения компьютером наличия динамических объектов |
CN110281950B (zh) | 2019-07-08 | 2020-09-04 | 睿镞科技(北京)有限责任公司 | 基于三维声像传感器的载运工具控制与可视化环境体验 |
US11300677B2 (en) * | 2019-07-08 | 2022-04-12 | GM Global Technology Operations LLC | Automated driving systems and control logic for host vehicle velocity estimation using wide aperture radar |
US11235768B2 (en) | 2019-07-25 | 2022-02-01 | Ford Global Technologies, Llc | Detection of vehicle operating conditions |
US11556000B1 (en) | 2019-08-22 | 2023-01-17 | Red Creamery Llc | Distally-actuated scanning mirror |
US11067668B1 (en) * | 2020-02-03 | 2021-07-20 | Outsight SA | System, method, and computer program product for automatically configuring a detection device |
CN112193073B (zh) * | 2020-09-30 | 2023-09-08 | 江苏悦达专用车有限公司 | 一种电动汽车整车控制器降功率处理系统 |
CN112598705B (zh) * | 2020-12-17 | 2024-05-03 | 太原理工大学 | 一种基于双目视觉的车身姿态检测方法 |
JP7494724B2 (ja) * | 2020-12-18 | 2024-06-04 | トヨタ自動車株式会社 | 自動運転車両 |
JP2022152402A (ja) * | 2021-03-29 | 2022-10-12 | 本田技研工業株式会社 | 認識装置、車両システム、認識方法、およびプログラム |
EP4378183A1 (en) * | 2021-07-25 | 2024-06-05 | Tusimple, Inc. | Systems and methods for operating an autonomous vehicle |
CN113888903A (zh) * | 2021-11-05 | 2022-01-04 | 四川启睿克科技有限公司 | 一种头戴式车辆接近告警系统 |
CN114367110B (zh) * | 2022-01-10 | 2023-06-20 | 腾讯科技(深圳)有限公司 | 数据处理方法、装置、电子设备及存储介质 |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US8055445B2 (en) * | 2008-09-24 | 2011-11-08 | Delphi Technologies, Inc. | Probabilistic lane assignment method |
CN104102218A (zh) * | 2014-06-30 | 2014-10-15 | 西北工业大学 | 基于视觉伺服的感知与规避方法及系统 |
CN105358397A (zh) * | 2013-05-03 | 2016-02-24 | 谷歌公司 | 对控制车辆的速度的预测性推理 |
CN106354130A (zh) * | 2016-10-31 | 2017-01-25 | 北京新能源汽车股份有限公司 | 无人驾驶汽车及其控制方法和远程监控系统 |
Family Cites Families (123)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US5877897A (en) | 1993-02-26 | 1999-03-02 | Donnelly Corporation | Automatic rearview mirror, vehicle lighting control and vehicle interior monitoring system using a photosensor array |
US6822563B2 (en) | 1997-09-22 | 2004-11-23 | Donnelly Corporation | Vehicle imaging system with accessory control |
US7103460B1 (en) | 1994-05-09 | 2006-09-05 | Automotive Technologies International, Inc. | System and method for vehicle diagnostics |
US7783403B2 (en) | 1994-05-23 | 2010-08-24 | Automotive Technologies International, Inc. | System and method for preventing vehicular accidents |
US7655894B2 (en) | 1996-03-25 | 2010-02-02 | Donnelly Corporation | Vehicular image sensing system |
AU2003225228A1 (en) | 2002-05-03 | 2003-11-17 | Donnelly Corporation | Object detection system for vehicle |
KR100446636B1 (ko) * | 2002-11-21 | 2004-09-04 | 삼성전자주식회사 | 이동체의 움직임 및 이동체 전방에 위치한 물체의 3차원정보 측정 기능을 구비한 이동체 및 그 방법 |
US6777904B1 (en) | 2003-02-25 | 2004-08-17 | Ford Global Technologies, Llc | Method and system for controlling a motor |
US7263209B2 (en) * | 2003-06-13 | 2007-08-28 | Sarnoff Corporation | Vehicular vision system |
US20070230792A1 (en) | 2004-04-08 | 2007-10-04 | Mobileye Technologies Ltd. | Pedestrian Detection |
WO2005098751A1 (en) | 2004-04-08 | 2005-10-20 | Mobileye Technologies Limited | Crowd detection |
ATE396470T1 (de) | 2004-04-08 | 2008-06-15 | Mobileye Technologies Ltd | Kollisionswarnsystem |
US7526103B2 (en) | 2004-04-15 | 2009-04-28 | Donnelly Corporation | Imaging system for vehicle |
US7706978B2 (en) * | 2005-09-02 | 2010-04-27 | Delphi Technologies, Inc. | Method for estimating unknown parameters for a vehicle object detection system |
US8553088B2 (en) | 2005-11-23 | 2013-10-08 | Mobileye Technologies Limited | Systems and methods for detecting obstructions in a camera field of view |
US8164628B2 (en) | 2006-01-04 | 2012-04-24 | Mobileye Technologies Ltd. | Estimating distance to an object using a sequence of images recorded by a monocular camera |
US7689559B2 (en) | 2006-02-08 | 2010-03-30 | Telenor Asa | Document similarity scoring and ranking method, device and computer program product |
US7786898B2 (en) | 2006-05-31 | 2010-08-31 | Mobileye Technologies Ltd. | Fusion of far infrared and visible images in enhanced obstacle detection in automotive applications |
US8139109B2 (en) * | 2006-06-19 | 2012-03-20 | Oshkosh Corporation | Vision system for an autonomous vehicle |
ATE519193T1 (de) | 2006-12-06 | 2011-08-15 | Mobileye Technologies Ltd | Detektion und erkennung von verkehrszeichen |
US20080249667A1 (en) | 2007-04-09 | 2008-10-09 | Microsoft Corporation | Learning and reasoning to enhance energy efficiency in transportation systems |
US7839292B2 (en) | 2007-04-11 | 2010-11-23 | Nec Laboratories America, Inc. | Real-time driving danger level prediction |
US8041111B1 (en) | 2007-10-15 | 2011-10-18 | Adobe Systems Incorporated | Subjective and locatable color theme extraction for images |
EP2071515A1 (en) * | 2007-12-11 | 2009-06-17 | Honda Research Institute Europe GmbH | Visually tracking an object in real world using 2D appearance and multicue depth estimations |
US9176006B2 (en) | 2008-01-15 | 2015-11-03 | Mobileye Vision Technologies Ltd. | Detection and classification of light sources using a diffraction grating |
US9041915B2 (en) * | 2008-05-09 | 2015-05-26 | Ball Aerospace & Technologies Corp. | Systems and methods of scene and action capture using imaging system incorporating 3D LIDAR |
US9117133B2 (en) | 2008-06-18 | 2015-08-25 | Spectral Image, Inc. | Systems and methods for hyperspectral imaging |
US20100049397A1 (en) | 2008-08-22 | 2010-02-25 | Garmin Ltd. | Fuel efficient routing |
US8989972B2 (en) * | 2008-09-11 | 2015-03-24 | Deere & Company | Leader-follower fully-autonomous vehicle with operator on side |
US8126642B2 (en) | 2008-10-24 | 2012-02-28 | Gray & Company, Inc. | Control and systems for autonomously driven vehicles |
US9459515B2 (en) | 2008-12-05 | 2016-10-04 | Mobileye Vision Technologies Ltd. | Adjustable camera mount for a vehicle windshield |
US8812226B2 (en) * | 2009-01-26 | 2014-08-19 | GM Global Technology Operations LLC | Multiobject fusion module for collision preparation system |
US8175376B2 (en) | 2009-03-09 | 2012-05-08 | Xerox Corporation | Framework for image thumbnailing based on visual similarity |
EP2411961B1 (en) | 2009-03-26 | 2012-10-31 | TP Vision Holding B.V. | Method and apparatus for modifying an image by using a saliency map based on color frequency |
US8271871B2 (en) | 2009-04-30 | 2012-09-18 | Xerox Corporation | Automated method for alignment of document objects |
US8392117B2 (en) | 2009-05-22 | 2013-03-05 | Toyota Motor Engineering & Manufacturing North America, Inc. | Using topological structure for path planning in semi-structured environments |
US9002632B1 (en) | 2009-07-19 | 2015-04-07 | Aaron T. Emigh | Fuel cost optimized routing |
JP2011176748A (ja) | 2010-02-25 | 2011-09-08 | Sony Corp | 画像処理装置および方法、並びにプログラム |
US8260539B2 (en) * | 2010-05-12 | 2012-09-04 | GM Global Technology Operations LLC | Object and vehicle detection and tracking using 3-D laser rangefinder |
US9280711B2 (en) | 2010-09-21 | 2016-03-08 | Mobileye Vision Technologies Ltd. | Barrier and guardrail detection using a single camera |
US9118816B2 (en) | 2011-12-06 | 2015-08-25 | Mobileye Vision Technologies Ltd. | Road vertical contour detection |
US8509982B2 (en) | 2010-10-05 | 2013-08-13 | Google Inc. | Zone driving |
EP3588939B1 (en) | 2010-10-31 | 2023-10-18 | Mobileye Vision Technologies Ltd. | Bundling night vision and other driver assistance systems (das) using near infra red (nir) illumination and a rolling shutter |
US9355635B2 (en) | 2010-11-15 | 2016-05-31 | Futurewei Technologies, Inc. | Method and system for video summarization |
EP2993654B1 (en) | 2010-12-07 | 2017-05-03 | Mobileye Vision Technologies Ltd. | Method and system for forward collision warning |
US8401292B2 (en) | 2011-04-26 | 2013-03-19 | Eastman Kodak Company | Identifying high saliency regions in digital images |
US9233659B2 (en) | 2011-04-27 | 2016-01-12 | Mobileye Vision Technologies Ltd. | Pedestrian collision warning system |
KR101777875B1 (ko) | 2011-04-28 | 2017-09-13 | 엘지디스플레이 주식회사 | 입체 영상 표시장치와 그 입체 영상 조절 방법 |
US9183447B1 (en) | 2011-06-09 | 2015-11-10 | Mobileye Vision Technologies Ltd. | Object detection using candidate object alignment |
DE112012003140T5 (de) | 2011-07-28 | 2014-06-26 | Honda Motor Co., Ltd. | Drahtloses Energieübertragungsverfahren |
DE102011083749B4 (de) | 2011-09-29 | 2015-06-11 | Aktiebolaget Skf | Rotorblatt einer Windkraftanlage mit einer Vorrichtung zum Erfassen eines Abstandswertes und Verfahren zum Erfassen eines Abstandswertes |
US9297641B2 (en) | 2011-12-12 | 2016-03-29 | Mobileye Vision Technologies Ltd. | Detection of obstacles at night by analysis of shadows |
FR2984254B1 (fr) | 2011-12-16 | 2016-07-01 | Renault Sa | Controle de vehicules autonomes |
JP5605381B2 (ja) | 2012-02-13 | 2014-10-15 | 株式会社デンソー | クルーズ制御装置 |
US9042648B2 (en) | 2012-02-23 | 2015-05-26 | Microsoft Technology Licensing, Llc | Salient object segmentation |
US9128185B2 (en) * | 2012-03-15 | 2015-09-08 | GM Global Technology Operations LLC | Methods and apparatus of fusing radar/camera object data and LiDAR scan points |
US9476970B1 (en) | 2012-03-19 | 2016-10-25 | Google Inc. | Camera based localization |
US9134402B2 (en) | 2012-08-13 | 2015-09-15 | Digital Signal Corporation | System and method for calibrating video and lidar subsystems |
US9025880B2 (en) | 2012-08-29 | 2015-05-05 | Disney Enterprises, Inc. | Visual saliency estimation for images and video |
US9120485B1 (en) | 2012-09-14 | 2015-09-01 | Google Inc. | Methods and systems for smooth trajectory generation for a self-driving vehicle |
US9111444B2 (en) | 2012-10-31 | 2015-08-18 | Raytheon Company | Video and lidar target detection and tracking system and method for segmenting moving targets |
US9092430B2 (en) | 2013-01-02 | 2015-07-28 | International Business Machines Corporation | Assigning shared catalogs to cache structures in a cluster computing system |
US8788134B1 (en) | 2013-01-04 | 2014-07-22 | GM Global Technology Operations LLC | Autonomous driving merge management system |
CN110213565B (zh) | 2013-01-15 | 2021-03-09 | 移动眼视力科技有限公司 | 成像系统和用于深度计算的方法 |
US9277132B2 (en) | 2013-02-21 | 2016-03-01 | Mobileye Vision Technologies Ltd. | Image distortion correction of a camera with a rolling shutter |
US9111355B1 (en) | 2013-03-13 | 2015-08-18 | Hrl Laboratories, Llc | Selective color processing for vision systems that enables optimal detection and recognition |
US9147255B1 (en) | 2013-03-14 | 2015-09-29 | Hrl Laboratories, Llc | Rapid object detection by combining structural information from image segmentation with bio-inspired attentional mechanisms |
US9342074B2 (en) | 2013-04-05 | 2016-05-17 | Google Inc. | Systems and methods for transitioning control of an autonomous vehicle to a driver |
US9438878B2 (en) | 2013-05-01 | 2016-09-06 | Legend3D, Inc. | Method of converting 2D video to 3D video using 3D object models |
CN111024099B (zh) | 2013-06-13 | 2023-10-27 | 移动眼视力科技有限公司 | 用于导航的移动装置、非暂时性机器可读介质和设备 |
US9110163B2 (en) * | 2013-06-14 | 2015-08-18 | Microsoft Technology Licensing, Llc | Lidar-based classification of object movement |
US9336436B1 (en) * | 2013-09-30 | 2016-05-10 | Google Inc. | Methods and systems for pedestrian avoidance |
US9315192B1 (en) | 2013-09-30 | 2016-04-19 | Google Inc. | Methods and systems for pedestrian avoidance using LIDAR |
US9122954B2 (en) | 2013-10-01 | 2015-09-01 | Mobileye Vision Technologies Ltd. | Performing a histogram using an array of addressable registers |
US9738280B2 (en) | 2013-10-03 | 2017-08-22 | Robert Bosch Gmbh | Adaptive cruise control with on-ramp detection |
US9299004B2 (en) | 2013-10-24 | 2016-03-29 | Adobe Systems Incorporated | Image foreground detection |
US9330334B2 (en) | 2013-10-24 | 2016-05-03 | Adobe Systems Incorporated | Iterative saliency map estimation |
US8989944B1 (en) * | 2013-11-26 | 2015-03-24 | Google Inc. | Methods and devices for determining movements of an object in an environment |
US9796400B2 (en) * | 2013-11-27 | 2017-10-24 | Solfice Research, Inc. | Real time machine vision and point-cloud analysis for remote sensing and vehicle control |
EP3808634A1 (en) | 2013-12-04 | 2021-04-21 | Mobileye Vision Technologies Ltd. | Navigating a vehicle to pass another vehicle |
US9285230B1 (en) * | 2013-12-20 | 2016-03-15 | Google Inc. | Methods and systems for detecting road curbs |
WO2015103159A1 (en) | 2013-12-30 | 2015-07-09 | Tieman Craig Arnold | Connected vehicle system with infotainment interface for mobile devices |
CN106462727B (zh) | 2014-01-30 | 2020-02-11 | 移动眼视力科技有限公司 | 车辆、车道终止检测系统和方法 |
CN106461774B (zh) | 2014-02-20 | 2019-04-23 | 御眼视觉技术有限公司 | 基于雷达提示视觉成像的高级驾驶员辅助系统 |
CN103793925B (zh) | 2014-02-24 | 2016-05-18 | 北京工业大学 | 融合时空特征的视频图像视觉显著程度检测方法 |
DE102014205170A1 (de) | 2014-03-20 | 2015-11-26 | Bayerische Motoren Werke Aktiengesellschaft | Verfahren und Vorrichtung zum Ermitteln einer Trajektorie für ein Fahrzeug |
US20150268338A1 (en) * | 2014-03-22 | 2015-09-24 | Ford Global Technologies, Llc | Tracking from a vehicle |
US9098754B1 (en) * | 2014-04-25 | 2015-08-04 | Google Inc. | Methods and systems for object detection using laser point clouds |
CN105100134A (zh) | 2014-04-28 | 2015-11-25 | 思科技术公司 | 屏幕共享缓存管理 |
CN112580456A (zh) | 2014-05-14 | 2021-03-30 | 御眼视觉技术有限公司 | 用于路缘检测和行人危险评估的系统和方法 |
US9720418B2 (en) | 2014-05-27 | 2017-08-01 | Here Global B.V. | Autonomous vehicle monitoring and control |
US10572744B2 (en) | 2014-06-03 | 2020-02-25 | Mobileye Vision Technologies Ltd. | Systems and methods for detecting an object |
US9457807B2 (en) | 2014-06-05 | 2016-10-04 | GM Global Technology Operations LLC | Unified motion planning algorithm for autonomous driving vehicle in obstacle avoidance maneuver |
US9554030B2 (en) | 2014-09-29 | 2017-01-24 | Yahoo! Inc. | Mobile device image acquisition using objects of interest recognition |
US9746550B2 (en) | 2014-10-08 | 2017-08-29 | Ford Global Technologies, Llc | Detecting low-speed close-range vehicle cut-in |
KR101664582B1 (ko) | 2014-11-12 | 2016-10-10 | 현대자동차주식회사 | 자율주행차량의 주행경로 생성장치 및 방법 |
US20160231746A1 (en) * | 2015-02-06 | 2016-08-11 | Delphi Technologies, Inc. | System And Method To Operate An Automated Vehicle |
US10115024B2 (en) | 2015-02-26 | 2018-10-30 | Mobileye Vision Technologies Ltd. | Road vertical contour detection using a stabilized coordinate frame |
US9625582B2 (en) * | 2015-03-25 | 2017-04-18 | Google Inc. | Vehicle with multiple light detection and ranging devices (LIDARs) |
JP6421684B2 (ja) | 2015-04-17 | 2018-11-14 | 井関農機株式会社 | 乗用草刈機 |
US10635761B2 (en) | 2015-04-29 | 2020-04-28 | Energid Technologies Corporation | System and method for evaluation of object autonomy |
US9711050B2 (en) * | 2015-06-05 | 2017-07-18 | Bao Tran | Smart vehicle |
US9836056B2 (en) * | 2015-06-05 | 2017-12-05 | Bao Tran | Smart vehicle |
DE102015211926A1 (de) | 2015-06-26 | 2016-12-29 | Robert Bosch Gmbh | Verfahren und Vorrichtung zum Ermitteln bzw. Bewerten einer Soll-Trajektorie eines Kraftfahrzeugs |
JP6436237B2 (ja) | 2015-07-23 | 2018-12-12 | 日本電気株式会社 | 経路切替装置、経路切替システムおよび経路切替方法 |
WO2017021473A1 (en) * | 2015-08-03 | 2017-02-09 | Tomtom Global Content B.V. | Methods and systems for generating and using localisation reference data |
US9587952B1 (en) | 2015-09-09 | 2017-03-07 | Allstate Insurance Company | Altering autonomous or semi-autonomous vehicle operation based on route traversal values |
US9630619B1 (en) * | 2015-11-04 | 2017-04-25 | Zoox, Inc. | Robotic vehicle active safety systems and methods |
US9841763B1 (en) * | 2015-12-16 | 2017-12-12 | Uber Technologies, Inc. | Predictive sensor array configuration system for an autonomous vehicle |
KR102373926B1 (ko) * | 2016-02-05 | 2022-03-14 | 삼성전자주식회사 | 이동체 및 이동체의 위치 인식 방법 |
US9568915B1 (en) | 2016-02-11 | 2017-02-14 | Mitsubishi Electric Research Laboratories, Inc. | System and method for controlling autonomous or semi-autonomous vehicle |
US9535423B1 (en) | 2016-03-29 | 2017-01-03 | Adasworks Kft. | Autonomous vehicle with improved visual detection ability |
CN107817503B (zh) * | 2016-09-14 | 2018-12-21 | 北京百度网讯科技有限公司 | 应用于激光点云数据的运动补偿方法和装置 |
US11085775B2 (en) * | 2016-09-28 | 2021-08-10 | Tomtom Global Content B.V. | Methods and systems for generating and using localisation reference data |
US10248872B2 (en) * | 2016-10-19 | 2019-04-02 | Texas Instruments Incorporated | Estimation of time to collision in a computer vision system |
EP3392798A1 (en) * | 2017-04-21 | 2018-10-24 | Delphi Technologies, Inc. | A method for the semantic segmentation of an image |
US10552691B2 (en) | 2017-04-25 | 2020-02-04 | TuSimple | System and method for vehicle position and velocity estimation based on camera and lidar data |
US10558864B2 (en) * | 2017-05-18 | 2020-02-11 | TuSimple | System and method for image localization based on semantic segmentation |
US10737695B2 (en) * | 2017-07-01 | 2020-08-11 | Tusimple, Inc. | System and method for adaptive cruise control for low speed following |
US10493988B2 (en) * | 2017-07-01 | 2019-12-03 | TuSimple | System and method for adaptive cruise control for defensive driving |
US10163017B2 (en) * | 2017-09-01 | 2018-12-25 | GM Global Technology Operations LLC | Systems and methods for vehicle signal light detection |
US20180095475A1 (en) * | 2017-11-22 | 2018-04-05 | GM Global Technology Operations LLC | Systems and methods for visual position estimation in autonomous vehicles |
US10546202B2 (en) * | 2017-12-14 | 2020-01-28 | Toyota Research Institute, Inc. | Proving hypotheses for a vehicle using optimal experiment design |
-
2017
- 2017-04-25 US US15/496,113 patent/US10552691B2/en active Active
- 2017-10-27 CN CN201711020454.5A patent/CN107816976B/zh active Active
-
2018
- 2018-05-18 EP EP18791957.6A patent/EP3616020A4/en active Pending
- 2018-05-18 CN CN201880027842.2A patent/CN110914707B/zh active Active
- 2018-05-18 CN CN202311407767.1A patent/CN117452428A/zh active Pending
- 2018-05-18 WO PCT/US2018/033470 patent/WO2018201162A1/en unknown
- 2018-05-18 AU AU2018256926A patent/AU2018256926B2/en active Active
-
2020
- 2020-01-25 US US16/752,637 patent/US11557128B2/en active Active
-
2022
- 2022-12-28 US US18/090,217 patent/US11928868B2/en active Active
-
2023
- 2023-06-23 AU AU2023203964A patent/AU2023203964A1/en active Pending
-
2024
- 2024-03-05 US US18/596,354 patent/US20240212363A1/en active Pending
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US8055445B2 (en) * | 2008-09-24 | 2011-11-08 | Delphi Technologies, Inc. | Probabilistic lane assignment method |
CN105358397A (zh) * | 2013-05-03 | 2016-02-24 | 谷歌公司 | 对控制车辆的速度的预测性推理 |
CN104102218A (zh) * | 2014-06-30 | 2014-10-15 | 西北工业大学 | 基于视觉伺服的感知与规避方法及系统 |
CN106354130A (zh) * | 2016-10-31 | 2017-01-25 | 北京新能源汽车股份有限公司 | 无人驾驶汽车及其控制方法和远程监控系统 |
Also Published As
Publication number | Publication date |
---|---|
CN110914707B (zh) | 2023-11-07 |
CN110914707A (zh) | 2020-03-24 |
AU2018256926B2 (en) | 2023-03-30 |
CN107816976A (zh) | 2018-03-20 |
US20230162510A1 (en) | 2023-05-25 |
EP3616020A1 (en) | 2020-03-04 |
EP3616020A4 (en) | 2020-12-30 |
AU2023203964A1 (en) | 2023-07-13 |
US20200160071A1 (en) | 2020-05-21 |
CN117452428A (zh) | 2024-01-26 |
US10552691B2 (en) | 2020-02-04 |
AU2018256926A1 (en) | 2019-10-31 |
WO2018201162A1 (en) | 2018-11-01 |
US11928868B2 (en) | 2024-03-12 |
US20240212363A1 (en) | 2024-06-27 |
US11557128B2 (en) | 2023-01-17 |
US20180308250A1 (en) | 2018-10-25 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN107816976B (zh) | 一种接近物体的位置确定方法和装置 | |
CN107796374B (zh) | 一种图像定位方法、系统和装置 | |
CN107776574B (zh) | 一种自动驾驶车辆的驾驶模式切换方法和装置 | |
US12073724B2 (en) | System and method for determining car to lane distance | |
CN111208813B (zh) | 一种自动驾驶车辆的动力学预测控制系统和方法 | |
US11783598B2 (en) | Systems and methods for detecting trailer angle | |
US11729520B2 (en) | Sensor layout for autonomous vehicles | |
CN110356401B (zh) | 一种自动驾驶车辆及其变道控制方法和系统 | |
WO2020056431A9 (en) | System and method for three-dimensional (3d) object detection | |
US20240255293A1 (en) | Systems and methods for autonomous route navigation | |
US20230236603A1 (en) | Systems and methods for projecting a three-dimensional (3d) surface to a two-dimensional (2d) surface for use in autonomous driving | |
CN113865599A (zh) | 用于导航地图版本管理的系统和方法 | |
CN115056784B (zh) | 车辆控制方法、装置、车辆、存储介质及芯片 | |
CN115082886B (zh) | 目标检测的方法、装置、存储介质、芯片及车辆 | |
CN114842454B (zh) | 障碍物检测方法、装置、设备、存储介质、芯片及车辆 | |
CN114822216B (zh) | 生成车位地图的方法、装置、车辆、存储介质及芯片 | |
CN115407344A (zh) | 栅格地图创建方法、装置、车辆及可读存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant | ||
CP01 | Change in the name or title of a patent holder |
Address after: 101300 Shunyi District Zhongguancun Science Park, Shunyi Park, No. 1 Linkong Second Road, Shunyi District, Beijing Patentee after: BEIJING TUSEN WEILAI TECHNOLOGY Co.,Ltd. Patentee after: Tucson Ltd. Address before: 101300 Shunyi District Zhongguancun Science Park, Shunyi Park, No. 1 Linkong Second Road, Shunyi District, Beijing Patentee before: BEIJING TUSEN WEILAI TECHNOLOGY Co.,Ltd. Patentee before: TUSIMPLE |
|
CP01 | Change in the name or title of a patent holder |