CN108931773B - 车用六维点云系统 - Google Patents
车用六维点云系统 Download PDFInfo
- Publication number
- CN108931773B CN108931773B CN201810434983.8A CN201810434983A CN108931773B CN 108931773 B CN108931773 B CN 108931773B CN 201810434983 A CN201810434983 A CN 201810434983A CN 108931773 B CN108931773 B CN 108931773B
- Authority
- CN
- China
- Prior art keywords
- point
- dimensional
- point cloud
- processor
- points
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 230000004044 response Effects 0.000 claims abstract description 8
- 238000000034 method Methods 0.000 claims description 11
- 238000010606 normalization Methods 0.000 claims description 9
- 230000003068 static effect Effects 0.000 claims description 8
- 238000013528 artificial neural network Methods 0.000 claims description 2
- 238000013135 deep learning Methods 0.000 claims description 2
- 230000004913 activation Effects 0.000 claims 1
- 238000012937 correction Methods 0.000 description 9
- 239000011159 matrix material Substances 0.000 description 9
- 238000004364 calculation method Methods 0.000 description 7
- 238000005259 measurement Methods 0.000 description 5
- 238000010586 diagram Methods 0.000 description 4
- 230000006870 function Effects 0.000 description 4
- 238000012545 processing Methods 0.000 description 4
- 230000008569 process Effects 0.000 description 3
- 230000008901 benefit Effects 0.000 description 2
- 238000001514 detection method Methods 0.000 description 2
- 238000009434 installation Methods 0.000 description 2
- 230000001133 acceleration Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000000354 decomposition reaction Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 230000002688 persistence Effects 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 238000001228 spectrum Methods 0.000 description 1
- 230000002123 temporal effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
- G05D1/02—Control of position or course in two dimensions
- G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
- G05D1/0268—Control of position or course in two dimensions specially adapted to land vehicles using internal positioning means
- G05D1/0274—Control of position or course in two dimensions specially adapted to land vehicles using internal positioning means using mapping information stored in a memory device
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
- G01S13/88—Radar or analogous systems specially adapted for specific applications
- G01S13/93—Radar or analogous systems specially adapted for specific applications for anti-collision purposes
- G01S13/931—Radar or analogous systems specially adapted for specific applications for anti-collision purposes of land vehicles
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
- G01S7/02—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00
- G01S7/41—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00 using analysis of echo signal for target characterisation; Target signature; Target cross-section
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W30/00—Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units
- B60W30/10—Path keeping
- B60W30/12—Lane keeping
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W30/00—Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units
- B60W30/14—Adaptive cruise control
- B60W30/16—Control of distance between vehicles, e.g. keeping a distance to preceding vehicle
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
- G01S17/86—Combinations of lidar systems with systems other than lidar, radar or sonar, e.g. with direction finders
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
- G01S7/02—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00
- G01S7/41—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00 using analysis of echo signal for target characterisation; Target signature; Target cross-section
- G01S7/415—Identification of targets based on measurements of movement associated with the target
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
- G05D1/02—Control of position or course in two dimensions
- G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
- G05D1/0212—Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory
- G05D1/0214—Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory in accordance with safety or protection criteria, e.g. avoiding hazardous areas
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
- G05D1/02—Control of position or course in two dimensions
- G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
- G05D1/0212—Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory
- G05D1/0223—Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory involving speed control of the vehicle
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
- G05D1/02—Control of position or course in two dimensions
- G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
- G05D1/0231—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
- G05D1/0246—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
- G05D1/02—Control of position or course in two dimensions
- G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
- G05D1/0255—Control of position or course in two dimensions specially adapted to land vehicles using acoustic signals, e.g. ultra-sonic singals
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60T—VEHICLE BRAKE CONTROL SYSTEMS OR PARTS THEREOF; BRAKE CONTROL SYSTEMS OR PARTS THEREOF, IN GENERAL; ARRANGEMENT OF BRAKING ELEMENTS ON VEHICLES IN GENERAL; PORTABLE DEVICES FOR PREVENTING UNWANTED MOVEMENT OF VEHICLES; VEHICLE MODIFICATIONS TO FACILITATE COOLING OF BRAKES
- B60T2201/00—Particular use of vehicle brake systems; Special systems using also the brakes; Special software modules within the brake system controller
- B60T2201/08—Lane monitoring; Lane Keeping Systems
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
- G01S7/02—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00
- G01S7/40—Means for monitoring or calibrating
- G01S7/4004—Means for monitoring or calibrating of parts of a radar system
- G01S7/4026—Antenna boresight
Landscapes
- Engineering & Computer Science (AREA)
- Radar, Positioning & Navigation (AREA)
- Remote Sensing (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Automation & Control Theory (AREA)
- Computer Networks & Wireless Communication (AREA)
- Aviation & Aerospace Engineering (AREA)
- Electromagnetism (AREA)
- Mechanical Engineering (AREA)
- Transportation (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Multimedia (AREA)
- Acoustics & Sound (AREA)
- Radar Systems Or Details Thereof (AREA)
- Traffic Control Systems (AREA)
Abstract
提供了一种车用六维点云系统,其可用于例如针对点云中的各点计算点云中各点的三维速度,将点云中各点分割为一个或多个点簇,计算一个或多个点簇中的每一个的运动状态,确定与一个或多个点簇中的每一个相关联的物体类型,以及基于所确定的物体类型和一个或多个点簇中的每一个的运动状态来确定威胁等级和响应命令。
Description
引言
本技术领域总体上涉及车辆,且更具体地涉及用于操作车内雷达系统的系统和方法。
车辆通常利用各种传感器和系统来检测车辆周围的环境,以便当车辆处于无人驾驶状态时对车辆进行操纵,或者通过驾驶环境帮助驾驶员操纵车辆。一般而言,大多数现有的传感器和系统在较易预测的环境中更加有效,比如沿高速公路行驶的时候。相反,在城市环境中,如城市驾驶,由于车辆需要考虑的变量因素较多,对车辆的操纵会变得更加困难。
因此,需要在车内安装传感器系统,其能够在城市和高速公路环境中准确识别并跟踪物体。此外,结合本发明的附图及背景技术,本发明的其他期望特征和特点将在本发明的后续具体实施方式和所附权利要求书中变得显而易见。
发明内容
例如,在一实施例中,提供了一种车用六维点云系统。该系统可包括但不限于:多输入多输出雷达系统、存储器及与所述多输入多输出雷达系统和所述存储器通信连接的处理器。所述处理器配置用于:接收来自所述多输入多输出雷达系统的当前数据帧,所述当前数据帧包括一点云,该点云包括与由多输入多输出雷达系统于点云中各点检测到的物体对应的三维位置信息和多普勒数据;基于与存储器中所存储的当前数据帧中的点和来自先前数据帧的数据相关联的三维位置信息和多普勒数据针对点云中各点计算点云中各点的三维速度;基于与各点相关联的三维位置信息和所计算的各点的三维速度将点云中各点分割为一个或多个点簇;计算所述一个或多个点簇中的每一个的运动状态,所述运动状态包括各点簇的质心、各点簇的参考速度、各点簇的角速度和各点簇的轮廓点;确定与所述一个或多个点簇中的每一个相关联的物体类型;以及基于所确定的物体类型和所述一个或多个点簇中的每一个的运动状态来确定威胁等级和响应命令。
例如,另一实施例中提供了一种用于操作车用六维点云系统的方法。该方法可包括但不限于:多输入多输出雷达系统的处理器接收包括一点云的当前数据帧,所述点云包括与由多输入多输出雷达系统检测的物体对应的点云内各点的三维位置信息和多普勒数据;点云内各点的处理器基于三维位置信息和多普勒数据计算点云中各点的三维速度,所述三维位置信息和多普勒数据与存储器中所存储的当前数据帧中的点和先前数据帧的数据相关联;处理器基于与各点相关联的三维位置信息和所计算的各点的三维速度将点云中各点分割为一个或多个点簇;处理器计算所述一个或多个点簇中的每一个的运动状态,所述运动状态包括各点簇的质心、各点簇的参考速度、各点簇的角速度和各点簇的轮廓点;处理器确定与所述一个或多个点簇中的每一个相关联的物体类型;以及处理器基于所确定的物体类型和所述一个或多个点簇中的每一个的运动状态来确定威胁等级和响应命令。
附图说明
以下将结合下列附图对示例性实施例进行说明,其中相同的数字表示相同的元件,且其中:
图1是根据一个实施例的车辆的框图;
图2是根据一个实施例的用于操作六维点云系统的示例性方法的流程图;并且
图3示出了示例性的笛卡尔坐标系中当前数据帧和先前数据帧中的数据点。
具体实施方式
以下具体实施方式本质上仅是示例性的,并非旨在限制其应用和用途。此外,并不意图受前述技术领域、背景技术、发明内容或者以下具体实施方式中所列的任何明示或暗示理论的约束。
如上所述,因为车辆能遇到大量多变情形,所以城市环境对于车辆操纵来说非常具有挑战性。因此,如下面进一步详细论述,提供了一种六维点云系统,其利用多输入多输出雷达系统在城市和高速公路环境中准确识别并跟踪车辆周围的物体。
图1是根据实施例的车辆100的框图。在一实施例中,例如,车辆100可以是汽车。然而,在其他实施例中,车辆100可以是,例如飞行器、航天器、船舶等或其任意组合。
所述车辆100包括六维(6D)点云系统110。如下面进一步详细论述,所述6D点云系统110生成物体的三维(3D)速度数据和3D位置数据以便准确识别并跟踪车辆附近的物体。所述物体可以是,例如其他车辆、摩托车、自行车、行人、路灯、路标、建筑物/警示物(如,路障、锥形物,圆鼓等)等。
所述六维点云系统110包括多输入多输出(MIMO)雷达系统120。所述MIMO雷达系统可包括一个或多个集中式或分布式天线,其可以同时传输和接收同一视场中多个频率的雷达信号。因此,所述MIMO雷达系统120能够产生密集点云数据。物体每反射雷达信号一次,就会创造点云中的一个点。与单一物体对应的点云中点的数量可随物体的大小和物体与车之间的距离变化。如下面进一步详细论述,所述MIMO雷达系统120为点云中各点输出多个数据点,所述6D点云系统110利用所述多个数据点对物体进行识别和跟踪。
所述6D点云系统110进一步包括至少一个处理器130。所述至少一个处理器130可以是中央处理器(CPU)、图形处理器(GPU)、物理处理器(PPU)、专用集成电路(ASIC)、现场可编程门阵列(FPGA)、微控制器或其他任何逻辑装置或其任意组合。尽管所述6D点云系统110可利用多个处理器130,为简单起见,所述至少一个处理器130以下简称为单一处理器130。
所述6D点云系统110进一步包括存储器140。所述存储器可以是易失性存储器和非易失性存储器的任意组合。如下面进一步详细论述,所述存储器140可以存储所述MIMO雷达系统的数据帧,以便进行处理。如此处所述,所述存储器140可以存储用于实现所述6D点云系统110的非暂时性计算机可读指令。
所述车辆100进一步包括至少一个可由所述6D点云系统110控制的控制系统150。所述控制系统150可以是,例如刹车系统、加速系统、转向系统、照明系统等。当所述6D点云系统110识别可能会撞击或靠近所述车辆100的物体时,所述6D点云系统110可产生一控制信号以激活控制系统产生警告,躲避该物体或尽量减小与该物体的撞击。
图2是根据实施例的用于操作6D点云系统的示例性方法的流程图。所述处理器130接收所述MIMO雷达系统120的数据帧。(步骤205)。该数据帧包括某点的即时雷达图像的点云中各数据点的数据。该数据帧包括点云中各数据点的四个数据点。所述四个数据点包括三个位置数据点和一个多普勒数据点。强度数据点可根据四个数据点中的一个或多个数据点生成。例如,强度基于所接收位置的信号强度或多普勒数据点。在一实施例中,例如,雷达可输出三个位置数据点作为一个范围,还可输出与所述MIMO雷达系统120位置相对的方位角和仰角。在另一实施例中,例如,雷达可输出三个位置数据点作为笛卡尔坐标(即X,Y和Z)。
所述强度数据点可根据例如瓦特、分贝、距离(米)、速度(米/秒)、多普勒(赫兹)、角(度)等进行测量。所述多普勒数据点包括距离和距率。换句话说,多普勒数据点包括数据以及物体与所述车辆100之间的距离,该数据所对应的是与物体对应的点云中的点是否离所述车辆100更近或更远。
然后,处理器130计算点云中各个数据点的三维速度估值,物体通过所述MIMO雷达系统120在点云中进行检测。(步骤210)。为了确定点云中各个数据点的三维速度估值,所述处理器130必须确定点云中哪个点与先前数据帧的点云中哪个点对应。图3示出了示例性笛卡尔坐标系中当前数据帧和先前数据帧中的数据点。在该示例中,圆300,310和320与先前数据帧点云中的点相对应,而且实线圆330,340和350与当前数据帧点云中的点相对应。为了确定点330的速度,所述处理器130必须确定点300-320中哪个点与先前数据帧中点330相对应,然后使用所确定的点与点320之间的相对距离来确定点330的速度。在一实施例中,例如,所述处理器可以根据等式1同时确定与当前框中各个点对应的先前框中的点和当前框中各点的速度:
因此,所述处理器130通过确定当前数据帧点云中各点和先前框点云中各点之间的最小速度vk(即argminvk)来确定当前框点云中各点k的三维速度vk。等式1中,sk为所述MIMO雷达系统120接收的当前框中点k的多维位置数据(即上述三个位置点),由该多维位置数据确定速度,mj为当前框点云中各点之一的位置数据,dk为当前框中各点的多普勒测量(即sk多普勒测量),nk为从所述MIMO雷达系统120的中心到点sk的单位方向,σ1andσ2为校准参数,Nk为与先前时间框中所检测的点mj相匹配的当前时间框中雷达反射点的数量,且ajk为mj和sk相关联的概率。在一实施例中,例如,ajk可根据等式2计算。
其中Ik是点sk的强度值,Ij是点mj的强度值,c是归一化因数,使得所有ajk之和等于1。换句话说,c是归一化因数,使得先前数据帧中点云中的任何给定点与当前数据帧中点云的点sk相对应的所有概率之和等于1。在等式1和等式2中,Δt是各个数据帧之间的时间差,σ1,σ2和σ3分别是校准参数,即位置测量的标准偏差、多普勒测量和校准目标(例如角反射器)的强度测量。处理器130在执行等式1和等式2中的计算时,可首先将sk的速度vk设置为换句话说,假设sk的速度vk为先前数据帧点云中各点与当前数据帧中点sk相对应的概率之和乘以在先前三维速度计算中确定的先前数据帧点云中各点的速度(即,在先前计算中确定的先前数据帧点云的点的vk)。
返回图2,处理器130接着从数据帧中去除噪声分辨点(步骤215)。在一实施例中,例如,处理器130可基于时间持续性去除后续计算中的数据点。换句话说,与先前点云中的点不相关的当前点云中的点在任何后续计算中不予考虑。
接着,处理器130将当前框点云中的各点划分为静态点或动态点(步骤220)。当点的估计相对速度在预定阈值以下时,认为点云中的点是静态的。例如,阈值可以高于噪音水平10分贝(dB)。处理器130在用车辆的横摆、俯仰和侧倾补偿点的速度vk(步骤215中确定的)以及基于MIMO雷达系统120的位置以及车辆的横摆、俯仰和侧倾补偿点的位置(即MIMO雷达系统120的三个位置点)之后,通过比较点的速度与车辆速度来确定当前框点云中各点的相对速度。在一实施例中,例如,处理器可基于等式3确定点云中各点的分类:
‖R·vk+(ωH·R·sk+VH)‖<ε
等式3
其中vk是当前数据帧中点的速度,ωH是车辆100的俯仰率,sk是当前数据帧中点的位置,VH是车辆100的速度,R是用车辆100的横摆、俯仰和侧倾补偿速度vk和位置sk的转动矩阵。在一实施例中,例如,转动矩阵R可以根据等式4来计算:
其中ψ是车辆100的横摆,θ是车辆100的俯仰,Φ是车辆的侧倾,c表示余弦函数(即cθ=cos(θ)),s表示正弦函数(即sΦ=sin(Φ))。
在等式3中,ε表示预先确定的固定速度。在一实施例中,例如,ε可小于每小时0.5公里(KPH)。因此,如果等式3中左边表示的速度之和的范数小于ε,则处理器130将点云中的点划分为静态的。然而,如果等式3中左边表示的速度之和的范数大于ε,则处理器将点云中的点划分为动态的。处理器130在步骤220中对当前数据帧中点云的每个点执行此计算。
在一实施例中,例如,处理器130可分析被划分为静态的点云中的点,以便纠正雷达角度校准(步骤225)。换句话说,处理器130可分析被划分为静态的点云中的点,以确定MIMO雷达系统120的角度是否已经偏离预定的角度。偏差可能来自对车辆100的影响,或者来自在安装MIMO雷达系统120期间的安装公差。
考虑到静态雷达点sk,我们得出Rvk=uk,uk=-(ωH×pk+vH),其中k=1,...,K。设=[v1 … υK]且β=[u1 … uK]。α和β可包括,例如1小时内当前时间框和先前时间框中的雷达点。涉及车辆框架的雷达的未知转动矩阵R等于UCVT,C是矩阵。
det(UVT)是矩阵UVT的行列式。U是左侧正交矩阵,V是矩阵βTα的奇异值分解的右侧正交矩阵。
雷达角校准的俯仰修正量θ、侧倾修正量Φ和和方位角修正量ψ可根据等式5,等式6和等式7进行计算:
θ=-arcsin(R(1,3))
等式5
ψ=arctan2(R(1,2),R(1,1))
等式7
其中,1、2和3是指矩阵R中的坐标。然后,由计算后的俯仰修正量θ、侧倾修正量Φ和和方位角修正量ψ补偿后续的雷达数据输入,从而将计算后的俯仰修正量θ、侧倾修正量Φ和和方位角修正量ψ用于纠正后续的雷达数据输入。
然后,处理器130可将当前框中的点云中的点分割成点簇(步骤230)。点云中的任意两点可根据等式8聚集在同一簇中:
换句话说,当点云中两个点j和k的三维位置之差pk-pj除以位置方差加上两个点j和k的三维速度之差uk-uj除以速度方差小于1时,则处理器130将点j和k关联到同一个簇中。如上所述,点k的三维速度可根据等式1来计算。三维位置基于MIMO雷达系统120的数据来确定。
然后所述处理器130可计算各点的运动状态(步骤235)。所述运动状态可包括,比如所述簇的质心、参考速度、角速度及轮廓点。所述簇轮廓对应簇外形。根据等式9,所述簇质心pcm可由所述处理器130确定:
等式9中,C对应簇中点数,pk对应簇中各点的位置。然后所述处理器130可根据等式10确定参考速度uref和参考角速度ωref:
其中ω是径向频率2πf。径向频率是目标运动产生的目标速度和测得的频移的函数。处理器130可根据簇中每个点k=1,2,…C的pk-pcm确定轮廓点。换句话说,处理器130结合簇中每个点k的三维位置之差和簇的质心的三维位置来确定簇中每个点的轮廓点。
在一实施例中,例如,处理器130可使用运动状态数据(即簇的质心、参考速度、参考角速度和簇的轮廓点)上的卡尔曼滤波器来跟踪和报告多个雷达数据帧上簇的平稳运动状态。在多个框上使用卡尔曼滤波器的一个好处是,运动状态数据中的任何异常都会得到均衡。
然后,处理器130可将物体划分为与各个簇相关联。(步骤240)。换句话说,处理器130为每个簇确定物体类型。可以将簇划分成如车辆、行人、路障、路灯、路标或车辆在路上可能遇到的任何物体。在一实施例中,例如,深度学习神经网络(DLNN)可执行物体分类。由于物体分类是一个复杂的过程,因此仅可在该过程中使用单独的处理器130,例如GPU或FPGA阵列。然而,如上所述,6D点云系统110中的处理器130的数量可根据处理器的性能水平和6D点云系统110的期望响应时间而变化。
处理器130可以将微-多普勒信号的归一化强度图和时间滑动窗输入到每个簇的DLNN。如上所述,所述MIMO雷达系统120可输出与每个数据点相关联的强度。所述归一化强度图是通过将强度值除以值的总数而得出的。所述微-多普勒信号的时间滑动窗与所述MIMO雷达系统120所接收的频率(赫兹)对应,所述MIMO雷达系统120在数据帧期间与该簇相对应。所述DLNN通过从微-多普勒信号的归一化强度图和时间滑动窗提取特征来创建每个簇的特征图。
处理器130基于与簇相关联的参考速度和簇的轮廓对簇进行分类。每类目标,例如行人或车辆,都具有一个典型的微-多普勒特征,从而当处理器130对光谱图(即,与目标对应的随时间变化的光谱)进行分析时,可以基于目标最相似的特征对目标进行分类。
接着,处理器130在该过程的后续步骤中跟踪划分的每个簇。(步骤245)。每个物体(例如,车辆、行人等)在点云中都有多个检测点。因此,处理器130不需要单独跟踪每个检测点,而是跟踪聚集在一起的各个点构成的组来表示一个对象。在方法200的后续过程中,处理器130跟踪点簇中心和点簇参数(例如,位置和速度)的变化。更新的中心和其他参数用在随后的威胁等级确定中。
然后,处理器130基于步骤235和245中确定的物体的运动状态数据(即质心、参考速度、参考角速度和轮廓)、步骤235中确定的物体类型和物体大小(即与物体对应的点云中点的数量)和响应命令来确定威胁等级。(步骤250)。响应命令可包括为车辆控制系统150生成一个命令以躲避该物体,从而尽量减小与该物体的撞击,警告有物体等。该命令可以是例如,基于簇速度和簇接近程度进行刹车、加速、转向、闪灯等。
6D点云系统110的一个好处在于,通过从MIMO雷达系统120接收的思维数据生成6D点云,6D点云系统110可使用小型传感器阵列准确地识别和跟踪城市环境中的物体。
尽管在上述详细描述中已经出现了至少一个示例性实施例,应理解,还存在大量变型。还应理解,一个或多个示例性实施例只是例子,并不是为了以任何方式限制本公开内容的范围、适用性或配置。相反,上述详细描述将为本领域技术人员提供一个方便的路线图,以实施一个或多个示例性实施例。应该理解的是,在不偏离所附权利要求及其法律等价物提出的公开内容的范围的情况下,可以对元件的功能和安排进行各种变化。
Claims (8)
1.一种车用六维点云系统,包括:
多输入多输出雷达系统;
存储器;及
与所述多输入多输出雷达系统和所述存储器通信连接的处理器,所述处理器配置用于:
接收来自所述多输入多输出雷达系统的当前数据帧,所述当前数据帧包括点云,所述点云包括与由所述多输入多输出雷达系统于所述点云中各点检测到的物体对应的三维位置信息和多普勒数据;
基于与所述存储器中所存储的所述当前数据帧中的点和来自先前数据帧的数据相关联的所述三维位置信息和多普勒数据针对所述点云中各点计算所述点云中各点的三维速度;
基于与各点相关联的所述三维位置信息和所计算的各点的三维速度将所述点云中各点分割为一个或多个点簇;
计算所述一个或多个点簇中的每一个的运动状态,所述运动状态包括各点簇的质心、各点簇的参考速度、各点簇的角速度和各点簇的轮廓点;
确定与所述一个或多个点簇中的每一个相关联的物体类型;以及
基于所确定的物体类型和所述一个或多个点簇中的每一个的所述运动状态来确定威胁等级和响应命令;
其中,所述处理器进一步配置用于根据下式计算所述点云中各个点k的三维速度v'k:
其中mj是所述先前数据帧中各点的三维位置,sk是所述当前数据帧中各点的三维位置,ajk是mj和sk相关联的概率,vk是所述当前数据帧中各点的计算得到的三维速度,Δt是所述先前数据帧和所述当前数据帧之间的时间差,dk是点sk的多普勒数据,nk是从雷达中心到点sk的单位方向,并且σ1和σ2是归一化参数;
其中,所述处理器进一步配置用于根据下式确定ajk:
其中c是归一化因数,dj是点mj的多普勒数据,Ik和Ij是对应于所述多输入多输出雷达系统的sk和mj的强度值,并且σ3是归一化参数。
2.如权利要求1所述的六维点云系统,其中,所述处理器进一步配置用于基于所述点云各点的所述三维速度将所述点云中的各点划分为静态点或动态点。
3.如权利要求1所述的六维点云系统,其中,所述处理器进一步配置用于基于与所述点云中的一个或多个静态点相关联的数据确定所述多输入多输出雷达系统的偏差角。
5.如权利要求1所述的六维点云系统,其中,所述处理器配置用于通过深度学习神经网络确定与所述簇相关联的物体类型。
6.如权利要求1所述的六维点云系统,还包括至少一个控制系统,其中确定的响应命令激活所述至少一个控制系统。
7.一种用于操作车用六维点云系统的方法,其包括:
处理器接收来自多输入多输出雷达系统的包括点云的当前数据帧,所述点云包括与由所述多输入多输出雷达系统检测的物体对应的所述点云内各点的三维位置信息和多普勒数据;
所述处理器基于所述三维位置信息和多普勒数据针对所述点云内各点计算所述点云中各点的三维速度,所述三维位置信息和多普勒数据与存储器中所存储的所述当前数据帧中的点和来自先前数据帧的数据相关联;
所述处理器基于与各点相关联的所述三维位置信息和所计算的各点的三维速度将所述点云中各点分割为一个或多个点簇;
所述处理器计算所述一个或多个点簇中的每一个的运动状态,所述运动状态包括各点簇的质心、各点簇的参考速度、各点簇的角速度和各点簇的轮廓点;
所述处理器确定与所述一个或多个点簇中的每一个相关联的物体类型;以及
所述处理器基于所确定的物体类型和所述一个或多个点簇中的每一个的所述运动状态来确定威胁等级和响应命令;
其中,所述处理器进一步配置用于根据下式计算所述点云中各个点k的三维速度v'k:
其中mj是所述先前数据帧中各点的三维位置,sk是所述当前数据帧中各点的三维位置,ajk是mj和sk相关联的概率,vk是所述当前数据帧中各点的计算得到的三维速度,Δt是所述先前数据帧和所述当前数据帧之间的时间差,dk是点sk的多普勒数据,nk是从雷达中心到点sk的单位方向,并且σ1和σ2是归一化参数;
其中,所述处理器进一步配置用于根据下式确定ajk:
其中c是归一化因数,dj是点mj的多普勒数据,Ik和Ij是对应于所述多输入多输出雷达系统的sk和mj的强度值,并且σ3是归一化参数。
8.如权利要求7所述的方法,还包括所述处理器基于所述点云的各点的所述三维速度将所述点云中的各点划分为静态点或动态点。
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US15/597,994 US10139833B1 (en) | 2017-05-17 | 2017-05-17 | Six-dimensional point cloud system for a vehicle |
US15/597994 | 2017-05-17 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN108931773A CN108931773A (zh) | 2018-12-04 |
CN108931773B true CN108931773B (zh) | 2023-01-13 |
Family
ID=64272292
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201810434983.8A Active CN108931773B (zh) | 2017-05-17 | 2018-05-09 | 车用六维点云系统 |
Country Status (3)
Country | Link |
---|---|
US (1) | US10139833B1 (zh) |
CN (1) | CN108931773B (zh) |
DE (1) | DE102018111626A1 (zh) |
Families Citing this family (15)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US11585896B2 (en) * | 2019-02-04 | 2023-02-21 | Metawave Corporation | Motion-based object detection in a vehicle radar using convolutional neural network systems |
US11828848B2 (en) * | 2019-03-14 | 2023-11-28 | Aeva, Inc. | Velocity estimation using doppler per point LiDAR systems |
CN111722196A (zh) * | 2019-03-19 | 2020-09-29 | 富士通株式会社 | 雷达反射点提取方法和装置 |
US11300677B2 (en) * | 2019-07-08 | 2022-04-12 | GM Global Technology Operations LLC | Automated driving systems and control logic for host vehicle velocity estimation using wide aperture radar |
US11361554B2 (en) | 2019-10-22 | 2022-06-14 | Robert Bosch Gmbh | Performing object and activity recognition based on data from a camera and a radar sensor |
DE102020204592A1 (de) * | 2020-04-09 | 2021-10-14 | Robert Bosch Gesellschaft mit beschränkter Haftung | Vorrichtung und Verfahren zur Verarbeitung von Radardaten und Radarsystem |
US11536831B2 (en) * | 2020-06-15 | 2022-12-27 | Gm Cruise Holdings Llc | Systems and methods for high velocity resolution high update rate radar for autonomous vehicles |
CN112068125B (zh) * | 2020-08-18 | 2023-09-08 | 南京六季光电技术研究院有限公司 | 一种六维探地雷达系统 |
US11448748B2 (en) | 2020-09-10 | 2022-09-20 | Argo AI, LLC | Systems and methods for simultaneous range-rate unwrapping and outlier removal for radar |
CN112327842B (zh) * | 2020-10-29 | 2022-06-03 | 深圳市普渡科技有限公司 | 机器人定位充电桩的方法及系统 |
CN112363500B (zh) * | 2020-10-29 | 2023-05-16 | 深圳市普渡科技有限公司 | 自动回充移动方法及系统 |
US11662454B2 (en) | 2020-11-02 | 2023-05-30 | Ford Global Technologies, Llc | Systems and methods for range-rate dealiasing using position consistency |
US11841439B2 (en) * | 2020-11-02 | 2023-12-12 | Waymo Llc | Point cloud segmentation using a coherent lidar for autonomous vehicle applications |
US11656629B1 (en) | 2020-12-08 | 2023-05-23 | Waymo Llc | Detection of particulate matter in autonomous vehicle applications |
CN114966673A (zh) * | 2022-05-31 | 2022-08-30 | 上海海拉电子有限公司 | 一种基于雷达的拖车检测方法及系统、一种车辆 |
Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO1998004965A2 (en) * | 1996-07-16 | 1998-02-05 | Colorado State University Research Foundation | Method and system for tracking multiple regional objects by multi-dimensional relaxation |
EP1870729A2 (en) * | 2000-08-16 | 2007-12-26 | Raython Company | Automotive radar systems and techniques |
CN103093453A (zh) * | 2011-11-18 | 2013-05-08 | 微软公司 | 计算可改变实体的姿势和/或形状 |
CN104793202A (zh) * | 2014-01-16 | 2015-07-22 | 通用汽车环球科技运作有限责任公司 | 多雷达成像传感器的对象融合系统 |
CN105572663A (zh) * | 2014-09-19 | 2016-05-11 | 通用汽车环球科技运作有限责任公司 | 基于辅助传感器的分布式雷达目标检测 |
CN106096516A (zh) * | 2016-06-01 | 2016-11-09 | 常州漫道罗孚特网络科技有限公司 | 一种三维目标跟踪的方法及装置 |
CN106384359A (zh) * | 2016-09-23 | 2017-02-08 | 青岛海信电器股份有限公司 | 运动目标跟踪方法和电视 |
Family Cites Families (19)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US7783403B2 (en) * | 1994-05-23 | 2010-08-24 | Automotive Technologies International, Inc. | System and method for preventing vehicular accidents |
TW536637B (en) * | 2001-11-20 | 2003-06-11 | Ching-Fang Lin | Improved positioning and data integrating method and system thereof |
EP2306433A1 (en) * | 2009-10-05 | 2011-04-06 | Nederlandse Organisatie voor toegepast -natuurwetenschappelijk onderzoek TNO | Collision avoidance system and method for a road vehicle and respective computer program product |
US8565481B1 (en) * | 2011-05-26 | 2013-10-22 | Google Inc. | System and method for tracking objects |
DE102011113015A1 (de) * | 2011-09-09 | 2013-03-14 | Astyx Gmbh | Abbildender Radarsensor mit synthetischer Vergrößerung der Antennenaperatur und zweidimensionaler Strahlschwenkung |
CN102722886B (zh) * | 2012-05-21 | 2015-12-09 | 浙江捷尚视觉科技股份有限公司 | 一种基于三维标定和特征点匹配的视频测速方法 |
US9250324B2 (en) * | 2013-05-23 | 2016-02-02 | GM Global Technology Operations LLC | Probabilistic target selection and threat assessment method and application to intersection collision alert system |
CN103576137B (zh) * | 2013-09-27 | 2015-05-27 | 电子科技大学 | 一种基于成像策略的多传感器多目标定位方法 |
US9820233B2 (en) * | 2013-11-25 | 2017-11-14 | Qualcomm Incorporated | Motion state based mobile device positioning |
US10185030B2 (en) * | 2014-09-05 | 2019-01-22 | GM Global Technology Operations LLC | Object boundary detection for automotive radar imaging |
US10539669B2 (en) * | 2014-10-08 | 2020-01-21 | Texas Instruments Incorporated | Three dimensional (3D) tracking of objects in a radar system |
CN104267728B (zh) * | 2014-10-16 | 2016-09-14 | 哈尔滨工业大学 | 一种基于可达区域质心矢量的移动机器人避障方法 |
CN104573646B (zh) * | 2014-12-29 | 2017-12-12 | 长安大学 | 基于激光雷达和双目相机的车前行人检测方法及系统 |
US10088549B2 (en) * | 2015-06-25 | 2018-10-02 | Appropolis Inc. | System and a method for tracking mobile objects using cameras and tag devices |
CN105222772B (zh) * | 2015-09-17 | 2018-03-16 | 泉州装备制造研究所 | 一种基于多源信息融合的高精度运动轨迹检测系统 |
JP6650344B2 (ja) * | 2015-10-02 | 2020-02-19 | パナソニック株式会社 | 物体検出装置及び物体検出方法 |
CN105809668B (zh) * | 2016-01-15 | 2018-10-02 | 武汉武大卓越科技有限责任公司 | 基于线扫描三维点云的物体表面变形特征提取方法 |
CN105913489B (zh) * | 2016-04-19 | 2019-04-23 | 东北大学 | 一种利用平面特征的室内三维场景重构方法 |
CN106570454B (zh) * | 2016-10-10 | 2019-06-11 | 同济大学 | 基于移动激光扫描的行人交通参数提取方法 |
-
2017
- 2017-05-17 US US15/597,994 patent/US10139833B1/en active Active
-
2018
- 2018-05-09 CN CN201810434983.8A patent/CN108931773B/zh active Active
- 2018-05-15 DE DE102018111626.8A patent/DE102018111626A1/de active Granted
Patent Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO1998004965A2 (en) * | 1996-07-16 | 1998-02-05 | Colorado State University Research Foundation | Method and system for tracking multiple regional objects by multi-dimensional relaxation |
EP1870729A2 (en) * | 2000-08-16 | 2007-12-26 | Raython Company | Automotive radar systems and techniques |
CN103093453A (zh) * | 2011-11-18 | 2013-05-08 | 微软公司 | 计算可改变实体的姿势和/或形状 |
CN104793202A (zh) * | 2014-01-16 | 2015-07-22 | 通用汽车环球科技运作有限责任公司 | 多雷达成像传感器的对象融合系统 |
CN105572663A (zh) * | 2014-09-19 | 2016-05-11 | 通用汽车环球科技运作有限责任公司 | 基于辅助传感器的分布式雷达目标检测 |
CN106096516A (zh) * | 2016-06-01 | 2016-11-09 | 常州漫道罗孚特网络科技有限公司 | 一种三维目标跟踪的方法及装置 |
CN106384359A (zh) * | 2016-09-23 | 2017-02-08 | 青岛海信电器股份有限公司 | 运动目标跟踪方法和电视 |
Non-Patent Citations (3)
Title |
---|
Automated Tracking with Target Amplitude Information;D. Lerro and Y. Bar-Shalom;《990 American Control Conference》;20090310;第2875-2880页 * |
Low power High Frequency Surface Wave Radar application for ship detection and tracking;Low power High Frequency Surface Wave Radar application for ship;《2008 International Conference on Radar》;20081017;第627-632页 * |
基于雷达辅助知识的微弱目标跟踪算法研究;夏玫;《中国优秀硕士学位论文全文数据库 信息科技辑》;20160315;第I136-2191页 * |
Also Published As
Publication number | Publication date |
---|---|
US20180335787A1 (en) | 2018-11-22 |
US10139833B1 (en) | 2018-11-27 |
DE102018111626A1 (de) | 2018-11-22 |
CN108931773A (zh) | 2018-12-04 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN108931773B (zh) | 车用六维点云系统 | |
US10024955B2 (en) | System and method for determining of and compensating for misalignment of a sensor | |
CN105109484B (zh) | 目标障碍物体确定方法及装置 | |
CN110632617B (zh) | 一种激光雷达点云数据处理的方法及装置 | |
US20110307175A1 (en) | Method and system for collision assessment for vehicles | |
US11841439B2 (en) | Point cloud segmentation using a coherent lidar for autonomous vehicle applications | |
JP2017067756A (ja) | 物体検出装置及び物体検出方法 | |
JP7506829B2 (ja) | 自律車両用途のための速度推定および物体追跡 | |
US20220003860A1 (en) | Determining the orientation of objects using radar or through the use of electromagnetic interrogation radiation | |
CN115144825A (zh) | 一种车载雷达的外参标定方法与装置 | |
CN114518574A (zh) | 用于传感器融合系统的基于峰度的修剪 | |
US11709260B2 (en) | Data driven resolution function derivation | |
US20230182774A1 (en) | Autonomous driving lidar technology | |
JP6927132B2 (ja) | 運転支援システムおよび方法 | |
US11693110B2 (en) | Systems and methods for radar false track mitigation with camera | |
US20220234581A1 (en) | Vehicle control method, vehicle control device, and vehicle control system including same | |
CN110095776B (zh) | 用于确定对象的存在和/或特性的方法和周围环境识别设备 | |
US11953590B1 (en) | Radar multipath detection based on changing virtual arrays | |
US11662454B2 (en) | Systems and methods for range-rate dealiasing using position consistency | |
Xie et al. | On-bicycle vehicle tracking at traffic intersections using inexpensive low-density lidar | |
CN117651880A (zh) | 雷达数据分析和隐藏对象检测 | |
WO2024144436A1 (ru) | Устройство и способ для определения объектов | |
WO2024144437A1 (ru) | Беспилотное транспортное средство и способ управления его движением | |
RU2806452C1 (ru) | Устройство и способ для определения объектов | |
RU2814813C1 (ru) | Устройство и способ для отслеживания объектов |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |