CN111985300A - 自动驾驶动态目标定位方法、装置、电子设备及存储介质 - Google Patents
自动驾驶动态目标定位方法、装置、电子设备及存储介质 Download PDFInfo
- Publication number
- CN111985300A CN111985300A CN202010605075.8A CN202010605075A CN111985300A CN 111985300 A CN111985300 A CN 111985300A CN 202010605075 A CN202010605075 A CN 202010605075A CN 111985300 A CN111985300 A CN 111985300A
- Authority
- CN
- China
- Prior art keywords
- target
- image
- state
- frame
- result
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 48
- 238000001914 filtration Methods 0.000 claims abstract description 35
- 230000004927 fusion Effects 0.000 claims abstract description 15
- 238000007499 fusion processing Methods 0.000 claims abstract description 10
- 230000015654 memory Effects 0.000 claims description 19
- 238000012545 processing Methods 0.000 claims description 14
- 238000004590 computer program Methods 0.000 claims description 12
- 230000008859 change Effects 0.000 claims description 7
- 239000000203 mixture Substances 0.000 claims 1
- 239000002994 raw material Substances 0.000 claims 1
- 230000008569 process Effects 0.000 description 12
- 230000000875 corresponding effect Effects 0.000 description 10
- 239000011159 matrix material Substances 0.000 description 9
- 230000033001 locomotion Effects 0.000 description 7
- 230000007704 transition Effects 0.000 description 7
- 238000005516 engineering process Methods 0.000 description 4
- 230000003068 static effect Effects 0.000 description 4
- 238000004422 calculation algorithm Methods 0.000 description 3
- 230000008447 perception Effects 0.000 description 3
- 238000004458 analytical method Methods 0.000 description 2
- 238000003491 array Methods 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 238000010801 machine learning Methods 0.000 description 2
- 239000007787 solid Substances 0.000 description 2
- 230000004888 barrier function Effects 0.000 description 1
- 150000001875 compounds Chemical class 0.000 description 1
- 230000002596 correlated effect Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000004438 eyesight Effects 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 238000007429 general method Methods 0.000 description 1
- 238000009434 installation Methods 0.000 description 1
- 230000004807 localization Effects 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 238000010295 mobile communication Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 238000007500 overflow downdraw method Methods 0.000 description 1
- 230000001960 triggered effect Effects 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
- 230000016776 visual perception Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/10—Terrestrial scenes
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
- G06T7/277—Analysis of motion involving stochastic approaches, e.g. using Kalman filters
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
- G06T7/292—Multi-camera tracking
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/20—Movements or behaviour, e.g. gesture recognition
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10016—Video; Image sequence
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30248—Vehicle exterior or interior
- G06T2207/30252—Vehicle exterior; Vicinity of vehicle
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Multimedia (AREA)
- General Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- General Health & Medical Sciences (AREA)
- Human Computer Interaction (AREA)
- Social Psychology (AREA)
- Psychiatry (AREA)
- Health & Medical Sciences (AREA)
- Traffic Control Systems (AREA)
- Image Processing (AREA)
Abstract
本发明提供自动驾驶动态目标定位方法装置、电子设备及存储介质。在自动驾驶的车辆上固定多台相机，利用多相机对动态目标进行连续拍摄，获得多个图像组，每个图像组中包括多个图像且每个图像分别由一个相机采集得到，且属于同一图像组中图像的采集时刻相同；根据图像信息以及预设的相机内外参信息进行目标关联，获得第一观测结果信息；将第一帧图像的第一观测结果作为初始化状态量；在初始化状态量的基础上，针对第一帧图像之后的每一帧图像的第一观测结果分别进行状态融合处理，状态融合以多相机观测值符合高斯分布为期望进行；将每一帧状态融合后的结果进行卡尔曼滤波获得目标状态更新结果，卡尔曼滤波时以该帧内目标为匀速直线运动为条件进行。
Description
技术领域
本发明涉及自动驾驶领域，特别的自动驾驶时动态目标的定位技术。
背景技术
在基于视觉的自动驾驶方案中，会设置多路相机，采集自车周围环境。视觉感知算法对图像进行深度分析，生成对于周边车辆、行人、骑行者、车道线、交通障碍物、标志牌等信息的感知结果，将信息输出给预测、规控模块，对自车下一阶段运动进行决策。如果没有良好的多相机3D感知定位，会导致规控做出错误的决策：1)若输出的3D目标与本车距离远大于实际距离或者速度远小于实际速度，会触发接管，产生安全隐患；2)若输出的3D目标与本车距离远小于实际距离或者速度远大于实际速度，可能产生误制动，影响舒适度体验。因此，基于多相机的动态目标定位是自动驾驶方案中，提升安全性和舒适度体验的重要环节。
传统的定位算法包括SLAM和多传感器约束滤波算法。前者使用非线性优化的方法实现对自车和周边环境中的静态目标的定位，后者使用滤波的方案实现对自车以及周边环境中静态目标的定位。然而，两种方案都存在局限性，它们只适用于对自车或者环境中静态目标(如路灯杆、车道线等)的定位。具体而言，在车辆行进过程中，所有静态目标相对本车的运动是一致的，因此我们能够通过统一的模型处理本车和目标间的运动关系；但是，对于动态目标而言，每个目标都有自己的运动状态，因此各个目标相对本车的运动不尽相同，不方便统一建模。因此SLAM方案和多状态约束卡尔曼滤波方案并不能直接适用于动态目标的定位。总而言之，目前还没有通用的针对动态目标的定位方案。
发明内容
本发明目的在于提供一种自动驾驶动态目标定位方法，用于解决传统的自动驾驶场景下对动态目标定位的方案不通用的技术问题。
为达成上述目的，本发明提出如下技术方案：
自动驾驶动态目标定位方法，在自动驾驶的车辆上固定多台相机，利用多相机对动态目标进行连续拍摄，包括以下步骤：
获得多个图像组，所述每个图像组中包括多个图像且每个图像分别由一个相机采集得到，且属于同一图像组中图像的采集时刻相同；
根据图像信息以及预设的相机内外参信息进行目标关联，获得第一观测结果信息；
将第一帧图像的第一观测结果作为初始化状态量；
在初始化状态量的基础上，针对第一帧图像之后的每一帧图像的第一观测结果分别进行状态融合处理，所述状态融合以多相机观测值符合高斯分布为期望进行；
将每一帧状态融合后的结果进行卡尔曼滤波获得目标状态更新结果，所述卡尔曼滤波时以该帧内目标为匀速直线运动为条件进行。
进一步的，在本发明中，所述动态目标的状态量包括位置、速度、角度和尺寸。
进一步的，在本发明中，上述方法还包括，对卡尔曼滤波后的结果按照以下条件进行约束处理，将符合条件的结果作为目标状态更新结果：
条件1、任意两个帧数差值在预设范围内的图像组对应的目标状态更新结果中角度改变小于45°；
条件2、动态目标与相机所在的自动驾驶车辆的方向平行时，动态目标的速度方向与其自身车体方向不垂直；
条件3、同向行驶的动态目标之间的相对速度在0～最大限速之间，对向行驶的动态目标之间的相对速度在0～2倍最大限速之间。
进一步的，在本发明中，所述目标关联时，识别图像信息中的动态目标数量，针对每个动态目标分别获得对应的第一观测结果信息。
本发明的另一方面，提供一种自动驾驶动态目标定位装置，利用多相机对动态目标进行连续拍摄，包括，
图像组获得模块，用于获得多个图像组，所述每个图像组中包括多个图像且每个图像分别由一个相机采集得到，且属于同一图像组中图像的采集时刻相同；
目标关联模块，用于根据图像信息以及预设的相机内外参信息进行目标关联，获得第一观测结果信息；
初始化模块，用于将第一帧图像的第一观测结果作为初始化状态量；
融合处理模块，用于在初始化状态量的基础上，针对第一帧图像之后的每一帧图像的第一观测结果分别进行状态融合处理，所述状态融合以多相机观测值符合高斯分布为期望进行；
滤波模块，用于将每一帧状态融合后的结果进行卡尔曼滤波获得目标状态更新结果，所述卡尔曼滤波时以该帧内目标为匀速直线运动为条件进行。
进一步的，在本发明中，上述装置中还包括，约束处理模块，用于对卡尔曼滤波后的结果按照以下条件进行约束处理，将符合条件的结果作为目标状态更新结果：
条件1、任意两个帧数差值在预设范围内的图像组对应的目标状态更新结果中角度改变小于45°；
条件2、动态目标与相机所在的自动驾驶车辆的方向平行时，动态目标的速度方向与其自身车体方向不垂直；
条件3、同向行驶的动态目标之间的相对速度在0～最大限速之间，对向行驶的动态目标之间的相对速度在0～2倍最大限速之间。
本发明的另一方面，提供一种电子设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序实现上述的方法步骤。
本发明的另一方面，提供一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现上述的方法步骤。
有益效果：
由以上技术方案可知，本发明的技术方案提供了一种自动驾驶动态目标定位方法，通过设置在自动驾驶的车辆的多个相机，从多个角度对同一目标进行拍摄跟踪，并对同一帧的图像进行关联，并进行初始化、融合及滤波，同时进行一定的条件约束，获得输出更加准确的动态目标3D信息。。
上述方案是一种针对动态目标的通用方法，针对每个目标分别执行上述过程，使得能够适应具有不同相对运动的目标均能分别跟踪。
上述方案中，采用高斯融合的方式，在充分利用所有观测的前提下，可以减少解算次数，提升解算速度，为自动驾驶的实时性提供了可能。
应当理解，前述构思以及在下面更加详细地描述的额外构思的所有组合只要在这样的构思不相互矛盾的情况下都可以被视为本公开的发明主题的一部分。
结合附图从下面的描述中可以更加全面地理解本发明教导的前述和其他方面、实施例和特征。本发明的其他附加方面例如示例性实施方式的特征和/或有益效果将在下面的描述中显见，或通过根据本发明教导的具体实施方式的实践中得知。
附图说明
附图不意在按比例绘制。在附图中，在各个图中示出的每个相同或近似相同的组成部分可以用相同的标号表示。为了清晰起见，在每个图中，并非每个组成部分均被标记。现在，将通过例子并参考附图来描述本发明的各个方面的实施例，其中：
图1为本发明的实施例中的方法流程示意图；
图2为本发明的实施例中位置的计算方法示意图；
图3为本发明的实施例中的装置组成示意图。
具体实施方式
为了更了解本发明的技术内容，特举具体实施例并配合所附图式说明如下。
在本公开中参照附图来描述本发明的各方面，附图中示出了许多说明的实施例。本公开的实施例不必定意在包括本发明的所有方面。应当理解，上面介绍的多种构思和实施例，以及下面更加详细地描述的那些构思和实施方式可以以很多方式中任意一种来实施，这是因为本发明所公开的构思和实施例并不限于任何实施方式。另外，本发明公开的一些方面可以单独使用，或者与本发明公开的其他方面的任何适当组合来使用。
实施例一、示例性方法
如图1所示的本发明的具体实施例中的自动驾驶动态目标定位方法，在自动驾驶的车辆上固定多台相机，利用多相机对动态目标进行连续拍摄。
包括以下步骤：
S101、获得多个图像组，所述每个图像组中包括多个图像且每个图像分别由一个相机采集得到，且属于同一图像组中图像的采集时刻相同。
每个相机根据在自动驾驶的车辆上的安装位置不同，拍摄时会出现不同的角度，全面反映相机所在车辆周围的环境。属于同一组的图像因为是同一时刻采集的，所以必然这些图像之间是相互关联的，能够通过对这些图像的分析获得对应的动态目标在拍摄时刻的状态。
S102、根据图像信息以及预设的相机内外参信息进行目标关联，获得第一观测结果信息。
多相机关联技术是利用机器学习技术让计算机学习如何将多相机中的2维信息进行关联并获得其真实状态的技术。机器学习时需要从多个物理量维度入手综合反应动态目标的状态。同时由于是从图像中读取信息，则必然还需要考虑到相机的内外参信息与真实的动态目标之间的关联。上述过程中，若相机拍摄时存在畸变，还需要进行去畸变的过程。
例如，对于一辆普通的小汽车，汽车的长是5m，宽是2m，高是1.5m，然后基于外参信息和目标的像素信息，以及和类型直接关联的物理尺寸先验信息，估算目标的观测3D位置信息。
具体如图2所示：其中f表示的是相机的焦距，h表示的是目标的像素尺寸高，H是和目标类型直接关联的物理尺寸先验高，D是需要求的目标的位置信息，则D＝H*f/h。
S103、将第一帧图像的第一观测结果包括位置、速度、角度和尺寸作为初始化状态量。
具体是通过滤波器处理，第一观测结果进入滤波器成为初始化状态量，为后续滤波器更新做铺垫。滤波器更新包括状态融合和状态滤波两个步骤，分别通过是S104和S105进行展开。
S104、在初始化状态量的基础上，针对第一帧图像之后的每一帧图像的第一观测结果分别进行状态融合处理，所述状态融合以多相机观测值符合高斯分布为期望进行。假设多相机观测服从高斯分布：
x～N(μ,σ)
其中，x为图像中能够获得的观察值，μ是x的均值，σ是x的方差。本方案中，设定多相机观测结果融合后的状态仍然服从高斯分布。具体融合方法和融合公式如下：
假设有两台相机对目标进行跟踪，跟踪到某个状态量的观测值有x1和x2，x1和x2分别来自其中一个相机，且x1和x2分别为服从高斯分布
x1～N(μx1,σx1),x2～N(μx2,σx2)，则有
其中，μf为x1和x2融合后的均值，σf是x1和x2融合后的方差。对于目标的位置、速度、角度、尺寸，我们均可以分别利用上述公式计算对应的融合结果，作为状态滤波的观测输入。
S105、将每一帧状态融合后的结果进行卡尔曼滤波获得目标状态更新结果，所述卡尔曼滤波时以该帧内目标为匀速直线运动为条件进行。
滤波是指将信号中特定波段频率滤除的操作，是抑制和防止干扰的一项重要措施。在本方案中，利用滤波，抑制和消除噪声对真值的影响，输出尽可能准确的状态结果。具体而言，状态滤波包含：状态转移、协方差预测、计算卡尔曼增益、目标状态更新、协方差更新五个步骤。
状态转移：状态转移描述的是上一状态到当前状态的观测值的变化。整个状态转移过程可以归纳为公式：Xi＝AXi-1+BUi*t+Q。
其中，A是系统的状态转移矩阵，Xi，Xi-1分别表示系统i时刻和i-1时刻的观测状态，Ui为k时刻对系统的控制量，t是i时刻和i-1时刻的时间差，Q表示系统的过程噪声。本方案中状态转移矩阵A是一个单位阵，B在位置状态量和速度状态量之间有个单位阵块，其他部分为0。
协方差预测：协方差预测是指计算系统的预测状态的置信度的过程。预测后的协方差描述的是经过状态转移过程后，系统状态量的置信度。对应的公式如下：
式中，
表示预测后的系统协方差，Pi-1表示系统上一时刻的协方差，AT表示系统的状态转移矩阵的转置矩阵。
计算卡尔曼增益：卡尔曼增益是量测信息采信的比率。本质上就是要计算观测和预测的偏差(噪声)，对当前状态的影响。对应的公式如下：
其中，Ki是卡尔曼增益，其中包含了过程噪声，H,HT分别表示系统的观测矩阵及其转置，R是系统的观测噪声。
目标状态更新：目标状态更新即融合预测状态和观测状态。具体公式如下
式中，Yi是更新后的状态，
是系统的预测状态，Xi是系统的观测状态。在本方案中，是对多相机观测结果融合后的结果。计算过程中，分别将目标的位置、速度、角度、尺寸等状态量的值带入上述公式，进行状态更新。
协方差更新：协方差更新即更新融合了预测结果和观测结果后的系统的置信度。具体公式如下：
式中，Pi表示更新后的系统的协方差，I是一个单位阵，Ki是协方差增益，H是观测矩阵。
由此，系统完成基于预测和观测结果融合的状态的更新。
进一步的，上述方法还包括，对卡尔曼滤波后的结果按照以下条件进行约束处理，将符合条件的结果作为目标状态更新结果：
条件1、任意两个帧数差值在预设范围内的图像组对应的目标状态更新结果中角度改变小于45°。
条件2、动态目标与相机所在的自动驾驶车辆的方向平行时，动态目标的速度方向与其自身车体方向不垂直。
条件3、同向行驶的动态目标之间的相对速度在0～最大限速之间，对向行驶的动态目标之间的相对速度在0～2倍最大限速之间。
通过上述约束，将可能的因相机观测输入的错误数据而导致的跟踪结果与真实情况的偏差予以消除，使得跟踪结果接近真实状态。
进一步的，在上述方法中，由于各个动态目标与本车之间的相对运动均不同，因此，需要对每个动态目标分别进行定位、跟踪。所以上述介绍的步骤是一种通用的定位方法，而当同时有多个目标时，在进行到目标关联时，需要识别图像信息中的动态目标数量，针对每个动态目标分别获得对应的第一观测结果信息以及根据每个目标的第一观测结果分别进行后续的状态融合和滤波操作，即每个动态目标独享一个滤波器，由此获得每个动态目标的跟踪结果。
实施例二、示例性装置
本发明的另一个实施例提供一种自动驾驶动态目标定位装置，利用多相机对动态目标进行连续拍摄，如图3所示，包括，
图像组获得模块201，用于获得多个图像组，所述每个图像组中包括多个图像且每个图像分别由一个相机采集得到，且属于同一图像组中图像的采集时刻相同。
目标关联模块202，用于根据图像信息以及预设的相机内外参信息进行目标关联，获得第一观测结果信息；
初始化模块203，用于将第一帧图像的第一观测结果作为初始化状态量；
融合处理模块204，用于在初始化状态量的基础上，针对第一帧图像之后的每一帧图像的第一观测结果分别进行状态融合处理，所述状态融合以多相机观测值符合高斯分布为期望进行；
滤波模块205，用于将每一帧状态融合后的结果进行卡尔曼滤波获得目标状态更新结果，所述卡尔曼滤波时以该帧内目标为匀速直线运动为条件进行。
进一步的，在上述装置中还包括，约束处理模块206，用于对卡尔曼滤波后的结果按照以下条件进行约束处理，将符合条件的结果作为目标状态更新结果：
条件1、任意两个帧数差值在预设范围内例如时间差为5ms内的图像组对应的目标状态更新结果中角度改变小于45°；这反映了短时间内车体朝向不会剧烈跳变，是一种正常的行车规律。
条件2、动态目标与相机所在的自动驾驶车辆的方向平行时，动态目标的速度方向与其自身车体方向不垂直；是一种正常的行车规律。
条件3、同向行驶的动态目标之间的相对速度在0～最大限速之间，对向行驶的动态目标之间的相对速度在0～2倍最大限速之间。在符合交通规则的前提下，这也是一种正常的行车规律。
本发明所设计的基于多相机的动态目标定位方案，基于多路图像的视觉2D感知结果，结合滤波方法，输出动态目标的3D感知信息。3D感知模块利用2D感知的语义感知信息，结合相机标定的内外参信息，构建多相机间的目标关联，对每个关联好的目标分别解算其在车体坐标系下的初始位置信息，作为滤波器的观测输入，第一帧输入的观测值，会被作为滤波器的状态量的初值，在时域范围内，当新一帧中的观测加入时，滤波器通过更新解算当前帧的状态信息；对于解算后的结果，再利用常识性物理约束，约束目标的物理状态在合理范围内。
实施例3、示例性计算机程序产品和计算机可读存储介质
本发明的另一个实施例提供一种电子设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序实现上述的方法步骤。
处理器优选但不限于是中央处理器(Central Processing Unit，CPU)。例如，处理器还可以为其他通用处理器、数字信号处理器(Digital Signal Processor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现场可编程门阵列(FieldProgrammable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等芯片，或者上述各类芯片的组合。
存储器作为一种非暂态计算机可读存储介质，可用于存储非暂态软件程序、非暂态计算机可执行程序以及模块，如本发明实施例中的菜谱推送的程序指令/模块，处理器通过运行存储在存储器的非暂态软件程序、指令以及模块，从而执行处理器的各种功能应用以及数据处理，即实现上述方法实施例中的处理器优选但不限于是中央处理器(CentralProcessing Unit，CPU)。例如，处理器还可以为其他通用处理器、数字信号处理器(DigitalSignal Processor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现场可编程门阵列(FieldProgrammable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等芯片，或者上述各类芯片的组合。
存储器作为一种非暂态计算机可读存储介质，可用于存储非暂态软件程序、非暂态计算机可执行程序以及模块，如本发明实施例中的一种菜谱推送的程序指令/模块，处理器通过运行存储在存储器的非暂态软件程序、指令以及模块，从而执行处理器的各种功能应用以及数据处理，即实现上述方法实施例中的一种菜谱推送方法。
本发明的另一个实施例提供一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现上述的方法步骤。
存储器可以包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需要的应用程序；存储数据区可存储处理器所创建的数据等。此外，存储器优选但不限于高速随机存取存储器，例如，还可以是非暂态存储器，例如至少一个磁盘存储器件、闪存器件、或其他非暂态固态存储器件。在一些实施例中，存储器还可选包括相对于处理器远程设置的存储器，这些远程存储器可以通过网络连接至处理器。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
本领域技术人员可以理解，实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成的程序，可存储于一计算机可读取存储介质中，该程序在执行时，可包括如上述各方法的实施例的流程。其中，存储介质可为磁碟、光盘、只读存储记忆体(Read-Only Memory，ROM)、随机存储记忆体(Random Access Memory，RAM)、快闪存储器(Flash Memory)、硬盘(Hard Disk Drive，缩写：HDD)或固态硬盘(Solid-StateDrive，SSD)等；存储介质还可以包括上述种类的存储器的组合。
虽然本发明已以较佳实施例揭露如上，然其并非用以限定本发明。本发明所属技术领域中具有通常知识者，在不脱离本发明的精神和范围内，当可作各种的更动与润饰。因此，本发明的保护范围当视权利要求书所界定者为准。
Claims (9)
1.自动驾驶动态目标定位方法，在自动驾驶的车辆上固定多台相机，利用多相机对动态目标进行连续拍摄，其特征在于：
获得多个图像组，所述每个图像组中包括多个图像且每个图像分别由一个相机采集得到，且属于同一图像组中图像的采集时刻相同；
根据图像信息以及预设的相机内外参信息进行目标关联，获得第一观测结果信息；
将第一帧图像的第一观测结果作为初始化状态量；
在初始化状态量的基础上，针对第一帧图像之后的每一帧图像的第一观测结果分别进行状态融合处理，所述状态融合以多相机观测值符合高斯分布为期望进行；
将每一帧状态融合后的结果进行卡尔曼滤波获得目标状态更新结果，所述卡尔曼滤波时以该帧内目标为匀速直线运动为条件进行。
2.根据权利要求1所述的自动驾驶动态目标定位方法，其特征在于：所述动态目标的状态量包括位置、速度、角度和尺寸。
3.根据权利要求2所述的自动驾驶动态目标定位方法，其特征在于：上述方法还包括，对卡尔曼滤波后的结果按照以下条件进行约束处理，将符合条件的结果作为目标状态更新结果：
条件1、任意两个帧数差值在预设范围内的图像组对应的目标状态更新结果中角度改变小于45°；
条件2、动态目标与相机所在的自动驾驶车辆的方向平行时，动态目标的速度方向与其自身车体方向不垂直；
条件3、同向行驶的动态目标之间的相对速度在0～最大限速之间，对向行驶的动态目标之间的相对速度在0～2倍最大限速之间。
4.根据权利要求1所述的自动驾驶动态目标定位方法，其特征在于：所述目标关联时，识别图像信息中的动态目标数量，针对每个动态目标分别获得对应的第一观测结果信息。
5.自动驾驶动态目标定位装置，在自动驾驶的车辆上固定多台相机，利用多相机对动态目标进行连续拍摄，其特征在于：包括，
图像组获得模块，用于获得多个图像组，所述每个图像组中包括多个图像且每个图像分别由一个相机采集得到，且属于同一图像组中图像的采集时刻相同；
目标关联模块，用于根据图像信息以及预设的相机内外参信息进行目标关联，获得第一观测结果信息；
初始化模块，用于将第一帧图像的第一观测结果作为初始化状态量；
融合处理模块，用于在初始化状态量的基础上，针对第一帧图像之后的每一帧图像的第一观测结果分别进行状态融合处理，所述状态融合以多相机观测值符合高斯分布为期望进行；
滤波模块，用于将每一帧状态融合后的结果进行卡尔曼滤波获得目标状态更新结果，所述卡尔曼滤波时以该帧内目标为匀速直线运动为条件进行。
6.根据权利要求5所述的自动驾驶动态目标定位装置，其特征在于：所述动态目标的状态量包括位置、速度、角度和尺寸。
7.根据权利要求6所述的自动驾驶动态目标定位装置，其特征在于：上述装置中还包括，约束处理模块，用于对卡尔曼滤波后的结果按照以下条件进行约束处理，将符合条件的结果作为目标状态更新结果：
条件1、任意两个帧数差值在预设范围内的图像组对应的目标状态更新结果中角度改变小于45°；
条件2、动态目标与相机所在的自动驾驶车辆的方向平行时，动态目标的速度方向与其自身车体方向不垂直；
条件3、同向行驶的动态目标之间的相对速度在0～最大限速之间，对向行驶的动态目标之间的相对速度在0～2倍最大限速之间。
8.一种电子设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序实现如权利要求1-4中的任意一项所述的方法步骤。
9.一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1-4中的任意一项所述的方法步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010605075.8A CN111985300B (zh) | 2020-06-29 | 2020-06-29 | 自动驾驶动态目标定位方法、装置、电子设备及存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010605075.8A CN111985300B (zh) | 2020-06-29 | 2020-06-29 | 自动驾驶动态目标定位方法、装置、电子设备及存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN111985300A true CN111985300A (zh) | 2020-11-24 |
| CN111985300B CN111985300B (zh) | 2023-11-03 |
Family
ID=73441684
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010605075.8A Active CN111985300B (zh) | 2020-06-29 | 2020-06-29 | 自动驾驶动态目标定位方法、装置、电子设备及存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111985300B (zh) |
Cited By (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112669354A (zh) * | 2020-12-08 | 2021-04-16 | 重庆邮电大学 | 一种基于车辆非完整约束的多相机运动状态估计方法 |
| CN112712549A (zh) * | 2020-12-31 | 2021-04-27 | 上海商汤临港智能科技有限公司 | 数据处理方法、装置、电子设备以及存储介质 |
| CN113177440A (zh) * | 2021-04-09 | 2021-07-27 | 深圳市商汤科技有限公司 | 图像同步方法、装置、电子设备和计算机存储介质 |
| CN114202588A (zh) * | 2021-12-09 | 2022-03-18 | 纵目科技（上海）股份有限公司 | 一种车载环视相机快速自动标定方法和装置 |
| CN114565669A (zh) * | 2021-12-14 | 2022-05-31 | 华人运通(上海)自动驾驶科技有限公司 | 一种场端多相机融合定位方法 |
| CN116659487A (zh) * | 2022-11-02 | 2023-08-29 | 丰疆智能(深圳)有限公司 | 位姿调整方法、位姿调整装置、电子设备及可读存储介质 |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110422175A (zh) * | 2019-07-31 | 2019-11-08 | 上海智驾汽车科技有限公司 | 车辆状态估计方法以及装置、电子设备、存储介质、车辆 |
| CN110726990A (zh) * | 2019-09-23 | 2020-01-24 | 江苏大学 | 一种基于ds-gnn算法的多传感器融合方法 |
| WO2020087846A1 (zh) * | 2018-10-31 | 2020-05-07 | 东南大学 | 基于迭代扩展卡尔曼滤波融合惯性与单目视觉的导航方法 |
-
2020
- 2020-06-29 CN CN202010605075.8A patent/CN111985300B/zh active Active
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2020087846A1 (zh) * | 2018-10-31 | 2020-05-07 | 东南大学 | 基于迭代扩展卡尔曼滤波融合惯性与单目视觉的导航方法 |
| CN110422175A (zh) * | 2019-07-31 | 2019-11-08 | 上海智驾汽车科技有限公司 | 车辆状态估计方法以及装置、电子设备、存储介质、车辆 |
| CN110726990A (zh) * | 2019-09-23 | 2020-01-24 | 江苏大学 | 一种基于ds-gnn算法的多传感器融合方法 |
Non-Patent Citations (1)
| Title |
|---|
| 张晶晶;杨鹏;刘元盛;梁军;: "基于智能驾驶的动态目标跟踪研究", 计算机工程, no. 07 * |
Cited By (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112669354A (zh) * | 2020-12-08 | 2021-04-16 | 重庆邮电大学 | 一种基于车辆非完整约束的多相机运动状态估计方法 |
| CN112712549A (zh) * | 2020-12-31 | 2021-04-27 | 上海商汤临港智能科技有限公司 | 数据处理方法、装置、电子设备以及存储介质 |
| CN113177440A (zh) * | 2021-04-09 | 2021-07-27 | 深圳市商汤科技有限公司 | 图像同步方法、装置、电子设备和计算机存储介质 |
| CN114202588A (zh) * | 2021-12-09 | 2022-03-18 | 纵目科技（上海）股份有限公司 | 一种车载环视相机快速自动标定方法和装置 |
| CN114202588B (zh) * | 2021-12-09 | 2022-09-23 | 纵目科技（上海）股份有限公司 | 一种车载环视相机快速自动标定方法和装置 |
| CN114565669A (zh) * | 2021-12-14 | 2022-05-31 | 华人运通(上海)自动驾驶科技有限公司 | 一种场端多相机融合定位方法 |
| CN116659487A (zh) * | 2022-11-02 | 2023-08-29 | 丰疆智能(深圳)有限公司 | 位姿调整方法、位姿调整装置、电子设备及可读存储介质 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN111985300B (zh) | 2023-11-03 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111985300A (zh) | 自动驾驶动态目标定位方法、装置、电子设备及存储介质 | |
| KR102472767B1 (ko) | 신뢰도에 기초하여 깊이 맵을 산출하는 방법 및 장치 | |
| CN112015847B (zh) | 一种障碍物的轨迹预测方法、装置、存储介质及电子设备 | |
| JP2021089724A (ja) | 構造的制約及び物理的制約を伴う３ｄ自動ラベル付け | |
| CN111627054B (zh) | 用于预测高置信度密集点云的深度补全误差地图的方法和装置 | |
| EP3822852B1 (en) | Method, apparatus, computer storage medium and program for training a trajectory planning model | |
| CN109300143B (zh) | 运动向量场的确定方法、装置、设备、存储介质和车辆 | |
| KR102206834B1 (ko) | 도로정보 변화 감지 방법 및 시스템 | |
| CN114723955A (zh) | 图像处理方法、装置、设备和计算机可读存储介质 | |
| CN111652072A (zh) | 轨迹获取方法、轨迹获取装置、存储介质和电子设备 | |
| CN109584299B (zh) | 一种定位方法、定位装置、终端及存储介质 | |
| CN110660103B (zh) | 一种无人车定位方法及装置 | |
| CN114495064A (zh) | 一种基于单目深度估计的车辆周围障碍物预警方法 | |
| CN115147328A (zh) | 三维目标检测方法及装置 | |
| CN116469079A (zh) | 一种自动驾驶bev任务学习方法及相关装置 | |
| CN115223135B (zh) | 车位跟踪方法、装置、车辆及存储介质 | |
| CN114067371B (zh) | 一种跨模态行人轨迹生成式预测框架、方法和装置 | |
| CN116654022A (zh) | 基于多重交互的行人轨迹预测方法、系统、设备和介质 | |
| Fan et al. | Computer stereo vision for autonomous driving: Theory and algorithms | |
| CN112967316B (zh) | 一种面向3d多目标追踪的运动补偿优化方法及系统 | |
| CN106408593A (zh) | 一种基于视频的车辆跟踪方法及装置 | |
| Yang et al. | Simultaneous estimation of ego-motion and vehicle distance by using a monocular camera | |
| CN112800822A (zh) | 利用结构约束和物理约束进行3d自动标记 | |
| CN114648639B (zh) | 一种目标车辆的检测方法、系统及装置 | |
| JP7556142B2 (ja) | 点群からの効率的な三次元物体検出 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |