CN112396634A - 运动目标检测方法、装置、车辆及存储介质 - Google Patents
运动目标检测方法、装置、车辆及存储介质 Download PDFInfo
- Publication number
- CN112396634A CN112396634A CN202011360816.7A CN202011360816A CN112396634A CN 112396634 A CN112396634 A CN 112396634A CN 202011360816 A CN202011360816 A CN 202011360816A CN 112396634 A CN112396634 A CN 112396634A
- Authority
- CN
- China
- Prior art keywords
- camera
- moving object
- acquiring
- pose
- visual
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 46
- 230000033001 locomotion Effects 0.000 claims abstract description 50
- 238000000034 method Methods 0.000 claims abstract description 40
- 230000003287 optical effect Effects 0.000 claims abstract description 22
- 230000003068 static effect Effects 0.000 claims abstract description 5
- 239000013598 vector Substances 0.000 claims description 83
- 230000000007 visual effect Effects 0.000 claims description 64
- 238000005259 measurement Methods 0.000 claims description 52
- 230000036544 posture Effects 0.000 claims description 22
- 238000004590 computer program Methods 0.000 claims description 14
- 238000013519 translation Methods 0.000 claims description 14
- 239000011159 matrix material Substances 0.000 claims description 9
- 238000004891 communication Methods 0.000 claims description 8
- 230000008859 change Effects 0.000 claims description 7
- 238000001914 filtration Methods 0.000 claims description 5
- 238000003709 image segmentation Methods 0.000 claims description 4
- 238000004422 calculation algorithm Methods 0.000 abstract description 8
- 230000008569 process Effects 0.000 description 16
- 238000004364 calculation method Methods 0.000 description 10
- 230000006870 function Effects 0.000 description 9
- 238000012937 correction Methods 0.000 description 4
- 238000010586 diagram Methods 0.000 description 4
- 238000000605 extraction Methods 0.000 description 2
- 238000003384 imaging method Methods 0.000 description 2
- 230000001133 acceleration Effects 0.000 description 1
- 238000003491 array Methods 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 238000003064 k means clustering Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 238000011410 subtraction method Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
- G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
- G06T7/269—Analysis of motion using gradient-based methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10016—Video; Image sequence
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20024—Filtering details
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种运动目标检测方法、装置、车辆及存储介质。所述方法包括获取相机位姿；获取多个特征点；依据所述相机位姿判断所述特征点是否满足约束条件；若为是，则所述特征点为静止状态；若为否，则所述特征点为运动状态，提取所述特征点并进行聚类，以获取运动目标的即时状态。上述运动目标检测方法通过获取相机位姿及多个特征点，依据相机位姿并通过约束条件对多个特征点的运动状态进行判断，只有不满足约束条件的特征点才被认为是真实的运动点，从而获取运动目标的即时状态，可适用于相机位置发生变化的情况；特征点通过光流算法来获取，与具体的目标类型无关，可以检测任意类型的运动目标。
Description
技术领域
本发明涉及运动目标检测技术领域，具体涉及一种运动目标检测方法、装置、车辆及存储介质。
背景技术
对于车载环视系统来说，运动物体检测是指车载环视系统能够实时检测车辆周围的所有移动目标，从而支持车辆的自主决策和控制。对视觉传感器来说，运动物体检测常用的方法有背景相减法、帧差法和光流法。背景相减法通过学习过程建立背景模型，然后从真实视频中减去背景得到运动目标，背景模型的建立通常假定图像中背景像素变化缓慢，并且背景出现的概率大于目标；帧差法通过两帧或者多帧图像相减，找出像素值变化较大的图像区域，从而间接反映物体的运动；光流法通过特征提取和跟踪的方式找出不同图像之间同一特征的运动向量，当相似的运动向量比较集中时，表示他们可能来源于同一物体；另外，基于目标识别的算法通常也可以用来检测运动物体，采用最新的深度学习技术对特定类型的目标能够达到非常高的检测精度。
在实现本申请的过程中，发明人发现现有技术中至少存在如下技术问题：背景相减法、帧差法和光流法只适合摄像头固定或者环境变化较慢的场景，当车辆运动时，原本静止的物体由于相对运动也会被识别出来，不满足要求；基于目标识别的算法虽然能够适应运动和变化的环境，但是只能识别特定的目标类型，无法穷尽所有运动物体类型。
发明内容
鉴于以上内容，有必要提出一种运动目标检测方法、装置、车辆及存储介质，以解决上述问题。
本申请的第一方面提供一种运动目标检测方法，所述方法包括：
S1：获取相机位姿，所述相机位姿包括相机相对于参照物旋转或/及平移变化后的姿态；
S2：获取多个特征点，所述特征点为所述相机的取像目标所在范围内的光流点；
S3：依据所述相机位姿判断所述特征点是否满足约束条件；
若为是，则所述特征点为静止状态；
S4：若为否，则所述特征点为运动状态，提取所述特征点并进行聚类，以获取运动目标的即时状态。
上述运动目标检测方法通过获取相机位姿及多个特征点，依据相机位姿并通过约束条件对多个特征点的运动状态进行判断，只有不满足约束条件的特征点才被认为是真实的运动点，从而获取运动目标，可适用于相机位置发生变化的情况；特征点通过光流算法来获取，与具体的目标类型无关，可以检测任意类型的运动目标。
在一些实施例中，所述获取运动目标的即时状态的步骤之后，所述方法还包括：
S5：跟踪所述运动目标的即时状态，以稳定所述运动目标的外切矩形框。
如此，通过增加跟踪过程，稳定运动目标在相机的取像界面内的外切矩形框，使外切矩形框的变动平滑、稳定。
在一些实施例中，所述跟踪所述运动目标的步骤具体包括：
通过卡尔曼滤波关联提取的多个所述特征点，以获取多个所述特征点的运动趋势。
如此，通过卡尔曼滤波对多个特征点进行滤波，能够提供更为准确的运动趋势。
在一些实施例中，所述获取相机位姿的步骤具体包括：
获取所述相机的视觉姿态，所述相机的视觉姿态为所述相机相对于参照物旋转或/及平移变化后的姿态；
获取惯性测量单元的数据；及
关联所述相机的视觉姿态及所述惯性测量单元的数据，以获取所述相机位姿。
如此，通过获取并关联视觉姿态及惯性测量单元的数据，使得计算结果更加可靠，有利于获取更为准确的相机位姿。
在一些实施例中，所述“获取所述相机的视觉姿态”的步骤具体包括：
将所述相机获取的图像拆分为多个线性视图；
将每个所述线性视图划分为N个块，每个块为一向量，其中，N>1，且N为自然数；
获取t时刻的N个第一向量；
获取t+1时刻的N个第二向量；
关联t时刻的N个所述第一向量及t+1时刻的N个所述第二向量，以获取N个第三向量，每个所述第三向量为所述第二向量与对应的所述第一向量的相关向量，每个所述第三向量满足以下线性最小二乘拟合关系式：
y＝a*x+b，其中，x为每个所述第三向量对应的线性视图横坐标，y为每个所述第三向量对应的线性视图纵坐标的偏移量；
获取a和b的值，并根据a和b的值以获取所述相机相对于参照物旋转变化后的三轴旋转角度。
如此，通过上述计算过程获取相机的视觉姿态中的三轴旋转角度，有利于获取更为准确的相机的视觉姿态。
在一些实施例中，所述“获取所述相机的视觉姿态”的步骤具体还包括：
获取所述相机相对于参照物的速度和方向，以获取所述相机的运动向量；
获取所述相机的运动向量转换至所述线性视图的旋转矩阵；
关联所述旋转矩阵与所述相机相对于参照物的速度，以获取所述相机相对于参照物平移变化后的平移向量，所述平移向量满足以下关系式：
T＝Rw2c*[D，0，0]，D＝∫vdt；
其中，Rw2c为所述相机的运动向量转换至所述线性视图的旋转矩阵，v为所述相机相对于参照物的速度。
如此，通过上述计算过程获取相机的视觉姿态中的平移向量，有利于获取更为准确的相机的视觉姿态。
在一些实施例中，所述关联所述相机的视觉姿态及所述惯性测量单元的数据的步骤具体包括：
获取所述相机的视觉姿态的均值和所述惯性测量单元的数据均值，所述相机的视觉姿态的均值和所述惯性测量单元的数据均值均为在一定时间内的均值；
依据所述相机的视觉姿态的均值和所述惯性测量单元的数据均值构建置信区间；
判断所述相机的视觉姿态的均值是否位于所述置信区间内；
若为是，则所述相机的视觉姿态的均值为相机位姿；
若为否，则所述惯性测量单元的数据均值为相机位姿。
如此，通过获取均值及构建置信区间，选取相机的视觉姿态和惯性测量单元的数据中一者的均值作为相机位姿，有利于提高获取的相机位姿的准确度。
在一些实施例中，所述惯性测量单元的数据均值为相机位姿的步骤具体包括：
依据上一时刻被判断为相机位姿的均值校正所述惯性测量单元的数据均值，以使所述惯性测量单元的数据均值位于所述置信区间内。
如此，通过校正惯性测量单元的数据均值，有利于提高获取的相机位姿的准确度。
在一些实施例中，所述依据所述相机位姿判断所述特征点是否满足约束条件的步骤具体包括：
依据所述相机位姿并通过极线约束的方式对所述特征点的运动状态进行判断。
如此，通过极限约束对多个特征点的运动状态进行判断，以实现运动的特征点的提取。
在一些实施例中，所述提取所述特征点并进行聚类的步骤具体包括：
根据提取的多个特征点之间的空间关系进行图像分割，以判断多个所述特征点之间的位置关系、运动方向的关系及数量范围是否满足预设关系，所述预设关系为多个所述特征点之间的位置是否相邻、运动方向是否一致及多个所述特征点的数量是否满足预设范围；
若为是，则聚类所提取的多个所述特征点；
若为否，则不聚类所提取的多个所述特征点。
如此，通过上述特征点的聚类过程，以获取运动目标。
本申请的第二方面提供一种运动目标检测装置，所述装置包括：
姿态获取模块，用于获取相机位姿，所述相机位姿包括相机相对于参照物旋转或/及平移变化后的姿态；
特征点获取模块，用于获取多个特征点，所述特征点为所述相机的取像目标所在范围内的光流点；
判断模块，用于依据所述相机位姿判断所述特征点是否满足约束条件；及
聚类模块，用于提取所述特征点并进行聚类，以获取运动目标的即时状态。
在一些实施例中，所述装置还包括：
跟踪模块，用于跟踪所述运动目标的即时状态，以稳定所述运动目标的外切矩形框。
在一些实施例中，所述姿态获取模块包括：
第一子获取模块，用于获取所述相机的视觉姿态，所述相机的视觉姿态为所述相机相对于参照物旋转或/及平移变化后的姿态；
第二子获取模块，用于获取惯性测量单元的数据；及
关联模块，用于关联所述相机的视觉姿态及所述惯性测量单元的数据，以获取所述相机位姿。
本申请的第三方面提供一种车辆，所述车辆包括：
存储器、处理器及通讯总线，所述存储器通过所述通讯总线与所述处理器通信连接；及
所述存储器中存储有多个程序模块，所述多个程序模块由所述处理器加载并执行如上所述的运动目标检测方法。
本申请的第四方面提供一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现如所述的运动目标检测方法。
本申请提供的运动目标检测方法、装置、车辆及存储介质，本申请提供的运动目标检测方法，通过获取相机位姿及多个特征点，依据相机位姿并通过约束条件对多个特征点的运动状态进行判断，只有不满足约束条件的特征点才被认为是真实的运动点，从而聚类不满足约束条件的特征点，以获取运动目标，本申请可适用于相机位置发生变化的情况；本申请的特征点通过光流算法来获取，与具体的目标类型无关，可以适用于检测任意类型的运动目标。
附图说明
图1是本申请一实施例所提供的运动目标检测方法的流程示意图。
图2是图1中步骤S1的流程示意图。
图3是图2中步骤S16的流程示意图。
图4是本申请一实施例所提供的运动目标检测装置的功能模块图。
图5是本申请一实施例所提供的车辆的架构示意图。
具体实施方式
为了能够更清楚地理解本申请的目的、特征和优点，下面结合附图和具体实施例对本申请进行详细描述。需要说明的是，在不冲突的情况下，本申请的实施例及实施例中的特征可以相互组合。在下面的描述中阐述了很多具体细节以便于充分理解本申请，所描述的实施例仅是本申请一部分实施例，而不是全部的实施例。
此外，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括一个或者更多个所述特征。在本发明的描述中，“多个”的含义是两个或两个以上，除非另有明确具体的限定。
除非另有定义，本文所使用的所有的技术和科学术语与属于本发明的技术领域的技术人员通常理解的含义相同。本文中在本发明的说明书中所使用的术语只是为了描述具体的实施例的目的，不是旨在于限制本发明。本文所实用的术语“和/或”包括一个或多个相关的所列项目的任意的和所有的组合。
请参考图1，图1为本申请一个实施例提供的运动目标检测方法的流程示意图。根据不同的需求，流程图中步骤的顺序可以改变，某些步骤可以省略。为了便于说明，仅示出了与本申请实施例相关的部分。
本申请实施例的运动目标检测方法应用于车辆中。对于需要进行运动目标检测的车辆，可以直接在车辆上集成本申请的方法所提供的运动目标检测功能，或者安装用于实现本申请的运动目标检测方法的客户端。再如，本申请所提供的运动目标检测方法还可以以软件开发工具包(SDK，Software Development Kit)的形式运行在车辆上，以SDK的形式提供运动目标检测功能的接口，处理器或其他设备通过提供的接口即可实现运动目标检测功能。运动目标检测方法至少包括以下步骤。
步骤S1，获取相机位姿，相机位姿包括相机相对于参照物旋转和平移变化后的姿态。
在本实施方式中，车辆在运动时，安装于车辆的相机的位置也相应地发生改变，相机在检测运动目标时，需要先获取相机位姿，以便于实现运动目标的检测。相机位姿大致为相机相对于地面旋转和平移变化后的姿态。
可以理解地，相机位姿还可以包括车辆的其他状态，如还可以包括惯性测量单元的数据，即关联相机相对于地面旋转和平移变化后的姿态以及惯性测量单元的数据，一起构成相机位姿。
可以理解地，在其他的实施方式中，参照物还可以为其他不变的背景或变化缓慢的背景。
相机大致为鱼眼相机，鱼眼相机安装于车辆的车身四周，以实现车辆四周无死角检测。可以理解地，在其他的实施方式中，相机还可以为其他种类的取像装置。
请参考图2，在一些实施例中，获取相机位姿具体包括以下步骤。
步骤S12，获取相机的视觉姿态，相机的视觉姿态为相机相对于参照物旋转或/及平移变化后的姿态。
在本实施方式中，视觉姿态通过视觉计算获取，在视觉计算过程中，可以使用线性视图，线性视图的主光轴指向为车辆的车身四周，具有较远的可视距离。由于线性视图的视角较窄，为了实现车辆四周无死角检测运动目标，采用四个鱼眼相机，分别设于车辆的车身的四周。可以理解地，在其他的实施方式中，线性视图的主光轴还还以指向其他方向，可以不受限制。
获取相机的视觉姿态即相对于参照物获取相机的旋转角度和相机的平移向量，旋转角度和平移向量一起构成相机的视觉姿态。
可以理解地，在其他的实施例中，获取相机的视觉姿态可以仅获取相机相对于参照物的旋转角度，或者仅获取相机相对于参照物的平移向量。
具体地，相机的旋转角度为三轴旋转角度，分别为滚动(roll)角度、俯仰(pitch)角度和偏航(yaw)角度。滚动角度是相机绕X轴旋转的横滚角，俯仰角度是相机绕Y轴旋转的俯仰角，偏航角度是相机绕Z轴旋转的偏航角。需要说明的是，本实施方式中，X轴为车辆的车头朝向的方向，Y轴为车辆的车侧身朝向的方向，Z轴为车辆的车顶朝向的方向。具体地，获取相机相对于参照物旋转变化后的三轴旋转角度的过程如下。
将相机获取的图像拆分为多个线性视图。在本实施方式中，将每个鱼眼相机获取的图像拆分为两个线性视图，两个线性视图之间存在少量重叠，即整个车身由八个线性视图组成。
将每个线性视图划分为N个块，每个块表示为一个列向量，其中，N>1，且N为自然数；获取t时刻的N个第一列向量；获取t+1时刻的N个第二列向量；关联t时刻的N个列向量及t+1时刻的N个列向量，以获取N个第三列向量，每个第三列向量为第二列向量与相应的第一列向量的相关向量(差值)，取最大值以得到第一列向量与第二列向量的偏移量，每个第三列向量满足以下线性最小二乘拟合关系式：
y＝a*x+b，其中，x为每个第三列向量对应的线性视图横坐标，y为每个第三列向量对应的线性视图纵坐标偏移量。需要说明的是，x的值在第一列向量、第二列向量及第三列向量中均相同。
拟合出a和b的值，根据拟合出的a和b的值，即可获取相机相对于参照物旋转变化后的三轴旋转角度。
例如，对于滚动角度和俯仰角度的计算，在线性视图中沿着水平方向将图像等分为N块，每一块用一个列向量表示，向量的值表达图像对应位置的垂直梯度。对t时刻和t+1时刻(即相邻两帧)的图像分别计算列向量，以获取第一列向量和第二列向量，两组列向量进行差值计算，获取N个最佳的第三列向量，对N个最佳的第三列向量进行线性最小二乘拟合y＝a*x+b，其中，x为第一列向量、第二列向量或第三列向量对应的线性视图横坐标，x为固定值，y为每个第三列向量对应的线性视图纵坐标的偏移量。通过计算，拟合出的b即为俯仰角度，拟合出的a的反正切值(atan(a))即为滚动角度。
对于偏航角度的计算，与上述计算滚动角度和俯仰角度的过程大致相同，不同之处在于：在上述线性视图中沿着垂直方向将图像等分为N块，第一向量、第二向量和第三向量均为行向量，其中过程与上述计算滚动角度和俯仰角度的过程相同。最终通过计算，拟合出的b即为偏航角度。
具体地，获取相机的平移向量的过程如下。
获取相机相对于参照物的速度和方向，以获取相机的运动向量；其中，相机相对于参照物的速度和方向即为车辆相对于参照物的速度和方向。
获取相机的运动向量转换至线性视图的旋转矩阵。
关联旋转矩阵与相机相对于参照物的速度，以获取相机相对于参照物平移变化后的平移向量，平移向量满足以下关系式：
T＝Rw2c*[D，0，0]，D＝∫vdt；
其中，Rw2c为相机的运动向量转换至线性视图的旋转矩阵，v为相机相对于参照物的速度。
计算出相机的旋转角度及相机的平移向量后，一起用于构建相机的视觉姿态。
步骤S14，获取惯性测量单元的数据。
在本实施方式中，采用惯性测量单元的数据，即同时获取车辆的加速度和角速度。可以理解地，在其他的实施方式中，可以仅获取角速度的数据。
步骤S16，关联相机的视觉姿态及惯性测量单元的数据，以获取相机位姿。
请参考图3，具体地，关联相机的视觉姿态及惯性测量单元的数据的过程如下。
在关联之前，需要将惯性测量单元的数据转换至线性视图的坐标系中。通过将惯性测量单元的数据转换到线性视图坐标系中，以与相机的视觉姿态进行同等情况下的关联，转换之后，相机的视觉姿态与惯性测量单元的数据均位于同一坐标系中。
步骤S162，获取相机的视觉姿态的均值A和惯性测量单元的数据均值B，相机的视觉姿态的均值A和惯性测量单元的数据均值B均为在一定时间内的均值。
步骤S164，依据相机的视觉姿态的均值A和惯性测量单元的数据均值B构建置信区间Pr。
步骤S166，判断相机的视觉姿态的均值A是否位于置信区间Pr内。
若相机的视觉姿态的均值A位于置信区间以内，则使用相机的视觉姿态的结果作为相机位姿。
若相机的视觉姿态的均值B位于置信区间以外，则使用惯性测量单元的数据的结果作为相机位姿。
在一些实施方式中，使用惯性测量单元的数据的结果作为相机位姿还需要对惯性测量单元的数据进行偏差校正，具体过程如下：
依据上一时刻被作为相机位姿的均值校正该惯性测量单元的数据均值，以使该惯性测量单元的数据均值位于置信区间内，其中，被作为相机位姿的均值可以是相机的视觉姿态的均值，也可以为惯性测量单元的数据均值。在大多数情况下，相机的视觉姿态都可以作为相机位姿，每个时刻的相机的视觉姿态的均值都会作为历史数据进行存储。例如，在m时刻，相机的视觉姿态作为相机位姿使用；而m+1时刻，惯性测量单元的数据被判定为作为相机位姿使用，但惯性测量单元的数据均值同样不在置信区间以内，在m+1时刻，则需要对惯性测量单元的数据均值作偏差校正，校正的基础为m时刻的相机的视觉姿态的均值，通过计算，使m+1时刻的惯性测量单元的均值位于置信区间内，即，在m+1时刻，相机位姿为被偏差校正后的惯性测量单元的数据均值。
步骤S2，获取多个特征点，特征点为相机的取像目标所在范围内的光流点。
在本实施方式中，通过光流算法来提取相机的取像目标所在范围内的特征点，与具体的目标类型无关。
光流(optical flow)是空间运动物体在观察成像平面上的像素运动的瞬时速度。一般而言，光流是由于场景中运动目标本身的移动、相机的运动，或者两者的共同运动所产生的。光流表带了图像的变化，它包含了运动目标运动的信息。光流算法是利用图像序列中像素在时间域上的变化以及相邻帧之间的相关性来找到上一帧跟当前帧之间存在的对应关系，从而计算出相邻帧之间物体的运动信息的方法。
步骤S3，依据相机位姿判断特征点是否满足约束条件。
在本实施方式中，当车辆发生运动时，安装于车辆的相机的位置也相应地发生改变，根据对极几何的约束关系，一个静止点在不同的相机视角下的成像点满足极线约束。
具体地，依据相机位姿并通过极线约束的方式对特征点的运动状态进行判断。
若特征点满足极线约束的约束条件，则该特征点为静止状态，即该光流点静止，被提取光流点的目标并不是运动的状态。该特征点被判定为静止状态后，继续进行步骤S3，继续对特征点的运动状态进行判断。
步骤S4，若特征点不满足极线约束的约束条件，则该特征点为运动状态，即该光流点是运动的，被提取光流点的目标是运动的状态。在该特征点被判定为运动状态后，提取该特征点并进行聚类，以获取运动目标的即时状态。
需要说明的是，运动目标即为车辆周围运动的物体，运动目标的即时状态大致为运动目标在某一帧时的运动状态，是一个会变化的状态。
在本实施方式中，将提取的多个运动的特征点通过连通区域聚类的方式聚类成为运动目标。
可以理解地，在其他的实施例中，可以采用K均值聚类算法将提取的多个运动的特征点聚类成为运动目标。
具体地，聚类所提取的多个特征点的过程如下：
根据所提取的多个特征点之间的空间关系进行图像分割，以判断多个特征点之间的位置关系、运动方向的关系及数量范围是否满足预设关系，预设关系为多个特征点之间的位置是否相邻、运动方向是否一致及多个特征点的数量是否满足预设范围。在对多个特征点进行图像分割时，可以分割为多个连通的区域，将连通区域内的多个特征点作为一个运动目标来进行判断。
若多个特征点之间的位置相邻、运动方向一致及多个特征点的数量满足预设范围，则聚类所提取的多个特征点，以形成运动目标并获取运动目标的即时状态。在聚类多个特征点时，只有位置、运动方向及数量均满足要求，才可以考虑聚类为运动目标。
若多个特征点之间的位置、运动方向及数量存在至少一项不满足要求，则不聚类所提取的多个特征点。需要重新获取多个特征点，即继续执行步骤S2或继续对特征点是否满足约束条件进行判断。
相机在获取运动目标的即使状态后，在显示界面上会相应地出现外切矩形框，用于界定运动目标的范围。
请继续参考图1，为了稳定运动目标的外切矩形框，获取运动目标的即时状态的步骤之后，运动目标检测方法还包括如下步骤：
步骤S5，跟踪运动目标的即时状态，以稳定运动目标的外切矩形框。
在一些实施方式中，通过卡尔曼滤波关联所提取的多个运动状态的特征点并对其进行滤波，以获取特征点的运动趋势，从而使外切矩形框的变动平滑、稳定，不至于出现跳帧的现象。即通过卡尔曼滤波获取运动目标在下一帧或下一时刻的运动状态。
图1至图3详细介绍了本申请的运动目标检测方法，通过该方法，能够依据相机位姿对多个特征点在约束条件下进行判断，只有不满足约束条件的特征点才被认为是真实的运动点，从而聚类不满足约束条件的特征点，以获取运动目标的即时状态，本申请可适用于相机位置发生变化的情况；还可以适用于检测任意类型的运动目标。其中，步骤S1至步骤S4循环往复，或者步骤S1至步骤S5循环往复，以实现运动目标的连续检测。下面结合图4和图5，对实现运动目标检测装置的功能模块以及硬件装置架构进行介绍。
图4为本申请一实施方式提供的运动目标检测装置的功能模块图。
在一些实施方式中，运动目标检测装置100可以包括多个由程序代码段所组成的功能模块。运动目标检测装置100中的各个程序段的程序代码可以存储于车辆10的存储器11中，并由车辆10中的至少一个处理器12所执行，以实现车辆10(车辆10上的相机)的运动物体检测的功能。
请参考图4，本实施方式中，运动目标检测装置100根据其所执行的功能，可以被划分为多个功能模块，各个功能模块用于执行图1对应实施方式中的各个步骤，以实现运动目标检测的功能。本实施方式中，运动目标检测装置100的功能模块包括：姿态获取模块101、特征点获取模块102、判断模块103及聚类模块104。
姿态获取模块101用于获取相机位姿，相机位姿包括相机相对于参照物旋转和平移变化后的姿态。
特征点获取模块102用于获取多个特征点，特征点为相机的取像目标所在范围内的光流点。
判断模块103用于依据相机位姿判断特征点是否满足约束条件。
聚类模块104用于提取特征点并进行聚类，以获取运动目标的即时状态。
在一实施方式中，运动目标检测装置100的功能模块还包括跟踪模块105。
跟踪模块105用于跟踪运动目标的即时状态，以稳定运动目标的外切矩形框。
在一实施方式中，姿态获取模块101包括第一子获取模块、第二子获取模块及关联模块。
第一子获取模块用于获取相机的视觉姿态，相机的视觉姿态为相机相对于参照物旋转或/及平移变化后的姿态。
第二子获取模块用于获取惯性测量单元的数据。
关联模块用于关联相机的视觉姿态及惯性测量单元的数据，以获取相机位姿。
图5为本申请一实施例所提供的车辆的架构示意图。车辆10包括存储器11、处理器12和通讯总线13，存储器11通过通讯总线13与处理器12通信连接。
上述车辆10还包括存储在存储器11中并可在处理器12上运行的计算机程序14，例如运动目标检测的程序。
上述处理器12执行计算机程序14时实现方法实施例中运动目标检测方法的步骤。或者，处理器12执行计算机程序14实现系统实施例中各模块/单元的功能。
上述计算机程序14可以被分割成一个或多个模块/单元，一个或者多个模块/单元被存储在存储器11中，并由处理器12执行，以完成本申请。一个或多个模块/单元可以是能够完成特定功能的一系列计算机程序指令段，指令段用于描述计算机程序14在车辆10中的执行过程。例如，计算机程序14可以被分割成图4中的模块101、102、103、104，还可以被分割成图4中的模块101、102、103、104、105。
本领域技术人员可以理解，图5仅仅是车辆10的示例，并不构成对车辆10的限定，车辆10可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件，例如车辆10还可以包括输入设备等。
上述处理器12可以是中央处理单元(CPU，Central Processing Unit)，还可以包括其他通用处理器、数字信号处理器(DSP，Digital Signal Processor)、专用集成电路(ASIC，Application Specific Integrated Circuit)、现成可编程门阵列(FPGA，Field-Programmable Gate Array)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者处理器也可以是任何常规的处理器等，处理器12是上述车辆10的控制中心，利用各种接口和线路连接整个车辆10的各个部分。
上述存储器11可用于存储计算机程序14和/或模块/单元，处理器12通过运行或执行存储在存储器11内的计算机程序14和/或模块/单元，以及调用存储在存储器11内的数据，实现车辆10的各种功能。存储器11可以包括外部存储介质，也可以包括内存。此外，存储器11可以包括高速随机存取存储器，还可以包括非易失性存储器，例如硬盘、内存、插接式硬盘，智能存储卡(SMC，Smart Media Card)，安全数字(SD，Secure Digital)卡，闪存卡(Flash Card)、至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。
上述车辆10集成的模块/单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请实现上述实施例方法中的全部或部分流程，也可以通过计算机程序14来指令相关的硬件来完成，上述的计算机程序14可存储于一计算机可读存储介质中，计算机程序14在被处理器12执行时，可实现上述各个方法实施例的步骤。需要说明的是，上述计算机可读介质包含的内容可以根据司法管辖区内立法和专利实践的要求进行适当的增减，例如在某些司法管辖区，根据立法和专利实践，计算机可读介质不包括电载波信号和电信信号。
对于本领域技术人员而言，显然本发明不限于上述示范性实施例的细节，而且在不背离本发明的精神或基本特征的情况下，能够以其他的具体形式实现本发明。因此，无论从哪一点来看，均应将实施例看作是示范性的，而且是非限制性的，本发明的范围由所附权利要求而不是上述说明限定，因此旨在将落在权利要求的等同要件的含义和范围内的所有变化涵括在本发明内。
最后应说明的是，以上实施例仅用以说明本发明的技术方案而非限制，尽管参照较佳实施例对本发明进行了详细说明，本领域的普通技术人员应当理解，可以对本发明的技术方案进行修改或等同替换，而不脱离本发明技术方案的精神和范围。
Claims (15)
1.一种运动目标检测方法，其特征在于，所述方法包括：
S1：获取相机位姿，所述相机位姿包括相机相对于参照物旋转或/及平移变化后的姿态；
S2：获取多个特征点，所述特征点为所述相机的取像目标所在范围内的光流点；
S3：依据所述相机位姿判断所述特征点是否满足约束条件；
若为是，则所述特征点为静止状态；
S4：若为否，则所述特征点为运动状态，提取所述特征点并进行聚类，以获取运动目标的即时状态。
2.如权利要求1所述的运动目标检测方法，其特征在于，所述获取运动目标的即时状态的步骤之后，所述方法还包括：
S5：跟踪所述运动目标的即时状态，以稳定所述运动目标的外切矩形框。
3.如权利要求2所述的运动目标检测方法，其特征在于，所述跟踪所述运动目标的即时状态的步骤具体包括：
通过卡尔曼滤波关联提取的多个所述特征点，以获取多个所述特征点的运动趋势。
4.如权利要求1-3中任意一项所述的运动目标检测方法，其特征在于，所述获取相机位姿的步骤具体包括：
S12：获取所述相机的视觉姿态，所述相机的视觉姿态为所述相机相对于参照物旋转或/及平移变化后的姿态；
S14：获取惯性测量单元的数据；及
S16：关联所述相机的视觉姿态及所述惯性测量单元的数据，以获取所述相机位姿。
5.如权利要求4所述的运动目标检测方法，其特征在于，所述“获取所述相机的视觉姿态”的步骤具体包括：
将所述相机获取的图像拆分为多个线性视图；
将每个所述线性视图划分为N个块，每个块为一向量，其中，N>1，且N为自然数；
获取t时刻的N个第一向量；
获取t+1时刻的N个第二向量；
关联t时刻的N个所述第一向量及t+1时刻的N个所述第二向量，以获取N个第三向量，每个所述第三向量为所述第二向量与对应的所述第一向量的相关向量，每个所述第三向量满足以下线性最小二乘拟合关系式：
y＝a*x+b，其中，x为每个所述第三向量对应的线性视图横坐标，y为每个所述第三向量对应的线性视图纵坐标的偏移量；
获取a和b的值，并根据a和b的值以获取所述相机相对于参照物旋转变化后的三轴旋转角度。
6.如权利要求5所述的运动目标检测方法，其特征在于，所述“获取所述相机的视觉姿态”的步骤具体还包括：
获取所述相机相对于参照物的速度和方向，以获取所述相机的运动向量；
获取所述相机的运动向量转换至所述线性视图的旋转矩阵；
关联所述旋转矩阵与所述相机相对于参照物的速度，以获取所述相机相对于参照物平移变化后的平移向量，所述平移向量满足以下关系式：
T＝Rw2c*[D，0，0]，D＝∫vdt；
其中，Rw2c为所述相机的运动向量转换至所述线性视图的旋转矩阵，v为所述相机相对于参照物的速度。
7.如权利要求6所述的运动目标检测方法，其特征在于，所述关联所述相机的视觉姿态及所述惯性测量单元的数据的步骤具体包括：
S162：获取所述相机的视觉姿态的均值和所述惯性测量单元的数据均值，所述相机的视觉姿态的均值和所述惯性测量单元的数据均值均为在一定时间内的均值；
S164：依据所述相机的视觉姿态的均值和所述惯性测量单元的数据均值构建置信区间；
S166：判断所述相机的视觉姿态的均值是否位于所述置信区间内；
若为是，则所述相机的视觉姿态的均值为相机位姿；
若为否，则所述惯性测量单元的数据均值为相机位姿。
8.如权利要求7所述的运动目标检测方法，其特征在于，所述惯性测量单元的数据均值为相机位姿的步骤具体包括：
依据上一时刻被判断为相机位姿的均值校正所述惯性测量单元的数据均值，以使所述惯性测量单元的数据均值位于所述置信区间内。
9.如权利要求1-3中任意一项所述的运动目标检测方法，其特征在于，所述依据所述相机位姿判断所述特征点是否满足约束条件的步骤具体包括：
依据所述相机位姿并通过极线约束的方式对所述特征点的运动状态进行判断。
10.如权利要求1-3中任意一项所述的运动目标检测方法，其特征在于，所述提取所述特征点并进行聚类的步骤具体包括：
根据提取的多个特征点之间的空间关系进行图像分割，以判断多个所述特征点之间的位置关系、运动方向的关系及数量范围是否满足预设关系，所述预设关系为多个所述特征点之间的位置是否相邻、运动方向是否一致及多个所述特征点的数量是否满足预设范围；
若为是，则聚类所提取的多个所述特征点；
若为否，则不聚类所提取的多个所述特征点。
11.一种运动目标检测装置，其特征在于，所述装置包括：
姿态获取模块，用于获取相机位姿，所述相机位姿包括相机相对于参照物旋转或/及平移变化后的姿态；
特征点获取模块，用于获取多个特征点，所述特征点为所述相机的取像目标所在范围内的光流点；
判断模块，用于依据所述相机位姿判断所述特征点是否满足约束条件；及
聚类模块，用于提取所述特征点并进行聚类，以获取运动目标的即时状态。
12.如权利要求11所述的运动目标检测装置，其特征在于，所述装置还包括：
跟踪模块，用于跟踪所述运动目标的即时状态，以稳定所述运动目标的外切矩形框。
13.如权利要求11或12所述的运动目标检测装置，其特征在于，所述姿态获取模块包括：
第一子获取模块，用于获取所述相机的视觉姿态，所述相机的视觉姿态为所述相机相对于参照物旋转或/及平移变化后的姿态；
第二子获取模块，用于获取惯性测量单元的数据；及
关联模块，用于关联所述相机的视觉姿态及所述惯性测量单元的数据，以获取所述相机位姿。
14.一种车辆，其特征在于，所述车辆包括：
存储器、处理器及通讯总线，所述存储器通过所述通讯总线与所述处理器通信连接；及
所述存储器中存储有多个程序模块，所述多个程序模块由所述处理器加载并执行如权利要求1至10中任意一项所述的运动目标检测方法。
15.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至10中任意一项所述的运动目标检测方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011360816.7A CN112396634A (zh) | 2020-11-27 | 2020-11-27 | 运动目标检测方法、装置、车辆及存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011360816.7A CN112396634A (zh) | 2020-11-27 | 2020-11-27 | 运动目标检测方法、装置、车辆及存储介质 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN112396634A true CN112396634A (zh) | 2021-02-23 |
Family
ID=74604699
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202011360816.7A Pending CN112396634A (zh) | 2020-11-27 | 2020-11-27 | 运动目标检测方法、装置、车辆及存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112396634A (zh) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113344966A (zh) * | 2021-06-18 | 2021-09-03 | 北京星航科创技术有限公司 | 一种运动相机的目标运动状态修正方法 |
| CN114529858A (zh) * | 2022-04-21 | 2022-05-24 | 浙江大华技术股份有限公司 | 车辆状态识别方法、电子设备及计算机可读存储介质 |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105931275A (zh) * | 2016-05-23 | 2016-09-07 | 北京暴风魔镜科技有限公司 | 基于移动端单目和imu融合的稳定运动跟踪方法和装置 |
| WO2019157925A1 (zh) * | 2018-02-13 | 2019-08-22 | 视辰信息科技(上海)有限公司 | 视觉惯性里程计的实现方法及系统 |
| CN110298884A (zh) * | 2019-05-27 | 2019-10-01 | 重庆高开清芯科技产业发展有限公司 | 一种适于动态环境中单目视觉相机的位姿估计方法 |
| CN110766716A (zh) * | 2019-09-10 | 2020-02-07 | 中国科学院深圳先进技术研究院 | 一种空间未知运动目标的信息获取方法及系统 |
| CN111402336A (zh) * | 2020-03-23 | 2020-07-10 | 中国科学院自动化研究所 | 基于语义slam的动态环境相机位姿估计及语义地图构建方法 |
| CN111882583A (zh) * | 2020-07-29 | 2020-11-03 | 成都英飞睿技术有限公司 | 一种运动目标检测方法、装置、设备及介质 |
-
2020
- 2020-11-27 CN CN202011360816.7A patent/CN112396634A/zh active Pending
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105931275A (zh) * | 2016-05-23 | 2016-09-07 | 北京暴风魔镜科技有限公司 | 基于移动端单目和imu融合的稳定运动跟踪方法和装置 |
| WO2019157925A1 (zh) * | 2018-02-13 | 2019-08-22 | 视辰信息科技(上海)有限公司 | 视觉惯性里程计的实现方法及系统 |
| CN110298884A (zh) * | 2019-05-27 | 2019-10-01 | 重庆高开清芯科技产业发展有限公司 | 一种适于动态环境中单目视觉相机的位姿估计方法 |
| CN110766716A (zh) * | 2019-09-10 | 2020-02-07 | 中国科学院深圳先进技术研究院 | 一种空间未知运动目标的信息获取方法及系统 |
| CN111402336A (zh) * | 2020-03-23 | 2020-07-10 | 中国科学院自动化研究所 | 基于语义slam的动态环境相机位姿估计及语义地图构建方法 |
| CN111882583A (zh) * | 2020-07-29 | 2020-11-03 | 成都英飞睿技术有限公司 | 一种运动目标检测方法、装置、设备及介质 |
Non-Patent Citations (2)
| Title |
|---|
| 张旭东;李文龙;胡良梅;叶子瑞;: "基于PMD相机的特征跟踪位姿测量方法", 电子测量与仪器学报, no. 07, 15 July 2013 (2013-07-15) * |
| 邢科新;陈步华;张雪波;俞立;: "基于平面运动约束的移动机器人位姿估计", 浙江工业大学学报, no. 02, 9 April 2018 (2018-04-09) * |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113344966A (zh) * | 2021-06-18 | 2021-09-03 | 北京星航科创技术有限公司 | 一种运动相机的目标运动状态修正方法 |
| CN113344966B (zh) * | 2021-06-18 | 2023-09-22 | 北京星航科创技术有限公司 | 一种运动相机的目标运动状态修正方法 |
| CN114529858A (zh) * | 2022-04-21 | 2022-05-24 | 浙江大华技术股份有限公司 | 车辆状态识别方法、电子设备及计算机可读存储介质 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US11466988B2 (en) | Method and device for extracting key frames in simultaneous localization and mapping and smart device | |
| CN110246147B (zh) | 视觉惯性里程计方法、视觉惯性里程计装置及移动设备 | |
| CN111145238B (zh) | 单目内窥镜图像的三维重建方法、装置及终端设备 | |
| US9635251B2 (en) | Visual tracking using panoramas on mobile devices | |
| EP3028252B1 (en) | Rolling sequential bundle adjustment | |
| CN111275763B (zh) | 闭环检测系统、多传感器融合slam系统及机器人 | |
| Noda et al. | Vehicle ego-localization by matching in-vehicle camera images to an aerial image | |
| CN110111388B (zh) | 三维物体位姿参数估计方法及视觉设备 | |
| US20090290809A1 (en) | Image processing device, image processing method, and program | |
| CN108198199B (zh) | 运动物体跟踪方法、运动物体跟踪装置和电子设备 | |
| CN112348889B (zh) | 视觉定位方法及相关装置、设备 | |
| US11922658B2 (en) | Pose tracking method, pose tracking device and electronic device | |
| CN110738078A (zh) | 一种人脸识别方法及终端设备 | |
| CN112396634A (zh) | 运动目标检测方法、装置、车辆及存储介质 | |
| US20230394829A1 (en) | Methods, systems, and computer-readable storage mediums for detecting a state of a signal light | |
| EP3035242B1 (en) | Method and electronic device for object tracking in a light-field capture | |
| Jiang et al. | A 500-fps pan-tilt tracking system with deep-learning-based object detection | |
| CN112541423A (zh) | 一种同步定位与地图构建方法和系统 | |
| CN111724421B (zh) | 图像处理方法及装置、电子设备及存储介质 | |
| CN117615255A (zh) | 基于云台的拍摄追踪方法、装置、设备及存储介质 | |
| CN113345032A (zh) | 一种基于广角相机大畸变图的初始化建图方法及系统 | |
| CN112184544B (zh) | 图像拼接的方法和装置 | |
| CN112802112B (zh) | 视觉定位方法、装置、服务器及存储介质 | |
| CN115861352A (zh) | 单目视觉、imu和激光雷达的数据融合和边缘提取方法 | |
| CN116208842A (zh) | 视频处理方法、装置、设备和计算机可读存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |