CN112037261A - 一种图像动态特征去除方法及装置 - Google Patents
一种图像动态特征去除方法及装置 Download PDFInfo
- Publication number
- CN112037261A CN112037261A CN202010915216.6A CN202010915216A CN112037261A CN 112037261 A CN112037261 A CN 112037261A CN 202010915216 A CN202010915216 A CN 202010915216A CN 112037261 A CN112037261 A CN 112037261A
- Authority
- CN
- China
- Prior art keywords
- feature point
- image
- feature
- points
- point
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 76
- 206010034719 Personality change Diseases 0.000 claims abstract description 14
- 230000010354 integration Effects 0.000 claims abstract description 10
- 239000011159 matrix material Substances 0.000 claims description 26
- 238000012545 processing Methods 0.000 claims description 15
- 230000004927 fusion Effects 0.000 claims description 13
- 230000008859 change Effects 0.000 claims description 10
- 238000005070 sampling Methods 0.000 claims description 10
- 238000005259 measurement Methods 0.000 claims description 9
- 238000004364 calculation method Methods 0.000 claims description 7
- 238000012850 discrimination method Methods 0.000 claims description 7
- 230000016776 visual perception Effects 0.000 claims description 6
- 230000033001 locomotion Effects 0.000 description 13
- 230000003287 optical effect Effects 0.000 description 8
- 230000003068 static effect Effects 0.000 description 8
- 238000010586 diagram Methods 0.000 description 6
- 230000004438 eyesight Effects 0.000 description 6
- 230000008569 process Effects 0.000 description 5
- 230000000007 visual effect Effects 0.000 description 5
- 230000009471 action Effects 0.000 description 3
- 238000000605 extraction Methods 0.000 description 3
- 238000013507 mapping Methods 0.000 description 3
- 238000013135 deep learning Methods 0.000 description 2
- 238000005457 optimization Methods 0.000 description 2
- 230000008447 perception Effects 0.000 description 2
- 230000003190 augmentative effect Effects 0.000 description 1
- 238000002996 descriptor matching method Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000008030 elimination Effects 0.000 description 1
- 238000003379 elimination reaction Methods 0.000 description 1
- 230000004807 localization Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000000750 progressive effect Effects 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
- 230000007704 transition Effects 0.000 description 1
- 238000013519 translation Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
- G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
- G06T7/269—Analysis of motion using gradient-based methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
Landscapes
- Engineering & Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Multimedia (AREA)
- Image Analysis (AREA)
Abstract
本发明提供一种图像动态特征去除方法及装置，通过IMU辅助计算两帧图像间的相机姿态变化信息，进而基于该相机姿态变化信息进行特征点的预测，从而结合跟踪匹配的结果去除动态点。本发明能够快速去除动态点，具有计算量小、应用场景广、精度高、与现有的SLAM技术方案容易集成等优点。
Description
技术领域
本发明涉及计算机视觉技术领域，更具体地说，涉及一种图像动态特征去除方法及装置。
背景技术
计算机视觉的技术正在快速发展，基于计算机视觉的自主感知、导航、定位等技术应用场景也正在由简单到复杂、由静态到动态的转变。手机等终端上基于SLAM(Simultanenous Localization and Mapping，同步建图和定位)技术的AR/VR(AugmentedReality/VirtualReality，增强现实和虚拟现实)应用，也需要面对在动态环境下的物体姿态跟踪问题。
在这些复杂场景中，物体(机器、人)等相对摄像头的运动是非刚体的，而传统的基于刚体假设的物体跟踪技术(基于图像特征的)并不能有效应对。解决该问题的思路之一是借助深度学习。通过深度网络识别可能的非静态物体(人、车)，并通过对极几何等方法验证这些物体上的特征点。目前，深度网络的计算量仍然较大，大多数情况下需要GPU等特殊计算设备支持。这会带来功耗、成本等方面的问题。
发明内容
有鉴于此，为解决上述问题，本发明提供一种图像动态特征去除方法及装置，技术方案如下：
一种图像动态特征去除方法，所述方法包括：
获取视觉感知的不同时间下的多帧图像；
对于所述多帧图像中的连续两帧图像，基于IMU惯性测量单元计算由时间较早的第一图像到时间较晚的第二图像间的相机姿态变化信息；
获取所述第一图像上的第一特征点，并基于所述相机姿态变化信息在所述第二图像上确定所述第一特征点对应的预测特征点；
通过跟踪匹配在所述第二图像上确定所述第一特征点对应的跟踪特征点，并基于所述第一特征点对应的预测特征点和跟踪特征点去除所述第一特征点中的动态点得到第二特征点。
优选的，所述基于IMU惯性测量单元计算由时间较早的第一图像到时间较晚的第二图像间的相机姿态变化信息，包括：
获取陀螺仪数据，并将所述陀螺仪数据转换至相机坐标系；
通过对所述相机坐标系下的陀螺仪数据进行数值积分和指数变化得到所述第一图像与所述第二图像间的相机旋转矩阵；
基于所述相机旋转矩阵计算相机单应性矩阵。
优选的，所述方法还包括：
获取所述第二特征点对应的跟踪特征点；
基于对极几何假设，使用随机采样一致性方法处理所述第二特征点和所述第二特征点对应的跟踪特征点，以去除所述第二特征点中的动态点得到第三特征点。
优选的，所述方法还包括：
在执行所述获取所述第一图像上的第一特征点的同时，生成所述第一图像的特征点数值标签，所述特征点数值标签包含不同特征点的标识，同一特征点在不同图像的特征点数值标签中的标识相同；
在所述第一特征点/所述第二特征点的动态点去除结束后，更新所述第一图像的特征点数值标签；
提取所述第二图像上除所述第二特征点/所述第三特征点对应的跟踪特征点外其他的新特征点，并生成所述第二图像的特征点数值标签；
通过融合所述第二特征点/所述第三特征点对应的跟踪特征点、以及所述新特征点，将所述第一图像最新的特征点数值标签、以及所述第二图像的特征点数值标签进行融合。
优选的，所述方法还包括：
调取预先管理的特征点的特征记录，所述特征记录中记录有所管理的特征点所在的图像、位于各图像中的位置坐标、以及各图像对应的相机位姿；
针对所管理的每个特征点，如果该特征点的标识存在于特征点数值标签的融合结果中、且所在的连续图像的帧数大于等于预设阈值，基于重投影误差判别法处理该特征点位于连续图像中的位置坐标、以及连续图像的相机位姿，以去除所述第二特征点/所述第三特征点中的动态点得到第四特征点。
优选的，所述方法还包括：
如果该特征点的标识不存在于特征点数值标签的融合结果中、或者所在的连续图像的帧数小于预设阈值，删除该特征点的特征记录。
一种图像动态特征去除装置，所述装置包括：
图像获取模块，用于获取视觉感知的不同时间下的多帧图像；
姿态计算模块，用于对于所述多帧图像中的连续两帧图像，基于IMU惯性测量单元计算由时间较早的第一图像到时间较晚的第二图像间的相机姿态变化信息；
特征预测模块，用于获取所述第一图像上的第一特征点，并基于所述相机姿态变化信息在所述第二图像上确定所述第一特征点对应的预测特征点；
动态去除模块，用于通过跟踪匹配在所述第二图像上确定所述第一特征点对应的跟踪特征点，并基于所述第一特征点对应的预测特征点和跟踪特征点去除所述第一特征点中的动态点得到第二特征点。
优选的，所述动态去除模块，还用于：
获取所述第二特征点对应的跟踪特征点；基于对极几何假设，使用随机采样一致性方法处理所述第二特征点和所述第二特征点对应的跟踪特征点，以去除所述第二特征点中的动态点得到第三特征点。
优选的，所述特征预测模块，还用于：
在执行所述获取所述第一图像上的第一特征点的同时，生成所述第一图像的特征点数值标签，所述特征点数值标签包含不同特征点的标识，同一特征点在不同图像的特征点数值标签中的标识相同；
所述动态去除模块，还用于：
在所述第一特征点/所述第二特征点的动态点去除结束后，更新所述第一图像的特征点数值标签；提取所述第二图像上除所述第二特征点/所述第三特征点对应的跟踪特征点外其他的新特征点，并生成所述第二图像的特征点数值标签；通过融合所述第二特征点/所述第三特征点对应的跟踪特征点、以及所述新特征点，将所述第一图像最新的特征点数值标签、以及所述第二图像的特征点数值标签进行融合。
优选的，所述装置还包括：
特征点管理模块，用于调取预先管理的特征点的特征记录，所述特征记录中记录有所管理的特征点所在的图像、位于各图像中的位置坐标、以及各图像对应的相机位姿；针对所管理的每个特征点，如果该特征点的标识存在于特征点数值标签的融合结果中、且所在的连续图像的帧数大于等于预设阈值，基于重投影误差判别法处理该特征点位于连续图像中的位置坐标、以及连续图像的相机位姿，以去除所述第二特征点/所述第三特征点中的动态点得到第四特征点。
本发明提供一种图像动态特征去除方法及装置，通过IMU辅助计算两帧图像间的相机姿态变化信息，进而基于该相机姿态变化信息进行特征点的预测，从而结合跟踪匹配的结果去除动态点。本发明能够快速去除动态点，具有计算量小、应用场景广、精度高、与现有的SLAM技术方案容易集成等优点。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。
图1为本发明实施例提供的图像动态特征去除方法的方法流程图；
图2为本发明实施例提供的特征点分布示意图；
图3为本发明实施例提供的静态点和动态点的图像坐标轨迹示意图；
图4为本发明实施例提供的图像动态特征去除方法的另一方法流程图；
图5为本发明实施例提供的图像动态特征去除装置的结构示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
为使本发明的上述目的、特征和优点能够更加明显易懂，下面结合附图和具体实施方式对本发明作进一步详细的说明。
计算机视觉的技术正在快速发展，基于计算机视觉的自主感知、导航、定位等技术应用场景也正在由简单到复杂、由静态到动态的转变。机器人比如配备摄像头的机器人在复杂场景如商场、办公区域、仓储空间等，人流、机器的往来构成环境的动态物体，这对机器人的自主导航构成一定挑战。近年来，手机等终端上基于SLAM技术的AR/VR应用，也需要面对在动态环境下的物体姿态跟踪问题。
在这些复杂场景中，物体(机器、人)等相对摄像头的运动是非刚体的，而传统的基于刚体假设的物体跟踪技术(基于图像特征的)并不能有效应对。解决该问题的思路之一是借助深度学习。通过深度网络识别可能的非静态物体(人、车)，并通过对极几何等方法验证这些物体上的特征点。目前，深度网络的计算量仍然较大，大多数情况下需要GPU等特殊计算设备支持。这会带来功耗、成本等方面的问题。
另外一种处理思路是，基于图像特征匹配的方法，使用特征描述子辅助特征匹配，然后利用对极几何、随机采样一致性(ransac)等方法来剔除外点。这种方法可以应对一部分简单的动态场景，如场景中只要很少一部分动态物体或者动态物体相对匀速速度非常大。
近年来基于传感器融合的导航定位方法在SLAM领域取得重要应用。消费级的惯性测量单元(IMU)成为手机、显示头盔、机器人等设备的标准配置。针对动态场景下的自主定位问题，本发明提供一种基于IMU辅助的图像动态特征提取方法。本发明的技术方案具有计算量小、应用场景广、精度高、与现有的SLAM技术方案容易集成等优点。
参见图1所示的方法流程图，本发明实施例提供的图像动态特征提取方法包括如下步骤：
S10，获取视觉感知的不同时间下的多帧图像。
本发明实施例应用于基于cam(相机)和IMU的VIO的SLAM系统。相机和IMU是所有自主导航设备(机器人、手机、头盔等)的标准配置，本发明不要求IMU和相机是高性能、价格昂贵的传感器，只需要消费级即可。
S20，对于多帧图像中的连续两帧图像，基于IMU惯性测量单元计算由时间较早的第一图像到时间较晚的第二图像间的相机姿态变化信息。
本发明实施例中，以第一图像为t时刻获取的一帧图像I1、第二图像为t+1时刻获取一帧新图像I2为例进行说明：
在t时刻获取到图像I1后，提取该图像的特征点，特征点的集合记为特征点集Ft。在发明本实施例中，所提取的图像特征可以是FAST角点、Harris角点或者Shi Tomasi角点等，提取特征点时需要保证特征点在图像上均匀分布。图2为本发明实施例提供的特征点分布示意图。
进一步，由于IMU测量到的数据为IMU坐标系下的数据，而一般SLAM视觉相关的都习惯于视觉坐标系，即相机坐标系，转换量为两个坐标系间的姿态转移矩阵。因此在获得t时刻至t+1时刻之间的IMU陀螺仪角速度ωi，ωi+1，…，ωi+Q后，将陀螺仪数据变换到相机坐标系，通过对相机坐标系下的陀螺仪数据进行数值积分得到旋转角度
并通过指数变化得到两帧之间的旋转矩阵ΔR，由旋转矩阵ΔR得到单应性矩阵H。单应性矩阵是根据两帧信息求取的两帧间的转移矩阵。
一般情况下，IMU采样频率大于相机采样频率。本发明实施例使用一阶数值积分来计算旋转角度，即
此外，得到旋转角度后，通过指数映射法获得两帧之间的旋转矩阵，即
并进而计算出单应性矩阵H＝K*ΔR*K-1。其中，K为相机内参矩阵，其为相机固定参数，通过标定得到。
此外，本发明实施例中，由陀螺仪角速度计算旋转矩阵的方式，还可以利用角速度平均值乘以时间获得旋转角度，并利用罗德里格斯公式计算出旋转矩阵，本发明实施例对此不做限定。
S30，获取第一图像上的第一特征点，并基于相机姿态变化信息在第二图像上确定第一特征点对应的预测特征点。
本发明实施例中，对于特征点集Ft中一个特征点，即第一特征点p＝[u，v，1]T，u、v分别为特征点横纵坐标，由公式p′＝H*p，得到其在图像I2中的预测图像坐标p′，从而将该图像坐标p′下的特征点记为该第一特征点的预测特征点。由此，特征点集Ft在图像I2的所有预测特征点的集合记为特征点集
S40，通过跟踪匹配在第二图像上确定第一特征点对应的跟踪特征点，并基于第一特征点对应的预测特征点和跟踪特征点去除第一特征点中的动态点得到第二特征点。
本发明实施例中，以特征点集
为初始值，在图像I1与I2之间进行基于光流法的特征点跟踪，并根据跟踪结果去除特征点集Ft中的动态点，即将特征点集Ft中去除动态点后剩余的特征点记为第二特征点。具体的，如果特征点集
中某一第一特征点的图像坐标与其跟踪结果的图像坐标间的误差大于预设阈值，则将其识别为动态点。
光流跟踪法是一种描述像素随时间在图像之前运动的方法，其前提是灰度不变性，根据此特征来完成前后两帧的特征点跟踪。具体的，可以使用基于金字塔的KLT光流法进行特征点匹配。
本发明实施例中，以此预测坐标为基础，结合光流法，去除一部分动态点，尤其是运动幅度剧烈的动态点。
需要说明的是，动态点是指视觉帧中在三维空间运动的特征点，其位置不确定。图3为本发明实施例提供的静态点和动态点的图像坐标轨迹示意图，明显的，附着于动态物体(行人)上的动态点(A)随动态物体的运动相对于静态点(B)有较大幅度波动。
还需要说明的是，基于本发明实施例的基本思想，还可以利用描述子匹配的方法代替光流法。即以特征点集
为初始值，在一定范围内进行描述子匹配，寻找匹配的特征点。这种方法要求提取特征点同时提取特征描述子。
在其他一些实施例中，为适应不同应用场景，提高动态消除的精确性，在图1所示的图像动态特征去除方法的基础上，还可以采用如下步骤，方法流程图如图4所示：
S50，获取第二特征点对应的跟踪特征点。
S60，基于对极几何假设，使用随机采样一致性方法处理第二特征点和第二特征点对应的跟踪特征点，以去除第二特征点中的动态点得到第三特征点。
本发明实施例中，将第二特征点在图像I2中的光流法跟踪结果的集合记为特征点集
基于对极几何假设，使用随机采样一致性方法计算t时刻和t+1时刻之间的基础矩阵，并根据计算结果识别并去除动态点，更新特征点集Ft和
由于基础矩阵是由内参矩阵(已知)、两帧之间的旋转矩阵、以及两帧之间的平移向量计算得到，本发明实施例直接由IMU积分得到旋转矩阵ΔR，并选用2-point ransac法计算基础矩阵。进而，根据计算结果同步去除不符合对极约束的动态点。
在此基础上，为实现特征点管理，本发明实施例还可以采用如下步骤：
在执行获取第一图像上的第一特征点的同时，生成第一图像的特征点数值标签，特征点数值标签包含不同特征点的标识，同一特征点在不同图像的特征点数值标签中的标识相同；在第一特征点/第二特征点的动态点去除结束后，更新第一图像的特征点数值标签；提取第二图像上除第二特征点/第三特征点对应的跟踪特征点外其他的新特征点，并生成第二图像的特征点数值标签；通过融合第二特征点/第三特征点、以及新特征点，将第一图像最新的特征点数值标签、以及第二图像的特征点数值标签进行融合。
本发明实施例中，对于图像I1的特征点集Ft，对其中的每个第一特征点都会标记为一个数值ID，各个ID的跟踪数据记为IDList，该跟踪数据能够表征相应ID的特征点被正常跟踪的帧数。特征点的ID可以是整数，即类似ID＝1，每个特征点ID数值特异，不同时刻不同图像跟踪成功的特征点ID相同。
此外，在步骤S10～步骤S40所指示的图像动态特征去除方案中，在执行完第一特征点的动态点去除获得第二特征点后，删除帧间跟踪失败的特征点的跟踪数据、将帧间跟踪正常的特征点的跟踪数据加1。
在步骤S10～S60所指示的图像动态特征去除方案中，在执行完第二特征点的动态点去除获得第三特征点后，删除帧间跟踪失败的特征点的跟踪数据、将帧间跟踪正常的特征点的跟踪数据加1。
此外，本发明实施例中，由于跟踪过程中图像特征会逐渐减少，所以需要提取图像I2上的新特征。提取新图像特征点的原则与以上步骤的提取原则相同，保证图像I2上的所有特征点均匀分布。
图像I2上提取新特征点的集合记为特征点集NFt+1，并记录相应的特征点数值标签NIDList。具体的，将图像I2按照一定比例划分为多个视觉小方格，将图像I2已经跟踪到的第三特征点的跟踪特征点分配到对应的小方格内，进一步对不含有跟踪特征点的小方格对应的图像区域重新提取特征点，将提取的新特征点分配新的ID，然后将其跟踪数据加1。
需要说明的是，在步骤S10～步骤S40所指示的图像动态特征去除方案中，新特征点是除第二特征点对应的跟踪特征点外其他的特征点，相应的，其是通过融合第二特征点对应的跟踪特征点与新特征点获得特征点数值标签的融合结果；在步骤S10～步骤S60所指示的图像动态特征去除方案中，新特征点是除第三特征点对应的跟踪特征点外其他的特征点，相应的，其是通过融合第三特征点对应的跟踪特征点与新特征点获得特征点数值标签的融合结果。
以步骤S10～步骤S60所指示的图像动态特征去除方案为例进行说明，
进一步，第三特征点对应的跟踪特征点的集合记为特征点集
将特征点集
和特征点集NFt+1合并为一个集合、将特征点数值标签IDList和特征点数值标签NIDList合并为一个特征点数值标签。这就为后续特征点管理提供基础。
本发明实施例中，上述技术方案可代替SLAM技术方案的中的视觉前端或者可以与之集成。
经过本发明以上IMU辅助的光流法、基于对极几何的ransac方法进行动态点去除后，已经消除了大部分动态点，但是还有剩余的动态点，尤其是运动频率较小、幅度较小的动态点，需要多帧观察才能确认的点。由此，在后续特征点管理的过程中，本发明设计基于重投影误差的算法，可以去除这些动态点，该部分技术方案可以在SLAM技术方案的后端完成。包括如下步骤：
调取预先管理的特征点的特征记录，特征记录中记录有所管理的特征点所在的图像、位于各图像中的位置坐标、以及各图像对应的相机位姿；针对所管理的每个特征点，如果该特征点的标识存在于特征点数值标签的融合结果中、且所在的连续图像的帧数大于等于预设阈值，基于重投影误差判别法处理该特征点位于连续图像中的位置坐标、以及连续图像的相机位姿，以去除第二特征点/第三特征点中的动态点得到第四特征点。
本发明实施例中，记录t+1时刻由自主定位算法模块提供的相机位姿Tt+1。自主定位算法模块是一种实现自主导航、定位和建图的算法模块，可以是一种SLAM算法或者视觉惯性里程计VIO算法。这些算法可以是基于滑窗优化的(sliding-window optimization)或者基于多状态约束的(multi-state constrait)的SLAM方案。本发明的有益效果是剔除图像动态点，提升这些算法的定位导航精度。
特征点管理时管理t+1时刻之前的连续N帧图像特征点以及每帧图像对应的相机位姿T，N的取值与SLAM方案有关。需要说明的是，被识别为动态的特征点已经被去除。
对于所管理的每个特征点，如果在标签融合结果中不存在其对应的ID，则判定该特征点已经跟踪失败，直接删除该特征点的特征记录；进一步，如果其被成功跟踪、即所在的连续图像的帧数小于预设阈值，则视其为不可信任点，直接删除该特征点的特征记录。
当然，如果标签融合结构中存在该特征点对应的ID、且其所在的连续图像的帧数大于等于预设阈值，则获取该特征点在连续图像中各图像的图像坐标、将其集合记为坐标序列Z＝(z1，z2…，zW)，以及连续图像中各图像对应的相机位姿、将其集合记为位姿序列T＝(T1，T2，…，TW)。
在坐标序列Z中选择两个观测zj、zk、以及对应的相机位姿Tj、Tk，通过三角化方法得到特征点三维坐标f＝triangle(zj，zk，Tj，tk)。本实施例选择用于三角化的两个观测之间的依据是，保证两帧之间的视差大于一定数值。
进一步，优化
按照最小化重投影误差法得到最终的三维坐标f，以及平均重投影误差Δz。Δz＞th本实施例中，进行最小化重投影误差时，当迭代次数超过一定值，而此时重投影误差Δz＞th，则把该特征点归为动态点。在步骤S10～步骤S40所指示的图像动态特征去除方案中，去除第二特征点中的动态点；在步骤S10～步骤S60所指示的图像动态特征去除方案中，去除第三特征点中的动态点。
继续参见图3，相对于静态点(B点)，动态点(A)的图像轨迹随动态物体运动(行人)，其中重投影误差会比较大。
本发明实施例选用的VIO方案是MSCKF(Multi-State Constraint KalmanFilter)算法。
由此可知，本技术方案易于同现有的SLAM技术方案容易集成，不会带来额外计算量。本发明的处理流程，在多个步骤的处理中，基于不同约束设计算法，包含IMU辅助的光流法、基于对极几何的ransac方法、重投影误差判别法可以有效去除多种场景、不同程度的影响SLAM或者VIO算法的动态点，因而可以得到良好的技术效果。
基于上述实施例提供的图像动态特征去除方法，本发明实施例还提供一种执行上述图像动态特征去除方法的装置，该装置的结构示意图如图5所示，包括：
图像获取模块10，用于获取视觉感知的不同时间下的多帧图像；
姿态计算模块20，用于对于多帧图像中的连续两帧图像，基于IMU惯性测量单元计算由时间较早的第一图像到时间较晚的第二图像间的相机姿态变化信息；
特征预测模块30，用于获取第一图像上的第一特征点，并基于相机姿态变化信息在第二图像上确定第一特征点对应的预测特征点；
动态去除模块40，用于通过跟踪匹配在第二图像上确定第一特征点对应的跟踪特征点，并基于第一特征点对应的预测特征点和跟踪特征点去除第一特征点中的动态点得到第二特征点。
可选的，姿态计算模块20，具体用于：
获取陀螺仪数据，并将陀螺仪数据转换至相机坐标系；通过对相机坐标系下的陀螺仪数据进行数值积分和指数变化得到第一图像与第二图像间的相机旋转矩阵；基于相机旋转矩阵计算相机单应性矩阵。
可选的，动态去除模块40，还用于：
获取第二特征点对应的跟踪特征点；基于对极几何假设，使用随机采样一致性方法处理第二特征点和第二特征点对应的跟踪特征点，以去除第二特征点中的动态点得到第三特征点。
可选的，特征预测模块30，还用于：
在执行获取第一图像上的第一特征点的同时，生成第一图像的特征点数值标签，特征点数值标签包含不同特征点的标识，同一特征点在不同图像的特征点数值标签中的标识相同；
动态去除模块40，还用于：
在第一特征点/第二特征点的动态点去除结束后，更新第一图像的特征点数值标签；提取第二图像上除第二特征点/第三特征点对应的跟踪特征点外其他的新特征点，并生成第二图像的特征点数值标签；通过融合第二特征点/第三特征点对应的跟踪特征点、以及新特征点，将第一图像最新的特征点数值标签、以及第二图像的特征点数值标签进行融合。
可选的，上述装置还包括：
特征点管理模块，用于调取预先管理的特征点的特征记录，特征记录中记录有所管理的特征点所在的图像、位于各图像中的位置坐标、以及各图像对应的相机位姿；针对所管理的每个特征点，如果该特征点的标识存在于特征点数值标签的融合结果中、且所在的连续图像的帧数大于等于预设阈值，基于重投影误差判别法处理该特征点位于连续图像中的位置坐标、以及连续图像的相机位姿，以去除第二特征点/第三特征点中的动态点得到第四特征点。
本发明实施例提供的图像动态特征去除装置，通过IMU辅助计算两帧图像间的相机姿态变化信息，进而基于该相机姿态变化信息进行特征点的预测，从而结合跟踪匹配的结果去除动态点。本发明能够快速去除动态点，具有计算量小、应用场景广、精度高、与现有的SLAM技术方案容易集成等优点。
以上对本发明所提供的一种图像动态特征去除方法及装置进行了详细介绍，本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本发明的限制。
需要说明的是，本说明书中的各个实施例均采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似的部分互相参见即可。对于实施例公开的装置而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。
还需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备所固有的要素，或者是还包括为这些过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
对所公开的实施例的上述说明，使本领域专业技术人员能够实现或使用本发明。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本发明的精神或范围的情况下，在其它实施例中实现。因此，本发明将不会被限制于本文所示的这些实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。
Claims (10)
1.一种图像动态特征去除方法，其特征在于，所述方法包括：
获取视觉感知的不同时间下的多帧图像；
对于所述多帧图像中的连续两帧图像，基于IMU惯性测量单元计算由时间较早的第一图像到时间较晚的第二图像间的相机姿态变化信息；
获取所述第一图像上的第一特征点，并基于所述相机姿态变化信息在所述第二图像上确定所述第一特征点对应的预测特征点；
通过跟踪匹配在所述第二图像上确定所述第一特征点对应的跟踪特征点，并基于所述第一特征点对应的预测特征点和跟踪特征点去除所述第一特征点中的动态点得到第二特征点。
2.根据权利要求1所述的方法，其特征在于，所述基于IMU惯性测量单元计算由时间较早的第一图像到时间较晚的第二图像间的相机姿态变化信息，包括：
获取陀螺仪数据，并将所述陀螺仪数据转换至相机坐标系；
通过对所述相机坐标系下的陀螺仪数据进行数值积分和指数变化得到所述第一图像与所述第二图像间的相机旋转矩阵；
基于所述相机旋转矩阵计算相机单应性矩阵。
3.根据权利要求1所述的方法，其特征在于，所述方法还包括：
获取所述第二特征点对应的跟踪特征点；
基于对极几何假设，使用随机采样一致性方法处理所述第二特征点和所述第二特征点对应的跟踪特征点，以去除所述第二特征点中的动态点得到第三特征点。
4.根据权利要求1或3所述的方法，其特征在于，所述方法还包括：
在执行所述获取所述第一图像上的第一特征点的同时，生成所述第一图像的特征点数值标签，所述特征点数值标签包含不同特征点的标识，同一特征点在不同图像的特征点数值标签中的标识相同；
在所述第一特征点/所述第二特征点的动态点去除结束后，更新所述第一图像的特征点数值标签；
提取所述第二图像上除所述第二特征点/所述第三特征点对应的跟踪特征点外其他的新特征点，并生成所述第二图像的特征点数值标签；
通过融合所述第二特征点/所述第三特征点对应的跟踪特征点、以及所述新特征点，将所述第一图像最新的特征点数值标签、以及所述第二图像的特征点数值标签进行融合。
5.根据权利要求4所述的方法，其特征在于，所述方法还包括：
调取预先管理的特征点的特征记录，所述特征记录中记录有所管理的特征点所在的图像、位于各图像中的位置坐标、以及各图像对应的相机位姿；
针对所管理的每个特征点，如果该特征点的标识存在于特征点数值标签的融合结果中、且所在的连续图像的帧数大于等于预设阈值，基于重投影误差判别法处理该特征点位于连续图像中的位置坐标、以及连续图像的相机位姿，以去除所述第二特征点/所述第三特征点中的动态点得到第四特征点。
6.根据权利要求5所述的方法，其特征在于，所述方法还包括：
如果该特征点的标识不存在于特征点数值标签的融合结果中、或者所在的连续图像的帧数小于预设阈值，删除该特征点的特征记录。
7.一种图像动态特征去除装置，其特征在于，所述装置包括：
图像获取模块，用于获取视觉感知的不同时间下的多帧图像；
姿态计算模块，用于对于所述多帧图像中的连续两帧图像，基于IMU惯性测量单元计算由时间较早的第一图像到时间较晚的第二图像间的相机姿态变化信息；
特征预测模块，用于获取所述第一图像上的第一特征点，并基于所述相机姿态变化信息在所述第二图像上确定所述第一特征点对应的预测特征点；
动态去除模块，用于通过跟踪匹配在所述第二图像上确定所述第一特征点对应的跟踪特征点，并基于所述第一特征点对应的预测特征点和跟踪特征点去除所述第一特征点中的动态点得到第二特征点。
8.根据权利要求7所述的装置，其特征在于，所述动态去除模块，还用于：
获取所述第二特征点对应的跟踪特征点；基于对极几何假设，使用随机采样一致性方法处理所述第二特征点和所述第二特征点对应的跟踪特征点，以去除所述第二特征点中的动态点得到第三特征点。
9.根据权利要求7或8所述的装置，其特征在于，所述特征预测模块，还用于：
在执行所述获取所述第一图像上的第一特征点的同时，生成所述第一图像的特征点数值标签，所述特征点数值标签包含不同特征点的标识，同一特征点在不同图像的特征点数值标签中的标识相同；
所述动态去除模块，还用于：
在所述第一特征点/所述第二特征点的动态点去除结束后，更新所述第一图像的特征点数值标签；提取所述第二图像上除所述第二特征点/所述第三特征点对应的跟踪特征点外其他的新特征点，并生成所述第二图像的特征点数值标签；通过融合所述第二特征点/所述第三特征点对应的跟踪特征点、以及所述新特征点，将所述第一图像最新的特征点数值标签、以及所述第二图像的特征点数值标签进行融合。
10.根据权利要求9所述的装置，其特征在于，所述装置还包括：
特征点管理模块，用于调取预先管理的特征点的特征记录，所述特征记录中记录有所管理的特征点所在的图像、位于各图像中的位置坐标、以及各图像对应的相机位姿；针对所管理的每个特征点，如果该特征点的标识存在于特征点数值标签的融合结果中、且所在的连续图像的帧数大于等于预设阈值，基于重投影误差判别法处理该特征点位于连续图像中的位置坐标、以及连续图像的相机位姿，以去除所述第二特征点/所述第三特征点中的动态点得到第四特征点。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010915216.6A CN112037261A (zh) | 2020-09-03 | 2020-09-03 | 一种图像动态特征去除方法及装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010915216.6A CN112037261A (zh) | 2020-09-03 | 2020-09-03 | 一种图像动态特征去除方法及装置 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN112037261A true CN112037261A (zh) | 2020-12-04 |
Family
ID=73591814
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010915216.6A Pending CN112037261A (zh) | 2020-09-03 | 2020-09-03 | 一种图像动态特征去除方法及装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112037261A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115829833A (zh) * | 2022-08-02 | 2023-03-21 | 爱芯元智半导体(上海)有限公司 | 一种图像生成方法及移动设备 |
Citations (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20130182894A1 (en) * | 2012-01-18 | 2013-07-18 | Samsung Electronics Co., Ltd. | Method and apparatus for camera tracking |
| US20130236107A1 (en) * | 2012-03-09 | 2013-09-12 | Kabushiki Kaisha Topcon | Moving image processing device, moving image processing method, and recording medium having moving image processing program |
| CN105931275A (zh) * | 2016-05-23 | 2016-09-07 | 北京暴风魔镜科技有限公司 | 基于移动端单目和imu融合的稳定运动跟踪方法和装置 |
| CN107255476A (zh) * | 2017-07-06 | 2017-10-17 | 青岛海通胜行智能科技有限公司 | 一种基于惯性数据和视觉特征的室内定位方法和装置 |
| CN108682027A (zh) * | 2018-05-11 | 2018-10-19 | 北京华捷艾米科技有限公司 | 基于点、线特征融合的vSLAM实现方法及系统 |
| CN108682036A (zh) * | 2018-04-27 | 2018-10-19 | 腾讯科技（深圳）有限公司 | 位姿确定方法、装置及存储介质 |
| CN109993113A (zh) * | 2019-03-29 | 2019-07-09 | 东北大学 | 一种基于rgb-d和imu信息融合的位姿估计方法 |
| CN110349250A (zh) * | 2019-06-28 | 2019-10-18 | 浙江大学 | 一种基于rgbd相机的室内动态场景的三维重建方法 |
| CN111024066A (zh) * | 2019-12-10 | 2020-04-17 | 中国航空无线电电子研究所 | 一种无人机视觉-惯性融合室内定位方法 |
| CN111210463A (zh) * | 2020-01-15 | 2020-05-29 | 上海交通大学 | 基于特征点辅助匹配的虚拟宽视角视觉里程计方法及系统 |
| EP3680809A1 (en) * | 2017-09-22 | 2020-07-15 | Huawei Technologies Co., Ltd. | Visual slam method and apparatus based on point and line characteristic |
-
2020
- 2020-09-03 CN CN202010915216.6A patent/CN112037261A/zh active Pending
Patent Citations (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20130182894A1 (en) * | 2012-01-18 | 2013-07-18 | Samsung Electronics Co., Ltd. | Method and apparatus for camera tracking |
| CN103218799A (zh) * | 2012-01-18 | 2013-07-24 | 三星电子株式会社 | 用于相机跟踪的方法和设备 |
| US20130236107A1 (en) * | 2012-03-09 | 2013-09-12 | Kabushiki Kaisha Topcon | Moving image processing device, moving image processing method, and recording medium having moving image processing program |
| CN105931275A (zh) * | 2016-05-23 | 2016-09-07 | 北京暴风魔镜科技有限公司 | 基于移动端单目和imu融合的稳定运动跟踪方法和装置 |
| CN107255476A (zh) * | 2017-07-06 | 2017-10-17 | 青岛海通胜行智能科技有限公司 | 一种基于惯性数据和视觉特征的室内定位方法和装置 |
| EP3680809A1 (en) * | 2017-09-22 | 2020-07-15 | Huawei Technologies Co., Ltd. | Visual slam method and apparatus based on point and line characteristic |
| CN108682036A (zh) * | 2018-04-27 | 2018-10-19 | 腾讯科技（深圳）有限公司 | 位姿确定方法、装置及存储介质 |
| CN108682027A (zh) * | 2018-05-11 | 2018-10-19 | 北京华捷艾米科技有限公司 | 基于点、线特征融合的vSLAM实现方法及系统 |
| CN109993113A (zh) * | 2019-03-29 | 2019-07-09 | 东北大学 | 一种基于rgb-d和imu信息融合的位姿估计方法 |
| CN110349250A (zh) * | 2019-06-28 | 2019-10-18 | 浙江大学 | 一种基于rgbd相机的室内动态场景的三维重建方法 |
| CN111024066A (zh) * | 2019-12-10 | 2020-04-17 | 中国航空无线电电子研究所 | 一种无人机视觉-惯性融合室内定位方法 |
| CN111210463A (zh) * | 2020-01-15 | 2020-05-29 | 上海交通大学 | 基于特征点辅助匹配的虚拟宽视角视觉里程计方法及系统 |
Non-Patent Citations (3)
| Title |
|---|
| PHUONG MINH CHU 等: "Removing past data of dynamic objects using static Velodyne LiDAR sensor", 《2016 16TH INTERNATIONAL CONFERENCE ON CONTROL, AUTOMATION AND SYSTEMS (ICCAS)》, 31 December 2016 (2016-12-31), pages 1637 - 1640 * |
| 严雷 等: "结合图像识别的移动增强现实系统设计与应用", 《中国图象图形学报》, no. 02, 16 February 2016 (2016-02-16), pages 184 - 191 * |
| 孙玉柱 等: "基于单目视觉SLAM的实时三维场景重建", 《信息技术》, no. 11, 25 November 2016 (2016-11-25), pages 52 - 56 * |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115829833A (zh) * | 2022-08-02 | 2023-03-21 | 爱芯元智半导体(上海)有限公司 | 一种图像生成方法及移动设备 |
| CN115829833B (zh) * | 2022-08-02 | 2024-04-26 | 爱芯元智半导体(上海)有限公司 | 一种图像生成方法及移动设备 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN107990899B (zh) | 一种基于slam的定位方法和系统 | |
| CN109307508B (zh) | 一种基于多关键帧的全景惯导slam方法 | |
| CN107747941B (zh) | 一种双目视觉定位方法、装置及系统 | |
| CN112634451B (zh) | 一种融合多传感器的室外大场景三维建图方法 | |
| CN112304307A (zh) | 一种基于多传感器融合的定位方法、装置和存储介质 | |
| CN108028871B (zh) | 移动设备上的无标记的多用户多对象增强现实 | |
| CN109506642B (zh) | 一种机器人多相机视觉惯性实时定位方法及装置 | |
| Tanskanen et al. | Live metric 3D reconstruction on mobile phones | |
| CN109671105B (zh) | 一种视觉导航系统的跟踪恢复方法和装置 | |
| CN112219087A (zh) | 位姿预测方法、地图构建方法、可移动平台及存储介质 | |
| CN109472828B (zh) | 一种定位方法、装置、电子设备及计算机可读存储介质 | |
| CN107735797B (zh) | 用于确定第一坐标系与第二坐标系之间的运动的方法 | |
| CN109903330B (zh) | 一种处理数据的方法和装置 | |
| WO2018174954A1 (en) | System and method for merging maps | |
| CN111127524A (zh) | 一种轨迹跟踪与三维重建方法、系统及装置 | |
| WO2020221307A1 (zh) | 一种运动物体的追踪方法和装置 | |
| CN111986261B (zh) | 一种车辆定位方法、装置、电子设备及存储介质 | |
| CN111279354A (zh) | 图像处理方法、设备及计算机可读存储介质 | |
| CN103900473A (zh) | 一种基于摄像头与重力感应器融合的智能移动设备六自由度位姿估计方法 | |
| CN111609868A (zh) | 一种基于改进光流法的视觉惯性里程计方法 | |
| CN113029128A (zh) | 视觉导航方法及相关装置、移动终端、存储介质 | |
| CN114494150A (zh) | 一种基于半直接法的单目视觉里程计的设计方法 | |
| CN113884006A (zh) | 一种空间定位方法及系统、设备和计算机可读存储介质 | |
| JP6922348B2 (ja) | 情報処理装置、方法、及びプログラム | |
| CN111862150A (zh) | 图像跟踪的方法、装置、ar设备和计算机设备 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |