CN112991388A - 基于光流跟踪预测和凸几何距离的线段特征跟踪方法 - Google Patents
基于光流跟踪预测和凸几何距离的线段特征跟踪方法 Download PDFInfo
- Publication number
- CN112991388A CN112991388A CN202110268118.2A CN202110268118A CN112991388A CN 112991388 A CN112991388 A CN 112991388A CN 202110268118 A CN202110268118 A CN 202110268118A CN 112991388 A CN112991388 A CN 112991388A
- Authority
- CN
- China
- Prior art keywords
- line segment
- tracking
- image
- line
- optical flow
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 83
- 230000003287 optical effect Effects 0.000 title claims abstract description 41
- 239000013598 vector Substances 0.000 claims abstract description 23
- 239000011159 matrix material Substances 0.000 claims description 24
- 238000005457 optimization Methods 0.000 claims description 12
- 239000000126 substance Substances 0.000 claims description 3
- 238000004422 calculation algorithm Methods 0.000 abstract description 5
- 230000000007 visual effect Effects 0.000 abstract description 4
- 238000005070 sampling Methods 0.000 abstract description 3
- 238000004590 computer program Methods 0.000 description 7
- 238000000605 extraction Methods 0.000 description 7
- 238000010586 diagram Methods 0.000 description 6
- 230000006870 function Effects 0.000 description 6
- 238000012545 processing Methods 0.000 description 3
- 238000004364 calculation method Methods 0.000 description 2
- 230000000644 propagated effect Effects 0.000 description 2
- 238000006467 substitution reaction Methods 0.000 description 2
- 230000009466 transformation Effects 0.000 description 2
- 238000013519 translation Methods 0.000 description 2
- NAWXUBYGYWOOIX-SFHVURJKSA-N (2s)-2-[[4-[2-(2,4-diaminoquinazolin-6-yl)ethyl]benzoyl]amino]-4-methylidenepentanedioic acid Chemical compound C1=CC2=NC(N)=NC(N)=C2C=C1CCC1=CC=C(C(=O)N[C@@H](CC(=C)C(O)=O)C(O)=O)C=C1 NAWXUBYGYWOOIX-SFHVURJKSA-N 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 239000000835 fiber Substances 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- JPSNJFMTQIIVFG-UHFFFAOYSA-M lithium;ethanethiolate Chemical compound [Li+].CC[S-] JPSNJFMTQIIVFG-UHFFFAOYSA-M 0.000 description 1
- 239000013307 optical fiber Substances 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
- G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
- G06V10/443—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components by matching or filtering
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10016—Video; Image sequence
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
- Y02T10/00—Road transport of goods or passengers
- Y02T10/10—Internal combustion engine [ICE] based vehicles
- Y02T10/40—Engine management systems
Abstract
本发明属于视觉跟踪领域，具体涉及了一种基于光流跟踪预测和凸几何距离的线段特征跟踪方法，旨在解决现有基于描述子的线段匹配方法精确性低和速度慢的问题。本发明包括：基于当前帧图像利用FLD算法提取线段，并采样等距特征点；利用IMU信息进行特征点在下一帧的位置预测，并利用KLT稀疏光流跟踪方法进行特征跟踪；对于所有的跟踪成功的特征点去除跟踪错误的特征点之后，拟合得到预测线段；对每一条线段，计算其与候选匹配线段之间的几何距离，构建误差函数，并利用最小化L1范数的方法求解匹配向量，从而得到线段之间的匹配关系。本发明进行线段跟踪匹配的精度高和速度快，且不依赖局部线段描述子。
Description
技术领域
本发明属于视觉跟踪领域，具体涉及了一种基于光流跟踪预测和凸几何距离的线段特征跟踪方法。
背景技术
近年来，视觉SLAM技术在无人驾驶、虚拟现实以及机器人导航等领域得到了广泛的应用。现有的视觉SLAM系统的前端部分一般基于点特征。然而，在一些场景中难以提取到额定数量的特征点(比如白墙和路面等)，但是这些场景可能存在着大量的线段特征。因此，能够利用线段特征来提高SLAM系统在这些场景中的鲁棒性。此外，相比于点特征，线段特征能够提供场景的结构信息。由于上述优点，近年来，线段特征在SLAM系统中得到了应用。
现有的基于线段特征的SLAM系统或者点线融合的SLAM系统一般基于局部描述子进行线段匹配。然而，基于局部描述子的线段跟踪方法仍然存在一些挑战。首先，线段周围的纹理信息较为相似，这一特性使得线段描述子的区分性较差，从而导致线段匹配的精度较低。其次，基于局部描述子的线段匹配方法极其耗时，导致基于线段的方法无法应用到嵌入式等低端设备上。为了解决上述问题，本发明提出了一种不依赖局部描述子的准确和快速的线段跟踪方法。
发明内容
为了解决现有技术中的上述问题，即为了解决现有基于描述子的线段匹配方法精确性低和速度慢的问题，本发明提第一方面，供了一种基于光流跟踪预测和凸几何距离的线段特征跟踪方法，包括以下步骤：
步骤S100，提取输入视频数据中第t帧的图像It的线段li，得到第一线段集；
步骤S200，提取每一条线段的特征点，通过基于IMU辅助的光流跟踪，获取所述特征点在t+1帧的图像It+1上的位置，得到预测点集；
步骤S300，对所述特征点在所述图像It+1上的位置进行拟合，得到所述图像It+1中的预测线段l′i，得到第二线段集；
步骤S400，获所述图像It+1中的线段lj，得到第三线段集；
步骤S500，基于线段l′i和所述第三线段集中所有线段的几何距离，构建线段l′i的误差矩阵Ai；
步骤S600，对误差矩阵Ai、匹配向量xi，采用L1范数的凸优化获取所述第三线段集中与线段l′i匹配的线段，并基于线段li和线段l′i的对应关系，得到所述第三线段集中与线段li匹配的线段。
在一些优选实施方式中，所述第t帧图像的线段li通过FLD的方法提取。
在一些优选实施方式中，步骤S200中“提取每一条线段的特征点”，其方法为：在线段li上等距采样c个点作为特征点。
在一些优选实施方式中，所述预测点集的获取方法为：
获取第一预测点集u′1，
u′1＝KRK-1u1
其中，u1为图像It的线段的特征点集；K为标定好的相机内参矩阵；R为图像It和图像It+1之间的旋转矩阵，通过积分图像It和图像It+1之间的IMU序列得到；
基于第一预测点集u′1，通过光流跟踪方法得到的u1对应图像It+1上的第二预测点集u2；
从第二预测点集u2中去除跟踪错误的特征点得到第三预测点集u3，作为最终的预测点集。
在一些优选实施方式中，所述去除跟踪错误的特征点，针对每条线段单独处理：
对于第二预测点集u2中与线段li对应的第二预测点子集u2i，选取同时满足第一约束条件、第二约束条件的点，得到临时点集；
基于所述的临时点集，通过最小二乘方法拟合直线；
从所述临时点集中去除距离所拟合直线大于设定阈值的点，得到与线段li对应的第三预测点子集u3i；
其中，所述第一约束条件为跟踪成功并且满足极线约束；所述第二约束条件为预设的边缘特征判定条件。
在一些优选实施方式中，所述第二线段集中与线段li对应的预测线段l′i的获取方法为：
基于第三预测点子集u3i，通过最小二乘方法拟合直线。
在一些优选实施方式中，线段l′i和所述第三线段集中线段lj的几何距离为
[θij dij mij]T
其中，θij为线段l′i与线段lj之间的夹角，dij为线段l′i与线段lj之间的距离，mij为线段l′i与线段lj的中点距离。
在一些优选实施方式中，所述线段l′i的误差矩阵Ai为
所述匹配向量xi为
xi＝[xi0 … xij … xi(n-1)]T
其中，n为所述第三线段集中线段数量；xij＝1，表示线段l′i和线段lj为正确匹配，否则如果xij＝0，表示线段l′i和线段lj不是正确匹配。
在一些优选实施方式中，步骤S600中“对误差矩阵Ai、匹配向量xi，采用L1范数的凸优化获取所述第三线段集中与线段l′i匹配的线段”，其方法为：
其中，λ表示权重参数，b＝[0 0 0]T表示匹配误差；
对上式采用L1范数凸优化求解匹配向量xi，获取所述第三线段集中与线段l′i匹配的线段。
本发明的第二方面，提出了一种基于光流跟踪预测和凸几何距离的线段特征跟踪系统，包括第一单元、第二单元、第三单元、第四单元、第五单元、第六单元；
所述第一单元，配置为提取输入视频数据中第t帧的图像It的线段li，得到第一线段集；
所述第二单元，配置为提取每一条线段的特征点，通过基于IMU辅助的光流跟踪，获取所述特征点在t+1帧的图像It+1上的位置，得到预测点集；
所述第三单元，配置为对所述特征点在所述图像It+1上的位置进行拟合，得到所述图像It+1中的预测线段l′i，得到第二线段集；
所述第四单元，配置为获所述图像It+1中的线段lj，得到第三线段集；
所述第五单元，配置为基于线段l′i和所述第三线段集中所有线段的几何距离，构建线段l′i的误差矩阵Ai；
所述第六单元，配置为对误差矩阵Ai、匹配向量xi，采用L1范数的凸优化获取所述第三线段集中与线段l′i匹配的线段，并基于线段li和线段l′i的对应关系，得到所述第三线段集中与线段li匹配的线段。
本发明的第三方面，提出了一种设备，包括：
至少一个处理器；以及
与至少一个所述处理器通信连接的存储器；其中，
所述存储器存储有可被所述处理器执行的指令，所述指令用于被所述处理器执行以实现上述的基于基于光流跟踪预测和凸几何距离的线段特征跟踪方法。
本发明的第四方面，提出了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机指令，所述计算机指令用于被所述计算机执行以实现上述的基于基于光流跟踪预测和凸几何距离的线段特征跟踪方法。
本发明的有益效果：
本发明方法进行线段跟踪匹配的精度高和速度快，且不依赖局部线段描述子。经过测试，在精度方面，所提方法的平均精度大于95％；在速度方面，所提在普通的PC端计算时间为3.73ms。由于在人造场景中存在大量的线段特征，故本发明具有广泛的应用场景。
附图说明
通过阅读参照以下附图所作的对非限制性实施例所作的详细描述，本申请的其它特征、目的和优点将会变得更明显：
图1是本发明一种实施例的基于光流跟踪预测和凸几何距离的线段特征跟踪方法流程示意图；
图2是本发明一种实施例的基于光流跟踪预测和凸几何距离的线段特征跟踪方法原理示意图。
具体实施方式
下面结合附图和实施例对本申请作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅用于解释相关发明，而非对该发明的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与有关发明相关的部分。
需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。下面将参考附图并结合实施例来详细说明本申请。
本发明提供一种基于光流跟踪预测和凸几何距离的线段特征跟踪方法，包括以下步骤：
步骤S100，提取输入视频数据中第t帧的图像It的线段li，得到第一线段集；
步骤S200，提取每一条线段的特征点，通过基于IMU辅助的光流跟踪，获取所述特征点在t+1帧的图像It+1上的位置，得到预测点集；
步骤S300，对所述特征点在所述图像It+1上的位置进行拟合，得到所述图像It+1中的预测线段l′i，得到第二线段集；
步骤S400，获所述图像It+1中的线段lj，得到第三线段集；
步骤S500，基于线段l′i和所述第三线段集中所有线段的几何距离，构建线段l′i的误差矩阵Ai；
步骤S600，对误差矩阵Ai、匹配向量xi，采用L1范数的凸优化获取所述第三线段集中与线段l′i匹配的线段，并基于线段li和线段l′i的对应关系，得到所述第三线段集中与线段li匹配的线段。
为了更清晰地对本发明进行说明，下面结合附图对本发明实施例中各部分展开详述。
本发明第一实施例的基于光流跟踪预测和凸几何距离的线段特征跟踪方法，首先利用IMU-KLT方法进行线段预测，然后基于凸几何距离最小化方法进行线段匹配，具体如图1所示，包括如下的步骤S100-步骤S600。
步骤S100，提取输入视频数据中第t帧的图像It的线段li，得到第一线段集。
在进行线段预测过程之前，首先对每一帧输入的图像进行线段提取。目前主要有两种线段特征提取方法，分别是LSD(Line Segment Detector，直线段检测算法)和FLD(Fisher's Linear Discriminant，费雪线性判别)。虽然FLD线段提取方法比LSD提取方法性能稍差，但是FLD的方法提取速度非常快。因此，本发明选取了FLD线段提取方法。
步骤S200，提取每一条线段的特征点，通过基于IMU辅助的光流跟踪，获取所述特征点在t+1帧的图像It+1上的位置，得到预测点集。
对于利用FLD方法提取的每一条线段，首先在线段上等距采样c个特征点。假设在当前图像共提取到m条线段，则总共有m×c个特征点。然后利用IMU(Inertial MeasurementUnit，惯性导航单元)辅助预测的KLT光流跟踪方法，预测这些特征点在下一帧图像上的位置。
基于IMU辅助的KLT光流跟踪方法的具体步骤包括：
步骤S210，获取第一预测点集u′1，
u′1＝KRK-1u1 (1)
其中，u1为图像It的线段的特征点集；K为标定好的相机内参矩阵；R为图像It和图像It+1之间的旋转矩阵，通过积分图像It和图像It+之间的IMU序列得到。
对于连续的两帧图像It和It+1，分别用R和t表示两帧图像之间的旋转和平移，K表示标定好的相机内参矩阵。d1和d2分别表示图像It和It+1上的一对匹配特征点(像素坐标)。像素坐标系下的特征点通过K-1变换到归一化坐标，分别表示为p1和p2。此外，用λ1和λ2分别表示p1和p2对应的深度值。根据图像It和It+1之间的变换关系，可以得到公式(2)：
λ2p2＝λ1Rp1+t (2)
在像素坐标系下，变换为公式(2)：
λ2K-1d2＝λ1RK-1d1+t (3)
一般而言，连续两帧图像之间的平移向量t非常小，可以忽略不计。此外，λ1和λ2也可以认为近似相等。因此，公式(3)可以简化为公式(4)：
d2＝KRK-1d1 (4)
公式(3)中的R可以通过积分图像It和It+1之间的IMU序列得到。对于图像It上的特征点d1，能够基于公式(3)预测其在图像It+1的位置d2。
基于公式(3)可得到图像It的线段的特征点集u1在图像It+1上的预测点集，记为第一预测点集u′1，表示为公式(1)。
步骤S220，基于第一预测点集u′1，通过光流跟踪方法得到的u1对应图像It+1上的第二预测点集u2。
利用传统的KLT稀疏光流跟踪方法进一步得到第一预测点集u′1中各点在图像It+1中对应的点集，作为第二预测点集u2。
步骤S230，从第二预测点集u2中去除跟踪错误的特征点得到第三预测点集u3，作为最终的预测点集。
本实施例中，去除跟踪错误的特征点，针对每条线段单独处理，包括：
步骤S231，对于第二预测点集u2中与线段li对应的第二预测点子集u2i，选取同时满足第一约束条件、第二约束条件的点，得到临时点集；
步骤S232，基于所述的临时点集，通过最小二乘方法拟合直线；
步骤S233，从所述临时点集中去除距离所拟合直线大于设定阈值的点，得到与线段li对应的第三预测点子集u3i；本年实施例中的设定阈值为2像素；
所述第一约束条件为跟踪成功并且满足极线约束；所述第二约束条件为预设的边缘特征判定条件。
步骤S300，对所述特征点在所述图像It+1上的位置进行拟合，得到所述图像It+1中的预测线段l′i，得到第二线段集。
本步骤的拟合方法为：基于第三预测点子集u3i，通过最小二乘方法拟合直线。
步骤S400，获所述图像It+1中的线段lj，得到第三线段集。
步骤S500，基于线段l′i和所述第三线段集中所有线段的几何距离，构建线段l′i的误差矩阵Ai。
步骤S600，对误差矩阵Ai、匹配向量xi，采用L1范数的凸优化获取所述第三线段集中与线段l′i匹配的线段，并基于线段li和线段l′i的对应关系，得到所述第三线段集中与线段li匹配的线段。
在通过步骤S400获得图像It中所提取线段在图像It+1中的预测线段(即第三线段集)后，需要在图像It+1上提取的线段中寻找与第三线段集中线段最为相似的线段，从而得到图像之间正确的线段匹配关系。这一过程本质是在提取线段中寻找和预测线段最为相似的线段。本发明利用角度、线段中点距离、采样点到线段平均距离衡量预测线段和提取线段之间的距离。具体描述如下：
对于图像It和It+1上的线段li和lj，分别用si和ei以及sj和ej来表示线段的起点和终点。假设在图像It和It+1上分别提取到m和n条线段。可以定义图像It和It+1提取的线段集合分别为
和
m为第一线段集中线段数量，n为第三线段集中线段数量。对于线段li，其方向向量定义如式(5)所示：
线段
其在图像It+1的预测线段为l′i，真实的匹配线段为lj，
定义线段l′i与线段lj之间的夹角如式(6)所示：
对于线段l′i上的h个等距采样点中某一特征点pw，其与线段lj之间的距离为
其中pw和lj都为齐次坐标表示。则定义线段l′i与线段lj之间的距离如式(7)所示：
此外，线段l′i与线段lj之间的中点距离如式(8)所示：
mij＝‖m′i-mj‖2 (8)
其中m′i＝(s′i-e′i)/2，mj＝(sj-ej)/2。综上，线段l′i与线段lj之间的几何距离定义为[θij dij mij]T。
对于线段l′i，依次计算与图像It+1上所有线段之间的几何距离，则可以构建线段l′i的误差矩阵Ai，其中Ai可以表示为式(9)：
用xij表示线段l′i和线段lj之间的匹配标志。如果xij＝1，表示线段l′i和线段lj为正确匹配，否则如果xij＝0，表示线段l′i和线段lj不是正确匹配。对于线段l′i，其与图像It+1上所有线段之间的匹配向量可以定义为xi＝[xi0 … xij… xi(n-1)]T。其中一个匹配向量的值的示例为xi＝[0 … 1 … 0]T，其中数值1的位置即为图像It+1中与线段l′i所匹配的线段所在的位置，也即图像It+1中与线段li所匹配的线段所在的位置。
理论上，误差矩阵和匹配向量之间满足如式(10)所示的关系：
Aixi＝b (10)
其中b＝[0 0 0]T表示匹配误差，理论上应该为0。
理论上，公式(10)能够利用最小化L2范数的方法求解。然而，L2范数求解的结果通常是稠密的。线段匹配的性质导致匹配向量需要保持足够稀疏。因此，本发明采用L1范数最小化来保证求解结果的稀疏性，如式(11)所示。
公式(11)中的约束项表示线段之间的几何约束关系，ε表示最大允许误差。进一步，公式(11)能够转化为如式(12)的无约束形式：
其中，λ表示权重参数。
由于L1范数最小化是凸的，因此，能够利用同伦算法高效计算公式(12)，即对上式采用L1范数凸优化求解匹配向量xi，获取所述第三线段集中与线段l′i匹配的线段。同时，得益于精确的IMU-KLT线段预测，本发明算法能够非常快速的收敛。在计算得到匹配向量xi后，首先对其进行规范化，规范化后匹配向量中最大元素所在的位置即为正确匹配线段所在位置。对于图像It中的所有线段，重复上述步骤，从而得到图像之间的线段匹配关系。
图2是所提线段跟踪算法的示意图，对于图像It上的某一条线段，利用IMU-KLT方法得到其在图像It+1的预测线段。分别计算预测线段与图像It+1上提取线段之间的几何距离，构造线段的误差矩阵。最后利用最小化L1范数的方法求解得到线段在图像It+1的匹配线段。其中O1为线段li的特征点集合，O2为线段lj的特征点集合，L为li和lj对应的空间直线。
表1为基于LSD和FLD线段提取方法，以及LBD描述子和所提线段跟踪算法在TUM-RGBD数据集上的平均运行时间。表1的结果表明，相比于基于LBD描述子的线段跟踪方法，本发明方法运行速度更快。
表1
本发明第二实施例的基于光流跟踪预测和凸几何距离的线段特征跟踪系统，包括第一单元、第二单元、第三单元、第四单元、第五单元、第六单元；
所述第一单元，配置为提取输入视频数据中第t帧的图像It的线段li，得到第一线段集；
所述第二单元，配置为提取每一条线段的特征点，通过基于IMU辅助的光流跟踪，获取所述特征点在t+1帧的图像It+1上的位置，得到预测点集；
所述第三单元，配置为对所述特征点在所述图像It+1上的位置进行拟合，得到所述图像It+1中的预测线段l′i，得到第二线段集；
所述第四单元，配置为获所述图像It+1中的线段lj，得到第三线段集；
所述第五单元，配置为基于线段l′i和所述第三线段集中所有线段的几何距离，构建线段l′i的误差矩阵Ai；
所述第六单元，配置为对误差矩阵Ai、匹配向量xi，采用L1范数的凸优化获取所述第三线段集中与线段l′i匹配的线段，并基于线段li和线段l′i的对应关系，得到所述第三线段集中与线段li匹配的线段。
所属技术领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统的具体工作过程及有关说明，可以参考前述方法实施例中的对应过程，在此不再赘述。
需要说明的是，上述实施例提供的基于光流跟踪预测和凸几何距离的线段特征跟踪系统，仅以上述各功能模块的划分进行举例说明，在实际应用中，可以根据需要而将上述功能分配由不同的功能模块来完成，即将本发明实施例中的模块或者步骤再分解或者组合，例如，上述实施例的模块可以合并为一个模块，也可以进一步拆分成多个子模块，以完成以上描述的全部或者部分功能。对于本发明实施例中涉及的模块、步骤的名称，仅仅是为了区分各个模块或者步骤，不视为对本发明的不当限定。
本发明第三实施例的一种设备，包括：
至少一个处理器；以及
与至少一个所述处理器通信连接的存储器；其中，
所述存储器存储有可被所述处理器执行的指令，所述指令用于被所述处理器执行以实现上述的基于光流跟踪预测和凸几何距离的线段特征跟踪方法。
本发明第四实施例的一种计算机可读存储介质，所述计算机可读存储介质存储有计算机指令，所述计算机指令用于被所述计算机执行以实现上述的基于光流跟踪预测和凸几何距离的线段特征跟踪方法。
所属技术领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的存储装置、处理装置的具体工作过程及有关说明，可以参考前述方法实施例中的对应过程，在此不再赘述。
特别地，根据本公开的实施例，上文参考流程图描述的过程可以被实现为计算机软件程序。例如，本公开的实施例包括一种计算机程序产品，其包括承载在计算机可读介质上的计算机程序，该计算机程序包含用于执行流程图所示的方法的程序代码。在这样的实施例中，该计算机程序可以通过通信部分从网络上被下载和安装，和/或从可拆卸介质被安装。在该计算机程序被中央处理单元(CPU)执行时，执行本申请的方法中限定的上述功能。需要说明的是，本申请上述的计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质或者是上述两者的任意组合。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子可以包括但不限于：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机访问存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本申请中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。而在本申请中，计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读介质，该计算机可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。计算机可读介质上包含的程序代码可以用任何适当的介质传输，包括但不限于：无线、电线、光缆、RF等等，或者上述的任意合适的组合。
可以以一种或多种程序设计语言或其组合来编写用于执行本申请的操作的计算机程序代码，上述程序设计语言包括面向对象的程序设计语言—诸如Java、Smalltalk、C++，还包括常规的过程式程序设计语言—诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中，远程计算机可以通过任意种类的网络——包括局域网(LAN)或广域网(WAN)—连接到用户计算机，或者，可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。
附图中的流程图和框图，图示了按照本申请各种实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分，该模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个接连地表示的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或操作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。
术语“第一”、“第二”等是用于区别类似的对象，而不是用于描述或表示特定的顺序或先后次序。
术语“包括”或者任何其它类似用语旨在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备/装置不仅包括那些要素，而且还包括没有明确列出的其它要素，或者还包括这些过程、方法、物品或者设备/装置所固有的要素。
至此，已经结合附图所示的优选实施方式描述了本发明的技术方案，但是，本领域技术人员容易理解的是，本发明的保护范围显然不局限于这些具体实施方式。在不偏离本发明的原理的前提下，本领域技术人员可以对相关技术特征做出等同的更改或替换，这些更改或替换之后的技术方案都将落入本发明的保护范围之内。
Claims (12)
1.一种基于光流跟踪预测和凸几何距离的线段特征跟踪方法，其特征在于，包括以下步骤：
步骤S100，提取输入视频数据中第t帧的图像It的线段li，得到第一线段集；
步骤S200，提取每一条线段的特征点，通过基于IMU辅助的光流跟踪，获取所述特征点在t+1帧的图像It+1上的位置，得到预测点集；
步骤S300，对所述特征点在所述图像It+1上的位置进行拟合，得到所述图像It+1中的预测线段l′i，得到第二线段集；
步骤S400，获所述图像It+1中的线段lj，得到第三线段集；
步骤S500，基于线段l′i和所述第三线段集中所有线段的几何距离，构建线段l′i的误差矩阵Ai；
步骤S600，对误差矩阵Ai、匹配向量xi，采用L1范数的凸优化获取所述第三线段集中与线段l′i匹配的线段，并基于线段li和线段l′i的对应关系，得到所述第三线段集中与线段li匹配的线段。
2.根据权利要求1所述的基于光流跟踪预测和凸几何距离的线段特征跟踪方法，其特征在于，所述第t帧图像的线段li通过FLD的方法提取。
3.根据权利要求1所述的基于光流跟踪预测和凸几何距离的线段特征跟踪方法，其特征在于，步骤S200中“提取每一条线段的特征点”，其方法为：在线段li上等距采样c个点作为特征点。
4.根据权利要求1所述的基于光流跟踪预测和凸几何距离的线段特征跟踪方法，其特征在于，所述预测点集的获取方法为：
获取第一预测点集u′1，
u′1＝KRK-1u1
其中，u1为图像It的线段的特征点集；K为标定好的相机内参矩阵；R为图像It和图像It+1之间的旋转矩阵，通过积分图像It和图像It+1之间的IMU序列得到；
基于第一预测点集u′1，通过光流跟踪方法得到的u1对应图像It+1上的第二预测点集u2；
从第二预测点集u2中去除跟踪错误的特征点得到第三预测点集u3，作为最终的预测点集。
5.根据权利要求4所述的基于光流跟踪预测和凸几何距离的线段特征跟踪方法，其特征在于，所述去除跟踪错误的特征点，针对每条线段单独处理：
对于第二预测点集u2中与线段li对应的第二预测点子集u2i，选取同时满足第一约束条件、第二约束条件的点，得到临时点集；
基于所述的临时点集，通过最小二乘方法拟合直线；
从所述临时点集中去除距离所拟合直线大于设定阈值的点，得到与线段li对应的第三预测点子集u3i；
其中，所述第一约束条件为跟踪成功并且满足极线约束；所述第二约束条件为预设的边缘特征判定条件。
6.根据权利要求5所述的基于光流跟踪预测和凸几何距离的线段特征跟踪方法，其特征在于，所述第二线段集中与线段li对应的预测线段l′i的获取方法为：
基于第三预测点子集u3i，通过最小二乘方法拟合直线。
7.根据权利要求6所述的基于光流跟踪预测和凸几何距离的线段特征跟踪方法，其特征在于，线段l′i和所述第三线段集中线段lj的几何距离为
[θij dij mij]T
其中，θij为线段l′i与线段lj之间的夹角，dij为线段l′i与线段lj之间的距离，mij为线段l′i与线段lj的中点距离。
8.根据权利要求7所述的基于光流跟踪预测和凸几何距离的线段特征跟踪方法，其特征在于，所述线段l′i的误差矩阵Ai为
所述匹配向量xi为
xi＝[xi0 … xij … xi(n-1)]T
其中，n为所述第三线段集中线段数量；xij＝1，表示线段l′i和线段lj为正确匹配，否则如果xij＝0，表示线段l′i和线段lj不是正确匹配。
9.根据权利要求8所述的基于光流跟踪预测和凸几何距离的线段特征跟踪方法，其特征在于，步骤S600中“对误差矩阵Ai、匹配向量xi，采用L1范数的凸优化获取所述第三线段集中与线段l′i匹配的线段”，其方法为：
其中，λ表示权重参数，b＝[0 0 0]T表示匹配误差；
对上式采用L1范数凸优化求解匹配向量xi，获取所述第三线段集中与线段l′i匹配的线段。
10.一种基于光流跟踪预测和凸几何距离的线段特征跟踪系统，其特征在于，包括第一单元、第二单元、第三单元、第四单元、第五单元、第六单元；
所述第一单元，配置为提取输入视频数据中第t帧的图像It的线段li，得到第一线段集；
所述第二单元，配置为提取每一条线段的特征点，通过基于IMU辅助的光流跟踪，获取所述特征点在t+1帧的图像It+1上的位置，得到预测点集；
所述第三单元，配置为对所述特征点在所述图像It+1上的位置进行拟合，得到所述图像It+1中的预测线段l′i，得到第二线段集；
所述第四单元，配置为获所述图像It+1中的线段lj，得到第三线段集；
所述第五单元，配置为基于线段l′i和所述第三线段集中所有线段的几何距离，构建线段l′i的误差矩阵Ai；
所述第六单元，配置为对误差矩阵Ai、匹配向量xi，采用L1范数的凸优化获取所述第三线段集中与线段l′i匹配的线段，并基于线段li和线段l′i的对应关系，得到所述第三线段集中与线段li匹配的线段。
11.一种设备，其特征在于，包括：
至少一个处理器；以及
与至少一个所述处理器通信连接的存储器；其中，
所述存储器存储有可被所述处理器执行的指令，所述指令用于被所述处理器执行以实现权利要求1-9任一项所述的基于基于光流跟踪预测和凸几何距离的线段特征跟踪方法。
12.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有计算机指令，所述计算机指令用于被所述计算机执行以实现权利要求1-9任一项所述的基于基于光流跟踪预测和凸几何距离的线段特征跟踪方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110268118.2A CN112991388B (zh) | 2021-03-11 | 2021-03-11 | 基于光流跟踪预测和凸几何距离的线段特征跟踪方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110268118.2A CN112991388B (zh) | 2021-03-11 | 2021-03-11 | 基于光流跟踪预测和凸几何距离的线段特征跟踪方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN112991388A true CN112991388A (zh) | 2021-06-18 |
| CN112991388B CN112991388B (zh) | 2023-06-27 |
Family
ID=76335117
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110268118.2A Active CN112991388B (zh) | 2021-03-11 | 2021-03-11 | 基于光流跟踪预测和凸几何距离的线段特征跟踪方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112991388B (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117274318A (zh) * | 2023-11-20 | 2023-12-22 | 广州市大湾区虚拟现实研究院 | 一种高鲁棒性的反向光学大范围跟踪方法和系统 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111462210A (zh) * | 2020-03-31 | 2020-07-28 | 华南理工大学 | 一种基于极线约束的单目线特征地图构建方法 |
| CN111783800A (zh) * | 2020-07-09 | 2020-10-16 | 中国科学院空天信息创新研究院 | 一种线特征描述和匹配方法、系统、设备和介质 |
| CN111950370A (zh) * | 2020-07-10 | 2020-11-17 | 重庆邮电大学 | 动态环境下线拓展视觉里程计方法 |
| CN112115980A (zh) * | 2020-08-25 | 2020-12-22 | 西北工业大学 | 基于光流跟踪和点线特征匹配的双目视觉里程计设计方法 |
| CN112304307A (zh) * | 2020-09-15 | 2021-02-02 | 浙江大华技术股份有限公司 | 一种基于多传感器融合的定位方法、装置和存储介质 |
-
2021
- 2021-03-11 CN CN202110268118.2A patent/CN112991388B/zh active Active
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111462210A (zh) * | 2020-03-31 | 2020-07-28 | 华南理工大学 | 一种基于极线约束的单目线特征地图构建方法 |
| CN111783800A (zh) * | 2020-07-09 | 2020-10-16 | 中国科学院空天信息创新研究院 | 一种线特征描述和匹配方法、系统、设备和介质 |
| CN111950370A (zh) * | 2020-07-10 | 2020-11-17 | 重庆邮电大学 | 动态环境下线拓展视觉里程计方法 |
| CN112115980A (zh) * | 2020-08-25 | 2020-12-22 | 西北工业大学 | 基于光流跟踪和点线特征匹配的双目视觉里程计设计方法 |
| CN112304307A (zh) * | 2020-09-15 | 2021-02-02 | 浙江大华技术股份有限公司 | 一种基于多传感器融合的定位方法、装置和存储介质 |
Non-Patent Citations (10)
| Title |
|---|
| HAO WEI 等: "Highly Efficient Line Segment Tracking with an IMU-KLT Prediction and a Convex Geometric Distance Minimization", 《2021 IEEE INTERNATIONAL CONFERENCE ON ROBOTICS AND AUTOMATION (ICRA 2021)》 * |
| HAO WEI 等: "Highly Efficient Line Segment Tracking with an IMU-KLT Prediction and a Convex Geometric Distance Minimization", 《2021 IEEE INTERNATIONAL CONFERENCE ON ROBOTICS AND AUTOMATION (ICRA 2021)》, 18 October 2021 (2021-10-18) * |
| MYUNG HWANGBO 等: "Inertial-aided KLT feature tracking for a moving camera", 《2009 IEEE/RSJ INTERNATIONAL CONFERENCE ON INTELLIGENT ROBOTS AND SYSTEMS》 * |
| MYUNG HWANGBO 等: "Inertial-aided KLT feature tracking for a moving camera", 《2009 IEEE/RSJ INTERNATIONAL CONFERENCE ON INTELLIGENT ROBOTS AND SYSTEMS》, 15 December 2009 (2009-12-15) * |
| RUBEN GOMEZ-OJEDA 等: "Geometric-based Line Segment Tracking for HDR Stereo Sequences", 《 2018 IEEE/RSJ INTERNATIONAL CONFERENCE ON INTELLIGENT ROBOTS AND SYSTEMS (IROS)》 * |
| RUBEN GOMEZ-OJEDA 等: "Geometric-based Line Segment Tracking for HDR Stereo Sequences", 《 2018 IEEE/RSJ INTERNATIONAL CONFERENCE ON INTELLIGENT ROBOTS AND SYSTEMS (IROS)》, 6 January 2019 (2019-01-06) * |
| 程传奇等: "结合光流跟踪和三焦点张量约束的双目视觉里程计", 《中国惯性技术学报》 * |
| 程传奇等: "结合光流跟踪和三焦点张量约束的双目视觉里程计", 《中国惯性技术学报》, no. 04, 15 August 2016 (2016-08-15) * |
| 蒋林等: "一种点线特征融合的双目同时定位与地图构建方法", 《科学技术与工程》 * |
| 蒋林等: "一种点线特征融合的双目同时定位与地图构建方法", 《科学技术与工程》, no. 12, 28 April 2020 (2020-04-28) * |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117274318A (zh) * | 2023-11-20 | 2023-12-22 | 广州市大湾区虚拟现实研究院 | 一种高鲁棒性的反向光学大范围跟踪方法和系统 |
| CN117274318B (zh) * | 2023-11-20 | 2024-03-15 | 广州市大湾区虚拟现实研究院 | 一种高鲁棒性的反向光学大范围跟踪方法和系统 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN112991388B (zh) | 2023-06-27 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110322500B (zh) | 即时定位与地图构建的优化方法及装置、介质和电子设备 | |
| CN108256479B (zh) | 人脸跟踪方法和装置 | |
| CN111222395B (zh) | 目标检测方法、装置与电子设备 | |
| US9270891B2 (en) | Estimation of panoramic camera orientation relative to a vehicle coordinate frame | |
| US8437501B1 (en) | Using image and laser constraints to obtain consistent and improved pose estimates in vehicle pose databases | |
| WO2019042232A1 (zh) | 一种快速鲁棒的多模态遥感影像匹配方法和系统 | |
| JP2018163654A (ja) | 電気通信インベントリ管理のためのシステムおよび方法 | |
| CN108648194B (zh) | 基于cad模型三维目标识别分割和位姿测量方法及装置 | |
| CN104077760A (zh) | 一种航空摄影测量的快速拼接系统及其实现方法 | |
| CN110349212B (zh) | 即时定位与地图构建的优化方法及装置、介质和电子设备 | |
| US11651581B2 (en) | System and method for correspondence map determination | |
| CN107909018B (zh) | 一种稳健的多模态遥感影像匹配方法和系统 | |
| AliAkbarpour et al. | Parallax-tolerant aerial image georegistration and efficient camera pose refinement—without piecewise homographies | |
| CN111724443B (zh) | 基于生成式对抗网络的统一场景视觉定位方法 | |
| CN112270748B (zh) | 基于图像的三维重建方法及装置 | |
| CN112991388B (zh) | 基于光流跟踪预测和凸几何距离的线段特征跟踪方法 | |
| CN113763466A (zh) | 一种回环检测方法、装置、电子设备和存储介质 | |
| JP2014102805A (ja) | 情報処理装置、情報処理方法及びプログラム | |
| US20160337555A1 (en) | Automatic video synchronization via analysis in the spatiotemporal domain | |
| CN113763468B (zh) | 一种定位方法、装置、系统及存储介质 | |
| Guan et al. | Minimal solvers for relative pose estimation of multi-camera systems using affine correspondences | |
| van de Wouw et al. | Hierarchical 2.5-d scene alignment for change detection with large viewpoint differences | |
| CN112868049B (zh) | 使用基于贴片的投影相关性进行高效自运动估计 | |
| CN114399532A (zh) | 一种相机位姿确定方法和装置 | |
| CN116188583B (zh) | 相机位姿信息生成方法、装置、设备和计算机可读介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |