CN111652901A - 一种基于置信度和特征融合的无纹理三维物体跟踪方法 - Google Patents

一种基于置信度和特征融合的无纹理三维物体跟踪方法 Download PDF

Info

Publication number
CN111652901A
CN111652901A CN202010487051.7A CN202010487051A CN111652901A CN 111652901 A CN111652901 A CN 111652901A CN 202010487051 A CN202010487051 A CN 202010487051A CN 111652901 A CN111652901 A CN 111652901A
Authority
CN
China
Prior art keywords
points
region
point
confidence
contour
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010487051.7A
Other languages
English (en)
Other versions
CN111652901B (zh
Inventor
秦学英
李佳宸
钟凡
宋修强
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shandong University
Original Assignee
Shandong University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shandong University filed Critical Shandong University
Priority to CN202010487051.7A priority Critical patent/CN111652901B/zh
Publication of CN111652901A publication Critical patent/CN111652901A/zh
Application granted granted Critical
Publication of CN111652901B publication Critical patent/CN111652901B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence

Abstract

本发明涉及一种基于置信度和特征融合的无纹理三维物体跟踪方法,该跟踪方法的过程包括：(1)建立颜色模型；(2)使用集束结构将像素点分为轮廓点和区域点；(3)根据轮廓点的置信度与与区域点的置信度，确定边缘项的权重αi、颜色项的权重βi、以及集束权重ωi；(4)根据所有集束对应总的能量方程，求最优位姿
Figure DDA0002519551650000011
用
Figure DDA0002519551650000012
对物体的三维模型进行渲染，得到当前帧图像上的物体区域；(5)以此类推，直到跟踪结束。本发明使用集束结构，将轮廓点与区域点重统一到一个能量函数中，解决采样点不统一的问题；对边缘点与区域点分别计算置信度，将其自动归一化，并依据置信度计算各个能量项的权重，解决不同特征误差度量不统一的问题。

Description

一种基于置信度和特征融合的无纹理三维物体跟踪方法
技术领域
本发明涉及一种基于置信度和特征融合的无纹理三维物体跟踪方法，属于计算机视觉领域。
背景技术
三维物体跟踪能够连续获得三维物体与相机之间的空间位置关系，是计算机视觉中的一项重要任务。目前三维跟踪已经有着广泛的应用场景，例如工业制造、医学诊断、娱乐游戏、机器人等领域。三维物体跟踪根据使用的视频数据类型不同，可以大致分为两类：基于RGB-D视频数据的三维跟踪和基于RGB视频数据的三维跟踪[Lepetit V,FuaP.Monocular model-based 3d tracking of rigid objects:A survey.Foundations and
Figure BDA0002519551630000011
in Computer Graphics and Vision,2005,1(1):1-89.]。
基于RGB-D数据跟踪的方法通过深度相机能获得场景中的三维信息，故基于RGB-D视频数据的三维跟踪方法能显著提高算法的稳定性。但该类方法需要配备深度相机，并受限于深度相机的使用条件，往往在室外场景以及物体较远时方法失效。
基于RGB视频数据的跟踪根据物体纹理性质可以分为有纹理和无纹理物体跟踪。有纹理物体跟踪容易在图像上检测特征点，如稳定的SIFT(Scale-invariant featuretransform，尺度不变特征变换)和ORB(Oriented FAST and Rotated BRIEF，一种快速特征点提取和描述的算法)特征点，并根据特征点间的对应关系获得较为鲁棒稳定的位姿参数。当物体没有纹理或纹理较弱时，不足以提取稳定特征点，会使该类方法失效。
目前，无纹理或弱纹理物体的跟踪则仍然面临诸多挑战，其面对的主要问题是无法找到特征点之间准确的对应关系。目前主要的方法分为基于边缘的方法和基于区域的方法；基于边缘的方法通常使用边缘特征匹配找到三维模型投影轮廓与输入图像边缘的对应关系，通过最小化二者之间误差迭代计算出物体的最优位姿[B.Seo,H.Park,J.Park,S.Hinterstoisser,S.Llic:Optimal local searching for fast and robust texture-less3d object tracking in highly cluttered backgrounds.IEEE Transactions onVisualization and Computer Graphics,20(1):99-110,2014],[Guofeng Wang,BinWang,Fan Zhong,Xueying Qin,Baoquan Chen:Global optimal searching fortextureless 3D object tracking.The Visual Computer 31(6-8):979-988(2015)],[Wang B,Zhong F,Qin X.Robust edge-based 3D object tracking with direction-based pose validation.Multimedia Tools and Applications,2019,78(9):12307-12331]。该类方法所涉及的采样点较少，因此具有显著的速度优势；基于边缘依赖于图像边缘线提取效果，当背景复杂或运动模糊时，边缘特征不易提取，算法容易跟踪失败。
基于区域的方法即基于颜色的方法，通过最大化前景和背景的颜色差异求解最优位姿，其划分前背景区域的过程也是隐式寻找物体轮廓的过程，在背景复杂场景的跟踪中更加具有优势[Prisacariu V A,Reid I D.PWP3D:real-time segmentation andtracking of 3D objects.International Journal of Computer Vision,2012,98(3):335-354],[H.Tjaden,U.Schwanecke,E.Schomer,and D.Cremers.A region-based gauss-newton approach to real-time monocular multiple object tracking.IEEEtransactions on pattern analysis and machine intelligence,2019.]。该类方法根据前背景颜色建立颜色概率模型，因此在一些复杂情况，例如前背景颜色相似、光照变化剧烈等场景，会导致图像颜色变化剧烈，使颜色模型不能及时更新导致跟踪失败。
将两种特征融合进行三维物体跟踪可以应对使用单类特征时失败的场景。虽然，目前已有一些基于特征融合的方法，但是这些方法仅仅是将边缘特征能量项与颜色特征能量项简单相加，使用一个平衡参数λ调整两个能量项之间的权重。这使得边缘项涉及的优化点与颜色项涉及的优化点相互独立，丢失二者之间的隐含关系，存在采样点不统一的问题。另外，边缘项与颜色项有着各自的能量函数及优化方式，使其能量函数单位不同，即存在特征度量不统一的问题。尽管λ可以平衡二者之间的度量，但其计算过程中往往包含一些需要手动选取的关键参数，导致在不同场景下关键参数选取的值差异很大，不能满足算法的普适性。
发明内容
针对现有技术的不足，本发明提供了一种基于置信度和特征融合的无纹理三维物体跟踪方法，该跟踪方法在融合颜色特征和边缘特征的基础上，解决单类特征在特定场景下可能失效的问题。
边缘特征涉及的采样点为物体轮廓点；颜色特征涉及的采样点为物体轮廓周围的区域点，同时包括前景点和背景点；针对两种特征涉及的不同采样点，本发明使用集束结构，将轮廓点与区域点重新组合并统一到一个能量函数中，考虑两类采样点间的隐含关系，解决采样点不统一的问题。
本发明对边缘点与区域点分别计算置信度，将其自动归一化，并依据置信度计算各个能量项的权重，解决不同特征误差度量不统一的问题，同时避免额外超参数的设置；依据置信度计算每个集束的权重，以此设置其参与优化的权重，屏蔽外点带来的负面影响。
术语解释：
1.集束结构：由所有模型投影轮廓点的法线构造，每个集束结构由17个采样点构成，包括1个轮廓点、8个前景点和8个背景点。
2.三维模型：三维模型是物体的几何表示，储存了物体的顶点信息和面信息，描述物体的顶点和面在物体坐标系下的空间位置。
本发明的技术方案为：
一种基于置信度和特征融合的无纹理三维物体跟踪方法,该跟踪方法包括如下步骤：
(1)将跟踪物体的三维模型、RGB单目相机拍摄的每一帧图像、第一帧位姿输入到计算机中，分别根据前景点、背景点和不确定区域点的颜色信息，使用颜色直方图建立对应的前景区域的颜色模型、背景区域的颜色模型和不确定区域的颜色模型；
(2)根据第一帧位姿将物体进行投影得到轮廓点，对于任一轮廓点xi，沿其法线方向构造集束Li，每个集束Li包括1个轮廓点xi和16个区域点
Figure BDA0002519551630000034
16个区域点
Figure BDA0002519551630000035
包括8个前景点和8个背景点，同时轮廓点也属于区域点，即
Figure BDA0002519551630000038
所有集束中的点构成优化区域；
(3)分别计算轮廓点xi和区域点
Figure BDA0002519551630000037
的能量函数，并根据轮廓点xi的置信度与区域点
Figure BDA0002519551630000036
的置信度，确定集束Li上边缘项的权重αi、颜色项的权重βi；对于每个集束Li，其优化方程为：
Figure BDA0002519551630000031
式(I)中，Ebundle(xi,ξ)表示集束Li的能量函数，看做是集束Li的运动，由集束内的轮廓点和区域点共同决定；ξ表示位姿参数，由李代数表示；eedge(xi,ξ)表示轮廓点xi的能量函数，
Figure BDA0002519551630000032
表示区域点
Figure BDA0002519551630000039
的能量函数；αi表示边缘项的权重，βi表示颜色项的权重，λ表示边缘项与颜色项的平衡参数；实验表明由于置信度的加入，方便λ的选取。
(4)优化区域中所有集束对应总的能量方程为：
Figure BDA0002519551630000033
式(II)中，E(ξ)表示最终优化的能量函数，ωi表示集束Li的权重；C表示物体的投影轮廓；
求最优位姿
Figure BDA0002519551630000041
使得对应的最终优化的能量函数
Figure BDA0002519551630000042
最小；式(II)看做将所有的集束运动求和，即最后的优化结果；
Figure BDA0002519551630000043
即为当前帧图像的返回值，表示算法计算得到了物体相对于相机的位姿，用
Figure BDA0002519551630000044
和物体的三维模型进行渲染，得到当前帧图像上的物体区域；另外，
Figure BDA0002519551630000045
又作为下一帧图像的初始位姿进行跟踪；
(5)从第二帧图像开始，依据当前帧图像、上一帧图像位姿及物体的三维模型进行当前帧的跟踪，重复步骤(2)-(4)，得到当前帧的位姿及当前帧的渲染图像，直到跟踪结束。
本发明中，使用集束结构解决不同特征采样点不统一的问题，每个集束将一个轮廓点和周围16个区域点(8个前景点和8个背景点)结合，通过置信度对各特征能量项加权，得到每个集束的运动，完成轮廓点和区域点的自然统一。置信度的加入可以自动统一单位度量，解决了不同特征误差度量不统一的问题。集束结构和置信度的引入自然地结合了两种特征的特点与优势，极大地提高了算法的稳定性。
根据本发明优选的，步骤(3)中，根据轮廓点xi的置信度与区域点
Figure BDA00025195516300000419
的置信度，确定集束Li上边缘项的权重αi、颜色项的权重βi，具体过程包括：
A、根据梯度方向计算轮廓点xi的置信度，轮廓点xi的置信度计算公式为：
cedge(xi)＝|cos(oriI(xi)-oriI′(xi))| (III)
式(III)中，cedge(xi)表示轮廓点xi的置信度；oriI(xi)表示输入图像I上轮廓点xi处的梯度方向；oriI′(xi)表示物体投影轮廓图像I’上点xi处的梯度方向，即轮廓点xi的法线方向；对两个方向形成的角度取余弦并绝对值化得到轮廓点xi的置信度；这里cedge(xi)分布在0和1之间。
B、利用物体前景区域的颜色模型、背景区域的颜色模型以及不确定区域的颜色模型，来计算区域点
Figure BDA0002519551630000046
的置信度，区域点
Figure BDA0002519551630000047
的置信度计算公式为：
Figure BDA0002519551630000048
式(IV)中，
Figure BDA0002519551630000049
表示区域点
Figure BDA00025195516300000420
的置信度；Ωf表示前景区域，Ωb表示背景区域，Ωu表示不确定区域，
Figure BDA00025195516300000410
表示区域点
Figure BDA00025195516300000411
处的颜色值
Figure BDA00025195516300000412
在不确定区域Ωu的概率；
Figure BDA00025195516300000413
表示区域点
Figure BDA00025195516300000414
处的颜色值
Figure BDA00025195516300000415
在前景区域Ωf的概率；
Figure BDA00025195516300000416
表示区域点
Figure BDA00025195516300000417
处的颜色值
Figure BDA00025195516300000418
在背景区域Ωb的概率；
当区域点
Figure BDA0002519551630000051
在不确定区域Ωu中的概率越大，区域点
Figure BDA0002519551630000052
的置信度越低，且
Figure BDA0002519551630000053
分布在0和1之间，经过步骤A、B得到轮廓点与区域点的置信度。
C、利用轮廓点xi和区域点
Figure BDA0002519551630000054
的置信度计算集束Li上边缘项的权重αi、颜色项的权重βi，计算公式如下：
Figure BDA0002519551630000055
式(V)中，
Figure BDA0002519551630000056
表示集束Li上所有区域点颜色置信度的平均值；
Figure BDA0002519551630000057
Figure BDA0002519551630000058
式(VI)和式(VII)分别表示边缘项的权重αi和颜色项的权重βi，且进行了归一化。
根据本发明优选的，步骤(4)中，根据轮廓点xi的置信度与区域点
Figure BDA0002519551630000059
的置信度确定集束Li的权重ωi，计算公式如下：
Figure BDA00025195516300000510
式(VIII)中，当轮廓点与区域点置信度都小于γ时，将ωi设置为0，表示该集束内的点不参与优化，以屏蔽低质量的点或低置信度的像素点带来的负面影响。
集束Li中轮廓点和区域点的置信度越低，集束Li中轮廓点和区域点的权重ωi越小，Li中所有参与点所起的作用越小，可以削弱质量较低的点带来的负面影响。
优选的，式(VIII)中，γ＝0.5。
根据本发明优选的，步骤(1)中，不确定区域中点x满足条件为：
当点x处于前景区域，但Pf<Pb，Pf表示点x属于前景的概率，Pb表示点x属于背景的概率；或当点x处于背景区域，但Pb<Pf，则点x属于不确定区域；
前景点位于前景区域中，且与轮廓点的距离小于40个像素的点；
背景点位于背景区域中，且与轮廓点的距离小于40个像素的点。
根据本发明优选的，式(I)中，λ＝1。置信度的加入可以自动统一单位度量，即式(I)中，λ取1时效果达到最优，集束结构和置信度的引入自然地结合了两种特征的特点与优势，极大地提高了算法的稳定性。
根据本发明优选的，前景区域的颜色模型和背景区域的颜色模型每一帧更新一次，不确定区域的颜色模型每100帧更新一次。每次更新针对的是三种颜色模型对应的直方图。
本发明的有益效果为：
1.本发明提供的一种基于置信度和多特征融合的无纹理三维物体跟踪方法，使用置信度和集束结构将边缘特征和颜色特征这两类特征融合，解决单类特征(如边缘特征和颜色特征)在特定场景下可能失效的问题。使用特征融合的方式进行三维物体跟踪以应对各种复杂的场景。颜色特征和边缘特征有着各自的优势与不足，将两类特征融合可以处理不同的应用场景并提高跟踪鲁棒性。
2.本发明中使用集束结构解决不同特征采样点不统一的问题。边缘特征涉及的采样点为物体轮廓点，颜色特征涉及的采样点为物体轮廓周围的区域点，同时包括前景点和背景点；不同于将两种特征直接结合。本发明提供的跟踪方法采用了集束结构将轮廓点与区域点建立联系，依据集束结构重新组合并统一到一个能量函数中，考虑两类采样点间的隐含关系，解决不同特征采样点不统一的问题。
3.本发明中置信度的加入解决了不同特征误差度量不统一的问题。置信度的加入可以评判每个优化点的质量，设置其参与优化的权重。由于边缘项与颜色项有着各自的能量函数及优化方式，使其能量函数单位不同，即特征度量不统一；对边缘点与区域点分别计算置信度，并将其自动归一化，解决不同特征误差度量不统一的问题。根据置信度动态调整不同特征的权重，避免手动调参带来的不稳定性。
4.本发明提供的跟踪方法中，依据置信度计算每个集束的权重，以此设置其参与优化的权重，屏蔽低置信度点带来的负面影响。
5.本发明通过置信度和多特征融合，能够完成在复杂场景下(如复杂背景，前背景颜色相似，快速移动造成的运动模糊，光照变化等)的无纹理三维物体跟踪；其跟踪速度约为30帧每秒，满足实时性要求。
附图说明
图1是实施例1中集束结构示意图。
图2是实施例1中集束结构在真实场景中的示意图。
图3是实施例1中的输入图像，跟踪物体为电话模型。
图4是实施例1中的前景概率大于背景概率(Pf>Pb)的示意图。
图5是实施例1中的轮廓点置信度的示意图。
图6是实施例1中的区域点置信度的示意图。
图7是实施例1中的集束权重示意图。
图8是跟踪结果示意图。
具体实施方式
下面结合实施例和说明书附图对本发明做进一步说明，但不限于此。
实施例1
一种基于置信度和特征融合的无纹理三维物体跟踪方法,该跟踪方法包括如下步骤：
(1)将跟踪物体的三维模型、RGB单目相机拍摄的每一帧图像、第一帧位姿输入到计算机中，分别根据前景点、背景点和不确定区域点的颜色信息，使用颜色直方图建立对应的前景区域的颜色模型、背景区域的颜色模型和不确定区域的颜色模型；
颜色直方图表示不同颜色在整个区域中所占的比例；
步骤(1)中，不确定区域中点x满足条件为：
当点x处于前景区域，但Pf<Pb，Pf表示点x属于前景的概率，Pb表示点x属于背景的概率；或当点x处于背景区域，但Pb<Pf，则点x属于不确定区域；
前景点位于前景区域中，且与轮廓点的距离小于40个像素的点；
背景点位于背景区域中，且与轮廓点的距离小于40个像素的点。
前景区域的颜色模型和背景区域的颜色模型每一帧更新一次，不确定区域的颜色模型每100帧更新一次。
(2)如图2所示，物体周围白色轮廓线表示物体轮廓，其周围灰色线表示集束结构。
根据第一帧位姿将物体进行投影得到轮廓点，对于任一轮廓点xi，沿其法线方向构造集束Li，每个集束Li包括1个轮廓点xi和16个区域点
Figure BDA0002519551630000071
16个区域点
Figure BDA0002519551630000072
包括8个前景点和8个背景点，同时轮廓点也属于区域点，即
Figure BDA0002519551630000073
所有集束中的点构成优化区域；
如图1所示，白色区域Ωf表示前景区域，即物体投影区域；黑色区域Ωb表示背景区域；黑色白色的交界处C即物体投影轮廓；对轮廓C上的任意轮廓点xi，沿其法线方向构造集束Li，每个集束Li由1个轮廓点xi和16个区域点
Figure BDA0002519551630000081
构成，包括8个前景点和8个背景点。
(3)分别计算轮廓点xi和区域点
Figure BDA0002519551630000082
的能量函数，并根据轮廓点xi的置信度与与区域点
Figure BDA0002519551630000083
的置信度，确定集束Li上边缘项的权重αi、颜色项的权重βi；对于每个集束Li，其优化方程为：
Figure BDA0002519551630000084
式(I)中，Ebundle(xi,ξ)表示集束Li的能量函数，看做是集束Li的运动，由集束内的轮廓点和区域点共同决定；ξ表示位姿参数，由李代数表示；eedge(xi,ξ)表示轮廓点xi的能量函数，
Figure BDA0002519551630000085
表示区域点
Figure BDA0002519551630000088
的能量函数；αi表示边缘项的权重，βi表示颜色项的权重，λ表示边缘项与颜色项的平衡参数；实验表明由于置信度的加入，λ的选取将非常简单。
式(I)中，λ＝1。置信度的加入可以自动统一单位度量，即式(I)中，λ取1时效果达到最优，集束结构和置信度的引入自然地结合了两种特征的特点与优势，极大地提高了算法的稳定性。而在先前的方法中往往需要手动设置相关参数，并根据不同的场景调整该参数。我们用将用实验证明，由于置信度的加入，λ在任何场景下都可以设置为默认参数，即置信度具有特征度量归一化的作用。
步骤(3)中，根据轮廓点xi的置信度与区域点
Figure BDA0002519551630000089
的置信度，确定集束Li上边缘项的权重αi、颜色项的权重βi，具体过程包括：
A、根据梯度方向计算轮廓点xi的置信度，轮廓点xi的置信度计算公式为：
cedge(xi)＝|cos(oriI(xi)-oriI′(xi))| (III)
式(III)中，cedge(xi)表示轮廓点xi的置信度；oriI(xi)表示输入图像I上轮廓点xi处的梯度方向；oriI′(xi)表示物体投影轮廓图像I’上点xi处的梯度方向，即轮廓点xi的法线方向；对两个方向形成的角度取余弦并绝对值化得到轮廓点xi的置信度；这里cedge(xi)分布在0和1之间。
如图3和图5所示，图3为输入图像，跟踪物体为电话模型，图5为图3中电话对应的轮廓点置信度示意图。
B、利用物体前景区域的颜色模型、背景区域的颜色模型以及不确定区域的颜色模型，来计算区域点
Figure BDA0002519551630000086
的置信度，区域点
Figure BDA0002519551630000087
的置信度计算公式为：
Figure BDA0002519551630000091
式(IV)中，
Figure BDA0002519551630000092
表示区域点
Figure BDA00025195516300000921
的置信度；Ωf表示前景区域，Ωb表示背景区域，Ωu表示不确定区域，
Figure BDA0002519551630000093
表示区域点
Figure BDA0002519551630000094
处的颜色值
Figure BDA0002519551630000095
在不确定区域Ωu的概率；
Figure BDA0002519551630000096
表示区域点
Figure BDA0002519551630000097
处的颜色值
Figure BDA0002519551630000098
在前景区域Ωf的概率；
Figure BDA0002519551630000099
表示区域点
Figure BDA00025195516300000910
处的颜色值
Figure BDA00025195516300000911
在背景区域Ωb的概率；
图6为图3中电话对应的区域点的置信度示意图。
当区域点
Figure BDA00025195516300000912
在不确定区域Ωu中的概率越大，区域点
Figure BDA00025195516300000913
的置信度越低，且
Figure BDA00025195516300000914
分布在0和1之间，经过步骤A、B得到轮廓点与区域点的置信度。
不确定区域Ωu中x满足条件为：
当点x处于前景区域，但Pf<Pb，Pf表示点x属于前景的概率，Pb表示点x属于背景的概率；或当点x处于背景区域，但Pb<Pf，则点x属于不确定区域Ωu。
图4为图3对应的电话前景概率大于背景概率(Pf>Pb)示意图；
C、利用轮廓点xi和区域点
Figure BDA00025195516300000922
的置信度计算集束Li上边缘项的权重αi、颜色项的权重βi，计算公式如下：
Figure BDA00025195516300000915
式(V)中，
Figure BDA00025195516300000916
表示集束Li上所有区域点颜色置信度的平均值；
Figure BDA00025195516300000917
Figure BDA00025195516300000918
式(VI)和式(VII)分别表示边缘项的权重αi和颜色项的权重βi，且进行了归一化。
(4)优化区域中所有集束对应总的能量方程为：
Figure BDA00025195516300000923
式(II)中，E(ξ)表示最终优化的能量函数，ωi表示集束Li的权重；C表示物体的投影轮廓；
求最优位姿
Figure BDA00025195516300000919
使得对应的最终优化的能量函数
Figure BDA00025195516300000920
最小；式(II)看做将所有的集束运动求和，即最后的优化结果；
Figure BDA0002519551630000101
即为当前帧图像的返回值，表示算法计算得到了物体相对于相机的位姿，用
Figure BDA0002519551630000102
和物体的三维模型进行渲染，得到当前帧图像上的物体区域；另外，
Figure BDA0002519551630000103
又作为下一帧图像的初始位姿进行跟踪；
步骤(4)中，根据轮廓点xi的置信度与区域点
Figure BDA0002519551630000104
的置信度确定集束Li的权重ωi，计算公式如下：
Figure BDA0002519551630000105
式(VIII)中，当轮廓点与区域点置信度都小于γ时，将ωi设置为0，表示该集束内的点不参与优化，以屏蔽低质量的点或低置信度的像素点带来的负面影响。
集束Li中轮廓点和区域点的置信度越低，集束Li中轮廓点和区域点的权重ωi越小，Li中所有参与点所起的作用越小，可以削弱质量较低的点带来的负面影响。
式(VIII)中，γ＝0.5。
优化点的置信度越低，Li中的优化点参与的权重越小，可以削弱低质量点带来的负面影响。图7为图3中电话对应的集束权重示意图。可以看出算法对每个点都给予了相应的置信度，来动态调整能量项和集束项的权重，说明置信度的有效性。
(5)从第二帧图像开始，依据当前帧图像、上一帧图像位姿及物体的三维模型进行当前帧的跟踪，得到当前帧的位姿及当前帧的渲染图像，直到跟踪结束。
前景区域的颜色模型和背景区域的颜色模型每一帧都更新，不确定区域的颜色模型每100帧更新一次。更新涉及前景区域的中的前景点和背景区域中的背景点，不确定区域中的点。
本发明提供的针对另一种物体的跟踪结果如图8所示，左图为输入图像，右图为根据优化得到的位姿将模型渲染到图像上的结果，模型用网格线绘制。
针对本实施例1提供的跟踪方法进行准确率的测试，实验采用的数据集为RBOT数据集[H.Tjaden,U.Schwanecke,E.Schomer,and D.Cremers.A region-based gauss-newton approach to real-time monocular multiple object tracking.IEEEtransactions on pattern analysis and machine intelligence,2019.]，该数据集利用相机拍摄的真实场景作背景,将渲染的虚拟物体叠加到真实背景上得到带基准位姿，是首个摄像机与物体同时运动的三维跟踪数据集。RBOT数据集中包含18个物体的三维模型，4种运动模式(常规模式，regular；动态光照模式，dynamic light；噪声和动态光照模式，noisy+dynamic light；遮挡模式，occlusion)，共72个视频序列，每个视频序列包含1001帧图像。
表1为在使用置信度的情况下，不同λ的取值下不同运动模式的准确率；表2为在不使用置信度的情况下，不同λ的取值下不同运动模式的准确率；表中数值表示相应λ取值和模式下，所有模型视频序列准确率的平均值。不使用置信度即将边缘能量项项权重αi、颜色能量项权重βi设置为0.5，集束权重ωi设置为1.0。
表1
使用置信度 λ＝0.5 λ＝0.8 λ＝1.0 λ＝1.2 λ＝1.5 λ＝2.0
常规模式 83.66 84.84 85.78 84.97 84.74 84.69
动态光照模式 84.88 85.95 86.73 86.09 85.96 85.92
噪声和动态光照模式 70.96 71.13 71.38 70.02 70.11 68.12
遮挡模式 79.05 79.37 80.27 79.49 79.39 78.92
表2
不使用置信度 λ＝0.5 λ＝0.8 λ＝1.0 λ＝1.2 λ＝1.5 λ＝2.0
常规模式 83.58 84.49 84.58 84.38 84.32 84.18
动态光照模式 84.17 85.41 85.34 85.78 85.78 85.43
噪声和动态光照模式 70.09 69.85 68.44 68.59 67.50 66.63
遮挡模式 78.91 79.52 78.42 79.34 78.98 78.87
根据表1和表2，可以看出在使用置信度时，不论哪种模式，都是λ取1.0准确率达到最高。而不使用置信度时，λ的取值则需要根据不同场景调整才能达到最优，说明了置信度的加入对不同特征能量项有着归一化的作用。另外，有置信度的情况下，其准确率都高于没有置信度的情况。
本发明中，使用集束结构解决不同特征采样点不统一的问题，每个集束将一个轮廓点和周围16个区域点(8个前景点和8个背景点)结合，通过置信度对各特征能量项加权，得到每个集束的运动，完成轮廓点和区域点的自然统一。置信度的加入可以自动统一单位度量，解决了不同特征误差度量不统一的问题。集束结构和置信度的引入自然地结合了两种特征的特点与优势，极大地提高了算法的稳定性。
本发明通过置信度和多特征融合，能够完成在复杂场景下(如复杂背景，前背景颜色相似，快速移动造成的运动模糊，光照变化等)的无纹理三维物体跟踪；其跟踪速度约为30帧每秒，满足实时性要求。
对比例1
采用Tjaden等提出的方法，基于区域的方法，仅使用颜色信息，建立前景颜色模型与背景颜色模型，通过最大化前景与背景之间的颜色差异得到最优位姿。[H.Tjaden,U.Schwanecke,E.Schomer,and D.Cremers.A region-based gauss-newton approach toreal-time monocular multiple object tracking.IEEE transactions on patternanalysis and machine intelligence,2019.].对比例1中的方法与本发明的方法相比，没有使用边缘信息，没有使用集束结构，没有使用置信度。
在RBOT数据上将实施例1中的提供的算法与对比例1提供的算法进行对比，实验结果如表3所示，表3为实施例1与对比例1提供跟踪方法的在RBOT数据集上准确率的比较。
表3
Figure BDA0002519551630000121
从表3中可以看出，本发明实施例1提供的算法全面优于对比例1提供的跟踪方法，针对猩猩、饮料罐、虎钳、果汁饮料瓶、相机、喷壶、猫、小丑玩具、正方体、电钻、鸭子、鸡蛋盒、胶水瓶、电熨斗、糖果盒、台灯、电话和松鼠18中模型的识别的准确率，在常规、动态光照和遮挡模式下，平均提高5％，在噪声+动态光照模式下准确率平均提高15％。
综上可知，本发明提供的跟踪算法使用集束结构解决不同特征采样点不统一的问题，每个集束将一个轮廓点和周围16个区域点结合，通过置信度对各特征能量项加权，得到每个集束的运动，完成轮廓点和区域点的自然统一。置信度的加入可以自动统一单位度量，解决了不同特征误差度量不统一的问题。集束结构和置信度的引入自然地结合了两种特征的特点与优势，极大地提高了算法的稳定性，提高了对物体识别的准确率。

Claims (6)

1.一种基于置信度和特征融合的无纹理三维物体跟踪方法,其特征在于，该跟踪方法包括如下步骤：
(1)将跟踪物体的三维模型、RGB单目相机拍摄的每一帧图像、第一帧位姿输入到计算机中，分别根据前景点、背景点和不确定区域点的颜色信息，使用颜色直方图建立对应的前景区域的颜色模型、背景区域的颜色模型和不确定区域的颜色模型；
(2)根据第一帧位姿将物体进行投影得到轮廓点，对于任一轮廓点xi，沿其法线方向构造集束Li，每个集束Li包括1个轮廓点xi和16个区域点
Figure FDA0002519551620000011
16个区域点
Figure FDA0002519551620000012
包括8个前景点和8个背景点，同时轮廓点也属于区域点，即
Figure FDA0002519551620000013
所有集束中的点构成优化区域；
(3)分别计算轮廓点xi和区域点
Figure FDA0002519551620000014
的能量函数，并根据轮廓点xi的置信度与区域点
Figure FDA0002519551620000015
的置信度，确定集束Li上边缘项的权重αi、颜色项的权重βi；对于每个集束Li，其优化方程为：
Figure FDA0002519551620000016
式(I)中，Ebundle(xi,ξ)表示集束Li的能量函数，ξ表示位姿参数，由李代数表示；eedge(xi,ξ)表示轮廓点xi的能量函数，
Figure FDA0002519551620000017
表示区域点
Figure FDA0002519551620000018
的能量函数；αi表示边缘项的权重，βi表示颜色项的权重，λ表示边缘项与颜色项的平衡参数；
(4)优化区域中所有集束对应总的能量方程为：
Figure FDA0002519551620000019
式(II)中，E(ξ)表示最终优化的能量函数，ωi表示集束Li的权重；C表示物体的投影轮廓；
求最优位姿
Figure FDA00025195516200000110
使得对应的最终优化的能量函数
Figure FDA00025195516200000111
最小；
Figure FDA00025195516200000112
即为当前帧图像的返回值，表示算法计算得到了物体相对于相机的位姿，用
Figure FDA00025195516200000113
和物体的三维模型进行渲染，得到当前帧图像上的物体区域；另外，
Figure FDA00025195516200000114
又作为下一帧图像的初始位姿进行跟踪；
(5)从第二帧图像开始，依据当前帧图像、上一帧图像位姿及物体的三维模型进行当前帧的跟踪，重复步骤(2)-(4)，得到当前帧的位姿及当前帧的渲染图像，直到跟踪结束。
2.根据权利要求1所述的一种基于置信度和特征融合的无纹理三维物体跟踪方法,其特征在于，步骤(3)中，根据轮廓点xi的置信度与区域点
Figure FDA00025195516200000115
的置信度，确定集束Li上边缘项的权重αi、颜色项的权重βi，具体过程包括：
A、根据梯度方向计算轮廓点xi的置信度，轮廓点xi的置信度计算公式为：
cedge(xi)＝|cos(oriI(xi)-oriI′(xi))| (III)
式(III)中，cedge(xi)表示轮廓点xi的置信度；oriI(xi)表示输入图像I上轮廓点xi处的梯度方向；oriI′(xi)表示物体投影轮廓图像I’上点xi处的梯度方向，即轮廓点xi的法线方向；对两个方向形成的角度取余弦并绝对值化得到轮廓点xi的置信度；
B、利用物体前景区域的颜色模型、背景区域的颜色模型以及不确定区域的颜色模型，来计算区域点
Figure FDA0002519551620000021
的置信度，区域点
Figure FDA0002519551620000022
的置信度计算公式为：
Figure FDA0002519551620000023
式(IV)中，
Figure FDA0002519551620000024
表示区域点
Figure FDA0002519551620000025
的置信度；Ωf表示前景区域，Ωb表示背景区域，Ωu表示不确定区域，
Figure FDA0002519551620000026
表示区域点
Figure FDA0002519551620000027
处的颜色值
Figure FDA0002519551620000028
在不确定区域Ωu的概率；
Figure FDA0002519551620000029
表示区域点
Figure FDA00025195516200000210
处的颜色值
Figure FDA00025195516200000211
在前景区域Ωf的概率；
Figure FDA00025195516200000212
表示区域点
Figure FDA00025195516200000213
处的颜色值
Figure FDA00025195516200000214
在背景区域Ωb的概率；
C、利用轮廓点xi和区域点
Figure FDA00025195516200000215
的置信度计算集束Li上边缘项的权重αi、颜色项的权重βi，计算公式如下：
Figure FDA00025195516200000216
式(V)中，
Figure FDA00025195516200000217
表示集束Li上所有区域点颜色置信度的平均值；
Figure FDA00025195516200000218
Figure FDA00025195516200000219
式(VI)和式(VII)分别表示边缘项的权重αi和颜色项的权重βi，且进行了归一化。
3.根据权利要求1所述的一种基于置信度和特征融合的无纹理三维物体跟踪方法,其特征在于，步骤(4)中，根据轮廓点xi的置信度与区域点
Figure FDA00025195516200000220
的置信度确定集束Li的权重ωi，计算公式如下：
Figure FDA0002519551620000031
式(VIII)中，当轮廓点与区域点置信度都小于γ时，将ωi设置为0，表示该集束内的点不参与优化；
优选的，式(VIII)中，γ＝0.5。
4.根据权利要求1所述的一种基于置信度和特征融合的无纹理三维物体跟踪方法,其特征在于，步骤(1)中，不确定区域中点x满足条件为：
当点x处于前景区域，但Pf<Pb，Pf表示点x属于前景的概率，Pb表示点x属于背景的概率；或当点x处于背景区域，但Pb<Pf，则点x属于不确定区域；
前景点位于前景区域中，且与轮廓点的距离小于40个像素的点；
背景点位于背景区域中，且与轮廓点的距离小于40个像素的点。
5.根据权利要求1所述的一种基于置信度和特征融合的无纹理三维物体跟踪方法,其特征在于，式(I)中，λ＝1。
6.根据权利要求1所述的一种基于置信度和特征融合的无纹理三维物体跟踪方法,其特征在于，前景区域的颜色模型和背景区域的颜色模型每一帧更新一次，不确定区域的颜色模型每100帧更新一次。
CN202010487051.7A 2020-06-02 2020-06-02 一种基于置信度和特征融合的无纹理三维物体跟踪方法 Active CN111652901B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010487051.7A CN111652901B (zh) 2020-06-02 2020-06-02 一种基于置信度和特征融合的无纹理三维物体跟踪方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010487051.7A CN111652901B (zh) 2020-06-02 2020-06-02 一种基于置信度和特征融合的无纹理三维物体跟踪方法

Publications (2)

Publication Number Publication Date
CN111652901A true CN111652901A (zh) 2020-09-11
CN111652901B CN111652901B (zh) 2021-03-26

Family

ID=72348422

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010487051.7A Active CN111652901B (zh) 2020-06-02 2020-06-02 一种基于置信度和特征融合的无纹理三维物体跟踪方法

Country Status (1)

Country Link
CN (1) CN111652901B (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114567794A (zh) * 2022-03-11 2022-05-31 浙江理工大学 一种直播视频背景替换方法
CN114972518A (zh) * 2022-07-14 2022-08-30 中国人民解放军国防科技大学 实时目标位姿跟踪方法、装置、计算机设备和存储介质

Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20060039593A1 (en) * 2004-05-13 2006-02-23 Paul Sammak Methods and systems for imaging cells
CN103226821A (zh) * 2013-04-27 2013-07-31 山西大学 基于视差图像素分类校正优化的立体匹配方法
CN103247075A (zh) * 2013-05-13 2013-08-14 北京工业大学 基于变分机制的室内环境三维重建方法
CN104408772A (zh) * 2014-11-14 2015-03-11 江南大学 一种基于网格投影的自由曲面三维重建方法
CN107580186A (zh) * 2017-07-31 2018-01-12 北京理工大学 一种基于缝合线时空优化的双摄像机全景视频拼接方法
CN107679537A (zh) * 2017-05-09 2018-02-09 北京航空航天大学 一种基于轮廓点orb特征匹配的无纹理空间目标姿态估计算法
CN107845134A (zh) * 2017-11-10 2018-03-27 浙江大学 一种基于彩色深度相机的单个物体的三维重建方法
CN108416840A (zh) * 2018-03-14 2018-08-17 大连理工大学 一种基于单目相机的三维场景稠密重建方法
CN109325444A (zh) * 2018-09-19 2019-02-12 山东大学 一种基于三维几何模型的单目无纹理三维物体姿态跟踪方法
CN109934847A (zh) * 2019-03-06 2019-06-25 视辰信息科技(上海)有限公司 弱纹理三维物体姿态估计的方法和装置
CN110728671A (zh) * 2019-10-15 2020-01-24 西安电子科技大学 基于视觉的无纹理场景的稠密重建方法

Patent Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20060039593A1 (en) * 2004-05-13 2006-02-23 Paul Sammak Methods and systems for imaging cells
CN103226821A (zh) * 2013-04-27 2013-07-31 山西大学 基于视差图像素分类校正优化的立体匹配方法
CN103247075A (zh) * 2013-05-13 2013-08-14 北京工业大学 基于变分机制的室内环境三维重建方法
CN104408772A (zh) * 2014-11-14 2015-03-11 江南大学 一种基于网格投影的自由曲面三维重建方法
CN107679537A (zh) * 2017-05-09 2018-02-09 北京航空航天大学 一种基于轮廓点orb特征匹配的无纹理空间目标姿态估计算法
CN107580186A (zh) * 2017-07-31 2018-01-12 北京理工大学 一种基于缝合线时空优化的双摄像机全景视频拼接方法
CN107845134A (zh) * 2017-11-10 2018-03-27 浙江大学 一种基于彩色深度相机的单个物体的三维重建方法
CN108416840A (zh) * 2018-03-14 2018-08-17 大连理工大学 一种基于单目相机的三维场景稠密重建方法
CN109325444A (zh) * 2018-09-19 2019-02-12 山东大学 一种基于三维几何模型的单目无纹理三维物体姿态跟踪方法
CN109934847A (zh) * 2019-03-06 2019-06-25 视辰信息科技(上海)有限公司 弱纹理三维物体姿态估计的方法和装置
CN110728671A (zh) * 2019-10-15 2020-01-24 西安电子科技大学 基于视觉的无纹理场景的稠密重建方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
BIN WAND 等: "Pose Optimization in Edge Distance Field for Textureless 3D Object Tracking", 《CGI"17》 *
黄鸿 等: "基于自适应特征融合的无纹理3D目标跟踪", 《计算机辅助设计与图形学学报》 *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114567794A (zh) * 2022-03-11 2022-05-31 浙江理工大学 一种直播视频背景替换方法
CN114972518A (zh) * 2022-07-14 2022-08-30 中国人民解放军国防科技大学 实时目标位姿跟踪方法、装置、计算机设备和存储介质

Also Published As

Publication number Publication date
CN111652901B (zh) 2021-03-26

Similar Documents

Publication Publication Date Title
CN109387204B (zh) 面向室内动态环境的移动机器人同步定位与构图方法
CN107945267B (zh) 一种用于人脸三维模型纹理融合的方法和设备
Sun et al. Stereo matching with reliable disparity propagation
Stoll et al. Fast articulated motion tracking using a sums of gaussians body model
CN107679537B (zh) 一种基于轮廓点orb特征匹配的无纹理空间目标姿态估计算法
CN106991388B (zh) 关键点定位方法
CN109961506A (zh) 一种融合改进Census图的局部场景三维重建方法
WO2021093275A1 (zh) 一种人群计数系统中自适应计算高斯核大小的方法
CN109472820B (zh) 单目rgb-d相机实时人脸重建方法及装置
CN110176023B (zh) 一种基于金字塔结构的光流估计方法
CN110796691B (zh) 一种基于形状上下文和hog特征的异源图像配准方法
CN109887030A (zh) 基于cad稀疏模板的无纹理金属零件图像位姿检测方法
CN111652901B (zh) 一种基于置信度和特征融合的无纹理三维物体跟踪方法
WO2018053952A1 (zh) 一种基于场景样本库的影视图像深度提取方法
CN107563323A (zh) 一种视频人脸特征点定位方法
CN111951384A (zh) 一种基于单张人脸图片的三维人脸重建方法和系统
CN111462030A (zh) 多图像融合的立体布景视觉新角度构建绘制方法
Xu et al. Accurate and efficient stereo matching by log-angle and pyramid-tree
CN110910433A (zh) 一种基于深度学习的点云匹配方法
CN111951381A (zh) 一种基于单张人脸图片的三维人脸重建系统
CN111951383A (zh) 一种人脸重建的方法
CN113781621A (zh) 三维重建处理的方法、装置、设备及存储介质
CN111709893A (zh) 一种基于信息熵和锐化调整的orb-slam2改进算法
CN113642397B (zh) 一种基于手机视频的物体长度测量方法
CN113706431B (zh) 模型优化方法及相关装置、电子设备和存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant