CN112070831A - 一种基于多平面联合位姿估计的主动相机重定位方法 - Google Patents

一种基于多平面联合位姿估计的主动相机重定位方法 Download PDF

Info

Publication number
CN112070831A
CN112070831A CN202010783333.1A CN202010783333A CN112070831A CN 112070831 A CN112070831 A CN 112070831A CN 202010783333 A CN202010783333 A CN 202010783333A CN 112070831 A CN112070831 A CN 112070831A
Authority
CN
China
Prior art keywords
image
plane
area
camera
matching
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010783333.1A
Other languages
English (en)
Other versions
CN112070831B (zh
Inventor
万亮
李楠
冯伟
张乾
孟忱
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tianjin University
Original Assignee
Tianjin University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tianjin University filed Critical Tianjin University
Priority to CN202010783333.1A priority Critical patent/CN112070831B/zh
Publication of CN112070831A publication Critical patent/CN112070831A/zh
Priority to PCT/CN2021/111064 priority patent/WO2022028554A1/zh
Priority to US18/018,820 priority patent/US20230300455A1/en
Application granted granted Critical
Publication of CN112070831B publication Critical patent/CN112070831B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/64—Computer-aided capture of images, e.g. transfer from script file into camera, check of taken image quality, advice or proposal for image composition or decision on when to take image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/253—Fusion techniques of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/60—Analysis of geometric attributes
    • G06T7/62—Analysis of geometric attributes of area, perimeter, diameter or volume
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G06T7/74—Determining position or orientation of objects or cameras using feature-based methods involving reference images or patches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G06V10/457—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components by analysing connectivity, e.g. edge linking, connected component analysis or slices
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/46—Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
    • G06V10/462—Salient features, e.g. scale invariant feature transforms [SIFT]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/695—Control of camera direction for changing a field of view, e.g. pan, tilt or based on tracking of objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20036—Morphological image processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20072—Graph-based image processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20076—Probabilistic image processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20112—Image segmentation details
    • G06T2207/20132—Image cropping
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30244—Camera pose

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Geometry (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

本发明涉及一种基于多平面联合位姿估计的主动相机重定位方法，包括下列步骤：提取当前观测图像T及参考观测图像R中场景的有效平面区域图像集合和；在有效平面区域图像集合
Figure DDA0002621035440000011
和
Figure DDA0002621035440000012
中建立匹配关系；获得每组匹配平面所指导的相机相对位姿Pi；通过融合所有的相机相对位姿Pi获得指导相机运动信息。

Description

一种基于多平面联合位姿估计的主动相机重定位方法
技术领域
本发明属于人工智能、计算机视觉领域，涉及主动视觉技术，具体为一种基于多平面联合位姿估计的主动相机重定位方法。
背景技术
主动式相机重定位，旨在物理真实地将相机六自由度位姿恢复到与拍摄参考图像时一致，在环境监测，历史文化遗产预防性保护，微小变化检测等领域发挥着重要作用，是主动视觉技术的一个重要应用[1]。主动式相机重定位过程包括相机的相对位姿估计和相机的动态调整，相机的调整由机器人平台完成。
目前最先进的主动式相机重定位算法在大量野生赋存环境下的文化遗产微小变化检测任务中取得了巨大成功[2]。但需要注意的是，这些监测任务是在稳定和可控的环境条件下进行的，在这种条件下，所采用图像的特征匹配结果能够支持准确的相机位姿估计。
然而，当历次观测的光照条件(方向和强度)不同时，监测结果差强人意。光照的显著差异会改变场景(尤其是普遍存在的三维结构场景)的表观，进而使涉及到姿态估计的图像中的特征点描述子会发生变化，导致相机位姿估计失败。此外，如果观测场景中的背景(非监测对象区域)变化较大，例如，被监测古建筑附近的植被在不同季节可能发生剧烈变化(甚至结构变化)，将显著增加图像中误匹配特征点的数量，严重影响重定位结果的准确性。实际任务中常见的上述两种情况，会严重损害主动相机重定位的精度，导致实际监测结果不可靠，从而无法支持户外不可控环境条件下的重定位作业。
参考文献：
[1]Feng W,Tian F P,Zhang Q,et al.Fine-Grained Change Detection ofMisaligned Scenes with Varied Illuminations[C]ICCV.IEEE,2015.
[2]Tian F P,Feng W,Zhang Q,et al.Active camera relocalization from asingle reference image without hand-eye calibration[J].IEEE transactions onpattern analysis and machine intelligence,2018,41(12):2791-2806.
[3]冯伟，孙济洲，张乾，田飞鹏，韩瑞泽,专利名称：一种无需手眼标定的相机六自由度位姿精确重定位方法，申请号：CN201611140264.2
发明内容
本发提供了一种基于多平面联合位姿估计的主动相机重定位方法，利用观测场景中的所有有效平面对相机的运动信息进行联合估计，有效减少了现有重定位方法对历次观测场景光照一致性和场景结构一致性的依赖，同时有效减少了重定位过程的时间花费，从而支持可靠高效的户外任务作业。技术方案如下：
一种基于多平面联合位姿估计的主动相机重定位方法，包括下列步骤：
步骤一：提取当前观测图像T及参考观测图像R中场景的有效平面区域图像集合
Figure BDA0002621035420000011
和
Figure BDA0002621035420000012
步骤二：在有效平面区域图像集合
Figure BDA0002621035420000013
和
Figure BDA0002621035420000014
中建立匹配关系，方法为：
(1)对于有效平面区域图像集合
Figure BDA0002621035420000015
计算其中每一个平面区域图像
Figure BDA0002621035420000016
的SIFT特征点的个数；计算其中每两个平面区域图像之间的最小欧氏距离；对有效平面区域图像集合
Figure BDA0002621035420000017
做同样操作；
(2)对于有效平面区域图像集合
Figure BDA0002621035420000018
以其中每一个平面区域图像
Figure BDA0002621035420000019
作节点建立无向全连通图
Figure BDA00026210354200000110
对有效平面区域图像集合
Figure BDA00026210354200000111
做同样操作得到无向全连通图
Figure BDA00026210354200000112
(3)以平面图像的SIFT特征点个数作为图的节点权重，以平面图像间的欧式距离作为图的边权重，求解
Figure BDA0002621035420000021
和
Figure BDA0002621035420000022
间的图匹配问题，建立有效平面区域图像集合
Figure BDA0002621035420000023
和
Figure BDA0002621035420000024
中匹配关系
Figure BDA0002621035420000025
步骤三：获得每组匹配平面所指导的相机相对位姿Pi；
步骤四：通过融合所有的相机相对位姿Pi获得指导相机运动信息。
优选地，步骤一具体包括:
(1)针对观测对象，选取原场景图像，分别检测当前观测图像T及参考观测图像R中场景的平面区域，得到平面区域图像集合
Figure BDA0002621035420000026
和
Figure BDA0002621035420000027
(2)在平面区域图像集合
Figure BDA0002621035420000028
和
Figure BDA0002621035420000029
中分别选取有效平面区域得到图像集合
Figure BDA00026210354200000210
和
Figure BDA00026210354200000211
方法如下：
第1步：确定面积比：分别计算所检测到的平面区域的图像面积与原场景图像面积的比例；
第2步：设定阈值，分别选取集合
Figure BDA00026210354200000212
及
Figure BDA00026210354200000213
中，平面区域图像面积占场景图像面积比大于阈值的区域组成有效平面区域图像集合
Figure BDA00026210354200000214
和
Figure BDA00026210354200000215
第3步：若集合
Figure BDA00026210354200000216
及
Figure BDA00026210354200000217
中所有的平面区域图像面积占比均小于阈值，则根据各自集合中各自集合中平面区域面积占比较大的图像区域确定有效平面区域图像集合
Figure BDA00026210354200000218
和
Figure BDA00026210354200000219
(3)对有效平面区域图像集合
Figure BDA00026210354200000220
和
Figure BDA00026210354200000221
中所有平面区域图像进行图像形态学腐蚀，获得所有有效平面区域图像集合
Figure BDA00026210354200000222
和
Figure BDA00026210354200000223
第2步所设定的阈值可以为10％。
步骤三具体为：
第1步：对于每一对匹配平面
Figure BDA00026210354200000224
计算
Figure BDA00026210354200000225
间的单应性矩阵Hi；
第2步：对于每一个单应性矩阵Hi，分别对其进行奇异值分解，求取所对应的旋转矩阵和平移向量，即为该组匹配平面所指导的相机相对位姿Pi。
步骤四具体为：
(1)确定参与每个Pi计算的SIFT特征点个数及特征点在平面上的分布；
(2)根据每个Pi所对应的SIFT特征点个数即数值权和SIFT特征点分布情况即分布权进行权重融合，按照各自对相机相对位姿的影响比重对所有的Pi做加权融合，获得最终用来指导相机运动的信息，其中，两个权重的确立方法如下：
第1步：数值权
Figure BDA0002621035420000031
用参与Pi计算的特征匹配点对的个数与参与匹配关系
Figure BDA0002621035420000032
中所有L个相机相对位姿计算的特征匹配点对的个数的比值来确定；
第2步：分布权ηi：将参与Pi计算的有效平面区域图像
Figure BDA0002621035420000033
按照平面区域形状的外接矩形裁剪生成
Figure BDA0002621035420000034
将
Figure BDA0002621035420000035
均匀分割成网格区域，统计每一个网格中参与Pi计算的特征匹配点个数，计算这些分布在每一个网格中的相关特征匹配点个数的方差，进而计算分布权，方差越小，权值越高。
数值权占比0.8，分布权占比0.2。
本发明提供的技术方案的有益效果是：
1、本发明在重定位过程中，由于对于相机运动信息(即相机相对位姿)的估计是基于平面的，可以有效减少由不同光照条件(方向、强度)导致观测的三维场景的表观不同对相机相对位姿估计的影响；同时，有效平面的选取和匹配可以有效减少观测的三维场景的结构性变化对相机相对位姿估计的影响。能使得现有的重定位设备可以在户外可靠地作业，基本屏蔽由场景光照差异和结构性变化所带来的主动相机重定位作业场景的限制。
2、本发明在重定位过程中，由于计算相机运动信息(即相机相对位姿)所使用的数学方法与现有重定位方法不同，有效减少了重定位过程的时间花费，能使得现有重定位设备更加高效地作业。
附图说明
图1为一种基于多平面联合位姿估计的主动相机重定位方法的流程图；
图2为本发明方法与现有最优重定位方法的时间和精度比较。
具体实施方式
下面结合附图对本发明中的技术方案进行清楚、完整地描述。基于本发明中的技术方案，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
(一)有效平面的确定
重定位过程开始前，提取当前观测图像T及参考观测图像R中场景的所有有效平面区域图像集合
Figure BDA0002621035420000036
和
Figure BDA0002621035420000037
具体步骤如下：
(1)分别检测当前观测图像T及参考观测图像R中场景的平面区域，得到平面区域图像集合
Figure BDA0002621035420000038
和
Figure BDA0002621035420000039
说明1：检测图像中的平面区域
使用传统的基于单应矩阵的平面检测方法或基于深度网络模型的机器学习的方法分别检测T及R中的平面区域，得到集合
Figure BDA00026210354200000310
及
Figure BDA00026210354200000311
(2)在
Figure BDA00026210354200000312
和
Figure BDA00026210354200000313
中分别选取有效平面区域得到图像集合
Figure BDA00026210354200000314
和
Figure BDA00026210354200000315
说明2：选取有效平面区域
第1步：确定面积比。分别计算所有检测到的平面区域的图像面积与原场景图像面积的比例。
第2步：分别选取集合
Figure BDA0002621035420000041
及
Figure BDA0002621035420000042
中，平面区域图像面积占场景图像面积比大于10％的区域组成有效平面区域图像集合
Figure BDA0002621035420000043
和
Figure BDA0002621035420000044
第3步：若集合
Figure BDA0002621035420000045
及
Figure BDA0002621035420000046
中所有的面积占比均小于10％，则分别选取各自集合中平面区域面积占比前5的图像区域组成有效平面区域图像集合
Figure BDA0002621035420000047
和
Figure BDA0002621035420000048
(不足5个以实际数目为准)。
(3)对
Figure BDA0002621035420000049
和
Figure BDA00026210354200000410
中所有平面区域图像进行图像形态学腐蚀，获得所有有效平面区域图像集合
Figure BDA00026210354200000411
和
Figure BDA00026210354200000412
(二)平面匹配关系的建立
在有效平面区域图像集合
Figure BDA00026210354200000413
和
Figure BDA00026210354200000414
中建立匹配关系的具体方法为：
(1)对于有效平面区域图像集合
Figure BDA00026210354200000415
计算其中每一个平面区域图像
Figure BDA00026210354200000416
的SIFT特征点的个数；计算其中每两个平面区域图像之间的最小欧氏距离。对有效平面区域图像集合
Figure BDA00026210354200000417
做同样操作。
(2)对于有效平面区域图像集合
Figure BDA00026210354200000418
以其中每一个平面区域图像
Figure BDA00026210354200000419
作节点建立无向全连通图
Figure BDA00026210354200000420
对有效平面区域图像集合
Figure BDA00026210354200000421
做同样操作得到无向全连通图
Figure BDA00026210354200000422
(3)以平面图像的SIFT特征点个数作为图的节点权重，以平面图像间的欧式距离作为图的边权重，求解
Figure BDA00026210354200000423
和
Figure BDA00026210354200000424
间的图匹配问题，建立有效平面区域图像集合
Figure BDA00026210354200000425
和
Figure BDA00026210354200000426
中匹配关系
Figure BDA00026210354200000427
说明3：图匹配问题的建立与求解
第1步：建立图的节点相似性度量和图的边相似性度量标准。以节点权值矩阵来度量两个建立的图之间的节点相似性，度量依据来源于不同图之间两个节点所表示的平面图像上建立起匹配关系的SIFT特征点个数；以边权值矩阵来度量两个建立的图之间的边相似性，具体地，同一个图中的边代表它所连接的两个节点所表示的平面图像间的最小欧式距离，以分别来自两个建立的图之间的边所代表的最小欧氏距离之差的绝对值度量边相似性。
第2步：建立问题目标函数。用矩阵W整合第1步中的图的节点相似性权值矩阵和图的边相似性权值矩阵，其中W的对角元素两个图之间的节点相似性，W的所有非对角元素表示元素两个图之间的边相似性。建立目标函数，求解最优分配矩阵X*:
Figure BDA00026210354200000428
求得的最优分配矩阵即包含
Figure BDA00026210354200000429
和
Figure BDA00026210354200000430
中节点的匹配情况，进而获得图像集合
Figure BDA00026210354200000431
和
Figure BDA00026210354200000432
中匹配关系
Figure BDA00026210354200000433
注：X∈{1,0}m×n用来表示
Figure BDA00026210354200000434
和
Figure BDA00026210354200000435
间的节点匹配情况，Xij＝1表示
Figure BDA00026210354200000436
中Vi节点和
Figure BDA00026210354200000437
中Vj节点匹配，Xij＝O则表示不匹配。Xc是X的列展开形式。
(三)匹配平面组指导的相机相对位姿的估计
获得每组匹配平面所指导的相机相对位姿Pi的具体方法为：
(1)对于每一对匹配平面
Figure BDA0002621035420000051
计算
Figure BDA0002621035420000052
间的单应性矩阵HiHi。
说明4：匹配平面对间单应性矩阵的计算
第1步：特征匹配。使用确立匹配平面部分提取的SIFT特征点，对于
Figure BDA0002621035420000053
中的所有特征点，在
Figure BDA0002621035420000054
中寻找与其描述子最相近的特征点作为匹配特征点。获得的最终匹配点集为：
Figure BDA0002621035420000055
中的特征点集合X＝[x1,x2,...,xN]3×N依次对应
Figure BDA0002621035420000056
中的特征点集合Y＝[y1,y2,...,yN]3×N，其中xi,yi均为齐次坐标。
第2步：计算单应性矩阵。在X,Y中随机选出四对匹配点，对数据进行归一化，求解变换矩阵H，记为模型M；计算数据集中所有数据与模型M的投影误差，并记录内点个数。迭代完成后选取最优模型对应的变换矩阵为
Figure BDA0002621035420000057
间的单应性矩阵Hi。
(2)对于每一个单应性矩阵Hi，分别对其进行奇异值分解，求取所对应的旋转矩阵和平移向量，即为该组匹配平面所指导的相机相对位姿Pi。
说明5：匹配平面对所指导的相机相对位姿的估计
第1步：计算候选相机相对位姿。对于每一个单应性矩阵H与相机内参矩阵K，可以获得A＝K-1HK。对A进行矩阵的奇异值分解A＝UΛVT，Λ＝diag(λ1,λ2,λ3)(λ1≥λ2≥λ3)。根据单应性矩阵的物理含义，可以得到旋转矩阵r，平移向量t，平面法向量n，平面距相机的距离d有如下关系：
Figure BDA0002621035420000058
进而有Λ＝d′r′+t′n′T，求解该等式可获得8组算数解
Figure BDA0002621035420000059
即为被分解的单应性矩阵H所对应的匹配平面对所指导的相机相对位姿的候选序列。
第2步：选取相机相对位姿。使用相机相对位姿的候选序列中的每一组算数解(ri,ti)对参与计算的匹配特征点三角化恢复图像上特征点所对应的三维空间点坐标。统计由每组算数解恢复的三维空间点满足空间点位于相机模型前方的个数，同时统计重投影误差。最终位于相机模型前方的空间点个数最多且重投影误差小的一组算数解即为一组匹配平面所指导的相机相对位姿Pi。
(四)获得指导相机运动的信息
通过融合所有的相机相对位姿Pi获得指导相机运动信息的具体方法为：
(1)确定参与每个Pi计算的SIFT特征点个数及特征点在平面上的分布。
(2)以每个Pi所对应的SIFT特征点个数和分布情况作为权重，对所有的Pi做加权融合，获得最终用来指导相机运动的
Figure BDA0002621035420000061
说明6：融合权重的确立
第1步：数值权
Figure BDA0002621035420000062
用参与Pi计算的特征匹配点对的个数与参与
Figure BDA0002621035420000063
中所有L个相机相对位姿计算的特征匹配点对的个数的比值来确定。
第2步：分布权ηi：将参与Pi计算的有效平面区域图像
Figure BDA0002621035420000064
按照平面区域形状的外接矩形裁剪生成
Figure BDA0002621035420000065
将
Figure BDA0002621035420000066
均匀分割成10×10大小的网格区域，统计每一个网格中参与Pi计算的特征匹配点个数，计算这些分布在每一个网格中的相关特征匹配点个数的方差，进而计算分布权，方差越小，权值越高。
说明7：指导相机运动信息的确定
第1步：将Pi中的旋转矩阵转换为欧拉角表示形式，即
Figure BDA0002621035420000067
其中rX,rY,rZ分别表示三维空间三个坐标方向的欧拉旋转角。
第2步：用计算的数值权
Figure BDA0002621035420000068
和分布权ηi融合所有的Pi：
Figure BDA0002621035420000069
其中σ1，σ2(σ1+σ2＝1)表示数值权和分布权对融合的影响比重，获得最终指导相机运动的信息
Figure BDA00026210354200000610
依据经验，数值权和分布权对相机相对位姿的影响比重是数值权占比0.8，分布权占比0.2。
(五)判断重定位是否完成
判断重定位过程是否完成的具体方法为：
由于计算的平移向量不可避免地缺失物理真实尺度，采用已有的重定位方法使用的“二分折半”策略来根据所得的平移向量提供的平移方向信息指导相机运动。当运动步长小于阈值ξ时，则判定重定位过程完成，终止重定位，否则重复步骤(一)至步骤(五)，且非首次迭代时，在步骤一中无需重复提取参考图像中场景的平面区域，利用首次信息。
下面结合具体实例对本发明方法进行可行性验证：
实验使用搭载佳能5DMarkⅢ相机的机械监测平台进行重定位实验，对于同一监测目标，设备分别使用本发明方法和现有最先进的重定位方法进行重定位作业。实验在室内和室外的三类监测场景进行，分为普通场景(无明显光照和场景结构变化)、光照变化场景(室外在不同天气和不同时刻进行重定位作业，室内在一组可控方向和强度的LED光下进行重定位作业)、结构变化场景(室外在不同季节有大量植物的场景下进行重定位作业，室内在可移动物体场景下进行重定位作业)。
结果分析选取重定位过程花费的时间和重定位后拍摄图像与参考图像之间的特征点平均距离(AFD)作为评估重定位方法的指标。其中AFD是指两幅图像所有匹配的特征点之间的欧式距离的平均值，这可以直观地评价重定位的精度。
根据图2所展示的本方法和已有最优的重定位方法[3]在不同场景下重定位作业的结果表明：对于无明显光照和场景结构变化的普通检测场景，两种重定位方法的重定位精度无显著优劣差异，但本方法的时间性能更加好；对于有光照强度和光照方向变化的场景，本方法除了在时间性能上有良好的优越性外，在重定位精度方面也有显著地优越性，尤其对于室外场景，在已有最优的重定位方法重定位作业失败时，相同情况下，本方法的重定位结果仍然支持相关需求；对于有明显场景结构变化的场景，本方法在时间性能和重定位精度方面均体现了显著的优越性。因此，可以表明发明方法的可行性和优越性。

Claims (6)

1.一种基于多平面联合位姿估计的主动相机重定位方法，包括下列步骤：
步骤一：提取当前观测图像T及参考观测图像R中场景的有效平面区域图像集合
Figure FDA0002621035410000011
和
Figure FDA0002621035410000012
步骤二：在有效平面区域图像集合
Figure FDA0002621035410000013
和
Figure FDA0002621035410000014
中建立匹配关系，方法为：
(1)对于有效平面区域图像集合
Figure FDA0002621035410000015
计算其中每一个平面区域图像
Figure FDA0002621035410000016
的SIFT特征点的个数；计算其中每两个平面区域图像之间的最小欧氏距离；对有效平面区域图像集合
Figure FDA0002621035410000017
做同样操作；
(2)对于有效平面区域图像集合
Figure FDA0002621035410000018
以其中每一个平面区域图像
Figure FDA0002621035410000019
作节点建立无向全连通图
Figure FDA00026210354100000110
对有效平面区域图像集合
Figure FDA00026210354100000111
做同样操作得到无向全连通图
Figure FDA00026210354100000112
(3)以平面图像的SIFT特征点个数作为图的节点权重，以平面图像间的欧式距离作为图的边权重，求解
Figure FDA00026210354100000113
和
Figure FDA00026210354100000114
间的图匹配问题，建立有效平面区域图像集合
Figure FDA00026210354100000115
和
Figure FDA00026210354100000116
中匹配关系
Figure FDA00026210354100000117
步骤三：获得每组匹配平面所指导的相机相对位姿Pi；
步骤四：通过融合所有的相机相对位姿Pi获得指导相机运动信息。
2.根据权利要求1所述的方法，其特征在于，步骤一具体包括:
(1)针对观测对象，选取原场景图像，分别检测当前观测图像T及参考观测图像R中场景的平面区域，得到平面区域图像集合
Figure FDA00026210354100000118
和
Figure FDA00026210354100000119
(2)在平面区域图像集合
Figure FDA00026210354100000120
和
Figure FDA00026210354100000121
中分别选取有效平面区域得到图像集合
Figure FDA00026210354100000122
和
Figure FDA00026210354100000123
方法如下：
第1步：确定面积比：分别计算所检测到的平面区域的图像面积与原场景图像面积的比例；
第2步：设定阈值，分别选取集合
Figure FDA00026210354100000124
及
Figure FDA00026210354100000125
中，平面区域图像面积占场景图像面积比大于阈值的区域组成有效平面区域图像集合
Figure FDA00026210354100000126
和
Figure FDA00026210354100000127
第3步：若集合
Figure FDA00026210354100000128
及
Figure FDA00026210354100000129
中所有的平面区域图像面积占比均小于阈值，则根据各自集合中各自集合中平面区域面积占比较大的图像区域确定有效平面区域图像集合
Figure FDA00026210354100000130
和
Figure FDA00026210354100000131
(3)对有效平面区域图像集合
Figure FDA0002621035410000021
和
Figure FDA0002621035410000022
中所有平面区域图像进行图像形态学腐蚀，获得所有有效平面区域图像集合
Figure FDA0002621035410000023
和
Figure FDA0002621035410000024
3.根据权利要求2所述的方法，其特征在于，第2步所设定的阈值为10％。
4.根据权利要求1所述的方法，其特征在于，步骤三具体为：
第1步：对于每一对匹配平面
Figure FDA0002621035410000025
计算
Figure FDA0002621035410000026
间的单应性矩阵Hi；
第2步：对于每一个单应性矩阵Hi，分别对其进行奇异值分解，求取所对应的旋转矩阵和平移向量，即为该组匹配平面所指导的相机相对位姿Pi。
5.根据权利要求1所述的方法，其特征在于，步骤四具体为：
(1)确定参与每个Pi计算的SIFT特征点个数及特征点在平面上的分布；
(2)根据每个Pi所对应的SIFT特征点个数即数值权和SIFT特征点分布情况即分布权进行权重融合，按照各自对相机相对位姿的影响比重对所有的Pi做加权融合，获得最终用来指导相机运动的信息，两个权重的确立方法如下：
第1步：数值权
Figure FDA0002621035410000027
用参与Pi计算的特征匹配点对的个数与参与匹配关系
Figure FDA0002621035410000028
中所有L个相机相对位姿计算的特征匹配点对的个数的比值来确定；
第2步：分布权ηi：将参与Pi计算的有效平面区域图像
Figure FDA0002621035410000029
按照平面区域形状的外接矩形裁剪生成
Figure FDA00026210354100000210
将
Figure FDA00026210354100000211
均匀分割成网格区域，统计每一个网格中参与Pi计算的特征匹配点个数，计算这些分布在每一个网格中的相关特征匹配点个数的方差，进而计算分布权，方差越小，权值越高。
6.根据权利要求5所述的方法，其特征在于，数值权占比0.8，分布权占比0.2。
CN202010783333.1A 2020-08-06 2020-08-06 一种基于多平面联合位姿估计的主动相机重定位方法 Active CN112070831B (zh)

Priority Applications (3)

Application Number Priority Date Filing Date Title
CN202010783333.1A CN112070831B (zh) 2020-08-06 2020-08-06 一种基于多平面联合位姿估计的主动相机重定位方法
PCT/CN2021/111064 WO2022028554A1 (zh) 2020-08-06 2021-08-06 对光照鲁棒的主动相机重定位方法
US18/018,820 US20230300455A1 (en) 2020-08-06 2021-08-06 Active camera relocation method having robustness to illumination

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010783333.1A CN112070831B (zh) 2020-08-06 2020-08-06 一种基于多平面联合位姿估计的主动相机重定位方法

Publications (2)

Publication Number Publication Date
CN112070831A true CN112070831A (zh) 2020-12-11
CN112070831B CN112070831B (zh) 2022-09-06

Family

ID=73657629

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010783333.1A Active CN112070831B (zh) 2020-08-06 2020-08-06 一种基于多平面联合位姿估计的主动相机重定位方法

Country Status (3)

Country Link
US (1) US20230300455A1 (zh)
CN (1) CN112070831B (zh)
WO (1) WO2022028554A1 (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022028554A1 (zh) * 2020-08-06 2022-02-10 天津大学 对光照鲁棒的主动相机重定位方法
CN114742869A (zh) * 2022-06-15 2022-07-12 西安交通大学医学院第一附属医院 基于图形识别的脑部神经外科配准方法及电子设备
CN117036474A (zh) * 2023-08-08 2023-11-10 天津大学 一种面向微观尺度的主动相机重定位方法

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20210118182A1 (en) * 2020-12-22 2021-04-22 Intel Corporation Methods and apparatus to perform multiple-camera calibration
US20220414899A1 (en) * 2021-06-29 2022-12-29 7-Eleven, Inc. Item location detection using homographies
CN115355822B (zh) * 2022-10-19 2023-01-17 成都新西旺自动化科技有限公司 一种异形对位计算方法及系统

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106780297A (zh) * 2016-11-30 2017-05-31 天津大学 场景和光照变化条件下的图像高精度配准方法
CN107067423A (zh) * 2016-12-16 2017-08-18 天津大学 一种适用于开放赋存环境的文物本体微变监测的方法
CN109387204A (zh) * 2018-09-26 2019-02-26 东北大学 面向室内动态环境的移动机器人同步定位与构图方法

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20140369557A1 (en) * 2013-06-14 2014-12-18 Qualcomm Incorporated Systems and Methods for Feature-Based Tracking
CN106595601B (zh) * 2016-12-12 2020-01-07 天津大学 一种无需手眼标定的相机六自由度位姿精确重定位方法
US10984508B2 (en) * 2017-10-31 2021-04-20 Eyedaptic, Inc. Demonstration devices and methods for enhancement for low vision users and systems improvements
CN108648240B (zh) * 2018-05-11 2022-09-23 东南大学 基于点云特征地图配准的无重叠视场相机姿态标定方法
CN111402331B (zh) * 2020-02-25 2023-03-28 华南理工大学 基于视觉词袋和激光匹配的机器人重定位方法
CN112070831B (zh) * 2020-08-06 2022-09-06 天津大学 一种基于多平面联合位姿估计的主动相机重定位方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106780297A (zh) * 2016-11-30 2017-05-31 天津大学 场景和光照变化条件下的图像高精度配准方法
CN107067423A (zh) * 2016-12-16 2017-08-18 天津大学 一种适用于开放赋存环境的文物本体微变监测的方法
CN109387204A (zh) * 2018-09-26 2019-02-26 东北大学 面向室内动态环境的移动机器人同步定位与构图方法

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
ELIAS MUEGGLER等: "the ecent-camera dataset and simulator:event-based data for pose estimation,visual odometry,and slam", 《THE INTERNATIONAL JOURNAL OF ROBOTICS RESEARCH》 *
冯伟等: "基于图像分析的室外文物病害演变监测方法与应用实例", 《敦煌研究》 *
吴博: "基于IMU融合的视觉SLAM研究", 《中国优秀硕士学位论文全文数据库》 *

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022028554A1 (zh) * 2020-08-06 2022-02-10 天津大学 对光照鲁棒的主动相机重定位方法
CN114742869A (zh) * 2022-06-15 2022-07-12 西安交通大学医学院第一附属医院 基于图形识别的脑部神经外科配准方法及电子设备
CN114742869B (zh) * 2022-06-15 2022-08-16 西安交通大学医学院第一附属医院 基于图形识别的脑部神经外科配准方法及电子设备
CN117036474A (zh) * 2023-08-08 2023-11-10 天津大学 一种面向微观尺度的主动相机重定位方法

Also Published As

Publication number Publication date
WO2022028554A1 (zh) 2022-02-10
CN112070831B (zh) 2022-09-06
US20230300455A1 (en) 2023-09-21

Similar Documents

Publication Publication Date Title
CN112070831B (zh) 一种基于多平面联合位姿估计的主动相机重定位方法
CN111080627B (zh) 一种基于深度学习的2d+3d大飞机外形缺陷检测与分析方法
CN111563878B (zh) 一种空间目标定位方法
CN111640157A (zh) 一种基于神经网络的棋盘格角点检测方法及其应用
CN111191629A (zh) 一种基于多目标的图像能见度检测方法
CN113361542A (zh) 一种基于深度学习的局部特征提取方法
Setyawan et al. Object detection of omnidirectional vision using PSO-neural network for soccer robot
CN108320310B (zh) 基于图像序列的空间目标三维姿态估计方法
CN117036404A (zh) 一种单目热成像同时定位与建图方法和系统
CN116843756A (zh) 一种基于计算机视觉的望远镜位姿监测方法
CN110727817A (zh) 基于t-CNN的三维模型检索方法、终端设备及存储介质
CN115849202B (zh) 基于数字孪生技术的智能起重机操作目标识别方法
CN116862984A (zh) 一种相机的空间位姿估计方法
CN115862074A (zh) 人体指向确定、屏幕控制方法、装置及相关设备
US20230360262A1 (en) Object pose recognition method based on triangulation and probability weighted ransac algorithm
CN106778831B (zh) 基于高斯混合模型的刚体目标在线特征分类与跟踪方法
CN113316080B (zh) 基于Wi-Fi与图像融合指纹的室内定位方法
CN112164114B (zh) 一种基于天际线匹配的室外主动相机重定位方法
Suzui et al. Toward 6 dof object pose estimation with minimum dataset
Manawadu et al. Object Recognition and Pose Estimation from RGB-D Data Using Active Sensing
Stasse et al. Towards autonomous object reconstruction for visual search by the humanoid robot hrp-2
Lu et al. Design of Mixed Reality Assembly System Based on Improved ORB Algorithm
Sanusi et al. Humanoid robosoccer goal detection using hough transform
Mao et al. Feature extraction and matching of Slam image based on improved SIFT algorithm
Zhang et al. Moving object detection for camera pose estimation in dynamic environments

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant