CN111709989B - 一种基于多源特征数据控制的双向闭合模式的立体视觉全场测量方法 - Google Patents
一种基于多源特征数据控制的双向闭合模式的立体视觉全场测量方法 Download PDFInfo
- Publication number
- CN111709989B CN111709989B CN202010394496.0A CN202010394496A CN111709989B CN 111709989 B CN111709989 B CN 111709989B CN 202010394496 A CN202010394496 A CN 202010394496A CN 111709989 B CN111709989 B CN 111709989B
- Authority
- CN
- China
- Prior art keywords
- data
- layer
- measurement
- feature
- fusion
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 230000002457 bidirectional effect Effects 0.000 title claims abstract description 19
- 238000000691 measurement method Methods 0.000 title claims abstract description 15
- 238000005259 measurement Methods 0.000 claims abstract description 98
- 230000004927 fusion Effects 0.000 claims abstract description 68
- 238000000034 method Methods 0.000 claims abstract description 31
- 238000004364 calculation method Methods 0.000 claims abstract description 6
- 239000011159 matrix material Substances 0.000 claims description 43
- 238000006243 chemical reaction Methods 0.000 claims description 29
- 238000003384 imaging method Methods 0.000 claims description 24
- 238000007405 data analysis Methods 0.000 claims description 12
- 230000009466 transformation Effects 0.000 claims description 12
- 238000000605 extraction Methods 0.000 claims description 9
- 230000010354 integration Effects 0.000 claims description 9
- 230000003287 optical effect Effects 0.000 claims description 8
- 238000013519 translation Methods 0.000 claims description 8
- 238000013507 mapping Methods 0.000 claims description 6
- PXFBZOLANLWPMH-UHFFFAOYSA-N 16-Epiaffinine Natural products C1C(C2=CC=CC=C2N2)=C2C(=O)CC2C(=CC)CN(C)C1C2CO PXFBZOLANLWPMH-UHFFFAOYSA-N 0.000 claims description 4
- 238000007499 fusion processing Methods 0.000 claims description 4
- 238000010606 normalization Methods 0.000 claims description 3
- 230000008569 process Effects 0.000 abstract description 8
- 230000005540 biological transmission Effects 0.000 abstract description 4
- 238000012545 processing Methods 0.000 abstract description 4
- 230000006870 function Effects 0.000 description 11
- 238000012360 testing method Methods 0.000 description 8
- 238000005516 engineering process Methods 0.000 description 7
- 238000010586 diagram Methods 0.000 description 4
- 230000000007 visual effect Effects 0.000 description 4
- 238000001514 detection method Methods 0.000 description 3
- 238000011056 performance test Methods 0.000 description 3
- 238000004422 calculation algorithm Methods 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 230000007547 defect Effects 0.000 description 2
- 230000036039 immunity Effects 0.000 description 2
- 238000004088 simulation Methods 0.000 description 2
- 125000003275 alpha amino acid group Chemical group 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 238000003491 array Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 150000001875 compounds Chemical class 0.000 description 1
- 238000000354 decomposition reaction Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 238000004886 process control Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 238000012216 screening Methods 0.000 description 1
- 239000007921 spray Substances 0.000 description 1
- 230000026676 system process Effects 0.000 description 1
- 238000012795 verification Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/25—Fusion techniques
- G06F18/253—Fusion techniques of extracted features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/80—Geometric correction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10016—Video; Image sequence
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Data Mining & Analysis (AREA)
- Bioinformatics & Computational Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Evolutionary Biology (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- General Engineering & Computer Science (AREA)
- Life Sciences & Earth Sciences (AREA)
- Length Measuring Devices By Optical Means (AREA)
Abstract
本发明是一种基于多源特征数据控制的双向闭合模式的立体视觉全场测量方法。本发明建立多源特征数据融合框架;基于多元特征数据融合框架,建立融合函数,对不同类型的特征数据进行融合,得到多源特征数据;基于多源特征数据,建立双向闭合视觉测量模式;基于双向闭合视觉测量模式,确定特征点云集的最小代价,采用非线性迭代方法进行迭代求解空间目标参数。本发明改变传统视觉测量方法中的从图像数据到空间特征信息传递的单向过程,将已获取或确认的空间数据作为控制信息返回至测量处理过程中,构建双向闭合测量模式,并进行高效多源特征数据融合,克服特征点的单一性与低效性问题,增加了解算冗余信息,提高视觉系统整体测量精度。
Description
技术领域
本发明涉及计算机视觉技术领域,是一种基于多源特征数据控制的双向闭合模式的立体视觉全场测量方法。
背景技术
空间中目标的位置和姿态的非接触测量在飞行器性能测试、设备校准及过程控制等领域有着非常重要的作用,基于摄像学与计算机技术相结合的视觉测量技术被广泛应用于目标位姿测量中,通过借助目标上附有的离散特征点、特征线或者特定几何形状,并结合视觉测量模型来进行位姿解算。当前视觉测量技术的特点主要有筛选质量最佳的特征图像、测区范围相对较小、需要特定数量的控制点,致使视觉测量技术在实际应用中面临如下局限性:
很多场合条件的限制下,只能设置少量的人工标志点,甚至无法设置特定的配合目标点,如飞行器发动机喷管温度过高会燃烧表面附加的标志点,工业检测线上如果附贴标志点会很大程度上影响效率等;
在扰动环境下获取的图像,具有特征点模糊、几何畸变大和目标清晰度不佳等特点,决定了其需要大量的控制信息来保证测量精度,如当前广泛使用的地面目标试验运行动态影像、振动环境下获取的图像等;
面向大视场的目标位姿测量中,受视觉测量模型的限制,图像数据到空间特征信息的单向传递过程难以保证测量结果的精度和稳定性,如大尺寸飞行器位姿测量、风洞试验等。
这些问题导致了当前视觉测量中有限特征点单一性与低效性的弊端,由此可见基于点信息控制的视觉测量已不适应于大数据时代图像数据的特点,需要充分利用场景信息、模型库信息等数据,保证目标位姿测量结果的可靠性。此外,在振动、光照变化等复杂环境下获取的高频影像具有数据量大、获取周期短及时效性高等特点,因此海量特征数据的高效处理也是现阶段视觉测量迫切需要解决的问题,针对目标空间数据多源、异构、不一致性的现状及特点,给出多源特征数据高效融合的流程与方法。
发明内容
本发明为为了突破上述局限性,拓展视觉测量技术的应用范围,本发明提供了一种基于多源特征数据控制的双向闭合模式的立体视觉全场测量方法,本发明提供了以下技术方案:
一种基于多源特征数据控制的双向闭合模式的立体视觉全场测量方法,包括以下步骤:
步骤1:建立多源特征数据融合框架;
步骤2:基于多元特征数据融合框架,建立融合函数,对不同类型的特征数据进行融合,得到多源特征数据;
步骤3:基于多源特征数据,建立双向闭合视觉测量模式;
步骤4:基于双向闭合视觉测量模式,确定特征点云集的最小代价,采用非线性迭代方法进行迭代求解空间目标参数。
优选地,所述步骤1中多源特征数据融合框架包括:特征提取数基转化层、分类分层、特征数据解析层、特征要素整合层,模型库信息层、数据交汇层、属性结构规整层、无损转换层、测量特征数据对齐层和融合函数层;
所述特征提取数基转化层进行图像采集和初始化数据,同矢量数据输入至分类分层,分类分层将空间三维数据和特征数据输入至特征数据解析层,特征数据解析层投影或映射至特征要素整合层,特征要素整合层整合二维标量值和内部扰动参数至模型库信息层,模型库信息层输出至数据交汇层,数据交汇层整合局部特征信息更新数据和辅助传感源信号至数据交汇层,数据交汇层输出至属性结构规整层,属性结构规整层输出至无损转换层,无损转换层输出至测量特征数据对齐层,特征提取数基转化层、分类分层、特征数据解析层和测量特征数据对齐层共同输入至融合函数层。
优选地,所述步骤2具体为:
步骤2.1:基于多元特征数据融合框架,设定αi,βi,...,δi为不同类型的特征数据,建立融合函数,通过下式表示融合函数:
其中,X是融合后统一的特征数据,f1,f2,...,fi是不同数据类型对应的映射关系,q是数据类型数量,l,m,n分别是相应的同类特征数据数量,
步骤2.2:分析仿射变换融合后对数学精度的影响,采用多参数矩阵对数据融合前后建立关系:
其中,[μ′ υ′]T是待分析数据的二维标量值,[μ υ]T是数据融合后同名特征点的二维标量值;κ0,κ1,κ2,ρ0,ρ1和ρ2是变换参数。
优选地,为加快融合速度,在多源数据参与融合前,首先进行数据转换,换算成各自坐标系下的标量并附加指向性数据,有效减少数据融合过程中的运算量。
优选地,所述步骤3具体为:
步骤3.1:记预设特征点像平面上成像特征点坐标集为{χi},重投影像点坐标分为经过多源特征数据融合得到的反馈控制信息的特征坐标集和重投影坐标集分别记为和建立基于多源特征数据的闭合模式的最小化代价方程,通过下式表示所述最小化代价方程:
其中,R为欧式空间旋转矩阵,t为平移矩阵,M和N分别是预设特征点和控制信息点的数量;
步骤3.2:将空间场景下所有参与运算的特征点云三维坐标信息转换成像平面坐标,并带入闭合模式下代价方程中,得到下式:
步骤3.3:将建立的闭合模型下的代价方程引入到立体视觉测量系统中,令空间预设点集在左像机光心Ocl与对应成像平面上像点{χil}的视线上的投影点为令多源点集在左像机光心Ocl与对应成像平面上像点的视线上的投影点为则闭合测量回路中所有控制信息点集投影到立体相机系统的归一化图像平面得到的像点坐标集可以记为和沿着左相机视线方向的归一化投影矩阵记为通过下式表示沿着左相机视线方向的归一化投影矩阵:
确定沿着右相机视线方向的归一化投影矩阵,通过下式表示沿着右相机视线方向的归一化投影矩阵:
其中,Rc是两台相机间的相对位姿矩阵。
优选地,为了减小计算量,将全局统一坐标系设定与立体相机系统中的左相机坐标系完全重合。
优选地,所述步骤4具体为:
步骤4.1:根据立体视觉系统投影和立体视觉系统成像设定立体相机系统中的任意两台相机参与测量,l、r分别表示左右相机;令对相机获取的特征点云集进行最小化代价方程转化,通过下式表示相机获取的特征点云集的最小化代价方程转化:
其中,η表示对某一区域测量的阶段计数,Rη和Tη则对应为该测量阶段的欧式空间位姿矩阵,作为下一个阶段测量的输入信息;
步骤4.2:在完成第η阶段测量任务之后,将获得的数据再次作为系统输入,进行下一区域和阶段的测量,将根据不同相机进行投影所建立的代价方程进行加和,建立立体视觉测量系统闭合模式下的新型最小化代价方程,通过下式表示所述新型最小化代价方程:
通过非线性迭代方法进行迭代求解得到空间目标参数。
本发明具有以下有益效果:
本发明进行基于多源特征数据的双向闭合控制模式的立体视觉全场测量技术研究,改变从图像数据到空间特征信息传递的单向过程,将已获取或确认的空间数据作为控制信息返回至测量处理过程中,能够克服特征点的单一性与低效性问题,增加冗余信息,同时可以减小远距离目标成像畸变的影响,实现被测范围内的全场动态信息获取方案优化,提高整体测量结果的准确性和可靠性。
本发明引入基于特征点云信息的双向闭合测量模式,改变传统视觉测量方法中的从图像数据到空间特征信息传递的单向过程,将已获取或确认的空间数据作为控制信息返回至测量处理过程中,构建双向闭合测量模式,并进行高效多源特征数据融合,克服特征点的单一性与低效性问题,增加了解算冗余信息,提高视觉系统整体测量精度。
本发明的方法充分利用测量目标所在空间的场景信息、模型库信息等多源特征数据,克服当前大视场视觉测量中有限特征点单一性与低效性的弊端,保证目标位姿测量结果的可靠性。可应用到大尺寸飞行器位姿测量、风洞试验、大型车间试件检测等领域,为高精度、大视场的视觉测量软件研制提供技术支撑,提高大视场场景下的测量精度和稳定性。同时,由于条件限制的原因导致无法设置人工标志点的情况,如高温火箭喷管、隐身材料涂层飞行器等,可以通过本发明方法制定测量方案并实施测量任务。此外,在振动、光强变化等复杂环境下获取的高频影像具有数据量大、获取周期短及时效性高等特点,实现海量数据的高效融合,为未来视觉测量技术在物联网、大数据系统中的推行与拓展奠定科学依据。
附图说明
图1为多源特征数据融合结构图;
图2位视觉测量双向闭合模式示意图;
图3为测量试验场景图;
图4为闭合测量模式区域的划分图;
图5为位置测量抗噪性能测试图;
图6为姿态测量抗噪性能测试图;
图7为目标姿态角测量误差;
图8为目标空间位置测量误差。
具体实施方式
以下结合具体实施例,对本发明进行了详细说明。
具体实施例一:
如图1至图2所示,本发明提供一种基于多源特征数据控制的双向闭合模式的立体视觉全场测量方法,包括以下步骤:
一种基于多源特征数据控制的双向闭合模式的立体视觉全场测量方法,包括以下步骤:
步骤1:建立多源特征数据融合框架;
根据图1所示,所述步骤1中多源特征数据融合框架包括:特征提取数基转化层、分类分层、特征数据解析层、特征要素整合层,模型库信息层、数据交汇层、属性结构规整层、无损转换层、测量特征数据对齐层和融合函数层;
所述特征提取数基转化层进行图像采集和初始化数据,同矢量数据输入至分类分层,分类分层将空间三维数据和特征数据输入至特征数据解析层,特征数据解析层投影或映射至特征要素整合层,特征要素整合层整合二维标量值和内部扰动参数至模型库信息层,模型库信息层输出至数据交汇层,数据交汇层整合局部特征信息更新数据和辅助传感源信号至数据交汇层,数据交汇层输出至属性结构规整层,属性结构规整层输出至无损转换层,无损转换层输出至测量特征数据对齐层,特征提取数基转化层、分类分层、特征数据解析层和测量特征数据对齐层共同输入至融合函数层。
步骤2:基于多元特征数据融合框架,建立融合函数,对不同类型的特征数据进行融合,得到多源特征数据;
所述步骤2具体为:
步骤2.1:基于多元特征数据融合框架,设定αi,βi,...,δi为不同类型的特征数据,建立融合函数,通过下式表示融合函数:
其中,X是融合后统一的特征数据,f1,f2,...,fi是不同数据类型对应的映射关系,q是数据类型数量,l,m,n分别是相应的同类特征数据数量,
步骤2.2:分析仿射变换融合后对数学精度的影响,采用多参数矩阵对数据融合前后建立关系:
其中,[μ′ υ′]T是待分析数据的二维标量值,[μ υ]T是数据融合后同名特征点的二维标量值;κ0,κ1,κ2,ρ0,ρ1和ρ2是变换参数。
为加快融合速度,在多源数据参与融合前,首先进行数据转换,换算成各自坐标系下的标量并附加指向性数据,有效减少数据融合过程中的运算量。
步骤3:基于多源特征数据,建立双向闭合视觉测量模式;
根据图2所示,所述步骤3具体为:
步骤3.1:记预设特征点像平面上成像特征点坐标集为{χi},重投影像点坐标分为经过多源特征数据融合得到的反馈控制信息的特征坐标集和重投影坐标集分别记为和建立基于多源特征数据的闭合模式的最小化代价方程,通过下式表示所述最小化代价方程:
其中,R为欧式空间旋转矩阵,t为平移矩阵,M和N分别是预设特征点和控制信息点的数量;
步骤3.2:将空间场景下所有参与运算的特征点云三维坐标信息转换成像平面坐标,并带入闭合模式下代价方程中,得到下式:
步骤3.3:将建立的闭合模型下的代价方程引入到立体视觉测量系统中,令空间预设点集在左像机光心Ocl与对应成像平面上像点{χil}的视线上的投影点为令多源点集在左像机光心Ocl与对应成像平面上像点的视线上的投影点为则闭合测量回路中所有控制信息点集投影到立体相机系统的归一化图像平面得到的像点坐标集可以记为和沿着左相机视线方向的归一化投影矩阵记为通过下式表示沿着左相机视线方向的归一化投影矩阵:
确定沿着右相机视线方向的归一化投影矩阵,通过下式表示沿着右相机视线方向的归一化投影矩阵:
其中,Rc是两台相机间的相对位姿矩阵。
为了减小计算量,将全局统一坐标系设定与立体相机系统中的左相机坐标系完全重合。
步骤4:基于双向闭合视觉测量模式,确定特征点云集的最小代价,采用非线性迭代方法进行迭代求解空间目标参数。
所述步骤4具体为:
步骤4.1:根据立体视觉系统投影和立体视觉系统成像设定立体相机系统中的任意两台相机参与测量,l、r分别表示左右相机;令对相机获取的特征点云集进行最小化代价方程转化,通过下式表示相机获取的特征点云集的最小化代价方程转化:
其中,η表示对某一区域测量的阶段计数,Rη和Tη则对应为该测量阶段的欧式空间位姿矩阵,作为下一个阶段测量的输入信息;
步骤4.2:在完成第η阶段测量任务之后,将获得的数据再次作为系统输入,进行下一区域和阶段的测量,将根据不同相机进行投影所建立的代价方程进行加和,建立立体视觉测量系统闭合模式下的新型最小化代价方程,通过下式表示所述新型最小化代价方程:
通过非线性迭代方法进行迭代求解得到空间目标参数。
具体实施例二:
在图3所示的测量场景下进行本发明方法的效果验证。系统主机配置为4.0GHz主频的处理器和4GB的运行内存,并附加两组磁盘阵列。立体相机的图像分辨率是2048×2048pixels,像元尺寸大小为du×dv=7.4×7.4μm2,相机焦距f=35mm,测量空间范围约为10m×6m×3m。测量系统的输入数据包括目标特征信息、图像数据以及点云信息。点云信息包括空间点坐标、标志特征、数据库及场景信息等。
本实施例中主要涉及以下几种多源数据,首先是转台上固定模拟装置,用来模拟目标运动,模拟装置上有预设的标定点,通过霍夫变换圆检测和椭圆拟合进行标志点特征像素坐标提取;接着通过全站仪测出墙面上的辅助空间点中心坐标;此外,通过提取场景中的角点特征信息,实现冗余信息的获取,数据类型及格式如表1所示。
表1本发明实施例中涉及到的几种数据类型
步骤1:依照如图1所示的多源特征数据融合结构框架,将获得的不同类型数据带入(1)式的融合函数:
式中,X是融合后统一的特征数据;f1,f2,...,fi是不同数据类型对应的映射关系;q是数据类型数量;l,m,n分别是相应的同类特征数据数量。
为了提高融合效率,在多源数据参与融合前,首先进行数据转换,换算成各自坐标系下的标量并附加指向性数据,这样可以有效减少数据融合过程中的运算量,得到融合后的数据如表2所示。
步骤2:分析步骤1中仿射变换融合后对数学精度的影响,采用多参数矩阵对数据融合前后建立关系:
式(2)中,[μ′ υ′]T是待分析数据的二维标量值;[μ υ]T是数据融合后同名特征点的二维标量值;κ0,κ1,κ2,ρ0,ρ1,ρ2是变换参数;数据融合后的误差如表2所示。
表2融合后数据格式及转换误差
根据如图2所示的双向闭合视觉测量模式,进行目标位姿信息的测量。记预设特征点像平面上成像特征点坐标集为{χi},重投影像点坐标分为经过步骤一多源特征数据融合得到的反馈控制信息的特征坐标集和重投影坐标集分别记为和则基于多源特征数据的闭合模式的最小化代价方程可以用(3)式进行表示:
将空间场景下所有参与运算的特征点云三维坐标信息转换成像平面坐标,并带入闭合模式下代价方程中,得到:
接着将上述建立的闭合模型下的代价方程引入到立体视觉测量系统中。令空间预设点集在左像机光心Ocl与对应成像平面上像点{χil}的视线上的投影点为令多源点集在左像机光心Ocl与对应成像平面上像点的视线上的投影点为则闭合测量回路中所有控制信息点集投影到立体相机系统的归一化图像平面得到的像点坐标集可以记为和沿着左相机视线方向的归一化投影矩阵记为此矩阵可以通过下式表示:
同理,可以得到沿着右相机视线方向的归一化投影矩阵:
其中,Rc是立体相机间的相对位姿矩阵,即相机间的外部参数。
在完成第η阶段测量任务之后,可以将获得的数据再次作为系统输入,进行下一区域和阶段的测量,将根据不同相机进行投影所建立的代价方程进行加和,建立如下所示的立体视觉测量系统闭合模式下的新型最小化代价方程:
步骤5:通过非线性迭代方法对式(8)进行迭代求解,其中包含所有相机获取的空间控制信息,立体相机系统位姿矩阵求解详细过程如下。
给定R0的初始值,依据式(8)可以得到平移矩阵tη,可以由如下闭环形式计算:
其中,τ表示第τ次迭代。
根据新型最小化代价方程(8),则有:
定义:
则有:
通过奇异值分解来求得式(12)中的旋转矩阵Rη。
判断迭代矩阵是否收敛,若不收敛返回步骤5重新计算,若收敛则结束,输出迭代求解的位姿参数Rη和tη。
进行下一个阶段位姿矩阵Rη+1和tη+1的计算;对于已经估计出的空间坐标信息可以作为下一个循环的输入,在坐标系统一过程中的旋转变换和平移变换都是不引入误差的变换。
性能测试实验结果及分析如下,为了模拟实际场景下的墙面点分布,在10m×6m×3m范围内生成60个特征点,划分为4个区域,特征点分布如图4所示。从成像视角可以看出,相机是靠近左侧端的。首先通过仿真的世界坐标和图像坐标估计出矩阵R1,T1;然后利用估计出的相机位姿取重构IV区的点空间坐标。为了不失一般性,选取四个角上的点来反映重构精度,结果如表3所示。
表3传统测量模式下ROP坐标(单位:mm)
接着通过移动相机位置,更改相机相对姿态,使相机成像中III和IV区占有比较大的视场,然后通过III区中的点对相机位姿进行估计,再用估计出的R′1,T′1参数对IV区空间点进行重构,精度如表4所示。
表4闭合测量模式下ROP坐标(单位:mm)
通过对比发现,采用通过III区域的点估计出的相机位姿,然后再去估计IV区域点的位姿结果,要比直接估计全场特征点得到的精度要高;传统测量模式下得到的平均误差是2.419mm,通过本发明提出的闭合测量模式所得到的误差是1.023mm。
接着对本发明所提方法进行抗噪性能测试,将平均值从1.0到2.0的标准偏差(噪声水平)为0的高斯噪声添加到每个特征点,对Proposed method(本发明方法)、DLT方法、Traditional方法分别进行测试,位置和姿态测量结果分别如图5和图6所示。
从图5和图6中可以看出,通过上述三种方法绘制了旋转误差和平移误差随噪声的变化曲线。在整个过程中,使用多源数据融合后的特征信息以及已经获取的坐标信息,其图像坐标被手动加入噪声以便形成干扰。结果证明,本发明提出的闭合测量模式在逐渐增加噪声的同时,测量结果比其他算法更加准确、稳定,因此具有较好的抗噪性能。
最后给出本发明方法对视场内飞行器姿态角和位置测量误差分布情况,如图7和图8所示。从图7中可以看出,偏航、俯仰和滚转角误差均在±1.5°范围内,角度误差符合明显的正弦分布。图8中X方向上误差在2mm以内,Y和Z方向上的位置大部分优于1mm,在10m×6m×3m空间范围内达到了很好的测量精度,因此上述结果表明本文所提算法是有效的。
以上所述仅是一种基于多源特征数据控制的双向闭合模式的立体视觉全场测量方法的优选实施方式,一种基于多源特征数据控制的双向闭合模式的立体视觉全场测量方法的保护范围并不仅局限于上述实施例,凡属于该思路下的技术方案均属于本发明的保护范围。应当指出,对于本领域的技术人员来说,在不脱离本发明原理前提下的若干改进和变化,这些改进和变化也应视为本发明的保护范围。
Claims (3)
1.一种基于多源特征数据控制的双向闭合模式的立体视觉全场测量方法,其特征是:包括以下步骤:
步骤1:建立多源特征数据融合框架;
所述步骤1中多源特征数据融合框架包括:特征提取数基转化层、分类分层、特征数据解析层、特征要素整合层,模型库信息层、数据交汇层、属性结构规整层、无损转换层、测量特征数据对齐层和融合函数层;
所述特征提取数基转化层进行图像采集和初始化数据,同矢量数据输入至分类分层,分类分层将空间三维数据和特征数据输入至特征数据解析层,特征数据解析层投影或映射至特征要素整合层,特征要素整合层整合二维标量值和内部扰动参数至模型库信息层,模型库信息层输出至数据交汇层,数据交汇层整合局部特征信息更新数据和辅助传感源信号至数据交汇层,数据交汇层输出至属性结构规整层,属性结构规整层输出至无损转换层,无损转换层输出至测量特征数据对齐层,特征提取数基转化层、分类分层、特征数据解析层和测量特征数据对齐层共同输入至融合函数层;
步骤2:基于多元特征数据融合框架,建立融合函数,对不同类型的特征数据进行融合,得到多源特征数据;
所述步骤2具体为:
步骤2.1:基于多元特征数据融合框架,设定αi,βi,...,δi是不同类型的特征数据,建立融合函数,通过下式表示融合函数:
其中,X是融合后统一的特征数据,f1,f2,...,fi是不同数据类型对应的映射关系,q是数据类型数量,l,m,n分别是相应的同类特征数据数量,
步骤2.2:分析仿射变换融合后对数学精度的影响,采用多参数矩阵对数据融合前后建立关系:
其中,[μ′ υ′]T是待分析数据的二维标量值,[μ υ]T是数据融合后同名特征点的二维标量值;κ0,κ1,κ2,ρ0,ρ1和ρ2是变换参数;
步骤3:基于多源特征数据,建立双向闭合视觉测量模式;
所述步骤3具体为:
步骤3.1:记预设特征点像平面上成像特征点坐标集为{χi},重投影像点坐标分为经过多源特征数据融合得到的反馈控制信息的特征坐标集和重投影坐标集分别记为{θk}和建立基于多源特征数据的闭合模式的最小化代价方程,通过下式表示所述最小化代价方程:
其中,R为欧式空间旋转矩阵,t为平移矩阵,M和N分别是预设特征点和控制信息点的数量;
步骤3.2:将空间场景下所有参与运算的特征点云三维坐标信息转换成像平面坐标,并带入闭合模式下代价方程中,得到下式:
步骤3.3:将建立的闭合模型下的代价方程引入到立体视觉测量系统中,令空间预设点集{ξi w}在左像机光心Ocl与对应成像平面上像点{χil}的视线上的投影点为令多源点集在左像机光心Ocl与对应成像平面上像点{θkl}的视线上的投影点为则闭合测量回路中所有控制信息点集投影到立体相机系统的归一化图像平面得到的像点坐标集可以记为和沿着左相机视线方向的归一化投影矩阵记为通过下式表示沿着左相机视线方向的归一化投影矩阵:
确定沿着右相机视线方向的归一化投影矩阵,通过下式表示沿着右相机视线方向的归一化投影矩阵:
其中,Rc是两台相机间的相对位姿矩阵;
步骤4:基于双向闭合视觉测量模式,确定特征点云集的最小代价,采用非线性迭代方法进行迭代求解空间目标参数;
所述步骤4具体为:
步骤4.1:根据立体视觉系统投影和立体视觉系统成像设定立体相机系统中的任意两台相机参与测量,l、r分别表示左右相机;令对相机获取的特征点云集进行最小化代价方程转化,通过下式表示相机获取的特征点云集的最小化代价方程转化:
其中,η表示对某一区域测量的阶段计数,Rη和Tη则对应为该测量阶段的欧式空间位姿矩阵,作为下一个阶段测量的输入信息;
步骤4.2:在完成第η阶段测量任务之后,将获得的数据再次作为系统输入,进行下一区域和阶段的测量,将根据不同相机进行投影所建立的代价方程进行加和,建立立体视觉测量系统闭合模式下的新型最小化代价方程,通过下式表示所述新型最小化代价方程:
通过非线性迭代方法进行迭代求解得到空间目标参数。
2.根据权利要求1所述的一种基于多源特征数据控制的双向闭合模式的立体视觉全场测量方法,其特征是:为加快融合速度,在多源数据参与融合前,首先进行数据转换,换算成各自坐标系下的标量并附加指向性数据,有效减少数据融合过程中的运算量。
3.根据权利要求1所述的一种基于多源特征数据控制的双向闭合模式的立体视觉全场测量方法,其特征是:为了减小计算量,将全局统一坐标系设定与立体相机系统中的左相机坐标系完全重合。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010394496.0A CN111709989B (zh) | 2020-05-11 | 2020-05-11 | 一种基于多源特征数据控制的双向闭合模式的立体视觉全场测量方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010394496.0A CN111709989B (zh) | 2020-05-11 | 2020-05-11 | 一种基于多源特征数据控制的双向闭合模式的立体视觉全场测量方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN111709989A CN111709989A (zh) | 2020-09-25 |
CN111709989B true CN111709989B (zh) | 2023-04-18 |
Family
ID=72537399
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202010394496.0A Active CN111709989B (zh) | 2020-05-11 | 2020-05-11 | 一种基于多源特征数据控制的双向闭合模式的立体视觉全场测量方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN111709989B (zh) |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN104392488A (zh) * | 2014-12-11 | 2015-03-04 | 福州大学 | 针对激光扫描仪与三坐标测量臂的点云数据自动配准方法 |
CN108015764A (zh) * | 2017-11-20 | 2018-05-11 | 中国运载火箭技术研究院 | 一种基于多源视觉信息融合的空间零先验目标捕获方法 |
CN108489496A (zh) * | 2018-04-28 | 2018-09-04 | 北京空间飞行器总体设计部 | 基于多源信息融合的非合作目标相对导航运动估计方法及系统 |
CN109166149A (zh) * | 2018-08-13 | 2019-01-08 | 武汉大学 | 一种融合双目相机与imu的定位与三维线框结构重建方法与系统 |
-
2020
- 2020-05-11 CN CN202010394496.0A patent/CN111709989B/zh active Active
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN104392488A (zh) * | 2014-12-11 | 2015-03-04 | 福州大学 | 针对激光扫描仪与三坐标测量臂的点云数据自动配准方法 |
CN108015764A (zh) * | 2017-11-20 | 2018-05-11 | 中国运载火箭技术研究院 | 一种基于多源视觉信息融合的空间零先验目标捕获方法 |
CN108489496A (zh) * | 2018-04-28 | 2018-09-04 | 北京空间飞行器总体设计部 | 基于多源信息融合的非合作目标相对导航运动估计方法及系统 |
CN109166149A (zh) * | 2018-08-13 | 2019-01-08 | 武汉大学 | 一种融合双目相机与imu的定位与三维线框结构重建方法与系统 |
Non-Patent Citations (3)
Title |
---|
刘建伟 ; 梁晋 ; 梁新合 ; 曹巨明 ; 张德海 ; .大尺寸工业视觉测量系统.光学精密工程.2010,(第01期),全文. * |
岳晓奎 ; 武媛媛 ; 吴侃之 ; .基于视觉信息的航天器位姿估计迭代算法.西北工业大学学报.2011,(第04期),全文. * |
杜福洲 ; 于浩 ; 李强 ; .基于多源测量数据融合的间隙与阶差自动化测量技术研究.航空制造技术.2019,(08),全文. * |
Also Published As
Publication number | Publication date |
---|---|
CN111709989A (zh) | 2020-09-25 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
Jiang et al. | Gesture recognition based on binocular vision | |
CN109521403B (zh) | 多线激光雷达的参数标定方法及装置、设备及可读介质 | |
Zhang et al. | A UAV-based panoramic oblique photogrammetry (POP) approach using spherical projection | |
CN110264563A (zh) | 一种基于orbslam2的八叉树建图方法 | |
CN111127540B (zh) | 一种三维虚拟空间自动测距方法及系统 | |
Wang et al. | Density-invariant registration of multiple scans for aircraft measurement | |
CN112580428A (zh) | 一种配电网设计方法及装置 | |
CN115100294A (zh) | 基于直线特征的事件相机标定方法、装置及设备 | |
Du et al. | Autonomous measurement and semantic segmentation of non-cooperative targets with deep convolutional neural networks | |
CN117553697A (zh) | 一种基于led的高速摄像测量方法及舱门形变测量系统 | |
CN116894876A (zh) | 基于实时图像的6-dof的定位方法 | |
CN111709989B (zh) | 一种基于多源特征数据控制的双向闭合模式的立体视觉全场测量方法 | |
CN114419259B (zh) | 一种基于物理模型成像仿真的视觉定位方法及系统 | |
Hou et al. | Octree-based approach for real-time 3d indoor mapping using rgb-d video data | |
Zhang et al. | A stereo photogrammetry system for model position and attitude measurement in hypersonic wind tunnel testing | |
Yang et al. | VR panorama mosaic algorithm based on particle swarm optimization and mutual information | |
Zhang et al. | Research on Binocular Stereo Vision Ranging Based on Improved YOLOv5s | |
Shang et al. | Research on the rapid 3D measurement of satellite antenna reflectors using stereo tracking technique | |
Feng et al. | Research on Target Tracking Algorithm of Micro‐UAV Based on Monocular Vision | |
Ding et al. | Research on optimization of SURF algorithm based on embedded CUDA platform | |
Wang et al. | Hierarchical Viewpoint Planning for Complex Surfaces in Industrial Product Inspection | |
An et al. | Survey of Extrinsic Calibration on LiDAR-Camera System for Intelligent Vehicle: Challenges, Approaches, and Trends | |
Boutteau et al. | Circular laser/camera-based attitude and altitude estimation: minimal and robust solutions | |
Zhu et al. | A Smartphone-Based Six-DOF Measurement Method With Marker Detector | |
Zhao et al. | Intensity Augmented Solid-State-LiDAR-Inertial SLAM |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |