CN108898629B - 用于三维建模中航空行李表面纹理增强的投影编码方法 - Google Patents

用于三维建模中航空行李表面纹理增强的投影编码方法 Download PDF

Info

Publication number
CN108898629B
CN108898629B CN201810576017.XA CN201810576017A CN108898629B CN 108898629 B CN108898629 B CN 108898629B CN 201810576017 A CN201810576017 A CN 201810576017A CN 108898629 B CN108898629 B CN 108898629B
Authority
CN
China
Prior art keywords
image
coding
pixels
pixel
dimensional
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201810576017.XA
Other languages
English (en)
Other versions
CN108898629A (zh
Inventor
高庆吉
彭传波
方榕
罗其俊
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Civil Aviation University of China
Original Assignee
Civil Aviation University of China
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Civil Aviation University of China filed Critical Civil Aviation University of China
Priority to CN201810576017.XA priority Critical patent/CN108898629B/zh
Publication of CN108898629A publication Critical patent/CN108898629A/zh
Application granted granted Critical
Publication of CN108898629B publication Critical patent/CN108898629B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/50Depth or shape recovery
    • G06T7/55Depth or shape recovery from multiple images
    • G06T7/593Depth or shape recovery from multiple images from stereo images
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/80Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • G06T7/85Stereo camera calibration
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10028Range image; Depth image; 3D point clouds

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Image Processing (AREA)

Abstract

一种用于三维建模中航空行李表面纹理增强的投影编码方法。其包括设定约束随机编码图像像素的编码规则,并在满足局部特征约束的唯一性约束条件下利用该投影图像像素编码规则对投影图像的像素进行编码,生成用于投影到航空行李表面的高强度纹理分布的约束随机编码图像;利用动态速度‑动态种群的改进粒子群优化算法约束随机编码图像像素间灰度差的阈值进行优化求解,得到优化后的约束随机编码图像;将优化后的约束随机编码图像投影到弱纹理航空行李表面,经过三维重建后得到航空行李形状的三维点云信息等步骤。本发明方法可以提高航空行李立体匹配的可靠性和三维重建的精度。

Description

用于三维建模中航空行李表面纹理增强的投影编码方法
技术邻域
本发明属于民用航空技术邻域,特别是涉及一种用于三维建模中航空行李表面纹理增强的投影编码方法。
背景技术
民航自助值机已广泛应用于各大机场,自助行李托运系统正在快速推广普及,该系统需要对旅客投放的行李进行自动检测,并判断其尺寸和形状是否符合托运要求。根据行李的三维信息进行尺寸检测和形状识别,是一种可靠的解决方案。在行李三维信息采集方案中,三维激光扫描仪造价高,线激光扫描速度慢,传统立体视觉方法对弱纹理行李的三维建模可靠性不高,均不能满足自助行李托运系统的技术或价格要求。所以,航空行李纹理增强投影图像生成算法和可靠的三维重建方法,对于解决航空行李的三维信息采集问题具有重要意义。
立体视觉三维重建方法具有视场大、精度高、信息丰富等优点。但是,对于弱纹理目标,由于表面纹理特征不足,造成部分区域的立体匹配失败。人们已经研究了向目标表面投影编码图案的方法.其中,随机数字散斑、动态或静态光栅图案最为常用。投影随机数字散斑图案的方法,简单易行,应用广泛。但是由于其具有随机性,因此会造成一定概率的误匹配,这增加了重建的不确定性;投影格雷码的方法对静态物体表面进行三维重建,其重建精度较高;投影基于M-阵列模板的空间域编码方法,集中多种编码信息在投影图像中,投影到目标表面后,进行实时的三维重建。但是这两种编码方法所需的精密光学仪器造价较高,不适合大范围推广应用。
发明内容
为了解决上述问题,本发明的目的在于提供一种用于三维建模中航空行李表面纹理增强的投影编码方法。
为了达到上述目的,本发明提供的用于三维建模中航空行李表面纹理增强的投影编码方法包括按顺序进行的下列步骤:
1)设定约束随机编码图像像素的编码规则,并在满足局部特征约束的唯一性约束条件下利用该投影图像像素编码规则对投影图像的像素进行编码,生成用于投影到航空行李表面的高强度纹理分布的约束随机编码图像;
2)利用动态速度-动态种群的改进粒子群优化算法对步骤1)中获得的高强度纹理分布的约束随机编码图像像素间灰度差的阈值进行优化求解,得到优化后的约束随机编码图像;
3)将步骤2)中获得的优化后的约束随机编码图像投影到弱纹理航空行李表面,经过三维重建后得到航空行李形状的三维点云信息。
在步骤1)中,所述的局部特征约束的唯一性约束条件为:
设约束随机编码图像矩阵为M,其宽度和高度分别为m和n,矩阵M中每一个像素应与其8邻域像素灰度不同,那么局部特征约束的唯一性约束条件如下:
Figure GDA0001731641590000021
其中,xij表示约束随机编码图像矩阵M中坐标为(i,j)的像素,xpq为xij的邻域像素,同时满足条件:(i,j)≠(p,q),2≤i≤m-1,2≤j≤n-1,i-1≤p≤i+1,j-1≤q≤j+1;T为像素xij与邻域像素xpq灰度差的绝对值;
设定约束随机编码图像像素的编码规则的方法是:
首先,根据投影图像的大小设置约束随机编码图像的高度和宽度;然后,按行从上到下的顺序产生每个像素,对于第一行第一个像素,取随机灰度值;之后,每个像素的灰度值多次随机生成,直到其已生成的邻域像素之间满足上述局部特征约束的唯一性约束条件为止,从而保证相邻像素之差的绝对值大于设定阈值T。
在步骤2)中,所述的利用动态速度-动态种群的改进粒子群优化算法对步骤1)中获得的高强度纹理分布的约束随机编码图像像素间灰度差的阈值进行优化求解,得到优化后的约束随机编码图像的方法是:
(1)确定约束随机编码图像的适应度函数
将图像纹理质量的评价函数作为约束随机编码图像的适应度函数,表示为:
Figure GDA0001731641590000031
其中,max f(T)为约束随机编码图像的适应度函数最大值,T为邻域像素灰度差绝对值的阈值,D(I)是全局灰度积分方差,FG2(x,y)是梯度积分方差,α和β是归一化系数;
全局灰度积分方差D(I)是图像纹理质量的评价依据;一个M×N像素区域的全局灰度积分方差可以表示为:
Figure GDA0001731641590000032
其中:
Figure GDA0001731641590000033
为M×N像素区域中的灰度均值。
梯度积分方差FG2(x,y)是根据图像的梯度计算图像纹理质量的一种方法;对图像I分别在x、y方向上进行一阶梯度的计算方法为:
Figure GDA0001731641590000041
然后对x、y方向上的一阶梯度进行合成,合成后梯度图像为:
Figure GDA0001731641590000042
那么,最终图像的梯度积分方差FG2(x,y)的计算方法为:
Figure GDA0001731641590000043
(2)利用动态速度-动态种群的改进粒子群优化算法对高强度纹理分布的约束随机编码图像像素间灰度差的阈值进行优化求解
动态速度-动态种群的改进粒子群优化算法中每个粒子迭代过程中更新的速度值为vri(t+1),其定义如下:
Figure GDA0001731641590000044
其中:
Figure GDA0001731641590000045
Vmax和Vmin分别为粒子的最大和最小速度;r3为[0,0.2]范围内的随机数;则粒子群动态速度策略的选择方法如下;:
(1)上一次迭代未更新整个群体的最优解gbest,则需要在上一次速度的基础上增大粒子的速度,粒子的速度更新为vpi(t+1);
(2)上一次迭代未更新整个群体的最优解gbest,但是粒子速度已经达到了最大速度Vmax,则粒子的速度保持最大速度Vmax不变;
(3)上一次迭代更新整个群体的最优解gbest,减小粒子速度为Vmin
使用动态速度-动态种群的改进粒子群优化算法对上述约束随机编码图像像素间灰度差的阈值进行优化求解,得到优化后的约束随机编码图像。
在步骤3)中,所述的将步骤2)中获得的优化后的约束随机编码图像投影到弱纹理航空行李表面,经过三维重建后得到航空行李形状的三维点云信息的具体步骤如下:
(1)编码投影:选取带有激光投影仪和左右摄像机的双目立体视觉系统,利用激光投影仪将上述优化后的约束随机编码图像投影到航空行李表面;
(2)图像获取:利用间隔设置且光轴近似平行的左右摄像机同步采集航空行李的图像,获得左右图像;
(3)摄像机标定:根据双目立体视觉系统的成像模型,计算摄像机的内外参数,确定物点与像点之间的数学关系,由此对摄像机进行标定;
(4)立体校正:利用上述摄像机内外参数对左右图像进行变换,输出行对准的校正图像,将二维空间匹配问题转换成一维空间内求解问题;
(5)立体匹配:寻找左右摄像机视场中相同特征,输出视差图;
(6)三维重建:根据摄像机内外参数和视差图,基于三角测量的方法,计算匹配像素对应目标点的三维坐标,最终获得航空行李形状的三维点云信息。
本发明提供的用于三维建模中航空行李表面纹理增强的投影编码方法可以提高航空行李立体匹配的可靠性和三维重建的精度。
附图说明
图1为约束随机编码投影图像的双目立体视觉成像过程示意图;
图2为约束随机编码图像的编码方向示意图,其中(a)表示第一行编码序列、(b)表示第二行编码序列、(c)和(d)表示第三行编码序列;
图3为约束随机编码图像的5×5局部图像,其中(a)表示局部图像的灰度值、(b)表示局部图像的灰度图;
图4为动态粒子群速度策略流程图;
图5为标准PSO与DSDP-PSO算法适应度函数变化分析图;
图6(a)和图6(b)分别表示标准PSO和DSDP-PSO算法的种群数量和粒子速度变化对比图;
图7为视差分布灰度图;
图8为采用不同的投影方法对标准件进行三维重建的误差变化图;
图9为采用不同投影方法对纯色航空行李进行三维重建的误差变化图;
图10为采用约束随机编码投影图像对不同尺寸行李进行三维重建的误差变化图;
图11为不同纹理增强方法对比实验图;
具体实施方式
下面结合附图和具体实施例对本发明提供的用于三维建模中航空行李表面纹理增强的投影编码方法进行详细说明。
本发明提供的用于三维建模中航空行李表面纹理增强的投影编码方法包括按顺序进行的下列步骤:
1)设定约束随机编码图像像素的编码规则,并在满足局部特征约束的唯一性约束条件下利用该投影图像像素编码规则对投影图像的像素进行编码,生成用于投影到航空行李表面的高强度纹理分布的约束随机编码图像;
立体匹配算法中像素p的能量函数不仅与自身有关,还与其周围的8邻域像素有关。按照其搜索规则,生成一种约束随机编码图像,既能满足8邻域的编码规则,同时又能够保证局部特征约束的唯一性约束条件,使得图像中的每个像素及其邻域被唯一标识。
局部特征约束的唯一性约束条件:
设约束随机编码图像矩阵为M,其宽度和高度分别为m和n,矩阵M中每一个像素应与其8邻域像素灰度不同,那么局部特征约束的唯一性约束条件如下:
Figure GDA0001731641590000071
其中,xij表示约束随机编码图像矩阵M中坐标为(i,j)的像素,xpq为xij的邻域像素,同时满足条件:(i,j)≠(p,q),2≤i≤m-1,2≤j≤n-1,i-1≤p≤i+1,j-1≤q≤j+1;T为像素xij与邻域像素xpq灰度差的绝对值。采用上述局部特征约束的唯一性约束条件,生成约束随机编码图像,可使每个像素与其邻域像素之间差别较大,使得作为目标的航空行李左右图像中每个像素的匹配搜索能量函数差值较小。
设定约束随机编码图像像素的编码规则:
首先,根据投影图像的大小设置约束随机编码图像的高度和宽度。然后,按行从上到下的顺序产生每个像素,对于第一行第一个像素,取随机灰度值。之后,每个像素的灰度值多次随机生成,直到其已生成的邻域像素之间满足上述局部特征约束的唯一性约束条件为止,从而保证相邻像素之差的绝对值大于设定阈值T。
编码顺序如图2所示,其中,箭头指向的像素,为该像素生成时需要参考的像素,以保障满足局部特征约束的唯一性约束条件。
第1行的像素生成时,只需考虑其前一个像素的值;第2行编码方法如图2(b)所示,第三行编码如图2(c)、(d)所示。从第4行到第n行的编码方法类似于第3行。当所有行的编码完成后,就可以生成高强度纹理分布的约束随机编码图像,其5*5局部图像如图3所示。
2)利用动态速度-动态种群的改进粒子群优化算法对步骤1)中获得的高强度纹理分布的约束随机编码图像像素间灰度差的阈值进行优化求解,得到优化后的约束随机编码图像;
(1)确定约束随机编码图像的适应度函数
采用动态速度-动态种群的改进粒子群算法求解可使生成的约束随机编码图像纹理强度最大化,从而使得左右图像中匹配点的匹配代价最小。所以,图像纹理质量的评价函数可以作为约束随机编码图像的适应度函数,表示为:
Figure GDA0001731641590000081
其中,maxf(T)为约束随机编码图像的适应度函数最大值,T为邻域像素灰度差绝对值的阈值,D(I)是全局灰度积分方差,FG2(x,y)是梯度积分方差,α和β是归一化系数。
全局灰度积分方差D(I)是图像纹理质量的评价依据。一个M×N像素区域的全局灰度积分方差可以表示为:
Figure GDA0001731641590000082
其中:
Figure GDA0001731641590000083
为M×N像素区域中的灰度均值。
梯度积分方差FG2(x,y)是根据图像的梯度计算图像纹理质量的一种方法。对图像I分别在x、y方向上进行一阶梯度的计算方法为:
Figure GDA0001731641590000091
然后对x、y方向上的一阶梯度进行合成,合成后梯度图像为:
Figure GDA0001731641590000092
那么,最终图像的梯度积分方差FG2(x,y)的计算方法为:
Figure GDA0001731641590000093
(2)标准粒子群算法
标准粒子群算法中一个粒子可以由位置向量xi和速度向量vi表示,其中:xi=[xi1,xi2,…,xiD]T∈RD,vi=[vi1,vi2,…,viD]T∈RD,i=1,2,…N,N是种群中粒子个数,D是决策变量个数。每个粒子的进化过程可以表示为:
Figure GDA0001731641590000094
其中:t表示迭代次数;ω≥0表示惯性权重系数;c1,c2≥0是加速度常数;r1和r2是介于0和1之间的随机数;pbesti表示第i个粒子的个体最优解;gbest表示整个群体的最优解。
(3)利用动态速度-动态种群的改进粒子群优化算法对高强度纹理分布的约束随机编码图像像素间灰度差的阈值进行优化求解
动态速度-动态种群的改进粒子群优化算法中每个粒子迭代过程中更新的速度值为vri(t+1),其定义如下:
Figure GDA0001731641590000101
其中:
Figure GDA0001731641590000102
Vmax和Vmin分别为粒子的最大和最小速度;r3为[0,0.2]范围内的随机数。则粒子群动态速度策略的选择方法如下,其处理流程图如图4所示:
(1)上一次迭代未更新整个群体的最优解gbest,则需要在上一次速度的基础上增大粒子的速度,粒子的速度更新为vpi(t+1);
(2)上一次迭代未更新整个群体的最优解gbest,但是粒子速度已经达到了最大速度Vmax,则粒子的速度保持最大速度Vmax不变;
(3)上一次迭代更新整个群体的最优解gbest,减小粒子速度为Vmin
使用动态速度-动态种群的改进粒子群优化算法对上述约束随机编码图像像素间灰度差的阈值进行优化求解,得到优化后的约束随机编码图像。
3)将步骤2)中获得的优化后的约束随机编码图像投影到弱纹理航空行李表面,经过三维重建后得到航空行李形状的三维点云信息;
具体步骤如图1所示:
(1)编码投影:选取带有激光投影仪和左右摄像机的双目立体视觉系统,利用激光投影仪将上述优化后的约束随机编码图像投影到航空行李表面,以增加弱纹理航空行李表面的纹理信息,提高立体匹配的可靠性和匹配效率;
(2)图像获取:利用间隔设置且光轴近似平行的左右摄像机同步采集航空行李的图像,获得左右图像;
(3)摄像机标定:根据双目立体视觉系统的成像模型,计算摄像机的内外参数,确定物点与像点之间的数学关系,由此对摄像机进行标定;这一步骤是二维图像反解出物点三维信息的基础;
(4)立体校正:利用上述摄像机内外参数对左右图像进行变换,输出行对准的校正图像,将二维空间匹配问题转换成一维空间内求解问题;
(5)立体匹配:寻找左右摄像机视场中相同特征,输出视差图;
(6)三维重建:根据摄像机内外参数和视差图,基于三角测量的方法,计算匹配像素对应目标点的三维坐标,最终获得航空行李形状的三维点云信息。
为了验证本发明方法的效果,本发明进行了如下实验:
(1)动态速度-动态种群的改进粒子群优化算法优化求解的效果
为了验证动态速度-动态种群的改进粒子群优化算法的性能,首先进行了仿真实验。采用动态粒子速度与动态种群策略结合的动态速度-动态种群的改进粒子群算法(Dynamic Speed Dynamic Population Particle Swarm Optimization,DSDP-PSO),动态种群策略可以使得种群获得更好的目标函数值,新粒子获得的原则还可以增加种群的健壮性。
仿真实验中,学习因子c1=c2=1.503,最大迭代次数为20,惯性权重的最大值为Wmax=0.8,最小值为Wmin=0.4,位置最大值为Xmax=0.1,位置最小值为Xmin=0,速度最大值为Vmax=0.05,速度最小值为Vmin=0.01。采用上述控制参数仿真10次,标准粒子群算法和DSDP-PSO算法测试数据对比如表1所示:
表1标准POS和DSDP-PSO测试结果对比
Figure GDA0001731641590000111
由图5和图6的仿真结果可知,当采用DSDP-PSO算法时,可以缩短纹理质量评价函数达到最优值的时间,求得最优阈值T为26,而采用标准粒子群算法得到的最优阈值T为24。采用DSDP-PSO算法可以减少仿真时间,并且具有更好的优化效果。
(2)使用约束随机编码图像投影对目标物体三维重建的效果
使用标准件和航空行李进行三维重建,具体的实验对象包括:定制的标准方块和典型的航空行李(拉杆箱、背包、纸箱等),分别在自然光照、激光点阵投影、随机数字散斑投影、静态光栅投影、静态栅格投影以及约束随机编码图像投影的条件下对实验对象进行三维重建,并对重建结果进行评估。
本发明根据SGM算法的匹配策略和全局能量函数计算方法,设计的投影图像的约束随机编码规则,对于增强被测物体表面的纹理质量,保证了编码图像中像素及其邻域像素的唯一性,有利于特征点立体匹配代价的最小化;建立的图像区域纹理质量评价函数,以及基于该函数的DSDP-PSO优化模型,可以显著加快约束随机编码阈值T的优化求解过程。得到最优的约束随机编码图像,可以使得立体匹配过中寻找到左右图像对应特征点的困难减小,从而提高立体匹配的可靠性;通过不同的编码投影方法,对不同行李的三维重建实验,证明了约束随机编码图像的方法可以提高立体匹配的可靠性和三维重建精度。
(3)基于约束随机编码图像的三维重建并对重建结果进行评估
实验的计算机主要配置为:Inter(R)Core(TM)i7-4790K CPU.4.00GHz主频8.00G内存;Window10操作系统。双目立体视觉系统上设有激光投影仪和两台Basler dart(daA1280-54uc)工业摄像机,图像分辨率为1280pixel*960pixel,两摄像机平行放置,刚性固联,设定基线为100mm;镜头为Basler8mm定焦镜头,物理分辨率为500万像素。
实验对象包括:定制的标准方块和典型的航空行李(拉杆箱、背包、箱子等)。分别在自然光照、激光点阵投影、随机散斑投影、静态光栅投影、静态栅格投影以及约束随机编码图像投影的条件下对实验对象进行三维重建。
1)立体匹配的可靠性
为了验证该算法生成的编码图像,对增加立体匹配可靠性的效果,实验中,分别将编码图像投影到航空行李表面,进行了立体匹配实验。纯色行李的立体匹配是最困难的,这里使用不同的编码图像投影进行了立体匹配实验,得到视差图,如图11所示,第2行为投影后的航空行李图像,第3行为得到的视差图。根据目标与摄像机的距离可以计算出所有匹配点的视差取值范围为[86,170],那么视差图中像素灰度值,86-170表示正确匹配、0-85和171-254表示误匹配、255表示匹配失败。通过对这三类匹配像素进行统计分析,对比分析不同编码图像的立体匹配效果。其中,采用自然光照、静态光栅和静态栅格投影,得到纯色行李的视差图中,主要为匹配失败的像素,效果很差。采用激光点阵、随机散斑和约束随机编码图像投影,可以得到稠密的视差点,如图7所示。从图中可以看出,该算法生成的约束随机编码图像投影方法匹配效果最好,正确匹配像素数最大,匹配错误和失败像素数最小。
2)三维重建精度
为了验证本方法的三维重建精度,采用该约束随机编码图像投影对多个不同类型的航空行李进行了三维重建实验,包括4大类、8种典型的不同尺寸的行李。
实验中,对生成的三维点云中的一些特征点和对应的实际点,进行了多次手工测量,对其平均值和平均误差进行了对比分析
采用长宽高均为200mm的纯色标准测试件,并采用随机数字散斑和约束随机编码图像的投影进行了立体视觉的三维重建。重建后对其点云中的长宽高进行了多次测量,共测量50次,每5次作为一组,共10组,每组平均值分布如图8所示。
对纯色行李样本的重建精度也进行了评估。如图9所示,采用不同编码投影进行三维重建后,得到的行李高度测量结果分布。
常规行李类别可分为方箱、拉杆箱、一般软包和双肩包等,如果该方法能对这些行李进行了稳定的三维重建且精度满足要求,那么该方法将可以应用到航空行李的三维检测系统中。表2为各种类别行李三维重建的相对误差。
表2各种行李类别三维重建相对误差
方箱 拉杆箱 软包 双肩包
平均值 0.62% 0.8% 1.06% 1.12%
最大值 2.10% 1.82% 2.53% 2.3%
另外,对不同尺寸行李,采用激光散斑和约束随机编码投影,进行了三维重建和误差统计。如图10所示,为重建绝对误差与行李尺寸的关系。从图中可以看出,随着行李尺寸的增大,两种投影重建的相对误差都会增大,这符合双目立体视觉误差的变化规律,但是约束随机编码方法的误差小于随机数字散斑方法,而且其误差小于常用线激光测距仪的误差(如SICK LM200为±20mm)。

Claims (2)

1.一种用于三维建模中航空行李表面纹理增强的投影编码方法,其特征在于:所述的方法包括按顺序进行的下列步骤:
1)设定约束随机编码图像像素的编码规则,并在满足局部特征约束的唯一性约束条件下利用该编码规则对投影图像的像素进行编码,生成用于投影到航空行李表面的高强度纹理分布的约束随机编码图像;
2)利用动态速度-动态种群的改进粒子群优化算法对步骤1)中获得的高强度纹理分布的约束随机编码图像像素间灰度差的阈值进行优化求解,得到优化后的约束随机编码图像;
3)将步骤2)中获得的优化后的约束随机编码图像投影到弱纹理航空行李表面,经过三维重建后得到航空行李形状的三维点云信息;
在步骤1)中,所述的局部特征约束的唯一性约束条件为:
设约束随机编码图像矩阵为M,其宽度和高度分别为m和n,矩阵M中每一个像素应与其8邻域像素灰度不同,那么局部特征约束的唯一性约束条件如下:
Figure FDA0003005532760000011
其中,xij表示约束随机编码图像矩阵M中坐标为(i,j)的像素,xpq为xij的邻域像素,同时满足条件:(i,j)≠(p,q),2≤i≤m-1,2≤j≤n-1,i-1≤p≤i+1,j-1≤q≤j+1;T为像素xij与邻域像素xpq灰度差绝对值的阈值;
设定约束随机编码图像像素的编码规则的方法是:
首先,根据投影图像的大小设置约束随机编码图像的高度和宽度;然后,按行从上到下的顺序产生每个像素,对于第一行第一个像素,取随机灰度值;之后,每个像素的灰度值多次随机生成,直到其已生成的邻域像素之间满足上述局部特征约束的唯一性约束条件为止,从而保证相邻像素之差的绝对值大于设定阈值T;
在步骤2)中,所述的利用动态速度-动态种群的改进粒子群优化算法对步骤1)中获得的高强度纹理分布的约束随机编码图像像素间灰度差的阈值进行优化求解,得到优化后的约束随机编码图像的方法是:
(1)确定约束随机编码图像的适应度函数
将图像纹理质量的评价函数作为约束随机编码图像的适应度函数,表示为:
Figure FDA0003005532760000021
其中,max f(T)为约束随机编码图像的适应度函数最大值,T为邻域像素灰度差绝对值的阈值,D(I)是全局灰度积分方差,FG2(x,y)是梯度积分方差,α和β是归一化系数;
全局灰度积分方差D(I)是图像纹理质量的评价依据;一个M×N像素区域的全局灰度积分方差表示为:
Figure FDA0003005532760000022
其中:
Figure FDA0003005532760000023
为M×N像素区域中的灰度均值;
梯度积分方差FG2(x,y)是根据图像的梯度计算图像纹理质量的一种方法;对图像I分别在x、y方向上进行一阶梯度的计算方法为:
Figure FDA0003005532760000024
然后对x、y方向上的一阶梯度进行合成,合成后梯度图像为:
Figure FDA0003005532760000031
那么,最终图像的梯度积分方差FG2(x,y)的计算方法为:
Figure FDA0003005532760000032
(2)利用动态速度-动态种群的改进粒子群优化算法对高强度纹理分布的约束随机编码图像像素间灰度差的阈值进行优化求解
动态速度-动态种群的改进粒子群优化算法中每个粒子迭代过程中更新的速度值为vri(t+1),其定义如下:
Figure FDA0003005532760000033
其中:
Figure FDA0003005532760000034
Vmax和Vmin分别为粒子的最大和最小速度;r3为[0,0.2]范围内的随机数;则粒子群动态速度策略的选择方法如下:
(1)上一次迭代未更新整个群体的最优解gbest,则需要在上一次速度的基础上增大粒子的速度,粒子的速度更新为vpi(t+1);
(2)上一次迭代未更新整个群体的最优解gbest,但是粒子速度已经达到了最大速度Vmax,则粒子的速度保持最大速度Vmax不变;
(3)上一次迭代更新整个群体的最优解gbest,减小粒子速度为Vmin
使用动态速度-动态种群的改进粒子群优化算法对上述约束随机编码图像像素间灰度差的阈值进行优化求解,得到优化后的约束随机编码图像。
2.根据权利要求1所述的用于三维建模中航空行李表面纹理增强的投影编码方法,其特征在于:在步骤3)中,所述的将步骤2)中获得的优化后的约束随机编码图像投影到弱纹理航空行李表面,经过三维重建后得到航空行李形状的三维点云信息的具体步骤如下:
(1)编码投影:选取带有激光投影仪和左右摄像机的双目立体视觉系统,利用激光投影仪将上述优化后的约束随机编码图像投影到航空行李表面;
(2)图像获取:利用间隔设置且光轴近似平行的左右摄像机同步采集航空行李的图像,获得左右图像;
(3)摄像机标定:根据双目立体视觉系统的成像模型,计算摄像机的内外参数,确定物点与像点之间的数学关系,由此对摄像机进行标定;
(4)立体校正:利用上述摄像机内外参数对左右图像进行变换,输出行对准的校正图像,将二维空间匹配问题转换成一维空间内求解问题;
(5)立体匹配:寻找左右摄像机视场中相同特征,输出视差图;
(6)三维重建:根据摄像机内外参数和视差图,基于三角测量的方法,计算匹配像素对应目标点的三维坐标,最终获得航空行李形状的三维点云信息。
CN201810576017.XA 2018-06-06 2018-06-06 用于三维建模中航空行李表面纹理增强的投影编码方法 Active CN108898629B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810576017.XA CN108898629B (zh) 2018-06-06 2018-06-06 用于三维建模中航空行李表面纹理增强的投影编码方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810576017.XA CN108898629B (zh) 2018-06-06 2018-06-06 用于三维建模中航空行李表面纹理增强的投影编码方法

Publications (2)

Publication Number Publication Date
CN108898629A CN108898629A (zh) 2018-11-27
CN108898629B true CN108898629B (zh) 2021-06-08

Family

ID=64344099

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810576017.XA Active CN108898629B (zh) 2018-06-06 2018-06-06 用于三维建模中航空行李表面纹理增强的投影编码方法

Country Status (1)

Country Link
CN (1) CN108898629B (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111739111B (zh) * 2019-03-20 2023-05-30 上海交通大学 一种点云投影编码的块内偏移优化方法及系统
CN110264556A (zh) * 2019-06-10 2019-09-20 张慧 一种无重复随机复杂纹理的生成方法
CN117128862B (zh) * 2023-10-26 2024-01-16 靖江市恒友汽车部件制造有限公司 一种汽车部件的扫描检测分析方法

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104794748A (zh) * 2015-03-17 2015-07-22 上海海洋大学 基于Kinect视觉技术的三维空间地图构建方法
CN105046746A (zh) * 2015-08-05 2015-11-11 西安新拓三维光测科技有限公司 一种数字散斑人体三维快速扫描方法

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104794748A (zh) * 2015-03-17 2015-07-22 上海海洋大学 基于Kinect视觉技术的三维空间地图构建方法
CN105046746A (zh) * 2015-08-05 2015-11-11 西安新拓三维光测科技有限公司 一种数字散斑人体三维快速扫描方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
Encoded light image active feature matching approach in binocular stereo vision;Yu Shuang et al.;《2016 11th International Forum on Strategic Technology(IFOST)》;20160601;第406-409页 *
一种针对彩色物体的光栅投影三维测量方法;胡路遥 等;《光学学报》;20120229;第32卷(第2期);第1-7页 *

Also Published As

Publication number Publication date
CN108898629A (zh) 2018-11-27

Similar Documents

Publication Publication Date Title
CN109410256B (zh) 基于互信息的点云与影像自动高精度配准方法
CN110853075B (zh) 一种基于稠密点云与合成视图的视觉跟踪定位方法
Knyaz et al. Deep learning of convolutional auto-encoder for image matching and 3d object reconstruction in the infrared range
CN111566437B (zh) 三维测量系统以及三维测量方法
Vu et al. High accuracy and visibility-consistent dense multiview stereo
Fechteler et al. Adaptive colour classification for structured light systems
EP2568253B1 (en) Structured-light measuring method and system
US11651581B2 (en) System and method for correspondence map determination
CN108898629B (zh) 用于三维建模中航空行李表面纹理增强的投影编码方法
WO2007015059A1 (en) Method and system for three-dimensional data capture
CN112630469B (zh) 一种基于结构光和多光场相机的三维检测方法
JP2016217941A (ja) 3次元データ評価装置、3次元データ測定システム、および3次元計測方法
JP5761750B2 (ja) 画像処理方法および装置
CN111563952A (zh) 基于相位信息与空间纹理特征实现立体匹配方法及系统
CN109978957B (zh) 基于量子行为粒子群的双目系统标定方法
CN116245921A (zh) 引入平面约束的低重叠率弱特征三维测量点云精配准方法
Hosseininaveh et al. Automatic image selection in photogrammetric multi-view stereo methods
Zhao et al. Binocular vision measurement for large-scale weakly textured ship hull plates using feature points encoding method
CN117367404A (zh) 基于动态场景下slam的视觉定位建图方法及系统
CN109690241A (zh) 三维测定装置和三维测定方法
Farsangi et al. Rectification based single-shot structured light for accurate and dense 3D reconstruction
JP6388806B2 (ja) 射影画像生成装置と射影画像生成プログラムと射影画像生成方法
CN116091562A (zh) 基于二维投影线段的建筑物点云自动配准的方法
Zhang et al. Non-rigid registration of mural images and laser scanning data based on the optimization of the edges of interest
Bai et al. Application of unmanned aerial vehicle multi-vision image 3D modeling in geological disasters

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant