CN113808019A - 一种非接触测量系统及方法 - Google Patents

一种非接触测量系统及方法 Download PDF

Info

Publication number
CN113808019A
CN113808019A CN202111077575.XA CN202111077575A CN113808019A CN 113808019 A CN113808019 A CN 113808019A CN 202111077575 A CN202111077575 A CN 202111077575A CN 113808019 A CN113808019 A CN 113808019A
Authority
CN
China
Prior art keywords
image
target object
algorithm
target
depth
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202111077575.XA
Other languages
English (en)
Inventor
杨国宇
赵会宁
蔡兴楠
李铭锋
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Foshan Tianmu Industrial Measurement Technology Co ltd
Guangdong Sanshui Institute Of Hefei University Of Technology
Original Assignee
Foshan Tianmu Industrial Measurement Technology Co ltd
Guangdong Sanshui Institute Of Hefei University Of Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Foshan Tianmu Industrial Measurement Technology Co ltd, Guangdong Sanshui Institute Of Hefei University Of Technology filed Critical Foshan Tianmu Industrial Measurement Technology Co ltd
Priority to CN202111077575.XA priority Critical patent/CN113808019A/zh
Publication of CN113808019A publication Critical patent/CN113808019A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00Geometric image transformations in the plane of the image
    • G06T3/40Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4053Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00Three dimensional [3D] modelling, e.g. data description of 3D objects
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/70Denoising; Smoothing
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/77Retouching; Inpainting; Scratch removal
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/13Edge detection
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/50Depth or shape recovery
    • G06T7/55Depth or shape recovery from multiple images

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computer Graphics (AREA)
  • Geometry (AREA)
  • Software Systems (AREA)
  • Image Processing (AREA)

Abstract

本发明涉及一种非接触测量系统及方法,其包括探测器通过点扩散函数计算获取点扩散数据,并利用获取的点扩散数据对探测器获取的原始图像进行色彩恢复;在点扩散数据作为先验知识并将精准颜色矢量信息作为约束条件的情况下,完成对场景图像的超分辨率重建;以超分辨重建后的光场图像为基础完成目标物体的深度估计;在完成原始图像进行处理得到目标场景的重聚焦图像序列的情况下,完成目标物体测距结果的获取;在所述测距结果对目标物体表面完成赋值的情况下,目标物体的深度图像是按照将深度估计算法与目标侧记算法进行融合的方式获取的,所述目标物体的深度图像通过表面渲染和纹理映射完成对目标物体的三维重建。

Description

一种非接触测量系统及方法
技术领域
本发明涉及非接触测量技术领域,尤其涉及一种非接触测量系统及方法。
背景技术
非接触式的视觉测量技术取得了飞速发展与长足进步,解决了传统测量方法难以或无法解决的多种问题,在工业领域中的应用前景越来越广阔。但是传统的图像采集方式,只能够采集到二维的平面图像信息,仅记录空间中被拍摄物体的二维坐标信息而没有角度信息(深度信息),己不能满足现阶段对信息数据的高层次要求。
光场相机突破了传统二维相机对场景信息获取的局限性,能够同时记录空间中光线的位置信息(坐标信息)和角度信息(深度信息),采集到目标场景中完整的四维光场数据。因此,四维光场信息具有更大的信息量及更强的可塑性,能够有效地提升计算机视觉领域中图形图像的处理精度及研究效率。光场相机超分辨率重建的实质是对光场相机所采集到的图像进行超分辨率重建。图像的超分辨率重建方法有很多种,可以按照图像数量分为基于单幅图像的超分辨率重建方法和基于多幅图像的超分辨率重建方法;还可以按照处理方式分为基于重建的超分辨率重建方法和基于学习的超分辨率重建方法。基于重建的超分辨率重建方法是目前应用最广泛的一个方法,该方法可分为两大类:频域法和空域法。
目前,基于深度学习及机器学习的超分辨率重建方法发展迅速,此类算法是通过深度学习或者机器学习低分辨率图像与高分辨率图像的相关关系,进行超分辨率重建。然而,频率域的方法虽然简便易行,但是重建结果精度较低;空间域方法虽然有较好的重建效果,但超分辨图像边缘抗锯齿效果不佳,对重建效果有很大的影响;而基于学习的方法需要大量的前期学习与建库,重建成本很高;基于卷积神经网络CNN(Convolutional NeuralNetworks)的方法需要调参及大量的样本数据,且训练时对算法精度及硬件设备的要求很高,重建过程较为复杂。因此,研究一种适用于MLA光场相机的超分辨率方法具有重要的意义。另外,基于多视角图像的深度估计方法获得的深度估计结果鲁棒性不高;基于微透镜阵列的光场EPI又包含太多噪声,不适用于基于MLA光场相机的三维表面重建研究;基于CNN的方法需要调参及大量的样本数据,且训练时对算法精度及硬件设备的要求很高,过程较为复杂,导致在光场相机的研究过程中,深度估计结果的精确度对于光场相机三维重建结果具有极大的影响。
中国专利CN110319776A公开了一种基于SLAM的三维空间距离测量方法及装置,其中,所述方法包括:获取相机的内参数;对待处理视频进行去抖处理,得到处理后视频;针对所述处理后视频,计算相机图像对应所述真实三维点的初始深度值;根据所述内参数和所述初始深度值,得到相机的外参数;根据所述外参数,计算所述真实三维点的空间距离。在深度估计处理过程中,由于有噪声与错误深度值等误差因素的存在,在剔除噪声与错误深度值的过程中,需要有一个约束条件或参考距离作为依据。因此,一种能够降低深度估计算法误差、提高深度估计算法精度的测距方法是非常必要的。
此外,一方面由于对本领域技术人员的理解存在差异;另一方面由于发明人做出本发明时研究了大量文献和专利,但篇幅所限并未详细罗列所有的细节与内容,然而这绝非本发明不具备这些现有技术的特征,相反本发明已经具备现有技术的所有特征,而且申请人保留在背景技术中增加相关现有技术之权利。
发明内容
针对现有技术之不足,本发明的技术方案提供的是一种非接触测量方法,其包括探测器通过点扩散函数计算获取点扩散数据,并将获取的点扩散数据作为探测器图像色彩恢复的依据,并对探测器获取的原始图像进行色彩恢复;在所述点扩散数据作为先验知识并将精准颜色矢量信息作为约束条件的情况下,完成对场景图像的超分辨率重建;以超分辨重建后的光场图像为基础完成目标物体的深度估计;在完成原始图像进行处理得到目标场景的重聚焦图像序列的情况下,目标物体的测距结果是按照将前述操作中的超分辨率算法与相对测距算法进行融合的方式获取的;在所述测距结果对目标物体表面完成赋值的情况下,目标物体的深度图像是按照将深度估计算法与目标侧记算法进行融合来降低深度图像中的噪声和误差的方式获取的,所述目标物体的深度图像通过表面渲染和纹理映射完成对目标物体的三维重建。其优势在于,本申请能通过减少重复计算的次数,提升色彩恢复算法的时间效率;与未经优化前的凸集投影算法相比,得到的超分辨图像重建效果良好,在超分辨重建误差略有降低同时提高了清晰度;此外,本申请抑制噪声的同时保证图像边缘信息的完整性,解决深度图像中存在的噪声及误差等问题,得到的深度图像边缘信息更为精准。
根据一种优选的实施方式,所述原始图像的色彩恢复是根据探测器精确点扩散函数的计算结果建立六边形坐标系的情况下,通过对每个像素的颜色信息进行一对一的指向性赋值,完成对目标图像的色彩恢复处理。其优势在于,利用六边形金字塔算法对色彩恢复操作进行优化,使得该色彩恢复方法能够恢复出场景图像的原始色彩信息,与传统的色彩恢复方法相比,时效性更高,色彩信息更为贴近现实。
根据一种优选的实施方式,所述场景图像的超分辨率重建的预处理操作包括:选择探测器的全聚焦图像作为低分辨率图像的参考帧;将此图像作为算法的初估计,并对获取的子孔径图像序列中的每一幅低分辨率图像进行计算,得到像素运动补偿数值;计算设定像素点在全聚焦图像中的位置。其优势在于,本申请的超分辨图像重建与未经优化前的凸集投影算法相比在超分辨重建误差略有降低同时提高了清晰度。
根据一种优选的实施方式,所述目标物体的深度估计包括:对相机子孔径序列图像进行亚像素精度的偏移操作,并完成序列图像的匹配代价过程,得到初始的视差图像;通过引导滤波的方式在抑制噪声的同时保证图像边缘信息的完整,并得到滤波后的视差图像;对视差图像进行图形分割优化。其优势在于,本申请能够在抑制噪声的同时保证图像边缘信息的完整性,大大提高了深度估计的精度。
根据一种优选的实施方式,在获取到目标物体的边缘信息的情况下,对目标物体进行测距而获得的所述测距结果能够对目标物体表面进行赋值,从而获取到目标场景的深度图像。其优势是,本申请提出的多目标测距方法精度较高,对于具有规则表面的目标物体,当测试距离小于50cm时,测量误差值小于2%;测试距离小于100cm时,测量误差小于4.85%。
根据一种优选的实施方式,目标场景的重聚焦图像过程是对所采集的数据进行数字对焦及变焦的集合;在探测器对目标物进行拍摄后,采集到带有位置信息和角度信息的四维光场信息,数字变焦操作以及数字对焦操作均会使采集到的位置信息及角度信息发生改变,在图像中产生新的焦点位置。
根据一种优选的实施方式,所述深度估计算法与目标侧记算法的融合是利用测距算法中边缘提取得到的目标物体边缘数据,对深度估计算法中得到的深度图像进行边缘约束;利用测距算法中的测量数值对深度估计算法中的目标物深度信息进行约束。
根据一种优选的实施方式,所述目标物体的三维重建是将探测器获取的机所获取的精确颜色信息作为物体三维表面信息重建的纹理信息来源,利用基于深度图的三维重建操作,通过多目标快速测距方法完成深度图像的优化处理,再经过表面渲染和纹理映射完成对目标模型的三维表面重建。其优势在于,本申请对多种不同材质的重建目标具有良好的三维表面重建效果,重建纹理真实、精细化程度较高。对比3D Max人工建模方法及“扫描仪建模+纹理映射”的重建方法,本申请具有较高的时效性及更为广泛的适用性。
本申请还提供一种非接触测量系统,其包括探测器,所述探测器对目标物体测距是在完成所述探测器获取的原始图像的处理并得到目标场景的重聚焦图像序列的情况下按照将超分辨率算法与相对测距算法进行融合的方式获取目标物体的测距结果的,其中,目标场景的重聚焦图像过程是对所采集的数据进行数字对焦及变焦的集合;在探测器对目标物进行拍摄后,采集到带有位置信息和角度信息的四维光场信息,数字变焦操作以及数字对焦操作均会使采集到的位置信息及角度信息发生改变,在图像中产生新的焦点位置。其优势在于,本申请能通过减少重复计算的次数,提升色彩恢复算法的时间效率;与未经优化前的凸集投影算法相比,得到的超分辨图像重建效果良好,在超分辨重建误差略有降低同时提高了清晰度;此外,本申请抑制噪声的同时保证图像边缘信息的完整性,解决深度图像中存在的噪声及误差等问题,得到的深度图像边缘信息更为精准。
本申请还提供一种非接触测量方法,包括:
S1:点扩散函数的测量及计算;
S2:目标图像的高精度色彩恢复;
S3:场景图像的超分辨率重建;
S4:三维空间目标物体的深度估计;
S5:多目标物体的距离测量;
S6:目标物体的三维表面重建。
附图说明
图1是本发明的一种非接触测量系统及方法的优选实施例的融合算法示意图;
图2是本发明的一种非接触测量系统及方法的深度估计算法结果对比示意图;
图3是本发明的一种非接触测量系统及方法的优选实施例的三维表面重建过程示意图;
图4是本发明的一种非接触测量系统及方法的Blob模型颗粒强度宏观及剖分图示意图;
图5是本发明的一种非接触测量系统及方法的层析反向追迹光线示意图;
图6是本发明的一种非接触测量系统及方法的权重矩阵的二维计算定义示意图;
图7是本发明的一种非接触测量系统及方法的光场相机结构示意图;
图8是本发明的一种非接触测量系统及方法的双平面参数法示意图。
具体实施方式
下面结合附图进行详细说明。
实施例1
一种基于光场相机的非接触测量方法,其测量结果为目标物体深度信息的精确测量数值。本申请至少包括以下步骤:
S1:点扩散函数(PSF)的测量及计算
利用点扩散函数的测量原理及测量方法计算得到相机的点扩散函数;利用MATLAB软件,对相机的点扩散函数计算结果进行模拟,得到的相机扩散函数点的实测结果。
S2:目标图像的高精度色彩恢复
通过相机精确点扩散函数的计算结果,建立六边形坐标系,计算得到扩散函数点的精确位置坐标。对每个像素的颜色信息进行一对一的指向性赋值,完成对目标图像的色彩恢复处理。本申请还涉及一种六边形金字塔优化算法,对整个色彩恢复的过程进行优化。
S3:场景图像的超分辨率重建
将高精度点扩散函数作为先验知识,将精准颜色矢量信息作为约束条件,对经典的凸集投影算法改进优化,完成对场景图像的超分辨率重建。
S4:三维空间目标物体的深度估计
对相机子孔径序列图像进行亚像素精度的偏移操作,并完成序列图像的匹配代价过程,得到初始的视差图像;使用引导滤波的方法,在抑制噪声的同时保证图像边缘信息的完整,得到滤波后的视差图像;对视差图像进行图形分割优化(GCO),完成对三维空间目标物体的深度估计。
S5:多目标物体的距离测量
对原始图像进行处理,得到目标场景的重聚焦图像序列;通过标记贴片的方法,实现对目标场景中物体的直接测距;利用边缘提取算子,获取目标物体的边缘信息;利用超分辨率算法对文献中提出的相对测距法进行优化处理;将两种测距算法结合,完成对场景中多个目标物体的距离测量。
S6:目标物体的三维表面重建
完成前述内容所涉及的融合处理操作后,得到三维场景中目标物体的深度图像之后,对目标深度图像进行表面渲染、纹理映射等处理,实现对目标物体的三维表面重建。
优选地,测距方法属于深度估计方法中算法精度较高的一类,但是测距方法相对于深度估计方法最大的区别在于:测距方法只能对场景中目标物体或者场景中部分区域进行测量,无法对场景中全部的深度数据进行测量。因此,测距方法只能够获取不完整的深度图像,且该深度图像无法作为三维重建的基础。优选地,本申请提供的微透镜阵列光场相机的测距方法具有较高精度,其能够在对目标图像进行深度估计过程中得到精确的三维空间距离数值。
优选地,点扩散函数(PSF)的测量及计算至少包括以下操作:
S11:点扩散函数的测定
依据光学成像的基本原理,将点扩散函数PSF(Point Spread Function)定义为:三维空间中某一点发出的光线经过相机的透镜组折射后,若焦点位置不在成像平面上,则该点会在成像平面上形成一个半径为r的弥散斑。优选地,能够对该点在成像平面上的光强分布进行表示的函数就是该点在成像平面上的点扩散函数。因此,点扩散函数是一个点源所产生的光线的二维分布。一个线性空间不变系统的脉冲响应函数是由该系统的输入及输出关系决定的。对于光学成像系统,该脉冲响应函数便是该系统的点扩散函数。
S12:扩散函数点位置计算
优选地,根据已获取的点扩散函数模型可以计算得到相机的原始图像中任意一个目标像素点的扩散函数点位置坐标。在计算过程中,需要将像素灰度值为0的点及位于彩色滤光片边界上的扩散函数点定义为噪声点,做剔除处理。优选地,在实际计算过程中有些像素的对应扩散函数点位置在无效范围内(扩散函数点处于彩色滤光片边界),则任意一个像素点都约有21个与之对应的扩散函数点。
优选地,图像的超分辨率ISR(Image Super Resolution)指的是:将低分辨率图像或图像序列恢复成高分辨率图像的过程。目前由于相机传感器制造工艺的限制,相机传感器复用于场景目标的位置信息与角度信息,导致初始图像分辨率低,无法获得高分辨率图像。本申请涉及的精确色彩矢量约束下的光场图像超分辨率算法能够大幅度提高相机图像的分辨率,获得目标物体的超分辨率图像。超分辨率图像恢复,首先要对同一场景中的目标物进行多视角图像序列的采集处理,在采集的过程中,要保证序列图像中的各个图像之间存在子像素的运动,即存在视差。图像序列中,由于各幅图像之间拥有不同的拍摄角度,因此,能够从这些图像中得到同一场景的互补信息。对相机子孔径图像的提取,可以得到单一场景下一组完整的多视角图像序列。
优选地,超分辨率重建过程至少包括以下步骤:
S31:子孔径图像序列获取
图像序列的获取过程是对相机中所有微透镜所覆盖的相同位置的子像素进行提取并重新排列。优选的,在得到正交排列的宏像素和相机原始图像的情况下,将子孔径图像序列中图像较暗的边缘位置作为噪声剔除,从而有效地提高算法的精度。
S32:超分辨率重建
以前述步骤中获取的高精度点扩散函数作为先验知识,以精确颜色矢量信息作为约束条件,对凸集投影法(POCS)进行优化改进。优选地,算法步骤如下:
(1)选择相机的全聚焦图像作为低分辨率图像的参考帧,并将此图像作为算法的初始估计;
(2)对相机获取的子孔径图像序列中的每一幅低分辨率图像进行计算,得到像素运动补偿数值;
(3)计算该像素点在相机全聚焦图像中的位置;
(4)利用计算出的PSF作用范围,作为先验知识,对超出部分进行剔除;
(5)模拟图像中每个像素的采样过程,获得模拟的低分辨率图像;
(6)计算相机全聚焦图像与获取的低分辨率图像的残差;
(7)根据残差修正相机全聚焦图像的像素值;
(8)通过迭代的方法修正当前估计出的高分辨率图像。优选地,迭代次数可通过多次实验来设置,当达到一定的重建结果后,算法停止。
在上述过程中,由于算法需要对一个像素的整个PSF作用范围内所有像素进行逐一计算,而大量的像素点在相机全聚焦图像中的PSF影响范围很可能重叠,所以会出现先前已经修正过的像素点在后期的像素点修正之后,该像素点又超出了PSF设定范围的情况。因此在循环修正过程中加入颜色矢量作为后验知识,能够充分保证超分辨处理结果的精确度。
光场相机的光学透镜组部件位于光场相机内部,对距离进行实际测量时,即使是使用精度相当高的激光测距,由于测量点位置的不确定性,测量结果仍会有较大误差。为了给深度获取实验数据提供较为准确的评价参数,因此开发一种基于光场相机的高精度测距方法就显得非常必要。此外,光场相机的测距研究对三维空间物体分割、三维空间成像、三维重建等许多研究方向都有着重要的意义。本申请为了获得更加精准的深度图像,在完成超分辨率重建的基础上对高分辨率图像进行光场图像深度估算并进一步完成图像多目标的快速测距。
优选地,基于亚像素精度的光场图像深度估算是在相机对目标场景进行采集时,能够同时采集到三维空间中目标物体的位置信息和角度信息,因此根据多视角立体匹配的原理,以精确色彩矢量信息作为约束条件,能够较为精准地完成图像的深度估计任务;且该方法过程简便,效率很高。进一步优选地,基于亚像素精度的光场图像深度估算(步骤S4)包括以下步骤:
(1)对相机原始图像进行超分辨率优化,得到高分辨率的原始目标图像;
(2)在频率域中,对子孔径图像序列进行多标签下的亚像素偏移操作,以子孔径图像序列的中心坐标图像为参考图像,完成像素的匹配代价过程;
(3)利用引导滤波的算法对实验中存在的噪声进行抑制,并保持图像边缘的完整性;
(4)对得到的深度图像进行GCO优化,得到较为准确的深度估计结果。
相机图像的数据重聚焦过程就是根据光场相机的四维参数化表示而构建的计算成像模型,从已知的数据中逆向求解重聚焦图像的过程。优选地,相机的数字重聚焦过程相当于对所采集的数据进行数字对焦及变焦的集合。在相机对目标物进行拍摄后,采集到带有位置信息和角度信息的四维光场信息,数字变焦操作以及数字对焦操作均会使采集到的位置信息及角度信息发生改变,在图像中产生新的焦点位置。
优选地,在前述步骤中,基于深度估计算法所获取的结果在其边缘处理上不够精准,原始图像的超分辨率优化而得到的测量结果精度还需要进一步的提高。此外,在深度估计处理过程中,由于有噪声与错误深度值等误差因素的存在,在剔除噪声与错误深度值的过程中,需要有一个约束条件或参考距离作为依据。因此需要通过设置基于光场相机的多目标快速测距操作来进一步提高目标图像的深度估计精度。优选地,基于光场相机的多目标快速测距是利用直接测距法完成目标物体表面与相机主透镜平面之间距离的获取的基础上进一步利用改进Laplace算子对目标物体进行边缘提取,从而能够对三维场景目标物的位置进行较为准确的定位,进而在对待测目标进行预处理及超分辨处理后,目标数据的图像分辨率得到大幅度提高,使得相对测距法的精度也有了很大的提升。如图1所示地将直接测距算法与间接测距算法相互结合获得的多目标测距融合算法在保有直接测距算法的快速和高精度的同时在面对大量目标的情况下,能够通过间接测距法,降低算法时间、提高算法效率。本申请的融合后的多目标测距能够针对测量目标进行深度赋值,使得测距算法在测距方面具有良好的算法效果,从而能够良好的区分三维场景中的多个目标,可用于对目标物体深度估计结果的约束及三维物体的分割。
优选地,为了降低图像深度估计操作获取的结果中噪声及错误深度值等误差因素对重建结果在边缘位置处效果的影响,将深度估计算法与多目标测距算法进行融合。利用测距算法中边缘提取得到的目标物体边缘数据,对深度估计算法中得到的深度图像进行边缘约束;利用测距算法中的测量数值对深度估计算法中的目标物深度信息进行约束,解决深度估计算法结果中边缘模糊的问题,提高了算法精度。优选地,深度估计算法及多目标测距算法(步骤S5)的融合的具体步骤如下:
(1)深度估计算法得到的深度图像作为研究对象,对原始图像中目标物体的数量n进行判断。
(2)若原始图像中,目标物体数量n小于2,则利用边缘获取算法获取图像的边缘信息,并对深度图像进行约束及优化,得到优化后的深度图像A。
(3)若原始图像中,目标物体数量n大于2,则对目标物体的表面特征进行判断。
(4)若目标物体的表面特征属于不规则表面,则利用边缘获取算法,获取图像的边缘信息,并对深度图像A进行约束及优化得到优化后的深度图像A。
(5)若目标物体的表面特征属于规则表面,则利用融合改进后的多目标测距算法,对原始图像进行处理,并获取目标场景的深度图像B。
如图2所示,本申请针对融合后的深度估计算法进行验证,由于边缘算子约束了深度图像中目标物体的边缘,而测距结果约束了深度图像中目标物体的深度;经过约束条件处理后,错误的深度数据被剔除,极大地降低了实验误差,良好地保持了物体的边缘。优选地,本申请通过将深度估计算法与多目标快速钡」距算法进行融合,得到的双算法融合的深度获取方法,降低了深度图像中存在的噪声及误差,得到的深度图像边缘信息更为精准。
如图3所示,目标物体的三维表面重建操作(步骤S6)主要包括以下步骤:
S61在适当的光照条件下,选择适当拍摄角度,通过相机对目标物体进行拍摄,获得原始图像数据;
S62对采集到的**.lfp原始图像数据进行处理,获得原始图像;
S63计算点扩散函数;
S64对目标物体进行精确色彩恢复;
S65对目标图像进行超分辨率重建;
S66利用融合后的深度估计算法对深度图像进行获取;
S67对目标深度图像进行表面渲染、纹理映射等重建处理。
优选地,**.1fp文件中存储的是相机图像的重聚焦信息,内容包括不同视角、不同焦距位置的图像数据、焦点数据等信息。
优选地,重建过程如下:
(1)通过拍照采集目标场景数据,对原始数据文件进行处理,得到原始图像。
(2)对实验目标图像进行色彩恢复处理及超分辨处理。
(3)在步骤(2)的基础上对目标进行正交处理及子孔径图像提取。
(4)利用融合后的深度估计算法,获取目标模型的深度图像,
(5)利用基于VC+的OpenGL和ArcGIS Engine工具,对上一步骤获得的目标深度图进行表面渲染、纹理映射等重建处理,得到了较为精细的重建结果。
优选地,通过三维表面重建结果可以清晰地看出,对融合后的深度估计算法获得的深度图像进行三维表面重建,重建结果的颜色信息并未发生改变,仍保持较好的重建效果;且三维立体效果更加突出,“毛刺”现象明显降低,“畸变”减少,整体重建效果良好。
优选地,三维重建还包括颗粒三维位置重建。探测机获取的颗粒图像通过层析反演法计算颗粒空间的位置,其中,探测机平面各宏像素代表不同视角的颗粒二维图像,反向追迹非零像元发出的光线,分析这些光线对每一层重建空间切片的影响从而确定颗粒空间位置。优选地,将微小的颗粒映射到空间体素中,则强度满足的高斯Blob模型为:
Figure BDA0003262383840000121
式中,A为幅度值,σ是颗粒在三个坐标轴方向上的宽度,颗粒实际坐标为(x0,y0,z0),该坐标也是高斯Blob模型中心的坐标。观察图4可知颗粒外表面强度较低,用y=0平面剖开后发现中心的强度最大且由内向外递减。因此,反演时将强度值最大的体素中心作为颗粒三维空间位置。颗粒映射的体素通过光场相机成像后,像素强度值可由式(2)计算得到
Figure BDA0003262383840000122
式中,I(xi,yi)为第i个像素的强度,E(xj,yj,zj)为第j个体素的强度,Wi,j为权重矩阵表征第j个体素发出的光线对第i个像素的贡献大小采用改进后的MART算法进行三维重构粒子场对式(1)进行反演,其中μ为松弛因子在0到1范围内取值,k为迭代次数,初始值E(xj,yj,zj)0=1。
Figure BDA0003262383840000123
现有技术中对权重矩阵的计算方法作出详细说明:体素发出的光线分别与微透镜阵列和探测机(CCD)平面相交,运用线性插值法计算交点对周围微透镜和像素的影响程度。这是一种精度很高的方法,但是计算步骤繁琐且花费较长时间。优选地,本申请为了能够提高权重矩阵计算时的运算速度,减少计算时间,因此对现有的MART算法进行改进,通过降维计算权重矩阵的方式将重建空间分成若干大小相同的体素,沿垂直于光轴方向分为若干层,每层的宽度与体素深度方向的边长相等。微透镜阵列等效为针孔阵列,图像非零像素中心与对应微透镜中心的连线(即非零像素发出的光线)作为反向追迹的初始光线,延长初始光线交于主透镜。如图5所示,经主透镜折射后光线穿过重建空间,与每一层均相交于一个体素。如图6所示,该体素中心所在垂直于光轴方向的平面,光线与平面的交点标记为正方形,体素中心标记为圆形。两点间距离d是权重矩阵的影响因子,σ为颗粒直径,由式(4)计算权重矩阵。
Figure BDA0003262383840000131
优选地,若体素被不止一条光线穿过,计算该体素的强度E(x,y,z)时需要累加所有光线产生的强度值。改进的权重矩阵计算方法实现了在二维平面内计算影响因子,与计算三维体积相比,过程简单易行,运算时间更是明显减少。优选地,为了能够防止降维操作使得反演误差变大、颗粒三维位置反演精度降低,通过相似三角形法计算颗粒深度位置,使得降维计算过程中的深度精度提高,从而提高空间位置反演精度。因此将降维技术与相似三角形原理结合,形成改进型MART算法,减少运算时间的同时,使得精度在可接受的范围之内。
实施例2
本实施例是对实施例1的进一步改进,重复的内容不再赘述。
优选地,测量系统通过引入平均绝对误差评价函数、灰度平均梯度评价函数及信息嫡评价函数等多种评价指标对图像的超分辨率重建结果进行评判。下述表1、2分别表述不同图像评价数据对比:
表1图像1的评价数据
图像1 传统POCS 改进后POCS
平均绝对误差 160.85 160.10
灰度平均梯度 1.70 2.38
信息熵 7.64 7.64
表2图像1的评价数据
图像1 传统POCS 改进后POCS
平均绝对误差 75.06 74.70
灰度平均梯度 3.60 3.87
信息熵 7.48 7.48
优选地,对表1、2三个评价数据表格进行分析:平均绝对误差函数验证了本文算法的精确度,由于有精准的PSF作为先验知识,精确颜色矢量信息作为后验知识,使得本文算法的重建误差与未经优化的POCS算法相比,图像的超分辨重建误差至少降低0.5%。因此改进后的算法在对目标场景细节处理方面的优异性能。优选地,通过灰度平均梯度函数可以验证改进后算法的超分辨重建图像清晰度最佳,对比原始POCS算法,图像的超分辨重建清晰度至少提高了57%。优选地,通过信息嫡函数反映出的图像信息数据量来看(全图数据),改进后的算法能够良好地保持原始图像的信息,不会出现图像信息缺失以及引入噪声等问题。由此可见,的超分辨率重建算法对相机的原始图像进行超分辨率重建后得到的重建结果优于原始算法,尤其在边缘处理方面,表现良好。
实施例3
MLA型光场相机,即微透镜阵列型光场相机。该相机是在主透镜平面与探测器平面之间插入一个微透镜阵列,利用微透镜阵列对光线折射并在传感器上成像的原理,来采集同一场景下不同待测目标物的多视角信息;之后,对这些光场数据进行参数化处理,来获取空间中的四维场景信息。
如图7所示,光场相机在主透镜和图像传感器之间加入一层微透镜阵列,探测器(CCD)安装在微透镜一倍焦距处。由于微透镜焦距远小于主透镜与微透镜之间的距离,因此可以认为主透镜位于微透镜的无穷远处,探测器(CCD)与主透镜关于微透镜共轭。光场相机微透镜阵列相当于一个散焦元件,物体发出的光线经过主透镜聚焦之后,由微透镜散射到若干个像元上,使探测器(CCD)可以记录来自不同位置、不同角度的光线信息。传统相机只能记录光线强度总和,无法确定其方向;光场相机探测器(CCD)记录穿过微透镜特定方向的光线,能够同时存储强度信息与方向信息。图中红色区域(物点2对应的探测器(CCD))为单个微透镜对应的像素范围,称为宏像素。宏像素像元记录的不同方向光线均来自物空间同一对象。主透镜被像元分割成同等数量的子孔径,提取所有宏像素相同位置的像元如图中黄色区域(物点1对应的探测器(CCD)),按照宏像素的排列顺序进行组合,可以得到不同观察角度的子孔径图像。光场相机位置分辨率由微透镜个数决定,方向分辨率由宏像素的像元个数决定。
层析法重建颗粒三维位置的基础是建立正确的光线正向追迹模型。由于颗粒尺寸远小于光场相机系统尺寸,因此颗粒可视为点光源。图8为双平面参数法示意图,用以描述光线在空间中的分布。光线与平面O交于点A(x,y),与平面O'交于点A'(x',y'),点A表征光线的位置,点A'表征光线的角度。一条光线对应唯一的光场采样表达式,其中L为光线强度
L=L(x,y,x',y') (5)
使用光场相机采集图像时,整个采集空间和相机系统可以分为四个平面:物平面、主镜头平面、微透镜阵列平面和图像传感器探测器(CCD)平面。依次将这四个平面两两组合,运用双平面参数法准确追迹点光源发出的光线在各个平面组合间的传播轨迹。
光线正向追迹模型为
(1)颗粒发出光线到达主透镜
Figure BDA0003262383840000151
(2)光线透过主透镜
Figure BDA0003262383840000161
(3)光线到达微透镜阵列
Figure BDA0003262383840000162
(4)光线透过微透镜阵列
Figure BDA0003262383840000163
(5)光线到达图像传感器平面
Figure BDA0003262383840000164
式中,x、y是光线在每个平面内的坐标;θ是光线在水平方向的投影与z轴的夹角;f是光线在垂直方向的投影与z轴的夹角;so为物距;si为像距;fm为主透镜焦距;fl为微透镜焦距;sx、sy为微透镜中心相对z轴的水平及垂直偏移距离。
实施例4
本实施例是对实施例1的进一步改进,重复的内容不再赘述。
本申请涉及一种基于MLA光场相机亚像素精度的深度估计算法,其步骤包括:
首先,在频率域内对处理得到的相机子孔径图像进行多标签亚像素偏移,以子孔径图像序列中的中心视角图像为参考,完成图像序列的匹配代价过程,得到初始的图像视差;
然后,使用引导滤波的方法,在抑制噪声的同时保证图像边缘信息的完整,并得到滤波后的视差图像;
最后,对视差图像进行图形分割优化(GCO),得到一种基于MLA光场相机的深度估计方法。
上述的深度估计法与散焦深度估计法及恒定时间加权滤波立体匹配法相比,本申请所涉及的深度估计法大大提高了深度估计的精度。
实施例5
本实施例是对实施例1的进一步改进,重复的内容不再赘述。
在对原始图像进行预处理得到图像的重聚焦序列图像的基础上,本申请还提供一种基于MLA光场相机的多目标快速测距方法,其包括以下步骤:
首先,对原始图像进行处理,得到目标场景的重聚焦图像序列,通过标记贴片的方法,实现对目标场景中物体的直接测距;
然后,对文献中提出的相对测距法进行优化处理,利用改进Laplace算子对算法的正确性进行验证;
其次,将两种算法融合,得到一种多目标快速测距算法;
最后,利用边缘获取算法得到目标物体的边缘信息,并将测距结果对目标物体表面进行赋值,完成对目标场景深度图像的获取。
上述的多目标测距方法精度较高,对于具有规则表面的目标物体,当测试距离小于50cm时,测量误差值小于2%;测试距离小于100cm时,测量误差小于4.85%。
实施例6
本实施例是对实施例1的进一步改进,重复的内容不再赘述。
本申请还提供一种基于师tro相机的三维表面重建方法。将Lytro相机所获取的精确颜色信息作为物体三维表面信息重建的纹理信息来源,利用基于深度图的三维重建方法,通过多目标快速测距方法对深度图像的优化处理,经过表面渲染、纹理映射等操作,完成对目标模型的三维表面重建工作。然后,通过多组不同的对比方式,对算法进行比较分析。优选地,对比方式至少包括不同材质相同方法重建对比、相同材质不同方法重建对比以及相同材质不同光照条件重建对比等。实验结果表明:本申请对多种不同材质的重建目标具有良好的三维表面重建效果,并且重建纹理真实,精细化程度较高;对比经三维激光扫描仪获得模型数据,再经过纹理映射等相关繁琐操作才能对三维物体进行表面重建以及通过3DMax建模软件手工建模的这两种重建方法,本申请提供的三维表面重建方法表现良好,算法结果更加贴近现实,具有更为广泛的适用性。
需要注意的是,上述具体实施例是示例性的,本领域技术人员可以在本发明公开内容的启发下想出各种解决方案,而这些解决方案也都属于本发明的公开范围并落入本发明的保护范围之内。本领域技术人员应该明白,本发明说明书及其附图均为说明性而并非构成对权利要求的限制。本发明的保护范围由权利要求及其等同物限定。

Claims (10)

1.一种非接触测量方法,其特征在于,包括:
探测器通过点扩散函数计算获取点扩散数据,并将获取的点扩散数据作为探测器图像色彩恢复的依据,并对探测器获取的原始图像进行色彩恢复;
在所述点扩散数据作为先验知识并将精准颜色矢量信息作为约束条件的情况下,完成对场景图像的超分辨率重建;
以超分辨重建后的光场图像为基础完成目标物体的深度估计;
在完成原始图像进行处理得到目标场景的重聚焦图像序列的情况下,目标物体的测距结果是按照将前述操作中的超分辨率算法与相对测距算法进行融合的方式获取的;
在所述测距结果对目标物体表面完成赋值的情况下,目标物体的深度图像是按照将深度估计算法与目标侧记算法进行融合来降低深度图像中的噪声和误差的方式获取的,所述目标物体的深度图像通过表面渲染和纹理映射完成对目标物体的三维重建。
2.一种非接触测量系统,其特征在于,所述探测器对目标物体测距是在完成所述探测器获取的原始图像的处理并得到目标场景的重聚焦图像序列的情况下按照将超分辨率算法与相对测距算法进行融合的方式获取目标物体的测距结果的,其中,
目标场景的重聚焦图像过程是对所采集的数据进行数字对焦及变焦的集合;在探测器对目标物进行拍摄后,采集到带有位置信息和角度信息的四维光场信息,数字变焦操作以及数字对焦操作均会使采集到的位置信息及角度信息发生改变,在图像中产生新的焦点位置。
3.一种非接触测量方法,其特征在于,包括:
S1:点扩散函数的测量及计算;
S2:目标图像的高精度色彩恢复;
S3:场景图像的超分辨率重建;
S4:三维空间目标物体的深度估计;
S5:多目标物体的距离测量;
S6:目标物体的三维表面重建。
4.如权利要求1-3所述的非接触测量方法及系统,其特征在于,所述原始图像的色彩恢复是根据探测器精确点扩散函数的计算结果建立六边形坐标系的情况下,通过对每个像素的颜色信息进行一对一的指向性赋值,完成对目标图像的色彩恢复处理。
5.如权利要求1-4所述的非接触测量方法及系统,其特征在于,所述场景图像的超分辨率重建的预处理操作包括:
选择探测器的全聚焦图像作为低分辨率图像的参考帧;
将此图像作为算法的初估计,并对获取的子孔径图像序列中的每一幅低分辨率图像进行计算,得到像素运动补偿数值;
计算设定像素点在全聚焦图像中的位置。
6.如权利要求1-5所述的非接触测量方法及系统,其特征在于,所述目标物体的深度估计包括:
对相机子孔径序列图像进行亚像素精度的偏移操作,并完成序列图像的匹配代价过程,得到初始的视差图像;
通过引导滤波的方式在抑制噪声的同时保证图像边缘信息的完整,并得到滤波后的视差图像;
对视差图像进行图形分割优化。
7.如权利要求1-6所述的非接触测量方法及系统,其特征在于,在获取到目标物体的边缘信息的情况下,对目标物体进行测距而获得的所述测距结果能够对目标物体表面进行赋值,从而获取到目标场景的深度图像。
8.如权利要求1-7所述的非接触测量方法及系统,其特征在于,目标场景的重聚焦图像过程是对所采集的数据进行数字对焦及变焦的集合;
在探测器对目标物进行拍摄后,采集到带有位置信息和角度信息的四维光场信息,数字变焦操作以及数字对焦操作均会使采集到的位置信息及角度信息发生改变,在图像中产生新的焦点位置。
9.如权利要求1-8所述的非接触测量方法及系统,其特征在于,所述深度估计算法与目标侧记算法的融合是利用测距算法中边缘提取得到的目标物体边缘数据,对深度估计算法中得到的深度图像进行边缘约束;利用测距算法中的测量数值对深度估计算法中的目标物深度信息进行约束。
10.如权利要求1-9所述的非接触测量方法及系统,其特征在于,所述目标物体的三维重建是将探测器获取的机所获取的精确颜色信息作为物体三维表面信息重建的纹理信息来源,利用基于深度图的三维重建操作,通过多目标快速测距方法完成深度图像的优化处理,再经过表面渲染和纹理映射完成对目标模型的三维表面重建。
CN202111077575.XA 2021-09-14 2021-09-14 一种非接触测量系统及方法 Pending CN113808019A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111077575.XA CN113808019A (zh) 2021-09-14 2021-09-14 一种非接触测量系统及方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111077575.XA CN113808019A (zh) 2021-09-14 2021-09-14 一种非接触测量系统及方法

Publications (1)

Publication Number Publication Date
CN113808019A true CN113808019A (zh) 2021-12-17

Family

ID=78941084

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111077575.XA Pending CN113808019A (zh) 2021-09-14 2021-09-14 一种非接触测量系统及方法

Country Status (1)

Country Link
CN (1) CN113808019A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114972614A (zh) * 2022-05-09 2022-08-30 北京理工大学 一种反向映射跨界面层析成像方法
CN117095137A (zh) * 2023-10-20 2023-11-21 深圳市中安视达科技有限公司 基于双路图像采集的医疗图像的三维成像方法及系统

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107945110A (zh) * 2017-11-17 2018-04-20 杨俊刚 一种针对光场阵列相机的盲深度超分辨率计算成像方法
US20180114328A1 (en) * 2015-05-15 2018-04-26 Graduate School At Shenzhen, Tsinghua University Depth estimation method based on light-field data distribution

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20180114328A1 (en) * 2015-05-15 2018-04-26 Graduate School At Shenzhen, Tsinghua University Depth estimation method based on light-field data distribution
CN107945110A (zh) * 2017-11-17 2018-04-20 杨俊刚 一种针对光场阵列相机的盲深度超分辨率计算成像方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
孙福盛: "基于MLA光场相机的三维表面重建研究", 《中国博士学位论文全文数据库 信息科技辑》, no. 2, pages 138 - 69 *

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114972614A (zh) * 2022-05-09 2022-08-30 北京理工大学 一种反向映射跨界面层析成像方法
CN117095137A (zh) * 2023-10-20 2023-11-21 深圳市中安视达科技有限公司 基于双路图像采集的医疗图像的三维成像方法及系统
CN117095137B (zh) * 2023-10-20 2023-12-22 深圳市中安视达科技有限公司 基于双路图像采集的医疗图像的三维成像方法及系统

Similar Documents

Publication Publication Date Title
Strecha et al. On benchmarking camera calibration and multi-view stereo for high resolution imagery
Gallo et al. 3D reconstruction of small sized objects from a sequence of multi-focused images
JP2019532451A (ja) 視点から距離情報を取得するための装置及び方法
CN113205593B (zh) 一种基于点云自适应修复的高反光表面结构光场三维重建方法
CN107561311A (zh) 基于双光场相机的三维流场测试方法
CN109883391B (zh) 基于微透镜阵列数字成像的单目测距方法
CN109470149B (zh) 一种管路位姿的测量方法及装置
CN113808019A (zh) 一种非接触测量系统及方法
JP2013178656A (ja) 画像処理装置、画像処理方法および画像処理用のプログラム
CN112630469B (zh) 一种基于结构光和多光场相机的三维检测方法
CN111127613A (zh) 基于扫描电子显微镜的图像序列三维重构方法及系统
CN115909025A (zh) 一种小天体表面采样点地形视觉自主检测识别方法
JP6285686B2 (ja) 視差画像生成装置
CN110490209A (zh) 基于epi的光场图像特征点检测方法
CN117456114A (zh) 基于多视图的三维图像重建方法及系统
CN117115272A (zh) 用于降水粒子多角度成像的远心相机标定和三维重构方法
Fahringer et al. The effect of grid resolution on the accuracy of tomographic reconstruction using a plenoptic camera
Marto et al. Structure from plenoptic imaging
CN110310371B (zh) 一种基于车载单目聚焦序列图像构建对象三维轮廓的方法
CN112132771A (zh) 一种基于光场成像的多聚焦图像融合方法
CN107563991A (zh) 零件表面断裂激光光条的提取与匹配方法
Kang et al. Progressive 3D model acquisition with a commodity hand-held camera
Georgopoulos Photogrammetric automation: is it worth?
CN115601423A (zh) 一种双目视觉场景下基于边缘增强的圆孔位姿测量方法
Shen Depth-map merging for multi-view stereo with high resolution images

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination