CN115063394A - 一种图像校正与视差估计相融合的深度估计方法 - Google Patents

一种图像校正与视差估计相融合的深度估计方法 Download PDF

Info

Publication number
CN115063394A
CN115063394A CN202210798046.7A CN202210798046A CN115063394A CN 115063394 A CN115063394 A CN 115063394A CN 202210798046 A CN202210798046 A CN 202210798046A CN 115063394 A CN115063394 A CN 115063394A
Authority
CN
China
Prior art keywords
camera
group
image
matching points
feature
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210798046.7A
Other languages
English (en)
Inventor
沈佳慧
薛博文
赵燕飞
茹明明
黄浩杨
宋乐
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tianjin University
Original Assignee
Tianjin University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tianjin University filed Critical Tianjin University
Priority to CN202210798046.7A priority Critical patent/CN115063394A/zh
Publication of CN115063394A publication Critical patent/CN115063394A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/194—Segmentation; Edge detection involving foreground-background segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10052—Images from lightfield camera
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Quality & Reliability (AREA)
  • Image Processing (AREA)

Abstract

本发明公开一种图像校正与视差估计相融合的深度估计方法，包括在待测目标物一侧设置相机阵列，获得各相机与中心相机间的旋转矩阵与平移向量；通过目标识别将每个相机所获取图像中的待测目标物进行分割，并将背景黑色处理；之后对待测目标物的图像进行预处理操作；采用SuperGlue匹配算法完成中心相机视角下图像与其他相机视角下图像的特征点匹配工作；对每组特征匹配点进行坐标转换；根据视差与深度之间的三角几何关系，结合平移向量，对每组特征匹配点进行重聚焦操作；根据可靠度因子的计算式求得每组特征匹配点的可靠度因子的大小，根据可靠度因子的大小依次对每组特征匹配点的深度估计质量进行评价，实现对深度估计精度的提升。

Description

一种图像校正与视差估计相融合的深度估计方法
技术领域
本发明涉及图像处理、计算机视觉、光场计算成像领域，具体是一种基于相机阵列多视角立体匹配的图像校正与视差估计相融合的深度估计方法。
背景技术
光场技术不仅可以获得位置信息，还可以获取角度信息，因而在深度估计领域有重要的研究意义。光场信息的获取主要依赖于微透镜阵列相机或相机阵列。相机阵列由于较大的基线距在米级以上深度估计中具备一定优势。近年来，基于相机阵列的深度估计在机载遥感成像、光学缺陷在线检测等领域有广泛的应用。不同视角的图像对应点存在视差，对获取的目标物匹配点重聚焦并结合视差线索可以获取目标的深度信息。专利CN113129350A提出了一种基于相机阵列的深度估计方法但其未考虑图像的校正等问题，也无法生成目标物点的置信度。
使用相机阵列获取光场信息进行深度估计的方法对硬件的装配精度有较高的要求。相机阵列实际位置与理想位置间存在微小的平移或旋转，影响最终深度估计精度，而传统的双目校正方法无法直接应用于相机阵列图像的校正。此外，如果是对采集到的图像直接校正，会加大计算量，降低计算效率。
发明内容
为了克服现有技术的前述不足，解决在光场图像处理中计算量较大以及对无法判断自遮挡情况等问题，本发明将图像校正融合到基于视差的深度估计方法计算过程中，通过设定可靠度因子的方式对深度估计质量进行评价，对自遮挡情况进行判断，提出了一种更加高效的图像校正与视差估计相融合的深度估计方法。
本发明的目的是通过以下技术方案实现的：
一种图像校正与视差估计相融合的深度估计方法，包括：
S1.在待测目标物一侧设置相机阵列，利用相机阵列捕获待测目标物的图像，选取相机阵列中的一个相机作为中心相机，通过双目标定，获得各相机与中心相机间的相对位置关系，求得相机间的旋转矩阵与平移向量；
S2.通过目标识别将每个相机所获取图像中的待测目标物进行分割，并将图像中除目标物外的区域黑色处理；之后对待测目标物的图像进行预处理操作；预处理操作包括中值滤波和超分辨处理，通过该步骤实现缩小图像的处理范围并获得更清晰的图像。
S3.采用SuperGlue匹配算法完成中心相机视角下图像与其他相机视角下图像的特征点匹配工作得到特征点对，特征点对是指中心相机与其他相机中表示同一物点的一对特征点，设定所有相机所获取待测目标物中同一物点所对应的特征点对为一组特征匹配点，记录下每组特征匹配点的视角标号(i,j)及其像素坐标p(u,v)，并保存每组特征匹配点中每个特征点对在匹配过程中得到的置信度大小αi；
S4.将阵列相机获得的每组特征匹配点的像素坐标p通过内参矩阵转换得到相机坐标系下的坐标Pc，基于旋转矩阵对坐标Pc进行旋转变换得到坐标Pc′，再用内参矩阵将坐标Pc′重新转换成像素坐标p′；
S5.根据视差与深度之间的三角几何关系，结合平移向量，对每组特征匹配点进行重聚焦操作；
S6.根据可靠度因子的计算式求得每组特征匹配点的可靠度因子的大小，根据可靠度因子的大小依次对每组特征匹配点的深度估计质量进行评价，实现对深度估计精度的提升。
进一步的，步骤S1中，
P00＝R(ij,00)(Pij-T(ij,00)) (1)
式中，P00表示点P在(0,0)号相机即中心相机坐标系中的坐标，Pij表示点P在(i,j)号相机坐标系中的坐标，R(ij,00)为(i,j)号相机与中心相机即(0,0)号相机间的旋转矩阵，T(ij,00)为(i,j)号相机与中心相机间的平移向量。
进一步的，步骤S4中，
Pcij'＝R(ij,00)Pcij (2)
T(ij,00)'＝R(ij,00)T(ij,00) (3)
式中，P′cij为变换后点P在(i,j)号相机坐标系中的坐标，Pcij表示点P在(i,j)号相机坐标系中的坐标，R(ij,00)为(i,j)号相机与中心相机即(0,0)号相机间的旋转矩阵，T(ij,00)为(i,j)号相机与中心相机间的平移向量；T′(ij,00)＝[ΔX(ij,00)′,ΔY(ij,00)′,ΔZ(ij,00)′]，为变换后各相机坐标系与中心相机坐标系间的平移向量，ΔX(ij,00)′、ΔY(ij,00)′、ΔZ(ij,00)′分别表示变换后的各相机坐标系与中心相机坐标系在x、y、z方向上的平移量。
进一步的，步骤S5中，
uij”(sn)＝uij'-snfxijΔX(ij,00)' (4)
vij”(sn)＝vij'-snfyijΔY(ij,00)' (5)
式中，sn表示第n个聚焦度，u″ij(sn)和v″ij(sn)分别表示重聚焦过程中聚焦度为sn时的像素横、纵坐标，u′ij(sn)和v′ij(sn)的像素坐标平移量大小与sn成正比，fxij和fyij分别表示(i,j)号相机在x方向和y方向上的以像素为单位表示的等效焦距，uij′和vij′分别表示变换后的特征匹配点的像素坐标，ΔX(ij,00)和ΔY(ij,00)′分别表示变换后的各相机坐标系与中心相机坐标系在x、y两个方向上的平移量；确定特征匹配点的像素坐标在设定聚焦度下的最小方差值，并求得像素坐标方差值最小时的聚焦度s0；则该特征匹配点对应物点处的深度值Z为
Figure BDA0003736445290000031
进一步的，步骤S6中，可靠度因子的计算式为：
Figure BDA0003736445290000032
式中，Q是可靠度因子，αi(i＝1,2,…,m-1)表示每组特征匹配点中各特征点对的置信度大小，当每组特征匹配点有m个相机成功匹配时，产生m-1个特征点对，km为匹配个数为m时的置信概率，V(u,v,s0)是每组特征匹配点重聚焦过程中的最小方差值，km大小与每组特征匹配点对应的物点在M个视角下成功匹配的数量m有关。
本发明还提供一种图像校正与视差估计相融合的深度估计方法的应用，应用于光场图像处理、机载遥感成像、光学缺陷在线检测。
进一步的，本发明还提供一种图像校正与视差估计相融合的深度估计装置，包括：
相机阵列单元，用于捕获待测目标物图像；
标定单元，用于获得相机阵列中各相机与中心相机间的相对位置关系，并得到相机间的旋转矩阵与平移向量；
处理单元，用于将每个相机所获取图像中的待测目标物进行分割，将待测目标物的背景黑色处理；并对待测目标物的图像进行预处理操作；
特征匹配单元，用于将中心相机视角下图像与其他相机视角下图像的特征匹配点进行匹配，并记录下每组特征匹配点的视角标号(i,j)及其像素坐标p(u,v)，并保存每组特征匹配点在匹配过程中得到的置信度大小αi；
特征匹配点校正单元，用于对特征匹配点进行坐标变换，并校正各相机间的旋转矩阵误差，并得到用于重聚焦单元的新的平移向量；
重聚焦单元，用于对每组特征匹配点进行重聚焦操作，并求得重聚焦过程中方差值最小时的深度估计结果；
评价单元，用于根据可靠度因子对每组特征匹配点的深度估计质量进行评价，实现对深度估计精度的提升。
进一步的，本发明还提供一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现权利要求1至6任一项所述图像校正与视差估计相融合的深度估计方法的步骤。
进一步的，本发明还提供一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该计算机程序被处理器执行时实现权利要求1至6任一项所述图像校正与视差估计相融合的深度估计方法的步骤。
与现有技术相比，本发明的技术方案所带来的有益效果是：
1.本发明通过设定可靠度因子的方式对多视角图像中特征匹配点的深度估计效果进行评价，综合考虑了相机数量、特征匹配点置信度以及每组特征匹配点最小方差的影响，提高了算法的鲁棒性。
2.本发明针对物体表面可能被自身遮挡的情况，能够实现自遮挡判断，通过设定评价因子对自遮挡情况的判别实现对复杂立体表面边缘更加准确的深度估计。
3.本发明方法通过特征匹配点坐标的旋转变换和重聚焦时的系数来补偿各相机间位姿关系误差带来的影响，相较于将双目校正算法直接应用于相机阵列，提高了测量精度。
4.本发明使用相机阵列采集多视角光场图像，在重聚焦过程中，结合标定得到的相机间平移向量和旋转矩阵。只对待测目标物的特征匹配点进行矫正，可以减少冗余信息并降低计算量。
附图说明
图1为本发明实施例中进行深度估计的流程框图；
图2为相机阵列立体成像原理图。各相邻相机光心间的连线距离即基线为b，各相机的焦距为f。一物点Pw(Xw,Yw,Zw)在各相机上的像点坐标设为pij(xij,yij)；
图3为自遮挡情况下的各视角特征匹配点的匹配结果示意图。
具体实施方式
以下结合附图和具体实施例对本发明作进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本发明，并不用于限定本发明。
如图1所示，本实施例对图像校正与视差估计相融合的深度估计方法做进一步说明，本实施例利用一个4×4的相机阵列来捕获光场信息进行深度估计方法的验证。相机阵列在采集图像后，首先通过目标识别将各视角待测目标物进行分割，并将图像中除目标物外的背景区域黑色处理，之后对待测目标物的图像进行预处理操作。本发明先对分割后的一组图像进行特征点匹配，然后再根据特征匹配点对在不同视角下的视差情况进行深度估计。图像预处理环节可以使后续特征点匹配获得更多的特征匹配点。考虑到相机阵列的制造误差，在深度估计前不可避免地要对图像进行校正。而双目校正算法是在两个相机坐标系实现的，不能将其直接应用于相机阵列的情况。为此，本实施例将图像校正融合到基于视差的深度估计方法计算过程中。具体的：
S1.在待测目标物一侧竖向平面内设置4×4排布的相机阵列，利用相机阵列捕获待测目标物的图像，选取相机阵列中的一个相机作为中心相机，通过双目标定，获得各相机与中心相机间的相对位置关系，求得相机间的旋转矩阵与平移向量；
P00＝R(ij,00)(Pij-T(ij,00)) (1)
式中，P00表示点P在(0,0)号相机坐标系中的坐标，Pij表示点P在(i,j)号相机坐标系中的坐标，R(ij,00)为(i,j)号相机与中心相机即(0,0)号相机间的旋转矩阵，其中T(ij,00)＝[ΔX(ij,00),ΔY(ij,00),ΔZ(ij,00)]T，为(i,j)号相机与中心相机间的平移向量。
S2.通过目标识别将每个相机所获取图像中的待测目标物进行分割，并将图像中除目标物外的区域黑色处理，缩小图像的处理范围；之后对待测目标物的图像进行预处理操作，包括中值滤波和超分辨处理，以获得更清晰的图像，更好地进行深度估计。
S3.在图像预处理之后，利用视差关系测距之前，需对拍摄的多视角图像进行特征点匹配，考虑到特征匹配点对的数量和置信度对场景中测距范围和测距精度的影响，需选择一种能克服纹理缺乏、场景三维几何结构复杂，光照变化及遮挡等多种困难的匹配方法，因此，本实施例采用SuperGlue匹配算法完成中心相机视角下图像与其他相机视角下图像的特征点匹配工作得到特征点对，特征点对是指中心相机与其他相机中表示同一物点的一对特征点，设定所有相机所获取待测目标物中同一物点所对应的特征点对为一组特征匹配点，记录下每组特征匹配点的视角标号(i,j)及其像素坐标p(u,v)，并保存每组特征匹配点中每个特征点对在在匹配过程中得到的置信度大小αi；
S4.求得每组特征匹配点的像素坐标后，将阵列相机获得的每组特征匹配点的像素坐标p通过内参矩阵转换得到相机坐标系下的坐标Pc，基于旋转矩阵对坐标Pc进行旋转变换得到坐标Pc′，再用内参矩阵将坐标Pc′重新转换成像素坐标p′；
如图2所示，选择Cam00号相机作为中心相机时，通过双目标定可以得到每个相机和中心相机之间的旋转矩阵与平移向量。需要注意的是，双目校正中所用的变换于相机阵列校正的情况不再适用，因此在粗略校正过程中，求得空间一物点在各相机的特征匹配点的像素坐标后，先将阵列相机获得的特征匹配点的像素坐标p通过内参矩阵转换到相机坐标系下的Pc，并进行旋转变换，以消除各相机坐标系不平行而造成的影响。此时，各相机间还存在一个平移关系。坐标变换后，有
Pcij'＝R(ij,00)Pcij (2)
T(ij,00)'＝R(ij,00)T(ij,00) (3)
式中，P′cij为变换后点P在(i,j)号相机坐标系中的坐标，Pcij表示点P在(i,j)号相机坐标系中的坐标，R(ij,00)为(i,j)号相机与中心相机即(0,0)号相机间的旋转矩阵，T(ij,00)为(i,j)号相机与中心相机间的平移向量；T(ij,00)′＝[ΔX(ij,00)′,ΔY(ij,00)′,ΔZ(ij,00)′]T，为变换后各相机坐标系与中心相机坐标系间的平移向量，ΔX(ij,00)′、ΔY(ij,00)′、ΔZ(ij,00)′分别表示变换后的各相机坐标系与中心相机坐标系在x、y、z方向上的平移量。最后，再通过内参矩阵将变换过后的相机坐标重新转换成像素坐标p′(u′,v′)。
S5.根据视差与深度之间的三角几何关系，结合平移向量，对每组特征匹配点进行重聚焦操作；
利用相同空间中的物点在各成像平面上投影位置的不同，可以获得其深度信息。由于视差与深度间存在反比的关系，根据三角几何关系即可推得该空间物点Pw的深度信息，关系式如下：
Figure BDA0003736445290000061
式中，dij为同一空间物点在各相机上的特征匹配点与中心相机上的相应特征匹配点间的坐标差，Bij为各相机与中心相机间的基线距，ΔX(ij,00)′和ΔY(ij,00)′分别表示各相机与中心相机间在x方向和y方向上的位移量。空间物点P在各相机上的像点坐标(x′ij,y′ij)与其图像像素坐标(u′ij,v′ij)间存在比例关系，x′ij＝u′ij·dx，y′ij＝v′ij·dy，dx和dy为每个像素在x方向和y方向上的物理尺寸。令fx＝f/dx、fy＝f/dy，fx和fy分别代表x方向和y方向上的以像素为单位表示的等效焦距。上式可进一步转化为
Figure BDA0003736445290000071
fxij和fyij分别表示(i,j)号相机在x方向和y方向上的以像素为单位表示的等效焦距；由此可知，当相机参数及相对位置确定时，只要求得空间某一物点在各相机成像面中特征匹配点的图像像素对位置，就可获取该点的深度信息。基于该模型，阵列图像的重聚焦过程可以表示为
uij”(sn)＝uij'-snfxijΔX(ij,00)' (6)
vij”(sn)＝vij'-snfyijΔY(ij,00)' (7)
式中，sn表示第n个聚焦度，u″ij(sn)和v″ij(sn)表示重聚焦过程中聚焦度为sn时的像素坐标，u′ij(sn)和v′ij(sn)的像素坐标平移量大小与sn成正比。公式6和7考虑了图像在粗略校正后留下的由相机坐标系间平移关系造成的影响，补偿了不同视角下特征匹配点坐标的位置误差。
当聚焦度为sn时，子图像特征匹配点在角度方向上聚焦后的方差为
Figure BDA0003736445290000072
方差越小说明其聚焦状态越好。通过计算特征匹配点的像素坐标在设定的聚焦度下的最小方差值，即可估计出该像素对应点处的深度值。
Figure BDA0003736445290000073
S6.根据可靠度因子的计算式求得每组特征匹配点的可靠度因子的大小，根据可靠度因子的大小依次对每组特征匹配点的深度估计质量进行评价，实现对深度估计精度的提升。
由于特征点匹配是基于两个视角下的运算，最终某一个物点匹配成功的特征点出现在M张图片中的概率p＝m/M，2≤m≤M，其中，m表示某一物点在M个视角下成功匹配的数量。若一物点Pw能在m个相机中被匹配，则只需将该特征点的m个特征匹配点进行平移操作，并得到物点Pw的深度信息。设每组特征匹配点在匹配的过程中一组置信度值为αi，表示每组特征匹配点对应同一物点的概率。在本实施例中，规定深度信息的可靠度因子计算式如下：
Figure BDA0003736445290000074
式中，Q为可靠度因子；αi(i＝1,2,…,m-1)表示每组特征匹配点中各特征点对的置信度大小，当每组特征匹配点有m个相机成功匹配时，产生m-1个特征点对；V(u,v,s0)是每组特征匹配点重聚焦过程中的最小方差值；km为匹配个数为m时的置信概率，其大小与该物点在M个视角下成功匹配的数量m有关，具体取值如下：
m 2 3 4 5 6 7 8 9
k<sub>m</sub> 0.3183 0.3536 0.3676 0.3750 0.3750 0.3827 0.3850 0.3867
m 10 11 12 13 14 15 16
k<sub>m</sub> 0.3880 0.3891 0.3900 0.3907 0.3914 0.3919 0.3924
对于形状较为复杂的目标物，在特征点匹配的过程中还需考虑自遮挡的情况。由于角度原因，在部分视角下，物体的侧面可能会被自身遮挡。如图3所示，表示了两种自遮挡的情况，阴影部分表示能够匹配到目标物的相机。设能够匹配到目标物的相机处的位置为1，不能够匹配到的位置为0，生成一个4×4的阵列。计算阵列中每一个元素的相邻元素数值之和。其中相邻元素包括周围的八个元素(边缘元素除外)。计算相邻元素数值之和大于2的情况出现次数之和，令其为i，设定自遮挡评价因子p
p＝-0.125|i-8|+1 (11)
其中p是在0到1之间的数。p越大则其为自遮挡的可能性越大。p>0.75时，km应作适当的提高，此时
Figure BDA0003736445290000081
根据可靠度因子水平的大小对多视角图像中特征点的深度估计质量进行评价，删除可靠度因子水平偏低的深度估计结果，剔除计算结果中的异常值。经计算，当Q>0.0025时，深度估计结果的可靠度较高，可以将深度估计结果的相对误差控制在1％以内。
本发明并不限于上文描述的实施方式。以上对具体实施方式的描述旨在描述和说明本发明的技术方案，上述的具体实施方式仅仅是示意性的，并不是限制性的。在不脱离本发明宗旨和权利要求所保护的范围情况下，本领域的普通技术人员在本发明的启示下还可做出很多形式的具体变换，这些均属于本发明的保护范围之内。

Claims (10)

1.一种图像校正与视差估计相融合的深度估计方法，其特征在于，包括：
S1.在待测目标物一侧设置相机阵列，利用相机阵列捕获待测目标物的图像，选取相机阵列中的一个相机作为中心相机，通过双目标定，获得各相机与中心相机间的相对位置关系，求得相机间的旋转矩阵与平移向量；
S2.通过目标识别将每个相机所获取图像中的待测目标物进行分割，并将图像中除待测目标物外的区域进行黑色处理；之后对待测目标物的图像进行预处理操作；
S3.采用SuperGlue匹配算法完成中心相机视角下图像与其他相机视角下图像的特征点匹配工作得到特征点对，特征点对是指中心相机与其他相机中表示同一物点的一对特征点，设定所有相机所获取待测目标物中同一物点所对应的特征点对为一组特征匹配点，记录下每组特征匹配点的视角标号(i,j)及其像素坐标p(u,v)，并保存每组特征匹配点中每个特征点对在匹配过程中得到的置信度大小αi；
S4.将阵列相机获得的每组特征匹配点的像素坐标p通过内参矩阵转换得到相机坐标系下的坐标Pc，基于旋转矩阵对坐标Pc进行旋转变换得到坐标P′c，再用内参矩阵将坐标P′c重新转换成像素坐标p′；
S5.根据视差与深度之间的三角几何关系，结合平移向量，对每组特征匹配点进行重聚焦操作；
S6.根据可靠度因子的计算式求得每组特征匹配点的可靠度因子的大小，根据可靠度因子的大小依次对每组特征匹配点的深度估计质量进行评价，实现对深度估计精度的提升。
2.根据权利要求1所述一种图像校正与视差估计相融合的深度估计方法，其特征在于，步骤S1中，
P00＝R(ij,00)(Pij-T(ij,00)) (1)
式中，P00表示点P在(0,0)号相机即中心相机坐标系中的坐标，Pij表示点P在(i,j)号相机坐标系中的坐标，R(ij,00)为(i,j)号相机与中心相机即(0,0)号相机间的旋转矩阵，T(ij,00)为(i,j)号相机与中心相机间的平移向量。
3.根据权利要求1所述一种图像校正与视差估计相融合的深度估计方法，其特征在于，步骤S4中，
Pcij'＝R(ij,00)Pcij (2)
T(ij,00)'＝R(ij,00)T(ij,00) (3)
式中，P′cij为变换后点P在(i,j)号相机坐标系中的坐标，Pcij表示点P在(i,j)号相机坐标系中的坐标，R(ij,00)为(i,j)号相机与中心相机即(0,0)号相机间的旋转矩阵，T(ij,00)为(i,j)号相机与中心相机间的平移向量；T(ij,00)′＝[ΔX(ij,00)′,ΔY(ij,00)′,ΔZ(ij,00)′]，为变换后各相机坐标系与中心相机坐标系间的平移向量，ΔX(ij,00)′、ΔY(ij,00)′、ΔZ(ij,00)′分别表示变换后的各相机坐标系与中心相机坐标系在x、y、z方向上的平移量。
4.根据权利要求1所述一种图像校正与视差估计相融合的深度估计方法，其特征在于，步骤S5中，
uij”(sn)＝uij'-snfxijΔX(ij,00)' (4)
vij”(sn)＝vij'-snfyijΔY(ij,00)' (5)
式中，sn表示第n个聚焦度，u″ij(sn)和v″ij(sn)分别表示重聚焦过程中聚焦度为sn时的像素横、纵坐标，u′ij(sn)和v′ij(sn)的像素坐标平移量大小与sn成正比，fxij和fyij分别表示(i,j)号相机在x方向和y方向上的以像素为单位表示的等效焦距，uij′和vij′分别表示变换后的特征匹配点的像素坐标，ΔX(ij,00)′和ΔY(ij,00)′分别表示变换后的各相机坐标系与中心相机坐标系在x、y两个方向上的平移量；确定特征匹配点的像素坐标在设定聚焦度下的最小方差值，并求得像素坐标方差值最小时的聚焦度s0；则该特征匹配点对应物点处的深度值Z为
Figure FDA0003736445280000021
5.根据权利要求1所述一种图像校正与视差估计相融合的深度估计方法，其特征在于，步骤S6中，可靠度因子的计算式为：
Figure FDA0003736445280000022
式中，Q是可靠度因子，αi(i＝1,2,…,m-1)表示每组特征匹配点中各特征点对的置信度大小，当每组特征匹配点有m个相机成功匹配时，产生m-1个特征点对，V(u,v,s0)是每组特征匹配点重聚焦过程中的最小方差值，km为匹配个数为m时的置信概率，km的大小与每组特征匹配点对应的物点在M个视角下成功匹配的数量m有关。
6.根据权利要求1所述一种图像校正与视差估计相融合的深度估计方法，其特征在于，步骤S2中，预处理操作包括中值滤波和超分辨处理，通过步骤S2实现缩小图像的处理范围并获得更清晰的图像。
7.一种图像校正与视差估计相融合的深度估计方法的应用，其特征在于，应用于光场图像处理、机载遥感成像、光学缺陷在线检测。
8.一种图像校正与视差估计相融合的深度估计装置，其特征在于，包括：
相机阵列单元，用于捕获待测目标物图像；
标定单元，用于获得相机阵列中各相机与中心相机间的相对位置关系，并得到相机间的旋转矩阵与平移向量；
处理单元，用于将每个相机所获取图像中的待测目标物进行分割，将待测目标物的背景黑色处理；并对待测目标物的图像进行预处理操作；
特征匹配单元，用于将中心相机视角下图像与其他相机视角下图像的特征匹配点进行匹配，并记录下每组特征匹配点的视角标号(i,j)及其像素坐标p(u,v)，并保存每组特征匹配点在匹配过程中得到的置信度大小αi；
特征匹配点校正单元，用于对特征匹配点进行坐标变换，并校正各相机间的旋转矩阵误差，得到用于重聚焦单元的新的平移向量；
重聚焦单元，用于对每组特征匹配点进行重聚焦操作，并求得重聚焦过程中方差值最小时的深度估计结果；
评价单元，用于根据可靠度因子对每组特征匹配点的深度估计质量进行评价，实现对深度估计精度的提升。
9.一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现权利要求1至6任一项所述图像校正与视差估计相融合的深度估计方法的步骤。
10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该计算机程序被处理器执行时实现权利要求1至6任一项所述图像校正与视差估计相融合的深度估计方法的步骤。
CN202210798046.7A 2022-07-08 2022-07-08 一种图像校正与视差估计相融合的深度估计方法 Pending CN115063394A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210798046.7A CN115063394A (zh) 2022-07-08 2022-07-08 一种图像校正与视差估计相融合的深度估计方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210798046.7A CN115063394A (zh) 2022-07-08 2022-07-08 一种图像校正与视差估计相融合的深度估计方法

Publications (1)

Publication Number Publication Date
CN115063394A true CN115063394A (zh) 2022-09-16

Family

ID=83203976

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210798046.7A Pending CN115063394A (zh) 2022-07-08 2022-07-08 一种图像校正与视差估计相融合的深度估计方法

Country Status (1)

Country Link
CN (1) CN115063394A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116524008A (zh) * 2023-04-14 2023-08-01 公安部第一研究所 一种用于安检ct智能识别的目标物匹配与空间位置估计方法

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116524008A (zh) * 2023-04-14 2023-08-01 公安部第一研究所 一种用于安检ct智能识别的目标物匹配与空间位置估计方法
CN116524008B (zh) * 2023-04-14 2024-02-02 公安部第一研究所 一种用于安检ct智能识别的目标物匹配与空间位置估计方法

Similar Documents

Publication Publication Date Title
CN109146980B (zh) 基于单目视觉的优化的深度提取和被动测距方法
CN108564617B (zh) 多目相机的三维重建方法、装置、vr相机和全景相机
CN109903227B (zh) 基于相机几何位置关系的全景影像拼接方法
CN109859272B (zh) 一种自动对焦双目摄像头标定方法及装置
CN109272574B (zh) 基于投影变换的线阵旋转扫描相机成像模型构建方法和标定方法
CN110807809A (zh) 基于点线特征和深度滤波器的轻量级单目视觉定位方法
CN110874854B (zh) 一种基于小基线条件下的相机双目摄影测量方法
CN110827321B (zh) 一种基于三维信息的多相机协同的主动目标跟踪方法
CN113487683B (zh) 一种基于三目视觉的目标跟踪系统
CN111899290A (zh) 一种联合偏振和双目视觉的三维重建方法
CN113884002A (zh) 基于二三维信息融合的受电弓滑板上表面检测系统及方法
CN108510544B (zh) 一种基于特征聚类的光条定位方法
CN111127613A (zh) 基于扫描电子显微镜的图像序列三维重构方法及系统
CN114998448A (zh) 一种多约束双目鱼眼相机标定与空间点定位的方法
CN115063394A (zh) 一种图像校正与视差估计相融合的深度估计方法
CN113963067B (zh) 一种采用小靶标对大视场视觉传感器进行标定的标定方法
CN112164119B (zh) 一种适用于狭小空间的环绕放置多摄像机系统标定方法
CN108364345B (zh) 基于像素标记和合成孔径成像的遮挡目标三维重建方法
Zhang et al. Improved Camera Calibration Method and Accuracy Analysis for Binocular Vision
CN113436262A (zh) 一种基于视觉的车辆目标位置和姿态角度的检测方法
CN111260736B (zh) 一种空间相机内参在轨实时标定方法
CN113409242A (zh) 一种轨交弓网点云智能监测方法
CN108537831B (zh) 对增材制造工件进行ct成像的方法及装置
CN110487254B (zh) 一种用于rov的水下目标尺寸快速测量方法
RU2384882C1 (ru) Способ автоматической компоновки ландшафтных панорамных изображений

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination