CN112950698A - 基于双目散焦图像的深度估计方法、装置、介质和设备 - Google Patents

基于双目散焦图像的深度估计方法、装置、介质和设备 Download PDF

Info

Publication number
CN112950698A
CN112950698A CN202110290161.9A CN202110290161A CN112950698A CN 112950698 A CN112950698 A CN 112950698A CN 202110290161 A CN202110290161 A CN 202110290161A CN 112950698 A CN112950698 A CN 112950698A
Authority
CN
China
Prior art keywords
depth estimation
pixel point
image
defocusing
image pair
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202110290161.9A
Other languages
English (en)
Other versions
CN112950698B (zh
Inventor
袁潮
温建伟
刘烨斌
周玥眉
赵月峰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Zhuohe Technology Co Ltd
Original Assignee
Beijing Zhuohe Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Zhuohe Technology Co Ltd filed Critical Beijing Zhuohe Technology Co Ltd
Priority to CN202110290161.9A priority Critical patent/CN112950698B/zh
Publication of CN112950698A publication Critical patent/CN112950698A/zh
Application granted granted Critical
Publication of CN112950698B publication Critical patent/CN112950698B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G06T7/593—Depth or shape recovery from multiple images from stereo images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/80—Geometric correction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G06T7/564—Depth or shape recovery from multiple images from contours
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • G06T7/85—Stereo camera calibration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G06T2207/10012—Stereo images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Processing (AREA)

Abstract

本文是关于一种基于双目散焦图像的深度估计方法、装置、介质和设备。其方法包括：使用标定后的双目相机获取同一场景的图像对；对图像对进行去畸变处理和立体校正，以获得极线对齐的校正后图像对；对校正后图像对进行双目立体匹配，并输出各个像素点的初始深度估值；建立散焦掩膜图像对进行视点变换，基于同一视点的两个散焦掩膜图像获得各个像素点的散焦深度估计；利用散焦深度估计对所述初始深度估值进行优化；采集图像的边缘信息对优化后的深度估计结果进行细化，确定各个像素点的最终深度。通过本文提供的方法，可以有效提高深度估计的准确性。

Description

基于双目散焦图像的深度估计方法、装置、介质和设备
技术领域
本发明涉及计算机视觉技术领域，尤其涉及基于双目散焦图像的深度估计方法、装置、介质和设备。
背景技术
场景的三维信息获取是计算机视觉领域的重点问题。随着智能产业的不断发展，人们对三维信息的需求也愈加丰富，如室内室外场景的三维重建、无人机无人车自动驾驶、AR/VR应用、人体人脸重建等。深度估计作为后续算法的基础在其中起到了至关重要的作用，并极大影响着最终三维应用的上限。而目前基于双目的深度估计算法由于其性价比高、能够在室外工作的特点，备受业界和研究者们的关注，但低纹理及重复纹理难以匹配、小视差区域深度估计效果差、精细结构难以重建等问题是一直以来的瓶颈。
发明内容
为了解决上面描述的问题，本发明提供一种基于双目散焦图像的深度估计方法、装置、介质和设备。
根据本文的一个方面，提供一种基于双目散焦图像的深度估计方法，包括：
使用标定后的双目相机获取同一场景的图像对，所述图像对中的图像的对焦面不同；
对所述图像对进行去畸变处理和立体校正，以获得极线对齐的校正后图像对；
对所述校正后图像对进行双目立体匹配，并输出各个像素点的初始深度估值；
建立所述校正后图像对的散焦掩膜图像对，利用所述各个像素点的初始深度估值，对所述散焦掩膜图像对进行视点变换，将所述散焦掩膜图像对变换为同一视点的两个散焦掩膜图像，基于同一视点的两个散焦掩膜图像获得各个像素点的散焦深度估计；
利用所述散焦深度估计对所述初始深度估值进行优化，获得各个像素点的优化后的深度估计结果；
采集图像的边缘信息对所述优化后的深度估计结果进行细化，确定各个像素点的最终深度。
基于双目散焦图像的深度估计方法，还包括：对双目相机进行标定，确定所述双目相机的内参、外参、双目基线距离。
所述对所述校正后图像对进行双目立体匹配，并输出各个像素点的初始深度估值包括：
在所述校正后图像对中，将第一视点的校正后图像中的各个像素点与第二视点的校正后图像中的像素点进行匹配；
根据匹配结果建立各个像素点的视差代价体；
利用三维卷积网络提取所述视差代价体的信息,并用argmi n(﹒)函数做监督，确定所述第一视点的校正后图像中各个像素点的初始深度估计值。
所述建立所述校正后图像对的散焦掩膜图像对，利用所述各个像素点的初始深度估值，对所述散焦掩膜图像对进行视点变换，将所述散焦掩膜图像对变换为同一视点的两个散焦掩膜图像包括：
建立所述校正后图像对的散焦掩膜图像对，所述散焦掩膜图像对包括第一视点的散焦掩膜图像和第二视点的散焦掩膜图像；
利用各个像素点的初始深度估值，确定所述第二视点的散焦掩膜图像中各个像素点在所述第一视点的散焦掩膜图像中的对应的像素点，并确定各个像素点与对应的像素点的位置差值；
根据所述位置差值，将第二视点的散焦掩膜图像中各个像素点的位置进行变换，以使变换后的散焦掩膜图像中的各个像素点的位置与所述第一视点的散焦掩膜图像中对应的像素点的位置相同。
所述散焦掩膜图像为单通道的灰度图像，以灰度值表示各个像素点的散焦程度；所述基于同一视点的两个散焦掩膜图像获得各个像素点的散焦深度估计包括：
获取相同位置的各个像素点在两个散焦掩膜图像中的散焦程度，由预训练的散焦程度估计网络完成各个像素点的散焦深度估计。
所述双目相机选用焦距及口径均大于预设阈值的相机镜头。
根据本文的另一方面，提供一种基于双目散焦图像的深度估计装置，包括：
图像获取模块，用于使用标定后的双目相机获取同一场景的图像对，所述图像对中的图像的对焦面不同；
图像校正模块，用于对所述图像对进行去畸变处理和立体校正，以获得极线对齐的校正后图像对；
立体匹配模块，用于对所述校正后图像对进行双目立体匹配；
初始深度估计模块，用于输出各个像素点的初始深度估值；
散焦深度估计模块，用于建立所述校正后图像对的散焦掩膜图像对，利用所述各个像素点的初始深度估值，对所述散焦掩膜图像对进行视点变换，将所述散焦掩膜图像对变换为同一视点的两个散焦掩膜图像，基于同一视点的两个散焦掩膜图像获得各个像素点的散焦深度估计；
深度优化模块，用于利用所述散焦深度估计对所述初始深度估值进行优化，获得各个像素点的优化后的深度估计结果；
深度确定模块，用于采集图像的边缘信息对所述优化后的深度估计结果进行细化，确定各个像素的最终深度。
基于双目散焦图像的深度估计装置，还包括：
标定模块，用于对双目相机进行标定，确定所述双目相机的内参、外参、双目基线距离。
根据本文的另一方面，提供一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被执行时实现基于双目散焦图像的深度估计方法的步骤。
根据本文的另一方面，提供一种计算机设备，包括处理器、存储器和存储于所述存储器上的计算机程序，所述处理器执行所述计算机程序时实现基于双目散焦图像的深度估计方法的步骤。
通过本发明所述的方法，本发明提供的基于双目散焦图像的深度估计方法，使用标定后的双目相机获取同一场景的图像对；对图像对进行去畸变处理和立体校正，以获得极线对齐的校正后图像对；对校正后图像对进行双目立体匹配，并输出各个像素点的初始深度估值；建立散焦掩膜图像对进行视点变换，基于同一视点的两个散焦掩膜图像获得各个像素点的散焦深度估计；利用散焦深度估计对所述初始深度估值进行优化；采集图像的边缘信息对优化后的深度估计结果进行细化，确定各个像素点的最终深度。能够突破传统双目深度估计方法在低纹理等区域的难匹配问题，由于散焦信息的引入使得算法能够从图像中提取场景中更多深度相关的信息，以弥补双目匹配的缺陷并极大地提高双目深度估计的准确性和完整性，实现能够在多种情况下工作的优质深度相机。
附图说明
并入到说明书中并且构成说明书的一部分的附图示出了本发明的实施例，并且与描述一起用于解释本发明的原理。在这些附图中，类似的附图标记用于表示类似的要素。下面描述中的附图是本发明的一些实施例，而不是全部实施例。对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，可以根据这些附图获得其他的附图。
图1为根据一示例性实施例示出基于双目散焦图像的深度估计方法的流程图；
图2为根据一示例性实施例示出基于双目散焦图像的深度估计装置的框图。
图3为根据一示例性实施例示出基于双目散焦图像的深度估计装置的框图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互任意组合。
图1是根据一示例性实施例示出的基于双目散焦图像的深度估计方法的流程图，如图1所示，基于双目散焦图像的深度估计方法，包括：
步骤S11,使用标定后的双目相机获取同一场景的图像对，所述图像对中的图像的对焦面不同。
步骤S12,对所述图像对进行去畸变处理和立体校正，以获得极线对齐的校正后图像对。
步骤S13,对所述校正后图像对进行双目立体匹配，并输出各个像素点的初始深度估值。
步骤S14,建立所述校正后图像对的散焦掩膜图像对，利用所述各个像素点的初始深度估值，对所述散焦掩膜图像对进行视点变换，将所述散焦掩膜图像对变换为同一视点的两个散焦掩膜图像，基于同一视点的两个散焦掩膜图像获得各个像素点的散焦深度估计。
步骤S15,利用所述散焦深度估计对所述初始深度估值进行优化，获得各个像素点的优化后的深度估计结果。
步骤S16,采集图像的边缘信息对所述优化后的深度估计结果进行细化，确定各个像素的最终深度。
在步骤S11中，本文提供的基于双目散焦图像的深度估计方法，使用标定后的双目相机获取同一场景的图像对，双目相机中的两个镜头分别拍摄同一场景的不同视点的两张图像，两张图像作为图像对，用于对场景中的不同景物对应的像素进行深度估计。为了获取足够的散焦信息，需要使得双目相机中，两个相机的对焦距离的差距尽量远以获得充足的散焦程度比较能力，两个镜头的对焦面不同，分别对焦到场景中的远景和近景，因此图像对中的两个图像具有不同的对焦面。
在一示例性实施例中，双目相机选用焦距及口径均大于预设阈值的相机镜头。选取大口径和较长焦距的镜头，可以获取明显的图像散焦特征，使得采集的图像能够在深度方向上获得具有足够分辨率的散焦效果。由相机对焦位置前后的弥散圆直径计算公式：
Figure BDA0002982122350000061
C为弥散圆的直径，S1为对焦距离，S2为目标点距离镜头光心的距离，f为镜头的焦距，N为镜头的F数(焦距与有效口径的比值)。根据弥散圆直径的计算公式，较长的焦距和较大的口径能够使对焦面前后的弥散圆足够明显，从而使得目标物在不同对焦距离的图像中的模糊程度更为明显，从而获得不同对焦距离下的两张图像中同一目标物成像的不同散焦程度的比较能力。
同时，根据拍摄场景的距离和范围，还需要对应设置双目相机的双目基线距离。
为了便于后续对图像对的处理，双目相机使用前需要进行标定。在一示例性实施例中，基于双目散焦图像的深度估计方法，还包括：对双目相机进行标定，确定所述双目相机的内参、外参、双目基线距离。根据已有的标定方法，对双目相机进行标定，获得双目相机的内参、外参、以及双目相机的双目基线距离。
步骤S12中，对所述图像对进行去畸变处理和立体校正，以获得极线对齐的校正后图像对。对相机拍摄过程中产生的畸变进行校正，根据相机的内参，对图像径向畸变、切向畸变等进行校正，以将图像切换到理想的图像坐标系。然后，再利用标定过程中确定的内参和外参计算，对图像对进行变换，将图像对调整到两个摄像头光轴平行、左右成像平面共面状态下的成像图像，获得极线对齐的双目图像对。在这样的双目图像对中，同一目标点在一幅图像上成像的像素点与其在另一幅图像上的对应的成像像素点就具有相同的行号，在进行双目匹配的时候，只需在该行进行一维搜索即可匹配到对应点，从而大大提升匹配速度。
步骤S13中，对所述校正后图像对进行双目立体匹配，并输出各个像素点的初始深度估值包括：
步骤S131,在校正后图像对中，以第一视点的校正后图像作为参考图像，将第一视点的校正后图像中的各个像素点与第二视点的校正后图像中的像素点进行匹配。根据步骤S12中获得的极线对齐的图像对，对图像对中的像素点进行匹配，以参考图像中的任意像素点作为参考点，根据参考点的特征，在第二视点的校正后图像中匹配相同特征的像素点，匹配到的像素点与参考图像中的参考像素点同行。在本实施例中，使用机器学习模型，提取双目图像对中的像素的特征，根据特征进行像素点的匹配。
步骤S132,根据匹配结果建立各个像素点的视差代价体。根据步骤S131中得到匹配结果，构建代价体：CostVol(H，W，D)，D为视差的候选值列表长度。根据匹配的像素点，可以确定匹配的两个像素点的视差。对于第一视点图像中的一点，根据特征进行像素点匹配的过程中可能会有多个像素点与之匹配，因此，第一视点图像中的某一点可能有多个视差。可以用公式表示为：CostVol(H,W,D)＝StereoMatching(IL,IR),其中，StereoMatching()为立体匹配，IL为第一视点图像，IR为第二视点图像。
步骤S133,利用三维卷积网络提取视差代价体的信息,并用argmin(﹒)函数做监督，确定所述第一视点的校正后图像中各个像素点的初始深度估计值。
用公式可以表示为
Figure BDA0002982122350000071
Conv3D是一系列的三维卷积层。
Figure BDA0002982122350000072
为校正后图像中各个像素点的初始深度估计值。
经过以上步骤，可以得到校正后的图像中各个像素点的初始深度估计值，校正后的图像可以是第一视点图像，也可以是第二视点图像，在本实施例以第一视点的校正后图像作为参考图像，在第一视点的矫正后图像中，通过对图像中各个像素点的视差来估计初始深度，从而得到第一视点的校正图像中各个像素点的初始深度估计值。
但这种估计方法，会在低纹理、重复纹理等区域，由于立体匹配时存在误差，可能匹配到错误的点，造成视差的不正确，因此在基于视差计算的估计深度也会产生不正确的深度值。需要对估计的深度值进行进一步的优化。
在步骤S14中，建立校正后图像对的散焦掩膜图像对，利用各个像素点的初始深度估值，对散焦掩膜图像对进行视点变换，将散焦掩膜图像对变换为同一视点的两个散焦掩膜图像，基于同一视点的两个散焦掩膜图像获得各个像素点的散焦深度估计。可以利用各个像素点的散焦深度估计，对步骤S13中得到的初始深度值进行优化。校正后的图像对分别对应两个视点，由两个相机在不同的位置不同的角度拍摄，例如，双目相机呈左右设置，左边的相机拍摄的图像为第一视点图像，聚焦在近景，右边的相机拍摄的图像为第二视点图像，聚焦在远景。由于两个相机的对焦面不同，也就是对焦距离不同，同一目标点的成像像素点的虚化程度不同，具有不同的散焦程度。在同一相机拍摄景物的时候，距离对焦面越近的景物，散焦程度越低，成像越清晰，距离对焦面越远，散焦程度越高，成像越模糊。在标定了相机内参和外参后，根据成像图像中像素点的散焦程度可以对像素点对应的景物的深度进行计算。由此，在本文中，根据两个图像中同一目标点对应的像素点的散焦程度不同，进行散焦深度估计，用于对初始深度估计值进行优化。
在一实施例中，建立所述校正后图像对的散焦掩膜图像对，利用所述各个像素点的初始深度估值，对所述散焦掩膜图像对进行视点变换，将所述散焦掩膜图像对变换为同一视点的两个散焦掩膜图像包括：
步骤S141,建立校正后图像对的散焦掩膜图像对，散焦掩膜图像对包括第一视点的散焦掩膜图像和第二视点的散焦掩膜图像。
在本实施例中，首先建立校正后图像对的散焦掩膜图像对。散焦掩膜图像是一张与矫正后图像尺寸大小相同的单通道的灰度图像，由校正后图像转换得到，可以利用不同的灰度值表示像素点的散焦程度。例如，对焦面附近的景物成像较为清晰，在掩膜图像中用深灰色表示，离对焦面越远景物成像也越模糊，散焦程度越大，在掩膜图像中用浅灰色表示。如此，根据像素点灰度值可以表示像素点对应景物的散焦程度。掩膜图像可以通过训练好的网络模型进行提取，可以表示为：
Figure BDA0002982122350000081
以第一视点图像IL为I1，以第二视点图像IR为I2，将校正后的两张图像，分别输入网络模型，可以得到散焦掩膜图像对
Figure BDA0002982122350000082
Figure BDA0002982122350000083
为第一视点的散焦掩膜图像，
Figure BDA0002982122350000084
为第二视点的散焦掩膜图像。
步骤S142,利用各个像素点的初始深度估值，确定所述第二视点的散焦掩膜图像中各个像素点在所述第一视点的散焦掩膜图像中的对应的像素点，并确定各个像素点与对应的像素点的位置差值。如前文描述，由于校正后的图像对是由两个不同视点的相机拍摄的，因此散焦掩膜图像对也对应两个视点。在本实施例中，利用各个像素点的初始深度估值，对散焦掩膜图像对进行视点变换，将散焦掩膜图像对变换为同一视点的两个散焦掩膜图像，例如，在步骤S13中得到的第一视点图像中各个像素点的初始深度估计，对于第一视点的掩膜图像，掩膜图像与校正后的图像尺寸相同，因此第一视点的掩膜图像中任意的一个像素点的初始估计深度是已知的。而在校正后的图像对中，第一视点的参考图像中，像素点初始估计深度是由该像素点与第二视点图像中的匹配的对应像素点的视差确定的。因此可以根据第一视点的掩膜图像中任意的一个像素点的初始估计深度，计算出该像素点在第二视点的掩膜图像中对应的像素点的视差。例如，第一视点的掩膜图像中第三行第一列的像素点A，根据初始深度估计值，可以计算出在第二视点的掩膜图像中对应的像素点的视差为5，那么可以确定第二视点的掩膜图像中第三行第六列的像素点A`是与该像素点A对应的像素点。该像素点A与对于的像素点A`的位置差值为5。
步骤S143，根据所述位置差值，将第二视点的散焦掩膜图像中各个像素点的位置进行变换，以使变换后的散焦掩膜图像中的各个像素点的位置与所述第一视点的散焦掩膜图像中对应的像素点的位置相同。在确定了参考图像中各个像素点与对应的像素点的位置差值后，可以对第二视点的掩膜图像
Figure BDA0002982122350000091
进行视点变换，将第二视点的掩膜图像
Figure BDA0002982122350000092
中的像素点A`向左侧移动5个像素值，将其变换到像素点A的位置，按此方法，对第二视点的掩膜图像中的全部像素点进行视点变换，将第二视点的掩膜图像
Figure BDA0002982122350000093
变换为第一视点下的掩膜图像
Figure BDA0002982122350000094
由此将原来的掩膜图像对
Figure BDA0002982122350000095
变换为同一视点下的两个散焦掩膜图像
Figure BDA0002982122350000096
在这两个散焦掩膜图像中，相同位置的像素点对应的目标点相同，但其散焦程度不同。例如，第一视点的图像对焦到近景，第二视点的图像对焦到远景，对于近景的成像像素点，两个散焦掩膜图像中，第一视点的散焦掩膜图像
Figure BDA0002982122350000097
中该点为深灰色，在第一视点的变换后的散焦掩膜图像
Figure BDA0002982122350000098
中该点为浅灰色。也就是说该像素点具有不同的散焦程度。
在一实施例中，基于同一视点的两个散焦掩膜图像获得各个像素点的散焦深度估计包括：
获取相同位置的各个像素点在两个散焦掩膜图像中的散焦程度，由预训练的散焦程度估计网络完成各个像素点的散焦深度估计。
由已知散焦和掩膜对应的模拟数据预训练完成的散焦深度优化网络，可以对变换后的掩膜图像对中不同散焦程度的两张掩膜图像进行散焦深度估计，散焦深度估计
Figure BDA0002982122350000101
步骤S15中，利用散焦深度估计对初始深度估值进行优化，获得各个像素点的优化后的深度估计结果。
优化后的深度估计结果
Figure BDA0002982122350000102
optNet为优化网络。散焦深度包含了初始深度估计中没有的低纹理区域的深度细节，优化网络由残差模块组成，学习融合以上两个深度结果
Figure BDA0002982122350000103
中互为补充的信息，以在纹理丰富便于匹配的区域更多地保留双目匹配深度，在低纹理区域更多呈现散焦深度的几何细节。利用散焦深度估计，对初始估计深度在低纹理、重复纹理等区域的深度估计的不准确的问题进行优化，从而得到较为准确的深度估计。
步骤S16中,采集图像的边缘信息对所述优化后的深度估计结果进行细化，确定各个像素点的最终深度。
最后，用图像信息来对优化后的深度估计进一步细化，得到最终的深度结果
Figure BDA0002982122350000104
其中，||是残差模块，该公式表示，将优化后的深度
Figure BDA0002982122350000105
和参考图像I1的图像信息，以残差的形式叠加到优化后的深度结果
Figure BDA0002982122350000106
得到最终具有准确和致密深度的输出几个dfin。
本领域技术人员应该明白，在以上实施例中，以双目图像中的第一视点图像I1为参考图像进行说明，并且在第一视点图像I1基础上得到最终深度结果。在实际应用中，也可以第二视点图像I2为参考图像，最后在第二视点图像I2的基础上得到最终深度结果，也属于本文的保护范围。
根据以上实施例，本发明提供的基于双目散焦图像的深度估计方法，使用标定后的双目相机获取同一场景的图像对；对图像对进行去畸变处理和立体校正，以获得极线对齐的校正后图像对；对校正后图像对进行双目立体匹配，并输出各个像素点的初始深度估值；建立散焦掩膜图像对进行视点变换，基于同一视点的两个散焦掩膜图像获得各个像素点的散焦深度估计；利用散焦深度估计对所述初始深度估值进行优化；采集图像的边缘信息对优化后的深度估计结果进行细化，确定各个像素点的最终深度。能够突破传统双目深度估计方法在低纹理等区域的难匹配问题，由于散焦信息的引入使得算法能够从图像中提取场景中更多深度相关的信息，以弥补双目匹配的缺陷并极大地提高双目深度估计的准确性和完整性，实现能够在多种情况下工作的优质深度相机。
图2是根据一实例性实施例示出的基于双目散焦图像的深度估计装置的框图。参考图2，基于双目散焦图像的深度估计装置包括：图像获取模块201，图像校正模块202，立体匹配模块203，初始深度估计模块204，散焦深度估计模块205，深度优化模块206，深度确定模块207。
该图像获取模块201被配置为用于使用标定后的双目相机获取同一场景的图像对，所述图像对中的图像的对焦面不同；
该图像校正模块202被配置为用于对所述图像对进行去畸变处理和立体校正，以获得极线对齐的校正后图像对；
该立体匹配模块203被配置为用于对所述校正后图像对进行双目立体匹配；
该初始深度估计模块204被配置为用于输出各个像素点的初始深度估值；
该散焦深度估计模块205被配置为用于建立所述校正后图像对的散焦掩膜图像对，利用所述各个像素点的初始深度估值，对所述散焦掩膜图像对进行视点变换，将所述散焦掩膜图像对变换为同一视点的两个散焦掩膜图像，基于同一视点的两个散焦掩膜图像获得各个像素点的散焦深度估计；
该深度优化模块206被配置为用于利用所述散焦深度估计对所述初始深度估值进行优化，获得各个像素点的优化后的深度估计结果；
该深度确定模块207被配置为用于采集图像的边缘信息对所述优化后的深度估计结果进行细化，确定各个像素的最终深度。
图3是根据一实例性实施例示出的基于双目散焦图像的深度估计装置的框图。参考图3，基于双目散焦图像的深度估计装置还包括：标定模块301。
该标定模块301被配置为用于用于对双目相机进行标定，确定所述双目相机的内参、外参、双目基线距离。
上面描述的内容可以单独地或者以各种方式组合起来实施，而这些变型方式都在本发明的保护范围之内。
需要说明的是，本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本发明的实施例能够以除了在这里图示或描述的那些以外的顺序实施。
本领域技术人员应明白，本文的实施例可提供为方法、装置(设备)、或计算机程序产品。因此，本文可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本文可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质上实施的计算机程序产品的形式。计算机存储介质包括在用于存储信息(诸如计算机可读指令、数据结构、程序模块或其他数据)的任何方法或技术中实施的易失性和非易失性、可移除和不可移除介质,包括但不限于RAM、ROM、EEPROM、闪存或其他存储器技术、CD-ROM、数字多功能盘(DVD)或其他光盘存储、磁盒、磁带、磁盘存储或其他磁存储装置、或者可以用于存储期望的信息并且可以被计算机访问的任何其他的介质等。此外，本领域普通技术人员公知的是，通信介质通常包含计算机可读指令、数据结构、程序模块或者诸如载波或其他传输机制之类的调制数据信号中的其他数据，并且可包括任何信息递送介质。
本文是参照根据本文实施例的方法、装置(设备)和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括……”限定的要素，并不排除在包括所述要素的物品或者设备中还存在另外的相同要素。
尽管已描述了本文的优选实施例，但本领域内的技术人员一旦得知了基本创造性概念，则可对这些实施例作出另外的变更和修改。所以，所附权利要求意欲解释为包括优选实施例以及落入本文范围的所有变更和修改。
显然，本领域的技术人员可以对本文进行各种改动和变型而不脱离本文的精神和范围。这样，倘若本文的这些修改和变型属于本文权利要求及其等同技术的范围之内，则本文的意图也包含这些改动和变型在内。

Claims (10)

1.基于双目散焦图像的深度估计方法，其特征在于，包括：
使用标定后的双目相机获取同一场景的图像对，所述图像对中的图像的对焦面不同；
对所述图像对进行去畸变处理和立体校正，以获得极线对齐的校正后图像对；
对所述校正后图像对进行双目立体匹配，并输出各个像素点的初始深度估值；
建立所述校正后图像对的散焦掩膜图像对，利用所述各个像素点的初始深度估值，对所述散焦掩膜图像对进行视点变换，将所述散焦掩膜图像对变换为同一视点的两个散焦掩膜图像，基于同一视点的两个散焦掩膜图像获得各个像素点的散焦深度估计；
利用所述散焦深度估计对所述初始深度估值进行优化，获得各个像素点的优化后的深度估计结果；
采集图像的边缘信息对所述优化后的深度估计结果进行细化，确定各个像素点的最终深度。
2.如权利要求1所述的基于双目散焦图像的深度估计方法，其特征在于，还包括：对双目相机进行标定，确定所述双目相机的内参、外参、双目基线距离。
3.如权利要求1所述的基于双目散焦图像的深度估计方法，其特征在于，所述对所述校正后图像对进行双目立体匹配，并输出各个像素点的初始深度估值包括：
在所述校正后图像对中，将第一视点的校正后图像中的各个像素点与第二视点的校正后图像中的像素点进行匹配；
根据匹配结果建立各个像素点的视差代价体；
利用三维卷积网络提取所述视差代价体的信息,并用argmin(﹒)函数做监督，确定所述第一视点的校正后图像中各个像素点的初始深度估计值。
4.如权利要求3所述的基于双目散焦图像的深度估计方法，其特征在于，所述建立所述校正后图像对的散焦掩膜图像对，利用所述各个像素点的初始深度估值，对所述散焦掩膜图像对进行视点变换，将所述散焦掩膜图像对变换为同一视点的两个散焦掩膜图像包括：
建立所述校正后图像对的散焦掩膜图像对，所述散焦掩膜图像对包括第一视点的散焦掩膜图像和第二视点的散焦掩膜图像；
利用各个像素点的初始深度估值，确定所述第二视点的散焦掩膜图像中各个像素点在所述第一视点的散焦掩膜图像中的对应的像素点，并确定各个像素点与对应的像素点的位置差值；
根据所述位置差值，将第二视点的散焦掩膜图像中各个像素点的位置进行变换，以使变换后的散焦掩膜图像中的各个像素点的位置与所述第一视点的散焦掩膜图像中对应的像素点的位置相同。
5.如权利要求4所述的基于双目散焦图像的深度估计方法，其特征在于，所述散焦掩膜图像为单通道的灰度图像，以灰度值表示各个像素点的散焦程度；所述基于同一视点的两个散焦掩膜图像获得各个像素点的散焦深度估计包括：
获取相同位置的各个像素点在两个散焦掩膜图像中的散焦程度，由预训练的散焦程度估计网络完成各个像素点的散焦深度估计。
6.如权利要求1所述的基于双目散焦图像的深度估计方法，其特征在于，所述双目相机选用焦距及口径均大于预设阈值的相机镜头。
7.基于双目散焦图像的深度估计装置，其特征在于，包括：
图像获取模块，用于使用标定后的双目相机获取同一场景的图像对，所述图像对中的图像的对焦面不同；
图像校正模块，用于对所述图像对进行去畸变处理和立体校正，以获得极线对齐的校正后图像对；
立体匹配模块，用于对所述校正后图像对进行双目立体匹配；
初始深度估计模块，用于输出各个像素点的初始深度估值；
散焦深度估计模块，用于建立所述校正后图像对的散焦掩膜图像对，利用所述各个像素点的初始深度估值，对所述散焦掩膜图像对进行视点变换，将所述散焦掩膜图像对变换为同一视点的两个散焦掩膜图像，基于同一视点的两个散焦掩膜图像获得各个像素点的散焦深度估计；
深度优化模块，用于利用所述散焦深度估计对所述初始深度估值进行优化，获得各个像素点的优化后的深度估计结果；
深度确定模块，用于采集图像的边缘信息对所述优化后的深度估计结果进行细化，确定各个像素的最终深度。
8.如权利要求7所述的基于双目散焦图像的深度估计装置，其特征在于，还包括：
标定模块，用于对双目相机进行标定，确定所述双目相机的内参、外参、双目基线距离。
9.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被执行时实现如权利要求1－6中任意一项所述方法的步骤。
10.一种计算机设备，包括处理器、存储器和存储于所述存储器上的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如权利要求1－6中任意一项所述方法的步骤。
CN202110290161.9A 2021-03-18 2021-03-18 基于双目散焦图像的深度估计方法、装置、介质和设备 Active CN112950698B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110290161.9A CN112950698B (zh) 2021-03-18 2021-03-18 基于双目散焦图像的深度估计方法、装置、介质和设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110290161.9A CN112950698B (zh) 2021-03-18 2021-03-18 基于双目散焦图像的深度估计方法、装置、介质和设备

Publications (2)

Publication Number Publication Date
CN112950698A true CN112950698A (zh) 2021-06-11
CN112950698B CN112950698B (zh) 2024-03-26

Family

ID=76226525

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110290161.9A Active CN112950698B (zh) 2021-03-18 2021-03-18 基于双目散焦图像的深度估计方法、装置、介质和设备

Country Status (1)

Country Link
CN (1) CN112950698B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117315033A (zh) * 2023-11-29 2023-12-29 上海仙工智能科技有限公司 一种基于神经网络的识别定位方法及系统、存储介质

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102523464A (zh) * 2011-12-12 2012-06-27 上海大学 一种双目立体视频的深度图像估计方法
CN103473743A (zh) * 2013-09-12 2013-12-25 清华大学深圳研究生院 一种获取图像深度信息的方法
US20170053411A1 (en) * 2015-08-17 2017-02-23 Microsoft Technology Licensing, Llc Computer Vision Depth Sensing At Video Rate Using Depth From Defocus
CN110827343A (zh) * 2019-11-06 2020-02-21 太原科技大学 基于能量增强散焦响应的改进光场深度估计算法
US20200134848A1 (en) * 2018-10-29 2020-04-30 Samsung Electronics Co., Ltd. System and method for disparity estimation using cameras with different fields of view
CN111179333A (zh) * 2019-12-09 2020-05-19 天津大学 一种基于双目立体视觉的散焦模糊核估计方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102523464A (zh) * 2011-12-12 2012-06-27 上海大学 一种双目立体视频的深度图像估计方法
CN103473743A (zh) * 2013-09-12 2013-12-25 清华大学深圳研究生院 一种获取图像深度信息的方法
US20170053411A1 (en) * 2015-08-17 2017-02-23 Microsoft Technology Licensing, Llc Computer Vision Depth Sensing At Video Rate Using Depth From Defocus
US20200134848A1 (en) * 2018-10-29 2020-04-30 Samsung Electronics Co., Ltd. System and method for disparity estimation using cameras with different fields of view
CN110827343A (zh) * 2019-11-06 2020-02-21 太原科技大学 基于能量增强散焦响应的改进光场深度估计算法
CN111179333A (zh) * 2019-12-09 2020-05-19 天津大学 一种基于双目立体视觉的散焦模糊核估计方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
A.N. RAJAGOPALAN 等: "Depth estimation and image restoration using defocused stereo pairs", IEEE TRANSACTIONS ON PATTERN ANALYSIS AND MACHINE INTELLIGENCE, vol. 26, no. 11, pages 1521 - 1525, XP001211323, DOI: 10.1109/TPAMI.2004.102 *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117315033A (zh) * 2023-11-29 2023-12-29 上海仙工智能科技有限公司 一种基于神经网络的识别定位方法及系统、存储介质
CN117315033B (zh) * 2023-11-29 2024-03-19 上海仙工智能科技有限公司 一种基于神经网络的识别定位方法及系统、存储介质

Also Published As

Publication number Publication date
CN112950698B (zh) 2024-03-26

Similar Documents

Publication Publication Date Title
CN107995424B (zh) 基于深度图的光场全聚焦图像生成方法
JP5572299B2 (ja) 映像獲得装置の自動焦点調節方法および装置
US20210392313A1 (en) Image processing apparatus, image processing method, storage medium, manufacturing method of learned model, and image processing system
CN112509125A (zh) 一种基于人工标志物和立体视觉的三维重建方法
Takeda et al. Fusing depth from defocus and stereo with coded apertures
US20120113227A1 (en) Apparatus and method for generating a fully focused image by using a camera equipped with a multi-color filter aperture
CN111127522B (zh) 基于单目相机的深度光流预测方法、装置、设备及介质
JP7378219B2 (ja) 撮像装置、画像処理装置、制御方法、及びプログラム
CN104184935A (zh) 影像拍摄设备及方法
CN115314635B (zh) 用于离焦量确定的模型训练方法及装置
JP2022175419A (ja) 画像処理方法、画像処理装置、プログラム、学習済みモデルの製造方法、および画像処理システム
CN108322726A (zh) 一种基于双摄像头的自动对焦方法
CN112950698B (zh) 基于双目散焦图像的深度估计方法、装置、介质和设备
JP6395429B2 (ja) 画像処理装置、その制御方法及び記憶媒体
CN111292380B (zh) 图像处理方法及装置
CN114782507B (zh) 一种基于无监督学习的非对称双目立体匹配方法及系统
JP6039301B2 (ja) 撮像装置、撮像システム、撮像装置の制御方法、プログラム、および、記憶媒体
US11967096B2 (en) Methods and apparatuses of depth estimation from focus information
Kwon et al. Vergence control of binocular stereoscopic camera using disparity information
KR20110133677A (ko) 3ｄ 영상 처리 장치 및 그 방법
CN107622514B (zh) 摄像机凸镜模型自主标定方法
JP2020194454A (ja) 画像処理装置および画像処理方法、プログラム、並びに記憶媒体
CN112288669B (zh) 一种基于光场成像的点云地图获取方法
US20130076868A1 (en) Stereoscopic imaging apparatus, face detection apparatus and methods of controlling operation of same
EP3624050B1 (en) Method and module for refocusing at least one plenoptic video

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant