CN109410259B - 基于置信度的结构化的双目深度图上采样方法 - Google Patents

基于置信度的结构化的双目深度图上采样方法 Download PDF

Info

Publication number
CN109410259B
CN109410259B CN201810980748.0A CN201810980748A CN109410259B CN 109410259 B CN109410259 B CN 109410259B CN 201810980748 A CN201810980748 A CN 201810980748A CN 109410259 B CN109410259 B CN 109410259B
Authority
CN
China
Prior art keywords
confidence
image
depth
representing
depth information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CN201810980748.0A
Other languages
English (en)
Other versions
CN109410259A (zh
Inventor
孟祥冰
张梅
张赵行
王蓉
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Qingdao Academy Of Intelligent Industries
Institute of Automation of Chinese Academy of Science
Original Assignee
Qingdao Academy Of Intelligent Industries
Institute of Automation of Chinese Academy of Science
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Qingdao Academy Of Intelligent Industries, Institute of Automation of Chinese Academy of Science filed Critical Qingdao Academy Of Intelligent Industries
Priority to CN201810980748.0A priority Critical patent/CN109410259B/zh
Publication of CN109410259A publication Critical patent/CN109410259A/zh
Application granted granted Critical
Publication of CN109410259B publication Critical patent/CN109410259B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30168—Image quality inspection

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Quality & Reliability (AREA)
  • Image Processing (AREA)

Abstract

本发明属于图像处理技术领域，具体提供了一种基于置信度的结构化的双目深度图上采样方法，旨在解决现有技术在上采样过程中引入噪声并且获取信息量不足的问题。为此目的，本发明提供了一种基于置信度的结构化的双目深度图上采样方法，包括根据预先获取的图像金字塔中当前层图像的纹理信息和深度信息获取当前层图像的深度置信度；将上一层图像的深度信息上采样至当前层图像；根据当前层图像的纹理信息和经上采样后的深度信息重新获取当前层图像的深度置信度；根据纹理信息和重新获取的深度置信度优化深度信息并且对优化后的深度信息进行平滑和滤波处理。基于上述步骤，本发明提供的方法具有对噪声鲁棒且上采样精度高的有益效果。

Description

基于置信度的结构化的双目深度图上采样方法
技术领域
本发明属于图像处理技术领域，具体涉及一种基于置信度的结构化的双目深度图上采样方法。
背景技术
实时地获取高分辨率、高质量的深度信息已经成为计算机视觉领域十分重要的技术，该技术可以应用在裸眼三维显示、增强现实以及自动驾驶领域。但是目前的技术手段想要实时地获取高分辨率和高质量的深度图是非常困难的，已有的技术方案是先实时地获取低分辨率的高质量深度图，然后通过上采样技术生成高分辨率的高质量深度图，因此，深度信息上采样技术的精度和速度成为该技术的关键。
现有的深度信息上采样技术包括：以单目高分辨率纹理图为引导将低分辨率的深度信息上采样到高分辨率的技术、基于深度信息的空间分布规律利用插值的方法进行上采样的技术以及基于机器学习的上采样技术。
但是当深度信息中存在噪声时，现有的深度信息上采样技术会将噪声信息放大，导致最后的上采样的结果变差。另外，现有的深度信息上采样技术中的深度信息全部来源于原始的低分辨率的深度图，在上采样过程中并未添加新的信息，而高分辨率的纹理图需要比低分辨率的纹理图包含更多的信息，现有的深度信息上采样技术最后的上采样效果不理想。
因此，如何提供一种能够对深度信息进行质量监控、在上采样的过程中加入新的细节信息并且高效地进行高质量的上采样的方案是本领域技术人员目前需要解决的技术问题。
发明内容
为了解决现有技术中的上述问题，即为了解决现有技术在上采样过程中引入噪声并且获取信息量不足的问题，本发明提供了一种基于置信度的结构化的双目深度图上采样方法，包括：
步骤S101：获取目标体的高分辨率纹理图像并且对所述高分辨率纹理图像进行降采样形成图像金字塔；
步骤S102：根据所述图像金字塔中当前层图像的纹理信息和深度信息获取所述当前层图像的深度置信度；
步骤S103：根据所述纹理信息和深度置信度将上一层图像的深度信息上采样至所述当前层图像；
步骤S104：根据所述当前层图像的纹理信息和经所述上采样后的深度信息重新获取所述当前层图像的深度置信度；
步骤S105：根据所述纹理信息和重新获取的深度置信度优化所述经上采样后的深度信息并且对优化后的深度信息进行平滑和滤波处理；
步骤S106：判断所述当前层图像的分辨率是否达到预设的目标分辨率：若否，则转至步骤S102。
在上述方法的优选技术方案中，“根据所述图像金字塔中当前层图像的纹理信息和深度信息获取所述当前层图像的深度置信度”的步骤包括：
根据所述纹理信息和/或深度信息将所述当前层图像划分为置信度不可衡量区域和置信度可衡量区域；
获取所述置信度不可衡量区域和置信度可衡量区域的置信度；
根据所述置信度不可衡量区域和置信度可衡量区域的置信度并且按照下式所示的方法计算所述当前层图像的深度置信度：
Cfinal＝Ccorr(λCndc+(1-λ)Cwdc)
其中，所述Cfinal是所述当前层图像的深度置信度，所述Ccorr是预设的初始置信度，所述Cndc是置信度不可衡量区域的置信度，所述Cwdc是置信度可衡量区域的置信度；所述λ是预设的开关变量且λ＝0或1。
在上述方法的优选技术方案中，“获取所述置信度不可衡量区域和置信度可衡量区域的置信度”的步骤包括：
设定所述置信度不可衡量区域的置信度为预设置信度；
按照下式所示的方法获取所述置信度可衡量区域的置信度：
Figure BDA0001778452510000021
其中，cmsm表示基于评分匹配策略获取的图像的像素点的损失代价，τmsm表示基于评分匹配策略获取的图像的像素点的损失代价阈值，msm表示评分匹配策略，ccur表示在图像的像素点的曲率处的损失代价，τcur表示在图像的像素点的曲率处的损失代价阈值，cur表示图像的像素点的曲率，cpkrn表示基于朴素的峰值平均功率比值策略获取的图像的像素点的损失代价，τpkrn表示基于朴素的峰值平均功率比值策略获取的图像的像素点的损失代价阈值，pkrn表示基于朴素的峰值平均功率比值策略，clrd表示基于左右视图差策略获取的图像的像素点的损失代价，τlrd表示基于左右视图差策略获取的图像的像素点的损失代价阈值，lrd表示基于左右视图差策略，
Figure BDA0001778452510000031
表示所述置信度可衡量区域的置信度阈值。
在上述方法的优选技术方案中，“根据所述纹理信息和深度置信度将上一层图像的深度信息上采样至所述当前层图像”的步骤包括：
利用多个预设的上采样策略并且根据所述纹理信息和深度置信度将上一层图像的深度信息上采样至所述当前层图像，得到多个上采样结果；
对所述多个上采样结果进行融合得到最终的上采样结果。
在上述方法的优选技术方案中，所述预设的上采样策略包括：基于置信度的融合三线索上采样策略以及基于加权投票的上采样策略；“利用多个预设的上采样策略并且根据所述纹理信息和深度置信度将上一层图像的深度信息上采样至所述当前层图像”的步骤包括：
若所述当前层图像的像素点位于置信度不可衡量区域，将所述基于加权投票的上采样策略获取的深度信息作为所述当前层图像中置信度不可衡量区域的深度信息；
若所述当前层图像的像素点位于置信度可衡量区域，将所述基于置信度的融合三线索上采样策略获取的深度信息作为所述当前层图像中置信度可衡量区域的深度信息。
在上述方法的优选技术方案中，在“将所述基于加权投票的上采样策略获取的深度信息作为所述当前层图像中置信度不可衡量区域的深度信息”的步骤之前，所述方法还包括：
按照下式所示的方法获取所述当前层的图像中置信度不可衡量区域的深度信息：
Figure BDA0001778452510000041
其中，
Figure BDA0001778452510000042
表示基于加权投票的上采样策略获取的所述图像金字塔中第i+1层的深度信息，wvu表示基于加权投票的上采样策略，Zwvu表示基于加权投票的上采样策略的归一化参数，
Figure BDA0001778452510000043
表示所述图像金字塔中第i+1层的图像中区域N的中心点的像素，c表示区域N的中心点，xi+1表示所述图像金字塔中第i+1层的图像中区域N内的像素点，
Figure BDA0001778452510000044
表示所述图像金字塔中第i层图像的开关函数，d表示原始深度信息，
Figure BDA0001778452510000045
表示所述图像金字塔中第i+1层的图像中区域N的中心点的深度关于颜色距离的权重，
Figure BDA0001778452510000046
表示所述图像金字塔中第i+1层的图像中区域N中某一像素点的深度关于空间距离的权重，s表示所述图像金字塔中第i+1层的图像中区域N中某一像素点，
Figure BDA0001778452510000047
表示所述图像金字塔中第i层图像中点xi对应的深度信息。
在上述方法的优选技术方案中，在“将所述基于置信度的融合三线索上采样策略获取的深度信息作为所述当前层图像中置信度可衡量区域的深度信息”的步骤之前，所述方法还包括：
按照下式所示的方法获取所述当前层图像中置信度可衡量区域的深度信息：
Figure BDA0001778452510000048
其中，
Figure BDA0001778452510000049
表示基于置信度的融合三线索上采样策略获取的所述图像金字塔中第i+1层的深度信息，cjcu表示基于置信度的融合三线索上采样策略，Zcjcu表示基于置信度的融合三线索上采样策略的归一化参数，
Figure BDA00017784525100000410
表示所述图像金字塔中第i层图像中某个点关于深度距离的权重。
在上述方法的优选技术方案中，“对所述多个上采样结果进行融合得到最终的上采样结果”的步骤包括：
按照下式所示的方法对多个上采样结果进行融合得到最终的上采样结果：
Figure BDA00017784525100000411
其中，
Figure BDA0001778452510000051
表示所述图像金字塔中第i+1层的上采样结果，
Figure BDA0001778452510000052
表示基于置信度的融合三线索上采样策略获取的所述图像金字塔中第i+1层的三通道信息中最大的置信度对应的深度信息。
在上述方法的优选技术方案中，“根据所述纹理信息和重新获取的深度置信度优化所述经上采样后的深度信息”的步骤包括：
判断所述当前层图像的深度信息置信度是否小于预设的置信度阈值；
若是，则在预设的调整范围中选取若干个参考置信度；
根据预设的调整策略获取若干个所述参考置信度对应的代价损失，将代价损失最小的参考置信度对应的深度信息替换小于预设的置信度阈值的置信度对应的深度信息。
在上述方法的优选技术方案中，“对优化后的深度信息进行平滑和滤波处理”步骤包括：
按照下式所述的方法对所述深度信息进行平滑和滤波处理：
Figure BDA0001778452510000053
其中，E表示待优化的深度信息，
Figure BDA0001778452510000054
表示点xc的初始置信度，
Figure BDA0001778452510000055
表示点xc的初始深度信息，ψC表示中间变量，
Figure BDA0001778452510000056
表示关于深度信息的权重，ε表示预设的调整参数。
与最接近的现有技术相比，上述技术方案至少具有如下有益效果：
1、在本发明基于置信度的结构化的双目深度图上采样方法中，根据图像金字塔中当前层图像的纹理信息和深度信息获取当前层图像的深度置信度，以深度置信度为核心对图像金字塔进行逐层上采样，不仅提高了上采样的精度而且对噪声鲁棒；
2、在本发明基于置信度的结构化的双目深度图上采样方法中，根据当前层图像的纹理信息和经上采样后的深度信息重新获取当前层图像的深度置信度，可以将当前层图像中不满足要求的深度置信度进行调整，降低噪声，同时增加图像的细节；
3、在本发明基于置信度的结构化的双目深度图上采样方法中，根据纹理信息和重新获取的深度置信度优化经上采样后的深度信息并且对优化后的深度信息进行平滑和滤波处理，可以得到精度更高的深度信息，提高了上采样的精度。
附图说明
图1为本发明一种实施例的基于置信度的结构化的双目深度图上采样方法的主要步骤示意图；
图2为本发明对图像进行置信度区域分类与现有技术对图像进行置信度区域分类的结果对比图；
图3为本发明对优化后的深度信息进行平滑和滤波处理的结果图；
图4为本发明与现有技术对含有噪声的深度信息进行上采样的结果对比图；
图5为本发明与现有技术对不含噪声的深度信息进行上采样的结果对比图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围
下面参照附图来描述本发明的优选实施方式。本领域技术人员应当理解的是，这些实施方式仅仅用于解释本发明的技术原理，并非旨在限制本发明的保护范围。
参阅附图1，图1示例性的给出了本实施例中基于置信度的结构化的双目深度图上采样方法的主要步骤。如图1所示，本实施例中基于置信度的结构化的深度图上采样方法包括下述步骤：
步骤S101：获取目标体的高分辨率纹理图像并且对高分辨率纹理图像进行降采样形成图像金字塔。
图像金字塔是一种以多分辨率来解释图像的有效但概念简单的结构，应用于图像分割，机器视觉和图像压缩。一副图像的金字塔是一系列以金字塔形状排列的分辨率逐步降低且来源于同一张原始图的图像集合，图像金字塔的底部是待处理图像的高分辨率表示，顶部是低分辨率的近似。在本发明实施例中，图像金字塔中当前层的上一层的图像的分辨率低于当前层的图像的分辨率。在实际应用中，可以对高分辨率的图像进行逐级降采样形成图像金字塔，将图像金字塔作为逐层上采样的引导信息输入，在逐层上采样的过程中，从金字塔的顶层逐层向底层进行上采样。
步骤S102：根据图像金字塔中当前层图像的纹理信息和深度信息获取当前层图像的深度置信度。
在逐层上采样的过程中，当前层的上一层图像的深度信息会被传入当前层，作为当前层上采样的初始输入深度信息。将当前层的图像纹理信息作为导引，结合当前层的上一层图像的深度信息，获取当前层图像的深度置信度。
具体地，本发明图像金字塔中的图像均是采用双摄像头或者同一个摄像头在不同角度获取的双目图像，根据纹理信息和/或深度信息将当前层图像划分为置信度不可衡量区域和置信度可衡量区域。参阅附图2，图2示例性地给出了本实施例对图像进行置信度区域分类与现有技术对图像进行置信度区域分类的结果对比图。图2中上一排的图像为本发明实施例进行置信度区域分类的结果图，下一排的图像为现有技术对图像进行置信度区域分类的结果图，图中黑色部分为置信度不可衡量区域，灰色部分为置信度可衡量区域。
由于图像金字塔的图像是双目信息，且根据纹理信息对置信度进行衡量，因此，在图像中有很多区域的置信度是已有的方案无法准确衡量的，为了合理地计算图像的置信度，可以将图像中纹理稀疏区域、被遮挡区域以及深度边缘区域划分为置信度不可衡量区域，图像中除置信度不可衡量区域外，均为置信度可衡量区域。图像中每个像素点均对应着一个置信度，为了抑制图像中的噪声，可以设定置信度不可衡量区域的置信度为预设置信度，其中，预设置信度为置信度较小的值。
对于置信度可衡量区域，可以通过预设的置信度计算策略计算置信度可衡量区域的置信度，具体地，可以通过ZNCC(Zero-mean normalized cross-correlation，零均值归一化相关算法)计算当前深度信息d对应的像素点x的损失代价，基于当前深度信息d对应的像素点x的损失代价，结合基于评分匹配策略获取图像的像素点的损失代价、在图像的像素点的曲率处的损失代价、基于朴素的峰值平均功率比值策略获取的图像的像素点的损失代价以及基于左右视图差策略获取的图像的像素点的损失代价，计算得到置信度可衡量区域的置信度，具体方法如下公式(1)所示：
Figure BDA0001778452510000081
其中，Cwdc表示置信度可衡量区域的置信度，wdc表示置信度可衡量区域，cmsm表示基于评分匹配策略获取的图像的像素点的损失代价，τmsm表示基于评分匹配策略获取的图像的像素点的损失代价阈值，msm表示评分匹配策略，ccur表示在图像的像素点的曲率处的损失代价，τcur表示在图像的像素点的曲率处的损失代价阈值，cur表示图像的像素点的曲率，cpkrn表示基于朴素的峰值平均功率比值策略获取的图像的像素点的损失代价，τpkrn表示基于朴素的峰值平均功率比值策略获取的图像的像素点的损失代价阈值，pkrn表示基于朴素的峰值平均功率比值策略，clrd表示基于左右视图差策略获取的图像的像素点的损失代价，τlrd表示，lrd表示基于左右视图差策略获取的图像的像素点的损失代价阈值，
Figure BDA0001778452510000082
表示置信度可衡量区域的置信度阈值。
通过将图像分为置信度不可衡量区域和置信度可衡量区域，并分别得到置信度不可衡量区域和置信度可衡量区域对应的置信度，可以得到图像金字塔中每一层图像的置信度，具体如公式(2)所示：
Cfinal＝Ccorr(λCndc+(1-λ)Cwdc) (2)
其中，Cfinal表示图像的置信度，Ccorr表示根据左右一致性得到的初始置信度，λ表示根据图像的区域类型进行切换的开关变量(当像素点位于置信度不可衡量区域时，λ为1，当像素点位于置信度可衡量区域时，λ为0)，Cndc表示置信度不可衡量区域的置信度，Cwdc表示置信度可衡量区域的置信度。
步骤S103：根据纹理信息和深度置信度将上一层图像的深度信息上采样至当前层图像；
得到当前层图像的深度置信度和纹理信息后，可以根据预设的上采样策略，将上一层图像的深度信息上采样至当前层图像。可以利用多个预设的上采样策略，并且根据纹理信息和深度置信度将上一层图像的深度信息上采样至当前层图像，得到多个上采样结果，将多个上采样结果进行融合，可以得到最终的上采样结果。
具体地，预设的上采样策略可以包括基于置信度的融合三线索上采样策略和基于加权股票的上采样策略，还可以包括双三次插值。在实际应用中，若当前层的图像的像素点位于置信度不可衡量区域，将基于加权投票的上采样策略获取的深度信息作为当前层的图像中置信度不可衡量区域的深度信息；若当前层的图像的像素点位于置信度可衡量区域，将基于置信度的融合三线索上采样策略获取的深度信息作为当前层的图像中置信度可衡量区域的深度信息。
基于加权投票的上采样策略获取图像的深度信息的方法如下公式(3)所示：
Figure BDA0001778452510000091
其中，
Figure BDA0001778452510000092
表示基于加权投票的上采样策略获取的所述图像金字塔中第i+1层的深度信息，wvu表示基于加权投票的上采样策略，Zwvu表示基于加权投票的上采样策略的归一化参数，
Figure BDA0001778452510000093
表示所述图像金字塔中第i+1层的图像中区域N的中心点的像素，c表示区域N的中心点，xi+1表示所述图像金字塔中第i+1层的图像中区域N内的像素点，
Figure BDA0001778452510000094
表示所述图像金字塔中第i层图像的开关函数，d表示原始深度信息，
Figure BDA0001778452510000095
表示所述图像金字塔中第i+1层的图像中区域N的中心点的深度关于颜色距离的权重，
Figure BDA0001778452510000096
表示所述图像金字塔中第i+1层的图像中区域N中某一像素点的深度关于空间距离的权重，s表示所述图像金字塔中第i+1层的图像中区域N中某一像素点，
Figure BDA0001778452510000097
表示所述图像金字塔中第i层图像中点xi对应的深度信息。
基于置信度的融合三线索上采样策略获取图像的深度信息的方法如下公式(4)所示：
Figure BDA0001778452510000098
其中，
Figure BDA0001778452510000099
表示基于置信度的融合三线索上采样策略获取的所述图像金字塔中第i+1层的深度信息，cjcu表示基于置信度的融合三线索上采样策略，Zcjcu表示基于置信度的融合三线索上采样策略的归一化参数，
Figure BDA0001778452510000101
表示所述图像金字塔中第i层图像中某个点关于深度距离的权重。
在公式(3)和(4)中：
Figure BDA0001778452510000102
Figure BDA0001778452510000103
Figure BDA0001778452510000104
其中，Cx,
Figure BDA0001778452510000105
分别为点x,xc对应的置信度，σd,σc,σs为对应的关于深度距离，颜色距离以及空间距离对应的可调参数。
根据图像的像素点在置信度可衡量区域和不可衡量区域的情况，可以按照公式(5)所示的方法对多个上采样结果进行融合得到最终的上采样结果：
Figure BDA0001778452510000106
其中，
Figure BDA0001778452510000107
表示三通道信息中最大的置信度对应的深度信息。
步骤S104：根据当前层图像的纹理信息和经上采样后的深度信息重新获取当前层图像的深度置信度；
获取的当前层的图像深度信息中可能引入了其他噪声，为了降低噪声，并且加入图像的细节信息，可以对当前层的图像深度信息进行微调，重新获取当前层图像的深度置信度。具体地，可以根据图像的深度信息对应的置信度筛选出需要进行微调的深度信息，判断当前层图像的深度信息置信度是否小于预设的置信度阈值，若是，则在预设的调整范围内选取若干个参考置信度，其中，预设的置信度阈值可以是0.3。举例来说，若当前层图像的深度信息置信度为0.1，预设的调整范围为0.1，则可以选取置信度为0.12，0.14，0.16，0.18和0.2这5个参考置信度，并根据预设的调整策略获取这5个参考置信度对应的代价损失，其中，预设的调整策略可以是WTA(winner-take-all)策略，计算参考置信度的代价损失，将代价损失最小的参考置信度对应的深度信息替换小于预设的置信度阈值的置信度对应的深度信息。
步骤S105：根据纹理信息和重新获取的深度置信度优化经上采样后的深度信息并且对优化后的深度信息进行平滑和滤波处理。
为了进一步优化上采样的深度信息，可以根据纹理信息和重新获取的深度置信度优化经上采样后的深度信息，并且对优化后的深度信息进行平滑和滤波处理，具体可以按公式(6)所示的方法对优化后的深度信息进行平滑和滤波处理：
Figure BDA0001778452510000111
其中，E表示待优化的深度信息，
Figure BDA0001778452510000112
表示点xc的初始置信度，
Figure BDA0001778452510000113
表示点xc的初始深度信息，ψC表示中间变量，
Figure BDA0001778452510000114
表示关于深度信息的权重，ε表示预设的调整参数，是一个很小的值，可以避免分母为零。
对公式(6)进行求解，当公式(6)中导数为零时，可以得到迭代化优化的结果，具体地，可以调整
Figure BDA0001778452510000115
的值使其最小，并通过高斯牛顿法求解公式(6)，从而可以得到最优的深度信息。
参阅附图3，图3示例性地给出了对优化后的深度信息进行平滑和滤波处理的结果图。图3中的灰色部分表示噪声点，CBU表示基于置信度的上采样，CBFT表示基于置信度的微调，CBOPT表示基于置信度的优化。从图3中可以看出通过本发明的方法图像深度信息中的噪声得到了很好的抑制。
参阅附图4，图4示例性地给出了本发明与现有技术对含有噪声的深度信息进行上采样的结果对比图。图4中最左边一列表示含有噪声的深度信息图，NGS表示高斯噪声，NSP表示椒盐噪声，JBU表示采用双边插值的上采样方案，FGI表示快速马尔科夫随机场的上采样方案，GIF表示基于滤波的上采样方案，右边表示现有技术对含有噪声的深度信息进行上采样的结果图，其中，NAFDU表示噪声已知的深度上采样方案，MBU表示基于马尔科夫随机场的方案，WMF表示加权中值滤波的方案，JGU表示基于测地线距离的方案，Proposed表示本发明的方案。
参阅附图5，图5示例性地给出了本发明与现有技术对不含噪声的深度信息进行上采样的结果对比图。图5中最左边一列表示不含噪声的深度信息图，GT表示，MSG-Net表示基于深度学习的上采样方案，FGI表示基于快速马尔科夫随机场的方案。
从图4和图5可以看出本发明的方案相比现有技术的方案具有很好的噪声抑制效果。
步骤S106：判断当前层图像的分辨率是否达到预设的目标分辨率：若否，则转至步骤S102。
将当前层图像的分辨率与预设的目标分辨率进行比较，判断当前层图像的分辨率是否达到预设的目标分辨率，若是，则得到高质量高分辨率的深度图像，若否，则跳转至步骤S102，重新计算当前层图像的分辨率，直至当前层图像的分辨率达到预设的目标图像。
上述实施例中虽然将各个步骤按照上述先后次序的方式进行了描述，但是本领域技术人员可以理解，为了实现本实施例的效果，不同的步骤之间不必按照这样的次序执行，其可以同时(并行)执行或以颠倒的次序执行，这些简单的变化都在本发明的保护范围之内。
本领域技术人员应该能够意识到，结合本文中所公开的实施例描述的各示例的方法步骤，能够以电子硬件、计算机软件或者二者的结合来实现，为了清楚地说明电子硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以电子硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。本领域技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。
需要说明的是，本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不是用于描述或表示特定的顺序或先后次序。应该理解这样使用的数据在适当的情况下可以互换，以便这里描述的本发明的实施例能够以除了在这里图示或描述的那些以外的顺序实施。
至此，已经结合附图所示的优选实施方式描述了本发明的技术方案，但是，本领域技术人员容易理解的是，本发明的保护范围显然不局限于这些具体实施方式。在不偏离本发明的原理的前提下，本领域技术人员可以对相关技术特征做出等同的更改或替换，这些更改或替换之后的技术方案都将落入本发明的保护范围之内。

Claims (10)

1.一种基于置信度的结构化的双目深度图上采样方法，其特征在于包括：
步骤S101：获取目标体的高分辨率纹理图像并且对所述高分辨率纹理图像进行降采样形成图像金字塔；
步骤S102：根据所述图像金字塔中当前层图像的纹理信息和深度信息获取所述当前层图像的深度置信度；
步骤S103：根据所述纹理信息和深度置信度将上一层图像的深度信息上采样至所述当前层图像；
步骤S104：根据所述当前层图像的纹理信息和经所述上采样后的深度信息重新获取所述当前层图像的深度置信度；
步骤S105：根据所述纹理信息和重新获取的深度置信度优化所述经上采样后的深度信息并且对优化后的深度信息进行平滑和滤波处理；
步骤S106：判断所述当前层图像的分辨率是否达到预设的目标分辨率：若否，则转至步骤S102。
2.根据权利要求1所述的基于置信度的结构化的双目深度图上采样方法，其特征在于，“根据所述图像金字塔中当前层图像的纹理信息和深度信息获取所述当前层图像的深度置信度”的步骤包括：
根据所述纹理信息和/或深度信息将所述当前层图像划分为置信度不可衡量区域和置信度可衡量区域；
获取所述置信度不可衡量区域和置信度可衡量区域的置信度；
根据所述置信度不可衡量区域和置信度可衡量区域的置信度并且按照下式所示的方法计算所述当前层图像的深度置信度：
Cfinal＝Ccorr(λCndc+(1-λ)Cwdc)
其中，所述Cfinal是所述当前层图像的深度置信度，所述Ccorr是预设的初始置信度，所述Cndc是置信度不可衡量区域的置信度，所述Cwdc是置信度可衡量区域的置信度；所述λ是预设的开关变量且λ＝0或1；
其中，所述置信度不可衡量区域为图像中纹理稀疏区域、被遮挡区域以及深度边缘区域，所述置信度可衡量区域为图像中除所述置信度不可衡量区域外的区域。
3.根据权利要求2所述的基于置信度的结构化的双目深度图上采样方法，其特征在于，“获取所述置信度不可衡量区域和置信度可衡量区域的置信度”的步骤包括：
设定所述置信度不可衡量区域的置信度为预设置信度；
按照下式所示的方法获取所述置信度可衡量区域的置信度：
Figure FDA0002675404380000021
其中，cmsm表示基于评分匹配策略获取的图像的像素点的损失代价，τmsm表示基于评分匹配策略获取的图像的像素点的损失代价阈值，msm表示评分匹配策略，ccur表示在图像的像素点的曲率处的损失代价，τcur表示在图像的像素点的曲率处的损失代价阈值，cur表示图像的像素点的曲率，cpkrn表示基于朴素的峰值平均功率比值策略获取的图像的像素点的损失代价，τpkrn表示基于朴素的峰值平均功率比值策略获取的图像的像素点的损失代价阈值，pkrn表示基于朴素的峰值平均功率比值策略，clrd表示基于左右视图差策略获取的图像的像素点的损失代价，τlrd表示基于左右视图差策略获取的图像的像素点的损失代价阈值，lrd表示基于左右视图差策略，
Figure FDA0002675404380000022
表示所述置信度可衡量区域的置信度阈值。
4.根据权利要求2所述的基于置信度的结构化的双目深度图上采样方法，其特征在于，“根据所述纹理信息和深度置信度将上一层图像的深度信息上采样至所述当前层图像”的步骤包括：
利用多个预设的上采样策略并且根据所述纹理信息和深度置信度将上一层图像的深度信息上采样至所述当前层图像，得到多个上采样结果；
对所述多个上采样结果进行融合得到最终的上采样结果。
5.根据权利要求4所述的基于置信度的结构化的双目深度图上采样方法，其特征在于，所述预设的上采样策略包括：基于置信度的融合三线索上采样策略以及基于加权投票的上采样策略；“利用多个预设的上采样策略并且根据所述纹理信息和深度置信度将上一层图像的深度信息上采样至所述当前层图像”的步骤包括：
若所述当前层图像的像素点位于置信度不可衡量区域，将所述基于加权投票的上采样策略获取的深度信息作为所述当前层图像中置信度不可衡量区域的深度信息；
若所述当前层图像的像素点位于置信度可衡量区域，将所述基于置信度的融合三线索上采样策略获取的深度信息作为所述当前层图像中置信度可衡量区域的深度信息。
6.根据权利要求5所述的基于置信度的结构化的双目深度图上采样方法，其特征在于，在“将所述基于加权投票的上采样策略获取的深度信息作为所述当前层图像中置信度不可衡量区域的深度信息”的步骤之前，所述方法还包括：
按照下式所示的方法获取所述当前层图像中置信度不可衡量区域的深度信息：
Figure FDA0002675404380000031
其中，
Figure FDA0002675404380000032
表示基于加权投票的上采样策略获取的所述图像金字塔中第i+1层的深度信息，wvu表示基于加权投票的上采样策略，Zwvu表示基于加权投票的上采样策略的归一化参数，
Figure FDA0002675404380000033
表示所述图像金字塔中第i+1层的图像中区域N的中心点的像素，c表示区域N的中心点，xi+1表示所述图像金字塔中第i+1层的图像中区域N内的像素点，
Figure FDA0002675404380000034
表示所述图像金字塔中第i层图像的开关函数，d表示原始深度信息，
Figure FDA0002675404380000035
表示所述图像金字塔中第i+1层的图像中区域N的中心点的深度关于颜色距离的权重，
Figure FDA0002675404380000036
表示所述图像金字塔中第i+1层的图像中区域N中某一像素点的深度关于空间距离的权重，s表示所述图像金字塔中第i+1层的图像中区域N中某一像素点，
Figure FDA0002675404380000037
表示所述图像金字塔中第i层图像中点xi对应的深度信息。
7.根据权利要求5所述的基于置信度的结构化的双目深度图上采样方法，其特征在于，在“将所述基于置信度的融合三线索上采样策略获取的深度信息作为所述当前层图像中置信度可衡量区域的深度信息”的步骤之前，所述方法还包括：
按照下式所示的方法获取所述当前层图像中置信度可衡量区域的深度信息：
Figure FDA0002675404380000041
其中，
Figure FDA0002675404380000042
表示基于置信度的融合三线索上采样策略获取的所述图像金字塔中第i+1层的深度信息，cjcu表示基于置信度的融合三线索上采样策略，Zcjcu表示基于置信度的融合三线索上采样策略的归一化参数，
Figure FDA0002675404380000043
表示所述图像金字塔中第i层图像中某个点关于深度距离的权重，xi+1表示所述图像金字塔中第i+1层的图像中区域N内的像素点，
Figure FDA0002675404380000044
表示所述图像金字塔中第i+1层的图像中区域N的中心点的深度关于颜色距离的权重，
Figure FDA0002675404380000045
表示所述图像金字塔中第i+1层的图像中区域N中某一像素点的深度关于空间距离的权重，
Figure FDA0002675404380000046
表示所述图像金字塔中第i层图像中点xi对应的深度信息。
8.根据权利要求5-7中任一项所述的基于置信度的结构化的双目深度图上采样方法，其特征在于，“对所述多个上采样结果进行融合得到最终的上采样结果”的步骤包括：
按照下式所示的方法对多个上采样结果进行融合得到最终的上采样结果：
Figure FDA0002675404380000047
其中，
Figure FDA0002675404380000048
表示所述图像金字塔中第i+1层的上采样结果，
Figure FDA0002675404380000049
表示基于置信度的融合三线索上采样策略获取的所述图像金字塔中第i+1层的三通道信息中最大的置信度对应的深度信息。
9.根据权利要求1-7中任一项所述的基于置信度的结构化的双目深度图上采样方法，其特征在于，“根据所述纹理信息和重新获取的深度置信度优化所述经上采样后的深度信息”的步骤包括：
判断所述当前层图像的深度信息置信度是否小于预设的置信度阈值；
若是，则在预设的调整范围中选取若干个参考置信度；
根据预设的调整策略获取若干个所述参考置信度对应的代价损失，将代价损失最小的参考置信度对应的深度信息替换小于预设的置信度阈值的置信度对应的深度信息。
10.根据权利要求1-7中任一项所述的基于置信度的结构化的双目深度图上采样方法，其特征在于，“对优化后的深度信息进行平滑和滤波处理”步骤包括：
按照下式所述的方法对所述深度信息进行平滑和滤波处理：
Figure FDA0002675404380000051
Figure FDA0002675404380000052
其中，E表示平滑滤波的公式，
Figure FDA0002675404380000053
表示点xc的初始置信度，
Figure FDA0002675404380000054
表示点xc的初始深度信息，ψC表示中间变量，
Figure FDA0002675404380000055
表示关于深度信息的权重，ε表示预设的调整参数，λ表示根据图像的区域类型进行切换的开关变量，当像素点位于置信度不可衡量区域时，λ为1，当像素点位于置信度可衡量区域时，λ为0。
CN201810980748.0A 2018-08-27 2018-08-27 基于置信度的结构化的双目深度图上采样方法 Expired - Fee Related CN109410259B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810980748.0A CN109410259B (zh) 2018-08-27 2018-08-27 基于置信度的结构化的双目深度图上采样方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810980748.0A CN109410259B (zh) 2018-08-27 2018-08-27 基于置信度的结构化的双目深度图上采样方法

Publications (2)

Publication Number Publication Date
CN109410259A CN109410259A (zh) 2019-03-01
CN109410259B true CN109410259B (zh) 2020-10-27

Family

ID=65464381

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810980748.0A Expired - Fee Related CN109410259B (zh) 2018-08-27 2018-08-27 基于置信度的结构化的双目深度图上采样方法

Country Status (1)

Country Link
CN (1) CN109410259B (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110864670B (zh) * 2019-11-27 2022-02-08 苏州智加科技有限公司 目标障碍物位置的获取方法和系统
CN114155425B (zh) * 2021-12-13 2023-04-07 中国科学院光电技术研究所 基于高斯马尔可夫随机场运动方向估计的弱小目标检测方法
WO2023245378A1 (zh) * 2022-06-20 2023-12-28 北京小米移动软件有限公司 一种图像的深度信息置信度的确定方法、装置及存储介质

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101969564A (zh) * 2010-10-29 2011-02-09 清华大学 一种用于三维立体电视的深度视频压缩的上采样方法
CN102761764A (zh) * 2012-07-16 2012-10-31 清华大学 一种用于三维立体视频的深度图片的上采样方法
CN103049914A (zh) * 2012-12-19 2013-04-17 香港应用科技研究院有限公司 基于边界的高分辨率深度图生成
US8737723B1 (en) * 2010-12-09 2014-05-27 Google Inc. Fast randomized multi-scale energy minimization for inferring depth from stereo image pairs
KR101632514B1 (ko) * 2014-12-30 2016-06-21 한국과학기술원 깊이 영상 업샘플링 방법 및 장치
CN105869167A (zh) * 2016-03-30 2016-08-17 天津大学 基于主被动融合的高分辨率深度图获取方法
CN108269280A (zh) * 2018-01-05 2018-07-10 厦门美图之家科技有限公司 一种深度图像的处理方法及移动终端

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8325186B2 (en) * 2009-05-21 2012-12-04 Sony Computer Entertainment America Llc Method and apparatus for rendering shadows

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101969564A (zh) * 2010-10-29 2011-02-09 清华大学 一种用于三维立体电视的深度视频压缩的上采样方法
US8737723B1 (en) * 2010-12-09 2014-05-27 Google Inc. Fast randomized multi-scale energy minimization for inferring depth from stereo image pairs
CN102761764A (zh) * 2012-07-16 2012-10-31 清华大学 一种用于三维立体视频的深度图片的上采样方法
CN103049914A (zh) * 2012-12-19 2013-04-17 香港应用科技研究院有限公司 基于边界的高分辨率深度图生成
KR101632514B1 (ko) * 2014-12-30 2016-06-21 한국과학기술원 깊이 영상 업샘플링 방법 및 장치
CN105869167A (zh) * 2016-03-30 2016-08-17 天津大学 基于主被动融合的高分辨率深度图获取方法
CN108269280A (zh) * 2018-01-05 2018-07-10 厦门美图之家科技有限公司 一种深度图像的处理方法及移动终端

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
A Consensus-Driven Approach for Structure and Texture Aware Depth Map Upsampling;Ouk Choi 等;《IEEE Transactions on Image Processing》;20140609;第23卷(第8期);第3321-3335页 *
Robust，Efficient Depth Reconstruction With Hierarchical Confidence-Based Matching;Li Sun 等;《IEEE Transactions on Image Processing》;20170324;第26卷(第7期);第3331-3343页 *
基于TOF深度摄像机的深度超分辨率恢复和深度融合研究;刘力维;《中国博士学位论文全文数据库信息科技辑》;20150515;第I136-80页 *
基于置信度的TOF与双目系统深度数据融合;孙哲 等;《北京航空航天大学学报》;20180210;第44卷(第8期);第1764-1771页 *

Also Published As

Publication number Publication date
CN109410259A (zh) 2019-03-01

Similar Documents

Publication Publication Date Title
CN110287846B (zh) 一种基于注意力机制的人脸关键点检测方法
US10346997B2 (en) Depth estimation method based on light-field data distribution
WO2018000752A1 (zh) 一种基于多尺度cnn和连续crf的单目图像深度估计方法
Yang et al. Spatial-depth super resolution for range images
CN109410259B (zh) 基于置信度的结构化的双目深度图上采样方法
CN102867288B (zh) 深度图像转换设备和方法
CN109782414B (zh) 一种基于无参考结构清晰度的自动调焦方法
CN111612817A (zh) 基于深浅特征自适应融合与上下文信息的目标跟踪方法
EP2757789A1 (en) Image processing system, image processing method, and image processing program
CN113221925B (zh) 一种基于多尺度图像的目标检测方法及装置
KR101869266B1 (ko) 극한 심층학습 기반 차선 검출 시스템 및 그 방법
CN111861880A (zh) 基于区域信息增强与块自注意力的图像超分与融合方法
CN102651124A (zh) 基于冗余字典稀疏表示和评价指标的图像融合方法
CN112602114A (zh) 图像处理方法及装置、神经网络及训练方法、存储介质
CN115797607B (zh) 一种增强vr真实效果的图像优化处理方法
CN106600613A (zh) 基于嵌入式gpu的改进lbp红外目标检测方法
CN112184731A (zh) 一种基于对抗性训练的多视图立体深度估计方法
Pan et al. An adaptive multifeature method for semiautomatic road extraction from high-resolution stereo mapping satellite images
US8472756B2 (en) Method for producing high resolution image
CN110335228B (zh) 一种图像视差的确定方法、装置及系统
CN112508832A (zh) 一种面向对象的遥感影像数据时空融合方法、系统及设备
CN116310832A (zh) 遥感图像处理方法、装置、设备、介质及产品
CN114862883A (zh) 一种目标边缘提取方法、图像分割方法及系统
CN108460383A (zh) 基于神经网络与图像分割的图像显著性精化方法
CN110490877B (zh) 基于Graph Cuts的双目立体图像对目标分割方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20201027