CN113269689B - 一种基于法向量和高斯权重约束的深度图像补全方法及系统 - Google Patents

一种基于法向量和高斯权重约束的深度图像补全方法及系统 Download PDF

Info

Publication number
CN113269689B
CN113269689B CN202110574430.4A CN202110574430A CN113269689B CN 113269689 B CN113269689 B CN 113269689B CN 202110574430 A CN202110574430 A CN 202110574430A CN 113269689 B CN113269689 B CN 113269689B
Authority
CN
China
Prior art keywords
gaussian
constraint
depth image
normal vector
depth
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110574430.4A
Other languages
English (en)
Other versions
CN113269689A (zh
Inventor
杨勐
任东冉
郑南宁
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Xian Jiaotong University
Original Assignee
Xian Jiaotong University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Xian Jiaotong University filed Critical Xian Jiaotong University
Priority to CN202110574430.4A priority Critical patent/CN113269689B/zh
Publication of CN113269689A publication Critical patent/CN113269689A/zh
Application granted granted Critical
Publication of CN113269689B publication Critical patent/CN113269689B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/136—Segmentation; Edge detection involving thresholding
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Biophysics (AREA)
  • Mathematical Physics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Biomedical Technology (AREA)
  • Software Systems (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

本发明公开了一种基于法向量和高斯权重约束的深度图像补全方法及系统，输入深度图像对应的彩色图像，通过结构预测网络将深度图像划分为平滑区域和结构区域；对平滑区域使用法向量预测网络输出法向量特征并构建法向量约束项；对结构区域使用高斯核在对应彩色图像中提取高斯结构权重，构成高斯约束项；结合法向量约束项和高斯约束项构建全局优化目标方程并加入缺失深度图像，构建数据约束项作为全局优化目标方程的输入数据；迭代执行全局优化目标方程，直到低于设定的提升率或达到最大迭代次数，输出深度图像补全结果。本发明不仅能够对内容严重缺失的深度图像进行数据补全，并且能够保证补全结果中结构的准确度和深度值的平滑度。

Description

一种基于法向量和高斯权重约束的深度图像补全方法及系统
技术领域
本发明属于图像处理技术领域，具体涉及一种基于法向量和高斯权重约束的深度图像补全方法及系统。
背景技术
深度传感器可以有效地提供三维场景中物体的结构与位置信息，其收集的深度数据在联合彩色图的辅助下能够对真实的三维场景进行重建和渲染。基于这一特性，深度传感器已经被广泛的应用在虚拟现实、增强现实、人机交互游戏、无人驾驶和机器人导航等三维感知应用中。现阶段主流深度传感器使用的三维感知技术主要为结构光技术、飞行时间技术和激光脉冲技术：结构光技术通过发射红外光线对物体表面进行扫描，根据光信号在物体表面的变化来计算物体的距离和结构信息；飞行时间技术通过红外光信号在发射器和接收器之间往返的飞行时间来计算测量点的距离信息；激光脉冲技术使用激光器发射穿透能力强的激光束，并通过雷达定位技术来准确定位光斑的位置，以此来获取测量点的距离信息。但由于这些技术仍处于不成熟阶段，对于光照、距离、折射率等真实环境因素的抗干扰能力较差，使得最终获取的深度图像中含有大量的内容缺失，若将此类缺失的深度数据用于三维场景重建中则会导致场景中物体结构的失真和缺失，这对于三维感知应用来说具有严重的影响。例如，搭载了低精度激光雷达的自动引导车常常由于深度数据的缺失而无法正确躲避小型障碍物。近年来，如何通过计算方法对深度数据进行预处理而补全出高质量的深度图像已经成为了三维计算机视觉领域亟待解决的关键问题之一。
现有的深度图像补全方法主要分为以下几类：一、借鉴于传统自然图像修补方法的补全方法。由于深度图像和自然图像的特性具有本质的不同，且深度图像的缺失状况通常要严重于自然图像，因此完全并准确地补全缺失深度数据对此类方法来说是困难的。二、融合多视角失真深度图像的补全算法。此类方法通过对同一场景中不同视角的深度图像进行采集，再通过数据配准和表面拼合算法将多视角失真图像重建为高质量的单视角深度图像。此类方法对深度图像的收集条件较为苛刻，且不适用于单幅缺失深度图像的补全任务。三、基于神经网络技术的补全方法。此类方法将大量的深度数据和引导彩色图像作为输入，使用神经网络技术进行特征提取和模型训练，最终通过拟合的网络模型对缺失的深度数据进行补全。此类方法依赖于缺失深度图像中的原始数据，当深度数据缺失严重时，该类方法的补全结果将会出现较大的误差。
深度图像通常由场景中的平滑区域和物体结构组成，现存的大量深度图像补全方法仅专注于平滑区域的深度信息补全，而忽视了深度补全结果中物体结构的准确度。例如，基于神经网络技术的补全方法作为目前主流深度图像补全技术，倾向于对已有的深度数据进行复制和插值，而物体结构相较于平滑区域通常只在场景中占据较小比例，从而导致该类方法的补全结果中存在大量失真结构信息。而结构信息对于三维场景中的物体重建至关重要，尤其是对于体感游戏等需要高精度三维结构的室内三维感知应用。因此，如何高精度地补全深度图像中的结构信息已经成为了深度补全问题的关键。
发明内容
本发明所要解决的技术问题在于针对上述现有技术中的不足，提供一种基于法向量和高斯权重约束的深度图像补全方法及系统，能够在深度图像数据严重缺失的情况下，实现对深度图像的准确补全，克服现有深度补全工作中物体结构信息不准确的缺点。
本发明采用以下技术方案：
一种基于法向量和高斯权重约束的深度图像补全方法，包括以下步骤：
S1、输入深度图像对应的彩色图像，通过结构预测网络将深度图像划分为平滑区域和结构区域；
S2、对于平滑区域，使用法向量预测网络输出法向量特征并构建法向量约束项；
S3、对于结构区域，使用高斯核在对应彩色图像中提取高斯结构权重，构成高斯约束项；
S4、结合步骤S2的法向量约束项和步骤S3的高斯约束项构建全局优化目标方程，将缺失深度图像加入全局优化目标方程中，构建数据约束项作为全局优化目标方程的输入数据；
S5、迭代执行全局优化目标方程，直到低于设定的提升率或达到最大迭代次数，输出深度图像补全结果。
具体的，步骤S1具体为：
S101、输入缺失深度图像对应的高质量彩色图像，使用结构预测网络生成边界概率矩阵B；
S102、以边界概率矩阵划分平滑区域与结构区域，根据设定的区域划分阈值θ，边界概率矩阵B中边界概率大于θ的像素点被划分为结构区域，边界概率小于θ的被划分为平滑区域。
具体的，步骤S2具体为：
S201、针对图像平滑区域，使用法向量预测网络生成图像法向量N；
S202、通过相机内外参数计算深度图像中坐标点D(x,y)在三维坐标系中的位置P(x,y)；
S203、对三维坐标P(x,y)求偏导数，计算坐标P(x,y)处x方向和y方向的切向量；
S204、通过法向量和切向量之间的正交关系建立法向量约束En；
S205、使用边界概率矩阵B加权法向量约束项En，削弱法向量约束在结构区域的约束作用。
进一步的，步骤S04中，法向量约束项定义如下：
其中，q表示深度图像D中的某一像素点，p表示以q为中心点的3×3的窗口φ(q)内的像素点，Nq为像素点q处的法向量，为像素点p处x方向的切向量，/>为像素点p处y方向的切向量。
具体的，步骤S3具体为：
S301、针对深度图像结构区域，使用高斯核从对应的彩色图像中提取几何结构信息，对于给定的彩色图像I，计算高斯权重ωp,q；
S302、通过高斯权重提供的结构信息构建高斯权重约束EG；
S303、在高斯权重约束项EG中加入自适应函数
进一步的，步骤S303中，高斯权重约束项EG更新为如下公式：
其中，ωp,q为像素点p和q之间的高斯权重，q表示深度图像D中的某一像素点，p表示以q为中心点的7×7的窗口φ(q)内的像素点，D(p)和D(q)分别为像素点p和q处的深度值。
更进一步的，自适应函数φ(x2)如下：
其中，μ为彩色纹理度量参数，x为自变量函数输入数值。
具体的，步骤S4中，数据项约束EO计算如下：
其中，D(q)和Do(q)分别为像素点q在补全深度图像和初始深度图像中的深度值。
具体的，步骤S4中，全局优化问题的目标函数为：
其中，EO、ENB和EG分别为全局优化模型的数据项、平滑项和结构项，λO,λN,λG代表每一项的正则化参数，n表示优化模型第n次迭代过程，D为方程求解后输出的补全深度图像。
本发明的另一技术方案是，一种基于法向量和高斯权重约束的深度图像补全系统，包括：
划分模块，输入深度图像对应的彩色图像，通过结构预测网络将深度图像划分为平滑区域和结构区域；
法向量约束模块，对于划分模块划分的平滑区域，使用法向量预测网络输出法向量特征并构建法向量约束项；
高斯约束模块，对于划分模块划分的结构区域，使用高斯核在对应彩色图像中提取高斯结构权重，构成高斯约束项；
优化模块，结合法向量约束模块的法向量约束项和高斯约束模块的高斯约束项构建全局优化目标方程，将缺失深度图像加入全局优化目标方程，构建数据约束项作为全局优化目标方程的输入数据；
输出模块，迭代执行全局优化目标方程，直到低于设定的提升率或达到最大迭代次数，输出深度图像补全结果。
与现有技术相比，本发明至少具有以下有益效果：
本发明一种基于法向量和高斯权重约束的深度图像补全方法，结合神经网络和全局优化技术，根据不同的结构特征对图像进行区域划分，并分别采用不同的局部几何特征对不同区域的补全过程进行约束，因此补全结果图中物体结构准确且清晰，对于严重的深度数据缺失具有良好的适应性，模型泛化能力强且精确度高。
进一步的，通过利用物体结构预测网络对深度图像中的平滑区域和结构区域进行划分，分别对两种不同区域的补全过程进行针对性处理，避免图像整体处理而产生的物体轮廓模糊问题。
进一步的，通过利用法向量预测网络生成图像法向量特征，并使用法向量特征对深度图像中平滑区域的补全过程进行约束，可以有效的消除平滑区域中的异常深度值，保证补全结果中平滑区域的平滑度。
进一步的，图像法向量特征能够有效提供平滑区域的几何结构信息而不受彩色图像中彩色纹理的干扰，根据深度信息先验知识：在较小邻域中，处于相同平面的像素之间应当具有相同或相似的深度数值。通过设置法向量约束项，能够有效地降低原始数据中异常值对最终补全结果的影响，以及能够保证相同几何平面中深度数值的平滑度。
进一步的，利用高斯核从深度图像的对应彩色图像中提取高斯结构权重ωp,q，并使用ωp,q所提供的结构信息用来约束深度图像中结构区域的补全过程，使得补全结果中的物体结构准确且清晰。
进一步的，对于深度结构区域，图像的彩色纹理通常对应着物体的轮廓结构，使用对纹理信息敏感的高斯结构权重能够有效地表示深度结构区域中不同像素点之间的关系：对于处在同一物体中的像素点之间具有较大的高斯权重，反之，处于不同物体中的像素点之间具有较小的高斯权重。通过设置高斯权重约束项EG能够有效地约束深度结构区域的深度补全过程，使得补全结果中的物体结构更加准确且清晰。
进一步的，通过设置自适应函数能够有效地解决深度补全结果中物体边界上的深度模糊和失真问题。自适应函数能够根据局部邻域中彩色纹理的复杂程度来动态的调整高斯结构权重：对于纹理复杂的邻域，自适应函数动态降低高斯核敏感度，以减轻纹理干扰所带来的影响；对于纹理简单的邻域，自适应函数动态提升高斯核敏感度，以加强高斯核提取纹理的能力。
进一步的，通过设置数据约束项EO，能够有效地维持深度补全结果与原始深度数据之间的保真度。数据约束项中通过设置L2正则化来维持求解数值与原始数值之间的距离，同时给予数据约束项以较大的正则化参数来保证该约束的优先级。
进一步的，使用高斯约束、法向量约束和数据项约束构建全局优化模型的目标函数，迭代地执行优化模型，动态改变正则化参数，多项约束共同作用使得最终的补全结果在图像平滑的基础上同时具有清晰而准确的边缘，提升补全深度图像的整体质量。
综上所述，本发明不仅能够对内容严重缺失的深度图像进行数据补全，并且能够保证补全结果中结构的准确度和深度值的平滑度。
下面通过附图和实施例，对本发明的技术方案做进一步的详细描述。
附图说明
图1为本发明的整体流程图；
图2为本发明所使用的神经网络架构图；
图3为本发明的输入图，其中(a)为彩色图像，(b)为内容缺失的深度图像；
图4为本发明使用神经网络预测的图像法向量结果图；
图5为本发明使用高斯核提取的高斯结构结果图；
图6为本发明的输出结果图；
图7为本发明补全后的深度图像和其他方法补全后的深度图像之间的主观对比。其中，(a)输入彩色图，(b)输入深度图，(c)非局部空间传播网络方法(NLSPN)补全结果，(d)基于卷积神经网络的室内场景理解方法(FCN)补全结果，(e)深度补全方法(DDC)补全结果，(f)边界一致和注意力机制方法(BCSA)补全结果，(g)深度表面法线引导方法(SG)补全结果，(h)本发明所述方法的补全结果；
图8为本发明补全后的深度图像与其他方法补全后的深度图像之间的客观对比图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
应当理解，当在本说明书和所附权利要求书中使用时，术语“包括”和“包含”指示所描述特征、整体、步骤、操作、元素和/或组件的存在，但并不排除一个或多个其它特征、整体、步骤、操作、元素、组件和/或其集合的存在或添加。
还应当理解，在本发明说明书中所使用的术语仅仅是出于描述特定实施例的目的而并不意在限制本发明。如在本发明说明书和所附权利要求书中所使用的那样，除非上下文清楚地指明其它情况，否则单数形式的“一”、“一个”及“该”意在包括复数形式。
还应当进一步理解，在本发明说明书和所附权利要求书中使用的术语“和/或”是指相关联列出的项中的一个或多个的任何组合以及所有可能组合，并且包括这些组合。
在附图中示出了根据本发明公开实施例的各种结构示意图。这些图并非是按比例绘制的，其中为了清楚表达的目的，放大了某些细节，并且可能省略了某些细节。图中所示出的各种区域、层的形状及它们之间的相对大小、位置关系仅是示例性的，实际中可能由于制造公差或技术限制而有所偏差，并且本领域技术人员根据实际所需可以另外设计具有不同形状、大小、相对位置的区域/层。
本发明提供了一种基于法向量和高斯权重约束的深度图像补全方法，首先输入深度图像对应的彩色图像，通过结构预测网络将深度图像划分为平滑区域和结构区域。对于平滑区域，使用法向量预测网络输出法向量特征并构建法向量约束项；对于结构区域，使用高斯核在对应彩色图像中提取高斯结构权重，构成高斯约束项。结合法向量约束项和高斯约束项构建全局优化目标方程，将缺失深度图像加入目标方程构建数据约束项并作为优化模型的输入数据，迭代执行该全局优化模型，直到低于设定的提升率或达到最大迭代次数，输出深度图像补全结果，结束计算。
请参阅图1，本发明一种基于法向量和高斯权重约束的深度图像补全方法，包括以下步骤：
S1、划分平滑区域与结构区域
S101、输入缺失深度图像如图3(b)所对应的高质量彩色图像如图3(a)，使用结构预测网络(网络架构如图2所示)生成边界概率矩阵B；
S102、以边界概率矩阵划分平滑区域与结构区域，根据设定的区域划分阈值θ，矩阵B中边界概率大于θ的像素点被划分为结构区域，边界概率小于θ的被划分为平滑区域。
S2、从平滑区域中提取法向量构建约束项
S201、针对图像平滑区域，使用法向量预测网络(网络架构如图2所示)生成图像法向量N；
S202、通过相机内外参数计算深度图像中坐标点D(x,y)在三维坐标系中的位置P(x,y)，计算公式如下：
其中，fx和fy为相机的焦距，(x0,y0)为相机坐标原点；
S203、对三维坐标P(x,y)求偏导数，计算坐标P(x,y)处x方向和y方向的切向量，计算公式如下所示：
S204、通过法向量和切向量之间的正交关系建立法向量约束En，法向量约束项定义如下：
其中，q表示深度图像D中的某一像素点，p表示以q为中心点的3×3的窗口φ(q)内的像素点，Nq为像素点q处的法向量，为像素点p处x方向的切向量，/>为像素点p处y方向的切向量；
S205、使用边界概率矩阵B加权法向量约束项En，削弱法向量约束在结构区域的约束作用。
S3、从结构区域中提取高斯权重构建约束项
S301、针对深度图像结构区域，使用高斯核从对应的彩色图像中提取几何结构信息，对于给定的彩色图像I，计算高斯权重ωp,q：
其中，C表示彩色图像的R、G、B三个通道，σc表示所使用的高斯核的方差，为固定值8，和/>分别表示像素点p和q在k通道中的像素值；
S302、通过高斯权重提供的结构信息构建高斯权重约束EG，高斯权重约束项如下所示：
其中，ωp,q为像素点p和q之间的高斯权重，q表示深度图像D中的某一像素点，p表示以q为中心点的7×7的窗口φ(q)内的像素点，D(p)和D(q)分别为像素点p和q处的深度值；
S303、在高斯权重约束项EG中加入自适应函数以应对彩色图像结构区域纹理复杂的情形，自适应函数如下所示：
其中，μ为彩色纹理度量参数，该参数基于彩色图像中纹理的复杂程度进行自适应调整，纹理复杂程度通过因子vp＝∑xmin/∑xmax来进行描述，xmin和xmax分别为以像素点p为中心10×10窗口内的像素最小值和像素最大值。
特别地，当v＞0.96时，纹理度量参数μ被设置为固定值10，当0.5＜v≤0.96时，纹理度量参数μ被设置为固定值3，当v≤0.5时，纹理度量参数μ被设置为固定值8；高斯权重约束项EG更新为如下公式：
S4、使用原始深度图像构建约束项，使用所构建的约束项组织全局优化模型
对于给定的原始缺失深度图像Do，构建数据项以限制补全结果和初始数值之间的保真度，数据项约束EO计算如下：
其中，D(q)和Do(q)分别为像素点q在补全深度图像和初始深度图像中的深度值。
将深度补全问题定义为全局优化问题，使用上述的法向量约束、高斯权重约束和数据约束构建经典马尔可夫随机场模型，输入初始缺失深度图像Do，全局优化问题的目标函数定义为如下：
其中，EO、ENB和EG分别为全局优化模型的数据项、平滑项和结构项，λO,λN,λG代表每一项的正则化参数，在初次迭代时被设置为[1000，100，1]，在后续的每一次迭代中，正则化参数通过如下规则进行动态调整：和/>n表示优化模型第n次迭代过程，D为方程求解后输出的补全深度图像。
S5、求解全局优化模型
对于构建的全局优化模型，为了保证输出高质量的补全深度图像，采用迭代执行优化模型的方法来精化输出结果。在每一次迭代中使用乔里斯基分解法对目标方程进行求解，迭代的终止条件设置为：当迭代次数达到5次或迭代输出图像与输入图像的MAE小于0.1，计算过程终止，输出最终结果图，即为高精度补全深度图像。
本发明再一个实施例中，提供一种基于法向量和高斯权重约束的深度图像补全系统，该系统能够用于实现上述基于法向量和高斯权重约束的深度图像补全方法，具体的，该基于法向量和高斯权重约束的深度图像补全系统包括划分模块、法向量约束模块、高斯约束模块、优化模块以及输出模块。
其中，划分模块，输入深度图像对应的彩色图像，通过结构预测网络将深度图像划分为平滑区域和结构区域；
法向量约束模块，对于划分模块划分的平滑区域，使用法向量预测网络输出法向量特征并构建法向量约束项；
高斯约束模块，对于划分模块划分的结构区域，使用高斯核在对应彩色图像中提取高斯结构权重，构成高斯约束项；
优化模块，结合法向量约束模块的法向量约束项和高斯约束模块的高斯约束项构建全局优化目标方程，将缺失深度图像加入全局优化目标方程，构建数据约束项作为全局优化目标方程的输入数据；
输出模块，迭代执行全局优化目标方程，直到低于设定的提升率或达到最大迭代次数，输出深度图像补全结果。
本发明再一个实施例中，提供了一种终端设备，该终端设备包括处理器以及存储器，所述存储器用于存储计算机程序，所述计算机程序包括程序指令，所述处理器用于执行所述计算机存储介质存储的程序指令。处理器可能是中央处理单元(Central ProcessingUnit，CPU)，还可以是其他通用处理器、数字信号处理器(Digital Signal Processor、DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现成可编程门阵列(Field-Programmable GateArray，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等，其是终端的计算核心以及控制核心，其适于实现一条或一条以上指令，具体适于加载并执行一条或一条以上指令从而实现相应方法流程或相应功能；本发明实施例所述的处理器可以用于基于法向量和高斯权重约束的深度图像补全方法的操作，包括：
输入深度图像对应的彩色图像，通过结构预测网络将深度图像划分为平滑区域和结构区域；对于平滑区域，使用法向量预测网络输出法向量特征并构建法向量约束项；对于结构区域，使用高斯核在对应彩色图像中提取高斯结构权重，构成高斯约束项；结合法向量约束项和高斯约束项构建全局优化目标方程，将缺失深度图像加入全局优化目标方程中，构建数据约束项作为全局优化目标方程的输入数据；迭代执行全局优化目标方程，直到低于设定的提升率或达到最大迭代次数，输出深度图像补全结果。
本发明再一个实施例中，本发明还提供了一种存储介质，具体为计算机可读存储介质(Memory)，所述计算机可读存储介质是终端设备中的记忆设备，用于存放程序和数据。可以理解的是，此处的计算机可读存储介质既可以包括终端设备中的内置存储介质，当然也可以包括终端设备所支持的扩展存储介质。计算机可读存储介质提供存储空间，该存储空间存储了终端的操作系统。并且，在该存储空间中还存放了适于被处理器加载并执行的一条或一条以上的指令，这些指令可以是一个或一个以上的计算机程序(包括程序代码)。需要说明的是，此处的计算机可读存储介质可以是高速RAM存储器，也可以是非不稳定的存储器(non-volatile memory)，例如至少一个磁盘存储器。
可由处理器加载并执行计算机可读存储介质中存放的一条或一条以上指令，以实现上述实施例中有关基于法向量和高斯权重约束的深度图像补全方法的相应步骤；计算机可读存储介质中的一条或一条以上指令由处理器加载并执行如下步骤：
输入深度图像对应的彩色图像，通过结构预测网络将深度图像划分为平滑区域和结构区域；对于平滑区域，使用法向量预测网络输出法向量特征并构建法向量约束项；对于结构区域，使用高斯核在对应彩色图像中提取高斯结构权重，构成高斯约束项；结合法向量约束项和高斯约束项构建全局优化目标方程，将缺失深度图像加入全局优化目标方程中，构建数据约束项作为全局优化目标方程的输入数据；迭代执行全局优化目标方程，直到低于设定的提升率或达到最大迭代次数，输出深度图像补全结果。
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。通常在此处附图中的描述和所示的本发明实施例的组件可以通过各种不同的配置来布置和设计。因此，以下对在附图中提供的本发明的实施例的详细描述并非旨在限制要求保护的本发明的范围，而是仅仅表示本发明的选定实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
以下通过结果图对比阐述本发明的优势。
请参阅图4，使用神经网络生成的法向量预测结果图像中显示了从联合彩色图像中提取到的图像法向量特征，法向量能够有效地提取图像场景中的结构信息而不受彩色纹理的干扰，能够准确地为平滑区域的深度补全过程提供先验信息，保证了补全结果中的深度数据平滑度。
请参阅图5，高斯核提取的高斯结构结果图显示了图像场景中的物体结构信息，高斯核有效地对物体几何结构信息进行了提取，能够为深度结构区域的深度补全过程提供精确的几何结构信息，保证了补全结果中物体结构的准确度和清晰度。
请参阅图6，本发明的深度补全结果图，通过深度数值的变化呈现了场景中物体的距离信息，得益于本发明的特点，该深度图像平滑区域中深度数值平滑、分布均匀、无异常值和缺失数值，物体结构准确、清晰。
本发明的主要作用体现在两个方面：主要优势为能够精准补全深度图像中缺失的物体结构信息，对比图7和图8中不同方法的补全结果，可以发现本发明所述方法的补全结果中，具有更清晰和准确的物体结构，与彩色图的物体结构保持高度一致。其次是本发明的方法能够对深度数据严重缺失的深度图像进行准确补全，如图7(b)中，虽然深度数据的缺失达到了百分之70以上，但本方法的补全结果图7(h)中仍然保证了深度值的平滑度和物体结构的准确度。
综上所述，本发明一种基于法向量和高斯权重约束的深度图像补全方法及系统，不仅能够对内容严重缺失的深度图像进行数据补全，并且能够保证补全结果中结构的准确度和深度值的平滑度。
本领域内的技术人员应明白，本申请的实施例可提供为方法、系统、或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本申请是参照根据本申请实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
以上内容仅为说明本发明的技术思想，不能以此限定本发明的保护范围，凡是按照本发明提出的技术思想，在技术方案基础上所做的任何改动，均落入本发明权利要求书的保护范围之内。

Claims (7)

1.一种基于法向量和高斯权重约束的深度图像补全方法，其特征在于，包括以下步骤：
S1、输入深度图像对应的彩色图像，通过结构预测网络将深度图像划分为平滑区域和结构区域；
S2、对于平滑区域，使用法向量预测网络输出法向量特征并构建法向量约束项；
S3、对于结构区域，使用高斯核在对应彩色图像中提取高斯结构权重，构成高斯约束项，具体为：
S301、针对深度图像结构区域，使用高斯核从对应的彩色图像中提取几何结构信息，对于给定的彩色图像I，计算高斯权重ωp,q；
S302、通过高斯权重提供的结构信息构建高斯权重约束EG；
S303、在高斯权重约束项EG中加入自适应函数Ф(x2)，
高斯权重约束项EG更新为如下公式：
其中，ωp,q为像素点p和q之间的高斯权重，q表示深度图像D中的某一像素点，p表示以q为中心点的7×7的窗口内的像素点，D(p)和D(q)分别为像素点p和q处的深度值，自适应函数Ф(x2)如下：
其中，μ为彩色纹理度量参数，x为自变量函数输入数值；
S4、结合步骤S2的法向量约束项和步骤S3的高斯约束项构建全局优化目标方程，将缺失深度图像加入全局优化目标方程中，构建数据约束项作为全局优化目标方程的输入数据；
S5、迭代执行全局优化目标方程，直到低于设定的提升率或达到最大迭代次数，输出深度图像补全结果。
2.根据权利要求1所述的方法，其特征在于，步骤S1具体为：
S101、输入缺失深度图像对应的高质量彩色图像，使用结构预测网络生成边界概率矩阵B；
S102、以边界概率矩阵划分平滑区域与结构区域，根据设定的区域划分阈值θ，边界概率矩阵B中边界概率大于θ的像素点被划分为结构区域，边界概率小于θ的被划分为平滑区域。
3.根据权利要求1所述的方法，其特征在于，步骤S2具体为：
S201、针对图像平滑区域，使用法向量预测网络生成图像法向量N；
S202、通过相机内外参数计算深度图像中坐标点D(x,y)在三维坐标系中的位置P(x,y)；
S203、对三维坐标系中的位置P(x,y)求偏导数，计算位置P(x,y)处x方向和y方向的切向量；
S204、通过法向量和切向量之间的正交关系建立法向量约束En；
S205、使用边界概率矩阵B加权法向量约束项En，削弱法向量约束在结构区域的约束作用。
4.根据权利要求3所述的方法，其特征在于，步骤S204中，法向量约束项定义如下：
其中，q表示深度图像D中的某一像素点，为像素点p处x方向的切向量，/>为像素点p处y方向的切向量，p表示以q为中心点的3×3的窗口/>内的像素点，Nq为像素点q处的法向量。
5.根据权利要求1所述的方法，其特征在于，步骤S4中，数据项约束EO计算如下：
其中，D′(q)和Do(q)分别为像素点q在补全深度图像和初始深度图像中的深度值。
6.根据权利要求1所述的方法，其特征在于，步骤S4中，全局优化问题的目标函数为：
其中，EO、ENB和EG分别为全局优化模型的数据项、平滑项和结构项，λO,λN,λG代表每一项的正则化参数，n表示优化模型第n次迭代过程，D为方程求解后输出的补全深度图像。
7.一种基于法向量和高斯权重约束的深度图像补全系统，其特征在于，包括：
划分模块，输入深度图像对应的彩色图像，通过结构预测网络将深度图像划分为平滑区域和结构区域；
法向量约束模块，对于划分模块划分的平滑区域，使用法向量预测网络输出法向量特征并构建法向量约束项；
高斯约束模块，对于划分模块划分的结构区域，使用高斯核在对应彩色图像中提取高斯结构权重，构成高斯约束项；
针对深度图像结构区域，使用高斯核从对应的彩色图像中提取几何结构信息，对于给定的彩色图像I，计算高斯权重ωp,q；通过高斯权重提供的结构信息构建高斯权重约束EG；在高斯权重约束项EG中加入自适应函数Ф(x2)；
高斯权重约束项EG更新为如下公式：
其中，ωp,q为像素点p和q之间的高斯权重，q表示深度图像D中的某一像素点，p表示以q为中心点的7×7的窗口内的像素点，D(p)和D(q)分别为像素点p和q处的深度值，自适应函数Ф(x2)如下：
其中，μ为彩色纹理度量参数，x为自变量函数输入数值；
优化模块，结合法向量约束模块的法向量约束项和高斯约束模块的高斯约束项构建全局优化目标方程，将缺失深度图像加入全局优化目标方程，构建数据约束项作为全局优化目标方程的输入数据；
输出模块，迭代执行全局优化目标方程，直到低于设定的提升率或达到最大迭代次数，输出深度图像补全结果。
CN202110574430.4A 2021-05-25 2021-05-25 一种基于法向量和高斯权重约束的深度图像补全方法及系统 Active CN113269689B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110574430.4A CN113269689B (zh) 2021-05-25 2021-05-25 一种基于法向量和高斯权重约束的深度图像补全方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110574430.4A CN113269689B (zh) 2021-05-25 2021-05-25 一种基于法向量和高斯权重约束的深度图像补全方法及系统

Publications (2)

Publication Number Publication Date
CN113269689A CN113269689A (zh) 2021-08-17
CN113269689B true CN113269689B (zh) 2023-08-29

Family

ID=77233025

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110574430.4A Active CN113269689B (zh) 2021-05-25 2021-05-25 一种基于法向量和高斯权重约束的深度图像补全方法及系统

Country Status (1)

Country Link
CN (1) CN113269689B (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114897955B (zh) * 2022-04-25 2023-04-18 电子科技大学 一种基于可微几何传播的深度补全方法
CN115019510B (zh) * 2022-06-29 2024-01-30 华南理工大学 一种基于动态自适应生成对抗网络的交通数据修复方法
CN115578516A (zh) * 2022-10-19 2023-01-06 京东科技控股股份有限公司 一种三维成像方法、装置、设备和存储介质

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2013168996A1 (en) * 2012-05-10 2013-11-14 Samsung Electronics Co., Ltd. Method and apparatus for acquiring geometry of specular object based on depth sensor
JP2016076015A (ja) * 2014-10-03 2016-05-12 日本電信電話株式会社 背景差分装置、方法、及びプログラム
CN106408524A (zh) * 2016-08-17 2017-02-15 南京理工大学 基于二维图像辅助的深度图像增强方法
CN109903372A (zh) * 2019-01-28 2019-06-18 中国科学院自动化研究所 深度图超分辨率补全方法及高质量三维重建方法与系统
WO2019174377A1 (zh) * 2018-03-14 2019-09-19 大连理工大学 一种基于单目相机的三维场景稠密重建方法
CN111145094A (zh) * 2019-12-26 2020-05-12 北京工业大学 一种基于表面法向引导与图拉普拉斯先验约束的深度图增强方法
CN111242855A (zh) * 2020-01-04 2020-06-05 西安交通大学 基于rgb-d的ssim结构相似度的迭代深度图结构修复方法
CN112541482A (zh) * 2020-12-25 2021-03-23 北京百度网讯科技有限公司 深度信息补全模型训练方法、装置、设备以及存储介质

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
AU2014280872A1 (en) * 2014-12-22 2016-07-07 Canon Kabushiki Kaisha Multiscale depth estimation using depth from defocus
US10290085B2 (en) * 2016-12-14 2019-05-14 Adobe Inc. Image hole filling that accounts for global structure and local texture

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2013168996A1 (en) * 2012-05-10 2013-11-14 Samsung Electronics Co., Ltd. Method and apparatus for acquiring geometry of specular object based on depth sensor
JP2016076015A (ja) * 2014-10-03 2016-05-12 日本電信電話株式会社 背景差分装置、方法、及びプログラム
CN106408524A (zh) * 2016-08-17 2017-02-15 南京理工大学 基于二维图像辅助的深度图像增强方法
WO2019174377A1 (zh) * 2018-03-14 2019-09-19 大连理工大学 一种基于单目相机的三维场景稠密重建方法
CN109903372A (zh) * 2019-01-28 2019-06-18 中国科学院自动化研究所 深度图超分辨率补全方法及高质量三维重建方法与系统
CN111145094A (zh) * 2019-12-26 2020-05-12 北京工业大学 一种基于表面法向引导与图拉普拉斯先验约束的深度图增强方法
CN111242855A (zh) * 2020-01-04 2020-06-05 西安交通大学 基于rgb-d的ssim结构相似度的迭代深度图结构修复方法
CN112541482A (zh) * 2020-12-25 2021-03-23 北京百度网讯科技有限公司 深度信息补全模型训练方法、装置、设备以及存储介质

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
Depth Calculation Method of Integral Imaging Based on Gaussian Beam Distribution Model;Cheng-Gao Luo etal.;《JOURNAL OF DISPLAY TECHNOLOGY》;20120228;第8卷(第2期);全文 *

Also Published As

Publication number Publication date
CN113269689A (zh) 2021-08-17

Similar Documents

Publication Publication Date Title
CN113269689B (zh) 一种基于法向量和高斯权重约束的深度图像补全方法及系统
JP7106665B2 (ja) 単眼深度推定方法およびその装置、機器ならびに記憶媒体
US11557085B2 (en) Neural network processing for multi-object 3D modeling
Zeng et al. Deep surface normal estimation with hierarchical rgb-d fusion
CN107945204B (zh) 一种基于生成对抗网络的像素级人像抠图方法
JP5178875B2 (ja) 対応点探索のための画像処理方法
CN107844750A (zh) 一种水面全景图像目标检测识别方法
KR20220043847A (ko) 객체 포즈 추정 방법, 장치, 전자 장치 및 저장 매체
US20150278589A1 (en) Image Processor with Static Hand Pose Recognition Utilizing Contour Triangulation and Flattening
CN113407027B (zh) 位姿获取方法及装置和电子设备、存储介质
CN113111751B (zh) 一种自适应融合可见光与点云数据的三维目标检测方法
Chen et al. A full density stereo matching system based on the combination of CNNs and slanted-planes
Luo et al. Wavelet synthesis net for disparity estimation to synthesize dslr calibre bokeh effect on smartphones
CN116612468A (zh) 基于多模态融合与深度注意力机制的三维目标检测方法
CN111105452A (zh) 基于双目视觉的高低分辨率融合立体匹配方法
CN114586078A (zh) 手部姿态估计方法、装置、设备以及计算机存储介质
Huang et al. Boosting point clouds rendering via radiance mapping
CN112767478A (zh) 一种基于表观指导的六自由度位姿估计方法
CN115578516A (zh) 一种三维成像方法、装置、设备和存储介质
Zhang et al. Data association between event streams and intensity frames under diverse baselines
CN114255443A (zh) 一种交通车辆单目定位方法、装置、设备及存储介质
Tsuji et al. Non-guided depth completion with adversarial networks
CN115775214A (zh) 一种基于多阶段分形组合的点云补全方法及系统
Li et al. 2.5 D-VoteNet: Depth Map based 3D Object Detection for Real-Time Applications.
Hashimoto et al. Fadec: FPGA-based acceleration of video depth estimation by hw/sw co-design

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant