CN108133459B - 深度图增强方法和深度图增强装置 - Google Patents

深度图增强方法和深度图增强装置 Download PDF

Info

Publication number
CN108133459B
CN108133459B CN201611093936.9A CN201611093936A CN108133459B CN 108133459 B CN108133459 B CN 108133459B CN 201611093936 A CN201611093936 A CN 201611093936A CN 108133459 B CN108133459 B CN 108133459B
Authority
CN
China
Prior art keywords
image
information
test set
feature
frequency
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CN201611093936.9A
Other languages
English (en)
Other versions
CN108133459A (zh
Inventor
杨帅
刘家瑛
宋思捷
郭宗明
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
New Founder Holdings Development Co ltd
Peking University
Beijing Founder Electronics Co Ltd
Original Assignee
Peking University
Peking University Founder Group Co Ltd
Beijing Founder Electronics Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Peking University, Peking University Founder Group Co Ltd, Beijing Founder Electronics Co Ltd filed Critical Peking University
Priority to CN201611093936.9A priority Critical patent/CN108133459B/zh
Publication of CN108133459A publication Critical patent/CN108133459A/zh
Application granted granted Critical
Publication of CN108133459B publication Critical patent/CN108133459B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/92—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)

Abstract

本发明提供了一种深度图增强方法和一种深度图增强装置，其中，深度图增强方法包括：对训练集图像的多个图像特征信息进行提取，得到多个图像特征信息的第一联合特征；对测试集图像的多个图像特征信息进行提取，得到多个图像特征信息的第二联合特征；基于第一联合特征与第二联合特征的相似性，查找测试集图像在训练集图像的对应部分的最近邻；根据查找到的最近邻，对测试集图像进行邻域嵌入，用以重建测试集图像的高频信息、低频信息和梯度信息；利用全局优化方程结合高频信息、低频信息和梯度信息，得到增强后的测试集图像。通过本发明的技术方案，可以有效地增强深度图的结构和细节，提升深度图的视觉质量。

Description

深度图增强方法和深度图增强装置
技术领域
本发明涉及图像增强技术领域，具体而言，涉及一种深度图增强方法和深度图增强装置。
背景技术
随着普通用户消费级别深度摄像机的发展，深度图的应用变得越来越广泛而重要。深度图不仅对环境变化鲁棒，而且还能提供空间信息。因此，深度图在场景分类与识别、三维建模、行为检测、手势识别和人脸识别等领域有着重要的应用。然而，普通用户消费级别的深度摄像机采集到的原始深度图往往有严重的降质问题，包括过低的分辨率，噪声和信息丢失，这些问题极大地限制了对深度信息的利用。
因此，如何有效地增强深度图的结构和细节，提升深度图的视觉质量成为亟待解决的技术问题。
发明内容
本发明旨在至少解决上述现有技术或相关技术中存在的技术问题之一。
为此，本发明的一个目的在于提出了深度图增强方法。
本发明的另一个目的在于提供一种深度图增强装置。
为实现上述目的，根据本发明的第一方面的实施例，提出了一种深度图增强方法，包括：对训练集图像的多个图像特征信息进行提取，得到多个图像特征信息的第一联合特征；对测试集图像的多个图像特征信息进行提取，得到多个图像特征信息的第二联合特征；基于第一联合特征与第二联合特征的相似性，查找测试集图像在训练集图像的对应部分的最近邻；根据查找到的最近邻，对测试集图像进行邻域嵌入，用以重建测试集图像的高频信息、低频信息和梯度信息；利用全局优化方程结合高频信息、低频信息和梯度信息，得到增强后的测试集图像。
根据本发明第一方面实施例的深度图增强方法，提出联合多种图像特征进行深度图图像增强，首先提取训练集图像的多个图像特征信息，得到多个图像特征信息的第一联合特征，并提取测试集图像的多个图像特征信息，得到多个图像特征信息的第二联合特征，其中，如果仅利用单一的图像特征或者仅利用图像低层信息来增强图像，或者分别从多个方面进行多次增强，效果差强人意，本发明提出联合多种特征的方案进行深度图图像增强，其中第一联合特征和第二联合特征充分考虑了高层信息和低层信息，构建了准确的相似度准则，然后利用第一联合特征与第二联合特征的相似性，查找测试集图像在训练集图像的对应部分的最近邻；再根据查找到的最近邻，对测试集图像进行邻域嵌入算法，重建测试集图像的高频信息、低频信息和梯度信息；利用全局优化方程，并结合重建后测试集图像的高频信息、低频信息和梯度信息，最终得到增强后的测试集图像，测试集中的低分辨率图像得到增强，例如，测试集图像是人脸图像时，则会使增强后的深度图更符合人脸的物理结构，有效增强了人脸深度图的结构和细节，提升了人脸深度图的视觉质量。总体上，本发明设置训练集对测试集的图像处理方法进行教导，利用机器学习提高测试集增强图像的能力，重建低分辨率深度图缺失的信息，并增强了低分辨深度图的整体质量。
根据本发明第一方面实施例的深度图增强方法，优选地，在对训练集图像的多个图像特征信息进行提取，得到多个图像特征信息的第一联合特征之前，还包括：接收高分辨率深度图和相关的高分辨率彩色图，用以组建训练集；接收低分辨率深度图和对应的高分辨率彩色图，用以组建测试集。
在该实施例中，通过接收高分辨率深度图和相关的高分辨率彩色图，来组建训练集，保证训练集图像和测试集图像的深度图和对应彩色图的一致性并利用训练集对测试集进行监督训练；将待增强的低分辨率深度图和对应的高分辨率彩色图，放入测试集，进行有监督学习，从训练集获取增强图像的方法。
根据本发明第一方面实施例的深度图增强方法，优选地，对训练集图像的多个图像特征信息进行提取，得到多个图像特征信息的第一联合特征，具体包括：根据训练集图像的高层语义信息，分解训练集图像，得到多个训练集子构件；将多个训练集子构件分别分割成多个训练集图像块；分别提取多个训练集图像块的多个图像特征信息构成第一联合特征；其中，多个图像特征包括颜色特征、高频深度特征、低频深度特征和位置特征，训练集图像块包括高分辨率深度图图像块和相关的高分辨率彩色图图像块。
在该实施例中，根据训练集图像的高层语义信息和其对应的彩色图像，将训练集图像分解为多个训练集子构件，例如，对于人脸图像来说，构件分解的步骤会将人脸图像分解成眼、嘴、鼻、面等子构件；然后将子构件分割成多个图像块，提取图像块的多个图像特征信息，这些图像特征包括颜色特征、高频深度特征、低频深度特征和位置特征，联合考虑并利用这些图像块的多个图像特征信息构成第一联合特征。
根据本发明第一方面实施例的深度图增强方法，优选地，对测试集图像的多个图像特征信息进行提取，得到多个图像特征信息的第二联合特征，具体包括：根据测试集图像的高层语义信息，分解测试集图像，得到多个测试集子构件；将多个测试集子构件分别分割成多个测试集图像块；分别提取多个测试集图像块的所述多个图像特征信息构成所述第二联合特征；其中，多个图像特征包括颜色特征、深度特征和位置特征，测试集图像块包括低分辨率深度图图像块和对应的高分辨率彩色图图像块。
在该实施例中，测试集中的低分辨率深度图需要被增强，与第一联合特征的提取步骤类似，根据测试集图像的高层语义信息和其对应的彩色图像，将测试集图像分解为多个测试集子构件，如分解成眼、嘴、鼻、面等；然后将每个测试集子构件分割成多个测试集图像块，提取多个测试集图像块的多个图像特征信息，这些图像特征包括颜色特征、深度特征和位置特征，并将这些图像块的多个图像特征信息构成第二联合特征。
根据本发明第一方面实施例的深度图增强方法，优选地，分别提取多个训练集图像块的多个图像特征信息构成第一联合特征，具体包括：
提取低频深度特征：
Figure GDA0002718894910000031
其中，yl为低频深度特征，
Figure GDA0002718894910000041
是将高分辨率深度图图像块y进行下采再上采的低频结果；
Figure GDA0002718894910000042
和
Figure GDA0002718894910000043
表示一阶和二阶导数，ynorm是归一化后的高分辨率深度图图像块y；
提取颜色特征：
yc＝[Inorm；Iedge]
其中，yc为颜色特征，Inorm是归一化的图像灰度，Iedge是高分辨率彩色图像的边缘信息；
提取位置特征：
yp＝[u/W；v/H]
其中，yp为位置特征，(u,v)是y中心点的坐标，(W,H)是训练集子构件的长宽；
提取高频深度特征：
Figure GDA0002718894910000044
其中，yh为高频深度特征，
Figure GDA0002718894910000045
是高频信息，
Figure GDA0002718894910000046
是梯度信息；
组成第一联合特征[yl,yc,yp,yh]。
在该实施例中，指出了由多种图像特征构成的第一联合特征的计算过程，其中，颜色特征包括归一化的图像灰度以及高分辨率彩色图像的边缘信息；位置特征包括位置的中心坐标以及训练集子构件的长和宽；高频深度特征包括高频信息和梯度信息，从而提取出了基于颜色、深度和位置的第一联合特征。
根据本发明第一方面实施例的深度图增强方法，优选地，分别提取多个测试集图像块的多个图像特征信息构成第二联合特征，具体包括：
提取深度特征：
Figure GDA0002718894910000047
其中，xl为深度特征，
Figure GDA0002718894910000048
是将高分辨率深度图图像块x进行上采的低频结果；
Figure GDA0002718894910000049
和
Figure GDA00027188949100000410
表示一阶和二阶导数，xnorm是归一化后的低分辨率深度图图像块x；
提取颜色特征：
xc＝[Inorm；Iedge]
其中，xc为颜色特征，Inorm是归一化的图像灰度，Iedge是高分辨率彩色图像的边缘信息；
提取位置特征：
Xp＝[u1/W1；v1/H1]
其中，xp为所述位置特征，(u1，v1)是x中心点的坐标，(W1，H1)是所述测试集子构件的长宽；
组成所述第二联合特征[xl,xc,xp]。
在该实施例中，与第一联合特征的计算方法类似，不同之处在于，
Figure GDA0002718894910000051
表示将高分辨率深度图图像块x进行上采的低频结果。从而提取出了测试集的基于颜色、深度和位置的第二联合特征。
根据本发明第一方面实施例的深度图增强方法，优选地，查找测试集图像在训练集图像的对应部分的最近邻，具体包括：对于每个输入的低分辨率深度图的深度特征xl的每个部分的图像块
Figure GDA0002718894910000052
根据距离公式，求出其在训练中的K个最近邻
Figure GDA0002718894910000053
距离公式如下：
dist(xl,yl)＝||xl-yl||+wc||xc-yc||+wp||xp-yp||,
其中||·||是两个特征向量之间的欧几里得距离。
在该实施例中，指出了查找测试集图像在训练集图像的对应部分的最邻近的距离公式，对于测试集输入的低分辨率图片，在训练集中基于联合特征找到最近邻，联合特征充分考虑高层和低层信息，构建了准确的相似度准则。
根据本发明第一方面实施例的深度图增强方法，优选地，根据查找到的最近邻，对测试集图像进行邻域嵌入，用以重建测试集图像的高频信息、低频信息和梯度信息，具体包括：利用找到的最近邻，用邻域嵌入的方法获得图像的重建系数：
Figure GDA0002718894910000054
Figure GDA0002718894910000055
对应的高频特征和梯度特征部分用相同的重建系数αi作用于K个最近邻对应的高频深度特征
Figure GDA0002718894910000056
获得：
Figure GDA0002718894910000057
将所有得到的块的高频深度特征
Figure GDA0002718894910000061
取平均，融合成深度图Xh的高频部分和梯度部分
Figure GDA0002718894910000063
在该实施例中，测试集图像在训练集图像中找到最邻近后，通过邻域嵌入的方法重建测试集图像的高频信息、低频信息和梯度信息，从而获得测试集图像的最终高频信息、低频信息和梯度信息，充分结合了高层语义信息和低层像素信息，有效地处理了深度图降质的问题。
根据本发明第一方面实施例的深度图增强方法，优选地，所述利用全局优化方程结合所述高频信息、所述低频信息和所述梯度信息，得到增强后的测试集图像，具体包括：通过求解能量方程，将低频信息部分、高频信息部分和梯度信息部分结合，得到所述增强后的测试集图像，其中，所述求解能量方程的过程为：
Figure GDA0002718894910000062
Xh为增强后的高质量深度图。
在该实施例中，在重建测试集图像的高频信息、低频信息和梯度信息后，利用统一的能量方程充分结合上述高层语义信息和低层像素信息，求解得到高质量深度图，有效地提升了深度图的质量。
根据本发明第一方面实施例的深度图增强方法，优选地，进一步包括：将增强后的测试集图像进行显示。
在该实施例中，将增强后的图像显示在终端设备上，以供用户查看增强效果，满足用户的查看或预览需求。
根据本发明第二方面的实施例，还提出了一种深度图增强装置，其特征在于，包括：训练单元，对训练集图像的多个图像特征信息进行提取，得到多个图像特征信息的第一联合特征；测试单元，对测试集图像的多个图像特征信息进行提取，得到多个图像特征信息的第二联合特征；最近邻单元，基于第一联合特征与第二联合特征的相似性，查找测试集图像在训练集图像的对应部分的最近邻；重建单元，根据查找到的最近邻，对测试集图像进行邻域嵌入，用以重建测试集图像的高频信息、低频信息和梯度信息；优化单元，利用全局优化方程结合高频信息、低频信息和梯度信息，得到增强后的测试集图像。
根据本发明第二方面实施例的深度图增强装置，提出联合多种图像特征进行深度图图像增强，首先提取训练集图像的多个图像特征信息，得到多个图像特征信息的第一联合特征，并提取测试集图像的多个图像特征信息，得到多个图像特征信息的第二联合特征，其中，如果仅利用单一的图像特征或者仅利用图像低层信息来增强图像，或者分别从多个方面进行多次增强，效果差强人意，本发明提出联合多种特征的方案进行深度图图像增强，其中第一联合特征和第二联合特征充分考虑了的高层信息和低层信息，构建了准确的相似度准则，然后利用第一联合特征与第二联合特征的相似性，查找测试集图像在训练集图像的对应部分的最近邻；再根据查找到的最近邻，对测试集图像进行邻域嵌入算法，重建测试集图像的高频信息、低频信息和梯度信息；利用全局优化方程，并结合重建后测试集图像的高频信息、低频信息和梯度信息，最终得到增强后的测试集图像，测试集中的低分辨率图像得到增强，例如，测试集图像是人脸图像时，则会使增强后的深度图更符合人脸的物理结构，有效增强了人脸深度图的结构和细节，提升了人脸深度图的视觉质量。总体上，本发明设置训练集对测试集的图像处理方法进行教导，利用机器学习提高测试集增强图像的能力，重建低分辨率深度图缺失的信息，并增强了低分辨深度图的整体质量。
根据本发明第二方面实施例的深度图增强装置，优选地，还包括：接收单元，接收高分辨率深度图和相关的高分辨率彩色图，用以组建训练集；接收低分辨率深度图和对应的高分辨率彩色图，用以组建测试集。
在该实施例中，通过接收高分辨率深度图和相关的高分辨率彩色图，来组建训练集，保证训练集图像和测试集图像的深度图和对应彩色图的一致性并利用训练集对测试集进行监督训练；将待增强的低分辨率深度图和对应的高分辨率彩色图，放入测试集，进行有监督学习，从训练集获取增强图像的方法。
根据本发明第二方面实施例的深度图增强装置，优选地，训练单元，具体包括：第一语义单元，根据训练集图像的高层语义信息，分解训练集图像，得到多个集子构件；第一分割单元，将多个训练集子构件分别分割成多个训练集图像块；第一提取单元，分别提取多个训练集图像块的多个图像特征信息构成第一联合特征；其中，多个图像特征包括颜色特征、高频深度特征、低频深度特征和位置特征，训练集图像块包括高分辨率深度图图像块和相关的高分辨率彩色图图像块。
在该实施例中，根据训练集图像的高层语义信息和其对应的彩色图像，将训练集图像分解为多个训练集子构件，例如，对于人脸图像来说，构件分解的步骤会将人脸图像分解成眼、嘴、鼻、面等子构件；然后将子构件分割成多个图像块，提取图像块的多个图像特征信息，这些图像特征包括颜色特征、高频深度特征、低频深度特征和位置特征，联合考虑并利用这些图像块的多个图像特征信息构成第一联合特征。
根据本发明第二方面实施例的深度图增强装置，优选地，测试单元，具体包括：第二语义单元，根据测试集图像的高层语义信息，分解测试集图像，得到多个测试集子构件；第二分割单元，将多个测试集子构件分别分割成多个测试集图像块；第二提取单元，分别提取多个测试集图像块的多个图像特征信息构成第二联合特征；其中，多个图像特征包括颜色特征、深度特征和位置特征，测试集图像块包括低分辨率深度图图像块和对应的高分辨率彩色图图像块。
在该实施例中，测试集中的低分辨率深度图需要被增强，与第一联合特征的提取步骤类似，根据测试集图像的高层语义信息和其对应的彩色图像，将测试集图像分解为多个测试集子构件，如分解成眼、嘴、鼻、面等；然后将每个测试集子构件分割成多个测试集图像块，提取多个测试集图像块的多个图像特征信息，这些图像特征包括颜色特征、深度特征和位置特征，并将这些图像块的多个图像特征信息构成第二联合特征。
根据本发明第二方面实施例的深度图增强装置，优选地，第一提取单元，具体用于：
提取低频深度特征：
Figure GDA0002718894910000081
其中，yl为低频深度特征，
Figure GDA0002718894910000082
是将高分辨率深度图图像块y进行下采再上采的低频结果；
Figure GDA0002718894910000083
和
Figure GDA0002718894910000084
表示一阶和二阶导数，ynorm是归一化后的所述高分辨率深度图图像块y；
提取颜色特征：
yc＝[Inorm；Iedge]
其中，yc为颜色特征，Inorm是归一化的图像灰度，Iedge是高分辨率彩色图像的边缘信息；
提取位置特征：
yp＝[u/W；v/H]
其中，yp为位置特征，(u,v)是y中心点的坐标，(W,H)是训练集子构件的长宽；
提取高频深度特征：
Figure GDA0002718894910000091
其中，yh为高频深度特征，
Figure GDA0002718894910000092
是高频信息，
Figure GDA0002718894910000093
是梯度信息；
组成所述第一联合特征[yl,yc,yp,yh]。
在该实施例中，指出了由多种图像特征构成的第一合特征的计算过程，其中，颜色特征包括归一化的图像灰度以及高分辨率彩色图像的边缘信息；位置特征包括位置的中心坐标以及训练集子构件的长和宽；高频深度特征包括高频信息和梯度信息，从而提取出了基于颜色、深度和位置的第一联合特征。
根据本发明第二方面实施例的深度图增强装置，优选地，第二提取单元，具体用于：
提取深度特征：
Figure GDA0002718894910000094
其中，xl为深度特征，
Figure GDA0002718894910000095
是将高分辨率深度图图像块x进行上采的低频结果；
Figure GDA0002718894910000096
和
Figure GDA0002718894910000097
表示一阶和二阶导数，xnorm是归一化后的低分辨率深度图图像块x；
提取颜色特征：
xc＝[Inorm；Iedge]
其中，xc为颜色特征，Inorm是归一化的图像灰度，Iedge是高分辨率彩色图像的边缘信息；
提取位置特征：
Xp＝[u1/W1；v1/H1]
其中，xp为位置特征，(u1，v1)是x中心点的坐标，(W1，H1)是测试集子构件的长宽；
组成第二联合特征[xl,xc,xp]。
在该实施例中，与第一联合特征的计算方法类似，不同之处在于，
Figure GDA0002718894910000109
表示将高分辨率深度图图像块x进行上采的低频结果。从而提取出了测试集的基于颜色、深度和位置的第二联合特征。
根据本发明第二方面实施例的深度图增强装置，优选地，最近邻单元，具体用于：对于每个输入的低分辨率深度图的深度特征xl的每个部分的图像块
Figure GDA0002718894910000101
根据距离公式，求出其在训练中的K个最近邻
Figure GDA0002718894910000102
距离公式如下：
dist(xl,yl)＝||xl-yl||+wc||xc-yc||+wp||xp-yp||,
其中||·||是两个特征向量之间的欧几里得距离。
在该实施例中，指出了查找测试集图像在训练集图像的对应部分的最邻近的距离公式，对于测试集输入的低分辨率图片，在训练集中基于联合特征找到最近邻，联合特征充分考虑高层和低层信息，构建了准确的相似度准则。
根据本发明第二方面实施例的深度图增强装置，优选地，重建单元，具体用于：利用找到的最近邻，用邻域嵌入的方法获得图像的重建系数：
Figure GDA0002718894910000103
Figure GDA0002718894910000104
对应的所述高频特征和所述梯度特征部分用相同的重建系数αi作用于K个最近邻对应的高频深度特征
Figure GDA0002718894910000105
获得：
Figure GDA0002718894910000106
将所有得到的块的高频深度特征
Figure GDA0002718894910000107
取平均，融合成深度图Xh的高频部分和梯度部分
Figure GDA0002718894910000108
在该实施例中，测试集图像在训练集图像中找到最邻近后，通过邻域嵌入的方法重建测试集图像的高频信息、低频信息和梯度信息，从而获得测试集图像的最终高频信息、低频信息和梯度信息，充分结合了高层语义信息和低层像素信息，有效地处理了深度图降质的问题。
根据本发明第二方面实施例的深度图增强装置，优选地，利用全局优化方程结合所述高频信息、所述低频信息和所述梯度信息，得到增强后的测试集图像，具体包括：求解如下所示的能量方程，将低频部分、高频部分和梯度部分结合，得到增强后的高质量深度图Xh：
Figure GDA0002718894910000111
在该实施例中，在重建测试集图像的高频信息、低频信息和梯度信息后，利用统一的能量方程充分结合上述高层语义信息和低层像素信息，求解得到高质量深度图，有效地提升了深度图的质量。
根据本发明第二方面实施例的深度图增强装置，优选地，还包括：显示单元，将所述增强后的训练集图像进行显示。
在该实施例中，通过将增强后的测试集图像显示在终端设备上，满足用户的查看或预览需求。
附图说明
本发明的上述和/或附加的方面和优点从结合下面附图对实施例的描述中将变得明显和容易理解，其中：
图1示出了根据本发明的第一方面实施例的深度图增强方法的流程图；
图2示出了根据本发明第二方面实施例的深度图增强装置的示意框图；
图3示出了根据本发明实施例的深度图增强的演示图；
图4示出了根据本发明实施例的深度图增强的流程图。
具体实施方式
为了能够更清楚地理解本发明的上述目的、特征和优点，下面结合附图和具体实施方式对本发明进行进一步的详细描述。需要说明的是，在不冲突的情况下，本申请的实施例及实施例中的特征可以相互组合。
在下面的描述中阐述了很多具体细节以便于充分理解本发明，但是，本发明还可以采用其他不同于在此描述的其他方式来实施，因此，本发明的保护范围并不受下面公开的具体实施例的限制。
图1示出了根据本发明的第一方面实施例的深度图增强方法的流程图。
如图1所示，根据本发明的第一方面的实施例，提出了一种深度图增强方法，包括：步骤102，对训练集图像的多个图像特征信息进行提取，得到多个图像特征信息的第一联合特征；步骤104，对测试集图像的多个图像特征信息进行提取，得到多个图像特征信息的第二联合特征；步骤106，基于第一联合特征与第二联合特征的相似性，查找测试集图像在训练集图像的对应部分的最近邻；步骤108，根据查找到的最近邻，对测试集图像进行邻域嵌入，用以重建测试集图像的高频信息、低频信息和梯度信息；步骤110，利用全局优化方程结合高频信息、低频信息和梯度信息，得到增强后的测试集图像。
根据本发明第一方面实施例的深度图增强方法，提出联合多种图像特征进行深度图图像增强，首先提取训练集图像的多个图像特征信息，得到多个图像特征信息的第一联合特征，并提取测试集图像的多个图像特征信息，得到多个图像特征信息的第二联合特征，其中，如果仅利用单一的图像特征或者仅利用图像低层信息来增强图像，或者分别从多个方面进行多次增强，效果差强人意，本发明提出联合多种特征的方案进行深度图图像增强，其中第一联合特征和第二联合特征充分考虑了高层信息和低层信息，构建了准确的相似度准则，然后利用第一联合特征与第二联合特征的相似性，查找测试集图像在训练集图像的对应部分的最近邻；再根据查找到的最近邻，对测试集图像进行邻域嵌入算法，重建测试集图像的高频信息、低频信息和梯度信息；利用全局优化方程，并结合重建后测试集图像的高频信息、低频信息和梯度信息，最终得到增强后的测试集图像，测试集中的低分辨率图像得到增强，例如，测试集图像是人脸图像时，则会使增强后的深度图更符合人脸的物理结构，有效增强了人脸深度图的结构和细节，提升了人脸深度图的视觉质量。总体上，本发明设置训练集对测试集的图像处理方法进行教导，利用机器学习提高测试集增强图像的能力，重建低分辨率深度图缺失的信息，并增强了低分辨深度图的整体质量。
根据本发明第一方面实施例的深度图增强方法，优选地，在对训练集图像的多个图像特征信息进行提取，得到多个图像特征信息的第一联合特征之前，还包括：接收高分辨率深度图和相关的高分辨率彩色图，用以组建训练集；接收低分辨率深度图和对应的高分辨率彩色图，用以组建测试集。
在该实施例中，通过接收高分辨率深度图和相关的高分辨率彩色图，来组建训练集，保证训练集图像和测试集图像的深度图和对应彩色图的一致性并利用训练集对测试集进行监督训练；将待增强的低分辨率深度图和对应的高分辨率彩色图，放入测试集，进行有监督学习，从训练集获取增强图像的方法。
根据本发明第一方面实施例的深度图增强方法，优选地，对训练集图像的多个图像特征信息进行提取，得到多个图像特征信息的第一联合特征，具体包括：根据训练集图像的高层语义信息，分解训练集图像，得到多个训练集子构件；将多个训练集子构件分别分割成多个训练集图像块；分别提取多个训练集图像块的多个图像特征信息构成第一联合特征；其中，多个图像特征包括颜色特征、高频深度特征、低频深度特征和位置特征，训练集图像块包括高分辨率深度图图像块和相关的高分辨率彩色图图像块。
在该实施例中，根据训练集图像的高层语义信息和其对应的彩色图像，将训练集图像分解为多个训练集子构件，例如，对于人脸图像来说，构件分解的步骤会将人脸图像分解成眼、嘴、鼻、面等子构件；然后将子构件分割成多个图像块，提取图像块的多个图像特征信息，这些图像特征包括颜色特征、高频深度特征、低频深度特征和位置特征，联合考虑并利用这些图像块的多个图像特征信息构成第一联合特征。
根据本发明第一方面实施例的深度图增强方法，优选地，对测试集图像的多个图像特征信息进行提取，得到多个图像特征信息的第二联合特征，具体包括：根据测试集图像的高层语义信息，分解测试集图像，得到多个测试集子构件；将多个测试集子构件分别分割成多个测试集图像块；分别提取多个测试集图像块的所述多个图像特征信息构成所述第二联合特征；其中，多个图像特征包括颜色特征、深度特征和位置特征，测试集图像块包括低分辨率深度图图像块和对应的高分辨率彩色图图像块。
在该实施例中，测试集中的低分辨率深度图需要被增强，与第一联合特征的提取步骤类似，根据测试集图像的高层语义信息和其对应的彩色图像，将测试集图像分解为多个测试集子构件，如分解成眼、嘴、鼻、面等；然后将每个测试集子构件分割成多个测试集图像块，提取多个测试集图像块的多个图像特征信息，这些图像特征包括颜色特征、深度特征和位置特征，并将这些图像块的多个图像特征信息构成第二联合特征。
根据本发明第一方面实施例的深度图增强方法，优选地，分别提取多个训练集图像块的多个图像特征信息构成第一联合特征，具体包括：
提取低频深度特征：
Figure GDA0002718894910000141
其中，yl为低频深度特征，
Figure GDA0002718894910000142
是将高分辨率深度图图像块y进行下采再上采的低频结果；
Figure GDA0002718894910000143
和
Figure GDA0002718894910000144
表示一阶和二阶导数，ynorm是归一化后的高分辨率深度图图像块y；
提取颜色特征：
yc＝[Inorm；Iedge]
其中，yc为颜色特征，Inorm是归一化的图像灰度，Iedge是高分辨率彩色图像的边缘信息；
提取位置特征：
yp＝[u/W；v/H]
其中，yp为位置特征，(u,v)是y中心点的坐标，(W,H)是训练集子构件的长宽；
提取高频深度特征：
Figure GDA0002718894910000145
其中，yh为高频深度特征，
Figure GDA0002718894910000146
是高频信息，
Figure GDA0002718894910000147
是梯度信息；
组成第一联合特征[yl,yc,yp,yh]。
在该实施例中，指出了由多种图像特征信息构成第一联合特征的计算过程，其中，颜色特征包括归一化的图像灰度以及高分辨率彩色图像的边缘信息，位置特征包括位置的中心坐标以及训练集子构件的长和宽，高频深度特征包括高频信息和梯度信息，从而提取出了基于颜色、深度和位置的第一联合特征。
根据本发明第一方面实施例的深度图增强方法，优选地，分别提取多个测试集图像块的多个图像特征信息构成第二联合特征，具体包括：
提取深度特征：
Figure GDA0002718894910000151
其中，xl为深度特征，
Figure GDA0002718894910000152
是将高分辨率深度图图像块x进行上采的低频结果；
Figure GDA0002718894910000153
和
Figure GDA0002718894910000154
表示一阶和二阶导数，xnorm是归一化后的低分辨率深度图图像块x；
提取颜色特征：
xc＝[Inorm；Iedge]
其中，xc为颜色特征，Inorm是归一化的图像灰度，Iedge是高分辨率彩色图像的边缘信息；
提取位置特征：
Xp＝[u1/W1；v1/H1]
其中，xp为所述位置特征，(u1，v1)是x中心点的坐标，(W1，H1)是所述测试集子构件的长宽；
组成所述第二联合特征[xl,xc,xp]。
在该实施例中，指出了由多种图像特征构成的第二联合特征息包括的计算过程，其中，颜色特征包括归一化的图像灰度以及高分辨率彩色图像的边缘信息；位置特征包括位置的中心坐标以及测试集子构件的长和宽，从而提取出了基于颜色、深度和位置的第二联合特征。
根据本发明第一方面实施例的深度图增强方法，优选地，查找测试集图像在训练集图像的对应部分的最近邻，具体包括：对于每个输入的低分辨率深度图的深度特征xl的每个部分的图像块
Figure GDA0002718894910000155
根据距离公式，求出其在训练中的K个最近邻
Figure GDA0002718894910000156
距离公式如下：
dist(xl,yl)＝||xl-yl||+wc||xc-yc||+wp||xp-yp||,
其中||·||是两个特征向量之间的欧几里得距离。
在该实施例中，指出了查找测试集图像在训练集图像的对应部分的最邻近的距离公式，对于测试集输入的低分辨率图片，在训练集中基于联合特征找到最近邻，联合特征充分考虑高层和低层信息，构建了准确的相似度准则。
根据本发明第一方面实施例的深度图增强方法，优选地，根据查找到的最近邻，对测试集图像进行邻域嵌入，用以重建测试集图像的高频信息、低频信息和梯度信息，具体包括：利用找到的最近邻，用邻域嵌入的方法获得图像的重建系数：
Figure GDA0002718894910000161
Figure GDA0002718894910000162
对应的高频特征和梯度特征部分用相同的重建系数αi作用于K个最近邻对应的高频深度特征
Figure GDA0002718894910000163
获得：
Figure GDA0002718894910000164
将所有得到的块的高频深度特征
Figure GDA0002718894910000165
取平均，融合成深度图Xh的高频部分和梯度部分
Figure GDA0002718894910000167
在该实施例中，测试集图像在训练集图像中找到最邻近后，通过邻域嵌入的方法重建测试集图像的高频信息、低频信息和梯度信息，从而获得测试集图像的最终高频信息、低频信息和梯度信息，充分结合了高层语义信息和低层像素信息，有效地处理了深度图降质的问题。
根据本发明第一方面实施例的深度图增强方法，优选地，利用全局优化方程结合所述高频信息、所述低频信息和所述梯度信息，得到增强后的测试集图像。具体包括：求解下面的能量方程，将低频部分、高频部分和梯度部分结合，便得到了增强后的高质量深度图Xh：
Figure GDA0002718894910000166
在该实施例中，在重建测试集图像的高频信息、低频信息和梯度信息后，利用统一的能量方程充分结合上述高层语义信息和低层像素信息，求解得到高质量深度图，有效地提升了深度图的质量。
根据本发明第一方面实施例的深度图增强方法，优选地，进一步包括：将增强后的测试集图像进行显示。
在该实施例中，通过将增强后的测试集图像显示在终端设备上，满足用户的查看和预览需求。
图2示出了根据本发明第二方面实施例的深度图增强装置的示意框图。
如图2所示，根据本发明第二方面的实施例，还提出了一种深度图增强装置200，其特征在于，包括：训练单元202，对训练集图像的多个图像特征信息进行提取，得到多个图像特征信息的第一联合特征；测试单元204，对测试集图像的多个图像特征信息进行提取，得到多个图像特征信息的第二联合特征；最近邻单元206，基于第一联合特征与第二联合特征的相似性，查找测试集图像在训练集图像的对应部分的最近邻；重建单元208，根据查找到的最近邻，对测试集图像进行邻域嵌入，用以重建测试集图像的高频信息、低频信息和梯度信息；优化单元210，利用全局优化方程结合高频信息、低频信息和梯度信息，得到增强后的测试集图像。
根据本发明第二方面实施例的深度图增强装置，首先提取训练集图像的多个图像特征信息，得到多个图像特征信息的第一联合特征，并提取测试集图像的多个图像特征信息，得到多个图像特征信息的第二联合特征，第一联合特征和第二联合特征充分考虑了高层信息和低层信息，构建了准确的相似度准则；然后利用第一联合特征与第二联合特征的相似性，查找测试集图像在训练集图像的对应部分的最近邻；再根据查找到的最近邻，对测试集图像进行邻域嵌入，重建测试集图像的高频信息、低频信息和梯度信息；利用全局优化方程，并结合重建后测试集图像的高频信息、低频信息和梯度信息，最终得到增强后的测试集图像，使增强后的深度图更符合真实的物理结构，有效增强了深度图的结构和细节，提升了深度图的视觉质量。
根据本发明第二方面实施例的深度图增强装置200，优选地，还包括：接收单元212，接收高分辨率深度图和相关的高分辨率彩色图，用以组建训练集；接收低分辨率深度图和对应的高分辨率彩色图，用以组建测试集。
在该实施例中，在提取训练集图像的多个图像特征信息之前，需要组建好训练集以及待增强图像的测试集，以方便进行训练集图像以及测试集图像的多个图像特征信息的提取。通过接收高分辨率深度图和相关的高分辨率彩色图，来组建训练集；通过接收低分辨率深度图和对应的高分辨率彩色图，来组建测试集，保证训练集图像和测试集图像的深度图和对应彩色图的一致性。
据本发明第二方面实施例的深度图增强装置200，优选地，训练单元202，具体包括：第一语义单元2022，根据训练集图像的高层语义信息，分解训练集图像，得到多个集子构件；第一分割单元2024，将多个训练集子构件分别分割成多个训练集图像块；第一提取单元2026，分别提取多个训练集图像块的多个图像特征信息构成第一联合特征；其中，多个图像特征包括颜色特征、高频深度特征、低频深度特征和位置特征，训练集图像块包括高分辨率深度图图像块和相关的高分辨率彩色图图像块。
在该实施例中，根据训练集图像的高层语义信息和其对应的彩色图像，将训练集图像分解为多个训练集子构件，如分解成眼、嘴、鼻、面等；然后将每个训练集子构件分割成多个训练集图像块，提取多个训练集图像块的多个图像特征信息，这些图像特征包括颜色特征、高频深度特征、低频深度特征和位置特征，并将这些图像块的多个图像特征信息构成第一联合特征。
根据本发明第二方面实施例的深度图增强装置200，优选地，测试单元204，具体包括：第二语义单元2042，根据测试集图像的高层语义信息，分解测试集图像，得到多个测试集子构件；第二分割单元2044，将多个测试集子构件分别分割成多个测试集图像块；第二提取单元2046，分别提取多个测试集图像块的多个图像特征信息构成第二联合特征；其中，多个图像特征包括颜色特征、深度特征和位置特征，测试集图像块包括低分辨率深度图图像块和对应的高分辨率彩色图图像块。
在该实施例中，根据测试集图像的高层语义信息和其对应的彩色图像，将测试集图像分解为多个测试集子构件，如分解成眼、嘴、鼻、面等；然后将每个测试集子构件分割成多个测试集图像块，提取多个测试集图像块的多个图像特征信息，这些图像特征包括颜色特征、高频深度特征、低频深度特征和位置特征，并将这些图像块的多个图像特征信息构成第二联合特征。
根据本发明第二方面实施例的深度图增强装置200，优选地，第一提取单元2026，具体用于：
提取低频深度特征：
Figure GDA0002718894910000191
其中，yl为低频深度特征，
Figure GDA0002718894910000192
是将高分辨率深度图图像块y进行下采再上采的低频结果；
Figure GDA0002718894910000193
和
Figure GDA0002718894910000194
表示一阶和二阶导数，ynorm是归一化后的所述高分辨率深度图图像块y；
提取颜色特征：
yc＝[Inorm；Iedge]
其中，yc为颜色特征，Inorm是归一化的图像灰度，Iedge是高分辨率彩色图像的边缘信息；
提取位置特征：
yp＝[u/W；v/H]
其中，yp为位置特征，(u,v)是y中心点的坐标，(W,H)是训练集子构件的长宽；
提取高频深度特征：
Figure GDA0002718894910000195
其中，yh为高频深度特征，
Figure GDA0002718894910000196
是高频信息，
Figure GDA0002718894910000197
是梯度信息；
组成所述第一联合特征[yl,yc,yp,yh]。
在该实施例中，指出了训练集图像块的多种图像特征信息包括的具体信息，低频深度特征包括：
Figure GDA0002718894910000198
和ynorm，
Figure GDA0002718894910000199
表示将高分辨率深度图图像块y进行下采再上采得到的低频结果；
Figure GDA00027188949100001910
和
Figure GDA00027188949100001911
表示一阶和二阶导数，ynorm表示归一化后的高分辨率深度图图像块y；颜色特征包括归一化的图像灰度以及高分辨率彩色图像的边缘信息；位置特征包括位置的中心坐标以及训练集子构件的长和宽；高频深度特征包括高频信息和梯度信息，从而提取出了基于颜色、深度和位置的第一联合特征。
根据本发明第二方面实施例的深度图增强装置200，优选地，第二提取单元2046，具体用于：
提取深度特征：
Figure GDA00027188949100001912
其中，xl为深度特征，
Figure GDA00027188949100001913
是将高分辨率深度图图像块x进行上采的低频结果；
Figure GDA00027188949100001914
和
Figure GDA00027188949100001915
表示一阶和二阶导数，xnorm是归一化后的低分辨率深度图图像块x；
提取颜色特征：
xc＝[Inorm；Iedge]
其中，xc为颜色特征，Inorm是归一化的图像灰度，Iedge是高分辨率彩色图像的边缘信息；
提取位置特征：
Xp＝[u1/W1；v1/H1]
其中，xp为位置特征，(u1，v1)是x中心点的坐标，(W1，H1)是测试集子构件的长宽；
组成第二联合特征[xl,xc,xp]。
在该实施例中，指出了测试块的多种图像特征信息包括的具体信息，深度特征包括：
Figure GDA0002718894910000201
Figure GDA0002718894910000202
表示将高分辨率深度图图像块x进行上采的低频结果；
Figure GDA0002718894910000203
和
Figure GDA0002718894910000204
表示一阶和二阶导数，xnorm表示归一化后的低分辨率深度图图像块x；颜色特征包括归一化的图像灰度以及高分辨率彩色图像的边缘信息；位置特征包括位置的中心坐标以及测试集子构件的长和宽，从而提取出了基于颜色、深度和位置的第二联合特征。
根据本发明第二方面实施例的深度图增强装置200，优选地，最近邻单元206，具体用于：对于每个输入的低分辨率深度图的深度特征xl的每个部分的图像块
Figure GDA0002718894910000205
根据距离公式，求出其在训练中的K个最近邻
Figure GDA0002718894910000206
距离公式如下：
dist(xl,yl)＝||xl-yl||+wc||xc-yc||+wp||xp-yp||,
其中||·||是两个特征向量之间的欧几里得距离。
在该实施例中，指出了查找测试集图像在训练集图像的对应部分的最邻近的距离公式，对于测试集输入的低分辨率人脸图片，在训练集中基于联合特征找到最近邻，联合特征充分考虑人脸的高层和低层信息，构建了准确的相似度准则。
根据本发明第二方面实施例的深度图增强装置200，优选地，重建单元208，具体用于：利用找到的最近邻，用邻域嵌入的方法获得图像的重建系数：
Figure GDA0002718894910000211
Figure GDA0002718894910000212
对应的所述高频特征和所述梯度特征部分用相同的重建系数αi作用于K个最近邻对应的高频深度特征
Figure GDA0002718894910000213
获得：
Figure GDA0002718894910000214
将所有得到的块的高频深度特征
Figure GDA0002718894910000215
取平均，融合成深度图Xh的高频部分和梯度部分
Figure GDA0002718894910000217
在该实施例中，测试集图像在训练集图像中找到最邻近后，通过邻域嵌入的方法重建测试集图像的高频信息、低频信息和梯度信息，从而获得测试集图像的最终高频信息、低频信息和梯度信息，充分结合了高层语义信息和低层像素信息，有效地处理了深度图降质的问题。
根据本发明第二方面实施例的深度图增强装置200，优选地，优化单元210，具体地用于：通过求解能量方程，将低频信息部分、高频信息部分和梯度信息部分结合，得到所述增强后的测试集图像，其中，所述求解能量方程的过程为：
Figure GDA0002718894910000216
Xh为增强后的高质量深度图。
在该实施例中，在重建测试集图像的高频信息、低频信息和梯度信息后，利用统一的能量方程充分结合上述高层语义信息和低层像素信息，求解得到高质量深度图，有效地提升了深度图的质量。
根据本发明第二方面实施例的深度图增强装置200，优选地，还包括：显示单元214，将所述增强后的训练集图像进行显示。
在该实施例中，通过将增强后的测试集图像显示在终端设备上，提高了用户的视觉体验，满足了用户的需求。
图3示出了根据本发明实施例的深度图增强的演示图。
如图3所示，首先输入人脸深度图和彩色图像，根据训练集和测试集图像的高层语义信息，分别分解训练集图像和测试集图像，得到眼、嘴、鼻、面4个部分，提取训练集和测试集图像的眼、嘴、鼻、面4个部分的联合特征，基于训练集和测试集联合特征的相似性，查找测试集图像在训练集图像的对应部分的最近邻；根据查找到的最近邻，对测试集图像进行邻域嵌入，重建测试集图像的高频信息、低频信息和梯度信息，最终，利用全局优化方程结合重建后的高频信息、低频信息和梯度信息，得到增强后的深度图。使增强后的深度图更符合人脸的物理结构，有效增强了人脸深度图的结构和细节，提升了人脸深度图的视觉质量。总体上，本发明设置训练集对测试集的图像处理方法进行指导，利用机器学习提高测试集增强图像的能力，重建低分辨率深度图缺失的信息，并增强了低分辨深度图的整体质量。
图4示出了根据本发明实施例的深度图增强的流程图。
如图4所示，根据本发明实施例的深度图像增强方法的主要过程包括：步骤402，输入低分辨率人脸深度图和高分辨率彩色图像，构建出测试集；步骤404，对低分辨率人脸深度图和高分辨率彩色图像进行人脸构件分解，并将每个构件分解成图像块，此步骤中，先考虑高层语义信息将测试集的人脸深度图根据人脸器官的特征划分为构件，然后对每个构建再进一步分解得到便于采集联合特征的图像块；步骤406，提取输入图像的联合特征，此步骤提取多种图像特征，联合考虑多种图像特征；步骤408，调用训练集中高分辨率人脸深度图和高分辨率彩色图像，构成测试集；步骤410，对训练集中高分辨率人脸深度图和高分辨率彩色图像进行人脸构件分解，并将每个构件分解成图像块；步骤412，提取训练集中图像的联合特征；步骤414，对于输入深度的图像块，使用联合特征在训练集中找该图像块的最近邻；步骤416，用邻域嵌入的方法重建输入深度的图像块的高频信息和梯度信息；步骤418，使用全局优化方程结合低频、高频信息和梯度信息输出增强后的人脸梯度图。
以上结合附图详细说明了本发明的技术方案，通过本发明的技术方案，结合颜色、深度和位置信息的联合特征充分考虑人脸的高层和低层信息，并使用全局优化方程结合高频、低频和梯度信息，对深度图的降质问题具有鲁棒性，可以有效地增强人脸深度图的结构和细节，提升深度图视觉质量。
本发明实施例方法中的步骤可以根据实际需要进行顺序调整、合并和删减，本发明实施例系统中的单元可以根据实际需要进行合并、划分和删减。以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (16)

1.一种深度图增强方法，其特征在于，包括：
对训练集图像的多个图像特征信息进行提取，得到所述多个图像特征信息的第一联合特征；
对测试集图像的多个图像特征信息进行提取，得到所述多个图像特征信息的第二联合特征；
基于所述第一联合特征与所述第二联合特征的相似性，查找所述测试集图像在所述训练集图像的对应部分的最近邻；
根据查找到的所述最近邻，对所述测试集图像进行邻域嵌入，用以重建所述测试集图像的高频信息、低频信息和梯度信息；
利用全局优化方程结合所述高频信息、所述低频信息和所述梯度信息，得到增强后的测试集图像；
在所述对训练集图像的多个图像特征信息进行提取，得到所述多个图像特征信息的第一联合特征之前，还包括：
接收高分辨率深度图和相关的高分辨率彩色图，用以组建所述训练集；
接收低分辨率深度图和对应的高分辨率彩色图，用以组建所述测试集；
所述对训练集图像的多个图像特征信息进行提取，得到所述多个图像特征信息的第一联合特征，具体包括：
根据所述训练集图像的高层语义信息，分解所述训练集图像，得到多个训练集子构件；
将所述多个训练集子构件分别分割成多个训练集图像块；
分别提取所述多个训练集图像块的所述多个图像特征信息构成所述第一联合特征；
其中，所述多个图像特征包括颜色特征、高频深度特征、低频深度特征和位置特征，所述训练集图像块包括高分辨率深度图图像块和相关的高分辨率彩色图图像块。
2.根据权利要求1所述的深度图增强方法，其特征在于，所述对测试集图像的多个图像特征信息进行提取，得到所述多个图像特征信息的第二联合特征，具体包括：
根据所述测试集图像的高层语义信息，分解所述测试集图像，得到多个测试集子构件；
将所述多个测试集子构件分别分割成多个测试集图像块；
分别提取所述多个测试集图像块的所述多个图像特征信息构成所述第二联合特征；
其中，所述多个图像特征包括颜色特征、深度特征和位置特征，所述测试集图像块包括低分辨率深度图图像块和对应的高分辨率彩色图图像块。
3.根据权利要求2所述的深度图增强方法，其特征在于，所述分别提取所述多个训练集图像块的所述多个图像特征信息构成所述第一联合特征，具体包括：
提取所述低频深度特征：
Figure FDA0002718894900000021
其中，yl为所述低频深度特征，
Figure FDA0002718894900000022
是将所述高分辨率深度图图像块y进行下采再上采的低频结果；
Figure FDA0002718894900000023
和
Figure FDA0002718894900000024
表示一阶和二阶导数，ynorm是归一化后的所述高分辨率深度图图像块y；
提取所述颜色特征：
yc＝[Inorm；Iedge]
其中，yc为所述颜色特征，Inorm是归一化的图像灰度，Iedge是所述高分辨率彩色图像的边缘信息；
提取所述位置特征：
yp＝[u/W；v/H]
其中，yp为所述位置特征，(u,v)是y中心点的坐标，(W,H)是所述训练集子构件的长宽；
提取所述高频深度特征：
Figure FDA0002718894900000025
其中，yh为所述高频深度特征，
Figure FDA0002718894900000026
是所述高频信息，
Figure FDA0002718894900000027
是所述梯度信息；
组成所述第一联合特征[yl,yc,yp,yh]。
4.根据权利要求3所述的深度图增强方法，其特征在于，所述分别提取所述多个测试集图像块的所述多个图像特征信息构成所述第二联合特征，具体包括：
提取所述深度特征：
Figure FDA0002718894900000031
其中，xl为所述深度特征，
Figure FDA0002718894900000032
是将所述高分辨率深度图图像块x进行上采的低频结果；
Figure FDA0002718894900000033
和
Figure FDA0002718894900000034
表示一阶和二阶导数，xnorm是归一化后的所述低分辨率深度图图像块x；
提取所述颜色特征：
xc＝[Inorm；Iedge]
其中，xc为所述颜色特征，Inorm是归一化的图像灰度，Iedge是所述高分辨率彩色图像的边缘信息；
提取所述位置特征：
Xp＝[u1/W1；v1/H1]
其中，xp为所述位置特征，(u1，v1)是x中心点的坐标，(W1，H1)是所述测试集子构件的长宽；
组成所述第二联合特征[xl,xc,xp]。
5.根据权利要求4所述的深度图增强方法，其特征在于，所述查找所述测试集图像在所述训练集图像的对应部分的最近邻，具体包括：
对于每个输入的所述低分辨率深度图的所述深度特征xl的每个部分的图像块
Figure FDA0002718894900000035
根据距离公式，求出其在训练中的K个最近邻
Figure FDA0002718894900000036
距离公式如下：
dist(xl,yl)＝||xl-yl||+wc||xc-yc||+wp||xp-yp||,
其中||·||是两个特征向量之间的欧几里得距离。
6.根据权利要求5所述的深度图增强方法，其特征在于，所述根据查找到的所述最近邻，对所述测试集图像进行邻域嵌入，用以重建所述测试集图像的高频信息、低频信息和梯度信息，具体包括：
利用找到的最近邻，用邻域嵌入的方法获得图像的重建系数：
Figure FDA0002718894900000037
Figure FDA0002718894900000041
对应的高频特征和梯度特征部分用相同的重建系数αi作用于K个最近邻对应的高频深度特征
Figure FDA0002718894900000042
获得：
Figure FDA0002718894900000043
将所有得到的块的高频深度特征
Figure FDA0002718894900000044
取平均，融合成深度图Xh的高频部分和梯度部分
Figure FDA0002718894900000045
7.根据权利要求6所述的深度图增强方法，其特征在于，所述利用全局优化方程结合所述高频信息、所述低频信息和所述梯度信息，得到增强后的测试集图像，具体包括：
通过求解能量方程，将低频信息部分、高频信息部分和梯度信息部分结合，得到所述增强后的测试集图像，其中，所述求解能量方程的过程为：
Figure FDA0002718894900000046
Xh为增强后的高质量深度图。
8.根据权利要求1至7中任一项所述的深度图增强方法，其特征在于，进一步包括：
将所述增强后的测试集图像进行显示。
9.一种深度图增强装置，其特征在于，包括：
训练单元，对训练集图像的多个图像特征信息进行提取，得到所述多个图像特征信息的第一联合特征；
测试单元，对测试集图像的多个图像特征信息进行提取，得到所述多个图像特征信息的第二联合特征；
最近邻单元，基于所述第一联合特征与所述第二联合特征的相似性，查找所述测试集图像在所述训练集图像的对应部分的最近邻；
重建单元，根据查找到的所述最近邻，对所述测试集图像进行邻域嵌入，用以重建所述测试集图像的高频信息、低频信息和梯度信息；
优化单元，利用全局优化方程结合所述高频信息、所述低频信息和所述梯度信息，得到增强后的测试集图像；
接收单元，接收高分辨率深度图和相关的高分辨率彩色图，用以组建所述训练集；
接收低分辨率深度图和对应的高分辨率彩色图，用以组建所述测试集；
所述训练单元，具体包括：
第一语义单元，根据所述训练集图像的高层语义信息，分解所述训练集图像，得到多个训练集子构件；
第一分割单元，将所述多个训练集子构件分别分割成多个训练集图像块；
第一提取单元，分别提取所述多个训练集图像块的所述多个图像特征信息构成所述第一联合特征；
其中，所述多个图像特征包括颜色特征、高频深度特征、低频深度特征和位置特征，所述训练集图像块包括高分辨率深度图图像块和相关的高分辨率彩色图图像块。
10.根据权利要求9所述的深度图增强装置，其特征在于，所述测试单元，具体包括：
第二语义单元，根据所述测试集图像的高层语义信息，分解所述测试集图像，得到多个测试集子构件；
第二分割单元，将所述多个测试集子构件分别分割成多个测试集图像块；
第二提取单元，分别提取所述多个测试集图像块的所述多个图像特征信息构成所述第二联合特征；
其中，所述多个图像特征包括颜色特征、深度特征和位置特征，所述测试集图像块包括低分辨率深度图图像块和对应的高分辨率彩色图图像块。
11.根据权利要求10所述的深度图增强装置，其特征在于，所述第一提取单元，具体用于：
提取所述低频深度特征：
Figure FDA0002718894900000051
其中，yl为所述低频深度特征，
Figure FDA0002718894900000052
是将所述高分辨率深度图图像块y进行下采再上采的低频结果；
Figure FDA0002718894900000053
和
Figure FDA0002718894900000054
表示一阶和二阶导数，ynorm是归一化后的所述高分辨率深度图图像块y；
提取所述颜色特征：
yc＝[Inorm；Iedge]
其中，yc为所述颜色特征，Inorm是归一化的图像灰度，Iedge是所述高分辨率彩色图像的边缘信息；
提取所述位置特征：
yp＝[u/W；v/H]
其中，yp为所述位置特征，(u,v)是y中心点的坐标，(W,H)是所述训练集子构件的长宽；
提取所述高频深度特征：
Figure FDA0002718894900000061
其中，yh为所述高频深度特征，
Figure FDA0002718894900000062
是所述高频信息，
Figure FDA0002718894900000063
是所述梯度信息；
组成所述第一联合特征[yl,yc,yp,yh]。
12.根据权利要求11所述的深度图增强装置，其特征在于，所述第二提取单元，具体用于：
提取所述深度特征：
Figure FDA0002718894900000064
其中，xl为所述深度特征，
Figure FDA0002718894900000065
是将所述高分辨率深度图图像块x进行上采的低频结果；
Figure FDA0002718894900000066
和
Figure FDA0002718894900000067
表示一阶和二阶导数，xnorm是归一化后的所述低分辨率深度图图像块x；
提取所述颜色特征：
xc＝[Inorm；Iedge]
其中，xc为所述颜色特征，Inorm是归一化的图像灰度，Iedge是所述高分辨率彩色图像的边缘信息；
提取所述位置特征：
Xp＝[u1/W1；v1/H1]
其中，xp为所述位置特征，(u1，v1)是x中心点的坐标，(W1，H1)是所述测试集子构件的长宽；
组成所述第二联合特征[xl,xc,xp]。
13.根据权利要求12所述的深度图增强装置，其特征在于，所述最近邻单元，具体用于：
对于每个输入的所述低分辨率深度图的所述深度特征xl的每个部分的图像块
Figure FDA0002718894900000071
根据距离公式，求出其在训练中的K个最近邻
Figure FDA0002718894900000072
距离公式如下：
dist(xl,yl)＝||xl-yl||+wc||xc-yc||+wp||xp-yp||,
其中||·||是两个特征向量之间的欧几里得距离。
14.根据权利要求13所述的深度图增强装置，其特征在于，所述重建单元，具体用于：
利用找到的最近邻，用邻域嵌入的方法获得图像的重建系数：
Figure FDA0002718894900000073
Figure FDA0002718894900000074
对应的高频特征和梯度特征部分用相同的重建系数αi作用于K个最近邻对应的高频深度特征
Figure FDA0002718894900000075
获得：
Figure FDA0002718894900000076
将所有得到的块的高频深度特征
Figure FDA0002718894900000077
取平均，融合成深度图Xh的高频部分和梯度部分
Figure FDA0002718894900000078
15.根据权利要求14所述的深度图增强装置，其特征在于，所述优化单元，具体用于：
通过求解能量方程，将低频信息部分、高频信息部分和梯度信息部分结合，得到所述增强后的测试集图像，其中，所述求解能量方程的过程为：
Figure FDA0002718894900000079
Xh为增强后的高质量深度图。
16.根据权利要求9至15中任一项所述的深度图增强装置，其特征在于，还包括：
显示单元，将所述增强后的测试集图像进行显示。
CN201611093936.9A 2016-12-01 2016-12-01 深度图增强方法和深度图增强装置 Expired - Fee Related CN108133459B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201611093936.9A CN108133459B (zh) 2016-12-01 2016-12-01 深度图增强方法和深度图增强装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201611093936.9A CN108133459B (zh) 2016-12-01 2016-12-01 深度图增强方法和深度图增强装置

Publications (2)

Publication Number Publication Date
CN108133459A CN108133459A (zh) 2018-06-08
CN108133459B true CN108133459B (zh) 2021-04-09

Family

ID=62388208

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201611093936.9A Expired - Fee Related CN108133459B (zh) 2016-12-01 2016-12-01 深度图增强方法和深度图增强装置

Country Status (1)

Country Link
CN (1) CN108133459B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110148166A (zh) * 2019-01-25 2019-08-20 华晨宝马汽车有限公司 测量物体尺寸的系统、方法、装置以及存储介质

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8675999B1 (en) * 2012-09-28 2014-03-18 Hong Kong Applied Science And Technology Research Institute Co., Ltd. Apparatus, system, and method for multi-patch based super-resolution from an image
CN103714526A (zh) * 2013-12-24 2014-04-09 西安电子科技大学 基于稀疏多流形嵌入的超分辨率图像重构方法
CN104504672A (zh) * 2014-12-27 2015-04-08 西安电子科技大学 基于NormLV特征的低秩稀疏邻域嵌入超分辨方法
CN105335929A (zh) * 2015-09-15 2016-02-17 清华大学深圳研究生院 一种深度图超分辨方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8675999B1 (en) * 2012-09-28 2014-03-18 Hong Kong Applied Science And Technology Research Institute Co., Ltd. Apparatus, system, and method for multi-patch based super-resolution from an image
CN103714526A (zh) * 2013-12-24 2014-04-09 西安电子科技大学 基于稀疏多流形嵌入的超分辨率图像重构方法
CN104504672A (zh) * 2014-12-27 2015-04-08 西安电子科技大学 基于NormLV特征的低秩稀疏邻域嵌入超分辨方法
CN105335929A (zh) * 2015-09-15 2016-02-17 清华大学深圳研究生院 一种深度图超分辨方法

Also Published As

Publication number Publication date
CN108133459A (zh) 2018-06-08

Similar Documents

Publication Publication Date Title
US8743119B2 (en) Model-based face image super-resolution
CN110827193B (zh) 基于多通道特征的全景视频显著性检测方法
CN105488758A (zh) 一种基于内容感知的图像缩放方法
CN107240084A (zh) 一种单幅图像去雨方法及装置
CN107220957B (zh) 一种利用滚动导向滤波的遥感图像融合方法
CN109635822B (zh) 基于深度学习编码译码网络的立体图像视觉显著提取方法
KR20130089649A (ko) 3차원 이미지에서 컨텐츠를 검열하는 방법 및 장치
KR101028628B1 (ko) 영상 텍스쳐 필터링 방법, 이를 수행하는 프로그램을 기록한 기록매체 및 이를 수행하는 장치
CN103226824B (zh) 维持视觉显著性的视频重定向系统
CN111080670A (zh) 图像提取方法、装置、设备及存储介质
CN111641822A (zh) 一种重定位立体图像质量评价方法
CN109166172B (zh) 服装模型的构建方法、装置、服务器和存储介质
CN108133459B (zh) 深度图增强方法和深度图增强装置
CN113570725A (zh) 基于聚类的三维表面重建方法、装置、服务器及存储介质
CN106682599B (zh) 一种基于稀疏表示的立体图像视觉显著提取方法
CN112102504A (zh) 一种基于混合现实的三维场景和二维图像混合方法
CN109711286B (zh) 一种基于人工视网膜空间感知的控制方法及装置
CN109257591A (zh) 基于稀疏表示的无参考立体视频质量客观评价方法
CN111260555A (zh) 一种基于surf的改进图像拼接方法
CN110782390A (zh) 图像的矫正处理方法及装置、电子设备
CN106503174B (zh) 一种基于网络三维建模的场景可视化方法及系统
Jabbar et al. FD-stackGAN: face de-occlusion using stacked generative adversarial networks
CN110675413A (zh) 三维人脸模型构建方法、装置、计算机设备及存储介质
CN114529689A (zh) 基于对抗神经网络的陶瓷杯缺陷样本扩增方法及系统
CN110309554B (zh) 基于服装建模与仿真的视频人体三维重建方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
TR01 Transfer of patent right

Effective date of registration: 20230620

Address after: 100871 No. 5, the Summer Palace Road, Beijing, Haidian District

Patentee after: Peking University

Patentee after: New founder holdings development Co.,Ltd.

Patentee after: BEIJING FOUNDER ELECTRONICS Co.,Ltd.

Address before: 100871 No. 5, the Summer Palace Road, Beijing, Haidian District

Patentee before: Peking University

Patentee before: PEKING UNIVERSITY FOUNDER GROUP Co.,Ltd.

Patentee before: BEIJING FOUNDER ELECTRONICS Co.,Ltd.

TR01 Transfer of patent right
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20210409

CF01 Termination of patent right due to non-payment of annual fee