CN110415169A - 一种深度图超分辨率重建方法、系统及电子设备 - Google Patents

一种深度图超分辨率重建方法、系统及电子设备 Download PDF

Info

Publication number
CN110415169A
CN110415169A CN201810398824.7A CN201810398824A CN110415169A CN 110415169 A CN110415169 A CN 110415169A CN 201810398824 A CN201810398824 A CN 201810398824A CN 110415169 A CN110415169 A CN 110415169A
Authority
CN
China
Prior art keywords
opt
image
depth
image block
resolution
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201810398824.7A
Other languages
English (en)
Other versions
CN110415169B (zh
Inventor
张云
张欢
李娜
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Institute of Advanced Technology of CAS
Original Assignee
Shenzhen Institute of Advanced Technology of CAS
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Institute of Advanced Technology of CAS filed Critical Shenzhen Institute of Advanced Technology of CAS
Priority to CN201810398824.7A priority Critical patent/CN110415169B/zh
Publication of CN110415169A publication Critical patent/CN110415169A/zh
Application granted granted Critical
Publication of CN110415169B publication Critical patent/CN110415169B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4053—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/13—Edge detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20021—Dividing image into blocks, subimages or windows
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Analysis (AREA)

Abstract

本申请涉及一种深度图超分辨率重建方法、系统及电子设备。所述方法包括：分别获取待重建原始低分辨率深度图像的上采样图像、特征图及边缘图；将所述上采样图像、特征图及边缘图分别划分成图像块，并对图像块进行区域类别划分；采用权重组合，利用稀疏表达方法分别对各个区域类别的图像块进行重构，得到各个区域类别的高分辨率图像块；合并重构后的各个区域类别的高分辨率图像块，得到高分辨率深度图。本申请结合稀疏表达方法，构造结合虚拟视点失真模型、最大化虚拟视点质量和基于加权局部的字典学习和重建目标函数，提高重建的深度图虚拟视点绘制性能。

Description

一种深度图超分辨率重建方法、系统及电子设备
技术领域
本申请属于图像重建技术领域，特别涉及一种深度图超分辨率重建方法、系统及电子设备。
背景技术
3DTV、自由视点系统、可视会议、虚拟现实(Virtual Reality，VR)等应用广泛采用了基于深度图绘制算法(Depth Image Based Rendering，DIBR)的多视点绘制技术，为用户提供了交互感和沉浸感强的视觉体验。但由于传输带宽及深度图采集设备的限制，深度图的分辨率一般小于其相应纹理图的分辨率，难以保证高质量的视觉质量，因此，深度图超分辨率重建具有重要的现实意义。
图像超分辨率重建一直是图像和信号处理研究领域的一个基本问题。现有的图像超分辨率重建方法包括：2010年Yang等人提出了采用稀疏表达的图像超分辨率重建方法也被称为稀疏编码超分辨率重建(Sparse Coding Super Resolution，ScSR)。当前也涌现出许多基于深度学习的超分辨率重建方法。基于样本学习的超分辨率重建方法是深度图超分辨率重建领域一类很流行的方法，该方法包括基于稀疏表达的方法、基于马尔科夫随机场的方法及邻域插值方法。Ferstl等人利用高低分辨率图像块学习高低字典对的同时学习边缘先验信息，然后把边缘先验信息作为变分超分辨率框架中一个约束限制项。Xie等人提出了一种基于边缘引导的深度图超分辨率重建方法，通过基于样本的采用马尔科夫随机场的方法获取高分辨率边缘图，高分辨率边缘图作为引导帮助低分辨率深度图通过一个修正的联合双边滤波器来上采样。另外，也有一些深度图超分辨率重建方法开始考虑虚拟视点性能。Lei等人首先提出一种基于置信度的考虑虚拟视点图像质量和视点间相关关系的多视点深度图融合策略，提高低分辨率深度图像素值的可信赖度，基于此，提出了考虑虚拟视点图像质量的三边滤波深度图超分辨率重建方法，这个滤波器的权重系数中也融合了虚拟视点图像质量。
深度图不是直接由人眼观看的，在3D系统中深度图主要用于绘制虚拟视点。目前，大多数深度图超分辨率重建方法在重建高分辨率深度图时并没有考虑虚拟视点质量；另外，一些深度图超分辨率重建方法虽然考虑虚拟视点质量，但没有考虑深度图中纹理区域和平坦区域不同的虚拟视点绘制特性。
发明内容
本申请提供了一种深度图超分辨率重建方法、系统及电子设备，旨在至少在一定程度上解决现有技术中的上述技术问题之一。
为了解决上述问题，本申请提供了如下技术方案：
一种深度图超分辨率重建方法，包括以下步骤：
步骤a：分别获取待重建原始低分辨率深度图像的上采样图像、特征图及边缘图；
步骤b：将所述上采样图像、特征图及边缘图分别划分成图像块，并对图像块进行区域类别划分；
步骤c：采用权重组合，利用稀疏表达方法分别对各个区域类别的图像块进行重构，得到各个区域类别的高分辨率图像块；
步骤d：合并重构后的各个区域类别的高分辨率图像块，得到高分辨率深度图。
本申请实施例采取的技术方案还包括：在所述步骤a中，所述分别获取待重建原始低分辨率深度图像的上采样图像、特征图及边缘图具体包括：通过上采样方法将待重建原始低分辨率深度图像插值为上采样图像，通过特征提取方法提取出上采样图像的特征图，并采用边缘检测算子对上采样图像进行边缘检测，得到边缘图。
本申请实施例采取的技术方案还包括：在所述步骤b中，所述对图像块进行区域类别划分具体为：遍历图像块，计算每个图像块在其对应的边缘块中的边缘像素点个数，并判断每个图像块在其对应的边缘块中的边缘像素点个数是否超过设定的个数阀值，如果图像块在其对应的边缘块中的边缘像素点个数超过设定的个数阀值，则将该图像块划分为纹理区域；否则，则将该图像块划分为光滑区域。
本申请实施例采取的技术方案还包括：在所述步骤c中，所述采用权重组合，利用稀疏表达方法分别对各个区域类别的图像块进行重构具体为：采用权重组合{TK,θ,WK,θ}，利用稀疏表达方法分别对纹理区域和光滑区域进行重构，得到重构后的高分辨率纹理区域和高分辨率光滑区域；其中，K∈{E,S}，E代表纹理区域，S代表光滑区域，θ代表三种优化方案，θ∈{D,R,ALL},D代表只对字典学习阶段优化方案，R代表只对重构阶段优化方案，ALL代表字典学习阶段和重构阶段联合优化方案。
本申请实施例采取的技术方案还包括：当θ为D时，权重系数TK,θ的优化算法包括：
步骤c1：设定WK,θ＝Wf，Wf为1，TK,θ在[-0,01,100]范围内选取样本点{Ti}，并遍历每一个Ti；
步骤c2：学习权重为Ti的权重字典，得到字典对{DK,h，DK,l}；
步骤c3：采用字典对{DK,h，DK,l}对验证集中的每个图像块采用稀疏表达重构，得到重构深度图像Grec；
步骤c4：以验证集中的原始深度图绘制的虚拟视点Gorg作为参考，计算重构深度图像Grec绘制的虚拟视点的PSNR值Vi；
步骤c5：判断Ti是否遍历完毕，如果Ti遍历完毕，建立Ti与Vi的对应关系，得到最优值TK,θ,Opt，并得到对应于θ为D时的最优权重组合{TE,D,Opt，TS,D,Opt，1，1}；否则，重新执行步骤c1。
本申请实施例采取的技术方案还包括：当θ为R时，权重系数WK,θ的优化算法包括：
步骤c6：设定TK,θ＝Tf，Tf为1，WK,θ在[-0,01,100]范围内选取样本点{Wi}，并遍历Wi；
步骤c7：采用当前权重Tf学到的字典对{DK,h，DK,l}，对验证集中的每个图像块采用稀疏表达重构，得到重构深度图像Grec；
步骤c8：以验证集中的原始深度图绘制的虚拟视点Gorg作为参考，计算重构深度图像Grec绘制的虚拟视点的PSNR值Vi；
步骤c9：判断Wi是否遍历完毕，如果Wi遍历完毕，建立Wi与Vi的对应关系，得到最优值WK,θ,Opt，并得到对应于θ为R时的最优权重组合{1，1，WE,R,Opt，WS,R,Opt}；否则，重新执行步骤c6。
本申请实施例采取的技术方案还包括：当θ为ALL时，权重系数TK,θ和WK,θ的优化算法包括：
步骤c10：设定WK,θ为Wg，令Wg初值为WK,R,Opt或其他任何其它正数，在[-0,01,100]范围内遍历Ti，并得到最优值TK,ALL,Opt；
步骤c11：固定T为TK,ALL,Opt，遍历Wi，得到最优值WK,ALL,Opt；
步骤c12：判断WK,ALL,Opt与Wg是否一致，如果WK,ALL,Opt与Wg一致，则结束；否则，更新Wg为WK,ALL,Opt，并重新执行步骤c10。
本申请实施例采取的技术方案还包括：当θ为ALL时，权重系数TK,θ和WK,θ的优化算法还包括：
步骤c13：设定TK,θ为Tg，Tg取值为TK,D,Opt或其他任何正数，在[-0,01,100]范围内遍历Wi，得到最优值WK,ALL,Opt；
步骤c14：固定W为WK,ALL,Opt，遍历Ti，得到最优值TK,ALL,Opt；
步骤c15：判断TK,ALL,Opt与Tg是否一致，如果TK,ALL,Opt与Tg一致，则结束；否则，更新Tg为TK,ALL,Opt，并重新执行步骤c13。
本申请实施例采取的另一技术方案为：一种深度图超分辨率重建系统，包括：
上采样模块：用于获取待重建原始低分辨率深度图像的上采样图像；
特征图提取模块：用于提取上采样图像的特征图；
边缘检测模块：用于提取上采样图像的边缘图；
图像划分模块：用于将所述上采样图像、特征图及边缘图分别划分成图像块；
区域划分模块：用于对图像块进行区域类别划分；
区域重构模块：用于采用权重组合，利用稀疏表达方法分别对各个区域类别的图像块进行重构，得到各个区域类别的高分辨率图像块；
区域合并模块：用于合并重构后的各个区域类别的高分辨率图像块，得到高分辨率深度图。
本申请实施例采取的技术方案还包括：所述上采样模块通过上采样方法将待重建原始低分辨率深度图像插值为上采样图像；所述特征图提取模块通过特征提取方法提取出上采样图像的特征图；所述边缘检测模块采用边缘检测算子对上采样图像进行边缘检测，得到边缘图。
本申请实施例采取的技术方案还包括：所述区域划分模块对图像块进行区域类别划分具体为：遍历图像块，计算每个图像块在其对应的边缘块中的边缘像素点个数，并判断每个图像块在其对应的边缘块中的边缘像素点个数是否超过设定的个数阀值，如果图像块在其对应的边缘块中的边缘像素点个数超过设定的个数阀值，则将该图像块划分为纹理区域；否则，则将该图像块划分为光滑区域。
本申请实施例采取的技术方案还包括：所述区域重构模块采用权重组合，利用稀疏表达方法分别对各个区域类别的图像块进行重构具体为：采用权重组合{TK,θ,WK,θ}，利用稀疏表达方法分别对纹理区域和光滑区域进行重构，得到重构后的高分辨率纹理区域和高分辨率光滑区域；其中，K∈{E,S}，E代表纹理区域，S代表光滑区域，θ代表三种优化方案，θ∈{D,R,ALL},D代表只对字典学习阶段优化方案，R代表只对重构阶段优化方案，ALL代表字典学习阶段和重构阶段联合优化方案。
本申请实施例采取的技术方案还包括：所述区域重构模块还包括第一优化单元，所述第一优化单元用于在θ为D时，对权重系数TK,θ进行优化，所述优化算法包括：设定WK,θ＝Wf，Wf为1，TK,θ在[-0,01,100]范围内按对数平均选取样本点{Ti}，并遍历每一个Ti；学习权重为Ti的权重字典，得到字典对{DK,h，DK,l}；采用字典对{DK,h，DK,l}对验证集中的每个图像块采用稀疏表达重构，得到重构深度图像Grec；以验证集中的原始深度图绘制的虚拟视点Gorg作为参考，计算重构深度图像Grec绘制的虚拟视点的PSNR值Vi；判断Ti是否遍历完毕，如果Ti遍历完毕，建立Ti与Vi的对应关系，得到最优值TK,θ,Opt，并得到对应于θ为D时的最优权重组合{TE,D,Opt，TS,D,Opt，1，1}；否则，，继续遍历Ti。
本申请实施例采取的技术方案还包括：所述区域重构模块还包括第二优化单元，所述第二优化单元用于在θ为R时，对权重系数WK,θ进行优化；所述优化算法包括：设定TK,θ＝Tf，Tf为1，WK,θ在[-0,01,100]范围内选取样本点{Wi}，并遍历Wi；采用当前权重Tf学到的字典对{DK,h，DK,l}，对验证集中的每个图像块采用稀疏表达重构，得到重构深度图像Grec；以验证集中的原始深度图绘制的虚拟视点Gorg作为参考，计算重构深度图像Grec绘制的虚拟视点的PSNR值Vi；判断Wi是否遍历完毕，如果Wi遍历完毕，建立Wi与Vi的对应关系，得到最优值WK,θ,Opt，并得到对应于θ为R时的最优权重组合{1，1，WE,R,Opt，WS,R,Opt}；否则，继续遍历Wi。
本申请实施例采取的技术方案还包括：所述区域重构模块还包括第三优化单元，所述第三优化单元用于在θ为ALL时，对权重系数TK,θ和WK,θ进行优化；所述优化算法包括：设定WK,θ为Wg，令Wg初值为WK,R,Opt或其他任何其它正数，在[-0,01,100]范围内遍历Ti，并得到最优值TK,ALL,Opt；固定T为TK,ALL,Opt，遍历Wi，得到最优值WK,ALL,Opt；判断WK,ALL,Opt与Wg是否一致，如果WK,ALL,Opt与Wg一致，则结束；否则，更新Wg为WK,ALL,Opt，并继续遍历Ti。
本申请实施例采取的技术方案还包括：所述区域重构模块还包括第四优化单元，所述第四优化单元用于在θ为ALL时，对权重系数TK,θ和WK,θ进行优化，所述优化算法包括：设定TK,θ为Tg，Tg取值为TK,D,Opt或其他任何正数，在[-0,01,100]范围内遍历Wi，得到最优值WK,ALL,Opt；固定W为WK,ALL,Opt，遍历Ti，得到最优值TK,ALL,Opt；判断TK,ALL,Opt与Tg是否一致，如果TK,ALL,Opt与Tg一致，则结束；否则，更新Tg为TK,ALL,Opt，并重新遍历Wi。
本申请实施例采取的又一技术方案为：一种电子设备，包括：
至少一个处理器；以及
与所述至少一个处理器通信连接的存储器；其中，
所述存储器存储有可被所述一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行上述的深度图超分辨率重建方法的以下操作：
步骤a：分别获取待重建原始低分辨率深度图像的上采样图像、特征图及边缘图；
步骤b：将所述上采样图像、特征图及边缘图分别划分成图像块，并对图像块进行区域类别划分；
步骤c：采用权重组合，利用稀疏表达方法分别对各个区域类别的图像块进行重构，得到各个区域类别的高分辨率图像块；
步骤d：合并重构后的各个区域类别的高分辨率图像块，得到高分辨率深度图。
相对于现有技术，本申请实施例产生的有益效果在于：本申请实施例的深度图超分辨率重建方法、系统及电子设备考虑虚拟视点图像质量，利用深度图纹理区域和平坦区域具有不同的虚拟视点绘制性能这一特性，结合稀疏表达方法，构造结合虚拟视点失真模型、最大化虚拟视点质量和基于加权局部的字典学习和重建目标函数，并通过优化方法找到字典学习和重构阶段的最佳权重，进而得到三种可行的字典学习和重构阶段权重组合，从而提高重建的深度图虚拟视点绘制性能。
附图说明
图1是本申请实施例的深度图超分辨率重建方法的流程图；
图2是θ为D时，权重系数TK,θ的算法流程图；
图3是θ为R时，权重系数WK,θ的算法流程图；
图4是θ为ALL时，第一实施例的权重系数TK,θ和WK,θ的优化算法流程图；
图5是θ为ALL时，第二实施例的权重系数TK,θ和WK,θ的优化算法流程图；
图6是本申请实施例的深度图超分辨率重建系统的结构示意图；
图7为本申请与其它四种对比方法在Undodancer序列上的视觉效果对比图，其中，(a)为原始虚拟视点，(b)为原始虚拟视点红框区域放大图像，(c)为Bicubic，(d)为ScSR，(e)为Zeyde，(f)为Edge-guided，(g)为WLDISR-D，(h)为WLDISR-R，(i)为WLDISR-ALL；
图8为本申请与其它四种对比方法在Café序列上的视觉效果对比图，其中，(a)为原始虚拟视点，(b)为原始虚拟视点红框区域放大图像，(c)为Bicubic，(d)为ScSR，(e)为Zeyde，(f)为Edge-guided，(g)为WLDISR-D，(h)为WLDISR-R，(i)为WLDISR-ALL；
图9是本申请实施例提供的深度图超分辨率重建方法的硬件设备结构示意图。
具体实施方式
为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本申请，并不用于限定本申请。
针对现有技术中存在的技术问题，本申请在深度图超分辨率重建过程中，将虚拟视点质量作为重建目标，区别对待深度图中的不同纹理区域，分别考虑不同纹理区域的虚拟视点特性，得到对应纹理区域的不同加权的优化目标，将虚拟视点失真模型与字典学习和稀疏表达重构过程中的优化目标结合，提高重构的深度图绘制的虚拟视点质量。
具体地，请参阅图1，是本申请实施例的深度图超分辨率重建方法的流程图。本申请实施例的深度图超分辨率重建方法包括以下步骤：
步骤100：通过上采样方法将待重建原始低分辨率深度图像Z插值为上采样图像Zup，并通过特征提取方法提取出上采样图像Zup的特征图Y；
在步骤100中，上采样方法包括但不限于最近邻、双立方插值等，上采样倍数设置为m；特征提取方法在文献[Y.Zhang,S.Kwong,L.Xu,S.Hu,G.Jiang and C.C.J.Kuo,“Regional bit allocation and rate distortion optimization for multiview depthvideo coding with view synthesis distortion model,”IEEE Trans.Image Process.,vol.22,no.9,pp.3497–3512,Sep.2013.]。中有具体说明，本申请实施例中将不再赘述。
步骤200：采用边缘检测算子对上采样图像Zup进行边缘检测，得到边缘图E；
在步骤200中，采用的边缘检测算子包括但不限于canny检测算法、Sobel算子等。
步骤300：将上采样图像Zup、特征图Y以及边缘图E分别按照同样的划分方式均匀划分成图像块，图像块包括重叠图像块{zupi}、特征图像块{yi}和边缘块{ei}；
在步骤300中，图像块的大小Ps为(2m+1)×(2m+1)，块与块之间的重叠尺寸为PO∈[0,2m]，本申请实施例中优选设置为2m。
步骤400：遍历图像块，计算每个图像块在其对应的边缘块ei中的边缘像素点个数Nd，并根据每个图像块在其对应的边缘块ei中的边缘像素点个数Nd将图像块划分为纹理区域和光滑区域；
在步骤400中，图像块的区域类别划分方式具体为：判断每个图像块在其对应的边缘块ei中的边缘像素点个数Nd是否超过设定的个数阀值Td，如果图像块在其对应的边缘块ei中的边缘像素点个数Nd超过设定的个数阀值Td，则将该图像块划分为纹理区域；反之，则将该图像块划分为光滑区域；个数阀值Td可以设置为0～24，本申请实施例中优选设置为1。可以理解，本申请不只适用于将深度图划分为纹理区域和光滑区域两类区域类别以分别重构的情形，同时也可结合多类区域的特性将深度图划分为多类区域并分别重构，从而可以进一步提高重构深度图虚拟视点质量；同样地，本申请同样适用于其他的图像块区域划分方式。
步骤500：采用权重组合{TK,θ,WK,θ}，利用稀疏表达方法分别对纹理区域和光滑区域进行重构，得到重构后的高分辨率纹理区域和高分辨率光滑区域；其中，K∈{E,S}，E代表纹理区域，S代表光滑区域，θ代表三种不同的优化方案，θ∈{D,R,ALL},D代表只对字典学习阶段优化方案(记为WLDISR-D)，R代表只对重构阶段优化方案(记为WLDISR-R)，ALL代表字典学习阶段和重构阶段联合优化的方案(记为WLDISR-ALL)。θ的优化算法具体如下：
请一并参阅图2，是θ为D时，权重系数TK,θ的优化算法流程图。若θ为D时，权重系数TK,θ的优化算法包括以下步骤：
步骤a1：设定权重系数WK,θ＝Wf，此时Wf为1，权重系数TK,θ在[-0,01,100]范围内按对数平均选取若干个点即样本点{Ti}，并遍历每一个Ti；
在步骤a1中，TK,θ的取值范围、取值方式、取样点数并不固定，可根据实际操作进行选择。
步骤a2：学习权重为Ti的权重字典，得到字典对{DK,h，DK,l}；
公式(1)中，ψK,c等价于代表区域K的低分辨率和高分辨率训练图像对，XK,h代表高分辨率图像块组成的集合，YK,l代表低分辨率图像块组成的集合，u为高分辨率样本的维度，v为低分辨率样本的维度；DK,c等价于代表纹理区域或光滑区域的高低分辨率字典对，DK,h为高分辨率字典，DK,l为低分辨率字典。αK表示稀疏表达系数，tK表示纹理区域或光滑区域所对应的权重。一般地，通过公式(1)可学到针对不同的区域的不同权重的局部字典，本实施例中学习2个区域(即纹理区域和光滑区域)的不同权重的局部字典。公式(1)中的求解算法参考文献[J.Xie,R.S.Feris and M.T.Sun,“Edge-guided single depth image super resolution,”IEEE Trans.Image Process.,vol.25,no.1,pp.428–438,Jan.2016.]中的feature-sign和拉格朗日对偶算法，但并不限于此种求解算法。
步骤a3：采用字典对{DK,h，DK,l}对验证集中的每个图像块采用稀疏表达重构，得到重构深度图像Grec；
在步骤a3中，重构过程如下：
在公式(2)中，表示块低分辨率图像块yK,i的稀疏表达系数，WK表明深度图像区域K所对应的权重，K∈{E,S}，Γ(X)代表与高分辨率图像的先验信息相关的惩罚项，可以根据实际情况给予不同的约束，如全变分，局部相似性、梯度保持等。
上述公式中，为重叠图像块zupi的平均块，其像素值为若K为E时，TS,θ和WS,θ均设置为1或者其它固定值；若K为S时，TE,θ和WE,θ均设置为1或者其它固定值。Zm，K是对应视点m的区域K的深度图区域。Gk是要求解的区域K的高分辨率深度图像区域。因此，依次使用公式(2)、(3)、(4)便可得到考虑虚拟视点失真的超分辨率重构后的区域K的重构区域二个区域结合便可得到重构深度图像Grec。
步骤a4：以验证集中的原始深度图绘制的虚拟视点Gorg作为参考，计算重构深度图像Grec绘制的虚拟视点的PSNR(峰值信噪比)值Vi；
步骤a5：判断Ti是否遍历完毕，如果Ti遍历完毕，执行步骤a6；否则，重新执行步骤a1；
步骤a6：建立Ti与Vi的对应关系，得到最优值TK,θ,Opt，并得到对应于θ为D时的最优权重组合{TE,D,Opt，TS,D,Opt，1，1}。
请一并参阅图3，是θ为R时，权重系数WK,θ的算法流程图。若θ为R时，权重系数WK,θ的优化算法包括以下步骤：
步骤b1：设定权重系数TK,θ＝Tf，此时Tf为1，权重系数WK,θ在[-0,01,100]范围内按对数平均选取若干个点即样本点{Wi}，并遍历Wi；
步骤b2：采用当前权重Tf学到的字典对{DK,h，DK,l}，依次使用公式(2)、(3)、(4)对验证集中的每个图像块采用稀疏表达重构，得到重构深度图像Grec；
步骤b3：以验证集中的原始深度图绘制的虚拟视点Gorg作为参考，计算重构深度图像Grec绘制的虚拟视点的PSNR(峰值信噪比)值Vi；
步骤b4：判断Wi是否遍历完毕，如果Wi遍历完毕，执行步骤b5；否则，重新执行步骤b1；
步骤b5：建立Wi与Vi的对应关系，得到最优值WK,θ,Opt，并得到对应于θ为R时的最优权重组合{1，1，WE,R,Opt，WS,R,Opt}。
请一并参阅图4，是θ为ALL时，第一实施例的权重系数TK,θ和WK,θ的优化算法流程图。若θ为ALL时，第一实施例的权重系数TK,θ和WK,θ的优化算法包括以下步骤：
步骤c1：设定权重系数WK,θ为Wg，令Wg初值为WK,R,Opt或其他任何其它正数，在[-0,01,100]范围内遍历Ti，遍历过程与θ为D时的算法相同，并得到最优值TK,ALL,Opt；
步骤c2：固定T为TK,ALL,Opt，遍历Wi，过程与θ为R时的算法相同，并得到最优值WK,ALL,Opt；
步骤c3：判断WK,ALL,Opt与Wg是否一致，如果WK,ALL,Opt与Wg一致，则结束；否则，执行步骤c4；
步骤c4：更新Wg为WK,ALL,Opt，并重新执行步骤c1。
请一并参阅图5，是θ为ALL时，第二实施例的权重系数TK,θ和WK,θ的优化算法流程图。若θ为ALL时，第二实施例的权重系数TK,θ和WK,θ的优化算法包括以下步骤：
步骤d1：设定权重系数TK,θ为Tg，Tg取值为TK,D,Opt或其他任何正数，在[-0,01,100]范围内遍历Wi，遍历过程与θ为R时的算法相同，并得到最优值WK,ALL,Opt；
步骤d2：固定W为WK,ALL,Opt，遍历Ti，遍历过程与θ为D时的算法相同，并得到最优值TK,ALL,Opt；
步骤d3：判断TK,ALL,Opt与Tg是否一致，如果TK,ALL,Opt与Tg一致，则结束；否则，更新Tg为TK,ALL,Opt，并重新执行步骤d1。
步骤600：判断图像块是否遍历完毕，如果没有遍历完毕，重新执行步骤400；如果遍历完毕，执行步骤700；
步骤700：合并重构后的高分辨率纹理区域和高分辨率光滑区域，得到高分辨率深度图。
请参阅图6，是本申请实施例的深度图超分辨率重建系统的结构示意图。本申请实施例的深度图超分辨率重建系统包括上采样模块、特征图提取模块、边缘检测模块、图像划分模块、区域划分模块、区域重构模块、图像判断模块和区域合并模块。
上采样模块：用于通过上采样方法将待重建原始低分辨率深度图像Z插值为上采样图像Zup；其中，上采样方法包括但不限于最近邻、双立方插值等，上采样倍数设置为m。
特征图提取模块：用于通过特征提取方法提取出上采样图像Zup的特征图Y；
边缘检测模块：用于采用边缘检测算子对上采样图像Zup进行边缘检测，得到边缘图E；其中，采用的边缘检测算子包括但不限于canny检测算法、Sobel算子等。
图像划分模块：用于将上采样图像Zup、特征图Y以及边缘图E分别按照同样的划分方式均匀划分成图像块，图像块包括重叠图像块{zupi}、特征图像块{yi}和边缘块{ei}；其中，图像块的大小Ps为(2m+1)×(2m+1)，块与块之间的重叠尺寸为PO∈[0,2m]，本申请实施例中优选设置为2m。
区域划分模块：用于遍历图像块，计算每个图像块在其对应的边缘块ei中的边缘像素点个数Nd，并根据每个图像块在其对应的边缘块ei中的边缘像素点个数Nd将图像块划分为纹理区域和光滑区域；其中，图像块的区域类别划分方式具体为：判断每个图像块在其对应的边缘块ei中的边缘像素点个数Nd是否超过设定的个数阀值Td，如果图像块在其对应的边缘块ei中的边缘像素点个数Nd超过设定的个数阀值Td，则将该图像块划分为纹理区域；反之，则将该图像块划分为光滑区域；个数阀值Td可以设置为0～24，本申请实施例中优选设置为1。
区域重构模块：用于采用权重组合{TK,θ,WK,θ}，利用稀疏表达方法分别对纹理区域和光滑区域进行重构，得到重构后的高分辨率纹理区域和高分辨率光滑区域；其中，K∈{E,S}，E代表纹理区域，S代表光滑区域，θ代表三种不同的优化方案，θ∈{D,R,ALL},D代表只对字典学习阶段优化方案(记为WLDISR-D)，R代表只对重构阶段优化方案(记为WLDISR-R)，ALL代表字典学习阶段和重构阶段联合优化的方案(记为WLDISR-ALL)。
具体地，区域重构模块包括第一优化单元、第二优化单元、第三优化单元和第四优化单元；
第一优化单元：用于在θ为D时，对权重系数TK,θ进行优化；具体优化算法包括：
a1：设定权重系数WK,θ＝Wf，此时Wf为1，权重系数TK,θ在[-0,01,100]范围内按对数平均选取若干个点即样本点{Ti}，并遍历每一个Ti；其中，TK,θ的取值范围、取值方式、取样点数并不固定，可根据实际操作进行选择。
a2：学习权重为Ti的权重字典，得到字典对{DK,h，DK,l}；
公式(1)中，ψK,c等价于代表区域K的低分辨率和高分辨率训练图像对，XK,h代表高分辨率图像块组成的集合，YK,l代表低分辨率图像块组成的集合，u为高分辨率样本的维度，v为低分辨率样本的维度；DK,c等价于代表纹理区域或光滑区域的高低分辨率字典对，DK,h为高分辨率字典，DK,l为低分辨率字典。αK表示稀疏表达系数，tK表示纹理区域或光滑区域所对应的权重。一般地，通过公式(1)可学到针对不同的区域的不同权重的局部字典，本实施例中学习2个区域(即纹理区域和光滑区域)的不同权重的局部字典。公式(1)中的求解算法参考文献[J.Xie,R.S.Feris and M.T.Sun,“Edge-guided single depth image super resolution,”IEEE Trans.Image Process.,vol.25,no.1,pp.428–438,Jan.2016.]中的feature-sign和拉格朗日对偶算法，但并不限于此种求解算法。
a3：采用字典对{DK,h，DK,l}对验证集中的每个图像块采用稀疏表达重构，得到重构深度图像Grec；重构过程如下：
在公式(2)中，表示块低分辨率图像块yK,i的稀疏表达系数，WK表明深度图像区域K所对应的权重，K∈{E,S}，Γ(X)代表与高分辨率图像的先验信息相关的惩罚项，可以根据实际情况给予不同的约束，如全变分，局部相似性、梯度保持等。
上述公式中，为重叠图像块zupi的平均块，其像素值为若K为E时，TS,θ和WS,θ均设置为1或者其它固定值；若K为S时，TE,θ和WE,θ均设置为1或者其它固定值。Zm，K是对应视点m的区域K的深度图区域。Gk是要求解的区域K的高分辨率深度图像区域。因此，依次使用公式(2)、(3)、(4)便可得到考虑虚拟视点失真的超分辨率重构后的区域K的重构区域二个区域结合便可得到重构深度图像Grec。
a4：以验证集中的原始深度图绘制的虚拟视点Gorg作为参考，计算重构深度图像Grec绘制的虚拟视点的PSNR(峰值信噪比)值Vi；
a5：判断Ti是否遍历完毕，如果Ti遍历完毕，建立Ti与Vi的对应关系，得到最优值TK,θ,Opt，并得到对应于θ为D时的最优权重组合{TE,D,Opt，TS,D,Opt，1，1}；否则，继续遍历Ti。
第二优化单元：用于在θ为R时，对权重系数WK,θ进行优化；具体优化算法包括：
b1：设定权重系数TK,θ＝Tf，此时Tf为1，权重系数WK,θ在[-0,01,100]范围内按对数平均选取若干个点即样本点{Wi}，并遍历Wi；
b2：采用当前权重Tf学到的字典对{DK,h，DK,l}，依次使用公式(2)、(3)、(4)对验证集中的每个图像块采用稀疏表达重构，得到重构深度图像Grec；
b3：以验证集中的原始深度图绘制的虚拟视点Gorg作为参考，计算重构深度图像Grec绘制的虚拟视点的PSNR(峰值信噪比)值Vi；
b4：判断Wi是否遍历完毕，如果Wi遍历完毕，建立Wi与Vi的对应关系，得到最优值WK,θ,Opt，并得到对应于θ为R时的最优权重组合{1，1，WE,R,Opt，WS,R,Opt}；否则，继续遍历Wi。
第三优化单元：用于在θ为ALL时，固定权重系数WK,θ，并对权重系数TK,θ进行优化；具体优化算法包括：
c1：设定权重系数WK,θ为Wg，令Wg初值为WK,R,Opt或其他任何其它正数，在[-0,01,100]范围内遍历Ti，遍历过程与θ为D时的算法相同，并得到最优值TK,ALL,Opt；
c2：固定T为TK,ALL,Opt，遍历Wi，过程与θ为R时的算法相同，并得到最优值WK,ALL,Opt；
c3：判断WK,ALL,Opt与Wg是否一致，如果WK,ALL,Opt与Wg一致，则结束；否则，更新Wg为WK,ALL,Opt，并继续遍历Ti。
第四优化单元：用于在θ为ALL时，固定权重系数TK,θ，并对权重系数WK,θ进行优化；优化算法具体包括：
d1：设定权重系数TK,θ为Tg，Tg取值为TK,D,Opt或其他任何正数，在[-0,01,100]范围内遍历Wi，遍历过程与θ为R时的算法相同，并得到最优值WK,ALL,Opt；
d2：固定W为WK,ALL,Opt，遍历Ti，遍历过程与θ为D时的算法相同，并得到最优值TK,ALL,Opt；
d3：判断TK,ALL,Opt与Tg是否一致，如果TK,ALL,Opt与Tg一致，则结束；否则，更新Tg为TK,ALL,Opt，并继续遍历Wi。
图像判断模块：用于判断图像块是否遍历完毕，如果没有遍历完毕，通过区域划分模块继续遍历图像块；如果遍历完毕，通过区域合并模块合并重构后的区域；
区域合并模块：用于合并重构后的高分辨率纹理区域和高分辨率光滑区域，得到高分辨率深度图。
本申请实施例中的WLDISR-D、WLDISR-R、WLDISR-ALL三个方案已经在PC平台上完成实验，比较本申请与其它未考虑虚拟视点特性的算法，在3D系统中从低分辨率深度图重构高分辨率的深度图绘制虚拟视点的性能。相比其它的深度图超分辨率重建方法，在现有的公共3D序列测试集，本申请实施例中的三种方案在虚拟视点绘制质量上可以分别有效提高1.9dB，2.03dB，2.16dB(平均)，同时视觉质量也得到了有效的改善。3D序列包括Balloons、Bookarrival、Poznan_carpark、Café、Ghosttownfly、Kendo、Lovebird、Newspaper、PoznanHall2、PoznanStreet和UndoDancer11个测试序列，每个序列选取两个视点，绘制中间视点。测试序列包括2种形式，一种是连续10帧，另一种是连续200或者100帧图像。2个视点的彩色图像与原始深度图绘制的中间视点作为参考视点。对比方法包括ScSR方法[J.Yang,J.Wright,T.S.Huang,and Y.Ma,“Image super-resolution via sparserepresentation,”IEEE Trans.Image Process.,vol.19,no.11,pp.2861–2873,Nov.2010.]、Zeyde方法[R.Zeyde,M.Elad,and M.Protter,“On single image scale-upusing sparse-representations,”in Proc.7th Int.Conf.Curves Surfaces,Jun.2010,pp.711–730.]和EdgeGuided方法[J.Xie,R.S.Feris and M.T.Sun,“Edge-guided singledepth image super resolution,”IEEE Trans.Image Process.,vol.25,no.1,pp.428–438,Jan.2016.]。在连续11个序列上本申请提出的WLDISR-ALL方案，在平均性能上比ScSR方法、Zeyde方法、EdgeGuided方法分别提高0.52dB、2.16dB、2.93dB。在四个序列Undodancer、Kendo、Café、Bookarrival上，连续200帧或者100帧的实验结果表明，本申请提出的WLDISR-ALL方案在平均性能上比Bicubic方法、ScSR方法、Zeyde方法、EdgeGuided方法分别提高4.3dB、1.14dB、3.10dB、3.88dB。具体如图7和图8所示，图7为本申请与其它四种对比方法在Undodancer序列上的视觉效果对比图，其中，(a)为原始虚拟视点，(b)为原始虚拟视点红框区域放大图像，(c)为Bicubic，(d)为ScSR，(e)为Zeyde，(f)为Edge-guided，(g)为WLDISR-D，(h)为WLDISR-R，(i)为WLDISR-ALL。图8为本申请与其它四种对比方法在Café序列上的视觉效果对比图，其中，(a)为原始虚拟视点，(b)为原始虚拟视点红框区域放大图像，(c)为Bicubic，(d)为ScSR，(e)为Zeyde，(f)为Edge-guided，(g)为WLDISR-D，(h)为WLDISR-R，(i)为WLDISR-ALL。实验结果表明，本申请实施例提出的WLDISR-D、WLDISR-R、WLDISR-ALL方案在重构深度图绘制虚拟视点性能PSNR上优于其它四种对比方法，尤以WLDISR-ALL方案表现最佳。
图9是本申请实施例提供的深度图超分辨率重建方法的硬件设备结构示意图。如图9所示，该设备包括一个或多个处理器以及存储器。以一个处理器为例，该设备还可以包括：输入系统和输出系统。
处理器、存储器、输入系统和输出系统可以通过总线或者其他方式连接，图9中以通过总线连接为例。
存储器作为一种非暂态计算机可读存储介质，可用于存储非暂态软件程序、非暂态计算机可执行程序以及模块。处理器通过运行存储在存储器中的非暂态软件程序、指令以及模块，从而执行电子设备的各种功能应用以及数据处理，即实现上述方法实施例的处理方法。
存储器可以包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需要的应用程序；存储数据区可存储数据等。此外，存储器可以包括高速随机存取存储器，还可以包括非暂态存储器，例如至少一个磁盘存储器件、闪存器件、或其他非暂态固态存储器件。在一些实施例中，存储器可选包括相对于处理器远程设置的存储器，这些远程存储器可以通过网络连接至处理系统。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
输入系统可接收输入的数字或字符信息，以及产生信号输入。输出系统可包括显示屏等显示设备。
所述一个或者多个模块存储在所述存储器中，当被所述一个或者多个处理器执行时，执行上述任一方法实施例的以下操作：
步骤a：分别获取待重建原始低分辨率深度图像的上采样图像、特征图及边缘图；
步骤b：将所述上采样图像、特征图及边缘图分别划分成图像块，并对图像块进行区域类别划分；
步骤c：采用权重组合，利用稀疏表达方法分别对各个区域类别的图像块进行重构，得到各个区域类别的高分辨率图像块；
步骤d：合并重构后的各个区域类别的高分辨率图像块，得到高分辨率深度图。
上述产品可执行本申请实施例所提供的方法，具备执行方法相应的功能模块和有益效果。未在本实施例中详尽描述的技术细节，可参见本申请实施例提供的方法。
本申请实施例提供了一种非暂态(非易失性)计算机存储介质，所述计算机存储介质存储有计算机可执行指令，该计算机可执行指令可执行以下操作：
步骤a：分别获取待重建原始低分辨率深度图像的上采样图像、特征图及边缘图；
步骤b：将所述上采样图像、特征图及边缘图分别划分成图像块，并对图像块进行区域类别划分；
步骤c：采用权重组合，利用稀疏表达方法分别对各个区域类别的图像块进行重构，得到各个区域类别的高分辨率图像块；
步骤d：合并重构后的各个区域类别的高分辨率图像块，得到高分辨率深度图。
本申请实施例提供了一种计算机程序产品，所述计算机程序产品包括存储在非暂态计算机可读存储介质上的计算机程序，所述计算机程序包括程序指令，当所述程序指令被计算机执行时，使所述计算机执行以下操作：
步骤a：分别获取待重建原始低分辨率深度图像的上采样图像、特征图及边缘图；
步骤b：将所述上采样图像、特征图及边缘图分别划分成图像块，并对图像块进行区域类别划分；
步骤c：采用权重组合，利用稀疏表达方法分别对各个区域类别的图像块进行重构，得到各个区域类别的高分辨率图像块；
步骤d：合并重构后的各个区域类别的高分辨率图像块，得到高分辨率深度图。
本申请实施例的深度图超分辨率重建方法、系统及电子设备考虑虚拟视点图像质量，利用深度图纹理区域和平坦区域具有不同的虚拟视点绘制性能这一特性，结合稀疏表达方法，构造结合虚拟视点失真模型、最大化虚拟视点质量和基于加权局部的字典学习和重建目标函数，并通过优化方法找到字典学习和重构阶段的最佳权重，进而得到三种可行的字典学习和重构阶段权重组合，从而提高重建的深度图虚拟视点绘制性能。
对所公开的实施例的上述说明，使本领域专业技术人员能够实现或使用本申请。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本申请的精神或范围的情况下，在其它实施例中实现。因此，本申请将不会被限制于本文所示的这些实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。

Claims (17)

1.一种深度图超分辨率重建方法，其特征在于，包括以下步骤：
步骤a：分别获取待重建原始低分辨率深度图像的上采样图像、特征图及边缘图；
步骤b：将所述上采样图像、特征图及边缘图分别划分成图像块，并对图像块进行区域类别划分；
步骤c：采用权重组合，利用稀疏表达方法分别对各个区域类别的图像块进行重构，得到各个区域类别的高分辨率图像块；
步骤d：合并重构后的各个区域类别的高分辨率图像块，得到高分辨率深度图。
2.根据权利要求1所述的深度图超分辨率重建方法，其特征在于，在所述步骤a中，所述分别获取待重建原始低分辨率深度图像的上采样图像、特征图及边缘图具体包括：通过上采样方法将待重建原始低分辨率深度图像插值为上采样图像，通过特征提取方法提取出上采样图像的特征图，并采用边缘检测算子对上采样图像进行边缘检测，得到边缘图。
3.根据权利要求1所述的深度图超分辨率重建方法，其特征在于，在所述步骤b中，所述对图像块进行区域类别划分具体为：遍历图像块，计算每个图像块在其对应的边缘块中的边缘像素点个数，并判断每个图像块在其对应的边缘块中的边缘像素点个数是否超过设定的个数阀值，如果图像块在其对应的边缘块中的边缘像素点个数超过设定的个数阀值，则将该图像块划分为纹理区域；否则，则将该图像块划分为光滑区域。
4.根据权利要求1所述的深度图超分辨率重建方法，其特征在于，在所述步骤c中，所述采用权重组合，利用稀疏表达方法分别对各个区域类别的图像块进行重构具体为：采用权重组合{TK,θ,WK,θ}，利用稀疏表达方法分别对纹理区域和光滑区域进行重构，得到重构后的高分辨率纹理区域和高分辨率光滑区域；其中，K∈{E,S}，E代表纹理区域，S代表光滑区域，θ代表三种优化方案，θ∈{D,R,ALL},D代表只对字典学习阶段优化方案，R代表只对重构阶段优化方案，ALL代表字典学习阶段和重构阶段联合优化方案。
5.根据权利要求4所述的深度图超分辨率重建方法，其特征在于，当θ为D时，权重系数TK,θ的优化算法包括：
步骤c1：设定WK,θ＝Wf，Wf为1，TK,θ在[-0,01,100]范围内选取样本点{Ti}，并遍历每一个Ti；
步骤c2：学习权重为Ti的权重字典，得到字典对{DK,h，DK,l}；
步骤c3：采用字典对{DK,h，DK,l}对验证集中的每个图像块采用稀疏表达重构，得到重构深度图像Grec；
步骤c4：以验证集中的原始深度图绘制的虚拟视点Gorg作为参考，计算重构深度图像Grec绘制的虚拟视点的PSNR值Vi；
步骤c5：判断Ti是否遍历完毕，如果Ti遍历完毕，建立Ti与Vi的对应关系，得到最优值TK,θ,Opt，并得到对应于θ为D时的最优权重组合{TE,D,Opt，TS,D,Opt，1，1}；否则，重新执行步骤c1。
6.根据权利要求4或5所述的深度图超分辨率重建方法，其特征在于，当θ为R时，权重系数WK,θ的优化算法包括：
步骤c6：设定TK,θ＝Tf，Tf为1，WK,θ在[-0,01,100]范围内选取样本点{Wi}，并遍历Wi；
步骤c7：采用当前权重Tf学到的字典对{DK,h，DK,l}，对验证集中的每个图像块采用稀疏表达重构，得到重构深度图像Grec；
步骤c8：以验证集中的原始深度图绘制的虚拟视点Gorg作为参考，计算重构深度图像Grec绘制的虚拟视点的PSNR值Vi；
步骤c9：判断Wi是否遍历完毕，如果Wi遍历完毕，建立Wi与Vi的对应关系，得到最优值WK,θ,Opt，并得到对应于θ为R时的最优权重组合{1，1，WE,R,Opt，WS,R,Opt}；否则，重新执行步骤c6。
7.根据权利要求4所述的深度图超分辨率重建方法，其特征在于，当θ为ALL时，权重系数TK,θ和WK,θ的优化算法包括：
步骤c10：设定WK,θ为Wg，令Wg初值为WK,R,Opt或其他任何其它正数，在[-0,01,100]范围内遍历Ti，并得到最优值TK,ALL,Opt；
步骤c11：固定T为TK,ALL,Opt，遍历Wi，得到最优值WK,ALL,Opt；
步骤c12：判断WK,ALL,Opt与Wg是否一致，如果WK,ALL,Opt与Wg一致，则结束；否则，更新Wg为WK,ALL,Opt，并重新执行步骤c10。
8.根据权利要求6所述的深度图超分辨率重建方法，其特征在于，当θ为ALL时，权重系数TK,θ和WK,θ的优化算法还包括：
步骤c13：设定TK,θ为Tg，Tg取值为TK,D,Opt或其他任何正数，在[-0,01,100]范围内遍历Wi，得到最优值WK,ALL,Opt；
步骤c14：固定W为WK,ALL,Opt，遍历Ti，得到最优值TK,ALL,Opt；
步骤c15：判断TK,ALL,Opt与Tg是否一致，如果TK,ALL,Opt与Tg一致，则结束；否则，更新Tg为TK,ALL,Opt，并重新执行步骤c13。
9.一种深度图超分辨率重建系统，其特征在于，包括：
上采样模块：用于获取待重建原始低分辨率深度图像的上采样图像；
特征图提取模块：用于提取上采样图像的特征图；
边缘检测模块：用于提取上采样图像的边缘图；
图像划分模块：用于将所述上采样图像、特征图及边缘图分别划分成图像块；
区域划分模块：用于对图像块进行区域类别划分；
区域重构模块：用于采用权重组合，利用稀疏表达方法分别对各个区域类别的图像块进行重构，得到各个区域类别的高分辨率图像块；
区域合并模块：用于合并重构后的各个区域类别的高分辨率图像块，得到高分辨率深度图。
10.根据权利要求9所述的深度图超分辨率重建系统，其特征在于，所述上采样模块通过上采样方法将待重建原始低分辨率深度图像插值为上采样图像；所述特征图提取模块通过特征提取方法提取出上采样图像的特征图；所述边缘检测模块采用边缘检测算子对上采样图像进行边缘检测，得到边缘图。
11.根据权利要求10所述的深度图超分辨率重建系统，其特征在于，所述区域划分模块对图像块进行区域类别划分具体为：遍历图像块，计算每个图像块在其对应的边缘块中的边缘像素点个数，并判断每个图像块在其对应的边缘块中的边缘像素点个数是否超过设定的个数阀值，如果图像块在其对应的边缘块中的边缘像素点个数超过设定的个数阀值，则将该图像块划分为纹理区域；否则，则将该图像块划分为光滑区域。
12.根据权利要求11所述的深度图超分辨率重建系统，其特征在于，所述区域重构模块采用权重组合，利用稀疏表达方法分别对各个区域类别的图像块进行重构具体为：采用权重组合{TK,θ,WK,θ}，利用稀疏表达方法分别对纹理区域和光滑区域进行重构，得到重构后的高分辨率纹理区域和高分辨率光滑区域；其中，K∈{E,S}，E代表纹理区域，S代表光滑区域，θ代表三种优化方案，θ∈{D,R,ALL},D代表只对字典学习阶段优化方案，R代表只对重构阶段优化方案，ALL代表字典学习阶段和重构阶段联合优化方案。
13.根据权利要求12所述的深度图超分辨率重建系统，其特征在于，所述区域重构模块还包括第一优化单元，所述第一优化单元用于在θ为D时，对权重系数TK,θ进行优化，所述优化算法包括：设定WK,θ＝Wf，Wf为1，TK,θ在[-0,01,100]范围内按对数平均选取样本点{Ti}，并遍历每一个Ti；学习权重为Ti的权重字典，得到字典对{DK,h，DK,l}；采用字典对{DK,h，DK,l}对验证集中的每个图像块采用稀疏表达重构，得到重构深度图像Grec；以验证集中的原始深度图绘制的虚拟视点Gorg作为参考，计算重构深度图像Grec绘制的虚拟视点的PSNR值Vi；判断Ti是否遍历完毕，如果Ti遍历完毕，建立Ti与Vi的对应关系，得到最优值TK,θ,Opt，并得到对应于θ为D时的最优权重组合{TE,D,Opt，TS,D,Opt，1，1}；否则，，继续遍历Ti。
14.根据权利要求12或13所述的深度图超分辨率重建系统，其特征在于，所述区域重构模块还包括第二优化单元，所述第二优化单元用于在θ为R时，对权重系数WK,θ进行优化；所述优化算法包括：设定TK,θ＝Tf，Tf为1，WK,θ在[-0,01,100]范围内选取样本点{Wi}，并遍历Wi；采用当前权重Tf学到的字典对{DK,h，DK,l}，对验证集中的每个图像块采用稀疏表达重构，得到重构深度图像Grec；以验证集中的原始深度图绘制的虚拟视点Gorg作为参考，计算重构深度图像Grec绘制的虚拟视点的PSNR值Vi；判断Wi是否遍历完毕，如果Wi遍历完毕，建立Wi与Vi的对应关系，得到最优值WK,θ,Opt，并得到对应于θ为R时的最优权重组合{1，1，WE,R,Opt，WS,R,Opt}；否则，继续遍历Wi。
15.根据权利要求14所述的深度图超分辨率重建系统，其特征在于，所述区域重构模块还包括第三优化单元，所述第三优化单元用于在θ为ALL时，对权重系数TK,θ和WK,θ进行优化；所述优化算法包括：设定WK,θ为Wg，令Wg初值为WK,R,Opt或其他任何其它正数，在[-0,01,100]范围内遍历Ti，并得到最优值TK,ALL,Opt；固定T为TK,ALL,Opt，遍历Wi，得到最优值WK,ALL,Opt；判断WK,ALL,Opt与Wg是否一致，如果WK,ALL,Opt与Wg一致，则结束；否则，更新Wg为WK,ALL,Opt，并继续遍历Ti。
16.根据权利要求14所述的深度图超分辨率重建系统，其特征在于，所述区域重构模块还包括第四优化单元，所述第四优化单元用于在θ为ALL时，对权重系数TK,θ和WK,θ进行优化，所述优化算法包括：设定TK,θ为Tg，Tg取值为TK,D,Opt或其他任何正数，在[-0,01,100]范围内遍历Wi，得到最优值WK,ALL,Opt；固定W为WK,ALL,Opt，遍历Ti，得到最优值TK,ALL,Opt；判断TK,ALL,Opt与Tg是否一致，如果TK,ALL,Opt与Tg一致，则结束；否则，更新Tg为TK,ALL,Opt，并重新遍历Wi。
17.一种电子设备，包括：
至少一个处理器；以及
与所述至少一个处理器通信连接的存储器；其中，
所述存储器存储有可被所述一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行上述1至8任一项所述的深度图超分辨率重建方法的以下操作：
步骤a：分别获取待重建原始低分辨率深度图像的上采样图像、特征图及边缘图；
步骤b：将所述上采样图像、特征图及边缘图分别划分成图像块，并对图像块进行区域类别划分；
步骤c：采用权重组合，利用稀疏表达方法分别对各个区域类别的图像块进行重构，得到各个区域类别的高分辨率图像块；
步骤d：合并重构后的各个区域类别的高分辨率图像块，得到高分辨率深度图。
CN201810398824.7A 2018-04-28 2018-04-28 一种深度图超分辨率重建方法、系统及电子设备 Active CN110415169B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810398824.7A CN110415169B (zh) 2018-04-28 2018-04-28 一种深度图超分辨率重建方法、系统及电子设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810398824.7A CN110415169B (zh) 2018-04-28 2018-04-28 一种深度图超分辨率重建方法、系统及电子设备

Publications (2)

Publication Number Publication Date
CN110415169A true CN110415169A (zh) 2019-11-05
CN110415169B CN110415169B (zh) 2023-07-14

Family

ID=68356897

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810398824.7A Active CN110415169B (zh) 2018-04-28 2018-04-28 一种深度图超分辨率重建方法、系统及电子设备

Country Status (1)

Country Link
CN (1) CN110415169B (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111489292A (zh) * 2020-03-04 2020-08-04 北京思朗科技有限责任公司 视频流的超分辨率重建方法及装置
WO2021115403A1 (zh) * 2019-12-13 2021-06-17 深圳市中兴微电子技术有限公司 一种图像的处理方法及装置
WO2022002181A1 (zh) * 2020-07-03 2022-01-06 阿里巴巴集团控股有限公司 自由视点视频重建方法及播放处理方法、设备及存储介质
CN116704587A (zh) * 2023-08-02 2023-09-05 山东建筑大学 融合纹理信息和深度信息的多人头部姿态估计方法及系统

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1901679A (zh) * 2005-07-21 2007-01-24 海信集团有限公司 基于宏块内边缘信息选择分割的方法
CN103077505A (zh) * 2013-01-25 2013-05-01 西安电子科技大学 基于字典学习和结构聚类的图像超分辨率重建方法
CN103577824A (zh) * 2012-07-24 2014-02-12 浙江大华技术股份有限公司 一种提取目标图像的方法及装置
CN105335929A (zh) * 2015-09-15 2016-02-17 清华大学深圳研究生院 一种深度图超分辨方法
CN106355552A (zh) * 2016-08-27 2017-01-25 天津大学 一种基于虚拟视点绘制质量的深度图上采样方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1901679A (zh) * 2005-07-21 2007-01-24 海信集团有限公司 基于宏块内边缘信息选择分割的方法
CN103577824A (zh) * 2012-07-24 2014-02-12 浙江大华技术股份有限公司 一种提取目标图像的方法及装置
CN103077505A (zh) * 2013-01-25 2013-05-01 西安电子科技大学 基于字典学习和结构聚类的图像超分辨率重建方法
CN105335929A (zh) * 2015-09-15 2016-02-17 清华大学深圳研究生院 一种深度图超分辨方法
CN106355552A (zh) * 2016-08-27 2017-01-25 天津大学 一种基于虚拟视点绘制质量的深度图上采样方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
李丽等: "《基于非参数贝叶斯遥感影像超分辨率的改进算法》", 《激光与光电子学进展》 *
钟九生等: "《一种遥感影像超分辨率重建的稀疏表示建模及算法》", 《测绘学报》 *

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021115403A1 (zh) * 2019-12-13 2021-06-17 深圳市中兴微电子技术有限公司 一种图像的处理方法及装置
CN111489292A (zh) * 2020-03-04 2020-08-04 北京思朗科技有限责任公司 视频流的超分辨率重建方法及装置
WO2022002181A1 (zh) * 2020-07-03 2022-01-06 阿里巴巴集团控股有限公司 自由视点视频重建方法及播放处理方法、设备及存储介质
CN116704587A (zh) * 2023-08-02 2023-09-05 山东建筑大学 融合纹理信息和深度信息的多人头部姿态估计方法及系统
CN116704587B (zh) * 2023-08-02 2023-10-20 山东建筑大学 融合纹理信息和深度信息的多人头部姿态估计方法及系统

Also Published As

Publication number Publication date
CN110415169B (zh) 2023-07-14

Similar Documents

Publication Publication Date Title
CN107507134B (zh) 基于卷积神经网络的超分辨率方法
CN102902961B (zh) 基于k近邻稀疏编码均值约束的人脸超分辨率处理方法
CN110415169A (zh) 一种深度图超分辨率重建方法、系统及电子设备
Wang et al. Laplacian pyramid adversarial network for face completion
Fang et al. Face completion with hybrid dilated convolution
CN110060204B (zh) 一种基于可逆网络的单一图像超分辨率方法
Van Hoorick Image outpainting and harmonization using generative adversarial networks
Zhao et al. A deep cascade of neural networks for image inpainting, deblurring and denoising
Wei et al. Improving resolution of medical images with deep dense convolutional neural network
Yang et al. Image super-resolution based on deep neural network of multiple attention mechanism
Wang et al. 4k-nerf: High fidelity neural radiance fields at ultra high resolutions
CN116664782B (zh) 一种基于融合体素的神经辐射场三维重建方法
CN108924528B (zh) 一种基于深度学习的双目风格化实时渲染方法
Chen et al. Attentional coarse-and-fine generative adversarial networks for image inpainting
Chen et al. Image denoising via deep network based on edge enhancement
CN115170388A (zh) 人物线稿生成方法、装置、设备及介质
Zhang et al. Recurrent interaction network for stereoscopic image super-resolution
CN111696034B (zh) 图像处理方法、装置及电子设备
Liu et al. Low-rank matrix completion to reconstruct incomplete rendering images
Zhu et al. HDRD-Net: High-resolution detail-recovering image deraining network
Liu et al. Structure-preserving image completion with multi-level dynamic patches
Xu Imagery non-photorealistic art processing in modern product design relying on an inline block optimization hierarchy tree algorithm
Yi et al. Progressive back-traced dehazing network based on multi-resolution recurrent reconstruction
Wang et al. Two-stream deep sparse network for accurate and efficient image restoration
Deng et al. TV2++: a novel spatial-temporal total variation for super resolution with exponential-type norm

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant