CN108805841B - 一种基于彩色图引导的深度图恢复及视点合成优化方法 - Google Patents
一种基于彩色图引导的深度图恢复及视点合成优化方法 Download PDFInfo
- Publication number
- CN108805841B CN108805841B CN201810600927.7A CN201810600927A CN108805841B CN 108805841 B CN108805841 B CN 108805841B CN 201810600927 A CN201810600927 A CN 201810600927A CN 108805841 B CN108805841 B CN 108805841B
- Authority
- CN
- China
- Prior art keywords
- depth map
- map
- depth
- weight
- color
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 39
- 230000015572 biosynthetic process Effects 0.000 title claims abstract description 18
- 238000003786 synthesis reaction Methods 0.000 title claims abstract description 18
- 238000011084 recovery Methods 0.000 title claims abstract description 17
- 238000005457 optimization Methods 0.000 title claims abstract description 16
- 238000004422 calculation algorithm Methods 0.000 claims abstract description 13
- 238000004364 calculation method Methods 0.000 claims abstract description 12
- 238000010276 construction Methods 0.000 claims abstract description 9
- 238000009499 grossing Methods 0.000 claims description 18
- 239000000126 substance Substances 0.000 claims description 10
- 238000001914 filtration Methods 0.000 claims description 7
- 238000012545 processing Methods 0.000 claims description 7
- 238000005259 measurement Methods 0.000 claims description 6
- 230000008569 process Effects 0.000 claims description 6
- 238000009795 derivation Methods 0.000 claims description 5
- 230000008439 repair process Effects 0.000 abstract description 6
- 238000010586 diagram Methods 0.000 description 8
- 230000000694 effects Effects 0.000 description 4
- 238000001514 detection method Methods 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 230000003044 adaptive effect Effects 0.000 description 2
- 125000001475 halogen functional group Chemical group 0.000 description 2
- 230000009471 action Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000008034 disappearance Effects 0.000 description 1
- 238000003708 edge detection Methods 0.000 description 1
- 238000013210 evaluation model Methods 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 230000004927 fusion Effects 0.000 description 1
- 238000003706 image smoothing Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 230000001629 suppression Effects 0.000 description 1
- 238000001308 synthesis method Methods 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/13—Edge detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10024—Color image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20024—Filtering details
- G06T2207/20032—Median filtering
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20036—Morphological image processing
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Image Processing (AREA)
Abstract
本发明公开了一种基于彩色图引导的深度图恢复及视点合成优化方法，首先对不一致区域进行探测，检测输入深度图的边沿，并将边沿进行膨胀处理，将膨胀后的边沿标记为潜在不一致区域，然后基于迭代重加权最小二乘算法构建权重，权重构建完成后进行整体求解并更新深度图，根据结果判断是否达到设定的迭代次数，如果达到则输出深度图结束计算，否则重新进行对不一致区域探测。本发明能够抑制强噪声，并且能够修复深度图和彩色图不一致区域，提高深度图和彩色图的一致性，恢复出正确的深度图边界，对提高合成视图的质量有重要的指导意义。同时对于一致区域的去噪和保边能力强，采用成熟的迭代加权最小二乘模型，对参数的适应性强，提高了模型的鲁棒性。
Description
技术领域
本发明属于图像处理技术领域，具体涉及一种基于彩色图引导的深度图恢复及视点合成优 化方法。
背景技术
随着深度传感器的问世及立体显示技术的快速发展，深度图成为近年来的研究热点。深度 图的获取方式有主动式和被动式两种。主动式主要是由两个或多个视点的可见光数据进行立体 匹配计算相应位置的视差，然后根据几何关系转化为深度图。立体匹配得到的深度图准确度有 了很大的提高，但是计算复杂，对可见光数据的要求较高，在实际应用中有一定的局限性。被 动式主要是指由深度传感器直接获取深度图像，常用的深度传感器有ToF(Time of Flight)和 Kinect等，ToF通过测量光脉冲之间的传输延迟时间来计算深度信息，实时性强，但分辨率低 且存在随机噪声。Kinect通过向测量空间发射红外线，再由红外摄像机记录空间中物体反射形 成的散斑，通过计算得到深度图像，成本低廉，但存在深度值缺失和噪声。因此，无论是主动 方式还是被动方式获得的深度图，都需要进行深度图恢复以便为后续的应用提供更好的数据支 持。
基于深度图像绘制的视图合成方法是3DTV的关键技术，它利用深度图像将对应的彩色图 像经过一系列的三维变换和视图融合生成合成视点图像，因此合成图像质量的高低依赖于输入 图像的质量，除了深度图像的噪声和空洞的影响外，深度图和彩色图的边缘的一致性也有较高 的要求，否则会引起合成图像的裂纹和空洞，给后续合成图像的空洞填充带来负担。因此，在 类似虚拟视点合成这样需要深度图和彩色图边缘高度一致的场合，深度图修复技术不仅仅需要 考虑去噪和超分等，还需要修复不一致区域。
目前主流的深度图修复技术主要是利用彩色图和深度图的信息来实现深度图的恢复，比如 经典的三边滤波器和引导滤波器。Jingyu Yang等人在论文“Color-guidedDepth Recovery from RGB-D Data Using an Adaptive Auto-regressive Model”中，提出彩色图引导深度图恢复的自回归 模型，联合初始深度图的局部信息和彩色图的非局部信息构建回归系数，通过最小化自回归预 测误差来实现对深度图的去噪和超分。Wei Liu等在“Robust Color Guided Depth Map Restoration”论文中提出了一种自适应带宽的迭代重加权最小二乘算法，通过计算深度图的相对 平滑度来确定带宽，同时每次在迭代中更新平滑项的权重，使得模型更加鲁棒。这两种经典算 法都采用了彩色图来引导深度图实现恢复，其基本假设是深度图和彩色图的边界完全一致，然 而在实际应用中这一假设很难成立，因此对于深度图和彩色图不一致的区域就会引起深度图边 界模糊和纹理引入。YifanZuo在论文“Explicit Edge Inconsistency Evaluation Model for Color-Guided DepthMap Enhancement”中，提出了明确度量深度图和彩色图一致性的加权最小 二乘的模型，通过提取深度图和彩色图的边缘，采用二分图匹配和图割优化，找到深度图边缘 偏移量，以此来定义不一致性，在平滑项中由不一致性来平衡彩色图和深度图梯度对输出的影 响。这个方法考虑到了深度图和彩色图不一致的影响，但边缘提取高度依赖于图像梯度，抗噪 能力差，且一致性度量仅在边缘有效，无法实现不一致区域值的修复，适用范围有限。
发明内容
本发明所要解决的技术问题在于针对上述现有技术中的不足，提供一种基于彩色图引导的 深度图恢复及视点合成优化方法，能够在严重噪声干扰和不一致情况下，实现对深度图的恢复， 从而实现对虚拟视点合成的优化。
本发明采用以下技术方案：
一种基于彩色图引导的深度图恢复及视点合成优化方法，首先对不一致区域进行探测，检 测输入深度图的边沿，并将边沿进行膨胀处理，将膨胀后的边沿标记为潜在不一致区域，然后 基于迭代重加权最小二乘算法构建权重，权重构建完成后进行整体求解并更新深度图，根据结 果判断是否达到设定的迭代次数，如果达到则输出深度图结束计算，否则重新进行对不一致区 域探测。
具体的，对不一致区域进行探测具体为：
对输入深度图进行中值滤波后用canny算子提取所有边缘，再进行膨胀处理，在潜在不一 致区域分别对深度图和彩色图计算高斯权重，并用彩色图权重对深度图权重进行加权平均，加 权平均后的结果作为一致性的度量值；对位于i的像素点深度值的可信度
进行阈值化得到 一致性度量指标
将整个输入图像分为一致区域和不一致区域两部分，实现不一致区域 的精确查找。
进一步的，位于i的像素点的可信度
如下：
其中，
表示位于i的像素点深度值的可信度，
为彩色图权重，
为深度图权重， k代表彩色图I的不同通道，C代表彩色图I的三个通道，C＝{R,G,B}，N(i)是以i为中心的正 方形窗口，j是以i为中心的邻域的像素，Di是以i为中心的邻域j处的深度值，
表示彩色 图I的k通道位于点i处的像素值，
表示彩色图I的k通道位于点j处的像素值，σc和σd是常数。
更进一步的，对
阈值化如下：
其中，
表示位于i点深度图和彩色图的一致性度量值，取值为0和1，1表示一致， 0表示不一致，threshold表示用户自定义的一个常量。
具体的，构建权重具体为：基于迭代重加权最小二乘算法构建平滑项的权重，以输入深度 图D0作为迭代初始条件，在迭代中不断更新深度图权重
深度值可信度
和一致性度 量值
在每次迭代中实现去噪和不一致区域值的修复，最终确定深度值可信度
和平 滑项权重ωn。
进一步的，在第n次迭代中，平滑项的权重
构造如下：
其中，
分别表示位于i、j的像素点深度值的可信程度，
为彩色图权重，
为深度图权重，i为第i个像素点，j为以像素点i为中心的邻域像素点。
具体的，权重构建完成后进行整体求解并更新深度图具体为：基于迭代重加权最小二乘算 法进行求导得到线性解，利用前一次迭代的结果计算此次迭代的权重和不一致区域，并整体求 解，求解完成后更新深度图，为下次迭代计算做准备。
进一步的，求导得到线性解如下：
其中，n表示迭代次数，
表示i位置处的深度值的可信度，j表示以i为中心的像素 邻域，
表示第n次迭代j位置处的深度值，
表示第n次迭代平滑项的权重，
表示 初始输入的深度图在i处的值，α是平衡数据项和平滑项的常数。
具体的，如果没有达到预设的迭代次数则重新对不一致区域进行探测，利用更新后的深度 图计算不一致区域和权重，直到迭代次数达到设定值，整个迭代过程结束，输出深度图。
与现有技术相比，本发明至少具有以下有益效果：
本发明一种基于彩色图引导的深度图恢复及视点合成优化方法，首先对不一致区域进行探 测，检测输入深度图的边沿，并将边沿进行膨胀处理，将膨胀后的边沿标记为潜在不一致区域， 然后基于迭代重加权最小二乘算法构建权重，权重构建完成后进行整体求解并更新深度图，根 据结果判断是否达到设定的迭代次数，如果达到则输出深度图结束计算，否则重新进行对不一 致区域探测，采用了迭代重加权最小二乘模型，在迭代中更新权重，因此对于阈值有很好的适 应性，不同的阈值对输出结果影响并不十分明显，模型稳定且鲁棒性强。
进一步的，通过利用彩色图权重对深度图权重的加权平均来探测不一致区域，从而分别采 取不同的策略处理深度图像，确定深度图恢复的作用区域，改善深度图和彩色图的一致性。
进一步的，通过对深度值可信程度
的阈值化来控制数据项在整个模型中的作用，在 不一致区域将去掉数据项的约束，仅由平滑项来影响输出结果，减少错误的深度值对处理结果 的影响。
进一步的，通过计算深度图权重、彩色图权重以及一致性度量来构建数据项和平滑项的权 重，由一致性度量值来控制深度图权重和彩色图权重对输出的影响，从而实现不一致区域深度 图值的修复以及一致区域深度值的去噪。
进一步的，基于最小二乘的方法进行迭代计算，本发明抗噪能力强。在不一致区域值的修 复过程中，考量了深度值的可信程度，对于不可信的深度值依靠彩色图权重进行加权平均，能 很好地保持深度图的边缘，避免了边界模糊。而对于可信的深度值依靠深度权重和彩色权重进 行加权求解，能很好地抑制纹理引入。
进一步的，在数据项和平滑项中综合考虑了不一致性对输出的影响，可以对深度图中不一 致的区域进行修复，提高二者的一致性，从而提高虚拟视点合成的质量。
综上所述，本发明不仅能够抑制强噪声，并且能够修复深度图和彩色图不一致区域，提高 深度图和彩色图的一致性，恢复出正确的深度图边界，对提高合成视图的质量有重要的指导意 义。同时对于一致区域的去噪和保边能力强，采用成熟的迭代加权最小二乘模型，对参数的适 应性强，提高了模型的鲁棒性。
下面通过附图和实施例，对本发明的技术方案做进一步的详细描述。
附图说明
图1为本发明的整体流程图；
图2为本发明的输入示意图，其中，(a)为彩色图，(b)为深度图；
图3为本发明潜在不一致区域检测结果图；
图4为本发明不一致区域探测结果图；
图5为本发明迭代16次的输出结果图；
图6为本发明深度图与彩色图不一致对合成视图影响的示意图，其中，(a)为不一致深 度图和对应彩色图的叠加图，由此显示深度图与彩色图的不一致，(b)为由不一致深度图和彩 色图合成的虚拟视点图像。红色方框所表示的是图像内的局部放大图；
图7为本发明修复后对应彩色图示意图，(a)为本发明修复不一致区域后的输出深度图 与对应彩色图的叠加图，(b)为本发明修复不一致区域后的深度图与对应彩色图合成的虚拟视 点图像；
图8为本发明处理后的输出图像局部窗口和用其他方法处理后的输出图像局部窗口。其 中，(a)为输入图像的局部窗口，(b)为使用引导滤波后的输出图像局部窗口，(c)为使用加权最 小二乘后的输出图像局部窗口，(d)为使用加权中值滤波后的输出图像局部窗口，(e)为使用迭 代加权最小二乘后的输出图像局部窗口，(f)为使用本发明提出的方法后输出图像的局部窗口， (g)为对应的彩色图局部窗口。
具体实施方式
本发明提供了一种基于彩色图引导的深度图恢复及视点合成优化方法，检测输入深度图的 边沿，并将边沿进行膨胀处理，将膨胀后的边沿标记为潜在不一致区域，然后基于迭代重加权 最小二乘算法构建权重，权重构建完成后进行整体求解并更新深度图，判断是否达到设定的迭 代次数，如果达到则输出深度图结束计算，否则重新进行对不一致区域探测。本方法能够去除 大量噪声并减少图像边缘的模糊，能够针对深度图和彩色图的不一致进行恢复，提高二者的一 致性，从而提高视点合成的质量。
请参阅图1，本发明的具体步骤如下：
S1、不一致区域探测
输入待修复的深度图如图2b和对应的彩色图，如图2a所示。为了避免噪声污染严重的恶 劣情况边缘检测效果的影响，对输入深度图进行中值滤波后用canny算子提取所有边缘，再进 行膨胀处理，对膨胀后的边界标记为潜在不一致区域，如图3所示，其中黑色区域为潜在不一 致区域，白色区域为一致区域。
在潜在不一致区域分别对深度图和彩色图计算高斯权重，并用彩色图权重对深度图权重进 行加权平均，作为深度值可信程度的度量值，如公式(1)所示：
其中，
表示位于i的像素点深度值的可信度，越大表示对应像素点深度图和彩色图越 一致，该点的深度值越可信；
为彩色图权重。
为深度图权重。k代表彩色图I的不同 通道；C代表彩色图I的R、G、B三个通道，C＝{R,G,B}；N(i)是以i为中心的一个正方形窗 口；j是以i为中心的邻域的像素，Di是i位置的深度值，Dj表示以i为中心的邻域j处的深度 值；
表示彩色图I的k通道位于点i处的像素值，
表示彩色图I的k通道位于点j处的像 素值；σc和σd是常数。
在初次迭代中，
由输入图像计算，在此后的每次迭代中，将会用更新后的深度图计算， 从而将会更新不一致性的度量值和不一致区域。
对
阈值化：
其中，
表示位于i点的深度图和彩色图的一致性度量值，由
阈值化得到，取值 只有0和1两个值，1表示一致，0表示不一致；threshold是用户自定义的一个常量。如图4 所示，图4为初次迭代中精确不一致区域探测的结果，黑色表示不一致区域，白色表示一致区 域，此后的每次迭代将都重新计算
从而实现不一致区域的精确查找。
S2、权重构建
本发明整体算法框架是基于迭代重加权最小二乘算法，如公式(5)所示：
公式(5)可以看做两部分，
表示数据项，
表示 平滑项，此步骤主要用来计算数据项和平滑项的权重。
其中，
表示第n+1次迭代i位置处的深度值，
表示初始输入的深度图在i处的值， α是平衡数据项和平滑项的常数，
代表第n次迭代平滑项的权重。
相邻两次迭代之间的平滑项权重的改变很小，因此可以在第n+1迭代时，用第n次迭代的 平滑项权重去近似第n+1次迭代的平滑项权重，平滑项权重除了考虑彩色权重和深度权重的影 响，还考虑深度图和彩色图不一致带来的影响，因此平滑项的权重构造如公式(6)所示
其中，
分别表示位于i、j的像素点深度值的可信程度(如公式(1)所示)，
为 彩色图权重(如公式(2)所示)，
为深度图权重(如公式(3)所示)，i为第i个像素点，j为以像 素点i为中心的邻域像素点。
以输入D0作为迭代初始条件，计算深度图权重
(如公式(3)所示)，由输入的彩色图像计 算彩色图权重
(如公式(2)所示)，然后计算深度值可信度
利用公式(6)构建平滑项权重， 利用一致性度量值
计算数据项权重，然后利用公式(5)实现本次迭代的整体解算，本次 迭代计算出来深度图将作为下次迭代的初始条件进行权重构建和计算。本步骤主要计算深度值 可信度
和平滑项权重ωn。
S3、整体求解及深度图更新
当权重构造完成，对公式(5)求导得到线性解，结果如公式(7)所示：
其中，n表示迭代次数，
表示第n+1次迭代i位置处的深度值，
表示位于i的像素点深度值的可信度，如公式(1)所示。j表示以i为中心的像素邻域，
表示第n次迭代j位置处的深度值，
表示第n次迭代平滑项的权重，
表示初始输入的深度图在i处的值，α是平衡数据项和平滑项的常数。
利用前一次迭代的结果计算此次迭代的权重和不一致区域，并整体求解，求解完成后更新 深度图，为下次迭代计算做准备。
S4、每次迭代都需要判断迭代次数是否达到初始化时指定的值，如果没有达到则转步骤 S1，利用更新后的深度图计算不一致区域和权重，直到迭代次数达到设定值，整个迭代过程结 束，输出深度图，如图5所示为最终的输出图像。
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图， 对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分 实施例，而不是全部的实施例。通常在此处附图中的描述和所示的本发明实施例的组件可以通 过各种不同的配置来布置和设计。因此，以下对在附图中提供的本发明的实施例的详细描述并 非旨在限制要求保护的本发明的范围，而是仅仅表示本发明的选定实施例。基于本发明中的实 施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本 发明保护的范围。
本发明的主要作用体现在两个方面，首先是对深度图和彩色图不一致区域值的修复情况。 图6(a)是原始不一致深度图与对应彩色图叠加的结果图，我们可以很容易看到二者的不一致尤 其是红色矩形中的细节放大图，图6(b)是合成的虚拟视点图像，可以看到由于深度图和彩色图 边界的不一致所带来的合成图像气球边界的失真。
图7(a)是使用本发明的方法修复深度后与对应彩色图叠加的结果，可以看到彩色图和深度 图的一致性得到了明显的改善，深度图中气球的边界与彩色图趋近一致，图7(b)是本发明方法 处理后的深度图与相应彩色图合成的虚拟视点图像，可以看到气球的边界失真得到了修正，虚 拟视点图像的质量得到了较大的提升。
其次是本发明方法对噪声的抑制情况，如图8所示，图8(a)是输入带噪声的深度图的一个 局部图，图8(b)是He K在论文“Guided Image Filtering”提出的引导滤波器作用于输入图像的输 出结果局部图，图8(c)是使用Min D在论文“Fast global imagesmoothing based on weighted least squares”中提出来的加权最小二乘得到的输出局部图，图8(d)是使用Ma Z在论文“Constant Time Weighted Median Filtering forStereo Matching and Beyond”提出来的加权中值滤波得到的输出局 部图，图8(e)是使用Liu W在论文“Robust Color Guided Depth Map Restoration”提出的迭代重加 权最小二乘得到的输出结果局部图，图8(f)是使用本发明得到的输出结果局部图。图8(g)是对 应位置的彩色图像。
通过和主流方法对比，可以明显看到，本发明的去噪能力在所列方法中是最强的，且不会 由于深度图和彩色图的不一致引起的光晕现象(如图3(c)的光晕现象很明显)，同时得到的深度 图无论是平滑区还是边缘区噪声都得到了很好的消除，深度图的失真边界也得到了很好的修 复。
综上所述，本发明方法能够有效去除平滑区和边缘区域的噪声，同时能够修复深度图与彩 色图的不一致区域，改善深度图的质量，通过提高深度图与彩色图的一致性来提高合成视图的 质量。
以上内容仅为说明本发明的技术思想，不能以此限定本发明的保护范围，凡是按照本发明 提出的技术思想，在技术方案基础上所做的任何改动，均落入本发明权利要求书的保护范围之 内。
Claims (8)
1.一种基于彩色图引导的深度图恢复及视点合成优化方法，其特征在于，首先对不一致区域进行探测，检测输入深度图的边沿，并将边沿进行膨胀处理，将膨胀后的边沿标记为潜在不一致区域，然后基于迭代重加权最小二乘算法构建权重，权重构建完成后进行整体求解并更新深度图，根据结果判断是否达到设定的迭代次数，如果达到则输出深度图结束计算，否则重新进行对不一致区域探测；
对不一致区域进行探测具体为：
对输入深度图进行中值滤波后用canny算子提取所有边缘，再进行膨胀处理，在潜在不一致区域分别对深度图和彩色图计算高斯权重，并用彩色图权重对深度图权重进行加权平均，加权平均后的结果作为一致性的度量值；对位于i的像素点深度值的可信度
进行阈值化得到一致性度量指标
将整个输入图像分为一致区域和不一致区域两部分，实现不一致区域的精确查找。
2.根据权利要求1所述的一种基于彩色图引导的深度图恢复及视点合成优化方法，其特征在于，位于i的像素点的可信度
如下：
其中，
为彩色图权重，
为深度图权重，k代表彩色图I的不同通道，C代表彩色图I的三个通道，C＝{R,G,B}，N(i)是以i为中心的正方形窗口，j是以i为中心的邻域的像素，Di是以i为中心的邻域j处的深度值，
表示彩色图I的k通道位于点i处的像素值，
表示彩色图I的k通道位于点j处的像素值，σc和σd是常数。
3.根据权利要求2所述的一种基于彩色图引导的深度图恢复及视点合成优化方法，其特征在于，对
阈值化如下：
其中，
表示位于i点深度图和彩色图的一致性度量值，取值为0和1，1表示一致，0表示不一致，threshold表示用户自定义的一个常量。
4.根据权利要求1所述的一种基于彩色图引导的深度图恢复及视点合成优化方法，其特征在于，构建权重具体为：基于迭代重加权最小二乘算法构建平滑项的权重，以输入深度图D0作为迭代初始条件，在迭代中不断更新深度图权重
深度值可信度
和一致性度量值
在每次迭代中实现去噪和不一致区域值的修复，最终确定深度值可信度
和平滑项权重ωn。
5.根据权利要求4所述的一种基于彩色图引导的深度图恢复及视点合成优化方法，其特征在于，在第n次迭代中，平滑项的权重
构造如下：
其中，
分别表示位于i、j的像素点深度值的可信程度，
为彩色图权重，
为深度图权重，i为第i个像素点，j为以像素点i为中心的邻域像素点。
6.根据权利要求1所述的一种基于彩色图引导的深度图恢复及视点合成优化方法，其特征在于，权重构建完成后进行整体求解并更新深度图具体为：基于迭代重加权最小二乘算法进行求导得到线性解，利用前一次迭代的结果计算此次迭代的权重和不一致区域，并整体求解，求解完成后更新深度图，为下次迭代计算做准备。
7.根据权利要求6所述的一种基于彩色图引导的深度图恢复及视点合成优化方法，其特征在于，求导得到线性解如下：
其中，n表示迭代次数，j表示以i为中心的像素邻域，
表示第n次迭代j位置处的深度值，
表示第n次迭代平滑项的权重，
表示初始输入的深度图在i处的值，α是平衡数据项和平滑项的常数。
8.根据权利要求1所述的一种基于彩色图引导的深度图恢复及视点合成优化方法，其特征在于，如果没有达到预设的迭代次数则重新对不一致区域进行探测，利用更新后的深度图计算不一致区域和权重，直到迭代次数达到设定值，整个迭代过程结束，输出深度图。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201810600927.7A CN108805841B (zh) | 2018-06-12 | 2018-06-12 | 一种基于彩色图引导的深度图恢复及视点合成优化方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201810600927.7A CN108805841B (zh) | 2018-06-12 | 2018-06-12 | 一种基于彩色图引导的深度图恢复及视点合成优化方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN108805841A CN108805841A (zh) | 2018-11-13 |
| CN108805841B true CN108805841B (zh) | 2021-01-19 |
Family
ID=64085265
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201810600927.7A Active CN108805841B (zh) | 2018-06-12 | 2018-06-12 | 一种基于彩色图引导的深度图恢复及视点合成优化方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN108805841B (zh) |
Families Citing this family (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110942476A (zh) * | 2019-10-17 | 2020-03-31 | 湖南大学 | 基于二维图像引导的改进三维点云配准方法、系统及可读存储介质 |
| CN111242855B (zh) * | 2020-01-04 | 2022-06-07 | 西安交通大学 | 基于rgb-d的ssim结构相似度的迭代深度图结构修复方法 |
| CN111223059B (zh) * | 2020-01-04 | 2022-02-11 | 西安交通大学 | 一种基于引导滤波器的鲁棒深度图结构重建和去噪方法 |
Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102710951A (zh) * | 2012-05-09 | 2012-10-03 | 天津大学 | 基于散斑结构光深度相机的多视点计算成像方法 |
| WO2013173749A1 (en) * | 2012-05-17 | 2013-11-21 | The Regents Of The University Of California | Sampling-based multi-lateral filter method for depth map enhancement and codec |
| CN103747248A (zh) * | 2014-01-27 | 2014-04-23 | 电子科技大学 | 深度与彩色视频边界不一致的检测和处理方法 |
| CN106056622A (zh) * | 2016-08-17 | 2016-10-26 | 大连理工大学 | 一种基于Kinect相机的多视点深度视频复原方法 |
| CN106204718A (zh) * | 2016-06-28 | 2016-12-07 | 华南理工大学 | 一种基于单个Kinect的简易高效三维人体重建方法 |
| CN106251329A (zh) * | 2016-07-14 | 2016-12-21 | 天津大学 | 基于双变换域的深度图超分辨率方法 |
| CN107085848A (zh) * | 2017-04-20 | 2017-08-22 | 安徽大学 | 一种rgb‑d图显著性的检测方法 |
-
2018
- 2018-06-12 CN CN201810600927.7A patent/CN108805841B/zh active Active
Patent Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102710951A (zh) * | 2012-05-09 | 2012-10-03 | 天津大学 | 基于散斑结构光深度相机的多视点计算成像方法 |
| WO2013173749A1 (en) * | 2012-05-17 | 2013-11-21 | The Regents Of The University Of California | Sampling-based multi-lateral filter method for depth map enhancement and codec |
| CN103747248A (zh) * | 2014-01-27 | 2014-04-23 | 电子科技大学 | 深度与彩色视频边界不一致的检测和处理方法 |
| CN106204718A (zh) * | 2016-06-28 | 2016-12-07 | 华南理工大学 | 一种基于单个Kinect的简易高效三维人体重建方法 |
| CN106251329A (zh) * | 2016-07-14 | 2016-12-21 | 天津大学 | 基于双变换域的深度图超分辨率方法 |
| CN106056622A (zh) * | 2016-08-17 | 2016-10-26 | 大连理工大学 | 一种基于Kinect相机的多视点深度视频复原方法 |
| CN107085848A (zh) * | 2017-04-20 | 2017-08-22 | 安徽大学 | 一种rgb‑d图显著性的检测方法 |
Non-Patent Citations (2)
| Title |
|---|
| Explicit Edge Inconsistency Evaluation Model for Color-Guided Depth Map Enhancement;左一帆等;《IEEE Transactions on Image Processing》;20160922;第1卷(第22期);全文 * |
| 彩色图像引导的深度图像增强;刘俊毅;《中国优秀硕士学位论文全文数据库信息科技辑》;20140615;全文 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN108805841A (zh) | 2018-11-13 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111223059B (zh) | 一种基于引导滤波器的鲁棒深度图结构重建和去噪方法 | |
| US20180300937A1 (en) | System and a method of restoring an occluded background region | |
| TWI536318B (zh) | 深度測量之品質提升 | |
| KR100748719B1 (ko) | 다중 스테레오 카메라를 이용한 3차원 모델링 장치 및 그방법 | |
| CN107578430B (zh) | 一种基于自适应权值和局部熵的立体匹配方法 | |
| CN107622480B (zh) | 一种Kinect深度图像增强方法 | |
| CN108805841B (zh) | 一种基于彩色图引导的深度图恢复及视点合成优化方法 | |
| CN109887021B (zh) | 基于跨尺度的随机游走立体匹配方法 | |
| Ben-Ari et al. | Stereo matching with Mumford-Shah regularization and occlusion handling | |
| CN110866882B (zh) | 基于深度置信度的分层联合双边滤波深度图修复方法 | |
| KR20110014067A (ko) | 스테레오 컨텐트의 변환 방법 및 시스템 | |
| CN112991420A (zh) | 一种视差图的立体匹配特征提取及后处理方法 | |
| CN112991193A (zh) | 深度图像修复方法、设备及计算机可读存储介质 | |
| CN109887008B (zh) | 基于前后向平滑和o(1)复杂度视差立体匹配方法、装置和设备 | |
| KR20190060228A (ko) | 3차원 컬러 메쉬 복원 방법 및 장치 | |
| Pushpalwar et al. | Image inpainting approaches-a review | |
| Zhang et al. | Depth enhancement with improved exemplar-based inpainting and joint trilateral guided filtering | |
| CN115222889A (zh) | 基于多视图图像的3d重建方法、装置及相关设备 | |
| JP2019091122A (ja) | デプスマップフィルタ処理装置、デプスマップフィルタ処理方法及びプログラム | |
| CN109816781B (zh) | 一种基于图像细节和结构增强的多视图立体几何方法 | |
| KR101766431B1 (ko) | 계층적 스테레오 정합을 이용한 변이 추출 방법 및 그 장치 | |
| CN111179333A (zh) | 一种基于双目立体视觉的散焦模糊核估计方法 | |
| Camplani et al. | Accurate depth-color scene modeling for 3D contents generation with low cost depth cameras | |
| KR101889952B1 (ko) | 신뢰도 기반의 스테레오 매칭 방법 및 장치 | |
| Fan et al. | Collaborative three-dimensional completion of color and depth in a specified area with superpixels |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |