CN113989345A - 一种深度图像处理方法、系统和电子设备 - Google Patents

一种深度图像处理方法、系统和电子设备 Download PDF

Info

Publication number
CN113989345A
CN113989345A CN202111239909.9A CN202111239909A CN113989345A CN 113989345 A CN113989345 A CN 113989345A CN 202111239909 A CN202111239909 A CN 202111239909A CN 113989345 A CN113989345 A CN 113989345A
Authority
CN
China
Prior art keywords
pixel
area
depth image
shielded
pixel points
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202111239909.9A
Other languages
English (en)
Inventor
淦相琦
祝常健
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangxi Normal University
Original Assignee
Guangxi Normal University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangxi Normal University filed Critical Guangxi Normal University
Priority to CN202111239909.9A priority Critical patent/CN113989345A/zh
Publication of CN113989345A publication Critical patent/CN113989345A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/543—Depth or shape recovery from line drawings
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/70—Denoising; Smoothing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/77—Retouching; Inpainting; Scratch removal
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/13—Edge detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/529—Depth or shape recovery from texture
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Studio Devices (AREA)

Abstract

本发明涉及一种深度图像处理方法、系统和电子设备，所述方法包括：获取待处理图像的深度图像，根据深度图像的颜色是否一致得到深度图像的遮挡区域和未遮挡区域；在遮挡区域上提取多个遮挡边缘像素点，并根据多个遮挡边缘像素点得到遮挡区域的边界；根据预设遮挡模型和未遮挡区域的未遮挡像素点得到遮挡区域的遮挡像素点；对未遮挡区域的未遮挡像素点和遮挡区域的遮挡像素点进行重聚焦处理，得到重聚焦图像，根据重聚焦图像得到最终图像。本发明解决了图像深度值缺失以及深度值估计不准确的问题，通过重聚焦的方法实现了图像的重新聚焦和切割结合，提高了深度图像处理的准确性。

Description

一种深度图像处理方法、系统和电子设备
技术领域
本发明涉及图像处理技术领域，具体涉及一种深度图像的处理方法、系统和电子设备。
背景技术
在当今社会中，涉及立体成像的计算机图像处理技术都需要研究获取深度图。例如三维重建，3D建模，场景理解以及深度感知的图像合成，这些对多媒体音像的相关研究都有着很大的贡献，深度图的深度估计是作为这些研究中尤为重要的一个部分。在捕获深度图时会遇到发生遮挡的情况，这样就会造成深度图出现大量的深度缺失，针对这种情况就要对深度图缺失的深度值进行估计。传统的深度估计的方法采取的是主动方法和被动方法。
主动方法是通过设备本身所具有的特性来进获取信息。例如，光场相机可以不断地给锁定的目标发送符合相机的特殊性能的光脉冲信号，然后通过相机自带的传感器来接受从目标物返回的光线，有这个过程所经历的时间差来估计目标物的距离，再在此基础上通过时间差来推算出整幅图像的深度信息。被动方法最常用的是双目立体视觉法。将两个相机对同一物体的不同角度进行拍摄并提取特征点，使用立体匹配的算法来计算两个相机形成的图像的像素点，通过立体匹配来还原从同一场景的不同角度所拍摄出的场景来获取深度图像信息。
尽管主动方法和被动方法都能够得到深度估计的信息，但是两者都存在着很大的改进空间，对于深度图的获取和深度恢复都存在极大的局限性。不仅如此，此类方法所估计出的结果会存在大量的深度值缺失的情况，导致深度估计的结果不够准确。
发明内容
为解决上述技术问题，本发明提供了一种深度图像处理方法、系统和电子设备。
本发明的一种深度图像处理方法的技术方案如下：
S1、获取待处理图像的深度图像，根据所述深度图像的颜色是否一致得到所述深度图像的遮挡区域和未遮挡区域；
S2、在所述遮挡区域上提取多个遮挡边缘像素点，并根据多个所述遮挡边缘像素点得到遮挡区域的边界；
S3、根据预设遮挡模型和所述未遮挡区域的未遮挡像素点得到所述遮挡区域的遮挡像素点；
S4、对所述未遮挡区域的未遮挡像素点和所述遮挡区域的遮挡像素点进行重聚焦处理，得到重聚焦图像，根据所述重聚焦图像得到最终图像。
本发明的一种深度图像的处理方法的有益效果如下：
本发明通过获取待处理图像的深度图像，根据深度图像的颜色是否一致得到深度图像的遮挡区域和未遮挡区域，在遮挡区域上提取多个遮挡边缘像素点，并根据多个遮挡边缘像素点得到遮挡区域的边界，根据预设遮挡模型和未遮挡区域的未遮挡像素点得到遮挡区域的遮挡像素点，对未遮挡区域的未遮挡像素点和遮挡区域的遮挡像素点进行重聚焦处理，得到重聚焦图像，根据重聚焦图像得到最终图像，因此，本发明的深度图像处理方法解决了图像深度值缺失以及深度值估计不准确的问题，通过重聚焦的方法实现了图像的重新聚焦和切割结合，提高了深度图像处理的准确性。
在上述方案的基础上，本发明的一种深度图像处理方法还可以做如下改进。
进一步，所述S4具体包括：
S41、利用光场信息公式对所述未遮挡区域的未遮挡像素点和所述遮挡区域的遮挡像素点进行重聚焦，得到多个聚焦像素点，并根据多个所述聚焦像素点得到所述重聚焦图像；
S42、当所述重聚焦图像中存在被遮挡的所述聚焦像素点时，根据颜色一致性将所述重聚焦图像划分为第一聚焦区域和第二聚焦区域；
S43、在所述第一聚焦区域中选取符合预设条件的任一所述聚焦像素点作为第一角度像素点，在所述第二聚焦区域中选取符合预设条件的任一所述聚焦像素点第二角度像素点，根据所述第一角度像素点和所述第二角度像素点得到像素平均值和像素方差，并计算所述像素方差的最小指数；
S44、根据所述最小指数进行响应计算后得到最佳深度值，根据所述最佳深度值获取所述最终图像。
采用上述进一步方案的有益效果是：通过对像素点进行重聚焦处理，排出了图像中存在的重复纹理和噪声干扰，得到了图像的最佳深度值，从而提高了深度图像处理的准确性。
进一步，所述预设条件具体包括：
所述聚焦像素点满足约束公式，其中，所述约束公式为：
Figure BDA0003319048190000031
p1，p2是所述遮挡像素点两侧的两个像素点的值，δ是用于提高鲁棒性的低阈值。
采用上述进一步方案的有益效果是：当重新聚焦到一个违反了约束公式的深度时，则认为该深度是无效的，并在深度估计的过程中自动排除，解决了当被遮挡平面没有纹理时出现聚焦不正确的现象。
进一步，所述在所述遮挡区域上提取多个遮挡边缘像素点，具体包括：
采用高斯滤波器对所述深度图像进行去噪，得到所述深度图像的像素灰度值；
根据所述深度图像中的两个方向不同的所述像素灰度值得到所述深度图像的像素梯度值；
根据所述深度图像的像素梯度值对所述深度图像进行滞后阈值化处理，得到所述遮挡边缘像素点。
采用上述进一步方案的有益效果是：通过获取对待处理图像进行预处理，得到遮挡边缘像素点，便于后续对图像进行深度处理，提高了重聚焦的准确度。
进一步，所述遮挡模型包括：相机平面、遮挡物和成像平面。
采用上述进一步方案的有益效果是：通过遮挡模型成像平面并结合已知像素点以便于得到位置像素点的位置信息。
本发明的一种深度图像处理系统的技术方案如下：
包括：获取模块、预处理模块、第一处理模块、第二处理模块；
所述获取模块用于：获取待处理图像的深度图像，根据所述深度图像的颜色是否一致得到所述深度图像的遮挡区域和未遮挡区域；
所述预处理模块用于：在所述遮挡区域上提取多个遮挡边缘像素点，并根据多个所述遮挡边缘像素点得到遮挡区域的边界；
所述第一处理模块用于：根据预设遮挡模型和所述未遮挡区域的未遮挡像素点得到所述遮挡区域的遮挡像素点；
所述第二处理模块用于：对所述未遮挡区域的未遮挡像素点和所述遮挡区域的遮挡像素点进行重聚焦处理，得到重聚焦图像，根据所述重聚焦图像得到最终图像。
本发明的一种深度图像处理系统的有益效果如下：
本发明通过获取待处理图像的深度图像，根据深度图像的颜色是否一致得到深度图像的遮挡区域和未遮挡区域，在遮挡区域上提取多个遮挡边缘像素点，并根据多个遮挡边缘像素点得到遮挡区域的边界，根据预设遮挡模型和未遮挡区域的未遮挡像素点得到遮挡区域的遮挡像素点，对未遮挡区域的未遮挡像素点和遮挡区域的遮挡像素点进行重聚焦处理，得到重聚焦图像，根据重聚焦图像得到最终图像，因此，本发明的深度图像处理系统解决了图像深度值缺失以及深度值估计不准确的问题，通过重聚焦的方法实现了图像的重新聚焦和切割结合，提高了深度图像处理的准确性。
在上述方案的基础上，本发明的一种深度图像处理方法还可以做如下改进。
进一步，所述第二处理模块具体用于：
利用光场信息公式对所述未遮挡区域的未遮挡像素点和所述遮挡区域的遮挡像素点进行重聚焦，得到多个聚焦像素点，并根据多个所述聚焦像素点得到所述重聚焦图像；
当所述重聚焦图像中存在被遮挡的所述聚焦像素点时，根据颜色一致性将所述重聚焦图像划分为第一聚焦区域和第二聚焦区域；
在所述第一聚焦区域中选取符合预设条件的任一所述聚焦像素点作为第一角度像素点，在所述第二聚焦区域中选取符合预设条件的任一所述聚焦像素点第二角度像素点，根据所述第一角度像素点和所述第二角度像素点得到像素平均值和像素方差，并计算所述像素方差的最小指数；
根据所述最小指数进行响应计算后得到最佳深度值，根据所述最佳深度值获取所述最终图像。
采用上述进一步方案的有益效果是：通过对像素点进行重聚焦处理，排出了图像中存在的重复纹理和噪声干扰，得到了图像的最佳深度值，从而提高了深度图像处理的准确性。
进一步，所述预设条件具体包括：所述聚焦像素点满足约束公式，其中，所述约束公式为：
Figure BDA0003319048190000051
p1，p2是所述遮挡像素点两侧的两个像素点的值，δ是用于提高鲁棒性的低阈值。
采用上述进一步方案的有益效果是：当重新聚焦到一个违反了约束公式的深度时，则认为该深度是无效的，并在深度估计的过程中自动排除，解决了当被遮挡平面没有纹理时出现聚焦不正确的现象。
进一步，所述在所述遮挡区域上提取多个遮挡边缘像素点，具体包括：
采用高斯滤波器对所述深度图像进行去噪，得到所述深度图像的像素灰度值；
根据所述深度图像中的两个方向不同的所述像素灰度值得到所述深度图像的像素梯度值；
根据所述深度图像的像素梯度值对所述深度图像进行滞后阈值化处理，得到所述遮挡边缘像素点。
采用上述进一步方案的有益效果是：通过获取对待处理图像进行预处理，得到遮挡边缘像素点，便于后续对图像进行深度处理，提高了重聚焦的准确度。
本发明的一种电子设备的技术方案如下：
包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时，使所述计算机执行如上述任一项所述的一种深度图像处理方法的步骤。
附图说明
图1为本发明实施例的一种深度图像处理方法的流程示意图；
图2为本发明实施例的一种深度图像处理方法中的待处理图像未发生遮挡和发生遮挡时颜色一致性的示意图；
图3为本发明实施例的一种深度图像处理方法中的S4的流程示意图；
图4为本发明实施例的一种深度图像处理方法中的聚焦对比图；
图5为本发明实施例的一种深度图像处理方法的实验结果图；
图6为本发明实施例的一种深度图像处理方法中的关于颜色一致性的像素点关系示意图；
图7为本发明实施例的一种深度图像处理方法中的遮挡模型的结构示意图；
图8为本发明实施例的一种深度图像处理系统的结构示意图。
具体实施方式
如图1所示，本发明实施例的一种深度图像处理方法，包括如下步骤：
S1、获取待处理图像的深度图像，根据所述深度图像的颜色是否一致得到所述深度图像的遮挡区域和未遮挡区域；
S2、在所述遮挡区域上提取多个遮挡边缘像素点，并根据多个所述遮挡边缘像素点得到遮挡区域的边界；
S3、根据预设遮挡模型和所述未遮挡区域的未遮挡像素点得到所述遮挡区域的遮挡像素点；
S4、对所述未遮挡区域的未遮挡像素点和所述遮挡区域的遮挡像素点进行重聚焦处理，得到重聚焦图像，根据所述重聚焦图像得到最终图像。
本实施例通过获取待处理图像的深度图像，根据深度图像的颜色是否一致得到深度图像的遮挡区域和未遮挡区域，在遮挡区域上提取多个遮挡边缘像素点，并根据多个遮挡边缘像素点得到遮挡区域的边界，根据预设遮挡模型和未遮挡区域的未遮挡像素点得到遮挡区域的遮挡像素点，对未遮挡区域的未遮挡像素点和遮挡区域的遮挡像素点进行重聚焦处理，得到重聚焦图像，根据重聚焦图像得到最终图像，因此，本发明的深度图像处理方法解决了图像深度值缺失以及深度值估计不准确的问题，通过重聚焦的方法实现了图像的重新聚焦和切割结合，提高了深度图像处理的准确性。
其中，在进行深度图像处理之前，首先在MATLAB上导入待处理图像，得到深度图像，利用图像的颜色一致性来判断深度图像是否发生遮挡。通过颜色一致性来对遮挡区域进行一个大致的判断，为后期建立遮挡模型以及遮挡模块中的深度估计做一个基础准备。如图2所示，当图像未出现遮挡情况时，聚焦点重新聚焦到中心视图的深度，此时与单个空间像素对应的角像素表示收敛到场景中同一点的视点。如果将这些像素收集起来形成一个角度像素块，那么在这种情况下，它们表现出朗伯表面的颜色一致性，即意味着它们都共享相同的颜色。然而当遮挡发生在像素点时，图像颜色一致性将不再存在，因为某一个视点被遮挡以至于颜色不呈现出一致性，并不共享相同颜色。针对发生遮挡情况的遮挡边缘的情况，遮挡边缘的像素点存在已经发生遮挡的现象，此时根据颜色一致性的判断，可以得知遮挡像素点的边缘是不存在颜色一致性的，只有没有发生遮挡的区域才具备颜色一致性的特点。基于颜色一致性的特点，我们可以通过表现出颜色一致性所的图像来推测出遮挡区域和非遮挡区域。
较优地，在上述技术方案中，如图3所示，S4具体包括：
S41、利用光场信息公式对所述未遮挡区域的未遮挡像素点和所述遮挡区域的遮挡像素点进行重聚焦，得到多个聚焦像素点，并根据多个所述聚焦像素点得到所述重聚焦图像；
S42、当所述重聚焦图像中存在被遮挡的所述聚焦像素点时，根据颜色一致性将所述重聚焦图像划分为第一聚焦区域和第二聚焦区域；
S43、在所述第一聚焦区域中选取符合预设条件的任一所述聚焦像素点作为第一角度像素点，在所述第二聚焦区域中选取符合预设条件的任一所述聚焦像素点第二角度像素点，根据所述第一角度像素点和所述第二角度像素点得到像素平均值和像素方差，并计算所述像素方差的最小指数；
S44、根据所述最小指数进行响应计算后得到最佳深度值，根据所述最佳深度值获取所述最终图像。
通过对像素点进行重聚焦处理，排出了图像中存在的重复纹理和噪声干扰，得到了图像的最佳深度值，从而提高了深度图像处理的准确性。
其中，针对每个像素点，使用光场数据的思维来进行剪切，以此来完成进行重聚焦的过程，最后重新聚焦到不同的深度，光场信息公式为：
Figure BDA0003319048190000081
在上述公式中，L是表示光场输入，α是表示重聚焦后新的深度与旧的深度的数值比值，Lα是重新聚焦形成的光场图像，(x,y)代表的是空间坐标，(u,v)代表的是角度坐标，中心视点的位置是(u,v)＝(0,0)。根据每个深度的一个角度像素块可以平均赋值一个重新聚焦的像素值，从而得到多个聚焦像素值。
其中，当像素发生被遮挡的现象时，图像的颜色一致性不存在，此时处理的是被分隔开的像素点，此时至少有一半的角度像素块来自被遮挡的平面，通过设置好的中央像素的边缘，将像素点分成两个区域。其中一个区域是聚焦在正确的深度，在这个区域中，可以显示出图像的颜色一致性。另外一个区域是包含有遮挡场景像素块的区域，在这个区域会出现聚焦失败的情况，聚焦在了不适当的深度值，因此，替换为方差最小的区域用来计算对应关系。
其中，在这两个区域中分别取两个角度像素点(u1，v1)，(u2，v2)，首先用以下两个公式来计算这两个区域中像素点平均值和方差如公式和公式：
平均值公式：
Figure BDA0003319048190000091
方差公式：
Figure BDA0003319048190000092
其中Nj是j区域中的像素个数。使得条件
Figure BDA0003319048190000093
此时i是方差较小的区域的指数。然后进行用公式计算方差最小指数的对应响应计算：
响应公式：Cα(x,y)＝Vα,i(x,y)；
脱焦响应公式：
Figure BDA0003319048190000094
在进行对应的响应计算后，最后确定最佳的深度为如下公式：
Figure BDA0003319048190000095
例如，如图5所示，图5为进行基于重聚焦的深度估计的实验结果图。
较优地，在上述技术方案中，还包括：所述预设条件具体包括：
所述聚焦像素点满足约束公式，其中，所述约束公式为：
Figure BDA0003319048190000096
p1，p2是所述遮挡像素点两侧的两个像素点的值，δ是用于提高鲁棒性的低阈值。
当重新聚焦到一个违反了约束公式的深度时，则认为该深度是无效的，并在深度估计的过程中自动排除，解决了当被遮挡平面没有纹理时出现聚焦不正确的现象。
其中，在对角度像素点所对应的区域进行划分的过程中，当发生重聚焦聚焦到一个不正确的深度的情况时，会出现得到反向的像素块的情况，如图4所示，如果被遮挡的平面是没有纹理的平面的话，聚焦到的这个深度也可能出现可以根据上述的方法算出一个非常小的方差响应的情况，即使它聚焦的情况明显是不正确的。为了解决这个问题，提出了一个颜色一致性约束来解决，用数学公式表示为：
Figure BDA0003319048190000101
p1，p2是所述遮挡像素点两侧的两个像素点的值，像素点之间的关系如图6，δ是一个可以提高鲁棒性的低阈值，如果重新聚焦到一个违反了这个约束的深度，则认为该深度是无效的，并在深度估计的过程中自动的排除这个可能。
较优地，在上述技术方案中，还包括：
采用高斯滤波器对所述深度图像进行去噪，得到所述深度图像的像素灰度值；
根据所述深度图像中的两个方向不同的所述像素灰度值得到所述深度图像的像素梯度值；
根据所述深度图像的像素梯度值对所述深度图像进行滞后阈值化处理，得到所述遮挡边缘像素点。
通过获取对待处理图像进行预处理，得到遮挡边缘像素点，便于后续对图像进行深度处理，提高了重聚焦的准确度。
其中，对图像边缘的提取主要采用canny边缘检测法，分为以下步骤：
先经过高斯滤波器对深度图像进行去噪，得到深度图像的像素梯度值。
在边缘检测的基础上使用非极大值抑制来辅助梯度的计算，根据深度图像中的两个方向不同的像素灰度值得到深度图像的像素梯度值。
在检测到的边缘上进行滞后阈值化处理，滞后阈值需要两个阈值，高阈值和低阈值，那么如果某一个像素位置的幅值超过了高阈值，那么该像素就作为边缘像素点而被保留下来，如果某一个像素位置的幅值小于低的阈值，那么这个像素点将被作为不满足条件的像素点被排除掉，如果像素点的幅值是介于二者之间的，那么这个像素点只有在和高于高阈值的像素时被保留下来。
用高低阈值处理来分析所有的边缘以及边缘与边缘之间的连接，使用设置高低阈值来检测边缘，以保留我们所需要检测到的高于高阈值的像素点的位置作为实验所需要的真正的边缘，并消除像素位置的幅值在处于高阈值和低阈值之间的不明显边缘，最终得到遮挡边缘像素点。
较优地，在上述技术方案中，所述遮挡模型包括：相机平面、遮挡物和成像平面。
通过遮挡模型成像平面并结合已知像素点以便于得到位置像素点的位置信息。
其中，在基于物理图像的形成原理上建立了一个遮挡模型，在应用此遮挡模型时，将获取到的整个深度图像的图像带入到这个遮挡模型中。如图7，模型由相机平面，遮挡物和一个成像平面组成。在建立的模型中，被遮挡物遮挡的光线在成像平面就没有形成相应的像素点，而没有被遮住的光线在成像平面就有形成相应的成像点，通过像素点之间的布局，可以通过已知的未遮挡像素点的位置信息来推测出未知的遮挡像素点的位置信息。在这个模型中，其中x-y平面表示在一个空间中，所有的光线所具有的不同方向的位置所整合起来的合集，结果是平面所记录到的遮挡物的形状，u-v平面表示的是中心视觉经过投影，投影在二维平面的最后结果。
通过遮挡模型的特征，我们假设原点O(0,0,0)以此作为相机平面的中心视角，在同一个平面中，有一个像素点S＝(u,v,0)，还有一个被遮挡的视角为S1＝(x0,y0,f)，根据模型，我们可以推得有一个S2＝(x0+1,y0+λ,f)，未被遮挡的光线形成了一个平面P(x,y,z)，根据向量与斜边所在平面的公式法则，如公式：P(x,y,z)≡λf(x-x0)-f(y-y0)+(y0-x0λ)＝0。由这个公式可以知道遮挡物平面和相机平面还有p平面三者有一条共同的交线，通过公式可以知道这条交线的斜率为，相机平面的交线上半平面是完全没有被遮挡的平面，而对于相机平面下方被遮挡的部分，根据公式：
P(S+(S1-S)t)≤0 t∈[0,1]
可以找出满足SS1上所有没有遮挡的情况的点。
当t＝1时，P(S)≡λfu-fv≤0，此时当P(S)＝0即λfu-fv＝0，v＝λu，此时相机平面的临界遮挡点，同时满足v≥λu就是没有发生遮挡情况的区域。根据遮挡模型，可以知道遮挡临界点处的斜率也是λ。根据以上的原理可以找出遮挡区域和未被遮挡区域中的各自像素点的情况。在找出了遮挡和未被遮挡的区域之后，可以根据遮挡区域周围的未被遮挡的区域里的已知像素点的信息，通过该模型来进行对被遮挡区域里的像素点的估计，如模型所示在已知未被遮挡光线的情况在平面上的点分别为S2,S3,S4,S5，那么被遮挡的点(即点s0)的信息则为公式
Figure BDA0003319048190000121
以此类推，若遮挡信息点的周围由n个一直像素点的信息，则所求点的信息为公式：
Figure BDA0003319048190000122
如图8所示，本发明实施例的一种深度图像处理系统200，其特征在于，包括：获取模块210、预处理模块220、第一处理模块230、第二处理模块240；
所述获取模块210用于：获取待处理图像的深度图像，根据所述深度图像的颜色是否一致得到所述深度图像的遮挡区域和未遮挡区域；
所述预处理模块220用于：在所述遮挡区域上提取多个遮挡边缘像素点，并根据多个所述遮挡边缘像素点得到遮挡区域的边界；
所述第一处理模块230用于：根据预设遮挡模型和所述未遮挡区域的未遮挡像素点得到所述遮挡区域的遮挡像素点；
所述第二处理模块240用于：对所述未遮挡区域的未遮挡像素点和所述遮挡区域的遮挡像素点进行重聚焦处理，得到重聚焦图像，根据所述重聚焦图像得到最终图像。
本实施例通过获取待处理图像的深度图像，根据深度图像的颜色是否一致得到深度图像的遮挡区域和未遮挡区域，在遮挡区域上提取多个遮挡边缘像素点，并根据多个遮挡边缘像素点得到遮挡区域的边界，根据预设遮挡模型和未遮挡区域的未遮挡像素点得到遮挡区域的遮挡像素点，对未遮挡区域的未遮挡像素点和遮挡区域的遮挡像素点进行重聚焦处理，得到重聚焦图像，根据重聚焦图像得到最终图像，因此，本发明的深度图像处理系统解决了图像深度值缺失以及深度值估计不准确的问题，通过重聚焦的方法实现了图像的重新聚焦和切割结合，提高了深度图像处理的准确性。
较优地，在上述技术方案中，所述第二处理模块240具体用于：
利用光场信息公式对所述未遮挡区域的未遮挡像素点和所述遮挡区域的遮挡像素点进行重聚焦，得到多个聚焦像素点，并根据多个所述聚焦像素点得到所述重聚焦图像；
当所述重聚焦图像中存在被遮挡的所述聚焦像素点时，根据颜色一致性将所述重聚焦图像划分为第一聚焦区域和第二聚焦区域；
在所述第一聚焦区域中选取符合预设条件的任一所述聚焦像素点作为第一角度像素点，在所述第二聚焦区域中选取符合预设条件的任一所述聚焦像素点第二角度像素点，根据所述第一角度像素点和所述第二角度像素点得到像素平均值和像素方差，并计算所述像素方差的最小指数；
根据所述最小指数进行响应计算后得到最佳深度值，根据所述最佳深度值获取所述最终图像。
较优地，在上述技术方案中，所述预设条件具体包括：所述聚焦像素点满足约束公式，其中，所述约束公式为：
Figure BDA0003319048190000131
p1，p2是所述遮挡像素点两侧的两个像素点的值，δ是用于提高鲁棒性的低阈值。
较优地，在上述技术方案中，所述在所述遮挡区域上提取多个遮挡边缘像素点，具体包括：
采用高斯滤波器对所述深度图像进行去噪，得到所述深度图像的像素灰度值；
根据所述深度图像中的两个方向不同的所述像素灰度值得到所述深度图像的像素梯度值；
根据所述深度图像的像素梯度值对所述深度图像进行滞后阈值化处理，得到所述遮挡边缘像素点。
上述关于本发明的一种深度图像处理系统200中的各参数和各个模块实现相应功能的步骤，可参考上文中关于一种深度图像处理方法的实施例中的各参数和步骤，在此不做赘述。
本发明实施例提供的一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时，使所述计算机执行如上述任一项所述的一种深度图像处理方法的步骤，具体可参考上文中一种深度图像处理方法的实施例中的各参数和步骤，在此不做赘述。
所属技术领域的技术人员知道，本发明可以实现为方法、系统和电子设备。
因此，本发明可以具体实现为以下形式，即：可以是完全的硬件、也可以是完全的软件(包括固件、驻留软件、微代码等)，还可以是硬件和软件结合的形式，本文一般称为“电路”、“模块”或“系统”。此外，在一些实施例中，本发明还可以实现为在一个或多个计算机可读介质中的计算机程序产品的形式，该计算机可读介质中包含计算机可读的程序代码。可以采用一个或多个计算机可读的介质的任意组合。计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质。计算机可读存储介质例如可以是但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子(非穷举的列表)包括：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机存取存储器(RAM)，只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本文件中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。尽管上面已经示出和描述了本发明的实施例，可以理解的是，上述实施例是示例性的，不能理解为对本发明的限制，本领域的普通技术人员在本发明的范围内可以对上述实施例进行变化、修改、替换和变型。

Claims (10)

1.一种深度图像处理方法，其特征在于，包括：
S1、获取待处理图像的深度图像，根据所述深度图像的颜色是否一致得到所述深度图像的遮挡区域和未遮挡区域；
S2、在所述遮挡区域上提取多个遮挡边缘像素点，并根据多个所述遮挡边缘像素点得到遮挡区域的边界；
S3、根据预设遮挡模型和所述未遮挡区域的未遮挡像素点得到所述遮挡区域的遮挡像素点；
S4、对所述未遮挡区域的未遮挡像素点和所述遮挡区域的遮挡像素点进行重聚焦处理，得到重聚焦图像，根据所述重聚焦图像得到最终图像。
2.根据权利要求1所述的一种深度图像处理方法，其特征在于，所述S4具体包括：
S41、利用光场信息公式对所述未遮挡区域的未遮挡像素点和所述遮挡区域的遮挡像素点进行重聚焦，得到多个聚焦像素点，并根据多个所述聚焦像素点得到所述重聚焦图像；
S42、当所述重聚焦图像中存在被遮挡的所述聚焦像素点时，根据颜色一致性将所述重聚焦图像划分为第一聚焦区域和第二聚焦区域；
S43、在所述第一聚焦区域中选取符合预设条件的任一所述聚焦像素点作为第一角度像素点，在所述第二聚焦区域中选取符合预设条件的任一所述聚焦像素点第二角度像素点，根据所述第一角度像素点和所述第二角度像素点得到像素平均值和像素方差，并计算所述像素方差的最小指数；
S44、根据所述最小指数进行响应计算后得到最佳深度值，根据所述最佳深度值获取所述最终图像。
3.根据权利要求2所述的一种深度图像处理方法，其特征在于，所述预设条件具体包括：
所述聚焦像素点满足约束公式，其中，所述约束公式为：
Figure FDA0003319048180000021
p1，p2是所述遮挡像素点两侧的两个像素点的值，δ是用于提高鲁棒性的低阈值。
4.根据权利要求3所述的一种深度图像处理方法，其特征在于，所述在所述遮挡区域上提取多个遮挡边缘像素点，具体包括：
采用高斯滤波器对所述深度图像进行去噪，得到所述深度图像的像素灰度值；
根据所述深度图像中的两个方向不同的所述像素灰度值得到所述深度图像的像素梯度值；
根据所述深度图像的像素梯度值对所述深度图像进行滞后阈值化处理，得到所述遮挡边缘像素点。
5.根据权利要求1至4任一项所述的一种深度图像处理方法，其特征在于，所述遮挡模型包括：相机平面、遮挡物和成像平面。
6.一种深度图像处理系统，其特征在于，包括：获取模块、预处理模块、第一处理模块、第二处理模块；
所述获取模块用于：获取待处理图像的深度图像，根据所述深度图像的颜色是否一致得到所述深度图像的遮挡区域和未遮挡区域；
所述预处理模块用于：在所述遮挡区域上提取多个遮挡边缘像素点，并根据多个所述遮挡边缘像素点得到遮挡区域的边界；
所述第一处理模块用于：根据预设遮挡模型和所述未遮挡区域的未遮挡像素点得到所述遮挡区域的遮挡像素点；
所述第二处理模块用于：对所述未遮挡区域的未遮挡像素点和所述遮挡区域的遮挡像素点进行重聚焦处理，得到重聚焦图像，根据所述重聚焦图像得到最终图像。
7.根据权利要求6所述的一种深度图像处理系统，其特征在于，所述第二处理模块具体用于：
利用光场信息公式对所述未遮挡区域的未遮挡像素点和所述遮挡区域的遮挡像素点进行重聚焦，得到多个聚焦像素点，并根据多个所述聚焦像素点得到所述重聚焦图像；
当所述重聚焦图像中存在被遮挡的所述聚焦像素点时，根据颜色一致性将所述重聚焦图像划分为第一聚焦区域和第二聚焦区域；
在所述第一聚焦区域中选取符合预设条件的任一所述聚焦像素点作为第一角度像素点，在所述第二聚焦区域中选取符合预设条件的任一所述聚焦像素点第二角度像素点，根据所述第一角度像素点和所述第二角度像素点得到像素平均值和像素方差，并计算所述像素方差的最小指数；
根据所述最小指数进行响应计算后得到最佳深度值，根据所述最佳深度值获取所述最终图像。
8.根据权利要求7所述的一种深度图像处理系统，所述预设条件具体包括：所述聚焦像素点满足约束公式，其中，所述约束公式为：
Figure FDA0003319048180000031
p1，p2是所述遮挡像素点两侧的两个像素点的值，δ是用于提高鲁棒性的低阈值。
9.根据权利要求8所述的一种深度图像处理系统，其特征在于，所述在所述遮挡区域上提取多个遮挡边缘像素点，具体包括：
采用高斯滤波器对所述深度图像进行去噪，得到所述深度图像的像素灰度值；
根据所述深度图像中的两个方向不同的所述像素灰度值得到所述深度图像的像素梯度值；
根据所述深度图像的像素梯度值对所述深度图像进行滞后阈值化处理，得到所述遮挡边缘像素点。
10.一种计算机电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时，使所述计算机执行如权利要求1至5中任一项所述的一种深度图像处理方法。
CN202111239909.9A 2021-10-25 2021-10-25 一种深度图像处理方法、系统和电子设备 Pending CN113989345A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111239909.9A CN113989345A (zh) 2021-10-25 2021-10-25 一种深度图像处理方法、系统和电子设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111239909.9A CN113989345A (zh) 2021-10-25 2021-10-25 一种深度图像处理方法、系统和电子设备

Publications (1)

Publication Number Publication Date
CN113989345A true CN113989345A (zh) 2022-01-28

Family

ID=79740889

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111239909.9A Pending CN113989345A (zh) 2021-10-25 2021-10-25 一种深度图像处理方法、系统和电子设备

Country Status (1)

Country Link
CN (1) CN113989345A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114897952A (zh) * 2022-05-30 2022-08-12 中国测绘科学研究院 一种自适应遮挡的单张光场影像准确深度估计方法及系统

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114897952A (zh) * 2022-05-30 2022-08-12 中国测绘科学研究院 一种自适应遮挡的单张光场影像准确深度估计方法及系统
CN114897952B (zh) * 2022-05-30 2023-04-04 中国测绘科学研究院 一种自适应遮挡的单张光场影像准确深度估计方法及系统

Similar Documents

Publication Publication Date Title
CN105404888B (zh) 结合颜色和深度信息的显著性目标检测方法
CN110310320B (zh) 一种双目视觉匹配代价聚合优化方法
US9762881B2 (en) Reducing disparity and depth ambiguity in three-dimensional (3D) images
CN105894574B (zh) 一种双目三维重建方法
Hong et al. A local stereo matching algorithm based on weighted guided image filtering for improving the generation of depth range images
RU2423018C2 (ru) Способ и система для преобразования стереоконтента
CN107316326B (zh) 应用于双目立体视觉的基于边的视差图计算方法和装置
CN109086724B (zh) 一种加速的人脸检测方法及存储介质
JP2011243194A (ja) 対応点探索のための画像処理方法
US10080007B2 (en) Hybrid tiling strategy for semi-global matching stereo hardware acceleration
CN107798704B (zh) 一种用于增强现实的实时图像叠加方法及装置
CN111340749B (zh) 图像质量的检测方法、装置、设备及存储介质
Lo et al. Joint trilateral filtering for depth map super-resolution
CN109961092B (zh) 一种基于视差锚点的双目视觉立体匹配方法及系统
CN113989345A (zh) 一种深度图像处理方法、系统和电子设备
Lee et al. Stereo image defogging
CN117934515A (zh) 一种生成包括道路分割信息的栅格地图方法及相关装置
Chen et al. Depth map generation based on depth from focus
Shabanian et al. A new hybrid stereo disparity estimation algorithm with guided image filtering-based cost aggregation
Xu et al. Hybrid plane fitting for depth estimation
Aboali et al. A Multistage Hybrid Median Filter Design of Stereo Matching Algorithms on Image Processing
CN111383185A (zh) 一种基于稠密视差图的孔洞填充方法及车载设备
Jorissen et al. Multi-view wide baseline depth estimation robust to sparse input sampling
CN112489204B (zh) 基于rgb图像的3d房间布局重建系统
Suetens et al. 3D reconstruction of the blood vessels of the brain from a stereoscopic pair of subtraction angiograms

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination