CN110097507A - 深度图优化系统和优化方法 - Google Patents
深度图优化系统和优化方法 Download PDFInfo
- Publication number
- CN110097507A CN110097507A CN201810082852.8A CN201810082852A CN110097507A CN 110097507 A CN110097507 A CN 110097507A CN 201810082852 A CN201810082852 A CN 201810082852A CN 110097507 A CN110097507 A CN 110097507A
- Authority
- CN
- China
- Prior art keywords
- depth map
- edge
- region
- point
- depth
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000005457 optimization Methods 0.000 title claims abstract description 122
- 238000000034 method Methods 0.000 title claims abstract description 94
- 238000012545 processing Methods 0.000 claims abstract description 75
- 238000011946 reduction process Methods 0.000 claims description 50
- 238000001914 filtration Methods 0.000 claims description 22
- 230000009467 reduction Effects 0.000 claims description 16
- 238000005315 distribution function Methods 0.000 claims description 14
- 230000008569 process Effects 0.000 claims description 10
- 238000009499 grossing Methods 0.000 claims description 6
- 230000008859 change Effects 0.000 claims description 2
- 230000002146 bilateral effect Effects 0.000 description 5
- 238000010586 diagram Methods 0.000 description 4
- 230000008439 repair process Effects 0.000 description 4
- 238000005516 engineering process Methods 0.000 description 3
- 239000000463 material Substances 0.000 description 3
- 238000003672 processing method Methods 0.000 description 3
- 238000011161 development Methods 0.000 description 2
- 230000018109 developmental process Effects 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 238000005070 sampling Methods 0.000 description 2
- 238000012360 testing method Methods 0.000 description 2
- 201000004569 Blindness Diseases 0.000 description 1
- 230000002745 absorbent Effects 0.000 description 1
- 239000002250 absorbent Substances 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 235000013399 edible fruits Nutrition 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 230000017260 vegetative to reproductive phase transition of meristem Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/70—Denoising; Smoothing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/10—Image enhancement or restoration using non-spatial domain filtering
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/77—Retouching; Inpainting; Scratch removal
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20024—Filtering details
- G06T2207/20028—Bilateral filtering
Landscapes
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Image Processing (AREA)
Abstract
深度图优化系统和优化方法，其中所述深度优化系统包括：一对齐单元，所述对齐单元用于对齐对应的一深度图和一彩色图；一区域划分单元，所述区域划分单元基于对齐的深度图和彩色图对所述深度图进行区域划分；和一区域化处理单元，所述区域化处理单元对划分后的区域进行目标性处理，从而得到处理精度更好的深度图。
Description
技术领域
本发明涉及图像处理技术，更具体地，涉及深度图优化系统和优化方法。
背景技术
随着计算机视觉技术的发展以及kinect等传感器设备的不断完善，基于深度图的三维视觉技术得到了迅速的发展，相应地，三维视觉技术的后续发展也需要传感器设备的进一步的优化。
以结构光相机为例，结构光相机原理是深度图像获取的一种重要方法，结构光相机的原理是，将已知的红外模式投射到三维场景中，通过另外一个摄影装置来捕捉结构光的反射图案，在接受图案的过程中会因三维场景中物体的立体形状而发生形变，从而根据相应的形变程度和图像在摄像装置上的位置来计算物体表面的三维信息，并最终获得物体的深度信息。
基于结构光相机的工作原理，深度图常常存在噪声点和缺失点。造成这些问题的主要原因可能有多个方面的因素：一个是待测物体距离相机过近或过远，也就是拍摄距离不适宜；另一个是三维场景中的物体被前物遮挡；另一因素是由于待测物体的材质影响，如材质为吸光材料或光滑平面的物体。基于这样的问题，结构光相机在采集深度图像后需要进行处理优化。
深度图还可以通过双目相机以及TOF(Time Of Flight)相机来获取。结构光相机、双目相机以及TOF相机都可以获得深度图，但是基于各自原理，其获取的深度图都存在噪声点和缺失点。
目前深度图优化的方法大致可以分为两类：一类是利用深度图本身进行深度图优化。如中值滤波、双边滤波等。但是对于这类深度图处理方法存在一定的盲目性，也就是说没有考虑深度图像和彩色图像之间具有的高结构相关性，因此处理效果较差。
另一类处理方法是基于同一时刻采集的深度图像和彩色图像进行深度优化，如联合双边滤波等。但是在这类方法中，前提条件往往是要求深度图像和彩色图像是一一对应的。然而实际上深度图像和彩色图像是由两个不同的相机所拍摄的，其本身存在一定的视差，且由于硬件或算法问题不可避免地存在对齐误差，因此在这类方法中依然存在处理效果不佳的问题对齐。
发明内容
本发明的一个目的在于提供一深度图优化系统和优化方法，其结合彩色图信息处理深度图像，且对深度图和彩色图进行校正对齐，从而提高深度图像处理的准确性。
本发明的一个目的在于提供一深度图优化系统和优化方法，其对深度图和彩色图进行校正对齐，为深度图修复提供良好基础。
本发明的一个目的在于提供一基于结构光的深度图优化方法和优化方法，其对深度图进行区域划分，针对不同区域分别进行处理，从而使得处理结果更加优化。
本发明的一个目的在于提供一深度图优化系统和优化方法，其在最后处理中，消除孤立的噪声点，进一步优化处理结果。
本发明的一个目的在于提供一深度图优化系统和优化方法，其对深度图像和彩色图像前期分别进行降噪处理，得到新深度图像和彩色图像。
本发明的一个目的在于提供一深度图优化系统和优化方法，其在一些实施方式中，在优化的过程中，将深度图划分为非孔洞区和孔洞区，以便于针对图像中噪声点或缺失点分别优化处理。
本发明的一个目的在于提供一深度图优化系统和优化方法，其在一些实施方式中，在优化的过程中，将深度图划分为非孔洞区、孔洞非边缘区和孔洞边缘区，从而实现深度图的保边优化。
本发明的一个目的在于提供一深度图优化系统和优化方法，其对非孔洞区降噪处理，以优化所述非孔洞区。
本发明的一个目的在于提供一深度图优化系统和优化方法，其在一些实施例中，采用联合三边滤波器进行降噪处理对所述非孔洞区进行降噪处理。
本发明的一个目的在于提供一深度图优化系统和优化方法，其对孔洞非边缘区和孔洞边缘区进行插值处理，以修复所述孔洞非边缘区和所述孔洞边缘区。
本发明的一个目的在于提供一深度图优化系统和优化方法，在一些实施例中，采用联合双边滤波器对孔洞边缘区和孔洞非边缘区分情况下插值，以修复所述孔洞非边缘区和所述孔洞边缘区。
本发明的一个目的在于提供一深度图优化系统和优化方法，其利用彩色图边缘信息来引导深度图边缘的修复，从而确保深度图边缘的精准性。
为了实现以上至少一发明目的，本发明的一方面提供一深度图优化系统，包括：
一对齐单元，所述对齐单元用于对齐对应的一深度图和一彩色图；
一区域划分单元，所述区域划分单元基于对齐的深度图和彩色图对所述深度图进行区域划分；和
一区域化处理单元，所述区域化处理单元对划分后的区域进行目标性处理。
在一些实施中，所述区域划分单元将所述深度图划分为一孔洞区域和一非孔洞区域。
在一些实施中，所述区域划分单元划分区域的过程是：首先对深度图D、彩色图I进行初始降噪处理，得到新深度图Ds、新彩色图Is；进一步，分别提取深度图Ds与彩色图Is的边缘ED、EI，并整合得到最终深度图边缘进一步，根据深度图边缘以及深度图D本身，划分新深度图Ds区域为所述孔洞区域和所述非孔洞区域。
在一些实施中，所述区域划分单元将所述深度图划分为一非孔洞区、一孔洞边缘区域和一孔洞非边缘区域。
在一些实施中，所述区域划分单元划分区域的过程是：首先对深度图D、彩色图I进行初始降噪处理，得到新深度图Ds、新彩色图Is；进一步，分别提取深度图Ds与彩色图Is的边缘ED、EI，并整合得到最终深度图边缘进一步，根据深度图边缘以及深度图D本身，划分新深度图Ds区域为所述孔洞区域、所述孔洞边缘区域和所述孔洞非边缘区域。
在一些实施中，所述区域化处理单元包括一降噪处理模块，所述降噪处理模块对所述非孔洞区域进行降噪处理。
在一些实施中，所述降噪处理模块采用局部滤波降噪方法、非局部均值降噪方法以及基于联合滤波器的降噪方法中的一种进行降噪处理，优选地通过联合双边滤波器和联合三边滤波器中的一种进行降噪处理。
在一些实施中，所述区域化处理单元采用联合三边滤波器对非孔洞区进行降噪处理，对于区域Dnh中一点p＝(px,py)，Np是点p的可信赖领域点集(非孔洞，即深度值有效)，则有
这里，权重分布函数其中
σs、σr是对应项的权重系数，I{R,G,B}是对应通道的像素值，Dnh(q)是点q对应的深度值。
在一些实施中，所述区域化处理单元包括一插值处理模块，所述插值处理模块对所述孔洞区进行插值处理。
在一些实施中，所述区域化处理单元包括一插值处理模块，所述插值处理模块对所述孔洞非边缘区域和所述孔洞边缘区域进行插值处理。
在一些实施中，所述插值处理模块采用边缘定向插值方法或非边缘定向插值方法，优选地，采用联合双边滤波器、联合三边滤波器中的一种进行插值。
在一些实施中，所述区域化处理单元采用联合双边滤波器对孔洞区进行插值，对于区域Dh中一点p＝(px,py)，Np是点p的可信赖领域点集(非孔洞，即深度值有效)，则有：
这里，权重分布函数其中
σs、σr是对应项的权重系数，I{R,G,B}是对应通道的像素值，Dh(q)是点q对应的深度值。
在一些实施中，所述区域化处理单元采用联合双边滤波器对孔洞非边缘区域和孔洞边缘区域区进行插值，对于区域Dh中一点p＝(px,py)，Np是点p的可信赖领域点集，孔洞边缘区域且需确保Np与点p同处于边缘一侧，即Np与点p不会跨越边缘，则有：
这里，权重分布函数其中
σs、σr是对应项的权重系数，I{R,G,B}是对应通道的像素值，Dh(q)是点q对应的深度值。
在一些实施中，所述区域化处理单元包括一降噪处理模块，所述降噪处理模块对所述非孔洞区域进行降噪处理。
在一些实施中，所述对齐单元采用张友正标定法校正对齐所述深度图和所述彩色图。
在一些实施中，所述深度图优化系统包括一优化单元，所述优化单元消除深度图中的孤立噪声点。
在一些实施中，所述优化单元对所述深度图进行非线性平滑处理。
在一些实施中，所述优化单元采用中值滤波消除所述深度图中的孤立噪声点。
本发明的另一方面提供一深度图优化方法，其包括步骤：
(A)校正对齐一深度图和一彩色图；
(B)划分所述深度图区域；和
(C)对划分区域进行目标性处理。
在一些实施中，所述步骤(B)中，将所述深度图划分为一孔洞区域和一非孔洞区域。
在一些实施中，划分区域的过程是：首先对深度图D、彩色图I进行初始降噪处理，得到新深度图Ds、新彩色图Is；进一步，分别提取深度图Ds与彩色图Is的边缘ED、EI，并整合得到最终深度图边缘进一步，根据深度图边缘以及深度图D本身，划分新深度图Ds区域为所述孔洞区域和所述非孔洞区域。
在一些实施中，所述步骤(B)中，将所述深度图划分为一非孔洞区、一孔洞边缘区域和一孔洞非边缘区域。
在一些实施中，划分区域的过程是：首先对深度图D、彩色图I进行初始降噪处理，得到新深度图Ds、新彩色图Is；进一步，分别提取深度图Ds与彩色图Is的边缘ED、EI，并整合得到最终深度图边缘进一步，根据深度图边缘以及深度图D本身，划分新深度图Ds区域为所述孔洞区域、所述孔洞边缘区域和所述孔洞非边缘区域。
在一些实施中，所述步骤(C)中包括步骤：对非孔洞区域降噪处理。
在一些实施中，通过局部滤波降噪方法、非局部均值降噪方法以及基于联合滤波器的降噪方法中的一种进行降噪，优选地通过联合双边滤波器和联合三边滤波器中的一种进行降噪处理。
在一些实施中，采用联合三边滤波器对非孔洞区进行降噪处理，对于区域Dnh中一点p＝(px,py)，Np是点p的可信赖领域点集(非孔洞，即深度值有效)，则有
这里，权重分布函数其中
σs、σr是对应项的权重系数，I{R,G,B}是对应通道的像素值，Dnh(q)是点q对应的深度值。
在一些实施中，所述步骤(C)中包括步骤：对孔洞非边缘区域和孔洞边缘区域进行插值。
在一些实施中，所述步骤(C)中采用边缘定向插值方法或非边缘定向插值方法进行插值，优选地采用联合双边滤波器、联合三边滤波器中的一种进行插值插值。
在一些实施中，所述步骤(C)种采用联合双边滤波器对孔洞区进行插值，对于区域Dh中一点p＝(px,py)，Np是点p的可信赖领域点集(非孔洞，即深度值有效)，则有：
这里，权重分布函数其中
σs、σr是对应项的权重系数，I{R,G,B}是对应通道的像素值，Dh(q)是点q对应的深度值。
在一些实施中，所述深度优化方法包括步骤(D)：消除孤立噪声点。
在一些实施中，所述步骤(D)中对所述深度图进行非线性平滑处理。
在一些实施中，所述步骤(D)中采用中值滤波消除所述深度图中的孤立噪声点。
在一些实施中，所述步骤(A)中采用张友正标定法校正对齐所述深度图和所述彩色图。
附图说明
图1是根据本发明的一个实施例的深度图优化系统框图示意图。
图2是根据本发明的上述实施例的深度图优化系统工作关系框图。
图3是根据本发明的上述实施例的深度图优化系统流程图。
图4是根据本发明的上述实施例的深度图优化方法框图。
图5是根据本发明的上述实施例的深度图优化方法部分步骤图。
图6是根据本发明的上述实施例的深度图优化方法另一部分步骤图。
具体实施方式
以下描述用于揭露本发明以使本领域技术人员能够实现本发明。以下描述中的优选实施例只作为举例，本领域技术人员可以想到其他显而易见的变型。在以下描述中界定的本发明的基本原理可以应用于其他实施方案、变形方案、改进方案、等同方案以及没有背离本发明的精神和范围的其他技术方案。
本领域技术人员应理解的是，在本发明的揭露中，术语“纵向”、“横向”、“上”、“下”、“前”、“后”、“左”、“右”、“竖直”、“水平”、“顶”、“底”、“内”、“外”等指示的方位或位置关系是基于附图所示的方位或位置关系，其仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此上述术语不能理解为对本发明的限制。
可以理解的是，术语“一”应理解为“至少一”或“一个或多个”，即在一个实施例中，一个元件的数量可以为一个，而在另外的实施例中，该元件的数量可以为多个，术语“一”不能理解为对数量的限制。
RGBD图中不仅带有彩色图像信息，还带有深度图信息，RGBD深度图在机器视觉、三维重建等领域得到迅速的发展。举例地，通过双目相机、结构光相机以及TOF相机都可以获取RGBD图。但是基于不同的相机原理，获取的深度图都存在噪声点和缺失点，图像质量有待优化。根据本发明，结合彩色图对深度进行优化处理，降低深度图的噪声点，并且修复缺失点，优化深度图的图像质量。举例地，对相应的一深度图和一彩色图进行校正对齐，藉由所述彩色图为所述深度图提供参考，避免仅利用深度图本身进行优化，便于后续优化的准确性。进一步，在一些实施例的优化过程中，将深度图划分为非孔洞区域、孔洞非边缘区域、孔洞边缘区域，实现了深度图的保边优化；进一步，采用联合三边滤波器(JTF)对非孔洞区域进行滤波处理，消除了深度图非孔洞区域的噪声影响；进一步，在一些实施例中，采用联合双边滤波器(JBF)对孔洞非边缘区域进行插值，实现了深度图孔洞非边缘区域的修复填充；在一些实施例中，采用联合双边滤波器(JBF)对孔洞边缘区域进行插值，考虑到边缘对齐误差，利用彩色图边缘信息来引导深度图边缘的修复，确保了深度图边缘的精准性。
参照图1至图3，根据本发明第一个实施例的深度图优化系统100。所述深度图优化系统100用于优化深度图。具体地，所述优化系统用于优化RGBD中的深度图D。举例地，所述深度图优化系统100优化系统用于优化双目相机、TOF相机以及结构光相机等深度相机采集的深度图。
优选地，所述深度图优化系统100用于优化结构光相机的深度图D。可以理解的是，所述深度图的采集设备并不是本发明限制。
所述深度图优化系统100包括一图像获取单元10，所述图像获取单元10用于获取待优化的图像信息。比如彩色深度图，即RGBD图，所述彩色深度图包括深度图D信息和彩色图I信息，所述深度图优化系统100对所述深度图D进行优化。
比如，深度相机采集的RGBD图像传送至所述深度图像优化系统，以便于通过所述深度图优化系统100对所述深度图进行优化。具体地，所述深度相机将RGBD图传送至所述深度图优化系统100的所述图像获取单元10。
所述深度图优化系统100包括一对齐单元20，所述对齐单元20用于对采集得到的深度图D和对应彩色图I进行校正对齐。举例地，所述对齐单元20可以采用张正友标定法进行对齐。当然，也可以采用其他方法进行标定。
值得一提的是，实际情况下结构光相机采集到的深度图D与彩色图I存在着一定的视差，需要预先进行校正对齐，以保证最大程度上的对齐，便于后续的深度图优化，因此通过所述对齐单元20对采集得到的深度图D和对应的彩色图I进行校正对齐，从而减少存在的视差，同时避免传统优化方法中仅根据深度图自身优化的缺陷。
也就是说，在本发明中，以所述彩色图I为参考，对所述深度图D进行校准，从而提供相对准确的校正依据。
所述深度图优化系统100包括一区域划分单元30，所述区域划分单元30用于对所述深度图进行区域划分，以便于进行目标性的图像优化。
在本发明的这个实施例中，所述区域划分单元30将所述深度图划分为一非孔洞区域，一孔洞非边缘区域、一孔洞边缘区域，以便于后续对不同的区域分别进行目标性的处理。
更进一步，所述区域划分单元30对所述深度图和所述彩色图进行降噪处理，并且提取边缘区，结合边缘信息以及降噪后的深度图进行区域划分。
举例地，在本发明的这个实施例中，所述区域划分单元30的区域划分流程可以为：
首先，对深度图D、彩色图I进行初始降噪处理，得到新深度图Ds、新彩色图Is，从而提供更好的处理基础。
进一步，为避免边缘对齐误差造成的影响并优化深度图边缘，分别提取深度图Ds与彩色图Is的边缘ED、EI，并整合得到最终深度图边缘
进一步，根据深度图边缘以及深度图D本身，划分新深度图Ds区域为所述非孔洞区域、所述孔洞非边缘区域和所述孔洞边缘区域。
值得一提的是，在本发明中，考虑到实际情况下彩色图与深度图的边缘对齐误差问题，将深度图划分为非孔洞区域、孔洞非边缘区域、孔洞边缘区域，实现了深度图的保边优化。由于相机硬件等因素，深度图与彩色图之间存在边缘对齐误差，为避免不精准的边缘，本发明提出利用彩色图边缘信息来引导深度图边缘的重构，以确保深度图边缘的精准性。
在本发明的另一实施例中，所述区域划分单元30可以直接对所述深度图进行区域划分，将所述深度图划分为所述非孔洞区域、所述孔洞非边缘区域和所述孔洞边缘区域。也就是说，所述区域划分单元30可以不进行降噪处理以及边缘提取。
在本发明的另一实施例中，所述区域划分单元30将所述深度图划分为一非孔洞区和一孔洞区。也就是说，在对深度图进行降噪处理以及提取边缘信息后，将所述深度图划分为所述非孔洞区和所述孔洞区。
所述深度图优化系统100包括一区域化处理单元40，所述区域化处理单元40用于对所述深度图的不同区域进行目标性处理。也就是说，所述区域化处理单元40针对所述深度图中的不同区域分别进行处理，提高优化处理的准确性。
所述区域化处理单元40包括一降噪处理模块41，所述降噪处理模块41对目标处理区域进行降噪处理。举例地，所述降噪处理模块41可以采用局部滤波降噪、非局部均值降噪(non-local means)或基于联合滤波器的降噪方法进行降噪。局部降噪方法如线性滤波(均值滤波等)、非线性滤波(中值滤波等)，基于联合滤波器的降噪方法如联合双边滤波器(Joint Bilateral Filtering,JBF)和联合三边滤波器(Joint Trilateral Filtering，JTF)进行降噪处理。
在本发明这个实施例中，所述降噪处理模块41对所述对于非孔洞区域Dnh，采用联合三边滤波器JTF进行降噪处理，对于区域Dnh中一点p＝(px,py)，Np是点p的可信赖领域点集(非孔洞，即深度值有效)，则有
这里，权重分布函数其中
σs、σr是对应项的权重系数，I{R,G,B}是对应通道的像素值，Dnh(q)是点q对应的深度值。
值得一提的是，由于设备本身的原因以及周围环境的影响，采集得到的深度图常常存在噪声点，且联合三边滤波器(JTF)比联合双边滤波器(JBF)更适合于深度图去噪处理，本发明提出采用联合三边滤波器(JTF)对非孔洞区域进行滤波处理，消除了非孔洞区域的噪声，处理精度更高。
所述区域划分单元30包括一插值处理模块42，所述插值处理模块42用于对目标处理区域进行插值处理。举例地，所述插值处理模块42采用边缘定向插值方法或非边缘定向插值方法进行插值，边缘定向插值如基于联合双边滤波器(Joint Bilateral Filtering,JBF)和联合三边滤波器(Joint Trilateral Filtering，JTF)，非边缘定向插值方法如最邻近插值、双线性插值、双三次插值等进行插值。
在本发明的这个实施例中，所述插值处理模块42采用联合双边滤波器JBF对孔洞区域Dh分情况进行插值，对于区域Dh中一点p＝(px,py)，Np是点p的可信赖领域点集(非孔洞，即深度值有效，特别地，对于孔洞边缘区域，还需确保Np与点p同处于边缘一侧，即Np与点p不会跨越边缘)，则有：
这里，权重分布函数其中
σs、σr是对应项的权重系数，I{R,G,B}是对应通道的像素值，Dh(q)是点q对应的深度值。
值得一提的是，由于遮挡问题、拍摄距离以及物体本身材质等因素的影响，采集得到的深度图往往存在孔洞，本发明提出利用联合双边滤波器JBF进行孔洞填补，实现了深度图孔洞修复。且采用联合双边滤波器JBF对孔洞边缘区域进行插值，考虑到边缘对齐误差，利用彩色图边缘信息来引导深度图边缘的修复，确保了深度图边缘的精准性。
进一步，所述深度图优化系统100包括一优化单元50，所述优化单元50对处理后的所述深度图消除孤立的噪声点，进一步优化深度图。也就是说，在经过前述的多重滤波处理后，对所述深度图进行孤立点噪声处理。举例地，所述优化单元50对所述深度图进行非线性平滑处理，消除孤立的噪声点，比如通过中值滤波的方式。
在应用的过程中，所述深度图优化系统100可以被设置于采集深度图像的设备，比如结构光相机、TOF相机或者双目相机，也可以被设置于单独的校正设备，将深度相机采集的图像传送至所述校正设备，从而通过所述校正设备对深度图。
参照图3和图4，根据本发明的上述实施例，本发明提供一深度图优化方法1000，所述方法包括如下步骤：
1001：校正对齐一深度图和一彩色图；
1002：划分所述深度图区域；和
1003：对划分区域进行目标性处理；
所述步骤1001中，可以通过一深度相机采集对应的彩色图，进而借助所述彩色图对所述深度图进行处理。举例地但不限于，通过一结构光相机采集待优化的深度图对应的彩色图。
值得一提的是，所述对齐是使得深度图和彩色图的特征点对应，两个图像的误差在预定范围内，并不限于严格对齐。
所述步骤1002中，通过不同区域划分的方式对所述深度图进行预处理，以便于后续步骤中对不同类型的区域分别进行处理。比如，采用不同的处理方法对不同的区域进行处理。
在一些实施例中，所述步骤1002中可以将所述深度图划分为一孔洞区域和一非孔洞区域。
在一些实施例中，所述步骤1002中可以将所述深度图划分为一非孔洞区域、一孔洞非边缘区域和一孔洞边缘区域。
进一步地，参照图5，所述步骤1002中包括步骤：
10021：对深度图D、彩色图I进行初始降噪处理，得到新深度图Ds、新彩色图Is；
10022：分别提取深度图Ds与彩色图Is的边缘ED、EI，并整合得到最终深度图边缘
10023：根据深度图边缘以及深度图D本身，划分新深度图Ds区域为所述非孔洞区域、所述孔洞非边缘区域和所述孔洞边缘区域。
所述步骤10023也可以是10023a：根据深度图边缘以及深度图D本身，划分新深度图Ds区域为所述非孔洞区域和所述孔洞区域。
参照图6，所述步骤1003中包括步骤：
10031：对非孔洞区域降噪处理；和
10032：对孔洞非边缘区域和孔洞边缘区域进行插值。
所述步骤10031中，可以采用局部滤波降噪、非局部均值降噪(non-local means)或基于联合滤波器的降噪方法进行降噪。局部降噪方法如线性滤波、非线性滤波，基于联合滤波器的降噪方法如联合双边滤波器和联合三边滤波器(Joint Trilateral Filtering，JTF)进行降噪处理。
在一些实施例中，在所述步骤10031中，所述降噪模块对所述对于非孔洞区域Dnh，采用联合三边滤波器JTF进行降噪处理，对于区域Dnh中一点p＝(px,py)，Np是点p的可信赖领域点集(非孔洞，即深度值有效)，则有
这里，权重分布函数其中
σs、σr是对应项的权重系数，I{R,G,B}是对应通道的像素值，Dnh(q)是点q对应的深度值。
所述步骤10032中，可以采用边缘定向插值方法或非边缘定向插值方法进行插值，边缘定向插值如基于联合双边滤波器(Joint Bilateral Filtering,JBF)和联合三边滤波器，非边缘定向插值方法如最邻近插值、双线性插值、双三次插值等进行插值。
在本发明的一些实施例中，所述步骤10032中，采用联合双边滤波器JBF对孔洞区域Dh分情况进行插值，对于区域Dh中一点p＝(px,py)，Np是点p的可信赖领域点集(非孔洞，即深度值有效，特别地，对于孔洞边缘区域，还需确保Np与点p同处于边缘一侧，即Np与点p不会跨越边缘)，则有：
这里，权重分布函数其中
σs、σr是对应项的权重系数，I{R,G,B}是对应通道的像素值，Dh(q)是点q对应的深度值。
所述步骤10032还可以是10032a：对孔洞区域进行插值处理。也就是说，根据划分的不同区域进行处理。换句话说，当划分区域划分为所述非孔洞区域、所述孔洞边缘区域和所述孔洞边缘区域时，对所述孔洞边缘区和所述孔洞非边缘区分别进行插值处理；当划分区域划分为所述非孔洞区和所述孔洞区时，对所述孔洞区进行插值处理。
所述深度图优化方法进一步包括步骤1004：消除孤立噪声点。
在所述步骤1004中，对所述深度图进行非线性平滑处理，消除孤立的噪声点，比如通过中值滤波的方式。
由此，藉由上述深度图优化系统100和方法对所述深度图完成了最终的优化。
本领域的技术人员应理解，上述描述及附图中所示的本发明的实施例只作为举例而并不限制本发明。本发明的目的已经完整并有效地实现。本发明的功能及结构原理已在实施例中展示和说明，在没有背离所述原理下，本发明的实施方式可以有任何变形或修改。
Claims (33)
1.深度图优化系统，其特征在于，包括：
一对齐单元，所述对齐单元用于对齐对应的一深度图和一彩色图；
一区域划分单元，所述区域划分单元基于对齐的深度图和彩色图对所述深度图进行区域划分；和
一区域化处理单元，所述区域化处理单元对划分后的区域进行目标性处理。
2.根据权利要求1所述的深度图优化系统，其中所述区域划分单元将所述深度图划分为一孔洞区域和一非孔洞区域。
3.根据权利要求2所述的深度图优化系统，其中所述区域划分单元划分区域的过程是：首先对深度图D、彩色图I进行初始降噪处理，得到新深度图Ds、新彩色图Is；进一步，分别提取深度图Ds与彩色图Is的边缘ED、EI，并整合得到最终深度图边缘进一步，根据深度图边缘以及深度图D本身，划分新深度图Ds区域为所述孔洞区域和所述非孔洞区域。
4.根据权利要求1所述的深度图优化系统，其中所述区域划分单元将所述深度图划分为一非孔洞区域、一孔洞边缘区域和一孔洞非边缘区域。
5.根据权利要求4所述的深度图优化系统，其中所述区域划分单元划分区域的过程是：首先对深度图D、彩色图I进行初始降噪处理，得到新深度图Ds、新彩色图Is；进一步，分别提取深度图Ds与彩色图Is的边缘ED、EI，并整合得到最终深度图边缘进一步，根据深度图边缘以及深度图D本身，划分新深度图Ds区域为所述孔洞区域、所述孔洞边缘区域和所述孔洞非边缘区域。
6.根据权利要求2至5任一所述的深度图优化系统，其中所述区域化处理单元包括一降噪处理模块，所述降噪处理模块对所述非孔洞区域进行降噪处理。
7.根据权利要求6所述的深度图优化系统，其中所述降噪处理模块采用局部滤波降噪方法、非局部均值降噪方法以及基于联合滤波器的降噪方法中的一种进行降噪处理，优选地通过联合双边滤波器和联合三边滤波器中的一种进行降噪处理。
8.根据权利要求2至5任一所述的深度图优化系统，其中区域化处理单元采用联合三边滤波器对非孔洞区进行降噪处理，对于区域Dnh中一点p＝(px,py)，Np是点p的可信赖领域点集，则有
这里，权重分布函数其中 σs、σr是对应项的权重系数，I{R,G,B}是对应通道的像素值，Dnh(q)是点q对应的深度值。
9.根据权利要求2或3所述的深度图优化系统，其中所述区域化处理单元包括一插值处理模块，所述插值处理模块对所述孔洞区进行插值处理。
10.根据权利要求4或5所述的深度图优化系统，其中所述区域化处理单元包括一插值处理模块，所述插值处理模块对所述孔洞非边缘区域和所述孔洞边缘区域进行插值处理。
11.根据权利要求4或5所述的深度图优化系统，其中所述插值处理模块采用边缘定向插值方法或非边缘定向插值方法，优选地，采用联合双边滤波器、联合三边滤波器中的一种进行插值。
12.根据权利要求2或3所述的深度图优化系统，其中所述区域化处理单元采用联合双边滤波器对孔洞区域进行插值，对于区域Dh中一点p＝(px,py)，Np是点p的可信赖领域点集，则有：
这里，权重分布函数其中 σs、σr是对应项的权重系数，I{R,G,B}是对应通道的像素值，Dh(q)是点q对应的深度值。
13.根据权利要求4或5所述的深度图优化系统，其中所述区域化处理单元采用联合双边滤波器对孔洞非边缘区域和孔洞边缘区域区进行插值，对于区域Dh中一点p＝(px,py)，Np是点p的可信赖领域点集，孔洞边缘区域且需确保Np与点p同处于边缘一侧，即Np与点p之间不会跨越边缘，则有：
这里，权重分布函数其中 σs、σr是对应项的权重系数，I{R,G,B}是对应通道的像素值，Dh(q)是点q对应的深度值。
14.根据权利要求9所述的深度图优化系统，其中所述区域化处理单元包括一降噪处理模块，所述降噪处理模块对所述非孔洞区域进行降噪处理。
15.根据权利要求1-5任一所述的深度图优化系统，其中所述对齐单元采用张友正标定法校正对齐所述深度图和所述彩色图。
16.根据权利要求1-5任一所述的深度图优化系统，其中所述深度图优化系统包括一优化单元，所述优化单元消除深度图中的孤立噪声点。
17.根据权利要求16所述的深度图优化系统，其中所述优化单元对所述深度图进行非线性平滑处理。
18.根据权利要求16所述的深度图优化系统，其中所述优化单元采用中值滤波消除所述深度图中的孤立噪声点。
19.深度图优化方法，其特征在于，包括步骤：
(A)校正对齐一深度图和一彩色图；
(B)划分所述深度图区域；和
(C)对划分区域进行目标性处理。
20.根据权利要求19所述的深度图优化方法，其中所述步骤(B)中，将所述深度图划分为一孔洞区域和一非孔洞区域。
21.根据权利要求20所述的深度图优化方法，其中划分区域的过程是：首先对深度图D、彩色图I进行初始降噪处理，得到新深度图Ds、新彩色图Is；进一步，分别提取深度图Ds与彩色图Is的边缘ED、EI，并整合得到最终深度图边缘进一步，根据深度图边缘以及深度图D本身，划分新深度图Ds区域为所述孔洞区域和所述非孔洞区域。
22.根据权利要求19所述的深度图优化方法，其中所述步骤(B)中，将所述深度图划分为一非孔洞区、一孔洞边缘区域和一孔洞非边缘区域。
23.根据权利要求22所述的深度图优化方法，其中划分区域的过程是：首先对深度图D、彩色图I进行初始降噪处理，得到新深度图Ds、新彩色图Is；进一步，分别提取深度图Ds与彩色图Is的边缘ED、EI，并整合得到最终深度图边缘进一步，根据深度图边缘以及深度图D本身，划分新深度图Ds区域为所述孔洞区域、所述孔洞边缘区域和所述孔洞非边缘区域。
24.根据权利要求20-23任一所述的深度图优化方法，其中所述步骤(C)中包括步骤：对非孔洞区域降噪处理。
25.根据权利要求24所述的深度图优化方法，其中通过局部滤波降噪方法、非局部均值降噪方法以及基于联合滤波器的降噪方法中的一种进行降噪，优选地通过联合双边滤波器和联合三边滤波器中的一种进行降噪处理。
26.根据权利要求24所述的深度图优化方法，其中采用联合三边滤波器对非孔洞区进行降噪处理，对于区域Dnh中一点p＝(px,py)，Np是点p的可信赖领域点集，则有
这里，权重分布函数其中 σs、σr是对应项的权重系数，I{R,G,B}是对应通道的像素值，Dnh(q)是点q对应的深度值。
27.根据权利要求22或23所述的深度图优化方法，其中所述步骤(C)中包括步骤：对孔洞非边缘区域和孔洞边缘区域进行插值。
28.根据权利要求27所述的深度图优化方法，其中所述步骤(C)中采用边缘定向插值方法或非边缘定向插值方法进行插值，优选地采用联合双边滤波器、联合三边滤波器中的其中一种进行插值。
29.根据权利要求27所述的深度图优化方法，其中所述步骤(C)中采用联合双边滤波器对孔洞区分情况进行插值，对于区域Dh中一点p＝(px,py)，Np是点p的可信赖领域点集，对于孔洞边缘区域，还需确保Np与点p同处于边缘一侧，即Np与点p之间不会跨越边缘，则有：
这里，权重分布函数其中 σs、σr是对应项的权重系数，I{R,G,B}是对应通道的像素值，Dh(q)是点q对应的深度值。
30.根据权利要求19-23任一所述的深度图优化方法，其中所述深度优化方法包括步骤(D)：消除孤立噪声点。
31.根据权利要求30所述的深度图优化方法，其中所述步骤(D)中对所述深度图进行非线性平滑处理。
32.根据权利要求30所述的深度图优化方法，其中所述步骤(D)中采用中值滤波消除所述深度图中的孤立噪声点。
33.根据权利要求19-23任一所述的深度图优化方法，其中所述步骤(A)中采用张友正标定法校正对齐所述深度图和所述彩色图。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201810082852.8A CN110097507B (zh) | 2018-01-29 | 2018-01-29 | 深度图优化系统和优化方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201810082852.8A CN110097507B (zh) | 2018-01-29 | 2018-01-29 | 深度图优化系统和优化方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN110097507A true CN110097507A (zh) | 2019-08-06 |
| CN110097507B CN110097507B (zh) | 2021-09-03 |
Family
ID=67442679
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201810082852.8A Active CN110097507B (zh) | 2018-01-29 | 2018-01-29 | 深度图优化系统和优化方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN110097507B (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112887605A (zh) * | 2021-01-26 | 2021-06-01 | 维沃移动通信有限公司 | 图像防抖方法、装置及电子设备 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103927717A (zh) * | 2014-03-28 | 2014-07-16 | 上海交通大学 | 基于改进型双边滤波的深度图像恢复方法 |
| CN105894503A (zh) * | 2016-03-30 | 2016-08-24 | 江苏大学 | 一种对Kinect植株彩色和深度检测图像的修复方法 |
| CN106340036A (zh) * | 2016-08-08 | 2017-01-18 | 东南大学 | 一种基于双目立体视觉的立体匹配方法 |
| CN106485672A (zh) * | 2016-09-12 | 2017-03-08 | 西安电子科技大学 | 改进的块匹配修复和联合三边导向滤波图像增强方法 |
-
2018
- 2018-01-29 CN CN201810082852.8A patent/CN110097507B/zh active Active
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103927717A (zh) * | 2014-03-28 | 2014-07-16 | 上海交通大学 | 基于改进型双边滤波的深度图像恢复方法 |
| CN105894503A (zh) * | 2016-03-30 | 2016-08-24 | 江苏大学 | 一种对Kinect植株彩色和深度检测图像的修复方法 |
| CN106340036A (zh) * | 2016-08-08 | 2017-01-18 | 东南大学 | 一种基于双目立体视觉的立体匹配方法 |
| CN106485672A (zh) * | 2016-09-12 | 2017-03-08 | 西安电子科技大学 | 改进的块匹配修复和联合三边导向滤波图像增强方法 |
Non-Patent Citations (2)
| Title |
|---|
| 郑欢: ""基于Kinect的深度图像修复技术研究"", 《中国优秀硕士论文全文数据库》 * |
| 高雅平: ""优化改进的深度图像空洞填补算法"", 《计算机工程与设计》 * |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112887605A (zh) * | 2021-01-26 | 2021-06-01 | 维沃移动通信有限公司 | 图像防抖方法、装置及电子设备 |
| CN112887605B (zh) * | 2021-01-26 | 2022-09-30 | 维沃移动通信有限公司 | 图像防抖方法、装置及电子设备 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN110097507B (zh) | 2021-09-03 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US9800856B2 (en) | Systems and methods for synthesizing images from image data captured by an array camera using restricted depth of field depth maps in which depth estimation precision varies | |
| CN110023810B (zh) | 光学系统像差的数字校正 | |
| US9214013B2 (en) | Systems and methods for correcting user identified artifacts in light field images | |
| US9007441B2 (en) | Method of depth-based imaging using an automatic trilateral filter for 3D stereo imagers | |
| CN103679749B (zh) | 一种基于运动目标跟踪的图像处理方法及装置 | |
| JP6142611B2 (ja) | ステレオマッチングのための方法及びステレオマッチングのためのシステム | |
| CN105791801B (zh) | 图像处理装置、图像拾取装置和图像处理方法 | |
| CN105205796A (zh) | 广域图像获取方法和装置 | |
| CN106898048B (zh) | 一种可适应复杂场景的无畸变集成成像三维显示方法 | |
| JP5901614B2 (ja) | 画像処理装置および画像処理方法 | |
| EP3186776B1 (de) | Bildaufnahmevorrichtung und verfahren zur bildaufnahme | |
| CN106982312A (zh) | 多光圈相机系统及其操作方法 | |
| EP2757789A1 (en) | Image processing system, image processing method, and image processing program | |
| US9519956B2 (en) | Processing stereo images | |
| JP7378219B2 (ja) | 撮像装置、画像処理装置、制御方法、及びプログラム | |
| CN107431754A (zh) | 图像处理方法、图像处理装置和摄像设备 | |
| JP4403477B2 (ja) | 画像処理装置及び画像処理方法 | |
| JP5820985B2 (ja) | 立体画像処理装置および立体画像処理方法 | |
| CN108322726A (zh) | 一种基于双摄像头的自动对焦方法 | |
| Lee et al. | Improving focus measurement via variable window shape on surface radiance distribution for 3D shape reconstruction | |
| Duran et al. | A demosaicking algorithm with adaptive inter-channel correlation | |
| CN110097507A (zh) | 深度图优化系统和优化方法 | |
| CN107507249B (zh) | 一种智能车立体视觉系统 | |
| JP2009211254A (ja) | 画像処理ユニット、複眼撮像装置、画像処理方法、および画像処理プログラム | |
| CN107071391A (zh) | 一种增强显示3d裸眼图形的方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| EE01 | Entry into force of recordation of patent licensing contract |
Application publication date: 20190806 Assignee: Zhejiang Shunwei Technology Co.,Ltd. Assignor: SUNNY OPTICAL (ZHEJIANG) RESEARCH INSTITUTE Co.,Ltd. Contract record no.: X2024330000055 Denomination of invention: Depth map optimization system and optimization methods Granted publication date: 20210903 License type: Common License Record date: 20240515 |
|
| EE01 | Entry into force of recordation of patent licensing contract |