CN109345484A - 一种深度图修复方法及装置 - Google Patents
一种深度图修复方法及装置 Download PDFInfo
- Publication number
- CN109345484A CN109345484A CN201811159223.7A CN201811159223A CN109345484A CN 109345484 A CN109345484 A CN 109345484A CN 201811159223 A CN201811159223 A CN 201811159223A CN 109345484 A CN109345484 A CN 109345484A
- Authority
- CN
- China
- Prior art keywords
- repaired
- reference image
- vegetarian refreshments
- pixel
- image vegetarian
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 44
- 241000208340 Araliaceae Species 0.000 claims description 3
- 235000005035 Panax pseudoginseng ssp. pseudoginseng Nutrition 0.000 claims description 3
- 235000003140 Panax quinquefolius Nutrition 0.000 claims description 3
- 235000008434 ginseng Nutrition 0.000 claims description 3
- 238000004891 communication Methods 0.000 description 14
- 238000010586 diagram Methods 0.000 description 9
- 238000004590 computer program Methods 0.000 description 6
- 238000012545 processing Methods 0.000 description 5
- 238000001514 detection method Methods 0.000 description 4
- 230000008569 process Effects 0.000 description 3
- 230000008439 repair process Effects 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 238000009499 grossing Methods 0.000 description 2
- 238000003709 image segmentation Methods 0.000 description 2
- 230000002093 peripheral effect Effects 0.000 description 2
- 230000000717 retained effect Effects 0.000 description 2
- 239000003086 colorant Substances 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 238000000802 evaporation-induced self-assembly Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000005405 multipole Effects 0.000 description 1
- 238000002360 preparation method Methods 0.000 description 1
- 230000000644 propagated effect Effects 0.000 description 1
- 238000009877 rendering Methods 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/77—Retouching; Inpainting; Scratch removal
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/50—Depth or shape recovery
- G06T7/55—Depth or shape recovery from multiple images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/90—Determination of colour characteristics
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Image Processing (AREA)
Abstract
本发明实施例提供了一种深度图修复方法及装置，该方法包括：获取待修复深度图；待修复深度图包括待修复区域；确定位于待修复区域中的待修复像素点；确定待修复深度图中以待修复像素点为中心的目标区域内的至少一个参考像素点，参考像素点位于待修复区域外；确定待修复像素点与每一参考像素点间的色彩距离；确定待修复像素点与每一参考像素点间的空间距离；根据每一参考像素点的深度信息，以及所确定的色彩距离和空间距离，确定待修复像素点的深度信息。从而能够实现对深度图中未知深度信息的像素点进行深度信息修复。
Description
技术领域
本发明涉及图像处理技术领域，特别是涉及一种深度图修复方法及装置。
背景技术
随着深度传感器技术的不断发展，深度图成为近年来即时定位与重建技术中的研究热点，并被广泛应用于三维重建、图像渲染、图像分割等技术领域。
目前，获取深度图的方法有两种，如下：
第一种，通过立体匹配算法获得。其中，立体匹配算法是指在由双目摄像机获取的图像对中确定像素对应点来计算视差图，然后根据几何关系转换为深度图。立体匹配算法的计算成本高，大部分的立体匹配算法无法用于实际应用。
第二种，通过深度摄像机直接采集。其中，深度摄像机包括红外投影机和红外摄像头，深度摄像机利用红外投影机发射光，利用红外摄像头接收反射光，计算深度信息以实现深度信息的实时提取。深度摄像机获取深度图简单，计算成本低。
但深度摄像机中的红外投影机和红外摄像头之间有一定的距离，根据光线传播原理，红外投影机和红外摄像头之间有一定的探测盲区，因此深度摄像机无法获取探测盲区区域的深度信息，形成空洞。此外，若场景中含有黑色或者透明的物体区域，深度相机发出的红外光线将无法返回，从而获取不到该物体区域的深度信息，同样会形成空洞。
发明内容
本发明实施例的目的在于提供一种深度图修复方法及装置，以实现对深度图中未知深度信息的像素点进行深度信息修复，消除深度图中的空洞。具体技术方案如下：
为了实现上述目的，本发明实施例提供了一种深度图修复方法，该方法包括：
获取待修复深度图；所述待修复深度图包括待修复区域；
确定位于所述待修复区域中的待修复像素点；
确定所述待修复深度图中以所述待修复像素点为中心的目标区域内的至少一个参考像素点，所述参考像素点位于所述待修复区域外；
确定所述待修复像素点与每一参考像素点间的色彩距离；
确定所述待修复像素点与每一参考像素点间的空间距离；
根据每一参考像素点的深度信息，以及所确定的色彩距离和空间距离，确定所述待修复像素点的深度信息。
可选的，所述确定所述待修复像素点与每一参考像素点间的色彩距离的步骤，包括：
获取与所述待修复深度图相对应的红绿蓝RGB图像；
确定与所述RGB图像相对应的Lab色彩模型；
针对每一参考像素点，根据所述Lab色彩模型确定所述待修复像素点与该参考像素点的色彩距离。
可选的，所述根据所述Lab色彩模型确定所述待修复像素点与该参考像素点的色彩距离的步骤，包括：
根据以下公式，确定所述待修复像素点与该参考像素点的色彩距离dc：
其中，p为所述待修复像素点，q为参考像素点，lp、ap、bp为与所述待修复像素点相对应的RGB像素点在Lab色彩模型中的三维坐标，lq、aq、bq为与该参考像素点相对应的RGB像素点在Lab色彩模型中的三维坐标。
可选的，所述确定所述待修复像素点与每一参考像素点间的空间距离的步骤，包括：
针对每一参考像素点，根据以下公式，确定所述待修复像素点与该参考像素点的空间距离ds：
其中，p为所述待修复像素点，q为参考像素点，xp、yp为所述待修复像素点在所述待修复深度图中的二维坐标，xq、yq为该参考像素点在所述待修复深度图中的二维坐标。
可选的，所述根据每一参考像素点的深度信息，以及所确定的色彩距离和空间距离，确定所述待修复像素点的深度信息的步骤，包括：
根据所确定的所述待修复像素点与每一参考像素点间的色彩距离和空间距离，确定每一参考像素点的权值；
根据每一参考像素点的权值和该参考像素点的深度信息，进行加权运算，得到所述待修复像素点的深度信息。
可选的，所述根据所确定的所述待修复像素点与每一参考像素点间的色彩距离和空间距离，确定每一参考像素点的权值的步骤，包括：
针对每一参考像素点，根据以下公式，确定该参考像素点的相似度值ω(p,q)：
其中，p为所述待修复像素点，q为参考像素点，dc为所确定的所述待修复像素点p与该参考像素点q间的色彩距离，ds为所确定的所述待修复像素点p与该参考像素点q间的空间距离；
针对每一参考像素点，根据该参考像素点的相似度值，确定该参考像素点的权值。
可选的，所述根据该参考像素点的相似度值，确定该参考像素点的权值的步骤，包括：
将该参考像素点的相似度值确定为该参考像素点的权值；或
判断该参考像素点的相似度值是否大于预设阈值；若是，则将该参考像素点的权值确定为1；若否，则将该参考像素点的权值确定为0。
可选的，所述根据每一参考像素点的权值和该参考像素点的深度信息，进行加权运算，得到所述待修复像素点的深度信息的步骤，包括：
根据以下公式，确定所述待修复像素点的深度信息：
其中，p为所述待修复像素点，q为参考像素点，Depthp(q)为所述待修复像素点的深度信息，ω(p,q)为参考像素点的权值，Nε(p)表示以所述待修复像素点为中心的目标区域，D(q)为所述参考像素点的深度信息，为所述参考像素点的深度梯度。
可选的，所述确定位于所述待修复区域中的待修复像素点的步骤，包括：
使用快速行进算法FMM确定所述待修复像素点。
为了实现上述目的，本发明实施例还提供了一种深度图修复装置，该装置包括：
获取模块，用于获取待修复深度图，所述待修复深度图包括待修复区域；
确定模块，用于确定位于所述待修复区域中的待修复像素点；确定所述待修复深度图中以所述待修复像素点为中心的目标区域内的至少一个参考像素点，所述参考像素点位于所述待修复区域外；确定所述待修复像素点与每一参考像素点间的色彩距离；确定所述待修复像素点与每一参考像素点间的空间距离；根据每一参考像素点的深度信息，以及所确定的色彩距离和空间距离，确定所述待修复像素点的深度信息。
可选的，所述确定模块，具体用于：
获取与所述待修复深度图相对应的红绿蓝RGB图像；
确定与所述RGB图像相对应的Lab色彩模型；
针对每一参考像素点，根据所述Lab色彩模型确定所述待修复像素点与该参考像素点的色彩距离。
可选的，所述确定模块，具体用于：
根据以下公式，确定所述待修复像素点与该参考像素点的色彩距离dc：
其中，p为所述待修复像素点，q为参考像素点，lp、ap、bp为与所述待修复像素点相对应的RGB像素点在Lab色彩模型中的三维坐标，lq、aq、bq为与该参考像素点相对应的RGB像素点在Lab色彩模型中的三维坐标。
可选的，所述确定模块，具体用于：
针对每一参考像素点，根据以下公式，确定所述待修复像素点与该参考像素点的空间距离ds：
其中，p为所述待修复像素点，q为参考像素点，xp、yp为所述待修复像素点在所述待修复深度图中的二维坐标，xq、yq为该参考像素点在所述待修复深度图中的二维坐标。
可选的，所述确定模块，具体用于：
根据所确定的所述待修复像素点与每一参考像素点间的色彩距离和空间距离，确定每一参考像素点的权值；
根据每一参考像素点的权值和该参考像素点的深度信息，进行加权运算，得到所述待修复像素点的深度信息。
可选的，所述确定模块，具体用于：
针对每一参考像素点，根据以下公式，确定该参考像素点的相似度值ω(p,q)：
其中，p为所述待修复像素点，q为参考像素点，dc为所确定的所述待修复像素点p与该参考像素点q间的色彩距离，ds为所确定的所述待修复像素点p与该参考像素点q间的空间距离；
针对每一参考像素点，根据该参考像素点的相似度值，确定该参考像素点的权值。
可选的，所述确定模块，具体用于：
将该参考像素点的相似度值确定为该参考像素点的权值；或
判断该参考像素点的相似度值是否大于预设阈值；若是，则将该参考像素点的权值确定为1；若否，则将该参考像素点的权值确定为0。
可选的，所述确定模块，具体用于：
根据以下公式，确定所述待修复像素点的深度信息：
其中，p为所述待修复像素点，q为参考像素点，Depthp(q)为所述待修复像素点的深度信息，ω(p,q)为参考像素点的权值，Nε(p)表示以所述待修复像素点为中心的目标区域，D(q)为所述参考像素点的深度信息，为所述参考像素点的深度梯度。
可选的，所述确定模块，具体用于：
使用快速行进算法FMM确定所述待修复像素点。
为实现上述目的，本发明实施例还提供了一种电子设备，包括处理器、通信接口、存储器和通信总线；其中，处理器、通信接口、存储器通过通信总线完成相互间的通信；
存储器，用于存放计算机程序；
处理器，用于执行存储器上所存放的程序时，实现上述任一方法步骤。
为实现上述目的，本发明实施例还提供了一种计算机可读存储介质，所述计算机可读存储介质内存储有计算机程序，所述计算机程序被处理器执行时实现上述任一方法步骤。
本发明实施例提供的深度图修复方法及装置，考虑了深度图对应的色彩图像，根据色彩图像确定出待修复像素点与参考像素点的色彩距离，根据深度图确定出待修复像素点与参考像素点的空间距离，根据每一参考像素点的深度信息，以及所确定的色彩距离和空间距离，确定待修复像素点的深度信息。从而能够实现对深度图中未知深度信息的像素点进行深度信息修复。
当然，实施本发明的任一产品或方法并不一定需要同时达到以上所述的所有优点。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明实施例提供的待修复深度图的一种示意图；
图2为本发明实施例提供的深度图修复方法的一种流程示意图；
图3为本发明实施例提供的与图1所示的待修复深度图相对应的RGB图像的示意图；
图4为本发明实施例提供的深度图修复的一种示意图；
图5为应用本发明实施例提供的深度图修复方法对图1进行深度图修复完成后图像的示意图；
图6为本发明实施例提供的深度图修复装置的一种结构示意图；
图7为本发明实施例提供的电子设备的一种结构示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
目前，可以使用深度摄像机获取深度图，但深度摄像机中的红外投影机和红外摄像头之间有一定的距离，根据光线传播原理，红外投影机和红外摄像头之间有一定的探测盲区，因此深度摄像机无法获取探测盲区区域的深度信息，形成空洞。此外，若场景中含有黑色或者透明的物体区域，深度相机发出的红外光线将无法返回，从而获取不到该物体区域的深度信息，同样会形成空洞。
为了对深度图中未知深度信息的像素点进行深度信息修复，消除深度图中的空洞，本发明实施例提供了一种深度图修复方法，该方法包括以下步骤：
S201：获取待修复深度图；待修复深度图包括待修复区域。
本领域技术人员可以理解，深度图中每个像素点的深度信息表示该像素点到拍摄该深度图的摄像机的距离。
在本发明实施例中，待修复深度图可以是深度摄像机采集到的。该待修复深度图包括待修复区域，如深度图中的空洞区域。待修复区域中像素点的深度信息是未知的，如图1所示的待修复深度图，纯黑色区域为待修复区域，纯黑色区域中像素点的深度信息是未知的。
S202：确定位于待修复区域中的待修复像素点。
在本发明实施例中，待修复区域中存在许多待修复像素点，在对待修复深度图进行深度信息的修复时，从待修复区域中多个像素点中选择一个像素点作为的待修复像素点。
一种实现方式中，可以使用FMM(Fast Multipole Method，快速进行算法)确定当前待修复像素点。具体的，先确定出待修复区域的边界，然后确定待修复区域中距离待修复区域的边界最近的像素点，作为当前的待修复像素点。
在本发明实施例中，确定出当前待修复像素点后，可以对该待修复像素点进行深度信息的修复，并在修复完成后返回步骤S202，重新确定当前的待修复像素点。当然，确定当前待修复像素点的方法并不限于上述FMM算法。
S203：确定待修复深度图中以待修复像素点为中心的目标区域内的至少一个参考像素点，参考像素点位于待修复区域外。
其中，位于待修复区域外的像素点即为深度信息已知的像素点，也就是，参考像素点为深度信息已知的像素点。
在本发明实施例中，在确定出当前的待修复像素点之后，可以确定以该待修复像素点为中心的目标区域，该目标区域为该待修复像素点的邻域，其大小范围可以是预先设置的。
一个示例中，可以将该待修复像素点的上、下、左和右四个临近像素点组成的区域确定为目标区域，则该四个像素点中，位于待修复区域外，也即深度信息已知的像素点均可以作为参考像素点。
另一个示例中，可以预先设定区域半径，将以该待修复像素点为中心，半径为预先设定的区域半径的区域确定为目标区域，则该目标区域中位于待修复区域外，也即深度信息已知的像素点均可以作为参考像素点。目标区域的选取可以根据实际需求进行设置，对此不作限定。
S204：确定待修复像素点与每一参考像素点间的色彩相似度。
在本发明一种实现方式中，确定待修复像素点与每一参考像素点间的色彩相似度的步骤，可以包括以下细化步骤：
步骤11：获取与待修复深度图相对应的RGB(Red、Green、Blue,红、绿和蓝)图像。
在本步骤中，可以获取与待修复深度图相对应的RGB图像。参见图3，图3为与图1所示的待修复深度图相对应的RGB图像的示意图。
步骤12：确定与RGB图像相对应的Lab色彩模型。
在本步骤中，可以将RGB图像的像素点均转换到Lab色彩模型。其中，Lab色彩模型是颜色-对立空间，L表示亮度，a和b表示颜色对立维度。相对于RGB图像，Lab色彩模型能够更直观地反应像素点之间的色彩相似度。
步骤13：针对每一参考像素点，根据Lab色彩模型确定待修复像素点与该参考像素点的色彩相似度。
在本步骤中，可以基于转换得到的Lab色彩模型计算待修复像素点与参考像素点的色彩相似度。
本发明一种实现方式中，上述步骤13，可以包括以下步骤：
针对每一参考像素点，根据如下公式，确定待修复像素点与该参考像素点的色彩距离dc：
其中，p为待修复像素点，q为参考像素点，lp、ap、bp为与待修复像素点p相对应的RGB像素点在Lab色彩模型中的三维坐标，lq、aq、bq为与该参考像素点q相对应的RGB像素点在Lab色彩模型中的三维坐标。
本领域技术人员应当理解，色彩距离是指两个颜色之间的差距，通常色彩距离越大，则两个颜色相差越大。即由上式计算出的色彩距离越大，说明待修复像素点p和参考像素点q之间的色彩相似度越大。
当然，针对每一个参考像素点，都可以按照上述公式计算该参考像素点与待修复像素点的色彩距离。
S205：确定待修复像素点与每一参考像素点间的空间距离。
在本步骤中，可以确定待修复像素点与每一参考像素点间的空间距离，其中，空间距离是指待修复像素点与参考像素点在待修复深度图中的距离。
一种实现方式中，可以根据待修复像素点与参考像素点在待修复深度图中的像素坐标，来计算空间距离。具体的，上述步骤S205可以包括以下步骤：
针对每一参考像素点，根据以下公式，确定待修复像素点与该参考像素点的空间距离ds：
其中，p为待修复像素点，q为参考像素点，xp、yp为待修复像素点p在待修复深度图中的二维坐标，xq、yq为该参考像素点q在待修复深度图中的二维坐标。
针对每一个参考像素点，都可以按照上述公式计算该参考像素点与待修复像素点的空间距离。
S206：根据每一参考像素点的深度信息，以及所确定的色彩距离和空间距离，确定待修复像素点的深度信息。
在确定出每一参考像素点与待修复像素点间的色彩距离和空间距离后，可以根据所确定的色彩距离和空间距离，结合每一参考像素点的深度信息，计算出待修复像素点的深度信息。
本发明一种实现方式中，上述步骤S206，可以包括以下细化步骤：
步骤21：根据所确定的待修复像素点与每一参考像素点间的色彩距离和空间距离，确定每一参考像素点的权值。
在本发明一种实现方式中，上述步骤21，可以包括以下细化步骤：
步骤21a：针对每一参考像素点，根据以下公式，确定该参考像素点的相似度值ω(p,q)。
其中，dc为待修复像素点p与参考像素点q的色彩距离，ds为待修复像素点p与参考像素点q的空间距离。
由上式可见，待修复像素点与参考像素点在Lab色彩模型的色彩距离越近，则该参考像素点对应的相似度值越大。同时，待修复像素点与参考像素点在待修复深度图中空间距离越近，则该参考像素点对应的相似度值也越大。
步骤21b：针对每一参考像素点，根据该参考像素点的相似度值，确定该参考像素点的权值。
在确定该参考像素点的权值时，本发明一种实现方式中，针对每一参考像素点，可以将参考像素点的相似度值直接确定为该参考像素点的权值。
本领域技术人员应当理解，在待修复深度图中，待修复区域对应于色彩图像中的同源区域和物体边缘区域，其中，同源区域的纹理相似度较高，而物体边缘区域的深度信息变化剧烈。二者的共同特点为：纹理不同的区域通常有差距较大的深度值。
考虑到上述特性，在确定该参考像素点的权值时，本发明另一种实现方式中，可以使用二值函数来确定权值。具体的，可以先判断该参考像素点的相似度值是否大于预设阈值；若是，则将该参考像素点的权值确定为1；若否，则将该参考像素点的权值确定为0。
当待修复像素点与参考像素点的相似度值大于预设阈值时，可以认为待修复像素点与参考像素点属于同源区域，可以直接将参考像素点的深度信息传递给待修复像素点，即将该参考像素点的权值确定为1。当待修复像素点与参考像素点的相似度值小于预设阈值时，可以认定待修复像素点与参考像素点属于物体边缘区域，通常是多种物体的边界部分，对应不同的深度，为了避免这部分区域的像素点带来的影响，可以将参考像素点的权值确定为0。
深度摄像机在采集深度图时，某些区域对应的物体距离深度相机非常远，因此这部分区域的像素点的深度信息是无法准确确定的。即使对该区域进行深度信息的修复，得到的深度信息也是不准确的。本发明实施例中，采用上述第二种实现方式进行修复时，由于使用了二值函数确定权值，使得这些区域的深度空洞得到了保留，相比于现有的将这些区域的深度信息也进行修复的方法，能够更接近实际情况，且修复完成后的深度图边缘平滑准确，便于后续可能进行的图像分割。
例如，参见图4，图4左边图像为场景的RGB图像的示意图，中间图像为该场景对应的待修复深度图，右边图像为该场景对应的修复完成的深度图。正如图4所示，门外物体距离深度相机距离非常远，对应图像中这部分区域的像素点的深度信息是无法准确确定的，且无法进行修复。使用本发明实施例提供的修复方法，这些区域的深度空洞得到了保留，且深度图边缘平滑准确。
步骤22：根据每一参考像素点的权值和该参考像素点的深度信息，进行加权运算，得到待修复像素点的深度信息。
在确定出每一参考像素点的权值和该参考像素点的深度信息后，可以进行加权运算，得到待修复像素点的深度信息。
在本发明一种实现方式中，可以根据以下公式，确定待修复像素点的深度信息：
其中，p为待修复像素点，q为参考像素点，Depthp(q)为待修复像素点p的深度信息，ω(p,q)为参考像素点q的权值，Nε(p)表示以待修复像素点p为中心的目标区域，D(q)为参考像素点q的深度信息，为参考像素点q的深度梯度。
将每个参考像素点的深度信息以及权值代入上式，计算出的深度信息可以作为待修复像素点的深度信息。从而实现对待修复像素点的深度信息的修复。
本发明实施例中，在完成当前的待修复像素点的深度信息的修复后，将该待修复像素点确定为已知深度信息的像素点，也就是将该待修复像素点确定为待修复区域外的像素点，返回上述步骤S202，重新确定待修复像素点，并执行步骤S203-S206，直至修复完成，可以参见图5，图5为应用本发明实施例提供的深度图修复方法对图1进行深度图修复完成后图像的示意图。
可见，本发明实施例提供的深度图修复方法，考虑了深度图对应的色彩图像，根据色彩图像确定出待修复像素点与参考像素点的色彩距离，根据深度图确定出待修复像素点与参考像素点的空间距离，根据每一参考像素点的深度信息，以及所确定的色彩距离和空间距离，确定待修复像素点的深度信息。从而能够实现对深度图中未知深度信息的像素点进行深度信息修复。
参见图6，本发明实施例还提供了一种深度图修复装置，可以包括以下模块：
获取模块601：用于获取待修复深度图，待修复深度图包括待修复区域；
确定模块602：用于确定位于待修复区域中的待修复像素点；确定待修复深度图中以待修复像素点为中心的目标区域内的至少一个参考像素点，参考像素点位于待修复区域外；确定待修复像素点与每一参考像素点间的色彩距离；确定待修复像素点与每一参考像素点间的空间距离；根据每一参考像素点的深度信息，以及所确定的色彩距离和空间距离，确定待修复像素点的深度信息。
可选的，确定模块602，具体用于：
获取与待修复深度图相对应的红绿蓝RGB图像；
确定与RGB图像相对应的Lab色彩模型；
针对每一参考像素点，根据Lab色彩模型确定待修复像素点与该参考像素点的色彩距离。
可选的，确定模块602，具体用于：
根据以下公式，确定待修复像素点与该参考像素点的色彩距离dc：
其中，p为待修复像素点，q为参考像素点，lp、ap、bp为与待修复像素点相对应的RGB像素点在Lab色彩模型中的三维坐标，lq、aq、bq为与该参考像素点相对应的RGB像素点在Lab色彩模型中的三维坐标。
可选的，确定模块602，具体用于：
针对每一参考像素点，根据以下公式，确定待修复像素点与该参考像素点的空间距离ds：
其中，p为待修复像素点，q为参考像素点，xp、yp为待修复像素点在待修复深度图中的二维坐标，xq、yq为该参考像素点在待修复深度图中的二维坐标。
可选的，确定模块602，具体用于：
根据所确定的待修复像素点与每一参考像素点间的色彩距离和空间距离，确定每一参考像素点的权值；
根据每一参考像素点的权值和该参考像素点的深度信息，进行加权运算，得到待修复像素点的深度信息。
可选的，确定模块602，具体用于：
针对每一参考像素点，根据以下公式，确定该参考像素点的相似度值ω(p,q)：
其中，p为待修复像素点，q为参考像素点，dc为所确定的待修复像素点p与该参考像素点q间的色彩距离，ds为所确定的待修复像素点p与该参考像素点q间的空间距离；
针对每一参考像素点，根据该参考像素点的相似度值，确定该参考像素点的权值。
可选的，确定模块602，具体用于：
将该参考像素点的相似度值确定为该参考像素点的权值；或
判断该参考像素点的相似度值是否大于预设阈值；若是，则将该参考像素点的权值确定为1；若否，则将该参考像素点的权值确定为0。
可选的，确定模块602，具体用于：
根据以下公式，确定待修复像素点的深度信息：
其中，p为待修复像素点，q为参考像素点，Depthp(q)为待修复像素点的深度信息，ω(p,q)为参考像素点的权值，Nε(p)表示以待修复像素点为中心的目标区域，D(q)为参考像素点的深度信息，为参考像素点的深度梯度。
可选的，确定模块602，具体用于：
使用快速行进算法FMM确定待修复像素点。
本发明实施例提供的深度图修复装置，考虑了深度图对应的色彩图像，根据色彩图像确定出待修复像素点与参考像素点的色彩距离，根据深度图确定出待修复像素点与参考像素点的空间距离，根据每一参考像素点的深度信息，以及所确定的色彩距离和空间距离，确定待修复像素点的深度信息。从而能够实现对深度图中未知深度信息的像素点进行深度信息修复。
本发明实施例还提供了一种电子设备，包括处理器701、通信接口702、存储器703和通信总线704；其中，处理器701、通信接口702、存储器703通过通信总线704完成相互间的通信；
存储器703，用于存放计算机程序；
处理器701，用于执行存储器703上所存放的程序时，实现以下方法步骤：
获取待修复深度图；待修复深度图包括待修复区域；确定位于待修复区域中的待修复像素点；确定待修复深度图中以待修复像素点为中心的目标区域内的至少一个参考像素点，参考像素点位于待修复区域外；确定待修复像素点与每一参考像素点间的色彩距离；确定待修复像素点与每一参考像素点间的空间距离；根据每一参考像素点的深度信息，以及所确定的色彩距离和空间距离，确定待修复像素点的深度信息。
上述电子设备提到的通信总线可以是外设部件互连标准(Peripheral ComponentInterconnect，PCI)总线或扩展工业标准结构(Extended Industry StandardArchitecture，EISA)总线等。该通信总线可以分为地址总线、数据总线、控制总线等。为便于表示，图中仅用一条粗线表示，但并不表示仅有一根总线或一种类型的总线。
通信接口用于上述电子设备与其他设备之间的通信。
存储器可以包括随机存取存储器(Random Access Memory，RAM)，也可以包括非易失性存储器(Non-Volatile Memory，NVM)，例如至少一个磁盘存储器。可选的，存储器还可以是至少一个位于远离前述处理器的存储装置。
上述的处理器可以是通用处理器，包括中央处理器(Central Processing Unit，CPU)、网络处理器(Network Processor，NP)等；还可以是数字信号处理器(Digital SignalProcessing，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现场可编程门阵列(Field-Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。
本发明实施例还提供了一种计算机可读存储介质，所述计算机可读存储介质内存储有计算机程序，所述计算机程序被处理器执行时实现上述任一方法步骤。
需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
本说明书中的各个实施例均采用相关的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于装置、电子设备、计算机可读存储介质实施例而言，由于其基本相似于方法实施例，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。
以上所述仅为本发明的较佳实施例而已，并非用于限定本发明的保护范围。凡在本发明的精神和原则之内所作的任何修改、等同替换、改进等，均包含在本发明的保护范围内。
Claims (10)
1.一种深度图修复方法，其特征在于，所述方法包括：
获取待修复深度图；所述待修复深度图包括待修复区域；
确定位于所述待修复区域中的待修复像素点；
确定所述待修复深度图中以所述待修复像素点为中心的目标区域内的至少一个参考像素点，所述参考像素点位于所述待修复区域外；
确定所述待修复像素点与每一参考像素点间的色彩距离；
确定所述待修复像素点与每一参考像素点间的空间距离；
根据每一参考像素点的深度信息，以及所确定的色彩距离和空间距离，确定所述待修复像素点的深度信息。
2.根据权利要求1所述的方法，其特征在于，所述确定所述待修复像素点与每一参考像素点间的色彩距离的步骤，包括：
获取与所述待修复深度图相对应的红绿蓝RGB图像；
确定与所述RGB图像相对应的Lab色彩模型；
针对每一参考像素点，根据所述Lab色彩模型确定所述待修复像素点与该参考像素点的色彩距离。
3.根据权利要求2所述的方法，其特征在于，所述根据所述Lab色彩模型确定所述待修复像素点与该参考像素点的色彩距离的步骤，包括：
根据以下公式，确定所述待修复像素点与该参考像素点的色彩距离dc：
其中，p为所述待修复像素点，q为参考像素点，lp、ap、bp为与所述待修复像素点相对应的RGB像素点在Lab色彩模型中的三维坐标，lq、aq、bq为与该参考像素点相对应的RGB像素点在Lab色彩模型中的三维坐标。
4.根据权利要求1所述的方法，其特征在于，所述确定所述待修复像素点与每一参考像素点间的空间距离的步骤，包括：
针对每一参考像素点，根据以下公式，确定所述待修复像素点与该参考像素点的空间距离ds：
其中，p为所述待修复像素点，q为参考像素点，xp、yp为所述待修复像素点在所述待修复深度图中的二维坐标，xq、yq为该参考像素点在所述待修复深度图中的二维坐标。
5.根据权利要求1所述的方法，其特征在于，所述根据每一参考像素点的深度信息，以及所确定的色彩距离和空间距离，确定所述待修复像素点的深度信息的步骤，包括：
根据所确定的所述待修复像素点与每一参考像素点间的色彩距离和空间距离，确定每一参考像素点的权值；
根据每一参考像素点的权值和该参考像素点的深度信息，进行加权运算，得到所述待修复像素点的深度信息。
6.根据权利要求5所述的方法，其特征在于，所述根据所确定的所述待修复像素点与每一参考像素点间的色彩距离和空间距离，确定每一参考像素点的权值的步骤，包括：
针对每一参考像素点，根据以下公式，确定该参考像素点的相似度值ω(p,q)：
其中，p为所述待修复像素点，q为参考像素点，dc为所确定的所述待修复像素点p与该参考像素点q间的色彩距离，ds为所确定的所述待修复像素点p与该参考像素点q间的空间距离；
针对每一参考像素点，根据该参考像素点的相似度值，确定该参考像素点的权值。
7.根据权利要求6所述的方法，其特征在于，所述根据该参考像素点的相似度值，确定该参考像素点的权值的步骤，包括：
将该参考像素点的相似度值确定为该参考像素点的权值；或
判断该参考像素点的相似度值是否大于预设阈值；若是，则将该参考像素点的权值确定为1；若否，则将该参考像素点的权值确定为0。
8.根据权利要求5-7任一项所述的方法，其特征在于，所述根据每一参考像素点的权值和该参考像素点的深度信息，进行加权运算，得到所述待修复像素点的深度信息的步骤，包括：
根据以下公式，确定所述待修复像素点的深度信息：
其中，p为所述待修复像素点，q为参考像素点，Depthp(q)为所述待修复像素点的深度信息，ω(p,q)为参考像素点的权值，Nε(p)表示以所述待修复像素点为中心的目标区域，D(q)为所述参考像素点的深度信息，为所述参考像素点的深度梯度。
9.根据权利要求1所述的方法，其特征在于，所述确定位于所述待修复区域中的待修复像素点的步骤，包括：
使用快速行进算法FMM确定所述待修复像素点。
10.一种深度图修复装置，其特征在于，所述装置包括：
获取模块，用于获取待修复深度图，所述待修复深度图包括待修复区域；
确定模块，用于确定位于所述待修复区域中的待修复像素点；确定所述待修复深度图中以所述待修复像素点为中心的目标区域内的至少一个参考像素点，所述参考像素点位于所述待修复区域外；确定所述待修复像素点与每一参考像素点间的色彩距离；确定所述待修复像素点与每一参考像素点间的空间距离；根据每一参考像素点的深度信息，以及所确定的色彩距离和空间距离，确定所述待修复像素点的深度信息。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201811159223.7A CN109345484A (zh) | 2018-09-30 | 2018-09-30 | 一种深度图修复方法及装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201811159223.7A CN109345484A (zh) | 2018-09-30 | 2018-09-30 | 一种深度图修复方法及装置 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN109345484A true CN109345484A (zh) | 2019-02-15 |
Family
ID=65307638
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201811159223.7A Pending CN109345484A (zh) | 2018-09-30 | 2018-09-30 | 一种深度图修复方法及装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN109345484A (zh) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110309777A (zh) * | 2019-07-01 | 2019-10-08 | 武汉全真光电科技有限公司 | 基于lcos架构的人脸识别ar眼镜及其人脸识别方法 |
| CN114648450A (zh) * | 2020-12-21 | 2022-06-21 | 北京的卢深视科技有限公司 | 深度图的空洞修复方法、电子设备及存储介质 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101937578A (zh) * | 2010-09-08 | 2011-01-05 | 宁波大学 | 一种虚拟视点彩色图像绘制方法 |
| CN106485672A (zh) * | 2016-09-12 | 2017-03-08 | 西安电子科技大学 | 改进的块匹配修复和联合三边导向滤波图像增强方法 |
| CN107578418A (zh) * | 2017-09-08 | 2018-01-12 | 华中科技大学 | 一种融合色彩和深度信息的室内场景轮廓检测方法 |
| CN107644429A (zh) * | 2017-09-30 | 2018-01-30 | 华中科技大学 | 一种基于强目标约束视频显著性的视频分割方法 |
| CN108038905A (zh) * | 2017-12-25 | 2018-05-15 | 北京航空航天大学 | 一种基于超像素的目标重建方法 |
-
2018
- 2018-09-30 CN CN201811159223.7A patent/CN109345484A/zh active Pending
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101937578A (zh) * | 2010-09-08 | 2011-01-05 | 宁波大学 | 一种虚拟视点彩色图像绘制方法 |
| CN106485672A (zh) * | 2016-09-12 | 2017-03-08 | 西安电子科技大学 | 改进的块匹配修复和联合三边导向滤波图像增强方法 |
| CN107578418A (zh) * | 2017-09-08 | 2018-01-12 | 华中科技大学 | 一种融合色彩和深度信息的室内场景轮廓检测方法 |
| CN107644429A (zh) * | 2017-09-30 | 2018-01-30 | 华中科技大学 | 一种基于强目标约束视频显著性的视频分割方法 |
| CN108038905A (zh) * | 2017-12-25 | 2018-05-15 | 北京航空航天大学 | 一种基于超像素的目标重建方法 |
Non-Patent Citations (3)
| Title |
|---|
| XIAOJINGONG等: ""Guided depth enhancement via a fast marching method"", 《IMAGE AND VISION COMPUTING》 * |
| 孟恬等: ""基于快速行进算法的深度图像增强算法"", 《计算机应用与软件》 * |
| 李应彬: ""融合深度信息的图像分割算法研究"", 《中国优秀硕士学位论文全文数据库 信息科技辑》 * |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110309777A (zh) * | 2019-07-01 | 2019-10-08 | 武汉全真光电科技有限公司 | 基于lcos架构的人脸识别ar眼镜及其人脸识别方法 |
| CN114648450A (zh) * | 2020-12-21 | 2022-06-21 | 北京的卢深视科技有限公司 | 深度图的空洞修复方法、电子设备及存储介质 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN112367514B (zh) | 三维场景构建方法、装置、系统和存储介质 | |
| CN105957007B (zh) | 基于特征点平面相似度的图像拼接方法 | |
| CN104680501B (zh) | 图像拼接的方法及装置 | |
| CN107111880B (zh) | 针对计算机视觉的遮挡处置 | |
| US9569854B2 (en) | Image processing method and apparatus | |
| CN104680496B (zh) | 一种基于彩色图像分割的Kinect深度图修复方法 | |
| CA2826534C (en) | Backfilling points in a point cloud | |
| CN105933589B (zh) | 一种图像处理方法及终端 | |
| US9311756B2 (en) | Image group processing and visualization | |
| Jazayeri et al. | Interest operators for feature‐based matching in close range photogrammetry | |
| CN107687841A (zh) | 一种测距方法及装置 | |
| CN107113415A (zh) | 用于多技术深度图获取和融合的方法和设备 | |
| CN107852533A (zh) | 三维内容生成装置及其三维内容生成方法 | |
| JP2017520050A (ja) | 局所的適応ヒストグラム平坦化 | |
| CN105374019A (zh) | 一种多深度图融合方法及装置 | |
| CN110300264A (zh) | 图像处理方法、装置、移动终端以及存储介质 | |
| US20150138193A1 (en) | Method and device for panorama-based inter-viewpoint walkthrough, and machine readable medium | |
| CN104751195A (zh) | 利用参考图像的图像处理 | |
| WO2018082388A1 (zh) | 一种肤色检测方法、装置及终端 | |
| CN105578023A (zh) | 一种快速拍摄图像方法及装置 | |
| Vu et al. | Efficient hybrid tree-based stereo matching with applications to postcapture image refocusing | |
| CN109919971A (zh) | 图像处理方法、装置、电子设备及计算机可读存储介质 | |
| CN109345484A (zh) | 一种深度图修复方法及装置 | |
| WO2020151078A1 (zh) | 一种三维重建的方法和装置 | |
| CN105574844B (zh) | 辐射响应函数估计方法和装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20190215 |
|
| RJ01 | Rejection of invention patent application after publication |