CN106651925B - 一种彩色深度图像的获取方法、获取设备 - Google Patents

Abstract

本发明公开了一种彩色深度图像的获取方法、获取设备，该获取方法包括：采集目标区域的第一深度数据以及包含第二深度数据的彩色图像；其中，第一深度数据的精度大于第二深度数据；将第一深度数据与第二深度数据进行配准；利用配准结果，将第一深度数据作为彩色图像的深度值，以得到目标区域的彩色深度图像。通过上述方式，本发明能够将具有较高精度的第一深度数据赋值于彩色图像中，得到具有较高深度精度的彩色深度图像。

Description

一种彩色深度图像的获取方法、获取设备

技术领域

本发明涉及图像处理技术领域，特别是涉及一种彩色深度图像的获取方法、获取设备。

背景技术

随着科学技术和人类认识世界需求的不断发展，传统的机器视觉已经不能满足人们对于三维物体识别的要求。与灰度图像相比，深度图像具有物体三维特征信息，即深度信息。由于深度图像不受光源照射方向及物体表面的发射特性的影响，而且不存在阴影，所以可以更准确地表现物体目标表面的三维深度信息。

使用LIDAR(Light Detection And Ranging，即激光探测与测量)、激光束扫描、激光线扫描技术获取的3D点云(3D图像)数据，具有可测量范围大，数据精度高的特点。但是无色彩信息，帧数低，一般为数帧，不能获得彩色深度图像，因而不能基于3D点云进行物品、人体等目标识别。

使用RGB-D(彩色-深度)相机可以直接获取RGB-D图像，帧数高，一般为数十帧，高频可以达到上百帧。与激光线、激光束扫描技术相比，其测量距离范围较小。例如激光线束保证精度可达到200米，RGB-D相机只能达到10米，而RGB-D相机在10-100米，100米-200米范围的深度信息会有较多的数据缺失，精度较低。

发明内容

本发明主要解决的技术问题是提供一种彩色深度图像的获取方法、获取设备，能够将具有较高精度的第一深度数据赋值于彩色图像中，得到具有较高深度精度的彩色深度图像。

为解决上述技术问题，本发明采用的一个技术方案是：提供一种彩色深度图像的获取方法，该获取方法包括：采集目标区域的第一深度数据以及包含第二深度数据的彩色图像；其中，第一深度数据的精度大于第二深度数据；将第一深度数据与第二深度数据进行配准；利用配准结果，将第一深度数据作为彩色图像的深度值，以得到目标区域的彩色深度图像。

其中，第一深度数据为3D点云，包含第二深度数据的彩色图像为RGB-D图像；将第一深度数据与第二深度数据进行配准，包括：将3D点云中深度值低于预设深度范围的像素点形成的第一深度区域与RGB-D图像中与第一深度区域匹配的第二深度区域进行像素配准；根据第一区域和第二区域之间的像素配准关系，采用图像处理算法，实现3D点云除第一深度区域外的第三深度区域与RGB-D图像除第二深度区域外的第四深度区域之间的像素配准。

其中，将3D点云中深度值低于预设深度范围的像素点形成的第一深度区域与RGB-D图像中与第一深度区域匹配的第二深度区域进行像素配准，包括：遍历3D点云中各像素的深度值，确定深度值在预设深度范围内的至少一个第一像素点；在RGB-D图像中搜索与第一像素点的深度值相匹配的第二像素点；将相邻第二像素点形成的第二深度区域的深度数据与相邻第一像素点形成的第一深度区域的深度数据进行比较，若其深度差小于预设第一深度差值，则确定第二深度区域与第一深度区域匹配，且第一深度区域的第一像素点与第二深度区域对应的第二像素点一一配准。

其中，利用配准结果，将第一深度数据作为彩色图像的深度值，以得到目标区域的彩色深度图像，包括：根据第三深度区域与第四深度区域之间的像素配准关系，将3D点云的第三深度区域的深度数据对应赋值于RGB-D图像的第四深度区域，以得到目标区域的彩色深度图像。

其中，利用配准结果，将第一深度数据作为彩色图像的深度值，以得到目标区域的彩色深度图像，还包括：根据第一深度区域与第二深度区域之间的像素配准关系，将RGB-D图像的第二深度区域中缺失深度值的像素利用3D点云进行补全。

其中，利用配准结果，将第一深度数据作为彩色图像的深度值，以得到目标区域的彩色深度图像，还包括：根据第一深度区域与第二深度区域之间的像素配准关系，将RGB-D图像的第二深度区域中深度值精度较低的像素利用3D点云进行修正；其中，深度值精度较低的像素是指像素深度值，和与之配准的在3D点云中的像素的深度值的差值大于预设第二深度差值。

其中，还包括：利用插值算法对彩色图像缺失深度值的像素进行深度值补全。

为解决上述技术问题，本发明采用的另一个技术方案是：提供一种彩色深度图像的获取装置，该获取装置包括：采集器，用于采集目标区域的第一深度数据以及包含第二深度数据的彩色图像；其中，第一深度数据的精度大于第二深度数据；处理器，用于将第一深度数据与第二深度数据进行配准；以及利用配准结果，将第一深度数据作为彩色图像的深度值，以得到目标区域的彩色深度图像。

其中，采集器包括激光扫描器以及RGB-D相机；激光扫描器用于采集目标区域的3D点云，RGB-D相机用于采集目标区域的RGB-D图像；处理器具体用于：将3D点云中深度值低于预设深度范围的像素点形成的第一深度区域与RGB-D图像中与第一深度区域匹配的第二深度区域进行像素配准；根据第一区域和第二区域之间的像素配准关系，采用图像处理算法，实现3D点云除第一深度区域外的第三深度区域与RGB-D图像除第二深度区域外的第四深度区域之间的像素配准。

其中，处理器具体用于：遍历3D点云中各像素的深度值，确定深度值在预设深度范围内的至少一个第一像素点；在RGB-D图像中搜索与第一像素点的深度值相匹配的第二像素点；将相邻第二像素点形成的第二深度区域的深度数据与相邻第一像素点形成的第一深度区域的深度数据进行比较，若其深度差小于预设第一深度差值，则确定第二深度区域与第一深度区域匹配，且第一深度区域的第一像素点与第二深度区域对应的第二像素点一一配准。

本发明的有益效果是：区别于现有技术的情况，本发明的彩色深度图像的获取方法包括：采集目标区域的第一深度数据以及包含第二深度数据的彩色图像；其中，第一深度数据的精度大于第二深度数据；将第一深度数据与第二深度数据进行配准；利用配准结果，将第一深度数据作为彩色图像的深度值，以得到目标区域的彩色深度图像。通过上述方式，能够将具有较高精度的第一深度数据赋值于彩色图像中，得到具有较高深度精度的彩色深度图像。

附图说明

图1是本发明彩色深度图像的获取方法一实施方式的流程示意图；

图2是本发明彩色深度图像的获取方法一实施方式中S12的流程示意图；

图3是本发明彩色深度图像的获取方法一实施方式中S121的流程示意图；

图4是本发明彩色深度图像的获取方法一实施方式中3D点云与RGB-D图像的预设深度范围内的配准示意图；

图5是本发明彩色深度图像的获取方法一实施方式中3D点云与RGB-D图像的预设深度范围外的配准示意图；

图6是本发明彩色深度图像的获取装置第一实施方式的结构示意图；

图7是本发明彩色深度图像的获取装置第二实施方式的结构示意图。

具体实施方式

参阅图1，图1是本发明彩色深度图像的获取方法一实施方式的流程示意图，该方法包括：

S11：采集目标区域的第一深度数据以及包含第二深度数据的彩色图像。

其中，第一深度数据的精度大于第二深度数据。

其中，第一深度数据是指包含目标区域多个空间点的深度信息，该深度信息可以是距离或三维坐标。

可选的，在一实施例中，该第一深度数据是3D点云数据。

随着三维成像技术的发展，有各种不同类型的传感器、测量装置及成像系统，可以用来获取3D点云数据。以LIDAR成像系统为例，一般地，LIDAR系统使用高能激光器、光学探测器和计时电路，以确定到目标的距离。在常规LIDAR系统中，一个或多个激光脉冲用来照射场景。每个脉冲触发计时电路，该计时电路与探测器阵列一起操作。一般地，系统测量光脉冲的每个像素通过从激光器到目标和返回到探测器阵列的往返路径的时间。从目标反射的光在探测器阵列中被探测，并且其往返行进时间被测量，以确定到在目标上的点的距离。对于组成目标的多个点，得到计算的范围或距离信息，由此创建3D点云。3D点云可用来再现物体的3D形状。

在3D点云中的每个点与由数字摄像机产生的像素数据有些相似，不同之处是，3D点云数据按三维排列，使点在各个位置处由x、y和z坐标系定义。由LIDAR传感器产生的点的3D图像或云通常称作点云数据。

其中，包含第二深度数据的彩色图像是既包含深度信息又包含RGB信息的图像。

可选的，在一实施例中，该包含第二深度数据的彩色图像是RGB-D图像。

RGB-D图像是复合了RGB彩色信息和对应像素Depth深度值的图像，，相当于包含两幅图像的信息，包括一个普通的RGB三通道彩色图像，和一个Depth(深度)图像。Depth图像是它的每个像素值用于表示该像素对应的物体与传感器之间的距离。RGB-D图像就是RGB图像和Depth图像经过配准的，因而像素点之间具有一对一的对应关系。利用RGB-D相机可以采集RGB-D图像。其中，3D点云和RGB-D图像应当是同时采集的，由于需要同时采集，所以两种采集设备常常需要设置在相邻的两个位置，以使两个采集设备获取目标区域同一视角的图像。但由于两个采集设备之间总会有一定的距离，因此，可以通过相机标定、视角标定等算法，将3D点云和RGB-D图像统一到同一视角。

可以理解的，由于包含第二深度数据的彩色图像的深度数据的精度较低，而具有较高精度的第一深度数据又不具有彩色信息，因此下面需要将第一深度数据赋予彩色图像。

S12：将第一深度数据与第二深度数据进行配准。

由于第一深度数据和第二深度数据的帧数、数据密度以及数据范围均有所差别，所以不能直接将第一深度数据作为彩色图像的深度值，需要将第一深度数据与第二深度数据进行配准，以使获得的彩色深度图像中每个像素的深度值尽量准确。

以上述的3D点云为第一深度数据，RGB-D图像为包含第二深度数据的彩色图像为例，3D点云的深度信息精度高，测量距离远，但是没有RGB信息且帧数低；RGB-D图像帧数高，但是精度低，测量距离较短，一般只能达到10米。

因此，可选的，如图2所示，S12可以具体包括：

S121：将3D点云中深度值低于预设深度范围的像素点形成的第一深度区域与RGB-D图像中与第一深度区域匹配的第二深度区域进行像素配准。

S122：根据第一区域和第二区域之间的像素配准关系，采用图像处理算法，实现3D点云除第一深度区域外的第三深度区域与RGB-D图像除第二深度区域外的第四深度区域之间的像素配准。

可以理解的，在预设范围内(例如10米)，3D点云与RGB-D图像均具有深度数据，可以利用在预设深度范围内的3D点云中的第一深度区域以及RGB-D图像中与第一深度区域匹配的第二深度区域进行像素配准。

具体地，如图3所示，在一实施例中，S121可以包含以下步骤：

S1211：遍历3D点云中各像素的深度值，确定深度值在预设深度范围内的至少一个第一像素点。

S1212：在RGB-D图像中搜索与第一像素点的深度值相匹配的第二像素点。

S1213：将相邻第二像素点形成的第二深度区域的深度数据与相邻第一像素点形成的第一深度区域的深度数据进行比较，若其深度差小于预设第一深度差值，则确定第二深度区域与第一深度区域匹配，且第一深度区域的第一像素点与第二深度区域对应的第二像素点一一配准。

具体参阅图4，图4是本发明彩色深度图像的获取方法一实施方式中3D点云与RGB-D图像的配准示意图。

其中，图中的D表示深度坐标，a、b、c、d分别表示第一深度区域、第二深度区域、第三深度区域以及第四深度区域。

举例而言，先在3D点云的第一深度区域a中选择像素点A，在RGB-D图像中的第二深度区域b中搜索与像素点A深度值相匹配的像素点B，再将包含像素点A的一个像素点区域与包含像素点B的一个像素点区域的深度数据进行比较配准，若满足预设条件，则认定像素点A和像素点B是匹配的。

进一步，参照上述的方式，可以将3D点云中第一深度区域a的每个像素点在RGB-D图像的第二深度区域b中搜到匹配到相对应的像素点，进而实现在预设深度范围内，3D点云和RGB-D图像的像素配准。

在第一深度区域a与第二深度区域b配准后，可以直接利用其配准关系，实现第三深度区域c与第四深度区域d的配准。

具体地，在第一深度区域a与第二深度区域b配准后，可以对第一深度区域a与第二深度区域b进行定标，使第一深度区域a与第二深度区域b中已经配准的像素一一对应，且在同一副图(3D点云或RGB-D图)中，已配准的像素点之间的距离，或多个像素点形成的网格保持一致。

S13：利用配准结果，将第一深度数据作为彩色图像的深度值，以得到目标区域的彩色深度图像。

其中，S13具体为：根据第三深度区域与第四深度区域之间的像素配准关系，将3D点云的第三深度区域的深度数据对应赋值于RGB-D图像的第四深度区域，以得到目标区域的彩色深度图像。

具体地，如图5所示，其中的阴影部分表示具有深度值的像素点，可以看出，在3D点云中，具有深度值的像素点密度较低，但距离较远，而在RGB-D图像中，具有深度值的像素点密度较高，但距离较近。

假设在预设深度范围内，RGB-D的像素点密度是3D点云的两倍，例如，3D点云为4×4个像素，RGB-D图像为8×8个像素。

以矩阵表示,3D点云的矩阵为：

RGB-D图像的矩阵为：

在预设深度范围内的配准中，若A₁₁与B₁₁的深度值相匹配，A₁₂与B₁₃的深度相匹配，A₁₃与B₁₅的深度相匹配，A₁₄与B₁₇的深度相匹配，即3D点云的第一行的1、2、3、4个像素的深度值分别与RGB-D图像中第一行的1、3、4、5个像素相匹配。以此类推，3D点云的第二行的1、2、3、4个像素的深度值分别与RGB-D图像中第三行的1、3、4、5个像素相匹配，3D点云的第三行的1、2、3、4个像素的深度值分别与RGB-D图像中第五行的1、3、4、5个像素相匹配，3D点云的第四行的1、2、3、4个像素的深度值分别与RGB-D图像中第七行的1、3、4、5个像素相匹配。当然，以上举例仅为理想情况，在具体实现中，往往不能实现每个像素点的一一对应。

在预设深度范围内的像素配准后，对像素点进行定标。例如，可以根据RGB-D图像每两个像素之间的距离，来调整3D点云中每两个像素的距离，对3D点云的图像进行缩放，以使在预设深度范围外，3D点云和RGB-D图像也实现像素配准。

最后，根据上述配准关系，直接将3D点云中每个像素点的深度值一一赋予RGB-D图像中与之配准的像素点。

可选的，在一实施例中，由于在预设深度范围内，RGB-D图像中的像素点大致包含深度信息，因此，只需要将预设深度范围外的3D点云深度数据按照配准关系赋予RGB-D图像中相对应的像素点。

可选的，在另一实施例中，由于在RGB-D图像中，虽然在预设深度范围内的像素点具有深度值，但是部分像素点的深度值有缺失或者深度值的精度较低。因此，在S13之后，还可以包括：

根据第一深度区域与第二深度区域之间的像素配准关系，将RGB-D图像的第二深度区域中缺失深度值的像素利用3D点云进行补全。以及

根据第一深度区域与第二深度区域之间的像素配准关系，将RGB-D图像的第二深度区域中深度值精度较低的像素利用3D点云进行修正；其中，深度值精度较低的像素是指像素深度值，和与之配准的在3D点云中的像素的深度值的差值大于预设第二深度差值。

具体地，还可以直接将第一深度区域所有像素点的深度值一一对应的赋予第二深度区域的像素。可以理解的，由于第二深度区域像素密度大，因此，换句话说，在第二深度区域中，若一个像素点能在第一深度区域中找到与之相匹配的像素点，则将其深度值替换为第一深度区域中与之对应的像素点的深度值。

另外，由于RGB-D图像的像素密度大于3D点云，因此，在上述步骤完成后，RGB-D图像中还是会有一部分的像素点缺失深度值，也无法在3D点云中找到与之匹配的像素点，则可以利用插值算法对RGB-D图像缺失深度值的像素进行深度值补全。具体地，可以采用三元线性插值、三元三次插值、克里金插值算法等算法中的一种。

区别于现有技术，本实施方式的彩色深度图像的获取方法包括：采集目标区域的第一深度数据以及包含第二深度数据的彩色图像；其中，第一深度数据的精度大于第二深度数据；将第一深度数据与第二深度数据进行配准；利用配准结果，将第一深度数据作为彩色图像的深度值，以得到目标区域的彩色深度图像。通过上述方式，能够将具有较高精度的第一深度数据赋值于彩色图像中，得到具有较高深度精度的彩色深度图像。

参阅图6，图6是本发明彩色深度图像的获取装置第一实施方式的结构示意图，该装置包括采集器61以及处理器62。

其中，采集器61用于采集目标区域的第一深度数据以及包含第二深度数据的彩色图像；其中，第一深度数据的精度大于第二深度数据。

处理器62用于将第一深度数据与第二深度数据进行配准；以及利用配准结果，将第一深度数据作为彩色图像的深度值，以得到目标区域的彩色深度图像。

具体地，如图7所示，图7是本发明彩色深度图像的获取装置第二实施方式的结构示意图，采集器61包括激光扫描器611以及RGB-D相机612。

其中，激光扫描器611可以是SLAM装置，RGB-D相机612可以是Kinect。

激光扫描器611用于采集目标区域的3D点云，RGB-D相机612用于采集目标区域的RGB-D图像。

处理器62具体用于：

将3D点云中深度值低于预设深度范围的像素点形成的第一深度区域与RGB-D图像中与第一深度区域匹配的第二深度区域进行像素配准。以及

根据第一区域和第二区域之间的像素配准关系，采用图像处理算法，实现3D点云除第一深度区域外的第三深度区域与RGB-D图像除第二深度区域外的第四深度区域之间的像素配准。

可选的，在处理器62实现第一深度区域和第二深度区域配准时，可以具体采用以下步骤：

遍历3D点云中各像素的深度值，确定深度值在预设深度范围内的至少一个第一像素点。

在RGB-D图像中搜索与第一像素点的深度值相匹配的第二像素点。

将相邻第二像素点形成的第二深度区域的深度数据与相邻第一像素点形成的第一深度区域的深度数据进行比较，若其深度差小于预设第一深度差值，则确定第二深度区域与第一深度区域匹配，且第一深度区域的第一像素点与第二深度区域对应的第二像素点一一配准。

另外，在其他实施方式中，彩色深度图像的获取装置还可以是一个系统，其中的激光扫描器611和RGB-D相机612是现有的采集装置，两个装置通过数据线或其他方式连接到处理器62，以使处理器62进行以上的数据处理。

另外，该处理器还可以跟其他设备(例如显示器等)形成一个处理设备，例如电脑，激光扫描器611和RGB-D相机612通过数据线连接电脑，以使电脑中的处理器来进行以上的数据处理器。

可以理解的，本实施方式的彩色深度图像的获取装置是基于上述彩色深度图像的获取方法的一具体装置实施例，其原理和实施步骤类似，这里不再赘述。

区别于现有技术，本实施方式的彩色深度图像的获取装置包括：采集器，用于采集目标区域的第一深度数据以及包含第二深度数据的彩色图像；其中，第一深度数据的精度大于第二深度数据；处理器，用于将第一深度数据与第二深度数据进行配准；以及利用配准结果，将第一深度数据作为彩色图像的深度值，以得到目标区域的彩色深度图像。通过上述方式，能够将具有较高精度的第一深度数据赋值于彩色图像中，得到具有较高深度精度的彩色深度图像。

以上所述仅为本发明的实施方式，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本发明的专利保护范围内。

Claims (8)

1.一种彩色深度图像的获取方法，其特征在于，包括：

采集目标区域的第一深度数据以及包含第二深度数据的彩色图像；其中，所述第一深度数据的精度大于所述第二深度数据；其中，所述第一深度数据为3D点云，所述包含第二深度数据的彩色图像为RGB-D图像；

将所述3D点云中深度值低于预设深度范围的像素点形成的第一深度区域与所述RGB-D图像中与所述第一深度区域匹配的第二深度区域进行像素配准；

根据所述第一深度区域和所述第二深度区域之间的像素配准关系，采用图像处理算法，实现所述3D点云除所述第一深度区域外的第三深度区域与所述RGB-D图像除所述第二深度区域外的第四深度区域之间的像素配准；

利用所述配准结果，将所述第一深度数据作为所述彩色图像的深度值，以得到所述目标区域的彩色深度图像。

2.根据权利要求1所述的获取方法，其特征在于，

所述将所述3D点云中深度值低于预设深度范围的像素点形成的第一深度区域与所述RGB-D图像中与所述第一深度区域匹配的第二深度区域进行像素配准，包括：

遍历所述3D点云中各像素的深度值，确定深度值在预设深度范围内的至少一个第一像素点；

在所述RGB-D图像中搜索与所述第一像素点的深度值相匹配的第二像素点；

将相邻所述第二像素点形成的第二深度区域的深度数据与相邻所述第一像素点形成的第一深度区域的深度数据进行比较，若其深度差小于预设第一深度差值，则确定所述第二深度区域与所述第一深度区域匹配，且所述第一深度区域的第一像素点与所述第二深度区域对应的第二像素点一一配准。

3.根据权利要求1所述的获取方法，其特征在于，

所述利用所述配准结果，将所述第一深度数据作为所述彩色图像的深度值，以得到所述目标区域的彩色深度图像，包括：

根据所述第三深度区域与所述第四深度区域之间的像素配准关系，将所述3D点云的第三深度区域的深度数据对应赋值于所述RGB-D图像的第四深度区域，以得到所述目标区域的彩色深度图像。

4.根据权利要求3所述的获取方法，其特征在于，

所述利用所述配准结果，将所述第一深度数据作为所述彩色图像的深度值，以得到所述目标区域的彩色深度图像，还包括：

根据所述第一深度区域与所述第二深度区域之间的像素配准关系，将所述RGB-D图像的第二深度区域中缺失深度值的像素利用所述3D点云进行补全。

5.根据权利要求4所述的获取方法，其特征在于，

所述利用所述配准结果，将所述第一深度数据作为所述彩色图像的深度值，以得到所述目标区域的彩色深度图像，还包括：

根据所述第一深度区域与所述第二深度区域之间的像素配准关系，将所述RGB-D图像的第二深度区域中深度值精度较低的像素利用所述3D点云进行修正；

其中，深度值精度较低的像素是指所述像素深度值，和与之配准的在所述3D点云中的像素的深度值的差值大于预设第二深度差值。

6.根据权利要求1所述的获取方法，其特征在于，还包括：

利用插值算法对所述彩色图像缺失深度值的像素进行深度值补全。

7.一种彩色深度图像的获取装置，其特征在于，包括：

采集器，用于采集目标区域的第一深度数据以及包含第二深度数据的彩色图像；其中，所述第一深度数据的精度大于所述第二深度数据；其中，所述采集器包括激光扫描器以及RGB-D相机，所述激光扫描器用于采集所述目标区域的3D点云，所述RGB-D相机用于采集所述目标区域的RGB-D图像；

处理器，用于将所述3D点云中深度值低于预设深度范围的像素点形成的第一深度区域与所述RGB-D图像中与所述第一深度区域匹配的第二深度区域进行像素配准；根据所述第一深度区域和所述第二深度区域之间的像素配准关系，采用图像处理算法，实现所述3D点云除所述第一深度区域外的第三深度区域与所述RGB-D图像除所述第二深度区域外的第四深度区域之间的像素配准；以及

利用所述配准结果，将所述第一深度数据作为所述彩色图像的深度值，以得到所述目标区域的彩色深度图像。

8.根据权利要求7所述的获取装置，其特征在于，

所述处理器具体用于：

遍历所述3D点云中各像素的深度值，确定深度值在预设深度范围内的至少一个第一像素点；

在所述RGB-D图像中搜索与所述第一像素点的深度值相匹配的第二像素点；

将相邻所述第二像素点形成的第二深度区域的深度数据与相邻所述第一像素点形成的第一深度区域的深度数据进行比较，若其深度差小于预设第一深度差值，则确定所述第二深度区域与所述第一深度区域匹配，且所述第一深度区域的第一像素点与所述第二深度区域对应的第二像素点一一配准。