CN106780593B - 一种彩色深度图像的获取方法、获取设备 - Google Patents

一种彩色深度图像的获取方法、获取设备 Download PDF

Info

Publication number
CN106780593B
CN106780593B CN201611078702.7A CN201611078702A CN106780593B CN 106780593 B CN106780593 B CN 106780593B CN 201611078702 A CN201611078702 A CN 201611078702A CN 106780593 B CN106780593 B CN 106780593B
Authority
CN
China
Prior art keywords
depth
image
pixel
rgb
areas
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201611078702.7A
Other languages
English (en)
Other versions
CN106780593A (zh
Inventor
黄源浩
肖振中
许宏淮
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Orbbec Inc
Original Assignee
Shenzhen Orbbec Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Orbbec Co Ltd filed Critical Shenzhen Orbbec Co Ltd
Priority to CN201611078702.7A priority Critical patent/CN106780593B/zh
Publication of CN106780593A publication Critical patent/CN106780593A/zh
Application granted granted Critical
Publication of CN106780593B publication Critical patent/CN106780593B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10052—Images from lightfield camera

Landscapes

  • Length Measuring Devices By Optical Means (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

本发明公开了一种彩色深度图像的获取方法、获取设备，该获取方法包括：采集目标区域的第一深度数据以及包含第二深度数据的彩色图像；其中，第一深度数据的精度大于第二深度数据；将第一深度数据与第二深度数据进行配准；利用配准结果，将彩色图像的RGB值作为第一深度数据的RGB值，以得到目标区域的彩色深度图像。通过上述方式，本发明能够将彩色图像的RGB值赋值于具有较高精度的第一深度数据中，得到具有较高深度精度的彩色深度图像。

Description

一种彩色深度图像的获取方法、获取设备
技术领域
本发明涉及图像处理技术领域，特别是涉及一种彩色深度图像的获取方法、获取设备。
背景技术
随着科学技术和人类认识世界需求的不断发展，传统的机器视觉已经不能满足人们对于三维物体识别的要求。与灰度图像相比，深度图像具有物体三维特征信息，即深度信息。由于深度图像不受光源照射方向及物体表面的发射特性的影响，而且不存在阴影，所以可以更准确地表现物体目标表面的三维深度信息。
使用LIDAR(Light Detection And Ranging，即激光探测与测量)、激光束扫描、激光线扫描技术获取的3D点云(3D图像)数据，具有可测量范围大，数据精度高的特点。但是无色彩信息，帧数低，一般为数帧，不能获得彩色深度图像，因而不能基于3D点云进行物品、人体等目标识别。
使用RGB-D(彩色-深度)相机可以直接获取RGB-D图像，帧数高，一般为数十帧，高频可以达到上百帧。与激光线、激光束扫描技术相比，其测量距离范围较小。例如激光线束保证精度可达到200米，RGB-D相机只能达到10米，而RGB-D相机在10-100米，100米-200米范围的深度信息会有较多的数据缺失，精度较低。
发明内容
本发明主要解决的技术问题是提供一种彩色深度图像的获取方法、获取设备，能够将彩色图像的RGB值赋值于具有较高精度的第一深度数据中，得到具有较高深度精度的彩色深度图像。
为解决上述技术问题，本发明采用的一个技术方案是：提供一种彩色深度图像的获取方法，该方法包括：采集目标区域的第一深度数据以及包含第二深度数据的彩色图像；其中，第一深度数据的精度大于第二深度数据；将第一深度数据与第二深度数据进行配准；利用配准结果，将彩色图像的RGB值作为第一深度数据的RGB值，以得到目标区域的彩色深度图像。
其中，第一深度数据为3D点云，包含第二深度数据的彩色图像为RGB-D图像；将第一深度数据与第二深度数据进行配准，包括：将3D点云中深度值低于预设深度范围的像素点形成的第一深度区域与RGB-D图像中与第一深度区域匹配的第二深度区域进行像素配准；根据第一区域和第二区域之间的像素配准关系，采用图像处理算法，实现3D点云除第一深度区域外的第三深度区域与RGB-D图像除第二深度区域外的第四深度区域之间的像素配准。
其中，将3D点云中深度值低于预设深度范围的像素点形成的第一深度区域与RGB-D图像中与第一深度区域匹配的第二深度区域进行像素配准，包括：遍历3D点云中各像素的深度值，确定深度值在预设深度范围内的至少一个第一像素点；在RGB-D图像中搜索与第一像素点的深度值相匹配的第二像素点；将相邻第二像素点形成的第二深度区域的深度数据与相邻第一像素点形成的第一深度区域的深度数据进行比较，若其深度差小于预设第一深度差值，则确定第二深度区域与第一深度区域匹配，且第一深度区域的第一像素点与第二深度区域对应的第二像素点一一配准。
其中，利用配准结果，将彩色图像的RGB值作为第一深度数据的RGB值，以得到目标区域的彩色深度图像，包括：根据第一深度区域与第二深度区域之间的像素配准关系，将RGB-D图像的第二深度区域的RGB值对应赋值于3D点云的第一深度区域；以及根据第三深度区域与第四深度区域之间的像素配准关系，将RGB-D图像的第四深度区域的RGB值对应赋值于3D点云的第三深度区域，以得到目标区域的彩色深度图像。
其中，利用配准结果，将彩色图像的RGB值作为第一深度数据的RGB值，以得到目标区域的彩色深度图像，还包括：根据3D点云与RGB-D图像之间的像素配准关系，将3D点云中缺失RGB值的像素利用RGB-D图像进行补全。
其中，还包括：利用插值算法对3D点云中缺失RGB值的像素进行RGB值补全。
为解决上述技术问题，本发明采用的另一个技术方案是：提供一种彩色深度图像的获取装置，该装置包括：采集器，用于采集目标区域的第一深度数据以及包含第二深度数据的彩色图像；其中，第一深度数据的精度大于第二深度数据；处理器，用于将第一深度数据与第二深度数据进行配准；以及利用配准结果，将彩色图像的RGB值作为第一深度数据的RGB值，以得到目标区域的彩色深度图像。
其中，采集器包括激光扫描器以及RGB-D相机；激光扫描器用于采集目标区域的3D点云，RGB-D相机用于采集目标区域的RGB-D图像；处理器具体用于：将3D点云中深度值低于预设深度范围的像素点形成的第一深度区域与RGB-D图像中与第一深度区域匹配的第二深度区域进行像素配准；根据第一区域和第二区域之间的像素配准关系，采用图像处理算法，实现3D点云除第一深度区域外的第三深度区域与RGB-D图像除第二深度区域外的第四深度区域之间的像素配准。
其中，处理器具体用于：遍历3D点云中各像素的深度值，确定深度值在预设深度范围内的至少一个第一像素点；在RGB-D图像中搜索与第一像素点的深度值相匹配的第二像素点；将相邻第二像素点形成的第二深度区域的深度数据与相邻第一像素点形成的第一深度区域的深度数据进行比较，若其深度差小于预设第一深度差值，则确定第二深度区域与第一深度区域匹配，且第一深度区域的第一像素点与第二深度区域对应的第二像素点一一配准。
其中，处理器还用于利用插值算法对3D点云中缺失RGB值的像素进行RGB值补全。
本发明的有益效果是：区别于现有技术的情况，本发明的彩色深度图像的获取方法包括：采集目标区域的第一深度数据以及包含第二深度数据的彩色图像；其中，第一深度数据的精度大于第二深度数据；将第一深度数据与第二深度数据进行配准；利用配准结果，将彩色图像的RGB值作为第一深度数据的RGB值，以得到目标区域的彩色深度图像。通过上述方式，能够将彩色图像的RGB值赋值于具有较高精度的第一深度数据中，得到具有较高深度精度的彩色深度图像。
附图说明
图1是本发明彩色深度图像的获取方法一实施方式的流程示意图；
图2是本发明彩色深度图像的获取方法一实施方式中S12的流程示意图；
图3是本发明彩色深度图像的获取方法一实施方式中S121的流程示意图；
图4是本发明彩色深度图像的获取方法一实施方式中3D点云与RGB-D图像的预设深度范围内的配准示意图；
图5是本发明彩色深度图像的获取方法一实施方式中3D点云与RGB-D图像的预设深度范围外的配准示意图；
图6是本发明彩色深度图像的获取装置第一实施方式的结构示意图；
图7是本发明彩色深度图像的获取装置第二实施方式的结构示意图。
具体实施方式
参阅图1，图1是本发明彩色深度图像的获取方法一实施方式的流程示意图，该方法包括：
S11：采集目标区域的第一深度数据以及包含第二深度数据的彩色图像。
其中，第一深度数据的精度大于第二深度数据。
其中，第一深度数据是指包含目标区域多个空间点的深度信息，该深度信息可以是距离或三维坐标。
可选的，在一实施例中，该第一深度数据是3D点云数据。
随着三维成像技术的发展，有各种不同类型的传感器、测量装置及成像系统，可以用来获取3D点云数据。以LIDAR成像系统为例，一般地，LIDAR系统使用高能激光器、光学探测器和计时电路，以确定到目标的距离。在常规LIDAR系统中，一个或多个激光脉冲用来照射场景。每个脉冲触发计时电路，该计时电路与探测器阵列一起操作。一般地，系统测量光脉冲的每个像素通过从激光器到目标和返回到探测器阵列的往返路径的时间。从目标反射的光在探测器阵列中被探测，并且其往返行进时间被测量，以确定到在目标上的点的距离。对于组成目标的多个点，得到计算的范围或距离信息，由此创建3D点云。3D点云可用来再现物体的3D形状。
在3D点云中的每个点与由数字摄像机产生的像素数据有些相似，不同之处是，3D点云数据按三维排列，使点在各个位置处由x、y和z坐标系定义。由LIDAR传感器产生的点的3D图像或云通常称作点云数据。
其中，包含第二深度数据的彩色图像是既包含深度信息又包含RGB信息的图像。
可选的，在一实施例中，该包含第二深度数据的彩色图像是RGB-D图像。
RGB-D图像是复合了RGB彩色信息和对应像素Depth深度值的图像，，相当于包含两幅图像的信息，包括一个普通的RGB三通道彩色图像，和一个Depth(深度)图像。Depth图像是它的每个像素值用于表示该像素对应的物体与传感器之间的距离。RGB-D图像就是RGB图像和Depth图像经过配准的，因而像素点之间具有一对一的对应关系。利用RGB-D相机可以采集RGB-D图像。其中，3D点云和RGB-D图像应当是同时采集的，由于需要同时采集，所以两种采集设备常常需要设置在相邻的两个位置，以使两个采集设备获取目标区域同一视角的图像。但由于两个采集设备之间总会有一定的距离，因此，可以通过相机标定、视角标定等算法，将3D点云和RGB-D图像统一到同一视角。
可以理解的，由于包含第二深度数据的彩色图像的深度数据的精度较低，而具有较高精度的第一深度数据又不具有彩色信息，因此下面需要将第一深度数据赋予彩色图像。
S12：将第一深度数据与第二深度数据进行配准。
由于第一深度数据和第二深度数据的帧数、数据密度以及数据范围均有所差别，所以不能直接将第一深度数据作为彩色图像的深度值，需要将第一深度数据与第二深度数据进行配准，以使获得的彩色深度图像中每个像素的深度值尽量准确。
以上述的3D点云为第一深度数据，RGB-D图像为包含第二深度数据的彩色图像为例，3D点云的深度信息精度高，测量距离远，但是没有RGB信息且帧数低；RGB-D图像帧数高，但是精度低，测量距离较短，一般只能达到10米。
因此，可选的，如图2所示，S12可以具体包括：
S121：将3D点云中深度值低于预设深度范围的像素点形成的第一深度区域与RGB-D图像中与第一深度区域匹配的第二深度区域进行像素配准。
S122：根据第一区域和第二区域之间的像素配准关系，采用图像处理算法，实现3D点云除第一深度区域外的第三深度区域与RGB-D图像除第二深度区域外的第四深度区域之间的像素配准。
可以理解的，在预设范围内(例如10米)，3D点云与RGB-D图像均具有深度数据，可以利用在预设深度范围内的3D点云中的第一深度区域以及RGB-D图像中与第一深度区域匹配的第二深度区域进行像素配准。
具体地，如图3所示，在一实施例中，S121可以包含以下步骤：
S1211：遍历3D点云中各像素的深度值，确定深度值在预设深度范围内的至少一个第一像素点。
S1212：在RGB-D图像中搜索与第一像素点的深度值相匹配的第二像素点。
S1213：将相邻第二像素点形成的第二深度区域的深度数据与相邻第一像素点形成的第一深度区域的深度数据进行比较，若其深度差小于预设第一深度差值，则确定第二深度区域与第一深度区域匹配，且第一深度区域的第一像素点与第二深度区域对应的第二像素点一一配准。
具体参阅图4，图4是本发明彩色深度图像的获取方法一实施方式中3D点云与RGB-D图像的配准示意图。
其中，图中的D表示深度坐标，a、b、c、d分别表示第一深度区域、第二深度区域、第三深度区域以及第四深度区域。
举例而言，先在3D点云的第一深度区域a中选择像素点A，在RGB-D图像中的第二深度区域b中搜索与像素点A深度值相匹配的像素点B，再将包含像素点A的一个像素点区域与包含像素点B的一个像素点区域的深度数据进行比较配准，若满足预设条件，则认定像素点A和像素点B是匹配的。
进一步，参照上述的方式，可以将3D点云中第一深度区域a的每个像素点在RGB-D图像的第二深度区域b中搜到匹配到相对应的像素点，进而实现在预设深度范围内，3D点云和RGB-D图像的像素配准。
在第一深度区域a与第二深度区域b配准后，可以直接利用其配准关系，实现第三深度区域c与第四深度区域d的配准。
具体地，在第一深度区域a与第二深度区域b配准后，可以对第一深度区域a与第二深度区域b进行定标，使第一深度区域a与第二深度区域b中已经配准的像素一一对应，且在同一副图(3D点云或RGB-D图)中，已配准的像素点之间的距离，或多个像素点形成的网格保持一致。
S13：利用配准结果，将彩色图像的RGB值作为第一深度数据的RGB值，以得到目标区域的彩色深度图像。
可选的，在一具体的实施方式中，S13可以具体包括：
根据第一深度区域与第二深度区域之间的像素配准关系，将RGB-D图像的第二深度区域的RGB值对应赋值于3D点云的第一深度区域；以及根据第三深度区域与第四深度区域之间的像素配准关系，将RGB-D图像的第四深度区域的RGB值对应赋值于3D点云的第三深度区域，以得到目标区域的彩色深度图像。
具体地，如图5所示，其中的阴影部分表示具有深度值的像素点，可以看出，在3D点云中，具有深度值的像素点密度较低，但距离较远，而在RGB-D图像中，具有深度值的像素点密度较高，但距离较近，并且在RGB-D图像中，每个像素均具有RGB值。
假设在预设深度范围内，RGB-D的像素点密度是3D点云的两倍，例如，3D点云为4×4个像素，RGB-D图像为8×8个像素。
以矩阵表示，3D点云的矩阵为：
RGB-D图像的矩阵为：
在预设深度范围内的配准中，若A11与B11的深度值相匹配，A12与B13的深度相匹配，A13与B15的深度相匹配，A14与B17的深度相匹配，即3D点云的第一行的1、2、3、4个像素的深度值分别与RGB-D图像中第一行的1、3、4、5个像素相匹配。以此类推，3D点云的第二行的1、2、3、4个像素的深度值分别与RGB-D图像中第三行的1、3、4、5个像素相匹配，3D点云的第三行的1、2、3、4个像素的深度值分别与RGB-D图像中第五行的1、3、4、5个像素相匹配，3D点云的第四行的1、2、3、4个像素的深度值分别与RGB-D图像中第七行的1、3、4、5个像素相匹配。当然，以上举例仅为理想情况，在具体实现中，往往不能实现每个像素点的一一对应。
在预设深度范围内的像素配准后，对像素点进行定标。例如，可以根据RGB-D图像每两个像素之间的距离，来调整3D点云中每两个像素的距离，对3D点云的图像进行缩放，以使在预设深度范围外，3D点云和RGB-D图像也实现像素配准。
最后，根据上述配准关系，直接将RGB-D图像中每个像素点的RGB值一一赋予3D点云中与之匹配的像素点，即第二深度区域的RGB值赋予第一深度区域，第四深度区域的RGB值赋予第三深度区域。从而使得3D点云中的像素点具有RGB值，得到具有深度信息的彩色图像。
可以理解的，在S12的配准过程中，往往不能实现每个像素的匹配，即3D点云中，不是每个像素点均能够在RGB-D图像中找到与之对应的像素点。
在一种实施方式中，可以采用近似配准的方法。例如3D点云中的一个像素在RGB-D图像中找不到与之对应的像素点，但其周围的8个像素点(九宫格形式)在RGB-D图像中正好能够找到匹配的8个像素点，且这8个像素点的中间也缺少一个与之匹配的3D点云中的像素点，因此，可以直接将这两个像素点配准，进而将RGB值赋值于这个像素点。
在另一种实施方式中，也可以利用插值算法对3D点云中缺失RGB值的像素进行RGB值补全。具体地，可以采用三元线性插值、三元三次插值、克里金插值算法等算法中的一种。
区别于现有技术，本实施方式的彩色深度图像的获取方法包括：采集目标区域的第一深度数据以及包含第二深度数据的彩色图像；其中，第一深度数据的精度大于第二深度数据；将第一深度数据与第二深度数据进行配准；利用配准结果，将彩色图像的RGB值作为第一深度数据的RGB值，以得到目标区域的彩色深度图像。通过上述方式，能够将彩色图像的RGB值赋值于具有较高精度的第一深度数据中，得到具有较高深度精度的彩色深度图像。
参阅图6，图6是本发明彩色深度图像的获取装置第一实施方式的结构示意图，该装置包括采集器61以及处理器62。
其中，采集器61用于采集目标区域的第一深度数据以及包含第二深度数据的彩色图像；其中，第一深度数据的精度大于第二深度数据。
处理器62用于将第一深度数据与第二深度数据进行配准；以及利用配准结果，将彩色图像的RGB值作为第一深度数据的RGB值，以得到目标区域的彩色深度图像。
具体地，如图7所示，图7是本发明彩色深度图像的获取装置第二实施方式的结构示意图，采集器61包括激光扫描器611以及RGB-D相机612。
其中，激光扫描器611可以是SLAM装置，RGB-D相机612可以是Kinect。
激光扫描器611用于采集目标区域的3D点云，RGB-D相机612用于采集目标区域的RGB-D图像。
处理器62具体用于：
将3D点云中深度值低于预设深度范围的像素点形成的第一深度区域与RGB-D图像中与第一深度区域匹配的第二深度区域进行像素配准。以及
根据第一区域和第二区域之间的像素配准关系，采用图像处理算法，实现3D点云除第一深度区域外的第三深度区域与RGB-D图像除第二深度区域外的第四深度区域之间的像素配准。
可选的，在处理器62实现第一深度区域和第二深度区域配准时，可以具体采用以下步骤：
遍历3D点云中各像素的深度值，确定深度值在预设深度范围内的至少一个第一像素点。
在RGB-D图像中搜索与第一像素点的深度值相匹配的第二像素点。
将相邻第二像素点形成的第二深度区域的深度数据与相邻第一像素点形成的第一深度区域的深度数据进行比较，若其深度差小于预设第一深度差值，则确定第二深度区域与第一深度区域匹配，且第一深度区域的第一像素点与第二深度区域对应的第二像素点一一配准。
另外，在其他实施方式中，彩色深度图像的获取装置还可以是一个系统，其中的激光扫描器611和RGB-D相机612是现有的采集装置，两个装置通过数据线或其他方式连接到处理器62，以使处理器62进行以上的数据处理。
另外，该处理器还可以跟其他设备(例如显示器等)形成一个处理设备，例如电脑，激光扫描器611和RGB-D相机612通过数据线连接电脑，以使电脑中的处理器来进行以上的数据处理器。
可以理解的，本实施方式的彩色深度图像的获取装置是基于上述彩色深度图像的获取方法的一具体装置实施例，其原理和实施步骤类似，这里不再赘述。
区别于现有技术，本实施方式的彩色深度图像的获取装置包括：采集器，用于采集目标区域的第一深度数据以及包含第二深度数据的彩色图像；其中，第一深度数据的精度大于第二深度数据；处理器，用于将第一深度数据与第二深度数据进行配准；以及利用配准结果，将彩色图像的RGB值作为第一深度数据的RGB值，以得到目标区域的彩色深度图像。通过上述方式，能够将彩色图像的RGB值赋值于具有较高精度的第一深度数据中，得到具有较高深度精度的彩色深度图像。
以上所述仅为本发明的实施方式，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本发明的专利保护范围内。

Claims (8)

1.一种彩色深度图像的获取方法，其特征在于，包括：
采集目标区域的第一深度数据以及包含第二深度数据的彩色图像；其中，所述第一深度数据的精度大于所述第二深度数据；其中，所述第一深度数据为3D点云，所述包含第二深度数据的彩色图像为RGB-D图像；
将所述3D点云中深度值低于预设深度范围的像素点形成的第一深度区域与所述RGB-D图像中与所述第一深度区域匹配的第二深度区域进行像素配准；
根据所述第一深度区域和所述第二深度区域之间的像素配准关系，采用图像处理算法，实现所述3D点云除第一深度区域外的第三深度区域与所述RGB-D图像除第二深度区域外的第四深度区域之间的像素配准；
利用所述配准结果，将所述彩色图像的RGB值作为所述第一深度数据的RGB值，以得到所述目标区域的彩色深度图像。
2.根据权利要求1所述的获取方法，其特征在于，
所述将所述3D点云中深度值低于预设深度范围的像素点形成的第一深度区域与所述RGB-D图像中与所述第一深度区域匹配的第二深度区域进行像素配准，包括：
遍历所述3D点云中各像素的深度值，确定深度值在预设深度范围内的至少一个第一像素点；
在所述RGB-D图像中搜索与所述第一像素点的深度值相匹配的第二像素点；
将相邻所述第二像素点形成的第二深度区域的深度数据与相邻所述第一像素点形成的第一深度区域的深度数据进行比较，若其深度差小于预设第一深度差值，则确定所述第二深度区域与所述第一深度区域匹配，且所述第一深度区域的第一像素点与所述第二深度区域对应的第二像素点一一配准。
3.根据权利要求1所述的获取方法，其特征在于，
所述利用所述配准结果，将所述彩色图像的RGB值作为所述第一深度数据的RGB值，以得到所述目标区域的彩色深度图像，包括：
根据所述第一深度区域与所述第二深度区域之间的像素配准关系，将所述RGB-D图像的第二深度区域的RGB值对应赋值于所述3D点云的第一深度区域；以及
根据所述第三深度区域与所述第四深度区域之间的像素配准关系，将所述RGB-D图像的第四深度区域的RGB值对应赋值于所述3D点云的第三深度区域，以得到所述目标区域的彩色深度图像。
4.根据权利要求3所述的获取方法，其特征在于，
所述利用所述配准结果，将所述彩色图像的RGB值作为所述第一深度数据的RGB值，以得到所述目标区域的彩色深度图像，还包括：
根据所述3D点云与所述RGB-D图像之间的像素配准关系，将所述3D点云中缺失RGB值的像素利用所述RGB-D图像进行补全。
5.根据权利要求1所述的获取方法，其特征在于，还包括：
利用插值算法对所述3D点云中缺失RGB值的像素进行RGB值补全。
6.一种彩色深度图像的获取装置，其特征在于，包括：
采集器，用于采集目标区域的第一深度数据以及包含第二深度数据的彩色图像；其中，所述第一深度数据的精度大于所述第二深度数据；其中，所述采集器包括激光扫描器以及RGB-D相机，所述激光扫描器用于采集所述目标区域的3D点云，所述RGB-D相机用于采集所述目标区域的RGB-D图像；
处理器，用于将所述3D点云中深度值低于预设深度范围的像素点形成的第一深度区域与所述RGB-D图像中与所述第一深度区域匹配的第二深度区域进行像素配准；根据所述第一深度区域和第二深度区域之间的像素配准关系，采用图像处理算法，实现所述3D点云除第一深度区域外的第三深度区域与所述RGB-D图像除第二深度区域外的第四深度区域之间的像素配准；以及利用所述配准结果，将所述彩色图像的RGB值作为所述第一深度数据的RGB值，以得到所述目标区域的彩色深度图像。
7.根据权利要求6所述的获取装置，其特征在于，
所述处理器具体用于：
遍历所述3D点云中各像素的深度值，确定深度值在预设深度范围内的至少一个第一像素点；
在所述RGB-D图像中搜索与所述第一像素点的深度值相匹配的第二像素点；
将相邻所述第二像素点形成的第二深度区域的深度数据与相邻所述第一像素点形成的第一深度区域的深度数据进行比较，若其深度差小于预设第一深度差值，则确定所述第二深度区域与所述第一深度区域匹配，且所述第一深度区域的第一像素点与所述第二深度区域对应的第二像素点一一配准。
8.根据权利要求6所述的获取装置，其特征在于，
所述处理器还用于利用插值算法对所述3D点云中缺失RGB值的像素进行RGB值补全。
CN201611078702.7A 2016-11-28 2016-11-28 一种彩色深度图像的获取方法、获取设备 Active CN106780593B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201611078702.7A CN106780593B (zh) 2016-11-28 2016-11-28 一种彩色深度图像的获取方法、获取设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201611078702.7A CN106780593B (zh) 2016-11-28 2016-11-28 一种彩色深度图像的获取方法、获取设备

Publications (2)

Publication Number Publication Date
CN106780593A CN106780593A (zh) 2017-05-31
CN106780593B true CN106780593B (zh) 2019-07-26

Family

ID=58898908

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201611078702.7A Active CN106780593B (zh) 2016-11-28 2016-11-28 一种彩色深度图像的获取方法、获取设备

Country Status (1)

Country Link
CN (1) CN106780593B (zh)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107360066A (zh) * 2017-06-29 2017-11-17 深圳奥比中光科技有限公司 一种家居服务机器人及智能家居系统
CN107229262A (zh) * 2017-06-29 2017-10-03 深圳奥比中光科技有限公司 一种智能家居系统
CN110207702B (zh) * 2019-04-22 2022-01-07 北京云迹科技有限公司 目标定位的方法及装置
CN112446909B (zh) * 2019-08-30 2022-02-01 上海商汤临港智能科技有限公司 一种深度图像补全方法及装置、计算机可读存储介质
CN113780030A (zh) * 2021-09-13 2021-12-10 福州符号信息科技有限公司 一种分区域解码的方法及条码阅读设备

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104008569A (zh) * 2014-02-24 2014-08-27 惠州学院 一种基于深度视频的3d场景生成方法
CN105989604A (zh) * 2016-02-18 2016-10-05 合肥工业大学 一种基于kinect的目标物体三维彩色点云生成方法

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8784318B1 (en) * 2005-07-22 2014-07-22 Zonare Medical Systems, Inc. Aberration correction using channel data in ultrasound imaging system
US9332243B2 (en) * 2012-10-17 2016-05-03 DotProduct LLC Handheld portable optical scanner and method of using

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104008569A (zh) * 2014-02-24 2014-08-27 惠州学院 一种基于深度视频的3d场景生成方法
CN105989604A (zh) * 2016-02-18 2016-10-05 合肥工业大学 一种基于kinect的目标物体三维彩色点云生成方法

Also Published As

Publication number Publication date
CN106780593A (zh) 2017-05-31

Similar Documents

Publication Publication Date Title
CN106651925B (zh) 一种彩色深度图像的获取方法、获取设备
CN106780593B (zh) 一种彩色深度图像的获取方法、获取设备
CN109029284B (zh) 一种基于几何约束的三维激光扫描仪与相机标定方法
CN105264566B (zh) 建模装置、三维模型生成装置、建模方法和布局模拟器
US10237532B2 (en) Scan colorization with an uncalibrated camera
Zhu et al. Reliability fusion of time-of-flight depth and stereo geometry for high quality depth maps
CN110728671B (zh) 基于视觉的无纹理场景的稠密重建方法
US9443308B2 (en) Position and orientation determination in 6-DOF
CN104335005B (zh) 3d扫描以及定位系统
CN110349221A (zh) 一种三维激光雷达与双目可见光传感器的融合标定方法
CN114998499B (zh) 一种基于线激光振镜扫描的双目三维重建方法及系统
CN107063117A (zh) 基于光场成像的水下激光同步扫描三角测距成像系统和方法
US9835726B2 (en) Method for optically scanning and measuring an environment
CN110044300A (zh) 基于激光器的两栖三维视觉探测装置及探测方法
CN105593637B (zh) 尺寸测量装置、尺寸测量方法、尺寸测量系统和程序
CN105627992A (zh) 一种快速高精度非接触测绘古建筑的方法
CN106871815A (zh) 一种Kinect与条纹反射法结合的类镜面三维面形测量方法
CN107505324A (zh) 基于双目协同激光的3d扫描装置及扫描方法
SG176440A1 (en) 3d geometric modeling and 3d video content creation
CN108428251A (zh) 一种基于机器视觉技术激光结构光自动标定方法
CN103900494A (zh) 用于双目视觉三维测量的同源点快速匹配方法
CN107850419B (zh) 四相机组平面阵列特征点匹配方法及基于其的测量方法
JP2015021862A (ja) ３次元計測装置及び３次元計測方法
CN110278431A (zh) 相位检测自动聚焦三维图像撷取系统
CN103868500B (zh) 光谱三维成像方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CP01 Change in the name or title of a patent holder

Address after: 518057 Guangdong city of Shenzhen province Nanshan District Hing Road three No. 8 China University of Geosciences research base in building A808

Patentee after: Obi Zhongguang Technology Group Co., Ltd

Address before: 518057 Guangdong city of Shenzhen province Nanshan District Hing Road three No. 8 China University of Geosciences research base in building A808

Patentee before: SHENZHEN ORBBEC Co.,Ltd.

CP01 Change in the name or title of a patent holder