CN112700484A - 一种基于单目深度相机的深度图彩色化方法 - Google Patents

一种基于单目深度相机的深度图彩色化方法 Download PDF

Info

Publication number
CN112700484A
CN112700484A CN202011620677.7A CN202011620677A CN112700484A CN 112700484 A CN112700484 A CN 112700484A CN 202011620677 A CN202011620677 A CN 202011620677A CN 112700484 A CN112700484 A CN 112700484A
Authority
CN
China
Prior art keywords
camera
infrared
color
speckle
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202011620677.7A
Other languages
English (en)
Inventor
张晓磊
陈钱
左超
沈德同
胡岩
尹维
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nanjing University Of Technology Intelligent Computing Imaging Research Institute Co ltd
Original Assignee
Nanjing University Of Technology Intelligent Computing Imaging Research Institute Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nanjing University Of Technology Intelligent Computing Imaging Research Institute Co ltd filed Critical Nanjing University Of Technology Intelligent Computing Imaging Research Institute Co ltd
Priority to CN202011620677.7A priority Critical patent/CN112700484A/zh
Publication of CN112700484A publication Critical patent/CN112700484A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/529—Depth or shape recovery from texture
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/90—Determination of colour characteristics
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image

Abstract

本发明公开了一种基于单目深度相机的深度图彩色化方法，使用一个红外相机、一个彩色相机和一个红外散斑点阵投影仪组成一个小型化单目深度相机，红外散斑点阵投影仪向被测场景投影随机散斑图案，红外相机和彩色相机同步采集图像，通过深度图计算出红外相机拍到的散斑图像和彩色相机拍到的彩色图像之间的对应关系，从而实现深度图彩色化，赋予深度图以被测场景的彩色纹理信息。本发明与现有的深度图彩色化方法相比，具有全自动化、算法准确、时间复杂度低的优点。

Description

一种基于单目深度相机的深度图彩色化方法
技术领域
本发明涉及计算机图形学技术领域，具体涉及一种基于单目深度相机的深度图彩色化方法。
背景技术
在计算机视觉系统中，三维场景信息为图像分割、目标检测、物体跟踪等各类计算机视觉应用提供了更多的可能性，而深度图像(Depth map)作为一种普遍的三维场景信息表达方式得到了广泛的应用。深度图像的每个像素点的灰度值可用于表征场景中某一点距离摄像机的远近。
深度图像(depth image)也被称为距离影像(range image)，是指将从图像采集器到场景中各点的距离(深度)作为像素值的图像，它直接反映了景物可见表面的几何形状。
RGB色彩模式是工业界的一种颜色标准，是通过对红(R)、绿(G)、蓝(B)三个颜色通道的变化以及它们相互之间的叠加来得到各式各样的颜色的，RGB即是代表红、绿、蓝三个通道的颜色，这个标准几乎包括了人类视力所能感知的所有颜色，是运用最广的颜色系统之一。RGB图像由格式为M×N×3的三维数组组成，其中的“3”可以理解为三幅M×N的二维图像(灰度值图像)。这三幅图像分别代表R、G、B分量，每个分量的像素点取值范围是[0,255]。
由于我们得到的深度图，人眼很难识别出其中的物体，感知深度的变化，所以在做展示的时候，往往需要可视化，这个时候就需要将深度图转为彩色图来展示。现有的深度图彩色化方法大都存在不是全自动化，算法不是很准确，时间复杂度高等问题。
发明内容
为了简化现有深度图彩色化方法，提高其自动化程度及准确性，本发明提高了一种一种基于单目深度相机的深度图彩色化方法。
本发明的技术方案如下：一种基于单目深度相机的深度图彩色化方法，步骤如下：步骤一.使用一个红外相机、一个彩色相机和一个红外散斑点阵投影仪组成一个小型化单目深度相机，红外散斑点阵投影仪向被测场景投影随机散斑图案，红外相机和彩色相机同步采集图像；
步骤二.使用立体匹配算法计算红外相机拍到的散斑图像与位于已知距离的参考平面的散斑图像之间的视差图，根据三角测距原理得到深度图；
步骤三.根据红外相机和彩色相机之间的标定参数，通过深度图计算出红外相机拍到的散斑图像和彩色相机拍到的彩色图像之间的对应关系，从而实现深度图彩色化，赋予深度图以被测场景的彩色纹理信息。
优选的，步骤一中，红外相机、彩色相机和红外散斑点阵投影仪均被水平放置，三者处于同一水平线上，红外相机与红外散斑点阵投影仪之间的距离最远，彩色相机位于红外相机与红外散斑点阵投影仪之间、靠近红外相机。
优选的，步骤二具体为：
首先，使用红外相机拍摄一张位于已知距离的参考平面的散斑图像，即在已知距离ZRef所获取的散斑图像称为参考图像，通过三角测量关系，可以按以下公式计算参考图的参考视差值dRef，
Figure BDA0002876062470000021
其中，B为红外相机与红外散斑点阵投影仪之间的距离，f为红外相机的焦距；
其次，红外相机捕获的被测场景的散斑图像称为目标图像，对于目标图像中每一个有效的匹配点p(x,y)，通过立体匹配算法可以在参考图像中找到正确的对应参考点pRef(xRef,yRef)，p(x,y)与pRef(xRef,yRef)之间的关系为，
(x,y)＝(xRef+dRel,yRef)，
其中，dRel为目标图像相对于参考图像的相对视差值；
再次，获得每个有效目标点的实际视差值d，
d＝dRef+dRel；
最后，在获取到具有亚像素精度的视差图后，通过三角测量关系，可获得深度值Z，
Figure BDA0002876062470000022
优选的，步骤三中，根据红外相机和彩色相机之间的标定参数，通过深度图计算出红外相机拍到的散斑图像和彩色相机拍到的彩色图像之间的对应关系，
Figure BDA0002876062470000031
Figure BDA0002876062470000032
其中，Cx、Cy、Mx、My、Nx和Ny分别为红外相机和彩色相机之间的标定参数，(xc,yc)为彩色图像上的对应点坐标。
本发明具有如下优点：本发明使用一个红外相机、一个彩色相机和一个红外散斑点阵投影仪组成一个小型化单目深度相机，红外散斑点阵投影仪向被测场景投影随机散斑图案，红外相机和彩色相机同步采集图像；通过深度图计算出红外相机拍到的散斑图像和彩色相机拍到的彩色图像之间的对应关系，从而实现深度图彩色化，赋予深度图以被测场景的彩色纹理信息。本发明与现有的深度图彩色化方法相比，具有全自动化、算法准确、时间复杂度低的优点。
附图说明
图1为本发明实施例中基于单目深度相机的深度图彩色化方法的流程图。
具体实施方式
为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本申请，并不用于限定本申请。
本发明提出了一种基于单目深度相机的深度图彩色化方法，本方法包括以下三个步骤。
步骤一.使用一个红外相机、一个彩色相机和一个红外散斑点阵投影仪组成一个小型化单目深度相机，红外散斑点阵投影仪向被测场景投影随机散斑图案，红外相机和彩色相机同步采集图像。红外相机、彩色相机和红外散斑点阵投影仪均被水平放置，三者处于同一水平线上。其中，红外相机与红外散斑点阵投影仪之间的距离最远，其距离为35mm。彩色相机位于红外相机与红外散斑点阵投影仪之间，其靠近红外相机。
步骤二.使用立体匹配算法计算红外相机拍到的散斑图像与位于已知距离的参考平面的散斑图像之间的视差图，根据三角测距原理得到深度图。
首先，使用红外相机拍摄一张位于已知距离的参考平面的散斑图像，即在已知距离ZRef所获取的散斑图像称为参考图像，通过三角测量关系，可以按以下公式计算参考图的参考视差值dRef，
Figure BDA0002876062470000041
其中，B为红外相机与红外散斑点阵投影仪之间的距离，f为红外相机的焦距。
其次，红外相机捕获的被测场景的散斑图像称为目标图像，对于目标图像中每一个有效的匹配点p(x,y)，通过立体匹配算法可以在参考图像中找到正确的对应参考点pRef(xRef,yRef)，p(x,y)与pRef(xRef,yRef)之间的关系为，
(x,y)＝(xRef+dRel,yRef)，
其中，dRel为目标图像相对于参考图像的相对视差值。
从而，可以以这一方式获得每个有效目标点的实际视差值d，
d＝dRef+dRel。
最后，在获取到具有亚像素精度的视差图后，通过三角测量关系，可获得深度值Z，
Figure BDA0002876062470000042
步骤三中.实现深度图彩色化，赋予深度图以被测场景的彩色纹理信息。
根据红外相机和彩色相机之间的标定参数，通过深度图计算出红外相机拍到的散斑图像和彩色相机拍到的彩色图像之间的对应关系，
Figure BDA0002876062470000043
Figure BDA0002876062470000044
其中，Cx、Cy、Mx、My、Nx和Ny分别为红外相机和彩色相机之间的标定参数，(xc,yc)为彩色图像上的对应点坐标，从而实现深度图彩色化，赋予深度图以被测场景的彩色纹理信息。
对所公开的实施例的上述说明，使本领域专业技术人员能够实现或使用本申请。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本申请的精神或范围的情况下，在其它实施例中实现。因此，本申请将不会被限制于本文所示的这些实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。

Claims (4)

1.一种基于单目深度相机的深度图彩色化方法，其特征在于，步骤如下：
步骤一.使用一个红外相机、一个彩色相机和一个红外散斑点阵投影仪组成一个小型化单目深度相机，红外散斑点阵投影仪向被测场景投影随机散斑图案，红外相机和彩色相机同步采集图像；
步骤二.使用立体匹配算法计算红外相机拍到的散斑图像与位于已知距离的参考平面的散斑图像之间的视差图，根据三角测距原理得到深度图；
步骤三.根据红外相机和彩色相机之间的标定参数，通过深度图计算出红外相机拍到的散斑图像和彩色相机拍到的彩色图像之间的对应关系，从而实现深度图彩色化，赋予深度图以被测场景的彩色纹理信息。
2.根据权利要求1所述的基于单目深度相机的深度图彩色化方法，其特征在于，步骤一中，红外相机、彩色相机和红外散斑点阵投影仪均被水平放置，三者处于同一水平线上，红外相机与红外散斑点阵投影仪之间的距离最远，彩色相机位于红外相机与红外散斑点阵投影仪之间、靠近红外相机。
3.根据权利要求1所述的基于单目深度相机的深度图彩色化方法，其特征在于，步骤二具体为：
首先，使用红外相机拍摄一张位于已知距离的参考平面的散斑图像，即在已知距离ZRef所获取的散斑图像称为参考图像，通过三角测量关系，可以按以下公式计算参考图的参考视差值dRef，
Figure FDA0002876062460000011
其中，B为红外相机与红外散斑点阵投影仪之间的距离，f为红外相机的焦距；
其次，红外相机捕获的被测场景的散斑图像称为目标图像，对于目标图像中每一个有效的匹配点p(x,y)，通过立体匹配算法可以在参考图像中找到正确的对应参考点pRef(xRef,yRef)，p(x,y)与pRef(xRef,yRef)之间的关系为，
(x,y)＝(xRef+dRel,yRef)，
其中，dRel为目标图像相对于参考图像的相对视差值；
再次，获得每个有效目标点的实际视差值d，
d＝dRef+dRel；
最后，在获取到具有亚像素精度的视差图后，通过三角测量关系，可获得深度值Z，
Figure FDA0002876062460000021
4.根据权利要求1所述的基于单目深度相机的深度图彩色化方法，其特征在于，步骤三中，根据红外相机和彩色相机之间的标定参数，通过深度图计算出红外相机拍到的散斑图像和彩色相机拍到的彩色图像之间的对应关系，
Figure FDA0002876062460000022
Figure FDA0002876062460000023
其中，Cx、Cy、Mx、My、Nx和Ny分别为红外相机和彩色相机之间的标定参数，(xc,yc)为彩色图像上的对应点坐标。
CN202011620677.7A 2020-12-31 2020-12-31 一种基于单目深度相机的深度图彩色化方法 Pending CN112700484A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011620677.7A CN112700484A (zh) 2020-12-31 2020-12-31 一种基于单目深度相机的深度图彩色化方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011620677.7A CN112700484A (zh) 2020-12-31 2020-12-31 一种基于单目深度相机的深度图彩色化方法

Publications (1)

Publication Number Publication Date
CN112700484A true CN112700484A (zh) 2021-04-23

Family

ID=75512915

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011620677.7A Pending CN112700484A (zh) 2020-12-31 2020-12-31 一种基于单目深度相机的深度图彩色化方法

Country Status (1)

Country Link
CN (1) CN112700484A (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113705408A (zh) * 2021-08-21 2021-11-26 深圳市迪威泰实业有限公司 一种人脸活体检测方法及系统
CN113763450A (zh) * 2021-09-09 2021-12-07 北京的卢深视科技有限公司 深度图的获取方法、装置、电子设备及存储介质
CN113888614A (zh) * 2021-09-23 2022-01-04 北京的卢深视科技有限公司 深度恢复方法、电子设备和计算机可读存储介质
WO2023142352A1 (zh) * 2022-01-26 2023-08-03 奥比中光科技集团股份有限公司 一种深度图像的获取方法、装置、终端、成像系统和介质

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113705408A (zh) * 2021-08-21 2021-11-26 深圳市迪威泰实业有限公司 一种人脸活体检测方法及系统
CN113763450A (zh) * 2021-09-09 2021-12-07 北京的卢深视科技有限公司 深度图的获取方法、装置、电子设备及存储介质
CN113888614A (zh) * 2021-09-23 2022-01-04 北京的卢深视科技有限公司 深度恢复方法、电子设备和计算机可读存储介质
CN113888614B (zh) * 2021-09-23 2022-05-31 合肥的卢深视科技有限公司 深度恢复方法、电子设备和计算机可读存储介质
WO2023142352A1 (zh) * 2022-01-26 2023-08-03 奥比中光科技集团股份有限公司 一种深度图像的获取方法、装置、终端、成像系统和介质

Similar Documents

Publication Publication Date Title
CN112700484A (zh) 一种基于单目深度相机的深度图彩色化方法
US7729530B2 (en) Method and apparatus for 3-D data input to a personal computer with a multimedia oriented operating system
CN110809786B (zh) 校准装置、校准图表、图表图案生成装置和校准方法
TWI253006B (en) Image processing system, projector, information storage medium, and image processing method
EP2194725B1 (en) Method and apparatus for correcting a depth image
EP3373251A1 (en) Scan colorization with an uncalibrated camera
US20150381965A1 (en) Systems and methods for depth map extraction using a hybrid algorithm
US20140327736A1 (en) External depth map transformation method for conversion of two-dimensional images to stereoscopic images
US20020126895A1 (en) Specific point detecting method and device
EP3441788A1 (en) Apparatus and method for generating a representation of a scene
JP5633058B1 (ja) ３次元計測装置及び３次元計測方法
CN108629756B (zh) 一种Kinectv2深度图像无效点修复方法
Kim et al. Adaptive 3D sensing system based on variable magnification using stereo vision and structured light
CN107967697B (zh) 基于彩色随机二元编码结构照明的三维测量方法和系统
US20120263386A1 (en) Apparatus and method for refining a value of a similarity measure
WO2018032841A1 (zh) 绘制三维图像的方法及其设备、系统
TWI788739B (zh) 3d顯示設備、3d圖像顯示方法
CN106767526A (zh) 一种基于激光mems振镜投影的彩色多线激光三维测量方法
JP4193342B2 (ja) ３次元データ生成装置
CN111787303B (zh) 三维图像的生成方法、装置、存储介质及计算机设备
US20200007843A1 (en) Spatiotemporal calibration of rgb-d and displacement sensors
WO2022218161A1 (zh) 用于目标匹配的方法、装置、设备及存储介质
CN111654626B (zh) 一种包含深度信息的高分辨率相机
KR101634283B1 (ko) 단일영상에서의 3차원 카메라교정을 통한 3차원 공간모델링 형성제어장치 및 방법
Takagi et al. Estimation of a three-dimensional gaze point and the gaze target from the road images

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination