CN113703248B - 一种3d结构光模组及基于该模组的深度图点云图获取方法 - Google Patents

Abstract

本发明公开了一种3D结构光模组及基于该模组的深度图点云图获取方法，3D结构光模组包括红光投射器、红外摄像头、彩色摄像头、图像处理单元和编解码处理单元。所述方法包括以下步骤：图像传感器将采集到的图像数据传送至图像处理单元；图像处理单元对图像数据进行优化处理后发送至编解码处理单元；编解码处理单元对图像数据进行编解码，生成深度图和点云图。将图像处理单元设置于3D结构光模组端，图像处理单元控制自动曝光算法模块的曝光参数，使获得的图像更加清晰；同时，图像处理单元向编解码处理单元传送的图像数据进行了归一化处理，减轻了图像处理单元的数据处理量，降低了图像处理单元的产品成本，同时，提高了编解码处理单元的运算速度。

Description

一种3D结构光模组及基于该模组的深度图点云图获取方法

技术领域

本发明涉及图像处理技术领域，具体涉及一种3D结构光模组及基于该模组的深度图点云图获取方法。

背景技术

结构光三维成像的硬件主要由相机和投射器组成，结构光就是通过投射器投射到被测物体表面的主动结构信息，如激光条纹、格雷码、正弦条纹等；然后，通过单个或多个相机拍摄被测表面即得结构光图像；最后，基于三角测量原理经过图像三维解析计算从而实现三维重建。

现有的结构光三维成像系统存在以下问题：1，拍摄场景切换时，会出现图像闪烁；2，通过加入标记位来区分深度图数据和红外摄像头数据，需要图像处理单元对数据进行二次编码，这样做的方式3D模组可选的图像处理单元的主控制器比较少，而且这样的主控制器的价格相对较高。

发明内容

有鉴于此，提出一种深度图和云点图效果清晰、价格低廉的3D结构光模组及基于该模组的深度图点云图获取方法。

一种3D结构光模组，包括：

红光投射器，将若干个肉眼看不见的光点投影在被拍摄物体，用以绘制被拍摄物体的3D点阵图像；

红外摄像头，用于读取3D点阵图像，拍摄被拍摄物体的表面反射的结构光图像；

图像处理单元，用于处理红外摄像头输出的结构光图像，进行图像优化，并编码成Yuv格式，形成带编码的图像数据；

编解码处理单元，用于将带编码的图像数据编码成深度图、点云图；

所述红外摄像头包括图像传感器（Sensor），所述图像传感器（Sensor）将采集到的图像信号传送至所述图像处理单元，所述图像处理单元包括自动曝光（AE）算法模块，所述自动曝光算法模块根据所述图像传感器（Sensor）采集到的光线的强弱自动调整曝光量，使曝光亮度值接近所述图像处理单元设定的目标亮度值。

进一步地，还包括红外补光灯，所述红外补光灯用于加强弱光环境下的识别能力，借助不可见的红外光线，在弱光下识别被拍摄物体。

进一步地，还包括彩色摄像头和显示模块，所述彩色摄像头用于拍摄2D彩色图片，输出常规的彩色图像；所述显示模块用于拍摄过程中的参数调控及所拍摄图像的显示。

以及，一种基于3D结构光模组的深度图和点云图的图像获取方法，包括以下步骤：

红光投射器将若干肉眼看不见的光点投影在被拍摄物体上；

红外摄像头将采集到的图像数据传送至图像处理单元；

自动曝光算法模块根据红外摄像头中的图像传感器（Sensor）采集到的光线的强弱自动调整曝光量，使曝光亮度值接近图像处理单元设定的目标亮度值；

图像处理单元进行内部参数和外部参数的标定；

图像处理单元对图像数据进行优化处理后发送至编解码处理单元；

编解码处理单元对图像数据进行编解码，生成深度图和点云图。

进一步地，所述编解码处理单元对图像数据进行编解码，包括如下步骤：

解码数据接口初始化；

获取深度数据的数据值和点云数据的数据值；

调用解码数据接口。

进一步地，所述解码数据接口初始化，包括如下步骤：

初始化解码库；

释放解码请求的资源。

进一步地，所述调用解码数据接口中，输入不同的参数时，对应不同的功能，具体包括：

只需要红外摄像头数据的解码数据接口，对应的返回值为红外摄像头数据；

需要红外摄像头数据和深度图数据的解码数据接口，对应的返回值为红外摄像头数据和深度图数据；

需要红外摄像头数据、深度图数据和点云图数据的解码数据接口，对应的返回值为红外摄像头数据、深度图数据和点云图数据。

进一步地，所述调用解码数据接口后的步骤还包括：

对解码后的数据进行归一化处理，并发送至显示模块显示；

其中，数据归一化处理后的数据采用Raw10格式和Yuv格式的数据交替输出，以区分深度图数据和红外摄像头数据。

上述3D结构光模组及基于该模组的深度图点云图获取方法中，所述图像处理单元ISP设置于所述3D结构光模组端，所述图像处理单元控制所述自动曝光算法模块的曝光参数，使获得的图像更加清晰；同时，所述图像处理单元向所述编解码处理单元传送的图像数据进行了归一化处理，Raw10格式和Yuv格式的数据交替输出，减轻了所述图像处理单元的数据处理量，降低了所述图像处理单元的产品成本，同时，提高了所述编解码处理单元的运算速度。本发明的方法简单，易于实现，成本低廉，便于推广。

附图说明

图1是本发明实施例的3D结构光模组的结构框图。

图2是本发明实施例的深度图点云图获取方法的流程图。

图3是本发明实施例的编解码处理单元对图像数据进行编解码的流程图。

图4是本发明实施例的点云效果图。

图5是本发明实施例的深度效果图。

具体实施方式

本实施例以3D结构光模组及基于该模组的深度图点云图获取方法为例，以下将结合具体实施例和附图对本发明进行详细说明。

请参阅图1，示出一种3D结构光模组100，包括：

红光投射器13，将若干个肉眼看不见的光点投影在被拍摄物体，用以绘制被拍摄物体的3D点阵图像；

红外摄像头12，用于读取3D点阵图像，拍摄被拍摄物体的表面反射的结构光图像；

彩色摄像头11，用于拍摄2D彩色图片，输出常规的彩色图像；

图像处理单元20，用于处理红外摄像头12输出的结构光图像，进行图像优化，并编码成Yuv格式，形成带编码的图像数据；

编解码处理单元30，用于将带编码的图像数据编码成深度图、点云图。

具体地，所述3D结构光模组100的工作原理是：通过所述红外光发射器投射规律的几何编码图案至物体表面，使用所述红外相机拍摄该物体表面反射的结构光图像，再根据图像的形变来计算并输出物体表面的深度信息。

具体地，在人脸识别时，所述3D结构光模组100实现的功能：识别人脸、提取人脸特征、信息比对。

进一步地，所述红外摄像头12包括图像传感器（Sensor），所述图像传感器（Sensor）将采集到的图像信号传送至所述图像处理单元20，所述图像处理单元20包括自动曝光（AE）算法模块，所述自动曝光算法模块根据所述图像传感器（Sensor）采集到的光线的强弱自动调整曝光量，使曝光亮度值接近所述图像处理单元20设定的目标亮度值。

具体地，所述图像处理单元20控制所述自动曝光算法模块的曝光参数，使获得的图像更加清晰。

具体地，自动曝光是指根据光线的强弱自动调整曝光量，防止曝光过度或者不足，在不同的照明条件和场景中实现欣赏亮度级别或所谓的目标亮度级别，从而使捕获的视频或图像既不太暗也不太亮。

具体地，深度图和点云图的效果依赖于对所述红光投射器13的控制和后处理，所述3D结构光模组100中对于所述红光投射器13的控制结合了深度图和点云图效果和整体模组温度，并在后处理中调整至合理的亮度。

具体地，所述红光投射器13的功率影响到深度图、点云图的效果，所述红光投射器13的功率越大，获得的图像效果越好，但是所述3D结构光模组100的温度也越高。本技术方案中的所述3D结构光模组100在这中间采集正常室内环境、室外顺光、逆光等场景下的图像数据，并结合实际的使用范围，来控制所述红光投射器13的工作电流的大小。

进一步地，所述3D结构光模组100还包括红外补光灯14和显示模块40，所述红外补光灯14用于加强弱光环境下的识别能力，借助不可见的红外光线，在弱光下识别被拍摄物体。所述显示模块40用于拍摄过程中的参数调控及所拍摄图像的显示。

具体地，深度图是从所述红外摄像头12到物体的各点的距离（深度）作为像素值的图像，它直接反映了物体可见表面的几何形状。

具体地，通过所述红外摄像头12得到的物体外观表面的点数据集合称之为“点云”。每一个点均包含有三维坐标，在获取物体表面每个采样点的空间坐标后，得到的是一个点的集合，称之为点云。

具体地，深度图像经过坐标转换可以计算出点云数据，同理，点云数据也可以反算出深度图像数据。

具体地，所述彩色摄像头11拍摄的彩色图像发送至所述图像处理单元20，所述图像处理单元20将其编码为MJPEG格式的图像数据，并发送至安卓终端或者远端平台，进行显示。

以及，请参阅图2和图3，本实施例提供一种基于3D结构光模组100的深度图和点云图的图像获取方法，包括以下步骤：

步骤S010，红光投影器13将若干肉眼看不见的光点投影在被拍摄物体上；

步骤S100，红外摄像头12将采集到的图像数据传送至图像处理单元20。

具体地，景物通过镜头Lens生成的光学图像投射到红外摄像头12中的图像传感器（Sensor）上，图像传感器（Sensor）将光学信号转换为电信号，再通过内部的模数转换电路转换为数字信号，然后传输给图像处理单元（ISP）20，进行加工处理，转换成RGB、YUV等格式输出。

具体地，图像传感器（Sensor）摄像头的核心，负责将通过镜头Lens的光信号转换为电信号，再经过内部模数转换电路转换为数字信号。由于每个像素点只能感受R、G、B中的一种，因此每个像素点中存放的数据是单色光，这些最原始的感光数据称为原始数据（RawData）。

具体地，图像处理单元（ISP）20的作用是对前端图像传感器（Sensor）输出的信号做后期处理。图像处理单元（ISP）20将图像传感器（Sensor）获得的数据及时地快速地传递到编解码处理单元30并刷新图像传感器（Sensor），因此图像处理单元（ISP）20芯片的好坏，直接影响画面品质。

所述步骤S100还包括：

步骤S110，自动曝光算法模块根据红外摄像头12中的图像传感器（Sensor）采集到的光线的强弱自动调整曝光量，使曝光亮度值接近图像处理单元20设定的目标亮度值。

具体地，图像处理单元（ISP）20通过获取当前图像传感器（Sensor）输出图像的亮度，然后采用设定曝光值来逐步逼近得到图像处理单元（ISP）20设定的目标亮度值。

步骤S120，图像处理单元20进行内部参数和外部参数的标定。

具体地，摄像头的内部参数包括焦距、像主点坐标和畸变参数，外部参数包括旋转和平移。

步骤S200，图像处理单元20对图像数据进行优化处理后发送至编解码处理单元30。

具体地，图像处理单元（ISP）20对图像传感器（Sensor）输出的信号做后期处理，主要功能包括线性纠正、噪声去除、坏点去除、内插、白平衡、自动曝光控制等，实现在不同的光学条件下都能较好的还原现场细节。图像处理单元（ISP）20直接影响画面品质，如：色彩饱和度、清晰度、流畅度等。

步骤S300，编解码处理单元30对图像数据进行编解码，生成深度图和点云图。

所述步骤S300还包括：

步骤S310，解码数据接口初始化。

具体地，编解码处理单元30以调用数据接口API的方式，实现对编码图像数据的解码，应用程序编程接口API（Application Programming Interface）是一些预先定义的函数，目的是提供应用程序与开发人员基于某软件或硬件得以访问一组例程的能力，而又无需访问源码，或理解内部工作机制的细节。

所述步骤S310还包括：

步骤S311，初始化解码库。

步骤S312，释放解码请求的资源。

具体地，初始化解码数据接口API具体见下表：

步骤S320，获取深度数据的数据值和点云数据的数据值。

具体地，解码前调用的API具体见下表：

步骤S330，调用解码数据接口。

具体地，所述调用解码数据接口中，输入不同的参数时，对应不同的功能，具体包括三种情形：

情形一，只需要红外摄像头12数据的解码数据接口，对应的返回值为红外摄像头12数据。

情形二，需要红外摄像头12数据和深度图数据的解码数据接口，对应的返回值为红外摄像头12数据和深度图数据。

情形三，需要红外摄像头12数据、深度图数据和点云图数据的解码数据接口，对应的返回值为红外摄像头12数据、深度图数据和点云图数据。

具体地，解码API具体见下表：

步骤S340，对解码后的数据进行归一化处理，并发送至显示模块40显示。

其中，数据归一化处理后的数据采用Raw10格式和Yuv格式的数据交替输出，以区分深度图数据和红外摄像头12数据。

具体地，Raw格式数据为图像传感器（Sensor）输出的原始数据，一般有Raw8、Raw10、Raw12等，分别表示一个像素点有8bit数据、10bit数据、12bit数据。这是图像传感器（Sensor）输出的最原始的数据，不论视频最后转成什么格式，都需要首先生成Raw格式数据。

具体地，Yuv格式数据是由RAW数据经过转换之后得到的数据。摄像头中最常用的是Yuv 422格式，及Y-U-Y-V格式。以Yuv 422 8bit为例，每个像素点都包含亮度分量（8bit）以及UV两个颜色分量中的一个（8bit）。因此每个像素点需要16bit数据。

具体地，编解码处理单元30通过每个像素数据的第9bit位来区分Raw10格式和Yuv格式的数据，其中，Yuv格式的数据的每个限速数据的第9bit为1。

请参阅图4和图5，示出了本技术方案的点云效果图和深度效果图。

上述3D结构光模组100及基于该模组的深度图点云图获取方法中，所述图像处理单元（ISP）20设置于所述3D结构光模组100端，所述图像处理单元20控制所述自动曝光算法模块的曝光参数，使获得的图像更加清晰；同时，所述图像处理单元20向所述编解码处理单元30传送的图像数据进行了归一化处理，Raw10格式和Yuv格式的数据交替输出，减轻了所述图像处理单元20的数据处理量，降低了所述图像处理单元20的产品成本，同时，提高了所述编解码处理单元30的运算速度。本发明的方法简单，易于实现，成本低廉，便于推广。

这里本发明的描述和应用是说明性的，并非想将本发明的范围限制在上述实施例中。这里所披露的实施例的变形和改变是可能的，对于那些本领域的普通技术人员来说实施例的替换和等效的各种部件是公知的。本领域技术人员应该清楚的是，在不脱离本发明的精神或本质特征的情况下，本发明可以以其它形式、结构、布置、比例，以及用其它组件、材料和部件来实现。在不脱离本发明范围和精神的情况下，可以对这里所披露的实施例进行其它变形和改变。

Claims (8)

1.一种3D结构光模组，其特征在于，包括：

红光投射器，将若干个肉眼看不见的光点投影在被拍摄物体，用以绘制被拍摄物体的3D点阵图像；

红外摄像头，用于读取3D点阵图像，拍摄被拍摄物体的表面反射的结构光图像；

图像处理单元，用于处理红外摄像头输出的结构光图像，进行图像优化，并编码成Yuv格式，形成带编码的图像数据；

编解码处理单元，用于将带编码的图像数据编码成深度图、点云图；

所述红外摄像头包括图像传感器，所述图像传感器将采集到的图像信号传送至所述图像处理单元，所述图像处理单元包括自动曝光算法模块，所述自动曝光算法模块根据所述图像传感器采集到的光线的强弱自动调整曝光量，使曝光亮度值接近所述图像处理单元设定的目标亮度值。

2.如权利要求1所述的3D结构光模组，其特征在于，还包括红外补光灯，所述红外补光灯用于加强弱光环境下的识别能力，借助不可见的红外光线，在弱光下识别被拍摄物体。

3.如权利要求1所述的3D结构光模组，其特征在于，还包括彩色摄像头和显示模块，所述彩色摄像头用于拍摄2D彩色图片，输出常规的彩色图像；所述显示模块用于拍摄过程中的参数调控及所拍摄图像的显示。

4.一种基于3D结构光模组的深度图和点云图的图像获取方法，其特征在于，包括以下步骤：

红光投射器将若干肉眼看不见的光点投影在被拍摄物体上；

红外摄像头将采集到的图像数据传送至图像处理单元；

自动曝光算法模块根据红外摄像头中的图像传感器采集到的光线的强弱自动调整曝光量，使曝光亮度值接近图像处理单元设定的目标亮度值；

图像处理单元进行内部参数和外部参数的标定；

图像处理单元对图像数据进行优化处理后发送至编解码处理单元；

编解码处理单元对图像数据进行编解码，生成深度图和点云图。

5.如权利要求4所述的图像获取方法，其特征在于，所述编解码处理单元对图像数据进行编解码，包括如下步骤：

解码数据接口初始化；

获取深度数据的数据值和点云数据的数据值；

调用解码数据接口。

6.如权利要求5所述的图像获取方法，其特征在于，所述解码数据接口初始化，包括如下步骤：

初始化解码库；

释放解码请求的资源。

7.如权利要求5所述的图像获取方法，其特征在于，所述调用解码数据接口中，输入不同的参数时，对应不同的功能，具体包括：

只需要红外摄像头数据的解码数据接口，对应的返回值为红外摄像头数据；

需要红外摄像头数据和深度图数据的解码数据接口，对应的返回值为红外摄像头数据和深度图数据；

需要红外摄像头数据、深度图数据和点云图数据的解码数据接口，对应的返回值为红外摄像头数据、深度图数据和点云图数据。

8.如权利要求5所述的图像获取方法，其特征在于，所述调用解码数据接口后的步骤还包括：

对解码后的数据进行归一化处理，并发送至显示模块显示；

其中，数据归一化处理后的数据采用Raw10格式和Yuv格式的数据交替输出，以区分深度图数据和红外摄像头数据。

Images