CN103841406A - 一种即插即用的深度摄像装置 - Google Patents

Abstract

本发明公开了一种即插即用的深度摄像装置，通过编码图案投射器投射编码图案，对投射空间和目标物体进行特征标定，由图像传感器获取所投射的编码图案，经深度感知计算模块进行深度计算、深度到灰度映射、缩放和格式转换，再经编码压缩USB驱动模块进行压缩、打包和USB上传到智能终端，最后由视频流数据深度恢复模块进行解码，恢复出投射空间和目标物体的深度信息。本发明基于结构光的主动视觉模式，可以与任何支持USB接口的智能终端相连，实时输出高分辨率、高帧率的深度图序列，即插即用，并支持常见的视频摄像头程序无缝地调用深度视频流。

Description

一种即插即用的深度摄像装置

技术领域

本发明属于图像处理、人机交互和机器视觉技术领域，具体涉及一种即插即用的深度摄像装置。

背景技术

视觉是人类观察与认知世界最直接、最主要的途径。我们生活在一个三维世界中，人类视觉不仅能感知物体表面的亮度、颜色、纹理信息，运动情况，而且能判断其形状、空间及空间位置(深度、距离)。如何让机器视觉能实时获得高精度的三维深度信息、提高机器的智能水平是当前机器视觉系统研究的难点。

在工业领域，高分辨率、高精度的三维深度信息在汽车辅助安全驾驶、高速机床加工、工业建模、3D打印、医疗成像、物联网3D视觉感知等领域有着广泛的应用需求。在消费电子领域，深度感知技术和装置有助于提高电子产品的智能水平和交互能力，可为用户带来“科幻”般的操控方式和全新的人机交互体验，在智能电视、智能手机、家电、平板PC等领域实现创新应用。

现有的深度获取装置在实时性、操作应用简便性方面存在限制。如双目立体摄像头技术成熟，但未能实时生成并输出深度图序列；微软体感交互设备Kinect采用红外结构光的主动视觉模式可以实时输出深度图(0.8～3.8米范围，640*480，30f/s)，但其驱动及应用开发包安装复杂，一般与Xbox游戏机绑定，无法做到与任意兼容USB接口的智能设备或OS系统平台连接进行即插即用。2013年美国苹果公司新申请一项发明专利“DepthPerception Device and System，深度感知设备与系统”，利用激光发射图形、摄像头获取散斑图后计算出深度距离，该技术有可能作为其未来创新产品的虚拟交互和输入设备进行应用。2014年1月英特尔公司推出嵌入式3D深度摄像头，认为“虚拟世界正无限接近于现实世界；人机交互模式将会变得更加自然(natural)、直观(intuitive)和身临其境(immersive)”。开发一种能快速、准确地获取目标物体深度信息的设备装置已成为国内外相关行业研究的热点和难点。

发明内容

鉴于此，本发明提供了一种即插即用的深度摄像装置，基于结构光的主动视觉模式，通过USB口即插即用的方式与任何支持USB口的智能设备(PC、平板、智能电视、智能家电、穿戴式设备等)、OS系统相连接，并实时输出高分辨率、精确的深度图序列。

本发明采用以下技术方案予以实现：

一种即插即用的深度摄像装置，包括编码图案投射器、图像传感器、深度感知计算模块、编码压缩USB驱动模块，其中，

编码图案投射器用于投射出一定波长范围的编码图案，对有效范围内待测量的投射空间和目标物体进行结构光编码，即特征标定；

图像传感器用于实时接收编码图案投射器投射的编码图案，生成输入编码图像序列，并将输入编码图像序列以一定的视频格式送入深度感知计算模块；

深度感知计算模块用于利用输入编码图像序列和参考编码图像进行深度计算、深度-灰度映射、视频缩放和图像数据格式转换，输出视频流数据；

编码压缩USB驱动模块用于将符合其编码格式要求的视频流数据进行压缩和打包，再通过即插即用的USB接口上传到智能终端。

本发明具有结构简单、低成本、使用方便可靠的优点。采用本发明技术方案的有益效果还将通过以下实施例的阐述而得到具体的体现。

附图说明

图1是本发明实施例的装置结构图；

图2是本发明实施例的激光散斑编码图案示意图；

图3是本发明实施例的深度感知计算模块结构图；

图4是本发明实施例的视频缩放子模块结构图；

图5是本发明实施例的图像数据格式转换子模块结构图。

具体实施方式

下面结合附图对本发明进行进一步的详细说明。

本发明的总体构思为：采用编码图案投射器(激光散斑投射器或其它投影装置)投射出一定波长范围的编码图案，对投射空间和目标物体进行结构光编码，即特征标定，再利用与编码图案投射器在同一基线上的图像传感器获取所投射的编码图案；深度感知计算模块将采集到的编码图像序列经图像预处理后与已知距离的参考编码图像进行块匹配运动估计、深度计算和深度到灰度映射，生成所投射空间和目标物体的深度信息，再经视频缩放子模块和图像数据格式转换子模块输出视频流数据到编码压缩USB驱动模块；通过视频压缩、数据打包和即插即用的USB接口上传到智能终端；智能终端的视频流数据深度恢复模块对接收到的压缩视频流数据进行解码，并进行灰度到深度的逆映射，恢复出投射空间和目标物体的深度信息。

图1示出了本发明实施例的即插即用的深度摄像装置，该装置包括：编码图案投射器、图像传感器、深度感知计算模块、编码压缩USB驱动模块。

编码图案投射器可以是激光散斑投射器或其他投影装置，其中，激光散斑投射器可以投射出的相干激光束(红外、可见光、紫外线、不可见光)，激光束经干涉成像和物体表面的漫反射形成由散斑点组成的散斑图像；投影装置可以投射出可控的编码图案。编码图案投射器所投射出的图案一般是固定的，或采用一定的同步控制策略与接收图像的图像传感器进行同步后改变其投射出的图案；同一幅图案在水平或垂直方向的一定范围内，其特征不重复或属于随机分布。编码图案投射器所投射的视场角FoV(包括水平、垂直视场角)一般大于图像传感器的视场角FoV。编码图案投射器的投射有效距离有一定范围限制，跟其光源强度、产生机理、投射光学透镜有关。

图像传感器包含光学聚焦成像透镜和滤波装置，用于接收特定波长范围的编码图案。图像传感器的光学焦距f一般是固定的，其光轴与编码图案投射器的光轴平行、基线距离为S。

深度感知计算模块包括图像预处理子模块、块匹配运动估计子模块、深度计算子模块、深度-灰度映射子模块、视频缩放子模块、图像数据格式转换子模块。在特定实施例中，其物理载体可以是可编程逻辑芯片FPGA或专用集成电路块。

编码压缩USB驱动模块可以是可编程逻辑芯片FPGA上的IP核或专用集成电路块IC。

为了清楚说明，下文中将结合图2、图3、图4、图5来进一步描述本发明实施例的即插即用的深度摄像装置的工作机制。

首先，编码图案投射器(激光散斑投射器或其它投影装置)投射出一定波长范围的编码图案，对有效范围内待测量的投射空间和目标物体进行结构光编码，即特征标定。其中，该编码图案满足在水平或垂直方向的一定范围内，其特征不重复或属于随机分布。

图2为采用激光散斑投射器投射出的激光散斑编码图案示意图，在水平或垂直方向的一定范围内其散斑点的分布不重复。其中，事先由编码图案投射器投射出一定波长范围(红外、可见光、紫外线、不可见光)的编码图案到与编码图案投射器的光轴(Z轴)相垂直的、且已知垂直距离为d的平面上，形成的非规则编码图像，称为参考编码图像。该平面可由投影布、平板等构成，用于呈现清晰稳定的编码图案，可称之为参考基准平面。参考编码图像将由图像预处理模块进行与输入编码图像相同的预处理(参见下文)后，存储固化在内部或外部存储器中，作为后续深度感知计算的匹配基准图形，且在深度感知计算过程中其数据保持不变。

接下来，图像传感器实时接收编码图案投射器投射的编码图案，生成输入编码图像序列，并将所获取的输入编码图像序列以一定的视频格式(例如Bayer、ITU601、ITU656、MIPI)送入深度感知计算模块。其中，图像传感器与编码图案投射器的光轴平行，且在同一基线上，基线距离为S，焦距为f。优选地，图像传感器可以通过滤波装置(例如特定波长范围的滤光片)滤除接收波长范围外的光线，以消除干扰。

接着，深度感知计算模块利用输入编码图像序列和参考编码图像进行深度计算、深度映射、视频缩放和图像数据格式转换，输出视频流数据。深度感知计算模块的结构框图见图3，其中深度计算的过程如下：

首先，图像预处理子模块对输入的编码图像进行图像预处理。图像预处理一般包括视频格式转换(例如Bayer、ITU601、ITU656视频解码、MIPI接口格式转换)、色度空间转换(例如RGB转YUV)、灰度图像自适应去噪和增强等，其中增强方法包括直方图增强、灰度线性增强、二值化处理等，但不限于这些传统的增强方法。通过视频格式转换、一致性去噪和增强等预处理，可以使编码图案更清晰，有利于减少深度感知计算过程中的误匹配和噪声干扰，提高深度计算的精确性。

其次，块匹配运动估计子模块从输入编码图像中提取一定大小的图像块，以一定的搜索策略和相似度测量指标在参考编码图像中搜寻最优匹配块，获得该图像块与最优匹配块之间的最优偏移量，即运动向量，用X和Y轴的偏移量(Δx，Δy)表示。块匹配运动估计是现有技术，在一个特定实施例中，块匹配运动估计可以采用本发明人已申请的中国发明专利(CN201210490235.4，一种激光散斑图像的运动向量生成方法)。

深度计算子模块将得到的最优偏移量Δm(Δx或Δy)结合参考编码图像的已知距离参数d、图像传感器与编码图案投射器的基线距离S、焦距f及图像传感器点距μ，计算得到图像块中心点的深度信息d′。

在本实施例中，根据以下深度计算公式计算d′：

$d^{\′}=d-\frac{\mathrm{\Δm\μ}{d}^2}{\mathrm{fS}+\mathrm{\Δm\μd}}=\frac{\mathrm{fSd}}{\mathrm{fS}+\mathrm{\Δm\μd}}$

其中最优偏移量Δm等于输入编码图像块对应参考图案的中心点x坐标值-最优匹配块中心点x′坐标值，或输入编码图像块对应参考图案的中心点y坐标值-最优匹配块中心点y′坐标值，有正负。

深度-灰度映射子模块根据深度-灰度映射关系将计算出的深度信息映射为灰度值，利用深度图表示投射空间和目标物体的距离信息。由于灰度值可直观显示，从而投射空间和目标物体的距离信息可用深度图表示出来。其中，根据激光三角测距原理，越近精度越高，映射到灰度值上可密一些；越远精度越低，所映射的灰度值可稀疏一些。因此，所述映射关系为非线性关系，深度距离越近灰度值越大，深度距离越远灰度值越小。在一个特定实施例中，可以采用如表1所示的映射关系进行映射，其中，深度距离600mm对应灰度值255、5000mm对应灰度值22。另外，该映射关系可根据编码图案投射器的距离投射有效范围进行调整。本领域技术人员还应当理解，也可以采取越近灰度值越小、越远灰度值越大的方法。

表1深度-灰度映射关系示意

深度距离d(毫米)	灰度值Y
		600	255
602	254
		604	253
606	252
		|	|
5000	22
		5050	21
5100	20

视频缩放子模块按照缩放控制参数对深度图进行比例缩放。视频缩放子模块的结构框图见图4，其中，控制参数由IIC总线进行赋值，先进行水平缩小、通过多条行存(图中示意为4条)进行垂直缩放、再进行水平放大。因图像传感器只能输出一种或几种固定分辨率的编码图像，为提高深度测量精度，在进行深度感知计算时一般采用高分辨率、高帧率的图像传感器，但由于输出接口传输带宽的限制，需要先对产生的高分辨率的深度图进行一定比例的缩放，以使得后续的编码压缩USB驱动模块能实时传输深度图序列。

具体而言，视频缩放子模块包括IIC控制单元、输入检测单元、行同步产生单元、用于水平缩小的第一FIFO、多条行存、垂直缩放单元和用于水平放大的第二FIFO。其中：

IIC控制单元用于以IIC总线方式接收缩放控制参数，控制水平缩小、垂直缩放和水平放大的缩放比例，并控制缩放后的行场同步信号的产生；

行同步产生单元用于根据输入的行场同步信号结合缩放控制参数产生缩放后的行场同步信号；

第一FIFO通过双线性或双三次插值方式对深度图进行水平缩小。在本实施例中，第一FIFO可以由20个8bits或10bits宽的寄存器组成，其工作时钟为输入时钟；

多条行存用于为垂直缩放单元同时提供垂直方向对齐的多个寄存器组。其中，4条行存在垂直方向可进行双线性缩放，8条行存在垂直方向可进行双三次缩放；

垂直缩放单元用于根据行存提供的垂直方向对齐的多个寄存器组对经水平缩小的深度图在垂直方向进行缩放；

第二FIFO通过双线性或双三次插值方式对经垂直缩放的深度图进行水平放大。在本实施例中，第二FIFO可以由20个8bits或10bits宽的寄存器组成FIFO，其工作时钟为输出时钟。

图像数据格式转换子模块将缩放后的深度图进行数据格式转换，以符合编码压缩USB驱动模块的视频流数据格式。在本实施例中，按图5所示的格式，Y1_128_Y2_128_Y3…进行数据格式转换，即在每行Y值中间隔插入128值，以符合编码压缩USB驱动模块的视频流数据格式。

接着，编码压缩USB驱动模块将符合其编码格式要求的视频流进行数据压缩和打包，再通过即插即用的USB接口上传到智能终端。作为示例，压缩和打包采用例如MPEG2、MPEG4等动态压缩标准，或JPEG静态压缩标准逐帧压缩的方式；所述即插即用的USB接口是指符合即插即用标准的、免驱动USB接口，其可以是有线或无线USB接口，符合USB2.0或USB3.0标准；所述智能终端是指具备一定计算能力、拥有免驱动USB接口、带有OS系统的计算设备，包括PC、服务器、平板电脑、智能手机、智能电视、机顶盒、游戏机、智能家电、穿戴式智能设备等。

进一步地，智能终端上安装深度恢复模块，用于对接收到的压缩视频流数据进行相应的视频解码(如MPEG2、MPEG4、JPEG解码)，生成灰度值表示的深度图，再根据如表1所示的深度-灰度映射关系表进行灰度到深度的逆映射，从而恢复出投射空间和目标物体的深度信息(即距离信息)。在特定实施例中，视频流数据深度恢复模块可以采用嵌入式程序代码的方式实现，并支持第三方程序库或应用程序调用未解码的深度图或解码出来的深度信息。必要时，也可以采用硬件电路实现。

由于通过即插即用的USB接口上传符合常用压缩标准的视频流，常见的视频摄像头应用程序都能无缝地调用实时输出的深度视频流(深度图取代了原来摄像头的RGB视频流)，从而实现了一种即插即用(免驱动USB)的深度摄像装置。该装置可以与任何支持USB接口的智能终端相连，并实现即插即用，简单方便、成本低，实时输出高帧率的深度图，为第三方开发基于深度视频流的人机交互等应用软件奠定基础。

虽然上述的实施例在特定的系统中完成，然其并非限定本发明，本发明可类似的应用到相似的图案投射和图像传感器系统中，可以支持不同分辨率、不同帧频的深度图实时输出，其中编码压缩标准并非限定为MPEG2/MPEG4/JPEG。因而在不脱离本发明的精神和范围内的修改和完善，均应包含在上述的权利要求范围内。

Claims (10)

1.一种即插即用的深度摄像装置，包括编码图案投射器、图像传感器、深度感知计算模块、编码压缩USB驱动模块，其中，

编码图案投射器用于投射出一定波长范围的编码图案，对有效范围内待测量的投射空间和目标物体进行结构光编码，即特征标定；

图像传感器用于实时接收编码图案投射器投射的编码图案，生成输入编码图像序列，并将输入编码图像序列以一定的视频格式送入深度感知计算模块；

深度感知计算模块用于利用输入编码图像序列和参考编码图像进行深度计算、深度-灰度映射、视频缩放和图像数据格式转换，输出视频流数据；

编码压缩USB驱动模块用于将符合其编码格式要求的视频流数据进行压缩和打包，再通过即插即用的USB接口上传到智能终端。

2.根据权利要求1所述的深度摄像装置，其中，所述深度感知计算模块包括图像预处理子模块、块匹配运动估计子模块、深度计算子模块、深度-灰度映射子模块、视频缩放子模块、图像数据格式转换子模块。

3.根据权利要求1所述的深度摄像装置，其中，

所述图像预处理子模块用于对输入的编码图像进行图像预处理；

所述块匹配运动估计子模块从预处理后的输入编码图像中提取一定大小的图像块，以一定的搜索策略和相似度测量指标在参考编码图像中搜寻最优匹配块，获得该图像块与最优匹配块之间的最优偏移量，即运动向量，用X和Y轴的偏移量表示；

所述深度计算子模块用于将得到X或Y轴的最优偏移量Δm结合参考编码图像的已知距离参数d、图像传感器与编码图案投射器的基线距离S、焦距f及图像传感器点距μ，计算得到图像块中心点的深度信息d′；

所述深度-灰度映射子模块用于根据深度-灰度映射关系将计算出的深度信息映射为灰度值，利用深度图表示投射空间和目标物体的距离信息；

所述视频缩放子模块用于按照缩放控制参数对深度图进行比例缩放；

所述图像数据格式转换子模块用于将缩放后的深度图进行数据格式转换，以符合编码压缩USB驱动模块的视频流数据格式。

4.根据权利要求3所述的深度摄像装置，其中，所述深度计算子模块根据以下深度计算公式计算d′：

$d^{\′}=d-\frac{\mathrm{\Δm\μ}{d}^2}{\mathrm{fS}+\mathrm{\Δm\μd}}=\frac{\mathrm{fSd}}{\mathrm{fS}+\mathrm{\Δm\μd}}$

其中，最优偏移量Δm等于输入编码图像块对应参考图案的中心点x坐标值-最优匹配块中心点x′坐标值，或输入编码图像块对应参考图案的中心点y坐标值-最优匹配块中心点y′坐标值。

5.根据权利要求3所述的深度摄像装置，其中，所述映射关系为非线性关系，深度距离越近灰度值越大，深度距离越远灰度值越小。

6.根据权利要求3所述的深度摄像装置，其中，所述视频缩放子模块包括IIC控制单元、输入检测单元、行同步产生单元、第一FIFO、多条行存、垂直缩放单元和第二FIFO。

7.根据权利要求6所述的深度摄像装置，其中，

所述IIC控制单元用于以IIC总线方式接收缩放控制参数，控制水平缩小、垂直缩放和水平放大的缩放比例，并控制缩放后的行场同步信号的产生；

所述行同步产生单元用于根据输入的行场同步信号结合缩放控制参数产生缩放后的行场同步信号；

所述第一FIFO通过双线性或双三次插值方式对深度图进行水平缩小；

所述多条行存用于为垂直缩放单元同时提供垂直方向对齐的多个寄存器组；

所述垂直缩放单元用于根据行存提供的垂直方向对齐的多个寄存器组对经水平缩小的深度图在垂直方向进行缩放；

所述第二FIFO通过双线性或双三次插值方式对经垂直缩放的深度图进行水平放大。

8.根据权利要求1所述的深度摄像装置，还包括深度恢复模块，安装在所述智能终端上，用于对接收到的压缩视频流数据进行相应的视频解码，生成灰度值表示的深度图，再根据深度-灰度映射关系进行灰度到深度的逆映射，从而恢复出投射空间和目标物体的深度信息。

9.根据权利要求1所述的深度摄像装置，其中，所述编码图案满足在水平或垂直方向的一定范围内，其特征不重复或属于随机分布。

10.根据权利要求1所述的深度摄像装置，其中，所述图像传感器包括滤波装置，用于滤除接收波长范围外的光线。

Images