CN104851109B - 一种从三维深度感知设备输出高灰阶深度图像的方法 - Google Patents

Abstract

本发明公开了一种从三维深度感知设备输出高灰阶深度图像的方法，涉及一种可从RGB深度图像精确恢复高灰阶深度图像的表示方法，把高灰阶深度图像经编码解码后能准确地恢复出高灰阶深度图像及其每个像素对应的深度信息。具体为将三维深度感知设备输出的高灰阶深度图像转为YUV深度图像，经JPEG编码USB打包驱动，在设备接收与显示端恢复RGB深度图像，再通过色度空间转换为YUV深度图像，最后恢复原始的高灰阶深度图像及其对应的深度信息，从而实现高精度深度信息的无损压缩和传输。本发明无需自行设计JPEG编码USB压缩模块，支持第三方设计的、用于免驱动USB摄像头的JPEG编码芯片进行数据打包传输。

Description

一种从三维深度感知设备输出高灰阶深度图像的方法

技术领域

本发明属于图像处理、计算机视觉和人机交互技术领域，具体涉及一种高灰阶深度图像的表示方法。

背景技术

视觉是人类观察与认知世界最直接、最主要的途径。我们生活在一个三维世界中，人类视觉不仅能感知物体表面的亮度、颜色、纹理信息，运动情况，而且能判断其形状、空间及空间位置(深度、距离)。如何让机器视觉能实时获得高精度、高清晰的深度信息、提高机器的智能水平是当前机器视觉系统开发的难点。在其它技术领域，图像深度信息对于立体编解码、2D转3D、多视点三维图像生成、三维目标识别和三维重建等也至关重要。深度信息的实时获取有助于现实物理世界与虚拟网络世界的交互，加强人与人、人与机器、机器与机器之间沟通学习，增强机器的智能化水平。

通过三维深度感知装置可实时获取投射空间范围内的高精度深度信息(距离)，其精度可达到毫米级别、甚至更小，可采用高灰阶深度图像(8bits以上)来直观、准确地表示高精度的距离信息，其中高灰阶深度图像的每个像素值对应物理空间一个点的深度信息(即距离值)。比如目标物体距离三维深度感知装置的摄像头为5米，深度精度要达到毫米，则需要约2¹³个数据来表示，对应需要用13bits的高灰阶深度图像来表示物体空间的深度信息。如何采用高灰阶深度图像来直观、准确地表示高精度深度信息已成为三维深度获取的重要内容。

发明内容

基于此，本发明提供了一种从三维深度感知设备输出高灰阶深度图像的方法，所述方法包括如下步骤：

S100、获取高灰阶深度图像并将其进行映射生成YUV深度图像：

S1001、利用三维深度感知设备获取高灰阶深度图像；

S1002、将所述YUV深度图像映射到YU或YV通道得到YUV深度图像；

S1003、将所述YUV深度图像以YUV422格式输出；

S200、将所述YUV深度图像转换为RGB深度图像并输出：

S2001、接收所述YUV深度图像；

S2002、将所述YUV深度图像转换为RGB深度图像，并将所述RGB深度图像进行压缩编码；

S2003、将压缩编码后的RGB深度图像通过免驱动USB接口输出；

S300、将所述压缩编码后的RGB深度图像转换为YUV深度图像：

S3001、接收所述压缩编码后的RGB深度图像；

S3002、将所述压缩编码后的RGB深度图像进行解码生成RGB深度图像；

S3003、将所述RGB深度图像转换为YUV深度图像；

S400、从所述YUV深度图像的YU或者YV通道恢复高灰阶深度图像及每个像素对应的深度值。

附图说明

图1是本发明一个实施例的整体流程图；

图2是本发明一个实施例的灰阶等级划分示意图。

具体实施方式

下面结合具体实施例对本发明进行进一步的详细说明。

图1所示为本发明实施例高灰阶深度图像表示方法的整体流程图。为了清楚地说明，下面结合图2描述该方法。

在一个实施例中，本发明公开了一种从三维深度感知设备输出高灰阶深度图像的方法，所述方法包括如下步骤：

S100、获取高灰阶深度图像并将其进行映射生成YUV深度图像：

S1001、利用三维深度感知设备获取高灰阶深度图像；

S1002、将所述YUV深度图像映射到YU或YV通道得到YUV深度图像；

S1003、将所述YUV深度图像以YUV422格式将输出；

S200、将所述YUV深度图像转换为RGB深度图像并输出：

S2001、接收所述YUV深度图像；

S2002、将所述YUV深度图像转换为RGB深度图像，并将所述RGB深度图像进行压缩编码；

S2003、将压缩编码后的RGB深度图像通过免驱动USB接口输出；

S300、将所述压缩编码后的RGB深度图像转换为YUV深度图像：

S3001、接收所述压缩编码后的RGB深度图像；

S3002、将所述压缩编码后的RGB深度图像进行解码生成RGB深度图像；

S3003、将所述RGB深度图像转换为YUV深度图像；

S400、从所述YUV深度图像的YU或者YV通道恢复高灰阶深度图像及每个像素对应的深度值。

本实施例所述的高灰阶深度图像的表示方法可实现从三维深度感知设备输出的高灰阶深度图像，经JPEG编码USB打包驱动，在设备接收与显示端能准确地恢复出原始的高灰阶深度图像及其对应的深度信息，实现高精度深度信息的无损压缩和传输，且无需自行设计图像压缩解压模块，可支持第三方设计的、用于免驱动USB摄像头的JPEG编码芯片进行数据打包传输。

在一个实施例中，所述步骤S1001中所述的三维深度感知设备包括基于结构光编码的三维深度感知装置、ToF深度传感器或双目摄像装置。

本实施例中所述的三维深度感知设备可以是基于结构光编码的三维深度感知装置、ToF深度传感器或双目摄像装置。所述的三维深度感知装置可实时获取所投射范围内目标空间或物体的高精度深度信息(距离)，其精度可达到毫米级别、甚至更小，可采用高灰阶深度图像(8bits以上)可直观、准确地表示高精度的距离信息，其中高灰阶深度图像的每个像素值对应物理空间一个点的深度信息(即距离值)，像素值的位宽越大表示其对应点的深度精度可越高。比如目标物体距离三维深度感知装置的摄像头为5米，深度精度要达到毫米，则需要约2¹³个数据来表示，对应需要用13bits的高灰阶深度图像来表示物体空间的深度信息。

在一个实施例中，步骤S1001中所述的高灰阶深度图像，其每个像素的深度值在8bits以上，包括9、10、11、12、13、14、15、16bits，且每个像素的深度值对应精度为毫米级。

灰阶是对图像亮度(灰度信息)进行一定等级的区间划分，图2为灰阶等级划分示意图，灰阶等级越少所表达的深度图像细节越粗糙，而灰阶等级越大所表达的深度图像细节部分越精细、表示其深度精度越高。而本实施例中所述的高灰阶深度图像，其每个像素的深度值一般在8bits以上，如9、10、11、12、13、14、15、16bits，对应精度可达毫米级的深度值信息。

在一个实施例中，所述步骤S1002具体包括：

将所述高灰阶图像的每个像素值的高8位作为YUV深度图像的Y通道，剩余的低位作为YUV深度图像的U通道，YUV深度图像的V通道给定一个常数128；

或将所述高灰阶图像的每个像素值的高8位作为YUV深度图像的Y通道，将剩余的低位作为YUV深度图像的V通道，YUV深度图像的U通道给定一个常数128。

在一个实施例中，所述步骤S2002中利用JPEG编码模块对所述RGB深度图像进行压缩编码；所述步骤S2002中利用任一YUV到RGB色度空间转换公式将所述YUV深度图像转换为RGB深度图像。

在本实施例中，可通过下式实现YUV深度图像转为RGB深度图像，

上式中，R、G、B分别为RGB图像的R、G、B分量；Y、U、V分别为YUV图像的Y、U、V分量。

所述步骤S3001通过USB口获取步骤S2003中输出的压缩的RGB深度图像数据，并将所述JPEG压缩的RGB深度图像经JPEG解压得到RGB深度图像，再通过RGB转YUV的色度空间转换公式将RGB深度图像转换为YUV深度图像。

本实施例中可以采用任一RGB到YUV色度空间公式，将RGB深度图像对应的RGB值转为YUV深度图像对应的YU或YV值。

本实施例可以采用下式将将RGB深度图像对应的RGB值转为YUV深度图像对应的YU值；

上式中，R、G、B分别为RGB图像的R、G、B分量；Y、U分别为YUV图像的Y、U分量。

在一个实施例中，所述步骤S400具体为从YUV深度图像的Y通道恢复高灰阶深度图像中每个像素点的高8位，从YUV深度图像的U通道或V通道恢复高灰阶深度图像中每个像素点的剩余的低位。

在本实施例中按S1002的方法，可从Y通道恢复高灰阶深度图像中每个像素点的高8位(即Gray[n,n-7])，可从U通道恢复高灰阶深度图像中每个像素点的低位(即Gray[n-8,0])，Gray[n,0]值对应的就是该像素点的物理深度信息(即距离)，单位一般为毫米；同理也可以从Y和V通道恢复深度信息。

在一个实施例中公开了一种高灰阶深度图像的表示方法，包括以下步骤：

1)、深度值表示的深度信息映射到YU或YV通道。三维深度感知设备内部将高灰阶深度图像(8bits以上，每个像素点的深度信息可用深度值Gray[n,0]表示，n为8、9、10、11、12、13、14、15)每个像素值的高8位(即Gray[n,n-7])作为YUV格式的Y通道、剩余的低位(即Gray[n-8,0])放在YUV格式的U通道，YUV格式的V通道给定一个常数128；或者将剩余的低位(即Gray[n-8,0])放在YUV格式的V通道，则YUV格式的U通道给定一个常数128；得到YUV深度图像，并将所述YUV深度图像以YUV422格式输出该图像；

2)、JPEG编码USB打包传输。JPEG编码USB驱动模块接收YUV深度图像的输入，以深度信息叠加到YU通道为例，经JPEG编码USB驱动模块内部的色度空间转换公式(比如式1)将YU转为RGB深度图像(因V为128，则B只与Y相关)，再通过经JPEG编码USB驱动模块内部的JPEG压缩编码、USB驱动，将图像数据流通过免驱动USB接口输出；同理，深度信息叠加到YV通道也可以采用这种方式传输。这里所述的JPEG编码USB驱动模块可采用任何第三方设计的、用于免驱动USB摄像头的JPEG编码芯片；

上式中，R、G、B分别为RGB深度图像的R、G、B分量；Y、U、V分别为YUV深度图像的Y、U、V分量。

3)、接收RGB深度图像并将其转换为YUV深度图像。设备接收与显示端通过USB接口获取图像数据流，经JPEG解压得到RGB深度图像，再通过RGB深度图像转换YUV深度图像的色度空间转换(比如式2)恢复YUV深度图像；这里所述的设备接收与显示端可采用任何通用的免驱动USB摄像头显示软件。

上式中，R、G、B分别为RGB图像的R、G、B分量；Y、U分别为YUV图像的Y、U分量。

4)、YU或YV通道恢复深度信息对应的深度值。按步骤1)的深度信息表示方法，从Y通道恢复高灰阶深度图像中每个像素点的高8位(即Gray[n,n-7])，从U通道恢复高灰阶深度图像中每个像素点的低位(即Gray[n-8,0])，Gray[n,0]值对应的就是该像素点的物理深度信息(即距离)，单位一般为毫米；同理也可以从Y和V通道恢复深度信息。

基于以上方法，在设备接收与显示端能准确地恢复出原始的高灰阶深度图像及其对应的深度信息，并实现高精度深度信息的无损压缩和传输。

虽然上述的实施例在特定的系统中完成，然其并非限定本发明，本发明可类似的应用到相似的高灰阶图像的数据恢复与可视化显示中。本发明以n(n＝9、10、11、12、13、14、15)bits像素点数据为例进行说明，不局限于n bits数据，而且适用于更多bits以上数据。式1、式2是色度空间转换公式的一个举例，具体参数和公式不限于所举例的内容。本发明支持高灰阶深度图的高精度深度数据的实时恢复。因而在不脱离本发明的精神和范围内的修改和完善，均应包含在上述的权利要求范围内。

Claims (4)

1.一种从三维深度感知设备输出高灰阶深度图像的方法，其特征在于，所述方法包括如下步骤：

S100、获取高灰阶深度图像并将其进行映射生成YUV深度图像：

S1001、利用三维深度感知设备获取高灰阶深度图像；

所述高灰阶深度图像，其每个像素的深度值在8bits以上，包括9、10、11、12、13、14、15、16bits，且每个像素的深度值对应精度为毫米级；

S1002、将所述高灰阶深度图像映射到YU或YV通道得到YUV深度图像；

将所述高灰阶深度图像的每个像素值的高8位作为YUV深度图像的Y通道，剩余的低位作为YUV深度图像的U通道，YUV深度图像的V通道给定一个常数128；

或将所述高灰阶深度图像的每个像素值的高8位作为YUV深度图像的Y通道，将剩余的低位作为YUV深度图像的V通道，YUV深度图像的U通道给定一个常数128；

S1003、将所述YUV深度图像以YUV422格式输出；

S200、将所述YUV深度图像转换为RGB深度图像并输出：

S2001、接收所述YUV深度图像；

S2002、将所述YUV深度图像转换为RGB深度图像，并将所述RGB深度图像利用JPEG编码模块进行压缩编码；

S2003、将压缩编码后的RGB深度图像通过免驱动USB接口输出；

S300、将所述压缩编码后的RGB深度图像转换为YUV深度图像：

S3001、接收所述压缩编码后的RGB深度图像；

S3002、将所述压缩编码后的RGB深度图像进行解码生成RGB深度图像；

S3003、将所述RGB深度图像转换为YUV深度图像；

S400、从所述YUV深度图像的YU或者YV通道恢复高灰阶深度图像及每个像素对应的深度值；

所述步骤S400具体为从YUV深度图像的Y通道恢复高灰阶深度图像中每个像素点的高8位，从YUV深度图像的U通道或V通道恢复高灰阶深度图像中每个像素点的剩余的低位。

2.根据权利要求1所述的方法，其特征在于，所述步骤S1001中所述的三维深度感知设备包括基于结构光编码的三维深度感知装置、ToF深度传感器或双目摄像装置。

3.根据权利要求1所述的方法，其特征在于：所述步骤S2002采用任一YUV到RGB色度空间转换公式将所述YUV深度图像转换为RGB深度图像。

4.根据权利要求1所述的方法，其特征在于：所述步骤S3003采用任一RGB到YUV色度空间转换公式将所述RGB深度图像转换为YUV深度图像。