CN105225256A - 一种高灰阶深度图像的显示方法 - Google Patents

Abstract

本发明提供了一种高灰阶深度图像的显示方法，涉及一种高灰阶深度图像的伪彩色编码显示方法，所述方法将高灰阶深度图像经一定的计算处理映射到RG二通道或RGB三通道上，并在接收设备的接收与显示端直观展示高灰阶深度图像的细节，突显深度精度。本发明内容有助于高灰阶深度图像的显示和处理。

Description

一种高灰阶深度图像的显示方法

技术领域

本发明属于图像处理、计算机视觉和人机交互技术领域，特别涉及一种高灰阶深度图像的显示方法。

背景技术

视觉是人类观察与认知世界最直接、最主要的途径。我们生活在一个三维世界中，人类视觉不仅能感知物体表面的亮度、颜色、纹理信息，运动情况，而且能判断其形状、空间及空间位置(深度、距离)。如何让机器视觉能实时获得高精度、高清晰的深度信息、提高机器的智能水平是当前机器视觉系统开发的难点。在其它技术领域，图像深度信息对于立体编解码、2D转3D、多视点三维图像生成、三维目标识别和三维重建等也至关重要。深度信息的实时获取有助于现实物理世界与虚拟网络世界的交互，加强人与人、人与机器、机器与机器之间沟通学习，增强机器的智能化水平。

通过三维深度感知装置可实时获取投射面范围内的高精度深度信息(距离)，其精度可达到毫米级别、甚至更小，可采用高灰阶深度图像(8bits以上)来直观、准确地表示高精度的距离信息，其中高灰阶深度图像的每个像素值对应物理空间一个点的深度信息(即距离值)。比如目标物体距离三维深度感知装置的摄像头为5米，深度精度要达到毫米，则需要约2¹³个数据来表示，对应需要用13bits的高灰阶深度图像来表示物体空间的深度信息。如何采用高灰阶深度图像来直观、显示高精度深度信息及其细节已成为三维深度获取的重要内容。

发明内容

基于此，本发明提供了一种高灰阶深度图像的显示方法，所述方法通过伪彩色编码方法将高灰阶深度图像映射到RG二通道或RGB三通道上进行深度图像显示，包括以下步骤：

S100、将高灰阶深度图像的像素值对应的深度信息映射到RG或者RGB通道生成RGB深度图像；

S200、将所述RGB深度图像转换为YUV深度图像，将所述YUV深度图像以YUV422格式输出；

S300、将所述YUV深度图像转换为RGB深度图像并输出；

S3001、接收所述YUV深度图像；

S3002、将所述YUV深度图像转换为RGB深度图像；

S3003、将所述RGB深度图像经JPEG压缩编码模块进行压缩编码后输出；

S400、接收所述RGB深度图像，经JPEG解压得到以伪彩色编码方式显示的高灰阶深度图像。

附图说明

图1是本发明一个实施例的整体流程图；

图2是本发明一个实施例的灰阶等级划分示意图；

图3是本发明一个实施例的伪彩色编码流程图；

图4是本发明一个实施例的高灰阶深度图像两通道伪彩色编码效果图；

图5是本发明一个实施例的三通道伪彩色编码曲线示意图；

图6是本发明一个实施例的高灰阶深度图像三通道伪彩色编码效果图。

具体实施方式

下面结合具体实施例对本发明进行进一步的详细说明。

图1所示为本发明实施例一种高灰阶深度图像显示方法的整体流程图。为了清楚地说明，下面结合图2，图3，图4，图5，图6描述该方法。

在一个实施例中，公开了一种高灰阶深度图像的显示方法；

所述方法通过伪彩色编码方法把高灰阶深度图像映射到RG二通道或RGB三通道上进行深度图像增强显示，所述方法包括以下步骤：

S100、将高灰阶深度图像对应的深度信息映射到RG或者RGB通道生成RGB深度图像；

S200、将所述RGB深度图像转换为YUV深度图像，将所述YUV深度图像以YUV422格式输出；

S300、接收所述YUV深度图像，通过JPEG编码USB驱动模块，将所述YUV深度图像转换为RGB深度图像，并经JPEG压缩编码、USB驱动，将RGB深度图像通过免驱动USB接口输出；

S400、设备接收与显示端利用免驱动USB摄像头显示软件接收所述RGB深度图像，经JPEG解压得到以伪彩色编码方式显示的高灰阶深度图像。

本实施例中，所述的高灰阶深度图像，其每个像素的深度值一般在8bits以上，如9、10、11、12、13、14、15、16bits，对应精度可达毫米级的深度值信息。灰阶是对图像亮度(灰度信息)进行一定等级的区间划分，图为灰阶等级划分示意图，灰阶等级越少所表达的深度图像细节越粗糙，而灰阶等级越大所表达的深度图像细节部分越精细、表示其深度精度越高。

本实施例所述一种高灰阶深度图像的显示方法通过伪彩色编码方法将高灰阶深度图像经一定的计算处理映射到RG二通道或RGB三通道上进行深度图像增强显示，如图3所示，并在设备接收与显示端(一般只能显示24bits的RGB数据)以可视化显示方式尽可能地直观展示高灰阶深度图像的细节，突显深度精度。

在一个实施例中，所述步骤S100具体包括：将所述高灰阶深度图像的高8位数据存储在RGB图像的G通道中；所述高灰阶深度图像剩余的低位数据与高8位进行计算处理后放在RGB图像的R通道中，将RGB图像的B通道置0，生成RGB深度图像。

在本实施例中，将所述灰阶深度图像的像素值表示为Gray[n，0]；所述高灰阶深度图像的高8位数据表示为Gray[n，n-7]；所述高灰阶深度图像剩余的的低位数据表示为Gray[n-8，0]；其中n为8、9、10、11、12、13、14、15。在本实施例中，由于高位高灰阶深度图像数据主要体现了三维空间场景的深度灰度变化趋势，而低位深度图数据主要体现了三维空间场景的深度细节信息，因此将Gray[n，0]的高8位(即Gray[n，n-7])放在RGB的G通道中作为基色，剩余的低位(即Gray[n-8，0])与高8位数据进行一定的计算处理后放在RGB的R通道中，作为RG两通道的色差数据来凸显图像细节部分，而对B通道则置零。进一步，利用下式生成RGB深度图像，

$\left\{\begin{array}{c}\mathrm{temp}=\left(\mathrm{int}\right)\frac{\mathrm{Gray}}{2^{n-7}}\\ R=\mathrm{temp}-2^{n-7}+1+(\mathrm{Gray}-2^{n-7}*\mathrm{temp})\\ G=\mathrm{temp}\\ B=0\end{array}\right.$

其中，temp代表所述高灰阶深度图像的高8位数据；R、G、B分别代表RGB深度图像的R、G、B分量。

在一个实施例中，所述步骤S100具体包括：将所述高灰阶深度图像的高8位数据与剩余的低位数据进行计算处理，分别放入RGB三通道中，生成RGB深度图像。

在本实施例中，将所述灰阶深度图像的像素值表示为Gray[n，0]；所述高灰阶深度图像的高8位数据表示为Gray[n，n-7]；所述高灰阶深度图像剩余的的低位数据表示为Gray[n-8，0]；其中n为8、9、10、11、12、13、14、15。

在本实施例中，高灰阶深度图像与RGB三通道伪彩色深度图的对应关系，如图5所示。在RGB三通道伪彩色显示方法中，采用固定范围伪彩色编码，在灰度[x2：255]的灰度区间进行灰度转色度R编码，在[x1：255]的灰度区间进行灰度转G编码，在[0：x1]的灰度区间进行灰度转色度B编码，再将这三种色度进行合成即可完成固定范围的灰度伪彩色编码过程。可以看出在对应的范围内，灰度图转换为对应彩色信息是线性的变化，因此在每个彩色信息主色调范围内，对应显示出了深度距离的变化，然后再通过不同颜色进一步显示深度图的距离变化，可以更加直观的感受三维空间的景深程度，这种线性的变化也有利于接收端对深度数据的一定恢复。

在一个实施例中，利用下边的公式生成RGB图像；

$\left\{\begin{array}{c}\mathrm{temp}=\left(\mathrm{int}\right)\frac{\mathrm{Gray}}{2^{n-7}}\\ \mathrm{low}=\mathrm{Gray}-\mathrm{temp}*2^{n-7}\end{array}\right.$

上式中temp表示所述高灰阶深度图像的高8位数据；low表示所述高灰阶深度图像剩余的低位数据；

$R=\left\{\begin{array}{cc}0,& 0\&le;\mathrm{temp}<32\\ \mathrm{low},& 32<\mathrm{temp}<64\\ (\mathrm{temp}-64)*4,& 64\&le;\mathrm{temp}<128\\ 255-\mathrm{low},& 128\&le;\mathrm{temp}\&le;255\end{array}\right.$

$G=\left\{\begin{array}{cc}\mathrm{low},& 0\&le;\mathrm{temp}<32\\ (\mathrm{temp}-32)*8,& 32\&le;\mathrm{temp}<64\\ 255,& 64\&le;\mathrm{temp}<128\\ 255-(\mathrm{temp}-128)*2,& 128\&le;\mathrm{temp}\&le;255\end{array}\right.$

$B=\left\{\begin{array}{cc}\mathrm{temp}*8,& 0\&le;\mathrm{temp}<32\\ 255-(\mathrm{temp}-32)*8,& 32\&le;\mathrm{temp}<64\\ \mathrm{low},& 64\&le;\mathrm{temp}<128\\ 0,& 128\&le;\mathrm{temp}\&le;255\end{array}\right.$

上式中，R、G、B分别代表RGB深度图像的R、G、B分量。

现在以12bits高灰阶深度图像为例来解释本实施例，将12bits高灰阶深度数据分为4个不同的区间，在不同的区间进行不同的转换，高灰阶深度图像表示的三维场景深度由远及近时灰度值逐渐变大，图像亮度逐渐增强，对应转换后的RGB三通道伪彩色深度图在远处主要表现为蓝色程度变化，随着深度的减小，逐渐经过绿色变化、黄色变化的过渡，当距离更近时则体现为红色程度的变化，如图6所示，这种三通道伪彩色表示的高灰阶深度图像以不同的色温信息更加直观的体现了深度景深空间的变化。

在一个实施例中，步骤S300中所述的JPEG编码模块包括第三方设计的、用于免驱动USB摄像头的JPEG编码芯片。

在一个实施例中，步骤S400中利用免驱动USB摄像头的USB接口接收所述RGB深度图像。

本实施例中的免驱动USB摄像头包括现有的任一免驱动USB摄像头。

在一个实施例中，公开了一种高灰阶深度图像的显示方法，包括以下步骤：

S100、高灰阶深度图像像素值对应的深度信息映射到RG或RGB通道。三维深度感知设备内部将高灰阶深度图像(8bits以上，每个像素点的深度信息可用深度值Gray[n，0]表示，n为8、9、10、11、12、13、14、15)每个像素值映射到RGB通道，所述的三维深度感知设备可以是基于结构光编码的三维深度感知装置、ToF深度传感器或双目摄像装置。三维深度感知设备可实时获取所投射范围内目标空间或物体的高精度深度信息(距离)，其精度可达到毫米级别、甚至更小，可采用高灰阶深度图像(8bits以上)可直观、准确地表示高精度的距离信息，其中高灰阶深度图像的每个像素值对应物理空间一个点的深度信息(即距离值)，像素值的位宽越大表示其对应点的深度精度可越高。比如目标物体距离三维深度感知装置的摄像头为5米，深度精度要达到毫米，则需要约2¹³个数据来表示，对应需要用13bits的高灰阶深度图像来表示物体空间的深度信息。

具体方法包括：

(a)、由于高位深度图数据主要体现了三维空间场景的深度灰度变化趋势，而低位深度图数据主要体现了三维空间场景的深度细节信息，因此将Gray[n，0]的高8位(即Gray[n，n-7])放在RGB的G通道中作为基色，剩余的低位(即Gray[n-8，0])与高8位数据进行一定的计算处理后放在RGB的R通道中，作为RG两通道的色差数据来凸显图像细节部分，而对B通道则置零，如式1所示，

实现RG两通道的伪彩色显示；合成后的RG两通道伪彩色深度图表示主要呈现以黄色单色调变化表示的高灰阶深度图，如图4所示。

$\left\{\begin{array}{c}\mathrm{temp}=\left(\mathrm{int}\right)\frac{\mathrm{Gray}}{2^{n-7}}\\ R=\mathrm{temp}-2^{n-7}+1+(\mathrm{Gray}-2^{n-7}*\mathrm{temp})\\ G=\mathrm{temp}\\ B=0\end{array}\right.$ (式1)

(b)、将Gray[n，0]的高8位(即Gray[n，n-7])与低位(即Gray[n-8，0])进行一定的计算处理，分别放入RGB三通道中，实现RGB三通道的伪彩色显示。

高灰阶深度图像与RGB三通道的伪彩色深度图的对应关系，如图5所示。在RGB三通道伪彩色显示方法中，采用固定范围伪彩色编码，如图5所示，在灰度[x2：255]的灰度区间进行灰度转色度R编码，在[x1：255]的灰度区间进行灰度转G编码，在[0：x1]的灰度区间进行灰度转色度B编码，再将这三种色度进行合成即可完成固定范围的灰度伪彩色编码过程。可以看出在对应的范围内，灰度图转换为对应彩色信息是线性的变化，因此在每个彩色信息主色调范围内，对应显示出了深度距离的变化，然后再通过不同颜色进一步显示深度图的距离变化，可以更加直观的感受三维空间的景深程度，这种线性的变化也有利于接收端对深度数据的一定恢复。

通过这种对应关系得出高灰阶深度图像进行RGB三通道伪彩色编码的转换公式(式2)和(式3)。以12bits高灰阶深度图像为例，将12bits高灰阶深度数据分为4个不同的区间，在不同的区间进行不同的转换，高灰阶深度图像表示的三维场景深度由远及近时灰度值逐渐变大，图像亮度逐渐增强，对应转换后的RGB三通道伪彩色深度图在远处主要表现为蓝色程度变化，随着深度的减小，逐渐经过绿色变化、黄色变化的过渡，当距离更近时则体现为红色程度的变化，如图6所示，这种三通道伪彩色表示的高灰阶深度图像以不同的色温信息更加直观的体现了深度景深空间的变化。

$\left\{\begin{array}{c}\mathrm{temp}=\left(\mathrm{int}\right)\frac{\mathrm{Gray}}{2^{n-7}}\\ \mathrm{low}=\mathrm{Gray}-\mathrm{temp}*2^{n-7}\end{array}\right.$ (式2)

$R=\left\{\begin{array}{cc}0,& 0\&le;\mathrm{temp}<32\\ \mathrm{low},& 32<\mathrm{temp}<64\\ (\mathrm{temp}-64)*4,& 64\&le;\mathrm{temp}<128\\ 255-\mathrm{low},& 128\&le;\mathrm{temp}\&le;255\end{array}\right.$

$G=\left\{\begin{array}{cc}\mathrm{low},& 0\&le;\mathrm{temp}<32\\ (\mathrm{temp}-32)*8,& 32\&le;\mathrm{temp}<64\\ 255,& 64\&le;\mathrm{temp}<128\\ 255-(\mathrm{temp}-128)*2,& 128\&le;\mathrm{temp}\&le;255\end{array}\right.$

$B=\left\{\begin{array}{cc}\mathrm{temp}*8,& 0\&le;\mathrm{temp}<32\\ 255-(\mathrm{temp}-32)*8,& 32\&le;\mathrm{temp}<64\\ \mathrm{low},& 64\&le;\mathrm{temp}<128\\ 0,& 128\&le;\mathrm{temp}\&le;255\end{array}\right.$ (式3)

S200、色度空间转换：RGB转为YUV。将所得到的24bitsRGB深度图像根据一定的色度空间转换公式(比如式4)转换成为24bitsYUV深度图像，并以数字YUV422格式输出；

$\left\{\begin{array}{c}Y=0.257*R+0.504*G+0.098*B+16\\ U=-0.148*R-0.291*G+0.439*B+128\\ V=0.439*R-0.368*G-0.071*B+128\end{array}\right.$ (式4)

S300、JPEG编码USB打包传输。JPEG编码USB驱动模块接收数字YUV输入，经内部的色度空间转换公式将YUV转为RGB，再通过经USB编码芯片的JPEG压缩编码、USB驱动，将图像数据流通过免驱动USB接口输出；这里所述的JPEG编码USB驱动模块可采用任何第三方设计的、用于免驱动USB摄像头的JPEG编码芯片；

S400、接收RGB深度图像，并以伪彩色方式显示高灰阶深度图像。设备接收与显示端的显示软件通过免驱动USB接口获取图像数据流，经JPEG解码，得到RGB深度图像进行显示，得到以伪彩色编码方式显示的高灰阶深度图像。这里所述的设备接收与显示端可通过任意一款支持免驱动USB摄像头显示软件对所得到的伪彩色表示的高灰阶深度图像进行显示。

基于以上方法，通过对高灰阶深度图像的伪彩色编码，将深度信息转为RG二通道或RGB三通道进行增强显示，实现可视化显示方式直观展示高灰阶深度图像的细节，并突显深度精度。

虽然上述的实施例在特定的系统中完成，然其并非限定本发明，本发明可类似的应用到相似的高灰阶图像的数据恢复与可视化显示中。本发明以n(n＝9、10、11、12、13、14、15)bits像素点数据为例进行说明，不局限于nbits数据，而且适用于更多bits以上数据。式4是色度空间转换公式的一个举例，具体参数和公式不限于所举例的内容。本发明有利于高灰阶深度图的可视化显示，能够更加直观的从伪彩色显示的高灰阶深度图中判断景深空间的变化。因而在不脱离本发明的精神和范围内的修改和完善，均应包含在上述的权利要求范围内。

Claims (8)

1.一种高灰阶深度图像的显示方法，其特征在于，所述方法通过伪彩色编码方法将高灰阶深度图像映射到RG二通道或RGB三通道上进行深度图像显示，包括以下步骤：

S100、将高灰阶深度图像的像素值对应的深度信息映射到RG或者RGB通道生成RGB深度图像；

S200、将所述RGB深度图像转换为YUV深度图像，将所述YUV深度图像以YUV422格式输出；

S300、将所述YUV深度图像转换为RGB深度图像并输出：

S3001、接收所述YUV深度图像；

S3002、将所述YUV深度图像转换为RGB深度图像；

S3003、将所述RGB深度图像经JPEG压缩编码模块进行压缩编码后输出；

S400、接收所述RGB深度图像，经JPEG解压得到以伪彩色编码方式显示的高灰阶深度图像。

2.根据权利要求1所述的方法，其特征在于，优选的，所述步骤S100具体包括：将所述高灰阶深度图像的高8位数据存储在RGB图像的G通道中；将所述高灰阶深度图像的剩余的低位数据与高8位进行计算处理后放在RGB图像的R通道中，将RGB图像的B通道置0，生成RGB深度图像。

3.根据权利要求1所述的方法，其特征在于，所述步骤S100具体包括：将所述高灰阶深度图像的高8位数据与所述高灰阶深度图像剩余的低位数据进行计算处理，分别放入R、G、B三通道中，生成RGB深度图像。

4.根据权利要求1所述的方法，其特征在于：将所述灰阶深度图像的像素值表示为Gray[n，0]；所述高灰阶深度图像的高8位数据表示为Gray[n，n-7]；所述高灰阶深度图像剩余的低位数据表示为Gray[n-8，0]；其中n为8、9、10、11、12、13、14、15。

5.根据权利要求2所述的方法，其特征在于：利用下式生成RGB深度图像，

$\left\{\begin{array}{c}\mathrm{temp}=\left(\mathrm{int}\right)\frac{\mathrm{Gray}}{2^{n-7}}\\ R=\mathrm{temp}-2^{n-7}+1+(\mathrm{Gray}-2^{n-7}*\mathrm{temp})\\ G=\mathrm{temp}\\ B=0\end{array}\right.$

其中，temp代表所述高灰阶深度图像的高8位数据；R、G、B分别代表RGB深度图像的R、G、B分量。

6.根据权利要求3所述的方法，其特征在于：利用下边的公式生成RGB深度图像，

$\left\{\begin{array}{c}\mathrm{temp}=\left(\mathrm{int}\right)\frac{\mathrm{Gray}}{2^{n-7}}\\ \mathrm{low}=\mathrm{Gray}-\mathrm{temp}*2^{n-7}\end{array}\right.$

上式中temp表示所述高灰阶深度图像的高8位数据；low表示所述高灰阶深度图像剩余的低位数据；

$R=\left\{\begin{array}{cc}0,& 0\&le;\mathrm{temp}<32\\ \mathrm{low},& 32\&le;\mathrm{temp}<64\\ (\mathrm{temp}-64)*4,& 64\&le;\mathrm{temp}<128\\ 255-\mathrm{low},& 128\&le;\mathrm{temp}\&le;255\end{array}\right.$

$G=\left\{\begin{array}{cc}\mathrm{low},& 0\&le;\mathrm{temp}<32\\ (\mathrm{temp}-32)*8,& 32\&le;\mathrm{temp}<64\\ 255,& 64\&le;\mathrm{temp}<128\\ 255-(\mathrm{temp}-128)*2,& 128\&le;\mathrm{temp}\&le;255\end{array}\right.$

$B=\left\{\begin{array}{cc}\mathrm{temp}*8,& 0\&le;\mathrm{temp}<32\\ 255-(\mathrm{temp}-32)*8,& 32\&le;\mathrm{temp}<64\\ \mathrm{low},& 64\&le;\mathrm{temp}<128\\ 0,& 128\&le;\mathrm{temp}\&le;255\end{array}\right.$

上式中，R、G、B分别代表RGB深度图像的R、G、B分量。

7.根据权利要求1所述的方法，其特征在于：步骤S3003中所述的JPEG编码模块包括第三方设计的、用于免驱动USB摄像头的JPEG编码芯片。

8.根据权利要求1所述的方法，其特征在于：步骤S400中利用免驱动USB摄像头的USB接口接收所述RGB深度图像。