CN111447427A - 深度数据的传输方法及其装置 - Google Patents

Abstract

本发明涉及数据传输领域，公开了一种深度数据的传输方法，包括以下步骤：按照预定的编码格式，将所述深度数据编码为RGB图像；采用视频流传输协议传输所述RGB图像；接收所述RGB图像；按照预定的解码格式，将接收的所述RGB图像解码为所述深度数据。能有效减小传输带宽压力，增加网络并发数目，并能有效降低传输过程中由于传输误差导致的深度信息精度损失。

Description

深度数据的传输方法及其装置

技术领域

本发明涉及数据传输领域，特别涉及一种深度数据的传输技术。

背景技术

现有深度相机采集数据后的传输方式大体分为两种：

一、通过通用串行总线(Universal Serial Bus，简称“USB”)直连的方式与相应主机连接：

这种方式传输距离受限于USB线长度，USB线长距离传输需要额外的信号放大，USB接口长时间工作的稳定性没有网络接口稳定，针对现有的使用环境，如果要安装新增的深度相机往往意味着需要再增加USB线的走线布置，增加使用深度相机的成本；

二、通过网线连接的方式与相应主机连接，传输无压缩的原始深度数据：

这种方式传输距离不受制于信号衰减，并且现有的网络环境可以被合理地利用起来，减少使用深度相机的成本。但是，目前的传输方案通过网络传输的是无压缩的深度数据，码流带宽压力大，网络并发数量受限严重。

因此，针对上述USB线直连方式传输距离受限，以及网络传输原始深度数据带宽压力过大的问题，目前亟需一种更先进的深度数据传输技术。

发明内容

本发明的目的在于提供一种深度数据的传输方法及其装置，通过将深度数据编码为RGB图像，进而采用视频流传输协议通过网络连接传输编码后的RGB图像，能有效减小传输带宽压力，增加网络并发数目，并能有效降低传输过程中由于传输误差导致的深度信息精度损失。

为解决上述技术问题，本发明的实施方式公开了一种深度数据的传输方法，包括以下步骤：

按照预定的编码格式，将所述深度数据编码为RGB图像；

采用视频流传输协议传输所述RGB图像；

接收所述RGB图像；

按照预定的解码格式，将接收的所述RGB图像解码为所述深度数据。

本发明的实施方式还公开了一种深度数据的传输装置，包括：

编码模块，用于按照预定的编码格式，将所述深度数据编码为RGB图像；

传输模块，用于采用视频流传输协议传输所述编码模块输出的所述RGB图像；

接收模块，用于接收所述传输模块传输的所述RGB图像；

解码模块，用于根据预定的解码格式，将所述接收模块接收的所述RGB图像解码为所述深度数据。

本发明实施方式与现有技术相比，主要区别及其效果在于：

通过将深度数据编码为RGB图像，进而采用视频流传输协议通过网络连接传输编码后的RGB图像，能有效减小传输带宽压力，增加网络并发数目，并能有效降低传输过程中由于传输误差导致的深度信息精度损失。

进一步地，采用视频流传输协议传输深度数据，解除了USB线路传输深度数据对于传输距离短、接口稳定性差的限制，解除了网络连接传输原始数据对于带宽压力过大、并发数量受限的限制。

进一步地，将深度信息转化为视频流信息，有效地降低了因为传输过程中的数据误差导致的深度信息精度损失。

附图说明

图1是本发明第一实施方式中一种深度数据的传输方法的流程示意图；

图2是本发明第一实施方式中一种优选实施例的流程框图；

图3是本发明第一实施方式中一种优选实施例的编码格式示意图；

图4是本发明第一实施方式中一种优选实施例的解码格式示意图；

图5a是本发明第一实施方式中另一种优选实施例的编码格式示意图；

图5b是本发明第一实施方式中另一种优选实施例的编码格式示意图；

图6a是本发明第一实施方式中另一种优选实施例的解码格式示意图；

图6b是本发明第一实施方式中另一种优选实施例的解码格式示意图；

图7a是本发明第一实施方式中另一种优选实施例的解码格式示意图；

图7b是本发明第一实施方式中另一种优选实施例的解码格式示意图；

图8是本发明第二实施方式中一种深度数据的传输装置的结构示意图。

具体实施方式

在以下的叙述中，为了使读者更好地理解本申请而提出了许多技术细节。但是，本领域的普通技术人员可以理解，即使没有这些技术细节和基于以下各实施方式的种种变化和修改，也可以实现本申请各权利要求所要求保护的技术方案。

为使本发明的目的、技术方案和优点更加清楚，下面将结合附图对本发明的实施方式作进一步地详细描述。

本发明第一实施方式涉及一种深度数据的传输方法。图1是该深度数据的传输方法的流程示意图。

通过观察，将深度相机采集深度数据的特点与现有网络相机采集数据的特点进行比较分析，发现两者所采集的数据具有以下相似的特点：

1.两者都是有规律的每间隔一段时间采集一次数据；

2.采集的数据的本体是连续的具有实际物理意义的物体；

3.每一个采集周期采集的数据只会变更其中的一部分，并且变更的部分大概率不会突变。

因此，针对现有技术中USB线直连方式传输距离受限，以及网络传输原始深度数据带宽压力过大的问题，本申请提出一种采用视频流传输协议传输深度相机码流的方法。

具体地说，如图1所示，该深度数据的传输方法包括以下步骤：

在步骤101中，按照预定的编码格式，将所述深度数据编码为RGB图像。

此后进入步骤102，采用视频流传输协议传输所述RGB图像。

该视频流传输协议包括，但不限于，TCP、UDP、RTP、RTRP和RTSP等。

需要说明的是，根据视频流传输协议传输RGB图像是现有技术中的成熟技术，在此不再详细描述。

此后进入步骤103，接收所述RGB图像。

此后进入步骤104，按照预定的解码格式，将接收的所述RGB图像解码为所述深度数据。

需要说明的是，所述预定的解码格式与所述预定的编码格式是相对应的。换句话说，所述预定的解码格式是所述预定的编码格式的逆过程。

此后结束本流程。

通过将深度数据编码为RGB(Red Green Blue)图像，进而采用视频流传输协议通过网络连接传输编码后的RGB图像，能有效减小传输带宽压力，增加网络并发数目，并能有效降低传输过程中由于传输误差导致的深度信息精度损失。

进一步地，优选地，在步骤101中，可以包括以下子步骤：

将所述深度数据中的各个数字分别由十进制数转换为4位二进制数，并按照位数关系存入对应的RGB图像的RGB通道内，从而将所述深度数据编码为相同分辨率大小的RGB图像。

对应于上述步骤101，在所述步骤104中，也可以包括以下子步骤：

将所述RGB图像的RGB像素值分别由十进制数转换为8位二进制数，将该8位二进制数的前4位和后4位分别由二进制数转换为十进制数，并按照所述位数关系还原回所述深度数据，从而将所述RGB图像解码为所述深度数据。

为了便于理解上述步骤101和104，下面详细介绍本申请的一个优选实施例。图2是该优选实施例的流程框图，图3是该优选实施例的编码格式示意图，图4是该优选实施例的解码格式示意图。

传统的深度相机有效监测距离为10M，即单个像素点的深度数据取值范围为0至100000。假设某一深度相机的分辨率为640*480，第i行第j列点的深度数据为12345，将获取到的深度相机原始数据按照图3所示的编码格式进行编码。

在图3所示的编码格式中，将第(i,j)点的深度数据的高位补0，形成一个具有6位数字的深度数据，即第(i,j)点的深度数据为012345。将该深度数据012345中的各个数字分别由十进制数转换为4位二进制数，并按照位数关系存入对应的第(i，j)点RGB图像像素点的RGB通道内。RGB图像像素点的RGB通道内分别可以存储8位二进制数字。十进制数转换为二进制数的对照表如下表1所示：

表1

十进制数	0	1	2	3	4
						二进制数	0000	0001	0010	0011	0100
十进制数	5	6	7	8	9
						二进制数	0101	0110	0111	1000	1001

具体地说，如图3所示，将深度数据012345中的0转换为0000并存入R通道内的前4位上，将深度数据012345中的1转换为0001并存入R通道内的后4位上，因此第(i，j)点RGB图像像素点的R通道内存储的8位二进制数为00000001，转换为十进制数即为1；将深度数据012345中的2转换为0010并存入G通道内的前4位上，将深度数据012345中的3转换为0011并存入G通道内的后4位上，因此第(i，j)点RGB图像像素点的G通道内存储的8位二进制数为00100011，转换为十进制数即为35；将深度数据012345中的4转换为0100并存入B通道内的前4位上，将深度数据012345中的5转换为0101并存入B通道内的后4位上，因此第(i，j)点RGB图像像素点的B通道内存储的8位二进制数为01000101，转换为十进制数即为69。因此，编码得到对应的第(i，j)点RGB像素值为(1，35，69)。

当然，图3所示的只是一种优选的编码格式，并不以此为限。

按照上述编码格式进行编码，可以得到一个相同分辨率，即640*480分辨率的RBG图像，进而采用视频流传输协议通过网络连接传输编码后的RGB图像。

接收服务器接收通过网络传输的RGB图像，并按照与上述编码格式相对应的解码格式，对收到的RGB图像进行解码。

具体地说，在图4所示的解码格式中，第(i，j)点RGB像素值为(1，35，69)，将该第(i，j)点RGB像素值分别由十进制数转换为8位二进制数：00000001，00100011，01000101。将这三个8位二进制数的前4位和后4位分别由二进制数转换为十进制数为：0，1；2，3；4，5。并按照位数关系还原回所述深度数据：012345。因此，解码得到第(i，j)点的深度数据为012345。从而完成了深度数据的传输。

或者，优选地，在步骤101中，还可以包括以下子步骤：

将所述深度数据中的各个数字分别由十进制数转换为4位二进制数，并按照位数关系存入相邻的2个RGB图像像素点的RGB通道的前4位上，后4位用0填补，从而将所述深度数据编码为2倍分辨率大小的RGB图像。

对应于上述步骤101，在所述步骤104中，也可以包括以下子步骤：

将所述相邻的2个RGB图像像素点的RGB像素值分别由十进制数转换为8位二进制数，将该8位二进制数的前4位由二进制数转换为十进制数，并按照所述位数关系还原回所述深度数据，从而将所述RGB图像解码为所述深度数据。

为了便于理解上述步骤101和104，下面详细介绍本申请的另一个优选实施例，图5a和图5b是该优选实施例的编码格式示意图，图6a和图6b是该优选实施例的解码格式示意图。

传统的深度相机有效监测距离为10M，即单个像素点的深度数据取值范围为0至100000。

将获取到的深度相机原始数据按照图5a和图5b所示的编码格式进行编码。将所述深度数据中的各个数字分别由十进制数转换为4位二进制数，并按照位数关系存入相邻的2个RGB图像像素点的RGB通道的前4位上，后4位用0填补，从而得到优化编码后的RGB图像。假设某一深度相机获取到的原始深度数据的分辨率为640*480，按照图5a和图5b所示的编码格式，即可得到一个1280*480分辨率的RBG图像。

假设第i行第j列点的深度数据为12345。在图5a和图5b所示的编码格式中，将第(i，j)点的深度数据的高位补0，形成一个具有6位数字的深度数据，即第(i，j)点的深度数据为012345。优选地，将原始的深度数据的分辨率扩大为长乘以2，宽不变。即将第(i，j)点的深度数据按照位数存入对应的第(2*i，j)点和第(2*i+1，j)点RGB图像像素点的RGB通道内。

如图5a所示，按照位数关系，将所述深度数据012345从高位开始，第一位数字0由十进制数转换为4位二进制数0000，并存入第(2*i，j)点RGB图像像素点的R通道内的前4位上，其他的位数(即后4位)用0填补，形成8位二进制数00000000，因此，第(2*i，j)点RGB图像像素点的R通道内存储的8位二进制数为00000000，转换为十进制数即为0。第二位数字1由十进制数转换为4位二进制数0001，并存入第(2*i，j)点RGB图像像素点的G通道内的前4位上，后4位用0填补，形成8位二进制数00010000，因此，第(2*i，j)点RGB图像像素点的G通道内存储的8位二进制数为00010000，转换为十进制数即为16。第三位数字2由十进制数转换为4位二进制数0010，并存入第(2*i，j)点RGB图像像素点的B通道内的前4位上，后4位用0填补，形成8位二进制数00100000，因此，第(2*i，j)点RGB图像像素点的B通道内存储的8位二进制数为00100000，转换为十进制数即为32。从而得到第(2*i，j)点RGB像素值为(0，16，32)。

如图5b所示，按照位数关系，将所述深度数据012345从高位开始，第四位数字3由十进制数转换为4位二进制数0011，并存入第(2*i+1，j)点RGB图像像素点的R通道内的前4位上，后4位用0填补，形成8位二进制数00110000，因此，第(2*i+1，j)点RGB图像像素点的R通道内存储的8位二进制数为00110000，转换为十进制数即为48。第五位数字4由十进制数转换为4位二进制数0100，并存入第(2*i+1，j)点RGB图像像素点的G通道内的前4位上，后4位用0填补，形成8位二进制数01000000，因此，第(2*i+1，j)点RGB图像像素点的G通道内存储的8位二进制数为01000000，转换为十进制数即为64。第六数字5由十进制数转换为4位二进制数0101，并存入第(2*i+1，j)点RGB图像像素点的B通道内的前4位上，后4位用0填补，形成8位二进制数01010000，因此，第(2*i+1，j)点RGB图像像素点的B通道内存储的8位二进制数为01010000，转换为十进制数即为80。从而得到第(2*i+1,j)点RGB像素值为(48，64，80)。

当然，图5a和图5b所示的只是一种优选的编码格式，并不以此为限。

按照上述编码格式进行编码，可以得到一个2倍分辨率大小，即1280*480分辨率的RBG图像，进而采用视频流传输协议通过网络连接传输编码后的RGB图像。

接收服务器接收通过网络传输的RGB图像，并按照与上述编码格式相对应的解码格式，对收到的RGB图像进行解码。

具体地说，假设第(2*i，j)点的RGB值为(0，16，32)，第(2*i+1，j)点的RGB值为(48，64，80)，将获得到的RGB图像按照如图6a和图6b所示的解码格式进行解码。并按照位数关系还原为对应的第(i，j)点的深度数据为012345。从而完成了深度数据的传输。

在本发明的另一个优选实施例中，优选地，将原始的深度数据的分辨率扩大为长不变，宽乘以2。即将第(i，j)点的深度数据按照位数存入对应的第(i，2*j)点和第(i，2*j+1)点RGB图像像素点的RGB通道内。图7a和图7b是该优选实施例的一种解码格式示意图。

此外，本申请在将RGB数据解码为深度数据时，允许一定误差的存在。

误差范围如下表2所示：

表2

深度数据	0	1	2	3	4
						RGB数据	0～15	16～31	32～47	48～63	64～79
深度数据	5	6	7	8	9
						RGB数据	80～95	96～111	112～127	128～143	144～159

即RGB数据转换深度数据对照公式为：RGB数据16n～16n+15转换为深度数据n。

允许误差范围的存在，有效地降低了因为传输过程中的数据误差导致的深度信息精度损失。

本发明的各方法实施方式均可以以软件、硬件、固件等方式实现。不管本发明是以软件、硬件、还是固件方式实现，指令代码都可以存储在任何类型的计算机可访问的存储器中(例如永久的或者可修改的，易失性的或者非易失性的，固态的或者非固态的，固定的或者可更换的介质等等)。同样，存储器可以例如是可编程阵列逻辑(Programmable ArrayLogic，简称“PAL”)、随机存取存储器(Random Access Memory，简称“RAM”)、可编程只读存储器(Programmable Read Only Memory，简称“PROM”)、只读存储器(Read-Only Memory，简称“ROM”)、电可擦除可编程只读存储器(Electrically Erasable Programmable ROM，简称“EEPROM”)、磁盘、光盘、数字通用光盘(Digital Versatile Disc，简称“DVD”)等等。

本发明第二实施方式涉及一种深度数据的传输装置。图8是该深度数据的传输装置的结构示意图。

具体地，如图8所示，该深度数据的传输装置包括：

编码模块，用于按照预定的编码格式，将所述深度数据编码为RGB图像。

传输模块，用于采用视频流传输协议传输所述编码模块输出的所述RGB图像。

接收模块，用于接收所述传输模块传输的所述RGB图像。

解码模块，用于根据预定的解码格式，将所述接收模块接收的所述RGB图像解码为所述深度数据。

进一步地，优选地，所述编码模块将所述深度数据中的各个数字分别由十进制数转换为4位二进制数，并按照位数关系存入对应的RGB图像的RGB通道内，从而将所述深度数据编码为相同分辨率大小的RGB图像。所述解码模块将所述RGB图像的RGB像素值分别由十进制数转换为8位二进制数，将该8位二进制数的前4位和后4位分别由二进制数转换为十进制数，并按照所述位数关系还原回所述深度数据，从而将所述RGB图像解码为所述深度数据。

或者，优选地，所述编码模块将所述深度数据中的各个数字分别由十进制数转换为4位二进制数，并按照位数关系存入相邻的2个RGB图像像素点的RGB通道的前4位上，后4位用0填补，从而将所述深度数据编码为2倍分辨率大小的RGB图像。所述解码模块将所述相邻的2个RGB图像像素点的RGB像素值分别由十进制数转换为8位二进制数，将该8位二进制数的前4位由二进制数转换为十进制数，并按照所述位数关系还原回所述深度数据，从而将所述RGB图像解码为所述深度数据。

通过将深度数据编码为RGB图像，进而采用视频流传输协议通过网络连接传输编码后的RGB图像，能有效减小传输带宽压力，增加网络并发数目，并能有效降低传输过程中由于传输误差导致的深度信息精度损失。

第一实施方式是与本实施方式相对应的方法实施方式，本实施方式可与第一实施方式互相配合实施。第一实施方式中提到的相关技术细节在本实施方式中依然有效，为了减少重复，这里不再赘述。相应地，本实施方式中提到的相关技术细节也可应用在第一实施方式中。

需要说明的是，本发明各系统实施方式中提到的各设备或模块都是逻辑单元，在物理上，一个逻辑单元可以是一个物理单元，也可以是一个物理单元的一部分，还可以以多个物理单元的组合实现，这些逻辑单元本身的物理实现方式并不是最重要的，这些逻辑单元所实现的功能的组合才是解决本发明所提出的技术问题的关键。此外，为了突出本发明的创新部分，本发明各系统实施方式并没有将与解决本发明所提出的技术问题关系不太密切的单元引入，这并不表明上述设备实施方式并不存在其它的单元。

需要说明的是，本发明各实施方式、各实施例和各优选实施例中的各技术特征可以相互结合，相互配合实施。

需要说明的是，在本专利的权利要求和说明书中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。

虽然通过参照本发明的某些优选实施方式，已经对本发明进行了图示和描述，但本领域的普通技术人员应该明白，可以在形式上和细节上对其作各种改变，而不偏离本发明的精神和范围。

Claims (10)

1.一种深度数据的传输方法，其特征在于，包括以下步骤：

按照预定的编码格式，将所述深度数据编码为RGB图像；

采用视频流传输协议传输所述RGB图像；

接收所述RGB图像；

按照预定的解码格式，将接收的所述RGB图像解码为所述深度数据。

2.根据权利要求1所述的深度数据的传输方法，其特征在于，在所述按照预定的编码格式，将所述深度数据编码为RGB图像的步骤中，包括以下子步骤：

将所述深度数据中的各个数字分别由十进制数转换为4位二进制数，并按照位数关系存入对应的RGB图像的RGB通道内，从而将所述深度数据编码为相同分辨率大小的RGB图像。

3.根据权利要求2所述的深度数据的传输方法，其特征在于，在所述按照预定的解码格式，将接收的所述RGB图像解码为所述深度数据的步骤中，包括以下子步骤：

将所述RGB图像的RGB像素值分别由十进制数转换为8位二进制数，将该8位二进制数的前4位和后4位分别由二进制数转换为十进制数，并按照所述位数关系还原回所述深度数据，从而将所述RGB图像解码为所述深度数据。

4.根据权利要求1所述的深度数据的传输方法，其特征在于，在所述按照预定的编码格式，将所述深度数据编码为RGB图像的步骤中，包括以下子步骤：

将所述深度数据中的各个数字分别由十进制数转换为4位二进制数，并按照位数关系存入相邻的2个RGB图像像素点的RGB通道的前4位上，后4位用0填补，从而将所述深度数据编码为2倍分辨率大小的RGB图像。

5.根据权利要求4所述的深度数据的传输方法，其特征在于，在所述按照预定的解码格式，将接收的所述RGB图像解码为所述深度数据的步骤中，包括以下子步骤：

将所述相邻的2个RGB图像像素点的RGB像素值分别由十进制数转换为8位二进制数，将该8位二进制数的前4位由二进制数转换为十进制数，并按照所述位数关系还原回所述深度数据，从而将所述RGB图像解码为所述深度数据。

6.一种深度数据的传输装置，其特征在于，包括：

编码模块，用于按照预定的编码格式，将所述深度数据编码为RGB图像；

传输模块，用于采用视频流传输协议传输所述编码模块输出的所述RGB图像；

接收模块，用于接收所述传输模块传输的所述RGB图像；

解码模块，用于根据预定的解码格式，将所述接收模块接收的所述RGB图像解码为所述深度数据。

7.根据权利要求6所述的深度数据的传输装置，其特征在于，所述编码模块将所述深度数据中的各个数字分别由十进制数转换为4位二进制数，并按照位数关系存入对应的RGB图像的RGB通道内，从而将所述深度数据编码为相同分辨率大小的RGB图像。

8.根据权利要求7所述的深度数据的传输装置，其特征在于，所述解码模块将所述RGB图像的RGB像素值分别由十进制数转换为8位二进制数，将该8位二进制数的前4位和后4位分别由二进制数转换为十进制数，并按照所述位数关系还原回所述深度数据，从而将所述RGB图像解码为所述深度数据。

9.根据权利要求6所述的深度数据的传输装置，其特征在于，所述编码模块将所述深度数据中的各个数字分别由十进制数转换为4位二进制数，并按照位数关系存入相邻的2个RGB图像像素点的RGB通道的前4位上，后4位用0填补，从而将所述深度数据编码为2倍分辨率大小的RGB图像。

10.根据权利要求9所述的深度数据的传输装置，其特征在于，所述解码模块将所述相邻的2个RGB图像像素点的RGB像素值分别由十进制数转换为8位二进制数，将该8位二进制数的前4位由二进制数转换为十进制数，并按照所述位数关系还原回所述深度数据，从而将所述RGB图像解码为所述深度数据。

Images