CN109769104A

CN109769104A - 无人机全景图像传输方法及装置

Info

Publication number: CN109769104A
Application number: CN201811261704.9A
Authority: CN
Inventors: 田林海; 李雯; 岳庆冬
Original assignee: Xian Cresun Innovation Technology Co Ltd
Current assignee: Jiangsu Siyou Information Technology Co.,Ltd.
Priority date: 2018-10-26
Filing date: 2018-10-26
Publication date: 2019-05-17
Anticipated expiration: 2038-10-26
Also published as: CN109769104B

Abstract

本发明涉及一种无人机全景图像传输方法及装置，该方法包括：(a)获取多个不同角度的采集图像；(b)对所述采集图像进行拼接形成全景图像；(c)采用自适应压缩编码方法，对所述全景图像进行压缩编码获得传输码流；(d)将所述传输码流通过无线通信链路进行传输。本发明通过对无人机数据在传输过程中采用了一种自适应压缩方法，大大节省了无人机数据的传输带宽，且压缩编码后的压缩损失小。

Description

无人机全景图像传输方法及装置

技术领域

本发明属于无人机数据图像传输技术领域，具体涉及一种无人机全景图像传输方法及装置。

背景技术

无人机监控技术近年来被广泛应用，无人机全景监控为其中一种应用个比较广泛的技术，无人机全景技术具有信息量大、图像变化快等特点，且无人机视角范围、实时性、可靠性都要求很好，无人机传输的图像数据存在大量冗余，随着视频质量的要求不断提高，造成数据传输带宽需求越来越高，因此，如何在不影响传输质量的前提下节省传输带宽变得至关重要。

发明内容

为了解决现有技术中存在的上述问题，本发明提供了一种无人机全景图像传输方法及装置。本发明要解决的技术问题通过以下技术方案实现：

本发明实施例提供了一种无人机全景图像传输方法，包括如下步骤：

获取多个不同角度的采集图像；

对所述采集图像进行拼接形成全景图像；

采用自适应压缩编码方法，对所述全景图像进行压缩编码获得传输码流；

将所述传输码流通过无线通信链路进行传输。

在本发明的一个实施例中，多个不同角度的采集图像包括至少两幅镜头视场角分别大于180度的所述采集图像。

在本发明的一个实施例中，所述自适应压缩编码方法包括：

(x1)获取待处理图像；

(x2)对于待处理图像的任一像素，分别计算多种预测搜索窗口对应的预测残差并获取最优预测残差；

(x3)根据若干所述最优预测残差获得预测残差码流；

(x4)将所述预测残差码流划分为若干量化单元；

(x5)对于任一所述量化单元，分别采用第一量化模式和第二量化模式计算量化残差并获得最优量化残差；

(x6)根据若干最优量化残差获得量化残差码流。

在本发明的一个实施例中，步骤(x6)后还包括对所述量化残差码流进行熵编码。

在本发明的一个实施例中，所述多种预测搜索窗口包括：水平条形、垂直条形、矩形。

在本发明的一个实施例中，所述第一量化模式包括对所述量化单元依次进行量化处理、补偿处理、反量化处理。

在本发明的一个实施例中，所述第二量化模式包括对所述量化单元依次进行补偿处理、量化处理、反量化处理。

本发明的另一个实施例提供了一种无人机全景图像传输装置，包括：

采集模块，用于获取多个不同角度的采集图像；

拼接模块，用于对所述采集图像进行拼接形成全景图像；

视频压缩模块，用于采用自适应压缩编码方法，对所述全景图像进行压缩编码获得传输码流；

存储模块，用于存储所述传输码流；

发送模块，用于将所述传输码流通过无线通信链路进行传输。

在本发明的一个实施例中，所述传输装置还包括变焦控制模块。

在本发明的一个实施例中，所述采集装置还包括麦克风。

与现有技术相比，本发明的有益效果：

本发明实施例通过对无人机数据在传输过程中采用了一种自适应压缩方法，大大节省了无人机数据的传输带宽，且压缩编码后的压缩损失小。

附图说明

图1为本发明实施例提供的一种无人机全景图像传输方法的流程示意图；

图2为本发明实施例提供的一种无人机全景图像传输装置的结构示意图；

图3为本发明实施例提供的一种无人机全景图像传输装置的压缩编码模块的结构示意图；

图4为本发明实施例提供的一种无人机全景图像传输方法中预测搜索窗口的形状示意图；

图5为本发明实施例提供的一种无人机全景图像传输方法中的位置权重设置原理示意图。

具体实施方式

下面结合具体实施例对本发明做进一步详细的描述，但本发明的实施方式不限于此。

实施例一

请参见图1，图1为本发明实施例提供的一种无人机全景图像传输方法的流程示意图；该传输方法包括如下步骤：

获取多个不同角度的采集图像；

对所述采集图像进行拼接形成全景图像；

将所述传输码流通过无线通信链路进行传输。

其中，多个不同角度的采集图像包括至少两幅镜头视场角分别大于180 度的所述采集图像，将采集图像存储在存储模块中。

其中，采集时，每一帧图像两幅镜头需要同时采集图像，且将采集的图像设置标识号，用于标识为同一帧图像。

其中，多个不同角度的采集图像包括至少两幅镜头视场角分别大于180 度的所述采集图像。

其中，所述自适应压缩编码方法包括：

(x1)获取待处理图像；

(x3)根据若干所述最优预测残差获得预测残差码流；

(x4)将所述预测残差码流划分为若干量化单元；

(x6)根据若干最优量化残差获得量化残差码流。

其中，步骤(x6)后还包括对所述量化残差码流进行熵编码。

根据权利要求4所述的传输方法，其特征在于，所述多种预测搜索窗口包括：水平条形、垂直条形、矩形。

其中，所述第一量化模式包括对所述量化单元依次进行量化处理、补偿处理、反量化处理。

其中，所述第二量化模式包括对所述量化单元依次进行补偿处理、量化处理、反量化处理。

实施例二

请再次参见图2，本实施例在上述实施例的基础上，重点对无人机全景图像传输设备进行详细描述。

无人机全景图像设备包括：采集模块、拼接模块、视频压缩模块、存储模块、发送模块，其中，采集模块用于获取多个不同角度的采集图像；拼接模块用于对所述采集图像进行拼接形成全景图像；视频压缩模块，用于采用自适应压缩编码方法，对所述全景图像进行压缩编码获得传输码流；存储模块，用于存储所述传输码流；发送模块，用于将所述传输码流通过无线通信链路进行传输。

其中，采集模块、拼接模块、压缩编码模块、发送模块均与存储模块连接，拼接模块与压缩编码模块连接。

其中，拼接模块从存储模块中获取采集图像，通过标识号，将一帧图像对应的所有采集图像通过现有的拼接方法分析重叠部分，拼接成360度全景图像。

其中，压缩编码模块包括：输入模块、第一预测模块、第二预测模块、第三预测模块、预测比较模块、第一量化模块、第二量化模块、量化比较模块、输出模块，其中，

输入模块与第一预测模块、第二预测模块、第三预测模块分别连接，第一预测模块、第二预测模块、第三预测模块均与预测比较模块连接，预测比较模块与第一量化模块、第二量化模块均连接，第一量化模块和第二量化模块与量化比较模块连接，量化比较模块与输出模块连接。

其中，第一预测模块、第二预测模块、第三预测模块分别对应三种不同的预测搜索窗口，优选地，第一预测模块、第二预测模块、第三预测模块依次分别对应为水平条形、垂直条形或矩形搜索窗口。

其中，采集模块可以设置为多个广角摄像头。每个广角摄像头的视场角均分别大于180度。

其中，无人机全景图像设备还包括变焦控制模块。用于控制所述采集模块的焦距。

其中，传输装置还包括麦克风，用于采集音频数据。

本发明实施例的无人机全景图像设备通过设置具有自适应功能的压缩编码模块，通过设置多种预测模块同时进行预测，选择出与当前图像最匹配的预测方式，使预测压缩带宽最小、预测最准确，且通过设置多个量化模块对预测码流进行量化，选择相互与当前图像最匹配的量化方式，使量化损失最小，减小传输比特数减小带宽。

实施例三

请参见图4，本实施例在上述实施例的基础上，重点对一种自适应压缩编码方法进行详细描述，该方法包括：

S10:获取待处理图像；获取视频中一帧图像作为待处理图像；

S20：获取待处理像素和对应的多个预测搜索窗口；

获取待处理图像中的待处理像素，以待处理像素为最后一个像素划分预测搜索窗口。

其中，预测搜索窗口为按照特定规律进行划分的，包括待处理像素和多个已经编码像素的像素窗口，其中，预测搜索窗口中已经编码像素定义为待处理像素的参考像素。

请参考图4(a)～图4(c)，图4(a)～图4(c)图4为本发明实施例提供的一种无人机全景图像传输方法中预测搜索窗口的形状示意图。

预测搜索窗口可以为任意形状，比如可以为水平条形、垂直条形或矩形等。本实施例中设预测搜索窗口包括三种：第一预测搜索窗口、第二预测搜索窗口、第三预测搜索窗口，请参考图4(a)～图4(c)，依次为水平条形、垂直条形或矩形。

其中，所述预测搜索窗口包含的像素总数相同，设均为K个。优选地， K＝8。

设待处理图像的编码顺序为从左到右，从上到下依次对像素进行编码，其中，C(i,j)为待处理像素即当前需要对C(i,j)进行编码。在预测搜索窗口中的P为参考像素，通过行列号作为位置索引对P进行标记，请参考图4(a) 中，参考像素P依次标记为：Pi-1,j、Pi-2,j、Pi-3,j、Pi-4,j、Pi-5,j、Pi-6,j、 Pi-7,j；图4(b)中，参考像素P依次标记为：Pi,j-1、Pi,j-2、Pi,j-3、Pi,j-4、 Pi,j-5、Pi,j-6、Pi,j-7；图4(c)中，参考像素P依次为：Pi,j-1、Pi,j-2、Pi,j-3、 Pi-1,j、Pi-1,j-1、Pi-1,j-2、Pi-1,j-3。

其中，参考像素P的像素值可以为原始像素值，也可以为已编码的重建值。其中，已编码像素的重建像素值表示原始像素值根据预测参考像素进行预测后得到的预测像素值，再通过量化、码控等压缩编码流程后得到的最终压缩编码像素值再经过逆过程进行反解压还原后的像素值。本发明实施例以原始像素值为例进行说明。

也可以对P进行编号作为位置索引以进行标记，记为Pq，其中，Pq为第q个参考像素，0≤q≤K-2；请再次参见图4(a)，K＝8时，依次对参考像素 P进行编码为P0～P6。

S30：分别获得各所述预测搜索窗口对应的所述待处理像素的预测残差并获得最优预测残差；

S31：按序获取步骤S02划分的一个预测搜索窗口；

S32：获取所述预测搜索窗口中各参考像素的预测参考权重；其中，预测参考权重包括位置权重和差异度权重；

位置权重即表示参考像素与待处理像素的位置关系权重，参考像素与待处理像素的位置不同其位置权重也不同；其中，位置权重根据参考像素与待处理像素的位置关系进行设置，其中的一种设置方式为与待处理像素距离越远的参考像素其位置权重越大，反之，位置权重越小。

请参考图5，为本发明实施例提供的一种无人机全景图像传输方法中的位置权重设置原理示意图；

差异度权重表示参考像素与待处理像素的像素值差异关系权重；

S321：将所述待处理图像的像素分成多个像素分量；

设C(i,j)划分为N个待处理像素分量，分别为C(i,j),p，对应的，参考像素Pq被分为N个参考像素分量，分别为Pq,p；其中，0≤p≤N-1。

S322:分别计算每个窗口分量中，计算每个参考像素分量的预测参考权重分量；

设每个参考像素的预测参考权重分量为W(i,j),p,q，其中，下标(i,j)表示待处理像素的行列号，p为像素分量索引，q为参考像素编号索引。

预测参考权重分量W(i,j),p,q满足：

W_(i,j),p.q＝a_qPos_(i,j),p.q+b_qDif_(i,j),p.q

其中，Pos_(i,j),p.q表示第p个像素分量的第q个参考像素的位置权重， Dif_(i,j),p.q表示第p个像素分量的第q个参考像素的差异度权重。

其中，差异度权重Dif为参考像素与待处理像素的像素值差值的绝对值。

其中，a_q表示位置权重系数，b_q表示差异度权重系数。满足a_q+b_q＝1，标准情况为a_q＝0.5，b_q＝0.5，也可灵活调整；

S323：计算每个参考像素的预测参考权重；

则第q个参考像素的预测参考权重W_(i,j).q为：

S324：根据所述预测参考权重获得最优参考像素P_(i,j),best；

比较K-2个预测参考权重，获取预测参考权重W_(i,j).q中的最小值对应的参考像素作为最优参考像素P_(i,j),best。

S325：根据所述最优参考像素获得所述待处理像素的所述预测残差；

则所述待处理像素的预测残差Res_(i,j)为：

Res_(i,j)＝C_(i,j)-P_(i,j),best

S33：重复步骤(c1)～步骤(c4)，分别获得各所述预测搜索窗口对应的所述待处理像素的所述预测残差；

设第一预测搜索窗口、第二预测搜索窗口、第三预测搜索窗口分别对应的待处理像素的预测残差分别为：

S34：比较各所述预测搜索窗口的各所述预测残差，获得所述最优预测残差。

则比较的大小，取最小作为最优预测搜索窗口，最优预测搜索窗口对应的的预测残差为最优预测残差。

将最优预测残差和对应的参考像素编号或者参考像素的位置索引写入码流。

S40：同理，将所述待处理图像的每个像素作为所述待处理像素，重复步骤(20)～步骤(30),获得所述待处理图像的预测残差码流；

S50：将所述预测残差码流划分为若干量化单元；

其中，获取量化参数和补偿参数，所述若干量化单元取相同的量化参数和补偿参数；并且补偿参数和量化参数具有如下关系：

CP＝(1＜＜QP)/2，

其中，QP表示量化参数，CP表示补偿参数，“<<”算式表示，若有表达式a<<m则表示将整型数a按二进制位向左移动m位，高位移出后，低位补0。

S60：按照预测残差码流的顺序获取第一个量化单元；

S70：分别采用量化补偿模式和补偿量化模式对所述待处理量化单元进行编码获得最优量化残差；

S71：采用量化补偿模式，对待处理量化单元进行编码得到第一量化残差和第一率失真率；

其中，量化补偿模式为对所述量化单元依次进行量化处理、反量化处理、补偿处理。

其中，量化处理获得第一量化残差，满足公式：

QPRES_1_i＝PRES_i＞＞QP

其中，QPRES_1_i为量化单元第i位的第一量化残差，PRES_i为量化单元第i位的预测残差,i的取值为[0,M-1]，M为量化单元像素个数N；

其中，“>>”算式表示，若有表达式a>>m则表示将整型数a按二进制位向右移动m位，低位移出后，高位补0。

再对第一量化残差进行反量化处理和补偿处理得到第一反量化残差，满足公式：

IQPRES_1_i＝QPRES_1_i＜＜QP+CP

计算第一量化损失，满足公式：

LOSS_1_i＝IQPRES_1_i-PRES_i

计算第一率失真率：

其中，RDO_1为第一率失真率，pixnum为量化单元的像素个数；a1 和a2为权重参数，优选地取a1＝a2＝1。

S72：采用补偿量化模式，对待处理量化单元进行编码得到第二量化残差和第二率失真率；

其中，补偿量化模式为对所述量化单元依次进行补偿处理、量化处理、反量化处理。

首先对量化单元依次进行补偿处理、量化处理，得到第二量化残差：

QPRES_2_i＝(PRES_i+CP)＞＞QP

其中，QPRES_2_i为量化单元第i位的第二量化残差；

然后，对量化单元的第二量化残差进行反量化处理得到第二反量化残差。

计算第二量化损失，满足公式：

LOSS_2_i＝IQPRES_2_i-PRES_i

计算第一率失真率：

其中，RDO_2为第二率失真率，pixnum为量化单元的像素个数；a1 和a2为权重参数，优选地取a1＝a2＝1。

S73：比较所述第一率失真率和所述第二率失真率，若所述第一率失真率小于所述第二率失真率，则将所述第一量化残差作为所述最优量化残差；否则将所述第二量化残差作为所述最优量化残差。

将该量化单元对应的最优量化残差和量化模式标识写入量化残差码流。

量化模式标识可设置每个最优量化残差之后一位，例如，将量化补偿模式设置为1，补偿量化模式设置为0。

S80：依次将若干所述量化单元中每个所述量化单元作为所述待处理量化单元，重复步骤(60)～步骤(70)，获得所述待处理图像的量化残差码流。

以上内容是结合具体的优选实施方式对本发明所作的进一步详细说明，不能认定本发明的具体实施只局限于这些说明。对于本发明所属技术领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干简单推演或替换，都应当视为属于本发明的保护范围。

Claims

1.一种无人机全景图像的传输方法，其特征在于，包括如下步骤：

(a)获取多个不同角度的采集图像；

(b)对所述采集图像进行拼接形成全景图像；

(c)采用自适应压缩编码方法，对所述全景图像进行压缩编码获得传输码流；

(d)将所述传输码流通过无线通信链路进行传输。

2.根据权利要求1所述的传输方法，其特征在于，多个不同角度的采集图像包括至少两幅镜头视场角分别大于180度的所述采集图像。

3.根据权利要求1所述的传输方法，其特征在于，所述自适应压缩编码方法包括：

(x1)获取待处理图像；

(x3)根据若干所述最优预测残差获得预测残差码流；

(x4)将所述预测残差码流划分为若干量化单元；

(x6)根据若干最优量化残差获得量化残差码流。

4.根据权利要求4所述的传输方法，其特征在于，步骤(x6)后还包括对所述量化残差码流进行熵编码。

5.根据权利要求4所述的传输方法，其特征在于，所述多种预测搜索窗口包括：水平条形、垂直条形、矩形。

6.根据权利要求4所述的传输方法，其特征在于，所述第一量化模式包括对所述量化单元依次进行量化处理、补偿处理、反量化处理。

7.根据权利要求4所述的传输方法，其特征在于，所述第二量化模式包括对所述量化单元依次进行补偿处理、量化处理、反量化处理。

8.一种无人机全景图像传输装置，其特征在于，包括：

采集模块(10)，用于获取多个不同角度的采集图像；

拼接模块(20)，用于对所述采集图像进行拼接形成全景图像；

压缩编码模块(30)，用于采用自适应压缩编码方法，对所述全景图像进行压缩编码获得传输码流；

存储模块(40)，用于存储所述传输码流和所述采集图像；

发送模块(50)，用于将所述传输码流通过无线通信链路进行传输。

9.根据权利要求8所述的传输装置，所述传输装置还包括变焦控制模块。

10.根据权利要求8所述的传输装置，所述采集装置还包括麦克风。