CN103873873B

CN103873873B - 一种非可靠信道下的图像编解码方法

Info

Publication number: CN103873873B
Application number: CN201410112284.3A
Authority: CN
Inventors: 王琰; 袁承宗; 黎泽清; 冯书谊; 张宁; 张震
Original assignee: Shanghai Aerospace Electronic Communication Equipment Research Institute
Current assignee: Shanghai Aerospace Electronic Communication Equipment Research Institute
Priority date: 2014-03-24
Filing date: 2014-03-24
Publication date: 2018-02-13
Anticipated expiration: 2034-03-24
Also published as: CN103873873A

Abstract

本发明公开了一种非可靠信道下的图像编解码方法，包括步骤：S1、接收图像数据，采用H.264算法对图像数据进行压缩编码，并在压缩编码后的码流中加入帧计数；S2、对码流进行加扰，加扰包括对码流作有规律的随机化处理，以减少码流中连续的“0”或“1”的长度；S3、将加扰后的码流在非可靠信道下进行传输；S4、接收S3中传输的加扰后的码流，将接收到的加扰后的码流进行解扰；S5、采用H.264算法对S4中的解扰后得到的码流进行解码，输出图像数据，在解码的同时进行帧率控制，根据帧计数判断图像数据的连续性，在发生丢帧或误帧状态下，采用插值算法对丢帧或误帧的图像数据进行预测，确保输出图像的连续性。

Description

一种非可靠信道下的图像编解码方法

技术领域

本发明涉及图像处理技术领域，特别涉及一种在信道不稳定的情况下传输图像的方法，可应用于航天、国防领域。

背景技术

图像因为直观生动作为最常见的信息传输方式和表现形式，能提供比其它形式数据更多的信息，在航天系统中也必不可少。在航天应用中，因为传输图像数据的无线信道具有时变性、易错性，信道的误比特率也要比有线环境大得多。此外，无线网络的低带宽也是一个较大的限制。在上述背景下，空间环境下的视频传输，往往会发生较大的误码、丢包以及延迟，无法满足卫星等高可靠性产品的要求。而航天产品需要面对恶劣的空间环境，因而在设计时必须考虑非可靠信道下的图像编解码问题。

因为像素数据间的相关性，图像压缩具有可行性。H.264是用于编码表示视频信息的新一代标准，相对于MPEG-4、H.263等视频压缩标准，它具有更低的码率、更高的图像质量和更强的容错能力。目前在图像处理技术领域里采用的非可靠信道下的H.264图像编解码方法有：

朱冬冬、丁嵘、尹亚光、戴琼海，“H.264软件解码器的优化”，电视技术，2003年第12期总第258期，提出了一种H.264解码器的优化方案，提高了解码速度，但并不能提高图像在空间信道传输的可靠性。

朱雅、李霁野，“H.264/AVC在无线视频传输中的错误恢复机制”，计算机应用与软件，第28卷第1期，2011年1月，对视频数据在易错网络环境(如无线网络)下的传输，制定了一系列的错误恢复机制，使用几种容错工具对图像编解码及恢复过程进行了仿真，结果显示PSNR有了一定的提高，但同时带来了码率和复杂度的大大增加，并不适用于资源有限的系统。

发明内容

本发明针对现有技术存在的上述不足，提供了一种非可靠信道下的图像编解码方法。本发明通过以下技术方案实现：

一种非可靠信道下的图像编解码方法，包括步骤：

S1、接收图像数据，采用H.264算法对图像数据进行压缩编码，并在压缩编码后的码流中加入帧计数；

S2、对码流进行加扰，加扰包括对码流作有规律的随机化处理，以减少码流中连续的“0”或“1”的长度；

S3、将加扰后的码流在非可靠信道下进行传输；

S4、接收S3中传输的加扰后的码流，将接收到的加扰后的码流进行解扰，以将其恢复成加扰前的码流；

S5、采用H.264算法对S4中的解扰后得到的码流进行解码，输出图像数据；

其中，步骤S5中还包括：在解码的同时进行帧率控制，根据帧计数判断图像数据的连续性，在发生丢帧或误帧状态下，采用插值算法对丢帧或误帧的图像数据进行预测，确保输出图像的连续性。

较佳的，采用插值算法对丢帧或误帧的图像数据进行预测包括步骤：

S11、判断丢帧或误帧的帧数，当连续丢帧或误帧的帧数大于5帧时，采用持续播放前一帧的图像数据；

S12、当连续丢帧或误帧的帧数小于等于5帧时，将多帧图像数据分为一组进行一次预测，得到一运动矢量，包括：

将多帧图像数据中的第一帧作为参考帧，从参考帧起，在相邻两帧图像数据间采用位平面匹配算法进行匹配；

若当前块与待匹配块对应的两个位平面中不同元素的个数小于一阈值时，则当前块与待匹配块匹配，保留当前块；

若当前块与待匹配块对应的两个位平面中不同元素的个数大于等于阈值时，则当前块与待匹配块不匹配，在位平面中搜索找到匹配的块，计算运动矢量；

S13、通过运动矢量以及下一组的参考帧预测下一组的丢帧或误帧的图像数据，确保图像数据的连续性。

较佳的，不同元素的个数的计算方式包括：

其中，B_block(i，j)表示当前块对应的位平面中(i，j)位置的元素值，B_sw(m+i,n+j)表示搜索窗中(m，n)位置待匹配块对应的位平面中(i，j)位置的元素值。

较佳的，在搜索找到匹配的块为多个的情况下，进行SAD匹配计算，选取SAD最小的块作为最佳匹配的块。

较佳的，阈值为5帧，将多帧图像数据分为一组为将25帧图像数据分为一组。

本发明相比于其他现有的图像编解码方法，提出的加解扰和帧率控制方法更适合在空间信道不稳定、码流易发生丢失、错误的情况下使用，同时还继承了H.264算法压缩性能好、图像质量高的特点，便于硬件实现。

附图说明

图1所示的是本发明的流程图；

图2所示的是本发明的加扰原理图；

图3所示的是本发明的加扰后的仿真结果图；

图4所示的是本发明的解扰结果仿真结果图。

具体实施方式

以下将结合本发明的附图，对本发明实施例中的技术方案进行清楚、完整的描述和讨论，显然，这里所描述的仅仅是本发明的一部分实例，并不是全部的实例，基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本发明的保护范围。

为了便于对本发明实施例的理解，下面将结合附图以具体实施例为例作进一步的解释说明，且各个实施例不构成对本发明实施例的限定。

如图1所示：

步骤1，对外部输入YUV4:2:2格式的图像，在数字信号处理器上调用H.264BP视频编解码库完成视频压缩编码。并在码流中加入帧计数。

步骤2，对编码后码流进行加扰。

数字通信中的数据中免不了有长串的连“0”和连“1”，会导致数据流中有相当大的低频成分的能量，并且不利于解码时数据流中时钟信号的提取。加扰是对对信号码元作有规律的随机化处理，它可以减少连“0”或连“1”长度，保证接收机能提取到位定时信号，使加扰后的信号频谱更能适合基带传输。它的原理是以能产生伪随机序列的线形反馈移位寄存器理论为基础。它以数据输入和线性反馈输出的模二加为加扰器的输出，输出由数据输入和移位寄存器的状态决定。这样就改变了输入数据的形式。本实施例中使用的是一个10级移位寄存器构成的加扰器，它的级联多项式F(x)=x¹⁰+x³+1是一个本原多项式。硬件结构原理图如附图2所示。当加扰器输入连“1”序列，经过仿真可以看到输出端的信号不再是连“1”信号，而是“0”和“1”随机出现的序列，附图3为仿真结果。

步骤3，码流在非可靠信道中传输，因为无线信道的时变性、易错性，导致接收到的码流可能发生误码、丢包以及延迟。

步骤4，对接收到的码流信号进行解扰，恢复H.264码流。解扰是加扰的逆过程，在接收端实施。它的工作原理和加扰器的工作原理刚好相反。由于加扰器用的是10级移位寄存器，所以解扰器用的也是10级移位寄存器。当在加扰器的输入端加入m序列信号，通过加扰器后再通过解扰器的输出的仿真结果如附图4所示，可知解扰器能正确恢复加扰前信号。

步骤5，在DSP上调用H.264BP视频解码库完成视频解码，输出YUV4:2:2格式的图像。

在解码的同时，进行帧率控制。根据帧计数判断图像的连续性，当发生丢帧或误帧的情况时，采用插值算法对丢失或错误图像进行预测，确保输出图像的连续性。

步骤5所涉及的预测方法如下：

1、首先判断连续丢帧或误帧的图像帧数，当连续丢帧或误帧帧数大于5帧时，预测因为不精确变得没有意义，则采用持续播放前一帧数据的策略；

2、当连续丢帧或误帧帧数小于等于5帧时，每25帧图像分为一组，进行一次预测。预测出的运动矢量将在下一组图像中使用。假设每组图像的第一帧为参考帧，在相邻两帧图像间采用位平面匹配(Bit Plane Matching，BPM)算法。

其中第2步所述的BPM算法是一种块匹配算法，它根据当前块和搜索窗口中像素点灰度值的大小，与当前块中各像素点灰度值的平均值相比，将它们转换成由0和1构成的位平面(Bit Plane，BP)，在位平面中进行搜索匹配。

BPM算法通过计算当前块和待匹配块对应的2个位平面中不同元素的个数(NNMP)衡量两者是否匹配，当NNMP小于阈值Ta时，认为两者是匹配的，保留当前块，用于后面的处理；否则，认为这2个块是不可能匹配的。

式中，B_block(i，j)表示当前块对应的位平面中(i，j)位置的元素值，B_sw(m+i，n+j)表示搜索窗中(m，n)位置待匹配块对应的位平面中(i，j)位置的元素值。

满足NNMP匹配条件的位置很多，从中找出真正的匹配块，要进行SAD（Sum ofabsolute differences，是一种图像匹配算法）计算，选取SAD最小的位置作为最佳匹配位置，计算运动矢量。每组25帧图像求出的运动矢量求均值，作为下一组有缺失的图像中使用。在本实施例中，只是以连续丢帧或误帧的帧数为5帧，以及每25帧图像分为一组为例进行说明，本发明并不做限制，技术人员可根据实际情况设置。

3、以参考帧和上一组图像估计出的运动矢量对缺失帧进行预测，确保输出图像的连续性。

若是不进行帧率控制，则出现丢帧或误帧时，解码器输出图像发生丢帧现象，出现黑屏直至下一次解码正确，采用本发明中使用的帧率控制方法后，可以对缺失的图像进行预测，预测图像有效，减小了视频流卡顿的现象，实现了提高图像在空间信道传输的可靠性的目的。本发明相比于其他现有的图像编解码方法，提出的加解扰和帧率控制方法更适合在空间信道不稳定、码流易发生丢失、错误的情况下使用，同时还继承了H.264算法压缩性能好、图像质量高的特点，便于硬件实现。

以上所述，仅为本发明较佳的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到的变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应该以权利要求的保护范围为准。

Claims

1.一种非可靠信道下的图像编解码方法，其特征在于，包括步骤：

S1、接收图像数据，采用H.264算法对所述图像数据进行压缩编码，并在压缩编码后的码流中加入帧计数；

S2、对所述码流通过一个10级移位寄存器构成的加扰器进行加扰，以数据输入和线性反馈输出的模二加为所述加扰器的输出，所述加扰包括对所述码流作有规律的随机化处理，以减少所述码流中连续的“0”或“1”的长度；

S3、将加扰后的码流在非可靠信道下进行传输；

S4、接收S3中传输的所述加扰后的码流，将接收到的所述加扰后的码流进行解扰，以将其恢复成加扰前的码流；

S5、采用H.264算法对S4中的解扰后得到的码流进行解码，输出所述图像数据；

其中，步骤S5中还包括：在解码的同时进行帧率控制，根据所述帧计数判断所述图像数据的连续性，在发生丢帧或误帧状态下，采用插值算法对丢帧或误帧的图像数据进行预测，确保输出图像的连续性，包括步骤：

S11、判断丢帧或误帧的帧数，当连续丢帧或误帧的帧数大于5帧时，采用持续播放前一帧的所述图像数据；

将所述多帧图像数据中的第一帧作为参考帧，从所述参考帧起，在相邻两帧图像数据间采用位平面匹配算法进行匹配；

若当前块与待匹配块对应的两个位平面中不同元素的个数大于等于所述阈值时，则当前块与待匹配块不匹配，在位平面中搜索找到匹配的块，计算运动矢量；

S13、通过所述运动矢量以及下一组的参考帧预测下一组的丢帧或误帧的图像数据，确保图像数据的连续性。

2.根据权利要求1所述的一种非可靠信道下的图像编解码方法，其特征在于，所述不同元素的个数的计算方式包括：

<mrow> <mi>N</mi> <mi>N</mi> <mi>M</mi> <mi>P</mi> <mo>=</mo> <msub> <mi>&Sigma;</mi> <mi>i</mi> </msub> <msub> <mi>&Sigma;</mi> <mi>j</mi> </msub> <msub> <mi>B</mi> <mrow> <mi>b</mi> <mi>l</mi> <mi>o</mi> <mi>c</mi> <mi>k</mi> </mrow> </msub> <mrow> <mo>(</mo> <mi>i</mi> <mo>,</mo> <mi>j</mi> <mo>)</mo> </mrow> <mo>&CirclePlus;</mo> <msub> <mi>B</mi> <mrow> <mi>s</mi> <mi>w</mi> </mrow> </msub> <mrow> <mo>(</mo> <mi>m</mi> <mo>+</mo> <mi>i</mi> <mo>,</mo> <mi>n</mi> <mo>+</mo> <mi>j</mi> <mo>)</mo> </mrow> </mrow>

3.根据权利要求1所述的一种非可靠信道下的图像编解码方法，其特征在于，在搜索找到匹配的块为多个的情况下，进行SAD匹配计算，选取SAD最小的块作为最佳匹配的块。

4.根据权利要求1所述的一种非可靠信道下的图像编解码方法，其特征在于，所述阈值为5帧，所述将多帧图像数据分为一组为将25帧图像数据分为一组。