CN102752601B - 一种m-jpeg图像的传输方法及接收端数据丢包修复方法 - Google Patents

Abstract

本发明涉及一种M-JPEG图像的传输方法及接收端数据丢包修复方法，其中，M-JPEG图像的传输方法先将待传输的M-JPEG源图像进行JPEG编码，得到M-JPEG源图像的二进制数据，然后将M-JPEG源图像的二进制数据，划分为K个区域，其中每个区域由N个最小编码单元组成，其中K和N均为整数，再然后将各个区域二进制数据位数转换成整数字节，再将得到整数字节的各个区域二进制数据转换成十六进制数据，最后通过UDP传输协议进行传输。与现有技术相比，本发明的优点在于：采用本发明提供的M-JPEG图像的传输方法，接收端对数据丢包修复时，能显著提高M-JPEG图像UDP传输效率。

Description

一种M-JPEG图像的传输方法及接收端数据丢包修复方法

技术领域

本发明涉及一种M-JPEG图像的传输方法及接收端数据丢包修复方法。

背景技术

目前接收端接收的M-JPEG图像常见的丢包修复方法有三种：重发法，冗余法和媒体无关的FEC(Forward Error Correction，前向纠错)法。重发法采用重传机制，根据丢失的数据包的编号向发送端发送重发请求，这种方法会产生较大的时延。冗余法把第n个数据包的副本用更低位码率的压缩算法，附加到第n+1个数据包中一起发送，这种方法需要额外的带宽开销，并且只有大致的修复能力。媒体无关的FEC法，发送端对连续多个数据包作异或运算求出FEC数据包，并以奇偶包的形式发送出去，此方法与冗余法相比有较大的延时，增加了带宽需求。

发明内容

本发明所要解决的第一个技术问题是针对上述现有技术提供一种能提高M-JPEG图像UDP传输效率的M-JPEG图像的传输方法。

本发明所要解决的第二个技术问题是在上述技术问题基础上提供一种提高M-JPEG图像UDP传输效率的接收端数据丢包修复方法。

本发明解决上述技术问题所采用的技术方案为：该M-JPEG图像的传输方法，其特征在于：

包括如下步骤：

步骤一、将待传输的M-JPEG源图像进行JPEG编码，得到M-JPEG源图像的二进制数据：

步骤二、将M-JPEG源图像的二进制数据，划分为K个区域，其中每个区域由N个最小编码单元组成，其中K和N均为整数；

步骤三、将各个区域二进制数据位数转换成整数字节：分别将每个区域二进制数据的总位数除以8取余数，如果余数为0，不做处理；如果余数为1，在该区域中插入8n-1位二进制数据；如果余数为2，在该区域中插入8n-2位二进制数据；如果余数为3，在该区域中插入8n-3位二进制数据；如果余数为4，在该区域中插入8n-4位二进制数据；如果余数为5，在该区域中插入8n-5位二进制数据；如果余数为6，在该区域中插入8n-6位二进制数据；如果余数为7，在该区域中插入8n-7位二进制数据；其中n为自然数；

步骤四、将得到整数字节的各个区域二进制数据转换成十六进制数据，最后通过UDP传输协议进行传输。

作为改进，在所述步骤三中，如果余数不为0，插入的二进制数据为色差系数，因为色差系数对整副图像的质量影响最低。

再改进，在所述步骤三中，插入的二进制数据位置可以为任意位置，但是为了方便辨认及解码的识别，插入的二进制数据在最后2位色差系数结束标志“00”之前比较好。

较好的，在所述步骤三中，如果余数为1，插入的二进制数据为010010010010010；如果余数为2，插入的二进制数据为010010；如果余数为3，插入的二进制数据为10110；如果余数为4，插入的二进制数据为110100110100；如果余数为5，插入的二进制数据为010；如果余数为6，插入的二进制数据为1011010110；如果余数为7，插入的二进制数据为010010010。

再改进，所述步骤四中，所述UDP传输协议在传输过程中，一个数据包依次包括包头部分、数据部分和填充部分，其中包头部分至少包括图像编号、区域总数、区域号、亮度信息、数据长度、最小编码单元编号，其中亮度信息包括：传输数据中相应区域的第一个最小数据单元的亮度值，传输数据中相应区域的第一个最小数据单元的亮度的DC值，和传输数据中相应区域中最后一个最小数据单元的亮度值。

本发明解决上述第二个技术问题所采用的技术方案为：一种采用上述M-JPEG图像传输方法后的接收端数据丢包修复方法，其特征在于：当接收端发现接收到的当前帧图像中区域i和区域j的数据发生丢包时，根据当前帧图像丢失的区域编号，将接收端保存的前一帧图像的相同区域的数据作为补偿数据，然后与当前帧图像的数据进行整合，最后解码显示。

当接收端发现接收到的当前帧图像中某一待补偿区域的数据发生丢包时，具体通过如下步骤实现对该待补偿区域的数据进行修复和解码显示：

步骤一、对当前待补偿区域中第一个最小数据单元的亮度的DC值进行修正，修正后的亮度值DC_revise为：

${\mathrm{DC}}_{\mathrm{revise}}={Y^{\′\′}}_{\mathrm{first}}-{D^{\′\′}}_{\mathrm{value}}-(Y_{\mathrm{last}}^{\mathrm{pre}}-Y_{\mathrm{frist}}^{\mathrm{pre}})-Y_{\mathrm{last}}$

其中，Y''_first表示当前待补偿区域后一个区域第一个最小编码单元中第一个最小数据单元的亮度值；D''_value表示当前待补偿区域后一个区域第一个最小编码单元中第一个最小数据单元亮度的DC值，表示前帧图像相同区域的最后一个最小编码单元中第一个最小数据单元的亮度值；表示前帧图像相同区域的第一个最小编码单元中第一个最小数据单元的亮度值；Y_last表示当前待补偿区域前一个区域最后一个最小编码单元中第一个最小数据单元的亮度值；

步骤二、根据Huffman亮度系数的DC表，将DC_revise转换为Huffman码；

步骤三、用转换后的Huffman码，代替当前补偿区域第一个最小编码单元中第一个最小数据单元亮度的DC值的Huffman码；

步骤四、计算修正后的亮度DC值DC_revise的Huffman码与原来的亮度系数值DC的Huffman码的码长差Diff_length；

步骤五、如果Diff_length为1，在当前待补偿区域最后2位色差系数结束标志“00”前插入010010010010010；如果Diff_length为2，在当前待补偿区域最后2位色差系数结束标志“00”前插入的二进制数据为010010；如果Diff_length为3，在当前待补偿区域最后2位色差系数结束标志“00”前插入的二进制数据为10110；如果Diff_length为4，在当前待补偿区域最后2位色差系数结束标志“00”前插入的二进制数据为110100110100；如果Diff_length为5，在当前待补偿区域最后2位色差系数结束标志“00”前插入的二进制数据为010；如果Diff_length为6，在当前待补偿区域倒最后2位色差系数结束标志“00”前插入的二进制数据为1011010110；如果Diff_length为7，在当前待补偿区域最后2位色差系数结束标志“00”前插入的二进制数据为010010010；

步骤六、将修正后的待补偿区域的二进制数据转化成十六进制数据，然后按照JPEG解码显示修正后的图像。

与现有技术相比，本发明的优点在于：采用本发明提供的M-JPEG图像的传输方法，接收端对数据丢包修复时，能显著提高M-JPEG图像UDP传输效率。

附图说明

图1为本发明实施例中最小编码单元的构成图；

图2为本发明实施例中一幅源图像的划分为K个区域的划分图；

图3为本发明实施例中一幅源图像第一个区域的数据流图；

图4为本发明实施例中经过JEPG编码后一幅源图像的二进制数据流示意图；

图5为本发明实施例中UDP传输数据包结构示意图；

图6为本发明实施例中接收端数据修复示意图；

图7为本发明实施例中补偿区域亮度DC值修正过程图。

具体实施方式

以下结合附图实施例改进对本发明作进一步详细描述。

本发明首先提供了一种M-JPEG图像的传输方法，其包括如下步骤：

步骤一、将待传输的M-JPEG源图像进行JPEG编码，得到M-JPEG源图像的二进制数据：

步骤二、将M-JPEG源图像的二进制数据，划分为K个区域，其中每个区域由N个最小编码单元组成，其中K和N均为自然数；

M-JPEG图像的YUV采样格式主要有YUV4:2:0，YUV4:2:2，YUV4:1:1和YUV4:4:4,其中最常用的是YUV4:1:1格式，下面我们以YUV4:1:1格式为例进行说明(其他格式以此类推)

以YUV4:1:1格式的数据进行JPEG编码时，每一个最小编码单元(MCU)有4个8×8的最小数据单元(DU)组成，如附图1所示：

所以每个最小编码单元(MCU)的数据流组成为：[Y1，Y2，Y3，Y4，C_r,C_b]，即由4个最小数据单元(DU)的亮度系数和整个最小编码单元(MCU)的2个色差系数构成；

根据这种数据流的构成方式，我们将源图像划分为K个区域，其中每个区域由N个MCU组成，如附图2所示；

以分辨率为320×240的图像为例，它由300个最小编码单元(MCU)组成，如果分成60个区域(K＝60)，那么每个区域就由5个最小编码单元(MCU)组成(N＝5)；如果分成100个区域(K＝100)，那么每个区域就由3个最小编码单元(MCU)组成(N＝3)。

以第一个区域为例，它的数据流构成如附图3所示，

第一个区域的数据流组成为：[MCU₁,MCU₂,...MCU_N]，因此，我们得到第i个区域数据流组成的表达式：

Zone(i)＝[MCU_(i-1)×N+1,MCU_(i-1)×N+2,......MCU_(i-1)×N+N,],(1≤i≤K)；

根据Huffman表，可以标定每个最小编码单元(MCU)的结束位置，在Huffman编码中，用“1010”来表示亮度系数的结束，用“00”来表示色差系数的结束，我们根据最小编码单元(MCU)的数据流组成的[Y1，Y2，Y3，Y4，C_r,C_b]，1个最小编码单元(MCU)包含有4个亮度系数结束符和2个色差系数结束符，标定出每个MCU的结束位置，参见附图4所示；

而为了使最后得到的每个区域的二进制数据流能够转换成整数字节的十六进制数据进行UDP传输，因此需要对每个区域进行插值量化补偿，因此

步骤三、将各个区域二进制数据位数转换成整数字节：分别将每个区域二进制数据的总位数除以8取余数，如果余数为0，不做处理；如果余数为1，在该区域中插入8n-1位二进制数据；如果余数为2，在该区域中插入8n-2位二进制数据；如果余数为3，在该区域中插入8n-3位二进制数据；如果余数为4，在该区域中插入8n-4位二进制数据；如果余数为5，在该区域中插入8n-5位二进制数据；如果余数为6，在该区域中插入8n-6位二进制数据；如果余数为7，在该区域中插入8n-7位二进制数据；其中n为自然数；

这里，插入的二进制数据位置可以为任意位置，但是为了方便辨认及解码的识别，插入的二进制数据在最后2位色差系数结束标志“00”之前，且在该步骤三中，如果余数不为0，插入的二进制数据为色差系数，因为色差系数对整幅图像的质量影响最少；

本实施例中，余数值与插入的二进制数据之间的对应表为：

步骤四、最后将得到整数字节的各个区域二进制数据转换成十六进制数据，最后通过UDP传输协议进行传输。

所述步骤四中，所述UDP传输协议在传输过程中，一个数据包依次包括包头部分、数据部分和填充部分，其中包头部分至少包括图像编号、区域总数、区域号、亮度信息、数据长度、最小编码单元编号，其中亮度信息包括：传输数据中相应区域的第一个最小数据单元的亮度值、传输数据中相应区域的第一个最小数据单元的亮度DC值，和传输数据中相应区域中最后一个最小数据单元的亮度值参见图5所示。

采用上述M-JPEG图像传输方法后，接收端在对数据丢包进行修复时：当接收端发现接收到的当前帧图像中区域i和区域j的数据发生丢包时，根据当前帧图像丢失的区域编号，将接收端保存的前一帧图像的相同区域的数据作为补偿数据，然后与当前帧图像的数据进行整合，最后解码显示，参见图6所示。

由于标准的JPEG编码对亮度系数的DC值采用的是差分编码，即除第一个最小数据单元外，其他最小数据单元的亮度值都用该单元与前一个单元的亮度值的差值来表示，由于前后帧图像补偿区域的亮度值有可能存在差异，因此我们需要修正补偿区域的亮度值来保证整合还原后的图像亮度与原图形亮度保持一致，当接收端发现接收到的当前帧图像中某一待补偿区域的数据发生丢包时，具体通过如下步骤实现对该待补偿区域的数据进行修复：：

步骤一、对当前待补偿区域中第一个最小数据单元的亮度的DC值进行修正，修正后的亮度值DC_revise为：

${\mathrm{DC}}_{\mathrm{revise}}={Y^{\′\′}}_{\mathrm{first}}-{D^{\′\′}}_{\mathrm{value}}-(Y_{\mathrm{last}}^{\mathrm{pre}}-Y_{\mathrm{frist}}^{\mathrm{pre}})-Y_{\mathrm{last}}$

其中，Y''_first表示当前待补偿区域后一个区域第一个最小编码单元中第一个最小数据单元的亮度值；D''_value表示当前待补偿区域后一个区域第一个最小编码单元中第一个最小数据单元亮度的DC值，表示前帧图像相同区域的最后一个最小编码单元中第一个最小数据单元的亮度值；表示前帧图像相同区域的第一个最小编码单元中第一个最小数据单元的亮度值；Y_last表示当前待补偿区域前一个区域最后一个最小编码单元中第一个最小数据单元的亮度值；

步骤二、根据Huffman亮度系数的DC表，将DC_revise转换为Huffman码；

步骤三、用转换后的Huffman码，代替当前补偿区域第一个最小编码单元中第一个最小数据单元亮度的DC值的Huffman码；

步骤四、计算修正后的亮度系DC值DC_revise的Huffman码与原来的亮度系数值DC的Huffman码的码长差Diff_length；

步骤五、如果Diff_length为1，在当前待补偿区域最后2位色差系数结束标志“00”前插入010010010010010；如果Diff_length为2，在当前待补偿区域最后2位色差系数结束标志“00”前插入的二进制数据为010010；如果Diff_length为3，在当前待补偿区域最后2位色差系数结束标志“00”前插入的二进制数据为10110；如果Diff_length为4，在当前待补偿区域最后2位色差系数结束标志“00”前插入的二进制数据为110100110100；如果Diff_length为5，在当前待补偿区域最后2位色差系数结束标志“00”前插入的二进制数据为010；如果Diff_length为6，在当前待补偿区域倒最后2位色差系数结束标志“00”前插入的二进制数据为1011010110；如果Diff_length为7，在当前待补偿区域最后2位色差系数结束标志“00”前插入的二进制数据为010010010；

步骤六、将修正后的待补偿区域的二进制数据转化成十六进制数据，然后按照JPEG解码显示修正后的图像。

图7给出了当前帧图像的3个连续区域(区域i，区域i+1，区域i+2)的亮度信息，以及前一帧图像区域i+1的亮度信息，假设UDP传输过程中，当前帧图像的第(i+1)个区域的数据包丢失，根据上述修正方法，我们提取前一帧图像的第(i+1)个区域的数据进行补偿，对前一帧图像第(i+1)个区域的亮度DC值进行修正，从图7中可以看到，若不进行亮度DC值修正，那么补偿后的第(i+1)个区域的亮度值为：

$Y_{\mathrm{last}}+{\mathrm{DC}}_{\mathrm{value}}^{\mathrm{pre}}+(Y_{\mathrm{last}}^{\mathrm{pre}}-Y_{\mathrm{first}}^{\mathrm{pre}})+{\mathrm{DC}}_{\mathrm{value}}^{\′\′}=180+(-1)+(183-178)+1=185;$ 不等于下一个区域的亮度值198，这将导致后面的所有图像亮度都产生差异。

根据上述步骤一中的DC值修正方法，我们得到修正后的亮度DC值：

${\mathrm{DC}}_{\mathrm{revise}}=Y_{\mathrm{first}}^{\′\′}-{\mathrm{DC}}_{\mathrm{value}}^{\′\′}-(Y_{\mathrm{last}}^{\mathrm{pre}}-Y_{\mathrm{first}}^{\mathrm{pre}})-Y_{\mathrm{last}}=198-1-(183-178)-180=12;$

根据Huffman亮度DC表，将DC_revise＝12转换为Huffman码：Huffman值1100和Huffman标号101；

用修正后的Huffman码1011100代替原来的Huffman码0100(-1的Huffman码)；

计算修正后的码长差Diff_length＝3；

查找色差AC系数插值表，将插入码10110插值到区域结束标志位“00”前，由此得到了修正后的整数字节的十六进制数据。

Claims (7)

1.一种M-JPEG图像的传输方法，其特征在于：包括如下步骤：

步骤一、将待传输的M-JPEG源图像进行JPEG编码，得到M-JPEG源图像的二进制数据：

步骤二、将M-JPEG源图像的二进制数据，划分为K个区域，其中每个区域由N个最小编码单元组成，其中K和N均为自然数；

步骤三、将各个区域二进制数据位数转换成整数字节：分别将每个区域二进制数据的总位数除以8取余数，如果余数为0，不做处理；如果余数为1，在该区域中插入8n-1位二进制数据；如果余数为2，在该区域中插入8n-2位二进制数据；如果余数为3，在该区域中插入8n-3位二进制数据；如果余数为4，在该区域中插入8n-4位二进制数据；如果余数为5，在该区域中插入8n-5位二进制数据；如果余数为6，在该区域中插入8n-6位二进制数据；如果余数为7，在该区域中插入8n-7位二进制数据；其中n为自然数；

步骤四、将得到整数字节的各个区域二进制数据转换成十六进制数据，最后通过UDP传输协议进行传输。

2.根据权利要求1所述的M-JPEG图像的传输方法，其特征在于：在所述步骤三中，如果余数不为0，插入的二进制数据为色差系数。

3.根据权利要求2所述的M-JPEG图像的传输方法，其特征在于：在所述步骤三中，插入的二进制数据在最后2位色差系数结束标志“00”之前。

4.根据权利要求3所述的M-JPEG图像的传输方法，其特征在于：在所述步骤三中，如果余数为1，插入的二进制数据为010 010 010 010 010；如果余数为2，插入的二进制数据为010 010；如果余数为3，插入的二进制数据为10110；如果余数为4，插入的二进制数据为110100 110100；如果余数为5，插入的二进制数据为010；如果余数为6，插入的二进制数据为10110 10110；如果余数为7，插入的二进制数据为010 010 010。

5.根据权利要求1～4中任意一项权利要求所述的M-JPEG图像的传输方法，其特征在于：所述步骤四中，所述UDP传输协议在传输过程中，一个数据包依次包括包头部分、数据部分和填充部分，其中包头部分至少包括图像编号、区域总数、区域号、亮度信息、数据长度、最小编码单元编号，其中亮度信息包括：传输数据中相应区域的第一个最小数据单元的亮度值、传输数据中相应区域的第一个最小数据单元的亮度DC值，和传输数据中相应区域中最后一个最小数据单元的亮度值。

6.一种采用如权利要求5所述的M-JPEG图像传输方法后的接收端数据丢包修复方法，其特征在于：当接收端发现接收到的当前帧图像中区域i和区域j的数据发生丢包时，根据当前帧图像丢失的区域编号，将接收端保存的前一帧图像的相同区域的数据作为补偿数据，然后与当前帧图像的数据进行整合，最后解码显示。

7.根据权利要求6所述的接收端数据丢包修复方法，其特征在于：当接收端发现接收到的当前帧图像中某一待补偿区域的数据发生丢包时，这里当前帧图像中某一待补偿区域指的是当前帧图像中发生数据丢包的区域i和区域j，具体通过如下步骤实现对该待补偿区域的数据进行修复和解码显示：

步骤一、对当前待补偿区域中第一个最小数据单元的亮度的DC值进行修正，修正后的亮度DC值DC_revise为：

${\mathrm{DC}}_{\mathrm{revise}}={Y^{\′\′}}_{\mathrm{first}}-{D^{\′\′}}_{\mathrm{value}}-(Y_{\mathrm{last}}^{\mathrm{pre}}-Y_{\mathrm{frist}}^{\mathrm{pre}})-Y_{\mathrm{last}}$

其中，Y″_first表示当前待补偿区域后一个区域第一个最小编码单元中第一个最小数据单元的亮度值；D″_value表示当前待补偿区域后一个区域第一个最小编码单元中第一个最小数据单元亮度的DC值，表示前帧图像相同区域的最后一个最小编码单元中第一个最小数据单元的亮度值；表示前帧图像相同区域的第一个最小编码单元中第一个最小数据单元的亮度值；Y_last表示当前待补偿区域前一个区域最后一个最小编码单元中第一个最小数据单元的亮度值；

步骤二、根据Huffman亮度系数的DC表，将DC_revise转换为Huffman码；

步骤三、用转换后的Huffman码，代替当前补偿区域第一个最小编码单元中第一个最小数据单元亮度的DC值的Huffman码；

步骤四、计算修正后的亮度DC值DC_revise的Huffman码与原来的亮度DC值的Huffman码的码长差Diff_length；

步骤五、如果Diff_length为1，在当前待补偿区域最后2位色差系数结束标志“00”前插入010 010 010 010 010；如果Diff_length为2，在当前待补偿区域最后2位色差系数结束标志“00”前插入的二进制数据为010 010；如果Diff_length为3，在当前待补偿区域最后2位色差系数结束标志“00”前插入的二进制数据为10110；如果Diff_length为4，在当前待补偿区域最后2位色差系数结束标志“00”前插入的二进制数据为110100 110100；如果Diff_length为5，在当前待补偿区域最后2位色差系数结束标志“00”前插入的二进制数据为010；如果Diff_length为6，在当前待补偿区域倒最后2位色差系数结束标志“00”前插入的二进制数据为10110 10110；如果Diff_length为7，在当前待补偿区域最后2位色差系数结束标志“00”前插入的二进制数据为010 010 010；

步骤六、将修正后的待补偿区域的二进制数据转化成十六进制数据，然后按照JPEG解码显示修正后的图像。