CN107666324B - 一种polar码结合算术编码的信源有损压缩编码方法 - Google Patents

一种polar码结合算术编码的信源有损压缩编码方法 Download PDF

Info

Publication number
CN107666324B
CN107666324B CN201710841670.XA CN201710841670A CN107666324B CN 107666324 B CN107666324 B CN 107666324B CN 201710841670 A CN201710841670 A CN 201710841670A CN 107666324 B CN107666324 B CN 107666324B
Authority
CN
China
Prior art keywords
sequence
coding
arithmetic coding
information
probability
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201710841670.XA
Other languages
English (en)
Other versions
CN107666324A (zh
Inventor
刘荣科
冯宝平
王闰昕
赵岭
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beihang University
Original Assignee
Beihang University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beihang University filed Critical Beihang University
Priority to CN201710841670.XA priority Critical patent/CN107666324B/zh
Publication of CN107666324A publication Critical patent/CN107666324A/zh
Application granted granted Critical
Publication of CN107666324B publication Critical patent/CN107666324B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H03—ELECTRONIC CIRCUITRY
    • H03M—CODING; DECODING; CODE CONVERSION IN GENERAL
    • H03M13/00—Coding, decoding or code conversion, for error detection or error correction; Coding theory basic assumptions; Coding bounds; Error probability evaluation methods; Channel models; Simulation or testing of codes
    • H03M13/03—Error detection or forward error correction by redundancy in data representation, i.e. code words containing more digits than the source words
    • H03M13/05—Error detection or forward error correction by redundancy in data representation, i.e. code words containing more digits than the source words using block codes, i.e. a predetermined number of check bits joined to a predetermined number of information bits
    • H03M13/13—Linear codes

Landscapes

  • Physics & Mathematics (AREA)
  • Probability & Statistics with Applications (AREA)
  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Compression, Expansion, Code Conversion, And Decoders (AREA)

Abstract

本发明提供了一种polar码结合算术编码来实现信源有损压缩的编码方法，属于通信领域。本发明通过利用polar码的极化Z(Ui|U1i‑1,Y1 N)来保证系统的失真性能，然后选择算术编码实现更好的压缩性能。在有限长情况，算术编码可以近似达到无损压缩容量，并且该方法的理论性能不同于polar码极化Z(Ui|U1i‑1)的渐近性能，算术编码在有限长时也能达到很好的性能。本发明polar码和算术编码结合的结构，同时进行极化和编码，算术编码压缩时依然使用基于polar码使用的概率进行计算。因此，使用polar码结合算术编码来实现信源有损压缩编码可以获得更好的性能，同时算术编码的复杂度对于码长是线性的，所以使用算术编码几乎不影响总的复杂度。

Description

一种polar码结合算术编码的信源有损压缩编码方法
技术领域
本发明属于通信信道编码技术领域，具体涉及一种polar码结合算术编码的信源有损压缩编码方法。
背景技术
Polar Codes，即极化码，是2009年由E.
Figure GDA00027871496000000112
提出的一种新型信道编码，是第一种能够通过严格的数学证明达到信道容量的编码方案。Polar码基于信道极化的性质，在码长趋于无穷时，可以将原始信息编码成两部分，一部分由之前的比特和信道接收信息决定，另一部分几乎随机。在信道编码中，被决定的部分用于保护信息，根据信道接收到的信息，就可以恢复原始信息，这一方案符合信道编码的要求。同时几乎随机的部分也有重要的意义，在压缩数据时，我们希望将信息压缩到完全随机，来实现信息最大程度的压缩，polar编码中几乎随机的部分正好满足这点，所以，polar码也可以作为信源编码。
然而，polar码的极化是一种渐近性质，完美极化需要无限长码长，有限长码长时的性能总不是很理想。为了改进polar码的有限长性能，一方面可以改进polar码在有限长的编译码结构，来改进整体性能，另一方面，可以替换polar码中的部分极化结构，从而得到更好的有限长性能。虽然在信道编码或有损压缩中没有其他的结构可以在有限长时最优，但是在无损压缩当中，有很多结构可以在有限长时达到几乎最优的性能。例如，算术编码即使在有限码长时依然具有良好的压缩性能。
发明内容
为了改进polar码的有限长性能，本发明提供了一种polar码结合算术编码的信源有损压缩编码方法，用算术编码代替polar编码过程中的部分极化，从而实现有限长时，polar码在信源压缩中得到更好的性能。
本发明提供的polar码结合算术编码的信源有损压缩编码方法，包括：
步骤1：根据互信息
Figure GDA0002787149600000011
确定冻结集；
设信源序列Y1 N经失真重构为输入码字序列
Figure GDA0002787149600000012
压缩码字序列
Figure GDA0002787149600000013
GN为极化码的生成矩阵；
统计Ui与
Figure GDA0002787149600000014
的条件熵
Figure GDA0002787149600000015
以及Ui与Y1 N,
Figure GDA0002787149600000016
的条件熵
Figure GDA0002787149600000017
计算已知
Figure GDA0002787149600000018
输入Ui与输出Y1 N的互信息
Figure GDA0002787149600000019
其中，N为正整数，Ui表示第i个压缩码字；
根据每个子信道的互信息大小确定冻结集
Figure GDA00027871496000000110
信息集
Figure GDA00027871496000000111
步骤2：用polar码进行有损压缩。
利用polar编码将Y1 N转化为
Figure GDA0002787149600000021
根据Polar码的极化作用，将Y1 N压缩为码字序列
Figure GDA0002787149600000022
同时计算出概率
Figure GDA0002787149600000023
表示ui与序列
Figure GDA0002787149600000024
的条件概率，其中ui、
Figure GDA0002787149600000025
Figure GDA0002787149600000026
分别为Ui、
Figure GDA0002787149600000027
Y1 N的标量表示。
步骤3：用算术编码进行无损压缩。
根据概率
Figure GDA0002787149600000028
对
Figure GDA0002787149600000029
的压缩码字
Figure GDA00027871496000000210
中的比特ui进行算术编码，设编码后码字为
Figure GDA00027871496000000211
其中b取值为0或1，所得到的
Figure GDA00027871496000000212
作为
Figure GDA00027871496000000213
最终的压缩码字。
本发明提出的一种polar码结合算术编码的信源有损压缩方法，与现有的只用polar码做有损压缩的方法相比较，具有如下优点和积极效果：
(1)本发明方法在有限码长下，用算术编码替换polar码中进行无损压缩部分可以提高压缩性能。利用算术编码代替用于设置重构码字分布的
Figure GDA00027871496000000214
的极化，算术编码对于有限码长N的压缩可以几乎达到
Figure GDA00027871496000000215
的熵率，相对于polar码有限码长N时对于
Figure GDA00027871496000000216
的无损压缩，算术编码可以取得更好的性能。同时，本发明采用的方法可以保持polar码的理论性能和低复杂度性能。
(2)本发明方法中的polar码和算术编码结合的结构，不是简单地编码级联，是可以同时进行极化和编码，两种运算并不冲突，算术编码压缩时依然使用基于polar码使用的概率进行计算。
附图说明
图1是本发明所提供的有损信源编码模型示意图；
图2是本发明的polar码结合算术编码的信源有损压缩编码方法的流程图；
图3是本发明所提供的有损信源编码结构示意图。
具体实施方式
下面将结合附图和实施例对本发明作进一步的详细说明。
本发明提供了一种polar码结合算术编码来实现信源有损压缩的编码方法。本发明方法通过利用polar码的极化
Figure GDA00027871496000000217
来保证系统的失真性能，然后选择算术编码实现更好的压缩性能。在有限长情况，算术编码可以近似达到无损压缩容量，并且该方法的理论性能不同于polar码极化
Figure GDA00027871496000000218
的渐近性能，算术编码在有限长时也能达到很好的性能。因此，使用polar码结合算术编码来实现信源有损压缩编码可以获得更好的性能，同时算术编码的复杂度对于码长是线性的，所以使用算术编码几乎不影响总的复杂度。Z(X|Y)是Bhattacharyya参数，用来度量X和Y的相关性的大小。
设在有损压缩中，
Figure GDA00027871496000000219
是需要被压缩的信源，
Figure GDA00027871496000000220
表示信源的分布空间，X∈{0,1}是Y的重构信息，W(Y|X)是测试信道的转移概率，U作为压缩码字。本发明的信道模型如图1所示，输入信源Y经失真重构为输入码字X，输入码字X经过极化编码器和算术编码器编码压缩输出压缩码字U，压缩码字经过传输被接收后经过译码器还原为码字X。
对于N个独立同分布(i.i.d.)的(X,Y)，设
Figure GDA0002787149600000031
表示测试信道的N个输入和输出对，经过压缩后得到的压缩码字为
Figure GDA0002787149600000032
其中
Figure GDA0002787149600000033
GN表示极化码的生成矩阵。
Figure GDA0002787149600000034
以及
Figure GDA0002787149600000035
利用Y1 N的极化可以表示为：
Figure GDA0002787149600000037
Figure GDA0002787149600000038
针对有损压缩，定义
Figure GDA0002787149600000039
PX,Y(0,y)和PX,Y(1,y)分别表示输出为y，输入是0和1的联合概率。
Figure GDA00027871496000000310
表示信源编码中输入Ui时，输出
Figure GDA00027871496000000311
Y1 N的可能性的大小。
Figure GDA00027871496000000312
表示输入Ui与输出
Figure GDA00027871496000000313
的可能性。β是任意值且β＜1/2。H(X|Y)表示变量X和Y的条件熵，熵用来描述信息的统计特征，定义为随机变量的平均自信息量的大小。Ui表示压缩码字的第i个比特，
Figure GDA00027871496000000314
表示包含第1个至第i-1个比特的压缩码字序列，Y1 N表示包含第1个至第N个比特的信源序列，
Figure GDA00027871496000000315
表示包含第1个至第N个比特的输入码字序列。N为正整数，代表子信道个数。
本发明实现polar码结合算术编码来进行信源有损压缩的编码方法，主要流程如图2所示，下面说明各实现步骤。
步骤1，确定冻结集。
信道好坏的度量可以用互信息I确定，根据条件互信息的定义，有
Figure GDA00027871496000000316
其中，
Figure GDA00027871496000000317
表示已知码字
Figure GDA00027871496000000318
输入Ui与输出Y1 N的互信息的大小；
Figure GDA00027871496000000319
表示Ui与
Figure GDA00027871496000000320
的条件熵，
Figure GDA00027871496000000321
表示Ui与Y1 N,
Figure GDA00027871496000000322
的条件熵。分别统计
Figure GDA00027871496000000323
和
Figure GDA00027871496000000324
并根据其差值的大小，直接使用条件互信息作为选择位置的依据。
在非对称条件时，由于错误不再有对称特性，不能用某个码字下的错误概率估算一般情况下的错误概率，冻结集选择使用Monte Carlo方法。在实际使用时，可以用时间平均代替集平均，用Monte Carlo仿真的方式统计
Figure GDA00027871496000000325
条件熵，表示如下：
Figure GDA00027871496000000326
其中，E(.)表示随机变量的数学期望，
Figure GDA00027871496000000327
表示变量的集平均，ET(.)表示变量的时间平均。
Figure GDA00027871496000000328
表示输入ui与输出
Figure GDA00027871496000000329
的条件概率。Ui和
Figure GDA00027871496000000330
分别为ui和
Figure GDA00027871496000000331
的向量表示，Y1 N为
Figure GDA00027871496000000332
的向量表示，
Figure GDA00027871496000000333
为
Figure GDA00027871496000000334
的向量表示，小写字母代表是标量，是具体实例。
Figure GDA00027871496000000335
表示输入ui与输出
Figure GDA00027871496000000336
的条件概率。对于信道的熵来说，集平均表示不同的信道在同一时刻的熵的统计值，时间平均表示同一信道在不同时刻的熵的统计值，由于集平均的统计在实际使用时应用比较困难，时间平均的计算可以对一个样本进行长时间的统计，得到其统计数据，一般比较容易实现。因此，熵是一个统计数据，是集平均，在实际使用时，可以用时间平均来近似代替集平均。
然后，根据每个子信道的互信息的大小来选择编码输入序列的冻结集与信息集，互信息按照式(4)进行统计选择。
Figure GDA0002787149600000041
其中，
Figure GDA0002787149600000042
表示序列
Figure GDA0002787149600000043
的联合概率，
Figure GDA0002787149600000044
表示ui关于序列
Figure GDA0002787149600000045
的条件概率，
Figure GDA0002787149600000046
表示序列
Figure GDA0002787149600000047
与序列
Figure GDA0002787149600000048
的联合概率。ET(.)表示随机变量的数学期望，是时间平均。
Figure GDA0002787149600000049
表示时刻t时ui与序列
Figure GDA00027871496000000425
的条件概率，
Figure GDA00027871496000000410
表示时刻t时ui与序列
Figure GDA00027871496000000411
的条件概率，t表示不同的时间。根据式(3)关于集平均与时间平均的解释，因为这里是时间平均，即统计该信道在不同时刻的熵的大小。
概率
Figure GDA00027871496000000412
通过每次译码计算得到，通过多次译码获得一系列不同Y1 N,
Figure GDA00027871496000000413
取值时的概率值
Figure GDA00027871496000000414
用这些概率值按上式取时间平均近似精确值。具体而言，概率
Figure GDA00027871496000000415
是polar码译码判决函数，每次译码都需要计算，而与普通译码的不同在于，这个计算的概率需要的是真实概率，即译码时需要使用训练序列，使用预先得知的译码输入信息
Figure GDA00027871496000000416
进行计算，而不能直接根据前面比特的译码结果
Figure GDA00027871496000000417
计算。
确定冻结集的步骤包括：
步骤1.1：根据Monte Carlo算法统计得到的每个码字的互信息
Figure GDA00027871496000000418
步骤1.2：对所得到的互信息
Figure GDA00027871496000000419
从小到大进行排序；
步骤1.3：根据编码参数：码率和码长，计算冻结集和信息集的长度；
步骤1.4：选择排序后前
Figure GDA00027871496000000420
个互信息的索引作为冻结集，其余
Figure GDA00027871496000000421
个索引作为信息集。其中，
Figure GDA00027871496000000422
表示一个集合，包含位置1到位置N中的部分元素，这些位置被选为冻结位，
Figure GDA00027871496000000423
是其补集，表示信息位的集合，
Figure GDA00027871496000000424
|.|表示集合中元素的数目。
以Honda J.,Yamamoto H等在2013年公开了一种polar编码(参考文献：Honda J.,Yamamoto H..Polar coding without alphabet extension for asymmetric models[J].IEEE Transactions on Information Theory,2013,vol.59,no.12,pp.7829-7838)作为对比，该方法简称HY方法。本发明方法相对于HY方法，通过分别统计
Figure GDA0002787149600000051
和
Figure GDA0002787149600000052
并根据其差值的大小，直接使用条件互信息
Figure GDA0002787149600000053
作为选择位置的依据，选择冻结集的计算更简单。
步骤2，用polar码进行有损压缩。
利用polar编码将信源Y1 N转化为非均匀重构码字
Figure GDA0002787149600000054
如图1信源编码模型所示，根据Polar码的极化作用，将信源序列Y1 N压缩为码字序列
Figure GDA0002787149600000055
计算过程如图所示。
步骤2.1，对于
Figure GDA0002787149600000056
Figure GDA0002787149600000057
为冻结集，根据下式决定ui；
Figure GDA0002787149600000058
比特
Figure GDA0002787149600000059
采用随机方式决定，用λi:{0,1}i-1→{0,1}表示决定冻结比特ui的函数，用Λi表示λi的函数族。对任意
Figure GDA00027871496000000510
根据以下条件选择λi。
Figure GDA00027871496000000511
Figure GDA00027871496000000512
表示ui＝1时，关于序列
Figure GDA00027871496000000513
的条件概率。对于非对称系统，不同的冻结位置采用不同的随机函数，公式(6)表示不同位置在函数族中选择对应的随机函数。
特别地，本发明通过编译码端共享伪随机数实现随机函数λi，生成ui如下。
Figure GDA00027871496000000514
步骤2.2，对于
Figure GDA00027871496000000515
Figure GDA00027871496000000516
为信息集，根据下式决定ui，如下：
Figure GDA00027871496000000517
根据重构信源
Figure GDA00027871496000000518
的概率分布计算压缩后信息
Figure GDA00027871496000000519
概率分布，已知
Figure GDA00027871496000000520
即可以认为
Figure GDA00027871496000000521
是
Figure GDA00027871496000000522
的一个函数。在这种情况下，当
Figure GDA00027871496000000523
的概率分布给定时，
Figure GDA00027871496000000524
的概率分布也就给定了。对于polar码来说，当
Figure GDA00027871496000000525
的概率分布给定时，
Figure GDA00027871496000000526
可以通过polar码的SC(连续删除译码)算法计算得到。因为，有如下公式推导成立：
Figure GDA00027871496000000527
Figure GDA0002787149600000061
Figure GDA0002787149600000062
表示ui＝0时与序列
Figure GDA0002787149600000063
的联合概率，
Figure GDA0002787149600000064
表示ui＝1时与序列
Figure GDA0002787149600000065
的联合概率，
Figure GDA0002787149600000066
表示ui＝1时与序列
Figure GDA0002787149600000067
的联合概率，
Figure GDA0002787149600000068
表示ui＝0时与序列
Figure GDA0002787149600000069
的联合概率，
Figure GDA00027871496000000610
表示序列
Figure GDA00027871496000000611
的联合概率。
式(9)的计算与式(10)信道编码的计算非常相似，都可以用递归算法计算。区别仅在于初始化输入，信道编码时的输入为
Figure GDA00027871496000000612
而式(9)的输入为
Figure GDA00027871496000000613
当
Figure GDA00027871496000000614
不是均匀分布时，不同位置的Ui将会具有不同的概率分布。
步骤3，用算术编码进行无损压缩。根据概率
Figure GDA00027871496000000615
对
Figure GDA00027871496000000616
的ui进行算术编码，编码为
Figure GDA00027871496000000617
其中b∈{0,1}，
Figure GDA00027871496000000618
作为
Figure GDA00027871496000000619
的码字。
步骤3.1：根据步骤2得到需要压缩的信息序列为
Figure GDA00027871496000000620
待压缩的信息字符为0和1两种，信息序列中每个信息出现的概率
Figure GDA00027871496000000621
为了算法描述简洁，将信息序列改写为
Figure GDA00027871496000000622
概率表示为
Figure GDA00027871496000000623
步骤3.2：算术编码初始区间s＝[0,1]，首先根据信息序列的第一个概率值p1，将区间划分为[0,p1)和[p1,1]，然后根据v1的值更新s，如果v1＝0，则s＝[0,p1)，如果v1＝1，则s＝[p1,1]。
步骤3.3：对于第k个信息，根据第k-1个信息得到的概率区间s＝[p′,p″)，取信息序列的第k个概率值pk，将区间s＝[p′,p″)划分为[p′,p′+(p″-p′)*pk)和[p′+(p″-p′)*pk,p″)，然后根据vk的值更新s，如果vk＝0，则s＝[p′,p′+(p″-p′)*pk)，若vk＝1，则s＝[p′+(p″-p′)*pk,p″)。
步骤3.4：重复执行步骤3.3，直到
Figure GDA00027871496000000624
得到更新后的s，然后在区间s内选择一个容易用二进制表示的数，作为信息序列进行算术压缩编码十进制结果，将其转化为二进制表示，然后去掉小数点和小数点左边的0，所得序列即为信息序列
Figure GDA00027871496000000625
的压缩结果，记所得序列为
Figure GDA00027871496000000626
其中b∈{0,1}，将
Figure GDA00027871496000000627
作为
Figure GDA00027871496000000628
的压缩后的最终码字。
实施例：
信源输入为Y1 N＝{y1,y2,y3,...,yN}，yi∈{0,1}，测试信道的信道转移概率为w(y|x)。依据本发明方法进行如下步骤，对Y1 N进行压缩编码。
步骤1，确定冻结集
Figure GDA00027871496000000629
根据蒙特卡罗算法统计每个码字的互信息
Figure GDA00027871496000000630
具体应用到实际系统中则需要统计的是
Figure GDA00027871496000000631
概率
Figure GDA00027871496000000632
是polar码译码判决函数，每次译码都需要计算，然后根据公式(4)计算出
Figure GDA0002787149600000071
蒙特卡罗算法就是多次实验，取其统计结果，作为实际值，一般实验次数越多，统计得到的结果越准确。计算出每个码字的互信息之后，对其进行从小到大排序。接下来根据编码参数：码率R和码长N，确定冻结集和信息集的长度，用
Figure GDA0002787149600000072
表示冻结集，
Figure GDA0002787149600000073
表示信息集，集合里面的元素为编码序列位置1到位置N的部分位置集合，并且
Figure GDA0002787149600000074
将排序后的互信息的前
Figure GDA0002787149600000075
个位置选为冻结集，将这些位置加入集合
Figure GDA0002787149600000076
中，剩余位置作为信息集，加入集合
Figure GDA0002787149600000077
中。
步骤2，用polar码进行有损压缩，将信源Y1 N压缩为
Figure GDA0002787149600000078
并且计算出概率
Figure GDA0002787149600000079
Figure GDA00027871496000000710
用于步骤3。已知测试信道的信道转移概率为w(y|x)，
Figure GDA00027871496000000711
由于GN是可逆矩阵，并且在模2运算下，GN*GN＝IN，IN是单位矩阵，所以，已知信道转移概率，根据Y1 N计算U可以看作是信道译码的过程，所以可以根据算式(10)的信道译码公式，求出步骤2.2中概率
Figure GDA00027871496000000712
和
Figure GDA00027871496000000713
从而根据算式(8)可以确定
Figure GDA00027871496000000714
但是这里要计算
Figure GDA00027871496000000715
必须已知
Figure GDA00027871496000000716
所以为了保证计算的所有可能情况，仍然需要计算
Figure GDA00027871496000000717
的值。在信道编码中冻结集比特错误概率较高，不能用来传输信息，因此一般将冻结位置设为固定值，而在压缩信源编码中，冻结集位置错误概率较高，每个位置的值比较随机，导致彼此相关性较差，无法进行压缩，因此，在压缩信源编码中用随机函数λi生成冻结集位置的值，这里选用一组随机函数去计算每个位置的值是考虑到一般情况，即当系统是非对称时，对于冻结比特的每一个值其随机函数的决定方式是不同的，所以可以提前生成一系列随机函数族或者假设系统是对称的，用一个随机函数去实现，并且编译码端共享该随机函数生成的随机数，然后根据算式(7)确定冻结集的每个比特位的值，其中
Figure GDA00027871496000000718
可以根据Polar码的SC译码的递归计算得到，递归过程如下式计算：
Figure GDA00027871496000000719
Figure GDA00027871496000000720
其中，小脚标e表示偶数，o表示奇数。
Figure GDA00027871496000000721
已知时，算式(9)保证了
Figure GDA00027871496000000722
可以被计算出来，这里需要考虑当
Figure GDA00027871496000000723
不是均匀分布时，不同位置的Ui将会具有不同的概率分布，式(9)的初始化输入也需要随
Figure GDA00027871496000000724
的分布而变化，以上过程可以确定
Figure GDA00027871496000000725
并同时可以得到
Figure GDA00027871496000000726
的值。
步骤3，用算术编码对
Figure GDA00027871496000000735
进行无损压缩，得到码字
Figure GDA00027871496000000728
将其作为最终
Figure GDA00027871496000000729
的压缩码字；根据步骤2得到polar码的压缩后的结果
Figure GDA00027871496000000730
作为算术编码的输入信息，即
Figure GDA00027871496000000736
ui∈{0,1}，输入信息序列中每个位置的信息出现的概率
Figure GDA00027871496000000732
即步骤2得到的结果。
首先，将信息序列改写为
Figure GDA00027871496000000733
概率
Figure GDA00027871496000000734
然后，进行算术编码，给定算术编码初始区间s＝[0,1]，根据输入信息序列的第一个概率值p1，将区间划分为[0,p1)和[p1,1]，然后根据v1的值更新概率区间s，更新步骤如下：
如果v1＝0，则s＝[0,p1)，否则v1＝1，s＝[p1,1]。
对于第k个信息，根据第k-1个信息得到的概率区间s＝[p′,p″)，取信息序列的第k个概率值pk，将区间s＝[p′,p″)划分为[p′,p′+(p″-p′)*pk)和[p′+(p″-p′)*pk,p″)，然后根据vk的值更新s，如果vk＝0，则s＝[p′,p′+(p″-p′)*pk)，如果vk＝1，则s＝[p′+(p″-p′)*pk,p″)。直到
Figure GDA0002787149600000081
得到更新后的s，然后在区间s内选择一个容易用二进制表示的数，作为
Figure GDA0002787149600000082
进行算术压缩编码后十进制结果，将其转化为二进制表示，然后去掉小数点和小数点左边的0，所得序列即为
Figure GDA0002787149600000083
的压缩结果，记所得序列为
Figure GDA0002787149600000084
其中b∈{0,1}，将
Figure GDA0002787149600000085
作为最终
Figure GDA0002787149600000086
的压缩码字。
在HY方法中有损和无损压缩是同时使用polar码进行，本发明方法在给定Y1 N时用polar码进行有损压缩，在不需要给定Y1 N时就已经确定的部分使用算术编码进行无损压缩，即用算术编码代替用于设置重构码字分布的
Figure GDA0002787149600000087
的极化，只用
Figure GDA0002787149600000088
的极化实现有损压缩保证其失真性能。算术编码对于有限码长N的压缩可以几乎达到
Figure GDA0002787149600000089
的熵率，相对于polar码有限码长N时对于
Figure GDA00027871496000000810
的无损压缩，算术编码可以取得更好的性能。因此本发明所提的结构相较于现有的HY结构可以得到更小的码率。

Claims (2)

1.一种polar码结合算术编码的信源有损压缩编码方法，其特征在于，包括：
(1)根据互信息
Figure FDA0002787149590000011
确定冻结集；
设信源序列Y1 N经失真重构为输入码字序列
Figure FDA0002787149590000012
压缩码字序列
Figure FDA0002787149590000013
GN为极化码的生成矩阵；
统计Ui与
Figure FDA0002787149590000014
的条件熵
Figure FDA0002787149590000015
以及Ui与Y1 N,
Figure FDA0002787149590000016
的条件熵
Figure FDA0002787149590000017
计算已知
Figure FDA0002787149590000018
输入Ui与输出Y1 N的互信息
Figure FDA0002787149590000019
其中，N为正整数，Ui表示第i个压缩码字；
设根据互信息确定的冻结集为
Figure FDA00027871495900000110
信息集为
Figure FDA00027871495900000111
在实际使用时，用时间平均代替集平均，用Monte Carlo仿真的方式统计
Figure FDA00027871495900000112
条件熵，表示如下：
Figure FDA00027871495900000113
其中，E(.)表示随机变量的数学期望，
Figure FDA00027871495900000114
表示变量的集平均，ET(.)表示变量的时间平均；
Figure FDA00027871495900000115
表示输入ui与输出
Figure FDA00027871495900000116
的条件概率；Ui和
Figure FDA00027871495900000117
分别为ui和
Figure FDA00027871495900000118
的向量表示，Y1 N为
Figure FDA00027871495900000119
的向量表示，
Figure FDA00027871495900000120
为
Figure FDA00027871495900000121
的向量表示，小写字母代表是标量，是具体实例；
Figure FDA00027871495900000122
表示输入ui与输出
Figure FDA00027871495900000123
的条件概率；
所述的互信息
Figure FDA00027871495900000124
根据下面公式计算获得：
Figure FDA00027871495900000125
其中，
Figure FDA00027871495900000126
表示序列
Figure FDA00027871495900000127
的联合概率，
Figure FDA00027871495900000128
表示ui关于序列
Figure FDA00027871495900000129
的条件概率，
Figure FDA00027871495900000130
表示序列
Figure FDA00027871495900000131
与序列
Figure FDA00027871495900000132
的联合概率，ET(.)表示变量的时间平均，
Figure FDA00027871495900000133
表示时刻t时ui与序列
Figure FDA00027871495900000134
的条件概率，
Figure FDA00027871495900000135
表示时刻t时ui与序列
Figure FDA00027871495900000136
Figure FDA00027871495900000137
的条件概率；
确定冻结集的方法是：首先计算每个码字的互信息
Figure FDA00027871495900000138
然后对所得到的互信息从小到大进行排序；再根据码率和码长计算冻结集和信息集的长度，设信息集的长度为
Figure FDA00027871495900000139
最后选择互信息排序后前
Figure FDA00027871495900000140
个互信息的索引作为冻结集，其余的
Figure FDA00027871495900000141
个索引作为信息集；
(2)用polar编码进行有损压缩；
利用polar编码将Y1 N转化为
Figure FDA0002787149590000021
根据Polar码的极化作用，将Y1 N压缩为码字序列
Figure FDA0002787149590000022
同时计算出概率
Figure FDA0002787149590000023
Figure FDA0002787149590000024
表示ui与序列
Figure FDA0002787149590000025
的条件概率，其中ui、
Figure FDA0002787149590000026
Figure FDA0002787149590000027
分别为Ui、
Figure FDA0002787149590000028
Y1 N的标量表示；
(3)用算术编码进行无损压缩；
根据概率
Figure FDA0002787149590000029
对
Figure FDA00027871495900000210
的压缩码字
Figure FDA00027871495900000211
中的比特ui进行算术编码，设编码后码字为
Figure FDA00027871495900000212
其中b取值为0或1，所得到的
Figure FDA00027871495900000213
作为
Figure FDA00027871495900000214
最终的压缩码字。
2.根据权利要求1所述的方法，其特征在于，所述的无损压缩，将polar编码得到的信息位的条件概率
Figure FDA00027871495900000215
作为输入比特的先验概率进行无损压缩。
CN201710841670.XA 2017-09-18 2017-09-18 一种polar码结合算术编码的信源有损压缩编码方法 Active CN107666324B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201710841670.XA CN107666324B (zh) 2017-09-18 2017-09-18 一种polar码结合算术编码的信源有损压缩编码方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710841670.XA CN107666324B (zh) 2017-09-18 2017-09-18 一种polar码结合算术编码的信源有损压缩编码方法

Publications (2)

Publication Number Publication Date
CN107666324A CN107666324A (zh) 2018-02-06
CN107666324B true CN107666324B (zh) 2021-01-01

Family

ID=61098140

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710841670.XA Active CN107666324B (zh) 2017-09-18 2017-09-18 一种polar码结合算术编码的信源有损压缩编码方法

Country Status (1)

Country Link
CN (1) CN107666324B (zh)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110430012B (zh) * 2019-07-11 2022-07-22 中国人民解放军陆军工程大学 低复杂度的极化码最小码重分布估计方法
CN112398484B (zh) 2019-08-15 2024-04-23 华为技术有限公司 一种编码方法及相关设备
CN110688092B (zh) * 2019-09-04 2021-08-17 湖南遥昇通信技术有限公司 一种随机数生成方法、装置、设备及存储介质
CN112584144B (zh) * 2019-09-30 2022-04-12 华为技术有限公司 一种图像信号处理方法及装置
CN111614437B (zh) * 2020-04-30 2021-04-30 北京航空航天大学 一种基于scl译码算法的极化码构造优化方法
CN112436923B (zh) * 2021-01-27 2021-05-04 湖南矩阵电子科技有限公司 一种极化码的编码方法、装置及计算机可读存储介质

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000122676A (ja) * 1998-10-15 2000-04-28 Takayoshi Hirata 音楽信号の波形符号化方式
EP1693951A1 (en) * 2003-12-10 2006-08-23 Favess Co., Ltd. Motor control apparatus and vehicle steering apparatus using the same
CN106253913A (zh) * 2016-07-29 2016-12-21 山东科技大学 极化码的块编码器及其编码方法
CN107040262A (zh) * 2017-03-28 2017-08-11 北京航空航天大学 一种计算polar码SCL+ CRC译码的List预测值的方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9176927B2 (en) * 2011-11-08 2015-11-03 The Royal Institution For The Advancement Of Learning/Mcgill University Methods and systems for decoding polar codes

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000122676A (ja) * 1998-10-15 2000-04-28 Takayoshi Hirata 音楽信号の波形符号化方式
EP1693951A1 (en) * 2003-12-10 2006-08-23 Favess Co., Ltd. Motor control apparatus and vehicle steering apparatus using the same
CN106253913A (zh) * 2016-07-29 2016-12-21 山东科技大学 极化码的块编码器及其编码方法
CN107040262A (zh) * 2017-03-28 2017-08-11 北京航空航天大学 一种计算polar码SCL+ CRC译码的List预测值的方法

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
FV polar coding for lossy compression with an improved exponent;王闰昕等;《2015 IEEE International Symposium on Information Theory (ISIT)》;20151001;1517-1521 *
How to Construct Polar Codes;Ido Tal等;《IEEE TRANSACTIONS ON INFORMATION THEORY》;20131031;第59卷(第10期);6562-6582 *
王闰昕等.FV polar coding for lossy compression with an improved exponent.《2015 IEEE International Symposium on Information Theory (ISIT)》.2015,1517-1521. *

Also Published As

Publication number Publication date
CN107666324A (zh) 2018-02-06

Similar Documents

Publication Publication Date Title
CN107666324B (zh) 一种polar码结合算术编码的信源有损压缩编码方法
CN104079382B (zh) 一种基于概率计算的极化码译码器和极化码译码方法
CN106998208B (zh) 一种可变长Polar码的码字构造方法
KR20050008761A (ko) 신호의 다중속도 격자 벡터 양자화를 위한 방법 및 시스템
CN104617959B (zh) 一种基于通用处理器的ldpc编译码方法
CN107332570B (zh) 分段级联Hash序列的极化码编码方法
CN105141322A (zh) 一种基于极化码sc译码的部分和方法
CN112398484B (zh) 一种编码方法及相关设备
CN111478885B (zh) 一种非对称加解密方法、设备及存储介质
CN113486369B (zh) 具有对称加密和无损压缩的编码方法、装置、设备及介质
CN110022188B (zh) 基于冻结比特对的极化码编码方法及极化码串行抵消译码方法和电路
CN102362231A (zh) 使用具有不确定性的数值表示的模拟计算技术
CN106685433A (zh) 一种记忆信道下利用冻结集的码字最优分布的polar码构造方法
Condo et al. Sparse superposition codes: A practical approach
Foster et al. Universal codes for finite sequences of integers drawn from a monotone distribution
CN103746701A (zh) 一种用于Rice无损数据压缩的快速编码选项选择方法
CN113922947B (zh) 一种基于加权概率模型的自适应对称编码方法以及系统
Zhang et al. An adaptive distributed source coding design for distributed learning
CN103138769A (zh) 一种具有不等错误保护的编码方法
Ramaswamy et al. Towards large scale distributed coding
Tyagi Coding theorems using Rényi information measures
CN115002471B (zh) 基于鲁棒自适应dac码的分布式视频编码及解码方法和系统
CN116582137B (zh) 删余卷积码的母码和删余模式的识别方法及装置
CN109347600A (zh) 一种极化码译码方法
Murayama et al. Rate distortion function in the spin glass state: a toy model

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant