CN107343202A - 基于附加码率的无反馈分布式视频编解码方法及移动终端 - Google Patents

基于附加码率的无反馈分布式视频编解码方法及移动终端 Download PDF

Info

Publication number
CN107343202A
CN107343202A CN201710402616.5A CN201710402616A CN107343202A CN 107343202 A CN107343202 A CN 107343202A CN 201710402616 A CN201710402616 A CN 201710402616A CN 107343202 A CN107343202 A CN 107343202A
Authority
CN
China
Prior art keywords
mrow
blocks
key frame
code check
block
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201710402616.5A
Other languages
English (en)
Other versions
CN107343202B (zh
Inventor
陈健
郑帅
杨龙
阔永红
吴建斌
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Xidian University
Original Assignee
Xidian University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Xidian University filed Critical Xidian University
Priority to CN201710402616.5A priority Critical patent/CN107343202B/zh
Publication of CN107343202A publication Critical patent/CN107343202A/zh
Application granted granted Critical
Publication of CN107343202B publication Critical patent/CN107343202B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H04N19/14—Coding unit complexity, e.g. amount of activity or edge presence estimation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/146—Data rate or code amount at the encoder output
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/146—Data rate or code amount at the encoder output
    • H04N19/147—Data rate or code amount at the encoder output according to rate distortion criteria
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/146—Data rate or code amount at the encoder output
    • H04N19/149—Data rate or code amount at the encoder output by estimating the code amount by means of a model, e.g. mathematical model or statistical model
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/172—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a picture, frame or field
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
    • H04N19/395—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability involving distributed video coding [DVC], e.g. Wyner-Ziv video coding or Slepian-Wolf video coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/513—Processing of motion vectors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/53—Multi-resolution motion estimation; Hierarchical motion estimation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/533—Motion estimation using multistep search, e.g. 2D-log search or one-at-a-time search [OTS]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/56—Motion estimation with initialisation of the vector search, e.g. estimating a good candidate to initiate a search

Abstract

本发明属于视频编解码技术领域，公开了一种基于附加码率的无反馈分布式视频编解码方法及移动终端，根据图像组尺寸将视频帧分为关键帧和非关键帧；对非关键帧采用LDPCA编码；对非关键帧进行运动匹配搜索和块模式判决，根据快速分层匹配搜索算法以及二次SKIP模式判决算法决定当前块为SKIP块或者W‑Z块；对于SKIP块编码端不进行编码，解码端直接利用关键帧中的对应块代替，对于W‑Z块进行快速边信息估计以及LDPCA编码，并利用基于附加码率的码率估计模型进行码率估计；根据估计的码率将校验信息发送到解码端进行解码。本发明可缓解编码端的资源占用压力；提高了编码端码率估计的精确性，提高了系统的率失真性能。

Description

基于附加码率的无反馈分布式视频编解码方法及移动终端
技术领域
本发明属于视频编解码技术领域，尤其涉及一种基于附加码率的无反馈分布式视频编解码方法及移动终端。
背景技术
随着移动智能终端以及无线传感器网络的快速发展，逐渐衍生出一种新型的视频应用场景。在该场景下，视频编码端往往是资源受限的，即要求编码端计算简单，存储空间占用小。而传统视频编解码标准如H.26x/MPEG，由于需要在编码端进行复杂的运动估计、运动补偿等计算过程，导致其编码端复杂度远大于解码端，限制了这些标准在新型视频应用场景下的应用。应对新型视频应用场景下编码端资源受限的挑战，分布式视频编解码系统受到了广泛关注。分布式视频编解码系统利用独立编码、联合解码技术，将运动估计、运动补偿等复杂计算过程转移到解码端，可有效地降低编码端的计算复杂度。目前，针对分布式的视频编解码方法根据系统中是否存在反馈信道，可以将分布式视频编解码系统分为有反馈和无反馈两种类型。2005年，由欧盟IST FP6项目资助的DISCOVER项目组提出了一种基于变换域的有反馈分布式视频编解码系统。该系统考虑了信源视频序列的不同特性，根据视频序列的运动复杂性提出了一种动态的图像组分组方式。DISCOVER分布式视频编解码系统相比于以往的分布式方案，具有更好的压缩性能，而且解码端能够得到更高得率失真性能。然而由于反馈信道的存在限制了对于不同场景的实用性，尤其是对于一些无线频谱资源较为稀缺的情形，而且经由反馈信道的频繁信息反馈往往会导致解码端的高时延性，系统实时性较差。为了解决有反馈分布式视频编解码系统的上述问题，无反馈信道的分布式视频编解码系统得到广泛的关注与研究。2011年，Catarina Brites等人在“IEEE Transactionson circuits and system for video technology”(《视频技术用电路与系统会刊》)提出了一种基于编码端码率控制的无反馈分布式视频编解码系统。该系统通过在编码端对边信息进行粗估计以计算编码端的发送码率，去除了反馈信道对于分布式系统的不利影响。但是无反馈分布式方案由于没有反馈信道向编码端实时回馈解码端需求信息，编码端的码率估计往往会导致高估或者低估的出现，高估会造成信息冗余，编码端大量传送无用信息；低估将导致解码端信息解码失败，降低系统重构质量，以上两种情况的出现均会导致系统率失真性能的下降。因此在无反馈信道存在的情况下，如何在编码端获得更精确的码率估计是无反馈分布式视频编解码系统的挑战所在。
综上所述，现有技术存在的问题是：目前分布式视频编解码方法存在实时性较差，编码端的码率估计往往会出现高估或者低估，使失真性能下降。
发明内容
针对现有技术存在的问题，本发明提供了一种基于附加码率的无反馈分布式视频编解码方法。
本发明是这样实现的，一种基于附加码率的无反馈分布式视频编解码方法，所述基于附加码率的无反馈分布式视频编解码方法根据图像组尺寸将视频帧分为关键帧和非关键帧；关键帧采用传统帧内编码，对非关键帧采用LDPCA编码；对非关键帧进行运动匹配搜索和块模式判决，根据快速分层匹配搜索算法以及二次SKIP模式判决算法决定当前块为SKIP块或者W-Z块；对于SKIP块编码端不进行编码，解码端直接利用关键帧中的对应块代替，对于W-Z块进行快速边信息估计以及LDPCA编码，并利用基于附加码率的码率估计模型进行码率估计；根据估计的码率将校验信息发送到解码端进行解码。
进一步，所述基于附加码率的无反馈分布式视频编解码方法包括以下步骤：
步骤一，编码端首先根据设定的图像组尺寸将输入的视频序列划分为关键帧和非关键帧；
步骤二，编码端对关键帧采用H.264/AVC帧内编码；
步骤三，编码端将非关键帧划分成固定尺寸的非交叉的块，对所有块在其边信息帧中进行分层块匹配搜索，并计算得到当前块与对应块的绝对误差和SAD，若SAD小于阈值Tskip，将该块分为SKIP块，否则判定为W-Z块；
步骤四，对于SKIP块，编码端将SKIP块模式标志位发送到解码端，解码端则直接采用关键帧中的对应块来代替SKIP块，对于W-Z块，编码端进行DCT变换以及量化处理，抽取比特平面，采用LDPCA编码对其进行编码；
步骤五，编码端根据帧间相似性，利用获得的W-Z块边信息，采用基于查找表的附加码率估计算法对W-Z块的码率进行预估计，并根据估计码率向解码端发送校验信息；
步骤六，解码端利用H.264/AVC解码技术对关键帧进行解码，之后利用关键帧获取边信息，辅助非关键帧中W-Z块的LDPCA解码，非关键帧中的SKIP块则直接利用关键帧中的对应块代替，最后构成重构序列输出。
进一步，所述步骤一中划分关键帧/非关键帧的方法为：每个图像组中的第一帧为关键帧，其余帧为非关键帧。
进一步，所述步骤三中具体包括：
1)对于非关键帧中的块BX，设置其初始运动矢量为其上相邻块和左相邻块运动矢量的平均值，即VX＝(Vupper+Vleft)/2，计算当前块与运动矢量所指向的块的绝对误差和SAD，表示为：
其中，n为块尺寸，(a,b)为当前块BX与参考块BY间的运动向量VX，若SAD值小于Tskip，则判定块为SKIP块，反之，搜索小菱形模板内的四个块的SAD值，若有SAD小于阈值Tskip，则判定当前块为SKIP块，模式选择结束，否则，判定其为W-Z块，继续执行后续步骤；
2)对当前非关键帧的相邻关键帧Xr进行分层抽取，将相邻关键帧中的像素分为2×2的块，取每一个像素块中的右下角的像素构成当前关键帧的提取层，最终得到提取层
3)按照小菱形搜索模板，计算当前非关键帧中的块与提取层中菱形搜索模板内对应块的绝对误差和，获得提取层内的最佳匹配块，以及与之对应的SAD值和运动矢量；
4)将所有非关键帧中的块的SAD值按照从大到小的顺序进行排序，设置阈值T＝max(T1,Tskip)，其中T1是位于前α％的SAD值，若SAD大于T，则需要将相应块恢复到原始层，以当前所得运动向量为初始运动矢量进行二次搜索，反之，则将当前运动向量选为原始层中相应块的运动向量，不需进行二次搜索；
5)对于所得到W-Z块进行二次SKIP模式筛选，计算W-Z块的边信息与当前W-Z块之间PSNR值，如果PSNR大于T2，则判决为SKIP块，码率设置为零，解码端直接用相应的边信息代替，反之，则判定为最终的W-Z块。
进一步，所述步骤五中具体包括：
(1)编码端利用获得的边信息，计算出非关键帧相对于边信息帧之间的误比特率，具体过程如下：
其中分别表示非关键帧以及其边信息帧中第k个比特平面的第m个比特；
(2)编码端根据得到的误比特率，计算出理论码率，具体计算方式如下：
Rth＝H(X|Y)＝-Per×log2Per-(1-Per)×log2(1-Per)；
之后，编码端根据基于附加码率的码率估计模型估计得到第k个比特平面的最终码率：
Rk＝λRth+RQ；
其中，λ是常系数，RQ是通过统计分析理论码率Rth与有反馈情况下解码端真实所需码率所得到的码率残差模型：
RQ＝aiPer 2+biPer+ci；
其中ai，bi，ci是对应于不同量化矩阵的拟合系数，由统计分析得到，并且根据编码端边信息质量，分别给出了三组不同的拟合系数：
其中，分别表示边信息的两个PSNR阈值；
(3)编码端根据得到的最终码率Rk，向解码端发送效验信息。
进一步，所述步骤三中SKIP块模式判决阈值Tskip设置为128。
进一步，所述步骤三中在对搜索块进行判决是否进行二次搜索时所设定的比例范围阈值α％为20％，对W-Z块进行二次SKIP模式判决时PSNR阈值T2为38dB。
进一步，所述附加码率拟合判断阈值为33.5dB，为29dB。
本发明的另一目的在于提供一种应用所述基于附加码率的无反馈分布式视频编解码方法的移动终端。
本发明的另一目的在于提供一种应用所述基于附加码率的无反馈分布式视频编解码方法的无线传感器网络。
本发明的优点及积极效果为：通过基于分层的块匹配搜索算法以及二次SKIP块编码模式判决有效提高编码端跳块率、降低编码端的待传信息量，缓解了编码端的资源占用压力；提高了编码端码率估计的精确性，提高了系统的率失真性能，根据编码端边信息的误比特率提出基于附加码率的码率估计模型，以改善分布式系统的率失真性能。
本发明可以广泛应用于各种视频场景，可以在确保解码端视频质量的前提下，简化编码端的复杂度，提高分布式视频编码系统的率失真性能；基于附加码率的无反馈分布式视频编解码系统，为有效利用视频帧间的相似性，编码端首先按照固定尺寸将视频序列划分成图像组，然后将图像组中的视频帧划分成关键帧与非关键帧，通过关键帧估计边信息为非关键帧的编解码提供帮助。
本发明首先利用提取层得到当前块的粗运动向量，针对快运动部分，在原始层进行二次细估计，并且通过在编码端引入基于搜索的SKIP块编码模式，提出基于PSNR的二次SKIP编码模式判决算法，可有效提高非关键帧中SKIP块的比例。得益于编码端的分层快速块运动匹配算法，并且SKIP块不再进行边信息估计和LDPCA编码处理，以上发明有效降低了编码端的信息量以及计算复杂度；根据编码端边信息估计的误比特率而得到的基于附加码率的码率估计模型，综合考虑编解码两端参考帧以及边信息估计方法的差异而导致的估计码率与实际需求的差异，通过对线下数据的统计分析拟合得到附加码率的估计模型，可有效改善码率估计的准确性，降低码率低估的可能性。
附图说明
图1是本发明实施例提供的基于附加码率的无反馈分布式视频编解码方法流程图。
图2是本发明实施例提供的所使用的无反馈分布式视频编解码系统模型示意图。
图3是本发明实施例提供的基于分层的动态匹配搜索算法流程图。
图4是本发明实施例提供的所使用的不同的量化矩阵示意图。
图5是本发明实施例提供的附加码率估计模型的拟合系数。
图6是本发明实施例提供的对于Foreman序列的率失真性能示意图。
图7是本发明实施例提供的对于Hall Monitor序列的率失真性能。
图8是本发明实施例提供的对于不同量化矩阵下的码率估计性能对比示意图。
图9是本发明实施例提供的SKIP编码块比例对比示意图。
图10是本发明实施例提供的编码端计算复杂度对比示意图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
下面结合附图对本发明的应用原理作详细的描述。
如图1所示，本发明实施例提供的基于附加码率的无反馈分布式视频编解码方法包括以下步骤：
S101：根据图像组尺寸将视频帧分为关键帧和非关键帧；关键帧采用传统帧内编码，对非关键帧采用LDPCA编码；对非关键帧进行运动匹配搜索和块模式判决；
S102：根据快速分层匹配搜索算法以及二次SKIP模式判决算法决定当前块为SKIP块或者W-Z块；对于SKIP块编码端不进行编码，解码端直接利用关键帧中的对应块代替，对于W-Z块进行快速边信息估计以及LDPCA编码，并利用基于附加码率的码率估计模型进行码率估计；
S103：根据估计的码率将校验信息发送到解码端进行解码。
下面结合附图对本发明的应用原理作进一步的描述。
如图2所示，本发明所提出的基于附加码率的无反馈分布式视频编解码系统的实现步骤如下：
步骤一，编码端首先根据设定的图像组尺寸Gsize＝2将输入的视频序列划分为关键帧和非关键帧，即每一个图像组的第一帧为关键帧，其余帧为非关键帧；
步骤二，编码端对关键帧采用传统的H.264/AVC帧内编码，并且将当前非关键帧的前后相邻关键帧保存到编码端的帧缓存器中，以辅助非关键帧的编码；
步骤三，编码端将非关键帧划分成固定尺寸Bsize＝8×8的非交叉的块，对所有块进行分层匹配搜索，并计算得到当前块与对应块的绝对误差和SAD，若SAD小于阈值Tskip，将该块分为SKIP块，否则判定为W-Z块；
步骤四，对于SKIP块，编码端不对其进行编码，只需要将SKIP块模式标志位发送到解码端，解码端则直接采用关键帧中的对应块来代替SKIP块，对于W-Z块，编码端首先对其进行DCT变换以及量化处理，而后抽取比特平面，最后采用LDPCA编码对其进行编码；
步骤五，编码端根据帧间相似性，根据步骤三中所获得的获得的W-Z块边信息，采用基于查找表的附加码率估计算法对W-Z块的码率进行预估计，并根据估计码率向解码端发送校验信息；
步骤六，解码端首先利用H.264/AVC解码技术对关键帧进行解码，之后利用关键帧获取边信息，辅助非关键帧中W-Z块的LDPCA解码，非关键中的SKIP块则直接利用关键帧中的对应块代替，最后构成重构序列输出。
步骤三的具体方法模型如图3所示，具体执行过程如下：
(1)对于非关键帧中的块BX，利用一次迭代小菱形模板搜索判断其是否为SKIP块，设置其初始运动矢量为其上相邻块和左相邻块运动矢量的平均值，即VX＝(Vupper+Vleft)/2指向图3中的初始搜索点，计算当前块与运动矢量所指向的参考帧中参考块的绝对误差和SAD，该过程可以表示为：
其中，n为块尺寸，(a,b)为当前块BX与参考块BY之间的运动向量VX，若SAD值小于Tskip，则判定该块为SKIP块，模式选择结束，反之，继续搜索小菱形模板内的四个块的SAD值，即图3中标记为1的点，若存在SAD小于阈值Tskip，则判定当前块为SKIP块，模式选择结束，否则，判定其为W-Z块，继续执行后续步骤；
(2)首先对当前非关键帧的相邻关键帧Xr进行分层抽取，将相应关键帧中的像素分为2×2的块，将每一个像素块中的右下角的像素抽取出来构成当前关键帧的提取层，最终得到提取层
(3)计算当前非关键帧块与提取层中小菱形搜索模板内对应块的绝对误差和，以初始搜索块为中心，计算当前块与小菱形模板内5个搜索块的SAD值，若中心点SAD值最小，则选取中心点为最佳匹配块，反之以具有最小SAD值的点为中心，再次进行小菱形模板搜索(即图3中具有最小SAD值的点1周围的标记为2的点)，直至搜索窗边缘，取具有最小SAD值的块为最佳匹配块，计算得到与之对应的运动向量；
(4)将得到的所有非关键帧块的SAD值按照从大到小的顺序进行排序，设置阈值T＝max(T1,Tskip)，其中T1是位于前α％的SAD值，若SAD大于T，则需要将相应块恢复到原始层，以当前所得运动向量为初始运动矢量进行二次搜索，反之，则将当前运动向量当做该块的运动向量，不进行二次搜索；
(5)对于所得到W-Z块进行二次SKIP模式筛选，首先计算W-Z块的边信息与当前W-Z块之间PSNR值，如果PSNR大于T2，则判决为SKIP块，码率设置为零，解码端直接用相应的边信息代替，反之，则判定为最终的W-Z块；
在采用图4中所示的不同的量化矩阵的条件下，本发明步骤五的具体方法如下：
1)编码端利用步骤三中获得的边信息，计算出非关键帧相对于边信息帧之间的误比特率，具体过程如下：
其中分别表示非关键帧以及其边信息帧中第k个比特平面的第m个比特；
2)编码端根据所得到的误比特率，计算出理论码率，具体计算方式如下：
Rth＝H(X|Y)＝-Per×log2Per-(1-Per)×log2(1-Per)；
之后，编码端根据基于附加码率的码率估计模型估计得到第k个比特平面的最终码率，具体过程如下：
Rk＝λRth+RQ；
其中，λ是常系数，RQ是通过统计分析理论码率Rth与有反馈情况下解码端真实所需码率所得到的码率残差模型，具体过程如下：
RQ＝aiPer 2+biPer+ci；
其中ai，bi，ci是对应于不同量化矩阵的拟合系数，由统计分析得到，并且根据编码端边信息质量，分别给出了三组不同的拟合系数，如下所示：
其中，分别表示边信息的两个PSNR阈值，进一步，图5给出了根据线下统计分析所得到的不同量化矩阵下的拟合系数；
3)编码端根据得到的最终码率Rk，向解码端发送效验信息。
下面结合对比对本发明的应用效果作详细的描述。
为验证本发明的效果，将本发明与现有的两个著名的分布式视频编解码方案TheDISCOVER EU-project(2005)DISCOVER-distributed coding for video services,http://www.discoverdvc.org/.Brites C,Pereira F(2011)An efficient encoder ratecontrol solution for transform domain Wyner-Ziv video coding.IEEETransactions on Circuits and Systems for Video Technology,21(9):1278-1292.进行比较。其中，DISCOVER方案属于有反馈信道方案，而另一个方案属于无反馈信道的编码端码率估计方案ERC。实验采用2个视频序列Foreman和Hall Monitor，实验的重要参数设定如表1所示，以下将结合仿真实验对本发明的性能作进一步的描述。
图6以及图7给出了本发明的率失真性能对比图。从图中可以看出，相比于以上两种方案，本发明方案具有更好的率失真性能，在相同码率要求下能够得到更高的视频重构质量，改善解码端的重构性能。
图8给出了本发明的码率估计性能对比，可以看出，相较于传统的ERC方案，本发明所提出的基于附加码率的码率估计算法性能更好，估计码率更为精确，普遍接近或略高于真实码率，有效避免了因解码端解码失败而导致的率失真性能的下降。
图9给出了本发明的SKIP块占比对比，从图中可以看出，相较于传统的无搜索SKIP块判决算法，本发明有效提高了非关键帧中的SKIP块的数目，从而有效减少了原本SKIP块的运动估计以及LDPCA编码处理所带来的复杂计算。
图10给出了本发明的编码端计算复杂度性能对比，相较于传统ERC方案，本发明得益于所提出的基于分层的块匹配搜索算法以及二次SKIP块编码模式判决，有效提高了编码端跳块率、降低了编码端的计算复杂度；相比于DISCOVER方案，由于其利用反馈信道的存在将运动估计与运动补偿等转移到解码端从而降低了编码端的计算复杂度，但却需要反复通过反馈信道向编码端进行信息反馈，传输时延高以及系统实时性较差。
表1
以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.一种基于附加码率的无反馈分布式视频编解码方法，其特征在于，所述基于附加码率的无反馈分布式视频编解码方法根据图像组尺寸将视频帧分为关键帧和非关键帧；关键帧采用传统帧内编码，对非关键帧采用LDPCA编码；对非关键帧进行运动匹配搜索和块模式判决，根据快速分层匹配搜索算法以及二次SKIP模式判决算法决定当前块为SKIP块或者W-Z块；对于SKIP块编码端不进行编码，解码端直接利用关键帧中的对应块代替，对于W-Z块进行快速边信息估计以及LDPCA编码，并利用基于附加码率的码率估计模型进行码率估计；根据估计的码率将校验信息发送到解码端进行解码。
2.如权利要求1所述的基于附加码率的无反馈分布式视频编解码方法，其特征在于，所述基于附加码率的无反馈分布式视频编解码方法包括以下步骤：
步骤一，编码端首先根据设定的图像组尺寸将输入的视频序列划分为关键帧和非关键帧；
步骤二，编码端对关键帧采用H.264/AVC帧内编码；
步骤三，编码端将非关键帧划分成固定尺寸的非交叉的块，对所有块在其边信息帧中进行分层块匹配搜索，并计算得到当前块与对应块的绝对误差和SAD，若SAD小于阈值Tskip，将该块分为SKIP块，否则判定为W-Z块；
步骤四，对于SKIP块，编码端将SKIP块模式标志位发送到解码端，解码端则直接采用关键帧中的对应块来代替SKIP块，对于W-Z块，编码端进行DCT变换以及量化处理，抽取比特平面，采用LDPCA编码对其进行编码；
步骤五，编码端根据帧间相似性，利用获得的W-Z块边信息，采用基于查找表的附加码率估计算法对W-Z块的码率进行预估计，并根据估计码率向解码端发送校验信息；
步骤六，解码端利用H.264/AVC解码技术对关键帧进行解码，之后利用关键帧获取边信息，辅助非关键帧中W-Z块的LDPCA解码，非关键帧中的SKIP块则直接利用关键帧中的对应块代替，最后构成重构序列输出。
3.如权利要求2所述的基于附加码率的无反馈分布式视频编解码方法，其特征在于，所述步骤一中划分关键帧/非关键帧的方法为：每个图像组中的第一帧为关键帧，其余帧为非关键帧。
4.如权利要求2所述的基于附加码率的无反馈分布式视频编解码方法，其特征在于，所述步骤三中具体包括：
1)对于非关键帧中的块BX，设置其初始运动矢量为其上相邻块和左相邻块运动矢量的平均值，即VX＝(Vupper+Vleft)/2，计算当前块与运动矢量所指向的块的绝对误差和SAD，表示为：
<mrow> <msub> <mi>SAD</mi> <mrow> <mi>X</mi> <mi>Y</mi> </mrow> </msub> <mo>=</mo> <munderover> <mi>&amp;Sigma;</mi> <mrow> <mi>x</mi> <mo>=</mo> <mn>1</mn> </mrow> <mi>n</mi> </munderover> <munderover> <mi>&amp;Sigma;</mi> <mrow> <mi>y</mi> <mo>=</mo> <mn>1</mn> </mrow> <mi>n</mi> </munderover> <mo>|</mo> <mi>X</mi> <mrow> <mo>(</mo> <mi>x</mi> <mo>,</mo> <mi>y</mi> <mo>)</mo> </mrow> <mo>-</mo> <mi>Y</mi> <mrow> <mo>(</mo> <mi>x</mi> <mo>+</mo> <mi>a</mi> <mo>,</mo> <mi>y</mi> <mo>+</mo> <mi>b</mi> <mo>)</mo> </mrow> <mo>|</mo> <mo>;</mo> </mrow>
其中，n为块尺寸，(a,b)为当前块BX与参考块BY间的运动向量VX，若SAD值小于Tskip，则判定块为SKIP块，反之，搜索小菱形模板内的四个块的SAD值，若有SAD小于阈值Tskip，则判定当前块为SKIP块，模式选择结束，否则，判定其为W-Z块，继续执行后续步骤；
2)对当前非关键帧的相邻关键帧Xr进行分层抽取，将相邻关键帧中的像素分为2×2的块，取每一个像素块中的右下角的像素构成当前关键帧的提取层，最终得到提取层
3)按照小菱形搜索模板，计算当前非关键帧中的块与提取层中菱形搜索模板内对应块的绝对误差和，获得提取层内的最佳匹配块，以及与之对应的SAD值和运动矢量；
4)将所有非关键帧中的块的SAD值按照从大到小的顺序进行排序，设置阈值T＝max(T1,Tskip)，其中T1是位于前α％的SAD值，若SAD大于T，则需要将相应块恢复到原始层，以当前所得运动向量为初始运动矢量进行二次搜索，反之，则将当前运动向量选为原始层中相应块的运动向量，不需进行二次搜索；
5)对于所得到W-Z块进行二次SKIP模式筛选，计算W-Z块的边信息与当前W-Z块之间PSNR值，如果PSNR大于T2，则判决为SKIP块，码率设置为零，解码端直接用相应的边信息代替，反之，则判定为最终的W-Z块。
5.如权利要求2所述的基于附加码率的无反馈分布式视频编解码方法，其特征在于，所述步骤五中具体包括：
(1)编码端利用获得的边信息，计算出非关键帧相对于边信息帧之间的误比特率，具体过程如下：
<mrow> <msub> <mi>P</mi> <mrow> <mi>e</mi> <mi>r</mi> </mrow> </msub> <mo>=</mo> <mi>p</mi> <mrow> <mo>(</mo> <msubsup> <mi>Y</mi> <mi>k</mi> <mi>m</mi> </msubsup> <mo>=</mo> <mn>1</mn> <mo>,</mo> <msubsup> <mi>X</mi> <mi>k</mi> <mi>m</mi> </msubsup> <mo>=</mo> <mn>0</mn> <mo>)</mo> </mrow> <mo>+</mo> <mi>p</mi> <mrow> <mo>(</mo> <msubsup> <mi>Y</mi> <mi>k</mi> <mi>m</mi> </msubsup> <mo>=</mo> <mn>0</mn> <mo>,</mo> <msubsup> <mi>X</mi> <mi>k</mi> <mi>m</mi> </msubsup> <mo>=</mo> <mn>1</mn> <mo>)</mo> </mrow> <mo>;</mo> </mrow>
其中分别表示非关键帧以及其边信息帧中第k个比特平面的第m个比特；
(2)编码端根据得到的误比特率，计算出理论码率，具体计算方式如下：
Rth＝H(X|Y)＝-Per×log2Per-(1-Per)×log2(1-Per)；
之后，编码端根据基于附加码率的码率估计模型估计得到第k个比特平面的最终码率：
Rk＝λRth+RQ；
其中，λ是常系数，RQ是通过统计分析理论码率Rth与有反馈情况下解码端真实所需码率所得到的码率残差模型：
RQ＝aiPer 2+biPer+ci；
其中ai，bi，ci是对应于不同量化矩阵的拟合系数，由统计分析得到，并且根据编码端边信息质量，分别给出了三组不同的拟合系数：
<mrow> <msub> <mi>R</mi> <mi>Q</mi> </msub> <mo>=</mo> <mfenced open = "{" close = ""> <mtable> <mtr> <mtd> <msub> <mi>R</mi> <mrow> <mi>u</mi> <mi>p</mi> <mi>p</mi> <mi>e</mi> <mi>r</mi> </mrow> </msub> </mtd> <mtd> <mrow> <mi>T</mi> <mn>2</mn> <mo>&amp;GreaterEqual;</mo> <msub> <mi>SI</mi> <mrow> <mi>P</mi> <mi>S</mi> <mi>N</mi> <mi>R</mi> </mrow> </msub> <mo>&gt;</mo> <msubsup> <mi>T</mi> <mrow> <mi>P</mi> <mi>S</mi> <mi>N</mi> <mi>R</mi> </mrow> <mn>1</mn> </msubsup> </mrow> </mtd> </mtr> <mtr> <mtd> <msub> <mi>R</mi> <mrow> <mi>m</mi> <mi>i</mi> <mi>d</mi> <mi>d</mi> <mi>l</mi> <mi>e</mi> </mrow> </msub> </mtd> <mtd> <mrow> <msubsup> <mi>T</mi> <mrow> <mi>P</mi> <mi>S</mi> <mi>N</mi> <mi>R</mi> </mrow> <mn>1</mn> </msubsup> <mo>&amp;GreaterEqual;</mo> <msub> <mi>SI</mi> <mrow> <mi>P</mi> <mi>S</mi> <mi>N</mi> <mi>R</mi> </mrow> </msub> <mo>&gt;</mo> <msubsup> <mi>T</mi> <mrow> <mi>P</mi> <mi>S</mi> <mi>N</mi> <mi>R</mi> </mrow> <mn>2</mn> </msubsup> </mrow> </mtd> </mtr> <mtr> <mtd> <msub> <mi>R</mi> <mrow> <mi>u</mi> <mi>n</mi> <mi>d</mi> <mi>e</mi> <mi>r</mi> </mrow> </msub> </mtd> <mtd> <mrow> <msub> <mi>SI</mi> <mrow> <mi>P</mi> <mi>S</mi> <mi>N</mi> <mi>R</mi> </mrow> </msub> <mo>&amp;le;</mo> <msubsup> <mi>T</mi> <mrow> <mi>P</mi> <mi>S</mi> <mi>N</mi> <mi>R</mi> </mrow> <mn>2</mn> </msubsup> </mrow> </mtd> </mtr> </mtable> </mfenced> <mo>;</mo> </mrow>
其中，分别表示边信息的两个PSNR阈值；
(3)编码端根据得到的最终码率Rk，向解码端发送效验信息。
6.如权利要求2所述的基于附加码率的无反馈分布式视频编解码方法，其特征在于，所述步骤三中SKIP块模式判决阈值Tskip设置为128。
7.如权利要求2所述的基于附加码率的无反馈分布式视频编解码方法，其特征在于，所述步骤三中在对搜索块进行判决是否进行二次搜索时所设定的比例范围阈值α％为20％，对W-Z块进行二次SKIP模式判决时PSNR阈值T2为38dB。
8.如权利要求5所述的基于附加码率的无反馈分布式视频编解码方法，其特征在于，所述附加码率拟合判断阈值为33.5dB，为29dB。
9.一种应用权利要求1～8任意一项所述基于附加码率的无反馈分布式视频编解码方法的移动终端。
10.一种应用权利要求1～8任意一项所述基于附加码率的无反馈分布式视频编解码方法的无线传感器网络。
CN201710402616.5A 2017-06-01 2017-06-01 基于附加码率的无反馈分布式视频编解码方法 Active CN107343202B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201710402616.5A CN107343202B (zh) 2017-06-01 2017-06-01 基于附加码率的无反馈分布式视频编解码方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710402616.5A CN107343202B (zh) 2017-06-01 2017-06-01 基于附加码率的无反馈分布式视频编解码方法

Publications (2)

Publication Number Publication Date
CN107343202A true CN107343202A (zh) 2017-11-10
CN107343202B CN107343202B (zh) 2019-12-10

Family

ID=60220401

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710402616.5A Active CN107343202B (zh) 2017-06-01 2017-06-01 基于附加码率的无反馈分布式视频编解码方法

Country Status (1)

Country Link
CN (1) CN107343202B (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108063945A (zh) * 2017-12-21 2018-05-22 西北工业大学 一种基于元素类别的线性码率估计方法
CN108712653A (zh) * 2018-05-25 2018-10-26 西安电子科技大学 基于迭代相关性噪声细化的单向分布式视频解码方法
CN110290389A (zh) * 2019-07-11 2019-09-27 东华大学 基于长短期参考帧挑选假设匹配块视频压缩感知重构方法
WO2023050431A1 (zh) * 2021-09-30 2023-04-06 浙江大学 编解码方法、解码器、编码器及计算机可读存储介质

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101835042A (zh) * 2010-03-19 2010-09-15 西安电子科技大学 基于无反馈速率控制的Wyner-Ziv视频编码系统及方法
CN102186077A (zh) * 2011-05-04 2011-09-14 西安电子科技大学 基于Wyner-Ziv视频编码的Wyner-Ziv帧码率控制系统和方法
CN102857760A (zh) * 2012-09-29 2013-01-02 中国科学院计算技术研究所 一种无反馈的优化码率的分布式视频编解码方法及其系统
CN104244009A (zh) * 2014-08-26 2014-12-24 南京邮电大学 一种分布式视频编码中码率控制方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101835042A (zh) * 2010-03-19 2010-09-15 西安电子科技大学 基于无反馈速率控制的Wyner-Ziv视频编码系统及方法
CN102186077A (zh) * 2011-05-04 2011-09-14 西安电子科技大学 基于Wyner-Ziv视频编码的Wyner-Ziv帧码率控制系统和方法
CN102857760A (zh) * 2012-09-29 2013-01-02 中国科学院计算技术研究所 一种无反馈的优化码率的分布式视频编解码方法及其系统
CN104244009A (zh) * 2014-08-26 2014-12-24 南京邮电大学 一种分布式视频编码中码率控制方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
秦浩 等: "《无反馈分布式视频编码中Wyner-Ziv帧码率控制算法》", 《西安电子科技大学学报（自然科学版）》 *

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108063945A (zh) * 2017-12-21 2018-05-22 西北工业大学 一种基于元素类别的线性码率估计方法
CN108063945B (zh) * 2017-12-21 2021-07-09 西北工业大学 一种基于元素类别的线性码率估计方法
CN108712653A (zh) * 2018-05-25 2018-10-26 西安电子科技大学 基于迭代相关性噪声细化的单向分布式视频解码方法
CN108712653B (zh) * 2018-05-25 2019-12-10 西安电子科技大学 基于迭代相关性噪声细化的单向分布式视频解码方法
CN110290389A (zh) * 2019-07-11 2019-09-27 东华大学 基于长短期参考帧挑选假设匹配块视频压缩感知重构方法
WO2023050431A1 (zh) * 2021-09-30 2023-04-06 浙江大学 编解码方法、解码器、编码器及计算机可读存储介质

Also Published As

Publication number Publication date
CN107343202B (zh) 2019-12-10

Similar Documents

Publication Publication Date Title
CN102137263B (zh) 基于cnm关键帧分类的分布式视频编码及解码方法
CN105049850B (zh) 基于感兴趣区域的hevc码率控制方法
CN102026000B (zh) 像素域-变换域联合的分布式视频编码系统
CN107343202A (zh) 基于附加码率的无反馈分布式视频编解码方法及移动终端
CN101835042B (zh) 基于无反馈速率控制的Wyner-Ziv视频编码系统及方法
CN101010964A (zh) 在可分级视频编码中的使用帧速率上变换技术的方法与设备
CN107071422B (zh) 基于图像相关模型的低复杂度hevc码率适配转换编码方法
CN101014129B (zh) 一种视频数据压缩方法
CN102685500B (zh) 基于信息变长分组结构的h.264大容量信息隐藏方法
CN107277537B (zh) 一种基于时间相关性的分布式视频压缩感知采样方法
CN104320657A (zh) Hevc无损视频编码的预测模式选择方法及相应的编码方法
CN103002283A (zh) 多视角分布式视频压缩的边信息生成方法
CN106937112A (zh) 基于h.264视频压缩标准的码率控制方法
CN102256133A (zh) 一种基于边信息精化的分布式视频编码及解码方法
CN106060539A (zh) 一种低传输带宽的视频编码方法
CN102572428B (zh) 面向多媒体传感网分布式编解码的边信息估计方法
CN102595132A (zh) 一种应用于无线传感器网络的分布式视频编解码方法
CN104244009A (zh) 一种分布式视频编码中码率控制方法
CN105681803A (zh) 一种大容量的hevc视频信息隐藏方法
CN104902281B (zh) 一种基于汉明码+1的hevc视频的信息隐藏方法
CN103313064B (zh) 基于帧间模式和运动修补的时域错误隐藏方法
CN106658024A (zh) 一种快速的视频编码方法
Tang et al. End-to-End Distortion Modeling for Error-Resilient Screen Content Video Coding
CN103002284B (zh) 一种基于场景模型自适应更新的视频编解码方法
CN105704497B (zh) 面向3d-hevc的编码单元尺寸快速选择算法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant