CN112788344B - 基于编码单元重组的视频解码方法、装置、系统、介质及终端 - Google Patents

基于编码单元重组的视频解码方法、装置、系统、介质及终端 Download PDF

Info

Publication number
CN112788344B
CN112788344B CN202011625117.0A CN202011625117A CN112788344B CN 112788344 B CN112788344 B CN 112788344B CN 202011625117 A CN202011625117 A CN 202011625117A CN 112788344 B CN112788344 B CN 112788344B
Authority
CN
China
Prior art keywords
coding unit
video
coding
data packet
video data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202011625117.0A
Other languages
English (en)
Other versions
CN112788344A (zh
Inventor
刘云淮
黄永贵
苏玥琦
谷晟
冯哲
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Institute Of Big Data Research
Original Assignee
Beijing Institute Of Big Data Research
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Institute Of Big Data Research filed Critical Beijing Institute Of Big Data Research
Priority to CN202011625117.0A priority Critical patent/CN112788344B/zh
Publication of CN112788344A publication Critical patent/CN112788344A/zh
Application granted granted Critical
Publication of CN112788344B publication Critical patent/CN112788344B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/42Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/44Decoders specially adapted therefor, e.g. video decoders which are asymmetric with respect to the encoder
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

本发明提供基于编码单元重组的视频解码方法、装置、系统、介质及终端。所述方法包括:接收编码单元重组的视频数据包,并存储其中的编码单元;按照标准顺序对所存储的编码单元重新排序;将重新排序后的编码单元解码以获得原始视频数据。本发明突破现有视频数据的打包传递方式,减少了视频编码单元的跨数据包依赖性,降低网络传输中数据包损坏和丢失对视频质量的损害;在相同的丢包率的情况下,解码端还原的视频画面平均峰值信噪比(Peak Signal‑to‑Noise Ratio,PSNR)的数值更高,视频画面中的缺损区域面积更小,且缺损区域由大面积条带状缺损转化为零散小块缺损;无需对视频解码器进行任何修改,可以直接改进现有的视频编码和传输系统,具有较大的便利性和适用性。

Description

基于编码单元重组的视频解码方法、装置、系统、介质及终端
技术领域
本发明涉及视频解码领域,特别是涉及基于编码单元重组的视频解码方法、装置、系统、介质及终端。
背景技术
近年来,移动互联网中的视频内容越来越多。由于原始视频画面数据量极大,必须经过视频压缩编码才能在计算机存储介质上存储或在网络中传输,接收端也需经过相应的解码操作还原出原始的视频画面。现有的视频编码和传输方法一般包含以下步骤:1)将待编码的视频画面划分成特定大小的像素块,例如4x4、8x8、16x16、32x32或其它大小;2)对上一步得到的像素块使用符合互联网视频编码标准的编码算法编码,得到相应的编码数据块;3)对上一步得到的编码数据块,依照各帧之间的时间顺序和一帧内部的扫描顺序,组装成分片(Slice);4)对上一步得到的分片进一步封装,使其便于通过网络传输或者存储至计算机存储介质中。
HEVC是一种新兴的互联网标准视频编码,该视频编码中具有多种分块结构,其中最大的分块结构称为编码树单元(CTU),CTU的大小由编码器的配置指定且在码流中保持不变,大小为64x64、32x32或16x16;CTU进一步划分形成编码单元(CU),划分方式为零次、一次或多次四等分;编码单元大小可以不相同,最小可划分到8x8;同一帧内的各个编码单元按照z-扫描顺序依次编码(如图1所示);编码单元决定了相应区域的图像使用何种预测模式(帧内预测或帧间预测)进行编码;编码单元可进一步分为1~4个预测单元(PU),每个PU可使用不同的预测参数,其中帧内预测会在35种子模式中选择其一,帧间预测则会选定1~2个参考帧(对应于P帧和B帧)以及相应的运动矢量。预测模式决定了相应PU的解码依赖范围,其中帧内预测依赖与当前区域相邻的同一Slice内已编码的编码单元(如图2所示),帧间预测依赖参考帧中运动矢量指向区域内的编码单元(如图3所示,其中标有P的方框表示当前预测单元,虚线框为依赖区域,其它实线方框为被依赖的CU);编码单元的依赖范围则是相应PU的依赖范围之和。HEVC视频编码算法中大量地考虑了视频各部分画面之间的关联,因此编码后得到的分片之间也具有较强的依赖性。目前的视频解码体系仅支持按照帧间的时间顺序和帧内的空间顺序依次发送的打包传递方式,这要求编码器产生较大的分片(包含较多数据块),并直接将其封装成数据包依次传输(如图4所示,其中实线箭头表示分片依赖关系,虚线箭头表示数据包之间的错误传播关系)。
编码中具有依赖性的一系列连续的视频帧构成一个图像组(Group of Pictures,GOP)。每个视频帧由一个或多个分片构成,每个分片中包含若干个数据块。解码算法在解码某个数据块时,要求其前置数据块均已正确取得并解码,即要求其所属分片必须正确取得,才能顺利还原出相应位置的视频画面,否则视频解码算法将自动使用一些替代信息对于缺失信息进行填补,导致最终还原得到的视频画面与原始视频画面不一致,有缺损部分。在网络传输,尤其是无线网络中,网络传输的容量是不稳定的,同时网络传输存在一定的误码率,不可避免地会带来一些数据块的信息错误或丢失。由于数据丢失的最小单位为包,而一个包中包含了多个数据块的信息,不同的装包方式使得在正确传输的包比例相同时,可解码的数据块的比例产生巨大的差距。按照顺序发送数据包使得最终的数据包所承载的数据块顺序是固定的,没有考虑依赖关系,会导致大量正确到达的包由于其他误码包中的前置数据块无法正确解码而被丢弃,大幅降低了网络有数据丢失的情况下视频画面的质量。同时,为了节省对编码单元定位而需要额外使用的位置信息编码,现有的技术将若干个连续的编码单元合并在一起作为一个分片传输。然而,属于同一个帧的相邻编码单元之间往往没有依赖关系,将若干无关联的编码单元作为整体打包,会使得依赖关系变得更为稠密,同时单个分片的数据量变得更大,单个数据包内能够装下的分片数量较少,这都会使得对于依赖关系的利用率大大降低。
发明内容
鉴于以上所述现有技术的缺点,本发明的目的在于提供基于编码单元重组的视频解码方法、装置、系统、介质及终端,用于解决现有技术中视频传输误码率高的技术问题。
为实现上述目的及其它相关目的,本发明的第一方面提供一种基于编码单元重组的视频解码方法,包括:接收编码单元重组的视频数据包,并存储其中的编码单元;按照标准顺序对所存储的编码单元重新排序;将重新排序后的编码单元解码以获得原始视频数据。
于本发明的第一方面的一些实施例中,所述编码单元重组的方式包括:获取各编码单元的依赖关系信息;基于所述依赖关系信息为各编码单元分组。
于本发明的第一方面的一些实施例中,所述依赖关系信息的获取方式包括:基于各编码单元的预测信息获取所述依赖关系信息;所述预测信息包括:各编码单元的预测模式、编码单元内部各预测单元的预测模式、帧间预测的运动矢量信息。
于本发明的第一方面的一些实施例中,所述依赖关系信息包括依赖关系图;基于所述依赖关系图对所述编码单元重组,其包括:以独立的编码单元为起点,对所述依赖关系图进行深度优先遍历;基于所述深度优先遍历的顺序,将遍历时相邻访问的编码单元划分为同组。
于本发明的第一方面的一些实施例中,所述方法以图像组为单位对所述编码单元进行排序和解码,其包括:判断当前接收的视频数据包中的编码单元是否属于当前图像组;若是,则继续接收视频数据包;若否,则将存储区域内所有编码单元重新排序后解码,并清空所述存储区域。
于本发明的第一方面的一些实施例中,所述编码单元的存储方式包括:遍历所接收视频数据包的所有编码单元,并按照遍历顺序将编码单元依次存储至存储区域的最末端;按照所述遍历顺序依次存储所述编码单元的位置信息于带链表的哈希表。
为实现上述目的及其它相关目的,本发明的第二方面提供一种基于编码单元重组的视频解码装置,包括:数据接收存储模块,用于接收编码单元重组的视频数据包,并存储其中的编码单元;编码单元排序模块,用于按照标准顺序对所存储的编码单元重新排序;解码模块,用于将重新排序后的编码单元解码以获得原始视频数据。
为实现上述目的及其它相关目的,本发明的第三方面提供一种基于编码单元重组的视频编解码系统,包括:视频编码装置和前文所述的视频解码装置,所述视频编码装置与所述视频解码装置通信连接。
为实现上述目的及其它相关目的,本发明的第四方面提供一种计算机可读存储介质,其上存储有计算机程序,所述计算机程序被处理器执行时实现所述基于编码单元重组的视频解码方法。
为实现上述目的及其它相关目的,本发明的第五方面提供一种电子终端,包括:处理器及存储器;所述存储器用于存储计算机程序,所述处理器用于执行所述存储器存储的计算机程序,以使所述终端执行所述基于编码单元重组的视频解码方法。
如上所述,本发明涉及的基于编码单元重组的视频解码方法、装置、系统、介质及终端,具有以下有益效果:突破现有视频数据的打包传递方式,对编码单元重组后打包,改变了视频编码单元的装包顺序,减少了视频编码单元的跨数据包依赖性,从而降低网络传输中数据包损坏和丢失对视频质量的损害;在相同的丢包率的情况下,解码端还原的视频画面平均峰值信噪比(Peak Signal-to-Noise Ratio,PSNR)的数值更高,视频画面中的缺损区域面积更小,且缺损区域由大面积条带状缺损转化为零散小块缺损;并且,本发明将所接收的视频数据包中的编码单元还原为标准顺序后再向视频解码器输出,无需对视频解码器进行任何修改,可以直接利用现有的视频解码软件进行解码,从而改进现有的视频编码和传输系统,具有较大的便利性和广泛的适用性。
附图说明
图1显示为本发明背景技术中一种编码单元的划分和顺序示意图。
图2显示为本发明背景技术中一种帧内编码的依赖区域示意图。
图3显示为本发明背景技术中一种帧间编码的依赖区域示意图。
图4显示为本发明背景技术中一种视频编码数据的分片装包示意图。
图5显示为本发明一实施例中一种基于编码单元重组的视频解码方法流程示意图。
图6显示为本发明一实施例中一种图像组视频数据包接收判断方法流程示意图。
图7显示为本发明一实施例中一种编码单元存储方式示意图。
图8显示为本发明一实施例中另一种编码单元存储方式示意图。
图9显示为本发明一实施例中一种基于编码单元重组的视频解码装置结构示意图。
图10显示为本发明一实施例中一种基于编码单元重组的视频编解码系统结构示意图。
图11显示为本发明一实施例中一种电子终端的结构示意图。
具体实施方式
以下通过特定的具体实例说明本发明的实施方式,本领域技术人员可由本说明书所揭露的内容轻易地了解本发明的其它优点与功效。本发明还可以通过另外不同的具体实施方式加以实施或应用,本说明书中的各项细节也可以基于不同观点与应用,在没有背离本发明的精神下进行各种修饰或改变。需说明的是,在不冲突的情况下,以下实施例及实施例中的特征可以相互组合。
需要说明的是,在下述描述中,参考附图,附图描述了本发明的若干实施例。应当理解,还可使用其它实施例,并且可以在不背离本发明的精神和范围的情况下进行机械组成、结构、电气以及操作上的改变。下面的详细描述不应该被认为是限制性的,并且本发明的实施例的范围仅由公布的专利的权利要求书所限定。这里使用的术语仅是为了描述特定实施例,而并非旨在限制本发明。空间相关的术语,例如“上”、“下”、“左”、“右”、“下面”、“下方”、“下部”、“上方”、“上部”等,可在文中使用以便于说明图中所示的一个元件或特征与另一元件或特征的关系。
在本发明中,除非另有明确的规定和限定,术语“安装”、“相连”、“连接”、“固定”、“固持”等术语应做广义理解,例如,可以是固定连接,也可以是可拆卸连接,或一体地连接;可以是机械连接,也可以是电连接;可以是直接相连,也可以通过中间媒介间接相连,可以是两个元件内部的连通。对于本领域的普通技术人员而言,可以根据具体情况理解上述术语在本发明中的具体含义。
再者,如同在本文中所使用的,单数形式“一”、“一个”和“该”旨在也包括复数形式,除非上下文中有相反的指示。应当进一步理解,术语“包含”、“包括”表明存在所述的特征、操作、元件、组件、项目、种类、和/或组,但不排除一个或多个其它特征、操作、元件、组件、项目、种类、和/或组的存在、出现或添加。此处使用的术语“或”和“和/或”被解释为包括性的,或意味着任一个或任何组合。因此,“A、B或C”或者“A、B和/或C”意味着“以下任一个:A;B;C;A和B;A和C;B和C;A、B和C”。仅当元件、功能或操作的组合在某些方式下内在地互相排斥时,才会出现该定义的例外。
本发明提供基于编码单元重组的视频解码方法、装置、系统、介质及终端,用于解决现有技术中视频传输误码率高、画面质量低的技术问题。
为了使本发明的目的、技术方案及优点更加清楚明白,通过下述实施例并结合附图,对本发明实施例中的技术方案进一步详细说明。应当理解,此处所描述的具体实施例仅用以解释本发明,并不用于限定本发明。
实施例一
图5显示为本实施例一种基于编码单元重组的视频解码方法流程示意图,其包括:
步骤S51.接收编码单元重组的视频数据包,并存储其中的编码单元。具体的,从视频传输网络中接收以编码单元为单位进行重组并打包后传输的视频数据包,剥去所接收的视频数据包中的网络层数据,然后将剩余的编码单元数据按照预设存储方式存储到临时缓冲区。其中,临时缓冲区的预设存储方式可以是按照编码单元进入临时缓冲区的顺序顺次排列,也可以是按照其它预定的规则倒序或插入式排列,本实施例不作限定。
步骤S52.按照标准顺序对所存储的编码单元重新排序。具体的,以图像组为单位对所述编码单元进行排序(如图6所示):首先,判断当前接收的视频数据包中的编码单元是否属于当前图像组,即是否与之前接收的编码单元属于同一图像组;若是,则继续接收视频数据包,直至接收的编码单元不属于当前图像组;若否,则表明当前图像组的所有视频数据包接收完毕,则将存储区域内所有编码单元重新排序后解码,并清空所述存储区域以准备存储下一个图像组的编码单元。其中,标准顺序即图像组内各视频帧之间的时间顺序和视频帧内部的空间顺序。
步骤S53.将重新排序后的编码单元解码以获得原始视频数据。重新排序后的编码单元符合现有互联网视频编码标准,能被符合互联网视频编码标准的解码算法如HEVC识别并解码,从而获得原始视频数据,可以将其输入视频播放器进行播放,也可以将其存储到存储介质中,或进行其它处理,本实施例不作限定。
在本实施例较佳的实施方式中,所述编码单元重组的方式包括:首先,获取各编码单元的依赖关系信息,具体的,基于各编码单元的预测信息获取所述依赖关系信息,其中的预测信息有各编码单元的预测模式、编码单元内部各预测单元的预测模式、帧间预测的运动矢量信息等等;然后,基于所述依赖关系信息为各编码单元分组,具体的,可构建各编码单元的依赖关系图,以独立的编码单元为起点,对所述依赖关系图进行深度优先遍历,将遍历时相邻访问的编码单元划分为同组。
在本实施例较佳的实施方式中,所述方法包括:对重组后的编码单元添加元数据,添加的整数值均使用与HEVC标准相同的Exp-Golomb编码。所述元数据包括图像组序号、单元个数、帧序号、单元序号、原始数据等。在一些示例中,视频数据包的数据结构如表1所示。
表1视频数据包的数据结构
Figure SMS_1
在本实施例较佳的实施方式中,所述视频数据包包括编码单元分隔标志。具体的,一个视频数据包内可以包含一个编码单元,也可以同时包含多个编码单元。在一个视频数据包包括多个编码单元的情况下,编码单元与编码单元之间应当存在明确的编码单元分隔标志。同时,所述编码单元包括但不限于图像组的序号信息、图像组的组内位置信息、视频帧的帧号信息和视频帧的帧内位置信息,即每一个编码单元能够明确标识出其所属的图像组以及其在所属图像组内的具体位置信息。
在本实施例较佳的实施方式中,同一个视频数据包内的编码单元属于同一图像组。在编码算法中,具有依赖关系的一系列连续的视频帧构成一个图像组,确保数据包中的编码单元属于同一图像组,则数据包损坏或丢失的情况下,仅有一个图像组受到影响,从而降低了网络传输中数据包损坏和丢失对视频质量的损害。
在本实施例较佳的实施方式中,所述视频数据包的接收顺序为:按照其所包含的编码单元所属视频帧的时间顺序,接收视频数据包,即时间顺序比较靠前的视频帧的编码单元的数据包将被优先接收,从而有利于降低后续对编码单元重新排序的工作复杂度,提高视频解码效率。
在本实施例较佳的实施方式中,所述编码单元的存储方式包括:遍历所接收视频数据包的所有编码单元,并按照遍历顺序将编码单元依次存储至存储区域(临时缓冲区)的最末端;同时,按照所述遍历顺序依次存储所述编码单元的位置信息于带链表的哈希表(hash table)。图7所示为本实施例一种编码单元的存储方式示意图,以大小1024的hashtable为例,对本实施方式具体说明如下:首先构造一个hash函数:
H(x,y)=z;
其中,x为帧号,y为帧内编码单元序号,z∈[0,1024)是该编码单元所属的hash桶号(如图7所示的Bucket0、Bucket1、Bucket1023);一个hash表内用链表链接了所有hash值为该桶编号的所有编码单元,每一个链表中的元素存储了该编码单元的帧号(x)、帧内编码单元序号(y),以及该编码单元在临时缓冲区内的位置(pos(x,y)),每次接收存储新的编码单元时,需同时将该编码单元的位置信息添加到hash table中。
值得一提的是,采用哈希表的存储方式的优势在于:当对所有编码单元进行排序时,可以按顺序枚举每一个所需编码单元,并通过hash table快速查询该编码单元所在位置,从而将其快速取出并放入解码缓冲区的最末端;并且在hash table足够大时,上述排序复杂度为O(编码单元个数),优于一般的排序算法。本实施方式大大降低了编码单元的排序复杂度,节约了排序时间,提高了解码效率。
在本实施例较佳的实施方式中,所述编码单元的存储方式包括:基于图像组的视频帧数将所述临时缓冲区划分为临时缓冲单元并编号;基于待存储编码单元的位置信息将其存入对应编号的临时缓冲单元,使从临时缓冲区依次取出的编码单元为按标准顺序排列的编码单元。图8为本实施方式的一举例说明示意图,其中,(2,1)表示第2帧的第一个编码单元,1、2、C、(C+1)等表示该单元格的序号,该图像组包含24帧,每帧包含C个编码单元,每个编码单元占据的存储空间大小为T;设计一个大小为24*C*T大小的临时缓冲区,并将该缓冲区划分为24*C个临时缓冲单元,各临时缓冲单元的编号为[1,24*C];当临时缓冲区中加入帧号为x、帧内序号为y的编码单元时,将其放入编号为[(x-1)*C+y]的临时缓冲单元。本存储方式中,不同的编码单元必然会放入不同的临时缓冲单元。本实施方式避免了对编码单元重新排序的过程,进一步提高了本发明的解码效率并节约了存储空间。
在一些实施方式中,所述方法可应用于控制器,所述电控单元例如为ARM(Advanced RISC Machines)控制器、FPGA(Field Programmable Gate Array)控制器、SoC(System on Chip)控制器、DSP(Digital Signal Processing)控制器、或者MCU(Microcontroller Unit)控制器等等。在一些实施方式中,所述方法也可应用于包括存储器、存储控制器、一个或多个处理单元(CPU)、外设接口、RF电路、音频电路、扬声器、麦克风、输入/输出(I/O)子系统、显示屏、其它输出或控制设备,以及外部端口等组件的计算机;所述计算机包括但不限于如台式电脑、笔记本电脑、平板电脑、智能手机、智能电视、个人数字助理(Personal Digital Assistant,简称PDA)等个人电脑。在另一些实施方式中,所述方法还可应用于服务器,所述服务器可以根据功能、负载等多种因素布置在一个或多个实体服务器上,也可以由分布的或集中的服务器集群构成。
综上所述,本发明提出的基于编码单元重组的视频解码方法:突破现有视频数据的打包传递方式,对编码单元重组后打包,改变了视频编码单元的装包顺序,减少了视频编码单元的跨数据包依赖性,从而降低网络传输中数据包损坏和丢失对视频质量的损害;在相同的丢包率的情况下,解码端还原的视频画面平均峰值信噪比(Peak Signal-to-NoiseRatio,PSNR)的数值更高,视频画面中的缺损区域面积更小,且缺损区域由大面积条带状缺损转化为零散小块缺损;并且,本发明将所接收的视频数据包中的编码单元还原为标准顺序后再向视频解码器输出,无需对视频解码器进行任何修改,可以直接利用现有的视频解码软件进行解码,从而改进现有的视频编码和传输系统,具有较大的便利性和广泛的适用性。
实施例二
图9显示为本实施例提供的一种基于编码单元重组的视频解码装置,其包括:数据接收存储模块91,用于接收编码单元重组的视频数据包,并存储其中的编码单元;编码单元排序模块92,用于按照标准顺序对所存储的编码单元重新排序;解码模块93,用于将重新排序后的编码单元解码以获得原始视频数据。
需要说明的是,本实施例提供的模块与上文中提供的方法、实施方式类似,故不再赘述。另外需要说明的是,应理解以上装置的各个模块的划分仅仅是一种逻辑功能的划分,实际实现时可以全部或部分集成到一个物理实体上,也可以物理上分开。且这些模块可以全部以软件通过处理元件调用的形式实现;也可以全部以硬件的形式实现;还可以部分模块通过处理元件调用软件的形式实现,部分模块通过硬件的形式实现。例如,解码模块可以为单独设立的处理元件,也可以集成在上述装置的某一个芯片中实现,此外,也可以以程序代码的形式存储于上述装置的存储器中,由上述装置的某一个处理元件调用并执行以上解码模块的功能。其它模块的实现与之类似。此外这些模块全部或部分可以集成在一起,也可以独立实现。这里所述的处理元件可以是一种集成电路,具有信号的处理能力。在实现过程中,上述方法的各步骤或以上各个模块可以通过处理器元件中的硬件的集成逻辑电路或者软件形式的指令完成。
例如,以上这些模块可以是被配置成实施以上方法的一个或多个集成电路,例如:一个或多个特定集成电路(Application Specific Integrated Circuit,简称ASIC),或,一个或多个微处理器(digital signal processor,简称DSP),或,一个或者多个现场可编程门阵列(Field Programmable Gate Array,简称FPGA)等。再如,当以上某个模块通过处理元件调度程序代码的形式实现时,该处理元件可以是通用处理器,例如中央处理器(Central Processing Unit,简称CPU)或其它可以调用程序代码的处理器。再如,这些模块可以集成在一起,以片上系统(system-on-a-chip,简称SOC)的形式实现。
实施例三
图10显示为一种基于编码单元重组的视频编解码系统,其包括视频编码装置101和视频解码装置102。其中,视频编码装置101用于将外部设备录制的视频画面编码为视频码流,解析获取视频码流的依赖关系信息,并基于依赖关系信息对视频码流的各个编码单元进行重组,获得视频数据包并向外传输。视频解码装置102用于接收视频编码装置101传输的视频数据包。本实施例提供的系统与上文中提供的方法、实施方式类似,故不再赘述。
实施例四
本实施例提供一种计算机可读存储介质,其上存储有计算机程序,所述计算机程序被处理器执行时实现前文所述基于编码单元重组的视频解码方法。
本领域普通技术人员可以理解:实现上述各方法实施例的全部或部分步骤可以通过计算机程序相关的硬件来完成。前述的计算机程序可以存储于一计算机可读存储介质中。该程序在执行时,执行包括上述各方法实施例的步骤;而前述的存储介质包括:ROM、RAM、磁碟或者光盘等各种可以存储程序代码的介质。
实施例五
图11显示为一种电子终端的结构示意图。本实施例提供的电子终端,包括:处理器111、存储器112、通信器113;存储器112通过系统总线与处理器111和通信器113连接并完成相互间的通信,存储器112用于存储计算机程序,通信器113用于和其它设备进行通信,处理器111用于运行计算机程序,使电子终端执行如上基于编码单元重组的视频解码方法的各个步骤。
上述提到的系统总线可以是外设部件互连标准(Peripheral ComponentInterconnect,简称PCI)总线或扩展工业标准结构(Extended Industry StandardArchitecture,简称EISA)总线等。该系统总线可以分为地址总线、数据总线、控制总线等。为便于表示,图中仅用一条粗线表示,但并不表示仅有一根总线或一种类型的总线。通信接口用于实现数据库访问装置与其它设备(例如客户端、读写库和只读库)之间的通信。存储器可能包含随机存取存储器(Random Access Memory,简称RAM),也可能还包括非易失性存储器(non-volatile memory),例如至少一个磁盘存储器。
上述的处理器可以是通用处理器,包括中央处理器(Central Processing Unit,简称CPU)、网络处理器(Network Processor,简称NP)等;还可以是数字信号处理器(Digital Signal Processing,简称DSP)、专用集成电路(Application SpecificIntegrated Circuit,简称ASIC)、现场可编程门阵列(Field-Programmable Gate Array,简称FPGA)或者其它可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。
综上所述,本发明提供基于编码单元重组的视频解码方法、装置、系统、介质及终端,突破了现有视频数据的打包传递方式,对编码单元重组后打包,改变了视频编码单元的装包顺序,减少了视频编码单元的跨数据包依赖性,从而降低网络传输中数据包损坏和丢失对视频质量的损害;在相同的丢包率的情况下,解码端还原的视频画面平均峰值信噪比(Peak Signal-to-Noise Ratio,PSNR)的数值更高,视频画面中的缺损区域面积更小,且缺损区域由大面积条带状缺损转化为零散小块缺损;并且,本发明将所接收的视频数据包中的编码单元还原为标准顺序后再向视频解码器输出,无需对视频解码器进行任何修改,可以直接利用现有的视频解码软件进行解码,从而改进现有的视频编码和传输系统,具有较大的便利性和广泛的适用性。因此,本发明有效克服了现有技术中的种种缺点而具有高度产业利用价值。
上述实施例仅例示性说明本发明的原理及其功效,而非用于限制本发明。任何熟悉此技术的人士皆可在不违背本发明的精神及范畴下,对上述实施例进行修饰或改变。因此,举凡所属技术领域中具有通常知识者在未脱离本发明所揭示的精神与技术思想下所完成的一切等效修饰或改变,仍应由本发明的权利要求所涵盖。

Claims (8)

1.一种基于编码单元重组的视频解码方法,其特征在于,包括:
接收编码单元重组的视频数据包,并存储其中的编码单元;所述编码单元重组的方式包括:基于各编码单元的预测信息获取各编码单元的依赖关系信息;基于所述依赖关系信息为各编码单元分组;所述预测信息包括各编码单元的预测模式、编码单元内部各预测单元的预测模式、帧间预测的运动矢量信息;
按照标准顺序对所存储的编码单元重新排序;以图像组为单位对编码单元进行排序,包括:首先,判断当前接收的视频数据包中的编码单元是否属于当前图像组;若是,则继续接收视频数据包,直至接收的编码单元不属于当前图像组;若否,则表明当前图像组的所有视频数据包接收完毕,则将存储区域内所有编码单元重新排序后解码,并清空所述存储区域以准备存储下一个图像组的编码单元;其中,具有依赖关系的一系列连续的视频帧构成一个图像组,以使数据包损坏或丢失的情况下仅有一个图像组受到影响;
将重新排序后的编码单元解码以获得原始视频数据。
2.根据权利要求1所述的视频解码方法,其特征在于,所述依赖关系信息包括依赖关系图;
基于所述依赖关系图对所述编码单元重组,其包括:
以独立的编码单元为起点,对所述依赖关系图进行深度优先遍历;
基于所述深度优先遍历的顺序,将遍历时相邻访问的编码单元划分为同组。
3.根据权利要求1所述的视频解码方法,其特征在于,所述方法以图像组为单位对所述编码单元进行排序和解码,其包括:
判断当前接收的视频数据包中的编码单元是否属于当前图像组;
若是,则继续接收视频数据包;若否,则将存储区域内所有编码单元重新排序后解码,并清空所述存储区域。
4.根据权利要求1所述的视频解码方法,其特征在于,所述编码单元的存储方式包括:
遍历所接收视频数据包的所有编码单元,并按照遍历顺序将编码单元依次存储至存储区域的最末端;
按照所述遍历顺序依次存储所述编码单元的位置信息于带链表的哈希表。
5.一种基于编码单元重组的视频解码装置,其特征在于,包括:
数据接收存储模块,用于接收编码单元重组的视频数据包,并存储其中的编码单元;所述编码单元重组的方式包括:基于各编码单元的预测信息获取各编码单元的依赖关系信息;基于所述依赖关系信息为各编码单元分组;所述预测信息包括各编码单元的预测模式、编码单元内部各预测单元的预测模式、帧间预测的运动矢量信息;
编码单元排序模块,用于按照标准顺序对所存储的编码单元重新排序;以图像组为单位对编码单元进行排序,包括:首先,判断当前接收的视频数据包中的编码单元是否属于当前图像组;若是,则继续接收视频数据包,直至接收的编码单元不属于当前图像组;若否,则表明当前图像组的所有视频数据包接收完毕,则将存储区域内所有编码单元重新排序后解码,并清空所述存储区域以准备存储下一个图像组的编码单元;其中,具有依赖关系的一系列连续的视频帧构成一个图像组,以使数据包损坏或丢失的情况下仅有一个图像组受到影响;
解码模块,用于将重新排序后的编码单元解码以获得原始视频数据。
6.一种基于编码单元重组的视频编解码系统,其特征在于,包括:
视频编码装置;
权利要求5所述的视频解码装置,与所述视频编码装置通信连接。
7.一种计算机可读存储介质,其上存储有计算机程序,其特征在于,所述计算机程序被处理器执行时实现权利要求1至4中任一项所述基于编码单元重组的视频解码方法。
8.一种电子终端,其特征在于,包括:处理器及存储器;
所述存储器用于存储计算机程序,所述处理器用于执行所述存储器存储的计算机程序,以使所述终端执行如权利要求1至4中任一项所述基于编码单元重组的视频解码方法。
CN202011625117.0A 2020-12-30 2020-12-30 基于编码单元重组的视频解码方法、装置、系统、介质及终端 Active CN112788344B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011625117.0A CN112788344B (zh) 2020-12-30 2020-12-30 基于编码单元重组的视频解码方法、装置、系统、介质及终端

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011625117.0A CN112788344B (zh) 2020-12-30 2020-12-30 基于编码单元重组的视频解码方法、装置、系统、介质及终端

Publications (2)

Publication Number Publication Date
CN112788344A CN112788344A (zh) 2021-05-11
CN112788344B true CN112788344B (zh) 2023-03-21

Family

ID=75754464

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011625117.0A Active CN112788344B (zh) 2020-12-30 2020-12-30 基于编码单元重组的视频解码方法、装置、系统、介质及终端

Country Status (1)

Country Link
CN (1) CN112788344B (zh)

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO1999005602A1 (en) * 1997-07-28 1999-02-04 Zhigang Chen A robust, reliable compression and packetization scheme for transmitting video
US6680976B1 (en) * 1997-07-28 2004-01-20 The Board Of Trustees Of The University Of Illinois Robust, reliable compression and packetization scheme for transmitting video
CN102209241A (zh) * 2011-05-25 2011-10-05 杭州华三通信技术有限公司 一种基于多子图的视频编解码方法及其装置
CN105900436A (zh) * 2014-01-17 2016-08-24 索尼公司 通信设备、通信数据生成方法、以及通信数据处理方法
CN107852500A (zh) * 2015-08-24 2018-03-27 华为技术有限公司 运动矢量场编码方法和解码方法、编码和解码装置
CN110996099A (zh) * 2019-11-15 2020-04-10 网宿科技股份有限公司 一种视频编码方法、系统及设备

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102497216B1 (ko) * 2017-05-10 2023-02-07 삼성전자 주식회사 슬라이스 기반의 압축을 수행하는 영상 처리 장치 및 영상 처리 방법

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO1999005602A1 (en) * 1997-07-28 1999-02-04 Zhigang Chen A robust, reliable compression and packetization scheme for transmitting video
US6680976B1 (en) * 1997-07-28 2004-01-20 The Board Of Trustees Of The University Of Illinois Robust, reliable compression and packetization scheme for transmitting video
CN102209241A (zh) * 2011-05-25 2011-10-05 杭州华三通信技术有限公司 一种基于多子图的视频编解码方法及其装置
CN105900436A (zh) * 2014-01-17 2016-08-24 索尼公司 通信设备、通信数据生成方法、以及通信数据处理方法
CN107852500A (zh) * 2015-08-24 2018-03-27 华为技术有限公司 运动矢量场编码方法和解码方法、编码和解码装置
CN110996099A (zh) * 2019-11-15 2020-04-10 网宿科技股份有限公司 一种视频编码方法、系统及设备

Also Published As

Publication number Publication date
CN112788344A (zh) 2021-05-11

Similar Documents

Publication Publication Date Title
US11582459B2 (en) Method and system for picture segmentation using columns
US10506229B2 (en) Codeword space reduction for intra chroma mode signaling for HEVC
EP3869807A1 (en) Image encoding and decoding method and device
CN109819250B (zh) 一种多核全组合方式的变换方法和系统
US20200120362A1 (en) Multiple transcode engine systems and methods
CN112822549B (zh) 基于分片重组的视频流解码方法、系统、终端及介质
CN112822516B (zh) 基于数据块重组的图像组传输方法、装置、设备和系统
CN112822488B (zh) 基于块重组的视频编解码系统、方法、装置、终端及介质
CN110324668B (zh) 图像块编码中的变换方法、解码中的反变换方法及装置
CN112788344B (zh) 基于编码单元重组的视频解码方法、装置、系统、介质及终端
CN112822492B (zh) 抗误码视频编码重组方法、装置、设备、系统和介质
KR102577071B1 (ko) 가장 가능성 있는 인트라 모드를 예측하는 방법 및 장치
CN112788339B (zh) 视频编码优化方法、装置、系统、介质及终端
CN112822514B (zh) 基于依赖关系的视频流分组传输方法、系统、终端及介质
CN112804562B (zh) 基于片重组的视频编码方法、装置、终端及介质
CN111815502A (zh) 基于WebP压缩算法的多图处理的FPGA加速方法
CN114071158A (zh) 视频编解码中的运动信息列表构建方法、装置及设备
CN112788336B (zh) 数据元素的排序还原方法、系统、终端及标记方法
EP3824624A1 (en) Wide angle intra prediction and position dependent intra prediction combination
US11683509B1 (en) Prediction unit skip detection in encoder
US20230085006A1 (en) Intra Prediction
CN111770338B (zh) 编码单元的索引值确定方法、装置、设备及存储介质
US11669281B1 (en) Count circuit for symbol statistics
CN107667529A (zh) 用于有效地对数据进行嵌入式压缩的方法、装置和计算机可读记录介质
WO2016137369A1 (en) Encoding and decoding of pictures in a video

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant