CN109996068A - 一种视频运动信息编码方法及装置 - Google Patents
一种视频运动信息编码方法及装置 Download PDFInfo
- Publication number
- CN109996068A CN109996068A CN201910293685.6A CN201910293685A CN109996068A CN 109996068 A CN109996068 A CN 109996068A CN 201910293685 A CN201910293685 A CN 201910293685A CN 109996068 A CN109996068 A CN 109996068A
- Authority
- CN
- China
- Prior art keywords
- motion information
- syntactic element
- unit
- current prediction
- encoded
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 230000033001 locomotion Effects 0.000 title claims abstract description 307
- 238000000034 method Methods 0.000 title claims abstract description 57
- 238000013527 convolutional neural network Methods 0.000 claims description 32
- 238000013481 data capture Methods 0.000 claims description 20
- 238000012545 processing Methods 0.000 claims description 14
- 238000012549 training Methods 0.000 claims description 7
- 108091026890 Coding region Proteins 0.000 claims description 6
- 229910002056 binary alloy Inorganic materials 0.000 claims description 6
- 239000004744 fabric Substances 0.000 claims description 4
- 230000008569 process Effects 0.000 description 11
- 238000010586 diagram Methods 0.000 description 6
- 230000006870 function Effects 0.000 description 6
- 230000001413 cellular effect Effects 0.000 description 4
- 230000009471 action Effects 0.000 description 3
- 238000010168 coupling process Methods 0.000 description 3
- 238000005859 coupling reaction Methods 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 238000013507 mapping Methods 0.000 description 3
- 238000013139 quantization Methods 0.000 description 3
- 238000000926 separation method Methods 0.000 description 3
- 238000013528 artificial neural network Methods 0.000 description 2
- 238000004891 communication Methods 0.000 description 2
- 230000006835 compression Effects 0.000 description 2
- 238000007906 compression Methods 0.000 description 2
- 230000008878 coupling Effects 0.000 description 2
- 238000013461 design Methods 0.000 description 2
- 241000208340 Araliaceae Species 0.000 description 1
- 235000005035 Panax pseudoginseng ssp. pseudoginseng Nutrition 0.000 description 1
- 235000003140 Panax quinquefolius Nutrition 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 235000008434 ginseng Nutrition 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000005192 partition Methods 0.000 description 1
- 238000002360 preparation method Methods 0.000 description 1
- 230000000750 progressive effect Effects 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 230000007704 transition Effects 0.000 description 1
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
- H04N19/103—Selection of coding mode or of prediction mode
- H04N19/107—Selection of coding mode or of prediction mode between spatial and temporal predictive coding, e.g. picture refresh
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
- H04N19/132—Sampling, masking or truncation of coding units, e.g. adaptive resampling, frame skipping, frame interpolation or high-frequency transform coefficient masking
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
Abstract
本申请提出一种视频运动信息编码方法及装置,该方法包括:获取当前预测单元周围的已编码预测单元的运动信息语法元素;其中,所述周围的已编码预测单元包括与所述当前预测单元时域和空域相邻的已编码预测单元;根据所述已编码预测单元的运动信息语法元素,确定所述当前预测单元的运动信息语法元素的概率分布;根据所述当前预测单元的运动信息语法元素的概率分布,对所述当前预测单元的运动信息语法元素进行编码处理。上述技术方案能够实现基于视频语法元素的运动信息编码,能够适用于解析与重构分离的硬件架构。
Description
技术领域
本申请涉及视频编码技术领域,更具体地说,尤其涉及一种视频运动信息编码方法及装置。
背景技术
视频压缩编码是视频存储与传输中的重要处理过程。已经制定的视频编码标准都属于混合视频编码框架,该标准中的熵编码以无损压缩的形式将语法元素编成二进制码流,是混合视频编码框架中的核心技术。
现存的基于神经网络的语法元素编码技术通常以视频语法元素重建得到的视频图像为基础进行编码处理,但是在实际中,对视频码流解析得到视频语法元素,以及由视频语法元素重建得到视频图像这两种处理过程在硬件上是分离执行的,而上述的语法元素编码技术无法实现视频码流解析与语法元素重构这两个过程的分离,不利于硬件实现。因此,用户需要基于视频语法元素的运动信息编码方法,来适应解析与重构处理过程分离的硬件架构。
发明内容
基于上述需求,本申请提出一种视频运动信息编码方法及装置,能够实现基于运动信息语法元素的运动信息编码,适用于解析与重构分离的硬件框架实现。
一种视频运动信息编码方法,包括:
获取当前预测单元周围的已编码预测单元的运动信息语法元素;其中,所述周围的已编码预测单元包括与所述当前预测单元时域和空域相邻的已编码预测单元;
根据所述已编码预测单元的运动信息语法元素,确定所述当前预测单元的运动信息语法元素的概率分布;
根据所述当前预测单元的运动信息语法元素的概率分布,对所述当前预测单元的运动信息语法元素进行编码处理。
可选的,所述获取当前预测单元周围的已编码预测单元的运动信息语法元素,包括:
获取当前预测单元所在的视频帧中,包含所述当前预测单元的设定大小的图像区域的已编码运动信息语法元素;
以及,获取与所述当前预测单元时域相邻的预测单元中的已编码运动信息语法元素;
其中,所述运动信息语法元素包括参考索引reference index、运动向量motionvector、与所述当前预测单元中的待编码运动信息语法元素对应的运动信息语法元素的值、以及所述当前预测单元所在视频帧的编码区域分布信息。
可选的,所述获取当前预测单元所在的视频帧中,包含所述当前预测单元的设定大小的图像区域的已编码运动信息语法元素,包括:
获取以当前预测单元右下角像素为起点,向左、向上分别延伸第一数量的基本单元,以及向右、向下分别延伸第二数量的基本单元所构成的图像区域的已编码运动信息语法元素;其中,所述基本单元由设定大小的像素阵列构成。
可选的,所述获取与所述当前预测单元时域相邻的预测单元中的已编码运动信息语法元素,包括:
分别从与所述当前预测单元相邻的各个预测单元内,查找参考索引referenceindex和运动向量motion vector;
当查找到参考索引reference index和运动向量motion vector时,则停止查找操作,并获取该参考索引reference index和运动向量motion vector对应的时域预测单元区域内的运动信息语法元素。
可选的,所述方法还包括:
将未获取到的已编码预测单元的运动信息语法元素的值设置为预设值。
可选的,所述根据所述已编码预测单元的运动信息语法元素,确定所述当前预测单元的运动信息语法元素的概率分布,包括:
将所述已编码预测单元的运动信息语法元素输入预设的卷积神经网络,得到所述当前预测单元的运动信息语法元素的概率分布;
其中,所述卷积神经网络至少通过根据已编码预测单元的运动信息语法元素计算当前预测单元的运动信息语法元素的概率分布训练得到,并且,所述卷积神经网络的输入通道数量与所述已编码预测单元的运动信息语法元素数量相同。
可选的,所述根据所述当前预测单元的运动信息语法元素的概率分布,对所述当前预测单元的运动信息语法元素进行编码处理,包括:
分别将所述当前预测单元的运动信息语法元素,以及该运动信息语法元素的概率分布,输入二进制或多进制算数编码器,得到该运动信息语法元素的编码结果。
一种视频运动信息编码装置,包括:
数据获取单元,用于获取当前预测单元周围的已编码预测单元的运动信息语法元素;其中,所述周围的已编码预测单元包括与所述当前预测单元时域和空域相邻的已编码预测单元;
数据处理单元,用于根据所述已编码预测单元的运动信息语法元素,确定所述当前预测单元的运动信息语法元素的概率分布;
编码处理单元,用于根据所述当前预测单元的运动信息语法元素的概率分布,对所述当前预测单元的运动信息语法元素进行编码处理。
可选的,所述数据获取单元包括:
第一数据获取单元,用于获取当前预测单元所在的视频帧中,包含所述当前预测单元的设定大小的图像区域的已编码运动信息语法元素;
第二数据获取单元,用于获取与所述当前预测单元时域相邻的预测单元中的已编码运动信息语法元素;
其中,所述运动信息语法元素包括参考索引reference index、运动向量motionvector、与所述当前预测单元中的待编码运动信息语法元素对应的运动信息语法元素的值、以及所述当前预测单元所在视频帧的编码区域分布信息。
可选的,所述第一数据获取单元获取当前预测单元所在的视频帧中,包含所述当前预测单元的设定大小的图像区域的已编码运动信息语法元素时,具体用于:
获取以当前预测单元右下角像素为起点,向左、向上分别延伸第一数量的基本单元,以及向右、向下分别延伸第二数量的基本单元所构成的图像区域的已编码运动信息语法元素;其中,所述基本单元由设定大小的像素阵列构成。
可选的,所述第二数据获取单元获取与所述当前预测单元时域相邻的预测单元中的已编码运动信息语法元素时,具体用于:
分别从与所述当前预测单元相邻的各个预测单元内,查找参考索引referenceindex和运动向量motion vector;
当查找到参考索引reference index和运动向量motion vector时,则停止查找操作,并获取该参考索引reference index和运动向量motion vector对应的时域预测单元区域内的运动信息语法元素。
可选的,在本申请的另一个实施例中还公开了,所述第一数据获取单元和所述第二数据获取单元还用于:
将未获取到的已编码预测单元的运动信息语法元素的值设置为预设值。
可选的,在本申请的另一个实施例中还公开了,所述数据处理单元110根据所述已编码预测单元的运动信息语法元素,确定所述当前预测单元的运动信息语法元素的概率分布时,具体用于:
将所述已编码预测单元的运动信息语法元素输入预设的卷积神经网络,得到所述当前预测单元的运动信息语法元素的概率分布;
其中,所述卷积神经网络至少通过根据已编码预测单元的运动信息语法元素计算当前预测单元的运动信息语法元素的概率分布训练得到,并且,所述卷积神经网络的输入通道数量与所述已编码预测单元的运动信息语法元素数量相同。
可选的,在本申请的另一个实施例中开公开了,所述编码处理单元120根据所述当前预测单元的运动信息语法元素的概率分布,对所述当前预测单元的运动信息语法元素进行编码处理时,具体用于:
分别将所述当前预测单元的运动信息语法元素,以及该运动信息语法元素的概率分布,输入二进制或多进制算数编码器,得到该运动信息语法元素的编码结果。
本申请技术方案在对当前预测单元的运动信息进行编码时,先获取当前预测单元周围的已编码预测单元的运动信息语法元素;然后根据所述已编码预测单元的运动信息语法元素,确定所述当前预测单元的运动信息语法元素的概率分布;最后根据所述当前预测单元的运动信息语法元素的概率分布,对所述当前预测单元的运动信息语法元素进行编码处理。可见,上述处理过程是根据已编码预测单元的运动信息语法元素为依据,对当前预测单元的运动信息语法元素进行编码处理,该方案是基于视频语法元素的运动信息编码方法,能够适用解析与重构分离的硬件架构。
附图说明
为了更清楚地说明本申请实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本申请的实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据提供的附图获得其他的附图。
图1是本申请实施例提供的一种视频运动信息编码方法的流程示意图;
图2是本申请实施例提供的编码单元划分示意图;
图3是本申请实施例提供的已编码运动信息语法元素选取示意图;
图4是本申请实施例提供的卷积神经网络结构示意图;
图5是本申请实施例提供的适用于不同量化参数和不同语法元素的卷积神经网络示意图;
图6是本申请实施例提供的一种视频运动信息编码装置的结构示意图。
具体实施方式
下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本申请一部分实施例,而不是全部的实施例。基于本申请中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本申请保护的范围。
本申请实施例公开了一种视频运动信息编码方法,参见图1所示,该方法包括:
S101、获取当前预测单元周围的已编码预测单元的运动信息语法元素;其中,所述周围的已编码预测单元包括与所述当前预测单元时域和空域相邻的已编码预测单元;
具体的,当编码当前预测单元(PredictionUnit,PU)的运动信息时,与当前预测单元时域相邻和空域相邻的已编码预测单元的运动信息语法元素已知。本申请实施例设定,这些已编码预测单元的运动信息语法元素作为对当前预测单元的运动信息进行编码的依据,示例性的,当编码当前预测单元的每个运动信息语法元素时,以相邻空域和相邻时域预测单元的已编码运动信息在解析过程中转化的参考索引reference index和运动向量motion vector两个语法元素作为编码依据。
除此之外,当对当前预测单元的某个运动信息语法元素进行编码时,将该当前预测单元相邻空域和相邻时域预测单元的,已编码的该运动信息语法元素的编码值也作为编码依据。例如,在对当前预测单元的语法元素merge flag,merge index,motion vectordifference,motion vector prediction index进行编码时,将当前预测单元相邻空域和相邻时域预测单元的,已编码的merge flag,merge index,motion vector difference,motion vector prediction index的编码值也作为编码依据。
因此,在对当前预测单元的运动信息进行编码时,首先获取当前预测单元周围的已编码预测单元的运行信息语法元素。
示例性的,本申请实施例在获取当前预测单元周围的已编码预测单元的运动信息语法元素时,分为从空域和时域分别获取。
当从空域获取当前预测单元周围的已编码预测单元的运动信息语法元素时,具体为获取当前预测单元所在的视频帧中,包含所述当前预测单元的设定大小的图像区域的已编码运动信息语法元素。
在最新的国际视频编码标准(High Efficiency Video Coding,HEVC)中,参见图2所示,编码单元(CodingUnit,CU)的大小变化范围是64×64~8×8,编码单元(CU)划分为预测单元(PU)的方式包括N×N,N/2×N,N×N/2,N/2×N/2,N/4×N(L),N/4×N(R),N×N/4(U)和N×N/4(D)共8种方式。
作为一种可选的实现方式,本申请实施例设定,当获取当前预测单元所在的视频帧中,包含所述当前预测单元的设定大小的图像区域的已编码运动信息语法元素时,具体为:
获取以当前预测单元右下角像素为起点,向左、向上分别延伸第一数量的基本单元,以及向右、向下分别延伸第二数量的基本单元所构成的图像区域的已编码运动信息语法元素;其中,所述基本单元由设定大小的像素阵列构成。
具体的,对于当前预测单元,获取其当前帧中的,也就是其所在的视频帧中的已编码运动信息时,获取以当前预测单元右下角像素为起点,向左、向上分别延伸第一数量的基本单元,以及向右、向下分别延伸第二数量的基本单元所构成的图像区域的已编码运动信息语法元素。
参见图3所示,本申请实施例在获取当前帧中的已编码运动信息语法元素时,以当前预测单元右下角为起点,向左、向上延伸20个基本单元,向右、向下延伸2个基本单元,共计22×22的图像区域的已编码运动信息语法元素。其中,一个基本单元涵盖4×4的像素阵列范围。
按照上述方式,分别从上述图像区域内获取参考索引reference index,运动向量motion vector水平分量,运动向量motion vector竖直分量,与当前待编码运动信息语法元素相同的已编码运动信息语法元素的值,以及模板信息,该模板信息用于表示当前预测单元所在的空域的已编码、待编码、未编码区域分布情况。
另一方面,当从时域获取当前预测单元周围的已编码预测单元的运动信息语法元素时,具体为获取与所述当前预测单元时域相邻的预测单元中的已编码运动信息语法元素。
作为一种可选的实现方式,在获取与所述当前预测单元时域相邻的预测单元中的已编码运动信息语法元素时,其具体处理过程可以包括:
分别从与所述当前预测单元相邻的各个预测单元内,查找参考索引referenceindex和运动向量motion vector;
当查找到参考索引reference index和运动向量motion vector时,则停止查找操作,并获取该参考索引reference index和运动向量motion vector对应的时域预测单元区域内的运动信息语法元素。
示例性的,依次检测当前预测单元左、上、右上、左下、左上预测单元,从中查找reference index和motion vector,如果某个位置内包含已编码的运动信息时,则停止查找操作。此时,以得到的reference index和motion vector确定当前预测单元对应的时域相邻预测单元区域,该预测单元区域即为当前预测单元的参考帧,然后,以该预测单元区域内的运动信息语法元素作为获取到的与所述当前预测单元时域相邻的预测单元周围的已编码运动信息语法元素。
按照上述方式,分别从上述参考帧内获取参考索引reference index,运动向量motion vector水平分量,运动向量motion vector竖直分量,与当前待编码运动信息语法元素相同的已编码运动信息语法元素的值。
可以理解,本申请实施例所获取的上述运动信息语法元素包括参考索引reference index、运动向量motion vector、与所述当前预测单元中的待编码运动信息语法元素对应的运动信息语法元素的值、以及所述当前预测单元所在视频帧的编码区域分布信息。
其中,与当前预测单元时域和空域相邻的预测单元的运动信息语法元素都包含reference index,motion vector水平分量,motion vector竖直分量,当前待编码语法元素的值。另外,与当前预测单元空域相邻的预测单元的运动信息还包括模板信息,用于表示当前预测单元所在空域的已编码、待编码、未编码区域分布情况。
进一步的,对于上述的各个已编码运动信息语法元素,如果按照上述实施例处理过程未获取到其编码值,则将未获取到的已编码预测单元的运动信息语法元素的值设置为预设值。
具体的,上述预设值,可以为预先设置的默认值。其中,reference index的默认值为-1,motion vector的水平分量和竖直分量的默认值为0,merge flag的默认值为-1,motion vector difference的默认值为0,motion vector prediction index的默认值为-1。模板中已编码区域赋值为2,当前预测单元所在区域(待编码区域)赋值为1,未编码区域赋值为0。
综上,按照上述实施例介绍获取到当前预测单元周围的已编码预测单元的运动信息语法元素后,以获取到的运动信息语法元素为依据,对当前预测单元的运动信息语法元素进行后续的编码处理。
S102、根据所述已编码预测单元的运动信息语法元素,确定所述当前预测单元的运动信息语法元素的概率分布;
具体的,上述已编码预测单元的运动信息语法元素,与当前预测单元的运动信息语法元素的概率分布之间存在映射关系,根据该映射关系,可以根据已编码预测单元的运动信息语法元素,确定当前预测单元的运动信息语法元素的概率分布。
作为一种可选的实现方式,本申请实施例预先训练卷积神经网络,用于根据已编码预测单元的运动信息语法元素,确定当前预测单元的运动信息语法元素的概率分布。
其中,上述的卷积神经网络至少通过根据已编码预测单元的运动该信息语法元素计算当前预测单元的运动信息语法元素的概率分布训练得到。
上述预先训练的卷积神经网络用于建立输入与当前预测单元语法元素的概率分布之间的联系。参见图4所示,本申请实施例设计的卷积神经网络基于DenseNet的网络结构,包含两种基本的网络结构。DenseNet为计算机视觉中用于进行图像分类的非常高效的网络结构。整个DenseNet划分为几个denseblocks,在每个dense block内,基本层由卷积层接ReLU层接BN层构成。在dense block与dense block之间,过渡层完成对feature maps的下采样。softmax层接在最后一个dense block后,用于预测每个candidate的概率分布。
对于在不同量化参数(QP)下的不同语法元素,本申请实施例尝试了三种不同的网络结构:图4所示结构1中每个Dense Block包含12层时,该网络作为第一种卷积神经网络;图4所示结构1中每个Dense Block包含6层时,该网络作为第二种卷积神经网络2;图4所示结构2中每个Dense Block包含6层时,该网络作为第三种卷积神经网络3。
对于不同的运动信息语法元素,softmax层的长度不同。具体的,merge flag为2,merge index为5,reference index为4,motion vector prediction index为2,motionvector difference的softmax层长度为motion vector difference的最大值减最小值加1。通过比较三种神经网络在验证集上的损失函数大小,最终确定的针对不同量化参数、不同语法元素的卷积神经网络如图5所示。
另外需要说明的是,如图4所示,本申请实施例所应用的上述卷积神经网络的输入通道的数量与已编码预测单元的运动信息语法元素数量相同。由于本申请实施例技术方案从当前预测单元空域和时域相邻的预测单元中获取9种已编码运动信息语法元素,因此将这9种已编码运动信息语法元素作为卷积神经网络的输入,由卷积神经网络根据这9种已编码运动信息语法元素,计算得到当前预测单元的运动信息语法元素的概率分布。
可以理解,由于本申请实施例技术方案设定上述卷积神经网络的输入通道的数量与已编码预测单元的运动信息语法元素数量相同,因此,对于不同大小的预测块,均可以通过执行本申请实施例技术方案获取对应的一定数量的已编码预测单元运动信息语法元素,然后将获取的各个运动信息语法元素分别输入预设的卷积神经网络的各个通道,即可得到当前预测单元的运动信息语法元素的概率分布。
根据本申请实施例技术方案,对所有的预测单元,不论其大小如何变化,均可以通过本申请实施例图4所示的卷积神经网络获取其运动信息语法元素的概率分布。也就是说,本申请实施例技术方案具有更广泛的适用性,可以用于针对各种尺寸的预测单元的运动信息编码处理。
S103、根据所述当前预测单元的运动信息语法元素的概率分布,对所述当前预测单元的运动信息语法元素进行编码处理。
具体的,由于本申请实施例中的卷积神经网络可以自适应建立周围已编码预测单元运动信息输入与当前预测单元运动信息的语法元素的概率分布的映射关系。因此本申请实施例不再对运动信息预先进行二值化操作,而是在得到运动信息的概率分布后,针对不同语法元素,选择性采用二进制或多进制算术编码器。
示例性的,本申请实施例分别将所述当前预测单元的运动信息语法元素,以及该运动信息语法元素的概率分布,输入二进制或多进制算数编码器,得到该运动信息语法元素的编码结果。
对于merge flag,merge index,reference index和motion vector predictionindex,分别采用2、5、4、2进制算术编码器。对于motion vector difference,将该语法元素转化为二进制码流并计算相应的二进制条件概率分布,最终采用二进制算术编码器。具体的转化方式为,motion vector difference转化为是否为0,不为0的话是否大于0,不为0的话是否大于1,大于1的话是否大于2,……,直到判断该语法元素值是否大于它本身。
通过上述介绍可见,本申请实施例在对当前预测单元的运动信息进行编码时,先获取当前预测单元周围的已编码预测单元的运动信息语法元素;然后根据所述已编码预测单元的运动信息语法元素,确定所述当前预测单元的运动信息语法元素的概率分布;最后根据所述当前预测单元的运动信息语法元素的概率分布,对所述当前预测单元的运动信息语法元素进行编码处理。可见,上述处理过程是根据已编码预测单元的运动信息语法元素为依据,对当前预测单元的运动信息语法元素进行编码处理,该方案是基于视频语法元素的运动信息编码方法,能够适用解析与重构分离的硬件架构。
与上述的视频运动信息编码方法相对应的,本申请另一实施例还公开了一种视频运动信息编码装置,参见图6所示,该装置包括:
数据获取单元100,用于获取当前预测单元周围的已编码预测单元的运动信息语法元素;其中,所述周围的已编码预测单元包括与所述当前预测单元时域和空域相邻的已编码预测单元;
数据处理单元110,用于根据所述已编码预测单元的运动信息语法元素,确定所述当前预测单元的运动信息语法元素的概率分布;
编码处理单元120,用于根据所述当前预测单元的运动信息语法元素的概率分布,对所述当前预测单元的运动信息语法元素进行编码处理。
可选的,在本申请的另一个实施例中还公开了,所述数据获取单元100包括:
第一数据获取单元,用于获取当前预测单元所在的视频帧中,包含所述当前预测单元的设定大小的图像区域的已编码运动信息语法元素;
第二数据获取单元,用于获取与所述当前预测单元时域相邻的预测单元中的已编码运动信息语法元素;
其中,所述运动信息语法元素包括参考索引reference index、运动向量motionvector、与所述当前预测单元中的待编码运动信息语法元素对应的运动信息语法元素的值、以及所述当前预测单元所在视频帧的编码区域分布信息。
其中,所述第一数据获取单元获取当前预测单元所在的视频帧中,包含所述当前预测单元的设定大小的图像区域的已编码运动信息语法元素时,具体用于:
获取以当前预测单元右下角像素为起点,向左、向上分别延伸第一数量的基本单元,以及向右、向下分别延伸第二数量的基本单元所构成的图像区域的已编码运动信息语法元素;其中,所述基本单元由设定大小的像素阵列构成。
所述第二数据获取单元获取与所述当前预测单元时域相邻的预测单元中的已编码运动信息语法元素时,具体用于:
分别从与所述当前预测单元相邻的各个预测单元内,查找参考索引referenceindex和运动向量motion vector;
当查找到参考索引reference index和运动向量motion vector时,则停止查找操作,并获取该参考索引reference index和运动向量motion vector对应的时域预测单元区域内的运动信息语法元素。
可选的,在本申请的另一个实施例中还公开了,所述第一数据获取单元和所述第二数据获取单元还用于:
将未获取到的已编码预测单元的运动信息语法元素的值设置为预设值。
可选的,在本申请的另一个实施例中还公开了,所述数据处理单元110根据所述已编码预测单元的运动信息语法元素,确定所述当前预测单元的运动信息语法元素的概率分布时,具体用于:
将所述已编码预测单元的运动信息语法元素输入预设的卷积神经网络,得到所述当前预测单元的运动信息语法元素的概率分布;
其中,所述卷积神经网络至少通过根据已编码预测单元的运动信息语法元素计算当前预测单元的运动信息语法元素的概率分布训练得到,并且,所述卷积神经网络的输入通道数量与所述已编码预测单元的运动信息语法元素数量相同。
可选的,在本申请的另一个实施例中开公开了,所述编码处理单元120根据所述当前预测单元的运动信息语法元素的概率分布,对所述当前预测单元的运动信息语法元素进行编码处理时,具体用于:
分别将所述当前预测单元的运动信息语法元素,以及该运动信息语法元素的概率分布,输入二进制或多进制算数编码器,得到该运动信息语法元素的编码结果。
具体的,上述视频运动信息编码装置的各个实施例中的各个单元的具体工作内容,请参见上述方法实施例的内容,此处不再赘述。
对于前述的各方法实施例,为了简单描述,故将其都表述为一系列的动作组合,但是本领域技术人员应该知悉,本申请并不受所描述的动作顺序的限制,因为依据本申请,某些步骤可以采用其他顺序或者同时进行。其次,本领域技术人员也应该知悉,说明书中所描述的实施例均属于优选实施例,所涉及的动作和模块并不一定是本申请所必须的。
需要说明的是,本说明书中的各个实施例均采用递进的方式描述,每个实施例重点说明的都是与其他实施例的不同之处,各个实施例之间相同相似的部分互相参见即可。对于装置类实施例而言,由于其与方法实施例基本相似,所以描述的比较简单,相关之处参见方法实施例的部分说明即可。
本申请各实施例方法中的步骤可以根据实际需要进行顺序调整、合并和删减。
本申请各实施例种装置及终端中的模块和子模块可以根据实际需要进行合并、划分和删减。
本申请所提供的几个实施例中,应该理解到,所揭露的终端,装置和方法,可以通过其它的方式实现。例如,以上所描述的终端实施例仅仅是示意性的,例如,模块或子模块的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,例如多个子模块或模块可以结合或者可以集成到另一个模块,或一些特征可以忽略,或不执行。另一点,所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口,装置或模块的间接耦合或通信连接,可以是电性,机械或其它的形式。
作为分离部件说明的模块或子模块可以是或者也可以不是物理上分开的,作为模块或子模块的部件可以是或者也可以不是物理模块或子模块,即可以位于一个地方,或者也可以分布到多个网络模块或子模块上。可以根据实际的需要选择其中的部分或者全部模块或子模块来实现本实施例方案的目的。
另外,在本申请各个实施例中的各功能模块或子模块可以集成在一个处理模块中,也可以是各个模块或子模块单独物理存在,也可以两个或两个以上模块或子模块集成在一个模块中。上述集成的模块或子模块既可以采用硬件的形式实现,也可以采用软件功能模块或子模块的形式实现。
专业人员还可以进一步意识到,结合本文中所公开的实施例描述的各示例的单元及算法步骤,能够以电子硬件、计算机软件或者二者的结合来实现,为了清楚地说明硬件和软件的可互换性,在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行,取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能,但是这种实现不应认为超出本申请的范围。
结合本文中所公开的实施例描述的方法或算法的步骤可以直接用硬件、处理器执行的软件单元,或者二者的结合来实施。软件单元可以置于随机存储器(RAM)、内存、只读存储器(ROM)、电可编程ROM、电可擦除可编程ROM、寄存器、硬盘、可移动磁盘、CD-ROM、或技术领域内所公知的任意其它形式的存储介质中。
最后,还需要说明的是,在本文中,诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来,而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
对所公开的实施例的上述说明,使本领域专业技术人员能够实现或使用本申请。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的,本文中所定义的一般原理可以在不脱离本申请的精神或范围的情况下,在其它实施例中实现。因此,本申请将不会被限制于本文所示的这些实施例,而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。
Claims (10)
1.一种视频运动信息编码方法,其特征在于,包括:
获取当前预测单元周围的已编码预测单元的运动信息语法元素;其中,所述周围的已编码预测单元包括与所述当前预测单元时域和空域相邻的已编码预测单元;
根据所述已编码预测单元的运动信息语法元素,确定所述当前预测单元的运动信息语法元素的概率分布;
根据所述当前预测单元的运动信息语法元素的概率分布,对所述当前预测单元的运动信息语法元素进行编码处理。
2.根据权利要求1所述的方法,其特征在于,所述获取当前预测单元周围的已编码预测单元的运动信息语法元素,包括:
获取当前预测单元所在的视频帧中,包含所述当前预测单元的设定大小的图像区域的已编码运动信息语法元素;
以及,获取与所述当前预测单元时域相邻的预测单元中的已编码运动信息语法元素;
其中,所述运动信息语法元素包括参考索引reference index、运动向量motionvector、与所述当前预测单元中的待编码运动信息语法元素对应的运动信息语法元素的值、以及所述当前预测单元所在视频帧的编码区域分布信息。
3.根据权利要求2所述的方法,其特征在于,所述获取当前预测单元所在的视频帧中,包含所述当前预测单元的设定大小的图像区域的已编码运动信息语法元素,包括:
获取以当前预测单元右下角像素为起点,向左、向上分别延伸第一数量的基本单元,以及向右、向下分别延伸第二数量的基本单元所构成的图像区域的已编码运动信息语法元素;其中,所述基本单元由设定大小的像素阵列构成。
4.根据权利要求2所述的方法,其特征在于,所述获取与所述当前预测单元时域相邻的预测单元中的已编码运动信息语法元素,包括:
分别从与所述当前预测单元相邻的各个预测单元内,查找参考索引reference index和运动向量motion vector;
当查找到参考索引reference index和运动向量motion vector时,则停止查找操作,并获取该参考索引reference index和运动向量motion vector对应的时域预测单元区域内的运动信息语法元素。
5.根据权利要求2所述的方法,其特征在于,所述方法还包括:
将未获取到的已编码预测单元的运动信息语法元素的值设置为预设值。
6.根据权利要求1所述的方法,其特征在于,所述根据所述已编码预测单元的运动信息语法元素,确定所述当前预测单元的运动信息语法元素的概率分布,包括:
将所述已编码预测单元的运动信息语法元素输入预设的卷积神经网络,得到所述当前预测单元的运动信息语法元素的概率分布;
其中,所述卷积神经网络至少通过根据已编码预测单元的运动信息语法元素计算当前预测单元的运动信息语法元素的概率分布训练得到,并且,所述卷积神经网络的输入通道数量与所述已编码预测单元的运动信息语法元素数量相同。
7.根据权利要求1所述的方法,其特征在于,所述根据所述当前预测单元的运动信息语法元素的概率分布,对所述当前预测单元的运动信息语法元素进行编码处理,包括:
分别将所述当前预测单元的运动信息语法元素,以及该运动信息语法元素的概率分布,输入二进制或多进制算数编码器,得到该运动信息语法元素的编码结果。
8.一种视频运动信息编码装置,其特征在于,包括:
数据获取单元,用于获取当前预测单元周围的已编码预测单元的运动信息语法元素;其中,所述周围的已编码预测单元包括与所述当前预测单元时域和空域相邻的已编码预测单元;
数据处理单元,用于根据所述已编码预测单元的运动信息语法元素,确定所述当前预测单元的运动信息语法元素的概率分布;
编码处理单元,用于根据所述当前预测单元的运动信息语法元素的概率分布,对所述当前预测单元的运动信息语法元素进行编码处理。
9.根据权利要求8所述的装置,其特征在于,所述数据获取单元包括:
第一数据获取单元,用于获取当前预测单元所在的视频帧中,包含所述当前预测单元的设定大小的图像区域的已编码运动信息语法元素;
第二数据获取单元,用于获取与所述当前预测单元时域相邻的预测单元中的已编码运动信息语法元素;
其中,所述运动信息语法元素包括参考索引reference index、运动向量motionvector、与所述当前预测单元中的待编码运动信息语法元素对应的运动信息语法元素的值、以及所述当前预测单元所在视频帧的编码区域分布信息。
10.根据权利要求8所述的装置,其特征在于,所述数据处理单元根据所述已编码预测单元的运动信息语法元素,确定所述当前预测单元的运动信息语法元素的概率分布时,具体用于:
将所述已编码预测单元的运动信息语法元素输入预设的卷积神经网络,得到所述当前预测单元的运动信息语法元素的概率分布;
其中,所述卷积神经网络至少通过根据已编码预测单元的运动信息语法元素计算当前预测单元的运动信息语法元素的概率分布训练得到,并且,所述卷积神经网络的输入通道数量与所述已编码预测单元的运动信息语法元素数量相同。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910293685.6A CN109996068A (zh) | 2019-04-12 | 2019-04-12 | 一种视频运动信息编码方法及装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910293685.6A CN109996068A (zh) | 2019-04-12 | 2019-04-12 | 一种视频运动信息编码方法及装置 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN109996068A true CN109996068A (zh) | 2019-07-09 |
Family
ID=67133382
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201910293685.6A Pending CN109996068A (zh) | 2019-04-12 | 2019-04-12 | 一种视频运动信息编码方法及装置 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN109996068A (zh) |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20070110153A1 (en) * | 2005-11-14 | 2007-05-17 | Samsung Electronics Co., Ltd. | Method, medium, and apparatus encoding and/or decoding an image using the same coding mode across components |
CN102098519A (zh) * | 2009-12-09 | 2011-06-15 | 浙江大学 | 视频编码方法、解码方法、编码及解码装置 |
CN102769748A (zh) * | 2012-07-02 | 2012-11-07 | 华为技术有限公司 | 运动矢量预测方法、装置及系统 |
US20130114686A1 (en) * | 2011-11-08 | 2013-05-09 | Sharp Laboratories Of America, Inc. | Video decoder with enhanced cabac motion vector decoding |
CN107580224A (zh) * | 2017-08-08 | 2018-01-12 | 西安理工大学 | 一种面向hevc熵编码的自适应扫描方法 |
-
2019
- 2019-04-12 CN CN201910293685.6A patent/CN109996068A/zh active Pending
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20070110153A1 (en) * | 2005-11-14 | 2007-05-17 | Samsung Electronics Co., Ltd. | Method, medium, and apparatus encoding and/or decoding an image using the same coding mode across components |
CN102098519A (zh) * | 2009-12-09 | 2011-06-15 | 浙江大学 | 视频编码方法、解码方法、编码及解码装置 |
US20130114686A1 (en) * | 2011-11-08 | 2013-05-09 | Sharp Laboratories Of America, Inc. | Video decoder with enhanced cabac motion vector decoding |
CN102769748A (zh) * | 2012-07-02 | 2012-11-07 | 华为技术有限公司 | 运动矢量预测方法、装置及系统 |
CN107580224A (zh) * | 2017-08-08 | 2018-01-12 | 西安理工大学 | 一种面向hevc熵编码的自适应扫描方法 |
Non-Patent Citations (1)
Title |
---|
CHANGYUE MA等: "Convolutional Neural Network-Based Arithmetic Coding of DC Coefficients for HEVC Intra Coding", 《2018 25TH IEEE INTERNATIONAL CONFERENCE ON IMAGE PROCESSING (ICIP)》 * |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN103814396B (zh) | 编解码比特流的方法和装置 | |
CN105981388B (zh) | 调色板编码中句法冗余移除的方法和装置 | |
CN104205646B (zh) | 变换系数编码 | |
CN103220528B (zh) | 通过使用大型变换单元编码和解码图像的方法和设备 | |
CN103227917B (zh) | 解码方法和装置 | |
CN104754357B (zh) | 基于卷积神经网络的帧内编码优化方法及装置 | |
CN105357540A (zh) | 对视频进行解码的方法和设备 | |
US20040008778A1 (en) | Hierarchical segment-based motion vector encoding and decoding | |
CN103098469A (zh) | 用于对变换系数进行熵编码/熵解码的方法和设备 | |
CN103155563A (zh) | 通过使用块合并对视频进行编码的方法和设备以及通过使用块合并对视频进行解码的方法和设备 | |
CN102474614A (zh) | 基于分层编码块样式信息的视频编码方法和设备以及视频解码方法和设备 | |
CN102474609A (zh) | 对图像编码的方法和设备及对图像解码的方法和设备 | |
CN103067704B (zh) | 一种基于编码单元层次提前跳过的视频编码方法和系统 | |
CN115606188A (zh) | 一种点云编解码方法、编码器、解码器及存储介质 | |
CN111711815B (zh) | 基于集成学习和概率模型的快速vvc帧内预测方法 | |
CN110024397A (zh) | 用于编码视频的方法和装置 | |
CN105049849A (zh) | 图像解码装置 | |
CN115941960A (zh) | 基于轻量级神经网络的vvc帧间cu划分提前跳过方法 | |
CN110677644B (zh) | 一种视频编码、解码方法及视频编码帧内预测器 | |
CN104967855A (zh) | 一种适用于监控视频的编码方法 | |
CN112770120B (zh) | 基于深度神经网络的3d视频深度图帧内快速编码方法 | |
CN110381312A (zh) | 一种基于hevc的预测深度划分范围的方法和装置 | |
CN110191339A (zh) | 码率估计核心单元、码率估计装置及码率估计方法 | |
CN102316324B (zh) | 一种基于局部最小熵的图像编码预测方法 | |
CN109996068A (zh) | 一种视频运动信息编码方法及装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
RJ01 | Rejection of invention patent application after publication | ||
RJ01 | Rejection of invention patent application after publication |
Application publication date: 20190709 |