CN112995670A - 一种顺序执行的帧间帧内联合预测编解码的方法及装置 - Google Patents

一种顺序执行的帧间帧内联合预测编解码的方法及装置 Download PDF

Info

Publication number
CN112995670A
CN112995670A CN202110502985.8A CN202110502985A CN112995670A CN 112995670 A CN112995670 A CN 112995670A CN 202110502985 A CN202110502985 A CN 202110502985A CN 112995670 A CN112995670 A CN 112995670A
Authority
CN
China
Prior art keywords
prediction
frame
intra
motion vector
candidate
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202110502985.8A
Other languages
English (en)
Other versions
CN112995670B (zh
Inventor
滕波
洪一帆
向国庆
葛强
杨光芒
周东东
吴亮
王琪
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhejiang Smart Video Security Innovation Center Co Ltd
Original Assignee
Zhejiang Smart Video Security Innovation Center Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhejiang Smart Video Security Innovation Center Co Ltd filed Critical Zhejiang Smart Video Security Innovation Center Co Ltd
Priority to CN202110502985.8A priority Critical patent/CN112995670B/zh
Publication of CN112995670A publication Critical patent/CN112995670A/zh
Application granted granted Critical
Publication of CN112995670B publication Critical patent/CN112995670B/zh
Priority to PCT/CN2021/139065 priority patent/WO2022237168A1/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/157—Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
    • H04N19/159—Prediction type, e.g. intra-frame, inter-frame or bidirectional frame prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/179—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a scene or a shot
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/513—Processing of motion vectors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/513—Processing of motion vectors
    • H04N19/517—Processing of motion vectors by encoding
    • H04N19/52—Processing of motion vectors by encoding by predictive encoding

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

本发明涉及一种顺序执行的帧间帧内联合预测编解码的方法及装置，对一个编码单元或分块单元进行第一预测，获得至少一组候选预测参数包括运动矢量信息，或至少一组候选预测模式和对应的失真度信息；基于第一预测后形成的残差值进行第二预测，选择一个候选预测参数作为参考预测参数，根据运动矢量信息和当前预测单元的运动矢量确定运动矢量差值，根据运动矢量差值和当前预测单元的失真度信息确定预测差值，或选择一个候选预测模式作为参考候选预测模式，基于参考候选预测模式对应的失真度信息和当前预测单元的失真度信息确定预测残差值的失真度，根据预测残差值的失真度和当前预测单元的运动矢量确定预测差值；将预测差值进行编码和/或传输。

Description

一种顺序执行的帧间帧内联合预测编解码的方法及装置
技术领域
本发明涉及视频编码的技术领域，尤其涉及到一种顺序执行的帧间帧内联合预测编解码的方法及装置。
背景技术
在目前大部分视频编解码技术中均普遍采用了帧内预测和帧间预测技术。其中，帧间预测利用当前帧与其参考帧之间的相关性减小时域冗余，而帧内预测利用空间相邻像素点之间的相似性消除空域冗余。
然而在H266/VCC标准之前的所有视频编解码标准中，一个编码块（或宏块）只能选择帧内预测或帧间预测的其中一种。H266/VCC标准对此作了改进，引入了CIIP即帧内帧间联合技术，使得同一编码块（或宏块）不再只能选择帧内预测或帧间预测的其中一种。在CIIP技术中，首先计算当前预测块的帧内预测值，即用传统的帧内预测模式去预测当前块的像素值。然后利用帧间的预测方式去预测当前块的帧间预测值，最后将帧内和帧间的预测值进行加权求和，得到当前预测块的最终预测值。CIIP技术在亮度块的和色度块都要实现。
具体的加权公式如下：PCIIP=((4-wIntra)∗Pinter+wIntra∗Pintra+2)>>2；权值wIntra是由当前CU的上方和左侧相邻块的编码模式决定的，其中帧间预测值的权重大小的为4-wIntra。权重按这种方式确定：如果上方的相邻块可用，且使用的是帧内预测模式则isIntraTop=1，否则isIntraTop=0；如果左侧的相邻块可用，且使用的是帧内预测模式则isIntraLeft=1，否则isIntraLeft=0。
由此可以确定：
a、如果isIntraTop+isIntraLeft=2，则wIntra=3；
b、如果isIntraTop+isIntraLeft=1，则wIntra=2；
c、否则wIntra=1
对帧间预测和帧内预测加权求和的方式，如果帧内预测的权重较高，那么帧间预测的权重就较低，反之亦然，因此并没有最充分地同时减少时域相关性和空域相关性。
现有专利CN107995489A公开了一种用于P帧或B帧的帧内帧间组合预测方法，通过率失真优化RDO决策自适应地选择是否使用所述帧内帧间组合预测；帧内帧间组合预测使用帧内预测块和帧间预测块加权的方法得到最终预测块；帧内预测块和帧间预测块的加权系数根据预测方法的预测失真统计得到；由此能够增加预测精度，提升预测块的编码和解码效率。但是该发明本质上还是一种对帧间预测和帧内预测加权求和的方法。
发明内容
本发明的目的在于提供一种顺序执行的帧间帧内联合预测编解码的方法及装置，用于解决没有最充分地同时减少时域相关性和空域相关性的技术问题。
一种顺序执行的帧间帧内联合预测编码的方法，其特征在于，包括以下步骤：
对一个编码单元或分块单元进行第一预测，获得至少一组候选预测参数包括运动矢量信息，或至少一组候选预测模式和对应的失真度信息；
基于所述第一预测后形成的残差值进行第二预测，选择一个候选预测参数作为参考预测参数，基于所述参考预测参数的运动矢量信息和当前预测单元的运动矢量确定运动矢量差值，根据所述运动矢量差值和当前预测单元的失真度信息确定预测差值，或选择一个候选预测模式作为参考候选预测模式，基于所述参考候选预测模式对应的失真度信息和当前预测单元的失真度信息根据率失真函数确定预测残差值的失真度，根据所述预测残差值的失真度和当前预测单元的运动矢量确定预测差值；
将所述预测差值进行编码和/或传输。
上述的顺序执行的帧间帧内联合预测编码的方法，将所述参考预测参数的索引信息进行编码和/或传输。
上述的顺序执行的帧间帧内联合预测编码的方法，基于所述第一预测后形成的残差值进行第二预测包括：
以帧间预测形成的多个残差值块作为参考，对帧内预测模式进行遍历，计算预测值，计算当前块残差值相对于预测残差值的失真度及预测差值；
或基于帧内预测形成的多个残差值块确定多个匹配块并确定多个候选运动矢量，并根据所述候选运动矢量和帧间预测方法，求得当前帧的估计值。
上述的顺序执行的帧间帧内联合预测编码的方法，所述帧间预测中的运动补偿包括：
根据运动向量获得参考帧的值；
获得多组预测值，产生多组运动残差。
上述的顺序执行的帧间帧内联合预测编码的方法，失真度计算包括：SAD绝对误差和、SATD hadamard变换后再绝对值求和、SSD差值的平方和、MAD平均绝对差值、MSD平均平方误差。
上述的顺序执行的帧间帧内联合预测编码的方法，确定所述预测残差值的失真度包括确定帧间预测模式、帧间预测参考块及参考帧和帧内预测模式中的一组最优预测值，在保证比特率R不超过最大比特率Rmax的条件下，使失真度D达到最小。
一种顺序执行帧间帧内联合预测解码的方法，在解码端对每一个编码单元读取码流中的联合预测标记，根据标记进行解码，包括：
解码端接收指示信息，获得至少一组候选预测参数包括运动矢量信息，或获得至少一个候选预测模式和所述候选预测模式对应的失真度信息；
基于参考预测参数的索引信息从至少一个候选预测参数确定参考预测参数，根据预测差值和所述参考预测参数计算当前预测单元的运动矢量差值，根据运动矢量差值和所述参考预测参数计算当前预测单元的失真度信息；
或基于参考候选预测模式的索引信息从至少一个候选预测模式确定参考预测模式，根据预测差值和所述参考候选预测模式计算当前预测单元的失真度差值，根据失真度差值和所述参考候选预测模式计算当前预测单元的运动矢量信息。
上述的顺序执行帧间帧内联合预测解码的方法，所述根据预测差值和所述参考预测参数计算当前预测单元的运动矢量差值包括：
从视频码流中获得帧内预测残差数据和帧内预测参数；
确定参考像素值，得到帧内预测数据，加上预测残差值得到第一重构数据；
从视频码流中确定帧间预测残差值、运动矢量信息、参考帧信息；
经过帧间预测，确定帧间预测数据。
上述的顺序执行帧间帧内联合预测解码的方法，还包括：
从视频码流中确定第一重构图像数据和帧内预测数据；
将第一重构图像数据和帧内预测数据相加得到最终重构图像数据。
上述的顺序执行帧间帧内联合预测解码的方法，所述从视频码流中确定第一重构图像数据和帧内预测数据包括：
从视频码流中确定预测残差数据、运动矢量信息、参考帧信息，经过帧间预测，确定帧间预测像素值；
通过帧内预测编码之后形成第一重构图像数据；
从码流中获得帧内预测参数，确定参考像素值，得到帧内预测数据。
一种顺序执行帧间帧内联合预测编码的装置，包括：
候选预测模块，用于获得至少一个候选预测参数包括运动矢量信息，或至少一个候选预测模式和所述候选预测模式对应的失真度信息；
顺序预测编码模块，用于选择一个候选预测参数作为参考预测参数，基于所述运动矢量信息和当前预测单元的运动矢量确定运动矢量差值，根据所述运动矢量差值和当前预测单元的失真度信息确定预测差值，或选择一个候选预测模式作为参考候选预测模式，基于所述参考候选预测模式对应的失真度信息和当前预测单元的失真度信息根据率失真函数确定预测残差值的失真度，根据所述预测残差值的失真度和当前预测单元的运动矢量确定预测差值；将所述预测差值进行编码和/或传输。
上述的顺序执行帧间帧内联合预测编码的装置，所述顺序预测编码模块包括联合预测索引编码模块，用于将所述参考预测参数的索引信息进行编码和/或传输。
一种顺序执行帧间帧内联合预测解码的装置，包括：
候选构建模块，用于对编码压缩后的视频码流解码，得到至少一个候选预测参数包括运动矢量信息或至少一个候选预测模式和所述候选预测模式对应的失真度信息；
解码模块，用于基于参考预测参数的索引信息从至少一个候选预测参数确定参考预测参数，根据预测差值和所述参考预测参数计算当前预测单元的运动矢量差值，根据运动矢量差值和所述参考预测参数计算当前预测单元的失真度信息；或基于参考候选预测模式的索引信息从至少一个候选预测模式确定参考候选预测模式，根据预测差值和所述参考候选预测模式计算当前预测单元的失真度差值，根据失真度差值和所述参考候选预测模式计算当前预测单元的运动矢量信息。
一种电子设备，包括：
存储器以及一个或多个处理器；
其中，所述存储器与所述一个或多个处理器通信连接，所述存储器中存储有可被所述一个或多个处理器执行的指令，所述指令被所述一个或多个处理器执行时，所述电子设备用于实现以上任一项所述的方法。
一种计算机可读存储介质，其上存储有计算机可执行指令，当所述计算机可执行指令被计算装置执行时，可用来实现以上任一项所述的方法
上述技术方案具有如下优点或有益效果：
本发明中顺序执行帧间帧内联合预测编码依次进行帧间预测和帧内预测，然后联合选择最优帧间/帧内参考块，可以一定程度上去除帧内预测块和帧间预测块失真过大的区域，获得更好的预测效果，能够解决预测块失真问题，并能够增加预测精度，提升预测块的编码效率，实用性和鲁棒性俱佳。
附图说明
图1是本发明一种顺序执行的帧间帧内联合预测编码的方法的流程图；
图2是本发明一种顺序执行的帧间帧内联合预测解码的方法的流程图。
具体实施方式
为使本发明的上述目的、特征和优点能够更为明显易懂，下面结合附图对本发明的具体实施例做详细的说明。
在本发明的描述中，需要理解的是，术语“上”、“下”、“前”“后”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。
术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括至少一个该特征。
本发明不同于现有运动预测算法，但其在编解码处理链中位置是类似的，是一种并行算法，作为新一代视频编码的标准。
结合图1所示，一种顺序执行的帧间帧内联合预测编码的方法，包括以下步骤：
对一个编码单元或分块单元进行第一预测，获得至少一组候选预测参数包括运动矢量信息，或至少一组候选预测模式和对应的失真度信息；
基于所述第一预测后形成的残差值进行第二预测，选择一个候选预测参数作为参考预测参数，基于所述参考预测参数的运动矢量信息和当前预测单元的运动矢量确定运动矢量差值，根据所述运动矢量差值和当前预测单元的失真度信息确定预测差值，或选择一个候选预测模式作为参考候选预测模式，基于所述参考候选预测模式对应的失真度信息和当前预测单元的失真度信息根据率失真函数确定预测残差值的失真度，根据所述预测残差值的失真度和当前预测单元的运动矢量确定预测差值；
将所述预测差值进行编码和/或传输，将所述参考预测参数的索引信息进行编码和/或传输，可以沿用现有编解码过程中的变换、量化、熵编码过程。在一种实施例中，将一指示采取先后采取帧间预测和帧内预测的方案进行编码到视频码流中。
其中所述帧间预测包括：
通过运动估计算法，确定多个匹配块并确定多个候选运动矢量；
进行运动补偿，根据所述候选运动矢量和帧间预测方法，求得当前帧的估计值；
所述帧内预测包括：
以图像值作为参考，遍历一种帧内预测模式，计算预测值；
计算当前块图像据相对于预测图像值的失真度及预测差值。
进一步地，本发明一种顺序执行的帧间帧内联合预测编码的方法的较佳的实施例中，基于所述第一预测后形成的残差值进行第二预测包括：
以帧间预测形成的多个残差值块作为参考，遍历一种帧内预测模式，计算预测值，计算当前块残差值相对于预测残差值的失真度及预测差值；
或基于帧内预测形成的多个残差值块确定多个匹配块并确定多个候选运动矢量，并根据所述候选运动矢量和帧间预测方法，求得当前帧的估计值。
进一步地，本发明一种顺序执行的帧间帧内联合预测编码的方法的较佳的实施例中，所述帧间预测中的运动补偿包括：
根据运动向量获得参考帧的值；
获得多组预测值，产生多组运动残差。
进一步地，本发明一种顺序执行的帧间帧内联合预测编码的方法的较佳的实施例中，失真度计算包括：SAD绝对误差和、SATD hadamard变换后再绝对值求和、SSD差值的平方和、MAD平均绝对差值、MSD平均平方误差。
进一步地，本发明一种顺序执行的帧间帧内联合预测编码的方法的较佳的实施例中，确定所述预测残差值的失真度包括确定帧间预测模式、帧间预测参考块及参考帧和帧内预测模式中的一组最优预测值，在保证比特率R不超过最大比特率Rmax的条件下，使失真度D达到最小。
本发明的主要思路是：依次进行第一预测和第二预测，其中第二预测基于第一预测后形成的残差数据进行。也可以先进行第二预测，然后进行第一预测，其中第一预测基于第二预测后形成的残差数据进行。
当第一预测为帧间预测时，第二预测包括：以所述帧间预测形成的多个残差值块作为参考，遍历一种帧内预测模式，计算预测值；计算当前块残差值相对于预测残差值的失真度D及预测差值d；
当第一预测为帧内预测时，所述第二预测包括：基于所述帧内预测形成的多个残差值块确定多个匹配块并确定多个候选运动矢量；并根据所述候选运动矢量和帧间预测方法，求得当前帧的估计值。
其中所述帧间预测包括确定多个候选参考帧/参考块：
通过运动估计算法，确定多个匹配块并确定多个候选运动矢量，寻找当前编码的块在已编码的图像(参考帧)中的最佳对应块，并且计算出对应块的偏移(运动矢量)，运动估计算法的目的就是在参考图像中找到最佳的参考图像块位置，即得到运动矢量，一般可以采取块匹配算法，比较各个参考位置上关于残差和运动矢量的代价函数，以搜索的最小代价函数点作为运动估计的结果，其搜索算法包括全搜索和快速搜索两类，全搜索对搜索范围内的所有点按照顺序进行搜索，逐点比较代价函数，选择代价函数最小的点作为最优点，为了减少运动估计的复杂度和计算时间，提出了快速搜索算法，减少了待搜索的位置数；
基于多个运动矢量计算预测值进行运动补偿，根据所述候选运动矢量和帧间预测方法，求得当前帧的估计值，对当前图像的描述，旨在说明当前图像的每一块像素如何由其参考图像的像素块得到，得到运动向量之后进行运动补偿的步骤如下；
根据运动向量获得参考帧的值，在本发明中，存在一组候选最佳匹配块，包括多个候选最佳匹配块，因此可以确定多个参考帧/参考块的数据；
获得多组预测值，产生多组运动残差，基于确定多个参考块，根据预测滤波器，获得多组预测值，产生多组运动残差，比如基于1/16、1/8、1/4、1/2或整像素插值滤波器，可以得到预测像素值，原始像素值与预测像素值的差形成残差值，残差值同样可以按编码块进行划分，形成残差数据块，在本发明中，帧间运动预测参考块具有多个（多个候选运动矢量）；
所述帧内预测包括：
以同一帧图像的临近残差像素值作为参考，遍历一种帧内预测模式，计算预测值p，临近残差像素值是已经完成上一环节的预测形成的残差值。现有帧内预测模式仍然可以适用，例如，VVC/H266定义了67种帧内预测模式，在本发明中同样可以适用，与现有技术相比，帧内预测基于上一环节的预测形成的残差值进行；
计算当前块图像据相对于预测图像值的失真度D及预测差值d，失真度D计算可以是：SAD绝对误差和、SATD hadamard变换后再绝对值求和、SSD差值的平方和、MAD平均绝对差值、MSD平均平方误差。
根据本发明的实施例，如果先做帧间预测后做帧内预测，那么帧内预测基于帧间预测形成的多个残差数据块进行。否则，则基于原图像数据进行对该编码单元(Codingunit，CU)或其它类型的分块单元进行帧内预测。
在本发明中，存在多种候选帧间预测模式、帧间预测参考块及参考帧、帧内预测模式，并计算得到了预测残差值的失真度及差值d。现在通过RDO决策确定其中最优的一组预测参数（帧间预测模式、帧间预测参考块及参考帧、帧内预测模式之中至少一个）。率失真优化(Rate Distortion Optimized)策略主要思想是，在计算代价函数时，同时考虑码率和失真度两方面因素的制约，在保证低失真度的同时保证低码率，这样更加有利于视频流的传输。即：在保证比特率R不超过最大比特率Rmax的条件下，使失真度D达到最小，即min{D}限制条件:R≤Rmax。
一种顺序执行编码的装置，包括：
候选预测模块，用于获得至少一个候选预测参数包括运动矢量信息或至少一个候选预测模式包括失真度信息；
顺序预测编码模块，用于选择至少一个候选运动矢量作为参考运动矢量，根据所述参考运动矢量和当前预测单元的运动矢量确定运动矢量差值，将所述运动矢量差值进行编码和/或传输，根据所述运动矢量差值和当前预测单元的失真度信息确定预测差值，或选择至少一个候选预测参数作为参考预测参数，根据所述失真度信息和当前预测单元的失真度信息确定预测残差值的失真度，根据所述预测残差值的失真度和当前预测单元的运动矢量确定预测差值，将所述预测差值进行编码和/或传输。
进一步地，本发明一种顺序执行编码的装置的较佳的实施例中，所述顺序预测编码模块包括联合预测索引编码模块，用于将所述参考预测参数的索引信息进行编码和/或传输。
结合图2所示，一种顺序执行帧间帧内联合预测解码的方法，在解码端对每一个编码单元读取码流中的联合预测标记，根据标记进行解码，包括：
解码端接收指示信息，获得至少一组候选预测参数包括运动矢量信息，或至少一个候选预测模式包括失真度信息；
基于参考预测参数的索引信息从至少一个候选预测参数确定参考预测参数，根据预测差值和所述预测参数计算当前预测单元的运动矢量差值，根据运动矢量差值和所述预测参数计算当前预测单元的失真度信息；
或基于参考预测参数的索引信息从至少一个候选预测参数确定参考预测参数，根据预测差值和所述预测参数计算当前预测单元的失真度差值，根据失真度差值和所述预测参数计算当前预测单元的运动矢量信息。
进一步地，本发明一种顺序执行帧间帧内联合预测解码的方法的较佳的实施例中，所述根据预测差值和所述预测参数计算当前预测单元的运动矢量差值包括：
从视频码流中获得帧内预测残差数据和帧内预测参数；
确定参考像素值，得到帧内预测数据，加上预测残差值得到第一重图像构据；
从视频码流中确定帧间预测残差值、运动矢量信息、参考帧信息；
经过帧间预测，确定帧间预测数据。
进一步地，本发明一种顺序执行帧间帧内联合预测解码的方法的较佳的实施例中，还包括：
从视频码流中确定第一重构图像数据和帧内预测数据；
将第一重构图像数据和帧内预测数据相加得到最终重构图像数据。
进一步地，本发明一种顺序执行帧间帧内联合预测解码的方法的较佳的实施例中，所述从视频码流中确定第一重构图像数据和帧内预测数据包括：
从视频码流中确定预测残差数据、运动矢量信息、参考帧信息，经过帧间预测，确定帧间预测像素值；
通过帧内预测编码之后形成第一重构图像数据；
从码流中获得帧内预测参数，确定参考像素值，得到帧内预测数据。
解码端接收指示信息，并判断编码单元的第一预测是否为帧间预测；
如果是，则从视频码流中获得第一重构图像数据和帧间预测数据；
将第一重构图像数据和帧间预测值相加得到最终重构图像数据；
如果否，则从视频码流中确定第一重构图像数据和帧内预测数据；
将第一重构图像数据和帧内预测数据相加得到最终重构图像数据。
如果是先进行帧间预测后进行帧内预测：
从视频码流中获得帧内预测残差数据和帧内预测参数，包括预测模式；
确定参考像素值，得到帧内预测数据，加上预测残差值得到第一重图像构据；
从视频码流中确定帧间预测残差值、运动矢量信息、参考帧信息；
经过帧间预测，确定帧间预测数据。
如果是先进行帧内预测后进行帧间预测：
从视频码流中确定预测残差数据、运动矢量信息、参考帧信息，经过帧间预测，确定帧间预测像素值；
通过帧内预测编码之后形成第一重构图像数据，帧间预测像素值+残差像素值=第一重构图像数据；
从码流中获得帧内预测参数，包括预测模式，确定参考像素值，得到帧内预测数据。
一种顺序执行解码的装置，包括：
候选构建模块，用于对编码压缩后的视频码流解码，得到至少一个候选预测参数包括运动矢量信息或至少一个候选预测模式包括失真度信息；
解码模块，用于参考预测参数的索引信息从至少一个候选预测参数确定参考预测参数，根据预测差值和所述预测参数计算当前预测单元的运动矢量差值，根据运动矢量差值和所述预测参数计算当前预测单元的失真度信息；或根据预测差值和所述预测参数计算当前预测单元的失真度差值，根据失真度差值和所述预测参数计算当前预测单元的运动矢量信息。
本申请一个实施例还提供了一种电子设备，包括：
存储器以及一个或多个处理器；
其中，所述存储器与所述一个或多个处理器通信连接，所述存储器中存储有可被所述一个或多个处理器执行的指令，所述指令被所述一个或多个处理器执行，以使所述一个或多个处理器执行本申请前述实施例中的方法。
具体地，处理器和存储器可以通过总线或者其他方式连接，以通过总线连接为例。处理器可以为中央处理器（Central Processing Unit，CPU）。处理器还可以为其他通用处理器、数字信号处理器（Digital Signal Processor，DSP）、专用集成电路（ApplicationSpecific Integrated Circuit，ASIC）、现场可编程门阵列（Field-Programmable GateArray，FPGA）或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等芯片，或者上述各类芯片的组合。
存储器作为一种非暂态计算机可读存储介质，可用于存储非暂态软件程序、非暂态计算机可执行程序以及模块，如本申请实施例中的级联渐进网络等。处理器通过运行存储在存储器中的非暂态软件程序/指令以及功能模块，从而执行处理器的各种功能应用以及数据处理。
存储器可以包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需要的应用程序；存储数据区可存储处理器所创建的数据等。此外，存储器可以包括高速随机存取存储器，还可以包括非暂态存储器，例如至少一个磁盘存储器件、闪存器件、或其他非暂态固态存储器件。在一些实施例中，存储器可选包括相对于处理器远程设置的存储器，这些远程存储器可以通过网络（比如通过通信接口）连接至处理器。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
本申请的一个实施例还提供一种计算机可读存储介质，所述计算机可读存储介质中存储有计算机可执行指令，所述计算机可执行指令被执行后执行本申请前述实施例中的方法。
前述的计算机可读取存储介质包括以存储如计算机可读指令、数据结构、程序模块或其他数据等信息的任何方式或技术来实现的物理易失性和非易失性、可移动和不可移动介质。计算机可读取存储介质具体包括，但不限于，U盘、移动硬盘、只读存储器（ROM，Read-Only Memory）、随机存取存储器（RAM，Random Access Memory）、可擦除可编程只读存储器（EPROM）、电可擦可编程只读存储器（EEPROM）、闪存或其他固态存储器技术、CD-ROM、数字多功能盘（DVD）、HD-DVD、蓝光（Blue-Ray）或其他光存储设备、磁带、磁盘存储或其他磁性存储设备、或能用于存储所需信息且可以由计算机访问的任何其他介质。
尽管此处所述的主题是在结合操作系统和应用程序在计算机系统上的执行而执行的一般上下文中提供的，但本领域技术人员可以认识到，还可结合其他类型的程序模块来执行其他实现。一般而言，程序模块包括执行特定任务或实现特定抽象数据类型的例程、程序、组件、数据结构和其他类型的结构。本领域技术人员可以理解，此处所述的本主题可以使用其他计算机系统配置来实践，包括手持式设备、多处理器系统、基于微处理器或可编程消费电子产品、小型计算机、大型计算机等，也可使用在其中任务由通过通信网络连接的远程处理设备执行的分布式计算环境中。在分布式计算环境中，程序模块可位于本地和远程存储器存储设备的两者中。
本领域普通技术人员可以意识到，结合本文中所本申请的实施例描述的各示例的单元及方法步骤，能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本申请的范围。
所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请的技术方案本质上或者说对原有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备（可以是个人计算机，服务器，或者网络设备等）执行本申请各个实施例所述方法的全部或部分步骤。
本发明中顺序执行帧间帧内联合预测编码依次进行帧间预测和帧内预测，然后联合选择最优帧间/帧内参考块，可以一定程度上去除帧内预测块和帧间预测块失真过大的区域，获得更好的预测效果，能够解决预测块失真问题，并能够增加预测精度，提升预测块的编码效率，实用性和鲁棒性俱佳。
以上仅为本发明较佳的实施例，并非因此限制本发明的实施方式及保护范围，对于本领域技术人员而言，应当能够意识到凡运用本发明说明书及图示内容所作出的等同替换和显而易见的变化所得到的方案，均应当包含在本发明的保护范围内。

Claims (13)

1.一种顺序执行的帧间帧内联合预测编码的方法，其特征在于，包括以下步骤：
对一个编码单元或分块单元进行第一预测，获得至少一组候选预测参数包括运动矢量信息，或至少一组候选预测模式和对应的失真度信息；
基于所述第一预测后形成的残差值进行第二预测，选择一个候选预测参数作为参考预测参数，基于所述参考预测参数的运动矢量信息和当前预测单元的运动矢量确定运动矢量差值，根据所述运动矢量差值和当前预测单元的失真度信息确定预测差值，或选择一个候选预测模式作为参考候选预测模式，基于所述参考候选预测模式对应的失真度信息和当前预测单元的失真度信息根据率失真函数确定预测残差值的失真度，根据所述预测残差值的失真度和当前预测单元的运动矢量确定预测差值；
将所述预测差值进行编码和/或传输。
2.如权利要求1所述的顺序执行的帧间帧内联合预测编码的方法，其特征在于，将所述参考预测参数的索引信息进行编码和/或传输。
3.如权利要求1所述的顺序执行的帧间帧内联合预测编码的方法，其特征在于，基于所述第一预测后形成的残差值进行第二预测包括：
以帧间预测形成的多个残差值块作为参考，对帧内预测模式进行遍历，计算预测值，计算当前块残差值相对于预测残差值的失真度及预测差值；
或基于帧内预测形成的多个残差值块确定多个匹配块并确定多个候选运动矢量，并根据所述候选运动矢量和帧间预测方法，求得当前帧的估计值。
4.如权利要求3所述的顺序执行的帧间帧内联合预测编码的方法，其特征在于，所述帧间预测中的运动补偿包括：
根据运动向量获得参考帧的值；
获得多组预测值，产生多组运动残差。
5.如权利要求1所述的顺序执行的帧间帧内联合预测编码的方法，其特征在于，失真度计算包括：SAD绝对误差和、SATD hadamard变换后再绝对值求和、SSD差值的平方和、MAD平均绝对差值、MSD平均平方误差。
6.如权利要求1所述的顺序执行的帧间帧内联合预测编码的方法，其特征在于，确定所述预测残差值的失真度包括确定帧间预测模式、帧间预测参考块及参考帧和帧内预测模式中的一组最优预测值，在保证比特率R不超过最大比特率Rmax的条件下，使失真度D达到最小。
7.一种顺序执行帧间帧内联合预测解码的方法，在解码端对每一个编码单元读取码流中的联合预测标记，根据标记进行解码，其特征在于，包括：
解码端接收指示信息，获得至少一组候选预测参数包括运动矢量信息，或至少一个候选预测模式和所述候选预测模式对应的失真度信息；
基于参考预测参数的索引信息从至少一个候选预测参数确定参考预测参数，根据预测差值和所述参考预测参数计算当前预测单元的运动矢量差值，根据运动矢量差值和所述参考预测参数计算当前预测单元的失真度信息；
或基于参考候选预测模式的索引信息从至少一个候选预测模式确定参考候选预测模式，根据预测差值和所述参考候选预测模式计算当前预测单元的失真度差值，根据失真度差值和所述参考候选预测模式计算当前预测单元的运动矢量信息。
8.如权利要求7所述的顺序执行帧间帧内联合预测解码的方法，其特征在于，所述根据预测差值和所述参考预测参数计算当前预测单元的运动矢量差值包括：
从视频码流中获得帧内预测残差数据和帧内预测参数；
确定参考像素值，得到帧内预测数据，加上预测残差值得到第一重构数据；
从视频码流中确定帧间预测残差值、运动矢量信息、参考帧信息；
经过帧间预测，确定帧间预测数据。
9.如权利要求7所述的顺序执行帧间帧内联合预测解码的方法，其特征在于，还包括：
从视频码流中确定第一重构图像数据和帧内预测数据；
将第一重构图像数据和帧内预测数据相加得到最终重构图像数据。
10.如权利要求9所述的顺序执行帧间帧内联合预测解码的方法，其特征在于，所述从视频码流中确定第一重构图像数据和帧内预测数据包括：
从视频码流中确定预测残差数据、运动矢量信息、参考帧信息，经过帧间预测，确定帧间预测像素值；
通过帧内预测编码之后形成第一重构图像数据；
从码流中获得帧内预测参数，确定参考像素值，得到帧内预测数据。
11.一种顺序执行帧间帧内联合预测编码的装置，其特征在于，包括：
候选预测模块，用于获得至少一个候选预测参数包括运动矢量信息，或至少一个候选预测模式和所述候选预测模式对应的失真度信息；
顺序预测编码模块，用于选择一个候选预测参数作为参考预测参数，基于所述运动矢量信息和当前预测单元的运动矢量确定运动矢量差值，根据所述运动矢量差值和当前预测单元的失真度信息确定预测差值，或选择一个候选预测模式作为参考候选预测模式，基于所述参考候选预测模式对应的失真度信息和当前预测单元的失真度信息根据率失真函数确定预测残差值的失真度，根据所述预测残差值的失真度和当前预测单元的运动矢量确定预测差值；将所述预测差值进行编码和/或传输。
12.如权利要求11所述的顺序执行帧间帧内联合预测编码的装置，其特征在于，所述顺序预测编码模块包括联合预测索引编码模块，用于将所述参考预测参数的索引信息进行编码和/或传输。
13.一种顺序执行帧间帧内联合预测解码的装置，其特征在于，包括：
候选构建模块，用于对编码压缩后的视频码流解码，得到至少一个候选预测参数包括运动矢量信息，或至少一个候选预测模式和所述候选预测模式对应的失真度信息；
解码模块，用于基于参考预测参数的索引信息从至少一个候选预测参数确定参考预测参数，根据预测差值和所述参考预测参数计算当前预测单元的运动矢量差值，根据运动矢量差值和所述参考预测参数计算当前预测单元的失真度信息；或基于参考候选预测模式的索引信息从至少一个候选预测模式确定参考候选预测模式，根据预测差值和所述参考候选预测模式计算当前预测单元的失真度差值，根据失真度差值和所述参考候选预测模式计算当前预测单元的运动矢量信息。
CN202110502985.8A 2021-05-10 2021-05-10 一种顺序执行的帧间帧内联合预测编解码的方法及装置 Active CN112995670B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN202110502985.8A CN112995670B (zh) 2021-05-10 2021-05-10 一种顺序执行的帧间帧内联合预测编解码的方法及装置
PCT/CN2021/139065 WO2022237168A1 (zh) 2021-05-10 2021-12-17 一种顺序执行的帧间帧内联合预测编解码的方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110502985.8A CN112995670B (zh) 2021-05-10 2021-05-10 一种顺序执行的帧间帧内联合预测编解码的方法及装置

Publications (2)

Publication Number Publication Date
CN112995670A true CN112995670A (zh) 2021-06-18
CN112995670B CN112995670B (zh) 2021-10-08

Family

ID=76337345

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110502985.8A Active CN112995670B (zh) 2021-05-10 2021-05-10 一种顺序执行的帧间帧内联合预测编解码的方法及装置

Country Status (2)

Country Link
CN (1) CN112995670B (zh)
WO (1) WO2022237168A1 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022237168A1 (zh) * 2021-05-10 2022-11-17 浙江智慧视频安防创新中心有限公司 一种顺序执行的帧间帧内联合预测编解码的方法及装置

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117156133B (zh) * 2023-10-27 2024-02-09 淘宝（中国）软件有限公司 一种视频编码的帧间预测模式选择方法及装置
CN117376551B (zh) * 2023-12-04 2024-02-23 淘宝（中国）软件有限公司 视频编码加速方法及电子设备

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101283595A (zh) * 2005-10-05 2008-10-08 Lg电子株式会社 解码和编码视频信号的方法
EP3376764A1 (en) * 2015-11-12 2018-09-19 LG Electronics Inc. Method and apparatus for coefficient induced intra prediction in image coding system
CN110519600A (zh) * 2019-08-21 2019-11-29 浙江大华技术股份有限公司 帧内帧间联合预测方法、装置、编解码器及存储装置

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101365575B1 (ko) * 2007-02-05 2014-02-25 삼성전자주식회사 인터 예측 부호화, 복호화 방법 및 장치
CN108259913A (zh) * 2016-12-29 2018-07-06 北京大学深圳研究生院 一种用于帧间预测帧中的帧内预测方法
US11336900B2 (en) * 2019-06-26 2022-05-17 Qualcomm Incorporated Combined inter and intra prediction mode for video coding
CN112995670B (zh) * 2021-05-10 2021-10-08 浙江智慧视频安防创新中心有限公司 一种顺序执行的帧间帧内联合预测编解码的方法及装置

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101283595A (zh) * 2005-10-05 2008-10-08 Lg电子株式会社 解码和编码视频信号的方法
EP3376764A1 (en) * 2015-11-12 2018-09-19 LG Electronics Inc. Method and apparatus for coefficient induced intra prediction in image coding system
CN110519600A (zh) * 2019-08-21 2019-11-29 浙江大华技术股份有限公司 帧内帧间联合预测方法、装置、编解码器及存储装置

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022237168A1 (zh) * 2021-05-10 2022-11-17 浙江智慧视频安防创新中心有限公司 一种顺序执行的帧间帧内联合预测编解码的方法及装置

Also Published As

Publication number Publication date
WO2022237168A1 (zh) 2022-11-17
CN112995670B (zh) 2021-10-08

Similar Documents

Publication Publication Date Title
CN112995670B (zh) 一种顺序执行的帧间帧内联合预测编解码的方法及装置
KR101145698B1 (ko) 인터 프레임 예측 코딩 방법, 디바이스 및 시스템
US10091526B2 (en) Method and apparatus for motion vector encoding/decoding using spatial division, and method and apparatus for image encoding/decoding using same
KR101356734B1 (ko) 움직임 벡터 트랙킹을 이용한 영상의 부호화, 복호화 방법및 장치
CN101513071B (zh) 用于确定解码视频块中的期望失真的方法及设备
KR101441905B1 (ko) 후보 예측 움직임 벡터 집합 선택을 이용한 움직임 벡터 부호화/복호화 방법 및 장치와 그를 이용한 영상 부호화/복호화 방법 및 장치
US20100208814A1 (en) Inter-frame prediction coding method and device
KR100955396B1 (ko) 양-예측 부호화 방법 및 장치, 양-예측 복호화 방법 및장치 및 기록매체
US8948243B2 (en) Image encoding device, image decoding device, image encoding method, and image decoding method
KR101356207B1 (ko) 데이터 인코딩/디코딩 방법 및 장치
US9571851B2 (en) Inter prediction method and apparatus using adjacent pixels, and image encoding/decoding method and apparatus using same
CN102640495A (zh) 运动向量编码/解码方法和装置及使用该方法和装置的图像编码/解码方法和装置
MXPA06010360A (es) Metodos y aparato para tomar decisiones en modo rapido en codecs de video.
WO2015010319A1 (zh) 一种基于p帧的多假设运动补偿编码方法
KR20090095012A (ko) 연속적인 움직임 추정을 이용한 영상 부호화, 복호화 방법및 장치
WO2015010317A1 (zh) 一种基于p帧的多假设运动补偿方法
US9491480B2 (en) Motion vector encoding/decoding method and apparatus using a motion vector resolution combination, and image encoding/decoding method and apparatus using same
CN113709456B (zh) 解码方法、装置、设备及机器可读存储介质
CN112887732B (zh) 一种权值可配置的帧间帧内联合预测编解码的方法及装置
Wang et al. Adaptive motion vector resolution prediction in block-based video coding
JP4642033B2 (ja) 参照フレームの数を固定する符号化方式で画像の参照ブロックを取得する方法
CN112218086A (zh) 编码、解码方法、传输方法、编码、解码装置及系统
KR20150027774A (ko) 공간 분할을 이용한 움직임 벡터 부호화/복호화 방법 및 장치와 그를 이용한 영상 부호화/복호화 방법 및 장치
KR101543310B1 (ko) 공간 분할을 이용한 움직임 벡터 부호화/복호화 방법 및 장치와 그를 이용한 영상 부호화/복호화 방법 및 장치
KR101074919B1 (ko) 분산 비디오 부호화 영상의 복호화 장치 및 그 방법

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
EE01 Entry into force of recordation of patent licensing contract
EE01 Entry into force of recordation of patent licensing contract

Application publication date: 20210618

Assignee: Institute of Information Technology, Zhejiang Peking University

Assignor: Zhejiang smart video security Innovation Center Co.,Ltd.

Contract record no.: X2021330000326

Denomination of invention: A method and device for sequential inter intra joint prediction encoding and decoding

License type: Common License

Record date: 20210927

EE01 Entry into force of recordation of patent licensing contract
EE01 Entry into force of recordation of patent licensing contract

Application publication date: 20210618

Assignee: Hangzhou Weiming Information Technology Co.,Ltd.

Assignor: Zhejiang smart video security Innovation Center Co.,Ltd.

Contract record no.: X2021330000536

Denomination of invention: A method and device for sequential inter intra joint prediction encoding and decoding

Granted publication date: 20211008

License type: Common License

Record date: 20211021

EE01 Entry into force of recordation of patent licensing contract
EE01 Entry into force of recordation of patent licensing contract

Application publication date: 20210618

Assignee: Hangzhou Lezhi Weiming Technology Co.,Ltd.

Assignor: Zhejiang smart video security Innovation Center Co.,Ltd.

Contract record no.: X2022330000334

Denomination of invention: A method and apparatus for sequentially executing inter and intra joint prediction coding and decoding

Granted publication date: 20211008

License type: Common License

Record date: 20220726