CN116962685B - 视频编码方法、装置、电子设备及存储介质 - Google Patents
视频编码方法、装置、电子设备及存储介质 Download PDFInfo
- Publication number
- CN116962685B CN116962685B CN202311218447.1A CN202311218447A CN116962685B CN 116962685 B CN116962685 B CN 116962685B CN 202311218447 A CN202311218447 A CN 202311218447A CN 116962685 B CN116962685 B CN 116962685B
- Authority
- CN
- China
- Prior art keywords
- frame
- coded
- coding
- prediction mode
- intra
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 54
- 230000009466 transformation Effects 0.000 claims description 8
- 238000001514 detection method Methods 0.000 claims description 6
- 238000007781 pre-processing Methods 0.000 claims description 6
- 230000011218 segmentation Effects 0.000 claims description 4
- 238000012163 sequencing technique Methods 0.000 claims description 3
- 230000000694 effects Effects 0.000 abstract description 19
- 230000005540 biological transmission Effects 0.000 abstract description 4
- 238000004364 calculation method Methods 0.000 description 8
- 230000008569 process Effects 0.000 description 7
- 238000010586 diagram Methods 0.000 description 4
- 238000005516 engineering process Methods 0.000 description 3
- 230000004075 alteration Effects 0.000 description 2
- 230000002401 inhibitory effect Effects 0.000 description 2
- 230000035945 sensitivity Effects 0.000 description 2
- 230000001629 suppression Effects 0.000 description 2
- 230000003044 adaptive effect Effects 0.000 description 1
- 230000002457 bidirectional effect Effects 0.000 description 1
- 230000000903 blocking effect Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000013144 data compression Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 230000002349 favourable effect Effects 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 230000000644 propagated effect Effects 0.000 description 1
- 238000013139 quantization Methods 0.000 description 1
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
- H04N19/103—Selection of coding mode or of prediction mode
- H04N19/107—Selection of coding mode or of prediction mode between spatial and temporal predictive coding, e.g. picture refresh
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
- H04N19/177—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a group of pictures [GOP]
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
- H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
- H04N19/51—Motion estimation or motion compensation
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
- H04N19/593—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial prediction techniques
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
Abstract
本申请提供视频编码方法、装置、电子设备及存储介质，涉及图像处理技术领域。所述方法根据待编码图像帧归属的GOP组判断待编码图像帧的编码类型。在待编码图像帧的编码类型为帧内编码时，基于帧内预测模式对待编码图像帧中的待编码单元执行编码；在待编码图像帧的编码类型为帧间编码时，根据当前待编码单元与其它方块的相似度从帧内预测模式与帧间预测模式中选取优胜预测模式，并基于优胜预测模式对当前待编码单元执行编码。通过对待编码单元的编码方式进行选择，可抑制拖影效果在相邻待编码图像帧中的传递效应，进而缓解编码得到的图像中的拖影效应。
Description
技术领域
本申请涉及图像处理技术领域，尤其涉及一种视频编码方法、装置、电子设备及存储介质。
背景技术
视频编码是一种通过数据压缩技术将原始视频数据编码成压缩格式数据的技术，从而实现降低网络带宽和磁盘存储空间的需求。视频编码的过程中，容易因视频编码器的算法不够完善向视频中引入质量缺陷，例如在编码后的图像序列中存在拖影现象。
拖影现象源于视频编码器在对图像进行编码时，为了保证码率以及图像质量，会倾向于采用帧间预测技术将图像中明暗突变的边缘处产生的紫边对应的像素块编码成P块，导致紫边不断地从当前帧传播到下一帧。在由图片帧组成的视频画面中，表现为形成一片紫色调的拖影轨迹。
通过缩小图像组（group of pictures，GOP）间隔可以缓解拖影问题持续的时间，但缩小GOP间隔时需要增加码率，否则会降低图像质量。且部分应用场景中难以变更GOP间隔，导致无法抑制拖影效应。
发明内容
本申请提供一种视频编码方法、装置、电子设备及存储介质，以解决无法抑制拖影效应的问题。
第一方面，本申请提供一种视频编码方法，所述方法包括：
从待编码视频序列中提取待编码图像帧；所述待编码视频序列包括GOP组；所述待编码图像帧包括待编码单元；
根据所述待编码图像帧归属的GOP组，确定所述待编码图像帧的编码类型；
若所述待编码图像帧的编码类型为帧内编码，则基于帧内预测模式对所述待编码图像帧的当前待编码单元执行编码；
若所述待编码图像帧的编码类型为帧间编码，则根据所述当前待编码单元与其它方块的相似度从帧内预测模式与帧间预测模式中选取优胜预测模式，以及基于所述优胜预测模式对所述当前待编码单元执行编码。
在一些可行的实施例中，根据所述待编码图像帧归属的GOP组，确定所述待编码图像帧的编码类型，包括：
获取所述待编码视频序列中GOP组的长度；
根据GOP组的长度确定所述待编码图像帧归属的GOP组；
提取所述待编码图像帧在所述GOP组中的位置编号；
根据所述位置编号确定所述待编码图像帧的编码类型。
在一些可行的实施例中，所述方法还包括：
对所述待编码图像帧执行方块分割，得到待编码单元；
将所述待编码单元排序，得到方块序列；
从所述方块序列中提取当前待编码单元。
在一些可行的实施例中，所述方法还包括：
根据所述当前待编码单元的像素值计算当前待编码单元的亮度均值与色度均值；
设置畸变项阈值；
若所述亮度均值小于或等于所述畸变项阈值，则设置所述畸变项的值为0；
若所述亮度均值大于所述畸变项阈值，则根据所述当前待编码单元归属的编码图像帧的编码类型设置畸变项的值。
在一些可行的实施例中，所述方法还包括：
基于所述当前待编码单元的亮度均值数据，计算帧内SAD值；
从所述帧内SAD值中提取最小值以作为所述当前待编码单元的帧内编码SAD值，所述帧内编码SAD值对应的帧内预测模式为所述当前待编码单元的帧内预测模式。
在一些可行的实施例中，所述方法还包括：
基于所述亮度均值与所述色度均值，对所述当前待编码单元执行颜色空间变换，得到所述当前待编码单元的副本数据。
在一些可行的实施例中，所述方法还包括：
在所述GOP组中选取当前待编码图像帧的参考帧；
在所述参考帧上选取与所述当前待编码单元的位置对应的搜索区；
对所述搜索区内的像素执行颜色空间变换，以得到所述搜索区的副本数据。
在一些可行的实施例中，所述方法还包括：
搜索所述当前待编码单元的待搜索坐标位置；
基于所述搜索区与所述搜索区的副本数据为所述待搜索坐标位置设置参考块；
基于所述参考块与所述畸变项计算所述当前待编码单元的帧间SAD值；
从所述帧间SAD值中提取最小值，以作为当前待编码单元的帧间编码SAD值，所述帧间编码SAD值对应的帧间预测模式为所述当前待编码单元的帧间预测模式。
在一些可行的实施例中，若所述编码类型为帧间编码，则根据所述当前待编码单元与其它方块的相似度从帧内预测模式与帧间预测模式中选取优胜预测模式时，所述方法还包括：
比较所述帧内编码SAD值与所述帧间编码SAD值；
若所述帧内编码SAD值小于或等于所述帧间编码SAD值，则选取帧内预测模式为优胜预测模式，以根据帧内预测模式对所述当前待编码单元执行帧内编码；
若所述帧内编码SAD值大于所述帧间编码SAD值，则选取帧间预测模式为优胜预测模式，以根据帧间预测模式对所述当前待编码单元执行帧间编码。
第二方面，本申请提供一种视频编码装置，所述装置包括：预处理模块、检测模块、编码模块；
所述预处理模块用于从待编码视频序列中提取待编码图像帧；所述待编码视频序列包括GOP组；所述待编码图像帧包括待编码单元；
所述检测模块用于根据所述待编码图像帧归属的GOP组，确定所述待编码图像帧的编码类型；
所述编码模块用于在所述待编码图像帧的编码类型为帧内编码时，基于帧内预测模式对所述待编码图像帧的当前待编码单元执行编码；
所述编码模块用于在所述待编码图像帧的编码类型为帧间编码时，根据所述当前待编码单元与其它方块的相似度从帧内预测模式与帧间预测模式中选取优胜预测模式，以及基于所述优胜预测模式对所述当前待编码单元执行编码。
第三方面，本申请提供一种电子设备，包括：
处理器，以及与所述处理器通信连接的存储器；
其中，所述存储器存储有可被所述处理器执行的指令，以使所述处理器执行如第一方面内容所述的方法的步骤。
第四方面，本申请提供一种计算机可读存储介质，包括：
所述计算机可读存储介质中包括至少一个计算机指令，所述至少一个计算机指令用于使计算机执行如第一方面中所述的方法的步骤。
由上述技术内容可知，本申请提供一种视频编码方法、装置、电子设备及存储介质。所述方法根据待编码图像帧归属的GOP组判断待编码图像帧的编码类型。在待编码图像帧的编码类型为帧内编码时，基于帧内预测模式对待编码图像帧中的待编码单元执行编码；在待编码图像帧的编码类型为帧间编码时，根据当前待编码单元与其它方块的相似度从帧内预测模式与帧间预测模式中选取优胜预测模式，并基于优胜预测模式对当前待编码单元执行编码。通过对待编码单元的编码方式进行选择，以抑制拖影效果在相邻待编码图像帧中的传递效应，进而缓解编码得到的图像中的拖影效应。
附图说明
为了更清楚地说明本申请的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，对于本领域普通技术人员而言，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本申请实施例提供的抑制拖影效应的视频编码方法流程图；
图2为本申请实施例提供的畸变项系数设置流程图；
图3为本申请实施例提供的GOP组示意图；
图4为本申请实施例提供的当前待编码单元与参考块关系示意图；
图5本申请实施例提供的选取优胜编码模式示意图；
图6为本申请实施例提供的帧内编码、帧间编码流程示意图。
具体实施方式
下面将详细地对实施例进行说明，其示例表示在附图中。下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下实施例中描述的实施方式并不代表与本申请相一致的所有实施方式。仅是与权利要求书中所详述的、本申请的一些方面相一致的系统和方法的示例。
在一些拍摄场景下，例如摄像机等图像采集装置的镜头会存在色差效应，因为镜头所用的材料对不同波长的光线具有不同的折射率，导致短波长的蓝光和长波长的红光在图像传感器上的焦点位置不同。在视频中存在明暗突变的边缘时，边缘线附近会呈现出明显的蓝色或紫色镶边，这种现象称为紫边现象。当边缘属于运动目标的一部分时，紫边会随着运动目标一起移动，影响视频质量。
视频编码器对镶有紫边的运动目标图像进行编码时，出于保证码率的考虑，会采用帧间预测技术将紫边附近的像素块编码成P块，导致紫边不断从前序图像帧延续到当前待编码图像帧，进而在编码后的画面中形成一片紫色调的拖影轨迹，影响图像质量。
为了解决上述问题，如图1所示，本申请提供一种视频编码方法，所述方法包括：
S100：从待编码视频序列中提取待编码图像帧；所述待编码视频序列包括GOP组；所述待编码图像帧包括待编码单元；
GOP是一组连续的画面，由一张I帧和多张B帧或P帧帧组成，是视频编码器存取的基本单位。本申请实施例中所述的待编码图像帧包括I帧、P帧以及B帧，I帧在GOP组中作为关键帧，解码时基于I帧的数据即可重构完整图像；如图3所示，P帧为前向预测编码帧，表示当前帧画面与前一帧的区别，解码时需要结合前一帧缓存的画面叠加当前帧定义的差别生成完整图像；B帧为双向预测编码帧，记录当前帧与前后帧的差别，解码时需要结合前一帧的画面以及后一帧的画面，叠加当前帧的数据生成最终画面。待编码图像帧的数据为三通道彩色数据，其编码格式为YCbCr（一种色彩空间）格式。
待编码图像帧可以分割为多个待编码单元，并基于待编码单元进行编码，以对待编码图像帧进行编码。在一些实施例中，提取待编码单元的方法包括：
对所述待编码图像帧执行方块分割，得到待编码单元；
将所述待编码单元排序，得到方块序列；
从所述方块序列中提取当前待编码单元。
在一些实施例中，将待编码图像帧的全部像素分割为M×M大小的方块，其中M可以指方块的宽度或高度。对分割得到的方块可以按照从上到下或从左到右的顺序排列成方块序列，以便于从方块序列中选取待编码单元执行编码。选取待编码单元后，可以根据待编码单元与其它方块的相似度，以及当前待编码图像的编码类型，选取合适的编码类型对待编码单元执行编码。
S200：根据所述待编码图像帧归属的GOP组，确定所述待编码图像帧的编码类型；
待编码图像帧的编码类型包括帧内编码和帧间编码。在一些实施例中，根据待编码图像帧在其归属的GOP组中的位置即可判断采用哪种编码类型对其执行编码，但使用这种方式容易导致在编码过程中（采用帧间编码时）将当前帧图像中携带的紫边现象传递到相邻帧中，进而形成拖影效果降低图像、视频质量。在本申请实施例中，通过根据待编码图像帧的编码类型，选取合适的编码方式缓解上述问题。即需要先获取待编码图像帧的编码类型，其步骤包括：
获取所述待编码视频序列中GOP组的长度；
根据GOP组的长度确定所述待编码图像帧归属的GOP组；
提取所述待编码图像帧在所述GOP组中的位置编号；
根据所述位置编号确定所述待编码图像帧的编码类型。
在一些实施例中可以通过获取GOP组的长度确定待编码图像帧归属的GOP组，并可以通过查找待编码图像帧在GOP组中的位置编号，判断待编码图像帧的编码类型。根据待编码图像帧的编码类型，结合从待编码图像帧中提取的待编码单元的参数可以对编码类型进一步选择，以缓解只根据待编码图像帧在GOP组的位置编号选用编码类型，容易产生拖影效应的问题。
S300：若所述待编码图像帧的编码类型为帧内编码，则基于帧内预测模式对所述待编码图像帧的当前待编码单元执行编码；
在一些实施例中，待编码图像帧的编码类型为帧内编码，帧内编码不易将前序图像帧中的紫边现象延续到当前待编码图像帧中，因此可以直接采用帧内编码的方式对待编码图像帧中的待编码单元执行编码。
需要说明的是，在GOP组中，可以只有1个I帧，且I帧位于GOP组中的首位，P帧、B帧根据编码、解码需求排列在I帧之后，以组成完整的GOP组。其中，I帧只能采用帧内编码的方式进行编码。且由于帧内编码的方式不易将紫边现象延续到相邻帧表征的图像中，因此可以选用帧内编码的方式对当前待编码单元执行编码。
确定帧内预测模式为帧内编码过程中的重要步骤，在一些实施例中，待编码图像帧的编码格式为YCbCr，因此可以基于从待编码图像帧中提取的待编码单元执行帧内编码算法，如根据待编码单元与其它方块的相似度，选取帧内预测模式，可以按照如下相似度公式计算待编码单元与其它方块的相似度：
；
其中，i代表第几个帧内预测模式；代表第i个帧内预测模式下，位置处像素的亮度预测值；/>代表当前待编码单元中位置/>处像素的亮度值；/>表示帧内编码情况下，待编码单元与其它方块的相似度；M为待编码单元的宽度或高度，为常数。
可以理解的是，通过相似度公式计算得到的值不唯一，不同的/>值对应于不同的帧内预测模式，即根据/>值可以选取合适的帧内预测模式对当前待编码单元执行帧内编码。其步骤包括：
基于所述当前待编码单元的亮度均值数据，计算帧内SAD值；
从所述帧内SAD值中提取最小值以作为所述当前待编码单元的帧内编码SAD值，所述帧内编码SAD值对应的帧内预测模式为所述当前待编码单元的帧内预测模式。
可以理解的是，当前待编码单元的亮度均值与每个预测模式下的亮度预测值的差值越小，则表示计算得到的差值小的预测模式更为合理，基于差值小的预测模式对待编码单元执行帧内编码获得的图像质量更高。因此在一些实施例中，通过计算得到与帧内预测模式一一对应的值后，从多个/>值中选取最小值作为当前待编码单元的帧内编码SAD值。以及，选取帧内编码SAD值对应的帧内预测模式为当前待编码单元的帧内预测模式。
S400：若所述待编码图像帧的编码类型为帧间编码，则根据所述当前待编码单元与其它方块的相似度从帧内预测模式与帧间预测模式中选取优胜预测模式，以及基于所述优胜预测模式对所述当前待编码单元执行编码。
在一些实施例中，待编码图像帧（例如P帧、B帧）的编码类型为帧间编码。基于通过帧间编码对待编码单元编码的方式容易将前序图像帧中的紫边现象延续到当前待编码图像帧中这一特点，在本申请实施例中引入了色差计算，以缓解这一现象。引入色差计算时，需要基于亮度均值与所述色度均值，对所述当前待编码单元执行颜色空间变换，得到所述当前待编码单元的副本数据。
需要说明的是，亮度均值与色度均值均可以基于由待编码图像帧分割得到的待编码单元的亮度、色度计算得到。基于当前待编码单元执行颜色空间变换指的是将当前待编码单元的亮度均值、色度均值变换到HSV（Hue，Saturation，Value，色相，饱和度，明度值）颜色空间，并在HSV中获得对应的均值：。待编码单元在HSV颜色空间中的数据，用待编码单元的副本数据统称。
颜色空间中的H分量，即色调值，可以充分体现待编码图像帧中的紫边像素与非紫边像素的差异。因此基于H分量的颜色敏感特性，可以对帧间编码的方式进行评价，以从帧间编码与帧内编码中选取合适的编码方式对当前待编码单元进行编码。
在一些实施例中，获得当前待编码单元的副本数据后，根据帧间编码的执行步骤，如图4所示，还需要执行：
在所述GOP组中选取当前待编码图像帧的参考帧；
在所述参考帧上选取与所述当前待编码单元的位置对应的搜索区；
对所述搜索区内的像素执行颜色空间变换，以得到所述搜索区的副本数据。
根据待编码图像帧在GOP组中的位置编号判断待编码图像帧的编码类型为帧间编码时，待编码图像帧应为P帧或B帧，因此在执行帧间编码的过程中包括选取当前待编码图像帧的参考帧。参考帧用于结合待编码图像帧中的当前待编码单元生成图像数据。
在参考帧上可以选取与当前待编码单元的位置对应的搜索区，以在参考帧上获取与当前待编码单元对应的参考块。可以理解的是，对于搜索区也需要执行颜色空间变化以获取搜索区的副本数据，从而在帧间编码中引入H分量，并基于H分量对帧间编码的方式进行评价。根据评价结果，可以确定在实施编码时，具体采用帧内编码还是帧间编码。
需要说明的是，在一些实施例中，可以通过计算帧间编码SAD值的方式，评价帧间编码是否适用于当前待编码单元。其步骤包括：
搜索所述当前待编码单元的待搜索坐标位置；
基于所述搜索区与所述搜索区的副本数据为所述待搜索坐标位置设置参考块；
基于所述参考块与所述畸变项计算所述当前待编码单元的帧间SAD值；
从所述帧间SAD值中提取最小值，以作为当前待编码单元的帧间编码SAD值，所述帧间编码SAD值对应的帧间预测模式为所述当前待编码单元的帧间预测模式。
可以根据当前待编码单元中的点的位置在搜索区以及搜索区的副本数据中确定参考块。即可以通过获取当前待编码单元的待搜索坐标位置，在搜索区以及搜索区的副本数据中通过待搜索坐标位置确定参考块。可以理解的是，在搜索区以及搜索区的副本数据中的参考块可视作为当前待编码单元的一对参考块（K1，K2）。其中，K1为搜索区中的参考块、K2为搜索区的副本数据中的参考块。
基于参考块可以按照如下计算公式计算当前待编码单元的/>值：
；
；
；
其中，表示帧间编码情况下，当前待编码单元与其它方块的相似度；S1为当前待编码单元与参考块的亮度差、S2为当前待编码单元的色度差；/>为当前待编码单元在参考区中的亮度值；/>为当前待编码单元在参考区中的色度值；/>为当前待编码单元的亮度值；/>为畸变项权重系数，用于调整S2项在/>计算中的权重；M为当前待编码单元的宽度、高度。
可以理解的是，基于上述计算公式得到的/>值不唯一，因此可以从多个/>值中选取最小值作为帧间编码SAD值。帧间编码SAD值越小，即表明采用与其对应的帧间预测模式对当前待编码单元执行帧间编码时，紫边现象的传递能力越弱、对图像质量的影响能力越小。
在一些实施例中，畸变项权重系数选用0或1，以调整S2（畸变项）在公式中的权重。需要说明的是，如图2所示，可以根据当前待编码单元的亮度均值调整畸变项权重系数，其步骤包括：
根据所述当前待编码单元的像素值计算当前待编码单元的亮度均值与色度均值；
设置畸变项阈值；
若所述亮度均值小于或等于所述畸变项阈值，则设置所述畸变项的值为0；
若所述亮度均值大于所述畸变项阈值，则根据所述当前待编码单元归属的编码图像帧的编码类型设置畸变项的值。
畸变项阈值可以为视频编码器默认的参数，或是根据实际需求设计的编码参数。在亮度均值小于畸变项阈值时，对应于不需要引入色度差计算的场景，即设置畸变项系数为0。
在亮度均值大于畸变项阈值时，需要根据待编码图像帧的编码类型进一步确定是否需要引入色度差。在一些实施例中，通过待编码图像帧在其归属的GOP组中的编号确定待编码图像帧的编码类型为帧内编码，则表示不需要引入色差度计算，直接对待编码单元执行帧内编码即可。
在另一些实施例中，通过待编码图像帧在其归属的GOP组中的编号确定待编码图像帧的编码类型为帧间编码，则表示需要引入色度差计算，以根据/>和选取当前待编码单元的编码类型，进而缓解紫边现象对图像质量的影响。
计算得到值，并从多个/>值中选取最小值后，在待编码图像帧的位置编号对应的编码类型为帧间编码的情况下，可以通过比较/>值与/>值的方式，从帧间编码与帧内编码中选取优胜编码方式，如图5所示，其步骤包括：
比较所述帧内编码SAD值与所述帧间编码SAD值；
若所述帧内编码SAD值小于或等于所述帧间编码SAD值，则选取帧内预测模式为优胜预测模式，以根据帧内预测模式对所述当前待编码单元执行帧内编码；
若所述帧内编码SAD值大于所述帧间编码SAD值，则选取帧间预测模式为优胜预测模式，以根据帧间预测模式对所述当前待编码单元执行帧间编码。
在一些实施例中，在计算当前待编码单元的帧间编码SAD值时，也需计算其帧内编码SAD值。并通过比较帧内编码SAD值与帧间编码SAD值的大小关系，选取优胜编码方式。当帧内编码SAD值小于帧间编码SAD值时，则表示帧内编码SAD值对应的帧内预测模式对紫边现象的抑制效果更好，因此选用帧内编码SAD值对应的帧内预测模式对当前待编码单元执行帧内编码。
反之，则表示帧间编码SAD值对应的帧间预测模式对紫边现象的抑制效果更好，因此选用帧间编码SAD值对应的帧间预测模式对当前待编码单元执行帧间编码。
需要说明的是，在根据待编码图像帧的位置编号确认的编码类型为帧间编码时，本申请实施例通过在帧间模式预测时，加入H分量以提升帧间编码对颜色的敏感度，有利于反应紫边效应在帧间编码的条件下对图片质量的影响。并通过比较帧内编码SAD值与帧间编码SAD值，选取优胜编码模式以及优胜预测模式，以在对待编码单元编码过程中选用对紫边效应抑制效果更好的编码方式，进而缓解图像、视频中的拖影效果。可以理解的是，在部分实施例中，选取优胜编码模式以及优胜预测模式的有益效果表现为优先选取帧内编码模式，以抑制紫边现象从当前帧传播到相邻帧以提高视频、图像的质量。
如图6所示，本申请实施例中还提供了对待编码图像帧执行帧内编码与帧间编码的步骤。其中，对待编码图像帧执行帧内编码的步骤包括：
将待编码图像帧分割为块状区域，并执行帧内编码和帧内预测。基于待编码图像帧与帧内预测结果得到帧内残差数据，并对残差数据进行线性变换、以及对变换后的残差系数执行缩放、量化、反处理等操作得到残差重建数据。残差重建数据加上帧内预测信号可以得到分块预测图像帧（重建数据），通过环路滤波和自适应补偿去除重建数据中的“分块效应”，以得到未经分块的图像帧。基于帧内编码信号和残差信号系数执行熵编码即可输出帧内编码图像。
对待编码图像帧执行帧间编码的步骤与上述编码过程类似，区别在于求取帧内残差信号之前，需要结合前一次帧内预测获得的图像帧数据以进行帧间编码。并对帧间编码数据进行运动补偿。
需要说明的是，本申请通过引入色度差表征紫边现象在帧间编码过程中对图像质量的影响，进而选择对紫边效应抑制效果更好的编码方式，以提高图像质量。执行帧内编码与帧间编码的具体流程不为本申请的重点内容，在此不对其编码细节进行赘述。
在一些实施例中，还提供一种视频编码装置，所述装置包括：预处理模块、检测模块、编码模块；
所述预处理模块用于从待编码视频序列中提取待编码图像帧；所述待编码视频序列包括GOP组；所述待编码图像帧包括待编码单元；
所述检测模块用于根据所述待编码图像帧归属的GOP组，确定所述待编码图像帧的编码类型；
所述编码模块用于在所述待编码图像帧的编码类型为帧内编码时，基于帧内预测模式对所述待编码图像帧的当前待编码单元执行编码；
所述编码模块用于在所述待编码图像帧的编码类型为帧间编码时，根据所述当前待编码单元与其它方块的相似度从帧内预测模式与帧间预测模式中选取优胜预测模式，以及基于所述优胜预测模式对所述当前待编码单元执行编码。
在一些实施例中，还提供一种电子设备，所述电子设备包括处理器，以及与所述处理器通信连接的存储器；其中，所述存储器存储有可被所述处理器执行的指令，以使所述处理器执行如方法类实施例中所述的方法的步骤。
在一些实施例中，还提供一种计算机可读存储介质，所述计算机可读存储介质中包括至少一个计算机指令，所述至少一个计算机指令用于使计算机执行如方法类实施例中所述的方法的步骤。
由上述技术内容可知，本申请提供一种视频编码方法、装置、电子设备及存储介质。所述方法根据待编码图像帧归属的GOP组判断待编码图像帧的编码类型。在待编码图像帧的编码类型为帧内编码时，基于帧内预测模式对待编码图像帧中的待编码单元执行编码；在待编码图像帧的编码类型为帧间编码时，根据当前待编码单元与其它方块的相似度从帧内预测模式与帧间预测模式中选取优胜预测模式，并基于优胜预测模式对当前待编码单元执行编码。通过对待编码单元的编码方式进行选择，以抑制拖影效果在相邻待编码图像帧中的传递效应，进而缓解编码得到的图像中的拖影效应。
本申请提供的实施例之间的相似部分相互参见即可，以上提供的具体实施方式只是本申请总的构思下的几个示例，并不构成本申请保护范围的限定。对于本领域的技术人员而言，在不付出创造性劳动的前提下依据本申请方案所扩展出的任何其他实施方式都属于本申请的保护范围。
Claims (11)
1.一种视频编码方法，其特征在于，包括：
从待编码视频序列中提取待编码图像帧；所述待编码视频序列包括GOP组；所述待编码图像帧包括待编码单元；
根据所述待编码图像帧归属的GOP组，确定所述待编码图像帧的编码类型；
若所述待编码图像帧的编码类型为帧内编码，则基于帧内预测模式对所述待编码图像帧的当前待编码单元执行编码；
若所述待编码图像帧的编码类型为帧间编码，则根据所述当前待编码单元与其它方块的相似度从帧内预测模式与帧间预测模式中选取优胜预测模式；其中，若帧内编码SAD值小于或等于帧间编码SAD值，则选取帧内预测模式为优胜预测模式；若帧内编码SAD值大于帧间编码SAD值，则选取帧间预测模式为优胜预测模式；
基于所述优胜预测模式对所述当前待编码单元执行编码。
2.根据权利要求1所述的视频编码方法，其特征在于，根据所述待编码图像帧归属的GOP组，确定所述待编码图像帧的编码类型，包括：
获取所述待编码视频序列中GOP组的长度；
根据GOP组的长度确定所述待编码图像帧归属的GOP组；
提取所述待编码图像帧在所述GOP组中的位置编号；
根据所述位置编号确定所述待编码图像帧的编码类型。
3.根据权利要求1所述的视频编码方法，其特征在于，还包括：
对所述待编码图像帧执行方块分割，得到待编码单元；
将所述待编码单元排序，得到方块序列；
从所述方块序列中提取当前待编码单元。
4.根据权利要求3所述的视频编码方法，其特征在于，还包括：
根据所述当前待编码单元的像素值计算当前待编码单元的亮度均值与色度均值；
设置畸变项阈值；
若所述亮度均值小于或等于所述畸变项阈值，则设置所述畸变项系数为0；
若所述亮度均值大于所述畸变项阈值，则根据所述当前待编码单元归属的待编码图像帧的编码类型设置畸变项系数。
5.根据权利要求4所述的视频编码方法，其特征在于，还包括：
基于所述当前待编码单元的亮度均值数据，计算帧内SAD值；
从所述帧内SAD值中提取最小值以作为所述当前待编码单元的帧内编码SAD值，所述帧内编码SAD值对应的帧内预测模式为所述当前待编码单元的帧内预测模式。
6.根据权利要求4所述的视频编码方法，其特征在于，还包括：
基于所述亮度均值与所述色度均值，对所述当前待编码单元执行颜色空间变换，得到所述当前待编码单元的副本数据。
7.根据权利要求6所述的视频编码方法，其特征在于，还包括：
在所述GOP组中选取当前待编码图像帧的参考帧；
在所述参考帧上选取与所述当前待编码单元的位置对应的搜索区；
对所述搜索区内的像素执行颜色空间变换，以得到所述搜索区的副本数据。
8.根据权利要求7所述的视频编码方法，其特征在于，还包括：
搜索所述当前待编码单元的待搜索坐标位置；
基于所述搜索区与所述搜索区的副本数据为所述待搜索坐标位置设置参考块；
基于所述参考块与所述畸变项计算所述当前待编码单元的帧间SAD值；
从所述帧间SAD值中提取最小值，以作为当前待编码单元的帧间编码SAD值，所述帧间编码SAD值对应的帧间预测模式为所述当前待编码单元的帧间预测模式。
9.一种视频编码装置，其特征在于，包括：预处理模块、检测模块、编码模块；
所述预处理模块用于从待编码视频序列中提取待编码图像帧；所述待编码视频序列包括GOP组；所述待编码图像帧包括待编码单元；
所述检测模块用于根据所述待编码图像帧归属的GOP组，确定所述待编码图像帧的编码类型；
所述编码模块用于在所述待编码图像帧的编码类型为帧内编码时，基于帧内预测模式对所述待编码图像帧的当前待编码单元执行编码；
所述编码模块用于在所述待编码图像帧的编码类型为帧间编码时，根据所述当前待编码单元与其它方块的相似度从帧内预测模式与帧间预测模式中选取优胜预测模式；其中，若帧内编码SAD值小于或等于帧间编码SAD值，则选取帧内预测模式为优胜预测模式；若帧内编码SAD值大于帧间编码SAD值，则选取帧间预测模式为优胜预测模式；
所述编码模块还用于基于所述优胜预测模式对所述当前待编码单元执行编码。
10.一种电子设备，其特征在于，包括：
处理器，以及与所述处理器通信连接的存储器；
其中，所述存储器存储有可被所述处理器执行的指令，以使所述处理器执行如权利要求1-8中任一项所述的方法的步骤。
11.一种计算机可读存储介质，其特征在于，包括：
所述计算机可读存储介质中包括至少一个计算机指令，所述至少一个计算机指令用于使计算机执行如权利要求1-8中任一项所述的方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311218447.1A CN116962685B (zh) | 2023-09-21 | 2023-09-21 | 视频编码方法、装置、电子设备及存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311218447.1A CN116962685B (zh) | 2023-09-21 | 2023-09-21 | 视频编码方法、装置、电子设备及存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN116962685A CN116962685A (zh) | 2023-10-27 |
| CN116962685B true CN116962685B (zh) | 2024-01-30 |
Family
ID=88460524
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202311218447.1A Active CN116962685B (zh) | 2023-09-21 | 2023-09-21 | 视频编码方法、装置、电子设备及存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN116962685B (zh) |
Citations (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101198065A (zh) * | 2006-12-04 | 2008-06-11 | 中兴通讯股份有限公司 | 一种帧间与帧内编码模式的选择方法 |
| CN102186070A (zh) * | 2011-04-20 | 2011-09-14 | 北京工业大学 | 分层结构预判的快速视频编码方法 |
| CN109151469A (zh) * | 2017-06-15 | 2019-01-04 | 腾讯科技（深圳）有限公司 | 视频编码方法、装置及设备 |
| CN110996102A (zh) * | 2020-03-03 | 2020-04-10 | 眸芯科技（上海）有限公司 | 抑制p/b帧中帧内块呼吸效应的视频编码方法及装置 |
| CN112449182A (zh) * | 2019-08-28 | 2021-03-05 | 广州虎牙科技有限公司 | 视频编码方法、装置、设备及存储介质 |
| CN113301347A (zh) * | 2021-05-08 | 2021-08-24 | 广东工业大学 | 一种hevc高清视频编码的优化方法 |
| WO2021190600A1 (zh) * | 2020-03-25 | 2021-09-30 | 南京金斯瑞生物科技有限公司 | 一种基因自动化组装系统和方法 |
| CN113938679A (zh) * | 2021-10-09 | 2022-01-14 | 腾讯科技（深圳）有限公司 | 图像类型的确定方法、装置、设备及存储介质 |
| CN114745549A (zh) * | 2022-04-02 | 2022-07-12 | 北京广播电视台 | 一种基于感兴趣区域的视频编码方法和系统 |
| CN116233462A (zh) * | 2023-03-06 | 2023-06-06 | 格兰菲智能科技有限公司 | 视频编码方法、视频编码系统及视频编码器 |
| CN116647704A (zh) * | 2023-06-07 | 2023-08-25 | 北京富通亚讯网络信息技术有限公司 | Hevc数据选项的视频编解码联合差错控制方法 |
-
2023
- 2023-09-21 CN CN202311218447.1A patent/CN116962685B/zh active Active
Patent Citations (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101198065A (zh) * | 2006-12-04 | 2008-06-11 | 中兴通讯股份有限公司 | 一种帧间与帧内编码模式的选择方法 |
| CN102186070A (zh) * | 2011-04-20 | 2011-09-14 | 北京工业大学 | 分层结构预判的快速视频编码方法 |
| CN109151469A (zh) * | 2017-06-15 | 2019-01-04 | 腾讯科技（深圳）有限公司 | 视频编码方法、装置及设备 |
| CN112449182A (zh) * | 2019-08-28 | 2021-03-05 | 广州虎牙科技有限公司 | 视频编码方法、装置、设备及存储介质 |
| CN110996102A (zh) * | 2020-03-03 | 2020-04-10 | 眸芯科技（上海）有限公司 | 抑制p/b帧中帧内块呼吸效应的视频编码方法及装置 |
| WO2021190600A1 (zh) * | 2020-03-25 | 2021-09-30 | 南京金斯瑞生物科技有限公司 | 一种基因自动化组装系统和方法 |
| CN113301347A (zh) * | 2021-05-08 | 2021-08-24 | 广东工业大学 | 一种hevc高清视频编码的优化方法 |
| CN113938679A (zh) * | 2021-10-09 | 2022-01-14 | 腾讯科技（深圳）有限公司 | 图像类型的确定方法、装置、设备及存储介质 |
| CN114745549A (zh) * | 2022-04-02 | 2022-07-12 | 北京广播电视台 | 一种基于感兴趣区域的视频编码方法和系统 |
| CN116233462A (zh) * | 2023-03-06 | 2023-06-06 | 格兰菲智能科技有限公司 | 视频编码方法、视频编码系统及视频编码器 |
| CN116647704A (zh) * | 2023-06-07 | 2023-08-25 | 北京富通亚讯网络信息技术有限公司 | Hevc数据选项的视频编解码联合差错控制方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN116962685A (zh) | 2023-10-27 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US10694179B2 (en) | Video coding using hybrid intra prediction | |
| CN108184129B (zh) | 一种视频编解码方法、装置及用于图像滤波的神经网络 | |
| KR101266168B1 (ko) | 영상의 부호화, 복호화 방법 및 장치 | |
| KR101200865B1 (ko) | 영상의 부호화 방법 및 장치, 복호화 방법 및 장치 | |
| US8369404B2 (en) | Moving image decoding device and moving image decoding method | |
| US9888240B2 (en) | Video processors for preserving detail in low-light scenes | |
| CN110036637B (zh) | 去噪声化已重构图像的方法及装置 | |
| US20130028322A1 (en) | Moving image prediction encoder, moving image prediction decoder, moving image prediction encoding method, and moving image prediction decoding method | |
| US8204136B2 (en) | Image encoding apparatus | |
| KR102123958B1 (ko) | 코딩 프로세스에서의 실시간 비디오 노이즈를 감소시키는 방법, 단말기, 및 컴퓨터로 판독할 수 있는 비휘발성 저장 매체 | |
| JP2006519565A (ja) | ビデオ符号化 | |
| KR20060016960A (ko) | Ｈ.264 비디오 코덱을 위한 적응형 움직임 예측 및 모드결정 장치 및 그 방법 | |
| CN113796077A (zh) | 视频编解码之亮度mpm列表导出的方法及装置 | |
| KR20120139552A (ko) | 디지털 비디오 데이터를 엔코딩하기 위한 방법 및 디지털 비디오 엔코더 시스템 | |
| CN107211161A (zh) | 包括最后阶段处理的扩展空间的视频编码优化 | |
| CN110557638A (zh) | 一种巡检无人机通信网络切换方法及系统 | |
| CN117156133B (zh) | 一种视频编码的帧间预测模式选择方法及装置 | |
| CN116962685B (zh) | 视频编码方法、装置、电子设备及存储介质 | |
| WO2022174469A1 (zh) | 一种光照补偿方法、编码器、解码器及存储介质 | |
| CN116916029A (zh) | 一种帧间预测方法、编码器、解码器及存储介质 | |
| CN113992911A (zh) | 全景视频h264编码的帧内预测模式确定方法和设备 | |
| CN117616751A (zh) | 动态图像组的视频编解码 | |
| CN112911301A (zh) | 一种局部亮度补偿方法、装置及计算机可读存储介质 | |
| TWI752488B (zh) | 視訊編解碼之方法和裝置 | |
| WO2024007116A1 (zh) | 解码方法、编码方法、解码器以及编码器 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |