CN115580723B - 一种屏幕内容图像的编码优化方法、系统、设备及介质 - Google Patents
一种屏幕内容图像的编码优化方法、系统、设备及介质 Download PDFInfo
- Publication number
- CN115580723B CN115580723B CN202211575962.0A CN202211575962A CN115580723B CN 115580723 B CN115580723 B CN 115580723B CN 202211575962 A CN202211575962 A CN 202211575962A CN 115580723 B CN115580723 B CN 115580723B
- Authority
- CN
- China
- Prior art keywords
- frame
- current frame
- current
- condition
- screen content
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 58
- 238000005457 optimization Methods 0.000 claims abstract description 29
- 239000013598 vector Substances 0.000 claims description 9
- 238000004891 communication Methods 0.000 claims description 3
- 230000008859 change Effects 0.000 abstract description 5
- 238000004364 calculation method Methods 0.000 abstract description 4
- 230000003044 adaptive effect Effects 0.000 description 4
- 238000010586 diagram Methods 0.000 description 4
- 230000008569 process Effects 0.000 description 4
- 238000012545 processing Methods 0.000 description 4
- 230000009286 beneficial effect Effects 0.000 description 3
- 230000000694 effects Effects 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 238000012360 testing method Methods 0.000 description 3
- 238000004590 computer program Methods 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 239000000463 material Substances 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000035772 mutation Effects 0.000 description 2
- 238000013139 quantization Methods 0.000 description 2
- 238000006467 substitution reaction Methods 0.000 description 2
- 230000005540 biological transmission Effects 0.000 description 1
- 230000006835 compression Effects 0.000 description 1
- 238000007906 compression Methods 0.000 description 1
- 230000008878 coupling Effects 0.000 description 1
- 238000010168 coupling process Methods 0.000 description 1
- 238000005859 coupling reaction Methods 0.000 description 1
- 238000006073 displacement reaction Methods 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 238000010295 mobile communication Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
- 230000007704 transition Effects 0.000 description 1
- 230000007723 transport mechanism Effects 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
- H04N19/103—Selection of coding mode or of prediction mode
- H04N19/109—Selection of coding mode or of prediction mode among a plurality of temporal predictive coding modes
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
- H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
- H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/189—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding
- H04N19/196—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding being specially adapted for the computation of encoding parameters, e.g. by averaging previously computed encoding parameters
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
- H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Computing Systems (AREA)
- Theoretical Computer Science (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
Abstract
本发明公开了一种屏幕内容图像的编码优化方法、系统、设备及介质，本方法将屏幕内容图像集合输入至编码器中进行编码，得到Lookahead模块输出的当前帧；通过如下任意一种条件对当前帧进行优化：若当前帧为I帧或I帧后的第一个P帧，调整当前帧的QP；若当前帧为I帧后连续的第n个P帧，调整n个P帧中每个P帧的QP；若当前帧为I帧后连续的第m个P帧且当前帧为帧行内刷新，按时序调整m个P帧中每个P帧中的若干行宏块的QP；本发明具有简单可行和计算量低的特点，主要利用帧间预测的前向参考的特点，加上屏幕内容场景长时间变化较小，提出了针对调整帧级或宏块级QP的优化条件，来改善文字等细节要求较高区域的主观质量。
Description
技术领域
本发明涉及视频编码技术领域，特别涉及一种屏幕内容图像的编码优化方法、系统、设备及介质。
背景技术
一般情况下，屏幕内容图像包括以下几个类型：计算机图形文本、自然图像与图形文本结合的混合图像以及计算机所生成的动画。屏幕内容通常并不包含噪声，边缘也较为锐利，同时大部分屏幕图像的均匀平坦区域较多，重复图案与相同块也较多。相比自然内容，屏幕内容具有突变性，即画面可能在在连续的两帧间发生大面积甚至整个图像色彩变化或者位移，突变会导致编码使码率的波动从而超出带宽限制。
目前广泛使用的H.264编码标准，由于没有针对PPT等屏幕内容场景做特定优化，因此在较低码率下无法得到主观质量较高的屏幕内容视频，比如文字较多的PPT展示场景。H.265(HEVC)，H.266(VVC)等编码标准包含一些针对屏幕内容图像的编码工具(ScreenContent Coding, SCC)，比如Intra Block Copy (IBC)模式，因此提升了屏幕内容图像的编码质量。然而，这要求解码器必须支持SCC解码，但目前大部分解码器不支持SCC解码功能。
发明内容
本发明旨在至少解决现有技术中存在的技术问题。为此，本发明提出一种屏幕内容图像的编码优化方法、系统、设备及介质，能够增强屏幕内容图像编码的主观质量。
本发明的第一方面，提供一种屏幕内容图像的编码优化方法，所述屏幕内容图像的编码优化方法包括：
将屏幕内容图像集合输入至编码器中进行编码，得到Lookahead模块输出的当前帧；
通过第一条件至第四条件中的任意一种条件对所述当前帧进行优化；其中，第一条件包括若所述当前帧为I帧，调整所述当前帧的QP；第二条件包括若所述当前帧为I帧后的第一个P帧，调整所述当前帧的QP；第三条件包括若所述当前帧为I帧后连续的第n个P帧，调整n个P帧中每个P帧的QP，n为大于1的整数；第四条件包括若所述当前帧为I帧后连续的第m个P帧且所述当前帧为帧行内刷新，按时序调整m个P帧中每个P帧中的若干行宏块的QP，m表示大于0的整数。
根据本发明的实施例，至少具有如下技术效果：
本方法具有简单可行、计算量低的特点，本方法主要利用帧间预测的前向参考的特点，加上屏幕内容场景长时间变化较小，提出了针对调整帧级或宏块级QP的四种优化条件，来改善文字等细节要求较高区域的主观质量。
根据本发明的一些实施例，所述按时序调整m个P帧中每个P帧中的若干行宏块的QP，包括：
将每个P帧均划分为m个不重叠的调整区域；
分别调整每个P帧中的一个所述调整区域内所有宏块的QP；其中，任意两个P帧调整的宏块的所属所述调整区域不同。
根据本发明的一些实施例，通过如下方式判断所述当前帧的宏块是否处于所述当前帧的刷新区域：
获取所述当前帧中的当前宏块；
若所述当前宏块在所述当前帧中的y坐标范围在[B, B+c]之内，则所述当前宏块属于所述当前帧对应刷新区域；其中，B表示所述当前帧中的刷新区域起始边界，
，PTS表示编码后的所述当前帧的显示顺序，height表示屏幕内容图像的高，%表示取余运算，/表示整除运算，*表示乘法运算，c表示刷新范围。
根据本发明的一些实施例，所述第一条件至所述第三条件中调整的所述当前帧的QP数值相同。
根据本发明的一些实施例，任意两个所述调整区域内调整的宏块的QP数值相同。
根据本发明的一些实施例，在所述通过第一条件至第四条件中的任意一种条件对所述当前帧进行优化之前，所述屏幕内容图像的编码优化方法还包括：
判断所述当前帧的画面波动，若所述当前帧的画面波动超过预设波动，则执行所述通过第一条件至第四条件中的任意一种条件对所述当前帧进行优化；若所述当前帧的画面波动未超过所述预设波动，结束所述当前帧的编码。
根据本发明的一些实施例，通过如下方式判断所述当前帧的画面波动是否超过所述预设波动：
计算所述当前帧的运动矢量的均值
：
其中，
表示当前帧中的宏块个数，/>
表示第/>
个宏块的运动矢量，/>
表示当前帧的运动矢量的均值；
判断
与预设的波动阈值/>
之间的大小，若/>
，则所述当前帧的画面波动超过预设波动；若/>
，则所述当前帧的画面波动未超过所述预设波动。
本发明的第二方面，提供了一种屏幕内容图像的编码优化系统，所述屏幕内容图像的编码优化系统包括：
当前帧获取单元，用于将屏幕内容图像集合输入至编码器中进行编码，得到Lookahead模块输出的当前帧；
帧编码优化单元，用于通过第一条件至第四条件中的任意一种条件对所述当前帧进行优化；其中，第一条件包括若所述当前帧为I帧，调整所述当前帧的QP；第二条件包括若所述当前帧为I帧后的第一个P帧，调整所述当前帧的QP；第三条件包括若所述当前帧为I帧后连续的第n个P帧，调整n个P帧中每个P帧的QP，n为大于1的整数；第四条件包括若所述当前帧为I帧后连续的第m个P帧且所述当前帧为帧行内刷新，按时序调整m个P帧中每个P帧中的若干行宏块的QP，m表示大于0的整数。
由于屏幕内容图像的编码优化系统采用了上述实施例的屏幕内容图像的编码优化方法的全部技术方案，因此至少具有上述实施例的技术方案所带来的所有有益效果。
本发明的第三方面，提供了一种电子设备，包括至少一个控制处理器和用于与所述至少一个控制处理器通信连接的存储器；所述存储器存储有可被所述至少一个控制处理器执行的指令，所述指令被所述至少一个控制处理器执行，以使所述至少一个控制处理器能够执行上述屏幕内容图像的编码优化方法。由于电子设备采用了上述实施例的屏幕内容图像的编码优化方法的全部技术方案，因此至少具有上述实施例的技术方案所带来的所有有益效果。
本发明的第四方面，提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机可执行指令，所述计算机可执行指令用于使计算机执行上述的屏幕内容图像的编码优化方法。由于可读存储介质采用了上述实施例的屏幕内容图像的编码优化方法的全部技术方案，因此至少具有上述实施例的技术方案所带来的所有有益效果。
本发明的附加方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本发明的实践了解到。
附图说明
本发明的上述和/或附加的方面和优点从结合下面附图对实施例的描述中将变得明显和容易理解，其中：
图1是本发明一个实施例提供的一种帧间预测的示意图；
图2是本发明一个实施例提供的一种屏幕内容图像的编码优化方法的流程示意图；
图3是本发明一个实施例提供的当前帧执行第一条件至第四条件的流程示意图；
图4是本发明一个实施例提供的BDBR曲线的示意图；
图5是本发明一个实施例提供的一种电子设备的结构示意图。
具体实施方式
下面详细描述本发明的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，仅用于解释本发明，而不能理解为对本发明的限制。
需要说明的是，虽然在装置示意图中进行了功能模块划分，在流程图中示出了逻辑顺序，但是在某些情况下，可以以不同于装置中的模块划分，或流程图中的顺序执行所示出或描述的步骤。说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。
除非另有定义，本文所使用的所有的技术和科学术语与属于本申请的技术领域的技术人员通常理解的含义相同。本文中所使用的术语只是为了描述本申请实施例的目的，不是旨在限制本申请。
首先，对本申请中涉及的若干名词进行介绍：
1、帧间预测：如附图1所示，帧间预测是根据前向或者后向的参考帧来预测当前帧。在编码中GOP是指一组连续的图像，并且一个GOP的第一帧是I帧，在x264视频编码器中GOP最大为250帧。在baseline模式下，一个GOP内只包含I帧和P帧，P帧预测与前向参考帧和可参考的P帧有关，如果在预测当前P帧时参考的数据损失较大，则无法生成质量较高的画面，因此I帧的质量会影响后续P帧的质量，而且在线上展示场景中，一般一页PPT会持续2秒或者更长时间，所以较长的一个GOP中P帧质量会有波动的递减。因此I帧以及I帧后的第一个P帧的质量较为关键。
2、帧内刷新：在AVC（Advanced Video Coding，高级视频编码）中，有基于空域刷新思想降低传输时延的方法，称为帧内刷新（Intra Refresh）。帧内刷新方法通过强制连续的P帧在不同的条区域使用帧内预测来降低P帧码率的波动，其次帧间预测中的参考帧数量强制为1，可以降低I帧的数据量，但该方法编码后图像细节质量不高。
传统的预测加变换的方案对屏幕内容效果欠佳，在较低码率下的振铃效应明显，文字边缘较为模糊。最早屏幕内容编码方法出现在H.265/HEVC标准中，主要是利用好屏幕图像的这些特有特征从而大幅度提高其编码效率和图像质量，具体为帧内块拷贝(IntraBlock Copy)和调色板模式(Palette Mode)，IBC用来处理屏幕混合内容，主要针对同一屏幕内容中重复出现的模式进行处理的一种帧内图像预测技术，比如文本展示场景同一字母可能多次出现，就可以使用IBC从重建块直接复制到当前块而无需再次编码。调色板模式是枚举出现的有限种颜色值，对于每个像素只需要传输一个索引值表示其颜色而无需预测加变换的处理。虽然IBC可提升30%以上的压缩效率，如果加入调色板模式则可在IBC的基础上再提升15%，但其计算复杂度较高，对实时性要求较高的场景并不合适。目前广泛使用的H.264编码标准，由于没有针对PPT等屏幕内容场景做特定优化，因此在较低码率下无法得到主观质量较高的屏幕内容视频，比如文字较多的PPT展示场景。H.265(HEVC)，H.266(VVC)等编码标准包含一些针对屏幕内容图像的编码工具(Screen Content Coding, SCC)，比如Intra Block Copy (IBC)模式，因此提升了屏幕内容图像的编码质量。然而，这要求解码器必须支持SCC解码，但目前大部分解码器不支持SCC解码功能。
本申请针对线上展示的屏幕内容场景，利用帧间预测需要参考前向帧的特性，提出了不同的优化策略以精确地调整帧级或宏块级地QP（量化参数）来增强图像编码的主观质量。具体参照图2，本申请的一个实施例，以x264视频编码器为例，提供了一种屏幕内容图像的编码优化方法，本方法包括如下步骤S101和S102：
步骤S101、将屏幕内容图像集合输入至编码器中进行编码，得到Lookahead模块输出的当前帧。
步骤S102、通过第一条件至第四条件中的任意一种条件对当前帧进行优化；其中，第一条件包括若当前帧为I帧，调整当前帧的QP；第二条件包括若当前帧为I帧后的第一个P帧，调整当前帧的QP；第三条件包括若当前帧为I帧后连续的第n个P帧，调整n个P帧中每个P帧的QP，n为大于1的整数；第四条件包括若当前帧为I帧后连续的第m个P帧且当前帧为帧行内刷新，按时序调整m个P帧中每个P帧中的若干行宏块的QP，m表示大于0的整数。
需要注意的是，当前帧是指视频编码器当前遍历到的一帧图像，本实施例使用到的当前帧是被Lookahead模块（视频编码器中的一个模块）处理之后的当前帧，在编码器中，对于经过lookahead后的每一帧，会分配一个整个帧的QP值。本实施例的步骤S102利用帧间预测需要参考前向帧的特性，进而更精确地调整帧级或宏块级地QP来增强主观质量，步骤S102通过如下四个条件中的任意一种条件对当前帧进行优化，如图3所示：
第一条件：若当前帧为I帧，调整当前帧的QP。需要注意的是，在视频编码器编码中的一组GOP只有第一帧是I帧，一组GOP是指一组连续的图像。
第二条件：若当前帧为I帧后的第一个P帧，调整当前帧的QP。
第三条件：若当前帧为I帧后连续的第n个P帧，调整每个P帧的QP，n为大于1的整数。
第四条件：若当前帧为I帧后连续的第m个P帧且当前帧为帧行内刷新，按时序调整m个P帧中每个P帧中的若干行宏块的QP，m表示大于0的整数。
其中，在第四条件中，按时序调整m个P帧中每个P帧中的若干行宏块的QP包括如下步骤S1021至S1022：
步骤S1021、将每个P帧均划分为m个不重叠的调整区域。
步骤S1022、分别调整每个P帧中的一个调整区域内所有宏块的QP；其中，任意两个P帧调整的宏块的所属调整区域不同。
例如，当前帧是I帧的后连续第3个P帧，且当前帧执行第四条件优化，假设对于连续的3个P帧，每帧都划分为3个不重叠的调整区域，第一帧调整第一个调整区域内所有宏块的QP，第二帧调整第二个调整区域内所有宏块的QP，以此类推。
需要注意的是，考虑计算机读取的速度问题，且因第四条件为按行刷新，为了能让编码后画面波动降到最低，需要连续的自然过渡，所以调整区域的划分是连续的。调整区域的大小是固定的，并不需要单独指定每一帧具体的调整区域，因编码器在这一步之前的处理中得到了帧的序号和类型并完成了宏块的划分。
在本申请的一些实施例中，通过如下方式判断当前帧的宏块是否处于当前帧的刷新区域：
获取当前帧中的当前宏块，若当前宏块在当前帧中的y坐标范围在[B, B+c]之内，则当前宏块属于当前帧对应刷新区域；其中，B表示当前帧中的刷新区域起始边界，
，PTS表示编码后的当前帧的显示顺序，height表示屏幕内容图像的高，%表示取余运算，/表示整除运算，*表示乘法运算，c表示刷新范围。
值得注意的是，当前宏块是视频编码器正在处理的当前帧中，遍历到的宏块。视频编码器得到图像做的第一步就是划分宏块，这时就可得到每帧中每个宏块的横纵坐标，该数据会持续到编码结束，因此本方法可以在遍历宏块时根据坐标判断当前处理的宏块是否在指定的刷新区域中。还值得注意的是，刷新区域起始边界的判断条件，不依赖其他帧的数据处理刷新。
上述四个条件中的第一条件至第三条件为帧级调整（时域调整），第四条件是调整连续几帧中不同区域的宏块，为宏块级调整（空域和时域调整）。上述四个条件是相互独立的四个条件，每一个条件分别在视频编码器中设置一个调整开关，四个条件具有四个调整开关，调整开关的开启通过人为选择，在编码时可以有选择开启。在本申请的一些实施例中，人为选择是按照场景划分，比如文字场景较多，那就在视频编码器中打开第四条件的调整开关，视频编码器自动执行该条件，比如画面比较剧烈，那根据当前帧的类型（I帧、I帧后的第一P帧或者I帧后的连续第n个P帧）就在视频编码器中打开第一条件、第二条件或第三条件的调整开关。
例如：若只开启第四条件的调整开关，那视频编码器中的一个GOP内所有P帧都会按行刷新（即按时序调整每个P帧中的若干行宏块的QP），一直持续到这一个GOP结束，下一个GOP同样。若开启第四条件的调整开关的同时，也开启第二条件和第三条件的调整开关，那么视频编码器首先会做一个GOP内的第一个P帧或者连续几个P帧的调整，该GOP内剩下的P帧做执行按行刷新。若开启第一条件和第四条件的调整开关，那么视频编码器会对一个GOP内I帧进行QP值调整，P帧按行刷新。
本方法具有简单可行、计算量低的特点，本方法主要利用帧间预测的前向参考的特点，加上屏幕内容场景长时间变化较小，提出了针对调整帧级或宏块级QP的四种优化条件，来改善文字等细节要求较高区域的主观质量。
为了实现视频编码器在编码过程的自适应优化，本申请的一个实施例，以x264视频编码器为例，提供了一种屏幕内容图像的编码优化方法，本方法在上述的方法的基础上实现自适应优化，本方法包括如下步骤S201至S205：
步骤S201、获取待处理的屏幕内容图像集合。例如线上展示场景中的PPT，一般一页PPT会持续2秒或更长时间。
步骤S202、将屏幕内容图像输入至编码器中进行编码，得到Lookahead模块输出的当前GOP的当前帧。当前GOP是指视频编码器当前正在处理的一个GOP。
步骤S203、判断当前帧的画面波动，若当前帧的画面波动超过预设波动，则执行步骤S204；若当前帧的画面波动未超过预设波动，结束当前帧的编码。设置步骤S203的作用是实现编码器对当前GOP中每一帧的自动判断，判断其是否需要执行后续的帧优化策略，实现自适应优化。即：
步骤S2031、计算当前帧的运动矢量的均值
：
其中，
表示当前帧中的宏块个数，/>
表示第/>
个宏块的运动矢量，/>
表示当前帧的运动矢量的均值。
步骤S2032、判断
与预设的波动阈值/>
之间的大小，若/>
，则当前帧的画面波动超过预设波动；若/>
，则当前帧的画面波动未超过预设波动。
步骤S204、通过第一条件至第四条件中的任意一种条件对当前帧进行优化，在优化后，完成当前帧的编码：
第一条件：若当前GOP中的当前帧为I帧，调整当前帧的QP，即QP=QP-X，X为定值。
第二条件：若当前GOP中的当前帧为I帧后的第一个P帧，调整当前帧的QP，即QP=QP-X，X为定值。
第三条件：若当前GOP中的当前帧为I帧后连续的第n个P帧，调整每个P帧的QP，即QP=QP-X，X为定值，n为大于1的整数。其中，第一条件至第三条件中的X相等。
第四条件：若当前GOP中的当前帧为I帧后连续的第m个P帧且当前帧为帧行内刷新，将每个P帧均划分为m个不重叠的刷新区域，分别调整每个P帧中的一个刷新区域内所有宏块的QP，即QP=QP-Y，Y为定值，m为大于0的整数。其中，每一个宏块调整的Y相等。
步骤S204中的每一个条件的调整开关，可以提前设置完成（例如根据画面是否剧烈，以及文字场景是否较多等因素，提前打开某些条件的调整开关），那么执行本方法后，整个视频编码器可以实现自适应执行。
步骤S205、调整至步骤S202，开启下一帧的判断，依次类推，直至完成当前GOP中的编码。
以下提供一组实验数据：
实验环境：Intel(R) Core(TM) i9-9900KF CPU @ 3.60GHz。实验测试序列：BasketballDrillText_832x480_50.yuv、ChinaSpeed_1024x768_30.yuv、SlideEditing_1280x720_30.yuv、SlideShow_1280x720_20.yuv。
PSNR（峰值信噪比）/SSIM（structural similarity index measurement，一种衡量两幅图像结构相似度的新指标）结果如下表1所示：
每个序列测试时使用统一编码模式和比特率，H.264为x264编码器编码结果。
表1
PSNR数据及BDBR（视频编码器性能评价指标之一）曲线如下表2和图4所示：
表2
本方法的刷新策略具有简单可行、计算量低的特点，主要利用帧间预测的前向参考的特点，加上屏幕内容场景长时间变化较小，提出了针对调整帧级或宏块级量化参数QP的四种条件，来改善文字等细节要求较高区域的主观质量，自适应完成整个编码调整。通过在四个屏幕内容标准测试序列的实验发现，不同的调整条件相比于原始x264编码PSNR有提升，且主观质量提升较为明显，尤其是视频中包含较多文字时，文字部分的细节更加清晰，难以分辨的文字经过刷新后能恢复部分质量。
本申请的一个实施例，提供了一种屏幕内容图像的编码优化系统，屏幕内容图像的编码优化系统包括当前帧获取单元和帧编码优化单元，具体如下所示：
当前帧获取单元用于将屏幕内容图像集合输入至编码器中进行编码，得到Lookahead模块输出的当前帧。
帧编码优化单元用于通过第一条件至第四条件中的任意一种条件对当前帧进行优化；其中，第一条件包括若当前帧为I帧，调整当前帧的QP；第二条件包括若当前帧为I帧后的第一个P帧，调整当前帧的QP；第三条件包括若当前帧为I帧后连续的第n个P帧，调整n个P帧中每个P帧的QP，n为大于1的整数；第四条件包括若当前帧为I帧后连续的第m个P帧且当前帧为帧行内刷新，按时序调整m个P帧中每个P帧中的若干行宏块的QP，m表示大于0的整数。
需要注意的是，本系统实施例与上述的方法实施例是基于相同的发明构思，因此上述方法实施例的相关内容同样适用于本系统实施例，此处不再赘述。
参照图5，本申请还提供一种电子设备，包括：存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，处理器执行计算机程序时实现：如上述的屏幕内容图像的编码优化方法。
处理器和存储器可以通过总线或者其他方式连接。
存储器作为一种非暂态计算机可读存储介质，可用于存储非暂态软件程序以及非暂态性计算机可执行程序。此外，存储器可以包括高速随机存取存储器，还可以包括非暂态存储器，例如至少一个磁盘存储器件、闪存器件、或其他非暂态固态存储器件。在一些实施方式中，存储器可选包括相对于处理器远程设置的存储器，这些远程存储器可以通过网络连接至该处理器。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
实现上述实施例的屏幕内容图像的编码优化方法所需的非暂态软件程序以及指令存储在存储器中，当被处理器执行时，执行上述实施例中的屏幕内容图像的编码优化方法，例如，执行以上描述的图2中的方法步骤S101至步骤S102。
本申请还提供一种计算机可读存储介质，存储有计算机可执行指令，计算机可执行指令用于执行：如上述的屏幕内容图像的编码优化方法。
该计算机可读存储介质存储有计算机可执行指令，该计算机可执行指令被一个处理器或控制器执行，例如，被上述电子设备实施例中的一个处理器执行，可使得上述处理器执行上述实施例中的屏幕内容图像的编码优化方法，例如，执行以上描述的图2中的方法步骤S101至步骤S102。
本领域普通技术人员可以理解，上文中所公开方法中的全部或某些步骤、系统可以被实施为软件、固件、硬件及其适当的组合。某些物理组件或所有物理组件可以被实施为由处理器，如中央处理器、数字信号处理器或微处理器执行的软件，或者被实施为硬件，或者被实施为集成电路，如专用集成电路。这样的软件可以分布在计算机可读介质上，计算机可读介质可以包括计算机存储介质（或非暂时性介质）和通信介质（或暂时性介质）。如本领域普通技术人员公知的，术语计算机存储介质包括在用于存储数据（诸如计算机可读指令、数据结构、程序模块或其他数据）的任何方法或技术中实施的易失性和非易失性、可移除和不可移除介质。计算机存储介质包括但不限于RAM、ROM、EEPROM、闪存或其他存储器技术、CD-ROM、数字多功能盘（DVD）或其他光盘存储、磁盒、磁带、磁盘存储或其他磁存储装置、或者可以用于存储期望的数据并且可以被计算机访问的任何其他的介质。此外，本领域普通技术人员公知的是，通信介质通常包含计算机可读指令、数据结构、程序模块或者诸如载波或其他传输机制之类的调制数据信号中的其他数据，并且可包括任何数据递送介质。
在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示意性实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不一定指的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施例或示例中以合适的方式结合。
以上是对本申请实施例的较佳实施进行了具体说明，但本申请实施例并不局限于上述实施方式，熟悉本领域的技术人员在不违背本申请实施例精神的前提下还可作出种种的等同变形或替换，这些等同的变形或替换均包含在本申请实施例权利要求所限定的范围内。
Claims (9)
1.一种屏幕内容图像的编码优化方法，其特征在于，所述屏幕内容图像的编码优化方法包括：
将屏幕内容图像集合输入至编码器中进行编码，得到Lookahead模块输出的当前帧；
通过第一条件至第四条件中的任意一种条件对所述当前帧进行优化；其中，第一条件包括若所述当前帧为I帧，调整所述当前帧的QP；第二条件包括若所述当前帧为I帧后的第一个P帧，调整所述当前帧的QP；第三条件包括若所述当前帧为I帧后连续的第n个P帧，调整n个P帧中每个P帧的QP，n为大于1的整数；第四条件包括若所述当前帧为I帧后连续的第m个P帧且所述当前帧为帧行内刷新，按时序调整m个P帧中每个P帧中的若干行宏块的QP，m表示大于0的整数，其中，所述按时序调整m个P帧中每个P帧中的若干行宏块的QP，包括：
将每个P帧均划分为m个不重叠的调整区域；
分别调整每个P帧中的一个所述调整区域内所有宏块的QP；其中，任意两个P帧调整的宏块的所属所述调整区域不同。
2.根据权利要求1所述的屏幕内容图像的编码优化方法，其特征在于，通过如下方式判断所述当前帧的宏块是否处于所述当前帧的刷新区域：
获取所述当前帧中的当前宏块；
若所述当前宏块在所述当前帧中的y坐标范围在[B, B+c]之内，则所述当前宏块属于所述当前帧对应刷新区域；其中，B表示所述当前帧中的刷新区域起始边界，
，PTS表示编码后的所述当前帧的显示顺序，height表示屏幕内容图像的高，%表示取余运算，/表示整除运算，*表示乘法运算，c表示刷新范围。
3.根据权利要求1所述的屏幕内容图像的编码优化方法，其特征在于，所述第一条件至所述第三条件中调整的所述当前帧的QP数值相同。
4.根据权利要求2所述的屏幕内容图像的编码优化方法，其特征在于，任意两个所述调整区域内调整的宏块的QP数值相同。
5.根据权利要求1所述的屏幕内容图像的编码优化方法，其特征在于，在所述通过第一条件至第四条件中的任意一种条件对所述当前帧进行优化之前，所述屏幕内容图像的编码优化方法还包括：
判断所述当前帧的画面波动，若所述当前帧的画面波动超过预设波动，则执行所述通过第一条件至第四条件中的任意一种条件对所述当前帧进行优化；若所述当前帧的画面波动未超过所述预设波动，结束所述当前帧的编码。
6.根据权利要求5所述的屏幕内容图像的编码优化方法，其特征在于，通过如下方式判断所述当前帧的画面波动是否超过所述预设波动：
计算所述当前帧的运动矢量的均值
：
其中，
表示当前帧中的宏块个数，/>
表示第/>
个宏块的运动矢量，/>
表示当前帧的运动矢量的均值；
判断
与预设的波动阈值/>
之间的大小，若/>
，则所述当前帧的画面波动超过预设波动；若/>
，则所述当前帧的画面波动未超过所述预设波动。
7.一种屏幕内容图像的编码优化系统，其特征在于，所述屏幕内容图像的编码优化系统包括：
当前帧获取单元，用于将屏幕内容图像集合输入至编码器中进行编码，得到Lookahead模块输出的当前帧；
帧编码优化单元，用于通过第一条件至第四条件中的任意一种条件对所述当前帧进行优化；其中，第一条件包括若所述当前帧为I帧，调整所述当前帧的QP；第二条件包括若所述当前帧为I帧后的第一个P帧，调整所述当前帧的QP；第三条件包括若所述当前帧为I帧后连续的第n个P帧，调整n个P帧中每个P帧的QP，n为大于1的整数；第四条件包括若所述当前帧为I帧后连续的第m个P帧且所述当前帧为帧行内刷新，按时序调整m个P帧中每个P帧中的若干行宏块的QP，m表示大于0的整数，其中，所述按时序调整m个P帧中每个P帧中的若干行宏块的QP，包括：
将每个P帧均划分为m个不重叠的调整区域；
分别调整每个P帧中的一个所述调整区域内所有宏块的QP；其中，任意两个P帧调整的宏块的所属所述调整区域不同。
8.一种电子设备，其特征在于：包括至少一个控制处理器和用于与所述至少一个控制处理器通信连接的存储器；所述存储器存储有可被所述至少一个控制处理器执行的指令，所述指令被所述至少一个控制处理器执行，以使所述至少一个控制处理器能够执行权利要求1至6任一项所述的屏幕内容图像的编码优化方法。
9.一种计算机可读存储介质，其特征在于：所述计算机可读存储介质存储有计算机可执行指令，所述计算机可执行指令用于使计算机执行权利要求1至6任一项所述的屏幕内容图像的编码优化方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202211575962.0A CN115580723B (zh) | 2022-12-09 | 2022-12-09 | 一种屏幕内容图像的编码优化方法、系统、设备及介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202211575962.0A CN115580723B (zh) | 2022-12-09 | 2022-12-09 | 一种屏幕内容图像的编码优化方法、系统、设备及介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN115580723A CN115580723A (zh) | 2023-01-06 |
| CN115580723B true CN115580723B (zh) | 2023-06-09 |
Family
ID=84590378
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202211575962.0A Active CN115580723B (zh) | 2022-12-09 | 2022-12-09 | 一种屏幕内容图像的编码优化方法、系统、设备及介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN115580723B (zh) |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105163117A (zh) * | 2015-08-26 | 2015-12-16 | 华为技术有限公司 | 一种图像编码、处理方法及装置 |
| CN112752106A (zh) * | 2019-10-29 | 2021-05-04 | 北京新唐思创教育科技有限公司 | 视频图像帧的编码控制方法、装置及计算机存储介质 |
| CN112804528A (zh) * | 2021-02-05 | 2021-05-14 | 北京字节跳动网络技术有限公司 | 屏幕内容处理方法、装置及设备 |
| CN114466189A (zh) * | 2021-12-27 | 2022-05-10 | 浙江大华技术股份有限公司 | 码率控制方法、电子设备及存储介质 |
Family Cites Families (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102790878B (zh) * | 2011-12-07 | 2015-02-18 | 北京邮电大学 | 一种视频编码的编码模式选择方法及装置 |
| US20150063451A1 (en) * | 2013-09-05 | 2015-03-05 | Microsoft Corporation | Universal Screen Content Codec |
| US10097851B2 (en) * | 2014-03-10 | 2018-10-09 | Euclid Discoveries, Llc | Perceptual optimization for model-based video encoding |
| CN105791824B (zh) * | 2016-03-09 | 2018-08-31 | 西安电子科技大学 | 基于边缘点密度的屏幕内容编码预测模式快速选择方法 |
| CN106254868B (zh) * | 2016-08-19 | 2019-08-27 | 浙江宇视科技有限公司 | 视频编码码率控制方法、装置及系统 |
| CN107087172B (zh) * | 2017-03-22 | 2018-08-07 | 中南大学 | 基于hevc-scc的快速码率转码方法及其系统 |
| CN111541896B (zh) * | 2020-04-27 | 2022-03-29 | 中南大学 | 一种基于vvc的帧内预测模式的优化方法及系统 |
| CN113766226A (zh) * | 2020-06-05 | 2021-12-07 | 深圳市中兴微电子技术有限公司 | 图像编码方法、装置、设备及存储介质 |
| CN112073735B (zh) * | 2020-11-16 | 2021-02-02 | 北京世纪好未来教育科技有限公司 | 视频信息处理方法、装置、电子设备及存储介质 |
-
2022
- 2022-12-09 CN CN202211575962.0A patent/CN115580723B/zh active Active
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105163117A (zh) * | 2015-08-26 | 2015-12-16 | 华为技术有限公司 | 一种图像编码、处理方法及装置 |
| CN112752106A (zh) * | 2019-10-29 | 2021-05-04 | 北京新唐思创教育科技有限公司 | 视频图像帧的编码控制方法、装置及计算机存储介质 |
| CN112804528A (zh) * | 2021-02-05 | 2021-05-14 | 北京字节跳动网络技术有限公司 | 屏幕内容处理方法、装置及设备 |
| CN114466189A (zh) * | 2021-12-27 | 2022-05-10 | 浙江大华技术股份有限公司 | 码率控制方法、电子设备及存储介质 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN115580723A (zh) | 2023-01-06 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US11902567B2 (en) | Method, system and apparatus for intra-refresh in video signal processing | |
| US9386317B2 (en) | Adaptive picture section encoding mode decision control | |
| CN103813174B (zh) | 一种混合分辨率编解码方法和装置 | |
| US10715816B2 (en) | Adaptive chroma downsampling and color space conversion techniques | |
| US10178390B2 (en) | Advanced picture quality oriented rate control for low-latency streaming applications | |
| US9307241B2 (en) | Video encoding method and a video encoding apparatus using the same | |
| CN108012163B (zh) | 视频编码的码率控制方法及装置 | |
| JP2006519565A (ja) | ビデオ符号化 | |
| CN100581255C (zh) | 一种像素级环路滤波方法和滤波器 | |
| TW202218428A (zh) | 圖像編碼方法、圖像解碼方法及相關裝置 | |
| US11212536B2 (en) | Negative region-of-interest video coding | |
| CN109803146B (zh) | 视频的二次压缩方法、装置、介质和设备 | |
| CN107105240B (zh) | 一种hevc-scc复杂度控制方法及其系统 | |
| CN102196253B (zh) | 一种帧类型自适应选择的视频编码方法及装置 | |
| CN114071161A (zh) | 图像编码方法、图像解码方法及相关装置 | |
| US20150189297A1 (en) | Device and method for intra-encoding image blocks, storage medium carrying and use of a processing device for decoding intra-encoded image blocks | |
| CN115580723B (zh) | 一种屏幕内容图像的编码优化方法、系统、设备及介质 | |
| CN114071162A (zh) | 图像编码方法、图像解码方法及相关装置 | |
| CN116320446A (zh) | 视频编码方法及装置、电子设备和计算机介质 | |
| US20160360219A1 (en) | Preventing i-frame popping in video encoding and decoding | |
| CN117616751A (zh) | 动态图像组的视频编解码 | |
| CN105530517A (zh) | 一种解码器及有损解码视频图像的方法 | |
| US7809057B1 (en) | Methods for intra beating reduction in video compression | |
| US11973985B2 (en) | Video encoder with motion compensated temporal filtering | |
| CN117596392B (zh) | 编码块的编码信息确定方法及相关产品 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |