CN110300310B - 图像编码方法、装置及计算机存储介质 - Google Patents

图像编码方法、装置及计算机存储介质 Download PDF

Info

Publication number
CN110300310B
CN110300310B CN201810245784.2A CN201810245784A CN110300310B CN 110300310 B CN110300310 B CN 110300310B CN 201810245784 A CN201810245784 A CN 201810245784A CN 110300310 B CN110300310 B CN 110300310B
Authority
CN
China
Prior art keywords
image block
image
distortion
block
value
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201810245784.2A
Other languages
English (en)
Other versions
CN110300310A (zh
Inventor
赵寅
杨海涛
陈建乐
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Huawei Technologies Co Ltd
Original Assignee
Huawei Technologies Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Huawei Technologies Co Ltd filed Critical Huawei Technologies Co Ltd
Priority to CN201810245784.2A priority Critical patent/CN110300310B/zh
Publication of CN110300310A publication Critical patent/CN110300310A/zh
Application granted granted Critical
Publication of CN110300310B publication Critical patent/CN110300310B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/107—Selection of coding mode or of prediction mode between spatial and temporal predictive coding, e.g. picture refresh
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/154—Measured or subjectively estimated visual quality after decoding, e.g. measurement of distortion
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/2343—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/4402—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

本申请提供一种图像编码方法与装置，该方法包括：获取当前图像块；获取当前图像块中第一图像块的失真权重值，第一图像块的失真权重值由原始图像帧中的第二图像块的图像对比度和/或图像亮度确定，第一图像块对应在原始图像帧中的区域位于第二图像块内，第二图像块的面积大于第一图像块的面积；将第一图像块的失真权重值与第一图像块的第一失真值的乘积，作为第一图像块的第二失真值，第一图像块的第一失真值用于指示重建图像块与原始图像块的像素差异；根据第一图像块的第二失真值，获取当前图像块在第一编码模式下的率失真代价，并根据率失真代价确定当前图像块的目标编码模式。本申请提供方案可以提高最终编码后的图像的主观质量。

Description

图像编码方法、装置及计算机存储介质
技术领域
本申请涉及视频编解码领域，并具体涉及一种图像编码方法与装置。
背景技术
在视频编码标准H.265中，一帧图像被分割成互不重叠的编码树单元(codingtree unit， CTU)，一个CTU又可以被划分为一组编码单元(coding unit，CU)。针对一个CTU，其划分为一组CU的划分方式，以及这组CU中每个CU的编码方式，可以统称为这个CTU的编码模式。采用不同编码模式对一个CTU进行编码可能得到不同的码流和重建图像，其中，重建图像表示通过编码后得到的编码信息重建得到的图像。通常采用率失真优化(rate distortion optimization，RDO)技术来决策CTU应当采用的编码模式。
RDO技术的基本原理是，在多种编码模式中，选择率失真代价C最小的编码模式作为CTU的最终编码模式。率失真代价C等于失真值D与比特数B的加权组合，即C＝D+λB，其中，λ为加权系数，加权系数λ可以由量化参数确定。失真值D表示原始图像与编码后的重建图像之间的差异，比特数B表示编码时所需的比特数。应理解，如果采用一种编码模式对图像块进行编码，产生的失真值D越小且比特数B越少，则这种编码模式的编码效率越高。换句话说，一种编码模式的率失真代价C越小，则认为这种编码模式的编码效率越高。因此，在多种编码模式中，率失真代价C最小的编码模式被认为是最佳的编码模式。
在视频编码标准H.265中，失真值D等于原始图像与编码后的重建图像中各像素的平方误差和(sum of squared errors，SSE)，编码所需的比特数B由对编码信息进行熵编码估算得到。
但是，通过计算SSE得到的失真值D与人眼对图像失真的主观感受相差较大，采用以SSE为基础的率失真代价C来选择编码模式，会出现最终编码后的重建图像的主观质量较差，影响用户的视觉体验。
发明内容
本申请提供一种图像编码方法与装置，通过失真权重值修正失真值，使得修正后的失真值充分接近人眼感知的图像失真强度，从而采用基于修正后的失真值计算的率失真代价来选择编码模式，可以提高最终编码后的图像的主观质量，进而提高用户的视觉体验。
第一方面，提供了一种图像编码方法，该方法包括：获取当前图像块，该当前图像块包括第一图像块；获取该第一图像块的失真权重值，该第一图像块的失真权重值由该当前图像块对应的原始图像帧中的第二图像块的图像对比度和/或图像亮度确定，该第一图像块对应在该原始图像帧中的区域位于该第二图像块内，且该第二图像块的面积大于该第一图像块的面积；将该第一图像块的失真权重值与该第一图像块的第一失真值的乘积，作为该第一图像块的第二失真值，该第一图像块的第一失真值用于指示该第一图像块在第一编码模式下的重建图像块与该第一图像块对应的原始图像块之间的像素差异；根据该第一图像块的第二失真值，获取该当前图像块在该第一编码模式下的率失真代价，并根据该率失真代价确定该当前图像块的目标编码模式。
现有技术中，图像块的失真值只与该图像块对应的原始图像块与重建图像块之间的像素差异有关。
而在本申请实施例中，图像块的失真值除了与该图像块对应的原始图像块与重建图像块之间的像素差异有关之外，还与该图像块对应到原始图像帧中的区域的图像对比度和/ 或图像亮度有关，而且还与该图像块对应到原始图像帧中的区域的周围区域的图像对比度和/或图像亮度有关，因此，该图像块的失真值可以充分接近人眼对该图像块感知的图像失真强度。
因此，相对于现有技术，本申请实施例中用来计算率失真代价的图像失真值(即第二失真值)可以更进一步地接近人眼主观感知的失真强度，从而可以提高最终编码后的图像的主观质量，进而提高用户的视觉体验。
结合第一方面，在第一方面的一种可能的实现方式中，该当前图像块包括至少两个该第一图像块，该至少两个该第一图像块各自具有第二失真值，该根据该第一图像块的第二失真值，获取该当前图像块在该第一编码模式下的率失真代价，包括：将该至少两个该第一图像块具有的至少两个第二失真值的和，作为该当前图像块在该第一编码模式下的失真值；根据该当前图像块在该第一编码模式下的失真值，获取该当前图像块在该第一编码模式下的率失真代价。
结合第一方面，在第一方面的一种可能的实现方式中，该获取该第一图像块的失真权重值，包括：根据该第一图像块对应在该原始图像帧中的区域，确定该原始图像帧中的第三图像块，该第三图像块在该原始图像帧中的区域包括该第一图像块对应在该原始图像帧中的区域；根据该第三图像块在该原始图像帧中的区域，确定该第二图像块，该第二图像块的面积大于该第三图像块的面积，且该第二图像块包括该第三图像块；将该第三图像块的失真权重值作为该第一图像块的失真权重值，该第三图像块的失真权重值由该第二图像块的图像对比度和/或图像亮度确定。
结合第一方面，在第一方面的一种可能的实现方式中，该第三图像块的失真值还由该第三图像块的图像对比度和/或图像亮度确定。
结合第一方面，在第一方面的一种可能的实现方式中，该第三图像块为预划分图像块。
结合第一方面，在第一方面的一种可能的实现方式中，该第三图像块的失真权重值为预设值。
结合第一方面，在第一方面的一种可能的实现方式中，该第二图像块包括第四图像块和第五图像块，该第五图像块包括该第四图像块，且该第五图像块的面积大于该第四图像块的面积，该第一图像块的失真权重值由该第四图像块的图像对比度、该第五图像块的图像对比度以及该第五图像块的图像亮度确定。
考虑到相对于图像亮度，图像对比度对人眼感知图像的失真强度的影响较大，因此，根据第二图像块中包括的全部图像块的图像对比度和其中一个面积最大的图像块的图像亮度，确定第一图像块的失真权重值，一方面使得失真权重值可以体现人眼感知图像失真强度的特性，另一方面可以在一定程度上降低计算量。
结合第一方面，在第一方面的一种可能的实现方式中，该第一图像块的失真权重值为对比度因子与亮度因子的乘积，该对比度因子由该第二图像块的图像对比度确定，该亮度因子由该第二图像块的图像亮度确定。
结合第一方面，在第一方面的一种可能的实现方式中，该第一图像块的失真权重值wk是根据如下公式计算得到的：
Figure GDA0002617717070000031
其中，Bk,n表示该原始图像帧中的N个图像块中的第n个图像块，fc(Bk,n)表示图像块Bk,n的对比度因子，fc(Bk,n)为以该图像块Bk,n的图像对比度为变量的函数，αn为常数， Bk,N表示该N个图像块中面积最大的图像块，fl(Bk,N)表示图像块Bk,N的亮度因子， fl(Bk,N)为以图像块Bk,N的图像亮度为变量的函数，β为常数，且
Figure GDA0002617717070000032
该N 个图像块包括该第三图像块和该第二图像块，N为大于1的整数。
第二方面，提供一种编码装置，该编码装置用于执行上述第一方面或第一方面的任一可能的实现方式中的方法。具体地，该编码装置可以包括用于执行第一方面或第一方面的任一可能的实现方式中的方法的单元。
第三方面，提供一种编码装置，该编码装置包括存储器和处理器，该存储器用于存储指令，该处理器用于执行该存储器存储的指令，并且对该存储器中存储的指令的执行使得该处理器执行第一方面或第一方面的任一可能的实现方式中的方法。
第四方面，提供一种芯片，该芯片包括处理模块与通信接口，该处理模块用于控制该通信接口与外部进行通信，该处理模块还用于实现第一方面或第一方面的任一可能的实现方式中的方法。
第五方面，提供一种计算机可读存储介质，其上存储有计算机程序，该计算机程序被计算机执行时使得该计算机实现第一方面或第一方面的任一可能的实现方式中的方法。具体地，该计算机可以为视频编码器。
第六方面，提供一种包含指令的计算机程序产品，该指令被计算机执行时使得该计算机实现第一方面或第一方面的任一可能的实现方式中的方法。具体地，该计算机可以为视频编码器。
附图说明
图1为视频编码系统的示意图。
图2为本申请实施例提供的编码方法的示意性流程图。
图3和图4为本申请实施例在确定图像块的失真权重值的过程中获取该图像块对应的多个图像块的示意图。
图5为本申请实施例提供的编码装置的示意性框图。
图6为本申请实施例提供的编码装置的另一示意性框图。
具体实施方式
下面将结合附图，对本申请中的技术方案进行描述。
为了便于理解本申请实施例提供的方法，下面先介绍一些概念。
1)编码树单元(coding tree unit，CTU)。
在视频编码标准H.265中，CTU是最大的编码单元。一帧图像被分割为互不重叠的CTU。一个CTU通常对应于一个方形图像区域。例如，CTU的大小可设置为64×64。64×64 的CTU包含由64列、每列64个像素组成的矩形像素点阵，该矩形像素点阵中的每个像素包含亮度分量和/或色度分量。
2)编码单元(coding unit，CU)。
在视频编码标准H.265中，一个CTU又可以被划分为一组CU，每个CU分别进行编码。CU通常对应于一个A×B的矩形区域，包含A×B亮度像素和它对应的色度像素。A 表示CU的宽，B表示CU的高，A和B可以相同也可以不同，A和B的取值通常为2的整数次幂，例如256、128、64、32、16、8、4。一个CU可通过视频解码处理得到一个A×B 的矩形区域的重建图像。
3)原始图像。
原始图像指的是编码之前的图像。
相应地，原始图像帧指的是编码之前的图像帧；原始图像块指的是原始图像帧中的图像块。
4)重建图像。
重建图像指的是，通过对原始图像编码后得到的编码信息进行解码得到的图像。
获得重建图像的基本流程包括：对原始图像进行编码处理，获得编码信息；然后按照该编码信息对各图像块进行解码处理，获得重建图像。
相应地，重建图像块指的是，通过对原始图像块编码后得到的编码信息进行解码得到的图像块。
5)编码模式，包括划分模式与预测模式。
以CTU为例，划分模式指的是，一个CTU划分为多个CU的方式。例如一个大小为 64×64的CTU，可以按照第一种划分模式划分为8个大小为8×8的CU，也可以按照第二种划分模式划分为4个大小为16×16的CU。
预测模式指的是最小编码单元的编码方式，例如帧间编码方式或帧内编码方式。
6)率失真代价。
假设D表示图像的失真值，B表示编码比特数，率失真代价C可以根据如下公式获得：
C＝D+λB，
其中，λ为加权系数，通常由重建图像块的量化参数QP决定，例如λ＝0.57×2(QP -12)/3。
在编码器中，针对每个编码模式，都会计算其率失真代价。选择率失真代价最小的编码模式作为最终的编码模式。
例如，在决策一个CTU的划分模式的场景中，假设该CTU划分为4个CU，则计算 4个CU的率失真代价之和，与该CTU的率失真代价比较，决定是否进行划分。
再例如，在决策两个预测模式的场景中，分别计算该图像单元在两个预测模式下的率失真代价，然后选率失真代价最小的预测模式作为该图像单元最终的预测模式。
再例如，在决策一个图像单元的两种编码模式(包括划分模式与预测模式)的场景下，分别计算该图像单元在两种编码模式下的率失真代价，然后选择率失真代价最低的编码模式作为该图像单元最终的编码模式，以实现最优编码。
上文已述，现有技术中用来计算率失真代价的失真值只与原始图像与重建图像之间的像素差异有关，这样获得的失真值与人眼感知的图像失真强度相差较大，如果采用基于这样的失真值得到的率失真代价来选择图像(或视频)的编码模式，会导致最终编码后的图像(或视频)的主观质量较差，进而影响用户的视觉体验。
针对上述问题，本申请提出一种图像编码方法与装置，通过失真权重值修正失真值，使得修正后的失真值充分接近人眼感知的图像失真强度，从而使得采用基于修正后的失真值得到的率失真代价来选择编码模式，可以提高最终编码后的图像的主观质量，进而提高用户的视觉体验。
本申请实施例提供的方案可应用于视频通信系统。图1为视频通信系统的示意图。该视频通信系统包括源装置110与接收装置120。
其中，源装置110包括如下单元。
视频俘获装置111，用于获取待编码的视频数据。
视频存储器112，用于存储视频俘获装置获取的视频数据；
视频编码器113，用于对视频存储器中存储的视频数据进行视频编码(videoencoding)，得到视频码流。
视频编码(video encoding)表示将图像序列压缩成视频码流的处理过程。
发射器114，用于向接收装置120发送视频编码器113得到的视频码流，具体地，向接收装置120中的接收器发送编码比特流。
接收装置120包括如下单元。
接收器121，用于接收源装置110发送的视频码流，具体地，接收源装置110中的发射器114发送的视频码流。
视频解码器122，用于对接收器121接收到的视频码流进行视频解码(videodecoding)，得到重建图像。
视频解码(video decoding)表示，将视频码流按照特定的语法规则和解码处理恢复成重建图像的处理过程。其中，解码处理通常包括预测、反量化、反变换等处理。解码处理会产生预测图像和残差，将预测图像和残差叠加后就得到重建图像。
显示装置123，用于显示视频解码器122得到的重建图像。
本申请实施例提供的方案可应用于图1所示的视频通信系统中的视频编码器113。
图2为本申请实施例提供的图像编码方法的示意性流程图。该方法可以由编码器执行，例如，由如图1中所示的视频编码器113执行。该方法包括如下步骤。
210，获取当前图像块，该当前图像块包括第一图像块。
第一图像块可以为预设大小的图像块，如8×8大小的图像块或4×4大小的图像块。
以第一图像块为4×4图像块为例。若当前图像块为4×4图像块，则当前图像块包括一个第一图像块。若当前图像块为8×4图像块，则当前图像块被分割为2个第一图像块；若当前图像块为16×16图像块则当前图像块包括16个第一图像块。
为了便于理解与描述，本实施例中，以当前图像块包括一个第一图像块为例进行描述。下文会描述当前图像块包括多个第一图像块时的情形。
应理解，这里的当前图像块表示原始图像块，即编码之前的图像块。
220，获取该第一图像块的失真权重值，该第一图像块的失真权重值由该当前图像块对应的原始图像帧中的第二图像块的图像对比度和/或图像亮度确定，该第一图像块对应在该原始图像帧中的区域位于该第二图像块内，且该第二图像块的面积大于该第一图像块的面积。
当前图像块对应的原始图像帧指的是，包含当前图像块的图像帧。
应理解，由于第一图像块包含在当前图像块中，因此第一图像块与原始图像帧之间的关系也可以由上述描述理解到，这里不再赘述。
还应理解，第一图像块对应到原始图像帧中的区域，指的是，原始图像帧中位置、大小均与第一图像块相同的图像块所处的区域。
第二图像块为原始图像帧中的图像块，且该第二图像块位于原始图像帧中的区域包含第一图像块对应到原始图像帧中的区域，且该第二图像块的面积大于第一图像块的面积。由于第一图像块的失真权重值由第二图像块的图像对比度和/或图像亮度确定，因此，第一图像块的失真权重值与第一图像块对应到原始图像帧中的区域的图像对比度和/或图像亮度有关，此外还与第一图像块对应到原始图像帧中的区域的周围区域的图像对比度和/ 或图像亮度有关。
230，将该第一图像块的失真权重值与该第一图像块的第一失真值的乘积，作为该第一图像块的第二失真值，该第一图像块的第一失真值用于指示该第一图像块在第一编码模式下的重建图像块与该第一图像块对应的原始图像块之间的像素差异。
第一图像块在第一编码模式下的重建图像块，指的是，通过如下操作得到的图像块：根据第一编码模式对第一图像块进行解码处理(如预测、反量化、反变换等)，得到的重建图像块。
需要说明的是，本文中提及的重建图像块可以是滤波后的重建图像块，也可以是未进行环路滤波的重建图像块。这里的环路滤波操作可以包括去方块滤波(deblockingfilter) 和样本自适应补偿滤波(sample adaptive offset filter，SAO)或其他滤波操作。
具体地，将第一图像块在第一编码模式下的重建图像块记为图像块Aj，将第一图像块对应的原始图像块记为图像块Oj，则第一图像块的第一失真值等于图像块Aj中各像素与图像块Oj中对应位置上的像素之间的平方误差和(Sum of Squared Errors，SSE)。例如，根据如下公式计算第一图像块的第一失真值D1(Aj)：
Figure GDA0002617717070000061
其中，R为图像块Aj中像素的个数，Aj,r为图像块Aj中的一个像素，Oj,r为图像块Oj中与Aj,r位置相同的一个像素。
需要说明的是，还可以通过现有技术中的其他用于计算两个图像块之间的像素差异的方法来计算第一图像块的第一失真值，本实施例对此不作限定。
上文已述，第一图像块的失真权重值与第一图像块对应到原始图像帧中的区域的图像对比度和/或图像亮度有关，此外还与第一图像块对应到原始图像帧中的区域的周围区域的图像对比度和/或图像亮度有关。由于第一图像块的第二失真值等于第一图像块的失真权重值与第一图像块的第一失真值的乘积，因此，第一图像块的第二失真值不仅与像素差异有关，还与第一图像块对应到原始图像帧中的区域的图像对比度和/或图像亮度有关，而且还与第一图像块对应到原始图像帧中的区域的周围区域的图像对比度和/或图像亮度有关。
应理解，人眼在感知图像失真强度时，除了受图像像素差异的影响，还会受图像对比度与图像亮度的影响。此外，人眼在感知一个图像块的失真强度时，还会受到该图像块周围(上边、下边、左边或右边)图像的图像对比度与图像亮度的影响。
通过上述描述可知，第一图像块的第二失真值可以充分接近人眼对第一图像块感知的图像失真强度。换句话说，相比于现有技术，本申请中，第一图像块的第二失真值与人眼感知第一图像块的失真强度之间的差异较小。
240，根据该第一图像块的第二失真值，获取该当前图像块在该第一编码模式下的率失真代价，并根据该率失真代价确定该当前图像块的目标编码模式。
当前图像块的目标编码模式指的是，当前编码模式最终所使用的编码模式。
具体地，根据当前图像块在该第一编码模式下的失真值与编码比特数，计算当前图像块在该第一编码模式下的率失真代价。
其中，针对不同的情形，获取当前图像块在该第一编码模式下的失真值的方式不同。
第一种情形，当前图像块只包括一个第一图像块。
这种情形下，第一图像块的第二失真值就是当前图像块在第一编码模式下的失真值。即，在步骤230中获得第一图像块的第二失真值，就相当于获得当前图像块在第一编码模式下的失真值了。
第二种情形，当前图像块包括至少两个第一图像块。
这种情形下，将至少两个第一图像块各自的第二失真值的和，作为当前图像块在第一编码模式下的失真值。
应理解，至少两个第一图像块中每个第一图像块的第二失真值均可以通过上述步骤 220和步骤230获得。
当前图像块在该第一编码模式下的编码比特数，指的是，采用第一编码模式对当前图像块进行编码所需的比特数。获取当前图像块在第一编码模式下的编码比特数的方法为现有技术，本文不再赘述。
获得当前图像块在该第一编码模式下的失真值与编码比特数后，对当前图像块在该第一编码模式下的失真值与编码比特数进行加权求和，计算得到当前图像块在该第一编码模式下的率失真代价。
例如，将当前图像块在该第一编码模式下的失真值记为D，将当前图像块在该第一编码模式下的编码比特数记为B，可以采用如下公式，计算当前图像块在该第一编码模式下的率失真代价C:
C＝D+λB，
其中，λ为加权系数，通常由重建图像块的量化参数QP决定，例如λ＝0.57×2(QP -12)/3。
假设可以采用多种编码方式来编码当前图像块，通过本实施例中的步骤220至步骤240可以获得当前图像块在多种编码方式中的每种编码模式下的率失真代价，然后选择率失真代价最小的编码模式作为当前图像块最终的编码模式，即目标编码模式。
作为一个示例。假设编码器的编码方式包括第一编码模式与第二编码模式。通过本实施例提供的方法，获得当前图像块在第一编码模式下的率失真代价C1。通过本实施例提供的方法，获得当前图像块在第二编码模式下的率失真代价C2。如果C1小于C2，则将第一编码模式作为当前图像块的目标编码模式，如果C1大于C2，则将第二编码模式作为当前图像块的目标编码模式。
现有技术中，图像块的失真值只与该图像块对应的原始图像块与重建图像块之间的像素差异有关。
而在本申请实施例中，图像块的失真值除了与该图像块对应的原始图像块与重建图像块之间的像素差异有关之外，还与该图像块对应到原始图像帧中的区域的图像对比度和/ 或图像亮度有关，而且还与该图像块对应到原始图像帧中的区域的周围区域的图像对比度和/或图像亮度有关，因此，该图像块的失真值可以充分接近人眼对该图像块感知的图像失真强度。
因此，相对于现有技术，本申请实施例中用来计算率失真代价的图像失真值(即第二失真值)可以更进一步地接近人眼主观感知的失真强度，从而可以提高最终编码后的图像的主观质量，进而提高用户的视觉体验。
本实施例中的失真权重值是根据图像对比度和/或图像亮度确定的。
例如，在同等条件下，对一定范围内的图像对比度，图像对比度越大，对应的失真权重值越小，反之亦然。
再例如，在同等条件下，针对一定范围内的图像亮度，图像亮度越大，失真权重值越小，反之亦然。
可选地，在步骤220中，作为第一种实现方式，在原始图像帧中获取第二图像块，使得第二图像块在原始图像帧中的区域包含第一图像块对应在原始图像帧中的区域；根据第二图像块的图像对比度和/或图像亮度确定第一图像块的失真权重值。
可选地，在步骤220中，作为第二种实现方式，根据该第一图像块对应在该原始图像帧中的区域，确定该原始图像帧中的第三图像块，该第三图像块在该原始图像帧中的区域包括该第一图像块对应在该原始图像帧中的区域；根据该第三图像块在该原始图像帧中的区域，确定该第二图像块，该第二图像块的面积大于该第三图像块的面积，且该第二图像块包括该第三图像块；将该第三图像块的失真权重值作为该第一图像块的失真权重值，该第三图像块的失真权重值由该第二图像块的图像对比度和/或图像亮度确定。
第三图像块是第一图像块对应在原始图像帧中的图像块，即第三图像块是与第一图像块为位置相同，大小相等(即面积相等)的图像块。或者，第三图像块的面积大于第一图像块的面积。
第三图像块可以是原始图像帧中预先划分好的图像块。
在第二种实现方式中，首先根据该第一图像块对应在该原始图像帧中的区域，找到原始图像帧中的第三图像块，然后根据第三图像块在原始图像帧中的位置，找到用于计算第一图像块的失真权重值的第二图像块。
可选地，在步骤220中，作为第三种实现方式：根据该第一图像块对应在该原始图像帧中的区域，确定该原始图像帧中的第三图像块，该第三图像块在该原始图像帧中的区域包括该第一图像块对应在该原始图像帧中的区域；将该第三图像块的失真权重值作为该第一图像块的失真权重值，该第三图像块的失真权重值由该第二图像块的图像对比度和/或图像亮度确定，该第二图像块的面积大于该第三图像块的面积，且该第二图像块包括该第三图像块。
该第三图像块的失真权重值为预设值，例如，第三图像块的失真权重值可以是在步骤 220之前预先计算好的。
在本实现方式中，当根据该第一图像块对应在该原始图像帧中的区域确定该原始图像帧中的第三图像块后，就可以直接将第三图像块的失真权重值作为第一图像块的失真权重值，这样可以提高图像处理的效率。
可选地，在一些实施例中，第二图像块表示原始图像帧中的多个图像块。
例如，第二图像块表示原始图像帧中的第四图像块与第五图像块，且第四图像块位于原始图像帧中的区域包含第一图像块对应在原始图像帧中的区域，第五图像块位于原始图像帧中的区域包含第四图像块位于原始图像帧中的区域，第五图像块的面积大于第四图像块的面积。
在这种实施例中，第一图像块的失真权重值根据第二图像块的图像对比度和/或图像亮度确定，具体指的是，第一图像块的失真权重值根据原始图像帧中的多个图像块的图像对比度和/或图像亮度确定，其中，这多个图像块中的每个图像块在原始图像帧中的区域均包含第一图像块对应在原始图像帧中的区域，且，这多个图像块中的每个图像块的面积大于第一图像块的大小。
可选地，在上述第二种实现方式或第三种实现方式中，该第三图像块的失真权重值还由该第三图像块的图像对比度和/或图像亮度确定。
可选地，在上述第二种实现方式或第三种实现方式中，该第三图像块为预划分图像块。
具体地，预先将原始图像帧中的一个图像区域S分割为多个图像块，该第三图像块该图像区域S中的多个图像块中的一个图像块。
图像区域S可以是原始图像帧中的整个图像区域，或者，图像区域S可以是原始图像帧中的部分图像区域，例如，图像区域S为原始图像帧中的一个CTU的区域。
图像区域S按照预设规则，被划分为多个图像块。
例如，图像区域S按照该图像区域S中各个区域的图像复杂度，被划分为多个图像块。
图像区域S中划分的多个图像块的大小不完全相同，或者完全相同。具体地，在图像区域S中图像复杂的区域中，所划分的图像块的面积(即图像大小)较大，在图像简单的区域中，所划分的图像块的面积较小。
可选地，作为一种确定第一图像块的失真权重值的具体实现方式，该第一图像块的失真权重值为对比度因子与亮度因子的乘积，该对比度因子由该第二图像块的图像对比度确定，该亮度因子由该第二图像块的图像亮度确定。
例如，根据如下公式计算该第一图像块的失真权重值wk，第一图像块为图像区域中的第k个图像块：
Figure GDA0002617717070000091
其中，Bk,n表示该原始图像帧中的与第一图像块对应的N个图像块中的第n个图像块，fc(Bk,n)表示图像块Bk,n的对比度因子，fc(Bk,n)为以该图像块Bk,n的图像对比度为变量的函数，αn为常数，Bk,N表示该N个图像块中面积最大的图像块，fl(Bk,N)表示图像块Bk,N的亮度因子，fl(Bk,N)为以图像块Bk,N的图像亮度为变量的函数，β为常数，且
Figure GDA0002617717070000101
该N个图像块包括该第三图像块和该第二图像块，N为大于1的整数。
该N个图像块的图像区域均包含第一图像块对应在原始图像帧中的区域，且N个图像块的面积互不相同，例如，N个图像块中的第n+1个图像块Bk,n+1的面积大于N个图像块中第n个图像块Bk,n的面积，n为1，…，n-1。
例如，假设N个图像块为3个图像块：图像块1，图像块2和图像块3，其中，图像块3中包括图像块2，图像块2中包括图像块1。
为了便于更好地理解本申请实施例的方案，下文针对上述第三种实现方式，给出一种具体的获取失真权重值的方法，该方法包括如下步骤一和步骤二。
步骤一，将原始图像帧上的图像区域S划分为M个图像块Bk，k为1,2,…,M。
可选地，图像区域S可以是整个原始图像帧所在的区域，或者，可以是原始图像帧中的一部分区域，或者，可以是原始图像帧中的一个CTU对应的区域。
为了便于理解与描述，将图像块Bk的大小记为w×h，w表示图像块Bk的宽度，h表示图像块Bk的高度。
图像区域S中不同图像块Bk的大小可以相同。例如，均是大小为8×8的图像块，或者均是大小为4×4的图像块。
图像区域S中不同图像块Bk的大小也可以不完全相同。例如，对于较复杂图像区域的CTU，将其中的图像块的大小设置为4×4，将其它区域的CTU中的图像块的大小设置为8×8。
步骤二，获取图像块Bk的失真权重值wk。
具体地，根据图像块Bk对应的n个图像块Bk,n(n＝1,2,...,N)的图像对比度和/或n个图像块Bk,n中的至少一个图像块的图像亮度，获取图像块Bk的失真权重值wk。
具体地，步骤二可分为如下两个步骤①和②执行。
步骤①：确定图像块Bk对应的n个图像块Bk,n，n＝1,2,...,N。
其中，N为正整数。例如，N等于2或3或4。对高分辨率的图像，N可以取较大的值。例如，对于4K分辨率图像，N的值取4；对于高清图像，N的值取3；对于标清图像，N的值取2。
图像块Bk,n覆盖图像块Bk所在的区域，即图像块Bk,n的区域包含图像块Bk的区域。n个图像块Bk,n中至少有一个图像块的面积大于图像块Bk的面积。
应理解，本文提及的图像块的面积指的是，图像块所在区域的面积，即图像块的大小。
可选地，n可以称为图像块Bk,n的尺度，尺度n越大的图像块Bk,n，且面积越大。高一级尺度的图像块的宽(或高)相对于低一级尺度的图像块的宽(或高)扩大一倍。例如，图像块Bk,2的宽(或高)是图像块Bk,1图像块的宽(高)的2倍。
具体地，确定图像块Bk对应的n个图像块Bk,n的方式有多种。下文介绍确定图像块Bk对应的n个图像块Bk,n的几种方式。
为了便于理解与描述，将图像块Bk的大小记为w×h，将图像块Bk所在区域的左上角顶点的坐标记为(xk,yk)。
方式一。
图像块Bk对应的n个图像块Bk,n为以图像块Bk为中心、大小为2n-1w×2n-1h的图像块，图像块Bk,n所在区域的左上角顶点坐标为
Figure GDA0002617717070000111
图像块Bk,n的宽为2n-1w，高为2n-1h。
具体地，如图3所示，图像块Bk对应的3个图像块：Bk,1，Bk,2，Bk,3。图像块Bk,1， Bk,2与Bk,3均以图像块Bk为中心。其中，图像块Bk,1的大小为w×h，左上角顶点坐标为 (xk,yk)，宽为w，高为h。图像块Bk,2的大小为2w×2h，左上角顶点坐标为
Figure GDA0002617717070000112
宽为2w，高为2h。图像块Bk,3的大小为4w×4h，左上角顶点坐标为
Figure GDA0002617717070000113
宽为4w，高为4h。
应理解，在图3中，图像块Bk,1就是图像块Bk。
还应理解，在图3中，图像块Bk,3是图像块Bk对应的3个图像块中面积最大的图像块。
方式二。
图像块Bk对应的n个图像块Bk,n为n个覆盖图像块Bk、且大小分别为2n+Pw×2n+Qh的图像块。其中，P和Q为常数，例如P＝0，Q＝0；或P＝1，Q＝1；或P＝1，Q＝0。图像块Bk,n所在区域的左上角定点坐标为
Figure GDA0002617717070000121
图像块Bk,n的宽为 2n+pw，高为2n+ Qh。其中，
Figure GDA0002617717070000122
表示对a向下取整。
具体地，如图4所示，图像块Bk对应的3个图像块：Bk,1，Bk,2，Bk,3。假设P＝0， Q＝0。图像块Bk,1的大小为2w×2h，左上角定点坐标为
Figure GDA0002617717070000123
宽为2w，高为2h。图像块Bk,2的大小为4w×4h，左上角定点坐标为
Figure GDA0002617717070000124
宽为4w，高为4h。图像块Bk,3的大小为8w×8h，左上角定点坐标为
Figure GDA0002617717070000125
宽为8w，高为8h。
应理解，在图4中，图像块Bk,3是图像块Bk对应的3个图像块中面积最大的图像块。
还应理解，上述结合图3和图4描述的两种确定图像块Bk对应的n个图像块Bk,n的方式，仅为示例而非限定。实际操作中，还可以通过其他任意可行的方式确定图像块Bk对应的n个图像块Bk,n，只要保证n个图像块Bk,n均覆盖图像块Bk，且至少有一个图像块的面积大于图像块Bk的面积即可。
步骤②：根据n个图像块Bk,n的图像对比度和/或n个图像块Bk,n中的至少一个图像块的图像亮度，获取图像块Bk的失真权重值wk。
可选地，根据以如下因素中的至少一个因素为变量的函数确定图像块Bk的失真权重值wk：n个图像块Bk,n的图像对比度，n个图像块Bk,n中的至少一个图像块的图像亮度。
可选地，根据n个图像块Bk,n的对比度因子，和/或n个图像块Bk,n中至少一个图像块的亮度因子，确定图像块Bk的失真权重值wk，其中，图像块Bk,n的对比度因子是以图像块Bk,n的图像对比度为变量的函数，图像块Bk,n的亮度因子是以图像块Bk,n的图像亮度为变量的函数。
具体地，根据n个图像块Bk,n的对比度因子和n个图像块Bk,n中面积最大的一个图像块(记为Bk,N)的亮度因子，确定图像块Bk的失真权重值wk。
以图3所示图像块Bk对应的3个图像块为例，图像块Bk,3是3个图像块中面积最大的，则利用图像块Bk,1、Bk,2、Bk,3的对比度因子和图像块Bk,3的亮度因子，确定图像块Bk的失真权重值wk。
考虑到相对于图像亮度，图像对比度对人眼感知图像的失真强度的影响较大，因此，根据图像块Bk对应的n个图像块中全部图像块的图像对比度和其中一个面积最大的图像块的图像亮度，确定图像块Bk的失真权重值，该失真权重值既可以体现人眼感知图像失真强度的特性，又可以在一定程度上降低计算量。
例如，根据如下公式，计算图像块Bk的失真权重值wk：
Figure GDA0002617717070000131
其中，图像块Bk对应的n个图像块Bk,n的总个数，fc(Bk,n)表示图像块Bk,n的对比度因子，fc(Bk,n)为以图像块Bk,n的图像对比度为变量的函数，Bk,N表示n个图像块Bk,n中面积最大的图像块，αn表示fc(Bk,n)的加权常数，fl(Bk,N)表示图像块Bk,N的亮度因子， fl(Bk,N)为以图像块Bk,N的图像亮度为变量的函数，β表示fl(Bk,N)的加权常数，且
Figure GDA0002617717070000132
例如，
Figure GDA0002617717070000133
或
Figure GDA0002617717070000134
又例如，假设N等于3，则
Figure GDA0002617717070000135
Figure GDA0002617717070000136
图像块Bk,N的亮度因子fl(Bk,N)由图像块Bk,N中多个像素的亮度均值L(Bk,N)确定。
例如，根据如下公式计算图像块Bk,N的亮度因子fl(Bk,N)：
Figure GDA0002617717070000137
Figure GDA0002617717070000138
其中，Bk,N,r表示图像块Bk,N中的第r个像素的亮度值。RN为图像块Bk,N中用于计算亮度均值的像素的个数。m1、T1、T2、η1与η2为常数。例如，m1＝1或m1＝2，T1＝60或 T1＝64，T2＝170或T2＝160，η1＝150或200,η2＝425或300。
可选地，亮度均值L(Bk,n)可通过对图像块Bk,N中所有像素的亮度值求平均获得，即RN等于图像块Bk,N中的像素总数。
可选地，亮度均值L(Bk,n)可通过对图像块Bk,N中采用部分像素，并对其亮度值进行求平均获得，即RN小于图像块Bk,N中的像素总数。
图像块Bk,n的对比度因子fc(Bk,n)由图像块Bk,n中多个像素的对比度值C(Bk,n)确定。
例如，根据如下公式计算图像块Bk,n的对比度因子fc(Bk,n)：
Figure GDA0002617717070000141
其中，m2、η3与T3均为常数。例如，m2＝1或m2＝2，η3＝10或η3＝100，T3＝5或 T3＝20。
可选地，对比度值C(Bk,n)可以用图像块Bk,n中像素的亮度值的方差来表示。
例如，采用如下公式计算对比度值C(Bk,n)：
Figure GDA0002617717070000142
其中，R为图像块Bk,n中像素的个数。
可选地，对比度值C(Bk,n)也可以由图像块Bk,n中像素的亮度值与它们的均值L(Bk,n)的平均绝对误差和来表示。
例如，采用如下公式计算对比度值C(Bk,n)：
Figure GDA0002617717070000143
其中，其中|a|表示取a的绝对值。
可选地，在一些实施例中，可以对上述步骤②得到的图像区域S中的各个图像块Bk的失真权重值wk进行归一化处理，得到wk'，并以wk'作为图像块Bk的失真权重值。
具体地，计算图像区域S中的所有图像块Bk的失真权重值wk的平均值wm，wm可以为算术平均值或几何平均值。根据平均值wm对图像块Bk的失真权重值wk进行归一化处理，得到wk'。
例如，根据如下公式对图像块Bk的失真权重值wk进行归一化处理：
Figure GDA0002617717070000144
或例如，根据如下公式对图像块Bk的失真权重值wk进行归一化处理
Figure GDA0002617717070000151
其中，τ为加权值，x为常数。例如，τ＝1/2或τ＝3/8，x＝1或x＝1/2。
上文通过步骤一和步骤二描述了获取原始图像帧中图像区域内划分的M个图像块Bk (k为1,2，…，M)的失真权重值wk的过程。
应理解，上述实施例中的第三图像块的失真权重值可以通过上述步骤一和步骤二来获取。还应理解，上述实施例中的第二图像块对应于图像块Bk对应的n个图像块Bk,n。
上文描述了预先获取原始图像帧中的图像区域中的各个图像块的失真权重值，但本申请实施例并非对此严格限定，实际操作中，也可以进行实时计算，例如上述的第一种实现方式和第二种实现方式。
第一图像块的第二失真值可以通过上述步骤220和步骤230获得。在当前图像块只包括一个第一图像块的情况下，直接将第一图像块的第二失真值作为当前图像块在第一编码模式下的失真值。在当前图像块包括多个第一图像块的情况下，将多个第一图像块的第二失真值的总和作为当前图像块在第一编码模式下的失真值。应理解，在当前图像块包括多个第一图像块的情况下，每个第一图像块的第二失真值均可以通过上述步骤220和步骤230获得。
为了更好地理解本申请的方案，下文以当前图像块被划分为多个子图像块为例，描述获取当前图像块的失真值的过程。
记当前图像块在第一编码模式下的重建图像块为图像块A。假设预先已通过上述步骤一和步骤二，获得原始图像帧的图像区域S内各个图像块Bk的失真权重值wk。
1)将图像块A划分为多个子图像块Aj，j＝1,2,...J，J为大于1的整数。
例如，子图像块Aj的大小为4×4、8×4或者8×8。以子图像块Aj的大小为4×4为例，假设图像块A的大小为W×H，则图像块A被划分为(W/4)×(H/4)个子图像块。
应理解，图像块A在位置上位于图像区域S内。
2)获取子图像块Aj的失真权重值wj。
根据子图像块Aj的位置，在图像区域S内的各个图像块Bk中找到可以覆盖子图像块Aj的图像块(记为图像块
Figure GDA0002617717070000153
)，然后取图像块
Figure GDA0002617717070000152
的失真权重值作为子图像块Aj的失真权重值wj。
3)获取子图像块Aj的第一失真值D1(Aj)。
具体地，子图像块Aj的第一失真值D1(Aj)可以为子图像块Aj中个像素Aj,r与原始像素Oj,r之间的平方误差和(SSE)。即根据如下公式，计算子图像块Aj的第一失真值D1(Aj)：
Figure GDA0002617717070000161
其中，Oj,r表示子图像块Aj对应的原始图像块中与像素Aj,r位置相同的像素，其中，该原始图像块表示原始图像帧中位置与子图像块Aj相同的图像块。
4)将子图像块Aj的第一失真值D1(Aj)与子图像块Aj的失真权重值wj相乘，获得子图像块Aj的第二失真值D2(Aj)。
5)对图像块A内所有子图像块Aj的第二失真值D2(Aj)求和，得到图像块A的失真值D。
例如，根据如下公式，计算图像块A的失真值D：
Figure GDA0002617717070000162
至此，获得图像块A的失真值D，即获得当前图像块在第一编码模式下的失真值。
视频编码器在获得当前图像块在第一编码模式下的失真值之后，根据当前图像块在第一编码模式下的失真值和编码比特数，获得当前图像块在第一编码模式下的率失真代价。
视频编码器可以通过本实施例提供的方法获得当前图像块在多种编码模式下的率失真代价，然后选择率失真代价最小的编码模式作为当前图像块的目标编码模式。
综上所述，本申请实施例，通过失真权重值修正失真值，使得修正后的失真值充分接近人眼感知的图像失真强度，从而使得采用基于修正后的失真值得到的率失真代价来选择编码模式，可以提高最终编码后的图像的主观质量，进而提高用户的视觉体验。
可选地，作为一种应用场景，采用本申请实施例提供的方案可用于计算待处理图像的亮度分量和色度分量的率失真代价。
可选地，作为另一种应用场景，采用本申请实施例提供的方案可用于计算待处理图像的亮度分量的率失真代价，采用现有的基于SSD的率失真代价计算方法计算待处理图像的色度分量的率失真代价。
上文描述了本申请的方法实施例，下文将描述本申请的装置实施例。应理解，装置实施例的描述与方法实施例的描述相互对应，因此，未详细描述的内容可以参见上文方法实施例，为了简洁，这里不再赘述。
图5为本申请实施例提供的编码装置500的示意性框图。该编码装置500包括如下单元。
获取单元510，用于获取当前图像块，该当前图像块包括第一图像块；
该获取单元510还用于，获取该第一图像块的失真权重值，该第一图像块的失真权重值由该当前图像块对应的原始图像帧中的第二图像块的图像对比度和/或图像亮度确定，该第一图像块对应在该原始图像帧中的区域位于该第二图像块内，且该第二图像块的面积大于该第一图像块的面积；
计算单元520，用于将该第一图像块的失真权重值与该第一图像块的第一失真值的乘积，作为该第一图像块的第二失真值，该第一图像块的第一失真值用于指示该第一图像块在第一编码模式下的重建图像块与该第一图像块对应的原始图像块之间的像素差异；
确定单元530，用于根据该第一图像块的第二失真值，获取该当前图像块在该第一编码模式下的率失真代价，并根据该率失真代价确定该当前图像块的目标编码模式。
可选地，在一些实施例中，该当前图像块包括至少两个该第一图像块，该至少两个该第一图像块各自具有第二失真值，该确定单元530具体用于：将该至少两个该第一图像块具有的至少两个第二失真值的和，作为该当前图像块在该第一编码模式下的失真值；根据该当前图像块在该第一编码模式下的失真值，获取该当前图像块在该第一编码模式下的率失真代价。
可选地，在一些实施例中，该获取单元510具体用于：根据该第一图像块对应在该原始图像帧中的区域，确定该原始图像帧中的第三图像块，该第三图像块在该原始图像帧中的区域包括该第一图像块对应在该原始图像帧中的区域；根据该第三图像块在该原始图像帧中的区域，确定该第二图像块，该第二图像块的面积大于该第三图像块的面积，且该第二图像块包括该第三图像块；将该第三图像块的失真权重值作为该第一图像块的失真权重值，该第三图像块的失真权重值由该第二图像块的图像对比度和/或图像亮度确定。
可选地，在一些实施例中，该第三图像块的失真权重值还由该第三图像块的图像对比度和/或图像亮度确定。
可选地，在一些实施例中，该第三图像块为预划分图像块。
可选地，在一些实施例中，该第三图像块的失真权重值为预设值。
可选地，在一些实施例中，该第二图像块包括第四图像块和第五图像块，该第五图像块包括该第四图像块，且该第五图像块的面积大于该第四图像块的面积，该第一图像块的失真权重值由该第四图像块的图像对比度、该第五图像块的图像对比度以及该第五图像块的图像亮度确定。
可选地，在一些实施例中，该第一图像块的失真权重值为对比度因子与亮度因子的乘积，该对比度因子由该第二图像块的图像对比度确定，该亮度因子由该第二图像块的图像亮度确定。
可选地，在一些实施例中，该第一图像块的失真权重值wk是根据如下公式计算得到的：
Figure GDA0002617717070000171
其中，Bk,n表示该原始图像帧中的N个图像块中的第n个图像块，fc(Bk,n)表示图像块Bk,n的对比度因子，fc(Bk,n)为以该图像块Bk,n的图像对比度为变量的函数，αn为常数， Bk,N表示该N个图像块中面积最大的图像块，fl(Bk,N)表示图像块Bk,N的亮度因子， fl(Bk,N)为以图像块Bk,N的图像亮度为变量的函数，β为常数，且
Figure GDA0002617717070000172
该N个图像块包括该第三图像块和该第二图像块，N为大于1的整数。
如图6所示，本申请实施例还提供一种编码装置600，包括：处理器610与存储器620，该存储器620用于存储指令，该处理器610用于执行该存储器存储的指令，并且对该存储器620中存储的指令的执行使得，该处理器610用于执行上述方法实施例中的操作。
应理解，编码装置600可以对应于上述实施例中的编码装置500。
应理解，本申请实施例提供的编码装置600可以对应于上述方法实施例的执行主体，编码装置600中的各个单元也用于执行上述方法实施例中的相关操作，具体描述请参见上文，这里不再赘述。
本申请实施例还提供一种芯片，该芯片包括处理单元与通信接口，该处理单元用于执行上述方法实施例中的操作，该通信接口用于与外部进行通信。
可选地，该芯片还可以包括存储单元，该存储单元中存储有指令，该处理单元用于执行上述存储单元中存储的指令，当该指令执行时，述处理单元用于执行上述方法实施例中的操作。
本申请实施例还提供一种计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时可以实现上述方法实施例中的操作。
本申请实施例还提供一种包括指令的计算机程序产品，该指令被计算机执行时可以实现上述方法实施例中的操作。
应理解，本发明实施例中提及的处理器可以是中央处理单元(CentralProcessing Unit， CPU)，还可以是其他通用处理器、数字信号处理器(Digital SignalProcessor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现成可编程门阵列(Field Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
还应理解，本发明实施例中提及的存储器可以是易失性存储器或非易失性存储器，或可包括易失性和非易失性存储器两者。其中，非易失性存储器可以是只读存储器(Read-Only Memory，ROM)、可编程只读存储器(Programmable ROM，PROM)、可擦除可编程只读存储器(Erasable PROM，EPROM)、电可擦除可编程只读存储器 (Electrically EPROM，EEPROM)或闪存。易失性存储器可以是随机存取存储器(Random Access Memory，RAM)，其用作外部高速缓存。通过示例性但不是限制性说明，许多形式的RAM可用，例如静态随机存取存储器(Static RAM，SRAM)、动态随机存取存储器(Dynamic RAM，DRAM)、同步动态随机存取存储器(Synchronous DRAM，SDRAM)、双倍数据速率同步动态随机存取存储器(Double DataRate SDRAM，DDR SDRAM)、增强型同步动态随机存取存储器(Enhanced SDRAM，ESDRAM)、同步连接动态随机存取存储器(Synchlink DRAM，SLDRAM)和直接内存总线随机存取存储器(Direct Rambus RAM，DR RAM)。
需要说明的是，当处理器为通用处理器、DSP、ASIC、FPGA或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件时，存储器(存储模块)集成在处理器中。
应注意，本文描述的存储器旨在包括但不限于这些和任意其它适合类型的存储器。
本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本申请的范围。
所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统、装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
在本申请所提供的几个实施例中，应该理解到，所揭露的系统、装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外，在本申请各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。
所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(Read-Only Memory，ROM)、随机存取存储器(Random Access Memory，RAM)、磁碟或者光盘等各种可以存储程序代码的介质。
上述仅为本申请的具体实施方式，但本申请的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本申请揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本申请的保护范围之内。因此，本申请的保护范围应以所述权利要求的保护范围为准。

Claims (20)

1.一种图像编码方法，其特征在于，包括：
获取当前图像块，所述当前图像块包括第一图像块；
获取所述第一图像块的失真权重值，所述第一图像块的失真权重值由所述当前图像块对应的原始图像帧中的第二图像块的图像对比度和/或图像亮度确定，所述第一图像块对应在所述原始图像帧中的区域位于所述第二图像块内，且所述第二图像块的面积大于所述第一图像块的面积；
将所述第一图像块的失真权重值与所述第一图像块的第一失真值的乘积，作为所述第一图像块的第二失真值，所述第一图像块的第一失真值用于指示所述第一图像块在第一编码模式下的重建图像块与所述第一图像块对应的原始图像块之间的像素差异；
根据所述第一图像块的第二失真值，获取所述当前图像块在所述第一编码模式下的率失真代价，并根据所述率失真代价确定所述当前图像块的目标编码模式。
2.根据权利要求1所述的方法，其特征在于，所述当前图像块包括至少两个所述第一图像块，所述至少两个所述第一图像块各自具有第二失真值，所述根据所述第一图像块的第二失真值，获取所述当前图像块在所述第一编码模式下的率失真代价，包括：
将所述至少两个所述第一图像块具有的至少两个第二失真值的和，作为所述当前图像块在所述第一编码模式下的失真值；
根据所述当前图像块在所述第一编码模式下的失真值，获取所述当前图像块在所述第一编码模式下的率失真代价。
3.根据权利要求1或2所述的方法，其特征在于，所述获取所述第一图像块的失真权重值，包括：
根据所述第一图像块对应在所述原始图像帧中的区域，确定所述原始图像帧中的第三图像块，所述第三图像块在所述原始图像帧中的区域包括所述第一图像块对应在所述原始图像帧中的区域；
根据所述第三图像块在所述原始图像帧中的区域，确定所述第二图像块，所述第二图像块的面积大于所述第三图像块的面积，且所述第二图像块包括所述第三图像块；
将所述第三图像块的失真权重值作为所述第一图像块的失真权重值，所述第三图像块的失真权重值由所述第二图像块的图像对比度和/或图像亮度确定。
4.根据权利要求3所述的方法，其特征在于，所述第三图像块的失真权重值还由所述第三图像块的图像对比度和/或图像亮度确定。
5.根据权利要求3所述的方法，其特征在于，所述第三图像块为预划分图像块。
6.根据权利要求5所述的方法，其特征在于，所述第三图像块的失真权重值为预设值。
7.根据权利要求1或2所述的方法，其特征在于，所述第二图像块包括第四图像块和第五图像块，所述第五图像块包括所述第四图像块，且所述第五图像块的面积大于所述第四图像块的面积，所述第一图像块的失真权重值由所述第四图像块的图像对比度、所述第五图像块的图像对比度以及所述第五图像块的图像亮度确定。
8.根据权利要求1或2所述的方法，其特征在于，所述第一图像块的失真权重值为对比度因子与亮度因子的乘积，所述对比度因子由所述第二图像块的图像对比度确定，所述亮度因子由所述第二图像块的图像亮度确定。
9.根据权利要求3所述的方法，其特征在于，所述第一图像块的失真权重值wk是根据如下公式计算得到的：
Figure FDA0002617717060000021
其中，Bk,n表示所述原始图像帧中的N个图像块中的第n个图像块，fc(Bk,n)表示图像块Bk,n的对比度因子，fc(Bk,n)为以所述图像块Bk,n的图像对比度为变量的函数，αn为常数，Bk,N表示所述N个图像块中面积最大的图像块，fl(Bk,N)表示图像块Bk,N的亮度因子，fl(Bk,N)为以图像块Bk,N的图像亮度为变量的函数，β为常数，且
Figure FDA0002617717060000022
所述N个图像块包括所述第三图像块和所述第二图像块，N为大于1的整数。
10.一种编码装置，其特征在于，包括：
获取单元，用于获取当前图像块，所述当前图像块包括第一图像块；
所述获取单元还用于，获取所述第一图像块的失真权重值，所述第一图像块的失真权重值由所述当前图像块对应的原始图像帧中的第二图像块的图像对比度和/或图像亮度确定，所述第一图像块对应在所述原始图像帧中的区域位于所述第二图像块内，且所述第二图像块的面积大于所述第一图像块的面积；
计算单元，用于将所述第一图像块的失真权重值与所述第一图像块的第一失真值的乘积，作为所述第一图像块的第二失真值，所述第一图像块的第一失真值用于指示所述第一图像块在第一编码模式下的重建图像块与所述第一图像块对应的原始图像块之间的像素差异；
确定单元，用于根据所述第一图像块的第二失真值，获取所述当前图像块在所述第一编码模式下的率失真代价，并根据所述率失真代价确定所述当前图像块的目标编码模式。
11.根据权利要求10所述的编码装置，其特征在于，所述当前图像块包括至少两个所述第一图像块，所述至少两个所述第一图像块各自具有第二失真值，所述确定单元具体用于：
将所述至少两个所述第一图像块具有的至少两个第二失真值的和，作为所述当前图像块在所述第一编码模式下的失真值；
根据所述当前图像块在所述第一编码模式下的失真值，获取所述当前图像块在所述第一编码模式下的率失真代价。
12.根据权利要求10或11所述的编码装置，其特征在于，所述获取单元具体用于：
根据所述第一图像块对应在所述原始图像帧中的区域，确定所述原始图像帧中的第三图像块，所述第三图像块在所述原始图像帧中的区域包括所述第一图像块对应在所述原始图像帧中的区域；
根据所述第三图像块在所述原始图像帧中的区域，确定所述第二图像块，所述第二图像块的面积大于所述第三图像块的面积，且所述第二图像块包括所述第三图像块；
将所述第三图像块的失真权重值作为所述第一图像块的失真权重值，所述第三图像块的失真权重值由所述第二图像块的图像对比度和/或图像亮度确定。
13.根据权利要求12所述的编码装置，其特征在于，所述第三图像块的失真权重值还由所述第三图像块的图像对比度和/或图像亮度确定。
14.根据权利要求12所述的编码装置，其特征在于，所述第三图像块为预划分图像块。
15.根据权利要求14所述的编码装置，其特征在于，所述第三图像块的失真权重值为预设值。
16.根据权利要求10或11所述的编码装置，其特征在于，所述第二图像块包括第四图像块和第五图像块，所述第五图像块包括所述第四图像块，且所述第五图像块的面积大于所述第四图像块的面积，所述第一图像块的失真权重值由所述第四图像块的图像对比度、所述第五图像块的图像对比度以及所述第五图像块的图像亮度确定。
17.根据权利要求10或11所述的编码装置，其特征在于，所述第一图像块的失真权重值为对比度因子与亮度因子的乘积，所述对比度因子由所述第二图像块的图像对比度确定，所述亮度因子由所述第二图像块的图像亮度确定。
18.根据权利要求12所述的编码装置，其特征在于，所述第一图像块的失真权重值wk是根据如下公式计算得到的：
Figure FDA0002617717060000031
其中，Bk,n表示所述原始图像帧中的N个图像块中的第n个图像块，fc(Bk,n)表示图像块Bk,n的对比度因子，fc(Bk,n)为以所述图像块Bk,n的图像对比度为变量的函数，αn为常数，Bk,N表示所述N个图像块中面积最大的图像块，fl(Bk,N)表示图像块Bk,N的亮度因子，fl(Bk,N)为以图像块Bk,N的图像亮度为变量的函数，β为常数，且
Figure FDA0002617717060000032
所述N个图像块包括所述第三图像块和所述第二图像块，N为大于1的整数。
19.一种编码装置，其特征在于，包括：存储器与处理器，所述存储器用于存储指令，所述处理器用于执行所述存储器存储的指令，并且对所述存储器中存储的指令的执行使得，所述处理器用于执行如权利要求1至9中任一项所述的方法。
20.一种计算机存储介质，其特征在于，其上存储有计算机程序，所述计算机程序被计算机执行时使得，所述计算机执行如权利要求1至9中任一项所述的方法。
CN201810245784.2A 2018-03-23 2018-03-23 图像编码方法、装置及计算机存储介质 Active CN110300310B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810245784.2A CN110300310B (zh) 2018-03-23 2018-03-23 图像编码方法、装置及计算机存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810245784.2A CN110300310B (zh) 2018-03-23 2018-03-23 图像编码方法、装置及计算机存储介质

Publications (2)

Publication Number Publication Date
CN110300310A CN110300310A (zh) 2019-10-01
CN110300310B true CN110300310B (zh) 2021-01-15

Family

ID=68026020

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810245784.2A Active CN110300310B (zh) 2018-03-23 2018-03-23 图像编码方法、装置及计算机存储介质

Country Status (1)

Country Link
CN (1) CN110300310B (zh)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102821281A (zh) * 2012-08-21 2012-12-12 深圳广晟信源技术有限公司 一种率失真优化方法
CN104320657A (zh) * 2014-10-31 2015-01-28 中国科学技术大学 Hevc无损视频编码的预测模式选择方法及相应的编码方法
CN105812805A (zh) * 2016-01-31 2016-07-27 西安电子科技大学 一种用于视频图像的编码方法和装置
CN106534862A (zh) * 2016-12-20 2017-03-22 杭州当虹科技有限公司 一种视频编码方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20160323600A1 (en) * 2015-04-30 2016-11-03 Zhan Ma Methods and Apparatus for Use of Adaptive Prediction Resolution in Video Coding

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102821281A (zh) * 2012-08-21 2012-12-12 深圳广晟信源技术有限公司 一种率失真优化方法
CN104320657A (zh) * 2014-10-31 2015-01-28 中国科学技术大学 Hevc无损视频编码的预测模式选择方法及相应的编码方法
CN105812805A (zh) * 2016-01-31 2016-07-27 西安电子科技大学 一种用于视频图像的编码方法和装置
CN106534862A (zh) * 2016-12-20 2017-03-22 杭州当虹科技有限公司 一种视频编码方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
视觉显著区域的图像编码;陈铖;《中国优秀硕士学位论文全文数据库 信息科技辑》;20150515;全文 *

Also Published As

Publication number Publication date
CN110300310A (zh) 2019-10-01

Similar Documents

Publication Publication Date Title
JP6929907B2 (ja) 省略符号化を用いた映像符号化及び復号化装置及びその方法
KR102285738B1 (ko) 영상의 주관적 품질을 평가하는 방법 및 장치
CN109302608B (zh) 图像处理方法、设备及系统
US20230069953A1 (en) Learned downsampling based cnn filter for image and video coding using learned downsampling feature
CN111131837B (zh) 运动补偿修正方法、编码方法、编码器及存储介质
WO2018113696A1 (en) Non-local adaptive loop filter combining multiple denoising technologies and grouping image patches in parallel
JP6568078B2 (ja) 画像データを符号化するための方法および装置ならびに画像データを復号するための方法および装置
US20190289331A1 (en) Image processing apparatus for performing filtering on restored images and filtering method thereof
CN107113438A (zh) 帧内编码模式
US20230076920A1 (en) Global skip connection based convolutional neural network (cnn) filter for image and video coding
CN116438796A (zh) 图像预测方法、编码器、解码器以及计算机存储介质
WO2021134635A1 (zh) 变换方法、编码器、解码器以及存储介质
CN110300310B (zh) 图像编码方法、装置及计算机存储介质
KR20200044662A (ko) 영상의 ａｉ 부호화 및 ａｉ 복호화를 위한 장치, 및 방법
CN109906610B (zh) 使用滤波和子空间投影的视频编译的恢复
CN114363635A (zh) 信息处理方法及装置、设备、存储介质
JP2016082395A (ja) 符号化装置、符号化方法及びプログラム
JP7448568B2 (ja) 画像成分の予測方法、装置およびコンピュータ記憶媒体
US20230044603A1 (en) Apparatus and method for applying artificial intelligence-based filtering to image
CN115804095B (zh) 视频编码中的帧内预测方法
WO2024007116A1 (zh) 解码方法、编码方法、解码器以及编码器
WO2023197180A1 (zh) 解码方法、编码方法、解码器以及编码器
WO2023197189A1 (zh) 编解码方法、装置、编码设备、解码设备以及存储介质
WO2021134637A1 (zh) 变换方法、编码器、解码器以及存储介质
US9918096B2 (en) Method for selecting a pixel positioning solution to obtain an optimal visual rendition of an image

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant