CN113473137A - 编码方法、终端及存储介质 - Google Patents
编码方法、终端及存储介质 Download PDFInfo
- Publication number
- CN113473137A CN113473137A CN202110727082.XA CN202110727082A CN113473137A CN 113473137 A CN113473137 A CN 113473137A CN 202110727082 A CN202110727082 A CN 202110727082A CN 113473137 A CN113473137 A CN 113473137A
- Authority
- CN
- China
- Prior art keywords
- coding block
- video sequence
- value
- saliency map
- coded
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 96
- 238000003860 storage Methods 0.000 title claims abstract description 19
- 238000001514 detection method Methods 0.000 claims description 61
- 238000004364 calculation method Methods 0.000 claims description 26
- 230000015654 memory Effects 0.000 claims description 26
- 238000004458 analytical method Methods 0.000 claims description 24
- 238000005259 measurement Methods 0.000 claims description 18
- 238000012545 processing Methods 0.000 claims description 16
- 238000013139 quantization Methods 0.000 claims description 6
- 238000006243 chemical reaction Methods 0.000 claims description 4
- 238000010586 diagram Methods 0.000 description 16
- 230000006870 function Effects 0.000 description 12
- 230000000007 visual effect Effects 0.000 description 12
- 238000004422 calculation algorithm Methods 0.000 description 9
- 238000005070 sampling Methods 0.000 description 9
- 238000004590 computer program Methods 0.000 description 7
- 238000005516 engineering process Methods 0.000 description 5
- 230000003044 adaptive effect Effects 0.000 description 3
- 238000004891 communication Methods 0.000 description 3
- 230000003287 optical effect Effects 0.000 description 3
- 238000011524 similarity measure Methods 0.000 description 3
- 238000013135 deep learning Methods 0.000 description 2
- 230000007547 defect Effects 0.000 description 2
- 239000000284 extract Substances 0.000 description 2
- 230000001788 irregular Effects 0.000 description 2
- 239000000203 mixture Substances 0.000 description 2
- 238000012549 training Methods 0.000 description 2
- 241001292396 Cirrhitidae Species 0.000 description 1
- 241001465754 Metazoa Species 0.000 description 1
- 238000004220 aggregation Methods 0.000 description 1
- 230000002776 aggregation Effects 0.000 description 1
- 230000002457 bidirectional effect Effects 0.000 description 1
- 230000019771 cognition Effects 0.000 description 1
- 230000006835 compression Effects 0.000 description 1
- 238000007906 compression Methods 0.000 description 1
- 239000012141 concentrate Substances 0.000 description 1
- 230000004927 fusion Effects 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000011022 operating instruction Methods 0.000 description 1
- 239000011435 rock Substances 0.000 description 1
- 230000011218 segmentation Effects 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
- H04N19/167—Position within a video image, e.g. region of interest [ROI]
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
- H04N19/124—Quantisation
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
- H04N19/182—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a pixel
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
Abstract
本申请实施例公开了一种编码方法、终端及存储介质，所述方法包括：确定待编码视频序列对应的显著图；根据预设像素阈值确定显著图对应的第一编码块和第二编码块；其中，预设像素阈值用于对前景和背景进行划分；第一编码块为显著图中前景区域对应的编码块；第二编码块为显著图中背景区域对应的编码块；计算第一编码块的第一QP补偿值和第二编码块的第二QP补偿值；根据第一QP补偿值和第二QP补偿值编码待编码视频序列，生成码流。
Description
技术领域
本发明涉及编码技术领域，尤其涉及一种编码方法、终端及存储介质。
背景技术
目前，在码率固定或低码率的视频编码场景下，主要通过人脸检测和人体检测确定出感兴趣区域(Region Of Interest，ROI)，并在完成量化参数(QuantizationParameter，QP)的设置之后，按照分配的码率进行ROI区域编码。
然而，由于ROI区域检测技术的泛化性并不高，且QP值的设置方式并不贴合ROI区域，因此常见的编码方法并不能保证ROI区域的编码质量，且存在ROI区域和非ROI区域的边界不清楚的缺陷。
发明内容
本申请实施例提供了一种编码方法、终端及存储介质，能够提升ROI区域的编码质量，同时可以使ROI区域和非ROI区域的边界更加清楚。
本申请实施例的技术方案是这样实现的：
第一方面，本申请实施例提供了一种编码方法，所述方法包括：
确定待编码视频序列对应的显著图；
根据预设像素阈值确定所述显著图对应的第一编码块和第二编码块；其中，所述预设像素阈值用于对前景和背景进行划分；所述第一编码块为所述显著图中前景区域对应的编码块；所述第二编码块为所述显著图中背景区域对应的编码块；
计算所述第一编码块的第一QP补偿值和所述第二编码块的第二QP补偿值；
根据所述第一QP补偿值和所述第二QP补偿值编码所述待编码视频序列，生成码流。
第二方面，本申请实施例提供了一种终端，所述终端包括：确定单元，计算单元，编码单元，
所述确定单元，用于确定待编码视频序列对应的显著图；根据预设像素阈值确定所述显著图对应的第一编码块和第二编码块；其中，所述预设像素阈值用于对前景和背景进行划分；所述第一编码块为所述显著图中前景区域对应的编码块；所述第二编码块为所述显著图中背景区域对应的编码块；
所述计算单元，用于计算所述第一编码块的第一QP补偿值和所述第二编码块的第二QP补偿值；
所述编码单元，用于根据所述第一QP补偿值和所述第二QP补偿值编码所述待编码视频序列，生成码流。
第三方面，本申请实施例提供了一种终端，所述终端包括处理器、存储有所述处理器可执行指令的存储器，当所述指令被所述处理器执行时，实现如第一方面所述的编码方法。
第四方面，本申请实施例提供了一种计算机可读存储介质，其上存储有程序，所述程序被处理器执行时，实现如第一方面所述的编码方法。
本申请实施例提供了一种编码方法、终端及存储介质，终端确定待编码视频序列对应的显著图；根据预设像素阈值确定显著图对应的第一编码块和第二编码块；其中，预设像素阈值用于对前景和背景进行划分；第一编码块为显著图中前景区域对应的编码块；第二编码块为显著图中背景区域对应的编码块；计算第一编码块的第一QP补偿值和第二编码块的第二QP补偿值；根据第一QP补偿值和第二QP补偿值编码待编码视频序列，生成码流。也就是说，在本申请的实施例中，终端可以基于预设像素阈值划分出待编码视频序列对应的前景区域和背景区域，并使用不同的方法分别计算前景区域中编码块对应的QP补偿值和背景区域中编码块对应的QP补偿值，然后可以利用对应的QP补偿值来减小前景区域的QP值、增大背景区域的QP值，从而在码率固定或较低的情况下，为前景区域分配更高的码率，为背景区域分配更低的码率，进而可以大大提升ROI区域的编码质量，同时可以使ROI区域和非ROI区域的边界更加清楚。
附图说明
图1为视觉显著性检测的示意图一；
图2为视觉显著性检测的示意图二；
图3为本申请实施例提出的编码方法的实现流程示意图一；
图4为本申请实施例提出的编码方法的实现流程示意图二；
图5为本申请实施例提出的编码方法的实现流程示意图三；
图6为本申请实施例提出的编码方法的实现流程示意图四；
图7为本申请实施例提出的编码方法的实现流程示意图五；
图8为本申请实施例提出的编码方法的实现流程示意图六；
图9为本申请实施例提出的终端的组成结构示意图一；
图10为本申请实施例提出的终端的组成结构示意图二。
具体实施方式
下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述。可以理解的是，此处所描述的具体实施例仅用于解释相关申请，而非对该申请的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与有关申请相关的部分。
除非另有定义，本文所使用的所有的技术和科学术语与属于本申请的技术领域的技术人员通常理解的含义相同。本文中所使用的术语只是为了描述本申请实施例的目的，不是旨在限制本申请。
在以下的描述中，涉及到“一些实施例”，其描述了所有可能实施例的子集，但是可以理解，“一些实施例”可以是所有可能实施例的相同子集或不同子集，并且可以在不冲突的情况下相互结合。还需要指出，本申请实施例所涉及的术语“第一\第二\第三”仅是用于区别类似的对象，不代表针对对象的特定排序，可以理解地，“第一\第二\第三”在允许的情况下可以互换特定的顺序或先后次序，以使这里描述的本申请实施例能够以除了在这里图示或描述的以外的顺序实施。
机器视觉、图像处理中，从被处理的图像以方框、圆、椭圆、不规则多边形等方式勾勒出需要处理的区域，称为感兴趣区域(Region Of Interest，ROI)。在Halcon、OpenCV、Matlab等机器视觉软件上常用到各种算子(Operator)和函数来求得感兴趣区域ROI，并进行图像的下一步处理。
ROI视频编码主要应用于视频带宽有限的场景，ROI编码是对ROI区域进行高清晰度视频编码并以牺牲背景视频图像质量为代价。目前ROI智能编码技术以人工确定ROI区域和目标检测技术为主，应用场景主要包括视频通话、视频直播等。
然而，ROI区域的确定却没有较明确的统一，常规是人脸检测和人体检测等。但是人眼实际关注的ROI区域可能不是常见的人和动物。为了能够从海量的图像和视频数据中快速地获取重要信息，引入了视觉显著性的概念。其中，视觉显著性是指人眼自动对焦到感兴趣区域忽略不感兴趣区域，这种显著性区域更贴合ROI区域的概念，即使在训练数据集中不包含这类物体也能够在视频图像中检测出显著性区域。
视觉显著性检测(Visual Saliency Detection，VSD)通过智能算法模拟人的视觉特点，提取图像中的显著区域(即人类感兴趣的区域)。具体地，视觉显著性检测VSD可将有限的计算资源分配给图像视频中更重要的信息。由于更符合人的视觉认知需求，因此视觉显著性检测VSD在目标识别，图像视频压缩，图像检索，图像重定向等中有着重要的应用价值。
图1为视觉显著性检测的示意图一，图2为视觉显著性检测的示意图二，在对如图1所示的ECSSD数据集997-自然场景房子进行显著性检测过程中，可以识别出房子是人眼注意力集中的区域，因此最终获得如图2所示的显著性检测结果。
目前ROI编码是视频编码技术的趋势，确定ROI区域是一个问题，如何让ROI区域检测技术泛化性能更强，即使在没有训练过该类图像的时候也能根据一些亮度、纹理细节等信息确定ROI区域，显著性检测是一个趋势。
然而，由于ROI区域检测技术的泛化性并不高，且QP值的设置方式并不贴合ROI区域，因此常见的编码方法并不能保证ROI区域的编码质量，且存在ROI区域和非ROI区域的边界不清楚的缺陷。
为了解决上述问题，在本申请的实施例中，终端可以基于预设像素阈值划分出待编码视频序列对应的前景区域和背景区域，并使用不同的方法分别计算前景区域中编码块对应的QP补偿值和背景区域中编码块对应的QP补偿值，然后可以利用对应的QP补偿值来减小前景区域的QP值、增大背景区域的QP值，从而在码率固定或较低的情况下，为前景区域分配更高的码率，为背景区域分配更低的码率，进而可以大大提升ROI区域的编码质量，同时可以使ROI区域和非ROI区域的边界更加清楚。
下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述。
本申请一实施例提供了一种编码方法，图3为本申请实施例提出的编码方法的实现流程示意图一，如图3所示，在本申请的实施例中，终端进行编码的方法可以包括以下步骤：
步骤101、确定待编码视频序列对应的显著图。
在本申请的实施例中，终端可以先确定待编码视频序列对应的显著图。
需要说明的是，在本申请的实施例中，待编码视频序列的显著图可以为待编码视频序列经过显著性检测之后所生成的、能够表征待编码视频序列中的ROI区域的图像。也就是说，通过显著性检测处理之后，可以获得待编码视频序列对应的显著图。
可以理解的是，在本申请的实施例中，终端可以通过显著性目标检测(SalientObject Detection，SOD)分析获取待编码视频序列对应的显著图(如Score Map)。
进一步地，在本申请的实施例中，由于进行SOD分析时，输入的是格式为RGB的图像数据，因此，待编码视频序列可以为待编码视频对应的RGB格式的图像。
需要说明的是，在本申请的实施例中，图4为本申请实施例提出的编码方法的实现流程示意图二，如图4所示，在本申请的实施例中，终端在确定待编码视频序列对应的显著图之前，即步骤101之前，终端进行编码的方法还可以包括以下步骤：
步骤105、对待编码视频中的图像进行格式转换处理，获得待编码视频序列。
在本申请的实施例中，对于待编码视频，终端可以先对待编码视频中的每一帧图像进行格式转换处理，从而可以获得格式为RGB的待编码视频序列。
可以理解的是，在本申请的实施例中，常见的待编码视频主要包括格式为YUV的视频序列，考虑到后续的SOD分析的输入数据是格式为RGB的图像数据，因此需要先对视频帧进行格式转换处理，从而获得数据格式满足SOD分析的待编码视频序列。
示例性的，在本申请的实施例中，常见的待编码视频主要包括格式为YUV420视频序列，对于待编码视频中的图像，可以先通过双线性插值算法将YUV420格式的图像数据转成YUV444格式的图像数据，然后再通过以下公式将YUV444格式的图像数据转换成RGB888的图像数据，即获得待编码视频序列。
进一步地，在本申请的实施例中国，由于视频帧之间存在冗余，如果对待编码视频对应的每一帧待编码视频序列均进行显著性检测(SOD分析)必然会比较耗时，因此，终端在确定待编码视频序列对应的显著图时，可以选择直接使用与待编码视频序列相似性较高的其他图像的显著图，从而可以大大降低编码开销。
可选地，在本申请中，在确定待编码视频序列对应的显著图时，终端可以选择开启相似性度量的功能，对待编码视频对应的待编码视频序列和其他图像(如待编码视频序列的前一帧已检测图像，前一帧已检测图像为待编码视频序列之前的已经进行显著性检测的图像)进行视频帧相似性分析，如果待编码视频序列和其他图像的相似性较高，便可以直接使用其他图像的显著图，如果待编码视频序列和其他图像的相似性较低，便需要对待编码视频进行SOD分析。
需要说明的是，在本申请的实施例中，终端可以先判断待编码视频序列是否需要进行相似性度量，即判断待编码视频序列是否满足相似性度量的预设条件，然后根据判断结果进一步确定是否对待编码视频序列进行相似性分析。
示例性的，在本申请的实施例中，如果待编码视频序列不满足相似性度量的预设条件，那么终端便可以不对待编码视频序列进行相似性分析，而是直接对所述待编码视频序列进行显著性检测，获得所述显著图。
示例性的，在本申请的实施例中，如果待编码视频序列满足相似性度量的预设条件，那么终端便可以对所述待编码视频序列进行相似性分析，获得相似性结果，进而可以根据相似性结果来确定对应的显著图。
具体地，在本申请的实施例中，终端在对所述待编码视频序列进行相似性分析获得相似性结果之后，如果所述相似性结果为所述待编码视频序列与前一帧已检测图像相似，那么终端可以将所述前一帧已检测图像的显著图确定为所述待编码视频序列的所述显著图；如果相似性结果为所述待编码视频序列与所述前一帧已检测图像不相似，那么终端需要对所述待编码视频序列进行显著性检测，获得所述显著图。
可以理解的是，在本申请的实施例中，终端在对所述待编码视频序列进行相似性分析时，可以先确定所述待编码视频序列与所述前一帧已检测图像之间的结构相似性参数和帧间隔参数；然后可以根据结构相似性参数和帧间隔参数进一步确定待编码视频序列与所述前一帧已检测图像的相似性结果。
示例性的，在本申请中，如果结构相似性参数大于等于预设相似度阈值，且所述帧间隔参数小于等于预设间隔阈值，那么可以确定所述相似性结果为所述待编码视频序列与所述前一帧已检测图像相似；如果结构相似性参数小于所述预设相似度阈值，或者所述帧间隔参数大于所述预设间隔阈值，那么可以确定所述相似性结果为所述待编码视频序列与所述前一帧已检测图像不相似。
进一步地，在本申请的实施例中，在待编码视频序列不满足相似性度量的预设条件的情况下，以及在相似性分析之后确定待编码视频序列与前一帧已检测图像不相似的情况下，终端需要对待编码视频序列进行显著性检测，从而可以获得待编码视频序列对应的显著图。
需要说明的是，在本申请的实施例中，终端在对所述待编码视频序列进行显著性检测时，可以将待编码视频序列输入至预设显著性检测模型，从而可以输出所述显著图。其中，预设显著性检测模型用于对图像进行显著性检测，例如，预设显著性检测模型可以为MINet算法模型。也可以针对视频编码场景，选择更适合视频编码的其他显著性检测算法，本申请不进行具体限定。
可选地，在本申请的实施例中，终端可以选择使用MINet算法模型进行显著性检测。其中，MINet结构类似U-Net，针对显著性检测设计了聚合交互策略(AIM)和自交互模块(SIM)，AIM可以更好的利用多层次特征以避免分辨率差异导致的特征融合之间的干扰，SIM是为了获得更丰富的多尺度特征，训练过程结合了二元交叉熵损失(Binary CrossEntropy Loss，BCEL)和一致性加强损失函数(Consistency Enhanced Loss，CEL)，BCEL是语义分割像素点分类常用损失函数，CEL可以较好的处理空间一致性的问题。
需要说明的是，在本申请的实施例中，对待编码视频序列进行显著性检测之后，获得的检测结果即为该待编码视频序列对应的显著图。例如，对待编码视频序列进行显著性目标检测SOD分析后，获得对应的Score Map(显著图)，具体地，SOD的预测结果是像素值为0-255的Score Map。
也就是说，在本申请的实施例中，通过显著性检测所获得的待编码视频序列对应的显著图是一帧像素值为0-255的灰度图。
需要说明的是，在本申请的实施例中，终端可以为任何具有视频编解码功能和存储功能的终端设备，例如：平板电脑、手机、电子阅读器、遥控器、个人计算机(PersonalComputer，PC)、笔记本电脑、车载设备、网络电视、可穿戴设备、个人数字助理(PersonalDigital Assistant，PDA)、便捷式媒体播放器(Portable Media Player，PMP)、导航装置等终端设备。其中，本申请实施例提出的编码方法所实现的功能可以通过终端中的处理器调用程序代码来实现，当然程序代码可以保存在计算机存储介质中，可见，该终端至少包括处理器和存储介质。
步骤102、根据预设像素阈值确定显著图对应的第一编码块和第二编码块；其中，预设像素阈值用于对前景和背景进行划分；第一编码块为显著图中前景区域对应的编码块；第二编码块为显著图中背景区域对应的编码块。
在本申请的实施例中，终端在确定待编码视频序列对应的显著图之后，便可以根据预设像素阈值确定出显著图对应的前景区域和背景区域，进而可以确定出显著图对应的第一编码块和第二编码块。
可以理解的是，在本申请的实施例中，预设像素阈值可以用于对一帧图像中的前景和背景进行划分，即通过预设像素值可以在待编码视频序列中确定出对应的前景区域和背景区域。
可选地，在本申请的实施例中，终端可以预先对预设像素阈值进行设置，其中，预设像素阈值的取值可以为0-255的任意数值，例如，预设像素阈值为30。
进一步地，在本申请的实施例中，第一编码块可以为所述显著图中前景区域对应的编码块；所述第二编码块为所述显著图中背景区域对应的编码块。其中，第一编码块和第二编码块可以为宏块(Macro Block，MB)。
进一步地，在本申请的实施例中，在根据预设像素阈值确定所述显著图对应的第一编码块和第二编码块时，终端可以先对所述显著图进行下采样处理，获得采样后显著图；然后可以将所述采样后显著图中的、像素值大于等于所述预设像素阈值的编码块确定为所述第一编码块；同时可以将所述采样后显著图中的、像素值小于所述预设像素阈值的编码块确定为所述第二编码块。
具体地，在本申请的实施例中，在获取待编码视频序列对应的显著图(ScoreMap)，终端可以先对该显著图进行16倍的下采样处理，从而获得采样后的显著图(NewScore Map)。这是由于视频帧宏块量化参数QP数组(QPMAP)中的任一个值表示原图的16×16像素区域，因此需要通过下采样处理将显著图的宽高大小均缩小至显著图原宽高的1/16，从而获得新的显著图，即采样后显著图。
可以理解的是，在本申请的实施例中，终端可以根据编码块尺寸选择下采样尺度，从而可以在经过下采样处理之后，使得每个像素对应一个编码块。
也就是说，在本申请中，对显著图进行下采样处理所选择的采样倍数可以预先进行设置，其中，终端可以按照采样后的显著图的任一个编码块对应一个像素为条件进行采样倍数的设置，从而可以使得采样后的显著图中的每一个像素均对应有一个编码块。
需要说明的是，在本申请的实施例中，在通过下采样处理获得采样后显著图之后，终端便可以将采样后显著图的像素值与预设像素阈值进行比较，从而根据比较结果完成对显著图的前景区域和背景区域的划分，在采样后显著图中确定出前景区域对应的第一编码块和背景区域对应的第二编码块。
可选地，在本申请的实施例中，如果采样后显著图中的一个编码块的像素值大于或者等于预设像素阈值，那么终端可以认为该编码块属于显著图的前景区域，进而可以将该编码块确定为前景区域对应的第一编码块。
可选地，在本申请的实施例中，如果采样后显著图中的一个编码块的像素值小于预设像素阈值，那么终端可以认为该编码块属于显著图的背景区域，进而可以将该编码块确定为背景区域对应的第二编码块。
由此可见，在本申请的实施例中，终端可以通过预设像素阈值完成对显著图的前景区域和背景区域的划分处理，从而可以在采样后显著图中确定出与前景区域对应的编码块和与背景区域对应的编码块，进而可以按照不同的方式对不同区域中的编码块进行QP值的调整。
需要说明的是，在本申请的实施例中，待编码视频序列通过显著性检测和前景背景的划分，可以认为获得的显著图的前景区域为待编码视频序列对应的ROI区域，其中，该前景区域可以包括人像，也可以包括物像等其他内容。
步骤103、计算第一编码块的第一QP补偿值和第二编码块的第二QP补偿值。
在本申请的实施例中，终端在根据预设像素阈值确定所述显著图对应的第一编码块和第二编码块之后，可以计算第一编码块的第一QP补偿值和第二编码块的第二QP补偿值。
需要说明的是，在本申请的实施例中，第一QP补偿值可以用于对前景区域对应的第一编码块的第一QP初始值进行调整，第二QP补偿值可以用于对背景区域对应的第二编码块的第二QP初始值进行调整。
可以理解的是，在本申请的实施例中，为了在相同码率或低码率的情况下提升解码过程中ROI区域的视频质量，终端不仅需要按照不同的码率对前景区域和背景区域进行区分编码，更需要尽可能的提高前景区域对应的码率，因此，终端需要分别对前景区域对应的第一编码块的第一QP初始值和背景区域对应的第二编码块的第二QP初始值进行调整。
具体地，在本申请的实施例中，终端可以先针对前景区域和背景区域确定出不同的QP补偿值，然后使用不同的QP补偿值对第一QP初始值和第二QP初始值进行调整。
进一步地，在本申请的实施例中，对于前景区域和背景区域，终端可以使用不同的计算模型进行QP补偿值的计算，从而可以针对不同的区域获得不同的QP补偿值。
可选地，在本申请中，终端在计算所述第一编码块的第一QP补偿值和所述第二编码块的第二QP补偿值时，可以根据预设QP参考值、第一计算模型以及所述第一编码块的像素值，计算所述第一QP补偿值；同时，可以根据所述预设QP参考值、第二计算模型以及所述第二编码块的像素值，计算所述第二QP补偿值。
需要说明的是，在本申请的实施例中，第一计算模型用于确定前景区域对应的QP补偿值，具体地，第一计算模型用于减小前景区域的QP初始值。
示例性的，在本申请中，第一计算模型可以表示为如下公式，终端利用第一计算模型便可以计算获得前景区域对应的第一QP补偿值qp-val1：
qp-val1＝pix-val1/255×Δqp (2)
其中，Δqp为预设QP参考值，pix-val1为第一编码块的像素值。
需要说明的是，在本申请的实施例中，第二计算模型用于确定背景区域对应的QP补偿值，具体地，第二计算模型用于增大背景区域的QP初始值。
示例性的，在本申请中，第二计算模型可以表示为如下公式，终端利用第二计算模型便可以计算获得背景区域对应的第二QP补偿值qp-val2：
qp-val2＝(255-pix-val2)/255×(-Δqp) (3)
其中，Δqp为预设QP参考值，pix-val2为第二编码块的像素值。
可以理解的是，在本申请的实施例中，预设QP参考值可以为终端预先设置的、用于进行QP补偿值计算的任意数值。其中，终端可以将预设QP参考值设置为一个固定数值，也可以使用算法对视频场景进行分析分类，然后可以自动为不同的场景进行参数设置，即不同的场景对应不同的预设QP参考值。
示例性的，在本申请的实施例中，终端可以将预设QP参考值Δqp设置为-15，通过上述公式(2)计算获得的第一QP补偿值qp-val1为负数，那么通过第一QP补偿值对第一QP初始值进行调整，可以减小第一编码块的QP值；相应地，通过上述公式公式(3)计算获得的第二QP补偿值qp-val2为正数，那么通过第二QP补偿值对第二QP初始值进行调整，可以增大第二编码块的QP值。
步骤104、根据第一QP补偿值和第二QP补偿值编码待编码视频序列，生成码流。
在本申请的实施例中，终端在计算所述第一编码块的第一QP补偿值和所述第二编码块的第二QP补偿值之后，便可以根据第一编码块对应的第一QP补偿值和第二编码块对应的第二QP补偿值对待编码视频序列进行编码处理，从而生成码流。
进一步地，在本申请的实施例中，图5为本申请实施例提出的编码方法的实现流程示意图三，如图5所示，在根据所述第一QP补偿值和所述第二QP补偿值编码所述待编码视频序列，生成码流之前，即步骤104之前，终端进行编码的方法还可以包括以下步骤：
步骤106、确定第一编码块的第一QP初始值和第二编码块的第二QP初始值。
在本申请的实施例中，在完成对待编码视频序列的前景区域和背景区域的划分之后，终端可以先确定出前景区域对应的第一编码块的第一QP初始值和背景区域对应的第二编码块的第二QP初始值。
需要说明的是，在本申请的实施中，对于前景区域，不同的第一编码块对应的第一QP初始值可以相同，也可以不同；相应地，对于背景区域，不同的第二编码块对应的第二QP初始值可以相同，也可以不同。
进一步地，在本申请的实施例中，对于前景区域对应的第一编码块和背景区域对应的第二编码块，第一QP初始值和第二QP初始值是不同的。
可以理解的是，在本申请的实施例中，在根据用于减小前景区域的QP初始值的第一计算模型计算获得第一QP补偿值，并根据用于增大背景区域的QP初始值的第二计算模型计算获得第二QP补偿值之后，终端便可以分别根据第一QP补偿值和所述第二QP补偿值对前景区域的第一QP初始值和背景区域的第二QP初始值进行调整，从而获得被减小的第一QP值和被增大的第二QP值。
可选地，在本申请的实施例中，在根据所述第一QP补偿值和所述第二QP补偿值编码所述待编码视频序列时，可以根据所述第一QP补偿值确定所述第一编码块的第一QP值，同时根据所述第二QP补偿值确定所述第二编码块的第二QP值；进而可以按照所述第一QP值和第二QP值进行编码，生成所述码流。
需要说明的是，在本申请中，由于QP值越小，分配的码率越高，QP值越大，分配的码率越低，因此在基于第一QP补偿值和所述第二QP补偿值分获得第一QP值和第二QP值之后，按照第一QP值和第二QP值分别对第一编码块和第二编码块进行编码处理，可以大大提升前景区域的编码质量，即提升解码过程中ROI区域的视频质量，同时，增大分配给第一编码块和第饿编码块之间的码率差距，可以使得前景区域和背景区域之间的边界更加清楚，从而更清晰地突出ROI区域。
可选地，在本申请的实施例中，终端在根据第一QP补偿值和所述第二QP补偿值编码所述待编码视频序列时，可以对所述第一QP补偿值和第一编码块的第一QP初始值进行求和运算，获得所述第一编码块的第一QP值；同时可以对所述第二QP补偿值和第二编码块的第二QP初始值进行求和运算，获得所述第二编码块的第二QP值；进而可以按照所述第一QP值编码所述第一编码单元，按照所述第二QP值编码所述第二编码单元，生成所述码流。
综上所述，通过上述步骤101至步骤106提出的编码方法，基于待编码视频序列对应的显著图，终端可以划分获得前景区域和背景区域，并按照不同的方式计算前景区域和背景区域对应的每一个编码块的QP补偿值，从而可以按照前景区域对应的QP补偿值减小编码块的QP初始值，使得前景区域对应的编码块在编码时分配到更高的码率，同时可以按照背景区域对应的QP补偿值增大编码块的QP初始值，使得背景区域对应的编码块在编码时分配到更底的码率，进而可以大大提高前景区域的编码质量，同时可以使前景区域和背景区域之间的边界更清晰。
具体地，本申请实施例提出的编码方法，通过引入深度学习显著性检测算法来确定ROI区域，显著性检测对不同场景中的显著区域具有更强的泛化性能，对自然场景中的房屋、岩石等不规则的物体也能够提取出ROI区域。
进一步地，本申请实施例提出的编码方法，为了克服视频帧与帧之间存在冗余所造成的编码开销增大的缺陷，终端在进行SOD分析前可以进行相似度度量，使待编码视频序列可以直接使用与其相似的其他图像的显著图，进而降低因视频帧之间的冗余产生的大量计算量。
可以理解的是，本申请实施例提出的编码方法，SOD预测结果得到Score Map，通过对显著图(Score Map)下采样16倍得到的采样后显著图(New Score Map)刚好符合QPMAP大小。然后基于采样后显著图中预测的像素值进行前景区域和背景区域的区分，并使用不同的方式分别对前景区域和背景区域的编码块进行QP补偿值的设置，从而将QPMAP叠加到原编码块(原宏块)码率控制过程中，实现对原编码块(原宏块)的QP值的调整，使得前景区域(ROI区域)的QP值会降低，从而编码过程会分配更多的码率；同时使得背景区域QP值提高，从而编码过程会分配更少的码率。
需要说明的是，本申请实施例提出的编码方法，可以通过显著性检测算法调节ROI区域的QP值，实现对x264编码框架进行优化，在相同码率或低码率的情况下提升解码过程中ROI区域的视频质量。其中，高度压缩数字视频编解码器标准H.264是主流的视频编码方法之一，开源H.264视频编码函数库x264则是H.264的应用版本。
进一步地，本申请实施例提出的编码方法，还可以运用到其他编码框架中去，类似x265、VP8、VP9等。
本申请实施例提供了一种编码方法，终端确定待编码视频序列对应的显著图；根据预设像素阈值确定显著图对应的第一编码块和第二编码块；其中，预设像素阈值用于对前景和背景进行划分；第一编码块为显著图中前景区域对应的编码块；第二编码块为显著图中背景区域对应的编码块；计算第一编码块的第一QP补偿值和第二编码块的第二QP补偿值；根据第一QP补偿值和第二QP补偿值编码待编码视频序列，生成码流。也就是说，在本申请的实施例中，终端可以基于预设像素阈值划分出待编码视频序列对应的前景区域和背景区域，并使用不同的方法分别计算前景区域中编码块对应的QP补偿值和背景区域中编码块对应的QP补偿值，然后可以利用对应的QP补偿值来减小前景区域的QP值、增大背景区域的QP值，从而在码率固定或较低的情况下，为前景区域分配更高的码率，为背景区域分配更低的码率，进而可以大大提升ROI区域的编码质量，同时可以使ROI区域和非ROI区域的边界更加清楚。
基于上述实施例，本申请的再一实施例提出了一种编码方法，图6为本申请实施例提出的编码方法的实现流程示意图四，如图6所示，终端确定待编码视频序列对应的显著图的方法可以包括以下步骤：
步骤101a、若待编码视频序列满足相似性度量的预设条件，则对待编码视频序列进行相似性分析，获得相似性结果。
步骤101b、若相似性结果为待编码视频序列与前一帧已检测图像相似，则将前一帧已检测图像的显著图确定为待编码视频序列的显著图。
步骤101c、若相似性结果为待编码视频序列与前一帧已检测图像不相似，则对待编码视频序列进行显著性检测，获得显著图。
在本申请的实施例中，终端在获取待编码视频对应的待编码视频序列之后，可以对待编码视频序列是否需要进行相似性度量进行确定。具体地，终端可以先判断待编码视频序列是否满足相似性度量的预设条件，如果满足，则选择对待编码视频序列进行相似性分析，获得相似性结果。
可以理解的是，在本申请的实施例中，相似性度量的预设条件可以用于对图像在视频中的重要程度进行确定。具体地，如果待编码视频序列为待编码视频中重要的视频帧，那么可以认为需要对待编码视频序列进行显著性检测，而不是直接使用与其相似性较高的其他图像的显著图，进而可以判定待编码视频序列不满足相似性度量的预设条件；相应地，如果待编码视频序列不为待编码视频中重要的视频帧，那么可以认为不一定要对待编码视频序列进行显著性检测，可以直接使用与其相似性较高的其他图像的显著图，进而可以判定待编码视频序列满足相似性度量的预设条件。
示例性的，在本申请中，如果待编码视频序列为待编码视频中的I帧，那么终端可以判定待编码视频序列不满足所述相似性度量的预设条件；如果待编码视频序列不为待编码视频中的I帧(而是待编码视频中的P帧或B帧)，那么终端可以判定待编码视频序列满足所述相似性度量的预设条件。
示例性的，在本申请中，如果待编码视频序列为待编码视频中的首帧图像，那么终端可以判定待编码视频序列不满足所述相似性度量的预设条件；如果待编码视频序列不为待编码视频中的首帧图像，那么终端可以判定待编码视频序列满足所述相似性度量的预设条件。
其中，I帧表示关键帧，可以理解为这一帧画面的完整保留；解码时只需要本帧数据就可以完成，这是因为I帧包含完整画面。P帧表示的是这一帧跟之前的一个关键帧(或P帧)的差别，解码时需要用之前缓存的画面叠加上本帧定义的差别，生成最终画面。P帧也就是差别帧，P帧没有完整画面数据，只有与前一帧的画面差别的数据。B帧是双向差别帧，也就是B帧记录的是本帧与前后帧的差别，换言之，要解码B帧，不仅要取得之前的缓存画面，还要解码之后的画面，通过前后画面的与本帧数据的叠加取得最终的画面。
进一步地，在本申请的实施例中，终端在对所述待编码视频序列进行相似性分析，获得相似性结果时，可以先确定所述待编码视频序列与所述前一帧已检测图像之间的结构相似性参数和帧间隔参数；如果结构相似性参数大于等于预设相似度阈值，且所述帧间隔参数小于等于预设间隔阈值，那么终端可以确定所述相似性结果为所述待编码视频序列与所述前一帧已检测图像相似；如果结构相似性参数小于所述预设相似度阈值，或者所述帧间隔参数大于所述预设间隔阈值，那么终端可以确定所述相似性结果为所述待编码视频序列与所述前一帧已检测图像不相似。
可以理解的是，在本申请的实施例中，结构相似性参数可以对待编码视频序列与所述前一帧已检测图像之间的相似程度进行确定。相似性度量的度量标准可以采用结构相似性(Structural SIMilarity，SSIM)，其中，SSIM用于比较两个样本x和y的亮度、对比度、结构。具体地，待编码视频序列(x)与所述前一帧已检测图像(y)之间的结构相似性参数可以表示为SSIM(x，y)，SSIM(x，y)的取值属于[0，1]区间，其值越大，表示两个样本x和y的相似性越高。
相应地，在本申请的实施例中，预设相似度阈值可以判定两帧图像的图像内容是否相似。其中，基于SSIM的度量标准，终端可以将预设相似度阈值设置为大于等于0且小于等于1的数值，例如，将预设相似度阈值设置为0.9。
需要说明的是，在本申请的实施例中，帧间隔参数可以对待编码视频序列与所述前一帧已检测图像的时间间隔进行确定。其中，帧间隔参数可以对相似性结果进行时间维度的限制。
可选地，在本申请的实施例中，终端可以将预设间隔阈值设置为一个具体数值，例如，设置预设间隔阈值为10帧；也可以按照IDR帧之间的距离(Group of picture，GOP)设置预设间隔阈值，例如，将预设间隔阈值设置为GOP的1/3；还可以按照不同的场景设置不同的预设间隔阈值，例如，对应场景1，可以将预设间隔阈值设置为10帧，对应场景1，可以将预设间隔阈值设置为8帧。
可以理解的是，在本申请的实施例中，由于存在虽然两帧图像相似性很高，但是实际上两帧图像内容差异很大的情况，因此需要通过预设间隔阈值辅助对所述待编码视频序列的相似性分析，从而使获得的相似性结果更加准确，避免SSIM存在的不足。
示例性的，在本申请中，只有当待编码视频序列和前一帧已检测图像之间的结构相似性参数和帧间隔参数均满足的情况下(如结构相似性参数大于等于预设相似度阈值，且帧间隔参数大于所述预设间隔阈值)，终端才可以确定所述相似性结果为所述待编码视频序列与所述前一帧已检测图像相似，进而可以不对待编码视频序列SOD分析，直接使用前一帧已检测图像的显著性检测结果。
进一步地，在本申请的实施例中，图7为本申请实施例提出的编码方法的实现流程示意图五，如图7所示，终端确定待编码视频序列对应的显著图的方法还可以包括以下步骤：
步骤101d、若待编码视频序列不满足相似性度量的预设条件，则对待编码视频序列进行显著性检测，获得显著图。
在本申请的实施例中，终端在获取待编码视频对应的待编码视频序列之后，可以对待编码视频序列是否需要进行相似性度量进行确定。具体地，终端可以先判断待编码视频序列是否满足相似性度量的预设条件，如果不满足，那么终端便不需要对待编码视频序列进行相似性分析，而是可以选择直接对待编码视频序列进行显著性检测，从而获得对应的显著图。
本申请实施例提供了一种编码方法，终端确定待编码视频序列对应的显著图；根据预设像素阈值确定显著图对应的第一编码块和第二编码块；其中，预设像素阈值用于对前景和背景进行划分；第一编码块为显著图中前景区域对应的编码块；第二编码块为显著图中背景区域对应的编码块；计算第一编码块的第一QP补偿值和第二编码块的第二QP补偿值；根据第一QP补偿值和第二QP补偿值编码待编码视频序列，生成码流。也就是说，在本申请的实施例中，终端可以基于预设像素阈值划分出待编码视频序列对应的前景区域和背景区域，并使用不同的方法分别计算前景区域中编码块对应的QP补偿值和背景区域中编码块对应的QP补偿值，然后可以利用对应的QP补偿值来减小前景区域的QP值、增大背景区域的QP值，从而在码率固定或较低的情况下，为前景区域分配更高的码率，为背景区域分配更低的码率，进而可以大大提升ROI区域的编码质量，同时可以使ROI区域和非ROI区域的边界更加清楚。
基于上述实施例，本申请的另一实施例提出一种编码方法，图8为本申请实施例提出的编码方法的实现流程示意图六，如图8所示，本申请实施例提出的编码方法可以理解为一种ROI编码方法，该编码方法在原有的码率控制(如原x264码率控制)流程的基础上增加了视觉显著性检测ROI区域编码块(如宏块MB级)QP调节流程。QP调节的编码块(如MB)可以为16×16像素大小。在码率固定的情况下，MB的QP值越小，该MB区域则会分配越高的码率，反之QP值越大，分配的码率越低。其中，ROI编码的目的是对ROI区域分配更高的码率，使得解码出的ROI区域视频图像更清晰。
具体地，在本申请的实施例中，终端可以先对视频帧进行相似性度量，然后通过SOD预测的结果进行QP调节，将检测结果Score Map(SOD预测结果像素值为0-255)下采样16倍得到QPMAP大小的New Score Map，然后可以通过QPMAP计算模块得到视频帧的QPMAP，叠加到宏块码率控制模块去调节MB级的QP值。从而达到ROI区域QP值变小，非ROI区域QP值不变或变大的目的。
需要说明的是，在本申请的实施例中，输入YUV视频序列，在判断是否进行ROI编码(步骤201)之后，一个分支是不进行ROI编码，而是直接进入原x264码率控制流程中；待编码的YUV视频帧输入后进入到帧级别码率控制(步骤202)与宏块码率控制流程中，帧级别码率控制会通过复杂度计算来调整QP级别，同时也会通过宏块码率控制编码后的反馈来调节QP级别。自适应量化(步骤203)过程会提前进行，并通过对MB的能量分析结合自适应量化强度因子进行调节，实现MB级的QP调整(步骤205)。
进一步地，在本申请的实施例中，输入YUV视频序列，在判断是否进行ROI编码(步骤201)之后，另一个分支是进行ROI编码，需要先将待编码的YUV视频帧转换为RGB图像(待编码视频序列)(步骤206)；接着，在判断是否满足相似性度量的预设条件(步骤207)之后，如果判定满足相似性度量的预设条件，则对待编码视频序列进行相似性检测(步骤208)，并确定相似性检测的检测结果是否为相似(步骤209)，如果待编码视频序列与前一帧已检测图像相似，那么可以直接使用前一帧已检测图像的显著图(Score Map)；如果判定不满足相似性度量的预设条件，或者，如果待编码视频序列与前一帧已检测图像不相似，那么需要进行显著性检测(步骤210)，获得对应的Score Map。其中，Score Map是像素值为0-255的灰度图，将Score Map宽高缩小16倍可以得到QPMAP大小的采样后显著图(New Score Map)(步骤211)；基于New Score Map，可以区分出前景区域(ROI区域)和背景区域(非ROI区域)，进而可以使用不同的计算模型计算获得前景区域的编码块和背景区域的编码块对应的不同的QP补偿值(步骤212)。
需要说明的是，在本申请的实施例中，对于ROI区域和非ROI区域，终端可以使用不同的QP补偿值对设置的QP初始值进行调整，相当于在原自适应量化和MBTree过程(步骤204)计算得到前景区域对应的MB的QP值的基础上加上QP补偿值，获得不同区域对应的调整后的QP值。其中，在计算获得的前景区域对应的第一QP补偿值是负数，且背景区域对应的第二QP补偿值是正数的情况下，实现ROI区域对应的QP值变小，且非ROI区域对应的QP值变大的目的，并使用调整后的QP值进行编码处理(步骤213)，生成码流，从而可以大大提升前景区域的编码质量，即提升解码过程中ROI区域的视频质量，同时，增大分配给第一编码块和第二编码块之间的码率差距，可以使得前景区域和背景区域之间的边界更加清楚，从而更清晰地突出ROI区域。
其中，New Score Map在代码中记为score_map_new，基于上述公式(2)和公式(3)，显著性检测QPMAP设置关键代码如下：
可见，本申请提出的编码方法，通过深度学习显著性检测算法MINet对视频帧进行显著性区域检测，从而调整x264视频帧编码的QP值，编码过程中会对前景区域分配更高的码率，对背景区域分配更低的码率，ROI区域在相同码率或者较低码率情况下在解码过程中也能恢复出高质量视频图像。
本申请实施例提供了一种编码方法，终端确定待编码视频序列对应的显著图；根据预设像素阈值确定显著图对应的第一编码块和第二编码块；其中，预设像素阈值用于对前景和背景进行划分；第一编码块为显著图中前景区域对应的编码块；第二编码块为显著图中背景区域对应的编码块；计算第一编码块的第一QP补偿值和第二编码块的第二QP补偿值；根据第一QP补偿值和第二QP补偿值编码待编码视频序列，生成码流。也就是说，在本申请的实施例中，终端可以基于预设像素阈值划分出待编码视频序列对应的前景区域和背景区域，并使用不同的方法分别计算前景区域中编码块对应的QP补偿值和背景区域中编码块对应的QP补偿值，然后可以利用对应的QP补偿值来减小前景区域的QP值、增大背景区域的QP值，从而在码率固定或较低的情况下，为前景区域分配更高的码率，为背景区域分配更低的码率，进而可以大大提升ROI区域的编码质量，同时可以使ROI区域和非ROI区域的边界更加清楚。
基于上述实施例，在本申请的另一实施例中，图9为本申请实施例提出的终端的组成结构示意图一，如图9所示，本申请实施例提出的终端10可以包括确定单元11，计算单元12，编码单元13，
所述确定单元11，用于确定待编码视频序列对应的显著图；根据预设像素阈值确定所述显著图对应的第一编码块和第二编码块；其中，所述预设像素阈值用于对前景和背景进行划分；所述第一编码块为所述显著图中前景区域对应的编码块；所述第二编码块为所述显著图中背景区域对应的编码块；
所述计算单元12，用于计算所述第一编码块的第一QP补偿值和所述第二编码块的第二QP补偿值；
所述编码单元13，用于根据所述第一QP补偿值和所述第二QP补偿值编码所述待编码视频序列，生成码流。
在本申请的实施例中，进一步地，图10为本申请实施例提出的终端的组成结构示意图二，如图10所示，本申请实施例提出的终端10还可以包括处理器14、存储有处理器14可执行指令的存储器15，进一步地，终端10还可以包括通信接口16，和用于连接处理器14、存储器15以及通信接口16的总线17。
在本申请的实施例中，上述处理器14可以为特定用途集成电路(ApplicationSpecific Integrated Circuit，ASIC)、数字信号处理器(Digital Signal Processor，DSP)、数字信号处理装置(Digital Signal Processing Device，DSPD)、可编程逻辑装置(ProgRAMmable Logic Device，PLD)、现场可编程门阵列(Field ProgRAMmable GateArray，FPGA)、中央处理器(Central Processing Unit，CPU)、控制器、微控制器、微处理器中的至少一种。可以理解地，对于不同的设备，用于实现上述处理器功能的电子器件还可以为其它，本申请实施例不作具体限定。终端10还可以包括存储器15，该存储器15可以与处理器14连接，其中，存储器15用于存储可执行程序代码，该程序代码包括计算机操作指令，存储器15可能包含高速RAM存储器，也可能还包括非易失性存储器，例如，至少两个磁盘存储器。
在本申请的实施例中，总线17用于连接通信接口16、处理器14以及存储器15以及这些器件之间的相互通信。
在本申请的实施例中，存储器15，用于存储指令和数据。
进一步地，在本申请的实施例中，上述处理器14，用于确定待编码视频序列对应的显著图；
根据预设像素阈值确定所述显著图对应的第一编码块和第二编码块；其中，所述预设像素阈值用于对前景和背景进行划分；所述第一编码块为所述显著图中前景区域对应的编码块；所述第二编码块为所述显著图中背景区域对应的编码块；计算所述第一编码块的第一QP补偿值和所述第二编码块的第二QP补偿值；根据所述第一QP补偿值和所述第二QP补偿值编码所述待编码视频序列，生成码流。
在实际应用中，上述存储器15可以是易失性存储器(volatile memory)，例如随机存取存储器(Random-ACCess Memory，RAM)；或者非易失性存储器(non-volatile memory)，例如只读存储器(Read-Only Memory，ROM)，快闪存储器(flash memory)，硬盘(Hard DiskDrive，HDD)或固态硬盘(Solid-State Drive，SSD)；或者上述种类的存储器的组合，并向处理器14提供指令和数据。
另外，在本实施例中的各功能模块可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。
集成的单元如果以软件功能模块的形式实现并非作为独立的产品进行销售或使用时，可以存储在一个计算机可读取存储介质中，基于这样的理解，本实施例的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)或processor(处理器)执行本实施例方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(Read OnlyMemory，ROM)、随机存取存储器(Random ACCess Memory，RAM)、磁碟或者光盘等各种可以存储程序代码的介质。
本申请实施例提供了一种终端，该终端确定待编码视频序列对应的显著图；根据预设像素阈值确定显著图对应的第一编码块和第二编码块；其中，预设像素阈值用于对前景和背景进行划分；第一编码块为显著图中前景区域对应的编码块；第二编码块为显著图中背景区域对应的编码块；计算第一编码块的第一QP补偿值和第二编码块的第二QP补偿值；根据第一QP补偿值和第二QP补偿值编码待编码视频序列，生成码流。也就是说，在本申请的实施例中，终端可以基于预设像素阈值划分出待编码视频序列对应的前景区域和背景区域，并使用不同的方法分别计算前景区域中编码块对应的QP补偿值和背景区域中编码块对应的QP补偿值，然后可以利用对应的QP补偿值来减小前景区域的QP值、增大背景区域的QP值，从而在码率固定或较低的情况下，为前景区域分配更高的码率，为背景区域分配更低的码率，进而可以大大提升ROI区域的编码质量，同时可以使ROI区域和非ROI区域的边界更加清楚。
本申请实施例提供一种计算机可读存储介质，其上存储有程序，该程序被处理器执行时实现如上所述的编码方法。
具体来讲，本实施例中的一种编码方法对应的程序指令可以被存储在光盘，硬盘，U盘等存储介质上，当存储介质中的与一种编码方法对应的程序指令被一电子设备读取或被执行时，包括如下步骤：
确定待编码视频序列对应的显著图；
根据预设像素阈值确定所述显著图对应的第一编码块和第二编码块；其中，所述预设像素阈值用于对前景和背景进行划分；所述第一编码块为所述显著图中前景区域对应的编码块；所述第二编码块为所述显著图中背景区域对应的编码块；
计算所述第一编码块的第一QP补偿值和所述第二编码块的第二QP补偿值；
根据所述第一QP补偿值和所述第二QP补偿值编码所述待编码视频序列，生成码流。
本领域内的技术人员应明白，本申请的实施例可提供为方法、系统、或计算机程序产品。因此，本申请可采用硬件实施例、软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器和光学存储器等)上实施的计算机程序产品的形式。
本申请是参照根据本申请实施例的方法、设备(系统)、和计算机程序产品的实现流程示意图和/或方框图来描述的。应理解可由计算机程序指令实现流程示意图和/或方框图中的每一流程和/或方框、以及实现流程示意图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在实现流程示意图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在实现流程示意图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在实现流程示意图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
以上所述，仅为本申请的较佳实施例而已，并非用于限定本申请的保护范围。
Claims (13)
1.一种编码方法，其特征在于，所述方法包括：
确定待编码视频序列对应的显著图；
根据预设像素阈值确定所述显著图对应的第一编码块和第二编码块；其中，所述预设像素阈值用于对前景和背景进行划分；所述第一编码块为所述显著图中前景区域对应的编码块；所述第二编码块为所述显著图中背景区域对应的编码块；
计算所述第一编码块的第一量化参数QP补偿值和所述第二编码块的第二QP补偿值；
根据所述第一QP补偿值和所述第二QP补偿值编码所述待编码视频序列，生成码流。
2.根据权利要求1所述的方法，其特征在于，所述确定待编码视频序列对应的显著图，包括：
若所述待编码视频序列满足相似性度量的预设条件，则对所述待编码视频序列进行相似性分析，获得相似性结果；
若所述相似性结果为所述待编码视频序列与前一帧已检测图像相似，则将所述前一帧已检测图像的显著图确定为所述待编码视频序列的所述显著图；
若所述相似性结果为所述待编码视频序列与所述前一帧已检测图像不相似，则对所述待编码视频序列进行显著性检测，获得所述显著图。
3.根据权利要求2所述的方法，其特征在于，所述对所述待编码视频序列进行相似性分析，获得相似性结果，包括：
确定所述待编码视频序列与所述前一帧已检测图像之间的结构相似性参数和帧间隔参数；
若所述结构相似性参数大于等于预设相似度阈值，且所述帧间隔参数小于等于预设间隔阈值，则确定所述相似性结果为所述待编码视频序列与所述前一帧已检测图像相似；
若所述结构相似性参数小于所述预设相似度阈值，或者所述帧间隔参数大于所述预设间隔阈值，则确定所述相似性结果为所述待编码视频序列与所述前一帧已检测图像不相似。
4.根据权利要求1所述的方法，其特征在于，所述确定待编码视频序列对应的显著图，包括：
若所述待编码视频序列不满足相似性度量的预设条件，则对所述待编码视频序列进行显著性检测，获得所述显著图。
5.根据权利要求2或4所述的方法，其特征在于，所述对所述待编码视频序列进行显著性检测，获得所述显著图，包括：
将所述待编码视频序列输入至预设显著性检测模型，输出所述显著图。
6.根据权利要求1所述的方法，其特征在于，所述根据预设像素阈值确定所述显著图对应的第一编码块和第二编码块，包括：
对所述显著图进行下采样处理，获得采样后显著图；
将所述采样后显著图中的、像素值大于等于所述预设像素阈值的编码块确定为所述第一编码块；
将所述采样后显著图中的、像素值小于所述预设像素阈值的编码块确定为所述第二编码块。
7.根据权利要求1所述的方法，其特征在于，所述计算所述第一编码块的第一QP补偿值和所述第二编码块的第二QP补偿值，包括：
根据预设QP参考值、第一计算模型以及所述第一编码块的像素值，计算所述第一QP补偿值；
根据所述预设QP参考值、第二计算模型以及所述第二编码块的像素值，计算所述第二QP补偿值。
8.根据权利要求1所述的方法，其特征在于，所述根据所述第一QP补偿值和所述第二QP补偿值编码所述待编码视频序列，生成码流，包括：
对所述第一QP补偿值和所述第一编码块的第一QP初始值进行求和运算，获得所述第一编码块的第一QP值；
对所述第二QP补偿值和所述第二编码块的第二QP初始值进行求和运算，获得所述第二编码块的第二QP值；
按照所述第一QP值编码所述第一编码单元，按照所述第二QP值编码所述第二编码单元，生成所述码流。
9.根据权利要求1所述的方法，其特征在于，所述确定待编码视频序列对应的显著图之前，所述方法还包括：
对待编码视频中的图像进行格式转换处理，获得所述待编码视频序列。
10.根据权利要求2-4任一项所述的方法，其特征在于，所述方法还包括：
若所述待编码视频序列为I帧，则判定不满足所述相似性度量的预设条件；
若所述待编码视频序列不为I帧，则判定满足所述相似性度量的预设条件。
11.一种终端，其特征在于，所述终端包括：确定单元，计算单元，编码单元，
所述确定单元，用于确定待编码视频序列对应的显著图；根据预设像素阈值确定所述显著图对应的第一编码块和第二编码块；其中，所述预设像素阈值用于对前景和背景进行划分；所述第一编码块为所述显著图中前景区域对应的编码块；所述第二编码块为所述显著图中背景区域对应的编码块；
所述计算单元，用于计算所述第一编码块的第一QP补偿值和所述第二编码块的第二QP补偿值；
所述编码单元，用于根据所述第一QP补偿值和所述第二QP补偿值编码所述待编码视频序列，生成码流。
12.一种终端，其特征在于，所述终端包括处理器、存储有所述处理器可执行指令的存储器，当所述指令被所述处理器执行时，实现如权利要求1-10任一项所述的方法。
13.一种计算机可读存储介质，其上存储有程序，其特征在于，所述程序被处理器执行时，实现如权利要求1-10任一项所述的方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110727082.XA CN113473137A (zh) | 2021-06-29 | 2021-06-29 | 编码方法、终端及存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110727082.XA CN113473137A (zh) | 2021-06-29 | 2021-06-29 | 编码方法、终端及存储介质 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN113473137A true CN113473137A (zh) | 2021-10-01 |
Family
ID=77873618
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110727082.XA Pending CN113473137A (zh) | 2021-06-29 | 2021-06-29 | 编码方法、终端及存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113473137A (zh) |
Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107770525A (zh) * | 2016-08-15 | 2018-03-06 | 华为技术有限公司 | 一种图像编码的方法及装置 |
| CN108776970A (zh) * | 2018-06-12 | 2018-11-09 | 北京字节跳动网络技术有限公司 | 图像处理方法和装置 |
| CN110620924A (zh) * | 2019-09-23 | 2019-12-27 | 广州虎牙科技有限公司 | 编码数据的处理方法、装置、计算机设备及存储介质 |
| CN111131825A (zh) * | 2019-10-28 | 2020-05-08 | 华为技术有限公司 | 一种视频处理方法及相关装置 |
| CN111279389A (zh) * | 2018-12-28 | 2020-06-12 | 深圳市大疆创新科技有限公司 | 图像处理方法和装置 |
| CN111479112A (zh) * | 2020-06-23 | 2020-07-31 | 腾讯科技（深圳）有限公司 | 一种视频编码方法、装置、设备和存储介质 |
| CN111988611A (zh) * | 2020-07-24 | 2020-11-24 | 北京达佳互联信息技术有限公司 | 量化偏移信息的确定方法、图像编码方法、装置及电子设备 |
-
2021
- 2021-06-29 CN CN202110727082.XA patent/CN113473137A/zh active Pending
Patent Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107770525A (zh) * | 2016-08-15 | 2018-03-06 | 华为技术有限公司 | 一种图像编码的方法及装置 |
| CN108776970A (zh) * | 2018-06-12 | 2018-11-09 | 北京字节跳动网络技术有限公司 | 图像处理方法和装置 |
| CN111279389A (zh) * | 2018-12-28 | 2020-06-12 | 深圳市大疆创新科技有限公司 | 图像处理方法和装置 |
| CN110620924A (zh) * | 2019-09-23 | 2019-12-27 | 广州虎牙科技有限公司 | 编码数据的处理方法、装置、计算机设备及存储介质 |
| CN111131825A (zh) * | 2019-10-28 | 2020-05-08 | 华为技术有限公司 | 一种视频处理方法及相关装置 |
| CN111479112A (zh) * | 2020-06-23 | 2020-07-31 | 腾讯科技（深圳）有限公司 | 一种视频编码方法、装置、设备和存储介质 |
| CN111988611A (zh) * | 2020-07-24 | 2020-11-24 | 北京达佳互联信息技术有限公司 | 量化偏移信息的确定方法、图像编码方法、装置及电子设备 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN112534818B (zh) | 使用运动和对象检测的用于视频编码的译码参数的基于机器学习的自适应 | |
| US10977809B2 (en) | Detecting motion dragging artifacts for dynamic adjustment of frame rate conversion settings | |
| US8036263B2 (en) | Selecting key frames from video frames | |
| CN112102212B (zh) | 一种视频修复方法、装置、设备及存储介质 | |
| CN110620924B (zh) | 编码数据的处理方法、装置、计算机设备及存储介质 | |
| WO2023005740A1 (zh) | 图像编码、解码、重建、分析方法、系统及电子设备 | |
| CN109688407B (zh) | 编码单元的参考块选择方法、装置、电子设备及存储介质 | |
| CN114363623A (zh) | 图像处理方法、装置、介质及电子设备 | |
| CN113766247B (zh) | 环路滤波的方法与装置 | |
| CN112954393A (zh) | 一种基于视频编码的目标跟踪方法、系统、存储介质及终端 | |
| CN115442609A (zh) | 特征数据编解码方法和装置 | |
| CN113068034A (zh) | 视频编码方法及装置、编码器、设备、存储介质 | |
| CN114157870A (zh) | 编码方法、介质及电子设备 | |
| TW202420815A (zh) | 使用神經網路進行圖像區域的並行處理－解碼、後濾波和ｒｄｏｑ | |
| WO2024072865A1 (en) | Systems and methods for object boundary merging, splitting, transformation and background processing in video packing | |
| CN113473137A (zh) | 编码方法、终端及存储介质 | |
| CN107194961B (zh) | 群体图像编码中多参考图像的确定方法 | |
| CN112533024A (zh) | 一种人脸视频处理方法、装置及存储介质 | |
| CN114040210A (zh) | 一种基于avs3的帧内cu快速划分方法 | |
| CN106878753B (zh) | 一种使用纹理平滑信息的3d视频残差编码模式选择方法 | |
| Shindo et al. | Refining Coded Image in Human Vision Layer Using CNN-Based Post-Processing | |
| CN116760983B (zh) | 用于视频编码的环路滤波方法及装置 | |
| CN117596392B (zh) | 编码块的编码信息确定方法及相关产品 | |
| WO2023123398A1 (zh) | 滤波方法、滤波装置以及电子设备 | |
| WO2024198897A1 (zh) | 一种视频传输方法、装置、存储介质和系统 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |