CN116896629A - 视频编码方法、装置、计算机设备及存储介质 - Google Patents

视频编码方法、装置、计算机设备及存储介质 Download PDF

Info

Publication number
CN116896629A
CN116896629A CN202310848817.3A CN202310848817A CN116896629A CN 116896629 A CN116896629 A CN 116896629A CN 202310848817 A CN202310848817 A CN 202310848817A CN 116896629 A CN116896629 A CN 116896629A
Authority
CN
China
Prior art keywords
video
coding
target
coded
encoded
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202310848817.3A
Other languages
English (en)
Inventor
蔡春磊
徐一方
李诗琪
尹壮
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shanghai Bilibili Technology Co Ltd
Original Assignee
Shanghai Bilibili Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shanghai Bilibili Technology Co Ltd filed Critical Shanghai Bilibili Technology Co Ltd
Priority to CN202310848817.3A priority Critical patent/CN116896629A/zh
Publication of CN116896629A publication Critical patent/CN116896629A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/60—Analysis of geometric attributes
    • G06T7/62—Analysis of geometric attributes of area, perimeter, diameter or volume
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20092—Interactive image processing based on input by user
    • G06T2207/20104—Interactive definition of region of interest [ROI]

Abstract

本申请公开了一种视频编码方法。该方法包括：获取待编码视频；根据预设的编码目标决策出所述待编码视频的原始编码参数，所述编码目标为所述目标编码视频的视频多方法评估融合VMAF指标满足设定目标；对所述待编码视频中的静态区域进行检测，并根据检测结果计算出所述待编码视频中的静态区域的面积占比；根据所述原始编码参数、所述面积占比及预设的编码参数调整算法确定所述待编码视频的目标编码参数，并使用所述目标编码参数对所述待编码视频进行编码，得到目标编码视频。本申请可以提高视频画质。

Description

视频编码方法、装置、计算机设备及存储介质
技术领域
本申请涉及视频技术领域，尤其涉及一种视频编码方法及装置。
背景技术
视频网站为了给用户提供稳定的观看体验，会在视频转码时，控制视频编码后的画质满足一个预设目标。在衡量编码画质时，业内普遍采用VMAF(Video MultimethodAssessment Fusion，视频多方法评估融合)指标来衡量，该指标可以比较准确得衡量编码后的画质指令，因此，可以通过控制编码后的VMAF指标来为用户提供稳定的画质体验。现有技术中，为了控制视频编码后的VMAF指标，可以通过调整编码器的编码参数，比如RF(RateFactor,码率因子)参数来实现，然后基于调整后的编码参数对视频进行编码，从而使得编码后得到的视频的画质满足该VMAF指标。
然而，发明人发现，虽然通过控制编码后的VMAF指标可以控制大多数视频的画质满足预设目标，但是对于某些视频，会出现实际画质明显恶化的现象。比如图1所示的这类视频，这类视频的视频画面由一个动态的视频序列叠加在一个静态背景上组成，整个画面中只有中间一小部分区域处于连续变化中，其他静态区域一直处于静止状态。当使用VMAF指标决策的编码参数对这类视频进行编码后，发现编码后得到的视频的动态区域的画质会出现明显的模糊、块效应等画质问题，严重影响观看体验。
发明内容
有鉴于此，现提供一种视频编码方法、装置、计算机设备及计算机可读存储介质，以解决现有的视频编码方法在确定编码参数时，准确度不高的问题。
本申请提供了一种视频编码方法，所述方法包括：
获取待编码视频；
根据预设的编码目标决策出所述待编码视频的原始编码参数，所述编码目标为所述目标编码视频的视频多方法评估融合VMAF指标满足设定目标；
对所述待编码视频中的静态区域进行检测，并根据检测结果计算出所述待编码视频中的静态区域的面积占比；
根据所述原始编码参数、所述面积占比及预设的编码参数调整算法确定所述待编码视频的目标编码参数，并使用所述目标编码参数对所述待编码视频进行编码，得到目标编码视频。
可选地，根据预设的编码目标决策出所述待编码视频的原始编码参数包括：
采用预设的编码参数对所述待编码视频中的至少一帧视频帧进行编码，得到编码后的视频帧；
计算编码后的视频帧的VMAF指标；
判断编码后的视频帧的VMAF指标是否满足所述设定目标；
若编码后的视频帧的VMAF指标不满足所述设定目标，则对所述预设的编码参数进行调整；
采用调整后的编码参数再次对所述待编码视频中的至少一帧视频帧进行编码，直到编码后的视频帧的VMAF指标满足所述设定目标为止，并将满足所述设定目标所对应的编码参数作为所述原始编码参数。
可选地，所述对所述待编码视频中的静态区域进行检测，并根据检测结果计算出所述待编码视频中的静态区域的面积占比包括：
将所述待编码视频中所有视频帧转换为对应的灰度图；
根据所有视频帧对应的灰度图生成像素灰度方差图；
根据所述像素灰度方差图确定所述待编码视频中的静态区域的面积占比。
可选地，所述根据所有视频帧对应的灰度图生成像素灰度方差图包括：
针对视频帧中的每一个像素位置，根据所有视频帧对应的灰度图计算出所有视频帧在每一个像素位置处的像素的方差；
将计算得到的视频帧中所有像素位置处的像素的方差组成所述像素灰度方差图。
可选地，所述根据所述像素灰度方差图确定所述待编码视频中的静态区域的面积占比包括：
将所述像素灰度方差图转换为静态区域的二值图；
统计所述二值图中用于表示静态区域的像素点的数量；
根据统计到的数量以及所述二值图中包含的所有像素点的数量确定所述待编码视频中的静态区域的面积占比。
可选地，所述将所述像素灰度方差图转换为静态区域的二值图包括：
针对所述像素灰度方差图中的每一个像素点，若该像素点的像素值小于预设值，则判定该像素点作为所述二值图中用于表示静态区域的像素点，若该像素点的像素值大于或者等于所述预设值，则判定该像素点作为所述二值图中用于表示动态区域的像素点。
可选地，所述根据预设的编码目标决策出所述待编码视频的原始编码参数的步骤之后，还包括：
判断所述原始编码参数是否大于预设的阈值编码参数；
若所述原始编码参数大于所述阈值编码参数，则执行对所述待编码视频中的静态区域进行检测，并根据检测结果计算出所述待编码视频中的静态区域的面积占比的步骤。
可选地，所述获取待编码视频包括：
获取原始视频；
对所述原始视频进行场景检测，并根据检测结果将所述原始视频切分为多个场景片段视频，其中，每一个场景片段视频作为一个待编码视频。
本申请还提供了一种视频编码装置，所述视频编码装置包括：
获取模块，用于获取待编码视频；
决策模块，用于根据预设的编码目标决策出所述待编码视频的原始编码参数，所述编码目标为所述目标编码视频的视频多方法评估融合VMAF指标满足设定目标；
检测模块，用于对所述待编码视频中的静态区域进行检测，并根据检测结果计算出所述待编码视频中的静态区域的面积占比；
编码模块，用于根据所述原始编码参数、所述面积占比及预设的编码参数调整算法确定所述待编码视频的目标编码参数，并使用所述目标编码参数对所述待编码视频进行编码，得到目标编码视频。
本申请还提供了一种计算机设备，所述计算机设备，包括存储器、处理器以及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述方法的步骤。
本申请还提供了一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现上述方法的步骤。
本申请实施例视频编码方法，通过获取待编码视频；根据预设的编码目标决策出所述待编码视频的原始编码参数；对所述待编码视频中的静态区域进行检测，并根据检测结果计算出所述待编码视频中的静态区域的面积占比；根据所述原始编码参数、所述面积占比及预设的编码参数调整算法确定所述待编码视频的目标编码参数，并使用所述目标编码参数对所述待编码视频进行编码，得到目标编码视频。采用上述视频编码方式，通过对视频中的静态区域进行检测，并根据静态区域占比，对决策的编码参数进行自适应调整，从而使得最终的编码参数为合适的编码参数，通过该合适的编码参数得到的目标编码视频的动态区域中的画质不会出现模糊、块效应等令人反感的画质问题。此外，上述视频编码方式，只需引入很低的计算代价，即可提高视频编码的画质稳定性，避免了VMAF不准确造成的编码画质问题。
附图说明
图1为具有静态区域的视频的示意图；
图2为本申请实施例的视频编码方法的一实施例的应用环境示意图；
图3为本申请所述的视频编码方法的一种实施例的流程图；
图4为本申请一实施例中获取待编码视频的步骤细化示意图；
图5为本申请一实施例中根据预设的编码目标决策出所述待编码视频的原始编码参数的步骤细化示意图；
图6为本申请一实施例中对所述待编码视频中的静态区域进行检测，并根据检测结果计算出所述待编码视频中的静态区域的面积占比的步骤细化示意图；
图7为本申请一实施例中根据所有视频帧对应的灰度图生成像素灰度方差图的步骤细化示意图；
图8为本申请一实施例中根据所述像素灰度方差图确定所述待编码视频中的静态区域的面积占比的步骤细化示意图；
图9为本申请所述的视频编码装置的一种实施例的程序模块图；
图10为本申请实施例提供的执行视频编码方法的计算机设备的硬件结构示意图。
具体实施方式
以下结合附图与具体实施例进一步阐述本申请的优点。
这里将详细地对示例性实施例进行说明，其示例表示在附图中。下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本公开相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本公开的一些方面相一致的装置和方法的例子。
在本公开使用的术语是仅仅出于描述特定实施例的目的，而非旨在限制本公开。在本公开和所附权利要求书中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式，除非上下文清楚地表示其它含义。还应当理解，本文中使用的术语“和/或”是指并包含一个或多个相关联的列出项目的任何或所有可能组合。
应当理解，尽管在本公开可能采用术语第一、第二、第三等来描述各种信息，但这些信息不应限于这些术语。这些术语仅用来将同一类型的信息彼此区分开。例如，在不脱离本公开范围的情况下，第一信息也可以被称为第二信息，类似地，第二信息也可以被称为第一信息。取决于语境，如在此所使用的词语“如果”可以被解释成为“在……时”或“当……时”或“响应于确定”。
在本申请的描述中，需要理解的是，步骤前的数字标号并不标识执行步骤的前后顺序，仅用于方便描述本申请及区别每一步骤，因此不能理解为对本申请的限制。
以下为本申请的术语解释：
CRF:Constant Rate Factor，恒定码率因子，是视频编码的一种码率控制方式。
rf:Rate Factor，码率因子，是CRF编码模式的编码参数，可以控制编码文件的码率和质量。
VMAF:Video Multimethod Assessment Fusion，视频多方法评估融合，是视频多维度混合评价因子，一种衡量编码后视频质量的全参考评价方法。
AVC：Advanced Video Coding，高级视频编码，一种视频编码标准，
x264：一个编码器，参照的标准是AVC。
下面提供本申请的示例性应用环境。图2示意性示出了根据本申请实施例的视频编码方法的应用环境示意图。
在示例性的实施例中，该应用环境的系统可包括终端设备10、服务器20。其中，终端设备10与服务器20通过无线或有线网络连接。终端设备10可以为移动终端、固定终端等。服务器20可以为机架式服务器、刀片式服务器、塔式服务器或机柜式服务器(包括独立的服务器，或者多个服务器所组成的服务器集群)等。网络可以包括各种网络设备，例如路由器、交换机、多路复用器、集线器、调制解调器、网桥、中继器、防火墙和/或代理设备等。网络还可以包括物理链路，例如同轴电缆链路、双绞线电缆链路、光纤链路及其组合和/或类似物。
在一具体应用场景中，终端设备10可以通过网络将待编码视频上传至服务器20。服务器20中部署有视频编码装置，该视频编码装置可以获取待编码视频；根据预设的编码目标决策出所述待编码视频的原始编码参数；对所述待编码视频中的静态区域进行检测，并根据检测结果计算出所述待编码视频中的静态区域的面积占比；根据所述原始编码参数、所述面积占比及预设的编码参数调整算法确定所述待编码视频的目标编码参数，并使用所述目标编码参数对所述待编码视频进行编码，得到目标编码视频。
相关技术中，视频编码质量评价方法主要采用VMAF作为指标来对编码后的视频画质进行衡量，然而，当视频中包含大量静态区域时，采用VMAF指标对视频画质进行衡量会降低其准确性，会使VMAF指标虚高，从而导致基于该VMAF指标决策出的编码参数对视频进行编码后得到的编码视频的动态区域中的画质不会出现模糊、块效应等令人反感的画质问题。
发明人仔细研究发现，上述编码方法之所有会出现明显的画质问题是因为，当采用VMAF对编码后视频画质进行评价时，会先计算图像中局部的失真，再将局部失真求平均后得到整张图的失真，并以此来评价视频画质。在编码过程中，静态区域的画面极易编码，基本不会产生明显的失真，当视频画面中的静态区域面积占比很大时，VMAF计算得到的整张图平均失真很小，即使动态区域有很大的失真，在整图平均之后也很小。因此，VMAF会认为在当前的编码参数下，视频的画质已经满足要求了，不需要再增加码率。但实际上，人眼非常关注的动态区域的画质却出现了明显的损伤，出现了码率不足带来的模糊、块效应等令人反感的编码失真。
基于上述发现，本申请通过获取待编码视频；根据预设的编码目标决策出所述待编码视频的原始编码参数；对所述待编码视频中的静态区域进行检测，并根据检测结果计算出所述待编码视频中的静态区域的面积占比；根据所述原始编码参数、所述面积占比及预设的编码参数调整算法确定所述待编码视频的目标编码参数，并使用所述目标编码参数对所述待编码视频进行编码，得到目标编码视频。采用上述视频编码方式，通过对视频中的静态区域进行检测，并根据静态区域占比，对决策的编码参数进行自适应调整，从而使得最终的编码参数为合适的编码参数，通过该合适的编码参数得到的目标编码视频的动态区域中的画质不会出现模糊、块效应等令人反感的画质问题。此外，上述视频编码方式，只需引入很低的计算代价，即可提高视频编码的画质稳定性，避免了VMAF不准确造成的编码画质问题。
下面，将在上述示例性应用环境下提供若干个实施例，来说明本申请中的视频编码方案。参阅图3，其为本申请一实施例的视频编码方法的流程示意图。本方法实施例中的流程图不用于对执行步骤的顺序进行限定。从图中可以看出，本实施例中所提供的视频编码方法包括：
步骤S30、获取待编码视频。
具体地，所述待编码视频可以为需要进行编码的场景片段视频，也可以为需要进行编码的完整视频，甚至可以为需要进行编码的视频帧，在本实施例中不作限定。
需要说明的是，上述场景片段视频指的是对视频进行场景检测后，根据场景检测结果切分后得到的视频。比如，一个视频在进行场景检测后，若检测到其中包括5个场景片段，则可以将该视频划分为5个场景片段视频。
在一示例性的实施方式中，参阅图4，为了使得编码后得到的所有画面的画质都能达到相同的画质目标，所述获取待编码视频包括：
步骤S40，获取原始视频。
具体地，所述原始视频为完整的未经过视频分段处理的视频，所述原始视频也是未经过编码的视频，其一般由多个单镜头的场景片段剪辑而成，不同场景片段的时空域特性不同。
步骤S41，对所述原始视频进行场景检测，并根据检测结果将所述原始视频切分为多个场景片段视频，其中，每一个场景片段视频作为一个待编码视频。
具体地，在得到原始视频后，可以调用编码器对原始视频进行场景检测，以从中检测出原始视频中发生场景切换的视频帧，在检测到发生场景切换的视频帧后，即可以以该视频帧为分割点，从而将原始视频划分为多个场景片段视频，其中，场景片段视频的数量与检测到的分割点的数量确定，比如，检测到共有4个分割点，则可以将整个原始视频分为5个场景片段视频。
其中，场景检测算法有很多，其原理均是检测视频帧之间的内容相关性，在一个场景片段内部，帧与帧之间具有很强的相似性，而在不同的场景片段拼接处，帧间相关性会出现明显减小。在实际应用中可根据实际需求选择具体的场景检测算法实现对原始视频的场景检测，比如，可以采用x264编码器中场景检测算法对原始视频进行场景检测。
本实施例中，为了原始视频在编码后，每个场景片段视频之间的画质可以保持一致，需要先对原始视频进行场景切换检测，以以便可以将原始视频分成一段段只包含单镜头的场景片段视频。
步骤S31，根据预设的编码目标决策出所述待编码视频的原始编码参数。
具体地，所述编码目标为用户预先设定的编码后的视频的画质所需要达到的目标。
在一实施方式中，所述编码目标可以为对待编码视频进行编码后得到的目标编码视频的视频多方法评估融合VMAF指标满足设定目标，比如，VMAF指标＝93。可以理解的是，该设定目标也可以为其他值，或者为一个设定的范围，比如VMAF指标为90～92。
编码参数为用于对所述待编码视频编码后得到的视频的码率进行控制的参数，所述编码参数可以为CQP(Constant Quantitative Parameters，固定量化参数)模式的QP参数(QP值)、CRF(Constant Rate Factor，固定码率因子)模式的RF参数(RF值)、ABR(AverageBitrate Rate，平均比特率)模式的BR参数(BR值)。所述编码参数优选为CRF模式的RF值。
需要说明的是，所述原始编码参数为根据编码目标决策出的对待编码视频进行编码的作为参考的编码参数，其并不一定是最终的编码参数，最终的编码参数需要根据后续的流程进行确定。
在本实施例中，对原始编码参数进行决策的方法有多种，比如可以采用搜索的方式，具体的搜索方式在下面实施例中会详细说明。在一实施方式中，也可以通过预测的方法快速决策出原始编码参数，其中，预测的方法为通过预先训练好的预测模型对原始编码参数进行预测得到。
在一示例性的实施方式中，参阅图5，所述根据预设的编码目标决策出所述待编码视频的原始编码参数包括：步骤S50，采用预设的编码参数对所述待编码视频中的至少一帧视频帧进行编码，得到编码后的视频帧；步骤S51，计算编码后的视频帧的VMAF指标；步骤S52，判断编码后的视频帧的VMAF指标是否满足所述设定目标；步骤S53，若编码后的视频帧的VMAF指标不满足所述设定目标，则对所述预设的编码参数进行调整；步骤S54，采用调整后的编码参数再次对所述待编码视频中的至少一帧视频帧进行编码，直到编码后的视频帧的VMAF指标满足所述设定目标为止，并将满足所述设定目标所对应的编码参数作为所述原始编码参数。
本实施例中在采用搜索的方式决策出原始编码参数时，会先用一个预设的编码参数对所述待编码视频中的至少一帧视频帧进行编码，得到编码后的视频帧，之后，会计算编码后得到的视频帧的VMAF指标，如果VMAF指标大于或小于设定的目标VMAF指标值，即编码后的视频帧的VMAF指标不满足所述设定目标，则会预设的编码参数进行调整，然后采用调整后的编码参数重新进行编码，如此反复，直到搜索得到最优的目标编码参数，即直到编码后的视频帧的VMAF指标满足所述设定目标，则可以将此时的编码参数作为所述原始编码参数。
步骤S22，对所述待编码视频中的静态区域进行检测，并根据检测结果计算出所述待编码视频中的静态区域的面积占比。
具体地，所述静态区域指的是待编码视频中画面处于静态状态的区域，即在该区域中，待编码视频中的所有视频帧在该静态区域中的画面基本上保存不变，或仅仅有细微的变化。
在一示例性的实施方式中，参阅图6，所述对所述待编码视频中的静态区域进行检测，并根据检测结果计算出所述待编码视频中的静态区域的面积占比包括：
步骤S60，将所述待编码视频中所有视频帧转换为对应的灰度图。
具体地，在获取到待编码视频后，依次读取待编码视频中的每一帧视频帧，然后对读取到的视频帧进行灰度化处理，从而将每一帧视频帧转换为对应的灰度图。
步骤S61，根据所有视频帧对应的灰度图生成像素灰度方差图。
具体地，在将所有的视频帧转换为对应的灰度图后，可以根据这些灰度图生成一张宽高和各个视频帧一致的像素灰度方差图。其中，该像素灰度方差图由各个像素点的像素方差值组成的。
在一示例性的实施方式中，参阅图7，所述根据所有视频帧对应的灰度图生成像素灰度方差图包括：
步骤S70，针对视频帧中的每一个像素位置，根据所有视频帧对应的灰度图计算出所有视频帧在每一个像素位置处的像素的方差。
作为示例，假设视频帧中总共具有100个像素点，则针对第1个像素点，会获取所有的视频帧中的第1个像素点的灰度值，然后根据获取到的所有灰度值计算该第1个像素点的方差。同理，针对第2个像素点，会获取所有的视频帧中的第2个像素点的灰度值，然后根据获取到的所有灰度值计算该第2个像素点的方差；针对第3个像素点，会获取所有的视频帧中的第3个像素点的灰度值，然后根据获取到的所有灰度值计算该第3个像素点的方差；……，针对第100个像素点，会获取所有的视频帧中的第100个像素点的灰度值，然后根据获取到的所有灰度值计算该第100个像素点的方差。
需要说明的是，在另一实施方式中，也可以采用标准差代替上述方差。
步骤S71，将计算得到的视频帧中所有像素位置处的像素的方差组成所述像素灰度方差图。
具有地，在得到所有像素位置处的像素的方差后，可以将所有的方差值按照像素位置组成一张宽高和各个视频帧一致的像素灰度方差图。
步骤S62，根据所述像素灰度方差图确定所述待编码视频中的静态区域的面积占比。
具体地，如果某个像素位置的灰度方差很小，则表示该位置在时域上的变化很小，即可以认定该位置属于静态区域；反之某个像素位置的灰度方差很大，则表示该位置在时域上的变化很小，即可以认定该位置属于动态区域。因此，在本实施例中，在根据像素灰度方差图确定所述待编码视频中的静态区域的面积占比时，可以依次判断像素灰度方差图中的每一个像素点的方差是否大于或者预设的方差阈值，若该像素点的方差大于或者预设的方差阈值，则可以认定该像素点位置属于动态区域，若该像素点的方差小于预设的方差阈值，则可以认定该像素点位置属于静态区域。其中，该方差阈值可以根据实际情况进行设定与调整，比如，该方差阈值为10。
在对像素灰度方差图中的所有的像素点进行判断后，即可以得出属于静态区域的像素点的数量n，之后，根据该数量n与像素灰度方差图中的像素点的总数量N可以得到静态区域的面积占比，即面积占比S＝n/N。
在一示例性的实施方式中，为了便于统计用于表示静态区域的像素点的数量，参阅图8，所述根据所述像素灰度方差图确定所述待编码视频中的静态区域的面积占比包括：
步骤S80，将所述像素灰度方差图转换为静态区域的二值图。
具体地，在得到像素灰度方差图后，可以对该像素灰度方差图进行二值化处理，以将该像素灰度方差图转换为静态区域的二值图。
在一示例性的实施方式中，所述将所述像素灰度方差图转换为静态区域的二值图包括：针对所述像素灰度方差图中的每一个像素点，若该像素点的像素值小于预设值，则判定该像素点作为所述二值图中用于表示静态区域的像素点，若该像素点的像素值大于或者等于所述预设值，则判定该像素点作为所述二值图中用于表示动态区域的像素点。
具体地，在进行二值化处理时，需要预先设定一个预设值以作为二值化阈值，其中，该预设值可以根据实际情况进行设定与调整，比如，所述预设值为10。这样，在进行二值化处理时，可以依次判断各个像素点的像素值是否小于10，若小于10，则可以判定该像素点作为所述二值图中用于表示静态区域的像素点，并将该像素点的像素值二值化为“0”。同理，若大于或者等于10，则可以判定该像素点作为所述二值图中用于表示动态区域的像素点，并可以将该像素点的像素值二值化为“1”。
在完成所有像素点的二值化处理后，即可以生成一张静态区域的二值图。
步骤S81，统计所述二值图中用于表示静态区域的像素点的数量；
步骤S82，根据统计到的数量以及所述二值图中包含的所有像素点的数量确定所述待编码视频中的静态区域的面积占比。
作为示例，若统计所述二值图中用于表示静态区域的像素点的数量为n，则可以根据该数量n与二值图中的像素点的总数量N可以得到静态区域的面积占比，即面积占比S＝n/N。
步骤S33，根据所述原始编码参数、所述面积占比及预设的编码参数调整算法确定所述待编码视频的目标编码参数，并使用所述目标编码参数对所述待编码视频进行编码，得到目标编码视频。
具体地，静态区域的面积占比S越大，说明待编码视频中不动的像素点个数越多，VMAF指标对画质评价的准确性越低，决策得到的编码参数越不可信，越需要调整；反之S越大，VMAF指标准确性越高，决策得到的编码参数越可信，越不需要调整。因此，本实施例中，在得到所述原始编码参数、所述面积占比S后，可以利用S与预设的编码参数调整算法对所述原始编码参数进行自适应调整得到所述目标编码参数，从而来提高画质稳定性。
在一示例性的实施方式中，所述编码参数调整算法具体为：
RF’＝RFmin+(1-S)(RF-RFmin)，其中，RF’为所述目标编码参数，RFmin为预先设定的阈值编码参数，S为所述面积占比，RF为所述原始编码参数。
需要说明的是，RFmin是一个较低的值，使用该值对视频进行编码，出现画质问题的概率很低，因此当决策出的原始编码参数小于该值时，可以不需要对决策出的原始编码参数进行调整，而是可以直接使用该决策出的原始编码参数对视频进行编码。该值的设置与具体业务场景和编码器有关，本申请以RFmin＝30为例，具体设置为多少可根据实际应用需求进行调整。
在本实施例中，当决策出的原始编码惨RF超过RFmin，则有可能由于VMAF指标不准确使得决策出的RF偏高，从而码率偏低，出现画质问题，此时就需要根据静态区域面积占比对RF进行调整。当静态区域越高时，对RF调整力度越大。在整个视频画面都是静态区域时，RF会被设置为RFmin。反之，当静态区域越低时，对RF调整力度越小，在整个视频画面都不是静态区域时，RF保持不变。
在一示例性的实施方式中，为了避免对原始编码参数的无效调整，所述根据预设的编码目标决策出所述待编码视频的原始编码参数的步骤之后，还包括：判断所述原始编码参数是否大于预设的阈值编码参数；若所述原始编码参数大于所述阈值编码参数，则执行步骤S32；若所述原始编码参数小于或者等于所述阈值编码参数，则直接使用决策出的原始编码参数对待编码视频进行编码，而无需对原始编码参数进行调整，以使用目标编码参数对待编码视频进行编码。
可以理解的是，当需要编码的视频由多个场景片段视频组成时，则在对该视频进行编码时，会依次将该视频中的各个场景片段视频作为所述待编码视频，然后对于每一个待编码视频都执行上述S30-S33步骤，以将各个场景片段视频编码成对应的编码视频，并将编码视频的二进制码流写入至压缩视频文件中。若当前的场景片段视频完成编码，则会判断是否还存在未编码的场景片段视频，若存在，则会对未编码的场景片段视频继续执行上述S30-S33步骤，以对其进行编码，在完成所有场景片段视频的编码后，可以输出完整的压缩视频文件。
本实施例通过获取待编码视频；根据预设的编码目标决策出所述待编码视频的原始编码参数；对所述待编码视频中的静态区域进行检测，并根据检测结果计算出所述待编码视频中的静态区域的面积占比；根据所述原始编码参数、所述面积占比及预设的编码参数调整算法确定所述待编码视频的目标编码参数，并使用所述目标编码参数对所述待编码视频进行编码，得到目标编码视频。采用上述视频编码方式，通过对视频中的静态区域进行检测，并根据静态区域占比，对决策的编码参数进行自适应调整，从而使得最终的编码参数为合适的编码参数，通过该合适的编码参数得到的目标编码视频的动态区域中的画质不会出现模糊、块效应等令人反感的画质问题。此外，上述视频编码方式，只需引入很低的计算代价，即可提高视频编码的画质稳定性，避免了VMAF不准确造成的编码画质问题。
参阅图9所示，是本申请视频编码装置90一实施例的程序模块图。
本实施例中，视频编码装置90包括一系列的存储于存储器上的计算机程序指令，当该计算机程序指令被处理器执行时，可以实现本申请各实施例的视频编码功能。在一些实施例中，基于该计算机程序指令各部分所实现的特定的操作，视频编码装置90可以被划分为一个或多个模块，具体可以划分的模块如下：
获取模块91，用于获取待编码视频；
决策模块92，用于根据预设的编码目标决策出所述待编码视频的原始编码参数，所述编码目标为所述目标编码视频的视频多方法评估融合VMAF指标满足设定目标；
检测模块93，用于对所述待编码视频中的静态区域进行检测，并根据检测结果计算出所述待编码视频中的静态区域的面积占比；
编码模块94，用于根据所述原始编码参数、所述面积占比及预设的编码参数调整算法确定所述待编码视频的目标编码参数，并使用所述目标编码参数对所述待编码视频进行编码，得到目标编码视频。
在一示例性的实施方式中，决策模块92，还用于采用预设的编码参数对所述待编码视频中的至少一帧视频帧进行编码，得到编码后的视频帧；计算编码后的视频帧的VMAF指标；
判断编码后的视频帧的VMAF指标是否满足所述设定目标；若编码后的视频帧的VMAF指标不满足所述设定目标，则对所述预设的编码参数进行调整；采用调整后的编码参数再次对所述待编码视频中的至少一帧视频帧进行编码，直到编码后的视频帧的VMAF指标满足所述设定目标为止，并将满足所述设定目标所对应的编码参数作为所述原始编码参数。
在一示例性的实施方式中，所述检测模块93，还用于将所述待编码视频中所有视频帧转换为对应的灰度图；根据所有视频帧对应的灰度图生成像素灰度方差图；根据所述像素灰度方差图确定所述待编码视频中的静态区域的面积占比。
在一示例性的实施方式中，所述检测模块93，还用于针对视频帧中的每一个像素位置，根据所有视频帧对应的灰度图计算出所有视频帧在每一个像素位置处的像素的方差；将计算得到的视频帧中所有像素位置处的像素的方差组成所述像素灰度方差图。
在一示例性的实施方式中，所述检测模块93，还用于将所述像素灰度方差图转换为静态区域的二值图；统计所述二值图中用于表示静态区域的像素点的数量；根据统计到的数量以及所述二值图中包含的所有像素点的数量确定所述待编码视频中的静态区域的面积占比。
在一示例性的实施方式中，所述检测模块93，还用于针对所述像素灰度方差图中的每一个像素点，若该像素点的像素值小于预设值，则判定该像素点作为所述二值图中用于表示静态区域的像素点，若该像素点的像素值大于或者等于所述预设值，则判定该像素点作为所述二值图中用于表示动态区域的像素点。
在一示例性的实施方式中，所述视频编码装置90还包括判断模块及执行模块。
所述判断模块，用于判断所述原始编码参数是否大于预设的阈值编码参数。
所述执行模块，用于若所述原始编码参数大于所述阈值编码参数，则执行对所述待编码视频中的静态区域进行检测，并根据检测结果计算出所述待编码视频中的静态区域的面积占比的步骤。
在一示例性的实施方式中，所述获取模块91，还用于获取原始视频；对所述原始视频进行场景检测，并根据检测结果将所述原始视频切分为多个场景片段视频，其中，每一个场景片段视频作为一个待编码视频。
本实施例中的视频编码方案，通过获取待编码视频；根据预设的编码目标决策出所述待编码视频的原始编码参数；对所述待编码视频中的静态区域进行检测，并根据检测结果计算出所述待编码视频中的静态区域的面积占比；根据所述原始编码参数、所述面积占比及预设的编码参数调整算法确定所述待编码视频的目标编码参数，并使用所述目标编码参数对所述待编码视频进行编码，得到目标编码视频。采用上述视频编码方式，通过对视频中的静态区域进行检测，并根据静态区域占比，对决策的编码参数进行自适应调整，从而使得最终的编码参数为合适的编码参数，通过该合适的编码参数得到的目标编码视频的动态区域中的画质不会出现模糊、块效应等令人反感的画质问题。此外，上述视频编码方式，只需引入很低的计算代价，即可提高视频编码的画质稳定性，避免了VMAF不准确造成的编码画质问题。
图10示意性示出了根据本申请实施例的适于实现视频编码方法的计算机设备12的硬件架构示意图。本实施例中，计算机设备12是一种能够按照事先设定或者存储的指令，自动进行数值计算和/或信息处理的设备。如图10所示，计算机设备12至少包括但不限于：可通过系统总线相互通信链接存储器120、处理器121、网络接口122。其中：
存储器120至少包括一种类型的计算机可读存储介质，该可读存储介质可以是易失性的，也可以是非易失性的，具体而言，可读存储介质包括闪存、硬盘、多媒体卡、卡型存储器(例如，SD或DX存储器等)、随机访问存储器(RAM)、静态随机访问存储器(SRAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、可编程只读存储器(PROM)、磁性存储器、磁盘、光盘等。在一些实施例中，存储器120可以是计算机设备12的内部存储模块，例如该计算机设备12的硬盘或内存。在另一些实施例中，存储器120也可以是计算机设备12的外部存储设备，例如该计算机设备12上配备的插接式硬盘，智能存储卡(Smart Media Card，简称为SMC)，安全数字(Secure Digital，简称为SD)卡，闪存卡(Flash Card)等。当然，存储器120还可以既包括计算机设备12的内部存储模块也包括其外部存储设备。本实施例中，存储器120通常用于存储安装于计算机设备12的操作系统和各类应用软件，例如视频编码方法的程序代码等。此外，存储器120还可以用于暂时地存储已经输出或者将要输出的各类数据。
处理器121在一些实施例中可以是中央处理器(Central Processing Unit，简称为CPU)、控制器、微控制器、微处理器、或其它视频编码芯片。该处理器121通常用于控制计算机设备12的总体操作，例如执行与计算机设备12进行数据交互或者通信相关的控制和处理等。本实施例中，处理器121用于运行存储器120中存储的程序代码或者处理数据。
网络接口122可包括无线网络接口或有线网络接口，该网络接口122通常用于在计算机设备12与其它计算机设备之间建立通信链接。例如，网络接口122用于通过网络将计算机设备12与外部终端相连，在计算机设备12与外部终端之间的建立数据传输通道和通信链接等。网络可以是企业内部网(Intranet)、互联网(Internet)、全球移动通讯系统(GlobalSystem of Mobile communication，简称为GSM)、宽带码分多址(Wideband Code DivisionMultiple Access，简称为WCDMA)、4G网络、5G网络、蓝牙(Bluetooth)、Wi-Fi等无线或有线网络。
需要指出的是，图10仅示出了具有部件120～122的计算机设备，但是应理解的是，并不要求实施所有示出的部件，可以替代的实施更多或者更少的部件。
在本实施例中，存储于存储器120中的视频编码方法可以被分割为一个或者多个程序模块，并由一个或多个处理器(本实施例为处理器121)所执行，以完成本申请。
本申请实施例提供了一种计算机可读存储介质，计算机可读存储介质其上存储有计算机程序，计算机程序被处理器执行时实现实施例中的视频编码方法的步骤。
本实施例中，计算机可读存储介质包括闪存、硬盘、多媒体卡、卡型存储器(例如，SD或DX存储器等)、随机访问存储器(RAM)、静态随机访问存储器(SRAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、可编程只读存储器(PROM)、磁性存储器、磁盘、光盘等。在一些实施例中，计算机可读存储介质可以是计算机设备的内部存储单元，例如该计算机设备的硬盘或内存。在另一些实施例中，计算机可读存储介质也可以是计算机设备的外部存储设备，例如该计算机设备上配备的插接式硬盘，智能存储卡(Smart Media Card，简称为SMC)，安全数字(Secure Digital，简称为SD)卡，闪存卡(Flash Card)等。当然，计算机可读存储介质还可以既包括计算机设备的内部存储单元也包括其外部存储设备。本实施例中，计算机可读存储介质通常用于存储安装于计算机设备的操作系统和各类应用软件，例如实施例中的视频编码方法的程序代码等。此外，计算机可读存储介质还可以用于暂时地存储已经输出或者将要输出的各类数据。
以上所描述的装置实施例仅仅是示意性的，其中作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到至少两个网络单元上。可以根据实际的需要筛选出其中的部分或者全部模块来实现本申请实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下，即可以理解并实施。
通过以上的实施方式的描述，本领域普通技术人员可以清楚地了解到各实施方式可借助软件加通用硬件平台的方式来实现，当然也可以通过硬件。本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程是可以通过计算机程序来指令相关的硬件来完成，所述的程序可存储于一计算机可读取存储介质中，该程序在执行时，可包括如上述各方法的实施例的流程。其中，所述的存储介质可为磁碟、光盘、只读存储记忆体(Read-OnlyMemory，ROM)或随机存储记忆体(RandomAccessMemory，RAM)等。
最后应说明的是：以上各实施例仅用以说明本申请的技术方案，而非对其限制；尽管参照前述各实施例对本申请进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本申请各实施例技术方案的范围。

Claims (11)

1.一种视频编码方法，其特征在于，所述方法包括：
获取待编码视频；
根据预设的编码目标决策出所述待编码视频的原始编码参数，所述编码目标为所述目标编码视频的视频多方法评估融合VMAF指标满足设定目标；
对所述待编码视频中的静态区域进行检测，并根据检测结果计算出所述待编码视频中的静态区域的面积占比；
根据所述原始编码参数、所述面积占比及预设的编码参数调整算法确定所述待编码视频的目标编码参数，并使用所述目标编码参数对所述待编码视频进行编码，得到目标编码视频。
2.根据权利要求1所述的视频编码方法，其特征在于，根据预设的编码目标决策出所述待编码视频的原始编码参数包括：
采用预设的编码参数对所述待编码视频中的至少一帧视频帧进行编码，得到编码后的视频帧；
计算编码后的视频帧的VMAF指标；
判断编码后的视频帧的VMAF指标是否满足所述设定目标；
若编码后的视频帧的VMAF指标不满足所述设定目标，则对所述预设的编码参数进行调整；
采用调整后的编码参数再次对所述待编码视频中的至少一帧视频帧进行编码，直到编码后的视频帧的VMAF指标满足所述设定目标为止，并将满足所述设定目标所对应的编码参数作为所述原始编码参数。
3.根据权利要求1所述的视频编码方法，其特征在于，所述对所述待编码视频中的静态区域进行检测，并根据检测结果计算出所述待编码视频中的静态区域的面积占比包括：
将所述待编码视频中所有视频帧转换为对应的灰度图；
根据所有视频帧对应的灰度图生成像素灰度方差图；
根据所述像素灰度方差图确定所述待编码视频中的静态区域的面积占比。
4.根据权利要3所述的视频编码方法，其特征在于，所述根据所有视频帧对应的灰度图生成像素灰度方差图包括：
针对视频帧中的每一个像素位置，根据所有视频帧对应的灰度图计算出所有视频帧在每一个像素位置处的像素的方差；
将计算得到的视频帧中所有像素位置处的像素的方差组成所述像素灰度方差图。
5.根据权利要求3所述的视频编码方法，其特征在于，所述根据所述像素灰度方差图确定所述待编码视频中的静态区域的面积占比包括：
将所述像素灰度方差图转换为静态区域的二值图；
统计所述二值图中用于表示静态区域的像素点的数量；
根据统计到的数量以及所述二值图中包含的所有像素点的数量确定所述待编码视频中的静态区域的面积占比。
6.根据权利要5所述的视频编码方法，其特征在于，所述将所述像素灰度方差图转换为静态区域的二值图包括：
针对所述像素灰度方差图中的每一个像素点，若该像素点的像素值小于预设值，则判定该像素点作为所述二值图中用于表示静态区域的像素点，若该像素点的像素值大于或者等于所述预设值，则判定该像素点作为所述二值图中用于表示动态区域的像素点。
7.根据权利要1至6任一项所述的视频编码方法，其特征在于，所述根据预设的编码目标决策出所述待编码视频的原始编码参数的步骤之后，还包括：
判断所述原始编码参数是否大于预设的阈值编码参数；
若所述原始编码参数大于所述阈值编码参数，则执行对所述待编码视频中的静态区域进行检测，并根据检测结果计算出所述待编码视频中的静态区域的面积占比的步骤。
8.根据权利要1至8任一项所述的视频编码方法，其特征在于，所述获取待编码视频包括：
获取原始视频；
对所述原始视频进行场景检测，并根据检测结果将所述原始视频切分为多个场景片段视频，其中，每一个场景片段视频作为一个待编码视频。
9.一种视频编码装置，其特征在于，所述视频编码装置包括：
获取模块，用于获取待编码视频；
决策模块，用于根据预设的编码目标决策出所述待编码视频的原始编码参数，所述编码目标为所述目标编码视频的视频多方法评估融合VMAF指标满足设定目标；
检测模块，用于对所述待编码视频中的静态区域进行检测，并根据检测结果计算出所述待编码视频中的静态区域的面积占比；
编码模块，用于根据所述原始编码参数、所述面积占比及预设的编码参数调整算法确定所述待编码视频的目标编码参数，并使用所述目标编码参数对所述待编码视频进行编码，得到目标编码视频。
10.一种计算机设备，所述计算机设备，包括存储器、处理器以及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现权利要求1至8任一项所述的方法的步骤。
11.一种计算机可读存储介质，其上存储有计算机程序，其特征在于：所述计算机程序被处理器执行时实现权利要求1至8任一项所述的方法的步骤。
CN202310848817.3A 2023-07-11 2023-07-11 视频编码方法、装置、计算机设备及存储介质 Pending CN116896629A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310848817.3A CN116896629A (zh) 2023-07-11 2023-07-11 视频编码方法、装置、计算机设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310848817.3A CN116896629A (zh) 2023-07-11 2023-07-11 视频编码方法、装置、计算机设备及存储介质

Publications (1)

Publication Number Publication Date
CN116896629A true CN116896629A (zh) 2023-10-17

Family

ID=88311762

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310848817.3A Pending CN116896629A (zh) 2023-07-11 2023-07-11 视频编码方法、装置、计算机设备及存储介质

Country Status (1)

Country Link
CN (1) CN116896629A (zh)

Similar Documents

Publication Publication Date Title
US10134121B2 (en) Method and system of controlling a quality measure
US9497468B2 (en) Blur measurement in a block-based compressed image
US10013772B2 (en) Method of controlling a quality measure and system thereof
CN110366048B (zh) 视频传输方法、装置、电子设备和计算机可读存储介质
WO2017140230A1 (zh) 目标码率调整方法及装置
CN110062230B (zh) 图像编码方法及装置
Katsenou et al. Efficient bitrate ladder construction for content-optimized adaptive video streaming
US10911785B2 (en) Intelligent compression of grainy video content
CN111953966B (zh) 一种编码测试的方法、装置、服务器和存储介质
CN110290318B (zh) 星载图像处理与自主决策方法和系统
US20160316204A1 (en) Method and system for image compression using image block characteristics
CN113452996B (zh) 一种视频编码、解码方法及装置
JP2005064679A (ja) 画像特徴量抽出方式および画質評価方式
Liang et al. A no-reference perceptual blur metric using histogram of gradient profile sharpness
García Aranda et al. Logarithmical hopping encoding: a low computational complexity algorithm for image compression
US10630991B2 (en) Image difference detection device, method for detecting image difference, and computer program
CN116896629A (zh) 视频编码方法、装置、计算机设备及存储介质
WO2010103112A1 (en) Method and apparatus for video quality measurement without reference
CN109219960B (zh) 视频编码质量平滑度的优化方法、装置、设备及存储介质
Bosse et al. A perceptually relevant shearlet-based adaptation of the PSNR
CN111988612A (zh) 一种视频编码处理方法、装置及电子设备
CN111901631B (zh) 一种直播视频的转码方法、装置、服务器和存储介质
CN113038129A (zh) 一种用于机器学习的数据样本获取的方法及设备
WO2017162845A1 (en) Complexity control of video codec
CN116828190A (zh) 视频编码参数确定方法、装置、计算机设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination