CN113556544A - 基于场景自适应的视频编码方法和装置、设备及存储介质 - Google Patents
基于场景自适应的视频编码方法和装置、设备及存储介质 Download PDFInfo
- Publication number
- CN113556544A CN113556544A CN202110752140.4A CN202110752140A CN113556544A CN 113556544 A CN113556544 A CN 113556544A CN 202110752140 A CN202110752140 A CN 202110752140A CN 113556544 A CN113556544 A CN 113556544A
- Authority
- CN
- China
- Prior art keywords
- frame data
- scene
- current frame
- video stream
- data
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 54
- 230000000007 visual effect Effects 0.000 claims description 29
- 230000035945 sensitivity Effects 0.000 claims description 28
- 230000008859 change Effects 0.000 claims description 23
- 238000001514 detection method Methods 0.000 claims description 14
- 230000006978 adaptation Effects 0.000 claims description 8
- 230000008676 import Effects 0.000 claims description 5
- 238000004590 computer program Methods 0.000 claims description 4
- 230000003044 adaptive effect Effects 0.000 description 12
- 235000019557 luminance Nutrition 0.000 description 8
- 230000008569 process Effects 0.000 description 7
- 238000012545 processing Methods 0.000 description 6
- 238000004364 calculation method Methods 0.000 description 5
- 238000003062 neural network model Methods 0.000 description 5
- 238000012549 training Methods 0.000 description 5
- 230000006835 compression Effects 0.000 description 4
- 238000007906 compression Methods 0.000 description 4
- 238000005457 optimization Methods 0.000 description 4
- 238000013473 artificial intelligence Methods 0.000 description 3
- 238000013139 quantization Methods 0.000 description 3
- 238000010276 construction Methods 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 230000006872 improvement Effects 0.000 description 2
- 238000013507 mapping Methods 0.000 description 2
- 230000003068 static effect Effects 0.000 description 2
- 244000025254 Cannabis sativa Species 0.000 description 1
- 238000004422 calculation algorithm Methods 0.000 description 1
- 238000013527 convolutional neural network Methods 0.000 description 1
- 230000004069 differentiation Effects 0.000 description 1
- 239000002360 explosive Substances 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 238000002372 labelling Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
- H04N19/136—Incoming video signal characteristics or properties
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
Landscapes
- Engineering & Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Evolutionary Biology (AREA)
- Evolutionary Computation (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Signal Processing (AREA)
- Multimedia (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
Abstract
本申请涉及一种基于场景自适应的视频编码方法和装置、设备及存储介质，其中方法包括：获取当前要编码的视频流数据，对视频流数据中的当前帧数据进行场景识别；基于识别出的场景结果，调用对应的编码参数，并将调用的编码参数导入至编码器；编码器使用当前导入的编码参数，对视频流数据中的当前帧数据进行编码。通过对视频流数据中的当前帧数据进行场景识别，然后基于识别出的场景结果调用对应的编码参数，实现了可以动态调整视频流数据中的不同帧数据的编码参数的目的。对于不同的编码器，均可以对于不同的视频流数据调用最适合的编码参数进行视频编码，这也就有效提高了视频编码的适应性和灵活性。
Description
技术领域
本申请涉及视频编码技术领域，尤其涉及一种基于场景自适应的视频编码方法和装置、设备及存储介质。
背景技术
随着视频应用的爆发式增长，视频编码技术也在不断的快速发展。从最早的MPEG2到MPEG4、H.264、AVS+，到新一代的H.265、AVS2、AV1，以及最近的AVS3、VVC等，提升编码质量，降低压缩码率，是视频编码追求的永恒主题。其中，传统的视频编码质量的提升，主要是通过新的压缩标准来实现的，其代价是成倍增长的计算量。同时，在相同的压缩标准下，不同的编码器实现，压缩效率往往相差很大，其主要原因是在于编码参数的选取时很难做到最优化，从而使得视频编码的适应性较差。
发明内容
有鉴于此，本申请提出了一种基于场景自适应的视频编码方法，可以有效提高视频编码的适应性。
根据本申请的一方面，提供了一种基于场景自适应的视频编码方法，包括：
获取当前要编码的视频流数据，对所述视频流数据中的当前帧数据进行场景识别；
基于识别出的场景结果，调用对应的编码参数，并将调用的所述编码参数导入至编码器；
所述编码器使用当前导入的所述编码参数，对所述视频流数据中的当前帧数据进行编码。
在一种可能的实现方式中，对所述视频流数据中的当前帧数据进行场景识别时，采用图像识别网络模型进行。
在一种可能的实现方式中，在对所述视频流数据中的当前帧数据进行场景识别之前，还包括：
检测所述当前帧数据与前一帧数据之间是否发生场景切换；
在检测出所述当前帧数据与所述前一帧数据之间未发生场景切换时，直接使用前一帧数据对应的编码参数对所述当前帧数据进行编码。
在一种可能的实现方式中，检测所述当前帧数据与所述前一帧数据是否发生场景切换时，基于所述当前帧数据与所述前一帧数据之间的亮度变化进行检测。
在一种可能的实现方式中，编码器使用当前导入的所述编码参数，对所述视频流数据中的当前帧数据进行编码时，还包括：
对所述当前帧数据进行区域划分，得到所述当前帧数据中不同区域的区域描述信息；
结合不同区域的所述区域描述信息，使用当前导入的所述编码参数对所述当前帧数据进行编码。
在一种可能的实现方式中，不同的所述区域描述信息对应不同的视觉敏感度。
根据本申请的另一方面，还提供了一种基于场景自适应的视频编码装置，包括：场景识别模块、参数调用导入模块和编码模块；
所述场景识别模块，被配置为获取当前要编码的视频流数据，对所述视频流数据中的当前帧数据进行场景识别；
所述参数调用导入模块，被配置为基于识别出的场景结果，调用对应的编码参数，并将调用的所述编码参数导入至编码器；
所述编码模块，被配置为通过所述编码器使用当前导入的所述编码参数，对所述视频流数据中的当前帧数据进行编码。
在一种可能的实现方式中，还包括场景切换检测模块；
所述场景切换检测模块，被配置为在所述场景识别模块对所述视频流数据中的当前帧数据进行场景识别之前，检测所述当前帧数据与前一帧数据之间是否发生场景切换；
所述编码模块，被配置为在所述场景切换检测模块检测出所述当前帧数据与所述前一帧数据之间未发生场景切换时，直接使用前一帧数据对应的编码参数对所述当前帧数据进行编码。
根据本申请的另一方面，还提供了一种基于场景自适应的视频编码设备，包括：
处理器；
用于存储处理器可执行指令的存储器；
其中，所述处理器被配置为执行所述可执行指令时实现前面任一所述的方法。
根据本申请的另一方面，还提供了一种非易失性计算机可读存储介质，其上存储有计算机程序指令，所述计算机程序指令被处理器执行时实现前面任一所述的方法。
通过对视频流数据中的当前帧数据进行场景识别，然后基于识别出的场景结果调用对应的编码参数，使得编码器在对视频流数据进行编码处理时，每一帧数据均采用对应的编码参数进行编码，从而实现了可以动态调整视频流数据中的不同帧数据的编码参数的目的，这也就使得编码器能够以最适合当前场景的编码参数对视频流中的各帧数据进行编码输出，从而有效优化了视频编码的质量。并且，对于不同的编码器，均可以对于不同的视频流数据调用最适合的编码参数进行视频编码，这也就有效提高了视频编码的适应性和灵活性。
根据下面参考附图对示例性实施例的详细说明，本申请的其它特征及方面将变得清楚。
附图说明
包含在说明书中并且构成说明书的一部分的附图与说明书一起示出了本申请的示例性实施例、特征和方面，并且用于解释本申请的原理。
图1示出本申请实施例的基于场景自适应的视频编码方法的流程图；
图2示出本申请实施例的基于场景自适应的视频编码方法中实现视频场景分类的流程图；
图3示出本申请实施例的基于场景自适应的视频编码方法的另一流程图；
图4示出本申请实施例的基于场景自适应的视频编码装置的结构框图；
图5示出本申请实施例的基于场景自适应的视频编码设备的结构框图。
具体实施方式
以下将参考附图详细说明本申请的各种示例性实施例、特征和方面。附图中相同的附图标记表示功能相同或相似的元件。尽管在附图中示出了实施例的各种方面，但是除非特别指出，不必按比例绘制附图。
在这里专用的词“示例性”意为“用作例子、实施例或说明性”。这里作为“示例性”所说明的任何实施例不必解释为优于或好于其它实施例。
另外，为了更好的说明本申请，在下文的具体实施方式中给出了众多的具体细节。本领域技术人员应当理解，没有某些具体细节，本申请同样可以实施。在一些实例中，对于本领域技术人员熟知的方法、手段、元件和电路未作详细描述，以便于凸显本申请的主旨。
图1示出根据本申请一实施例的基于场景自适应的视频编码方法的流程图。如图1所示，该方法包括：步骤S100，获取当前要编码的视频流数据，对视频流数据中的当前帧数据进行场景识别。即，对当前要进行编码处理的视频流逐帧进行场景识别，得到视频流中的各帧图像对应的具体场景。然后，再通过步骤S200，基于识别出的场景结果，调用对应的编码参数，并将调用的编码参数导入编码器中。最后，再通过步骤S300，由编码器使用当前导入的编码参数，对视频流数据中的当前帧数据进行编码。
由此，本申请实施例的基于场景自适应的视频编码方法，通过对视频流数据中的当前帧数据进行场景识别，然后基于识别出的场景结果调用对应的编码参数，使得编码器在对视频流数据进行编码处理时，每一帧数据均采用对应的编码参数进行编码，从而实现了可以动态调整视频流数据中的不同帧数据的编码参数的目的，这也就使得编码器能够以最适合当前场景的编码参数对视频流中的各帧数据进行编码输出，从而有效优化了视频编码的质量。并且，对于不同的编码器，均可以对于不同的视频流数据调用最适合的编码参数进行视频编码，这也就有效提高了视频编码的适应性和灵活性。
其中，在本申请实施例的方法中，在对视频流数据中的当前帧数据进行场景识别时，可以基于人工智能的方式来实现。即，采用图像识别网络模型进行场景识别。此处，本领域技术人员可以理解的是，图像识别网络模型可以采用人工智能领域中常用的神经网络模型来实现，此处不进行具体限定。
另外，还需要说明的是，由于本申请实施例的视频编码方法，在对视频流数据进行编码处理时，是根据所识别出来的视频流数据中各帧图像的具体场景调用对应的编码参数来进行编码处理的。因此，在执行本申请实施例的方法之前，需要预先建立不同的场景与不同的编码参数的对应关系数据库。然后再根据所识别出来的场景结果，由所建立的对应关系数据库中调用对应的编码参数。
在一种可能的实现方式中，建立不同的场景与不同的编码参数的对应关系数据库时，需要对进行场景分类。在一种可能的实现方式中，可以根据编码器的特点，建立视频场景分类。总的来说，即，对于静态画面，可以在进行编码时需要较低的码率，对于动态画面则需要较高的码率。对于简单画面，需要较低的码率，对于复杂画面则需要较高的码率。
也就是说，在根据编码器的特点建立视频场景分类时，具体指的是根据视频流数据所对应的画面的属性(即，属于动态画面还是静态画面)和画面的复杂程度中的至少一种进行类别的划分构建。其中，画面的复杂程度可以通过视频流数据中画面的内容进行确定，如：视频流数据对应的画面为大片单一背景色的则可以确定为简单画面，视频流数据对应的画面中包含多种不同的图像的则可以确定为复杂画面。
具体的，在建立视频场景分类时，可以按照以下方式进行场景类别的划分。如：新闻类节目、体育类节目、动画片、电视剧、……等。即，按照视频流数据的内容类型进行场景分类。
其中，对于每一大类的场景，还可以进行更加细化的划分。如：对于体育类节目，还可以进一步划分为：足球比赛、赛车比赛、室内场馆比赛、……等。对于新闻类节目，则还可以进一步划分为：社会新闻、娱乐新闻、财经新闻、科技新闻、……等。
也就是说，在进行场景分类时，可以根据实际情况灵活设置不同的场景类别，以及场景类别的层级。
然后在对于所建立的每一个视频场景，进行编码器参数优化，得到最优的编码参数后，再将最优的编码参数保存为模板后，将保存的编码参数模板与对应的视频场景建立映射关系后再进行存储。
此处，还需要说明的是，在使用图像识别网络模型对视频流数据中各帧数据进行场景识别时，需要对图像识别网络模型进行训练。在进行模型训练时，则需要进行样本数据库的构建。
其中，本领域技术人员可以理解的是，所构建的样本数据库中的各样本数据均为基于前面所述的视频场景分类结果，对视频内容进行标注后的视频数据。同时，根据构建得到的样本数据库对图像识别网络模型进行训练的过程可以采用本领域的常规技术训练方式，此处不再进行赘述。
采用上述样本数据库对构建的图像识别网络模型训练完成之后，即可使用训练完成的图像识别网络模型对当前要编码处理的视频流数据中的各帧数据进行场景识别。
即，在视频编码过程中，先将获取到的视频流数据中的当前帧数据输入至训练好的图像识别网络模型中，由图像识别网络模型对当前帧数据的场景进行识别，以确定当前帧数据的场景类别。
然后，再根据识别出的当前帧数据的场景类别，确定敌营的编码参数优化模板，进而再将模板中的编码参数导入编码器中，使得编码器能够使用当前导入的编码参数对当前帧数据进行编码处理。
更加具体的，参阅图2，在执行本申请实施例的方法之前，需要先通过步骤S001，建立视频场景分类，得到不同的视频场景。然后，再通过步骤S002，基于建立的不同视频场景，对编码器参数进行优化，得到不同视频场景下的最优编码参数模板。同时，通过步骤S003，建立场景训练样本数据库，以及步骤S004，构建相应的用于识别场景的图像识别网络模型，最后再通过步骤S005，使用所建立的样本数据库对构建的图像识别网络模型进行训练，得到最终用于进行场景识别的图像识别网络模型。
通过上述方式得到图像识别网络模型之后，即可将当前要编码处理的视频流数据逐帧输入至训练好的图像识别网络模型中，由图像识别网络模型对各帧数据进行场景识别。在识别出各帧数据的场景之后，再调用对应的最后编码参数模板，将模板中的编码参数导入至编码器，由编码器使用当前导入的编码参数对当前帧数据进行编码处理。
进一步地，在本申请实施例的方法中，对视频流数据中的当前帧数据进行场景识别之前，还可以包括对当前帧数据与前一帧数据是否发生场景切换的检测，从而在当前帧数据与前一帧数据未发生场景切换时，则不再由图像识别网络模型对当前帧数据进行场景识别，直接采用前一帧数据的编码参数进行编码即可。通过增加对当前帧数据与前一帧数据是否发生场景切换的检测步骤，有效减少了图像识别网络模型的运算次数，这也就大大减少了视频编码处理时的数据处理计算量，避免了冗余计算的情况。
即，参阅图3，在本申请实施例的方法中，在通过步骤S110，获取视频流数据，并提取出当前帧数据之后，先通过步骤S120，对当前帧数数据进行场景切换检测，并执行步骤S130，判断当前帧数据是否发生场景切换。在判断出当前帧数据发生场景切换时，则执行步骤S140，对当前帧数据进行场景识别，以及步骤200，根据识别出的场景结果，选取对应的场景优化参数模板，从而调用场景优化参数模板中的编码参数。进而，再通过步骤S300，基于调用的编码参数，对视频编码器的编码参数进行动态更新，并由更新后的视频编码器对当前帧数据进行编码。如果判断出当前帧数据未发生场景切换，则不需要对视频编码器的编码参数进行更新，直接采用前一帧数据的编码参数进行编码即可。
其中，在一种可能的实现方式中，对于当前帧数据与前一帧数据是否发生场景切换的检测，可以基于当前帧数据与前一帧数据之间的亮度变化来实现。
具体的，通过计算当前帧数据的平均亮度和前一帧数据的平均亮度，然后通过比较当前帧数据的平均亮度与前一帧数据的平均亮度之间的变化，得到当前帧数据与前一帧数据的亮度变化值。进而再根据计算得到的当前帧数据与前一帧数据的亮度变化值确定是否发生场景切换。
此处，需要说明的是，平均亮度的计算可以通过计算所有像素的亮度总和，再用亮度总和除以像素总个数的方式得到。即，对于当前帧的平均亮度的计算，可以先对当前帧数据的所有像素的亮度进行求和运算得到亮度总和，然后再统计出当前帧数据的像素总个数，进而再用当前帧数据的所有像素的亮度总和除以像素总个数，即可得到当前帧数据的平均亮度。
亮度变化值则可以通过当前帧数据的平均亮度与前一帧数据的平均亮度的差，与当前帧数据的平均亮度与前一帧数据的平均亮度的和的比值来进行表征。
即，亮度变化值可以通过以下公式计算得到：
其中，ΔY为亮度变化值；Y(n)表征当前帧数据的平均亮度，n的取值为正整数，用于表示视频流数据中的帧序号。Y(n-1)表征前一帧数据的平均亮度。
更进一步地，根据计算得到的当前帧数据与前一帧数据的亮度变化值确定是否发生场景切换时，可以通过对亮度变化值对预先的变化阈值进行比较来进行确定。
即，在比较判断出当前帧数据与前一帧数据的亮度变化值大于或等于变化阈值时，则直接确定当前帧数据发生了场景切换，此时则需要对当前帧数据进行场景识别，进而再基于识别出的场景结果调用对应的编码参数进行编码处理。在比较判断出当前帧数据与前一帧数据的亮度变化值小于预设阈值时，则可以直接确定当前帧数据未发生场景切换，此时则不需要再对当前帧数据进行场景识别，直接按照前一帧数据的场景对当前帧数据进行编码即可。
其中，需要指出的是，预设的变化阈值的取值可以根据实际情况灵活设置。具体的，变化阈值的取值可以根据不同视频场景进行确定。在一种可能的实现方式中，变化阈值的取值范围可以设置为：[0.2,0.8]，优选为0.3。
此外，还需要指出的是，在将当前帧数据输入至编码器中，由编码器使用当前盗导入的编码参数对当前帧数据进行编码时，还可以包括：对当前帧数据进行区域划分，得到当前帧数据中不同区域的区域描述信息。然后，再将标记有区域描述信息的当前帧数据输入至编码器中，使得编码器在对当前帧数据编码时，除了能够使用最匹配的编码参数之外，还能够对同一帧数据中的不同区域分配不同的比特。
其中，需要说明的是，在对所述当前帧数据进行区域划分时，同样可以采用人工智能算法来实现。即，通过构建相应的神经网络模型，并对构建的神经网络模型进行训练后，由训练好的神经网络模型对当前帧数据中的区域进行识别划分。然后再对识别出的各区域标记相应的区域描述信息。
此处，本领域技术人员可以理解的是，所构建的神经网络模型同样可以采用本领域的常规网络模型来实现，如：卷积神经网络等，本申请中不对其进行具体限定。
还应当指出的是，在对视频流中各帧数据进行区域分化，得到多个不同的区域时，可以根据不同区域处的图像内容进行划分。并且，对于不同的区域，对应不同的视觉敏感度。
也就是说，在本申请实施例的方法中，对于划分得到的不同区域设置对应的区域描述信息时，区域描述信息可以直接采用视觉敏感度进行表征。即，不同的区域描述信息对应不同的视觉敏感度。
其中，视觉敏感度的高低则根据各区域的图像内容，以及各区域在各帧数据中的位置，以及所占比例等进行确定。其中，所占位置约接近图像中心位置的，视觉敏感度越高；所占比例越大的，视觉敏感度越高。
即，在采用视觉敏感度表征不同区域的区域描述信息时，可以综合考虑各区域的图像内容、各区域在各帧数据中的位置，以及所占比例等因素进行视觉敏感度等级的确定。其具体确定方式可以根据实际情况灵活设置，此处不进行具体限定。
举例来说，对于识别出的人脸区域，则可以确定该区域的视觉敏感度较高。对于识别出的草地、水面等区域，则可以确定该区域的视觉敏感度偏低。
其中，在一种可能的实现方式中，视觉敏感度可以划分为三个等级，分比为：高、中、低。不同等级的视觉敏感度，在编码过程中所占的比特不同。具体的，对于等级为高的视觉敏感度，其在编码过程中所占的比特为第一预设比特；对于等级为中的视觉敏感度，其在编码过程中所占的比特为第二预设比特；对于等级为低的视觉敏感度，其在编码过程中所占的比特为第三预设比特。此处，需要说明的是，第一预设比特大于第二预设比特，第二预设比特大于第三预设比特。
即，对于等级为高的视觉敏感度的区域，在编码时分配最多的比特(即，使用最小的量化步长)；对于等级为中的视觉敏感度的区域，在编码时则分配中等的比特(即，使用较大的量化步长)；对于等级为低的视觉敏感度的区域，在编码时则分配较少的比特(即，使用最大的量化步长)。本领域技术人员可以理解的是，此处所述的“最小”、“最大”等均是对于同一帧数据中不同等级的视觉敏感度的区域来说的。
其中，应当指出的是，对于不同等级的视觉敏感度区域，在进行比特分配时，其分配比例可以根据主观视觉体验进行设置。在一种可能的实现方式中，对于等级为高的视觉敏感度的区域、等级为中的视觉敏感度的区域、以及等级为低的视觉敏感度的区域，其在进行比特分配时，可以按照以下比例进行分配：2.0x：1.0x：0.5x。
由此，本申请实施例的视频编码方法，在识别出视频流中各帧数据的场景之后，还通过对各帧数据进行不同区域的划分，然后在由编码器对各帧数据进行编码处理时，不仅能够针对不同的场景调用对应的编码参数，同时还能够对不同区域分配不同的码率，这也就更进一步的提高了视频编码质量，使得视频编码结果更加适应不同帧数据的场景和内容。
需要说明的是，尽管以图1至图3作为示例介绍了如上所述的基于场景自适应的视频编码方法，但本领域技术人员能够理解，本申请应不限于此。事实上，用户完全可根据个人喜好和/或实际应用场景灵活设定各步骤的具体实现方式，只要能够对于不同场景调用不同的编码参数对视频流数据进行编码即可。
相应的，基于前面任一所述的基于场景自适应的视频编码方法，本申请还提供了一种基于场景自适应的视频编码装置。由于本申请提供的基于场景自适应的视频编码装置的工作原理，与本申请的基于场景自适应的视频编码方法的原理相同或相似，因此重复之处不再赘述。
参阅图4，本申请提供的基于场景自适应的视频编码装置100，包括场景识别模块110、参数调用导入模块120和编码模块130。其中，场景识别模块110，被配置为获取当前要编码的视频流数据，对视频流数据中的当前帧数据进行场景识别。参数调用导入模块120，被配置为基于识别出的场景结果，调用对应的编码参数，并将调用的编码参数导入至编码器。编码模块130，被配置为通过编码器使用当前导入的编码参数，对视频流数据中的当前帧数据进行编码。
在一种可能的实现方式中，还包括场景切换检测模块(图中未示出)。场景切换检测模块，被配置为在场景识别模块110对视频流数据中的当前帧数据进行场景识别之前，检测当前帧数据与前一帧数据之间是否发生场景切换。编码模块130，被配置为在场景切换检测模块检测出当前帧数据与前一帧数据之间未发生场景切换时，直接使用前一帧数据对应的编码参数对当前帧数据进行编码。
更进一步地，根据本申请的另一方面，还提供了一种基于场景自适应的视频编码设备200。参阅图5，本申请实施例的基于场景自适应的视频编码设备200包括处理器210以及用于存储处理器210可执行指令的存储器220。其中，处理器210被配置为执行可执行指令时实现前面任一所述的基于场景自适应的视频编码方法。
此处，应当指出的是，处理器210的个数可以为一个或多个。同时，在本申请实施例的基于场景自适应的视频编码设备200中，还可以包括输入装置230和输出装置240。其中，处理器210、存储器220、输入装置230和输出装置240之间可以通过总线连接，也可以通过其他方式连接，此处不进行具体限定。
存储器220作为一种计算机可读存储介质，可用于存储软件程序、计算机可执行程序和各种模块，如：本申请实施例的基于场景自适应的视频编码方法所对应的程序或模块。处理器210通过运行存储在存储器220中的软件程序或模块，从而执行基于场景自适应的视频编码设备200的各种功能应用及数据处理。
输入装置230可用于接收输入的数字或信号。其中，信号可以为产生与设备/终端/服务器的用户设置以及功能控制有关的键信号。输出装置240可以包括显示屏等显示设备。
根据本申请的另一方面，还提供了一种非易失性计算机可读存储介质，其上存储有计算机程序指令，计算机程序指令被处理器210执行时实现前面任一所述的基于场景自适应的视频编码方法。
以上已经描述了本申请的各实施例，上述说明是示例性的，并非穷尽性的，并且也不限于所披露的各实施例。在不偏离所说明的各实施例的范围和精神的情况下，对于本技术领域的普通技术人员来说许多修改和变更都是显而易见的。本文中所用术语的选择，旨在最好地解释各实施例的原理、实际应用或对市场中的技术的改进，或者使本技术领域的其它普通技术人员能理解本文披露的各实施例。
Claims (10)
1.一种基于场景自适应的视频编码方法，其特征在于，包括：
获取当前要编码的视频流数据，对所述视频流数据中的当前帧数据进行场景识别；
基于识别出的场景结果，调用对应的编码参数，并将调用的所述编码参数导入至编码器；
所述编码器使用当前导入的所述编码参数，对所述视频流数据中的当前帧数据进行编码。
2.根据权利要求1所述的方法，其特征在于，对所述视频流数据中的当前帧数据进行场景识别时，采用图像识别网络模型进行。
3.根据权利要求1所述的方法，其特征在于，在对所述视频流数据中的当前帧数据进行场景识别之前，还包括：
检测所述当前帧数据与前一帧数据之间是否发生场景切换；
在检测出所述当前帧数据与所述前一帧数据之间未发生场景切换时，直接使用前一帧数据对应的编码参数对所述当前帧数据进行编码。
4.根据权利要求3所述的方法，其特征在于，检测所述当前帧数据与所述前一帧数据是否发生场景切换时，基于所述当前帧数据与所述前一帧数据之间的亮度变化进行检测。
5.根据权利要求1至4任一项所述的方法，其特征在于，编码器使用当前导入的所述编码参数，对所述视频流数据中的当前帧数据进行编码时，还包括：
对所述当前帧数据进行区域划分，得到所述当前帧数据中不同区域的区域描述信息；
结合不同区域的所述区域描述信息，使用当前导入的所述编码参数对所述当前帧数据进行编码。
6.根据权利要求5所述的方法，其特征在于，不同的所述区域描述信息对应不同的视觉敏感度。
7.一种基于场景自适应的视频编码装置，其特征在于，包括：场景识别模块、参数调用导入模块和编码模块；
所述场景识别模块，被配置为获取当前要编码的视频流数据，对所述视频流数据中的当前帧数据进行场景识别；
所述参数调用导入模块，被配置为基于识别出的场景结果，调用对应的编码参数，并将调用的所述编码参数导入至编码器；
所述编码模块，被配置为通过所述编码器使用当前导入的所述编码参数，对所述视频流数据中的当前帧数据进行编码。
8.根据权利要求7所述的装置，其特征在于，还包括场景切换检测模块；
所述场景切换检测模块，被配置为在所述场景识别模块对所述视频流数据中的当前帧数据进行场景识别之前，检测所述当前帧数据与前一帧数据之间是否发生场景切换；
所述编码模块，被配置为在所述场景切换检测模块检测出所述当前帧数据与所述前一帧数据之间未发生场景切换时，直接使用前一帧数据对应的编码参数对所述当前帧数据进行编码。
9.一种基于场景自适应的视频编码设备，其特征在于，包括：
处理器；
用于存储处理器可执行指令的存储器；
其中，所述处理器被配置为执行所述可执行指令时实现权利要求1至6中任意一项所述的方法。
10.一种非易失性计算机可读存储介质，其上存储有计算机程序指令，其特征在于，所述计算机程序指令被处理器执行时实现权利要求1至6中任意一项所述的方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110752140.4A CN113556544B (zh) | 2021-06-30 | 2021-06-30 | 基于场景自适应的视频编码方法和装置、设备及存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110752140.4A CN113556544B (zh) | 2021-06-30 | 2021-06-30 | 基于场景自适应的视频编码方法和装置、设备及存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN113556544A true CN113556544A (zh) | 2021-10-26 |
| CN113556544B CN113556544B (zh) | 2024-04-19 |
Family
ID=78131280
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110752140.4A Active CN113556544B (zh) | 2021-06-30 | 2021-06-30 | 基于场景自适应的视频编码方法和装置、设备及存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113556544B (zh) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114466109A (zh) * | 2021-12-27 | 2022-05-10 | 天翼云科技有限公司 | 一种基于高拍仪的图像处理方法、终端设备和介质 |
| CN116320429A (zh) * | 2023-04-12 | 2023-06-23 | 瀚博半导体(上海)有限公司 | 视频编码方法、装置、计算机设备及计算机可读存储介质 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103024387A (zh) * | 2012-12-17 | 2013-04-03 | 宁波大学 | 一种基于感知的多视点视频码率控制方法 |
| CN103503454A (zh) * | 2011-01-28 | 2014-01-08 | 艾艾欧有限公司 | 场景形式的视频流编码 |
| CN106688232A (zh) * | 2014-09-11 | 2017-05-17 | 欧几里得发现有限责任公司 | 基于模型的视频编码的感知优化 |
| CN110139089A (zh) * | 2019-05-09 | 2019-08-16 | 莆田学院 | 一种结合场景检测的三维视频编码码率控制方法及存储设备 |
-
2021
- 2021-06-30 CN CN202110752140.4A patent/CN113556544B/zh active Active
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103503454A (zh) * | 2011-01-28 | 2014-01-08 | 艾艾欧有限公司 | 场景形式的视频流编码 |
| CN103024387A (zh) * | 2012-12-17 | 2013-04-03 | 宁波大学 | 一种基于感知的多视点视频码率控制方法 |
| CN106688232A (zh) * | 2014-09-11 | 2017-05-17 | 欧几里得发现有限责任公司 | 基于模型的视频编码的感知优化 |
| CN110139089A (zh) * | 2019-05-09 | 2019-08-16 | 莆田学院 | 一种结合场景检测的三维视频编码码率控制方法及存储设备 |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114466109A (zh) * | 2021-12-27 | 2022-05-10 | 天翼云科技有限公司 | 一种基于高拍仪的图像处理方法、终端设备和介质 |
| CN114466109B (zh) * | 2021-12-27 | 2024-03-08 | 天翼云科技有限公司 | 一种基于高拍仪的图像处理方法、终端设备和介质 |
| CN116320429A (zh) * | 2023-04-12 | 2023-06-23 | 瀚博半导体(上海)有限公司 | 视频编码方法、装置、计算机设备及计算机可读存储介质 |
| CN116320429B (zh) * | 2023-04-12 | 2024-02-02 | 瀚博半导体(上海)有限公司 | 视频编码方法、装置、计算机设备及计算机可读存储介质 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN113556544B (zh) | 2024-04-19 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP4589437B2 (ja) | ビデオ・センサに基づいた自動関心領域検出 | |
| JP4801164B2 (ja) | ビデオ・フレームの動きに基づいた自動関心領域検出 | |
| CN113556544B (zh) | 基于场景自适应的视频编码方法和装置、设备及存储介质 | |
| CN112102212B (zh) | 一种视频修复方法、装置、设备及存储介质 | |
| CN113518185B (zh) | 视频转换处理方法、装置、计算机可读介质及电子设备 | |
| CN110139104B (zh) | 视频解码方法、装置、计算机设备和存储介质 | |
| CN111182303A (zh) | 共享屏幕的编码方法、装置、计算机可读介质及电子设备 | |
| CN110620924B (zh) | 编码数据的处理方法、装置、计算机设备及存储介质 | |
| CN113068034B (zh) | 视频编码方法及装置、编码器、设备、存储介质 | |
| CN110766637B (zh) | 一种视频处理方法、处理装置、电子设备及存储介质 | |
| CN114900692A (zh) | 视频流帧率调整方法及其装置、设备、介质、产品 | |
| CN112672149A (zh) | 一种视频处理方法、装置、存储介质及服务器 | |
| CN111277827A (zh) | 一种视频数据处理方法、装置、设备以及可读存储介质 | |
| CN108985244B (zh) | 一种电视节目类型识别方法及装置 | |
| CN113452996A (zh) | 一种视频编码、解码方法及装置 | |
| CN111724447A (zh) | 一种图像处理方法、系统及电子设备和存储介质 | |
| CN112437301B (zh) | 一种面向视觉分析的码率控制方法、装置、存储介质及终端 | |
| CN109219960B (zh) | 视频编码质量平滑度的优化方法、装置、设备及存储介质 | |
| CN111385577A (zh) | 视频转码方法、装置、计算机设备和计算机可读存储介质 | |
| CN116980604A (zh) | 视频编码方法、视频解码方法及相关设备 | |
| CN115278225A (zh) | 色度编码模式的选择方法、装置和计算机设备 | |
| CN115379291A (zh) | 一种码表更新方法、装置、设备及存储介质 | |
| CN116827921A (zh) | 一种流媒体的音视频处理方法、装置及设备 | |
| CN113469922A (zh) | 图像处理方法、计算机设备及计算机可读存储介质 | |
| CN113630599B (zh) | 一种基于roi的视频码率控制方法及系统 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |