CN101404767A - 一种基于图像分析及人工智能的可变参数的自动化视频转码方法 - Google Patents

Abstract

本发明涉及视频转码技术领域，尤其涉及一种基于图像分析及人工智能的自动优化调整编码参数的视频转码方法。本发明用于将第一视频转码为第二视频格式，通过对第一视频的分析，获取到不同第一视频的独特的分析数据，然后再依据这些分析数据，自动化的为其设置经过优化处理的编码参数，使得转码后的第二视频在尺寸尽可能小的前提下，获得更好的画面质量。通过本发明，任何视频转码系统都可以在无需人工操作的前提下，获得与人工操作相近似的第二视频画面质量，既优化了转码后的第二视频的尺寸及画面质量，又无需投入大量的人员劳动，大幅度的提高了工作效率，可广泛的应用于各类需要进行视频编码及视频转码的软件系统或硬件系统中。

Description

一种基于图像分析及人工智能的可变参数的自动化视频转码方法

技术领域

本发明涉及一种视频转码方法，并且尤其涉及一种基于图像分析及人工智能的可变参数的自动化视频转码方法。

背景技术

随着人们对各类数字视频内容需求的迅速增长，以及数字视频技术的不断发展，出现了多种多样的数字视频格式，如MPEG2、MPEG4、MPEG4 AVC(H.264)、H.263、H.261、Windows Media Video等等。对于不同的视频格式，其主要的应用领域各不相同，同时对于不同的数字视频业务，其需要的编码参数设置也各不相同。因此，我们经常需要将各种不同格式、不同规格参数的视频内容(第一视频)转码为特定规格参数的某种特定格式(第二视频)，以满足不同数字视频业务的实际需要。

由于数字视频格式及其规格的多样性与复杂性，无论我们期望将源视频内容转码为任何一种视频格式，我们都需要为视频编码器设置我们期望的各项编码参数，例如：视频画面的宽度、视频画面的高度、视频编码码率、视频帧速率等等。因此，传统的视频转码流程必须要求人工的参与，或者使用固定的编码参数对源视频内容进行编码。

使用人工对视频编码器的各项编码参数进行手动的设置是目前较为常见的方式，一个有经验的视频转码操作人员会根据源视频内容的分辨率、帧速、画面的运动程度以及视频码率等考虑因素，有效的判断出既符合输出视频格式的参数要求、又保证源视频内容在转码过程中的画质损失尽可能小的编码参数。

但是，使用人工对视频编码器的各项编码参数进行手动设置的方式也有着许多的缺陷。

首先是其不适用于大批量甚至海量视频内容的转码工作，由于视频转码操作人员在设置编码参数之前，需要首先对源视频内容进行一定程度的预览，同时在预览后还需要逐项的去设置相关的编码参数，因此当需要转码的源视频内容的数量较多时，如果要求视频转码操作人员逐个的预览并设置每个源视频内容的编码参数，无疑需要投入大量的人员劳动、消耗大量的时间，工作效率较低。

其次是有经验的视频转码操作人员毕竟数量有限，而随着家用DV市场的逐步发展，视频转码的应用已经深入到了普通人们的生活中，我们不可能要求这些普通用户也能像有经验的视频转码操作人员那样具备正确判断并设置相关编码参数组合的能力和经验。

另一种较为常见的方式是使用固定的编码参数对源视频内容进行编码，这种方式的好处是自动化程度高，操作简单甚至无需人工操作，可以迅速的对大批量甚至海量的源视频内容进行转码处理。但是，这种方式同样也有一个严重的缺陷，那就是当我们对大批量甚至海量的源视频内容进行转码处理时，由于源视频内容的规格是多种多样的，他们可能有着不同的画面宽度、画面高度、码率、场设置、像素宽高比等规格参数，一旦我们使用统一而固定的编码参数对其进行编码，就会导致至少有一部分源视频内容的转码效果会很差，典型的问题如下：

对于场设置互不相同的源视频内容，会造成其中的一部分在转码后无法达到最佳效果，比如源视频内容中既包括一些逐行扫描的视频内容、也包括一些下场优先的隔行扫描的视频内容、还包括一些上场优先的隔行扫描的视频内容，那么无论我们如何设置统一的编码参数，这些源视频内容中一定会有一部分无法被正常转码、或者转码后的效果很差、无法正常观看。

另一个问题是导致参数的效益比降低，例如，对于一些码率很高的源视频内容，当我们使用一个较低的码率对其进行转码时，无疑会导致其画质损失比较严重，而同时这个固定码率对于另外一些码率很低的源视频内容来说，又明显会造成码率及存储空间的浪费。例如现在有2个源视频内容，它们的码率分别是800Kb/S和100Kb/S，假设我们设置的统一的固定编码码率是300Kb/S，那么对于码率为800Kb/S的源视频内容来说，300Kb/S的编码码率无疑会导致其在转码后损失相当程度的画质；而对于码率为100Kb/S的源视频内容来说，300Kb/S的编码码率又会导致大量的码率及存储空间被浪费了。无论我们如何设置固定编码码率，这种情况都无法避免。

再如，现在仍然有2个源视频内容，它们的分辨率分别是1024x768和352x264，假设我们设置的统一的固定编码分辨率是768x576，那么对于分辨率为1024x768的源视频内容来说，768x576的编码分辨率无疑会导致其在转码后损失相当程度的画面细节质量；而对于分辨率为352x264的源视频内容来说，768x576的编码分辨率不仅不会提高画质，还会导致视频编码器编码性能的降低及带宽消耗的增加。

发明内容

本发明的主要目的是为了解决上述问题，提供一种达到了专业视频转码操作人员水平的自动化的视频转码方法，通过本方法，任何视频转码软件系统或视频转码硬件系统都可以在无需人工操作的前提下，获得与人工操作相近似的输出视频结果，既优化了转码后输出视频的尺寸及画面质量，又无需投入大量的人员劳动，大幅度的提高了工作效率，可广泛的应用于各类需要进行视频编码及视频转码的软件系统或硬件系统中。

本发明是一种基于图像分析及人工智能的可变参数的自动化视频转码方法，它通过对源视频内容(也称为第一视频，下同)的分析，获取到每个源视频内容的独特的分析数据，然后再依据这些分析数据，自动化的为其设置经过优化处理的编码参数，使得转码后的输出视频(也称为第二视频，下同)在尺寸尽可能小的前提下，获得更好的画面质量。

本发明提供的视频转码方法中，第一视频及转码后的第二视频均支持任何已知的视频编解码格式。

本发明提供的视频转码方法包括如下步骤：

A  获取第二视频格式的各项编码参数的限制条件；

B  对第一视频进行分析，获取第一视频的分析结果信息；

C  依据步骤B中对第一视频进行分析得到的结果信息，以及步骤A中获取到的第二视频格式的各项编码参数的限制条件，计算出该第一视频在编码为第二视频格式时的最优编码参数；

D  将在步骤C中得到的编码参数输出至视频编码器，由视频编码器负责进行视频编码。

其中，步骤A为可选步骤，加入步骤A的目的是某些情况下，由于实际业务的需要，我们可能不希望第二视频格式的某些编码参数超出某个范围，比如用于互联网视频点播业务的视频内容，由于互联网的带宽状况，我们可能希望所有第二视频的编码码率都不超过某个特定数值，以便使其可以在普通的带宽环境下被远程访问并流畅播放。因此，我们可以依据不同的实际业务需求，对第二视频格式的任意编码参数设置各种不同的限制条件，其设置方法可以是多种多样的，只要我们能在步骤A中通过某种方式获取到这些限制条件就可以了。

步骤B的具体步骤包括：

B1分析并获取第一视频的各项基本参数(meta data)信息，具体包括：获取第一视频的画面宽度、画面高度、视频码率、帧速率、视频编解码器、制式、场信息、像素宽高比、屏幕宽高比、时间长度，其中最主要的是第一视频的画面宽度、画面高度、以及视频码率；

B2对第一视频的视频图像进行分析，获取一个能够反映第一视频整体的画面运动强度的值(视频图像的运动强度)、获取一个能够反映第一视频整体的图像复杂程度的值(图像复杂度)，其中最主要的是能够反映第一视频整体的画面运动强度的值(视频图像的运动强度)。

步骤C的具体步骤包括：

C1依据在步骤B1中获取的第一视频的画面宽度、画面高度、视频码率、视频编解码器、在步骤B2中获取的第一视频中视频图像的运动强度及图像复杂度、以及在步骤A中获取到的第二视频格式的编码码率的限制条件，计算出编码第二视频时的最优编码码率；

C2依据在步骤B1中获取的第一视频的画面宽度、画面高度、制式、像素宽高比、屏幕宽高比、在步骤B2中获取的第一视频中视频图像的运动强度、以及在步骤A中获取到的第二视频格式的画面宽度和画面高度的限制条件，计算出编码第二视频时的最优画面宽度、最优画面高度、像素宽高比和屏幕宽高比：

C3依据在步骤B1中获取的第一视频的帧速率、在步骤B2中获取的第一视频中视频图像的运动强度，以及在步骤A中获取到的第二视频格式的帧速率的限制条件，计算出编码第二视频时的最优帧速率；

C4依据在步骤B1中获取的第一视频的制式、场信息、以及在步骤A中获取到的第二视频格式的场设置的限制条件，计算出解码第一视频时的场设置、以及编码第二视频时的场设置。

C5依据在步骤B1中获取的第一视频的画面宽度、画面高度、帧速率、视频编解码器等各项信息、在步骤B2中获取的第一视频中视频图像的运动强度及图像复杂度、以及在步骤A中获取到的第二视频格式的各项编码参数的限制条件，计算出编码第二视频时的各项高级编码参数的最优设置，依据第二视频格式的不同，高级编码参数包括但不限于：色彩深度、编码方式(CBR/VBR)、TWO-PASS编码、制式、色彩模式(4:0:0/4:1:1/4:2:0/4:2:2/4:4:4)、编解码级别配置(Codec profile)、最小关键帧间隔、最大关键帧间隔、宏块分割模式、参考P帧范围(P-Frame reference)、运动侦测模式(Motion estimation)、运动侦测范围(Motion estimation range)、B帧数量、峰谷码率比、加速模式、QP变化率、去马赛克设置(deblockfilter)。

步骤D的具体步骤包括：

D1  将在步骤C中得到的用于编码第二视频的各项编码参数输出至视频编码器；

D2视频编码器使用在步骤C中得到的各项编码参数将第一视频转码为第二视频格式，也可以依据实际需要对在步骤C中得到的各项编码参数进行人工的调整，然后再由视频编码器进行编码。

按照本发明提供的自动化视频转码方法，一个典型的视频转码系统包括下列模块：

配置管理器，用于对不同类型的转码业务分别保存其特定的编码参数的限制条件或取值范围；

视频分析器，用于对第一视频进行分析，获取第一视频的分析结果信息；

参数生成器，用于根据第一视频的分析结果信息及专家策略库，生成编码第二视频时视频编码器的配置参数；

专家策略库，用于保存编码参数生成策略；

视频编码器，用于对第一视频进行编码，将其编码为第二视频格式；

其中，视频分析器不仅会对第一视频的各项基本参数(meta data)进行分析，也会对第一视频的视频图像进行分析，得到第一视频中视频图像的运动强度及图像复杂度。

专家策略库中保存着多个编码参数生成策略组，每个编码参数生成策略组中又包含多条编码参数生成策略，每条编码参数生成策略均包括一个或多个激活条件、控制的编码参数项、以及对应该参数项的参数生成算法，当视频分析器获取的第一视频的分析结果信息符合某条编码参数生成策略的激活条件时，参数生成器就会依据该条编码参数生成策略对应的生成算法计算出针对该参数项的配置参数，整个过程可以无需任何人工干预。

同时，专家策略库中的编码参数生成策略具备优先度属性，当两条或多条编码参数生成策略均对某个参数项生成了配置参数时，优先度最高的编码参数生成策略所生成的配置参数会覆盖其它优先度较低的编码参数生成策略所生成的配置参数。

本发明的优点是：1、相对于传统的自动化编码系统，大幅提高了转码后输出视频内容的画面质量，同时大幅降低了转码后输出视频内容的码率及存储空间，进而大幅降低了存储、传输这些视频内容需要花费的成本；2、相对于人工设置编码参数的转码方式，可节省大量的人力、物力和财力，同时大幅提高转码工作的效率。

附图说明

图1为本发明提供的视频转码方法的流程图；

图2为按照本发明的视频转码系统的结构框图；

具体实施方式

下面结合附图详细描述本发明的实施例，下述实施例在以本发明提供的视频转码方法为前提下实施，给出了详细的实施方式和过程，但本发明的保护范围不限于下述的实施例。

在具体实施过程中，第一视频首先被进行分析，基于对第一视频的分析结果信息，针对不同特点的第一视频，自动计算出对应的第二视频格式的最优编码参数，然后将这些编码参数输出至视频编码器，由视频编码器负责进行视频编码。

本实施例可以分为以下几个步骤。

A获取第二视频格式的各项编码参数的限制条件；

本实施例中，第二视频格式为H.264，其编解码级别、视频码率、画面宽度、画面高度、场设置、以及像素宽高比有如下的限制条件：

编解码级别：Baseline profile；

视频码率的限制条件为：不小于50Kbps、不大于450Kbps；

画面宽度的限制条件为：不小于176、不大于1024；

画面高度的限制条件为：不小于176、不大于1024；

场设置的限制条件为：无场，即逐行扫描的方式；

像素宽高比必须为1∶1；

其它参数的限制条件为任意，即不做任何限制；

B  系统对第一视频进行分析，获取第一视频的分析结果信息，首先分析并获取第一视频的各项基本参数(meta data)信息，具体包括：

视频宽度：1920；

视频高度：1080；

视频格式：DVCPRO 100；

视频帧速：25FPS；

码率：100Mbps；

场设置：下场优先；

时间长度：5分25秒；

其它属性均为未知；

然后，对第一视频的视频图像进行分析，获取该视频中视频图像的运动强度及图像复杂度，具体为：视频图像的运动强度：22％，非常弱；

图像复杂度：55％，普通；

视频图像的运动强度及图像复杂度均为相对值，有多种方法及手段可以获取到，这里不再赘述，基于不同的获取方法，最终得到的数值也会不同，我们只需要设定一个基准值，然后将第一视频的分析结果数据与基准值进行比较，获得一个相对的数值即可；

C依据步骤B中对第一视频进行分析得到的结果信息，以及步骤A中获取到的第二视频格式的各项编码参数的限制条件，计算出该第一视频在编码为第二视频格式时的最优编码参数，具体包括以下步骤：

C1依据在步骤B1中获取的第一视频的画面宽度、画面高度、视频码率、视频编解码器、在步骤B2中获取的第一视频中视频图像的运动强度及图像复杂度、以及在步骤A中获取到的第二视频格式的编码码率的限制条件，由于该第一视频的视频图像的运动强度非常弱，图像复杂度为普通，即使采用第二视频允许的最大宽度1024及最大高度1024，仍然只需较低的码率即可获得很高的画面质量，因此计算出编码第二视频时的最优编码码率为150Kbps；

C2依据在步骤B1中获取的第一视频的画面宽度、画面高度、制式、像素宽高比、屏幕宽高比、在步骤B2中获取的第一视频中视频图像的运动强度、以及在步骤A中获取到的第二视频格式的画面宽度和画面高度的限制条件，由于该第一视频的视频图像的运动强度非常弱，图像复杂度为普通，即使只采用很低的视频编码码率仍然能保证第二视频在高分辨率下获得足够的画面质量，第二视频的最优画面宽度及最优画面高度只需要考虑在步骤A中获取到的对这两个参数的限制条件即可，因此最优画面宽度为第二视频允许的最大宽度1024，最优画面高度为依据最优画面宽度等比计算得到的576、像素宽高比为1∶1、屏幕宽高比为16∶9；

C3依据在步骤B1中获取的第一视频的帧速率、在步骤B2中获取的第一视频中视频图像的运动强度，以及在步骤A中获取到的第二视频格式的帧速率的限制条件，由于该第一视频的视频图像的运动强度非常弱，因此计算出编码第二视频时的最优帧速率为15；

C4依据在步骤B1中获取的第一视频的制式、场信息、以及在步骤A中获取到的第二视频格式的场设置的限制条件，由于第一视频是下场优先的隔行扫描方式，因此计算出解码第一视频时的场设置为：采用下场优先的设置进行去场处理，同时编码第二视频时的场设置为无场(逐行扫描)的方式。

C5依据在步骤B1中获取的第一视频的画面宽度、画面高度、帧速率、视频编解码器等各项信息、在步骤B2中获取的第一视频中视频图像的运动强度及图像复杂度、以及在步骤A中获取到的第二视频格式的各项编码参数的限制条件，计算出编码第二视频时的各项高级编码参数的最优设置，具体包括：编码方式为VBR、色彩模式为4:2:2、编解码级别配置(Codec profile)为Baseline profile、最小关键帧间隔为3、最大关键帧间隔为500。

D将在步骤C中得到的编码参数输出至视频编码器，由视频编码器负责进行视频编码，具体包括以下步骤：

D1将在步骤C中得到的用于编码第二视频的各项编码参数输出至视频编码器；

D2视频编码器使用在步骤C中得到的各项编码参数将第一视频转码为第二视频格式，也可以依据实际需要对在步骤C中得到的各项编码参数进行人工的调整，然后再由视频编码器进行编码。

本发明与传统的自动化编码系统相比，可以大幅提高转码后输出视频内容的画面质量，同时大幅降低转码后输出视频内容的码率及存储空间，进而大幅降低了存储、传输这些视频内容需要花费的成本。

Claims (15)

1.一种基于图像分析及人工智能的可变参数的自动化视频转码方法，用于自动化地将第一视频以更好的画面质量、更低的码率转码为第二视频格式，其特征在于基于对第一视频的分析，针对不同特点的第一视频，通过自动化地动态控制编码第二视频时视频编码器的配置参数，尽可能的提高第二视频的画面质量，同时降低第二视频的码率及占用的存储空间，可广泛的应用于各类需要进行视频编码及视频转码的软件系统或便件系统中。

2.如权利要求1所述的视频转码方法，其特征在于，当有多个第一视频需要转码为第二视频格式时，对于不同的第一视频，其对应的第二视频格式的编码参数是动态可变的，而不是固定的。

3.如权利要求1所述的视频转码方法，其特征在于对第二视频格式的每项编码参数都可以设置各自的限制条件或取值范围。

4.如权利要求1所述的视频转码方法，其特征在于，当有多个第一视频需要转码为第二视频格式时，对于每个不同的第一视频进行分析处理，得到该视频的独特的分析结果信息，依据这些分析结果信息与权利要求3中的各项编码参数的限制条件，自动得出针对该第一视频的第二视频格式的最优编码参数，整个过程可以无需任何人工干预。

5.如权利要求1所述的视频转码方法，其特征在于本方法中的第一视频格式和第二视频格式均可以是任意视频编解码格式。

6.一种基于图像分析及人工智能的可变参数的自动化视频转码系统，用于自动化地将第一视频以更好的画面质量、更低的码率转码为第二视频格式，其特征在于基于对第一视频的分析，针对不同特点的第一视频，通过自动化地动态控制编码第二视频时视频编码器的配置参数，尽可能的提高第二视频的画面质量，同时降低第二视频的码率及占用的存储空间，该系统包括：

配置管理器，用于对不同类型的转码业务分别保存其特定的编码参数的限制条件或取值范同；

视频分析器，用于对第一视频进行分析，获取第一视频的分析结果信息；

参数生成器，用于根据第一视频的分析结果信息及专家策略库，生成编码第二视频时视频编码器的配置参数；

专家策略库，用于保存编码参数生成策略；

视频编码器，用于对第一视频进行编码，将其编码为第二视频格式；

7.如权利要求6所述的视频转码系统，其特征在于视频分析器不仅会对第一视频的各项基本参数(metadata)进行分析，也会对第一视频的视频图像进行分析，得到第一视频中视频图像的运动强度及图像复杂度。

8.如权利要求6所述的视频转码系统，其特征在于专家策略库中保存着多个编码参数生成策略组，每个编码参数生成策略组中又包含多条编码参数生成策略，每条编码参数生成策略均包括一个或多个激活条件、控制的编码参数项、以及对应该参数项的参数生成算法，当视频分析器获取的第一视频的分析结果信息符合某条编码参数生成策略的激活条件时，参数生成器就会依据该条编码参数生成策略对应的生成算法计算出针对该参数项的配置参数，整个过程可以无需任何人工干预。

9.如权利要求6所述的视频转码系统，其特征在于专家策略库中的编码参数生成策略具备优先度属性，当两条或多条编码参数生成策略均对某个参数项生成了配置参数时，优先度最高的编码参数生成策略所生成的配置参数会覆盖其它优先度较低的编码参数生成策略所生成的配置参数。

10.如权利要求1所述的视频转码方法，其步骤包括：

A获取第二视频格式的各项编码参数的限制条件；

B对第一视频进行分析，获取第一视频的分析结果信息；

C依据步骤B中对第视频进行分析得到的结果信息，以及步骤A中获取到的第二视频格式的各项编码参数的限制条件，计算出该第一视频在编码为第二视频格式时的最优编码参数；

D将在步骤C中得到的编码参数输出至视频编码器，由视频编码器负责进行视频编码。

11.如权利要求10所述的视频转码方法，其特征在于，所述步骤B包括如下子步骤：

B1分析并获取第一视频的各项基本参数(meta data)信息；

B2对第一视频的视频图像进行分析，获取该视频中视频图像的运动强度及图像复杂度。

12.如权利要求11所述的视频转码方法，其特征在于，所述步骤B1包括：获取第一视频的画面宽度、画面高度、视频码率、帧速率、视频编解码器、制式、场信息、像素宽高比、屏幕宽高比、时间长度，其中最主要的是第一视频的画面宽度、画面高度、以及视频码率。

13.如权利要求11所述的视频转码方法，其特征在于，所述步骤B2包括：获取一个能够反映第一视频整体的画面运动强度的值(视频图像的运动强度)、获取一个能够反映第一视频整体的图像复杂程度的值(图像复杂度)，其中最主要的是能够反映第一视频整体的画面运动强度的值(视频图像的运动强度)。

14.如权利要求10所述的视频转码方法，其特征在于，所述步骤C包括如下子步骤：

C1依据在步骤B1中获取的第一视频的画面宽度、画面高度、视频码率、视频编解码器、在步骤B2中获取的第一视频中视频图像的运动强度及图像复杂度、以及在步骤A中获取到的第二视频格式的编码码率的限制条件，计算出编码第二视频时的最优编码码率；

C2依据在步骤B1中获取的第一视频的画面宽度、画面高度、制式、像素宽高比、屏幕宽高比、在步骤

B2中获取的第一视频中视频图像的运动强度、以及在步骤A中获取到的第二视频格式的画面宽度和画面高度的限制条件，计算出编码第二视频时的最优画面宽度、最优画面高度、像素宽高比和屏幕宽高比；

C3依据在步骤B1中获取的第一视频的帧速率、在步骤B2中获取的第一视频中视频图像的运动强度，以及在步骤A中获取到的第二视频格式的帧速率的限制条件，计算出编码第二视频时的最优帧速率；

C4依据在步骤B1中获取的第一视频的制式、场信息、以及在步骤A中获取到的第二视频格式的场设置的限制条件，计算出解码第一视频时的场设置、以及编码第二视频时的场设置。

C5依据在步骤B1中获取的第一视频的画面宽度、画面高度、帧速率、视频编解码器等各项信息、在步骤B2中获取的第一视频中视频图像的运动强度及图像复杂度、以及在步骤A中获取到的第二视频格式的各项编码参数的限制条件，计算出编码第二视频时的各项高级编码参数的最优设置，依据第二视频格式的不同，高级编码参数包括但不限于：色彩深度、编码方式(CBR/VBR)、TWO-PASS编码、制式、色彩模式(4:0:0/4:1:1/4:2:0/4:2:2/4:4:4)、编解码器级别配置(Codec profile)、最小关键帧间隔、最大关键帧间隔、宏块分割模式、参考P帧范围(P-Frame reference)、运动侦测模式(Motion estimation)、运动侦测范围(Motion estimation range)、B帧数量、峰谷码率比、加速模式、QP变化率、去马赛克设置(deblockfilter)。

15.如权利要求10所述的视频转码方法，其特征在于，所述步骤D包括如下子步骤：

D1将在步骤C中得到的用于编码第二视频的各项编码参数输出至视频编码器；

D2视频编码器使用在步骤C中得到的各项编码参数将第一视频转码为第二视频格式，也可以依据实际需要对在步骤C中得到的各项编码参数进行人工的调整，然后再由视频编码器进行编码。

Images