CN101977311A - 基于多特征分析的cg动画视频检测方法 - Google Patents

Abstract

一种图像处理技术领域的基于多特征分析的CG动画视频检测方法，针对动画制作方式，将动画从静态图像和动态表现两方面进行特征提取，使动画分类不再趋向于动漫的静态分类方式；纹理特征基于多维向量，能更准确地多方面判定动画类型；两种特征的综合分析，更全面地考虑到了动画在动静两态的制作方式，从而达到准确的分类效果。本发明通过对运动和纹理描述子的提取，最终区分出动态图象在制作过程中是否用到了CG动画技术，即计算机图形技术。

Description

基于多特征分析的CG动画视频检测方法

技术领域

本发明涉及的是一种图像处理技术领域的方法，具体是一种基于多特征分析的CG动画视频检测方法。

背景技术

目前，计算机图形技术不断受到动画产业的关注，CG动画成为各大游戏公司、动画工作室的热门开发领域。这一趋势也造成了网络上动画视频类型的多样化，为了用户检索的方便性，大量的动画视频库需要人为地添加文字标签来定义动画类型。这样繁琐重复性的人力劳动消耗了大量人力，同时，对于动画类型的分类由于没有可靠的数据分析，有时人为的判断误区也会造成素材的分类错误。此检测方法从动态效果制作方式和静态图像制作方式两方面分别检测是否用到计算机技术，以此获得一个CG动画的过滤系统。以上的检测结果还可结合分类器对传统与CG动画进行大批量分类处理，相比人为标注文字标签，计算机自主分析分类素材的效率更高，也更具准确性。

动画产业在制作方式上基本分成两大板块：传统动画与CG(计算机图形学)动画。其关键区别在于：在制作过程中是否用到计算机技术。在动态效果制作方面，传统动画采用逐帧绘制法，将连续动作拆分绘图后连续播放，通过视觉延时造成动态效果；CG动画运用了关键帧技术，其原理是将动作的关键变换点绘制后定义为关键帧图像，之后通过电脑计算得出各帧间应有的形状变换或位移变化轨迹，自动完成插帧、补帧以达到动态视觉效果。在单帧图像制作方面，传统动画将不同层的上色赛璐璐片叠加好后进行拍摄，拍好的底片再送至冲印公司冲洗，这样的拍摄方式会造成一定的色彩流失，从而使色彩及画质都比较粗糙；而CG动画的制作均在电脑中完成，其上色方式对于单一颜色能达到涂色均匀的效果，可对于渐变和阴影效果就显得较为生硬。

经过对现有技术的检索发现，中国专利文献号CN1570972，公开日2005-1-26，记载了一种“基于图像纹理特征的图像检索方法”，该技术涉及一种基于图像纹理特征的图像检索方法，将图像数据看作是区域化变量，反映图像像素的结构性，和图像数据的统计特性。中国专利文献号CN101604325，公开日2009-12-16，该技术提出一个基于主场景镜头关键帧的体育视频分类方法。该方法只采用主场景进行体育分类，而不是整个视频的帧来代表体育视频来做分类，有效的降低了视频分类的计算量。最后用SVM分类器对主场景镜头关键帧进行分类，具有很高的体育视频分类准确性。上述技术分别涉及了纹理提取和视频分类，但对于动画领域的分类都未涉及到，且分类技术也只牵涉到单一的静态描述子，对于运动和纹理描述子的共同运用没有涉及。

进一步检索发现，2009年发表的论文《Action Recognition via Local Descriptors andHolistic Features》中有提及了关于局部描述子对运动的动作进行区分，但此论文主要涉及辨别动作的运动描述子而并未涉及有关动画中区分逐帧制作和关键帧制作的运动描述子。

目前对于此两种动画的分类和检索大多采用传统的基于文本的分类方式，即首先通过人工注释等方法为视频赋予文本信息，然后用传统信息检索技术进行文件的检索。但这种数据库的建立需要额外的空间及人力的标注更新。对于庞大的动画素材库，这样的分类方式耗费资源较大。

发明内容

本发明针对现有技术存在的上述不足，提供一种基于多特征分析的CG动画视频检测方法，通过对运动和纹理描述子的提取，最终区分出动态图象在制作过程中是否用到了CG动画技术，即计算机图形技术。

本发明是通过以下技术方案实现的，本发明包括以下步骤：

第一步，通过提取动画视频流中相邻帧间的RGB数值，计算得到整个动画视频流的运动强度，过滤掉动态制作方式属于非CG技术的视频流，具体步骤为：

1.1)提取该动画视频流中第j帧和第j+1帧之间的R，G，B颜色差值，提取公式如下：

$M_j=\underset{i}{\mathrm{\Σ}}\sqrt{{(R_i-{R_i}^{*})}^2+{(G_i-{G_i}^{*})}^2+{(B_i-{B_i}^{*})}^2}/n$

其中：j表示该视频流的第j帧，n表示第j帧一共包含的像素，R_i、G_i、B_i分别对应前一帧第i个像素的R、G、B分量，R_i ^*、G_i ^*、B_i ^*分别对应后一帧第i个像素的R，G，B分量。

1.2)计算整个动画视频流的运动强度M，

其中：t表示动画视频流的总帧数。

1.3)根据所得的M值与阈值T₁比较。由于关键帧技术在插帧数量上相比人为插帧较多，因而相邻帧的RGB变化量不大。通过实验和理论结合有以下定义：

当M大于T₁时，则该动画视频流在动态制作方式上没有用到关键帧辅助，即不属于CG动画；若M小于T₁时，则该动画视频流用到了关键帧技术，但仍需进行下一步纹理检测，鉴别单帧图像制作是否也用到计算机图形技术。

所述的阈值为5.5≤T₁≤6.5。

所述的阈值是指：通过样本测试后，根据数据分布得到的阈值范围。

第二步，读入上一步中检测结果为使用关键帧技术的动画视频流，利用程序截取关键帧图片，并提取关键帧图片的纹理特征得到特征向量，之后通过支持向量机进行判断处理获得特征向量的样本类型，检测是否运用计算机图形技术制作图像，过滤掉非CG类图像制作的动画视频流，剩下的动画视频流即为CG动画。

所述的样本类型是：使用电脑软件上色的CG动画和依靠人为手绘的传统动画。

所述的关键帧图片是指：利用FFmpeg函数提取动画视频流的关键帧图片。

所述的FFmpeg函数为开源免费跨平台的视频和音频流方案。其关键帧提取流程是对接收到的视频流数据进行解码。得到的信息中包含视频流的三种分类I帧，P帧，B帧，其中I帧也就是关键帧(即基础帧)，P帧根据I帧确定，而B帧根据前两者确定信息。

所述的关键帧为该动画视频流的中间帧。

所述的计算机图形技术为：使用计算机软件为辅助工具生成电子图像。

所述的图像纹理特征为局部二进制特征(LBP)。

所述的提取关键帧图片的纹理特征是指：提取关键帧图片中的任意像素f(x，y)，取该像素的灰度值g_c为阈值，对其周围3×3窗口内的8个点g₀、......、g₇的像素值进行二值化处理，得到一个八位的二进制数，并对该八位的二进制数按像素不同位置进行加权求和，得到每个像素的LBP值

其中：

0≤LBP(x_c，y_c)≤255，统计整个图像所有像素的LBP值的直方图，即统计每个LBP值出现的次数，这样就得到256维LBP特征向量，最后将每张关键帧图片提取到的LBP特征向量拼合。

所述的向量拼合是指：将每张关键帧图片的得到的256维的特征向量文档合并成一个文档，然后输出给文类器进行后续分类。

所述的通过支持向量机(SVM)进行判断处理的具体步骤为：

a.建立训练文件，此文件中包含样本类型C₁、C₂。

b.使用线性判别函数：g(x)＝w^Tx+w₀。

若g(x)＞0，则判定x属于C1，当g(x)＜0，则判定x属于C2，当g(x)＝0，则将x任意，分到某一类或者拒绝判定。其中x为测试文件。

所述的训练文件是指：从网上下载的已确定类型的CG动画和传统动画，通过上述的纹理特征提取过程获得的256维向量。将CG动画向量标记为正样本，传统动画向量标记为负样本。完成上述步骤后，将以上向量文档拼合为一个文件后成功建立训练文件。

第三步，结合分类器可对上两步中被过滤掉的非CG动画的视频流进行检测分析：

3.1)对于第二步中，检测结果显示为属于传统动画样本类型的视频定义为图像制作运用传统手绘技术。

3.2)对第一步中，排除为CG制作的动画视频流进行纹理检测，其检测步骤与第二步操作过程一致。若纹理检测结果显示该视频的图像制作属于传统动画样本类型，则定义该动画视频在图像制作上运用了传统手绘技术；若检测结果显示为CG动画样本类型，则定义该动画视频在图像制作上用到计算机图形技术。

第四步，通过界面工具显示视频制作方式的详细信息，并给出该动画视频相应的所属类型。

所述的界面工具为C#或其他工具编译的用户操作界面，将以上对动画视频流的检测结果显示在操作窗口内，并由此检测结果给出相应的动画所属类型。

所述的分类器为根据动态检测和静态检测结果，根据编译时设定的分类标准给出动画视频流的类型。

所述的类型有CG动画、传统动画和中间过渡类动画。

所述的CG动画是指：在动态制作上用到了关键帧技术，此外每帧图像是由电脑软件制作。

所述的传统动画是指：在动态制作上采用的逐帧绘制(即没有用到关键帧技术)，此外每帧的图像也是全由手绘完成。

所述的中间过渡类动画是指：在动态制作上用到了关键帧技术，而每帧的图像是由手绘完成；或是在动态制作上用的是逐帧制作，而每帧的图像是通过电脑软件制作的。

与现有技术相比，本发明的有益效果是：实现了计算机自主识别动画类型，抛开了以往通过视频附带的文字标签来识别类型的局限方式，达到自动过滤非CG动画的系统效果。在结合分类器后，面对大批量素材分类时，能够通过计算机自动读入视频并识别制作方式。相比于人工逐步为视频添加文字标签的重复劳动，计算机自助处理大批量素材的分类无疑能为资料整理、素材库规划等领域节省大量劳动力。此外，依靠数据分析的准确性，能够解决人眼判别的主观误差，如：网络视频信息经常会将以软胶模型制作的定格动画与3D技术制作的动画混淆，而以上两类动画分别属于传统动画和CG动画类型。此技术的引入大大改善以上人为造成的分类误区，提高素材分类的准确性，同时可方便一些用户了解到动画视频的详细制作信息，

由于动画相比于普通动漫，不仅牵涉到单幅图片的制作，还涉及到连续画面播放的制作技术，光从静态或动态单方面确定制作方式，并由此定义出动画类型会降低分类的精确度。本发明通过运动和纹理两方面特征提取，能够对动画在制作方式上给出更为细化检测结果，为分类器提供准确性更高的数据信息，在此检测技术的支持下分类准确率不小于95％。

附图说明

图1是本发明提取纹理特征的流程图。

图2是本发明提取运动特征的流程图。

图3是本发明设计的CG动画过滤系统并结合分类器进行素材分类的流程图。

具体实施方式

下面对本发明的实施例作详细说明，本实施例在以本发明技术方案为前提下进行实施，给出了详细的实施方式和具体的操作过程，但本发明的保护范围不限于下述的实施例。

本实施例包括以下步骤：

第一步，建立训练样本，以便之后的SVM分类测试。

具体步骤为：

1.1)在网上下载动画视频素材，素材为已确定类型的CG动画和传统动画。

1.2)提取动画素材的关键帧图片。

1.3)提取图片的LBP特征向量，并拼合为一个txt文件，此文件即为训练样本。其中，CG动画作为正样本，标记1；传统动画作为负样本，标记为2。

1.4)训练样本文件通过支持向量机(SVM)建立文件train.range，train.model。此步骤的最终效果是将训练文件预先保存在临时文件中，缩短了SVM在之后测试中的运行时间。

所述的train为之前的建立的训练样本的文件名，后缀range，model都为SVM在测试过程中产生的文件。

第二步，提取待分类的动画视频流，并进行分割，得到若干视频片段。

所述的分割处理具体步骤为：截取动画视频流的中间关键部分，片头及结尾处的黑屏、字幕等段落去除。

第三步，将截取的动画视频流段，提取运动特征，过滤掉动态制作非CG技术的动画视频。

所述的运动特征提取的具体步骤为：

3.1)读入动画视频流，并对每帧提取RGB值。

3.2)根据所得的前一帧与后一帧的RGB值，进行公式计算。提取公式如下：

$M_j=\underset{i}{\mathrm{\Σ}}\sqrt{{(R_i-{R_i}^{*})}^2+{(G_i-{G_i}^{*})}^2+{(B_i-{B_i}^{*})}^2}/n$

其中，n表示该帧一共包含的像素，R_i，G_i，B_i分别对应前一帧第i个像素的R，G，B分量，R_i ^*，G_i ^*，B_i ^*分别对应后一帧第i个像素的R，G，B分量，M_j为该动画视频流中第j帧和第j+1帧之间的R，G，B颜色差值，

3.3)计算整个动画视频流的运动特征M，其公式如下：

$M=\underset{j=1}{\overset{t-1}{\mathrm{\Σ}}}{M}_j/t-1$

其中，t表示动画视频流的总帧数。

3.4)根据所得的M值与阈值T₁比较，本实施例中T₁＝6.0。

若M小于等于6，则检测结果为该动画在动态制作方式上用到了关键帧技术，并进入一下一步纹理检测；若M大于6，则检测结果为该动画在动态制作方式上没有使用关键帧及其它计算机辅助技术，属于非CG动画。

第四步，读入上一步中使用关键帧技术的动画视频流，提取纹理特征，过滤掉图像制作非CG技术的动画视频。

本步骤通过对动画视频流关键帧图片的纹理提取，将提取的特征向量通过支持向量机(SVM)进行判断处理，其具体步骤为：

4.1)利用FFmpeg提取动画视频流的关键帧图片，为了检测的高效性，函数中定义每隔5帧提取一张关键帧图片。

具体步骤如下：

a.创建一个文件夹，命名为test。

b.读入动画视频流。

c.提取关键帧图片，存储为.bmp格式，并将图片都存储到步骤a中建立的test文件夹中。

所述的FFmpeg函数为开源免费跨平台的视频和音频流方案。其关键帧提取流程是对接收到的视频流数据进行解码。得到的信息中包含视频流的三种分类I帧，P帧，B帧，其中I帧也就是关键帧(即基础帧)，P帧根据I帧确定，而B帧根据前两者确定信息。

所述的关键帧为该动画视频流的中间帧。

4.2)对获得的关键帧图片提取局部二进制特征(LBP)。

具体步骤如下：

a.遍历test文件夹，读取图片。

b.对图片提取256维LBP特征向量，假设该向量特征为正样本，标记为1(即CG动画)。

c.并存储为.txt格式。每张图片都有对应的TXT文件存入test文件夹中。

所述的LBP特征为：对于一幅图像中的任意像素f(x，y)，取该点灰度值g_c为阈值，对其周围3×3窗口内的8个点g₀，......，g₇，的像素值进行二值化处理，并对该八位的二进制数，按像素不同位置进行加权求和，即可得到每个像素的LBP值，如下所示：

$\mathrm{LBP}(x_c,y_c)=\underset{i=0}{\overset{7}{\mathrm{\Σ}}}s(g_i-g_c)2^i$

其中，

由于是八位二进制数，所以0≤LBP(x_c，y_c)≤255，统计整个图像所有像素的LBP值的直方图，即统计每个值出现的次数，这样就得到最后的256维LBP特征向量。

4.3)将每张图片提取到的LBP特征向量拼合成一个TXT文件。

具体步骤如下：

a.创建一个TXT文件，命名为list.txt。

b.遍历特征向量所在的文件夹test，将其中单个向量的TXT文件以输入流方式读入并最后输出到TXT文件(1ist)中，此步骤最终效果是将分散的向量拼合以便下一步骤检测。

4.4)用支持向量机SVM进行分类测试。

具体步骤如下：

a.利用svm-scale.exe对测试样本和训练样本进行线性判别。

b.利用svim-predict.exe-r调出测试结果相比于假设结果的正确率(ACCURACY)。若所得到的正确率大于98％，则检测出该动画视频流在单帧图片绘制上使用计算机图形技术；若正确率小于2％，则检测出该动画视频流的单帧图片由人工手绘制作完成。

所述的exe文件为SVM中包含的软件。

4.5)根据检测结果，过滤掉单帧图像为非CG制作的动画视频流，剩下的动画视频流即为纯CG动画。

第五步，对以上步骤中被过滤掉视频进行检测分析，并结合分类器综合分析检测结果以达到一个动画素材批量分类的效果。

检测分析的工作步骤为：由于第四步中，以对使用关键帧技术的动画视频流有了纹理检测结果，则只需对第三步中过滤掉的非CG动画视频流进行纹理检测，其检测步骤与步骤四中的纹理检测过程一致，最后结果是得到该视频流的图像制作方式的检测结果。

分类器的工作步骤如下：

a.获得动态制作方式检测结果，并定义布尔型变量M1。若检测结果为使用关键帧技术，则M1定义为0；若检测结果为没有使用关键帧技术，则M1定义为1。

b.获得静态图像制作方式检测结果，并定义布尔型变量M2。若检测结果为使用计算机图形技术，则M2定义为0；若检测结果为使用人工手绘，则M2定义为1。

c.通过M1与M2进行一些与、或、非等运算，给出动画视频流的所述类型。同时，结合一些分类标签工具，如自动添加文字标签或结合数据库添加相应的属性列等操作过程，以达到一个素材分类的结果。

所述的运算过程如下：

a.当M1＝＝0&M2＝＝0时，给出类型结果为CG动画。

b.当M1+M2＝＝1时，给出类型结果为中间过渡类动画。

c.当M1＝＝1&M2＝＝1时，给出类型结果为传统动画。

所述的类型有CG动画、传统动画和中间过渡类动画。

所述的CG动画是指：在动态制作上用到了关键帧技术，此外每帧图像使用计算机图形技术制作。

所述的传统动画是指：在动态制作上采用的逐帧绘制(即没有用到关键帧技术)，此外每帧的图像也是全由手绘完成。

所述的中间过渡类动画是指：在动态制作上用到了关键帧技术，而每帧的图像是由手绘完成；或是在动态制作上用的是逐帧制作，而每帧的图像是使用计算机图形技术制作。

本实施例中的向量机使用的是国立台湾大学资讯工程学院开发的开源SVM库，网址为：http://www.csie.ntu.edu.tw/～cjlin/libsvm/

在本实施例中，由于在建立训练样本时，将样本内容预先保存在SVM的临时文件中，因而在进行SVM线性判别时省略了读取训练样本的过程，在极大程度上缩短了判别时间。此外，该实施例采用两种描述子对测试样本进行细化分类，运动特征是根据相邻帧变换提取的而纹理特征只牵涉到关键帧。由于提取帧的种类不同，纹理描述子的处理速度相对运动描述子快得多。但由于目前制作动画的技术日益复杂，光靠运动或着纹理的单一描述很难准确地判定动画类型。考虑到动画师在制作过程中可能会运用到多种软件和手绘技巧，以及目前动画种类的日益丰满，从相邻帧变化和关键帧图像特征两方面着手对于最后的分类效果无疑是最佳的。

本实施例所采用的训练库样本需要人工选择合适样本，需要选择具有特征性的CG动画和传统动画样本，这将提高最后的分类准确率。同时训练库需要定期维护更新，随着动画制作技术的日益更新，CG动画所涵盖的范围不光包含3D动画，flash动画；传统动画也不光包含手绘动画、定格动画等。对于一些新型技术制作的动画，需要定期从网上下载素材更新训练库样本。通过本实施例中对训练库的修整和选择，对于视频分类的准确率应不小于95％。

Claims (8)

1.一种基于多特征分析的CG动画视频检测方法，其特征在于，包括以下步骤：

第一步，通过提取动画视频流中相邻帧间的RGB数值，计算得到整个动画视频流的运动强度，过滤掉动态制作方式属于非CG技术的视频流；

第二步，读入上一步中检测结果为使用关键帧技术的动画视频流，利用程序截取关键帧图片，并提取关键帧图片的纹理特征得到特征向量，之后通过支持向量机进行判断处理获得特征向量的样本类型，检测是否运用计算机图形技术制作图像，过滤掉非CG类图像制作的动画视频流，剩下的动画视频流即为CG动画；

第三步，结合分类器对上两步中被过滤掉的非CG动画的视频流进行检测分析：

3.1)对于第二步中，检测结果显示为属于传统动画样本类型的视频定义为图像制作运用传统手绘技术；

3.2)对第一步中，排除为CG制作的动画视频流进行纹理检测，其检测步骤与第二步操作过程一致，当纹理检测结果显示该视频的图像制作属于传统动画样本类型，则定义该动画视频在图像制作上运用了传统手绘技术；当检测结果显示为CG动画样本类型，则定义该动画视频在图像制作上用到计算机图形技术；

第四步，通过界面工具显示视频制作方式的详细信息，并给出该动画视频相应的所属类型。

2.根据权利要求1所述的基于多特征分析的CG动画视频检测方法，其特征是，所述的第一步具体包括以下步骤：

1.1)提取该动画视频流中第j帧和第j+1帧之间的R，G，B颜色差值，提取公式如下：

$M_j=\underset{i}{\mathrm{\Σ}}\sqrt{{(R_i-{R_i}^{*})}^2+{(G_i-{G_i}^{*})}^2+{(B_i-{B_i}^{*})}^2}/n$

其中：j表示该视频流的第j帧，n表示第j帧一共包含的像素，R_i、G_i、B_i分别对应前一帧第i个像素的R、G、B分量，R_i ^*、G_i ^*、B_i ^*分别对应后一帧第i个像素的R，G，B分量；

1.2)计算整个动画视频流的运动强度M，

其中：t表示动画视频流的总帧数；

1.3)根据所得的M值与阈值T₁比较：当M大于T₁时，则该动画视频流在动态制作方式上没有用到关键帧辅助，即不属于CG动画；当M小于T₁时，则该动画视频流用到了关键帧技术但仍需进行下一步纹理检测，鉴别单帧图像制作是否也用到计算机图形技术，其中阈值为5.5≤T₁≤6.5。

3.根据权利要求1所述的基于多特征分析的CG动画视频检测方法，其特征是，所述的第二步中：所述的关键帧为该动画视频流的中间帧；所述的图像纹理特征为局部二进制特征。

4.根据权利要求1所述的基于多特征分析的CG动画视频检测方法，其特征是，所述的提取关键帧图片的纹理特征是指：提取关键帧图片中的任意像素f(x，y)，取该像素的灰度值g_c为阈值，对其周围3×3窗口内的8个点g₀、......、g₇的像素值进行二值化处理，得到一个八位的二进制数，并对该八位的二进制数按像素不同位置进行加权求和，得到每个像素的LBP值其中：

0≤LBP(x_c，y_c)≤255，统计整个图像所有像素的LBP值的直方图，即统计每个LBP值出现的次数，这样就得到256维LBP特征向量，最后将每张关键帧图片提取到的LBP特征向量拼合。

5.根据权利要求4所述的基于多特征分析的CG动画视频检测方法，其特征是，所述的向量拼合是指：将每张关键帧图片的得到的256维的特征向量文档合并成一个文档，然后输出给文类器进行后续分类。

6.根据权利要求1所述的基于多特征分析的CG动画视频检测方法，其特征是，所述的通过支持向量机进行判断处理是指：

a.建立训练文件，此文件中包含样本类型C₁、C₂；

b.使用线性判别函数：g(x)＝w^Tx+w₀：当g(x)＞0，则判定x属于C1，当g(x)＜0，则判定x属于C2，当g(x)＝0，则将x任意，分到某一类或者拒绝判定，其中x为测试文件。

7.根据权利要求6所述的基于多特征分析的CG动画视频检测方法，其特征是，所述的训练文件是指：从网上下载的已确定类型的CG动画和传统动画，通过上述的纹理特征提取过程获得的256维向量，将CG动画向量标记为正样本，传统动画向量标记为负样本，并最终将以上向量文档拼合为一个文件后成功建立训练文件。

8.根据权利要求1所述的基于多特征分析的CG动画视频检测方法，其特征是，所述的分类器为根据动态检测和静态检测结果，根据编译时设定的分类标准给出动画视频流的类型。

Images