CN102012939B - 综合颜色和局部不变特征匹配的动画场景自动标注方法 - Google Patents

Abstract

本发明公开了一种综合颜色和局部不变特征匹配的动画场景自动标注方法，目的是综合利用全局颜色特征与基于颜色不变量的局部不变特征，提高动画场景标注的准确性和速度。技术方案是先对目标图像即待标注图像进行预处理，计算目标图像与动画场景图像素材库中图像之间的全局颜色相似度，进行颜色特征过滤；提取颜色特征过滤后的匹配图像结果与目标图像的CSIFT特征，计算它们之间的全局颜色特征相似度和局部特征相似度；将颜色相似度和局部特征相似度进行融合，得到最后的总相似度；对匹配结果图像的标注信息进行文本处理并合并，得到目标图像的最终标注信息。采用本发明能提高动画图像匹配的准确度和匹配速度。

Description

综合颜色和局部不变特征匹配的动画场景自动标注方法

技术领域

本发明涉及多媒体信息处理技术领域关于基于图像匹配的图像标注方法，其实质是一种通过比较图像相似度得到匹配对象，然后将匹配对象的标注信息进行合并，并将聚类结果作为目标对象的标注信息的方法，是一种综合考虑了图像颜色信息以及图像基于颜色不变量的局部不变特征信息来进行动画场景图像的匹配从而实现图像标注的方法。

背景技术

传统的动画片从制作到生产主要是靠人工来完成的，制作过程中产生了大量的动画场景图像，由于这些图像没有任何的标注信息，往往导致了大量场景素材的浪费，如果能对动画场景图像进行自动标注，就可以通过检索标注信息来得到所需的场景图片，进一步完善动画场景图像库的规范管理，从而大大加速动画的制作时间与效率，对于实际的动画生产行业将具有重大的实际应用价值。

对场景图像进行自动标注的方法主要可以分为基于分类的图像标注以及基于匹配的图像标注两种方法。基于分类的图像标注是利用支持向量机等机器学习技术对图像进行训练分类，从而判定待标注图像的类别，并将该类别信息作为待标注图像的标注信息。这类方法虽然能够减少对人工标注的需求，但是它们通常是根据图像中视觉特征出现的总体情况来进行场景分类，因此该类方法往往适用于具有共同特征分布的图像(例如自然场景图像)，而动画场景图像的颜色分布千差万别，不具有明显的共同颜色分布特征，它往往会取决于绘制者的绘制风格，因此这类方法不适用于动画场景图像。而基于匹配的图像标注是基于相似度检索从图像数据库中检索到最相似的一组图像，然后再对这些相似图像的标注信息进行文本合并处理从而得到最终的标注信息。其中，图像匹配指的是通过计算两幅图像之间的特征相似度来判断两幅图像是否相似，它是图像检索领域近年来的一项主要研究。

基于匹配的图像标注主要分为图像匹配与图像标注两个阶段，其中图像匹配结果的好坏直接影响到标注信息的准确度。目前关于图像匹配算法，许多相关的研究工作都集中在如何定义特征的描述子上，特征描述子可分为全局特征描述子与局部特征描述子，全局特征的鲁棒性较强，传统的全局颜色特征包含颜色，纹理，形状等，多数基于全局特征的匹配算法是将彩色图像转化为灰度图像，仅利用亮度信息进行配准，没有充分利用图像的色彩信息，如果受到干扰可能会造成误匹配。与其他的全局视觉特征相比，颜色特征作为一种全局颜色特征对图像本身的尺寸、方向、视角的依赖性较小，从而具有较高的鲁棒性。尤其是在动画场景图像中，颜色信息常常占有很高的比重。通常采用HSV颜色空间或者HSI颜色空间，然而不同的颜色空间对动画场景图像的匹配效果有着明显的不同。通过对200幅以上的素材进行统计，发现大部分动画场景素材和自然场景素材在颜色空间的分布上有着明显的差别。为符合色彩心理学，在动画场景素材里运用的色彩种类不宜过多。同时，在素材的色调饱和度上，通常自然场景中的色调饱和度都较小，而动画场景里饱和度均匀分布在整个区间内。在动画片的图像绘制中常常利用鲜艳的色彩来吸引观众，所以动画场景图像中的色彩饱和度值常常较高，其色调饱和度的分布范围比自然场景色调饱和度分布的范围要大很多。全局颜色特征无法描述具有光照变化，旋转变化等的图像特征。在这方面局部特征相对而言具有更好的优势，但局部特征的处理速度往往较慢，因而不适合用于实时的工程应用，仅仅用来进行理论研究。在图像匹配中的局部不变特征上，SIFT尺度不变特征转换(Scale Invariant Feature Transform，见[D.G.Lowe.Distinctive image features from scale invariant keypoints.International Journal of ComputerVision，2004，60(2)：90～110])作为一种鲁棒的特征描述方法，在提取灰度图像特征时取得了令人满意的效果，但在处理彩色图像时，则表现出局限性。为使SIFT能更好地用于彩色图像处理，一些研究者做了不同的改进，如部分研究者提出将RGB分量的强度归一化后再用SIFT方法来处理彩色图像，此算法虽具有部分光照不变和几何不变性，但描述色彩不变特征时仍有局限性；部分研究者在提取和识别彩色图像时，先用Bayses颜色分类器标注图像的不同区域，在不同区域进行SIFT描述，并在同种颜色标注的区域之间进行匹配，此方法效果虽好，但必须进行色彩训练，使得该算法的应用受到限制。为此，提出了一种基于颜色不变量的CSIFT特征(Colored invariant feature transform)的彩色图像局部特征描述方法，求出彩色图像各个位置处的颜色不变量，以颜色不变量作为输入图像，再提取特征点并描述特征点周围的信息，通过最近邻匹配法求出图像间的匹配对，最后利用匹配的特征求取图像间的变换参数及配准后图像。相关实验结果表明，对彩色图像进行已知参数值变换时，该算法能得到精度高、误差小的计算结果；对变换关系未知的彩色图像，也能准确地求出图像间的映射关系；且多数情况下运行速度较SIFT快。目前在图像的匹配中还缺乏既准确又快速的描述特征，既缺乏融合全局特征和局部特征的快速图像匹配方法。在图像匹配阶段得到匹配图像结果之后，将匹配结果(即相似图像)的标注信息进行文本上的合并处理，将合并的结果作为目标图像的标注信息，从而实现基于图像匹配的动画场景图像自动标注。传统的文本处理技术主要包括关键词的统计与分类。

发明内容

本发明要解决的技术问题是提供一种基于图像匹配的动画场景自动标注方法，综合利用全局颜色特征与基于颜色不变量的局部不变特征，在图像的标注过程中通过综合利用动画场景图像的颜色特征与局部不变特征，其中颜色特征为全局颜色直方图，并考虑了在自然场景中常常忽略掉的饱和度因素，局部不变特征采用了CSIFT特征，由于这些特征更适用于动画场景图像，因此本发明提高了动画场景标注的准确性和速度，满足动画图像管理和检索的实用需求。

本发明的技术方案如下：

第一步，对目标图像(即待标注图像)进行预处理，即利用现有的数字图像处理技术中的图像灰度分段先行变换函数对目标图像进行预处理，计算目标图像中所有像素的灰度值，将其中灰度值高于100的像素灰度值放大，同时将灰度值低于30的像素灰度值缩小，这样能更加突出图像的灰度细节信息。由于图像的大小将直接影响后续匹配阶段的速度，因此若图像的宽度大于900像素，将图像的宽度缩小至900像素，宽高比保持原图像宽高比，若宽度小于900像素，则不做变化。

第二步，计算目标图像与动画场景图像素材库中图像之间的全局颜色相似度，进行颜色特征过滤。动画场景图像素材库是已经具有标注信息的动画场景图像集，该素材库包含12类动画场景图像，分别为马路、高楼、房屋、室内、室外、冰山、树木、天空、桥、河流、山以及森林；其场景的标注规范为：类别标签；景别标签；时间标签；其中类别标签为上述12种类别信息中的任意几种类别组合，景别标签可为远景或近景，时间标签可以是白天、傍晚或者晚上；例如对某一幅同时包括天空和桥的图像，其场景标注可能为：“天空；桥；室外；远景；白天”，前面三类是类别标签，后面的分别是景别标签和时间标签。颜色特征过滤的方法是：

2.1、分别提取目标图像与素材库中所有图像的HSI颜色特征(见[Smith，A.R.colorgamut transform pairs，computer graphics，vol.12，no.3，pp.12-19])，其中H(hue，色调)、S(saturation，饱和度)、I(intensity，强度)是三个颜色分量的值，计算方法如下：

其中 $\mathrm{\θ}=\arccos \left\{\frac{\frac{1}{2}[(R-G)+(R-B)]}{{[{(R-G)}^2+(R-B)(G-B)]}^{1/2}}\right\}---\left(1\right)$

$S=1-\frac{3}{R+G+B}\left[\min (R,G,B)\right]---\left(2\right)$

$I=\frac{1}{3}(R+G+B)---\left(3\right)$

其中角度θ是像素点在HSI空间中与红色轴之间的夹角，RGB分别表示图像的红(Red)、绿(Green)、蓝(Blue)三个颜色分量，计算时RGB值已归一化到范围[0，1]。在得到图像中所有像素的H、S、I三个分量之后，对这三个分量的分布情况分别进行统计，将所有像素H值的分布范围分为m₁个区间，分别统计在m₁个分布区间的像素个数从而得到m₁个数值，将这m₁个数值组成一m₁维向量作为图像的H向量；将所有像素S值的分布范围分为m₂个区间，分别统计在m₂个分布区间的像素个数从而得到m₂个数值，将这m₂个数值组成一m₂维向量作为图像的S向量；将所有像素I值的分布范围分为m₃个区间，分别统计在m₃个分布区间的像素个数从而得到m₃个数值，将这m₃个数值组成一m₃维向量作为图像的的I向量。因此得到图像i的分布为 $H_i=\{H_{i1},H_{i2},...,H_{{\mathrm{im}}_1}\},$ $S_i=\{S_{i1},S_{i2},...,S_{{\mathrm{im}}_2}\}$ 和 $I_i=\{I_{i1},I_{i2},...,I_{{\mathrm{im}}_3}\};$ 则图像i的全局颜色特征为M＝(m₁+m₂+m₃)维的向量 $C_i=\{H_{i1},H_{i2},...,H_{{\mathrm{im}}_1},S_{i1},S_{i2},...,S_{{\mathrm{im}}_2},I_{i1},I_{i2},...,I_{{\mathrm{im}}_3}\}.$ m₁、m₂、m₃均为正整数，可取m₁取值为6，m₂取值为6，m₃取值为12，之所以这么选择各个分量的维数是通过反复比较各种维数分配情况得到的最优分配结果；

2.2、计算目标图像与动画场景图像素材库中图像的颜色相似度，利用欧式距离计算M维颜色向量之间的距离值，计算方法如下：

$D=1/{\left(\underset{k=1}{\overset{24}{\mathrm{\Σ}}}{(C_{1k}-C_{2k})}^2\right)}^{1/2}---\left(4\right)$

其中C_1k表示第一幅图像的全局颜色特征C里的第k维向量值，C_2k表示第二幅图像的全局颜色特征C里的第k维向量值，D是最终得到的距离值；将通过公式(4)计算得到的距离值D作为颜色相似度，然后将目标图像与所有素材库图像的颜色相似度进行排序，取出前CF幅图像作为颜色过滤后的匹配图像结果，25≤CF≤40，由于图像越多则处理速度越慢，而图像过少则会降低查全率，因此本发明中取CF为30；

第三步，分别提取颜色特征过滤后的匹配图像结果与目标图像的CSIFT特征(Coloredinvariant feature transform，基于颜色不变量的特征变换)，并分别计算它们之间的基于HSI的全局颜色特征相似度和基于CSIFT的局部特征相似度，具体包括以下步骤：

3.1、依据Kubelka Munk理论计算图像的颜色不变量以及基于颜色不变量的局部特征：

首先计算物体的光谱辐射特性E(λ，x)及其微分值。E(λ，x)表达为公式(5)：

E(λ，x)＝i(x){[1-ρ_f(x)]²R_∞(λ，x)+ρ_f(x)}    (5)

式中λ表示波长，x为二维矢量，表示观测位置，i(x)表示光谱强度，ρ_f(x)表示x处的Fteanel反射系数，R_∞(λ，x)表示材料反射率，E(λ，x)为观测处的反射谱；对λ分别求一阶导数得到E_λ，对λ求二阶导数得到E_λλ。根据CIE1964 XYZ的标准条件，彩色图像的RGB分量和(E，E_λ，E_λλ)的关系近似为公式(6)，因此可以根据图像的RGB值得到(E，E_λ，E_λλ)的值，将图像转换至RGB空间并得到R、G、B三个分量的值，根据公式(6)计算(E，E_λ，E_λλ)：

$\left[\begin{array}{c}E\\ E_{\mathrm{\λ}}\\ E_{\mathrm{\λ\λ}}\end{array}\right]=\left[\begin{array}{ccc}0.06& 0.63& 0.27\\ 0.30& 0.04& -0.35\\ 0.34& -0.60& 0.17\end{array}\right]\×\left[\begin{array}{c}R\\ G\\ B\end{array}\right]---\left(\text{6}\right)$

依据公式(7)计算颜色不变量C_λ，计算方法为：

$C_{\mathrm{\λ}}=\frac{E_{\mathrm{\λ}}}{E_{\mathrm{\λ\λ}}}=\frac{\∂E/\∂\mathrm{\λ}}{{\∂}^{2}E/{\∂\mathrm{\λ}}^2}=\frac{{\∂R}_{\∞}(\mathrm{\λ},x)\∂\mathrm{\λ}}{{\∂}^2{R}_{\∞}(\mathrm{\λ},x)/{\∂\mathrm{\λ}}^2}=f\left[R_{\∞}(\mathrm{\λ},x)\right]---\left(7\right)$

图像的颜色不变量C_λ表征一种物体的反射特性，不依赖于视点、表面方位、光照方向和光照强度，其梯度幅值和方向的计算方法为公式(8)和公式(9)：

$C_{\mathrm{\λs}}=\sqrt{C_{\mathrm{\λx}}^2+C_{\mathrm{\λy}}^2}=\frac{1}{E^2}\sqrt{{(E_{\mathrm{\λx}}E-E_{\mathrm{\λ}}{E}_x)}^2+{(E_{\mathrm{\λy}}E-E_{\mathrm{\λ}}{E}_y)}^2}---\left(8\right)$

$C_{\mathrm{\λR}}=\frac{C_{\mathrm{\λx}}^2{C}_{\mathrm{\λyy}}-2C_{\mathrm{\λx}}{C}_{\mathrm{\λy}}{C}_{\mathrm{\λxy}}+C_{\mathrm{\λy}}^2{C}_{\mathrm{\λxx}}}{C_{\mathrm{\λs}}^2}---\left(9\right)$

然后以颜色不变量C_λ为输入信息，用SIFT方法即尺度不变特征转换方法，进行提取和描述，提取的特征信息即为该彩色图像上的CSIFT特征。

3.2、计算图像之间CSIFT特征的相似度，用欧氏距离度量图像间的初始匹配。设场景图像I₁、I₂中分别有N₁、N₂个特征点，在N₁个特征点中任取一点K_m的特征描述向量，计算K_m与I₂中的N₂个特征向量

的欧式距离值其中若特征点K_m与N₂个特征点中的点K_i的距离

中的极小值与次极小值d_j的比值小于阈值T，则认为特征点K_m与特征点K_i匹配，本发明中T取值为0.75，这是通过比较得到的最优值。然后遍历I₁中的特征点，找出可能的匹配对。为最大程度找出准确的匹配对，采用RANSAC法(见[M.A.Fisher andR.C.Bolles，random sample consensus：a paradigm for model fitting analysis and automatedcartography，comm.of ACM 24：381-395])消除误匹配。最后将得到的正确匹配对个数作为两个局部不变特征之间的相似度。

第四步，将第三步得到的CF幅图像的颜色相似度和基于CSIFT的局部特征相似度进行融合，得到最后的总相似度，方法是：

令S_g为两幅图像之间的全局颜色特征相似度，S_l为基于颜色不变量的局部特征之间的相似度，颜色相似度与局部不变特征相似度融合后的总相似度S计算方法如下：

4.1若S_g＜K_g，一般K_g取经验值在0.45-0.55之间，并且S_l＜K_l1，一般K_l1取经验值在2.5-3.5之间，则以S_g为主要相似度，S_g的权重值为α，建议α取值为100，S_l为次要相似度，其权重值为β·S_g，β设为50，按公式(10)计算得到该情况下的总相似度：

S＝α·S_g+β·S_g·S_l    (10)

4.2若K_l1≤S_l＜K_l2，K_l2取经验值在13-15之间，首先对S_l取对数值，然后将其与S_g相乘，最后再乘上权重值α，按照公式(11)计算得到该情况下的总相似度：

S＝α·S_g·log S_l    (11)

4.3若S_l≥K_l2，在公式(11)的基础上再乘以2，此种情况下是以S_l为主，同时以S_g为辅，按照公式(12)计算得到该情况下的总相似度：

S＝2α·S_g·log S_l    (12)

4.4若S_g≥K_g，此时只计算S_g与其权重值α/2的相乘结果，按照公式(13)计算得到该情况下的总相似度：

S＝α·S_g/2         (13)

4.5将4.1-4.4计算得到的总相似度S进行重新排序，凡是总相似度大于阈值R的图像均作为最相似的匹配图像结果，本发明中R取值为405，最终获得了n幅匹配结果图像，n≤CF。

第五步，对第四步得到的n个匹配结果图像的标注信息进行文本处理并合并，n幅图像中每幅图像的标注信息为A_i＝C_i；S_i；T_i；1≤i≤n，标注信息分为三部分，其中C_i为图像i的类别标签信息，S_i为图像i的景别标签信息，T_i为图像i的时间标签信息，将这些匹配图像结果的标注信息进行文本并集，去掉重复的部分，方法如下：

5.1、对n个标注信息A_i中的类别标签信息C_i进行并集，首先将类别标签信息C_i按照文本分割的方法分解为多个关键词keyword，即C_i＝keyword_i1∪keyword_i2∪.....keyword_ic，然后将所有类别标签信息中的关键词进行合并，即最终的类别标签信息C_f＝{C₁∪C₂∪.....C_n}＝{keyword₁₁∪.......∪keyword_nc}，若某两个关键词相同，即keyword_ii＝keyword_ji，则keyword_ii∪keyword_ji＝keyword_ii，即去掉重复的类别信息，然后按类别标签中关键词的权重进行排列，关键词的权重按照其在匹配图像序列中的排序度进行定义，在类别标签C_i中的所有关键词keyword_ij的权重值取决于C_i在n幅图像中的位置i，其权重值为

若同一个关键词keyword_ij出现在两个类别标签信息C_i与C_j中，则其权重值为两个类别标签的权重之和即在计算完所有关键词的权重之后，按照各个关键词的权重进行排序组合得到目标图像标注信息中的类别标签信息C_f；

5.2、对n个标注信息A_i中的景别标签信息S_i和时间标签信息T_i进行文本的合并，首先分别统计这n个景别标签S_i与时间标签T_i中的各种不同标注信息的数量，并抽取出现频率最高的标注信息作为目标图像的景别标签信息和时间标签信息，这是因为如果出现的频率越高，则和目标图像的景别标签以及时间标签信息越接近，最后得到目标图像的景别标签信息S_f与T_f；

5.3、将前两步分别得到的类别标签信息C_f与景别标签S_f和时间标签信息T_f进行文本合并，即直接并集，从而得到目标图像的最终标注信息A_f＝C_f∪S_f∪T_f。

采用本发明可以达到以下技术效果：

1、本发明步骤1通过对图像进行预处理，加快了图像匹配阶段的速度，同时为图像的基于局部特征匹配提供了很好的辅助作用，有利于提高准确度。

2、本发明步骤2采用了更符合动画图像的颜色特征计算方法。相比较于以往的彩色图像颜色特征计算方法，本发明的方法更适用于动画场景图像，且具有较高的查全率。

3、本发明步骤3实现了基于颜色不变量的局部不变特征的计算。突破了传统的局部不变特征计算方法，充分利用了动画图像的颜色特征，提高了准确率。

4、本发明步骤4综合了颜色全局特征与局部不变特征，从而提高了动画图像匹配的准确度。依据全局颜色特征与局部不变特征在动画场景图像中的作用建立了融合全局颜色相似度与局部不变特征相似度的融合准则，相比于以往的融合方法更具针对性，并且具有较高的准确度。

5、本发明步骤5实现了基于图像匹配的动画场景标注方法，利用了准确度较高的图像匹配结果来对目标图像进行标注，从而保证了最终标注信息的准确度。

附图说明

图1为本发明基于颜色和局部不变特征的动画场景图像标注方法的流程图。

图2为本发明在第二步中比较动画场景素材与自然场景素材在颜色空间上区别的实验图。

图3为本发明第二步中通过实验比较来设置三个颜色分量的权重值的结果图。

图4为本发明第三步中CSIFT特征与SIFT特征的性能比较。

图5为采用本发明中第四步的特征计算方法与其它方法的比较。

图6为使用本发明方法在动画场景图像库上进行动画场景图像标注的例子。

具体实施方式

图1为本发明基于颜色和局部不变特征的动画场景图像标注方法的流程图，具体步骤包括：

第一步，对待标注动画图像进行预处理，从而更加突出图像的灰度细节信息，并统一所有图像的大小；

第二步，计算目标图像与动画场景素材库中图像之间的全局颜色相似度，进行颜色特征过滤，得到前CF幅相似图像；

第三步，分别计算这CF幅图像与目标图像的基于HSI的全局颜色相似度和基于CSIFT的局部特征相似度；

第四步，将这CF幅图像的全局颜色相似度和局部不变特征相似度进行融合，得到最后的总相似度，并对总相似度进行排序，凡是总相似度大于阈值R的被认为是最相似的匹配图像，从而得到最终的匹配图像结果；

第五步，将得到的最终的匹配图像的所有标注信息进行文本并集，得到最后的并集结果作为目标图像的标注信息。

图2为本发明在第二步中比较动画场景素材与自然场景素材在颜色空间上区别的实验图。由于三个颜色分量中I分量没有什么明显的差别，因此只比较H和S分量之前的区别。首先分别提取目标图像与所有素材库中图像的H、S两个分量的值，计算方法如公式(1)和(2)。从图中可以看出动画场景图像相对自然场景采用的色调数目较少，范围小，同时，在素材的色调饱和度上，自然场景中色调饱和度的分布大部分集中于左端，即大部分的色调饱和度都较小，而动画场景里饱和度的分布在整个区间内。

图3为本发明第二步中通过实验比较来设置三个颜色分量的权重值的结果图，具体步骤包括：

3.1，取不同的权重值比，分别为3-9-12，6-6-12，12-6-6，12-9-3，定义评价指标为查全率，相似度排序准确率，该指标定义如下：

3.2，依据上述设定的实验方案进行实验，并记录结果。其中图3(a)是相似度排序准确率的实验结果图，图3(b)是查全率的实验结果图。通过实验比较得到最优的颜色分量的权重分配，在这种权重分配的基础上所计算得到的准确率和查全率是最高的。

图4本发明第三步中CSIFT特征与SIFT特征的性能比较。针对动画场景图像的特征提取出的关键点个数可以分为三类，从少到多分为三组，对于第一组，CSIFT所提出的关键点个数平均为13～68，而SIFT特征仅为7～60；对于第二组，CSIFT所提出的关键点个数平均为100～195，而SIFT特征仅为40～176；对于第三组，CSIFT所提出的关键点个数平均为1100～1807，而SIFT特征仅为1078～1799。这就证明了CSIFT能更好的适应于彩色的动画场景图像，从而保证图像匹配过程中的准确度。

图5为本发明中第四步的特征计算方法与其它方法的比较，其中图4(a)为仅仅适用传统的颜色特征进行图像匹配后的结果图，图4(b)为采用本发明得到的匹配结果图。

图6为使用本发明方法在动画场景图像库上进行动画场景图像标注的例子。每幅图像下面的第二行文字信息即为通过本发明所得到的自动标注结果，标注信息包含类别标签信息，景别标签信息以及时间标签信息。从图中可以看出本发明对于动画场景图像的自动标注具有较高的准确度。

Claims (5)

1.一种综合颜色和局部不变特征匹配的动画场景自动标注方法，其特征在于包括以下步骤：

第一步，对目标图像即待标注图像进行预处理，即利用现有的数字图像处理技术中的图像灰度分段先行变换函数对目标图像进行预处理，计算目标图像中所有像素的灰度值，将其中灰度值高于100的像素灰度值放大，同时将灰度值低于30的像素灰度值缩小；

第二步，计算目标图像与动画场景图像素材库中图像之间的全局颜色相似度，进行颜色特征过滤，动画场景图像素材库是已经具有标注信息的动画场景图像集，该素材库包含12类动画场景图像，分别为马路、高楼、房屋、室内、室外、冰山、树木、天空、桥、河流、山以及森林；其场景的标注规范为：类别标签；景别标签；时间标签；其中类别标签为上述12种类别信息中的任意几种类别组合，景别标签为远景或近景，时间标签是白天、傍晚或者晚上；颜色特征过滤的方法是：

2.1、分别提取目标图像与素材库中所有图像的HSI颜色特征，其中H、S、I是三个颜色分量的值，计算方法如下：

$\mathrm{\θ}=\arccos \left\{\frac{\frac{1}{2}[(R-G)+(R-B)]}{{[{(R-G)}^2+(R-B)(G-B)]}^{1/2}}\right\}---\left(1\right)$

$S=1-\frac{3}{R+G+B}\left[\min (R,G,B)\right]---\left(2\right)$

$I=\frac{1}{3}(R+G+B)---\left(3\right)$

其中角度θ是像素点在HSI空间中与红色轴之间的夹角，RGB分别表示图像的红、绿、蓝三个颜色分量，计算时RGB值已归一化到范围[0，1]；在得到图像中所有像素的H、S、I三个分量之后，对这三个分量的分布情况分别进行统计，将所有像素H值的分布范围分为m₁个区间，分别统计在m₁个分布区间的像素个数从而得到m₁个数值，将这m₁个数值组成一m₁维向量作为图像的H向量；将所有像素S值的分布范围分为m₂个区间，分别统计在m₂个分布区间的像素个数从而得到m₂个数值，将这m₂个数值组成一m₂维向量作为图像的S向量；将所有像素I值的分布范围分为m₃个区间，分别统计在m₃个分布区间的像素个数从而得到m₃个数值，将这m₃个数值组成一m₃维向量作为图像的I向量，得到图像i的分布为 $H_i=\{H_{i1},H_{i2},...,H_{{\mathrm{im}}_1}\},$ $S_i=\{S_{i1},S_{i2},...,S_{{\mathrm{im}}_2}\}$ 和 $I_i=\{I_{i1},I_{i2},...,I_{{\mathrm{im}}_3}\};$ 图像i的全局颜色特征为M＝(m₁+m₂+m₃)维的向量 $C_i=\{H_{i1},H_{i2},...,H_{{\mathrm{im}}_1},S_{i1},S_{i2},...,S_{{\mathrm{im}}_2},I_{i1},I_{i2},...,I_{{\mathrm{im}}_3}\};$ m₁、m₂、m₃均为正整数；

2.2、计算目标图像与动画场景图像素材库中图像的颜色相似度，利用欧式距离计算M维颜色向量之间的距离值，计算方法如下：

$D=1/{\left(\underset{k=1}{\overset{24}{\mathrm{\Σ}}}{(C_{1k}-C_{2k})}^2\right)}^{1/2}---\left(4\right)$

其中C_1k表示第一幅图像的全局颜色特征C里的第k维向量值，C_2k表示第二幅图像的全局颜色特征C里的第k维向量值，D是最终得到的距离值；将通过公式(4)计算得到的距离值D作为颜色相似度，然后将目标图像与动画场景图像素材库图像的颜色相似度进行排序，取出前CF幅图像作为颜色过滤后的匹配图像结果，25≤CF≤40；

第三步，分别提取颜色特征过滤后的匹配图像结果与目标图像的CSIFT即基于颜色不变量的特征变换特征，并分别计算它们之间的基于HSI的全局颜色特征相似度和基于CSIFT的局部特征相似度，具体包括以下步骤：

3.1、依据Kubelka Munk理论计算图像的颜色不变量以及基于颜色不变量的局部特征：

首先计算物体的光谱辐射特性E(λ，x)及其微分值，E(λ，x)表达为公式(5)：

E(λ，x)＝i(x){[1-ρ_f(x)]²R_∞(λ，x)+ρ_f(x)}    (5)

式中λ表示波长，x为二维矢量，表示观测位置，i(x)表示光谱强度，ρ_f(x)表示x处的Fteanel反射系数，R_∞(λ，x)表示材料反射率，E(λ，x)为观测处的反射谱；对λ分别求一阶导数得到E_λ，对λ求二阶导数得到E_λλ；根据CIE1964 XYZ的标准条件，彩色图像的RGB分量和(E，E_λ，E_λλ)的关系近似为公式(6)，根据图像的RGB值得到(E，E_λ，E_λλ)的值，将图像转换至RGB空间并得到R、G、B三个分量的值，根据公式(6)计算(E，E_λ，E_λλ)：

$\left[\begin{array}{c}E\\ E_{\mathrm{\λ}}\\ E_{\mathrm{\λ\λ}}\end{array}\right]=\left[\begin{array}{ccc}0.06& 0.63& 0.27\\ 0.30& 0.04& -0.35\\ 0.34& -0.60& 0.17\end{array}\right]\×\left[\begin{array}{c}R\\ G\\ B\end{array}\right]---\left(\text{6}\right)$

依据公式(7)计算颜色不变量C_λ，计算方法为：

$C_{\mathrm{\λ}}=\frac{E_{\mathrm{\λ}}}{E_{\mathrm{\λ\λ}}}=\frac{\∂E/\∂\mathrm{\λ}}{{\∂}^{2}E/{\∂\mathrm{\λ}}^2}=\frac{{\∂R}_{\∞}(\mathrm{\λ},x)\∂\mathrm{\λ}}{{\∂}^2{R}_{\∞}(\mathrm{\λ},x)/{\∂\mathrm{\λ}}^2}=f\left[R_{\∞}(\mathrm{\λ},x)\right]---\left(7\right)$

图像的颜色不变量C_λ表征一种物体的反射特性，不依赖于视点、表面方位、光照方向和光照强度，其梯度幅值和方向的计算方法为公式(8)和公式(9)：

$C_{\mathrm{\λs}}=\sqrt{C_{\mathrm{\λx}}^2+C_{\mathrm{\λy}}^2}=\frac{1}{E^2}\sqrt{{(E_{\mathrm{\λx}}E-E_{\mathrm{\λ}}{E}_x)}^2+{(E_{\mathrm{\λy}}E-E_{\mathrm{\λ}}{E}_y)}^2}---\left(8\right)$

$C_{\mathrm{\λR}}=\frac{C_{\mathrm{\λx}}^2{C}_{\mathrm{\λyy}}-2C_{\mathrm{\λx}}{C}_{\mathrm{\λy}}{C}_{\mathrm{\λxy}}+C_{\mathrm{\λy}}^2{C}_{\mathrm{\λxx}}}{C_{\mathrm{\λs}}^2}---\left(9\right)$

然后以颜色不变量C_λ为输入信息，用SIFT方法即尺度不变特征转换方法，进行提取和描述，提取的特征信息即为该彩色图像上的CSIFT特征；

3.2、计算图像之间CSIFT特征的相似度，用欧氏距离度量图像间的初始匹配：设场景图像I₁、I₂中分别有N₁、N₂个特征点，在N₁个特征点中任取一点K_m的特征描述向量，计算K_m与I₂中的N₂个特征向量

的欧式距离值

其中若特征点K_m与N₂个特征点中的点K_i的距离

中的极小值与次极小值d_j的比值小于阈值T，则认为特征点K_m与特征点K_i匹配，T取值为0.75；然后遍历I₁中的特征点，找出可能的匹配对；最后将得到的正确匹配对个数作为两个局部不变特征之间的相似度；

第四步，将第三步得到的CF幅图像的颜色相似度和基于CSIFT的局部特征相似度进行融合，得到最后的总相似度，方法是：

令S_g为两幅图像之间的全局颜色特征相似度，S_l为基于颜色不变量的局部特征之间的相似度，颜色相似度与局部不变特征相似度融合后的总相似度S计算方法如下：

4.1若S_g＜K_g，K_g取值在0.45-0.55之间，并且S_l＜K_l1，K_l1取值在2.5-3.5之间，则以S_g为主要相似度，S_g的权重值为α，α取值为100，S_l为次要相似度，其权重值为β·S_g，β设为50，按公式(10)计算得到该情况下的总相似度：

S＝α·S_g+β·S_g·S_l    (10)

4.2若K_l1≤S_l＜K_l2，K_l2取经验值在13-15之间，按照公式(11)计算得到该情况下的总相似度：

S＝α·S_g·log S_l    (11)

4.3若S_l≥K₁₂，按照公式(12)计算得到该情况下的总相似度：

S＝2α·S_g·log S_l    (12)

4.4若S_g≥K_g，按照公式(13)计算得到该情况下的总相似度：

S＝α·S_g/2     (13)

4.5将4.1-4.4计算得到的总相似度S进行重新排序，凡是总相似度大于阈值R的图像均作为最相似的匹配图像结果，R取值为405，最终获得n幅匹配结果图像，n≤CF；

第五步，对第四步得到的n幅匹配结果图像的标注信息进行文本处理并合并，n幅图像中每幅图像的标注信息为A_i＝C_i；S_i；T_i；1≤i≤n，标注信息主要分为三部分，其中C_i为图像i的类别标签信息，S_i为图像i的景别标签信息，T_i为图像i的时间标签信息，将这些匹配图像结果的标注信息进行文本并集，去掉重复的部分，其方法如下：

5.1、对n个标注信息A_i中的类别标签信息C_i进行并集，首先将类别标签信息C_i按照文本分割的方法分解为多个关键词keyword，即C_i＝keyword_i1∪keyword_i2∪.....keyword_ic，然后将所有类别标签信息中的关键词进行合并，即最终的类别标签信息C_f＝{C₁∪C₂∪.....C_n}＝{keyword₁₁∪.......∪keyword_nc}，若某两个关键词相同，即keyword_ii＝keyword_ji，则keyword_ii∪keyword_ji＝keyword_ii，即去掉重复的类别信息，然后按类别标签中关键词的权重进行排列，关键词的权重按照其在匹配图像序列中的排序度进行定义，在类别标签C_i中的所有关键词keyword_ij的权重值取决于C_i在n幅图像中的位置i，其权重值为

若同一个关键词keyword_ij出现在两个类别标签信息C_i与C_j中，则其权重值为两个类别标签的权重之和即在计算完所有关键词的权重之后，按照各个关键词的权重进行排序组合得到目标图像标注信息中的类别标签信息C_f；

5.2、对n个标注信息A_i中的景别标签信息S_i和时间标签信息T_i进行文本的合并，首先分别统计这n个景别标签S_i与时间标签T_i中的各种不同标注信息的数量，并抽取出现频率最高的标注信息作为目标图像的景别标签信息和时间标签信息，得到目标图像的景别标签信息S_f与T_f；

5.3、将类别标签信息C_f与景别标签S_f和时间标签信息T_f进行文本合并，即直接并集，得到目标图像的最终标注信息A_f＝C_f∪S_f∪T_f。

2.如权利要求1所述的综合颜色和局部不变特征匹配的动画场景自动标注方法，其特征在于进行预处理时若图像的宽度大于900像素，将图像的宽度缩小至900像素，宽高比保持原图像宽高比，若宽度小于900像素，则不做变化。

3.如权利要求1所述的综合颜色和局部不变特征匹配的动画场景自动标注方法，其特征在于m₁取值为6，m₂取值为6，m₃取值为12。

4.如权利要求1所述的综合颜色和局部不变特征匹配的动画场景自动标注方法，其特征在于CF取值为30。

5.如权利要求1所述的综合颜色和局部不变特征匹配的动画场景自动标注方法，其特征在于为最大程度找出准确的匹配对，采用RANSAC法消除误匹配。

Images