CN102012939A - 综合颜色和局部不变特征匹配的动画场景自动标注方法 - Google Patents

综合颜色和局部不变特征匹配的动画场景自动标注方法 Download PDF

Info

Publication number
CN102012939A
CN102012939A CN 201010583807 CN201010583807A CN102012939A CN 102012939 A CN102012939 A CN 102012939A CN 201010583807 CN201010583807 CN 201010583807 CN 201010583807 A CN201010583807 A CN 201010583807A CN 102012939 A CN102012939 A CN 102012939A
Authority
CN
China
Prior art keywords
image
color
value
similarity
matching
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN 201010583807
Other languages
English (en)
Other versions
CN102012939B (zh
Inventor
谢毓湘
杨征
邓莉琼
吴玲达
魏迎梅
蒋杰
黄紫藤
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
National University of Defense Technology
Original Assignee
National University of Defense Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by National University of Defense Technology filed Critical National University of Defense Technology
Priority to CN2010105838074A priority Critical patent/CN102012939B/zh
Publication of CN102012939A publication Critical patent/CN102012939A/zh
Application granted granted Critical
Publication of CN102012939B publication Critical patent/CN102012939B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Image Analysis (AREA)
  • Processing Or Creating Images (AREA)

Abstract

本发明公开了一种综合颜色和局部不变特征匹配的动画场景自动标注方法，目的是综合利用全局颜色特征与基于颜色不变量的局部不变特征，提高动画场景标注的准确性和速度。技术方案是先对目标图像即待标注图像进行预处理，计算目标图像与动画场景图像素材库中图像之间的全局颜色相似度，进行颜色特征过滤；提取颜色特征过滤后的匹配图像结果与目标图像的CSIFT特征，计算它们之间的全局颜色特征相似度和局部特征相似度；将颜色相似度和局部特征相似度进行融合，得到最后的总相似度；对匹配结果图像的标注信息进行文本处理并合并，得到目标图像的最终标注信息。采用本发明能提高动画图像匹配的准确度和匹配速度。

Description

综合颜色和局部不变特征匹配的动画场景自动标注方法
技术领域
本发明涉及多媒体信息处理技术领域关于基于图像匹配的图像标注方法，其实质是一种通过比较图像相似度得到匹配对象，然后将匹配对象的标注信息进行合并，并将聚类结果作为目标对象的标注信息的方法，是一种综合考虑了图像颜色信息以及图像基于颜色不变量的局部不变特征信息来进行动画场景图像的匹配从而实现图像标注的方法。
背景技术
传统的动画片从制作到生产主要是靠人工来完成的，制作过程中产生了大量的动画场景图像，由于这些图像没有任何的标注信息，往往导致了大量场景素材的浪费，如果能对动画场景图像进行自动标注，就可以通过检索标注信息来得到所需的场景图片，进一步完善动画场景图像库的规范管理，从而大大加速动画的制作时间与效率，对于实际的动画生产行业将具有重大的实际应用价值。
对场景图像进行自动标注的方法主要可以分为基于分类的图像标注以及基于匹配的图像标注两种方法。基于分类的图像标注是利用支持向量机等机器学习技术对图像进行训练分类，从而判定待标注图像的类别，并将该类别信息作为待标注图像的标注信息。这类方法虽然能够减少对人工标注的需求，但是它们通常是根据图像中视觉特征出现的总体情况来进行场景分类，因此该类方法往往适用于具有共同特征分布的图像（例如自然场景图像），而动画场景图像的颜色分布千差万别，不具有明显的共同颜色分布特征，它往往会取决于绘制者的绘制风格，因此这类方法不适用于动画场景图像。而基于匹配的图像标注是基于相似度检索从图像数据库中检索到最相似的一组图像，然后再对这些相似图像的标注信息进行文本合并处理从而得到最终的标注信息。其中，图像匹配指的是通过计算两幅图像之间的特征相似度来判断两幅图像是否相似，它是图像检索领域近年来的一项主要研究。
基于匹配的图像标注主要分为图像匹配与图像标注两个阶段，其中图像匹配结果的好坏直接影响到标注信息的准确度。目前关于图像匹配算法，许多相关的研究工作都集中在如何定义特征的描述子上，特征描述子可分为全局特征描述子与局部特征描述子，全局特征的鲁棒性较强，传统的全局颜色特征包含颜色，纹理，形状等，多数基于全局特征的匹配算法是将彩色图像转化为灰度图像，仅利用亮度信息进行配准，没有充分利用图像的色彩信息，如果受到干扰可能会造成误匹配。与其他的全局视觉特征相比，颜色特征作为一种全局颜色特征对图像本身的尺寸、方向、视角的依赖性较小，从而具有较高的鲁棒性。尤其是在动画场景图像中，颜色信息常常占有很高的比重。通常采用HSV颜色空间或者HSI颜色空间，然而不同的颜色空间对动画场景图像的匹配效果有着明显的不同。通过对200幅以上的素材进行统计，发现大部分动画场景素材和自然场景素材在颜色空间的分布上有着明显的差别。为符合色彩心理学，在动画场景素材里运用的色彩种类不宜过多。同时，在素材的色调饱和度上，通常自然场景中的色调饱和度都较小，而动画场景里饱和度均匀分布在整个区间内。在动画片的图像绘制中常常利用鲜艳的色彩来吸引观众，所以动画场景图像中的色彩饱和度值常常较高，其色调饱和度的分布范围比自然场景色调饱和度分布的范围要大很多。全局颜色特征无法描述具有光照变化，旋转变化等的图像特征。在这方面局部特征相对而言具有更好的优势，但局部特征的处理速度往往较慢，因而不适合用于实时的工程应用，仅仅用来进行理论研究。在图像匹配中的局部不变特征上，SIFT尺度不变特征转换（Scale Invariant Feature Transform，见[D.G.Lowe.Distinctive image features from scale invariant keypoints．International Journal of Computer Vision，2004，60(2)：90~110]）作为一种鲁棒的特征描述方法，在提取灰度图像特征时取得了令人满意的效果，但在处理彩色图像时，则表现出局限性。为使SIFT能更好地用于彩色图像处理，一些研究者做了不同的改进，如部分研究者提出将RGB分量的强度归一化后再用SIFT方法来处理彩色图像，此算法虽具有部分光照不变和几何不变性，但描述色彩不变特征时仍有局限性；部分研究者在提取和识别彩色图像时，先用Bayses颜色分类器标注图像的不同区域，在不同区域进行SIFT描述，并在同种颜色标注的区域之间进行匹配，此方法效果虽好，但必须进行色彩训练，使得该算法的应用受到限制。为此，提出了一种基于颜色不变量的CSIFT特征(Colored invariant feature transform)的彩色图像局部特征描述方法，求出彩色图像各个位置处的颜色不变量，以颜色不变量作为输入图像，再提取特征点并描述特征点周围的信息，通过最近邻匹配法求出图像间的匹配对，最后利用匹配的特征求取图像间的变换参数及配准后图像。相关实验结果表明，对彩色图像进行已知参数值变换时，该算法能得到精度高、误差小的计算结果；对变换关系未知的彩色图像，也能准确地求出图像间的映射关系；且多数情况下运行速度较SIFT快。目前在图像的匹配中还缺乏既准确又快速的描述特征，既缺乏融合全局特征和局部特征的快速图像匹配方法。在图像匹配阶段得到匹配图像结果之后，将匹配结果(即相似图像)的标注信息进行文本上的合并处理，将合并的结果作为目标图像的标注信息，从而实现基于图像匹配的动画场景图像自动标注。传统的文本处理技术主要包括关键词的统计与分类。
发明内容
本发明要解决的技术问题是提供一种基于图像匹配的动画场景自动标注方法，综合利用全局颜色特征与基于颜色不变量的局部不变特征，在图像的标注过程中通过综合利用动画场景图像的颜色特征与局部不变特征，其中颜色特征为全局颜色直方图，并考虑了在自然场景中常常忽略掉的饱和度因素，局部不变特征采用了CSIFT特征，由于这些特征更适用于动画场景图像，因此本发明提高了动画场景标注的准确性和速度，满足动画图像管理和检索的实用需求。
本发明的技术方案如下：
第一步，对目标图像(即待标注图像)进行预处理，即利用现有的数字图像处理技术中的图像灰度分段先行变换函数对目标图像进行预处理，计算目标图像中所有像素的灰度值，将其中灰度值高于100的像素灰度值放大，同时将灰度值低于30的像素灰度值缩小，这样能更加突出图像的灰度细节信息。由于图像的大小将直接影响后续匹配阶段的速度，因此若图像的宽度大于900像素，将图像的宽度缩小至900像素，宽高比保持原图像宽高比，若宽度小于900像素，则不做变化。
第二步，计算目标图像与动画场景图像素材库中图像之间的全局颜色相似度，进行颜色特征过滤。动画场景图像素材库是已经具有标注信息的动画场景图像集，该素材库包含12类动画场景图像，分别为马路、高楼、房屋、室内、室外、冰山、树木、天空、桥、河流、山以及森林；其场景的标注规范为：类别标签；景别标签；时间标签；其中类别标签为上述12种类别信息中的任意几种类别组合，景别标签可为远景或近景，时间标签可以是白天、傍晚或者晚上；例如对某一幅同时包括天空和桥的图像，其场景标注可能为：“天空；桥；室外；远景；白天”，前面三类是类别标签，后面的分别是景别标签和时间标签。颜色特征过滤的方法是：
2.1、分别提取目标图像与素材库中所有图像的
Figure 2010105838074100002DEST_PATH_IMAGE002
颜色特征(见[Smith,A.R. color gamut transform pairs, computer graphics,vol.12,no.3,pp.12-19])，其中(hue,色调)、
Figure 2010105838074100002DEST_PATH_IMAGE006
 (saturation,饱和度)、
Figure 2010105838074100002DEST_PATH_IMAGE008
(intensity,强度)是三个颜色分量的值，计算方法如下：
Figure 2010105838074100002DEST_PATH_IMAGE010
  其中
Figure 2010105838074100002DEST_PATH_IMAGE012
      (1)
Figure 2010105838074100002DEST_PATH_IMAGE014
                 (2)
Figure 2010105838074100002DEST_PATH_IMAGE016
                          (3)
其中角度是像素点在
Figure 50747DEST_PATH_IMAGE002
空间中与红色轴之间的夹角，
Figure 2010105838074100002DEST_PATH_IMAGE020
分别表示图像的红(Red)、绿(Green)、蓝(Blue)三个颜色分量，计算时
Figure 30204DEST_PATH_IMAGE020
值已归一化到范围[0,1]。在得到图像中所有像素的
Figure 809942DEST_PATH_IMAGE004
、
Figure 18200DEST_PATH_IMAGE006
、三个分量之后，对这三个分量的分布情况分别进行统计，将所有像素
Figure 717352DEST_PATH_IMAGE004
值的分布范围分为
Figure 2010105838074100002DEST_PATH_IMAGE022
个区间，分别统计在
Figure 984385DEST_PATH_IMAGE022
个分布区间的像素个数从而得到个数值，将这个数值组成一
Figure 219429DEST_PATH_IMAGE022
维向量作为图像的向量；将所有像素
Figure 523820DEST_PATH_IMAGE006
值的分布范围分为
Figure 2010105838074100002DEST_PATH_IMAGE024
个区间，分别统计在
Figure 109522DEST_PATH_IMAGE024
个分布区间的像素个数从而得到
Figure 539366DEST_PATH_IMAGE024
个数值，将这
Figure 92576DEST_PATH_IMAGE024
个数值组成一
Figure 430017DEST_PATH_IMAGE024
维向量作为图像的
Figure 73487DEST_PATH_IMAGE006
向量；将所有像素
Figure 221703DEST_PATH_IMAGE008
值的分布范围分为
Figure 2010105838074100002DEST_PATH_IMAGE026
个区间，分别统计在
Figure 12942DEST_PATH_IMAGE026
个分布区间的像素个数从而得到
Figure 91756DEST_PATH_IMAGE026
个数值，将这
Figure 901318DEST_PATH_IMAGE026
个数值组成一
Figure 672965DEST_PATH_IMAGE026
维向量作为图像的的
Figure 685920DEST_PATH_IMAGE008
向量。因此得到图像i的分布为
Figure 2010105838074100002DEST_PATH_IMAGE028
，和
Figure 2010105838074100002DEST_PATH_IMAGE032
，则图像i的全局颜色特征为
Figure 2010105838074100002DEST_PATH_IMAGE034
维的向量。
Figure 443792DEST_PATH_IMAGE022
、
Figure 107860DEST_PATH_IMAGE024
、
Figure 50408DEST_PATH_IMAGE026
均为正整数，可取
Figure 550660DEST_PATH_IMAGE022
取值为6，
Figure 971277DEST_PATH_IMAGE024
取值为6，
Figure 443847DEST_PATH_IMAGE026
取值为12，之所以这么选择各个分量的维数是通过反复比较各种维数分配情况得到的最优分配结果；
2.2、计算目标图像与动画场景图像素材库中图像的颜色相似度，利用欧式距离计算维颜色向量之间的距离值，计算方法如下：
Figure DEST_PATH_IMAGE040
                             (4) 
其中
Figure DEST_PATH_IMAGE042
表示第一幅图像的全局颜色特征
Figure DEST_PATH_IMAGE044
里的第k维向量值，
Figure DEST_PATH_IMAGE046
表示第二幅图像的全局颜色特征
Figure 744247DEST_PATH_IMAGE044
里的第k维向量值，
Figure DEST_PATH_IMAGE048
是最终得到的距离值；将通过公式（4）计算得到的距离值
Figure 731794DEST_PATH_IMAGE048
作为颜色相似度，然后将目标图像与所有素材库图像的颜色相似度进行排序，取出前幅图像作为颜色过滤后的匹配图像结果，
Figure DEST_PATH_IMAGE052
，由于图像越多则处理速度越慢，而图像过少则会降低查全率，因此本发明中取为30；
第三步，分别提取颜色特征过滤后的匹配图像结果与目标图像的CSIFT特征(Colored invariant feature transform，基于颜色不变量的特征变换)，并分别计算它们之间的基于
Figure 892965DEST_PATH_IMAGE002
的全局颜色特征相似度和基于CSIFT的局部特征相似度，具体包括以下步骤：
3.1、依据Kubelka Munk理论计算图像的颜色不变量以及基于颜色不变量的局部特征：
首先计算物体的光谱辐射特性
Figure DEST_PATH_IMAGE054
及其微分值。
Figure 488901DEST_PATH_IMAGE054
表达为公式（5）：
                              (5)
式中
Figure DEST_PATH_IMAGE058
表示波长，
Figure DEST_PATH_IMAGE060
为二维矢量，表示观测位置，
Figure DEST_PATH_IMAGE062
表示光谱强度，
Figure DEST_PATH_IMAGE064
表示
Figure 776794DEST_PATH_IMAGE060
处的Fteanel反射系数，
Figure DEST_PATH_IMAGE066
表示材料反射率，
Figure DEST_PATH_IMAGE068
为观测处的反射谱；对
Figure 178694DEST_PATH_IMAGE058
分别求一阶导数得到
Figure DEST_PATH_IMAGE070
，对求二阶导数得到
Figure DEST_PATH_IMAGE072
。根据CIE1964 XYZ的标准条件，彩色图像的
Figure 425316DEST_PATH_IMAGE020
分量和
Figure DEST_PATH_IMAGE074
的关系近似为公式（6），因此可以根据图像的
Figure 387456DEST_PATH_IMAGE020
值得到
Figure 953566DEST_PATH_IMAGE074
的值，将图像转换至
Figure 255234DEST_PATH_IMAGE020
空间并得到
Figure DEST_PATH_IMAGE076
、
Figure DEST_PATH_IMAGE078
、
Figure DEST_PATH_IMAGE080
三个分量的值，根据公式（6）计算
Figure 13147DEST_PATH_IMAGE074
：
Figure DEST_PATH_IMAGE082
                     (6)
依据公式（7）计算颜色不变量，计算方法为：
Figure DEST_PATH_IMAGE086
         (7)
图像的颜色不变量
Figure 275633DEST_PATH_IMAGE084
表征一种物体的反射特性，不依赖于视点、表面方位、光照方向和光照强度，其梯度幅值和方向的计算方法为公式（8）和公式（9）：
Figure DEST_PATH_IMAGE088
          (8)
                  (9)
然后以颜色不变量
Figure 957019DEST_PATH_IMAGE084
为输入信息，用SIFT方法即尺度不变特征转换方法，进行提取和描述，提取的特征信息即为该彩色图像上的CSIFT特征。
3.2、计算图像之间CSIFT特征的相似度，用欧氏距离度量图像间的初始匹配。设场景图像、
Figure DEST_PATH_IMAGE094
中分别有
Figure DEST_PATH_IMAGE096
、
Figure DEST_PATH_IMAGE098
个特征点，在
Figure 722980DEST_PATH_IMAGE096
个特征点中任取一点
Figure DEST_PATH_IMAGE100
的特征描述向量，计算与中的
Figure 676265DEST_PATH_IMAGE098
个特征向量
Figure DEST_PATH_IMAGE102
的欧式距离值
Figure DEST_PATH_IMAGE104
，其中
Figure DEST_PATH_IMAGE106
，若特征点
Figure 562312DEST_PATH_IMAGE100
与
Figure 530268DEST_PATH_IMAGE098
个特征点中的点的距离
Figure DEST_PATH_IMAGE110
中的极小值与次极小值
Figure DEST_PATH_IMAGE112
的比值小于阈值
Figure DEST_PATH_IMAGE114
，则认为特征点
Figure 62619DEST_PATH_IMAGE100
与特征点
Figure 774223DEST_PATH_IMAGE108
匹配，本发明中
Figure 452460DEST_PATH_IMAGE114
取值为0.75，这是通过比较得到的最优值。然后遍历
Figure 591317DEST_PATH_IMAGE092
中的特征点，找出可能的匹配对。为最大程度找出准确的匹配对，采用RANSAC法(见[M.A. Fisher and R.C.Bolles, random sample consensus: a paradigm for model fitting analysis and automated cartography, comm. of ACM 24:381-395])消除误匹配。最后将得到的正确匹配对个数作为两个局部不变特征之间的相似度。
第四步，将第三步得到的
Figure 237062DEST_PATH_IMAGE050
幅图像的颜色相似度和基于CSIFT的局部特征相似度进行融合，得到最后的总相似度，方法是：
令为两幅图像之间的全局颜色特征相似度，
Figure DEST_PATH_IMAGE118
为基于颜色不变量的局部特征之间的相似度，颜色相似度与局部不变特征相似度融合后的总相似度
Figure 798362DEST_PATH_IMAGE006
计算方法如下：
4.1 若
Figure DEST_PATH_IMAGE120
，一般
Figure DEST_PATH_IMAGE122
取经验值在0.45-0.55之间，并且
Figure DEST_PATH_IMAGE124
，一般
Figure DEST_PATH_IMAGE126
取经验值在2.5-3.5之间，则以
Figure 659002DEST_PATH_IMAGE116
为主要相似度，
Figure 31078DEST_PATH_IMAGE116
的权重值为
Figure DEST_PATH_IMAGE128
，建议
Figure 413386DEST_PATH_IMAGE128
取值为100，为次要相似度，其权重值为，
Figure DEST_PATH_IMAGE132
设为50，按公式（10）计算得到该情况下的总相似度：
Figure DEST_PATH_IMAGE134
                          (10)
4.2若
Figure DEST_PATH_IMAGE136
，取经验值在13-15之间，首先对
Figure 244256DEST_PATH_IMAGE118
取对数值，然后将其与
Figure 724916DEST_PATH_IMAGE116
相乘，最后再乘上权重值
Figure 328941DEST_PATH_IMAGE128
，按照公式(11)计算得到该情况下的总相似度：
Figure DEST_PATH_IMAGE140
                           (11)
4.3若
Figure DEST_PATH_IMAGE142
，在公式(11)的基础上再乘以2，此种情况下是以为主，同时以
Figure 942642DEST_PATH_IMAGE116
为辅，按照公式（12）计算得到该情况下的总相似度：
Figure DEST_PATH_IMAGE144
                          (12)
4.4若
Figure DEST_PATH_IMAGE146
，此时只计算与其权重值
Figure DEST_PATH_IMAGE148
的相乘结果，按照公式（13）计算得到该情况下的总相似度：
Figure DEST_PATH_IMAGE150
                             (13)
4.5将4.1-4.4计算得到的总相似度
Figure 826471DEST_PATH_IMAGE006
进行重新排序，凡是总相似度大于阈值
Figure 283997DEST_PATH_IMAGE076
的图像均作为最相似的匹配图像结果，本发明中取值为405，最终获得了幅匹配结果图像，
Figure DEST_PATH_IMAGE154
。
第五步，对第四步得到的
Figure 796198DEST_PATH_IMAGE152
个匹配结果图像的标注信息进行文本处理并合并，
Figure 63231DEST_PATH_IMAGE152
幅图像中每幅图像的标注信息为
Figure DEST_PATH_IMAGE156
Figure DEST_PATH_IMAGE158
，标注信息分为三部分，其中
Figure DEST_PATH_IMAGE160
为图像i的类别标签信息，
Figure DEST_PATH_IMAGE162
为图像i的景别标签信息，为图像i的时间标签信息，将这些匹配图像结果的标注信息进行文本并集，去掉重复的部分，方法如下：
5.1、对
Figure 449082DEST_PATH_IMAGE152
个标注信息
Figure DEST_PATH_IMAGE166
中的类别标签信息
Figure 852381DEST_PATH_IMAGE160
进行并集，首先将类别标签信息按照文本分割的方法分解为多个关键词
Figure DEST_PATH_IMAGE168
，即
Figure DEST_PATH_IMAGE170
，然后将所有类别标签信息中的关键词进行合并，即最终的类别标签信息
Figure DEST_PATH_IMAGE172
，若某两个关键词相同，即
Figure DEST_PATH_IMAGE174
，则
Figure DEST_PATH_IMAGE176
，即去掉重复的类别信息，然后按类别标签中关键词的权重进行排列，关键词的权重按照其在匹配图像序列中的排序度进行定义，在类别标签
Figure 114921DEST_PATH_IMAGE160
中的所有关键词的权重值取决于在
Figure 437635DEST_PATH_IMAGE152
幅图像中的位置，其权重值为
Figure DEST_PATH_IMAGE182
，若同一个关键词
Figure 179064DEST_PATH_IMAGE178
出现在两个类别标签信息
Figure 217427DEST_PATH_IMAGE160
与
Figure DEST_PATH_IMAGE184
中，则其权重值为两个类别标签的权重之和即
Figure DEST_PATH_IMAGE186
；在计算完所有关键词的权重之后，按照各个关键词的权重进行排序组合得到目标图像标注信息中的类别标签信息
Figure DEST_PATH_IMAGE188
；
5.2、对
Figure 633496DEST_PATH_IMAGE152
个标注信息
Figure 276967DEST_PATH_IMAGE166
中的景别标签信息
Figure 612134DEST_PATH_IMAGE162
和时间标签信息
Figure 652640DEST_PATH_IMAGE164
进行文本的合并，首先分别统计这个景别标签
Figure 291748DEST_PATH_IMAGE162
与时间标签
Figure 797816DEST_PATH_IMAGE164
中的各种不同标注信息的数量，并抽取出现频率最高的标注信息作为目标图像的景别标签信息和时间标签信息，这是因为如果出现的频率越高，则和目标图像的景别标签以及时间标签信息越接近，最后得到目标图像的景别标签信息
Figure DEST_PATH_IMAGE190
与
Figure DEST_PATH_IMAGE192
；
5.3、将前两步分别得到的类别标签信息
Figure 889400DEST_PATH_IMAGE188
与景别标签和时间标签信息
Figure 435974DEST_PATH_IMAGE192
进行文本合并，即直接并集，从而得到目标图像的最终标注信息
Figure DEST_PATH_IMAGE194
。
采用本发明可以达到以下技术效果：
1、本发明步骤1通过对图像进行预处理，加快了图像匹配阶段的速度，同时为图像的基于局部特征匹配提供了很好的辅助作用，有利于提高准确度。
2、本发明步骤2采用了更符合动画图像的颜色特征计算方法。相比较于以往的彩色图像颜色特征计算方法，本发明的方法更适用于动画场景图像，且具有较高的查全率。
3、本发明步骤3实现了基于颜色不变量的局部不变特征的计算。突破了传统的局部不变特征计算方法，充分利用了动画图像的颜色特征，提高了准确率。
4、本发明步骤4综合了颜色全局特征与局部不变特征，从而提高了动画图像匹配的准确度。依据全局颜色特征与局部不变特征在动画场景图像中的作用建立了融合全局颜色相似度与局部不变特征相似度的融合准则，相比于以往的融合方法更具针对性，并且具有较高的准确度。
5、本发明步骤5实现了基于图像匹配的动画场景标注方法，利用了准确度较高的图像匹配结果来对目标图像进行标注，从而保证了最终标注信息的准确度。
附图说明
图1为本发明基于颜色和局部不变特征的动画场景图像标注方法的流程图。
图2为本发明在第二步中比较动画场景素材与自然场景素材在颜色空间上区别的实验图。
图3为本发明第二步中通过实验比较来设置三个颜色分量的权重值的结果图。
图4为本发明第三步中CSIFT特征与SIFT特征的性能比较。
图5为采用本发明中第四步的特征计算方法与其它方法的比较。
图6为使用本发明方法在动画场景图像库上进行动画场景图像标注的例子。
具体实施方式
图1为本发明基于颜色和局部不变特征的动画场景图像标注方法的流程图，具体步骤包括：
第一步，对待标注动画图像进行预处理，从而更加突出图像的灰度细节信息，并统一所有图像的大小；
第二步，计算目标图像与动画场景素材库中图像之间的全局颜色相似度，进行颜色特征过滤，得到前
Figure 440839DEST_PATH_IMAGE050
幅相似图像；
第三步，分别计算这
Figure 691823DEST_PATH_IMAGE050
幅图像与目标图像的基于
Figure 112440DEST_PATH_IMAGE002
的全局颜色相似度和基于CSIFT的局部特征相似度；
第四步，将这
Figure 647326DEST_PATH_IMAGE050
幅图像的全局颜色相似度和局部不变特征相似度进行融合，得到最后的总相似度，并对总相似度进行排序，凡是总相似度大于阈值
Figure 495197DEST_PATH_IMAGE076
的被认为是最相似的匹配图像，从而得到最终的匹配图像结果；
第五步，将得到的最终的匹配图像的所有标注信息进行文本并集，得到最后的并集结果作为目标图像的标注信息。
图2为本发明在第二步中比较动画场景素材与自然场景素材在颜色空间上区别的实验图。由于三个颜色分量中
Figure 732012DEST_PATH_IMAGE008
分量没有什么明显的差别，因此只比较
Figure 956320DEST_PATH_IMAGE004
和分量之前的区别。首先分别提取目标图像与所有素材库中图像的
Figure 630064DEST_PATH_IMAGE004
、
Figure 855640DEST_PATH_IMAGE006
两个分量的值，计算方法如公式（1）和（2）。从图中可以看出动画场景图像相对自然场景采用的色调数目较少，范围小，同时，在素材的色调饱和度上，自然场景中色调饱和度的分布大部分集中于左端，即大部分的色调饱和度都较小，而动画场景里饱和度的分布在整个区间内。
图3为本发明第二步中通过实验比较来设置三个颜色分量的权重值的结果图，具体步骤包括：
3.1，取不同的权重值比，分别为3-9-12，6-6-12，12-6-6，12-9-3，定义评价指标为查全率，相似度排序准确率，该指标定义如下：
Figure DEST_PATH_IMAGE196
      
Figure DEST_PATH_IMAGE198
3.2，依据上述设定的实验方案进行实验，并记录结果。其中图3(a)是相似度排序准确率的实验结果图，图3(b)是查全率的实验结果图。通过实验比较得到最优的颜色分量的权重分配，在这种权重分配的基础上所计算得到的准确率和查全率是最高的。
图4本发明第三步中CSIFT特征与SIFT特征的性能比较。针对动画场景图像的特征提取出的关键点个数可以分为三类，从少到多分为三组，对于第一组，CSIFT所提出的关键点个数平均为13~68，而SIFT特征仅为7~60；对于第二组，CSIFT所提出的关键点个数平均为100~195，而SIFT特征仅为40~176；对于第三组，CSIFT所提出的关键点个数平均为1100~1807，而SIFT特征仅为1078~1799。这就证明了CSIFT能更好的适应于彩色的动画场景图像，从而保证图像匹配过程中的准确度。
图5为本发明中第四步的特征计算方法与其它方法的比较，其中图4(a)为仅仅适用传统的颜色特征进行图像匹配后的结果图，图4(b)为采用本发明得到的匹配结果图。
图6为使用本发明方法在动画场景图像库上进行动画场景图像标注的例子。每幅图像下面的第二行文字信息即为通过本发明所得到的自动标注结果，标注信息包含类别标签信息，景别标签信息以及时间标签信息。从图中可以看出本发明对于动画场景图像的自动标注具有较高的准确度。

Claims (5)

1.一种综合颜色和局部不变特征匹配的动画场景自动标注方法，其特征在于包括以下步骤：
第一步，对目标图像即待标注图像进行预处理，即利用现有的数字图像处理技术中的图像灰度分段先行变换函数对目标图像进行预处理，计算目标图像中所有像素的灰度值，将其中灰度值高于100的像素灰度值放大，同时将灰度值低于30的像素灰度值缩小； 
第二步，计算目标图像与动画场景图像素材库中图像之间的全局颜色相似度，进行颜色特征过滤，动画场景图像素材库是已经具有标注信息的动画场景图像集，该素材库包含12类动画场景图像，分别为马路、高楼、房屋、室内、室外、冰山、树木、天空、桥、河流、山以及森林；其场景的标注规范为：类别标签；景别标签； 时间标签；其中类别标签为上述12种类别信息中的任意几种类别组合，景别标签为远景或近景，时间标签是白天、傍晚或者晚上；颜色特征过滤的方法是：
2.1、分别提取目标图像与素材库中所有图像的                                               
Figure 968851DEST_PATH_IMAGE002
颜色特征，其中
Figure 484146DEST_PATH_IMAGE004
、
Figure 905637DEST_PATH_IMAGE006
、
Figure 215396DEST_PATH_IMAGE008
是三个颜色分量的值，计算方法如下：
   
Figure 11631DEST_PATH_IMAGE012
      (1)
Figure 789094DEST_PATH_IMAGE014
                 (2)
Figure 269754DEST_PATH_IMAGE016
                          (3)
其中角度
Figure 765457DEST_PATH_IMAGE018
是像素点在
Figure 356976DEST_PATH_IMAGE002
空间中与红色轴之间的夹角，
Figure 753060DEST_PATH_IMAGE020
分别表示图像的红、绿、蓝三个颜色分量，计算时值已归一化到范围[0,1]；在得到图像中所有像素的
Figure 122041DEST_PATH_IMAGE004
、
Figure 517250DEST_PATH_IMAGE006
、
Figure 269306DEST_PATH_IMAGE008
三个分量之后，对这三个分量的分布情况分别进行统计，将所有像素
Figure 91768DEST_PATH_IMAGE004
值的分布范围分为
Figure 296485DEST_PATH_IMAGE022
个区间，分别统计在个分布区间的像素个数从而得到
Figure 600482DEST_PATH_IMAGE022
个数值，将这
Figure 593845DEST_PATH_IMAGE022
个数值组成一
Figure 285858DEST_PATH_IMAGE022
维向量作为图像的
Figure 288449DEST_PATH_IMAGE004
向量；将所有像素
Figure 749517DEST_PATH_IMAGE006
值的分布范围分为
Figure 913782DEST_PATH_IMAGE024
个区间，分别统计在
Figure 155408DEST_PATH_IMAGE024
个分布区间的像素个数从而得到个数值，将这
Figure 11686DEST_PATH_IMAGE024
个数值组成一
Figure 48649DEST_PATH_IMAGE024
维向量作为图像的向量；将所有像素
Figure 794069DEST_PATH_IMAGE008
值的分布范围分为
Figure 26467DEST_PATH_IMAGE026
个区间，分别统计在
Figure 735797DEST_PATH_IMAGE026
个分布区间的像素个数从而得到个数值，将这
Figure 506624DEST_PATH_IMAGE026
个数值组成一
Figure 859108DEST_PATH_IMAGE026
维向量作为图像的
Figure 237874DEST_PATH_IMAGE008
向量，得到图像i的分布为
Figure 675809DEST_PATH_IMAGE028
， 
Figure 299688DEST_PATH_IMAGE030
和
Figure 506679DEST_PATH_IMAGE032
；图像i的全局颜色特征为维的向量
Figure 483042DEST_PATH_IMAGE036
；、、
Figure 427099DEST_PATH_IMAGE026
均为正整数； 
2.2、计算目标图像与动画场景图像素材库中图像的颜色相似度，利用欧式距离计算
Figure 839626DEST_PATH_IMAGE038
维颜色向量之间的距离值，计算方法如下：
Figure 805308DEST_PATH_IMAGE040
                             (4) 
其中
Figure 986890DEST_PATH_IMAGE042
表示第一幅图像的全局颜色特征里的第k维向量值，
Figure 14069DEST_PATH_IMAGE046
表示第二幅图像的全局颜色特征
Figure 517863DEST_PATH_IMAGE044
里的第k维向量值，是最终得到的距离值；将通过公式（4）计算得到的距离值
Figure 445685DEST_PATH_IMAGE048
作为颜色相似度，然后将目标图像与动画场景图像素材库图像的颜色相似度进行排序，取出前
Figure 3443DEST_PATH_IMAGE050
幅图像作为颜色过滤后的匹配图像结果，；
第三步，分别提取颜色特征过滤后的匹配图像结果与目标图像的CSIFT即基于颜色不变量的特征变换特征，并分别计算它们之间的基于
Figure 467102DEST_PATH_IMAGE002
的全局颜色特征相似度和基于CSIFT的局部特征相似度，具体包括以下步骤：
3.1、依据Kubelka Munk理论计算图像的颜色不变量以及基于颜色不变量的局部特征：
首先计算物体的光谱辐射特性及其微分值， 
Figure 810676DEST_PATH_IMAGE054
表达为公式（5）：
               
Figure 718589DEST_PATH_IMAGE056
               (5)
式中
Figure 666953DEST_PATH_IMAGE058
表示波长，
Figure 634909DEST_PATH_IMAGE060
为二维矢量，表示观测位置，
Figure 167260DEST_PATH_IMAGE062
表示光谱强度，
Figure 878864DEST_PATH_IMAGE064
表示
Figure 681735DEST_PATH_IMAGE060
处的Fteanel反射系数，
Figure 820592DEST_PATH_IMAGE066
表示材料反射率，
Figure 341703DEST_PATH_IMAGE068
为观测处的反射谱；对
Figure 856998DEST_PATH_IMAGE058
分别求一阶导数得到
Figure 514375DEST_PATH_IMAGE070
，对
Figure 824134DEST_PATH_IMAGE058
求二阶导数得到
Figure 354514DEST_PATH_IMAGE072
；根据CIE1964XYZ的标准条件，彩色图像的
Figure 407921DEST_PATH_IMAGE020
分量和
Figure 185384DEST_PATH_IMAGE074
的关系近似为公式（6），根据图像的
Figure 666044DEST_PATH_IMAGE020
值得到
Figure 224064DEST_PATH_IMAGE074
的值，将图像转换至
Figure 753265DEST_PATH_IMAGE020
空间并得到
Figure 447552DEST_PATH_IMAGE076
、、三个分量的值，根据公式（6）计算
Figure 913540DEST_PATH_IMAGE074
：
Figure 727912DEST_PATH_IMAGE082
             (6)
依据公式（7）计算颜色不变量
Figure 488058DEST_PATH_IMAGE084
，计算方法为：
         (7)
图像的颜色不变量
Figure 891675DEST_PATH_IMAGE084
表征一种物体的反射特性，不依赖于视点、表面方位、光照方向和光照强度，其梯度幅值和方向的计算方法为公式（8）和公式（9）：
Figure 560553DEST_PATH_IMAGE088
          (8)
Figure 491600DEST_PATH_IMAGE090
                  (9)
然后以颜色不变量
Figure 245930DEST_PATH_IMAGE084
为输入信息，用SIFT方法即尺度不变特征转换方法，进行提取和描述，提取的特征信息即为该彩色图像上的CSIFT特征；
3.2、计算图像之间CSIFT特征的相似度，用欧氏距离度量图像间的初始匹配：设场景图像、
Figure 942545DEST_PATH_IMAGE094
中分别有
Figure 372389DEST_PATH_IMAGE096
、
Figure 551698DEST_PATH_IMAGE098
个特征点，在个特征点中任取一点
Figure 407975DEST_PATH_IMAGE100
的特征描述向量，计算与
Figure 409746DEST_PATH_IMAGE094
中的
Figure 488561DEST_PATH_IMAGE098
个特征向量
Figure 422757DEST_PATH_IMAGE102
的欧式距离值
Figure 132087DEST_PATH_IMAGE104
，其中
Figure 82725DEST_PATH_IMAGE106
，若特征点
Figure 902914DEST_PATH_IMAGE100
与
Figure 255397DEST_PATH_IMAGE098
个特征点中的点的距离
Figure 573563DEST_PATH_IMAGE110
中的极小值与次极小值
Figure 430399DEST_PATH_IMAGE112
的比值小于阈值
Figure 840651DEST_PATH_IMAGE114
，则认为特征点
Figure 954101DEST_PATH_IMAGE100
与特征点
Figure 879332DEST_PATH_IMAGE108
匹配， 
Figure 41323DEST_PATH_IMAGE114
取值为0.75；然后遍历
Figure 102820DEST_PATH_IMAGE092
中的特征点，找出可能的匹配对；最后将得到的正确匹配对个数作为两个局部不变特征之间的相似度；
第四步，将第三步得到的
Figure 324854DEST_PATH_IMAGE050
幅图像的颜色相似度和基于CSIFT的局部特征相似度进行融合，得到最后的总相似度，方法是：
令
Figure 737380DEST_PATH_IMAGE116
为两幅图像之间的全局颜色特征相似度，
Figure 201597DEST_PATH_IMAGE118
为基于颜色不变量的局部特征之间的相似度，颜色相似度与局部不变特征相似度融合后的总相似度
Figure 383180DEST_PATH_IMAGE006
计算方法如下：
4.1 若
Figure 510536DEST_PATH_IMAGE120
，
Figure 410359DEST_PATH_IMAGE122
取值在0.45-0.55之间，并且
Figure 914153DEST_PATH_IMAGE124
， 
Figure 215821DEST_PATH_IMAGE126
取值在2.5-3.5之间，则以
Figure 514078DEST_PATH_IMAGE116
为主要相似度，
Figure 901197DEST_PATH_IMAGE116
的权重值为，取值为100，
Figure 332550DEST_PATH_IMAGE118
为次要相似度，其权重值为
Figure 941386DEST_PATH_IMAGE130
，
Figure 114879DEST_PATH_IMAGE132
设为50，按公式（10）计算得到该情况下的总相似度：
                          (10)
4.2若
Figure 31199DEST_PATH_IMAGE136
，取经验值在13-15之间，按照公式(11)计算得到该情况下的总相似度：
Figure 776618DEST_PATH_IMAGE140
                           (11)
4.3若
Figure 78024DEST_PATH_IMAGE142
，按照公式（12）计算得到该情况下的总相似度：
                          (12)
4.4若
Figure 737993DEST_PATH_IMAGE146
，按照公式（13）计算得到该情况下的总相似度：
Figure 987709DEST_PATH_IMAGE148
                             (13)
4.5将4.1-4.4计算得到的总相似度
Figure 910665DEST_PATH_IMAGE006
进行重新排序，凡是总相似度大于阈值
Figure 220424DEST_PATH_IMAGE076
的图像均作为最相似的匹配图像结果，
Figure 228831DEST_PATH_IMAGE076
取值为405，最终获得幅匹配结果图像，
Figure 558236DEST_PATH_IMAGE152
；
第五步，对第四步得到的
Figure 38896DEST_PATH_IMAGE150
幅匹配结果图像的标注信息进行文本处理并合并，
Figure 269020DEST_PATH_IMAGE150
幅图像中每幅图像的标注信息为
Figure 820404DEST_PATH_IMAGE156
，标注信息主要分为三部分，其中
Figure 409649DEST_PATH_IMAGE158
为图像i的类别标签信息，为图像i的景别标签信息，
Figure 787857DEST_PATH_IMAGE162
为图像i的时间标签信息，将这些匹配图像结果的标注信息进行文本并集，去掉重复的部分，其方法如下：
5.1、对个标注信息
Figure 860910DEST_PATH_IMAGE164
中的类别标签信息
Figure 127944DEST_PATH_IMAGE158
进行并集，首先将类别标签信息
Figure 264527DEST_PATH_IMAGE158
按照文本分割的方法分解为多个关键词
Figure 667826DEST_PATH_IMAGE166
，即
Figure 864452DEST_PATH_IMAGE168
，然后将所有类别标签信息中的关键词进行合并，即最终的类别标签信息
Figure 618782DEST_PATH_IMAGE170
，若某两个关键词相同，即
Figure 293477DEST_PATH_IMAGE172
，则
Figure 816862DEST_PATH_IMAGE174
，即去掉重复的类别信息，然后按类别标签中关键词的权重进行排列，关键词的权重按照其在匹配图像序列中的排序度进行定义，在类别标签
Figure 682925DEST_PATH_IMAGE158
中的所有关键词
Figure 658971DEST_PATH_IMAGE176
的权重值取决于
Figure 137357DEST_PATH_IMAGE158
在
Figure 780828DEST_PATH_IMAGE150
幅图像中的位置
Figure 53677DEST_PATH_IMAGE178
，其权重值为，若同一个关键词
Figure 861413DEST_PATH_IMAGE176
出现在两个类别标签信息
Figure 297074DEST_PATH_IMAGE158
与中，则其权重值为两个类别标签的权重之和即；在计算完所有关键词的权重之后，按照各个关键词的权重进行排序组合得到目标图像标注信息中的类别标签信息
Figure 338083DEST_PATH_IMAGE186
；
5.2、对
Figure 628250DEST_PATH_IMAGE150
个标注信息中的景别标签信息和时间标签信息
Figure 367033DEST_PATH_IMAGE162
进行文本的合并，首先分别统计这
Figure 777286DEST_PATH_IMAGE150
个景别标签
Figure 625156DEST_PATH_IMAGE160
与时间标签
Figure 986605DEST_PATH_IMAGE162
中的各种不同标注信息的数量，并抽取出现频率最高的标注信息作为目标图像的景别标签信息和时间标签信息，得到目标图像的景别标签信息
Figure 210913DEST_PATH_IMAGE188
与
Figure 475672DEST_PATH_IMAGE190
；
5.3、将类别标签信息
Figure 760023DEST_PATH_IMAGE186
与景别标签
Figure 110233DEST_PATH_IMAGE188
和时间标签信息
Figure 872652DEST_PATH_IMAGE190
进行文本合并，即直接并集，得到目标图像的最终标注信息
Figure 54235DEST_PATH_IMAGE192
。
2.如权利要求1所述的一种综合颜色和局部不变特征匹配的动画场景自动标注方法，其特征在于进行预处理时若图像的宽度大于900像素，将图像的宽度缩小至900像素，宽高比保持原图像宽高比，若宽度小于900像素，则不做变化。
3.如权利要求1所述的一种综合颜色和局部不变特征匹配的动画场景自动标注方法，其特征在于
Figure 447170DEST_PATH_IMAGE022
取值为6，
Figure 346993DEST_PATH_IMAGE024
取值为6，
Figure 349322DEST_PATH_IMAGE026
取值为12。
4.如权利要求1所述的一种综合颜色和局部不变特征匹配的动画场景自动标注方法，其特征在于
Figure 385411DEST_PATH_IMAGE050
取值为30。
5.如权利要求1所述的一种综合颜色和局部不变特征匹配的动画场景自动标注方法，其特征在于为最大程度找出准确的匹配对，采用RANSAC法消除误匹配。
CN2010105838074A 2010-12-13 2010-12-13 综合颜色和局部不变特征匹配的动画场景自动标注方法 Expired - Fee Related CN102012939B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN2010105838074A CN102012939B (zh) 2010-12-13 2010-12-13 综合颜色和局部不变特征匹配的动画场景自动标注方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN2010105838074A CN102012939B (zh) 2010-12-13 2010-12-13 综合颜色和局部不变特征匹配的动画场景自动标注方法

Publications (2)

Publication Number Publication Date
CN102012939A true CN102012939A (zh) 2011-04-13
CN102012939B CN102012939B (zh) 2012-11-14

Family

ID=43843112

Family Applications (1)

Application Number Title Priority Date Filing Date
CN2010105838074A Expired - Fee Related CN102012939B (zh) 2010-12-13 2010-12-13 综合颜色和局部不变特征匹配的动画场景自动标注方法

Country Status (1)

Country Link
CN (1) CN102012939B (zh)

Cited By (27)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102184411A (zh) * 2011-05-09 2011-09-14 中国电子科技集团公司第二十八研究所 基于彩色信息的尺度不变特征点描述和匹配方法
CN102236901A (zh) * 2011-06-30 2011-11-09 南京大学 基于图论聚类和色彩不变空间的目标跟踪方法
CN103533332A (zh) * 2013-10-22 2014-01-22 清华大学深圳研究生院 一种2d视频转3d视频的图像处理方法
CN103678558A (zh) * 2013-12-06 2014-03-26 中科联合自动化科技无锡有限公司 基于sift特征的嫌疑车辆检索方法
CN103999124A (zh) * 2011-11-04 2014-08-20 高通股份有限公司 多谱成像系统
CN104111960A (zh) * 2013-04-22 2014-10-22 阿里巴巴集团控股有限公司 一种页面的匹配方法和装置
CN104268199A (zh) * 2014-09-22 2015-01-07 扬州瑞丰信息技术有限公司 一种基于Web社交化媒体的图像自动标注方法
CN104899558A (zh) * 2015-05-25 2015-09-09 东华大学 一种车载红外图像的场景识别及彩色化处理方法
CN105447846A (zh) * 2014-08-25 2016-03-30 联想(北京)有限公司 一种图像处理方法及电子设备
CN106504304A (zh) * 2016-09-14 2017-03-15 厦门幻世网络科技有限公司 一种动画合成的方法及装置
CN108175427A (zh) * 2017-12-26 2018-06-19 深圳先进技术研究院 啮齿类动物焦虑水平测试实验轨迹显示方法及装置
CN108230409A (zh) * 2018-03-28 2018-06-29 南京大学 基于颜色和内容多因素综合的图像相似性定量分析方法
CN108288067A (zh) * 2017-09-12 2018-07-17 腾讯科技（深圳）有限公司 图像文本匹配模型的训练方法、双向搜索方法及相关装置
CN109034002A (zh) * 2018-07-04 2018-12-18 安徽淘云科技有限公司 实体书检测方法及装置
CN109308456A (zh) * 2018-08-31 2019-02-05 北京字节跳动网络技术有限公司 目标对象的信息确定方法、装置、设备及存储介质
CN109657083A (zh) * 2018-12-27 2019-04-19 广州华迅网络科技有限公司 纺织品图片特征库的建立方法和装置
CN110009558A (zh) * 2019-01-17 2019-07-12 柳州康云互联科技有限公司 一种简易的图像色彩归一化的办法
CN110121033A (zh) * 2018-02-06 2019-08-13 上海全土豆文化传播有限公司 视频编目方法及装置
CN110209865A (zh) * 2019-05-24 2019-09-06 广州市云家居云科技有限公司 一种基于深度学习的物体识别及匹配方法
CN110209862A (zh) * 2019-05-22 2019-09-06 招商局金融科技有限公司 文本配图方法、电子装置及计算机可读存储介质
CN110245667A (zh) * 2018-03-08 2019-09-17 中华映管股份有限公司 物件辨识方法及其装置
CN111191708A (zh) * 2019-12-25 2020-05-22 浙江省北大信息技术高等研究院 自动化样本关键点标注方法、装置及系统
CN111325777A (zh) * 2018-12-14 2020-06-23 北京沃东天骏信息技术有限公司 用于处理图像的方法和装置
CN111353536A (zh) * 2020-02-28 2020-06-30 北京字节跳动网络技术有限公司 图像的标注方法、装置、可读介质和电子设备
CN111882582A (zh) * 2020-07-24 2020-11-03 广州云从博衍智能科技有限公司 一种图像跟踪关联方法、系统、设备及介质
CN114170522A (zh) * 2022-02-14 2022-03-11 北京中科慧眼科技有限公司 基于色谱相似性度量的颜色分类识别方法和系统
CN115835448A (zh) * 2022-12-28 2023-03-21 无锡车联天下信息技术有限公司 一种调节灯光的方法、装置、内窥镜设备及介质

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO1995004329A1 (fr) * 1993-07-31 1995-02-09 Sony Corporation Dispositif et procede de detection de l'appariement d'images
CN101136015A (zh) * 2006-09-01 2008-03-05 北大方正集团有限公司 一种计算图像之间相似度的方法
CN101639858A (zh) * 2009-08-21 2010-02-03 深圳创维数字技术股份有限公司 基于目标区域匹配的图像检索方法
CN101697232A (zh) * 2009-09-18 2010-04-21 浙江大学 面向近重复图像匹配的sift特征裁减方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO1995004329A1 (fr) * 1993-07-31 1995-02-09 Sony Corporation Dispositif et procede de detection de l'appariement d'images
CN101136015A (zh) * 2006-09-01 2008-03-05 北大方正集团有限公司 一种计算图像之间相似度的方法
CN101639858A (zh) * 2009-08-21 2010-02-03 深圳创维数字技术股份有限公司 基于目标区域匹配的图像检索方法
CN101697232A (zh) * 2009-09-18 2010-04-21 浙江大学 面向近重复图像匹配的sift特征裁减方法

Cited By (38)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102184411A (zh) * 2011-05-09 2011-09-14 中国电子科技集团公司第二十八研究所 基于彩色信息的尺度不变特征点描述和匹配方法
CN102184411B (zh) * 2011-05-09 2012-09-05 中国电子科技集团公司第二十八研究所 基于彩色信息的尺度不变特征点描述和匹配方法
CN102236901A (zh) * 2011-06-30 2011-11-09 南京大学 基于图论聚类和色彩不变空间的目标跟踪方法
US9692991B2 (en) 2011-11-04 2017-06-27 Qualcomm Incorporated Multispectral imaging system
CN103999124B (zh) * 2011-11-04 2018-10-26 高通股份有限公司 多谱成像系统
CN103999124A (zh) * 2011-11-04 2014-08-20 高通股份有限公司 多谱成像系统
CN104111960A (zh) * 2013-04-22 2014-10-22 阿里巴巴集团控股有限公司 一种页面的匹配方法和装置
CN103533332A (zh) * 2013-10-22 2014-01-22 清华大学深圳研究生院 一种2d视频转3d视频的图像处理方法
CN103678558A (zh) * 2013-12-06 2014-03-26 中科联合自动化科技无锡有限公司 基于sift特征的嫌疑车辆检索方法
CN105447846A (zh) * 2014-08-25 2016-03-30 联想(北京)有限公司 一种图像处理方法及电子设备
CN104268199A (zh) * 2014-09-22 2015-01-07 扬州瑞丰信息技术有限公司 一种基于Web社交化媒体的图像自动标注方法
CN104268199B (zh) * 2014-09-22 2017-05-31 江苏瑞丰信息技术股份有限公司 一种基于Web社交化媒体的图像自动标注方法
CN104899558A (zh) * 2015-05-25 2015-09-09 东华大学 一种车载红外图像的场景识别及彩色化处理方法
CN106504304A (zh) * 2016-09-14 2017-03-15 厦门幻世网络科技有限公司 一种动画合成的方法及装置
CN106504304B (zh) * 2016-09-14 2019-09-24 厦门黑镜科技有限公司 一种动画合成的方法及装置
US11699298B2 (en) 2017-09-12 2023-07-11 Tencent Technology (Shenzhen) Company Limited Training method of image-text matching model, bi-directional search method, and relevant apparatus
CN108288067A (zh) * 2017-09-12 2018-07-17 腾讯科技（深圳）有限公司 图像文本匹配模型的训练方法、双向搜索方法及相关装置
US11087166B2 (en) 2017-09-12 2021-08-10 Tencent Technology (Shenzhen) Company Limited Training method of image-text matching model, bi-directional search method, and relevant apparatus
CN108288067B (zh) * 2017-09-12 2020-07-24 腾讯科技（深圳）有限公司 图像文本匹配模型的训练方法、双向搜索方法及相关装置
CN108175427A (zh) * 2017-12-26 2018-06-19 深圳先进技术研究院 啮齿类动物焦虑水平测试实验轨迹显示方法及装置
CN110121033A (zh) * 2018-02-06 2019-08-13 上海全土豆文化传播有限公司 视频编目方法及装置
CN110245667A (zh) * 2018-03-08 2019-09-17 中华映管股份有限公司 物件辨识方法及其装置
CN108230409A (zh) * 2018-03-28 2018-06-29 南京大学 基于颜色和内容多因素综合的图像相似性定量分析方法
CN108230409B (zh) * 2018-03-28 2020-04-17 南京大学 基于颜色和内容多因素综合的图像相似性定量分析方法
CN109034002A (zh) * 2018-07-04 2018-12-18 安徽淘云科技有限公司 实体书检测方法及装置
CN109308456A (zh) * 2018-08-31 2019-02-05 北京字节跳动网络技术有限公司 目标对象的信息确定方法、装置、设备及存储介质
CN111325777A (zh) * 2018-12-14 2020-06-23 北京沃东天骏信息技术有限公司 用于处理图像的方法和装置
CN109657083A (zh) * 2018-12-27 2019-04-19 广州华迅网络科技有限公司 纺织品图片特征库的建立方法和装置
CN110009558A (zh) * 2019-01-17 2019-07-12 柳州康云互联科技有限公司 一种简易的图像色彩归一化的办法
CN110209862A (zh) * 2019-05-22 2019-09-06 招商局金融科技有限公司 文本配图方法、电子装置及计算机可读存储介质
CN110209865A (zh) * 2019-05-24 2019-09-06 广州市云家居云科技有限公司 一种基于深度学习的物体识别及匹配方法
CN111191708A (zh) * 2019-12-25 2020-05-22 浙江省北大信息技术高等研究院 自动化样本关键点标注方法、装置及系统
CN111353536A (zh) * 2020-02-28 2020-06-30 北京字节跳动网络技术有限公司 图像的标注方法、装置、可读介质和电子设备
CN111882582A (zh) * 2020-07-24 2020-11-03 广州云从博衍智能科技有限公司 一种图像跟踪关联方法、系统、设备及介质
CN111882582B (zh) * 2020-07-24 2021-10-08 广州云从博衍智能科技有限公司 一种图像跟踪关联方法、系统、设备及介质
CN114170522A (zh) * 2022-02-14 2022-03-11 北京中科慧眼科技有限公司 基于色谱相似性度量的颜色分类识别方法和系统
CN115835448A (zh) * 2022-12-28 2023-03-21 无锡车联天下信息技术有限公司 一种调节灯光的方法、装置、内窥镜设备及介质
CN115835448B (zh) * 2022-12-28 2024-03-19 无锡车联天下信息技术有限公司 一种调节灯光的方法、装置、内窥镜设备及介质

Also Published As

Publication number Publication date
CN102012939B (zh) 2012-11-14

Similar Documents

Publication Publication Date Title
CN102012939A (zh) 综合颜色和局部不变特征匹配的动画场景自动标注方法
Recky et al. Windows detection using k-means in cie-lab color space
CN105718945B (zh) 基于分水岭和神经网络的苹果采摘机器人夜间图像识别方法
CN102073748B (zh) 一种基于视觉关键词的遥感影像语义检索方法
CN109684922B (zh) 一种基于卷积神经网络的多模型对成品菜的识别方法
CN105528575B (zh) 基于上下文推理的天空检测方法
CN102542058A (zh) 一种融合全局与局部视觉特征的层次化地标识别方法
CN101211356A (zh) 一种基于显著区域的图像查询方法
CN104376105A (zh) 一种社会媒体中图像低层视觉特征与文本描述信息的特征融合系统及方法
WO2021082168A1 (zh) 一种场景图像中特定目标对象的匹配方法
TW201331772A (zh) 圖像索引的產生方法及設備
CN106682684B (zh) 一种基于k均值聚类的目标识别方法
CN103186538A (zh) 一种图像分类方法和装置、图像检索方法和装置
CN104361348B (zh) 一种智能终端上的花卉识别方法
CN102184250A (zh) 基于彩色图像匹配的服装面料样品检索方法
CN108073940B (zh) 一种非结构化环境中的3d目标实例物体检测的方法
Lodh et al. Flower recognition system based on color and GIST features
CN108647703B (zh) 一种基于显著性的分类图像库的类型判断方法
CN114140665A (zh) 一种基于改进YOLOv5的密集小目标检测方法
CN107657276B (zh) 一种基于寻找语义类簇的弱监督语义分割方法
CN112381830B (zh) 基于YCbCr超像素和图割的鸟类关键部位提取方法和装置
CN109427068A (zh) 基于超像素自动标注的深度学习共分割方法
Gouiffès et al. Body color sets: A compact and reliable representation of images
CN109299295B (zh) 蓝印花布图像数据库搜索方法
CN111159456A (zh) 基于深度学习与传统特征的多尺度服装检索方法及系统

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20121114

Termination date: 20211213

CF01 Termination of patent right due to non-payment of annual fee