CN103577409A - 一种图像搜索中建立图像索引的方法和装置 - Google Patents

一种图像搜索中建立图像索引的方法和装置 Download PDF

Info

Publication number
CN103577409A
CN103577409A CN201210250725.7A CN201210250725A CN103577409A CN 103577409 A CN103577409 A CN 103577409A CN 201210250725 A CN201210250725 A CN 201210250725A CN 103577409 A CN103577409 A CN 103577409A
Authority
CN
China
Prior art keywords
point
euclidean distance
proximity
unique point
index
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201210250725.7A
Other languages
English (en)
Other versions
CN103577409B (zh
Inventor
薛晖
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Alibaba Group Holding Ltd
Original Assignee
Alibaba Group Holding Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Alibaba Group Holding Ltd filed Critical Alibaba Group Holding Ltd
Priority to CN201210250725.7A priority Critical patent/CN103577409B/zh
Publication of CN103577409A publication Critical patent/CN103577409A/zh
Application granted granted Critical
Publication of CN103577409B publication Critical patent/CN103577409B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/58Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/583Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content

Landscapes

  • Engineering & Computer Science (AREA)
  • Library & Information Science (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Processing Or Creating Images (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明公开了一种图像搜索中建立图像索引的方法和装置,本发明所提供的方法,提取索引图像的多个索引特征点向量,并将索引图像多次模拟变形,得到多个形变图像,提取挑选出的形变图像中的多个形变特征点向量,计算挑选出的索引特征点向量分别在挑选出的形变图像中的最临近点欧氏距离和次临近点欧氏距离,统计挑选出的索引特征点分别在挑选出的形变图像中的最临近点欧氏距离和次临近点欧氏距离的比值小于第一预设阈值的次数,得到挑选出的索引特征点向量的稳定次数,选取稳定次数由大到小排列在前M的索引特征点向量作为稳定点建立图像索引,其中,M为任意一个自然数,本发明所提供的装置是与方法所对应的装置,提高了图像搜索的精度。

Description

一种图像搜索中建立图像索引的方法和装置
技术领域
本申请涉及图像分析领域,特别是一种图像搜索中建立图像索引的方法和装置。
背景技术
互联网络上传统的图像搜索引擎主要是基于图像的文件名建立索引,通过输入文件名来实现图像搜索功能。图像的文件名一般只有少量的文字,只描述了图像的某一个或某几个典型的特征,不能精确的描述图像的全部特征,因此,输入文件名进行搜索后,可以得到很多具有相同或相近典型特征的图像,造成图像搜索的准确率很低。
目前,有的搜索引擎采用基于内容的图像搜索方法。基于内容的图像搜索指的是,提取索引图像的底层特征并建立索引特征点,主要可以分为以下步骤:
提取索引图像的底层特征,包括颜色、外观、纹理或形状等底层特征;
使用视觉词典对提取的底层特征进行量化,每一个索引图像的底层特征都会被量化为视觉词典中的某一个视觉词;
按照视觉词建立倒排文档作为索引特征点。
在进行图像搜索时,将一个查询图像本身或者将对查询图像内容的描述作为查询条件,搜索引擎通过比较索引图像中的底层特征和查询条件之间的距离,来获得与查询图像最近似的索引图像,最终实现图像的搜索功能。
通常,一个索引图像的底层特征有很多,例如,一张普通大小(1000*800)的索引图像,大约可以提取到2000个以上的底层特征,针对如此庞大的底层特征建立图像索引,不仅需要很大的索引文件存储空间,而且,在建立和查询图像索引的时间上,也会导致时间开销比较大。
针对上述底层特征过多而导致的耗时和耗成本问题,在中国专利:《面向近重复图像匹配的SIFT特征裁减方法》(申请号/专利号:200910152880.3)中公开了一种特征裁剪的方法,即减少底层特征的方法。其公开的方法如下:对图像库中每一幅图像进行高斯核卷积处理,得到图像的关键特征点;对关键特征点对比度和关键特征点主曲率比分别进行高斯归一化,并对归一化处理结果进行线性加权得到各个关键特征点的显著度;按照关键特征点的显著度从小到大的顺序,选取用户指定数目的关键特征点,实现图像的特征裁减。
使用上述方法可以减少索引图像的底层特征,不仅有效控制了索引文件的大小,提高系统的运行速度,节约了存储空间,缩短了建立和查询图像索引的时间,并且,也减少了由于不稳定特征点引入的错误匹配,从而在一定程度上提高了图像搜索的准确率。
然而,在实现本申请的过程中,本申请的发明人发现上述方法至少存在如下缺陷:
首先,虽然上述专利公开的特征裁剪方法解决了由于底层特征过多而导致的各种问题,但是,在图像搜索过程中,由于索引图像与输入图像之间还存在亮度(明暗)、尺度(缩放)、旋转、仿射、遮挡或图像裁剪等因素的变化,而这些因素会导致索引图像的索引特征点与查询图像的查询特征点之间匹配错误,降低了图像搜索的精度;
其次,由于索引图像本身还存在对称性或周期性等自相似性的结构影响,也容易使索引图像的索引特征点与查询图像的查询特征点之间产生匹配错误,进一步降低了图像的搜索精度。
申请内容
有鉴于此,本申请提供了一种图像搜索中建立图像索引的方法和装置,选取稳定次数由大到小排列在前M的索引特征点向量作为稳定点建立图像索引,提高了图像搜索的精度。
一种图像搜索中建立图像索引的方法,所述方法包括:
提取索引图像的多个索引特征点向量,并将索引图像多次模拟变形,得到多个形变图像,提取挑选出的形变图像中的多个形变特征点向量;
计算挑选出的索引特征点向量分别与挑选出的形变图像中的最临近点形变特征点向量的欧氏距离作为挑选出的索引特征点分别在挑选出的形变图像中的最临近点欧氏距离,并计算挑选出的索引特征点向量分别与挑选出的形变图像中的次临近点形变特征点向量的欧氏距离作为挑选出的索引特征点分别在挑选出的形变图像中的次临近点欧氏距离;
统计挑选出的索引特征点分别在挑选出的形变图像中的最临近点欧氏距离和次临近点欧氏距离的比值小于第一预设阈值的次数,得到挑选出的索引特征点向量的稳定次数;
选取稳定次数由大到小排列在前M的索引特征点向量作为稳定点建立图像索引,其中,M为任意一个自然数。
优选的,所述提取索引图像的多个索引特征点向量后进一步包括:
计算任意两个索引特征点向量的欧氏距离作为特征点欧氏距离;
判断所述特征点欧氏距离是否小于第二预设阈值,如果是,将所述两个索引特征点向量剔除。
优选的,所述计算挑选出的索引特征点向量分别与挑选出的形变图像中的最临近点形变特征点向量的欧氏距离作为挑选出的索引特征点分别在挑选出的形变图像中的最临近点欧氏距离,并计算挑选出的索引特征点向量分别与挑选出的形变图像中的次临近点形变特征点向量的欧氏距离作为挑选出的索引特征点分别在挑选出的形变图像中的次临近点欧氏距离具体包括:
查找挑选出的索引特征点向量分别在挑选出的形变图像中的多个临近点形变特征点向量;
计算挑选出的索引特征点向量与每一个临近点形变特征点向量的第一欧氏距离;
选取最小的第一欧氏距离作为最临近点欧氏距离,选取第二小的第一欧氏距离作为次临近点欧氏距离。
优选的,所述计算挑选出的索引特征点向量分别与挑选出的形变图像中的最临近点形变特征点向量的欧氏距离作为挑选出的索引特征点分别在挑选出的形变图像中的最临近点欧氏距离,并计算挑选出的索引特征点向量分别与挑选出的形变图像中的次临近点形变特征点向量的欧氏距离作为挑选出的索引特征点分别在挑选出的形变图像中的次临近点欧氏距离具体包括:
计算挑选出的索引特征点向量分别与挑选出的形变图像中的所有形变特征点向量的第二欧氏距离;
选取最小的第二欧氏距离作为最临近点欧氏距离,选取第二小的第二欧氏距离作为次临近点欧氏距离。
优选的,所述将索引图像多次模拟变形包括:
将索引图像通过改变亮度、改变分辨率、改变采样角度、不同视角下放射变换中的任意一种或任意多种方式进行多次模拟变形。
一种图像搜索中建立图像索引的装置,所述装置包括:
图像处理模块,用于提取索引图像的多个索引特征点向量,并将索引图像多次模拟变形,得到多个形变图像,提取挑选出的形变图像中的多个形变特征点向量;
欧氏距离获取模块,用于计算挑选出的索引特征点向量分别与挑选出的形变图像中的最临近点形变特征点向量的欧氏距离作为挑选出的索引特征点分别在挑选出的形变图像中的最临近点欧氏距离,并计算挑选出的索引特征点向量分别与挑选出的形变图像中的次临近点形变特征点向量的欧氏距离作为挑选出的索引特征点分别在挑选出的形变图像中的次临近点欧氏距离;
稳定次数累计模块,用于统计挑选出的索引特征点分别在挑选出的形变图像中的最临近点欧氏距离和次临近点欧氏距离的比值小于第一预设阈值的次数,得到挑选出的索引特征点向量的稳定次数;
稳定点输出模块,用于选取稳定次数由大到小排列在前M的索引特征点向量作为稳定点建立图像索引,其中,M为任意一个自然数。
优选的,所述装置进一步包括:
特征点欧氏距离计算模块和特征点剔除模块;
所述特征点欧氏距离计算模块,用于计算任意两个索引特征点向量的欧氏距离作为特征点欧氏距离;
所述特征点剔除模块,用于判断所述特征点欧氏距离是否小于第二预设阈值,如果是,将所述特征点欧氏距离对应的两个索引特征点向量剔除。
优选的,所述欧氏距离获取模块包括:
临近点查找模块、第一欧氏距离计算模块和第一欧氏距离选取模块;
所述临近点查找模块,用于查找挑选出的索引特征点向量分别在挑选出的形变图像中的多个临近点形变特征点向量;
所述第一欧氏距离计算模块,用于计算挑选出的索引特征点向量与每一个临近点形变特征点向量的第一欧氏距离;
所述第一欧氏距离选取模块,用于选取最小的第一欧氏距离作为最临近点欧氏距离,选取第二小的第一欧氏距离作为次临近点欧氏距离。
优选的,所述欧氏距离获取模块包括:
第二欧氏距离计算模块和第二欧氏距离选取模块;
所述第二欧氏距离计算模块,用于计算挑选出的索引特征点向量分别与挑选出的形变图像中的所有形变特征点向量的第二欧氏距离;所述第二欧氏距离选取模块,用于选取最小的第二欧氏距离作为最临近点欧氏距离,选取第二小的第二欧氏距离作为次临近点欧氏距离。
由上述申请内容可知,本申请有如下有益效果:
提取索引图像的多个索引特征点向量,并将索引图像多次模拟变形,得到多个形变图像,提取挑选出的形变图像中的多个形变特征点向量,计算挑选出的索引特征点向量分别在挑选出的形变图像中的最临近点欧氏距离和次临近点欧氏距离,统计挑选出的索引特征点向量的稳定次数,选取稳定次数由大到小排列在前M的索引特征点向量作为稳定点建立图像索引,所选取的建立图像索引的稳定点,是在多个形变图像中,稳定次数排在前M的索引特征点向量,稳定次数越高,表明在亮度(明暗)、尺度(缩放)、旋转、仿射、遮挡或图像裁剪等因素的变化时,这些稳定点变化越小,使用稳定次数越高稳定点建立图像索引,减少匹配错误,提高了图像搜索的精度;
其次,提取索引图像的多个索引特征点向量,计算任意两个索引特征点向量的欧氏距离作为特征点欧氏距离,判断所述特征点欧氏距离是否小于第二预设阈值,如果是,将所述两个索引特征点向量剔除,从剔除后的索引特征点向量提取稳定点,不易受到索引图像本身存在的对称性或周期性等自相似性的结构的影响,提高了图像搜索的精度。
附图说明
为了更清楚地说明本申请实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本申请的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1为本申请一种图像搜索中建立图像索引的方法实施例一流程图;
图2为本申请一种图像搜索中建立图像索引的方法实施例二流程图;
图3(a)为最临近点欧氏距离T0和次临近点欧氏距离T1的比值小于第一预设阈值示意图;
图3(b)为最临近点欧氏距离T0和次临近点欧氏距离T1的比值大于第一预设阈值示意图;
图4为本申请一种图像搜索中建立图像索引的装置实施例三结构图;
图5为本申请一种图像搜索中建立图像索引的装置实施例四结构图;
图6为欧氏距离获取模块一个具体结构图;
图7为欧氏距离获取模块另一个具体结构图。
具体实施方式
本申请提供了一种图像搜索中建立图像索引的方法和装置,选取稳定次数由大到小排在前M的索引特征点向量作为稳定点建立图像索引。
本申请提供的方法,提取索引图像的多个索引特征点向量,并将索引图像多次模拟变形,得到多个形变图像,提取挑选出的形变图像中的多个形变特征点向量,计算挑选出的索引特征点向量分别与挑选出的形变图像中的最临近点形变特征点向量的欧氏距离作为挑选出的索引特征点向量分别在挑选出的形变图像中的最临近点欧氏距离,并计算挑选出的索引特征点向量分别与挑选出的形变图像中的次临近点形变特征点向量的欧氏距离作为挑选出的索引特征点向量分别在挑选出的形变图像中的次临近点欧氏距离,统计挑选出的索引特征点向量分别在挑选出的形变图像中的最临近点欧氏距离和次临近点欧氏距离的比值小于第一预设阈值的次数,得到挑选出的索引特征点向量的稳定次数,选取稳定次数由大到小排列在前M的索引特征点向量作为稳定点建立图像索引,其中,M为任意一个自然数。
本申请提供的装置,图像处理模块,用于提取索引图像的多个索引特征点向量,并将索引图像多次模拟变形,得到多个形变图像,提取挑选出的形变图像中的多个形变特征点向量,欧氏距离获取模块,用于计算挑选出的索引特征点向量分别与挑选出的形变图像中的最临近点形变特征点向量的欧氏距离作为挑选出的索引特征点向量分别在挑选出的形变图像中的最临近点欧氏距离,并计算挑选出的索引特征点向量分别与挑选出的形变图像中的次临近点形变特征点向量的欧氏距离作为挑选出的索引特征点向量分别在挑选出的形变图像中的次临近点欧氏距离,稳定次数累计模块,用于统计挑选出的索引特征点向量分别在挑选出的形变图像中的最临近点欧氏距离和次临近点欧氏距离的比值小于第一预设阈值的次数,得到挑选出的索引特征点向量的稳定次数,稳定点输出模块,用于选取稳定次数由大到小排列在前M的索引特征点向量作为稳定点建立图像索引,其中,M为任意一个自然数。
下面结合附图对本申请进行详细说明。
实施例一
图1所示的是本申请一种图像搜索中建立图像索引的方法实施例一流程图,具体包括:
步骤101:提取索引图像的多个索引特征点向量,并将索引图像多次模拟变形,得到多个形变图像,提取挑选出的形变图像中的多个形变特征点向量。
可以采用SIFT(Scale-invariant feature transform)、SURF(Speeded UpRobust Feature)或PCA-SIFT(Priciple Component Analysis SIFT)的方法提取索引图像和形变图像中的特征点向量。
其中,一个索引特征点向量用于表征一个索引特征点,该索引特征点向量包含了索引特征点的颜色向量、纹理向量、空间位置向量等底层特征向量,是一个多维度向量。本申请中,以128维度向量为例。
将索引图像多次模拟变形包括:通过改变亮度、改变分辨率、改变采样角度、不同视角下放射变换中的任意一种或任意多种方式对索引图像进行多次模拟变形。
其中,挑选出的形变图像可以挑选出所有的形变图像,也可以根据实际要求挑选出部分形变图像,本实施例中以挑选出所有形变图像为例。
步骤102:计算挑选出的索引特征点向量分别与挑选出的形变图像中的最临近点形变特征点向量的欧氏距离作为挑选出的索引特征点分别在挑选出的形变图像中的最临近点欧氏距离,并计算挑选出的索引特征点向量分别与挑选出的形变图像中的次临近点形变特征点向量的欧氏距离作为挑选出的索引特征点分别在挑选出的形变图像中的次临近点欧氏距离。
挑选出的索引特征点向量可以挑选出所有提取出的索引特征点向量,也可以根据实际情况挑选出部分索引特征点向量,本实施例以挑选出所有提取出的索引特征点向量为例。
最临近点是与索引特征向量欧氏距离最小的点,次临近点是与索引特征向量欧氏距离第二小的点。
其中,一个形变特征点向量表征一个形变特征点,该形变特征点向量包含了形变特征点的颜色向量、纹理向量、空间位置向量等底层特征向量,是一个多维度向量。本申请中,以128维度向量为例。
在形变图像中与索引特征点向量欧氏距离最小的形变特征点向量为此索引特征点向量在此形变图像中的最临近点形变特征点向量,挑选出的索引特征点向量在挑选出的形变图像中都有一个最临近点形变特征向量。
在形变图像中与索引特征点向量欧氏距离第二小的形变特征点向量为此索引特征点向量在此形变图像中的次临近点形变特征点向量,挑选出的索引特征点向量在挑选出的形变图像中都有一个次临近点形变特征向量。
步骤103:统计挑选出的索引特征点向量分别在挑选出的形变图像中的最临近点欧氏距离和次临近点欧氏距离的比值小于第一预设阈值的次数,得到挑选出的索引特征点向量的稳定次数。
挑选出的索引特征点向量在挑选出的形变图像中的最临近点欧氏距离和次临近点欧氏距离的比值小于第一预设阈值,则认为此索引特征点向量在此形变图像中与最临近点形变特征向量匹配,则此索引特征点的稳定次数加1。
其中,第一预设阈值是根据实际计算总结得出,可以根据计算方法的不断优化进行修改,确定第一预设阈值的方法如下:
将索引特征点在挑选出的形变图像中的最临近点作为此索引特征点在挑选出的形变图像中的匹配点,计算此索引特征点在挑选出的形变图像中的最临近点与次临近点的比值;
通过人工方式标注,确定索引特征点在挑选出的形变图像中的匹配点是否匹配正确(假设匹配正确为1,匹配错误为0);
设定挑选出的索引特征点Si在每一幅挑选出的形变图像Pj中的向量为Yij(最近邻点与次近邻点的比值,是否匹配正确),其中,i、j为自然数;
挑选出的索引特征点Si得到j幅挑选出的形变图像中的向量Yij,每幅索引图像有i个挑选出的索引特征点,每幅索引图像得到i×j个向量Yij,选取m幅挑选出的索引图像进行统计,得到i×j×m个向量Yij,其中,m为自然数;
按照最近邻点与次近邻点的比值大小进行排序,设N=i×j×m,匹配正确的个数为Nt,匹配错误的个数为Nf,则N=Nt+Nf
同时,假设大于阈值的向量个数为Nl,小于阈值的向量个数为Ns;大于阈值的向量中,匹配正确的个数为Nlt,匹配错误的个数为Nlf;小于阈值的向量中,匹配正确的个数为Nst,匹配错误的个数为Nsf,则
Nl=Nlt+Nlf
Ns=Nst+Nsf
Nt=Nlt+Nst
Nf=Nlf+Nsf
找最优阈值,取每相邻两个向量Yij中最近邻点与次近邻点的比值的平均值作为阈值L,统计准确率
Figure BDA00001907599000101
即小于阈值L的向量中,匹配正确的比例;召回率即小于阈值L正确匹配的数量,与正确匹配总数的比值;
随着阈值L的提高,准确率K呈上升趋势、而召回率R呈下降趋势,按照不同业务对指标(准确率、召回率)的需求不同,选择对应的阈值作为第一预设阈值,本申请中的第一预设阈值为0.6。
步骤104:选取稳定次数由大到小排列在前M的索引特征点向量作为稳定点建立图像索引,其中,M为任意一个自然数。
优选的,在建立图像索引时,M的取值以建立图像索引时,本领域常用的索引数量为依据进行确定。
索引特征点向量的稳定次数越大,代表此索引特征点向量在形变后越稳定,则其建立的图像索引在搜索时精确度越高。
由上述内容可知,本申请具有以下有益效果:
提取索引图像的多个索引特征点向量,并将索引图像多次模拟变形,得到多个形变图像,提取挑选出的形变图像中的多个形变特征点向量,计算挑选出的索引特征点向量分别与挑选出的形变图像中的最临近点欧氏距离和次临近点欧氏距离,挑选出的索引特征点向量的稳定次数,选取稳定次数由大到小排列在前M的索引特征点向量作为稳定点建立图像索引,所选取的建立图像索引的稳定点,是在多个形变图像中,稳定次数排在前M的索引特征点向量,稳定次数越高,表明在亮度(明暗)、尺度(缩放)、旋转、仿射、遮挡或图像裁剪等因素的变化时,这些稳定点变化越小,使用稳定次数越高稳定点建立图像索引,减少匹配错误,提高了图像搜索的精度。
实施例二
图2所示的是本申请一种图像搜索中建立图像索引的方法实施例二流程图,与实施例一相比,本实施例中,在提取索引图像的多个索引特征点向量后,增加了剔除不稳定索引特征点向量,具体步骤如下:
步骤201:提取索引图像的多个索引特征点向量。
可以采用SIFT(Scale-invariant feature transform)、SURF(Speeded UpRobust Feature)或PCA-SIFT(Priciple Component Analysis SIFT)的方法提取索引图像中的索引特征点向量。
步骤202:计算任意两个索引特征点向量的欧氏距离作为特征点欧氏距离。
欧氏距离(Euclidean distance)也称欧几里得度量,是一个常用的距离定义,它表示n维空间中的两个点之间的真实距离。欧氏距离的计算如下所示:
二维空间中两个点:A(x1,y1),B(x2,y2),则二维空间欧氏距离计算公式为:
ρ(A,B)=sqrt[(x1-x2)2+(y1-y2)2]
n维空间是一个点集,点集中的每个点P可以表示为(P[1],P[2],...,P[n]),其中P[i](i=1,2,...,n)是实数,称为P的第i个坐标,则n维空间中两个点C=(c[1],c[2],...,c[n])和D=(d[1],d[2],...,d[n])之间的欧氏距离计算公式为:
ρ ( C , D ) = sqrt [ Σ i = 1 i = n ( c [ i ] - b [ i ] ) 2 ] ( i = 1,2 , . . . , n )
其中,n为自然数。
步骤203:判断所述特征点欧氏距离是否小于第二预设阈值,如果是,将所述两个索引特征点向量剔除。
两个索引特征点之间的欧氏距离越近,说明两个索引特征点的相似度越大,当索引图片本身存在对称性或周期性等自相似性的结构时,容易产生错误匹配,因此,将欧氏距离小于第二预设阈值的两个索引特征点剔除。
其中,第二预设阈值是根据实际计算总结得出,可以根据计算方法的不断优化进行修改,确定第一预设阈值的方法如下:
计算索引图像中每两个索引特征点的欧氏距离Tij,将所得的欧氏距离从小到大排列,将所得的每一个欧氏距离作为阈值进行剔除索引特征点,将剔除后的索引特征点建立图像索引,统计图像搜索的准确度,按照不同业务对指标(准确度)需求的不同,选择对应的阈值作为第二预设阈值,在本申请中,第二预设阈值为20。
步骤204:将索引图像多次模拟变形,得到多个形变图像,提取挑选出的形变图像中的多个形变特征点向量。
将索引图像通过改变亮度、改变分辨率、改变采样角度、不同视角下放射变换中的任意一种或任意多种方式进行多次模拟变形。
优选的,改变索引图像的亮度具体为:
通过增减亮度的方式来模拟不同光照条件下图像的变化,将原始的RGB色彩模式转化为HSV色彩空间,对明度(V)通道按照一定间隔量进行提升或减少,从而获得若干不同光照亮度的生成图。例如,在本申请中,可以分别对索引图像的明度通道进行-50,-40,-30,-20,-10,10,20,30,40,50的提升,获得10幅形变图像。
优选的,改变索引图像分辨率具体为:
本申请通过模拟多种不同的分辨率,生成不同大小的形变图像,例如,具体模拟出索引图像边长的30%、60%、90%、120%、150%、180%、210%、240%、270%、300%大小的10幅形变图像。
优选的,改变索引图像的采样角度具体为:
在0-180度范围内均匀改变采样角度,将索引图像进行旋转处理,例如,本申请可以选择采样角度的间隔为30度,即分别生成0(原始索引图像)、30、60、90、120、150、1807幅形变图像。
优选的,将索引图像在不同视角下放射变换具体为:
通过设置特定的采样间隔,根据单应矩阵进行计算得到,这是现有技术,这里不再赘述。
可以采用SIFT(Scale-invariant feature transform)、SURF(Speeded UpRobust Feature)或PCA-SIFT(Priciple Component Analysis SIFT)的方法提取形变图像中的形变特征点向量。
其中,挑选出的形变图像可以挑选出所有的形变图像,也可以根据实际要求挑选出部分形变图像,本实施例中以挑选出所有形变图像为例。
需要说明的是,只要在步骤205之前执行步骤204即可,本发明实施例并不限定步骤204与其它步骤之间的执行顺序,除了本实施例中的执行顺序之外,还可以在步骤201至步骤203任意一个步骤之前执行。
步骤205:计算剔除后余下的挑选出的索引特征点向量分别与挑选出的形变图像中的最临近点形变特征点向量的欧氏距离作为剔除后余下的挑选出的索引特征点分别在挑选出的形变图像中的最临近点欧氏距离,并计算剔除后余下的挑选出的索引特征点向量分别与挑选出的形变图像中的次临近点形变特征点向量的欧氏距离作为剔除后余下的挑选出的索引特征点分别在挑选出的形变图像中的次临近点欧氏距离。
以一个索引特征点向量S0为例,计算S0在其中一幅形变图像P中的最临近点欧氏距离T0和次临近点欧氏距离T1,具体步骤如下:
查找S0在形变图像P中的多个临近点形变特征点向量,计算S0与每一个临近点形变特征点向量的第一欧氏距离,选取最小的第一欧氏距离作为最临近点欧氏距离T0,选取第二小的第一欧氏距离作为次临近点欧氏距离T1
挑选出的索引特征点向量可以挑选出所有剔除后余下的出的索引特征点向量,也可以根据实际情况挑选出部分剔除后余下的索引特征点向量,本实施例以挑选出所有剔除后余下的索引特征点向量为例。
其中,查找S0在形变图像P中的多个临近点形变特征点向量的方法为现有技术,这里不再赘述。
上述方法还可以通过以下步骤实现:
计算S0分别与形变图像P中的所有形变特征点向量的第二欧氏距离,选取最小的第二欧氏距离作为最临近点欧氏距离T0,选取第二小的第二欧氏距离作为次临近点欧氏距离T1
显然,第一种方法与第二种方法相比,可以节省计算次数,减小系统开销,但实现过程也相对比较复杂。
步骤206:统计挑选出的索引特征点分别在挑选出的形变图像中的最临近点欧氏距离和次临近点欧氏距离的比值小于第一预设阈值的次数,得到每一个索引特征点向量的稳定次数。
如图3(a)所示,当最临近点欧氏距离T0和次临近点欧氏距离T1的比值小于第一预设阈值时,最临近点欧氏距离T0和次临近点欧氏距离T1差别较大,则认为此时最临近点向量S1与索引特征点向量S0匹配,形变图像P发生形变后,索引特征点向量S0仍能够匹配正确,因此,稳定次数加1。
如图3(b)所示,当最临近点欧氏距离T0和次临近点欧氏距离T1的比值大于第一预设阈值时,最临近点欧氏距离T0和次临近点欧氏距离T1差别较小,则认为此时最临近点向量S1与索引特征点向量S0匹配错误,形变图像P发生形变后,索引特征点向量S0匹配不正确,稳定次数不增加。
统计挑选出的索引特征点向量在挑选出的形变图像中的稳定次数,其中,第一预设阈值为经验值,可根据实际的实验结果进行修正,优选的,本申请第一预设阈值设置为0.6。
步骤207:选取稳定次数由大到小排列在前M的索引特征点向量作为稳定点建立图像索引,其中,M为任意一个自然数。
稳定次数高的索引特征点在图像进行形变后,还能进行正确匹配,因此,提高图像搜索的精度。
由上述内容可知,实施例二与实施例一相比还有如下有益效果:
提取索引图像的多个索引特征点向量,计算任意两个索引特征点向量的欧氏距离作为特征点欧氏距离,判断所述特征点欧氏距离是否小于第二预设阈值,如果是,将所述两个索引特征点向量剔除,从剔除后的索引特征点向量提取稳定点,不易受到索引图像本身存在的对称性或周期性等自相似性的结构的影响,提高了图像搜索的精度。
实施例三
图4所示的是本申请一种图像搜索中建立图像索引的装置实施例三结构图,此实施例为实施例一方法所对应的装置,所述装置包括:
图像处理模块401,用于提取索引图像的多个索引特征点向量,并将索引图像多次模拟变形,得到多个形变图像,提取挑选出的形变图像中的多个形变特征点向量。
欧氏距离获取模块402,用于计算挑选出的索引特征点向量分别与挑选出的形变图像中的最临近点形变特征点向量的欧氏距离作为挑选出的索引特征点向量分别在挑选出的形变图像中的最临近点欧氏距离,并计算挑选出的索引特征点向量分别与挑选出的形变图像中的次临近点形变特征点向量的欧氏距离作为挑选出的索引特征点向量分别在挑选出的形变图像中的次临近点欧氏距离。
稳定次数累计模块403,用于统计挑选出的索引特征点向量分别在挑选出的形变图像中的最临近点欧氏距离和次临近点欧氏距离的比值小于第一预设阈值的次数,得到挑选出的索引特征点向量的稳定次数。
稳定点输出模块404,用于选取稳定次数由大到小排列在前M的索引特征点向量作为稳定点建立图像索引,其中,M为任意一个自然数。
实施例四
图5所示的是本申请一种图像搜索中建立图像索引的装置实施例四结构图,此实施例为实施例二方法所对应的装置,所述装置包括:
图像处理模块401,用于提取索引图像的多个索引特征点向量,并将索引图像多次模拟变形,得到多个形变图像,提取挑选出的形变图像中的多个形变特征点向量。
特征点欧氏距离计算模块501,用于计算任意两个索引特征点向量的欧氏距离作为特征点欧氏距离;
特征点剔除模块502,用于判断所述特征点欧氏距离是否小于第二预设阈值,如果是,将所述特征点欧氏距离对应的两个索引特征点向量剔除;
欧氏距离获取模块402,用于计算挑选出的索引特征点向量分别与挑选出的形变图像中的最临近点形变特征点向量的欧氏距离作为挑选出的索引特征点向量分别在挑选出的形变图像中的最临近点欧氏距离,并计算挑选出的索引特征点向量分别与挑选出的形变图像中的次临近点形变特征点向量的欧氏距离作为挑选出的索引特征点向量分别在每一幅形变图像中的次临近点欧氏距离具体为:计算剔除后余下的挑选出的索引特征点向量分别与挑选出的形变图像中的最临近点形变特征点向量的欧氏距离作为剔除后余下的挑选出的索引特征点向量分别在挑选出的形变图像中的最临近点欧氏距离,并计算剔除后余下的挑选出的索引特征点向量分别与挑选出的形变图像中的次临近点形变特征点向量的欧氏距离作为剔除后余下的挑选出的索引特征点向量分别在挑选出的形变图像中的次临近点欧氏距离。
图6所示的是欧氏距离获取模块402一个具体结构图:
临近点查找模块601,用于查找挑选出的索引特征点向量分别在挑选出的形变图像中的多个临近点形变特征点向量;
第一欧氏距离计算模块602,用于计算挑选出的索引特征点向量与每一个临近点形变特征向量的第一欧氏距离;
第一欧氏距离选取模块603,用于选取最小的第一欧氏距离作为最临近点欧氏距离,选取第二小的第一欧氏距离作为次临近点欧氏距离。
图7所示的是欧氏距离获取模块402另一个具体结构图:
第二欧氏距离计算模块701,用于计算挑选出的索引特征点向量分别与挑选出的形变图像中的所有形变特征点向量的第二欧氏距离;
第二欧氏距离选取模块702,用于选取最小的第二欧氏距离作为最临近点欧氏距离,选取第二小的第二欧氏距离作为次临近点欧氏距离。
稳定次数累计模块403,用于统计挑选出的索引特征点向量分别在挑选出的形变图像中的最临近点欧氏距离和次临近点欧氏距离的比值小于第一预设阈值的次数,得到每一个索引特征点向量的稳定次数。
稳定点输出模块404,用于选取稳定次数由大到小排列在前M的索引特征点向量作为稳定点建立图像索引,其中,M为自然数。
显然,本领域的技术人员应该明白,上述的本申请的各模块或各步骤可以用通用的计算装置来实现,它们可以集中在单个的计算装置上,或者分布在多个计算装置所组成的网络上,可选地,它们可以用计算装置可执行的程序代码来实现,从而,可以将它们存储在存储装置中由计算装置来执行,并且在某些情况下,可以以不同于此处的顺序执行所示出或描述的步骤,或者将它们分别制作成各个集成电路模块,或者将它们中的多个模块或步骤制作成单个集成电路模块来实现。这样,本申请不限制于任何特定的硬件和软件结合。
以上所述仅为本申请的较佳实施例而已,并不用以限制本申请,凡在本申请的精神和原则之内,所作的任何修改、等同替换、改进等,均应包含在本申请的保护范围之内。

Claims (9)

1.一种图像搜索中建立图像索引的方法,其特征在于,所述方法包括:
提取索引图像的多个索引特征点向量,并将索引图像多次模拟变形,得到多个形变图像,提取挑选出的形变图像中的多个形变特征点向量;
计算挑选出的索引特征点向量分别与挑选出的形变图像中的最临近点形变特征点向量的欧氏距离作为挑选出的索引特征点分别在挑选出的形变图像中的最临近点欧氏距离,并计算挑选出的索引特征点向量分别与挑选出的形变图像中的次临近点形变特征点向量的欧氏距离作为挑选出的索引特征点分别在挑选出的形变图像中的次临近点欧氏距离;
统计挑选出的索引特征点分别在挑选出的形变图像中的最临近点欧氏距离和次临近点欧氏距离的比值小于第一预设阈值的次数,得到挑选出的索引特征点向量的稳定次数;
选取稳定次数由大到小排列在前M的索引特征点向量作为稳定点建立图像索引,其中,M为任意一个自然数。
2.根据权利要求1所述的方法,其特征在于,所述提取索引图像的多个索引特征点向量后进一步包括:
计算任意两个索引特征点向量的欧氏距离作为特征点欧氏距离;
判断所述特征点欧氏距离是否小于第二预设阈值,如果是,将所述两个索引特征点向量剔除。
3.根据权利要求1所述的方法,其特征在于,所述计算挑选出的索引特征点向量分别与挑选出的形变图像中的最临近点形变特征点向量的欧氏距离作为挑选出的索引特征点分别在挑选出的形变图像中的最临近点欧氏距离,并计算挑选出的索引特征点向量分别与挑选出的形变图像中的次临近点形变特征点向量的欧氏距离作为挑选出的索引特征点分别在挑选出的形变图像中的次临近点欧氏距离具体包括:
查找挑选出的索引特征点向量分别在挑选出的形变图像中的多个临近点形变特征点向量;
计算挑选出的索引特征点向量与每一个临近点形变特征点向量的第一欧氏距离;
选取最小的第一欧氏距离作为最临近点欧氏距离,选取第二小的第一欧氏距离作为次临近点欧氏距离。
4.根据权利要求1所述的方法,其特征在于,所述计算挑选出的索引特征点向量分别与挑选出的形变图像中的最临近点形变特征点向量的欧氏距离作为挑选出的索引特征点分别在挑选出的形变图像中的最临近点欧氏距离,并计算挑选出的索引特征点向量分别与挑选出的形变图像中的次临近点形变特征点向量的欧氏距离作为挑选出的索引特征点分别在挑选出的形变图像中的次临近点欧氏距离具体包括:
计算挑选出的索引特征点向量分别与挑选出的形变图像中的所有形变特征点向量的第二欧氏距离;
选取最小的第二欧氏距离作为最临近点欧氏距离,选取第二小的第二欧氏距离作为次临近点欧氏距离。
5.根据权利要求1-4任意一项所述的方法,其特征在于,所述将索引图像多次模拟变形包括:
将索引图像通过改变亮度、改变分辨率、改变采样角度、不同视角下放射变换中的任意一种或任意多种方式进行多次模拟变形。
6.一种图像搜索中建立图像索引的装置,其特征在于,所述装置包括:
图像处理模块,用于提取索引图像的多个索引特征点向量,并将索引图像多次模拟变形,得到多个形变图像,提取挑选出的形变图像中的多个形变特征点向量;
欧氏距离获取模块,用于计算挑选出的索引特征点向量分别与挑选出的形变图像中的最临近点形变特征点向量的欧氏距离作为挑选出的索引特征点分别在挑选出的形变图像中的最临近点欧氏距离,并计算挑选出的索引特征点向量分别与挑选出的形变图像中的次临近点形变特征点向量的欧氏距离作为挑选出的索引特征点分别在挑选出的形变图像中的次临近点欧氏距离;
稳定次数累计模块,用于统计挑选出的索引特征点分别在挑选出的形变图像中的最临近点欧氏距离和次临近点欧氏距离的比值小于第一预设阈值的次数,得到挑选出的索引特征点向量的稳定次数;
稳定点输出模块,用于选取稳定次数由大到小排列在前M的索引特征点向量作为稳定点建立图像索引,其中,M为任意一个自然数。
7.根据权利要求6所述的装置,其特征在于,所述装置进一步包括:
特征点欧氏距离计算模块和特征点剔除模块;
所述特征点欧氏距离计算模块,用于计算任意两个索引特征点向量的欧氏距离作为特征点欧氏距离;
所述特征点剔除模块,用于判断所述特征点欧氏距离是否小于第二预设阈值,如果是,将所述特征点欧氏距离对应的两个索引特征点向量剔除。
8.根据权利要求6所述的装置,其特征在于,所述欧氏距离获取模块包括:
临近点查找模块、第一欧氏距离计算模块和第一欧氏距离选取模块;
所述临近点查找模块,用于查找挑选出的索引特征点向量分别在挑选出的形变图像中的多个临近点形变特征点向量;
所述第一欧氏距离计算模块,用于计算挑选出的索引特征点向量与每一个临近点形变特征点向量的第一欧氏距离;
所述第一欧氏距离选取模块,用于选取最小的第一欧氏距离作为最临近点欧氏距离,选取第二小的第一欧氏距离作为次临近点欧氏距离。
9.根据权利要求6所述的装置,其特征在于,所述欧氏距离获取模块包括:
第二欧氏距离计算模块和第二欧氏距离选取模块;
所述第二欧氏距离计算模块,用于计算挑选出的索引特征点向量分别与挑选出的形变图像中的所有形变特征点向量的第二欧氏距离;
所述第二欧氏距离选取模块,用于选取最小的第二欧氏距离作为最临近点欧氏距离,选取第二小的第二欧氏距离作为次临近点欧氏距离。
CN201210250725.7A 2012-07-19 2012-07-19 一种图像搜索中建立图像索引的方法和装置 Active CN103577409B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201210250725.7A CN103577409B (zh) 2012-07-19 2012-07-19 一种图像搜索中建立图像索引的方法和装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201210250725.7A CN103577409B (zh) 2012-07-19 2012-07-19 一种图像搜索中建立图像索引的方法和装置

Publications (2)

Publication Number Publication Date
CN103577409A true CN103577409A (zh) 2014-02-12
CN103577409B CN103577409B (zh) 2016-12-21

Family

ID=50049216

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201210250725.7A Active CN103577409B (zh) 2012-07-19 2012-07-19 一种图像搜索中建立图像索引的方法和装置

Country Status (1)

Country Link
CN (1) CN103577409B (zh)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105989001A (zh) * 2015-01-27 2016-10-05 北京大学 图像搜索方法及装置、图像搜索系统
CN106327426A (zh) * 2016-08-19 2017-01-11 携程计算机技术(上海)有限公司 图像去重方法及系统
CN109299652A (zh) * 2018-07-30 2019-02-01 华晓精密工业(苏州)有限公司 一种用于图像定位的模型训练方法、图像定位方法及装置
CN110287203A (zh) * 2019-05-24 2019-09-27 北京百度网讯科技有限公司 用于售货机的更新方法、更新装置及售货机
CN111782849A (zh) * 2019-11-27 2020-10-16 北京沃东天骏信息技术有限公司 图像检索方法和装置

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101038623A (zh) * 2006-03-13 2007-09-19 欧姆龙株式会社 特征点检测装置、特征点检测方法及特征点检测程序
CN101159015A (zh) * 2007-11-08 2008-04-09 清华大学 一种二维人脸图像的识别方法
US20090237529A1 (en) * 2008-03-19 2009-09-24 Casio Computer Co., Ltd Image recording method, image recording device, and storage medium
US20110142308A1 (en) * 2009-12-10 2011-06-16 Canon Kabushiki Kaisha Information processing apparatus, information processing method, and storage medium
CN102262724A (zh) * 2010-05-31 2011-11-30 汉王科技股份有限公司 目标图像特征点定位方法和目标图像特征点定位系统
CN102573650A (zh) * 2009-10-27 2012-07-11 佳能株式会社 信息处理装置、信息处理方法和程序

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101038623A (zh) * 2006-03-13 2007-09-19 欧姆龙株式会社 特征点检测装置、特征点检测方法及特征点检测程序
CN101159015A (zh) * 2007-11-08 2008-04-09 清华大学 一种二维人脸图像的识别方法
US20090237529A1 (en) * 2008-03-19 2009-09-24 Casio Computer Co., Ltd Image recording method, image recording device, and storage medium
CN102573650A (zh) * 2009-10-27 2012-07-11 佳能株式会社 信息处理装置、信息处理方法和程序
US20110142308A1 (en) * 2009-12-10 2011-06-16 Canon Kabushiki Kaisha Information processing apparatus, information processing method, and storage medium
CN102262724A (zh) * 2010-05-31 2011-11-30 汉王科技股份有限公司 目标图像特征点定位方法和目标图像特征点定位系统

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
HENG TAO SHEN等: "Indexing and Integrating Multiple Features for WWW Images", 《WORLD WIDE WEB》 *
ROGHAYEH ALEMY等: "NEW FACIAL FEATURE LOCALIZATION ALGORITHM USING ADAPTIVE ACTIVE SHAPE MODEL", 《INTERNATIONAL JOURNAL OF PATTERN RECOGNITION AND ARTIFICIAL INTELLIGENCE》 *
袁杰: "基于内容的综合多特征图像检索方法研究", 《中国优秀硕士学位论文全文数据库 信息科技辑》 *
魏东新: "基于主动形状模型的人脸特征提取的研究", 《中国优秀硕士学位论文全文数据库 信息科技辑》 *

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105989001A (zh) * 2015-01-27 2016-10-05 北京大学 图像搜索方法及装置、图像搜索系统
CN105989001B (zh) * 2015-01-27 2019-09-06 北京大学 图像搜索方法及装置、图像搜索系统
CN106327426A (zh) * 2016-08-19 2017-01-11 携程计算机技术(上海)有限公司 图像去重方法及系统
CN109299652A (zh) * 2018-07-30 2019-02-01 华晓精密工业(苏州)有限公司 一种用于图像定位的模型训练方法、图像定位方法及装置
CN109299652B (zh) * 2018-07-30 2020-11-13 华晓精密工业(苏州)有限公司 一种用于图像定位的模型训练方法、图像定位方法及装置
CN110287203A (zh) * 2019-05-24 2019-09-27 北京百度网讯科技有限公司 用于售货机的更新方法、更新装置及售货机
CN110287203B (zh) * 2019-05-24 2021-03-26 北京百度网讯科技有限公司 用于售货机的更新方法、更新装置及售货机
CN111782849A (zh) * 2019-11-27 2020-10-16 北京沃东天骏信息技术有限公司 图像检索方法和装置
CN111782849B (zh) * 2019-11-27 2024-03-01 北京沃东天骏信息技术有限公司 图像检索方法和装置

Also Published As

Publication number Publication date
CN103577409B (zh) 2016-12-21

Similar Documents

Publication Publication Date Title
Radenović et al. Revisiting oxford and paris: Large-scale image retrieval benchmarking
Sattler et al. Large-scale location recognition and the geometric burstiness problem
US10528620B2 (en) Color sketch image searching
Yi et al. Feature representations for scene text character recognition: A comparative study
CN109858361B (zh) 基于街景图像匹配重复结构建筑的定位方法
Aly et al. Indexing in large scale image collections: Scaling properties and benchmark
Pratikakis et al. ICFHR 2014 competition on handwritten keyword spotting (H-KWS 2014)
US20080107338A1 (en) Media material analysis of continuing article portions
CN104809481A (zh) 一种基于自适应色彩聚类的自然场景文本检测的方法
WO2013053320A1 (zh) 一种图像检索方法及装置
CN103577409A (zh) 一种图像搜索中建立图像索引的方法和装置
Yasmin et al. Content based image retrieval by shape, color and relevance feedback
Gonzalez-Diaz et al. Neighborhood matching for image retrieval
CN105989001A (zh) 图像搜索方法及装置、图像搜索系统
CN105930497A (zh) 基于图像边缘和线条特征的三维模型检索方法
CN109241327A (zh) 图像检索方法及装置
Moysset et al. Learning to detect, localize and recognize many text objects in document images from few examples
Alexe et al. Exploiting spatial overlap to efficiently compute appearance distances between image windows
CN108304588B (zh) 一种基于k近邻和模糊模式识别的图像检索方法及系统
CN112990376A (zh) 一种文本图像相似度评估方法、装置及计算设备
CN104699783A (zh) 基于个性化视觉字典自适应调整的社交图像检索方法
CN108664968A (zh) 一种基于文本选取模型的无监督文本定位方法
CN108536772B (zh) 一种基于多特征融合和扩散过程重排序的图像检索方法
CN105205487B (zh) 一种图片处理方法及装置
CN112288045B (zh) 一种印章真伪判别方法

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
REG Reference to a national code

Ref country code: HK

Ref legal event code: DE

Ref document number: 1193180

Country of ref document: HK

C14 Grant of patent or utility model
GR01 Patent grant
REG Reference to a national code

Ref country code: HK

Ref legal event code: GR

Ref document number: 1193180

Country of ref document: HK