CN105989029A - 图像搜索方法及系统 - Google Patents

图像搜索方法及系统 Download PDF

Info

Publication number
CN105989029A
CN105989029A CN201510053712.4A CN201510053712A CN105989029A CN 105989029 A CN105989029 A CN 105989029A CN 201510053712 A CN201510053712 A CN 201510053712A CN 105989029 A CN105989029 A CN 105989029A
Authority
CN
China
Prior art keywords
subgraph
image
difference value
search
original subpicture
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201510053712.4A
Other languages
English (en)
Inventor
王立
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Alibaba Group Holding Ltd
Original Assignee
Alibaba Group Holding Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Alibaba Group Holding Ltd filed Critical Alibaba Group Holding Ltd
Priority to CN201510053712.4A priority Critical patent/CN105989029A/zh
Publication of CN105989029A publication Critical patent/CN105989029A/zh
Pending legal-status Critical Current

Links

Landscapes

  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Image Analysis (AREA)
  • Processing Or Creating Images (AREA)

Abstract

本申请适用于图像处理技术领域,提供了一种图像搜索方法,包括步骤有:获取图像和待搜索的原始子图;在所述图像中生成与所述原始子图大小相同的多个子图搜索窗口,分别计算多个所述子图搜索窗口与所述原始子图的差异值;根据所述差异值和预定的图像相似阈值,分析出与所述原始子图匹配的所述子图搜索窗口作为所述原始子图对应的目标子图。相应地,本申请还提供一种图像搜索系统。借此,本申请能够搜索并识别并非在像素级别完全相同的、但是人眼感官相同的目标子图,并支持搜索并识别多张目标子图,从而使得图像搜结果更符合用户实际需求。

Description

图像搜索方法及系统
技术领域
本申请涉及图像处理技术领域,尤其涉及一种图像搜索方法及系统。
背景技术
图像搜索是一种非常有价值的应用。尤其时在界面自动化操作领域中,系统需要在界面图像上自动搜索出需要操作的目标子图进行操作,以取代人工操作界面的繁琐,以大大提升界面操作的处理效率。具体是在界面图像上搜索是否存在与待操作的原始子图相同的目标子图,若存在,则对该目标子图进行操作。所述界面自动化操作包括自动化界面测试等,所述目标子图包括按钮、图标、菜单、图形等目标区域。
如下给出一个与图像搜索的实例,如截取一个普通Win7系统的图像,如图1所示,需通过图像搜索的目标子图为“本地磁盘(D:)”、“temp(E:)”、“新加卷(H:)”以便对其进行自动化操作,搜索后的目标子图用方圈标记部分表示,如图2所示,这应与人通过眼睛查看得到的感官结果是一样的。但事实上方圈标记部分的每个点的颜色与用于比较的原始子图的每个点的颜色并非完全一致,因为方圈标记部分和子图在RGB(Red、Green、Blue,红绿蓝)数值上存在不同。严格意义上说是不相同的图片,或说有细微差异但人眼不能识别。造成这种问题的原因很多,例如,图像显示时的反锯齿处理、噪点干扰等。
现有技术之一
使用滑动搜索窗口,逐点比较以查找完全相同的子图。但无法对相似图进行搜索和比较,因为只要有一个点不一样就无法进行下去。
现有技术之二
采用模板匹配,包括以下步骤:
1、使用滑动搜索窗口,当确定一个点时,得到该点对应子图同样大小的滑动搜索窗口;
2、计算该滑动搜索窗口与子图之间的差异值,优选算法是如下的逐点计算色差并平方求和,即
R ( x , y ) = Σ x ′ , y ′ ( T ( x ′ , y ′ ) - I ( x + x ′ , y + y ′ ) ) 2
其中,R为滑动搜索窗口与子图之间的差异值,T为子图的颜色值,I为滑动搜索窗口的颜色值,x为滑动搜索窗口在目标图像上的横坐标,y为滑动搜索窗口的纵坐标,x’为子图的横坐标,y’为子图的纵坐标。
3、查找R(x,y)的最小值,该点视为匹配。
现有技术之二的缺陷在于,因为需查找R(x,y)的最小值点,所以其只能搜索到一个目标子图,无法搜索并比较得到多个目标子图。
可见,现有图像搜索技术无法在图像搜索出符合要求的目标子图,进而影响了界面自动化操作的准确性。
发明内容
针对上述的缺陷,本申请的目的在于提供一种图像搜索方法及系统,其能够搜索并识别并非在像素级别完全相同的、但是人眼感官相同的目标子图,并支持搜索并识别多张目标子图,从而使得图像搜结果更符合用户实际需求。
为了实现上述目的,本申请提供一种图像搜索方法,包括步骤有:
获取图像和待搜索的原始子图;
在所述图像中生成与所述原始子图大小相同的多个子图搜索窗口,分别计算多个所述子图搜索窗口与所述原始子图的差异值;
根据所述差异值和预定的图像相似阈值,分析出与所述原始子图匹配的所述子图搜索窗口作为所述原始子图对应的目标子图。
本申请还提供一种图像搜索系统,包括有:
搜索图像获取模块,用于获取图像和待搜索的原始子图;
差异值计算模块,用于在所述图像中生成与所述原始子图大小相同的多个子图搜索窗口,分别计算多个所述子图搜索窗口与所述原始子图的差异值;
图像匹配模块,用于根据所述差异值和预定的图像相似阈值,分析出与所述原始子图匹配的所述子图搜索窗口作为所述原始子图对应的目标子图。
本申请实施例在图像中搜索与原始子图对应的目标子图时,在图像中生成与原始子图大小相同的多个子图搜索窗口,分别计算多个子图搜索窗口与原始子图的差异值,根据所述差异值和预定的图像相似阈值,分析出与所述原始子图匹配的所述子图搜索窗口作为所述原始子图对应的目标子图,匹配的所述子图搜索窗口与原始子图在人眼感观上为相同的图片,因此,可将之匹配为与原始子图对应的目标子图。通过这种方式,本申请实施例能够搜索并识别并非在像素级别完全相同的、但是人眼感官相同的目标子图,并支持搜索并识别多张目标子图,从而使得图像搜索结果更符合用户实际需求。优选的是,本发明的图像搜索技术应用于界面自动化操作,在图像上搜索出目标子图后,便可直接对该目标子图进行操作,进而提高了界面自动化操作的准确性。
附图说明
图1是现有技术中图像搜索的操作界面图之一;
图2是现有技术中图像搜索的操作界面图之二;
图3是本申请图像搜索方法的流程图;
图4是本申请图像相似阈值训练方法的流程图;
图5是本申请第一实施例中图像搜索方法的流程图;
图6是本申请第二实施例中图像搜索方法的流程图。
图7是本申请图像搜索系统的结构示意图;
图8是本申请优选的图像搜索系统的结构示意图;
具体实施方式
为了使本申请的目的、技术方案及优点更加清楚明白,以下结合附图及实施例,对本申请进行进一步详细说明。应当理解,此处所描述的具体实施例仅仅用以解释本申请,并不用于限定本申请。
在本申请一个典型的配置中,终端、服务网络的设备和可信方均包括一个或多个处理器(CPU)、输入/输出接口、网络接口和内存。
内存可能包括计算机可读介质中的非永久性存储器,随机存取存储器(RAM)和/或非易失性内存等形式,如只读存储器(ROM)或闪存(flash RAM)。内存是计算机可读介质的示例。
计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括,但不限于相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数字多功能光盘(DVD)或其他光学存储、磁盒式磁带,磁带磁盘存储或其他磁性存储设备或任何其他非传输介质,可用于存储可以被计算设备访问的信息。按照本文中的界定,计算机可读介质不包括非暂存电脑可读媒体(transitory media),如调制的数据信号和载波。
图3是本申请图像搜索方法的流程图,包括步骤有:
步骤S301,获取图像和待搜索的原始子图。
所述原始子图可由系统或用户输入,所述图像由图像搜索系统100的图像数据库提供或者从网络中获取,请求图像搜索系统100在图像中搜索与原始子图相匹配的结果子图。
步骤S302,在图像中生成与原始子图大小相同的多个子图搜索窗口,分别计算多个子图搜索窗口与原始子图的差异值。
优选的是,在图像中确定多个像素点,并以每个像素点为基点分别生成与原始子图大小相同的子图搜索窗口。所述差异值优选为RGB差异值。
步骤S303,根据所述差异值和预定的图像相似阈值,分析出与所述原始子图匹配的所述子图搜索窗口作为原始子图对应的目标子图。
所述匹配的子图搜索窗口与原始子图在人眼感观上为相同的图片。所述目标子图可以是一个或多个,如果图像中匹配的子图搜索窗口,则表示图像中没有与原始子图对应的目标子图,可返回搜索结果为空。若图像中有与原始子图对应的至少一个目标子图,则可将所述目标子图在图像上进行标记。
本发明优选应用于界面自动化操作,即系统需要在界面图像上自动搜索出需要操作的目标子图进行操作,以取代人工操作界面的繁琐。所述界面图像和原始子图可由系统根据实际操作需求进行选择,图像搜索系统100自动在界面图像中搜索与原始子图相匹配的目标子图,以便对该目标子图进行操作。所述界面自动化操作包括自动化界面测试等,所述目标子图包括按钮、图标、菜单、图形等目标区域。
优选的是,所述步骤S301之前还包括:
接收子图操作指令,所述子图操作指令中包括图像和待搜索的原始子图的信息;
优选的是,步骤S303之后还可包括:
在搜索出所述目标子图后,根据所述子图操作指令对所述目标子图进行操作。
图4是本申请图像相似阈值训练方法的流程图,包括步骤有:
步骤S401,获取训练图像集合和训练子图集合。
图像搜索系统100处理得到一定数量的用于训练的训练图像集合;图像搜索系统100处理得到一定数量的针对训图像集合的训子图集合。
步骤S402,根据用户输入的标记操作指令,在训练图像集合上标记与训练子图集合匹配的标记区域。
具体由人工或者半人工的方式,在训练图像集合上标记训练子图匹配的区域,然后归纳成计算公式。有两种方法:第一种是用户通过标记操作指示图像搜索系统100,训练图像中训练子图匹配的精确区域。另一种方法是半自动的,即人工在训练图像上标出包含训练子图的非精确区域,这个非精确区域在尺寸上比训练子图大一点,比如大10%~20%,然后图像搜索系统100在这个范围内进行最匹配的搜索,得到匹配的精确区域。
步骤S403,根据训练图像集合、训练子图集合、标记区域以及预定的图像相似阈值算法,计算出图像相似阈值。
所述图像相似阈值的原理是,计算一般人眼觉得匹配的图,实际上的平均偏差是多大。所述图像相似阈值算法优选为:
其中,x’,y’是标记区域中横行和纵行的变量,X是训练子图的行数,Y是训练子图的列数,N是参与训练的图像匹配点的个数。
图5是本申请第一实施例中图像搜索方法的流程图,包括步骤有:
步骤S501,采集图像,并将图像转换为预定的格式数据。所述格式数据优选为RGB数据。
步骤S502,输入待搜索的原始子图,并将原始子图转换为格式数据。所述格式数据优选为RGB数据。
步骤S503,在图像中生成与原始子图大小相同的多个子图搜索窗口。
步骤S504,分别计算多个子图搜索窗口的格式数据与原始子图的格式数据之间的差异值。所述差异值优选为RGB差异值。
步骤S505,比较差异值是否小于图像相似阈值。
步骤S506,将差异值小于图像相似阈值的子图搜索窗口确定为与原始子图匹配的目标子图。
所述差异值小于图像相似阈值的子图搜索窗口与原始子图在人眼感观上为相同的图片。所述目标子图可以是一个或多个,如果图像中没有差异值小于预定的图像相似阈值的子图搜索窗口,则表示图像中没有与原始子图对应的目标子图,可返回搜索结果为空。
步骤S507,在图像上标记目标子图。
图6是本申请第二实施例中图像搜索方法的流程图,包括步骤有:
步骤S601,获取图像和待搜索的原始子图。
优选的是,采集图像,并将图像转换为预定的格式数据。输入待搜索的原始子图,并将原始子图转换为格式数据。所述格式数据为RGB数据。
步骤S602,在图像中确定多个像素点,并以每个像素点为基点分别生成与原始子图大小相同的子图搜索窗口。
步骤S603,根据预定的差异值算法逐点计算子图搜索窗口与原始子图的差异值矩阵,得到相应的差异值矩阵集合。
例如,图像包括1000*1000个像素点,原始子图包括有20*20个像素点,首先,确定图像最左上角的像素点为基点,得到该像素点对应原始子图同样大小的子图搜索窗口;然后,计算该子图搜索窗口与原始子图之间的RGB差异值,每个RGB差异值是一个矩阵。然后自左向右,自上向下地逐个像素点得到各个子图搜索窗口,并逐点计算每个子图搜索窗口与原始子图之间的RGB差异值。这些RGB差异值构成差异值矩阵集合。
步骤S604,根据图像相似阈值和预定的子图应用阈值算法,计算每个子图搜索窗口对应的子图应用阈值。
所述子图应用阈值算法优选为:
子图应用阈值=图像相似阈值*X*Y*A。
其中,X是子图搜索窗口的行数,Y是子图搜索窗口的列数,A是预定的宽容系数,该宽容系数的取值范围优选是2~4。
可见,待搜索的原始子图的面积越大,则对应的子图应用阈值越大。
步骤S605,将差异值矩阵集合中每个差异值矩阵与其对应的子图应用阈值进行比较,判断差异值是否小于所述子图应用阈值,若是则执行步骤S607,否则执行步骤S606。
步骤S606,将所有大于或等于子图应用阈值的差异值矩阵删除。因为即使对于人眼感观而言,大于或等于子图应用阈值的差异值矩阵对应的子图搜索窗口与原始子图都是不同的图片。
步骤S607,将所有小于子图应用阈值的差异值矩阵保留,并将保留的差异值矩阵对应的子图搜索窗口确定为与原始子图匹配的目标子图。因为对于人眼感观而言,小于子图应用阈值的差异值矩阵对应的子图搜索窗口与原始子图是相同的图片。
步骤S608,在图像上标记目标子图,例如用圆框或方框标记出目标子图,以便于用户查看。
图7是本申请图像搜索系统的结构示意图,所述图像搜索系统100至少包括有搜索图像获取模块10、差异值计算模块20以及图像匹配模块30,其中:
所述搜索图像获取模块10,用于获取图像和待搜索的原始子图。所述原始子图可由用户输入,所述图像由图像搜索系统100的图像数据库提供或者从网络中获取,用户请求图像搜索系统100在图像中搜索与原始子图相匹配的目标子图。
所述差异值计算模块20,用于在图像中生成与原始子图大小相同的多个子图搜索窗口,分别计算多个子图搜索窗口与原始子图的差异值。优选的是,在图像中确定多个像素点,并以每个像素点为基点分别生成与原始子图大小相同的子图搜索窗口。所述差异值优选为RGB差异值,差异值的优选算法是如下的逐点计算色差并平方求和:
R ( x , y ) = Σ x ′ , y ′ ( T ( x ′ , y ′ ) - I ( x + x ′ , y + y ′ ) ) 2
所述图像匹配模块30,用于根据所述差异值和预定的图像相似阈值,分析出与所述原始子图匹配的所述子图搜索窗口作为原始子图对应的目标子图。所述匹配的子图搜索窗口与原始子图在人眼感观上为相同的图片。所述目标子图可以是一个或多个,如果图像中匹配的子图搜索窗口,则表示图像中没有与原始子图对应的目标子图,可返回搜索结果为空。若图像中有与原始子图对应的至少一个目标子图,则可将所述目标子图在图像上进行标记。
本申请能够搜索并识别并非在像素级别完全相同的、但是人眼感官相同的子图,并且支持搜索并识别多张子图。
图8是本申请优选的图像搜索系统的结构示意图,所述图像搜索系统100可包括有搜索图像获取模块10、差异值计算模块20、图像匹配模块30、训练图像获取模块40、训练标记模块50、图像相似阈值计算模块60和/或结果标记模块70,其中:
所述训练图像获取模块40,用于获取训练图像集合和训练子图集合。图像搜索系统100处理得到一定数量的用于训练的训练图像集合;图像搜索系统100处理得到一定数量的针对训图像集合的训子图集合。
所述训练标记模块50,根据用户输入的标记操作指令,在训练图像集合上标记与训练子图集合匹配的标记区域。具体由人工或者半人工的方式,在训练图像集合上标记训练子图匹配的区域,然后归纳成计算公式。具体可以有两种方法:第一种是用户通过标记操作指示图像搜索系统100,训练图像中训练子图匹配的精确区域。另一种方法是半自动的,即人工在训练图像上标出包含训练子图的非精确区域,这个非精确区域在尺寸上比训练子图大一点,比如大10%~20%,然后图像搜索系统100在这个范围内进行最匹配的搜索,得到匹配的精确区域。
所述图像相似阈值计算模块60,用于根据训练图像集合、训练子图集合、标记区域以及预定的图像相似阈值算法,计算出图像相似阈值。所述图像相似阈值的原理是,计算一般人眼觉得匹配的图,实际上的平均偏差是多大。
所述图像相似阈值算法优选为:
其中,x’,y’是标记区域中横行和纵行的变量,X是训练子图的行数,Y是训练子图的列数,N是参与训练的图像匹配点的个数。
所述搜索图像获取模块10,用于获取图像和待搜索的原始子图。优选的是,搜索图像获取模块10包括:
图像采集子模块11,用于采集图像,并将所述图像转换为预定的格式数据。所述格式数据优选为可处理的RGB数据。
子图输入子模块12,用于输入待搜索的原始子图,并将原始子图转换为格式数据。所述格式数据优选为可处理的RGB数据。
所述差异值计算模块20,用于在图像中生成与原始子图大小相同的多个子图搜索窗口,分别计算多个子图搜索窗口与原始子图的差异值。优选的是,差异值计算模块20用于分别计算多个子图搜索窗口的格式数据与原始子图的格式数据之间的差异值。所述差异值优选为RGB差异值。所述差异值计算模块20优选包括:
窗口生成子模块21,用于在图像中确定多个像素点,并以每个像素点为基点分别生成与原始子图大小相同的子图搜索窗口。
差异值计算子模块22,用于根据预定的差异值算法逐点计算子图搜索窗口与原始子图的差异值矩阵,得到相应的差异值矩阵集合。
例如,图像包括1000*1000个像素点,原始子图包括有20*20个像素点,首先,确定图像最左上角的像素点为基点,得到该像素点对应原始子图同样大小的子图搜索窗口;然后,计算该子图搜索窗口与原始子图之间的RGB差异值,每个RGB差异值是一个矩阵。然后自左向右,自上向下地逐个像素点得到各个子图搜索窗口,并逐点计算每个子图搜索窗口与原始子图之间的RGB差异值。这些RGB差异值构成差异值矩阵集合。
优选的是,所述图像匹配模块30包括有:
第一比较子模块31,用于比较差异值是否小于图像相似阈值。
第一匹配子模块32,用于将差异值小于图像相似阈值的子图搜索窗口确定为与原始子图匹配的目标子图。
所述差异值小于图像相似阈值的子图搜索窗口与原始子图在人眼感观上为相同的图片。所述目标子图可以是一个或多个,如果图像中没有差异值小于预定的图像相似阈值的子图搜索窗口,则表示图像中没有与原始子图对应的目标子图,可返回搜索结果为空。
优选地,所述图像匹配模块30还可包括有:
子图应用阈值计算子模块33,用于在计算出子图搜索窗口与原始子图的差异值后,根据图像相似阈值和预定的子图应用阈值算法,计算每个子图搜索窗口对应的子图应用阈值。
所述子图应用阈值算法优选为:
子图应用阈值=图像相似阈值*X*Y*A;
其中,X是子图搜索窗口的行数,Y是子图搜索窗口的列数,A是预定的宽容系数,该宽容系数的取值范围优选是2~4。
可见,待搜索的原始子图的面积越大,则对应的子图应用阈值越大。
第二比较子模块34,用于比较差异值是否小于子图应用阈值。优选的是,将差异值矩阵集合中每个差异值矩阵与其对应的子图应用阈值进行比较。
第二匹配子模块35,用于将差异值小于子图应用阈值的子图搜索窗口确定为与原始子图匹配的目标子图。优选的是,将所有大于或等于子图应用阈值的差异值矩阵删除,并将所有小于子图应用阈值的差异值矩阵保留,并将保留的差异值矩阵对应的子图搜索窗口确定为与原始子图匹配的目标子图。
所述结果标记模块70,用于在匹配出原始子图对应的目标子图之后,在图像上标记目标子图,例如用圆框或方框标记出目标子图,以便于用户查看。
本发明优选应用于界面自动化操作,即系统需要在界面图像上自动搜索出需要操作的目标子图进行操作,以取代人工操作界面的繁琐。所述界面图像和原始子图可由系统根据实际操作需求进行选择,图像搜索系统100自动在界面图像中搜索与原始子图相匹配的目标子图,以便对该目标子图进行操作。所述界面自动化操作包括自动化界面测试等,所述目标子图包括按钮、图标、菜单、图形等目标区域。
优选的是,所述图像搜索系统100还包括:
指令接收模块80,用于在获取图像和原始子图之前,接收子图操作指令,所述子图操作指令中包括图像和待搜索的原始子图的信息;
子图操作模块90,用于在搜索出所述目标子图后,根据所述子图操作指令对所述目标子图进行操作。
综上所述,本申请实施例在图像中搜索与原始子图对应的目标子图时,在图像中生成与原始子图大小相同的多个子图搜索窗口,分别计算多个子图搜索窗口与原始子图的差异值,根据所述差异值和预定的图像相似阈值,分析出与所述原始子图匹配的所述子图搜索窗口作为所述原始子图对应的目标子图,匹配的所述子图搜索窗口与原始子图在人眼感观上为相同的图片,因此,可将之匹配为与原始子图对应的目标子图。通过这种方式,本申请实施例能够搜索并识别并非在像素级别完全相同的、但是人眼感官相同的目标子图,并支持搜索并识别多张目标子图,从而使得图像搜索结果更符合用户实际需求。优选的是,本发明的图像搜索技术应用于界面自动化操作,在图像上搜索出目标子图后,便可直接对该目标子图进行操作,进而提高了界面自动化操作的准确性。
当然,本申请还可有其它多种实施例,在不背离本申请精神及其实质的情况下,熟悉本领域的技术人员当可根据本申请作出各种相应的改变和变形,但这些相应的改变和变形都应属于本申请所附的权利要求的保护范围。

Claims (20)

1.一种图像搜索方法,其特征在于,包括:
获取图像和待搜索的原始子图;
在所述图像中生成与所述原始子图大小相同的多个子图搜索窗口,分别计算多个所述子图搜索窗口与所述原始子图的差异值;
根据所述差异值和预定的图像相似阈值,分析出与所述原始子图匹配的所述子图搜索窗口作为所述原始子图对应的目标子图。
2.根据权利要求1所述的图像搜索方法,其特征在于,所述根据差异值和预定的图像相似阈值,分析出与所述原始子图匹配的所述子图搜索窗口作为所述原始子图对应的目标子图的步骤包括:
比较所述差异值是否小于所述图像相似阈值;
将所述差异值小于所述图像相似阈值的所述子图搜索窗口确定为与所述原始子图匹配的所述目标子图。
3.根据权利要求1所述的图像搜索方法,其特征在于,所述根据差异值和预定的图像相似阈值,分析出与所述原始子图匹配的所述子图搜索窗口作为所述原始子图对应的目标子图的步骤包括:
根据所述图像相似阈值和预定的子图应用阈值算法,计算每个所述子图搜索窗口对应的子图应用阈值;
比较所述差异值是否小于所述子图应用阈值;
将所述差异值小于所述子图应用阈值的所述子图搜索窗口确定为与所述原始子图匹配的所述目标子图。
4.根据权利要求3所述的图像搜索方法,其特征在于,所述子图应用阈值算法为:
子图应用阈值=图像相似阈值*X*Y*A;
其中,X是子图搜索窗口的行数,Y是子图搜索窗口的列数,A是预定的宽容系数。
5.根据权利要求1所述的图像搜索方法,其特征在于,所述在图像中生成与所述原始子图大小相同的多个子图搜索窗口,分别计算多个所述子图搜索窗口与所述原始子图的差异值的步骤包括:
在所述图像中确定多个像素点,并以每个所述像素点为基点分别生成与所述原始子图大小相同的所述子图搜索窗口;
根据预定的差异值算法逐点计算所述子图搜索窗口与所述原始子图的所述差异值矩阵,得到相应的差异值矩阵集合。
6.根据权利要求5所述的图像搜索方法,其特征在于,所述比较差异值是否小于所述子图应用阈值的步骤包括:
将所述差异值矩阵集合中每个差异值矩阵与其对应的所述子图应用阈值进行比较;
所述将差异值小于所述子图应用阈值的所述子图搜索窗口确定为与所述原始子图匹配的所述目标子图的步骤包括:
将所有大于或等于所述子图应用阈值的所述差异值矩阵删除,并将所有小于所述子图应用阈值的所述差异值矩阵保留,并将保留的所述差异值矩阵对应的所述子图搜索窗口确定为与所述原始子图匹配的所述目标子图。
7.根据权利要求1所述的图像搜索方法,其特征在于,所述分析出与所述原始子图匹配的所述子图搜索窗口作为所述原始子图对应的目标子图的步骤之后还包括:
在所述图像上标记所述目标子图。
8.根据权利要求1所述的图像搜索方法,其特征在于,所述获取图像和待搜索的原始子图的步骤之前还包括:
获取训练图像集合和训练子图集合;
根据用户输入的标记操作指令,在所述训练图像集合上标记与所述训练子图集合匹配的标记区域;
根据所述训练图像集合、所述训练子图集合、所述标记区域以及预定的图像相似阈值算法,计算出所述图像相似阈值。
9.根据权利要求8所述的图像搜索方法,其特征在于,所述图像相似阈值算法为:
其中,x’,y’是标记区域中横行和纵行的变量,X是训练子图的行数,Y是训练子图的列数,N是参与训练的图像匹配点的个数。
10.根据权利要求1~9任一项所述的图像搜索方法,其特征在于,所述获取图像和待搜索的原始子图的步骤前还包括:
接收子图操作指令,所述子图操作指令中包括图像和待搜索的原始子图的信息;
所述分析出与所述原始子图匹配的所述子图搜索窗口作为所述原始子图对应的目标子图的步骤之后还包括:
在搜索出所述目标子图后,根据所述子图操作指令对所述目标子图进行操作。
11.一种图像搜索系统,其特征在于,包括有:
搜索图像获取模块,用于获取图像和待搜索的原始子图;
差异值计算模块,用于在所述图像中生成与所述原始子图大小相同的多个子图搜索窗口,分别计算多个所述子图搜索窗口与所述原始子图的差异值;
图像匹配模块,用于根据所述差异值和预定的图像相似阈值,分析出与所述原始子图匹配的所述子图搜索窗口作为所述原始子图对应的目标子图。
12.根据权利要求11所述的图像搜索系统,其特征在于,所述图像匹配模块包括:
第一比较子模块,用于比较所述差异值是否小于所述图像相似阈值;
第一匹配子模块,用于将所述差异值小于所述图像相似阈值的所述子图搜索窗口确定为与所述原始子图匹配的所述目标子图。
13.根据权利要求11所述的图像搜索系统,其特征在于,所述图像匹配模块包括:
子图应用阈值计算子模块,用于在计算出所述子图搜索窗口与所述原始子图的所述差异值后,根据所述图像相似阈值和预定的子图应用阈值算法,计算每个所述子图搜索窗口对应的子图应用阈值;
第二比较子模块,用于比较所述差异值是否小于所述子图应用阈值;
第二匹配子模块,用于将所述差异值小于所述子图应用阈值的所述子图搜索窗口确定为与所述原始子图匹配的所述目标子图。
14.根据权利要求13所述的图像搜索系统,其特征在于,所述子图应用阈值算法为:
子图应用阈值=图像相似阈值*X*Y*A;
其中,X是子图搜索窗口的行数,Y是子图搜索窗口的列数,A是预定的宽容系数。
15.根据权利要求11所述的图像搜索系统,其特征在于,所述差异值计算模块包括:
窗口生成子模块,用于在所述图像中确定多个像素点,并以每个所述像素点为基点分别生成与所述原始子图大小相同的所述子图搜索窗口;
差异值计算子模块,用于根据预定的差异值算法逐点计算所述子图搜索窗口与所述原始子图的所述差异值矩阵,得到相应的差异值矩阵集合。
16.根据权利要求15所述的图像搜索系统,其特征在于,所述图像匹配模块的所述第二比较子模块用于将所述差异值矩阵集合中每个差异值矩阵与其对应的所述子图应用阈值进行比较;
所述图像匹配模块的所述第二匹配子模块用于将所有大于或等于所述子图应用阈值的所述差异值矩阵删除,并将所有小于所述子图应用阈值的所述差异值矩阵保留,并将保留的所述差异值矩阵对应的所述子图搜索窗口确定为与所述原始子图匹配的所述目标子图。
17.根据权利要求11所述的图像搜索系统,其特征在于,还包括:
结果标记模块,用于在匹配出所述原始子图对应的所述目标子图之后,在所述图像上标记所述目标子图。
18.根据权利要求11所述的图像搜索系统,其特征在于,还包括:
训练图像获取模块,用于获取训练图像集合和训练子图集合;
训练标记模块,根据用户输入的标记操作指令,在所述训练图像集合上标记与所述训练子图集合匹配的标记区域;
图像相似阈值计算模块,用于根据所述训练图像集合、所述训练子图集合、所述标记区域以及预定的图像相似阈值算法,计算出所述图像相似阈值。
19.根据权利要求18所述的图像搜索系统,其特征在于,所述图像相似阈值算法为:
其中,x’,y’是标记区域中横行和纵行的变量,X是训练子图的行数,Y是训练子图的列数,N是参与训练的图像匹配点的个数。
20.根据权利要求11~19任一项所述的图像搜索系统,其特征在于,还包括:
指令接收模块,用于在获取图像和原始子图之前,接收子图操作指令,所述子图操作指令中包括图像和待搜索的原始子图的信息;
子图操作模块,用于在搜索出所述目标子图后,根据所述子图操作指令对所述目标子图进行操作。
CN201510053712.4A 2015-02-02 2015-02-02 图像搜索方法及系统 Pending CN105989029A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201510053712.4A CN105989029A (zh) 2015-02-02 2015-02-02 图像搜索方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201510053712.4A CN105989029A (zh) 2015-02-02 2015-02-02 图像搜索方法及系统

Publications (1)

Publication Number Publication Date
CN105989029A true CN105989029A (zh) 2016-10-05

Family

ID=57037259

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201510053712.4A Pending CN105989029A (zh) 2015-02-02 2015-02-02 图像搜索方法及系统

Country Status (1)

Country Link
CN (1) CN105989029A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020147258A1 (zh) * 2019-01-14 2020-07-23 平安科技(深圳)有限公司 一种远程桌面操作方法、装置、可读存储介质及终端设备
CN114706642A (zh) * 2022-03-25 2022-07-05 曲阜师范大学 一种基于网页命令行与子图快速匹配的远程桌面操作方法

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101710340A (zh) * 2009-12-15 2010-05-19 北京锐安科技有限公司 一种相似图像检索方法
CN101799939A (zh) * 2010-04-02 2010-08-11 天津大学 基于左右视点图像的中间视点快速、自适应生成算法
CN101882338A (zh) * 2009-05-08 2010-11-10 中国印钞造币总公司 一种钞票纸水印的检测方法和装置
CN103034992A (zh) * 2012-05-21 2013-04-10 中国农业大学 蜜蜂运动轨迹的无标识图像检测方法及系统
CN103049446A (zh) * 2011-10-13 2013-04-17 中国移动通信集团公司 一种图像检索方法及装置

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101882338A (zh) * 2009-05-08 2010-11-10 中国印钞造币总公司 一种钞票纸水印的检测方法和装置
CN101710340A (zh) * 2009-12-15 2010-05-19 北京锐安科技有限公司 一种相似图像检索方法
CN101799939A (zh) * 2010-04-02 2010-08-11 天津大学 基于左右视点图像的中间视点快速、自适应生成算法
CN103049446A (zh) * 2011-10-13 2013-04-17 中国移动通信集团公司 一种图像检索方法及装置
CN103034992A (zh) * 2012-05-21 2013-04-10 中国农业大学 蜜蜂运动轨迹的无标识图像检测方法及系统

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
SONU: "Opencv的cvMatchTemplate模板匹配根据阈值判断匹配", 《CSDN博客 HTTPS://BLOG.CSDN.NET/ENCESU/ARTICLE/DETAILS/10335315》 *

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020147258A1 (zh) * 2019-01-14 2020-07-23 平安科技(深圳)有限公司 一种远程桌面操作方法、装置、可读存储介质及终端设备
CN114706642A (zh) * 2022-03-25 2022-07-05 曲阜师范大学 一种基于网页命令行与子图快速匹配的远程桌面操作方法
CN114706642B (zh) * 2022-03-25 2023-07-25 曲阜师范大学 一种基于网页命令行与子图快速匹配的远程桌面操作方法

Similar Documents

Publication Publication Date Title
US7657090B2 (en) Region detecting method and region detecting apparatus
US10073602B2 (en) System and method for displaying a suggested luminance adjustment for an image
US6445818B1 (en) Automatically determining an optimal content image search algorithm by choosing the algorithm based on color
US11790499B2 (en) Certificate image extraction method and terminal device
EP3678056B1 (en) Skin color detection method and device and storage medium
US11455831B2 (en) Method and apparatus for face classification
CN111986785B (zh) 医学影像标注方法和装置、设备及存储介质
JP2008521133A (ja) 分散ベースのイベント・クラスタリング
CN111144215B (zh) 图像处理方法、装置、电子设备及存储介质
CN107886512A (zh) 一种确定训练样本的方法
US20230105393A1 (en) Image processing method, image processing device, and computer device
CN111862040B (zh) 人像图片质量评价方法、装置、设备及存储介质
CN103971134A (zh) 图像分类、检索和校正方法,以及相应装置
WO2024027660A1 (zh) 一种图像质量评估方法、装置、设备及存储介质
WO2019210707A1 (zh) 一种图像清晰度评测方法、装置及电子设备
CN110990617B (zh) 一种图片标记方法、装置、设备及存储介质
CN107133631A (zh) 一种识别电视台图标的方法及装置
CN112734747B (zh) 一种目标检测方法、装置、电子设备和存储介质
CN105989029A (zh) 图像搜索方法及系统
CN111062914B (zh) 用于采集脸部图像的方法、装置、电子设备和计算机可读介质
CN107886513A (zh) 一种确定训练样本的装置
CN107135402A (zh) 一种识别电视台图标的方法及装置
KR20240063943A (ko) 톤 매핑 방법, 디바이스 및 시스템
CN112561818B (zh) 一种图像增强方法、装置、电子设备及存储介质
CN111539390A (zh) 一种基于Yolov3的小目标图像识别方法、设备和系统

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20161005