CN113508377A - 图像检索方法、图像检索系统 - Google Patents

Abstract

图像检索简化。本发明是一种图像检索装置，其中使用查询图像检索储存于服务器计算机中的相似度高的图像。在图像登录模式中多个第一图像供应给码生成部，码生成部改变第一图像的像素数并将其转换为第二图像的像素数，从第二图像抽取第一特征量。控制部将第一图像与对应于第一图像的第一特征量关联并将其储存于存储部中。在图像选拔模式中，第一查询图像供应给码生成部，码生成部改变第一查询图像的像素数并将其转换为第二查询图像的像素数，从第二查询图像抽取第二特征量。图像选拔部选拔具有与第二特征量相似度高的第一特征量的第一图像并将该被选拔的图像设定为查询响应。

Description

图像检索方法、图像检索系统

技术领域

本发明的一个方式涉及一种利用计算机设备的图像检索方法、图像检索系统、图像登录方法、图像检索装置、图像检索用数据库及程序。

背景技术

用户有时从储存于数据库中的图像检索相似度高的图像。例如，在使用工业生产装置时，通过检索与制造不良的图像相似度高的图像，可以容易检索过去发生的装置不良的原因。此外，有时在不同的用户想知道物体的名字等时，使用自己拍照的照片进行检索。通过从储存于数据库中的图像中检索提供类似的照片，用户可以容易知道检索对象物的名字等。

近年来已知使用模板匹配法的图像对照。在专利文献1中公开了图像对照装置，其中对模型图像加上预测变动，从这些变动图像抽取特征量，使用反映各种变动下呈现的特征量的模板。

[先行技术文献]

[专利文献]

[专利文献1]日本专利申请公开第2015-7972号公报

发明内容

发明所要解决的技术问题

近年来，在很多情况下在与网络连接的服务器计算机中构成数据库。在服务器计算机中储存各种程序。为了由各种程序提供不同功能，进行使用处理器的运算处理。例如，有如下问题：在服务器计算机的运算处理量增大时，服务器计算机整体的运算处理能力下降。此外，有如下问题：由于通过网络进行数据的收发，所以网络上的收发数据增大时变为辐辏状态。

此外，有用户(或工业生产装置)所取得的图像的像素数与储存于数据库中的图像的像素数不同的问题。

通过增加储存于数据库中的图像，用户所需的检索对象增加，检索相似度高的图像的可能性变大。注意，随着检索对象的增加，用来比较图像算出相似度的运算处理量也增加。因此，有服务器计算机的运算处理能力降低的问题。注意，运算处理能力可以换称为运算处理速度。

鉴于上述问题，本发明的一个方式的目的之一是提供一种利用计算机设备的新颖的图像检索方法或图像检索系统。本发明的一个方式的目的之一是提供一种从图像抽取特征量并将该特征量及图像储存于数据库的图像登录方法。本发明的一个方式的目的之一是提供一种在服务器计算机的运算处理能力有余时，从储存于数据库中的图像抽取特征量，将该特征量与该图像关联且将其储存于数据库中的图像登录方法。本发明的一个方式的目的之一是从用户所指定的图像抽取特征量，将该特征量与储存于数据库中的图像的特征量进行比较，由此选拔相似度高的图像的图像检索方法。本发明的一个方式的目的之一是提供一种通过比较图像的特征量且降低服务器计算机的运算处理量抑制服务器计算机的运算处理速度的下降的图像检索方法。

注意，这些目的的记载并不妨碍其他目的的存在。注意，本发明的一个方式并不需要实现所有上述目的。注意，可以从说明书、附图、权利要求书等的记载得知并抽出上述以外的目的。

解决技术问题的手段

本发明的一个方式是一种使用查询图像检索相似度高的图像的图像检索方法。图像检索方法使用控制部、码生成部、图像选拔部以及存储部进行，图像检索方法包括图像登录模式及图像选拔模式。图像登录模式包括：第一图像供应给码生成部的步骤；码生成部改变第一图像的像素数并将其转换为第二图像的像素数的步骤；码生成部从第二图像抽取第一特征量的步骤；以及控制部将第一图像与对应于第一图像的第一特征量关联并将其储存于存储部中的步骤。图像选拔模式包括：第一查询图像供应给码生成部的步骤；码生成部改变第一查询图像的像素数并将其转换为第二查询图像的像素数的步骤；码生成部从第二查询图像抽取第二特征量的步骤；以及图像选拔部选拔包括与第二特征量相似度高的第一特征量的第一图像并提供所选拔的第一图像或所选拔的第一图像的一览表作为查询响应的步骤。

本发明的一个方式是一种使用查询图像检索相似度高的图像的图像检索方法。图像检索方法使用控制部、码生成部、图像选拔部以及存储部进行，图像检索方法包括图像登录模式及图像选拔模式，图像选拔模式包括第一次选拔模式及第二次选拔模式。图像登录模式包括：第一图像供应给码生成部的步骤；码生成部改变第一图像的像素数并将其转换为第二图像的像素数且从第二图像抽取第一特征量的步骤；码生成部改变第一图像的像素数并将其转换为第三图像的像素数且从第三图像抽取第二特征量的步骤；以及控制部将第一图像与对应于第一图像的第一特征量及第二特征量关联并将其储存于存储部中的步骤。图像选拔模式包括：第一查询图像供应给码生成部的步骤；码生成部改变第一查询图像的像素数并将其转换为第二查询图像的像素数且从第二查询图像抽取第三特征量的步骤；码生成部改变第一查询图像的像素数并将其转换为第三查询图像的像素数且从第二查询图像抽取第四特征量的步骤；执行第一次选拔模式及第二次选拔模式的步骤。第一次选拔模式包括：图像选拔部对第三特征量与第一特征量进行比较的步骤；图像选拔部选拔包括与第三特征量相似度高的第一特征量的多个第一图像的步骤。第二次选拔模式包括：图像选拔部对第四特征量与在第一次选拔模式中选拔的多个第一图像的第二特征量进行比较的步骤。该第二次选拔模式还包括控制部提供与第四特征量相似度最高的第一图像或相似度高的多个第一图像的一览表作为查询响应的步骤。

在上述结构中，第三图像的像素数优选比第二图像的像素数大。

在上述结构中，码生成部优选包括卷积神经网络。

在上述结构中，码生成部所包括的卷积神经网络包括多个最大池化层。第一特征量或第二特征量优选为多个最大池化层中的任一个的输出。

在上述结构中，卷积神经网络包括多个全连接层。第一特征量或第二特征量优选为多个最大池化层中的任一个的输出或多个全连接层中的任一个的输出。

本发明的一个方式是一种包括储存用来执行上述结构的任一个所述的图像检索方法的程序的存储器以及用来执行程序的处理器的图像检索系统。

本发明的一个方式是一种图像检索系统，其中，服务器计算机包括储存用来执行上述结构中任一个所述的图像检索方法的程序的存储器，并且，查询图像经过网络从信息终端供应。

本发明的一个方式是一种在服务器计算机中工作的图像检索系统。在服务器计算机中经过网络登录图像。图像检索系统包括控制部、码生成部、数据库以及负载监视器。负载监视器具有监视服务器计算机的运算处理能力的功能。图像检索系统具有第一功能及第二功能。在第一功能中，在运算处理能力不富余时，控制部将经过网络供应的图像登录于数据库中。在第二功能中，在运算处理能力有余时，码生成部从图像抽取特征量，控制部将图像及对应于图像的特征量登录于数据库中。或者，抽取已登录于数据库中的图像中未登录特征量的图像的特征量并将其登录于数据库中。

发明效果

根据本发明的一个方式可以提供一种利用计算机设备的新颖的图像检索方法。根据本发明的一个方式可以提供一种从图像抽取特征量并将该特征量及图像储存于数据库的图像登录方法。根据本发明的一个方式可以提供一种在服务器计算机的运算处理能力有余时，从储存于数据库中的图像抽取特征量，将该特征量与该图像关联且将其储存于数据库中的图像登录方法。根据本发明的一个方式可以从用户所指定的图像抽取特征量，将该特征量与储存于数据库中的图像的特征量进行比较，由此选拔相似度高的图像的图像检索方法。根据本发明的一个方式可以提供一种通过比较图像的特征量且降低服务器计算机的运算处理量抑制服务器计算机的运算处理速度的下降的图像检索方法。

注意，本发明的一个方式的效果不局限于上述效果。上述列举的效果并不妨碍其他效果的存在。另外，其他效果是本部分没有提到而将在下面的记载中进行说明的效果。所属技术领域的普通技术人员可以从说明书或附图等的记载中导出并适当抽出本部分没有提到的效果。另外，本发明的一个方式实现上述效果及/或其他效果中的至少一个效果。因此，本发明的一个方式有时不具有上述列举的效果。

附图说明

图1是说明图像检索方法的方框图。

图2是说明图像检索装置的方框图。

图3是说明图像登录方法的方框图。

图4是说明图像登录方法的流程图。

图5A、图5B、图5C、图5D是说明码生成部的图。

图6是说明数据库的结构体的图。

图7是说明图像选拔模式的流程图。

图8是说明图像选拔模式的流程图。

图9是说明图像检索方法的方框图。

具体实施方式

参照附图对实施方式进行详细说明。注意，本发明不局限于以下说明，所属技术领域的普通技术人员可以很容易地理解一个事实就是其方式及详细内容在不脱离本发明的宗旨及其范围的情况下可以被变换为各种各样的形式。因此，本发明不应该被解释为仅限定在以下所示的实施方式所记载的内容中。

注意，在下面说明的发明结构中，在不同的附图中共同使用相同的符号来表示相同的部分或具有相同功能的部分，而省略反复说明。此外，当表示具有相同功能的部分时有时使用相同的阴影线，而不特别附加附图标记。

另外，为了便于理解，有时附图中示出的各构成的位置、大小及范围等并不表示其实际的位置、大小及范围等。因此，所公开的发明不一定局限于附图所公开的位置、大小、范围等。

(实施方式)

在本实施方式中，参照图1至图9说明图像检索方法。

在本实施方式中说明的图像检索方法由服务器计算机上工作的程序控制。因此，服务器计算机可以换称为包括图像检索方法的图像检索装置(也称为图像检索系统)。该程序储存于服务器计算机所包括的存储器或存储空间。或者，该程序储存于包括通过网络(LAN(Local Area Network：局部网)、WAN(Wide Area Network：广域网)、因特网等)连接的数据库的服务器计算机中。

图像检索装置(服务器计算机)从计算机(也称为本地计算机)或信息终端通过有线通信或无线通信被供应查询图像。服务器计算机可以从储存于服务器计算机所包括的数据库中的图像抽取与查询图像相似度高的图像。在检索相似度高的图像时，图像检索方法优选使用卷积神经网络(Convolutional Neural Network：CNN)、模式匹配法等。在本实施方式中，说明使用CNN的例子。

CNN组合构成多个卷积层及多个池化层(例如，最大池化层)等有特征的一些功能层。注意，CNN为图像识别优异的算法之一。例如，卷积层适合于从图像抽取边缘等的特征量抽取。此外，最大池化层具有赋予鲁棒性的功能以便由卷积层抽取的特征不受到平行移动等的影响。因此，最大池化层具有抑制对于由卷积层抽取的特征量的位置信息的影响的功能。在图5中详细说明CNN。

图像检索装置包括控制部、码生成部、图像选拔部及存储部。注意，图像检索方法包括图像登录模式、图像选拔模式。图像选拔模式包括第一次选拔模式、第二次选拔模式。注意，码生成部包括CNN。

在图像登录模式中，第一图像供应给码生成部。注意，图像检索方法中的图像登录模式也可以换称为用来构成图像检索用数据库的图像登录方法。码生成部改变第一图像的像素数并将其转换为第二图像的像素数。码生成部从第二图像抽取第一特征量。码生成部改变第一图像的像素数并将其转换为第三图像的像素数。码生成部从第三图像抽取第二特征量。控制部将第一图像与对应于第一图像的第一特征量及第二特征量关联并将其储存于存储部中。注意，优选的是，存储部包括数据库，将第一图像与对应于第一图像的第一特征量及第二特征量关联并将其储存于数据库中。第一图像可以换称为储存于数据库中的学习用数据。

第三图像的像素数优选大于第二图像的像素数。注意，优选对第一图像的像素数没有限制。这意味着从第三图像抽取的第二特征量比从第二图像抽取的第一特征量大。作为一个例子，在第二图像的像素数中纵向方向有100像素且横向方向有100像素时，第一特征量可以以9216(＝96×96)个数字表示。作为其他例子，在第三图像的像素数中纵向方向有300像素且横向方向有300像素时，第二特征量可以以82944(288×288)个数字表示。也就是说，第二特征量为第一特征量的约9倍。注意，对从第二图像的像素数或第二图像的像素数抽取的第一特征量的个数没有限制，对从第三图像的像素数或第三图像的像素数抽取的第二特征量的个数没有限制。

此外，优选对第一图像的像素数没有限制。例如，即使第一图像的像素数不同，也容易进行使用从第二图像的像素数抽取的第一特征量的比较。也就是说，第一特征量为不同像素数的图像的特征量归一化的值。因此，通过使用第一特征量，可以构成能够从大量的图像数据容易检索目的图像的数据库。注意，在详细比较图像的特征量时，由于从第三图像生成的第二特征量比第一特征量大，所以适合于详细比较图像的特征量的情况。

接着，对第一查询图像从信息终端或计算机等通过网络供应给码生成部的情况进行说明。

在图像选拔模式中，第一查询图像供应给码生成部。码生成部改变第一查询图像的像素数将其转换为第二查询图像的像素数，从第二查询图像抽取第三特征量。接着，码生成部改变第一查询图像的像素数将其转换为第三查询图像的像素数，从第三查询图像抽取第四特征量。注意，第二查询图像的像素数与第二图像的像素数相同，第三查询图像的像素数与第三图像的像素数相同。注意，第一查询图像可以作为学习用数据登录。

第一次选拔模式中的图像选拔部选拔具有与第三特征量相似度高的第一特征量的多个第一图像。

第二次选拔模式中的图像选拔部对第四特征量与在第一次选拔模式中选拔的多个第一图像的第二特征量进行比较。控制部提供与第四特征量相似度最高的第一图像或相似度高的多个第一图像的一览表作为查询响应。注意，该一览表可以将从第一次选拔模式选拔的多个第一图像的相似度高的前n个图像设定为选拔范围。注意，选拔范围优选由用户设定。n为1以上的整数。

此外，CNN还可以包括多个全连接层。全连接层具有分类CNN的输出的功能。因此，卷积层的输出可以供应给最大池化层、卷积层或全连接层等。注意，为了从由卷积层抽取的边缘信息等降低位置信息的影响，最大池化层优选处理卷积层的输出。注意，卷积层可以设置过滤器。通过设置过滤器可以根据特征鲜明抽取边缘信息等的浓淡。因此，最大池化层的输出适合于图像特征的比较。因此，第一特征量至第四特征量可以使用最大池化层的输出。注意，过滤器相当于神经网络中的权系数。

作为一个例子，CNN可以包括多个最大池化层。第一特征量至第四特征量通过使用多个最大池化层中的任一个的输出可以更正确地表示图像特征。或者，第一特征量至第四特征量可以使用最大池化层中的任一个的输出及全连接层中的任一个的输出。再者，通过使用最大池化层的输出及全连接层的输出，可以抽取图像特征。通过对第一特征量至第四特征量加上全连接层的输出，可以从数据库选拔相似度高的图像。

注意，作为比较第一特征量至第四特征量的相似度的方法，有测量比较对象物的方向或距离的方法。例如，有余弦相似度、欧式距离、标准欧式距离、马氏距离等。注意，CNN的运算处理、第一次选拔模式或第二次选拔模式利用电路(硬件)或程序(软件)实现。因此，服务器计算机优选包括储存进行图像检索方法的程序的存储器及实施程序的处理器。

如上所述，本发明的一个方式也可以换称为由服务器计算机工作的图像检索系统。例如，服务器计算机包括负载监视器，负载监视器具有监视服务器计算机的运算处理能力的功能。

服务器计算机所包括的程序可以对与网络连接的其他计算机或信息终端提供功能或服务。注意，从与网络连接的多个计算机或信息终端同时访问服务器计算机时，服务器计算机的运算处理能力不能应对上述情况，服务器计算机的运算处理能力会降低。因此，服务器计算机包括用来监视运算处理能力的负载监视器。

作为一个例子，在服务器计算机的运算处理能力不富余时，控制部具有不从通过网络供应的图像抽取特征量而将该图像登录于数据库中的功能。

作为其他例子，在服务器计算机的运算处理能力有余时，码生成部具有从图像抽取特征量的功能。控制部具有将图像及对应于图像的特征量登录于数据库中的功能。再者，可以抽取已登录于数据库中的图像中还没登录特征量的图像的特征量并将其登录于数据库中。

接着，参照图1说明图像检索方法。注意，以后有时将图像检索方法换称为图像检索装置进行说明。

图像检索装置10包括用来储存进行图像检索方法的程序的存储部11e。注意，存储部11e包括数据库。图像检索方法包括图像登录模式及图像选拔模式。图像选拔模式包括第一次选拔模式及第二次选拔模式。

图像登录模式可以在数据库中登录图像。对上述内容进行详细说明，在图像登录模式中，要登录的图像与从该图像抽取的特征量关联并将其登录于数据库中。注意，要登录的图像SImage通过网络18从计算机20供应给图像检索装置10。注意，要登录于数据库中的图像SImage不局限于计算机20，也可以从信息终端通过网络18供应给图像检索装置10。

图像选拔模式通过网络18查询图像SPImage从计算机21供应给图像检索装置10。图像选拔模式从查询图像SPImage抽取特征量，对该特征量与登录于数据库中的图像SImage的特征量进行比较，由此选拔与查询图像SPImage相似度高的图像。

注意，在图像选拔模式中，改变查询图像SPImage的像素数生成其像素数与查询图像SPImage不同的第一查询图像及第二查询图像。此外，第二查询图像的像素数优选与第一查询图像的像素数不同。注意，更优选的是，第二查询图像的像素数比第一查询图像的像素数多。作为一个例子，在第一查询图像的像素数比第二查询图像小时，在第一次选拔模式中对第一查询图像的特征量与储存于数据库中的特征量进行比较而选拔相似度高的多个图像。由于第一查询图像的像素数比第二查询图像小，所以可以抑制数据库的检索时间。

第二次选拔模式对在第一次选拔模式中检索的相似度高的多个图像与从第二查询图像抽取的特征量进行比较。图像检索装置10对从第二查询图像抽取的特征量与在第一次选拔模式中选拔的多个图像SImage的特征量进行比较。图像检索装置10提供相似度最高的图像SImage或相似度高的多个图像SImage的一览表(List3)作为查询响应。

图2是详细说明图1的图像检索方法的方框图。

图像检索装置10可以换称为服务器计算机11。服务器计算机11通过网络18与计算机20及计算机21连接。注意，对能够通过网络18与服务器计算机11连接的计算机的个数没有限制。此外，服务器计算机11也可以通过网络18与信息终端连接。例如，作为信息终端可以举出智能手机、平板终端、移动电话机、笔记本式个人计算机等。

图像检索装置10包括控制部11a、负载监视器11b、码生成部11c、图像选拔部11d以及存储部11e。通过储存于存储部11e中的程序被服务器计算机11所包括的处理器(未图示)处理，可以提供图像检索方法。注意，存储部11e包括数据库11f。图6详细说明数据库11f。数据库11f中分别管理由码生成部11c所包括的CNN生成的特征量Code1及特征量Code2、通过网络18供应的图像文件名称作为一览表31至一览表33。图像文件名称示出图像SImage的文件名称。注意，一览表31(List1)、一览表32(List2)及一览表33(Dataname)与第一图像关联而登录。

首先，说明图像登录模式。在图像登录模式中，作为一个例子，图像SImage从计算机20通过网络18供应给码生成部11c。在码生成部11c改变图像SImage的像素数并将其转换为第二图像的像素数之后，从第二图像抽取特征量Code1。接着，在码生成部11c改变图像SImage的像素数并将其转换为第三图像的像素数之后，从第三图像抽取特征量Code2。控制部11a将图像SImage与对应于图像SImage的特征量Code1及特征量Code2关联并将其储存于数据库11f中。

注意，第二图像或第三图像可以登录于数据库11f，也可以不登录。在本发明的一个方式的图像检索方法中，使用特征量Code1及特征量Code2算出图像的相似度。因此，通过不保存第二图像或第三图像可以减少存储部11e的使用量。图像SImage可以作为储存于数据库11f中的学习用数据登录。

接着，说明图像选拔模式。在图像选拔模式中，作为一个例子说明查询图像SPImage从计算机21通过网络18供应给码生成部11c的情况。

在码生成部11c改变查询图像SPImage的像素数并将其转换为第二查询图像的像素数之后，从第二查询图像抽取特征量Code3(未图示)。接着，在码生成部11c改变查询图像SPImage的像素数并将其转换为第三查询图像的像素数之后，从第三查询图像抽取特征量Code4(未图示)。注意，第二查询图像的像素数与第二图像的像素数相同，第三查询图像的像素数与第三图像的像素数相同。注意，第一查询图像可以作为学习用数据登录。

在第一次选拔模式中，图像选拔部11d选拔包括与特征量Code3相似度高的第一特征量的多个图像SImage。

第二次选拔模式中的图像选拔部11d对特征量Code4与第一次选拔模式中选拔的多个图像SImage的特征量Code2进行比较。由此提供与特征量Code4相似度最高的图像SImage或相似度高的多个图像SImage的一览表33作为查询响应。注意，该一览表可以将从第一次选拔模式中选拔的多个图像SImage中的相似度高的前n个图像设定为选拔范围。注意，选拔范围优选由用户任意设定。

如上所述，本发明的一个方式也可以换称为由服务器计算机11工作的图像检索系统。例如，服务器计算机11包括负载监视器11b，负载监视器11b具有监视服务器计算机11的运算处理能力的功能。

作为一个例子，在服务器计算机11的运算处理能力不富余时，控制部11a具有将通过网络18供应的图像SImage登录于数据库11f中的功能。

作为其他例子，在服务器计算机11的运算处理能力有余时，码生成部11c具有从图像SImage抽取特征量Code1或特征量Code2的功能。控制部11a具有将图像SImage及对应于图像SImage的特征量Code1或特征量Code2登录于数据库11f中的功能。再者，可以抽取已登录于数据库11f中的图像中还没登录特征量Code1或特征量Code2的图像SImage的特征量Code1或特征量Code2并将其登录于数据库11f中。

图3是说明图像登录方法的图。图3示出从连接于网络18的计算机20登录图像SImage1且从信息终端20A登录图像SImage2的例子。

计算机20具有储存于计算机20所包括的存储部22中的p个图像(图像23(1)至图像23(p))。信息终端20A具有储存于信息终端21A所包括的存储部22A中的s个图像(图像23A(1)至图像23A(s))。图3示出图像23的像素数比图像23A的像素数大的例子，图像23的像素数也可以小于或相同于图像23A的像素数。因此，登录于数据库11f中的图像23的像素数也可以与图像23A的像素数不同或相同。注意，p及s都是大于2的整数。

注意，服务器计算机11的控制部11a使用负载监视器11b监视服务器计算机11的运算处理能力是否有余。例如，在该运算处理能力有余时，码生成部11c抽取图像23的特征量Code1或特征量Code2，且抽取图像23A的特征量Code1或特征量Code2，分别关联登录于数据库11f中。在该运算处理能力不富余时，不从图像23及图像23A生成特征量Code1及特征量Code2，图像23及图像23A登录于数据库11f中。注意，在该运算处理能力有余时，检索数据库11f，使用还没生成特征量Code1或特征量Code2的登录图像生成特征量Code1或特征量Code2并将其登录于数据库11f中。

图4是说明图3的图像登录方法的流程图。首先，服务器计算机11从与网络连接的计算机20或信息终端21A被供应图像SImage1或图像SImage2。注意，为了简化起见，将图像SImage1或图像SImage2换称为图像SImage进行说明。

在步骤S41中，控制部11a使用负载监视器11b监视服务器计算机11的运算处理能力。在控制部11a判断服务器计算机11的运算处理能力降低时(Y)，进入步骤S48。在控制部11a判断服务器计算机11的运算处理能力有余时(N)，进入步骤S42。

对判断服务器计算机11的运算处理能力降低的情况进行说明。在步骤S48中，控制部11a将图像SImage登录于数据库11f中。注意，图6详细说明数据库11f。

在步骤S49中，在一览表34中登录“0”。在一览表34中登录的“0”意味着在步骤S48中没有生成特征量Code1及特征量Code2。注意，为了后面说明，在数据库11f的一览表34中登录“0”的图像为图像SImage_A。进入步骤S41，确认是否有登录于数据库11f中的新的图像SImage。注意，一览表34具有用来管理是否抽取特征量的标志(Flag)的功能。一览表34在抽取特征量时作为标志(Flag)登录“1”，而在没有抽取特征量时，作为Flag登录“0”。

接着，对判断服务器计算机11的运算处理能力有余的情况进行说明。在步骤S42中，选择用来由码生成部11c抽取特征量的图像SImage。在有登录于数据库11f中的新的图像SImage时，选择该图像SImage。在没有登录于数据库11f中的新的图像SImage时，选择登录于数据库11f中的图像SImage_A。然后进入步骤S43及步骤S45。

在步骤S43中，码生成部11c改变图像SImage的像素数并将其转换为第二图像的像素数。作为一个例子，第二图像的像素数转换为纵向方向100像素、横向方向100像素。

在步骤S44中，码生成部11c从第二图像生成特征量Code1。

在步骤S45中，码生成部11c改变图像SImage的像素数并将其转换为第三图像的像素数。作为一个例子，第三图像的像素数转换为纵向方向300像素、横向方向300像素。

在步骤S46中，码生成部11c从第三图像生成特征量Code2。

例如，由于服务器计算机11可以执行多个程序，所以可以并行执行图像像素数改变处理。注意，也可以依次处理步骤S43、步骤S44、步骤S45、步骤S46。通过连续执行处理可以抑制服务器计算机11的运算处理能力的降低。

在步骤S47中，判断是否在数据库11f的一览表34中登录“0”的图像。在数据库11f中登录图像SImage_A且该一览表34为“0”时(Y)，进入步骤S48。其他情况(N)进入步骤S49。

在步骤S49中，将特征量Code1、特征量Code2、图像SImage关联并将其登录于数据库11f中，且在一览表34中登录“1”。进入步骤S41，确认是否有登录于数据库11f中的新的图像SImage。

图5A至图5D是说明码生成部11c所包括的CNN的图。

图5A示出包括输入层IL、卷积层CL[1]至卷积层CL[m]、池化层PL[1]至池化层PL[m]、归一化线性单元RL[1]至归一化线性单元RL[m-1]、全连接层FL[1]的CNN。输入层IL对卷积层CL[1]供应输入数据，卷积层CL[1]对池化层PL[1]供应第一输出数据，池化层PL[1]对归一化线性单元RL[1]供应第二输出数据。归一化线性单元RL[1]对卷积层CL[2]供应第三输出数据。注意，m为大于2的整数。

图5A示出以卷积层CL[1]、池化层PL[1]、归一化线性单元RL[1]为一个模块且与m-1个该模块连接的CNN。注意，第m池化层PL[m]的第四输出数据供应给全连接层FL[1]，全连接层FL[1]输出输出FO1。注意，输出FO1相当于CNN的输出签条，可以检测供应给输入层IL的图像SImage是什么样的图像。在CNN中，优选供应给卷积层CL的权系数通过监督学习更新。

在图5A中，池化层PL[m]输出输出PO1。池化层PL[m]重新生成减少由卷积层CL抽取的关于位置的信息量的特征量，输出重新生成的特征量作为输出PO1。因此，输出PO1相当于上述特征量Code1至特征量Code4。注意，在特征量Code1至特征量Code4只使用输出PO1时，也可以不设置全连接层FL。

参照图5B说明与图5A不同的CNN。图5B示出包括输入层IL、卷积层CL[1]至卷积层CL[m]、池化层PL[1]至池化层PL[m]、全连接层FL[1]、全连接层FL[2]的CNN。输入层IL对卷积层CL[1]供应输入数据，卷积层CL[1]对池化层PL[1]供应第一输出数据。池化层PL[1]对卷积层CL[2]供应第二输出数据。

图5B示出以卷积层CL[1]、池化层PL[1]为一个模块且将与m个该模块连接的CNN。注意，第m池化层PL[m]的输出数据供应给全连接层FL[1]，从全连接层FL[1]输出的数据供应给全连接层FL[2]，全连接层FL[2]输出输出FO2。注意，全连接层FL[1]输出输出FO1。注意，输出FO2相当于CNN的输出签条，可以检测供应给输入层IL的图像SImage是什么样的图像。在CNN中，优选供应给卷积层CL的权系数通过监督学习更新。

在图5B中，池化层PL[m]输出输出PO1。输出PO1为由卷积层CL抽取特征量且降低该特征量的位置信息的特征量。通过使用输出PO1及输出FO1抽取特征量，该特征量可以表示输入图像的特征。因此，使用输出PO1或输出FO1生成的特征量相当于上述特征量Code1至特征量Code4。注意，在特征量Code1至特征量Code4只使用输出PO1时，也可以不设置全连接层FL。

参照图5C说明与图5B不同的CNN。图5C示出包括输入层IL、卷积层CL[1]至卷积层CL[5]、池化层PL[1]至池化层PL[3]、全连接层FL[1]、全连接层FL[2]的CNN。注意，对卷积层CL及池化层PL的数量没有限制，可以根据需要增减该数量。

输入层IL对卷积层CL[1]供应输入数据。卷积层CL[1]对池化层PL[1]供应第一输出数据。池化层PL[1]对卷积层CL[2]供应第二输出数据。卷积层CL[2]对池化层PL[2]供应第五输出数据。池化层PL[2]对卷积层CL[3]供应第六输出数据。卷积层CL[3]对卷积层CL[4]供应第七输出数据。卷积层CL[4]对卷积层CL[5]供应第八输出数据。卷积层CL[5]对池化层PL[3]供应第九输出数据。池化层PL[3]的第十输出数据供应给全连接层FL[1]。全连接层FL[1]对全连接层FL[2]供应第十一输出数据。全连接层FL[2]输出输出FO2。

在图5C中，池化层PL[3]输出输出PO1。输出PO1为由卷积层CL抽取特征量且降低该特征量的位置信息的特征量。因此，输出PO1相当于上述特征量Code1至特征量Code4。或者，使用输出PO1、输出FO1或输出FO2生成的特征量也可以为上述特征量Code1至特征量Code4。注意，在特征量Code1至特征量Code4只使用输出PO1时，也可以不设置全连接层FL。

参照图5D说明与图5C不同的CNN。图5D示出全连接层FL[1]的输出包括分类SVM的CNN。在图5D中，池化层PL[3]输出输出PO1。输出PO1为由卷积层CL抽取特征量且降低该特征量的位置信息的特征量。因此，输出PO1相当于上述特征量Code1至特征量Code4。或者，除了输出PO1或输出FO1以外还使用分类结果的输出FO2生成的特征量也可以为上述特征量Code1至特征量Code4。通过包括分类SVM，输出FO2具有对应于特征量的分类功能。

图5A至图5D所示的结构可以与各结构适当地组合使用。

图6是说明存储部11e所包括的数据库11f的图。注意，数据库11f也可以换称为图像检索用数据库。数据库11f包括一览表30至一览表34。一览表30为唯一号码(No)。一览表31为特征量Code1。一览表32为特征量Code2。一览表33为图像文件名称。一览表34为Flag。

作为一个例子，说明号码(No)为“1”时的情况。在特征量Code1中作为输出PO1登录包括小数点的9216个数字。在特征量Code2中作为最大输出PO1登录包括小数点的82994个数字。在图像文件名称中登录图像SImage(1)。在Flag中登录“1”。

作为其他例子，说明号码(No)为“3”的情况。在特征量Code1及特征量Code2中未登录特征量。在图像文件名称中登录SImage(3)。在Flag中登录“0”。也就是说，在号码(No)为“3”时意味着由于控制部11a的服务器计算机11的运算处理能力下降，所以只登录图像而不进行特征量Code1及特征量Code2的抽取。注意，在服务器计算机11的运算处理能力有余时，控制部11a选择图像SImage(3)，由码生成部11c抽取特征量Code1及特征量Code2并将其登录于一览表31或一览表32中且将“1”登录于一览表34中。

注意，数据库11f也可以登录在一览表33中登录的图像的像素数代替特征量Code2。

作为一个例子，在第二次选拔模式中码生成部11c从图像SImage抽取特征量Code5(未图示)。接着，在码生成部11c改变查询图像SPImage的像素数并将其转换为与图像SImage的像素数相同的第四查询图像之后，从第四查询图像抽取特征量Code6(未图示)。

图像选拔部11d对特征量Code6与在第一次选拔模式中选拔的多个图像SImage的特征量Code5进行比较。作为查询响应提供与特征量Code6相似度最高的图像SImage或相似度高的多个图像SImage的一览表(List3)。通过将查询图像与登录于数据库11f中的图像的像素数相等，可以检索具有更准确的相似度的图像。

图7是说明图像选拔模式及第一次选拔模式的流程图。图像选拔模式包括步骤S51至步骤S53，第一次图像选拔模式包括步骤S54至步骤56。图8是说明第二次图像选拔模式的流程图。第二次图像选拔模式包括步骤S61至步骤65。注意，在图7及图8中，将查询图像SPImage表示为查询图像，将图像SImage表示为图像。

首先说明图像选拔模式。步骤S51是查询图像加载于图像检索装置10的步骤。对上述内容进行详细说明，在图像检索装置10中从计算机21经过网络18在码生成部11c中加载查询图像SPImage。注意，计算机21也可以为信息终端。

在步骤S52中，码生成部11c改变查询图像SPImage的像素数。码生成部11c改变查询图像SPImage的像素数并将其转换为第二查询图像的像素数且改变查询图像SPImage的像素数并将其转换为第三查询图像的像素数。

在步骤S53中，码生成部11c从第二查询图像抽取特征量Code3(未图示)且从第三查询图像抽取特征量Code4(未图示)。

接着，说明第一次图像选拔模式。在步骤S54中，图像选拔部11d从在数据库11f中登录的多个图像SImage的特征量Code1中选拔与特征量Code3相似度高的图像SImage。注意，特征量Code3优选为其大小与特征量Code1相等的特征量。

在步骤S55中，从在第一次选拔模式中选拔的多个图像SImage中选拔相似度高的前n个图像。

在步骤S56中，生成将在步骤S55中选拔的相似度高的前n个图像按相似度高的顺序排列的相似度一览表。因此，相似度一览表为具有n个要素的一览表。接着，进入第二次图像选拔模式。

图8是说明第二次图像选拔模式的流程图。在步骤S61中图像选拔部11d从数据库11f加载相似度一览表n个中第[i]登录信息。

在步骤S62中，图像选拔部11d对特征量Code4与在第一次选拔模式中选拔的多个图像SImage的特征量Code2的相似度例如使用余弦相似度进行运算。

在步骤S63中，在i为n以下时(N)，进入步骤S61，从数据库11f加载相似度一览表第[i+1]登录信息。注意，在i大于n时(Y)，进入步骤S64。

在步骤S64中，控制部11a制作高相似度一览表(List3)。高相似度一览表优选对相似度高的图像进行分类而显示。用户可以将从高相似度一览表中前k个图像设定为选拔范围。注意，选拔范围优选由用户任意设定。注意，k为1以上的整数。

在步骤S65中，控制部11a经过网络对计算机21提供高相似度一览表作为查询响应。注意，既可以提供查询响应作为高相似度一览表，也可以显示对应于高相似度一览表的图像SImage。

图9是说明与图2不同的图像检索方法的图。作为一个例子，在图9中，查询图像SPImage从计算机24或信息终端24A经过网络18供应给服务器计算机11。注意，查询响应可以从服务器计算机11经过网络18提供在计算机24和信息终端24A中的一个或两个上。换言之，也可以在图像检索方法中传送查询图像SPImage的终端与接收查询响应的终端不同。

作为一个例子，可以在监控摄像机系统中使用本发明的一个方式的图像检索方法。也可以在数据库中检索由监控摄像机摄像的人物，将检索结果传送到信息终端等。

以上，本发明的一个方式所示的结构可以适当地组合使用。

[符号说明]

10：图像检索装置、11：服务器计算机、11a：控制部、11b：负载监视器、11c：码生成部、11d：图像选拔部、11e：存储部、11f：数据库、18：网络、20：计算机、21：计算机、20A：信息终端、22：存储部、22A：存储部、23：图像、23A：图像、24：计算机、24A：信息终端

Claims (9)

1.一种使用查询图像检索相似度高的图像的图像检索方法，

其中，所述图像检索方法使用控制部、码生成部、图像选拔部以及存储部进行，

所述图像检索方法包括图像登录模式及图像选拔模式，

所述图像登录模式包括：

第一图像供应给所述码生成部的步骤；

所述码生成部改变所述第一图像的像素数并将其转换为第二图像的像素数的步骤；

所述码生成部从所述第二图像抽取第一特征量的步骤；以及

所述控制部将所述第一图像与对应于所述第一图像的所述第一特征量关联并将其储存于所述存储部中的步骤，

并且，所述图像选拔模式包括：

第一查询图像供应给所述码生成部的步骤；

所述码生成部改变所述第一查询图像的像素数并将其转换为第二查询图像的像素数的步骤；

所述码生成部从所述第二查询图像抽取第二特征量的步骤；以及

所述图像选拔部选拔包括与所述第二特征量相似度高的所述第一特征量的所述第一图像并提供所选拔的所述第一图像或所选拔的所述第一图像的一览表作为查询响应的步骤。

2.一种使用查询图像检索相似度高的图像的图像检索方法，

其中，所述图像检索方法使用控制部、码生成部、图像选拔部以及存储部进行，

所述图像检索方法包括图像登录模式及图像选拔模式，

所述图像选拔模式包括第一次选拔模式及第二次选拔模式，

所述图像登录模式包括：

第一图像供应给所述码生成部的步骤；

所述码生成部改变所述第一图像的像素数并将其转换为第二图像的像素数且从所述第二图像抽取第一特征量的步骤；

所述码生成部改变所述第一图像的像素数并将其转换为第三图像的像素数且从所述第三图像抽取第二特征量的步骤；以及

所述控制部将所述第一图像与对应于所述第一图像的所述第一特征量及所述第二特征量关联并将其储存于所述存储部中的步骤，

所述图像选拔模式包括：

第一查询图像供应给所述码生成部的步骤；

所述码生成部改变所述第一查询图像的像素数并将其转换为第二查询图像的像素数且从所述第二查询图像抽取第三特征量的步骤；

所述码生成部改变所述第一查询图像的像素数并将其转换为第三查询图像的像素数且从所述第三查询图像抽取第四特征量的步骤；

执行所述第一次选拔模式及所述第二次选拔模式的步骤，

并且，所述第一次选拔模式包括：

所述图像选拔部对所述第三特征量与所述第一特征量进行比较的步骤；

所述图像选拔部选拔包括与所述第三特征量相似度高的所述第一特征量的多个所述第一图像的步骤，

所述第二次选拔模式包括：

所述图像选拔部对所述第四特征量与在所述第一次选拔模式中选拔的多个所述第一图像的所述第二特征量进行比较的步骤；以及

所述控制部提供与所述第四特征量相似度最高的所述第一图像或相似度高的多个所述第一图像的一览表作为查询响应的步骤。

3.根据权利要求2所述的图像检索方法，

其中所述第三图像的像素数比所述第二图像的像素数大。

4.根据权利要求1或2所述的图像检索方法，

其中所述码生成部包括卷积神经网络。

5.根据权利要求4所述的图像检索方法，

其中所述码生成部所包括的所述卷积神经网络包括多个最大池化层，

并且所述第一特征量或所述第二特征量为所述多个最大池化层中的任一个的输出。

6.根据权利要求5所述的图像检索方法，

其中所述卷积神经网络包括多个全连接层，

并且所述第一特征量或所述第二特征量为所述多个最大池化层中的任一个的输出或所述多个全连接层中的任一个的输出。

7.一种包括储存用来执行权利要求1至6中任一项所述的图像检索方法的程序的存储器以及用来执行所述程序的处理器的图像检索系统。

8.一种图像检索系统，

其中，服务器计算机包括储存用来执行权利要求1至6中任一项所述的所述图像检索方法的程序的存储器，

并且，所述查询图像经过网络从信息终端供应。

9.一种在经过网络供应的图像被登录的服务器计算机中工作的图像检索系统，

其中，所述图像检索系统包括控制部、码生成部、数据库以及负载监视器，

所述负载监视器具有监视所述服务器计算机的运算处理能力的功能，

所述图像检索系统具有第一功能及第二功能，

在所述第一功能中，在运算处理能力不富余时，所述控制部将经过所述网络供应的所述图像登录于所述数据库中，

并且，在所述第二功能中，在运算处理能力有余时，所述码生成部从所述图像抽取特征量，所述控制部将所述图像及对应于所述图像的所述特征量登录于所述数据库中，或者抽取已登录于所述数据库中的所述图像中未登录所述特征量的所述图像的所述特征量并将其登录于所述数据库中。

Images