CN107408119B - 图像检索装置、系统以及方法 - Google Patents

Abstract

一种图像检索装置，其具有：积蓄部(111)，其积蓄检索对象图像；区域检测部(114)，其通过解析从多个检索对象图像包含的多个第一区域中抽出的第一信息来学习(110)检索优先度(400)，解析从查询图像(502)包含的多个第二区域中抽出的第二信息，使用第二信息检测检索优先度高的第二区域来作为显著区域(506)；图像检索部(115)，其使用从显著区域(506)抽出的图像特征量对检索对象图像进行检索。

Description

图像检索装置、系统以及方法

技术领域

本发明涉及一种图像检索系统以及方法，特别涉及计算机上的信息检索。

背景技术

近年来，随着恶性犯罪的增加和安全意识的提高，逐渐在店铺或机场、道路等人集中的场所设置很多的监视相机。将通过这些监视相机拍摄到的影像存储到监视记录器等存储装置中，并根据需要来阅览。另外，由于IP相机的普及可经由网络连接多个相机，另外结合存储装置的大容量化得到发展的情况，逐渐存储大量的影像。因此，如以往那样通过目视来确认全部影像数据变得非常困难。

因此，为了从大量的影像数据中检索出映现了特定的人或物的场面来进行提示，提出了各种相似检索技术。在这里，相似检索技术是指从对象数据内探索与用户指定的检索查询相相似的数据来提示其结果的技术。特别是相似图像检索技术是使用从图像自身抽出的色调或形状、构图等的特征量来检索特征量间的相似度大的数据的技术。

例如，在进行人检索时，考虑使用人的服装的颜色信息作为特征量来进行检索。作为抽出特征量的单位，举出了从全身抽出、分为上半身·下半身来抽出、详细地切出鞋和包后进行抽出、将人划分为网格状从各区域进行抽出这样的方法。无论哪种方法，从对于检索人物有效的区域中抽出特征量对于提高检索精度是重要的。

在专利文献1中公开了如下技术：从对象图像中考虑颜色、亮度、方向等，基于显著图决定包含被拍摄物的矩形区域，从该矩形区域抽出特征量的技术，其中，显著图对于图像中的物体区域将引导视觉注意的区域可视化。

现有技术文献

专利文献

专利文献1：日本特开2013-225180号公报

发明内容

发明所要解决的课题

在希望检索以人等为代表的移动物体时，从对于检索有效的区域中抽出特征量是重要的。例如，考虑如下情况：希望从很多穿着红色衣服的人群所在的场所中设置的监视相机的影像中进行人的检索。此时，从红色衣服抽出特征量进行检索会检索出相同颜色衣服的人，因此无法找出目标人物。因此，需要从具有红色衣服以外的包或鞋等出现频率低的特征量的区域中抽出特征量来进行检索。

在专利文献1中，仅使用作为特征量抽出对象的图像来进行特征量的有效性的评价。此时，作为课题举出了如下情况：如上所述，没有对考虑了与其他人之间的关系性的特征量的有效性进行评价，所以无法进行适当的检索。即，在作为特征量抽出对象的图像内红色显著时，因为抽出红色的特征量，所以在数据库中存在大量穿着红色衣服的人，此时变为只检索红色衣服的人，而无法有效地应用其他的特征。

解决课题的手段

为了解决上述课题，例如采用权利要求中记载的结构。本申请包含多个用于解决上述课题的手段，举出其中一个例子。一种图像检索装置，其具有：积蓄部，其积蓄检索对象图像；区域检测部，其通过解析从多个检索对象图像包含的多个第一区域中抽出的第一信息来学习检索优先度，并解析从查询图像包含的多个第二区域中抽出的第二信息，使用第二信息检测检索优先度高的所述第二区域来作为显著区域；以及图像检索部，其使用从显著区域抽出的图像特征量对所述检索对象图像进行检索。

或者，一种图像检索方法，其具有：第一步骤，在积蓄部中积蓄检索对象图像；第二步骤，通过解析从多个检索对象图像包含的多个第一区域中抽出的第一信息来学习检索优先度，并解析从查询图像包含的多个第二区域中抽出的第二信息，使用第二信息检测检索优先度高的所述第二区域来作为显著区域；以及第三步骤，其使用从显著区域抽出的图像特征量对检索对象图像进行检索。

发明的效果

根据本发明的一个实施方式，通过检测查询图像中的适合于与检索对象图像进行比较来进行检索的显著区域，能够提高检索精度。

附图说明

图1是表示第一实施方式的图像检索系统的结构的框图。

图2是表示第一实施方式的硬件结构的结构图。

图3是表示第一实施方式的特征量管理信息的说明图。

图4是表示第一实施方式的优先度信息的说明图。

图5是表示第一实施方式的使用了优先度信息的移动物体检索方法的说明图。

图6是表示第一实施方式的影像登记处理的流程图。

图7是表示第一实施方式的优先度信息计算处理的流程图。

图8是表示第一实施方式的移动物体检索处理的流程图。

图9是表示第一实施方式的检索画面的说明图。

图10是表示第二实施方式的硬件结构的结构图。

图11是表示第二实施方式的认证信息数据库中积蓄的信息的说明图。

图12是表示第二实施方式的认证处理的流程图。

图13是表示第二实施方式的检索处理的流程图。

图14是表示第三实施方式的系统结构的框图。

图15是表示第三实施方式的显示处理的流程图。

具体实施方式

以下参照附图来说明本发明的实施方式。

(实施例1)

以下，按照附图来说明本发明的第一实施方式的图像检索系统。

图1是本发明的实施例1的图像检索系统100的整体结构图。

本实施例的图像检索系统100具备影像存储装置101、影像拍摄装置102、输入装置103、显示装置104、以及服务器计算机105。影像存储装置101是保存影像数据，并根据请求输出影像数据的存储介质，能够使用计算机内置的硬盘驱动器、或者NAS(NetworkAttached Storage，网络附加存储)或者与SAN(Storage Area Network，存储区域网络)等网络相连接的存储系统来构成。

影像拍摄装置102是拍摄影像生成影像数据，并将其输出的装置。

把从影像存储装置101或影像拍摄装置102输出的图像均输入到服务器计算机105的影像输入部106(后述)。如图1所示，图像检索系统100可以具备影像存储装置101以及影像拍摄装置102的两方，也可以仅具备任意一方。在图像检索系统100具备影像存储装置101以及影像拍摄装置102两方时，关于向影像输入部106输入影像数据的输入源，可以根据需要切换为影像存储装置101或影像拍摄装置102，从影像拍摄装置102输出的影像数据可以暂时存储在影像存储装置101中，并从这里输入给影像输入部106。此时，影像存储装置101例如可以是暂时保存从影像拍摄装置102持续输入的影像数据的高速缓冲存储器。

此外，影像存储装置101中保存的影像数据以及通过影像拍摄装置102生成的影像数据只要能够用于追踪拍摄到的移动物体，可以是任意形式的数据。例如，影像拍摄装置102是摄像机，由它拍摄到的动画图像数据也可以作为影像数据输出，可以将这样的影像数据存储到影像存储装置101。或者，影像拍摄装置102是静像摄像机，由它以预定的间隔(至少能够追踪拍摄到的物体左右的间隔)拍摄到的一连串的静止图像数据也可以作为影像数据输出，可以将这样的影像数据存储到影像存储装置101。

输入装置103是鼠标、键盘、触摸屏等用于将用户的操作传递到服务器计算机105的输入接口。显示装置104是液晶显示器等输出接口，用于服务器计算机105的检索结果的显示、与用户的对话操作等。例如，可以通过使用所谓的触摸屏等将输入装置103和显示装置104一体化。

服务器计算机105作为根据输入的影像数据，基于用户指定的检索条件来检索期望的图像的图像检索装置发挥功能。具体来说，服务器计算机105追踪被赋予的影像数据的各帧中包含的移动物体，积蓄与该移动物体相关的信息。当用户指定了从积蓄的帧中希望查找的移动物体的检索条件时，服务器计算机105使用积蓄的信息来检索图像。假设服务器计算机105处理的影像是在一个位置以上的场所拍摄到的定点观测的影像。另外，检索对象的物体是人或车辆等任意的移动物体。服务器计算机105具备影像输入部106、帧登记部107、移动物体追踪部108、追踪信息登记部109、优先度信息登记部110、影像数据库111、优先度信息数据库112、移动物体指定部113、显著性判定部114、相似矢量检索部115。

影像输入部106从影像存储装置101读出影像数据，或者接收由影像拍摄装置102拍摄到的影像数据，并将它们变换为在服务器计算机105内部使用的数据形式。具体来说，影像输入部106进行将影像(动画数据形式)分解为帧(静止图像数据形式)的动画解码处理。将得到的帧送到帧登记部107以及移动物体追踪部108。此外，在从影像存储装置101或影像拍摄装置102不是取得影像而是能够取得帧时，可以使用得到的帧。

帧登记部107向影像数据库111写入抽出的帧和抽出源的影像信息。关于在影像数据库111中记录的数据的详细内容，之后通过图3进行说明。

移动物体追踪部108检测影像中的移动物体，通过与前帧的移动物体对应起来进行移动物体的追踪。移动物体的检测以及追踪能够使用任意的方法来实现。轨迹信息由各帧的移动物体的坐标信息和对各轨迹唯一赋予的ID(追踪ID)来构成。

追踪信息登记部109向影像数据库111登记被赋予的追踪ID。

优先度信息登记部110根据从移动物体追踪部108得到的移动物体计算优先度信息，并登记到优先度信息数据库112。关于优先度信息，之后通过图4、5、6进行详细说明。

影像数据库111是用于保存影像、帧、以及移动物体的轨迹信息等的数据库。在来自帧登记部107以及追踪信息登记部109的登记处理、以及来自相似矢量检索部115的检索处理时产生对影像数据库111的访问。对于影像数据库111的结构，之后通过图3进行详细说明。

优先度信息数据库112是用于保存进行显著性判定的优先度信息的数据库。在来自优先度信息登记部110的登记处理、以及来自显著性判定部114的判定处理时产生对优先度信息数据库112的访问。关于优先度数据库112的结构，之后通过图4进行详细说明。

移动物体指定部113从输入装置103取得用户指定的移动物体(例如人的外接矩形)。

显著性判定部114从输入的移动物体抽出显著性判定用特征量，使用在优先度信息数据库112中保存的优先度信息来判定移动物体中的显著区域。之后通过图9进行详细说明。

相似矢量检索部115从影像数据库111检索与从被判定为显著区域的移动物体的部分区域中抽出的检索用特征量相似的特征量，并将该结果输出到显示装置104。

图2是本发明实施例1的图像检索系统100的硬件结构图。服务器计算机105例如是具有相互连接的处理器201以及存储装置202的一般的计算机。存储装置202由任意种类的存储介质构成。例如，存储装置202可以包含半导体存储器以及硬盘驱动器。

在该例子中，图1所示的影像输入部106、帧登记部107、移动物体追踪部108、追踪信息登记部109、优先度信息登记部110、影像数据库111、优先度信息数据库112、移动物体指定部113、显著性判定部114、相似矢量检索部115这样的功能部通过由处理器201执行在存储装置202中存储的处理程序203来实现。换句话说，在该例子中，上述各功能部执行的处理，实际上由处理器201按照处理程序203所记述的命令来实现。另外，在存储装置202中包含影像数据库111以及优先度信息数据库112。

服务器计算机105还包含与处理器相连接的网络接口装置(NIF)204。影像拍摄装置102例如经由网络接口装置204与服务器计算机105相连接。影像存储装置101可以是经由网络接口装置204与服务器计算机105相连接的NAS或SAN，也可以包含在存储装置202中。

此外，本实施方式的图像检索系统可以是以下的结构：一般的个人计算机通过图像检索的应用程序提供服务的结构、经由网络连接的服务器计算机110和客户计算机提供服务的结构，可以是一般的个人计算机通过图像检索的应用程序提供服务的结构。

图3是本发明的实施例1的影像数据库111的结构以及数据例的说明图。在这里表示了表形式的结构例，但可以是任意的数据形式。

影像数据库111包含图3所示的图像数据管理信息300、移动物体管理信息310、追踪信息管理信息320、以及补丁特征量管理信息330。图3的表结构以及各表的字段结构是实施本发明所需要的结构，可以根据应用程序来追加表以及字段。

图像数据管理信息300具有帧ID字段301、相机ID字段302、拍摄时刻字段303、以及图像数据字段304。

帧ID字段301保存从影像数据抽出的帧图像数据的识别信息(以下，称为帧ID)。

相机ID字段302保存拍摄装置102的识别信息(以下，称为相机ID)。在从影像存储装置101读入影像数据时，可以省略相机ID，也可以保存影像文件的识别信息(以下，称为影像ID)。

拍摄时刻字段303保存拍摄到图像的时刻的信息。

图像数据字段304是帧的静止图像的二进制数据，其保存当在显示装置104中显示检索结果等时使用的数据。

移动物体管理信息310包含移动物体ID字段311、追踪ID字段312、帧ID字段313、以及矩形坐标字段314。

移动物体ID字段311保存从各帧检测出的移动物体的识别信息(以下，称为移动物体ID)的列表。在这里，移动物体ID不识别移动物体自身，而识别从各帧检测出的移动物体的图像。在从多个帧检测出同一移动物体的图像时，对这些移动物体的各个图像赋予不同的(唯一的)移动物体ID，并将这些移动物体ID与一个追踪ID对应起来。

追踪ID字段312保存与上述的移动物体ID相关联的追踪ID。

帧ID字段313保存成为检测出各移动物体的检测源的帧图像的帧ID。该帧ID与图像数据管理信息300的帧ID字段301中保存的帧ID相对应。

矩形坐标字段314保存矩形坐标，该矩形坐标表示从各帧检测出的移动物体的图像在该帧图像中所占的范围。该坐标例如可以通过“左上角的水平坐标、左上角的垂直坐标、右下角的水平坐标、右下角的垂直坐标”这样的形式来表现，也可以通过矩形中心的坐标、宽度以及高度来表现。在后述的矩形坐标字段333中保存的矩形坐标的表现也可以一样。

追踪信息管理信息320具有追踪ID字段321以及移动物体ID列表322。

追踪ID字段321与移动物体管理信息310的追踪ID字段312中保存的追踪ID相对应。

移动物体ID字段322保存被赋予了相同的追踪ID的移动物体ID的列表。移动物体ID字段322与移动物体管理信息310的移动物体ID字段311中保存的移动物体ID相对应。

例如，如图3所示，在与追踪ID“1”对应的移动物体ID字段中登记了“1、2、3、4、5、6...”，意味着通过移动物体追踪部108将从某个帧检测出的通过移动物体ID“1”识别的移动物体的图像、从其他帧检测出的通过移动物体ID“2”识别的移动物体的图像、同样地从各个不同的帧检测出的通过移动物体ID“4”、“5”、“6”识别的移动物体的图像相互对应起来(即，将它们判定为同一移动物体的图像)。作为追踪移动物体的方法的一个例子，从在某个帧中检测出的移动物体ID“1”的图像、从在其他帧中检测出的移动物体ID“2”的图像分别抽出图像特征量，计算图像特征量的相似度(距离)，如果相似度为阈值以上，则判定为两个图像的移动物体为同一移动物体，并对应起来。

补丁特征量管理信息330包含补丁ID字段331、帧ID字段332、矩形坐标字段333、以及补丁特征量字段334。

补丁ID字段331保存从帧图像通过移动物体追踪部108追踪到的移动物体的部分区域的识别信息(以下，称为补丁ID)。作为部分区域，可以使用将移动物体的外接矩形分割为网格状后的块区域，也可以使用包或上半身这样的一部分。

帧ID字段332保存检测出包含补丁的部分区域的移动物体的帧的帧ID。该帧ID与图像数据管理信息300的帧ID字段301中保持的帧ID相对应。

矩形坐标字段333保存表示检测出的补丁区域在帧图像所占的范围的坐标。

补丁特征量字段334保存从检测到的服饰区域抽出的图像特征量。

图4是本发明实施例1的优先度信息数据库112的结构以及数据例的说明图。在这里表示表形式的结构例，但是也可以是任意的数据形式。

优先度信息数据库112包含优先度信息400。优先度信息400保存优先度信息ID401、以及优先度信息402。优先度信息ID401是识别各优先度信息的ID。优先度信息402是用于在影像数据库111内的补丁特征量管理信息330保持的补丁特征量字段334中，计算出现频率低的特征量的信息。可以直接保存出现频率低的特征量的特征量矢量，也可以根据在补丁特征量字段334中保存的特征量计算基矢量的集合，保存通过基矢量的成分表示了在补丁特征量字段334中保存的特征量的矢量数据。另外，可以按前景和背景分别保存，也可以针对每个拍摄装置进行保存。在分别保存了前景和背景时，能够并行地进行检索，因此能够提高检索速度。针对每个拍摄装置进行保存时也一样。另一方面，在不分为前景和背景保存时，能够削减保存所需要的磁盘容量以及提高访问性。

图4的表结构以及各表的字段结构是实施本发明所需要的结构，可以根据应用程序追加表以及字段。

图5是本发明的实施例1的使用了优先度信息的移动物体检索的说明图。

从影像数据取得帧图像501并显示到显示装置104，该影像数据从影像输入部106输入。此时，用户使用输入装置103将帧图像501上的移动物体502指定为检索关键字。

接着，将移动物体502分割为网格状，得到网格图像503。在本实施例中为了容易处理并减轻负荷，如图5所示分割为网格，但是作为其他分割移动物体502的方法，也可以使用将包或上半身这样的部位作为单位来分割、或者切出边缘信息多的部分这样的方法。

在显著区域的决定处理(504)中，使用在优先度信息数据库112中保存的优先度信息，对于网格图像503的各部分区域决定是否是显著区域506。将在后面使用图6说明优先度信息的计算方法，使用图7说明显著区域的判定方法。

在使用了显著区域的检索处理(507)中，计算从显著区域506抽出的特征量与影像数据库111中保存的补丁特征量334之间的相似度。作为相似度的计算方法，可以使用欧几里得距离，也可以使用余弦距离等。

如上所述，本实施例所记载的图像检索装置105具有：积蓄部111，其积蓄检索对象图像；区域检测部114，其通过解析从多个检索对象图像包含的多个第一区域中抽出的第一信息来学习检索优先度400(110)，解析从查询图像502包含的多个第二区域中抽出的第二信息，使用第二信息将检索优先度高的第二区域检测为显著区域506；图像检索部115，其使用从显著区域506抽出的图像特征量对检索对象图像进行检索。

如此，通过将查询图像中的第二区域中的、在检索对象图像中出现频率低的区域确定为检索区域，能够抑制由于查询图像中的通用图案，在检索结果中大量出现目标图像以外的检索噪声的现象，检索精度提高。此外，在本实施例中输入动态图像，作为检索查询假定了在动画图像中映现的移动物体，但是即使输入没有时间序列关系的多个图像当然也能够达成本发明的效果。本实施例的效果并不限于检索移动物体时，即使只将图像中映现的任意物体作为查询，也能够学习检索优先度，并进行检索。

图6是说明本发明实施例1的服务器计算机105将输入的影像进行登记的处理的流程图。以下，对于图6的各步骤进行说明。

首先，影像输入部106对从影像存储装置101或影像拍摄装置102输入的影像数据进行解码，抽出帧作为静止图像(步骤S601)。在从影像存储装置101或影像拍摄装置102输入的数据为静止图像时，直接使用静止图像。

接着，服务器计算机105内的各部针对在步骤S601中抽出的各帧执行步骤S602～S610。

帧登记部107将帧ID301、相机ID302、拍摄时刻303、以及图像数据304登记到影像数据库111(步骤S603)。

对于追踪信息登记处理，使用步骤S604至步骤S607来进行说明。

移动物体追踪部108从处理对象的帧检测移动物体，并将检测到的移动物体与从之前时刻的帧检测到的移动物体对应起来(步骤S604)。

接着，移动物体追踪部108判定是否出现了新的移动物体(步骤S605)。具体来说，移动物体追踪部108在从处理对象的帧检测到的移动物体与从之前时刻的帧检测到的任意一个移动物体均未对应起来(换句换说，判定为与从处理对象的帧检测到的移动物体相同的移动物体的图像未包含在之前时刻的帧中)时，判定为出现了新的移动物体。

在出现了新的移动物体时，移动物体追踪部108对该新的移动物体赋予新的追踪ID，追踪信息登记部109将该新的追踪ID、移动物体ID分别登记到影像数据库111的追踪信息管理信息320内的追踪ID字段321以及移动物体ID字段322(步骤S606)。另一方面，在没有出现新的移动物体时，不执行步骤S606。

接着，追踪信息登记部109对于在帧图像内检测到的移动物体，将移动物体ID、追踪ID、帧ID以及矩形坐标分别登记到影像数据库111的移动物体管理信息310内的移动物体ID字段311、追踪ID字段312、帧ID字段313、以及矩形坐标314(步骤S607)。另外，在追踪信息管理信息320内的移动物体ID字段322中追加移动物体的ID(步骤S607)。

此外，对于追踪信息和移动物体信息的登记处理，也可以不进行每帧登记处理，而在移动物体消失时进行。具体来说，移动物体追踪部108在从之前时刻的帧检测到的移动物体与在步骤S607中检测到的任意一个移动物体均未对应起来(换句话说，判定为与从之前时刻的帧检测到的移动物体相同的移动物体的图像不包含在处理对象的帧中)时，可以判定为该从之前时刻的帧检测到的移动物体已消失，将该移动物体的追踪信息和移动物体信息汇总进行登记。

对于优先度信息登记处理，使用步骤S608和步骤S609来进行说明。

使用从移动物体的部分区域抽出的优先度计算用特征量来计算优先度信息(步骤S608)。作为优先度计算用特征量，可以使用边缘信息和颜色直方图。作为部分区域，可以使用将移动物体分割为网格状的各块区域，在为人体时可以限定为包或上半身这样的区域。

将优先度信息保存为优先度信息数据库112内的优先度信息400(步骤S609)。此外，优先度信息的登记可以针对每个帧进行，也可以每隔某个固定期间进行，还可以在事前进行。另外，也可以针对每个拍摄装置或每个拍摄场所保存优先度信息。在针对每个拍摄装置保存优先度信息时，能够根据拍摄装置的画质等切换优先度信息。

在对于从影像数据抽出的全部的帧，步骤S602～S610结束时，登记输入的影像的处理结束。

图7是说明本发明实施例1的服务器计算机105进行移动物体检索的处理的流程图。以下，对于图8的各步骤进行说明。

首先，用户使用输入装置103指定在显示装置104显示出的移动物体(步骤S701)。

接着，从指定的移动物体的部分区域通过与步骤S608中抽出的特征量相同的方法来抽出优先度计算用特征量(步骤S702)。此时，可以针对将整个移动物体分割为网格状后的每个区域抽出特征量，在为人时可以针对包或上半身这样的每个区域抽出特征量。另外，不仅从包含被指定的移动物体的帧图像中抽出，还可以从被赋予了相同的移动物体ID的移动物体中抽出。

接着，使用优先度信息数据库112的优先度信息400、以及在步骤S802中抽出的特征量来针对每个部分区域判定显著性(步骤S703)。当在优先度信息数据库112的优先度信息400中保存了出现频率低的特征量时，如果与该特征量相似则可以判定为显著性高，也可以使用其他方法。另外，在针对每个拍摄装置保存了优先度信息400时，使用对作为对象的图像进行了拍摄的拍摄装置用的优先度信息来计算优先度。

接着，从显著性大的部分区域抽出检索用特征量(步骤S704)。作为显著性大的部分区域的决定方法，可以使用全部显著性超过了预先指定的阈值的部分区域，也可以使用移动物体中显著性最高的部分区域，还可以使用在预先指定的每个区域中显著性最高的部分区域。作为检索用特征量，可以使用边缘信息和颜色直方图，也可以使用与优先度判定用特征量相同的特征量。

接着，计算抽出的特征量与影像数据库111中保存的补丁特征量管理信息330内的补丁特征量字段334的补丁特征量之间的相似度(步骤S705)。作为相似度的计算方法，可以使用欧几里得距离，也可以使用余弦距离等的其他方法。

最后，在步骤S705中，使用判定为相似度高的补丁特征量来显示检索结果(步骤S706)。此时，作为检索结果，可以显示补丁ID331，也可以显示包含该补丁的移动物体ID，还可以显示包含该移动物体ID的帧图像。

图8是通过本发明实施例1的服务器计算机105输出的检索画面的说明图。参照图8来说明图7的处理中的来自用户的信息输入方法以及检索结果的显示方法的一个例子。

通过显示装置104显示的检索画面包含移动物体选择区域801、显著性显示区域802、检索按钮803、以及检索结果显示区域904。

在移动物体选择区域801中显示了移动物体，用户从中指定作为检索关键字的移动物体(步骤S701)。

从用户指定的移动物体抽出显著性判定用特征量(步骤S702)，在显著性显示区域802中显示使用优先度信息判定了显著性的结果(步骤S703)。例如，判定将移动物体分割为网格状后的各部分区域的显著性，通过矩形围住具有预先指定的阈值以上的显著性的部分区域来进行显示。在判定具有用户指定的移动物体的同一移动物体ID的移动物体的显著性时，显示多个移动物体。

当用户使用鼠标等操作了检索按钮803时，从显著区域抽出检索用特征量(步骤S704)，进行相似检索(步骤S705)，并在检索结果画面804中显示相似度大的数据(步骤S706)。例如，作为检索结果的显示方法，按照相似度顺序排列映现出包含相似度大的补丁的移动物体的帧图像来进行显示，并通过矩形围住移动物体来进行显示。

如上所述，本实施例所记载的图像检索方法的特征为具有如下步骤：第一步骤(S603)，在积蓄部111中积蓄检索对象图像；第二步骤(S703)，通过解析从多个检索对象图像包含的多个第一区域中抽出的第一信息来学习检索优先度(S608、609)，解析从查询图像包含的多个第二区域中抽出的第二信息(S702)，使用第二信息检测检索优先度高的第二区域来作为显著区域；第三步骤(S704、705)，使用从显著区域抽出的图像特征量对检索对象图像进行检索。

如此，通过将查询图像中的第二区域中的、在检索对象图像中出现频率低的区域确定为检索区域，能够抑制由于查询图像中的通用图案，在检索结果中大量出现目标图像以外的检索噪声的现象，检索精度提高。

(实施例2)

以下，基于附图来说明本发明的第二实施方式的图像检索系统。

接着，对于本发明实施例2的图像检索系统100进行说明。除了以下说明的不同点以外，实施例2的图像检索系统100的各部具有与图1～图8所示的实施例1的被赋予了相同符号的各部相同的功能，因此省略它们的说明。

图9是本发明实施例2的图像检索系统100的整体结构图。本实施例的图像检索系统100具备影像存储装置101、影像拍摄装置102、输入装置103、显示装置104、服务器计算机105、以及认证装置901。由于影像存储装置101、影像拍摄装置102、输入装置103以及显示装置104与实施例1相同，因此省略说明。

认证装置901是进行个人认证的装置。例如，可以是指静脉认证装置或脸认证装置这样的生物体认证装置，也可以是ID卡认证装置。认证装置901与影像拍摄装置102组合设置，但也可以是不具备认证装置901的影像拍摄装置102。另外，为了取得认证装置901与服务器计算机105的时刻的同步，可以具备时刻同步模块。服务器计算机105可以具备时刻同步模块。

实施例2的服务器计算机105除了与实施例1相同的影像输入部106、帧登记部107、移动物体追踪部108、追踪信息登记部109、优先度信息登记部110、影像数据库111、优先度信息数据库112、显著性判定部114以及相似矢量检索部115以外，还具有个人认证部901、认证信息登记部902、认证信息数据库904、人物指定部905以及移动物体决定部906。

图10是本发明的实施例2的图像检索系统100的硬件结构图。

处理器201以及网络接口204与实施例1相同。存储装置1001由任意种类的存储介质构成。在该例子中，图9所示的影像输入部106、帧登记部107、移动物体追踪部108、追踪信息登记部109、优先度信息登记部110、影像数据库111、优先度信息数据库112、显著性判定部114、相似矢量检索部115、个人认证部902、认证信息登记部903、认证信息数据库904、人物指定部905、移动物体决定部906这样的功能部通过由处理器201执行在存储装置1001中存储的处理程序1002来实现。

认证装置901经由网络接口204与服务器计算机105相连接。

图11是说明本发明的实施例2的影像数据库111的结构以及数据例的说明图。在这里表示表形式的结构例，但也可以是任意的数据形式。

认证信息数据库904包含图11所示的认证数据管理信息1100。图11的表结构以及各表的字段结构是实施本发明所需要的结构，也可以根据应用程序来追加表以及字段。

认证数据管理信息1100具有人物ID字段1101、人物名字段1102、认证时刻字段1103、以及追踪ID字段1104。

认证ID字段1101保存由认证装置901进行了认证的人的识别信息(以下，称为认证ID)。人名字段1102保存由认证装置901进行了认证的人的人名。在没有事先登记人名时，可以保存意味人名的其他信息，也可以不存在该字段。

认证时刻字段1103保存认证装置901进行认证的时刻。

追踪ID1104与影像数据库111保持的移动物体管理信息310包含的追踪ID312相同。经由该追踪ID，能够对影像数据库111保持的帧ID313、矩形坐标314、图像数据304等进行访问。

图12是说明本发明实施例2的服务器计算机105进行认证的处理的流程图。以下，对于图12的各步骤进行说明。具备认证装置901的影像拍摄装置102在进行了本说明的认证处理后按照通过图6说明的流程图进行影像登记处理。另外，也可以与本认证处理同时进行影像登记处理。

首先，通过认证装置901进行认证(步骤S1201)。可以使用指纹认证或指静脉认证、虹膜认证这样的生物体认证，也可以通过ID卡等进行认证。

接着，在认证信息数据库904中登记从认证装置901得到的人识别ID1100、人名1102、认证时刻1103(步骤S1202)。

接着，按照图6所说明的流程图进行影像登记处理(步骤1203)。在使用穿行式(walk through)认证装置时，可以同时地进行步骤S1202和步骤1203。另外，在通过步骤S1202进行认证之前，也可以执行步骤1203来进行影像登记处理。

最后，在认证数据库904中登记通过影像登记处理得到的人物ID1104。

图13是说明本发明实施例2的服务器计算机105进行人物检索处理的流程图。以下对于图13的各步骤进行说明。

首先，用户使用输入装置103在人物指定部905中指定作为检索关键字的人物(步骤S1301)。此时，用户可以输入人名，也可以输入人ID，还可以输入人通过了认证装置的认证的时间。

接着，移动物体决定部906使用来自用户的输入信息来取得被指定的人的影像数据(步骤S1302)。使用输入信息对认证信息数据路904进行询问，取得该人物的追踪ID1004。然后，使用追踪ID1004对影像数据库111进行询问，取得该人的影像数据。

使用取得的影像数据，与通过图7说明的移动物体检索的流程图同样地进行检索(步骤S1303)。在图7的步骤701中用户指定移动物体的处理被替换为图13的步骤S1301～步骤S1302。

通过以上的本发明实施例2，通过使认证装置与图像检索装置协作，用户能够在检索时指定人名或人ID，并能够容易地检索作为对象的人。

(实施例3)

以下，按照附图来说明本发明的第三实施方式的图像检索系统。

接着，对于本发明实施例3的图像检索系统100进行说明。除了以下说明的不同点，实施例2的图像检索系统100的各部具有与图1～图13所示的实施例1以及实施例2的被赋予了相同符号的各部相同的功能，因此省略这些说明。

图14是本发明实施例3的图像检索系统100的整体结构图。本实施例的图像检索系统100具备影像存储装置101、影像拍摄装置102、输入装置103、显示装置104、服务器计算机105以及认证装置901。影像存储装置101、影像拍摄装置102、输入装置103、显示装置104以及认证装置901与实施例1以及实施例2相同，因此省略说明。

实施例3的服务器计算机105除了与实施例2相同的影像输入部106、帧登记部107、移动物体追踪部108、追踪信息登记部109、优先度信息登记部110、影像数据库111、优先度信息数据库112、显著性判定部114、认证装置901、个人认证部902、认证信息登记部903、认证信息数据库904以外，还具有人物决定部1401、相似矢量检索部1402以及认证信息取得部1403。

实施例3的认证信息登记处理、影像登记处理与实施例2相同，图15是说明本发明实施例3的服务器计算机105进行认证信息显示的处理的流程图。以下，对于图15的各步骤进行说明。

首先，系统决定显示认证信息的人(步骤S1501)。可以将显示装置104中映现出的全部人作为对象，还能够按照预先设定的基准来决定对象人。例如，可以是在指定的区域中存在的人，也可以是滞留一定时间以上的人。

接着，进行与图7的步骤S702～步骤S703相同的处理，并判定显著性(步骤S1502)。

接着，使用从显著区域抽出的特征量来进行与影像数据库111中的补丁特征量334之间的相似矢量检索(步骤S1503)。此时，进行相似矢量检索的对象只是由具备了认证装置901的影像拍摄装置102拍摄到的影像。

接着，使用相似矢量检索的结果从影像数据库111取得追踪ID312。可以取得与相似度最高的检索结果相关联的追踪ID，也可以取得在检索结果上位中包含最多的人物的追踪ID。

最后，使用追踪ID312对认证信息数据库904进行询问，取得人ID1101或人名1102，并与影像一起显示在显示装置104中。

通过以上的本发明实施例3，系统能够针对影像中的人物自动地赋予人ID或人名来进行显示。

符号的说明

100：图像检索系统

101：影像存储装置

102：影像拍摄装置

103：输入装置

104：显示装置

105：服务器计算机

106：影像输入部

107：帧登记部

108：移动物体追踪部

109：追踪信息登记部

110：优先度信息登记部

111：影像数据库

112：优先度信息数据库

113：移动物体指定部

114：显著性判定部

115：相似矢量检索部

201：处理器

202：存储装置

203：处理程序

204：网络接口装置

300：影像数据管理信息

310：移动物体管理信息

320：追踪信息管理信息

330：补丁特征量管理信息

400：优先度信息

801：移动物体选择区域

802：显著性显示区域

803：检索按钮

804：检索结果显示区域

901：认证装置

902：个人认证部

903：认证信息登记部

904：认证信息数据库

905：人指定部

906：移动物体决定部

1001：存储装置

1002：处理程序

1100：认证数据管理信息

1401：人决定部

1402：相似矢量检索部

1403：认证信息取得部。

Claims (8)

1.一种图像检索装置，其特征在于，具有：

积蓄部，其积蓄检索对象图像；

区域检测部，其通过解析从多个所述检索对象图像所包含的多个第一区域抽出的第一信息来学习检索优先度，并解析从查询图像所包含的多个第二区域抽出的第二信息，使用所述第二信息检测检索优先度高的所述第二区域来作为显著区域；以及

图像检索部，其使用从所述显著区域抽出的图像特征量对所述检索对象图像进行检索，

所述区域检测部解析多个所述第一信息，学习出现频率最低的所述第一信息来作为所述检索优先度最高的显著信息，基于所述第二信息与所述显著信息之间的距离来检测所述显著区域。

2.根据权利要求1所述的图像检索装置，其特征在于，

还具有移动体判定部，该移动体判定部对于所述第一区域中的与前帧或后帧的所述第一区域的相似度高于阈值的所述第一区域，判定为在跨越多个帧的所述第一区域中映现出移动体，

所述积蓄部还积蓄对于多个所述第一区域表示是所述移动体的移动体识别信息。

3.根据权利要求1所述的图像检索装置，其特征在于，

所述积蓄部针对拍摄所述检索对象图像的每个相机积蓄所述检索对象图像，

所述区域检测部针对每个所述相机学习所述检索优先度。

4.一种图像检索系统，其具有图像检索装置和认证装置，其特征在于，

所述图像检索装置具有：

积蓄部，其积蓄检索对象图像以及表示是移动体的移动体识别信息；

区域检测部，其通过解析从多个所述检索对象图像所包含的多个第一区域抽出的第一信息来学习检索优先度，解析从查询图像所包含的多个第二区域抽出的第二信息，使用所述第二信息检测检索优先度高的所述第二区域来作为显著区域；

图像检索部，其使用从所述显著区域抽出的图像特征量对所述检索对象图像进行检索；以及

移动体判定部，其对于所述第一区域中的与前帧或后帧的所述第一区域的相似度高于阈值的所述第一区域，判定为在跨越多个帧的所述第一区域中映现出移动体，

所述认证装置具有：

登记信息存储部，其存储多个利用者的登记信息；

对照部，其将新取得的用户信息与所述登记信息进行对照；以及

输出部，其向所述图像检索部输出所述对照部判定为与所述用户信息一致的所述登记信息即第一登记信息，

所述积蓄部还将所述第一登记信息与所述移动体识别信息对应起来进行积蓄。

5.一种图像检索方法，其特征在于，包含：

第一步骤，在积蓄部中积蓄检索对象图像；

第二步骤，通过解析从多个所述检索对象图像所包含的多个第一区域抽出的第一信息来学习检索优先度，解析从查询图像所包含的多个第二区域抽出的第二信息，使用所述第二信息检测检索优先度高的所述第二区域来作为显著区域；以及

第三步骤，使用从所述显著区域抽出的图像特征量对所述检索对象图像进行检索，

在所述第二步骤中，解析多个所述第一信息，学习出现频率最低的所述第一信息来作为所述检索优先度最高的显著信息，基于所述第二信息与所述显著信息之间的距离来检测所述显著区域。

6.根据权利要求5所述的图像检索方法，其特征在于，

还具有第四步骤，其对于所述第一区域中的与前帧或后帧的所述第一区域的相似度高于阈值的所述第一区域，判定为在跨越多个帧的所述第一区域中映现出移动体，

在所述第一步骤中，还在所述积蓄部中积蓄对于多个所述第一区域表示是所述移动体的移动体识别信息。

7.根据权利要求5所述的图像检索方法，其特征在于，

在所述第一步骤中，针对拍摄所述检索对象图像的每个相机积蓄所述检索对象图像，

在所述第二步骤中，针对每个所述相机学习所述检索优先度。

8.根据权利要求6所述的图像检索方法，其特征在于，还具有：

第五步骤，其存储多个利用者的登记信息；

第六步骤，其取得用户信息，将所述用户信息与所述登记信息进行对照；以及

第七步骤，其输出由对照部判定为与所述用户信息一致的第一登记信息，

在所述第一步骤中，将所述第一登记信息和所述移动体识别信息对应起来进行积蓄。

Images