CN110929067B - 信息处理系统、控制信息处理系统的方法以及记录介质 - Google Patents

Abstract

本发明提供一种信息处理系统、控制信息处理系统的方法以及记录介质，提高从图像搜索移动物体的覆盖范围，从而使跟踪变得容易。信息处理系统具有处理器、存储装置以及显示装置，存储装置保持由多个摄像装置拍摄得到的多个图像，处理器在作为搜索查询而指定移动物体的图像的情况下，以保持在存储装置中的多个图像为对象来执行将所指定的图像设为搜索查询的相似搜索，显示装置显示作为相似搜索的结果而得到的多个图像，处理器在作为搜索查询而追加指定了移动物体的图像的情况下，执行将所指定的所有图像设为搜索查询的相似搜索，显示装置以显示作为将指定的所有图像设为搜索查询的相似搜索的结果而得到的多个图像来更新所显示的图像。

Description

信息处理系统、控制信息处理系统的方法以及记录介质

技术领域

本发明涉及一种对拍摄移动物体的图像进行处理的技术。

背景技术

近年来，随着暴力犯罪的增加、安全意识的提高，在店铺、机场以及道路等人员聚集之处设置了很多监控摄像机。由这些监控摄像机拍摄得到的影像被存储到监控记录器等存储装置，并且根据需要进行阅览。另外，随着IP摄像机的普及，很多摄像机能够经由网络进行连接，另外，还随着存储装置的容量进一步增加，正在存储大量的影像。因而，如以往那样通过目视确认所有影像数据变得非常困难。

因此，为了从大量影像数据中搜索出现了特定的人物、物体的场景并呈现，提出了各种相似搜索技术。在此，相似搜索技术是指从对象数据中搜索与用户指定的搜索查询相似的数据并且呈现其结果的技术。特别是，相似图像搜索技术是指使用从图像本身提取出的色调、形状、构图等特征量来搜索特征量之间的相似度较大的数据的技术。

作为用于搜索拍摄得到的图像中的人物的相似搜索技术，例如存在日本特开2009-42879号公报(专利文献1)所记载的技术。在专利文献1中记载了“获取表示由多个摄像机拍摄得到的摄像图像中的人物的特征量的特征量信息。根据获取到的特征量信息，按每个人物的特征来计算由第一摄像机拍摄得到的第一人物的特征量与由第二摄像机拍摄得到的第二人物的特征量的差异。根据计算出的特征量的差异，按每个人物的特征来计算表示用于搜索第一人物时的有效性的缩小有效性”。

在专利文献1中记载了以下方法：从通过搜索得到的很多图像中有效地排除不需要的图像，由此缩小搜索结果。但是，在将拍摄人物得到的图像作为搜索查询来进行相似搜索的情况下，即使是同一人物的图像，例如从与搜索查询不同的角度拍摄得到的图像、在身上佩戴有与搜索查询不同的服装或个人物品的图像等有时也无法作为搜索结果而得到。期望以下那样执行搜索：即使最终进行搜索结果的缩小，作为其对象也无遗漏地得到对有可能为同一人物的人物进行拍摄得到的图像。

在先技术文献

专利文献1：日本特开2009-42879号公报

发明内容

为了解决上述课题的至少一个，本发明是一种信息处理系统，具有处理器、与上述处理器相连接的存储装置以及与上述处理器相连接的显示装置，上述存储装置保持由多个摄像装置拍摄得到的多个图像，上述处理器在移动物体的图像被指定为搜索查询的情况下，以保持在上述存储装置中的多个图像为对象来执行将所指定的上述图像设为搜索查询的相似搜索，上述显示装置显示作为上述相似搜索的结果而得到的多个图像，上述处理器在移动物体的图像被追加指定为搜索查询的情况下，执行将所指定的所有图像设为搜索查询的相似搜索，上述显示装置以显示作为将所指定的上述所有图像设为搜索查询的相似搜索的结果而得到的多个图像的方式来更新所显示的图像。

根据本发明的一个方式，提高搜索移动物体的覆盖范围，能够使移动物体的跟踪变得容易。

通过说明以下的实施例，能够更加明确上述以外的课题、结构以及效果。

附图说明

图1是表示本发明的实施例的移动物体跟踪系统的整体结构的框图。

图2是表示本发明的实施例的移动物体跟踪系统的硬件结构的框图。

图3是本发明的实施例的影像数据库的结构和数据例的说明图。

图4是本发明的实施例的事件信息数据库的结构和数据例的说明图。

图5是本发明的实施例的通过移动物体跟踪系统输出的搜索画面的说明图。

图6是本发明的实施例的移动物体跟踪系统所执行的影像登记处理的流程图。

图7是本发明的实施例的移动物体跟踪系统所执行的影像加载处理的流程图。

图8是本发明的实施例的移动物体跟踪系统所执行的移动体搜索处理的流程图。

图9是本发明的实施例的移动物体跟踪系统所执行的附加标记处理的流程图。

图10是本发明的实施例的移动物体跟踪系统所执行的附加标记时的移动物体搜索处理的流程图。

附图标记说明

100：移动物体跟踪系统；101：影像存储装置；102：影像摄像装置；103：输入装置；104：显示装置；105：服务器计算机；106：影像输入部；107：帧登记部；108：移动物体检测部；109：移动物体登记部；110：移动物体跟踪部；111：跟踪信息登记部；112：事件(incident)数据库；113：影像数据库；114：移动物体指定部；115：事件管理部；116：特征量搜索部。

具体实施方式

以下，根据附图说明本发明的实施例的移动物体跟踪系统。

图1是表示本发明的实施例的移动物体跟踪系统100的整体结构的框图。

本实施例的移动物体跟踪系统100是具备影像存储装置101、影像摄像装置102、输入装置103、显示装置104以及服务器计算机105的信息处理系统。影像存储装置101是保存影像数据并根据需要进行输出的存储介质，能够使用内置于计算机的硬盘驱动器或经由NAS(Network Attached Storage：网络附加存储)或SAN(Storage Area Network：存储区域网络)等网络连接的存储系统构成。

影像摄像装置102拍摄影像来制作影像数据，并输出该影像数据。

从影像存储装置101或影像摄像装置102输出的图像均被输入到服务器计算机105的影像输入部106(后述)。如图1所示，移动物体跟踪系统100也可以具备影像存储装置101和影像摄像装置102两者，但是也可以仅具备其中之一。在移动物体跟踪系统100具备影像存储装置101和影像摄像装置102两者的情况下，向影像输入部106的影像数据的输入源可以根据需要切换为影像存储装置101或影像摄像装置102，也可以是从影像摄像装置102输出的影像数据被暂时存储于影像存储装置101并在此被输入到影像输入部106。在该情况下，影像存储装置101例如也可以是暂时保存从影像摄像装置102持续输入的影像数据的高速缓冲存储器。

此外，保存在影像存储装置101中的影像数据以及由影像摄像装置102制作的影像数据只要能够用于跟踪拍摄得到的移动物体则也可以是任意形式的数据。例如影像摄像装置102为模拟摄像机或IP摄像机，由该摄像机拍摄得到的运动图像数据可以作为影像数据而输出，这种影像数据也可以存储于影像存储装置101。或，影像摄像装置102为静像摄像机，由该摄像机以预定间隔(至少能够跟踪拍摄得到的物体程度的间隔)拍摄得到的一系列静止图像数据可以作为影像数据而输出，这种影像数据也可以存储于影像存储装置101。

输入装置103为鼠标、键盘、触摸设备等用于将用户操作传递到服务器计算机105的输入接口。显示装置104为液晶显示器等输出接口，用于服务器计算机105的搜索结果的显示以及与用户之间对话操作等。例如也可以使用所谓触摸面板等使输入装置103与显示装置104一体化。后述的搜索画面501(图5)由显示装置104显示，通过由用户操作输入装置103来进行对搜索画面中的按钮的操作。

服务器计算机105作为移动物体跟踪装置而发挥功能，即根据所输入的影像数据，在用户指定的搜索条件下跟踪期望的移动物体。具体地说，服务器计算机105跟踪所提供的影像数据的各帧中包含的移动物体，并存储与该移动物体有关的信息。当用户指定要从所存储的帧中搜索的移动物体的搜索条件时，服务器计算机105使用存储的信息来搜索图像。假设由服务器计算机105处理的影像是在一处以上的位置处拍摄得到的定点观测的影像。另外，跟踪对象的物体为人物或车辆等任意的移动物体。另外，人所携带的行李等也能够被视为移动物体。

服务器计算机105具备影像输入部106、帧登记部107、移动物体检测部108、移动物体登记部109、移动物体跟踪部110、跟踪信息登记部111、事件数据库112、影像数据库113、移动物体指定部114、事件管理部115以及特征量搜索部116。

影像输入部106从影像存储装置101读取影像数据或接收由影像摄像装置102拍摄得到的影像数据，将其转换为服务器计算机105内部使用的数据形式。具体地说，影像输入部106进行运动图像解码处理而将影像(运动图像数据形式)分解为帧(静止图像数据形式)。得到的帧被发送到帧登记部107和移动物体检测部108。此外，在能够从影像存储装置101或影像摄像装置102获取帧而并不是影像的情况下，也可以使用得到的帧。

帧登记部107将提取出的帧和提取源的影像信息写入到影像数据库113。在后述的图3中详细说明记录在影像数据库113中的数据。

移动物体检测部108检测影像中的移动物体。例如能够使用公知方法等任意的方法来实现移动物体的检测。

移动物体登记部109从检测到的移动物体中提取特征量，将提取出的特征量登记到影像数据库113。

移动物体跟踪部110进行与上一帧的移动物体的对应，由此进行移动物体的跟踪。例如能够使用公知的方法等任意的方法来实现移动物体的跟踪。轨迹信息由各帧的移动物体的坐标信息以及唯一地赋予各轨迹的ID(跟踪ID)构成(参照图3)。

跟踪信息登记部111将所提供的跟踪ID登记到影像数据库113。

影像数据库113是用于保存影像、帧以及移动物体的轨迹信息等的数据库。在从帧登记部107、移动物体登记部109、跟踪信息登记部111进行登记处理以及从特征量搜索部116进行搜索处理时发生向影像数据库113的访问。在后述的图3中详细说明影像数据库113的结构。

事件数据库112是用于保存在用户进行跟踪操作时产生的信息的数据库。在从事件管理部115进行登记处理以及进行信息获取处理时发生向事件数据库112的访问。在后述的图4中详细说明事件数据库112的结构。

移动物体指定部114从输入装置103接收由用户指定的移动物体(例如人物的外接矩形)。

事件管理部115登记在用户开始进行操作时成为操作的触发的信息。例如在使用无人值守物品检测技术发现丢弃物品时，将检测出的摄像机ID和检测时刻等登记到事件数据库112。另外，在进行对在移动物体跟踪时用户判断为正确的跟踪结果的移动物体附加标记的操作的情况下，事件管理部115将标记信息附加到对应的移动物体并登记到事件数据库112。在后述的图9和图10中详细进行说明。

特征量搜索部116从影像数据库113中搜索与从移动物体提取出的搜索用特征量相似的特征量，将其结果输出到显示装置104。

图2是表示本发明的实施例的移动物体跟踪系统100的硬件结构的框图。

服务器计算机105例如为具有相连接的处理器201和存储装置202的普通计算机。存储装置202由任一种存储介质构成。例如，存储装置202可以包括半导体存储器和硬盘驱动器。

在本例中，处理器201执行存储于存储装置202的处理程序203，由此实现图1示出的影像输入部106、帧登记部107、移动物体检测部108、移动物体登记部109、移动物体跟踪部110、跟踪信息登记部111、移动物体指定部114、事件管理部115以及特征量搜索部116这类功能部。

换言之，在本实施例中，上述各功能部所执行的处理实际上由基于记述在处理程序203中的命令的处理器201执行。另外，事件数据库112和影像数据库113包含在存储装置202中。另外，处理器201生成用于显示的数据并输出到显示装置104，显示装置104按照该数据进行显示，由此执行显示装置104的显示。

服务器计算机105还包括与处理器201相连接的网络接口装置(NIF)204。影像摄像装置102例如经由网络接口装置204与服务器计算机105相连接。影像存储装置101可以是经由网络接口装置204与服务器计算机105相连接的NAS(Network-Attached Storage)或SAN(Storage Area Network)，也可以包含在存储装置202中。

图3是本发明的实施例的影像数据库113的结构和数据例的说明图。在此，示出表格形式的结构例，但是数据形式并不限定于表格形式，也可以是任意的形式。

影像数据库113包括图3示出的图像数据管理信息300、移动物体管理信息310以及跟踪信息管理信息320。图3的表格结构和各表格的字段结构为便于实施本发明所需的结构，也可以根据应用程序来追加表格和字段。

图像数据管理信息300具有帧ID字段301、摄像机ID字段302、摄像时刻字段303以及图像数据字段304。

帧ID字段301保持从影像数据中提取出的帧图像数据的识别信息(以下，称为帧ID)。

摄像机ID字段302保持影像摄像装置102的识别信息(以下，称为摄像机ID)。在从影像存储装置101读取影像数据的情况下，可以省略摄像机ID，也可以保持影像文件的识别信息(以下，称为影像ID)。

摄像时刻字段303保持拍摄图像的时刻信息。

图像数据字段304保持帧的静止图像的二进制数据。在将搜索结果等显示在显示装置104中时使用该数据。图像数据字段304不仅保持原始图像数据，也可以一并保持缩略图图像。

移动物体管理信息310包括移动物体ID字段311、跟踪ID字段312、帧ID字段313、矩形坐标字段314以及移动物体特征量315。

移动物体ID字段311保持从各帧检测出的移动物体的识别信息(以下，称为移动物体ID)的列表。在此，移动物体ID并非识别移动物体本身，而是识别从各帧检测出的移动物体的图像。在从多个帧检测出相同的移动物体图像的情况下，对这些移动物体的图像分别附加另一(唯一的)移动物体ID，这些移动物体ID对应于一个跟踪ID。

跟踪ID字段312保持与上述移动物体ID对应的跟踪ID。

帧ID字段313保持作为检测出各移动物体的源的帧图像的帧ID。该帧ID对应于保持在图像数据管理信息300的帧ID字段301中的帧ID。

矩形坐标字段314保持表示从各帧检测出的移动物体的图像在该帧图像中所占的范围的矩形坐标。该坐标例如可以通过移动物体的外接矩形的“左上角的水平坐标、左上角的垂直坐标、右下角的水平坐标、右下角的垂直坐标”这种形式来表现，也可以通过矩形的左上角的水平坐标、左上角的垂直坐标、宽度和高度来表现。

移动物体特征量315是从图像中的矩形提取出的特征量，是矢量数据。例如移动物体特征量315可以是颜色信息、形状信息等，也可以是使用深度学习(Deep Learning)提取出的特征量。

跟踪信息管理信息320具有跟踪ID字段321和移动物体ID字段322。

跟踪ID字段321对应于保持在移动物体管理信息310的跟踪ID字段312中的ID字段。

移动物体ID字段322保持附加了同一跟踪ID的移动物体ID的列表。移动物体ID字段322对应于保持在移动物体管理信息310的移动物体ID字段311中的ID字段。

例如如图3所示，在与跟踪ID“1”对应的移动物体ID字段322中登记了“1、2、3、4、6、7、8、12、···”这一情况意味着通过移动物体跟踪部110将根据从某一帧检测出的移动物体ID“1”识别出的移动物体的图像、根据从另一帧检测出的移动物体ID“2”识别出的移动物体的图像以及同样地分别根据从另一帧检测出的移动物体ID“3”、“4”、“6”、“7”、“8”、“12”等识别出的移动物体的图像相对应(即这些被判断为相同的移动物体的图像)这一情况。

作为跟踪移动物体的方法的一例，可举出以下方法：在从某一帧检测出的移动物体ID“1”的图像以及从另一帧检测出的移动物体ID“4”的图像中分别提取图像特征量，并计算图像特征量的相似度(距离)，如果相似度在阈值以上，则判断为两个图像的移动物体为相同的移动物体，并进行对应。另外，也可以根据直到某一时刻的帧的移动物体的移动方向和移动速度的信息来估计在此之后的时刻的帧中的移动物体的出现位置，在其估计结果与实际移动物体的出现位置的距离小于预定基准的情况下，判断为相同移动物体。

图4是本发明的实施例的事件数据库112的结构和数据例的说明图。在此，示出表格形式的结构例，但是数据形式并不限定于表格形式，也可以是任意的。

事件数据库112包括图4示出的事件管理信息400和标记管理信息410。图4的表格结构和各表格的字段结构为便于实施本发明所需的结构，也可以根据应用程序来追加表格和字段。

事件管理信息400具有事件ID字段401、触发摄像机ID字段402、触发时刻字段403、操作开始时刻字段404、操作结束时刻字段405以及标记ID字段406。

事件ID字段401保持检测出的事件的识别信息(以下，称为事件ID)。在此，事件是指成为移动物体的搜索等的操作对象的现象。例如在检测出存在物主不明的物品并且进行用于寻找丢弃该物品的人的操作的情况下，这种物品的丢弃为事件。

以下，主要举例说明物品的丢弃，但是移动物体跟踪系统100处理的事件并不限定于此。例如进行了某种行为或存在特定的人物等将任意的现象作为事件，对此能够应用以下处理。

触发摄像机ID字段402和触发时刻字段403分别保持对用于拍摄作为事件的检测触发的图像的影像摄像装置102进行识别的摄像机ID(以下，称为触发摄像机ID)以及该图像的摄像时刻(以下，称为触发时刻)。例如如上所述在检测出存在物主不明的物品的情况下，对拍摄该物品最初被发现的图像的影像摄像装置102进行识别的摄像机ID和摄像时刻分别被保持在触发摄像机ID字段402和触发时刻字段403中。

在操作开始时刻字段404和操作结束时刻字段405中分别保持与事件对应地执行的操作的开始时刻和结束时刻。例如如上所述在检测出存在物主不明的物品并且进行了用于搜索丢弃该物品的人的图像的搜索等操作的情况下，开始进行该操作的时刻和结束时刻分别被保持在操作开始时刻字段404和操作结束时刻字段405中。

在标记ID字段406中保持在操作过程中附加到图像中的移动物体的标记的识别信息(以下，称为标记ID)。

标记管理信息410具有标记ID字段411、事件ID字段412、移动物体ID字段413以及附加标记时刻字段414。

在标记ID字段411中保持用于识别各标记的标记ID。该标记ID对应于保持在事件管理信息400的标记ID字段406中的标记ID。

在事件ID字段412中保持用于识别与各标记对应的事件的事件ID。该事件ID对应于保持在事件管理信息400的事件ID字段401中的事件ID。

在移动物体ID字段413中保持用于对附加了各标记的移动物体进行识别的移动物体ID。该移动物体ID对应于保持在移动物体管理信息310的移动物体ID字段311中的移动物体ID。

在附加标记时刻字段414中保持附加了各标记的时刻。

例如如上所述在检测出存在物主不明的物品并且对此情况附加事件ID“1”而开始操作来搜索丢弃该物品的人的情况下，当对在该操作中搜索到的图像内包含的移动物体附加标记时，该标记的ID、该事件的ID“1”、该移动物体的ID以及附加了该标记的时刻分别保持在标记ID字段411、事件ID字段412、移动物体ID字段413以及附加标记时刻字段414中。

图5是本发明的实施例的通过移动物体跟踪系统100输出的搜索画面的说明图。

图5示出的搜索画面501是由服务器计算机105生成而显示在显示装置104中的画面，包括指示区域502、地图区域503、摄像机图像区域504、候选图像区域505、标记图像区域506、实时图像区域507以及搜索结果显示区域508。

在指示区域502中显示触发摄像机ID502A、触发时刻502B、加载按钮502C、报告按钮502D以及当前时刻502E。

当用户输入触发摄像机ID502A和时刻502B并操作加载按钮502C时，移动物体跟踪系统100开始进行影像加载处理(参照图7)。另外，当在操作结束之后用户操作报告按钮502D时，移动物体跟踪系统100制作与所执行的操作有关的报告并输出。例如在发现跟踪对象的人而操作结束的情况下，制作表示该情况的报告。

在地图区域503中显示作为移动物体跟踪系统100的跟踪对象的空间的至少一部分地图。在图5的示例中，在对象的空间的俯视图上显示影像摄像装置102的设置位置以及各摄像方向。

在摄像机图像区域504中显示在被输入触发摄像机ID和触发时刻并操作加载按钮502C时加载的图像。在加载了根据触发摄像机ID识别的影像摄像装置102在包含触发时刻的预定时间段(例如从触发时刻的5分钟前至5分钟后为止的10分钟)拍摄得到的帧的图像的情况下，将这些图像的任一个显示在摄像机图像区域504中。

例如也可以首先显示在触发时刻拍摄得到的帧的图像，之后，根据用户操作显示加载的时间内的任意时刻的帧的图像。为了能够进行这种操作，摄像机图像区域504也可以包含拖动条、重放按钮、快进按钮以及快退按钮。并且，也可以显示加载的时间段的起点与终点的时刻以及每个时刻与当前时刻的差值(例如每个时刻是否为当前时刻的几分钟前)。另外，所显示的帧的图像也可以包含由移动物体检测部108检测出的移动物体的显示，例如检测出的移动物体的外接矩形的显示。

在候选图像区域505中显示在摄像机图像区域504中显示的帧的图像内包含的移动物体中由用户指定的移动物体的图像。例如当用户指定了显示在摄像机图像区域504中的移动物体的任一个时，该移动物体的外接矩形的图像显示在候选图像区域505中，并且，也可以是将与加载的其它时刻的帧的图像内包含的该移动物体相同的移动物体(即附加了与该移动物体相同的跟踪ID的移动物体)的外接矩形的图像显示在候选图像区域505中。

标记图像区域506包括选择图像区域506A、标记显示区域506B、附加标记按钮506C以及搜索按钮506D。在选择图像区域506A中显示用户从候选图像区域505中选择的图像。当用户对附加标记按钮506C进行操作时，对所选择的图像的移动物体附加新标记，该图像被显示在标记显示区域506B中。这些图像与附加了标记的顺序无关地按摄像时刻顺序排列显示。在追加了附加有新标记的图像的情况下，按照其摄像时刻来更新标记显示区域506B的显示。

在标记显示区域506B的图像中还可以显示附加的标记的数值。在图5的示例中对三个图像的移动物体附加标记，分别显示“1”至“3”的数值。该数值表示对附加了标记的移动物体的图像进行拍摄的顺序。

此外，也可以在移动物体的图像附加了标记的情况下，在地图区域503上的拍摄了该图像的影像摄像装置102的设置位置显示该标记的数值。

当用户操作搜索按钮506D时，执行将附加了标记的图像的特征量设为搜索查询的相似搜索。在标记显示区域506B中并不存在附加了标记的图像的情况下，也可以执行将选择图像区域506A的图像的特征量设为搜索查询的相似搜索。

在实时图像区域507中显示由触发摄像机ID识别的影像摄像装置102当前所拍摄的影像(实时影像)。例如在事件为物品的丢弃的情况下，用户通过对影像进行参照，能够掌握被丢弃的物品现状。另外，用户通过指定摄像机ID，能够将显示在实时图像区域507中的影像切换为由任意的影像摄像装置102拍摄得到的影像。

在搜索结果显示区域508中显示所执行的搜索的结果。具体地说，在时间线508A上，在与通过搜索得到的图像的摄像时刻对应的位置处显示搜索结果图标。在图5的示例中，作为搜索结果图标而显示放大镜的标记。另外，“1”至“3”的数值的标记表示附加了标记的图像的摄像时刻。这些数值为标记的数值(即表示图像的摄像时刻顺序的数值)。在对作为搜索结果而得到的图像重新附加了标记的情况下，与该图像对应的图标从放大镜的标记变更为表示标记的数值的标记。

在时间线508A上显示图像的显示范围(在图5的示例中虚线的框)，与该显示范围内的图标对应的图像显示在图像显示区域508B中。用户能够任意地变更图像的显示范围，由此能够参照任意时刻的搜索结果的图像。

在与各图标对应的图像显示区域508B中显示与该图标对应的搜索结果的移动物体的外接矩形的图像、包含该图像的帧的图像、用于识别拍摄该图像的影像摄像装置102的摄像机ID以及其摄像时刻。作为摄像时刻可以显示时刻本身，也可以显示从当前时刻起的差值(例如“5分钟前”等)。

例如在当前发生物品的丢弃这种事件并且要确保丢弃该物品的人的身份的情况下，通过显示从当前时刻起的差值(即从拍摄该图像起至当前为止的经过时间)，推定该人物有可能出现的范围，从而容易地缩小搜索范围。另一方面，在要参照存储于影像存储装置101的过去的影像来进行过去所发生的事件的分析的情况下，有时显示摄像时刻更佳。

并且，用户对搜索结果显示区域508内的阈值条508C进行操作，能够设定相似搜索时的相似度的阈值。

图6是本发明的实施例的移动物体跟踪系统100所执行的影像登记处理的流程图。

首先，由影像输入部106从影像存储装置101或影像摄像装置102输入的影像中提取多个帧(步骤S601)。接着，移动物体跟踪系统100以提取出的各帧为对象，执行步骤S603～S608的处理(步骤S602、S609)。

首先，帧登记部107将对象的帧登记到影像数据库113(步骤S603)。其结果，对图像数据管理信息300追加一个记录，用于识别对象的帧的帧ID、用于识别拍摄了该帧的影像摄像装置102的摄像机ID、该帧的摄像时刻以及该帧的图像数据分别保持在帧ID字段301、摄像机ID字段302、摄像时刻字段303以及图像数据字段304中。

接着，移动物体检测部108从对象的帧检测移动物体(步骤S604)。例如能够使用公知的方法等任意的方法来实现该检测，因此省略详细说明。

接着，移动物体跟踪部110从移动物体中提取特征量(步骤S605)。在步骤S604中检测出多个移动物体的情况下，移动物体跟踪部110从各移动物体中提取特征量。

接着，移动物体跟踪部110判断是否出现了新移动物体(步骤S606)。例如，移动物体跟踪部110也可以根据在步骤S605中提取出的特征量，判断在步骤S604中从对象的帧检测出的各移动物体是否为与从由相同影像摄像装置102拍摄得到的之前时刻的帧检测出的任一个移动物体相同的移动物体。而且，在从对象的帧检测出的移动物体均不与从由相同影像摄像装置102拍摄得到之前时刻的帧检测出的任一个移动物体相同的情况下，也可以判断为该移动物体为新出现的移动物体。

移动物体跟踪部110在判断为出现了新移动物体的情况下(步骤S606：“是”)，将与新出现的移动物体对应的跟踪信息登记到数据库(步骤S607)。具体地说，移动物体跟踪部110对跟踪信息管理信息320追加新记录，在其跟踪ID字段321中登记新跟踪ID。另一方面，移动物体跟踪部110在判断为并未出现新移动物体的情况下(步骤S606：“否”)，并不执行步骤S607。

接着，移动物体登记部109将检测出的移动物体登记到数据库，跟踪信息登记部111更新跟踪信息(步骤S608)。具体地说，移动物体登记部109将用于识别在步骤S604中检测出的各移动物体的移动物体ID、用于识别检测出各移动物体的帧的帧ID、表示各移动物体在帧中的位置和范围的矩形坐标以及在步骤S605中从各移动物体提取出的特征量分别登记在移动物体ID字段311、帧ID字段313、矩形坐标字段314以及移动物体特征量字段315中。

而且，在判断为各移动物体与从之前时刻的帧检测出的移动物体相同的情况下，移动物体登记部109将与此相同的跟踪ID登记到跟踪ID字段312。而且，跟踪信息登记部111对与该跟踪ID对应的跟踪信息管理信息320的移动物体ID字段322追加用于识别各移动物体的移动物体ID。

另一方面，在判定为任一个移动物体均不与从之前时刻的帧检测出的任一个移动物体相同(即新出现的移动物体)的情况下，跟踪信息登记部111将用于识别新出现的该移动物体的移动物体ID登记到跟踪信息管理信息320的在步骤S607中追加的记录的移动物体ID字段322。移动物体登记部109将登记到在步骤S607中追加的记录的跟踪ID字段321的跟踪ID登记到与新出现的该移动物体对应的跟踪ID字段312。

当针对在步骤S601中提取出的所有帧结束了步骤S603～S608的处理时，结束影像登记处理。

图7是本发明的实施例的移动物体跟踪系统100所执行的影像加载处理的流程图。

首先，用户将触发摄像机ID和触发时刻输入到移动物体跟踪系统100(步骤S701、S702)，操作加载按钮502C(步骤S703)。例如用户操作输入装置103，将触发摄像机ID502A和触发时刻502B输入到图5示出的搜索画面501的指示区域502，并按下加载按钮。

具体地说，例如在用户参照由任一个影像摄像装置102拍摄得到的影像而发现被丢弃的物品的情况下，也可以作为触发摄像机ID502A和触发时刻502B而输入该影像摄像装置102的摄像机ID和该影像的摄像时刻。或，在用户按照来自该物品被丢弃的现场的通报参照过去的影像来确认拍摄被丢弃的物品而得的影像的情况下，也可以作为触发摄像机ID502A和触发时刻502B而输入拍摄该影像的影像摄像装置102的摄像机ID和该影像的摄像时刻。

在上述示例中，用户以手动方式输入触发摄像机ID502A和触发时刻502B而操作了加载按钮，但是作为代替，也可以作为URL参数而传递触发摄像机ID和触发时刻，并根据该参数自动地进行加载。

接着，特征量搜索部116从影像数据库113加载与对应时间段的图像有关的特征量(步骤S704)。在此加载的特征量例如也可以包含摄像机ID和时刻等信息、从图像提取出的图像特征量以及图像本身等各种数据。另外，对应时间段可以为例如以触发时刻为基准而决定的预定长度的时间段(例如从触发时刻的5分钟前至5分钟后为止的10分钟等)，也可以是用户在每次加载时以手动方式设定的时间段。在后者的情况下，搜索画面501也可以包含用于设定时间段的GUI。

接着，事件管理部115发布事件ID(步骤S705)。

接着，事件管理部115将触发摄像机ID、触发时刻以及操作开始时刻登记到事件数据库112的事件管理信息400(步骤S706)。具体地说，事件管理部115在事件管理信息400的新记录的事件ID字段401中登记在步骤S705中发布的事件ID，在触发摄像机ID字段402、触发时刻字段403以及操作开始时刻字段404中分别登记所输入的触发摄像机ID、所输入的触发时刻以及当前时刻。

以上，结束影像加载处理。

图8是本发明的实施例的移动物体跟踪系统100所执行的移动体搜索处理的流程图。

首先，用户指定图像中的移动物体(步骤S801)。例如也可以是用户从显示在搜索画面501的摄像机图像区域504中的图像内包含的一个以上的移动物体(例如人物)的图像中选择任一个图像，对输入装置103进行操作而输入用于指定该移动物体的图像的信息。以下的说明示出作为移动物体的图像而指定人物图像的示例，但是在指定了人物以外的移动物体的图像的情况下也执行相同的处理。

接着，用户指定候选图像中的人物图像(步骤S802)。例如也可以是用户从显示在候选图像区域505中的同一人物的多个外接矩形的图像中选择任一个图像，对输入装置103进行操作而输入用于指定该人物的信息。

接着，用户对输入装置103进行操作并对标记图像区域506中的搜索按钮506D进行操作(步骤S803)。

接着，特征量搜索部116以存储于影像数据库113的图像为对象，执行将在步骤S802中指定的人物的外接矩形的图像的特征量设为搜索查询的相似搜索(步骤S804)。

接着，特征量搜索部116按时刻顺序通过显示装置104显示步骤S804的搜索结果(步骤S805)。由此，例如在搜索结果显示区域508中按拍摄的时刻顺序显示相似度超出阈值的人物的外接矩形的图像以及包含该外接矩形的帧整体的图像的组。

接着，特征量搜索部116通过显示装置104在时间线508A上显示搜索结果图标(步骤S806)。在图5的示例中，在搜索结果显示区域508内的时间线508A上的与拍摄了各搜索结果的图像的时刻对应的位置显示放大镜的标记来作为搜索结果图标。

以上，结束移动体搜索处理。

图9是本发明的实施例的移动物体跟踪系统100所执行的附加标记处理的流程图。

首先，用户指定图像中的移动物体(步骤S901)，接着，指定候选图像中的人物图像(步骤S902)。这些例如也可以与步骤S801和S802同样地执行。

用户对输入装置103进行操作并对标记图像区域506中的附加标记按钮506C进行操作，使得对显示在标记图像区域506的选择图像区域506A中的移动物体附加标记(步骤S903)。

接着，事件管理部115发布标记ID(步骤S904)。

接着，事件管理部115对事件数据库112的标记管理信息410追加新记录，在该记录的标记ID字段411中登记在步骤S904中发布的标记ID，在事件ID字段412中登记在图7的步骤S705中发布的事件ID，在移动物体ID字段413中登记在步骤S902中指定的人物图像的移动物体ID，在附加标记时刻字段414中登记步骤S904的发布标记ID的时刻(步骤S905)。

接着，事件管理部115在事件数据库112的事件管理信息400的记录中、在事件ID字段401中登记了在图7的步骤S705中发布的事件ID的记录的标记ID字段406中追加在步骤S904中发布的标记ID(步骤S906)。

接着，事件管理部115将附加了与该事件ID相关联的标记的移动物体按摄像时刻顺序进行排序，重新分配表示标记的顺序的数值(步骤S907)。标记的顺序表示附加了标记的移动物体的图像的摄像时刻顺序。参照标记管理信息410确定与用于识别各标记的标记ID对应的移动物体ID，参照移动物体管理信息310确定与各移动物体ID对应的帧ID，参照图像数据管理信息300确定与各帧ID对应的摄像时刻，由此能够确定附加了标记的移动物体的图像的摄像时刻。

接着，事件管理部115通过显示装置104在地图区域503、标记图像区域506以及搜索结果显示区域508中显示标记。在已经显示标记的情况下，跟新该显示。在图5的示例中，在地图区域503内的拍摄附加了各标记的移动物体的影像摄像装置102的位置显示表示各移动物体的摄像时刻顺序的数值。

另外，对标记图像区域506内的附加了各标记的移动物体显示表示各移动物体的摄像时刻顺序的数值。并且，在搜索结果显示区域508内也在相当于时间线508A上的对附加了各标记的移动物体进行拍摄的时刻的位置显示表示各移动物体的摄像时刻顺序的数值(在图5的的示例中为“1”、“2”以及“3”)。

以上，结束附加标记处理。

图10是本发明的实施例的移动物体跟踪系统100所执行的附加标记时的移动物体搜索处理的流程图。

首先，用户指定图像中的移动物体(步骤S1001)，指定候选图像中的人物图像(步骤S1002)，操作搜索按钮506D(步骤S1003)。这些例如也可以与步骤S801～S803同样地执行。

接着，相似矢量搜索部116以存储于影像数据库113的图像为对象，执行将附加了标记的所有移动物体的图像的特征量设为搜索查询的相似搜索(步骤S1004)。例如针对各搜索查询执行与图8的步骤804相同的搜索。

接着，特征量搜索部116按时刻顺序通过显示装置104显示步骤S1004的搜索结果(步骤S1005)。这例如与图8的步骤805同样地执行。

接着，特征量搜索部116通过显示装置104在时间线508A上显示搜索结果图标和标记图标(步骤S1006)。在图5的示例中，在时间线508A上的与拍摄各搜索结果的图像的时刻对应的位置作为搜索结果图标而显示放大镜标记。并且，在与拍摄附加了标记的图像(即用作搜索查询的图像)的时刻对应的位置显示表示该图像的摄像时刻顺序的数值(在图5的示例中“1”、“2”以及“3”)。

以上，结束附加标记时的移动体搜索处理。

在此，参照图5和图7至图10说明使用了移动物体跟踪系统100的操作的具体例。关于所拍摄的影像，设为结束图6的处理。以下的说明中的事例以及数值等为一例，并不限定本发明。

在此，说明作为事件而发生物品的丢弃的情况。例如在被通报发现了物主不明物品的情况下，用户参照拍摄发现位置的过去的影像，确定拍摄丢弃该物品的人的帧。

而且，用户将用于对拍摄特定的帧的影像摄像装置102进行识别的摄像机ID以及该帧的摄像时刻作为触发摄像机ID和触发时刻而输入到移动物体跟踪系统100(步骤S701、S702)，并对加载按钮502C进行操作(步骤S703)。于是，由该触发摄像机ID识别的影像摄像装置102加载在包含触发时刻的预定时间(例如从触发时刻的5分钟前至5分钟后为止的10分钟)拍摄的帧的图像(步骤S704)。

此时，在摄像机图像区域504中例如可以显示加载的图像中的在触发时刻拍摄的帧的图像，也可以显示用户选择的其前后的任意时刻的图像。例如当用户从所显示的图像中指定丢弃物品的人的图像时(步骤S801)，从所加载的其它帧中提取附加了与所指定的图像相同的跟踪ID的图像，这些显示在候选图像区域505中。

当用户选择显示在候选图像区域505中的多个图像的任一个时(步骤S802)，该图像显示在标记图像区域506的选择图像区域506A中。因此当用户对搜索按钮506D进行操作时(步骤S803)，执行相似搜索(步骤S804)，其结果显示在搜索结果显示区域508中(步骤S805、S806)。

也可以是，用户参照显示在搜索结果显示区域508中的搜索结果，以得到适当的搜索结果的方式操作阈值条508C。也可以是，在得到适当的搜索结果的情况下，用户对附加标记按钮506C进行操作，此时对显示在选择图像区域506A中的图像附加标记(参照图9)。该图像与标记的数值一起显示在标记显示区域506B中。

在此，用户能够进一步指定显示在候选图像区域505中的其它图像(步骤S1002)。在该情况下，特征量搜索部116执行将附加了标记的图像和新指定的图像设为搜索查询的相似搜索(步骤S1004)。显示装置104以显示所执行的相似搜索的结果的方式来更新搜索画面501的显示内容。

或者，也可以是，例如在判断为显示在搜索结果显示区域508中的搜索结果的图像的任一个中包含可用作搜索查询的图像的情况下，用户指定该图像或在其前后的时刻拍摄的图像。具体地说，也可以是，在移动物体跟踪系统100中，拍摄该图像的影像摄像装置102加载在包含该图像的摄像时刻的预定长度的时间(例如从该图像的摄像时刻的5分钟前至5分钟后为止的10分钟)拍摄的影像，将该影像包含的图像显示在摄像机图像区域504中。在该情况下，当用户从该图像中指定任一个人物的图像时，提取出附加了与该图像相同的跟踪ID的图像，这些图像显示在候选图像区域505中。以后的处理与上述相同。

例如在最初指定的图像为从正面拍摄人的图像的情况下，通过将该图像设为搜索查询的相似搜索，同样地容易得到从正面拍摄的图像，而从其它方向拍摄的图像相对不容易得到。这同样地适用于该人物的服装或个人物品被更换的情况，例如在该人物丢弃物品之后更换衣服或重新携带其它物品的情况下，通过搜索不容易得到以后的图像。因此，在候选图像或通过搜索得到的图像中发现从不同的方向拍摄了该人物的图像、该人物穿着其它服装的图像或携带其它物品的图像等的情况下，将这些图像追加到搜索查询，由此能够进行无遗漏的搜索。

此外，如上所述在多个图像被指定为搜索查询的情况下，例如如下那样执行步骤S1004中的相似搜索。

即，也可以是，特征量搜索部116执行将各图像的特征量设为搜索查询的搜索，计算表示搜索得到的图像与搜索查询的图像的相似度的分数，将分数为上位的图像作为搜索结果而输出。

或者，也可以是，特征量搜索部116求出多个搜索查询的特征量的代表值，执行使用了该代表值的搜索。也可以是，例如在很多图像被指定为搜索查询的情况下，特征量搜索部116对这些图像的特征量进行聚类分析，将各簇的代表值设为搜索查询而执行搜索。

在参照上述图5等的说明中，记载了用户指定所加载的影像内包含的任一个移动物体的图像而操作搜索按钮506D时首次执行相似搜索，但是，实际上也可以自动地进行这种搜索的开始。也可以是，例如在移动物体跟踪系统100中，当加载影像时，将触发时刻的图像显示在摄像机图像区域504中，将该图像内包含的任一个移动物体的图像自动地指定为搜索查询，并执行相似搜索，将其结果显示在搜索结果显示区域508中。

通常，例如在跟踪丢弃物品的人的情况下，考虑将该人物的特征良好呈现的图像作为触发而选择，因此例如在加载的触发时刻的图像中自动地选择具有最大的外接矩形的移动物体的图像作为搜索查询，由此能够消减用户的作业量。在该情况下，自动地指定的移动物体有可能并非是用户所期望的移动物体，在该情况下，用户再次指定对象的移动物体的图像，由此能够得到期望的搜索结果。

另外，也可以是，用户在搜索结果显示区域508中显示搜索结果之后，操作阈值条508C而变更相似度的阈值。特征量搜索部116使用变更后的阈值来执行相似搜索，将其结果输出到显示装置104。显示装置104按照特征量搜索部116的搜索结果来更新显示内容。

如上所述，本发明的一个方式的信息处理系统(例如移动物体跟踪系统100)具有处理器(例如处理器201)、与处理器相连接的存储装置(例如存储装置202)以及与处理器相连接的显示装置(例如显示装置104)。存储装置保持由多个摄像装置(例如影像摄像装置102)拍摄得到的多个图像。在作为搜索查询而指定了移动物体的图像(例如显示在候选图像区域505中的人物的图像的任一个)的情况下，处理器以保持在存储装置中的多个图像为对象来执行将指定的上述图像设为搜索查询的相似搜索(例如步骤S804)。然后，处理器将用于显示作为相似搜索的结果而得到的多个图像的数据输出到显示装置，显示装置按照该数据来显示图像(例如步骤S805)。并且，在作为搜索查询而追加指定移动物体的图像的情况下，处理器执行将所指定的所有图像设为搜索查询的相似搜索(例如步骤S1004)。然后，处理器以显示作为将所指定的所有图像设为搜索查询的相似搜索的结果而得到的多个图像的方式，将用于更新所显示的图像的数据发送到显示装置，显示装置按照该数据来更新所显示的图像(例如步骤S1005)。

由此，从图像搜索移动物体的覆盖范围提高，因此例如能够容易地跟踪移动物体。

在此，也可以是，显示装置按摄像时刻顺序显示作为相似搜索的结果而得到的多个图像(例如图像显示区域508B)。

由此，基于搜索到的图像的移动物体的跟踪变得容易。

另外，显示装置也可以显示表示作为相似搜索的结果而得到的各图像的摄像时刻的信息(例如图像显示区域508B)。

由此，基于搜索到的图像的移动物体的跟踪变得容易。

在此，表示各图像的摄像时刻的信息也可以是当前时刻与各图像的摄像时刻的差值(例如图像显示区域508B的“15秒钟前”等)。

由此，根据搜索到的图像，容易地缩小跟踪对象的移动物体当前有可能存在的范围。

另外，也可以是，显示装置在输出包含对指定为搜索查询的图像进行拍摄的摄像装置的位置的显示的地图的图像(例如地图区域503)并作为搜索查询而追加指定移动物体的图像的情况下，以追加对追加指定的图像进行拍摄的摄像装置的位置的显示的方式来更新地图图像(例如步骤S908)。

由此，容易掌握跟踪对象的移动物体所在地。

另外，也可以是，处理器从保持在存储装置中的各摄像装置所拍摄得到的图像中检测移动物体(例如步骤S604)，判断从同一摄像装置在不同时刻拍摄得到的图像检测出的移动物体是否相同(例如步骤S606)，在输入了摄像装置的识别信息和时刻的情况下(例如步骤S701～S703)，显示装置显示保持在上述存储装置中的图像中从根据所输入的上述识别信息识别出的摄像装置在包含所输入的时刻的时间段拍摄得到的多个图像检测出的、与所指定的图像的移动物体相同的移动物体的多个图像(例如在步骤S806中显示的候选图像区域505的图像)，处理器在由显示装置显示的多个图像的一个以上被追加指定为搜索查询的情况下，执行将所指定的所有图像设为搜索查询的相似搜索(例如步骤S1004)。

由此，用户容易追加适当的搜索查询，从而提高搜索的覆盖范围。

另外，也可以是，处理器在作为相似搜索的结果而得到的多个图像(例如在图像显示区域508B中显示的图像)内包含的任一个移动物体的图像被追加指定为搜索查询的情况下，执行将所指定的所有图像设为搜索查询的相似搜索(例如步骤S1004)。

由此，用户容易追加适当的搜索查询，从而提高搜索的覆盖范围。

此时，也可以是，处理器从保持在存储装置中的各摄像装置所拍摄得到的图像检测移动物体(例如步骤S604)，并判断从同一摄像装置在不同时刻拍摄得到的图像检测出的移动物体是否相同(例如步骤S606)，当选择作为相似搜索的结果而得到的多个图像(例如在图像显示区域508B中显示的图像)的任一个时，显示装置显示从对所选择的图像进行拍摄的摄像装置在包含拍摄了所选择的图像的时刻的时间段拍摄得到的多个图像检测出的、与所选择的图像的移动物体相同的移动物体的多个图像(例如在选择了显示在图像显示区域508B中的图像的情况下的候选图像区域505)，处理器在由显示装置显示的多个图像的一个以上被追加指定为搜索查询的情况下，执行将所指定的所有图像设为搜索查询的相似搜索(例如步骤S1004)。

由此，用户容易追加适当的搜索查询，从而提高搜索的覆盖范围。

另外，显示装置也可以按拍摄的时刻顺序显示指定为搜索查询的所有图像(例如步骤S907、S908、标记显示区域506B)。

由此，用户容易掌握指定为搜索查询的图像，并且在对象的移动物体的外观发生变化的情况下(例如在人物的服装或个人物品发生变化的情况下等)容易地掌握其变化过程。

另外，也可以是，处理器按所指定的每个图像来计算表示其特征量与从保持在存储装置中图像检测出的移动物体的图像的特征量的相似度的分数，将分数为上位的图像作为搜索结果而输出(例如步骤S1004)。

由此，在多个图像被指定为搜索查询的情况下，能够输出适当的搜索结果而提高搜索的覆盖范围。

另外，也可以是，处理器通过聚类分析将所指定的多个图像的特征量分类为多个簇，计算表示各簇的代表值与从保持在存储装置中图像检测出的移动物体的图像的特征量的相似度的分数，将分数为上位的图像作为搜索结果而输出(例如步骤S1004)。

由此，在很多图像被指定为搜索查询的情况下，也能够抑制计算量的增加同时提高搜索的覆盖范围。

此外，本发明并不限定于上述实施例，包含各种变形例。例如，为了使本发明更好地理解而详细说明了上述实施例，并不限定于必须具备说明的所有结构。

另外，上述各结构、功能、处理部、处理单元等也可以例如使用集成电路来设计等通过硬件来实现其一部分或全部。另外，上述各结构、功能等也可以由处理器解释并执行实现各功能的程序而通过软件来实现。实现各功能的程序、表格、文件等信息能够存储于非易失性半导体存储器、硬盘驱动器、SSD(Solid State Drive：固态硬盘)等存储设备或IC卡、SD卡、DVD等计算机可读取的非临时数据存储介质。

另外，控制线和信息线示出认为在说明过程中所需的部分，并不限定于在产品上必须示出所有控制线和信息线。实际上也可以认为几乎所有结构相连接。

Claims (12)

1.一种信息处理系统，具有处理器、与上述处理器相连接的存储装置以及与上述处理器相连接的显示装置，其特征在于，

上述存储装置保持由多个摄像装置拍摄得到的多个图像，

上述处理器在移动物体的图像被指定为搜索查询的情况下，以保持在上述存储装置中的多个图像为对象来执行将所指定的上述图像设为搜索查询的相似搜索，

上述显示装置显示作为上述相似搜索的结果而得到的多个图像，

上述处理器在移动物体的图像被追加指定为搜索查询的情况下，执行将指定的所有图像设为搜索查询的相似搜索，

上述显示装置以显示作为将所指定的上述所有图像设为搜索查询的相似搜索的结果而得到的多个图像的方式来更新所显示的图像，

上述显示装置输出地图图像，该地图图像包含对被指定为上述搜索查询的图像进行拍摄的摄像装置的位置的显示，

在移动物体的图像被追加指定为搜索查询的情况下，以追加对被追加指定的上述图像进行拍摄的摄像装置的位置的显示的方式来更新上述地图图像。

2.根据权利要求1所述的信息处理系统，其特征在于，

上述显示装置按摄像时刻的顺序显示作为上述相似搜索的结果而得到的多个图像。

3.根据权利要求2所述的信息处理系统，其特征在于，

上述显示装置显示用于表示作为上述相似搜索的结果而得到的各图像的摄像时刻的信息。

4.根据权利要求3所述的信息处理系统，其特征在于，

表示上述各图像的摄像时刻的信息为当前时刻与上述各图像的摄像时刻的差值。

5.根据权利要求1所述的信息处理系统，其特征在于，

上述处理器从保持在上述存储装置中的由上述各摄像装置拍摄得到的图像中检测移动物体，

判断从相同的上述摄像装置在不同的时刻拍摄得到的图像中检测出的移动物体是否相同，

在输入了上述摄像装置的识别信息和时刻的情况下，上述显示装置显示保持在上述存储装置中的图像中的如下图像：从由根据所输入的上述识别信息识别的摄像装置在包含所输入的上述时刻的时间段拍摄得到的多个图像中检测出的与所指定的上述图像的移动物体相同的移动物体的多个图像，

在上述显示装置显示的多个图像的一个以上图像被追加指定为搜索查询的情况下，上述处理器执行将所指定的所有图像设为搜索查询的相似搜索。

6.根据权利要求1所述的信息处理系统，其特征在于，

在作为上述相似搜索的结果而得到的多个图像中包含的任一个移动物体的图像被追加指定为搜索查询的情况下，上述处理器执行将所指定的所有图像设为搜索查询的相似搜索。

7.根据权利要求6所述的信息处理系统，其特征在于，

上述处理器从保持在上述存储装置中的由各上述摄像装置拍摄得到的图像中检测移动物体，判断从相同的上述摄像装置在不同的时刻拍摄得到的图像中检测出的移动物体是否相同，

当选择了作为上述相似搜索的结果而得到的多个图像的任一个时，上述显示装置显示从拍摄了所选择的图像的摄像装置在包含拍摄了所选择的图像的时刻的时间段拍摄得到的多个图像中检测出的、与所选择的上述图像的移动物体相同的移动物体的多个图像，

在上述显示装置显示的多个图像的一个以上图像被追加指定为搜索查询的情况下，上述处理器执行将所指定的所有图像设为搜索查询的相似搜索。

8.根据权利要求1所述的信息处理系统，其特征在于，

上述显示装置按拍摄的时刻的顺序显示被指定为上述搜索查询的所有图像。

9.根据权利要求1所述的信息处理系统，其特征在于，

上述处理器按所指定的每个图像计算表示其特征量与从保持在上述存储装置中的图像中检测出的移动物体的图像的特征量的相似度的分数，输出上述分数为上位的图像作为搜索结果。

10.根据权利要求1所述的信息处理系统，其特征在于，

上述处理器通过聚类分析将所指定的多个图像的特征量分类为多个簇，计算表示各簇的代表值与从保持在上述存储装置中的图像中检测出的移动物体的图像的特征量的相似度的分数，输出上述分数为上位的图像作为搜索结果。

11.一种控制信息处理系统的方法，该信息处理系统具有处理器、与上述处理器相连接的存储装置以及与上述处理器相连接的显示装置，该方法的特征在于，

上述存储装置保持由多个摄像装置拍摄得到的多个图像，

上述方法包括以下步骤：

在移动物体的图像被指定为搜索查询的情况下，上述处理器以保持在上述存储装置中的多个图像为对象来执行将所指定的上述图像设为搜索查询的相似搜索；

上述显示装置显示作为上述相似搜索的结果而得到的多个图像；

在移动物体的图像被追加指定为搜索查询的情况下，上述处理器执行将所指定的所有图像设为搜索查询的相似搜索；以及

上述显示装置以显示作为将所指定的上述所有图像设为搜索查询的相似搜索的结果而得到的多个图像的方式来更新所显示的图像，

上述显示装置输出地图图像，该地图图像包含对被指定为上述搜索查询的图像进行拍摄的摄像装置的位置的显示，

在移动物体的图像被追加指定为搜索查询的情况下，以追加对被追加指定的上述图像进行拍摄的摄像装置的位置的显示的方式来更新上述地图图像。

12.一种计算机可读记录介质，存储有用于控制信息处理系统的程序，该信息处理系统具有处理器、与上述处理器相连接的存储装置以及与上述处理器相连接的显示装置，其中，

上述存储装置保持由多个摄像装置拍摄得到的多个图像，

上述程序使上述处理器执行以下步骤：

在移动物体的图像被指定为搜索查询的情况下，以保持在上述存储装置中的多个图像为对象来执行将所指定的上述图像设为搜索查询的相似搜索；

将用于显示作为上述相似搜索的结果而得到的多个图像的数据输出到上述显示装置；

在移动物体的图像被追加指定为搜索查询的情况下，执行将所指定的所有图像设为搜索查询的相似搜索；以及

以显示作为将所指定的上述所有图像设为搜索查询的相似搜索的结果而得到的多个图像的方式将用于更新所显示的图像的数据输出到上述显示装置，

上述显示装置输出地图图像，该地图图像包含对被指定为上述搜索查询的图像进行拍摄的摄像装置的位置的显示，

在移动物体的图像被追加指定为搜索查询的情况下，以追加对被追加指定的上述图像进行拍摄的摄像装置的位置的显示的方式来更新上述地图图像。