CN103780872B

CN103780872B - 信息处理设备、信息处理方法和信息处理系统

Info

Publication number: CN103780872B
Application number: CN201310481779.9A
Authority: CN
Inventors: 王启宏; 冈田宪; 冈田宪一; 宫下健; 田崎明美
Original assignee: Sony Corp
Current assignee: Sony Corp
Priority date: 2012-10-22
Filing date: 2013-10-15
Publication date: 2018-06-05
Anticipated expiration: 2033-10-15
Also published as: CN103780872A; US9298987B2; JP2014086797A; US20140112533A1; JP5954106B2

Abstract

公开了一种信息处理设备、信息处理方法、程序和信息处理系统。信息处理设备包括输入单元、关注对象检测单元以及计算单元。输入单元被配置为输入由摄像设备拍摄的时间上连续的多个图像。关注对象检测单元被配置为从作为所输入的多个图像中的在第一时间点处拍摄的图像的第一图像中检测关注对象作为关注目标。计算单元被配置为将第一图像与作为在第一时间点之前的时间点处拍摄的一个或更多个图像的一个或更多个第二图像进行比较，以计算出关注对象在连续的多个图像中出现的时间点作为第二时间点。

Description

信息处理设备、信息处理方法和信息处理系统

相关申请的交叉引用

本申请要求2012年10月22日提交的日本在先专利申请JP 2012-232791的优先权，其全部内容通过引用结合在本申请中。

技术领域

本公开涉及一种能够用于监视摄像机系统等的信息处理设备、信息处理方法、程序以及信息处理系统。

背景技术

在日本专利申请公开第2009-225471号（在下文中，被称为专利文献1）所公开的监视摄像机系统中，例如，在显示器的屏幕上显示由监视摄像机拍摄的图像，并且显示指示定点装置的坐标位置的指针，且指针覆盖在图像上。通过操作该定点装置，当在由监视摄像机拍摄的图像上将指针从第一点移动到第二点时，遥控和监视设备将预定控制信号传送给监视摄像机。基于该控制信号，监视摄像机以与从第一点到第二点的距离成比例的速度在指针的移动方向上移动。因此，提供了具有优秀的可操作性的监视摄像机系统（参见专利文献1的说明书中的第0016段、第0017段等）。

发明内容

正需要的是用于使得可以实现如专利文献1中所公开的有用的监视摄像机系统的技术。

鉴于上述情形，期望的是提供能够实现有用的监视摄像机系统的信息处理设备、信息处理方法、程序以及信息处理系统。

根据本公开内容的实施方式，提供有一种包括输入单元、关注对象检测单元以及计算单元的信息处理设备。

输入单元被配置为输入由摄像设备拍摄的时间上连续的多个图像。

关注对象检测单元被配置为从第一图像中检测关注对象作为关注目标，该第一图像是所输入的多个图像中的在第一时间点处拍摄的图像。

计算单元被配置为将第一图像与一个或更多个第二图像进行比较，以计算出关注对象在连续的多个图像中出现的时间点作为第二时间点，第二图像是在第一时间点之前的时间点处拍摄的一个或更多个图像。

在信息处理设备中，将检测到关注对象的第一时间点处的第一图像与第一时间点之前的时间点处的一个或更多个第二图像进行比较。然后，第二时间点被计算为关注对象在连续的多个图像中出现的时间点。因此，可以实现有用的监视摄像机系统。

当对预定对象的检出在从第一时间点之前的预定时间点处的图像到第一图像的一个或更多个图像中得到保持时，关注对象检测单元可以把预定对象检测为关注对象。在此情况下，计算单元可以通过使用预定对象的检出的保持作为比较结果来计算预定时间点作为第二时间点，其中，从预定时间点处的图像起、就在第一图像之前的一个或更多个图像作为一个或更多个第二图像。

如上所述，可以确定从预定时间点到第一时间点是否保持预定对象的检出。通过使用检出的保持作为第一时间点处的第一图像与第一时间点之前的一个或更多个第二图像之间的比较的结果，计算预定时间点以作为第二时间点。

可以通过拍摄预定摄像空间的图像而获得时间上连续的多个图像。在此情况下，信息处理设备还可以包括差检测单元，差检测单元能够检测出通过拍摄参考状态下的预定摄像空间的图像而获得的参考图像与多个图像中的每个图像之间的差。此外，关注对象检测单元可以基于由差检测单元检测出的与参考图像之间的差来确定预定对象的检出的保持。

如上所述，可以检测参考图像与多个图像中的每个图像之间的差。基于检测结果，可以确定预定对象的检出的保持。

信息处理设备还可以包括运动图像输出单元，运动图像输出单元能够检测所检测到的关注对象的运动，以及输出表示该运动的运动图像。

通过输出运动图像，可以清楚地掌握关注对象的运动。

信息处理设备还可以包括人物对象检测单元，人物对象检测单元能够从多个图像中检测出人物对象。在此情况下，运动图像输出单元可以输出在第二时间点处的图像中与关注对象最靠近的人物对象的运动图像。

如上所述，可以输出与关注对象最靠近的人物对象的运动图像。

信息处理设备还可以包括第一存储单元和人物信息输出单元。

第一存储单元被配置为存储与所检测到的人物对象有关的信息。

人物信息输出单元被配置为根据选择与关注对象最靠近的人物对象的指令来输出与所选择的人物对象有关的信息。

因此，可以容易地获得关于可能与关注对象有关系的人的信息。

信息处理设备还可以包括第二存储单元和关联图像输出单元。

第二存储单元被配置为存储运动图像中的位置与多个图像的关联。

关联图像输出单元被配置为根据选择运动图像中的预定位置的指令来输出多个图像中与所选择的预定位置相关联的图像。

通过存储以上所述的关联，在运动图像中输入操作使得可以以易于理解的方式直观地显示预定时间点处的图像。

计算单元可以通过将第一区域图像与一个或更多个第二区域图像进行比较来计算第二时间点，第一区域图像是第一图像中的至少包括关注对象的区域的图像，一个或更多个第二区域图像是一个或更多个第二图像中与第一区域图像对应的区域的图像。

如上所述，为了计算出第二时间点，可以使用分别为第一图像和第二图像的部分图像的第一区域图像和第二区域图像。

根据本公开内容的另一个实施方式，提供一种信息处理方法，包括：输入由摄像设备拍摄的时间上连续的多个图像。

从作为所输入的多个图像中在第一时间点处拍摄的图像的第一图像中检测作为关注目标的关注对象。

通过将第一图像与作为在第一时间点之前的时间点处拍摄的一个或更多个图像的一个或更多个第二图像进行比较，计算出关注对象在连续的多个图像中出现的时间点作为第二时间点。

根据本公开内容的另一个实施方式，提供一种使计算机执行以下步骤的程序：输入由摄像设备拍摄的时间上连续的多个图像，从作为所输入的多个图像中在第一时间点处拍摄的图像的第一图像中检测关注对象作为关注目标，以及将第一图像与作为在第一时间点之前的时间点处拍摄的一个或更多个图像的一个或更多个第二图像进行比较，以计算关注对象在连续的多个图像中出现的时间点作为第二时间点。

根据本公开内容的另一个实施方式，提供一种信息处理系统，包括：一个或更多个摄像设备和图像处理设备。

一个或更多个摄像设备能够拍摄时间上连续的多个图像。

该图像处理设备包括输入单元、关注对象检测单元以及计算单元。

关注对象检测单元被配置为从第一图像中检测关注对象作为关注目标，第一图像是所输入的多个图像中在第一时间点处拍摄的图像。

计算单元被配置为将第一图像与作为在第一时间点之前的时间点处拍摄的一个或更多个图像的一个或更多个第二图像进行比较，以计算关注对象在连续的多个图像中出现的时间点作为第二时间点。

如上所述，根据本公开内容的实施方式，可以实现有用的监视摄像机系统。

根据以下对如附图所示的本公开内容的最佳模式实施方式所进行的详细描述，本公开内容的这些以及其他目的、特征以及优点将变得更加明显。

附图说明

图1是示出监视摄像机系统的结构的示例的框图，该监视摄像机系统包括根据本公开内容的实施方式的信息处理设备；

图2是示出该实施方式中所生成的运动图像数据的示例的示意图；

图3是示出由摄像机拍摄的运动图像的示例的示意图；

图4是示出根据这个实施方式的参考图像的示例的示意图；

图5是示出用于计算第二时间点的更具体的处理示例的流程图；

图6是示出用于说明图5所示的处理的运动图像11的示意图；

图7是示出基于可疑对象的检测和可疑对象的出现时间的计算而执行的警报显示等的处理示例的流程图；

图8是示出在执行图7所示的处理时客户端设备的屏幕的示意图；

图9是示出在执行图7所示的处理时客户端设备的屏幕的示意图；

图10是示出在执行图7所示的处理时客户端设备的屏幕的示意图；

图11是示出在执行图7所示的处理时客户端设备的屏幕的示意图；

图12是示出用作为客户端设备和服务器设备的计算机的结构的示例的示意性框图；

图13是用于示出能够由根据本公开内容的监视摄像机系统执行的处理的图；

图14是用于示出能够由根据本公开内容的监视摄像机系统执行的处理的图；

图15是用于示出能够由根据本公开内容的监视摄像机系统执行的处理的图；以及

图16是用于示出能够由根据本公开内容的监视摄像机系统执行的处理的图。

具体实施方式

在下文中，将参照附图来描述本公开内容的实施方式。

（监视摄像机系统）

图1是示出监视摄像机系统的结构的示例的框图，监视摄像机系统包括根据本公开内容的实施方式的信息处理设备。

监视摄像机系统100包括一个或更多个摄像机10、用作为根据本实施方式的信息处理设备的服务器设备20、以及客户端设备30。一个或更多个摄像机10和服务器设备20经由网络5彼此连接。此外，服务器设备 20和客户端设备30也经由网络5彼此连接。

例如，LAN（局域网）、WAN（广域网）等被用作为网络5。网络5 的种类、用于网络5的协议等不受限制。图1所示的两个网络5可以是不同的网络。

摄像机10能够拍摄数码摄像机等的运动图像。摄像机10生成运动图像数据并且将运动图像数据经由网络5传送给服务器设备20。

图2是示出本实施方式中生成的运动图像数据的示例的示意图。运动图像数据11由时间上连续的多个帧图像12构成。帧图像12例如以30fps （帧每秒）或60fps的帧速率被生成。应当注意，运动图像数据可以由交错系统逐场生成。摄像机10均与根据本公开内容的摄像设备对应。

如图2所示，沿着时间轴生成多个帧图像12。在图2中，从左侧向右侧生成帧图像12。因此，设置在左侧的帧图像12与运动图像数据11 的第一半对应，而设置在右侧的帧图像12与运动图像数据11的后一半对应。

客户端设备30具有通信单元31和GUI单元32。通信单元31用于经由网络5与服务器设备20通信。GUI单元32显示例如运动图像数据 11、用于各种操作的GUI（图形用户界面）、或其他各条信息。例如，由通信单元31接收从服务器设备20经由网络5传送的运动图像数据11等。运动图像等被输出给GUI单元32并且由预定GUI显示在显示单元（未示出）上。

来自用户的操作经由显示在显示单元上的GUI等被输入到GUI单元 32。GUI单元32基于输入操作来生成指令信息，并且将该信息输出给通信单元31。该指令信息由通信单元31经由网络5传送给服务器设备20。应当注意，可以与GUI单元32分别地设置用于基于输入操作来生成和输出指令信息的模块。

例如，PC（个人计算机）或诸如平板电脑的移动终端被用作为客户端设备30。然而，客户端设备30不限于这些。

服务器设备20包括摄像机管理单元21，以及连接到摄像机管理单元 21的摄像机控制单元22和图像分析单元23。服务器设备20还包括数据管理单元24、警报管理单元25以及用于存储各条数据的存储单元208。服务器设备20还包括用于与客户端设备30通信的通信单元27。摄像机控制单元22、图像分析单元23、数据管理单元24和警报管理单元25连接到通信单元27。

通信单元27将从连接到通信单元27的模块输出的运动图像11和各条信息经由网络5传送给客户端设备30。另外，通信单元27接收从客户端设备30传送的指令信息并且将指令信息输出给服务器设备20中的模块。例如，指令信息可以经由用于控制服务器设备20的操作的控制单元（未示出）等输出给模块。在本实施方式中，通信单元27用作输入来自用户的指令的指令输入单元。

摄像机管理单元21将来自摄像机控制单元22的控制信号经由网络5 传送给摄像机10。因此，摄像机10的各种操作得到控制。例如，摄像机的水平旋转和俯仰操作、变焦操作、聚焦操作等得到控制。

另外，摄像机管理单元21接收从摄像机10经由网络5传送的运动图像11。然后，摄像机管理单元21将运动图像11输出给图像分析单元23。必要时，可以进行预先处理，例如噪声处理。在本实施方式中，摄像机管理单元21用作输入单元。

图像分析单元23针对每个帧图像12分析来自摄像机10中的每一个摄像机的运动图像。例如，图像分析单元23分析帧图像12中对象的种类和数目、帧图像12中的对象的运动等。在本实施方式中，图像分析单元 23从连续的多个帧图像12中第一时间点处的帧图像12中检测关注对象，作为诸如可疑对象的关注目标。此外，执行计算，其中关注对象在运动图像数据11中出现的时间点被设定为第二时间点。

此外，图像分析单元23可以计算两个图像之间的差。在本实施方式中，图像分析单元23检测帧图像12之间的差。此外，图像分析单元23 检测预定参考图像与多个帧图像12之间的差。用于计算两个图像之间的差的技术不受限制。通常，两个图像的亮度值的差被计算作为该差。除此之外，亮度值的差的绝对值总和、与亮度值有关的归一化相关系数、频率分量等可以用于确定该差。另外，可以视情况使用用于模式匹配等的技术。

在本实施方式中，通过拍摄预定摄像空间的图像，生成包括多个帧图像12的运动图像11。此处，拍摄摄像空间中参考状态下的图像作为参考图像。摄像空间的参考状态是指在摄像空间中不存在可疑对象等的正常状态。基于参考图像与帧图像12之间的差，检测出帧图像12中的对象。例如，如果在有人存在于摄像空间中的状态下拍摄帧图像12，那么此人被检测作为对象。应当注意，从帧图像12中检测出对象的方法不受限制。

另外，图像分析单元23能够跟踪所检测的对象。也就是说，图像分析单元23检测对象的移动并且生成对象的轨迹数据。例如，针对连续的帧图像12中的每一个帧图像计算要跟踪的对象的位置信息。位置信息用作为对象的轨迹数据。图像分析单元23跟踪关注对象和预定的人物对象。用于跟踪对象的技术不受限制，而且可以使用已知的技术。

另外，图像分析单元23能够确定从帧图像12中提取的对象是否是人。因此，可以从帧图像12中检测人物对象。

根据本实施方式的图像分析单元23用作运动图像输出单元、关注对象检测单元、计算单元、差检测单元以及人物对象检测单元的一部分。这些功能不一定由一个模块实现，并且用于实现这些功能的模块可以单独设置。

数据管理单元24管理运动图像数据11、与由图像分析单元23得到的分析结果有关的数据、从客户端设备30传送的指令数据等。此外，数据管理单元24管理被存储在存储单元208中的元信息数据、诸如过去的运动图像的视频数据、与来自警报管理单元25的警报指示有关的数据等。

在本实施方式中，预定人物对象和关注对象的轨迹数据被从图像分析单元23输出给数据管理单元24。然后，数据管理单元24基于轨迹数据输出指示关注对象等的运动的运动图像。应当注意，用于生成运动图像的模块可以另外被设置成将轨迹数据输出到来自数据管理单元的模块。

此外，在本实施方式中，存储单元208存储在运动图像11中出现的人物对象的信息。例如，在存储单元208中预先存储与使用监视摄像机系统100的建筑物或公司有关的人的数据。例如，在预定人物对象被检测并且选择的情况下，数据管理单元24从存储单元208读取与人物对象有关的信息并且输出该信息。应当注意，对于诸如局外人、其数据未被存储的人，指示该事实的数据可以被输出作为人物对象信息。

另外，存储单元208存储运动图像中的位置与多个帧图像12之间的关联。基于该关联，数据管理单元24输出与多个帧图像12中所选择的预定位置相对应的帧图像12。

在本实施方式中，数据管理单元24用作运动图像输出单元、人物信息输出单元以及对应图像输出单元的一部分。此外，存储单元208用作第一存储单元和第二存储单元。

警报管理单元25管理关于帧图像12中的对象的警报指示。例如，基于来自用户的指令或由图像分析单元23得到的分析结果，预定对象被检测为关注对象（可疑对象等）。对所检测到的可疑人等进行警报显示。此时，管理警报显示的种类、执行警报显示的时间等。此外，管理警报显示的历史等。

（监视摄像机系统的操作）

将描述根据本实施方式的监视摄像机系统100的操作的概要。图3 是示出由摄像机10拍摄的运动图像11的示例的示意图。

如图3所示，由将建筑物40中的预定空间设定为摄像空间的摄像机 10拍摄运动图像11。这里，主要包括走廊41中的拐角42的摄像空间被拍摄。在建筑物40中的走廊41中，手中拿着包50的人51正在行走（帧图像12A和帧图像12B）。走廊41中正在行走的人51拐角42处将包50 放置在走廊（帧图像12C）。人51在走廊41中前进并且从屏幕15中消失（帧图像12D和帧图像12E）。拍摄了以上所述的运动图像11。

图3所示的五个帧图像12A至帧图像12E被设定为图2所示的运动图像数据11的以预定间隔定位的帧图像（图2所示的12A至12E）。分别在预定时间t₁至t₅处拍摄帧图像12。此处，时间t₅处所拍摄的帧图像12E 被设定为第一时间点处的第一图像。从帧图像12E中检测出包50作为关注对象55。

可以使用任何方法作为对关注对象55进行检测的方法。例如，使用图4所示的参考图像14，并且基于参考图像14与帧图像12E之间的差，可以检测出关注对象55。在此情况下，将检测为关注对象55的包50处理为可疑对象。下文中，关注对象55有时可以被称为可疑对象55。

将设定为第一图像的帧图像12E与在作为第一时间点的时间t₅之前的时间点处的一个或更多个第二图像进行比较。在此情况下，图3所示的帧图像12A至帧图像12D被用作为第二图像。通过将帧图像12E与帧图像12A至帧图像12D进行比较，计算第二时间点，以作为在连续的多个帧图像12中关注对象55的出现时间点。在此情况下，在帧图像12E中可疑对象55所在的拐角42的位置上放置可疑对象55的时间点被计算作为第二时间点。

可以使用任何方法作为计算可疑对象55的出现时间点的方法。通常，确定在放置可疑对象55的区域中是否存在图像变化。然后，基于拍摄帧图像12的时间，计算第二时间点。在图3所示的示例中，包50存在于帧图像12C中的拐角42处，但不存在于在帧图像12C之前的帧图像12B 中的拐角42处。因此，拍摄帧图像12C的时间t₃被计算作为第二时间点。

如上所述，在本实施方式中，由服务器设备20将检测到关注对象55 的第一时间点处的第一图像与在第一时间点之前的时间点处的一个或更多个第二图像进行相互比较。在连续的多个帧图像12中关注对象55的出现时间点被计算作为第二时间点。因此，可以容易确认关注对象55如何被放置、放置关注对象55的人等。因而，可以实现有用的监视摄像机系统100。

应当注意，被设定作为一个或更多个第二图像的帧图像12不受限制。任何帧图像12可以被设定作为第二图像，只要帧图像12是在第一时间点之前的时间点处拍摄的图像即可。如上所述，以预定间隔定位的多个帧图像12可以被设定作为第二图像。可替代地，就在第一时间点之前的连续的多个帧图像12可以被设定作为第二图像。

图5是示出用于计算第二时间点的更具体的处理示例的流程图。图6 是示出用于说明该处理的运动图像11的示意图。在此处待描述的计算第二时间点的方法中，拍摄运动图像11，并且针对帧图像12执行对象检测处理。为了检测对象，使用参考图像14。为了执行该检测，首先，作为图像的初始化，拍摄参考图像14（步骤ST101）。在开始拍摄在参考状态下的摄像空间的图像时，首先拍摄的图像用于参考图像14。可替代地，通过提前拍摄在参考状态下的摄像空间的图像，可以准备参考图像。

开始拍摄摄像空间的图像，并且然后拍摄在当前时间T处的帧图像 12T（步骤ST102）。当前时间T指的是实际进行图像拍摄的时间。随着图像拍摄继续，当前时间T的值变化。例如，如果图像拍摄开始时间被设定在0:00处，那么拍摄0:00处的帧图像12以作为当前时间T处的帧图像12T。在从当前时间T起过去一分钟的情况下，拍摄0:01处的帧图像12以作为当前时间T处的帧图像12T。

计算当前时间T处的帧图像12T与参考图像14之间的差，并且检测对象（步骤ST103）。应当注意，可以在不使用参考图像14的情况下对对象进行检测。在帧图像12T与参考图像14之间不存在差的情况下（步骤 ST103中的“否”），拍摄下一个帧图像12以作为当前时间T处的帧图像 12T（步骤ST101）。

应当注意，时间上连续的所有帧图像12不必依次与参考图像14进行比较。例如，在预定时间过去之后拍摄的帧图像12可以被设定为下一个当前时间T处的帧图像12T。在此情况下，为了简化说明，在一秒过去之后所拍摄的帧图像12被拍摄作为下一个当前时间T处的帧图像12T。因此，计算出每隔一秒拍摄的帧图像12与参考图像14之间的差。

在当前时间T处的帧图像12T与参考图像14之间存在差的情况下（步骤ST103中的“是”），确定根据该差所检测的对象是否是人物对象（步骤ST104）。在确定所检测的对象是人物对象的情况下（步骤ST104中的“否”），拍摄下一个帧图像12以作为当前时间T处的帧图像12T（步骤 ST101）。

在确定所检测的对象不是人物对象的情况下（步骤ST104中的“是”），确定与参考图像14的差是否持续预定时间段t或更长（步骤ST105）。因此，在步骤ST105中，确定非人预定对象的检出是否保持预定时间段t 或更长。

保持预定对象的检出是指从帧图像12T之后的帧图像12中检测出该对象。预定时间段t可以任意设定。在此情况下，预定时间段t被设定成 30秒。例如，如果在图6所示的时间T处所拍摄的帧图像12T中检测出非人预定对象，则确定在帧图像12T之后每隔一秒所拍摄的三十个帧图像12中是否保持预定对象的检出。

在确定对象的检出未保持30秒或更多的情况下（步骤ST105中的“否”），拍摄在一秒之后的下一个帧图像12，并且将该图像与参考图像 14进行比较（步骤ST101）。在处理从步骤ST101前进到步骤ST105的情况下，再次确定是否保持对象的检出。

当确定在帧图像12T之后的三十个帧图像12中保持预定对象的检出的情况下（步骤ST105中的“是”），检测出预定对象以作为可疑对象55 （关注对象55）（步骤ST106）。因此，从图6所示的帧图像12T起计数的第30个帧图像12H被设定为第一时间点处的第一图像。由于第一时间点表示拍摄帧图像12H的时间，所以第一时间点是从图6所示的时间T 起过去t=30秒的点T+30。

此外，如步骤ST106所示，计算时间T’-t以作为可疑对象55被放置时的第二时间点。流程图中所示的时间T’指示了拍摄第30个帧图像12H 的时间，因此通过从帧图像12H的图像拍摄时间中减去30秒而获得了时间T’-t。因此，时间T’-t对应于从中第一次检测出对象的帧图像12T被拍摄的时间（图6中，时间T+30-30=T）对应。计算从中第一次检测出预定对象的帧图像12T的图像拍摄时间以作为第二时间点。

将描述步骤ST105中的噪声确定。为了确定是否保持预定对象的检出，对三十个帧图像12进行对象检测处理。此时，例如，由于对象与过路人交叠，所以可能检测不出对象。这种情况被确定为噪声，并且有关是否保持对象检出的确定是无效的。

例如，作为确定噪声的方法，使用在之前和之后与帧图像12相邻的帧图像12中对象的检测结果。例如，当在之前和之后连续的帧图像12 中检测出预定对象的情况下，从中没有检测出对象的帧图像12被确定为噪声。该方法不限于使用之前和之后连续的帧图像12的情况。可以使用别的噪声确定方法。

如上所述，在图5的流程图所示的计算第二时间点的方法中，当在从第一时间点之前的预定时间点处的帧图像12到第一时间点处的第一图像的一个或更多个帧中预定对象的检出得到保持的情况下，检测出预定对象以作为关注对象。如上所述，当例如在拍摄运动图像11的相同时间检测到关注对象55的情况下，可以提前设定预定时间点，并且可以将达到对象检出的保持的时间点设定为第一时间点。

然后，计算预定时间点以作为第二时间点。此时，从预定时间点处的帧图像12起、就在第一时间点处的第一图像之前的一个或更多个帧图像 12被设定作为第二图像。以上所述的预定对象的检出的保持被用作第一图像与一个或更多个第二图像之间的比较结果。也就是说，通过参考图像 14来比较就在第一图像之前的帧图像12和作为第一图像的帧图像12。

在本实施方式中，图像之间的比较包括直接对图像进行相互比较的情形，和将图像与诸如介于图像之间的参考图像的另一个图像间接地进行比较的情形。

通过以上处理，在拍摄运动图像11时，可以执行可疑对象55的检测和可疑对象55出现时的第二时间点的计算二者。因此，可以使计算量减少并且使处理时间缩短。

图7是示出基于对可疑对象55的检测和对可疑对象55的出现时间的计算而执行的警报显示等的处理示例的流程图。图8至图11是用于说明该处理的图。

当在步骤ST201检测到可疑对象55时，显示警报（步骤ST202）。例如，在图8所示的客户端设备30中，在屏幕15上的多个划分的区域 16中，显示由多个摄像机10中的每个摄像机拍摄的运动图像11。在区域 16中的一个划分的区域16a中，显示图3所示的运动图像11。当图3所示的帧图像12E中所显示的包50被检测为可疑对象55时，对于包50，显示警报56。用于警报显示的图像、显示警报56的方法等不受限制。

确定用户是否输入用于选择警报56的操作。在本实施方式中，屏幕 15是触摸板并且作为操作输入单元。因此，在此情况下，确定用户是否触摸警报56（步骤ST203）。

在确定没有进行对警报56的触摸操作的情况下（步骤ST203中的“否”），保持图8所示的显示。在确定进行了对警报56的触摸操作的情况下（步骤ST203中的“是”），如图9所示，把帧图像12E放大以作为警报出现时的图像，并且把作为可疑对象55的包50突出显示（步骤ST204）。用于把包50突出显示为可疑对象55的图像等不受限制。

确定是否输入对可疑对象55的触摸操作（步骤ST205）。在确定没有进行对可疑对象55的触摸操作的情况下（步骤ST205中的“否”），保持图9所示的经放大的显示。在确定进行了对可疑对象55的触摸操作的情况下（步骤ST205中的“是”），在可疑对象55被放置时（第二时间点）检测在可疑对象55附近的人物对象（步骤ST206）。

通常，从可疑对象55被放置时的帧图像12中检测人物对象。可以从靠近可疑对象55被放置的时间的之前和之后的帧图像12中检测人物对象。所检测出的人物对象之中最可疑的人被设定为嫌疑人58（步骤 ST207）。通常，最靠近作为可疑对象55的关注对象55的人被设定为嫌疑人58对象。可替代地，在与可疑对象55被放置的时间接近的多个帧图像12中，在这些帧图像12中出现最长时间段的人被设定为嫌疑人58。

如图10所示，显示放置可疑对象55时的帧图像12，并且突出显示被设定为嫌疑人58的人物对象57（步骤ST208）。在此情况下，不选择图3所示的帧图像12C作为一个或更多个第二图像。将图3所示的帧图像12B显示作为可疑对象55被放置时的帧图像。

在所显示的帧图像12B中，输出指示被设定为嫌疑人58的人物对象 57的运动的运动图像70（步骤ST209）。基于包括帧图像12中的每个帧图像中人物对象57的位置信息等的轨迹数据来生成和显示运动图像70。用作为运动图像70的图像不受限制。在本实施方式中，附加有箭头71 的交通线72被显示为运动图像70。

也就是说，在本实施方式中，在可疑对象55被检测为关注对象55 的情况下，输出在作为第二时间点处的图像的帧图像12B中与可疑对象 55最靠近的人物对象57的运动图像70。因此，例如，可以检测出携带可疑对象55的人等。

确定对否输入关于嫌疑人58的拖曳操作（步骤ST210）。在确定没有输入拖曳操作的情况下（步骤ST210中的“否”），确定是否输入关于嫌疑人58的敲击操作（步骤ST211）。在确定没有输入关于嫌疑人58的敲击操作的情况下（步骤ST211中的“否”），保持图10所示的帧图像12B 的显示。

在确定输入关于嫌疑人58的敲击操作的情况下（步骤ST211中的“是”），确定输入了选择被设定为嫌疑人58的人物对象57的指令。然后，输出与所选择的嫌疑人58的对象57有关的信息（步骤ST212）。从存储单元208中读取人物对象57的信息并且将人物对象57的信息输出。因此，可以容易获得很可能与可疑对象55有关系的人的信息。

图11是示出输出有人物对象57的信息的图像的示例的图。如图11 所示，例如，在屏幕15上的预定区域17中输出与人物对象57有关的信息。与人物对象57（嫌疑人58）有关的信息的示例包括嫌疑人58的面部图片60、指示嫌疑人58的简档的文本数据61、指示嫌疑人58的当前位置的地图信息62、嫌疑人58当前所在的图像63等。在图11所示的示例中，检测到嫌疑人58在办公室中的事实。设置在办公室中的摄像机的图像被显示为图像63。可以根据需要显示另一条信息作为人物对象57的信息。

当确定在图10所示的帧图像12B中输入关于嫌疑人58的拖曳操作的情况下（步骤ST210中的“是”），在作为运动图像70的交通线72上计算与用手指指示为拖曳目的地的位置最靠近的位置（步骤ST213）。输出和显示与交通线72上所计算的位置对应的帧图像12。

为了将运动图像70上的位置与多个帧图像12相关联，考虑把交通线 72上的位置与嫌疑人58的位置之间的距离和时间距离彼此关联。在相距嫌疑人58一个距离的位置的情况下，显示在过去或将来在时间上有距离的帧图像12。在此情况下，简单地把交通线72用作为搜寻条。

例如，在图10所示的帧图像12B中，在以与箭头相反的方向向左输入拖曳操作时，显示相比于帧图像12B在过去拍摄的图3所示的帧图像 12A等。与之相对比，在以箭头指示的方向向右输入拖曳操作时，显示相比于帧图像12B在将来拍摄的图3所示的帧图像12C、帧图像12D或帧图像12E等。通过稍微进行向右的拖曳操作，可以确认图3所示的人物对象57放置包50的时刻处的帧图像12C。

可替代地，交通线72上的位置和嫌疑人58通过该位置时的帧图像 12可以彼此关联。在此情况下，可以通过进行到预定位置的拖曳操作来显示嫌疑人58存在于交通线72上的预定位置处时的帧图像12。在图7 中的步骤ST214中，基于以上所述的关联，显示帧图像12，并且突出显示嫌疑人58。

通过存储如上所述的关联，例如，可以通过在运动图像70上输入操作来以易于理解的方式直观地显示在预定时间点处的帧图像12。因此，可以容易地进行对帧图像12的搜寻。

在以上实施方式中，各种计算机如PC（个人计算机）用作客户端设备30和服务器设备20。图12是示出计算机的结构的示例的示意性框图。

计算机200设置有CPU（中央处理器）201、ROM（只读存储器） 202、RAM（随机存取存储器）203、输入和输出接口205以及连接这些单元的总线204。

显示单元206、输入单元207、存储单元208、通信单元209以及驱动单元210等与输入和输出接口205连接。

显示单元206是使用液晶、EL（电致发光）、CRT（阴极射线管）等的显示装置。

输入单元207是例如控制器、定点装置、键盘、触摸面板或其他操作设备。在输入单元207包括触摸面板的情况下，触摸面板可以与显示单元 206集成。

存储单元208是非易失性存储装置。诸如HDD（硬盘驱动器）、闪存以及其他固态存储器。

驱动单元210是能够驱动诸如软盘（注册商标）、记录磁带以及闪存的可移除存储介质211的装置。与之相比，存储单元208经常用作预先安装在计算机200上并且主要驱动非可移除记录介质的装置。

通信单元209是可连接到LAN（局域网）、WAN（广域网）等的用于与其他装置进行通信的调制解调器、路由器或其他通信设备。通信单元 209可以进行有线或无线通信。通信单元209经常与计算机200分离使用。

用彼此协作的存储在存储单元208、ROM202等中的软件和具有以上所述的硬件结构的计算机200的硬件资源实现由计算机200进行的信息处理。具体地，通过将构成存储在存储单元208、ROM202等中的软件的程序加载到RAM203并且由CPU201执行该程序而实现信息处理。例如，CPU201执行预定程序，从而实现图1所示的模块。

例如经由记录介质在计算机200中安装程序。程序可以经由全球网络等被安装到计算机200。

此外，例如，由计算机200执行的程序可以根据以上所述的顺序以时间先后顺序进行处理，或者可以并行处理，或者在调用程序时的必要定时进行处理。

<修改示例>

本公开内容并不限于以上实施方式，而是可以进行各种修改。

在上面的描述中，通过将第一时间点处的第一图像与在第一时间点之前的时间点处的一个或更多个第二图像进行比较，计算出第二时间点。代替地，通过将第一区域图像与一个或更多个第二区域图像进行比较，可以计算第二时间点，第一区域图像是第一图像的至少包括关注对象区域的图像，一个或更多个第二区域图像是一个或更多个第二图像的与第一区域图像对应的区域的图像。

例如，在图3所示的帧图像12E等中，在指定包括包50的区域时，至少包括包50的区域的图像被设定为第一区域图像。换言之，帧图像的部分图像被设定为第一区域图像。例如根据用户的指令设定第一区域图像的尺寸。可替代地，可以视情况而计算和确定包括关注对象的预定尺寸。

然后，均与第一区域图像在相同位置、具有相同尺寸的区域的图像被设定为一个或更多个第二区域图像。可以将第一区域图像与第二区域图像进行比较来计算第二时间点。也就是说，基于第一区域图像和第二区域图像的部分图像，可以计算第二时间点。

例如，将包括包50的第一区域图像与过去的第二区域图像进行比较，从而计算第二时间点作为包50在区域内出现的时间点。因此，可以计算出用户想要关注的对象出现的时间点。例如，可以计算出未被检测为关注对象55的对象的出现时间点。

在上面的描述中，在可疑对象被检测为关注对象的情况下，输出与最靠近可疑对象的人物对象有关的运动图像。可以基于被设定为可疑对象的关注对象的轨迹数据来输出与关注对象有关的运动图像。结果，可以清楚地掌握在可疑对象出现的时间点之前和之后可疑对象的运动。

另一方面，通过仅获得人物对象的轨迹数据，可以使计算量减少并且使处理时间缩短。

另外，作为根据本公开内容的监视摄像机系统，可以执行下述处理。在下述处理中，将预定UI（用户界面）交叠在来自摄像机的监视图像（包括实时图像、回放图像等）上。结果，可以执行直观的操作。

例如，在图13所述的屏幕15上，显示由多个编号的摄像机10拍摄的图像和指示多个摄像机与人物对象80之间的位置关系的UI81。例如，图像82中的门83关闭并且拒绝人80的访问。在此情况下，以放大的方式显示示出门83前面的人80的图像82。在屏幕15的左端区域中显示走到门83前面的人80的历史图像84。历史图像84由安装在走廊85到门 83的摄像机10拍摄。基于图像拍摄时间，可以掌握人80的行为。

在示出多个摄像机10与人80之间的位置关系的UI81中，显示指示人80的运动的运动图像86。此外，在UI81中由编号24标示的摄像机 10A被着色。这意味着摄像机10A是拍摄图像82的摄像机。通过操作摄像机10的编号被指示在图像82中的半圆形UI87，可以直观地切换摄像机10。

例如，在交互式切换拍摄人80的多个摄像机10时，可以通过使用过去的图像来确认人80的访问认证并且找回历史。

另外，如图14所示，把预定UI88交叠在门83上。例如，在人靠近门83的情况下，显示UI88。在认证等没有问题的情况下，用户可以仅通过触摸UI88，即门83，来控制门83打开和关闭。结果，可以进行直观的操作。

图15是示出检测到嫌疑人时的图像的图。例如，对照预先存储的嫌疑犯的信息检查从监视图像中检测到的人物对象。结果，在匹配率大于预定值时，该人被确定作为嫌疑人。在此情况下，显示示出嫌疑人的UI90 和试图抓获嫌疑人的看守人的UI91。当触摸嫌疑人的UI90时，包括面部图片、姓名、年龄等的信息被显示为嫌疑人信息92。当触摸看守人的UI91时，显示包括附近的看守人的面部图片、姓名等的看守人信息93。此外，开始与看守人的通信。结果，可以迅速容易和容易地与附近的看守人建立联系并且因而抓获嫌疑人。

在图16中，多个人物对象95中的预定人被突出显示为目标人95A。与目标人95A不相关的人95B被透明地显示。结果，可以容易地确认目标人95A。此外，可以保护其他人95B的隐私。在使用马赛克等的情况下，屏幕在很多情况下变得不清楚并且导致差的可视性。如图所示，通过像透明人那样显示其他人95B，防止指定这些人。另外，可以显示清楚的监视图像。例如，没有人的图像可以视情况被用于校正图像，并且使用轮廓或过滤器，结果是可以透明地显示这些人。可以使用别的方法。

如图12至图15所示，通过交叠上UI，可以容易地掌握UI与监视图像之间的关系。此外，可以使转移视线的负担减小。应当注意，基于监视图像的分析结果，可以动态构造UI。

在上面的描述中，给定包作为可疑对象的示例。可以检测其它对象以作为可疑对象。可替代地，人的脚印等可以被检测为可疑对象。留下脚印的时间点被计算为第二时间点，并且可以基于该时间点处的图像来检测留下脚印的人。

在上面的描述中，客户端设备与服务器设备经由网络彼此连接，并且服务器设备与多个摄像机经由网络连接。然而，可以不使用网络来连接设备。也就是说，连接设备的方法不受限制。此外，在上面的描述中，客户端设备与服务器设备被设置作为分立的设备。然而，客户端设备与服务器设备可以被整体构成以用作根据本公开内容的实施方式的信息处理设备。可以包括多个摄像设备以构成根据本公开内容的实施方式的信息处理设备。

针对根据以上所述的本公开内容的图像的切换处理等可以被用于不同于监视摄像机系统的别的信息处理系统。

可以组合在以上所述的实施方式的特征部分中的至少两个特征部分。

应当注意，本公开内容可以采用以下配置。

（1）一种信息处理设备，包括：

输入单元，被配置为输入由摄像设备拍摄的时间上连续的多个图像；

关注对象检测单元，被配置为第一图像中检测关注对象作为关注目标，第一图像是输入的所述多个图像中在第一时间点处拍摄的图像；以及

计算单元，被配置为将所述第一图像与一个或更多个第二图像进行比较，，以计算所述关注对象在连续的所述多个图像中出现的时间点，作为第二时间点，一个或更多个第二图像是在所述第一时间点之前的时间点处拍摄的一个或更多个图像。

（2）根据项（1）所述的信息处理设备，其中，

当预定对象的检出在从所述第一时间点之前的预定时间点处的图像到所述第一图像的一个或更多图像中得到保持时，所述关注对象检测单元将所述预定对象检测为所述关注对象，并且

所述计算单元通过使用所述预定对象的检出的保持作为所述比较结果来计算所述预定时间点作为所述第二时间点，其中，从所述预定时间点处的图像起、就在所述第一图像之前的一个或更多图像是所述一个或更多第二图像。

（3）根据项（2）所述的信息处理设备，其中，

时间上连续的所述多个图像是通过拍摄预定摄像空间的图像而获得的，

所述信息处理设备还包括：

差检测单元，能够检测参考图像与所述多个图像中的每一个之间的差，所述参考图像是通过在参考状态下拍摄所述预定摄像空间的图像而获得的，其中，

所述关注对象检测单元基于由所述差检测单元检测的与所述参考图像的差来确定所述预定对象的检出的保持。

（4）根据项（1）至（3）中任一项所述的信息处理设备，还包括：

运动图像输出单元，能够检测所检测到的所述关注对象的运动并且输出表示所述运动的运动图像。

（5）根据项（4）所述的信息处理设备，还包括：

人物对象检测单元，能够从所述多个图像中检测出人物对象，其中，

所述运动图像输出单元输出所述第二时间点处的所述图像中与所述关注对象最靠近的所述人物对象的运动图像。

（6）根据项（5）所述的信息处理设备，还包括：

第一存储单元，被配置为存储与所检测到的所述人物对象有关的信息；以及

人物信息输出单元，被配置为根据选择与所述关注对象最靠近的所述人物对象的指令来输出与所选择的所述人物对象有关的信息。

（7）根据项（4）至（6）中任一项所述的信息处理设备，还包括：

第二存储单元，被配置为存储所述运动图像中的位置与所述多个图像的关联；以及

关联图像输出单元，被配置为根据选择所述运动图像中的预定位置的指令来输出所述多个图像中与所述选择的预定位置相关联的图像。

（8）根据项（1）至（7）中任一项所述的信息处理设备，其中，

所述计算单元通过将第一区域图像与一个或更多第二区域图像进行比较来计算所述第二时间点，所述第一区域图像是所述第一图像中至少包括所述关注对象的区域的图像，所述第二区域图像是所述一个或更多第二图像中与所述第一区域图像相对应的区域的图像。

本领域的技术人员应当理解，取决于设计要求和其他因素，可以想到各种修改、组合、子组合以及变化，只要所述修改、组合、子组合以及变化均落在所附权利要求及其等效替代的保护范围内即可。

Claims

1.一种信息处理设备，包括：

关注对象检测单元，被配置为从第一图像中检测作为关注目标的关注对象，所述第一图像是输入的所述多个图像中在第一时间点处拍摄的图像；

计算单元，被配置为将所述第一图像与一个或更多第二图像进行比较，以计算所述关注对象在连续的所述多个图像中的同一区域中首次出现的时间点，作为第二时间点，所述第二图像是在所述第一时间点之前的时间点处拍摄的一个或更多图像；

人物对象检测单元，被配置为从所述第二时间点处的所述图像中检测出人物对象；

运动图像输出单元，被配置为基于所述多个图像检测所述第二时间点处的所述图像中与所述关注对象最靠近的所述人物对象的运动，并且输出呈现所述运动的运动图像。

2.根据权利要求1所述的信息处理设备，其中，

所述计算单元通过使用作为所述比较结果的所述预定对象的检出的保持来计算所述预定时间点作为所述第二时间点，其中，从所述预定时间点处的图像起、就在所述第一图像之前的一个或更多图像是所述一个或更多第二图像。

3.根据权利要求2所述的信息处理设备，其中，

所述信息处理设备还包括：

差检测单元，能够检测参考图像与所述多个图像中的每一个之间的差，所述参考图像是通过在参考状态下拍摄所述预定摄像空间的图像而获得的，其中

4.根据权利要求1所述的信息处理设备，还包括：

5.根据权利要求1所述的信息处理设备，还包括：

关联图像输出单元，被配置为根据选择所述运动图像中的预定位置的指令来输出所述多个图像中与所选择的预定位置关联的图像。

6.根据权利要求1所述的信息处理设备，其中，

7.一种信息处理方法，包括：

输入由摄像设备拍摄的时间上连续的多个图像；

从第一图像中检测作为关注目标的关注对象，所述第一图像是输入的所述多个图像中在第一时间点处拍摄的图像；

将所述第一图像与一个或更多第二图像进行比较，以计算所述关注对象在连续的所述多个图像的同一区域中首次出现的时间点，作为第二时间点，所述第二图像是在所述第一时间点之前的时间点处拍摄的一个或更多图像；

从所述第二时间点处的所述图像中中检测出人物对象；以及

基于所述多个图像检测所述第二时间点处的所述图像中与所述关注对象最靠近的所述人物对象的运动，并且输出呈现所述运动的运动图像。

8.一种信息处理系统，包括：

一个或更多摄像设备，能够拍摄时间上连续的多个图像；以及

图像处理设备，包括：

输入单元，被配置为输入由所述摄像设备拍摄的时间上连续的多个图像；

计算单元，被配置为将所述第一图像与一个或更多第二图像进行比较，以计算所述关注对象在连续的所述多个图像的同一区域中首次出现的时间点，作为第二时间点，所述第二图像是在所述第一时间点之前的时间点处拍摄的一个或更多图像；

9.一种计算机可读存储介质，其上存储有计算机可执行指令，当所述计算机可执行指令被执行时，执行根据权利要求7所述的信息处理方法。