CN100583999C - 处理图像的装置和方法及处理再现图像的装置和方法 - Google Patents

Abstract

本发明涉及处理图像的装置和方法及处理再现图像的装置和方法。使用缩略图，有利于对运动图片中随时间变化的目标的操作，由此防止在捕获重要目标时出现的问题。所述装置包括：运动体检测装置，用于从输入的运动图片信息中检测目标并检查目标的身份，由此确定所述目标是否包含在两个或多个连续帧内；缩略图显示装置，用于基于由所述运动体检测装置检测到的目标信息来显示在预定时间段内已经出现的任何目标，作为从代表帧中提取的缩略图；操作输入装置，用于接收当选择了由所述缩略图显示装置显示的一个缩略图时做出的输入操作；以及运动图片显示装置，用于显示包含与所述操作输入装置接收的输入操作相关的被选缩略图识别出的目标的运动图片。

Description

处理图像的装置和方法及处理再现图像的装置和方法

相关申请的交叉引用

本发明包含2004年11月16日在日本专利局提交的申请号为JP2004-331730的日本专利申请的主题，在此将其整个内容并入作为参考。

技术领域

本发明涉及用于处理图像的装置、处理再现图像的装置、处理图像的方法以及处理再现图像的方法，其从运动图片信息中检测目标。例如，这些装置和方法可用于其中使用了两个照相机的监视系统，其中一个照相机是用于扫描宽区域的传感器照相机，另一个是用于拍摄宽区域中存在的目标的变焦照相机。

背景技术

迄今为止，电子静态照相机得到广泛使用。在电子静态照相机中，固态成像元件，例如CCD，接收来自被拍目标的光，并将该光转换成图像信号。所述图像信号可以记录在记录介质上，并且可以从记录介质上再现。大多数电子静态照相机都具有能显示被拍静态图片的监视器。所以，记录的任何一幅静态图片都能被选择并显示。在电子静态照相机中，提供给监视器的图像信号与被拍目标的一个图像相对应。

近几年，已经提出一种压缩和合成多个视频信号、由此生成一个一帧视频信号的技术(例如参见公开号为10-108163的日本专利申请)。也提出了一种集中监视/记录系统，其中从多个监视视频照相机中收集视频信号并将其记录在诸如录像带等记录介质上，由此完成监视和监控(例如参见公开号为2000-243062的日本专利申请)。

发明内容

在具体情况下，需要从显示屏上提取重要目标并对该目标执行复杂的操作。在如上所述的这样一种集中监视/记录系统中，可以提取整个显示屏以便检测显示屏上的目标。在这种情况中，可以真正检索到检测目标的帧，但是不会对所述重要目标执行任何具体的操作。而且，不能确定出一个帧中的目标是否与另一个帧中的目标一样。为了对随着时间变化的目标执行操作，必须将再现运动图片的过程停止一段时间。

考虑到相关技术的问题，希望能通过使用缩略图来简化对运动图片中那种随着时间变化的目标的操作，由此防止在捕获重要目标时出现的问题。

通过下面给出的实施例的详细描述，本发明的其他目标和优点将变得更清楚。

根据本发明，一种用于处理图像的装置，包括：运动体检测装置，用于从输入的运动图片信息中检测目标并检查目标的身份，由此确定所述目标是否包含在两个或多个连续帧内；缩略图显示装置，用于基于由所述运动体检测装置检测到的目标信息来显示在预定时间段内已经出现的任何目标，作为从代表帧中提取的缩略图；操作输入装置，用于接收当选择了由所述缩略图显示装置显示的一个缩略图时做出的输入操作；以及运动图片显示装置，用于显示包含与所述操作输入装置接收的输入操作相关的被选缩略图识别出的目标的运动图片。

根据本发明，所述处理图像的装置例如还包括记录装置，用于在记录介质上记录输入的运动图片信息和运动体检测装置检测到的目标信息。

根据本发明，所述处理图像的装置还包括用于拍摄宽区域的宽区域拍摄装置以及用于跟踪目标并提供所述目标的放大图像的目标跟踪和拍摄装置，其中所述运动体检测装置由从宽区域拍摄装置获得的表示宽区域图像的运动图片信息中检测目标，并且所述运动图片显示装置显示通过利用目标跟踪和拍摄装置来跟踪由运动体检测装置检测到的目标并放大目标图像而获得的运动图片。

根据本发明，一种处理再现图像的装置，包括：信息再现装置，用于从记录介质中再现运动图片信息和目标信息，所述目标信息已经通过从所述运动图片信息中检测目标和检查目标的身份而获得，由此确定出所述目标是否包含在两个或多个连续帧内，并表示要作为从代表帧中提取的缩略图被显示的、在预定时间段内已经出现的任何目标；以及信息检索装置，用于根据从所述记录介质中再现的目标信息来从指定时间段内存在的缩略图列表中检索作为缩略图的任何目标。

根据本发明，一种处理图像的方法，包括以下步骤：从输入的运动图片信息中检测目标并检查所述目标的身份，由此确定出所述目标是否包含在两个或多个连续帧内；根据已经检测到的目标信息来显示在预定时间段内已经出现的任何目标，作为从代表帧中提取的缩略图；接收当选择被显示的缩略图中的一个时做出的输入操作；以及显示包含与接收的输入操作相关的被选缩略图识别出的目标的运动图片。

根据本发明，在所述处理图像的方法中，所述输入的运动图片信息和检测到的目标信息都记录在记录介质中。

根据本发明，一种处理再现图像的方法，包括以下步骤：从记录介质中再现运动图片信息和目标信息，所述目标信息已经通过从所述运动图片信息中检测目标和检查所述目标的身份而获得，由此确定出所述目标是否包含在两个或多个连续帧内，并代表要作为从代表帧中提取的缩略图被显示的、在预定时间段内已经出现的任何目标；以及根据从所述记录介质中再现的所述目标信息从在指定时间段内存在的缩略图列表中检索作为缩略图的任何目标。

在本发明中，检查每个帧中检测目标的是为了显示目标的缩略图并利用从代表帧中提取的缩略图。这意味着处理随时间变化的目标更容易了。

在通过在显示目标缩略图的过程中检查目标的身份来识别运动图片的每个帧中的任何目标的系统中，预定时间段内出现的每个目标都作为从代表帧中提取的缩略图进行显示。使用这种缩略图，可以指定目标并对所述目标执行操作。这加强了系统的可操作性。例如，可以指定屏幕上高速移动的汽车图像并通过全景(pan)/倾斜照相机来跟踪。在这种情况下，通过操作鼠标或类似装置来指定汽车图像是很困难的，但是指定汽车的缩略图相对容易一些，所述缩略图显示在缩略图显示区域内，然后在菜单中发布一个跟踪命令。

如上所述，指定时间段内记录的运动图片中的目标是以缩略图列表的形式进行显示的。如果从列表中选择了重要目标的缩略图并回放运动图片，就可以很容易地检索到目标出现的场景。由于可以识别出任何目标，所以可以跳过一些运动图片帧，直接到达所述目标消失后又再次出现的场景。

附图说明

图1是表示根据本发明的集中监视/记录系统的配置的框图；

图2是表示在集中监视/记录系统中提供的客户端的功能配置的框图；

图3是表示客户端中包含的结果显示模块的主要组成部分的框图；

图4是示意性地表示客户端显示屏上显示的内容图。

具体实施方式

下面将参照附图来详细说明本发明的一个实施例。本发明并不局限于下面所述的实施例。在不脱离本发明的范围和精神的情况下，当然可以作出各种变化。

本发明适用于图1所示的集中监视/记录系统100。

集中监视/记录系统100包括传感器照相机10、变焦照相机20、客户端30和网络40。传感器照相机10能够扫描宽区域以便拍摄被监视区域中存在的任何目标。变焦照相机20跟踪目标以便以放大图像的形式来监视和拍摄目标。客户端30远程控制照相机10和20。网络40连接照相机10和20以及客户端30。客户端30具有远程控制每个照相机的方向(全景/倾斜)、变焦倍数和拍摄的功能。

如图2所示，客户端30包括传感器图像获取模块31、运动体检测模块32、跟踪目标图像获取模块34、图像数据库单元35、结果显示模块38等。传感器图像获取模块31用传感器照相机10作为扫描宽区域和检测在被监视区域中活动的任何目标的传感器。运动体检测模块32从传感器图像获取模块31获得的图像中提取运动目标的位置和尺寸。跟踪目标图像获取模块34确定各种控制参数，例如从观察角度的位置看的全景、倾斜和变焦、目标的移动速度、尺寸等，所述目标也就是运动目标检测模块32检测到的运动目标。图像数据库单元35存储传感器照相机10和变焦照相机20获得的拍摄结果数据。结果显示模块38将传感器照相机10和变焦照相机20获得的拍摄结果以及从图像数据库单元35中读取的任何图像数据发送给客户端30。客户端30显示图像数据所表示的图像和拍摄结果。

如图3所示，结果显示模块38包括全景图像显示单元81、运动图片显示单元82、缩略图显示单元83和检索单元84。如图4所示，全景图像显示单元81在客户端30的显示屏50的全景显示区域51内显示传感器照相机10拍摄的监视区域的全景图像。运动图片显示单元82在客户端30的显示屏50的运动图片显示区域52内显示变焦照相机20拍摄的包含感兴趣的目标图像的运动图片。缩略图显示单元83在客户端30的显示屏50的缩略图显示区域53内显示运动体检测模块32监视、检测到的目标，并以预定的时间间隔更新与目标有关的数据。检索单元84在客户端30的显示屏50的检索显示区域54内显示检索条件和检索按钮。

如果运动图片显示单元82正在运动图片显示区域52内显示目标，当用户操作鼠标，把光标移动到缩略图显示区域53内显示的缩略图53A、53B中的一个上时，缩略图显示单元83就以高亮显示目标。所述缩略图显示单元83在缩略图显示区域53内显示的目标是由刚才的更新时间间隔内检测到的数据来表示的。所以，在缩略图显示区域53内可以不显示目标。在这种情况下，不执行任何特定的操作。

当在检索显示区域54内指定了检索时间段并点击了区域54内显示的检索按钮时，检索单元84就执行数据检索。在指定的检索时间段内，目标的缩略图被检索。缩略图显示单元83在缩略图显示区域53内显示该时间段内检索的缩略图列表。用户利用鼠标将光标移动到缩略图显示区域53内显示的缩略图53A、53B...中的一个上，从所述列表上选择需要的缩略图。然后，从图像数据库单元35中再现包含目标并在图片中出现目标时开始的运动图片。运动图片显示单元82在运动图片显示区域52内显示该运动图片。

在集中监视/记录系统100中，运动体检测模块32从在由传感器照相机10执行的实时拍摄中或在运动图片文件的回放中产生的运动图片流的每个帧中检测目标。模块32检查目标的身份，由此确定所述目标是否包含在两个或多个连续帧中。将与运动体检测模块32检测到的目标相关的信息提供给运动图片显示单元82和缩略图显示单元83。将提供给运动体检测模块32的运动图片流提供给全景图像显示单元81和运动图片显示单元82。

缩略图显示单元83在客户端30的显示屏50的缩略图显示区域53内显示运动体检测模块32检测到的目标，同时以预定的时间间隔更新与所述目标有关的数据。而且，缩略图显示单元83向运动图片显示单元82提供消息。所述消息提示用户指定当在缩略图显示区域53内选择其时应该将其高亮显示的目标。

缩略图显示单元83对于每个帧从由运动体检测模块32发送来的与所述目标相关的信息项中选择合适的目标信息。这个选择是在预定更新时间段内进行的。在更新时间段结束时，就显示所选目标信息中包含的缩略图。当使用鼠标等选择缩略图时，将与该缩略图有关的目标信息作为消息发送给运动图片显示单元82。

如果运动图片显示单元82接收到缩略图显示单元83发送的消息，它就实时地、以高亮显示指定目标的形式来显示运动图片流。随消息一起接收到的目标的位置、尺寸等与显示的帧内的目标可以是不一样的。即使在这种情况下，可以从最新的目标信息中获取相应的信息，由此以合适的高亮形式来显示目标。

在该集中监视/记录系统100中，运动体检测模块32从由传感器照相机10发送的运动图片信息中检测目标，并检查每个帧内的检测目标的身份。从而确定所述目标是一个包含在两个或多个连续帧内的目标。然后，缩略图显示单元83根据运动体检测模块32检测到的目标信息来显示预定时间段内出现的每个目标，作为从代表帧中提取的缩略图。变焦照相机20跟踪要监视的目标(所述目标已经被运动体检测模块32检测到)获取放大目标的运动图片。运动图片显示单元82显示这样获取的运动图片。缩略图显示单元83接收当用户选择显示的缩略图时做出的输入。根据这个输入，运动图片显示单元82显示包含由被选缩略图识别的目标的运动图片。

因此，检查每个帧中检测的目标的身份，由此确定出所述目标是否包含在集中监视/记录系统100中两个或多个连续的帧内。在该系统中，预定时间段内出现的每个目标都作为从代表帧内提取的缩略图来进行显示，并且通过使用缩略图来识别目标、并对目标进行操作。这加强了系统的可操作性。例如，尽管当全景/倾斜照相机跟踪的汽车在屏幕上高速移动时，在屏幕上操作鼠标等装置来指定汽车是比较困难的，但是指定一个汽车的缩略图、并在菜单中选择跟踪命令相对容易一些。

在集中监视/记录系统100中，图像数据库单元35不仅存储传感器照相机10和变焦照相机20获得的运动图片信息，还存储运动体检测模块32检测到的目标信息。

而且，在集中监视/记录系统100中，运动图片信息与存储在图像数据库单元35中的目标信息一起进行再现。根据再现的目标信息，指定时间段内存在的所有目标都以缩略图列表的形式进行显示。由此任何目标都从该缩略图列表中进行检索。

也就是说，当检索单元84指定检索时间段并向图像数据库单元35给出检索命令时，缩略图显示单元83就在缩略图显示区域53内显示缩略图列表。当在缩略图显示区域53内指定了缩略图时，缩略图显示单元83就向图像数据库单元35发出一个再现该目标的命令。图像数据库单元35在目标出现的那个时刻开始再现所述目标。单元35将这样再现的目标发送给运动图片显示单元82。运动图片显示单元82显示该目标。

所述缩略图显示单元83不需要是那种以规则间隔进行更新的类型。相反它可以是存储和显示任何过去出现的目标的类型。在这种情况下，在缩略图显示单元83中指定的任何目标经过的时间越长，该目标在运动图片显示单元82中显示的机会就越小。尽管如此，各个块几乎还是以与上述相同的方式相互作用。

为了再现这样被记录的运动图片，将在任何指定时间段内存在的目标作为缩略图列表进行显示。可以指定列表中的一个缩略图。然后，可以很容易地检索到出现该感光趣的目标的场景。由于可以识别出所述目标，所以跳过一些运动图片帧、直接到达所述目标在消失后又再次出现的场景是很容易的。

本领域技术人员要理解的是，在附加的权利要求或其等效方案的范围内，可以根据设计需要和其它因素做出各种修改、组合、子组合和替换。

Claims (6)

1.一种用于处理图像的装置，包括：

宽区域拍摄装置，用于拍摄宽区域；

目标跟踪和拍摄装置，用于跟踪目标并提供所述目标的放大图像；

运动体检测装置，用于从所述宽区域拍摄装置获得的表示宽区域图像的运动图片信息中检测目标并检查目标的身份，由此确定所述目标是否包含在两个或多个连续帧内；

缩略图显示装置，用于基于由所述运动体检测装置检测到的目标信息来将在预定时间段内已经出现的任何目标显示作为从代表帧中提取的缩略图；

操作输入装置，用于接收当选择了由所述缩略图显示装置显示的一个缩略图时做出的输入操作；以及

运动图片显示装置，用于显示包含由与所述操作输入装置接收的输入操作相关的被选缩略图识别出的目标的运动图片，所述运动图片是通过利用所述目标跟踪和拍摄装置来跟踪由所述运动体检测装置检测到的目标并放大目标图像而获得的；

其中所述缩略图显示装置向所述运动图片显示装置提供消息，所述消息提示用户指定当在缩略图显示区域内选择其时应该将其高亮显示的目标；并且

其中所述缩略图显示装置对于每个帧从由所述运动体检测模块发送来的与所述目标相关的信息项中选择目标信息，所述选择是在预定更新时间段内进行的，在更新时间段结束时显示所选目标信息中包含的缩略图；当选择缩略图时，将与该缩略图有关的目标信息作为消息发送给所述运动图片显示装置。

2.如权利要求1所述的处理图像的装置，还包括记录装置，该记录装置用于在记录介质上记录所述运动图片信息和由所述运动体检测装置检测到的所述目标信息。

3.一种处理再现图像的装置，包括：

信息再现装置，用于从记录介质中再现通过拍摄宽区域获得的表示宽区域图像的运动图片信息和目标信息，所述目标信息已经通过从所述运动图片信息中检测目标和检查目标的身份而获得，由此确定出所述目标是否包含在两个或多个连续帧内，并表示要作为从代表帧中提取的缩略图被显示的、在预定时间段内已经出现的任何目标，所述目标的运动图片是通过跟踪检测到的目标并放大目标图像而获得的；以及

信息检索装置，用于根据从所述记录介质中再现的目标信息来从指定时间段内存在的缩略图列表中检索作为缩略图的任何目标；

其中在所述信息再现装置中，由缩略图显示装置向运动图片显示装置提供消息，所述消息提示用户指定当在缩略图显示区域内选择其时应该将其高亮显示的目标；并且

其中所述缩略图显示装置对于每个帧从与所述目标相关的信息项中选择目标信息，所述选择是在预定更新时间段内进行的，在更新时间段结束时显示所选目标信息中包含的缩略图；当选择缩略图时，将与该缩略图有关的目标信息作为消息发送给所述运动图片显示装置。

4.一种处理图像的方法，包括以下步骤：

拍摄宽区域；

跟踪目标并提供所述目标的放大图像；

从通过拍摄宽区域获得的表示宽区域图像的运动图片信息中检测目标并检查所述目标的身份，由此确定出所述目标是否包含在两个或多个连续帧内；

根据已经检测到的目标信息来将在预定时间段内已经出现的任何目标显示作为从代表帧中提取的缩略图；

接收当选择被显示的缩略图中的一个时做出的输入操作；以及

通过一运动图片显示装置显示包含由与接收的输入操作相关的被选缩略图识别出的目标的运动图片，所述运动图片是通过跟踪检测到的目标并放大目标图像而获得的；

向所述运动图片显示装置提供消息，所述消息提示用户指定当在缩略图显示区域内选择其时应该将其高亮显示的目标；并且

其中对于每个帧从与所述目标相关的信息项中选择目标信息，所述选择是在预定更新时间段内进行的，在更新时间段结束时显示所选目标信息中包含的缩略图；当选择缩略图时，将与该缩略图有关的目标信息作为消息发送给所述运动图片显示装置。

5.如权利要求4所述的处理图像的方法，其中所述运动图片信息和检测到的目标信息都记录在记录介质中。

6.一种处理再现图像的方法，包括以下步骤：

从记录介质中再现通过拍摄宽区域获得的表示宽区域图像的运动图片信息和目标信息，所述目标信息已经通过从所述运动图片信息中检测目标和检查所述目标的身份而获得，由此确定出所述目标是否包含在两个或多个连续帧内，并代表要作为从代表帧中提取的缩略图被显示的、在预定时间段内已经出现的任何目标，所述目标的运动图片是通过跟踪检测到的目标并放大目标图像而获得的；以及

根据从所述记录介质中再现的所述目标信息从在指定时间段内存在的缩略图列表中检索作为缩略图的任何目标；

向一运动图片显示装置提供消息，所述消息提示用户指定当在缩略图显示区域内选择其时应该将其高亮显示的目标；并且

其中对于每个帧从与所述目标相关的信息项中选择目标信息，所述选择是在预定更新时间段内进行的，在更新时间段结束时显示所选目标信息中包含的缩略图；当选择缩略图时，将与该缩略图有关的目标信息作为消息发送给所述运动图片显示装置。

Images