CN110945867B - 监视装置、监视方法和存储介质 - Google Patents

Abstract

本发明提供监视装置、监视方法和存储介质。监视装置从监视相机(2)获取视频图像，并将基于视频图像的图像显示在显示器(3)上。监视装置(1)将从监视相机(2)获取的视频图像记录在记录单元(105)中。监视装置(1)包括：异常检测单元(106)，其被构造为从视频图像检测异常；关注时段确定单元(107)，其被构造为基于从检测到的异常的开始到结束的时段，确定关注时段；以及显示单元(102)，其被构造为将从监视相机(2)获取的视频图像按原样显示在显示器(3)上，直到检测到的异常结束为止，而当检测到的异常结束时，从记录单元(105)获取在与关注时段相对应的时段中记录的记录视频图像，并回放获取的记录视频图像。

Description

监视装置、监视方法和存储介质

技术领域

本发明涉及使用监视相机的监视装置及其方法。

背景技术

一些最近的远程监视系统具有如下功能：在由监视相机拍摄的视频图像中发生诸如异常或变化的事件时，自动切换显示视频图像的模式，从而防止观察者的疏忽。日本特开2012-14543号公报公开了一种监视装置，该监视装置被构造为循环显示由多个监视相机拍摄的图像。在该监视装置中，在从由某个相机拍摄的视频图像中检测到异常的情况下，则在显示由该相机拍摄的视频图像的下一个循环定时，回放在发生异常的时段中拍摄的记录视频图像。日本特开2008-54243号公报公开了一种监视装置，该监视装置被构造为，使得当从由多个监视相机中的一个监视相机拍摄的视频图像中检测到异常时，分配给各个监视相机的所有显示图像被切换到由检测到异常的监视相机拍摄的视频图像。当检测到的异常结束时，监视系统结束显示由检测到异常的监视相机拍摄的图像的模式。

发明内容

技术问题

在日本特开2012-14543号公报所公开的监视装置中，在异常持续了比显示的循环切换的周期更长的时段的情况下，即使实际的异常仍在继续，显示图像也被切换为记录图像。这可能会使观察者难以正确掌握当前状况。在日本特开2008-54243号公报所公开的监视装置中，在视频图像上异常图像在非常短的时间内结束的情况下，显示模式在短时间内返回到正常模式，因此观察者可能忽略了异常的发生。

鉴于此，本发明的主要目的在于提供一种监视装置，其能够使观察者正确地识别异常。

针对问题的解决方案

根据本发明，一种监视装置包括：获取单元，其被构造为获取由摄像装置拍摄的视频图像；显示单元，其被构造为将基于视频图像的图像显示在显示装置上；记录单元，其被构造为记录视频图像；检测单元，其被构造为从视频图像检测异常；确定单元，其被构造为基于从由检测单元检测到的异常的开始到结束的时段，确定关注时段；以及控制单元，其被构造为控制显示单元，使得由获取单元获取的视频图像被显示单元按照视频图像原样进行显示，直到对异常的检测结束为止，而当对异常的检测结束时，从记录单元获取在关注时段中记录的记录视频图像并通过显示单元回放获取的记录视频图像。

本发明的有益效果

根据本发明，在对异常的检测结束之后显示在从异常的开始到结束的关注时段中记录的视频图像，从而使得观察者可以正确地识别异常。

附图说明

图1A是示出监视系统的构造的示例的图。

图1B是示出监视系统的构造的示例的图。

图2A是示出图像的图。

图2B是示出图像的图。

图3是示出监视处理的流程图。

图4是示出检测异常的方式的图。

图5是示出确定关注时段的开始时间和结束时间的处理的图。

图6是监视装置的功能框图。

图7是示出了记录视频图像和实时图像的布局的图。

图8是示出监视处理的流程图。

图9是示出确定布局的处理的流程图。

图10是示出确定布局的操作处理的图。

图11是示出确定关注时段的开始时间和结束时间的处理的图。

具体实施方式

下面参照附图详细描述实施例。

(第一实施例)

图1是示出包括根据第一实施例的监视装置的监视系统的构造的示例的图。图1A是示出监视系统的硬件构造的图，并且图1B是示出监视装置的功能块的图。监视系统包括监视装置1、一个或更多个监视相机(摄像装置)2、显示器(显示装置)3和操作装置4。一个或更多个监视相机2被布置在建筑物、场地等中的监视区域中，使得各个监视相机2在摄像区域中拍摄视频图像。显示器3基于由各个监视相机2拍摄的视频图像显示图像。操作装置4是监视装置1的用户界面。在第一实施例中，给出了对于存在一个监视相机2的情况的描述。然而，当设置多个监视相机时，也可以类似的方式进行处理。

监视装置1从监视相机2获取视频图像并将该视频图像显示在显示器3上。监视装置1经由操作装置4从用户接受指令。这样的监视装置1可以使用包括CPU(中央处理单元)10、ROM(只读存储器)11和RAM(随机存取存储器)12的计算机来实现。CPU 10从ROM 11读取计算机程序，并使用RAM 12作为工作区域执行该计算机程序，从而控制整个监视系统的操作。CPU 10、ROM 11和RAM 12经由总线B发送和接收数据。存储器13、输入接口(I/F)14、输入/输出接口(I/F)15和输出接口(I/F)16连接到总线B。存储器13是大容量存储装置，并且记录经由监视相机2获取的视频图像。输入I/F 14从操作装置4接受指令等，并将其传输至CPU 10。输入/输出I/F 15连接到监视相机2，并在CPU 10的控制下控制监视相机2的操作，并获取通过监视相机2拍摄的视频图像。输出I/F 16连接到显示器3，并在CPU 10的控制下在显示器3上显示图像。

监视装置1具有用作控制单元100、摄像单元101、显示单元102、显示信息管理单元103、操作接受单元104、记录单元105、异常检测单元106和关注时段确定单元107的功能块。这些功能块可以通过由CPU 10执行计算机程序来实现。注意，这些功能块的至少一部分可以通过硬件来实现。

控制单元100控制各个功能块的操作。摄像单元101控制监视相机2的图像感测设备、成像透镜、驱动电机的操作等，以在摄像区域(监视区域)内拍摄图像。摄像单元101获取由监视相机2拍摄的视频图像。显示单元102控制显示器3以基于由摄像单元101从监视相机2获取的视频图像来显示图像。显示信息管理单元103在显示单元102的控制下生成要在显示器3上显示的图像。显示信息管理单元103通过将布局和信息叠置在经由摄像单元101从监视相机2获取的视频图像上来生成图像。

操作接受单元104接受观察者经由操作装置4发出的指令等。操作装置4包括开关、触摸面板等。当观察者对操作装置4进行操作时，与观察者所进行的操作相对应的指令等被输入到操作接受单元104。操作接受单元104将所接受的指令等发送给控制单元100。控制单元100从操作接受单元104接收指令等，并且根据该指令等进行处理。注意，操作装置4可以包括诸如鼠标或轨迹球的指示设备。

记录单元105将经由摄像单元101从监视相机2获取的视频图像与诸如成像时间和成像条件的元数据一起，依次地记录在存储器13中。根据本实施例的存储器13是诸如硬盘或SSD(固态驱动器)的存储介质，其能够被直接附装到监视装置1。存储器13也可以通过诸如NAS(附网存储)或SAN(存储区域网络)的在网络上的存储装置来实现。

异常检测单元106从经由摄像单元101从监视相机2获取的视频图像检测人体或运动物体的异常及其发生位置。关注时段确定单元107基于异常检测单元106的异常检测结果，来确定基于从检测到的异常的开始时间到结束时间的时段的关注时段。

图2是示出在显示器3上显示的图像的图。图2A所示的图像201和202是显示信息管理单元103基于由摄像单元101从监视相机2获取的视频图像而生成的图像。图2B示出了检测到异常时的时间线205。

图像201表示正常状态206和208(即，异常检测单元106未检测到异常的状态)下的图像。注意，图像201与由摄像单元101从监视相机2获取的原始图像相同。

图像202是在异常检测单元106检测到异常的异常状态207下的图像。在图像202中，异常发生区域203和警告指示204被叠置在由摄像单元101从监视相机2获取的视频图像上。当异常检测单元106检测到异常状态207时，显示信息管理单元103通过将异常发生区域203和警告指示204叠置在由摄像单元101从监视相机2获取的视频图像上，来生成图像202。关注时段确定单元107基于由异常检测单元106检测到的异常的开始时间和结束时间来确定关注时段。

注意，异常检测单元106总是检测指示各个人物在视频图像中的位置的人物框。当异常检测单元106检测到异常状态时，显示信息管理单元103在视频图像上叠置基于始终被检测的人物框的、人物沿着其移动的轨迹211和212。

下面描述检测到异常的时间附近的时间线。在时间t1以前，异常检测单元106没有检测到异常。因此，显示单元102在显示器3上实时显示由摄像单元101从监视相机2获取的视频图像，使得视频图像按原样显示。在下文中，将从监视相机2获取并实时显示的图像表示为实时视频图像209。

当异常检测单元106在时间t1检测到异常时，关注时段确定单元107开始测量关注时段。显示单元102继续显示实时视频图像209。显示实时视频图像209使得观察者可以在显示器3上视觉上识别当前发生的异常的状态。

当在时间t2由异常检测单元106检测到的异常结束时，关注时段确定单元107结束对关注时段的测量。关注时段确定单元107从记录在记录单元105中的视频图像获取具有与关注时段相对应的长度的记录视频图像210，并且显示单元102在显示器3上回放记录视频图像210。在时间t2之后，显示单元102反复回放在关注时段中记录的记录视频图像210。这使得即使在实时视频图像209没有指示异常的情况下，观察者也可以通过观看记录视频图像210来检查异常状态。由于在异常结束之后回放记录视频图像，因此记录视频图像的回放不会在实时发生异常时干扰观察者的观看。

图3是示出由监视系统进行的监视处理的流程图。当监视系统在运行时，始终反复进行此处理。当监视系统关闭时，此处理结束。在监视系统正在运行的同时，监视装置1使用摄像单元101从监视相机2不断地获取视频图像。控制单元100将经由摄像单元101从监视相机2获取的视频图像记录在记录单元105中。

当监视系统正在运行时，控制单元100控制显示信息管理单元103以经由显示单元102在显示器3上实时显示由摄像单元101从监视相机2获取的视频图像(S301)。在没有发生异常的正常状态下，将监视相机2拍摄的视频图像直接按原样显示在显示器3上。控制单元100通过分析正在实时显示的视频图像来控制异常检测单元106检测异常的发生(S302)。

图4是示出由异常检测单元106检测异常的方式的示图。异常检测单元106总是检测指示作为视频图像中的特定被摄体的人物或运动物体的位置的人物框401和402，并且通过确定人物框401和402中的各个的异常程度，来检测异常。表410举例说明与人物框401和402相关联的信息记录。

在视频图像中，人物框401和402由矩形表示。异常检测单元106针对各个人物检测视频图像中的各个人物框401和402的宽度、高度和中心坐标。注意，异常检测单元106可以检测指示各个人物框的其他参数，只要这些参数唯一地表示视频图像中的人物框401和402的矩形即可。例如，可以使用左上角或右下角的坐标来代替中心坐标，并且可以使用两个对角点(例如左上角和右下角)的坐标来代替宽度和高度。可以由多边形、椭圆、样条闭合曲线等代替矩形来表示人物框401和402。人物框401和402分别带有指示头部位置的矩形403和404。异常检测单元106使用矩形403和404检测人物框401和402中的头部位置。

异常检测部106使用公知的方法导出人物框401和402各自的异常程度。例如，异常程度可以通过“V.Saligrama,et al.Video Anomaly Detection Based on LocalStatistical Aggregates,CVPR2012”中描述的k最近邻方法来导出。异常检测单元106通过诸如基于k最近邻方法将邻域距离乘以适当系数的技术来导出异常程度。异常程度例如是指示异常程度的数值，使得该数值越高，异常的可能性越高。当异常程度高于预定阈值时，异常检测单元106确定检测到异常。另外，异常检测单元106估计异常的类型并确定估计的异常类型。

异常检测单元106基于多个人物框401和402以及矩形403和404之间的信息和位置关系来检测异常的发生。在图4所示的示例中，异常检测单元106确定出在框405中发生了被分类为暴力的异常。为了确定异常，可以使用已知的方法。例如，可以使用在“Loy,S.Gong,et al.Detecting and discriminating behavioral anomalies,PatternRecognition2011”中描述的DBN。DBN代表动态贝叶斯网络。异常检测单元106将异常检测结果与视频图像相关联地依次记录在记录单元105中。

控制单元100基于异常检测单元106进行的异常检测的结果，来控制关注时段确定单元107确定关注时段的开始时间(S303)。在确定不是关注时段的开始时间的情况下(S303：否)，关注时段确定单元107不开始测量关注时段。在这种情况下，控制单元100返回到S301中的处理。在确定出是关注时段的开始时间的情况下(S303：是)，关注时段确定单元107开始测量关注时段。稍后将描述关注时段的开始时间的确定处理的细节。

当开始关注时段的测量时，控制单元100控制显示信息管理单元103生成在检测异常的时段中的图像，并且控制单元100控制显示单元102在显示器3上显示所生成的图像(S304)。显示信息管理单元103生成在检测到异常时显示的图像，使得表示由异常检测单元106检测到的异常的信息被叠置在由摄像单元101从监视相机2获取的实时视频图像上。在显示检测到的异常的图像之后，控制单元100控制异常检测单元106以与S302中的处理类似的方式进行异常发生确定处理(S305)。

控制单元100基于异常检测单元106在S305中进行的异常检测的结果来控制关注时段确定单元107确定关注时段的结束时间(S306)。在确定不是关注时段的结束时间的情况下(S306：否)，关注时段确定单元107继续测量关注时段。在这种情况下，控制单元100返回到S304的处理，并且控制显示器3显示异常发生模式下的图像。显示信息管理单元103生成异常发生模式下的图像，使得表示异常检测单元106在S302和S305的处理中检测到的异常的信息被叠置在由摄像单元101从监视相机2获取的实时视频图像上。

另一方面，在确定出是关注时段的结束时间的情况下(S306：是)，关注时段确定单元107结束关注时段的测量。

图5是示出由关注时段确定单元107进行的用于确定关注时段的开始时间和结束时间的处理的图。注意，关注时段确定单元107进行的处理不限于以下描述的处理。例如，关注时段的开始时间可以简单地由异常检测结果指示发生异常时的时间给出，并且关注时段的结束时间可以简单地由异常检测结果指示没有发生异常时的时间给出。

在异常检测单元106在时间t1检测到异常的情况下，关注时段确定单元107将关注时段的开始时间设置为时间t1之前的时间t1'。时间t1与时间t1'之间的时间差501被设置为余量，该余量使得观察者能够也检查异常前后的状况。当发生异常时，即，在时间t1，摄像单元101获取视频图像512。即，异常检测单元106从视频图像512检测到异常的发生。关注时段确定单元107跟踪回溯在由异常检测单元106检测异常时使用的在视频图像512中的人物框，以检测监视相机2在视频图像511中第一次拍摄到异常中涉及的人物的时间。关注时段确定单元107采用该检测到的时间作为时间t1'。即，尽管在从时间t1'到时间t1的时段中未检测到异常本身，但是关注时段确定单元107也将该时段并入关注时段，作为与紧接着的异常有关的视频图像。作为跟踪人物框的方法，可以使用已知的运动物体跟踪方法。

只要异常检测单元106连续检测到在时间t1开始的异常，关注时段确定单元107就确定关注时段仍在继续。注意，在异常检测被中断了小于阈值T的短时段的情况下，如在时段502中，关注时段确定单元107忽略该中断并且确定仍连续检测到异常。

当在时间t2异常中断持续的时段达到比阈值T更长的值时，控制单元100开始在显示单元102上回放在从时间t1'开始的关注时段中记录的记录视频图像210。然而，关注时段确定单元107设置关注时段的结束时间t2'，使得结束时间t2'从时间t2延迟了时间差503。设置时间差503引起从视频图像513前进到视频图像514的状况。关注时段的结束时间t2'是与异常检测单元106检测到的异常有关的人物框从视频图像(如在视频图像513中显示的人物框不再被显示的视频图像514)消失的时间。

通过以上述方式确定关注时段，观察者不仅可以检测到其中检测到异常的时段中的异常，还可以检测到异常中涉及的人物连续存在于监视相机2拍摄的视频图像中的时段中的一系列异常。根据人物框的移动，时间差501或503可能会太长。为了解决这个问题，关注时段确定单元107可以确定关注时段，使得当与时间差相对应的时段超过预定长度(例如，10秒、或从时间t1到时间t2的异常持续时间的五分之一)时，停止对人物框的跟踪，并确定关注时段的开始时间t1'和结束时间t2'。

在通过上述处理确定关注时段之后，控制单元100控制显示信息管理单元103，使得经由显示单元102在显示器3上回放在检测到异常的关注时段中记录的记录视频图像(S307)。显示信息管理单元103从依次记录在记录单元105中的视频图像提取在关注时段中记录的视频图像，并且回放提取的视频图像。注意，在回放完成之后，显示单元102反复进行在关注时段中记录的同一记录视频图像的回放。

控制单元100以与S302中的处理类似的方式，控制异常检测单元106检测异常的发生(S308)。控制单元100基于异常检测单元106进行的在S308中的异常检测的结果，控制关注时段确定单元107确定关注时段的开始时间(S309)。

在确定不是关注时段的开始时间的情况下(S309：否)，即，在没有发生新的异常的情况下，关注时段确定单元107不测量关注时段。在不测量关注时段的情况下，控制单元100确定是否经由操作接受单元104从操作装置4输入了结束记录视频图像的回放的指令(S310)。在未输入回放结束指令的情况下(S310：否)，控制单元100返回到S307中的处理，并反复回放在关注时段中记录的记录视频图像。在输入了回放结束指令的情况下(S310：是)，控制单元100返回到S301中的处理，并且开始显示实时视频图像。观察者可以通过操作操作装置4的按钮，进行触摸面板操作，进行语音输入操作，进行手势输入操作或进行眼睛控制的输入操作，来发出回放结束指令。可以响应于监视装置1检测到观察者从显示器3离开或观察者进入监视相机2的摄像区域而输入回放结束指令。

在确定出是关注时段的开始时间的情况下(S309：是)，关注时段确定单元107确定出发生了新的异常，并且开始测量关注时段。关注时段确定单元107基于在记录视频图像的回放中使用的前一个关注时段和在S309的处理中确定的开始时间，来更新关注时段(S311)。

在新的关注时段的开始时间与前一个关注时段的结束时间之间的时间差小于预定时间(阈值T)(例如小于10秒)的情况下，关注时段确定单元107确定新的关注时段属于先前关注时段。即，关注时段确定单元107采用前一个关注时段的开始时间作为新的关注时段的开始时间。在更新关注时段之后，控制单元100返回到S304的处理。

在新的关注时段的开始时间与前一个关注时段的结束时间之间的时间差等于或大于预定值(阈值T)(例如为10秒以上)的情况下，关注时段确定单元107确定新的关注时段已经开始。即，关注时段确定单元107将在S309的处理中确定的开始时间设置为与新的异常有关的新的关注时段的开始时间。在更新关注时段之后，控制单元100返回到S304中的处理。

作为通过关注时段确定单元107以上述方式进行处理的结果，当在短时间内依次发生异常时，这些异常被视为一系列相关的异常，并且从该一系列相关的异常的开始起的记录视频图像被提供给观察者。

如上所述，监视系统实现了以上参照图2描述的操作，从而使得可以降低在发生异常时观察者忽略异常的发生的可能性，而不会在发生异常的情况下在观察者掌握当前状况时引起任何问题。因此，当发生异常时，监视装置1适当地确定关注时段并且反复回放记录视频图像，从而使得观察者可以正确地识别出异常的发生。

(第二实施例)

在根据第一实施例的监视系统中，当回放在关注时段中记录的记录视频图像时，实时视频图像被记录视频图像代替。然而，当观察者正在进行监视时，观察者可能会将实时视频图像与过去发生异常时记录的记录视频图像进行比较。在根据第二实施例的监视系统中，在关注时段中记录的记录视频图像和实时视频图像均同时显示在显示器3上。根据第二实施例的监视系统的硬件构造与根据第一实施例的监视系统的硬件构造相同，因此省略其描述。

图6是根据第二实施例的监视装置的功能框图。除了图1B所示的监视装置1的功能块之外，监视装置5还具有布局确定单元1108的功能。省略与已经描述的功能相同的功能的描述。布局确定单元1108确定在关注时段中记录的记录视频图像和实时视频图像被显示信息管理单元103显示在显示器3上的布局。显示信息管理单元103生成记录视频图像和实时视频图像根据布局确定单元1108的确定而组合的图像，并经由显示单元102将所得图像显示在显示器3上。

图7是示出记录视频图像和实时视频图像的布局的图。图像601至604是记录视频图像和实时视频图像根据布局确定单元1108做出的确定而被组合的布局的示例。布局确定单元1108确定实时视频图像和记录视频图像中的一者作为背景视频图像，并将另一个确定为要在小窗口中显示的视频图像。

图像601是在关注时段的结束时间的图像，并且对应于图2中在时间t2时的图像。在图像601中，在关注时段中记录的记录视频图像以叠置在实时视频图像上的方式被显示在小窗口611中。观察者可以通过观看实时视频图像来检查异常结束之后的地点的当前状态，同时通过观看图像601中的小窗口611来检查就在当前之前发生的异常的状态。以上描述的显示方法对于在诸如智能电话或平板设备的小画面上同时显示在关注时段中记录的记录视频图像和实时视频图像是有用的。由于实时视频图像的一部分隐藏在小窗口611的后侧，因此控制小窗口611在实时视频图像上的显示位置，以使得不会难以检查已经发生的异常。

图像602是在实时视频图像中发生新异常621的图像，在该实时视频图像上叠置了在关注时段中记录的记录视频图像。将用于显示在关注时段中记录的记录视频图像的小窗口622移动到不隐藏实时视频图像中的异常621的发生位置的位置。即使小窗口622移动到不隐藏如图像602所示发生的异常621的位置，如果发生新的异常，或者异常621的发生位置改变，或者小窗口622也被观察者或出于其他原因被移动，则异常发生的位置有可能隐藏在小窗口622的后侧。图像603是在响应于发生异常631而移动小窗口632之后发生另一个新异常633的图像。小窗口632被叠置在实时视频图像上，但是小窗口632的一部分隐藏在发生异常633的区域的后侧。

图像604是发生许多异常的图像。当在整个图像上检测到大量异常时，如果不可避免地使一些异常隐藏在小窗口后侧，则将选择异常程度尽可能小的异常作为隐藏在小窗口641后侧的发生位置642处的异常。

在图像601至604中的布局的各个示例中，在同一显示器3的显示画面中显示小窗口和背景图像，使得在关注时段中记录的记录视频图像显示在小窗口中，并且叠置在显示实时视频图像的背景上。然而，布局不限于这些示例。可以提供多个显示器，并且可以在不同的显示画面上分开显示实时视频图像和小窗口。例如，可以与诸如智能电话的移动设备的显示画面协作显示小窗口。

图8是示出根据第二实施例的监视系统的监视处理的流程图。与根据图3所示的第一实施例的监视处理中的步骤相同的步骤由相同的步骤编号表示。省略相同处理的描述。

在关注时段确定单元107确定出是关注时段的结束时间并结束关注时段的测量的情况下(S306：是)，或者在没有经由操作装置4输入结束记录视频图像的回放的指令的情况下(S310：否)，控制单元100确定图像布局。由显示信息管理单元103和布局确定单元1108确定要在显示器3上显示的图像的布局。控制单元100根据确定的布局控制显示单元102在显示器3上同时显示在关注时段中记录的记录视频图像和实时视频图像(S702)。显示记录视频图像和实时视频图像之后的处理与图3中的S308之后的处理以相同的方式执行。

图9是示出S701中的图像布局确定处理的流程图。

控制单元100确定操作接受单元104是否已经接受了观察者经由操作装置4确定布局的操作(S800)。观察者可以使用操作装置4的触摸面板来确定小窗口的位置和大小，并且可以使用拨动开关来选择在关注时段中记录的记录视频图像和实时视频图像中的哪一个将显示在小窗口中。当接受用于确定布局的操作时(S800：是)，控制单元100维持先前的布局，以通过显示信息管理单元103以观察者期望的布局显示图像(S810)。在未接受用于确定布局的操作的情况下(S800：否)，控制单元100进行到自动确定布局的处理。注意，同样在关注时段的测量结束之后第一次进行布局确定处理的情况下，控制单元100进行到自动确定布局的处理。稍后将描述观察者进行的布局确定操作的细节。

在自动确定布局的情况下，控制单元100使用显示信息管理单元103比较在关注时段中记录的记录视频图像的当前回放位置处的异常程度与由监视相机2实时拍摄的视频图像的异常程度(S801)。显示信息管理单元103针对各个视频图像计算关于由异常检测单元106检测到的异常的信息的总和并进行比较。在关注时段中记录的记录视频图像的异常程度高于实时视频图像的异常程度的情况下(S801：是)，布局确定单元1108确定在关注时段中记录的记录视频图像将被显示在小窗口中，并且实时视频图像将被显示在背景上(S802)。在实时视频图像的异常程度高于在关注时段中记录的记录视频图像的异常程度的情况下(S801：否)，布局确定单元1108确定在关注时段中记录的记录视频图像将被显示在背景上，并且实时视频图像将被显示在小窗口中(S803)。即，异常程度较高的视频图像显示在前景的小窗口中，从而使其更易于注意观看。然而，本发明不限于此，而是可以以其他方式确定小窗口中的显示。例如，在关注时段中记录的记录视频图像可以总是显示在小窗口中，或者可以通过观察者的操作来切换在小窗口中显示的图像。

布局确定单元1108确定小窗口的大小(S804)。在该处理中，缩小在小窗口中显示的视频图像，使得异常程度最高的视频图像被显示的小窗口的短边具有预定的长度，例如50个像素。注意，对小窗口的大小施加限制，使得高度和宽度的上限是背景图像的高度和宽度的一半，而下限是四分之一。注意，小窗口的大小的确定不限于上述示例，而是可以以其他方式确定大小。

显示信息管理单元103导出在不隐藏由异常检测单元106在背景视频图像中检测到的异常的情况下使得能够显示小窗口的位置(S805)。在导出使得能够显示小窗口的位置时，在前一个小窗口的位置没有隐藏在背景视频图像中检测到的异常的情况下，显示信息管理单元103采用该位置。然而，在前一个小窗口的位置隐藏了在背景视频图像中检测到的异常的情况下，采用与在背景视频图像中检测到的所有异常的平均距离具有最大值的位置，作为使得能够显示小窗口的位置。

在显示信息管理单元103不能导出使得能够显示小窗口的任何位置的情况下(S806：否)，控制单元100控制显示信息管理单元103丢弃在背景视频图像中检测到的异常程度最低的异常(S807)。此后，显示信息管理单元103再次导出使得能够显示小窗口的位置(S805)。控制单元100在丢弃在背景视频图像中检测到的异常程度最低的异常的同时，反复进行S805至S807的处理，从而获取使得能够显示小窗口的位置。

在显示信息管理单元103成功地导出使得能够显示小窗口的位置的情况下(S806：是)，控制单元100从显示信息管理单元103所导出的使得能够显示小窗口的位置中选择位置，使得选择最接近小窗口先前位置的位置。在仅有一个容许位置的情况下，显示信息管理单元103选择该位置。特别地，在小窗口的先前位置没有隐藏在背景视频图像中检测到的任何异常的情况下，显示信息管理单元103按原样选择先前位置。在这种情况下，可以防止小窗口移动太大，移动太大可能导致视觉识别的问题。控制单元100控制显示信息管理单元103去除小窗口的与在背景视频图像中检测到的异常区域交叠的部分，使得在背景视频图像中检测到的异常区域不被隐藏在小窗口的后侧(S820)。

如上所述，显示信息管理单元103和布局确定单元1108确定小窗口的显示位置，使得小窗口不干扰背景视频图像。

图10是示出在S800中观察者使用操作装置4进行的布局确定操作处理的图。观察者可以从如下几方面来确定布局：小窗口的位置、小窗口的大小、以及在关注时段中记录的记录视频图像和实时视频图像中的哪一个将显示在小窗口中。根据观察者给出的指令维护特定的布局。

小窗口的位置可以由观察者通过以下方式来确定：当在显示器3上显示图像901时，用手指912在操作装置4的触摸面板上拖动小窗口911并将其移动到图像902中的小窗口913的位置。当进行上述处理时，如果过去检测到的异常与小窗口的位置交叠，则显示信息管理单元103显示警告图像914，从而警告观察者。

小窗口的大小由观察者通过在操作装置4的触摸面板上缩进(pinch in)或扩大(pinch out)小窗口来确定。当图像903显示在显示器3上时，如果观察者在小窗口915上进行缩进916，则在小窗口915中显示在关注时段中记录的记录视频图像的情况下，显示信息管理单元103确定在小窗口915中的视频图像中是否检测到异常。在检测到异常的情况下，显示信息管理单元103如在图像904中那样，在检测到异常的位置周围，对小窗口中的视频图像进行修剪。在未检测到异常的情况下，显示信息管理单元103如在图像905中那样，缩小小窗口的总大小并且显示小窗口。

当图像906显示在显示器3上时，如果观察者对小窗口917进行扩大918，则在关注时段中记录的记录视频图像显示在小窗口917中的情况下，显示器信息管理单元103确定在小窗口917中的视频图像中是否检测到异常。当检测到异常时，显示信息管理单元103如在图像907中那样，将小窗口的总大小放大并显示小窗口。当未检测到异常时，显示信息管理单元103如在图像908中那样，放大异常的中心周围的修剪区域。即，显示信息管理单元103基于在小窗口915和917中显示的视频图像中的异常的检测结果，来改变用于改变小窗口915和917的大小的操作。

例如，当在小窗口中显示包括被检测到的异常的记录视频图像时，假设观察者想特别检查异常，则采用如上所述的图像布局来强调检测到的异常。例如，通过观察者对操作装置4的拨动开关进行操作，可以切换是在关注时段中记录的记录视频图像还是实时视频图像被显示在小窗口中。拨动开关可以是触摸面板上的物理开关或虚拟开关。

如上所述，监视系统能够在显示器3上同时显示在关注时段中记录的记录视频图像和实时视频图像，以将这些图像显示给观察者。因此，当发生异常时，监视系统可以降低观察者忽略异常发生的可能性，而不会在发生异常的情况下在掌握当前状态时引起任何问题。因此，在监视装置5中，确保了观察者能够在异常发生时认识到异常的发生。

(第三实施例)

根据第三实施例，监视系统包括多个监视相机2。监视装置1在从多个监视相机2获取的视频图像之中切换显示在其上的视频图像的同时，在显示器3上显示视频图像。除了设置有多个监视相机2以外，监视系统的整体构造与图1A相同。多个监视相机2经由诸如LAN(局域网)的网络可通信地连接至监视装置1。

监视装置1的摄像单元101同时从多个监视相机2中的一些或全部获取视频图像。异常检测单元106检测从多个监视相机2获取的各个视频图像的异常。关注时段确定单元107基于从由各监视相机2提供的多个视频图像获取的异常检测结果的组合，来确定关注时段。

图11是示出关注时段确定单元107确定关注时段的开始时间和结束时间的处理的图。图11示出了在由两个监视相机(相机A和相机B)拍摄的视频图像中连续发生异常的情况。

在时间t1之前，异常检测单元106在从相机A和相机B获取的视频图像中没有检测到异常，因此异常检测单元106确定它们分别处于正常状态1001和1002。当异常检测单元106在时间t1从相机A获取的视频图像检测到异常1003时，关注时段确定单元107确定关注时段的开始。关注时段确定单元107如图5中那样将时间差501设置为余量，并且将时间t1'确定为关注时段的开始时间。

在异常1003被中断的情况下，如果中断时段长于阈值T，则关注时段确定单元107确定关注时段结束。然而，在比小于阈值T的阈值T2(T2<T)更短的时段内，在由相机B拍摄的视频图像中检测到异常1004的情况下，关注时段确定单元107确定关注时段仍在继续。在这种情况下，关注时段确定单元107存储在由相机B拍摄的视频图像中发生异常1004的时间t3。此后，关注时段确定单元107通过评估异常1004的中断，来确定整个关注时段的结束。在由相机B拍摄的视频图像中的异常1004中，在时间t2发生中断持续了比阈值T更长的时段的情况下，关注时段确定单元107确定关注时段结束。在这种情况下，如在图5中所示的情况下，确定结束时间t2'，使得添加时间差503作为余量。

显示单元102在时间t3之前在显示器3上实时显示从相机A获取的视频图像1011，并且从时间t3到时间t2实时显示从相机B获取的视频图像1012。在时间t2之后，显示单元102在显示器3上回放在关注时段中记录的记录视频图像1013。在关注时段中记录的记录视频图像1013包括针对从时间t1'至时间t3的时段从相机A获取的视频图像、以及针对从时间t3至时间t2'的时段从相加B获取的视频图像。记录视频图像1013从记录单元105读出并回放。

例如，监视装置1在时间t1'在分别从相机A和B获取的视频图像1021和1031中没有检测到异常。监视装置1在时间t从相机A获取的视频图像1022中检测到异常1003。“抢劫”被检测为图像1022中的异常。监视装置1从相机B获取的视频图像1032中没有检测到异常。

在时间t3由监视装置1从相机A获取的视频图像1023中，抢劫者向视频图像中的右手侧逃逸并从相机A的视角消失。异常检测单元106确定此时异常1003已被中断。然而，逃逸的抢劫者在时间t3出现在由监视装置1从相机B获取的视频图像1033中。异常检测单元106从相机B获取的视频图像1033检测到异常1004。监视装置1在时间t2从相机A和B获取的视频图像1024和1034中未检测到任何异常，因为抢劫者也已经从相机B的角度消失。基于从时间t1到时间t2连续发生的异常，关注时段确定单元107确定关注时段的开始时间和结束时间分别是时间t1'和t2'。

作为以上述方式确定关注时段的结果，回放的记录视频图像1013包括从由相机A拍摄的视频图像检测到的异常1003和从由相机B拍摄的视频图像中检测到的后续异常1004。因此，使得观察者能够检查一系列异常，而无需在由多个监视相机(相机A和相机B)拍摄的视频图像之间进行手动切换。

在上述示例中，在由相机A拍摄的视频图像中发生异常之后，在由相机B拍摄的视频图像中发生异常。然而，相机A和相机B的作用并不固定，而是可以交换。此外，在存在三个以上的监视相机的情况下，如果按照发生异常的顺序来分配相机A和相机B的作用，则可以应用上述方法。在由第三监视相机拍摄的图像中发生另一异常的情况下，可以通过以与上述类似的方式组合异常来确定关注时段。

可以根据基于图3和图8所示的流程图的流程来进行上述处理。由于使用了多个监视相机2，因此可以如下所述地修改处理。

在S301和S304中的处理中，显示信息管理单元103控制显示单元102在显示器3上实时显示由多个监视相机2拍摄的视频图像。在S301中的处理中，例如在显示信息管理单元103的控制下，显示单元102划分显示器3的显示画面，并在划分的画面区域中显示多个视频图像，或者显示视频图像，同时以规则的时间间隔循环切换视频图像。在S304中的处理中，在显示信息管理单元103的控制下，显示单元102显示检测到异常的视频图像和异常信息，使得该视频图像和异常信息被突出显示。例如，可以在不分割显示器3的画面的情况下在显示器3的完整画面区域上显示检测到异常的视频图像。

在S302、S305和S308中的处理中，异常检测单元106对从监视相机2获取的各个视频图像进行异常检测处理，并且针对各个视频图像输出异常检测结果。在S303、S306和S309的处理中，关注时段确定单元107根据以上参照图11描述的方法来确定关注时段的开始时间和结束时间。

如上所述，在监视系统中，当在由多个监视相机2拍摄的视频图像中依次出现异常时，确定在关注时段期间发生了一系列异常，并且在该关注时段中记录的视频图像被回放，从而使观察者可以正确识别异常。因此，当发生异常时，监视系统可以降低观察者忽略异常发生的可能性，而不会在发生异常的情况下在掌握当前状况时引起任何问题。因此，在监视装置1中，确保了观察者能够在异常发生时认识到异常的发生。

本发明还可以被实施为，使得用于实现上述实施例的一个或更多个功能的程序经由网络或存储介质被提供给系统或装置，并且通过该系统或装置的计算机中的一个或更多个处理器来读取并执行该程序。本发明还可以使用实现一个或更多个功能的电路(例如，ASIC)来实施。

本发明不限于上述实施例，并且在不脱离本发明的精神和范围的情况下可以进行各种改变和修改。因此，为了公开本发明的范围，附上以下权利要求。

本申请要求2017年5月9日提交的日本专利申请第2017-93337号的优先权，该申请的全部内容通过引用并入本文。

Claims (18)

1.一种监视装置，其包括：

获取单元，其被构造为获取由摄像装置拍摄的视频图像；

显示单元，其被构造为将基于视频图像的图像显示在显示装置上；

记录单元，其被构造为记录视频图像；

检测单元，其被构造为从视频图像检测异常；

确定单元，其被构造为基于从由检测单元检测到的异常的开始到结束的时段，确定关注时段；

控制单元，其被构造为控制显示单元，使得由获取单元获取的视频图像被显示单元按照视频图像原样进行显示，直到对异常的检测结束为止，而当对异常的检测结束时，从记录单元获取在关注时段中记录的记录视频图像并通过显示单元回放获取的记录视频图像；以及

决定单元，其被构造为决定要采用记录视频图像和从摄像装置获取的视频图像中的一者作为背景图像并采用另一者作为要在小窗口中显示的图像，并且基于在背景图像中检测异常的结果来决定小窗口的显示位置，其中，

控制单元控制显示装置以显示在背景图像上叠置了要在小窗口中显示的图像的图像。

2.根据权利要求1所述的监视装置，所述监视装置还包括：

操作接受单元，其被构造为接受结束对记录视频图像的回放的指令，

其中，显示单元反复进行对记录视频图像的回放，并且当操作接受单元接受结束回放的指令时，显示单元结束对记录视频图像的回放。

3.根据权利要求1或2所述的监视装置，其中，检测单元从视频图像检测特定被摄体，并基于所述特定被摄体在视频图像中的位置来检测异常。

4.根据权利要求3所述的监视装置，其中，检测单元检测人体或移动物体作为所述特定被摄体。

5.根据权利要求3所述的监视装置，其中，显示单元将所述特定被摄体的轨迹以被叠置在图像上的方式来显示。

6.根据权利要求3所述的监视装置，其中，确定单元基于异常中涉及的所述特定被摄体连续存在于视频图像中的时段，来确定关注时段。

7.根据权利要求1所述的监视装置，其中，在异常被中断比预定阈值更短的时间的情况下，在关注时段的确定中，确定单元认为异常仍在继续。

8.根据权利要求1所述的监视装置，其中，当检测单元检测到异常时，如果自检测到前一个异常的结束时间起经过的时间比预定阈值更短，则确定单元采用检测到的前一个异常的开始时间，作为新的关注时段的开始时间。

9.根据权利要求1所述的监视装置，其中，

决定单元决定要显示的视频图像的布局，

其中，控制单元控制由显示装置进行的显示，使得根据由决定单元决定的布局来叠置从摄像装置获取的视频图像和记录视频图像，并通过显示装置显示所得图像。

10.根据权利要求1所述的监视装置，其中，决定单元决定小窗口的显示位置，使得在背景视频图像中检测到的异常当中，异常的异常程度越高，异常被叠置在小窗口后侧的可能性越低。

11.根据权利要求1所述的监视装置，其中，当检测单元在背景图像中的与小窗口的显示位置相对应的位置处检测异常时，显示单元控制叠置，使得作为唯一例外，在小窗口中的、在视频图像中检测到异常的位置处的部分不被叠置。

12.根据权利要求1所述的监视装置，其中，

决定单元通过接受对小窗口的操作来决定要在小窗口中显示的图像，

并且决定以下中的至少一者：小窗口的位置；小窗口的大小；以及要在小窗口中显示记录视频图像还是由获取单元获取的视频图像。

13.根据权利要求12所述的监视装置，其中，显示单元根据对小窗口的操作，确定过去由检测单元检测到的异常是否包括在由决定单元决定的小窗口的位置处，并且如果异常包括在该位置处，则显示单元将警告图像显示在显示装置上。

14.根据权利要求12所述的监视装置，其中，对小窗口的操作是用于基于在要显示在小窗口中的视频图像中检测异常的结果，来改变小窗口的大小的操作。

15.根据权利要求1所述的监视装置，其中，

获取单元从多个摄像装置中的各个获取视频图像，

显示单元将多个视频图像中的部分或全部显示在显示装置上，

记录单元记录多个视频图像，

检测单元从多个视频图像中检测异常，并且

确定单元基于从多个视频图像检测异常的结果，来确定关注时段。

16.根据权利要求15所述的监视装置，其中，

当检测单元至少在多个视频图像中的一个中检测到异常时，确定单元开始测量关注时段，并且

显示单元从记录在记录单元中的包括检测到的异常的视频图像获取记录视频图像，并回放获取的记录视频图像。

17.一种由装置执行的监视方法，该装置被构造为获取由摄像装置拍摄的视频图像，并将基于视频图像的图像显示在显示装置上，所述监视方法包括：

将视频图像记录在记录单元中；

基于从视频图像检测到的异常的开始到异常的结束的时段，确定关注时段；

进行将从摄像装置获取的视频图像按照视频图像原样进行显示，直到检测到的异常结束为止，而当检测到的异常结束时，从记录单元获取在关注时段中记录的记录视频图像并回放获取的记录视频图像；以及

决定要采用记录视频图像和从摄像装置获取的视频图像中的一者作为背景图像并采用另一者作为要在小窗口中显示的图像，并且基于在背景图像中检测异常的结果决定小窗口的显示位置，其中，

控制显示装置以显示在背景图像上叠置了要在小窗口中显示的图像的图像。

18.一种计算机可读存储介质，其存储计算机程序，所述计算机程序被构造为控制计算机，所述计算机被构造为获取由摄像装置拍摄的视频图像，并将基于获取的视频图像的图像显示在显示装置上，所述计算机被控制以用作如下单元：

记录单元，其被构造为记录视频图像；

检测单元，其被构造为从视频图像检测异常；

确定单元，其被构造为基于从由检测单元检测到的异常的开始到结束的时段，确定关注时段；

控制单元，其被构造为控制显示装置，使得由获取单元获取的视频图像被显示装置按照视频图像原样进行显示，直到对异常的检测结束为止，而当对异常的检测结束时，从记录单元获取在关注时段中记录的记录视频图像并通过显示装置回放获取的记录视频图像；以及

决定单元，其被构造为决定要采用记录视频图像和从摄像装置获取的视频图像中的一者作为背景图像并采用另一者作为要在小窗口中显示的图像，并且基于在背景图像中检测异常的结果来决定小窗口的显示位置，其中，

控制单元控制显示装置以显示在背景图像上叠置了要在小窗口中显示的图像的图像。

Images