CN115428440A - 无人看管物体监视装置、配备有该装置的无人看管物体监视系统和无人看管物体监视方法 - Google Patents

无人看管物体监视装置、配备有该装置的无人看管物体监视系统和无人看管物体监视方法 Download PDF

Info

Publication number
CN115428440A
CN115428440A CN202180026915.8A CN202180026915A CN115428440A CN 115428440 A CN115428440 A CN 115428440A CN 202180026915 A CN202180026915 A CN 202180026915A CN 115428440 A CN115428440 A CN 115428440A
Authority
CN
China
Prior art keywords
unattended
alarm
detected
unattended object
area
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202180026915.8A
Other languages
English (en)
Inventor
渡边伟志
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Panasonic Intellectual Property Management Co Ltd
Original Assignee
Panasonic Intellectual Property Management Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Panasonic Intellectual Property Management Co Ltd filed Critical Panasonic Intellectual Property Management Co Ltd
Publication of CN115428440A publication Critical patent/CN115428440A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/52Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/20Analysis of motion
    • G06T7/254Analysis of motion involving subtraction of images
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/20Image preprocessing
    • G06V10/25Determination of region of interest [ROI] or a volume of interest [VOI]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/20Image preprocessing
    • G06V10/26Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/40Extraction of image or video features
    • G06V10/62Extraction of image or video features relating to a temporal dimension, e.g. time-based feature extraction; Pattern tracking
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/60Type of objects
    • GPHYSICS
    • G08SIGNALLING
    • G08BSIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B21/00Alarms responsive to a single specified undesired or abnormal condition and not otherwise provided for
    • GPHYSICS
    • G08SIGNALLING
    • G08BSIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B25/00Alarm systems in which the location of the alarm condition is signalled to a central station, e.g. fire or police telegraphic systems
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/18Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00Indexing scheme relating to image or video recognition or understanding
    • G06V2201/07Target detection

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Business, Economics & Management (AREA)
  • Emergency Management (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Signal Processing (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Alarm Systems (AREA)
  • Image Analysis (AREA)
  • Emergency Alarm Devices (AREA)

Abstract

使得可以将不需要警报的无人看管物体从警报对象中排除。[解决手段]无人看管物体监视装置(3)用于基于摄像装置拍摄到的监视区域的图像来检测遗留在监视区域中的无人看管物体,并在检测到无人看管物体时发出警报,该装置包括:处理器,用于进行无人看管物体的检测所用的处理,该处理器被配置为:从拍摄图像中检测出现在监视区域中的物体;在拍摄图像之间跟踪所检测到的各物体;基于针对所检测到的各物体的跟踪结果,将超过预定时间未移动的物体检测为无人看管物体;判断所检测到的无人看管物体是否存在于监视区域内所预设的掩模区域中;以及在判断为所检测到的无人看管物体存在于掩模区域中的情况下,将无人看管物体从警报对象中排除。

Description

无人看管物体监视装置、配备有该装置的无人看管物体监视 系统和无人看管物体监视方法
技术领域
本发明涉及一种无人看管物体监视装置、配备有该无人看管物体监视装置的无人看管物体监视系统以及无人看管物体监视方法,其用于基于摄像装置所拍摄到的监视区域的图像来检测遗留在监视区域中的无人看管物体,并且在检测到无人看管物体时发出警报。
背景技术
公众所使用的公共空间(诸如车站、机场、商业设施、购物区和地下购物区等)的监控的一方面旨在为了预防犯罪的目的而密切注视在这些空间中无人看管的可疑物体。通常,为了密切注视公共空间中的无人看管物体,观察者监视监控照相机(摄像装置)所拍摄到的监控区域的图像。对于这种监控系统,需要基于监控区域的图像来自动检测无人看管物体的技术,由此减轻观察者的负担并提高无人看管物体的检测准确度。
存在用于基于摄像装置所拍摄到的监控区域的图像来自动检测无人看管物体的各种已知技术(诸如专利文献1中公开的技术等)。专利文献1教导了一种图像监视系统,其被配置为:计算监视区域的初始拍摄到的背景图像与按预定时间间隔拍摄到的相同区域的各图像之间的差异,由此切出人类图像;将按预定时间间隔顺次获取到的人类图像彼此比较,由此检测可以从人类图像分离出的物体图像;当检测到这样的物体图像时,测量物体无人看管的无人看管时间;以及当无人看管时间大于预定时间段时,发出警报。
现有技术文献
专利文献
专利文献1:日本特开平1-245395
发明内容
发明要解决的问题
然而,专利文献1的系统针对任何检测到的无人看管物体,不论所检测到的无人看管物体的类型如何都发出警报。因此,该系统存在如下的问题:针对不需要警报的发出的无人看管物体(诸如地面上的商店标志(商店招牌)、闭店清洁标志、施工安全锥和信息板等)发出了警报。当针对不需要警报的发出的无人看管物体发出了警报时,观察者需要观察增加数量的无人看管物体,这导致观察者的负担增加。在监视区域中存在不需要警报的发出的大量无人看管物体的情况下、或者在监视区域大的情况下,该问题恶化。从这个角度,将不需要警报的发出的无人看管物体从警报的发出所针对的警报对象物体中排除将是有益的,因为这使得减轻了观察者的负担。
本发明是有鉴于现有技术的这种问题而提出的,并且本发明的主要目的是提供一种无人看管物体监视装置、配备有该无人看管物体监视装置的无人看管物体监视系统以及无人看管物体监视方法,其能够将不需要警报的发出的检测到的无人看管物体从警报的发出所针对的警报对象物体中排除。
用于解决问题的方案
本发明的一方面提供一种无人看管物体监视装置,用于基于摄像装置所拍摄到的监视区域的图像来检测遗留在所述监视区域中的无人看管物体,并且在检测到无人看管物体的情况下发出警报,所述无人看管物体监视装置包括:处理装置,用于进行检测无人看管物体所需的处理操作,其中,所述处理装置被配置为:从所述摄像装置所拍摄到的拍摄图像中检测出现在所述监视区域中的物体,并且在拍摄图像之间跟踪所检测到的各物体;基于针对所检测到的各物体的跟踪结果,将超过预定时间没有移动的物体检测为无人看管物体;判断所检测到的无人看管物体是否存在于所述监视区域内所预设的掩模区域中;以及在判断为所检测到的无人看管物体存在于所述掩模区域中的情况下,将所检测到的无人看管物体从警报的发出所针对的警报对象物体中排除。
发明的效果
根据本发明,可以将不需要警报的发出的无人看管物体从警报的发出所针对的警报对象物体中排除。结果,特别是在监视区域中存在不需要警报的发出的大量无人看管物体的情况下、或者在监视区域大的情况下,可以减轻观察者的负担。
附图说明
图1是示出根据本发明第一实施例的无人看管物体监视系统的示意结构的图;
图2是示出无人看管物体监视系统的无人看管物体监视装置的示意结构的框图;
图3是示出掩模区域(mask area)设置画面和无人看管物体类型设置画面的图;
图4是示出掩模区域设置画面和使用时间段设置画面的图;
图5是示出掩模区域信息的示例的图;
图6是示出由无人看管物体监视装置的警报对象判断部进行的判断操作的示例的图;
图7是示出由无人看管物体监视装置的警报对象判断部进行的判断操作的示例的图;
图8是示出由无人看管物体监视装置的警报对象判断部进行的判断操作的示例的图;
图9是示出通知图像的示例的图;
图10是示出由无人看管物体监视装置进行的操作的操作过程的流程图;
图11是示出根据本发明第二实施例的无人看管物体监视系统的示意结构的图;
图12是示出无人看管物体的代表位置的示例的图;以及
图13是示出改变掩模区域的几何形状的示例的图。
具体实施方式
为了实现上述目的而做出的本发明的第一方面是一种无人看管物体监视装置,用于基于摄像装置所拍摄到的监视区域的图像来检测遗留在所述监视区域中的无人看管物体,并且在检测到无人看管物体的情况下发出警报,所述无人看管物体监视装置包括:处理装置,用于进行检测无人看管物体所需的处理操作,其中,所述处理装置被配置为:从所述摄像装置所拍摄到的拍摄图像中检测出现在所述监视区域中的物体,并且在拍摄图像之间跟踪所检测到的各物体;基于针对所检测到的各物体的跟踪结果,将超过预定时间没有移动的物体检测为无人看管物体;判断所检测到的无人看管物体是否存在于所述监视区域内所预设的掩模区域中;以及在判断为所检测到的无人看管物体存在于所述掩模区域中的情况下,将所检测到的无人看管物体从警报的发出所针对的警报对象物体中排除。
在该配置中,可以将被判断为存在于监视区域中的预设掩模区域中的无人看管物体从警报的发出所针对的警报对象物体中排除。这减少了警报的发出所针对的警报对象物体的数量,由此使得能够减轻观察者的负担。
本发明的第二方面是第一方面的无人看管物体监视装置,其中,所述处理装置生成设置画面,所述设置画面使得用户能够在所述监视区域中设置所述掩模区域。
在该配置中,用户可以通过简单的操作来容易地设置掩模区域。
本发明的第三方面是第一方面的无人看管物体监视装置,其中,所述处理装置判断所检测到的无人看管物体的物体类型。
在该配置中,用户可以掌握检测到的无人看管物体的类型。
本发明的第四方面是第三方面的无人看管物体监视装置,其中,所述掩模区域是与物体类型相关联地设置的,以及其中,所述处理装置被配置为:在判断为所检测到的无人看管物体存在于所述掩模区域中的情况下,进一步判断该无人看管物体的物体类型是否是与所述掩模区域相关联的物体类型;以及仅在判断为无人看管物体的物体类型是与所述掩模区域相关联的物体类型的情况下,才将所检测到的无人看管物体从警报的发出所针对的警报对象物体中排除。
在该配置中,仅在被判断为存在于掩模区域中的无人看管物体的物体类型是与掩模区域相关联的物体类型的情况下,才可以将该无人看管物体从警报的发出所针对的警报对象物体中排除。该配置可以将不需要警报的发出的类型的物体从警报的发出所针对的警报对象物体中排除,由此使得能够进一步减轻观察者的负担。
本发明的第五方面是第三方面或第四方面的无人看管物体监视装置,其中,所述处理装置生成将包围所述掩模区域的框图像叠加在所述拍摄图像上的图像,以及其中,所述处理装置根据与所述掩模区域相关联的物体类型来确定所述框图像的形式。
在该配置中,框图像可以是掩模区域的清晰视觉指示,这使得用户能够容易地掌握图像中的掩模区域的几何形状。另外,由于框图像的形式是根据无人看管物体的物体类型确定的,因此框图像也可以是与掩模区域相关联的无人看管物体的物体类型的清晰视觉指示。
本发明的第六方面是第四方面或第五方面的无人看管物体监视装置,其中,所述处理装置被配置为:检测无人看管物体的物体类型已被判断为与所述掩模区域相关联的物体类型的该无人看管物体的代表位置;存储所述代表位置的数据并持续预定时间段,以创建所述代表位置的统计数据;以及基于所述代表位置的统计数据来改变所述掩模区域的几何形状。
在该配置中,可以根据与掩模区域相关联的无人看管物体的实际位置来更准确地设置掩模区域的几何形状。
本发明的第七方面是第一方面至第六方面中任一方面的无人看管物体监视装置,其中,所述处理装置确定为所述掩模区域与使用时间段相关联,所述使用时间段是使用所述掩模区域的时间段,以及其中,所述处理装置仅针对具有当前有效的使用时间段的掩模区域来判断所检测到的无人看管物体是否存在于所述掩模区域中。
在该配置中,仅当实际使用与掩模区域相关联的无人看管物体时,才可以在操作中使用掩模区域。这减少了无人看管物体的检测之后的判断操作的数量,由此使得能够减轻进行判断操作的装置的负担。
本发明的第八方面是第一方面至第七方面中任一方面的无人看管物体监视装置,其中,所述处理装置检测所检测到的无人看管物体的代表位置,并且基于所检测到的代表位置来判断所检测到的无人看管物体是否存在于所述掩模区域中。
该配置使得能够基于检测到的无人看管物体的检测到的代表位置来更准确且更容易地判断检测到的无人看管物体是否存在于掩模区域中。
本发明的第九方面是第一方面至第八方面中任一方面的无人看管物体监视装置,其中,所述处理装置在所述掩模区域中检测到多个无人看管物体的情况下,对多个无人看管物体中的各无人看管物体进行后续的判断操作。
该配置可以确保即使在单个掩模区域中检测到两个或多于两个无人看管物体的情况下,该装置也可以针对各无人看管物体恰当地进行后续判断操作。
本发明的第十方面是一种无人看管物体监视系统,包括:根据第一方面至第九方面中任一方面的无人看管物体监视装置;摄像装置,用于拍摄监视区域的图像;以及通知装置,用于向用户通知从所述无人看管物体监视装置发出的警报。
本发明的第十一方面是一种无人看管物体监视方法,用于基于摄像装置所拍摄到的监视区域的图像来检测遗留在所述监视区域中的无人看管物体,并且在检测到无人看管物体的情况下发出警报,所述无人看管物体监视方法包括:获取所述摄像装置所拍摄到的所述监视区域的拍摄图像;从所述拍摄图像中检测出现在所述监视区域中的物体,并且在拍摄图像之间跟踪所检测到的各物体;基于针对所检测到的各物体的跟踪结果,将超过预定时间没有移动的物体检测为无人看管物体;判断所检测到的无人看管物体是否存在于所述监视区域内所预设的掩模区域中;以及在判断为所检测到的无人看管物体存在于所述掩模区域中的情况下,将所检测到的无人看管物体从警报的发出所针对的警报对象物体中排除。
以下将参考附图来说明本发明的实施例。
(第一实施例)
将参考图1至图10来说明根据本发明第一实施例的无人看管物体监视系统1。无人看管物体监视系统1被配置为基于摄像装置2所拍摄到的监视区域的图像来检测遗留在监视区域中的无人看管物体,并且在检测到这种无人看管物体的情况下发出警报。无人看管物体监视系统1可用于密切注视公众所使用的公共空间(诸如车站、机场、商业设施、购物区和地下购物区等)中无人看管的可疑物体。
以下将参考实施例来说明本发明,在这些实施例中,根据本发明的无人看管物体监视系统1用于密切注视公众所使用的公共空间(诸如车站、机场、商业设施、购物区和地下购物区等)中无人看管的可疑物体。在商业设施、购物区和地下购物区中,存在不需要警报的发出的许多无人看管物体,诸如地面上的商店标志(商店招牌)和闭店清洁标志等。因此,将不需要警报的发出的无人看管物体从警报的发出所针对的警报对象物体(以下简称为“(一个或多于一个)警报对象”)中排除可以减轻观察者的负担。
图1是示出根据本发明第一实施例的无人看管物体监视系统1的示意结构的图。如图1所示,无人看管物体监视系统1包括摄像装置2、无人看管物体监视装置3和显示装置4。显示装置用作用于向观察者通知警报的通知装置。无人看管物体监视装置3经由诸如LAN(局域网)等的有线或无线通信链路(例如,Wi-Fi(注册商标))连接到摄像装置2和显示装置4。无人看管物体监视装置3、摄像装置2和显示装置4之间的通信链路不限于特定形式,并且可用的通信链路的示例可以包括经由诸如因特网等的网络、或者形成装置之间的连接的通信线缆和通用接口(例如,USB接口)的组合等的通信链路。
摄像装置2是诸如CCD照相机等的通常使用的摄像装置,并且安装在诸如商业设施、购物区和地下购物区等的各种场所的墙、天花板、杆或其他部位中的任何部位上,使得摄像装置2按时间序列拍摄预定的监视对象区域(以下简称为“监视区域”)作为静止图像和/或运动图像。摄像装置2的形式、功能、布置、数量和其他特性不限于特定的形式、功能、布置、数量和其他特性;也就是说,摄像装置2可以具有任何特性和/或可以对摄像装置2进行各种修改,只要该装置可以按时间序列拍摄监视区域的图像即可。例如,摄像装置2可以是安装在墙或任何其他面上并且能够利用一个装置拍摄180度的全景照相机,或者是安装在天花板或任何其他面上并且能够利用一个装置拍摄360度的全向照相机。摄像装置2所拍摄到的监视区域的时间序列图像被提供到无人看管物体监视装置3。
显示装置4是安装在观察者密切注视无人看管物体的监视室或任何其他场所中的诸如监视器(显示器)等的通常使用的显示装置,并且被配置为显示从无人看管物体监视装置3提供的通知图像(参见图9)。后面将说明通知图像的细节。显示装置4的形式、功能、布置、数量和其他特性不限于特定的形式、功能、布置、数量和其他特性;也就是说,显示装置4可以具有任何特性和/或可以对显示装置4进行各种修改,只要该装置可以显示通知图像即可。例如,显示装置4可以是在观察者由于巡逻或其他原因离开监视室的情况下使用的观察者所携带的移动终端的显示画面。
无人看管物体监视装置3是具有已知结构的通常使用的计算机装置,并且被配置为基于摄像装置2所拍摄到的图像来检测遗留在监视区域中的无人看管物体,以生成针对所检测到的无人看管物体(如果有的话)的通知图像作为警报,并且将所生成的通知图像提供到显示装置4。直到检测到无人看管物体为止,无人看管物体监视装置3一直在图像获取装置13处接收拍摄图像,并将这些拍摄图像原样提供到显示装置4。
图2是示出无人看管物体监视装置3的示意结构的框图。无人看管物体监视装置3具有已知的硬件结构,并且包括:处理控制器101,用于基于预定的控制程序(例如,无人看管物体监视程序)全面地执行无人看管物体监视系统1中的处理操作;RAM 102,即,可以用作处理控制器101的工作区域的易失性存储器;ROM 103,即,用于存储处理控制器101可执行的控制程序以及其他数据的非易失性存储器;存储部104,用于存储无人看管物体监视装置3的操作所需的程序和数据;指示器装置105,其设置有用于向用户指示信息的监视器;输入接收器106,其包括供用户的输入操作用的诸如键盘或鼠标等的输入装置;以及通信装置107,其设置有被配置为经由网络进行通信的通信模块。
在图2所示的硬件结构中,无人看管物体监视装置3的各功能可以通过处理控制器101执行相应的控制程序来实现。无人看管物体监视装置3不限于计算机装置,并且可以是可提供与计算机装置相同的功能的任何其他数据处理装置(诸如服务器等)。在其他实施例中,无人看管物体监视装置的功能的至少一些部分代替由无人看管物体监视装置3实现,而是可以通过由其他已知硬件进行的(一个或多于一个)操作来实现。
返回参考图1,无人看管物体监视装置3包括掩模区域信息控制器11、掩模区域信息存储部12、图像获取装置13、图像处理装置14和通知图像生成器15。图像处理装置14包括物体跟踪器21、无人看管物体检测器22、物体类型判断部23和警报对象判断部24。上述各个功能单元由控制装置(未示出)控制。
掩模区域信息控制器11生成供输入与要在监视区域中预设的各掩模区域有关的信息(以下称为“掩模区域信息”)用的掩模区域信息设置画面,并且将所需信息提供到指示器装置105(参见图2)以显示掩模区域信息设置画面。无人看管物体监视装置3的用户可以操作输入装置(诸如键盘或鼠标等)以在掩模区域信息设置画面上输入各种信息,然后设置掩模区域信息。
各掩模区域的掩模区域信息包括掩模区域的名称、掩模区域的几何形状、以及与掩模区域相关联的无人看管物体的类型(以下称为“所指定无人看管物体”)。掩模区域的几何形状是指监视区域中的与掩模区域相对应的区域。在本实施例中,尽管掩模区域的几何形状被判断为具有矩形形状,但掩模区域的几何形状不限于矩形,并且可以是各种其他形状中的任何形状。
各掩模区域的掩模区域信息还包括指示掩模区域的几何形状的掩模区域框图像的形式、以及掩模区域的使用时间段。
在本实施例中,掩模区域框图像是包围掩模区域的矩形虚线图像,并且根据所指定无人看管物体的类型而用不同的颜色着色。掩模区域框图像不限于虚线图像,并且可以是采用其他形式中的任何形式的图像。例如,掩模区域框图像可以是实线图像。指示所指定无人看管物体的相应类型的掩模区域框图像的颜色不是必要特征,并且如果不需要,则可以省略该特征。
掩模区域的使用时间段是指示使用掩模区域的时间段(例如,时间带和星期几)的信息;也就是说,当使用时间段有效时,使用掩模区域。如上所述,掩模区域与所指定无人看管物体相关联地设置。因此,掩模区域可以与所指定无人看管物体并且进一步与其使用时间段相关联地设置。在这种情况下,仅当实际使用(放置)所指定无人看管物体时,才可以使用与所指定无人看管物体相对应的掩模区域。该配置可以减少由警报对象判断部24进行的(后面描述的)判断操作的数量,由此使得能够减轻进行判断操作的装置的负担。
例如,在所指定无人看管物体是商店招牌的情况下,商店招牌仅在相应商店的营业时间和营业日期间才使用,因此其掩模区域仅需要在实际使用商店招牌的时间带和星期几中使用。在其他情况下,在所指定无人看管物体是施工安全锥的情况下,施工安全锥仅在执行相应的施工作业时才使用,因此其掩模区域仅需要在实际使用施工安全锥的建筑时间段的时间带和星期几中使用。
此外,掩模区域信息除了包括上述信息记录之外,还可以包括各种其他类型的信息。例如,掩模区域信息还可以包括掩模区域的所指定无人看管物体的图像数据。
图3是示出由掩模区域信息控制器11生成的掩模区域信息设置画面31的示例的图。掩模区域信息设置画面31包括掩模区域设置画面32(左侧的画面部分)和所指定无人看管物体设置画面33(右侧的画面部分)。在所指定无人看管物体设置画面33的下方设置有画面切换按钮34,该画面切换按钮34用于将所指定无人看管物体设置画面33切换到后面描述的使用时间段设置画面36。
掩模区域设置画面32显示摄像装置2所拍摄到的监视区域的图像。在图3的示例中,掩模区域设置画面32显示购物区的预定监视区域的拍摄图像。
所指定无人看管物体设置画面33包括用于针对各掩模区域指定与该掩模区域相关联的所指定无人看管物体的复选框、以及与该所指定无人看管物体相对应的掩模区域框图像的颜色。在图3的示例中,所列出的所指定无人看管物体包括商店招牌、公告牌、闭店清洁标志和施工安全锥。所列出的掩模区域框图像的颜色包括用于商店招牌的红色、用于公告牌的蓝色、用于闭店清洁标志的黄色和用于施工安全锥的绿色。
在无人看管物体监视装置3的用户在掩模区域信息设置画面31中输入各种信息记录以设置掩模区域信息时,首先,用户需要点击所指定无人看管物体设置画面33中的复选框以选择所指定无人看管物体。在图3的示例中,选择了商店招牌。接着,用户使用鼠标或任何其他输入装置来指定掩模区域设置画面32中的期望区域,由此设置掩模区域的几何形状。
在所指定无人看管物体是商店招牌的情况下,商店招牌的位置可以每天改变。此外,即使在放置了商店招牌之后,商店招牌的位置也可能由于与过路人的碰撞或其他原因而改变。从这个角度,掩模区域的几何形状优选比预期放置商店招牌的区域更宽,使得即使商店招牌的位置改变,也可以使用掩模区域。
在图3的示例中,掩模区域A1设置在掩模区域设置画面32的右下侧。掩模区域A1由包围掩模区域的掩模区域框图像35指示。商店招牌被指定为掩模区域A1的所指定无人看管物体,并且红色与商店招牌相关联。因此,掩模区域框图像35被着色为红色。这样,在图3的示例中,掩模区域A1与商店招牌相关联地设置。
在图3的示例中,在设置了所指定无人看管物体之后,设置掩模区域的几何形状。然而,所指定无人看管物体以及掩模区域的几何形状的设置的顺序不限于该顺序。用户可以在设置掩模区域的所指定无人看管物体之前设置掩模区域的几何形状。在这种情况下,当设置掩模区域的几何形状时,掩模区域框图像35可以用黑色指示,然后当设置所指定无人看管物体时,掩模区域框图像35的颜色可以改变为与所指定无人看管物体相关联的颜色。
图4示出用于设置掩模区域的使用时间段的使用时间段设置画面36。如上所述,用户可以操作画面切换按钮34以将所指定无人看管物体设置画面33切换到使用时间段间设置画面36。
使用时间段设置画面36包括用于指定使用掩模区域的使用时间段的输入字段。在本实施例中,输入时间带和星期几以设置使用时间段。然而,使用时间段的单位不限于该示例,并且使用时间段可以以天、周、月或年为单位来设置。此外,用户可以指定开始日期和时间以及结束日期和时间,由此将使用时间段设置为这两者之间的连续时间段。在使用时间段周期性地有效(即,周期性使用时间段)的情况下,优选设置使用时间段,使得使用时间段在预定时间段内多次(每次均在相同的时间带或星期几)有效。
在图4的示例中,使用掩模区域(也就是说,掩模区域功能有效)的时间带被设置为“8:00到22:00”,并且不使用掩模区域(也就是说,掩模区域功能无效)的时间带被设置为“22:00到8:00”。选择该时间带是因为使用商店招牌的商店从8:00到22:00营业,并且在其他时间不使用商店招牌。在图4的示例中,使用掩模区域的星期几(掩模区域功能有效的星期几)被设置为“星期一至星期五”,并且不使用掩模区域的星期几(掩模区域功能无效的星期几)是“星期六和星期日”。选择星期几是因为使用该商店招牌的商店的营业日是从星期一到星期五,并且在星期六和星期日不使用商店招牌。
由掩模区域信息控制器11设置的掩模区域信息被存储在掩模区域信息存储部12中。在本实施例中,掩模区域的几何形状是由在掩模区域设置画面32上指示的掩模区域框图像的矩形框的左上坐标和右下坐标限定的。
图5是示出掩模区域信息存储部12中所存储的掩模区域信息的示例的图。如图5所示,掩模区域信息针对各掩模区域包括“掩模区域名称”(掩模区域的名称)、“所指定无人看管物体”(掩模区域的所指定无人看管物体)、“框图像的坐标”(掩模区域框图像的坐标)、“框图像的颜色”(掩模区域框图像的颜色)和“使用时间段”(掩模区域的使用时间段)。在图5的示例中,“掩模区域名称”中的掩模区域A1的信息与如下的信息记录相关联,这些信息记录包括所指定无人看管物体“商店招牌”、框图像的坐标“(x800,y300),(x900,y200)”、框坐标颜色“红色”、使用时间段“时间带:8:00至22:00,星期几:星期一至星期五”。
图像获取装置13连接到摄像装置2,并且被配置为获取摄像装置2所拍摄到的监视区域的图像。图像获取装置13还连接到图像处理装置14和通知图像生成器15,并且被配置为将从摄像装置2获取到的拍摄图像输入到图像处理装置14和通知图像生成器15。
图像处理装置14从图像获取装置13获取拍摄图像。在拍摄图像是按预定时间间隔拍摄到的静止图像的情况下,图像处理装置14获取到这些图像作为静止图像数据。在拍摄图像是运动图像的情况下,图像处理装置14获取到这些图像作为按预定时间间隔从运动图像提取的一组静止图像数据(图像帧数据)。由图像处理装置14从图像获取装置13获取到的拍摄图像(静止图像数据)经过由物体跟踪器21、无人看管物体检测器22、物体类型判断部23和警报对象判断部24进行的处理操作。
物体跟踪器21从拍摄图像中检测出现在监视区域中的(一个或多于一个)物体(以下称为“出现物体”),并且在检测到出现物体之后在连续的拍摄图像之间跟踪各检测到的出现物体。出现物体的示例包括纸袋、商店招牌、闭店清洁标志和包。物体跟踪器21通过将预先拍摄到的背景图像与所获取的拍摄图像进行比较,或者通过在按时间顺序的相邻对的拍摄图像之间进行比较,来检测出现物体。具体地,物体跟踪器21计算要比较的拍摄图像之间的像素值(例如,亮度值)的相差程度(差或相关值),然后提取所计算出的差超过预定阈值的像素。然后,物体跟踪器21将出现物体确定为通过将所提取的邻近像素一起分组到一个区域所形成的区域。当从拍摄图像中检测到一个或多于一个出现物体时,物体跟踪器21向各检测到的出现物体指派特有的ID,并且基于相应的ID在拍摄图像之间跟踪该出现物体。
无人看管物体检测器22基于由物体跟踪器21提供的针对各出现物体的跟踪结果来检测无人看管物体。具体地,无人看管物体检测器22针对由物体跟踪器21检测到的各出现物体,确定该出现物体在拍摄图像中的随时间经过的移动,将在预定时间内没有表现出任何移动的出现物体(也就是说,在预定时间内静止的出现物体)检测为无人看管物体。当检测到无人看管物体时,无人看管物体检测器22向各检测到的无人看管物体指派特有的ID,并且基于相应的ID在连续拍摄图像之间跟踪该无人看管物体。此外,在检测到无人看管物体的情况下,无人看管物体检测器22将检测结果输入到通知图像生成器15。
物体类型判断部23判断由无人看管物体检测器22检测到的无人看管物体的类型(物体类型)。物体类型判断部23可以通过使用诸如使用深度学习技术的分类器等的已知图像识别技术来判断无人看管物体的物体类型。例如,物体类型判断部23优选使用如下的分类器,该分类器被配置为基于从拍摄图像检测到的无人看管物体的形状特征和纹理特征来识别无人看管物体的物体类型。在这种情况下,物体类型判断部23使用包含与无人看管物体的各类型相对应的无人看管物体的形状特征和纹理特征的数据库,其中该数据库是预先准备的。物体类型判断部23所采用的用于识别无人看管物体的物体类型的方法不限于上述方法,并且可以是已知适当方法中的任何方法。物体类型判断部23将所判断出的无人看管物体的物体类型提供到通知图像生成器15。
警报对象判断部24判断由无人看管物体检测器22检测到的无人看管物体是否是警报对象,即,需要警报的发出的物体。在无人看管物体检测器22检测到多个无人看管物体的情况下,警报对象判断部24对各无人看管物体(即,以各物体为单位)进行判断所用的操作(警报对象判断操作)。
警报对象判断部24通过参考掩模区域信息存储部12中所存储的掩模区域信息来进行警报对象判断操作。如上所述,掩模区域信息针对各掩模区域包括掩模区域的几何形状(掩模区域框图像的坐标)和掩模区域的(一个或多于一个)所指定无人看管物体。在警报对象判断操作中,警报对象判断部24仅使用具有当前有效的使用时间段的掩模区域。在监视区域中存在多个掩模区域的情况下,警报对象判断部24对各掩模区域进行警报对象判断操作。
具体地,警报对象判断部24首先通过使用诸如已知图像分析技术等的已知适当技术来判断由无人看管物体检测器22检测到的无人看管物体是否存在于掩模区域中。在判断为检测到的无人看管物体不存在于掩模区域中的情况下,警报对象判断部24判断为无人看管物体是警报对象。
在判断为检测到的无人看管物体存在于掩模区域中的情况下,警报对象判断部24进一步判断无人看管物体是否是掩模区域的所指定无人看管物体。在判断为无人看管物体的物体类型是所指定无人看管物体的情况下,警报对象判断部24判断为无人看管物体是不需要警报的发出的无人看管物体(以下称为“非警报对象”)。在判断为无人看管物体的物体类型不是掩模区域的所指定无人看管物体的情况下,警报对象判断部24判断为无人看管物体是警报对象。
换句话说,警报对象判断部24仅将存在于掩模区域中并且也是所指定无人看管物体的(一个或多于一个)无人看管物体判断为非警报对象,否则将无人看管物体判断为警报对象。
图6是示出由警报对象判断部24进行的警报对象判断操作的示例的图。在图6的(a)所示的示例中,在监视区域的右下侧预设了掩模区域A1,并且掩模区域A1的所指定无人看管物体是商店招牌。由于商店招牌与红色相关联,因此掩模区域框图像35被着色为红色。
此外,如图6的(b)所示,在监视区域中检测到纸袋41和商店招牌42。在这种情况下,警报对象判断部24判断纸袋41和商店招牌42是否存在于掩模区域A1中。如上所述,对各无人看管物体进行警报对象判断操作。在图6的(b)的示例中,警报对象判断部24判断为纸袋41不存在于掩模区域A1中、并且商店招牌42存在于掩模区域A1中。因此,警报对象判断部24将纸袋41判断为警报对象。
接着,警报对象判断部24进一步判断掩模区域A1中的商店招牌42是否是掩模区域A1的所指定无人看管物体。由于掩模区域A1的所指定无人看管物体是商店招牌,因此警报对象判断部24判断为商店招牌42是所指定无人看管物体。因此,警报对象判断部24判断为商店招牌42是非警报对象(参见图6的(c))。
这样,警报对象判断部24仅将存在于掩模区域中并且也是所指定无人看管物体的(一个或多于一个)无人看管物体判断为非警报对象,否则将无人看管物体判断为警报对象。
在一些情况下,无人看管物体检测器22在一个掩模区域中检测到两个或多于两个无人看管物体。图7是示出这些情况下的警报对象判断操作的示例的图。如图7的(a)所示,在监视区域的中央下侧预设了掩模区域A2。掩模区域A2的所指定无人看管物体是闭店清洁标志。由于闭店清洁标志与黄色相关联,因此掩模区域框图像35被着色为黄色。
此外,如图7的(b)所示,在监视区域中检测到闭店清洁标志43和包44。在这种情况下,警报对象判断部24判断闭店清洁标志43和包44各自是否存在于掩模区域A2中。如上所述,对各无人看管物体进行警报对象判断操作。在图7的(b)的示例中,警报对象判断部24判断为闭店清洁标志43和包44各自存在于掩模区域A2中。
接着,警报对象判断部24进一步判断掩模区域A2中的闭店清洁标志43和包44各自是否是掩模区域A2的所指定无人看管物体。由于掩模区域a2的所指定无人看管物体是闭店清洁标志,因此警报对象判断部24判断为闭店清洁标志43是所指定无人看管物体。因此,警报对象判断部24判断为闭店清洁标志43是非警报对象。警报对象判断部24判断为包44不是所指定无人看管物体。因此,警报对象判断部24判断为包44是警报对象(参见图7的(c))。
这样,即使在一个掩模区域中存在两个或多于两个无人看管物体的情况下,警报对象判断部24也对各无人看管物体进行警报对象判断操作,并且判断无人看管物体是警报对象还是非警报对象。
在一些情况下,无人看管物体检测器22在一个掩模区域中检测到以重叠方式出现的两个或多于两个无人看管物体。由于两个或多于两个无人看管物体同时出现是很少见的,因此警报对象判断部24按两个无人看管物体的出现顺序进行与无人看管物体是否是所指定无人看管物体以及无人看管物体是警报对象还是非警报对象有关的判断。在这种情况下,与图7的示例一样,对各无人看管物体进行判断操作。首先,如图8的(a)所示,在监视区域的右下侧预设了掩模区域A1,并且掩模区域A1的所指定无人看管物体是商店招牌。由于商店招牌与红色相关联,因此掩模区域框图像35被着色为红色。
此外,如图8的(b)所示,在监视区域中检测到商店招牌42和包44。在这种情况下,警报对象判断部24判断商店招牌42和包44各自是否存在于掩模区域A1中。如上所述,对各无人看管物体进行警报对象判断操作。在图8的(b)的示例中,警报对象判断部24判断为商店招牌42和包44各自存在于掩模区域A1中。
接着,警报对象判断部24进一步判断掩模区域A1中的商店招牌42和包44各自是否是掩模区域A1的所指定无人看管物体。由于掩模区域A1的所指定无人看管物体是商店招牌,因此警报对象判断部24判断为商店招牌42是所指定无人看管物体。因此,警报对象判断部24判断为商店招牌42是非警报对象。警报对象判断部24判断为包44不是所指定无人看管物体。警报对象判断部24判断为包44是警报对象(参见图8的(c))。
如上所述,由于无人看管物体检测器22区别地检测无人看管物体并且向各检测到的无人看管物体指派特有的ID,因此,即使在一个掩模区域中检测到两个或多于两个无人看管物体并且这些无人看管物体以重叠方式出现的情况下,也可以识别出各检测到的无人看管物体。因此,即使在检测到两个或多于两个无人看管物体并且这些无人看管物体以重叠方式出现的情况下,警报对象判断部24也可以对各无人看管物体进行与无人看管物体是否是所指定无人看管物体以及无人看管物体是警报对象还是非警报对象有关的判断。
警报对象判断部24将判断结果提供到通知图像生成器15。
通知图像生成器15基于来自警报对象判断部24的判断结果来生成作为针对警报对象的警报的通知图像。将非警报对象从警报的发出所针对的警报对象物体中排除。具体地,通知图像生成器15生成用于发出警报的通知图像,作为叠加在从图像获取装置13提供的拍摄图像上的包围警报对象的警报框图像、物体类型的指示和指示掩模区域的掩模区域框图像。叠加在通知图像上的掩模区域框图像不是必需的。通知图像生成器15可以被配置为使得用户能够选择示出或隐藏叠加在通知图像上的掩模区域框图像。
警报框图像51优选被形成为具有诸如红色或黄色等的明显颜色。在一些情况下,可以使警报框图像51闪烁,以及/或者可以与警报框图像相邻地显示字符或图片以增强警报。在本实施例中,使用指示物体类型的字符来向用户通知无人看管物体的类型。无人看管物体的类型的指示形式不限于这些字符,并且可以是其他形式的指示,诸如指示物体类型的图片或符号等。
图9的(a)至(c)是示出由通知图像生成器15生成的通知图像的示例的图。
图9的(a)是示出与图6所示的警报对象判断操作相对应的示例的图。在图9的(a)的示例中,检测到纸袋41和商店招牌42作为无人看管物体,并且纸袋41被判断为警报对象,而商店招牌42被判断为非警报对象。因此,通知图像生成器15生成通知图像P1作为叠加在拍摄图像上的包围作为警报对象的纸袋41的通知框图像51。在图9的(a)的示例中,由于纸袋41是要通知的无人看管物体,因此在拍摄图像上进一步叠加字符52“纸袋”作为指示物体类型的信息。另外,在图9的(a)的示例中,在拍摄图像上进一步叠加示出掩模区域A1的掩模区域框图像35。由于商店招牌与红色相关联,因此掩模区域框图像35被着色为红色。
图9的(b)是示出与图7所示的警报对象判断操作相对应的示例的图。在图9的(b)的示例中,检测到闭店清洁标志43和包44作为无人看管物体,并且闭店清洁标志43被判断为非警报对象,而包44被判断为警报对象。因此,通知图像生成器15生成通知图像P2作为叠加在拍摄图像上的包围作为警报对象的包44的通知框图像51。在图9的(b)的示例中,由于包44是要通知的无人看管物体,因此在拍摄图像上进一步叠加字符52“(包)”作为指示物体类型的信息。另外,在图9的(b)的示例中,在拍摄图像上进一步叠加示出掩模区域A2的掩模区域框图像35。由于闭店清洁标志与黄色相关联,因此掩模区域框图像35被着色为黄色。
图9的(c)是示出与图6所示的警报对象判断操作相对应的示例的图。在图9的(c)的示例中,检测到商店招牌42和包44作为无人看管物体,并且商店招牌42被判断为非警报对象,而包44被判断为警报对象。因此,通知图像生成器15生成通知图像P3作为叠加在拍摄图像上的包围作为警报对象的包44的通知框图像51。在图9的(c)的示例中,由于包44是要通知的无人看管物体,因此在拍摄图像上进一步叠加字符52“(包)”作为指示物体类型的信息。另外,在图9的(c)的示例中,在拍摄图像上进一步叠加示出掩模区域A1的掩模区域框图像35。由于商店招牌与红色相关联,因此掩模区域框图像35被着色为红色。
通知图像生成器15将所生成的通知图像提供到显示装置4。此外,通知图像生成器15从图像获取装置13获取拍摄图像,并将这些拍摄图像原样提供到显示装置4,直到无人看管物体检测器22检测到无人看管物体为止。
当在显示装置上显示通知图像时,通知图像生成器15可以被配置为通过使用显示装置的语音输出功能输出警报语音或者使用与显示装置关联的警报装置使警报灯闪烁来提供附加警报。该特征可以提供更强的警报以警告观察者。
接着,以下参考图10的流程图的说明书是关于由如图1所示的根据第一实施例的无人看管物体监视系统1的无人看管物体监视装置3进行的操作的操作过程。
首先,图像获取装置13获取摄像装置2所拍摄到的图像,并将这些拍摄图像提供到图像处理装置14和通知图像生成器15(步骤ST101)。随后,物体跟踪器21从拍摄图像中检测出现在监视区域中的出现物体(步骤ST102)。在检测到出现物体的情况下(步骤ST102中为“是”),处理进入步骤ST103。在没有检测到任何出现物体的情况下(步骤ST102中为“否”),处理返回到步骤ST101。
在步骤ST103中,在检测到出现物体之后,物体跟踪器21开始在拍摄图像之间跟踪各检测到的出现物体。在步骤ST104中,无人看管物体检测器22基于来自物体跟踪器21的针对各出现物体的跟踪结果,将在预定时间内没有表现出任何移动的出现物体检测为无人看管物体。在检测到无人看管物体的情况下(步骤ST104中为“是”),处理进入步骤ST105。在没有检测到无人看管物体的情况下(步骤ST104中为“否”),处理返回到步骤ST101。在返回到步骤ST101的情况下,在下一步骤ST102中,物体跟踪器21检测新的出现物体(也就是说,除已经检测到的(一个或多于一个)出现物体以外的出现物体)。
在步骤ST105中,物体类型判断部23判断由无人看管物体检测器22检测到的无人看管物体的物体类型。如上所述,物体类型判断部23对各无人看管物体进行该物体类型判断操作。这同样适用于在图像处理装置中进行的后续其他判断操作。
接着,在步骤ST106中,警报对象判断部24判断由无人看管物体检测器22检测到的无人看管物体是否存在于监视区域中的预设掩模区域中(参见图6的(b)、图7的(b)和图8的(b))。如上所述,警报对象判断部24仅使用其使用时间段有效的(一个或多于一个)掩模区域来进行警报对象判断操作。在监视区域中预设了两个或多于两个掩模区域的情况下,警报对象判断部24对各掩模区域进行警报对象判断操作。
在警报对象判断部24判断为由无人看管物体检测器22检测到的无人看管物体存在于掩模区域中的情况下(步骤ST106中为“是”),处理进入步骤ST107。在警报对象判断部24判断为检测到的无人看管物体不存在于掩模区域中的情况下(步骤ST106中为“否”),处理进入步骤ST109。
在步骤ST107中,警报对象判断部24进一步判断无人看管物体的物体类型是否是掩模区域的所指定无人看管物体(参见图6的(c)、图7的(c)和图8的(c))。在警报对象判断部24判断为无人看管物体的物体类型是掩模区域的所指定无人看管物体的情况下(步骤ST107中为“是”),处理进入步骤ST108。在警报对象判断部24判断为无人看管物体的物体类型不是掩模区域的所指定无人看管物体的情况下(步骤ST107中为“否”),处理进入步骤ST109。
在步骤ST108中,警报对象判断部24判断为无人看管物体是非警报对象,然后结束警报对象判断操作。
在步骤ST109中,警报对象判断部24判断为无人看管物体是警报对象,然后结束警报对象判断操作。
如上所述,根据第一实施例,可以将被判断为存在于监视区域中预设的掩模区域中的无人看管物体从警报的发出所针对的警报对象物体中排除。这减少了警报的发出所针对的警报对象物体的数量,由此使得能够减轻观察者的负担。此外,根据第一实施例,仅在被判断为存在于掩模区域中的无人看管物体的物体类型是与掩模区域相关联的物体类型的情况下,才可以将该无人看管物体从警报的发出所针对的警报对象物体中排除。该配置可以将不需要警报的发出的类型的物体从警报的发出所针对的警报对象物体中排除,由此使得能够进一步减轻观察者的负担。
(第二实施例)
接着,将参考图11至图13来说明根据本发明第二实施例的无人看管物体监视系统1。第二实施例与图1所示的第一实施例的不同之处在于:无人看管物体监视装置3的图像处理装置14还包括代表位置检测器25。除了使用代表位置检测器以外,第二实施例的结构与第一实施例的结构相同,因此与第一实施例中相同的特征由相同的附图标记表示,并且将不重复其说明。
在无人看管物体检测器22检测到无人看管物体时,代表位置检测器25通过使用已知的图像分析技术来检测所检测到的无人看管物体的代表位置。无人看管物体的代表位置的示例包括无人看管物体的图像的重心或下端中心的位置。
图12是示出无人看管物体的代表位置的示例的图。图12的(a)示出使用物体的重心作为代表位置的示例。图12的(b)示出使用物体的下端中心作为代表位置的示例。在图12的(a)的示例中,检测到商店招牌42作为无人看管物体,并且代表位置检测器25检测到作为商店招牌42的重心的位置61作为其代表位置。在图12的(b)的示例中,检测到闭店清洁标志43作为无人看管物体,并且代表位置检测器25检测到作为闭店清洁标志43的下端中心的位置61作为其代表位置。
在第二实施例中,警报对象判断部24基于由代表位置检测器25检测到的无人看管物体的代表位置来判断无人看管物体是否存在于掩模区域中。具体地,在无人看管物体的代表位置存在于掩模区域中的情况下,警报对象判断部24判断为无人看管物体存在于掩模区域中。在图12的(a)的示例中,尽管商店招牌42的右侧从掩模区域A1部分突出,但商店招牌42的重心的位置61存在于掩模区域A1中。因此,警报对象判断部24判断为商店招牌42存在于掩模区域A1中。在图12的(b)的示例中,尽管闭店清洁标志43的左侧从掩模区域A2部分突出,但闭店清洁标志的下端中心的位置62存在于掩模区域A2中。因此,警报对象判断部24判断为闭店清洁标志43存在于掩模区域A2中。
这样,警报对象判断部24基于无人看管物体的代表位置(诸如重心或下端中心的位置等)来判断无人看管物体是否存在于掩模区域中,由此使得能够更准确且更容易地判断无人看管物体是否在掩模区域中。
可以是无人看管物体的代表位置的位置不限于物体的重心或下端中心的位置,并且可以是各种其他位置,诸如物体的上端中心、左上端、右上端、左下端和右下端的位置等。然而,无人看管物体的下端部分或任何其他部分有时隐藏在过路人或其他无人看管物体后方,这阻止了代表位置检测器25检测物体的重心或下端中心的位置。在这种情况下,可以使用上端中心、左上端、右上端或任何其他点的位置作为无人看管物体的代表位置。
在第二实施例中,图像处理装置14可以基于掩模区域的所指定无人看管物体的代表位置的统计数据来改变掩模区域的几何形状。例如,可以每天将诸如商店招牌42和闭店清洁标志43等的招牌放置在不同的位置。即使在放置这样的招牌之后,招牌的位置也可能由于与过路人的碰撞或其他原因而改变。因此,根据所指定无人看管物体的实际位置来改变掩模区域的几何形状是有益的。
具体地,图像处理装置14首先累积由无人看管物体检测器22检测到的所指定无人看管物体的代表位置的位置数据并持续预定时间段,并且创建所指定无人看管物体的代表位置的统计数据。然后,图像处理装置14使用已知的统计分析技术来分析所创建的统计数据,并且根据所指定无人看管物体的实际位置来改变掩模区域的几何形状。
在第二实施例中,图像处理装置14通过移动掩模区域的位置来改变掩模区域的几何形状。具体地,图像处理装置14可以移动掩模区域的位置,使得所指定无人看管物体的代表位置在相对于掩模区域的几何形状的中心位置的预定距离内。在本实施例中,掩模区域的几何形状是由掩模区域框图像的矩形框的左上坐标和右下坐标限定的。因此,图像处理装置14基于掩模区域框图像的左上坐标和右下坐标来确定掩模区域的几何形状的中心位置(坐标)。相对于掩模区域的几何形状的中心位置的预定距离优选是被确定成使得所指定无人看管物体的整体可以包括在掩模区域的几何形状内的距离。
图13是示出改变掩模区域的几何形状的示例的图。图13的(a)示出改变掩模区域A1的几何形状的示例,其中A1-1表示几何形状改变之前的掩模区域A1,并且A1-2表示几何形状改变之后的掩模区域A1。如该图所示,在几何形状改变之后,掩模区域A1的位置向右移动。图13的(b)示出改变掩模区域A2的几何形状的示例,其中A2-1表示几何形状改变之前的掩模区域A2,并且A2-2表示几何形状改变之后的掩模区域A2。如该图所示,在几何形状改变之后,掩模区域A2的位置向左移动。
在图13的示例中,通过移动掩模区域的位置来改变掩模区域的几何形状。然而,几何形状改变不限于掩模区域的位置的改变。例如,可以通过改变掩模区域的大小来进行掩模区域的几何形状的改变。在这种情况下,可以通过基于所指定无人看管物体的代表位置的统计数据增大或减小掩模区域的大小来改变掩模区域的几何形状。在其他情况下,可以通过改变掩模区域的形状来进行掩模区域的几何形状的改变。在这种情况下,可以通过基于所指定无人看管物体的代表位置的统计数据将掩模区域的形状从初始矩形形状改变为任何不同形状来改变掩模区域的几何形状。
这样,由于基于所指定无人看管物体的代表位置的统计数据来进行掩模区域的几何形状的改变,因此图像处理装置14可以根据无人看管物体的实际位置来更准确地设置掩模区域的几何形状。
本文中为了例示性目的描述了本发明的具体实施例。然而,本发明不限于这些具体实施例。在如上所述的无人看管物体监视装置、配备有该无人看管物体监视装置的无人看管物体监视系统以及无人看管物体监视方法的实施例中,并非所有元素都是必须的。因此,在没有背离本发明的范围的情况下,可以适当地对实施例进行各种修改(包括删除一些元素)。
产业上的可利用性
根据本发明的无人看管物体监视装置、配备有该无人看管物体监视装置的无人看管物体监视系统以及无人看管物体监视方法作为如下的无人看管物体监视装置、配备有该无人看管物体监视装置的无人看管物体监视系统以及无人看管物体监视方法是有用的,其可以将不需要警报的发出的检测到的无人看管物体从警报的发出所针对的警报对象物体中排除。
附图标记说明
1 无人看管物体监视系统
2 摄像装置
3 无人看管物体监视装置
4 显示装置(通知装置)
11 掩模区域信息控制器
12 掩模区域信息存储部
13 图像获取装置
14 图像处理装置
15 通知图像生成器
21 物体跟踪器
22 无人看管物体检测器
23 物体类型判断部
24 警报对象判断部
25 代表位置检测器

Claims (11)

1.一种无人看管物体监视装置,用于基于摄像装置所拍摄到的监视区域的图像来检测遗留在所述监视区域中的无人看管物体,并且在检测到无人看管物体的情况下发出警报,所述无人看管物体监视装置包括:
处理装置,用于进行检测无人看管物体所需的处理操作,
其中,所述处理装置被配置为:
从所述摄像装置所拍摄到的拍摄图像中检测出现在所述监视区域中的物体,并且在拍摄图像之间跟踪所检测到的各物体;
基于针对所检测到的各物体的跟踪结果,将超过预定时间没有移动的物体检测为无人看管物体;
判断所检测到的无人看管物体是否存在于所述监视区域内所预设的掩模区域中;以及
在判断为所检测到的无人看管物体存在于所述掩模区域中的情况下,将所检测到的无人看管物体从警报的发出所针对的警报对象物体中排除。
2.根据权利要求1所述的无人看管物体监视装置,其中,所述处理装置生成设置画面,所述设置画面使得用户能够在所述监视区域中设置所述掩模区域。
3.根据权利要求1所述的无人看管物体监视装置,其中,所述处理装置判断所检测到的无人看管物体的物体类型。
4.根据权利要求3所述的无人看管物体监视装置,其中,所述掩模区域是与物体类型相关联地设置的,以及
其中,所述处理装置被配置为:
在判断为所检测到的无人看管物体存在于所述掩模区域中的情况下,进一步判断该无人看管物体的物体类型是否是与所述掩模区域相关联的物体类型;以及
仅在判断为无人看管物体的物体类型是与所述掩模区域相关联的物体类型的情况下,才将所检测到的无人看管物体从警报的发出所针对的警报对象物体中排除。
5.根据权利要求4所述的无人看管物体监视装置,其中,所述处理装置生成将包围所述掩模区域的框图像叠加在所述拍摄图像上的图像,以及
其中,所述处理装置根据与所述掩模区域相关联的物体类型来确定所述框图像的形式。
6.根据权利要求4所述的无人看管物体监视装置,其中,所述处理装置被配置为:
检测无人看管物体的物体类型已被判断为与所述掩模区域相关联的物体类型的该无人看管物体的代表位置;
存储所述代表位置的数据并持续预定时间段,以创建所述代表位置的统计数据;以及
基于所述代表位置的统计数据来改变所述掩模区域的几何形状。
7.根据权利要求1所述的无人看管物体监视装置,其中,所述处理装置确定为所述掩模区域与使用时间段相关联,所述使用时间段是使用所述掩模区域的时间段,以及
其中,所述处理装置仅针对具有当前有效的使用时间段的掩模区域来判断所检测到的无人看管物体是否存在于所述掩模区域中。
8.根据权利要求1至7中任一项所述的无人看管物体监视装置,其中,所述处理装置检测所检测到的无人看管物体的代表位置,并且基于所检测到的代表位置来判断所检测到的无人看管物体是否存在于所述掩模区域中。
9.根据权利要求1所述的无人看管物体监视装置,其中,所述处理装置在所述掩模区域中检测到多个无人看管物体的情况下,对多个无人看管物体中的各无人看管物体进行后续的判断操作。
10.一种无人看管物体监视系统,包括:
根据权利要求1至9中任一项所述的无人看管物体监视装置;
摄像装置,用于拍摄监视区域的图像;以及
通知装置,用于向用户通知从所述无人看管物体监视装置发出的警报。
11.一种无人看管物体监视方法,用于基于摄像装置所拍摄到的监视区域的图像来检测遗留在所述监视区域中的无人看管物体,并且在检测到无人看管物体的情况下发出警报,所述无人看管物体监视方法包括:
获取所述摄像装置所拍摄到的所述监视区域的拍摄图像;
从所述拍摄图像中检测出现在所述监视区域中的物体,并且在拍摄图像之间跟踪所检测到的各物体;
基于针对所检测到的各物体的跟踪结果,将超过预定时间没有移动的物体检测为无人看管物体;
判断所检测到的无人看管物体是否存在于所述监视区域内所预设的掩模区域中;以及
在判断为所检测到的无人看管物体存在于所述掩模区域中的情况下,将所检测到的无人看管物体从警报的发出所针对的警报对象物体中排除。
CN202180026915.8A 2020-04-06 2021-03-17 无人看管物体监视装置、配备有该装置的无人看管物体监视系统和无人看管物体监视方法 Pending CN115428440A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2020068193A JP7486117B2 (ja) 2020-04-06 2020-04-06 置去り物監視装置およびこれを備えた置去り物監視システムならびに置去り物監視方法
JP2020-068193 2020-04-06
PCT/JP2021/010805 WO2021205831A1 (ja) 2020-04-06 2021-03-17 置去り物監視装置およびこれを備えた置去り物監視システムならびに置去り物監視方法

Publications (1)

Publication Number Publication Date
CN115428440A true CN115428440A (zh) 2022-12-02

Family

ID=78022248

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202180026915.8A Pending CN115428440A (zh) 2020-04-06 2021-03-17 无人看管物体监视装置、配备有该装置的无人看管物体监视系统和无人看管物体监视方法

Country Status (4)

Country Link
US (1) US20230169773A1 (zh)
JP (1) JP7486117B2 (zh)
CN (1) CN115428440A (zh)
WO (1) WO2021205831A1 (zh)

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008181347A (ja) 2007-01-25 2008-08-07 Meidensha Corp 侵入監視システム
JP5971678B2 (ja) 2011-11-01 2016-08-17 株式会社東芝 情報出力装置、検知装置、プログラム及び情報出力方法
JP6253311B2 (ja) 2013-08-28 2017-12-27 キヤノン株式会社 画像処理装置、画像処理方法
JP6241796B2 (ja) 2015-12-25 2017-12-06 パナソニックIpマネジメント株式会社 置去り物監視装置およびこれを備えた置去り物監視システムならびに置去り物監視方法
WO2018179202A1 (ja) 2017-03-30 2018-10-04 日本電気株式会社 情報処理装置、制御方法、及びプログラム
JP6712778B2 (ja) 2017-10-11 2020-06-24 パナソニックIpマネジメント株式会社 物体検知装置、物体検知システムおよび物体検知方法
JP6532043B2 (ja) 2017-10-26 2019-06-19 パナソニックIpマネジメント株式会社 置去り物監視装置およびこれを備えた置去り物監視システムならびに置去り物監視方法

Also Published As

Publication number Publication date
JP2021166325A (ja) 2021-10-14
JP7486117B2 (ja) 2024-05-17
US20230169773A1 (en) 2023-06-01
WO2021205831A1 (ja) 2021-10-14

Similar Documents

Publication Publication Date Title
CN108476304B (zh) 丢弃物体监视装置和具备该丢弃物体监视装置的丢弃物体监视系统以及丢弃物体监视方法
US10607348B2 (en) Unattended object monitoring apparatus, unattended object monitoring system provided with same, and unattended object monitoring method
EP2801958B1 (en) Monitoring method and camera
JP4668978B2 (ja) 火炎検出方法及びその装置
US20200302188A1 (en) Intra-facility activity analysis device, intra-facility activity analysis system, and intra-facility activity analysis method
AU2021201574A1 (en) Security system and method
JP6532043B2 (ja) 置去り物監視装置およびこれを備えた置去り物監視システムならびに置去り物監視方法
JP2018085597A (ja) 人物行動監視装置および人物行動監視システム
US8301577B2 (en) Intelligent monitoring system for establishing reliable background information in a complex image environment
US20150199815A1 (en) Apparatus and method for detecting event from plurality of photographed images
CN110598596A (zh) 一种危险行为监测方法、装置及电子设备
WO2022142414A1 (zh) 高空抛物的监测方法、装置、电子设备及存储介质
US10878688B2 (en) Monitoring system and monitoring method
JPH0844874A (ja) 画像変化検出装置
JP2009147607A (ja) 人物追尾装置
CN115428440A (zh) 无人看管物体监视装置、配备有该装置的无人看管物体监视系统和无人看管物体监视方法
CN116886874A (zh) 一种生态园安防监控预警数据的采集方法及其系统
JP2008152586A (ja) エリア警戒自動識別監視システム
EP2325820A1 (en) System for displaying surveillance images
KR20140052744A (ko) 영상 내에 발생한 이벤트를 탐색하는 장치 및 방법
KR101926435B1 (ko) 시간압축방식을 이용한 객체 추적 시스템
JP5329466B2 (ja) 煙検出装置
JP2020074506A (ja) 人物行動監視装置および人物行動監視システム
KR102161343B1 (ko) 스트림 리즈닝 감시 시스템 및 그것을 이용한 미아발생 알람방법
CN118172039A (zh) 一种用于重大危险源场所的装车台ai视觉智能巡视平台

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination