CN109690621B - 拥挤探测装置、拥挤探测系统以及拥挤探测方法 - Google Patents

拥挤探测装置、拥挤探测系统以及拥挤探测方法 Download PDF

Info

Publication number
CN109690621B
CN109690621B CN201780054383.2A CN201780054383A CN109690621B CN 109690621 B CN109690621 B CN 109690621B CN 201780054383 A CN201780054383 A CN 201780054383A CN 109690621 B CN109690621 B CN 109690621B
Authority
CN
China
Prior art keywords
congestion
state
determination
detection
unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201780054383.2A
Other languages
English (en)
Other versions
CN109690621A (zh
Inventor
手岛祥树
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Panasonic Intellectual Property Management Co Ltd
Original Assignee
Panasonic Intellectual Property Management Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Panasonic Intellectual Property Management Co Ltd filed Critical Panasonic Intellectual Property Management Co Ltd
Publication of CN109690621A publication Critical patent/CN109690621A/zh
Application granted granted Critical
Publication of CN109690621B publication Critical patent/CN109690621B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/52Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • G06V20/53Recognition of crowd images, e.g. recognition of crowd congestion
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/20Analysis of motion
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/60Analysis of geometric attributes
    • GPHYSICS
    • G08SIGNALLING
    • G08BSIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B5/00Visible signalling systems, e.g. personal calling systems, remote indication of seats occupied
    • G08B5/22Visible signalling systems, e.g. personal calling systems, remote indication of seats occupied using electric transmission; using electromagnetic transmission
    • G08B5/36Visible signalling systems, e.g. personal calling systems, remote indication of seats occupied using electric transmission; using electromagnetic transmission using visible light sources
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30196Human being; Person
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30232Surveillance

Abstract

通过在到达拥挤状态之前进行适当的通知,监视者能够事先掌握拥挤状态的发生。设为具备:区域设定部(41),其与用户的输入操作相应地,在摄影图像上设定至少两个判定区域;人物探测部(43),其根据摄影图像来探测判定区域内存在的人物;拥挤度计算部(44),其基于该人物探测部中的探测结果,来计算各判定区域的拥挤度;状态探测部(45),其针对各判定区域,将由该拥挤度计算部计算出的拥挤度与规定的基准值进行比较,来探测包括拥挤状态和拥挤预兆状态的多个状态;以及输出部(46),其输出用于进行与该状态探测部的探测结果相应的通知动作的信息。

Description

拥挤探测装置、拥挤探测系统以及拥挤探测方法
技术领域
本公开涉及一种基于拍摄监视区域得到的摄影图像来探测监视区域内的运动体的拥挤状态的拥挤探测装置、拥挤探测系统以及拥挤探测方法。
背景技术
在车站等各种设施内,广泛地普及了如下一种监视系统:设置用于拍摄监视区域的摄像机,并将该摄像机的摄影图像显示于监视器,来对监视区域内的利用者的状况进行监视。
在这样的监视系统中,监视员通过用眼睛查看摄像机的摄影图像,能够掌握监视区域的拥挤状态,但是始终持续这样的作业非常费力。因此,以往已知如下一种技术:基于由摄像机拍摄监视区域得到的摄影图像,来探测监视区域内的人物的拥挤状态,并向监视员实时地通知该拥挤状态(参照专利文献1)。
专利文献1:日本专利第5070376号公报
专利文献2:日本特开2007-243342号公报
发明内容
那么,在设施内处于拥挤状态的情况下,进行利用者的诱导等用于消除拥挤状态的现场应对,但是如果事先掌握拥挤状态的发生来提前开始现场应对,则能够高效地进行现场应对。然而,在所述现有技术中,丝毫没有进行这样的有关事先掌握拥挤状态的发生的考虑,从而存在无法高效地进行用于消除拥挤状态的现场应对的问题。
因此,本公开的主要目的在于提供一种通过在到达拥挤状态之前进行适当的通知从而监视者能够事先掌握拥挤状态的发生的拥挤探测装置、拥挤探测系统以及拥挤探测方法。
本公开的拥挤探测装置基于拍摄监视区域得到的摄影图像,来探测监视区域内的运动体的拥挤状态,该拥挤探测装置构成为具备:区域设定部,其与用户的输入操作相应地,在摄影图像上设定至少两个判定区域;运动体探测部,其根据摄影图像来探测判定区域内存在的运动体;拥挤度计算部,其基于该运动体探测部的探测结果,来计算各判定区域的拥挤度;状态探测部,其针对各判定区域,将由该拥挤度计算部计算出的拥挤度与规定的基准值进行比较,来探测包括拥挤状态和拥挤预兆状态的多个状态;以及输出部,其输出用于进行与该状态探测部的探测结果相应的通知动作的信息。
另外,本公开的拥挤探测系统基于拍摄监视区域得到的摄影图像,来探测监视区域内的运动体的拥挤状态,该拥挤探测系统构成为具备:摄像机,其对监视区域进行拍摄;以及拥挤探测装置,拥挤探测装置具备:区域设定部,其与用户的输入操作相应地,在摄影图像上设定至少两个判定区域;运动体探测部,其根据摄影图像来探测判定区域内存在的运动体;拥挤度计算部,其基于该运动体探测部的探测结果,来计算各判定区域的拥挤度;状态探测部,其针对各判定区域,将由该拥挤度计算部计算出的拥挤度与规定的基准值进行比较,来探测包括拥挤状态和拥挤预兆状态的多个状态;以及输出部,其输出用于进行与该状态探测部的探测结果相应的通知动作的信息。
另外,本公开的拥挤探测方法使信息处理装置进行基于拍摄监视区域得到的摄影图像来探测监视区域内的运动体的拥挤状态的处理,该拥挤探测方法构成为:与用户的输入操作相应地,在摄影图像上设定至少两个判定区域,根据摄影图像来探测判定区域内存在的运动体,基于该探测的结果,来计算各判定区域的拥挤度,针对各判定区域,将此处计算出的拥挤度与规定的基准值进行比较,来探测包括拥挤状态和拥挤预兆状态的多个状态,输出用于进行与该探测的结果相应的通知动作的信息。
根据本公开,能够探测拥挤预兆状态、即发展成拥挤状态的可能性高的状态,通过进行与该拥挤预兆状态有关的通知,监视者能够事先掌握拥挤状态的发生,因此能够高效地进行用于消除拥挤状态的现场应对。
附图说明
图1是本实施方式所涉及的拥挤探测系统的整体结构图。
图2是示出在摄像机图像11上设定的拥挤判定区域12和拥挤预兆判定区域13的说明图。
图3是示出拥挤探测装置2的概要结构的框图。
图4是示出监视器21上显示的监视画面的说明图。
图5是示出监视器21的监视画面上显示的状态显示图标52和通知装置3的灯31的转变状况的说明图。
图6是示出由通知装置3进行的通知动作的概要的说明图。
图7是示出由状态探测部45进行的处理的概要的说明图。
图8是示出监视器21上显示的设定画面的说明图。
图9A是详细地示出设定画面的区域设定部63的说明图。
图9B是详细地示出设定画面的区域设定部63的说明图。
图10是详细地示出设定画面的阈值设定部64的说明图。
图11是示出拥挤预兆判定区域13的其它例子的说明图。
图12是示出拥挤预兆判定区域13的其它例子的说明图。
具体实施方式
为了解决所述问题而完成的第一发明是一种拥挤探测装置,其基于拍摄监视区域得到的摄影图像,来探测监视区域内的运动体的拥挤状态,该拥挤探测装置构成为具备:区域设定部,其与用户的输入操作相应地,在摄影图像上设定至少两个判定区域;运动体探测部,其根据摄影图像来探测判定区域内存在的运动体;拥挤度计算部,其基于该运动体探测部的探测结果,来计算各判定区域的拥挤度;状态探测部,其针对各判定区域,将由该拥挤度计算部计算出的拥挤度与规定的基准值进行比较,来探测包括拥挤状态和拥挤预兆状态的多个状态;以及输出部,其输出用于进行与该状态探测部的探测结果相应的通知动作的信息。
根据该结构,能够探测拥挤预兆状态、即发展成拥挤状态的可能性高的状态,通过进行与该拥挤预兆状态有关的通知,监视者能够事先掌握拥挤状态的发生,因此能够高效地进行用于消除拥挤状态的现场应对。
另外,第二发明为如下结构:区域设定部设定成为判定是否为拥挤状态的拥挤判定的对象的拥挤判定区域以及成为判定是否为拥挤预兆状态的拥挤预兆判定的对象的拥挤预兆判定区域,来作为判定区域。
根据该结构,由于与拥挤判定区域相独立地设定拥挤预兆判定区域,因此能够高精度地探测拥挤预兆状态。
另外,第三发明为如下结构:基准值被设定为按各判定区域而不同的值。
根据该结构,能够高精度地探测包括拥挤预兆状态的多个状态。
另外,第四发明为如下结构:状态探测部探测通常状态、拥挤预兆状态以及拥挤状态这三个状态,输出部输出用于进行与三个状态相应的通知动作的信息。
根据该结构,由于进行与通常状态、拥挤预兆状态以及拥挤状态这三个状态相应的通知动作,因此监视者能够容易地掌握处于哪种状态。
另外,第五发明为如下结构:输出部向具备灯的通知装置输出控制信息,该控制信息用于根据状态探测部的探测结果来改变灯的点亮状态。
根据该结构,由于利用灯的点亮状态的不同来通知拥挤预兆状态,因此监视者能够容易地掌握拥挤预兆状态。
另外,第六发明为如下结构:区域设定部在摄影图像上设定多个成为判定是否为拥挤预兆状态的拥挤预兆判定的对象的拥挤预兆判定区域。
根据该结构,由于根据多个拥挤预兆判定区域来判定拥挤预兆状态,因此能够高精度地探测拥挤预兆状态。
另外,第七发明为如下结构:还具备基准值设定部,该基准值设定部将设定画面显示于显示装置,并根据用户的输入操作来设定基准值,该基准值设定部将过去的拥挤度的实际值显示于设定画面。
根据该结构,用户能够自由地变更基准值。另外,由于显示拥挤度的实际值,因此能够参考拥挤度的实际值来设定基准值,因此能够容易地设定适当的基准值。
另外,第八发明是一种拥挤探测系统,其基于拍摄监视区域得到的摄影图像,来探测监视区域内的运动体的拥挤状态,该拥挤探测系统构成为具备:摄像机,其对监视区域进行拍摄;以及拥挤探测装置,拥挤探测装置具备:区域设定部,其与用户的输入操作相应地,在摄影图像上设定至少两个判定区域;运动体探测部,其根据摄影图像来探测判定区域内存在的运动体;拥挤度计算部,其基于该运动体探测部的探测结果,来计算各判定区域的拥挤度;状态探测部,其针对各判定区域,将由该拥挤度计算部计算出的拥挤度与规定的基准值进行比较,来探测包括拥挤状态和拥挤预兆状态的多个状态;以及输出部,其输出用于进行与该状态探测部的探测结果相应的通知动作的信息。
根据该结构,与第一发明同样地,通过在到达拥挤状态之前进行适当的通知,监视者能够事先掌握拥挤状态的发生。
另外,第九发明是一种拥挤探测方法,其使信息处理装置进行基于拍摄监视区域得到的摄影图像来探测监视区域内的运动体的拥挤状态的处理,该拥挤探测方法构成为,与用户的输入操作相应地,在摄影图像上设定至少两个判定区域,根据摄影图像来探测判定区域内存在的运动体,基于该探测的结果,来计算各判定区域的拥挤度,针对各判定区域,将此处计算出的拥挤度与规定的基准值进行比较,来探测包括拥挤状态和拥挤预兆状态的多个状态,输出用于进行与该探测的结果相应的通知动作的信息。
根据该结构,与第一发明同样地,通过在到达拥挤状态之前进行适当的通知,监视者能够事先掌握拥挤状态的发生。
下面,参照附图说明实施方式。
图1是本实施方式所涉及的拥挤探测系统的整体结构图。
该拥挤探测系统用于探测车站等设施内的监视区域中的人物(运动体)的拥挤状态,并向监视员通知监视区域的拥挤状态,具备摄像机1、拥挤探测装置2、通知装置3以及便携式终端4。
摄像机1、拥挤探测装置2以及通知装置3经由有线LAN相互进行连接。另外,便携式终端4经由无线LAN来与拥挤探测装置2连接。此外,不限定于这样的有线LAN和无线LAN,只要采用适当的通信方式即可。
摄像机1对设施内的监视区域进行拍摄。该摄像机1将监视区域的摄影图像(摄像机图像)经由机构内网络发送到拥挤探测装置2。
拥挤探测装置2由PC等信息处理装置构成,安装有拥挤探测用的应用程序。在该拥挤探测装置2中,进行如下处理:接收从摄像机1发送的摄像机图像,根据摄像机图像检测人物,来探测监视区域内的人物的拥挤状态。拥挤探测装置2具备监视器(显示装置)21,在该监视器21的监视画面显示摄像机图像,监视员能够确认监视区域的实际的状况。另外,在监视器21的监视画面上显示拥挤状态,并向监视员通知拥挤状态。另外,拥挤探测装置2经由有线LAN发送用于控制通知装置3的控制信息。
通知装置3具备灯31和蜂鸣器32,通过该灯31的点亮和蜂鸣器32的鸣动来向监视员通知拥挤状态。在该通知装置3中,接收从拥挤探测装置2发送的控制信息,灯31和蜂鸣器32基于该控制信息进行规定的通知动作。
便携式终端4是智能手机、平板终端等,由站务员等工作人员携带,通过访问拥挤探测装置2,能够显示与拥挤探测装置2的监视器21同样的监视画面,由此工作人员能够在任意的场所确认监视区域的状况。另外,也可以与通知装置3的通知动作同步地,使便携式终端4能够接收电子邮件的发送、规定的提醒画面的显示等的通知。
接着,对拥挤判定区域和拥挤预兆判定区域进行说明。图2是示出在摄像机图像11上设定的拥挤判定区域12和拥挤预兆判定区域13的说明图。
在本实施方式中,由摄像机拍摄设施内的监视区域,并在拥挤探测装置2的监视器21上显示摄像机的摄影图像(摄像机图像)11,从而监视员能够确认监视区域的实际的状况。
另外,在拥挤探测装置2中,进行如下处理:基于摄像机图像11来探测监视区域内的人物的拥挤状态,并向监视员通知拥挤状态。在该处理中,进行判定是否为拥挤状态的拥挤判定,成为该拥挤判定的对象的拥挤判定区域12被事先设定在摄像机图像11上。
并且,在本实施方式中,为了提前开始用于消除拥挤状态的现场应对,而探测拥挤预兆状态、即发展成拥挤状态的可能性高的状态,并向监视员通知拥挤预兆状态。此时,进行判定是否为拥挤预兆状态的拥挤预兆判定,成为该拥挤预兆判定的对象的拥挤预兆判定区域13被事先设定在摄影图像上。
在图2所示的例子中,人物从跟前侧向远端侧通行,在远端侧存在成为拥挤原因的场所(例如,车站的检票口)。因此,如果通行的人物多,则从远端侧起人物开始停滞,随着通行的人物增加,人物停滞的范围向跟前侧逐渐扩大。因此,在远端侧设定拥挤预兆判定区域13,将拥挤判定区域12设定为包括该拥挤预兆判定区域13及其跟前侧的区域。
此外,在从通常状态向拥挤状态推移的过程中,根据现场的状况、即人物的流动、成为拥挤的原因的场所的状况等而存在各种模式,根据该模式适当地设定拥挤预兆判定区域13和拥挤判定区域12即可。
另外,在图2所示的例子中,将判定区域设为用多个直线构成的多边形,但是除此之外设定为圆、椭圆等适当的形状即可。
另外,在图2所示的例子中,设定了包围判定区域12、13的线,但也可以是以分割摄像机图像的方式设定线,由该线与图像框来设定判定区域12、13。
接着,对拥挤探测装置2的概要结构进行说明。图3是示出拥挤探测装置2的概要结构的框图。
拥挤探测装置2具备监视器21、网络通信部22、控制部23以及信息存储部24。
网络通信部22经由网络来与摄像机1及通知装置3之间进行通信。在本实施方式中,接收从摄像机1发送的摄像机图像。另外,将用于使通知装置3进行所需要的通知动作的控制信息发送到通知装置3。
信息存储部24存储被设定为所有用户共通的共通设定信息、由各用户独立地设定的用户设定信息、与由控制部23获取到的拥挤度有关的信息、由控制部23执行的程序。
控制部23具备区域设定部41、基准值设定部42、人物探测部43(运动体探测部)、拥挤度计算部44、状态探测部45以及输出部46。该控制部23的各部通过使构成控制部23的处理器执行信息存储部24中存储的拥挤探测用的应用程序(指令(instruction))来实现。
区域设定部41与用户的输入操作相应地在摄影图像上设定判定区域。在本实施方式中,设定成为判定是否为拥挤状态的拥挤判定的对象的拥挤判定区域12和成为判定是否为拥挤预兆状态的拥挤预兆判定的对象的拥挤预兆判定区域13,来作为判定区域。
基准值设定部42将设定画面显示于监视器21,与用户的输入操作相应地,针对多个判定区域(拥挤判定区域和拥挤预兆判定区域)的各区域设定阈值(基准值)。即,设定用于判定是否为拥挤状态的拥挤判定用的阈值和用于判定是否为拥挤预兆状态的拥挤预兆判定用的阈值。此时,基准值设定部42从信息存储部24获取过去的拥挤度的实际值,将该拥挤度的实际值显示于设定画面。由此,用户能够查看拥挤度的实际值来修正阈值,因此能够适当地重新审视阈值。
人物探测部43根据摄像机图像来探测判定区域内存在的人物。该人物探测只要使用公知的技术即可,例如将当前的摄像机图像与运动体去除图像(背景图像)进行比较,根据两者的差来检测摄像机图像内的运动体,当在该运动体的图像区域内检测出由人物的脸部、或人物的头部及肩部构成的Ω形状时,将该运动体判断为人物。
拥挤度计算部44基于人物探测部43的探测结果,计算各判定区域(拥挤判定区域和拥挤预兆判定区域)的拥挤度。此时,根据人物探测部43的探测结果求出判定区域内的人数,将该判定区域内的人数占据在判定区域中假定的最大人数的比例计算为拥挤度即可。
在此,关于拥挤度,存在表示人物正在移动的状态下的拥挤的程度的动态拥挤和表示人物滞留而没有移动的状态下的拥挤的程度的滞留拥挤,在本实施方式中,重点针对滞留拥挤计算拥挤度。
拥挤度能够基于动态拥挤和滞留拥挤这双方,使用加权系数α、β来通过下式进行计算。
拥挤度=动态拥挤×α+滞留拥挤×β
其中,α+β=1
此外,也可以设为α=0、β=1,仅根据滞留拥挤求出拥挤度。
加权系数α、β作为共通设定信息或用户设定信息被存储到信息存储部24中。
状态探测部45基于由拥挤度计算部44计算出的拥挤度,来探测与监视区域的拥挤有关的状态。在本实施方式中,进行拥挤判定和拥挤预兆判定,基于其判定结果,探测通常状态(非拥挤状态)、拥挤预兆状态以及拥挤状态这三个状态。
在拥挤判定中,将拥挤判定区域的拥挤度与拥挤判定用的阈值进行比较,来判定是否为拥挤状态。在拥挤预兆探测中,将拥挤预兆判定区域的拥挤度与拥挤预兆判定用的阈值进行比较,来判定是否为拥挤预兆状态。
然后,当在拥挤探测中判定为不是拥挤状态并且在拥挤预兆判定中判定为不是拥挤预兆状态时,探测为通常状态。另外,当在拥挤探测中判定为不是拥挤状态并且在拥挤预兆探测中判定为是拥挤预兆状态时,探测为拥挤预兆状态。另外,当在拥挤判定中判定为是拥挤状态时,与拥挤预兆判定的结果无关地,优先拥挤判定的结果,探测为拥挤状态。
输出部46输出用于进行与状态探测部45的探测结果相应的通知动作的信息。在本实施方式中,使监视器21和通知装置3进行通知动作。即,将显示信息输出到监视器21,在该监视器21的画面上向用户通知与拥挤有关的状态(通常状态、拥挤预兆状态以及拥挤状态)。另外,将用于使通知装置3进行规定的通知动作的控制信息输出到通知装置3,在该通知装置3中,通过灯31的点亮和蜂鸣器32的鸣动来向用户通知与拥挤有关的状态。
接着,对监视器21上显示的监视画面进行说明。图4是表示监视画面的说明图。
该监视画面用于监视者对监视区域的状况进行监视。该监视画面是在启动了应用时显示的初始画面。
在该监视画面上设置有摄像机图像显示部51,在该摄像机图像显示部51中显示对监视区域进行拍摄得到的摄像机图像11,监视员能够确认监视区域的实际的状况。
另外,在该监视画面上显示状态显示图标52(状态显示部),通过该状态显示图标52来向监视者通知与监视区域的拥挤有关的状态(通常状态、拥挤预兆状态以及拥挤状态)。
另外,在监视画面设置有设定按钮53。当对该设定按钮53进行操作时,转变到设定画面(参照图8)。
接着,对由监视器21和通知装置3进行的通知动作进行说明。图5是示出监视器21的监视画面上显示的状态显示图标52和通知装置3的灯31的转变状况的说明图。图6是示出由通知装置3进行的通知动作的概要的说明图。
在拥挤探测装置2的状态探测部45中,对通常状态、拥挤预兆状态以及拥挤状态这三个状态进行探测,由监视器21和通知装置3联动地进行与该状态探测部45的探测结果相应的通知动作,来向监视者通知与拥挤有关的状态(通常状态、拥挤预兆状态以及拥挤状态)。
如图5所示,在通常状态中,进行与通常状态对应的通知动作,当此时探测出拥挤预兆状态时,切换为与拥挤预兆状态对应的通知动作,进一步地,当探测出拥挤状态时,切换为与拥挤状态对应的通知动作。另外,当在拥挤预兆状态和拥挤状态中探测为通常状态时,拥挤预兆状态和拥挤状态被解除并返回到通常状态,切换为与通常状态对应的通知动作。
在监视器21中,在监视画面上显示状态显示图标52(参照图4),通过改变该状态显示图标52的显示方式,来向监视者通知是通常状态、拥挤预兆状态以及拥挤状态中的哪一种状态。
具体地说,在通常状态中,状态显示图标52被显示为绿色,并且在状态显示图标52中显示“监视中”的文字。在拥挤预兆状态中,状态显示图标52被显示为黄色,并且在状态显示图标52中显示“拥挤预兆”的文字。在拥挤状态中,状态显示图标52被显示为红色,并且在状态显示图标52中显示“拥挤中”的文字。
另一方面,在图5所示的通知装置3中设置有绿色、黄色以及红色的灯31a、31b、31c,通过改变该灯31a、31b、31c的点亮状态,来向监视者通知是通常状态、拥挤预兆状态以及拥挤状态中的哪一种状态。
具体地说,如图6所示,在通常状态中,使绿色的灯31a点亮。在拥挤预兆状态中,使黄色的灯31b闪烁。在拥挤状态中,使红色的灯31c闪烁。
另外,在通知装置3中,除了灯31的点亮以外,还通过蜂鸣器32的鸣动来向监视者通知变成了拥挤预兆状态和拥挤状态。此时,在拥挤预兆状态与拥挤状态中使用不同的蜂鸣声。具体地说,在变成了拥挤预兆状态的情况下,发出断续的蜂鸣声,在变成了拥挤状态的情况下,发出连续的蜂鸣声。
此外,在图6所示的例子中,将发报间隔设为30秒,关于灯31,由于持续时间与发报间隔一致,因此始终持续灯31的点亮状态、闪烁状态。关于蜂鸣器32,由于持续时间为几秒,因此每隔30秒反复发出几秒的蜂鸣声。
此外,在通知装置3中,通过拥挤探测装置2的控制部23控制灯31的点亮状态,在拥挤探测用的应用程序未启动的状态下,通知装置3的灯31是熄灭的。
接着,对由拥挤探测装置2的状态探测部45进行的处理进行说明。图7是示出由状态探测部45进行的处理的概要的说明图。
在拥挤探测装置2的状态探测部45中,将拥挤判定区域12的拥挤度与拥挤判定用的阈值进行比较,来进行判定是否为拥挤状态的拥挤判定。在该拥挤判定中,根据以规定的周期测定出的拥挤度,求出规定的判定对象期间内的拥挤率的平均值,将该平均值与阈值进行比较,当平均值为阈值以上时,判定为拥挤状态。
在图7所示的例子中,将拥挤率的计算周期设为5秒,将判定对象期间设为30秒,基于以5秒为间隔计算出的拥挤率,每隔30秒实施拥挤判定,此时将当前的拥挤率与过去30秒内的5次的拥挤率相加,来求出合计6次的拥挤率的平均值,当该平均值为阈值以上时,判定为拥挤状态。
另外,当判定对象期间内的拥挤率的平均值小于阈值时,判定为不是拥挤状态,解除拥挤状态并返回到通常状态。
另外,在状态探测部45中,基于拥挤预兆判定区域13的拥挤度,来进行判定是否为拥挤预兆状态的拥挤预兆判定。在该拥挤预兆判定中,与图7所示的拥挤判定的情况同样地,求出规定的判定对象期间内的拥挤率的平均值,将该平均值与拥挤预兆判定用的阈值进行比较,当平均值为阈值以上时,判定为拥挤预兆状态。另外,当判定对象期间内的拥挤率的平均值小于阈值时,判定为不是拥挤预兆状态,解除拥挤预兆状态并返回到通常状态。
此外,在本实施方式中,当判定对象期间内的拥挤率的平均值为拥挤判定用的阈值以上时,判定为拥挤状态,当判定对象期间内的拥挤率的平均值为拥挤预兆判定用的阈值以上时,判定为拥挤预兆状态,但是拥挤判定和拥挤预兆判定不限定于这样的方法,能够排除拥挤率的异常值即可,能够是各种方法。
例如,也可以与拥挤度的计算同时地实施将拥挤度与阈值进行比较的处理,当在规定的判定对象期间内拥挤度为阈值以上的状态成为主导、即拥挤度为阈值以上的次数过半时,判定为拥挤状态、拥挤预兆状态。
另外,在图7所示的例子中,设为在间隔判定对象期间的定时进行拥挤判定、即拥挤判定的周期与判定对象期间一致,但是实施拥挤判定的定时不限定于此。例如,也可以以比判定对象期间短的周期进行拥挤判定。
另外,关于判定对象期间、拥挤率的计算周期,使用预先设定为共通设定信息的信息即可,但是也可以设为将判定对象期间、拥挤率的计算周期作为用户设定信息,能够由用户适当地进行变更。
接着,对监视器21上显示的设定画面进行说明。图8是示出设定画面的说明图。
该设定画面用于供用户指定拥挤预兆判定区域13和拥挤判定区域12以及拥挤预兆判定用的阈值和拥挤判定用的阈值。当在启动应用时显示的监视画面(参照图4)上操作设定按钮时,转变到该设定画面。
在该设定画面中设置有拥挤预兆判定区域按钮61、拥挤判定区域按钮62、区域设定部63、阈值设定部64、状态显示图标65以及退出按钮66。
拥挤预兆判定区域按钮61和拥挤判定区域按钮62用于切换成为编辑对象(设定对象)的判定区域,能够选择拥挤预兆判定区域13和拥挤判定区域12中的任一个区域作为编辑对象。
区域设定部63用于供用户指定拥挤判定区域12和拥挤预兆判定区域13这两个判定区域。在后面详细地说明该区域设定部63。
阈值设定部64用于供用户指定拥挤预兆判定用的阈值和拥挤判定用的阈值。在后面详细地说明该阈值设定部64。
状态显示图标65与监视画面(参照图4)的状态显示图标52同样地显示监视区域的当前的状态。如果已经设定了判定区域和阈值,则即使是显示了设定画面的状态,在控制部23中也继续实施拥挤探测,通过该拥挤探测所探测出的状态通过状态显示图标65被通知给监视者。
此外,作为共通设定信息,也可以将摄像机图像11的整体预先设定为拥挤判定区域12和拥挤预兆判定区域13的初始状态,并且预先设定拥挤预兆判定用的阈值的初始值(例如70%)和拥挤判定用的阈值的初始值(例如90%)。
当用户通过这样指定拥挤判定区域12和拥挤预兆判定区域13以及拥挤预兆判定用的阈值和拥挤判定用的阈值并操作退出按钮66时,设定内容作为用户设定信息被存储到信息存储部24中,返回到监视画面(参照图4)。
接着,对区域设定进行说明。图9A、图9B是详细地示出设定画面的区域设定部63的说明图。图9A表示编辑对象为拥挤预兆判定区域13的情况,图9B表示编辑对象为拥挤判定区域12的情况。
在设定画面的区域设定部63中设置有区域输入部71、区域编辑按钮72以及区域确定按钮73。
在区域输入部71显示由摄像机1对监视区域进行拍摄得到的摄影图像(摄像机图像)11,用户操作鼠标等输入设备来在摄像机图像上输入表示拥挤判定区域12和拥挤预兆判定区域13的边界的线。当操作区域编辑按钮72时,成为编辑模式,能够向区域输入部71输入拥挤判定区域12和拥挤预兆判定区域13。当操作区域确定按钮73时,通过所输入的线来确定拥挤判定区域12和拥挤预兆判定区域13。
在区域输入部71中,用不同的颜色显示用于表示拥挤判定区域12和拥挤预兆判定区域13的轮廓的线。例如,用红色显示拥挤判定区域12的线,用黄色显示拥挤预兆判定区域13的线。另外,用半透明的颜色填充拥挤判定区域12和拥挤预兆判定区域13的内部,从而能够容易地识别拥挤判定区域12和拥挤预兆判定区域13的内外。
另外,在区域输入部71的外周显示框图像75。当操作区域编辑按钮72来转移到编辑模式时,该框图像75与编辑对象(拥挤判定区域12或拥挤预兆判定区域13)相应地改变颜色。如图9A所示,在编辑对象为拥挤预兆判定区域13的情况下,显示与拥挤预兆判定区域13的线的颜色相同的黄色的框图像75,如图9B所示,当编辑对象为拥挤判定区域12的情况下,显示与拥挤判定区域12的线的颜色相同的红色的框图像75。
另外,在编辑模式中,显示通过初始设定、用户设定已经设定的拥挤判定区域12和拥挤预兆判定区域13的编辑前的线,能够一边查看该编辑前的线一边输入新的线。此时,成为编辑对象的判定区域12、13的编辑前的线的颜色被显示得较浅,能够识别编辑前的线与编辑中的线。
此外,区域输入部71上显示的摄像机图像11可以为静止图像,但是也可以在设定画面上设置适当的再生操作部,能够将摄像机图像11以运动图像的方式再生。
接着,对阈值设定进行说明。图10是详细地示出设定画面的阈值设定部64的说明图。在此,示出在判定为拥挤中的期间内变更阈值的例子。
在设定画面的阈值设定部64中设置有曲线图显示部81。在该曲线图显示部81中显示用于表示拥挤判定区域12和拥挤预兆判定区域13的拥挤度的实际值的随时间推移的状况的两条曲线。关于该曲线图,横轴为时间,纵轴为拥挤度。另外,关于该曲线图,显示从当前起向过去追溯规定的期间(例如两个小时)的范围内的的拥挤度,曲线图的右端为当前的拥挤度。该曲线图每隔拥挤度的计算周期(例如5秒)被更新。此外,在系统导入时,由于不存在拥挤度的实际值,因此不显示曲线图。
另外,在曲线图显示部81中,在曲线图上显示表示拥挤判定用的阈值的阈值条82和表示拥挤预兆判定用的阈值的阈值条83。这两个阈值条82、83能够通过鼠标等输入设备的操作(拖动)来上下移动,由此能够对拥挤判定用的阈值和拥挤预兆判定用的阈值分别进行指定。在转变到设定画面时,在与通过初始设定、用户设定已经设定的阈值对应的位置显示阈值条82、83,能够通过使该阈值条82、83上下移动来变更阈值。
像这样,在本实施方式中,由于显示用于表示拥挤度的实际值的推移状况的曲线图,因此能够一边观察拥挤度的实际值的推移状况一边设定阈值。
此外,也能够将拥挤探测用的阈值与拥挤预兆探测用的阈值设定为同一值。
另外,也可以设为,通过由用户从过去的摄像机图像中选择目视判断为拥挤预兆状态的摄像机画面,来从该摄像机画面获取拥挤度,将该拥挤度设定为拥挤预兆判定用的阈值。同样地,也可以通过由用户选择目视判断为拥挤状态的摄像机画面,来从该摄像机画面获取拥挤度,将该拥挤度设定为拥挤判定用的阈值。
另外,也可以当在曲线图显示部81中指定时刻、例如通过对曲线图上的需要的位置进行选择的操作(点击)来指定与所选择的该位置对应的时刻时,将该时刻的摄像机图像显示于区域设定部63的区域输入部71(参照图8)。这样,能够一边通过摄像机图像确认实际的状况一边调整阈值,从而能够高效地进行用于设定阈值的作业。
接着,对在摄像机图像11上设定的拥挤预兆判定区域13的其它例子进行说明。图11和图12是示出拥挤预兆判定区域13的其它例子的说明图。
在图2所示的例子中,在摄像机图像11上设定了一个拥挤预兆判定区域13,但是也可以如图11和图12所示那样在摄像机图像11上设定多个拥挤预兆判定区域13。
在图11所示的例子中,人物的流动分支为两个方向,两个拥挤预兆判定区域13分别设定于两个分支目的地区域。拥挤判定区域12被设定为包括分支目的地区域和分支源区域这两方。
在图2所示的例子中,由于人物的流动为一个方向,因此只要在人物的流动的下游侧设定一个拥挤预兆判定区域13即可,但是如图11所示那样在人物的流动分支为两个方向的情况下,只有在分支目的地区域各自设定拥挤预兆判定区域13,才能高精度地进行拥挤预兆判定。
另外,在图12所示的例子中,针对一个方向的人物的流动设定了两个拥挤预兆判定区域13。这样,能够以两个阶段进行拥挤预兆判定。由此,能够高精度地进行拥挤预兆判定,还能够将拥挤预兆状态分为两个阶段进行通知。
此外,在图11和图12所示的例子中,设定了两个拥挤预兆判定区域13,但是也可以根据监视区域的人物的流动的状况等设定三个以上的拥挤预兆判定区域13。
如以上那样,作为在本申请中公开的技术的例示,对实施方式进行了说明。然而,本公开中的技术不限定于此,也能够应用于进行变更、替换、附加、省略等所得到的实施方式。另外,也能够将上述实施方式中所说明的各结构要素进行组合来形成新的实施方式。
例如,在所述实施方式中,关于将成为对象的运动体设为人物的例子进行了说明,但是也能够应用于将人物以外的运动体、例如汽车、自行车等车辆作为对象来掌握车辆的活动状况的用途。
另外,在所述实施方式中,设为通过设置于设施内的拥挤探测装置2来进行探测设施内的拥挤状态的处理,但是也可以通过经由广域网与摄像机连接的服务器装置(云计算机)来进行探测设施内的拥挤状态的处理。
产业上的可利用性
本公开所涉及的拥挤探测装置、拥挤探测系统以及拥挤探测方法具有通过在到达拥挤状态之前进行适当的通知由此监视者能够事先掌握拥挤状态的发生的效果,作为基于对监视区域进行拍摄得到的摄影图像来探测监视区域内的运动体的拥挤状态的拥挤探测装置、拥挤探测系统以及拥挤探测方法等是有用的。
附图标记说明
1:摄像机;2:拥挤探测装置;3:通知装置;4:便携式终端;11:摄像机图像;12:拥挤判定区域;13:拥挤预兆判定区域;21:监视器(显示装置);22:网络通信部;23:控制部;24:信息存储部;31:灯;32:蜂鸣器;41:区域设定部;42:基准值设定部;43:人物探测部(运动体探测部);44:拥挤度计算部;45:状态探测部;46:输出部。

Claims (8)

1.一种拥挤探测装置,其基于拍摄监视区域得到的摄影图像,来探测所述监视区域内的运动体的拥挤状态,该拥挤探测装置的特征在于,具备:
区域设定部,其与用户的输入操作相应地,在所述摄影图像上设定由成为判定是否为拥挤状态的拥挤判定的对象的拥挤判定区域和成为判定是否为拥挤预兆状态的拥挤预兆判定的对象的拥挤预兆判定区域构成的两种判定区域;
运动体探测部,其根据所述摄影图像来探测所述判定区域内存在的运动体;
拥挤度计算部,其基于该运动体探测部的探测结果,来计算各所述判定区域的拥挤度;
状态探测部,其针对各所述判定区域,将由该拥挤度计算部计算出的所述拥挤度与规定的基准值进行比较,来探测包括拥挤状态和拥挤预兆状态的多个状态;以及
输出部,其输出用于进行与该状态探测部的探测结果相应的通知动作的信息。
2.根据权利要求1所述的拥挤探测装置,其特征在于,
所述基准值被设定为按各所述判定区域而不同的值。
3.根据权利要求1或2所述的拥挤探测装置,其特征在于,
所述状态探测部用于探测通常状态、拥挤预兆状态以及拥挤状态这三个状态,
所述输出部输出用于进行与所述三个状态相应的通知动作的信息。
4.根据权利要求1或2所述的拥挤探测装置,其特征在于,
所述输出部向具备灯的通知装置输出控制信息,该控制信息用于根据所述状态探测部的探测结果来改变所述灯的点亮状态。
5.根据权利要求1或2所述的拥挤探测装置,其特征在于,
所述区域设定部在所述摄影图像上设定多个所述拥挤预兆判定区域。
6.根据权利要求1或2所述的拥挤探测装置,其特征在于,
还具备基准值设定部,该基准值设定部将设定画面显示于显示装置,并根据用户的输入操作来设定所述基准值,
该基准值设定部将过去的所述拥挤度的实际值显示于所述设定画面。
7.一种拥挤探测系统,其基于拍摄监视区域得到的摄影图像,来探测所述监视区域内的运动体的拥挤状态,该拥挤探测系统的特征在于,具备:
摄像机,其对所述监视区域进行拍摄;以及
拥挤探测装置,
所述拥挤探测装置具备:
区域设定部,其与用户的输入操作相应地,在所述摄影图像上设定由成为判定是否为拥挤状态的拥挤判定的对象的拥挤判定区域和成为判定是否为拥挤预兆状态的拥挤预兆判定的对象的拥挤预兆判定区域构成的两种判定区域;
运动体探测部,其根据所述摄影图像来探测所述判定区域内存在的运动体;
拥挤度计算部,其基于该运动体探测部的探测结果,来计算各所述判定区域的拥挤度;
状态探测部,其针对各所述判定区域,将由该拥挤度计算部计算出的所述拥挤度与规定的基准值进行比较,来探测包括拥挤状态和拥挤预兆状态的多个状态;以及
输出部,其输出用于进行与该状态探测部的探测结果相应的通知动作的信息。
8.一种拥挤探测方法,其使信息处理装置进行基于拍摄监视区域得到的摄影图像来探测所述监视区域内的运动体的拥挤状态的处理,该拥挤探测方法的特征在于,
与用户的输入操作相应地,在所述摄影图像上设定由成为判定是否为拥挤状态的拥挤判定的对象的拥挤判定区域和成为判定是否为拥挤预兆状态的拥挤预兆判定的对象的拥挤预兆判定区域构成的两种判定区域,
根据所述摄影图像探测所述判定区域内存在的运动体,
基于该探测的结果,来计算各所述判定区域的拥挤度,
针对各所述判定区域,将此处计算出的所述拥挤度与规定的基准值进行比较,来探测包括拥挤状态和拥挤预兆状态的多个状态,
输出用于进行与该探测的结果相应的通知动作的信息。
CN201780054383.2A 2016-09-06 2017-08-28 拥挤探测装置、拥挤探测系统以及拥挤探测方法 Active CN109690621B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2016-173533 2016-09-06
JP2016173533A JP6583826B2 (ja) 2016-09-06 2016-09-06 混雑検知装置、混雑検知システムおよび混雑検知方法
PCT/JP2017/030649 WO2018047646A1 (ja) 2016-09-06 2017-08-28 混雑検知装置、混雑検知システムおよび混雑検知方法

Publications (2)

Publication Number Publication Date
CN109690621A CN109690621A (zh) 2019-04-26
CN109690621B true CN109690621B (zh) 2023-06-30

Family

ID=61561994

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201780054383.2A Active CN109690621B (zh) 2016-09-06 2017-08-28 拥挤探测装置、拥挤探测系统以及拥挤探测方法

Country Status (4)

Country Link
US (1) US20190228234A1 (zh)
JP (1) JP6583826B2 (zh)
CN (1) CN109690621B (zh)
WO (1) WO2018047646A1 (zh)

Families Citing this family (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI680676B (zh) * 2018-05-15 2019-12-21 波寶創新科技股份有限公司 網路攝影設備以及監控系統
US11342506B2 (en) 2018-06-20 2022-05-24 Kwansei Gakuin Educational Foundation Organic electroluminescent element
JP7216487B2 (ja) * 2018-06-21 2023-02-01 キヤノン株式会社 画像処理装置およびその制御方法
JP2019220025A (ja) * 2018-06-21 2019-12-26 キヤノン株式会社 画像処理装置、画像処理方法
JP7336674B2 (ja) * 2019-02-07 2023-09-01 パナソニックIpマネジメント株式会社 接客状況分析装置、接客状況分析システム、及び接客状況分析方法
JP7140695B2 (ja) * 2019-02-20 2022-09-21 株式会社東芝 情報出力制御装置、情報出力制御方法、コンピュータプログラム及び情報出力システム
JP7313850B2 (ja) * 2019-03-15 2023-07-25 キヤノン株式会社 情報処理装置、情報処理方法、およびプログラム
JP7156242B2 (ja) * 2019-10-18 2022-10-19 トヨタ自動車株式会社 情報処理装置、プログラム及び制御方法
JP7353918B2 (ja) 2019-10-31 2023-10-02 キヤノン株式会社 情報処理装置、情報処理方法、およびプログラム
JP7349919B2 (ja) 2020-01-21 2023-09-25 三菱電機株式会社 集中監視システム
WO2022097277A1 (ja) * 2020-11-06 2022-05-12 日本電気株式会社 サーバ装置、サーバ装置の制御方法及び記憶媒体
JP7253170B2 (ja) * 2020-11-16 2023-04-06 株式会社バカン 施設状況管理装置、及び施設状況管理方法
CN112132119B (zh) * 2020-11-24 2021-05-28 科大讯飞(苏州)科技有限公司 客流统计方法、装置、电子设备和存储介质
WO2022168402A1 (ja) * 2021-02-04 2022-08-11 日本電気株式会社 情報処理装置、情報処理方法およびコンピュータ可読媒体

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105391973A (zh) * 2014-08-27 2016-03-09 松下知识产权经营株式会社 监控装置、监控系统及监控方法

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4966820B2 (ja) * 2007-10-29 2012-07-04 パナソニック株式会社 混雑推定装置および方法
EP2093698A1 (en) * 2008-02-19 2009-08-26 British Telecommunications Public Limited Company Crowd congestion analysis
JP2013122735A (ja) * 2011-12-12 2013-06-20 Nikon Corp 電子機器
JP6708122B2 (ja) * 2014-06-30 2020-06-10 日本電気株式会社 誘導処理装置及び誘導方法
SG11201802242YA (en) * 2016-05-13 2018-11-29 Hitachi Ltd Congestion analysis device, congestion analysis method, and congestion analysis program

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105391973A (zh) * 2014-08-27 2016-03-09 松下知识产权经营株式会社 监控装置、监控系统及监控方法

Also Published As

Publication number Publication date
CN109690621A (zh) 2019-04-26
JP6583826B2 (ja) 2019-10-02
JP2018042049A (ja) 2018-03-15
US20190228234A1 (en) 2019-07-25
WO2018047646A1 (ja) 2018-03-15

Similar Documents

Publication Publication Date Title
CN109690621B (zh) 拥挤探测装置、拥挤探测系统以及拥挤探测方法
US11373408B2 (en) Image processing apparatus, monitoring system, image processing method, and program
US10740906B2 (en) Unattended object monitoring device, unattended object monitoring system equipped with same, and unattended object monitoring method
JP2017028364A (ja) 監視システムおよび監視装置
CN108431876A (zh) 入侵检测设备、设置辅助设备、入侵检测方法、设置辅助方法和程序记录介质
US20190251726A1 (en) Superimposition of situation expression onto captured image
KR102131437B1 (ko) 적응형 영상 감시 시스템 및 방법
JP2022105203A (ja) 情報処理装置、制御方法、及びプログラム
JP2007264706A (ja) 画像処理装置、監視カメラ及び画像監視システム
KR101656642B1 (ko) 영상을 이용한 집단 행동 분석 방법
CN108419045B (zh) 一种基于红外热成像技术的监控方法及装置
CN113361364A (zh) 目标行为检测方法、装置、设备及存储介质
US6982748B2 (en) Automatically switched camera system with indicator for notifying the next subject of the camera system
JP2016116137A (ja) 画像処理装置、画像処理方法、及び、プログラム
JP2019200718A (ja) 監視装置、監視方法及びプログラム
KR101445361B1 (ko) 현장 모니터링 장치
JP6785437B2 (ja) 人物行動監視装置および人物行動監視システム
CN111932581A (zh) 安全绳检测方法、装置、电子设备和可读存储介质
JP2014106879A (ja) 人の分布状況推定システム
KR102613957B1 (ko) 영상 내 가상 검지선을 이용한 자살 방지 시스템
CN113838266B (zh) 溺水报警方法、装置、电子设备和计算机可读介质
KR20230075594A (ko) 인공지능 기반의 사고발생 예측시스템
KR20230075595A (ko) 인공지능 기반의 사고발생 예측방법
KR20140039929A (ko) 이벤트 룰 설정방법 및 이를 이용한 이벤트 감시장치
CN115035447A (zh) 一种火灾检测处理方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant