CN113615166A

CN113615166A - 事故检测装置及事故检测方法

Info

Publication number: CN113615166A
Application number: CN202080021917.3A
Authority: CN
Inventors: 渡边伟志
Original assignee: Matsushita Electric Industrial Co Ltd
Current assignee: Panasonic Holdings Corp
Priority date: 2019-03-19
Filing date: 2020-01-14
Publication date: 2021-11-05
Anticipated expiration: 2040-01-14
Also published as: JP7368092B2; CN113615166B; WO2020188972A1; US20220165092A1; US12046078B2; JP2020155882A

Abstract

事故检测装置(20)具备：所持物检测部(103)，其使用监控摄像机(10)的拍摄图像，检测人物和该人物所持有的物体即所持物；以及事故判定部(104)，其基于监控摄像机(10)的拍摄图像中的人物和所持物的运动来判定是否发生了事故。

Description

事故检测装置及事故检测方法

技术领域

本发明涉及事故检测装置及事故检测方法。

背景技术

已知有使用监控摄像机拍摄到的图像来检测人物跌倒的技术。在专利文献1中公开了如下技术：根据设置于自动扶梯附近的监控摄像机拍摄到的图像来检测人物姿势的变化，根据姿势的变化的大小来检测人物的跌倒。

现有技术文献

专利文献

专利文献1：日本特开2008-9498号公报。

发明内容

发明要解决的问题

然而，在自动扶梯那样的会存在多个人物的地点，在拍摄图像中，深处的人物有可能被跟前的人物遮挡。在该情况下，在专利文献1的技术中，有可能无法检测深处的人物的跌倒。

本发明的非限定性的实施例有助于提供一种技术，该技术减少在从对可能存在多个人物的地点进行拍摄而得到的图像中检测人物跌倒这样的事故发生的情况下的检测遗漏。

解决问题的方案

本发明的一个方式的事故检测装置具备：检测部，其使用摄像机装置拍摄到的图像，检测人物和该人物所持有的物体即所持物；以及判定部，其基于摄像机装置拍摄到的图像中的所述人物和所述所持物的运动来判定是否发生了事故。

需要说明的是，这些概括性或具体的方式可以通过系统、装置、方法、集成电路、计算机程序或记录介质来实现，也可以通过系统、装置、方法、集成电路、计算机程序和记录介质的任意组合来实现。

发明效果

根据本发明的非限定性的实施例，能够减少在从拍摄了可能存在多个人物的地点的图像中检测人物跌倒这样的事故发生的情况下的检测遗漏。

本发明的一个方式中的进一步的优点和效果根据说明书和附图而明确。上述优点和/或效果分别由若干个实施方式以及说明书及附图所记载的特征提供，但未必需要为了获得一个或一个以上的相同的特征而全部提供。

附图说明

图1是表示一实施方式的事故检测系统的结构例的图。

图2是表示一实施方式的事故检测系统的运动例的图。

图3是表示一实施方式的事故检测装置的结构例的图。

图4是表示一实施方式的人物和所持物的检测处理的例子的流程图。

图5是表示一实施方式的事故判定处理的例子的流程图。

图6是表示一实施方式的用于事故确认的UI(User Interface：用户界面)的显示例的图。

图7是表示本发明的事故检测装置的硬件构成例的图。

具体实施方式

以下，适当参照附图对本发明的实施方式进行详细说明。但是，有时会省略过于详细的说明。例如，有时省略已广为人知的事项的详细说明或对于实质上相同的结构的重复说明。原因在于：避免以下的说明无必要地变得冗长，使本领域技术人员容易理解。

需要说明的是，附图和以下的说明是为了使本领域技术人员充分理解本发明而提供的，并不意图通过它们来限定权利要求书所记载的主题。

(一实施方式)

<系统的结构>

图1表示事故检测系统的结构例。

如图1所示，事故检测系统1具有监控摄像机10和事故检测装置20。监控摄像机10和事故检测装置20通过有线和/或无线的网络30连接。监控摄像机10的数量可以是1台，也可以是多台。

监控摄像机10设置于规定的区域的各种地点。例如，监控摄像机10设置于商业设施中的自动扶梯、楼梯和斜坡这样的人物容易跌倒的地点。监控摄像机10也可以设置在与人物容易跌倒的地点不同的地点。例如，监控摄像机10还可以设置在可以拍摄人物和该人物所持有的物体(以下称为“所持物”)的地点。作为所持物的例子，有购物袋、手提包、手杖和手提箱。

事故检测装置20基于监控摄像机10拍摄到的图像(以下称为“拍摄图像”)来检测人物的跌倒这样的事故的发生。需要说明的是，拍摄图像既可以是静止图像也可以是和动态图像中。接下来，参照图2，对事故检测装置20检测人物的跌倒的方法的一个例子进行说明。图2的(A)、(B)和(C)是自动扶梯的乘坐位置的拍摄图像的例子。

首先，如图2的(A)所示，事故检测装置20从拍摄图像中检测乘坐自动扶梯前的人物P1和物体P2。接下来，如图2的(B)所示，事故检测装置20将检测到的人物P1与该人物P1所持有的物体(即“所持物”)P2相关联。

然后，在事故检测装置20从拍摄图像中检测到正在乘坐自动扶梯的人物P1的与通常不同的运动或姿势的情况下，判定为该人物P1跌倒。另外，如图2的(C)所示，事故检测装置20在根据拍摄图像中检测到正在乘坐自动扶梯的人物P1所持有的所持物P2的与通常不同的运动的情况下，判定为持有该所持物P2的人物P1跌倒。在判定为人物P1跌倒的情况下，事故检测装置20输出警报。

这样，事故检测装置20除了人物P1的运动或姿势以外，还基于人物P1的所持物P2的运动来判定人物P1是否跌倒。由此，如图2的(C)所示，事故检测装置20还能够检测被跟前的人物P3遮挡而无法检测运动或姿势的深处的人物P1的跌倒。因此，事故检测装置20能够减少人物的跌倒的检测遗漏。以下，详细地进行说明。

<事故检测装置的结构>

图3表示事故检测装置20的结构例。

如图3所示，事故检测装置20具有图像接收部101、人物检测部102、所持物检测部103、事故判定部104、警报输出部105、显示处理部106和管理表107。

图像接收部101通过网络30从监控摄像机10接收拍摄图像。

人物检测部102检测图像接收部101接收到的拍摄图像中包含的人物。已知有从图像中检测人物的各种技术，例如，可以采用通过由人物的头和肩形成的Ω形状的识别来检测人物的方法、或者可以采用使用通过深度学习预先对物体学习了是否为人物这2个类别的识别器来检测人物的方法等。

所持物检测部103检测拍摄图像中包含的人物的所持物。例如，所持物检测部103通过以下处理检测所持物。首先，所持物检测部103检测拍摄图像中包含的物体。已知有从图像中检测物体的各种技术。接下来，所持物检测部103从其检测到的物体中确定由人物检测部102检测到的人物所持有的物体(即“所持物”)。例如，所持物检测部103将位于距拍摄图像所包含的人物的位置为规定距离以内且向与该人物相同的方向移动的物体确定为该人物的所持物。

所持物检测部103将确定出的所持物的识别信息与持有该所持物的人物的识别信息相关联地登记在管理表107中。所持物的识别信息是用于从之后拍摄到的图像或由其他监控摄像机10拍摄到的图像中识别该所持物的信息。人物的识别信息是用于从之后拍摄到的图像或由其他监控摄像机10拍摄到的图像中识别该人物的信息。

需要说明的是，所持物检测部103可以基于所持物的识别信息来判定所持物的种类。然后，所持物检测部103可以将其判定出的所持物的种类登记在管理表107中。

事故判定部104基于图像接收部101接收到的拍摄图像中包含的人物的运动或姿势、或者所持物的运动，判定在拍摄到该拍摄图像的地点是否发生了人物的跌倒事故。例如，事故判定部104如以下那样判定是否发生了事故。

事故判定部104在从拍摄图像中检测到与通常不同的运动或姿势的人物的情况下，判定为发生了人物的跌倒事故。人物的通常的运动或姿势可以是人物行走的运动或人物站立的姿势。已知有检测人物的运动或姿势的差异的技术。

事故判定部104在从拍摄图像中检测到与通常不同的运动的所持物的情况下，判定为发生了持有该所持物的人物的跌倒事故。所持物的通常的运动可以是向与人物的移动方向相同的方向上的移动。即，所持物的与通常不同的运动可以是所持物向与人物的移动方向不同的方向的移动、所持物向与自动扶梯的行进方向相反方向的移动、或者所持物从人物离开规定距离以上。或者，所持物的与通常不同的运动可以是所持物的跌倒、掉落、滚落、散落等。已知有检测物体的运动的各种技术。

需要说明的是，事故判定部104可以使用登记在管理表107中的所持物的识别信息，从拍摄图像中检测所持物。由此，与所持物不同的物体(例如，预先设置的物体)成为上述判定的对象外，因此可减轻事故判定部104中的处理负荷。因此，事故判定部104能够在更短时间内判定是否发生了人物的跌倒事故。

另外，上述的人物检测部102和所持物检测部103在检测中使用的拍摄图像(以下称为“第一拍摄图像”)与事故判定部104在判定中使用的拍摄图像(以下称为“第二拍摄图像”)可以相同，也可以不同。例如，第二拍摄图像可以是在拍摄到第一拍摄图像之后拍摄的图像。另外，第二拍摄图像可以是由与第一拍摄图像不同的监控摄像机10拍摄的图像。例如，人物检测部102和所持物检测部103可以使用设置于能够明确地拍摄人物和所持物的地点的监控摄像机10的拍摄图像(第一拍摄图像)来进行人物和所持物的检测，事故判定部104可以使用该检测的结果，根据设置于容易发生事故的地点的监控摄像机10的拍摄图像(第二拍摄图像)来判定是否发生了事故。由此，人物和所持物的识别精度提高，因此基于所持物的运动的事故判定的精度也提高。

另外，事故判定部104也可以判定跌倒的人物是否持有所持物。例如，事故判定部104在基于所持物的运动检测到事故的情况下，可以判定为跌倒的人物持有所持物。另外，事故判定部104在基于人物的运动或姿势检测到事故的情况下，若在管理表107中所持物与该人物相关联，则可以判定为跌倒的人物持有所持物。

警报输出部105在事故判定部104判定为发生了事故的情况下，输出表示事故的发生的警报信息。例如，警报输出部105将旋转灯设为点亮状态，或者向扬声器40输出警报音。另外，警报输出部105通过显示处理部106向监视器50输出警报信息。

显示处理部106生成监控用的UI图像，并输出到监视器50。此外，对显示处理部106的细节，将在后文进行叙述。

<人物和所持物的检测处理>

参照图4所示的流程图对人物和所持物的检测处理的一个例子进行说明。

人物检测部102从第一拍摄图像中检测人物，生成该人物的识别信息(S101)。

所持物检测部103从第一拍摄图像中检测物体(S102)。接下来，所持物检测部103从检测到的物体中确定在S101中检测到的人物所持有的物体(即所持物)，生成该所持物的识别信息(S103)。

所持物检测部103将在S103中生成的所持物的识别信息与持有该所持物的人物的识别信息相关联地登记在管理表107中(S104)。然后，本处理结束(END)。需要说明的是，事故检测装置20可以在每次图像接收部101接收拍摄图像时执行本处理。

<事故判定处理>

参照图5所示的流程图对事故判定处理的一个例子进行说明。需要说明的是，图4所示的处理和图5所示的处理可以并行执行。

事故检测部判定在第二拍摄图像中是否存在与通常不同的运动或姿势的人物(S201)。

在第二拍摄图像中存在与通常不同的运动或姿势的人物的情况下(S201：是(YES))，事故判定部104判定为发生了人物的跌倒事故(S210)。在该情况下，警报输出部105输出警报信息(S211)。然后，本处理结束(END)。

在第二拍摄图像中不存在与通常不同的运动或姿势的人物的情况下(S201：否(NO))，事故检测部进行接下来的S202的处理。即，事故检测部判定在第二拍摄图像中是否存在与通常不同的运动的所持物(S202)。该所持物可以是登记在管理表107中的所持物。

在第二拍摄图像中存在与通常不同的运动的所持物的情况下(S202：是)，事故判定部104判定为发生了人物的跌倒事故(S210)。在该情况下，警报输出部105输出警报信息(S211)。然后，本处理结束。

在第二拍摄图像中不存在与通常不同的运动的所持物的情况下(S202：否)，事故判定部104判定为没有发生人物的跌倒事故(S212)。然后，本处理结束。需要说明的是，事故检测装置20可以在每次图像接收部101接收拍摄图像时执行本处理。

根据上述处理，能够基于人物和所持物中的至少一方的运动来判定是否发生了人物的跌倒事故。因此，即使对于例如像图2的(C)所示那样的被跟前的人物遮挡而无法检测运动或姿势的深处的人物，也能够检测到其跌倒。

需要说明的是，图5所示的处理为一个例子。例如，事故判定部104也可以先进行S202的判定，接着进行S201的判定。或者，事故判定部104也可以对第二拍摄图像统一进行S201和S202的判定。

<显示处理部的细节>

接下来，参照图6对显示处理部106的细节进行说明。显示处理部106生成图6所示那样的用于事故确认的UI(以下称为“事故确认UI”)300，以图像的状态输出到监视器50。另外，显示处理部106处理监视器50的观察者对事故确认UI300的输入操作。

如图6所示，事故确认UI300包括警报显示区域301、警报停止按钮302、事故图像区域303、事故图像操作按钮304、实时图像区域305和事故历史区域306。

显示处理部106在从警报输出部105输出了警报信息的情况下，在警报显示区域301显示该警报信息。由此，观察者能够立即识别事故的发生。需要说明的是，此时，可以从扬声器40输出警报音。

显示处理部106在警报停止按钮302被按下的情况下停止警报显示区域301中的警报信息的显示。另外，停止来自扬声器40的警报音的输出。

显示处理部106在从警报输出部105输出了警报信息的情况下，在事故图像区域303显示由事故判定部104判定为事故发生的第二拍摄图像(静止图像)。由此，观察者能够确认事故发生时的状况。

显示处理部106根据事故图像操作按钮304的操作，将事故图像区域303的拍摄图像以动态图像进行再生、停止、倒带以及快进。由此，观察者能够确认包含事故发生时刻的前后的状况。另外，在显示画面为触摸面板的情况下，可以通过点击事故图像来进行回溯，从规定时间(5秒左右)前起自动地再生动态图像。

显示处理部106在从警报输出部105输出了警报信息的情况下，在实时图像区域305显示拍摄了第二拍摄图像的监控摄像机10的当前(实时的)拍摄图像。由此，观察者能够确认事故发生的地点的当前的状况。需要说明的是，在实时图像区域305中，能够显示动态图像和以规定周期(10秒左右)更新的静止图像中的任一实时图像。

显示处理部106在事故历史区域306显示过去在检测到事故发生的地点发生的事故的信息(以下称为“事故历史信息”)。由此，观察者能够分析在该地点发生的事故。事故历史信息中可以包含事故的发生时刻、检测到事故的监控摄像机10的识别编号以及事故内容。

需要说明的是，事故内容可以包括跌倒的人物是否持有所持物的信息。另外，事故内容可以包括跌倒的人物所持有的所持物的种类。由此，观察者能够详细地分析事故发生的原因。

<变形例>

在上述中，以人物的跌倒事故为例进行了说明，但事故检测装置20也可以检测与人物的跌倒不同的事故。例如，事故检测装置20也可以检测物体的跌倒和跌落的事故。

另外，图2和图6所示的自动扶梯的乘坐位置的拍摄图像为一个例子，也可以是自动扶梯的中途位置和下梯位置等任何地点的拍摄图像。另外，如上所述，也可以是楼梯和斜坡这样的与自动扶梯不同的地点的拍摄图像。

另外，在图2和图6中，示出了由跟前的人物遮挡深处的人物的例子，但遮挡深处的人物的例子不限于此。例如，也可以考虑由于存在于跟前的物体遮挡深处的人物的情况。

<本发明的总结>

在本发明中，事故检测装置20具备：使用监控摄像机10的拍摄图像，检测人物和该人物所持有的物体即所持物的所持物检测部103；以及基于监控摄像机10的拍摄图像中的人物和所持物的运动，判定是否发生事故的事故判定部104。由此，能够基于人物和所持物的运动来判定是否发生了事故，因此能够减少事故发生的检测遗漏。

在事故判定部104基于人物的运动判定为没有发生事故的情况下，可以基于所持物的运动来进行事故的判定。由此，在基于人物的运动的事故检测处理中没有检测到事故的情况下，执行基于所持物的运动的事故检测处理，因此减轻了事故判定部104中的处理负荷。

事故检测装置20可以具备显示处理部106，该显示处理部106生成事故确认UI300并输出到监视器50。在事故判定部104判定为发生了事故的情况下，显示处理部106可以将表示事故发生的信息、用于该判定的拍摄图像和拍摄了用于该判定的拍摄图像的监控摄像机10正在拍摄的图像(实时图像)中的至少1个输出到监视器50。由此，监视器50的观察者能够立即注意到事故的发生，迅速地确认事故的状况。

另外，在事故判定部104判定为发生了事故的情况下，显示处理部106可以针对该判定所使用的图像中拍摄到的地点，将与过去在该地点发生的事故有关的信息(事故历史信息)输出到监视器50。由此，监视器50的观察者能够详细地分析事故发生的原因。

事故判定部104在事故发生的判定中使用的拍摄图像可以是拍摄到所持物检测部103在所持物的检测中使用的拍摄图像之后拍摄的图像。另外，拍摄所持物检测部103在所持物的检测中使用的拍摄图像的监控摄像机10可以与拍摄事故判定部104在事故发生的判定中使用的拍摄图像的监控摄像机不同。由此，能够提高所持物的检测精度，其结果能够降低事故发生的检测遗漏。

需要说明的是，在上述说明中，“事故”可以替换为“危险现象”和“事件”这样的用语。另外，在上述中，“确定”、“判定”和“判断”这样的用语可以相互替换。

以上，参照附图对本发明的实施方式进行了详细描述，但上述事故检测装置20的功能可以通过计算机程序实现。

图7是表示通过程序实现各装置的功能的计算机的硬件构成的图。该计算机2100具备：键盘或鼠标、触摸板等输入装置2101、显示器或扬声器等输出装置2102、CPU(CentralProcessing Unit：中央处理器)2103、ROM(Read Only Memory：只读存储器)2104、RAM(Random Access Memory：随机存取存储器)2105、硬盘装置或SSD(Solid State Drive：固态驱动器)等存储装置2106、从DVD-ROM(Digital Versatile Disk Read Only Memory：数字多功能磁盘只读存储器)或USB(Universal Serial Bus：通用串行总线)存储器等记录介质读取信息的读取装置2107、经由网络30进行通信的收发装置2108。各部通过总线2109连接。

而且，读取装置2107从记录有用于实现上述各装置的功能的程序的记录介质中读取该程序，并存储于存储装置2106。或者，收发装置2108与连接于网络30的服务器装置进行通信，将从服务器装置下载的用于实现上述各装置的功能的程序存储于存储装置2106。

而且，CPU2103将存储装置2106中存储的程序复制到RAM2105，从RAM2105依次读出并执行该程序中包含的命令，由此实现上述各装置的功能。

需要说明的是，图3所示的功能性构成和图7所示的硬件构成是一个例子，也可以以能够相互通信的多个装置相互协作的形式实现。作为这样的结构的一个例子，可以考虑由进行一部分处理的边缘计算机和进行其他处理的云服务器构成的结构等。在该情况下，可以由云服务器执行可以在其他系统中利用的处理和/或相对高负荷的处理，例如人物的检测、所持物的检测等。

在2019年3月19日提出的日本专利申请特愿2019-051409中包含的说明书、附图及摘要的公开内容全部引用于本申请。

工业实用性

本发明的一个方式对检测事故的系统是有用的。

附图标记说明

1 事故检测系统

10 监控摄像机

20 事故检测装置

30 网络

40 扬声器

50 监视器

101 图像接收部

102 人物检测部

103 所持物检测部

104 事故判定部

105 警报输出部

106 显示处理部

107 管理表

Claims

1.一种事故检测装置，其具备：

检测部，其使用摄像机装置拍摄到的图像，检测人物和该人物所持有的物体即所持物；以及

判定部，其基于摄像机装置拍摄到的图像中的所述人物和所述所持物的运动，判定是否发生了事故。

2.如权利要求1所述的事故检测装置，其中，

所述判定部在基于所述人物的运动判定为没有发生事故的情况下，基于所述所持物的运动进行事故的判定。

3.如权利要求1或2所述的事故检测装置，其中，

具备显示处理部，所述显示处理部在所述判定部判定为发生了事故的情况下，输出用于该判定的图像。

4.如权利要求1或2所述的事故检测装置，其中，

具备显示处理部，所述显示处理部在所述判定部判定为发生了事故的情况下，针对拍摄了用于该判定的图像的摄像机装置，将该摄像机装置正在拍摄的图像输出。

5.如权利要求1或2所述的事故检测装置，其中，

具备显示处理部，所述显示处理部在所述判定部判定为发生了事故的情况下，针对该判定所使用的图像中拍摄到的地点，输出与过去在该地点发生的事故相关的信息。

6.如权利要求1～5中任一项所述的事故检测装置，其中，

所述判定部在所述事故的发生的判定中使用的图像是在拍摄到所述检测部在所述所持物的检测中使用的图像之后拍摄到的图像。

7.如权利要求1～6中任一项所述的事故检测装置，其中，

拍摄所述检测部在所述所持物的检测中使用的图像的摄像机装置与拍摄所述判定部在所述事故的发生的判定中使用的图像的摄像机装置不同。

8.如权利要求1～7中任一项所述的事故检测装置，其中，

所述判定部在从所述图像中检测到所述所持物的跌倒或掉落的运动的情况下，判定为发生了所述事故。

9.一种事故检测方法，包括以下步骤：

事故检测装置使用摄像机装置拍摄到的图像，检测人物和该人物所持有的物体即所持物，

基于摄像机装置拍摄到的图像中的所述人物和所述所持物的运动，判定是否发生了事故。