CN107331118A - 跌倒检测方法及装置 - Google Patents

跌倒检测方法及装置 Download PDF

Info

Publication number
CN107331118A
CN107331118A CN201710542940.7A CN201710542940A CN107331118A CN 107331118 A CN107331118 A CN 107331118A CN 201710542940 A CN201710542940 A CN 201710542940A CN 107331118 A CN107331118 A CN 107331118A
Authority
CN
China
Prior art keywords
target area
motion target
region
interference region
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201710542940.7A
Other languages
English (en)
Other versions
CN107331118B (zh
Inventor
刘干
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhejiang Uniview Technologies Co Ltd
Original Assignee
Zhejiang Uniview Technologies Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhejiang Uniview Technologies Co Ltd filed Critical Zhejiang Uniview Technologies Co Ltd
Priority to CN201710542940.7A priority Critical patent/CN107331118B/zh
Publication of CN107331118A publication Critical patent/CN107331118A/zh
Application granted granted Critical
Publication of CN107331118B publication Critical patent/CN107331118B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G08SIGNALLING
    • G08BSIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B21/00Alarms responsive to a single specified undesired or abnormal condition and not otherwise provided for
    • G08B21/02Alarms for ensuring the safety of persons
    • G08B21/04Alarms for ensuring the safety of persons responsive to non-activity, e.g. of elderly persons
    • G08B21/0407Alarms for ensuring the safety of persons responsive to non-activity, e.g. of elderly persons based on behaviour analysis
    • G08B21/043Alarms for ensuring the safety of persons responsive to non-activity, e.g. of elderly persons based on behaviour analysis detecting an emergency event, e.g. a fall
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20Movements or behaviour, e.g. gesture recognition
    • G06V40/23Recognition of whole body movements, e.g. for sport training
    • GPHYSICS
    • G08SIGNALLING
    • G08BSIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B21/00Alarms responsive to a single specified undesired or abnormal condition and not otherwise provided for
    • G08B21/02Alarms for ensuring the safety of persons
    • G08B21/04Alarms for ensuring the safety of persons responsive to non-activity, e.g. of elderly persons
    • G08B21/0438Sensor means for detecting
    • G08B21/0476Cameras to detect unsafe condition, e.g. video cameras

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Gerontology & Geriatric Medicine (AREA)
  • Emergency Management (AREA)
  • Business, Economics & Management (AREA)
  • Multimedia (AREA)
  • Psychiatry (AREA)
  • Social Psychology (AREA)
  • Psychology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Human Computer Interaction (AREA)
  • Theoretical Computer Science (AREA)
  • Image Analysis (AREA)

Abstract

本发明提供一种跌倒检测方法及装置,方法包括:基于预设背景模型从采集到的待测图像中提取出前景区域;根据预设规则确定前景区域中的干扰区域;删除干扰区域,得到待测区域;通过深度学习网络模型对待测图像中的该待测区域进行处理,以检测待测图像中是否包括处于跌倒状态的人。通过上述设计,在剔除前景区域中的干扰区域后再通过深度学习网络模型进行检测,在够提高检测效率基础上,提高了检测结果的准确性。

Description

跌倒检测方法及装置
技术领域
本发明涉及监控技术领域,具体而言,涉及一种跌倒检测方法及装置。
背景技术
现有的跌倒检测方法,通常采用背景建模方法从采集到的待测图像中提取出前景图像,并直接根据前景图像建模判断是否有人跌倒。然而,待测图像中通常会存在很多干扰信息,提取到的前景图像与实际要检测的处于跌倒状态的人的图像之间存在较大差距,导致最终得到的检测结果并不准确。
发明内容
有鉴于此,本发明实施例的目的在于提供一种跌倒检测方法及装置,以改善上述问题。
为了达到上述目的,本发明实施例提供一种跌倒检测方法,所述方法包括:
基于预设背景模型从采集到的待测图像中提取出前景区域;
根据预设规则确定所述前景区域中的干扰区域;
删除所述干扰区域,得到待测区域;
通过深度学习网络模型对所述待测图像中的所述待测区域进行处理,以检测所述待测图像中是否包括处于跌倒状态的人的图像。
可选地,在上述方法中,所述前景区域包括至少一个运动目标区域;根据预设规则确定所述前景区域中的干扰区域的步骤,包括:
根据所述至少一个运动目标区域与所述待测图像中的预设区域的相对位置关系确定所述至少一个运动目标区域是否为干扰区域;和/或
根据所述至少一个运动目标区域的尺寸确定所述至少一个运动目标区域是否为干扰区域;和/或
根据所述待测图像之前的图像帧中的所述至少一个运动目标区域与所述待测图像中的所述至少一个运动目标区域的相似度确定所述至少一个运动目标区域是否为干扰区域。
可选地,在上述方法中,根据所述至少一个运动目标区域与所述待测图像中的预设区域的相对位置关系确定所述至少一个运动目标区域是否为干扰区域的步骤,包括:
检测所述至少一个运动目标区域是否位于所述待测图像的预设区域内;
若不位于所述预设区域内,则确定所述至少一个运动目标区域为干扰区域。
可选地,在上述方法中,根据所述至少一个运动目标区域的尺寸确定所述至少一个运动目标区域是否为干扰区域的步骤,包括:
计算所述至少一个运动目标区域的外接矩形的高度、宽度以及所述高度与宽度的比值;
在所述高度未达到预设高度、所述宽度未达到预设宽度或所述高度与宽度的比值未达到预设比值时确定所述至少一个运动目标区域为干扰区域。
可选地,在上述方法中,所述预设高度等于所述预设宽度。
可选地,在上述方法中,所述预设比值为所述预设宽度与所述预设高度的比值。
可选地,在上述方法中,根据所述待测图像之前的图像帧中的所述至少一个运动目标区域与所述待测图像中的所述至少一个运动目标区域的相似度确定所述至少一个运动目标区域是否为干扰区域的步骤,包括:
计算所述待测图像之前的预设数量帧图像中的所述至少一个运动目标区域与所述待测图像中的所述至少一个运动目标区域的相似度,得到所述预设数量个相似度;
在所述预设数量个相似度分别达到相似度阈值时,确定所述至少一个运动目标区域为干扰区域。
可选地,在上述区域中,所述相似度通过归一化互信息表征。
本发明实施例还提供一种跌倒检测装置,所述跌倒检测装置包括:
前景区域提取模块,用于基于预设背景模型从采集到的待测图像中提取出前景区域;
干扰区域确定模块,用于根据预设规则确定所述前景区域中的干扰区域;
干扰区域删除模块,用于删除所述干扰区域,得到待测区域;
跌倒检测模块,用于通过深度学习网络模型对所述待测图像中的所述待测区域进行处理,以检测所述待测图像中是否包括处于跌倒状态的人的图像。
可选地,在上述装置中,所述前景区域包括至少一个运动目标区域;所述干扰区域确定模块包括:
第一确定子模块,用于根据所述至少一个运动目标区域与所述待测图像中的预设区域的相对位置关系确定所述至少一个运动目标区域是否为干扰区域;和/或
第二确定子模块,用于根据所述至少一个运动目标区域的尺寸确定所述至少一个运动目标区域是否为干扰区域;和/或
第三确定子模块,用于根据所述待测图像之前的图像帧中的所述至少一个运动目标区域与所述待测图像中的所述至少一个运动目标区域的相似度确定所述至少一个运动目标区域是否为干扰区域。
本发明实施例提供的跌倒检测方法及装置,基于预设背景模型从采集到的待测图像中提取出前景区域,剔除前景区域中的干扰区域得到待测区域,通过深度学习网络模型对待测图像中的待测区域进行处理,以检测待测图像中是否包括处于跌倒状态的人的图像。通过上述设计,一方面,只需要对剔除干扰区域后的待测区域进行检测,减少了需要检测的信息量,提高了检测效率。另一方面,通过深度学习网络模型对剔除干扰区域后的待测区域进行检测,能够提高检测结果的准确性。
附图说明
为了更清楚地说明本发明实施例的技术方案,下面将对实施例中所需要使用的附图作简单地介绍,应当理解,以下附图仅示出了本发明的某些实施例,因此不应被看作是对范围的限定,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他相关的附图。
图1为本发明实施例提供的一种监控系统的连接框图。
图2为本发明实施例提供的一种处理装置的方框示意图。
图3为本发明实施例提供的一种跌倒检测方法的流程示意图。
图4为本发明实施例提供的一种深度学习网络模型的示意图。
图5为本发明实施例提供的一种跌倒检测装置的功能模块框图。
图标:10-监控系统;100-处理装置;110-跌倒检测装置;111-前景区域提取模块;112-干扰区域确定模块;113-干扰区域删除模块;114-跌倒检测模块;120-存储器;130-处理器;140-检测单元;150-通信单元;200-图像采集装置;300-网络。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚,下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例是本发明一部分实施例,而不是全部的实施例。通常在此处附图中描述和展示的本发明实施例的组件可以以各种不同的配置来布置和设计。
因此,以下对在附图中提供的本发明的实施例的详细描述并非旨在限制要求保护的本发明的范围,而是仅仅表示本发明的选定实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
应注意到:相似的标号和字母在下面的附图中表示类似项,因此,一旦某一项在一个附图中被定义,则在随后的附图中不需要对其进行进一步定义和解释。
如图1所示,是本发明实施例提供的一种监控系统10的连接框图,所述监控系统10包括处理装置100及图像采集装置200,所述处理装置100与图像采集装置200可通过网络300进行通信,以实现数据通讯或交互。所述网络300可以是,但不限于,有线网络或无线网络。
其中,图像采集装置200指具有图像或视频采集功能的设备,例如,摄像机、摄像头等。所述处理装置100可以是独立的装置,例如服务器等,也可以是所述图像采集装置200中的子装置。
如图2所示,是本发明实施例提供的一种处理装置100的方框示意图。所述处理装置100包括跌倒检测装置110、存储器120、处理器130、检测单元140以及通信单元150。
所述存储器120、处理器130、检测单元140以及通信单元150各元件相互之间直接或间接地电性连接,以实现数据的传输或交互。例如,这些元件相互之间可通过一条或多条通讯总线实现电性连接。所述跌倒检测装置110包括至少一个可以软件或固件(firmware)的形式存储于所述存储器120中或固化在所述处理装置100的操作系统中的功能模块。其中,所述存储器120可以是,但不限于,随机存取存储器(Random Access Memory,RAM),只读存储器(Read Only Memory,ROM),可编程只读存储器(Programmable Read-Only Memory,PROM),可擦除只读存储器(Erasable Programmable Read-Only Memory,EPROM),电可擦除只读存储器(Electric Erasable Programmable Read-Only Memory,EEPROM)等。
所述处理器130可以是一种集成电路芯片,具有信息处理能力。所述处理器130可以是通用处理器,包括中央处理器(Central Processing Unit,简称CPU)、网络处理器(Network Processor,简称NP)等。还可以是数字信号处理器(DSP)、专用集成电路(ASIC)、现场可编程门阵列(FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。可以实现或者执行本发明实施例中公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
所述存储器120可用于存储软件程序、模块以及采集到的图像信息,所述处理器130在接收到执行指令后,执行存储在存储器120中的软件程序及模块,从而执行相应的功能应用及信息处理。
所述检测单元140可以为图像传感器,所述通信单元150用于通过网络300建立与外部设备(如图像采集装置200)之间的通信连接。
可以理解,图2所示的结构仅为示意,所述处理装置100还可包括比图2所示更多或更少的组件,或具有与图2所示不同的配置。此外,图2所示的各组件可采用硬件、软件或其组合实现。
本发明实施例提供的跌倒检测方法及装置,可用于对监控图像进行检测,以判断监控范围内是否有处于跌倒状态的人。
如图3所示,是本发明实施例提供的一种跌倒检测方法的流程示意图,所述跌倒检测方法可应用于图1所示的监控系统10。下面将对图3所示的具体流程及步骤作详细阐述。
步骤S101,基于预设背景模型从采集到的待测图像中提取出前景区域。
在本实施例中,所述预设背景模型可通过现有的多种方式建立,例如混合高斯背景建模、基于码本(cookbook)背景建模及基于帧差背景建模等。
以混合高斯背景建模为例,对某一场景的监控图像,监控图像中在一段时间内相对静止的区域即为背景,所述背景中的每一像素点在一段时间内可用高斯分布表示。对于扰动因素较多的情况,为了描述准确,可以为每个像素建立多个模式,每个模式用一种高斯模型表示。也即,可通过多个(通常为3~5个)高斯模型的加权叠加来表示每一像素点。
采用该场景的一段帧数的监控图像来对上述模型进行训练,剔除该场景中的动态因素,从而得到该场景的背景图像的混合高斯模型。
实施时,可将采集到的待测图像的每一像素点与训练得到的混合高斯模型进行匹配,若匹配成功,则该像素点为背景像素点,若匹配失败,则该像素点为前景像素点。匹配完成后,得到的各前景像素点组成所述前景区域。基于上述分析可知,最终得到的前景区域为待测图像中可能发生变化的区域。
确定所述待测图像中的前景区域后,可将该前景区域提取出来,剩余部分即为背景区域。为了便于后续处理,在本实施例中,可计算出所述前景区域的外接矩形,并将所述待测图像中的所述外接矩形所在范围作为所述前景区域提取出来进行后续处理。
由于监控范围内有人跌倒的区域必然是采集到的监控图像中会发生变化的区域,若监控图像中某一区域在一段时间内未发生变化,则说明该区域中没有人运动,也就不会有人跌倒。因而,在本实施例中,将可能发生变化的区域作为前景区域提取出来,并仅对前景区域进行处理以检测是否有处于跌倒状态的人的图像,不会导致检测结果不准确。相对地,仅对前景区域进行处理可以降低后续检测的数据处理量,大大提高了检测效率。
然而,经发明人研究发现,采用背景建模提取前景区域的时候,除了所述目标的状态变化之外,光照变化等任何变化都会体现到前景区域中。也即,通过背景建模提取出的前景区域中可能包括需要检测的目标所在区域,也可能包括其他干扰发生的区域。若将其他干扰发生的区域从所述前景区域中剔除,可以进一步提高检测的效率。并且,由于检测前会剔除干扰区域,监控场景除所述目标的变化之外的其他变化因素不会对检测结果造成影响,鲁棒性更好。
步骤S102,根据预设规则确定所述前景区域中的干扰区域。
根据实际情况,一个监控场景内发生变化的地方可能有多处,各个变化的地方可能在该监控场景的不同位置。因此,在本实施例中,所述前景区域包括至少一个运动目标区域,所述运动目标区域可理解为一个发生变化的区域。
可选地,所述前景区域中可以包括一个运动目标区域、两个运动目标区域或多个运动目标区域。通常,所述前景区域中会包括几百个运动目标区域,而所述几百个运动目标区域中大部分是干扰区域。因此,在实际应用中,将前景区域中的干扰区域剔除能够极大程度地降低数据处理量。
在本实施例中,所述步骤S102可通过多种方式实现。例如,所述步骤S102可包括第一子步骤:
根据所述至少一个运动目标区域与所述待测图像中的预设区域的相对位置关系确定所述至少一个运动目标区域是否为干扰区域。
作为一种实施方式,所述第一子步骤可通过如下步骤实现。
检测所述至少一个运动目标区域是否位于所述待测图像的预设区域内,若不位于所述预设区域内,则确定所述至少一个运动目标区域为干扰区域。
经发明人研究发现,在所述前景区域中,人只可能在其中某一些区域活动,例如,地板。而在另一些区域(如,墙壁、床等),人不可能在其中活动,也就不可能发生跌倒。
因而,在本实施例中,可以预先确定人可能活动的区域作为所述预设区域。在提取出前景区域后,可以检测前景区域中的运动目标区域是否在该预设区域内。也即,检测前景区域中的运动目标区域是否在人可能活动的区域内。若不在,表明该运动目标区域不可能是人的运动所导致的,也就不可能根据该运动目标区域检测到处于跌倒状态的人。因而,可以将该运动目标区域作为干扰区域。
又例如,所述步骤S102可包括第二子步骤:
根据所述至少一个运动目标区域的尺寸确定所述至少一个运动目标区域是否为干扰区域。
作为一种实施方式,所述第二子步骤可以通过如下步骤实现。
首先,计算所述至少一个运动目标区域的外接矩形的高度、宽度以及所述高度与所述宽度的比值。
然后,在所述高度未达到预设高度、所述宽度未达到预设宽度或所述高度与宽度的比值未达到预设比值时确定所述至少一个运动目标区域为干扰区域。
在本实施例中,所述预设高度、预设宽度及预设比值的具体数值可根据需要检测的目标的实际情况进行设置,本实施例对此并不限制。以上述检测室内是否有人跌倒为例,可通过统计得到人的最小宽度(如,20cm),并将所述最小宽度作为所述预设宽度。由于无论人处于哪种状态,其高度必然不会小于其宽度,因而,为了确保干扰区域确定的准确性,可将所述预设宽度作为所述预设高度,也即,所述预设高度等于所述预设宽度。
可选地,因为无论人处于何种状态,其高度与宽度的比值必然大于或等于宽度与高度的比值,所以,所述预设比值可以为所述预设宽度与统计得到的最小高度的比值。
又例如,所述步骤S102可包括第三子步骤:
根据所述待测图像之前的图像帧中的所述至少一个运动目标区域与所述待测图像中的所述至少一个运动目标区域的相似度确定所述至少一个运动目标区域是否为干扰区域。
作为一种实施方式,所述第二子步骤可通过如下步骤实现。
首先,计算所述待测图像之前的预设数量帧图像中的所述至少一个运动目标区域与所述待测图像中的所述至少一个运动目标区域的相似度,得到预设数量个相似度。
其中,所述待测图像之前的预设数量帧图像是指所述图像采集装置200在所述待测图像之前采集到的预设数量帧图像。
为了便于描述,本实施例中约定所述待测图像之前采集到的图像为第一图像,所述待测图像为第二图像。因而,上述步骤可理解为,选取预设数量帧第一图像,计算每一帧第一图像与所述第二图像之间的相似度,得到预设数量个相似度。也即,最终得到的相似度的数量与选取的第一图像的帧数相同。
在本实施例中,获取所述预设数量帧第一图像的方式有多种。作为一种实施方式,可以在所述待测图像的采集时刻之前预设时间段内选取所述预设数量帧第一图像,所述预设数量帧第一图像之间可以间隔一定时间。
为了确保检测的准确性,所述预设时间段可以为3~5分钟。其中,选取的预设数量帧图像中的每相邻两帧图像之间的时间间隔可以相同,例如,分别选择待测图像之前1分钟、2分钟、3分钟处的图像帧作为所述第一图像与所述第二图像进行比较。选取的预设数量帧第一图像中的每相邻两帧第一图像之间的时间间隔也可以不同,本实施例对此不做限制。所述预设数量可根据需要进行灵活设定。为了检测的准确性及计算效率,可将所述预设数量设置为2~5个,例如,3个。
可选地,在本实施例中,第一图像与第二图像的相似度可通过多种信息表征。例如,可通过所述第一图像与第二图像的归一化互信息表征。其中,所述第一图像与第二图像的归一化互信息可通过所述第一图像与第二图像的互信息以及所述第一图像和第二图像各自的信息熵计算得到。当计算得到归一化互信息值越大,表明用于计算的两幅图像的相似度越大。
又例如,可基于上述归一化互信息的计算方式进行改进,得到一种前背景隔离度量标准(Foreground Background Segregate Measure,FBSM),用于表征所述第一图像和第二图像中相同位置的运动目标区域之间的相似度。所述第一图像中的运动目标区域Flo和所述第二图像中与所述运动目标区域Flo位置相同的运动目标区域Ref的FBSM值计算过程如下:
首先,通过运动目标区域Flo与运动目标区域Ref的联合直方图计算得到所述运动目标区域Flo与运动目标区域Ref的联合概率分布:
其中,h(ri,fj)表示运动目标区域Ref和运动目标区域Flo的联合直方图,ri是运动目标区域Ref的第i级灰度值,fj是运动目标区域Flo的第j级灰度值,bin表示灰度级,p(ri,fj)表示运动目标区域Ref和运动目标区域Flo的联合概率分布。
然后,根据所述运动目标区域Flo和运动目标区域Ref的联合概率分布分别计算所述运动目标区域Ref的边缘概率分布和所述运动目标区域Flo的边缘概率分布。
其中,p(ri)表示运动目标区域Ref的边缘概率分布,p(fj)表示运动目标区域Flo的边缘概率分布。
最后,可根据运动目标区域Flo和运动目标区域Ref的联合概率分布以及所述运动目标区域Flo和运动目标区域Ref各自的边缘概率分布计算得到所述运动目标区域Flo和运动目标区域Ref的FBSM值。
详细地,所述运动目标区域Flo和运动目标区域Ref的FBSM值可通过以下计算式计算得到:
当计算得到的FBSM值越大,表明用于计算的运动目标区域Flo和运动目标区域Ref之间的相似度越大。
然后,在所述预设数量个相似度分别达到相似度阈值时,确定所述至少一个目标区域为干扰区域。
其中,所述相似度阈值可根据需求进行灵活设定,通常会根据统计数据进行设定。
在本实施例中,针对每个运动目标区域,当用于计算的多个第一图像中的该运动目标区域与所述第二图像中的该运动目标区域的相似度均达到相似度阈值时,表明所述第二图像与所述多个第一图像都极为相似,而所述多个第一图像是在所述第二图像之前采集到的图像,如此可知,待测图像中的该运动目标区域相对于之前的图像中的该运动目标区域变化不大,可以将其作为干扰区域。
又例如,所述步骤S102可以同时包括第一子步骤、第二子步骤或第三子步骤中的至少两个子步骤。并且,在本实施例中,当所述步骤S102包含的子步骤个数大于一个时,对各子步骤的执行顺序不作限定。
以所述步骤S102包括第二子步骤和第三子步骤为例,实施时,可以先针对所述前景区域执行第一子步骤以确定第一干扰区域,再针对所述前景区域中除所述第一干扰区域之外的区域执行第二子步骤,以确定第二干扰区域,并将所述第一干扰区域和第二干扰区域作为所述干扰区域。
也可以先针对所述前景区域执行第二子步骤,以确定所述前景区域中的第三干扰区域,再针对所述前景区域中除所述第三干扰区域之外的区域执行所述第一子步骤,以确定第四干扰区域,并将所述第三干扰区域和第四干扰区域作为所述干扰区域。
步骤S103,删除所述干扰区域,得到待检测区域。
在本实施例中,删除所述前景区域中的所述干扰区域后,得到的待检测区域即为所述待测图像中可能包括处于跌倒状态的人的图像。也即,在待测图像中如果存在处于跌倒状态的人的图像,那么,所述处于跌倒状态的人的图像存在于所述待测区域中。
步骤S104,通过深度学习网络模型对所述待测图像中的所述待测区域进行处理,以检测所述待测图像中是否包括处于跌倒状态的人。
其中,所述深度学习网络模型是训练好的深度学习网络模型,训练是指对包含大量的人跌倒情形的图像和其他非跌倒时(如,站立、坐、弯腰、蹲下等)的图像进行匹配训练。如此,将所述待测图像中的所述待测区域通过训练好的深度学习网络模型进行处理,可以匹配出该待测区域的图像是否包括处于跌倒状态的人。
需要说明的是,通过背景建模方法提取出的前景区域、确定干扰区域及删除干扰区域的计算过程直接得到的通常是二值图像,需要将该二值图像映射到所述待测图像中的对应区域,再将待测图像中的该区域作为所述待测区域。也即,所述待测区域是原始的待测图像上除背景区域、干扰区域之外的区域。
在本实施例中,可通过多种训练好的深度学习网络模型对所述待测图像进行处理。例如图4所示的深度学习网络模型,所述深度学习网络模型包括多层结构,其中,第一层为数据层data,包括进行训练所需的所有图像数据信息(如,图像数据的格式、每次可处理的图像数据量及是否对图像数据进行尺度变换等)。所述数据层data用于输出图像数据给第二层使用。
第二层为包括卷积层conv1及设置于所述卷积层conv1之后的非线性映射层relu1,所述卷积层conv1用于对输入的图像数据(即,所述待测图像的待测区域)进行第一次卷积操作。其中,卷积所使用的卷积核可根据需求进行选择。所述非线性映射层实现非线性映射的方式可以有多种,例如Sigmoid、Tanh、ReLU、Leaky ReLU、ELU及Maxout等。作为一种实施方式,本实施例中可选用ReLU,其数学表达式为f(x)=max(0,x),也即,针对卷积出来的结果,若小于0,则舍弃。
第三层包括卷积层conv2和非线性映射层relu2,其中,卷积层conv2用于对卷积层conv1的卷积结果进行第二次卷积操作,费线性映射层relu2用于对卷积层conv2的卷积结果进行非线性映射,具体实现过程与第二层类似。
第四层为池化层pool1,用于对第三层输出的结果进行降采样操作,以降低图像大小,进而加快处理速度。通常,可采用Max pooling、average pooling等方法进行池化,作为一种实施方式,本实施例采用Max pooling进行池化。
所述深度学习网络模型的第五层、第六层均是卷及操作和非线性操作,其具体实现过程与第二层类似。第七层是池化层,其具体实现过程与第四层类似。
第八层包括全连接层ip1、非线性映射层relu5和随机失活层drop,全连接层是一种特殊的卷积层,即在全连接层中,上一层的神经元和下一层的每个神经元都是有联系的,而在卷积层中,上一层的神经元并非和下一层的每个神经元都有联系。在全连接层ip1做好卷积操作后,还需通过非线性映射层relu5对卷积结果进行非线性映射,并对非线性映射的结果做随机失活,以防止训练的网络300出现过拟合现象。随机失活的具体操作为随机地关闭一些神经元,让其不再作用于下一层神经元。
所述深度学习网络模型的第九层为全连接层ip2,其具体实现过程与第八层的全连接层ip1类似,但在这一层不进行非线性映射和随机失活。所述深度学习网络模型的最后一层位偏差计算层loss,用于计算所述深度学习网络模型计算出来的值与真实值的偏差,所述偏差通常可采用L0正则化、Lasso、Ridge等方法进行计算。
需要说明的是,图4所示的深度学习网络模型只是其中一种优选方式,通过现有的其他深度学习网络模型也可实现本实施例的检测过程。图4所示的深度学习网络模型相对于现有的其他深度学习网络模型,在保证准确性的前提下减少层数,大大降低了计算量,提高了检测效率。
如图5所示,是本发明实施例提供的一种跌倒检测装置110。所述跌倒检测装置110包括前景区域提取模块111、干扰区域确定模块112、干扰区域删除模块113以及跌倒检测模块114。
其中,所述前景区域提取模块111用于基于预设背景模型从采集到的待测图像中提取出前景区域。
在本实施例中,关于所述前景区域提取模块111的描述具体可参考对图3所示步骤S101的详细描述,也即,所述步骤S101可由所述前景区域提取模块111执行。
所述干扰区域确定模块112用于根据预设规则确定所述前景区域中的干扰区域。
在本实施例中,关于所述干扰区域确定模块112的描述具体可参考对图3所示步骤S102的详细描述,也即,所述步骤S102可由所述干扰区域确定模块112执行。
所述干扰区域删除模块113用于删除所述干扰区域,得到待测区域。
在本实施例中,关于所述干扰区域删除模块113的描述具体可参考对图3所示步骤S103的详细描述,也即,所述步骤S103可由所述干扰区域删除模块113执行。
所述跌倒检测模块114用于通过深度学习网络模型对所述待测图像中的所述待测区域进行处理,以检测所述待测图像中是否包括处于跌倒状态的人的图像。
在本实施例中,关于所述跌倒检测模块114的描述具体可参考对图3所示步骤S104的详细描述,也即,所述步骤S104可由所述跌倒检测模块114执行。
可选地,在本实施例中,所述干扰区域确定模块112可以包括第一确定子模块和/或第二确定子模块和/或第二确定子模块,也即,可包括第一确定子模块、第二确定子模块或第三确定子模块中的至少一个。
其中,所述第一确定子模块用于根据所述至少一个运动目标区域与所述待测图像中的预设区域的相对位置关系确定所述至少一个运动目标区域是否为干扰区域。
可选地,在本实施例中,所述第一确定子模块根据所述至少一个运动目标区域与所述待测图像中的预设区域的相对位置关系确定所述至少一个运动目标区域是否为干扰区域的方式可以包括:
检测所述至少一个运动目标区域是否位于所述待测图像的预设区域内,若不位于所述预设区域内,则确定所述至少一个运动目标区域为干扰区域。
其中,所述预设区域可以是预先划定的监控范围内人可能活动的区域。关于所述第一确定子模块的描述具体可参考上述内容中对相关步骤的详细描述。
所述第二确定子模块用于根据所述至少一个运动目标区域的尺寸确定所述至少一个运动目标区域是否为干扰区域。
可选地,在本实施例中,所述第二确定子模块根据所述至少一个运动目标区域的尺寸确定所述至少一个运动目标区域是否为干扰区域的方式,可以包括:
计算所述至少一个运动目标区域的外接矩形的高度、宽度以及所述高度与宽度的比值,在所述高度未达到预设高度、所述宽度未达到预设宽度或所述高度与宽度的比值未达到预设比值时确定所述至少一个运动目标区域为干扰区域。
其中,所述预设高度可以等于所述预设宽度。在本实施例中,关于所述第二确定子模块的描述具体可参考上述内容中的相关描述。
所述第三确定子模块用于根据待测图像之前的图像帧中的所述至少一个运动目标区域与所述待测图像中的所述至少一个运动目标区域的相似度确定所述至少一个运动目标区域是否为干扰区域。
可选地,在本实施例中,所述第三确定子模块根据所述待测图像之前的图像帧中的所述至少一个运动目标区域与所述待测图像中的所述至少一个运动目标区域的相似度确定所述至少一个运动目标区域是否为干扰区域的方式,可以包括:
计算所述待测图像之前的预设数量帧图像中的所述至少一个运动目标区域与所述待测图像中的所述至少一个运动目标区域的相似度,得到所述预设数量个相似度,在所述预设数量个相似度分别达到相似度阈值时,确定所述至少一个运动目标区域为干扰区域。
在本实施例中,关于所述第三确定子模块具体可参考上述内容中的相关描述。
综上所述,本发明实施例提供的跌倒检测方法及装置,基于预设背景模型从采集到的待测图像中提取出前景区域,剔除前景区域中的干扰区域得到待测区域,通过深度学习网络模型对待测图像中的待测区域进行处理,以检测待测图像中是否包括处于跌倒状态的人。通过上述设计,一方面,只需要对剔除干扰区域后的待测区域进行检测,减少了需要检测的信息量,提高了检测效率。另一方面,通过深度学习网络模型对剔除干扰区域后的待测区域进行检测,能够提高检测结果的准确性。
在本发明实施例所提供的几个实施例中,应该理解到,所揭露的系统和方法,也可以通过其它的方式实现。以上所描述的系统和方法实施例仅仅是示意性的,例如,附图中的流程图和框图显示了根据本发明的多个实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上,流程图或框图中的每个方框可以代表一个模块、程序段或代码的一部分,所述模块、程序段或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意,在有些作为替换的实现方式中,方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如,两个连续的方框实际上可以基本并行地执行,它们有时也可以按相反的顺序执行,这依所涉及的功能而定。也要注意的是,框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合,可以用执行规定的功能或动作的专用的基于硬件的系统来实现,或者可以用专用硬件与计算机指令的组合来实现。
另外,在本发明各个实施例中的各功能模块可以集成在一起形成一个独立的部分,也可以是各个模块单独存在,也可以两个或两个以上模块集成形成一个独立的部分。
所述功能如果以软件功能模块的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储介质中。基于这样的理解,本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以使得一台计算机设备(可以是个人计算机,电子设备,或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括:U盘、移动硬盘、只读存储器(ROM,Read-Only Memory)、随机存取存储器(RAM,Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。需要说明的是,在本文中,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
以上所述仅为本发明的优选实施例而已,并不用于限制本发明,对于本领域的技术人员来说,本发明可以有各种更改和变化。凡在本发明的精神和原则之内,所作的任何修改、等同替换、改进等,均应包含在本发明的保护范围之内。

Claims (10)

1.一种跌倒检测方法,其特征在于,所述方法包括:
基于预设背景模型从采集到的待测图像中提取出前景区域;
根据预设规则确定所述前景区域中的干扰区域;
删除所述干扰区域,得到待测区域;
通过深度学习网络模型对所述待测图像中的所述待测区域进行处理,以检测所述待测图像中是否包括处于跌倒状态的人的图像。
2.根据权利要求1所述的跌倒检测方法,其特征在于,所述前景区域包括至少一个运动目标区域;根据预设规则确定所述前景区域中的干扰区域的步骤,包括:
根据所述至少一个运动目标区域与所述待测图像中的预设区域的相对位置关系确定所述至少一个运动目标区域是否为干扰区域;和/或
根据所述至少一个运动目标区域的尺寸确定所述至少一个运动目标区域是否为干扰区域;和/或
根据所述待测图像之前的图像帧中的所述至少一个运动目标区域与所述待测图像中的所述至少一个运动目标区域的相似度确定所述至少一个运动目标区域是否为干扰区域。
3.根据权利要求2所述的跌倒检测方法,其特征在于,根据所述至少一个运动目标区域与所述待测图像中的预设区域的相对位置关系确定所述至少一个运动目标区域是否为干扰区域的步骤,包括:
检测所述至少一个运动目标区域是否位于所述待测图像的预设区域内;
若不位于所述预设区域内,则确定所述至少一个运动目标区域为干扰区域。
4.根据权利要求2或3所述的跌倒检测方法,其特征在于,根据所述至少一个运动目标区域的尺寸确定所述至少一个运动目标区域是否为干扰区域的步骤,包括:
计算所述至少一个运动目标区域的外接矩形的高度、宽度以及所述高度与宽度的比值;
在所述高度未达到预设高度、所述宽度未达到预设宽度或所述高度与宽度的比值未达到预设比值时确定所述至少一个运动目标区域为干扰区域。
5.根据权利要求4所述的跌倒检测方法,其特征在于,所述预设高度等于所述预设宽度。
6.根据权利要求4所述的跌倒检测方法,其特征在于,所述预设比值为所述预设宽度与所述预设高度的比值。
7.根据权利要求2或3所述的跌倒检测方法,其特征在于,根据所述待测图像之前的图像帧中的所述至少一个运动目标区域与所述待测图像中的所述至少一个运动目标区域的相似度确定所述至少一个运动目标区域是否为干扰区域的步骤,包括:
计算所述待测图像之前的预设数量帧图像中的所述至少一个运动目标区域与所述待测图像中的所述至少一个运动目标区域的相似度,得到预设数量个相似度;
在所述预设数量个相似度分别达到相似度阈值时,确定所述至少一个运动目标区域为干扰区域。
8.根据权利要求7所述的跌倒检测方法,其特征在于,所述相似度通过归一化互信息表征。
9.一种跌倒检测装置,其特征在于,所述跌倒检测装置包括:
前景区域提取模块,用于基于预设背景模型从采集到的待测图像中提取出前景区域;
干扰区域确定模块,用于根据预设规则确定所述前景区域中的干扰区域;
干扰区域删除模块,用于删除所述干扰区域,得到待测区域;
跌倒检测模块,用于通过深度学习网络模型对所述待测图像中的所述待测区域进行处理,以检测所述待测图像中是否包括处于跌倒状态的人的图像。
10.根据权利要求9所述的跌倒检测装置,其特征在于,所述前景区域包括至少一个运动目标区域;所述干扰区域确定模块包括:
第一确定子模块,用于根据所述至少一个运动目标区域与所述待测图像中的预设区域的相对位置关系确定所述至少一个运动目标区域是否为干扰区域;和/或
第二确定子模块,用于根据所述至少一个运动目标区域的尺寸确定所述至少一个运动目标区域是否为干扰区域;和/或
第三确定子模块,用于根据所述待测图像之前的图像帧中的所述至少一个运动目标区域与所述待测图像中的所述至少一个运动目标区域的相似度确定所述至少一个运动目标区域是否为干扰区域。
CN201710542940.7A 2017-07-05 2017-07-05 跌倒检测方法及装置 Active CN107331118B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201710542940.7A CN107331118B (zh) 2017-07-05 2017-07-05 跌倒检测方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710542940.7A CN107331118B (zh) 2017-07-05 2017-07-05 跌倒检测方法及装置

Publications (2)

Publication Number Publication Date
CN107331118A true CN107331118A (zh) 2017-11-07
CN107331118B CN107331118B (zh) 2020-11-17

Family

ID=60196215

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710542940.7A Active CN107331118B (zh) 2017-07-05 2017-07-05 跌倒检测方法及装置

Country Status (1)

Country Link
CN (1) CN107331118B (zh)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108090458A (zh) * 2017-12-29 2018-05-29 南京阿凡达机器人科技有限公司 人体跌倒检测方法和装置
CN108182410A (zh) * 2017-12-28 2018-06-19 南通大学 一种联合目标区域定位和深度特征学习的跌倒识别算法
CN108363966A (zh) * 2018-01-30 2018-08-03 广东工业大学 一种室内跌倒检测方法及系统
WO2021018109A1 (zh) * 2019-08-01 2021-02-04 无锡海斯凯尔医学技术有限公司 组织感兴趣区域定位方法、装置、设备及存储介质
CN112634264A (zh) * 2020-12-30 2021-04-09 凌云光技术股份有限公司 一种基于前景的缺陷检测方法和系统
CN112669567A (zh) * 2020-12-18 2021-04-16 广东智源信达工程有限公司 养老监护报警与视频监控的联动控制方法及系统
CN117636404A (zh) * 2024-01-26 2024-03-01 贵州信邦富顿科技有限公司 基于非穿戴式设备的跌倒检测方法及系统

Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2002068921A2 (en) * 2001-02-22 2002-09-06 Trustees Of Boston University Patient monitoring system employing array of force sensors on a bedsheet or similar substrate
CN103020596A (zh) * 2012-12-05 2013-04-03 华北电力大学 一种基于块模型的电力生产中异常人体行为识别方法
US20130182904A1 (en) * 2012-01-17 2013-07-18 Objectvideo, Inc. System and method for video content analysis using depth sensing
CN103824307A (zh) * 2012-11-16 2014-05-28 浙江大华技术股份有限公司 一种确定无效运动目标像素的方法和装置
CN104091178A (zh) * 2014-07-01 2014-10-08 四川长虹电器股份有限公司 基于hog特征人体感知分类器的训练方法
CN104239865A (zh) * 2014-09-16 2014-12-24 宁波熵联信息技术有限公司 一种基于多级检测的行人检测与跟踪方法
CN105023001A (zh) * 2015-07-17 2015-11-04 武汉大学 一种基于选择性区域的多行人检测方法及系统
CN106503643A (zh) * 2016-10-18 2017-03-15 上海电力学院 人体跌倒检测方法
CN106571014A (zh) * 2016-10-24 2017-04-19 上海伟赛智能科技有限公司 一种在视频中识别异常动作的方法和系统
CN106710142A (zh) * 2017-01-20 2017-05-24 南京邮电大学 面向智能手机的摔倒行为视觉检测系统
CN106846729A (zh) * 2017-01-12 2017-06-13 山东大学 一种基于卷积神经网络的跌倒检测方法和系统

Patent Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2002068921A2 (en) * 2001-02-22 2002-09-06 Trustees Of Boston University Patient monitoring system employing array of force sensors on a bedsheet or similar substrate
US20130182904A1 (en) * 2012-01-17 2013-07-18 Objectvideo, Inc. System and method for video content analysis using depth sensing
CN103824307A (zh) * 2012-11-16 2014-05-28 浙江大华技术股份有限公司 一种确定无效运动目标像素的方法和装置
CN103020596A (zh) * 2012-12-05 2013-04-03 华北电力大学 一种基于块模型的电力生产中异常人体行为识别方法
CN104091178A (zh) * 2014-07-01 2014-10-08 四川长虹电器股份有限公司 基于hog特征人体感知分类器的训练方法
CN104239865A (zh) * 2014-09-16 2014-12-24 宁波熵联信息技术有限公司 一种基于多级检测的行人检测与跟踪方法
CN105023001A (zh) * 2015-07-17 2015-11-04 武汉大学 一种基于选择性区域的多行人检测方法及系统
CN106503643A (zh) * 2016-10-18 2017-03-15 上海电力学院 人体跌倒检测方法
CN106571014A (zh) * 2016-10-24 2017-04-19 上海伟赛智能科技有限公司 一种在视频中识别异常动作的方法和系统
CN106846729A (zh) * 2017-01-12 2017-06-13 山东大学 一种基于卷积神经网络的跌倒检测方法和系统
CN106710142A (zh) * 2017-01-20 2017-05-24 南京邮电大学 面向智能手机的摔倒行为视觉检测系统

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108182410A (zh) * 2017-12-28 2018-06-19 南通大学 一种联合目标区域定位和深度特征学习的跌倒识别算法
CN108090458A (zh) * 2017-12-29 2018-05-29 南京阿凡达机器人科技有限公司 人体跌倒检测方法和装置
WO2019128304A1 (zh) * 2017-12-29 2019-07-04 南京阿凡达机器人科技有限公司 人体跌倒检测方法和装置
CN108363966A (zh) * 2018-01-30 2018-08-03 广东工业大学 一种室内跌倒检测方法及系统
WO2021018109A1 (zh) * 2019-08-01 2021-02-04 无锡海斯凯尔医学技术有限公司 组织感兴趣区域定位方法、装置、设备及存储介质
CN112669567A (zh) * 2020-12-18 2021-04-16 广东智源信达工程有限公司 养老监护报警与视频监控的联动控制方法及系统
CN112634264A (zh) * 2020-12-30 2021-04-09 凌云光技术股份有限公司 一种基于前景的缺陷检测方法和系统
CN112634264B (zh) * 2020-12-30 2024-04-26 凌云光技术股份有限公司 一种基于前景的缺陷检测方法和系统
CN117636404A (zh) * 2024-01-26 2024-03-01 贵州信邦富顿科技有限公司 基于非穿戴式设备的跌倒检测方法及系统
CN117636404B (zh) * 2024-01-26 2024-04-16 贵州信邦富顿科技有限公司 基于非穿戴式设备的跌倒检测方法及系统

Also Published As

Publication number Publication date
CN107331118B (zh) 2020-11-17

Similar Documents

Publication Publication Date Title
CN107331118A (zh) 跌倒检测方法及装置
Picon et al. Deep convolutional neural networks for mobile capture device-based crop disease classification in the wild
EP3614308A1 (en) Joint deep learning for land cover and land use classification
Puissant et al. Object-oriented mapping of urban trees using Random Forest classifiers
CN109670452A (zh) 人脸检测方法、装置、电子设备和人脸检测模型
Ma et al. Real-time monitoring of water quality using temporal trajectory of live fish
CN109241871A (zh) 一种基于视频数据的公共区域人流跟踪方法
CN108615046A (zh) 一种储粮害虫检测识别方法及装置
CN109815770A (zh) 二维码检测方法、装置及系统
CN108921203A (zh) 一种指针式水表的检测与识别方法
Al-Huda et al. A hybrid deep learning pavement crack semantic segmentation
CN110348437A (zh) 一种基于弱监督学习与遮挡感知的目标检测方法
CN109583345A (zh) 道路识别方法、装置、计算机装置及计算机可读存储介质
Yuan et al. Learning to count buildings in diverse aerial scenes
CN106570874A (zh) 一种结合图像局部约束与对象全局约束的图像标记方法
Asefpour Vakilian et al. Performance evaluation of a machine vision system for insect pests identification of field crops using artificial neural networks
CN109492665A (zh) 水稻生育期的检测方法、装置及电子设备
CN107038416A (zh) 一种基于二值图像改进型hog特征的行人检测方法
Ngugi et al. A new approach to learning and recognizing leaf diseases from individual lesions using convolutional neural networks
Bai et al. An intelligent water level monitoring method based on SSD algorithm
Zhao et al. Remote sensing image segmentation based on the fuzzy deep convolutional neural network
Wan et al. Addressing location uncertainties in GPS‐based activity monitoring: A methodological framework
CN111639668A (zh) 一种基于深度学习的人群密度检测方法
Lin et al. An antagonistic training algorithm for TFT-LCD module mura defect detection
Zhang et al. A precise apple leaf diseases detection using BCTNet under unconstrained environments

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant