CN111753587B - 一种倒地检测方法及装置 - Google Patents

一种倒地检测方法及装置 Download PDF

Info

Publication number
CN111753587B
CN111753587B CN201910243052.4A CN201910243052A CN111753587B CN 111753587 B CN111753587 B CN 111753587B CN 201910243052 A CN201910243052 A CN 201910243052A CN 111753587 B CN111753587 B CN 111753587B
Authority
CN
China
Prior art keywords
information
frame
target object
target
classification information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201910243052.4A
Other languages
English (en)
Other versions
CN111753587A (zh
Inventor
郜巍
童超
车军
朱江
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hangzhou Hikvision Digital Technology Co Ltd
Original Assignee
Hangzhou Hikvision Digital Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hangzhou Hikvision Digital Technology Co Ltd filed Critical Hangzhou Hikvision Digital Technology Co Ltd
Priority to CN201910243052.4A priority Critical patent/CN111753587B/zh
Publication of CN111753587A publication Critical patent/CN111753587A/zh
Application granted granted Critical
Publication of CN111753587B publication Critical patent/CN111753587B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/103Static body considered as a whole, e.g. static pedestrian or occupant recognition

Landscapes

  • Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Image Analysis (AREA)
  • Alarm Systems (AREA)

Abstract

本申请提供一种倒地检测方法及装置,可以通过当前帧视频图像中检测出至少一类目标物体时,获取所述至少一类目标物体的分类信息、检测框信息和跟踪框信息;并基于分类信息、检测框信息、跟踪框信息以及当前帧视频图像,筛选出存在倒地状态的目标物体作为候选报警目标;再基于包含所述当前帧视频图像的连续多帧视频图像以及所述候选报警目标在所述连续多帧视频图像中每一帧视频图像中的跟踪框信息对所述候选报警目标进行行为分析,如果确定是倒地行为,则将所述候选报警目标作为倒地报警目标,并输出报警信息。因此本申请无需借助辅助设备即可实现快速准确的倒地检测,可以有效提高人员倒地的检出率,降低人员倒地的误报率。

Description

一种倒地检测方法及装置
技术领域
本申请涉及视频智能分析及安防监控技术领域,尤其涉及一种倒地检测方法及装置。
背景技术
在安防监控领域,偶尔会有暴力事件的发生,妨碍公共安全。针对暴力事件中可能有人发生倒地情况以及正常情况下,行人突然倒地的情况。目前在进行人员倒地检测时,面临诸多问题,如:室外环境复杂多变,光线,场景会对人员检测有影响;倒地的人员和正常行走的人员相差较大,难以进行有效检测;如何快速检测人员倒地以及定位倒地的人员。
现有的倒地检测技术中,一个方法是利用双目图像采集模块来获取目标的二维和三维图像信息,通过把各个目标的图像信息中的运动轨迹和预设的倒地姿态轨迹相比较,判断是否有人员出现倒地姿态,但是因为人倒地的姿态轨迹有很多种,这种方法鲁棒性较低,容易产生漏检;另一个方法是基于视频分析并判断是否有人员出现系统预设明显姿态变化,如果发生变化则向该人员携带的无线传感器发送无线信号并通过是否接收到回执信息,来判断人员是否为倒地状态。但是该方法需要人员携带无线传感器,这个对于室外安防场景显然不适用,不可能每个人都携带无线传感器。因此现有技术无法适应于室外安防场景下的人员倒地检测。
发明内容
有鉴于此,为了解决现有技术中倒地检测受室外环境影响并且检出率较低的问题,本申请提供一种倒地检测方法及装置可以应对室外复杂多变的环境,实现快速准确的人员倒地检测,可以有效提高人员倒地的检出率,降低人员倒地的误报率。
具体地,本申请是通过如下技术方案实现的:
根据本申请实施例的第一方面,提供一种倒地检测方法,所述方法包括:
若当前帧视频图像中检测出至少一类目标物体时,获取所述至少一类目标物体的分类信息、检测框信息和跟踪框信息;
基于所述至少一类目标物体的分类信息、检测框信息、跟踪框信息以及当前帧视频图像,从所述至少一类目标物体中筛选出存在倒地状态的目标物体作为候选报警目标;
基于包含所述当前帧视频图像的连续多帧视频图像以及所述候选报警目标在所述连续多帧视频图像中每一帧视频图像中的跟踪框信息对所述候选报警目标进行行为分析,若确认所述候选报警目标的行为为倒地行为,则将所述候选报警目标作为倒地报警目标,并输出包括当前帧视频图像和所述跟踪框信息的报警信息。
作为一个实施例,若当前帧视频图像中检测出至少一类目标物体时,获取所述至少一类目标物体的分类信息、检测框信息和跟踪框信息,包括:
基于当前帧视频图像识别并定位所述至少一类目标物体,获取所述至少一类目标物体的分类信息和检测框信息;
基于所述至少一类目标物体的分类信息和检测框信息对所述至少一类目标物体进行跟踪,得到所述至少一类目标物体的跟踪框信息。
作为一个实施例,基于所述至少一类目标物体的分类信息和检测框信息对所述至少一类目标物体进行跟踪,包括:
若所述至少一类目标物体的分类信息中包含站立的人分类信息及对应的第一检测框信息和倒地的人分类信息及对应的第二检测框信息,则基于所述站立的人分类信息以及所述第一检测框信息和所述第二检测框信息对对应的目标物体进行跟踪。
作为一个实施例,基于所述至少一类目标物体的分类信息、检测框信息、跟踪框信息以及当前帧视频图像,从所述至少一类目标物体中筛选出存在倒地状态的目标物体作为候选报警目标,包括:
若所述至少一类目标物体的跟踪框信息及其对应的分类信息中存在倒地的人分类信息,并确定所述倒地的人分类信息对应的目标物体为静止倒地状态,则确定所述倒地的人分类信息对应的目标物体是存在倒地状态的目标物体,并作为候选报警目标。
作为一个实施例,确定所述倒地的人分类信息对应的目标物体为静止倒地状态,包括:
获取包含当前帧视频图像的连续多帧视频图像;
若在所述连续多帧视频图像中的至少最后两帧视频图像中,所述倒地的人分类信息对应的目标物体为静止状态,则确定所述倒地的人分类信息对应的目标物体为静止倒地状态。
作为一个实施例,基于包含所述当前帧视频图像的连续多帧视频图像以及所述候选报警目标的跟踪框信息对所述候选报警目标进行行为分析,若确认所述候选报警目标的行为为倒地行为,则将所述候选报警目标作为倒地报警目标,包括:
根据所述连续多帧视频图像中每一帧视频图像的跟踪框信息,将所述每一帧视频图像截取为跟踪框大小的视频截图;
获取所述每一帧视频图像对应的视频截图帧序列;
将所述视频截图帧序列输入到训练好的视频序列分类模型中进行行为预测,若输出结果为倒地行为,则确认所述候选报警目标的行为为倒地行为,并将所述候选报警目标作为倒地报警目标。
根据本申请实施例的第二方面,提供一种倒地检测装置,所述装置包括:
检测单元,用于若当前帧视频图像中检测出至少一类目标物体时,获取所述至少一类目标物体的分类信息、检测框信息和跟踪框信息;
筛选单元,用于基于所述至少一类目标物体的分类信息、检测框信息、跟踪框信息以及当前帧视频图像,从所述至少一类目标物体中筛选出存在倒地状态的目标物体作为候选报警目标;
分析单元,用于基于包含所述当前帧视频图像的连续多帧视频图像以及所述候选报警目标在所述连续多帧视频图像中每一帧视频图像中的跟踪框信息对所述候选报警目标进行行为分析,若确认所述候选报警目标的行为为倒地行为,则将所述候选报警目标作为倒地报警目标,并输出包括当前帧视频图像和所述跟踪框信息的报警信息。
作为一个实施例,所述检测单元,包括:
识别子单元,用于基于当前帧视频图像识别并定位所述至少一类目标物体,获取所述至少一类目标物体的分类信息和检测框信息;
跟踪子单元,用于基于所述至少一类目标物体的分类信息和检测框信息对所述至少一类目标物体进行跟踪,得到所述至少一类目标物体的跟踪框信息。
作为一个实施例,所述跟踪子单元,具体用于若所述至少一类目标物体的分类信息中包含站立的人分类信息及对应的第一检测框信息和倒地的人分类信息及对应的第二检测框信息,则基于所述站立的人分类信息以及所述第一检测框信息和所述第二检测框信息对对应的目标物体进行跟踪。
作为一个实施例,所述筛选单元,具体用于若所述至少一类目标物体的检测框信息及其对应的分类信息中存在倒地的人分类信息,并确定所述倒地的人分类信息对应的目标物体为静止倒地状态,则确定所述倒地的人分类信息对应的目标物体是存在倒地状态的目标物体,并作为候选报警目标。
作为一个实施例,所述筛选单元确定所述倒地的人分类信息对应的目标物体为静止倒地状态,包括:
所述筛选单元获取包含当前帧视频图像的连续多帧视频图像;若在所述连续多帧视频图像中的至少最后两帧视频图像中,所述倒地的人分类信息对应的目标物体为静止状态,则确定所述倒地的人分类信息对应的目标物体为静止倒地状态。
作为一个实施例,所述分析单元,具体用于根据所述连续多帧视频图像中每一帧视频图像的跟踪框信息,将所述每一帧视频图像截取为跟踪框大小的视频截图;获取所述每一帧视频图像对应的视频截图帧序列;将所述视频截图帧序列输入到训练好的视频序列分类模型中进行行为预测,若输出结果为倒地行为,则确认所述候选报警目标的行为为倒地行为,并将所述候选报警目标作为倒地报警目标。
根据本申请实施例的第三方面,提供一种计算机设备,包括处理器、通信接口、存储器和通信总线;
其中,所述处理器、通信接口、存储器通过所述通信总线进行相互间的通信;
所述存储器,用于存放计算机程序;
所述处理器,用于执行所述存储器上所存放的计算机程序,所述处理器执行所述计算机程序时实现任一倒地检测方法的步骤。
根据本申请实施例的第四方面,提供一种计算机可读存储介质,所述计算机可读存储介质内存储有计算机程序,所述计算机程序被处理器执行时实现任一倒地检测方法的步骤。
由上述实施例可见,本申请可以通过当前帧视频图像中检测出至少一类目标物体时,获取所述至少一类目标物体的分类信息、检测框信息和跟踪框信息;并基于分类信息、检测框信息、跟踪框信息以及当前帧视频图像,筛选出存在倒地状态的目标物体作为候选报警目标;再基于包含所述当前帧视频图像的连续多帧视频图像以及候选报警目标的跟踪框信息对所述候选报警目标进行行为分析,如果确定是倒地行为,则将所述候选报警目标作为倒地报警目标,并输出报警信息。相比于现有技术,本申请可以无需借助辅助设备,在室内外环境中均可实现快速准确的倒地检测,并且通过多次对目标物体进行倒地行为的判断可以提升检测的准确率,从而有效提高人员倒地的检出率,降低人员倒地的误报率。
附图说明
图1为本申请示例性的一种倒地检测方法的实施例流程图;
图2为本申请示例性的一种检测框信息示意图;
图3为本申请示例性的一种跟踪框信息示意图;
图4为本申请示例性的候选报警目标确定方法的实施例流程图;
图5为本申请示例性的倒地报警目标确定方法的实施例流程图;
图6为本申请示例性的视频序列示意图;
图7为本申请示例性的一种报警信息示意图;
图8为本申请的倒地检测装置的一个实施例框图;
图9为本申请一种计算机设备的一个实施例框图。
具体实施方式
这里将详细地对示例性实施例进行说明,其示例表示在附图中。下面的描述涉及附图时,除非另有表示,不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本申请相一致的所有实施方式。相反,它们仅是与如所附权利要求书中所详述的、本申请的一些方面相一致的装置和方法的例子。
在本申请使用的术语是仅仅出于描述特定实施例的目的,而非旨在限制本申请。在本申请和所附权利要求书中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式,除非上下文清楚地表示其他含义。还应当理解,本文中使用的术语“和/或”是指并包含一个或多个相关联的列出项目的任何或所有可能组合。
应当理解,尽管在本申请可能采用术语第一、第二、第三等来描述各种信息,但这些信息不应限于这些术语。这些术语仅用来将同一类型的信息彼此区分开。例如,在不脱离本申请范围的情况下,第一信息也可以被称为第二信息,类似地,第二信息也可以被称为第一信息。取决于语境,如在此所使用的词语“如果”可以被解释成为“在……时”或“当……时”或“响应于确定”。
为了解决现有技术中的问题,本申请可以通过当前帧视频图像中检测出至少一类目标物体时,获取所述至少一类目标物体的分类信息、检测框信息和跟踪框信息;并基于分类信息、检测框信息、跟踪框信息以及当前帧视频图像,筛选出存在倒地状态的目标物体作为候选报警目标;再基于包含所述当前帧视频图像的连续多帧视频图像以及所述候选报警目标的跟踪框信息对所述候选报警目标进行行为分析,如果确定是倒地行为,则将所述候选报警目标作为倒地报警目标,并输出报警信息。相比于现有技术,本申请可以无需借助辅助设备,在室内外环境中均可实现快速准确的倒地检测,并且通过多次对目标物体进行倒地行为的判断可以提升检测的准确率,从而有效提高人员倒地的检出率,降低人员倒地的误报率。
请参见图1,为本申请示例性的一种倒地检测方法的实施例流程图,该方法包括以下步骤:
步骤101、若当前帧视频图像中检测出至少一类目标物体时,获取所述至少一类目标物体的分类信息、检测框信息和跟踪框信息;
在本实施例中,可以对监控视频中的当前帧视频图像中的各类目标物体进行定位和分类识别,目标物体的分类可以包括站立的人,倒地的人以及车辆等。若识别出至少一类目标物体时,可以获取该目标物体的分类信息、检测框信息和跟踪框信息。
作为一个实施例,可以基于当前帧视频图像定位并识别所述至少一类目标物体,获取所述至少一类目标物体的分类信息和检测框信息,该检测框信息包括检测框的坐标信息。如图2所示,在当前帧视频图像中,先定位出目标物体,例如可以定位出3个目标物体,然后对定位出的目标物体进行识别,可以识别出目标物体的分类信息,从而得到目标物体的分类信息和检测框信息,所述检测框信息可以包含检测框坐标等,在当前帧视频图像中显示不同分类的目标物体对应的检测框信息以及分类信息。例如,图2中所示的深灰色框表示站立的人分类的检测框,其中通过标识P表示站立的人,检测框的坐标信息可以通过在检测框的左上角和右下角显示,例如在左侧的检测框上的左上角显示坐标为(x1,y1),右下角显示坐标为(x2,y2);黑色框表示倒地的人分类的检测框,其中通过标识F表示倒地的人。
在获取目标物体的分类信息及检测框信息后,可以基于所述目标物体的分类信息和检测框信息对所述目标物体进行轨迹跟踪,从而得到目标物体的跟踪框信息。
值得注意的是,由于常规技术无法跨分类对目标物体进行轨迹跟踪,例如一个人在跟踪框位置出现从站立到倒地的变化时,由于该人员的一个跟踪框的分类包括了站立的人分类以及倒地的人分类,则属于跨分类跟踪,因此无法实现对该人员分类变化后的继续跟踪的目的,导致跟踪失败。
作为一个实施例,当目标物体的分类信息中包含站立的人分类信息及对应的第一检测框信息和倒地的人分类信息及对应的第二检测框信息时,可以将倒地的人分类信息改为站立的人分类信息,从而可以基于所述站立的人分类信息以及所述第一检测框信息和所述第二检测框信息对对应的目标物体进行跟踪,从而可以实现从站立的人跟踪到倒地的人的轨迹,实现跨分类跟踪。需要说明的是,对于跨分类跟踪的结果,根据第一检测框信息得到的第一跟踪框信息和根据第二检测框信息得到的第二跟踪框信息,两者所对应的分类信息相同,均为站立的人分类信息。如果检测框对应的分类信息相同,例如都是站立的人分类信息,或者都是倒地的人分类信息,则可以无需修改分类信息,或者可以将倒地的人分类信息统一为站立的人分类信息。
如图3所示,在当前帧视频图像中基于图2的检测框信息和分类信息对目标物体进行轨迹跟踪,可以得到三个目标物体的跟踪框信息,所述跟踪框信息可以包含跟踪框编号等,例如,图3中所示的跟踪框编号10、20、30分别表示三个站立的人分类的跟踪框,但实际编号20为倒地的人对应的跟踪框。
步骤102、基于所述至少一类目标物体的分类信息、检测框信息、跟踪框信息以及当前帧视频图像,从所述至少一类目标物体中筛选出存在倒地状态的目标物体作为候选报警目标;
在本实施例中,可以基于所述至少一类目标物体的分类信息、检测框信息、跟踪框信息以及当前帧视频图像,对所有的跟踪目标物体进行遍历,人为设置一些前置规则来过滤非倒地目标,进而从所述至少一类目标物体中筛选出存在倒地状态的目标物体作为候选报警目标。具体来讲,若所述至少一类目标物体的检测框信息及其对应的分类信息中存在倒地的人分类信息,并确定所述倒地的人分类信息对应的目标物体为静止倒地状态,则确定所述倒地的人分类信息对应的目标物体是存在倒地状态的目标物体,并作为候选报警目标。
作为一个实施例,静止倒地状态的判断方法可以通过先获取包含当前帧视频图像的连续多帧视频图像,然后在所述连续多帧视频图像中判断目标物体的倒地行为是否为静止状态,如果在多帧视频图像的至少最后两帧视频图像中,所述倒地的人分类信息对应的目标物体为静止状态,则确定所述倒地的人分类信息对应的目标物体为静止倒地状态。由于静止倒地状态可以更准确的说明人员的倒地行为,因此通过选择静止倒地状态的目标物体可以进一步提高检测的准确率。
为了进一步说明从所述至少一类目标物体中筛选出存在倒地状态的目标物体作为候选报警目标的过程,请参见图4,为本申请示例性的候选报警目标确定方法的实施例流程图,该方法包括以下步骤:
步骤401、输入至少一类目标物体的分类信息、检测框信息、跟踪框信息以及当前帧视频图像;
步骤402、根据分类信息选择存在倒地的人的分类信息对应的目标物体;
步骤403、获取包含当前帧视频图像的连续多帧视频图像;
步骤404、在所述连续多帧视频图像中判断该目标物体的倒地行为是否为静止状态,若是,则转步骤405;若否,则结束当前目标物体的判断流程,进入下一个目标物体的判断;
步骤405、确定该目标物体为倒地状态的目标物体,并将其作为候选报警目标,并结束。
通过初步的倒地行为的判断,可以过滤掉多数非静止倒地目标,从而可以为后续的倒地行为的判断简化判断次数,提升检测效率。
步骤103、基于包含所述当前帧视频图像的连续多帧视频图像以及所述候选报警目标在所述连续多帧视频图像中每一帧视频图像中的跟踪框信息对所述候选报警目标进行行为分析,若确认所述候选报警目标的行为为倒地行为,则将所述候选报警目标作为倒地报警目标,并输出包括当前帧视频图像和所述跟踪框信息的报警信息。
在本实施例中,确定候选报警目标后,可以基于包含所述当前帧视频图像的连续多帧视频图像以及所述候选报警目标在每帧视频图像中的跟踪框信息对所述候选报警目标进行行为分析,若确认所述候选报警目标的行为为倒地行为,则将所述候选报警目标作为倒地报警目标,并输出包括当前帧视频图像和所述跟踪框信息的报警信息。
为了进一步说明确定倒地报警目标的过程,请参见图5,为本申请示例性的倒地报警目标的确定方法的实施例流程图,该方法包括以下步骤:
步骤501、根据候选报警目标对应的当前帧视频图像缓存预设长度的视频;
举例来讲,可以根据候选报警目标对应的当前帧视频图像的帧号往前和往后缓存一小段包含当前帧视频图像的原始视频;
步骤502、对所述预设长度的视频进行预处理,获取所述每一帧视频图像对应的视频截图帧序列;
具体来讲,可以根据所述包含所述当前帧视频图像的连续多帧视频图像以及候选报警目标在每一帧视频图像中的跟踪框信息去除背景干扰,得到每一帧视频图像根据跟踪框信息截取的跟踪框大小的视频截图,得到视频图像对应的视频截图帧序列,例如图6所示的视频序列,其中帧号依次为01到09的9帧视频的截图,中间帧号为05的截图则为候选报警目标的当前帧视频图像的截图。通过去除一些背景干扰可以提高行为识别的准确率和计算效率。
步骤503、将视频截图帧序列输入到训练好的视频序列分类模型中进行行为预测;
步骤504、判断预测结果是否是倒地行为,若是,则转步骤505;若否,则则结束当前候选报警目标的判断,进行下一个候选报警目标的行为判断;
步骤505、将所述候选报警目标作为倒地报警目标,并输出报警信息,并结束。
确定当前候选报警目标为倒地报警目标后,可以输出报警信息,所述报警信息包括但不限于当前帧视频图像和所述跟踪框信息,此外还可以根据实际需求输出报警帧信息,包含报警帧号和报警时间戳等,或者是对倒地的人的进一步分类信息等。报警信息如图7所示,其中在当前帧视频图像中输出倒地报警目标的跟踪框,并在跟踪框上标识“倒地”字样的报警标识,此外还可以将该倒地报警目标的检测框信息、分类信息以及报警标识一起输出,本申请不做具体限定。
相比于现有技术,本申请可以无需借助辅助设备,在室内外环境中均可实现快速准确的倒地检测,并且通过多次对目标物体进行倒地行为的判断可以提升检测的准确率,从而有效提高人员倒地的检出率,降低人员倒地的误报率。
与前述倒地检测方法的实施例相对应,本申请还提供了倒地检测装置的实施例。
请参见图8,为本申请的倒地检测装置的一个实施例框图,该倒地检测装置80可以包括:
检测单元81,用于若当前帧视频图像中检测出至少一类目标物体时,获取所述至少一类目标物体的分类信息、检测框信息和跟踪框信息;
筛选单元82,用于基于所述至少一类目标物体的分类信息、检测框信息、跟踪框信息以及当前帧视频图像,从所述至少一类目标物体中筛选出存在倒地状态的目标物体作为候选报警目标;
分析单元83,用于基于包含所述当前帧视频图像的连续多帧视频图像以及所述候选报警目标在所述连续多帧视频图像中每一帧视频图像中的跟踪框信息对所述候选报警目标进行行为分析,若确认所述候选报警目标的行为为倒地行为,则将所述候选报警目标作为倒地报警目标,并输出包括当前帧视频图像和所述跟踪框信息的报警信息。
作为一个实施例,所述检测单元81,包括:
识别子单元811,用于基于当前帧视频图像识别并定位所述至少一类目标物体,获取所述至少一类目标物体的分类信息和检测框信息;
跟踪子单元812,用于基于所述至少一类目标物体的分类信息和检测框信息对所述至少一类目标物体进行跟踪,得到所述至少一类目标物体的跟踪框信息。
作为一个实施例,所述跟踪子单元812,具体用于若所述至少一类目标物体的分类信息中包含站立的人分类信息及对应的第一检测框信息和倒地的人分类信息及对应的第二检测框信息,则基于所述站立的人分类信息以及所述第一检测框信息和所述第二检测框信息对对应的目标物体进行跟踪。
作为一个实施例,所述筛选单元82,具体用于若所述至少一类目标物体的检测框信息及其对应的分类信息中存在倒地的人分类信息,并确定所述倒地的人分类信息对应的目标物体为静止倒地状态,则确定所述倒地的人分类信息对应的目标物体是存在倒地状态的目标物体,并作为候选报警目标。
作为一个实施例,所述筛选单元82确定所述倒地的人分类信息对应的目标物体为静止倒地状态,包括:
所述筛选单元82获取包含当前帧视频图像的连续多帧视频图像;若在所述连续多帧视频图像中的至少最后两帧视频图像中,所述倒地的人分类信息对应的目标物体为静止状态,则确定所述倒地的人分类信息对应的目标物体为静止倒地状态。
作为一个实施例,所述分析单元83,具体用于根据所述连续多帧视频图像中每一帧视频图像的跟踪框信息,将所述每一帧视频图像截取为跟踪框大小的视频截图;获取所述每一帧视频图像对应的视频截图帧序列;将所述视频截图帧序列输入到训练好的视频序列分类模型中进行行为预测,若输出结果为倒地行为,则确认所述候选报警目标的行为为倒地行为,并将所述候选报警目标作为倒地报警目标。
上述装置中各个单元的功能和作用的实现过程具体详见上述方法中对应步骤的实现过程,在此不再赘述。
对于装置实施例而言,由于其基本对应于方法实施例,所以相关之处参见方法实施例的部分说明即可。以上所描述的装置实施例仅仅是示意性的,其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本申请方案的目的。本领域普通技术人员在不付出创造性劳动的情况下,即可以理解并实施。
与前述倒地检测方法的实施例相对应,本申请还提供了用于执行上述倒地检测方法的计算机设备的实施例。
作为一个实施例,请参考图9,一种计算机设备,包括处理器91、通信接口92、存储器93和通信总线94;
其中,所述处理器91、通信接口92、存储器93通过所述通信总线94进行相互间的通信;
所述存储器93,用于存放计算机程序;
所述处理器91,用于执行所述存储器93上所存放的计算机程序,所述处理器91执行所述计算机程序时实现任一倒地检测方法的步骤。
本说明书中的各个实施例均采用相关的方式描述,各个实施例之间相同相似的部分互相参见即可,每个实施例重点说明的都是与其他实施例的不同之处。尤其,对于计算机设备的实施例而言,由于其基本相似于方法实施例,所以描述的比较简单,相关之处参见方法实施例的部分说明即可。
与前述倒地检测方法的实施例相对应,本申请还提供了用于执行上述倒地检测方法的计算机可读存储介质的实施例。
作为一个实施例,本申请还包括一种计算机可读存储介质,所述计算机可读存储介质内存储有计算机程序,所述计算机程序被处理器执行时实现任一倒地检测方法的步骤。
本说明书中的各个实施例均采用相关的方式描述,各个实施例之间相同相似的部分互相参见即可,每个实施例重点说明的都是与其他实施例的不同之处。尤其,对于系统实施例以及计算机可读存储介质实施例而言,由于其基本相似于方法实施例,所以描述的比较简单,相关之处参见方法实施例的部分说明即可。
综上所述,本申请可以通过当前帧视频图像中检测出至少一类目标物体时,获取所述至少一类目标物体的分类信息、检测框信息和跟踪框信息;并基于分类信息、检测框信息、跟踪框信息以及当前帧视频图像,筛选出存在倒地状态的目标物体作为候选报警目标;再基于包含所述当前帧视频图像的连续多帧视频图像以及所述候选报警目标的跟踪框信息对所述候选报警目标进行行为分析,如果确定是倒地行为,则将所述候选报警目标作为倒地报警目标,并输出报警信息。相比于现有技术,本申请可以无需借助辅助设备,在室内外环境中均可实现快速准确的倒地检测,并且通过多次对目标物体进行倒地行为的判断可以提升检测的准确率,从而有效提高人员倒地的检出率,降低人员倒地的误报率。
以上所述仅为本申请的较佳实施例而已,并不用以限制本申请,凡在本申请的精神和原则之内,所做的任何修改、等同替换、改进等,均应包含在本申请保护的范围之内。

Claims (10)

1.一种倒地检测方法,其特征在于,所述方法包括:
若当前帧视频图像中检测出至少一类目标物体时,获取所述至少一类目标物体的分类信息、检测框信息和跟踪框信息;
基于所述至少一类目标物体的分类信息、检测框信息、跟踪框信息以及当前帧视频图像,从所述至少一类目标物体中筛选出存在倒地状态的目标物体作为候选报警目标;
基于包含所述当前帧视频图像的连续多帧视频图像以及所述候选报警目标在所述连续多帧视频图像中每一帧视频图像中的跟踪框信息对所述候选报警目标进行行为分析,若确认所述候选报警目标的行为为倒地行为,则将所述候选报警目标作为倒地报警目标,并输出包括当前帧视频图像和所述跟踪框信息的报警信息;
其中,若当前帧视频图像中检测出至少一类目标物体时,获取所述至少一类目标物体的分类信息、检测框信息和跟踪框信息,包括:
基于当前帧视频图像识别并定位所述至少一类目标物体,获取所述至少一类目标物体的分类信息和检测框信息;
基于所述至少一类目标物体的分类信息和检测框信息对所述至少一类目标物体进行跟踪,得到所述至少一类目标物体的跟踪框信息;
其中,基于所述至少一类目标物体的分类信息和检测框信息对所述至少一类目标物体进行跟踪,包括:
若所述至少一类目标物体的分类信息中包含站立的人分类信息及对应的第一检测框信息和倒地的人分类信息及对应的第二检测框信息,则基于所述站立的人分类信息以及所述第一检测框信息和所述第二检测框信息对对应的目标物体进行跟踪;
其中,当所述至少一类目标物体的分类信息中包含站立的人分类信息及对应的第一检测框信息和倒地的人分类信息及对应的第二检测框信息时,将所述倒地的人分类信息改为所述站立的人分类信息,从而基于所述站立的人分类信息以及所述第一检测框信息和所述第二检测框信息对对应的目标物体进行跟踪。
2.根据权利要求1所述的方法,其特征在于,基于所述至少一类目标物体的分类信息、检测框信息、跟踪框信息以及当前帧视频图像,从所述至少一类目标物体中筛选出存在倒地状态的目标物体作为候选报警目标,包括:
若所述至少一类目标物体的检测框信息及其对应的分类信息中存在倒地的人分类信息,并确定所述倒地的人分类信息对应的目标物体为静止倒地状态,则确定所述倒地的人分类信息对应的目标物体是存在倒地状态的目标物体,并作为候选报警目标。
3.根据权利要求2所述的方法,其特征在于,确定所述倒地的人分类信息对应的目标物体为静止倒地状态,包括:
获取包含当前帧视频图像的连续多帧视频图像;
若在所述连续多帧视频图像中的至少最后两帧视频图像中,所述倒地的人分类信息对应的目标物体为静止状态,则确定所述倒地的人分类信息对应的目标物体为静止倒地状态。
4.根据权利要求1所述的方法,其特征在于,基于包含所述当前帧视频图像的连续多帧视频图像以及所述候选报警目标在所述连续多帧视频图像中每一帧视频图像中的跟踪框信息对所述候选报警目标进行行为分析,若确认所述候选报警目标的行为为倒地行为,则将所述候选报警目标作为倒地报警目标,包括:
根据所述连续多帧视频图像中每一帧视频图像的跟踪框信息,将所述每一帧视频图像截取为跟踪框大小的视频截图;
获取所述每一帧视频图像对应的视频截图帧序列;
将所述视频截图帧序列输入到训练好的视频序列分类模型中进行行为预测,若输出结果为倒地行为,则确认所述候选报警目标的行为为倒地行为,并将所述候选报警目标作为倒地报警目标。
5.一种倒地检测装置,其特征在于,所述装置包括:
检测单元,用于若当前帧视频图像中检测出至少一类目标物体时,获取所述至少一类目标物体的分类信息、检测框信息和跟踪框信息;
筛选单元,用于基于所述至少一类目标物体的分类信息、检测框信息、跟踪框信息以及当前帧视频图像,从所述至少一类目标物体中筛选出存在倒地状态的目标物体作为候选报警目标;
分析单元,用于基于包含所述当前帧视频图像的连续多帧视频图像以及所述候选报警目标在所述连续多帧视频图像中每一帧视频图像中的跟踪框信息对所述候选报警目标进行行为分析,若确认所述候选报警目标的行为为倒地行为,则将所述候选报警目标作为倒地报警目标,并输出包括当前帧视频图像和所述跟踪框信息的报警信息;
其中,所述检测单元,包括:
识别子单元,用于基于当前帧视频图像识别并定位所述至少一类目标物体,获取所述至少一类目标物体的分类信息和检测框信息;
跟踪子单元,用于基于所述至少一类目标物体的分类信息和检测框信息对所述至少一类目标物体进行跟踪,得到所述至少一类目标物体的跟踪框信息;
其中,所述跟踪子单元,具体用于若所述至少一类目标物体的分类信息中包含站立的人分类信息及对应的第一检测框信息和倒地的人分类信息及对应的第二检测框信息,则基于所述站立的人分类信息以及所述第一检测框信息和所述第二检测框信息对对应的目标物体进行跟踪;
其中,当所述至少一类目标物体的分类信息中包含站立的人分类信息及对应的第一检测框信息和倒地的人分类信息及对应的第二检测框信息时,将所述倒地的人分类信息改为所述站立的人分类信息,从而基于所述站立的人分类信息以及所述第一检测框信息和所述第二检测框信息对对应的目标物体进行跟踪。
6.根据权利要求5所述的装置,其特征在于,
所述筛选单元,具体用于若所述至少一类目标物体的检测框信息及其对应的分类信息中存在倒地的人分类信息,并确定所述倒地的人分类信息对应的目标物体为静止倒地状态,则确定所述倒地的人分类信息对应的目标物体是存在倒地状态的目标物体,并作为候选报警目标。
7.根据权利要求6所述的装置,其特征在于,所述筛选单元确定所述倒地的人分类信息对应的目标物体为静止倒地状态,包括:
所述筛选单元获取包含当前帧视频图像的连续多帧视频图像;若在所述连续多帧视频图像中的至少最后两帧视频图像中,所述倒地的人分类信息对应的目标物体为静止状态,则确定所述倒地的人分类信息对应的目标物体为静止倒地状态。
8.根据权利要求5所述的装置,其特征在于,
所述分析单元,具体用于根据所述连续多帧视频图像中每一帧视频图像的跟踪框信息,将所述每一帧视频图像截取为跟踪框大小的视频截图;获取所述每一帧视频图像对应的视频截图帧序列;将所述视频截图帧序列输入到训练好的视频序列分类模型中进行行为预测,若输出结果为倒地行为,则确认所述候选报警目标的行为为倒地行为,并将所述候选报警目标作为倒地报警目标。
9.一种计算机设备,其特征在于,所述计算机设备包括处理器、通信接口、存储器和通信总线;
其中,所述处理器、通信接口、存储器通过所述通信总线进行相互间的通信;
所述存储器,用于存放计算机程序;
所述处理器,用于执行所述存储器上所存放的计算机程序,所述处理器执行所述计算机程序时实现所述权利要求1-4任一方法的步骤。
10.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质内存储有计算机程序,所述计算机程序被处理器执行时实现所述权利要求1-4任一方法的步骤。
CN201910243052.4A 2019-03-28 2019-03-28 一种倒地检测方法及装置 Active CN111753587B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910243052.4A CN111753587B (zh) 2019-03-28 2019-03-28 一种倒地检测方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910243052.4A CN111753587B (zh) 2019-03-28 2019-03-28 一种倒地检测方法及装置

Publications (2)

Publication Number Publication Date
CN111753587A CN111753587A (zh) 2020-10-09
CN111753587B true CN111753587B (zh) 2023-09-29

Family

ID=72672108

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910243052.4A Active CN111753587B (zh) 2019-03-28 2019-03-28 一种倒地检测方法及装置

Country Status (1)

Country Link
CN (1) CN111753587B (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114764895A (zh) * 2020-12-31 2022-07-19 清华大学 异常行为检测装置和方法
CN112800901A (zh) * 2021-01-18 2021-05-14 上海云话科技有限公司 一种基于视觉感知的矿山人员安全检测方法
CN112800900A (zh) * 2021-01-18 2021-05-14 上海云话科技有限公司 一种基于视觉感知的矿山人员倒地检测方法

Citations (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2012119903A1 (de) * 2011-03-04 2012-09-13 Deutsche Telekom Ag Verfahren und system zur sturzerkennung und weitergabe eines alarms
CN102799863A (zh) * 2012-07-02 2012-11-28 中国计量学院 视频监控中的团体人群异常行为检测方法
CN103955699A (zh) * 2014-03-31 2014-07-30 北京邮电大学 一种基于监控视频的实时摔倒事件检测方法
CN105100689A (zh) * 2014-05-13 2015-11-25 杭州海康威视数字技术股份有限公司 自动取款机视频监控方法及装置
CN106023257A (zh) * 2016-05-26 2016-10-12 南京航空航天大学 一种基于旋翼无人机平台的目标跟踪方法
CN106210634A (zh) * 2016-07-18 2016-12-07 四川君逸数码科技股份有限公司 一种智慧金睛识别人员倒地报警方法和装置
CN106571014A (zh) * 2016-10-24 2017-04-19 上海伟赛智能科技有限公司 一种在视频中识别异常动作的方法和系统
CN107045623A (zh) * 2016-12-30 2017-08-15 厦门瑞为信息技术有限公司 一种基于人体姿态跟踪分析的室内危险情况告警的方法
CN107644229A (zh) * 2017-08-31 2018-01-30 浙江工业大学 基于多传感器信息融合的室内异常行为检测方法
JP2018029671A (ja) * 2016-08-22 2018-03-01 学校法人慶應義塾 行動検知システム、情報処理装置、プログラム
CN108009473A (zh) * 2017-10-31 2018-05-08 深圳大学 基于目标行为属性视频结构化处理方法、系统及存储装置
CN108446669A (zh) * 2018-04-10 2018-08-24 腾讯科技(深圳)有限公司 运动识别方法、装置及存储介质
CN108932479A (zh) * 2018-06-06 2018-12-04 上海理工大学 一种人体异常行为检测方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7110569B2 (en) * 2001-09-27 2006-09-19 Koninklijke Philips Electronics N.V. Video based detection of fall-down and other events

Patent Citations (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2012119903A1 (de) * 2011-03-04 2012-09-13 Deutsche Telekom Ag Verfahren und system zur sturzerkennung und weitergabe eines alarms
CN102799863A (zh) * 2012-07-02 2012-11-28 中国计量学院 视频监控中的团体人群异常行为检测方法
CN103955699A (zh) * 2014-03-31 2014-07-30 北京邮电大学 一种基于监控视频的实时摔倒事件检测方法
CN105100689A (zh) * 2014-05-13 2015-11-25 杭州海康威视数字技术股份有限公司 自动取款机视频监控方法及装置
CN106023257A (zh) * 2016-05-26 2016-10-12 南京航空航天大学 一种基于旋翼无人机平台的目标跟踪方法
CN106210634A (zh) * 2016-07-18 2016-12-07 四川君逸数码科技股份有限公司 一种智慧金睛识别人员倒地报警方法和装置
JP2018029671A (ja) * 2016-08-22 2018-03-01 学校法人慶應義塾 行動検知システム、情報処理装置、プログラム
CN106571014A (zh) * 2016-10-24 2017-04-19 上海伟赛智能科技有限公司 一种在视频中识别异常动作的方法和系统
CN107045623A (zh) * 2016-12-30 2017-08-15 厦门瑞为信息技术有限公司 一种基于人体姿态跟踪分析的室内危险情况告警的方法
CN107644229A (zh) * 2017-08-31 2018-01-30 浙江工业大学 基于多传感器信息融合的室内异常行为检测方法
CN108009473A (zh) * 2017-10-31 2018-05-08 深圳大学 基于目标行为属性视频结构化处理方法、系统及存储装置
CN108446669A (zh) * 2018-04-10 2018-08-24 腾讯科技(深圳)有限公司 运动识别方法、装置及存储介质
CN108932479A (zh) * 2018-06-06 2018-12-04 上海理工大学 一种人体异常行为检测方法

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
Latent spatio-temporal models for action localization and recognition in nursing home surveillance video;Yuke Zhu et al.;《The 13th IAPR Conference on Machine Vision》;第1-4页 *
基于全方位视觉的独居老人监护系统;马宝庆等;《计算机工程》;第39卷(第8期);第44-49页 *
基于视觉传感器的居家老人跌倒检测方法研究;杨崇涛;《中国优秀硕士学位论文全文数据库信息科技辑》(第2期);第28-36页 *

Also Published As

Publication number Publication date
CN111753587A (zh) 2020-10-09

Similar Documents

Publication Publication Date Title
KR102189262B1 (ko) 엣지 컴퓨팅을 이용한 교통 정보 수집 장치 및 방법
CN109766779B (zh) 徘徊人员识别方法及相关产品
CN108256404B (zh) 行人检测方法和装置
CN111753587B (zh) 一种倒地检测方法及装置
CN112800860B (zh) 一种事件相机和视觉相机协同的高速抛撒物检测方法和系统
CN103810717B (zh) 一种人体行为检测方法及装置
US20140369566A1 (en) Perimeter Image Capture and Recognition System
KR100879266B1 (ko) 유형별 인식에 의한 사물 추적 및 침입감지 시스템
JPWO2014050518A1 (ja) 情報処理装置、情報処理方法および情報処理プログラム
JP2004534315A (ja) 移動対象物を監視する方法およびシステム
WO2018056355A1 (ja) 監視装置
JP2004531842A (ja) サーベイランスシステムおよび監視システムに関する方法
CN110659391A (zh) 一种视频侦查方法及装置
US9836826B1 (en) System and method for providing live imagery associated with map locations
Almagbile Estimation of crowd density from UAVs images based on corner detection procedures and clustering analysis
JP4999794B2 (ja) 静止領域検出方法とその装置、プログラム及び記録媒体
CN112001230A (zh) 睡觉行为的监控方法、装置、计算机设备和可读存储介质
CN105957300B (zh) 一种智慧金睛识别可疑张贴遮蔽报警方法和装置
CN114140745A (zh) 施工现场人员属性检测方法、系统、装置及介质
KR20160093253A (ko) 영상 기반 이상 흐름 감지 방법 및 그 시스템
JP7074174B2 (ja) 識別器学習装置、識別器学習方法およびコンピュータプログラム
CN105095891A (zh) 一种人脸捕捉的方法,装置及系统
WO2018210039A1 (zh) 数据处理方法、数据处理装置及存储介质
CN110874953A (zh) 区域报警方法、装置、电子设备及可读存储介质
KR101395666B1 (ko) 비디오 영상의 변화를 이용한 도난 감시 장치 및 방법

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant