CN113673319A - 异常姿态检测方法、装置、电子装置和存储介质 - Google Patents

异常姿态检测方法、装置、电子装置和存储介质 Download PDF

Info

Publication number
CN113673319A
CN113673319A CN202110785022.3A CN202110785022A CN113673319A CN 113673319 A CN113673319 A CN 113673319A CN 202110785022 A CN202110785022 A CN 202110785022A CN 113673319 A CN113673319 A CN 113673319A
Authority
CN
China
Prior art keywords
posture
detected
image
abnormal
human body
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202110785022.3A
Other languages
English (en)
Other versions
CN113673319B (zh
Inventor
柴志文
魏乃科
潘华东
殷俊
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhejiang Dahua Technology Co Ltd
Original Assignee
Zhejiang Dahua Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhejiang Dahua Technology Co Ltd filed Critical Zhejiang Dahua Technology Co Ltd
Priority to CN202110785022.3A priority Critical patent/CN113673319B/zh
Priority claimed from CN202110785022.3A external-priority patent/CN113673319B/zh
Publication of CN113673319A publication Critical patent/CN113673319A/zh
Application granted granted Critical
Publication of CN113673319B publication Critical patent/CN113673319B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/24Classification techniques
    • G06F18/241Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2413Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on distances to training or reference patterns
    • G06F18/24133Distances to prototypes
    • G06F18/24137Distances to cluster centroïds
    • G06F18/2414Smoothing the distance, e.g. radial basis function networks [RBFN]

Abstract

本申请涉及一种异常姿态检测方法,其中,异常姿态检测方法包括:获取待检测图像,并基于所述待检测图像确定待检测对象的第一姿态参数;确定第二姿态参数;所述第二姿态参数包括至少一个历史对象的姿态为正常姿态时的姿态参数;若基于所述第一姿态参数和所述第二姿态参数确定所述待检测对象为疑似异常对象,则基于所述待检测图像中所述疑似异常对象对应的图像区域,确定所述待检测对象的姿态是否异常。通过第一姿态参数和第二姿态参数获取疑似异常对象,并进一步基于疑似异常对象的图像区域判断其姿态是否异常,解决了相关技术中存在的需要采用多帧图像进行检测,响应速度不够迅速的技术问题,提高了异常姿态检测的速度和准确度。

Description

异常姿态检测方法、装置、电子装置和存储介质
技术领域
本申请涉及计算机视觉领域,特别是涉及异常姿态检测方法、装置、电子装置和存储介质。
背景技术
人体倒地姿态是一种典型的异常姿态,在倒地事件发生时快速准确地进行判断并及时采取防护措施尤为重要。例如,当识别到斗殴的人员倒地时可及时进行制止,当识别到老人倒地时可及时进行救援,而这些措施都依赖于对倒地事件的精准判断。
现有技术中倒地事件的判断往往依赖于传统传感器、环境传感器或者视觉传感器三大类。基于视觉传感器的倒地事件判断方法包括基于单目相机以及基于多目相机两种。相比于单目相机,基于多目相机的倒地事件判断方法通过深度图的识别方案直观地感知人体整体及局部的三维特征,但是该方法需要依赖多目相机和深度传感器进行三维重建,计算成本过高。而基于单目相机进行判断的传统方式都是获取目标的姿态信息或者轨迹信息,例如通过目标的分类姿态或者质心轨迹判断倒地事件。但是,传统方式中通过姿态信息进行判断需要目标倒地后在一定长度的视频段内处于静止状态,而通过轨迹信息进行判断需要连续视频段才能获取目标的运动轨迹,导致传统方式无法通过单帧监控图像进行检测。由于目标的姿态信息或者轨迹信息依赖于多帧图像并且容易受到形变、遮挡、光照等因素的干扰,导致相关技术的响应速度不够迅速。
针对相关技术中存在的需要采用多帧图像进行检测,响应速度不够迅速的技术问题,目前还没有提出有效的解决方案。
发明内容
在本实施例中提供了一种异常姿态检测方法、装置、电子装置和存储介质,以解决相关技术中需要采用多帧图像进行检测,响应速度不够迅速的问题。
第一个方面,在本实施例中提供了一种异常姿态检测方法,包括:
获取待检测图像,并基于所述待检测图像确定待检测对象的第一姿态参数;
确定第二姿态参数;所述第二姿态参数包括至少一个历史对象的姿态为正常姿态时的姿态参数;
若基于所述第一姿态参数和所述第二姿态参数确定所述待检测对象为疑似异常对象,则基于所述待检测图像中所述疑似异常对象对应的图像区域,确定所述待检测对象的姿态是否异常。
在其中的一些实施例中,所述待检测对象包括待检测人体,所述基于所述待检测图像确定待检测对象的第一姿态参数包括:
对所述待检测图像进行检测,获取所述待检测人体的人体全身目标框以及人体头部目标框,并将所述人体全身目标框纵横比和人体姿态角度中的至少一个,确定为所述第一姿态参数;其中,所述人体姿态角度是所述人体全身目标框中心点和所述人体头部目标框中心点连线的角度。
在其中的一些实施例中,所述历史对象包括历史人体,通过如下方式确定所述第二姿态参数:
获取历史图像中的多个历史人体的历史人体全身目标框以及历史人体头部目标框,并将所述历史人体全身目标框纵横比和历史人体姿态角度中的至少一个的均值,确定为所述第二姿态参数;其中,所述历史人体姿态角度是所述历史人体全身目标框中心点和所述历史人体头部目标框中心点连线的角度,所述第二姿态参数包括至少一个历史人体的姿态为正常姿态时的姿态参数。
在其中的一些实施例中,所述基于所述第一姿态参数和所述第二姿态参数确定所述待检测对象为疑似异常对象包括:
确定所述第二姿态参数的平均值以及方差;以及
确定所述第一姿态参数与所述平均值的平方差;
若所述平方差与所述方差的比值大于预设阈值,则确定所述待检测对象为疑似异常对象。
在其中的一些实施例中,所述基于所述待检测图像中所述疑似异常对象对应的图像区域,确定所述待检测对象的姿态是否异常包括:
基于经训练的卷积神经网络提取所述图像区域的人体姿态特征;
基于所述人体姿态特征对所述疑似异常对象的姿态进行分类,得到异常判断结果。
在其中的一些实施例中,所述获取待检测图像之前还包括:
获取监控视频中的单帧图像,判断所述单帧图像中是否存在待检测对象,若所述单帧图像中存在所述待检测对象,则将所述单帧图像作为所述待检测图像。
在其中的一些实施例中,所述待检测对象包括待检测人体,所述待检测图像包括多个候选网格,所述方法还包括:
对所述待检测图像进行检测,获取所述待检测人体的人体全身目标框和候选网格集;
获取所述人体全身目标框的中心点,并将所述候选网格集中包含所述中心点的候选网格确定为目标网格;
基于所述目标网格在所述待检测图像中的位置,确定所述预设阈值。
第二个方面,在本实施例中提供了一种异常姿态检测装置,包括:
第一姿态参数确定模块,用于获取待检测图像,并基于所述待检测图像确定待检测对象的第一姿态参数;
第二姿态参数确定模块,用于确定第二姿态参数;所述第二姿态参数包括至少一个历史对象的姿态为正常姿态时的姿态参数;
异常姿态判断模块,用于若基于所述第一姿态参数和所述第二姿态参数确定所述待检测对象为疑似异常对象,则基于所述待检测图像中所述疑似异常对象对应的图像区域,确定所述待检测对象的姿态是否异常。
第三个方面,在本实施例中提供了一种电子装置,包括存储器、处理器以及存储在所述存储器上并可在所述处理器上运行的计算机程序,所述处理器执行所述计算机程序时实现上述第一个方面所述的异常姿态检测方法。
第四个方面,在本实施例中提供了一种存储介质,其上存储有计算机程序,该程序被处理器执行时实现上述第一个方面所述的异常姿态检测方法。
与相关技术相比,在本实施例中提供的异常姿态检测方法、装置、电子装置和存储介质,获取待检测图像,并基于所述待检测图像确定待检测对象的第一姿态参数;确定第二姿态参数;所述第二姿态参数包括至少一个历史对象的姿态为正常姿态时的姿态参数;若基于所述第一姿态参数和所述第二姿态参数确定所述待检测对象为疑似异常对象,则基于所述待检测图像中所述疑似异常对象对应的图像区域,确定所述待检测对象的姿态是否异常。通过第一姿态参数和第二姿态参数获取疑似异常对象,并进一步基于疑似异常对象的图像区域判断其姿态是否异常,解决了相关技术中存在的需要采用多帧图像进行检测,响应速度不够迅速的技术问题,提高了异常姿态检测的速度和准确度。
本申请的一个或多个实施例的细节在以下附图和描述中提出,以使本申请的其他特征、目的和优点更加简明易懂。
附图说明
此处所说明的附图用来提供对本申请的进一步理解,构成本申请的一部分,本申请的示意性实施例及其说明用于解释本申请,并不构成对本申请的不当限定。在附图中:
图1是本发明一实施例的异常姿态检测方法的终端的硬件结构图;
图2是本发明一实施例的异常姿态检测方法的流程示意图;
图3是本发明另一实施例的异常姿态检测方法的流程示意图;
图4是本发明一实施例的图像网格以及目标框的示意图;
图5是本发明一实施例的异常姿态检测装置的结构框图。
具体实施方式
为更清楚地理解本申请的目的、技术方案和优点,下面结合附图和实施例,对本申请进行了描述和说明。
除另作定义外,本申请所涉及的技术语或者科学术语应具有本申请所属技术领域具备一般技能的人所理解的一般含义。在本申请中的“一”、“一个”、“一种”、“该”、“这些”等类似的词并不表示数量上的限制,它们可以是单数或者复数。在本申请中所涉及的术语“包括”、“包含”、“具有”及其任何变体,其目的是涵盖不排他的包含;例如,包含一系列步骤或模块(单元)的过程、方法和系统、产品或设备并未限定于列出的步骤或模块(单元),而可包括未列出的步骤或模块(单元),或者可包括这些过程、方法、产品或设备固有的其他步骤或模块(单元)。在本申请中所涉及的“连接”、“相连”、“耦接”等类似的词语并不限定于物理的或机械连接,而可以包括电气连接,无论是直接连接还是间接连接。在本申请中所涉及的“多个”是指两个或两个以上。“和/或”描述关联对象的关联关系,表示可以存在三种关系,例如,“A和/或B”可以表示:单独存在A,同时存在A和B,单独存在B这三种情况。通常情况下,字符“/”表示前后关联的对象是一种“或”的关系。在本申请中所涉及的术语“第一”、“第二”、“第三”等,只是对相似对象进行区分,并不代表针对对象的特定排序。
在本实施例中提供的方法实施例可以在终端、计算机或者类似的运算装置中执行。比如在终端上运行,图1是本实施例的异常姿态检测方法的终端的硬件结构框图。如图1所示,终端可以包括一个或多个(图1中仅示出一个)处理器102和用于存储数据的存储器104,其中,处理器102可以包括但不限于微处理器MCU或可编程逻辑器件FPGA等的处理装置。上述终端还可以包括用于通信功能的传输设备106以及输入输出设备108。本领域普通技术人员可以理解,图1所示的结构仅为示意,其并不对上述终端的结构造成限制。例如,终端还可包括比图1中所示更多或者更少的组件,或者具有与图1所示出的不同配置。
存储器104可用于存储计算机程序,例如,应用软件的软件程序以及模块,如在本实施例中的异常姿态检测方法对应的计算机程序,处理器102通过运行存储在存储器104内的计算机程序,从而执行各种功能应用以及数据处理,即实现上述的方法。存储器104可包括高速随机存储器,还可包括非易失性存储器,如一个或者多个磁性存储装置、闪存、或者其他非易失性固态存储器。在一些实例中,存储器104可进一步包括相对于处理器102远程设置的存储器,这些远程存储器可以通过网络连接至终端。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
传输设备106用于经由一个网络接收或者发送数据。上述的网络包括终端的通信供应商提供的无线网络。在一个实例中,传输设备106包括一个网络适配器(NetworkInterface Controller,简称为NIC),其可通过基站与其他网络设备相连从而可与互联网进行通讯。在一个实例中,传输设备106可以为射频(Radio Frequency,简称为RF)模块,其用于通过无线方式与互联网进行通讯。
请参阅图2,图2是本发明一实施例的异常姿态检测方法的流程示意图。在本实施例中,异常姿态检测方法包括:
S202:获取待检测图像,并基于待检测图像确定待检测对象的第一姿态参数。
示例性地,获取监控视频中的待检测图像,对待检测图像进行检测以确定待检测对象的第一姿态参数。其中,待检测对象包括人体目标,第一姿态参数用于表征待检测对象在待检测图像中的姿态特征。具体的,第一姿态参数包括待检测对象的尺度特征、待检测对象的角度特征、待检测对象的位置特征等,本发明对此不作限制。
S204:确定第二姿态参数;第二姿态参数包括至少一个历史对象的姿态为正常姿态时的姿态参数。
示例性地,获取历史图像,对历史图像中的每一帧图像进行检测,获取历史图像的第二姿态参数。其中,历史图像可以是监控视频中待检测图像之前的历史帧图像或者历史帧图像的一部分,即当前相机获取的历史图像,也可以是预先获取的包含人体目标的图像数据集。历史图像也可以是其它方式获取的图像,例如基于网络传输协议实时接收的其他相机获取的历史图像,本发明对此不作限制。
作为一种实施例,本申请中的历史图像包括以正常姿态为主的图像,也可能包括少量异常姿态下的图像,对历史图像进行检测所确定的第二姿态参数,可以反映出正常姿态下的待检测对象的姿态特征,用于作为异常姿态下的姿态参数的对照。
作为一种实施例,本申请中的正常姿态可以但不局限于目标场景下的常规姿态,异常姿态可以但不局限于目标场景下的非常规姿态,例如,目标场景可以是医院、车站或者房间等,正常姿态可以是站立姿态、端坐姿态等,异常姿态可以是跌倒姿态、斗殴姿态等。在其中一个具体实施例中,当正常姿态出现剧烈变化时,可以认定该目标处于异常姿态。例如,当行人在行走过程中突然跌倒,其姿态由站立姿态变为跌倒姿态,此时的跌倒姿态即为异常姿态。
可以理解的,当历史图像为基于当前相机获取的历史图像时,可以降低检测过程中相关干扰因素对第二姿态参数的影响。例如当相机的安装角度不同时,第二姿态参数往往是不同的,但是通过同一相机获取第二姿态参数则可以避免安装角度对第二姿态参数的影响。本实施例在获取第一姿态参数以及第二姿态参数时,只需要考虑图像中人体姿态的相关参数,无需考虑相机的安装角度、安装位置、相机畸变等其他因素,计算简单,降低了运算成本,提高了异常姿态检测的速度。
S206:若基于第一姿态参数和第二姿态参数确定待检测对象为疑似异常对象,则基于待检测图像中疑似异常对象对应的图像区域,确定待检测对象的姿态是否异常。
示例性地,待检测对象的第一姿态参数与第二姿态参数的差异程度越大,则该待检测对象的姿态为异常姿态的可能性越大。基于此,疑似异常对象是指第一姿态参数与第二姿态参数的差异程度超过一定限度的待检测目标,即姿态为异常姿态的可能性较大的对象。
示例性地,将第一姿态参数和第二姿态参数进行比较,以判断待检测对象是否为疑似异常对象。可以理解的,第二姿态参数包括人体姿态为正常姿态下的姿态参数。因此,若第一姿态参数与第二姿态参数的差异过大,则判定该待检测对象为疑似异常对象。若待检测对象为疑似异常对象,则基于该疑似异常对象获取对应的图像区域,并对该图像区域进行检测以实现对待检测对象的二次判断。其中,图像区域可以是疑似异常对象的图像区域本身,也可以是对该区域图像进行处理后的图像。可以理解的,通过对疑似异常对象的图像区域进行检测,可以避免图像背景区域信息的冗余,提高图像的质量,进一步提升异常姿态检测的准确度。
作为一种实施例,本申请实施例中涉及的姿态参数(包括第一姿态参数和第二姿态参数)可以是基于待检测对象的关键点的信息、肢体信息、待检测对象的某些部件与整个待检测对象在图像中的面积或角度信息等中的至少一种信息确定。
上述异常姿态检测方法,获取待检测图像,并基于待检测图像确定待检测对象的第一姿态参数;确定第二姿态参数;第二姿态参数包括至少一个历史对象的姿态为正常姿态时的姿态参数;若基于第一姿态参数和第二姿态参数确定待检测对象为疑似异常对象,则基于待检测图像中疑似异常对象对应的图像区域,确定待检测对象的姿态是否异常。通过第一姿态参数和第二姿态参数获取疑似异常对象,并进一步基于疑似异常对象的图像区域判断其姿态是否异常,解决了相关技术中存在的需要采用多帧图像进行检测,响应速度不够迅速的技术问题,提高了异常姿态检测的速度和准确度。
在另一个实施例中,待检测对象包括待检测人体,基于待检测图像确定待检测对象的第一姿态参数包括:
对待检测图像进行检测,获取待检测人体的人体全身目标框以及人体头部目标框,并将人体全身目标框纵横比和人体姿态角度中的至少一个,确定为第一姿态参数;其中,人体姿态角度是人体全身目标框中心点和人体头部目标框中心点连线的角度。
示例性地,对待检测图像进行检测,获取待检测图像中的待检测对象,并获取待检测对象的人体全身目标框以及人体头部目标框。将人体全身目标框纵横比或者人体姿态角度中的至少一个,作为第一姿态参数。其中,人体全身目标框纵横比是指人体全身目标框的高度与长度的比值,人体姿态角度是指人体全身目标框中心点与人体头部目标框中心点连线的角度,该角度可以是该连线与待检测图像的水平线或者竖直线的夹角。可以理解的,正常姿态下人体全身目标框纵横比或者人体姿态角度应当在一定的变化范围内,若人体全身目标框纵横比或者人体姿态角度超过一定限度范围或者突然出现剧烈变化,则表明该待检测目标的姿态可能处于异常状态。
请参阅图3,图3是本发明另一实施例的异常姿态检测方法的流程示意图。具体的,获取待检测图像,对待检测图像进行检测以获取待检测对象的人体全身目标框和人体头部目标框,基于人体全身目标框和人体头部目标框获取第一姿态参数,并基于历史图像获取第二姿态参数。根据第一姿态参数和第二姿态参数判断待检测对象是否为疑似异常对象;若待检测对象是疑似异常对象,则获取疑似异常对象的图像区域,并对该图像区域进行二次检测,以判断疑似异常对象的姿态是否异常。若检测到异常状态,则输出异常姿态结果。
应当说明的是,本实施例中的第一姿态参数或第二姿态参数并不限于人体全身目标框纵横比以及人体姿态角度,其他如人体全身目标框对角线的角度、人体全身目标框的高度值、人体全身目标框中心点或者人体头部目标框中心点的坐标等参数均可作为本实施例中的第一姿态参数或第二姿态参数,也即能够体现人体姿态特征的参数均应当在本示例的第一姿态参数或第二姿态参数的保护范围内。
本实施例通过获取人体全身目标框以及人体头部目标框,并计算人体全身目标框纵横比以及人体姿态角度作为第一姿态参数,进而基于第一姿态参数对待检测对象的姿态进行判断。与现有技术相比,本实施例只需要基于单帧图像的第一姿态参数,即可实现对待检测对象的姿态检测,不需要通过多帧图像进行分析获取待检测对象的姿态信息或者轨迹信息,当监控视频中某帧图像出现异常时即可及时响应进行判断,提高了异常姿态检测的速度。同时,由于通过多帧图像进行分析获取待检测对象的姿态信息或者轨迹信息容易受到形变、遮挡、光照等因素的干扰,例如当监控视频中的待检测对象存在短暂的遮挡时,该待检测对象的运动轨迹会发生中断,需要重新获取运动轨迹,从而导致异常姿态检测的准确度不高。而本实施例只需要提取单帧图像中待检测对象的第一姿态参数,解决了相关技术容易受到形变、遮挡、光照等因素干扰的技术问题,提高了异常姿态检测的准确度。
在另一个实施例中,历史对象包括历史人体,通过如下方式确定第二姿态参数:
获取历史图像中的多个历史人体的历史人体全身目标框以及历史人体头部目标框,并将历史人体全身目标框纵横比和历史人体姿态角度中的至少一个的均值,确定为第二姿态参数;其中,历史人体姿态角度是历史人体全身目标框中心点和历史人体头部目标框中心点连线的角度,第二姿态参数包括至少一个历史人体的姿态为正常姿态时的姿态参数。
示例性地,历史图像可以是待检测图像之前的历史帧图像或者历史帧图像的一部分,即当前相机的历史图像,也可以是预先获取的包含人体目标的图像数据集。具体的,获取历史帧图像或者历史帧图像的一部分中的各帧图像,并计算各帧图像的历史人体全身目标框纵横比以及历史人体姿态角度中的至少一个的均值,作为第二姿态参数。
本实施例通过获取历史图像的第二姿态参数,使得对单帧图像的异常姿态检测不需要依赖于监控视频上下文的语义,即只要获取历史图像的第二姿态参数,就可以快速对监控视频中的任一帧图像进行检测,而不需要对多帧图像进行分析以得到连续的目标信息,大幅降低了计算成本,提高了异常姿态检测的速度。
在另一个实施例中,基于第一姿态参数和第二姿态参数确定待检测对象为疑似异常对象包括:
步骤1:确定第二姿态参数的平均值以及方差;
步骤2:确定第一姿态参数与平均值的平方差;
步骤3:若平方差与方差的比值大于预设阈值,则确定待检测对象为疑似异常对象。
示例性地,计算第二姿态参数的平均值和方差,具体计算方式如下:
Figure BDA0003158368980000091
Figure BDA0003158368980000092
其中,n为更新系数,具体表示为历史图像中的第n帧图像,xn表示历史图像中的第n帧图像的第二姿态参数,En表示更新n次后的平均值,Dn表示更新n次后的方差。
获取第二姿态参数的平均值和方差后,计算第一姿态参数与第二姿态参数平均值的平方差:
R=(r-En)2
其中,r为第一姿态参数,R为第一姿态参数与第二姿态参数平均值的平方差。
计算第一姿态参数与第二姿态参数平均值的平方差与更新n次后的方差的比值:
Figure BDA0003158368980000093
将比值k与预设阈值进行比较,若比值大于预设阈值,则判定该待检测对象为疑似异常对象;若比值小于预设阈值,则判定该待检测对象不是疑似异常对象。
可以理解的,在实际监控场景中,大部分人体目标均为直立状态,其第二姿态参数相对稳定,基于直立状态的标准正态分布,上述第二姿态参数的平均值应当在一定范围内并且第二姿态参数的方差较小。当对待检测图像进行检测时,若人体目标为倒地状态时,其第一姿态参数与第二姿态参数平均值的绝对差较大,因此当第一姿态参数与第二姿态参数平均值的平方差与第二姿态参数的方差的比值超过一定限度时,则认定待检测目标为倒地状态。该限度值越高,则表明对第一姿态参数与第二姿态参数均值的绝对差的容错度越高,倒地状态的判断越严格。
可选的,本实施例还可以获取第二姿态参数的平均值,将待检测图像的第一姿态参数和第二姿态参数的平均值作差,若该差值超过预设阈值,则认定待检测目标为倒地状态;或者,获取第一姿态参数和第二姿态参数的方差,若该方差超过预设阈值,则认定待检测目标为倒地状态。应当说明的是,还可以采用其他判断方法,只需能够衡量第一姿态参数和第二姿态参数差异程度即可。
本实施例通过获取第二姿态参数的平均值和方差,并计算第一姿态参数与平均值的平方差与方差的比值,通过该比值与预设阈值进一步判断待检测对象是否为疑似异常对象。本实施例中的计算方法简单,计算参数容易获取,避免了现有技术中对图像特征的提取和分类,节约了计算资源,提高了计算速度。
在另一实施例中,基于待检测图像中疑似异常对象对应的图像区域,确定待检测对象的姿态是否异常包括:
步骤1:基于经训练的卷积神经网络提取图像区域的人体姿态特征;
步骤2:基于人体姿态特征对疑似异常对象的姿态进行分类,得到异常判断结果。
示例性地,获取待检测图像中的疑似异常对象后,提取疑似异常对象的边界框,将边界框内的图像输入经过预训练的神经网络,神经网络提取该图像区域的人体姿态特征,并对该人体姿态特征进行分类,得到异常姿态判断的结果。具体的,可以通过疑似异常对象的边界框坐标信息从对应帧图像中获取疑似异常对象的图像区域。应当说明的是,神经网络包括YOLOv3、Faster R-CNN、RFCN等神经网络,除了通过神经网络进行检测以外,本实施例还可以通过HOG、SIFT、边缘检测等传统方式或者其他能够检测疑似异常对象姿态的方法,本发明对此不作限制。
本实施例通过获取疑似异常对象的图像区域,并通过神经网络对图像区域进行二次判断得到异常判断结果,提高了异常姿态检测的准确度。同时,由于本实施例利用了历史图像的第二姿态参数进行了初次判断和筛选,得到了疑似异常对象,神经网络只需要对疑似异常对象的图像区域进行检测和分类,极大地降低了对神经网络计算资源的消耗,提高了检测速度。
在另一实施例中,将异常区域图像输入经训练的神经网络,得到异常判断结果之前包括:
步骤1:获取训练异常图像以及对应的训练判断结果;
步骤2:基于训练异常图像以及对应的训练判断结果建立训练集;
步骤3:基于训练集对初始神经网络模型进行训练,得到经训练的神经网络。
示例性地,对神经网络进行预训练包括将预训练的图像训练集输入神经网络,对初始神经网络进行训练和调整。其中,预训练的图像训练集包括异常图像以及对应的训练判断结果,神经网络基于该异常图像以及对应的训练判断结果进行反向传播,调整神经网络中的参数,得到经训练的神经网络。
在另一实施例中,获取待检测图像之前还包括:
获取监控视频中的单帧图像,判断单帧图像中是否存在待检测对象,若单帧图像中存在待检测对象,则将单帧图像作为待检测图像。
示例性地,获取监控视频并提取监控视频中的单帧图像,对单帧图像进行检测,判断图像中是否存在人体目标。若检测到图像中存在人体目标,则将该图像作为待检测图像,并对待检测图像进行异常姿态检测。具体的,对单帧图像进行检测以判断是否存在人体目标的检测方法可以是基于神经网络的检测方法,也可以是基于HOG、SIFT等传统的手工特征计算方法,本发明对此不作限制。
本实施例通过对单帧图像中是否存在人体目标进行判断以筛选出待检测图像,避免了数据的冗余,节省了数据计算资源,提高了异常姿态检测的检测速度。
在另一实施例中,待检测对象包括待检测人体,待检测图像包括多个候选网格,方法还包括:
步骤1:对待检测图像进行检测,获取待检测人体的人体全身目标框和候选网格集;
步骤2:获取人体全身目标框的中心点,并将候选网格集中包含中心点的候选网格确定为目标网格;
步骤3:基于目标网格在待检测图像中的位置,确定预设阈值。
示例性地,在相机的安装位置、安装角度等干扰因素一致的情况下,将相机获取的当前待检测图像和历史图像划分为若干的候选网格,当人体全身目标框的中心点位于任一候选网格内时,获取该人体目标的第一姿态参数和第二姿态参数,作为当前候选网格对应的第一姿态参数和第二姿态参数。根据该候选网格位置设置预设阈值,用于判断第一姿态参数和第二姿态参数的差异程度,进而对异常姿态进行判断。
在其中一个具体实施例中,异常姿态检测方法包括:
步骤1:对待检测图像进行划分,基于该待检测图像的宽和高,将图像等分成M×N的网格。
具体的,M、N的大小与人体目标的尺度相关,若人体目标区域越大,图像网格越大,M、N越小,反之则M、N越大。
步骤2:获取人体全身目标框中心点,归属至M×N的网格中。
具体的,对待检测图像进行检测,获取人体全身目标框的中心点。当有人体全身目标框的中心点位于任一网格内时,则表明该人体目标是以该网格为中心区域。
步骤3:当有人体全身目标框的中心点位于任一网格内时,获取第一姿态参数。
具体的,若检测到人体全身目标框的中心点位于任一网格内时,获取该人体目标对应的第一姿态参数,作为该网格对应的第一姿态参数。
步骤4:基于上述网格获取历史图像的第二姿态参数。
具体的,判断历史图像中该网格是否存在相应人体目标的人体全身目标框的中心点,若存在则获取该人体目标的第二姿态参数,作为该网格对应的第二姿态参数。
步骤5:基于第一姿态参数和第二姿态参数判断该人体目标是否为异常姿态。
具体的,计算第一姿态参数和第二姿态参数的均值及方差,并基于均值和方差判断人体目标是否为异常状态。可以理解的,基于人体姿态的标准正态分布,历史图像中大部分人体姿态为正常姿态,当任一网格对应的人体姿态出现严重偏差时,其对应的姿态参数也会出现偏差。若检测到相应姿态参数超过偏差阈值,则可以判定该人体目标处于异常姿态。可以理解的,基于网格位置的不同,该偏差阈值也不相同。
请参阅图4,图4是本发明一实施例的图像网格以及目标框的示意图。如图4所示,M=5,N=5,将图像分成5×5的网格,其中人体全身目标框的中心点位于第二行、第三列的网格内。将该人体目标对应的第一姿态参数,作为第二行、第三列的网格对应的第一姿态参数。基于同样的网格划分规则,获取历史图像中人体全身目标框的中心点位于第二行、第三列的网格中的人体目标,并计算该人体目标的第二姿态参数,作为历史图像中该网格对应的第二姿态参数。最后基于该网格对应的第一姿态参数以及第二姿态参数判断该人体目标是否为异常姿态。
本实施例通过将待检测图像和历史图像划分为若干候选网格,并基于该候选网格获取第一姿态参数和第二姿态参数,降低了人体目标在图像中的不同位置对姿态参数的影响。可以理解的,由于图像边缘受到相机畸变的影响较重,人体目标会造成一定角度的倾斜,因此人体目标位于图像边缘时的角度参数和人体目标位于图像中心时不同;当人体目标位于相机的正下方时,其纵横长度差异程度较小,当人体离相机的距离较远时,其纵横长度差异程度较大,因此人体目标位于不同位置时尺度参数也不相同。由于位置的差异越小,位置对姿态参数的影响也越小,因此同一网格内的姿态参数的差异程度较小。通过将图像划分为若干候选网格并且基于不同候选网格获取人体目标的姿态参数,可以使得人体目标的姿态参数基于不同的候选网格进行调整,降低不同位置对姿态参数的影响,进一步提高异常姿态检测的准确率。
需要说明的是,在上述流程中或者附图的流程图中示出的步骤可以在诸如一组计算机可执行指令的计算机系统中执行,并且,虽然在流程图中示出了逻辑顺序,但是在某些情况下,可以以不同于此处的顺序执行所示出或描述的步骤。
在本实施例中还提供了一种异常姿态检测装置,该装置用于实现上述实施例及优选实施方式,已经进行过说明的不再赘述。以下所使用的术语“模块”、“单元”、“子单元”等可以实现预定功能的软件和/或硬件的组合。尽管在以下实施例中所描述的装置较佳地以软件来实现,但是硬件,或者软件和硬件的组合的实现也是可能并被构想的。
图5是本实施例的异常姿态检测装置的结构框图,如图5所示,该装置包括:
第一姿态参数确定模块,用于获取待检测图像,并基于待检测图像确定待检测对象的第一姿态参数;
第一姿态参数确定模块,还用于对待检测图像进行检测,获取待检测人体的人体全身目标框以及人体头部目标框,并将人体全身目标框纵横比和人体姿态角度中的至少一个,确定为第一姿态参数;其中,人体姿态角度是人体全身目标框中心点和人体头部目标框中心点连线的角度;
第二姿态参数确定模块,用于确定第二姿态参数;第二姿态参数包括至少一个历史对象的姿态为正常姿态时的姿态参数;
第二姿态参数确定模块,还用于获取历史图像中的多个历史人体的历史人体全身目标框以及历史人体头部目标框,并将历史人体全身目标框纵横比和历史人体姿态角度中的至少一个的均值,确定为第二姿态参数;其中,历史人体姿态角度是历史人体全身目标框中心点和历史人体头部目标框中心点连线的角度,第二姿态参数包括至少一个历史人体的姿态为正常姿态时的姿态参数;
异常姿态判断模块,用于若基于第一姿态参数和第二姿态参数确定待检测对象为疑似异常对象,则基于待检测图像中疑似异常对象对应的图像区域,确定待检测对象的姿态是否异常;
异常姿态判断模块,还用于确定第二姿态参数的平均值以及方差;以及
确定第一姿态参数与平均值的平方差;
若平方差与方差的比值大于预设阈值,则确定待检测对象为疑似异常对象;
异常姿态判断模块,还用于基于经训练的卷积神经网络提取图像区域的人体姿态特征;
基于人体姿态特征对疑似异常对象的姿态进行分类,得到异常判断结果;
异常姿态检测装置,还包括待检测图像获取模块;
待检测图像获取模块,用于获取监控视频中的单帧图像,判断单帧图像中是否存在待检测对象,若单帧图像中存在待检测对象,则将单帧图像作为待检测图像;
异常姿态检测装置,还包括预设阈值获取模块;
预设阈值获取模块,用于对待检测图像进行检测,获取待检测人体的人体全身目标框和候选网格集;
获取人体全身目标框的中心点,并将候选网格集中包含中心点的候选网格确定为目标网格;
基于目标网格在待检测图像中的位置,确定预设阈值。
需要说明的是,上述各个模块可以是功能模块也可以是程序模块,既可以通过软件来实现,也可以通过硬件来实现。对于通过硬件来实现的模块而言,上述各个模块可以位于同一处理器中;或者上述各个模块还可以按照任意组合的形式分别位于不同的处理器中。
在本实施例中还提供了一种电子装置,包括存储器和处理器,该存储器中存储有计算机程序,该处理器被设置为运行计算机程序以执行上述任一项方法实施例中的步骤。
可选地,上述电子装置还可以包括传输设备以及输入输出设备,其中,该传输设备和上述处理器连接,该输入输出设备和上述处理器连接。
可选地,在本实施例中,上述处理器可以被设置为通过计算机程序执行以下步骤:
S1,获取待检测图像,并基于待检测图像确定待检测对象的第一姿态参数;
S2,确定第二姿态参数;第二姿态参数包括至少一个历史对象的姿态为正常姿态时的姿态参数;
S3,若基于第一姿态参数和第二姿态参数确定待检测对象为疑似异常对象,则基于待检测图像中疑似异常对象对应的图像区域,确定待检测对象的姿态是否异常。
需要说明的是,在本实施例中的具体示例可以参考上述实施例及可选实施方式中所描述的示例,在本实施例中不再赘述。
此外,结合上述实施例中提供的异常姿态检测方法,在本实施例中还可以提供一种存储介质来实现。该存储介质上存储有计算机程序;该计算机程序被处理器执行时实现上述实施例中的任意一种异常姿态检测方法。
应该明白的是,这里描述的具体实施例只是用来解释这个应用,而不是用来对它进行限定。根据本申请提供的实施例,本领域普通技术人员在不进行创造性劳动的情况下得到的所有其它实施例,均属本申请保护范围。
显然,附图只是本申请的一些例子或实施例,对本领域的普通技术人员来说,也可以根据这些附图将本申请适用于其他类似情况,但无需付出创造性劳动。另外,可以理解的是,尽管在此开发过程中所做的工作可能是复杂和漫长的,但是,对于本领域的普通技术人员来说,根据本申请披露的技术内容进行的某些设计、制造或生产等更改仅是常规的技术手段,不应被视为本申请公开的内容不足。
“实施例”一词在本申请中指的是结合实施例描述的具体特征、结构或特性可以包括在本申请的至少一个实施例中。该短语出现在说明书中的各个位置并不一定意味着相同的实施例,也不意味着与其它实施例相互排斥而具有独立性或可供选择。本领域的普通技术人员能够清楚或隐含地理解的是,本申请中描述的实施例在没有冲突的情况下,可以与其它实施例结合。
以上所述实施例仅表达了本申请的几种实施方式,其描述较为具体和详细,但并不能因此而理解为对专利保护范围的限制。应当指出的是,对于本领域的普通技术人员来说,在不脱离本申请构思的前提下,还可以做出若干变形和改进,这些都属于本申请的保护范围。因此,本申请的保护范围应以所附权利要求为准。

Claims (10)

1.一种异常姿态检测方法,其特征在于,包括:
获取待检测图像,并基于所述待检测图像确定待检测对象的第一姿态参数;
确定第二姿态参数;所述第二姿态参数包括至少一个历史对象的姿态为正常姿态时的姿态参数;
若基于所述第一姿态参数和所述第二姿态参数确定所述待检测对象为疑似异常对象,则基于所述待检测图像中所述疑似异常对象对应的图像区域,确定所述待检测对象的姿态是否异常。
2.根据权利要求1所述的异常姿态检测方法,其特征在于,所述待检测对象包括待检测人体,所述基于所述待检测图像确定待检测对象的第一姿态参数包括:
对所述待检测图像进行检测,获取所述待检测人体的人体全身目标框以及人体头部目标框,并将所述人体全身目标框纵横比和人体姿态角度中的至少一个,确定为所述第一姿态参数;其中,所述人体姿态角度是所述人体全身目标框中心点和所述人体头部目标框中心点连线的角度。
3.根据权利要求1所述的异常姿态检测方法,其特征在于,所述历史对象包括历史人体,通过如下方式确定所述第二姿态参数:
获取历史图像中的多个历史人体的历史人体全身目标框以及历史人体头部目标框,并将所述历史人体全身目标框纵横比和历史人体姿态角度中的至少一个的均值,确定为所述第二姿态参数;其中,所述历史人体姿态角度是所述历史人体全身目标框中心点和所述历史人体头部目标框中心点连线的角度,所述第二姿态参数包括至少一个历史人体的姿态为正常姿态时的姿态参数。
4.根据权利要求1所述的异常姿态检测方法,其特征在于,所述基于所述第一姿态参数和所述第二姿态参数确定所述待检测对象为疑似异常对象包括:
确定所述第二姿态参数的平均值以及方差;以及
确定所述第一姿态参数与所述平均值的平方差;
若所述平方差与所述方差的比值大于预设阈值,则确定所述待检测对象为疑似异常对象。
5.根据权利要求1所述的异常姿态检测方法,其特征在于,所述基于所述待检测图像中所述疑似异常对象对应的图像区域,确定所述待检测对象的姿态是否异常包括:
基于经训练的卷积神经网络提取所述图像区域的人体姿态特征;
基于所述人体姿态特征对所述疑似异常对象的姿态进行分类,得到异常判断结果。
6.根据权利要求1-5任一项所述的异常姿态检测方法,其特征在于,所述获取待检测图像之前还包括:
获取监控视频中的单帧图像,判断所述单帧图像中是否存在待检测对象,若所述单帧图像中存在所述待检测对象,则将所述单帧图像作为所述待检测图像。
7.根据权利要求4所述的异常姿态检测方法,其特征在于,所述待检测对象包括待检测人体,所述待检测图像包括多个候选网格,所述方法还包括:
对所述待检测图像进行检测,获取所述待检测人体的人体全身目标框和候选网格集;
获取所述人体全身目标框的中心点,并将所述候选网格集中包含所述中心点的候选网格确定为目标网格;
基于所述目标网格在所述待检测图像中的位置,确定所述预设阈值。
8.一种异常姿态检测装置,其特征在于,包括:
第一姿态参数确定模块,用于获取待检测图像,并基于所述待检测图像确定待检测对象的第一姿态参数;
第二姿态参数确定模块,用于确定第二姿态参数;所述第二姿态参数包括至少一个历史对象的姿态为正常姿态时的姿态参数;
异常姿态判断模块,用于若基于所述第一姿态参数和所述第二姿态参数确定所述待检测对象为疑似异常对象,则基于所述待检测图像中所述疑似异常对象对应的图像区域,确定所述待检测对象的姿态是否异常。
9.一种电子装置,包括存储器和处理器,其特征在于,所述存储器中存储有计算机程序,所述处理器被设置为运行所述计算机程序以执行权利要求1至7中任一项所述的异常姿态检测方法。
10.一种计算机可读存储介质,其上存储有计算机程序,其特征在于,所述计算机程序被处理器执行时实现权利要求1至7中任一项所述的异常姿态检测方法的步骤。
CN202110785022.3A 2021-07-12 异常姿态检测方法、装置、电子装置和存储介质 Active CN113673319B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110785022.3A CN113673319B (zh) 2021-07-12 异常姿态检测方法、装置、电子装置和存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110785022.3A CN113673319B (zh) 2021-07-12 异常姿态检测方法、装置、电子装置和存储介质

Publications (2)

Publication Number Publication Date
CN113673319A true CN113673319A (zh) 2021-11-19
CN113673319B CN113673319B (zh) 2024-05-03

Family

ID=

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116649963A (zh) * 2023-07-27 2023-08-29 四川省医学科学院·四川省人民医院 一种基于患者肢体位姿检测的预警分析方法和系统

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107871190A (zh) * 2016-09-23 2018-04-03 阿里巴巴集团控股有限公司 一种业务指标监控方法及装置
CN109565516A (zh) * 2016-04-19 2019-04-02 工业科技有限公司 工作人员安全系统
CN109670438A (zh) * 2018-12-14 2019-04-23 北京旷视科技有限公司 用于智能台灯的异常行为监控方法、装置、系统和存储介质
CN111291778A (zh) * 2018-12-07 2020-06-16 马上消费金融股份有限公司 深度分类模型的训练方法、曝光异常检测方法以及装置
CN111666818A (zh) * 2020-05-09 2020-09-15 大连理工大学 一种驾驶员异常姿态检测方法
CN112560547A (zh) * 2019-09-10 2021-03-26 中兴通讯股份有限公司 一种异常行为判定方法、装置、终端及可读存储介质
CN112733629A (zh) * 2020-12-28 2021-04-30 上海眼控科技股份有限公司 异常行为判断方法、装置、设备和存储介质
CN112861564A (zh) * 2019-11-12 2021-05-28 北京君正集成电路股份有限公司 一种坐姿检测的实现装置
WO2021114892A1 (zh) * 2020-05-29 2021-06-17 平安科技(深圳)有限公司 基于环境语义理解的人体行为识别方法、装置、设备及存储介质

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109565516A (zh) * 2016-04-19 2019-04-02 工业科技有限公司 工作人员安全系统
CN107871190A (zh) * 2016-09-23 2018-04-03 阿里巴巴集团控股有限公司 一种业务指标监控方法及装置
CN111291778A (zh) * 2018-12-07 2020-06-16 马上消费金融股份有限公司 深度分类模型的训练方法、曝光异常检测方法以及装置
CN109670438A (zh) * 2018-12-14 2019-04-23 北京旷视科技有限公司 用于智能台灯的异常行为监控方法、装置、系统和存储介质
CN112560547A (zh) * 2019-09-10 2021-03-26 中兴通讯股份有限公司 一种异常行为判定方法、装置、终端及可读存储介质
CN112861564A (zh) * 2019-11-12 2021-05-28 北京君正集成电路股份有限公司 一种坐姿检测的实现装置
CN111666818A (zh) * 2020-05-09 2020-09-15 大连理工大学 一种驾驶员异常姿态检测方法
WO2021114892A1 (zh) * 2020-05-29 2021-06-17 平安科技(深圳)有限公司 基于环境语义理解的人体行为识别方法、装置、设备及存储介质
CN112733629A (zh) * 2020-12-28 2021-04-30 上海眼控科技股份有限公司 异常行为判断方法、装置、设备和存储介质

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
ZHENHUA YIN ET AL.: "Optimization of Human Body Attitude Detection Based on Mask RCNN", 《2020 8TH INTERNATIONAL CONFERENCE ON ORANGE TECHNOLOGY (ICOT) 》, 31 December 2020 (2020-12-31), pages 1 - 4, XP033937671, DOI: 10.1109/ICOT51877.2020.9468723 *
马宝庆: "基于全方位计算机视觉的独居老人监护系统", 《中国优秀硕士学位论文全文数据库 信息科技辑 》, 15 March 2015 (2015-03-15), pages 138 - 2161 *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116649963A (zh) * 2023-07-27 2023-08-29 四川省医学科学院·四川省人民医院 一种基于患者肢体位姿检测的预警分析方法和系统
CN116649963B (zh) * 2023-07-27 2023-10-20 四川省医学科学院·四川省人民医院 一种基于患者肢体位姿检测的预警分析方法和系统

Similar Documents

Publication Publication Date Title
CN107358149B (zh) 一种人体姿态检测方法和装置
CN106127148B (zh) 一种基于机器视觉的手扶电梯乘客异常行为检测方法
CN104303193B (zh) 基于聚类的目标分类
WO2019129255A1 (zh) 一种目标跟踪方法及装置
CN112733690B (zh) 一种高空抛物检测方法、装置及电子设备
CN112101124B (zh) 一种坐姿检测方法及装置
CN111241913A (zh) 一种检测人员摔倒的方法、装置及系统
CN110287907B (zh) 一种对象检测方法和装置
CN105022999A (zh) 一种人码伴随实时采集系统
CN112950668A (zh) 一种基于模位置测量的智能监控方法及系统
CN113159300A (zh) 图像检测神经网络模型及其训练方法、图像检测方法
CN106600652A (zh) 一种基于人工神经网络的全景摄像头定位方法
JP6851221B2 (ja) 画像監視装置
KR20190050551A (ko) 깊이 맵 정보 기반의 인체 행위 인지 방법 및 그 장치
CN102867214B (zh) 区域范围内人数统计管理方法
CN111078751A (zh) 一种基于unreal4进行目标统计的方法及其系统
CN106406507B (zh) 图像处理方法以及电子设备
CN112395920B (zh) 基于雷达的姿态识别装置、方法以及电子设备
CN112037255A (zh) 目标跟踪方法和装置
CN111753587B (zh) 一种倒地检测方法及装置
CN112084984A (zh) 一种基于改进的Mask RCNN的扶梯动作检测方法
CN113673319A (zh) 异常姿态检测方法、装置、电子装置和存储介质
CN112036269A (zh) 跌倒检测方法、装置、计算机设备和存储介质
CN106803937A (zh) 一种具有文本日志的双摄像头视频监控方法及系统
CN113673319B (zh) 异常姿态检测方法、装置、电子装置和存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination