异常行为识别方法、目标异常识别方法、设备及介质
技术领域
本发明涉及智能识别领域,尤其涉及一种异常行为识别方法、目标异常识别方法、设备及介质。
背景技术
随着计算机技术特别是人工智能技术的不断发展,越来越多的将相关的智能化监测和预警的技术应用到日常生活中。据统计,预计到2020年,全国60岁以上老年人口将增加到2.55亿人左右,占总人口比重提升到17.8%。老年人因身体机能下降,行动能力及应变能力变弱,因自身疾病或外界影响,易发生突发意外伤害情况,其中跌倒是老年人意外伤害死亡的头号杀手。因此,在家庭、养老院等场所中,需要对老年人的行为进行智能化地监测,以及时对发生地突发情况进行处理,更好地保障老年人的安全。
然而,目前存在采用摄像头等设备对老年人的行为进行监控,并且在监测到异常行为时,实现提示或者报警。但是,目前的监测方案存在这较多的不足。
发明内容
本发明实施例提供一种异常行为识别方法、装置、计算机设备及存储介质,以解决异常行为识别精度不高的问题。
本发明实施例提供一种目标异常识别方法、装置、计算机设备及存储介质,以解决异常行为识别精度不高的问题。
一种异常行为识别方法,其特征在于,包括:
获取当前帧图像,采用人体关键点检测模型对所述当前帧图像进行检测,得到监测目标的人体特征信息,所述当前帧图像为从监测视频中获取的包含监测目标的图像;
将所述人体特征信息与预设的基准异常信息进行匹配,得到匹配信息,所述匹配信息指示所述人体特征信息与预设的基准异常信息的匹配结果;
若所述匹配信息为第一类型信息,则从所述监测视频中获取对应的相关帧图像集,所述第一类型信息指示所述监测目标存在异常;
采用预设的行为识别模型对所述相关帧图像集进行行为识别,确定所述相关帧图像集中的所述监测目标的行为信息。
一种目标异常识别方法,其特征在于,包括:
获取监测视频,从所述监测视频中提取出当前帧图像;
对所述当前帧图像采用上述异常行为识别方法进行识别,得到所述当前帧图像的行为信息;
若所述当前帧图像不是所述监测视频中的最后一帧图像,则根据预设的提取方式从所述监测视频中确定新的当前帧图像,并返回执行所述对所述当前帧图像进行上述异常行为识别方法,得到所述当前帧图像的行为信息的步骤。
一种异常行为识别装置,其特征在于,包括:
当前帧图像获取模块,用于获取当前帧图像,采用人体关键点检测模型对所述当前帧图像进行检测,得到监测目标的人体特征信息,所述当前帧图像为从监测视频中获取的包含监测目标的图像;
匹配信息确定模块,用于将所述人体特征信息与预设的基准异常信息进行匹配,得到匹配信息,所述匹配信息指示所述人体特征信息与预设的基准异常信息的匹配结果;
图像集获取模块,用于在所述匹配信息为第一类型信息时,则从所述监测视频中获取对应的相关帧图像集,所述第一类型信息指示所述监测目标存在异常;
行为信息确定模块,用于采用预设的行为识别模型对所述相关帧图像集进行行为识别,确定所述相关帧图像集中的所述监测目标的行为信息。
一种目标异常识别装置,其特征在于,包括:
监测视频获取模块,用于获取监测视频,从所述监测视频中提取出当前帧图像;
异常识别模块,用于对所述当前帧图像采用上述异常行为识别方法进行识别,得到所述当前帧图像的行为信息;
重复执行模块,用于在所述当前帧图像不是所述监测视频中的最后一帧图像时,则根据预设的提取方式从所述监测视频中确定新的当前帧图像,并返回执行所述对所述当前帧图像进行上述异常行为识别方法,得到所述当前帧图像的行为信息的步骤。
一种计算机设备,包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序,所述处理器执行所述计算机程序时实现上述异常行为识别方法的步骤,或者,所述处理器执行所述计算机程序时实现上述目标异常识别方法的步骤。
一种计算机可读存储介质,所述计算机可读存储介质存储有计算机程序,所述计算机程序被处理器执行时实现上述异常行为识别方法的步骤,或者,所述计算机程序被处理器执行时实现上述目标异常识别方法的步骤。
上述异常行为识别方法、装置、计算机设备及存储介质中,通过获取当前帧图像,采用人体关键点检测模型对所述当前帧图像进行检测,得到监测目标的人体特征信息,所述当前帧图像为从监测视频中获取的包含监测目标的图像;将所述人体特征信息与预设的基准异常信息进行匹配,得到匹配信息,所述匹配信息指示所述人体特征信息与预设的基准异常信息的匹配结果;若所述匹配信息为第一类型信息,则从所述监测视频中获取对应的相关帧图像集,所述第一类型信息指示所述监测目标存在异常;采用预设的行为识别模型对所述相关帧图像集进行行为识别,确定所述相关帧图像集中的所述监测目标的行为信息,保证了对监测目标的异常行为识别的准确。
上述目标异常识别方法、装置、计算机设备及存储介质中,在获取监测视频之后,从所述监测视频中提取出当前帧图像;对所述当前帧图像采用上述任一项实施例中所述的异常行为识别方法进行识别,得到所述当前帧图像的行为信息。若所述当前帧图像不是所述监测视频中的最后一帧图像,则根据预设的提取方式从所述监测视频中确定新的当前帧图像,并返回执行所述对所述当前帧图像进行上述异常行为识别方法,得到所述当前帧图像的行为信息的步骤,保证了对检测视频中的监测目标的异常行为识别的准确。
附图说明
为了更清楚地说明本发明实施例的技术方案,下面将对本发明实施例的描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动性的前提下,还可以根据这些附图获得其他的附图。
图1是本发明一实施例中异常行为识别方法或者目标异常识别方法的一应用环境示意图;
图2是本发明一实施例中异常行为识别方法的一流程图;
图3是本发明一实施例中异常行为识别方法的另一流程图;
图4是本发明一实施例中异常行为识别方法的另一流程图;
图5是本发明一实施例中目标异常识别方法的一流程图;
图6是本发明一实施例中目标异常识别方法的另一流程图;
图7是本发明一实施例中异常行为识别装置的一示意图;
图8是本发明一实施例中异常行为识别装置的另一示意图;
图9是本发明一实施例中目标异常识别装置的一示意图;
图10是本发明一实施例中计算机设备的一示意图。
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
本发明实施例提供的异常行为识别方法,可应用在如图1的应用环境中,其中,客户端(计算机设备)通过网络与服务端进行通信。(结合权1的整体方案进行描述。其中,客户端(计算机设备)可以但不限于各种个人计算机、笔记本电脑、智能手机、平板电脑和便携式可穿戴设备。服务端可以用独立的服务器或者是多个服务器组成的服务器集群来实现。
在一实施例中,如图2所示,提供一种异常行为识别方法,以该方法应用在图1中的服务端为例进行说明,包括如下步骤:
S201:获取当前帧图像,采用人体关键点检测模型对所述当前帧图像进行检测,得到监测目标的人体特征信息,所述当前帧图像为从监测视频中获取的包含监测目标的图像。
其中,当前帧图像为从监测视频中获取的包含监测目标的图像。当前帧图像的获取可以为对监测视频通过一定的帧率进行图像获取之后,从中提取的一幅图像。该提取方式可以为按照一定的提取顺序或者提取机制实现,示例性地,按照时序的先后顺序,将从监测视频中获取的第一幅包含监测目标的图像作为当前帧图像。或者,从监测视频中特定的时段获取第一幅包含监测目标的图像作为当前帧图像。
监测视频可以为视频采集设备采集的视频素材,或者由本地上传至客户端的视频数据,或者由其他设备发送至客户端的视频数据。其中,监测视频为对监测目标进行监控的数据数据,即在监测视频中包含监测目标。该监测目标为人物。示例性地,可以在家中或者养老院等场所设置多个视频采集设备,采集包含由监测目标的视频数据,用于对监测目标进行监控。在一个实施方式中,若视频采集设备为客户端,则该视频采集设备直接将采集到的监测视频发送至服务端。或者,该视频采集设备将采集到的监测视频发送至客户端,客户端再将该监测视频发送至服务端。
人体关键点检测模型用于从图像中提取人体的关键点坐标,示例性地,该关键点坐标可以为,头部坐标点、重心坐标点和小腿中心坐标点。进一步地,该关键点坐标可以为对人体骨架的标注坐标点。该人体关键点检测模型可以通过深度学习实现。优选地,可以预先建立自适应感受野的SSD(Single Shot MultiBox Detector)卷积网络的人体关键点检测模型,从图像中提取人体的关键点坐标,得到人体特征信息。
S202:将所述人体特征信息与预设的基准异常信息进行匹配,得到匹配信息,所述匹配信息指示所述人体特征信息与预设的基准异常信息的匹配结果。
其中,基准异常信息为预先设置好的体现异常行为的特征信息,该基准异常信息也通过人体关键点坐标来体现。示例性地,体现跌倒状态、摆手求救的基准异常信息。可以预先采集大量体现异常行为的图像,进行特征提取之后得到基准异常信息。将所述人体特征信息与预设的基准异常信息进行匹配,可以为计算人体特征信息与预设的基准异常信息的向量相似度,以确定人体特征信息是否和预设的基准异常信息匹配成功,或者,和哪一具体的基准异常信息匹配成功。可以理解地,预设的基准异常信息可以为一个,也可以为两个以上。匹配信息指示所述人体特征信息与预设的基准异常信息的匹配结果,可选地,匹配信息可以指示匹配成功或者匹配失败。
示例性地,对于跌倒状态,可以通过对人体特征信息中的部分关键点的计算来判断。可选地,跌倒状态的基准异常信息为头部左边点和重心坐标点连线和水平面的夹角,以及中心坐标点和小腿中心坐标点连线和水平面的夹角,都小于一预设度数时(例如:15度、20度或者25度),则认为该监测目标可能为跌倒状态。
而对于摆手求救的基准异常信息,可以预先设定基准的摆手求救的图像,再通过比较当前帧图像中的人体特征信息和基准的摆手求救的图像的人体特征信息的相似度,若相似度超过一定的阈值,则认为该监测目标可能是在做出摆手求救的动作。
而匹配信息用于指示该当前帧图像中的监测目标是否存在异常,进一步地,具体地指出该异常可能为何种异常行为。
S203:若所述匹配信息为第一类型信息,则从所述监测视频中获取对应的相关帧图像集,所述第一类型信息指示所述监测目标存在异常。
其中,第一类型信息指示所述监测目标存在异常。若匹配信息指示监测目标存在异常,则从所述监测视频中获取对应的相关帧图像集。其中,相关帧图像集为和当前帧图像在时序上相邻的图像组成的图像集。例如,将监测视频中和当前帧图像在时序上相邻的若干幅图像提取出来,组成相关帧图像集。
S204:采用预设的行为识别模型对所述相关帧图像集进行行为识别,确定所述相关帧图像集中的所述监测目标的行为信息。
在得到相关帧图像集之后,通过预设的行为识别模型对所述相关帧图像集进行行为识别,确定所述相关帧图像集中的所述监测目标的行为信息。具体地,将所述相关帧图像集输入到行为识别模型中,该行为识别模型提取相关帧图像集中的每一幅图像的人体关键点特征,再与行为识别模型中代表异常行为的基准特征集进行匹配,若匹配成功,则确定监测目标存在异常行为。具体地,将每一幅图像的人体关键点特征和代表异常行为的基准特征集中的每一基准特征点特征进行匹配,并根据整体的匹配结果来确定监测目标的行为信息。示例性地,若其中每一幅图像的匹配之后的相似度均超过预设的阈值,则确定所述监测目标存在和基准特征集对应的异常行为。
在本实施例中,通过获取当前帧图像,采用人体关键点检测模型对所述当前帧图像进行检测,得到监测目标的人体特征信息,所述当前帧图像为从监测视频中获取的包含监测目标的图像;将所述人体特征信息与预设的基准异常信息进行匹配,得到匹配信息,所述匹配信息指示所述人体特征信息与预设的基准异常信息的匹配结果;若所述匹配信息为第一类型信息,则从所述监测视频中获取对应的相关帧图像集,所述第一类型信息指示所述监测目标存在异常;采用预设的行为识别模型对所述相关帧图像集进行行为识别,确定所述相关帧图像集中的所述监测目标的行为信息,保证了对监测目标的异常行为识别的准确。
在一个实施例中,如图3所示,所述从所述监测视频中获取对应的相关帧图像集,包括:
S301:根据所述匹配信息匹配所述当前帧图像的疑似异常类型。
其中,匹配信息用于指示该当前帧图像和哪一基准异常信息匹配成功。不同的基准异常信息可能代表不同的异常类型。示例性地,基准异常信息可以包括指示疑似跌倒的信息,指示久坐不动的信息,指示摆手求救的信息等。不同的信息对应不同的疑似异常类型。可选择,疑似异常类型可以包括疑似跌倒、久坐不动以及摆手求救三种。
S302:通过所述疑似异常类型确定所述当前帧图像的紧急级别和视频时间区间。
具体地,预先为不同的疑似异常类型确定不同的紧急级别和/或视频时间区间。紧急级别用于确定异常情况的紧急程度,可以理解地,紧急级别可以分为第一级、第二级等。在一个具体实施方式中,将疑似异常类型疑似跌倒、以及摆手求救确定为第一级别,将疑似异常类型久坐不动确定为第二级别。或者,可以将疑似异常类型疑似跌倒、以及摆手求救确定为第二级别,将疑似异常类型久坐不动确定为第一级别。视频时间区间用于界定要获取的视频区间,不同的疑似异常类型需要获取的视频区间不同。示例性地,对于疑似跌倒的行为,时间发生较为短促,而久坐不动需要较长的时间区间来确定,摆手求救也可以通过短时间的时间区间进行确认,因此,可以通过不同的视频时间区间来为后续确定相关帧图像集。也可以进行有针对性地图像选取,避免不必要的计算负担,减少计算机的计算量。在一个具体实施方式中,疑似跌倒、以及摆手求救的视频时间区间小于久坐不动的视频时间区间。
S303:通过所述紧急级别获取对应的图像获取帧率,所述图像获取帧率与所述紧急级别呈正相关。
预先根据不同的紧急级别确定对应的图像获取帧率,进一步地,图像获取帧率与紧急级别呈正相关,具体地,紧急级别指示的紧急程度越高,则对应的图像获取帧率越高。优选地,疑似跌倒、以及摆手求救疑似行为对应的图像获取帧率大于久坐不动疑似行为对应的图像获取帧率。
S304:根据所述当前帧图像的时间点信息、以及所述图像获取帧率和所述视频时间区间从所述监测视频中获取对应相关帧图像,组成相关帧图像集。
在确定了上述因素(当前帧图像的时间点信息、以及所述图像获取帧率和所述视频时间区间)之后,根据浙西而因素从所述监测视频中获取对应相关帧图像,组成相关帧图像集。
在本实施例中,先根据所述匹配信息匹配所述当前帧图像的疑似异常类型;通过所述疑似异常类型确定所述当前帧图像的紧急级别和视频时间区间;通过所述紧急级别获取对应的图像获取帧率,所述图像获取帧率与所述紧急级别呈正相关;根据所述当前帧图像的时间点信息、以及所述图像获取帧率和所述视频时间区间从所述监测视频中获取对应相关帧图像,组成相关帧图像集。对不同的匹配信息确定不同的疑似异常类型,并且进一步地配以不同的紧急级别、视频时间区间和图像获取帧率,针对不同的异常行为进行不同的有针对性的相关帧图像集的获取,在保证后续识别精度的前提下,减少了计算机的计算压力,避免了不必要的内存消耗。
在一个实施例中,如图4所示,在所述将所述人体特征信息与预设的基准异常信息进行匹配,得到匹配信息之后,所述异常行为识别方法还包括:
S401:若所述匹配信息为第二类型信息,则将所述当前帧图像和所述匹配信息存储至数据库中的历史监测信息集中。
其中,第二类型信息指示所述监测目标需要进行进一步地监控。可以理解地,某些异常行为需要通过一定时间的监控或者检测才能得到结论,例如,久坐不动、摆手求救。因此,将存在此类可能性的监测目标输出第二类型信息。具体地,在预设的基准异常信息中包括了对需要一定时间监控或者检测的异常信息,例如久坐不动、摆手求救。若在将所述人体特征信息与预设的基准异常信息进行匹配之时,人体特征信息和表征需要一定时间监控或者检测的异常信息匹配成功,则得到的匹配信息为第二类型信息。
历史监测信息集为存储了之前监测数据的集合,具体地,在该历史监测信息集中存储了在之前的监测中,匹配信息为第二类型信息的相关数据。进一步地,在历史监测信息集中,按照检测目标的不同进行了划分。可以以检测目标为索引获取到对应的历史监测信息集。
S402:从数据库中获取所述监测视频的历史监测信息集,所述历史监测信息集包括历史监测图像和对应的历史匹配信息。
在该步骤中,从数据库中获取出监测视频的历史监测信息集,在历史监测信息集中包括历史监测图像和对应的历史匹配信息。历史监测图像为在之前的匹配过程中,检测到疑似或者确定有异常行为的图像。可以理解的,在一个历史监测信息集中,对应的是一个监测目标的集合。
S403:将所述历史监测信息集中所述历史匹配信息为第二类型信息的历史监测信息确定为持续监控信息集。
进一步地,从历史监测信息集中,历史匹配信息为第二类型信息的历史监测信息提取出来,确定为持续监控信息集。其中,第二类型信息可以指示需要持续需要监控的所有异常,也可以具体指定其中的一种,示例性地,该第二类型信息指示久坐不动的异常行为。
S404:提取所述持续监控信息集中每一历史监测图像在所述监测视频中的时间点轨迹信息,若所述时间点轨迹信息符合预设的监控时间轨迹,则输出异常提示信息,所述异常提示信息指示所述监测目标存在异常行为。
时间点轨迹信息指示对应的历史监测图像在检测视频中的时间点,判断持续监控信息集中每一历史监测图像的时间分布,进而和预设的监控时间轨迹进行比较。该监控时间轨迹为预设的指示异常的时间轨迹。具体地,对于不同的异常行为,该监控时间轨迹相对不同。示例性地,对于久坐不动的监控时间轨迹应该为持续较长时间,且持续性地出现。而对于摆手求救的监控时间轨迹为短时间内多次出现。如此,若所述时间点轨迹信息符合预设的监控时间轨迹,则输出异常提示信息,所述异常提示信息指示所述监测目标存在异常行为。
在本实施例中,若所述匹配信息为第二类型信息,则将所述当前帧图像和所述匹配信息存储至数据库中的历史监测信息集中;从数据库中获取所述监测视频的历史监测信息集,所述历史监测信息集包括历史监测图像和对应的历史匹配信息;将所述历史监测信息集中所述历史匹配信息为第二类型信息的历史监测信息确定为持续监控信息集;提取所述持续监控信息集中每一历史监测图像在所述监测视频中的时间点轨迹信息,若所述时间点轨迹信息符合预设的监控时间轨迹,则输出异常提示信息,所述异常提示信息指示所述监测目标存在异常行为。通过设置历史监测信息集,并且根据不同的异常行为设定对应的监测判断方式,更准确地对检测目标的异常行为进行监测。
在一个实施例中,本发明实施例还提供一种目标异常识别方法,本发明实施例提供的目标异常识别方法,可应用在如图1的应用环境中,其中,客户端(计算机设备)通过网络与服务端进行通信。(结合权1的整体方案进行描述。其中,客户端(计算机设备)可以但不限于各种个人计算机、笔记本电脑、智能手机、平板电脑和便携式可穿戴设备。服务端可以用独立的服务器或者是多个服务器组成的服务器集群来实现。
在一实施例中,如图5所示,提供一种异常行为识别方法,以该方法应用在图1中的服务器为例进行说明,包括如下步骤:
S501:获取监测视频,从所述监测视频中提取出当前帧图像。
监测视频可以为视频采集设备采集的视频素材,或者由本地上传至客户端的视频数据,或者由其他设备发送至客户端的视频数据。其中,监测视频为对监测目标进行监控的数据数据,即在监测视频中包含监测目标。该监测目标为人物。示例性地,可以在家中或者养老院等场所设置多个视频采集设备,采集包含由监测目标的视频数据,用于对监测目标进行监控。在一个实施方式中,若视频采集设备为客户端,则该视频采集设备直接将采集到的监测视频发送至服务端。或者,该视频采集设备将采集到的监测视频发送至客户端,客户端再将该监测视频发送至服务端。当前帧图像为从监测视频中获取的包含监测目标的图像。当前帧图像的获取可以为对监测视频通过一定的帧率进行图像获取之后,从中提取的一幅图像。该提取方式可以为按照一定的提取顺序或者提取机制实现,示例性地,按照时序的先后顺序,将从监测视频中获取的第一幅包含监测目标的图像作为当前帧图像。或者,从监测视频中特定的时段获取第一幅包含监测目标的图像作为当前帧图像。
S502:对所述当前帧图像采用上述异常行为识别方法进行识别,得到所述当前帧图像的行为信息。
具体地,采用上述任一实施例中的异常行为识别方法对当前帧图像进行识别,得到当前帧图像的行为信息。
S503:若所述当前帧图像不是所述监测视频中的最后一帧图像,则根据预设的提取方式从所述监测视频中确定新的当前帧图像,并返回执行所述对所述当前帧图像进行上述异常行为识别方法,得到所述当前帧图像的行为信息的步骤。
在该步骤中,判断当前帧图像是否为所述监测视频中的最后一帧图像,若当前帧图像不是所述监测视频中的最后一帧图像,则根据预设的提取方式从所述监测视频中确定新的当前帧图像。具体地,该提取方式可以为按照一定的提取顺序或者提取机制实现,示例性地,按照时序的先后顺序,将从监测视频中获取的第一幅包含监测目标的图像作为当前帧图像。或者,从监测视频中特定的时段获取第一幅包含监测目标的图像作为当前帧图像。
在得到新的当前帧图像之后,返回执行所述对所述当前帧图像进行上述异常行为识别方法,得到所述当前帧图像的行为信息的步骤。然后重复执行步骤S502和S503,直至当前帧图像为监测视频中的最后一帧图像,则对监测视频的监测结束。
在本实施例中,在获取监测视频之后,从所述监测视频中提取出当前帧图像;对所述当前帧图像采用上述任一项实施例中所述的异常行为识别方法进行识别,得到所述当前帧图像的行为信息。若所述当前帧图像不是所述监测视频中的最后一帧图像,则根据预设的提取方式从所述监测视频中确定新的当前帧图像,并返回执行所述对所述当前帧图像进行上述异常行为识别方法,得到所述当前帧图像的行为信息的步骤。保证了对检测视频中的监测目标的异常行为识别的准确。
在一个实施例中,如图6所示,所述从所述监测视频中提取出当前帧图像,包括:
S601:通过预设的帧率从监测视频中进行图像提取,得到监测图像集。
S602:采用预设的人脸识别模型对所述监测图像集中的图像进行识别,提取出包含监测目标的图像,组成待识别图像帧,其中,所述待识别图像帧中的图像按照时间先后顺序进行排序。
S603:从所述待识别图像帧中提取出第一帧图像,作为当前帧图像。
预先设定一定的提取帧率,可以理解地,该帧率越高,则识别准确性越高,但是系统计算负担也会越大,因此,可以根据实际应用需要进行帧率的设置。再通过预设的人脸识别模型从监测图像集中提取出包含监测目标的图像,组成待识别图像帧。可以预先采集包含监测目标的图像进行数据录入。再待识别图像帧中的图像按照时间先后顺序进行排序。最后从所述待识别图像帧中提取出第一帧图像,作为当前帧图像。
在本实施例中通过上述方式从监测视频中提取出当前帧图像,保证了图像提取的精准和效率。
应理解,上述实施例中各步骤的序号的大小并不意味着执行顺序的先后,各过程的执行顺序应以其功能和内在逻辑确定,而不应对本发明实施例的实施过程构成任何限定。
在一实施例中,提供一种异常行为识别装置,该异常行为识别装置与上述实施例中异常行为识别方法一一对应。如图7所示,该异常行为识别装置包括匹配信息确定模块701、图像集获取模块702和行为信息确定模块703。各功能模块详细说明如下:
当前帧图像获取模块,用于获取当前帧图像,采用人体关键点检测模型对所述当前帧图像进行检测,得到监测目标的人体特征信息,所述当前帧图像为从监测视频中获取的包含监测目标的图像;
匹配信息确定模块701,用于将所述人体特征信息与预设的基准异常信息进行匹配,得到匹配信息,所述匹配信息指示所述人体特征信息与预设的基准异常信息的匹配结果;
图像集获取模块702,用于在所述匹配信息为第一类型信息时,则从所述监测视频中获取对应的相关帧图像集,所述第一类型信息指示所述监测目标存在异常;
行为信息确定模块703,用于采用预设的行为识别模型对所述相关帧图像集进行行为识别,确定所述相关帧图像集中的所述监测目标的行为信息。
优选地,所述图像集获取模块702包括:
疑似异常类型确定单元801,用于根据所述匹配信息匹配所述当前帧图像的疑似异常类型;
紧急级别确定单元802,用于通过所述疑似异常类型确定所述当前帧图像的紧急级别和视频时间区间;
图像获取帧率获取单元803,用于通过所述紧急级别获取对应的图像获取帧率,所述图像获取帧率与所述紧急级别呈正相关;
相关帧图像集组成单元804,用于根据所述当前帧图像的时间点信息、以及所述图像获取帧率和所述视频时间区间从所述监测视频中获取对应相关帧图像,组成相关帧图像集。
优选地,该异常行为识别装置还包括:
数据存储模块,用于在所述匹配信息为第二类型信息时,则将所述当前帧图像和所述匹配信息存储至数据库中的历史监测信息集中;
历史监测信息集获取模块用于从数据库中获取所述监测视频的历史监测信息集,所述历史监测信息集包括历史监测图像和对应的历史匹配信息;
持续监控信息集确定模块,用于将所述历史监测信息集中所述历史匹配信息为第二类型信息的历史监测信息确定为持续监控信息集;
异常提示信息输出模块,用于提取所述持续监控信息集中每一历史监测图像在所述监测视频中的时间点轨迹信息,若所述时间点轨迹信息符合预设的监控时间轨迹,则输出异常提示信息,所述异常提示信息指示所述监测目标存在异常行为。
关于异常行为识别装置的具体限定可以参见上文中对于异常行为识别方法的限定,在此不再赘述。上述异常行为识别装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中,也可以以软件形式存储于计算机设备中的存储器中,以便于处理器调用执行以上各个模块对应的操作。
在一实施例中,提供一种目标异常识别装置,该目标异常识别装置与上述实施例中目标异常识别方法一一对应。如图9所示,该目标异常识别装置包括监测视频获取模块901、异常识别模块902和重复执行模块903。各功能模块详细说明如下:
监测视频获取模块901,用于获取监测视频,从所述监测视频中提取出当前帧图像;
异常识别模块902,用于对所述当前帧图像采用异常行为识别方法进行识别,得到所述当前帧图像的行为信息;
重复执行模块903,用于在所述当前帧图像不是所述监测视频中的最后一帧图像时,则根据预设的提取方式从所述监测视频中确定新的当前帧图像,并返回执行所述对所述当前帧图像进行上述异常行为识别方法,得到所述当前帧图像的行为信息的步骤。
优选地,所述监测视频获取模块901包括:
监测图像集提取单元,用于通过预设的帧率从监测视频中进行图像提取,得到监测图像集;
待识别图像帧提取单元用于采用预设的人脸识别模型对所述监测图像集中的图像进行识别,提取出包含监测目标的图像,组成待识别图像帧,其中,所述待识别图像帧中的图像按照时间先后顺序进行排序;
当前帧图像确定单元,用于从所述待识别图像帧中提取出第一帧图像,作为当前帧图像。
关于目标异常识别装置的具体限定可以参见上文中对于目标异常识别方法的限定,在此不再赘述。上述目标异常识别装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中,也可以以软件形式存储于计算机设备中的存储器中,以便于处理器调用执行以上各个模块对应的操作。
在一个实施例中,提供了一种计算机设备,该计算机设备可以是服务器,其内部结构图可以如图10所示。该计算机设备包括通过系统总线连接的处理器、存储器、网络接口和数据库。其中,该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统、计算机程序和数据库。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的数据库用于存储上述任一实施例中所述的异常行为识别方法所使用到的数据,或者,存储上述任一实施例中所述的目标异常识别方法所使用到的数据。该计算机设备的网络接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现上述异常行为识别方法的步骤,或者,所述计算机程序被处理器执行时实现上述目标异常识别方法的步骤。
在一个实施例中,提供了一种计算机设备,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,所述处理器执行所述计算机程序时实现上述异常行为识别方法的步骤,或者,所述处理器执行所述计算机程序时实现上述目标异常识别方法的步骤。
在一个实施例中,提供了一种计算机可读存储介质,其上存储有计算机程序,所述计算机程序被处理器执行时实现上述异常行为识别方法的步骤,或者,所述计算机程序被处理器执行时实现上述目标异常识别方法的步骤。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程,是可以通过计算机程序来指令相关的硬件来完成,所述的计算机程序可存储于一非易失性计算机可读取存储介质中,该计算机程序在执行时,可包括如上述各方法的实施例的流程。其中,本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用,均可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)或闪存。易失性存储器可包括随机存取存储器(RAM)或者外部高速缓冲存储器。作为说明而非局限,RAM以多种形式可得,诸如静态RAM(SRAM)、动态RAM(DRAM)、同步DRAM(SDRAM)、双数据率SDRAM(DDRSDRAM)、增强型SDRAM(ESDRAM)、同步链路(Synchlink)DRAM(SLDRAM)、存储器总线(Rambus)直接RAM(RDRAM)、直接存储器总线动态RAM(DRDRAM)、以及存储器总线动态RAM(RDRAM)等。
所属领域的技术人员可以清楚地了解到,为了描述的方便和简洁,仅以上述各功能单元、模块的划分进行举例说明,实际应用中,可以根据需要而将上述功能分配由不同的功能单元、模块完成,即将所述装置的内部结构划分成不同的功能单元或模块,以完成以上描述的全部或者部分功能。
以上所述实施例仅用以说明本发明的技术方案,而非对其限制;尽管参照前述实施例对本发明进行了详细的说明,本领域的普通技术人员应当理解:其依然可以对前述各实施例所记载的技术方案进行修改,或者对其中部分技术特征进行等同替换;而这些修改或者替换,并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围,均应包含在本发明的保护范围之内。