CN108520237B - 一种风险行为识别方法 - Google Patents
一种风险行为识别方法 Download PDFInfo
- Publication number
- CN108520237B CN108520237B CN201810315918.3A CN201810315918A CN108520237B CN 108520237 B CN108520237 B CN 108520237B CN 201810315918 A CN201810315918 A CN 201810315918A CN 108520237 B CN108520237 B CN 108520237B
- Authority
- CN
- China
- Prior art keywords
- target person
- video frame
- body part
- acquiring
- motion information
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/20—Movements or behaviour, e.g. gesture recognition
- G06V40/23—Recognition of whole body movements, e.g. for sport training
Landscapes
- Engineering & Computer Science (AREA)
- Health & Medical Sciences (AREA)
- Computer Vision & Pattern Recognition (AREA)
- General Health & Medical Sciences (AREA)
- Psychiatry (AREA)
- Social Psychology (AREA)
- Human Computer Interaction (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Theoretical Computer Science (AREA)
- Image Analysis (AREA)
Abstract
本发明实施例提供一种风险识别方法,所述方法包括:获取视频流序列中任一视频帧中目标人员的身体形态;其中,目标人员的身体形态为目标人员各身体部位的位置信息;根据该视频帧中目标人员的身体形态和前序视频帧中目标人员的身体形态,获取该视频帧中目标人员的运动信息;其中,目标人员的运动信息为目标人员各身体部位的运动信息;根据第一预设数量个视频帧中目标人员的身体形态和运动信息,获取目标人员的风险行为识别结果。本发明实施例中,通过将身体形态和运动信息相结合的方法对风险行为进行识别,消除基于单一信息的行为识别方法在应用中可能导致失败的情况,在满足对人员复杂行为进行识别的基础上,提高了风险识别的稳定性和可靠性。
Description
技术领域
本发明实施例涉及行为识别技术领域,尤其涉及一种风险行为识别方法。
背景技术
对人类自身行为的识别在教学、医学、安全和人机交互等领域都有巨大的应用价值和重要的研究意义。例如在安全领域,可以通过对异常人体行为的分析,从而有效避免异常情况发生。
目前的人体行为识别可分为基于形状和基于运动两类。其中,基于形状的人体行为识别方法的主要特点是依靠从当前帧提取的形状线索来估计姿态,很少使用时域信息。基于形状的人体行为识别方法将人体模型作为启发式知识指导对体素数据进行的分析和标记,以获得姿态参数。这类方法由于不注重时域信息的使用,不存在基于运动的人体行为识别方法中会因误差累积而不能跟踪长序列的不足,同时也无需已知首帧姿态。相对于基于运动的人体行为识别方法,此类方法比较适合无视点的出租车内(受环境影响较小,便于特征提取),能够估计比较复杂的人体运动,甚至是无约束运动(快速且难以预测的运动)。然而,由于不可能在每一帧中都能提取到可靠的形状线索,此类方法会因过度依赖绝对线索而失败。同时,这类方法在最小化目标函数(测量估计姿态的误差)过程中易于陷入局部极小,特别是在基于体素数据的方法中由于前景分割或体素重构错误而导致身体部件丢失或邻近部件错误合并的情况。基于运动的人体行为识别方法使用运动模型预测当前帧姿态,并用时域一致性假设跟踪人体运动。相对于基于形状的人体行为识别方法,此类方法可以得到更加稳定的结果,但不可避免地受到漂移问题的影响。同时,目前这类方法仅限于一些简单的、有规律的、有周期的动作,而对于复杂运动或无约束运动,由于难以建立相应的运动模型而无法准确预测下一帧姿态。
因而,如何在实现估计复杂人体运动的条件下保证识别结果的稳定可靠,对行为识别技术提出了新的挑战。
发明内容
本发明实施例提供一种风险行为识别方法,用以解决现有的行为识别方法无法满足复杂人体运动条件下行为识别的稳定性和可靠性的需求的问题。
一方面,本发明实施例提供一种风险行为识别方法,包括:
获取视频流序列中任一视频帧中目标人员的身体形态;其中,所述目标人员的身体形态为所述目标人员各身体部位的位置信息;
根据任一视频帧中目标人员的身体形态和所述任一视频帧的前序视频帧中目标人员的身体形态,获取所述任一视频帧中目标人员的运动信息;其中,所述目标人员的运动信息为所述目标人员各身体部位的运动信息;
根据第一预设数量个视频帧中目标人员的身体形态和运动信息,获取目标人员的风险行为识别结果。
另一方面,本发明实施例提供一种风险行为识别装置,包括:
身体形态获取单元,用于获取视频流序列中任一视频帧中目标人员的身体形态;其中,所述目标人员的身体形态为所述目标人员各身体部位的位置信息;
运动信息获取单元,用于根据任一视频帧中目标人员的身体形态和所述任一视频帧的前序视频帧中目标人员的身体形态,获取所述任一视频帧中目标人员的运动信息;其中,所述目标人员的运动信息为所述目标人员各身体部位的运动信息;
行为识别单元,用于以时间轴为序,根据第一预设数量个视频帧中目标人员的身体形态和运动信息,获取所述第一预设数量个视频帧中目标人员的风险行为识别结果。
再一方面,本发明实施例提供一种风险行为识别设备,包括处理器、通信接口、存储器和总线,其中,处理器,通信接口,存储器通过总线完成相互间的通信,处理器可以调用存储器中的逻辑指令,以执行前所述的风险行为识别方法。
又一方面,本发明实施例提供一种计算机可读存储介质,其上存储有计算机程序,该计算机程序被处理器执行时实现如前所述的风险行为识别方法。
本发明实施例提供的一种风险行为识别方法,通过将身体形态和运动信息相结合的方法对风险行为进行识别,消除基于单一信息的行为识别方法在应用中可能导致失败的情况,在满足对人员复杂行为进行识别的基础上,提高了风险识别的稳定性和可靠性。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍,显而易见地,下面描述中的附图是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1为本发明实施例的一种风险行为识别方法的流程示意图;
图2为本发明实施例的一种神经网络的结构示意图;
图3为本发明实施例的一种风险行为识别装置的结构示意图;
图4为本发明实施例的一种风险行为识别设备的结构示意图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚,下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
现有的人体行为识别方法中,基于形状的人体行为识别方法,能够有效识别比较复杂的人体运动,甚至是无约束运动,且不存在由于误差累积造成的无法跟踪长序列的不足,但是存在因过度依赖绝对线索而失败的可能,和由于前景分割或体素重构错误而导致身体部件丢失或邻近部件错误合并的情况。与之对应的基于运动的人体行为识别方法,可以得到相比基于形状的人体行为识别方法更为稳定的结果,但仅限于简单的、有规律的、有周期的动作。而在实际应用中,形状信息与运动信息间存在互补性,两者结合即能够弥补各自的不足,消除基于单一信息的人体行为识别方法在应用中可能导致失败的情况。对此,本发明实施例提出一种风险行为识别方法,结合形状信息和运动信息,以实现稳定可靠的复杂人体运动条件下的人体行为识别。
图1为本发明实施例的一种风险行为识别方法的流程示意图,如图1所示,一种风险行为识别方法,包括:
101,获取视频流序列中任一视频帧中目标人员的身体形态;其中,目标人员的身体形态为目标人员各身体部位的位置信息。
具体地,视频流序列为用于识别风险行为的视频资料,视频流序列包括若干帧视频帧,每一视频帧为视频流序列中的一个静态图像。目标人员为视频流序列中拍摄到的一个人员,本发明实施例提出的方法用于对目标人员的风险行为进行识别。在实际的风险行为识别过程中,目标人员不限于一个视频流序列中的一个人员,即可以存在多个目标人员,本发明实施例提出的方法可用于同时对视频流序列中的多个目标人员的风险行为分别进行识别。
此外,目标人员的身体形态即各身体部位的位置信息,此处可以根据实际应用场合和风险行为识别的精度要求对目标人员的身体部位的划分进行调整,例如,可将目标人员的身体部位划分为头、躯干和四肢,本发明实施例对此不作具体限定。
102,根据任一视频帧中目标人员的身体形态和该视频帧的前序视频帧中目标人员的身体形态,获取该视频帧中目标人员的运动信息;其中,目标人员的运动信息为目标人员各身体部位的运动信息。
此处,任一视频帧的前序视频帧是指以时间轴为序,任一视频帧之前的预设间隔的视频帧。例如,当前视频帧为视频流序列中的第5帧,预设间隔为3帧,则当前视频帧的前序视频帧为视频流序列中的第2帧。此处,预设间隔可根据视频流序列的帧频和/或实际应用场合进行调整,本发明实施例对此不作具体限定。对应地,目标人员的运动信息即目标人员的各个身体部位在从前序视频帧到当前视频帧的运动信息,此处的运动信息即身体部位的位置信息的变化情况。
103,根据第一预设数量个视频帧中目标人员的身体形态和运动信息,获取目标人员的风险行为识别结果。
此处,根据目标人员的身体形态和运动信息对目标人员的风险行为进行识别,其识别依据可以是单一视频帧中目标人员的身体形态和运动信息,也可以是多个视频帧中目标人员的身体形态和运动信息,其具体数量为第一预设数量,第一预设数量与视频流序列的帧频和/或实际应用场合有关,对此本发明实施例不作具体限定。
本发明实施例中,通过将身体形态和运动信息相结合的方法对风险行为进行识别,消除基于单一信息的行为识别方法在应用中可能导致失败的情况,在满足对人员复杂行为进行识别的基础上,提高了风险识别的稳定性和可靠性。例如,将本发明实施例中提出的方法应用于出租车运营过程中的风险识别,解决了车内视频设备不固定、人体自遮挡和被座椅等遮挡的造成的问题,以及运动歧义性造成的问题。
基于上述实施例,一种风险行为识别方法,根据第一预设数量个视频帧中目标人员的身体形态和运动信息,获取目标人员的风险行为识别结果,进一步包括:将第一预设数量个视频帧中目标人员的身体形态和运动信息输入行为识别模型,获取输出结果;若输出结果大于预设的风险阈值,则目标人员的风险行为识别结果为风险行为。
具体地,此处的行为识别模型能够根据输入模型的目标人员的身体形态和运动信息,输出目标人员的行为为风险行为的概率,即行为识别结果。随后,比较行为识别结果和预设的风险阈值,若行为识别结果大于预设的风险阈值,则目标人员的行为为风险行为,否则,目标人员的行为为正常行为。风险阈值的选取与实际应用场合和行为识别模型的训练等有关,本发明实施例对此不作具体限定。
此外,本发明实施例不对行为识别模型的训练方式作具体限定,具体可通过如下方式训练得到:首先,收集大量样本视频流序列,基于样本视频流序列获取大量视频帧中目标人员的身体形态和运动信息,并提前标注每一目标人员对应的行为识别结果。最后,基于多组第一预设数量个视频帧中目标人员的身体形态和运动信息,以及目标人员对应的行为识别结果,对初始模型进行训练,从而得到行为识别模型。
本发明实施例中,基于行为识别模型对风险行为进行识别,有助于快捷、准确地获取风险行为识别结果。
基于上述任一实施例,一种风险行为识别方法,获取视频流序列中任一视频帧中目标人员的身体形态,进一步包括:
111,获取视频流序列中任一视频帧中每一身体部位的置信度和部分亲和性字段。
此处,身体部位的置信度是指该身体部位所处位置的置信度,身体部位的部分亲和性字段(Part Affinity Fields,PAF)是该身体部位的2D矢量场。对于视频帧中属于该身体部位的区域中的每一像素,2D矢量指示了从该身体部位的一部分指向另一部分的方向。每一类型的身体部位均具备一个用于连接两个相关身体部位的亲和力区域。因而,身体部位的部分亲和性字段用于指示与该身体部位相连接的身体部位。
112,基于每一身体部位的部分亲和性字段,获取每一身体部位对应的人员。
由于部分亲和性字段指示了身体部位间的关联性,因而可以通过每一身体部位的部分亲和性字段,将视频帧中的相关联的身体部位进行连接,构建成若干个人员。继而,获取每一身体部位对应的人员。
113,基于每一身体部位对应的人员和置信度,将目标人员对应的全部身体部位的位置信息作为目标人员的身体形态。
在获知每一身体部位对应的人员的前提下,获取目标人员对应的全部身体部位。随后,根据各身体部位的置信度,确定该目标人员对应的全部身体部位的位置信息,并将该目标人员对应的全部身体部位的位置信息作为目标人员的身体形态。
本发明实施例中,基于部分亲和性字段实现了视频帧中身体部位与人员的关联,提高了人员身体形态识别的效率和准确度。本发明实施例中提出的方法,尤其适用于在未知视频帧中人员数量的情况下就行识别,且视频帧中人员数量的增加并不会造成效率的降低。
基于上述任一实施例,图2为本发明实施例的一种神经网络的结构示意图,如图2所示,一种风险行为识别方法,获取视频流序列中任一视频帧中每一身体部位的置信度和部分亲和性字段,进一步包括:将该视频帧输入训练好的神经网络,获取该视频帧中每一身体部位的置信度和部分亲和性字段;其中,神经网络由第一分支和第二分支构成;第一分支由第二预设数量级卷积神经网络构成,第一分支用于预测每一身体部位的置信度;第二分支由第二预设数量级卷积神经网络构成,第二分支用于预测每一身体部位的部分亲和性字段。
图中,F为视频流序列中任一视频帧的特征,t为第二预设数量,第一分支的级数与第二分支的级数相等,且在每级预测中,均将该视频帧的特征F与来自前一级的第一分支和第二分支的预测结果串联用于产生更加精确的预测结果。其中,第一分支的预测结果为置信度,第二分支的预测结果为部分亲和性字段。
此外,在每一级预测结束时,通过在第一分支中应用损失函数f1 n,在第二分支中应用损失函数f2 n,引导神经网络迭代预测身体部位的置信度和部分亲和性字段。其中,n为当前的级数。
基于上述任一实施例,一种风险行为识别方法,基于每一身体部位的部分亲和性字段,获取每一身体部位对应的人员,进一步包括:基于最大权二部图匹配法,根据每一身体部位的部分亲和性字段,获取与任一身体部位匹配权重最大的另一身体部位,并将该身体部位和另一身体部位连接;根据任一身体部位的连接结果,获取该身体部位对应的人员。
其中,最大权二部图匹配是统建的组合优化问题,在运筹学和计算机学科中有着广泛的应用,通常可以通过单纯形法、最小成本流算法、KM算法和CSA算法等进行求解。本发明实施例中,将基于每一身体部位的部分亲和性字段对身体部位进行组合的问题,作为最大权二部图匹配问题进行求解。并根据基于最大权二部图匹配算法获取的身体部位的组合结果,对各个身体部位进行连接。经过对视频帧中各身体部位的连接,原先独立的身体部位组合构成了人员。
本发明实施例中,基于最大权二部图匹配对身体部位进行连接,简化了状态空间的复杂度,加快了人员构建速度。
基于上述任一实施例,一种风险行为识别方法,根据任一视频帧中目标人员的身体形态和任一视频帧的前序视频帧中目标人员的身体形态,获取该视频帧中目标人员的运动信息,进一步包括:根据任一身体部位的当前位置信息和历史位置信息,获取该身体部位的运动信息;将该视频帧中目标人员的全部身体部位的运动信息作为目标人员的运动信息。
其中,当前位置信息是该视频帧中该身体部位的位置信息,历史位置信息是该视频帧的前序视频帧中该身体部位的位置信息,身体部位的运动信息为该视频帧与该视频帧的前序视频帧中该身体部位所处位置的距离与方向构成的矢量。例如,目标人员A的头部的端点1在前序视频帧中的位置为坐标(198,172),目标人员A的头部的端点1在当前视频帧中的位置为坐标(165,190),则目标人员A的头部端点1在当前视频帧的运动信息为(165-198,190-172),即(-33,27)。
基于上述任一实施例,一种风险行为识别方法,若行为识别结果大于预设的风险阈值,则确认目标人员的行为为风险行为,之后还包括:将风险行为进行显示并发送风险警告。
具体地,若经过判断确认目标人员的行为为风险行为,则向监护人员播放该风险行为对应的视频流序列,并向监护人员发送风险警告,以使得监护人员能够及时了解当前状态并执行对应的处理措施。
基于上述任一实施例,图3为本发明实施例的一种风险行为识别装置的结构示意图,一种风险行为识别装置,包括身体形态获取单元301、运动信息获取单元302和行为识别单元303。其中,
身体形态获取单元301,用于获取视频流序列中任一视频帧中目标人员的身体形态;其中,目标人员的身体形态为目标人员各身体部位的位置信息;
运动信息获取单元302,用于根据任一视频帧中目标人员的身体形态和该视频帧的前序视频帧中目标人员的身体形态,获取该视频帧中目标人员的运动信息;其中,目标人员的运动信息为目标人员各身体部位的运动信息;
行为识别单元303,用于以时间轴为序,根据第一预设数量个视频帧中目标人员的身体形态和运动信息,获取第一预设数量个视频帧中目标人员的风险行为识别结果。
基于上述任一实施例,一种风险行为识别装置,行为识别单元,进一步包括:
第一识别子单元,用于以时间轴为序,将第一预设数量个视频帧中目标人员的身体形态和运动信息输入行为识别模型,获取行为识别结果;
第二识别子单元,用于若行为识别结果大于预设的风险阈值,则确认第一预设数量个视频帧中目标人员的行为为风险行为。
基于上述任一实施例,一种风险行为识别装置,身体形态获取单元,进一步包括:
第一获取子单元,用于获取视频流序列中任一视频帧中每一身体部位的置信度和部分亲和性字段;
第二获取子单元,用于基于每一身体部位的部分亲和性字段,获取每一身体部位对应的人员;
第三获取子单元,用于基于每一身体部位对应的人员和置信度,将目标人员对应的全部身体部位的位置信息作为目标人员的身体形态。
基于上述任一实施例,一种风险行为识别装置,第一获取子单元,进一步用于:
将该视频帧输入训练好的神经网络,获取该视频帧中每一身体部位的置信度和部分亲和性字段;
其中,神经网络由第一分支和第二分支构成;第一分支由第二预设数量级卷积神经网络构成,第一分支用于预测每一身体部位的置信度;第二分支由第二预设数量级卷积神经网络构成,第二分支用于预测每一身体部位的部分亲和性字段。
基于上述任一实施例,一种风险行为识别装置,第二获取子单元,进一步用于:
基于最大权二部图匹配法,根据每一身体部位的部分亲和性字段,获取与任一身体部位匹配权重最大的另一身体部位,并将该身体部位和另一身体部位连接;
根据任一身体部位的连接结果,获取该身体部位对应的人员。
基于上述任一实施例,一种风险行为识别装置,运动信息获取单元,进一步用于:
根据任一身体部位的当前位置信息和历史位置信息,获取该身体部位的运动信息;其中,当前位置信息是该视频帧中该身体部位的位置信息,历史位置信息是该视频帧的前序视频帧中该身体部位的位置信息,身体部位的运动信息为该视频帧与该视频帧的前序视频帧中该身体部位所处位置的距离与方向构成的矢量;
将该视频帧中目标人员的全部身体部位的运动信息作为目标人员的运动信息。
基于上述任一实施例,一种风险行为识别装置,还包括:
警告发送单元,用于将风险行为进行显示并发送风险警告。
本发明实施例中,通过将身体形态和运动信息相结合的方法对风险行为进行识别,消除基于单一信息的行为识别方法在应用中可能导致失败的情况,在满足对人员复杂行为进行识别的基础上,提高了风险识别的稳定性和可靠性。例如,将本发明实施例中提出的方法应用于出租车运营过程中的风险识别,解决了车内视频设备不固定、人体自遮挡和被座椅等遮挡的造成的问题,以及运动歧义性造成的问题。
需要说明的是,上述身体形态获取单元301、运动信息获取单元302、行为识别单元303和警告发送单元配合以执行上述实施例中的一种风险行为识别方法,该系统的具体功能参见上述的识别方法的实施例,此处不再赘述。
图4为本发明实施例的一种风险行为识别设备的结构示意图,如图4所示,该设备包括:处理器(processor)401、通信接口(Communications Interface)402、存储器(memory)403和总线404,其中,处理器401,通信接口402,存储器403通过总线404完成相互间的通信。处理器401可以调用存储器403中的逻辑指令,以执行如下方法:获取视频流序列中任一视频帧中目标人员的身体形态;其中,目标人员的身体形态为目标人员各身体部位的位置信息;根据该视频帧中目标人员的身体形态和该视频帧的前序视频帧中目标人员的身体形态,获取该视频帧中目标人员的运动信息;其中,目标人员的运动信息为目标人员各身体部位的运动信息;根据第一预设数量个视频帧中目标人员的身体形态和运动信息,获取目标人员的风险行为识别结果。
本发明实施例公开一种计算机程序产品,计算机程序产品包括存储在非暂态计算机可读存储介质上的计算机程序,计算机程序包括程序指令,当程序指令被计算机执行时,计算机能够执行上述各方法实施例所提供的方法,例如包括:获取视频流序列中任一视频帧中目标人员的身体形态;其中,目标人员的身体形态为目标人员各身体部位的位置信息;根据该视频帧中目标人员的身体形态和该视频帧的前序视频帧中目标人员的身体形态,获取该视频帧中目标人员的运动信息;其中,目标人员的运动信息为目标人员各身体部位的运动信息;根据第一预设数量个视频帧中目标人员的身体形态和运动信息,获取目标人员的风险行为识别结果。
本实施例提供一种非暂态计算机可读存储介质,非暂态计算机可读存储介质存储计算机指令,计算机指令使计算机执行上述各方法实施例所提供的方法,例如包括:获取视频流序列中任一视频帧中目标人员的身体形态;其中,目标人员的身体形态为目标人员各身体部位的位置信息;根据该视频帧中目标人员的身体形态和该视频帧的前序视频帧中目标人员的身体形态,获取该视频帧中目标人员的运动信息;其中,目标人员的运动信息为目标人员各身体部位的运动信息;根据第一预设数量个视频帧中目标人员的身体形态和运动信息,获取目标人员的风险行为识别结果。
本领域普通技术人员可以理解:实现上述方法实施例的全部或部分步骤可以通过程序指令相关的硬件来完成,前述的程序可以存储于一计算机可读取存储介质中,该程序在执行时,执行包括上述方法实施例的步骤;而前述的存储介质包括:ROM、RAM、磁碟或者光盘等各种可以存储程序代码的介质。
以上所描述的通信设备等实施例仅仅是示意性的,其中作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下,即可以理解并实施。
通过以上的实施方式的描述,本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现,当然也可以通过硬件。基于这样的理解,上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来,该计算机软件产品可以存储在计算机可读存储介质中,如ROM/RAM、磁碟、光盘等,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)执行各个实施例或者实施例的某些部分的方法。
最后应说明的是:以上各实施例仅用以说明本发明的实施例的技术方案,而非对其限制;尽管参照前述各实施例对本发明的实施例进行了详细的说明,本领域的普通技术人员应当理解:其依然可以对前述各实施例所记载的技术方案进行修改,或者对其中部分或者全部技术特征进行等同替换;而这些修改或者替换,并不使相应技术方案的本质脱离本发明的实施例各实施例技术方案的范围。
Claims (9)
1.一种风险行为识别方法,其特征在于,包括:
获取视频流序列中任一视频帧中目标人员的身体形态;其中,所述目标人员的身体形态为所述目标人员各身体部位的位置信息;
根据任一视频帧中目标人员的身体形态和所述任一视频帧的前序视频帧中目标人员的身体形态,获取所述任一视频帧中目标人员的运动信息;其中,所述目标人员的运动信息为所述目标人员各身体部位的运动信息;
根据第一预设数量个视频帧中目标人员的身体形态和运动信息,获取目标人员的风险行为识别结果;
所述获取视频流序列中任一视频帧中目标人员的身体形态,进一步包括:
获取视频流序列中任一视频帧中每一身体部位的置信度和部分亲和性字段;
基于所述每一身体部位的部分亲和性字段,获取每一身体部位对应的人员;
基于所述每一身体部位对应的人员和置信度,将目标人员对应的全部身体部位的位置信息作为目标人员的身体形态;
其中,身体部位的部分亲和性字段是该身体部位的2D矢量场。
2.根据权利要求1所述的方法,其特征在于,所述根据第一预设数量个视频帧中目标人员的身体形态和运动信息,获取目标人员的风险行为识别结果,进一步包括:
将第一预设数量个视频帧中目标人员的身体形态和运动信息输入行为识别模型,获取输出结果;
若所述输出结果大于预设的风险阈值,则所述目标人员的风险行为识别结果为风险行为。
3.根据权利要求1所述的方法,其特征在于,所述获取视频流序列中任一视频帧中每一身体部位的置信度和部分亲和性字段,进一步包括:
将所述任一视频帧输入训练好的神经网络,获取所述任一视频帧中每一身体部位的置信度和部分亲和性字段;
其中,所述神经网络由第一分支和第二分支构成;所述第一分支由第二预设数量级卷积神经网络构成,所述第一分支用于预测每一身体部位的置信度;所述第二分支由第二预设数量级卷积神经网络构成,所述第二分支用于预测每一身体部位的部分亲和性字段。
4.根据权利要求1所述的方法,其特征在于,所述基于每一身体部位的部分亲和性字段,获取每一身体部位对应的人员,进一步包括:
基于最大权二部图匹配法,根据每一身体部位的部分亲和性字段,获取与任一身体部位匹配权重最大的另一身体部位,并将所述任一身体部位和另一身体部位连接;
根据任一身体部位的连接结果,获取所述任一身体部位对应的人员。
5.根据权利要求1所述的方法,其特征在于,所述根据任一视频帧中目标人员的身体形态和任一视频帧的前序视频帧中目标人员的身体形态,获取所述任一视频帧中目标人员的运动信息,进一步包括:
根据任一身体部位的当前位置信息和历史位置信息,获取所述任一身体部位的运动信息;其中,所述当前位置信息是所述任一视频帧中所述任一身体部位的位置信息,所述历史位置信息是所述任一视频帧的前序视频帧中所述任一身体部位的位置信息,所述身体部位的运动信息为所述任一视频帧与所述任一视频帧的前序视频帧中所述任一身体部位所处位置的距离与方向构成的矢量;
将所述任一视频帧中目标人员的全部身体部位的运动信息作为所述目标人员的运动信息。
6.根据权利要求2所述的方法,其特征在于,若所述行为识别结果大于预设的风险阈值,则确认所述第一预设数量个视频帧中目标人员的行为为风险行为,之后还包括:
将所述风险行为进行显示并发送风险警告。
7.一种风险行为识别装置,其特征在于,包括:
身体形态获取单元,用于获取视频流序列中任一视频帧中目标人员的身体形态;其中,所述目标人员的身体形态为所述目标人员各身体部位的位置信息;
运动信息获取单元,用于根据任一视频帧中目标人员的身体形态和所述任一视频帧的前序视频帧中目标人员的身体形态,获取所述任一视频帧中目标人员的运动信息;其中,所述目标人员的运动信息为所述目标人员各身体部位的运动信息;
行为识别单元,用于以时间轴为序,根据第一预设数量个视频帧中目标人员的身体形态和运动信息,获取所述第一预设数量个视频帧中目标人员的风险行为识别结果;
所述身体形态获取单元,进一步包括:
第一获取子单元,用于获取视频流序列中任一视频帧中每一身体部位的置信度和部分亲和性字段;
第二获取子单元,用于基于每一身体部位的部分亲和性字段,获取每一身体部位对应的人员;
第三获取子单元,用于基于每一身体部位对应的人员和置信度,将目标人员对应的全部身体部位的位置信息作为目标人员的身体形态;
其中,身体部位的部分亲和性字段是该身体部位的2D矢量场。
8.一种风险行为识别设备,其特征在于,包括处理器、通信接口、存储器和总线,其中,处理器,通信接口,存储器通过总线完成相互间的通信,处理器可以调用存储器中的逻辑指令,以执行如权利要求1至6任一所述的风险行为识别方法。
9.一种计算机可读存储介质,其上存储有计算机程序,其特征在于,该计算机程序被处理器执行时实现如权利要求1至6任一所述的风险行为识别方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201810315918.3A CN108520237B (zh) | 2018-04-10 | 2018-04-10 | 一种风险行为识别方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201810315918.3A CN108520237B (zh) | 2018-04-10 | 2018-04-10 | 一种风险行为识别方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN108520237A CN108520237A (zh) | 2018-09-11 |
CN108520237B true CN108520237B (zh) | 2020-09-22 |
Family
ID=63430832
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201810315918.3A Active CN108520237B (zh) | 2018-04-10 | 2018-04-10 | 一种风险行为识别方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN108520237B (zh) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111598372A (zh) * | 2019-02-21 | 2020-08-28 | 北京嘀嘀无限科技发展有限公司 | 一种风险防范的方法和系统 |
Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102292743A (zh) * | 2009-01-22 | 2011-12-21 | 皇家飞利浦电子股份有限公司 | 核图像重建 |
Family Cites Families (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US9597016B2 (en) * | 2012-04-27 | 2017-03-21 | The Curators Of The University Of Missouri | Activity analysis, fall detection and risk assessment systems and methods |
CN103942961A (zh) * | 2014-04-30 | 2014-07-23 | 中国计量学院 | 一种面向危险驾驶行为的智能监控识别系统 |
CN105967012A (zh) * | 2015-08-04 | 2016-09-28 | 董岩 | 一种识别电梯疑似暴力事件的方法 |
CN105160913B (zh) * | 2015-08-17 | 2018-02-06 | 上海斐讯数据通信技术有限公司 | 一种规范驾驶人驾驶行为的方法及装置 |
CN107832708A (zh) * | 2017-11-09 | 2018-03-23 | 云丁网络技术(北京)有限公司 | 一种人体动作识别方法及装置 |
-
2018
- 2018-04-10 CN CN201810315918.3A patent/CN108520237B/zh active Active
Patent Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102292743A (zh) * | 2009-01-22 | 2011-12-21 | 皇家飞利浦电子股份有限公司 | 核图像重建 |
Also Published As
Publication number | Publication date |
---|---|
CN108520237A (zh) | 2018-09-11 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
Mukhoti et al. | Evaluating bayesian deep learning methods for semantic segmentation | |
US20220383535A1 (en) | Object Tracking Method and Device, Electronic Device, and Computer-Readable Storage Medium | |
CN110751674A (zh) | 多目标跟踪方法及相应视频分析系统 | |
KR20220113829A (ko) | 차량 추적 방법, 장치 및 전자 기기 | |
US20230013170A1 (en) | Method and apparatus for detecting jitter in video, electronic device, and storage medium | |
EP3035235B1 (en) | Method for setting a tridimensional shape detection classifier and method for tridimensional shape detection using said shape detection classifier | |
CN107851192B (zh) | 用于检测人脸部分及人脸的设备和方法 | |
EP3602424A1 (en) | Sensor data processor with update ability | |
CN113642431A (zh) | 目标检测模型的训练方法及装置、电子设备和存储介质 | |
CN113313053B (zh) | 图像处理方法、装置、设备、介质及程序产品 | |
KR20220033007A (ko) | 실시간 얼굴 랜드마크 검출 | |
CN113012200B (zh) | 一种运动物体的定位方法、装置、电子设备及存储介质 | |
KR20220091607A (ko) | 차량-도로 협업 중의 타겟 검출 방법, 장치 및 노변 디바이스 | |
WO2019109142A1 (en) | Monitoring systems, and computer implemented methods for processing data in monitoring systems, programmed to enable identification and tracking of human targets in crowded environments | |
CN112561963A (zh) | 目标跟踪的方法、装置、路侧设备以及存储介质 | |
CN114511743B (zh) | 检测模型训练、目标检测方法、装置、设备、介质及产品 | |
CN113971728B (zh) | 图像识别方法、模型的训练方法、装置、设备及介质 | |
CN108520237B (zh) | 一种风险行为识别方法 | |
CN110147724A (zh) | 用于检测视频中的文本区域的方法、装置、设备以及介质 | |
CN112488982A (zh) | 一种超声图像检测方法及装置 | |
CN114120180B (zh) | 一种时序提名的生成方法、装置、设备及介质 | |
CN114220163B (zh) | 人体姿态估计方法、装置、电子设备及存储介质 | |
CN114461078A (zh) | 一种基于人工智能的人机交互方法 | |
Chang et al. | Fast Online Upper Body Pose Estimation from Video. | |
Biresaw et al. | A Bayesian network for online evaluation of sparse features based multitarget tracking |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |