CN109598201B - 动作检测方法、装置、电子设备及可读存储介质 - Google Patents

动作检测方法、装置、电子设备及可读存储介质 Download PDF

Info

Publication number
CN109598201B
CN109598201B CN201811309282.8A CN201811309282A CN109598201B CN 109598201 B CN109598201 B CN 109598201B CN 201811309282 A CN201811309282 A CN 201811309282A CN 109598201 B CN109598201 B CN 109598201B
Authority
CN
China
Prior art keywords
feature
target
target video
sample
video frame
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201811309282.8A
Other languages
English (en)
Other versions
CN109598201A (zh
Inventor
柴振华
孟欢欢
赖申其
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Sankuai Online Technology Co Ltd
Original Assignee
Beijing Sankuai Online Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Sankuai Online Technology Co Ltd filed Critical Beijing Sankuai Online Technology Co Ltd
Priority to CN201811309282.8A priority Critical patent/CN109598201B/zh
Publication of CN109598201A publication Critical patent/CN109598201A/zh
Application granted granted Critical
Publication of CN109598201B publication Critical patent/CN109598201B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20Movements or behaviour, e.g. gesture recognition
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands

Landscapes

  • Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Health & Medical Sciences (AREA)
  • Psychiatry (AREA)
  • Social Psychology (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种动作检测方法、装置、电子设备及可读存储介质。所述方法,包括:获取待检测的目标视频;依次获取待检测的目标视频中各目标视频帧的目标检测部位的部位特征;基于重新排序后的部位特征确定所述目标视频的特征向量,其中所述重新排序是基于所述部位特征的范数值实现的;基于所述特征向量,通过预设的动作检测模型,确定所述目标视频中所述目标检测部位的动作类型;其中,所述动作检测模型为根据已标记动作类型的样本视频训练得到。解决了现有的动作检测方法适应性以及稳定性不高的技术问题。取得了提高动作检测的适应性、稳定性的有益效果。

Description

动作检测方法、装置、电子设备及可读存储介质
技术领域
本发明涉及检测技术领域,具体涉及一种动作检测方法、装置、电子设备及可读存储介质。
背景技术
目前,人脸识别系统越来越多地应用于安防、金融等领域中需要身份验证的场景,诸如银行远程开户、门禁系统、远程交易操作验证等。在这些高安全级别的应用领域中,除了确保被验证者的人脸相似度符合数据库中存储的底库数据外,首先需要被验证者是一个合法的生物活体。也就是说,人脸识别系统需要能够防范攻击者使用照片、3D人脸模型或者面具等方式进行攻击。
解决上述问题的方法通常称为活体检测,其目的是判断获取到的生物特征是否来自一个有生命、在现场的、真实的人。在现有解决方案中,基于“摇头动作”检测的活体检测技术通常需要高精度的人体头部姿态计算。因此,在姿态预测模型的设计上通常需要使用相对复杂的模型对人体头部进行3D(Dimension,维度)建模,根据捕获到的深度图来估计人脸鼻尖处的法向量(如图1所示)偏离世界坐标系Z轴的幅度,从而判断是否完成摇头、点头等头部动作。
以头部动作检测为例,现有的典型头部动作检测方法通常需要预训练一个人体头部姿态估计模型,其在训练过程中通常需要预先通过特殊的硬件设备获取一个通用的3D人脸模型,以及和其人头法向量的映射关系。然后通过对3D人脸模型对应的2D人脸图的面部关键点进行定位,从而可以推导出2D图的人脸关键点和人头法向量映射关系。而且该映射关系通常是通过几何映射的方式进行计算,计算量相对较大,在计算性能较弱的旧款移动终端上通常无法满足实时要求,适应性不高,并且几何映射还会要求2D图的人脸关键点定位有较高的精度,否则预测结果会有较大影响,导致头部动作检测稳定性不高。
发明内容
本发明提供一种动作检测方法、装置、电子设备及可读存储介质,以部分或全部解决现有技术中动作检测过程相关的上述问题。
依据本发明第一方面,提供了一种动作检测方法,包括:
依次获取待检测的目标视频中各目标视频帧的目标检测部位的部位特征;
基于重新排序后的部位特征确定所述目标视频的特征向量,其中所述重新排序是基于所述部位特征的范数值实现的;
基于所述特征向量,通过预设的动作检测模型,确定所述目标视频中所述目标检测部位的动作类型。
根据本发明的第二方面,提供了一种动作检测装置,包括:
部位特征获取模块,用于依次获取待检测的目标视频中各目标视频帧的目标检测部位的部位特征;
特征向量获取模块,用于基于重新排序后的部位特征确定所述目标视频的特征向量,其中所述重新排序是基于所述部位特征的范数值实现的;
动作检测模块,用于基于所述特征向量,通过预设的动作检测模型,确定所述目标视频中所述目标检测部位的动作类型。
根据本发明的第三方面,提供了一种电子设备,包括:
处理器、存储器以及存储在所述存储器上并可在所述处理器上运行的计算机程序,其特征在于,所述处理器执行所述程序时实现前述的动作检测方法。
根据本发明的第四方面,提供了一种可读存储介质,当所述存储介质中的指令由电子设备的处理器执行时,使得电子设备能够执行前述的动作检测方法。
根据本发明的动作检测方法,可以依次获取待检测的目标视频中各目标视频帧的目标检测部位的部位特征;基于重新排序后的部位特征确定所述目标视频的特征向量,其中所述重新排序是基于所述部位特征的范数值实现的;基于所述特征向量,通过预设的动作检测模型,确定所述目标视频中所述目标检测部位的动作类型。由此解决了现有的动作检测方法适应性以及稳定性不高的技术问题。取得了提高动作检测的适应性、稳定性的有益效果。
上述说明仅是本发明技术方案的概述,为了能够更清楚了解本发明的技术手段,而可依照说明书的内容予以实施,并且为了让本发明的上述和其它目的、特征和优点能够更明显易懂,以下特举本发明的具体实施方式。
附图说明
通过阅读下文优选实施方式的详细描述,各种其他的优点和益处对于本领域普通技术人员将变得清楚明了。附图仅用于示出优选实施方式的目的,而并不认为是对本发明的限制。而且在整个附图中,用相同的参考符号表示相同的部件。在附图中:
图1示出了一种人体头部3D模型图;
图2示出了根据本发明一个实施例的一种动作检测方法的步骤流程图;
图3示出了根据本发明一个实施例的一种动作检测方法的步骤流程图;
图3A示出了根据本发明一个实施例的一种异常目标图案的示意图;
图3B示出了根据本发明一个实施例的另一种异常目标图案的示意图;
图4示出了根据本发明一个实施例的一种动作检测装置的结构示意图;以及
图5示出了根据本发明一个实施例的一种动作检测装置的结构示意图。
具体实施方式
下面将参照附图更详细地描述本公开的示例性实施例。虽然附图中显示了本公开的示例性实施例,然而应当理解,可以以各种形式实现本公开而不应被这里阐述的实施例所限制。相反,提供这些实施例是为了能够更透彻地理解本公开,并且能够将本公开的范围完整的传达给本领域的技术人员。
实施例一
详细介绍本发明实施例提供的一种动作检测方法。
参照图2,示出了本发明实施例中一种动作检测方法的步骤流程图。
步骤110,依次获取待检测的目标视频中各目标视频帧的目标检测部位的部位特征。
其中的目标视频可以包括但不限于已经录制完成的视频,或者是正在在线录制的视频等等。例如,手机等移动终端保存在本地的视频、移动终端摄像头的预览视频,网络中的在线视频,等等。在实际应用中,视频可以由多个视频帧按照时间顺序排序构成,因此可以将目标视频划分为多个目标视频帧。而且,在本发明实施例中,也可以直接针对图像序列进行动作检测,那么此时可以直接获取待检测的目标图像序列,而在后续步骤中,则可以将目标图像序列中的每个目标图像作为一个目标视频帧进行相应的处理操作,对此本发明实施例不加以限定。
为了确定目标视频的动作类型,那么为了获取目标视频中目标检测部位的动作类型,首先需求确定其中包含相应的目标检测部位,因此则可以依次获取目标视频中各目标视频帧中目标检测部位的部位特征。具体的可以通过任何可用方式获取目标视频帧中的部位特征,对此本发明实施例不加以限定。其中的目标检测部位可以根据需求进行预先设置,对此本申请实施例不加以限定。例如,目标检测部位可以包括但不限于头部、手部、手臂、身体、腿部、脚部,等等。
例如,如果目标检测部位为头部,那么此时则需要获取头部特征,但是由于视频一般是二维的,因此也可以提取面部表征作为头部特征。例如,可以通过关键点定位先确定目标视频帧中的人脸区域,进而通过如轻量级卷积神经网络squeeze Net等任何一种可用的特征提取模型获取人脸区域中的特征作为相应目标视频帧的部位特征,等等。而如果针对目标检测部位进行特征提取时,没有可以直接利用的特征提取模型,那么则可以利用已提取相应部位特征的训练样本训练得到一个针对目标检测部位进行特征提取的模型。
而且,由于目标视频中可能同时包含多个目标检测部位对应的目标图案,或者是包含的目标图案不够完整或者不够清晰,等等。那么,在本发明实施例中,为了准确获取得到正确目标图案的部位特征,在获取部位特征之前,还可以先判断相应的目标视频帧中的目标图案是否满足预设的特征提取要求,如果目标视频帧中存在某一目标图案满足特征提取要求则针对相应的部位特征进行特征提取,进而得到相应目标视频帧的部位特征,否则则可以认定相应的目标视频帧中不存在目标图案,那么则可以确定相应目标视频帧的部位特征为空白,或者是为预设的异常值,等等。其中的特征提取要求以及异常值可以根据需求进行预先设置,对此本发明实施例不加以限定。
例如,可以设置特征提取要求包括目标图案的完整度不小于80%,目标图案相对于目标视频帧的面积占比不小于50%,等等;可以设置异常值为Null,等等。
步骤120,基于重新排序后的部位特征确定所述目标视频的特征向量,其中所述重新排序是基于所述部位特征的范数值实现的。
在实际应用中,一个动作是一个动态的过程,而且同一类型的动作对应的具体的动态动作过程可能并不完全一致。以摇头动作为例,用户可以按照先左后右的方式摇头,也可以按照先右后左的方式摇头,但是对于上述两种情况对应的视频而言,初始提取得到的部位特征序列是不一致的,容易导致判断等误差。因此,在本发明实施例中,为了提高动作检测准确性,在依次获取得到目标视频中各目标视频帧的部位特征之后,还可以进一步基于部位特征的范数值对所述部位特征进行重新排序,并基于重新排序后的部位特征确定所述目标视频的特征向量。从而可以缩小对应同一动作的视频提取出的部位特征序列,也即特征向量的差别。其中的范数(norm)值可以为任何一种可用类型的范数值,例如L1范数值、L2范数值,等等。
其中,范数,是具有“长度”概念的函数。在线性代数、泛函分析及相关的数学领域,范数是一个函数,是矢量空间内的所有矢量赋予非零的正长度或大小。L1范数是指向量中各个元素绝对值之和;L2范数是指向量中各元素的平方和然后开根。因此,在本申请实施例中,在获取得到部位特征之后,一个目标视频帧的部位特征具体可以包括至少一个特征数据,那么则可以将任一目标视频帧的部位特征所包括的全部特征数据作为一个向量,通过相应的范数值获取方法,进而得到相应的部位特征的范数值。
而且,在本发明实施例中,可以按照范数值从低到高的顺序对部位特征进行排序,也可以按照范数值从高到低的顺序对部位特征进行排序等等,具体的排序原则可以根据需求进行预先设置,对此本发明实施例不加以限定。
例如,假设当前初始提取得到的部位特征依次为Fea_1、Fea_2、Fea_3、…、Fea_n,而且各个部位特征的范数值依次分别为Value_1、Value_2、Value_3、…、Value_n。假设此时按照范数值从高到低的顺序对部位特征进行排序,那么如果Value_3>=Value_2>=Value_n>…>Value_1,则基于重新排序后的部位特征确定所述目标视频的特征向量可以为[Fea_3Fea_2Fea_n…Fea_1]。
而且,在实际应用中可能目标视频的时长比较久,而且可能根据目标视频起始部分已可以确定其中目标检测部位的动作检测结果,而不必要获取目标视频中全部帧数的目标视频帧的部位特征。因此,在本发明实施例中,为了提高动作检测效率,避免获取无用的部位特征,还可以设置特征向量的长度,也即特征向量中可以包含预设数量的部位特征。其中的预设数量可以根据需求进行预先设置,那么此时当获取得到预设数量的有效部位特征,则可以停止针对本次目标检测部位的动作检测继续获取目标视频中目标检测部位的部位特征,或者是可以直接停止针对本次对目标检测部位的动作检测的目标视频的继续录制,等等。
当然,如果针对同一目标视频中可能包含多个针对目标检测部位的不同动作,或者是针对多个不同目标检测部位的动作检测,那么此时针对目标检测部位的动作检测的目的在于检测目标视频中包含的每个目标检测部位的动作,或者是检测目标视频中包含的针对目标检测部位的每个动作,那么此时针对每个动作的特征向量则可以参考设置上述的预设数量,当然也可以直接设置特征向量的长度,并且可以基于目标视频中全部目标视频帧的部位特征排序并构建得到一个特征向量,具体的均可以根据需求进行预先设置,对此本发明实施例不加以限定。
步骤130,基于所述特征向量,通过预设的动作检测模型,确定所述目标视频中所述目标检测部位的动作类型。
在得到目标视频的特征向量之后,则可以进一步通过预设的动作检测模型,获取所述目标视频中目标检测部位的动作类型。
其中的动作检测模型可以为根据已标记动作类型的样本视频经训练得到。
而且,为了保证动作检测模型的准确性,上述的已标记动作类型的样本视频具体可以包括有目标检测部位全部动作类型的样本视频,以及没有相应动作类型的样本视频。其中的全部动作类型可以包括目标检测部位做出的动作检测模型可以检测出的各种动作,例如如果目标检测部位为头部,那么全部动作类型可以包括摇头动作、点头动作、左侧歪头动作、右侧歪头动作,等等。另外,在本发明实施例中,为了方便训练,还可以直接将样本视频处理为样本视频帧序列,具体的可根据需求进行预先设置,对此本发明实施例不加以限定。
例如,如果动作检测模型的作用是检测摇头动作以及点头动作,那么在对动作检测模型进行训练的样本视频中则可以包括标记为摇头动作的样本视频、标记为点头动作的样本视频、标记为非摇头动作的样本视频、标记为非点头动作的样本视频,等等。
根据本发明的动作检测方法,可以依次获取待检测的目标视频中各目标视频帧的目标检测部位的部位特征;基于重新排序后的部位特征确定所述目标视频的特征向量,其中所述重新排序是基于所述部位特征的范数值实现的;基于所述特征向量,通过预设的动作检测模型,确定所述目标视频中所述目标检测部位的动作类型。由此取得了提高动作检测的适应性以及稳定性的有益效果。
实施例二
详细介绍本发明实施例提供的一种动作检测方法。
参照图3,示出了本发明实施例中一种动作检测方法的步骤流程图。
步骤210,检测所述目标视频帧中与所述目标检测部位对应的目标图案是否满足预设的完整度阈值。
在本发明实施例中,为了避免获取得到效果不佳的部位特征,导致动作类型准确度不高,可以针对目标检测部位对应的目标图案设置一完整度阈值,如果目标图案较完整,那么提取出的部位特征也相对完整。例如,如果目标检测部位是头部,那么此时可以人脸图案作为目标图案,而如图3A以及3B所示的目标图案太靠近边缘或者离开视野,完整度不够,则会影响头部动作检测的准确性。
那么此时在获取各个目标视频帧的部位特征之前,可以先检测相应目标视频帧中的目标图案是否满足相应的完整度阈值。其中的完整度阈值可以根据需求进行预先设置,对此本发明实施例不加以限定。例如,可以设置完整度阈值为大于等于80%,或者完整度阈值为目标图案占相应目标视频帧的比例大于等于50%,等等。
步骤220,响应于所述目标视频帧中的目标图案满足所述完整度阈值,获取所述目标视频帧中的目标图案。
如果目标视频帧中的目标图案满足相应的完整度阈值,则可以获取相应目标视频帧中的目标图案。具体的可以通过任何可用方法获取目标视频帧中的目标图案,对此本发明实施例不加以限定。例如,如果目标图案为人脸图案,那么可以通过人脸检测技术确定目标视频帧中的目标图案是否满足预设的完整度阈值时,并且同时基于人脸检测技术获取目标视频帧中的目标图案;或者是对目标视频帧中的目标图案进行关键点定位,进而基于定位点获取其中的目标图案,等等。
步骤230,通过预设的特征提取模型获取所述目标图案的部位特征。
其中的特征提取模型可以为任意一种已训练好可用以提取部位特征的特征提取模型,对此本发明实施例不加以限定。例如,可以为已训练的轻量级卷积神经网络squeezeNet、Mobile Net、Shuffle Net、Xception,其他机器学习模型,等等。而且,由于深度神经网络具有较好的泛化能力,且轻量级神经网络的参数量较好,计算相对简单,适合在手机等移动终端使用。因此,在本发明实施例中,为了提高本方案的适应性,可以优选地设置特征提取模型为一种轻量级神经网络模型。
步骤240,响应于所述目标视频帧中的目标图案不满足所述完整度阈值,确认所述目标视频帧的部位特征为预设的异常特征值。
另外,为了避免无效的目标视频帧影响动作检测的准确性,可以对无效的目标视频帧进行标记,具体的可以通过部位特征值进行标记。那么此时如果某一目标视频帧中的目标图案不满足所述完整度阈值,则可以直接确认相应目标视频帧的部位特征为预设的异常特征值。
其中的异常特征值可以根据需求进行预先设置,对此本发明实施例不加以限定。例如,可以设置异常特征值为Null等等。
步骤250,获取所述部位特征的范数值。
具体的可以根据范数值的类型,通过相应的任何可用方法确定部位特征的范数值。其中,对于取值为异常特征值的部位特征,则可以无需获取其范数值,当然,如果有需求也可以获取其范数值,对此本发明实施例不加以限定。
步骤260,按照所述目标视频中各目标视频帧的前后顺序,依次将所述部位特征压入预设的特征队列,直至填满所述特征队列且所述特征队列中不包含所述异常特征值。
在本发明实施例中,为了避免无效的目标视频帧对检测结果造成不良影响,需要从目标视频中摘取目标图案满足需求的一段连续视频的部位特征。具体的可以借助于预设的特征队列,按照目标视频中各目标视频帧的前后顺序,依次将相应的目标视频帧的部位特征压入预设的特征队列,直至填满所述特征队列且所述特征队列中不包含所述异常特征值。
而且,上述的特征队列的长度是固定的,切特征队列的存储原则可以为先入先出,也即如果当前特征队列已经被填满,而仍需要继续向其中压入新的部位特征,那么则可以将特征队列当前记录的最先进入特征队列的部位特征弹出,直至特征队列中不包含所述异常特征值。
例如,对于目标视频A,假设假设特征队列长度为N,目标视频的第1个目标视频帧的序号是1,从第1个目标视频帧提取目标检测部位的部位特征记为Fea_1,目标视频的第i个目标视频帧的序号是i,将从第i个目标视频帧提取的部位特征记为Fea_i。那么则可以依次将部位特征Fea_1、Fea_2、...、Fea_i、...,压入特征队列,同时还可以记录相应各个部位特征的范数值为Value_1、Value_2、...、Value_i、...,重复上述步骤直到填满整个特征队列。如前述,若目标视频帧中的人脸质量不满足要求,则可以在特征队列里相应的位置插入的部位特征为Null值。而且,当第n+1个目标视频帧的部位特征Fea_n+1加入特征队列时,第1个目标视频帧的特征Fea_1会弹出特征队列,自动释放。当特征对列为满值状态即已压入N个部位特征时,此时若队列中存在Null值,则继续从起始步骤开始循环,继续将后续的目标视频帧的部位特征压入预设的特征队列,直到特征队列里不存在Null值。
其中,N的取值可以根据需求进行预先设置,对此本发明实施例不加以限定。
步骤270,按照以所述范数值为参照的预设顺序,将所述特征队列中的部位特征进行排序,得到所述目标视频的特征向量。
其中,以范数值为参照的预设顺序具体的可以根据需求进行预先设置,对此本发明实施例不加以限定。例如,可以设置预设顺序为按照范数值从低到高的顺序,或者是按照范数值从高到低的顺序,等等。
例如,对于上述的部位特征以及部位特征的范数值,假设Value_3>=Value_2>=Value_n>…>Value_1,此时如果预设顺序为按照范数值降序进行排列,那么则可以得到目标视频A的特征向量为[Fea_3Fea_2Fea_n…Fea_1]。
步骤280,根据已标记动作类型的样本视频训练所述动作检测模型。
可选地,在本发明实施例中,所述步骤280进一步可以包括:
子步骤281,依次获取所述样本视频中各目标视频帧的样本部位特征。
本步骤与前述的步骤110类似,此时是依次获取样本视频中各目标视频帧的样本部位特征,具体过程可以与上述的步骤110类似,在此不加以赘述。
可选地,在本发明实施例中,所述子步骤281进一步可以包括:
子步骤2811,检测所述样本视频帧中的目标图案是否满足预设的完整度阈值;
子步骤2812,响应于所述样本视频帧中的目标图案满足所述完整度阈值,获取所述样本视频帧中的目标图案;
子步骤2813,通过预设的特征提取模型获取所述目标图案的样本部位特征;
子步骤2814,响应于所述样本视频帧中的目标图案不满足所述完整度阈值,确认所述目标图案的样本部位特征为预设的异常特征值。
上述的子步骤2811-2814分别依次与前述的步骤210-240类似,此时是针对样本视频中的各个样本视频帧进行部位特征的提取,但是具体的过程可以与上述的步骤210-240类似,在此不加以赘述。
子步骤282,基于所述样本部位特征的范数值对所述样本部位特征进行重新排序,并基于重新排序后的样本部位特征确定所述样本视频的样本特征向量。
本步骤与前述的步骤120类似,此时是针对样本部位特征进行重新排序,得到样本视频的样本特征向量,但是具体的过程可以与上述的步骤120类似,在此不加以赘述。
可选地,在本发明实施例中,所述子步骤282进一步可以包括:
子步骤2821,获取所述样本部位特征的范数值;
子步骤2822,按照所述样本视频中各目标视频帧的前后顺序,依次将所述样本部位特征压入预设的特征队列,直至填满所述特征队列且所述特征队列中不包含所述异常特征值;
子步骤2823,按照以所述范数值为参照的预设顺序,将所述特征队列中的样本部位特征进行排序,得到所述样本视频的样本特征向量。
上述的子步骤2821-2823分别依次与前述的步骤250-270类似,此时是针对样本视频中的各个样本视频帧的样本部位特征进行排序,得到样本视频的样本特征向量。针对的对象不同,但是具体的过程可以与上述的步骤250-270类似,因此在此不加以赘述。
子步骤283,根据所述样本视频的样本特征向量以及标记动作,训练所述动作检测模型。
具体的,可以将样本视频的样本特征向量作为动作检测模型的输入,同时将相应样本视频的标记动作作为动作检测模型的输出,训练动作检测模型中的参数。那么训练得到一个针对目标检测部位的动作类型的分类器,在接收到目标视频的特征向量时,则可以分类得到的目标视频中目标检测部位所属的动作类别,作为其动作类型。
其中的动作检测模型具体可以为任何一种可用的机器学习模型具体的可以根据需求进行预先设置,对此本发明实施例不加以限定。例如,可以设置动作检测模型为一个单层或者两层的全联接神经网络模型
可选地,在本发明实施例中,为了在用户体验和安全性之间取得一个较好的平衡,可以设置所述特征队列的长度为16。
步骤290,基于初始训练后的所述动作检测模型中的各个参数,根据已标记动作类型的样本视频,优化训练所述特征提取模型以及所述动作检测模型。
另外,在本发明实施例中,为了进一步提高特征提取模型以及动作检测模型的准确率,还可以进一步基于初始训练后的所述动作检测模型中的各个参数,根据已标记动作类型的样本视频,优化训练所述特征提取模型以及所述动作检测模型。具体的可以设置模型中网络参数的学习率,进而对特征提取模型以及所述动作检测模型进行优化训练,直至模型收敛。其中,学习率可以根据需求进行预先设置,对此本发明实施例不加以限定。例如,可以设置学习率为0.001,等等。
另外,需要说明的是,在本发明实施例中,在针对动作检测模型进行初始训练以及优化训练时的损失函数为任意一种分类损失函数,例如Attention centerloss(注意力中心损失)函数,等等。
而且,在本发明实施例中,上述的步骤280可以在步骤2110之前,或者是步骤2110之前的任一步骤之前执行,而步骤290则可以在步骤280之后,或者是步骤280之后的任一步骤之后执行,对此本发明实施例均不加以限定。
步骤2110,基于所述特征向量,通过预设的动作检测模型,确定所述目标视频中所述目标检测部位的动作类型。
可选地,在本发明实施例中,所述步骤2110进一步可以包括:
子步骤A2111,将所述特征向量输入所述动作检测模型;
子步骤A2112,以所述动作检测模型中的参数向量与所述特征向量进行点积,得到所述目标视频的动作分值;
子步骤A2113,根据预设的各个动作类型的分数阈值,以及所述目标视频的动作分值,确定所述目标视频中所述目标检测部件的动作类型。
在实际应用中,从目标视频帧中提取的部位特征通常是一个向量,而且向量的每一位都是浮点数。那么基于目标视频得到的特征向量可以是多个部位特征的组合,那么其中也包含量多个浮点数表征的特征值。
在本发明实施例中,通过动作检测模型获取目标视频的动作类型时,具体的在动作检测模型内部,可以基于动作检测模型的参数向量,获取参数向量与输入的特征向量的点积,进而得到目标视频的动作分值。
例如,假设动作检测模型中对应特征向量中各个特征值Feak_n的参数为Wk_n,根据范数值进行排序得到特征向量为[Fea3fea1…feak]。其中,k表示特征值所在部位特征对应的目标视频帧在相应的目标视频中的序列号,n表示特征值在相应的部位特征中的序列号。那么,动作分值score=W3_1*Fea3_1+W3_2*Fea3_2+…+Wk_1*Feak_1+..+Wk_n*Feak_n。
在得到目标视频的动作分值之后,则可以进一步根据预设的各个动作类型的分数阈值,以及所述目标视频的动作分值,确定所述目标视频中所述目标检测部件的动作类型。其中,各个动作类型的分数阈值可以根据需求进行预先设置,对此本发明实施例不加以限定。例如,可以结合模型训练,通过各个动作类型对应的正负样本的分布值获取相应动作类型的分数阈值,通常可以取漏过率等于某个值(如0.1%)时的对应的分数阈值。
而且,在本发明实施例中,还可以将各个动作类型的分数阈值设置在动作检测模型中,那么在获取得到目标视频的动作分值,则可以直接基于动作检测模型中设置的分数阈值,确定目标视频的动作类型并输出。
当然,也可以不在动作检测模型中分数阈值,而借助动作检测模型输出得目标视频的动作分值,进一步基于动作分值以及各动作类型的分数阈值,确定目标视频中目标检测部件的动作类型。
而且,确定的目标视频中目标检测部件的动作类型具体可以为目标视频中目标检测部件确切所属的动作类型,也可以为目标视频中目标检测部件属于各个动作类型的概率,等等。具体的可以根据需求进行预先设置,对此本发明实施例不加以限定。
可选地,在本发明实施例中,所述步骤2110进一步可以包括:
子步骤B2111,响应于基于当前的特征向量未能确定所述目标视频的动作类型,从当前的目标视频帧开始,依次将所述目标视频帧对应的部位特征压入预设的特征队列,直至填满所述特征队列且所述特征队列中不包含所述异常特征值;其中,所述当前的目标视频帧为所述特征队列中对应的全部目标视频帧之后的下一个目标视频帧。
子步骤B2112,按照以所述部位特征的范数值为参照的预设顺序,对所述特征队列中的部位特征进行排序,更新所述目标视频的特征向量,直至所述特征队列中包含所述目标视频中最后一个目标视频帧的部位特征。
可选地,在本发明实施例中,所述子步骤B2112进一步可以包括:
子步骤B21121,根据当前压入所述特征队列中的目标部位特征的范数值,以及所述特征队列中保留的部位特征的范数值,将所述目标部位特征插入当前的特征向量。
子步骤B21122,将所述特征队列当前弹出的部位特征从当前的特征向量中删除,得到更新后的特征向量。
对于当前的特征向量中,其中包含的是基于部位特征的范数值排序后的个部位特征,而在加入新的部位特征时,为了提高特征向量的更新效率,可以直接将特征向量中需要删除的部位特征删除,并且按照当前新加入的部位特征的范数值,也即当前的目标视频特征的范数值,将目标部位特征插入至当前的特征向量中相应的位置,进而得到更新后的特征向量。
例如,对于特征向量[Fea_3Fea_2Fea_n…Fea_1],假设特征向量中按照部位特征的范数值从高到低的顺序对部位特征进行排序,且Value_3>=Value_2>=Value_n>…>Value_1。其中,Value_n为Fea_n的范数值。如果,当前压入所述特征队列中的目标部位特征的范数值Value_17大于Value_2且小于Value_3,那么此时则可以直接将Fea_17插入到Value_2与Value_3之间,同时可以将Value_1删除。得到更新后的特征向量为[Fea_3Value_17Fea_2Fea_n…]。
子步骤B2113,以更新后的特征向量,通过预设的动作检测模型,确定所述目标视频的动作类型。
如前述,在实际应用中目标视频中可以包括多个目标视频帧,那么则可以分别获取多个目标视频帧的部位特征,并依次将部位特征压入特征队列。在本发明实施例中,为了提高动作检测效率,可以只利用目标视频中的部分目标视频帧,因此设定的特征队列的长度可能小于目标视频中包含的目标视频帧数。但是由于是按照各个目标视频帧在目标视频中的先后顺序依次将各个目标视频帧的部位特征压入特征队列,进而根据当前的特征队列得到当前的特征向量,而基于当前得到的特征向量无法检测出目标视频中目标检测部件的动作类型,那么则需要利用后续的目标视频帧继续更新特征向量,进而判断目标视频的动作类型,直至到目标视频中的全部目标视频帧都利用完毕。
因此,在本发明实施例中,如果基于当前的特征向量未能确定所述目标视频中目标检测部件的动作类型,则可以继续更新特征队列,具体的可以从当前的目标视频帧开始,依次将所述目标视频帧对应的部位特征压入预设的特征队列,直至填满所述特征队列且所述特征队列中不包含所述异常特征值;其中,所述当前的目标视频帧为所述特征队列中对应的全部目标视频帧之后的下一个目标视频帧。进而按照以所述部位特征的范数值为参照的预设顺序,对所述特征队列中的部位特征进行排序,更新所述目标视频的特征向量,直至所述特征队列中包含所述目标视频中最后一个目标视频帧的部位特征。从而以更新后的特征向量,通过预设的动作检测模型,确定所述目标视频的动作类型。
例如,如果当前的特征队列中包含的部位特征依次为Fea_1、Fea_2...Fea_i...Fea_16,其中的i为相应的部位特征对应的目标视频帧在目标视频中的次序,假设基于当前的特征队列得到的特征向量不能检测出目标视频的动作类型,那么则可以将当前的目标视频帧V17的部位特征Fea_17压入特征队列,并且将最早压入特征队列的Fea_1弹出,同时还可以检测特征队列中不包含异常特征值,例如新增的部位特征Fea_17为异常特征值,那么此时则需要将Fea_17弹出特征队列,而且由于队列先入先出的原则,那么则先依次将Fea_17之前的Fea_2-Fea_16弹出,直至弹出Fea_17,而且在每弹出一个部位特征,则可以补进去一个新的部位特征,此时则可以依次压入目标视频帧V18-V33的部位特征Fea_18-Fea_33。
根据本发明的动作检测方法,可以依次获取待检测的目标视频中各目标视频帧的目标检测部位的部位特征;基于重新排序后的部位特征确定所述目标视频的特征向量,其中所述重新排序是基于所述部位特征的范数值实现的;基于所述特征向量,通过预设的动作检测模型,确定所述目标视频中所述目标检测部位的动作类型。由此取得了提高动作检测的适应性以及稳定性的有益效果。
而且,在本发明实施例中,还可以检测所述目标视频帧中与所述目标检测部位对应的目标图案是否满足预设的完整度阈值;响应于所述目标视频帧中的目标图案满足所述完整度阈值,获取所述目标视频帧中的目标图案;通过预设的特征提取模型获取所述目标图案的部位特征;响应于所述目标视频帧中的目标图案不满足所述完整度阈值,确认所述目标视频帧的部位特征为预设的异常特征值。以及,获取所述部位特征的范数值;按照所述目标视频中各目标视频帧的前后顺序,依次将所述部位特征压入预设的特征队列,直至填满所述特征队列且所述特征队列中不包含所述异常特征值;按照以所述范数值为参照的预设顺序,将所述特征队列中的部位特征进行排序,得到所述目标视频的特征向量。从而可以避免无效的视频帧影响动作检测结果的准确性。
另外,在本发明实施例中,还可以根据已标记动作类型的样本视频训练所述动作检测模型。并且,依次获取所述样本视频中各样本视频帧的样本部位特征;基于所述样本部位特征的范数值对所述样本部位特征进行重新排序,并基于重新排序后的样本部位特征确定所述样本视频的样本特征向量;根据所述样本视频的样本特征向量以及标记动作,训练所述动作检测模型。检测所述样本视频帧中的目标图案是否满足预设的完整度阈值;响应于所述样本视频帧中的目标图案满足所述完整度阈值,获取所述样本视频帧中的目标图案;通过预设的特征提取模型获取所述目标图案的样本部位特征;响应于所述样本视频帧中的目标图案不满足所述完整度阈值,确认所述样本视频帧的样本部位特征为预设的异常特征值。以及,获取所述样本部位特征的范数值;按照所述样本视频中各目标视频帧的前后顺序,依次将所述样本部位特征压入预设的特征队列,直至填满所述特征队列且所述特征队列中不包含所述异常特征值;按照以所述范数值为参照的预设顺序,将所述特征队列中的样本部位特征进行排序,得到所述样本视频的样本特征向量。另外,将所述特征向量输入所述动作检测模型;以所述动作检测模型中的参数向量与所述特征向量进行点积,得到所述目标视频的动作分值;根据预设的各个动作类型的分数阈值,以及所述目标视频的动作分值,确定所述目标视频中所述目标检测部件的动作类型。基于初始训练后的所述动作检测模型中的各个参数,根据已标记动作类型的样本视频,优化训练所述特征提取模型以及所述动作检测模型。同样可以避免无效的视频帧的负面影响,并且提高动作检测的准确性、适应性以及稳定性。
进一步地,在本发明实施例中,还可以设置特征队列的长度为16。从而在用户体验和安全性之间取得一个较好的平衡。
对于方法实施例,为了简单描述,故将其都表述为一系列的动作组合,但是本领域技术人员应该知悉,本发明实施例并不受所描述的动作顺序的限制,因为依据本发明实施例,某些步骤可以采用其他顺序或者同时进行。其次,本领域技术人员也应该知悉,说明书中所描述的实施例均属于优选实施例,所涉及的动作并不一定是本发明实施例所必须的。
实施例三
详细介绍本发明实施例提供的一种动作检测装置。
参照图4,示出了本发明实施例中一种动作检测装置的结构示意图。
部位特征获取模块310,用于依次获取待检测的目标视频中各目标视频帧的目标检测部位的部位特征;
特征向量获取模块320,用于基于重新排序后的部位特征确定所述目标视频的特征向量,其中所述重新排序是基于所述部位特征的范数值实现的;
动作检测模块330,用于基于所述特征向量,通过预设的动作检测模型,确定所述目标视频中所述目标检测部位的动作类型。
根据本发明的动作检测方法,可以依次获取待检测的目标视频中各目标视频帧的目标检测部位的部位特征;基于重新排序后的部位特征确定所述目标视频的特征向量,其中所述重新排序是基于所述部位特征的范数值实现的;基于所述特征向量,通过预设的动作检测模型,确定所述目标视频中所述目标检测部位的动作类型。由此取得了提高动作检测的适应性以及稳定性的有益效果。
实施例四
详细介绍本发明实施例提供的一种动作检测装置。
参照图5,示出了本发明实施例中一种动作检测装置的结构示意图。
部位特征获取模块410,用于依次获取待检测的目标视频中各目标视频帧的目标检测部位的部位特征。
其中,所述部位特征获取模块410,进一步可以包括:
完整度检测子模块411,用于检测所述目标视频帧中与所述目标检测部位对应的目标图案是否满足预设的完整度阈值;
目标图案获取模块412,用于响应于所述目标视频帧中的目标图案满足所述完整度阈值,获取所述目标视频帧中的目标图案;
第一部位特征获取子模块413,用于通过预设的特征提取模型获取所述目标图案的部位特征;
第二部位特征获取子模块414,用于响应于所述目标视频帧中的目标图案不满足所述完整度阈值,确认所述目标视频帧的部位特征为预设的异常特征值。
特征向量获取模块420,用于基于重新排序后的部位特征确定所述目标视频的特征向量,其中所述重新排序是基于所述部位特征的范数值实现的。
其中,所述特征向量获取模块420,进一步可以包括:
范数值获取子模块421,用于获取所述部位特征的范数值;
特征队列填充子模块422,用于按照所述目标视频中各目标视频帧的前后顺序,依次将所述部位特征压入预设的特征队列,直至填满所述特征队列且所述特征队列中不包含所述异常特征值;
特征向量获取子模块423,用于按照以所述范数值为参照的预设顺序,将所述特征队列中的部位特征进行排序,得到所述目标视频的特征向量。
模型训练模块430,用于根据已标记动作类型的样本视频训练所述动作检测模型。
可选地,在本发明实施例中,所述模型训练模块430,进一步可以包括:
样本部位特征获取子模块,用于依次获取所述样本视频中各样本视频帧的样本部位特征;
样本特征向量获取子模块,用于基于所述样本部位特征的范数值对所述样本部位特征进行重新排序,并基于重新排序后的样本部位特征确定所述样本视频的样本特征向量;
模型训练子模块,用于根据所述样本视频的样本特征向量以及标记动作,训练所述动作检测模型。
可选地,在本发明实施例中,所述样本部位特征获取子模块,进一步可以包括:
完整度检测单元,用于检测所述样本视频帧中的目标图案是否满足预设的完整度阈值;
目标图案获取单元,用于响应于所述样本视频帧中的目标图案满足所述完整度阈值,获取所述样本视频帧中的目标图案;
第一样本部位特征获取单元,用于通过预设的特征提取模型获取所述目标图案的样本部位特征;
第二样本部位特征获取单元,用于响应于所述样本视频帧中的目标图案不满足所述完整度阈值,确认所述样本视频帧的样本部位特征为预设的异常特征值。
可选地,在本发明实施例中,所述样本特征向量获取子模块,进一步可以包括:
范数值获取单元,用于获取所述样本部位特征的范数值;
特征队列填充单元,用于按照所述样本视频中各目标视频帧的前后顺序,依次将所述样本部位特征压入预设的特征队列,直至填满所述特征队列且所述特征队列中不包含所述异常特征值;
样本特征向量获取单元,用于按照以所述范数值为参照的预设顺序,将所述特征队列中的样本部位特征进行排序,得到所述样本视频的样本特征向量。
优化训练模块440,用于基于初始训练后的所述动作检测模型中的各个参数,根据已标记动作类型的样本视频,优化训练所述特征提取模型以及所述动作检测模型。
可选地,在本发明实施例中,所述特征队列的长度为16。
动作检测模块450,用于基于所述特征向量,通过预设的动作检测模型,确定所述目标视频中所述目标检测部位的动作类型;其中,所述动作检测模型为根据已标记动作类型的样本视频训练得到。
可选地,在本发明实施例中,所述动作检测模块450,进一步可以包括:
特征向量输入子模块,用于将所述特征向量输入所述动作检测模型;
动作分值获取子模块,用于以所述动作检测模型中的参数向量与所述特征向量进行点积,得到所述目标视频的动作分值;
动作检测子模块,用于根据预设的各个动作类型的分数阈值,以及所述目标视频的动作分值,确定所述目标视频中所述目标检测部件的动作类型。
可选地,在本发明实施例中,所述动作检测模块450,进一步可以包括:
特征队列更新子模块,用于响应于基于当前的特征向量未能确定所述目标视频的动作类型,从当前的目标视频帧开始,依次将所述目标视频帧对应的部位特征压入预设的特征队列,直至填满所述特征队列且所述特征队列中不包含所述异常特征值;
特征向量更新子模块,用于按照以所述部位特征的范数值为参照的预设顺序,对所述特征队列中的部位特征进行排序,更新所述目标视频的特征向量,直至所述特征队列中包含所述目标视频中最后一个目标视频帧的部位特征;
可选地,在本发明实施例中,所述特征向量更新子模块,进一步可以包括:
新增部位特征插入单元,用于根据当前压入所述特征队列中的目标部位特征的范数值,以及所述特征队列中保留的部位特征的范数值,将所述目标部位特征插入当前的特征向量;
部位特征删除单元,用于将所述特征队列当前弹出的部位特征从当前的特征向量中删除,得到更新后的特征向量。
动作检测子模块,用于以更新后的特征向量,通过预设的动作检测模型,确定所述目标视频的动作类型;
其中,所述当前的目标视频帧为所述特征队列中对应的全部目标视频帧之后的下一个目标视频帧。
本发明实施例中还公开了一种电子设备,包括:
处理器、存储器以及存储在所述存储器上并可在所述处理器上运行的计算机程序,其特征在于,所述处理器执行所述程序时实现前述的动作检测方法。
本发明实施例中还公开了一种可读存储介质,当所述存储介质中的指令由电子设备的处理器执行时,使得电子设备能够执行前述的动作检测方法。
根据本发明的动作检测方法,可以依次获取待检测的目标视频中各目标视频帧的目标检测部位的部位特征;基于重新排序后的部位特征确定所述目标视频的特征向量,其中所述重新排序是基于所述部位特征的范数值实现的;基于所述特征向量,通过预设的动作检测模型,确定所述目标视频中所述目标检测部位的动作类型。由此取得了提高动作检测的适应性以及稳定性的有益效果。
而且,在本发明实施例中,还可以检测所述目标视频帧中与所述目标检测部位对应的目标图案是否满足预设的完整度阈值;响应于所述目标视频帧中的目标图案满足所述完整度阈值,获取所述目标视频帧中的目标图案;通过预设的特征提取模型获取所述目标图案的部位特征;响应于所述目标视频帧中的目标图案不满足所述完整度阈值,确认所述目标视频帧的部位特征为预设的异常特征值。以及,获取所述部位特征的范数值;按照所述目标视频中各目标视频帧的前后顺序,依次将所述部位特征压入预设的特征队列,直至填满所述特征队列且所述特征队列中不包含所述异常特征值;按照以所述范数值为参照的预设顺序,将所述特征队列中的部位特征进行排序,得到所述目标视频的特征向量。从而可以避免无效的视频帧影响动作检测结果的准确性。
另外,在本发明实施例中,还可以根据已标记动作类型的样本视频训练所述动作检测模型。并且,依次获取所述样本视频中各样本视频帧的样本部位特征;基于所述样本部位特征的范数值对所述样本部位特征进行重新排序,并基于重新排序后的样本部位特征确定所述样本视频的样本特征向量;根据所述样本视频的样本特征向量以及标记动作,训练所述动作检测模型。检测所述样本视频帧中的目标图案是否满足预设的完整度阈值;响应于所述样本视频帧中的目标图案满足所述完整度阈值,获取所述样本视频帧中的目标图案;通过预设的特征提取模型获取所述目标图案的样本部位特征;响应于所述样本视频帧中的目标图案不满足所述完整度阈值,确认所述样本视频帧的样本部位特征为预设的异常特征值。以及,获取所述样本部位特征的范数值;按照所述样本视频中各目标视频帧的前后顺序,依次将所述样本部位特征压入预设的特征队列,直至填满所述特征队列且所述特征队列中不包含所述异常特征值;按照以所述范数值为参照的预设顺序,将所述特征队列中的样本部位特征进行排序,得到所述样本视频的样本特征向量。另外,将所述特征向量输入所述动作检测模型;以所述动作检测模型中的参数向量与所述特征向量进行点积,得到所述目标视频的动作分值;根据预设的各个动作类型的分数阈值,以及所述目标视频的动作分值,确定所述目标视频中所述目标检测部件的动作类型。基于初始训练后的所述动作检测模型中的各个参数,根据已标记动作类型的样本视频,优化训练所述特征提取模型以及所述动作检测模型。同样可以避免无效的视频帧的负面影响,并且提高动作检测的准确性、适应性以及稳定性。
进一步地,在本发明实施例中,还可以设置特征队列的长度为16。从而在用户体验和安全性之间取得一个较好的平衡。
对于装置实施例而言,由于其与方法实施例基本相似,所以描述的比较简单,相关之处参见方法实施例的部分说明即可。
在此提供的算法和显示不与任何特定计算机、虚拟系统或者其它设备固有相关。各种通用系统也可以与基于在此的示教一起使用。根据上面的描述,构造这类系统所要求的结构是显而易见的。此外,本发明也不针对任何特定编程语言。应当明白,可以利用各种编程语言实现在此描述的本发明的内容,并且上面对特定语言所做的描述是为了披露本发明的最佳实施方式。
在此处所提供的说明书中,说明了大量具体细节。然而,能够理解,本发明的实施例可以在没有这些具体细节的情况下实践。在一些实例中,并未详细示出公知的方法、结构和技术,以便不模糊对本说明书的理解。
类似地,应当理解,为了精简本公开并帮助理解各个发明方面中的一个或多个,在上面对本发明的示例性实施例的描述中,本发明的各个特征有时被一起分组到单个实施例、图、或者对其的描述中。然而,并不应将该公开的方法解释成反映如下意图:即所要求保护的本发明要求比在每个权利要求中所明确记载的特征更多的特征。更确切地说,如下面的权利要求书所反映的那样,发明方面在于少于前面公开的单个实施例的所有特征。因此,遵循具体实施方式的权利要求书由此明确地并入该具体实施方式,其中每个权利要求本身都作为本发明的单独实施例。
本领域那些技术人员可以理解,可以对实施例中的设备中的模块进行自适应性地改变并且把它们设置在与该实施例不同的一个或多个设备中。可以把实施例中的模块或单元或组件组合成一个模块或单元或组件,以及此外可以把它们分成多个子模块或子单元或子组件。除了这样的特征和/或过程或者单元中的至少一些是相互排斥之外,可以采用任何组合对本说明书(包括伴随的权利要求、摘要和附图)中公开的所有特征以及如此公开的任何方法或者设备的所有过程或单元进行组合。除非另外明确陈述,本说明书(包括伴随的权利要求、摘要和附图)中公开的每个特征可以由提供相同、等同或相似目的的替代特征来代替。
此外,本领域的技术人员能够理解,尽管在此所述的一些实施例包括其它实施例中所包括的某些特征而不是其它特征,但是不同实施例的特征的组合意味着处于本发明的范围之内并且形成不同的实施例。例如,在下面的权利要求书中,所要求保护的实施例的任意之一都可以以任意的组合方式来使用。
本发明的各个部件实施例可以以硬件实现,或者以在一个或者多个处理器上运行的软件模块实现,或者以它们的组合实现。本领域的技术人员应当理解,可以在实践中使用微处理器或者数字信号处理器(DSP)来实现根据本发明实施例的动作检测设备中的一些或者全部部件的一些或者全部功能。本发明还可以实现为用于执行这里所描述的方法的一部分或者全部的设备或者装置程序(例如,计算机程序和计算机程序产品)。这样的实现本发明的程序可以存储在计算机可读介质上,或者可以具有一个或者多个信号的形式。这样的信号可以从因特网网站上下载得到,或者在载体信号上提供,或者以任何其他形式提供。
应该注意的是上述实施例对本发明进行说明而不是对本发明进行限制,并且本领域技术人员在不脱离所附权利要求的范围的情况下可设计出替换实施例。在权利要求中,不应将位于括号之间的任何参考符号构造成对权利要求的限制。单词“包含”不排除存在未列在权利要求中的元件或步骤。位于元件之前的单词“一”或“一个”不排除存在多个这样的元件。本发明可以借助于包括有若干不同元件的硬件以及借助于适当编程的计算机来实现。在列举了若干装置的单元权利要求中,这些装置中的若干个可以是通过同一个硬件项来具体体现。单词第一、第二、以及第三等的使用不表示任何顺序。可将这些单词解释为名称。

Claims (24)

1.一种动作检测方法,其特征在于,包括:
检测目标视频帧中与目标检测部位对应的目标图案是否满足预设的完整度阈值;
响应于所述目标视频帧中的目标图案满足所述完整度阈值,依次获取待检测的目标视频中各目标视频帧的目标检测部位的部位特征,按照所述目标视频中各目标视频帧的前后顺序,依次将所述部位特征压入预设的特征队列,直至填满所述特征队列;
将所述特征队列中的部位特征重新排序,基于重新排序后的部位特征确定所述目标视频的特征向量,其中所述重新排序是基于所述部位特征的范数值实现的;
基于所述特征向量,通过预设的动作检测模型,确定所述目标视频中所述目标检测部位的动作类型;
响应于基于所述特征向量未能确定所述目标视频中所述目标检测部位的动作类型,从当前的目标视频帧开始,更新所述特征队列;
将更新后的所述特征队列中的部位特征进行排序,基于重新排序后的部位特征更新所述目标视频的特征向量,直至所述特征队列中包含所述目标视频中最后一个目标视频帧的部位特征;
基于更新后的所述目标视频的特征向量,通过预设的动作检测模型,确定所述目标视频中所述目标检测部位的动作类型;
其中,所述当前的目标视频帧为所述特征队列中对应的全部目标视频帧之后的下一个目标视频帧。
2.根据权利要求1所述的方法,其特征在于,所述依次获取待检测的目标视频中各目标视频帧的目标检测部位的部位特征的步骤,包括:
响应于所述目标视频帧中的目标图案满足所述完整度阈值,获取所述目标视频帧中的目标图案;
通过预设的特征提取模型获取所述目标图案的部位特征;
响应于所述目标视频帧中的目标图案不满足所述完整度阈值,确认所述目标视频帧的部位特征为预设的异常特征值。
3.根据权利要求2所述的方法,其特征在于,所述基于重新排序后的部位特征确定所述目标视频的特征向量的步骤,包括:
获取所述部位特征的范数值;
按照所述目标视频中各目标视频帧的前后顺序,依次将所述部位特征压入预设的特征队列,直至填满所述特征队列且所述特征队列中不包含所述异常特征值;
按照以所述范数值为参照的预设顺序,将所述特征队列中的部位特征进行排序,得到所述目标视频的特征向量。
4.根据权利要求2所述的方法,其特征在于,所述基于所述特征向量,通过预设的动作检测模型,确定所述目标视频中所述目标检测部位的动作类型的步骤,包括:
响应于基于当前的特征向量未能确定所述目标视频的动作类型,从当前的目标视频帧开始,依次将所述目标视频帧对应的部位特征压入预设的特征队列,直至填满所述特征队列且所述特征队列中不包含所述异常特征值;
按照以所述部位特征的范数值为参照的预设顺序,对所述特征队列中的部位特征进行排序,更新所述目标视频的特征向量,直至所述特征队列中包含所述目标视频中最后一个目标视频帧的部位特征;
以更新后的特征向量,通过预设的动作检测模型,确定所述目标视频的动作类型;
其中,所述当前的目标视频帧为所述特征队列中对应的全部目标视频帧之后的下一个目标视频帧。
5.根据权利要求4所述的方法,其特征在于,所述按照以所述部位特征的范数值为参照的预设顺序,将所述特征队列中的部位特征进行排序,更新所述目标视频的特征向量的步骤,包括:
根据当前压入所述特征队列中的目标部位特征的范数值,以及所述特征队列中保留的部位特征的范数值,将所述目标部位特征插入当前的特征向量;
将所述特征队列当前弹出的部位特征从当前的特征向量中删除,得到更新后的特征向量。
6.根据权利要求1所述的方法,其特征在于,在所述基于所述特征向量,通过预设的动作检测模型,确定所述目标视频中所述目标检测部位的动作类型的步骤之前,还包括:
根据已标记动作类型的样本视频训练所述动作检测模型。
7.根据权利要求6所述的方法,其特征在于,所述根据已标记动作类型的样本视频训练所述动作检测模型的步骤,包括:
依次获取所述样本视频中各样本视频帧的样本部位特征;
基于所述样本部位特征的范数值对所述样本部位特征进行重新排序,并基于重新排序后的样本部位特征确定所述样本视频的样本特征向量;
根据所述样本视频的样本特征向量以及标记动作,训练所述动作检测模型。
8.根据权利要求7所述的方法,其特征在于,所述依次获取所述样本视频中各样本视频帧的样本部位特征的步骤,包括:
检测所述样本视频帧中的目标图案是否满足预设的完整度阈值;
响应于所述样本视频帧中的目标图案满足所述完整度阈值,获取所述样本视频帧中的目标图案;
通过预设的特征提取模型获取所述目标图案的样本部位特征;
响应于所述样本视频帧中的目标图案不满足所述完整度阈值,确认所述样本视频帧的样本部位特征为预设的异常特征值。
9.根据权利要求8所述的方法,其特征在于,所述基于所述样本部位特征的范数值对所述样本部位特征进行重新排序,并基于重新排序后的样本部位特征确定所述样本视频的样本特征向量的步骤,包括:
获取所述样本部位特征的范数值;
按照所述样本视频中各目标视频帧的前后顺序,依次将所述样本部位特征压入预设的特征队列,直至填满所述特征队列且所述特征队列中不包含所述异常特征值;
按照以所述范数值为参照的预设顺序,将所述特征队列中的样本部位特征进行排序,得到所述样本视频的样本特征向量。
10.根据权利要求6-9任一项所述的方法,其特征在于,在所述根据已标记动作类型的样本视频训练所述动作检测模型的步骤之后,还包括:
基于初始训练后的所述动作检测模型中的各个参数,根据已标记动作类型的样本视频,优化训练特征提取模型以及所述动作检测模型;其中,所述特征提取模型用于获取所述目标图案的样本部位特征。
11.根据权利要求1所述的方法,其特征在于,所述基于所述特征向量,通过预设的动作检测模型,确定所述目标视频中所述目标检测部位的动作类型的步骤,包括:
将所述特征向量输入所述动作检测模型;
以所述动作检测模型中的参数向量与所述特征向量进行点积,得到所述目标视频的动作分值;
根据预设的各个动作类型的分数阈值,以及所述目标视频的动作分值,确定所述目标视频中所述目标检测部件的动作类型。
12.一种动作检测装置,其特征在于,包括:
完整度检测子模块,用于检测目标视频帧中与目标检测部位对应的目标图案是否满足预设的完整度阈值;
部位特征获取模块,用于响应于所述目标视频帧中的目标图案满足所述完整度阈值,依次获取待检测的目标视频中各目标视频帧的目标检测部位的部位特征,按照所述目标视频中各目标视频帧的前后顺序,依次将所述部位特征压入预设的特征队列,直至填满所述特征队列;
特征向量获取模块,用于将所述特征队列中的部位特征重新排序,基于重新排序后的部位特征确定所述目标视频的特征向量,其中所述重新排序是基于所述部位特征的范数值实现的;
动作检测模块,用于基于所述特征向量,通过预设的动作检测模型,确定所述目标视频中所述目标检测部位的动作类型;
第一特征队列更新子模块,用于响应于基于所述特征向量未能确定所述目标视频中所述目标检测部位的动作类型,从当前的目标视频帧开始,更新所述特征队列;
第一特征向量更新子模块,用于将更新后的所述特征队列中的部位特征进行排序,基于重新排序后的部位特征更新所述目标视频的特征向量,直至所述特征队列中包含所述目标视频中最后一个目标视频帧的部位特征;
第一动作检测子模块,用于基于更新后的所述目标视频的特征向量,通过预设的动作检测模型,确定所述目标视频中所述目标检测部位的动作类型;
其中,所述当前的目标视频帧为所述特征队列中对应的全部目标视频帧之后的下一个目标视频帧。
13.根据权利要求12所述的装置,其特征在于,所述部位特征获取模块,包括:
目标图案获取模块,用于响应于所述目标视频帧中的目标图案满足所述完整度阈值,获取所述目标视频帧中的目标图案;
第一部位特征获取子模块,用于通过预设的特征提取模型获取所述目标图案的部位特征;
第二部位特征获取子模块,用于响应于所述目标视频帧中的目标图案不满足所述完整度阈值,确认所述目标视频帧的部位特征为预设的异常特征值。
14.根据权利要求13所述的装置,其特征在于,所述特征向量获取模块,包括:
范数值获取子模块,用于获取所述部位特征的范数值;
特征队列填充子模块,用于按照所述目标视频中各目标视频帧的前后顺序,依次将所述部位特征压入预设的特征队列,直至填满所述特征队列且所述特征队列中不包含所述异常特征值;
特征向量获取子模块,用于按照以所述范数值为参照的预设顺序,将所述特征队列中的部位特征进行排序,得到所述目标视频的特征向量。
15.根据权利要求13所述的装置,其特征在于,所述动作检测模块,包括:
特征队列更新子模块,用于响应于基于当前的特征向量未能确定所述目标视频的动作类型,从当前的目标视频帧开始,依次将所述目标视频帧对应的部位特征压入预设的特征队列,直至填满所述特征队列且所述特征队列中不包含所述异常特征值;
特征向量更新子模块,用于按照以所述部位特征的范数值为参照的预设顺序,对所述特征队列中的部位特征进行排序,更新所述目标视频的特征向量,直至所述特征队列中包含所述目标视频中最后一个目标视频帧的部位特征;
动作检测子模块,用于以更新后的特征向量,通过预设的动作检测模型,确定所述目标视频的动作类型;
其中,所述当前的目标视频帧为所述特征队列中对应的全部目标视频帧之后的下一个目标视频帧。
16.根据权利要求15所述的装置,其特征在于,所述特征向量更新子模块,包括:
新增部位特征插入单元,用于根据当前压入所述特征队列中的目标部位特征的范数值,以及所述特征队列中保留的部位特征的范数值,将所述目标部位特征插入当前的特征向量;
部位特征删除单元,用于将所述特征队列当前弹出的部位特征从当前的特征向量中删除,得到更新后的特征向量。
17.根据权利要求12所述的装置,其特征在于,还包括:
模型训练模块,用于根据已标记动作类型的样本视频训练所述动作检测模型。
18.根据权利要求17所述的装置,其特征在于,所述模型训练模块,包括:
样本部位特征获取子模块,用于依次获取所述样本视频中各样本视频帧的样本部位特征;
样本特征向量获取子模块,用于基于所述样本部位特征的范数值对所述样本部位特征进行重新排序,并基于重新排序后的样本部位特征确定所述样本视频的样本特征向量;
模型训练子模块,用于根据所述样本视频的样本特征向量以及标记动作,训练所述动作检测模型。
19.根据权利要求18所述的装置,其特征在于,所述样本部位特征获取子模块,包括:
完整度检测单元,用于检测所述样本视频帧中的目标图案是否满足预设的完整度阈值;
目标图案获取单元,用于响应于所述样本视频帧中的目标图案满足所述完整度阈值,获取所述样本视频帧中的目标图案;
第一样本部位特征获取单元,用于通过预设的特征提取模型获取所述目标图案的样本部位特征;
第二样本部位特征获取单元,用于响应于所述样本视频帧中的目标图案不满足所述完整度阈值,确认所述样本视频帧的样本部位特征为预设的异常特征值。
20.根据权利要求19所述的装置,其特征在于,所述样本特征向量获取子模块,包括:
范数值获取单元,用于获取所述样本部位特征的范数值;
特征队列填充单元,用于按照所述样本视频中各目标视频帧的前后顺序,依次将所述样本部位特征压入预设的特征队列,直至填满所述特征队列且所述特征队列中不包含所述异常特征值;
样本特征向量获取单元,用于按照以所述范数值为参照的预设顺序,将所述特征队列中的样本部位特征进行排序,得到所述样本视频的样本特征向量。
21.根据权利要求17-20任一项所述的装置,其特征在于,还包括:
优化训练模块,用于基于初始训练后的所述动作检测模型中的各个参数,根据已标记动作类型的样本视频,优化训练特征提取模型以及所述动作检测模型;其中,所述特征提取模型用于获取所述目标图案的样本部位特征。
22.根据权利要求12所述的装置,其特征在于,所述动作检测模块,包括:
特征向量输入子模块,用于将所述特征向量输入所述动作检测模型;
动作分值获取子模块,用于以所述动作检测模型中的参数向量与所述特征向量进行点积,得到所述目标视频的动作分值;
动作检测子模块,用于根据预设的各个动作类型的分数阈值,以及所述目标视频的动作分值,确定所述目标视频中所述目标检测部件的动作类型。
23.一种电子设备,其特征在于,包括:
处理器、存储器以及存储在所述存储器上并可在所述处理器上运行的计算机程序,其特征在于,所述处理器执行所述计算机程序时实现如权利要求1-11中的任一项所述的动作检测方法。
24.一种可读存储介质,其特征在于,当所述存储介质中的指令由电子设备的处理器执行时,使得电子设备能够执行如权利要求1-11中的任一项所述的动作检测方法。
CN201811309282.8A 2018-11-05 2018-11-05 动作检测方法、装置、电子设备及可读存储介质 Active CN109598201B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201811309282.8A CN109598201B (zh) 2018-11-05 2018-11-05 动作检测方法、装置、电子设备及可读存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201811309282.8A CN109598201B (zh) 2018-11-05 2018-11-05 动作检测方法、装置、电子设备及可读存储介质

Publications (2)

Publication Number Publication Date
CN109598201A CN109598201A (zh) 2019-04-09
CN109598201B true CN109598201B (zh) 2020-07-10

Family

ID=65958637

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201811309282.8A Active CN109598201B (zh) 2018-11-05 2018-11-05 动作检测方法、装置、电子设备及可读存储介质

Country Status (1)

Country Link
CN (1) CN109598201B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110852162B (zh) * 2019-09-29 2020-10-23 深圳云天励飞技术有限公司 一种人体完整度数据标注方法、装置及终端设备
CN110969101A (zh) * 2019-11-21 2020-04-07 浙江工业大学 一种基于hog和特征描述子的人脸检测与跟踪方法

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101794372B (zh) * 2009-11-30 2012-08-08 南京大学 基于频域分析的步态特征表示及识别方法
US9495586B1 (en) * 2013-09-18 2016-11-15 IDChecker, Inc. Identity verification using biometric data
CN106960177A (zh) * 2015-02-15 2017-07-18 北京旷视科技有限公司 活体人脸验证方法及系统、活体人脸验证装置
US10311308B2 (en) * 2017-03-31 2019-06-04 International Business Machines Corporation Image processing to identify selected individuals in a field of view
CN107346422B (zh) * 2017-06-30 2020-09-08 成都大学 一种基于眨眼检测的活体人脸识别方法
CN107784318A (zh) * 2017-09-12 2018-03-09 天津大学 一种应用于多视角聚类的鲁棒性相似图表示的学习方法
CN107748876A (zh) * 2017-11-06 2018-03-02 杭州有盾网络科技有限公司 基于移动端的人脸活体识别方法、装置及移动终端
CN108416795B (zh) * 2018-03-04 2022-03-18 南京理工大学 基于排序池化融合空间特征的视频动作识别方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
Joint representation learning of appearance and motion for abnormal event detection;Jongmin Yu;《Machine Vision and Applications》;20180731;全文 *
基于机器视觉的人体动作目标检测;刘昌鑫等;《工业控制计算机》;20161231;第29卷(第10期);全文 *

Also Published As

Publication number Publication date
CN109598201A (zh) 2019-04-09

Similar Documents

Publication Publication Date Title
CN109711243B (zh) 一种基于深度学习的静态三维人脸活体检测方法
CN106897658B (zh) 人脸活体的鉴别方法和装置
CN104050449B (zh) 一种人脸识别方法及装置
CN108108662B (zh) 深度神经网络识别模型及识别方法
CN112381837B (zh) 一种图像处理方法及电子设备
CN108875542B (zh) 一种人脸识别方法、装置、系统及计算机存储介质
CN111914775B (zh) 活体检测方法、装置、电子设备及存储介质
CN108230291B (zh) 物体识别系统训练方法、物体识别方法、装置和电子设备
CN111310705A (zh) 图像识别方法、装置、计算机设备及存储介质
CN111626163B (zh) 一种人脸活体检测方法、装置及计算机设备
CN111008935B (zh) 一种人脸图像增强方法、装置、系统及存储介质
CN111723687A (zh) 基于神经网路的人体动作识别方法和装置
CN112052746A (zh) 目标检测方法、装置、电子设备和可读存储介质
CN110427806A (zh) 视频识别方法、装置及计算机可读存储介质
CN111104925A (zh) 图像处理方法、装置、存储介质和电子设备
CN110688878A (zh) 活体识别检测方法、装置、介质及电子设备
CN109598201B (zh) 动作检测方法、装置、电子设备及可读存储介质
CN111382791B (zh) 深度学习任务处理方法、图像识别任务处理方法和装置
CN113298158A (zh) 数据检测方法、装置、设备及存储介质
CN112488062B (zh) 一种图像识别方法、装置、设备及介质
CN113570615A (zh) 一种基于深度学习的图像处理方法、电子设备及存储介质
CN111931544B (zh) 活体检测的方法、装置、计算设备及计算机存储介质
CN116978130A (zh) 图像处理方法、装置及计算机设备、存储介质、程序产品
CN112199975A (zh) 基于人脸特征的身份验证方法及装置
CN113724176B (zh) 一种多摄像头动作捕捉无缝衔接方法、装置、终端及介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant