CN113392743B - 异常动作检测方法、装置、电子设备和计算机存储介质 - Google Patents
异常动作检测方法、装置、电子设备和计算机存储介质 Download PDFInfo
- Publication number
- CN113392743B CN113392743B CN202110625966.4A CN202110625966A CN113392743B CN 113392743 B CN113392743 B CN 113392743B CN 202110625966 A CN202110625966 A CN 202110625966A CN 113392743 B CN113392743 B CN 113392743B
- Authority
- CN
- China
- Prior art keywords
- detected
- motion
- vector
- time sequence
- video
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
- G06F18/2415—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on parametric or probabilistic models, e.g. based on likelihood ratio or false acceptance rate versus a false rejection rate
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N20/00—Machine learning
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- General Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Software Systems (AREA)
- Artificial Intelligence (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Evolutionary Computation (AREA)
- Evolutionary Biology (AREA)
- Bioinformatics & Computational Biology (AREA)
- Life Sciences & Earth Sciences (AREA)
- Probability & Statistics with Applications (AREA)
- Medical Informatics (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Computing Systems (AREA)
- Mathematical Physics (AREA)
- Image Analysis (AREA)
Abstract
本申请实施例中提供了一种异常动作检测方法、装置、电子设备和计算机存储介质。该方法包括:根据待测动作视频中每帧图像对应的待测动作姿态向量生成待测骨骼点姿态时序向量;将待测骨骼点姿态时序向量输入至预先训练好的非监督式异常检测模型,获取相似度数据;将相似度数据与预设的判定阈值进行比较,以判断待测动作视频中的动作是否为异常动作。采用本申请提供的异常动作检测方法,通过非监督式异常检测模型对待测动作视频中的异常动作进行检测,能够实现异常动作的及时准确自动检测。且通过非监督式异常检测模型替代人工分析,适合广泛推广应用,使用简单方便。
Description
技术领域
本申请涉及机器学习技术领域,具体地,涉及一种异常动作检测方法、装置、电子设备和计算机存储介质。
背景技术
在线上线下体育教育、舞蹈培训以及运动健身等场景,主要依靠专业老师的人工经验进行异常动作检测。
现有技术中存在的问题:
依靠人工分析,无法广泛应用。同时,由于专业老师的数量有限,无法及时分析出海量动作中的异常动作。
发明内容
本申请实施例中提供了一种异常动作检测方法、装置、电子设备和计算机存储介质,以解决现有技术存在的检测方法无法广泛应用以及分析不及时等问题。
根据本申请实施例的第一个方面,提供了一种异常动作检测方法,所述方法包括:
根据待测动作视频中每帧图像对应的待测动作姿态向量生成待测骨骼点姿态时序向量;其中,所述待测运动姿态向量用于描述所述待测动作视频中每帧图像的运动姿态,所述待测骨骼点姿态时序向量用于描述所述待测动作视频中运动姿态的变化模式;
将所述待测骨骼点姿态时序向量输入至预先训练好的非监督式异常检测模型,获取相似度数据;
将所述相似度数据与预设的判定阈值进行比较,以判断所述待测动作视频中的动作是否为异常动作。
根据本申请实施例的第二个方面,提供了一种异常动作检测装置,所述装置包括:
获取模块,用于根据待测动作视频中每帧图像对应的待测动作姿态向量生成待测骨骼点姿态时序向量;其中,所述待测运动姿态向量用于描述所述待测动作视频中每帧图像的运动姿态,所述待测骨骼点姿态时序向量用于描述待测动作视频中运动姿态的变化模式;
检测模块,用于将所述待测骨骼点姿态时序向量输入至预先训练好的非监督式异常检测模型,获取相似度数据;
判断模块,用于将所述相似度数据与预设的判定阈值进行比较,以判断所述待测动作视频中的动作是否为异常动作。
根据本申请实施例的第三个方面,提供了一种电子设备,包括存储器、以及一个或多个处理器,所述存储器用于存储一个或多个程序;所述一个或多个程序被所述一个或多个处理器执行时,实现如上所述异常动作检测方法的步骤。
根据本申请实施例的第四个方面,提供了一种计算机存储介质,其上存储有计算机程序,所述计算机程序被处理器执行时实现如上所述异常动作检测方法的步骤。
采用本申请实施例中提供的异常动作检测方法、装置、电子设备和计算机存储介质,通过待测动作视频中每帧图像对应的待测动作姿态向量生成待测骨骼点姿态时序向量;将待测骨骼点姿态时序向量输入至预先训练好的非监督式异常检测模型,获取相似度数据;将相似度数据与预设的判定阈值进行比较,以判断待测动作视频中的动作是否为异常动作。可见,通过非监督式异常检测模型对待测动作视频中的异常动作进行检测,能够实现异常动作的及时准确自动检测。且通过非监督式异常检测模型替代人工分析,适合广泛推广应用,使用简单方便。
附图说明
此处所说明的附图用来提供对本申请的进一步理解,构成本申请的一部分,本申请的示意性实施例及其说明用于解释本申请,并不构成对本申请的不当限定。在附图中:
图1为本申请实施例提供的一种电子设备的结构示意图;
图2为本申请实施例提供的一种异常动作检测方法的流程示意图;
图3为本申请实施例提供的另一种异常动作检测方法的流程示意图;
图4为本申请实施例提供的又一种异常动作检测方法的流程示意图;
图5为本申请实施例提供的又一种异常动作检测方法的流程示意图;
图6为本申请实施例提供的一种非监督式的机器学习模型的示意图;
图7为本申请实施例提供的一种异常动作检测装置的结构示意图;
图8为本申请实施例提供的另一种异常动作检测装置的结构示意图。
具体实施方式
在实现本申请的过程中,发明人发现,在线上线下体育教育、舞蹈培训以及运动健身等场景,主要依靠专业老师的人工经验进行异常动作检测。依靠人工分析,无法广泛应用。同时,由于专业老师的数量有限,无法及时分析出海量动作中的异常动作。
针对上述问题,本申请实施例中提供了一种异常动作检测方法、装置、电子设备和计算机存储介质,通过获取待测骨骼点姿态时序向量;将待测骨骼点姿态时序向量输入至预先训练好的非监督式异常检测模型,获取相似度数据;将相似度数据与预设的判定阈值进行比较,以判断待测动作视频中的动作是否为异常动作。可见,通过非监督式异常检测模型对待测动作视频中的异常动作进行检测,能够实现异常动作的及时准确自动检测。且通过非监督式异常检测模型替代人工分析,适合广泛推广应用,使用简单方便。
本申请实施例中的方案可以采用各种计算机语言实现,例如,面向对象的程序设计语言Java和直译式脚本语言JavaScript等。
为了使本申请实施例中的技术方案及优点更加清楚明白,以下结合附图对本申请的示例性实施例进行进一步详细的说明,显然,所描述的实施例仅是本申请的一部分实施例,而不是所有实施例的穷举。需要说明的是,在不冲突的情况下,本申请中的实施例及实施例中的特征可以相互组合。
如图1所示,为本申请实施例提供的一种电子设备100的结构示意图,该电子设备100包括存储器101、处理器102和通信接口103。该存储器101、处理器102和通信接口103相互之间直接或间接地电性连接,以实现数据的传输或交互。例如,这些元件相互之间可通过一条或多条通讯总线或信号线实现电性连接。存储器101可用于存储软件程序及模块,如本申请实施例所提供的异常动作检测方法对应的程序指令/模块,处理器102通过执行存储在存储器101内的软件程序及模块,从而执行各种功能应用以及数据处理。该通信接口103可用于与其它节点设备进行信令或数据的通信。在本申请中该电子设备100可以具有多个通信接口103。
其中,存储器101可以是但不限于,随机存取存储器(Random Access Memory,RAM),只读存储器(Read Only Memory,ROM),可编程只读存储器(Programmable Read-OnlyMemory,PROM),可擦除只读存储器(Erasable Programmable Read-Only Memory,EPROM),电可擦除只读存储器(Electric Erasable Programmable Read-Only Memory,EEPROM)等。
处理器102可以是一种集成电路芯片,具有信号处理能力。该处理器可以是通用处理器,包括中央处理器(Central Processing Unit,CPU)、网络处理器(NetworkProcessor,NP)等;还可以是数字信号处理器(Digital Signal Processing,DSP)、专用集成电路(Application Specific Integrated Circuit,ASIC)、现场可编程门阵列(Field-Programmable Gate Array,FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。
下面在图1示出的电子设备100的基础上,本申请实施例提供一种异常动作检测方法,请参见图2,图2为本申请实施例提供的一种异常动作检测方法,该异常动作检测方法可以包括以下步骤:
S201,根据待测动作视频中每帧图像对应的待测动作姿态向量生成待测骨骼点姿态时序向量。
其中,待测运动姿态向量用于描述待测动作视频中每帧图像的运动姿态,待测骨骼点姿态时序向量用于描述待测动作视频中运动姿态的变化模式。
应理解,待测动作视频中的动作可以为体育运动动作、舞蹈动作以及健身动作等。例如,可以为立定跳远动作、拉丁舞动作、平板撑动作以及俯卧撑动作等。骨骼点姿态时序向量可以用于描述待测动作视频中体育运动动作、舞蹈动作以及健身动作的运动姿态的变化模式。
S202,将待测骨骼点姿态时序向量输入至预先训练好的非监督式异常检测模型,获取相似度数据。
应理解,非监督式异常检测模型用于检测待测动作视频中的异常动作。某一个体育运动动作、舞蹈动作以及健身动作的标准动作是具有统一规范的,但是异常动作模式是多种多样的,若采用监督式的机器学习模型进行训练,得到监督式异常检测模型,想模拟出所有可能的异常动作模式,计算量是很大的,实现很困难;且提供训练动作视频的人员也可能在做异常动作的过程中受伤。因此,本申请提供的非监督式异常检测模型由标准动作训练得到。若待测动作视频中的动作为异常动作,非监督式异常检测模型输出的相似度数据对应的值会很小;若待测动作视频中的动作越接近标准动作,非监督式异常检测模型输出的相似度数据对应的值会越大。
其中,不同的体育运动动作、舞蹈动作以及健身动作对应着不同的非监督式异常检测模型。例如,针对立定跳远动作,可以由立定跳远标准动作训练得到对应的非监督式异常检测模型;针对平板撑动作,可以由平板撑标准动作训练得到对应的非监督式异常检测模型。
S203,将相似度数据与预设的判定阈值进行比较,以判断待测动作视频中的动作是否为异常动作。
应理解,若相似度数据小于判定阈值,则判定待测动作视频中的动作为异常动作;若相似度数据大于或等于判定阈值,则判定待测动作视频中的动作为标准动作。
为了便于理解,如何获得待测骨骼点姿态时序向量。请参照图3,为本申请提供的另一种异常动作检测方法的流程示意图,在图2所示的异常动作检测方法的基础上,异常动作检测方法还包括以下步骤:
S301,获取待测视频。
其中,待测视频包括待测动作视频。可以理解,该待测视频可以为一个人重复做多组动作a的视频数据,也可以为多个人做动作a的视频数据。换言之,待测视频中包括多组待测动作视频。动作a可以为前述的立定跳远动作、拉丁舞动作、平板撑动作以及俯卧撑动作等。
S302,依据骨骼关键点检测算法,从待测动作视频中检测出每帧图像的骨骼关键点。
应理解,通过骨骼关键点检测算法能够检测出待测动作视频中每一帧图像的骨骼关键点的三维坐标。该骨骼关键点可以包括骨盆关节、左肩关节、右肩关节、左肘关节、右肘关节、左手腕关节、右手腕关节、左髋关节、右髋关节、左膝关节以及右膝关节等。
S303,依据待测动作视频中每帧图像的骨骼关键点构成待测运动姿态向量。
应理解,待测运动姿态向量可以通过不同骨骼关键点之间形成的角度来描述。一个待测运动姿态向量可以为一帧图像中所有骨骼关键点之间形成的角度的集合,也可以为一帧图像中指定关节点之间形成的角度的集合。不同帧图像中的运动姿态不同,骨骼关键点之间形成的夹角大小不同。
例如,待测动作视频中每帧图像中所有骨骼关键点之间均可以形成5个角度,分别为左脚尖、左踝关节和左膝关节之间形成的第一夹角,右脚尖、右踝关节和右膝关节之间形成的第二夹角,左膝关节、左髋关节和骨盆之间形成的第三夹角,右膝关节、右髋关节和骨盆之间形成的第四夹角,头顶、脖子和盆骨之间形成的第五夹角。那么每帧图像对应生成的待测运动姿态向量则为第一夹角、第二夹角、第三夹角、第四夹角和第五夹角组成的集合。
为了便于理解如何根据待测动作视频中每帧图像对应的待测动作姿态向量生成待测骨骼点姿态时序向量,请参照图4,为本申请提供的又一种异常动作检测方法的流程示意图,上述的S201包括以下子步骤:
S201a,根据每帧图像的待测运动姿态向量每个维度对应的值生成多个时序序列。
S201b,依据时序序列生成待测骨骼点姿态时序向量。
其中,每帧图像的待测动作姿态向量包括多个维度;待测运动姿态向量每个维度对应的值用于表征不同骨骼点之间的角度;每个时序序列分别包括所有待测运动姿态向量中同一维度在不同时序时对应的值,时序序列的数量与待测运动姿态向量的维度数量一致,每个时序序列包括的元素数量与待测动作视频包括的图像的帧数一致。
如上所述,若待测运动姿态向量为第一夹角、第二夹角、第三夹角、第四夹角和第五夹角组成的集合,待测运动姿态向量包括5个维度,第一夹角的值为待测运动姿态向量第一维度对应的值,第二夹角的值为待测运动姿态向量第二维度对应的值,第三夹角的值为待测运动姿态向量第三维度对应的值,第四夹角的值为待测运动姿态向量第四维度对应的值,第五夹角的值为待测运动姿态向量第五维度对应的值。
若该待测动作视频分为n帧图像,n帧图像对应有n个待测运动姿态向量,每帧图像对应的待测运动姿态向量均包括m个维度。所有待测运动姿态向量相同维度对应的值可以形成一个时序序列,即一个时序序列包括n个元素,n个元素为相同维度对应的值;由于待测运动姿态向量包括m个维度,故可以形成m个时序序列,待测骨骼点姿态时序向量则为m个时序序列的集合。换言之,待测骨骼点姿态时序向量可以理解为一个n*m的矩阵,可以由以下矩阵表示。
其中,为第一时序序列,第一时序序列包括的n个元素为待测运动姿态向量第一维度对应的值,为第一帧图像对应的待测运动姿态向量第一维度对应的值,为第二帧图像对应的待测运动姿态向量第一维度对应的值,为第n帧图像对应的待测运动姿态向量第一维度对应的值;为第m时序序列,第m时序序列包括的n个元素为待测运动姿态向量第m维度对应的值,为第一帧图像对应的待测运动姿态向量第m维度对应的值,为第二帧图像对应的待测运动姿态向量第m维度对应的值,为第n帧图像对应的待测运动姿态向量第m维度对应的值。
在本申请实施例中,可以先从待测视频中切分出多个待测动作视频,去除无效的噪声视频片段;再根据骨骼关键点检测算法,从待测动作视频中检测出待测动作视频中每帧图像的骨骼关键点。还可以先根据骨骼关键点检测算法,从待测动作视频中检测出待测动作视频中每帧图像的骨骼关键点,根据骨骼关键点构成待测运动姿态向量;再采用聚类算法对待测视频所有帧图像对应的待测运动姿态向量聚类,得到聚类结果;然后,基于聚类结果对待测视频进行分割,提取出多个待测动作视频,以去除无效的噪声视频片段。
在本申请实施例中,在使用非监督式异常检测模型之前,需先进行模型训练。请参照图5,为本申请提供的又一种异常动作检测方法的流程示意图,在图2所示的异常动作检测方法的基础上,异常动作检测方法还包括以下步骤:
S401,利用训练骨骼点姿态时序向量对非监督式的机器学习模型进行训练,得到非监督式异常检测模型。
应理解,非监督式的机器学习模型为基于标准动作进行训练的模型。
其中,训练骨骼点姿态时序向量用于描述训练动作视频中姿态的变化模式,非监督式的机器学习模型基于自注意力机制构建。可以理解,训练动作视频中的动作为标准动作,训练动作视频中的动作可以为体育运动动作、舞蹈动作以及健身动作等。例如,可以为立定跳远动作、拉丁舞动作、平板撑动作以及俯卧撑动作等。
基于训练动作视频获得训练骨骼点姿态时序向量的原理与基于待测动作视频获得待测骨骼点姿态时序向量的原理一致,可参考上述获得待测骨骼点姿态时序向量的内容,在此不再累述。
请参照图6,为本申请实施例提供的一种非监督式的机器学习模型的示意图,非监督式的机器学习模型包括第一卷积网络、自注意力机制网络和第二卷积网络。
基于非监督式的机器学习模型训练得到非监督式异常检测模型的原理可以为:将训练骨骼点姿态时序向量输入至第一卷积网络进行特征提取,获得时域特征;其中,时域特征用于表征训练动作视频中每帧图像中的骨骼点;将时域特征输入至自注意力机制网络进行特征关联,获得关联特征;其中,关联特征用于表征每帧图像中骨骼点之间的关联关系;将关联特征输入至第二卷积网络进行时序图重建,获得重建骨骼点姿态时序向量;获取重建骨骼点姿态时序向量与训练骨骼点姿态时序向量之间的误差值;将误差值与预设收敛值进行比较,若误差值小于预设收敛值,则得到非监督式异常检测模型。
其中,第一卷积网络可以为一个n*1卷积层(conv),n*1卷积层中n的取值与每个待测动作视频分割出的图像帧数是一致的。由于n*1卷积层的结构固定,故多个待测动作视频分割出的图像帧数应保持一致。n*1卷积层的感受视野为n,使得第一卷积网络可以获取训练骨骼点姿态时序向量的时域信息。经过第一卷积网络后,生成时域特征。例如,该时域特征可以为第一帧至第n帧图像中的骨盆关节、左肩关节、右肩关节、左肘关节、右肘关节、左手腕关节、右手腕关节、左髋关节、右髋关节、左膝关节以或右膝关节等。
自注意力机制网络可以寻找时域特征之间的内部联系,人体在做动作时,不同骨骼点之间是存在联系的。通过自注意力机制网络可以挖掘出不同骨骼点之间的联系,从而使得网络可以学习出更加准确的动作模式,进而提高非监督式异常检测模型的识别效率。
自注意力机制网络可以包括第一卷积层、第二卷积层和第三卷积层。将时域特征输入至第一卷积层进行特征提取,获得第一时域特征;将时域特征输入至第二卷积层进行特征提取,获得第二时域特征;将时域特征输入至第三卷积层进行特征提取,获得第三时域特征;将第一时域特征进行转置处理,得到转置特征;将转置特征与第二时域特征相乘,并进行归一化处理,得到注意力图;其中,注意力图用于表征不同骨骼点之间的关联关系的权重;将注意力图与第三时域特征相乘,得到关联特征。
应理解,第一卷积层、第二卷积层和第三卷积层均为1*1卷积层,时域特征经过第一卷积层、第二卷积层和第三卷积层,生成的第一时域特征、第二时域特征和第三时域特征均可以为某一帧图像中的骨盆关节、左肩关节、右肩关节、左肘关节、右肘关节、左手腕关节、右手腕关节、左髋关节、右髋关节、左膝关节以或右膝关节等。换言之,第一时域特征、第二时域特征和第三时域特征可以为相同的特征。
将第一时域特征进行转置处理,得到的转置特征与第二时域特征进行叉乘,可以让不同骨骼点之间产生联系。将转置特征与第二时域特征叉乘的结果经过softmax函数(Normalized exponential function,归一化指数函数)进行归一化处理,得到注意力图。其中,注意力图可以理解为一个矩阵,注意力图中每个元素的范围都在(0,1)之间,并且所有元素的和为1。且骨骼点之间的联系越深,其对应的元素值越大,即权重越重;例如,左脚尖与左踝关节之间关联很大,左脚尖与脖子之间关联很小,注意力图中表征左脚尖与左踝关节之间关联关系的元素值,远大于注意力图中表征左脚尖与脖子之间关联关系的元素值。
将注意力图与第三时域特征进行叉乘,可以得到关联关系。应理解,注意力图中的元素为不同骨骼点之间的关联关系的权重,将注意力图与第三时序特征进行叉乘,能够得到每个骨骼点之间的关联关系。
第二卷积网络可以为一个1*n卷积层,关联特征通过1*n卷积层可以重建出骨骼点姿态时序向量(即重建骨骼点姿态时序向量)。将重建骨骼点姿态时序向量与输入的训练骨骼点姿态时序向量进行比较,得到重建骨骼点姿态时序向量与训练骨骼点姿态时序向量之间的误差值,若误差值小于预设收敛值,则说明重建出的重建骨骼点姿态时序向量的精度已经很高。非监督式异常检测模型已经学习到了训练骨骼点姿态时序向量中的动作模式,该动作模式即为训练动作视频中标准动作模式。
为了实现上述S201~S203、S301~S305、S401及其可能的子步骤对应的任务调度方法,本申请实施例提供一种异常动作检测装置,请参见图7,图7为本申请实施例提供的一种异常动作检测装置500的方框示意图,该异常动作检测装置500包括:获取模块501、检测模块502和判断模块503。
获取模块501用于根据待测动作视频中每帧图像对应的待测动作姿态向量生成待测骨骼点姿态时序向量;其中,待测运动姿态向量用于描述待测动作视频中每帧图像的运动姿态,待测骨骼点姿态时序向量用于描述待测动作视频中运动姿态的变化模式。
在一种可选的实施例中,获取模块501还用于获取待测视频;其中,待测视频包括待测动作视频。
检测模块502用于将待测骨骼点姿态时序向量输入至预先训练好的非监督式异常检测模型,获取相似度数据。
判断模块503用于将相似度数据与预设的判定阈值进行比较,以判断待测动作视频中的动作是否为异常动作。
请参见图8,图8为本申请实施例提供的另一种异常动作检测装置500的方框示意图,该异常动作检测装置500还包括:训练模块504、检测模块505和向量生成模块506。
训练模块504用于利用训练骨骼点姿态时序向量对非监督式的机器学习模型进行训练,得到非监督式异常检测模型;其中,训练骨骼点姿态时序向量用于描述训练动作视频中姿态的变化模式,非监督式的机器学习模型基于自注意力机制构建。
检测模块505用于依据骨骼关键点检测算法,从待测动作视频中检测出待测动作视频中每帧图像的骨骼关键点。
向量生成模块506用于依据待测动作视频中每帧图像的骨骼关键点构成待测运动姿态向量。
应理解,获取模块501、检测模块502、判断模块503、训练模块504、检测模块505和向量生成模块506可以协同实现上述S201~S203、S301~S305、S401及其可能的子步骤。
综上,本申请提供了一种异常动作检测方法、装置、电子设备和计算机存储介质,通过待测动作视频中每帧图像对应的待测动作姿态向量生成待测骨骼点姿态时序向量;将待测骨骼点姿态时序向量输入至预先训练好的非监督式异常检测模型,获取相似度数据;将相似度数据与预设的判定阈值进行比较,以判断待测动作视频中的动作是否为异常动作。可见,通过非监督式异常检测模型对待测动作视频中的异常动作进行检测,能够实现异常动作的及时准确自动检测。且通过非监督式异常检测模型替代人工分析,适合广泛推广应用,使用简单方便。
本领域内的技术人员应明白,本申请的实施例可提供为方法、系统、或计算机程序产品。因此,本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且,本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本申请是参照根据本申请实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器,使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中,使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品,该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上,使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理,从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
尽管已描述了本申请的优选实施例,但本领域内的技术人员一旦得知了基本创造性概念,则可对这些实施例作出另外的变更和修改。所以,所附权利要求意欲解释为包括优选实施例以及落入本申请范围的所有变更和修改。
显然,本领域的技术人员可以对本申请进行各种改动和变型而不脱离本申请的精神和范围。这样,倘若本申请的这些修改和变型属于本申请权利要求及其等同技术的范围之内,则本申请也意图包含这些改动和变型在内。
Claims (5)
1.一种异常动作检测方法,其特征在于,所述方法包括:
根据待测动作视频中每帧图像对应的待测动作姿态向量生成待测骨骼点姿态时序向量;其中,待测运动姿态向量用于描述所述待测动作视频中每帧图像的运动姿态,所述待测骨骼点姿态时序向量用于描述所述待测动作视频中运动姿态的变化模式;
将所述待测骨骼点姿态时序向量输入至预先训练好的非监督式异常检测模型,获取相似度数据;
将所述相似度数据与预设的判定阈值进行比较,以判断所述待测动作视频中的动作是否为异常动作;
所述将所述待测骨骼点姿态时序向量输入至预先训练好的非监督式异常检测模型,获取相似度数据的步骤之前,所述方法还包括:
利用训练骨骼点姿态时序向量对非监督式的机器学习模型进行训练,得到所述非监督式异常检测模型;其中,所述训练骨骼点姿态时序向量用于描述训练动作视频中姿态的变化模式,所述非监督式的机器学习模型基于自注意力机制构建;
所述非监督式的机器学习模型包括第一卷积网络、自注意力机制网络和第二卷积网络;
所述利用训练骨骼点姿态时序向量对非监督式的机器学习模型进行训练,得到所述非监督式异常检测模型的步骤包括:
将所述训练骨骼点姿态时序向量输入至所述第一卷积网络进行特征提取,获得时域特征;其中,所述时域特征用于表征所述训练动作视频中每帧图像中的骨骼点;
将所述时域特征输入至所述自注意力机制网络进行特征关联,获得关联特征;其中,所述关联特征用于表征所述每帧图像中骨骼点之间的关联关系;
将所述关联特征输入至所述第二卷积网络进行时序图重建,获得重建骨骼点姿态时序向量;
获取所述重建骨骼点姿态时序向量与所述训练骨骼点姿态时序向量之间的误差值;
将所述误差值与预设收敛值进行比较,若所述误差值小于所述预设收敛值,则得到所述非监督式异常检测模型;
所述自注意力机制网络包括第一卷积层、第二卷积层和第三卷积层;
所述将所述时域特征输入至所述自注意力机制网络进行特征关联,获得关联特征的步骤包括:
将所述时域特征输入至所述第一卷积层进行特征提取,获得第一时域特征;
将所述时域特征输入至所述第二卷积层进行特征提取,获得第二时域特征;
将所述时域特征输入至所述第三卷积层进行特征提取,获得第三时域特征;
将所述第一时域特征进行转置处理,得到转置特征;
将所述转置特征与所述第二时域特征相乘,并进行归一化处理,得到注意力图;其中,所述注意力图用于表征不同骨骼点之间的关联关系的权重;
将所述注意力图与所述第三时域特征相乘,得到所述关联特征。
2.根据权利要求1所述的方法,其特征在于,每帧图像的所述待测动作姿态向量包括多个维度;所述待测运动姿态向量每个维度对应的值用于表征不同骨骼点之间的角度;
所述根据待测动作视频中每帧图像对应的待测动作姿态向量生成待测骨骼点姿态时序向量的步骤包括:
根据每帧图像的所述待测运动姿态向量每个维度对应的值生成多个时序序列;其中,每个所述时序序列分别包括所有待测运动姿态向量中同一维度在不同时序时对应的值,所述时序序列的数量与所述待测运动姿态向量的维度数量一致,每个所述时序序列包括的元素数量与所述待测动作视频包括的图像的帧数一致;
依据所述时序序列生成所述待测骨骼点姿态时序向量。
3.根据权利要求1或2所述的方法,其特征在于,所述根据待测动作视频中每帧图像对应的待测动作姿态向量生成待测骨骼点姿态时序向量的步骤之前,所述方法还包括:
获取待测视频;其中,所述待测视频包括所述待测动作视频;
依据骨骼关键点检测算法,从所述待测动作视频中检测出每帧图像的骨骼关键点;
依据所述待测动作视频中每帧图像的骨骼关键点构成所述待测运动姿态向量。
4.一种电子设备,其特征在于,包括存储器、以及一个或多个处理器,所述存储器用于存储一个或多个程序;所述一个或多个程序被所述一个或多个处理器执行时,实现如权利要求1至3任意一项所述的方法。
5.一种计算机存储介质,其特征在于,其上存储有计算机程序,所述计算机程序被处理器执行时实现如权利要求1至3任意一项所述方法的步骤。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110625966.4A CN113392743B (zh) | 2021-06-04 | 2021-06-04 | 异常动作检测方法、装置、电子设备和计算机存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110625966.4A CN113392743B (zh) | 2021-06-04 | 2021-06-04 | 异常动作检测方法、装置、电子设备和计算机存储介质 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN113392743A CN113392743A (zh) | 2021-09-14 |
CN113392743B true CN113392743B (zh) | 2023-04-07 |
Family
ID=77618432
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202110625966.4A Active CN113392743B (zh) | 2021-06-04 | 2021-06-04 | 异常动作检测方法、装置、电子设备和计算机存储介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN113392743B (zh) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113792719B (zh) * | 2021-11-18 | 2022-01-18 | 成都怡康科技有限公司 | 一种对立定跳远的技术性进行分析的方法及装置 |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2020119527A1 (zh) * | 2018-12-11 | 2020-06-18 | 中国科学院深圳先进技术研究院 | 人体动作识别方法、装置、终端设备及存储介质 |
WO2020199480A1 (zh) * | 2019-04-03 | 2020-10-08 | 平安科技(深圳)有限公司 | 一种人体动作的识别方法及设备 |
Family Cites Families (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN108898086B (zh) * | 2018-06-20 | 2023-05-26 | 腾讯科技(深圳)有限公司 | 视频图像处理方法及装置、计算机可读介质和电子设备 |
CN111325797B (zh) * | 2020-03-03 | 2023-07-25 | 华东理工大学 | 一种基于自监督学习的位姿估计方法 |
CN111783613B (zh) * | 2020-06-28 | 2021-10-08 | 北京百度网讯科技有限公司 | 异常检测方法、模型的训练方法、装置、设备及存储介质 |
CN112016435A (zh) * | 2020-08-25 | 2020-12-01 | 中移(杭州)信息技术有限公司 | 异常行为的检测方法、装置、电子设备和存储介质 |
CN112543936B (zh) * | 2020-10-29 | 2021-09-28 | 香港应用科技研究院有限公司 | 用于动作识别的动作结构自注意力图卷积网络模型 |
CN112633209B (zh) * | 2020-12-29 | 2024-04-09 | 东北大学 | 一种基于图卷积神经网络的人类动作识别方法 |
-
2021
- 2021-06-04 CN CN202110625966.4A patent/CN113392743B/zh active Active
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2020119527A1 (zh) * | 2018-12-11 | 2020-06-18 | 中国科学院深圳先进技术研究院 | 人体动作识别方法、装置、终端设备及存储介质 |
WO2020199480A1 (zh) * | 2019-04-03 | 2020-10-08 | 平安科技(深圳)有限公司 | 一种人体动作的识别方法及设备 |
Also Published As
Publication number | Publication date |
---|---|
CN113392743A (zh) | 2021-09-14 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11763603B2 (en) | Physical activity quantification and monitoring | |
Thoutam et al. | Yoga pose estimation and feedback generation using deep learning | |
CN108205654B (zh) | 一种基于视频的动作检测方法及装置 | |
Chaudhari et al. | Yog-guru: Real-time yoga pose correction system using deep learning methods | |
CN111666857A (zh) | 基于环境语义理解的人体行为识别方法、装置及存储介质 | |
EP4053736B1 (en) | System and method for matching a test frame sequence with a reference frame sequence | |
Giorgi et al. | Walking through the deep: Gait analysis for user authentication through deep learning | |
Difini et al. | Human pose estimation for training assistance: a systematic literature review | |
CN113392743B (zh) | 异常动作检测方法、装置、电子设备和计算机存储介质 | |
Yao et al. | A fall detection method based on a joint motion map using double convolutional neural networks | |
Francisco et al. | Computer vision based on a modular neural network for automatic assessment of physical therapy rehabilitation activities | |
CN112329571A (zh) | 一种基于姿态质量评估的自适应人体姿态优化方法 | |
CN116825236A (zh) | 蛋白靶点的药物分子生成方法、装置、设备及介质 | |
CN111401335A (zh) | 一种关键点检测方法及装置、存储介质 | |
CN111523517B (zh) | 动作评分方法、装置、电子设备及可读存储介质 | |
Shi et al. | Sport training action correction by using convolutional neural network | |
CN109886123B (zh) | 一种识别人体动作的方法及终端 | |
CN109782156B (zh) | 基于人工免疫诊断网络的模拟电路故障诊断方法 | |
Lei et al. | Multi-skeleton structures graph convolutional network for action quality assessment in long videos | |
Patil et al. | Early detection of hemiplegia by analyzing the gait characteristics and walking patterns using convolutional neural networks | |
Tayal et al. | VMLHST: Development of an Efficient Novel Virtual Reality ML Framework with Haptic Feedbacks for Improving Sports Training Scenarios | |
Vedalankar et al. | LIVE YOGA POSE DETECTION BY USING IMAGE PROCESSING AND DEEP LEARNING | |
Ayumi et al. | Distribution-sensitive learning on relevance vector machine for pose-based human gesture recognition | |
Patel et al. | Personal Exercise Assistant: Correcting Exercise Posture using Modified Open pose | |
Patil et al. | Early Detection of Hemiplegia by Analyzing the Gait Characteristics and Walking Patterns Using |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |