CN113688790A - 一种基于图像识别的人体动作预警方法及系统 - Google Patents

一种基于图像识别的人体动作预警方法及系统 Download PDF

Info

Publication number
CN113688790A
CN113688790A CN202111105492.7A CN202111105492A CN113688790A CN 113688790 A CN113688790 A CN 113688790A CN 202111105492 A CN202111105492 A CN 202111105492A CN 113688790 A CN113688790 A CN 113688790A
Authority
CN
China
Prior art keywords
human body
sequence
dimensional skeleton
motion
action
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202111105492.7A
Other languages
English (en)
Inventor
王力鼎
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Wuhan Institute of Technology
Original Assignee
Wuhan Institute of Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Wuhan Institute of Technology filed Critical Wuhan Institute of Technology
Priority to CN202111105492.7A priority Critical patent/CN113688790A/zh
Publication of CN113688790A publication Critical patent/CN113688790A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2411—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on the proximity to a decision surface, e.g. support vector machines
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/044—Recurrent networks, e.g. Hopfield networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Mathematical Physics (AREA)
  • Computational Linguistics (AREA)
  • Health & Medical Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开一种基于图像识别的人体动作预警方法及系统，所述方法包括：获取目标人物的多角度时序图像序列，对多角度时序图像序列进行预处理；根据预处理后的多角度时序图像序列对人体动作进行三维重建，提取人体三维骨架特征序列；基于人体三维骨架特征序列进行目标人物动作识别；构建编码‑解码结构的混合深度神经网络模型并进行预训练；基于人体三维骨架特征序列和编码‑解码结构的混合深度神经网络模型进行目标人物动作预测，得到下一时刻的人体三维骨架特征；将下一时刻人体三维骨架特征与标准运动的人体三维骨架特征进行比对，进行动作预警。本发明可快速推断出下一时刻的人体三维骨架特征数据，对出错动作进行提前预警。

Description

一种基于图像识别的人体动作预警方法及系统
技术领域
本发明属于图像处理技术领域，具体涉及一种基于图像识别的人体动作预警方法及系统。
背景技术
随着科技水平的提高，越来越多的人通过观看视频的方式自主锻炼，这类自主锻炼的健身方式极大地促进了健身的普及。虽然这种方式有一定的实际意义，但是大多数情况都是靠自己学习，使得健身的动作并不规范，健身带来的效果低下，这常常导致人们不能长期坚持健身的原因。此外，错误的健身动作不仅无法起到锻炼身体的作用，反而会造成身体的其他部位的损伤，反而不利于健康。因此需要及时识别人体错误动作并规范健身动作。
现有的人体动作规范性评价大多是将已完成的动作与标准动作比较，仅可用于事后错误矫正，存在滞后性，无法用于人体规范性动作实时指导。
发明内容
有鉴于此，本发明提出了一种基于图像识别的人体动作预警方法及系统，用于解决现有的健身运动矫正存在的较大滞后性的问题。
本发明第一方面，公开一种基于图像识别的人体动作预警方法所述方法包括：
获取目标人物的多角度时序图像序列，对多角度时序图像序列进行预处理；
根据预处理后的多角度时序图像序列对人体动作进行三维重建，提取人体三维骨架特征序列；
基于人体三维骨架特征序列进行目标人物动作识别；
构建编码-解码结构的混合深度神经网络模型并进行预训练；
基于人体三维骨架特征序列和编码-解码结构的混合深度神经网络模型进行目标人物动作预测，得到下一时刻的人体三维骨架特征；
将下一时刻人体三维骨架特征与标准运动的人体三维骨架特征进行比对，进行动作预警。
优选的，所述预处理包括：统一多角度时序图像序列的尺寸，并转换成灰度图。
优选的，根据多角度时序图像序列对人体动作进行三维重建，提取人体三维骨架特征序列具体包括：
分别提取预处理后的多角度时序图像序列中各个时刻对应的多角度图像数据；
分别根据对应的多角度图像数据进行三维重建，得到各个时刻对应的人体三维模型；
从人体三维模型中提取出各个关键点，将各个关键点按照顺序连接，得到人体三维骨架特征向量；
将不同时刻的人体三维骨架特征向量按照时间顺序组成人体三维骨架特征序列。
优选的，所述基于人体三维骨架特征序列进行目标人物动作识别具体包括：
获取不同运动参考目标的各类健身运动的多角度视频数据；
按照同样的时间节点分别从同一参考目标的所述多角度视频数据中提取多角度时序图像序列样本，并进行预处理；
通过相似度分析剔除多角度时序图像序列样本中的无效样本；
根据多角度时序图像序列样本对同一参考目标的动作进行三维重建，提取同一参考目标的人体三维骨架特征序列；
分别对同一参考目标的人体三维骨架特征序列中的相邻元素做差分运算，将差分运算结果作为当前参考目标的运动参数；
分别获取不同参考目标的运动参数，组成第一训练集，通过第一训练集训练CNN模型，通过CNN提取参考目标的运动特征向量，组成第二训练集，通过第二训练集训练SVM分类器，实现目标人物动作识别。
优选的，所述编码-解码结构的混合深度神经网络模型包括：依次连接的输入层编码模块、第一全连接层、解码模块、第二全连接层和输出层；
所述编码模块包括依次连接的第一长短期记忆神经网络、多层卷积神经网络和第二长短期记忆神经网络；
所述编码模块包括依次连接的第三长短期记忆神经网络、多层反卷积神经网络和第四长短期记忆神经网络。
优选的，所述编码-解码结构的混合深度神经网络模型的预训练包括：
收集各类运动的多角度标准时序动作图像，并提取标准人体三维骨架特征序列，通过差分运算得到标准运动参数，通过标准运动参数制作标准训练集；
将所述标准训练集与第一训练集合并，通过反向传播训练所述编码-解码结构的混合深度神经网络模型的参数，直到模型收敛。
优选的，将下一时刻人体三维骨架特征与标准运动的人体三维骨架特征进行比对，进行动作预警具体包括：
分别比较下一时刻人体三维骨架特征与标准运动的人体三维骨架特征中的各关节特征向量，计算各关节特征向量的差值；
若目标人物的某关节特征向量的差值超出设定值，播放预设好的警告提示语音。
本发明第二方面，公开一种基于图像识别的人体动作预警系统，所述系统包括：
数据获取模块：用于获取目标人物的多角度时序图像序列，对多角度时序图像序列进行预处理；
特征提取模块：用于根据预处理后的多角度时序图像序列对人体动作进行三维重建，提取人体三维骨架特征序列；
动作识别模块：用于基于人体三维骨架特征序列进行目标人物动作识别；
动作预测模块：用于构建编码-解码结构的混合深度神经网络模型并进行预训练；基于人体三维骨架特征序列和编码-解码结构的混合深度神经网络模型进行目标人物动作预测，得到下一时刻的人体三维骨架特征；
动作预警模块：用于将下一时刻人体三维骨架特征与标准运动的人体三维骨架特征进行比对，进行动作预警。
本发明第三方面，公开一种电子设备，包括：至少一个处理器、至少一个存储器、通信接口和总线；
其中，所述处理器、存储器、通信接口通过所述总线完成相互间的通信；
所述存储器存储有可被所述处理器执行的程序指令，所述处理器调用所述程序指令，以实现如本发明第一方面所述的方法。
本发明第四方面，公开一种计算机可读存储介质，所述计算机可读存储介质存储计算机指令，所述计算机指令使计算机实现如本发明第一方面所述的方法。
本发明相对于现有技术具有以下有益效果：
1)本发明通过收集各类运动参考目标的多角度健身运动数据作为原始数据集，然后经过预处理、剔除无效样本、提取人体三维骨架特征序列、差分运算等一系列处理得到当前参考目标的运动参数，最后进行运动特征向量提取和分类，可充分挖掘不同参考目标的运动特征，可提高动作类型识别的准确率；
2)本发明构建了编码-解码结构的混合深度神经网络模型来进行下一时刻的人体三维骨架特征预测，充分利用了长短期记忆神经网络对时序数据的趋势预测能力，同时混合多层卷积神经网络、多层反卷积神经网络的优势，提取深层次时序特征，可以较准确的预测未来短期和中长期的运动趋势变化，具有较好的推断出下一时刻的人体三维骨架特征数据，对易错动作进行提前预警，具有前瞻性，可用于各类运动的实时、规范性指导和矫正。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明的基于图像识别的人体动作预警方法流程图；
图2为本发明的基于图像识别的人体动作预警系统结构图。
具体实施方式
下面将结合本发明实施方式，对本发明实施方式中的技术方案进行清楚、完整地描述，显然，所描述的实施方式仅仅是本发明一部分实施方式，而不是全部的实施方式。基于本发明中的实施方式，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施方式，都属于本发明保护的范围。
如图1所示，本发明公开一种基于图像识别的人体动作预警方法，所述方法包括：
S1、获取目标人物的多角度时序图像序列，对多角度时序图像序列进行预处理；
多角度时序图像序列中的元素包括同一时刻目标人物的至少两个角度的图像，各元素按照时间顺序排列。对多角度时序图像序列进行预处理，包括统一多角度时序图像序列的尺寸，并转换成灰度图等。
S2、根据预处理后的多角度时序图像序列对人体动作进行三维重建，提取人体三维骨架特征序列；
步骤S2具体包括如下分步骤：
S21、分别提取预处理后的多角度时序图像序列中各个时刻对应的多角度图像数据；
S22、分别根据对应的多角度图像数据进行三维重建，得到各个时刻对应的人体三维模型；
由于预处理后的多角度时序图像序列中的每个元素均包括同一时刻同一目标人物的至少两个角度的图像，因此可以通过视差进行三维重建，每个元素均可重建得到一个对应时刻的人体三维模型，该人体三维模型描述了目标人物当前时刻的三维运动姿态。
S23、从人体三维模型中提取出各个关键点，将各个关键点按照顺序连接，得到人体三维骨架特征向量；
在已构建人体三维模型的基础上可方便的提取出各个关键点，主要是人体各个关节点及头部中心点，将关节点、中心点按照顺序连接，得到人体三维骨架特征向量。
S24、将不同时刻的人体三维骨架特征向量按照时间顺序组成人体三维骨架特征序列。
S3、基于人体三维骨架特征序列进行目标人物动作识别；
不同的健身运动具有不同的动作特征，在进行目标人物下一步动作之前先要识别目标人物动作类型。
步骤S3具体包括如下分步骤：
S31、获取不同运动参考目标的各类健身运动的多角度视频数据；具体的，不同运动参考目标的各类健身运动数据可以是不同的运动人群的健身运动数据也可以是标准健身运动的运动数据或者两者的结合。
S32、按照同样的时间节点分别从同一参考目标的所述多角度视频数据中提取多角度时序图像序列样本，并进行预处理；
S33、通过相似度分析剔除多角度时序图像序列样本中的无效样本；
S34、根据多角度时序图像序列样本对同一参考目标的动作进行三维重建，提取同一参考目标的人体三维骨架特征序列；
具体的，采用与目标人物相同的方式提取参考目标的人体三维骨架特征序列。首先分别根据对应的多角度时序图像序列样本对参考目标的运动进行三维重建，得到各个时刻对应的参考目标的人体三维模型；从同参考目标的人体三维模型中提取出各个关键点，将各个关键点按照顺序连接，得到参考目标的人体三维骨架特征向量；将不同时刻参考目标的的人体三维骨架特征向量按照时间顺序组成人体三维骨架特征序列；
S35、分别对同一参考目标的人体三维骨架特征序列中的相邻元素做差分运算，将差分运算结果作为当前参考目标的运动参数；
S36、分别获取不同参考目标的运动参数，组成第一训练集，通过第一训练集训练卷积神经网络模型(CNN)，通过CNN提取参考目标的运动特征向量，组成第二训练集，通过第二训练集训练SVM分类器，实现目标人物动作识别。
本发明通过收集各类运动参考目标的多角度健身运动数据作为原始数据集，然后经过预处理、剔除无效样本、提取人体三维骨架特征序列、差分运算等一系列处理得到当前参考目标的运动参数，最后进行运动特征向量提取和分类，可充分挖掘不同参考目标的运动特征，可提高动作识别准确率。
S4、构建编码-解码结构的混合深度神经网络模型并进行预训练；基于人体三维骨架特征序列和编码-解码结构的混合深度神经网络模型进行目标人物动作预测，得到下一时刻的人体三维骨架特征；
所述编码-解码结构的混合深度神经网络模型包括：依次连接的输入层Input、编码模块Encoder、第一全连接层Full Connection 1、解码模块Decoder、第二全连接层FullConnection 2和输出层OutPut；所述编码模块Encoder包括依次连接的第一长短期记忆神经网络LSTM1、多层卷积神经网络CNN和第二长短期记忆神经网络LSTM2；所述解码模块Decoder包括依次连接的第三长短期记忆神经网络LSTM3、多层反卷积神经网络DeconvnetCNN和第四长短期记忆神经网络LSTM4。
本发明采用编码-解码结构并混合多种神经网络模型来构建编码-解码结构的混合深度神经网络模型，以进行下一时刻的人体三维骨架特征预测。利用长短期记忆神经网络对时序数据的趋势预测能力，同时混合多层卷积神经网络、多层反卷积神经网络的优势，提取深层次时序特征，可以较准确的预测短期和中长期的运动特征向量的未来趋势变化，具有较好的推断和泛化能力。
在进行编码-解码结构的混合深度神经网络模型的预训练之前，收集各类运动的多角度标准时序动作图像，并提取标准人体三维骨架特征序列，通过差分运算得到标准运动参数，通过标准运动参数制作标准训练集；将所述标准训练集与第一训练集合并，用于通过反向传播训练所述编码-解码结构的混合深度神经网络模型的参数。具体实施时，还可在标准训练集与第一训练集合并后再加入根据目标人物的历史运动数据制作的第三数据集，用于编码-解码结构的混合深度神经网络模型训练。
先初始化编码-解码结构的混合深度神经网络模型的参数，然后定义损失函数，采用adam优化算法对样本进行训练，验证损失函数，直到模型收敛。
依次将目标人物的人体三维骨架特征序列输入训练好的编码-解码结构的混合深度神经网络模型中，即可得到下一时刻人体三维骨架特征。
S5、将下一时刻人体三维骨架特征与标准运动的人体三维骨架特征进行比对，进行动作预警。
具体的，预测得到下一时刻人体三维骨架特征之后，分别比较下一时刻人体三维骨架特征与标准运动的人体三维骨架特征中的各关节特征向量，计算各关节特征向量的差值；
若目标人物的某关节特征向量的差值超出设定值，播放预设好的警告提示语音。
请参阅图2，与所述方法实施例相对应，本发明还公开一种基于图像识别的人体动作预警系统，所述系统包括：
数据获取模块10：用于获取目标人物的多角度时序图像序列，对多角度时序图像序列进行预处理；
特征提取模块20：用于根据预处理后的多角度时序图像序列对人体动作进行三维重建，提取人体三维骨架特征序列；
动作识别模块30：用于基于人体三维骨架特征序列进行目标人物动作识别；
动作预测模块40：用于构建编码-解码结构的混合深度神经网络模型并进行预训练；基于人体三维骨架特征序列和编码-解码结构的混合深度神经网络模型进行目标人物动作预测，得到下一时刻的人体三维骨架特征；
动作预警模块50：用于将下一时刻人体三维骨架特征与标准运动的人体三维骨架特征进行比对，进行动作预警；
语音播报模块60：用于当目标人物的某关节特征向量的差值超出设定值，播放预设好的警告提示语音。
所述系统运用于运动健身的场所，可提前对不规范动作进行预警提示，可减少人们可能在锻炼中因为动作的错误而带来的伤害。该系统通过人物运动时的轨迹及动作，构建人体骨架，分析人物的动作特征。当人物的动作即将可能发生错误或者已经发生时，语音播报模块就会发出提醒。进一步的，为避免人受到伤害，发出提醒时场地也会采取保护措施，比如让器材锁定在该区域，待人调整到正确姿势后解除锁定。同时，可以加一个显示模块，在锻炼时根据人的动作数据进行优化，然后将优化的动作图示展示在显示模块上，让人们锻炼的动作更加的科学。
本发明还公开一种电子设备，包括：至少一个处理器、至少一个存储器、通信接口和总线；其中，所述处理器、存储器、通信接口通过所述总线完成相互间的通信；所述存储器存储有可被所述处理器执行的程序指令，所述处理器调用所述程序指令，以实现本发明前述的方法。
本发明还公开一种计算机可读存储介质，所述计算机可读存储介质存储计算机指令，所述计算机指令使所述计算机实现本发明实施例所述方法的全部或部分步骤。所述存储介质包括：U盘、移动硬盘、只议存储器ROM、随机存取存储器RAM、磁碟或者光盘等各种可以存储程序代码的介质。
以上所描述的系统实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以分布到多个网络单元上。本领域普通技术人员在不付出创造性的劳动的情况下，可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。
以上所述仅为本发明的较佳实施方式而已，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.一种基于图像识别的人体动作预警方法，其特征在于，所述方法包括：
获取目标人物的多角度时序图像序列并进行预处理；
根据预处理后的多角度时序图像序列对人体动作进行三维重建，提取人体三维骨架特征序列；
基于人体三维骨架特征序列进行目标人物动作识别；
构建编码-解码结构的混合深度神经网络模型并进行预训练；
基于人体三维骨架特征序列和编码-解码结构的混合深度神经网络模型进行目标人物动作预测，得到下一时刻的人体三维骨架特征；
将下一时刻人体三维骨架特征与标准运动的人体三维骨架特征进行比对，进行动作预警。
2.根据权利要求1所述基于图像识别的人体动作预警方法，其特征在于，所述预处理包括：统一多角度时序图像序列的尺寸，并转换成灰度图。
3.根据权利要求1所述基于图像识别的人体动作预警方法，其特征在于，根据多角度时序图像序列对人体动作进行三维重建，提取人体三维骨架特征序列具体包括：
分别提取预处理后的多角度时序图像序列中各个时刻对应的多角度图像数据；
分别根据对应的多角度图像数据进行三维重建，得到各个时刻对应的人体三维模型；
从人体三维模型中提取出各个关键点，将各个关键点按照顺序连接，得到人体三维骨架特征向量；
将不同时刻的人体三维骨架特征向量按照时间顺序组成人体三维骨架特征序列。
4.根据权利要求3所述基于图像识别的人体动作预警方法，其特征在于，所述基于人体三维骨架特征序列进行目标人物动作识别具体包括：
获取不同运动参考目标的各类健身运动的多角度视频数据；
按照同样的时间节点分别从同一参考目标的所述多角度视频数据中提取多角度时序图像序列样本，并进行预处理；
通过相似度分析剔除多角度时序图像序列样本中的无效样本；
根据多角度时序图像序列样本对同一参考目标的动作进行三维重建，提取同一参考目标的人体三维骨架特征序列；
分别对同一参考目标的人体三维骨架特征序列中的相邻元素做差分运算，将差分运算结果作为当前参考目标的运动参数；
分别获取不同参考目标的运动参数，组成第一训练集，通过第一训练集训练CNN模型，通过CNN提取参考目标的运动特征向量，组成第二训练集，通过第二训练集训练SVM分类器，实现目标人物动作识别。
5.根据权利要求4所述基于图像识别的人体动作预警方法，其特征在于，所述编码-解码结构的混合深度神经网络模型包括：依次连接的输入层编码模块、第一全连接层、解码模块、第二全连接层和输出层；
所述编码模块包括依次连接的第一长短期记忆神经网络、多层卷积神经网络和第二长短期记忆神经网络；
所述编码模块包括依次连接的第三长短期记忆神经网络、多层反卷积神经网络和第四长短期记忆神经网络。
6.根据权利要求5所述基于图像识别的人体动作预警方法，其特征在于，所述编码-解码结构的混合深度神经网络模型的预训练包括：
收集各类运动的多角度标准时序动作图像，并提取标准人体三维骨架特征序列，通过差分运算得到标准运动参数，通过标准运动参数制作标准训练集；
将所述标准训练集与第一训练集合并，通过反向传播训练所述编码-解码结构的混合深度神经网络模型的参数，直到模型收敛。
7.根据权利要求1所述基于图像识别的人体动作预警方法，其特征在于，将下一时刻人体三维骨架特征与标准运动的人体三维骨架特征进行比对，进行动作预警具体包括：
分别比较下一时刻人体三维骨架特征与标准运动的人体三维骨架特征中的各关节特征向量，计算各关节特征向量的差值；
若目标人物的某关节特征向量的差值超出设定值，播放预设好的警告提示语音。
8.一种基于图像识别的人体动作预警系统，其特征在于，所述系统包括：
数据获取模块：用于获取目标人物的多角度时序图像序列，对多角度时序图像序列进行预处理；
特征提取模块：用于根据预处理后的多角度时序图像序列对人体动作进行三维重建，提取人体三维骨架特征序列；
动作识别模块：用于基于人体三维骨架特征序列进行目标人物动作识别；
动作预测模块：用于构建编码-解码结构的混合深度神经网络模型并进行预训练；基于人体三维骨架特征序列和编码-解码结构的混合深度神经网络模型进行目标人物动作预测，得到下一时刻的人体三维骨架特征；
动作预警模块：用于将下一时刻人体三维骨架特征与标准运动的人体三维骨架特征进行比对，进行动作预警。
9.一种电子设备，其特征在于，包括：至少一个处理器、至少一个存储器、通信接口和总线；
其中，所述处理器、存储器、通信接口通过所述总线完成相互间的通信；
所述存储器存储有可被所述处理器执行的程序指令，所述处理器调用所述程序指令，以实现如权利要求1～7任一项所述的方法。
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储计算机指令，所述计算机指令使计算机实现如权利要求1～7任一项所述的方法。
CN202111105492.7A 2021-09-22 2021-09-22 一种基于图像识别的人体动作预警方法及系统 Pending CN113688790A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111105492.7A CN113688790A (zh) 2021-09-22 2021-09-22 一种基于图像识别的人体动作预警方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111105492.7A CN113688790A (zh) 2021-09-22 2021-09-22 一种基于图像识别的人体动作预警方法及系统

Publications (1)

Publication Number Publication Date
CN113688790A true CN113688790A (zh) 2021-11-23

Family

ID=78586899

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111105492.7A Pending CN113688790A (zh) 2021-09-22 2021-09-22 一种基于图像识别的人体动作预警方法及系统

Country Status (1)

Country Link
CN (1) CN113688790A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114399718A (zh) * 2022-03-21 2022-04-26 北京网之晴科技有限公司 一种视频播放过程中的图像内容识别方法及装置

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108764107A (zh) * 2018-05-23 2018-11-06 中国科学院自动化研究所 基于人体骨架序列的行为与身份联合识别方法及装置
CN109376663A (zh) * 2018-10-29 2019-02-22 广东工业大学 一种人体姿态识别方法及相关装置
WO2020107833A1 (zh) * 2018-11-26 2020-06-04 平安科技（深圳）有限公司 基于骨架的行为检测方法、终端设备及计算机存储介质
WO2020211243A1 (zh) * 2019-04-15 2020-10-22 深圳大学 一种基于深层网络技术的行为识别的方法、装置及存储介质
CN113392742A (zh) * 2021-06-04 2021-09-14 北京格灵深瞳信息技术股份有限公司 异常动作确定方法、装置、电子设备及存储介质

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108764107A (zh) * 2018-05-23 2018-11-06 中国科学院自动化研究所 基于人体骨架序列的行为与身份联合识别方法及装置
CN109376663A (zh) * 2018-10-29 2019-02-22 广东工业大学 一种人体姿态识别方法及相关装置
WO2020107833A1 (zh) * 2018-11-26 2020-06-04 平安科技（深圳）有限公司 基于骨架的行为检测方法、终端设备及计算机存储介质
WO2020211243A1 (zh) * 2019-04-15 2020-10-22 深圳大学 一种基于深层网络技术的行为识别的方法、装置及存储介质
CN113392742A (zh) * 2021-06-04 2021-09-14 北京格灵深瞳信息技术股份有限公司 异常动作确定方法、装置、电子设备及存储介质

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
周意乔;徐昱琳;: "基于双向LSTM的复杂环境下实时人体姿势识别", 仪器仪表学报, no. 03, pages 194 - 203 *

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114399718A (zh) * 2022-03-21 2022-04-26 北京网之晴科技有限公司 一种视频播放过程中的图像内容识别方法及装置

Similar Documents

Publication Publication Date Title
CN110309732B (zh) 基于骨架视频的行为识别方法
CN111428789A (zh) 一种基于深度学习的网络流量异常检测方法
CN111709409A (zh) 人脸活体检测方法、装置、设备及介质
CN110598779A (zh) 摘要描述生成方法、装置、计算机设备和存储介质
CN112767554B (zh) 一种点云补全方法、装置、设备及存储介质
CN108230291B (zh) 物体识别系统训练方法、物体识别方法、装置和电子设备
CN112766172B (zh) 一种基于时序注意力机制的人脸连续表情识别方法
CN112307883B (zh) 训练方法、装置、电子设备以及计算机可读存储介质
CN110478883B (zh) 一种健身动作教学及矫正系统及方法
CN112016435A (zh) 异常行为的检测方法、装置、电子设备和存储介质
CN111832516A (zh) 基于无监督视频表示学习的视频行为识别方法
CN113516005B (zh) 一种基于深度学习和姿态估计的舞蹈动作评价系统
CN114820871B (zh) 字体生成方法、模型的训练方法、装置、设备和介质
CN110287829A (zh) 一种结合深度q学习和注意模型的视频人脸识别方法
CN108538283B (zh) 一种由唇部图像特征到语音编码参数的转换方法
CN113688790A (zh) 一种基于图像识别的人体动作预警方法及系统
CN107967941A (zh) 一种基于智能视觉重构的无人机人体健康监控方法与系统
CN113205043B (zh) 一种基于强化学习的视频序列二维姿态估计方法
CN117407770A (zh) 基于神经网络的高压开关柜故障模式分类及预测方法
CN113963202A (zh) 一种骨骼点动作识别方法、装置、电子设备及存储介质
CN113569809A (zh) 一种图像处理方法、设备及计算机可读存储介质
Li et al. Blind image quality evaluation method based on cyclic generative adversarial network
CN116151226B (zh) 一种基于机器学习的聋哑人手语纠错方法、设备和介质
CN114618147B (zh) 一种太极拳康复训练动作识别方法
CN114783046B (zh) 一种基于cnn和lstm的人体连续性动作相似度评分方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination