CN112257568A - 一种单兵队列动作智能实时监督纠错系统及方法 - Google Patents

一种单兵队列动作智能实时监督纠错系统及方法 Download PDF

Info

Publication number
CN112257568A
CN112257568A CN202011128240.1A CN202011128240A CN112257568A CN 112257568 A CN112257568 A CN 112257568A CN 202011128240 A CN202011128240 A CN 202011128240A CN 112257568 A CN112257568 A CN 112257568A
Authority
CN
China
Prior art keywords
queue
image
action
human body
detection
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202011128240.1A
Other languages
English (en)
Other versions
CN112257568B (zh
Inventor
魏俊宇
郭云霄
唐莺
左震
苏绍璟
孙备
陈祖龙
吴鹏
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
National University of Defense Technology
Original Assignee
National University of Defense Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by National University of Defense Technology filed Critical National University of Defense Technology
Priority to CN202011128240.1A priority Critical patent/CN112257568B/zh
Publication of CN112257568A publication Critical patent/CN112257568A/zh
Application granted granted Critical
Publication of CN112257568B publication Critical patent/CN112257568B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20Movements or behaviour, e.g. gesture recognition
    • G06V40/23Recognition of whole body movements, e.g. for sport training
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/24Classification techniques
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • G06N3/045Combinations of networks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00Indexing scheme relating to image or video recognition or understanding
    • G06V2201/07Target detection

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Evolutionary Computation (AREA)
  • Health & Medical Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Computational Linguistics (AREA)
  • Computing Systems (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Molecular Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Psychiatry (AREA)
  • Social Psychology (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)

Abstract

一种单兵队列动作智能实时监督纠错系统及方法,方法包括以下步骤:先构建标准队列动作数据库,截取队列动作图像并记录对应的时间,将图像调整至相同尺寸,再使用改进的SSD人体动作检测器检测并标记图像其所属的队列动作类型,计算并输出人体骨架图,将人体骨架图对比处理并输出对比信息,最后输出不标准队列图像和与所述不标准队列图像对应的标准队列关节点动态图像、以及声提示信号。本发明相对于传统训练辅助方法具有的优点是:能够克服传统辅助训练穿戴设备依赖,减轻受训者负担;减少训练过程中所需要的其它训练器材,降低器材经费投入;能够对受训者动作进行实时监督并自动报警纠错,提高训练效率以及质量,减少人力投入。

Description

一种单兵队列动作智能实时监督纠错系统及方法
技术领域
本发明涉及人体动作技术识别领域,尤其涉及一种针对入伍新兵、预备役人员和大中学生入学军事训练中齐步、正步和跑步等队列动作训练的纠错方法。
背景技术
在实际队列训练中,由于组训者、受训者自身能力水平的限制,受训者的一些队列动作模式始终存在不规范的地方。入伍新兵都必须根据军队队列条令进行军事训练,预备役人员也要组织队列训练,大中学生入学时也都参照军队队列条令要求进行军事训练以培养学生的基本军事素质。阅兵中的仪仗队训练都要进行高标准的正步、齐步和排面训练。上述训练十分艰苦,取得较好的训练效果往往需要几个月的艰苦训练。为了达到好的训练效果,实际训练中往往是采用“土”办法,如用卷尺测量,拉绳固定排面等。
公告号为CN106936828A的中国实用新型专利,公开了“一种基于惯导轨迹和激光测距技术、红外线设备的军事队列辅助训练系统”,利用惯导算法,辅以激光测距距离和传感器佩戴位置作为惯导算法的校正参量,精确绘制测量点的运动轨迹,以进行队列动作纠错的方式存在以下几点不足:1)训练过程需要佩戴传感器,对队列训练有影响。2)训练需使用轨迹测距仪、传感器,布置时较为繁琐,不够快捷。公告号为CN108734104A的中国新型发明专利,公开了“基于深度学习图像识别的动作纠错方法及系统”,利用深度学习人体关节识别模型,得到人体骨架图,对比标准人体骨架图,实现动作纠错评分的方式存在几点不足:1)采用传统的深度学习算法,识别慢,无法做到实时处理。2)采用传统的深度学习算法,对变尺度目标识别效果差。3)当图像内存在多个目标时检测效果较差,如乱连接或者遗漏关键点等。4)对整张图片进行关节点识别,增加了误识别的可能性。
为解决目前队列训练辅助系统存在的对穿戴设备的依赖,实时性较差,训练过程中投入人力、训练器材过多却达不到理想效果的问题,同时为实现能够在获取图像变尺度和多目标情况下,仍能够高效对受训者动作进行实时监督并报警纠错,作出了本发明。
发明内容
本发明的目的在于,针对目前队列动作检测纠错方法所存在的不足,提出了能够克服穿戴依赖,减少训练过程中所需要的器材,并且能在变尺度和多目标条件下仍能够对受训者动作进行实时监督并报警纠错的一种队列动作智能纠错方法。
为了克服现有技术的不足,本发明采用如下技术方案:
一种单兵队列动作智能实时检测与纠错系统,包括:依次控制连接的接收单元、动作检测分类单元、人体骨架生成单元、对比处理单元和输出单元。
可选的,所述接收单元用于接收从摄像头传来的队列视频并进行处理。
可选的,所述动作检测分类单元用于图像尺寸调整、图像检测以及标记分类。
可选的,所述人体骨架生成单元用于计算图像中人体关节及其位置坐标、对所述位置坐标有序连线、以及输出连线后得到的人体骨架图。
可选的,所述对比处理单元用于构建数据库、图像对比处理以及输出对比信息。
可选的,一种单兵队列动作智能实时检测与纠错方法,其应用于所述的单兵队列动作智能实时检测与纠错系统,所述方法包括以下步骤:
步骤一:在所述对比处理单元内的构建三大步伐的标准队列动作数据库,所述三大步伐包括齐步、正步和跑步,所述数据库包括三大步伐的标准队列动作视频和标准队列关节点动态图像;
步骤二:通过所述接收单元接收从摄像头传来的队列视频,并截取每帧队列动作视频的图像以及记录对应的时间;
步骤三:通过所述动作检测分类单元将所述接收单元发送过来的队列动作图像调整至相同尺寸,然后使用所述改进的SSD(一种算法,Single Shot MultiBox Detector)人体动作检测器检测所述队列动作图像,再通过检测结果标记其所属的队列动作类型;
步骤四:在所述人体骨架图生成单元内使用队列动作人体关节识别模型计算出相对应的带有队列动作类型标记的图像中的人体关节及其位置坐标,再对各个关节根据坐标位置有序连线,最后输出人体骨架图;
步骤五:在所述对比处理单元内,从标准队列动作视频中截取与每帧队列动作图像对应时间相同的标准队列图像的后,使用该图像对所述人体骨架图进行对比处理,输出不标准队列图像,以及所述不标准队列图像中的错误信息;所述对比处理过程包括将每帧队列图像对应的人体骨架图与标准队列图像中的标准队列动作进行对比分析后,确定每帧人体骨架图中队列动作的分值,并将连续多帧人体骨架图对应分值的平均值作为连续多帧人体骨架图呈现的总体队列动作的总分值,将总分值低于阈值的人体骨架图对应的队列图像作为不标准队列图像,所述阈值可由施训者设定;
步骤六:通过所述输出单元实时地输出所述不标准队列图像和与所述不标准队列图像对应的标准队列关节点动态图像、以及输出声提示信号。
可选的,所述改进的SSD人体动作检测器包括16层16层视觉几何群网络(VisualGeometry Group Network-16,VGG-16)、非极大值抑制层。改进VGG-16网络中的38*38*512第四卷积层、19*19*1024第七卷积层、10*10*512第八卷积层、5*5*256第九卷积层、3*3*256第十卷积层、1*1*128第十一卷积层。可选的,所述全连接预测层分别与所述16层视觉几何群网络、6个单独的卷积神经网络层相连接,对所述16层视觉几何群网络、6个单独的卷积神经网络层所输出得到的结果进行目标检测,并输出对目标位置的检测候选框及其置信度得分。
可选的,所述非极大值抑制层与所述全连接预测层相连接,其功能包括保留其中置信度得分最大的目标检测候选框、以及抑制在同一目标的位置上产生的大量较低置信度的候选框。
本发明所取得的有益效果是:
1.能够克服穿戴依赖,受训者不需穿戴任何辅助器械,减轻受训者负担,提高效率。
2.减少训练过程中所需要的其它训练器材,降低器材经费投入。
3.能够对受训者动作进行实时监督并自动报警纠错,提高训练效率以及质量,减少人力投入。
附图说明
从以下结合附图的描述可以进一步理解本发明。图中的部件不一定按比例绘制,而是将重点放在示出实施例的原理上。在不同的视图中,相同的附图标记指定对应的部分。
图1为本发明的一种单兵队列动作智能实时监督纠错方法的流程图的结构示意图。
图2为本发明的一种单兵队列动作智能实时监督纠错系统组成结构示意图。
图3为本发明的改进的SSD人体动作检测器原理示意图。
图4为本发明的人体关节点模块化划分示意图。
图5为本发明的改进SSD人体动作检测器特征图提取过程
图6为本发明的一种单兵队列动作智能实时监督纠错系统的具体化示意图。
图7为本发明领域传统技术典型图。
具体实施方式
为了使得本发明的目的.技术方案及优点更加清楚明白,以下结合其实施例,对本发明进行进一步详细说明;应当理解,此处所描述的具体实施例仅用于解释本发明,并不用于限定本发明。对于本领域技术人员而言,在查阅以下详细描述之后,本实施例的其它系统、方法和/或特征将变得显而易见。旨在所有此类附加的系统、方法、特征和优点都包括在本说明书内.包括在本发明的范围内,并且受所附权利要求书的保护。在以下详细描述描述了所公开的实施例的另外的特征,并且这些特征根据以下将详细描述将是显而易见的。
本发明实施例的附图中相同或相似的标号对应相同或相似的部件;在本发明的描述中,需要理解的是,若有术语“上”、“下”、“左”、“右”等指示的方位或位置关系为基于附图所示的方位或位置关系,仅是为了便于描述本发明和简化描述,而不是指示或暗示所指的装置或组件必须具有特定的方位.以特定的方位构造和操作,因此附图中描述位置关系的用语仅用于示例性说明,不能理解为对本专利的限制,对于本领域的普通技术人员而言,可以根据具体情况理解上述术语的具体含义。
实施例一:
在本实施例中,提供一种单兵队列动作智能实时检测与纠错系统及方法;
所述系统包括:依次控制连接的接收单元、动作检测分类单元、人体骨架生成单元、对比处理单元和输出单元,所述接收单元用于接收从摄像头传来的队列视频并进行处理,所述动作检测分类单元用于图像尺寸调整、图像检测以及标记分类,所述人体骨架生成单元用于计算图像中人体关节及其位置坐标、对所述位置坐标有序连线、以及输出连线后得到的人体骨架图。所述对比处理单元用于构建数据库、图像对比处理以及输出对比信息。
所述一种单兵队列动作智能实时检测与纠错方法,其应用于所述的单兵队列动作智能实时检测与纠错系统,所述方法包括以下步骤:
步骤一:在所述对比处理单元内的构建三大步伐的标准队列动作数据库,所述三大步伐包括齐步、正步和跑步,所述数据库包括三大步伐的标准队列动作视频和标准队列关节点动态图像;
步骤二:通过所述接收单元接收从摄像头传来的队列视频,并截取每帧队列动作视频的图像以及记录对应的时间;
步骤三:通过所述动作检测分类单元将所述接收单元发送过来的队列动作图像调整至相同尺寸,然后使用所述改进的SSD(一种算法,Single Shot MultiBox Detector)人体动作检测器检测所述队列动作图像,再通过检测结果标记其所属的队列动作类型;
步骤四:在所述人体骨架图生成单元内使用队列动作人体关节识别模型计算出相对应的带有队列动作类型标记的图像中的人体关节及其位置坐标,再对各个关节根据坐标位置有序连线,最后输出人体骨架图;
步骤五:在所述对比处理单元内,从标准队列动作视频中截取与每帧队列动作图像对应时间相同的标准队列图像的后,使用该图像对所述人体骨架图进行对比处理,输出不标准队列图像,以及所述不标准队列图像中的错误信息;
其中,所述对比处理过程包括将每帧队列图像对应的人体骨架图与标准队列图像中的标准队列动作进行对比分析后,确定每帧人体骨架图中队列动作的分值,并将连续多帧人体骨架图对应分值的平均值作为连续多帧人体骨架图呈现的总体队列动作的总分值,将总分值低于阈值的人体骨架图对应的队列图像作为不标准队列图像,所述阈值可由施训者设定;
步骤六:通过所述输出单元实时地输出所述不标准队列图像和与所述不标准队列图像对应的标准队列关节点动态图像、以及输出声提示信号,所述改进的SSD人体动作检测器包括16层视觉几何群网络、6个单独的卷积神经网络层、全连接预测层、非极大值抑制层,其中,所述16层视觉几何群网络包括依次连接输入层的300*300*64第一卷积层、150*150*128第一最大池化层、150*150*128第二卷积层、75*75*128第三卷积层、38*38*256第二最大池化层、38*38*512第四卷积层、38*38*512第五卷积层、19*19*1024第六卷积层、19*19*1024第七卷积层、10*10*512第三最大池化层、10*10*512第八卷积层、5*5*256第九卷积层、3*3*256第十卷积层、1*1*128第十一卷积层;
其中,所述全连接预测层分别与所述16层视觉几何群网络、6个单独的卷积神经网络层相连接,对所述16层视觉几何群网络、6个单独的卷积神经网络层所输出得到的结果进行目标检测,并输出对目标位置的检测候选框及其置信度得分,所述非极大值抑制层与所述全连接预测层相连接,其功能包括保留其中置信度得分最大的目标检测候选框、以及抑制在同一目标的位置上产生的大量较低置信度得分的候选框。
实施例二:
应当理解,本实施例包含前述实施例中任何内容,特别地,提供一种单兵队列动作智能实时检测纠错方法,包括以下步骤:构建齐步、正步和跑步三大步伐的军人队列动作数据集;
从摄像头输入端接收队列视频,并截取的每帧队列图像,记录每帧队列图像对应的时间,将人体动作图像尺寸归一化,再输入图像到SSD人体动作检测器中,实时识别人体轮廓并获取队列动作分类信息,从而实现实时人体队列动作分析,确定队列步伐类型后,将队列图像输入到与其相对应的人体关节识别模型中,经所述人体关节识别模型计算,输出队列图像中包含的每个人体关节及其位置坐标,再将各个关节根据坐标位置有序连线,得到人体骨架图;
根据标准队列动作对所述人体骨架图进行比对分析,实时输出不标准队列图像以及标准关节点的动态图像,通过对比,以实现对队列动作的纠错,所述标准队列视频包含其对应的队列步伐(齐步、正步或跑步)一个完整动作周期。所述改进的SSD人体动作检测器由去掉全连接层的16层视觉几何群网络(Visual Geometry Group Network-16,VGG-16)、不包含在VGG-16内的6个单独的卷积神经网络(Convolutional Neural Networks,CNN)层、全连接预测层、非极大值抑制层,所述VGG-16网络结构包括依次连接输入层的300*300*64第一卷积层、150*150*128第一最大池化层、150*150*128第二卷积层、75*75*128第三卷积层、38*38*256第二最大池化层、38*38*512第四卷积层、38*38*512第五卷积层、19*19*1024第六卷积层、19*19*1024第七卷积层、10*10*512第三最大池化层、10*10*512第八卷积层、5*5*256第九卷积层、3*3*256第十卷积层、1*1*128第十一卷积层,所述全连接预测层与去掉全连接层的VGG-16网络层、不包含在VGG-16内的6个单独的CNN层相连接,对去掉全连接层的VGG-16网络层、不包含在VGG-16内的6个单独的CNN层所输出得到的结果进行目标检测,并得到对目标位置的检测候选框及其置信度得分。所述非极大值抑制层与全连接预测层相连接,用以保留置信度得分最大的目标检测候选框,抑制在同一目标的位置上产生的大量较低置信度的候选框,所述根据标准队列动作对所述人体骨架图进行比对分析包括:在标准队列视频中截取与每帧队列图像对应时间相同的标准队列图像后,将每帧队列图像对应的人体骨架图与标准队列图像中的标准队列动作进行对比分析,以确定队列动作的错误,在将每帧队列图像对应的人体骨架图与标准队列图像中的标准队列动作进行对比分析后,确定每帧人体骨架图中队列动作的分值,并将连续多帧人体骨架图对应分值的平均值作为连续多帧人体骨架图呈现的总体队列动作的总分值,将总分值低于阈值的人体骨架图对应的队列图像作为不标准队列图像,所述阈值可由施训者设定,输出不标准队列图像的同时,还实时输出与该不标准队列图像对应的标准队列关节点动态图像及声音提示信息;
一种单兵队列动作智能实时检测纠错方法,包括:接收单元,接收从摄像头传来的队列视频,截取每帧队列视频的图像并记录对应的时间;人体检测单元,将识别出的每一帧人体图像调整至相同尺寸,再通过改进的SSD人体动作检测器,实时检测出人体信息,并获得队列动作所属分类;人体骨架图生成单元,将图像信息输入其对应的队列动作人体关节识别模型进行计算,获得队列图像中包含的每个人体关节及其位置坐标,对各个关节根据坐标位置有序连线,得到人体骨架图;对比处理单元,标准队列动作对所述人体骨架图进行对比处理,获得不标准队列图像;输出单元,将所述不标准队列图像与标准的队列图像骨架图一起输出,并通过声信号的方式传递给队列受训者。
实施例三:
应当理解,本实施例包含前述实施例中任何内容。特别地,提供一种单兵队列动作智能监督纠错方法的流程图如图1所示,具体地,该监督纠错方法包括两个阶段,一个是人体动作检测识别模型建立阶段,一个是队列动作纠错阶段。人体动作检测识别分类模型建立阶段:该阶段主要是军人队列动作数据集以及人体检测模型的建立,该过程可以是线下的,也可以是线上的,具体过程如图3所示,采用建立好的军人队列动作数据集,采用卷积跳级结构(Multi-Stage)实现多层卷积融合,通过候选区域生成和候选框分类实现目标检测。军人队列动作数据集构造阶段:该阶段主要是利用图像标签工具分别将1000张齐步、正步、跑步的队列动作包含人体的部分标签,生成xml文件。队列动作分类阶段:该阶段主要是改进SSD人体动作检测分类模型的建立及训练,通过利用上述军人队列动作数据集训练损失函数至其收敛:其中,式中主要是一个用以衡量识别准确度的多类Softmax损失函数,而主要是一个用以衡量预测框预测性能的损失函数。
军人动作关节点模型建立阶段:该阶段主要是建立军人队列动作的关节点模型,具体地,采用MSCOCO数据集中的人体关节明显的数据作为训练集,利用卷积神经网络进行训练。
具体地,该阶段包括以下过程:
图像数据直接使用MSCOCO中的标注好的的数据集,从官网获取;数据集对于人体关节及其模块如图4所示,主要有:头部模块:头、首;手臂模块:左肩,右肩,左肘,右肘,左手首,右手首;身体模块:左腰,右腰;腿部模块:左膝,右膝,左脚首,右脚首。对人体关节图像特征进行提取;人体关节的特征学习是通过CNN卷积神经网络从大量样本中训练学习得到的;在模型的运行阶段,模型从图像中提取特征。上述人体关节识别模型训练好后,即进入队列动作纠错阶段,该阶段的具体过程为:
通过前面队列动作分类阶段所确认的队列动作类别,找到相应的标准动作关节点模型,对比分析标准动作与所获得队列动作进行纠错提示。本实施例还提供一种单兵队列动作智能监督纠错系统,包括接收单元,接收从摄像头传来的队列视频,截取每帧队列视频的图像并记录对应的时间;
人体检测单元,将每一帧图像调整至相同尺寸,输入改进SSD人体检测分类模型,通过改进SSD人体检测模型,并;动作分析单元;将SSD模型处理后的图像输入到训练好的改进支持向量机中,获得队列动作所属分类;
人体骨架图生成单元,将图像信息输入其对应的队列动作的训练好的人体关节识别模型进行计算,获得队列图像中包含的每个人体关节及其位置坐标,对各个关节根据坐标位置有序连线,得到人体骨架图;对比处理单元,标准队列动作对所述人体骨架图进行对比处理,获得不标准队列图像;输出单元,将所述不标准队列图像与标准的队列图像骨架图一起输出,并通过声信号的方式传递给队列受训者。
虽然上面已经参考各种实施例描述了本发明,但是应当理解,在不脱离本发明的范围的情况下,可以进行许多改变和修改。也就是说上面讨论的方法,系统和设备是示例。各种配置可以适当地省略,替换或添加各种过程或组件。例如,在替代配置中,可以以与所描述的顺序不同的顺序执行方法,和/或可以添加,省略和/或组合各种部件。而且,关于某些配置描述的特征可以以各种其他配置组合,如可以以类似的方式组合配置的不同方面和元素。此外,随着技术发展其中的元素可以更新,即许多元素是示例,并不限制本公开或权利要求的范围。
在说明书中给出了具体细节以提供对包括实现的示例性配置的透彻理解。然而,可以在没有这些具体细节的情况下实践配置例如,已经示出了众所周知的电路、过程、算法、结构和技术而没有不必要的细节,以避免模糊配置。该描述仅提供示例配置,并且不限制权利要求的范围,适用性或配置。相反,前面对配置的描述将为本领域技术人员提供用于实现所描述的技术的使能描述。在不脱离本公开的精神或范围的情况下,可以对元件的功能和布置进行各种改变。
综上,其旨在上述详细描述被认为是例示性的而非限制性的,并且应当理解,以上这些实施例应理解为仅用于说明本发明而不用于限制本发明的保护范围。在阅读了本发明的记载的内容之后,技术人员可以对本发明作各种改动或修改,这些等效变化和修饰同样落入本发明权利要求所限定的范围。

Claims (10)

1.一种单兵队列动作智能实时检测与纠错系统,其特征在于,包括:依次控制连接的接收单元、动作检测分类单元、人体骨架生成单元、对比处理单元和输出单元。
2.如权利要求1所述的系统,其特征在于,所述接收单元用于接收从摄像头传来的队列视频并进行处理。
3.如权利要求1所述的系统,其特征在于,所述动作检测分类单元用于图像尺寸调整、图像中人体动作的检测以及标记分类。
4.如权利要求1所述的系统,其特征在于,所述人体骨架生成单元用于计算图像中人体关节及其位置坐标、对所述位置坐标有序连线以及输出连线后得到的人体骨架图。
5.如权利要求1所述的系统,其特征在于,所述对比处理单元用于构建数据库、图像对比处理以及输出对比信息。
6.一种单兵队列动作智能实时检测与纠错方法,其应用于如权利要求5所述的单兵队列动作智能实时检测与纠错系统,其特征在于,所述方法包括以下步骤:
步骤一:在所述对比处理单元内构建三大步伐的标准队列动作数据库,所述三大步伐包括齐步、正步和跑步,所述数据库包括三大步伐的标准队列动作视频和标准队列关节点动态图像;
步骤二:通过所述接收单元接收从摄像头传来的队列视频,并截取队列动作视频的图像并记录对应的时间;
步骤三:通过所述动作检测分类单元将所述接收单元发送过来的队列动作图像调整至相同尺寸,然后使用改进的SSD人体动作检测器检测所述队列动作图像,再通过检测结果标记其所属的队列动作类型;
步骤四:在所述人体骨架图生成单元内使用队列动作人体关节识别模型计算出相对应的带有队列动作类型标记的图像中的人体关节及其位置坐标,再对各个关节根据坐标位置有序连线,最后输出人体骨架图;
步骤五:在所述对比处理单元内,从标准队列动作视频中截取与每帧队列动作图像对应时间相同的标准队列图像后,使用该图像对所述人体骨架图进行对比处理,输出不标准队列图像,以及所述不标准队列图像中的错误信息;所述对比处理过程包括将每帧队列图像对应的人体骨架图与标准队列图像中的标准队列动作进行对比分析后,确定每帧人体骨架图中每个模块队列动作的分值,将总分值低于阈值的模块标记出来,并通过声信号反馈给受训者。而将连续多帧人体骨架图所有模块对应分值的平均值作为连续多帧人体骨架图呈现的总体队列动作的总分值,作为队列动作的总评分反馈给受训者,所述阈值可由施训者设定;
步骤六:通过所述输出单元实时地输出所述不标准队列图像和与所述不标准队列图像对应的标准队列关节点动态图像、以及输出声提示信号。
7.如前述权利要求之一所述的一种单兵队列动作智能实时检测与纠错方法,其特征在于,所述改进的SSD人体动作检测器由适用于SSD的改进16层视觉几何群网络、非极大值抑制层;改进VGG-16网络中的38*38*512第四卷积层、19*19*1024第七卷积层、10*10*512第八卷积层、5*5*256第九卷积层、3*3*256第十卷积层、1*1*128第十一卷积层分别与非极大值抑制层相连接,同一目标仅保留预测置信度最高的候选框,可以提高识别准确率;识别过程中,提取候选区域与检测过程二合一,可以提升识别速度。
8.如前述权利要求之一所述的一种单兵队列动作智能实时检测与纠错方法,其特征在于,去掉了传统VGG-16网络的FC6、FC7、FC8全连接层,去掉了传统VGG-16网络的dropout层,将第五最大池化层从2*2*256-s2变换到3*3*256-s1,使经过第五池化层过后的特征图保持较大的尺寸;在进行卷积、池化运算时添加了空洞卷积算法机制,使得后面层的感受野重新保持不变,有利于模型继续采用原来的网络参数进行模型微调。
9.如前述权利要求所述的基于深度学习图像识别的单兵队列动作实时检测纠错方法,其特征在于,所述SSD人体动作检测器对不同尺度的特征图上的每个点,设定生成尺度不同的特征抓取盒,每个特征图对应的特征抓取盒由特征尺度参数确定;用3*3卷积核对盒范围内图像卷积运算,提取每个特征盒中的特征,每种卷积图用到的卷积核为3*3*6*7。判断特征抓取盒内是否有对应的目标。
10.如权利要求3所述的基于深度学习图像识别的单兵队列动作实时检测纠错方法,其特征在于,所述非极大值抑制层输入为大量不同尺度的特征图像的预测结果,非极大值抑制层保留置信度得分最大的目标检测候选框,抑制在同一目标的位置上产生的大量较低置信度的候选框。
CN202011128240.1A 2020-10-21 2020-10-21 一种单兵队列动作智能实时监督纠错系统及方法 Active CN112257568B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011128240.1A CN112257568B (zh) 2020-10-21 2020-10-21 一种单兵队列动作智能实时监督纠错系统及方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011128240.1A CN112257568B (zh) 2020-10-21 2020-10-21 一种单兵队列动作智能实时监督纠错系统及方法

Publications (2)

Publication Number Publication Date
CN112257568A true CN112257568A (zh) 2021-01-22
CN112257568B CN112257568B (zh) 2022-09-20

Family

ID=74244034

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011128240.1A Active CN112257568B (zh) 2020-10-21 2020-10-21 一种单兵队列动作智能实时监督纠错系统及方法

Country Status (1)

Country Link
CN (1) CN112257568B (zh)

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107909060A (zh) * 2017-12-05 2018-04-13 前海健匠智能科技(深圳)有限公司 基于深度学习的健身房健身动作识别方法及装置
CN108734104A (zh) * 2018-04-20 2018-11-02 杭州易舞科技有限公司 基于深度学习图像识别的健身动作纠错方法及系统
CN108985223A (zh) * 2018-07-12 2018-12-11 天津艾思科尔科技有限公司 一种人体动作识别方法
CN110348312A (zh) * 2019-06-14 2019-10-18 武汉大学 一种区域视频人体动作行为实时识别方法
CN110532937A (zh) * 2019-08-26 2019-12-03 北京航空航天大学 基于识别模型与分类模型进行列车前向目标精准识别的方法
RU2713876C1 (ru) * 2019-02-12 2020-02-07 Публичное Акционерное Общество "Сбербанк России" (Пао Сбербанк) Способ и система выявления тревожных событий при взаимодействии с устройством самообслуживания

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107909060A (zh) * 2017-12-05 2018-04-13 前海健匠智能科技(深圳)有限公司 基于深度学习的健身房健身动作识别方法及装置
CN108734104A (zh) * 2018-04-20 2018-11-02 杭州易舞科技有限公司 基于深度学习图像识别的健身动作纠错方法及系统
CN108985223A (zh) * 2018-07-12 2018-12-11 天津艾思科尔科技有限公司 一种人体动作识别方法
RU2713876C1 (ru) * 2019-02-12 2020-02-07 Публичное Акционерное Общество "Сбербанк России" (Пао Сбербанк) Способ и система выявления тревожных событий при взаимодействии с устройством самообслуживания
CN110348312A (zh) * 2019-06-14 2019-10-18 武汉大学 一种区域视频人体动作行为实时识别方法
CN110532937A (zh) * 2019-08-26 2019-12-03 北京航空航天大学 基于识别模型与分类模型进行列车前向目标精准识别的方法

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
MADHAWA VIDANPATHIRANA,ET AL.: "Tracking and frame-rate enhancement for real-time 2D human pose estimation", 《THE VISUAL COMPUTER》 *
邢浩强 等: "基于改进SSD的行人检测方法", 《计算机工程》 *
魏丽冉: "基于目标检测的人体动作识别研究", 《中国优秀博硕士学位论文全文数据库(硕士)信息科技辑》 *

Also Published As

Publication number Publication date
CN112257568B (zh) 2022-09-20

Similar Documents

Publication Publication Date Title
CN108073888A (zh) 一种教学辅助方法及采用该方法的教学辅助系统
CN111931804B (zh) 一种基于rgbd摄像机的人体动作自动评分方法
ZA202300610B (en) System and method for crop monitoring
US20220180534A1 (en) Pedestrian tracking method, computing device, pedestrian tracking system and storage medium
Ma et al. Research and analysis of sports training real-time monitoring system based on mobile artificial intelligence terminal
CN110555408A (zh) 一种基于自适应映射关系的单摄像头实时三维人体姿态检测方法
CN107038400A (zh) 人脸识别装置及方法和利用其的目标人跟踪装置及方法
CN113920326A (zh) 基于人体骨骼关键点检测的摔倒行为识别方法
Xu et al. Classroom attention analysis based on multiple euler angles constraint and head pose estimation
CN116030519A (zh) 一种直播教学平台的学习注意力检测与评估方法
Fei et al. Flow-pose Net: An effective two-stream network for fall detection
CN103310191A (zh) 运动信息图像化的人体动作识别方法
CN114170686A (zh) 一种基于人体关键点的屈肘行为检测方法
Xu et al. Using trajectory features for tai chi action recognition
CN112257568B (zh) 一种单兵队列动作智能实时监督纠错系统及方法
CN117011946A (zh) 一种基于人体行为识别的无人救援方法
CN114639168B (zh) 一种用于跑步姿态识别的方法和系统
CN113947811A (zh) 一种基于生成对抗网络的太极拳动作校正方法及系统
CN114882344A (zh) 基于半监督和注意力机制的少样本水下鱼体跟踪方法
CN112070840B (zh) 一种多深度相机融合的人体空间定位与跟踪方法
Liu A study of athlete pose estimation techniques in sports game videos combining multiresidual module convolutional neural networks
CN114187663A (zh) 基于雷达探测灰度图与神经网络的体态控制无人机的方法
Liu et al. A novel model for intelligent pull-ups test based on key point estimation of human body and equipment
CN112212828A (zh) 一种基于双目视觉的定位器坡度测量方法
Cui et al. Mobile Big Data Analytics for Human Behavior Recognition in Wireless Sensor Network Based on Transfer Learning

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant