CN110045823B - 一种基于动作捕捉的动作指导方法和装置 - Google Patents

一种基于动作捕捉的动作指导方法和装置 Download PDF

Info

Publication number
CN110045823B
CN110045823B CN201910184701.8A CN201910184701A CN110045823B CN 110045823 B CN110045823 B CN 110045823B CN 201910184701 A CN201910184701 A CN 201910184701A CN 110045823 B CN110045823 B CN 110045823B
Authority
CN
China
Prior art keywords
action image
human body
user
image
standard
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201910184701.8A
Other languages
English (en)
Other versions
CN110045823A (zh
Inventor
张子聪
戚盼
王志远
刘芷辰
黄颖
高英
陈青云
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing University of Posts and Telecommunications
Original Assignee
Beijing University of Posts and Telecommunications
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing University of Posts and Telecommunications filed Critical Beijing University of Posts and Telecommunications
Priority to CN201910184701.8A priority Critical patent/CN110045823B/zh
Publication of CN110045823A publication Critical patent/CN110045823A/zh
Application granted granted Critical
Publication of CN110045823B publication Critical patent/CN110045823B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20Movements or behaviour, e.g. gesture recognition

Abstract

本发明公开了一种基于动作捕捉的动作指导方法,包括:获取标准动作图像及用户动作图像;输出标准动作图像和用户动作图像中人体各关键点及二维坐标的数字信号;识别人体的肢体长度及肢体夹角,标识出标准动作图像和调整后的用户动作图像中人体各关节点及各关节点的二维坐标的数字信号;分别将标准动作图像中人体各关键点的二维坐标的数字信号与第一人体骨骼模型对应、调整后的用户动作图像中人体各关键点的二维坐标的数字信号与第二人体骨骼模型对应;对比第一骨骼模型的动作和第二骨骼模型的动作中各肢体间的夹角,以判断用户的动作与标准的动作是否在误差范围内;若用户的动作与标准的动作偏差超过阈值,则提醒用户朝减少误差的方向调整动作。

Description

一种基于动作捕捉的动作指导方法和装置
技术领域
本发明涉及人机交互技术领域,特别是指一种基于动作捕捉的动作指导方法和装置。
背景技术
随着经济的发展和社会的进步,人们对于生活品质的要求越来越高,更加注重通过瑜伽、舞蹈、健身器材等来丰富自身的娱乐生活,并提高身体素质。但由于学习班费用昂贵、不愿意在众人面前表现自己等因素的影响,很多人需要动作指导系统来提高自身的学习效率。
有关动作捕捉技术,现有较为成熟技术可分为机械式、声学式、电磁式、惯性导航式以及光学式。相较于其它几种形式,光学式的优势在于配套的外设简单,用户的活动自由度很高,能够最大化地提高用户学习效率,改善用户使用体验;同时较高的采样率可以进一步提升用户动作采集的准确度。
目前采用光学式动作捕捉方法的动作指导方案中通常使用六个以上的相机环绕场地排列,来确定观测点在空间中的位置。同时为了满足计算机视觉系统的捕捉,需要用户穿着单色的服装,并在关键点处贴上颜色鲜艳的特制光点。再者,指导系统的处理流程和时间复杂度均比较繁琐。
可见,对于一般的用户而言,六台以上相机的高物质条件以及大场地的限制,很难满足。使用前要更换单色服装并佩戴光点,十分繁琐。处理流程和处理时间复杂度的繁琐导致动作匹配和识别效果不够好。
发明内容
有鉴于此,本发明的目的在于提出一种基于动作捕捉的动作指导方法。
基于上述目的本发明提供的基于动作捕捉的动作指导方法,所述方法包括下述步骤:
获取标准动作图像及用户动作图像;
预处理所述标准动作图像和所述用户动作图像,识别标准动作姿势以及用户动作姿势,并输出所述标准动作图像和所述用户动作图像中人体各关键点及其二维坐标的数字信号;
分析所述人体各关键点的二维坐标的数字信号,识别标准动作图像和用户动作图像中人体的肢体长度及肢体夹角,对所述用户动作图像进行归一化处理,使所述用户动作图像的肢体长度与标准动作图像相适配,输出调整后的用户动作图像中人体各关键点的二维坐标的数字信号,并标识出标准动作图像和调整后的用户动作图像中人体各关节点及各关节点的二维坐标的数字信号;
分别将所述的标准动作图像和调整后的用户动作图像中人体各关节点根据所述二维坐标的数字信号有序连线,分别得到适用于所述标准动作图像的第一人体骨骼模型和适用于所述调整后的用户动作图像的第二人体骨骼模型,并分别将所述标准动作图像中人体各关键点的二维坐标的数字信号与所述第一人体骨骼模型对应、所述调整后的用户动作图像中人体各关键点的二维坐标的数字信号与所述第二人体骨骼模型对应;
对比第一骨骼模型的动作和第二骨骼模型的动作中各肢体间的夹角,以判断用户的动作与标准的动作是否在误差范围内;若用户的动作与标准的动作偏差超过阈值,则提醒用户朝减少误差的方向调整动作。
在其中一个实施例中,所述对比第一骨骼模型的动作和所述第二骨骼模型的动作中各肢体间的夹角的步骤包括:
根据所述第一骨骼模型和所述第二骨骼模型中人体各关键点的二维坐标,计算出各肢体间的夹角;
依次计算相同肢体夹角之间的误差,当出现误差超过阈值的夹角时,中断下一夹角的对比,并提醒用户朝减少误差的方向调整动作,直至夹角的误差符合阈值;当误差符合阈值时,则继续进行下一夹角的对比,直至所有夹角都符合阈值,则终止对比。
在其中一个实施例中,所述对所述用户动作图像进行归一化处理包括:
在保持用户动作图像中的各肢体夹角恒定的条件下,将用户动作图像中的肢体长度进行等比例缩放,使得用户动作图像与标准动作图像中的人体保持躯干身长一致。
在其中一个实施例中,所述标识出标准动作图像和调整后的用户动作图像中人体各关节点及各关节点的二维坐标的数字信号包括:
分别将所述标准动作图像和所述调整后的用户动作图像中的所述人体各关键点按照人体的拓扑关系进行拟合,并将拟合度最高的结果作为最终输出的识别结果,从而标识出各关节点,并根据所述各关键点的二维坐标的数字信号输出所述各关节点的二维坐标的数字信号。
在其中一个实施例中,所述预处理所述标准动作图像和所述用户动作图像包括:
通过深度学习网络分别提取所述标准动作图像和所述用户动作图像的特征,检测出人体的各关键点,将不同位置的各个关键点进行聚类处理,确定动作姿势,通过各关键点的相对位置信息,定位各关键点的二维坐标方位,并转换为二维坐标的数字信号。
在其中一个实施例中,所述获取标准动作图像及用户动作图像包括:
读取预设的或用户输入的教程文件,得到标准动作图像;
拍摄用户的动作,得到用户动作图像。
在其中一个实施例中,所述提醒用户朝减少误差的方向调整动作包括:
在第一人体骨骼模型和第二人体骨骼模型上对应的关键点进行突出显示,和/或进行语音提示。
本发明还提供一种基于动作捕捉的动作指导装置,包括:
图像采集模块:用于获取标准动作图像及用户动作图像;
图像预处理模块:用于预处理所述标准动作图像和所述用户动作图像,识别标准动作以及用户动作姿势,并输出所述标准动作图像和所述用户动作图像中人体各关键点及其二维坐标的数字信号;
人体各关键点识别模块:用于分析所述人体各关键点的二维坐标的数字信号,识别标准动作图像和用户动作图像中人体的肢体长度及肢体夹角,对所述用户动作图像进行归一化处理,使所述用户动作图像的肢体长度与标准动作图像相适配,输出调整后的用户动作图像中人体各关键点的二维坐标的数字信号,并标识出标准动作图像和调整后的用户动作图像中人体各关节点及各关节点的二维坐标的数字信号;
人体骨骼模型建设模块:用于分别将所述的标准动作图像和调整后的用户动作图像中人体各关节点根据所述二维坐标的数字信号有序连线,分别得到适用于所述标准动作图像的第一人体骨骼模型和适用于所述调整后的用户动作图像的第二人体骨骼模型,并分别将所述标准动作图像中人体各关键点的二维坐标的数字信号与所述第一人体骨骼模型对应、所述调整后的用户动作图像中人体各关键点的二维坐标的数字信号与所述第二人体骨骼模型对应;
对比模块:用于对比第一骨骼模型的动作和第二骨骼模型的动作中各肢体间的夹角,以判断用户的动作与标准的动作是否在误差范围内;
输出模块:当用户的动作与标准的动作偏差超过阈值,则提醒用户朝减少误差的方向调整动作。
在其中一个实施例中,所述图像采集模块包括:
文件读取端口,用于读取内置的或教程文件,得到标准动作图像;
以及摄像机,用于拍摄用户的动作,得到用户动作图像。
在其中一个实施例中,所述人体各关键点识别模块包括:
动作数据分析模块,用于根据人体各关键点的二维坐标的数字信号,识别标准动作图像和用户动作图像中人体的肢体长度及肢体夹角,对所述用户动作图像进行归一化处理,使所述用户动作图像的肢体长度与标准动作图像相适配,输出调整后的用户动作图像中人体各关键点的二维坐标的数字信号;
人体各关键点定位模块,用于分别将所述标准动作图像和所述调整后的用户动作图像中的所述人体各关键点按照人体的拓扑关系进行拟合,并将拟合度最高的结果作为最终输出的识别结果,从而标识出各关节点,并根据所述各关键点的二维坐标的数字信号输出所述各关节点的二维坐标的数字信号。
从上面所述可以看出,本发明提供的动作指导方法及指导装置,通过识别标准动作图像和用户动作图像中的所有关键点,并输出各关键点的二维坐标的数字信号,再分别构建标准动作图像和用户动作图像的人体骨骼模型。把标准动作的各肢体间的夹角和用户动作的各肢体间的夹角进行对比,完成动作对比,并将对比结果输出,给出减少动作误差的指导。能够有效避免了六台以上相机的高物质条件以及大场地的使用,节省巨额成本,同时还能解决目标对象的自遮挡问题,高效准确的给予用户动作指导。
附图说明
图1为本发明实施例的基于动作捕捉的动作指导方法的流程图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚明白,以下结合具体实施例,并参照附图,对本发明进一步详细说明。
请查阅图1,本发明提供一种基于动作捕捉的动作指导方法,其特征在于,所述方法包括下述步骤:
S100,获取标准动作图像及用户动作图像;
S200,预处理所述标准动作图像和所述用户动作图像,识别标准动作姿势以及用户动作姿势,并输出所述标准动作图像和所述用户动作图像中人体各关键点及其二维坐标的数字信号;
S300,分析所述人体各关键点的二维坐标的数字信号,识别标准动作图像和用户动作图像中人体的肢体长度及肢体夹角,对所述用户动作图像进行归一化处理,使所述用户动作图像的肢体长度与标准动作图像相适配,输出调整后的用户动作图像中人体各关键点的二维坐标的数字信号,并标识出标准动作图像和调整后的用户动作图像中人体各关节点及各关节点的二维坐标的数字信号;
S400,分别将所述的标准动作图像和调整后的用户动作图像中人体各关节点根据所述二维坐标的数字信号有序连线,分别得到适用于所述标准动作图像的第一人体骨骼模型和适用于所述调整后的用户动作图像的第二人体骨骼模型,并分别将所述标准动作图像中人体各关键点的二维坐标的数字信号与所述第一人体骨骼模型对应、所述调整后的用户动作图像中人体各关键点的二维坐标的数字信号与所述第二人体骨骼模型对应;
S500,对比所述第一骨骼模型的动作和所述第二骨骼模型的动作中各肢体间的夹角,以判断用户的动作与标准的动作是否在误差范围内;若用户的动作与标准的动作偏差超过阈值,则提醒用户朝减少误差的方向调整动作。
具体地,步骤S100中,获取标准动作图像及用户动作图像可以包括:读取预设的或用户输入的教程文件,得到标准动作图像;拍摄用户的动作,得到用户动作图像。
步骤S200中,预处理所述标准动作图像和所述用户动作图像可以包括:
通过深度学习网络分别提取所述标准动作图像和所述用户动作图像的特征,分别检测出标准动作图像和用户动作图像中人体的各关键点,将各个关键点进行聚类处理,确定动作姿势,通过各关键点的相对位置信息,定位各关键点的二维坐标方位,并转换为二维坐标的数字信号。
其中,将各个关键点进行聚类处理,具体是指将分别属于标准动作中人体和用户的在不同位置的各个关键点按照人体的拓扑关系连接起来。
步骤S300中,人体的肢体长度是指头部、躯干、左上臂、左下臂、左手、右上臂、右下臂、右手、左大腿、左小腿、左脚、右大腿、右小腿和右脚的长度。肢体夹角,是指躯干和地面之间的夹角、头部与躯干之间的夹角、左大腿和躯干之间的夹角、左小腿和左大腿之间的夹角、左脚和左小腿之间的夹角、右大腿和躯干之间的夹角、右小腿和右大腿之间的夹角、右脚和右小腿之间的夹角、左大臂和躯干之间的夹角、左小臂和左大臂之间的夹角、左手和左小臂之间的夹角、右大臂和躯干之间的夹角、右小臂和右大臂之间的夹角、右手和右小臂之间的夹角。
所述对所述用户动作图像进行归一化处理是指:在保持用户动作图像中的各肢体夹角恒定的条件下,将用户动作图像中的肢体长度进行等比例缩放,使得用户动作图像与标准动作图像中的人体保持躯干身长一致。
通过对所述用户动作图像进行归一化处理,可以避免后续的对比过程中的归一化处理,避免每次夹角对比的过程中进行归一化处理,可以大大节省对比时的时间复杂度。
所述标识出标准动作图像和调整后的用户动作图像中人体各关节点及各关节点的二维坐标的数字信号是指:分别将所述标准动作图像和所述调整后的用户动作图像中的所述人体各关键点按照人体的拓扑关系进行拟合,并将拟合度最高的结果作为最终输出的识别结果,从而标识出各关节点,并根据所述各关键点的二维坐标的数字信号输出所述各关节点的二维坐标的数字信号。
步骤S500中,对比所述第一骨骼模型和所述第二骨骼模型中人体各肢体间的夹角具体包括:
S510,根据所述第一骨骼模型和所述第二骨骼模型中人体各关键点的二维坐标,计算出各肢体间的夹角。
具体的,本步骤采用相对角算法,即基于人体骨骼的中轴定性,根据人体各关键点的相对方位,以及二维坐标信息,来计算各肢体间的夹角。
夹角的计算步骤具体可以包括:
S511,构建直角坐标系:以图片右上角为坐标原点,向右为x轴正方向,向下为y轴正方向;
S512,确定待求夹角的第一端点、第二端点和顶点的坐标:按照(第一端点顶点第二端点)的顺序排列;顶点指的是两个肢体相交的点,第一端点指的是其中一个肢体相对于顶点的另一点,第二端点指的是另外一个肢体相对于顶点的另一点;
S513,计算上述三点,即第一端点、第二端点和一个顶点所围成的三角形的三条边长:
第一端点和第二端点的坐标分别为A(x1,y1)和B(x2,y2),顶点的坐标为A(x3,y3)
则三角形的三条边长分别为
Figure BDA0001992456860000071
Figure BDA0001992456860000072
Figure BDA0001992456860000073
S514,利用余弦定理计算待求夹角的余弦值:
利用余弦定理
Figure BDA0001992456860000074
得到待求夹角
Figure BDA0001992456860000075
S520,依次对比第一骨骼模型和第二骨骼模型中各肢体之间的夹角,计算夹角之间的误差,当出现误差超过阈值的夹角时,中断下一夹角的对比,并提醒用户朝减少误差的方向调整动作,直至夹角的误差符合阈值;当误差符合阈值时,则继续进行下一夹角的对比,直至所有夹角都符合阈值,则终止对比。
具体地,计算两个夹角之间的误差d,采用下述公式进行:
Figure BDA0001992456860000076
θ1和θ2分别为待对比的两个夹度。
本发明还提供一种应用于上述的基于动作捕捉的动作指导方法的动作指导装置,包括:
图像采集模块:用于获取标准动作图像及用户动作图像;
图像预处理模块:用于预处理所述标准动作图像和所述用户动作图像,识别标准动作以及用户动作姿势,并输出所述标准动作图像和所述用户动作图像中人体各关键点及其二维坐标的数字信号;
人体各关键点识别模块:用于分析所述人体各关键点的二维坐标的数字信号,识别标准动作图像和用户动作图像中人体的肢体长度及肢体夹角,对所述用户动作图像进行归一化处理,使所述用户动作图像的肢体长度与标准动作图像相适配,输出调整后的用户动作图像中人体各关键点的二维坐标的数字信号,并标识出标准动作图像和调整后的用户动作图像中人体各关节点及各关节点的二维坐标的数字信号;
人体骨骼模型建设模块:用于分别将所述的标准动作图像和调整后的用户动作图像中人体各关节点根据所述二维坐标的数字信号有序连线,分别得到适用于所述标准动作图像的第一人体骨骼模型和适用于所述调整后的用户动作图像的第二人体骨骼模型,并分别将所述标准动作图像中人体各关键点的二维坐标的数字信号与所述第一人体骨骼模型对应、所述调整后的用户动作图像中人体各关键点的二维坐标的数字信号与所述第二人体骨骼模型对应;
比对模块:用于对比所述第一骨骼模型的动作和所述第二骨骼模型的动作中各肢体间的夹角,以判断用户的动作与标准的动作是否在误差范围内。
输出模块:当用户的动作与标准的动作偏差超过阈值,则提醒用户朝减少误差的方向调整动作。
优选地,所述图像采集模块包括:
文件读取端口,用于读取内置的或教程文件,得到标准动作图像;
以及一个摄像机,用于拍摄用户的动作,得到用户动作图像。
优选地,所述人体各关键点识别模块包括:
动作数据分析模块,用于根据人体各关键点的二维坐标的数字信号,识别标准动作图像和用户动作图像中人体的肢体长度及肢体夹角,对所述用户动作图像进行归一化处理,使所述用户动作图像的肢体长度与标准动作图像相适配,输出调整后的用户动作图像中人体各关键点的二维坐标的数字信号;
人体各关键点定位模块,用于分别将所述标准动作图像和所述调整后的用户动作图像中的所述人体各关键点按照人体的拓扑关系进行拟合,并将拟合度最高的结果作为最终输出的识别结果,从而标识出各关节点,并根据所述各关键点的二维坐标的数字信号输出所述各关节点的二维坐标的数字信号。
优选地,输出模块包括显示器和语音显示装置。当用户动作的肢体的夹角超过误差范围,在显示器上播放的第一人体骨骼模型上对应的关键点进行突出显示,并通过语音装置提醒用户朝减少误差的方向调整自身的动作,实现对用户动作的指导。
本发明通过将归一化处理放到建立模型的过程中,从而避免了在比对过程中的归一化;同时比对的过程没有使用关键点的二维坐标直接进行对比,而是通过关键点的坐标,计算出肢体间的角度,当不同的人做同一个动作并且保持面对摄像头的角度相同时,这些角度是相同的,从而进一步避免了比对过程的归一化,并减小了比对时的复杂度,提高了比对效率。
需要说明的是,本发明实施例中所有使用“第一”和“第二”的表述均是为了区分两个相同名称非相同的实体或者非相同的参量,可见“第一”“第二”仅为了表述的方便,不应理解为对本发明实施例的限定,后续实施例对此不再一一说明。
所属领域的普通技术人员应当理解:以上任何实施例的讨论仅为示例性的,并非旨在暗示本公开的范围(包括权利要求)被限于这些例子;在本发明的思路下,以上实施例或者不同实施例中的技术特征之间也可以进行组合,步骤可以以任意顺序实现,并存在如上所述的本发明的不同方面的许多其它变化,为了简明它们没有在细节中提供。
本发明的实施例旨在涵盖落入所附权利要求的宽泛范围之内的所有这样的替换、修改和变型。因此,凡在本发明的精神和原则之内,所做的任何省略、修改、等同替换、改进等,均应包含在本发明的保护范围之内。

Claims (10)

1.一种基于动作捕捉的动作指导方法,其特征在于,所述方法包括下述步骤:
获取标准动作图像及用户动作图像;
预处理所述标准动作图像和所述用户动作图像,识别标准动作姿势以及用户动作姿势,并输出所述标准动作图像和所述用户动作图像中人体各关键点及其二维坐标的数字信号;
分析所述人体各关键点的二维坐标的数字信号,识别标准动作图像和用户动作图像中人体的肢体长度及肢体夹角,对所述用户动作图像进行归一化处理,在保持所述用户动作图像中的各肢体夹角恒定的条件下,将用户动作图像中的肢体长度进行等比例缩放,使所述用户动作图像的肢体长度与标准动作图像相适配,输出调整后的用户动作图像中人体各关键点的二维坐标的数字信号,并标识出标准动作图像和调整后的用户动作图像中人体各关节点及各关节点的二维坐标的数字信号;
分别将所述的标准动作图像和调整后的用户动作图像中人体各关节点根据所述二维坐标的数字信号有序连线,分别得到适用于所述标准动作图像的第一人体骨骼模型和适用于所述调整后的用户动作图像的第二人体骨骼模型,并分别将所述标准动作图像中人体各关键点的二维坐标的数字信号与所述第一人体骨骼模型对应、所述调整后的用户动作图像中人体各关键点的二维坐标的数字信号与所述第二人体骨骼模型对应;
对比第一骨骼模型的动作和第二骨骼模型的动作中各肢体间的夹角,以判断用户的动作与标准的动作是否在误差范围内;若用户的动作与标准的动作偏差超过阈值,则提醒用户朝减少误差的方向调整动作。
2.根据权利要求1所述的基于动作捕捉的动作指导方法,其特征在于,所述对比第一骨骼模型的动作和所述第二骨骼模型的动作中各肢体间的夹角的步骤包括:
根据所述第一骨骼模型和所述第二骨骼模型中人体各关键点的二维坐标,计算出各肢体间的夹角;
依次计算相同肢体夹角之间的误差,当出现误差超过阈值的夹角时,中断下一夹角的对比,并提醒用户朝减少误差的方向调整动作,直至夹角的误差符合阈值;
当误差符合阈值时,则继续进行下一夹角的对比,直至所有夹角都符合阈值,则终止对比。
3.根据权利要求1所述的基于动作捕捉的动作指导方法,其特征在于,所述对所述用户动作图像进行归一化处理包括:
在保持用户动作图像中的各肢体夹角恒定的条件下,将用户动作图像中的肢体长度进行等比例缩放,使得用户动作图像与标准动作图像中的人体保持躯干身长一致。
4.根据权利要求1所述的基于动作捕捉的动作指导方法,其特征在于,所述标识出标准动作图像和调整后的用户动作图像中人体各关节点及各关节点的二维坐标的数字信号包括:
分别将所述标准动作图像和所述调整后的用户动作图像中的所述人体各关键点按照人体的拓扑关系进行拟合,并将拟合度最高的结果作为最终输出的识别结果,从而标识出各关节点,并根据所述各关键点的二维坐标的数字信号输出所述各关节点的二维坐标的数字信号。
5.根据权利要求1所述的基于动作捕捉的动作指导方法,其特征在于,所述预处理所述标准动作图像和所述用户动作图像包括:
通过深度学习网络分别提取所述标准动作图像和所述用户动作图像的特征,检测出人体的各关键点,将不同位置的各个关键点进行聚类处理,确定动作姿势,通过各关键点的相对位置信息,定位各关键点的二维坐标方位,并转换为二维坐标的数字信号。
6.根据权利要求1所述的基于动作捕捉的动作指导方法,其特征在于,所述获取标准动作图像及用户动作图像包括:
读取预设的或用户输入的教程文件,得到标准动作图像;
拍摄用户的动作,得到用户动作图像。
7.根据权利要求1所述的基于动作捕捉的动作指导方法,其特征在于,所述提醒用户朝减少误差的方向调整动作包括:
在第一人体骨骼模型和第二人体骨骼模型上对应的关键点进行突出显示,和/或进行语音提示。
8.一种基于动作捕捉的动作指导装置,其特征在于,包括:
图像采集模块:用于获取标准动作图像及用户动作图像;
图像预处理模块:用于预处理所述标准动作图像和所述用户动作图像,识别标准动作以及用户动作姿势,并输出所述标准动作图像和所述用户动作图像中人体各关键点及其二维坐标的数字信号;
人体各关键点识别模块:用于分析所述人体各关键点的二维坐标的数字信号,识别标准动作图像和用户动作图像中人体的肢体长度及肢体夹角,对所述用户动作图像进行归一化处理,在保持所述用户动作图像中的各肢体夹角恒定的条件下,将用户动作图像中的肢体长度进行等比例缩放,使所述用户动作图像的肢体长度与标准动作图像相适配,输出调整后的用户动作图像中人体各关键点的二维坐标的数字信号,并标识出标准动作图像和调整后的用户动作图像中人体各关节点及各关节点的二维坐标的数字信号;
人体骨骼模型建设模块:用于分别将所述的标准动作图像和调整后的用户动作图像中人体各关节点根据所述二维坐标的数字信号有序连线,分别得到适用于所述标准动作图像的第一人体骨骼模型和适用于所述调整后的用户动作图像的第二人体骨骼模型,并分别将所述标准动作图像中人体各关键点的二维坐标的数字信号与所述第一人体骨骼模型对应、所述调整后的用户动作图像中人体各关键点的二维坐标的数字信号与所述第二人体骨骼模型对应;
对比模块:用于对比第一骨骼模型的动作和第二骨骼模型的动作中各肢体间的夹角,以判断用户的动作与标准的动作是否在误差范围内;
输出模块:当用户的动作与标准的动作偏差超过阈值,则提醒用户朝减少误差的方向调整动作。
9.根据权利要求8所述的基于动作捕捉的动作指导装置,其特征在于,所述图像采集模块包括:
文件读取端口,用于读取内置的或教程文件,得到标准动作图像;
以及摄像机,用于拍摄用户的动作,得到用户动作图像。
10.根据权利要求8所述的基于动作捕捉的动作指导装置,其特征在于,所述人体各关键点识别模块包括:
动作数据分析模块,用于根据人体各关键点的二维坐标的数字信号,识别标准动作图像和用户动作图像中人体的肢体长度及肢体夹角,对所述用户动作图像进行归一化处理,使所述用户动作图像的肢体长度与标准动作图像相适配,输出调整后的用户动作图像中人体各关键点的二维坐标的数字信号;
人体各关键点定位模块,用于分别将所述标准动作图像和所述调整后的用户动作图像中的所述人体各关键点按照人体的拓扑关系进行拟合,并将拟合度最高的结果作为最终输出的识别结果,从而标识出各关节点,并根据所述各关键点的二维坐标的数字信号输出所述各关节点的二维坐标的数字信号。
CN201910184701.8A 2019-03-12 2019-03-12 一种基于动作捕捉的动作指导方法和装置 Active CN110045823B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910184701.8A CN110045823B (zh) 2019-03-12 2019-03-12 一种基于动作捕捉的动作指导方法和装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910184701.8A CN110045823B (zh) 2019-03-12 2019-03-12 一种基于动作捕捉的动作指导方法和装置

Publications (2)

Publication Number Publication Date
CN110045823A CN110045823A (zh) 2019-07-23
CN110045823B true CN110045823B (zh) 2020-10-02

Family

ID=67274743

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910184701.8A Active CN110045823B (zh) 2019-03-12 2019-03-12 一种基于动作捕捉的动作指导方法和装置

Country Status (1)

Country Link
CN (1) CN110045823B (zh)

Families Citing this family (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110852185A (zh) * 2019-10-21 2020-02-28 西南民族大学 基于人体骨骼关键点识别的视力检测设备及方法
CN110941990B (zh) * 2019-10-22 2023-06-16 泰康保险集团股份有限公司 基于骨骼关键点进行人体动作评估的方法和装置
CN110841266A (zh) * 2019-10-24 2020-02-28 中国人民解放军军事科学院国防科技创新研究院 一种辅助训练系统及方法
CN113051973A (zh) * 2019-12-27 2021-06-29 青岛海尔多媒体有限公司 用于姿势矫正的方法及装置、电子设备
CN111246113B (zh) * 2020-03-05 2022-03-18 上海瑾盛通信科技有限公司 图像处理方法、装置、设备及存储介质
CN111353447B (zh) * 2020-03-05 2023-07-04 辽宁石油化工大学 一种基于图卷积网络的人体骨架行为识别方法
CN111488824B (zh) * 2020-04-09 2023-08-08 北京百度网讯科技有限公司 运动提示方法、装置、电子设备和存储介质
CN112216030B (zh) * 2020-08-31 2022-02-22 厦门宸力科技有限公司 智能服药监测方法、智能服药机、智能服药站和管理系统
CN113516064A (zh) * 2021-07-02 2021-10-19 深圳市悦动天下科技有限公司 体育运动的动作判定方法、装置、设备及存储介质
TWI823478B (zh) * 2022-07-18 2023-11-21 新加坡商鴻運科股份有限公司 人工智慧之動作管理方法、電子設備及存儲介質
CN116403285A (zh) * 2023-04-20 2023-07-07 北京百度网讯科技有限公司 动作识别方法、装置、电子设备以及存储介质

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102323854A (zh) * 2011-03-11 2012-01-18 中国科学院研究生院 人体运动捕获装置
CN106022213A (zh) * 2016-05-04 2016-10-12 北方工业大学 一种基于三维骨骼信息的人体动作识别方法
CN108537284A (zh) * 2018-04-13 2018-09-14 东莞松山湖国际机器人研究院有限公司 基于计算机视觉深度学习算法的姿态评估打分方法和系统
CN108664896A (zh) * 2018-04-16 2018-10-16 彭友 基于OpenPose的击剑动作获取方法及计算机存储介质
CN109389054A (zh) * 2018-09-21 2019-02-26 北京邮电大学 基于自动图像识别和动作模型对比的智能镜子设计方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8147139B2 (en) * 2008-10-13 2012-04-03 George Papaioannou Dynamic biplane roentgen stereophotogrammetric analysis

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102323854A (zh) * 2011-03-11 2012-01-18 中国科学院研究生院 人体运动捕获装置
CN106022213A (zh) * 2016-05-04 2016-10-12 北方工业大学 一种基于三维骨骼信息的人体动作识别方法
CN108537284A (zh) * 2018-04-13 2018-09-14 东莞松山湖国际机器人研究院有限公司 基于计算机视觉深度学习算法的姿态评估打分方法和系统
CN108664896A (zh) * 2018-04-16 2018-10-16 彭友 基于OpenPose的击剑动作获取方法及计算机存储介质
CN109389054A (zh) * 2018-09-21 2019-02-26 北京邮电大学 基于自动图像识别和动作模型对比的智能镜子设计方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
"Motion normalization: the preprocess of motion data";Yan Gao 等;《ACM symposium on Virtual reality software and technology》;20051130;第253-256页 第3小节 *

Also Published As

Publication number Publication date
CN110045823A (zh) 2019-07-23

Similar Documents

Publication Publication Date Title
CN110045823B (zh) 一种基于动作捕捉的动作指导方法和装置
Ahmed et al. Vision based hand gesture recognition using dynamic time warping for Indian sign language
US9898651B2 (en) Upper-body skeleton extraction from depth maps
US20120259638A1 (en) Apparatus and method for determining relevance of input speech
CN107908288A (zh) 一种面向人机交互的快速人体动作识别方法
US9117138B2 (en) Method and apparatus for object positioning by using depth images
CN105740781B (zh) 一种三维人脸活体检测的方法和装置
Maisto et al. An accurate algorithm for the identification of fingertips using an RGB-D camera
CN103839040A (zh) 基于深度图像的手势识别方法和装置
JPWO2012077286A1 (ja) 物体検出装置および物体検出方法
CN110796101A (zh) 一种嵌入式平台的人脸识别方法及系统
CN109325456A (zh) 目标识别方法、装置、目标识别设备及存储介质
KR20120134488A (ko) 제스처 인식 기반 사용자 상호 작용 방법 및 이를 위한 장치
CN111597975A (zh) 人员动作检测方法方法、装置及电子设备
Takimoto et al. A robust gesture recognition using depth data
Jaemin et al. A robust gesture recognition based on depth data
CN111857334A (zh) 人体手势字母的识别方法、装置、计算机设备及存储介质
Shin et al. Hand region extraction and gesture recognition using entropy analysis
Francis et al. Significance of hand gesture recognition systems in vehicular automation-a survey
CN104898971B (zh) 一种基于视线跟踪技术的鼠标指针控制方法及系统
Li et al. Posture recognition technology based on kinect
JP2011113398A (ja) 姿勢推定装置
JP5373128B2 (ja) 人物特定装置、人物特定方法及び人物特定プログラム
Zhao et al. Multi-feature gesture recognition based on Kinect
KR101869304B1 (ko) 컴퓨터를 이용한 수화어 인식시스템, 방법 및 인식프로그램

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant