CN110045823A - 一种基于动作捕捉的动作指导方法和装置 - Google Patents
一种基于动作捕捉的动作指导方法和装置 Download PDFInfo
- Publication number
- CN110045823A CN110045823A CN201910184701.8A CN201910184701A CN110045823A CN 110045823 A CN110045823 A CN 110045823A CN 201910184701 A CN201910184701 A CN 201910184701A CN 110045823 A CN110045823 A CN 110045823A
- Authority
- CN
- China
- Prior art keywords
- image
- user action
- human body
- key point
- user
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/20—Movements or behaviour, e.g. gesture recognition
Abstract
本发明公开了一种基于动作捕捉的动作指导方法,包括:获取标准动作图像及用户动作图像;输出标准动作图像和用户动作图像中人体各关键点及二维坐标的数字信号;识别人体的肢体长度及肢体夹角,标识出标准动作图像和调整后的用户动作图像中人体各关节点及各关节点的二维坐标的数字信号;分别将标准动作图像中人体各关键点的二维坐标的数字信号与第一人体骨骼模型对应、调整后的用户动作图像中人体各关键点的二维坐标的数字信号与第二人体骨骼模型对应;对比第一骨骼模型的动作和第二骨骼模型的动作中各肢体间的夹角,以判断用户的动作与标准的动作是否在误差范围内;若用户的动作与标准的动作偏差超过阈值,则提醒用户朝减少误差的方向调整动作。
Description
技术领域
本发明涉及人机交互技术领域,特别是指一种基于动作捕捉的动作指导方法和装置。
背景技术
随着经济的发展和社会的进步,人们对于生活品质的要求越来越高,更加注重通过瑜伽、舞蹈、健身器材等来丰富自身的娱乐生活,并提高身体素质。但由于学习班费用昂贵、不愿意在众人面前表现自己等因素的影响,很多人需要动作指导系统来提高自身的学习效率。
有关动作捕捉技术,现有较为成熟技术可分为机械式、声学式、电磁式、惯性导航式以及光学式。相较于其它几种形式,光学式的优势在于配套的外设简单,用户的活动自由度很高,能够最大化地提高用户学习效率,改善用户使用体验;同时较高的采样率可以进一步提升用户动作采集的准确度。
目前采用光学式动作捕捉方法的动作指导方案中通常使用六个以上的相机环绕场地排列,来确定观测点在空间中的位置。同时为了满足计算机视觉系统的捕捉,需要用户穿着单色的服装,并在关键点处贴上颜色鲜艳的特制光点。再者,指导系统的处理流程和时间复杂度均比较繁琐。
可见,对于一般的用户而言,六台以上相机的高物质条件以及大场地的限制,很难满足。使用前要更换单色服装并佩戴光点,十分繁琐。处理流程和处理时间复杂度的繁琐导致动作匹配和识别效果不够好。
发明内容
有鉴于此,本发明的目的在于提出一种基于动作捕捉的动作指导方法。
基于上述目的本发明提供的基于动作捕捉的动作指导方法,所述方法包括下述步骤:
获取标准动作图像及用户动作图像;
预处理所述标准动作图像和所述用户动作图像,识别标准动作姿势以及用户动作姿势,并输出所述标准动作图像和所述用户动作图像中人体各关键点及其二维坐标的数字信号;
分析所述人体各关键点的二维坐标的数字信号,识别标准动作图像和用户动作图像中人体的肢体长度及肢体夹角,对所述用户动作图像进行归一化处理,使所述用户动作图像的肢体长度与标准动作图像相适配,输出调整后的用户动作图像中人体各关键点的二维坐标的数字信号,并标识出标准动作图像和调整后的用户动作图像中人体各关节点及各关节点的二维坐标的数字信号;
分别将所述的标准动作图像和调整后的用户动作图像中人体各关节点根据所述二维坐标的数字信号有序连线,分别得到适用于所述标准动作图像的第一人体骨骼模型和适用于所述调整后的用户动作图像的第二人体骨骼模型,并分别将所述标准动作图像中人体各关键点的二维坐标的数字信号与所述第一人体骨骼模型对应、所述调整后的用户动作图像中人体各关键点的二维坐标的数字信号与所述第二人体骨骼模型对应;
对比第一骨骼模型的动作和第二骨骼模型的动作中各肢体间的夹角,以判断用户的动作与标准的动作是否在误差范围内;若用户的动作与标准的动作偏差超过阈值,则提醒用户朝减少误差的方向调整动作。
在其中一个实施例中,所述对比第一骨骼模型的动作和所述第二骨骼模型的动作中各肢体间的夹角的步骤包括:
根据所述第一骨骼模型和所述第二骨骼模型中人体各关键点的二维坐标,计算出各肢体间的夹角;
依次计算相同肢体夹角之间的误差,当出现误差超过阈值的夹角时,中断下一夹角的对比,并提醒用户朝减少误差的方向调整动作,直至夹角的误差符合阈值;当误差符合阈值时,则继续进行下一夹角的对比,直至所有夹角都符合阈值,则终止对比。
在其中一个实施例中,所述对所述用户动作图像进行归一化处理包括:
在保持用户动作图像中的各肢体夹角恒定的条件下,将用户动作图像中的肢体长度进行等比例缩放,使得用户动作图像与标准动作图像中的人体保持躯干身长一致。
在其中一个实施例中,所述标识出标准动作图像和调整后的用户动作图像中人体各关节点及各关节点的二维坐标的数字信号包括:
分别将所述标准动作图像和所述调整后的用户动作图像中的所述人体各关键点按照人体的拓扑关系进行拟合,并将拟合度最高的结果作为最终输出的识别结果,从而标识出各关节点,并根据所述各关键点的二维坐标的数字信号输出所述各关节点的二维坐标的数字信号。
在其中一个实施例中,所述预处理所述标准动作图像和所述用户动作图像包括:
通过深度学习网络分别提取所述标准动作图像和所述用户动作图像的特征,检测出人体的各关键点,将不同位置的各个关键点进行聚类处理,确定动作姿势,通过各关键点的相对位置信息,定位各关键点的二维坐标方位,并转换为二维坐标的数字信号。
在其中一个实施例中,所述获取标准动作图像及用户动作图像包括:
读取预设的或用户输入的教程文件,得到标准动作图像;
拍摄用户的动作,得到用户动作图像。
在其中一个实施例中,所述提醒用户朝减少误差的方向调整动作包括:
在第一人体骨骼模型和第二人体骨骼模型上对应的关键点进行突出显示,和/或进行语音提示。
本发明还提供一种基于动作捕捉的动作指导装置,包括:
图像采集模块:用于获取标准动作图像及用户动作图像;
图像预处理模块:用于预处理所述标准动作图像和所述用户动作图像,识别标准动作以及用户动作姿势,并输出所述标准动作图像和所述用户动作图像中人体各关键点及其二维坐标的数字信号;
人体各关键点识别模块:用于分析所述人体各关键点的二维坐标的数字信号,识别标准动作图像和用户动作图像中人体的肢体长度及肢体夹角,对所述用户动作图像进行归一化处理,使所述用户动作图像的肢体长度与标准动作图像相适配,输出调整后的用户动作图像中人体各关键点的二维坐标的数字信号,并标识出标准动作图像和调整后的用户动作图像中人体各关节点及各关节点的二维坐标的数字信号;
人体骨骼模型建设模块:用于分别将所述的标准动作图像和调整后的用户动作图像中人体各关节点根据所述二维坐标的数字信号有序连线,分别得到适用于所述标准动作图像的第一人体骨骼模型和适用于所述调整后的用户动作图像的第二人体骨骼模型,并分别将所述标准动作图像中人体各关键点的二维坐标的数字信号与所述第一人体骨骼模型对应、所述调整后的用户动作图像中人体各关键点的二维坐标的数字信号与所述第二人体骨骼模型对应;
对比模块:用于对比第一骨骼模型的动作和第二骨骼模型的动作中各肢体间的夹角,以判断用户的动作与标准的动作是否在误差范围内;
输出模块:当用户的动作与标准的动作偏差超过阈值,则提醒用户朝减少误差的方向调整动作。
在其中一个实施例中,所述图像采集模块包括:
文件读取端口,用于读取内置的或教程文件,得到标准动作图像;
以及摄像机,用于拍摄用户的动作,得到用户动作图像。
在其中一个实施例中,所述人体各关键点识别模块包括:
动作数据分析模块,用于根据人体各关键点的二维坐标的数字信号,识别标准动作图像和用户动作图像中人体的肢体长度及肢体夹角,对所述用户动作图像进行归一化处理,使所述用户动作图像的肢体长度与标准动作图像相适配,输出调整后的用户动作图像中人体各关键点的二维坐标的数字信号;
人体各关键点定位模块,用于分别将所述标准动作图像和所述调整后的用户动作图像中的所述人体各关键点按照人体的拓扑关系进行拟合,并将拟合度最高的结果作为最终输出的识别结果,从而标识出各关节点,并根据所述各关键点的二维坐标的数字信号输出所述各关节点的二维坐标的数字信号。
从上面所述可以看出,本发明提供的动作指导方法及指导装置,通过识别标准动作图像和用户动作图像中的所有关键点,并输出各关键点的二维坐标的数字信号,再分别构建标准动作图像和用户动作图像的人体骨骼模型。把标准动作的各肢体间的夹角和用户动作的各肢体间的夹角进行对比,完成动作对比,并将对比结果输出,给出减少动作误差的指导。能够有效避免了六台以上相机的高物质条件以及大场地的使用,节省巨额成本,同时还能解决目标对象的自遮挡问题,高效准确的给予用户动作指导。
附图说明
图1为本发明实施例的基于动作捕捉的动作指导方法的流程图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚明白,以下结合具体实施例,并参照附图,对本发明进一步详细说明。
请查阅图1,本发明提供一种基于动作捕捉的动作指导方法,其特征在于,所述方法包括下述步骤:
S100,获取标准动作图像及用户动作图像;
S200,预处理所述标准动作图像和所述用户动作图像,识别标准动作姿势以及用户动作姿势,并输出所述标准动作图像和所述用户动作图像中人体各关键点及其二维坐标的数字信号;
S300,分析所述人体各关键点的二维坐标的数字信号,识别标准动作图像和用户动作图像中人体的肢体长度及肢体夹角,对所述用户动作图像进行归一化处理,使所述用户动作图像的肢体长度与标准动作图像相适配,输出调整后的用户动作图像中人体各关键点的二维坐标的数字信号,并标识出标准动作图像和调整后的用户动作图像中人体各关节点及各关节点的二维坐标的数字信号;
S400,分别将所述的标准动作图像和调整后的用户动作图像中人体各关节点根据所述二维坐标的数字信号有序连线,分别得到适用于所述标准动作图像的第一人体骨骼模型和适用于所述调整后的用户动作图像的第二人体骨骼模型,并分别将所述标准动作图像中人体各关键点的二维坐标的数字信号与所述第一人体骨骼模型对应、所述调整后的用户动作图像中人体各关键点的二维坐标的数字信号与所述第二人体骨骼模型对应;
S500,对比所述第一骨骼模型的动作和所述第二骨骼模型的动作中各肢体间的夹角,以判断用户的动作与标准的动作是否在误差范围内;若用户的动作与标准的动作偏差超过阈值,则提醒用户朝减少误差的方向调整动作。
具体地,步骤S100中,获取标准动作图像及用户动作图像可以包括:读取预设的或用户输入的教程文件,得到标准动作图像;拍摄用户的动作,得到用户动作图像。
步骤S200中,预处理所述标准动作图像和所述用户动作图像可以包括:
通过深度学习网络分别提取所述标准动作图像和所述用户动作图像的特征,分别检测出标准动作图像和用户动作图像中人体的各关键点,将各个关键点进行聚类处理,确定动作姿势,通过各关键点的相对位置信息,定位各关键点的二维坐标方位,并转换为二维坐标的数字信号。
其中,将各个关键点进行聚类处理,具体是指将分别属于标准动作中人体和用户的在不同位置的各个关键点按照人体的拓扑关系连接起来。
步骤S300中,人体的肢体长度是指头部、躯干、左上臂、左下臂、左手、右上臂、右下臂、右手、左大腿、左小腿、左脚、右大腿、右小腿和右脚的长度。肢体夹角,是指躯干和地面之间的夹角、头部与躯干之间的夹角、左大腿和躯干之间的夹角、左小腿和左大腿之间的夹角、左脚和左小腿之间的夹角、右大腿和躯干之间的夹角、右小腿和右大腿之间的夹角、右脚和右小腿之间的夹角、左大臂和躯干之间的夹角、左小臂和左大臂之间的夹角、左手和左小臂之间的夹角、右大臂和躯干之间的夹角、右小臂和右大臂之间的夹角、右手和右小臂之间的夹角。
所述对所述用户动作图像进行归一化处理是指:在保持用户动作图像中的各肢体夹角恒定的条件下,将用户动作图像中的肢体长度进行等比例缩放,使得用户动作图像与标准动作图像中的人体保持躯干身长一致。
通过对所述用户动作图像进行归一化处理,可以避免后续的对比过程中的归一化处理,避免每次夹角对比的过程中进行归一化处理,可以大大节省对比时的时间复杂度。
所述标识出标准动作图像和调整后的用户动作图像中人体各关节点及各关节点的二维坐标的数字信号是指:分别将所述标准动作图像和所述调整后的用户动作图像中的所述人体各关键点按照人体的拓扑关系进行拟合,并将拟合度最高的结果作为最终输出的识别结果,从而标识出各关节点,并根据所述各关键点的二维坐标的数字信号输出所述各关节点的二维坐标的数字信号。
步骤S500中,对比所述第一骨骼模型和所述第二骨骼模型中人体各肢体间的夹角具体包括:
S510,根据所述第一骨骼模型和所述第二骨骼模型中人体各关键点的二维坐标,计算出各肢体间的夹角。
具体的,本步骤采用相对角算法,即基于人体骨骼的中轴定性,根据人体各关键点的相对方位,以及二维坐标信息,来计算各肢体间的夹角。
夹角的计算步骤具体可以包括:
S511,构建直角坐标系:以图片右上角为坐标原点,向右为x轴正方向,向下为y轴正方向;
S512,确定待求夹角的第一端点、第二端点和顶点的坐标:按照(第一端点顶点第二端点)的顺序排列;顶点指的是两个肢体相交的点,第一端点指的是其中一个肢体相对于顶点的另一点,第二端点指的是另外一个肢体相对于顶点的另一点;
S513,计算上述三点,即第一端点、第二端点和一个顶点所围成的三角形的三条边长:
第一端点和第二端点的坐标分别为A(x1,y1)和B(x2,y2),顶点的坐标为A(x3,y3)
则三角形的三条边长分别为
S514,利用余弦定理计算待求夹角的余弦值:
利用余弦定理得到待求夹角
S520,依次对比第一骨骼模型和第二骨骼模型中各肢体之间的夹角,计算夹角之间的误差,当出现误差超过阈值的夹角时,中断下一夹角的对比,并提醒用户朝减少误差的方向调整动作,直至夹角的误差符合阈值;当误差符合阈值时,则继续进行下一夹角的对比,直至所有夹角都符合阈值,则终止对比。
具体地,计算两个夹角之间的误差d,采用下述公式进行:
θ1和θ2分别为待对比的两个夹度。
本发明还提供一种应用于上述的基于动作捕捉的动作指导方法的动作指导装置,包括:
图像采集模块:用于获取标准动作图像及用户动作图像;
图像预处理模块:用于预处理所述标准动作图像和所述用户动作图像,识别标准动作以及用户动作姿势,并输出所述标准动作图像和所述用户动作图像中人体各关键点及其二维坐标的数字信号;
人体各关键点识别模块:用于分析所述人体各关键点的二维坐标的数字信号,识别标准动作图像和用户动作图像中人体的肢体长度及肢体夹角,对所述用户动作图像进行归一化处理,使所述用户动作图像的肢体长度与标准动作图像相适配,输出调整后的用户动作图像中人体各关键点的二维坐标的数字信号,并标识出标准动作图像和调整后的用户动作图像中人体各关节点及各关节点的二维坐标的数字信号;
人体骨骼模型建设模块:用于分别将所述的标准动作图像和调整后的用户动作图像中人体各关节点根据所述二维坐标的数字信号有序连线,分别得到适用于所述标准动作图像的第一人体骨骼模型和适用于所述调整后的用户动作图像的第二人体骨骼模型,并分别将所述标准动作图像中人体各关键点的二维坐标的数字信号与所述第一人体骨骼模型对应、所述调整后的用户动作图像中人体各关键点的二维坐标的数字信号与所述第二人体骨骼模型对应;
比对模块:用于对比所述第一骨骼模型的动作和所述第二骨骼模型的动作中各肢体间的夹角,以判断用户的动作与标准的动作是否在误差范围内。
输出模块:当用户的动作与标准的动作偏差超过阈值,则提醒用户朝减少误差的方向调整动作。
优选地,所述图像采集模块包括:
文件读取端口,用于读取内置的或教程文件,得到标准动作图像;
以及一个摄像机,用于拍摄用户的动作,得到用户动作图像。
优选地,所述人体各关键点识别模块包括:
动作数据分析模块,用于根据人体各关键点的二维坐标的数字信号,识别标准动作图像和用户动作图像中人体的肢体长度及肢体夹角,对所述用户动作图像进行归一化处理,使所述用户动作图像的肢体长度与标准动作图像相适配,输出调整后的用户动作图像中人体各关键点的二维坐标的数字信号;
人体各关键点定位模块,用于分别将所述标准动作图像和所述调整后的用户动作图像中的所述人体各关键点按照人体的拓扑关系进行拟合,并将拟合度最高的结果作为最终输出的识别结果,从而标识出各关节点,并根据所述各关键点的二维坐标的数字信号输出所述各关节点的二维坐标的数字信号。
优选地,输出模块包括显示器和语音显示装置。当用户动作的肢体的夹角超过误差范围,在显示器上播放的第一人体骨骼模型上对应的关键点进行突出显示,并通过语音装置提醒用户朝减少误差的方向调整自身的动作,实现对用户动作的指导。
本发明通过将归一化处理放到建立模型的过程中,从而避免了在比对过程中的归一化;同时比对的过程没有使用关键点的二维坐标直接进行对比,而是通过关键点的坐标,计算出肢体间的角度,当不同的人做同一个动作并且保持面对摄像头的角度相同时,这些角度是相同的,从而进一步避免了比对过程的归一化,并减小了比对时的复杂度,提高了比对效率。
需要说明的是,本发明实施例中所有使用“第一”和“第二”的表述均是为了区分两个相同名称非相同的实体或者非相同的参量,可见“第一”“第二”仅为了表述的方便,不应理解为对本发明实施例的限定,后续实施例对此不再一一说明。
所属领域的普通技术人员应当理解:以上任何实施例的讨论仅为示例性的,并非旨在暗示本公开的范围(包括权利要求)被限于这些例子;在本发明的思路下,以上实施例或者不同实施例中的技术特征之间也可以进行组合,步骤可以以任意顺序实现,并存在如上所述的本发明的不同方面的许多其它变化,为了简明它们没有在细节中提供。
本发明的实施例旨在涵盖落入所附权利要求的宽泛范围之内的所有这样的替换、修改和变型。因此,凡在本发明的精神和原则之内,所做的任何省略、修改、等同替换、改进等,均应包含在本发明的保护范围之内。
Claims (10)
1.一种基于动作捕捉的动作指导方法,其特征在于,所述方法包括下述步骤:
获取标准动作图像及用户动作图像;
预处理所述标准动作图像和所述用户动作图像,识别标准动作姿势以及用户动作姿势,并输出所述标准动作图像和所述用户动作图像中人体各关键点及其二维坐标的数字信号;
分析所述人体各关键点的二维坐标的数字信号,识别标准动作图像和用户动作图像中人体的肢体长度及肢体夹角,对所述用户动作图像进行归一化处理,使所述用户动作图像的肢体长度与标准动作图像相适配,输出调整后的用户动作图像中人体各关键点的二维坐标的数字信号,并标识出标准动作图像和调整后的用户动作图像中人体各关节点及各关节点的二维坐标的数字信号;
分别将所述的标准动作图像和调整后的用户动作图像中人体各关节点根据所述二维坐标的数字信号有序连线,分别得到适用于所述标准动作图像的第一人体骨骼模型和适用于所述调整后的用户动作图像的第二人体骨骼模型,并分别将所述标准动作图像中人体各关键点的二维坐标的数字信号与所述第一人体骨骼模型对应、所述调整后的用户动作图像中人体各关键点的二维坐标的数字信号与所述第二人体骨骼模型对应;
对比第一骨骼模型的动作和第二骨骼模型的动作中各肢体间的夹角,以判断用户的动作与标准的动作是否在误差范围内;若用户的动作与标准的动作偏差超过阈值,则提醒用户朝减少误差的方向调整动作。
2.根据权利要求1所述的基于动作捕捉的动作指导方法,其特征在于,所述对比第一骨骼模型的动作和所述第二骨骼模型的动作中各肢体间的夹角的步骤包括:
根据所述第一骨骼模型和所述第二骨骼模型中人体各关键点的二维坐标,计算出各肢体间的夹角;
依次计算相同肢体夹角之间的误差,当出现误差超过阈值的夹角时,中断下一夹角的对比,并提醒用户朝减少误差的方向调整动作,直至夹角的误差符合阈值;当误差符合阈值时,则继续进行下一夹角的对比,直至所有夹角都符合阈值,则终止对比。
3.根据权利要求1所述的基于动作捕捉的动作指导方法,其特征在于,所述对所述用户动作图像进行归一化处理包括:
在保持用户动作图像中的各肢体夹角恒定的条件下,将用户动作图像中的肢体长度进行等比例缩放,使得用户动作图像与标准动作图像中的人体保持躯干身长一致。
4.根据权利要求1所述的基于动作捕捉的动作指导方法,其特征在于,所述标识出标准动作图像和调整后的用户动作图像中人体各关节点及各关节点的二维坐标的数字信号包括:
分别将所述标准动作图像和所述调整后的用户动作图像中的所述人体各关键点按照人体的拓扑关系进行拟合,并将拟合度最高的结果作为最终输出的识别结果,从而标识出各关节点,并根据所述各关键点的二维坐标的数字信号输出所述各关节点的二维坐标的数字信号。
5.根据权利要求1所述的基于动作捕捉的动作指导方法,其特征在于,所述预处理所述标准动作图像和所述用户动作图像包括:
通过深度学习网络分别提取所述标准动作图像和所述用户动作图像的特征,检测出人体的各关键点,将不同位置的各个关键点进行聚类处理,确定动作姿势,通过各关键点的相对位置信息,定位各关键点的二维坐标方位,并转换为二维坐标的数字信号。
6.根据权利要求1所述的基于动作捕捉的动作指导方法,其特征在于,所述获取标准动作图像及用户动作图像包括:
读取预设的或用户输入的教程文件,得到标准动作图像;
拍摄用户的动作,得到用户动作图像。
7.根据权利要求1所述的基于动作捕捉的动作指导方法,其特征在于,所述提醒用户朝减少误差的方向调整动作包括:
在第一人体骨骼模型和第二人体骨骼模型上对应的关键点进行突出显示,和/或进行语音提示。
8.一种基于动作捕捉的动作指导装置,其特征在于,包括:
图像采集模块:用于获取标准动作图像及用户动作图像;
图像预处理模块:用于预处理所述标准动作图像和所述用户动作图像,识别标准动作以及用户动作姿势,并输出所述标准动作图像和所述用户动作图像中人体各关键点及其二维坐标的数字信号;
人体各关键点识别模块:用于分析所述人体各关键点的二维坐标的数字信号,识别标准动作图像和用户动作图像中人体的肢体长度及肢体夹角,对所述用户动作图像进行归一化处理,使所述用户动作图像的肢体长度与标准动作图像相适配,输出调整后的用户动作图像中人体各关键点的二维坐标的数字信号,并标识出标准动作图像和调整后的用户动作图像中人体各关节点及各关节点的二维坐标的数字信号;
人体骨骼模型建设模块:用于分别将所述的标准动作图像和调整后的用户动作图像中人体各关节点根据所述二维坐标的数字信号有序连线,分别得到适用于所述标准动作图像的第一人体骨骼模型和适用于所述调整后的用户动作图像的第二人体骨骼模型,并分别将所述标准动作图像中人体各关键点的二维坐标的数字信号与所述第一人体骨骼模型对应、所述调整后的用户动作图像中人体各关键点的二维坐标的数字信号与所述第二人体骨骼模型对应;
对比模块:用于对比第一骨骼模型的动作和第二骨骼模型的动作中各肢体间的夹角,以判断用户的动作与标准的动作是否在误差范围内;
输出模块:当用户的动作与标准的动作偏差超过阈值,则提醒用户朝减少误差的方向调整动作。
9.根据权利要求8所述的基于动作捕捉的动作指导装置,其特征在于,所述图像采集模块包括:
文件读取端口,用于读取内置的或教程文件,得到标准动作图像;
以及摄像机,用于拍摄用户的动作,得到用户动作图像。
10.根据权利要求8所述的基于动作捕捉的动作指导装置,其特征在于,所述人体各关键点识别模块包括:
动作数据分析模块,用于根据人体各关键点的二维坐标的数字信号,识别标准动作图像和用户动作图像中人体的肢体长度及肢体夹角,对所述用户动作图像进行归一化处理,使所述用户动作图像的肢体长度与标准动作图像相适配,输出调整后的用户动作图像中人体各关键点的二维坐标的数字信号;
人体各关键点定位模块,用于分别将所述标准动作图像和所述调整后的用户动作图像中的所述人体各关键点按照人体的拓扑关系进行拟合,并将拟合度最高的结果作为最终输出的识别结果,从而标识出各关节点,并根据所述各关键点的二维坐标的数字信号输出所述各关节点的二维坐标的数字信号。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910184701.8A CN110045823B (zh) | 2019-03-12 | 2019-03-12 | 一种基于动作捕捉的动作指导方法和装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910184701.8A CN110045823B (zh) | 2019-03-12 | 2019-03-12 | 一种基于动作捕捉的动作指导方法和装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN110045823A true CN110045823A (zh) | 2019-07-23 |
CN110045823B CN110045823B (zh) | 2020-10-02 |
Family
ID=67274743
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201910184701.8A Active CN110045823B (zh) | 2019-03-12 | 2019-03-12 | 一种基于动作捕捉的动作指导方法和装置 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN110045823B (zh) |
Cited By (13)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110852185A (zh) * | 2019-10-21 | 2020-02-28 | 西南民族大学 | 基于人体骨骼关键点识别的视力检测设备及方法 |
CN110841266A (zh) * | 2019-10-24 | 2020-02-28 | 中国人民解放军军事科学院国防科技创新研究院 | 一种辅助训练系统及方法 |
CN110941990A (zh) * | 2019-10-22 | 2020-03-31 | 泰康保险集团股份有限公司 | 基于骨骼关键点进行人体动作评估的方法和装置 |
CN111246113A (zh) * | 2020-03-05 | 2020-06-05 | 上海瑾盛通信科技有限公司 | 图像处理方法、装置、设备及存储介质 |
CN111353447A (zh) * | 2020-03-05 | 2020-06-30 | 辽宁石油化工大学 | 一种基于图卷积网络的人体骨架行为识别方法 |
CN111488824A (zh) * | 2020-04-09 | 2020-08-04 | 北京百度网讯科技有限公司 | 运动提示方法、装置、电子设备和存储介质 |
CN112075926A (zh) * | 2020-10-14 | 2020-12-15 | 然道红宝儿(北京)健康科技有限公司 | 基于红外影像的人体运动系统及内脏系统测量方法及装置 |
CN112216030A (zh) * | 2020-08-31 | 2021-01-12 | 厦门宸力科技有限公司 | 智能服药监测方法、智能服药机、智能服药站和管理系统 |
CN113051973A (zh) * | 2019-12-27 | 2021-06-29 | 青岛海尔多媒体有限公司 | 用于姿势矫正的方法及装置、电子设备 |
CN113516064A (zh) * | 2021-07-02 | 2021-10-19 | 深圳市悦动天下科技有限公司 | 体育运动的动作判定方法、装置、设备及存储介质 |
CN116403285A (zh) * | 2023-04-20 | 2023-07-07 | 北京百度网讯科技有限公司 | 动作识别方法、装置、电子设备以及存储介质 |
TWI823478B (zh) * | 2022-07-18 | 2023-11-21 | 新加坡商鴻運科股份有限公司 | 人工智慧之動作管理方法、電子設備及存儲介質 |
CN112075926B (zh) * | 2020-10-14 | 2024-04-26 | 然道红宝儿(北京)健康科技有限公司 | 基于红外影像的人体运动系统及内脏系统测量方法及装置 |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20100098316A1 (en) * | 2008-10-13 | 2010-04-22 | George Yiorgos Papaioannou | Dynamic biplane roentgen stereophotogrammetric analysis |
CN102323854A (zh) * | 2011-03-11 | 2012-01-18 | 中国科学院研究生院 | 人体运动捕获装置 |
CN106022213A (zh) * | 2016-05-04 | 2016-10-12 | 北方工业大学 | 一种基于三维骨骼信息的人体动作识别方法 |
CN108537284A (zh) * | 2018-04-13 | 2018-09-14 | 东莞松山湖国际机器人研究院有限公司 | 基于计算机视觉深度学习算法的姿态评估打分方法和系统 |
CN108664896A (zh) * | 2018-04-16 | 2018-10-16 | 彭友 | 基于OpenPose的击剑动作获取方法及计算机存储介质 |
CN109389054A (zh) * | 2018-09-21 | 2019-02-26 | 北京邮电大学 | 基于自动图像识别和动作模型对比的智能镜子设计方法 |
-
2019
- 2019-03-12 CN CN201910184701.8A patent/CN110045823B/zh active Active
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20100098316A1 (en) * | 2008-10-13 | 2010-04-22 | George Yiorgos Papaioannou | Dynamic biplane roentgen stereophotogrammetric analysis |
CN102323854A (zh) * | 2011-03-11 | 2012-01-18 | 中国科学院研究生院 | 人体运动捕获装置 |
CN106022213A (zh) * | 2016-05-04 | 2016-10-12 | 北方工业大学 | 一种基于三维骨骼信息的人体动作识别方法 |
CN108537284A (zh) * | 2018-04-13 | 2018-09-14 | 东莞松山湖国际机器人研究院有限公司 | 基于计算机视觉深度学习算法的姿态评估打分方法和系统 |
CN108664896A (zh) * | 2018-04-16 | 2018-10-16 | 彭友 | 基于OpenPose的击剑动作获取方法及计算机存储介质 |
CN109389054A (zh) * | 2018-09-21 | 2019-02-26 | 北京邮电大学 | 基于自动图像识别和动作模型对比的智能镜子设计方法 |
Non-Patent Citations (1)
Title |
---|
YAN GAO 等: ""Motion normalization: the preprocess of motion data"", 《ACM SYMPOSIUM ON VIRTUAL REALITY SOFTWARE AND TECHNOLOGY》 * |
Cited By (17)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110852185A (zh) * | 2019-10-21 | 2020-02-28 | 西南民族大学 | 基于人体骨骼关键点识别的视力检测设备及方法 |
CN110941990A (zh) * | 2019-10-22 | 2020-03-31 | 泰康保险集团股份有限公司 | 基于骨骼关键点进行人体动作评估的方法和装置 |
CN110941990B (zh) * | 2019-10-22 | 2023-06-16 | 泰康保险集团股份有限公司 | 基于骨骼关键点进行人体动作评估的方法和装置 |
CN110841266A (zh) * | 2019-10-24 | 2020-02-28 | 中国人民解放军军事科学院国防科技创新研究院 | 一种辅助训练系统及方法 |
CN113051973A (zh) * | 2019-12-27 | 2021-06-29 | 青岛海尔多媒体有限公司 | 用于姿势矫正的方法及装置、电子设备 |
CN111353447A (zh) * | 2020-03-05 | 2020-06-30 | 辽宁石油化工大学 | 一种基于图卷积网络的人体骨架行为识别方法 |
CN111246113A (zh) * | 2020-03-05 | 2020-06-05 | 上海瑾盛通信科技有限公司 | 图像处理方法、装置、设备及存储介质 |
CN111353447B (zh) * | 2020-03-05 | 2023-07-04 | 辽宁石油化工大学 | 一种基于图卷积网络的人体骨架行为识别方法 |
CN111488824A (zh) * | 2020-04-09 | 2020-08-04 | 北京百度网讯科技有限公司 | 运动提示方法、装置、电子设备和存储介质 |
CN111488824B (zh) * | 2020-04-09 | 2023-08-08 | 北京百度网讯科技有限公司 | 运动提示方法、装置、电子设备和存储介质 |
CN112216030A (zh) * | 2020-08-31 | 2021-01-12 | 厦门宸力科技有限公司 | 智能服药监测方法、智能服药机、智能服药站和管理系统 |
CN112216030B (zh) * | 2020-08-31 | 2022-02-22 | 厦门宸力科技有限公司 | 智能服药监测方法、智能服药机、智能服药站和管理系统 |
CN112075926A (zh) * | 2020-10-14 | 2020-12-15 | 然道红宝儿(北京)健康科技有限公司 | 基于红外影像的人体运动系统及内脏系统测量方法及装置 |
CN112075926B (zh) * | 2020-10-14 | 2024-04-26 | 然道红宝儿(北京)健康科技有限公司 | 基于红外影像的人体运动系统及内脏系统测量方法及装置 |
CN113516064A (zh) * | 2021-07-02 | 2021-10-19 | 深圳市悦动天下科技有限公司 | 体育运动的动作判定方法、装置、设备及存储介质 |
TWI823478B (zh) * | 2022-07-18 | 2023-11-21 | 新加坡商鴻運科股份有限公司 | 人工智慧之動作管理方法、電子設備及存儲介質 |
CN116403285A (zh) * | 2023-04-20 | 2023-07-07 | 北京百度网讯科技有限公司 | 动作识别方法、装置、电子设备以及存储介质 |
Also Published As
Publication number | Publication date |
---|---|
CN110045823B (zh) | 2020-10-02 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN110045823A (zh) | 一种基于动作捕捉的动作指导方法和装置 | |
CN105739702B (zh) | 用于自然人机交互的多姿态指尖跟踪方法 | |
Ahmed et al. | Vision based hand gesture recognition using dynamic time warping for Indian sign language | |
US9898651B2 (en) | Upper-body skeleton extraction from depth maps | |
CN102982557B (zh) | 基于深度相机的空间手势姿态指令处理方法 | |
CN107392086B (zh) | 人体姿态的评估装置、系统及存储装置 | |
WO2015149712A1 (zh) | 一种指向交互方法、装置及系统 | |
CN105759967B (zh) | 一种基于深度数据的手部全局姿态检测方法 | |
JP6007682B2 (ja) | 画像処理装置、画像処理方法及びプログラム | |
JP2004094288A (ja) | 指示位置検出装置及び自律ロボット | |
CN101201695A (zh) | 一种基于眼部区域运动特征提取与跟踪的鼠标系统 | |
CN104821010A (zh) | 基于双目视觉的人手三维信息实时提取方法及系统 | |
CN103995595A (zh) | 一种基于手势的游戏体感控制方法 | |
CN110796101A (zh) | 一种嵌入式平台的人脸识别方法及系统 | |
CN105335711A (zh) | 一种复杂环境下指尖检测方法 | |
Francis et al. | Significance of hand gesture recognition systems in vehicular automation-a survey | |
CN104898971B (zh) | 一种基于视线跟踪技术的鼠标指针控制方法及系统 | |
CN106599873A (zh) | 基于三维姿态信息的人物身份识别方法 | |
WO2017113794A1 (zh) | 手势动作识别方法、控制方法和装置以及腕式设备 | |
Sokhib et al. | A combined method of skin-and depth-based hand gesture recognition. | |
CN109758154A (zh) | 一种运动状态确定方法、装置、设备及存储介质 | |
Xu et al. | Bare hand gesture recognition with a single color camera | |
CN110046603A (zh) | 一种中国普乐手语编码的手势动作识别方法 | |
KR101869304B1 (ko) | 컴퓨터를 이용한 수화어 인식시스템, 방법 및 인식프로그램 | |
KR101085536B1 (ko) | 제스처 인식을 이용한 인터페이스 구성방법 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |