CN111985393A - 一种纠正运动姿态的智能镜子及其运动姿态纠正方法 - Google Patents
一种纠正运动姿态的智能镜子及其运动姿态纠正方法 Download PDFInfo
- Publication number
- CN111985393A CN111985393A CN202010836826.7A CN202010836826A CN111985393A CN 111985393 A CN111985393 A CN 111985393A CN 202010836826 A CN202010836826 A CN 202010836826A CN 111985393 A CN111985393 A CN 111985393A
- Authority
- CN
- China
- Prior art keywords
- motion
- information
- posture
- offset
- key points
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 230000033001 locomotion Effects 0.000 title claims abstract description 277
- 238000000034 method Methods 0.000 title claims abstract description 28
- 238000012937 correction Methods 0.000 claims abstract description 14
- 238000012545 processing Methods 0.000 claims description 60
- 238000001514 detection method Methods 0.000 claims description 11
- 238000000605 extraction Methods 0.000 claims description 8
- 230000036544 posture Effects 0.000 abstract description 202
- 238000010586 diagram Methods 0.000 description 4
- 230000009471 action Effects 0.000 description 3
- 230000007547 defect Effects 0.000 description 3
- 230000006870 function Effects 0.000 description 3
- 230000003993 interaction Effects 0.000 description 3
- 230000010365 information processing Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000004075 alteration Effects 0.000 description 1
- 230000001149 cognitive effect Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 239000011521 glass Substances 0.000 description 1
- 230000036541 health Effects 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 230000008569 process Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/20—Movements or behaviour, e.g. gesture recognition
-
- A—HUMAN NECESSITIES
- A47—FURNITURE; DOMESTIC ARTICLES OR APPLIANCES; COFFEE MILLS; SPICE MILLS; SUCTION CLEANERS IN GENERAL
- A47G—HOUSEHOLD OR TABLE EQUIPMENT
- A47G1/00—Mirrors; Picture frames or the like, e.g. provided with heating, lighting or ventilating means
- A47G1/02—Mirrors used as equipment
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
- G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
- G06V10/751—Comparing pixel values or logical combinations thereof, or feature values having positional relevance, e.g. template matching
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Health & Medical Sciences (AREA)
- Multimedia (AREA)
- General Physics & Mathematics (AREA)
- Physics & Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- Computing Systems (AREA)
- Software Systems (AREA)
- Medical Informatics (AREA)
- Evolutionary Computation (AREA)
- Databases & Information Systems (AREA)
- Artificial Intelligence (AREA)
- Psychiatry (AREA)
- Social Psychology (AREA)
- Human Computer Interaction (AREA)
- User Interface Of Digital Computer (AREA)
Abstract
本发明提供了一种纠正运动姿态的智能镜子及其运动姿态纠正方法,通过安装在智能镜子上的深度相机采集人体运动姿态信息,利用控制处理模块将人体运动姿态信息与预先存储的标准运动姿态信息相比对,并输出比对结果至所述显示处理模块,并通过显示处理模块对比对结果进行显示。本实施例所公开的镜子及其运动姿态纠正方法由于将采集到的用户运动姿态信息与标准的运动姿态进行比对,判断用户的运动姿态信息与标准的运动姿态信息之间的是否有偏差,并对判断出的姿态之间的偏差进行输出显示,从而实现为用户纠正运动姿态的目的,提供了镜子的智能性,为用户使用镜子进行运动姿态纠正提供了便利。
Description
技术领域
本发明涉及智能家居设备技术领域,尤其涉及的是一种纠正运动姿态的智能镜子及其运动姿态纠正方法。
背景技术
现有技术的智能镜子通常会集成多种功能为一体,为用户提供多种应用,比如:触屏应用、新闻娱乐、天气、健康监测、信息公布和查询、后台推送等。当启动设备后可以看到所显示的时间、天气、新闻等通知。智能性更强的镜子中还可以安装一些教程应用让用户来自行学习正确的运动方法,也可以通过语音或手势动作来与设备进行简单的交互,但是就运动来说,单纯的视频指导并未能完成真确的指导,其缺少了专业人士的判断,仅仅为用户自行模拟学习,因此不能很好的实现为用户提供运动姿态纠正的效果,无法满足用户对镜子更为智能性的需求。
因此,现有技术有待于进一步的改进。
发明内容
鉴于上述现有技术中的不足之处,本发明的目的在于提供一种纠正运动姿态的智能镜子及其运动姿态纠正方法,克服现有技术中的镜子无法为用户提供运动姿态纠正建议的缺陷。
本发明实施例公开的方案如下:
第一方面,本实施例公开一种纠正运动姿态的智能镜子,其中,包括:镜子本体和安装在镜子本体上的深度相机、设置在所述镜子本体内部的电路板,以及设置在所述电路板上并与所述深度相机连接的控制处理模块和显示处理模块;
所述深度相机,用于采集人体运动姿态信息;
所述控制处理模块,用于获取深度相机采集的人体运动姿态信息,并将获取的人体运动姿态信息与预先存储的标准运动姿态信息相比对,并将比对结果输出至所述显示处理模块;
所述显示处理模块,用于接收所述比对结果,并显示所述比对结果。
可选的,所述控制处理模块包括:存储单元、关键点检测提取单元和关键点对比单元;
所述存储单元,用于存储标准运动姿态信息;
所述关键点检测提取单元,用于利用关键点检测模型提取所述人体运动姿态信息中含有的运动姿态关键点;
所述关键点对比单元,用于将提取到的运动姿态关键点与所述标准运动姿态信息中含有的运动姿态关键点进行对比,得到运动姿态关键点对比结果。
可选的,所述比对结果包括人体运动姿态信息中含有的关键点与标准运动姿态信息中含有的关键点相比的位置偏移量、偏移角度,姿态调整信息以及姿态判断信息;其中,姿态判断信息包括:正确运动姿态和错误运动姿态。
可选的,所述关键点对比单元包括第一姿态比对子单元和第二姿态比对子单元;
所述第一姿态比对子单元,用于对人体运动姿态信息对应的录制视频进行解析,对所述录制视频的每帧视频与标准运动姿态信息对应的每帧视频进行关键点对比,得到录制视频的每帧视频中关键点与标准运动姿态信息的关键点相比的位置偏移量和偏移角度;
所述第二姿态比对子单元,用于对人体运动姿态信息对应的实时深度图中含有的关键点与标准运动姿态信息对应的每帧视频进行关键点对比,得到深度图中含有的关键点与标准运动姿态信息的关键点相比的位置偏移量和偏移角度。
可选的,所述控制处理模块还包括:姿态调整单元;
所述姿态调整单元,用于获取所述关键点对比单元中得到的所述位置偏移量和偏移角度,并根据所述位置偏移量和偏移角度确定姿态调整信息,并将所述姿态调整信息发送至所述显示处理模块。
可选的,所述关键点对比单元还包括第一姿态判断子单元和第二姿态判断子单元;
所述第一姿态判断子单元,用于获取录制视频的每帧视频中关键点与标准运动姿态信息的关键点相比的位置偏移量和偏移角度,并根据所述位置偏移量和偏移角度判断计算出的偏移量和偏移角度是否超出预设偏移量和预设偏移角度,若均超出,则将对应的关键点对应的姿态位置信息为错误姿态,否则为正确姿态;
所述第二姿态判断子单元,用于获取深度图中含有的关键点与标准运动姿态信息的关键点相比的位置偏移量和偏移角度,并根据所述位置偏移量和偏移角度判断计算出的偏移量和偏移角度是否超出预设偏移量和预设偏移角度,若均超出,则将对应的关键点对应的姿态位置信息为错误姿态,否则判定为正确姿态。
可选的,所述显示处理模块包括显示屏和显示控制单元;
所述显示控制单元,用于控制显示屏对接收到的所述比对结果进行显示。
第二方面,本实施例提供了一种运动姿态纠正方法,其中,应用所述的智能镜子,所述方法包括:
利用深度相机采集人体运动姿态信息;
利用控制处理模块获取深度相机采集的人体运动姿态信息,并将获取的人体运动姿态信息与预先存储的标准运动姿态信息相比对,并将比对结果输出至所述显示处理模块;
控制显示处理模块接收所述比对结果,并显示。
可选的,所述人体运动姿态信息为录制的人体运动姿态视频信息;
所述将获取的人体运动姿态信息与预先存储的标准运动姿态信息相比对的步骤,包括:
对人体运动姿态信息对应的录制视频进行解析,对所述录制视频的每帧视频与标准运动姿态信息对应的每帧视频进行关键点对比,得到录制视频的每帧视频中关键点与标准运动姿态信息的关键点相比的位置偏移量和偏移角度。
可选的,所述人体运动姿态信息为所述深度相机拍摄的人体运动姿态深度图;
所述将获取的人体运动姿态信息与预先存储的标准运动姿态信息相比对的步骤,包括:
对人体运动姿态信息对应的实时深度图中含有的关键点与标准运动姿态信息对应的每帧视频进行关键点对比,得到深度图中含有的关键点与标准运动姿态信息的关键点相比的位置偏移量和偏移角度。
有益效果,本发明提供了一种纠正运动姿态的智能镜子及其运动姿态纠正方法,通过安装在智能镜子上的深度相机采集人体运动姿态信息,并将所述人体运动姿态信息;利用控制处理模块将人体运动姿态信息与预先存储的标准运动姿态信息相比对,并输出比对结果至所述显示处理模块,并通过显示处理模块对比对结果进行显示。本实施例所公开的镜子及其运动姿态纠正方法由于将采集到的用户运动姿态信息与标准的运动姿态进行比对,判断用户的运动姿态信息与标准的运动姿态信息之间的是否有偏差,并对判断出的姿态之间的偏差进行输出显示,从而实现为用户纠正运动姿态的目的,提供了镜子的智能性,为用户使用镜子提供了便利。
附图说明
图1是本实施例所提供的纠正运动姿态的智能镜子的结构示意图;
图2是本实施例所提供智能镜子的结构原理框图;
图3是本实施例所提供的深度相机的结构示意图;
图4是本实施例所提供的运动姿态纠正方法的步骤流程图;
图5是本实施例所述方法具体运动姿态识别时的步骤示意图。
具体实施方式
为使本发明的目的、技术方案及优点更加清楚、明确,以下参照附图并举实施例对本发明进一步详细说明。应当理解,此处所描述的具体实施例仅仅用于解释本发明,并不用于限定本发明。
本技术领域技术人员可以理解,除非特意声明,这里使用的单数形式“一”、“一个”、“所述”和“该”也可包括复数形式。应该进一步理解的是,本发明的说明书中使用的措辞“包括”是指存在所述特征、整数、步骤、操作、元件和/或组件,但是并不排除存在或添加一个或多个其他特征、整数、步骤、操作、元件、组件和/或它们的组。应该理解,当我们称元件被“连接”或“耦接”到另一元件时,它可以直接连接或耦接到其他元件,或者也可以存在中间元件。此外,这里使用的“连接”或“耦接”可以包括无线连接或无线耦接。这里使用的措辞“和/或”包括一个或更多个相关联的列出项的全部或任一单元和全部组合。
本技术领域技术人员可以理解,除非另外定义,这里使用的所有术语(包括技术术语和科学术语),具有与本发明所属领域中的普通技术人员的一般理解相同的意义。还应该理解的是,诸如通用字典中定义的那些术语,应该被理解为具有与现有技术的上下文中的意义一致的意义,并且除非像这里一样被特定定义,否则不会用理想化或过于正式的含义来解释。
发明人发现现有技术中使用的智能镜子仅仅具有简单的语音交互功能,若用户需要对照镜子进行运动姿态纠正,其只能起到成像的功能,并不能给出纠正建议或者给出准确的运动姿态指导,因此现有技术中的智能镜子智能性不能满足用户的需要。
为了克服现有技术中智能镜子无法为用户提供运动姿态纠正建议的缺陷,本实施例提供了一种用于对用户的运动姿态进行纠正的智能镜子,所述智能镜子利用深度相机,采集用户的运动姿态信息,并对用户的运动姿态信息与标准运动姿态信息进行对比,得到用户的运动姿态与标准运动姿态之间的偏移信息,并将偏移信息发送至显示屏进现实,从而对用户的运动姿态进行纠正,实现了用户通过智能镜子做健身运动或做舞蹈动作等姿态运动时可获取到专业的运动姿态指导,提高了智能镜子的智能性。
下面结合附图,对本发明所公开的所述方法做更为详细的解释。
第一方面,本实施例公开一种纠正运动姿态的智能镜子,如图1和图2所示,包括:镜子本体110和安装在镜子本体110上的深度相机120、设置在所述镜子本体内部的电路板,以及设置在所述电路板上并与所述深度相机120连接的控制处理模块130和显示处理模块140。
本实施例提供的智能镜子除了其表面含有由真空镀膜镜面玻璃,电容触摸传感器,用于信息交互的语音模块之外,还设置有显示屏、深度相机和主板。深度相机为了能获取到用户在做运动时的姿态信息,安装在智能镜子的顶部,所述主板安装在智能镜子本体内部,封装在智能镜子本体上,以便于对其保护。具体的,所述主板设置在镜子本体内的电路板上。为了实现对深度相机拍摄到的深度图像进行信息处理,在主板上设置有控制处理模块和显示处理模块,所述控制处理模块对控制对深度图像进行处理,所述显示处理模块,对接收到的控制处理模块输出的处理信息进行控制显示,因此控制处理模块包括控制器和处理器,所述显示处理模块包括显示屏和显示驱动等电子元件。
具体的,深度相机用于采集用户运动时的人体运动姿态信息,并将采集到的人体运动姿态信息传输至所述控制处理模块。所述控制处理模块接收深度相机的人体运动姿态信息与预先存储的标准运动姿态信息相比对,并将比对结果输出至所述显示处理模块;所述显示处理模块接收所述比对结果,并显示所述比对结果。
结合图3所示,所述深度相机为结构光相机,其包括两个基本组件:一个红外激光发射器,一个红外摄像头。结构光原理为将已知的结构化图案投影到视角内的物体上,已知结构化图案将根据物体的几何形状和拍摄距离而发生相应的形变。红外摄像头从另一个角度进行测量,通过分析测量到的图案与原始图案之间发生的形变,可以得到图案上各像素的视差,基于三角测量原理计算被测物深度图,因此被测物深度图中包含与视点的场景对象的表面距离有关信息,
在具体应用中,深度相机可用于采集的人体运动姿态信息包括:人体运动姿态图像,也可以为拍摄得到的人体运动姿态视频,人体运动姿态图像和人体运动姿态视频均含有人体运动的动作姿态信息。
进一步的,所述控制处理模块包括:存储单元、关键点检测提取单元和关键点对比单元;
所述存储单元,用于存储标准运动姿态信息;
所述关键点检测提取单元,用于利用关键点检测模型提取所述人体运动姿态信息中含有的运动姿态关键点;
所述关键点对比单元,用于将提取到的运动姿态关键点与所述标准运动姿态信息中含有的运动姿态关键点进行对比,得到运动姿态关键点对比结果。
所述存储单元中预先存储多种对应不同姿态运动的教学视频,也可以是针对本次用户所要练习的运动姿态,保存至存储单元中的视频信息。该标准运动姿态信息中含有专业人士运动时的运动姿态视频信息。
关键点检测提取单元与存储单元相连接,当需要将获取到的人体运动姿态信息与标准运动姿态信息比对时,则需要从存储单元中查找并获取与该次所需对比的标准专业运动姿态视频,并分别提取深度相机获取的人体运动姿态信息中人体运动的关键点信息和专业运动姿态视频中运动姿态对应的关键点信息。所述关键点为人体各个关键部位,包括身体或脚部,手部和面部关键点的识别。
具体的,在所述关键点检测提取单元中可以利用OpenPose 3D的多人关键点检测提取出两种形式的教练或者专业人士运动姿态以及用户的姿态,再进行对比。OpenPose 3D是由卡内基梅隆大学认知计算研究室提出的一种对多人身体、面部和手部形态进行实时估计的框架,因此基于OpenPose 3D的多人关键点检测提取方法,可以分别提取到用户的人体运动姿态信息中含有的关键点和标准运动姿态信息中含有的各个关键点的位置信息。
当提取到两种运动姿态信息中对应关键点的位置信息,则可以根据关键点的判断用户做出的运动姿态相对应专业人员的运动姿态的位置偏移量及偏移角度,基于偏移量和偏移角度,做出相应的纠正信息和判断运动姿态是否正确,若不正确则显示相应的调整建议。
具体的,所述比对结果包括人体运动姿态信息中含有的关键点与标准运动姿态信息中含有的关键点相比的位置偏移量、偏移角度,姿态调整信息以及姿态判断信息;其中,姿态判断信息包括:正确运动姿态和错误运动姿态。
进一步的,由于深度相机获取到的人体运动姿态信息可以分为实时拍摄的深度图,也可以为预先录制的用户运动图像,因此相对应两种不同的人体运动姿态信息,所述关键点对比单元包括第一姿态比对子单元和第二姿态比对子单元。
所述第一姿态比对子单元,用于对人体运动姿态信息对应的录制视频进行解析,对所述录制视频的每帧视频与标准运动姿态信息对应的每帧视频进行关键点对比,得到录制视频的每帧视频中关键点与标准运动姿态信息的关键点相比的位置偏移量和偏移角度。
当人体运动姿态信息为录制视频时,则通过第一姿态对比子单元对录制视频进行解析,提取录制视频中每帧视频中含有的关键点,并将关键点所在位置与标准运动姿态信息中含有的关键点所在位置进行一一对应比对,以标准运动姿态信息中人物的中心点作为比对原点,判断录制视频中每帧视频中含有的关键点所在位置与标准运动姿态信息中所含有的各个关键点所在位置之间的位置偏移量和偏移角度。
所述第二姿态比对子单元,用于对人体运动姿态信息对应的实时深度图中含有的关键点与标准运动姿态信息对应的每帧视频进行关键点对比,得到深度图中含有的关键点与标准运动姿态信息的关键点相比的位置偏移量和偏移角度。
当人体运动姿态信息为深度图时,则通过第一姿态对比子单元对深度图进行解析,提取深度图中含有的关键点,并将关键点所在位置与标准运动姿态信息中含有的关键点所在位置进行一一对应比对,以标准运动姿态信息中人物的中心点作为比对原点,判断深度图中每帧视频中含有的各个关键点所在位置与标准运动姿态信息中所含有的各个关键点所在位置之间的位置偏移量和偏移角度。
第一姿态比对子单元和第二姿态比对子单元进行关键点的位置偏移量和偏移角度计算时,为将相对应人体位置关键点进行对应判断,比如:将人体运动姿态信息中提取到的15个身体位置的关键点与标准运动姿态信息中与该15个身体位置的关键点所在位置进行对应比对。
进一步的,当计算出关键点的位置偏移量和偏移角度后,还可以根据计算出的位置偏移量和偏移角度对用户发出运动姿态调整的纠正建议。
为了实现上述纠正建议的信息处理,所述控制处理模块还包括:姿态调整单元;
所述姿态调整单元,用于获取所述关键点对比单元中得到的所述位置偏移量和偏移角度,并根据所述位置偏移量和偏移角度确定姿态调整信息,并将所述姿态调整信息发送至所述显示处理模块。
姿态调整单元可以根据关键点的位置偏移量和偏移角度,计算出用户做出的人体运动姿态信息中的关键点与标准运动姿态信息中的关键点保持一致所需要调整的方向与调整的幅度值,并将所述调整的方向与调整的幅度值发生至显示处理模块,通过显示处理模块显示出来。具体的所述调整方向和调整的幅度值也可以通过语音模块播放出来。
进一步的,所述关键点对比单元还可以根据比对结果,判断用户当前的运动姿态动作是否正确,若不符合一定的条件,则判断用户发出的动作为错误动作,若符合一定的条件,则判断用户发出的运动姿态动作为正确动作。其中,一定的条件使用与标准运动姿态对应的关键点的偏移量和偏移角度是否超出预设阈值为准。
具体的,所述关键点对比单元还包括第一姿态判断子单元和第二姿态判断子单元;
所述第一姿态判断子单元,用于获取录制视频的每帧视频中关键点与标准运动姿态信息的关键点相比的位置偏移量和偏移角度,并根据所述位置偏移量和偏移角度判断计算出的偏移量和偏移角度是否超出预设偏移量和预设偏移角度,若均超出,则将对应的关键点对应的姿态位置信息为错误姿态,否则为正确姿态。
针对人体运动姿态信息为录制视频时,则将每帧视频进行对比,判断每帧视频中的运动姿态是否为正确姿态,并将判断信息发送至显示处理模块进行显示。
所述第二姿态判断子单元,用于获取深度图中含有的关键点与标准运动姿态信息的关键点相比的位置偏移量和偏移角度,并根据所述位置偏移量和偏移角度判断计算出的偏移量和偏移角度是否超出预设偏移量和预设偏移角度,若均超出,则将对应的关键点对应的姿态位置信息为错误姿态,否则判定为正确姿态。
针对人体运动姿态信息为深度图时,则将深度图中关键点位置与标准运动姿态信息中的关键点位置进行对比,判断深度图中的运动姿态是否为正确姿态,并将判断信息发送至显示处理模块进行显示。
在一种实施方式中,以教练或者专业人士运动姿态为标准姿态,将智能镜子前的人体姿态与其进行对比,两者姿态差异在某一个阈值内则为绿色显示判断为正确姿态;超过阈值,则为错误姿态,且红色显示,并用绿色提醒运动姿态的正确方向。
具体应用实施例中,所述显示处理模块包括显示屏和显示控制单元;
所述显示控制单元,用于控制显示屏对接收到的所述比对结果进行显示。
所述显示屏可以设置为全部智能镜子的镜面,也可以设置为部分镜子的镜面。所述显示控制单元用于控制对接收到的比对结果进行驱动显示。
本发明实施例中由于加入深度相机对用户运动姿态提取,在智能镜子的主板中将深度相机拍摄的用户运动姿态与专业教练姿态对比,在用户运动姿态与专业人士有偏差的情况下提供正确的姿态指导方向,纠正用户的错误动作,从而提升用户运动姿态,避免因为错误运动动作造成对身体的伤害。
本实施例在公开上述镜子的基础上,还公开一种运动姿态纠正方法,如图4所示,应用所述的智能镜子,所述方法包括:
步骤S1、利用深度相机采集人体运动姿态信息;
步骤S2、利用控制处理模块获取人体运动姿态信息,并将接收到的人体运动姿态信息与预先存储的标准运动姿态信息相比对,并将比对结果输出至所述显示处理模块;
步骤S3、控制显示处理模块接收所述比对结果,并显示。
本发明所公开的方法在具体应用实施例中包括以下步骤:
第一,提取教练或者专业人士正确的各种运动姿态。
第二,开启深度相机获取用户人体姿态图。
第三,与教练或专业人士运动姿态进行对比。专业人士的运动姿态分为两种:一种是预先存储的各个视频,一种是实时的远程教学视频。利用OpenPose 3D的多人关键点检测提取出两种形式的教练或者专业人士运动姿态以及用户的姿态,再进行对比。对比方式分为两种:一是录制用户的姿态,再逐帧与专业人士的标准运动姿态的视频逐帧对比,二是实时对比,深度相机抓取深度图后,OpensPose提取专业人士和用户的人体关键点,两者关键点进行对比。这两种对比方式主要对比姿态信息,即OpenPose 3D抓取到的人体关键点信息对比。对比的结果为姿态偏移的角度。
第四,以教练或者专业人士运动姿态为标准姿态,镜子前的人体姿态与其进行对比,两者姿态差异在某一个阈值内则为绿色显示判断为正确姿态;超过阈值,则为错误姿态,且红色显示,并用绿色提醒运动姿态的正确方向。
第五,结束。
具体的,结合图5所示,在上述步骤第三中,将人体运动姿态信息与专业教练的标准运动姿态进行对比时,可以分为先识别视频或者深度图中是否有人体运动姿态,若有,再对人体运动姿态进行关键点的位置信息提取,最后将提取到的关键点的位置信息与标准运动姿态的位置信息进行对比,以实现运动姿态的对比,从而得到最终的比对结果。
进一步的,根据人体运动姿态信息的不同,分别对应两种不同的信息对比步骤,分别为:
当所述人体运动姿态信息为录制的人体运动姿态视频信息时,则所述将接收到的人体运动姿态信息与预先存储的标准运动姿态信息相比对的步骤,包括:
对人体运动姿态信息对应的录制视频进行解析,对所述录制视频的每帧视频与标准运动姿态信息对应的每帧视频进行关键点对比,得到录制视频的每帧视频中关键点与标准运动姿态信息的关键点相比的位置偏移量和偏移角度。
当所述人体运动姿态信息为所述深度相机拍摄的人体运动姿态深度图时,则所述将接收到的人体运动姿态信息与预先存储的标准运动姿态信息相比对的步骤,包括:
对人体运动姿态信息对应的实时深度图中含有的关键点与标准运动姿态信息对应的每帧视频进行关键点对比,得到深度图中含有的关键点与标准运动姿态信息的关键点相比的位置偏移量和偏移角度。
本发明提供了一种纠正运动姿态的智能镜子及其运动姿态纠正方法,通过安装在智能镜子上的深度相机采集人体运动姿态信息,并将所述人体运动姿态信息传输至所述控制处理模块;利用控制处理模块将人体运动姿态信息与预先存储的标准运动姿态信息相比对,并输出比对结果至所述显示处理模块,并通过显示处理模块对比对结果进行显示。本实施例所公开的方法由于将采集到的用户运动姿态信息与标准的运动姿态进行比对,判断用户的运动姿态信息与标准的运动姿态信息之间的是否有偏差,并对判断出的姿态之间的偏差进行输出显示,从而实现为用户纠正运动姿态的目的,提供了镜子的智能性,为用户使用镜子提供了便利。
可以理解的是,对本领域普通技术人员来说,可以根据本发明的技术方案及其发明构思加以等同替换或改变,而所有这些改变或替换都应属于本发明所附的权利要求的保护范围。
Claims (10)
1.一种纠正运动姿态的智能镜子,其特征在于,包括:镜子本体和安装在镜子本体上的深度相机、设置在所述镜子本体内部的电路板,以及设置在所述电路板上并与所述深度相机连接的控制处理模块和显示处理模块;
所述深度相机,用于采集人体运动姿态信息;
所述控制处理模块,用于获取深度相机采集的人体运动姿态信息,并将获取的人体运动姿态信息与预先存储的标准运动姿态信息相比对,并将比对结果输出至所述显示处理模块;
所述显示处理模块,用于接收所述比对结果,并显示所述比对结果。
2.根据权利要求1所述的纠正运动姿态的智能镜子,其特征在于,所述控制处理模块包括:存储单元、关键点检测提取单元和关键点对比单元;
所述存储单元,用于存储标准运动姿态信息;
所述关键点检测提取单元,用于利用关键点检测模型提取所述人体运动姿态信息中含有的运动姿态关键点;
所述关键点对比单元,用于将提取到的运动姿态关键点与所述标准运动姿态信息中含有的运动姿态关键点进行对比,得到运动姿态关键点对比结果。
3.根据权利要求2所述的纠正运动姿态的智能镜子,其特征在于,所述比对结果包括人体运动姿态信息中含有的关键点与标准运动姿态信息中含有的关键点相比的位置偏移量、偏移角度,姿态调整信息以及姿态判断信息;其中,姿态判断信息包括:正确运动姿态和错误运动姿态。
4.根据权利要求3所述的纠正运动姿态的智能镜子,其特征在于,所述关键点对比单元包括第一姿态比对子单元和第二姿态比对子单元;
所述第一姿态比对子单元,用于对人体运动姿态信息对应的录制视频进行解析,对所述录制视频的每帧视频与标准运动姿态信息对应的每帧视频进行关键点对比,得到录制视频的每帧视频中关键点与标准运动姿态信息的关键点相比的位置偏移量和偏移角度;
所述第二姿态比对子单元,用于对人体运动姿态信息对应的实时深度图中含有的关键点与标准运动姿态信息对应的每帧视频进行关键点对比,得到深度图中含有的关键点与标准运动姿态信息的关键点相比的位置偏移量和偏移角度。
5.根据权利要求4所述的纠正运动姿态的智能镜子,其特征在于,所述控制处理模块还包括:姿态调整单元;
所述姿态调整单元,用于获取所述关键点对比单元中得到的所述位置偏移量和偏移角度,并根据所述位置偏移量和偏移角度确定姿态调整信息,并将所述姿态调整信息发送至所述显示处理模块。
6.根据权利要求5所述的纠正运动姿态的智能镜子,其特征在于,所述关键点对比单元还包括第一姿态判断子单元和第二姿态判断子单元;
所述第一姿态判断子单元,用于获取录制视频的每帧视频中关键点与标准运动姿态信息的关键点相比的位置偏移量和偏移角度,并根据所述位置偏移量和偏移角度判断计算出的偏移量和偏移角度是否超出预设偏移量和预设偏移角度,若均超出,则将对应的关键点对应的姿态位置信息为错误姿态,否则为正确姿态;
所述第二姿态判断子单元,用于获取深度图中含有的关键点与标准运动姿态信息的关键点相比的位置偏移量和偏移角度,并根据所述位置偏移量和偏移角度判断计算出的偏移量和偏移角度是否超出预设偏移量和预设偏移角度,若均超出,则将对应的关键点对应的姿态位置信息为错误姿态,否则判定为正确姿态。
7.根据权利要求1-6任一项所述的纠正运动姿态的智能镜子,其特征在于,所述显示处理模块包括显示屏和显示控制单元;
所述显示控制单元,用于控制显示屏对接收到的所述比对结果进行显示。
8.一种运动姿态纠正方法,其特征在于,应用如权利要求1-7任一项所述的智能镜子,所述方法包括:
利用深度相机采集人体运动姿态信息;
利用控制处理模块获取深度相机采集的人体运动姿态信息,并将获取的人体运动姿态信息与预先存储的标准运动姿态信息相比对,并将比对结果输出至显示处理模块;
控制显示处理模块接收所述比对结果,并显示。
9.根据权利要求8所述的运动姿态纠正方法,其特征在于,所述人体运动姿态信息为录制的人体运动姿态视频信息;
所述将获取的人体运动姿态信息与预先存储的标准运动姿态信息相比对的步骤,包括:
对人体运动姿态信息对应的录制视频进行解析,对所述录制视频的每帧视频与标准运动姿态信息对应的每帧视频进行关键点对比,得到录制视频的每帧视频中关键点与标准运动姿态信息的关键点相比的位置偏移量和偏移角度。
10.根据权利要求8所述的运动姿态纠正方法,其特征在于,所述人体运动姿态信息为所述深度相机拍摄的人体运动姿态深度图;
所述将获取的人体运动姿态信息与预先存储的标准运动姿态信息相比对的步骤,包括:
对人体运动姿态信息对应的实时深度图中含有的关键点与标准运动姿态信息对应的每帧视频进行关键点对比,得到深度图中含有的关键点与标准运动姿态信息的关键点相比的位置偏移量和偏移角度。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010836826.7A CN111985393A (zh) | 2020-08-18 | 2020-08-18 | 一种纠正运动姿态的智能镜子及其运动姿态纠正方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010836826.7A CN111985393A (zh) | 2020-08-18 | 2020-08-18 | 一种纠正运动姿态的智能镜子及其运动姿态纠正方法 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN111985393A true CN111985393A (zh) | 2020-11-24 |
Family
ID=73434953
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202010836826.7A Pending CN111985393A (zh) | 2020-08-18 | 2020-08-18 | 一种纠正运动姿态的智能镜子及其运动姿态纠正方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN111985393A (zh) |
Cited By (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112927280A (zh) * | 2021-03-11 | 2021-06-08 | 北京的卢深视科技有限公司 | 深度图像的获取方法及装置、单目散斑结构光系统 |
CN113262459A (zh) * | 2021-05-26 | 2021-08-17 | 上海大动科技有限公司 | 应用于运动健身镜的动作标准性的判定方法,装置和介质 |
CN113628239A (zh) * | 2021-08-16 | 2021-11-09 | 百度在线网络技术(北京)有限公司 | 显示优化方法、相关装置及计算机程序产品 |
CN114035683A (zh) * | 2021-11-08 | 2022-02-11 | 百度在线网络技术(北京)有限公司 | 用户捕捉方法、装置、设备、存储介质及计算机程序产品 |
CN114399833A (zh) * | 2021-12-01 | 2022-04-26 | 鉴丰电子科技有限公司 | 一种适用于智能健身镜的交互方法及系统 |
CN116611970A (zh) * | 2023-07-20 | 2023-08-18 | 中国人民解放军空军特色医学中心 | 结合人脸和姿态识别的群体训练动作纠正系统及方法 |
Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103390174A (zh) * | 2012-05-07 | 2013-11-13 | 深圳泰山在线科技有限公司 | 基于人体姿态识别的体育教学辅助系统和方法 |
CN105903157A (zh) * | 2016-04-19 | 2016-08-31 | 深圳泰山体育科技股份有限公司 | 电子教练实现方法及系统 |
KR20180058139A (ko) * | 2016-11-23 | 2018-05-31 | 한국기술교육대학교 산학협력단 | 스마트 헬스 서비스 시스템 및 스마트 헬스 서비스 방법 |
CN108256433A (zh) * | 2017-12-22 | 2018-07-06 | 银河水滴科技(北京)有限公司 | 一种运动姿态评估方法及系统 |
CN108525261A (zh) * | 2018-05-22 | 2018-09-14 | 深圳市赛亿科技开发有限公司 | 一种智能镜子健身指导方法及系统 |
CN109214231A (zh) * | 2017-06-29 | 2019-01-15 | 深圳泰山体育科技股份有限公司 | 基于人体姿态识别的体育教学辅助系统和方法 |
CN110321754A (zh) * | 2018-03-28 | 2019-10-11 | 西安铭宇信息科技有限公司 | 一种基于计算机视觉的人体运动姿态纠正方法及系统 |
-
2020
- 2020-08-18 CN CN202010836826.7A patent/CN111985393A/zh active Pending
Patent Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103390174A (zh) * | 2012-05-07 | 2013-11-13 | 深圳泰山在线科技有限公司 | 基于人体姿态识别的体育教学辅助系统和方法 |
CN105903157A (zh) * | 2016-04-19 | 2016-08-31 | 深圳泰山体育科技股份有限公司 | 电子教练实现方法及系统 |
KR20180058139A (ko) * | 2016-11-23 | 2018-05-31 | 한국기술교육대학교 산학협력단 | 스마트 헬스 서비스 시스템 및 스마트 헬스 서비스 방법 |
CN109214231A (zh) * | 2017-06-29 | 2019-01-15 | 深圳泰山体育科技股份有限公司 | 基于人体姿态识别的体育教学辅助系统和方法 |
CN108256433A (zh) * | 2017-12-22 | 2018-07-06 | 银河水滴科技(北京)有限公司 | 一种运动姿态评估方法及系统 |
CN110321754A (zh) * | 2018-03-28 | 2019-10-11 | 西安铭宇信息科技有限公司 | 一种基于计算机视觉的人体运动姿态纠正方法及系统 |
CN108525261A (zh) * | 2018-05-22 | 2018-09-14 | 深圳市赛亿科技开发有限公司 | 一种智能镜子健身指导方法及系统 |
Cited By (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112927280A (zh) * | 2021-03-11 | 2021-06-08 | 北京的卢深视科技有限公司 | 深度图像的获取方法及装置、单目散斑结构光系统 |
CN112927280B (zh) * | 2021-03-11 | 2022-02-11 | 北京的卢深视科技有限公司 | 深度图像的获取方法及装置、单目散斑结构光系统 |
CN113262459A (zh) * | 2021-05-26 | 2021-08-17 | 上海大动科技有限公司 | 应用于运动健身镜的动作标准性的判定方法,装置和介质 |
CN113628239A (zh) * | 2021-08-16 | 2021-11-09 | 百度在线网络技术(北京)有限公司 | 显示优化方法、相关装置及计算机程序产品 |
CN113628239B (zh) * | 2021-08-16 | 2023-08-25 | 百度在线网络技术(北京)有限公司 | 显示优化方法、相关装置及计算机程序产品 |
CN114035683A (zh) * | 2021-11-08 | 2022-02-11 | 百度在线网络技术(北京)有限公司 | 用户捕捉方法、装置、设备、存储介质及计算机程序产品 |
CN114035683B (zh) * | 2021-11-08 | 2024-03-29 | 百度在线网络技术(北京)有限公司 | 用户捕捉方法、装置、设备、存储介质及计算机程序产品 |
CN114399833A (zh) * | 2021-12-01 | 2022-04-26 | 鉴丰电子科技有限公司 | 一种适用于智能健身镜的交互方法及系统 |
CN114399833B (zh) * | 2021-12-01 | 2024-09-27 | 鉴丰电子科技有限公司 | 一种适用于智能健身镜的交互方法及系统 |
CN116611970A (zh) * | 2023-07-20 | 2023-08-18 | 中国人民解放军空军特色医学中心 | 结合人脸和姿态识别的群体训练动作纠正系统及方法 |
CN116611970B (zh) * | 2023-07-20 | 2023-11-07 | 中国人民解放军空军特色医学中心 | 结合人脸和姿态识别的群体训练动作纠正系统及方法 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN111985393A (zh) | 一种纠正运动姿态的智能镜子及其运动姿态纠正方法 | |
JP6809226B2 (ja) | 生体検知装置、生体検知方法、および、生体検知プログラム | |
US10092220B2 (en) | System and method for motion capture | |
CN103729981B (zh) | 一种儿童坐姿监控智能终端 | |
EP2338416B1 (en) | Line-of-sight direction determination device and line-of-sight direction determination method | |
US20110187643A1 (en) | User interface system based on pointing device | |
KR20180103280A (ko) | 관절 사이의 거리 유사성을 토대로 자세인식을 수행하는 노인전용 운동안내 시스템 | |
WO2014042121A1 (ja) | 動作評価装置及びそのプログラム | |
WO2011030624A1 (ja) | 表示装置および制御方法 | |
CN102812416A (zh) | 指示输入装置、指示输入方法、程序、记录介质以及集成电路 | |
US9418470B2 (en) | Method and system for selecting the viewing configuration of a rendered figure | |
CN110751100A (zh) | 一种体育场馆辅助训练方法与系统 | |
KR101495961B1 (ko) | 골프 자세 교정 시스템 및 방법 | |
CN110520822B (zh) | 控制装置、信息处理系统、控制方法和程序 | |
JP2005198818A (ja) | 身体動作の学習支援システム及び学習支援方法 | |
CN111444789A (zh) | 一种基于视频感应技术的近视预防方法及其系统 | |
KR20140137564A (ko) | 인물 추적용 3차원 이미지 센싱 시스템 및 그 방법 | |
US20220062702A1 (en) | Information processing apparatus and information processing method | |
CN114140721A (zh) | 射箭姿态评估方法、装置、边缘计算服务器及存储介质 | |
KR102268954B1 (ko) | 골프 공 타격을 감지하는 방법 및 이를 이용한 골프 스윙 모션 분석 장치 | |
WO2019137186A1 (zh) | 一种食物识别方法及装置、存储介质、计算机设备 | |
TWI755950B (zh) | 動作識別方法及其系統 | |
CN107749951A (zh) | 一种用于无人摄影的视觉感知方法和系统 | |
KR20130042844A (ko) | 자세 보정 시스템 | |
EP3813018A1 (en) | Virtual object operating system and virtual object operating method |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |