CN113761966A - 一种动作自适应同步方法及电子设备 - Google Patents
一种动作自适应同步方法及电子设备 Download PDFInfo
- Publication number
- CN113761966A CN113761966A CN202010484845.8A CN202010484845A CN113761966A CN 113761966 A CN113761966 A CN 113761966A CN 202010484845 A CN202010484845 A CN 202010484845A CN 113761966 A CN113761966 A CN 113761966A
- Authority
- CN
- China
- Prior art keywords
- action
- user
- building
- fitness
- video
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 230000033001 locomotion Effects 0.000 title claims abstract description 165
- 238000000034 method Methods 0.000 title claims abstract description 48
- 230000003044 adaptive effect Effects 0.000 title claims description 42
- 210000000988 bone and bone Anatomy 0.000 claims abstract description 54
- 230000001360 synchronised effect Effects 0.000 claims abstract description 14
- 230000009471 action Effects 0.000 claims description 422
- 230000015654 memory Effects 0.000 claims description 59
- 239000000284 extract Substances 0.000 claims description 18
- 238000004883 computer application Methods 0.000 abstract description 2
- 210000003127 knee Anatomy 0.000 description 107
- 230000036544 posture Effects 0.000 description 77
- 210000000629 knee joint Anatomy 0.000 description 47
- 210000002414 leg Anatomy 0.000 description 44
- 210000000544 articulatio talocruralis Anatomy 0.000 description 43
- 210000001624 hip Anatomy 0.000 description 42
- 238000006073 displacement reaction Methods 0.000 description 25
- 210000004394 hip joint Anatomy 0.000 description 22
- 238000010586 diagram Methods 0.000 description 21
- 230000000007 visual effect Effects 0.000 description 19
- 238000005452 bending Methods 0.000 description 12
- 238000004891 communication Methods 0.000 description 12
- 230000000694 effects Effects 0.000 description 12
- 238000009432 framing Methods 0.000 description 10
- 238000012545 processing Methods 0.000 description 10
- 230000004044 response Effects 0.000 description 9
- 210000002310 elbow joint Anatomy 0.000 description 8
- 230000003068 static effect Effects 0.000 description 8
- 210000003857 wrist joint Anatomy 0.000 description 8
- 238000010801 machine learning Methods 0.000 description 7
- 230000006870 function Effects 0.000 description 6
- 230000002452 interceptive effect Effects 0.000 description 6
- 238000012706 support-vector machine Methods 0.000 description 6
- 238000004458 analytical method Methods 0.000 description 5
- 238000005070 sampling Methods 0.000 description 4
- 210000000323 shoulder joint Anatomy 0.000 description 4
- 238000012549 training Methods 0.000 description 4
- 229920001621 AMOLED Polymers 0.000 description 3
- 230000005540 biological transmission Effects 0.000 description 3
- 238000007667 floating Methods 0.000 description 3
- 230000006403 short-term memory Effects 0.000 description 3
- 210000003423 ankle Anatomy 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 2
- 230000006835 compression Effects 0.000 description 2
- 238000007906 compression Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 230000036541 health Effects 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 230000002093 peripheral effect Effects 0.000 description 2
- 230000008569 process Effects 0.000 description 2
- 238000007493 shaping process Methods 0.000 description 2
- 210000000707 wrist Anatomy 0.000 description 2
- WHXSMMKQMYFTQS-UHFFFAOYSA-N Lithium Chemical compound [Li] WHXSMMKQMYFTQS-UHFFFAOYSA-N 0.000 description 1
- 239000002253 acid Substances 0.000 description 1
- 238000013473 artificial intelligence Methods 0.000 description 1
- 230000003190 augmentative effect Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 239000000969 carrier Substances 0.000 description 1
- 230000001413 cellular effect Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 239000003795 chemical substances by application Substances 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 210000002683 foot Anatomy 0.000 description 1
- 239000011521 glass Substances 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 229910052744 lithium Inorganic materials 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 238000010295 mobile communication Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 239000002096 quantum dot Substances 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/044—Recurrent networks, e.g. Hopfield networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/049—Temporal neural networks, e.g. delay elements, oscillating neurons or pulsed inputs
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- General Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Health & Medical Sciences (AREA)
- User Interface Of Digital Computer (AREA)
Abstract
本申请涉及计算机应用技术领域，公开了一种动作自适应同步方法，电子设备的通过显示屏显示的健身视频的每一个健身动作的帧数和采集的用户的完成每一个健身动作时各个骨骼节点的移动距离相对应，用户完成每一个健身动作所发生的移动距离对应播放与该移动距离相匹配的帧数，使得健身视频中教练示范的健身动作的播放速度与用户作健身动作的速度同步，保证了用户随健身视频进行健身动作的连续性和节奏性，提高了用户的健身体验感。
Description
技术领域
本申请涉及计算机应用技术领域，尤其涉及一种动作自适应同步方法及电子设备。
背景技术
随着当代社会人们生活压力的不断加大，健身休闲时间严重不足，为了缩减用户去健身房的移动时间，越来越多的用户选择室内健身。用户在室内健身时，常常会通过电子设备，如手机、电脑、智慧屏等上的健身软件提供的健身视频教程学习健身动作，但是现在的健身软件只能提供健身视频教程，健身视频教程中用户做同一健身动作的速度和教练做健身动作的速度很难匹配，导致健身视频教程中教练和用户的健身动作不同步的问题，破坏用户作健身训练的连续性和节奏性，造成用户的健身体验低。
发明内容
本发明的目的在于提供一种动作自适应同步方法，保证了健身视频教程中教练和用户的健身动作的同步性，提高了用户的健身体验感的问题。
第一方面，本发明实施例公开了一种动作自适应同步方法，应用于电子设备，动作自适应同步方法包括：电子设备播放健身视频。其中，健身视频包含健身教练的动作姿态、健身视频的指导语音以及文字信息等信息。
电子设备采集用户的动作姿态。电子设备的图像采集模块可以提供应用在电子设备上的用于采集电子设备前的用户的姿态、动作等图像信息，图像采集模块可以镶嵌于电子设备的外壳上，如镶嵌于电子设备的上边框中，也可以独立于电子设备设置，图像采集模块设置在电子设备的显示屏的上方。图像采集模块可以为摄像头(如红外摄像头)等。
电子设备对健身视频中当前播放的健身动作和用户的动作姿态进行匹配。其中，电子设备确定健身视频中教练示范的健身动作所涉及的关键骨骼节点和智慧屏的摄像头采集的用户当前的动作姿态涉及的关键骨骼节点，并基于关键骨骼节点确定用户和健身视频中教练的健身动作是否同步。
根据本申请中的第一方面中的实施例，健身视频中可以由至少一个健身教练示范标准健身动作。
根据本申请中的第一方面中的实施例，在确定关键骨骼节点时，可以通过以下步骤实施：
电子设备获取健身视频中至少一个健身教练的一个或多个骨骼节点；
电子设备获取用户的一个或多个骨骼节点；
电子设备从健身视频中至少一个健身教练的一个或多个骨骼节点和用户的一个或多个骨骼节点中确定关键骨骼节点。
根据本申请中的第一方面中的实施例，确定关键骨骼节点包括：
电子设备从用户和至少一个健身教练的骨骼节点中选择当前示范的健身动作的关键骨骼节点，其中，关键骨骼节点为当前健身动作涉及的骨骼节点。
根据本申请中的第一方面中的实施例，电子设备对健身视频中当前播放的健身动作和用户的动作姿态进行匹配包括：
电子设备基于LSTM对健身视频当前中至少一个健身教练当前示范的健身动作和用户的动作姿态进行关键骨骼节点提取，得到当前示范的健身动作的第三姿态特征和用户的第四姿态特征，基于关键骨骼节点将第三姿态特征和第四姿态特征进行匹配。其中，第三姿态特征和第四姿态特征是关键骨骼节点的动作姿态。
根据本申请中的第一方面中的实施例，电子设备基于LSTM对健身视频当前中至少一个健身教练当前示范的健身动作和用户的动作姿态进行关键骨骼节点提取，得到当前示范的健身动作的第一姿态特征和用户的第二姿态特征，将第一姿态特征和第二姿态特征进行匹配。其中，第一姿态特征和第二姿态特征是关键骨骼节点的动作姿态。
根据本申请中的第一方面中的实施例，对健身视频进行视频分帧，得到健身视频的连续时刻的帧图像。其中，电子设备按照播放时间顺序依次读取健身视频中的各个健身动作，并对各个健身动作进行视频分帧，视频分帧是将健身视频中每个健身动作分为一帧一帧的画面，视频中的每一帧都是一副静止的画面，从而将每一个健身动作划分为多帧图像画面。
若健身动作与用户当前的动作姿态不匹配，则电子设备调整健身视频中健身动作的播放速度，以使健身动作与用户的动作姿态同步。
根据本申请中的第一方面中的实施例，电子设备确定与用户的第二姿态特征对应的目标帧图像。基于第一姿态特征对应的帧图像与目标帧图像的时刻关系，调整健身视频的播放速度，以使与目标帧图像对应的健身动作与用户的动作姿态同步。
根据本申请中的第一方面中的实施例，确定与用户的第二姿态特征对应的目标帧图像包括：
电子设备基于与第二姿态特征对应的完整健身动作的总帧数和平均移动距离确定目标帧图像，其中，平均移动距离为第二姿态特征对应的关键骨骼节点从完整健身动作的初始位置至结束位置的平均移动距离。其中，电子设备基于平均移动距离和该健身动作的帧数，计算用户在做该健身动作时的速度。电子设备的摄像头实时采集用户的动作姿态，用户再重复做同一健身动作时，计算涉及到该健身动作的所有骨骼节点的实时平均移动距离，对应播放该平均移动距离对应的画面帧，达到控制播放健身视频的播放速度的目的。
根据本申请中的第一方面中的实施例，平均移动距离为第二姿态特征对应的关键骨骼节点在三维坐标系中由初始位置至结束位置在X轴、Y轴和Z轴三个方向发生的移动距离的平均值。
本申请第一方面实施例公开的一种动作自适应同步方法，电子设备的通过显示屏显示的健身视频的每一个健身动作的帧数和采集的用户的完成每一个健身动作时各个骨骼节点的移动距离相对应，用户完成每一个健身动作所发生的移动距离对应播放与该移动距离相匹配的帧数，使得健身视频中教练示范的健身动作的播放速度与用户作健身动作的速度同步，保证了用户随健身视频进行健身动作的连续性和节奏性，提高了用户的健身体验感。
根据本申请中的第一方面中的实施例，所述目标帧图像对应的时刻点超出所述第一姿态特征对应的帧图像的时刻点时，所述电子设备调整所述健身视频的播放速度为目标速度，其中，所述目标速度大于所述健身视频当前的播放速度。
其中，该目标帧图像对应的时刻点指的是目标帧图像对应的时间的数值，用户当前的健身动作的时刻点指的是用户当前的健身动作的第一姿态特征对应的时刻点。用户当前的健身动作的时刻点和目标帧图像对应的时刻点之间时刻之间的关系称为时刻关系。
根据本申请中的第一方面中的实施例，所述目标帧图像对应的时刻点大于所述第一姿态特征对应的帧图像的时刻点时，所述电子设备控制所述健身视频由当前播放的健身动作直接跳转到所述目标帧图像。当前播放的健身视频的健身动作的帧图像的时刻点和目标帧图像的时刻点之间的时刻关系为：当前播放的健身视频的健身动作的帧图像的时间早于目标帧图像的时间。
根据本申请中的第一方面中的实施例，所述目标帧图像对应的时刻点小于所述第一姿态特征对应的帧图像的时刻点时，所述电子设备控制所述健身视频回放并由当前播放的健身动作直接跳转到所述目标帧图像。
根据本申请中的第一方面中的实施例，所述健身动作与所述用户的动作姿态不同步时，所述电子设备进行语音提示和/或文字提示。其中，健身动作与所述用户的动作姿态不同步时，电子设备在显示屏上显示“动作不同步”等词或者通过喇叭提示“动作不同步”。
根据本申请中的第一方面中的实施例，所述电子设备在全屏展示所述健身视频。
根据本申请中的第一方面中的实施例，在本申请的一些实施例中，全屏显示视频界面时，该视频界面可以占用显示屏的全部显示区域。在一种可能的实施方式中，全屏显示视频界面是指，显示屏中仅显示视频界面，而不显示其他内容。在另一种可能的实施方式中，该视频界面还可以仅占用显示屏的部分显示区域，例如显示屏的中间部分显示视频界面，一侧或两侧边缘部分白屏或黑屏时，也可看作显示屏全屏显示该视频界面。
根据本申请中的第一方面中的实施例，所述用户的动作姿态在所述电子设备的显示屏悬浮窗中展示。
根据本申请中的第一方面中的实施例，电子设备在显示屏全屏显示用户实时健身的窗口，并在显示屏的左下角悬浮显示健身视频窗口。并且在显示屏上显示当前健身动作的文字提示。
根据本申请中的第一方面中的实施例，所述电子设备将所述用户的动作姿态进行存储；所述电子设备基于与所述用户的动作姿态对应的标准健身动作确定与所述用户的动作姿态标准不匹配；
则标记所述用户的动作姿态非标准动作并重新播放健身视频中与所述非标准动作对应的标准健身动作；所述电子设备以用户进行与所述非标准动作对应的健身动作的健身速度重新播放健身视频中的标准健身动作，所述的标准健身动作与所述非标准动作对应的健身动作对应。
所述电子设备对所述非标准动作进行文字和/或语音讲解。
根据本申请中的第一方面中的实施例，电子设备基于摄像头实时采集的用户的动作姿态和动作轨迹判定用户还未完成该健身动作，则电子设备暂停播放该健身视频，并在电子设备的显示屏上显示当前用户正在进行的健身动作的文字提示，直至摄像头实时采集到用户完成已经播完的健身动作并且用户当前的健身动作和当前暂停画面对应的动作姿态相匹配时，取消暂停并从当前暂停时刻开始恢复视频播放，或者将健身视频回放至与用户当前的动作姿态相对应的画面再次同步进行健身动作。
根据本申请中的第一方面中的实施例，电子设备显示屏上播放健身视频和实时采集用户的动作姿态，电子设备判断用户做的健身动作是否标准，如果不标准，则电子设备将该健身动作作为非标准健身动作，并计算用户做非标准健身动作的健身速度，电子设备以该健身速度播放健身视频中与非标准健身动作对应的教练示范的标准的健身动作，以对用户做的非标准健身动作进行纠正。
根据本申请中的第一方面中的实施例，在播放该非标准动作视频时，对用户进行语音讲解和语音提示以修正用户的错误的健身动作。
显而易见的是，电子设备将用户做的非标准健身动作的视频存储，在显示屏上的整个健身视频播放完成后，播放用户做错的非标准健身视频，并与教练示范的标准的健身视频进行比对和讲解，纠正用户做错的健身动作，有利于用户的身体健康和进一步提升了用户的体验感。
第二方面，本申请实施例公开了一种电子设备，包括：
存储器，所述存储器存储有同步指令；
处理器，所述处理器执行所述同步指令时，实现如以上任意一种提到的动作自适应同步方法的步骤。
第三方面，本申请实施例公开了一种动作自适应同步装置，所述动作自适应同步装置包括：
播放模块，用于播放健身视频；
采集模块，用于采集用户的动作姿态；
匹配模块，用于对所述健身视频中当前播放的健身动作和所述用户的动作姿态进行匹配。
调整模块，用于调整所述健身视频中所述健身动作的播放速度，以使所述健身动作与所述用户的动作姿态同步。
本发明其他特征和相应的有益效果在说明书的后面部分进行阐述说明，且应当理解，至少部分有益效果从本发明说明书中的记载变的显而易见。
附图说明
图1(a)为本申请实施例示出的应用场景的智慧屏的结构示意图；
图1(b)为本申请实施例示出的智慧屏与图像采集模块的位置关系示意图；
图1(c)为本申请实施例示出的动作自适应同步设备的使用状态的示意图；
图1(d)为本申请实施例示出的人体骨骼模型的示意图；
图1(e)为本申请实施例示出的智慧屏的UI界面示意图；
图1(f)为本申请实施例示出的用户点击健身APP后的健身页面示意图；
图2(a)至图2(d)为本申请实施例示出的一种动作自适应同步方法的UI界面图；
图3(a)为本申请实施例示出的一种动作自适应同步方法的流程示意图；
图3(b)为本申请实施例示出的一种动作自适应同步状态的示意图；
图4(a)至图4(c)为本申请实施例示出的另一种动作自适应同步方法的UI界面图；
图5为本申请实施例示出的另一种动作自适应同步方法的流程示意图；
图6(a)至图6(c)为本申请实施例示出的另一种动作自适应同步方法的UI界面图；
图7为本申请实施例示出的另一种动作自适应同步方法的流程示意图；
图8为本申请实施例示出的一种电子设备的结构示意图；
图9为本申请实施例示出的SOC的结构示意图。
具体实施方式
以下由具体实施例说明本申请的实施方式，本领域技术人员可由本说明书所揭示的内容轻易地了解本申请的其他优点及功效。虽然本申请的描述将结合实施例一起介绍，但这并不代表此申请的特征仅限于该实施方式。恰恰相反，结合实施方式作申请介绍的目的是为了覆盖基于本申请的权利要求而有可能延伸出的其它选择或改造。为了提供对本申请的深度了解，以下描述中将包含许多具体的细节。本申请也可以不使用这些细节实施。此外，为了避免混乱或模糊本申请的重点，有些具体细节将在描述中被省略。需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。
可以理解，如本文所使用的，术语“模块”可以指代或者包括专用集成电路()、电子电路、执行一个或多个软件或固件程序的处理器(共享、专用、或群组)和/或存储器、组合逻辑电路、和/或提供所描述的功能的其他适当硬件组件，或者可以作为这些硬件组件的一部分。
可以理解，在本申请各实施例中，处理器可以是微处理器、数字信号处理器、微控制器等，和/或其任何组合。根据另一个方面，所述处理器可以是单核处理器，多核处理器等，和/或其任何组合。
下面根据本申请的一些实施例，对提供健身视频教程的电子设备进行说明，电子设备包括但不限于手机、平板电脑、膝上型计算机、台式计算机、虚拟现实或者增强现实设备、智慧屏等电子设备，对于以上电子设备而言，为了实现本申请实施例所提供的技术方案，电子设备包括但不限于显示屏和图像采集设备，在电子设备上设置显示屏目的之一是为了显示健身视频，在电子设备上设置视频采集设备目的之一是为了采集电子设备的视频采集设备的采集范围内的用户的动作姿态，电子设备通过显示屏显示的健身视频的每一个健身动作的帧数和采集的用户的完成每一个健身动作时各个骨骼节点的移动距离，利用用户完成每一个健身动作所发生的移动距离和健身视频中该健身动作的总帧数控制健身视频的播放速度，使得健身视频中的健身动作的播放速度与用户作健身动作的速度同步。
图1(a)为本申请实施例示出的应用场景的智慧屏的结构示意图，图1(b)为本申请实施例示出的智慧屏与图像采集模块的位置关系示意图,图1(c)为本申请实施例示出的动作自适应同步设备的使用状态的示意图，图1(d)为本申请实施例示出的人体骨骼模型的示意图，图1(e)为本申请实施例示出的智慧屏的UI界面示意图，图1(f)为本申请实施例示出的用户点击健身APP后的健身页面示意图。
在本申请的一些实施例中，以电子设备为智慧屏为例对本申请实施例所提供的动作自适应同步方法进行说明。如图1(a)所示的，智慧屏10包括：处理器101，电源模块102、存储器103、无线通信模块104、显示屏105、图像采集模块106等。
在本申请的一些实施例中，可以理解的是，本申请实施例示意的图1(a)所示的结构并不构成对智慧屏10的具体限定。在本申请的另一些实施例中，智慧屏10可以包括比图1(a)示出的更多或更少的部件，或者组合某些部件，或者拆分某些部件，或者不同的部件布置。图1(a)所示的部件可以以硬件，软件或软件和硬件的组合。
在本申请的一些实施例中，处理器101可以提供应用在智慧屏10上的包括一个或多个处理单元，例如，处理器101包括但不限于中央处理器(CentralProcessing Unit，CPU)、图像处理器(Graphics Processing Unit，GPU)、数字信号处理器(Digital SignalProcessing，DSP)、微处理器(Micro-programmed Control Unit，MCU)、人工智能(Artificial Intelligence，AI)处理器或可编程逻辑器件(Field Programmable GateArray，FPGA)等的处理模块或处理电路。其中，不同的处理单元可以是独立的器件，也可以集成在一个或多个处理器中。处理器101中可以设置存储单元，用于存储指令和数据。在一些实施例中，处理器101中的存储单元为高速缓冲存储器，需要说明的是，处理器101也可以作为控制器。
在本申请的一些实施例中，电源模块102可以提供应用在智慧屏10上的包括电池、电池管理部件等。电源管理部件用于管理电源的充电和电源向其他模块的供电，电池可以采用锂电池、铅酸电池等可充电式电池，电池的形状可以但不限于纽扣型、方型等。
在本申请的一些实施例中，存储器103可以包括用于存储数据和/或指令的一个或多个有形的、非暂时性的计算机可读介质。在一些实施例中，存储器103包括但不限于闪存等任意合适的非易失性存储器和/或任意合适的非易失性存储设备，例如硬盘驱动器(harddisk drive，HDD)，光盘(compact disc，CD)驱动器，数字通用光盘(digital versatiledisc，DVD)驱动器中的至少一个，健身视频教程可以缓存至存储器103中，在用户确定播放健身视频教程时，可以从存储器103中直接提取健身视频教程并在显示屏105上播放，此外，存储器103中还可以预先存储有人体骨骼模型，人体骨骼模型的各个骨骼节点都进行了编号或者进行了名称定义，在处理器101可以直接从存储器103中提取人体骨骼模型进行应用。
在本申请的一些实施例中，无线通信模块104可以提供应用在智慧屏10上的包括无线局域网(wireless local area networks，WLAN)(如无线保真(wireless fidelity，Wi-Fi)网络)，蓝牙(bluetooth，BT)，全球导航卫星系统(global navigation satellitesystem，GNSS)，调频(frequency modulation，FM)，近距离无线通信技术(near fieldcommunication，NFC)等无线通信的解决方案，智慧屏10可以通过无线通信技术与网络以及手机、遥控器等进行通信，在本申请的一些实施例中，无线通信模块104可以为蓝牙芯片，通信方式为蓝牙通信，为了降低蓝牙芯片对智慧屏10的功耗，蓝牙芯片可以选取低功耗蓝牙芯片，其型号可以选取为NRF52810-QFAA-R蓝牙5.0的低功耗蓝牙芯片。
在本申请的一些实施例中，显示屏105可以提供应用在智慧屏10上的用于显示人机交互界面、图像、健身APP的交互界面、健身视频等。显示屏105包括但不限于显示面板。显示面板可以采用液晶显示屏(liquid crystal display，LCD)，有机发光二极管(organiclight-emittingdiode，OLED)，有源矩阵有机发光二极体或主动矩阵有机发光二极体(active-matrix organic light emitting diode的，AMOLED)，柔性发光二极管(flexlight-emitting diode，FLED)，Miniled，MicroLed，Micro-oLed，量子点发光二极管(quantumdot lighte mitting diodes，QLED)等。
在本申请的一些实施例中，图像采集模块106可以提供应用在智慧屏10上的用于采集智慧屏10前的用户的姿态、动作等图像信息，图像采集模块可以镶嵌于智慧屏10的外壳上，如镶嵌于智慧屏的上边框中，也可以独立于智慧屏10设置，如图1(b)所示，图像采集模块106设置在智慧屏10的显示屏的上方，图像采集模块106通过视频传输线连接智慧屏10。图像采集模块106可以为摄像头(如红外摄像头)等。
在本申请的一些实施例中，图像采集模块106包括但不限于镜头部分、芯片组部分、PCB及元器件部分等。镜头部包括但不限于镜头，镜头由透镜(凸透镜、凹透镜)组成，从材质上分类可以分为塑胶透镜和玻璃透镜；按照颜色分类，镜头可分为彩色镜头、黑白镜头；按照功能分类，镜头可分为固定镜头、变焦镜头；按照大小分类，镜头可分为单板镜头、针孔镜头、CS镜头；按照红外分类，镜头可分为850nm镜头、940nm镜头、650nm镜头。芯片组部是摄像头的心脏部分，是将光信号转变为电信号的主要元器件，根据芯片组中感光芯片的特征，主要的芯片组分为CCD芯片和CMOS芯片。PCB及元器件部分是摄像头的重要组成部分，是所有器件的载体，其主要功能是提供各项零件的相互电气连接。
在本申请的一些实施例中，如图1(c)所示的，电源为智慧屏供电，智慧屏得电之后，用户操作智慧屏并通过本申请实施例示出的智慧屏播放的健身视频教程进行健身。
图像采集模块106设置于智慧屏10的显示屏105的上沿，图像采集模块106可以通过视频传输线连接智慧屏10，智慧屏10通过显示屏105播放并显示健身APP的健身视频。
其中，健身视频包含健身教练的动作姿态、健身视频的指导语音以及文字信息，其中，健身视频可以是预先存储于存储器103中，也可以是实时通过网络下载并播放，存储器103中还预先存储有人体骨骼模型，人体骨骼模型的各个骨骼节点都进行了编号或者进行名称定义。
在本申请的一些实施例中，如图1(d)所示的，将人体的骨骼点设定为15个骨骼点，该15个骨骼点为头部中心1、颈部中心(例如脖子的脊柱中心)2、左肩关节点3、右肩关节点4、左手肘关节点5、右手肘关节点6、左手腕关节点7、右手腕关节点8、左髋关节点9、左膝盖关节点10、左脚踝关节点11、右髋关节点12、右膝盖关节点13、右脚踝关节点14以及躯干中心(例如躯干的脊柱中心)15，各个骨骼节点之间以骨骼点为基准可以将身体划分为五个身体部分即躯干、左臂、右臂、左腿及右腿，其中，躯干包括例如躯干的脊柱中心和躯干中心(例如躯干的脊柱中心)15，左臂包括左肩关节点3、左手肘关节点5和左手腕关节点7，右臂包括右肩关节点4、右手肘关节点6和右手腕关节点8，左腿包括左髋关节点9、左膝盖关节点10和左脚踝关节点11，右腿包括右髋关节点12、右膝盖关节点13和右脚踝关节点14。此外，需要说明的是，除了对骨骼节点进行编号进行区分外，也可以定义各个骨骼节点的名称进行区分，如头部、颈部、左肩、右肩、左手肘、右手肘、左手腕、右手腕、左髋、左膝盖、左脚踝、右髋、右膝盖、右脚踝以及躯干，本申请实施例对于骨骼节点的定义区分的方式并不作限定。在用户作健身动作时躯干、左臂、右臂、左腿及右腿相互协调配合完成一系列的健身动作。
在本申请的一些实施例中，人体骨骼模型的各个骨骼节点发生的位移距离和位移方向可以映射到三维坐标系的X轴正方向、X轴负方向、Y轴正方向、Y轴负方向、Z轴正方向、Z轴负方向，在各个骨骼节点发生位移时，通过三维坐标系进行计算。
在本申请的一些实施例中，显示屏105上显示的健身视频中教练所展示的健身动作和语音文字用于提示用户同步做健身动作，设置于智慧屏10的显示屏105上沿的图像采集模块106实时采集用户做健身动作的姿态信息并通过视频传输线或者无线通信方式传输至智慧屏10的处理器101，处理器101读取健身视频并对健身视频作分帧处理，将健身视频中涉及的所有的健身动作进行分段(如健身视频中的一健身动作为左腿由初始位置向左侧方抬高再将左腿由抬高的位置处还原至初始位置，可以将该健身动作分为两段，即左腿由初始位置向左侧方抬高为第一段，左腿由抬高的位置处再还原到初始位置为第二段)，然后将每个健身动作的视频进行视频分帧处理，视频分帧处理是将健身视频中每个健身动作分为一帧一帧的画面，视频中的每一帧都是一副静止的画面，得到健身动作的连续时刻的帧图像。在进行视频分帧后统计每个健身动作分帧后的总的帧数(以左腿向左侧方抬高为例，其进行分帧处理后的总的帧数为40帧)；智慧屏10将摄像头采集的用户初始时的健身动作的姿态信息，并统计用户初始作某一个健身动作(以左腿向左侧方抬高为例)时涉及的骨骼节点的编号或名称(左髋关节点9、左膝盖关节点10和左脚踝关节点11)，在用户初始作左腿向左侧方抬高的健身动作时，所涉及的骨骼节点左髋关节点9、左膝盖关节点10和左脚踝关节点11从双脚站立时的原始位置到完左腿的左膝盖关节点抬高到最终位置所移动的距离分别为：左髋关节点移动距离、左膝盖关节点移动距离和左脚踝关节点移动距离。
智慧屏10计算用户作左腿向左侧方抬高这一健身动作的左髋关节点移动距离、左膝盖关节点移动距离和左脚踝关节点移动距离三者的平均值得到完成左腿向左侧方抬高的健身动作的所涉及的关节点的平均移动距离，然后计算平均移动距离与左腿向左侧方抬高这一健身动作的总帧数的比值，得到完成左腿向左侧方抬高的健身动作所涉及的关节点移动单位距离对应左腿向左侧方抬高这一健身动作应该播放的帧数，当用户再次做左腿向左侧方抬高这一健身动作时，实时计算用户作做左腿向左侧方抬高的左髋关节点9、左膝盖关节点10和左脚踝关节点11实时移动的平均移动距离，控制健身视频播放左腿向左侧方抬高这一健身动作与实时移动的平均距离对应的帧数，达到用户作该健身动作与健身视频的同步性的目的。
实施例1
图1(e)示例性示出了智慧屏10上的用于展示智慧屏10安装的应用程序的示例性用户界面10。
用户界面100可包括：状态栏101，应用程序图标102。其中：
状态栏101可包括：无线高保真(wireless fidelity，Wi-Fi)信号的一个或多个信号强度指示符101C，电池状态指示符101D、时间指示符101E。
在一些实施例中，状态栏101还可以包括：移动通信信号(又可称为蜂窝信号)的一个或多个信号强度指示符、运营商名称(例如“中国移动”)。
应用程序图标102可以为：健身的图标102A、图库的图标102B、音乐的图标102C、应用的图标102D、联系人的图标102E，邮箱的图标102F、云共享的图标102G、备忘录的图标102H、设置的图标102I、相机的图标102J。用户界面10还可包括页面指示符103。其他应用程序图标可分布在多个页面，页面指示符103可用于指示用户当前浏览的是哪一个页面中的应用程序。用户可以左右滑动其他应用程序图标的区域，来浏览其他页面中的应用程序图标。
在本申请的一些实施例中，用户界面100还可包括：导航栏104。
导航栏104可包括：返回键104A、主屏幕键104B、多任务键104C等系统导航键。当检测到用户点击返回键104A时，智慧屏100可显示当前页面的上一个页面。当检测到用户点击主屏幕键104B时，智慧屏100可显示主界面。当检测到用户点击多任务键104C时，智慧屏100可显示用户最近打开的任务。各导航键的命名还可以为其他，本申请对此不做限制。不限于虚拟按键，导航栏104中的各导航键也可以实现为物理按键。
在一些实施例中，图1(e)示例性所示的用户界面100可以为主界面(Homescreen)。
在其他一些实施例中，智慧屏100还可以包括前置摄像头，前置摄像头还可称作副摄像头，主要位于智慧屏100屏幕的上方，前置摄像头作为本申请实施例中图1(a)中的图像采集模块106，其可以采集智慧屏10前的用户的姿态、动作等图像信息以及自拍等。
在其他一些实施例中，智慧屏10还可以包括主屏幕键。该主屏幕键可以是实体按键，也可以是虚拟按键。该主屏幕键可用于接收用户的指令，将当前显示的UI返回到主界面，这样可以方便用户随时查看主屏幕。上述指令具体可以是用户单次按下主屏幕键的操作指令，也可以是用户在短时间内连续两次按下主屏幕键的操作指令，还可以是用户在预定时间内长按主屏幕键的操作指令。在本申请其他一些实施例中，主屏幕键还可以集成指纹识别器，以便用于在按下主屏幕键的时候，随之进行指纹采集和识别。
可以理解的是，图1(e)仅仅示例性示出了智慧屏10上的用户界面，不应构成对本申请实施例的限定。
示例性的，如图1(f)所示，用户可点击用户界面100上的健身图标102A，智慧屏10检测到上述用户操作，响应于上述用户操作，智慧屏10显示健身app的界面11。
用户界面11可包括：应用程序标题栏201，搜索框202，设置203，功能栏204，显示区205。其中：
应用程序标题栏201可用于指示当前页面用于展示智慧屏10的设置界面。应用程序标题栏201的表现形式可以为文本信息“智能健身”、图标或其他形式。
搜索框202可用于根据用户输入的字符，搜索与该字符匹配的健身课程。
设置203可接收用户操作(例如触摸操作)，响应于检测到的该用户操作，智慧屏10可以显示智能健身的设置界面。
功能栏204可包括：用户中心控件204A，课程推荐控件204B，多个课程分类控件。上述多个课程分类控件可包括但不限于：燃脂专区控件204C、塑形专区控件204D、塑形专区控件204E。其中
用户中心控件204A可接收用户操作(例如触摸操作)，响应于检测到的该用户操作，智慧屏10可以在显示区205显示用户个人中心的界面内容。
课程推荐控件204B可接收用户操作(例如触摸操作)，响应于检测到的该用户操作，智慧屏10可以在显示屏105的显示区205显示一或多个推荐的健身课程。例如，如图1(e)所示，显示区205显示多个推荐的课程的课程封面，以及每个推荐课程的课程分类、时长、名称。
上述多个课程分类控件中的控件可接收用户操作(例如触摸操作)，响应于检测到的该用户操作，智慧屏10可以在显示屏105的显示区205显示该课程分类控件对应的一或多个健身课程的课程封面。
在本申请的一些实施例中，上述健身课程的课程封面或名称可接收用户的播放操作(例如触摸操作)，响应于检测到的上述播放操作，智慧屏10可以在显示屏显示健身课程的具体内容。
健身app可以是响应于用户对该健身app的图标的触控操作启动的，例如，单击、双击、长按等。在本申请的一些实施例中，显示屏配置有触控面板，可用于接收用户的触控操作，该触控操作是指用户手部、手肘、触控笔等接触显示屏的操作。在具体实现中还可以有其他的方式打开健身app的界面11。此处不作限定。
例如，用户可通过按压按键开启第一控制模式打开健身app的界面11；或者，通过检测用户输入的语音打开健身app的界面11；或者，通过指关节绘制的特定形状(如Z形、矩形、圆圈等)打开健身app的界面11。本申请实施例对此不作具体限定。
此外，用户还可以通过遥控器控制智慧屏10显示健身app的界面11；用户还可以通过特定手势控制智慧屏10显示健身app的界面11。本申请实施例中对用户操作不做具体限定。
可以理解的是，图1(e)仅仅示例性示出了智慧屏10上的健身app界面，不应构成对本申请实施例的限定。
健身课程通常包括多个动作，两个连续的动作间可以有预设的休息时间。健身课程可以是智慧屏根据用户历史健身数据推荐的，也可以是用户根据实际需求选择的。健身课程可以是本地播放，也可以是在线播放。此处均不作具体限定的。
在本申请的一些实施例中，智慧屏10可接收用户的播放操作，响应于检测到上述播放操作，智慧屏10可以在显示屏的健身课程显示区显示健身课程的具体内容，同时在显示屏的用户健身显示区实时显示用户的身体姿态。
在本申请的一些实施例中，智慧屏10根据摄像头采集的视频数据，在上述用户健身显示区实时显示用户的健身视频。
上述摄像头作为智慧屏的图像采集模块106。其可以为智慧屏10的前置摄像头，上述摄像头也可以为智慧屏10的外接摄像头，此处不做具体限定。
下面以健身动作为“腰背挺直、目视前方至左膝盖向左侧方抬高”为例对本申请实施例提供的一种动作自适应同步方法进行说明。
示例性的，如图2(a)所示，用户可点击显示区205中的显示的推荐课程，智慧屏10检测到上述用户操作，响应于上述用户操作，智慧屏10显示训练界面12。
训练界面12包括健身课程窗口301，用户健身窗口302。其中：
健身课程窗口301用于显示健身课程的具体内容。
用户健身窗口302用于显示摄像头实时采集的用户的健身动作。
显示屏上播放健身视频和智慧屏的摄像头实时采集用户的动作姿态，在显示屏开始播放健身视频之前，健身视频中的教练和用户的动作都处于初始状态，在初始UI界面上展示即将开始的健身动作的文字说明，右侧展示教练示范的健身动作，左侧展示用户当前的动作姿态，显示屏105的中间位置展示健身动作的文字提示的健身动作要领，然后在显示屏上开始播放健身视频。
在本申请的一些实施例中，智慧屏10可以全屏显示用户健身视频，并在显示屏上悬浮显示健身课程的小窗口。
示例性的，如图2(b)所示，智慧屏10在训练界面12全屏显示用户健身窗口302，并在显示屏的左下角悬浮显示健身课程窗口301。并且在训练界面12上显示当前健身动作的文字提示。
在本申请的一些实施例中，智慧屏10全屏显示健身课程，并在显示屏上悬浮显示用户健身视频的小窗口。
在本申请的一些实施例中，全屏显示视频界面时，该视频界面可以占用显示屏的全部显示区域。在一种可能的实施方式中，全屏显示视频界面是指，显示屏中仅显示视频界面，而不显示其他内容。在另一种可能的实施方式中，该视频界面还可以仅占用显示屏的部分显示区域，例如显示屏的中间部分显示视频界面，一侧或两侧边缘部分白屏或黑屏时，也可看作显示屏全屏显示该视频界面。
在本申请的另一些实施例中，全屏显示视频界面可以指，显示屏中显示视频界面的同时，还可以显示系统级别的界面元素，例如状态栏、悬浮快捷菜单等。
除了图2(a)和图2(b)所示的窗口显示方式，健身课程窗口301和用户健身窗口302还可以通过其他显示方式进行显示，本申请实施例对此不作具体限定。
在用户进行如图2(a)所示的健身动作后，智慧屏10确定健身视频中教练示范的健身动作所涉及的关键骨骼节点和智慧屏的摄像头采集的用户当前的动作姿态涉及的关键骨骼节点，并基于关键骨骼节点确定用户和健身视频中教练的健身动作是否同步，如果不同步，则智慧屏10控制调整健身视频的播放速度。
在本申请的一些实施例中，如图2(c)所示的，智慧屏的显示屏上实时显示教练以“腰背挺直、目视前方至左膝盖向左侧方抬高”的动作姿态，当前时刻显示屏上显示教练的“左膝盖向左侧方抬高”的动作姿态(显示屏上显示的是左膝盖抬高至标准位置的第50帧的画面)，在显示屏的左上角还显示有该健身动作的文字提示“腰背挺直、目视前方至左膝盖向左侧方抬高”，用户对照显示屏上教练示范的健身动作和文字提示，对应进行健身。
显示屏的左下角实时显示用户的动作姿态为“左膝盖向左侧方抬高”(显示屏上显示的是左膝盖抬高至标准位置的一半距离位置处的第25帧的画面)，显而易见的是，用户在初始做“腰背挺直、目视前方至左膝盖向左侧方抬高”这一健身动作时，用户的健身动作和健身视频中教练示范的健身动作并不一致，也就是说，用户的健身速度比健身视频中教练示范的健身速度慢，为了提示用户，可以在显示屏进行文字提示，如“请注意动作不匹配”的文字提示。
在本申请的一些实施例中，如图2(d)所示的，调整健身视频的播放速度，即将健身视频的播放速度调整为0.5倍速并在显示屏上显示文字提示“当前正以0.5倍速播放”，使得用户下次做该动作的动作姿态为“左膝盖抬高至标准位置的一半距离位置”时，健身视频中的“腰背挺直、目视前方至左膝盖向左侧方抬高”这一健身动作播放第25帧的画面，保证健身视频中教练示范的健身动作的播放速度与用户作健身动作的速度同步。
如图3(a)所示的，根据本申请的一些实施例，通过本申请进行动作自适应同步的流程如下：
步骤S30：电源模块为智慧屏供电，用户操作遥控器控制智慧屏开启，并在智慧屏的显示屏的交互界面上点击健身APP，打开健身APP上的健身视频并播放，其中，在智慧屏播放该健身视频时，若智慧屏的存储器中预先存储有该健身视频，则从存储器中直接提取该健身视频并在显示屏上播放，若存储器中未预先存储，则通过网络下载该健身视频并在显示屏上播放和在存储器中缓存，健身视频上包含健身教练示范的多个健身动作、语音指导以及文字提示等信息，如按照时间播放顺序，第一个健身动作为腰背挺直、目视前方至左膝盖向左侧方抬高，第二个健身动作为身体左侧屈且肘与膝盖触碰，第三个动作为高抬腿(左腿和右腿均完成一次高抬腿为完整的高抬腿动作)等，在教练示范健身动作时，会进行语音提示并在智慧屏的显示屏上显示该语音的文字。
步骤S31：智慧屏按照播放时间顺序依次读取健身视频中的各个健身动作，并对各个健身动作进行视频分帧，视频分帧是将健身视频中每个健身动作分为一帧一帧的画面，视频中的每一帧都是一副静止的画面，从而将每一个健身动作划分为多帧图像画面，健身视频中每一个连续的健身动作的每一帧都是一副静止的图像，例如将第一个健身动作为腰背挺直、目视前方至左膝盖向左侧方抬高的动作分为50帧，将第二个健身动作为身体左侧屈且肘与左膝盖触碰的动作分为25帧，第三个动作为高抬腿的动作分为50帧。
步骤S32：智慧屏识别健身视频的教练示范的每一个健身动作的运动轨迹、提取每一个健身动作的文字说明、语音说明，并从中解析关键字，确定出教练示范的每一个健身动作涉及的骨骼节点的信息。其中，健身动作的运动轨迹以及关键字的解析可以通过机器学习实现，例如长短期记忆网络(Long Short-Term Memory，LSTM)、支持向量机(SupportVector Machine，SVM)等。以健身视频中播放的第一个健身动作为“腰背挺直、目视前方至左膝盖向左侧方抬高”为例。在教练示范健身动作的同时，教练语音播出“腰背挺直、目视前方至左膝盖向左侧方抬高”的提示语音并以文字形式在显示屏上显示，智慧屏基于LSTM识别健身动作并从提示语音和文字中提取关键字“腰背”、“膝盖”、“左侧方”以及“目视前方”对该健身动作进行身体划分，划分为头部、颈部、躯干和左腿四个部分，并识别出以上身体部位涉及的骨骼节点为头部中心1、颈部中心2、躯干中心15、左髋关节点9、左膝盖关节点10和左脚踝关节点11。此外，基于机器学习，也可以将每个健身动作进行分段，如健身视频中播放的第一个健身动作为“腰背挺直、目视前方至左膝盖向左侧方抬高”，基于LSTM将该健身动作分为两段，第一段为“腰背挺直、目视前方”，第二段为“左膝盖向左侧方抬高”，如此，将一个健身动作划分为两段，可以更好的与用户的健身速度进行同步。
步骤S33：智慧屏的显示屏播放健身视频时，用户站立在面对智慧屏的摄像头的摄像范围内，跟着显示屏上显示的教练示范的健身动作、文字提示等对应做健身动作，用户初次做某一健身动作时，摄像头可以以5次/秒的采样频率采集摄像范围内的用户的动作姿态并传输到处理器，处理器基于采集到的动作姿态从存储器中提取显示屏当前播放的健身动作，并通过机器学习(如LSTM)识别与显示屏当前播放的健身动作所涉及的教练的骨骼节点相匹配的用户的骨骼节点，计算该健身动作所涉及的所有用户的骨骼节点从初始位置至结束位置的平均移动距离。
在本申请的一些实施例中，以健身视频中播放的第一个健身动作为“腰背挺直、目视前方至左膝盖向左侧方抬高”为例，该健身动作总共为50帧，该动作涉及的骨骼节点为头部中心1、颈部中心2、躯干中心15、左髋关节点9、左膝盖关节点10和左脚踝关节点11，如图3(b)所示的，在三维坐标系中，当用户初次进行左膝盖向左侧方抬高这一动作时，左膝盖关节点10和左脚踝关节点11发生的位移方向为Z轴正方向和Y轴正方向，假设左膝盖关节点10从本次健身动作的初始位置开始向Z轴正方向发生的位移距离为80cm，左膝盖关节点10向Y轴正方向发生的位移距离为50cm，左脚踝关节点11从本次健身动作的初始位置开始向Z轴正方向发生的位移距离为60m，左脚踝关节点11向Y轴正方向发生的位移距离为40cm，头部中心1、颈部中心2、左髋关节点9、躯干中心15发生的位移为零，左膝盖关节点10发生的位移距离约为90.2cm，脚踝关节点11发生的位移距离约为72.1cm，则用户完成“腰背挺直、目视前方至左膝盖向左侧方抬高”这一健身动作的左膝盖关节点10和左脚踝关节点11发生的平均位移距离为左膝盖关节点10发生的位移距离和脚踝关节点11发生的位移距离的平均值，约为81.2cm。
步骤S34：智慧屏基于平均移动距离和该健身动作的帧数，计算用户在做该健身动作时的速度。在本申请的一些实施例中，仍以健身动作为“腰背挺直、目视前方至左膝盖向左侧方抬高”为例，该健身动作总共为50帧，则用户完成“腰背挺直、目视前方至左膝盖向左侧方抬高”这一健身动作，头部中心1、颈部中心2、左髋关节点9、躯干中心15发生的位移为零，左膝盖关节点10和左脚踝关节点11在Z轴正方向和Y轴从本次健身动作的初始位置开始向正方向发生的平均位移距离为81.2cm，则用户在做“腰背挺直、目视前方至左膝盖向左侧方抬高”这一健身动作时的健身速度为
步骤S35：智慧屏的摄像头以5次/秒的采样频率实时采集用户的动作姿态，用户再重复做同一健身动作时，计算涉及到该健身动作的所有骨骼节点的实时平均移动距离，对应播放该平均移动距离对应的画面帧，达到控制播放健身视频的播放速度的目的。在本申请的一些实施例中，仍以健身动作为“腰背挺直、目视前方至左膝盖向左侧方抬高”为例，用户在做“腰背挺直、目视前方至左膝盖向左侧方抬高”这一健身动作的过程中，头部中心1、颈部中心2、左髋关节点9、躯干中心15发生的位移为零，左膝盖关节点10和左脚踝关节点11从本次健身动作的初始位置开始在Z轴正方向和Y轴正方向发生的实时平均位移距离为40cm，用户初次做“腰背挺直、目视前方至左膝盖向左侧方抬高”健身动作的速度为0.62帧/cm,则此时按照时间播放顺序该健身视频的健身动作为“腰背挺直、目视前方至左膝盖向左侧方抬高”应该播放至第0.62×40帧，约为第25帧，也就是说，用户的左膝盖关节点10和左脚踝关节点11在Z轴正方向和Y轴正方向发生的实时平均位移距离为40cm时，智慧屏的显示屏上播放的健身视频为“腰背挺直、目视前方至左膝盖向左侧方抬高”这一健身动作应该播放第25帧。用户继续进行该健身动作至完成时刻(左膝盖关节点10和左脚踝关节点11在Z轴正方向和Y轴正方向发生的实时平均位移距离为81.2cm)，智慧屏的显示屏上播放的“腰背挺直、目视前方至左膝盖向左侧方抬高”这一健身动作应该播放第50帧。
其中，用户的左膝盖关节点10和左脚踝关节点11在Z轴正方向和Y轴正方向发生的实时平均位移距离为40cm时，“腰背挺直、目视前方至左膝盖向左侧方抬高”这一健身动作在显示屏上播放的正常播放帧数为30帧(作为目标帧图像)。如此，针对用户作某一健身动作实际移动的距离，智慧屏对应控制“腰背挺直、目视前方至左膝盖向左侧方抬高”这一健身动作的播放速度，使得健身视频中播放用户当前所做的健身动作的比较理想的帧数以与用户当前实际移动的距离相对应，如上描述的，在用户的左膝盖关节点10和左脚踝关节点11从本次健身动作的初始位置开始在Z轴正方向和Y轴正方向发生的实时平均位移距离为40cm，智慧屏控制健身视频中“腰背挺直、目视前方至左膝盖向左侧方抬高”这一动作播放第25帧(显而易见的是，该目标帧图像对应的时刻点(目标帧图像对应的时间的数值)小于用户当前的健身动作(第一姿态特征对应的时刻点))的画面而非以正常播放速度播放第30帧的画面，即智慧屏控制“腰背挺直、目视前方至左膝盖向左侧方抬高”这一健身动作的播放速度慢于“腰背挺直、目视前方至左膝盖向左侧方抬高”这一健身动作的正常播放速度(0.8倍速)，如此，实现了显示屏上播放的“腰背挺直、目视前方至左膝盖向左侧方抬高”这一健身动作的播放速度与用户做“腰背挺直、目视前方至左膝盖向左侧方抬高”的实际速度相匹配。
本申请实施例公开的一种动作自适应同步方法，智慧屏的通过显示屏显示的健身视频的每一个健身动作的帧数和采集的用户的完成每一个健身动作时各个骨骼节点的移动距离相对应，用户完成每一个健身动作所发生的移动距离对应播放与该移动距离相匹配的帧数，使得健身视频中教练示范的健身动作的播放速度与用户作健身动作的速度同步，保证了用户随健身视频进行健身动作的连续性和节奏性，提高了用户的健身体验感。
实施例2
图4(a)至图4(c)是本申请实施例示出的另一种动作自适应同步方法的UI界面图，
在本申请的一些实施例中，如图4(a)所示的，显示屏上播放健身视频和实时采集用户的动作姿态，在开始播放健身视频之前，健身视频中的教练和用户的动作都处于初始状态，在初始UI界面上展示即将开始的健身动作的文字说明，右侧展示教练示范的健身动作，左下角展示用户当前的动作姿态，左上角展示健身动作的文字提示的健身动作要领，然后开始播放健身视频。
智慧屏确定健身视频中教练示范的健身动作所涉及的骨骼节点和用户当前的动作姿态涉及的骨骼节点，智慧屏判断健身视频播放的健身动作与用户做的健身动作是否匹配，如果匹配，则正常在显示屏上播放健身视频，如果不匹配，则智慧屏调整健身视频在显示屏上的播放状态。
在本申请的一些实施例中，如图4(b)所示的，以“身体左侧屈且肘与膝盖触碰”为例，显示屏上实时显示教练以“身体左侧屈且肘与膝盖触碰”的动作姿态，当前时刻显示屏上显示教练的“身体左侧屈且肘与膝盖触碰”的动作姿态(显示屏上显示的是肘与膝盖触碰的第25帧的画面)，在显示屏的左上角还显示有该健身动作的文字提示“身体左侧屈且肘与膝盖触碰”，用户对照教练示范的健身动作和文字提示，对应进行健身，采集用户实时的动作姿态并在显示屏的左下角实时显示用户的动作姿态为第三个健身动作“高抬腿”，判定用户此时已经完成了第二个健身动作，并在显示屏上显示文字提示“请注意动作不匹配”以提示用户。
在本申请的一些实施例中，如图4(c)所示的，处理器控制健身视频直接跳过第二个健身动作并在显示屏上显示文字提示“已为您跳过上一个动作”，转到用户当前正在进行的第三个健身动作“高抬腿”，此时，如图4(c)所示的，显示屏的右侧显示教练示范的高抬腿动作，显示屏的左上角显示高抬腿的文字提示，显示屏的左下角显示用户此时做高抬腿的实时的动作姿态，如此，保证了显示屏当前播放的健身视频的健身动作与用户当前进行的健身动作的同步性。
图5为本申请实施例示出的另一种动作自适应同步方法的流程示意图，如图5所示的，在一个实施例中，通过本申请进行交互式健身的流程如下：
步骤S50：用户在智慧屏的显示屏的交互界面上点击健身APP，选择健身APP中的健身计划或健身课程(具体的，健身计划可以包括一个或多个健身课程，本申请对此不做限定)，其中，若智慧屏的预先存储有健身课程时，直接提取该健身视频并在显示屏上播放，智慧屏还可以通过网络获取健身课程并播放和在存储器中缓存，健身课程上包含健身教练示范的多个健身动作、语音指导以及文字提示等信息，如按照时间播放顺序，第一个健身动作为腰背挺直、目视前方至左膝盖向左侧方抬高，第二个健身动作为身体左侧屈且肘与膝盖触碰，第三个动作为高抬腿(左腿和右腿均完成一次高抬腿为完整的高抬腿动作)等，在教练示范健身动作时，会进行语音提示并在智慧屏的显示屏上显示该语音的文字。值得注意的是，健身视频的播放方式也可以为其他方式(如用户通过语音交互的方式向智慧屏发出语音指令(如播放视频)，例如，用户说健身，智慧屏自动开启健身APP)，本申请实施例并不局限于用户点击健身视频而播放健身视频这一种方式。
步骤S51：智慧屏按照播放时间顺序依次读取健身视频中的各个健身动作，健身视频中每一个连续的健身动作可以由多个静止的画面帧构成，如将第一个健身动作为腰背挺直、目视前方至左膝盖向左侧方抬高分为50帧，将第二个健身动作为身体左侧屈且肘与左膝盖触碰分为25帧，第三个动作为高抬腿分为50帧。
步骤S52：智慧屏识别健身视频的教练示范的每一个健身动作的运动轨迹、提取每一个健身动作的文字说明、语音说明，并从中解析关键字，确定出每一个健身动作涉及的骨骼节点的信息(编号或名称)。其中，健身动作的运动轨迹以及关键字的解析可以通过机器学习实现，例如长短期记忆网络(Long Short-Term Memory，LSTM)、支持向量机(SupportVector Machine，SVM)等。以健身视频中播放的第一个健身动作为“腰背挺直、目视前方至左膝盖向左侧方抬高”为例，在教练示范健身动作的同时，教练语音播出“腰背挺直、目视前方至左膝盖向左侧方抬高”的提示语音并以文字形式在显示屏上显示，智慧屏基于LSTM识别健身动作并提取关键字“腰背”、“膝盖”、“左侧方”以及“目视前方”对该健身动作进行身体划分，划分为头部、颈部、躯干和左腿四个部分，并识别出以上身体部位涉及的骨骼节点为头部中心1、颈部中心2、躯干中心15、左髋关节点9、左膝盖关节点10和左脚踝关节点11。
步骤S53：智慧屏的显示屏播放健身视频时，用户站立在面对智慧屏的摄像头的摄像范围内，跟着显示屏上显示的教练示范的健身动作、文字提示等对应做健身动作，用户做某一健身动作时，摄像头可以以5次/秒的采样频率采集摄像范围内的用户的动作姿态并传输到处理器，处理器基于采集到的动作姿态从存储器中提取显示屏当前播放的健身动作，并通过机器学习(如LSTM)识别与显示屏当前播放的健身动作所涉及的教练的骨骼节点相对应的用户的骨骼节点，以健身动作“腰背挺直、目视前方至左膝盖向左侧方抬高”为例，通过LSTM识别出用户的骨骼节点为头部中心1、颈部中心2、躯干中心15、左髋关节点9、左膝盖关节点10和左脚踝关节点11。
步骤S54：智慧屏实时抓取与当前显示屏播放的健身视频的健身动作对应的骨骼节点的运动轨迹和动作姿态，和通过摄像头采集的用户当前做该健身动作所涉及的骨骼节点的运动轨迹和动作姿态，智慧屏判断健身视频播放的健身动作与用户做的健身动作是否匹配，如果匹配，则进入S55，若不匹配，进入S56。
其中，可以通过显示屏当前播放的健身动作所涉及的教练的骨骼节点编号或名称与用户当前做的健身动作所涉及的用户的骨骼节点名称或编号判断健身视频播放的健身动作与用户做的健身动作是否匹配(动作姿态)，和运动轨迹判断健身视频播放的健身动作与用户做的健身动作是否匹配，例如按照时间播放顺序，显示屏上显示的健身视频的第一个健身动作为腰背挺直、目视前方至左膝盖向左侧方抬高，第二个健身动作为身体左侧屈且肘与膝盖触碰，智慧屏的摄像头采集到用户正在进行第二个健身动作“身体左侧屈且肘与膝盖触碰”，并传输至处理器。
处理器通过LSTM学习该用户当前进行的第二个健身动作“身体左侧屈且肘与膝盖触碰”所涉及的骨骼节点为头部中心1、颈部中心2、躯干中心15、左髋关节点9、左膝盖关节点10、左手肘关节点5、左手腕关节点7、左脚踝关节点11，智慧屏对摄像头采集的用户姿态和运动轨迹进行分析，即用户姿态为身体左侧屈、肘与膝盖触碰，运动轨迹为：身体由正变为左侧屈，肘与膝盖靠近，即头部中心1、颈部中心2和躯干中心15向左倾斜、左膝盖关节点10向上抬起、左手肘关节点5和左手腕关节点7向左膝盖关节点10靠近，如此，智慧屏判定用户完成了第一个健身动作；智慧屏从存储器中提取的显示屏当前播放的健身动作为“左膝盖向左侧方抬高”，智慧屏对显示屏当前播放的教练示范的健身动作的运动轨迹进行分析，即教练的动作姿态为左膝盖抬高，运动轨迹为：左膝盖由初始位置向左侧方抬高，即左膝盖关节点10和左脚踝关节点11由下往上抬起，如此，智慧屏判断当前显示屏播放的是健身视频的第一个健身动作，此时，智慧屏判定用户当前做的健身动作和当前显示屏播放的健身动作不匹配。
S55：正常在显示屏上播放健身视频。
S56：智慧屏调整健身视频在显示屏上的播放状态，具体如下：按照时间播放顺序，如果用户已经完成显示屏当前播放的健身视频的健身动作(当前播放的健身视频的健身动作的帧图像的时刻点(当前播放的健身视频的健身动作的时间)未超出目标帧图像的时刻点(目标帧图像的健身动作的时间)，其中，当前播放的健身视频的健身动作的帧图像的时刻点和目标帧图像的时刻点之间的时刻关系为：当前播放的健身视频的健身动作的帧图像的时间早于目标帧图像的时间)。则智慧屏控制健身视频高倍速(如4倍速为目标速度)播放显示屏当前播放的健身动作或者直接跳过显示屏当前播放的健身动作(当前播放的健身动作为第一姿态特征对应的帧图像)播放用户正在进行的下一个健身动作(目标帧图像)。如果显示屏已经播放完成健身视频的健身动作，智慧屏基于摄像头实时采集的用户的动作姿态和动作轨迹判定用户还未完成该健身动作，则智慧屏暂停播放该健身视频，并在智慧屏的显示屏上显示当前用户正在进行的健身动作的文字提示，直至摄像头实时采集到用户完成已经播完的健身动作并且用户当前的健身动作和当前暂停画面对应的动作姿态相匹配时，取消暂停并从当前暂停时刻开始恢复视频播放，或者将健身视频回放至与用户当前的动作姿态相对应的画面再次同步进行健身动作。
在本申请的一些实施例中，如按照时间播放顺序，显示屏上显示的健身视频的第一个健身动作为腰背挺直、目视前方至左膝盖向左侧方抬高，第二个健身动作为身体左侧屈且肘与膝盖触碰，智慧屏的摄像头采集到用户正在进行第二个健身动作“身体左侧屈且肘与膝盖触碰”，并传输至处理器。
处理器通过LSTM学习该用户当前进行的第二个健身动作所涉及的骨骼节点为头部中心1、颈部中心2、躯干中心15、左髋关节点9、左膝盖关节点10、左手肘关节点5、左手腕关节点7、左脚踝关节点11，智慧屏对摄像头采集的用户姿态和运动轨迹进行分析，即用户姿态为身体左侧屈、肘与膝盖触碰，运动轨迹为：身体由正变为左侧屈，肘与膝盖靠近，即头部中心1、颈部中心2和躯干中心15向左倾斜、左膝盖关节点10向上抬起、左手肘关节点5和左手腕关节点7向左膝盖关节点10靠近，如此，智慧屏判定用户完成了第一个健身动作；智慧屏从存储器中提取的显示屏当前播放的健身动作为“左膝盖向左侧方抬高”，智慧屏对显示屏当前播放的教练示范的健身动作的运动轨迹进行分析，即教练的动作姿态为左膝盖抬高，运动轨迹为：左膝盖由初始位置向左侧方抬高，即左膝盖关节点10和左脚踝关节点11由下往上抬起，如此，智慧屏判断当前显示屏播放的是健身视频的第一个健身动作。此时，智慧屏的摄像头会实时采集用户当前进行的健身动作，智慧屏可以以4倍速的速度播放健身视频直至显示屏上播放的健身动作和用户当前进行的健身动作相匹配，则恢复正常速度播放健身视频。
本申请实施例公开的一种动作自适应同步方法，实时识别显示屏中播放的健身视频的教练的动作姿态和运动轨迹，以及识别智慧屏的摄像头采集的用户做的健身动作的动作姿态和运动轨迹，在两者不匹配时，调整显示屏播放健身视频的播放状态从而使得显示屏当前播放的健身视频的健身动作与用户当前进行的健身动作的同步性，保证用户在进行健身时的连续性和流畅性。
实施例3
图6(a)至图6(c)是本申请实施例示出的另一种动作自适应同步方法的UI界面图，
在本申请的一些实施例中，如图6(a)所示的，显示屏上播放健身视频和实时采集用户的动作姿态，在开始播放健身视频之前，健身视频中的教练和用户的动作都处于初始状态，在初始UI界面上展示即将开始的健身动作的文字说明，右侧展示教练示范的健身动作，左下角展示用户当前的动作姿态，左上角展示健身动作的文字提示的健身动作要领，然后智慧屏控制开始播放健身视频。
智慧屏判断用户做的健身动作是否标准，如果不标准，则智慧屏将该健身动作作为非标准健身动作，并计算用户做非标准健身动作的健身速度，智慧屏以该健身速度播放健身视频中与该非标准健身动作(错误的健身动作)对应的教练示范的标准的健身动作，以对用户做的错误的健身动作进行纠正。
在本申请的一些实施例中，如图6(b)所示的，以“腰背挺直、目视前方至左膝盖向左侧方抬高”为例，显示屏上实时显示教练以“腰背挺直、目视前方至左膝盖向左侧方抬高”的动作姿态，当前时刻显示屏上显示教练的“左膝盖向左侧方抬高”的动作姿态(显示屏上显示的是左膝盖抬高至标准位置的第50帧的画面)，在显示屏的左上角还显示有该健身动作的文字提示“腰背挺直、目视前方至左膝盖向左侧方抬高”，用户对照显示屏上教练示范的健身动作和文字提示，对应进行健身，采集用户实时的动作姿态并在显示屏的左下角实时显示用户的动作姿态为“右膝盖向右侧方抬高”，显而易见的是，用户在做“腰背挺直、目视前方至左膝盖向左侧方抬高”这一健身动作时，与教练示范的健身动作“腰背挺直、目视前方至左膝盖向左侧方抬高”并不匹配，说明此时用户进行的健身动作出现错误，并在显示屏上显示文字提示“请注意动作不匹配”。
在整个健身视频播放完成后，显示屏上同步播放教练示范的标准的健身动作“左膝盖向左侧方抬高”和用户做错的健身动作“右膝盖向右侧方抬高”。在本申请的一些实施例中，如图6(c)所示的，可以在显示屏的右侧显示用户做错的健身动作的视频，在显示屏的左下角显示教练示范的标准的健身动作，在左上角显示教练示范的标准的健身动作的文字提示，以与教练示范的标准的健身视频进行比对和讲解并在显示屏上显示文字提示“出现错误动作，请看您的动作回放”以提醒用户，纠正用户做错的健身动作。
图7为本申请实施例示出的另一种动作自适应同步方法的流程示意图，如图7所示的，在一个实施例中，通过本申请进行交互式健身的流程如下：
步骤S70：电源模块为智慧屏供电，用户操作遥控器控制智慧屏开启，并在智慧屏的显示屏的交互界面上点击健身APP，打开健身APP上的健身视频并播放，其中，在智慧屏播放该健身视频时，若智慧屏的存储器中预先存储有该健身视频，则从存储器中直接提取该健身视频并在显示屏上播放，若存储器中未预先存储，则通过网络下载该健身视频并在显示屏上播放和在存储器中缓存，健身视频上包含健身教练示范的多个健身动作、语音指导以及文字提示等信息，如按照时间播放顺序，第一个健身动作为腰背挺直、目视前方至左膝盖向左侧方抬高，第二个健身动作为身体左侧屈且肘与膝盖触碰，第三个动作为高抬腿(左腿和右腿均完成一次高抬腿为完整的高抬腿动作)等，在教练示范健身动作时，会进行语音提示并在智慧屏的显示屏上显示该语音的文字。
步骤S71：智慧屏的处理器按照播放时间顺序依次读取健身视频中的各个健身动作，健身视频中每一个连续的健身动作可以由多个静止的画面帧构成，如将第一个健身动作为腰背挺直、目视前方至左膝盖向左侧方抬高分为50帧，将第二个健身动作为身体左侧屈且肘与左膝盖触碰分为25帧，第三个动作为高抬腿分为50帧。
步骤S72：智慧屏识别健身视频的教练示范的每一个健身动作的运动轨迹、提取每一个健身动作的文字说明、语音说明，并从中解析关键字，确定出健身视频中的每一个健身动作涉及的骨骼节点的信息(编号或名称)。其中，健身动作的运动轨迹以及关键字的解析可以通过机器学习实现，例如长短期记忆网络(Long Short-Term Memory，LSTM)、支持向量机(Support Vector Machine，SVM)等。以健身视频中播放的第一个健身动作为“腰背挺直、目视前方至左膝盖向左侧方抬高”为例，在教练示范健身动作的同时，教练语音播出“腰背挺直、目视前方至左膝盖向左侧方抬高”的提示语音并以文字形式在显示屏上显示，智慧屏基于LSTM识别健身动作并提取关键字“腰背”、“膝盖”、“左侧方”以及“目视前方”对该健身动作进行身体划分，划分为头部、颈部、躯干和左腿四个部分，并识别出以上身体部位涉及的骨骼节点为头部中心1、颈部中心2、躯干中心15、左髋关节点9、左膝盖关节点10和左脚踝关节点11。
步骤S73：智慧屏的显示屏播放健身视频时，用户站立在面对智慧屏的摄像头的摄像范围内，跟着显示屏上显示的教练示范的健身动作、文字提示等对应做健身动作，用户初次做某一健身动作时，摄像头可以以5次/秒的采样频率采集摄像范围内的用户的动作姿态并传输到处理器，处理器基于采集到的动作姿态从存储器中提取显示屏当前播放的健身动作，并通过机器学习(如LSTM)识别与显示屏当前播放的健身动作所涉及的教练的骨骼节点相匹配的用户的骨骼节点，计算该健身动作所涉及的所有用户的骨骼节点从初始位置至结束位置的平均移动距离。以健身视频中播放的第一个健身动作为“腰背挺直、目视前方至左膝盖向左侧方抬高”为例，该健身动作总共为50帧，该动作涉及的骨骼节点为头部中心1、颈部中心2、躯干中心15、左髋关节点9、左膝盖关节点10和左脚踝关节点11。
在本申请的一些实施例中，如图3(b)所示的，在三维坐标系中，当用户初次进行左膝盖向左侧方抬高这一动作时，左膝盖关节点10和左脚踝关节点11发生的位移方向为Z轴正方向和Y轴正方向，假设左膝盖关节点10向Z轴正方向发生的位移距离为80cm，左膝盖关节点10向Y轴正方向发生的位移距离为50cm，左脚踝关节点11向Z轴正方向发生的位移距离为60m，左脚踝关节点11向Y轴正方向发生的位移距离为40cm，头部中心1、颈部中心2、左髋关节点9、躯干中心15发生的位移为零，左膝盖关节点10发生的位移距离约为90.2cm，脚踝关节点11发生的位移距离约为72.1cm，则用户完成“腰背挺直、目视前方至左膝盖向左侧方抬高”这一健身动作的左膝盖关节点10和左脚踝关节点11发生的平均位移距离为左膝盖关节点10发生的位移距离和脚踝关节点11发生的位移距离的平均值，约为81.2cm。
用户做完第一个健身动作之后，紧接着做第二个健身动作身体左侧屈且肘与左膝盖触碰，直至用户做完整个健身视频指示的健身动作。
步骤S74：摄像头将实时采集的用户的健身动作的动作姿态、动作轨迹等信息传输至智慧屏的处理器和存储器，存储器将用户做每一个健身动作的视频按照时间录制顺序进行存储，处理器实时计算用户每次做每一个健身动作的速度并将实时计算的每一个健身动作的速度也存储至存储器。
步骤S75：智慧屏从存储器中提取与用户做的每一个健身动作对应的教练示范的标准健身动作进行识别并匹配以判断用户做的健身动作是否标准，在用户做的健身动作不标准时，则执行步骤S751将该健身动作作为错误动作存储在存储器中，在用户做的健身动作标准时，则执行步骤S752将该健身动作定义为标准动作，该标准动作可选的存储在存储器中。
在本申请的一些实施例中，仍以健身动作为“腰背挺直、目视前方至左膝盖向左侧方抬高”为例，该健身动作总共为50帧，则用户完成“腰背挺直、目视前方至左膝盖向左侧方抬高”这一健身动作，头部中心1、颈部中心2、左髋关节点9、躯干中心15发生的位移为零，左膝盖关节点10和左脚踝关节点11在Z轴正方向和Y轴正方向发生的平均位移距离为81.2cm，则用户在做“腰背挺直、目视前方至左膝盖向左侧方抬高”这一健身动作时的速度为
智慧屏将该健身动作的速度0.62帧/cm存储至存储器，当用户开始做“腰背挺直、目视前方至左膝盖向左侧方抬高”这一健身动作时，用户的右膝盖向左侧方抬高或者右膝盖向右侧方抬高时，摄像头采集用户此时的动作姿态(右膝盖在右侧方抬高)并传输至处理器，处理器基于LSTM网络识别出该动作姿态中的用户的右膝盖关节点13和右脚踝关节点14，处理器基于LSTM网络识别出健身视频中“腰背挺直、目视前方至左膝盖向左侧方抬高”这一健身动作的教练的骨骼节点为左膝盖关节点10和左脚踝关节点11，该健身动作中智慧屏将识别出的用户的关键骨骼节点右膝盖关节点13和右脚踝关节点14与教练的关键骨骼节点左膝盖关节点10和左脚踝关节点11进行骨骼节点的编号或名称的对比匹配，此时，智慧屏进行对比的用户的骨骼节点的编号与健身视频中教练的骨骼节点的编号并不一致，则判定用户做“腰背挺直、目视前方至左膝盖向左侧方抬高”这一健身动作为错误动作，并将摄像头录制的用户做的“腰背挺直、目视前方至左膝盖向左侧方抬高”这一错误的健身动作存储至存储器。值得注意的是，用户做健身动作的速度的计算方式与上述实施例相同，本申请实施例在此不再赘述。
步骤S76：用户在做完整个健身视频指示的所有的健身动作后，智慧屏计算每一个健身动作的平均速度，仍以健身动作为“腰背挺直、目视前方至左膝盖向左侧方抬高”为例，“腰背挺直、目视前方至左膝盖向左侧方抬高”在整个健身视频中用户总共需要做3次，智慧屏从存储器中提取用户初次做“腰背挺直、目视前方至左膝盖向左侧方抬高”这一健身动作时的速度，其速度为
智慧屏从存储器中提取用户第二次做“腰背挺直、目视前方至左膝盖向左侧方抬高”这一健身动作时的速度，其速度为0.66帧/cm，智慧屏从存储器中提取用户第三次做“腰背挺直、目视前方至左膝盖向左侧方抬高”这一健身动作时的速度，其速度为0.64帧/cm，则用户做“腰背挺直、目视前方至左膝盖向左侧方抬高”这一健身动作时的平均速度为0.64帧/cm。
步骤S77：在智慧屏的显示屏上的健身视频完成后，智慧屏上的摄像头将录制的用户的健身视频存储至存储器，智慧屏从存储器中提取用户做错的非标准健身动作和用户做该非标准健身动作的平均速度，智慧屏将非标准健身动作和非标准健身动作对应的教练师范的标准健身动作在显示屏上进行同屏播放，其中，在播放非标准健身动作对应的教练师范的标准健身动作时，以用户做的该非标准健身动作的平均速度播放教练示范的标准健身动作。以步骤S44中的为例，用户做“腰背挺直、目视前方至左膝盖向左侧方抬高”这一健身动作时为非标准健身动作，这一健身动作的平均速度为0.64帧/cm，则智慧屏控制存储器中存储的该用户的“腰背挺直、目视前方至左膝盖向左侧方抬高”的非标准动作视频和健身视频中的“腰背挺直、目视前方至左膝盖向左侧方抬高”的标准动作视频均以0.64帧/cm的速度播放。在播放该非标准动作视频时，对用户进行语音讲解和语音提示以修正用户的错误的健身动作。
本申请实施例公开的一种动作自适应同步方法，智慧屏将用户做的错误的健身动作的视频存储至存储器，在显示屏上的整个健身视频播放完成后，从存储器中提取用户做错的健身视频，并与教练示范的标准的健身视频进行比对和讲解，纠正用户做错的健身动作，有利于用户的身体健康和进一步提升了用户的体验感。
在本申请一些实施例中，还提供了一种电子设备，下面结合图8对本申请实施例中的电子设备进行介绍。图8为本申请实施例公开的一种电子设备的结构示意图。
对于至少一个实施例，控制器中枢804经由诸如前端总线(FSB)之类的多分支总线、诸如快速通道互连(QPI)之类的点对点接口、或者类似的连接与处理器801进行通信。处理器801执行控制一般类型的数据处理操作的指令。在一实施例中，控制器中枢804包括，但不局限于，图形存储器控制器中枢(GMCH)(图中未示出)和输入/输出中枢(IOH)(其可以在分开的芯片上)(图中未示出)，其中GMCH包括存储器和图形控制器并与IOH耦合。
电子设备800还可包括耦合到控制器中枢804的协处理器806和存储器802。或者，存储器802和GMCH中的一个或两者可以被集成在处理器801内(如本申请中所描述的)，存储器802和协处理器806直接耦合到处理器801以及控制器中枢804，控制器中枢804与IOH处于单个芯片中。
在一个实施例中，存储器802可以是例如动态随机存取存储器(DRAM)、相变存储器(PCM)或这两者的组合。存储器802中可以包括用于存储数据和/或指令的一个或多个有形的、非暂时性计算机可读介质。计算机可读存储介质中存储有指令，具体而言，存储有该指令的暂时和永久副本。
在一个实施例中，协处理器806是专用处理器，诸如例如高吞吐量MIC处理器、网络或通信处理器、压缩引擎、图形处理器、GPGPU、或嵌入式处理器等等。协处理器806的任选性质用虚线表示在图8中。
在一个实施例中，电子设备800可以进一步包括网络接口(NIC)803。网络接口803可以包括收发器，用于为设备800提供无线电接口，进而与任何其他合适的设备(如前端模块，天线等)进行通信。在各种实施例中，网络接口803可以与电子设备800的其他组件集成。网络接口803可以实现上述实施例中的通信单元的功能。
在一个实施例中，如图8所示的，电子设备800可以进一步包括输入/输出(I/O)设备805。输入/输出(I/O)设备805可以包括：用户界面，该设计使得用户能够与电子设备800进行交互；外围组件接口的设计使得外围组件也能够与电子设备800交互；和/或传感器设计用于确定与电子设备800相关的环境条件和/或位置信息。
值得注意的是，图8仅是示例性的。即虽然图8中示出了电子设备800包括处理器801、控制器中枢804、存储器802等多个器件，但是，在实际的应用中，使用本申请各方法的设备，可以仅包括电子设备800各器件中的一部分器件，例如，可以仅包含处理器801和NIC803。图8中可选器件的性质用虚线示出。
在本申请一些实施例中，该电子设备800的计算机可读存储介质中存储有指令可以包括：由处理器中的至少一个单元执行时导致设备实施如实施例1、实施例2和实施例3所提到的动作自适应同步方法的指令。当指令在计算机上运行时，使得计算机执行上述如实施例1、实施例2和实施例3所提到的动作自适应同步的方法。
现在参考图9，图9为本申请实施例公开的一种SOC的结构示意图，所示为根据本申请的一实施例的SoC(System on Chip，片上系统)1000的框图。在图9中，相似的部件具有同样的附图标记。另外，虚线框是更先进的SoC的可选特征。该SoC可以被用于根据本申请的一实施例的电子设备，根据其内所存储的指令，可以实现相应的功能。
在图9中，SoC 1000包括：互连单元1002，其被耦合至处理器1001；系统代理单元1006；总线控制器单元1005；集成存储器控制器单元1003；一组或一个或多个协处理器1007，其可包括集成图形逻辑、图像处理器、音频处理器和视频处理器；静态随机存取存储器(SRAM)单元1008；直接存储器存取(DMA)单元1004。在一个实施例中，协处理器1007包括专用处理器，诸如例如网络或通信处理器、压缩引擎、GPGPU、高吞吐量MIC处理器、或嵌入式处理器等等。
静态随机存取存储器(SRAM)单元1008中可以包括用于存储数据和/或指令的一个或多个计算机可读介质。计算机可读存储介质中可以存储有指令，具体而言，存储有该指令的暂时和永久副本。
在SoC 1000被应用于根据本申请的电子设备上时，计算机可读存储介质中存储有指令可以包括：由处理器中的至少一个单元执行时导致电子设备实施如实施例1、实施例2和实施例3所提到的动作自适应同步方法的指令。当指令在计算机上运行时，使得计算机执行上述如实施例1、实施例2和实施例3所提到的动作自适应同步的方法。
此外，本申请实施例还公开了一种计算机可读存储介质，计算机可读存储介质上存储有处理程序，处理程序被处理器执行时实现如实施例1、实施例2和实施例3所提到的动作自适应同步的方法。
计算机可读存储介质可以为只读存储器、随机存取存储器、硬盘或者光盘等。
Claims (15)
1.一种动作自适应同步方法，其特征在于，应用于电子设备，所述动作自适应同步方法包括：
所述电子设备播放健身视频；
所述电子设备采集用户的动作姿态；
所述电子设备对所述健身视频中当前播放的健身动作和所述用户的动作姿态进行匹配；
若所述健身动作与所述用户的动作姿态不匹配，则所述电子设备调整所述健身视频中所述健身动作的播放速度，以使所述健身动作与所述用户的动作姿态同步。
2.如权利要求1所述的动作自适应同步方法，其特征在于，所述电子设备对所述健身视频中当前播放的健身动作和所述用户的动作姿态进行匹配包括：
所述电子设备获取所述健身视频中至少一个健身教练的一个或多个骨骼节点；
所述电子设备获取所述用户的一个或多个骨骼节点；
所述电子设备从所述健身视频中至少一个健身教练的一个或多个骨骼节点和所述用户的一个或多个骨骼节点中确定关键骨骼节点。
3.根据权利要求2所述的方法，其特征在于，所述确定关键骨骼节点包括：
所述电子设备从所述用户和所述至少一个健身教练的骨骼节点中选择所述当前示范的健身动作的关键骨骼节点，其中，所述关键骨骼节点为当前播放的健身动作涉及的骨骼节点。
4.如权利要求3所述的动作自适应同步方法，其特征在于，所述电子设备对所述健身视频中当前播放的健身动作和所述用户的动作姿态进行匹配包括：
所述电子设备基于LSTM对所述健身视频当前中至少一个健身教练当前示范的健身动作和所述用户的动作姿态进行关键骨骼节点提取，得到所述当前示范的健身动作的第三姿态特征和所述用户的第四姿态特征，基于所述关键骨骼节点将所述第三姿态特征和所述第四姿态特征进行匹配。
5.如权利要求2所述的动作自适应同步方法，其特征在于，所述电子设备对所述健身视频中当前播放的健身动作和所述用户的动作姿态进行匹配包括：
所述电子设备基于LSTM对所述健身视频当前中至少一个健身教练当前示范的健身动作和所述用户的动作姿态进行关键骨骼节点提取，得到所述当前示范的健身动作的第一姿态特征和所述用户的第二姿态特征，将所述第一姿态特征和所述第二姿态特征进行匹配。
6.如权利要求5所述的动作自适应同步方法，其特征在于，对所述健身视频进行视频分帧，得到所述健身视频的连续时刻的帧图像。
7.如权利要求6所述的动作自适应同步方法，其特征在于，所述电子设备确定与所述用户的第二姿态特征对应的目标帧图像；
基于所述第一姿态特征对应的帧图像与所述目标帧图像的时刻关系，调整所述健身视频的播放速度，以使与所述目标帧图像对应的健身动作与所述用户的动作姿态同步。
8.如权利要求7所述的动作自适应同步方法，其特征在于，所述确定与所述用户的第二姿态特征对应的目标帧图像包括：
所述电子设备基于与所述第二姿态特征对应的完整健身动作的总帧数和平均移动距离确定所述目标帧图像，其中，所述平均移动距离为所述第二姿态特征对应的关键骨骼节点从所述完整健身动作的初始位置至结束位置的平均移动距离。
9.如权利要求8所述的动作自适应同步方法，其特征在于，所述平均移动距离为所述第二姿态特征对应的关键骨骼节点在三维坐标系中由所述初始位置至所述结束位置在X轴、Y轴和Z轴三个方向发生的移动距离的平均值。
10.如权利要求7所述的动作自适应同步方法，其特征在于，所述目标帧图像对应的时刻点大于所述第一姿态特征对应的帧图像的时刻点时，所述电子设备调整所述健身视频的播放速度为目标速度，其中，所述目标速度大于所述健身视频当前的播放速度。
11.如权利要求7所述的动作自适应同步方法，其特征在于，所述目标帧图像对应的时刻点大于所述第一姿态特征对应的帧图像的时刻点时，所述电子设备控制所述健身视频由当前播放的健身动作直接跳转到所述目标帧图像。
12.如权利要求7所述的动作自适应同步方法，其特征在于，所述目标帧图像对应的时刻点小于所述第一姿态特征对应的帧图像的时刻点时，所述电子设备控制所述健身视频回放并由当前播放的健身动作直接跳转到所述目标帧图像。
13.如权利要求1-5任意一项所述的动作自适应同步方法，其特征在于，所述健身动作与所述用户的动作姿态不同步时，所述电子设备进行语音提示和/或文字提示。
14.如权利要求1所述的动作自适应同步方法，其特征在于，所述电子设备将所述用户的动作姿态进行存储；
所述电子设备基于与所述用户的动作姿态对应的标准健身动作确定所述标准健身动作与所述用户的动作姿态标准不匹配；
则标记所述用户的动作姿态为非标准动作并重新播放健身视频中与所述非标准动作对应的标准健身动作；
所述电子设备以用户进行与所述非标准动作对应的健身速度重新播放健身视频中的标准健身动作，所述的标准健身动作与所述非标准动作对应的健身动作相对应；
所述电子设备对所述非标准动作进行文字和/或语音讲解。
15.一种电子设备，其特征在于，包括：
存储器，所述存储器存储有同步指令；
处理器，所述处理器执行所述同步指令时，实现如权利要求1-14任意一项所述的动作自适应同步方法的步骤。
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010484845.8A CN113761966A (zh) | 2020-06-01 | 2020-06-01 | 一种动作自适应同步方法及电子设备 |
| PCT/CN2021/096640 WO2021244411A1 (zh) | 2020-06-01 | 2021-05-28 | 一种动作自适应同步方法及电子设备 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010484845.8A CN113761966A (zh) | 2020-06-01 | 2020-06-01 | 一种动作自适应同步方法及电子设备 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN113761966A true CN113761966A (zh) | 2021-12-07 |
Family
ID=78782597
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010484845.8A Pending CN113761966A (zh) | 2020-06-01 | 2020-06-01 | 一种动作自适应同步方法及电子设备 |
Country Status (2)
| Country | Link |
|---|---|
| CN (1) | CN113761966A (zh) |
| WO (1) | WO2021244411A1 (zh) |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116567143A (zh) * | 2022-01-27 | 2023-08-08 | 华为技术有限公司 | 一种设备控制方法、系统以及电子设备 |
| CN117274319A (zh) * | 2023-11-20 | 2023-12-22 | 西安瑜乐文化科技股份有限公司 | 基于大数据的健身运动直播方法和系统 |
| CN117499748A (zh) * | 2023-11-02 | 2024-02-02 | 江苏濠汉信息技术有限公司 | 一种基于边缘计算的课堂教学互动方法及系统 |
Families Citing this family (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114494534B (zh) * | 2022-01-25 | 2022-09-27 | 成都工业学院 | 基于动作点捕捉分析的帧动画自适应显示方法及系统 |
| CN114745576A (zh) * | 2022-03-25 | 2022-07-12 | 上海合志信息技术有限公司 | 一种家庭健身互动方法、装置、电子设备以及存储介质 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20180176423A1 (en) * | 2016-12-15 | 2018-06-21 | Disney Enterprises, Inc. | Apparatus, Systems and Methods For Nonlinear Synchronization Of Action Videos |
| US20180268865A1 (en) * | 2017-03-20 | 2018-09-20 | International Business Machines Corporation | Auto-adjusting instructional video playback based on cognitive user activity detection analysis |
| CN108853946A (zh) * | 2018-07-10 | 2018-11-23 | 燕山大学 | 一种基于Kinect的健身指导训练系统及方法 |
| US20180357472A1 (en) * | 2017-06-07 | 2018-12-13 | David Scott Dreessen | Systems and methods for creating target motion, capturing motion, analyzing motion, and improving motion |
| CN110751050A (zh) * | 2019-09-20 | 2020-02-04 | 郑鸿 | 一种基于ai视觉感知技术的运动教学系统 |
-
2020
- 2020-06-01 CN CN202010484845.8A patent/CN113761966A/zh active Pending
-
2021
- 2021-05-28 WO PCT/CN2021/096640 patent/WO2021244411A1/zh active Application Filing
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20180176423A1 (en) * | 2016-12-15 | 2018-06-21 | Disney Enterprises, Inc. | Apparatus, Systems and Methods For Nonlinear Synchronization Of Action Videos |
| US20180268865A1 (en) * | 2017-03-20 | 2018-09-20 | International Business Machines Corporation | Auto-adjusting instructional video playback based on cognitive user activity detection analysis |
| US20180357472A1 (en) * | 2017-06-07 | 2018-12-13 | David Scott Dreessen | Systems and methods for creating target motion, capturing motion, analyzing motion, and improving motion |
| CN108853946A (zh) * | 2018-07-10 | 2018-11-23 | 燕山大学 | 一种基于Kinect的健身指导训练系统及方法 |
| CN110751050A (zh) * | 2019-09-20 | 2020-02-04 | 郑鸿 | 一种基于ai视觉感知技术的运动教学系统 |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116567143A (zh) * | 2022-01-27 | 2023-08-08 | 华为技术有限公司 | 一种设备控制方法、系统以及电子设备 |
| CN117499748A (zh) * | 2023-11-02 | 2024-02-02 | 江苏濠汉信息技术有限公司 | 一种基于边缘计算的课堂教学互动方法及系统 |
| CN117274319A (zh) * | 2023-11-20 | 2023-12-22 | 西安瑜乐文化科技股份有限公司 | 基于大数据的健身运动直播方法和系统 |
| CN117274319B (zh) * | 2023-11-20 | 2024-01-30 | 西安瑜乐文化科技股份有限公司 | 基于大数据的健身运动直播方法和系统 |
Also Published As
| Publication number | Publication date |
|---|---|
| WO2021244411A1 (zh) | 2021-12-09 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN113761966A (zh) | 一种动作自适应同步方法及电子设备 | |
| CN111738220B (zh) | 三维人体姿态估计方法、装置、设备及介质 | |
| CN108665492B (zh) | 一种基于虚拟人的舞蹈教学数据处理方法及系统 | |
| WO2022068479A1 (zh) | 图像处理方法、装置、电子设备及计算机可读存储介质 | |
| CN106652590A (zh) | 教学方法、教学识别体及教学系统 | |
| CN111641861B (zh) | 视频播放方法及电子设备 | |
| WO2018000519A1 (zh) | 一种基于投影的用户交互图标的交互控制方法及系统 | |
| CN108038726A (zh) | 物品展示方法及装置 | |
| CN113365085B (zh) | 一种直播视频生成方法及装置 | |
| WO2022161037A1 (zh) | 一种用户确定方法、电子设备和计算机可读存储介质 | |
| CN111544852A (zh) | 健身姿势矫正的方法及相关装置 | |
| CN113808446A (zh) | 一种健身课程交互方法及相关装置 | |
| CN207804995U (zh) | 一种基于ar的传统民族舞蹈可视化体验装置及系统 | |
| CN108379817A (zh) | 肢体康复训练系统及方法 | |
| CN108434698B (zh) | 一种体育球类运动教学系统 | |
| WO2021036562A1 (zh) | 用于健身训练的提示方法和电子设备 | |
| CN115188064A (zh) | 一种运动指导信息的确定方法、电子设备和运动指导系统 | |
| CN110314344A (zh) | 运动提醒方法、装置及系统 | |
| CN113012504A (zh) | 一种多人舞蹈教学互动投影方法、装置及设备 | |
| EP4245387A1 (en) | Control method and electronic device | |
| US20220362631A1 (en) | Virtual tastings and guided tours for augmented reality experiences | |
| EP4020964A1 (en) | Camera control method and apparatus, and terminal device | |
| CN115543135A (zh) | 显示屏幕的控制方法、装置及设备 | |
| CN113126746A (zh) | 一种虚拟对象模型控制方法、系统及计算机可读存储介质 | |
| CN211319443U (zh) | 一种新式创意拼图互动体验展厅 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |