CN117998134A - 一种跟练控制方法及显示设备 - Google Patents

Abstract

本申请实施例公开一种跟练控制方法及显示设备，该方法包括：响应于启动训练项目视频的操作，获取训练项目视频关联的动作组列表，训练项目视频包含至少一种标准动作对应的动作组片段，动作组列表包括标准动作的动作信息和动作起止时间；在跟练界面的第一窗口显示训练项目视频，在第二窗口显示用户的跟练图像；在训练项目视频播放至对应第一标准动作的第一动作组片段时，比对第一动作组片段包含的参考动作图像与对齐的第一跟练图像，计算第一跟练图像对应的训练得分；将连续多帧第一跟练图像的训练得分累加得到第一动作组跟练得分，在跟练界面显示第一动作组跟练得分。本申请使使用户清楚了解整套训练项目视频中每个单独动作的跟练得分。

Description

一种跟练控制方法及显示设备

技术领域

本申请涉及显示设备技术领域，尤其涉及一种跟练控制方法及显示设备。

背景技术

显示设备可以安装健身应用，健身应用中提供不同的训练项目，例如瑜伽、健美操、太极拳等，用户选择任一训练项目后，显示设备在跟练界面播放训练项目视频，训练项目视频中包括多个标准动作，用户通过调整自身肢体姿态，摆出对应每个标准动作的跟练动作。图像采集器同步采集用户跟练图像，显示设备通过计算用户跟练图像与标准动作图像之间的动作匹配度，对用户的跟练动作进行评分，实现用户足不出户训练。

在用户结束训练后，显示设备会给出最终累积的训练得分，根据该训练得分，用户可以了解自身对于训练项目中一整套动作的综合跟练情况，却无法了解用户对于每个单独的标准动作的跟练情况，例如用户无法获知具体哪一动作不标准，也就无法针对低分动作加强训练，影响用户跟练体验。

发明内容

本申请一些实施例提供了一种跟练控制方法及显示设备，以使用户清楚了解整套训练项目视频中每个单独动作的跟练得分，使用户能够有针对性地对低分动作加强训练，从而提升用户训练的积极性，弥补训练方面的不足，提升用户跟练体验。

第一方面，本申请一些实施例提供一种显示设备，包括：

图像采集器或者外接图像采集器的接口，所述图像采集器用于采集用户的跟练图像；

显示器，用于显示跟练界面；

控制器，用于执行：

响应于启动训练项目视频的操作，获取所述训练项目视频关联的动作组列表；其中，所述训练项目视频包含至少一种标准动作对应的动作组片段，动作组片段包括所述标准动作对应的连续多帧参考动作图像，所述动作组列表包括所述标准动作的动作信息和动作起止时间；

控制显示器在所述跟练界面的第一窗口显示所述训练项目视频，以及在所述跟练界面的第二窗口显示所述跟练图像；

在检测到所述训练项目视频播放至对应第一标准动作的第一动作组片段时，基于所述参考动作图像的播放时间戳以及所述跟练图像的采集时间戳的对齐机制，比对所述第一动作组片段包含的参考动作图像与所对齐的第一跟练图像，计算所述第一跟练图像对应的训练得分；

将多帧所述第一跟练图像对应的训练得分累加，得到并存储所述第一标准动作对应的第一动作组跟练得分；

控制显示器在所述跟练界面显示所述第一动作组跟练得分。

在一些实施例中，所述控制器还用于执行：控制显示器在所述跟练界面的预设区域显示所述训练项目视频包含的所述标准动作对应的动作提示控件；控制所述动作提示控件标记所述标准动作的训练状态，所述训练状态包括已跟练状态、正在跟练状态和待跟练状态；获取处于已跟练状态的目标标准动作对应的目标动作提示控件，并控制所述目标动作提示控件显示所述目标标准动作对应的动作组跟练得分。

在一些实施例中，所述控制器还用于执行：在所述训练项目视频播放结束时，控制显示器显示跟练详情列表页面，所述跟练详情列表页面包括所述标准动作的跟练详情信息，所述跟练详情信息包括动作信息、运动时长、能量消耗和动作组跟练得分。

在一些实施例中，所述跟练详情列表页面还包括每个所述标准动作对应的重练控件，则所述控制器还用于执行：响应于用户点击所述第一标准动作对应的重练控件的操作，控制显示器在所述跟练界面的第一窗口显示所述第一动作组片段，以及在所述跟练界面的第二窗口显示对应所述第一标准动作的跟练图像；在所述第一动作组片段播放结束时，重新计算所述所述第一动作组跟练得分；在所述跟练详情列表页面中更新所述第一动作组跟练得分。

在一些实施例中，所述控制器还用于执行：在检测到所述训练项目视频播放至所述第一动作组片段时，开始录制屏幕内容；在所述第一动作组片段播放结束时，停止录制屏幕内容；将所述第一动作组片段的录屏文件和第一动作组录制信息存储在预设存储位置，所述第一动作组录制信息包括所述第一标准动作的动作信息、所述第一动作组跟练得分、第一动作组录制开始时间和第一动作组录制结束时间。

在一些实施例中，所述控制器还用于执行：在所述跟练界面的第一窗口开始显示所述训练项目视频时，启动计时器；在检测到所述训练项目视频播放至所述第一动作组片段时，将所述计时器记录的第一时间设置为所述第一动作组录制开始时间；在所述第一动作组片段播放结束时，将所述计时器记录的第二时间设置为所述第一动作组录制结束时间。

在一些实施例中，所述跟练详情列表页面还包括每个所述标准动作对应的回放控件，所述控制器还用于执行：响应于用户点击所述第一标准动作对应的回放控件的操作，从所述预设存储位置获取所述第一动作组片段的录屏文件和所述第一动作组录制信息；控制显示器在跟练回放界面起播所述第一动作组片段的录屏文件；控制显示器在所述跟练回放界面显示录制时长和所述第一动作组跟练得分，所述录制时长是根据所述第一动作组录制开始时间和所述第一动作组录制结束时间获取的。

在一些实施例中，所述控制器还用于执行：在起播所述训练项目视频时，开始录制屏幕内容，并启动计时器；在检测到所述训练项目视频播放至任一动作组片段时，将所述计时器记录的第一时间设置为动作组录制开始时间；在所述动作组片段播放结束时，将计时器记录的第二时间设置为动作组录制结束时间；在所述训练项目视频播放结束时，停止录制屏幕内容，并生成完整录屏文件；其中，所述完整录屏文件中包括至少一个录制片段，所述录制片段录制了用户对一个标准动作的跟练过程；存储所述完整录屏文件，以及存储所述录制片段关联的动作组录制信息，所述动作组录制信息包括所述标准动作的动作信息、动作组跟练得分、所述动作组录制开始时间和所述动作组录制结束时间。

在一些实施例中，所述控制器还用于执行：响应于用户点击所述第一标准动作对应的回放控件的操作，从所述预设存储位置获取所述完整录屏文件和所述第一标准动作对应的第一动作组录制信息，所述第一动作组录制信息包括第一动作组录制开始时间和第一动作组录制结束时间；根据所述第一动作组录制开始时间和所述第一动作组录制结束时间，从所述完整录屏文件中查找所述第一标准动作对应的第一录制片段；在起播所述完整录屏文件时，将所述完整录屏文件的播放进度跳转至所述第一动作组录制开始时间，以使跟练回放界面播放所述第一录制片段。

在一些实施例中，在并生成完整录屏文件之后，所述控制器还用于执行：根据所述动作组录制开始时间和所述动作组录制结束时间，将所述完整录屏文件分割为若干所述录制片段；独立存储所述录制片段的视频文件，以及所述录制片段关联的所述动作组录制信息；响应于用户点击所述第一标准动作对应的回放控件的操作，控制跟练回放界面播放所述第一标准动作对应的第一录制片段。

在一些实施例中，所述控制器计算所述第一跟练图像对应的训练得分，包括：根据所述第一标准动作的动作信息，从预设的动作模板数据中获取所述第一标准动作的第一基准分数和第一肢体关键点位置数据；获取所述第一跟练图像包含的跟练动作的第二肢体关键点位置数据；计算所述第一肢体关键点位置数据和所述第二肢体关键点位置数据之间的动作匹配度；根据所述动作匹配度和所述第一基准分数，计算所述第一跟练图像对应的训练得分。

在一些实施例中，所述控制器还用于执行：按照预设周期，从所述第一动作组片段中周期性地获取所述参考动作图像，以及从所述图像采集器采集的视频码流中周期性地获取所述第一跟练图像。

第二方面，本申请一些实施例还提供一种跟练控制方法，包括：

响应于启动训练项目视频的操作，获取所述训练项目视频关联的动作组列表；其中，所述训练项目视频包含至少一种标准动作对应的动作组片段，动作组片段包括所述标准动作对应的连续多帧参考动作图像，所述动作组列表包括所述标准动作的动作信息和动作起止时间；

在跟练界面的第一窗口显示所述训练项目视频，以及在所述跟练界面的第二窗口显示图像采集器采集的跟练图像；

在检测到所述训练项目视频播放至对应第一标准动作的第一动作组片段时，基于所述参考动作图像的播放时间戳以及所述跟练图像的采集时间戳的对齐机制，比对所述第一动作组片段包含的参考动作图像与所对齐的第一跟练图像，计算所述第一跟练图像对应的训练得分；

将多帧所述第一跟练图像对应的训练得分累加，得到并存储所述第一标准动作对应的第一动作组跟练得分；

在所述跟练界面显示所述第一动作组跟练得分。

第三方面，本申请一些实施例还提供一种计算机存储介质，该计算机存储介质中存储有程序指令，当程序指令在计算机上运行时，使得计算机执行以上各方面及其各个实现方式中涉及的方法。

本申请实施例中用户可以参照训练项目视频做出跟练动作，图像采集器可以采集包含该跟练动作的跟练图像，控制器可以控制显示器在不同的窗口内分别显示训练项目视频和跟练图像，便于为用户提供肉眼可见的动作对比。运营商可以根据训练项目视频包含的标准动作，对训练项目视频进行打点，从而将整套训练项目视频分割为不同标准动作对应的动作组片段，并配置动作组列表，由于每个标准动作具有一定的持续训练时长，因此动作组片段中可以包含连续多帧参考动作图像，动作组列表包括每个标准动作对应的动作组信息，动作组信息包括动作信息(例如动作名称、ID等)和动作起止时间。

这样，控制器可以监控训练项目视频的播放进度，基于播放进度和动作组列表，定位当前的动作组片段，以判断用户正在跟练哪一个标准动作，通过参考动作图像和跟练图像在时间戳上的对齐机制，将两个对齐的参考动作图像和跟练图像进行对比，得到用户当前单个的跟练动作所取得的训练得分，以此类推，在动作组片段播放结束时，将连续多帧跟练图像对应的训练得分累积，从而得到动作组综合的跟练得分，该动作组跟练得分可用于评估单独一个标准动作的跟练情况。此外，本申请中还在跟练界面上显示动作组跟练得分，以使用户获知自己对每个标准动作的跟练得分，从而了解整套训练项目视频中，哪个动作得分高，哪一动作不标准，并有针对性地对低分动作加强训练，从而提升用户训练的积极性，弥补训练方面的不足，提升用户跟练体验。

附图说明

为了更清楚地说明本申请一些实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本申请一些实施例提供的显示设备与控制装置100之间操作场景；

图2为本申请一些实施例提供的控制装置100的硬件配置框图；

图3为本申请一些实施例提供的显示设备200的硬件配置框图；

图4为本申请一些实施例提供的显示设备200中软件配置图；

图5为本申请一些实施例提供的一种健身应用主页的示意图；

图6为本申请一些实施例提供的训练项目列表页面的示意图；

图7为本申请一些实施例提供的训练模式选择页面的示意图；

图8为本申请一些实施例提供的人像识别界面的示意图；

图9为本申请一些实施例提供的跟练界面的示意图一；

图10为本申请一些实施例提供的上肢体关键点的示意图；

图11为本申请一些实施例提供的训练报告页面的示意图；

图12为本申请一些实施例提供的一种训练项目视频的打点配置示意图；

图13为本申请一些实施例提供的跟练界面的示意图二；

图14为本申请一些实施例提供的跟练界面的示意图三；

图15为本申请一些实施例提供的一种跟跟练控制方法的流程图；

图16为本申请一些实施例提供的跟练详情列表页面的示意图一；

图17为本申请一些实施例提供的另一种跟跟练控制方法的流程图；

图18为本申请一些实施例提供的跟练详情列表页面的示意图二；

图19为本申请一些实施例提供的跟练回放界面的示意图一；

图20为本申请一些实施例提供的跟练回放界面的示意图二；

图21为本申请一些实施例提供的一种系统架构的示意图。

具体实施方式

为使本申请示例性实施例的目的、技术方案和优点更加清楚，下面将结合本申请示例性实施例中的附图，对本申请示例性实施例中的技术方案进行清楚、完整地描述，显然，所描述的示例性实施例仅是本申请一部分实施例，而不是全部的实施例。

基于本申请中示出的示例性实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。此外，虽然本申请中公开内容按照示范性一个或几个实例来介绍，但应理解，可以就这些公开内容的各个方面也可以单独构成一个完整技术方案。

应当理解，本申请中说明书和权利要求书及上述附图中的术语“第一”、“第二”、“第三”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，例如能够根据本申请一些实施例图示或描述中给出那些以外的顺序实施。

此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖但不排他的包含，例如，包含了一系列组件的产品或设备不必限于清楚地列出的那些组件，而是可包括没有清楚地列出的或对于这些产品或设备固有的其它组件。

本申请一些实施例提供的显示设备可以具有多种实施形式，例如，可以是电视、智能电视、激光投影设备、显示器(monitor)、电子白板(electronic bulletin board)、电子桌面(electronic table)等。图1和图2为本申请的显示设备的一种具体实施方式。

图1为本申请一些实施例提供的显示设备与控制装置之间操作场景的示意图。如图1所示，用户可通过智能设备300或控制装置100操作显示设备200。

在一些实施例中，控制装置100可以是遥控器，遥控器和显示设备的通信包括红外协议通信或蓝牙协议通信，及其他短距离通信方式，通过无线或有线方式来控制显示设备200。用户可以通过遥控器上按键、语音输入、控制面板输入等输入用户指令，来控制显示设备200。

在一些实施例中，也可以使用智能设备300(如移动终端、平板电脑、计算机、笔记本电脑等)以控制显示设备200。例如，使用在智能设备上运行的应用程序控制显示设备200。

在一些实施例中，显示设备可以不使用上述的智能设备或控制设备接收指令，而是通过触摸或者手势等接收用户的控制。

在一些实施例中，显示设备200还可以采用除了控制装置100和智能设备300之外的方式进行控制，例如，可以通过显示设备200设备内部配置的获取语音指令的模块直接接收用户的语音指令控制，也可以通过显示设备200设备外部设置的语音控制装置来接收用户的语音指令控制。

在一些实施例中，显示设备200还与服务器400进行数据通信。可允许显示设备200通过局域网(LAN)、无线局域网(WLAN)和其他网络进行通信连接。服务器400可以向显示设备200提供各种内容和互动。服务器400可以是一个集群，也可以是多个集群，可以包括一类或多类服务器。

图2为本申请一些实施例提供的控制装置100的配置框图。如图2所示，控制装置100包括控制器110、通信接口130、用户输入/输出接口140、存储器、供电电源。控制装置100可接收用户的输入操作指令，且将操作指令转换为显示设备200可识别和响应的指令，起用用户与显示设备200之间交互中介作用。

图3为本申请一些实施例提供的显示设备200的硬件配置框图。如图3所示，显示设备200包括调谐解调器210、通信器220、检测器230、外部装置接口240、控制器250、显示器260、音频输出接口270、存储器、供电电源、用户接口中的至少一种。

在一些实施例中控制器包括处理器，视频处理器，音频处理器，图形处理器，RAM，ROM，用于输入/输出的第一接口至第n接口。

显示器260包括用于呈现画面的显示屏组件，以及驱动图像显示的驱动组件，用于接收源自控制器输出的图像信号，进行显示视频内容、图像内容以及菜单操控界面的组件以及用户操控UI界面。

显示器260可为液晶显示器、OLED显示器、以及投影显示器，还可以为一种投影装置和投影屏幕。

通信器220是用于根据各种通信协议类型与外部设备或服务器进行通信的组件。例如：通信器可以包括Wifi模块，蓝牙模块，有线以太网模块等其他网络通信协议芯片或近场通信协议芯片，以及红外接收器中的至少一种。显示设备200可以通过通信器220与控制装置100或服务器400建立控制信号和数据信号的发送和接收。

用户接口，可用于接收控制装置100(如：红外遥控器等)的控制信号。

检测器230用于采集外部环境或与外部交互的信号。例如，检测器230包括光接收器，用于采集环境光线强度的传感器；或者，检测器230包括图像采集器，如摄像头，可以用于采集外部环境场景、用户的属性或用户交互手势，再或者，检测器230包括声音采集器，如麦克风等，用于接收外部声音。

外部装置接口240可以包括但不限于如下：高清多媒体接口(HDMI)、模拟或数据高清分量输入接口(分量)、复合视频输入接口(CVBS)、USB输入接口(USB)、RGB端口等任一个或多个接口。也可以是上述多个接口形成的复合性的输入/输出接口。

调谐解调器210通过有线或无线接收方式接收广播电视信号，以及从多个无线或有线广播电视信号中解调出音视频信号以及EPG数据信号。

在一些实施例中，控制器250和调谐解调器210可以位于不同的分体设备中，即调谐解调器210也可在控制器250所在的主体设备的外置设备中，如外置机顶盒等。

控制器250，通过存储在存储器上中各种软件控制程序，来控制显示设备的工作和响应用户的操作。控制器250控制显示设备200的整体操作。例如：响应于接收到用于选择在显示器260上显示UI对象的用户命令，控制器250便可以执行与由用户命令选择的对象有关的操作。

在一些实施例中控制器包括中央处理器(Central Processing Unit，CPU)，视频处理器，音频处理器，图形处理器(Graphics Processing Unit，GPU)，RAM(Random AccessMemory，RAM)，ROM(Read-Only Memory，ROM)，用于输入/输出的第一接口至第n接口，通信总线(Bus)等中的至少一种。

用户可在显示器260上显示的图形用户界面(GUI)输入用户命令，则用户输入接口通过图形用户界面(GUI)接收用户输入命令。或者，用户可通过输入特定的声音或手势进行输入用户命令，则用户输入接口通过传感器识别出声音或手势，来接收用户输入命令。

“用户界面”，是应用程序或操作系统与用户之间进行交互和信息交换的介质接口，它实现信息的内部形式与用户可以接受形式之间的转换。用户界面常用的表现形式是图形用户界面(Graphic User Interface，GUI)，是指采用图形方式显示的与计算机操作相关的用户界面。它可以是在电子设备的显示屏中显示的一个图标、窗口、控件等界面元素，其中控件可以包括图标、按钮、菜单、选项卡、文本框、对话框、状态栏、导航栏、Widget等可视的界面元素。

图4为本申请一些实施例提供的显示设备200中软件配置图。如图4所示，在一些实施例中，将系统分为四层，从上至下分别为应用程序(Applications)层(简称“应用层”)，应用程序框架(Application Framework)层(简称“框架层”)，安卓运行时(Android runtime)和系统库层(简称“系统运行库层”)，以及内核层。

在一些实施例中，应用程序层中运行有至少一个应用程序，这些应用程序可以是操作系统自带的窗口(Window)程序、系统设置程序或时钟程序等；也可以是第三方开发者所开发的应用程序。在具体实施时，应用程序层中的应用程序包不限于以上举例。

框架层为应用程序提供应用编程接口(application programming interface，API)和编程框架。应用程序框架层包括一些预先定义的函数。应用程序框架层相当于一个处理中心，这个中心决定让应用层中的应用程序做出动作。应用程序通过API接口，可在执行中访问系统中的资源和取得系统的服务。

如图4所示，本申请一些实施例中应用程序框架层包括管理器(Managers)，内容提供者(Content Provider)等，其中管理器包括以下模块中的至少一个：活动管理器(Activity Manager)用与和系统中正在运行的所有活动进行交互；位置管理器(LocationManager)用于给系统服务或应用提供了系统位置服务的访问；文件包管理器(PackageManager)用于检索当前安装在设备上的应用程序包相关的各种信息；通知管理器(Notification Manager)用于控制通知消息的显示和清除；窗口管理器(Window Manager)用于管理用户界面上的括图标、窗口、工具栏、壁纸和桌面部件。

在一些实施例中，活动管理器用于管理各个应用程序的生命周期以及通常的导航回退功能，比如控制应用程序的退出、打开、后退等。窗口管理器用于管理所有的窗口程序，比如获取显示屏大小，判断是否有状态栏，锁定屏幕，截取屏幕，控制显示窗口变化(例如将显示窗口缩小显示、抖动显示、扭曲变形显示等)等。

在一些实施例中，系统运行库层为上层即框架层提供支撑，当框架层被使用时，安卓操作系统会运行系统运行库层中包含的C/C++库以实现框架层要实现的功能。

在一些实施例中，内核层是硬件和软件之间的层。如图4所示，内核层至少包含以下驱动中的至少一种：音频驱动、显示驱动、蓝牙驱动、摄像头驱动、WIFI驱动、USB驱动、HDMI驱动、传感器驱动(如指纹传感器，温度传感器，压力传感器等)、以及电源驱动等。

对于与上述软硬件配置相同或相似的显示设备，参见图4，应用层可以安装健身类应用，健身类应用提供多种不同的训练项目，用户可以选择感兴趣的训练项目，通过与显示设备进行AI交互，实现足不出户训练。

图5为本申请一些实施例提供的一种健身应用主页的示意图。在用户打开健身类应用时(例如触发应用图标)，控制器控制显示器显示健身应用主页，参见图5，健身应用主页包括多种训练项目的选项控件51，训练项目包括但不限于健美操、瑜伽、广场舞、亲子运动、太极拳、瘦身操、武术等。

在一些实施例中，用户可以在健身类应用中注册及登录账号，这样健身类应用可以记录该账号下用户历史的训练数据，参见图5，健身应用主页上的第一区域(例如左侧区域)显示用户信息、能量消耗、训练时长、上次训练项目等信息，其中用户信息包括但不限于用户名和用户头像等，从而方便用户了解自身最近的训练动态。

图6为本申请一些实施例提供的训练项目列表页面的示意图。用户可以在健身应用主页中选择任一感兴趣的训练项目A，并点击该训练项目A对应的选项控件51，控制器响应于该操作可以控制显示器显示训练项目列表页面，参见图6，训练项目列表页面中包括训练项目A的下位训练项目，例如训练项目A为健美操，健美操的下位训练项目包括但不限于HIIT(High-Intensity Interval Training，高强度间歇性训练)、帕梅拉等。这样，用户可以根据自身偏好和能力，更精细地选择感兴趣的训练项目，例如选择健美操-HIIT。

在一些实施例中，用户可以操作控制装置(例如遥控器)上的方向键，移动选择器61，在选择器61选中训练项目列表页面中的训练项目E，参见图6，控制器可以控制显示器在训练项目列表页面的预设区域(例如页面上部)显示训练项目E的相关信息，包括但不限于：训练项目名称、理论热量消耗、训练部位、难度等级(例如入门、较易、较难、高难等)、训练强度等级(例如初级、中级、高级等)、训练时长、训练项目简介等，以使用户决定是否选择训练项目E进行跟练。

在一些实施例中，训练项目列表页面的预设区域还可设置操作按钮，操作按钮包括但不限于开始训练按钮、点赞按钮、收藏按钮、分享按钮、开通健身VIP按钮等。

图7为本申请一些实施例提供的训练模式选择页面的示意图。控制器响应于用户点击训练项目E关联的开始训练按钮的操作，控制显示器显示训练模式选择页面，参见图7，训练模式选择页面包括健身类应用提供的训练模式，训练模式包括但不限于跟练模式、普通模式和观影模式。

在一些实施例中，跟练模式是指运营商预先为训练项目视频进行动作关键帧打点，在训练项目视频播放至关键帧时，用户参照关键帧示出的标准动作，调整自身的肢体姿态以摆出跟练动作，图像采集器同步采集用户的跟练图像，健身类应用根据标准动作与跟练动作的匹配度进行评分，以及记录训练时长、热量消耗等训练数据。

在一些实施例中，普通模式是指仅播放训练项目视频给用户观看，不支持关键帧打点、训练评分、记录训练数据等跟练功能，图像采集器不采集跟练图像。观影模式是在应用界面显示两个独立的窗口，窗口一用于显示训练项目视频(不支持跟练，图像采集器不采集跟练图像)，窗口二显示其他媒资内容(例如视频资源、应用程序等)，使用户边观看其他其他媒资内容，边参照训练项目视频进行自由训练。本申请技术方案主要针对上述跟练模式，不限制其他训练模式。

在一些实施例中，控制器响应于用户选择跟练模式的操作，检测图像采集器是否可用，图像采集器可以预置在显示设备的检测器230内，或者显示设备可通过接口(例如USB)外接图像采集器，图像采集器例如为云台摄像头。图像采集器不可用包括三种情形：第一种是图像采集器的物理开关处于关闭状态，则可以通过UI或语音等方式提示用户开启图像采集器；第二种是图像采集器被其他进程占用，比如视频通话类应用正在占用图像采集器，导致健身类应用无法调用，则可提示图像采集器被占用，用户可以解除图像采集器的占用，比如退出视频通话类应用，或者切换到普通模式或观影模式；第三种是显示设备未配置图像采集器，则可提示用户未检测到图像采集器，这样用户可以切换到普通模式或观影模式，或者重新配置及验证图像采集器。

在一些实施例中，终端设备可以拍摄用户的跟练图像，并将跟练图像同步发送给显示设备，这样显示设备无需配置或外接图像采集器就可完成跟练过程。其中，终端设备包括但不限于智能手机、智能平板等。

图8为本申请一些实施例提供的人像识别界面的示意图。控制器响应于用户选择跟练模式的操作，并且检测到图像采集器可用，则控制显示器显示人像识别界面，如果未采集到真实人像，参见图8，人像识别界面可以显示一个虚拟人体图像，虚拟人体脚下具有一个光圈区域，该光圈区域是图像采集器的有效识别区域，图像采集器可以设置为云台等可调装置，用于调节摄像头的拍摄位置和角度，摄像头移动时光圈随之移动，最终将光圈区域调至屏幕中央位置，并显示引导信息，该引导信息例如为“请保持单人站在圈内”，这样用户只需移动身体到光圈区域内，使图像采集器成功识别到人像，进而采集本地视频，该本地视频包括用户在参照标准动作做出跟练动作时采集的跟练图像。

在一些实施例中，随着用户走动，图像采集器和光圈也随之移动，即图像采集器会追踪人体，在检测到用户位置偏离屏幕中央较远(例如在屏幕边缘位置)时，显示设备可以提示用户站在屏幕中央。在人像识别成功后，训练项目视频倒计时几秒后起播，健身类应用进入跟练模式的训练流程。

图9为本申请一些实施例提供的跟练界面的示意图一，参见图9，跟练界面中包括第一窗口91和第二窗口92，其中第一窗口91用于显示训练项目视频，第二窗口92用于显示用户的跟练图像。

在一些实施例中，参见图9，在训练项目视频每播放至一个打点的关键帧时，可以在第一窗口91显示关键帧包含的标准动作的相关信息，例如动作名称，动作持续时长等。第二窗口92可以显示与用户跟练情况有关的信息，例如鼓励语(Good、Great、Perfect等)、动作标准化提示信息(例如注意手肘尽量伸直，在头部两侧夹紧)等。此外，健身类应用还可以统计已跟练时间、准确率、能量消耗等数据，参见图9，将这些统计数据展示在跟练界面的预设位置(例如顶部)。

图10为本申请一些实施例提供的上肢体关键点的示意图。针对每个标准动作，健身类应用可以调用图像识别算法，图像识别算法被配置为对标准动作和跟练动作进行肢体关键点位置的匹配，参见图10，肢体关键点包括但不限于鼻子、左眼、有眼、左耳、右耳等面部关键点、以及左肩、右肩、左肘、右肘、左腕、右腕、左膝、右膝等躯干关键点。通过对标准动作和跟练动作进行肢体关键点匹配，可以获取哪些部位的动作不标准以及标准程度，以给出动作标准化提示信息和适当的鼓励语，还可以对用户跟练动作进行评分，其中准确率和能量消耗是在经过已跟练时间后用户跟练动作的综合评判指标，例如在训练项目视频起播后用户已跟练25分钟，在此跟练过程中，用户有些跟练动作的评分较高，有些跟练动作的评分较低，综合下来是65％的准确率，跟练25分钟内总共消耗300千卡(kcal)热量。

图11为本申请一些实施例提供的训练报告页面的示意图。在训练项目视频播放结束时，控制器可以控制显示器显示训练报告页面，参见图11，训练报告页面显示本次训练数据、再练一次按钮和继续下一项目按钮等。其中，本次训练数据是截止到跟练模式退出时综合统计跟练全过程的训练数据得到的，本次训练数据包括但不限于最终训练得分、能量总消耗、准确度和训练总时长等。

通过训练报告页面，用户仅能了解自身对于训练项目中一整套动作的综合跟练情况，却无法了解对于任一单独动作的跟练情况，例如用户无法获知具体哪一动作不标准(得分较低)，也就无法针对低分动作加强训练，也无法获知跟练每个动作时的丢分点，影响用户跟练体验。

为了解决上述相关问题，本申请实施例提供一种跟练控制方法及显示设备，实现在跟练过程中以及跟练结束后显示任一单独动作的跟练得分，使用户获知哪个动作得分较高，哪些动作得分较低，以便用户针对低分动作加强训练，从而提升用户训练的积极性和个人能力。

图12为本申请一些实施例提供的一种训练项目视频的打点配置示意图，参见图12，运营商可以根据任一训练项目视频包含的M个(M≥1)标准动作Action_i以及单个标准动作Action_i的训练时长，将训练项目视频分割为M个动作组片段ActionGroup_i，i表示训练项目视频中标准动作的排列序号，1≤i≤M，M个动作组片段ActionGroup_i按照播放时序串联。其中，动作组片段ActionGroup_i包括标准动作Action_i对应的连续N(N大于1)帧参考动作图像，训练时长不同，动作组片段包括的帧数可能不同。假设每帧参考动作图像P_j中包含的参考动作为Action_ij，其中j表示参考动作图像的帧序号，1≤j≤N，则任一标准动作Action_i对应的动作组为{Action_ij|1≤i≤M,1≤j≤N}。

在一些实施例中，参见图12，运营商还可以配置训练项目视频关联的动作组列表，动作组列表包括与M个标准动作Action_i分别对应的动作组信息ActionGroup_Info_i，一种ActionGroup_Info的示例如下：

在一些实施例中，ActionGroup_Info_i包括但不限于Action_i_config_time、Action_i_start_time、Action_i_end_time、Action_i_id和Action_i_type等。Action_i_config_time表示标准动作Action_i的动作配置时间；Action_i_start_time表示标准动作Action_i的动作开始时间；Action_i_end_time表示标准动作Action_i的动作结束时间；Action_i_id表示标准动作Action_i的识别标识；Action_i_type表示Action_i在整体训练项目视频中的动作分类，例如属于热身、动作、拉伸、放送等。

在一些实施例中，在从上一个动作组片段ActionGroup_i-1切换到当前动作组片段ActionGroup_i时，基于视频录制的连贯性，动作示范人员无法从Action_i-1立刻突变为Action_i，往往需要动作示范人员在结束Action_i-1后，释放肢体再逐渐过渡为Action_i，由此产生Action_i_config_time，Action_i_config_time相当于ActionGroup_i的起始点，从Action_i_config_time起动作示范人员开始调整自身的肢体动作(简称：动作配置)，直至将肢体动作调整到与标准动作Action_i一致，此时时间节点过渡到Action_i_start_time，即从Action_i_start_time起正式进入标准动作Action_i的展示；在动作师范人员结束Action_i的训练时，时间节点达到Action_i_end_time，Action_i_end_time相当于ActionGroup_i的终结点。因此，控制器可以根据动作组列表，获取训练项目视频中包含的M个动作组片段ActionGroup_i。

在一些实施例中，参见图12，运营商还可以配置动作模板文件，动作模板文件包括每个标准动作Action_i对应的动作模板数据Action_i_template，Action_i_template包括标准动作Action_i的肢体关键点keypoints的位置坐标、动作信息、基准分数Action_i_standard_score等。其中，动作信息包括但不限于Action_i_name(动作名称，例如剪刀步)、Action_i_id(动作标识)和Action_i_type(动作分类)等。一种示例性的动作模板数据如下：

其中，Action_i_standard_score表示标准动作Action_i的基准分数，由于动作难易程度不同，不同的标准动作可对应不同的基准分数，Action_i_score用于为标准动作Action_i的评分提供参考标准；Action_i_weight表示动作重量；bbox是对动作组片段ActionGroup_i中的动作示范人员进行对象标定时使用的矩形框，bbox用于表示动作示范人员的位置和边界，(832.0,188.0)为矩形框的左上角坐标，(1095.0,1009.0)为矩形框的右下角坐标；keypoints表示标准动作Action_i的肢体关键点位置数据，参照图10，keypoints包括每个肢体关键点的位置坐标。

这样，控制器通过动作信息，例如Action_i_id，可以查询任一标准动作Action_i被配置的肢体关键点位置数据(简称：第一肢体关键点位置数据)，进而与用户跟练动作的肢体关键点位置数据(简称：第二肢体关键点位置数据)进行比对，以获得标准动作与跟练动作之间的动作匹配度，动作匹配度用于表征两个动作之间的相似程度，动作匹配度越高则表明用户跟练动作越标准，则对该跟练动作的评分也相对越高。

在一些实施例中，健身类应用可以与服务器通信，在用户选择跟练任一训练项目时，健身类应用可以向服务器发送业务请求，该业务请求包含训练项目的标识信息。服务器响应于该业务请求，可以将训练项目的视频数据及其关联的动作组列表和动作模板数据一并返给健身类应用。

在一些实施例中，健身类应用接收训练项目的视频数据、动作组列表和动作模板数据后，可以解析动作组列表，获取训练项目视频包括的M个标准动作Action_i的动作信息(例如：动作名称)和M个动作组片段ActionGroup_i，并控制显示器显示跟练界面。

图13为本申请一些实施例提供的跟练界面的示意图二。参见图13，跟练界面可以包括第一窗口131、第二窗口132、第一进度条133和第三窗口134。跟练界面的布局不限定，参照图13，一种示例性的布局可以呈现为：第一窗口131位于左上部，第二窗口132位于右上部并且与第一窗口131并排，第一进度条133位于第一窗口131和第二窗口132的底部，第三窗口134位于第一进度条133的下方。

在一些实施例中，第一窗口131用于显示训练项目视频。第一窗口131还可以显示当前动作名称(例如开合跳)、动作要领、播放进度信息(例如08:20)、视频时长(例如30:00)、暂停控件131a、上一项目控件131b和下一项目控件131c等。用户可以通过触发暂停控件131a，暂停播放训练项目视频，也可触发上一项目控件131b或下一项目控件131c，切换训练项目视频。

在一些实施例中，第二窗口132用于实时显示图像采集器采集的跟练图像，或显示终端设备拍摄并推送的跟练图像。第二窗口132还可显示当前动作组的能量消耗、累积训练得分、鼓励语、动作标准化提示信息等，以便用户在训练过程中了解每个动作组的跟练情况。

在一些实施例中，第三窗口134用于显示训练项目视频包含的M个标准动作Action_i对应的动作提示控件134a。参见图13，动作提示控件134a用于提示标准动作Action_i的动作缩略图、动作信息、训练状态和跟练得分等。

在一些实施例中，健身类应用可以从动作组片段ActionGroup_i中获取最能体现标准动作Action_i肢体姿态的一帧参考动作图像P_i，并将参考动作图像P_i进行缩放处理，得到动作缩略图。健身类应用可以在标准动作Action_i配置完成后，即在[Action_i_start_time,Action_i_end_time)范围内提取参考动作图像P_i。

在一些实施例中，动作提示控件134a显示的动作信息至少包括动作名称，例如“剪刀步”。这样，用户通过浏览动作缩略图和动作名称，可以直观了解每个标准动作Action_i的肢体姿态。

在一些实施例中，训练状态可以包括已跟练状态、正在跟练状态、待跟练状态和暂停跟练状态等。

在一些实施例中，已跟练状态指示标准动作已训练完毕，处于已跟练状态的标准动作对应的动作组片段已播放结束，即media_progress(播放进度)≥Action_i_end_time，健身类应用可以继续播放Action_i+1对应的动作组片段。如果未检测到下一个标准动作Action_i+1，即i＝M，表明训练项目视频已播放结束。

在一些实施例中，正在跟练状态指示用户当前正在跟练该标准动作，第一窗口131当前播放处于正在跟练状态的标准动作对应的动作组片段，可能包括两种情形：第一种，Action_i_config_time≤media_progress＜Action_i_start_time，即处于当前动作组的配置阶段；第二种，Action_i_start_time≤media_progress＜Action_i_end_time，即处于当前动作组的动作训练阶段。

在一些实施例中，待跟练状态指示等待未来跟练，处于待跟练状态的标准动作对应的动作组片段尚未被播放，即media_progress＜Action_i_config_time。

在一些实施例中，健身类应用可以查询处于已跟练状态的标准动作(以下简称：目标标准动作)，并从第三窗口134获取目标标准动作对应的动作提示控件134a(以下简称：目标动作提示控件)，以及控制该目标动作提示控件显示目标标准动作对应的动作组跟练得分。参见图13的示例，目标标准动作包括剪刀步和交叉弓步，剪刀步对应的目标动作提示控件显示的跟练得分为35分，交叉弓步对应的目标动作提示控件显示的跟练得分为85分，这样用户可以清楚了解在先已跟练的动作的评分。

在一些实施例中，动作提示控件134a可以配置交互和触发功能，参见图13，例如用户当前正在跟练开合跳动作，查看到剪刀步的跟练得分仅有35分，知道剪刀步训练质量较低，则可以点击剪刀步对应的动作提示控件134a。控制器响应于用户点击剪刀步对应的动作提示控件134a的操作，可以暂停开合跳动作的跟练(即切换到暂停跟练状态)，记录开合跳动作组当前的跟练分数和开合跳动作组片段的已播进度(media_progress_kht)，以及根据剪刀步的动作配置时间(Action₁_config_time)，将训练项目视频的播放进度跳转至Action₁_config_time，以使用户重新跟练剪刀步动作。

图14为本申请一些实施例提供的跟练界面的示意图三。在用户点击剪刀步对应的动作提示控件134a之后，如果训练项目视频的播放进度达到剪刀步的动作结束时间(Action₁_end_time)，参见图14，控制器可以更新剪刀步对应的动作提示控件134a显示的跟练得分，例如变更为70分，以及在跟练界面上显示第一提示弹窗135，第一提示弹窗135包括第一提示信息、顺序训练按钮和恢复开合跳训练按钮。其中，第一提示信息用于提示剪刀步的动作评分已更新，并询问用户是否继续开合跳训练。

在一些实施例中，如果用户不想要恢复开合跳训练，可以点击顺序训练按钮，控制器响应于用户点击顺序训练按钮135的操作，控制第一窗口131继续播放剪刀步的下一个动作“深蹲”的动作组片段，使用户顺序跟练深蹲动作。

在一些实施例中，如果用户想要恢复开合跳训练，可以点击恢复开合跳训练按钮，控制器响应于用户点击恢复开合跳训练按钮的操作，可以根据在先记录的开合跳动作组片段的media_progress_kht，自动将训练项目视频整体的播放进度定位至media_progress_kht，使第一窗口131接续播放开合跳动作组片段，以及在先前记录的开合跳动作组的跟练分数的基础上，继续开合跳的跟练流程和评分机制，实现恢复开合跳的跟练。

在一些实施例中，用户可以根据训练兴趣，点击第三窗口134中任意一个标准动作对应的动作提示控件134a，例如点击标记已跟练状态的动作提示控件134a以刷新得分；又例如，用户可以点击标记待跟练状态的动作提示控件134a，以跳过不想跟练的标准动作对应的动作组片段，或者提前跟练排序靠后的标准动作。

图15为本申请一些实施例提供的一种跟跟练控制方法的流程图。参见图15，该方法可由控制器250执行，或者由控制器250控制健身类应用执行，基于以上实施例，包括如下步骤：

步骤S151，响应于启动训练项目视频的操作，获取训练项目视频关联的动作组列表。

在一些实施例中，控制器在接收到用户启动训练项目视频的操作时，可以向服务器发送业务请求；服务器响应该业务请求，将训练项目视频数据、关联的动作组列表和动作模板数据发送给显示设备。

步骤S152，控制显示器在跟练界面的第一窗口显示训练项目视频，以及在跟练界面的第二窗口显示跟练图像。

跟练界面可以参照图9或图13的示例，跟练界面也可以配置其他布局。

步骤S153，在检测到训练项目视频播放至对应第一标准动作的第一动作组片段时，比对第一动作组片段包含的参考动作图像与所对齐的第一跟练图像，计算第一跟练图像对应的训练得分。

步骤S154，将多帧第一跟练图像对应的训练得分累加，得到第一标准动作对应的第一动作组跟练得分。

在一些实施例中，动作组列表已提供每个标准动作Action_i的Action_i_config_time、Action_i_start_time和Action_i_end_time(即已配置打点时间)，控制器可以监控训练项目视频的播放进度(media_progress)，通过遍历动作组列表，比较media_progress和打点时间，以判断训练项目视频播放至哪一动作组片段，进而确定当前跟练的标准动作(简称：第一标准动作)。

在一些实施例中，如果Action_i_config_time≤media_progress＜Action_i_start_time，表明训练项目视频播放至动作组片段ActionGroup_i中的动作配置阶段；如果Action_i_start_time≤media_progress＜Action_i_end_time，表明训练项目视频播放至动作组片段ActionGroup_i中的动作训练阶段；如果media_progress≥Action_i_end_time，表明已结束播放动作组片段ActionGroup_i。

在一些实施例中，步骤S153关键在于根据media_progress和打点时间，检测训练项目视频播放到的任意一个动作组片段(简称：第一动作组片段)，这里包括两种实现方式：

方式一：在media_progress＝Action_i_config_time时触发评分机制。

方式二：在media_progress＝Action_i_config_time时触发评分机制。由于动作组片段一般需要从动作配置阶段过渡到动作训练阶段，在动作配置阶段，动作示范人员尚未完全做出正确的标准动作Action_i，对于跟练人员无法起到正确的训练引导，而在Action_i_config_time时动作示范人员才做出标准动作Action_i，因此可在media_progress＝Action_i_config_time时触发评分机制，以提升评分结果的准确性和可靠性。

在一些实施例中，评分机制可以被配置为：基于参考动作图像的播放时间戳以及跟练图像的采集时间戳的对齐机制，获取与第一动作组片段中的参考动作图像P_1k时间对齐的跟练图像(简称：第一跟练图像P_2k)，通过比对参考动作图像P_1k和第一跟练图像P_2k，计算标准动作与用户同步的跟练动作之间的动作匹配度，进而给出训练得分Score_ik，其中k表示参考动作图像和第一跟练图像的帧序号，i表示训练项目视频中标准动作的序号，Score_ik表示在用户跟练标准动作Action_i时第一跟练图像P_2k对应的训练得分。

在一些实施例中，服务器端运营商可以为训练项目视频配置播放时间戳，例如训练项目视频起播时的播放时间戳为0，训练项目视频播放结束时的时间戳为t，t表示训练项目视频的总播放时长。在第一窗口131起播训练项目视频时，控制器控制图像采集器同步采集用户的跟练图像，并为每帧跟练图像配置采集时间戳。因此，控制器基于播放时间戳和采集时间戳的对齐机制，从图像采集器采集的视频码流中提取参考动作图像P_1k对齐的第一跟练图像P_2k，这样第一跟练图像P_2k就是用户在参照参考动作图像P_1k做出跟练动作时图像采集器采集到的跟练图像，通过时间戳对齐机制保证评分机制的准确性。

在一些实施例中，控制器可以根据标准动作Action_i的动作信息(例如Action_i_name、Action_i_id)，从动作模板数据中获取标准动作Action_i的基准分数Action_i_standard_score，以及获取标准动作Action_i的keypoints1(第一肢体关键点位置数据)。控制器可以将第一跟练图像P_2k输入预先训练的人体识别模型，并获取人体识别模型输出的keypoints2(第二肢体关键点位置数据)。

在一些实施例中，控制器可以根据keypoints1和keypoints2，计算动作匹配度fitness_k，0≤fitness_k≤1，并根据动作匹配度fitness_k和基准分数Action_i_standard_score，计算训练得分Score_ik，Score_ik＝fitness_k*Action_i_score。其中，由于动作难易程度不同，不同的标准动作Action_i，可以具有不同的基准分数Action_i_standard_score。

在一些实施例中，评分机制还可以被配置为：将多帧(Q帧，1＜Q≤N)第一跟练图像对应的训练得分Score_ik进行累加，得到标准动作Action_i对应的动作组跟练得分ActionGroup_score_i，即ActionGroup_score_i＝SUM{Score_ik,k＝1,2…,Q}。动作组跟练得分ActionGroup_score_i用于表征用户针对标准动作Action_i的动作组的综合训练情况。

在一些实施例中，评分机制还可以被配置为：按照预设周期，从第一动作组片段中周期性地获取参考动作图像P_1k，以及从图像采集器采集的视频码流或者终端采集并发送的视频码流中周期性地获取第一跟练图像P_2k。由于在时间间隔较短时，用户的肢体动作不会产生明显变化，例如仅仅出现些许轻微抖动，为了降低评分机制的运算量，控制器可以每间隔预设周期，获取时间戳对齐的一帧参考动作图像P_1k和一帧第一跟练图像P_2k，从而周期性地计算一次训练得分Score_ik，缩减训练得分的计算次数。本申请实施例提供的评分机制可以预置在跟练评分模型或模块中。

步骤S155，存储第一动作组跟练得分，以及控制显示器在跟练界面显示第一动作组跟练得分。

在一些实施例中，参见图13，对处于正在跟练状态的标准动作Action_i(例如开合跳Action₃)，显示器可以在跟练界面的第二窗口132中显示对应的动作组跟练得分ActionGroup_score_i，由于ActionGroup_score_i是动态累加的(例如周期性累加)，第二窗口132所显示的动作组跟练得分ActionGroup_score_i是动态更新的。

在一些实施例中，参见图13，对处于已跟练状态的标准动作(例如Action₁、Action₂)，可以通过动作提示控件134a显示跟动作组练得分，在未重练的情况下，动作提示控件134a显示的动作组跟练得分是不变的。对处于待跟练状态的标准动作(例如Action₄)，由于尚未跟练和评分，跟练界面不显示对应的动作组跟练得分。

在一些实施例中，参见图13，跟练界面还包括退出跟练按钮136。控制器响应于用户点击退出跟练按钮136，或者检测到训练项目视频播放至终点，都属于训练项目视频播放结束的情形。

图16为本申请一些实施例提供的跟练详情列表页面的示意图一，在训练项目视频播放结束时，控制器可以控制显示器显示跟练详情列表页面160，参见图16，跟练详情列表页面160包括M个单独的标准动作Action_i的跟练详情信息，跟练详情信息包括但不限于动作信息(例如动作名称)、运动时长、能量消耗和动作组跟练得分。以开合跳为例，用户在跟练开合跳时，运动时长为145秒，能量消耗74千卡，得分90分。控制器可以按照标准动作Action_i在训练项目视频中的出现顺序，对跟练详情列表页面中的M个跟练详情信息进行排序。

在一些实施例中，参见图16，跟练详情列表页面160还包括每个标准动作Action_i对应的重练控件161。跟练详情信息可以和重练控件161设置于同行，每行与一个标准动作Action_i对应。用户浏览跟练详情列表页面后，可以获知每个标准动作的动作组跟练得分，并可以点击低分动作(例如相扑蹲)对应的重练控件161，实现重新训练和刷新得分。

在一些实施例中，控制器响应于用户点击第一标准动作对应的重练控件161，控制显示器关闭跟练详情列表页面，并在跟练界面的第一窗口131显示第一标准动作对应的动作组片段(简称：第一动作组片段)，第二窗口132显示用户重练第一标准动作时采集到的跟练图像。

在一些实施例中，在第一动作组片段播放结束，即用户重练完成第一标准动作时，控制器按照前述方式重新获取最终累加的第一动作组跟练得分，更新本地记录的第一动作组跟练得分，控制显示器显示跟练详情页面，并更新跟练详情页面中的第一动作组跟练得分。例如，相扑蹲原来的动作组跟练得分为2分，用户重新训练后，相扑蹲的动作组得分提升至55分，则更新本地记录的相扑蹲的动作组跟练得分，以及更新跟练详情页面显示的相扑蹲的动作组跟练得分，即由原来的2分变更为最新的55分。

在一些实施例中，虽然用户可以通过跟练界面的第三窗口134和跟练详情列表页面，了解每个标准动作的动作组跟练得分，获知获知哪些动作得分较高，哪些动作得分较低，但用户无法了解每个低分动作的丢分点在哪，无法获知具体哪个肢体部位的动作不准确影响评分，也就无法针对性地强化和提升训练。对此，本申请通过录屏，录制用户跟练每个标准动作时的视频片段，这样通过回放录屏文件，用户可以比较第一窗口131呈现的标准动作和第二窗口132呈现的跟练动作之间的差异，结合第二窗口132显示的动作标准化提示信息等内容，找出跟练过程中的丢分点，使用户在重练时针对性地纠正自身错误动作。

图17为本申请一些实施例提供的另一种跟跟练控制方法的流程图。参见图17，该方法可由控制器250执行，或者由控制器250控制健身类应用执行，基于以上实施例，包括如下步骤：

步骤S171，响应于启动训练项目视频的操作，获取训练项目视频关联的动作组列表。

步骤S172，控制显示器在跟练界面的第一窗口显示训练项目视频，以及在跟练界面的第二窗口显示跟练图像。

步骤S173，在检测到训练项目视频播放至对应第一标准动作的第一动作组片段时，启动录屏功能，开始录制屏幕内容。

在一些实施例中，控制器可以使用录屏API(例如MediaProjection)来捕获屏幕内容，并生成屏幕内容视频。在录制屏幕时，录屏API可以获取屏幕分辨率(例如1920*1080)，基于屏幕分辨率，调用mMediaRecorder.setVideoSize(width,height)接口设置所录制视频的尺寸；设置相关录制参数，例如录制视频的清晰度、格式、帧率、画质、比特率等；设置录屏文件的文件名和预设存储位置，命名规则不限定，例如命名规则配置为训练项目视频名称+动作名称+起录时间戳，以避免训练项目视频中动作组片段被重复录制，预设存储位置是录屏文件的保存位置(例如磁盘A中的文件夹b)。这样，录屏API按照屏幕分辨率和录制参数，录制屏幕内容，以及在录制结束时，按照预设命名规则设置录屏文件的文件名，并将该录屏文件保存到预设存储位置。

在一些实施例中，参见图13，在启动录屏功能后，控制器可以控制显示器在跟练界面显示录屏提示控件137，录屏提示控件137用于向用户提示显示设备正在录屏。

步骤S174，比对第一动作组片段包含的参考动作图像与所对齐的第一跟练图像，计算第一跟练图像对应的训练得分。

步骤S175，将多帧第一跟练图像对应的训练得分累加，得到第一标准动作对应的第一动作组跟练得分。

步骤S176，存储第一动作组跟练得分，以及控制显示器在跟练界面显示第一动作组跟练得分。

步骤S177，在第一动作组片段播放结束时，停止录制屏幕内容。

为了录制用户跟练单独一个标准动作时的视频片段，在动作组片段播放结束，即media_progress＝Action_i_end_time时，停止录制屏幕内容，从而生成对应每个动作组片段的录屏文件，即按照动作组片段分段录制，以便用户回看在先播放任一动作组片段时自身的跟练过程。

步骤S178，将第一动作组片段的录屏文件和第一动作组录制信息存储在预设存储位置。

在一些实施例中，一种示例性的动作组录制信息如下：

record_ActionGroup_i_info{

Action_i_name,//标准动作Action_i的动作名称

record_ActionGroup_i_start_time,//跟练标准动作Action_i时的动作组录制开始时间

record_ActionGroup_i_end_time,//跟练标准动作Action_i时的动作组录制结束时间

ActionGroup_score_i,//动作组跟练得分

Action_i_standard_score,//动作组标准分数(与难度相关)

…

}

动作组录制信息record_ActionGroup_i_info可以包括：标准动作Action_i的动作信息(例如动作名称Action_i_name)、动作组跟练得分(ActionGroup_score_i)、动作组标准分数(Action_i_standard_score)、动作组录制开始时间(record_ActionGroup_i_start_time)和动作组录制结束时间(record_ActionGroup_i_end_time)。

在一些实施例中，正常情况下record_ActionGroup_i_start_time＝Action_i_config_time，record_ActionGroup_i_end_time＝Action_i_end_time。

在一些实施例中，参照图13，用户可能点击第一窗口131中的暂停控件131a，控制器响应于用户点击暂停控件131a的操作，控制第一窗口131暂停播放训练项目视频，同时暂停跟练模式，包括暂停统计训练时长、能量消耗、动作组跟练得分等信息，以避免用户无效跟练，直至用户再次点击暂停控件131a，控制器再继续播放训练项目视频以及恢复跟练模式。

在一些实施例中，如果用户身体移动幅度较大，或者用户有事临时走出图像采集器的拍摄区域，会导致在跟练图像中无法检测到人像，则控制器可以控制第一窗口131暂停播放训练项目视频，同时暂停跟练模式，以避免用户无效跟练，直至用户重新进入光圈并完成人像识别验证，控制器再继续播放训练项目视频以及恢复跟练模式。

在一些实施例中，如果跟练模式下图像采集器被其他应用程序(例如视频通话类应用)占用，或者图像采集器发生故障，或者图像采集器的物理开关被误关闭，这些情况都会导致图像采集器变为不可用状态，则控制器可以控制第一窗口131暂停播放训练项目视频，同时暂停跟练模式，以避免用户无效跟练，直至图像采集器变为可用状态并且人像识别验证后，控制器再继续播放训练项目视频以及恢复跟练模式。

然而，控制器启动录屏功能后，在录屏API录制屏幕内容的过程中，一旦跟练模暂停，会暂停统计训练时长、能量消耗、动作组跟练得分等信息，并且media_progress也会停驻在暂停节点处不发生变化，只要media_progress未达到Action_i_end_time，录屏进程会持续，即录屏时长包含跟练模式的暂停时长。因此，若利用Action_i_config_time，和Action_i_end_time直接标记动作组录制的起止时间，显然忽略了跟练模式暂停时所产生的额外耗时，导致录制文件的视频时长与标记时长不一致。

为了解决由于跟练模式暂停导致的录制视频时长与标记时长不一致问题，在一些实施例中，在跟练界面的第一窗口131起播训练项目视频时，控制器启动计时器，在检测到训练项目视频播放至第一动作组片段ActionGroup_i，即media_progress＝Action_i_config_time时，读取计时器当前经过的时间(以下简称：第一时间)，将该第一时间设置为record_ActionGroup_i_start_time。之后计时器持续计时，不会因跟练模式暂停而停止计时。

在一些实施例中，在第一动作组片段ActionGroup_i播放结束时，即media_progress＝Action_i_end_time时，读取计时器此时经过的时间(以下简称：第二时间)，将该第二时间设置为record_ActionGroup_i_end_time。由于计时器持续计时，不会因跟练模式暂停而停止计时，如果出现上述任一种跟练模式暂停的情况，计时器记录的时间包含跟练模式暂停的时间，因此将第二时间作为record_ActionGroup_i_end_time，由此标记的动作组录制的起止时间与真实录制过程匹配，动作组录制的起止时间更加准确。

图18为本申请一些实施例提供的跟练详情列表页面的示意图二。在训练项目视频播放结束时，按照上述录制流程，已依次录制完成M个动作组片段ActionGroup_i的视频录制文件Record_i，参见图18，跟练详情页面还包括每个标准动作Action_i对应的回放控件181，跟练详情信息、重练控件161和回放控件181可以设置于同行，每行与一个标准动作Action_i对应。

在一些实施例中，第i个回放控件181可与视频录制文件Record_i进行关联链接，这样用户若要回看在先对标准动作Action_i的跟练过程，可以点击标准动作Action_i对应的第i个回放控件181。

图19为本申请一些实施例提供的跟练回放界面的示意图一。控制器响应于用户点击第i个回放控件181的操作，从预设存储位置获取第i个回放控件181所链接的录制片段Record_i，并控制显示器显示跟练回放界面，参见图19，跟练回放界面播放视频录制文件Record_i的视频内容，跟练回放界面还包括但不限于第二进度条191、录制时长信息192、暂停控件193、上一个控件194、下一个控件195和得分提示信息196等。

在一些实施例中，第二进度条191是视频录制文件Record_i的视频播放进度条；录制时长信息192可以是根据动作组录制的起止时间获取的，例如录制时长T_record＝record_ActionGroup_i_end_time-record_ActionGroup_i_start_time；用户可以通过暂停控件193来暂停播放视频录制文件Record_i；在用户点击上一个控件194时，控制器控制显示器在跟练回放界面显示视频录制文件Record_i-1，并刷新录制时长信息192等信息；在用户点击下一个控件195时，控制器控制显示器在跟练回放界面显示视频录制文件Record_i+1，并刷新录制时长信息192等信息；用户可以通过得分提示信息196，了解在先跟练标准动作Action_i时累积的动作组跟练得分。

在一些实施例中，假设训练项目视频的起播点为T₀(通常为00:00)，训练项目视频的结束点为T_S，T_S可以等于训练项目视频的总时长t₁，或者T_S可以为用户退出跟练模式的时间。控制器可以在media_progress＝T₀时，控制录屏API开始录制屏幕内容，并启动计时器，在检测到media_progress＝Action_i_config_time时，读取计时器当记录的第一时间T_i1，将第一时间T_i1设置为record_ActionGroup_i_start_time，之后计时器持续计时，不会因跟练模式暂停而停止计时。在media_progress＝Action_i_end_time时，读取计时器当记录的第二时间T_i2，将第二时间T_i2设置为record_ActionGroup_i_end_time。以此类推，直至media_progress＝T_S时，控制器控制录屏API停止录屏，从而在一个完整录屏文件Record中记录用户完整的跟练过程。

在一些实施例中，控制器响应于用户点击第i个回放控件181的操作，从预设存储位置获取完整录屏文件Record，并获取Action_i映射的第一时间T_i1和第二时间T_i2，根据第一时间T_i1和第二时间T_i2，从完整录屏文件Record中查找录制片段Record_part_i，录制片段Record_part_i的起始点为T_i1，Record_part_i的结束点为T_i2，因此录制片段Record_part_i录制了用户对Action_i的跟练过程。

图20为本申请一些实施例提供的跟练回放界面的示意图二，参见图20，控制器响应于用户点击第i个回放控件181的操作，将完整录屏文件Record的播放进度直接跳转到起始点T_i1，以使跟练回放界面从录制片段Record_part_i开始播放，直至完整录屏文件Record的播放进度到达结束点为T_i2时，录制片段Record_part_i播放结束，可以停止播放完整录屏文件Record。在播放录制片段Record_part_i时，播放进度从T_i1逐渐过渡到T_i2。

在一些实施例中，控制器还可以根据每个标准动作Action_i映射的第一时间T_i1和第二时间T_i2，从完整录屏文件Record中分割出录制片段Record_part_i，并独立保存每个录制片段Record_part_i的视频文件，并建立第i个回放控件181与录制片段Record_part_i之间的关联链接。这样，控制器响应于用户点击第i个回放控件181的操作，可以控制显示器在跟练回放界面显示录制片段Record_part_i，录制片段Record_part_i的跟练回放界面可以参照图19，这里不再赘述。

图21为本申请一些实施例提供的一种系统架构的示意图，参见图21，系统架构(控制器)可以包括应用层、SDK层、Framework层、系统层。

在一些实施例中，应用层对应健身类应用，可以包括图像采集模块、接口调用模块、结果接收模块、评分模块、界面显示模块、录屏模块、计时模块、存储模块和回放模块。

在一些实施例中，SDK层包括肢体识别模块，所述肢体识别模块可以包括图像处理子模块、图像识别子模块和结果处理子模块等。

在一些实施例中，图像采集模块用于实时采集用户的跟练图像，接口调用模块用于调用SDK层接口，将跟练图像传递给SDK层，SDK层将跟练图像输入至肢体识别模块，图像处理子模块用于对跟练图像进行处理(例如去噪、增强等)，图像识别子模块用于对跟练图像中的肢体关键点进行识别，得到识别结果，该识别结果中包括跟练动作中的各个肢体关键点的位置坐标(即第二肢体关键点位置数据)，结果处理子模块将识别的第二肢体关键点位置数据发送给应用层的结果接收模块。

在一些实施例中，结果接收模块将第二肢体关键点位置数据发送给评分模块，评分模块从动作模板数据中获取第一肢体关键点位置数据，并将第一肢体关键点位置数据和第二肢体关键点位置数据进行比对，计算动作匹配度，并根据动作匹配度和基准分数，计算每帧跟练图像对应的训练得分，然后周期性地获取一帧跟练图像，将多帧跟练图像对应的训练得分累加，得到动作组跟练得分。

在一些实施例中，界面显示模块用于显示跟练界面，跟练界面可参照图13的示例，在跟练界面上的第二窗口132显示动态更新的动作组跟练得分，以及在第三窗口134中通过动作提示控件134a，对处于已跟练状态的标准动作最终的动作组跟练得分进行提示。在一些实施例中，在训练项目视频播放结束时，界面显示模块还用于显示跟练详情列表页面，跟练详情列表页面可参照图16或图18的示例，

在一些实施例中，录屏模块用于录制完整录屏文件或者按动作组片段进行分段录制，计时模块用于计时以获取动作组录制开始时间T_i1和动作组录制结束时间T_i2，录屏模块和计时模块的作用具体可参照前面相关实施例，这里不再赘述。录屏模块将录制完成的视频文件及相关的动作组录制信息发送给存储模块，以使存储模块保存已录制的视频文件和动作组录制信息。

在一些实施例中，回放模块用于在接收到用户点击跟练详情列表页面中的回放控件181时，从存储模块中获取匹配的录制视频文件和动作组录制信息，然后控制显示模块在跟练回放界面显示用户期望回看的跟练片段，具体可参照前面相关实施例，这里不再赘述。在一些实施例中，Framework层和系统层可以按照显示设备的系统架构(例如安卓系统)进行配置和运作，本申请实施例对此不做限定和具体说明。

本申请中系统架构的功能改进主要集中在应用层以及应用层与SDK层的交互。本申请提供的UI附图仅仅是示例性的，在本方案实现效果的基础上，可以对跟练界面、跟练回放界面、跟练详情列表页面等UI进行布局和内容配置和变化。本申请中肢体关键点识别和动作匹配度计算可以参照相关技术实现，本申请实施例不再赘述。

在一些实施例中，本申请一些实施例还提供一种计算机存储介质，该计算机存储介质可存储有程序。当计算机存储介质配置在显示设备200中时，该程序执行时可以包括以上实施例中跟练控制方法包括的程序步骤。其中，计算机存储介质可为磁碟、光盘、只读存储记忆体(英文：Read-Only Memory，简称ROM)或随机存储记忆体(英文：Random AccessMemory，简称RAM)等。

最后应说明的是：以上各实施例仅用以说明本申请的技术方案，而非对其限制；尽管参照前述各实施例对本申请进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本申请各实施例技术方案的范围。

为了方便解释，已经结合具体的实施方式进行了上述说明。但是，上述示例性的讨论不是意图穷尽或者将实施方式限定到上述公开的具体形式。根据上述的教导，可以得到多种修改和变形。上述实施方式的选择和描述是为了更好的解释本公开的内容，从而使得本领域技术人员更好的使用所述实施方式。

Claims (13)

1.一种显示设备，其特征在于，包括：

图像采集器或者外接图像采集器的接口，所述图像采集器用于采集用户的跟练图像；

显示器，用于显示跟练界面；

控制器，用于执行：

响应于启动训练项目视频的操作，获取所述训练项目视频关联的动作组列表；其中，所述训练项目视频包含至少一种标准动作对应的动作组片段，动作组片段包括所述标准动作对应的连续多帧参考动作图像，所述动作组列表包括所述标准动作的动作信息和动作起止时间；

控制显示器在所述跟练界面的第一窗口显示所述训练项目视频，以及在所述跟练界面的第二窗口显示所述跟练图像；

在检测到所述训练项目视频播放至对应第一标准动作的第一动作组片段时，基于所述参考动作图像的播放时间戳以及所述跟练图像的采集时间戳的对齐机制，比对所述第一动作组片段包含的参考动作图像与所对齐的第一跟练图像，计算所述第一跟练图像对应的训练得分；

将多帧所述第一跟练图像对应的训练得分累加，得到并存储所述第一标准动作对应的第一动作组跟练得分；

控制显示器在所述跟练界面显示所述第一动作组跟练得分。

2.根据权利要求1所述的显示设备，其特征在于，所述控制器还用于执行：

控制显示器在所述跟练界面的预设区域显示所述训练项目视频包含的所述标准动作对应的动作提示控件；

控制所述动作提示控件标记所述标准动作的训练状态，所述训练状态包括已跟练状态、正在跟练状态和待跟练状态；

获取处于已跟练状态的目标标准动作对应的目标动作提示控件，并控制所述目标动作提示控件显示所述目标标准动作对应的动作组跟练得分。

3.根据权利要求1所述的显示设备，其特征在于，所述控制器还用于执行：

在所述训练项目视频播放结束时，控制显示器显示跟练详情列表页面，所述跟练详情列表页面包括所述标准动作的跟练详情信息，所述跟练详情信息包括动作信息、运动时长、能量消耗和动作组跟练得分。

4.根据权利要求3所述的显示设备，其特征在于，所述跟练详情列表页面还包括每个所述标准动作对应的重练控件，则所述控制器还用于执行：

响应于用户点击所述第一标准动作对应的重练控件的操作，控制显示器在所述跟练界面的第一窗口显示所述第一动作组片段，以及在所述跟练界面的第二窗口显示对应所述第一标准动作的跟练图像；

在所述第一动作组片段播放结束时，重新计算所述所述第一动作组跟练得分；

在所述跟练详情列表页面中更新所述第一动作组跟练得分。

5.根据权利要求3或4所述的显示设备，其特征在于，所述控制器还用于执行：

在检测到所述训练项目视频播放至所述第一动作组片段时，开始录制屏幕内容；

在所述第一动作组片段播放结束时，停止录制屏幕内容；

将所述第一动作组片段的录屏文件和第一动作组录制信息存储在预设存储位置，所述第一动作组录制信息包括所述第一标准动作的动作信息、所述第一动作组跟练得分、第一动作组录制开始时间和第一动作组录制结束时间。

6.根据权利要求5所述的显示设备，其特征在于，所述控制器还用于执行：

在所述跟练界面的第一窗口开始显示所述训练项目视频时，启动计时器；

在检测到所述训练项目视频播放至所述第一动作组片段时，将所述计时器记录的第一时间设置为所述第一动作组录制开始时间；

在所述第一动作组片段播放结束时，将所述计时器记录的第二时间设置为所述第一动作组录制结束时间。

7.根据权利要5所述的显示设备，其特征在于，所述跟练详情列表页面还包括每个所述标准动作对应的回放控件，所述控制器还用于执行：

响应于用户点击所述第一标准动作对应的回放控件的操作，从所述预设存储位置获取所述第一动作组片段的录屏文件和所述第一动作组录制信息；

控制显示器在跟练回放界面起播所述第一动作组片段的录屏文件；

控制显示器在所述跟练回放界面显示录制时长和所述第一动作组跟练得分，所述录制时长是根据所述第一动作组录制开始时间和所述第一动作组录制结束时间获取的。

8.根据权利要求3或4所述的显示设备，其特征在于，所述控制器还用于执行：

在起播所述训练项目视频时，开始录制屏幕内容，并启动计时器；

在检测到所述训练项目视频播放至任一动作组片段时，将所述计时器记录的第一时间设置为动作组录制开始时间；

在所述动作组片段播放结束时，将计时器记录的第二时间设置为动作组录制结束时间；

在所述训练项目视频播放结束时，停止录制屏幕内容，并生成完整录屏文件；其中，所述完整录屏文件中包括至少一个录制片段，所述录制片段录制了用户对一个标准动作的跟练过程；

存储所述完整录屏文件，以及存储所述录制片段关联的动作组录制信息，所述动作组录制信息包括所述标准动作的动作信息、动作组跟练得分、所述动作组录制开始时间和所述动作组录制结束时间。

9.根据权利要求8所述的显示设备，其特征在于，所述控制器还用于执行：

响应于用户点击所述第一标准动作对应的回放控件的操作，从所述预设存储位置获取所述完整录屏文件和所述第一标准动作对应的第一动作组录制信息，所述第一动作组录制信息包括第一动作组录制开始时间和第一动作组录制结束时间；

根据所述第一动作组录制开始时间和所述第一动作组录制结束时间，从所述完整录屏文件中查找所述第一标准动作对应的第一录制片段；

在起播所述完整录屏文件时，将所述完整录屏文件的播放进度跳转至所述第一动作组录制开始时间，以使跟练回放界面播放所述第一录制片段。

10.根据权利要求8所述的显示设备，其特征在于，在并生成完整录屏文件之后，所述控制器还用于执行：

根据所述动作组录制开始时间和所述动作组录制结束时间，将所述完整录屏文件分割为若干所述录制片段；

独立存储所述录制片段的视频文件，以及所述录制片段关联的所述动作组录制信息；

响应于用户点击所述第一标准动作对应的回放控件的操作，控制跟练回放界面播放所述第一标准动作对应的第一录制片段。

11.根据权利要求1所述的显示设备，其特征在于，所述控制器计算所述第一跟练图像对应的训练得分，包括：

根据所述第一标准动作的动作信息，从预设的动作模板数据中获取所述第一标准动作的第一基准分数和第一肢体关键点位置数据；

获取所述第一跟练图像包含的跟练动作的第二肢体关键点位置数据；

计算所述第一肢体关键点位置数据和所述第二肢体关键点位置数据之间的动作匹配度；

根据所述动作匹配度和所述第一基准分数，计算所述第一跟练图像对应的训练得分。

12.根据权利要求1所述的显示设备，其特征在于，所述控制器还用于执行：

按照预设周期，从所述第一动作组片段中周期性地获取所述参考动作图像，以及从所述图像采集器采集的视频码流中周期性地获取所述第一跟练图像。

13.一种跟练控制方法，其特征在于，包括：

响应于启动训练项目视频的操作，获取所述训练项目视频关联的动作组列表；其中，所述训练项目视频包含至少一种标准动作对应的动作组片段，动作组片段包括所述标准动作对应的连续多帧参考动作图像，所述动作组列表包括所述标准动作的动作信息和动作起止时间；

在跟练界面的第一窗口显示所述训练项目视频，以及在所述跟练界面的第二窗口显示图像采集器采集的跟练图像；

在检测到所述训练项目视频播放至对应第一标准动作的第一动作组片段时，基于所述参考动作图像的播放时间戳以及所述跟练图像的采集时间戳的对齐机制，比对所述第一动作组片段包含的参考动作图像与所对齐的第一跟练图像，计算所述第一跟练图像对应的训练得分；

将多帧所述第一跟练图像对应的训练得分累加，得到并存储所述第一标准动作对应的第一动作组跟练得分；

在所述跟练界面显示所述第一动作组跟练得分。