CN116324700A - 显示设备及媒资播放方法 - Google Patents

Abstract

本申请实施例提供了一种显示设备及媒资播放方法，显示设备包括：显示器；控制器，与显示器连接，控制器被配置为：接收用户输入的媒资播放指令；响应于所述媒资播放指令，获取所述媒资播放指令对应的目标视频；在对应所述目标视频的第一播放窗口上方未设置控件时，在所述第一播放窗口播放所述目标视频；在对应所述目标视频的第一播放窗口上方设置有所述控件时，在所述第一播放窗口中将所述目标视频的显示位置向远离所述控件的方向移动，以使所述目标视频的画面的中心位置靠近所述第一播放窗口中未被所述控件遮挡的目标显示区域的中心位置显示，其中，所述控件不透明，且遮挡所述第一播放窗口的一侧。本申请提高了媒资播放的显示效果。

Description

显示设备及媒资播放方法

本申请要求在2020年10月15日提交、申请号为202011102193.3，在2021年03月15日提交、申请号为202110275148.6，和在2021年04月25日提交、申请号为202110448074.1的中国专利申请的优先权，其全部内容通过引用结合在本申请中。

技术领域

本申请涉及显示技术领域，尤其涉及一种显示设备及媒资播放方法。

背景技术

现如今，跟随电视上的健身视频进行健身是一种流行的健身方式，为了更好的掌握自己的健身动作是否标准，部分电视可通过摄像头采集用户图像，将用户图像与健身视频在电视上同时播放，使用户能在电视上看到自己的动作，从而可将自己的动作与健身视频终端中的动作进行比对分析。

目前大部分电视的显示比例为16:9，健身视频的比例通常也为16:9，如果电视只播放健身视频，则可将健身视频进行全屏显示，而如果将健身视频与用户图像同时显示，由于用户图像占据了电视的部分显示区域，会导致健身视频的显示区域可能不是16:9。相关技术中，当一个视频的比例与播放窗口的比例不一致时，通常会将该视频缩放到一个较小的尺寸，以便能够在播放窗口内进行展示，然而，这样会导致视频的周围出现黑边，并且，视频也会变得较小，对于健身视频，视频变小会导致一些健身动作难以看清，严重影响用户的观看体验。

发明内容

第一方面，本申请提供了一种显示设备，该显示设备包括：

显示器；

控制器，与所述显示器连接，所述控制器被配置为：

接收用户输入的媒资播放指令；

响应于所述媒资播放指令，获取所述媒资播放指令对应的目标视频；

在对应所述目标视频的第一播放窗口上方未设置控件时，在所述第一播放窗口播放所述目标视频；

在对应所述目标视频的第一播放窗口上方设置有所述控件时，在所述第一播放窗口中将所述目标视频的显示位置向远离所述控件的方向移动，以使所述目标视频的画面的中心位置靠近所述第一播放窗口中未被所述控件遮挡的目标显示区域的中心位置显示，其中，所述控件不透明，且遮挡所述第一播放窗口的一侧。

第二方面，本申请提供了一种媒资播放方法，该方法包括：

接收用户输入的媒资播放指令；

响应于所述媒资播放指令，获取所述媒资播放指令对应的目标视频；

在对应所述目标视频的第一播放窗口上方未设置控件时，在所述第一播放窗口播放所述目标视频；

在对应所述目标视频的第一播放窗口上方设置有所述控件时，在所述第一播放窗口中将所述目标视频的显示位置向远离所述控件的方向移动，以使所述目标视频的画面的中心位置靠近所述第一播放窗口中未被所述控件遮挡的目标显示区域的中心位置显示，其中，所述控件不透明，且遮挡所述第一播放窗口的一侧。

附图说明

图1中示出了一些实施例中的显示设备与控制装置之间操作场景的示意图；

图2中示出了一些实施例中的健身首页示意图；

图3中示出了一些实施例中的媒资详情界面示意图；

图4中示出了一些实施例中的播放模式选择界面示意图；

图5中示出了一些实施例中的普通模式下的全屏播放界面示意图；

图6中示出了一些实施例中的跟练模式下的双窗口播放界面示意图；

图7中示出了一些实施例中的跟练模式下的双窗口播放界面示意图；

图8中示出了一些实施例中的图像移动的示意图；

图9中示出了一些实施例中的图像移动后的效果示意图；

图10中示出了一些实施例中的显示界面示意图；

图11中示出了一些实施例中的目标媒资的打点交互示意图；

图12中示出了一些实施例中的目标媒资的评分交互示意图；

图13中示出了一些实施例中的跟练过程中的评分方法的流程图；

图14中示出了一些实施例中的跟练过程中的评分示意图；

图15中示出了一些实施例中的跟练结束后的评分示意图；

图16中示出了一些实施例中的显示设备的异常处理界面的示意图；

图17中示出了一些实施例中的显示设备的异常处理界面的示意图；

图18中示出了一些实施例中的显示设备的异常处理界面的示意图。

具体实施方式

为使本申请的目的和实施方式更加清楚，下面将结合本申请示例性实施例中的附图，对本申请示例性实施方式进行清楚、完整地描述，显然，描述的示例性实施例仅是本申请一部分实施例，而不是全部的实施例。

图1为根据实施例中显示设备与控制装置之间操作场景的示意图。如图1所示，用户可通过智能设备300或控制装置100操作显示设备200。

在一些实施例中，控制装置100可以是遥控器，遥控器和显示设备的通信包括红外协议通信或蓝牙协议通信，及其他短距离通信方式，通过无线或有线方式来控制显示设备200。用户可以通过遥控器上按键、语音输入、控制面板输入等输入用户指令，来控制显示设备 200。

在一些实施例中，也可以使用智能设备300(如移动终端、平板电脑、计算机、笔记本电脑等)以控制显示设备200。例如，使用在智能设备上运行的应用程序控制显示设备200。

在一些实施例中，显示设备200还可以采用除了控制装置100和智能设备300之外的方式进行控制，例如，可以通过显示设备200设备内部配置的获取语音指令的模块直接接收用户的语音指令控制，也可以通过显示设备200设备外部设置的语音控制设备来接收用户的语音指令控制。

在一些实施例中，显示设备200还与服务器400进行数据通信。可允许显示设备200通过局域网(LAN)、无线局域网(WLAN)和其他网络进行通信连接。服务器400可以向显示设备200提供各种内容和互动。服务器400可以是一个集群，也可以是多个集群，可以包括一类或多类服务器。

在一些实施例中，用户可在显示器260上显示的图形用户界面(GUI)输入用户命令，则用户输入接口通过图形用户界面(GUI)接收用户输入命令。或者，用户可通过输入特定的声音或手势进行输入用户命令，则用户输入接口通过传感器识别出声音或手势，来接收用户输入命令。

在一些实施例中，“用户界面”，是应用程序或操作系统与用户之间进行交互和信息交换的介质接口，它实现信息的内部形式与用户可以接受形式之间的转换。用户界面常用的表现形式是图形用户界面(Graphic User Interface，GUI)，是指采用图形方式显示的与计算机操作相关的用户界面。它可以是在电子设备的显示屏中显示的一个图标、窗口、控件等界面元素，其中控件可以包括图标、按钮、菜单、选项卡、文本框、对话框、状态栏、导航栏、Widget等可视的界面元素。

在一些实施例中，显示设备启动后可以直接进入预置的视频点播程序的界面，视频点播程序的界面可以如图2中所示，至少包括导航栏和位于导航栏下方的内容显示区，内容显示区中显示的内容会随导航栏中被选中控件的变化而变化。应用程序层中的程序可以被集成在视频点播程序中通过导航栏的一个控件进行展示，也可以在导航栏中的应用控件被选中后进行进一步显示。

在一些实施例中，显示设备启动后可以直接进入上次选择的信号源的显示界面，或者信号源选择界面，其中信号源可以是预置的视频点播程序，还可以是HDMI接口，直播电视接口等中的至少一种，用户选择不同的信号源后，显示器可以显示从不同信号源获得的内容。

在一些实施例中，如图2所示，导航栏可设置有多个控件，如“我的”、“频道”、“影视”、“健身”、“VIP”、“教育”、“商城”、“游戏”和应用，不同的导航栏控件对应不同的频道界面，若用户想进行健身，可选中“健身”控件，图2所示的界面即“健身”控件被选中后的界面，用户可在该界面选择一个健身视频，以跟随健身视频进行健身。

参见图3，用户在图2所示的界面点击一个健身视频后，显示设备根据被选中的视频控件对应的配置参数，请求服务器下发对应的详情页数据，然后根据接收到的详情页数据 进入图3所示的媒资详情界面。如图3所示，媒资详情界面可显示该健身视频的多个课程小节控件，也可以不包括，用户点击其中一个课程小节控件或者开始训练控件后，显示设备将该课程小节控件/详情页对应的健身视频，然后进入播放模式选择界面。在如下表述中，播放的健身视频也被称为目标视频。

参见图4，播放模式选择界面可展示三种模式控件，第一种模式控件对应的播放模式为普通模式，该模式也可称为第一模式，第二种模式控件对应的播放模式为跟练模式，该模式也可称为第二模式，第三种模式控件对应的播放模式为观影模式，该模式也可称为第三模式。每个该模式控件可显示有该播放模式的解释说明，示例性的，普通模式的解释说明可为：“屏蔽摄像头观看完整教学视频熟悉训练动作”，跟练模式的解释说明可为：“开启摄像头获得动作实时比对让动作更标准”，观影模式的解释说明可为：“屏蔽摄像头边看边锻炼运动效果不打折”。

根据上述解释说明可知，在一些实施例中，在普通模式下，显示设备不启动摄像头，只在一新的界面上设置一个播放窗口来播放健身视频，在跟练模式下，显示设备启动摄像头，在显示器的新的界面上设置两个播放窗口，分别同时播放摄像头采集的图像和健身视频，在观影模式下，显示设备不启动摄像头，在显示器新的界面上设置两个播放窗口，分别同时播放一个健身视频和一个影片。

在一些实施例中，显示设备可设置有摄像头，摄像头可包括升降摄像头或非升降摄像头，摄像头可拍摄用户图像，得到本地摄像头数据，显示设备的控制器可将摄像头拍摄到的本地摄像头数据显示在显示设备的显示器上，使用户在显示器上看到自己的动作。

在一些实施例中，显示设备没有设置摄像头，但可连接一个摄像头，如通过USB连接一个外置摄像头，利用该摄像头拍摄用户图像，显示设备的控制器可将摄像头拍摄到的本地数据显示在显示设备的显示器上。

用户可根据上述解释说明，选择一个播放模式来观看健身视频。

在一些实施例中，若用户在图4所示的播放模式选择界面点击普通模式控件，则显示设备生成媒资播放指令，该媒资播放指令包括播放模式和目标视频的信息，此时，播放模式为普通模式，目标视频的信息包括目标视频的播放地址。显示设备根据该媒资播放指令，从目标视频的播放地址获取目标视频的视频数据流，根据播放模式为普通模式，在新的界面上生成一个用于播放目标视频的第一播放窗口。在一些实施例中，第一播放窗口可为全屏窗口，显示比例为16:9。

在一些实施例中，由于健身视频的比例通常为16:9，全屏窗口的比例也为16:9，因此，健身视频的比例与全屏窗口的比例相一致。在普通模式下，显示设备只生成一个第一播放窗口，不生成其他窗口，不会有其他窗口对第一播放窗口的显示内容进行遮挡，因此，显示设备可在生成第一播放窗口后，根据媒资播放指令的播放模式为普通模式，直接将健身视频在第一播放窗口中全屏播放。

在一些实施例中，为实现将健身视频在第一播放窗口中全屏播放，显示设备可将目标视频的图像进行缩放，使缩放后的目标视频的图像尺寸缩放至与全屏窗口的尺寸相一致。

在一些实施例中，显示设备对目标视频进行缩放的方法可为：对目标视频的视频数据 流进行解析，得到目标视频的视频帧序列，取视频帧序列中的第一帧图像，根据该图像高度和所述目标显示区域的高度的比值得到缩放比例，然后按照所述缩放比例将所述目标视频的视频帧序列进行缩放。示例性的，目标视频的图像高度为100，显示设备的全屏窗口的高度为1000，其中，高度可为垂直方向上的像素点数量，则缩放比例为：100:1000＝1:10，根据该缩放比例，将目标视频的视频帧序列放大10倍，则可使放大后的目标视频的图像能够充满整个全屏窗口。

在一些实施例中，显示设备将目标视频进行缩放后，得到缩放后的目标视频的视频帧序列，将该视频帧序列发送给第一播放窗口，使第一播放窗口可连续播放该视频帧序列。

参见图5，为根据一些实施例的普通播放模式下的全屏播放界面示意图，如图5所示，在普通播放模式下，目标视频可实现全屏播放，图5中的人物可为健身教练，线条可表示人物背景，通常情况下，在目标视频的图像中，人物居中显示，人物后方的左侧和右侧均为背景图像。

在一些实施例中，在图5的显示界面中用户可以唤出包含切换控件的控件列表，在用户选中切换控件后，切换为图6的跟练模式显示。或者在显示图5所示的界面时，通过预设按键键值，切换为图6的跟练模式显示。同样的，也可以通过上述手段从图6切换为图5的显示。

在一些实施例中，若用户在图4所示的播放模式选择界面点击跟练模式控件，则显示设备生成媒资播放指令，该媒资播放指令包括播放模式和目标视频的信息，此时，播放模式为跟练模式，目标视频的信息包括目标视频的播放地址。显示设备根据该媒资播放指令，从目标视频的播放地址获取目标视频的视频数据流，根据播放模式为跟练模式，在新的界面上生成一个用于播放目标视频的第一播放窗口，以及一个用于播放本地摄像头数据的第二播放窗口。

在一些实施例中，第二播放窗口叠加在所述第一播放窗口的上方；

在一些实施例中，第二播放窗口和第一播放窗口的高度一致，第二播放窗口的左边界和第一播放窗口的左边界重合，或，第二播放窗口的右边界和第一播放窗口的右边界重合。

在一些实施例中，窗口的位置可以通过设置窗口在界面中的坐标参数来进行实现。

在一些实施例中，参见图6，在跟练模式下，第一播放窗口可为全屏窗口，显示比例为16:9，第二播放窗口可为一个与显示器等高的窗口，显示比例可据摄像头的拍摄参数确定。第二播放窗口可以贴图的形式叠加显示在第一播放窗口的一侧，例如，第二播放窗口可显示在第一播放窗口的右侧，并与第一播放窗口的右侧边缘重合，对第一播放窗口的右侧显示区域构成遮挡。若显示设备将目标视频缩放至与全屏窗口相同尺寸后，直接在全屏窗口内显示缩放后的图像，则由于第二播放窗口的遮挡，如果按照正常的窗口显示逻辑，目标视频的部分图像无法被用户观看到，用户只能观看到目标视频中不被第二播放窗口遮挡的图像。在目标视频为健身视频时，用户需要跟随健身视频中的健身教练的动作进行运动，健身教练为目标视频中的人物，通常位于健身视频的图像中部，第二播放窗口可能会遮挡健身教练的部分身体，影响了健身视频观看效果。

在一些实施例中，为减小健身教练的身体被遮挡的概率，显示设备可在跟练模式下， 在第一播放窗口中确定一个目标显示区域，该目标显示区域为不被第二播放窗口遮挡的区域，显示设备可在该目标显示区域将目标视频的图像向左偏移显示，从而使用户能在目标显示区域看到较为完整的健身动作。

在一些实施例中，目标显示区域是根据所述第一播放窗口的位置坐标和第二播放窗口的位置坐标确定的。通过将第一播放窗口的位置坐标减去第二播放窗口的位置坐标，可得到目标显示区域的位置坐标。

需要说明的是，目标显示区域是指第一播放窗口中的较佳显示区域，在目标显示区域内显示的内容不会被其他图像遮挡，在跟练模式下，显示设备上除了有第一播放窗口，还有第二播放窗口，且第二播放窗口对第一播放窗口构成了部分遮挡，则显示设备可将第一播放窗口内位于第二播放窗口左侧未被第二播放窗口遮挡的区域确定为目标显示区域。参见图7，第二播放窗口叠加显示在第一播放窗口的右侧上方，可将第一播放窗口左侧未被第二播放窗口遮挡的区域确定为第一播放窗口的目标显示区域。

需要说明的是，在跟练模式下，第一播放窗口是被第二播放窗口遮挡，显示设备根据第二播放窗口在第一播放窗口上的位置确定了目标显示区域。而在一些视频播放场景下，用于进行视频播放的第一播放窗口可能不是被用于播放摄像头本地数据的第二播放窗口遮挡，而是被其他图像遮挡，例如，被一个展示图片的不透明控件遮挡，这种情况下，也可应用本申请实施例提供的方法确定一个目标显示区域，在目标显示区域内播放视频，以达到较好的播放效果。此时，若控件遮挡第一播放窗口的位置与第二播放窗口遮挡第一播放窗口的位置相同，即都是遮挡在第一播放窗口的一侧，且控件的一个宽度边与第一播放窗口的一个宽度边重合，则可将目标显示区域确定为第一播放窗口中不被控件遮挡的矩形区域。若控件的全部边都不与第一播放窗口重合，此时，无论将目标显示区域设置在控件的哪一侧，目标显示区域的尺寸都将较小，因此，可将第一播放窗口的全部显示区域确定为目标显示区域，即在第一播放窗口全屏播放目标视频。

在一些实施例中，在跟练模式下，由于目标显示区域仅为第一播放窗口的部分显示区域，因此，目标显示区域的尺寸比例可能不是16:9，为获得较好的播放效果，可先将目标视频进行缩放，再将缩放后的目标视频的图像向左偏移，使得偏移后的图像的中心线靠近目标显示区域的中心线，或者使偏移后的图像的中心线与目标显示区域的中心线重合，从而可使用户在目标显示区域内看到较为完整的人物图像。

在一些实施例中，软件执行过程中，可以不确定目标显示区域，根据播放界面中第一播放窗口和第二播放窗口的位置参数，直接确定目标视频的第一移动距离。示例性的目标视频在播放器播放过程中会进行缩放，为了保证显示内容不变形，图像在高度方向和宽度方向一般进行等比例缩放，一般的缩放规则是按照高度(宽度)进行缩放因子的确认后对图像缩放，缩放后的图像在高度(宽度)上填满播放窗口的高度(宽度)，另一维度可以进行插黑。可以以高度方向为基准，也可以以宽度方向为基准。根据第一播放器的宽度参数和第二播放器的宽度参数即可确定目标视频的图像在显示过程中需要移动的第一距离。以使得目标视频图像帧的中间位置尽可能在第一视频窗口上未被遮挡的区域显示。

参见图8，将目标视频的图像向左偏移第一移动距离D后，可以看出，相较偏移之前， 目标视频中的人物图像更为靠近画面左侧。

参见图9，将目标视频的图像向左偏移第一移动距离D后，目标视频中的人物右侧的背景图像可通过第二播放窗口进行遮挡，此时，第二播放窗口不对第一播放窗口中的人物构成遮挡，达到了良好的显示效果。

在一些实施例中，附图6和附图9第一播放窗口和第二播放窗口的错位显示只是为了表达存在两个独立控制的播放窗口，不表征实际的叠加后的显示效果。

为计算第一移动距离D，在一些实施例中，可将目标视频的图像进行缩放，获取目标视频缩放到第一播放窗口的尺寸后的图像宽度，该图像宽度可称为待展示宽度；再获取第二播放窗口的宽度；将这两个宽度作差，可得到目标显示区域的宽度；取待展示宽度与目标显示区域的宽度的差值的一半，作为第一移动距离。根据该计算方法，目标视频左侧偏移的第一移动距离D与目标视频右侧被第二播放窗口遮挡的距离相同，实现了目标视频的中心线与目标显示区域的中心线重合。该计算方法可称为平均法，具有计算简单、计算速度快的优点，能快速确定第一移动距离D的大小。

在一些实施例中，第一移动距离可以是小于两个播放窗口的宽度差的任一距离。

在一些实施例中，第一移动距离不大于第二播放窗口的宽度。

在一些实施例中，可以直接根据第二播放窗口的宽度确定第一移动距离，示例性的，将所述第二播放窗口的宽度的一半作为待移动距离，第一移动距离不大于待移动距离。

在一些实施例中，还可以根据缩放后的影片的宽度和第二播放窗口的宽度做差来获取第一移动距离，例如，可以将差值的一半作为第一移动距离。

在一些实施例中，根据播放窗口的位置参数进行第一移动距离的确定。

在一些实施例中，目标视频中的健身教练可能不位于图像中部，此时，若再采取将目标视频左侧偏移的第一移动距离D设置为与目标视频右侧被第二播放窗口遮挡的距离相同的方法，会导致目标视频中的健身教练偏左或偏右，显示效果不佳，为解决该技术问题，还可采取其他方法计算第一移动距离D。例如，还可对目标视频的图像帧进行人体识别，在识别到人体，即健身教练后，以人体的中轴线向两侧对称延伸，直至包含人体的显示区域宽度与目标显示区域的宽度相同，此时，将该包含人体的显示区域的宽度起点与第一播放窗口的宽度起点的差值作为第一移动距离，该计算方法得到的第一移动距离可能与上述平均法得到的第一移动距离不相同，若健身教练在目标视频的媒资图像中偏左，则该计算方法得到的第一移动距离小于上述平均法得到的第一移动距离，若健身教练在目标视频的媒资图像中偏右，则该计算方法得到的第一移动距离大于上述平均法得到的第一移动距离。

在得到第一移动距离D后，在一些实施例中，显示设备可通过动态设置surfaceView(平面视图)的展示，实现目标视频的图像偏移显示。surfaceView的偏移输出函数可为：layoutParam.setMargins(0-D,0,0,0)。如图9所示，该偏移输出函数表示左侧偏移量为D，使得媒资图像的左侧起点为(0-D)，媒资图像在第一播放窗口的左侧起点为0，由于第一播放窗口在展示图像时，需要从起点为0的位置开始展示图像。因此，根据上述偏移输出函数，可使得第一播放窗口在展示目标视频的每一帧图像时，在第一播放窗口内从目标视频在第一移动距离D右侧的像素点开始展示媒资图像，第一移动距离D内的图像超出了第 一播放窗口的展示范围，第一播放窗口不会展示该部分图像，实现了将目标视频的图像向左偏移显示的显示效果，在目标视频的图像右侧，第一播放窗口还空余一部分显示区域，这部分显示区域可显示黑边，通过将第二播放窗口置顶显示，可使第二播放窗口覆盖住目标视频的图像中的人物右侧的部分背景图像以及上述黑边，用户不会看到该部分背景图像以及黑边，不影响用户的观看体验。其中，第二播放窗口的置顶方式可为将setZOrderOnTop(true)设置置顶。

根据上述动态设置surfaceView的方法，可使显示设备在跟练模式下的播放界面如图10所示，目标视频的中部图像在第一播放窗口的目标显示区域内显示，用户图像在第二播放窗口内显示。

在一些实施例中，显示设备在接收到目标视频之后，对目标视频进行解码，并按照第一播放窗口的参数进行缩放，然后在图像帧显示的过程中通过将图像帧的向左移动第一距离后的位置参数进行显示，由于移除第一播放窗口播放区域外的图像无法显示，靠近第二播放窗口的图像帧边缘被第二播放窗口遮挡，图像帧中央区域可以在第一播放窗口的未被遮挡的区域呈现。

在一些实施例中，第二播放窗口播放获取到的摄像头的视频数据。

由上述实施例可见，本申请实施例通过在显示设备上检测目标视频不被遮挡的显示区域，将其确定为目标显示区域，然后在将目标视频进行缩放后，控制目标视频的图像在目标显示区域进行偏移显示，解决了跟练模式下目标视频在播放时被第二播放窗口遮挡而导致的显示效果不佳的问题，提升了用户的观看体验。

在一些实施例中，视频播放应用还可根据一些预设的评分规则对用户的动作进行评分，使用户不用自己去对比自己的动作与目标媒资中的动作，也能得知自己的动作是否规范。

在一些实施例中，一种预设的评分规则是：将目标媒资的图像与用户图像进行实时对比，根据用户图像中的用户动作与目标媒资中的动作的相似度，确定用户动作的评分，相似度越高，则评分越高，相似度越低，则评分越低。

然而，在目标媒资的播放过程中，用户从看到目标媒资中的动作到做出动作需要一些时间，用户图像采集的过早或过晚，都容易导致用户动作的评分偏低，而且，目标媒资是持续播放的，如果用户在做出目标媒资中的动作后，目标媒资的画面已经切换为其他动作，将直接导致用户评分较低。

为解决上述技术问题，一种预设的评分规则是：在目标媒资播放到一个特定的动作时，获取此时的目标媒资的图像，然后连续采集多张用户图像，将用户图像中的动作与目标媒资的图像中的动作进行动作比对，得到多个评分，将最高的评分作为该动作的评分，从而提高评分准确性。

在一些实施例中，目标媒资中用于进行评分的特定动作可根据动作库确定，其中，动作库可包括多张包含不同人物动作的样本图片和样本图片对应的动作数据，样本图片中的人物动作可为一些常见的健身动作，如下蹲动作，抬手动作等等。

在一些实施例中，动作库的动作数据可包括样本图片中人物的骨骼关键点的坐标位置和骨骼关键点类型，其中，骨骼关键点可通过已训练好的骨骼关键点检测模型得到，一种 示例性地骨骼关键点类型可包括鼻部骨骼关键点、脖子骨骼关键点、左肩骨骼关键点、左手肘骨骼关键点、左手腕骨骼关键点、右肩骨骼关键点、右手肘骨骼关键点、右手腕骨骼关键点、左髋部骨骼关键点、左膝部骨骼关键点、左脚腕骨骼关键点、右髋部骨骼关键点、右膝部骨骼关键点、右脚腕骨骼关键点、左眼骨骼关键点、右眼骨骼关键点、左耳骨骼关键点和右耳骨骼关键点。骨骼关键点检测模型可为基于深度神经网络的模型，将大量人工标注好骨骼关键点的图片输入深度神经网络模型，然后对深度神经网络进行训练，可使深度神经网络具有识别骨骼关键点的功能。当然，骨骼关键点也可通过人工标注得到。

在一些实施例中，动作库的动作数据还可包括相邻骨骼关键点之间的位置关系，根据相邻骨骼关键点之间的位置关系可区分不同的人物动作。

在一些实施例中，动作库的动作数据还包括样本图片中的人物动作的动作难度，动作难度可由运营人员确定，一种示例性地动作难度范围为0～10，动作难度的数值越大，则代表难度越大。

在一些实施例中，动作库的动作数据还包括动作标识，每一个人物动作可对应一个不同的动作标识，一种示例性地动作标识可为动作编号，根据该动作编号，可从动作库中快速查找出该动作编号对应的其他动作数据以及样本图片。

在一些实施例中，确定目标媒资中用于进行评分的特定动作所在的图像帧的这一过程可称为对目标媒资进行打点，参见图11，为根据一些实施例的目标媒资的打点交互示意图。

如图11所示，运营人员可利用第一工具处理服务器、媒资业务服务器和媒资内容服务器对目标媒资的打点。其中，第一工具处理服务器可对目标媒资进行打点，动作库可存储于该第一工具处理服务器中；媒资业务处理器可设置有每个目标媒资的媒资信息，该媒资信息可为目标媒资的提供者提供的原始信息，如媒资播放地址、媒资分辨率、媒资时长、媒资类型等信息，也可为运营人员对原始信息进行加工处理后的媒资信息，例如，加工处理后的媒资可包括校正后的媒资类型、媒资标签等一些新信息，原来的媒资类型被删除，示例性的，在原始信息中，媒资类型为运动，校正后的媒资类型可为健身；媒资内容服务器可为目标媒资的内容提供者上传目标媒资的视频流文件与原始信息的服务器。

在图11中，第一工具处理服务器、媒资业务服务器和媒资内容服务器是按照各自的功能进行区分的，在实际实施中，每个服务器可能部署在一个硬件设备上，也可能部署在多个硬件设备，这三个服务器也可能均部署在一个硬件设备上，本申请实施例对此不做具体限定。

在一些实施例中，运营人员可向第一工具处理服务器输入目标媒资的打点指令，该打点指令可包括目标媒资的媒资ID，第一工具处理服务器可根据该媒资ID，向媒资业务服务器获取该媒资ID对应的媒资信息，即目标媒资的媒资信息。

在一些实施例中，内容提供者在媒资内容服务器上传了一个新的媒资后，媒资业务服务器可根据该新上传的媒资的原始信息生成对应的媒资信息，第一工具处理服务器可实时主动监测媒资业务服务器上新生成的媒资信息，根据媒资信息中的媒资类型判断是否将该新上传的媒资作为目标媒资，如果媒资类型为预设的打点类型，如健身类型，可将该新上传的媒资作为目标媒资，如果媒资类型不是预设的打点类型，可不将该新上传的媒资作为 待打点的目标媒资，跳过该媒资，继续判断下一个新上传的媒资是否为目标媒资。

在一些实施例中，内容提供者在媒资内容服务器上传了一个新的媒资后，已经对该媒资进行了打点，并在该媒资的原始信息中设置了一个打点标签，用于表示该媒资已经打点，媒资业务处理服务器在处理该原始信息以得到媒资信息时，若检测到打点标签，且该打点标签符合预设的规范，例如，打点标签中含有基于时间轴的打点视频帧的播放时间，则可在媒资信息中保留该打点标签，若否，则删除该打点标签。因此，第一工具处理服务器在处理一个目标媒资时，可判断该目标媒资的媒资信息中是否有打点标签，如果目标媒资的媒资信息中有打点标签，第一工具处理服务器可确定目标媒资已经打点，如果没有打点便签，则将该媒资作为待打点的目标媒资。

在一些实施中，内容提供者在媒资内容服务器上传了一个新的媒资后，媒资业务服务器生成的媒资信息中的媒资类型不属于打点类型，但过了一段时间后，媒资业务服务器重新对该媒资信息进行核对后，在该媒资的媒资信息中增加了一个类型属性为打点类型，对于这种情况，第一工具处理服务器可实时主动监测媒资业务服务器上发生变化的媒资信息，如果变化的媒资信息中的媒资类型为打点类型，且该媒资信息中没有打点标签，则将该媒资确定为作为待打点的目标媒资。

在一些实施例中，内容提供者对媒资进行打点后，还可生成一个打点文件，该打点文件可存储在该媒资的原始信息中，媒资业务处理服务器在处理该原始信息以得到媒资信息时，可在媒资信息中保留该打点文件。因此，第一工具处理服务器在处理一个目标媒资时，可判断该目标媒资的媒资信息中是否有上述打点文件，如果目标媒资的媒资信息中有上述打点文件，第一工具处理服务器可确定目标媒资已经打点，如果没有打点文件，也没有打点标签，则可将该媒资作为待打点的目标媒资。

在一些实施例中，第一工具处理服务器在确定目标媒资已经打点后，如果之前是根据打点指令获取了该目标媒资的媒资信息，则可生成目标媒资打点完毕的提示信息，使运营人员得知该目标媒资已经打点；如果之前是第一工具处理服务器自动从媒资业务服务器中获取的目标媒资的媒资信息，则可直接跳过该目标媒资，继续处理下一个目标媒资。

在一些实施例中，内容提供者对目标媒资的打点方法可能与第一工具处理服务器的打点方法不相同，因此，运营人员得知目标媒资已经打点后，可向第一工具处理服务器输入重新打点指令，使第一工具处理服务器对该目标媒资进行打点。

在一些实施例中，第一工具处理服务器在确认需要对目标媒资进行打点后，可根据媒资信息中的媒资播放地址，向媒资内容服务器获取目标媒资的视频流文件，然后对视频流文件进行解析，得到目标媒资的视频帧，然后逐帧检测目标视频的视频帧，对视频帧进行人物动作识别，如果识别出的人物动作为所述动作库对应的其中一个人物动作，则生成一条打点记录，所述打点记录至少包括所述视频帧的播放时间。

在一些实施例中，第一工具处理服务器可通过已训练好的骨骼关键点检测模型检测视频帧中的骨骼关键点，然后将视频帧中相邻骨骼关键点之间的相对位置关系与动作库中的每个样本图片中的相应骨骼关键点之间的相对位置关系进行比较，根据相对位置关系的误差在预设的范围内，判定视频帧中的人物动作为与动作库中的样本图片中的人物动作。例 如，在目标媒资的一个视频帧中，左肩骨骼关键点、左手肘骨骼关键点和左手腕骨骼关键点在一条直线上，而在动作库中，一个样本图片对应的动作数据中，左肩骨骼关键点、左手肘骨骼关键点和左手腕骨骼关键点也在一条直线上，而则可认定为该视频帧中的动作为伸左手。

在一些实施例中，在检测出目标媒资的视频帧中的人物动作为所述动作库对应的其中一个人物动作后，可获取所述视频帧在所述目标媒资中的播放时间，以及所述视频帧中的动作对应的动作标识，然后根据所述播放时间和动作标识生成一条打点记录，打点记录中可包括视频帧的播放时间和视频帧对应的动作标识。其中，相邻的视频帧之间的时间间隔通常为毫秒级，因此，在打点记录中，播放时间可精确到毫秒，便于确定视频帧。

在一些实施例中，如果一个目标媒资中打点的视频帧过于密集，则有可能导致目标媒资在播放时，用户由于没有来得及跟上目标媒资中的动作而导致打分偏低，因此，在目标媒资的视频帧中检测到人物动作为所述动作库对应的其中一个人物动作后，可先判断下是否满足打点条件，满足打点条件再打点，不满足打点条件则不打点，跳过该视频帧，继续检测下一个视频帧。一种示例性地打点条件可为：在所述视频帧中的人物动作为所述动作库对应的其中一个人物动作时，若所述视频帧的播放时间距离上一打点记录对应的播放时间大于预设时间，则可进行打点，生成一条打点记录，即在预设时间内，最多进行一次打点，预设时间可设置为10秒或其他时长。

在一些实施例中，为防止目标媒资中打点的视频帧过于密集，还可在进行一次打点后，对目标媒资在本次打点后预设时间内的视频帧不进行人物动作识别，对预设时间后的视频帧再进行人物动作识别。

在一些实施例中，目标媒资的全部视频帧检测完毕后，或者当目标媒资检测完距离目标媒资的最后一个视频帧在预设时间内的视频帧后，可汇总打点记录，根据全部打点记录和目标媒资的时间轴生成打点文件和/或打点标签，将打点文件和/或打点标签存储到目标媒资的媒资信息中。

在一些实施例中，也可只生成打点文件，不生成打点标签，或只生成打点标签，不生成打点文件。

在一些实施例中，第一工具处理服务器在生成目标媒资的打点文件和/或打点标签后，如果之前是根据打点指令进行打点的，则可生成目标媒资打点完毕的提示信息，使运营人员得知该目标媒资已经打点完毕；如果之前是自动识别出目标媒资，则可继续处理下一个目标媒资。

在一些实施例中，第一工具处理服务器还可根据打点记录对应的人物动作的动作数据，生成所述目标媒资对应的打点库。第一工具处理服务器可将打点库存储在媒资业务服务器中该目标媒资的媒资信息中，媒资业务服务器在向显示设备下发目标媒资的媒资信息时，可被配置为下发打点库。当然，第一工具处理服务器也可将打点库直接存储在第一工具处理服务器内。

在用户使用跟练模式观看目标媒资时，显示设备可根据上述实施例中得到的打点记录，在达到打点记录中的视频帧的播放时间时，采集用户图像，对用户图像中的用户动作进行 动作比对，在比对后，还可为对用户动作进行评分。

参见图12，为根据一些实施例的目标媒资的评分交互示意图，如图12所示，用户在显示设备观看一个来源于媒资内容服务器上的一个目标媒资时，第二工具处理服务器可与显示设备进行交互，进而对用户动作进行评分，生成跟练记录，将跟练记录反馈给显示设备，使显示设备可显示跟练记录。

在图12中，第二工具处理服务器和媒资内容服务器是按照各自的功能进行区分的，在实际实施中，每个服务器可能部署在一个硬件设备上，也可能部署在多个硬件设备，这两个服务器也可能均部署在一个硬件设备上，本申请实施例对此不做具体限定。

在一些实施例中，显示设备可从媒资信息中检测到打点标签，根据打点标签确认该目标媒资支持动作评分，进而从媒资信息中获取目标媒资的打点文件，得到目标媒资的打点记录。

在一些实施例中，显示设备也可对媒资信息进行检测，判断媒资信息中是否包含打点文件和/或打点标签，如果包含，则可从打点文件和/或打点标签中得到目标媒资的打点记录。

在目标视频的播放过程中，用户可跟随目标视频做出相应的动作。

在一些实施例中，显示设备在检测到目标视频播放到一条打点记录对应的时间时，可获取目标视频此时的媒资图像，并开始采集多张时间递进的用户图像，将目标视频的媒资图像和用户图像发送给第二工具处理服务器。示例性地，在目标视频播放到一条打点记录对应的时间时，显示设备可每间隔一段时间，就向第二工具处理服务器上传一张用户图像，针对一条打点记录，显示设备可上传预设数量的用户图像，其中，上传的用户图像的时间间隔可为100毫秒，预设数量可为10张，或者上传的用户图像的时间间隔为50毫秒，预设数量为20张。

在一些实施例中，第二工具处理服务器在接收到媒资图像和用户图像后，可按照用户图像的时间顺序，将用户图像与媒资图像进行动作比对，得到用户图像的动作评分。示例性地，动作比对方法包括：通过已训练好的骨骼关键点检测模型检测用户图像中的骨骼关键点和媒资图像中的骨骼关键点，将用户图像中相邻骨骼关键点之间的相对位置与媒资图像中相应骨骼关键点之间的相对位置进行比较，即将用户图像中的动作数据与媒资图像中的动作数据进行比较，得到相对位置的误差，根据两张图像中所有相对位置的误差，以及媒资图像的动作难度，计算得到用户图像中的用户动作与媒资图像中的动作的相似度，根据相似度得到用户动作的动作评分。其中，相对位置的误差与相似度之间的映射关系，以及相似度、动作难度与动作评分的映射关系可预先制定，并可进行调整。例如，在误差在预设范围内的相对位置的数量一定时，动作难度越大，则动作评分相对较高。

在一些实施例中，为提高评分效率，以及减小显示设备上传数据量，显示设备还可将目标媒资的播放指令发送给第二工具处理服务器，使第二工具处理服务器可响应于目标媒资的播放指令，从媒资业务服务器或第一工具处理服务器中下动作库。显示设备可上传用户图像以及动作标识，不上传媒资图像，第二工具处理服务器根据动作标识，将用户图像中的动作数据与动作库中相应样本图片的动作数据进行比对，得到用户动作的动作评分。

在一些实施例中，第二工具处理服务器可响应于目标媒资的播放指令，从第一工具处理服务器中下载打点库，第二工具处理服务器还可将用户图像的动作数据与目标媒资的打点库中相应的动作数据进行比对，得到用户动作的动作评分，避免了动作库可能较大，下载动作库和从动作库中查找动作数据较慢的问题。

在一些实施例中，动作库和/或打点库还可直接存储在第二工具处理服务器上，避免了第二工具处理服务器需要下载动作库和/或打点库而耗费时间的问题。

在一些实施例中，第二工具处理服务器在达到本次比对的终止条件时，则停止比对下一张用户图像与媒资图像。示例性地，终止条件可为已经比对了第一预设数量的用户图像，或需要进行下一个动作的比对，如接收到下一张媒资图像，或连续第二预设数量的动作评分呈下降趋势，第一预设数量可为10，第二预设数量可为3。

由于用户看到目标媒资的图像后，需要一定时间才能做出目标媒资中的动作，在做完动作后，可能会恢复到初始状态，如立正状态，或着接着去做下一个动作，因此，将时间递进的用户图像进行评分后，多个动作评分按照时间顺序可构成一个近似开口向下的抛物线，抛物线的顶点即动作评分中的最高分，可将该最高分最为本次动作的跟练得分，当然，也可根据其他方式确定跟练得分，例如，去掉几个较低的分数后，将剩余分数的平均分作为本次动作的跟练得分。

在一些实施例中，图13示出了一种跟练模式控制方法，该方法是由显示设备中控制器250被配置执行，即控制器250为方法的执行主体，所述方法包括如下程序步骤：

步骤S10，响应于接收到启动训练项目视频的操作，在跟练界面的第一窗口中显示训练项目视频，以及在第二窗口中显示由图像采集器采集并发送的视频码流中的本地图像。这一步骤是用户跟练的基础和前提，方便用户根据跟练界面的引导进行训练。

步骤S20，响应于所述训练项目视频播放至关键帧，从所述视频码流中周期性地获取对应于关键帧的跟练图像。

步骤S30，将所述跟练图像中的跟练动作与所述关键帧中的标准动作进行比对，分别得到各跟练图像中所述跟练动作的训练得分。

如果训练项目视频未播放到打点位置的关键帧处，则继续播放直至遇到打点。本申请在训练项目视频每播放到一个关键帧时，需要从视频码流中周期性获取对应于关键帧的跟练图像，比如可以设置预设周期，并每间隔预设周期获取一帧跟练图像，这里所述对应于关键帧的跟练图像，是指用户观看关键帧中的标准动作后，模拟摆出跟练动作时对应采集到的图像，预设周期比如可选为100ms，即每隔100ms获取一帧跟练图像，并将跟练图像中识别到的人体的跟练动作与标准动作进行比对，得到每帧跟练图像中跟练动作的训练得分。

在一些实施例中，为图像采集器232采集的视频码流中的每帧图像设置时间戳，所述视频码流中各帧图像的时间戳是图像采集器232在采集时间的基础上进行延时补偿后设定的，所述延时补偿用于消除图像从图像采集器232传输至控制器250所产生的延时。控制器250在从视频码流中周期性地获取跟练图像之前，根据播放到关键帧的物理时间，对比视频码流中各帧图像的时间戳，来定位对应于关键帧的跟练图像，从而精准获取跟练图像。 本申请利用物理时间，即打点位置时间来定位并获取跟练图像，而非进度条时间，从而以更精准的时间匹配方式来提高获取跟练图像的准确性。本申请在设置时间戳时考虑对图像传输延时的补偿，比如图像传输延时大约为150ms，即延迟150ms后传输到控制器250，则可以将视频码流中每帧图像的时间戳设置为超前本帧采集时间150ms。

步骤S40，根据各跟练图像中跟练动作的训练得分的最大值，计算所述标准动作与所述跟练动作的动作匹配度。

在一些实施例中，在执行步骤S40之前，所述方法还包括：响应于达到终止条件，停止从所述视频码流中获取所述跟练图像。

在一些实施例中，控制器250响应于训练项目视频播放至下一个关键帧，则确定达到所述终止条件。即从当前打点位置的标准动作切换至下一个标准动作前，则需要停止获取跟练图像，确保采集的跟练图像是与当前标准动作有关。这种情况下是用打点位置约束跟练图像的获取进程，获取的是两个打点位置之间包含的全部帧。

相邻两个打点位置的关键帧之间具有一个的时间间隔，比如“1/4箭步蹲”这一动作需要保持20秒，20秒后切换到下一个标准动作，即两个打点位置之间间隔20秒，如果每间隔100ms就要获取一帧跟练图像，则获取的跟练图像帧数会非常多，需要计算大量跟练图像帧中跟练动作的训练得分，从而导致控制器250计算和处理资源的浪费，还会导致动作评分和动作匹配度的计算效率低。

此外，申请人研究发现，用户进行跟练时，每个动作的训练得分近似为一个开口向下的抛物线，即用户根据动作标准化提示信息，逐渐调整肢体趋近于标准动作时，这一过程训练得分呈上升趋势，当用户出现疲惫或想要切换动作时，跟练动作与标准动作匹配度逐渐降低，训练得分则呈现下降趋势。对于训练得分呈显著下降趋势，或训练得分数值较低时，则没有必要从视频码流中获取这部分跟练图像。每个跟练动作评分时都需要叠加上用户反映时间的因素。

因此在一些实施例中，控制器250每获取一帧跟练图像，将获取帧数累积加1，即在获取跟练图像的过程中准确记录和更新获取帧数，当检测到获取帧数等于第二数量阈值时，则确定达到所述终止条件。其中第二数量阈值是预设值，比如10帧，它用于限制控制器250在每个打点位置能对应获取跟练图像的最大帧数，第二数量阈值的取值不限定。这种情况下是利用数量阈值来约束跟练图像的获取进程，跟练图像的获取数量等于第二数量阈值，从而过滤掉后续其他帧，及时终止相对无效的跟练图像获取和得分判定，提高用户得分的匹配度，并提高评分和动作匹配度的计算效率，提升用户体验。

或者，在一些实施例中，控制器250每获取一帧跟练图像，都会匹配出对应的跟练动作的训练得分，从而获取训练得分的变化趋势。比如第i帧为85分，第i+1帧为83分，第i+2帧为80分，则显然训练得分是呈现递减(下降)趋势的。由于训练得分越低，说明跟练动作与标准动作匹配度越低，因此期望保留较高的训练得分，过滤掉较低的训练得分，对此如果连续M帧跟练图像对应的训练得分呈递减趋势，则确定达到所述终止条件，其中M为第一数量阈值，比如M可取值为3，第一数量阈值M的取值不限定。这种情况下是利用用户跟练时的得分趋势/轨迹，来及时终止相对无效的跟练图像获取和得分判定，提高 用户得分的匹配度，并提高评分和动作匹配度的计算效率，提升用户体验。

在上述终止条件的各实施例的基础上，在获取跟练图像的过程中，需要判断是否达到终止条件。如果未达到终止条件，则继续每间隔预设周期获取跟练图像帧，并匹配训练得分；如果达到终止条件，则停止从视频码流中获取所述跟练图像，并执行步骤S40。

无论采取何种终止条件，当达到终止条件时，假设共获取到N帧跟练图像，每帧跟练图像中跟练动作的训练得分为Scorej，1≤j≤N，则本申请中用户模拟关键帧中的标准动作而做出的跟练动作的得分，即命名为目标得分，目标得分＝max{Scorej，1≤j≤N}，即目标得分为获取到的N帧跟练图像中跟练动作的训练得分的最大值。

在一些实施例中，当匹配出用户在跟练打点位置的标准动作所得的目标得分后，可以记录下该目标得分，便于后续统计最终得分。

步骤S50，根据所述动作匹配度，控制显示器在所述第二窗口中显示动作匹配提示信息。

在一些实施例中，所述动作匹配提示信息包括动作的准确率，通过目标得分可以计算标准动作与跟练动作间的动作匹配度，并于跟练界面的第二窗口上的指定位置显示动作匹配度，动作匹配度比如以准确率的比率值形式展示给用户。

在一些实施例中，所述动作匹配提示信息还包括鼓励语，通过动作匹配度，可以在跟练界面的第二窗口中显示相匹配的鼓励语，比如“Good”、“Great”、“Perfect”等等，每种鼓励语对应于一个动作匹配度的范围。比如，动作匹配度在90％以上时，鼓励语显示为“Perfect”。

在一些实施例中，所述动作匹配提示信息还包括动作标准化提示信息，通过动作匹配度，即可衡量跟练动作与标准动作之间的偏差程度，比如当动作匹配度低于预设阈值时，说明用户的跟练动作不标准，则有必要提示用户改正动作。在第二窗口显示跟练图像的过程中，根据标准动作与每帧跟练图像中跟练动作之间在位置、肢体姿态等方面上的偏差，在跟练界面的第二窗口中显示动作标准化提示信息，方便用户知晓自身跟练动作的不足之处，并加以改正和调整，提升跟练动作的训练得分，直至达到动作的最高得分(即目标得分)。

需要说明的是，动作匹配提示信息不限于上述各实施例所述，只要是基于动作匹配度分析确定的信息内容都属于动作匹配提示信息的范畴，并可根据实际需要在跟练界面中进行显示。

在一些实施例中，由于目标得分是获取到的N帧跟练图像中训练得分的最大值，因此可以仅保留下目标得分对应的目标跟练图像，并删除其他N-1帧跟练图像，这样在终止获取跟练图像之后，跟练界面的第二窗口中就会仅展示出与标准动作匹配度最高的最佳跟练动作，并且在查看标准动作的跟练图像时显示保留的目标跟练图像。

在终止获取跟练图像之前，跟练界面的第二窗口中会按照采集时序，依次显示各帧跟练图像，并根据跟练动作与标准动作之间的偏差，显示动作标准化提示信息，使得用户的跟练动作逐渐被纠正，直至达到所述最佳跟练动作。然后达到终止条件之后，第二窗口仅保持显示最佳跟练动作/目标得分对应的目标跟练图像，直至下一个打点的关键帧到来，再 启动跟练图像获取、第二窗口的UI变换和上述评分、选分等流程。

在一些实施例中，当训练项目视频播放至终点，即在播放条进度移动至结尾时，当前的训练项目跟练结束，需要统计用户本次跟练的最终得分；或者，用户在跟练时间超过预设时长后，比如用户跟练2分钟后，退出训练项目视频，这种情况下也要结束本次跟练，并统计用户本次跟练的最终得分。

在一些实施例中，控制器250响应于训练项目视频播放至终点，由于用户的跟练过程遍历了视频中所有打点的标准动作，因此需要统计训练项目视频中所有关键帧对应的目标跟练图像的训练得分(即目标得分)，并累积加权得到最终得分，即将用户参照每个标准动作训练得到的目标得分累积相加，即为本次跟练的最终得分。

在一些实施例中，控制器250响应于在跟练时间超过预设时长后退出训练项目视频的操作，即用户仅跟练了超过预设时长的部分视频片段，而没有遍历到视频中的全部标准动作，因此需要统计当前已遍历过的关键帧的目标跟练图像的训练得分，并累积加权得到最终得分。比如，用户在观看3分钟后退出本次跟练，而这3分钟时段内，已遍历过的打点的关键帧为6个，即用户退出跟练时已完成6个标准动作的模拟训练，则将这6次练习的目标得分累积相加即为本次跟练的最终得分。

在一些实施例中，当统计出每次跟练的最终得分后，还可以同步输出训练报告，方便跟练用户了解本次训练的详情。控制器250控制显示器275显示如图17示出的训练报告界面，训练报告界面中向用户展示最终得分，以及跟练所消耗的能量、动作的准确率和训练时长等信息。训练报告界面中还可包括重练控件和切换控件，重练控件用于被触发时再一次重复当前结束的训练项目的跟练流程；切换控件用于被触发时，切换到训练项目列表中下一个训练项目视频，并启动对下一个训练项目视频的跟练模式的控制流程。

在一些实施例中，当显示训练报告界面时，用户可以点击遥控器上的“返回”按键，从而退出训练报告界面，并返回至如图12所示的训练项目列表界面，这时用户既可以继续从训练项目列表中选取想要跟练的视频，也可以选择不再继续训练，退出健身类应用程序。

当图像采集器不涉及断电、物理开关关闭、故障和被其他应用占用等外部因素时，由于跟练用户处于活动状态，可能存在跟练时退出人像采集区域/光圈之外的情况，导致图像采集器232采集的跟练图像中无法识别和检测到实际的人像，属于无效的跟练。

在一些实施例中，为了避免无效的跟练，控制器250控制显示器275暂停第一窗口中播放的训练项目视频，同时暂停训练时长、能量消耗、准确率、打点位置关键帧对应的目标得分、跟练过程中累积的最终得分等数据的统计，使得跟练模式处于暂停状态，以等待用户重新进行人像识别，同时，控制第二窗口显示提示信息，用于提示用户移动至人像采集区域/光圈内重新进行人像识别，此时UI如图18的显示。当用户人像识别成功后，以当前所处的暂停帧为起点，起播第一窗口中训练项目视频，并在原训练数据的基础上，继续统计训练时长、能量消耗、准确率、目标得分和最终得分等信息。

由以上各实施例的技术方案可知，本申请当训练项目视频每播放到一个关键帧时，每间隔预设周期获取一帧跟练图像，并将跟练图像与关键帧进行比对，给出每个跟练图像中 跟练动作的训练得分，在满足终止条件时，停止从视频码流中获取跟练图像，然后从获取到的多帧跟练图像中，筛选出训练得分最高的分数作为这一关键帧对应的目标得分，并基于目标得分计算动作匹配度。终止条件中，通过第二数量阈值或者训练得分的变化趋势/轨迹来约束跟练图像的获取，可以及时终止无效的跟练图像的获取和评分，从而降低控制器250消耗的处理资源，并提高跟练模式的评分效率和准确性。本申请通过采集一定数量/某一个时间段内的跟练图像，并获取其中最高得分作为对应于标准动作的目标得分，使得每次动作评分保持在最佳的匹配度，避免因用户反映延时和图像采集延时等因素导致的跟练动作评分低、匹配度差的问题，从而提升用户体验，有利于提升用户训练的自信心和积极性。

在一些实施例中，在得到一个跟练得分后，第二工具处理服务器可将该跟练得分发送给显示设备，使显示设备可显示该得分对应的评分提示，参见图14，一种评分提示可为“GOOD”，评分提示可叠加显示在用户图像上方。

在一些实施例中，在得到一个跟练得分后，第二工具处理服务器可根据目标媒资开始播放后累计的跟练得分计算出用户动作的准确率，并将准确率发送给显示设备，使显示设备可将准确率进行显示。

在一些实施例中，在目标媒资播放过程中，用户如果想停止跟练，可向显示设备输入结束播放视频的指令，显示设备可根据该指令结束播放目标媒资，并向第二工具处理服务器发送跟练结束的信息，第二工具处理服务器接收到该跟练结束的信息，根据所有跟练得分生成跟练记录，然后将跟练记录发送给显示设备，使显示设备可向用户展示该跟练记录。

在一些实施例中，在目标媒资播放结束后，显示设备可向第二工具处理服务器发送跟练结束的信息，第二工具处理服务器接收到该跟练结束的信息，根据所有跟练得分生成跟练记录，然后将跟练记录发送给显示设备，使显示设备可向用户展示该跟练记录。

参见图15，为一种示例性的跟练记录的界面示意图，如图15所示，跟练记录可显示训练评分、能量消耗、准确度和训练时长，示例性地，训练评分可为跟练评分的平均分，准确度可为相似度的平均分，训练时长为目标媒资的播放时长，能量消耗可根据一些预设的计算规则确定。

在一些实施例中，在跟练之前或跟练过程中，显示设备还可针对一些异常情况进行处理，例如，在显示设备的控制器接收不到摄像组件的信号后，显示设备可暂停播放目标媒资，并显示异常提示，参见图16，异常提示可包括：“未检测到摄像头”，该异常提示可显示在用户图像的窗口。

在一些实施例中，在跟练过程中，第二工具处理服务器还可针对一些异常情况进行处理，例如，第二工具处理服务器在用户图像中没有检测到骨骼关键点，则可向显示设备发送异常提示以及暂停播放指令，使显示设备可根据暂停播放指令暂停播放目标媒资，并显示该异常提示。参见图17，异常提示可包括：“摄像头前无人，暂停播放”，该异常提示可显示在用户图像的窗口。

在一些实施例中，第二工具处理服务器对异常情况的处理还包括：在跟练过程中，如果第二工具处理服务器在用户图像中检测到骨骼关键点的位置在一段时间内没有变化，则 可向显示设备发送异常提示以及暂停播放指令，使显示设备可根据暂停播放指令暂停播放目标媒资，并显示该异常提示。参见图18，异常提示可为两个箭头指向用户图像中的人物，该异常提示可显示在用户图像的窗口。

可见，在跟练过程中，可由第二工具处理服务器执行对用户动作进行评分的操作以及异常处理的操作，在这种操作方式中，显示设备不需要存储动作库、打点库、也不需要进行骨骼点检测、计算评分等复杂的数据处理，对显示设备的硬件水平要求较低，有利于显示设备地流畅运行。而在一些实施例中，当显示设备的硬件水平较高时，上述第二工具处理服务器执行的操作也可由显示设备完成，这种情况下，显示设备在评分之前需要下载好动作库或打点库，在评分时就不需要与第二工具处理服务器进行交互了，能够减少对网络资源的占用。

由上述实施例可见，本申请实施例通过预先对目标媒资进行打点，使得在进行评分时，可根据打点的视频帧对用户图像进行评分，解决了实时比较时用户做出动作时可能目标媒资已经播放到其他动作而导致用户动作评分偏低的问题，提升了跟练模式的评分准确性；并且通过比较多张用户图像与打点记录对应的视频帧得出多个评分，将最高的评分作为跟练得分，减少了跟练得分偏低的几率；进一步的，在对目标媒资进行打点时，通过间隔一定数量的视频帧进行打点，避免了由于打点过于密集而导致用户不能及时跟上每一个动作的情况，提升了用户体验。

为了方便解释，已经结合具体的实施方式进行了上述说明。但是，上述在一些实施例中讨论不是意图穷尽或者将实施方式限定到上述公开的具体形式。根据上述的教导，可以得到多种修改和变形。上述实施方式的选择和描述是为了更好的解释原理以及实际的应用，从而使得本领域技术人员更好的使用实施方式以及适于具体使用考虑的各种不同的变形的实施方式。

Claims (10)

1. 一种显示设备，包括：

   显示器；

   控制器，与所述显示器连接，所述控制器被配置为：

   接收用户输入的媒资播放指令；

   响应于所述媒资播放指令，获取所述媒资播放指令对应的目标视频；

   在对应所述目标视频的第一播放窗口上方未设置控件时，在所述第一播放窗口播放所述目标视频；

   在对应所述目标视频的第一播放窗口上方设置有所述控件时，在所述第一播放窗口中将所述目标视频的显示位置向远离所述控件的方向移动，以使所述目标视频的画面的中心位置靠近所述第一播放窗口中未被所述控件遮挡的目标显示区域的中心位置显示，其中，所述控件不透明，且遮挡所述第一播放窗口的一侧。
2. 根据权利要求1所述的显示设备，所述控件包括第二播放窗口，所述第二播放窗口包括所述控制器响应于所述媒资播放指令生成的窗口，所述第二播放窗口用于播放接收到的本地摄像头数据。
3. 根据权利要求1所述的显示设备，所述控制器还配置为：所述第一播放窗口中将所述目标视频的显示位置向远离所述控件的方向移动之前：

   确定所述目标视频在高度方向上完全展示在所述第一播放窗口时的所述目标视频的待展示宽度；

   根据所述待展示宽度和目标显示区域的宽度确定第一移动距离，所述第一移动距离为在所述第一播放窗口中，需要将所述目标视频的显示位置向远离所述控件的方向移动的距离。
4. 根据权利要求3所述的显示设备，所述控制器配置为通过下述确定所述目标视频在高度方向上完全展示在所述第一播放窗口时的所述目标视频的待展示宽度：

   根据所述目标视频的图像高度和所述目标显示区域的高度的比值得到缩放比例；

   根据所述目标视频的图像宽度和所述缩放比例得到所述目标视频的待展示宽度。
5. 根据权利要求3所述的显示设备，所述控制器还配置为通过下述根据所述待展示宽度和目标显示区域的宽度确定第一移动距离：

   将所述待展示宽度和所述目标显示区域的宽度的差值的一半作为第一移动距离。
6. 根据权利要求1所述的显示设备，所述目标显示区域是根据所述第一播放窗口的位置坐标和所述控件的位置坐标确定的。
7. 根据权利要求1所述的显示设备，所述控件的高度与所述第一播放窗口的高度相同。
8. 根据权利要求1所述的显示设备，所述控件的右侧边与所述第一播放窗口的右侧边重合。
9. 根据权利要求1所述的显示设备，所述控制器还配置为：响应于所述媒资播放指 令，获取所述媒资播放指令对应的目标视频之后，

   响应于所述媒资播放指令对应的播放模式为第一模式，加载第一播放页面，其中，所述第一播放页面中包括第一播放窗口，不包括第二播放窗口，所述第一播放窗口用于播放所述目标视频，所述控件包括所述第二播放窗口；

   响应于所述媒资播放指令对应的播放模式为第二模式，加载第二播放页面，其中，所述第一播放页面中包括第一播放窗口，以及位于所述第一播放窗口上方的第二播放窗口，所述第一播放窗口用于播放所述目标视频，所述第二播放窗口用于播放接收到的本地摄像头数据。
10. 一种媒资播放方法，包括：

    接收用户输入的媒资播放指令；

    响应于所述媒资播放指令，获取所述媒资播放指令对应的目标视频；

    在对应所述目标视频的第一播放窗口上方未设置控件时，在所述第一播放窗口播放所述目标视频；

    在对应所述目标视频的第一播放窗口上方设置有所述控件时，在所述第一播放窗口中将所述目标视频的显示位置向远离所述控件的方向移动，以使所述目标视频的画面的中心位置靠近所述第一播放窗口中未被所述控件遮挡的目标显示区域的中心位置显示，其中，所述控件不透明，且遮挡所述第一播放窗口的一侧。

Images