CN115278325A - 显示设备、移动终端及健身跟练方法 - Google Patents

Abstract

本申请公开了一种显示设备、移动终端及健身跟练方法，包括：显示器；控制器，控制器被配置为：响应于移动终端发送的建立连接请求，与移动终端通信连接；响应于移动终端发送的包含健身媒资参数的设备搜索指令，启动健身应用，使健身应用根据健身媒资参数于显示器的第一呈现窗口播放健身媒资；接收移动终端发送的根据用户跟练视频数据所获取的镜像数据；在保持显示第一呈现窗口的同时，控制显示器于第二呈现窗口播放镜像数据。本申请中，通过显示设备与移动设备之间的联动，在显示设备播放用户通过移动终端确定的健身媒资，并且利用移动终端采集用户跟练视频，将跟练视频上传至显示设备，显示设备同时展示出健身媒资及跟练视频，提高了用户体验。

Description

显示设备、移动终端及健身跟练方法

本申请要求于2021年09月15日提交中国专利局、申请号为202111081510.2、发明名称为“一种显示设备和显示控制方法”的中国专利申请的优先权，其全部内容通过引用结合在本申请中。

技术领域

本申请涉及显示技术领域，尤其涉及一种显示设备、移动终端及健身跟练方法。

背景技术

随着生活水平的提高，人们对自身身体的健康状况愈加关注。越来越多的用户将健身运动作为一种增强身体素质的有效手段。健身场所也不再局限于健身房等特定场所，而是通过观看健身媒资以同步跟练的方式构建沉浸式健身场景进行运动健身。

为满足用户多样化的需求，显示设备可安装健身、娱乐等多种应用程序，用户可以在显示设备中的健身应用或媒资平台中选择健身媒资进行播放，在观看的同时进行同步健身跟练。在进行健身跟练时，若显示设备没有安设摄像头，则用户的健身动作与健身媒资无法进行关联，使得用户体验效果不佳。

发明内容

本申请提供了一种显示设备、移动终端及健身跟练方法，以解决现有技术中由于显示设备不具备摄像头使得用户无法实现健身跟练的技术问题。

为了解决上述技术问题，本申请实施例公开了如下技术方案：

第一方面，本申请一些实施例公开了一种显示设备，所述显示设备包括：

显示器；

控制器，所述控制器被配置为：

响应于移动终端发送的建立连接请求，与所述移动终端通信连接，以使所述显示设备与所述移动终端进行数据交互；

响应于所述移动终端发送的包含健身媒资参数的设备搜索指令，启动健身应用，使健身应用根据所述健身媒资参数于所述显示器的第一呈现窗口播放健身媒资；

接收所述移动终端发送的镜像数据，其中，所述镜像数据为所述移动终端采集的用户的跟练视频数据；

在保持显示所述第一呈现窗口的同时，控制所述显示器于第二呈现窗口播放所述镜像数据。

第二方面，本申请一些实施例公开了一种移动终端，所述移动终端被配置为：

向显示设备发送建立连接请求，与所述显示设备通信连接，以使所述移动终端与所述显示设备进行数据交互；

响应于用户输入的联屏健身操作，向所述显示设备发送包含健身媒资参数的设备搜索指令，以使所述显示设备启动健身应用，并通过健身应用根据所述健身媒资参数获取健身媒资进行播放；

将所述摄像头所采集的镜像数据发送至所述显示设备，以使所述显示设备在保持播放所述健身媒资的同时，播放所述镜像数据。

第三方面，本申请一些实施例公开了一种健身跟练方法，所述方法包括：

响应于移动终端发送的建立连接请求，与所述移动终端通信连接，以使所述显示设备与所述移动终端进行数据交互；

响应于所述移动终端发送的包含健身媒资参数的设备搜索指令，启动健身应用，使健身应用根据所述健身媒资参数于所述显示器的第一呈现窗口播放健身媒资；

接收所述移动终端发送的镜像数据，其中，所述镜像数据为所述移动终端采集的用户的跟练视频数据；

在保持显示所述第一呈现窗口的同时，控制所述显示器于第二呈现窗口播放所述镜像数据。

与现有技术相比，本申请的有益效果为：

本申请提供了一种显示设备、移动终端及健身跟练方法，显示设备与移动终端建立通信连接，显示设备响应于移动终端发送的设备搜索指令，根据该指令中所携带的健身媒资参数从服务器中请求相对应的健身媒资。显示设备控制显示器于第一呈现窗口播放健身媒资。用户利用移动终端采集自身的跟练视频，得到镜像数据，并通过移动终端将镜像数据发送至显示设备。显示设备在接收到镜像数据后，控制显示器切换至分屏模式，即在通过第一呈现窗口播放健身媒资的同时，于第二呈现窗口播放用户的跟练视频。本申请中，通过显示设备与移动设备之间的联动，在显示设备播放用户通过移动终端确定的健身媒资，并且利用移动终端采集用户跟练视频，并将跟练视频上传至显示设备，显示设备同时展示出健身媒资及跟练视频，提高了用户体验。

应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本申请。

附图说明

为了更清楚地说明本申请的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，对于本领域普通技术人员而言，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1中示例性示出了根据一些实施例的显示设备与控制装置之间操作场景的示意图；

图2中示例性示出了根据一些实施例的控制装置100的硬件配置框图；

图3中示例性示出了根据一些实施例的显示设备200的硬件配置框图；

图4中示例性示出了根据一些实施例的显示设备200中软件配置示意图；

图5中示例性示出了根据一些实施例中显示器中的用户界面；

图6中示例性示出了根据一些实施例中应用列表的示意图；

图7中示例性示出了根据一种移动终端(例如图1的智能设备300)用户界面示意图；

图8中示例性示出了根据一些实施例中的媒体资源页面；

图9中示例性示出了根据一些实施例中的健身媒资详情页面；

图10中示例性示出了根据一些实施例中的搜索设备界面；

图11中示例性示出了根据一些实施例中移动终端搜索到可投屏的显示设备界面的示意图；

图12中示例性示出了根据一些实施例中显示设备接收投屏请求后用户界面的示意图；

图13中示例性示出了根据一些实施例中用户启动摄像头应用后用户界面的示意图；

图14中示例性示出了根据一些实施例中另一种显示设备用户界面示意图；

图15中示例性示出了根据一些实施例中另一种显示设备用户界面示意图；

图16中示例性示出了根据一些实施例中另一种显示设备用户界面示意图；

图17中示例性示出了根据一些实施例中一种显示设备包括动作提示信息的用户界面示意图；

图18中示例性示出了根据一些实施例中一种显示设备包括动作匹配信息的用户界面示意图；

图19中示例性示出了根据一些实施例中一种应用界面(第一呈现窗口控制界面)的用户界面示意图；

图20中示例性示出了根据一些实施例中另一种应用界面(第二呈现窗口控制界面)的用户界面示意图；

图21中示例性示出了根据一些实施例中另一种应用界面包括背景更换控件子浮层的用户界面示意图；

图22中示例性示出了根据一些实施例中另一种应用界面包括背景更换后的用户界面示意图；

图23中示例性示出了根据一些实施例中执行的显示控制方法的流程图；

图24中示例性示出了根据一些实施例中执行的另一种显示控制方法的流程图；

图25中示例性示出了根据一些实施例中的移动终端另一种健身媒资详情页面；

图26中示例性示出了根据一些实施例中的移动终端联屏健身显示效果示意图；

图27中示例性示出了根据一些实施例中的移动终端联屏健身缓冲显示效果示意图；

图28中示例性示出了根据一些实施例中的移动终端跟练视频预览显示效果示意图；

图29中示例性示出了根据一些实施例中的健身跟练方法的软件实现框架图；

图30中示例性示出了根据一些实施例中的健身跟练方法的流程图；

图31中示例性示出了根据一些实施例中的显示设备中展示健身媒资的显示效果示意图；

图32中示例性示出了根据一些实施例中的显示设备中同时展示健身媒资和跟练视频的显示效果示意图；

图33中示例性示出了根据一些实施例中的健身跟练方法的时序图。

具体实施方式

为使本申请的目的和实施方式更加清楚，下面将结合本申请示例性实施例中的附图，对本申请示例性实施方式进行清楚、完整地描述，显然，描述的示例性实施例仅是本申请一部分实施例，而不是全部的实施例。

需要说明的是，本申请中对于术语的简要说明，仅是为了方便理解接下来描述的实施方式，而不是意图限定本申请的实施方式。除非另有说明，这些术语应当按照其普通和通常的含义理解。

本申请中说明书和权利要求书及上述附图中的术语“第一”、“第二”、“第三”等是用于区别类似或同类的对象或实体，而不必然意味着限定特定的顺序或先后次序，除非另外注明。应该理解这样使用的用语在适当情况下可以互换。

术语“包括”和“具有”以及他们的任何变形，意图在于覆盖但不排他的包含，例如，包含了一系列组件的产品或设备不必限于清楚地列出的所有组件，而是可包括没有清楚地列出的或对于这些产品或设备固有的其它组件。

术语“模块”是指任何已知或后来开发的硬件、软件、固件、人工智能、模糊逻辑或硬件或/和软件代码的组合，能够执行与该元件相关的功能。

图1为根据实施例中显示设备与控制装置之间操作场景的示意图。如图1所示，用户可通过智能设备300或控制装置100操作显示设备200。

在一些实施例中，控制装置100可以是遥控器，遥控器和显示设备的通信包括红外协议通信或蓝牙协议通信，及其他短距离通信方式，通过无线或有线方式来控制显示设备200。用户可以通过遥控器上按键、语音输入、控制面板输入等输入用户指令，来控制显示设备200。

在一些实施例中，也可以使用智能设备300(如移动终端、平板电脑、计算机、笔记本电脑等)以控制显示设备200。例如，使用在智能设备上运行的应用程序控制显示设备200。

在一些实施例中，显示设备200还可以采用除了控制装置100和智能设备300之外的方式进行控制，例如，可以通过显示设备200设备内部配置的获取语音指令的模块直接接收用户的语音指令控制，也可以通过显示设备200设备外部设置的语音控制设备来接收用户的语音指令控制。

在一些实施例中，显示设备200还与服务器400进行数据通信。可允许显示设备200通过局域网(LAN)、无线局域网(WLAN)和其他网络进行通信连接。服务器400可以向显示设备200提供各种内容和互动。服务器400可以是一个集群，也可以是多个集群，可以包括一类或多类服务器。

图2示例性示出了根据示例性实施例中控制装置100的配置框图。如图2所示，控制装置100包括控制器110、通信接口130、用户输入/输出接口140、存储器、供电电源。控制装置100可接收用户的输入操作指令，且将操作指令转换为显示设备200可识别和响应的指令，起用用户与显示设备200之间交互中介作用。

图3示出了根据示例性实施例中显示设备200的硬件配置框图。

在一些实施例中，显示设备200包括调谐解调器210、通信器220、检测器230、外部装置接口240、控制器250、显示器260、音频输出接口270、存储器、供电电源、用户接口中的至少一种。

在一些实施例中控制器包括处理器，视频处理器，音频处理器，图形处理器，RAM，ROM，用于输入/输出的第一接口至第n接口。

在一些实施例中，显示器260包括用于呈现画面的显示屏组件，以及驱动图像显示的驱动组件，用于接收源自控制器输出的图像信号，进行显示视频内容、图像内容以及菜单操控界面的组件以及用户操控UI界面。

在一些实施例中，显示器260可为液晶显示器、OLED显示器、以及投影显示器，还可以为一种投影装置和投影屏幕。

在一些实施例中，通信器220是用于根据各种通信协议类型与外部设备或服务器进行通信的组件。例如：通信器可以包括Wifi模块，蓝牙模块，有线以太网模块等其他网络通信协议芯片或近场通信协议芯片，以及红外接收器中的至少一种。显示设备200可以通过通信器220与外部控制设备100或服务器400建立控制信号和数据信号的发送和接收。

在一些实施例中，用户接口，可用于接收控制装置100(如：红外遥控器等)的控制信号。

在一些实施例中，检测器230用于采集外部环境或与外部交互的信号。例如，检测器230包括光接收器，用于采集环境光线强度的传感器；或者，检测器230包括图像采集器，如摄像头，可以用于采集外部环境场景、用户的属性或用户交互手势，这里，用户的属性包括性别，年龄阶段等，再或者，检测器230包括声音采集器，如麦克风等，用于接收外部声音。

在一些实施例中，外部装置接口240可以包括但不限于如下：高清多媒体接口接口(HDMI)、模拟或数据高清分量输入接口(分量)、复合视频输入接口(CVBS)、USB输入接口(USB)、RGB端口等任一个或多个接口。也可以是上述多个接口形成的复合性的输入/输出接口。

在一些实施例中，调谐解调器210通过有线或无线接收方式接收广播电视信号，以及从多个无线或有线广播电视信号中解调出音视频信号，如以及EPG数据信号。

在一些实施例中，控制器250和调谐解调器210可以位于不同的分体设备中，即调谐解调器210也可在控制器250所在的主体设备的外置设备中，如外置机顶盒等。

在一些实施例中，控制器250，通过存储在存储器上中各种软件控制程序，来控制显示设备的工作和响应用户的操作。控制器250控制显示设备200的整体操作。例如：响应于接收到用于选择在显示器260上显示UI对象的用户命令，控制器250便可以执行与由用户命令选择的对象有关的操作。

在一些实施例中，所述对象可以是可选对象中的任何一个，例如超链接、图标或其他可操作的控件。与所选择的对象有关操作有：显示连接到超链接页面、文档、图像等操作，或者执行与所述图标相对应程序的操作。

在一些实施例中控制器包括中央处理器(Central Processing Unit，CPU)，视频处理器，音频处理器，图形处理器(Graphics Processing Unit，GPU)，RAM Random AccessMemory，RAM)，ROM(Read-Only Memory,ROM)，用于输入/输出的第一接口至第n接口，通信总线(Bus)等中的至少一种。

CPU处理器，用于执行存储在存储器中操作系统和应用程序指令，以及根据接收外部输入的各种交互指令，来执行各种应用程序、数据和内容，以便最终显示和播放各种音视频内容。CPU处理器，可以包括多个处理器。如，包括一个主处理器以及一个或多个子处理器。

在一些实施例中，图形处理器，用于产生各种图形对象，如：图标、操作菜单、以及用户输入指令显示图形等。图形处理器包括运算器，通过接收用户输入各种交互指令进行运算，根据显示属性显示各种对象；还包括渲染器，对基于运算器得到的各种对象，进行渲染，上述渲染后的对象用于显示在显示器上。

在一些实施例中，视频处理器，用于将接收外部视频信号，根据输入信号的标准编解码协议，进行解压缩、解码、缩放、降噪、帧率转换、分辨率转换、图像合成等视频处理，可得到直接可显示设备200上显示或播放的信号。

在一些实施例中，视频处理器，包括解复用模块、视频解码模块、图像合成模块、帧率转换模块、显示格式化模块等。其中，解复用模块，用于对输入音视频数据流进行解复用处理。视频解码模块，用于对解复用后的视频信号进行处理，包括解码和缩放处理等。图像合成模块，如图像合成器，其用于将图形生成器根据用户输入或自身生成的GUI信号，与缩放处理后视频图像进行叠加混合处理，以生成可供显示的图像信号。帧率转换模块，用于对转换输入视频帧率。显示格式化模块，用于将接收帧率转换后视频输出信号，改变信号以符合显示格式的信号，如输出RGB数据信号。

在一些实施例中，音频处理器，用于接收外部的音频信号，根据输入信号的标准编解码协议，进行解压缩和解码，以及降噪、数模转换、和放大处理等处理，得到可以在扬声器中播放的声音信号。

在一些实施例中，用户可在显示器260上显示的图形用户界面(GUI)输入用户命令，则用户输入接口通过图形用户界面(GUI)接收用户输入命令。或者，用户可通过输入特定的声音或手势进行输入用户命令，则用户输入接口通过传感器识别出声音或手势，来接收用户输入命令。

在一些实施例中，“用户界面”，是应用程序或操作系统与用户之间进行交互和信息交换的介质接口，它实现信息的内部形式与用户可以接受形式之间的转换。用户界面常用的表现形式是图形用户界面(Graphic User Interface，GUI)，是指采用图形方式显示的与计算机操作相关的用户界面。它可以是在电子设备的显示屏中显示的一个图标、窗口、控件等界面元素，其中控件可以包括图标、按钮、菜单、选项卡、文本框、对话框、状态栏、导航栏、Widget等可视的界面元素。

在一些实施例中，显示设备的系统可以包括内核(Kernel)、命令解析器(shell)、文件系统和应用程序。内核、shell和文件系统一起组成了基本的操作系统结构，它们让用户可以管理文件、运行程序并使用系统。上电后，内核启动，激活内核空间，抽象硬件、初始化硬件参数等，运行并维护虚拟内存、调度器、信号及进程间通信(IPC)。内核启动后，再加载Shell和用户应用程序。应用程序在启动后被编译成机器码，形成一个进程。

参见图4，在一些实施例中，将系统分为四层，从上至下分别为应用程序(Applications)层(简称“应用层”)，应用程序框架(Application Framework)层(简称“框架层”)，安卓运行时(Android runtime)和系统库层(简称“系统运行库层”)，以及内核层。

在一些实施例中，应用程序层中运行有至少一个应用程序，这些应用程序可以是操作系统自带的窗口(Window)程序、系统设置程序或时钟程序等；也可以是第三方开发者所开发的应用程序。在具体实施时，应用程序层中的应用程序包不限于以上举例。

框架层为应用程序提供应用编程接口(application programming interface，API)和编程框架。应用程序框架层包括一些预先定义的函数。应用程序框架层相当于一个处理中心，这个中心决定让应用层中的应用程序做出动作。应用程序通过API接口，可在执行中访问系统中的资源和取得系统的服务。

如图4所示，本申请实施例中应用程序框架层包括管理器(Managers)，内容提供者(Content Provider)等，其中管理器包括以下模块中的至少一个：活动管理器(ActivityManager)用与和系统中正在运行的所有活动进行交互；位置管理器(Location Manager)用于给系统服务或应用提供了系统位置服务的访问；文件包管理器(Package Manager)用于检索当前安装在设备上的应用程序包相关的各种信息；通知管理器(NotificationManager)用于控制通知消息的显示和清除；窗口管理器(Window Manager)用于管理用户界面上的括图标、窗口、工具栏、壁纸和桌面部件。

在一些实施例中，活动管理器用于管理各个应用程序的生命周期以及通常的导航回退功能，比如控制应用程序的退出、打开、后退等。窗口管理器用于管理所有的窗口程序，比如获取显示屏大小，判断是否有状态栏，锁定屏幕，截取屏幕，控制显示窗口变化(例如将显示窗口缩小显示、抖动显示、扭曲变形显示等)等。

在一些实施例中，系统运行库层为上层即框架层提供支撑，当框架层被使用时，安卓操作系统会运行系统运行库层中包含的C/C++库以实现框架层要实现的功能。

在一些实施例中，内核层是硬件和软件之间的层。如图4所示，内核层至少包含以下驱动中的至少一种：音频驱动、显示驱动、蓝牙驱动、摄像头驱动、WIFI驱动、USB驱动、HDMI驱动、传感器驱动(如指纹传感器，温度传感器，压力传感器等)、以及电源驱动等。

在一些实施例中的硬件或软件架构可以基于上述实施例中的介绍，在一些实施例中可以是基于相近的其他硬件或软件架构，可以实现本申请的技术方案即可。

下面介绍一下在显示设备具备摄像头时，通过显示设备与移动终端的联动实现用户健身跟练的技术方案。

在一些实施例中，显示设备中可以安装有多个应用。图5示出了一些实施例中显示器中的用户界面。用户可以点击用户界面中的“我的应用”，触发显示应用列表。应用列表中包括显示设备已安装的所有应用。

图6示出了一些实施例中应用列表的示意图。如图6所示，显示设备安装有摄像头应用，播放器应用，视频聊天应用，照片应用，网络购物应用和游戏应用。当显示器中显示应用列表时，用户可以选择其中一个应用并进行打开，以实现该应用的功能。需要说明的是，其中，安装的上述应用可以是系统应用，也可以是第三方应用。

在一些实施例中，通常，移动终端通过向服务器发送数据请求，以从服务器获取对应的数据。例如，向服务器获取健身媒资信息请求，以从服务器获取健身媒资信息，这里的健身媒资信息至少包括媒资标识，例如，还可以包括媒资名称。基于投屏功能，用户可以在移动终端(如手机)的媒资平台上选择健身媒资，通过投屏操作将选择的健身媒资投放至电视或者其他显示设备中，电视或者其他显示设备响应于移动终端发送的投屏请求，启动播放器或播放应用进行健身媒资播放。

在一些具体实施中，图7是本申请根据一些实施例示出的一种移动终端(例如图1的智能设备300)用户界面示意图。用户通过触摸用户界面上的应用图标可以打开相应的应用程序，或者通过触摸用户界面上的文件夹图标可以打开相应的文件夹。示例性的，移动终端接收用户输入的对媒资控件的选中操作，显示媒体资源页面。图8示出了根据一些实施例中的媒体资源页面，其具体可以为用户通过点击图7中的第一应用图标而输入对媒资控件的选中操作后，进入的页面。如图8所示，媒体资源页面包括导航栏800和位于导航栏下方的内容显示区810，内容显示区810包括多个媒体资源控件，如“HIT健身A”、“HIT健身B”等。其中，内容显示区810中显示的内容会随导航栏800中被选中控件的变化而变化。在显示媒体资源页面时，用户可以通过点击任意一个媒体资源控件，以输入针对任意媒体资源的媒资详情页面显示指令，来触发进入对应的媒资详情页面。示例性的，当用户点击图8中的“HIT健身A”后，将进入“HIT健身A”的媒资详情页面。

图9为一种示例性的健身媒资详情页面，其具体为用户在媒资平台中选择并点击“HIT健身A”后显示的“HIT健身A”对应的健身媒资详情页面。如图9所示，健身媒资详情页界面包括投屏控件900。用户可以在移动终端上通过点击该投屏控件900输入投屏操作后，移动终端将向显示设备发送投屏请求，以请求将健身媒资“HIT健身A”投屏至显示设备上进行播放。

具体的，移动终端会在局域网内搜索可作为投屏对象的目标显示设备，这时可显示如图10所示搜索设备界面，搜索设备界面中会提示用户正在查找设备，搜索设备界面还可设置取消控件，用户点击图10中的“取消”则可以停止查找设备，此次发起的投屏失效。可作为投屏对象的目标显示设备，首先是与通信终端处于同一个局域网的网络环境中的显示设备，其次是支持投屏功能的显示设备，再则是安装有播放器应用的显示设备。当满足这些条件时，显示设备可以作为目标显示设备而被移动终端搜索到，并进行汇总形成设备列表，设备列表包括可作为投屏对象的全部目标显示设备的设备ID。

在一些实施例中，在用户点击投屏控件后，移动终端搜索可投屏的目标显示设备时，可能出现一些异常情况：例如在阈值时间(比如20秒)内未搜索到可投屏的目标显示设备，即打开设备列表超时，此时需提示用户未找到可投屏设备，界面中可以设置重试控件和取消控件，用户点击重试控件，则再一次启动查找设备，用户点击界面中的取消控件，则取消重试，此次发起的投屏失效；具体以实际情况为准。

在一些实施例中，以通过Wi-Fi搜索举例，发起投屏的移动终端和作为被投射对象的目标显示设备需要连接同一个Wi-Fi，比如Wi-Fi为TENDA_2323。移动终端可以搜索到与其处于同一个Wi-Fi网络环境下的目标显示设备，并将搜索到的可建立投屏连接的目标显示设备在界面中列举出来，当搜索设备时不存在异常情况，即能够在局域网内搜索到可投屏设备时，可以在通信终端的界面上显示设备列表。如图11所示，设备列表的界面顶部可以显示如“选择要投屏的设备”的提示信息，以引导用户操作，图11中搜索到两个可投屏的显示设备，设备ID分别为HX-1和HX-2，用户根据实际需求点选其中一个作为投射对象，比如用户点选HX-1，则目标显示设备HX-1即成为被投射的目标显示设备。设备列表底部可以设置取消控件，当用户点击“取消”时，则未选择目标显示设备，取消投屏。

图12示出的一种显示设备用户界面示意图，其具体为显示设备接收移动终端在用户触发对健身媒资的投屏操作时发送投屏请求后的界面示意图。当用户在移动终端将健身媒资“HIT健身A”投屏至显示设备后，显示设备控制显示器在整个用户界面中显示健身媒资“HIT健身A”。在具体实现时，响应于移动终端在用户触发对健身媒资的投屏操作时发送的投屏请求，从服务器获取与健身媒资对应的健身视频数据，并控制显示器显示第一呈现窗口，第一呈现窗口用于显示健身视频数据。

在一些实施例中，当控制器接收到输入的投屏请求并指示启动第一呈现窗口的指令时，控制器响应于该指令，在显示器上显示出第一呈现窗口。其中，第一呈现窗口作为视频层的窗口控件，用于在用户界面中显示健身视频供用户观看。用户界面作为用户层的显示界面，用户界面中显示有呈现窗口、图标、控件等多种界面元素，包括但不限于用于播放媒资的窗口控件等。在本实施例中，健身媒资可以在第一呈现窗口中自动起播，也可以响应于用户输入的播放指令而播放。

图13示出了一些实施例中用户启动摄像头应用后用户界面的示意图。如图13所示，在显示设备接收到输入的投屏请求并显示第一呈现窗口后，用户点击启用摄像头应用时，启动摄像头，在显示器中显示第二呈现窗口，以显示摄像头采集的本地画面。在具体实现时，控制器响应于用户打开摄像头应用，启动摄像头以通过摄像头采集本地视频数据；在保持显示第一呈现窗口的同时，控制显示器显示第二呈现窗口，以及，在第二呈现窗口中显示所述本地视频数据。需要说明的是，用户可以通过菜单选项启动显示设备中的摄像头应用，其中，菜单选项并不局限于显示设备系统自带的菜单选项，还可以利用语音控制功能、触屏功能或者遥控器点击选择启动摄像头应用的控件。或者显示设备根据预设条件如显示第一呈现窗口后自动启动摄像头应用。参见图13，第一呈现窗口131和第二呈现窗口132均显示在显示设备中的用户界面，用户可以根据第一呈现窗口播放的健身媒资进行同步跟练，同时还可以在第二呈现窗口采集的本地画面直接观看到自己的跟练动作。从而构建出“边看边练”的场景，也就是用户(如成年人)可以边观看健身教学视频边练习健身动作。

具体实现时，显示设备响应于移动终端在用户触发对健身媒资的投屏操作时发送的投屏请求，从服务器获取与健身媒资对应的健身视频数据，并控制显示器显示第一呈现窗口，第一呈现窗口用于显示健身视频数据；响应于用户打开摄像头应用，启动摄像头以通过摄像头采集本地视频数据；在保持显示第一呈现窗口的同时，控制显示器显示第二呈现窗口，以及，在第二呈现窗口中显示所述本地视频数据。

需要说明的是，显示器显示的用户界面包括多个局部区域，可以指定某个局部区域，显示指定的呈现窗口。如每个应用启动后对应的呈现窗口即显示在指定区域中。图14为本申请根据一些实施例示出的另一种显示设备用户界面示意图。如图14所示，用户界面包括区域141和区域142，其中，不同区域可以呈现不同层级的显示画面。如，区域141可呈现视频播放画面、媒资直播画面或者应用程序画面等。区域142可呈现本地摄像头预览画面。

不同层级的画面的显示优先级不同。如，系统层的优先级高于应用层的优先级，当用户在应用层使用选择器和画面切换时，不遮挡系统层指定区域的画面展示；以及，根据用户的选择使应用层的显示区域的大小和位置发生变化时，系统层的显示区域的大小和位置不受影响。也可以呈现相同层级的显示画面，当多个区域域均呈现应用层的显示画面时，可以根据用户选择具体应用时的前后顺序进行依次画面展示。例如，当用户第一个启动播放器应用播放媒资时或通过移动终端将媒资进行投屏至显示设备时，在区域141显示第一呈现窗口，第一呈现窗口播放出媒资的播放画面。当用户第二个启动摄像头应用时，在区域142显示第二呈现窗口，第二呈现窗口播放摄像头采集的本地视频画面。

为便于说明，可以将指定显示第一呈现窗口的区域称为第一指定区域，将指定显示第二呈现窗口的区域称为第二指定区域。

具体实现时，响应于移动终端在用户触发对健身媒资的投屏操作时发送的投屏请求，从服务器获取与健身媒资对应的健身视频数据；健身视频数据包括健身媒资的图像尺寸参数，根据图像尺寸参数和预设比例调整第一呈现窗口的尺寸，并将确定尺寸的第一呈现窗口显示到用户界面的第一指定区域中。

在一些实施例中，第二指定区域是用户界面中除第一指定区域之外的区域，第一指定区域和第二指定区域呈行或列平铺在用户界面中。第一指定区域和第二指定区域组成完整的用户界面。

在一些实施例中，第一呈现窗口与第二呈现窗口在显示器的用户界面中平铺显示，平铺显示是指多个窗口之间不叠放。第一呈现窗口与第二呈现窗口播放的画面可根据实际情况自行设置，第一呈现窗口与第二呈现窗口具有不同的窗口尺寸。在一些实施例中，第一呈现窗口与第二呈现窗口均显示到用户界面的第一指定区域和第二指定区域中，第一指定区域和第二指定区域均平铺显示在屏幕中，且以一定的比例分割整个显示设备的屏幕。进一步地，控制器可以在第一指定区域和第二指定区域之间做切换，以及当第一指定区域的大小和位置发生变化时，第二指定区域的大小和位置可随即发生改变。

示例性的，用户可以在移动终端上通过点击投屏控件输入投屏操作后，移动终端将向显示设备发送投屏请求，以请求将“HIT健身A”同步到显示设备上进行播放。示例性的，从服务器获取与“HIT健身A”对应的健身视频数据，其中，健身视频数据中包括“HIT健身A”的图像尺寸参数，如图像宽度、高度以及宽高比。为了能够在投屏时，将“HIT健身A”的视频数据完整地铺满投屏显示设备的投屏显示区域。根据显示设备的屏幕尺寸将健身视频数据中的图像尺寸参数按照预设比例进行扩大或缩放处理，以得到与显示设备屏幕相匹配的图像尺寸参数。根据与显示设备屏幕相匹配的图像尺寸参数确定第一呈现窗口的尺寸大小，并将第一呈现窗口显示到用户界面的第一指定区域中。例如，按照预设比例4：3、16：9以及16：10等比例。具体实施时，并不限于上述预设比例也可以为根据预置的其他比例，以具体情况灵活地进行设置。

在一些实施例中，第一呈现窗口与第二呈现窗口在显示器的用户界面中并不局限于上述的平铺显示，还可以进行层级显示，层级显示是指多个窗口之间叠放。每个呈现窗口对应一个窗口级别属性，窗口级别属性为窗口显示在显示界面中的显示层级属性。窗口级别属性与窗口在显示界面的显示位置层级一一对应，可以设置窗口层级属性的级数越高的显示在窗口越前面，即窗口层级属性的级数高的。也可以设置窗口层级属性的级数越低的显示在窗口越前面，即窗口层级属性的级数低的。示例性的，以显示窗口时间的先后决定对应的层级属性级数高低，级数越高显示在窗口越前面。当第一呈现窗口和第二呈现窗口依次进行显示时，第一呈现窗口的层级属性高于第二呈现窗口的层级属性。即第一呈现窗口显示在第二呈现窗口的前面。用户可以对第一呈现窗口或第二呈现窗口进行对应的移动或拉伸操作，在移动或拉伸的过程中窗口的显示位置层级不改变，同时，其他窗口的显示位置层级也不改变。用户还可以对第一呈现窗口或第二呈现窗口进行切换，当用户想对第二呈现窗口进行操作时，该窗口会切换至最顶层，以满足用户的多样化需求。

图15为本申请根据一些实施例示出的另一种显示设备用户界面示意图。该用户界面中示出了第一呈现窗口和第二呈现窗口的另一种实施情形，如图15所示，第一呈现窗口151中显示本地视频的画面，第二呈现窗口152中显示健身媒资画面。用户启动显示设备中的摄像头应用，显示设备启动摄像头采集本地视频数据，控制显示器显示第一呈现窗口，并在第一呈现窗口播放本地视频数据。接着，当显示设备接收到用户触发对健身媒资的投屏操作时发送的投屏请求后，从服务器获取与健身媒资对应的健身视频数据，在保持显示第一呈现窗口的同时，显示出第二呈现窗口，在第二呈现窗口中播放健身视频数据。

具体实现时，显示设备响应于用户打开摄像头应用，启动摄像头以通过摄像头采集本地视频数据，并控制显示器显示第一呈现窗口，第一呈现窗口用于显示本地视频数据；响应于移动终端在用户触发对健身媒资的投屏操作时发送的投屏请求，从服务器获取与健身媒资对应的健身视频数据；在保持显示第一呈现窗口的同时，控制显示器显示第二呈现窗口，以及，在第二呈现窗口中显示健身视频数据。

在一些实施例中，用户可以在第一呈现窗口和第二呈现窗口对应的屏幕指定显示区域中任意移动焦点进行窗口切换，以对第一呈现窗口和第二呈现窗口进行任意切换。例如，控制显示器在保持显示第一呈现窗口时，显示第二呈现窗口。当用户通过将焦点移动至第一呈现窗口对应的第一指定区域中，并选择第一呈现窗口如点击第一呈现窗口后，第一呈现窗口进行整个屏幕显示，第二呈现窗口关闭。再如，控制显示器在保持显示第一呈现窗口时，显示第二呈现窗口。当用户通过将焦点移动至第二呈现窗口对应的第二指定区域中，并选择第二呈现窗口后，第二呈现窗口进行整个屏幕显示，第一呈现窗口关闭。用户可以根据自身的需求对播放窗口进行选择以实现第一呈现窗口和第二呈现窗口的相互切换。

在一些实施例中，图16为本申请根据一些实施例示出的一种显示设备用户界面示意图，用户界面中显示第一呈现窗口161和第二呈现窗口162，第一呈现窗口161播放健身视频数据，其中，健身视频数据包括健身直播。第二呈现窗口162播放本地视频数据。参见图16，第一呈现窗口中播放与健身视频数据对应的健身直播页面，可以根据当前的直播进程，在直播页面中显示状态信息对应的状态控件163，比如当直播进程处于开播时间之后并且播放结束时间之前，则显示用于提示直播间正在直播的第一状态信息，第一状态信息比如是“直播中”；当直播进程达到播放结束时间及其之后，则在直播页面中显示用于提示直播间已结束直播的第二状态信息，第二状态信息比如是“直播已结束”；当直播进程处于开播时间之前，则在预设视频数据的播放界面显示用于提示直播间等待开播的第三状态信息，第三状态信息比如是“直播尚未开始，请您耐心等待”。直播界面中还包括直播内容显示区164和互动区165，直播内容显示区164用于显示正在直播的健身画面供用户观看。互动区165中动态显示进入直播间的用户的互动聊天信息，互动区中165还可设置信息输入控件，使用户通过信息输入控件来输入与直播的互动聊天信息。

具体实现时，响应于移动终端在用户触发对健身媒资的投屏操作时发送的投屏请求，从服务器获取与健身媒资对应的健身视频数据，其中健身视频数据包括健身直播。并控制显示器显示第一呈现窗口，第一呈现窗口播放健身视频数据。响应于用户打开摄像头应用，启动摄像头以通过摄像头采集本地视频数据，在保持显示所述第一呈现窗口的同时，控制显示器显示第二呈现窗口，以及，在第二呈现窗口中播放本地视频数据。在实际应用场景中，显示设备可以根据健身直播视频对应的直播间ID，访问服务器来获取健身视频数据，从而在本端的第一呈现窗口中显示健身视频数据。由此，利用显示设备端的大屏优势以及移动终端端的丰富资源，用户可以方便快捷地选择健身媒资如健身视频和健身直播等，并在健身媒资播放时同步进行跟练，提高了用户观看和跟练的体验感。

在一些实施例中，针对健身视频数据中的图像，提取图像中的动作关键点信息，动作关键点信息包括图像中运动目标的动作关键点在第一预设平面中的坐标，第一预设平面是以图像为基准的平面；根据动作关键点在第一预设平面中的坐标得到动作关键点在第二预设平面中的坐标，第二预设平面是以第二指定区域为基准的平面；根据动作关键点在第二预设平面中的坐标生成动作提示信息，将动作提示信息显示在第二呈现窗口中，也就是显示摄像头采集的本地视频数据的呈现窗口中，以用于提示用户每个动作关键点的位置。

示例性的，健身视频数据中包括若干个健身图像，每个健身图像中均对应有具体的健身动作。根据图像中健身动作进行动作关键点信息提取，动作关键点也就是目标主体(健身图像中人体)的动作的骨骼关键点。动作关键点信息包括多个动作关键点在第一预设平面中的坐标，第一预设平面是以图像本身为基准的。接着，需要将图像中的动作关键点信息映射至第二指定区域中，以使第二指定区域中的第二呈现窗口中显示健身图像中每个动作关键点的位置。根据动作关键点在第一预设平面中的坐标得到动作关键点在第二预设平面中的坐标，第二预设平面是以第二指定区域为基准的平面。图17为本申请根据一些实施例示出的一种显示设备包括动作提示信息的用户界面示意图。参见图17，根据显示在第二指定区域中的多个动作关键点，将每个相邻动作关键点进行一一连线生成动作提示信息171，并将动作提示信息和多个动作关键点显示在第二呈现窗口中。这样，用户可以直接观看到自己的跟练动作，并直观地比较出与健身图像中动作的不足之处，从而及时改善。需要说明的是，由于第一呈现窗口与第二呈现窗口的尺寸不同，或者说，本地视频画面与健身视频画面的尺寸不同。因此，在一些实施例中，在将健身视频图像中的动作关键点映射到本地视频图像上之前，还可以对健身视频图像进行缩/放处理，以保证健身视频图像与本地视频图像中的运动目标具有相同的尺寸和/或宽高比例。具体的，可以将动作关键点在前述第一预设平面中的坐标进行进行缩/放处理，缩/放处理后，各个动作关键点之间的相对位置不变，仅仅是在第一预设平面中的绝对位置发生改变。例如，对于动作关键点A(X1，Y1)和动作关键点B(X2，Y2)，同时对二者放大二倍后，动作关键点A的坐标变为(2X1，2Y1)，动作关键点B的坐标变为(2X2，2Y2)。在进行前述缩/放处理后，根据各个动作关键点缩放后的坐标，将各个动作关键点映射到第二预设平面中，以在第二呈现窗口中显示出动作提示信息。

其中，目标主体(人体)即为本地用户，在不同情景中，在本地视频画面中的目标主体即运动目标可以是一个，也可以是多个。当目标主体为多个用户时，有关动作提示信息和多个动作关键点显示的具体实现则参照上述说明。

在一些实施例中，从本地视频数据中识别运动目标的目标轮廓，目标轮廓包括目标动作参考点；根据目标动作参考点与动作关键点生成动作匹配信息，将动作匹配信息显示在第二呈现窗口中，以提示用户在跟练动作时与健身媒资的匹配程度。

示例性的，通过摄像头采集本地视频数据，在本地视频数据中识别出运动目标(人体)的目标轮廓，目标轮廓包括躯干部分对应的目标动作参考点，其中，目标动作参考点也就是目标主体(本地图像中人体)的动作的骨骼关键点。获取目标动作参考点在第二预设平面中的坐标，将目标动作参考点在第二预设平面中的坐标与动作关键点在第二预设平面中的坐标进行对比生成动作匹配信息。参见图18，在第二呈现窗口中显示动作匹配信息181，动作匹配信息的显示方式可以由数字展示。以满分100为基准，使用“100”、“50”和“20”等表示其匹配程度。需要说明的是，动作匹配信息可以采用图片、声音、数字或者文字中的一种或者多种组合的方式显示。例如，若目标动作参考点与动作关键点匹配，则说明用户的动作是标准的，此时可以通过声音或者文字的方式显示匹配结果。若目标动作参考点与动作关键点不匹配，则说明用户的跟练动作是不标准的，此时可以通过图片与声音组合的方式，或者图片与文字组合的方式显示匹配结果，使得用户可以根据匹配结果调整自己的跟练动作，从而提高用户跟练动作的标准度。

图19示例性示出了一种应用界面(第一呈现窗口控制界面)，在该应用界面中，在第一呈现窗口所在图层的上方显示有控件浮层，该控制浮层包括播放/暂停控件、倍速播放控件、回放控件和清晰度控件。在如图19所示界面中，用户可以通过移动焦点位置输入对上述功能控件的操作，对第一呈现窗口中播放的健身媒资进行控制。用于在健身媒资播放过程中，实现对健身媒资进行播放、暂停、快进退、回放和调整清晰度等功能。用户并不只局限于在移动终端进行健身媒资控制，还可以在进行同步跟练时使用显示设备灵活地对播放的健身媒资控制，提高用户的使用体验。

在一些实施例中，当显示器显示如图19界面时，用户可以移动焦点选择播放/暂停控件，响应于焦点落入到播放/暂停控件，控制第一呈现窗口中播放的健身媒资呈现播放状态或暂停状态。

在一些实施例中，当显示器显示如图19界面时，若健身媒资已播放结束或用户想从健身媒资的任意一个播放位置进行开始播放时，用户可以移动焦点选择回放控件，响应于焦点落入到播回放控件，呈现回放控件对应的子浮层。在回放控件对应的子浮层中显示进度条控件，用于调整健身媒资的播放进度，当在进度条控件的任意位置被操作时，响应于用户操作，将播放进步调整成被操作控件对应的进度。例如显示有“2分钟处”、“3分钟处”和“4分钟处”等时间进度。

在一些实施例中，当显示器显示如图19界面时，用户可以移动焦点选择倍速播放控件，响应于焦点落入到倍速播放控件，呈现倍速播放控件对应的子浮层。在倍速播放控件对应的子浮层中显示多个子控件，用于调整健身媒资的播放速度，当某一子控件被操作时，响应于用户操作，将播放速度调整成被操作控件对应的速度。例如显示有“0.5倍”、“0.75倍”和“1倍”。

在一些实施例中，当显示器显示如图19所示界面时，用户可以移动焦点选择清晰度控件，响应于焦点落入到清晰度控件，呈现清晰度控件对应的子浮层。在清晰度对应的子浮层中显示多个控件，用于调整目标视频的清晰度，当某一控件被操作时，响应于用户操作，将清晰度调整成被操作控件对应的清晰度。例如显示有“720P高清”和“1080P超清”等清晰度的选项。

图20示例性示出了另一种应用界面(第二呈现窗口控制界面)，该应用界面为摄像头应用界面，控制显示器显示摄像头应用的功能页面，并在功能页面中设置第二呈现窗口。在该应用的功能页面中，在该功能页面所在图层的上方显示有控件浮层，该控制浮层包括录屏控件、分享控件、背景更换控件和AR试妆控件。其中，录屏功能控件用于触发屏幕录制并生成录屏视频，分享功能控件用于触发分享录屏视频至目标对象，背景更换控件用于更换摄像头采集本地图像的背景，AR试妆控件用于更换摄像头采集本地图像中人脸的妆容。在如图20所示界面中，用户可以通过移动焦点位置输入对上述功能控件的操作，以对第二呈现窗口和整个用户界面进行控制。

在一些实施例中，在显示第一呈现窗口和第二呈现窗口时，响应于对录屏控件的选中操作，对当前用户界面进行录制，以生成录屏视频。当分享控件被操作时，响应于用户对分享控件的选中操作，向服务器发送消息发送请求，消息发送请求中包括录屏视频和目标对象的标识，以使得服务器根据目标对象的标识确定目标对象，并将录屏视频发送给目标对象，已完成分享操作。通过上述生成录屏视频并将录屏视频分享给目标对象，将通过移动终端投屏的健身视频数据和摄像头采集的本地视频数据进行同步录制，以实跟练合拍功能。同时还可以将录屏视频分享给其他用户，有效地提高了用户的互动体验。

在一些实施例中，当显示器显示如图20所示界面时，用户可以移动焦点选择背景更换控件，响应于焦点落入到背景更换控件201，呈现背景更换控件对应的子浮层，如图21所示。在背景更换对应的子浮层中显示多个背景控件211如“背景1”和“背景2”等。背景控件用于更换当前的背景。当某一背景被选择后，响应于用户操作，将当前背景调整成选择后的背景。例如，响应于用户对背景1控件的选中操作，参见图22所示界面中，将当前摄像头采集的本地图像的背景221更换成“背景1(白色背景)”。

具体实现时，响应于输入的背景更换指令，获取当前非背景图像和当前背景图像。其中，非背景图像包括整个目标主体(本地图像中人体)图像区域，背景图像为除目标主体(本地图像中人体)图像区域之外的区域。在预设背景图像集合中选择与非背景图像匹配的目标背景图像，将当前背景图像替换成目标背景图像，以在第二呈现窗口显示目标背景图像。通过上述实现背景更换功能，使摄像头采集的本地视频数据中图像的当前真实背景更换成其他背景，给用户提供了足够的私密保护同时提升了用户的美化体验感。

在一些实施例中，响应于移动终端在用户触发对健身媒资的结束投屏操作时发送的结束投屏请求和/或检测到健身视频数据播放结束时，关闭第一呈现窗口，保持显示第二呈现窗口；响应于用户关闭摄像头应用，关闭摄像头和第二呈现窗口。

如前所述，当检测到第一呈现窗口显示的健身视频数据播放结束时和/或用户在移动终端的用户界面中输入对健身视频结束的投屏操作时，即自动关闭第一呈现窗口。此时，控制器并不控制摄像头自动关闭，而是保持摄像头打开状态并在用户界面仅保持显示第二呈现窗口，第二呈现窗口的尺寸可以由原来的在整个用户界面的局部扩大为初始的铺满整个用户界面，第二呈现窗口可以具有不同的窗口尺寸，可根据实际情况自行设置。最后，用户通过关闭摄像头应用，从而关闭摄像头和第二呈现窗口。本申请进一步优化了当健身媒资播放完毕时自动关闭摄像头后再次播放任意健身媒资时重新启动摄像头的情况。无需多次开启关闭摄像头，并通过移动终端的投屏媒资实现媒资的自由切换。需要说明的是，用户也可以通过其他方式来输入对摄像头应用的关闭操作，以触发关闭摄像头和第二呈现窗口。例如，利用语音控制功能、触屏功能或者遥控器点击关闭控件功能，控制关闭摄像头和第二呈现窗口。

在一些实施例中，本申请提供的技术方案并不局限于将上述健身视频和健身直播等健身媒资进行投屏至显示设备中，还可以将与健身相关的健身产品例如健身游戏等进行同步跟练。其具体操作和具体实现则参照上述说明。

以上UI是以移动终端和显示设备为例，其他类别的移动终端或显示设备体现在健身媒资投屏跟练显示控制方面的UI基本与上述UI相似，这里不再一一列举。本申请提供的UI界面仅仅是示例性，具体以实际应用和设计为准。

进一步地，本申请提供一种显示控制的方法，图23为本申请根据示例性实施例示出的一种显示控制的方法流程图；

如图23所示，该方法可由控制器执行，该方法包括以下步骤，但不仅限于此。

S100：响应于移动终端在用户触发对健身媒资的投屏操作时发送的投屏请求，从服务器获取与健身媒资对应的健身视频数据，并控制显示器显示第一呈现窗口，该第一呈现窗口用于播放健身视频数据。

S110：响应于用户打开摄像头应用，启动摄像头以通过摄像头采集本地视频数据。

S120：在保持显示第一呈现窗口的同时，控制显示器显示第二呈现窗口，以及，在第二呈现窗口中播放本地视频数据。

在一些实施例中，在控制显示器显示第一呈现窗口，包括：健身视频数据包括健身媒资的图像尺寸参数，根据图像尺寸参数和预设比例调整第一呈现窗口的尺寸，并将第一呈现窗口显示到用户界面的第一指定区域中。

在一些实施例中，在保持显示所述第一呈现窗口的同时，控制显示器显示第二呈现窗口，包括：将第二呈现窗口显示到用户界面的第二指定区域中，其中，第二指定区域是用户界面中除第一指定区域之外的区域，第一指定区域和第二指定区域呈行或列平铺在用户界面中。

在一些实施例中，该方法还包括：响应于移动终端在用户触发对健身媒资的结束投屏操作时发送的结束投屏请求和/或检测到健身视频数据播放结束时，关闭第一呈现窗口，保持显示第二呈现窗口；响应于用户关闭摄像头应用，关闭摄像头和第二呈现窗口。

在一些实施例中，该方法还包括：针对健身视频数据中的图像，提取图像中的动作关键点信息，动作关键点信息包括图像中运动目标的动作关键点在第一预设平面中的坐标，第一预设平面是以图像为基准的平面；

根据动作关键点在第一预设平面中的坐标得到动作关键点在第二预设平面中的坐标，第二预设平面是以第二指定区域为基准的平面；

根据动作关键点在第二预设平面中的坐标生成动作提示信息，将动作提示信息显示在第二呈现窗口中，以用于提示用户每个动作关键点的位置。

在一些实施例中，该方法还包括：从本地视频数据中识别运动目标的目标轮廓，目标轮廓包括目标动作参考点；根据目标动作参考点与动作关键点生成动作匹配信息，将动作匹配信息显示在第二呈现窗口中，以提示用户在跟练动作时与健身媒资的匹配程度。

在一些实施例中，响应于用户打开摄像头应用时，启动摄像头以通过摄像头采集本地视频数据，在保持显示第一呈现窗口的同时，控制显示器显示第二呈现窗口，还包括：控制显示器显示摄像头应用的功能页面，并在功能页面中设置所述第二呈现窗口；功能页面还包括录屏功能控件和分享功能控件；其中，录屏功能控件用于触发屏幕录制并生成录屏视频，分享功能控件用于触发分享录屏视频至目标对象。

在一些实施例中，该方法还包括：在显示第一呈现窗口和第二呈现窗口时，响应于对录屏控件的选中操作，对当前用户界面进行录制，以生成录屏视频。

在一些实施例中，该方法还包括：响应于对分享控件的选中操作，向服务器发送消息发送请求，消息发送请求中包括录屏视频和目标对象的标识，以使得服务器根据目标对象的标识确定目标对象，并将录屏视频发送给目标对象。

进一步地，本申请提供另一种显示控制的方法，图24为本申请根据示例性实施例示出的另一种显示控制的方法流程图；

如图24所示，该方法可由控制器执行，该方法包括以下步骤，但不仅限于此。

S200：响应于用户打开摄像头应用，启动摄像头以通过摄像头采集本地视频数据，并控制显示器显示第一呈现窗口，该第一呈现窗口用于播放本地视频数据。

S210：响应于移动终端在用户触发对健身媒资的投屏操作时发送的投屏请求，从服务器获取与健身媒资对应的健身视频数据。

S220：在保持显示第一呈现窗口的同时，控制显示器显示第二呈现窗口，以及，在第二呈现窗口中播放健身视频数据。

由以上技术方案可知，用户可以在手机端的媒资平台中选择健身媒资，通过投屏操作将选择的健身媒资投放到电视或者其他显示设备播放进行同步跟练。显示器的显示界面将摄像头采集的本地视频数据与用户所跟练的投屏健身视频同步呈现，显示界面中设置有第一呈现窗口和第二呈现窗口，第一呈现窗口用户播放健身媒资，第二呈现窗口播放本地视频。或者第一呈现窗口用户播放本地视频，第二呈现窗口播放健身媒资。这样，用户可以在观看健身媒资的同时直接观看到自己的跟练动作，并直观地比较出与跟练健身媒资的不足之处，从而及时改善。

利用显示设备端的大屏优势以及移动终端端的丰富资源，用户可以方便快捷地在丰富的媒资中选择健身媒资并构建出“边看边练”的健身场景，提高了用户观看健身媒资和与健身媒资同步跟练的体验感。

以上，为显示设备具备摄像头时，利用显示设备采集用户跟练视频以及移动终端所投屏的健身媒资实现用户“边看边练”的方案介绍。

下面介绍一下在显示设备不具备摄像头时，通过显示设备与移动终端的联动实现用户健身跟练的技术方案。

目前，较多显示设备没有安设摄像头，不具备拍摄功能，用户的健身动作与健身媒资无法进行关联，使得用户体验效果不佳。为了提高用户的体验效果，本申请一些实施例提供了一种显示设备、移动终端及健身跟练方法。

在一些实施例中，由于移动终端(例如图1的智能设备300)的便携性，用户可较为方便的通过移动终端浏览媒资。结合图7，用户可通过触摸用户界面上的应用图标可以打开相应的应用程序，或者通过触摸用户界面上的文件夹图标可以打开相应的文件夹。示例性的，移动终端接收用户输入的对视频应用的选中操作，启动相应的应用程序。

在一些实施例中，在移动终端的视频应用内，用户可浏览或搜索自己中意的媒资。当用户想要观看健身媒资时，可搜索健身媒资，移动终端基于用户的搜索操作向服务器400发送媒资获取请求，以使服务器400反馈媒资数据。此处，该视频应用的类型可以是健身应用，也可以是其他能够观看视频的应用。图25中示例性示出了根据一些实施例中的移动终端另一种健身媒资详情页面。如图25所示，用户通过视频应用选择了“动感单车”健身视频，移动终端在接收到服务器400反馈的“动感单车”的媒资数据后，根据媒资数据展示出图25所示的媒资详情页。在媒资详情页内，展示有“动感单车”的内容简介、“开始训练”控件2501以及相关推荐等。

在一些实施例中，移动终端可向显示设备200发送建立连接请求，显示设备200响应于移动终端所发送的建立连接请求，即可与所述移动终端通信连接，以实现所述移动终端与所述显示设备进行数据交互的功能。

在一些实施例中，用户通过浏览图25所示的健身媒资详情页，若是确定想要跟该健身媒资进行跟练，可向移动终端发送联屏健身操作。移动终端在接收到联屏健身操作之后，向所述显示设备200发送包含健身媒资参数的设备搜索指令，以使所述显示设备200启动健身应用，并通过健身应用根据所述健身媒资参数获取健身媒资进行播放。

图26中示例性示出了根据一些实施例中的移动终端联屏健身显示效果示意图。如图26所示，在用户点击图25所示健身媒资详情页中的“开始训练”控件2501之后，移动终端将用户界面切换至图26所示的联屏健身界面，在联屏健身界面中显示有联屏健身的提示信息以及“立即开始”控件2601。当用户选中“立即开始”控件2601后，即可向移动终端发送联屏健身操作，从而触发移动终端向显示设备200发送设备搜索指令。

在一些实施例中，移动终端向显示设备200所发送的设备搜索指令中包含健身媒资参数。该健身媒资参数为与用户通过移动终端所选中的健身媒资相对应的参数，例如，用户所选中的“动感单车”媒资的媒资ID等。显示设备200在接收到设备搜索指令后，可通过该健身媒资参数相服务器400请求同样的健身媒资，并于显示器进行播放。

在一些实施例中，图27中示例性示出了根据一些实施例中的移动终端联屏健身缓冲显示效果示意图，在用户选中“立即开始”控件2601之后，移动终端用户界面切换至图27所示的联屏健身缓冲页面，用于在移动终端与显示设备200交互过程中，或移动终端启动相应进程的过程中起缓冲作用。

在一些实施例中，当用户向移动终端发送联屏健身操作后，移动终端控制启动摄像头应用，从而控制摄像头采集用户跟练视频。图28中示例性示出了根据一些实施例中的移动终端跟练视频预览显示效果示意图。移动终端在开启摄像头应用，通过摄像头应用采集跟练视频时，可先通过图28所示的跟练视频预览页面进行预览。该跟练视频预览页面可在预览预设时长后自动消失，例如5秒后自动消失。

在一些实施例中，移动终端通过摄像头所采集的跟练视频，即镜像数据，发送至显示设备200。显示设备200在接收到镜像数据后，在保持播放健身媒资的同时，播放所述镜像数据，从而使得显示设备200同步播放健身媒资和跟练视频。

图29中示例性示出了根据一些实施例中的健身跟练方法的软件实现框架图。结合图19，用户通过移动终端中的视频应用(APP)向服务器请求健身媒资。在基于用户所发送的联屏健身操作时，启动联屏健身功能，相应的通过摄像头采集用户的跟练视频。

在一些实施例中，如图29所示，基于显示设备200在启动第一通信软件工具包(Software Development Kit，SDK)时所获取的包含端口号的登录信息，移动终端可控制第二通信软件工具进行注册登录。移动终端在解析镜像数据之后，可通过调用第二通信软件工具包提供的接口传输镜像数据至显示设备200的第一通信软件工具包接口。

在一些实施例中，移动终端控制摄像头应用启动时，还可启动图像检测算法，利用图像检测算法处理采集到的镜像数据，检测所述镜像数据中的骨骼点，得到打点数据。例如，通过图像检测算法检测出镜像数据中的鼻部骨骼点、脖子骨骼点、左手肘骨骼点、左手骨骼点、右手肘骨骼点、右手骨骼点、左膝部骨骼点、左脚腕骨骼点、右膝部骨骼点、右脚腕骨骼点、等。

在一些实施例中，移动终端在解析打点数据之后，可通过调用第二通信软件工具包提供的接口传输打点数据至显示设备200的第一通信软件工具包接口，以使所述显示设备生成动作匹配信息。

本申请中，基于移动终端的便携性，方便用户随时通过移动终端浏览自己所中意的健身媒资，并且将采集到的用户跟练视频上传至显示设备，通过显示设备同时展示出健身媒资与跟练视频，使用户在健身过程中清晰看到自己的动作，在动作不标准时能够及时更正。

为了进一步说明上述健身跟练过程，基于与上述移动终端同样的发明构思，本申请一些实施例还提供了一种显示设备。该显示设备200包括显示器260和控制器250，所述控制器250与所述显示器260通信连接。所述显示器260被配置为显示用户界面，所述控制器250被配置为执行健身跟练的过程。图30中示例性示出了根据一些实施例中的健身跟练方法的流程图，结合图30，该健身跟练的过程如下：

S3001：响应于移动终端发送的建立连接请求，与所述移动终端通信连接，以使所述显示设备与所述移动终端进行数据交互。

在一些实施例中，在实现联屏健身功能时，显示设备200需要与移动终端建立通信连接，移动终端会向显示设备200发送建立连接请求，显示设备200响应于该请求，两者可基于TCP网络通讯协议进行连接。

S3002：响应于所述移动终端发送的包含健身媒资参数的设备搜索指令，启动健身应用，使健身应用根据所述健身媒资参数于所述显示器的第一呈现窗口播放健身媒资。

在一些实施例中，当用户基于移动终端选择所要跟练的健身媒资后，若是用户进一步触发联屏健身功能，移动终端会向显示设备200发送包含健身媒资参数的设备搜索指令。显示设备200控制多屏互动服务接收移动终端所发送所述设备搜索指令，并控制多屏互动务中的广播处理模块通过广播形式将所述健身媒资参数发送至健身应用。

在一些实施例中，显示设备200中可安设有各类应用程序，例如安设有健身应用。显示设备200中的健身应用通过广播处理模块接收到多屏互动服务所发送的健身媒资参数，根据所述健身媒资参数向服务器400发送媒资获取请求。服务器400在接收到媒资获取请求后，根据健身媒资参数于媒资池中获取相对应的健身媒资，并将该健身媒资反馈至显示设备200。

在一些实施例中，显示设备200接收所述服务器400反馈的所述健身媒资，控制所述显示设备全屏显示所述第一呈现窗口，以使所述健身应用通过所述第一呈现窗口全屏播放所述健身媒资。图31中示例性示出了根据一些实施例中的显示设备中展示健身媒资的显示效果示意图。由图31所示，显示设备200中的健身应用在启动并获取到健身媒资后，生成全屏播放窗口，该全屏播放窗口即为第一呈现窗口，通过第一呈现窗口全屏播放出健身媒资。

S3003：接收所述移动终端发送的镜像数据，其中，所述镜像数据为所述移动终端采集的用户的跟练视频数据。

在一些实施例中，显示设备200控制启动第一通信软件工具包，并通过多屏互动服务将包含端口号的登录信息发送至移动终端。移动终端在接收到登录信息后，以该登录信息注册登录第二通信软件工具包。用户通过移动终端触发健身联屏功能时，移动终端通过第二通信软件工具包将其所采集的镜像数据传输至显示设备200的第一通信软件工具包接口。显示设备200利用所述第一通信软件工具包接收所述移动终端发送的所述镜像数据。

S3004：在保持显示所述第一呈现窗口的同时，控制所述显示器于第二呈现窗口播放所述镜像数据。

在一些实施例中，显示设备200在接收到镜像数据后，需要于显示器260同时显示出镜像数据和健身媒资，因此，显示设备200需要调整显示器当前显示模式至分屏模式，通过切换至分屏布局，同时展示出第一呈现窗口和第二呈现窗口。图32中示例性示出了根据一些实施例中的显示设备中同时展示健身媒资和跟练视频的显示效果示意图。如图32所示，第一呈现窗口3201中还是播放健身媒资，第二呈现窗口3202中播放镜像数据，以达到通过显示设备200中的显示器260同时展出健身媒资和跟练视频的效果。

在一些实施例中，移动终端通过第二通信软件工具包将其所检测的打点数据传输至显示设备200的第一通信软件工具包接口。显示设备200接收所述移动终端发送的打点数据，其中，所述打点数据为所述移动终端所识别出的所述镜像数据中的骨骼点数据。

在一些实施例中，健身应用从服务器400中请求健身媒资时，服务器400可一同反馈该健身媒资中的标准骨骼点数据，标准骨骼点数据指的是健身媒资中标准动作下鼻部骨骼点、脖子骨骼点、左手肘骨骼点、左手骨骼点、右手肘骨骼点、右手骨骼点、左膝部骨骼点、左脚腕骨骼点、右膝部骨骼点、右脚腕骨骼点等坐标位置。

在一些实施例中，显示设备200可控制所述健身应用利用骨骼点匹配算法，将所述打点数据与所述标准骨骼点数据进行比较，生成动作匹配信息。对比打点数据与所述标准骨骼点数据的符合程度，打点数据越靠近标准骨骼点数据，则用户的健身动作越接近于标准动作。根据比较结果，可生成动作匹配信息，并控制所述显示器于浮层上展示出所述动作匹配信息，以提示用户在跟练时与所述健身媒资的匹配程度。结合说明书附图32，用户的训练时长、准确率、能量消耗均可通过浮层的形式显示于第一呈现窗口，其中，准确率即为动作匹配信息。

在一些实施例中，用户还可根据自身情况在健身过程中随时暂停和开始。显示设备200可预先存储启停动作，例如设置开始动作为双手举起，设置暂停动作为双手胸前交叉。显示设备200控制所述健身应用利用骨骼点匹配算法对接收到的打点数据进行实时识别。在识别到所述打点数据表征出预设暂停动作时，显示设备200控制所述第一呈现窗口暂停播放所述健身媒资，例如，显示设备200根据接收到的打点数据，判断用户的动作为双手举起，则显示设备200开始播放健身媒资。在识别到所述打点数据表征出预设开始动作时，显示设备200控制所述第一呈现窗口开始播放所述健身媒资，如，显示设备200根据接收到的打点数据，判断用户的动作为双手胸前交叉，则显示设备200暂停播放健身媒资。

下面结合附图，进一步介绍上述健身跟练过程。

图33中示例性示出了根据一些实施例中的健身跟练方法的时序图。结合图33，显示设备端包括第一通信软件工具包、第一图像检测软件工具包、健身应用以及多屏互动服务，移动终端包括：视频应用、第二通信软件工具包、第二图像检测软件工具包。用户通过移动终端上的视频应用选择中意的健身媒资，视频应用通过第二通信软件工具包向显示设备200中的多屏互动服务发送携带用户所选中健身媒资的媒资参数的设备搜索指令。多屏互动服务响应于该设备搜索指令，将健身媒资参数以广播的方式发送至健身应用，健身应用启动并进行初始化，启动健身页面，并于显示器上全屏播放健身媒资。显示设备200中第一通信软件工具包、第一图像检测软件工具包进行注册启动，并通过健身应用以广播形式将端口号等登录信息反馈至多屏互动服务。多屏互动服务将端口号等登录信息发送至移动终端中的第二通信软件工具包。第二通信软件工具包将登录信息反馈至视频应用，视频应用控制第二图像检测软件工具包启动摄像头及图像检测算法，并控制第二通信软件工具使用登录信息进行注册启动。

移动终端与显示设备端确认数据通道是否连接成功。在确定连接成功后，移动设备端将镜像数据通过第二通信软件工具发送至第一通信软件工具，第一通信软件工具对镜像数据进行Sueface渲染(窗口绘制)。第一图像检测软件工具包对镜像数据中的第一帧画面回调，以进行播放的准备。在准备完毕后，健身应用切换至分屏布局，通过第一呈现窗口展示健身媒资，并通过第二呈现窗口播放镜像数据。

移动终端第二图像检测软件工具包将检测出的打点数据发送至视频应用，视频应用将打点数据序列化，使其标准化。视频应用通过指令通道将打点数据发送至第二通信软件工具包，以使第二通信软件工具包将打点数据发送至第一通信软件工具包。第一图像检测软件工具包于第一通信软件工具包中接收到打点数据，对其进行反序列化，最后将打点数据回调后进行界面显示。

本申请中，通过显示设备与移动设备之间的联动，在显示设备200播放用户通过移动终端确定的健身媒资，并且利用移动终端采集用户跟练视频，并将跟练视频上传至显示设备200，显示设备200利用其大屏优势同时展示出健身媒资及跟练视频，提高了用户体验。

基于与上述显示设备同样的发明构思，本申请实施例还提供了一种健身跟练方法，所述方法包括：显示设备200响应于移动终端发送的建立连接请求，与所述移动终端通信连接，以使所述显示设备与所述移动终端进行数据交互。显示设备200响应于所述移动终端发送的包含健身媒资参数的设备搜索指令，启动健身应用，使健身应用根据所述健身媒资参数于所述显示器的第一呈现窗口播放健身媒资。显示设备200接收所述移动终端发送的镜像数据，其中，所述镜像数据为所述移动终端采集的用户的跟练视频数据。显示设备200在保持显示所述第一呈现窗口的同时，控制所述显示器于第二呈现窗口播放所述镜像数据。

由于以上实施方式均是在其他方式之上引用结合进行说明，不同实施例之间均具有相同的部分，本说明书中各个实施例之间相同、相似的部分互相参见即可。在此不再详细阐述。

需要说明的是，在本说明书中，诸如“第一”和“第二”等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或暗示这些实体或操作之间存在任何这种实际的关系或顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的电路结构、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种电路结构、物品或者设备所固有的要素。在没有更多限制的情况下，有语句“包括一个……”限定的要素，并不排除在包括要素的电路结构、物品或者设备中还存在另外的相同要素。

本领域技术人员在考虑说明书及实践这里发明的公开后，将容易想到本申请的其他实施方案。本申请旨在涵盖本发明的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本申请的一般性原理并包括本申请未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本申请的真正范围和精神由权利要求的内容指出。

以上的本申请实施方式并不构成对本申请保护范围的限定。

Claims (10)

1.一种显示设备，其特征在于，所述显示设备包括：

显示器；

控制器，所述控制器被配置为：

响应于移动终端发送的建立连接请求，与所述移动终端通信连接，以使所述显示设备与所述移动终端进行数据交互；

响应于所述移动终端发送的包含健身媒资参数的设备搜索指令，启动健身应用，使健身应用根据所述健身媒资参数于所述显示器的第一呈现窗口播放健身媒资；

接收所述移动终端发送的镜像数据，其中，所述镜像数据为所述移动终端采集的用户的跟练视频数据；

在保持显示所述第一呈现窗口的同时，控制所述显示器于第二呈现窗口播放所述镜像数据。

2.根据权利要求1所述的显示设备，其特征在于，在所述响应于所述移动终端发送的包含健身媒资参数的设备搜索指令，启动健身应用，使健身应用根据所述健身媒资参数于所述显示器的第一呈现窗口播放健身媒资的步骤中，所述控制器包括：

控制多屏互动服务接收所述设备搜索指令，以使所述多屏互动服务通过广播形式将所述健身媒资参数发送至所述健身应用；

根据所述健身媒资参数向服务器发送媒资获取请求；

接收所述服务器反馈的所述健身媒资，控制所述显示设备全屏显示所述第一呈现窗口，以使所述健身应用通过所述第一呈现窗口全屏播放所述健身媒资。

3.根据权利要求1所述的显示设备，其特征在于，在所述接收所述移动终端发送的镜像数据的步骤中，所述控制器被配置为：

控制启动第一通信软件工具包，并通过多屏互动服务将包含端口号的登录信息发送至所述移动终端，以使所述移动终端中的第二通信软件工具包通过所述登录信息进行启动；

利用所述第一通信软件工具包接收所述移动终端通过第二通信软件工具包发送的所述镜像数据。

4.根据权利要求1所述的显示设备，其特征在于，在所述在保持显示所述第一呈现窗口的同时，控制所述显示器于第二呈现窗口播放所述镜像数据的步骤中，所述控制器被配置为：

控制所述显示器切换至分屏布局，以使所述显示器同时显示出第一呈现窗口和第二呈现窗口；

控制所述第一呈现窗口播放所述健身媒资，并控制所述第二呈现窗口播放所述镜像数据。

5.根据权利要求1所述的显示设备，其特征在于，在所述控制所述显示器于第二呈现窗口播放所述镜像数据之后，所述控制器还被配置为：

接收所述移动终端发送的打点数据，其中，所述打点数据为所述移动终端所识别出的所述镜像数据中的骨骼点数据；

控制所述健身应用利用骨骼点匹配算法，将所述打点数据与所述健身媒资中所携带的标准骨骼点数据进行比较，生成动作匹配信息；

控制所述显示器于浮层上展示出所述动作匹配信息，以提示用户在跟练时与所述健身媒资的匹配程度。

6.根据权利要求1所述的显示设备，其特征在于，所述控制器还被配置为：

控制所述健身应用利用骨骼点匹配算法对接收到的打点数据进行识别；

在识别到所述打点数据表征出预设暂停动作时，控制所述第一呈现窗口暂停播放所述健身媒资；

在识别到所述打点数据表征出预设开始动作时，控制所述第一呈现窗口开始播放所述健身媒资。

7.一种移动终端，其特征在于，所述移动终端被配置为：

向显示设备发送建立连接请求，与所述显示设备通信连接，以使所述移动终端与所述显示设备进行数据交互；

响应于用户输入的联屏健身操作，向所述显示设备发送包含健身媒资参数的设备搜索指令，以使所述显示设备启动健身应用，并通过健身应用根据所述健身媒资参数获取健身媒资进行播放；

将所述摄像头所采集的镜像数据发送至所述显示设备，以使所述显示设备在保持播放所述健身媒资的同时，播放所述镜像数据。

8.根据权利要求7所述的移动终端，其特征在于，在所述将所述摄像头所采集的镜像数据发送至所述显示设备的步骤中，所述移动终端还被配置为：

接收所述显示设备在启动第一通信软件工具包时所获取的包含端口号的登录信息

控制第二通信软件工具包通过所述登录信息进行启动；

利用所述第二通信软件工具包将所述镜像数据发送至所述显示设备的第一通信软件工具包。

9.根据权利要求7所述的移动终端，其特征在于，在所述将所述摄像头所采集的镜像数据发送至所述显示设备之后，所述移动终端还被配置为：

利用图像算法处理采集到的镜像数据，检测所述镜像数据中的骨骼点，得到打点数据；

将所述打点数据发送至所述显示设备，以使所述显示设备生成动作匹配信息。

10.一种健身跟练方法，其特征在于，所述方法包括：

响应于移动终端发送的建立连接请求，与所述移动终端通信连接，以使所述显示设备与所述移动终端进行数据交互；

响应于所述移动终端发送的包含健身媒资参数的设备搜索指令，启动健身应用，使健身应用根据所述健身媒资参数于所述显示器的第一呈现窗口播放健身媒资；

接收所述移动终端发送的镜像数据，其中，所述镜像数据为所述移动终端采集的用户的跟练视频数据；

在保持显示所述第一呈现窗口的同时，控制所述显示器于第二呈现窗口播放所述镜像数据。

Images