CN117156208A - 终端设备、显示设备和焦距调节方法 - Google Patents

终端设备、显示设备和焦距调节方法 Download PDF

Info

Publication number
CN117156208A
CN117156208A CN202310702006.2A CN202310702006A CN117156208A CN 117156208 A CN117156208 A CN 117156208A CN 202310702006 A CN202310702006 A CN 202310702006A CN 117156208 A CN117156208 A CN 117156208A
Authority
CN
China
Prior art keywords
user
image
focal length
image acquisition
display
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202310702006.2A
Other languages
English (en)
Inventor
赵洋
宋子全
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hisense Visual Technology Co Ltd
Original Assignee
Hisense Visual Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hisense Visual Technology Co Ltd filed Critical Hisense Visual Technology Co Ltd
Priority to CN202310702006.2A priority Critical patent/CN117156208A/zh
Publication of CN117156208A publication Critical patent/CN117156208A/zh
Pending legal-status Critical Current

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/442—Monitoring of processes or resources, e.g. detecting the failure of a recording device, monitoring the downstream bandwidth, the number of times a movie has been viewed, the storage space available from the internal hard disk
    • H04N21/44213—Monitoring of end-user related data
    • H04N21/44218—Detecting physical presence or behaviour of the user, e.g. using sensors to detect if the user is leaving the room or changes his face expression during a TV program
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/431—Generation of visual interfaces for content selection or interaction; Content or additional data rendering
    • H04N21/4312—Generation of visual interfaces for content selection or interaction; Content or additional data rendering involving specific graphical features, e.g. screen layout, special fonts or colors, blinking icons, highlights or animations
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/436—Interfacing a local distribution network, e.g. communicating with another STB or one or more peripheral devices inside the home
    • H04N21/4363—Adapting the video stream to a specific local network, e.g. a Bluetooth® network
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/436—Interfacing a local distribution network, e.g. communicating with another STB or one or more peripheral devices inside the home
    • H04N21/4363—Adapting the video stream to a specific local network, e.g. a Bluetooth® network
    • H04N21/43637—Adapting the video stream to a specific local network, e.g. a Bluetooth® network involving a wireless protocol, e.g. Bluetooth, RF or wireless LAN [IEEE 802.11]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/61—Control of cameras or camera modules based on recognised objects
    • H04N23/611—Control of cameras or camera modules based on recognised objects where the recognised objects include parts of the human body
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/67—Focus control based on electronic image sensor signals

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Social Psychology (AREA)
  • Databases & Information Systems (AREA)
  • Controls And Circuits For Display Device (AREA)

Abstract

本申请一些实施例提供一种终端设备、显示设备和焦距调节方法。用户指示获取用户评分后，显示设备发送图像采集指令至终端设备。终端设备采集用户图像，对用户图像进行骨骼点检测以获取骨骼点数据，以及在采集用户图像的过程中，基于骨骼点数据调节图像采集焦距，使得用户图像中的用户人体区域位于预设区域中。显示设备可以显示用户图像，并根据骨骼点数据获取用户图像对应的用户评分。终端设备可以在采集用户图像过程中调节焦距，以调节用户图像中用户人体部分的比例和位置，从而得到合适的用户图像，不需要用户自行调整位置。

Description

终端设备、显示设备和焦距调节方法
技术领域
本申请涉及显示设备技术领域，尤其涉及一种终端设备、显示设备和焦距调节方法。
背景技术
显示设备是指能够输出具体显示画面的终端设备，随着显示设备的快速发展，显示设备的功能将越来越丰富，性能也越来越强大，可实现双向人机交互功能，集影音、娱乐、数据等多种功能于一体，用于满足用户多样化和个性化需求。
用户还可以通过显示设备来辅助运动，例如，通过显示设备进行健身锻炼，以达到强身健体的目的。显示设备中可以播放健身视频，用户可以模仿健身视频中的动作从而进行健身跟练。在用户跟练的同时，显示设备还可以通过摄像头拍摄用户健身的图像，并与显示设备所播放的健身视频进行比对评分，从而评价用户的健身跟练准确性。考虑到显示设备安装摄像头的成本问题，也可以利用终端设备拍摄用户图像并发送至显示设备，以使显示设备对用户的健身跟练进行评价。
考虑到用户和终端设备之间位置影响，导致终端设备可能无法拍摄出合适的用户图像。例如，用户距离终端设备设备较近可能导致图像中的用户比例较大，甚至用户显示不完整，用户距离终端设备较远时可能导致图像中的用户比例较小。此时，为了拍摄出用户比例较为合适的用户图像，需要用户不断调整自身位置，过程较为繁琐，给用户的使用体验较差。
发明内容
本申请提供一种终端设备、显示设备和焦距调节方法，以解决相关技术中，为了拍摄出用户比例较为合适的用户图像，需要用户不断调整自身位置，过程较为繁琐，给用户的使用体验较差的问题。
第一方面，本申请一些实施例提供一种终端设备，包括图像采集模块、通信模块和处理器。其中，图像采集模块被配置为采集用户图像；通信模块被配置为与显示设备建立通信连接；处理器被配置为：
响应于显示设备发送的图像采集指令，控制所述图像采集模块实时采集用户图像；
对所述用户图像进行骨骼点检测，以获取骨骼点数据；
将所述用户图像和所述骨骼点数据发送至显示设备，以使显示设备显示所述用户图像，以及根据所述骨骼点数据和所述用户图像获取用户评分；
在所述图像采集模块采集用户图像的过程中，基于所述骨骼点数据调节所述图像采集模块的图像采集焦距，以使用户图像中的用户人体区域位于预设区域中。
第二方面，本申请一些实施例提供一种显示设备，包括显示器、通信器和控制器。
其中，通信器被配置为与终端设备建立通信连接；控制器被配置为：
响应于指示获取用户评分的指令，发送图像采集指令至所述终端设备；所述图像采集指令用于使所述终端设备采集用户图像，对所述用户图像进行骨骼点检测以获取骨骼点数据，以及在采集用户图像的过程中，基于所述骨骼点数据调节图像采集焦距，以使用户图像中的用户人体区域位于预设区域中；
接收所述终端设备发送的用户图像和骨骼点数据，并控制显示器显示所述用户图像；
根据所述骨骼点数据获取所述用户图像对应的用户评分。
第三方面，本申请一些实施例提供一种显示设备，包括显示器、外部装置接口和控制器。其中，外部装置接口被配置为连接图像采集器；控制器被配置为：
响应于指示进行健身跟练的指令，控制所述图像采集器采集用户图像，并控制显示器显示健身跟练界面；所述健身跟练界面包括第一播放区域和第二播放区域，所述第一播放区域用于显示标准图像，所述第二播放区域用于显示用户图像；
在所述图像采集器采集用户图像的过程中，对所述用户图像进行骨骼点检测，以获取骨骼点数据，并基于所述骨骼点数据调节所述图像采集器的焦距，以使用户图像中的用户人体区域位于预设区域中；
响应于指示获取健身跟练评分的指令，基于所述骨骼点数据获取健身跟练评分。
第四方面，本申请一些实施例提供一种焦距调节方法，应用于终端设备，其特征在于，所述方法包括：
响应于显示设备发送的图像采集指令，控制图像采集模块实时采集用户图像；
对所述用户图像进行骨骼点检测，以获取骨骼点数据；
将所述用户图像和所述骨骼点数据发送至显示设备，以使显示设备显示所述用户图像，以及根据所述骨骼点数据和所述用户图像获取用户评分；
在所述图像采集模块采集用户图像的过程中，基于所述骨骼点数据调节所述图像采集模块的图像采集焦距，以使用户图像中的用户人体区域位于预设区域中。
第五方面，本申请一些实施例提供一种焦距调节方法，应用于显示设备，包括：
响应于指示获取用户评分的指令，发送图像采集指令至终端设备；所述图像采集指令用于使所述终端设备采集用户图像，对所述用户图像进行骨骼点检测以获取骨骼点数据，以及在采集用户图像的过程中，基于所述骨骼点数据调节图像采集焦距，以使用户图像中的用户人体区域位于预设区域中；
接收所述终端设备发送的用户图像和骨骼点数据，并控制显示器显示所述用户图像；
根据所述骨骼点数据获取所述用户图像对应的用户评分。
第六方面，本申请一些实施例提供一种焦距调节方法，应用于显示设备，包括：
响应于指示进行健身跟练的指令，控制图像采集器采集用户图像，并控制显示器显示健身跟练界面；所述健身跟练界面包括第一播放区域和第二播放区域，所述第一播放区域用于显示标准图像，所述第二播放区域用于显示用户图像；
在所述图像采集器采集用户图像的过程中，对所述用户图像进行骨骼点检测，以获取骨骼点数据，并基于所述骨骼点数据调节所述图像采集器的焦距，以使用户图像中的用户人体区域位于预设区域中；
响应于指示获取健身跟练评分的指令，基于所述骨骼点数据获取健身跟练评分。
由以上技术方案可以看出，本申请一些实施例提供了一种终端设备、显示设备和焦距调节方法。用户指示获取用户评分后，显示设备发送图像采集指令至终端设备。终端设备采集用户图像，对用户图像进行骨骼点检测以获取骨骼点数据，以及在采集用户图像的过程中，基于骨骼点数据调节图像采集焦距，使得用户图像中的用户人体区域位于预设区域中。显示设备可以显示用户图像，并根据骨骼点数据获取用户图像对应的用户评分。终端设备可以在采集用户图像过程中调节焦距，以调节用户图像中用户人体部分的比例和位置，从而得到合适的用户图像，不需要用户自行调整位置，提高用户使用体验。
附图说明
为了更清楚地说明本申请的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，对于本领域普通技术人员而言，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1示出了根据一些实施例的显示设备的使用场景；
图2示出了根据一些实施例的控制装置100的硬件配置框图；
图3示出了根据一些实施例的显示设备200的硬件配置框图；
图4示出了根据一些实施例的显示设备200中软件配置图；
图5示出了一些实施例中应用面板的示意图；
图6示出了一些实施例中健身跟练模式确认信息的示意图；
图7示出了一些实施例中图像采集器采集用户图像的示意图；
图8示出了一些实施例中终端设备采集用户图像的示意图；
图9示出了一些实施例中显示设备各部件的交互流程图；
图10示出了一些实施例中健身跟练提示界面的示意图；
图11示出了一些实施例中健身跟练界面的示意图；
图12示出了一些实施例中用户人体区域和骨骼点的示意图；
图13示出了一些实施例预设区域的示意图；
图14示出了一些实施例中用户人体区域位于预设区域中的示意图；
图15示出了一些实施例中用户图像采集方式界面的示意图；
图16示出了一些实施例中分屏场景下采集用户图像的示意图；
图17示出了一些实施例中显示设备采集用户图像的示意图。
具体实施方式
为使本申请的目的和实施方式更加清楚，下面将结合本申请示例性实施例中的附图，对本申请示例性实施方式进行清楚、完整地描述，显然，描述的示例性实施例仅是本申请一部分实施例，而不是全部的实施例。
需要说明的是，本申请中对于术语的简要说明，仅是为了方便理解接下来描述的实施方式，而不是意图限定本申请的实施方式。除非另有说明，这些术语应当按照其普通和通常的含义理解。
本申请中说明书和权利要求书及上述附图中的术语“第一”、“第二”、“第三”等是用于区别类似或同类的对象或实体，而不必然意味着限定特定的顺序或先后次序，除非另外注明。应该理解这样使用的用语在适当情况下可以互换。
术语“包括”和“具有”以及他们的任何变形，意图在于覆盖但不排他的包含，例如，包含了一系列组件的产品或设备不必限于清楚地列出的所有组件，而是可包括没有清楚地列出的或对于这些产品或设备固有的其它组件。
本申请实施方式提供的显示设备可以具有多种实施形式，例如，可以是电视、智能电视、激光投影设备、显示器(monitor)、电子白板(electronic bulletin board)、电子桌面(electronic table)等。图1和图2为本申请的显示设备的一种具体实施方式。
图1为根据实施例中显示设备与控制装置之间操作场景的示意图。如图1所示，用户可通过智能设备300或控制装置100操作显示设备200。
在一些实施例中，控制装置100可以是遥控器，遥控器和显示设备的通信包括红外协议通信或蓝牙协议通信，及其他短距离通信方式，通过无线或有线方式来控制显示设备200。用户可以通过遥控器上按键、语音输入、控制面板输入等输入用户指令，来控制显示设备200。
在一些实施例中，也可以使用智能设备300(如移动终端、平板电脑、计算机、笔记本电脑等)以控制显示设备200。例如，使用在智能设备上运行的应用程序控制显示设备200。
在一些实施例中，显示设备可以不使用上述的智能设备或控制设备接收指令，而是通过触摸或者手势等接收用户的控制。
在一些实施例中，显示设备200还可以采用除了控制装置100和智能设备300之外的方式进行控制，例如，可以通过显示设备200设备内部配置的获取语音指令的模块直接接收用户的语音指令控制，也可以通过显示设备200设备外部设置的语音控制设备来接收用户的语音指令控制。
在一些实施例中，显示设备200还与服务器400进行数据通信。可设置允许显示设备200通过局域网(LAN)、无线局域网(WLAN)和其他网络进行通信连接。服务器400可以向显示设备200提供各种内容和互动。服务器400可以是一个集群，也可以是多个集群，可以包括一类或多类服务器。
图2示例性示出了根据示例性实施例中控制装置100的配置框图。如图2所示，控制装置100包括控制器110、通信接口130、用户输入/输出接口140、存储器、供电电源。控制装置100可接收用户的输入操作指令，且将操作指令转换为显示设备200可识别和响应的指令，起用用户与显示设备200之间交互中介作用。
如图3，显示设备200包括调谐解调器210、通信器220、检测器230、外部装置接口240、控制器250、显示器260、音频输出接口270、存储器、供电电源、用户接口中的至少一种。
在一些实施例中控制器包括处理器，视频处理器，音频处理器，图形处理器，RAM，ROM，用于输入/输出的第一接口至第n接口。
显示器260包括用于呈现画面的显示屏组件，以及驱动图像显示的驱动组件，用于接收源自控制器输出的图像信号，进行显示视频内容、图像内容以及菜单操控界面的组件以及用户操控UI界面。
显示器260可为液晶显示器、OLED显示器、以及投影显示器，还可以为一种投影装置和投影屏幕。
通信器220是用于根据各种通信协议类型与外部设备或服务器进行通信的组件。例如：通信器可以包括Wifi模块，蓝牙模块，有线以太网模块等其他网络通信协议芯片或近场通信协议芯片，以及红外接收器中的至少一种。显示设备200可以通过通信器220与外部控制设备100或服务器400建立控制信号和数据信号的发送和接收。
用户接口，可用于接收控制装置100(如：红外遥控器等)的控制信号。
检测器230用于采集外部环境或与外部交互的信号。例如，检测器230包括光接收器，用于采集环境光线强度的传感器；或者，检测器230包括图像采集器，如摄像头，可以用于采集外部环境场景、用户的属性或用户交互手势，再或者，检测器230包括声音采集器，如麦克风等，用于接收外部声音。
外部装置接口240可以包括但不限于如下：高清多媒体接口接口(HDMI)、模拟或数据高清分量输入接口(分量)、复合视频输入接口(CVBS)、USB输入接口(USB)、RGB端口等任一个或多个接口。也可以是上述多个接口形成的复合性的输入/输出接口。
调谐解调器210通过有线或无线接收方式接收广播电视信号，以及从多个无线或有线广播电视信号中解调出音视频信号，如以及EPG数据信号。
在一些实施例中，控制器250和调谐解调器210可以位于不同的分体设备中，即调谐解调器210也可在控制器250所在的主体设备的外置设备中，如外置机顶盒等。
控制器250，通过存储在存储器上中各种软件控制程序，来控制显示设备的工作和响应用户的操作。控制器250控制显示设备200的整体操作。例如：响应于接收到用于选择在显示器260上显示UI对象的用户命令，控制器250便可以执行与由用户命令选择的对象有关的操作。
在一些实施例中控制器包括中央处理器(Central Processing Unit，CPU)，视频处理器，音频处理器，图形处理器(Graphics Processing Unit，GPU)，RAM(Random AccessMemory，RAM)，ROM(Read-Only Memory，ROM)，用于输入/输出的第一接口至第n接口，通信总线(Bus)等中的至少一种。
用户可在显示器260上显示的图形用户界面(GUI)输入用户命令，则用户输入接口通过图形用户界面(GUI)接收用户输入命令。或者，用户可通过输入特定的声音或手势进行输入用户命令，则用户输入接口通过传感器识别出声音或手势，来接收用户输入命令。
“用户界面”，是应用程序或操作系统与用户之间进行交互和信息交换的介质接口，它实现信息的内部形式与用户可以接受形式之间的转换。用户界面常用的表现形式是图形用户界面(Graphic User Interface，GUI)，是指采用图形方式显示的与计算机操作相关的用户界面。它可以是在电子设备的显示屏中显示的一个图标、窗口、控件等界面元素，其中控件可以包括图标、按钮、菜单、选项卡、文本框、对话框、状态栏、导航栏、Widget等可视的界面元素。
如图4所示，将显示设备的系统分为三层，从上至下分别为应用层、中间件层和硬件层。
应用层主要包含电视上的常用应用，以及应用框架(Application Framework)，其中，常用应用主要是基于浏览器Browser开发的应用，例如：HTML5 APPs；以及原生应用(Native APPs)；
应用框架(Application Framework)是一个完整的程序模型，具备标准应用软件所需的一切基本功能，例如：文件存取、资料交换...，以及这些功能的使用接口(工具栏、状态列、菜单、对话框)。
原生应用(Native APPs)可以支持在线或离线，消息推送或本地资源访问。
中间件层包括各种电视协议、多媒体协议以及系统组件等中间件。中间件可以使用系统软件所提供的基础服务(功能)，衔接网络上应用系统的各个部分或不同的应用，能够达到资源共享、功能共享的目的。
硬件层主要包括HAL接口、硬件以及驱动，其中，HAL接口为所有电视芯片对接的统一接口，具体逻辑由各个芯片来实现。驱动主要包含：音频驱动、显示驱动、蓝牙驱动、摄像头驱动、WIFI驱动、USB驱动、HDMI驱动、传感器驱动(如指纹传感器，温度传感器，压力传感器等)、以及电源驱动等。
显示设备200可以具有多种功能，例如浏览网页、播放媒资、娱乐游戏、投屏等功能，从而向用户提供多种多样的服务。用户可以控制显示设备200启动某个相关的应用程序，从而开启相应的功能。
在一些实施例中，当用户控制显示设备200开机后，控制器250可以控制显示器260中显示用户界面。用户界面中可以是具体的目标图像，例如从网络信号源中获取到的各种媒资，包括视频、图片等内容。用户界面也可以是显示设备200的一些UI界面，例如系统推荐页等。
在一些实施例中，用户界面中可以包含“我的应用”控件。用户可以通过点击“我的应用”控件，以输入针对应用面板页面的显示指令，来触发进入对应的应用面板。需要说明的是，用户也可以通过其他方式来输入对功能控件的选中操作，以触发进入应用面板。例如，利用语音控制功能或者搜索功能等，控制进入到应用面板页面。
用户可以通过应用面板查看到显示设备200已经安装的应用程序，即显示设备200所支持的功能。需要说明的是，显示设备200安装的应用可以是系统应用，也可以是第三方应用。图5示出了一些实施例中应用面板的示意图。如图5所示，应用面板中包括“播放器”、“游戏”以及“视频聊天”三个控件。用户可以通过点击某个控件，从而控制显示设备200实现相应的功能。
在一些实施例中，显示设备200还设置有健身跟练功能。显示设备200中可以播放健身跟练视频，本申请实施例中称为标准图像。用户可以观看标准图像，从而模仿标准图像中的动作，进行健身跟练。
显示设备200中可以安装有健身跟练应用程序。用户可以控制显示设备200调出应用面板，应用面板中可以包括健身跟练控件。用户选中健身跟练控件后，显示设备200可以开启健身跟练功能，以使用户进行健身跟练。
在一些实施例中，显示设备200可以设置有健身跟练模式。当显示设备200进入健身跟练模式时，显示设备200可以开启健身跟练功能。
用户可以通过操作遥控器的指定按键，向显示设备200发送健身跟练模式指令。在实际应用的过程中预先绑定健身跟练模式指令与遥控器按键之间的对应关系。还可以在显示设备200的系统UI界面中设置健身跟练模式选项，当用户点击该选项时，可以控制显示设备200进入或退出健身跟练模式。
在一些实施例中，为防止用户误触发健身跟练模式，当控制器250接收到健身跟练模式指令时，可以控制显示器260显示健身跟练模式确认信息，从而使得用户进行二次确认，是否要控制显示设备200进入健身跟练模式。图6示出了一些实施例中健身跟练模式确认信息的示意图。
考虑到仅观看标准图像，用户可能并不确定自身跟练做出的动作是否标准。为此，显示设备200还可以对用户的跟练行为进行评价打分。显示设备200可以获取用户在健身跟练过程中的动作情况，例如可以通过摄像头等设备拍摄用户图像，从而将用户图像和标准图像进行对比，以对用户的跟练行为进行评价。
在一些实施例中，显示设备200可以自行获取用户图像。
显示设备200还设置有外部装置接口240，外部装置接口240用于连接外接设备，实现显示设备200连接外接设备，外接设备可以是图像采集器，例如摄像头。图像采集器能够采集图像数据，例如对用户进行健身跟练的动作进行拍摄。当用户在摄像头的可拍摄范围内时，可以得到包含用户的图像，本申请实施例中称为用户图像。需要说明的是，摄像头可以作为一种外接设备，通过外部装置接口240外接在显示设备200上，也可以作为一种检测器内置于显示设备200中。
对于显示设备200内置的图像采集器，可以支持升降功能。即摄像头可以设置在升降机构上，当需要进行图像采集时，通过特定的升降指令，控制升降机构进行运动，从而带动摄像头升高，以进行图像采集。而在不需要进行图像采集时，同样可以通过特定的升降指令，控制升降机构进行运动，从而带动摄像头降低，以隐藏摄像头。
对于外接在显示设备200的图像采集器，可以将图像采集器连接至显示设备200的外部装置接口240，接入显示设备。外接的图像采集器可以是一个独立的外设，并通过特定的数据接口连接显示设备200。显示设备200和图像采集器上设有同一种接口规范和功能的数据接口，可以是高清晰度多媒体接口(High Definition Multimedia Interface，HDMI)。通过HDMI接口，显示设备200可以接收图像采集器采集的用户图像。
对于外接于显示设备200的图像采集器，还可以支持其他方式连接，如DVI(Digital Visual Interface)、VGA(Video Graphics Array)、USB(Universal SerialBus)等；也可以是无线的连接方式，如无线局域网、蓝牙连接、红外连接等。
为了便于对用户图像进行采集，在一些实施例中，外接于显示设备200上的图像采集器可以设置在靠近显示设备200的位置，如图像采集器通过夹持装置夹在显示设备200的顶部，或者图像采集器放置在显示设备200附近的桌面上。
图7示出了一些实施例中图像采集器采集用户图像的示意图。如图7所示，用户控制显示设备200开启健身跟练功能后，控制器250可以控制图像采集器进行拍照或拍摄功能，从而采集到用户图像。图像采集器可以将用户图像发送至显示设备200，显示设备200可以根据用户图像，对用户的健身跟练行为进行评价。
在一些实施例中，考虑到图像采集器的成本较高，导致显示设备200可能不会配置有图像采集器。此时，显示设备200可以从其他设备处获取用户图像。例如，可以由终端设备拍摄用户图像并发送至显示设备200。终端设备可以是手机、平板电脑等设备。
显示设备200中可以设置有通信器，通信器可以使显示设备200能够和其他的电子设备进行通信连接，实现数据交互等操作。因此，图像采集器可以和显示设备200建立通信连接，并将采集的图像数据发送给显示设备200。
图8示出了一些实施例中终端设备采集用户图像的示意图。如图8所示，用户控制显示设备200开启健身跟练功能后，控制器250可以指示终端设备采集用户图像。终端设备在采集用户图像后，可以将用户图像发送至显示设备200。显示设备200可以根据用户图像，对用户的健身跟练行为进行评价。
然而，受到用户和终端设备之间位置影响，终端设备可能无法拍摄出合适的用户图像。例如，用户距离终端设备设备较近可能导致图像中的用户比例较大，甚至用户显示不完整，用户距离终端设备较远时可能导致图像中的用户比例较小。此时，为了拍摄出用户比例较为合适的用户图像，需要用户不断调整自身位置，过程较为繁琐，给用户的使用体验较差。
为解决上述问题，本申请实施例中提供的终端设备以及显示设备，在采集用户图像时，可以自适应调整摄像头的焦距，使得拍摄出的用户图像中，用户能够位于适中的位置，以提高对用户的跟练动作进行评分的准确性，同时不需要用户自行调整位置，给用户的使用体验较高。
图9示出了一些实施例中显示设备各部件的交互流程图，包括以下步骤：
S101、响应于指示获取用户评分的指令，发送图像采集指令至所述终端设备，以使所述终端设备采集用户图像，对所述用户图像进行骨骼点检测以获取骨骼点数据，以及在采集用户图像的过程中，基于所述骨骼点数据调节图像采集焦距；
S102、接收所述终端设备发送的用户图像和骨骼点数据，并控制显示器显示所述用户图像；
S103、根据所述骨骼点数据获取所述用户图像对应的用户评分。
在一些实施例中，用户可以向显示设备200发送健身跟练指令，以利用显示设备200进行健身跟练。显示设备200中可以安装有健身跟练应用程序，用户可以控制显示设备200启动该健身跟练应用程序。
响应于用户的该指令，控制器250可以控制显示器260显示健身跟练提示界面。图10示出了一些实施例中健身跟练提示界面的示意图。如图10所示，健身跟练提示界面中包括健身跟练提示信息和通信连接控件。其中，健身跟练提示信息用于提示用户使用终端设备采集用户图像，可以是“扫码打开手机摄像头，开启健身跟练”。通信连接控件可以是用于建立通信连接的二维码，用户可以操控终端设备扫描该通信连接控件。
在终端设备中，可以安装有和显示设备200中健身跟练应用程序对应的游戏程序。用户可以控制终端设备启动该应用程序，并对显示设备200中显示的通信连接控件扫码，从而建立通信连接。终端设备扫描通信连接控件后，还可以显示连接提示界面，该连接提示界面用于使用户确认是否建立终端设备和显示设备200的通信连接。当用户指示确认连接后，终端设备可以申请和显示设备200建立通信连接。
在一些实施例中，终端设备可以设置有通信模块。终端设备的处理器可以控制通信模块向显示设备200发送通信连接请求。在接收到终端设备发送的通信连接请求后，控制器250可以控制通信器与终端设备建立通信连接，以进行数据交互。
控制器250还可以控制通信器向终端设备发送通信连接提示信息，该通信连接提示信息用于提示显示设备200和终端设备已建立通信连接。
为了快速上传用户图像等数据，响应于显示设备200反馈的通信连接提示信息，终端设备处理器可以建立特定的信息传输通道，包括数据通道和指令通道。
处理器可以建立两条Socket数据通道。其中，一条Socket数据通道用于传输终端设备上传的标准动作数据，包括用户图像对应的数据，本申请实施例中将该Socket数据通道称为数据通道。另一条Socket数据通道用于传输各种控制指令和一些其他数据，本申请实施例中称为指令通道。控制指令可以为终端设备发出的用于操控用户图像数据的指令，例如，播放指令、暂停指令等。
在一些实施例中，显示设备200和终端设备建立通信连接后，控制器250可以控制显示器260显示健身跟练应用程序对应的用户界面，本申请实施例中称为健身跟练界面。
为了便于比对用户的健身跟做动作和标准图像中的健身动作，显示设备200可以将健身跟练界面划分为至少两个播放区域，为了区别两个播放区域，本申请实施例中将两个播放区域分别定义为第一播放区域和第二播放区域。控制器250可以控制显示器260在第一播放区域中播放标准图像，以供用户观看以及模仿。控制器250还可以控制显示器260在第二播放区域中显示用户图像，以使用户能够观看到自身作出的跟练动作。显示器260中可以同时演示标准图像和用户图像，用户可以进行比对，从而调整自己的跟练动作。图11示出了一些实施例中健身跟练界面的示意图。如图11所示，健身跟练界面中包括第一播放区域和第二播放区域。其中，第一播放区域用于显示标准图像，第二播放区域用于显示用户图像。健身跟练界面中还包括评分控件，评分控件用于启动显示设备200对用户的跟练动作进行评分的功能，可以是图中的“开始健身”。响应于用户对评分控件的选中操作，可以确定为用户指示对用户图像进行评分。控制器250可以生成指示获取用户评分的指令。
响应于指示获取用户评分的指令，控制器250可以发送图像采集指令至终端设备。该图像采集指令用于指示终端设备采集用户图像，以对用户图像中的跟练行为进行评分。
在一些实施例中，也可以不对用户的跟练动作进行评分，而是在显示器260中只显示标准图像和用户图像。此时，图11中的“开始健身”控件可以是指示播放标准图像以及指示采集用户图像的控件。当用户点击“开始健身”后，控制器250可以发送图像采集指令至终端设备。
在一些实施例中，终端设备中可以设置有图像采集模块，图像采集模块可以是摄像头，用于采集用户图像。响应于显示设备200发送的图像采集指令，终端设备处理器可以控制图像采集模块实时采集用户图像。在启动图像拍摄后，用户可以在图像采集模块的拍摄范围内做出各种动作，以进行健身跟练。
考虑到用户在进行健身跟练时会持续较长的时间，因此，图像采集模块可以实时采集用户图像，从而得到用户动作视频流。用户动作视频流指的是由图像采集模块通过连续的图像拍摄而生成的视频数据，即用户动作视频流包括连续多帧的用户图像。
图像采集模块可以基于一定的帧率拍摄用户图像，例如可以以每秒30帧(30FPS)的帧率进行图像拍摄。在拍摄的过程中，处理器可以获取图像采集模块拍摄的用户图像，同时可以同步发送至显示设备200。需要说明的是，处理器可以实时发送用户图像至显示设备200，即图像采集模块不断拍摄的过程中，处理器也不断发送用户图像至显示设备200，以使显示设备200能够实时显示用户图像。处理器发送用户图像的帧率可以和图像采集模块的图像拍摄帧率相同。例如，图像采集模块以每秒30帧进行拍摄，处理器也可以按照每秒30帧的帧率获取到用户图像并以每秒30帧的帧率将用户图像发送至显示设备200，以保证显示设备200中能够实时显示用户图像。
在一些实施例中，处理器可以对用户图像进行骨骼点检测，以获取骨骼点数据。处理器可以根据预设的图像识别算法，对用户图像进行图像识别处理，以检测其中包含的人体骨骼点，图像识别算法可以是骨骼点检测算法。需要说明的是，人体骨骼点可以是预先设定好数据，即人体可以包含固定的若干个骨骼点，例如骨骼点可以设置为12个人体关键点、19个人体关键点、98个人体关键点等，基于不同的人体模型和骨骼点检测算法，所确定的骨骼点数目也可能是不同的。本申请实施例对此不做限制。骨骼点可以包括但不限于：眉心、肩关节、肘关节、腕关节、髋关节、膝关节、踝关节等。
终端设备中可以预先存储有骨骼点检测算法。在图像采集模块拍摄到用户图像后，处理器可以基于骨骼点检测算法对用户图像进行处理，得到用户图像中人体对应的若干个骨骼点信息，本申请实施例中称为骨骼点数据。
处理器可以将用户图像和骨骼点数据一同发送至显示设备200，以使显示设备200可以根据用户图像和骨骼点数据，对用户的跟练动作进行评价，得到用户评分。
在一些实施例中，处理器可以通过数据通道将用户图像发送至显示设备200，处理器还可以通过指令通道将骨骼点数据发送至显示设备200。
在一些实施例中，考虑到用户和终端设备的位置影响，终端设备拍摄到的用户图像中的人体部分位于图像中的位置可能并不利于后续的评分。为此，处理器可以对图像采集模块的焦距进行自适应调节，以调节人体部分在用户图像中的位置和比例情况，从而拍摄到合适的用户图像。
在图像采集模块采集用户图像的过程中，处理器可以基于骨骼点数据调节图像采集模块的图像采集焦距，以使图像采集模块根据调节后的图像采集焦距继续采集用户图像。
需要说明的是，为了保证显示设备200中能够始终显示有用户图像，终端设备在调节焦距的过程中，也可以将用户图像实时发送至显示设备200，即终端设备拍摄的得到的所有用户图像都可以发送至显示设备200。终端设备在调节焦距过程中，会导致的用户图像中用户人体部分的比例不断变化，显示设备200中也可以显示这个人体部分比例变化的过程。
在一些实施例中，在对图像采集模块的焦距进行自适应调节前，可以预先设置一个检测周期，以检测图像采集模块当前的焦距是否需要调节。本申请实施例中将图像采集模块的焦距称为图像采集焦距。处理器可以基于预设周期对用户图像进行检测，由于图像采集模块会拍摄到多帧用户图像，因此处理器可以选取一帧用户图像作为检测数据，本申请实施例中称为检测帧用户图像，从而确定是否需要调节图像采集焦距。
处理器可以基于预设周期获取检测帧用户图像，处理器还可以获取该检测帧用户图像对应的骨骼点数据，本申请实施例中称为检测帧骨骼点数据。
处理器可以基于检测帧骨骼点数据获取用户人体区域。用户人体区域指的是用户人体范围在用户图像中的区域，可以设定用户人体区域为一个矩形区域。需要说明的是，检测帧骨骼点数据中包含的是检测帧用户图像中包含的人体骨骼点，但是人体骨骼点并不能代表人体本身，在骨骼点外还包括其他的人体组织，因此可以确定出图像中完整的人体部分，以确定当前人体部分在用户图像中的位置情况。
图12示出了一些实施例中用户人体区域和骨骼点的示意图。如图12所示，可以检测到用户图像中包含的11个人体骨骼点，处理器可以根据人体骨骼点绘制矩形区域，以得到用户人体区域。需要说明的是，考虑到人体骨骼点以外存在的人体组织，在绘制用户人体区域时，需要将人体骨骼点形成的区域向外拉伸。人体骨骼点形成的矩形区域为T1，并不是完整的人体区域。因此，可以将该矩形区域进行拉伸，可以预先设定一个拉伸尺寸，在拉伸后得到矩形区域T2，可以作为用户人体区域。
在一些实施例中，也可以采用预设的图像识别算法，检测用户图像中包含的人体区域，并一块生成矩形区域，作为用户人体区域。
在一些实施例中，可以预先设定一块区域，通过检测用户人体区域是否位于该预设区域，决定是否需要调节图像采集焦距。图13示出了一些实施例预设区域的示意图。如图13所示，可以在用户图像中设置两条分割框A和B。分割框A的每一个边框和用户图像对应的边框之间的距离可以是用户图像边框长度的20％，例如分割框A的左边框和用户图像的左边框之间的距离可以是用户图像水平方向长度的20％，分割框A的上边框和用户图像的上边框之间的距离可以是用户图像竖直方向长度的20％。分割框B的每一个边框和用户图像对应的边框之间的距离可以是用户图像边框长度的5％。两条分割框将用户图像分割成三个区域，其中分割框A中的区域称为第一区域，分割框A和分割框B之间的区域即为预设区域，分割框B以外的区域称为第二区域。
如果用户人体区域位于检测帧用户图像的预设区域中，则说明此时用户人体区域位于用户图像中的位置适中，处理器可以不调节图像采集模块的图像采集焦距。本申请实施例中设定用户人体区域位于预设区域中为：用户人体区域超出第一区域的范围，处于预设区域中，并且用户人体区域没有超出预设区域的范围，即用户人体区域不会处于第二区域中。图14示出了一些实施例中用户人体区域位于预设区域中的示意图。
如果用户人体区域没有位于预设区域中，则说明此时用户人体区域位于用户图像中的位置需要调节，处理器可以对图像采集焦距进行调节。处理器可以获取图像采集模块的当前图像采集焦距，以及，根据当前图像采集焦距调节图像采集模块的图像采集焦距。
在一些实施例中，当用户人体区域没有位于预设区域时，可能包括两种情况：用户人体区域超出预设区域导致位于第二区域中，以及，用户人体区域未超出第一区域即全部位于第一区域中。
针对两种情况，可以对图像采集焦距进行不同的调节处理。
如果用户人体区域位于第一区域中，说明用户人体区域在用户图像中的比例相对较小，即拍摄得到的用户部分较小。此时，显示设备200中显示用户图像时，用户观察到的自身图像部分较小，可能存在看不清的情况。此时，可以调大图像采集模块的图像采集焦距，以实现将用户图像中的人体部分进行放大。
处理器可以获取图像采集模块支持的最大焦距。如果图像采集模块的当前图像采集焦距等于图像采集模块支持的最大焦距，则说明当前图像采集模块无法再调大焦距，即终端设备无法将用户图像中的人体部分进行放大。有可能是用户距离终端设备的距离过远，导致图像采集模块即使采用最大焦距也无法拍摄到适合的人体部分。此时，需要用户自行调节和终端设备之间的位置。
终端设备可以发送第一提示信息至显示设备200，以使显示设备200显示第一提示信息，该第一提示信息用于表征用户距离终端设备较远，以及提示用户靠近终端设备。第一提示信息可以是“当前您距离终端设备较远，请靠近终端设备”。
如果图像采集模块的当前图像采集焦距小于图像采集模块支持的最大焦距，则说明图像采集模块可以调大焦距，从而可以将用户图像中的人体部分进行放大。处理器可以基于预设的调节步长，对图像采集模块的图像采集焦距进行若干次放大处理，直至调节后的图像采集模块采集的用户图像中用户人体区域位于预设区域中。处理器可以基于一定的调节参数调节图像采集焦距，预设的调节步长可以设定为每隔100毫秒调节焦距0.1，即处理器每100毫秒可以将图像采集焦距调大0.1。
在处理器将图像采集焦距调大一次后，可以获取焦距调节后的图像采集模块采集到的一帧用户图像，处理器可以检测该帧用户图像中用户人体区域是否位于预设区域中。若是，则不需要再调节图像采集焦距，可以采用当前焦距拍摄用户图像。若不是，则处理器可以继续调大图像采集焦距，可以根据预设的调节步长进行若干次调节，直到调节后的图像采集模块采集的用户图像中用户人体区域位于预设区域中。
在一些实施例中，如果用户人体区域位于第二区域中，说明用户人体区域在用户图像中的比例相对较大，即拍摄得到的用户部分较大，甚至会出现用户图像中用户身体不完整的情况，由于无法确定用户完整的身体部分，甚至骨骼点数据存在缺失，导致评分失败。此时，可以调小图像采集模块的图像采集焦距，以实现将用户图像中的人体部分进行缩小。
处理器可以获取图像采集模块支持的最小焦距。如果当前图像采集焦距等于图像采集模块支持的最小焦距，则说明当前图像采集模块无法再调小焦距，即终端设备无法将用户图像中的人体部分进行缩小。有可能是用户距离终端设备的距离过近，导致图像采集模块即使采用最小焦距也无法拍摄到完整的人体部分。此时，需要用户自行调节和终端设备之间的位置。
终端设备可以发送第二提示信息至显示设备200，以使显示设备200显示第二提示信息；第二提示信息用于表征用户距离终端设备较近，以及提示用户远离终端设备。第二提示信息可以是“当前您距离终端设备较近，请远离终端设备”。
如果当前图像采集焦距大于图像采集模块支持的最小焦距，则说明图像采集模块可以调小焦距，从而可以将用户图像中的人体部分进行放大。处理器可以基于预设的调节步长，对图像采集模块的图像采集焦距进行若干次缩小处理，直至调节后的图像采集模块采集的用户图像中用户人体区域位于预设区域中。处理器可以每100毫秒将图像采集焦距调小0.1。
在处理器将图像采集焦距调小一次后，可以获取焦距调节后的图像采集模块采集到的一帧用户图像，处理器可以检测该帧用户图像中用户人体区域是否位于预设区域中。若是，则不需要再调节图像采集焦距，可以采用当前焦距拍摄用户图像。若不是，则处理器可以继续调小图像采集焦距，可以根据预设的调节步长进行若干次调节，直到调节后的图像采集模块采集的用户图像中用户人体区域位于预设区域中。
在一些实施例中，终端设备可以将所有拍摄得到用户图像发送至显示设备200，包括焦距调节前的用户图像，焦距调节过程中的用户图像，以及焦距调节后的用户图像，以使显示设备200能够一直实时显示用户图像。
考虑到用户在进行健身跟练时，可能会改变自身的位置，因此在终端设备不断采集用户图像的过程中，处理器可以根据预设周期不断检测是否需要调节图像采集焦距，从而保证在用户健身跟练过程中，终端设备能够自适应调节图像采集焦距，从而拍摄到合适的用户图像以供显示设备200进行评价。
在一些实施例中，显示设备200可以接收终端设备发送的用户图像和骨骼点数据。同时，控制器250可以控制显示器260显示用户图像。
控制器250可以获取标准图像，例如从服务器中下载健身跟练的标准视频。此时，显示器260中显示健身跟练界面，控制器250可以控制显示器260在第一播放区域中显示标准图像，同时控制显示器260在第二播放区域中显示用户图像，以供用户进行对比。
在一些实施例中，控制器250可以根据骨骼点数据获取用户图像对应的用户评分。
控制器250可以先获取标准图像的标准骨骼点数据。控制器250可以对标准图像进行骨骼点检测，以获取标准图像中的骨骼点数据，本申请实施例中称为标准骨骼点数据。
服务器中也可以存储有标准图像对应的标准骨骼点数据，因此在下载标准图像时，控制器250可以将标准图像对应的标准骨骼点数据一同下载。
控制器250可以计算标准骨骼点数据和骨骼点数据的匹配度，以及根据匹配度计算用户图像对应的用户评分。
骨骼点数据中可以包括每个人体骨骼点位于图像中的坐标信息，因此控制器250可以将用户图像中的骨骼点坐标信息和标准图像中的骨骼点坐标信息进行比对，得到坐标之间的匹配度。需要说明的是，对于每一个人体骨骼点，均存在一个坐标匹配度，可以采用加权求和并取均值的方式，获取用户图像中所有人体骨骼点的匹配度。
控制器250可以直接将匹配度作为当前动作对应的跟练准确度，并将跟练准确度形成评分。例如，跟练准确度为80％，则用户图像对应的用户评分即为80分。也可以基于跟练准确度的表示方式，对匹配度进行数学计算、格式转换等处理，得到当前动作对应的跟练准确度。本申请实施例对此不做限制。
在一些实施例中，控制器250还可以根据用户评分生成跟练提示信息。
其中，跟练提示信息可以包括跟练准确度、动作解析、动作纠正信息、跟练鼓励话语等中的一种或多种，本申请实施例对此不做限制。作为一个示例，跟练准确度可以采用百分比的形式来表示，比如，99％、80％、50％等；也可以采用打分的形式来表示，比如，100分、70分、60分等；还可以采用等级的形式来表示，比如，动作标准、动作不佳、动作错误等。
应该理解的是，上述动作解析可以用于介绍该标准动作的跟练要点，便于用户掌握该标准动作的发力方式和实现技巧，以使用户当前动作贴近标准动作，提高跟练准确度。动作纠正信息用于指示用户如何调整当前动作，以贴近标准动作，从而提高跟练准确度。跟练鼓励话语用于在跟练准确度较高的情况下，夸赞用户；或者，在跟练准确度较低的情况下，鼓励用户。比如，“你真棒”、“完美动作”、“继续努力”、“加油呀”等。
在一些实施例中，当显示设备200采用自身外接或者内置的图像采集器采集用户图像时，也可以自适应调节焦距，以拍摄合适的用户图像。控制器250可以根据预设周期检测是否需要调节图像采集器的焦距，从而在用户健身跟练过程中自适应调节焦距。
用户可以向显示设备200输入指示进行健身跟练的指令，以使显示设备200开启健身跟练功能。
响应于指示进行健身跟练的指令，控制器250可以控制图像采集器采集用户图像，并控制显示器260显示健身跟练界面，健身跟练界面可以是图11所示的界面。
在图像采集器采集用户图像的过程中，控制器250可以对用户图像进行骨骼点检测，以获取骨骼点数据，并基于骨骼点数据调节图像采集器的焦距，以使用户图像中的用户人体区域位于预设区域中。
响应于指示获取健身跟练评分的指令，控制器250可以基于骨骼点数据获取健身跟练评分。
在一些实施例中，在调节图像采集器的焦距时，控制器250可以基于预设周期获取检测帧用户图像以及检测帧用户图像对应的检测帧骨骼点数据。并基于检测帧骨骼点数据获取用户人体区域。
如果用户人体区域位于检测帧用户图像的预设区域中，则不调节图像采集器的焦距。
如果用户人体区域没有位于预设区域中，则获取图像采集器的当前焦距；以及，根据当前焦距调节图像采集器的焦距。
在一些实施例中，如果用户人体区域没有位于预设区域中，则可能处于第一区域，也可能处于第二区域。
如果用户人体区域位于第一区域中，控制器250可以检测图像采集器的当前焦距和最大焦距情况。
如果当前焦距小于图像采集器支持的最大焦距，则基于预设的调节步长，对图像采集器的焦距进行若干次放大处理，直至调节后的图像采集器采集的用户图像中用户人体区域位于预设区域中。
如果当前焦距等于图像采集器支持的最大焦距，则控制显示器260显示第一提示信息；第一提示信息用于提示用户靠近显示设备200。
在一些实施例中，如果用户人体区域位于第二区域中，控制器250可以检测图像采集器的当前焦距和最小焦距情况。
如果当前焦距大于图像采集器支持的最小焦距，则基于调节步长，对图像采集器的焦距进行若干次缩小处理，直至调节后的图像采集器采集的用户图像中用户人体区域位于预设区域中。
如果当前焦距等于图像采集器支持的最小焦距，则控制显示器260显示第二提示信息；第二提示信息用于提示用户远离显示设备200。
在一些实施例中，在获取健身跟练评分时，控制器250可以获取标准图像的标准骨骼点数据，骨骼点数据中可以包括骨骼点坐标。控制器250可以基于标准骨骼点数据获取第一骨骼点坐标，以及基于骨骼点数据获取第二骨骼点坐标。控制器250可以计算第一骨骼点坐标和第二骨骼点坐标的匹配度，以及根据匹配度计算健身跟练评分。
需要说明的是，显示设备自行调节焦距的实施例，可以参照前述终端设备调节焦距的实施例，此处不再一一描述。
在一些实施例中，用户可以选择采集用户图像的方式。在接收到用户指示进行健身跟练的指令后，控制器250可以控制显示器260显示用户图像采集方式界面。图15示出了一些实施例中用户图像采集方式界面的示意图。如图15所示，用户图像采集方式界面中包括当前可选用的采集方式，包括图像采集器采集(即显示设备200自行采集用户图像)和终端设备采集。用户可以选择其中一种方式，指示显示设备200获取用户图像。
在一些实施例中，考虑到显示设备200中可能没有安装图像采集器，因此显示设备200可以自行决定用户图像采集方式。
响应于指示进行健身跟练的指令，控制器250可以获取外部装置接口的设备连接状态。如果设备连接状态为外部装置接口连接有图像采集器，则控制器250可以控制图像采集器采集用户图像。如果设备连接状态为外部装置接口没有连接图像采集器，则可以利用终端设备采集用户图像，控制器250可以发送用户图像采集指令至终端设备，以使终端设备采集用户图像并发送至显示设备。
在一些实施例中，显示设备200可以根据自身的系统负载情况，自行设定用户图像采集方式。需要说明的是，显示设备200的系统负载情况会影响显示设备200是否具有足够的算力对用户图像进行骨骼点检测以及调节焦距，还可能影响到图像采集器采集图像的效率。可以预先设定一个系统负载阈值，例如80％。控制器250可以检测显示设备200当前的系统负载，如果系统负载超过系统负载阈值，则利用终端设备采集用户图像，如果系统负载未超过系统负载阈值，则显示设备200可以自行采集用户图像。系统负载可以是GPU占用率、CPU占用率和内存占用率其中的任意一个，也可以是综合考虑三个占用率。
在一些实施例中，显示设备200可能处于分屏控制场景或者多人控制场景。对于这些场景，可能是多个用户需要进行健身跟练的场景。即显示设备200需要识别出多个用户的用户图像。对于分屏控制场景来说，显示器260会分为多个区域，每个用户可以使用一个区域，每个区域中可以显示一个用户的用户图像。
在接收到指示健身跟练的指令后，控制器250可以判断显示设备200的工作场景是否为分屏控制场景，或者多人控制。
如果满足条件，则说明显示设备200需要识别出多个用户的用户图像。此时，控制器250可以进一步确定显示器260是否需要分屏。如果需要，说明每个用户使用一个区域，可以采用两个设备分别采集用户图像。图16示出了一些实施例中分屏场景下采集用户图像的示意图。如图16所示，控制器250可以控制图像采集器采集用户1的第一用户图像，同时可以接收终端设备采集的用户2的第二用户图像。此时，显示设备200可以分别显示两个用户图像。
如果显示器260不需要分屏，则可以通过一个设备直接采集用户图像。图17示出了一些实施例中显示设备200采集用户图像的示意图。如图17所示，显示设备200的图像采集器或者终端设备可以采集用户图像。
本申请实施例还提供了一种焦距调节方法，应用于显示设备，该方法包括：
步骤101、响应于指示获取用户评分的指令，发送图像采集指令至所述终端设备，图像采集指令用于使所述终端设备采集用户图像，对所述用户图像进行骨骼点检测以获取骨骼点数据，以及在采集用户图像的过程中，基于所述骨骼点数据调节图像采集焦距；
步骤102、接收所述终端设备发送的用户图像和骨骼点数据，并控制显示器显示所述用户图像；
步骤103、根据所述骨骼点数据获取所述用户图像对应的用户评分。
本申请实施例还提供了一种焦距调节方法，应用于终端设备，该方法包括：
响应于显示设备发送的图像采集指令，控制图像采集模块实时采集用户图像；
对用户图像进行骨骼点检测，以获取骨骼点数据；
将用户图像和骨骼点数据发送至显示设备，以使显示设备显示用户图像，以及根据骨骼点数据和用户图像获取用户评分；
在图像采集模块采集用户图像的过程中，基于骨骼点数据调节图像采集模块的图像采集焦距，以使用户图像中的用户人体区域位于预设区域中。
在一些实施例中，基于骨骼点数据调节图像采集模块的图像采集焦距，还包括：
基于预设周期获取检测帧用户图像以及检测帧用户图像对应的检测帧骨骼点数据；
基于检测帧骨骼点数据获取用户人体区域；
如果用户人体区域位于检测帧用户图像的预设区域中，则不调节图像采集模块的图像采集焦距；
如果用户人体区域没有位于预设区域中，则获取图像采集模块的当前图像采集焦距；以及，根据当前图像采集焦距调节图像采集模块的图像采集焦距。
在一些实施例中，用户图像包括第一区域和第二区域。如果用户人体区域位于第一区域中，根据当前图像采集焦距调节图像采集模块的图像采集焦距，还包括：
如果当前图像采集焦距小于图像采集模块支持的最大焦距，则基于预设的调节步长，对图像采集模块的图像采集焦距进行若干次放大处理，直至调节后的图像采集模块采集的用户图像中用户人体区域位于预设区域中；
如果当前图像采集焦距等于图像采集模块支持的最大焦距，则发送第一提示信息至显示设备，以使显示设备显示第一提示信息；第一提示信息用于提示用户靠近终端设备。
在一些实施例中，如果用户人体区域位于第二区域中，根据当前图像采集焦距调节图像采集模块的图像采集焦距，还包括：
如果当前图像采集焦距大于图像采集模块支持的最小焦距，则基于调节步长，对图像采集模块的图像采集焦距进行若干次缩小处理，直至调节后的图像采集模块采集的用户图像中用户人体区域位于预设区域中；
如果当前图像采集焦距等于图像采集模块支持的最小焦距，则发送第二提示信息至显示设备，以使显示设备显示第二提示信息；第二提示信息用于提示用户远离终端设备。
在一些实施例中，还包括：
控制通信模块向显示设备发送通信连接请求；
响应于显示设备反馈的通信连接提示信息，建立数据通道和指令通道；数据通道用于将用户图像发送至显示设备，指令通道用于将骨骼点数据发送至显示设备。
本申请实施例还提供了一种焦距调节方法，应用于显示设备，该方法包括：
步骤201、响应于指示进行健身跟练的指令，控制所述图像采集器采集用户图像，并控制显示器显示健身跟练界面；所述健身跟练界面包括第一播放区域和第二播放区域，所述第一播放区域用于显示标准图像，所述第二播放区域用于显示用户图像；
步骤202、在所述图像采集器采集用户图像的过程中，对所述用户图像进行骨骼点检测，以获取骨骼点数据，并基于所述骨骼点数据调节所述图像采集器的焦距，以使用户图像中的用户人体区域位于预设区域中；
步骤203、响应于指示获取健身跟练评分的指令，基于所述骨骼点数据获取健身跟练评分。
本说明书中各个实施例之间相同相似的部分互相参照即可，在此不再赘述。
本领域的技术人员可以清楚地了解到本发明实施例中的技术可借助软件加必需的通用硬件平台的方式来实现。基于这样的理解，本发明实施例中的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在存储介质中，如ROM/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例或者实施例的某些部分的方法。
最后应说明的是：以上各实施例仅用以说明本申请的技术方案，而非对其限制；尽管参照前述各实施例对本申请进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本申请各实施例技术方案的范围。
为了方便解释，已经结合具体的实施方式进行了上述说明。但是，上述示例性的讨论不是意图穷尽或者将实施方式限定到上述公开的具体形式。根据上述的教导，可以得到多种修改和变形。上述实施方式的选择和描述是为了更好的解释原理以及实际的应用，从而使得本领域技术人员更好的使用实施方式以及适于具体使用考虑的各种不同的变形的实施方式。

Claims (15)

1.一种终端设备，其特征在于，包括：
图像采集模块，被配置为采集用户图像；
通信模块，被配置为与显示设备建立通信连接；
处理器，被配置为：
响应于显示设备发送的图像采集指令，控制所述图像采集模块实时采集用户图像；
对所述用户图像进行骨骼点检测，以获取骨骼点数据；
将所述用户图像和所述骨骼点数据发送至显示设备，以使显示设备显示所述用户图像，以及根据所述骨骼点数据和所述用户图像获取用户评分；
在所述图像采集模块采集用户图像的过程中，基于所述骨骼点数据调节所述图像采集模块的图像采集焦距，以使用户图像中的用户人体区域位于预设区域中。
2.根据权利要求1所述的终端设备，其特征在于，所述处理器执行基于所述骨骼点数据调节所述图像采集模块的图像采集焦距，还被配置为：
基于预设周期获取检测帧用户图像以及所述检测帧用户图像对应的检测帧骨骼点数据；
基于所述检测帧骨骼点数据获取用户人体区域；
如果所述用户人体区域位于所述检测帧用户图像的预设区域中，则不调节所述图像采集模块的图像采集焦距；
如果所述用户人体区域没有位于所述预设区域中，则获取所述图像采集模块的当前图像采集焦距；以及，根据所述当前图像采集焦距调节所述图像采集模块的图像采集焦距。
3.根据权利要求2所述的终端设备，其特征在于，所述用户图像包括第一区域和第二区域；如果所述用户人体区域位于所述第一区域中，所述处理器执行根据所述当前图像采集焦距调节所述图像采集模块的图像采集焦距，还被配置为：
如果所述当前图像采集焦距小于所述图像采集模块支持的最大焦距，则基于预设的调节步长，对所述图像采集模块的图像采集焦距进行若干次放大处理，直至调节后的所述图像采集模块采集的用户图像中用户人体区域位于预设区域中；
如果所述当前图像采集焦距等于所述图像采集模块支持的最大焦距，则发送第一提示信息至显示设备，以使显示设备显示所述第一提示信息；所述第一提示信息用于提示用户靠近所述终端设备。
4.根据权利要求3所述的终端设备，其特征在于，如果所述用户人体区域位于所述第二区域中，所述处理器执行根据所述当前图像采集焦距调节所述图像采集模块的图像采集焦距，还被配置为：
如果所述当前图像采集焦距大于所述图像采集模块支持的最小焦距，则基于所述调节步长，对所述图像采集模块的图像采集焦距进行若干次缩小处理，直至调节后的所述图像采集模块采集的用户图像中用户人体区域位于预设区域中；
如果所述当前图像采集焦距等于所述图像采集模块支持的最小焦距，则发送第二提示信息至显示设备，以使显示设备显示所述第二提示信息；所述第二提示信息用于提示用户远离所述终端设备。
5.根据权利要求1所述的终端设备，其特征在于，所述处理器还被配置为：
控制所述通信模块向显示设备发送通信连接请求；
响应于显示设备反馈的通信连接提示信息，建立数据通道和指令通道；所述数据通道用于将所述用户图像发送至显示设备，所述指令通道用于将所述骨骼点数据发送至显示设备。
6.一种显示设备，其特征在于，包括：
显示器；
通信器，被配置为与终端设备建立通信连接；
控制器，被配置为：
响应于指示获取用户评分的指令，发送图像采集指令至所述终端设备；所述图像采集指令用于使所述终端设备采集用户图像，对所述用户图像进行骨骼点检测以获取骨骼点数据，以及在采集用户图像的过程中，基于所述骨骼点数据调节图像采集焦距，以使用户图像中的用户人体区域位于预设区域中；
接收所述终端设备发送的用户图像和骨骼点数据，并控制显示器显示所述用户图像；
根据所述骨骼点数据获取所述用户图像对应的用户评分。
7.一种显示设备，其特征在于，包括：
显示器；
外部装置接口，被配置为连接图像采集器；
控制器，被配置为：
响应于指示进行健身跟练的指令，控制所述图像采集器采集用户图像，并控制显示器显示健身跟练界面；所述健身跟练界面包括第一播放区域和第二播放区域，所述第一播放区域用于显示标准图像，所述第二播放区域用于显示用户图像；
在所述图像采集器采集用户图像的过程中，对所述用户图像进行骨骼点检测，以获取骨骼点数据，并基于所述骨骼点数据调节所述图像采集器的焦距，以使用户图像中的用户人体区域位于预设区域中；
响应于指示获取健身跟练评分的指令，基于所述骨骼点数据获取健身跟练评分。
8.根据权利要求7所述的显示设备，其特征在于，所述控制器执行基于所述骨骼点数据调节所述图像采集器的焦距，还被配置为：
基于预设周期获取检测帧用户图像以及所述检测帧用户图像对应的检测帧骨骼点数据；
基于所述检测帧骨骼点数据获取用户人体区域；
如果所述用户人体区域位于所述检测帧用户图像的预设区域中，则不调节所述图像采集器的焦距；
如果所述用户人体区域没有位于所述预设区域中，则获取所述图像采集器的当前焦距；以及，根据所述当前焦距调节所述图像采集器的焦距。
9.根据权利要求8所述的显示设备，其特征在于，所述用户图像包括第一区域和第二区域；如果所述用户人体区域位于所述第一区域中，所述控制器执行根据所述当前焦距调节所述图像采集器的焦距，还被配置为：
如果所述当前焦距小于所述图像采集器支持的最大焦距，则基于预设的调节步长，对所述图像采集器的焦距进行若干次放大处理，直至调节后的所述图像采集器采集的用户图像中用户人体区域位于预设区域中；
如果所述当前焦距等于所述图像采集器支持的最大焦距，则控制显示器显示第一提示信息；所述第一提示信息用于提示用户靠近显示设备。
10.根据权利要求9所述的显示设备，其特征在于，如果所述用户人体区域位于所述第二区域中，所述控制器执行根据所述当前焦距调节所述图像采集器的焦距，还被配置为：
如果所述当前焦距大于所述图像采集器支持的最小焦距，则基于所述调节步长，对所述图像采集器的焦距进行若干次缩小处理，直至调节后的所述图像采集器采集的用户图像中用户人体区域位于预设区域中；
如果所述当前焦距等于所述图像采集器支持的最小焦距，则控制显示器显示第二提示信息；所述第二提示信息用于提示用户远离显示设备。
11.根据权利要求7所述的显示设备，其特征在于，所述控制器执行基于所述骨骼点数据获取健身跟练评分，还被配置为：
获取所述标准图像的标准骨骼点数据；
基于所述标准骨骼点数据获取第一骨骼点坐标，以及基于所述骨骼点数据获取第二骨骼点坐标；
计算所述第一骨骼点坐标和所述第二骨骼点坐标的匹配度，以及根据所述匹配度计算健身跟练评分。
12.根据权利要求7所述的显示设备，其特征在于，响应于指示进行健身跟练的指令，所述控制器还被配置为：
获取所述外部装置接口的设备连接状态；
如果所述设备连接状态为所述外部装置接口连接有图像采集器，则执行控制所述图像采集器采集用户图像的步骤；
如果所述设备连接状态为所述外部装置接口没有连接图像采集器，则发送用户图像采集指令至终端设备，以使终端设备采集用户图像并发送至显示设备。
13.一种焦距调节方法，应用于终端设备，其特征在于，所述方法包括：
响应于显示设备发送的图像采集指令，控制图像采集模块实时采集用户图像；
对所述用户图像进行骨骼点检测，以获取骨骼点数据；
将所述用户图像和所述骨骼点数据发送至显示设备，以使显示设备显示所述用户图像，以及根据所述骨骼点数据和所述用户图像获取用户评分；
在所述图像采集模块采集用户图像的过程中，基于所述骨骼点数据调节所述图像采集模块的图像采集焦距，以使用户图像中的用户人体区域位于预设区域中。
14.一种焦距调节方法，应用于显示设备，其特征在于，所述方法包括：
响应于指示获取用户评分的指令，发送图像采集指令至终端设备；所述图像采集指令用于使所述终端设备采集用户图像，对所述用户图像进行骨骼点检测以获取骨骼点数据，以及在采集用户图像的过程中，基于所述骨骼点数据调节图像采集焦距，以使用户图像中的用户人体区域位于预设区域中；
接收所述终端设备发送的用户图像和骨骼点数据，并控制显示器显示所述用户图像；
根据所述骨骼点数据获取所述用户图像对应的用户评分。
15.一种焦距调节方法，应用于显示设备，其特征在于，所述方法包括：
响应于指示进行健身跟练的指令，控制图像采集器采集用户图像，并控制显示器显示健身跟练界面；所述健身跟练界面包括第一播放区域和第二播放区域，所述第一播放区域用于显示标准图像，所述第二播放区域用于显示用户图像；
在所述图像采集器采集用户图像的过程中，对所述用户图像进行骨骼点检测，以获取骨骼点数据，并基于所述骨骼点数据调节所述图像采集器的焦距，以使用户图像中的用户人体区域位于预设区域中；
响应于指示获取健身跟练评分的指令，基于所述骨骼点数据获取健身跟练评分。
CN202310702006.2A 2023-06-13 2023-06-13 终端设备、显示设备和焦距调节方法 Pending CN117156208A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310702006.2A CN117156208A (zh) 2023-06-13 2023-06-13 终端设备、显示设备和焦距调节方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310702006.2A CN117156208A (zh) 2023-06-13 2023-06-13 终端设备、显示设备和焦距调节方法

Publications (1)

Publication Number Publication Date
CN117156208A true CN117156208A (zh) 2023-12-01

Family

ID=88908801

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310702006.2A Pending CN117156208A (zh) 2023-06-13 2023-06-13 终端设备、显示设备和焦距调节方法

Country Status (1)

Country Link
CN (1) CN117156208A (zh)

Similar Documents

Publication Publication Date Title
WO2020248668A1 (zh) 一种显示器及图像处理方法
WO2020248640A1 (zh) 一种显示设备
CN113596552B (zh) 显示设备及信息显示方法
WO2021031809A1 (zh) 一种界面显示方法及显示设备
CN112866772B (zh) 一种显示设备及声像人物定位追踪方法
US20130265448A1 (en) Analyzing Human Gestural Commands
WO2022100262A1 (zh) 显示设备、人体姿态检测方法及应用
CN112672062B (zh) 一种显示设备及人像定位方法
WO2020248697A1 (zh) 显示设备及视频通讯数据处理方法
US20230209204A1 (en) Display apparatus and camera tracking method
WO2021088892A1 (zh) 焦点切换方法、投影显示设备及系统
CN111835969A (zh) 一种控制摄像头角度的交互方法及显示设备
CN113489938B (zh) 虚拟会议控制方法、智能设备及终端设备
CN113473024A (zh) 显示设备、云台摄像头和摄像头控制方法
CN111939561A (zh) 显示设备及交互方法
CN115623243A (zh) 显示设备、终端设备及动作跟练方法
CN117156208A (zh) 终端设备、显示设备和焦距调节方法
WO2020248682A1 (zh) 一种显示设备及虚拟场景生成方法
CN117793424A (zh) 显示设备和分辨率设置方法
CN114924648A (zh) 显示设备、终端设备和手势交互方法
CN116506678A (zh) 一种显示设备及融合虚拟人物的媒资播放方法
CN116320602A (zh) 一种显示设备及视频播放方法
CN117806577A (zh) 显示设备和显示设备控制方法
CN117939234A (zh) 显示设备及视频播放参数的自动调整方法
CN116489453A (zh) 显示设备、终端设备及连屏动作评分显示方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination