CN116506678A - 一种显示设备及融合虚拟人物的媒资播放方法 - Google Patents

Abstract

本申请一些实施例提供一种显示设备及融合虚拟人物的媒资播放方法，所述方法可以响应于媒资数据的播放指令，检测媒资数据的画面帧。再提取画面帧的调整特征数据，并基于调整特征数据生成特征缩放参数与特征定位参数。按照特征缩放参数缩放基准特征模型，以生成目标特征模型。其中，基准特征模型为根据基准特征数据生成的虚拟人物模型。再根据特征定位参数渲染目标特征模型，使目标特征模型的显示于媒资数据对应播放画面的显示层级的上层。所述方法可以将虚拟人物与播放画面中的显示人物等底等高显示，使虚拟人物与媒资数据的播放画面融合，提升虚拟人物的显示效果。

Description

一种显示设备及融合虚拟人物的媒资播放方法

技术领域

本申请涉及显示设备技术领域，尤其涉及一种显示设备及融合虚拟人物的媒资播放方法。

背景技术

显示设备是指能够输出具体显示画面的终端设备，可以是智能电视、通信终端、智能广告屏、投影仪等终端设备。以智能电视为例，智能电视是基于Internet应用技术，具备开放式操作系统与芯片，拥有开放式应用平台，可实现双向人机交互功能，集影音、娱乐、数据等多种功能于一体的电视产品，用于满足用户多样化和个性化需求。

显示设备还可以在播放视频时，同步显示与其连接的摄像头所采集的画面。比如，显示设备在显示播放运动视频时，还在用户界面中显示摄像头实时拍摄的用户跟练画面，使用户可以将自身的动作与视频动作进行对比。因此，显示设备可以将其中一个画面以悬浮窗的方式显示在用户界面中。

然而，为了不影响用户观看视频的内容，悬浮窗口需显示在如左上角、右上角等不遮挡视频画面的位置。这样，视频画面与摄像头采集的画面则存在较大的距离，容易分散用户的注意力，使用户无法同时兼顾两个画面的内容，即显示设备不能同时兼顾视频画面与摄像头画面的显示位置，导致显示设备的显示效果不佳。

发明内容

本申请提供了一种显示设备及融合虚拟人物的媒资播放方法，以解决显示设备的显示效果不佳的问题。

第一方面，本申请一些实施例提供一种显示设备，包括显示器、图像接口与控制器。其中，所述显示器被配置为显示用户界面；所述图像接口被配置为采集用户图像，所述用户图像包括基准特征数据；所述控制器被配置为执行以下程序步骤：

响应于媒资数据的播放指令，检测所述媒资数据的画面帧；

提取所述画面帧的调整特征数据；

基于所述调整特征数据生成特征缩放参数与特征定位参数；

按照所述特征缩放参数缩放基准特征模型，以生成目标特征模型，所述基准特征模型为根据所述基准特征数据生成的虚拟人物模型；

根据所述特征定位参数渲染所述目标特征模型，所述目标特征模型的显示层级高于所述媒资数据对应播放画面的显示层级。

第二方面，本申请一些实施例还提供一种融合虚拟人物的媒资播放方法，包括：

响应于媒资数据的播放指令，检测所述媒资数据的画面帧；

提取所述画面帧的调整特征数据；

基于所述调整特征数据生成特征缩放参数与特征定位参数；

按照所述特征缩放参数缩放基准特征模型，以生成目标特征模型，所述基准特征模型为根据基准特征数据生成的虚拟人物模型；

根据所述特征定位参数渲染所述目标特征模型，所述目标特征模型的显示层级高于所述媒资数据对应播放画面的显示层级。

由以上技术方案可知，本申请一些实施例提供的显示设备及融合虚拟人物的媒资播放方法可以响应于媒资数据的播放指令，检测媒资数据的画面帧。再提取画面帧的调整特征数据，并基于调整特征数据生成特征缩放参数与特征定位参数。按照特征缩放参数缩放基准特征模型，以生成目标特征模型。其中，基准特征模型为根据基准特征数据生成的虚拟人物模型。再根据特征定位参数渲染目标特征模型，其中，目标特征模型的显示层级高于媒资数据对应播放画面的显示层级。所述方法可以将虚拟人物与播放画面中的显示人物等底等高显示，使虚拟人物与媒资数据的播放画面融合，提升虚拟人物的显示效果。

附图说明

为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本申请一些实施例提供的显示设备与控制装置之间操作场景的示意图；

图2为本申请一些实施例提供的显示设备的硬件配置示意图；

图3为本申请一些实施例提供的控制装置的硬件配置示意图；

图4为本申请一些实施例提供的显示设备的软件配置示意图；

图5为本申请一些实施例提供的显示设备向服务器获取媒资数据的交互示意图；

图6为本申请一些实施例提供的对媒资数据执行解码的流程示意图；

图7为本申请一些实施例提供的渲染目标特征人物的流程示意图；

图8为本申请一些实施例提供的融合虚拟人物的媒资播放方法的流程示意图；

图9为本申请一些实施例提供的一种基准特征模型的效果示意图；

图10为本申请一些实施例提供的基于调整特征数据生成特征缩放参数的流程示意图；

图11为本申请一些实施例提供的基于调整特征数据生成特征定位参数的流程示意图；

图12为本申请一些实施例提供的目标特征模型的渲染效果示意图；

图13为本申请一些实施例提供的播放窗口与目标特征模型的层级效果示意图；

图14为本申请一些实施例提供的目标特征模型与媒资数据融合显示的效果示意图。

具体实施方式

为使本申请示例性实施例的目的、技术方案和优点更加清楚，下面将结合本申请示例性实施例中的附图，对本申请示例性实施例中的技术方案进行清楚、完整地描述，显然，所描述的示例性实施例仅是本申请一部分实施例，而不是全部的实施例。

基于本申请中示出的示例性实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。此外，虽然本申请中公开内容按照示范性一个或几个实例来介绍，但应理解，可以就这些公开内容的各个方面也可以单独构成一个完整技术方案。

应当理解，本申请中说明书和权利要求书及上述附图中的术语“第一”、“第二”、“第三”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，例如能够根据本申请实施例图示或描述中给出那些以外的顺序实施。

此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖但不排他的包含，例如，包含了一系列组件的产品或设备不必限于清楚地列出的那些组件，而是可包括没有清楚地列出的或对于这些产品或设备固有的其它组件。

本申请实施方式提供的显示设备可以具有多种实施形式，例如，可以是电视、智能电视、激光投影设备、显示器(monitor)、电子白板(electronic bulletin board)、电子桌面(electroni c table)等。图1和图2为本申请的显示设备的一种具体实施方式。

图1为根据实施例中显示设备与控制装置之间操作场景的示意图。如图1所示，用户可通过智能设备300或控制装置100操作显示设备200。

在一些实施例中，控制装置100可以是遥控器，遥控器和显示设备的通信包括红外协议通信或蓝牙协议通信，及其他短距离通信方式，通过无线或有线方式来控制显示设备200。用户可以通过遥控器上按键、语音输入、控制面板输入等输入用户指令，来控制显示设备200。

在一些实施例中，也可以使用智能设备300(如移动终端、平板电脑、计算机、笔记本电脑等)以控制显示设备200。例如，使用在智能设备上运行的应用程序控制显示设备200。

在一些实施例中，显示设备可以不使用上述的智能设备或控制设备接收指令，而是通过触摸或者手势等接收用户的控制。

在一些实施例中，显示设备200还可以采用除了控制装置100和智能设备300之外的方式进行控制，例如，可以通过显示设备200设备内部配置的获取语音指令的模块直接接收用户的语音指令控制，也可以通过显示设备200设备外部设置的语音控制装置来接收用户的语音指令控制。

在一些实施例中，显示设备200还与服务器400进行数据通信。可允许显示设备200通过局域网(LAN)、无线局域网(WLAN)和其他网络进行通信连接。服务器400可以向显示设备200提供各种内容和互动。服务器400可以是一个集群，也可以是多个集群，可以包括一类或多类服务器。

图2示例性示出了根据示例性实施例中控制装置100的配置框图。如图2所示，控制装置100包括控制器110、通信接口130、用户输入/输出接口140、存储器、供电电源。控制装置100可接收用户的输入操作指令，且将操作指令转换为显示设备200可识别和响应的指令，起用用户与显示设备200之间交互中介作用。

如图3，显示设备200包括调谐解调器210、通信器220、检测器230、外部装置接口240、控制器250、显示器260、音频输出接口270、存储器、供电电源、用户接口中的至少一种。

在一些实施例中控制器包括处理器，视频处理器，音频处理器，图形处理器，RAM，ROM，用于输入/输出的第一接口至第n接口。

显示器260包括用于呈现画面的显示屏组件，以及驱动图像显示的驱动组件，用于接收源自控制器输出的图像信号，进行显示视频内容、图像内容以及菜单操控界面的组件以及用户操控UI界面。

显示器260可为液晶显示器、OLED显示器、以及投影显示器，还可以为一种投影装置和投影屏幕。

通信器220是用于根据各种通信协议类型与外部设备或服务器进行通信的组件。例如：通信器可以包括Wifi模块，蓝牙模块，有线以太网模块等其他网络通信协议芯片或近场通信协议芯片，以及红外接收器中的至少一种。显示设备200可以通过通信器220与控制装置100或服务器400建立控制信号和数据信号的发送和接收。

用户接口，可用于接收控制装置100(如：红外遥控器等)的控制信号。

检测器230用于采集外部环境或与外部交互的信号。例如，检测器230包括光接收器，用于采集环境光线强度的传感器；或者，检测器230包括图像采集器，如摄像头，可以用于采集外部环境场景、用户的属性或用户交互手势，再或者，检测器230包括声音采集器，如麦克风等，用于接收外部声音。

外部装置接口240可以包括但不限于如下：高清多媒体接口(HDMI)、模拟或数据高清分量输入接口(分量)、复合视频输入接口(CVBS)、USB输入接口(USB)、RGB端口等任一个或多个接口。也可以是上述多个接口形成的复合性的输入/输出接口。

调谐解调器210通过有线或无线接收方式接收广播电视信号，以及从多个无线或有线广播电视信号中解调出音视频信号，如以及EPG数据信号。

在一些实施例中，控制器250和调谐解调器210可以位于不同的分体设备中，即调谐解调器210也可在控制器250所在的主体设备的外置设备中，如外置机顶盒等。

控制器250，通过存储在存储器上中各种软件控制程序，来控制显示设备的工作和响应用户的操作。控制器250控制显示设备200的整体操作。例如：响应于接收到用于选择在显示器260上显示UI对象的用户命令，控制器250便可以执行与由用户命令选择的对象有关的操作。

在一些实施例中控制器包括中央处理器(Central Processing Unit，CPU)，视频处理器，音频处理器，图形处理器(Graphics Processing Unit，GPU)，RAM(Random AccessMem ory，RAM)，ROM(Read-Only Memory,ROM)，用于输入/输出的第一接口至第n接口，通信总线(Bus)等中的至少一种。

用户可在显示器260上显示的图形用户界面(GUI)输入用户命令，则用户输入接口通过图形用户界面(GUI)接收用户输入命令。或者，用户可通过输入特定的声音或手势进行输入用户命令，则用户输入接口通过传感器识别出声音或手势，来接收用户输入命令。

“用户界面”，是应用程序或操作系统与用户之间进行交互和信息交换的介质接口，它实现信息的内部形式与用户可以接受形式之间的转换。用户界面常用的表现形式是图形用户界面(Graphic User Interface，GUI)，是指采用图形方式显示的与计算机操作相关的用户界面。它可以是在电子设备的显示屏中显示的一个图标、窗口、控件等界面元素，其中控件可以包括图标、按钮、菜单、选项卡、文本框、对话框、状态栏、导航栏、Widget等可视的界面元素。

如图4，在一些实施例中，将系统分为四层，从上至下分别为应用程序(Applications)层(简称“应用层”)，应用程序框架(Application Framework)层(简称“框架层”)，安卓运行时(Android runtime)和系统库层(简称“系统运行库层”)，以及内核层。

在一些实施例中，应用程序层中运行有至少一个应用程序，这些应用程序可以是操作系统自带的窗口(Window)程序、系统设置程序或时钟程序等；也可以是第三方开发者所开发的应用程序。在具体实施时，应用程序层中的应用程序包不限于以上举例。

框架层为应用程序提供应用编程接口(application programming interface，API)和编程框架。应用程序框架层包括一些预先定义的函数。应用程序框架层相当于一个处理中心，这个中心决定让应用层中的应用程序做出动作。应用程序通过API接口，可在执行中访问系统中的资源和取得系统的服务。

如图4所示，本申请实施例中应用程序框架层包括管理器(Managers)，内容提供者(Content Provider)等，其中管理器包括以下模块中的至少一个：活动管理器(ActivityManag er)用与和系统中正在运行的所有活动进行交互；位置管理器(Location Manager)用于给系统服务或应用提供了系统位置服务的访问；文件包管理器(Package Manager)用于检索当前安装在设备上的应用程序包相关的各种信息；通知管理器(NotificationManager)用于控制通知消息的显示和清除；窗口管理器(Window Manager)用于管理用户界面上的括图标、窗口、工具栏、壁纸和桌面部件。

在一些实施例中，活动管理器用于管理各个应用程序的生命周期以及通常的导航回退功能，比如控制应用程序的退出、打开、后退等。窗口管理器用于管理所有的窗口程序，比如获取显示屏大小，判断是否有状态栏，锁定屏幕，截取屏幕，控制显示窗口变化(例如将显示窗口缩小显示、抖动显示、扭曲变形显示等)等。

在一些实施例中，系统运行库层为上层即框架层提供支撑，当框架层被使用时，安卓操作系统会运行系统运行库层中包含的C/C++库以实现框架层要实现的功能。

在一些实施例中，内核层是硬件和软件之间的层。如图4所示，内核层至少包含以下驱动中的至少一种：音频驱动、显示驱动、蓝牙驱动、摄像头驱动、WIFI驱动、USB驱动、HDMI驱动、传感器驱动(如指纹传感器，温度传感器，压力传感器等)、以及电源驱动等。

基于上述显示设备200，显示设备200可以接收用户的控制指令，并根据控制指令执行数据处理，以通过显示器260呈现不同内容的用户界面。在一些实施例中，控制指令可以为用户通过控制装置100输入的，例如显示设备200配套的遥控器等；或者，控制指令还可以为用户通过语音或触控操作输入的。

在一些实施例中，显示设备200可以根据用户输入的控制指令与服务器进行通信，实现媒资数据的交互。用户可以向显示设备200发送控制指令，以启动显示设备的媒资播放应用。在媒资播放应用启动后，显示设备200则显示媒资播放应用的应用界面。其中，媒资播放应用的应用界面中可以包括多个媒资项目，每个媒资项目对应一个网络链接，所述网络链接为该媒资项目所对应媒资数据的统一资源定位符。

如图5所示，在一些实施例中，显示设备200与服务器400通信的过程中，显示设备200可以向服务器400发送包括网络链接的获取请求，以获取媒资项目对应的媒资数据。因此，服务器400在接收到显示设备200发送的获取请求后，根据所述获取请求提取对应的媒资数据，并将提取的媒资数据返回至显示设备200。

为了实现显示设备200与服务器400之间的数据交互，显示设备200需要与服务器400之间建立通信连接。例如，显示设备200和服务器400均可以连接互联网，并通过互联网传输协议，在显示设备200和服务器400之间传递交互数据。

需要说明的是，显示设备200和服务器400还可以采用其他连接方式建立通信连接关系。例如，有线宽带、无线局域网、蜂窝网络、蓝牙、红外、射频通信等方式。

显示设备200和服务器400之间可以是“多对一”的连接关系，即多个显示设备200可以与同一个服务器400建立通信连接，使服务器400可以为多个显示设备200提供服务。显示设备200和服务器400之间也可以是“多对多”的连接关系，即多个显示设备200可以与多个服务器400建立通信连接，使多个服务器400能够分别为显示设备200提供不同的服务。显然，在个别应用场景中，显示设备200和服务器400之间还可以是“一对一”的连接关系，即一个服务器400专门为一个显示设备200提供服务。

显示设备200可以实时地从服务器400获取媒资数据，并通过解码等处理，以持续形成所述媒资数据的播放画面。在一些实施例中，当媒资数据的播放过程中断时，显示设备200可以自动记录媒资数据的播放进度，以生成历史记录。历史记录可以使用户再次对该媒资数据进行播放时，直接按照记录的播放进度继续进行播放，以满足用户继续观看的需求。

并且，在一些实施例中，显示设备200还监测媒资项目的状态。当媒资项目处于被选定的状态时，生成媒资项目所对应媒资数据的播放指令。显示设备200则响应于播放指令，向服务器发送媒资数据的获取请求，以加载媒资项目的媒资数据。

如图6所示，显示设备200在获得媒资数据后，还对媒资数据进行处理，以将媒资数据转化为可供用户观看的播放画面。即在一些实施例中，显示设备200还响应于媒资数据的播放指令，创建媒资数据的播放窗口。再对媒资数据执行解码，以获得媒资数据的播放画面。其中，播放画面为按照时间顺序排列的画面帧。显示设备200在显示播放画面时，按照画面帧的时间顺序逐帧播放。在对媒资数据执行解码后，显示设备200再控制显示器260通过播放窗口显示媒资数据的播放画面。

例如：用户在显示设备200中启动健身应用，并在健身应用的应用界面中选定媒资A。显示设备200则生成媒资A的播放指令，向服务器400发送媒资数据的获取请求，以获取媒资A的媒资数据。同时，显示设备200还响应于媒资A的播放指令，创建媒资A的媒体播放器与播放窗口。媒体播放器可以对媒资数据的数据流执行解码，再通过播放窗口显示媒资A的播放画面。

在一些实施例中，显示设备200的应用层可以包括多种类型的应用，如健身应用、媒资播放应用、摄像头应用等。用户可以通过在显示设备200中启动不同类型的应用程序，获取不同类型的媒资数据。并且，还可以通过启动不同类型的应用程序实现更多的功能。例如，显示设备200在播放媒资数据时，还可以同时启动图像接口241实时采集用户图像。

例如：显示设备200的应用层包括健身应用。用户在显示设备200中启动健身应用后，显示设备200则显示健身应用的主页界面。健身应用的主页界面包括多个如健身操视频、瑜伽视频等运动素材的媒资项目。在用户对媒资项目执行选定操作后，显示设备200则向服务器400发送获取请求，以加载对应的媒资数据。用户通过显示设备200的健身应用运动时，健身应用还可以启动图像接口241连接的图像采集器，并通过图像采集器实时采集用户图像，再控制显示器260显示用户图像。这样，用户则可以将自身的运动状态与运动视频的运动状态进行实时对比，增强用户的交互体验。

为了实现将媒资数据及用户图像同时显示，在一些实施例中，显示设备200创建悬浮窗口，并通过悬浮窗口将媒资数据或用户图像其中一个的播放画面悬浮显示在另一个画面上，以在显示器260中同时播放显示两个播放画面。并且，为了不影响用户观看悬浮窗口下的画面内容，悬浮窗口可设置于左上角、右上角等不遮挡底层画面的位置。

但是，由于设置在边缘位置的悬浮窗口与底层窗口之间存在较远的距离，在观看两个窗口的画面时，用户的注意力则容易被分散，导致用户无法同时兼顾两个画面的内容，降低用户的交互感。而如果为了缩小播放窗口之间的距离，将两个播放窗口并排设置在同一水平位置，则会使播放窗口的尺寸被压缩，降低播放画面的显示效果。

基于上述应用场景，为了改善显示设备200同时显示媒资数据与用户图像时的显示效果，本申请一些实施例提供一种显示设备200，如图7所示，包括显示器260、图像接口241与控制器250。其中，所述显示器260被配置为显示用户界面；所述图像接口241被配置为采集用户图像，以使显示设备200可以基于所述用户图像生成显示画面或虚拟模型。

在一些实施例中，图像接口241可以连接外部的图像采集器或连接显示设备200内置的图像采集模块，以通过图像采集器或图像采集模块实时采集包括用户肢体的用户图像。例如，图像采集器与图像采集模块均可以为摄像头。

在一些实施例中，图像采集器或图像采集模块为摄像头时，可以受显示设备200中控制器250的统一控制，并且可以将采集到的用户图像直接发送给控制器250。显然，为了便于采集用户图像，摄像头应设置在显示设备200上的特定位置。例如，对于智能电视等显示设备200，摄像头可以设置在智能电视的顶部，并且摄像头的拍摄方向与智能电视的屏幕光发出方向相同，从而能够实时拍摄到位于智能电视屏幕前的用户图像。

如图8所示，所述控制器250被配置为执行以下程序步骤：

S100：响应于媒资数据的播放指令，检测媒资数据的画面帧。

显示设备200接收到媒资数据的播放指令后，还对媒资数据中的画面帧进行检测，以对画面帧中的显示内容进行识别。为了在同时显示用户图像及媒资数据时改善显示效果，显示设备200可以将用户图像与媒资数据的播放画面融合。因此，为了使显示的用户图像与媒资数据的播放画面相匹配，显示设备200可以通过检测媒资数据的画面帧，对画面帧中包括的显示人物进行识别，以判断画面帧中显示人物的高度及位置。

由于用户图像中还包括多余的背景内容，所以在一些实施例中，显示设备200还可以根据图像接口241采集的用户图像生成虚拟人物模型，并控制显示器260在用户界面中渲染虚拟人物模型。再根据用户图像中的肢体动作，驱动虚拟人物同步动作，以在用户界面中通过虚拟人物模型呈现用户的运动状态。通过虚拟人物模型既可以在显示设备中实时地呈现用户的肢体动作，又可以减少用户图像中多余背景的干扰。

并且，为了使虚拟人物模型与用户的肢体相关联，显示设备200还可以根据用户的肢体关节点绘制虚拟人物模型，以作为显示设备200的基准特征模型。因此，在一些实施例中，显示设备200在启动图像接口241时，监测图像接口241的启动状态。如果图像接口的启动状态为正常状态，则进入启动预览模式，以及采集一张用户图像作为预览帧图像。其中，图像接口241的启动状态包括图像接口241是否正常启动，以及图像接口241所连接的图像采集器或图像采集模块是否正常启动。通过采集预览帧图像的方式可以检测出预览帧中用户的基准肢体关节点，再根据基准肢体关节点生成特征点集合，以作为基准特征数据。

反之，如果图像接口241的启动状态为异常状态，显示设备200则控制显示器260显示图像采集异常的提示窗口，以提示用户进行排查。例如，异常状态为图像接口241与外接的图像采集器接触不良的问题时，用户可以根据提示窗口的提示信息重新连接图像接口241与外接的图像采集器，以解除图像接口241的异常状态。

在一些实施例中，显示设备200获取预览帧图像，所述预览帧图像为图像接口241在启动预览时采集的用户图像，再基于肢体检测算法在预览帧图像中提取基准特征数据。其中，基准特征数据为基于基准肢体关节点生成的特征点集合，且所述基准肢体关节点包括预览帧中肢体关节位置的关键点坐标。即显示设备200可以对预览帧中各个肢体关节点的特征点进行识别，再通过预设的关键点坐标表示对应的特征点，以形成基准特征数据。

例如：预设的关键点坐标格式为：0-鼻子，1-右肩，2-左肩，3-右肘，4-左肘，5-右腕，6-左腕，7-右髋，8-左髋，9-右膝，10-左膝，11-右踝，12-左踝。显示设备200在预览中识别到上述肢体关键点后，则形成基准特征数据：0、1、2、3、4、5、6、7、8、9、10、11、12。

显示设备200提取到预览帧的基准特征数据后，按照配置参数绘制基准肢体关节点的连接线，以生成基准特征模型。其中，配置参数包括预设的连接顺序与模型高度。即显示设备200根据在预览帧中检测到的基准肢体关节点，获取用户的各个肢体关节点。再通过将各个基准关节点连接，生成基准特征模型。

例如：预设的关键点坐标格式为：0-鼻子，1-右肩，2-左肩，3-右肘，4-左肘，5-右腕，6-左腕，7-右髋，8-左髋，9-右膝，10-左膝，11-右踝，12-左踝。显示设备200在预览帧中提取的基准特征数据为0、1、2、3、4、5、6、7、8、9、10、11、12，则按照以下规则连接基准各个肢体关节点：头部：0；左肩膀连接采用：1→3→5；右肩膀连线采用：2→4→6；肩部连线采用关节点：1→2；腰部连线采用关节点：7→8。如图9所示，图9为一种基准特征模型的效果示意图。

S200：提取画面帧的调整特征数据。

由于画面帧中的显示人物与基准特征模型中虚拟人物的高度可能不相同，如果将虚拟人物与媒资数据的播放画面融合，可能会出现画面不协调等问题，降低显示设备200的显示效果。因此，显示设备200在检测出媒资数据的画面帧后，提取画面帧中的调整特征数据，即显示人物的肢体关节点，以作为基准特征模型的调整参数。通过调整特征数据可以调节基准特征模型的高度及位置，以使基准特征模型可以与媒资数据的融合画面更加协调。

S300：基于调整特征数据生成特征缩放参数与特征定位参数。

显示设备200获取到上述调整特征数据后，可以根据调整特征数据确定基准特征模型的缩放比例及渲染位置，以作为特征缩放参数与特征定位参数。其中，特征缩放参数用于对基准特征模型进行放大或缩小，特征定位参数用于确定基准特征模型的渲染位置。

如图10所示，在一些实施例中，显示设备200基于调整特征数据生成特征缩放参数时，获取媒资数据的第一画面帧。其中，第一画面帧为显示设备200在加载的媒资数据中随机抽取的一帧画面帧。显示设备200在媒资数据中获取第一画面帧后，检测第一画面帧的调整特征数据，所述调整特征参数包括第一画面帧中的肢体关节点数量。由于媒资数据的播放画面中，显示人物可能会由于侧身等情况未展示出全部的肢体关节点，或者某帧画面帧中可能不包括显示人物。而如果画面帧中包括的肢体关节点较少或不存在显示人物，显示设备200则无法对显示人物的位置及高度进行判断。因此，显示设备200在获取第一画面帧后，对第一画面帧中包括的肢体关节点数量进行检测。如果肢体关节点数量大于关节点阈值，说明第一画面帧中包括足够的肢体关节点，则计算肢体关节点之间的距离，以作为特征缩放参数。

例如：关节点阈值为8；显示设备200在获取到媒资数据的第一画面帧后，则基于肢体检测算法对第一画面帧中的肢体关节点进行识别，以获取第一画面帧中包括的肢体关节点数量。当肢体关节点数量大于8时，计算相邻肢体关节点之间的距离，以作为特征缩放参数与基准特征模型进行对比。

显然，在检测到第一画面帧的数据小于或等于关节点阈值时，显示设备200则需在媒资数据中重新获取画面帧，直至获取的画面帧中包括足够的肢体关节点。由于媒资数据包括多个时间点的画面帧，所以可以根据画面帧对应的时间点获取与第一画面帧不同的画面帧。因此，如果肢体关节点数量小于或等于关节点阈值，获取媒资数据的第二画面帧，以根据第二画面帧中肢体关节点之间的距离计算特征缩放参数。其中，第二画面帧为与第一画面帧不同时间点的画面帧。

如图11所示，在一些实施例中，显示设备200基于调整特征数据生成特征定位参数时，获取媒资数据的第一画面帧。其中，第一画面帧为显示设备200在加载的媒资数据中随机抽取的一帧画面帧。显示设备200在媒资数据中获取第一画面帧后，检测第一画面帧的调整特征数据。其中，调整特征数据包括第一画面帧中的肢体关节点，例如脚踝的肢体关节点、左肩的肢体关节点以及右腕的肢体关节点等。由于特征定位参数用于确定基准特征模型的渲染位置，所以需要通过一个特定的关节点确定媒资数据中显示人物的位置。因此，显示设备200预设用于确定显示人物位置的定位特征点。例如，定位特征点可以为鼻子或脚踝，也可以为二者的组合等。

如果肢体关节点存在定位特征点，说明第一画面帧中包括显示设备200预设的定位特征点，可以通过第一画面帧确定显示人物的水平位置，则获取定位特征点的水平位置，以作为特征定位参数。其中，定位特征点为在预设肢体关节位置的关键点。如果肢体关节点不存在定位特征点，说明第一画面帧中不存在预设的定位特征点，通过第一画面帧不能确定显示人物的水平位置，则获取媒资数据的第二画面帧，以根据第二画面帧的定位特征点计算特征定位参数。其中，第二画面帧为与第一画面帧不同时间点的画面帧。

也就是说，显示设备200可以根据预设的定位特征点确定媒资数据中显示人物的水平位置。因此，显示设备200需要在媒资数据中获取画面帧检测画面帧中显示人物的定位特征点位置。而由于媒资数据中画面帧的显示人物可能存在由于特殊的动作或当前画面帧中未出现显示人物的情况，所以在画面帧中不存在定位特征点时，显示设备200则重新在媒资数据中获取画面帧，直至画面帧中存在定位特征点。

例如：定位特征点可以为鼻子或脚踝的关键点。显示设备200获取媒资数据的第一画面帧，在第一画面帧存在脚踝的关键点时，获取脚踝的关键点的水平位置，以作为特征定位参数。显示设备200在渲染虚拟人物模型时，则按照特征定位参数对应的位置进行渲染。

此外，由于媒资数据中显示人物的姿态在不断变化，所以可能会出现特殊的位姿情况，例如下蹲、侧躺等。为了提高特征定位参数的定位准确性，在一些实施例中，显示设备200获取预设数量的采样画面帧，例如，8张、10张等。其中，采样画面帧为媒资数据中包括定位特征点的画面帧。再获取采样画面帧中定位特征点的水平位置，以作为采样集合。计算所述采样集合中的众数，以作为特征定位参数。因此，显示设备200可以通过获取多帧画面帧计算特征定位参数，改善媒资数据中显示人物的特殊姿态对特征定位参数准确性的影响，提高特征定位参数的定位准确性。

S400：按照特征缩放参数缩放基准特征模型，以生成目标特征模型。

显示设备200基于调整特征数据计算出特征缩放参数后，则按照特征缩放参数对基准特征模型进行等比例地放大或缩小。其中，基准特征模型为根据基准特征数据生成的虚拟人物模型。显示设备200按照特征缩放参数缩放基准特征模型后生成目标特征模型，目标特征模型的高度则与媒资数据中显示人物的高度一致，二者的融合画面也更为协调。

在一些实施例中，显示设备200按照特征缩放参数缩放基准特征模型时，根据特征缩放参数检测缩放高度。其中，缩放高度等于媒资数据中显示人物的高度。为了将目标特征模型的高度与媒资数据中显示人物的高度保持一致，显示设备200可以通过特征缩放参数检测显示人物的高度，以将显示人物的高度与基准特征模型的高度进行对比。显示设备200检测出缩放高度后，计算缩放高度与模型高度的比值，以作为基准特征模型的缩放比例。再按照比值调节连接线的长度，以将基准特征模型放大或缩小。

例如：基准模型的高度为h。显示设备200根据特征缩放参数检测出缩放高度为H，即媒资数据中显示人物的高度为H。按照h与H的数值计算基准特征模型的缩放比例再缩放比scale，对基准虚拟人进行缩放，形成如图12所示的目标特征模型。

S500：根据特征定位参数渲染目标特征模型。

显示设备200按照特征缩放参数的缩放基准特征模型后，根据特征定位参数在用户界面中渲染目标特征模型，以将媒资数据的播放画面与目标特征模型融合显示。其中，目标特征模型的显示层级高于媒资数据对应播放画面的显示层级。这样，目标特征模型则与媒资数据中的显示人物等底等高显示，使播放画面更加协调。用户在观看自身动作状态的同时，可以很好地兼顾媒资数据的画面内容。

在一些实施例中，显示设备200根据特征定位参数渲染目标特征模型时，检测目标特征模型的定位特征点，并将目标特征模型的定位特征点设置于特征定位参数的水平高度。然后，在水平高度处渲染目标特征模型，以使目标特征模型与媒资数据的显示人物对齐显示。即显示设备200可以对目标特征模型中的定位特征点位置进行检测，将目标定位模型的定位特征点设置在特征定位参数的水平高度，并在该水平高度渲染目标特征模型。如图12所示，目标特征模型则可以与媒资数据中的显示人物位于同一水平线上。

在一些实施例中，显示设备200通过播放窗口显示媒资数据的播放画面，并通过OpenGl(开放库文件)绘制目标特征模型。如图13所示，目标特征模型的层级位于播放窗口的层级之上，使两个层级可以分别实现自身的功能，互不干扰。

显示设备200可以基于上述实施例，将目标特征模型与媒资数据的播放画面融合显示。而为了增强目标特征模型在播放画面中的显示效果，在一些实施例中，显示设备200还采集画面帧的像素颜色。再提取画面帧中占比最大的像素颜色，以作为画面帧的主色调。例如，基于Palette(调色板)工具从画面帧中提取出突出的颜色，通过获取RGB比例成分，确定主色调。显示设备200确定主色调后，再根据主色调设置目标特征模型的渲染颜色。其中，渲染颜色为与主色调的色差值大于或等于色差阈值的像素颜色。色差阈值为预设的色差值，通过将目标特征模型的渲染颜色设置为与背景颜色存在一定色差值的颜色，使目标特征模型的显示效果更佳。

为了使目标特征模型的渲染颜色与媒资数据的背景持续形成色差对比，在一些实施例中，显示设备200还定时采集画面帧的像素颜色，并提取画面帧的主色调，再根据主色调调整目标特征模型的渲染颜色。即显示设备200可以通过实时采集画面帧颜色的方式，对目标特征模型的渲染颜色进行调整。在媒资数据画面帧的背景颜色发生变化时，显示设备200可以及时调整目标特征模型的渲染颜色，以提高目标特征模型的显示效果。

并且，为了使目标特征模型可以实时跟随用户的动作，在一些实施例中，显示设备200监测基准特征数据中肢体关节点的目标位置。再根据目标位置的位移数据生成肢体关节点的位姿数据，并通过位姿数据驱动目标特征模型，以使目标特征模型跟随用户图像中的肢体动作同步执行动作。

例如：显示设备200在渲染目标特征模型后，通过用户图像中肢体关节点位置的改变识别用户的动作，并根据位置变化生成位姿数据。再通过生成的位姿数据驱动目标特征模型动作，如图14所示，用户可以通过模仿媒资视频中的肢体动作驱动目标特征模型同步动作，提升用户的交互感。

基于上述显示设备200，本申请部分实施例还提供一种融合虚拟人物的媒资播放方法，如图8所示，所述方法包括以下步骤：

S100：响应于媒资数据的播放指令，检测所述媒资数据的画面帧；

S200：提取所述画面帧的调整特征数据；

S300：基于所述调整特征数据生成特征缩放参数与特征定位参数；

S400：按照所述特征缩放参数缩放基准特征模型，以生成目标特征模型，所述基准特征模型为根据所述基准特征数据生成的虚拟人物模型；

S500：根据所述特征定位参数渲染所述目标特征模型，所述目标特征模型的显示层级高于所述媒资数据对应播放画面的显示层级。

由以上技术方案可知，本申请一些实施例提供的显示设备及融合虚拟人物的媒资播放方法可以响应于媒资数据的播放指令，检测媒资数据的画面帧。再提取画面帧的调整特征数据，并基于调整特征数据生成特征缩放参数与特征定位参数。按照特征缩放参数缩放基准特征模型，以生成目标特征模型。其中，基准特征模型为根据基准特征数据生成的虚拟人物模型。再根据特征定位参数渲染目标特征模型，其中，目标特征模型的显示层级高于媒资数据对应播放画面的显示层级。所述方法可以将虚拟人物与播放画面中的显示人物等底等高显示，使虚拟人物与媒资数据的播放画面融合，提升虚拟人物的显示效果。

最后应说明的是：以上各实施例仅用以说明本申请的技术方案，而非对其限制；尽管参照前述各实施例对本申请进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本申请各实施例技术方案的范围。

为了方便解释，已经结合具体的实施方式进行了上述说明。但是，上述示例性的讨论不是意图穷尽或者将实施方式限定到上述公开的具体形式。根据上述的教导，可以得到多种修改和变形。上述实施方式的选择和描述是为了更好的解释原理以及实际的应用，从而使得本领域技术人员更好的使用所述实施方式以及适于具体使用考虑的各种不同的变形的实施方式。

Claims (10)

1.一种显示设备，其特征在于，包括：

显示器，被配置为显示用户界面；

图像接口，被配置为采集用户图像，所述用户图像包括基准特征数据；

控制器，被配置为：

响应于媒资数据的播放指令，检测所述媒资数据的画面帧；

提取所述画面帧的调整特征数据；

基于所述调整特征数据生成特征缩放参数与特征定位参数；

按照所述特征缩放参数缩放基准特征模型，以生成目标特征模型，所述基准特征模型为根据所述基准特征数据生成的虚拟人物模型；

根据所述特征定位参数渲染所述目标特征模型，所述目标特征模型的显示层级高于所述媒资数据对应播放画面的显示层级。

2.根据权利要求1所述的显示设备，其特征在于，所述控制器还被配置为：

获取预览帧图像，所述预览帧图像为所述图像接口在启动预览时采集的用户图像；

基于肢体检测算法在所述预览帧图像中提取基准特征数据，所述基准特征数据为基于基准肢体关节点生成的特征点集合，所述基准肢体关节点包括所述预览帧中肢体关节位置的关键点坐标；

按照配置参数绘制所述基准肢体关节点的连接线，以生成所述基准特征模型；所述配置参数包括预设的连接顺序与模型高度。

3.根据权利要求2所述的显示设备，其特征在于，所述控制器执行基于所述调整特征数据生成特征缩放参数，被配置为：

获取所述媒资数据的第一画面帧；

检测所述第一画面帧的调整特征数据，所述调整特征参数包括所述第一画面帧中的肢体关节点数量；

如果所述肢体关节点数量大于关节点阈值，计算所述肢体关节点之间的距离，以作为所述特征缩放参数；

如果所述肢体关节点数量小于或等于所述关节点阈值，获取所述媒资数据的第二画面帧，以根据所述第二画面帧中肢体关节点之间的距离计算所述特征缩放参数；所述第二画面帧为与所述第一画面帧不同时间点的画面帧。

4.根据权利要求3所述的显示设备，其特征在于，所述控制器执行按照所述特征缩放参数缩放基准特征模型，被配置为：

根据所述特征缩放参数检测缩放高度，所述缩放高度等于所述媒资数据中显示人物的高度；

计算所述缩放高度与所述模型高度的比值；

按照所述比值调节所述连接线的长度。

5.根据权利要求1所述的显示设备，其特征在于，所述控制器执行基于所述调整特征数据生成特征定位参数，被配置为：

获取所述媒资数据的第一画面帧；

检测所述第一画面帧的调整特征数据，所述调整特征数据包括所述第一画面帧中的肢体关节点；

如果所述肢体关节点存在定位特征点，获取所述定位特征点的水平位置，以作为所述特征定位参数；所述定位特征点为在预设肢体关节位置的关键点；

如果所述肢体关节点不存在所述定位特征点，获取所述媒资数据的第二画面帧，以根据所述第二画面帧的定位特征点计算所述特征定位参数；所述第二画面帧为与所述第一画面帧不同时间点的画面帧。

6.根据权利要求5所述的显示设备，其特征在于，所述控制器执行根据所述特征定位参数渲染所述目标特征模型，被配置为：

检测所述目标特征模型的定位特征点；

将所述目标特征模型的定位特征点设置于所述特征定位参数的水平高度；

在所述水平高度处渲染所述目标特征模型，以使所述目标特征模型与所述媒资数据的显示人物对齐显示。

7.根据权利要求1所述的显示设备，其特征在于，所述控制器还被配置为：

采集所述画面帧的像素颜色；

提取所述画面帧中占比最大的像素颜色，以作为所述画面帧的主色调；

根据所述主色调设置所述目标特征模型的渲染颜色，所述渲染颜色为与所述主色调的色差值大于或等于色差阈值的像素颜色。

8.根据权利要求1所述的显示设备，其特征在于，所述控制器被配置为：

响应于媒资数据的播放指令，创建所述媒资数据的播放窗口；

对所述媒资数据执行解码，以获得播放画面，所述播放画面为按照时间顺序排列的画面帧；

控制所述显示器通过所述播放窗口显示所述媒资数据的播放画面。

9.根据权利要求1所述的显示设备，其特征在于，所述控制器还被配置为：

监测所述基准特征数据中肢体关节点的目标位置；

根据所述目标位置的位移数据生成所述肢体关节点的位姿数据；

通过所述位姿数据驱动所述目标特征模型，以使所述目标特征模型跟随所述用户图像中的人物动作。

10.一种融合虚拟人物的媒资播放方法，其特征在于，包括：

响应于媒资数据的播放指令，检测所述媒资数据的画面帧；

提取所述画面帧的调整特征数据；

基于所述调整特征数据生成特征缩放参数与特征定位参数；

按照所述特征缩放参数缩放基准特征模型，以生成目标特征模型，所述基准特征模型为根据基准特征数据生成的虚拟人物模型；

根据所述特征定位参数渲染所述目标特征模型，所述目标特征模型的显示层级高于所述媒资数据对应播放画面的显示层级。