CN115866304A - 一种显示设备及投屏数据显示方法 - Google Patents

Abstract

本申请一些实施例示出一种显示设备及投屏数据显示方法，该方法对解复用得到的第二投屏数据中的第一图像帧进行解码，得到第二图像帧。如果第二图像帧是由目标图像帧解码得到的，且第二图像帧的像素点符合预设规则，则丢弃第二图像帧；检测未丢弃的第二图像帧是否为黑屏图像；如果不是黑屏图像，则对未丢弃的第二图像帧进行渲染，得到渲染后的第二图像帧；利用播放器对渲染后的第二图像帧进行播放，并控制显示器停止显示提示消息。这样可以保证在出现黑屏图像、花屏或绿屏等错误帧时，均不对第二图像帧进行渲染，在显示设备上一直显示提示消息，提高用户的观感体验。

Description

一种显示设备及投屏数据显示方法

技术领域

本申请涉及显示设备技术领域，尤其涉及一种显示设备及投屏数据显示方法。

背景技术

随着显示设备的快速发展，显示设备可以为用户提供的功能也越来越丰富。目前，显示设备包括电视、机顶盒，以及带有显示屏幕的产品等。以电视为例，电视使场景越来越多，不只是在家庭中作为观看电视节目的设备，还可以利用电视进行投屏显示等。

当电视和手机同处于同一网络下，用户可以控制手机，将手机的界面上显示的数据传送到电视，利用电视显示该数据，即投屏显示。但是经常发现电视播放该数据时会出现花屏或者绿屏等问题，严重影响用户的观感体验。

所以，如何在投屏场景下，避免电视中出现花屏或绿屏的问题，提高用户的观感体验，成为本领域技术人员亟待解决的问题。

发明内容

本申请一些实施例提供了一种显示设备及投屏数据显示方法，该方法对解复用得到的第二投屏数据中的第一图像帧进行解码，得到第二图像帧。如果所述第二图像帧是由目标图像帧解码得到的，且所述第二图像帧的像素点符合预设规则，即第二图像帧为绿屏或者花屏等错误帧，则丢弃第二图像帧，当丢弃第二图像帧时，解码所述目标图像帧所在的画面组中其他的第一图像帧得到的第二图像帧为黑屏图像；检测未丢弃的第二图像帧是否为黑屏图像；如果不是黑屏图像，则对所述未丢弃的第二图像帧进行渲染，得到渲染后的第二图像帧；利用所述播放器对渲染后的第二图像帧进行播放，并控制显示器停止显示提示消息。这样可以保证在出现黑屏图像、花屏或绿屏等错误帧时，均不对第二图像帧进行渲染，在显示设备上一直显示提示消息，提高用户的观感体验。

第一方面，本申请一些实施例中提供一种显示设备，其特征在于，包括：

显示器；

控制器，被配置为：

当接收到终端设备发送的第一投屏数据时，控制显示器显示提示消息，创建播放器；其中，所述提示消息用于提示用户当前正在投屏中；

对所述第一投屏数据进行解复用，得到第二投屏数据，所述第二投屏数据包括按顺序排列的第一图像帧；

按照顺序对所述第二投屏数据中的第一图像帧解码，得到对应的第二图像帧；

如果所述第二图像帧是由目标图像帧解码得到的，且所述第二图像帧的像素点符合预设规则，则丢弃第二图像帧，其中所述目标图像帧为所述第二投屏数据中的首个第一图像帧；当丢弃第二图像帧时，解码所述目标图像帧所在的画面组中其他的第一图像帧得到的第二图像帧为黑屏图像；

检测未丢弃的第二图像帧是否为黑屏图像；如果未丢弃的第二图像帧不是黑屏图像，则对所述未丢弃的第二图像帧进行渲染，得到渲染后的第二图像帧；利用所述播放器对渲染后的第二图像帧进行播放，并控制显示器停止显示提示消息。

在一些实施例中，所述控制器，还被配置为：

如果所述第二图像帧不是由目标图像帧解码得到的，和/或所述第二图像帧的像素点不符合预设规则，则不丢弃第二图像帧。

在一些实施例中，所述控制器，还被配置为：

如果是黑屏图像，则不对所述未丢弃的第二图像帧进行渲染。

在一些实施例中，所述控制器，执行按照顺序对所述第二投屏数据中的第一图像帧解码，得到对应的第二图像帧，被进一步配置为：

将第二投屏数据中的第一图像帧按照顺序排列在待解码队列中；

按照顺序对所述待解码队列中的第一图像帧解码，得到对应的第二图像帧。

在一些实施例中，所述第二投屏数据还包括音频数据；所述控制器，还被配置为：

将所述未丢弃的第二图像帧与所述第二投屏数据中的音频数据进行同步，并将同步后的未丢弃的第二图像帧和音频数据进行渲染，得到同步的渲染后的第二图像帧和音频数据；

利用所述播放器播放同步的渲染后的第二图像帧和音频数据，并控制显示器停止显示提示消息。

在一些实施例中，所述控制器包括应用层、java接口层、native实现层、framework框架层和硬件实现层；所述控制器，被配置为：

所述应用层当接收到终端设备发送的第一投屏数据时，控制显示器显示提示消息，并发送第一通知到所述java接口层；其中，所述提示消息用于提示用户当前正在投屏中；

所述java接口层当接收到第一通知时，创建播放器，以使所述播放器将所述第一投屏数据发送到native实现层；

所述native实现层对所述第一投屏数据进行解复用，得到第二投屏数据，将所述第二投屏数据中的第一图像帧按照顺序发送到所述framework框架层；

所述framework框架层按照顺序对所述第二投屏数据中的第一图像帧解码，得到对应的第二图像帧；如果所述第二图像帧是由目标图像帧解码得到的，且所述第二图像帧的像素点符合预设规则，则丢弃第二图像帧，其中所述目标图像帧为所述第二投屏数据中的首个第一图像帧；当丢弃第二图像帧时，解码所述目标图像帧所在的画面组中其他的第一图像帧得到的第二图像帧为黑屏图像；发送所述第二图像帧到所述native实现层；

所述native实现层检测未丢弃的第二图像帧是否为黑屏图像；如果不是黑屏图像，则对所述未丢弃的第二图像帧进行渲染，得到渲染后的第二图像帧，以使所述播放器对渲染后的第二图像帧进行播放；渲染后发送第二通知到应用层，以使所述应用层停止显示所述提示消息。

在一些实施例中，所述控制器，还被配置为：

如果所述framework框架层检测到所述第二图像帧不是由目标图像帧解码得到的，和/或所述第二图像帧的像素点不符合预设规则，则不丢弃第二图像帧。

在一些实施例中，所述控制器，还被配置为：

所述native实现层检测未丢弃的第二图像帧为黑屏图像，则不对所述未丢弃的第二图像帧进行渲染。

在一些实施例中，所述控制器，在所述native实现层对所述第二图像帧进行渲染之前，还被配置为：

所述native实现层对所述未丢弃的第二图像帧与所述第二投屏数据中的音频数据进行同步，并将同步后的未丢弃的第二图像帧和音频数据进行渲染，以使所述播放器播放同步的渲染后的第二图像帧和音频数据；渲染后发送第二通知到应用层，以使所述应用层停止显示提示消息。

第二方面，提供一种投屏数据显示方法，包括：

当接收到终端设备发送的第一投屏数据时，控制显示器显示提示消息，创建播放器；其中，所述提示消息用于提示用户当前正在投屏中；

对所述第一投屏数据进行解复用，得到第二投屏数据，所述第二投屏数据包括按顺序排列的第一图像帧；

按照顺序对所述第二投屏数据中的第一图像帧解码，得到对应的第二图像帧；

如果所述第二图像帧是由目标图像帧解码得到的，且所述第二图像帧的像素点符合预设规则，则丢弃第二图像帧，其中所述目标图像帧为所述第二投屏数据中的首个第一图像帧；当丢弃第二图像帧时，解码所述目标图像帧所在的画面组中其他的第一图像帧得到的第二图像帧为黑屏图像；

检测未丢弃的第二图像帧是否为黑屏图像；如果未丢弃的第二图像帧不是黑屏图像，则对所述未丢弃的第二图像帧进行渲染，得到渲染后的第二图像帧；利用所述播放器对渲染后的第二图像帧进行播放，并控制显示器停止显示提示消息。

本申请的一些实施例提供一种显示设备及投屏数据显示方法，该方法对解复用得到的第二投屏数据中的第一图像帧进行解码，得到第二图像帧。如果所述第二图像帧是由目标图像帧解码得到的，且所述第二图像帧的像素点符合预设规则，即第二图像帧为绿屏或者花屏等错误帧，则丢弃第二图像帧，当丢弃第二图像帧时，解码所述目标图像帧所在的画面组中其他的第一图像帧得到的第二图像帧为黑屏图像；检测未丢弃的第二图像帧是否为黑屏图像；如果不是黑屏图像，则对所述未丢弃的第二图像帧进行渲染，得到渲染后的第二图像帧；利用所述播放器对渲染后的第二图像帧进行播放，并控制显示器停止显示提示消息。这样可以保证在出现黑屏图像、花屏或绿屏等错误帧时，均不对第二图像帧进行渲染，在显示设备上一直显示提示消息，提高用户的观感体验。

附图说明

图1示出了根据一些实施例的显示设备与控制装置之间操作场景；

图2示出了根据一些实施例的控制设备的硬件配置框图；

图3示出了根据一些实施例的显示设备的硬件配置框图；

图4示例性示出了根据一些实施例提供的一种投屏数据显示方法的流程图；

图5示例性示出了根据一些实施例提供的一种终端设备的界面示意图；

图6示例性示出了根据一些实施例提供的又一种终端设备的界面示意图；

图7示例性示出了根据一些实施例提供的一种显示设备的用户界面示意图；

图8示例性示出了根据一写实施例提供的又一种终端设备的界面示意图；

图9示例性示出了根据一些实施例提供的又一种显示设备的用户界面的示意图；

图10示例性示出了根据一些实施例提供的一种显示设备中软件配置图；

图11示例性除了根据一些实施例提供的又一种投屏数据显示方法。

具体实施方式

为使本申请的目的和实施方式更加清楚，下面将结合本申请示例性实施例中的附图，对本申请示例性实施方式进行清楚、完整地描述，显然，描述的示例性实施例仅是本申请一部分实施例，而不是全部的实施例。

需要说明的是，本申请中对于术语的简要说明，仅是为了方便理解接下来描述的实施方式，而不是意图限定本申请的实施方式。除非另有说明，这些术语应当按照其普通和通常的含义理解。

本申请中说明书和权利要求书及上述附图中的术语“第一”、“第二”和“第三”等是用于区别类似或同类的对象或实体，而不必然意味着限定特定的顺序或先后次序，除非另外注明。应该理解这样使用的用语在适当情况下可以互换。

术语“包括”以及他们的任何变形，意图在于覆盖但不排他的包含，例如，包含了一系列组件的产品或设备不必限于清楚地列出的所有组件，而是可包括没有清楚地列出的或对于这些产品或设备固有的其它组件。

本申请实施方式提供的显示设备可以具有多种实施形式，例如，可以是电视、智能电视、激光投影设备、显示器(monitor)、电子白板(electronic bulletin board)、电子桌面(electronic table)等。图1和图2为本申请的显示设备的一种具体实施方式。

图1为根据实施例中显示设备与控制装置之间操作场景的示意图。如图1所示，用户可通过智能设备300或控制装置100操作显示设备200。

在一些实施例中，控制装置100可以是遥控器，遥控器和显示设备的通信包括红外协议通信或蓝牙协议通信，及其他短距离通信方式，通过无线或有线方式来控制显示设备200。用户可以通过遥控器上按键、语音输入、控制面板输入等输入用户指令，来控制显示设备200。

在一些实施例中，也可以使用智能设备300(如移动终端、平板电脑、计算机、笔记本电脑等)以控制显示设备200。例如，使用在智能设备上运行的应用程序控制显示设备200。

在一些实施例中，显示设备可以不使用上述的智能设备或控制设备接收指令，而是通过触摸或者手势等接收用户的控制。

在一些实施例中，显示设备200还可以采用除了控制装置100和智能设备300之外的方式进行控制，例如，可以通过显示设备200设备内部配置的获取语音指令的模块直接接收用户的语音指令控制，也可以通过显示设备200设备外部设置的语音控制设备来接收用户的语音指令控制。

在一些实施例中，显示设备200还与服务器400进行数据通信。可允许显示设备200通过局域网(LAN)、无线局域网(WLAN)和其他网络进行通信连接。服务器400可以向显示设备200提供各种内容和互动。服务器400可以是一个集群，也可以是多个集群，可以包括一类或多类服务器。

图2示例性示出了根据示例性实施例中控制装置100的配置框图。如图2所示，控制装置100包括控制器110、通信接口130、用户输入/输出接口140、存储器、供电电源。控制装置100可接收用户的输入操作指令，且将操作指令转换为显示设备200可识别和响应的指令，起用用户与显示设备200之间交互中介作用。

如图3，显示设备200包括调谐解调器210、通信器220、检测器230、外部装置接口240、控制器250、显示器260、音频输出接口270、存储器、供电电源、用户接口中的至少一种。

在一些实施例中控制器包括处理器，视频处理器，音频处理器，图形处理器，RAM，ROM，用于输入/输出的第一接口至第n接口。

显示器260包括用于呈现画面的显示屏组件，以及驱动图像显示的驱动组件，用于接收源自控制器输出的图像信号，进行显示视频内容、图像内容以及菜单操控界面的组件以及用户操控UI界面。

显示器260可为液晶显示器、OLED显示器、以及投影显示器，还可以为一种投影装置和投影屏幕。

显示器260还包括触控屏，触控屏用于接收用户手指在触控屏上滑动或点击等动作输入控制指令。

通信器220是用于根据各种通信协议类型与外部设备或服务器进行通信的组件。例如：通信器可以包括Wifi模块，蓝牙模块，有线以太网模块等其他网络通信协议芯片或近场通信协议芯片，以及红外接收器中的至少一种。显示设备200可以通过通信器220与外部控制设备100或服务器400建立控制信号和数据信号的发送和接收。

用户接口，可用于接收控制装置100(如：红外遥控器等)的控制信号。

检测器230用于采集外部环境或与外部交互的信号。例如，检测器230包括光接收器，用于采集环境光线强度的传感器；或者，检测器230包括图像采集器，如摄像头，可以用于采集外部环境场景、用户的属性或用户交互手势，再或者，检测器230包括声音采集器，如麦克风等，用于接收外部声音。

外部装置接口240可以包括但不限于如下：高清多媒体接口接口(HDMI)、模拟或数据高清分量输入接口(分量)、复合视频输入接口(CVBS)、USB输入接口(USB)、RGB端口等任一个或多个接口。也可以是上述多个接口形成的复合性的输入/输出接口。

调谐解调器210通过有线或无线接收方式接收广播电视信号，以及从多个无线或有线广播电视信号中解调出音视频信号，如以及EPG数据信号。

在一些实施例中，控制器250和调谐解调器210可以位于不同的分体设备中，即调谐解调器210也可在控制器250所在的主体设备的外置设备中，如外置机顶盒等。

控制器250，通过存储在存储器上中各种软件控制程序，来控制显示设备的工作和响应用户的操作。控制器250控制显示设备200的整体操作。例如：响应于接收到用于选择在显示器260上显示UI对象的用户命令，控制器250便可以执行与由用户命令选择的对象有关的操作。

在一些实施例中控制器包括中央处理器(Central Processing Unit，CPU)，视频处理器，音频处理器，图形处理器(Graphics Processing Unit，GPU)，RAM Random AccessMemory，RAM)，ROM(Read-Only Memory,ROM)，用于输入/输出的第一接口至第n接口，通信总线(Bus)等中的至少一种。

用户可在显示器260上显示的图形用户界面(GUI)输入用户命令，则用户输入接口通过图形用户界面(GUI)接收用户输入命令。或者，用户可通过输入特定的声音或手势进行输入用户命令，则用户输入接口通过传感器识别出声音或手势，来接收用户输入命令。

“用户界面”，是应用程序或操作系统与用户之间进行交互和信息交换的介质接口，它实现信息的内部形式与用户可以接受形式之间的转换。用户界面常用的表现形式是图形用户界面(Graphic User Interface，GUI)，是指采用图形方式显示的与计算机操作相关的用户界面。它可以是在电子设备的显示屏中显示的一个图标、窗口、控件等界面元素，其中控件可以包括图标、按钮、菜单、选项卡、文本框、对话框、状态栏、导航栏、Widget等可视的界面元素。

当电视和手机同处于同一网络下，用户可以控制手机，将手机的界面上显示的数据传送到电视，利用电视显示该数据，即投屏显示。但是经常发现电视播放该数据时会出现花屏或者绿屏等问题，严重影响用户的观感体验。所以，如何在投屏场景下，避免电视中出现花屏或绿屏的问题，提高用户的观感体验，成为本领域技术人员亟待解决的问题。

为了解决上述技术问题，本申请实施例提供一种显示设备及投屏数据显示方法。

该方法对解复用得到的第二投屏数据中的第一图像帧进行解码，得到第二图像帧。如果所述第二图像帧是由目标图像帧解码得到的，且所述第二图像帧的像素点符合预设规则，即第二图像帧为绿屏或者花屏等错误帧，则丢弃第二图像帧，当丢弃第二图像帧时，解码所述目标图像帧所在的画面组中其他的第一图像帧得到的第二图像帧为黑屏图像；并检测未丢弃的第二图像帧是否为黑屏图像；如果不是黑屏图像，则对所述未丢弃的第二图像帧进行渲染，得到渲染后的第二图像帧；利用所述播放器对渲染后的第二图像帧进行播放，并控制显示器停止显示提示消息。这样可以保证在出现黑屏图像、花屏或绿屏等错误帧时，均不对第二图像帧进行渲染，在显示设备上一直显示提示消息，提高用户的观感体验。

图4示例性示出了根据一些实施例提供的一种投屏数据显示方法的流程图。所述步骤包括S100-S1100。

S100、当接收到终端设备发送的第一投屏数据时，控制显示器显示提示消息，创建播放器；其中，所述提示消息用于提示用户当前正在投屏中。

在一些实施例中，终端设备可以为手机、平板电脑等可以与显示设备建立投屏连接，并发送第一投屏数据的设备。

示例性的，终端设备可以为触屏手机。用户可以在终端设备上调出投屏控件。示例性的，图5示例性示出了根据一些实施例提供的一种终端设备的界面示意图。在图5中显示投屏控件501。用户可以触碰该投屏控件501，此时界面上显示有可以选择的投屏设备。

示例性的，图6示例性示出了根据一些实施例提供的又一种终端设备的界面示意图。在图6中显示有可以选择的投屏设备对应的设备控件，具体的，包括投屏设备A对应的设备控件601、投屏设备B对应的设备控件602和投屏设备C对应的设备控件603。用户可以触碰希望显示终端设备的界面上的显示内容的设备控件。当用户触碰某一设备控件后，将包括终端设备界面的第一投屏数据发送到与设备控件对应的投屏设备，该投屏设备可以为显示设备。

在一些实施例中，终端设备向显示设备发送第一投屏数据时可以采用mircast投屏，airplay投屏，或者rtp(实时传输协议，Real-time Transport Protocol)+udp(用户数据报协议，User Datagram Protocol)投屏等协议。

在一些实施例中，提示消息可以为图片、文字、动画或视频等形式的内容。该提示消息可以由预设应用提供。示例性的，图7示例性示出了根据一些实施例提供的一种显示设备的用户界面示意图。在图7中显示有预设应用提供的提示消息，该提示消息为“正在投屏中”。

S200、对所述第一投屏数据进行解复用(Demux)，得到第二投屏数据，所述第二投屏数据包括按顺序排列的第一图像帧。

解复用是指解析第一投屏数据的封装格式，得到包含的音视频原始码流的第二投屏数据。

在一些实施例中，第二投屏数据中的第一图像帧的顺序通过帧序号确定。示例性的，第二投屏数据中的第一图像帧的帧序号分别为1-10，第二投屏数据中存在10个第一图像帧，第一图像帧按照帧序号由小到大排列。排列后的第一图像帧与终端设备的界面内容的实际播放的顺序相同。

S300、按照顺序对所述第二投屏数据中的第一图像帧解码，得到对应的第二图像帧。

本申请实施例中，所述第二投屏数据中的第一图像帧的数量可能为多个，显示设备对第二投屏数据中的第一图像帧按照顺序逐个进行解码，得到与第一图像帧对应的第二图像帧。

在一些实施例中，按照顺序对所述第二投屏数据中的第一图像帧解码，得到对应的第二图像帧的步骤包括：将第二投屏数据中的第一图像帧按照顺序排列在待解码队列中；按照顺序对所述待解码队列中的第一图像帧解码，得到对应的第二图像帧。

本申请实施例中，将第一图像帧按照顺序放入待解码队列中，在解码时从待解码队列中按照顺序逐个读取第一图像帧，将读取到的第一图像帧进行解码，得到第二图像帧。

示例性的，将第一图像帧A-D逐个放入待解码队列中，在解码时首先从待解码队列中读取第一图像帧A，然后对第一图像帧A进行解码，得到第二图像帧A。然后读取第一图像帧B，然后对第一图像帧B进行解码，得到第二图像帧B，依次类推，将待解码队列中的全部第一图像帧进行读取，并进行解码，得到对应的第二图像帧。另外，也可以在第一图像帧进行解码的过程中，对下一个第一图像帧进行读取。由于不同第一图像帧的数据量差距不大，所以在第一图像帧进行解码的过程中对下一个第一图像帧进行读取，也不会造成下一个第一图像帧先解码得到对应的第二图像帧，而前一个第一图像帧后解码得到对应的第二图像帧。

S400、检测所述第二图像帧是否是由目标图像帧解码得到的，其中所述目标图像帧为所述第二投屏数据中的首个第一图像帧。

本申请实施例中，由于在显示设备建立投屏连接后，用户对于开始播放的首帧的视频内容更加敏感，如果出现花屏、绿屏等错误帧，对用户观看效果的影响较大，所以本申请实施例中，对第二图像帧是否由第二投屏数据中的目标图像帧解码得到的进行检测。

在一些实施例中，第二投屏数据中的第一图像帧的顺序通过帧序号确定，且第一图像帧按照帧序号由小到大排列，帧序号由1开始进行标注，所以首个第一图像帧可以为帧序号为1的第一图像帧，即目标图像帧为帧序号为1的第一图像帧。当检测到第二图像帧为由帧序号为1的第一图像帧解码得到的，则确定第二图像帧是由目标图像帧解码得到的。

在另一些实施例中，由于对第二投屏数据中的第一图像帧的解码是按照顺序进行的，所以得到的首个第二图像帧，就是由第二投屏数据中的首个第一图像帧解码得到的，即由目标图像帧解码得到的。所以当解码得到的首个第二图像帧，是由目标图像帧解码得到的。

S500、如果所述第二图像帧是由目标图像帧解码得到的，则检测所述第二图像帧的像素点是否符合预设规则。

本申请实施例中，所述预设规则是指绿屏或花屏等错误帧的像素点具有的规则。本申请实施例中，对于绿屏或花屏的具体判断方法不做限制，所以任何可以检测第二图像帧的像素点是否符合预设规则的方法均可以被接受。示例性的，先对第二图像帧用拉普拉斯算子进行滤波，而后求取获得的结果图像的方差，若是方差小于必定值则第二图像帧视为花屏。

S600、如果所述第二图像帧的像素点符合预设规则，则丢弃第二图像帧。当丢弃第二图像帧时，解码所述目标图像帧所在的画面组(GOP)中其他的第一图像帧得到的第二图像帧为黑屏图像。

本申请实施例中，如果第二图像帧的像素点符合预设规则，即第二图像帧是绿屏或花屏等错误帧，则丢弃第二图像帧，不对该第二图像帧进行渲染和显示。本申请实施例中，为了提高用户的使用感受，将错误帧直接丢弃，使得用户不会在投屏开始阶段看到花屏或绿屏等出现问题的图像。

另外，与目标图像帧属于同一画面组的第一图像帧，在解码时由于需要依靠目标图像帧对应的第二图像帧进行解码，所以如果目标图像帧对应的第二图像帧被丢弃，则同一画面组(GOP)中的其他第一图像帧被解码后会成为黑屏图像，无法得到正常的图像帧。

S700、所述第二图像帧的像素点不符合预设规则，则不丢弃第二图像帧。

本申请实施例中,如果第二图像帧的像素点不符合预设规则，则第二图像帧不是花屏或绿屏等错误帧，此时可以保留该第二图像帧，如果在后续步骤中判断该第二图像帧也不是黑屏图像，则可以对该第二图像帧进行渲染播放。

S800、如果所述第二图像帧不是由目标图像帧解码得到的，则不丢弃第二图像帧。

本申请实施例中，如果第二图像帧不是由目标图像帧，即首个第一图像帧解码得到的，则保留该第二图像帧。如果在后续步骤中判断该第二图像帧也不是黑屏图像，则可以对该第二图像帧进行渲染播放。

本申请实施例中，由于丢弃目标图像帧对应的第二图像帧，会导致与目标图像帧处于同一画面组中的其他第一图像帧对应的第二图像帧为黑屏图像，为了避免黑屏图像显示在显示设备上，所以本申请实施例中，S900、对未丢弃的第二图像帧是否为黑屏图像进行检测。

本申请实施例中，对所有未丢弃的第二图像帧进行黑屏图像检测。需要说明的是，本申请实施例中，丢弃的第二图像帧只是目标图像帧解码得到的且所述第二图像帧的像素点符合预设规则的第二图像帧，其余的第二图像帧均未丢弃。对未丢弃的第二图像帧检测是否为黑屏图像。

S1000、如果未丢弃的第二图像帧是黑屏图像，则不对所述未丢弃的第二图像帧进行渲染。

本申请实施例中，如果是黑屏图像，则不对黑屏图形进行渲染，继续显示提示消息。这样，用户不会在显示设备上观看到由黑屏图像渲染得到的图像，并且用户看到完好的终端设备的界面内容，即不存在花屏、绿屏或黑色图像之前，在显示设备上一直都可以看到提示消息，提高用户的使用体验。

S1100、如果不是黑屏图像，则对所述未丢弃的第二图像帧进行渲染，得到渲染后的第二图像帧；利用所述播放器对渲染后的第二图像帧进行播放，并控制显示器停止显示提示消息。示例性的，图8示例性示出了根据一写实施例提供的又一种终端设备的界面示意图，图9示例性示出了根据一些实施例提供的又一种显示设备的用户界面的示意图。在图9中显示有与图8中终端设备界面相同的内容，实现显示设备和终端设备的投屏。

本申请实施例中，当未丢弃的第二图像帧不是花屏、绿屏或黑屏图像时，才会被渲染播放，并控制显示器停止显示提示消息。这样，保证用户看到的投屏连接后显示设备上播放的终端设备的界面内容均是正常的，不存在花屏、绿屏或黑屏图像。

在一些实施例中，所述第二投屏数据还包括音频数据；所述方法还包括：

将所述未丢弃的第二图像帧与所述第二投屏数据中的音频数据进行同步，并将同步后的未丢弃的第二图像帧和音频数据进行渲染，得到同步的渲染后的第二图像帧和音频数据；利用所述播放器播放同步的渲染后的第二图像帧和音频数据，并控制显示器停止显示提示消息。

本申请实施例中，将渲染的未丢弃的第二图像帧和音频数据进行同步。这样用户在显示设备上观看到的渲染后的第二图像帧和音频数据同步播放，提高用户的使用感受。

本申请实施例中，所述方法对解复用得到的第二投屏数据中的第一图像帧进行解码，得到第二图像帧。如果所述第二图像帧是由目标图像帧解码得到的，且所述第二图像帧的像素点符合预设规则，即第二图像帧为绿屏或者花屏等错误帧，则丢弃第二图像帧；如果不是黑屏图像，则对所述未丢弃的第二图像帧进行渲染，得到渲染后的第二图像帧；利用所述播放器对渲染后的第二图像帧进行播放，并控制显示器停止显示提示消息。这样可以保证在出现黑屏图像、花屏或绿屏等错误帧时，均不对第二图像帧进行渲染，在显示设备上一直显示提示消息，提高用户的观感体验。

在一些实施例中，以显示设备和终端设备以mircast投屏协议传输第一投屏数据为例介绍投屏数据显示方法。

mircast投屏协议是封装的一种rtsp协议。图10示例性示出了根据一些实施例提供的一种显示设备中软件配置图。在一些实施例中，所述控制器包括应用层、java接口层、native实现层、framework框架层和硬件实现层。

基于图10中软件配置图中的结构，本申请实施例公开一种投屏数据显示方法，图11示例性除了根据一些实施例提供的又一种投屏数据显示方法，所述方法包括S1101-S1112：

S1101、所述应用层当接收到终端设备发送的第一投屏数据时，控制显示器显示提示消息，并S1102、发送第一通知到所述java接口层；其中，所述提示消息用于提示用户当前正在投屏中；所述第一通知指示java接口层创建播放器。

本申请实施例中，系统内置的应用程序以及非系统级的应用程序都是属于应用层。应用层负责与用户进行直接交互。应用层可包括多个应用程序，如设置应用程序、媒体中心应用程序等。

S1103、所述java接口层当接收到第一通知时，创建播放器。S1104、所述播放器将所述第一投屏数据发送到native实现层。

在一些实施例中，所述java接口层在创建播放器之后，还执行设置窗口(surface)，设置路径(setMediaDataSource)，以及准备工作(prepare)等安卓原生操作。

在一些实施例中，在播放器将所述第一投屏数据发送到native实现层之前，所述方法还包括：所述应用层当获取到第一投屏数据时，将所述第一投屏数据存储到缓存模块；所述java接口层中的播放器从所述缓存模块中读取所述第一投屏数据。

S1105、所述native实现层对所述第一投屏数据进行解复用，得到第二投屏数据。S1106、所述native实现层将所述第二投屏数据中的第一图像帧按照顺序发送到所述framework框架层。

在一些实施例中，所述native实现层将所述第二投屏数据中的第一图像帧按照顺序发送到所述framework框架层的步骤之前，还将所述第二投屏数据中的第一图像帧按照顺序排列在待解码队列中，并按照顺序发送所述待解码队列中的第一图像帧到所述framework框架层。

S1107、所述framework框架层按照顺序对所述第二投屏数据中的第一图像帧解码，得到对应的第二图像帧。检测所述第二图像帧是否是由目标图像帧解码得到的，其中所述目标图像帧为所述第二投屏数据中的首个第一图像帧。如果所述第二图像帧是由目标图像帧解码得到的，则检测所述第二图像帧的像素点是否符合预设规则。S1108、如果所述第二图像帧的像素点符合预设规则且是由目标图像帧解码得到的，则丢弃第二图像帧。当丢弃第二图像帧时，解码所述目标图像帧所在的画面组(GOP)中其他的第一图像帧得到的第二图像帧为黑屏图像。

在一些实施例中，如果所述framework框架层检测到所述第二图像帧不是由目标图像帧解码得到的，和/或所述第二图像帧的像素点不符合预设规则，则不丢弃第二图像帧。

S1109、所述framework框架层发送未丢弃的第二图像帧到所述native实现层。

S1110、所述native实现层检测未丢弃的第二图像帧是否为黑屏图像；S1111、如果不是黑屏图像，则对所述未丢弃的第二图像帧进行渲染，得到渲染后的第二图像帧，以使所述播放器对渲染后的第二图像帧进行播放。S1112、渲染后发送第二通知到应用层，以使所述应用层停止显示所述提示消息。

在一些实施例中，如果是黑屏图像，则不对所述未丢弃的第二图像帧进行渲染。

在一些实施例中，在所述native实现层对所述第二图像帧进行渲染之前，所述方法还包括：

所述native实现层对所述未丢弃的第二图像帧与所述第二投屏数据中的音频数据进行同步，并将同步后的未丢弃的第二图像帧和音频数据进行渲染，以使所述播放器播放同步的渲染后的第二图像帧和音频数据；渲染后发送第二通知到应用层，以使所述应用层停止显示提示消息。

在一些实施例中，由于解码器不能根据设置的丢帧属性，对第二图像帧进行检测，并丢帧。所以利用native实现层执行对第二图像帧进行检测丢帧的步骤。

在一些实施例中，显示设备和终端设备通过rtsp协议进行第一投屏数据的控制和传输。所述framework框架层包括解码器。

在一些实施例中，显示设备接收到第一投屏数据，创建播放器，播放器配置(configure)时设置丢帧属性，该设置丢帧属性是指示解码器设置丢帧属性，解码器根据丢帧属性确定第二图像帧是否丢弃。在显示设备接收到第一投屏数据的同时，显示设备还解析第一投屏数据，并放到缓存模块(buffer)中，播放器端从缓存模块中读取第一投屏数据进行解复用(demux)后得到第二投屏数据(es数据)，将第二投屏数据发送到解码器(decoder)，解码器在解码时对第二投屏数据进行是否是由目标图像帧解码得到的，以及像素点是否符合预设规则进行检测。如果发现第二投屏数据是由目标图像帧解码得到的，且像素点符合预设规则，则丢弃该第二投屏数据。

本申请实施例中还提供一种显示设备，包括：显示器和控制器；

控制器，被配置为：当接收到终端设备发送的第一投屏数据时，控制显示器显示提示消息，创建播放器；其中，所述提示消息用于提示用户当前正在投屏中；对所述第一投屏数据进行解复用，得到第二投屏数据，所述第二投屏数据包括按顺序排列的第一图像帧；按照顺序对所述第二投屏数据中的第一图像帧解码，得到对应的第二图像帧；如果所述第二图像帧是由目标图像帧解码得到的，且所述第二图像帧的像素点符合预设规则，则丢弃第二图像帧，其中所述目标图像帧为所述第二投屏数据中的首个第一图像帧；当丢弃第二图像帧时，解码所述目标图像帧所在的画面组中其他的第一图像帧得到的第二图像帧为黑屏图像；检测未丢弃的第二图像帧是否为黑屏图像；如果未丢弃的第二图像帧不是黑屏图像，则对所述未丢弃的第二图像帧进行渲染，得到渲染后的第二图像帧；利用所述播放器对渲染后的第二图像帧进行播放，并控制显示器停止显示提示消息。

上述实施例中，提供的一种显示设备及投屏数据显示方法，该方法对解复用得到的第二投屏数据中的第一图像帧进行解码，得到第二图像帧。如果所述第二图像帧是由目标图像帧解码得到的，且所述第二图像帧的像素点符合预设规则，即第二图像帧为绿屏或者花屏等错误帧，则丢弃第二图像帧，当丢弃第二图像帧时，解码所述目标图像帧所在的画面组中其他的第一图像帧得到的第二图像帧为黑屏图像；检测未丢弃的第二图像帧是否为黑屏图像；如果不是黑屏图像，则对所述未丢弃的第二图像帧进行渲染，得到渲染后的第二图像帧；利用所述播放器对渲染后的第二图像帧进行播放，并控制显示器停止显示提示消息。这样可以保证在出现黑屏图像、花屏或绿屏等错误帧时，均不对第二图像帧进行渲染，在显示设备上一直显示提示消息，提高用户的观感体验。

最后应说明的是：以上各实施例仅用以说明本申请的技术方案，而非对其限制；尽管参照前述各实施例对本申请进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本申请各实施例技术方案的范围。

为了方便解释，已经结合具体的实施方式进行了上述说明。但是，上述示例性的讨论不是意图穷尽或者将实施方式限定到上述公开的具体形式。根据上述的教导，可以得到多种修改和变形。上述实施方式的选择和描述是为了更好的解释原理及实际的应用，从而使得本领域技术人员更好的使用所述实施方式以及适于具体使用考虑的各种不同的变形的实施方式。

Claims (10)

1.一种显示设备，其特征在于，包括：

显示器；

控制器，被配置为：

当接收到终端设备发送的第一投屏数据时，控制显示器显示提示消息，创建播放器；其中，所述提示消息用于提示用户当前正在投屏中；

对所述第一投屏数据进行解复用，得到第二投屏数据，所述第二投屏数据包括按顺序排列的第一图像帧；

按照顺序对所述第二投屏数据中的第一图像帧解码，得到对应的第二图像帧；

如果所述第二图像帧是由目标图像帧解码得到的，且所述第二图像帧的像素点符合预设规则，则丢弃第二图像帧，其中所述目标图像帧为所述第二投屏数据中的首个第一图像帧；当丢弃第二图像帧时，解码所述目标图像帧所在的画面组中其他的第一图像帧得到的第二图像帧为黑屏图像；

检测未丢弃的第二图像帧是否为黑屏图像；如果未丢弃的第二图像帧不是黑屏图像，则对所述未丢弃的第二图像帧进行渲染，得到渲染后的第二图像帧；利用所述播放器对渲染后的第二图像帧进行播放，并控制显示器停止显示提示消息。

2.根据权利要求1所述的显示设备，其特征在于，所述控制器，还被配置为：

如果所述第二图像帧不是由目标图像帧解码得到的，和/或所述第二图像帧的像素点不符合预设规则，则不丢弃第二图像帧。

3.根据权利要求1所述的显示设备，其特征在于，所述控制器，还被配置为：

如果是黑屏图像，则不对所述未丢弃的第二图像帧进行渲染。

4.根据权利要求1所述的显示设备，其特征在于，所述控制器，执行按照顺序对所述第二投屏数据中的第一图像帧解码，得到对应的第二图像帧，被进一步配置为：

将第二投屏数据中的第一图像帧按照顺序排列在待解码队列中；

按照顺序对所述待解码队列中的第一图像帧解码，得到对应的第二图像帧。

5.根据权利要求1所述的显示设备，其特征在于，所述第二投屏数据还包括音频数据；所述控制器，还被配置为：

将所述未丢弃的第二图像帧与所述第二投屏数据中的音频数据进行同步，并将同步后的未丢弃的第二图像帧和音频数据进行渲染，得到同步的渲染后的第二图像帧和音频数据；

利用所述播放器播放同步的渲染后的第二图像帧和音频数据，并控制显示器停止显示提示消息。

6.根据权利要求1所述的显示设备，其特征在于，所述控制器包括应用层、java接口层、native实现层、framework框架层和硬件实现层；所述控制器，被配置为：

所述应用层当接收到终端设备发送的第一投屏数据时，控制显示器显示提示消息，并发送第一通知到所述java接口层；其中，所述提示消息用于提示用户当前正在投屏中；

所述java接口层当接收到第一通知时，创建播放器，以使所述播放器将所述第一投屏数据发送到native实现层；

所述native实现层对所述第一投屏数据进行解复用，得到第二投屏数据，将所述第二投屏数据中的第一图像帧按照顺序发送到所述framework框架层；

所述framework框架层按照顺序对所述第二投屏数据中的第一图像帧解码，得到对应的第二图像帧；如果所述第二图像帧是由目标图像帧解码得到的，且所述第二图像帧的像素点符合预设规则，则丢弃第二图像帧，其中所述目标图像帧为所述第二投屏数据中的首个第一图像帧；当丢弃第二图像帧时，解码所述目标图像帧所在的画面组中其他的第一图像帧得到的第二图像帧为黑屏图像；发送所述第二图像帧到所述native实现层；

所述native实现层检测未丢弃的第二图像帧是否为黑屏图像；如果不是黑屏图像，则对所述未丢弃的第二图像帧进行渲染，得到渲染后的第二图像帧，以使所述播放器对渲染后的第二图像帧进行播放；渲染后发送第二通知到应用层，以使所述应用层停止显示所述提示消息。

7.根据权利要求5所述的显示设备，其特征在于，所述控制器，还被配置为：

如果所述framework框架层检测到所述第二图像帧不是由目标图像帧解码得到的，和/或所述第二图像帧的像素点不符合预设规则，则不丢弃第二图像帧。

8.根据权利要求5所述的显示设备，其特征在于，所述控制器，还被配置为：

所述native实现层检测未丢弃的第二图像帧为黑屏图像，则不对所述未丢弃的第二图像帧进行渲染。

9.根据权利要求1所述的显示设备，其特征在于，所述控制器，在所述native实现层对所述第二图像帧进行渲染之前，还被配置为：

所述native实现层对所述未丢弃的第二图像帧与所述第二投屏数据中的音频数据进行同步，并将同步后的未丢弃的第二图像帧和音频数据进行渲染，以使所述播放器播放同步的渲染后的第二图像帧和音频数据；渲染后发送第二通知到应用层，以使所述应用层停止显示提示消息。

10.一种投屏数据显示方法，其特征在于，包括：

当接收到终端设备发送的第一投屏数据时，控制显示器显示提示消息，创建播放器；其中，所述提示消息用于提示用户当前正在投屏中；

对所述第一投屏数据进行解复用，得到第二投屏数据，所述第二投屏数据包括按顺序排列的第一图像帧；

按照顺序对所述第二投屏数据中的第一图像帧解码，得到对应的第二图像帧；

如果所述第二图像帧是由目标图像帧解码得到的，且所述第二图像帧的像素点符合预设规则，则丢弃第二图像帧，其中所述目标图像帧为所述第二投屏数据中的首个第一图像帧；当丢弃第二图像帧时，解码所述目标图像帧所在的画面组中其他的第一图像帧得到的第二图像帧为黑屏图像；

检测未丢弃的第二图像帧是否为黑屏图像；如果未丢弃的第二图像帧不是黑屏图像，则对所述未丢弃的第二图像帧进行渲染，得到渲染后的第二图像帧；利用所述播放器对渲染后的第二图像帧进行播放，并控制显示器停止显示提示消息。

Images