CN112367543B - 显示设备、移动终端、投屏方法及投屏系统 - Google Patents

显示设备、移动终端、投屏方法及投屏系统 Download PDF

Info

Publication number
CN112367543B
CN112367543B CN202011163037.8A CN202011163037A CN112367543B CN 112367543 B CN112367543 B CN 112367543B CN 202011163037 A CN202011163037 A CN 202011163037A CN 112367543 B CN112367543 B CN 112367543B
Authority
CN
China
Prior art keywords
screen
mobile terminal
display device
display
throwing
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202011163037.8A
Other languages
English (en)
Other versions
CN112367543A (zh
Inventor
宋子全
庞秀娟
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hisense Visual Technology Co Ltd
Original Assignee
Hisense Visual Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hisense Visual Technology Co Ltd filed Critical Hisense Visual Technology Co Ltd
Priority to CN202011163037.8A priority Critical patent/CN112367543B/zh
Publication of CN112367543A publication Critical patent/CN112367543A/zh
Priority to PCT/CN2021/119051 priority patent/WO2022089088A1/zh
Application granted granted Critical
Publication of CN112367543B publication Critical patent/CN112367543B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41Structure of client; Structure of client peripherals
    • H04N21/4104Peripherals receiving signals from specially adapted client devices
    • H04N21/4122Peripherals receiving signals from specially adapted client devices additional display device, e.g. video projector
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • G06F3/1454Digital output to display device ; Cooperation and interconnection of the display device with other functional units involving copying of the display data of a local workstation or window to a remote workstation or window so that an actual copy of the data is displayed simultaneously on two or more displays, e.g. teledisplay
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/436Interfacing a local distribution network, e.g. communicating with another STB or one or more peripheral devices inside the home
    • H04N21/4363Adapting the video or multiplex stream to a specific local network, e.g. a IEEE 1394 or Bluetooth® network
    • H04N21/43637Adapting the video or multiplex stream to a specific local network, e.g. a IEEE 1394 or Bluetooth® network involving a wireless protocol, e.g. Bluetooth, RF or wireless LAN [IEEE 802.11]
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/441Acquiring end-user identification, e.g. using personal code sent by the remote control or by inserting a card
    • YGENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02DCLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D30/00Reducing energy consumption in communication networks
    • Y02D30/70Reducing energy consumption in communication networks in wireless communication networks

Abstract

本申请实施例提供一种显示设备、移动终端、投屏方法及投屏系统,移动终端响应于NFC卡时,便在当前接入的局域网内广播设备搜索消息;显示设备在接收到该设备搜索消息后,向移动终端发送反馈消息,包括显示设备的投屏匹配码与设备地址;移动终端接收到显示设备发送的反馈消息后,确定本地保存的投屏匹配码与显示设备的投屏匹配码是否相同,若相同,则根据上述显示设备的设备地址与上述显示设备建立投屏连接。在本申请实施例中,当用户使用任意NFC卡触发移动终端的NFC响应组件后,移动终端即可自动与需要进行投屏的显示设备建立投屏连接,不需要用户进行其它操作,从而可以有效简化建立投屏连接的过程,提升建立投屏连接的效率。

Description

显示设备、移动终端、投屏方法及投屏系统
技术领域
本申请实施例涉及投屏技术领域,尤其涉及一种显示设备、移动终端、投屏方法及投屏系统。
背景技术
随着互联网技术的快速发展,投屏技术也得到了广泛的发展。例如,在移动终端与电视机之间建立投屏连接之后,便可以将移动终端上播放的视频发送到电视机上,实现在电视机上同步观看移动终端中的视频。
在进行投屏之前,移动终端需要先获得待投屏的电视机的设备信息,然后才能基于该设备信息与该电视机建立投屏连接。目前移动终端获得待投屏电视机的设备信息的方式一般是先将待投屏的电视机连接到某个存储设备,在电视机将配对信息写入到该存储设备中之后,再将该存储设备连接到移动终端,移动终端通过读取该存储设备中的配对信息,来与上述待投屏的电视机建立投屏连接。
然而,上述通过存储设备来建立投屏连接的过程过于繁琐,使得建立投屏连接的处理时间较长,效率较低。
发明内容
本申请实施例提供一种显示设备、移动终端、投屏方法及投屏系统,可以解决现有技术中建立投屏连接的过程效率较低的技术问题。
在一些实施例中,本申请实施例提供一种显示设备,包括:
显示屏,用于显示图像;
与所述显示屏连接的控制器,所述控制器被配置为:
接收移动终端广播的设备搜索消息;
向所述移动终端发送基于所述设备搜索消息生成的反馈消息,所述反馈消息中包括所述显示设备的投屏匹配码与设备地址;
接收所述移动终端发送的投屏连接请求,并根据所述投屏连接请求与所述移动终端建立投屏连接,所述投屏连接请求为所述移动终端的投屏匹配码与所述显示设备的投屏匹配码相同时,所述移动终端根据所述显示设备的设备地址生成的。
在一种可能的设计方式中,所述控制器还用于:
根据用户触发的配置操作,配置所述显示设备的投屏匹配码。
在一种可能的设计方式中,所述设备地址为所述显示设备的IP地址。
在一种可能的设计方式中,所述显示设备与所述移动终端建立投屏连接后,所述控制器还用于:
接收所述移动终端发送的图像数据,所述图像数据中包括序列号,且所述移动终端当前发送的图像数据的序列号与上一次发送的图像数据的序列号之间满足预设条件;
对所述图像数据进行解码后发送至所述显示屏。
在一种可能的设计方式中,所述控制器还用于:
若当前接收到的图像数据的序列号与上一次接收到的图像数据的序列号之间不满足所述预设条件,则确定当前接收到的图像数据的类型是否为P帧;
在当前接收到的图像数据的类型为P帧时,向所述移动终端发送I帧请求消息;
接收所述移动终端发送的类型为I帧的图像数据,并对所述类型为I帧的图像数据进行解码后发送至所述显示屏。
在一些实施例中,本申请实施例提供一种移动终端,包括:
近场通信(Near Field Communication,简称NFC)响应组件,用于对满足预设距离的NFC卡进行响应;
与所述NFC响应组件连接的控制器,所述控制器被配置为:
当所述NFC响应组件响应于NFC卡时,在所述移动终端当前接入的局域网内广播设备搜索消息;
接收显示设备基于所述设备搜索消息发送的反馈消息,所述反馈消息中包括所述显示设备的投屏匹配码与设备地址;
获取所述移动终端的投屏匹配码,当所述移动终端的投屏匹配码与所述显示设备的投屏匹配码相同时,根据所述设备地址与所述显示设备建立投屏连接。
在一种可能的设计方式中,所述控制器还用于:
根据用户触发的配置操作,配置所述移动终端的投屏匹配码。
在一种可能的设计方式中,所述控制器还用于:
当接收到两个或两个以上显示设备基于所述设备搜索消息发送的反馈消息时,分别确定接收到的各个反馈消息中的投屏匹配码是否与所述移动终端的投屏匹配码相同;
若当前接收到的目标反馈消息中的投屏匹配码与所述移动终端的投屏匹配码相同,获取所述目标反馈消息中的目标设备地址,并根据所述目标设备地址与所述目标设备地址对应的显示设备建立投屏连接。
在一种可能的设计方式中,所述设备地址为所述显示设备的IP地址。
在一种可能的设计方式中,所述移动终端与所述显示设备建立投屏连接之后,所述控制器还用于:
基于预设的采集频率采集所述移动终端中显示的图像数据,并将采集到的图像数据依次发送至所述显示设备;其中,所述图像数据中包括序列号,且当前发送的图像数据的序列号与上一次发送的图像数据的序列号之间满足预设条件。
在一种可能的设计方式中,所述控制器还用于:
接收所述显示设备发送的I帧请求消息,所述I帧请求消息为所述显示设备在相邻两次接收到的图像数据的序列号之间不满足所述预设条件,且最近一次接收到的图像数据的类型为P帧时生成的;
采集类型为I帧的图像数据,并发送至所述显示设备。
在一些实施例中,本申请实施例提供一种投屏方法,应用于显示设备,该方法包括:
接收移动终端广播的设备搜索消息;
向所述移动终端发送基于所述设备搜索消息生成的反馈消息,所述反馈消息中包括所述显示设备的投屏匹配码与设备地址;
接收所述移动终端发送的投屏连接请求,并根据所述投屏连接请求与所述移动终端建立投屏连接,所述投屏连接请求为所述移动终端的投屏匹配码与所述显示设备的投屏匹配码相同时,所述移动终端根据所述显示设备的设备地址生成的。
在一些实施例中,本申请实施例提供一种投屏方法,应用于移动终端,所述方法包括:
响应于NFC卡,在所述移动终端当前接入的局域网内广播设备搜索消息;
接收显示设备基于所述设备搜索消息发送的反馈消息,所述反馈消息中包括所述显示设备的投屏匹配码与设备地址;
获取所述移动终端的投屏匹配码,当所述移动终端的投屏匹配码与所述显示设备的投屏匹配码相同时,根据所述设备地址与所述显示设备建立投屏连接。
在一些实施例中,本申请实施例提供一种投屏系统,包括上述实施例中的移动终端与显示设备。
本申请实施例所提供的显示设备、移动终端、投屏方法及投屏系统,当用户使用任意NFC卡触发移动终端的NFC响应组件后,移动终端即可自动搜寻能够进行投屏的显示设备,然后根据移动终端本地预先保存的投屏匹配码与搜寻到的显示设备预先保存的投屏匹配码,来从搜寻到的显示设备中确定需要进行投屏的显示设备,并自动与需要进行投屏的显示设备建立投屏连接,不需要用户进行其它操作,从而可以有效简化建立投屏连接的过程,提升建立投屏连接的效率。
附图说明
为了更清楚地说明本申请实施例或现有技术中的技术方案,下面将对本申请实施例或现有技术描述中所需要使用的附图作一简单地介绍,显而易见地,下面描述中的附图是本申请的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动性的前提下,还可以根据这些附图获得其它的附图。
图1为本申请实施例中提供的一种投屏系统的架构示意图;
图2中示例性示出了根据示例性实施例中显示设备200的硬件配置框图;
图3中示例性示出了根据示例性实施例中移动终端100的配置框图;
图4为本申请提供的显示设备的软件系统示意图;
图5为本申请提供的显示设备能够提供的应用程序的示意图;
图6a与图6b为本申请实施例中建立投屏连接的场景示意图一;
图7为本申请实施例中移动终端在播放视频时的一种显示界面示意图;
图8为本申请实施例中建立投屏连接的场景示意图二;
图9为本申请实施例中建立投屏连接的场景示意图三;
图10为本申请实施例中设置显示设备的投屏匹配码的场景示意图;
图11为本申请实施例中设置移动终端的投屏匹配码的场景示意图;
图12为本申请实施例中提供的一种建立投屏连接的方法的流程示意图;
图13为本申请实施例中一种视频流的帧序列示意图;
图14为本申请实施例中提供的一种防止投屏过程中出现花屏的方法的流程示意图。
具体实施方式
为使本申请实施例的目的、技术方案和优点更加清楚,下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例是本申请一部分实施例,而不是全部的实施例。基于本申请中实施例,本领域技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本申请保护的范围。
随着移动互联网技术的发展,手机、平板电脑等移动终端的功能越来越丰富,越来越多的用户使用移动终端观看视频、浏览文件等。但是,由于手机、平板电脑等移动终端的屏幕尺寸较小,而电视机、台式显示器等显示设备的屏幕尺寸较大,很多用户还是喜欢在这类显示设备上观看视频、浏览文件。
以电视机为例,当用户希望在电视机上观看移动终端中播放的视频时,可以开启移动终端的投屏功能,与电视机建立投屏连接,从而实现在移动终端和电视机上同步观看该视频。但是,相关技术中建立投屏连接的过程较为繁琐,用户体验并不好。
为了解决上述问题,本申请实施例中提供了一种显示设备、移动终端、投屏方法及投屏系统,当用户使用任意NFC卡触发移动终端的NFC响应组件后,移动终端即可自动搜寻能够进行投屏的显示设备,然后根据移动终端本地预先保存的投屏匹配码与搜寻到的显示设备预先保存的投屏匹配码,来从搜寻到的显示设备中确定需要进行投屏的显示设备,并自动与需要进行投屏的显示设备建立投屏连接,不需要用户进行其它操作,从而可以有效简化建立投屏连接的过程,提升建立投屏连接的效率。
参照图1,图1为本申请实施例中提供的一种投屏系统的架构示意图。该投屏系统包括移动终端100与显示设备200。移动终端100与显示设备200均连接于同一局域网内。
可以理解,图1中所示的硬件设备,仅仅是与本申请方案应用环境相关的部分硬件设备,并不构成对本申请方案所应用于的环境的限定,具体的硬件设备可以包括比图1中所示更多或更少的硬件设备。比如,当移动终端100与显示设备200接入相同的无线局域网时,图1中还包括该无线局域网中的路由设备等。
移动终端100,可以是台式终端或移动终端,例如手机、平板电脑、笔记本电脑、游戏机等中的至少一种。
显示设备200,可以液晶显示器、OLED显示器、投影显示设备等。具体显示设备类型,尺寸大小和分辨率等不作限定,本领技术人员可以理解的是,显示设备200可以根据需要做性能和配置上一些改变。
在一些实施例中,移动终端100可与显示设备200安装软件应用,通过网络通信协议实现连接通信,实现一对一控制操作的和数据通信的目的。如:可以实现用移动终端100与显示设备200建立控制指令协议,将移动终端100上显示音视频内容传输到显示设备200上,实现投屏功能。例如,显示设备200可以通过局域网(LAN)、无线局域网(WLAN)等与移动终端100进行通信。
显示设备200除了提供广播接收电视功能之外,还可以附加提供计算机支持功能的智能网络电视功能,包括但不限于,网络电视、智能电视、互联网协议电视(IPTV)等。
参照图2,图2中示例性示出了根据示例性实施例中显示设备200的硬件配置框图。
在一些实施例中,显示设备200中包括控制器250、调谐解调器210、通信器220、检测器230、输入/输出接口255、显示屏275,音频输出接口285、存储器260、供电电源290、用户接口265、外部装置接口240中的至少一种。
在一些实施例中,显示屏275,用于接收源自第一处理器输出的图像信号,进行显示视频内容和图像以及菜单操控界面的组件。
在一些实施例中,显示屏275,包括用于呈现画面的显示屏组件,以及驱动图像显示的驱动组件。
在一些实施例中,显示视频内容,可以来自广播电视内容,也可以是说,可通过有线或无线通信协议接收的各种广播信号。或者,可显示来自网络通信协议接收来自网络服务器端发送的各种图像内容。
在一些实施例中,显示屏275用于呈现显示设备200中产生且用于控制显示设备200的用户操控UI界面。
在一些实施例中,根据显示屏275类型不同,还包括用于驱动显示的驱动组件。
在一些实施例中,显示屏275为一种投影显示屏,还可以包括一种投影装置和投影屏幕。
在一些实施例中,通信器220是用于根据各种通信协议类型与外部设备或外部服务器进行通信的组件。例如:通信器可以包括Wifi芯片,蓝牙通信协议芯片,有线以太网通信协议芯片等其他网络通信协议芯片或近场通信协议芯片,以及红外接收器中的至少一种。
在一些实施例中,显示设备200可以通过通信器220与外部控制设备或内容提供设备之间建立控制信号和数据信号发送和接收。
在一些实施例中,用户接口265,可用于接收控制装置300(如:红外遥控器等)红外控制信号。
在一些实施例中,检测器230是显示设备200用于采集外部环境或与外部交互的信号。
在一些实施例中,检测器230包括光接收器,用于采集环境光线强度的传感器,可以通过采集环境光可以自适应性显示参数变化等。
在一些实施例中,检测器230还可以包括图像采集器,如相机、摄像头等,可以用于采集外部环境场景,以及用于采集用户的属性或与用户交互手势,可以自适应变化显示参数,也可以识别用户手势,以实现与用户之间互动的功能。
在一些实施例中,检测器230还可以包括温度传感器等,如通过感测环境温度。
在一些实施例中,显示设备200可自适应调整图像的显示色温。如当温度偏高的环境时,可调整显示设备200显示图像色温偏冷色调,或当温度偏低的环境时,可以调整显示设备200显示图像偏暖色调。
在一些实施例中,检测器230还可以是声音采集器等,如麦克风,可以用于接收用户的声音。示例性的,包括用户控制显示设备200的控制指令的语音信号,或采集环境声音,用于识别环境场景类型,使得显示设备200可以自适应适应环境噪声。
在一些实施例中,如图2所示,输入/输出接口255被配置为,可进行控制器250与外部其他设备或其他控制器250之间的数据传输。如接收外部设备的视频信号数据和音频信号数据、或命令指令数据等。
在一些实施例中,外部装置接口240可以包括,但不限于如下:可以高清多媒体接口HDMI接口、模拟或数据高清分量输入接口、复合视频输入接口、USB输入接口、RGB端口等任一个或多个接口。也可以是上述多个接口形成复合性的输入/输出接口。
在一些实施例中,如图2所示,调谐解调器210被配置为,通过有线或无线接收方式接收广播电视信号,可以进行放大、混频和谐振等调制解调处理,从多个无线或有线广播电视信号中解调出音视频信号,该音视频信号可以包括用户所选择电视频道频率中所携带的电视音视频信号,以及EPG数据信号。
在一些实施例中,调谐解调器210解调的频点受到控制器250的控制,控制器250可根据用户选择发出控制信号,以使的调制解调器响应用户选择的电视信号频率以及调制解调该频率所携带的电视信号。
在一些实施例中,广播电视信号可根据电视信号广播制式不同区分为地面广播信号、有线广播信号、卫星广播信号或互联网广播信号等。或者根据调制类型不同可以区分为数字调制信号,模拟调制信号等。或者根据信号种类不同区分为数字信号、模拟信号等。
在一些实施例中,控制器250和调谐解调器210可以位于不同的分体设备中,即调谐解调器210也可在控制器250所在的主体设备的外置设备中,如外置机顶盒等。这样,机顶盒将接收到的广播电视信号调制解调后的电视音视频信号输出给主体设备,主体设备经过第一输入/输出接口接收音视频信号。
在一些实施例中,控制器250,通过存储在存储器上中各种软件控制程序,来控制显示设备的工作和响应用户的操作。控制器250可以控制显示设备200的整体操作。例如:响应于接收到用于选择在显示屏275上显示UI对象的用户命令,控制器250便可以执行与由用户命令选择的对象有关的操作。
如图2所示,控制器250包括随机存取存储器251(Random Access Memory,RAM)、只读存储器252(Read-Only Memory,ROM)、视频处理器270、音频处理器280、其他处理器253(例如:图形处理器(Graphics Processing Unit,GPU)、中央处理器254(CentralProcessing Unit,CPU)、通信接口(Communication Interface),以及通信总线256(Bus)中的至少一种。其中,通信总线连接各个部件。
在一些实施例中,RAM 251用于存储操作系统或其他正在运行中的程序的临时数据在一些实施例中,ROM 252用于存储各种系统启动的指令。
在一些实施例中,ROM 252用于存储一个基本输入输出系统,称为基本输入输出系统(Basic Input Output System,BIOS)。用于完成对系统的加电自检、系统中各功能模块的初始化、系统的基本输入/输出的驱动程序及引导操作系统。
在一些实施例中,在收到开机信号时,显示设备200电源开始启动,CPU运行ROM252中系统启动指令,将存储在存储器的操作系统的临时数据拷贝至RAM 251中,以便于启动或运行操作系统。当操作系统启动完成后,CPU再将存储器中各种应用程序的临时数据拷贝至RAM 251中,然后,以便于启动或运行各种应用程序。
在一些实施例中,CPU处理器254,用于执行存储在存储器中操作系统和应用程序指令。以及根据接收外部输入的各种交互指令,来执行各种应用程序、数据和内容,以便最终显示和播放各种音视频内容。
在一些示例性实施例中,CPU处理器254,可以包括多个处理器。多个处理器可包括一个主处理器以及一个或多个子处理器。主处理器,用于在预加电模式中执行显示设备200一些操作,和/或在正常模式下显示画面的操作。一个或多个子处理器,用于在待机模式等状态下一种操作。
在一些实施例中,图形处理器253,用于产生各种图形对象,如:图标、操作菜单、以及用户输入指令显示图形等。包括运算器,通过接收用户输入各种交互指令进行运算,根据显示属性显示各种对象。以及包括渲染器,对基于运算器得到的各种对象,进行渲染,上述渲染后的对象用于显示在显示屏上。
在一些实施例中,视频处理器270被配置为将接收外部视频信号,根据输入信号的标准编解码协议,进行解压缩、解码、缩放、降噪、帧率转换、分辨率转换、图像合成等等视频处理,可得到直接可显示设备200上显示或播放的信号。
在一些实施例中,视频处理器270,包括解复用模块、视频解码模块、图像合成模块、帧率转换模块、显示格式化模块等。
其中,解复用模块,用于对输入音视频数据流进行解复用处理,如输入MPEG-2,则解复用模块进行解复用成视频信号和音频信号等。
视频解码模块,则用于对解复用后的视频信号进行处理,包括解码和缩放处理等。
图像合成模块,如图像合成器,其用于将图形生成器根据用户输入或自身生成的GUI信号,与缩放处理后视频图像进行叠加混合处理,以生成可供显示的图像信号。
帧率转换模块,用于对转换输入视频帧率,如将60Hz帧率转换为120Hz帧率或240Hz帧率,通常的格式采用如插帧方式实现。
显示格式化模块,则用于将接收帧率转换后视频输出信号,改变信号以符合显示格式的信号,如输出RGB数据信号。
在一些实施例中,图形处理器253可以和视频处理器可以集成设置,也可以分开设置,集成设置的时候可以执行输出给显示屏的图形信号的处理,分离设置的时候可以分别执行不同的功能,例如GPU+FRC(Frame Rate Conversion)架构。
在一些实施例中,音频处理器280,用于接收外部的音频信号,根据输入信号的标准编解码协议,进行解压缩和解码,以及降噪、数模转换、和放大处理等处理,得到可以在扬声器中播放的声音信号。
在一些实施例中,视频处理器270可以包括一颗或多颗芯片组成。音频处理器,也可以包括一颗或多颗芯片组成。
在一些实施例中,视频处理器270和音频处理器280,可以单独的芯片,也可以于控制器一起集成在一颗或多颗芯片中。
供电电源290,在控制器250控制下,将外部电源输入的电力为显示设备200提供电源供电支持。供电电源290可以包括安装显示设备200内部的内置电源电路,也可以是安装在显示设备200外部电源,在显示设备200中提供外接电源的电源接口。
用户接口265,用于接收用户的输入信号,然后,将接收用户输入信号发送给控制器250。用户输入信号可以是通过红外接收器接收的遥控器信号,可以通过网络通信模块接收各种用户控制信号。
在一些实施例中,用户通过控制装置300或移动终端100输入用户命令,用户输入接口则根据用户的输入,显示设备200则通过控制器250响应用户的输入。
在一些实施例中,“用户界面”,是应用程序或操作系统与用户之间进行交互和信息交换的介质接口,它实现信息的内部形式与用户可以接受形式之间的转换。用户界面常用的表现形式是图形用户界面(Graphic User Interface,GUI),是指采用图形方式显示的与计算机操作相关的用户界面。它可以是在电子设备的显示屏中显示的一个图标、窗口、控件等界面元素,其中控件可以包括图标、按钮、菜单、选项卡、文本框、对话框、状态栏、导航栏、Widget等可视的界面元素。
存储器260,包括存储用于驱动显示设备200的各种软件模块。如:第一存储器中存储的各种软件模块,包括:基础模块、检测模块、通信模块、显示控制模块、浏览器模块、和各种服务模块等中的至少一种。
基础模块用于显示设备200中各个硬件之间信号通信、并向上层模块发送处理和控制信号的底层软件模块。检测模块用于从各种传感器或用户输入接口中收集各种信息,并进行数模转换以及分析管理的管理模块。
图3示例性示出了根据示例性实施例中移动终端100的配置框图。如图3所示,移动终端100包括控制器110、通信接口130、用户输入/输出接口、存储器、供电电源。
移动终端100被配置可接收用户的输入操作指令,且将操作指令转换为显示设备200可识别和响应的指令,起到用户与显示设备200之间交互中介作用。如:用户可以将移动终端100显示的内容投屏到显示设备200上显示。
控制器110包括处理器112和RAM 113和ROM 114、通信接口130以及通信总线。控制器110用于控制移动终端100的运行和操作,以及内部各部件之间通信协作以及外部和内部的数据处理功能。
通信接口130在控制器110的控制下,实现与显示设备200之间控制信号和数据信号的通信。如:将接收到的用户输入信号发送至显示设备200上。通信接口130可包括WiFi芯片131、蓝牙模块132、NFC模块133等其他近场通信模块中至少之一种。
用户输入/输出接口140,其中,输入接口包括麦克风141、触摸板142、传感器143、按键144等其他输入接口中至少一者。如:用户可以通过语音、触摸、手势、按压等动作实现用户指令输入功能,输入接口通过将接收的模拟信号转换为数字信号,以及数字信号转换为相应指令信号,发送至显示设备200。
输出接口包括将接收的用户指令发送至显示设备200的接口。在一些实施例中,可以红外接口,也可以是射频接口。如:红外信号接口时,需要将用户输入指令按照红外控制协议转化为红外控制信号,经红外发送模块进行发送至显示设备200。再如:射频信号接口时,需将用户输入指令转化为数字信号,然后按照射频控制信号调制协议进行调制后,由射频发送端子发送至显示设备200。
存储器190,用于在控制器的控制下存储驱动和控制移动终端100的各种运行程序、数据和应用。存储器190,可以存储用户输入的各类控制信号指令。
供电电源180,用于在控制器的控制下为移动终端100各元件提供运行电力支持。可以电池及相关控制电路。
在一些实施例中,系统可以包括内核(Kernel)、命令解析器(shell)、文件系统和应用程序。内核、shell和文件系统一起组成了基本的操作系统结构,它们让用户可以管理文件、运行程序并使用系统。上电后,内核启动,激活内核空间,抽象硬件、初始化硬件参数等,运行并维护虚拟内存、调度器、信号及进程间通信(IPC)。内核启动后,再加载Shell和用户应用程序。应用程序在启动后被编译成机器码,形成一个进程。
图4为本申请提供的显示设备的软件系统示意图,参见图4,在一些实施例中,将系统分为四层,从上至下分别为应用程序(Applications)层(简称“应用层”),应用程序框架(Application Framework)层(简称“框架层”),安卓运行时(Android runtime)和系统库层(简称“系统运行库层”),以及内核层。
在一些实施例中,应用程序层中运行有至少一个应用程序,这些应用程序可以是操作系统自带的窗口(Window)程序、系统设置程序、时钟程序、相机应用等;也可以是第三方开发者所开发的应用程序,比如嗨见程序、K歌程序、魔镜程序等。在具体实施时,应用程序层中的应用程序包不限于以上举例,实际还可以包括其它应用程序包,本申请实施例对此不做限制。
框架层为应用程序层的应用程序提供应用编程接口(application programminginterface,API)和编程框架。应用程序框架层包括一些预先定义的函数。应用程序框架层相当于一个处理中心,这个中心决定让应用层中的应用程序做出动作。应用程序通过API接口,可在执行中访问系统中的资源和取得系统的服务
如图4所示,本申请实施例中应用程序框架层包括管理器(Managers),内容提供者(Content Provider)等,其中管理器包括以下模块中的至少一个:活动管理器(ActivityManager)用与和系统中正在运行的所有活动进行交互;位置管理器(Location Manager)用于给系统服务或应用提供了系统位置服务的访问;文件包管理器(Package Manager)用于检索当前安装在设备上的应用程序包括相关的各种信息;通知管理器(NotificationManager)用于控制通知消息的显示和清除;窗口管理器(Window Manager)用于管理用户界面上的图标、窗口、工具栏、壁纸和桌面部件。
在一些实施例中,活动管理器用于:管理各个应用程序的生命周期以及通常的导航回退功能,比如控制应用程序的退出(包括将显示窗口中当前显示的用户界面切换到系统桌面)、打开、后退(包括将显示窗口中当前显示的用户界面切换到当前显示的用户界面的上一级用户界面)等。
在一些实施例中,窗口管理器用于管理所有的窗口程序,比如获取显示屏大小,判断是否有状态栏,锁定屏幕,截取屏幕,控制显示窗口变化(例如将显示窗口缩小显示、抖动显示、扭曲变形显示等)等。
在一些实施例中,系统运行库层为上层即框架层提供支撑,当框架层被使用时,安卓操作系统会运行系统运行库层中包含的C/C++库以实现框架层要实现的功能。
在一些实施例中,内核层是硬件和软件之间的层。如图4所示,内核层至少包含以下驱动中的至少一种:音频驱动、显示驱动、蓝牙驱动、摄像头驱动、WIFI驱动、USB驱动、HDMI驱动、传感器驱动(如指纹传感器,温度传感器,触摸传感器、压力传感器等)等。
在一些实施例中,内核层还包括用于进行电源管理的电源驱动模块。
在一些实施例中,图4中的软件架构对应的软件程序和/或模块存储在图2或图3所示的第一存储器或第二存储器中。
在一些实施例中,以魔镜应用(拍照应用)为例,当遥控接收装置接收到遥控器输入操作,相应的硬件中断被发给内核层。内核层将输入操作加工成原始输入事件(包括输入操作的值,输入操作的时间戳等信息)。原始输入事件被存储在内核层。应用程序框架层从内核层获取原始输入事件,根据焦点当前的位置识别该输入事件所对应的控件以及以该输入操作是确认操作,该确认操作所对应的控件为魔镜应用图标的控件,魔镜应用调用应用框架层的接口,启动魔镜应用,进而通过调用内核层启动摄像头驱动,实现通过摄像头捕获静态图像或视频。
在一些实施例中,对于具备触控功能的显示设备,以分屏操作为例,显示设备接收用户作用于显示屏上的输入操作(如分屏操作),内核层可以根据输入操作产生相应的输入事件,并向应用程序框架层上报该事件。由应用程序框架层的活动管理器设置与该输入操作对应的窗口模式(如多窗口模式)以及窗口位置和大小等。应用程序框架层的窗口管理根据活动管理器的设置绘制窗口,然后将绘制的窗口数据发送给内核层的显示驱动,由显示驱动在显示屏的不同显示区域显示与之对应的应用界面。
在一些实施例中,图5为本申请提供的显示设备能够提供的应用程序的示意图,如图5中所示,应用程序层包含至少一个应用程序可以在显示器中显示对应的图标控件,如:直播电视应用程序图标控件、视频点播应用程序图标控件、媒体中心应用程序图标控件、应用程序中心图标控件、游戏应用图标控件等。
在一些实施例中,直播电视应用程序,可以通过不同的信号源提供直播电视。例如,直播电视应用程序可以使用来自有线电视、无线广播、卫星服务或其他类型的直播电视服务的输入提供电视信号。以及,直播电视应用程序可在显示设备200上显示直播电视信号的视频。
在一些实施例中,视频点播应用程序,可以提供来自不同存储源的视频。不同于直播电视应用程序,视频点播提供来自某些存储源的视频显示。例如,视频点播可以来自云存储的服务器端、来自包含已存视频节目的本地硬盘储存器。
在一些实施例中,媒体中心应用程序,可以提供各种多媒体内容播放的应用程序。例如,媒体中心,可以为不同于直播电视或视频点播,用户可通过媒体中心应用程序访问各种图像或音频所提供服务。
在一些实施例中,应用程序中心,可以提供储存各种应用程序。应用程序可以是一种游戏、应用程序,或某些和计算机系统或其他设备相关但可以在智能电视中运行的其他应用程序。应用程序中心可从不同来源获得这些应用程序,将它们储存在本地储存器中,然后在显示设备200上可运行。
在本申请一种可行的实施方式中,在进行投屏时,先开启移动终端中的投屏应用,移动终端中的投屏应用在启动之后,在移动终端当前接入的局域网内自动搜索可以进行投屏的显示设备,然后在移动终端的显示界面以列表的方式展示各个可以投屏的显示设备的设备名称。用户根据实际投屏需要,在移动终端的显示界面中选择点击需要投屏的显示设备的设备名称后,移动终端即可与用户点击选择的显示设备建立投屏连接。
在移动终端与显示设备连接投屏连接之后,移动终端便可以将移动终端上显示的数据发送到该显示设备上,实现在该显示设备上观看移动终端中的视频。
为了更好的理解本申请实施例,参照图6a与图6b,图6a与图6b为本申请实施例中建立投屏连接的场景示意图一。
本申请实施例中,假设上述局域网中同时连接有四台显示设备,这四台显示设备的设备名称分别为显示设备A、显示设备B、显示设备C、显示设备D,且这四台显示设备均支持投屏。则如图6a所示,移动终端100经过搜索之后,移动终端100的显示界面以列表的方式显示上述四台显示设备的设备名称:显示设备A、显示设备B、显示设备C、显示设备D。
如图6b所示,当用户需要将移动终端100中的视频投屏到显示设备C时,用户即可在移动终端100的显示界面中选择点击“显示设备C”,即可与显示设备C建立投屏连接。
在一些实施方式中,参照图7,图7为本申请实施例中移动终端在播放视频时的一种显示界面示意图。
如图7所示,当移动终端100在观看视频时,可以在移动终端100的显示界面中显示用于触发投屏的控件701。当移动终端100在检测到控件701被触发之后,在当前接入的局域网内自动搜索可以进行投屏的显示设备,然后在移动终端701的显示界面以列表的方式展示各个可以投屏的显示设备的设备名称。用户根据实际投屏需要,在移动终端100的显示界面中选择点击需要投屏的显示设备的设备名称后,移动终端100即可与用户点击选择的显示设备建立投屏连接。
在本申请另一种可行的实施方式中,移动终端可支持NFC功能,而支持投屏的显示设备会配发一张特定的NFC卡,该NFC卡可放置到显示设备的遥控器内。
其中,上述NFC卡内存储有上述显示设备的P2P MAC地址,在进行投屏时,用户将移动终端靠近需要投屏的显示设备的NFC卡,或者将需要投屏的显示设备的NFC卡靠近移动终端,移动终端在检测到该NFC卡时,从该NFC卡中读取存储的P2P MAC地址,然后根据该P2PMAC地址与上述需要投屏的显示设备建立投屏连接。
在移动终端与显示设备连接投屏连接之后,移动终端便可以将移动终端上播放的视频发送到该显示设备上,实现在该显示设备上观看移动终端中的视频。
为了更好的理解本申请实施例,参照图8,图8为本申请实施例中建立投屏连接的场景示意图二。
在图8中,假设显示设备200对应的NFC卡设置于显示设备200对应的控制装置300(如遥控器)内,则在进行投屏时,用户将移动终端100靠近控制装置300,读取控制装置300内的NFC卡存储的P2P MAC地址,然后根据该P2P MAC地址与显示设备200建立投屏连接。
在本申请又一种可行的实施方式中,移动终端支持NFC功能,支持投屏的显示设备会配置一张特定的NFC卡。在显示设备启动一个无线热点时,该NFC卡会存储显示设备的无线热点信息,该无线热点信息是当显示设备启动无线热点时,由显示设备的操作系统写入到NFC卡的。
当用户需要通过移动终端进行投屏时,可以将移动终端靠近显示设备上的NFC卡,移动终端检测到显示设备上的NFC卡时,从显示设备上的NFC卡读取显示设备的无线热点信息,并基于该无线热点信息连接显示设备的无线热点,连接成功后,移动终端即可与该显示设备建立投屏连接。
在移动终端与显示设备连接投屏连接之后,移动终端便可以将移动终端上播放的视频发送到该显示设备上,实现在该显示设备上观看移动终端中的视频。
为了更好的理解本申请实施例,参照图9,图9为本申请实施例中建立投屏连接的场景示意图三。
在图9中,假设显示设备200对应的NFC卡设置于显示设备200的左下角,则在进行投屏时,用户将移动终端100靠近显示设备200的左下角,读取显示设备200对应的NFC卡中存储的无线热点信息,并基于该无线热点信息连接显示设备200的无线热点,连接成功后,移动终端100即可与显示设备200建立投屏连接。
需要说明的是,显示设备200对应的NFC卡还可以设置于显示设备200的其它任意位置,本申请实施例中不做限定。
在一些实施例中,本申请提供了一种移动终端,该移动终端包括NFC响应组件,用于对满足预设距离的NFC卡进行响应;以及与NFC响应组件连接的控制器,该控制器被配置为:
当NFC响应组件响应于NFC卡时,在移动终端当前接入的局域网内广播设备搜索消息;接收显示设备基于设备搜索消息发送的反馈消息,该反馈消息中包括显示设备的投屏匹配码与设备地址;获取移动终端的投屏匹配码,当移动终端的投屏匹配码与显示设备的投屏匹配码相同时,根据上述显示设备的设备地址与上述显示设备建立投屏连接。
在一些实施方式中,上述NFC响应组件可以采用具有NFC卡感应功能的NFC读写组件,当有NFC卡与该NFC响应组件的距离小于预设距离时,该NFC响应组件便可以感应到NFC卡,并做出响应。上述NFC卡可以是公交卡、门禁卡等具有NFC功能的任意卡片。
在一些实施方式中,为了确保将移动终端中显示的内容能够准确投屏至需要投屏的显示设备,移动终端在检测到任意NFC卡时,先在当前接入的局域网内广播设备搜索消息;显示设备在接收到该设备搜索消息后,向移动终端发送反馈消息,该反馈消息中包括显示设备的投屏匹配码与设备地址;移动终端在接收到显示设备发送的反馈消息后,确定移动终端本地保存的投屏匹配码与显示设备反馈的投屏匹配码是否相同,若相同,则移动终端根据上述显示设备的设备地址与上述显示设备建立投屏连接,从而即可将移动终端中显示的内容准确投屏至上述显示设备。
例如,假设某一用户家内安装有两台电视机,分别安装在卧室与客厅,当用户需要将手机中显示的内容投屏至卧室中的电视机时,可以预先将手机中存储的投屏匹配码设置为卧室中电视机预存的投屏匹配码,然后使用任意NFC卡片靠近手机,此时,手机便会自动向卧室与客厅中的电视机分别发送设备搜索消息,然后接收卧室与客厅中的电视机分别反馈的投屏匹配码与设备地址,由于卧室中电视机的投屏匹配码与手机中当前存储的投屏匹配码相同,因此手机会自动根据卧室中电视机的设备地址,与卧室中的电视机建立投屏连接。
可以理解的是,若用户后续一直选择卧室中的电视机作为需要投屏的电视机时,则在后续的投屏过程中,用户只需要使用任意NFC卡片靠近手机,手机便可以自动与卧室中的电视机连接投屏连接,不需要用户再进行其它任何操作。
在本申请一种可行的实施方式中,在显示设备第一次启动投屏应用时,用户可以通过触发预设的配置操作,配置显示设备的投屏匹配码,并保存。或者,在显示设备第一次启动时,显示设备随机生成一个投屏匹配码,并保存。
在一些实施例中,用户还可以通过显示设备的设置界面随时修改显示设备的投屏匹配码并保存。
为了更好的理解本申请实施例,参照图10,图10为本申请实施例中设置显示设备的投屏匹配码的场景示意图。
在图10中,用户可以在显示设备200的投屏匹配码设置界面中设置显示设备200的投屏匹配码为“1234”,然后进行保存。
当移动终端需要与某一个显示设备建立投屏连接时,用户可以先查看需要投屏的显示设备的投屏匹配码,然后将移动终端的投屏匹配码设置为该显示设备的投屏匹配码。
例如,参照图11,图11为本申请实施例中设置移动终端的投屏匹配码的场景示意图。
在图11中,当移动终端100需要投屏的显示设备200的投屏匹配码为“1234”时,则用户可以通过移动终端100的投屏匹配码设置界面,将移动终端100的投屏匹配码也设置为“1234”。
在设置好移动终端与显示设备的投屏匹配码之后,若用户需要将移动终端中的视频投屏至显示设备,则可以使用任意NFC卡触发移动终端的NFC响应组件,移动终端即可自动搜寻能够进行投屏的显示设备,然后根据移动终端本地预先保存的投屏匹配码与搜寻到的显示设备预先保存的投屏匹配码,来从搜寻到的显示设备中确定需要进行投屏的显示设备,并自动与需要进行投屏的显示设备建立投屏连接,不需要用户进行其它操作,从而可以有效简化建立投屏连接的过程,提升建立投屏连接的效率。
为了更好的理解本申请实施例,参照图12,图12为本申请实施例中提供的一种建立投屏连接的方法的流程示意图。
在本申请一种可行的实施方式中,上述建立投屏连接的方法包括:
1201.使用任意NFC卡与移动终端进行触碰。
其中,上述NFC卡可以是公交卡、门禁卡等具有NFC功能的任意卡片,其内部不需要存储如何有关显示设备的信息。
在本实施例中,上述NFC卡只用于启动移动终端内的投屏应用程序。
1202.当移动终端的NFC响应组件响应于NFC卡时,在移动终端当前接入的局域网内广播设备搜索消息。
1203.显示设备在接收到移动终端广播的设备搜索消息后,获取自己的设备信息,并从相关文件中读取预先保存的投屏匹配码,然后将自己的设备信息与投屏匹配码组装为反馈消息后发送至移动终端。
在一些实施例中,上述设备地址可以为显示设备的IP地址。
假设显示设备的IP地址为192.168.1.100,投屏匹配码为1234,则上述反馈消息可以组装为:ip_192.168.1.100#deviceinfo_1234#。
1204.移动终端接收显示设备发送的反馈消息,从该反馈消息解析出显示设备的投屏匹配码与设备信息,然后确定移动终端的投屏匹配码与显示设备的投屏匹配码是否相同。
1205.当移动终端的投屏匹配码与显示设备的投屏匹配码相同时,移动终端根据解析出的显示设备的设备信息,向显示设备发送投屏连接请求,以与显示设备建立投屏连接。
在一种可行的实施方式中,当移动终端接收到两个或两个以上显示设备发送的反馈消息时,可以分别确定接收到的各个反馈消息中的投屏匹配码是否与移动终端的投屏匹配码相同;若当前接收到的目标反馈消息中的投屏匹配码与移动终端的投屏匹配码相同,则获取目标反馈消息中的目标设备地址,并与该目标设备地址对应的显示设备建立投屏连接。
例如,假设移动终端接入的局域网内接入有三台显示设备,分别为:显示设备A,IP地址为:192.168.1.100,投屏码为1234;显示设备B,IP地址为:192.168.1.101,投屏码为1135;显示设备C,IP地址为:192.168.1.102,投屏码为1136。移动终端向局域网广播发送设备搜索信息“mirror_device_search”后;马上会接收到上述三台显示设备发送过来的反馈消息,分别为:ip_192.168.1.100#deviceinfo_1234;ip_192.168.1.101#deviceinfo_1135;ip_192.168.1.102#deviceinfo_1136。
其中,假设移动终端预先保存的投屏匹配码为1234,则当移动终端在接收到反馈消息“ip_192.168.1.100#deviceinfo_1234”时,由于解析出的投屏匹配码为“1234”,与移动终端预先保存的投屏绑定码相同,因此移动终端便利用解析出的IP地址“192.168.1.100”与显示设备A建立投屏连接。
而当移动终端接收到反馈消息“ip_192.168.1.101#deviceinfo_1135”或“ip_192.168.1.102#deviceinfo_1136”时,由于解析出的投屏匹配码与移动终端预先保存的投屏绑定码不相同,因此移动终端便不会与显示设备B或显示设备C建立投屏连接。
本申请提供的建立投屏连接的方法,当移动终端搜索到多台可以投屏的显示设备时,不需要用户从搜索到的显示设备中选择需要进行投屏的显示设备,移动终端可以自动与需要进行投屏的显示设备建立投屏连接,从而可以有效简化建立投屏连接的过程,提升建立投屏连接的效率。
在一种可行的实施方式中,在移动终端与显示设备处于投屏连接状态时,若移动终端接收到其它显示设备发送的反馈消息,则可不做处理。
可以理解的是,在移动终端与显示设备进行投屏的过程中,由于移动终端和显示设备之间的数据传输是通过无线网络进行传输,而且大多数都是通过用户数据报协议(User Datagram Protocol,UDP)这种不保证数据传输质量的网络协议进行数据交换,所以会不可避免地出现网络数据丢包的问题,从而会引起显示设备出现花屏的现象。
其中,投屏过程中最常用的编码及传输方式为:在关键帧(I帧)之间插入P帧(前向预测编码帧)的形式进行传输,例如移动终端可以发送类型为“IPPPPIPPPPIPPPP”的图像序列给显示设备。
其中,显示设备在对I帧进行解码时,不需要与其它帧进行比较,就可以解码出一个整的画面;当对P帧进行解码时,需要与它之前的I帧或P帧进行比较,计算它们之间的差值,才解码出一个完整的画面。
为了防止显示设备在解码时出现花屏,本申请一种可行的实施方式中,移动终端与显示设备建立投屏连接之后,移动终端基于预设的采集频率采集移动终端中显示的图像数据,并将采集到的图像数据依次发送至显示设备。其中,上述图像数据中包括序列号,且移动终端当前发送的图像数据的序列号与上一次发送的图像数据的序列号之间满足预设条件。
显示设备在接收到上述图像数据时,若当前接收到的图像数据的序列号与上一次接收到的图像数据的序列号之间不满足所述预设条件,则确定当前接收到的图像数据的类型是否为P帧;在当前接收到的图像数据的类型为P帧时,向移动终端发送I帧请求消息。
移动终端在接收到显示设备发送的I帧请求消息时,采集类型为I帧的图像数据,并发送至显示设备。显示设备在接收到的类型为I帧的图像数据后,对该类型为I帧的图像数据进行解码。
可以理解的是,当解码一个P帧时,如果它前面的一个I帧或P帧丢掉了,那么它依赖的参数帧会变成它前面其它的I帧或P帧,这时就会出现花屏现象。
参照图13,图13为本申请实施例中一种视频流的帧序列示意图。
在图3中,假设第4帧由于网络原因没有接收到,那么对显示设备对第5帧进行解码时,只能参考第3帧,这样显示设备在显示第5帧时就会出现花屏。同时由于第5帧解码出来的图像是花屏,所以在解码第6帧以及之后的P帧时,都会出现花屏,直至解码至第n+1帧时,由于n+1帧为I帧,所以花屏现象才会消失。
因此,显示设备根据当前接收到的图像数据的序列号与上一次接收到的图像数据的序列号之间是否满足预设条件,以及当前接收到的图像数据的类型是否为P帧,即可确定出数据网络是否出现丢包。
在一些实施例中,上述预设条件为显示设备当前接收到的图像数据的序列号与上一次接收到的图像数据的序列号之差为1。
为了更好的理解本申请实施例,参照图14,图14为本申请实施例中提供的一种防止投屏过程中出现花屏的方法的流程示意图。
在本申请一种可行的实施方式中,上述防止投屏过程中出现花屏的方法:
1401.移动终端与所述显示设备建立投屏连接之后,基于预设的采集频率采集移动终端中显示的图像数据,并实时进行多媒体编码,封装成TS流存到一个数据缓存buffer中,buffer中包含该数据包的序列号seqNo和TS流数据。
1402.移动终端通过建立的UDP数据通道将上述,buffer中包含包含的数据发送到显示设备。其中,每发送一个buffer,buffer中的序列号seqNo就进行加1。
1403.显示设备接收移动终端发送的图像数据,并从接收到的图像数据中获取其序列号seqNo,确定当前接收到的图像数据的序列号与上一次接收到的图像数据的序列号之差是否等于1。
1404.若显示设备确定当前接收到的图像数据的序列号与上一次接收到的图像数据的序列号之差大于1,则说明当前接收到的图像数据和上一次接收到的图像数据之间有部分图像数据丢失了。此时,确定当前接收到的图像数据的类型是否为P帧。
1405.显示设备在当前接收到的图像数据的类型为P帧时,向移动终端发送I帧请求消息。
其中,显示设备在当前接收到的图像数据的类型为I帧数据时,那么前面的数据丢失不会影响该帧数据的解码,因此可以直接对该帧图像数据进行解码。
在一些实施例中,显示设备丢弃已接收到的图像数据,直至接收到移动终端发送的类型为I帧的图像数据。
1406.移动终端在接收到显示设备发送的I帧请求消息后,立刻采集类型为I帧的图像数据。
1407.移动终端将采集到的类型为I帧的图像数据发送至显示设备。
1408.显示设备基于接收到的类型为I帧的图像数据进行解码。
即本申请实施例中,显示设备能够通过图像数据的序列号来判断投屏连接是否出现丢包,当出现丢包时,通过向移动终端请求类型为I帧的图像数据,即可有效避免在投屏过程中出现花屏。
在本申请所提供的几个实施例中,应该理解到,所揭露的设备和方法,可以通过其它的方式实现。例如,以上所描述的设备实施例仅仅是示意性的,例如,所述模块的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,例如多个模块可以结合或者可以集成到另一个系统,或一些特征可以忽略,或不执行。另一点,所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口,装置或模块的间接耦合或通信连接,可以是电性,机械或其它的形式。
所述作为分离部件说明的模块可以是或者也可以不是物理上分开的,作为模块显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。
另外,在本申请各个实施例中的各功能模块可以集成在一个处理单元中,也可以是各个模块单独物理存在,也可以两个或两个以上模块集成在一个单元中。上述模块成的单元既可以采用硬件的形式实现,也可以采用硬件加软件功能单元的形式实现。
最后应说明的是:以上各实施例仅用以说明本申请的技术方案,而非对其限制;尽管参照前述各实施例对本申请进行了详细的说明,本领域的普通技术人员应当理解:其依然可以对前述各实施例所记载的技术方案进行修改,或者对其中部分或者全部技术特征进行等同替换;而这些修改或者替换,并不使相应技术方案的本质脱离本申请各实施例技术方案的范围。

Claims (12)

1.一种显示设备,其特征在于,包括:
显示屏,用于显示图像;
与所述显示屏连接的控制器,所述控制器被配置为:
接收移动终端广播的设备搜索消息,所述设备搜索消息是在移动终端检测到NFC卡时广播的;所述NFC卡为具有NFC功能的卡片,用于启动所述移动终端的投屏应用程序,所述NFC卡未存储显示设备的信息,所述NFC卡至少包括公交卡、门禁卡;
向所述移动终端发送基于所述设备搜索消息生成的反馈消息,所述反馈消息中包括所述显示设备的投屏匹配码与设备地址;
接收所述移动终端发送的投屏连接请求,并根据所述投屏连接请求与所述移动终端建立投屏连接,所述投屏连接请求为所述移动终端的投屏匹配码与所述显示设备的投屏匹配码相同时,所述移动终端根据所述显示设备的设备地址生成的。
2.根据权利要求1所述的显示设备,其特征在于,所述控制器还用于:
根据用户触发的配置操作,配置所述显示设备的投屏匹配码。
3.根据权利要求1所述的显示设备,其特征在于,所述设备地址为所述显示设备的IP地址。
4.根据权利要求3所述的显示设备,其特征在于,所述显示设备与所述移动终端建立投屏连接后,所述控制器还用于:
接收所述移动终端发送的图像数据,所述图像数据中包括序列号,且所述移动终端当前发送的图像数据的序列号与上一次发送的图像数据的序列号之间满足预设条件;
对所述图像数据进行解码后发送至所述显示屏。
5.根据权利要求4所述的显示设备,其特征在于,所述控制器还用于:
若当前接收到的图像数据的序列号与上一次接收到的图像数据的序列号之间不满足所述预设条件,则确定当前接收到的图像数据的类型是否为P帧;
在当前接收到的图像数据的类型为P帧时,向所述移动终端发送I帧请求消息;
接收所述移动终端发送的类型为I帧的图像数据,并对所述类型为I帧的图像数据进行解码后发送至所述显示屏。
6.一种移动终端,其特征在于,包括:
近场通信NFC响应组件,用于对满足预设距离的NFC卡进行响应;
与所述NFC响应组件连接的控制器,所述控制器被配置为:
当所述NFC响应组件响应于NFC卡时,在所述移动终端当前接入的局域网内广播设备搜索消息,所述设备搜索消息是在移动终端检测到NFC卡时广播的;所述NFC卡为具有NFC功能的卡片,用于启动所述移动终端的投屏应用程序,所述NFC卡未存储显示设备的信息,所述NFC卡至少包括公交卡、门禁卡;
接收显示设备基于所述设备搜索消息发送的反馈消息,所述反馈消息中包括所述显示设备的投屏匹配码与设备地址;
获取所述移动终端的投屏匹配码,当所述移动终端的投屏匹配码与所述显示设备的投屏匹配码相同时,根据所述设备地址与所述显示设备建立投屏连接。
7.根据权利要求6所述的移动终端,其特征在于,所述控制器还用于:
根据用户触发的配置操作,配置所述移动终端的投屏匹配码。
8.根据权利要求6所述的移动终端,其特征在于,所述控制器还用于:
当接收到两个或两个以上显示设备基于所述设备搜索消息发送的反馈消息时,分别确定接收到的各个反馈消息中的投屏匹配码是否与所述移动终端的投屏匹配码相同;
若当前接收到的目标反馈消息中的投屏匹配码与所述移动终端的投屏匹配码相同,获取所述目标反馈消息中的目标设备地址,并根据所述目标设备地址与所述目标设备地址对应的显示设备建立投屏连接。
9.根据权利要求6至8任一项所述的移动终端,其特征在于,所述控制器还用于:
接收所述显示设备发送的I帧请求消息,所述I帧请求消息为所述显示设备在相邻两次接收到的图像数据的序列号之间不满足预设条件,且最近一次接收到的图像数据的类型为P帧时生成的;
采集类型为I帧的图像数据,并发送至所述显示设备。
10.一种投屏方法,其特征在于,应用于显示设备,所述方法包括:
接收移动终端广播的设备搜索消息,所述设备搜索消息是在移动终端检测到NFC卡时广播的;所述NFC卡为具有NFC功能的卡片,用于启动所述移动终端的投屏应用程序,所述NFC卡未存储显示设备的信息,所述NFC卡至少包括公交卡、门禁卡;
向所述移动终端发送基于所述设备搜索消息生成的反馈消息,所述反馈消息中包括所述显示设备的投屏匹配码与设备地址;
接收所述移动终端发送的投屏连接请求,并根据所述投屏连接请求与所述移动终端建立投屏连接,所述投屏连接请求为所述移动终端的投屏匹配码与所述显示设备的投屏匹配码相同时,所述移动终端根据所述显示设备的设备地址生成的。
11.一种投屏方法,其特征在于,应用于移动终端,所述方法包括:
响应于NFC卡,在所述移动终端当前接入的局域网内广播设备搜索消息,所述设备搜索消息是在移动终端检测到NFC卡时广播的;所述NFC卡为具有NFC功能的卡片,用于启动所述移动终端的投屏应用程序,所述NFC卡未存储显示设备的信息,所述NFC卡至少包括公交卡、门禁卡;
接收显示设备基于所述设备搜索消息发送的反馈消息,所述反馈消息中包括所述显示设备的投屏匹配码与设备地址;
获取所述移动终端的投屏匹配码,当所述移动终端的投屏匹配码与所述显示设备的投屏匹配码相同时,根据所述设备地址与所述显示设备建立投屏连接。
12.一种投屏系统,其特征在于,包括权利要求1至5任一项所述的显示设备与权利要求6至9任一项所述的移动终端。
CN202011163037.8A 2020-10-27 2020-10-27 显示设备、移动终端、投屏方法及投屏系统 Active CN112367543B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN202011163037.8A CN112367543B (zh) 2020-10-27 2020-10-27 显示设备、移动终端、投屏方法及投屏系统
PCT/CN2021/119051 WO2022089088A1 (zh) 2020-10-27 2021-09-17 显示设备、移动终端、投屏数据传输方法及传输系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011163037.8A CN112367543B (zh) 2020-10-27 2020-10-27 显示设备、移动终端、投屏方法及投屏系统

Publications (2)

Publication Number Publication Date
CN112367543A CN112367543A (zh) 2021-02-12
CN112367543B true CN112367543B (zh) 2023-08-15

Family

ID=74510743

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011163037.8A Active CN112367543B (zh) 2020-10-27 2020-10-27 显示设备、移动终端、投屏方法及投屏系统

Country Status (1)

Country Link
CN (1) CN112367543B (zh)

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113225609A (zh) * 2021-03-31 2021-08-06 广州朗国电子科技有限公司 投屏方法、系统、存储装置
CN113207034B (zh) * 2021-04-06 2023-08-08 深圳创维-Rgb电子有限公司 手机与电视投屏处理方法、装置、设备及介质
CN113590067A (zh) * 2021-07-28 2021-11-02 深圳创维-Rgb电子有限公司 投屏控制方法、系统、装置及计算机可读存储介质
CN113630656B (zh) * 2021-08-05 2024-04-05 Vidaa美国公司 显示设备、终端设备及通信连接方法
CN113691850A (zh) * 2021-08-25 2021-11-23 深圳康佳电子科技有限公司 投屏控制方法、装置、智能终端及计算机可读存储介质
CN113784200B (zh) * 2021-08-26 2023-05-09 青岛海信传媒网络技术有限公司 通信终端、显示设备及投屏连接方法
CN114401429B (zh) * 2022-01-14 2024-02-27 烽火通信科技股份有限公司 远程投屏方法和电子设备
CN114885194A (zh) * 2022-03-30 2022-08-09 海信视像科技股份有限公司 显示设备、投屏显示方法及存储介质

Citations (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103124380A (zh) * 2012-11-16 2013-05-29 佳都新太科技股份有限公司 一种基于h264的实时流媒体丢包处理方案
CN103260257A (zh) * 2013-04-10 2013-08-21 广东欧珀移动通信有限公司 自动建立Wi-Fi Display连接实现屏幕共享的方法和系统
CN103607380A (zh) * 2013-11-07 2014-02-26 深圳创维数字技术股份有限公司 一种多屏互动的方法、装置及系统
CN105991962A (zh) * 2015-02-03 2016-10-05 阿里巴巴集团控股有限公司 一种信息展示方法、装置及系统
CN106534547A (zh) * 2016-11-15 2017-03-22 努比亚技术有限公司 移动终端及屏幕投影连接方法
CN106792055A (zh) * 2016-12-28 2017-05-31 福建星网视易信息系统有限公司 实时投屏方法、设备及系统
CN109587532A (zh) * 2019-02-20 2019-04-05 成都市青柠微影科技有限公司 一种投影设备的投屏配对连接方法及投影娱乐系统
CN110312160A (zh) * 2019-06-17 2019-10-08 广州视源电子科技股份有限公司 无线投屏方法、装置、智能平板、终端及系统
CN110389738A (zh) * 2019-06-27 2019-10-29 北京小米移动软件有限公司 一种投屏方法、装置、终端及存储介质
JP2020009152A (ja) * 2018-07-09 2020-01-16 セイコーエプソン株式会社 画像表示システム、画像表示装置及び画像表示システムの制御方法
CN110958475A (zh) * 2019-10-30 2020-04-03 华为终端有限公司 一种跨设备的内容投射方法及电子设备
CN111277807A (zh) * 2020-01-14 2020-06-12 广东小天才科技有限公司 一种投影实现方法、可穿戴设备、显示设备和存储介质
CN111343698A (zh) * 2020-02-27 2020-06-26 深圳市信锐网科技术有限公司 投屏控制方法、装置、无线控制器及存储介质
CN111464844A (zh) * 2020-04-22 2020-07-28 海信视像科技股份有限公司 一种投屏显示方法及显示设备
CN111669644A (zh) * 2020-07-07 2020-09-15 深圳市嘉润原新显科技有限公司 触碰投屏显示器
CN111683275A (zh) * 2020-06-04 2020-09-18 深圳康佳电子科技有限公司 一种投屏方法、投屏系统和计算机设备
CN111796786A (zh) * 2020-06-30 2020-10-20 深圳前海茂佳软件科技有限公司 投屏方法、装置、终端及存储介质

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7970350B2 (en) * 2007-10-31 2011-06-28 Motorola Mobility, Inc. Devices and methods for content sharing
KR20200086142A (ko) * 2019-01-08 2020-07-16 삼성전자주식회사 영상 표시 장치 및 그 동작방법

Patent Citations (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103124380A (zh) * 2012-11-16 2013-05-29 佳都新太科技股份有限公司 一种基于h264的实时流媒体丢包处理方案
CN103260257A (zh) * 2013-04-10 2013-08-21 广东欧珀移动通信有限公司 自动建立Wi-Fi Display连接实现屏幕共享的方法和系统
CN103607380A (zh) * 2013-11-07 2014-02-26 深圳创维数字技术股份有限公司 一种多屏互动的方法、装置及系统
CN105991962A (zh) * 2015-02-03 2016-10-05 阿里巴巴集团控股有限公司 一种信息展示方法、装置及系统
CN106534547A (zh) * 2016-11-15 2017-03-22 努比亚技术有限公司 移动终端及屏幕投影连接方法
CN106792055A (zh) * 2016-12-28 2017-05-31 福建星网视易信息系统有限公司 实时投屏方法、设备及系统
JP2020009152A (ja) * 2018-07-09 2020-01-16 セイコーエプソン株式会社 画像表示システム、画像表示装置及び画像表示システムの制御方法
CN109587532A (zh) * 2019-02-20 2019-04-05 成都市青柠微影科技有限公司 一种投影设备的投屏配对连接方法及投影娱乐系统
CN110312160A (zh) * 2019-06-17 2019-10-08 广州视源电子科技股份有限公司 无线投屏方法、装置、智能平板、终端及系统
CN110389738A (zh) * 2019-06-27 2019-10-29 北京小米移动软件有限公司 一种投屏方法、装置、终端及存储介质
CN110958475A (zh) * 2019-10-30 2020-04-03 华为终端有限公司 一种跨设备的内容投射方法及电子设备
CN111277807A (zh) * 2020-01-14 2020-06-12 广东小天才科技有限公司 一种投影实现方法、可穿戴设备、显示设备和存储介质
CN111343698A (zh) * 2020-02-27 2020-06-26 深圳市信锐网科技术有限公司 投屏控制方法、装置、无线控制器及存储介质
CN111464844A (zh) * 2020-04-22 2020-07-28 海信视像科技股份有限公司 一种投屏显示方法及显示设备
CN111683275A (zh) * 2020-06-04 2020-09-18 深圳康佳电子科技有限公司 一种投屏方法、投屏系统和计算机设备
CN111796786A (zh) * 2020-06-30 2020-10-20 深圳前海茂佳软件科技有限公司 投屏方法、装置、终端及存储介质
CN111669644A (zh) * 2020-07-07 2020-09-15 深圳市嘉润原新显科技有限公司 触碰投屏显示器

Also Published As

Publication number Publication date
CN112367543A (zh) 2021-02-12

Similar Documents

Publication Publication Date Title
CN112367543B (zh) 显示设备、移动终端、投屏方法及投屏系统
CN111954044B (zh) 通道切换方法和显示设备
CN111752518A (zh) 一种显示设备投屏方法及显示设备
CN111935518B (zh) 一种视频投屏方法及显示设备
CN111683279B (zh) 显示设备及图像恢复方法
CN112153447B (zh) 一种显示设备及音画同步控制方法
US11960674B2 (en) Display method and display apparatus for operation prompt information of input control
CN111836115B (zh) 一种屏保展示方法、屏保跳转方法及显示设备
CN113438539A (zh) 一种数字电视节目录制方法及显示设备
CN112422365A (zh) 显示设备及自动监测网络状态的方法
CN112118400A (zh) 显示设备上图像的显示方法及显示设备
CN111954059A (zh) 屏保的展示方法及显示设备
CN111954043B (zh) 一种信息栏显示方法及显示设备
CN112269668A (zh) 一种应用资源共享及显示设备
CN112040340A (zh) 资源文件获取方法及显示设备
CN114390190B (zh) 显示设备及监测应用启动摄像头的方法
CN113971049A (zh) 一种后台服务管理方法及显示设备
CN112328553A (zh) 一种缩略图的抓取方法及显示设备
CN112261463A (zh) 显示设备及节目推荐方法
CN111931692A (zh) 显示设备及图像识别方法
CN111913755B (zh) 一种应用程序的扫描方法和显示设备
CN111935519B (zh) 通道切换方法和显示设备
CN114040341B (zh) 一种蓝牙广播包上报处理方法及显示设备
CN113438553B (zh) 一种显示设备被唤醒方法及显示设备
CN112231088B (zh) 一种浏览器进程优化方法及显示设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant