CN113784200B - 通信终端、显示设备及投屏连接方法 - Google Patents

通信终端、显示设备及投屏连接方法 Download PDF

Info

Publication number
CN113784200B
CN113784200B CN202110986907.XA CN202110986907A CN113784200B CN 113784200 B CN113784200 B CN 113784200B CN 202110986907 A CN202110986907 A CN 202110986907A CN 113784200 B CN113784200 B CN 113784200B
Authority
CN
China
Prior art keywords
screen
communication terminal
throwing
connection
display device
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110986907.XA
Other languages
English (en)
Other versions
CN113784200A (zh
Inventor
张敬坤
朱雪生
林乐
张传强
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Qingdao Hisense Media Network Technology Co Ltd
Original Assignee
Qingdao Hisense Media Network Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Qingdao Hisense Media Network Technology Co Ltd filed Critical Qingdao Hisense Media Network Technology Co Ltd
Priority to CN202110986907.XA priority Critical patent/CN113784200B/zh
Publication of CN113784200A publication Critical patent/CN113784200A/zh
Application granted granted Critical
Publication of CN113784200B publication Critical patent/CN113784200B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/436—Interfacing a local distribution network, e.g. communicating with another STB or one or more peripheral devices inside the home
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/4104—Peripherals receiving signals from specially adapted client devices
    • H04N21/4122—Peripherals receiving signals from specially adapted client devices additional display device, e.g. video projector
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/4104—Peripherals receiving signals from specially adapted client devices
    • H04N21/4126—The peripheral being portable, e.g. PDAs or mobile phones
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/436—Interfacing a local distribution network, e.g. communicating with another STB or one or more peripheral devices inside the home
    • H04N21/4363—Adapting the video stream to a specific local network, e.g. a Bluetooth® network
    • H04N21/43637—Adapting the video stream to a specific local network, e.g. a Bluetooth® network involving a wireless protocol, e.g. Bluetooth, RF or wireless LAN [IEEE 802.11]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/439—Processing of audio elementary streams
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/4402—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display
    • H04N21/440281—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display by altering the temporal resolution, e.g. by frame skipping
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W76/00—Connection management
    • H04W76/10—Connection setup
    • H04W76/11—Allocation or use of connection identifiers
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W76/00—Connection management
    • H04W76/10—Connection setup
    • H04W76/14—Direct-mode setup

Landscapes

  • Engineering & Computer Science (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Controls And Circuits For Display Device (AREA)
  • Telephone Function (AREA)

Abstract

本申请提供一种通信终端、显示设备及投屏连接方法，所述投屏连接方法可以在用户将通信终端的感应模块与显示设备的感应器触发感应后，使通信终端可以自动显示投屏连接界面，并通过识别投屏连接界面中的显示设备名称，执行模拟点击事件，实现向显示设备发起投屏连接请求。所述投屏连接方法可以基于感应操作，触发执行图像识别和模拟点击事件，从而自动完成投屏连接操作，简化操作动作，解决传统投屏连接建立方法操作繁琐的问题。

Description

通信终端、显示设备及投屏连接方法
技术领域
本申请涉及显示设备技术领域，尤其涉及一种通信终端、显示设备及投屏连接方法。
背景技术
显示设备是指能够输出具体显示画面的终端设备，可以是智能电视、移动终端、智能广告屏、投影仪等终端设备。以智能电视为例，智能电视是基于Internet应用技术，具备开放式操作系统与芯片，拥有开放式应用平台，可实现双向人机交互功能，集影音、娱乐、数据等多种功能于一体的电视产品，用于满足用户多样化和个性化需求。
显示设备还可以通过与手机等通信终端建立投屏连接，以展示通信终端中的内容。例如，智能电视可以基于AirPlay屏幕镜像或Miracast多屏互动等投屏协议与手机建立投屏连接。并且在建立投屏连接后，通过投屏协议获取手机中显示和/或播放的画面内容，以呈现在智能电视的屏幕中。
为了建立投屏连接，用户需要同时在显示设备和通信终端上执行多次交互动作，以使显示设备和通信终端可以相互发现、连接和构建数据通道，使得投屏连接的建立过程操作繁琐。并且，对于不同的显示设备和通信终端，由于用户界面的交互策略不同，不便于用户记忆，因此用户通常需要尝试多次操作才能正确建立投屏连接关系，严重降低用户体验。
发明内容
本申请提供了一种通信终端、显示设备及投屏连接方法，以解决传统投屏连接建立方法操作繁琐的问题。
第一方面，本申请提供一种通信终端，包括：显示模块、通信模块、感应模块以及处理器。其中，所述显示模块被配置为显示用户界面；所述通信模块被配置为与显示设备建立投屏连接；所述感应模块被配置为传输识别信息，所述识别信息包括终端信息和设备信息；所述处理器被配置为执行以下程序步骤：
获取用户通过所述感应模块输入的用于建立投屏连接的控制指令；
响应于所述控制指令，控制所述显示模块显示投屏连接界面，所述投屏连接界面中包括设备列表；
在所述设备列表中识别所述显示设备名称，所述显示设备名称与通过所述感应模块接收到的设备信息中的名称相同；
在所述投屏连接界面中执行针对所述显示设备名称的模拟点击事件，以向所述显示设备发送投屏连接请求。
第二方面，本申请还提供一种显示设备，包括：显示器、通信器、感应器以及控制器。其中，所述显示器被配置为显示投屏画面；所述通信器被配置为与通信终端建立投屏连接；所述感应器被配置为传输识别信息，所述识别信息包括终端信息和设备信息；所述控制器被配置为执行以下程序步骤：
获取由所述通信终端通过所述感应器触发的用于建立投屏连接的连接指令；
响应于所述连接指令，通过所述通信器接收所述通信终端发起的投屏连接请求，所述投屏连接请求由针对所述显示设备的模拟点击事件触发生成；
根据所述投屏连接请求向所述通信终端反馈回应信息，以建立投屏连接。
第三方面，本申请还提供一种投屏连接方法，应用于投屏连接系统，所述投屏连接系统包括上述第一方面提供的通信终端和第二方面提供的显示设备。所述投屏连接方法包括以下步骤：
通信终端获取用户通过感应模块输入的用于建立投屏连接的控制指令，以及响应于所述控制指令，控制显示模块显示投屏连接界面，所述投屏连接界面中包括设备列表；
所述通信终端在所述设备列表中识别所述显示设备名称，所述目标设备名称与通过所述感应模块接收到的设备信息中的名称相同；
所述通信终端在所述投屏连接界面中执行针对所述显示设备名称的模拟点击事件，以向所述显示设备发送投屏连接请求；
所述显示设备获取由所述通信终端通过感应器触发的用于建立投屏连接的连接指令；
所述显示设备响应于所述连接指令，通过通信器接收所述通信终端发起的投屏连接请求，以及根据所述投屏连接请求向所述通信终端反馈回应信息，以建立投屏连接。
由以上技术方案可知，本申请提供的通信终端、显示设备及投屏连接方法可以在用户将通信终端的感应模块与显示设备的感应器触发感应后，使通信终端可以自动显示投屏连接界面，并通过识别投屏连接界面中的显示设备名称，执行模拟点击事件，实现向显示设备发起投屏连接请求。所述方法可以基于感应操作，触发执行图像识别和模拟点击事件，从而自动完成投屏连接操作，简化操作动作，解决传统投屏连接建立方法操作繁琐的问题。
附图说明
为了更清楚地说明本申请的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，对于本领域普通技术人员而言，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本申请实施例中显示设备与控制装置之间操作场景的示意图；
图2为本申请实施例中显示设备的硬件配置框图；
图3为本申请实施例中显示设备软件配置示意图；
图4为本申请实施例中显示设备应用程序的图标控件界面显示示意图；
图5为本申请实施例中移动终端的结构示意图；
图6为本申请实施例中移动终端的软件架构示意图；
图7为本申请实施例中移动终端的用户界面示意图；
图8为本申请实施例中投屏效果示意图；
图9为本申请实施例中投屏操作流程示意图；
图10为本申请实施例中显示设备和通信终端的结构示意图；
图11为本申请实施例中通信终端建立投屏连接方法流程图；
图12为本申请实施例中通信终端在建立投屏连接时的显示界面示意图；
图13为本申请实施例中判断首次连接流程示意图；
图14为本申请实施例中检测投屏应用流程示意图；
图15为本申请实施例中投屏连接界面时的显示效果图；
图16为本申请实施例中识别显示设备名称的流程示意图；
图17为本申请实施例中投屏连接方法流程时序图。
具体实施方式
为使本申请的目的和实施方式更加清楚，下面将结合本申请示例性实施例中的附图，对本申请示例性实施方式进行清楚、完整地描述，显然，描述的示例性实施例仅是本申请一部分实施例，而不是全部的实施例。
需要说明的是，本申请中对于术语的简要说明，仅是为了方便理解接下来描述的实施方式，而不是意图限定本申请的实施方式。除非另有说明，这些术语应当按照其普通和通常的含义理解。
本申请中说明书和权利要求书及上述附图中的术语“第一”、“第二”、“第三”等是用于区别类似或同类的对象或实体，而不必然意味着限定特定的顺序或先后次序，除非另外注明。应该理解这样使用的用语在适当情况下可以互换。
术语“包括”和“具有”以及他们的任何变形，意图在于覆盖但不排他的包含，例如，包含了一系列组件的产品或设备不必限于清楚地列出的所有组件，而是可包括没有清楚地列出的或对于这些产品或设备固有的其它组件。
术语“模块”是指任何已知或后来开发的硬件、软件、固件、人工智能、模糊逻辑或硬件或/和软件代码的组合，能够执行与该元件相关的功能。
图1为根据实施例中显示设备的使用场景的示意图。如图1所示，显示设备200还与服务器400进行数据通信，用户可通过通信终端300或控制装置100操作显示设备200。
在一些实施例中，控制装置100可以是遥控器，遥控器和显示设备的通信包括红外协议通信或蓝牙协议通信，及其他短距离通信方式中的至少一种，通过无线或有线方式来控制显示设备200。用户可以通过遥控器上按键、语音输入、控制面板输入等至少一种输入用户指令，来控制显示设备200。
在一些实施例中，通信终端300可以包括手机、平板电脑、计算机、笔记本电脑，AR/VR设备等中的任意一种。
在一些实施例中，也可以使用通信终端300以控制显示设备200。例如，使用在通信终端上运行的应用程序控制显示设备200。
在一些实施例中，也可以使用通信终端300和显示设备进行数据的通信。
在一些实施例中，显示设备200还可以采用除了控制装置100和通信终端300之外的方式进行控制，例如，可以通过显示设备200设备内部配置的获取语音指令的模块直接接收用户的语音指令控制，也可以通过显示设备200设备外部设置的语音控制装置来接收用户的语音指令控制。
在一些实施例中，显示设备200还与服务器400进行数据通信。可允许显示设备200通过局域网(LAN)、无线局域网(WLAN)和其他网络进行通信连接。服务器400可以向显示设备200提供各种内容和互动。服务器400可以是一个集群，也可以是多个集群，可以包括一类或多类服务器。
在一些实施例中，一个步骤执行主体执行的软件步骤可以随需求迁移到与之进行数据通信的另一步骤执行主体上进行执行。示例性的，服务器执行的软件步骤可以随需求迁移到与之数据通信的显示设备上执行，反之亦然。
图2示例性示出了根据示例性实施例中控制装置100的配置框图。如图2所示，控制装置100包括控制器110、通信接口130、用户输入/输出接口140、存储器、供电电源。控制装置100可接收用户的输入操作指令，且将操作指令转换为显示设备200可识别和响应的指令，起用用户与显示设备200之间交互中介作用。
在一些实施例中，通信接口130用于和外部通信，包含WIFI芯片，蓝牙模块，NFC或可替代模块中的至少一种。
在一些实施例中，用户输入/输出接口140包含麦克风，触摸板，传感器，按键或可替代模块中的至少一种。
图3示出了根据示例性实施例中显示设备200的硬件配置框图。
在一些实施例中，显示设备200包括调谐解调器210、通信器220、检测器230、外部装置接口240、控制器250、显示器260、音频输出接口270、存储器、供电电源、用户接口中的至少一种。
在一些实施例中控制器包括中央处理器，视频处理器，音频处理器，图形处理器，RAM，ROM，用于输入/输出的第一接口至第n接口。
在一些实施例中，显示器260包括用于呈现画面的显示屏组件，以及驱动图像显示的驱动组件，用于接收源自控制器输出的图像信号，进行显示视频内容、图像内容以及菜单操控界面的组件以及用户操控UI界面等。
在一些实施例中，显示器260可为液晶显示器、OLED显示器、以及投影显示器中的至少一种，还可以为一种投影装置和投影屏幕。
在一些实施例中，调谐解调器210通过有线或无线接收方式接收广播电视信号，以及从多个无线或有线广播电视信号中解调出音视频信号，如以及EPG数据信号。
在一些实施例中，通信器220是用于根据各种通信协议类型与外部设备或服务器进行通信的组件。例如：通信器可以包括Wifi模块，蓝牙模块，有线以太网模块等其他网络通信协议芯片或近场通信协议芯片，以及红外接收器中的至少一种。显示设备200可以通过通信器220与控制装置100或服务器400建立控制信号和数据信号的发送和接收。
在一些实施例中，检测器230用于采集外部环境或与外部交互的信号。例如，检测器230包括光接收器，用于采集环境光线强度的传感器；或者，检测器230包括图像采集器，如摄像头，可以用于采集外部环境场景、用户的属性或用户交互手势，再或者，检测器230包括声音采集器，如麦克风等，用于接收外部声音。
在一些实施例中，外部装置接口240可以包括但不限于如下：高清多媒体接口接口(HDMI)、模拟或数据高清分量输入接口(分量)、复合视频输入接口(CVBS)、USB输入接口(USB)、RGB端口等任一个或多个接口。也可以是上述多个接口形成的复合性的输入/输出接口。
在一些实施例中，控制器250和调谐解调器210可以位于不同的分体设备中，即调谐解调器210也可在控制器250所在的主体设备的外置设备中，如外置机顶盒等。
在一些实施例中，控制器250，通过存储在存储器上中各种软件控制程序，来控制显示设备的工作和响应用户的操作。控制器250控制显示设备200的整体操作。例如：响应于接收到用于选择在显示器260上显示UI对象的用户命令，控制器250便可以执行与由用户命令选择的对象有关的操作。
在一些实施例中，所述对象可以是可选对象中的任何一个，例如超链接、图标或其他可操作的控件。与所选择的对象有关操作有：显示连接到超链接页面、文档、图像等操作，或者执行与所述图标相对应程序的操作。
在一些实施例中控制器包括中央处理器(Central Processing Unit，CPU)，视频处理器，音频处理器，图形处理器(Graphics Processing Unit，GPU)，RAM Random AccessMemory，RAM)，ROM(Read-Only Memory,ROM)，用于输入/输出的第一接口至第n接口，通信总线(Bus)等中的至少一种。
CPU处理器。用于执行存储在存储器中操作系统和应用程序指令，以及根据接收外部输入的各种交互指令，来执行各种应用程序、数据和内容，以便最终显示和播放各种音视频内容。CPU处理器，可以包括多个处理器。如，包括一个主处理器以及一个或多个子处理器。
在一些实施例中，图形处理器，用于产生各种图形对象，如：图标、操作菜单、以及用户输入指令显示图形等中的至少一种。图形处理器包括运算器，通过接收用户输入各种交互指令进行运算，根据显示属性显示各种对象；还包括渲染器，对基于运算器得到的各种对象，进行渲染，上述渲染后的对象用于显示在显示器上。
在一些实施例中，视频处理器，用于将接收外部视频信号，根据输入信号的标准编解码协议，进行解压缩、解码、缩放、降噪、帧率转换、分辨率转换、图像合成等视频处理中的至少一种，可得到直接可显示设备200上显示或播放的信号。
在一些实施例中，视频处理器，包括解复用模块、视频解码模块、图像合成模块、帧率转换模块、显示格式化模块等中的至少一种。其中，解复用模块，用于对输入音视频数据流进行解复用处理。视频解码模块，用于对解复用后的视频信号进行处理，包括解码和缩放处理等。图像合成模块，如图像合成器，其用于将图形生成器根据用户输入或自身生成的GUI信号，与缩放处理后视频图像进行叠加混合处理，以生成可供显示的图像信号。帧率转换模块，用于对转换输入视频帧率。显示格式化模块，用于将接收帧率转换后视频输出信号，改变信号以符合显示格式的信号，如输出RGB数据信号。
在一些实施例中，音频处理器，用于接收外部的音频信号，根据输入信号的标准编解码协议，进行解压缩和解码，以及降噪、数模转换、和放大处理等处理中的至少一种，得到可以在扬声器中播放的声音信号。
在一些实施例中，用户可在显示器260上显示的图形用户界面(GUI)输入用户命令，则用户输入接口通过图形用户界面(GUI)接收用户输入命令。或者，用户可通过输入特定的声音或手势进行输入用户命令，则用户输入接口通过传感器识别出声音或手势，来接收用户输入命令。
在一些实施例中，“用户界面”，是应用程序或操作系统与用户之间进行交互和信息交换的介质接口，它实现信息的内部形式与用户可以接受形式之间的转换。用户界面常用的表现形式是图形用户界面(Graphic User Interface，GUI)，是指采用图形方式显示的与计算机操作相关的用户界面。它可以是在电子设备的显示屏中显示的一个图标、窗口、控件等界面元素，其中控件可以包括图标、按钮、菜单、选项卡、文本框、对话框、状态栏、导航栏、Widget等可视的界面元素中的至少一种。
在一些实施例中，用户接口280，为可用于接收控制输入的接口(如：显示设备本体上的实体按键，或其他等)。
在一些实施例中，显示设备的系统可以包括内核(Kernel)、命令解析器(shell)、文件系统和应用程序。内核、shell和文件系统一起组成了基本的操作系统结构，它们让用户可以管理文件、运行程序并使用系统。上电后，内核启动，激活内核空间，抽象硬件、初始化硬件参数等，运行并维护虚拟内存、调度器、信号及进程间通信(IPC)。内核启动后，再加载Shell和用户应用程序。应用程序在启动后被编译成机器码，形成一个进程。
参见图4，在一些实施例中，将系统分为四层，从上至下分别为应用程序(Applications)层(简称“应用层”)，应用程序框架(Application Framework)层(简称“框架层”)，安卓运行时(Android runtime)和系统库层(简称“系统运行库层”)，以及内核层。
在一些实施例中，应用程序层中运行有至少一个应用程序，这些应用程序可以是操作系统自带的窗口(Window)程序、系统设置程序或时钟程序等；也可以是第三方开发者所开发的应用程序。在具体实施时，应用程序层中的应用程序包不限于以上举例。
框架层为应用程序层的应用程序提供应用编程接口(application programminginterface，API)和编程框架。应用程序框架层包括一些预先定义的函数。应用程序框架层相当于一个处理中心，这个中心决定让应用层中的应用程序做出动作。应用程序通过API接口，可在执行中访问系统中的资源和取得系统的服务。
如图4所示，本申请实施例中应用程序框架层包括管理器(Managers)，内容提供者(Content Provider)等，其中管理器包括以下模块中的至少一个：活动管理器(ActivityManager)用与和系统中正在运行的所有活动进行交互；位置管理器(Location Manager)用于给系统服务或应用提供了系统位置服务的访问；文件包管理器(Package Manager)用于检索当前安装在设备上的应用程序包相关的各种信息；通知管理器(NotificationManager)用于控制通知消息的显示和清除；窗口管理器(Window Manager)用于管理用户界面上的括图标、窗口、工具栏、壁纸和桌面部件。
在一些实施例中，活动管理器用于管理各个应用程序的生命周期以及通常的导航回退功能，比如控制应用程序的退出、打开、后退等。窗口管理器用于管理所有的窗口程序，比如获取显示屏大小，判断是否有状态栏，锁定屏幕，截取屏幕，控制显示窗口变化(例如将显示窗口缩小显示、抖动显示、扭曲变形显示等)等。
在一些实施例中，系统运行库层为上层即框架层提供支撑，当框架层被使用时，安卓操作系统会运行系统运行库层中包含的C/C++库以实现框架层要实现的功能。
在一些实施例中，内核层是硬件和软件之间的层。如图4所示，内核层至少包含以下驱动中的至少一种：音频驱动、显示驱动、蓝牙驱动、摄像头驱动、WIFI驱动、USB驱动、HDMI驱动、传感器驱动(如指纹传感器，温度传感器，压力传感器等)、以及电源驱动等。
图5示出了通信终端300的结构示意图。
下面以通信终端300为例对实施例进行具体说明。应该理解的是，图5所示通信终端300仅是一个范例，并且通信终端300可以具有比图5中所示的更多的或者更少的部件，可以组合两个或多个的部件，或者可以具有不同的部件配置。图中所示出的各种部件可以在包括一个或多个信号处理和/或专用集成电路在内的硬件、软件、或硬件和软件的组合中实现。
如图5所示，通信终端300包括：射频(radio frequency，RF)电路310、存储器320、显示单元330、摄像头340、传感器350、音频电路360、无线保真(Wireless Fidelity，Wi-Fi)电路370、处理器380、蓝牙电路381、以及电源391等部件。
RF电路310可用于在收发信息或通话过程中信号的接收和发送，可以接收基站的下行数据后交给处理器380处理；可以将上行数据发送给基站。通常，RF电路包括但不限于天线、至少一个放大器、收发信机、耦合器、低噪声放大器、双工器等器件。
存储器320可用于存储软件程序及数据。处理器380通过运行存储在存储器320的软件程序或数据，从而执行通信终端300的各种功能以及数据处理。存储器320可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。存储器320存储有使得通信终端300能运行的操作系统。本申请中存储器320可以存储操作系统及各种应用程序，还可以存储执行本申请实施例所述方法的代码。
显示单元330可用于接收输入的数字或字符信息，产生与通信终端300的用户设置以及功能控制有关的信号输入，具体地，显示单元330可以包括设置在通信终端300正面的触摸屏331，可收集用户在其上或附近的触摸操作，例如点击按钮，拖动滚动框等。
显示单元330还可用于显示由用户输入的信息或提供给用户的信息以及通信终端300的各种菜单的图形用户界面(graphical user interface，GUI)。具体地，显示单元330可以包括设置在通信终端300正面的显示屏332。其中，显示屏332可以采用液晶显示器、发光二极管等形式来配置。显示单元330可以用于显示本申请中所述的各种图形用户界面。
其中，触摸屏331可以覆盖在显示屏332之上，也可以将触摸屏331与显示屏332集成而实现通信终端300的输入和输出功能，集成后可以简称触摸显示屏。本申请中显示单元330可以显示应用程序以及对应的操作步骤。
摄像头340可用于捕获静态图像或视频。物体通过镜头生成光学图像投射到感光元件。感光元件可以是电荷耦合器件(charge coupled device，CCD)或互补金属氧化物半导体(complementary metal-oxide-semiconductor，CMOS)光电晶体管。感光元件把光信号转换成电信号，之后将电信号传递给处理器380转换成数字图像信号。
通信终端300还可以包括至少一种传感器350，比如加速度传感器351、距离传感器352、指纹传感器353、温度传感器354。通信终端300还可配置有陀螺仪、气压计、湿度计、温度计、红外线传感器、光传感器、运动传感器等其他传感器。
音频电路360、扬声器361、麦克风362可提供用户与通信终端300之间的音频接口。音频电路360可将接收到的音频数据转换后的电信号，传输到扬声器361，由扬声器361转换为声音信号输出。通信终端300还可配置音量按钮，用于调节声音信号的音量。另一方面，麦克风362将收集的声音信号转换为电信号，由音频电路360接收后转换为音频数据，再将音频数据输出至RF电路310以发送给比如另一终端，或者将音频数据输出至存储器320以便进一步处理。本申请中麦克风362可以获取用户的语音。
Wi-Fi属于短距离无线传输技术，通信终端300可以通过Wi-Fi电路370帮助用户收发电子邮件、浏览网页和访问流媒体等，它为用户提供了无线的宽带互联网访问。
处理器380是通信终端300的控制中心，利用各种接口和线路连接整个终端的各个部分，通过运行或执行存储在存储器320内的软件程序，以及调用存储在存储器320内的数据，执行通信终端300的各种功能和处理数据。在一些实施例中，处理器380可包括一个或多个处理单元；处理器380还可以集成应用处理器和基带处理器，其中，应用处理器主要处理操作系统、用户界面和应用程序等，基带处理器主要处理无线通信。可以理解的是，上述基带处理器也可以不集成到处理器380中。本申请中处理器380可以运行操作系统、应用程序、用户界面显示及触控响应，以及本申请实施例所述的处理方法。另外，处理器380与输入单元和显示单元330耦接。
蓝牙电路381，用于通过蓝牙协议来与其他具有蓝牙电路的蓝牙设备进行信息交互。例如，通信终端300可以通过蓝牙电路381与同样具备蓝牙电路的可穿戴电子设备(例如智能手表)建立蓝牙连接，从而进行数据交互。
通信终端300还包括给各个部件供电的电源391(比如电池)。电源可以通过电源管理系统与处理器380逻辑相连，从而通过电源管理系统实现管理充电、放电以及功耗等功能。通信终端300还可配置有电源按钮，用于终端的开机和关机，以及锁屏等功能。
图6是本发明实施例的通信终端300的软件结构框图。
分层架构将软件分成若干个层，每一层都有清晰的角色和分工。层与层之间通过软件接口通信。在一些实施例中，将Android系统分为四层，从上至下分别为应用程序层，应用程序框架层，安卓运行时(Android runtime)和系统库，以及内核层。应用程序层可以包括一系列应用程序包。
如图6所示，应用程序包可以包括相机，图库，日历，通话，地图，导航，WLAN，蓝牙，音乐，视频，短信息等应用程序。
应用程序框架层为应用程序层的应用程序提供应用编程接口(applicationprogramming interface，API)和编程框架。应用程序框架层包括一些预先定义的函数。
如图6所示，应用程序框架层可以包括窗口管理器，内容提供器，视图系统，电话管理器，资源管理器，通知管理器等。窗口管理器用于管理窗口程序。窗口管理器可以获取显示屏大小，判断是否有状态栏，锁定屏幕，截取屏幕等。内容提供器用来存放和获取数据，并使这些数据可以被应用程序访问。所述数据可以包括视频，图像，音频，拨打和接听的电话，浏览历史和书签，电话簿等。
视图系统包括可视控件，例如显示文字的控件，显示图片的控件等。视图系统可用于构建应用程序。显示界面可以由一个或多个视图组成的。例如，包括短信通知图标的显示界面，可以包括显示文字的视图以及显示图片的视图。电话管理器用于提供通信终端300的通信功能。例如通话状态的管理(包括接通，挂断等)。资源管理器为应用程序提供各种资源，比如本地化字符串，图标，图片，布局文件，视频文件等等。通知管理器使应用程序可以在状态栏中显示通知信息，可以用于传达告知类型的消息，可以短暂停留后自动消失，无需用户交互。
在一些具体实施中，如图7所示，用户通过触摸用户界面上的应用图标可以打开相应的应用程序，或者通过触摸用户界面上的文件夹图标可以打开相应的文件夹。
基于上述显示设备200和通信终端300，用户可以通过建立投屏连接，使显示设备200播放显示通信终端300中的内容，如图8所示。在一些实施例中，为了建立投屏连接关系，用户可以通过通信终端300发出投屏连接请求，并通过WiFi网络将投屏连接请求发送给显示设备200。显示设备200再根据投屏连接请求完成传输协议配置，从而与通信终端300之间建立投屏数据的传输通道。
显示设备200还可以通过不同连接方式实现与通信终端300之间的投屏连接。例如，在显示设备200和通信终端300接入同一个无线局域网时，可以基于WiFi网络建立投屏连接。又例如，在显示设备200和通信终端300上均设有近场通信(Near FieldCommunication，NFC)组件时，可以通过NFC组件建立投屏连接关系。显然，显示设备200与通信终端300之间还可以采用其他有线或无线连接方式，从而建立投屏连接关系，例如RF射频连接、红外连接、蜂窝网络以及本领域技术人员在上述实施例提供的连接方式基础上所能够联想到的其他连接方式。
在建立投屏连接后，显示设备200可以通过投屏数据通道接收通信终端300的投屏数据，从而在显示设备200中播放投屏画面内容。在不同的投屏数据传输协议下，显示设备200获取的投屏数据形式不同。例如，在数字生活网络联盟(Digital Living Network Alliance，DLNA)协议下，显示设备200可以通过投屏数据通道获取通信终端300中某一资源的链接地址，并通过访问该链接地址获取媒资内容数据，从而播放该媒资数据。同时显示设备200还可以在播放媒资数据时，通过投屏数据通道获取通信终端300发送的控制指令，如快进、暂停、停止投屏等。例如，通过通讯协议建立好连接后，手机等通信终端300与显示设备200会进行设备功能与网络条件的协商，以选择适合的影音传输格式。建立影音串流的联机协议后，再通过一连串的实时串流协议控制命令，以控制影音串流的播放及终止。
显示设备200还可以通过其他类型的投屏协议与通信终端300建立投屏连接关系。例如，在Miracast投屏、Airplay投屏、NFC镜像投屏、乐播投屏等其他投屏连接协议下，显示设备200可以直接从通信终端300获取视频数据流。该视频数据流可以是通信终端300的显示单元330最终显示画面对应的视频数据流，即该视频数据流中包括通信终端300中的媒资内容画面、UI界面以及其他可在显示单元330中显示的视频画面内容。视频数据流也可以仅为通信终端300中可被获取视频数据，如正在播放的媒资视频数据等。此时，通信终端300可以作为显示设备200的一个信号源，显示设备200可以通过投屏数据通道不断获取视频数据，并实时显示在显示器275中，实现与通信终端300同步显示的效果。
通信终端300根据不同的投屏协议能够获取不同的投屏数据。例如，对于系统应用或直接在系统层级进行投屏，通信终端300可以采用Miracast投屏、Airplay投屏或WiDi投屏协议建立投屏数据通道。
其中，Miracast投屏是由WiFi联盟制定，以WiFi直连为基础的无线显示标准。Miracast投屏可适用于Android设备，即Android设备可通过Miracast投屏的方式分享视频画面。Airplay投屏是由苹果公司推出的一种无线播放技术，适用于iOS和Mac系统的无线投屏。WiDi投屏是Intel主导的一种无线播放技术，也基于WiFi Direct直连技术。
显示设备200在可以基于上述投屏协议中的任一种与通信终端300建立投屏连接关系。在建立投屏连接的过程中，用户需要基于通信终端300和显示设备200操作系统设定的UI交互方式，通过一系列交互操作，控制通信终端300向显示设备200发起投屏连接请求，并接收显示设备200基于投屏连接请求反馈的回应信息，经相互验证、握手后，构建投屏数据的传输通道，完成投屏连接。
例如，如图9所示，用户控制通信终端300和显示设备200建立投屏连接的交互过程一般为：用户在通信终端300的主界面上点击启动投屏应用；投屏应用启动后，会对通信终端300当前所处网络中的显示设备200进行搜索，并根据搜索结果渲染设备列表；用户再基于设备列表中选中预进行投屏的显示设备200名称，触发通信终端300向选中的显示设备200发送投屏连接请求；显示设备200在接收到投屏连接请求后，可以针对投屏连接请求进行回应、验证以及配置传输协议，使显示设备200与通信终端300之间可以建立投屏数据传输通道，从而通过投屏数据传输通道接收通信终端300发送的投屏数据。
可见，在上述示例中，用户需要通过多次点击操作，包括启动投屏应用、在设备列表中选中目标显示设备200等，操作过程较繁琐。并且，对于部分通信终端300，投屏应用通常不直接显示在主页界面中，用户在上述多次点击操作前，还需要通过更多此时的操作在通信终端300中寻找投屏连接入口。例如，对于内置投屏连接应用的通信终端300，投屏连接通常集成在“设置”功能中。即为了启动投屏应用，用户需要先后点击“设置-连接设置-更多连接-投屏”等多次操作。繁琐的操作过程不便于用户记忆，使得用户在启动投屏应用前，很可能重复多次错误的操作，降低用户体验。
在本申请的部分实施例中提供一种投屏连接方法，该投屏连接方法可以应用于通信终端300，使通信终端300可以通过一次“触碰”操作即可完成投屏连接，提高用户体验。如图10所示，为了支持“一触投屏”的功能，通信终端300可以包括显示模块330、通信模块、感应模块390以及处理器380。其中，显示模块330用于显示用户界面；通信模块可以包括WiFi电路370和RF电路310用于在与显示设备200建立投屏连接后，传递投屏数据。
感应模块390用于通过接触感应等方式触发通信终端300开始执行投屏连接操作，并在接触感应过程中传输识别信息。感应模块390传输的识别信息包括显示设备200从通信终端300中读取的终端信息，以及通信终端300从显示设备200读取的设备信息。为了实现接触感应，显示设备200和通信终端300上均设有基于相同通信方式的感应组件，即通信终端300上设有感应模块390，显示设备200上可以设有感应器。
在一些实施例中，感应模块390可以是基于进场通信的NFC组件，即在通信终端300和显示设备200上均可以设置有NFC组件。通过对NFC组件进行写入操作，可以使NFC组件实现模拟NFC卡片的功能。NFC组件可以分别设置在通信终端300和显示设备200上的特定位置。例如，通信终端300上的NFC组件可以设置在终端的背面，显示设备200上的NFC组件可以设置在显示设备200底部。用户可以通过握持通信终端300，使通信终端300的背面接触显示设备200的底部，实现NFC组件的相互感应。
感应模块390和感应器在接触感应的过程中，可以产生感应信号，即用于表示感应模块390与感应器相接触的信号；还可以在接触过程中相互读取对方写入的信息，如设备信息和终端信息等。上述信号和信息可以分别具有不同的用途，例如感应信号可以用户触发通信终端300建立投屏连接，设备信息则用于在设备列表中识别预建立投屏连接的显示设备200。
如图11所示，处理器380则可以被配置为执行上述投屏连接方法对应的应用程序步骤，以配合显示模块330、通信模块、感应模块390实现“一触投屏”功能。具体包括以下内容：
获取用户通过感应模块390输入的用于建立投屏连接的控制指令。当通信终端300内置感应模块390时，通信终端300可以基于感应模块390触发建立投屏连接，则在用户通过感应模块390执行的接触感应操作时，即输入用于建立投屏连接的控制指令。例如，用户可以在需要进行投屏操作时，控制通信终端300接触显示设备200上的NFC感应区域，使显示设备200和通信终端300可以产生感应信号，输入用于建立投屏连接的控制指令。
需要说明的是，由于通信终端300中内置的感应模块390可以通过不同的写入操作实现不同的卡模拟功能，因此在一些实施例中，接触感应操作可以实现不同的功能。例如，当使用通信终端300的感应模块390进行公交卡模拟时，接触感应操作用于实现刷卡功能。基于此，为了准确获取用于建立投屏连接的控制指令，通信终端300可以在对感应模块390执行写入操作时，通过写入用于建立投屏连接的设备信息，从而在接触感应时，读取所接触NFC组件对应的设备信息，如果读取的设备信息与写入的设备信息一致，或者设备类型相同，则确定当前接触感应操作对应的设备为可建立投屏连接的设备，即当前接触感应操作输入用于建立投屏连接的控制指令。
在获取用于建立投屏连接的控制指令后，通信终端300可以响应于控制指令，自动执行与建立投屏连接相关的操作，即通信终端300可以自动实现与用户点击投屏应用所对应操作，控制显示模块330显示投屏连接界面。其中，所述投屏连接界面中包括设备列表。例如，在用户将通信终端300接触显示设备200的NFC感应区并产生感应信号后，通信终端300可以自动启动运行投屏应用。投屏应用启动后，可以对当前通信终端300所处的WiFi网络进行扫描，搜索处于同一网络内的显示设备200，并将搜索结果以设备列表的形式呈现在投屏连接界面中。
投屏连接界面可以是系统应用界面，也可以是第三方应用界面。其中，系统应用界面可以通过界面跳转的方式进行显示，也可以通过启动应用的方式进行显示。但第三方应用界面则仅能通过启动应用的方式进行显示。例如，如图12所示，当通信终端300中内置投屏应用时，通信终端300可以在接收到用于建立投屏连接关系的控制指令后，响应于该控制指令，自动跳转到投屏连接界面。当通信终端300中未内置投屏应用，而是通过下载安装第三方应用的方式进行投屏操作时，通信终端300可以在接收到用于建立投屏连接关系的控制指令后，响应于该控制指令，启动安装的第三方应用，并通过第三方应用显示设备列表。
在显示投屏连接界面后，通信终端300在设备列表中识别显示设备名称，所识别的显示设备名称与通过感应模块390接收到的设备信息中的名称相同。例如，在接触感应阶段，通信终端300可以通过NFC组件读取显示设备200的设备信息，包括设备名称为“智能电视2”。则在接触感应操作触发通信终端300显示投屏连接界面时，通信终端300可以通过在当前网络中搜索可建立投屏连接的显示设备200，并显示设备列表。显示的设备列表中包括：智能电视1、智能电视2和智能电视3三个设备名称。通信终端300可以通过读取设备列表中的设备名称，并与触碰感应阶段读取的设备信息进行匹配，可以在设备列表中识别出待建立投屏连接的显示设备名称为“智能电视2”。
为了能够在设备列表中识别出显示设备200的名称，通信终端300在显示设备列表后可以启动名称识别相关的程序。根据通信终端300中投屏应用的类型不同，通信终端300启动的名称识别相关程序也不同。
例如，当投屏应用为系统类应用时，通信终端300可以直接读取界面UI控件的名称或显示的文字内容，获得设备列表中的设备名称，再通过与感应模块390读取的设备信息进行匹配，确定目标显示设备200。
而当投屏应用为第三方应用时，由于部分第三方应用不支持系统读取UI控件名称或者显示内容，因此通信终端300可以运行图像识别程序，通过图像识别程序对当前显示的投屏连接界面中的文字进行识别，从而获得设备列表中的设备名称，再通过与感应模块390读取的设备信息进行匹配，确定目标显示设备200。
通过对设备列表中显示设备200名称进行识别，可以确定显示设备200名称对应在设备列表中的位置，从而根据该位置，在投屏连接界面中执行针对显示设备名称的模拟点击事件，以向显示设备200发送投屏连接请求。
在一些实施例中，在投屏连接界面中执行模拟点击事件的时，通信终端300可以获取显示设备200名称在设备列表中的位置，再基于获取的位置，生成模拟点击事件。再通过执行模拟点击事件，触发通信终端300通过通信模块向显示设备200发送连接请求。发送连接请求后，通信终端300可以实时接收显示设备200针对连接请求反馈的回应信息，并验证回应信息，以及在验证通过后建立投屏数据传输通道，用于传递投屏数据。
例如，通信终端300在设备列表识别出待建立投屏连接的显示设备200的名称为“智能电视2”，可以基于“智能电视2”在设备列表中的位置，生成对该位置的模拟点击事件。即生成针对设备列表第二项UI控件的点击指令。再通过执行该模拟点击事件，可以获得点击“智能电视2”的操作效果，触发通信终端300向名称为“智能电视2”的显示设备200发送投屏连接请求。
通过模拟点击事件，可以使通信终端300代替用户的交互操作，自动向待建立投屏连接的显示设备200发送投屏连接请求，发送的投屏连接请求可以在验证通过后，自动触发显示设备200和通信终端300配置投屏连接协议，并建立投屏数据传输通道，使得用户在控制通信终端300接触感应显示设备200后，无需再输入额外的交互操作即可完成投屏连接，大大简化了操作步骤，提高用户体验。
对于部分通信终端300和显示设备200，在执行投屏操作前，还需要对首次建立投屏连接的通信终端300和显示设备200进行相互验证，以完成配对操作，使通信终端300和显示设备200能够满足投屏操作要求。例如，为了建立投屏连接关系，通信终端300和显示设备200需要对NFC组件进行写入操作，使得在后续交互过程中，可以相互感应并传递识别信息。
在一些实施例中，在通信终端300和显示设备200首次建立投屏连接关系时，通信终端300可以对感应模块390执行的写入操作。写入操作可以依赖于通信终端300中的写入操作设置界面完成。即在通信终端300首次接触显示设备200的感应区时，通信终端300可以自动显示写入操作设置界面，用户可以基于写入操作设置界面执行交互操作，对写入操作过程进行控制。例如，可以通过写入操作设置界面设定写入感应模块390中的信息类型、信息字段结构、读取方式、控制程序等内容。
通信终端300在用户触发产生接触感应事件后，所执行的对感应模块390的写入操作，可以在感应模块390中预置与投屏连接相关的信息。例如，当通信终端300支持NFC功能，显示设备200出厂时自带可写的NFC卡片时，可以在通信终端300首次触发接触感应后，通过写入操作在NFC组件中预置如下规则的信息：
第一条，需交互设备的信息包括：FORMAT为Media，即0x02；TYPE为：××.com/touch；DATA为ASCII字符串：V_0#，其中，#后添加需要存储的设备信息并进行加密，用于唯一标识决定此NFC卡片所执行的功能。
第二条，ios系统的通信终端300需要以下字段来打开投屏应用：FORMAT为NFC Well Known，即0x01；TYPE为：U；DATA为ASCII字符串：https://××.com/××tv/×.html？action＝nfc。
第三条，安卓系统的通信终端300需要以下字段来打开投屏应用：FORMAT为NFCExternal，即0x04；TYPE为：android.com:pkg；DATA为ASCII字符串：com.××.ms.fly2tv。
由此，通信终端300在首次触碰显示设备200的NFC卡片时，可以通过原生Android系统查找当前NFC组件中是否预置有上述第三条字段的包名信息。若有则直接启动投屏应用，则会弹出写入提示。用户可以基于写入提示选择Miracast投屏功能，此时通信终端300会自动扫描当前网络中的显示设备200。若当前显示设备200包含Miracast功能，则可以通过网络广播告知通信终端300，以使通信终端300可以获取显示设备200的设备信息，包括有线无线mac地址信息、名称信息等，通信终端300再将设备信息存储在NFC组件中，完成功能写入。
同理，为了使显示设备200也可以通过接触感应触发建立投屏连接，在通信终端300对感应模块390进行写入操作的同时，显示设备200也可以对内置的感应器执行相对应的写入操作，以使感应器在被感应模块390触发感应后，可以读取感应模块390中写入的预置信息，同时感应器中预置的信息也可以被感应模块390读取。具体的写入操作与上述实施例类似，此处不再赘述。
由于在首次建立投屏连接时需要进行写入操作，因此，如图13所示，在一些实施例中，通信终端300可以在获取到用户输入的控制指令后，对当前显示设备200是否为首次接入进行判断，并根据不同的判断结果执行不同的投屏连接控制。即，通信终端300可以读取通过感应模块390接收的设备信息，再根据设备信息判断当前显示设备200是否为首次连接。
对显示设备200是否为首次连接的判断，可以依据数据库匹配结果。由于通信终端300可以在每次成功建立投屏连接后，对已建立投屏连接的显示设备200进行记录，以便后续再与该显示设备200建立投屏连接的过程中，可以根据记录的信息快速完成验证和协议配置。记录的设备信息可以存储在预先建立的数据库中，因此在通信终端300通过感应模块390读取到显示设备200的设备信息后，可以根据设备信息在数据库中进行匹配，如果在数据库中匹配到相同的设备名称或其他相同的识别信息，则确定当前显示设备200不是首次连接；同理，如果在数据库中未匹配到相同的设备名称或其他相同的识别信息，则确定当前显示设备200是首次连接。
如果当前显示设备是首次连接，则需要通信终端300对感应模块390执行写入操作，因此可以控制显示模块330显示功能选择界面。在所述功能选择界面中可以包括投屏连接功能选项；用户可以基于所述功能选择界面选中此次写入操作需要写入的具体功能，即如果需要在通信终端300与显示设备200之间建立通信连接，则可以在功能选择界面中选中投屏连接功能选项。
需要说明的是，在所述功能选择界面中还可以包括其他功能选项，例如，卡模拟功能、蓝牙连接功能、数据传输功能等。用户可以通过选中相应的功能选项，控制在后续写入操作中，在感应模块390中预置的信息。
在显示功能选择界面后，通信终端300还可以通过检测用户针对投屏连接功能选项输入的选中操作，确定此次写入操作预实现的功能。并且在用户输入选中操作后将设备信息和投屏连接功能写入感应模块390，完成对感应模块390的写入操作。
通过对当前显示设备200是否为首次连接进行判断，如果当前显示设备200不是首次连接，即通信终端300中已完成针对当前显示设备200进行的写入操作，可以支持“一触投屏”功能，因此通信终端300可以直接控制显示模块330显示投屏连接界面，并按照上述实施例中提供的方式，对投屏连接界面中显示设备200的名称进行识别，以及执行模拟点击事件。
可见，在上述实施例中，通信终端300可以在接触感应后，通过感应装置390读取设备信息，并判断当前外接显示设备200是否与通信终端300首次连接，从而在首次连接时针对感应模块390执行写入操作，实现对通信终端300的功能配置，实现“一触投屏”功能。
如图14所示，在一些实施例中，如果当前显示设备200是首次连接，通信终端300还可以在执行写入操作前，对当前通信终端300是否安装了投屏应用。即通信终端300可以获取当前感应模块390的预置信息，并通过预置信息中的应用包名字段，检测通信终端300中是否安装投屏应用。例如，在通信终端300首次触碰显示设备200的NFC卡片时，通信终端300可以通过原生Android系统查找预置信息中是否有投屏应用的包名信息，若预置信息中存在包名信息，则确定当前通信终端300已安装投屏应用；若预置信息中不存在包名信息，则确定当前通信终端300未安装投屏应用。
如果通信终端300中已安装投屏应用，则通信终端300可以直接运行投屏应用，以通过投屏应用显示功能选择界面；如果通信终端300中未安装投屏应用，则通信终端300可以控制显示模块330跳转至显示投屏应用的下载界面，如应用商店界面，用于引导用户去应用商店进行下载并安装投屏应用。
通过在通信终端300中安装投屏应用，可以使更多通信终端300支持“一触投屏”功能，并且使用投屏应用还可以简化操作系统的数据量，减少操作系统中的冗余功能，提高通信终端300的运行效率。
针对非首次连接的显示设备200或者已完成写入操作的通信终端300，用户可以再通过接触感应操作，触发通信终端300自动建立投屏连接，即通过模拟点击事件代替用户手动输入的交互动作，因此，模拟点击事件的交互逻辑与手动UI交互的交互逻辑需要保持一致。即在一些实施例中，在控制显示模块330显示投屏连接界面时，可以通过模拟点击事件启动通信模块，并通过通信模块在所连接的网络中搜索可建立投屏连接的显示设备200。例如，通信终端300可以通过start Action打开Miracast投屏原生页面，其中，action名称为“android.settings.CAST_SETTINGS”，打开投屏原生页面后，通信终端300可以继续模拟点击事件点击右上角更多按钮，同时通过图像识别确认通信模块开关是否开启，以启动通信模块进行搜索。
经搜索后，通信终端300再从搜索结果中提取显示设备200的名称，以生成设备列表。例如，如图15所示，当通信终端300的通信模块通过无线局域网传递投屏数据时，通信终端300可以在用户触发接触感应后，启动运行Wi-Fi电路370，以通过Wi-Fi电路370扫描当前wifi网络中连接的显示设备200，即包括三个名称分别为“智能电视1”、“智能电视2”和“智能电视3”的显示设备200。再从搜索结果中提取三个名称，并添加至设备列表显示在投屏连接界面，以供后续自动识别及执行模拟点击事件。
在生成设备列表后，通信终端300还可以基于设备列表识别目标显示设备200，即如图16所示，在一些实施例中，通信终端300可以在设备列表中识别显示设备名称的步骤中，对设备列表执行截屏操作，以生成待识别图像。再对待识别图像执行文字识别，从而根据文字识别结果，标记与设备信息相同的文字内容在待识别图像中的位置。
实际应用中，通信终端300中可以内置图像处理模型，图像处理模型可以针对输入的图像执行文字内容识别，以从设备列表中识别出显示设备200名称。在一些实施例中，为了实现内容识别，在图像处理模型中可以内置光学字符识别(Optical CharacterRecognition，OCR)算法，OCR算法可以通过对图像中的具体图案进行识别，确定图像中所包含的文字，根据图像数据生成识别文字。在图像中识别出的文字可以仍旧保持文字内容在原图像中的布局，即可以确定每个文字内容在待识别图像中的位置。
在识别出文字内容后，通信终端300可以将识别结果与感应模块390读取的设备信息进行匹配，以确定识别结果中是否包含待建立投屏连接关系的显示设备200的名称。例如，通过OCR算法识别出当前设备列表包括以下文字内容：“已保存的网络；智能电视1；智能电视2；智能电视3”。同时通过NFC组件读取到的设备信息中包括“智能电视2”，则确定在当前设备列表中识别出显示设备200的名称，即：“智能电视2”。再获取“智能电视2”在当前设备列表中的位置，从而根据获取的位置生成模拟点击事件，代替用户输入对“智能电视2”的点击操作。
由于网络连接、型号强度等因素的影响，投屏连接界面中设备列表会随着通信终端300在网络中的搜索过程不断刷新所包含的内容。因此在显示设备200连接的信号较弱或网络不稳定时，会造成通信终端300无法及时搜索发现显示设备200，从而在设备列表中无法识别显示设备200的名称。
为此，通信终端300还可以在进行搜索后，延迟一定时间再执行对显示设备200名称的识别。但延迟时间将会影响投屏连接的建立效率，因此在一些实施例中，通信终端300还可以对设备列表执行多次识别操作，即在设备列表中识别显示设备名称的步骤中，如果设备列表中不包括显示设备200的名称，则通信终端300可以获取设备列表的扫描频率，再按照扫描频率对设备列表执行多次截屏操作，并对每次截屏操作生成的待识别图像执行文字识别，以识别显示设备200名称。
例如，通信终端300开启通信模块对当前wifi网络中的设备进行搜索后，会每隔2秒获取一次的当前可连接的设备列表，并进行文字检测，当检测到列表中包含NFC预置卡片的显示设备200名称后，则发起连接，并在连接成功后向显示设备200发送投屏数据，使显示设备200可以实时显示通信终端300的镜像画面。
由以上技术方案可知，上述投屏连接方法可以使通信终端300通过操作系统的原生方式，结合图像识别和文字识别的方式，获取当前显示设备200的识别信息，再通过模拟点击事件，主动在通信终端300与显示设备200之间建立投屏连接，上述投屏连接方法通过操作系统原生方式可以直接在投屏过程中，获取通信终端300声音的优点，使投屏连接的稳定性更高。
基于上述通信终端300，为了能够建立投屏连接，在本申请的部分实施例中还提供一种显示设备200，包括：显示器260、通信器240、感应器以及控制器250。其中，显示器260用于显示投屏画面；通信器240被配置为与通信终端300建立投屏连接；感应器被配置为传输识别信息，识别信息包括终端信息和设备信息。如图17所示，控制器250被配置为执行以下程序步骤：
获取由通信终端通过感应器触发的用于建立投屏连接的连接指令；
响应于连接指令，通过通信器接收通信终端发起的投屏连接请求，所述投屏连接请求由针对显示设备的模拟点击事件触发生成；
根据投屏连接请求向通信终端反馈回应信息，以建立投屏连接。
在建立投屏连接的过程中，当用户将通信终端300接触感应显示设备200的感应器区域时，可以触发输入用于建立投屏连接的连接指令。接收到连接指令后，显示设备200可以实时监听通信终端300通过通信模块发起的投屏连接请求，并根据投屏连接请求向通信终端反馈回应信息，以建立投屏连接。通过感应器触发，显示设备200可以自动完成与通信终端300之间建立投屏连接的操作，使得在建立投屏连接的过程中，无需用户额外在显示设备200上执行交互操作，提高用户体验。
在一些实施例中，显示设备200在获取到连接指令后，可以读取通过感应器接收到的终端信息；再根据终端信息判断当前通信终端是否为首次连接；如果当前通信终端为首次连接，控制显示器显示投屏连接画面，投屏连接画面用于为用户执行投屏连接交互操作；如果当前通信终端不是首次连接，监听通信器接收的投屏连接请求。
例如，在显示设备200与通信终端300首次连接时，通信终端300可以通过执行写入操作，获取到当前NFC预置的显示设备200的有线mac、无线mac以及电视名称，并通过广播携带显示设备200的两种mac地址和显示设备200进行通信，以告知显示设备200即将进行Miracast投屏。由于显示设备200可能是支持Miracast不断网投屏，也可能不支持Miracast不断网投屏，显示设备200可以自行判断是否支持不断网投屏，若支持则无需处理，等待通信终端300的投屏连接请求即可。若不支持，则通过Action或者startActivity方式打开显示设备200的Miracast等待连接页面，待通信终端300发起连接时，实现连接请求的响应。
由以上技术方案可知，上述实施例提供的显示设备200可以配合通信终端300实现“一触投屏”功能，即可以在用户将通信终端300的感应模块390与显示设备200的感应器触发感应后，使通信终端300可以自动显示投屏连接界面，并通过识别投屏连接界面中的显示设备200名称，执行模拟点击事件，实现向显示设备200发起投屏连接请求。上述实施例可以基于感应操作，触发执行图像识别和模拟点击事件，从而自动完成投屏连接操作，简化操作动作，解决传统投屏连接建立方法操作繁琐的问题。
本申请提供的实施例之间的相似部分相互参见即可，以上提供的具体实施方式只是本申请总的构思下的几个示例，并不构成本申请保护范围的限定。对于本领域的技术人员而言，在不付出创造性劳动的前提下依据本申请方案所扩展出的任何其他实施方式都属于本申请的保护范围。

Claims (10)

1.一种通信终端，其特征在于，包括：
显示模块，被配置为显示用户界面；
通信模块，被配置为与显示设备建立投屏连接；
感应模块，被配置为传输识别信息，所述识别信息包括终端信息和设备信息；
处理器，被配置为：
获取用户通过所述感应模块输入的用于建立投屏连接的控制指令；
响应于所述控制指令，控制所述显示模块显示投屏连接界面，所述投屏连接界面中包括设备列表,所述设备列表中记载有至少一个显示设备；
当投屏应用为系统类应用时，读取界面UI控件的名称或显示的文字内容，获得设备列表中的显示设备名称；
当投屏应用为第三方应用时，通过图像识别对当前显示的投屏连接界面中的文字进行识别，从而获得设备列表中的设备名称；
将所述设备列表中的设备名称与感应模块读取的设备信息进行匹配，确定目标显示设备；所述目标显示设备为所述设备列表中被选中的显示设备；
在所述投屏连接界面中执行针对所述目标显示设备名称的模拟点击事件，以向所述目标显示设备发送投屏连接请求。
2.根据权利要求1所述的通信终端，其特征在于，所述处理器被进一步配置为：
在获取到所述控制指令后，读取通过所述感应模块接收的设备信息；
根据所述设备信息判断当前显示设备是否为首次连接；
如果与所述设备信息对应的当前显示设备是首次连接，控制所述显示模块显示功能选择界面，所述功能选择界面中包括投屏连接功能选项；
检测用户针对所述投屏连接功能选项输入的选中操作，以及在用户输入所述选中操作后将所述设备信息和投屏连接功能写入所述感应模块；
如果当前显示设备不是首次连接，控制所述显示模块显示投屏连接界面。
3.根据权利要求2所述的通信终端，其特征在于，如果当前显示设备是首次连接，所述处理器被进一步配置为：
获取当前感应模块的预置信息；
通过所述预置信息中的应用包名字段，检测所述通信终端中是否安装投屏应用；
如果所述通信终端中已安装所述投屏应用，运行所述投屏应用，以通过所述投屏应用显示功能选择界面；
如果所述通信终端中未安装所述投屏应用，控制所述显示模块跳转至显示所述投屏应用的下载界面，以安装所述投屏应用。
4.根据权利要求1所述的通信终端，其特征在于，所述处理器被进一步配置为：
在控制所述显示模块显示投屏连接界面的步骤中，通过模拟点击事件启动所述通信模块；
在所述通信模块所在网络中搜索可建立投屏连接的显示设备；
提取所述显示设备的名称，以生成所述设备列表。
5.根据权利要求1所述的通信终端，其特征在于，所述处理器被进一步配置为：
当投屏应用为第三方应用时，对所述设备列表执行截屏操作，以生成待识别图像；
对所述待识别图像执行文字识别；
根据文字识别结果，标记与所述设备信息相同的文字内容在所述待识别图像中的位置。
6.根据权利要求5所述的通信终端，其特征在于，所述处理器被进一步配置为：
如果所述设备列表中不包括所述显示设备名称，获取所述设备列表的扫描频率；
按照所述扫描频率对所述设备列表执行多次截屏操作；
对每次截屏操作生成的待识别图像执行文字识别，以识别所述显示设备名称。
7.根据权利要求1所述的通信终端，其特征在于，所述处理器被进一步配置为：
在所述投屏连接界面中执行针对所述目标显示设备名称的模拟点击事件的步骤中，获取所述目标显示设备名称在所述设备列表中的位置；
基于获取的位置，生成模拟点击事件；
执行所述模拟点击事件，以触发所述通信终端通过所述通信模块向所述目标显示设备发送连接请求；
接收所述目标显示设备针对所述连接请求反馈的回应信息；
验证所述回应信息，以及在验证通过后建立投屏数据传输通道。
8.一种显示设备，其特征在于，包括：
显示器，被配置为显示投屏画面；
通信器，被配置为与通信终端建立投屏连接；
感应器，被配置为传输识别信息，所述识别信息包括终端信息和设备信息；
控制器，被配置为：
获取由所述通信终端通过所述感应器触发的用于建立投屏连接的连接指令；所述建立投屏连接的连接指令是基于通信终端的投屏连接界面中投屏应用生成的，所述投屏应用包括系统类应用和第三方应用；所述通信终端的投屏连接界面包括设备列表，所述设备列表中记载有至少一个显示设备；在投屏应用为系统类应用时，所述终端设备读取所述投屏连接界面UI控件的名称或显示的文字内容，获得所述设备列表中的设备名称；在投屏应用为第三方应用时，所述终端设备通过图像识别对当前显示的投屏连接界面中的文字进行识别，以获得所述设备列表中的设备名称；
通过将设备列表中的设备名称与通信终端中的感应模块读取的设备信息进行匹配，确定目标显示设备；
在所述投屏连接界面中执行针对所述目标显示设备名称的模拟点击事件，以向所述目标显示设备发送所述连接指令；
当所述显示设备被确定为目标显示设备时，响应于所述连接指令，通过所述通信器接收所述通信终端发起的投屏连接请求，所述投屏连接请求由针对所述目标显示设备的模拟点击事件触发生成；
根据所述投屏连接请求向所述通信终端反馈回应信息，以建立投屏连接。
9.根据权利要求8所述的显示设备，其特征在于，所述控制器被进一步配置为：
在获取到所述连接指令后，读取通过所述感应器接收到的终端信息；
根据所述终端信息判断当前通信终端是否为首次连接；
如果当前通信终端为首次连接，控制所述显示器显示投屏连接画面，所述投屏连接画面用于为用户执行投屏连接交互操作；
如果当前通信终端不是首次连接，监听所述通信器接收的投屏连接请求。
10.一种投屏连接方法，其特征在于，包括：
通信终端获取用户通过感应模块输入的用于建立投屏连接的控制指令，以及响应于所述控制指令，控制显示模块显示投屏连接界面，所述投屏连接界面中包括设备列表，所述设备列表中记载有至少一个显示设备；
当投屏应用为系统类应用时，所述通信终端读取界面UI控件的名称或显示的文字内容，获得设备列表中的显示设备名称；
当投屏应用为第三方应用时，所述通信终端通过图像识别对当前显示的投屏连接界面中的文字进行识别，从而获得设备列表中的设备名称；
所述通信终端将所述设备列表中的设备名称与感应模块读取的设备信息进行匹配，确定目标显示设备；所述目标显示设备为所述设备列表中被选中的显示设备；
所述通信终端在所述投屏连接界面中执行针对所述目标显示设备名称的模拟点击事件，以向所述目标显示设备发送投屏连接请求；
所述目标显示设备获取由所述通信终端通过感应器触发的用于建立投屏连接的连接指令；
所述目标显示设备响应于所述连接指令，通过通信器接收所述通信终端发起的投屏连接请求，以及根据所述投屏连接请求向所述通信终端反馈回应信息，以建立投屏连接。
CN202110986907.XA 2021-08-26 2021-08-26 通信终端、显示设备及投屏连接方法 Active CN113784200B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110986907.XA CN113784200B (zh) 2021-08-26 2021-08-26 通信终端、显示设备及投屏连接方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110986907.XA CN113784200B (zh) 2021-08-26 2021-08-26 通信终端、显示设备及投屏连接方法

Publications (2)

Publication Number Publication Date
CN113784200A CN113784200A (zh) 2021-12-10
CN113784200B true CN113784200B (zh) 2023-05-09

Family

ID=78839327

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110986907.XA Active CN113784200B (zh) 2021-08-26 2021-08-26 通信终端、显示设备及投屏连接方法

Country Status (1)

Country Link
CN (1) CN113784200B (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN118556405A (zh) * 2022-01-27 2024-08-27 海信视像科技股份有限公司 一种投屏方法、显示设备及智能设备
CN114501089B (zh) * 2022-01-30 2023-05-05 深圳创维－Rgb电子有限公司 投屏通话方法、装置、电子设备及存储介质
CN114565070B (zh) * 2022-02-23 2023-11-10 Tcl通讯科技（成都）有限公司 一种标签绑定方法、装置及移动终端

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109803050B (zh) * 2019-01-14 2020-09-25 南京点明软件科技有限公司 一种适用于盲人操作手机的全屏引导点击方法
CN112351322B (zh) * 2019-08-09 2022-08-23 荣耀终端有限公司 一种通过遥控器实现一碰投屏的终端设备、方法以及系统
CN111741372B (zh) * 2020-07-08 2022-02-25 聚好看科技股份有限公司 一种视频通话的投屏方法、显示设备及终端设备
CN112367543B (zh) * 2020-10-27 2023-08-15 海信视像科技股份有限公司 显示设备、移动终端、投屏方法及投屏系统
CN112306437A (zh) * 2020-10-27 2021-02-02 深圳前海茂佳软件科技有限公司 终端投屏方法、装置、设备、系统及计算机可读存储介质

Also Published As

Publication number Publication date
CN113784200A (zh) 2021-12-10

Similar Documents

Publication Publication Date Title
CN114286165B (zh) 一种显示设备、移动终端、投屏数据传输方法及系统
CN113784200B (zh) 通信终端、显示设备及投屏连接方法
CN112367543B (zh) 显示设备、移动终端、投屏方法及投屏系统
CN113784220B (zh) 播放媒体资源的方法、显示设备及移动设备
CN112055240B (zh) 一种显示设备及其与遥控器配对的操作提示展示方法
CN114339332B (zh) 一种移动终端、显示设备及跨网投屏方法
CN111836115B (zh) 一种屏保展示方法、屏保跳转方法及显示设备
CN112165642B (zh) 一种显示设备
WO2022048203A1 (zh) 一种输入法控件的操控提示信息的显示方法及显示设备
WO2022105409A1 (zh) 故障诊断方法、终端设备及显示设备
CN114286152A (zh) 显示设备、通信终端及投屏画面动态显示方法
CN111542031B (zh) 显示设备及蓝牙设备配对方法
CN112165641A (zh) 一种显示设备
CN111954059A (zh) 屏保的展示方法及显示设备
CN111757024A (zh) 一种控制智能图像模式切换的方法及显示设备
CN111669662A (zh) 显示设备、视频通话方法及服务器
CN113630656B (zh) 显示设备、终端设备及通信连接方法
CN112256449B (zh) 网页应用程序的接口调用方法、显示设备及服务器
CN112040535B (zh) 一种Wifi处理方法及显示设备
CN116320564A (zh) 显示设备、终端设备和设备控制方法
CN113784186B (zh) 终端设备、服务器和通信控制方法
CN113438553B (zh) 一种显示设备被唤醒方法及显示设备
CN113810747B (zh) 一种显示设备及信号源设置界面交互方法
CN114286320A (zh) 一种显示设备、移动终端及蓝牙连接方法
CN111918132A (zh) 一种显示设备及多接口设备判断方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant