CN114286165A - 一种显示设备、移动终端及投屏数据传输方法 - Google Patents

Abstract

本申请提供一种显示设备、移动终端及投屏数据传输方法。实际应用中，显示设备可以接收移动终端发送的投屏连接请求，并在获取到投屏连接请求后，对投屏应用类型进行检测，从而在投屏应用类型为第三方应用时，通过蓝牙模块连接移动终端，以接收移动终端中的音频数据流。所述显示设备可以在第三方投屏应用不能从移动终端获取音频数据流时，通过蓝牙连接获取移动终端的音频信号，并同步播放。所述显示设备可以在与移动终端非同一厂商时，传递音频数据，提高用户体验。

Description

一种显示设备、移动终端及投屏数据传输方法

技术领域

本申请涉及智能电视技术领域，尤其涉及一种显示设备、移动终端及投屏数据传输方法。

背景技术

智能电视是基于Internet应用技术，具备开放式操作系统与芯片，拥有开放式应用平台，可实现双向人机交互功能，集影音、娱乐、数据等多种功能于一体的电视产品，用于满足用户多样化和个性化需求。智能电视可以通过连接手机等移动终端，以展示移动终端中的内容。

典型的无线投屏方式包括以下几种，即：AirPlay屏幕镜像、Miracast多屏互动、WiDi技术、DLNA推送和APP投屏软件等。其中，DLNA推送是将手机上的多媒体以URL的形式推送到智能电视上进行播放，不支持镜像投屏。AirPlay屏幕镜像适用于iOS和Mac系统的无线投屏，Miracast多屏互动适用于Android系统的无线投屏，WiDi技术适用于Windows系统的无线投屏，这三种投屏方式都需要保证投屏设备为同一厂商或者拥有同一特定版本的操作系统，才能够完成投屏。

因此，为了实现非同一厂商或非相同操作系统的手机与智能电视之间进行镜像投屏，通常采用APP投屏软件完成。其中，APP投屏软件是通过在手机安装投屏软件客户端，将屏幕镜像推送到智能电视上进行播放。但投屏软件客户端通常没有音频数据的获取权限，导致通过APP投屏软件完成的投屏过程只能传递视频数据，不能传递音频数据，降低用户体验。

发明内容

本申请提供了一种显示设备、移动终端及投屏数据传输方法，以解决传统显示设备在与非同一厂商的移动终端投屏时，无法传递音频数据的问题。

第一方面，本申请提供一种显示设备，包括显示器、通信器、蓝牙模块以及控制器。其中，所述显示器用于显示用户界面以及显示投屏视频画面；通信器被配置为与移动终端建立投屏连接；蓝牙模块被配置为传递音频数据流。控制器被配置为执行以下程序步骤：

接收移动终端发送的投屏连接请求；

响应于所述投屏连接请求，检测投屏应用类型；

如果所述投屏应用类型为第三方应用，通过所述蓝牙模块连接所述移动终端，以获取音频数据流。

由以上技术方案可知，本申请第一方面提供的显示设备包括：显示器、通信器、蓝牙模块以及控制器。实际应用中，显示设备可以接收移动终端发送的投屏连接请求，并在获取到投屏连接请求后，对投屏应用类型进行检测，从而在投屏应用类型为第三方应用时，通过蓝牙模块连接移动终端，以接收移动终端中的音频数据流。所述显示设备可以在投屏应用不能从移动终端获取音频数据流时，通过蓝牙连接获取移动终端的音频信号，并同步播放。所述显示设备可以在与移动终端非同一厂商时，传递音频数据，提高用户体验。

第二方面，本申请还提供一种移动终端，包括：显示单元、通信单元、蓝牙电路以及处理器。其中，所述显示单元被配置为显示用户界面以执行用户交互；通信单元被配置为与显示设备建立投屏连接；蓝牙电路被配置为传输音频数据流。处理器被配置为执行以下程序步骤：

获取用户输入的用于建立投屏连接的控制指令；

响应于所述控制指令，通过所述通信单元向所述显示设备发送投屏连接请求；

检测投屏应用类型；

如果所述投屏应用类型为第三方应用，通过蓝牙电路连接所述显示设备，以发送音频数据流。

由以上技术方案可知，本申请第二方面提供的移动终端包括：显示单元、通信单元、蓝牙电路以及处理器。所述移动终端可以在获取用户输入的控制指令后，向显示设备发起投屏连接，同时对当前投屏应用类型进行检测，从而在投屏应用类型为第三方应用时，与移动终端建立蓝牙连接关系，以发送音频数据流。所述移动终端可以通过投屏应用完成与显示设备的投屏连接，并在投屏应用没有音频数据获取权限时，通过蓝牙连接发送音频数据，解决非系统应用无法传递音频数据的问题。

第三方面，本申请还提供一种投屏数据传输方法，应用于投屏数据传输系统，所述投屏数据传输系统包括移动终端和显示设备，所述方法包括：

移动终端获取用户输入的用于建立投屏连接的控制指令，以及根据所述控制指令向显示设备发送投屏连接请求；

显示设备接收所述投屏连接请求；以及根据所述投屏连接请求与所述移动终端建立投屏连接；

移动终端和/或显示设备检测投屏应用类型；

如果所述投屏应用类型为第三方应用，在所述移动终端与所述显示设备之间建立蓝牙连接，以传递音频数据流。

由以上技术方案可知，本申请第三方面提供的投屏数据传输方法可以在使用投屏应用进行投屏连接时，通过移动终端和/或显示设备检测投屏应用类型，如果投屏应用类型为第三方应用，在移动终端与显示设备之间建立蓝牙连接，用来从移动终端向显示设备传递音频数据流，从而实现在显示设备中同步显示移动终端显示内容的同时，同步播放移动终端的声音，解决投屏连接无法传递音频数据的问题。

第四方面，本申请还提供一种投屏数据传输系统，包括移动终端和显示设备；其中，所述移动终端内置通信单元和蓝牙电路；所述显示设备内置通信器和蓝牙模块；

所述移动终端被配置为：获取用户输入的用于建立投屏连接的控制指令，以及根据所述控制指令向显示设备发送投屏连接请求；

所述显示设备被配置为：接收所述投屏连接请求；以及根据所述投屏连接请求与所述移动终端建立投屏连接；

所述移动终端和/或所述显示设备还被配置为：检测投屏应用类型；如果所述投屏应用类型为第三方应用，在所述移动终端与所述显示设备之间建立蓝牙连接，以传递音频数据流。

由以上技术方案可知，本申请第四方面提供的投屏数据传输系统，包括显示设备和移动终端。所述系统在显示设备与移动终端通过投屏应用建立投屏连接时，对投屏应用类型进行检测。并在投屏应用没有移动终端音频数据获取权限时，通过蓝牙连接传递音频数据流，使显示设备能够同步播放移动终端中的图像和音频，解决投屏连接无法传递音频数据的问题。

附图说明

为了更清楚地说明本申请的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，对于本领域普通技术人员而言，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本申请实施例中显示设备与控制装置之间操作场景的示意图；

图2为本申请实施例中显示设备的硬件配置框图；

图3为本申请实施例中显示设备软件配置示意图；

图4为本申请实施例中显示设备应用程序的图标控件界面显示示意图；

图5为本申请实施例中移动终端的结构示意图；

图6为本申请实施例中移动终端的软件架构示意图；

图7为本申请实施例中移动终端的用户界面示意图；

图8a为本申请实施例中投屏效果示意图；

图8b为本申请实施例中投屏操作流程示意图；

图8c为本申请实施例中投屏数据传输系统的结构示意图；

图9a为本申请实施例中建立蓝牙连接示意图；

图9b为本申请实施例中蓝牙连接信令图；

图10为本申请实施例中判断应用类型的流程示意图；

图11a为本申请实施例中蓝牙配对连接示意图；

图11b为本申请实施例中蓝牙配对信令图；

图12a为本申请实施例中由移动终端执行判断的流程示意图；

图12b为本申请实施例中由移动终端执行判断信令图；

图13为本申请实施例中显示设备同步流程示意图；

图14为本申请实施例中显示设备投屏连接结构示意图；

图15为本申请实施例中移动终端投屏连接结构示意图。

具体实施方式

为使本申请的目的和实施方式更加清楚，下面将结合本申请示例性实施例中的附图，对本申请示例性实施方式进行清楚、完整地描述，显然，描述的示例性实施例仅是本申请一部分实施例，而不是全部的实施例。

需要说明的是，本申请中对于术语的简要说明，仅是为了方便理解接下来描述的实施方式，而不是意图限定本申请的实施方式。除非另有说明，这些术语应当按照其普通和通常的含义理解。

本申请中说明书和权利要求书及上述附图中的术语“第一”、“第二”、“第三”等是用于区别类似或同类的对象或实体，而不必然意味着限定特定的顺序或先后次序，除非另外注明。应该理解这样使用的用语在适当情况下可以互换。

术语“包括”和“具有”以及他们的任何变形，意图在于覆盖但不排他的包含，例如，包含了一系列组件的产品或设备不必限于清楚地列出的所有组件，而是可包括没有清楚地列出的或对于这些产品或设备固有的其它组件。

术语“模块”是指任何已知或后来开发的硬件、软件、固件、人工智能、模糊逻辑或硬件或/和软件代码的组合，能够执行与该元件相关的功能。

图1为根据实施例中显示设备的使用场景的示意图。如图1所示，显示设备200还与服务器400进行数据通信，用户可通过移动终端300或控制装置100操作显示设备200。

在一些实施例中，控制装置100可以是遥控器，遥控器和显示设备的通信包括红外协议通信或蓝牙协议通信，及其他短距离通信方式中的至少一种，通过无线或有线方式来控制显示设备200。用户可以通过遥控器上按键、语音输入、控制面板输入等至少一种输入用户指令，来控制显示设备200。

在一些实施例中，移动终端300可以包括手机、平板电脑、计算机、笔记本电脑，AR/VR设备等中的任意一种。

在一些实施例中，也可以使用移动终端300以控制显示设备200。例如，使用在移动终端上运行的应用程序控制显示设备200。

在一些实施例中，也可以使用移动终端300和显示设备进行数据的通信。

在一些实施例中，显示设备200还可以采用除了控制装置100和移动终端300之外的方式进行控制，例如，可以通过显示设备200设备内部配置的获取语音指令的模块直接接收用户的语音指令控制，也可以通过显示设备200设备外部设置的语音控制装置来接收用户的语音指令控制。

在一些实施例中，显示设备200还与服务器400进行数据通信。可允许显示设备200通过局域网(LAN)、无线局域网(WLAN)和其他网络进行通信连接。服务器400可以向显示设备200提供各种内容和互动。服务器400可以是一个集群，也可以是多个集群，可以包括一类或多类服务器。

在一些实施例中，一个步骤执行主体执行的软件步骤可以随需求迁移到与之进行数据通信的另一步骤执行主体上进行执行。示例性的，服务器执行的软件步骤可以随需求迁移到与之数据通信的显示设备上执行，反之亦然。

图2示例性示出了根据示例性实施例中控制装置100的配置框图。如图2所示，控制装置100包括控制器110、通信接口130、用户输入/输出接口140、存储器、供电电源。控制装置100可接收用户的输入操作指令，且将操作指令转换为显示设备200可识别和响应的指令，起用用户与显示设备200之间交互中介作用。

在一些实施例中，通信接口130用于和外部通信，包含WIFI芯片，蓝牙模块，NFC或可替代模块中的至少一种。

在一些实施例中，用户输入/输出接口140包含麦克风，触摸板，传感器，按键或可替代模块中的至少一种。

图3示出了根据示例性实施例中显示设备200的硬件配置框图。

在一些实施例中，显示设备200包括调谐解调器210、通信器220、检测器230、外部装置接口240、控制器250、显示器260、音频输出接口270、存储器、供电电源、用户接口中的至少一种。

在一些实施例中控制器包括中央处理器，视频处理器，音频处理器，图形处理器，RAM，ROM，用于输入/输出的第一接口至第n接口。

在一些实施例中，显示器260包括用于呈现画面的显示屏组件，以及驱动图像显示的驱动组件，用于接收源自控制器输出的图像信号，进行显示视频内容、图像内容以及菜单操控界面的组件以及用户操控UI界面等。

在一些实施例中，显示器260可为液晶显示器、OLED显示器、以及投影显示器中的至少一种，还可以为一种投影装置和投影屏幕。

在一些实施例中，调谐解调器210通过有线或无线接收方式接收广播电视信号，以及从多个无线或有线广播电视信号中解调出音视频信号，如以及EPG数据信号。

在一些实施例中，通信器220是用于根据各种通信协议类型与外部设备或服务器进行通信的组件。例如：通信器可以包括Wifi模块，蓝牙模块，有线以太网模块等其他网络通信协议芯片或近场通信协议芯片，以及红外接收器中的至少一种。显示设备200可以通过通信器220与控制装置100或服务器400建立控制信号和数据信号的发送和接收。

在一些实施例中，检测器230用于采集外部环境或与外部交互的信号。例如，检测器230包括光接收器，用于采集环境光线强度的传感器；或者，检测器230包括图像采集器，如摄像头，可以用于采集外部环境场景、用户的属性或用户交互手势，再或者，检测器230包括声音采集器，如麦克风等，用于接收外部声音。

在一些实施例中，外部装置接口240可以包括但不限于如下：高清多媒体接口接口(HDMI)、模拟或数据高清分量输入接口(分量)、复合视频输入接口(CVBS)、USB输入接口(USB)、RGB端口等任一个或多个接口。也可以是上述多个接口形成的复合性的输入/输出接口。

在一些实施例中，控制器250和调谐解调器210可以位于不同的分体设备中，即调谐解调器210也可在控制器250所在的主体设备的外置设备中，如外置机顶盒等。

在一些实施例中，控制器250，通过存储在存储器上中各种软件控制程序，来控制显示设备的工作和响应用户的操作。控制器250控制显示设备200的整体操作。例如：响应于接收到用于选择在显示器260上显示UI对象的用户命令，控制器250便可以执行与由用户命令选择的对象有关的操作。

在一些实施例中，所述对象可以是可选对象中的任何一个，例如超链接、图标或其他可操作的控件。与所选择的对象有关操作有：显示连接到超链接页面、文档、图像等操作，或者执行与所述图标相对应程序的操作。

在一些实施例中控制器包括中央处理器(Central Processing Unit，CPU)，视频处理器，音频处理器，图形处理器(Graphics Processing Unit，GPU)，RAM Random AccessMemory，RAM)，ROM(Read-Only Memory,ROM)，用于输入/输出的第一接口至第n接口，通信总线(Bus)等中的至少一种。

CPU处理器。用于执行存储在存储器中操作系统和应用程序指令，以及根据接收外部输入的各种交互指令，来执行各种应用程序、数据和内容，以便最终显示和播放各种音视频内容。CPU处理器，可以包括多个处理器。如，包括一个主处理器以及一个或多个子处理器。

在一些实施例中，图形处理器，用于产生各种图形对象，如：图标、操作菜单、以及用户输入指令显示图形等中的至少一种。图形处理器包括运算器，通过接收用户输入各种交互指令进行运算，根据显示属性显示各种对象；还包括渲染器，对基于运算器得到的各种对象，进行渲染，上述渲染后的对象用于显示在显示器上。

在一些实施例中，视频处理器，用于将接收外部视频信号，根据输入信号的标准编解码协议，进行解压缩、解码、缩放、降噪、帧率转换、分辨率转换、图像合成等视频处理中的至少一种，可得到直接可显示设备200上显示或播放的信号。

在一些实施例中，视频处理器，包括解复用模块、视频解码模块、图像合成模块、帧率转换模块、显示格式化模块等中的至少一种。其中，解复用模块，用于对输入音视频数据流进行解复用处理。视频解码模块，用于对解复用后的视频信号进行处理，包括解码和缩放处理等。图像合成模块，如图像合成器，其用于将图形生成器根据用户输入或自身生成的GUI信号，与缩放处理后视频图像进行叠加混合处理，以生成可供显示的图像信号。帧率转换模块，用于对转换输入视频帧率。显示格式化模块，用于将接收帧率转换后视频输出信号，改变信号以符合显示格式的信号，如输出RGB数据信号。

在一些实施例中，音频处理器，用于接收外部的音频信号，根据输入信号的标准编解码协议，进行解压缩和解码，以及降噪、数模转换、和放大处理等处理中的至少一种，得到可以在扬声器中播放的声音信号。

在一些实施例中，用户可在显示器260上显示的图形用户界面(GUI)输入用户命令，则用户输入接口通过图形用户界面(GUI)接收用户输入命令。或者，用户可通过输入特定的声音或手势进行输入用户命令，则用户输入接口通过传感器识别出声音或手势，来接收用户输入命令。

在一些实施例中，“用户界面”，是应用程序或操作系统与用户之间进行交互和信息交换的介质接口，它实现信息的内部形式与用户可以接受形式之间的转换。用户界面常用的表现形式是图形用户界面(Graphic User Interface，GUI)，是指采用图形方式显示的与计算机操作相关的用户界面。它可以是在电子设备的显示屏中显示的一个图标、窗口、控件等界面元素，其中控件可以包括图标、按钮、菜单、选项卡、文本框、对话框、状态栏、导航栏、Widget等可视的界面元素中的至少一种。

在一些实施例中，用户接口280，为可用于接收控制输入的接口(如：显示设备本体上的实体按键，或其他等)。

在一些实施例中，显示设备的系统可以包括内核(Kernel)、命令解析器(shell)、文件系统和应用程序。内核、shell和文件系统一起组成了基本的操作系统结构，它们让用户可以管理文件、运行程序并使用系统。上电后，内核启动，激活内核空间，抽象硬件、初始化硬件参数等，运行并维护虚拟内存、调度器、信号及进程间通信(IPC)。内核启动后，再加载Shell和用户应用程序。应用程序在启动后被编译成机器码，形成一个进程。

参见图4，在一些实施例中，将系统分为四层，从上至下分别为应用程序(Applications)层(简称“应用层”)，应用程序框架(Application Framework)层(简称“框架层”)，安卓运行时(Android runtime)和系统库层(简称“系统运行库层”)，以及内核层。

在一些实施例中，应用程序层中运行有至少一个应用程序，这些应用程序可以是操作系统自带的窗口(Window)程序、系统设置程序或时钟程序等；也可以是第三方开发者所开发的应用程序。在具体实施时，应用程序层中的应用程序包不限于以上举例。

框架层为应用程序层的应用程序提供应用编程接口(application programminginterface，API)和编程框架。应用程序框架层包括一些预先定义的函数。应用程序框架层相当于一个处理中心，这个中心决定让应用层中的应用程序做出动作。应用程序通过API接口，可在执行中访问系统中的资源和取得系统的服务。

如图4所示，本申请实施例中应用程序框架层包括管理器(Managers)，内容提供者(Content Provider)等，其中管理器包括以下模块中的至少一个：活动管理器(ActivityManager)用与和系统中正在运行的所有活动进行交互；位置管理器(Location Manager)用于给系统服务或应用提供了系统位置服务的访问；文件包管理器(Package Manager)用于检索当前安装在设备上的应用程序包相关的各种信息；通知管理器(NotificationManager)用于控制通知消息的显示和清除；窗口管理器(Window Manager)用于管理用户界面上的括图标、窗口、工具栏、壁纸和桌面部件。

在一些实施例中，活动管理器用于管理各个应用程序的生命周期以及通常的导航回退功能，比如控制应用程序的退出、打开、后退等。窗口管理器用于管理所有的窗口程序，比如获取显示屏大小，判断是否有状态栏，锁定屏幕，截取屏幕，控制显示窗口变化(例如将显示窗口缩小显示、抖动显示、扭曲变形显示等)等。

在一些实施例中，系统运行库层为上层即框架层提供支撑，当框架层被使用时，安卓操作系统会运行系统运行库层中包含的C/C++库以实现框架层要实现的功能。

在一些实施例中，内核层是硬件和软件之间的层。如图4所示，内核层至少包含以下驱动中的至少一种：音频驱动、显示驱动、蓝牙驱动、摄像头驱动、WIFI驱动、USB驱动、HDMI驱动、传感器驱动(如指纹传感器，温度传感器，压力传感器等)、以及电源驱动等。

图5示出了移动终端300的结构示意图。

下面以移动终端300为例对实施例进行具体说明。应该理解的是，图5所示移动终端300仅是一个范例，并且移动终端300可以具有比图5中所示的更多的或者更少的部件，可以组合两个或多个的部件，或者可以具有不同的部件配置。图中所示出的各种部件可以在包括一个或多个信号处理和/或专用集成电路在内的硬件、软件、或硬件和软件的组合中实现。

如图5所示，移动终端300包括：射频(radio frequency，RF)电路310、存储器320、显示单元330、摄像头340、传感器350、音频电路360、无线保真(Wireless Fidelity，Wi-Fi)电路370、处理器380、蓝牙电路381、以及电源390等部件。

RF电路310可用于在收发信息或通话过程中信号的接收和发送，可以接收基站的下行数据后交给处理器380处理；可以将上行数据发送给基站。通常，RF电路包括但不限于天线、至少一个放大器、收发信机、耦合器、低噪声放大器、双工器等器件。

存储器320可用于存储软件程序及数据。处理器380通过运行存储在存储器320的软件程序或数据，从而执行移动终端300的各种功能以及数据处理。存储器320可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。存储器320存储有使得移动终端300能运行的操作系统。本申请中存储器320可以存储操作系统及各种应用程序，还可以存储执行本申请实施例所述方法的代码。

显示单元330可用于接收输入的数字或字符信息，产生与移动终端300的用户设置以及功能控制有关的信号输入，具体地，显示单元330可以包括设置在移动终端300正面的触摸屏331，可收集用户在其上或附近的触摸操作，例如点击按钮，拖动滚动框等。

显示单元330还可用于显示由用户输入的信息或提供给用户的信息以及移动终端300的各种菜单的图形用户界面(graphical user interface，GUI)。具体地，显示单元330可以包括设置在移动终端300正面的显示屏332。其中，显示屏332可以采用液晶显示器、发光二极管等形式来配置。显示单元330可以用于显示本申请中所述的各种图形用户界面。

其中，触摸屏331可以覆盖在显示屏332之上，也可以将触摸屏331与显示屏332集成而实现移动终端300的输入和输出功能，集成后可以简称触摸显示屏。本申请中显示单元330可以显示应用程序以及对应的操作步骤。

摄像头340可用于捕获静态图像或视频。物体通过镜头生成光学图像投射到感光元件。感光元件可以是电荷耦合器件(charge coupled device，CCD)或互补金属氧化物半导体(complementary metal-oxide-semiconductor，CMOS)光电晶体管。感光元件把光信号转换成电信号，之后将电信号传递给处理器380转换成数字图像信号。

移动终端300还可以包括至少一种传感器350，比如加速度传感器351、距离传感器352、指纹传感器353、温度传感器354。移动终端300还可配置有陀螺仪、气压计、湿度计、温度计、红外线传感器、光传感器、运动传感器等其他传感器。

音频电路360、扬声器361、麦克风362可提供用户与移动终端300之间的音频接口。音频电路360可将接收到的音频数据转换后的电信号，传输到扬声器361，由扬声器361转换为声音信号输出。移动终端300还可配置音量按钮，用于调节声音信号的音量。另一方面，麦克风362将收集的声音信号转换为电信号，由音频电路360接收后转换为音频数据，再将音频数据输出至RF电路310以发送给比如另一终端，或者将音频数据输出至存储器320以便进一步处理。本申请中麦克风362可以获取用户的语音。

Wi-Fi属于短距离无线传输技术，移动终端300可以通过Wi-Fi电路370帮助用户收发电子邮件、浏览网页和访问流媒体等，它为用户提供了无线的宽带互联网访问。

处理器380是移动终端300的控制中心，利用各种接口和线路连接整个终端的各个部分，通过运行或执行存储在存储器320内的软件程序，以及调用存储在存储器320内的数据，执行移动终端300的各种功能和处理数据。在一些实施例中，处理器380可包括一个或多个处理单元；处理器380还可以集成应用处理器和基带处理器，其中，应用处理器主要处理操作系统、用户界面和应用程序等，基带处理器主要处理无线通信。可以理解的是，上述基带处理器也可以不集成到处理器380中。本申请中处理器380可以运行操作系统、应用程序、用户界面显示及触控响应，以及本申请实施例所述的处理方法。另外，处理器380与输入单元330和显示单元340耦接。

蓝牙电路381，用于通过蓝牙协议来与其他具有蓝牙电路的蓝牙设备进行信息交互。例如，移动终端300可以通过蓝牙电路381与同样具备蓝牙电路的可穿戴电子设备(例如智能手表)建立蓝牙连接，从而进行数据交互。

移动终端300还包括给各个部件供电的电源390(比如电池)。电源可以通过电源管理系统与处理器380逻辑相连，从而通过电源管理系统实现管理充电、放电以及功耗等功能。移动终端300还可配置有电源按钮，用于终端的开机和关机，以及锁屏等功能。

图6是本发明实施例的移动终端300的软件结构框图。

分层架构将软件分成若干个层，每一层都有清晰的角色和分工。层与层之间通过软件接口通信。在一些实施例中，将Android系统分为四层，从上至下分别为应用程序层，应用程序框架层，安卓运行时(Android runtime)和系统库，以及内核层。

应用程序层可以包括一系列应用程序包。

如图6所示，应用程序包可以包括相机，图库，日历，通话，地图，导航，WLAN，蓝牙，音乐，视频，短信息等应用程序。

应用程序框架层为应用程序层的应用程序提供应用编程接口(applicationprogramming interface，API)和编程框架。应用程序框架层包括一些预先定义的函数。

如图6所示，应用程序框架层可以包括窗口管理器，内容提供器，视图系统，电话管理器，资源管理器，通知管理器等。

窗口管理器用于管理窗口程序。窗口管理器可以获取显示屏大小，判断是否有状态栏，锁定屏幕，截取屏幕等。

内容提供器用来存放和获取数据，并使这些数据可以被应用程序访问。所述数据可以包括视频，图像，音频，拨打和接听的电话，浏览历史和书签，电话簿等。

视图系统包括可视控件，例如显示文字的控件，显示图片的控件等。视图系统可用于构建应用程序。显示界面可以由一个或多个视图组成的。例如，包括短信通知图标的显示界面，可以包括显示文字的视图以及显示图片的视图。

电话管理器用于提供移动终端300的通信功能。例如通话状态的管理(包括接通，挂断等)。

资源管理器为应用程序提供各种资源，比如本地化字符串，图标，图片，布局文件，视频文件等等。

通知管理器使应用程序可以在状态栏中显示通知信息，可以用于传达告知类型的消息，可以短暂停留后自动消失，无需用户交互。比如通知管理器被用于告知下载完成，消息提醒等。通知管理器还可以是以图表或者滚动条文本形式出现在系统顶部状态栏的通知，例如后台运行的应用程序的通知，还可以是以对话窗口形式出现在屏幕上的通知。例如在状态栏提示文本信息，发出提示音，移动终端振动，指示灯闪烁等。

Android Runtime包括核心库和虚拟机。Android runtime负责安卓系统的调度和管理。

核心库包含两部分：一部分是java语言需要调用的功能函数，另一部分是安卓的核心库。

应用程序层和应用程序框架层运行在虚拟机中。虚拟机将应用程序层和应用程序框架层的java文件执行为二进制文件。虚拟机用于执行对象生命周期的管理，堆栈管理，线程管理，安全和异常的管理，以及垃圾回收等功能。

系统库可以包括多个功能模块。例如：表面管理器(surface manager)，媒体库(Media Libraries)，三维图形处理库(例如：OpenGL ES)，2D图形引擎(例如：SGL)等。

表面管理器用于对显示子系统进行管理，并且为多个应用程序提供了2D和3D图层的融合。

媒体库支持多种常用的音频，视频格式回放和录制，以及静态图像文件等。媒体库可以支持多种音视频编码格式，例如:MPEG4，H.264，MP3，AAC，AMR，JPG，PNG等。

三维图形处理库用于实现三维图形绘图，图像渲染，合成，和图层处理等。

2D图形引擎是2D绘图的绘图引擎。

内核层是硬件和软件之间的层。内核层至少包含显示驱动，摄像头驱动，音频驱动，传感器驱动。

下面结合捕获拍照场景，示例性说明移动终端300软件以及硬件的工作流程。

当触摸屏331接收到触摸操作，相应的硬件中断被发给内核层。内核层将触摸操作加工成原始输入事件(包括触摸坐标，触摸操作的时间戳等信息)。原始输入事件被存储在内核层。应用程序框架层从内核层获取原始输入事件，识别该输入事件所对应的控件。以该触摸操作是触摸单击操作，该单击操作所对应的控件为相机应用图标的控件为例，相机应用调用应用框架层的接口，启动相机应用，进而通过调用内核层启动摄像头驱动，通过摄像头340捕获静态图像或视频。

在一些具体实施中，如图7所示，用户通过触摸用户界面上的应用图标可以打开相应的应用程序，或者通过触摸用户界面上的文件夹图标可以打开相应的文件夹。

基于上述显示设备200和移动终端300，可以通过建立投屏连接，使显示设备200播放显示移动终端300中的内容，如图8a所示。在一些实施例中，如图8b所示，为了建立投屏连接关系，用户可以通过移动终端300发出投屏连接请求，并通过WiFi网络将投屏连接请求发送给显示设备200。显示设备200再根据投屏连接请求完成传输协议配置，从而与移动终端300之间建立投屏数据的传输通道。

显示设备200还可以通过不同连接方式实现与移动终端300之间的投屏连接。例如，在显示设备200和移动终端300接入同一个无线局域网时，可以基于WiFi网络建立投屏连接。又例如，在显示设备200和移动终端300上均设有NFC(Near Field Communication，近场通信)组件时，可以通过NFC组件建立投屏连接关系。显然，显示设备200与移动终端300之间还可以采用其他有线或无线连接方式，从而建立投屏连接关系，例如RF射频连接、红外连接、蜂窝网络以及本领域技术人员在上述实施例提供的连接方式基础上所能够联想到的其他连接方式。

在建立投屏连接后，显示设备200可以通过投屏数据通道接收移动终端300的相关数据，从而在显示设备200中播放相关内容。在不同的投屏数据传输协议下，显示设备200获取的投屏数据形式不同。例如，在DLNA(Digital Living Network Alliance，数字生活网络联盟)协议下，显示设备200可以通过投屏数据通道获取移动终端300中某一资源的链接地址，并通过访问该链接地址获取媒资内容数据，从而播放该媒资数据。同时显示设备200还可以在播放媒资数据时，通过投屏数据通道获取移动终端300发送的控制指令，如快进、暂停、停止投屏等。例如，通过通讯协议建立好连接后，手机等移动终端300与显示设备200会进行设备功能与网络条件的协商，以选择适合的影音传输格式。建立影音串流的联机协议(Session)后，再通过一连串的实时串流协议(RTSP)控制命令，以控制影音串流的播放及终止。

而在Miracast投屏、Airplay投屏、NFC镜像投屏、乐播投屏等其他投屏连接协议下，显示设备200可以直接从移动终端300获取视频数据流。该视频数据流可以是移动终端300的显示单元310最终显示画面对应的视频数据流，即该视频数据流中包括移动终端300中的媒资内容画面、UI界面以及其他可在显示单元310中显示的视频画面内容。视频数据流也可以仅为移动终端300中可被获取视频数据，如正在播放的媒资视频数据等。此时，移动终端300可以作为显示设备200的一个信号源，显示设备200可以通过投屏数据通道不断获取视频数据，并实时显示在显示器275中，实现与移动终端300同步显示的效果。

移动终端300根据不同的投屏协议能够获取不同的投屏数据。例如，对于系统应用或直接在系统层级进行投屏，移动终端300可以采用Miracast投屏、Airplay投屏或WiDi投屏协议建立投屏数据通道。

其中，Miracast投屏是由Wi-Fi联盟制定，以Wi-Fi直连为基础的无线显示标准。Miracast投屏可适用于Android设备，即Android设备可通过Miracast投屏的方式分享视频画面。通常，Android5.0以上的智能设备内置Miracast协议，因此可以在无需安装任何软件的情况下直接通过投屏设备与接收端设备WiFi网卡间的WiFiP2P功能进行直接无线投屏。此外，Miracast投屏还支持音视频同步传输。但是，由于Android设备太多太杂，Miracast不能完全兼容所有Android设备，并且基于Miracast的投屏没有投屏码功能，不能阻止恶意或者误投屏。

Airplay投屏是由苹果公司推出的一种无线播放技术，适用于iOS和Mac系统的无线投屏。苹果系列设备内置Airplay投屏功能，配合支持AirPlay server服务的投屏器使用，效果清晰稳定，协议自带投屏码功能。但是，需保证苹果设备与投屏器在同一个局域网下(同网段)使用，不能跨网段、跨VLAN使用。

WiDi投屏是Intel主导的一种无线播放技术，也基于WiFi Direct直连技术。Windows8/10笔记本电脑原生支持WiDi投屏，可以无需安装任何软件直接投屏，并且支持USB反向控制功能。

上述三种投屏协议不仅能够获取移动终端300中的视频数据流，而且能够获取移动终端300中的音频数据流，从而可以将视频数据和音频数据同步发送给显示设备200，使显示设备200能够同步播放视频和音频。由于上述Miracast投屏协议和Airplay投屏协议需要系统级应用权限，因此Miracast投屏协议和Airplay投屏协议通常仅适用于系统应用，或者同一厂商的显示设备200和移动终端300通过操作系统内置规则直接建立投屏连接。

由于移动终端300的声音只有系统级别的应用才能够获取到，或者需要发送(Source)端与接收(Sink)端同一厂商内部进行一些相关的系统层面的修改才能传递声音，如NFC镜像投屏的时候，移动终端300可以同时将视频和音频流同时传递给显示设备200。而如果移动终端300应用非当前厂商开发的应用，只能将视频流传递给显示设备200进行播放，无法传递声音数据。即对于部分第三方应用没有系统层权限，无法使用Miracast投屏协议或Airplay投屏协议，只能采用其他投屏协议建立投屏连接关系。例如，乐播投屏应用采用乐播投屏协议、NFC镜像应用采用NFC投屏协议等。这些投屏协议由于没有系统级应用权限，导致其在建立投屏连接关系后，不能直接获取移动终端300的音频数据，因此，在使用第三方应用进行投屏时，会出现只投屏视频，无法传递音频的问题。

为了传递音频数据，如图8c所示，在本申请的部分实施例中，提供一种投屏数据传输系统，所述系统包括显示设备200和移动终端300。其中，显示设备200包括显示器275、通信器220、蓝牙模块以及控制器250；移动终端300包括显示单元330、通信单元、蓝牙电路381以及处理器380。

实际应用中，用户可以通过移动终端300执行交互操作，以输入各种用途的控制指令。例如，输入的控制指令可用于建立投屏连接。移动终端300可以根据交互原理不同，通过多种方式输入用于建立投屏连接的控制指令。例如，移动终端300的显示单元330中包括触控组件，用户通过触控组件输入触控指令进行交互，以进入投屏应用，并在点击投屏按钮后，建立投屏连接。

其中，所述投屏应用是指安装在移动终端300中的应用程序，可以是系统应用，也可以是第三方应用。通常，系统应用为移动终端300出厂自带的应用程序，在正常的操作模式下，不能被卸载。需要说明的是，本实施例中，系统应用具有广义性，不仅包括开发者为系统运营商的应用程序，还包括具有系统级数据获取权限的其他应用。

而第三方应用是指能够安装在移动终端300中，并在移动终端300中运行，实现某些特定功能的应用。例如，媒资播放应用、游戏应用等。同理，所述第三方应用也具有广义性，不仅包括非系统运营商开发的应用程序，而且包括由系统运营商开发，但不具有系统级数据获取权限的应用。

此外，用户还可以通过其他方式输入用于建立投屏连接的控制指令。例如，对于内置智能语音系统的移动终端300，用户可以通过输入控制语音，如“开始投屏”、“启动乐播投屏”的方式，输入用于建立投屏连接的控制指令。在用户输入上述控制语音后，移动终端300可以自动启动投屏应用，并与显示设备200建立投屏连接关系，实现在显示设备200上显示移动终端300中的内容。

需要说明的是，本实施例中提供的投屏数据传输系统，其投屏连接关系可以双向建立，即用户可以通过移动终端300输入控制指令，以使移动终端300主动向显示设备200发起投屏连接。用户还可以通过显示设备200输入控制指令，具体的控制指令输入方式与移动终端300的方式相似，不再赘述。在输入控制指令后，显示设备200还可以向移动终端300发起投屏连接，从而在移动终端300上投屏显示所述显示设备200中的内容。

在获取用于建立投屏连接的控制指令后，移动终端300可以响应于该控制指令，通过通信单元向显示设备发送投屏连接请求，以建立投屏连接。投屏连接请求可以被显示设备200读取，并根据投屏连接请求中的具体内容，做出回应动作，以便在移动终端300与显示设备200之间建立投屏数据传输通道。

为此，投屏连接请求中，需要包括与建立投屏数据传输通道相关的信息。例如，传输通道的连接形式、协议以及移动终端300的地址等。显示设备200在接收到投屏连接请求以后，从投屏连接请求中解析连接形式、协议以及移动终端300的地址等信息，并通过所传递的协议对应的方式进行连接信息协商，以在协商完成后建立数据传输通道。

在建立数据传输通道以后，投屏应用可以实时获取移动终端300的视频数据流，并将视频数据流通过投屏数据传输通道发送给显示设备200，显示设备200在接收到视频数据流以后，可以在其显示器275上实时进行显示，实现对视频内容的投屏显示。显然，由于显示设备200的显示器275显示区域形状与移动终端300的显示单元显示区域之间存在着一定的差异，因此在显示设备200对投屏视频画面进行显示的过程中，还需要对显示状态进行调整。例如，对视频画面比例进行缩放，以使投屏视频画面能够完整的显示在显示器275中。此外，显示设备200还可以对投屏视频数据执行进一步优化处理，例如，对投屏视频数据执行插值算法等，以获得更好的显示效果。

由于通过部分第三方投屏应用进行投屏数据传递时，投屏应用没有音频数据的获取权限，通过建立的投屏数据传输通道只能传递视频信号，因此，为了传递声音信号，在建立投屏连接后，移动终端300还可以检测投屏应用类型，确定当前进行投屏操作所采用的投屏应用是系统应用还是第三方应用。

根据投屏应用类型的检测结果，可以确定不同的投屏数据传递方式。如果投屏应用类型为系统应用，即当前投屏应用具有获取音频数据流的权限，可以直接通过投屏数据传输通道向显示设备200发送音频数据流，从而实现在显示设备200中同步播放视频画面和音频信号。如果投屏应用类型为第三方应用，即当前投屏应用不具有获取音频数据流的权限，通过投屏数据传输通道只能传递视频数据，不能传递音频数据。因此可以通过蓝牙电路连接显示设备200，以发送音频数据流。

可见，通过在显示设备200与移动终端300之间蓝牙连接，将显示设备200作为蓝牙连接的接收端(sink端)，将移动终端300作为蓝牙连接的发送端(source端)，即显示设备200作为移动终端300音频播放设备，从而实时输出移动终端300中的声音，实现对视频数据和音频数据的同步播放。

在一些实施例中，建立投屏连接时还可以由显示设备200对投屏应用类型进行检测，即显示设备200可以在接收到移动终端300发送的投屏连接请求后，响应于投屏连接请求，检测投屏应用类型。如果所述投屏应用类型为第三方应用，通过蓝牙模块连接移动终端300，以获取音频数据流。即在本实施例中，可以通过显示设备200对投屏应用类型进行检测，从而无需对移动终端300进行额外配置，使不同厂商的移动终端300和显示设备200之间实施上述投屏数据的传输方式。

根据上述实施例，在建立投屏连接时，可以根据投屏应用类型确定相关数据的发送方式，对于第三方应用可以采用蓝牙连接传输音频数据，以缓解第三方应用只能传递视频数据，无法传递音频数据的问题。而对于系统应用，由于其具有音频数据流的获取权限，因此可以直接通过建立的投屏连接关系传输音频数据，即如图9a、图9b所示，在一些实施例中，如果投屏应用类型为系统应用，可以通过系统投屏协议与移动终端300建立投屏连接，以传递视频数据流和音频数据流。

例如，当应用需要获取Android系统的音频流录制权限时，可以首先获得声音获取权限，如获取权限“android.permission.CAPTURE_AUDIO_OUTPUT”，而该权限属于系统权限不允许第三方App使用，如果属于系统应用，可以通过AudioRecord进行音频流的获取，应用层面在AndroidManifest.xml增加系统权限，同时进行签名验证，这样系统应用即可利用AudioRecord接口进行音频流获取。对于系统应用，可以仍然采用原数据传输方式直接传递视频数据流和音频数据流，这样的数据传递方式可以降低数据处理量，并且可以缓解蓝牙传输音频数据时偶尔产生的传输延迟，有利于保持音画同步。

为了检测投屏应用类型，在本申请的部分实施例中，如图10所示，显示设备200或者移动终端300可以先获取投屏应用的包名信息，再从包名信息中提取判断属性值。从而根据判断属性值确定当前投屏应用的类型，如果判断属性值等于0，标记投屏应用为第三方应用；如果判断属性值不等于0，标记投屏应用为系统应用。

例如，判断系统应用和第三方应用的方法如下：通过获取应用安装包信息，包括用户自行安装的应用和系统自带的应用程序，对其android.content.pm.PackageInfo的packageName进行过滤，判断其属性值，如ApplicationInfo.FLAG_SYSTEM不为0，则认为是系统自带的应用。显然，根据上述判断结果，如判断结果是不是系统预置应用，则属于第三方应用。

通过投屏应用建立投屏连接后，如果投屏应用是第三方应用，还需要在显示设备200与移动终端300之间建立蓝牙连接。如图11a、图11b所示，在一些实施例中，显示设备200通过蓝牙模块连接移动终端300的步骤还包括：通过应用投屏协议向移动终端300发送显示设备200的地址信息，以使移动终端300根据所述地址信息执行蓝牙配对；再接收移动终端300通过蓝牙传输协议发送的配对请求；以及响应于配对请求，设置蓝牙模块为接收模式，与移动终端200建立蓝牙连接。

为了实现在显示设备200与移动终端300之间建立蓝牙连接关系，在检测到投屏应用的应用类型为第三方应用后，显示设备200可以向移动终端300发送当前设备地址信息，如显示设备200的蓝牙Mac地址为：94:17:00：xx：64：8c，以使移动终端300可以通过接收到的地址信息执行蓝牙配对，自动与94:17:00：xx：64：8c的蓝牙地址设备建立蓝牙连接。由于此时显示设备200与移动终端300之间没有建立蓝牙连接关系，因此可以通过投屏应用对应的协议将显示设备200的地址信息发送给移动终端300。

在一些实施例中，显示设备200发送的地址信息还可以包括控制指令，如用于控制移动终端进行信任验证的控制指令，对移动终端300进行控制，以使移动终端300在接收到地址信息后，通过蓝牙传输协议发送配对请求，而显示设备200可以响应于该配对请求，设置蓝牙模块为接收模式，以及与移动终端300建立蓝牙连接。

在接收到地址信息后，移动终端300还可以对地址信息进行本地管理，以供后续建立蓝牙连接时直接调用。例如，移动终端300进行扫描列表与接收到Sink端的蓝牙Mac地址进行匹配(即与显示设备200进行匹配)，如协商一致，则可以进行蓝牙的配对以及连接工作。在镜像投屏时，通过投屏连接可以将视频数据传递给显示设备200，同时通过蓝牙连接将音频数据传递给显示设备200，实现视频和音频的同步传递。

为了便于在移动终端300和显示设备200之间建立蓝牙连接关系，本申请的部分实施例中还提供一种蓝牙配对方法，该配对方法可以在用户无感知的情况下自动建立蓝牙连接，既保证安全性，又无须用户手动点击确认，减少用户交互次数。

所述蓝牙配对连接方法，可以先在接收端(sink端)显示设备200中设置服务(server)，负责监听接收端蓝牙信息，同步接收发送端(source端)移动终端300的蓝牙请求信息。由于显示设备200和移动终端300之间已建立网络通信(如投屏连接)，因此移动终端300可以通过协议层将相关的信息传递给显示设备200，且显示设备200可以同步将设备相关信息传递给移动终端300。

在通过协议层传递相关信息的过程中，可以在显示设备200和移动终端300之间建立设备互信标记，用于表示显示设备200和移动终端300是安全的，可以用来实现无感知的蓝牙配对连接。即在分别记录了互信标记后，如果移动终端300和显示设备200建立蓝牙连接关系，则可以通过检测该互信标记进行信任验证，从而在通过信任验证后，直接进行蓝牙配对以及直接连接。

例如，在移动终端300与显示设备200建立投屏连接后，可以在显示设备200和移动终端300中分别记录可信任设备的相关信息，即在移动终端300中记录当前显示设备200是可信任设备，在显示设备200中记录当前移动终端300为可信任设备。在移动终端300向显示设备200发起蓝牙连接请求时，显示设备200可以在接收到蓝牙连接请求后进行信任设备的判断。如果发起蓝牙连接请求的移动终端300对应信息与记录的可信任设备信息相同，则可以直接进行蓝牙配对连接。

同理，在显示设备200向移动终端300发起蓝牙连接请求时，移动终端300在接收到蓝牙连接请求后，也可以对显示设备200进行可信任设备验证。当显示设备200对应的设备信息与记录的可信任设备信息之一相同时，确定当前显示设备200通过信任验证，因此可以直接建立蓝牙连接关系，无需用户手动确认配对码等信息。

可见，在本实施例中，通过记录信任设备信息，可以在显示设备200和移动终端300建立蓝牙连接时，直接在系统层面进行配对连接，无需用户手动操作，在保证安全性的前提下，减少用户交互次数，使显示设备200和移动终端300之间能够快速传递视频数据和音频数据，便于实现音画同步传递。

在一些实施例中，为了能够在显示设备200和移动终端300中记录信任设备信息，可以在显示设备200和移动终端300中分别创建可信任设备列表，并在显示设备200和移动终端300建立投屏连接后，将显示设备200和移动终端300的设备信息均保存到可信任设备列表中。

例如，对于显示设备200，可以先在其中建立可信任设备列表，可信任列表可以包括设备名称、设备网络地址以及设备的蓝牙mac地址等表项，如下表：

设备名称	网络地址	蓝牙mac地址
			××的手机1	Fe80::6917:ff:xxxx:8984	94:17:00：xx：64：01
××的手机2	Fe80::6917:ff:xxxx:8985	94:17:00：xx：64：8c
			……	……	……

当显示设备200与移动终端300建立投屏连接等网络通信连接时，显示设备200可以通过建立投屏连接时的设备信息中，提取移动终端300相关的设备名称、设备网络地址以及设备的蓝牙mac地址等信息，并添加到可信任列表中，完成对可信任设备信息的记录。由于在建立网络通信连接时已经对设备的安全性进行了验证，即能够建立网络通信连接的显示设备200和移动终端300彼此之间已经满足安全性要求，因此再进行其他形式的连接时可以不再进行安全性验证，直接进行配对即可。

在一些实施例中，为了实现显示设备200和移动终端300之间的信任验证，在接收到蓝牙连接请求后，显示设备200和移动终端300可以根据蓝牙连接请求中包含的设备信息，在记录的可信任设备列表中进行匹配，从而确定当前发起蓝牙连接请求的设备是否为可信任设备。

例如，显示设备200在接收到移动终端300发送的蓝牙连接请求时，显示设备200可以在蓝牙连接请求中提取移动终端300的设备信息，包括设备名称、设备网络地址以及设备的蓝牙mac地址等。再将提取的设备信息在可信任设备列表中进行匹配，当设备名称、设备网络地址以及设备的蓝牙mac地址等信息全部或部分记录在可信任设备列表中时，确定当前移动终端300设备信息通过信任验证，因此可以直接响应该蓝牙连接请求，自动完成蓝牙连接配对，而无需用户手动完成配对操作。

同理，对于移动终端300，可以采用相同的方式在可信任设备列表中记录显示设备200的设备信息，并在显示设备200向移动终端300发送蓝牙连接请求时，根据显示设备200的设备信息在可信任设备列表中进行匹配，从而在匹配命中任一表项时，确定当前显示设备200为可信任设备，从而自动完成蓝牙连接配对，无需用户手动完成配对操作。

另外，为了实现用户的无感知蓝牙配对操作，在显示设备200或移动终端300的信任验证通过后，移动终端300或显示设备200可以在直接在系统层面完成配对连接。其中，系统层面的配对连接是指在当前应用具有系统层蓝牙连接的权限后，直接在系统层完成蓝牙配对，而无需通过应用层调用显示对话框等处理过程。

例如，可以在显示设备200中内置系统服务，当显示设备200与移动终端300建立投屏连接后，显示设备200可以通过该系统服务监听蓝牙状态的变化，注册蓝牙状态的相关广播信息，如：“android.bluetooth.device.action.FOUND”和“android.bluetooth.device.action.PAIRING_REQUEST”。当监听到“FOUND”信息后，进行蓝牙设备列表的检索，与信任设备进行匹配。当监听到配对请求“PAIRING_REQUEST”信息后，进行广播信息的处理，对信任的设备进行系统层面的配对，整个过程不会调用应用层显示配对界面，也就无须用户主动点击确认，即可进行蓝牙设备的配对连接。

在一些实施例中，显示设备200和移动终端300建立投屏连接的过程中，还可以对对方设备的安全性执行验证。例如，显示设备200在接收移动终端300发送的投屏连接请求后，可以响应于该投屏连接请求，对移动终端300执行安全性验证。安全性验证的具体方式可以为：通过内置的安全性验证程序，对移动终端300的硬件信息、网络信息以及数据传递权限等信息进行提取，并与安全数据库中存储的数据规则进行匹配，如果移动终端300对应的信息不在黑名单中，或者移动终端300对应的信息没有被恶意篡改，则可以确定移动终端300通过安全性验证。

对于通过安全性验证的移动终端300，显示设备200在通过执行网络通信连接配对，完成地址匹配、协议配置等操作，从而在显示设备200与移动终端300之间建立网络通信连接。例如，显示设备200可以针对通过安全性验证的移动终端300配置投屏协议，即根据投屏应用配置投屏协议，经移动终端300与显示设备200之间的多次握手，形成投屏数据传输通道。

需要说明的是，在建立投屏连接的过程中，如图12a、图12b所示，还可以通过移动终端300对投屏应用类型进行检测，从而在检测到投屏应用为第三方应用时，主动执行蓝牙设备搜索以获取到所有可连接的蓝牙设备列表。再根据显示设备200反馈的蓝牙Mac等信息，在蓝牙设备列表中进行匹配，确定建立投屏连接的显示设备200，从而直接向显示设备200发起蓝牙连接配对。

在进行蓝牙配对连接时，由于在部分使用场景下，显示设备200或者移动终端300的蓝牙功能开关未处于开启状态，此时将造成显示设备200或者移动终端300无法使用蓝牙功能，以建立蓝牙连接关系。因此，在一些实施例中，蓝牙模块连接移动终端的步骤中，控制器被进一步配置为：

检测蓝牙模块的开关状态。如果开关状态为开启，执行获取地址信息的步骤；如果开关状态为关闭，向蓝牙模块发送开启指令，以启用蓝牙模块。例如，显示设备200和移动终端300可以通过蓝牙接口，设置当前设备的蓝牙状态，如BluetootManager以及BluetoothAdapter设置蓝牙可用，从而在打开蓝牙后，进行蓝牙设备的搜索。

在建立投屏连接和蓝牙连接后，显示设备200可以实时从移动终端300获取视频数据和音频数据，并通过显示器275和扬声器对视频数据和音频数据进行播放，实现投屏。即如图13所示，在一些实施例中，通过所述蓝牙模块连接所述移动终端的步骤还包括：通过蓝牙模块获取移动终端中的音频数据流，以及通过通信器获取移动终端中的视频数据流。在获取音频数据流和视频数据流后，同步播放音频数据流和视频数据流。

实际应用中，显示设备200可以在建立投屏连接和蓝牙连接后，通过投屏数据通道获取视频数据，并在显示器275中对视频数据内容进行显示。同时，通过蓝牙连接，显示设备200可以作为移动终端300的音频输出装置，从而通过显示设备200的音频输出装置，如扬声器，输出移动终端300中的声音。由于通过蓝牙连接进行音频输出的过程中，显示设备200可以直接播放声音信号，因此在投屏应用不具备音频数据获取权限的情况下，也能够实时播放移动终端300中所播放的内容。

需要说明的是，由于蓝牙连接的音频输出方式会由于蓝牙数据传输延迟而出现音画不同步的问题，因此在同步播放音频数据流和视频数据流的过程中，移动终端可以对视频数据流和音频数据流进行标记，例如，标记起始播放时间等。在显示设备200接收到音频数据流和视频数据流后，可以先对音频数据流和视频数据流进行缓存，并对标记进行识别，并按照标记时间开始播放，保证音画同步。

由以上技术方案可知，上述实施例中提供的投屏数据传输系统，包括显示设备200和移动终端300。其中，所述移动终端300内置通信单元和蓝牙电路381；显示设备200内置通信器220和蓝牙模块，并且所述移动终端300被配置为：获取用户输入的用于建立投屏连接的控制指令，以及根据控制指令向显示设备200发送投屏连接请求。显示设备200被配置为：接收投屏连接请求；以及根据投屏连接请求与移动终端300建立投屏连接；移动终端和/或显示设备还被配置为：检测投屏应用类型；如果投屏应用类型为第三方应用，在移动终端与显示设备之间建立蓝牙连接，以传递音频数据流。

所述投屏数据传输系统可以在显示设备200与移动终端300通过投屏应用建立投屏连接时，对投屏应用类型进行检测。并在投屏应用没有移动终端音频数据获取权限时，通过蓝牙连接传递音频数据流，使显示设备200能够同步播放移动终端中的图像和音频，解决投屏连接无法传递音频数据的问题。

显示设备200可以接收移动终端300发送的投屏连接请求，并在获取到投屏连接请求后，对投屏应用类型进行检测，从而在投屏应用类型为第三方应用时，通过蓝牙模块连接移动终端，以接收移动终端中的音频数据流。所述显示设备可以在投屏应用不能从移动终端获取音频数据流时，通过蓝牙连接获取移动终端的音频信号，并同步播放。所述显示设备可以在与移动终端非同一厂商时，传递音频数据，提高用户体验。

基于上述投屏数据传输系统，如图14所示，本申请的部分实施例中还提供一种显示设备200，包括显示器275、通信器220、蓝牙模块以及控制器250。其中，显示器275用于显示用户界面以及显示投屏视频画面；通信器220被配置为与移动终端300建立投屏连接；蓝牙模块被配置为传递音频数据流。控制器250被配置为执行以下程序步骤：接收移动终端300发送的投屏连接请求；响应于投屏连接请求，检测投屏应用类型；如果投屏应用类型为第三方应用，通过蓝牙模块连接移动终端，以获取音频数据流。

可见，本实施例提供的显示设备200包括：显示器275、通信器220、蓝牙模块以及控制器250。实际应用中，显示设备200可以接收移动终端300发送的投屏连接请求，并在获取到投屏连接请求后，对投屏应用类型进行检测，从而在投屏应用类型为第三方应用时，通过蓝牙模块连接移动终端，以接收移动终端300中的音频数据流。所述显示设备200可以在投屏应用不能从移动终端获取音频数据流时，通过蓝牙连接获取移动终端的音频信号，并同步播放。所述显示设备可以在与移动终端非同一厂商时，传递音频数据，提高用户体验。

如图15所示，在一些实施例中，投屏应用类型可以由移动终端300进行检测，并根据检测结果确定音频数据流的投屏方式。为此，本申请的部分实施例中还提供一种移动终端300，包括：显示单元330、通信单元、蓝牙电路381以及处理器380。其中，所述显示单元330被配置为显示用户界面以执行用户交互；通信单元被配置为与显示设备200建立投屏连接；蓝牙电路381被配置为传输音频数据流。处理器380被配置为执行以下程序步骤：获取用户输入的用于建立投屏连接的控制指令，并响应于控制指令，通过通信单元向显示设备发送投屏连接请求。通过检测投屏应用类型，如果投屏应用类型为第三方应用，通过蓝牙电路381连接显示设备200，以发送音频数据流。

可见，本申请实施例中提供的移动终端300可以在获取用户输入的控制指令后，向显示设备200发起投屏连接，同时对当前投屏应用类型进行检测，从而在投屏应用类型为第三方应用时，与移动终端300建立蓝牙连接关系，以发送音频数据流。所述移动终端300可以通过投屏应用完成与显示设备200的投屏连接，并在投屏应用没有音频数据获取权限时，通过蓝牙连接发送音频数据，解决非系统应用无法传递音频数据的问题。

在一些实施例中，当通过移动终端300检测投屏应用类型时，通过蓝牙电路381连接显示设备200的步骤中，处理器380被进一步配置为：先通过应用投屏协议接收显示设备200地址信息，并执行设备扫描，例如，移动终端300通过蓝牙接口，设置当前的蓝牙状态，如BluetootManager以及BluetoothAdapter设置蓝牙可用，打开蓝牙后，进行蓝牙设备的检索，以生成扫描列表。再根据地址信息在扫描列表中查找目标显示设备200，通过设置蓝牙电路381为发送模式，以及通过蓝牙传输协议向目标显示设备200发送配对请求。

本实施例中，显示设备200可以在接收到移动终端300发送的投屏连接请求后，向移动终端300反馈地址信息，使得移动终端300在执行设备扫描过程中，可以直接根据反馈的地址信息执行蓝牙连接匹配操作，使移动终端300可以通过蓝牙连接方式与显示设备200建立连接关系，从而向显示设备200发送音频数据流。

在本申请的部分实施例中，还提供一种投屏数据传输方法，应用于投屏数据传输系统，所述投屏数据传输系统包括移动终端300和显示设备200，所述方法包括以下步骤：移动终端300获取用户输入的用于建立投屏连接的控制指令，以及根据控制指令向显示设备200发送投屏连接请求。显示设备200接收投屏连接请求；以及根据投屏连接请求与移动终端300建立投屏连接；移动终端300和/或显示设备200检测投屏应用类型；如果投屏应用类型为第三方应用，在移动终端300与显示设备200之间建立蓝牙连接，以传递音频数据流。

本实施例中，所述投屏数据传输方法可以在使用投屏应用进行投屏连接时，通过移动终端300和/或显示设备200检测投屏应用类型，如果投屏应用类型为第三方应用，在移动终端300与显示设备200之间建立蓝牙连接，用来从移动终端300向显示设备200传递音频数据流，从而实现在显示设备200中同步显示移动终端300显示内容的同时，同步播放移动终端300的声音，解决投屏连接无法传递音频数据的问题。

需要说明的是，对于上述其他实施方式，可以在上述显示设备200和移动终端300的基础上，通过配置不同的功能单元或附加功能模块实施相对应的实现方式，以构成新的投屏数据传输方法，此处不再赘述。

本申请提供的实施例之间的相似部分相互参见即可，以上提供的具体实施方式只是本申请总的构思下的几个示例，并不构成本申请保护范围的限定。对于本领域的技术人员而言，在不付出创造性劳动的前提下依据本申请方案所扩展出的任何其他实施方式都属于本申请的保护范围。

Claims (10)

1.一种显示设备，其特征在于，包括：

显示器；

通信器，被配置为与移动终端建立投屏连接；

蓝牙模块，被配置为传递音频数据流；

控制器，被配置为：

接收移动终端发送的投屏连接请求；

响应于所述投屏连接请求，检测投屏应用类型；

如果所述投屏应用类型为第三方应用，通过所述蓝牙模块连接所述移动终端，以获取音频数据流。

2.根据权利要求1所述的显示设备，其特征在于，检测投屏应用类型的步骤中，所述控制器被进一步配置为：

如果所述投屏应用类型为系统应用，通过系统投屏协议与所述移动终端建立投屏连接，以传递视频数据流和音频数据流；

如果所述投屏应用类型为第三方应用，通过应用投屏协议与所述移动终端建立投屏连接，以传递视频数据流。

3.根据权利要求1所述的显示设备，其特征在于，检测投屏应用类型的步骤中，所述控制器被进一步配置为：

获取所述投屏应用的包名信息；

从所述包名信息中提取判断属性值；

如果所述判断属性值等于0，标记所述投屏应用为第三方应用；

如果所述判断属性值不等于0，标记所述投屏应用为系统应用。

4.根据权利要求1所述的显示设备，其特征在于，通过所述蓝牙模块连接所述移动终端的步骤中，所述控制器被进一步配置为：

通过应用投屏协议向所述移动终端发送显示设备地址信息，以使所述移动终端根据所述地址信息执行蓝牙配对；

接收所述移动终端通过蓝牙传输协议发送的配对请求；

响应于所述配对请求，设置所述蓝牙模块为接收模式，以及与所述移动终端建立蓝牙连接。

5.根据权利要求4所述的显示设备，其特征在于，过所述蓝牙模块连接所述移动终端的步骤中，所述控制器被进一步配置为：

检测所述蓝牙模块的开关状态；

如果所述开关状态为开启，执行所述获取地址信息的步骤；

如果所述开关状态为关闭，向所述蓝牙模块发送开启指令，以启用所述蓝牙模块。

6.根据权利要求1所述的显示设备，其特征在于，通过所述蓝牙模块连接所述移动终端的步骤后，所述控制器被进一步配置为：

通过所述蓝牙模块获取所述移动终端中的音频数据流；

通过所述通信器获取所述移动终端中的视频数据流；

同步播放所述音频数据流和所述视频数据流。

7.一种移动终端，其特征在于，包括：

显示单元；

通信单元，被配置为与显示设备建立投屏连接；

蓝牙电路，被配置为传输音频数据流；

处理器，被配置为：

获取用户输入的用于建立投屏连接的控制指令；

响应于所述控制指令，通过所述通信单元向所述显示设备发送投屏连接请求；

检测投屏应用类型；

如果所述投屏应用类型为第三方应用，通过蓝牙电路连接所述显示设备，以发送音频数据流。

8.根据权利要求7所述的移动终端，其特征在于，通过蓝牙电路连接所述显示设备的步骤中，所述处理器被进一步配置为：

通过应用投屏协议接收显示设备地址信息；

执行设备扫描，以生成扫描列表；

根据所述地址信息在所述扫描列表中查找目标显示设备；

设置所述蓝牙电路为发送模式，以及通过蓝牙传输协议向所述目标显示设备发送配对请求。

9.一种投屏数据传输方法，其特征在于，包括：

移动终端获取用户输入的用于建立投屏连接的控制指令，以及根据所述控制指令向显示设备发送投屏连接请求；

显示设备接收所述投屏连接请求；以及根据所述投屏连接请求与所述移动终端建立投屏连接；

移动终端和/或显示设备检测投屏应用类型；

如果所述投屏应用类型为第三方应用，在所述移动终端与所述显示设备之间建立蓝牙连接，以传递音频数据流。

10.一种投屏数据传输系统，其特征在于，包括移动终端和显示设备；其中，所述移动终端内置通信单元和蓝牙电路；所述显示设备内置通信器和蓝牙模块；

所述移动终端被配置为：获取用户输入的用于建立投屏连接的控制指令，以及根据所述控制指令向显示设备发送投屏连接请求；

所述显示设备被配置为：接收所述投屏连接请求；以及根据所述投屏连接请求与所述移动终端建立投屏连接；

所述移动终端和/或所述显示设备还被配置为：检测投屏应用类型；如果所述投屏应用类型为第三方应用，在所述移动终端与所述显示设备之间建立蓝牙连接，以传递音频数据流。

Images