CN113691790A

CN113691790A - 多媒体数据处理方法及装置、电子设备及存储介质

Info

Publication number: CN113691790A
Application number: CN202110913493.8A
Authority: CN
Inventors: 乔强国; 郭杨微
Original assignee: Beijing Xiaomi Mobile Software Co Ltd
Current assignee: Beijing Xiaomi Mobile Software Co Ltd
Priority date: 2021-08-10
Filing date: 2021-08-10
Publication date: 2021-11-23

Abstract

本公开是关于一种多媒体数据处理方法及装置、电子设备及存储介质。应用于第一设备中的所述多媒体数据处理方法可包括：基于设备发现服务，确定在所述第一设备所在空间内存在能够接受所述第一设备多媒体数据投射的第二设备；其中，投射到所述第二设备的多媒体数据，用于供所述第二设备输出；在确定所述空间内存在所述第二设备时，与所述第二设备建立控制通道，其中，所述控制通道，用于传输控制多媒体数据投射的控制指令；在检测到多媒体数据投射需求时，与至少一个所述第二设备建立数据通道，其中，所述数据通道用于传输投射的所述多媒体数据；所述数据通道不同于所述控制通道。

Description

多媒体数据处理方法及装置、电子设备及存储介质

技术领域

本公开涉及信息技术领域，尤其涉及一种多媒体数据处理方法及装置、电子设备及存储介质。

背景技术

随着技术的发展，电子设备的类型越来越多，电子设备能够执行的功能也越来越丰富。例如，根据屏幕面积大小区分，电子设备就可以分为大屏设备和小屏设备。典型的大屏设备可包括：大屏个人电脑(Personal Computer，PC)或者智能电视等。典型的小屏设备可包括：手机或者小尺寸平板电脑或者可穿戴式设备等。又例如，根据设备专注的功能，电子设备可包括：更加偏重音频输出和语音交互的智能音箱等设备。

基于网络技术的发展，很多电子设备都可以建立直接或间接的网络连接，并进行数据交互。

多媒体数据投射是指：将一个设备获取的多媒体数据发送给另一个设备输出的技术。在相关技术中发现，在进行多媒体数据投射时具有延时大的问题。

发明内容

本公开提供一种多媒体数据处理方法及装置、电子设备及存储介质。

本公开实施例第一方面提供一种多媒体数据处理方法，应用于第一设备中，所述方法包括：

基于设备发现服务，确定在所述第一设备所在空间内存在能够接受所述第一设备多媒体数据投射的第二设备；其中，投射到所述第二设备的多媒体数据，用于供所述第二设备输出；

在确定所述空间内存在所述第二设备时，与所述第二设备建立控制通道，其中，所述控制通道，用于传输控制多媒体数据投射的控制指令；

在检测到多媒体数据投射需求时，与至少一个所述第二设备建立数据通道，其中，所述数据通道用于传输投射的所述多媒体数据；所述数据通道不同于所述控制通道。

基于上述方案，所述方法还包括：

基于所述控制通道，与所述第二设备交互心跳指令；

显示所述第二设备的设备信息；其中，所述设备信息，用于从所述第二设备中确定出接受所述多媒体数据投射的目标设备。

基于上述方案，所述基于所述控制通道，与所述第二设备交互设备状态信息，包括以下至少之一：

通过所述控制通道向所述第二设备发送心跳指令，并接收所述第二设备通过所述控制通道返回的心跳指令反馈；

接收所述第二设备通过所述控制通道发送的心跳指令，并通过所述控制通道向所述第二设备发送心跳指令反馈。

基于上述方案，所述方法，还包括以下至少之一：

在所述第一设备发送所述心跳指令之后，成功接收到所述第二设备返回的心跳指令反馈，确定所述心跳指令交互成功；

成功接收到所述第二设备发送的心跳指令，确定所述心跳指令交互成功。基于上述方案，所述方法还包括：

通过所述控制通道接收所述目标设备的状态反馈，其中，所述状态反馈至少指示所述目标设备输出所述多媒体数据的状态。

基于上述方案，所述方法还包括：

输出所述状态反馈输出所述状态反馈。

基于上述方案，所述方法还包括：

当检测到作用于所述设备信息的选择操作时，确定检测到多媒体数据投射需求，并根据所述选择操作确定接受所述第一设备的多媒体数据投射的所述目标设备。

基于上述方案，所述在检测到多媒体数据投射需求时，与至少一个所述第二设备建立数据通道，包括：

当检测到所述多媒体数据投射需求时，与所述第二设备中接受多媒体数据投射的目标设备交互所述数据通道的协议信息；

基于所述协议信息，建立所述数据通道。

基于上述方案，所述方法还包括：

与所述目标设备进行时钟同步；

所述基于所述协议信息，建立所述数据通道，包括：

在与所述目标设备完成时钟同步之后，基于所述协议信息建立所述数据通道。

基于上述方案，所述方法还包括：

与所述目标设备协商多媒体数据处理的能力信息；

根据所述多媒体数据处理的能力信息的协商结果，确定投射到所述目标设备的多媒体数据的多媒体数据参数。

基于上述方案，所述方法还包括：

通过所述控制通道，向所述第二设备发送所述第二设备的多媒体数据处理的所述控制指令。

基于上述方案，所述控制指令包括以下至少之一：

所述第一设备运行的第一应用程序APP作用于基于所述第一APP的用户界面UI的输入操作生成的所述控制指令；其中，所述第一APP为提供投射的多媒体数据的APP；

所述第一设备运行的第二APP作用于基于所述第二APP的UI的输入操作生成操作指令并传输给所述第一APP生成的所述控制指令；

所述第一设备从所述第二设备接收的操作指令生成的控制指令。

本公开实施例第二方面提供一种多媒体数据处理方法，应用于第二设备中，所述方法包括：

在接收到第一设备基于设备发现服务广播发送的发现帧，与所述第一设备建立控制通道；其中，所述控制通道，用于传输控制多媒体数据投射的控制指令；

在所述第一设备有多媒体数据投射需求时，与所述第二设备建立数据通道；其中，所述数据通道，用于传输投射的多媒体数据；所述数据通道不同于所述控制通道。

基于上述方案，所述方法还包括：

基于所述控制通道，与所述第二设备交互心跳指令；其中，所述心跳指令的交互结果，用于供所述第一设备确定接受多媒体数据投射的目标设备。

基于上述方案，所述方法还包括：

在输出所述多媒体数据时，通过所述控制通道向所述第一设备发送状态反馈。

基于上述方案，所述在所述第一设备有多媒体数据投射需求时，与所述第二设备建立数据通道，包括：

在所述第一设备有多媒体数据投射需求时，交互所述数据通道的协议信息；

基于所述协议信息，建立所述数据通道。

基于上述方案，所述方法还包括：

在建立所述数据通道之前，基于所述数据通道与所述第一设备进行时钟同步。

基于上述方案，所述方法还包括：

与所述第一设备协商多媒体数据处理的能力信息，其中，所述多媒体数据能力信息，用于确定投射的所述多媒体数据的多媒体数据参数。

基于上述方案，所述方法还包括：

通过所述控制通道接收控制指令；

根据所述控制指令，控制所述多媒体数据的输出。

基于上述方案，所述方法还包括：

检测到用户操作；

根据所述用户操作，通过所述控制通道向所述第一设备发送操作指令；其中，所述操作指令用于所述第一设备生成所述控制指令。

本公开实施例第三方面提供一种多媒体数据处理装置，应用于第一设备中，所述装置包括：

第一确定模块，用于基于设备发现服务，确定在所述第一设备所在空间内存在能够接受所述第一设备多媒体数据投射的第二设备；其中，投射到所述第二设备的多媒体数据，用于供所述第二设备输出；

控制通道模块，用于在确定所述空间内存在所述第二设备时，与所述第二设备建立控制通道，其中，所述控制通道，用于传输控制多媒体数据投射的控制指令；

数据通道模块，用于在检测到多媒体数据投射需求时，与至少一个所述第二设备建立数据通道，其中，所述数据通道用于传输投射的所述多媒体数据；所述数据通道不同于所述控制通道。

基于上述方案，所述装置还包括：

第一交互模块，用于基于所述控制通道，与所述第二设备交互心跳指令；

显示模块，用于显示所述第二设备的设备信息；其中，所述设备信息，用于从所述第二设备中确定出接受所述多媒体数据投射的目标设备。

基于上述方案，所述第一交互模块，具体用于执行以下至少之一：

基于上述方案，所述装置还包括：心跳指令模块；所述心跳指令模块，用于执行以下至少之一：

成功接收到所述第二设备发送的心跳指令，确定所述心跳指令交互成功。

基于上述方案，所述装置还包括：

第一反馈模块，用于通过所述控制通道接收所述目标设备的状态反馈，其中，所述状态反馈至少指示所述目标设备输出所述多媒体数据的状态。

基于上述方案，所述装置还包括：

输出模块，用于输出所述状态反馈。

基于上述方案，所述装置还包括：

第二确定模块，具体用于当检测到作用于所述设备信息的选择操作时，确定检测到多媒体数据投射需求，并根据所述选择操作确定接受所述第一设备的多媒体数据投射的所述目标设备。

基于上述方案，所述数据通道模块，具体用于当检测到所述多媒体数据投射需求时，与所述第二设备中接受多媒体数据投射的目标设备交互所述数据通道的协议信息；基于所述协议信息，建立所述数据通道。

基于上述方案，所述装置还包括：

第一同步模块，用于与所述目标设备进行时钟同步；

所述数据通道模块，具体用于在与所述目标设备完成时钟同步之后，基于所述协议信息建立所述数据通道。

基于上述方案，所述装置还包括：

第一协商模块，用于与所述目标设备协商多媒体数据处理的能力信息；

第三确定模块，用于根据所述多媒体数据处理的能力信息的协商结果，确定投射到所述目标设备的多媒体数据的多媒体数据参数。

基于上述方案，所述装置还包括：

基于上述方案，所述控制指令包括以下至少之一：

本公开实施例第四方面提供一种多媒体数据处理装置，应用于第二设备中，所述装置包括：

第一建立模块，用于在接收到第一设备基于设备发现服务广播发送的发现帧，与所述第一设备建立控制通道；其中，所述控制通道，用于传输控制多媒体数据投射的控制指令；

第二建立模块，用于在所述第一设备有多媒体数据投射需求时，与所述第二设备建立数据通道；其中，所述数据通道，用于传输投射的多媒体数据；所述数据通道不同于所述控制通道。

基于上述方案，所述装置还包括：

第二交互模块，用于基于所述控制通道，与所述第二设备交互心跳指令；其中，所述心跳指令的交互结果，用于供所述第一设备确定接受多媒体数据投射的目标设备。

基于上述方案，所述装置还包括：

第二反馈模块，用于在输出所述多媒体数据时，通过所述控制通道向所述第一设备发送状态反馈。

基于上述方案，所述第二建立模块，具体用于在所述第一设备有多媒体数据投射需求时，交互所述数据通道的协议信息；基于所述协议信息，建立所述数据通道。

基于上述方案，所述装置还包括：

第二同步模块，用于在建立所述数据通道之前，基于所述数据通道与所述第一设备进行时钟同步。

基于上述方案，所述装置还包括：

第二协商模块，用于与所述第一设备协商多媒体数据处理的能力信息，其中，所述多媒体数据能力信息，用于确定投射的所述多媒体数据的多媒体数据参数。

基于上述方案，所述装置还包括：

接收模块，用于通过所述控制通道接收控制指令；

控制模块，用于根据所述控制指令，控制所述多媒体数据的输出。

基于上述方案，所述装置还包括：

检测模块，用于检测到用户操作；

发送模块，用于根据所述用户操作，通过所述控制通道向所述第一设备发送操作指令；其中，所述操作指令用于所述第一设备生成所述控制指令。

根据本公开实施例的第五方面提供一种电子设备，包括：

用于存储处理器可执行指令的存储器；

处理器，与所述存储器连接；

其中，所述处理器被配置为执行前述第一方面和/或第二方面提供的多媒体数据处理方法。

根据本公开实施例的第六方面，提供一种非临时性计算机可读存储介质，当所述存储介质中的指令由计算机的处理器执行时，使得计算机能够执行前述的第一方面和/或第二方面提供的多媒体数据处理方法。

本公开的实施例提供的技术方案可以包括以下有益效果：

在本公开实施例提供的技术方案中，第一设备需要向第二设备投射多媒体数据时，会先基于设备发现服务，发现第一设备所在空间内是否存在能够接受多媒体数据投射的第二设备，在发现有能够接受多媒体数据投射的第二设备时建立控制通道，后续需要进行多媒体数据投射时，仅需要建立进行多媒体数据传输的数据通道即可，可以减少多媒体数据投射的延时，加速多媒体数据投射的速率。且控制通道传输控制指令，数据通道传输多媒体数据，实现了控制指令和多媒体数据传输的分离和互不干扰。

附图说明

此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本公开的实施例，并与说明书一起用于解释本公开的原理。

图1是根据一示例性实施例示出的多媒体数据处理方法的流程示意图；

图2是根据一示例性实施例示出的多媒体数据投射的示意图；

图3是根据一示例性实施例示出的多媒体数据投射的示意图；

图4是根据一示例性实施例示出的第二设备的设备信息的显示示意图；

图5是根据一示例性实施例示出的多媒体数据处理方法的流程示意图；

图6是根据一示例性实施例示出的多媒体数据处理方法的流程示意图；

图7A是根据一示例性实施例示出的第一设备的示意图；

图7B是根据一示例性实施例示出的的第二设备的示意图；

图8是根据一示例性实施例示出的控制通道的建立及基于控制通道的指令交互示意图；

图9是根据一示例性实施例示出的多媒体数据处理方法的流程示意图；

图10是根据一示例性实施例示出的多媒体数据处理装置的结构示意图；

图11是根据一示例性实施例示出的多媒体数据处理装置的结构示意图；

图12是根据一示例性实施例示出的电子设备的结构示意图。

具体实施方式

这里将详细地对示例性实施例进行说明，其示例表示在附图中。下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本公开相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本公开的一些方面相一致的装置的例子。

如图1所示，本公开实施例提供一种多媒体数据处理方法，应用于第一设备中，所述方法包括：

S110：基于设备发现服务，确定在所述第一设备所在空间内存在能够接受所述第一设备多媒体数据投射的第二设备；其中，投射到所述第二设备的多媒体数据，用于供所述第二设备输出；

S120：在确定所述空间内存在所述第二设备时，与所述第二设备建立控制通道，其中，所述控制通道，用于传输控制多媒体数据投射的控制指令；

S130：在检测到多媒体数据投射需求时，与至少一个所述第二设备建立数据通道，其中，所述数据通道用于传输投射的所述多媒体数据；所述数据通道不同于所述控制通道。

所述第一设备可以为任意电子设备。示例性地，所述第一设备可为各种移动终端和/或固定终端。所述移动终端至少包括但不限于：手机、平板电脑、可穿戴式设备、智能家居设备、智能办公室或者笔记本。所述固定终端可至少包括：智能电视或者投影仪。

所述可穿戴式设备包括但不限于：智能手环、智能手表、智能脚环和/或头戴设备。所述头戴设备包括但不限于：智能眼镜和/或各种头部佩戴的虚拟现实(Virtual Reality，VR)设备和/或增强现实(Augment Reality，AR)设备等。

所述智能家居设备包括：智能清洁设备和/或智能厨具设备和/或智能门铃。所述智能办公设备包括但不限于：智能打印设备和/或网络电话机等。

所述智能清洁设备包括但不限于：智能洗衣机、扫地机器人。所述智能厨具设备包括但不限于：智能冰箱、智能烹饪设备。所述智能烹饪设备包括：智能烤箱、智能电饭煲等。

同样地，所述第二设备可以为任意电子设备。在一些实施例中，所述第二设备可包括：能够输出多媒体数据的任意多媒体设备。示例性地，所述第二设备包括但不限于：智能音箱、智能电视或者投影设备。

所述多媒体数据包括但不限于以下至少之一：音频、视频、图像、文本或动画等。

这些第一设备可以连接到网络，从网络下载多媒体数据，且可以与第二设备建立连接，从而通过与第二设备建立的连接，多媒体数据第一设备自身存储的多媒体数据和/或从网络下载的多媒体数据通过数据通道传输给第二设备，供第二设备输出。

在一些实施例中，所述第二设备可能比第一设备具有更强大的多媒体组件。示例性地，智能音箱的音频输出音量和输出声效可能比作为第一设备的手机强。又示例性地，智能电视的显示屏幕可能比手机或者平板电脑等具有更大显示面积和/或更高分辨率的显示能力。图2所示为将手机的音频投射到智能音箱播放的示意图；图3所示为将手机的音频投射到智能电视播放的示意图。

示例性地，以所述多媒体数据为音频为例，手机作为第一设备可以播放音乐，但是手机的播放音乐的最大音量和音质可能都受限于手机自身的体积和/或硬件限制，不如智能音箱的播放效果。

在本公开实施例中，为了方便多媒体数据的投射效率，第一设备会自动基于设备发现功能，发现出与第一设备能够建立网络连接的第二设备。后续在有多媒体数据投射需求时，就可以直接基于已经发现的第一设备和已建立的控制通道，直接建立需要进行多媒体数据投射时所需的数据通道即可，减少了多媒体数据投射的延时。

在一些实施例中，所述S110可包括以下至少之一：

基于设备发现服务，周期性在发现信道上广播发现帧；

当所述第一设备连接到预设网络时，基于所述设备发现服务在发现信道上广播发现帧。

该预设网络可为根据第一设备的设备配置确定的网络，例如，家庭网络或者办公网络。

示例性地，用户到家后，手机就会自动连接到家里的WiFi，手机在连接到家里的WiFi之后，在WiFi的发现信道广播发现帧，从而就可以自动发现当前家里可以与第一设备建立连接的第二设备。

若第一设备所在空间内存在其他电子设备，就能够在该发现信道上侦听到发现帧，并回复该发现帧，如此第一设备就能够发现第二设备。

第一设备发现了其所在空间内有第二设备时，就会与第一设备建立控制通道。该控制通道可以用于交互第一设备和第二设备之间的控制指令。

示例性地，该控制通道可为基于传输控制协议(Transmission ControlProtocol，TCP)建立的可靠连接。基于TCP协议，第一设备和第二设备之间通过三次握手等交互，建立所述控制通道。

进一步地，所述控制通道可为长连接，如此控制通道建立之后，第一设备和第二设备会相互检测该连接，以确保该连接的稳定保持。

在检测到多媒体信息数据投射需求时，第一设备会与第二设备建立数据通道，该数据通道主要用于传输需要投射到第二设备的多媒体数据。

检测到所述多媒体数据投射需求可包括以下至少之一：

根据第一设备的多媒体数据投射的历史记录，确定出当前时达到多媒体数据投射的历史时刻；若当前时刻达到多次多媒体数据投射的历史时刻，确定检测到多媒体数据投射需求；

检测到作用于第一设备的多媒体数据投射的用户操作。

在检测到多媒体数据投射需求时，建立数据通道，一旦数据通道建立完成，就可以立马开启多媒体数据的交互，减少多媒体数据投射时的延时。

所述数据通道不同于所述控制通道的不同可以体现在以下方面至少之一：

数据通道使用的协议不同于所述控制通道使用的协议。例如，控制通道是基于TCP建立的连接，数据通道是基于用户数据报协议(User Datagram Protocol，UDP)建立的连接；

数据通道和控制通道可以是基于相同协议建立的不同类型连接，例如，控制通道和数据通道都是基于TCP的连接，但是控制通道是长连接而数据通道是属于短连接；

例如，有些用户有习惯收听早间新闻或者晚间新闻的习惯，作为第一设备的手机被设置了自动弹出新闻播报，但是为了获得更好的收听效果，会将手机从网络下载的新闻播报的音频投射到作为第二设备的智能音箱输出。根据音频流的投射的历史操作，第一设备可认为检测到多媒体数据投射需求。

再例如，在第一设备显示有将音频投射或者视频或者电子相册投射到第二设备上的控件，若检测到作用于这种控件的用户操作，则可认为检测到多媒体数据投射需求。

总之，在本公开实施例中，第一设备作为进行多媒体数据投射的源(source)设备会主动发现能够接收多媒体数据投射的第二设备，并提前建立好控制通道，如此，在需要进行投射多媒体数据时，直接建立数据通道即可，减少了多媒体数据投射的延时，提升了多媒体数据投射的速率。

在一些实施例中，所述方法还包括：

基于所述控制通道，与所述第二设备交互心跳指令；

示例性地，所述显示所述第二设备的设备信息，包括：显示所述心跳指令交互成功的所述第二设备的设备信息。若心跳指令交互成功，则说明该第二设备处于能够立即接受多媒体数据投射的状态，显示这种设备信息供用户查看，可以确保多媒体数据的投射延时小。

通过心跳指令的交互，第一设备可以确定出当前与哪些第二设备的控制通道保持成功，后续在检测到多媒体数据投射需求时，可以将这些控制通道维持成功的第二设备的设备信息输出，供用户选择，从而确定出接受多媒体数据投射的目标设备。

心跳指令可以以心跳数据包的形式在控制通道上传输。示例性地，第一设备可以通过控制通道向第二设备发送心跳数据包，第二设备成功接收到第一设备发送的心跳数据包之后，会向第一设备返回心跳指令反馈的心跳数据包。如此，第一设备在成功接收到第二设备返回的心跳指令反馈时，可认为当前与第二设备之间的控制通道维持稳定。又示例性地，第二设备检测到自身与第一设备建立有控制通道，也可以主动向第一设备发送心跳指令，第一设备成功接收到该心跳指令，可认为自身与该第二设备之间的控制通道维持稳定。与

为了告知第二设备当前控制通道维持成功且稳定，第一设备在接收到第二设备的心跳指令之后，也会以心跳数据包的形式向第二设备返回心跳指令反馈。

故第一设备和第二设备会通过控制通道交互心跳指令和心跳指令反馈，来检测控制通道是否保持成功和稳定。具体地，第一设备和/或第二设备都可以在控制通道上周期性传输心跳指令和/或心跳指令反馈。

有鉴于此，在一些实施例中，所述基于所述控制通道，与所述第二设备交互设备状态信息，包括以下至少之一：通过所述控制通道向所述第二设备发送心跳指令，并接收所述第二设备通过所述控制通道返回的心跳指令反馈；接收所述第二设备通过所述控制通道发送的心跳指令，并通过所述控制通道向所述第二设备发送心跳指令反馈。

进一步地，所述方法，还包括以下至少之一：

示例性地，在多媒体投射页面显示了多个第二设备的备选设备的设备信息。该设备信息可为设备图标和/或设备名称和/或设备的描述信息等可以标识或区分备选设备的信息。如图4所示，该设备的描述信息可包括：A卧室的本人A音箱、客厅的妹妹A音箱、Z我是的本人A音箱等信息。

若检测到选择设备信息的选择操作，则该设备信息对应的第二设备将被作为多媒体数据投射的目标设备。

进一步地，所述控制通道还用于第一设备获取第二设备的设备状态，示例性地，第一设备将通过控制通道向目标设备发射多媒体数据的状态发送指示，此时第二设备会通过控制通道返回状态反馈。或者，第二设备会通过控制通道主动向第一设备发送投射多媒体数据的状态反馈，供第一设备知晓。

以音频投射为例，在第二设备通过数据通道接收音频流并播放时，第二设备播放音频流过程中的各种状态，可以通过控制通道以状态反馈的形式发送至第一设备，供第一设备进行音频流的播放控制。

例如，第二设备在播放第一设备投射的音频流时，第二设备的播放音量和播放的声道以及第二设备与播放音频流相关的各种状态，都可以以状态反馈的形式告知第一设备。

再例如，在进行音频流等多媒体数据投射时，第二设备突然发现多媒体数据接收中断，也可以通过状态反馈告知第一设备。

在一些实施例中，所述方法还包括：

输出所述状态反馈。

该状态反馈可以指示设备的状态信息和/或多媒体数据的投射状态信息。

以音频流投射为例，多媒体数据的投射状态信息可包括以下至少之一：

当前投射的音频流的名称、播出音量和播出进度等；

以视频投射为例，多媒体数据的投射状态信息可包括以下至少之一：

当前投射的视频的名称，视频播出进度，视频的播出音量和/或视频播出的帧率等。

设备的状态信息可指示以下至少之一：

目标设备的负载率；

目标设备的多媒体数据的输出模块的状态，例如，多媒体数据的输出模块被占用了，第一设备可以通过控制指令的发送，指示目标设备释放多媒体数据的输出模块，以空闲出该输出模块，用于投射的多媒体数据的输出。

在一些实施例中，所述方法还包括：

该选择操作可为作用于触控屏的触控操作。该触控操作还可包括：语音指令对应的语音操作等。

总之，在设备信息输出之后，方便用户选择进行多媒体数据投射的目标设备。

在一些实施例中，如图5所示，所述在检测到多媒体数据投射需求时，与至少一个所述第二设备建立数据通道，包括：

S131：当检测到所述多媒体数据投射需求时，与所述第二设备中接受多媒体数据投射的目标设备交互所述数据通道的协议信息；

S132：基于所述协议信息，建立所述数据通道。

在本公开实施例中，建立数据通道之前，第一设备和第二设备之间先建立一个连接，该连接可为基于TCP建立的TCP连接，通过该TCP连接，交互建立数据通道所需的协议信息。例如，该TCP连接可以用于第一设备和第二设备之间协商建立数据通道的协议信息等，基于协商的协议信息建立数据通道。该协议信息可包括：建立数据通道的协议标识和/或协议版本等。

在一些实施例中，在TCP连接，还可以用于在数据通道建立之后，进行关于多媒体数据交互的心跳数据包的检测。

在另一些实施例中，所述数据通道建立之前，可以利用所述控制通道交互第一设备和第二设备之间建立数据通道使用的协议信息，然后基于控制通道上交互的协议信息建立数据通道。

在一些实施例中，所述方法还包括：与所述目标设备进行时钟同步；例如，利用TCP连接与目标设备进行时钟同步等；

所述基于所述协议信息，建立所述数据通道，包括：

第一设备和第二设备之间会进行时钟同步，通过时钟同步可以确保第一设备和第二设备的时钟偏差足够小，从而确保多媒体数据投射的精准性。

在完成时钟同步之后，基于交互的协议信息建立数据通道。

在一些实施例中，所述方法还包括：

与所述目标设备协商多媒体数据处理的能力信息；

示例性地，利用控制通道和/或数据通道建立之前建立的连接，与所述目标设备协商多媒体数据处理的能力信息。

所述能力信息指示以下至少之一：

第一设备和第二设备支持的多媒体数据的格式；

第一设备和第二设备支持的媒体协议；

第一设备和第二设备支持的帧率，例如，音频帧的帧率和/或图像帧的帧率；

第一设备和第二设备是否支持对应多媒体数据的输出等。

通过能力信息的交互，可以向第二设备发送第二设备支持输出的多媒体数据。

所述多媒体数据参数可包括以下至少之一：

多媒体数据的格式；

多媒体数据采用的媒体协议；

多媒体数据的单帧长度；

多媒体数据的编码方式等。

在一些实施例中，所述方法还包括：

多媒体数据通过所述控制通道，向所述第二设备发送所述第二设备的多媒体数据处理的所述控制指令。

所述控制指令包括以下至少之一：

启动指令，用于指示第二设备启动多媒体数据的输出

停止指令，用于指示第二设备停止多媒体数据的投输出

下一个指令，用于指示第二设备切换到下一个多媒体数据的输出

上一个指令，用于指示第二设备切换到上一个多媒体数据的输出；

暂停指令，用于指示第二设备停止多媒体数据的输出；

音量调节指令，用于指示第二设备调节多媒体数据输出的音量；

显示调节指令，用于指示第二设备调节多媒体数据显示的显示效果，该显示效果包括但不限于：显示亮度和/或对比度等。

在一个实施例中，所述控制指令包括以下至少之一：

第一设备生成控制指令的方式有多种。例如，提供多媒体数据投射的APP可以基于用户操作或者内置的触发事件生控制指令。

当投射的多媒体数据为音频数据时，提供多媒体数据投射的APP可为音乐APP、网络广播APP等，这些APP提供音频流，且可能会基于用户操作或者内置事件产生控制指令。

在一些实施例中，控制第一设备向第二设备投射多媒体数据可以由专门的APP(即第二APP)，此时这种第二APP可以独立控制多媒体数据的投射。这样多媒体数据的投射的控制和数据实现分离。

第二APP和第一APP之前可以通过快进程之间通信的方式，实现第一APP和第二APP之间的指令交互。由于第二APP的引入，则可以对第一APP不引入多媒体数据投射的相关代码撰写的情况下，由第一APP来实现，从而实现一个第一APP可以实现相关技术中多种APP提供的多媒体数据向第二设备的投射。

在一些实施例中，第二设备自身也有实体按键和/或显示的虚拟控件，如此第二设备也会接收到操作指令，第二设备接收到操作指令后会返回给第一设备，由第一设备统一控制，从而减少第一设备向多个第二设备同时投射同一个音频流造成的控制不同步的现象。

例如，多个第二设备接收第一设备发送的不同音频流的不同声道音频，如此，多个设备组成一个音频播放的环绕立体音效的设备组，若一个第二设备检测到操作指令直接执行，可能会影响该音频流投射的整体效果，故在本公开实施例中，第二设备会基于控制通道将操作指令返回给第一设备，由第一设备基于操作指令向一个或多个目标设备发送控制指令，以确保音频投射之后的播出音效。

如图6所示，本公开实施例提供一种多媒体数据处理方法，应用于第二设备中，所述方法包括：

S210：在接收到第一设备基于设备发现服务广播发送的发现帧，与所述第一设备建立控制通道；其中，所述控制通道，用于传输控制多媒体数据投射的控制指令；

S220：在所述第一设备有多媒体数据投射需求时，与所述第二设备建立数据通道；其中，所述数据通道，用于传输投射的多媒体数据；所述数据通道不同于所述控制通道。

在本公开实施例中，第二设备会基于第一设备发送的发现帧，向第二设备返回发现帧的应答帧，进而与第一设备建立控制通道。

在第一设备需要进行头媒体数据投射时，再与第二设备建立数据通道，控制通道传输的多媒体数据投射的控制指令，而数据通道传输的多媒体数据。

如此，第一设备在接受第二设备的多媒体数据投射时，传输控制指令的控制通道和传输多媒体数据的数据通道是分离的。且通常在发现第二设备被发现之后，就建立控制通道，如此，控制通道是提前与数据通道前建立的，进而可以减少多媒体数据投射的延时。

控制通道被建立之后会，第一设备和第二设备之间会维持该控制通道。同时了检验控制通道是否维持成功，则第一设备和/或第二设备会检验该控制通道。例如，通过心跳指令的收发来实现。故在一些实施例中，所述方法还包括：

此处的心跳指令的交互可包括：接收第一设备的心跳指令和/或向第一设备发送心跳指令。

通过心跳指令的收发，第一设备会选择心跳指令收发成功的第二设备的设备信息输出，方便用户选择多媒体数据投射的目标设备。

在一些实施例中，所述方法还包括：

在本公开实施例中，第二设备在输出多媒体数据时，例如第二设备在播放音频流和/或第二设备在显示第一设备投射的视频时，会通过控制通道向第一设备发送自身的状态反馈。

该状态反馈可以指示以下至少之一：多媒体数据的输出状态和/或第二设备自身的运行状态。

多媒体数据的输出状态包括但不限于：多媒体数据输出的完成进度、当前输出的多媒体数据的标识等。

该第二设备自身的运行状态包括但不限于：自身的负载率等。

在一些实施例中，所述在所述第一设备有多媒体数据投射需求时，与所述第二设备建立数据通道，包括：

在所述第一设备有多媒体数据投射需求时，与所述第二设备交互所述数据通道的协议信息；

基于所述协议信息，建立所述数据通道。

在建立数据通道之前，需要先建立协商协议信息的连接，该连接用于辅助数据通道的建立。该数据通道包括但不限于TCP连接等。所述数据通道包括但不限于UDP连接等。

在一个实施例中，所述方法还包括：

通过时钟同步，确保第二设备的多媒体数据的输出效果。若接受第一设备的多媒体数据投射的目标设备为多个时，则这多个目标设备通过与第一设备的同步，可以确保多个目标设备的多媒体数据输出的同步效果。

在一些实施例中，所述方法还包括：

该能力信息的协商，可以使得第一设备提供的多媒体数据是第二设备支持输出的，从而确保多媒体数据的成功率。

在一些实施例中，所述方法还包括：通过所述控制通道接收控制指令；

根据所述控制指令，控制所述多媒体数据的输出。

在本公开实施例中，第二设备在接受第一设备的多媒体数据投射时，对于该多媒体数据的输出是根据第一设备提供的控制指令来实现的，实现第一设备对多媒体数据投射的完全控制。这种由第一设备对投射的多媒体数据的输出控制，方便在有接受第一设备的多媒体数据投射的设备输出多媒体数据的同步控制。

在本公开实施例中，所述方法还包括：

检测到用户操作；

该用户操作可为作用于第二设备的实体按键的用户操作，还可以是作用于第二设备的显示界面上控件的用户操作。

在本公开实施例中，接受音频投射的目标设备不会直接响应该用户操作，而是会将用户操作向第一设备返回操作指令，最终由第一设备生产控制指令来控制多媒体数据的输出效果。

图7A所示为以手机为例的第一设备的示意图。第一设备在业务层，需要能够提供系统UI、小爱等多媒体数据的应用程序以及通过无线通信技术将音频等多媒体数据投射到其他设备的远场接力的能你。第一设备支持的核心能力包括但不限于：控制协议、媒体协议、无线WiFi正时协议、设备发现协议、音频采集和音频编码(Audio Capture/AudioEncode)的能力。

控制协议，可以用于第一设备控制第二设备；媒体协议，可用于第一设备向第二设备提供多媒体数据。无线WiFi正式协议，可用于第一设备和第二设备之间进行时钟同步。设备发现协议可用于第一设备发现第二设备。音频采集和音频编码的能力，可以供第一设备自动采集到可投射到第二设备的音频。

第一设备在进行多媒体数据投射时依赖的基础硬件可包括：WiFi芯片和/或音频采集/编码芯片等多媒体数据采集/编码芯片。

图7B所示为以音箱作为例的第二设备的示意图。第二设备包含控制管理模块，该控制管理模块支持控制协议，以便于第一设备对第二设备的多媒体数据输出的空洞感知。

第二设备支持的核心能力包括但不限于：控制协议、媒体协议、无线WiFi正时协议、设备发现协议、音频输出(Audio Output)、音频解码(Audio Decode)、音频输入和音频编码(Audio Input/Audio Encode)的多媒体数据的处理能力。

第二设备依赖的系统模块包括：tcp传输协议、udp传输协议、facc解码/Alsa输出和facc编码等模块。

第二设备依赖的基础硬件包括：WiFi芯片以及音频(Audio)输出芯片等多媒体数据输出芯片。

图8所示为本公开实施例提供的第一设备和第二设备之间相互发现，并建立控制通道，以及在控制通道上交互控制指令和状态反馈等示意图。

图8所示的发现端A即为需要进行多媒体数据投射的第一设备。被发现端B即为本公开实施例能够接受多媒体数据投射的第二设备。

发现端A启动发现设备的服务，被发现端B启动被发现的服务，此处的发现设备的服务核被发现的服务，都属于前述设备发现服务。启动设备发现服务之后，会在发现信道上发送发现帧或者侦听发现帧；通过发现帧的收发，就可以发现其他设备。

发现端A发现设备B；设备B收到A的发现协议及并通知A，此处设备B接收到A的发现帧，并告知A接收到其发现帧。

发现端A互动连接B的控制服务；

被发现端B启动控制协议服务，启动了控制协议服务之后，设备A就可以基于该控制协议服务控制被发现B了。

发现端A会接收指令，该指令可以来自被发现端B，也可以是来设备A(也即发现端A)的用户界面等。

被发现端B会基于控制通道向发现端A发送操作指令，并接收发现端A返回的控制指令之后再执行控制指令。

与此同时，被发现端B会通过控制通道在控制指令处理完成后，会向发现端发送状态反馈。示例性地，发现端A在控制通道上发送获取指令反馈的指示，就会触发被发现端B在控制通道上返回自身的状态，从而发现端A会收到状态反馈。

控制通道还用于发现端A和被发现端B之间交互心跳指令。

图8涉及的设置指令，可用于设置被发现端B对被投射的多媒体数据的输出，例如，设置音量、设置被发现端充当的声道等。

图9所示为第一设备和第二设备建立数据通道，并基于数据通道交互多媒体数据的示意图。图9是以音频为多媒体数据为例进行说明。

参考图9所示，源端(Source)启动XXX APP source的服务；此处的XXX代表一种能够提供多媒体数据的APP的名称。

当服务启动完成之后通过控制通道(即控制通道)通知第一设备进入预备状态；开启协议交互及握手交互，通过该握手交互建立了TCP连接。

在建立完TCP连接之后，基于TCP连接开启正式服务，通过正式服务实现第一设备和第二设备之间的时钟同步；

在完成时钟同步之后，进行能力级协商；

数据发送端的建立，此处涉及的建立传输多媒体数据的第三连接；

音频采集及编器的创建，以便于提供待投射的音频；

开始播放；

在播放完成之后，结束投射。

针对接收端(Sink)而言，收到远端通过控制通道(即控制通道)发送的预备状态告知会后，启动XXXAPP，即打开XXX APP。

连接到XXX APP源端服务；

握手交互，建立TCP连接；

基于TCP连接开启正时同步；

进行能力级的协商；

数据接收端的建立，即与第一设备建立传输音频等多媒体数据的数据通道；

音频解码器及输出的创建；

开始播放；

在播放完成之后，投射结束。

此外，图8还显示有第一设备和第二设备之间的数据交互流程。该数据交互流程可包括：

第一设备的数据采集及编码，数据编码封装后通过控制通道发送；

第二设备通过数据通道接收并解封收到的音频数据局，音频解码及输出。

如图10所示，本公开实施例提供一种多媒体数据处理装置，应用于第一设备中，所述装置包括：

第一确定模块110，用于基于设备发现服务，确定在所述第一设备所在空间内存在能够接受所述第一设备多媒体数据投射的第二设备；其中，投射到所述第二设备的多媒体数据，用于供所述第二设备输出；

控制通道模块120，用于在确定所述空间内存在所述第二设备时，与所述第二设备建立控制通道，其中，所述控制通道，用于传输控制多媒体数据投射的控制指令；

数据通道模块130，用于在检测到多媒体数据投射需求时，与至少一个所述第二设备建立数据通道，其中，所述数据通道用于传输投射的所述多媒体数据；所述数据通道不同于所述控制通道。

在一些实施例中，所述第一确定模块110、控制通道模块120及所述数据通道模块130可为程序模块；所述程序模块被处理器执行之后，能够基于设备发现服务提前发现能够接受第一设备的多媒体数据投射的第二设备，如此在有投射需求时，直接建立传输多媒体数据的数据通道即可，减少多媒体数据的投射延时。

在一些实施例中，所述第一确定模块110、控制通道模块120及所述数据通道模块130可为软硬结合模块；所述软硬结合模块包括但不限于：各种可编程阵列。所述可编程阵列包括但不限于：现场可编程阵列和/或复杂可编程阵列。

在还有一些实施例中，所述第一确定模块110、控制通道模块120及所述数据通道模块130可为纯硬件模块，所述纯硬件模块包括但不限于：专用集成电路。

在一些实施例中，所述装置还包括：

在一些实施例中，所述第一交互模块，具体用于执行以下至少之一：

在一些实施例中，所述装置还包括：心跳指令模块；所述心跳指令模块，用于执行以下至少之一：

在一些实施例中，所述装置还包括：

输出模块，用于输出所述状态反馈。

在一些实施例中，所述装置还包括：

在一些实施例中，所述数据通道模块130，具体用于当检测到所述多媒体数据投射需求时，与所述第二设备中接受多媒体数据投射的目标设备交互所述数据通道的协议信息；基于所述协议信息，建立所述数据通道。

在一些实施例中，所述装置还包括：

第一同步模块，用于与所述目标设备进行时钟同步；

所述数据通道模块130，具体用于在与所述目标设备完成时钟同步之后，基于所述协议信息建立所述数据通道。

在一些实施例中，所述装置还包括：

在一些实施例中，所述控制通道为长连接；所述数据通道为短连接。

在一些实施例中，所述装置还包括：

在一些实施例中，所述控制指令包括以下至少之一：

如图11所示，本公开实施例提供一种多媒体数据处理装置，应用于第二设备中，所述装置包括：

第一建立模块210，用于在接收到第一设备基于设备发现服务广播发送的发现帧，与所述第一设备建立控制通道；其中，所述控制通道，用于传输控制多媒体数据投射的控制指令；

第二建立模块220，用于在所述第一设备有多媒体数据投射需求时，与所述第二设备建立数据通道；其中，所述数据通道，用于传输投射的多媒体数据；所述数据通道不同于所述控制通道。

在一些实施例中，所述第一建立模块210及第二建立模块220可为程序模块；所述程序模块被处理器执行之后，会检测到第一设备发送的发现帧并应答，进而与第一设备建立多媒体数据投射的控制通道，然后在有多媒体数据投射时建立数据通道，从而减少第一设备进行多媒体数据投射的延时。

在一些实施例中，所述第一建立模块210及第二建立模块220可为软硬结合模块；所述软硬结合模块包括但不限于：各种可编程阵列。所述可编程阵列包括但不限于：现场可编程阵列和/或复杂可编程阵列。

在一些实施例中，所述第一建立模块210及第二建立模块220可为纯硬件模块，所述纯硬件模块包括但不限于：专用集成电路。

在一些实施例中，所述装置还包括：

在一些实施例中，所述第二建立模块220，具体用于在所述第一设备有多媒体数据投射需求时，与所述第二设备交互所述数据通道的协议信息；基于所述协议信息，建立所述数据通道。

在一些实施例中，所述装置还包括：

接收模块，用于通过所述控制通道接收控制指令；

在一些实施例中，所述装置还包括：

检测模块，用于检测到用户操作；

本公开实施例提供一种电子设备，包括：

用于存储处理器可执行指令的存储器；

处理器，与存储器连接；

其中，处理器被配置为执行前述任意技术方案提供的多媒体数据处理方法。

处理器可包括各种类型的存储介质，该存储介质为非临时性计算机存储介质，在通信设备掉电之后能够继续记忆存储其上的信息。

处理器可以通过总线等与存储器连接，用于读取存储器上存储的可执行程序，例如，能够执行如图1、图5至图6以及图9任意一个所示方法的至少其中之一。

该电子设备可包含所述第一设备和/或第二设备。

图12是根据一示例性实施例示出的一种电子设备800的框图。例如，电子设备800可以包含在移动电话、移动电脑等终端设备或者服务器等设备内。

参照图12，电子设备800可以包括以下一个或多个组件：处理组件802，存储器804，电源组件806，多媒体组件808，多媒体数据组件810，输入/输出(I/O)的接口812，传感器组件814，以及通信组件816。

处理组件802通常控制电子设备800的整体操作，诸如与显示，电话呼叫，数据通信，相机操作和记录操作相关联的操作。处理组件802可以包括一个或多个处理器820来执行指令，以完成上述的方法的全部或部分步骤。此外，处理组件802可以包括一个或多个模块，便于处理组件802和其他组件之间的交互。例如，处理组件802可以包括多媒体模块，以方便多媒体组件808和处理组件802之间的交互。

存储器804被配置为存储各种类型的数据以支持在设备800的操作。这些数据的示例包括用于在电子设备800上操作的任何应用程序或方法的指令，联系人数据，电话簿数据，消息，图片，视频等。存储器804可以由任何类型的易失性或非易失性存储设备或者它们的组合实现，如静态随机存取存储器(SRAM)，电可擦除可编程只读存储器(EEPROM)，可擦除可编程只读存储器(EPROM)，可编程只读存储器(PROM)，只读存储器(ROM)，磁存储器，快闪存储器，磁盘或光盘。

电源组件806为电子设备800的各种组件提供电力。电力组件806可以包括电源管理系统，一个或多个电源，及其他与为电子设备800生成、管理和分配电力相关联的组件。

多媒体组件808包括在电子设备800和用户之间的提供一个输出接口的屏幕。在一些实施例中，屏幕可以包括液晶显示器(LCD)和触摸面板(TP)。如果屏幕包括触摸面板，屏幕可以被实现为触摸屏，以接收来自用户的输入信号。触摸面板包括一个或多个触摸传感器以感测触摸、滑动和触摸面板上的手势。触摸传感器可以不仅感测触摸或滑动动作的边界，而且还检测与触摸或滑动操作相关的持续时间和压力。在一些实施例中，多媒体组件808包括一个前置摄像头和/或后置摄像头。当设备800处于操作状态，如拍摄状态或视频状态时，前置摄像头和/或后置摄像头可以接收外部的多媒体数据。每个前置摄像头和后置摄像头可以是一个固定的光学透镜系统或具有焦距和光学变焦能力。

多媒体数据组件810被配置为输出和/或输入多媒体数据信号。例如，多媒体数据组件810包括一个麦克风(MIC)，当电子设备800处于操作状态，如呼叫状态、记录状态和语音识别状态时，麦克风被配置为接收外部多媒体数据信号。所接收的多媒体数据信号可以被进一步存储在存储器804或经由通信组件816发送。在一些实施例中，多媒体数据组件810还包括一个扬声器，用于输出多媒体数据信号。

I/O接口812为处理组件802和外围接口模块之间提供接口，上述外围接口模块可以是键盘，点击轮，按钮等。这些按钮可包括但不限于：主页按钮、音量按钮、启动按钮和锁定按钮。

传感器组件814包括一个或多个传感器，用于为电子设备800提供各个方面的状态评估。例如，传感器组件814可以检测到设备800的打开/关闭状态，组件的相对定位，例如组件为电子设备800的显示器和小键盘，传感器组件814还可以检测电子设备800或电子设备800一个组件的位置改变，用户与电子设备800接触的存在或不存在，电子设备800方位或加速/减速和电子设备800的温度变化。传感器组件814可以包括接近传感器，被配置用来在没有任何的物理接触时检测附近物体的存在。传感器组件814还可以包括光传感器，如CMOS或CCD图像传感器，用于在成像应用中使用。在一些实施例中，该传感器组件814还可以包括加速度传感器，陀螺仪传感器，磁传感器，压力传感器或温度传感器。

通信组件816被配置为便于电子设备800和其他设备之间有线或无线方式的通信。电子设备800可以接入基于通信标准的无线网络，如Wi-Fi，2G或3G，或它们的组合。在一个示例性实施例中，通信组件816经由广播信道接收来自外部广播管理系统的广播信号或广播相关信息。在一个示例性实施例中，通信组件816还包括近场通信(NFC)模块，以促进短程通信。例如，在NFC模块可基于射频识别(RFID)技术，红外数据协会(IrDA)技术，超宽带(UWB)技术，蓝牙(BT)技术和其他技术来实现。

在示例性实施例中，装置800可以被一个或多个应用专用集成电路(ASIC)、数字信号处理器(DSP)、数字信号处理设备(DSPD)、可编程逻辑器件(PLD)、现场可编程门阵列(FPGA)、控制器、微控制器、微处理器或其他电子元件实现，用于执行上述方法。

在示例性实施例中，还提供了一种包括指令的非临时性计算机可读存储介质，例如包括指令的存储器804，上述指令可由装置800的处理器820执行以完成上述方法。例如，非临时性计算机可读存储介质可以是ROM、随机存取存储器(RAM)、CD-ROM、磁带、软盘和光数据存储设备等。

本公开实施例提供一种计算机存储介质，该计算存储介质可为非临时性计算机可读存储介质，当存储介质中的指令由第一设备和/或第二设备的处理器执行时，使得第一设备和/或第二设备能够执行前述任意实施例提供应用于第一设备和/或第二设备中的多媒体数据处理方法，能够执行如图1、图5至图6以及图9任意一个所示方法的至少其中之一。

所述计算机存储介质中存储的指令被执行之后，能够实现的多媒体数据处理可包括：基于设备发现服务，确定在所述第一设备所在空间内存在能够接受所述第一设备多媒体数据投射的第二设备；其中，投射到所述第二设备的多媒体数据，用于供所述第二设备输出；在确定所述空间内存在所述第二设备时，与所述第二设备建立控制通道，其中，所述控制通道，用于传输控制多媒体数据投射的控制指令；在检测到多媒体数据投射需求时，与至少一个所述第二设备建立数据通道，其中，所述数据通道用于传输投射的所述多媒体数据；所述数据通道不同于所述控制通道。

可以理解地，所述方法还包括：基于所述控制通道，与所述第二设备交互心跳指令；显示所述第二设备的设备信息；其中，所述设备信息，用于从所述第二设备中确定出接受所述多媒体数据投射的目标设备。

可以理解地所述基于所述控制通道，与所述第二设备交互设备状态信息，包括以下至少之一：通过所述控制通道向所述第二设备发送心跳指令，并接收所述第二设备通过所述控制通道返回的心跳指令反馈；接收所述第二设备通过所述控制通道发送的心跳指令，并通过所述控制通道向所述第二设备发送心跳指令反馈。

可以理解地，

所述方法，还包括以下至少之一：

可以理解地所述方法还包括：通过所述控制通道接收所述目标设备的状态反馈，其中，所述状态反馈至少指示所述目标设备输出所述多媒体数据的状态。

可以理解地所述方法还包括：输出所述状态反馈输出所述状态反馈。

可以理解地所述方法还包括：当检测到作用于所述设备信息的选择操作时，确定检测到多媒体数据投射需求，并根据所述选择操作确定接受所述第一设备的多媒体数据投射的所述目标设备。

可以理解地所述在检测到多媒体数据投射需求时，与至少一个所述第二设备建立数据通道，包括：当检测到所述多媒体数据投射需求时，与所述第二设备中接受多媒体数据投射的目标设备交互所述数据通道的协议信息；基于所述协议信息，建立所述数据通道。

可以理解地所述方法还包括：

与所述目标设备进行时钟同步；

所述基于所述协议信息，建立所述数据通道，包括：

可以理解地所述方法还包括：与所述目标设备协商多媒体数据处理的能力信息；根据所述多媒体数据处理的能力信息的协商结果，确定投射到所述目标设备的多媒体数据的多媒体数据参数。

可以理解地所述控制通道为长连接；所述数据通道为短连接。

可以理解地所述方法还包括：多媒体数据通过所述控制通道，向所述第二设备发送所述第二设备的多媒体数据处理的所述控制指令。

可以理解地所述控制指令包括以下至少之一：

所述计算机存储介质中存储的指令被执行之后，能够实现的多媒体数据处理可包括：在接收到第一设备基于设备发现服务广播发送的发现帧，与所述第一设备建立控制通道；其中，所述控制通道，用于传输控制多媒体数据投射的控制指令；在所述第一设备有多媒体数据投射需求时，与所述第二设备建立数据通道；其中，所述数据通道，用于传输投射的多媒体数据；所述数据通道不同于所述控制通道。

可以理解地，所述方法还包括：基于所述控制通道，与所述第二设备交互心跳指令；其中，所述心跳指令的交互结果，用于供所述第一设备确定接受多媒体数据投射的目标设备。

可以理解地，所述方法还包括：

可以理解地，所述在所述第一设备有多媒体数据投射需求时，与所述第二设备建立数据通道，包括：

基于所述协议信息，建立所述数据通道。

可以理解地，所述方法还包括：

通过所述控制通道接收控制指令；

根据所述控制指令，控制所述多媒体数据的输出。

可以理解地，所述方法还包括：

检测到用户操作；

本领域技术人员在考虑说明书及实践这里公开的发明后，将容易想到本公开的其它实施方案。本公开旨在涵盖本公开的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本公开的一般性原理并包括本公开未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本公开的真正范围和精神由下面的权利要求指出。

应当理解的是，本公开并不局限于上面已经描述并在附图中示出的精确结构，并且可以在不脱离其范围进行各种修改和改变。本公开的范围仅由所附的权利要求来限制。

Claims

1.一种多媒体数据处理方法，其特征在于，应用于第一设备中，所述方法包括：

2.根据权利要求1所述的方法，其特征在于，所述方法还包括：

基于所述控制通道，与所述第二设备交互心跳指令；

3.根据权利要求2所述的方法，其特征在于，所述基于所述控制通道，与所述第二设备交互设备状态信息，包括以下至少之一：

4.根据权利要求3所述的方法，其特征在于，所述方法，还包括以下至少之一：

5.根据权利要求2至4任一项所述的方法，其特征在于，所述方法还包括：

6.根据权利要求2至4任一项所述的方法，其特征在于，所述方法还包括：

7.根据权利要求1所述的方法，其特征在于，所述在检测到多媒体数据投射需求时，与至少一个所述第二设备建立数据通道，包括：

基于所述协议信息，建立所述数据通道。

8.根据权利要求7所述的方法，其特征在于，所述方法还包括：

与所述目标设备进行时钟同步；

所述基于所述协议信息，建立所述数据通道，包括：

9.根据权利要求7所述的方法，其特征在于，所述方法还包括：

与所述目标设备协商多媒体数据处理的能力信息；

10.根据权利要求1至3任一项所述的方法，其特征在于，所述方法还包括：

11.根据权利要求10所述的方法，其特征在于，所述控制指令包括以下至少之一：

12.一种多媒体数据处理方法，其特征在于，应用于第二设备中，所述方法包括：

13.根据权利要求12所述的方法，其特征在于，所述方法还包括：

14.根据权利要求12或13所述的方法，其特征在于，所述方法还包括：

15.根据权利要求12所述的方法，其特征在于，所述在所述第一设备有多媒体数据投射需求时，与所述第二设备建立数据通道，包括：

在所述第一设备有多媒体数据投射需求时，交互所述数据通道的协议信息；所基于所述协议信息，建立所述数据通道。

16.根据权利要求15所述的方法，其特征在于，所述方法还包括：

17.根据权利要求15所述的方法，其特征在于，所述方法还包括：

18.根据权利要求12所述的方法，其特征在于，所述方法还包括：

通过所述控制通道接收控制指令；

根据所述控制指令，控制所述多媒体数据的输出。

19.根据权利要求18所述的方法，其特征在于，所述方法还包括：

检测到用户操作；

20.一种多媒体数据处理装置，其特征在于，应用于第一设备中，所述装置包括：

21.根据权利要求20所述的装置，其特征在于，所述装置还包括：

22.根据权利要求21所述的装置，其特征在于，所述第一交互模块，具体用于执行以下至少之一：

23.根据权利要求22所述的装置，其特征在于，所述装置还包括：心跳指令模块；所述心跳指令模块，用于执行以下至少之一：

24.根据权利要求21至23任一项所述的装置，其特征在于，所述装置还包括：

25.根据权利要求21至23任一项所述的装置，其特征在于，所述装置还包括：

26.根据权利要求20所述的装置，其特征在于，所述数据通道模块，具体用于当检测到所述多媒体数据投射需求时，与所述第二设备中接受多媒体数据投射的目标设备交互所述数据通道的协议信息；基于所述协议信息，建立所述数据通道。

27.根据权利要求26所述的装置，其特征在于，所述装置还包括：

第一同步模块，用于与所述目标设备进行时钟同步；

28.根据权利要求26所述的装置，其特征在于，所述装置还包括：

29.根据权利要求20至22任一项所述的装置，其特征在于，所述装置还包括：

30.根据权利要求29所述的装置，其特征在于，所述控制指令包括以下至少之一：

31.一种多媒体数据处理装置，其特征在于，应用于第二设备中，所述装置包括：

32.根据权利要求31所述的装置，其特征在于，所述装置还包括：

33.根据权利要求31或32所述的装置，其特征在于，所述装置还包括：

34.根据权利要求31所述的装置，其特征在于，所述第二建立模块，具体用于在所述第一设备有多媒体数据投射需求时，交互所述数据通道的协议信息；基于所述协议信息，建立所述数据通道。

35.根据权利要求34所述的装置，其特征在于，所述装置还包括：

36.根据权利要求34所述的装置，其特征在于，所述装置还包括：

37.根据权利要求31所述的装置，其特征在于，所述装置还包括：

接收模块，用于通过所述控制通道接收控制指令；

38.根据权利要求36所述的装置，其特征在于，所述装置还包括：

检测模块，用于检测到用户操作；

39.一种电子设备，其特征在于，包括：

用于存储处理器可执行指令的存储器；

处理器，与所述存储器连接；

其中，所述处理器被配置为执行如权利要求1至11或者12至19中任一项提供的多媒体数据处理方法。

40.一种非临时性计算机可读存储介质，当所述存储介质中的指令由计算机的处理器执行时，使得计算机能够执行如权利要求1至11或者12至19中任一项多媒体数据处理方法。