CN111245854A - 一种媒体传输方法、媒体控制方法及装置 - Google Patents

一种媒体传输方法、媒体控制方法及装置 Download PDF

Info

Publication number
CN111245854A
CN111245854A CN202010048490.8A CN202010048490A CN111245854A CN 111245854 A CN111245854 A CN 111245854A CN 202010048490 A CN202010048490 A CN 202010048490A CN 111245854 A CN111245854 A CN 111245854A
Authority
CN
China
Prior art keywords
terminal
multimedia data
distance
slave
slave terminal
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010048490.8A
Other languages
English (en)
Other versions
CN111245854B (zh
Inventor
范姝男
李小娟
郜文美
王雅辉
井皓
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Huawei Device Co Ltd
Original Assignee
Huawei Device Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Huawei Device Co Ltd filed Critical Huawei Device Co Ltd
Priority to CN202010048490.8A priority Critical patent/CN111245854B/zh
Publication of CN111245854A publication Critical patent/CN111245854A/zh
Application granted granted Critical
Publication of CN111245854B publication Critical patent/CN111245854B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Mobile Radio Communication Systems (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Telephone Function (AREA)
  • Stereophonic System (AREA)
  • Reverberation, Karaoke And Other Acoustics (AREA)

Abstract

本发明实施例提供的媒体传输方法,用于主终端向至少一个从终端共享多媒体数据,包括:所述主终端与所述至少一个从终端建立共享多媒体数据的近场无线通信连接;所述主终端根据终端间的距离,和/或所述至少一个从终端中的一个或多个发送的请求消息,确定向每一个所述至少一个从终端发送的所述多媒体数据的类型;所述主终端根据所述多媒体数据的类型,通过所述通信连接分别向每一个所述至少一个从终端发送相应类型的多媒体数据;其中,所述多媒体数据的类型包括:图像和音频,以及仅图像。

Description

一种媒体传输方法、媒体控制方法及装置
技术领域
本发明涉及通信领域,尤其涉及一种媒体传输方法、媒体控制方法及装置。
背景技术
无线共享(Air Sharing)是多屏互动的一种实现方式,可以将一台终端的屏幕所显示的内容通过无线网络共享给多台移动终端的解决方案,实现快速的近场分享。无线共享中,主终端为所述多媒体数据的发送终端,即所述多媒体数据的分享终端;从终端为所述多媒体数据的接收终端,即所述多媒体数据的被分享终端。实现无线共享,主终端上可以安装无线共享应用,用户触发创建分享之后,如果用户通过点击等方式确认加入主终端创建的分享,从终端在特定范围内就可以显示主终端分享的内容。可选的,从终端也可通过开启无线保真(WiFi,WIreless-FIdelity)连接到主终端,从终端根据用户的操作打开浏览器,根据用户输入的网址,下载客户端。在特定范围内的终端,通过设备发现,业务发现,协商传递内容的媒体格式后,就可以实现媒体文件的传输,实现近场通信。
无线共享的底层可以基于不同机制传输,例如Apple的Airplay是通过wifi将iPhone,iPod及iPad上的视频镜像传送到个设备上播放,底层支持无线、有线连接,通过终端应用来播放多种媒体格式的文件。也有通过Miracast标准传输的解决方案,Miracast是WiFi联盟支持WiFi演示规范的设备的认证名称,底层通过实时流媒体传输协议(RTSP,RealTime Streaming Protocol)协商后传输媒体文件。还有一些无线共享的实现,是通过主终端开启接入点功能,从终端接入主终端,通过超文本传送协议(HTTP,Hypertext transferprotocol)中的GET(获取)指令完成设备发现,通过HTTP的POST(推送)指令发送文件,或HTTP的GET指令获取文件。
在现有技术中,在多个设备实现无线近场共享时,对于多媒体数据来说,受到不同手机的性能,不同厂商手机的兼容性,以及网络特性等硬件条件的限制,从终端上播放的多媒体数据相对于主终端播放的多媒体数据会出现0.5到1秒左右的延迟。因此,当主终端和从终端对多媒体数据进行无线近场共享时,容易产生干扰,影响用户的使用。
发明内容
本发明实施例提供了一种媒体传输方法及装置,用于减少主终端和从终端对多媒体数据进行无线近场共享时的干扰。
本发明实施例第一方面提供的媒体传输方法,用于主终端向至少一个从终端共享多媒体数据,包括:
所述主终端与所述至少一个从终端建立共享多媒体数据的近场无线通信连接;
所述主终端根据终端间的距离,和/或所述至少一个从终端中的一个或多个发送的请求消息,确定向每一个所述至少一个从终端发送的所述多媒体数据的类型;
所述主终端根据所述多媒体数据的类型,通过所述通信连接分别向每一个所述至少一个从终端发送相应类型的多媒体数据;
其中,所述多媒体数据的类型包括:图像和音频,以及仅图像。
结合第一方面,在第一种可能的实现方式中,
类型为所述图像和音频的多媒体数据,包括图像数据和音频数据;
类型为所述仅图像的多媒体数据,仅包括所述图像数据。
结合第一方面,在第二种可能的实现方式中,
所述主终端根据终端间的距离,和/或所述至少一个从终端中的一个或多个发送的请求消息,确定向每一个所述至少一个从终端发送的所述多媒体数据的类型之前,包括:
所述主终端确定所述主终端与每一个所述至少一个从终端的距离;
所述主终端根据终端间的距离,和/或所述至少一个从终端中的一个或多个发送的请求消息,确定向每一个所述至少一个从终端发送的所述多媒体数据的类型,包括:
所述主终端根据所述主终端与每一个所述至少一个从终端的距离,确定向距离所述主终端最近的从终端发送的多媒体数据的类型为图像和音频,确定向距离所述主终端最近的从终端之外的其它从终端发送的多媒体数据的类型为仅图像。
结合第一方面,在第三种可能的实现方式中,所述主终端为音频播放终端,
所述主终端根据终端间的距离,和/或所述至少一个从终端中的一个或多个发送的请求消息,确定向每一个所述至少一个从终端所述至少一个从终端发送的所述多媒体数据的类型之前,包括:
所述主终端确定所述主终端与每一个所述至少一个从终端的距离;
所述主终端根据终端间的距离,和/或所述至少一个从终端中的一个或多个发送的请求消息,确定向每一个所述至少一个从终端发送的所述多媒体数据的类型,包括:
若所述至少一个从终端与所述主终端的距离小于或等于第一距离门限,则确定向所述至少一个从终端发送的多媒体数据的类型为仅图像;
若所述至少一个从终端与所述主终端的距离大于所述第一距离门限,则确定向所述至少一个从终端发送的多媒体数据的类型为图像和音频。
结合第一方面,在第四种可能的实现方式中,
所述主终端根据终端间的距离,和/或所述至少一个从终端中的一个或多个发送的请求消息,确定向每一个所述至少一个从终端发送的所述多媒体数据的类型之前,所述方法还包括:
所述主终端确定所述终端间的距离,所述终端间的距离包括所有终端中任意两个终端之间的距离;
所述主终端根据终端间的距离,和/或所述至少一个从终端中的一个或多个发送的请求消息,确定向每一个所述至少一个从终端发送的所述多媒体数据的类型,包括:
所述主终端根据所述终端间的距离,以及第二距离门限对每个所述终端进行音频播放区域的划分,其中,所述音频播放区域为中心点到任一边缘点的距离小于所述距离门限的区域;
确定向靠近所述音频播放区域的中心点的从终端发送的多媒体数据的类型为图像和音频,确定向远离所述音频播放区域的中心点的从终端发送的多媒体数据的类型为仅图像。
结合第一方面,在第五种可能的实现方式中,
所述主终端根据终端间的距离,和/或所述至少一个从终端中的一个或多个发送的请求消息,确定向每一个所述至少一个从终端发送的所述多媒体数据的类型之前,所述方法还包括:
所述主终端接收所述至少一个从终端中的一个或多个发送的请求消息,所述请求消息包括:第一请求消息或第二请求消息,所述第一请求消息用于请求所述主终端向发送所述第一请求消息的从终端发送多媒体数据的类型为图像和音频,所述第二请求消息用于请求所述主终端向发送所述第二请求消息的从终端发送多媒体数据的类型为仅图像;
所述主终端确定所述终端间的距离,所述终端间的距离包括所有终端中任意两个终端之间的距离;
所述主终端根据所述终端间的距离,以及第二距离门限对每个所述终端进行音频播放区域的划分,其中,所述音频播放区域为中心点到任一边缘点的距离小于所述距离门限的区域;
所述主终端根据终端间的距离,和/或所述至少一个从终端中的一个或多个发送的请求消息,确定向每一个所述至少一个从终端发送的所述多媒体数据的类型,包括以下至少一个:
若确定所述至少一个从终端靠近所述音频播放区域的中心点,且所述至少一个从终端未发送所述请求消息,则确定向所述至少一个从终端发送的多媒体数据的类型为仅图像;
若确定所述至少一个从终端远离所述音频播放区域的中心点,且所述至少一个从终端未发送所述请求消息,则确定向所述至少一个从终端发送的多媒体数据的类型为图像和音频;
若所述主终端接收到所述至少一个从终端发送的所述第一请求消息,则确定向所述至少一个从终端发送的多媒体数据的类型为图像和音频;
若所述主终端接收到所述至少一个从终端发送的所述第二请求消息,则确定向所述至少一个从终端发送的多媒体数据的类型为仅图像。
结合第一方面,在第六种可能的实现方式中,
所述主终端根据终端间的距离,和/或所述至少一个从终端中的一个或多个发送的请求消息,确定向每一个所述至少一个从终端发送的所述多媒体数据的类型之前,所述方法还包括:
所述主终端接收所述至少一个从终端中的一个或多个发送的请求消息,所述请求消息包括:第一请求消息或第二请求消息,所述第一请求消息用于请求所述主终端向发送所述第一请求消息的从终端发送多媒体数据的类型为图像和音频,所述第二请求消息用于请求所述主终端向发送所述第二请求消息的从终端发送多媒体数据的类型为仅图像;
所述主终端根据终端间的距离,和/或所述至少一个从终端中的一个或多个发送的请求消息,确定向每一个所述至少一个从终端发送的所述多媒体数据的类型,包括:
所述主终端根据所述第一请求消息确定向发送所述第一请求消息的从终端发送的多媒体数据的类型为图像和音频,根据所述第二请求消息确定向发送所述第二请求消息的从终端发送的多媒体数据的类型为仅图像,并确定向未发送所述第一请求消息或所述第二请求消息的从终端发送的多媒体数据的类型为图像和音频,或仅图像。
结合第一方面或第一方面第一至六任意一种可能的实现方式,在第七种可能的实现方式中,所述根据所述多媒体数据的类型,通过所述通信连接分别向每一个所述至少一个从终端发送相应类型的多媒体数据之后,包括:
所述主终端接收第一从终端发送的第一请求消息,所述第一请求消息用于请求所述主终端向所述至少一个从终端发送多媒体数据的类型为图像和音频;
所述主终端根据所述第一请求消息确定向所述第一从终端发送的多媒体数据的类型为图像和音频;
所述主终端通过所述通信连接向所述第一从终端发送类型为图像和音频的多媒体数据。
结合第一方面第二种或第三种可能的实现方式,在第八种可能的实现方式中,所述主终端确定所述主终端与每一个所述至少一个从终端的距离,包括:
所述主终端根据所述主终端的距离检测模块检测所述主终端与每一个所述至少一个从终端的距离;
或,
所述主终端根据无线保真wifi信号的信号强度确定所述主终端与每一个所述至少一个从终端的距离;
或,
所述主终端根据所述主终端接收或发送的声波信息确定所述主终端与每一个所述至少一个从终端的距离;
或,
所述主终端获取第二从终端提供的第一距离信息,所述第一距离信息为所述第二从终端测量的所述主终端与所述第二从终端的距离。
结合第一方面第四种或第五种可能的实现方式,在第九种可能的实现方式中,所述主终端确定所述终端间的距离,包括:
所述主终端根据所述主终端的距离检测模块确定所述终端间的距离;
或,
所述主终端根据无线保真wifi信号的信号强度确定所述终端间的距离;
或,
所述主终端根据所述主终端接收或发送的声波信息确定所述终端间的距离;
或,
所述主终端获取第二从终端提供的第二距离信息,所述第二距离信息为测量的所述主终端与所述第二从终端的距离,以及所述第二从终端与其它从终端的距离。
本发明实施例第二方面提供的媒体控制方法,应用于主终端与从终端共享多媒体数据,包括:
所述从终端接收所述主终端发送的所述多媒体数据;
所述从终端根据所述从终端与所述主终端的距离,或所述主终端外放的音频,确定所述从终端对所述多媒体数据的播放模式;其中,所述多媒体数据的播放模式:静音模式和非静音模式;
所述从终端根据所述多媒体数据的播放模式对所述多媒体数据进行播放。
结合第二方面,在第一种可能的实现方式中,
所述从终端根据所述从终端与所述主终端的距离,或所述主终端外放的音频,确定所述从终端对应所述多媒体数据的播放模式之前,包括:
所述从终端确定所述从终端与所述主终端的距离;
所述从终端根据所述从终端与所述主终端的距离,或所述主终端外放的音频,确定所述从终端对所述多媒体数据的播放模式,包括:
若所述从终端与所述主终端的距离大于距离门限,则确定所述从终端对所述多媒体数据的播放模式为非静音模式;
若所述从终端与所述主终端的距离小于或等于距离门限,则确定所述从终端对所述多媒体数据的播放模式为静音模式。
结合第二方面第一种可能的实现方式,在第二种可能的实现方式中,所述从终端确定所述从终端与所述主终端的距离,包括:
所述从终端根据所述从终端的距离检测模块确定所述从终端与所述主终端的距离;
或,
所述从终端根据无线保真wifi信号的信号强度确定所述从终端与所述主终端的距离;
或,
所述从终端根据所述主终端接收或发送的声波信息确定所述从终端与所述主终端的距离。
结合第二方面,在第三种可能的实现方式中,
所述从终端根据所述从终端与所述主终端的距离,或所述主终端外放的音频,确定所述从终端对应所述多媒体数据的播放模式之前,包括:
所述从终端获取外放音频信息,并根据所述主终端共享的多媒体数据确定所述外放音频信息为所述主终端对所述多媒体数据外放的音频;
所述从终端根据所述从终端与所述主终端的距离,或所述主终端外放的音频,确定所述从终端对所述多媒体数据的播放模式,包括:
若所述主终端外放的音频的音频强度大于音频门限,则确定所述从终端对所述多媒体数据的播放模式为静音模式;
若所述主终端外放的音频的音频强度小于或等于音频门限,则确定所述从终端对所述多媒体数据的播放模式为非静音模式。
本发明实施例第三方面提供的终端,作为主终端,用于向至少一个从终端共享多媒体数据,所述主终端包括:
通信连接单元,用于与所述至少一个从终端建立共享多媒体数据的近场无线通信连接;
类型确定单元,用于根据终端间的距离,和/或所述至少一个从终端中的一个或多个发送的请求消息,确定向每一个所述至少一个从终端发送的所述多媒体数据的类型;
发送单元,用于根据所述多媒体数据的类型,通过所述通信连接分别向每一个所述至少一个从终端发送相应类型的多媒体数据;其中,所述多媒体数据的类型包括:图像和音频,以及仅图像。
结合第三方面,在第一种可能的实现方式中,
类型为所述图像和音频的多媒体数据,包括图像数据和音频数据;
类型为所述仅图像的多媒体数据,仅包括所述图像数据。
结合第三方面,在第二种可能的实现方式中,
所述终端还包括:第一测距单元;
所述第一测距单元,用于在所述类型确定单元执行操作之前,确定所述主终端与每一个所述至少一个从终端的距离;
所述类型确定单元包括:第一确定模块;
所述第一确定模块,用于在所述第一测距单元执行操作之后,根据所述主终端与每一个所述至少一个从终端的距离,确定向距离所述主终端最近的从终端发送的多媒体数据的类型为图像和音频,确定向距离所述主终端最近的从终端之外的其它从终端发送的多媒体数据的类型为仅图像。
结合第三方面,在第三种可能的实现方式中,所述主终端为音频播放终端,
所述终端还包括:第一测距单元;
所述第一测距单元,用于在所述类型确定单元执行操作之前,确定所述主终端与每一个所述至少一个从终端的距离;
所述类型确定单元包括:第二确定模块;
所述第二确定模块,用于在所述第一测距单元执行操作之后,若所述至少一个从终端与所述主终端的距离小于或等于第一距离门限,则确定向所述至少一个从终端发送的多媒体数据的类型为仅图像;若所述至少一个从终端与所述主终端的距离大于所述第一距离门限,则确定向所述至少一个从终端发送的多媒体数据的类型为图像和音频。
结合第三方面,在第四种可能的实现方式中,
所述终端还包括:第二测距单元;
所述第二测距单元,用于在所述类型确定单元执行操作之前,确定所述终端间的距离,所述终端间的距离包括所有终端中任意两个终端之间的距离;根据所述终端间的距离,以及第二距离门限对每个所述终端进行音频播放区域的划分,其中,所述音频播放区域为中心点到任一边缘点的距离小于所述距离门限的区域;
所述类型确定单元包括:第三确定模块;
所述第三确定模块,用于在所述第二测距单元执行操作之后,确定向靠近所述音频播放区域的中心点的从终端发送的多媒体数据的类型为图像和音频,确定向远离所述音频播放区域的中心点的从终端发送的多媒体数据的类型为仅图像。
结合第三方面,在第五种可能的实现方式中,
所述终端还包括:消息接收单元;
所述消息接收单元,用于在所述类型确定单元执行操作之前,接收所述至少一个从终端中的一个或多个发送的请求消息,所述请求消息包括:第一请求消息或第二请求消息,所述第一请求消息用于请求所述主终端向发送所述第一请求消息的从终端发送多媒体数据的类型为图像和音频,所述第二请求消息用于请求所述主终端向发送所述第二请求消息的从终端发送多媒体数据的类型为仅图像;
所述终端还包括:第二测距单元;
所述第二测距单元,用于在所述类型确定单元执行操作之前,确定所述终端间的距离,所述终端间的距离包括所有终端中任意两个终端之间的距离;根据所述终端间的距离,以及第二距离门限对每个所述终端进行音频播放区域的划分,其中,所述音频播放区域为中心点到任一边缘点的距离小于所述距离门限的区域;
所述类型确定单元包括:第四确定模块;
所述第四确定模块用于:在所述消息接收单元以及所述第二测距单元执行操作之后,
若确定所述至少一个从终端靠近所述音频播放区域的中心点,且所述至少一个从终端未发送所述请求消息,则确定向所述至少一个从终端发送的多媒体数据的类型为仅图像;
若确定所述至少一个从终端远离所述音频播放区域的中心点,且所述至少一个从终端未发送所述请求消息,则确定向所述至少一个从终端发送的多媒体数据的类型为图像和音频;
若所述主终端接收到所述至少一个从终端发送的所述第一请求消息,则确定向所述至少一个从终端发送的多媒体数据的类型为图像和音频;
若所述主终端接收到所述至少一个从终端发送的所述第二请求消息,则确定向所述至少一个从终端发送的多媒体数据的类型为仅图像。
结合第三方面,在第六种可能的实现方式中,
所述终端还包括:消息接收单元;
所述消息接收单元,用于在所述类型确定单元执行操作之前,接收所述至少一个从终端中的一个或多个发送的请求消息,所述请求消息包括:第一请求消息或第二请求消息,所述第一请求消息用于请求所述主终端向发送所述第一请求消息的从终端发送多媒体数据的类型为图像和音频,所述第二请求消息用于请求所述主终端向发送所述第二请求消息的从终端发送多媒体数据的类型为仅图像;
所述类型确定单元包括:第五确定模块;
所述第五确定模块用于:
在所述消息接收单元执行操作之后,根据所述第一请求消息确定向发送所述第一请求消息的从终端发送的多媒体数据的类型为图像和音频,根据所述第一请求消息确定向发送所述第二请求消息的从终端发送的多媒体数据的类型为仅图像,并确定向未发送所述第一请求消息或所述第二请求消息的从终端发送的多媒体数据的类型为图像和音频,或仅图像。
结合第三方面第五种或第六种可能的实现方式,在第七种可能的实现方式中,
所述消息接收单元还用于:在所述发送单元执行操作之后,接收第一从终端发送的第一请求消息,所述第一请求消息用于请求所述主终端向所述至少一个从终端发送多媒体数据的类型为图像和音频;
所述类型确定单元还用于:根据所述第一请求消息确定向所述第一从终端发送的多媒体数据的类型为图像和音频;
所述发送单元还用于:通过所述通信连接向所述第一从终端发送类型为图像和音频的多媒体数据。
结合第三方面第二种或第三种可能的实现方式,在第八种可能的实现方式中,所述第一测距单元具体用于:
根据所述主终端的距离检测模块检测所述主终端与每一个所述至少一个从终端的距离;
或,
根据无线保真wifi信号的信号强度确定所述主终端与每一个所述至少一个从终端的距离;
或,
根据所述主终端接收或发送的声波信息确定所述主终端与每一个所述至少一个从终端的距离;
或,
获取第二从终端提供的第一距离信息,所述第一距离信息为所述第二从终端测量的所述主终端与所述第二从终端的距离。
结合第三方面第四种或第五种可能的实现方式,在第九种可能的实现方式中,第二测距单元具体用于:
根据所述主终端的距离检测模块确定所述终端间的距离;
或,
根据无线保真wifi信号的信号强度确定所述终端间的距离;
或,
根据所述主终端接收或发送的声波信息确定所述终端间的距离;
或,
获取第二从终端提供的第二距离信息,所述第二距离信息为测量的所述主终端与所述第二从终端的距离,以及所述第二从终端与其它从终端的距离。
本发明实施例第四方面提供的终端,作为从终端,用于与主终端共享多媒体数据,所述从终端包括:
数据接收单元,用于接收所述主终端发送的所述多媒体数据;
模式确定单元,用于根据所述从终端与所述主终端的距离,或所述主终端外放的音频,确定所述从终端对所述多媒体数据的播放模式;其中,所述多媒体数据的播放模式:静音模式和非静音模式;
播放单元,用于根据所述多媒体数据的播放模式对所述多媒体数据进行播放。
结合第四方面,在第一种可能的实现方式中,
所述终端还包括:距离确定单元;
所述距离确定单元用于在所述模式确定单元执行操作之前,确定所述从终端与所述主终端的距离;
所述模式确定单元具体用于:
若所述从终端与所述主终端的距离大于距离门限,则确定所述从终端对所述多媒体数据的播放模式为非静音模式;
若所述从终端与所述主终端的距离小于或等于距离门限,则确定所述从终端对所述多媒体数据的播放模式为静音模式。
结合第四方面第一种可能的实现方式,在第二种可能的实现方式中,所述距离确定单元具体用于:
根据所述从终端的距离检测模块确定所述从终端与所述主终端的距离;
或,
根据无线保真wifi信号的信号强度确定所述从终端与所述主终端的距离;
或,
根据所述主终端接收或发送的声波信息确定所述从终端与所述主终端的距离。
结合第四方面,在第三种可能的实现方式中,
所述终端还包括:音频获取单元;
所述音频获取单元用于所述从终端获取外放音频信息,并根据所述主终端共享的多媒体数据确定所述外放音频信息为所述主终端对所述多媒体数据外放的音频;
所述模式确定单元具体用于:
若所述主终端外放的音频的音频强度大于音频门限,则确定所述从终端对所述多媒体数据的播放模式为静音模式;
若所述主终端外放的音频的音频强度小于或等于音频门限,则确定所述从终端对所述多媒体数据的播放模式为非静音模式。
在本发明实施例中,主终端与至少一个从终端建立共享多媒体数据的通信连接,主终端根据终端间的距离,和/或所述至少一个从终端中的一个或多个发送的请求消息,确定向每一个所述至少一个从终端发送的所述多媒体数据的类型,再根据所述多媒体数据的类型向每一个所述至少一个从终端发送相应类型的多媒体数据,使得在共享的多媒体数据播放的过程中,不必所有终端都播放音频,减少了终端间播放不同步时带来的干扰;并且,对应一些从终端,仅传输所述多媒体数据的图像,也节省了媒体传输的带宽资源,提高了媒体传输的效率。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1为本发明实施例中媒体传输方法的一个流程示意图;
图2为本发明实施例中媒体传输方法的另一个流程示意图;
图3为本发明实施例中媒体传输方法的另一个流程示意图;
图4为本发明实施例中媒体传输方法的另一个流程示意图;
图5为本发明实施例中媒体传输方法的另一个流程示意图;
图6为本发明实施例中媒体控制方法的另一个流程示意图;
图7为本发明实施例中媒体控制方法的另一个流程示意图;
图8为本发明实施例中媒体传输方法的一个场景示意图;
图9为本发明实施例中媒体传输方法的一个信令流程图;
图10为本发明实施例中媒体传输方法的另一个场景示意图;
图11为本发明实施例中媒体传输方法的另一个信令流程图;
图12为本发明实施例中终端的一个逻辑结构图;
图13为本发明实施例中终端的计算机结构示意图;
图14为本发明实施例中终端的另一个逻辑结构图。
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
本发明实施例中的终端,包括但不限于智能手机,个人电脑、平板,智能电视或可穿戴式设备等可以播放多媒体数据,并进行多媒体数据共享的设备。
本发明实施例中的多媒体数据,包括:视频数据,携带音频的图像数据,携带音频的文本数据(如,带音乐或带旁白的简报(Power point)文档)等。
本发明实施例中的图像,包括:图片,流媒体等,例如视频中的图片、FLASH动画、文档图像等。
本发明实施例中的图像数据为承载图像信号的数据流或数据包。
本发明实施例中的音频,包括:视频中的音频,图像中的音频或文本中的音频等。
本发明实施例中的音频数据为承载音频信号的数据流或数据包。
本发明实施例应用于多媒体数据共享传输的场景,其中,主终端为所述多媒体数据的发送终端,即所述多媒体数据的分享终端;从终端为所述多媒体数据的接收终端,即所述多媒体数据的被分享终端。可以理解的是,本发明实施例中对主终端与从终端限定,仅限于在多媒体数据共享的场景中相应终端所作为的角色,并不限定实际的硬件终端所具备物理功能。
请参阅图1,本发明实施例中媒体传输方法的一个实施例包括:
101、主终端与至少一个从终端建立共享多媒体数据的通信连接;
主终端与至少一个从终端建立共享多媒体数据的通信连接,该建立通信连接的过程可以包括,主终端与从终端相互发现的过程,以及业务发现的过程;示例性的,可以为:
主终端在开启无线共享的功能后,可以作为一个接入点与从终端建立通信连接;可选的,可以由主终端通过探测帧监测从终端,若从终端返回该探测帧的响应之后,主终端与从终端就可以交换对端的设备信息,完成通信连接的建立;可选的,也可以由从终端发送探测帧扫描附近的接入点,当主终端在特定频道监听到从终端发送的探测帧之后,主终端返回该探测帧的响应,主终端与从终端就可以交换对端的设备信息;在终端发现的过程中,还将进一步交换设备名称,组证书,个人识别号(PIN,personal identification number),频道信息,接口地址等信息。
成功完成终端发现后,主终端和从终端交换服务列表等信息,完成业务发现过程,在业务发现之后,主终端与从终端建立所述通信连接。
在实际应用中,当至少两个用户在餐厅,会议室,客厅等场所有多媒体数据共享的需求时,需要分享多媒体数据的用户通过点击等方式操作主终端,开启无线共享的功能,接受多媒体数据分享的用户操作从终端,与主终端相互进行设备发现,并建立通信连接。
102、主终端根据终端间的距离,和/或所述至少一个从终端中的一个或多个发送的请求消息,确定向每一个所述至少一个从终端发送的所述多媒体数据的类型;
其中,所述多媒体数据的类型包括:图像和音频,以及仅图像。
可选的,类型为所述图像和音频的多媒体数据,包括图像数据和音频数据;类型为所述仅图像的多媒体数据,仅包括所述图像数据。
103、主终端根据所述多媒体数据的类型,通过所述通信连接分别向每一个所述至少一个从终端发送相应类型的多媒体数据。
在确定了向各个从终端发送的多媒体数据的类型之后,主终端可以根据所述多媒体数据的类型,通过所述通信连接分别向每一个所述至少一个从终端发送相应类型的多媒体数据,使得在多媒体播放的过程中,有些从终端可以不播放音频,从而减少了不同终端间播放不同步的干扰。
在本发明实施例中,主终端与从终端建立共享多媒体数据的通信连接,主终端根据终端间的距离,和/或所述至少一个从终端中的一个或多个发送的请求消息,确定向每一个所述至少一个从终端发送的所述多媒体数据的类型,再根据所述多媒体数据的类型向每一个所述至少一个从终端发送相应类型的多媒体数据,使得在共享的多媒体数据播放的过程中,不必所有终端都播放音频,减少了终端间播放不同步时带来的干扰;并且,对应一些从终端,仅传输所述多媒体数据的图像,也节省了媒体传输的带宽资源,提高了媒体传输的效率。
在本发明实施例中,终端间的距离可以是主终端与从终端之间的距离,也可以是从终端与从终端之间的距离,为了便于实现,主终端可以仅根据主终端与从终端之间的距离确定向从终端发送的所述多媒体数据的类型,请参阅图2,本发明实施例中媒体传输方法的另一个实施例包括:
201、主终端与至少一个从终端建立共享多媒体数据的通信连接;
主终端与至少一个从终端建立共享多媒体数据的通信连接,该建立通信连接的过程可以包括,主终端与从终端相互发现的过程,以及业务发现的过程。
202、主终端确定所述主终端与每一个所述至少一个从终端的距离;
可选的,主终端可以通过所述主终端的距离检测模块检测所述主终端与每一个所述至少一个从终端的距离。具体的,主终端的距离检测模块可以包括:磁力传感器,陀螺仪,方向传感器,加速度传感器,摄像头,包括深度摄像头(depth camera),近场通信(NFC,NearField Communication)装置,蓝牙传输装置,红外传感器,多天线阵列,多蓝牙天线阵列,多麦克风阵列等。多阵列指的是多路信号获取。
可选的,主终端可以根据wifi信号的信号强度确定所述主终端与每一个所述至少一个从终端的距离;具体的,主终端可以检测接收到的从终端发出的wifi信号的信号强度,根据信号强度与传输距离成正比的关系,获知主终端与从终端之间的距离。
可选的,主终端可以根据所述主终端接收或发送的声波信息确定所述主终端与每一个所述至少一个从终端的距离。具体的,所述声波信息可以为特定频率的声波或超声波,也可以为终端外放的音频。以特定频率的声波为例,由从终端向主终端发出声波,该声波中可以携带时间戳,主终端接收该声波后,获取接收该声波时的时间戳,计算出时间戳差值后,根据声波的传输速率和该时间差值,得出距离。
所述主终端获取第二从终端提供的第一距离信息,所述第一距离信息为所述第二从终端测量的所述主终端与所述第二从终端的距离。所述第二从终端表示提供距离信息的从终端;其中,“第二”仅用于指代特定终端,与“第一”之间没有任何的顺序或大小关系。具体的,从终端可以通过上述的测距方法对所述主终端与所述第二从终端的距离进行计算。
可选的,为了测距的精确性,可以基于以上任意组合来确定终端间的距离,例如基于方向传感器和wifi信号强度来计算出终端间的距离。
203、主终端根据终端间的距离确定向每一个所述至少一个从终端发送的所述多媒体数据的类型;
主终端根据所述主终端与每一个所述至少一个从终端的距离,确定向距离所述主终端最近的从终端发送的多媒体数据的类型为图像和音频,确定向距离所述主终端最近的从终端之外的其它至少一个从终端发送的多媒体数据的类型为仅图像。
在本发明实施例中,可以确定距离所述主终端最近的从终端为音频播放终端,将其他从终端确定非音频播放终端。其中,主终端可以作为音频播放终端,也可以作为非音频播放终端,具体根据实际情况而定。为了彻底的排除干扰,在一片区域内,可以仅设置一个音频播放终端,这样就不会出现音频播放不同步的情况出现。
可选的,若主终端处于所有终端中靠近边缘的位置,则可以选择在所有终端组成的区域中靠近中心点的终端作为音频播放终端,这样可以兼顾各个终端的收听效果。
所述音频播放终端为在多媒体数据共享中进行音频外放的设备,所述非音频播放终端为在多媒体数据共享中不进行音频外放的设备。可以理解的是,音频播放终端和非音频播放终端的限定,仅限于在多媒体数据共享场景中相应终端所作为的角色,并不限定实际的硬件终端所具备物理功能。
204、主终端根据所述多媒体数据的类型,通过所述通信连接分别向每一个所述至少一个从终端发送相应类型的多媒体数据。
在确定了向各个从终端发送的多媒体数据的类型之后,主终端根据所述多媒体数据的类型,通过所述通信连接分别向每一个所述至少一个从终端发送相应类型的多媒体数据,使得在音视频播放的过程中,有些从终端可以不播放音频,从而减少了不同终端间播放不同步的干扰。
在实际应用中,为了便于分享和交流,被分享者会靠近或者围着分享者,这个时候,综合收听效果以及节省带宽等因素的考虑,由主终端作为音频播放终端较为方便,请参阅图3,本发明实施例中媒体传输方法的另一个实施例包括:
301、主终端与至少一个从终端建立共享多媒体数据的通信连接;
主终端与至少一个从终端建立共享多媒体数据的通信连接,该建立通信连接的过程可以包括,主终端与从终端相互发现的过程,以及业务发现的过程。
302、主终端确定所述主终端与每一个所述至少一个从终端的距离;
具体的,确定距离的方法可以参阅步骤202的内容,此处不再赘述。
303、主终端确定向靠近所述主终端的从终端发送的多媒体数据的类型为仅图像,向远离所述主终端的从终端发送的多媒体数据的类型为图像和音频;
主终端根据所述主终端与每一个所述至少一个从终端的距离,以及第一距离门限进行对比判断,若所述至少一个从终端与所述主终端的距离小于或等于第一距离门限,则确定向所述至少一个从终端发送的多媒体数据的类型为仅图像;若所述至少一个从终端与所述主终端的距离大于所述第一距离门限,则确定向所述至少一个从终端发送的多媒体数据的类型为图像和音频。
所述第一距离门限为实际应用中根据音量以及收听效果确定的一个经验值,此处具体不作限定。同理,在以下的实施例中还会出现第二距离门限,该第二距离门限也是根据音量以及收听效果确定的一个经验值。“第一”和“第二”的区分仅用于表示它们是在两个方法中使用的距离门限,在实际应用中,物理值可以一样,也可以不一样。
304、主终端根据所述多媒体数据的类型,通过所述通信连接分别向每一个所述至少一个从终端发送相应类型的多媒体数据。
在确定了向各个从终端发送的多媒体数据的类型之后,主终端根据所述多媒体数据的类型,通过所述通信连接分别向每一个所述至少一个从终端发送相应类型的多媒体数据,使得在音视频播放的过程中,有些从终端可以不播放音频,从而减少了不同终端间播放不同步的干扰。
可选的,在实际应用中,还可能出现在共享的过程中,从终端发生移动的情况,此时可以有两种处理方式:
一、从终端主动告知;
所述主终端接收第一从终端发送的第一请求消息,所述第一请求消息用于请求所述主终端向所述至少一个从终端发送多媒体数据的类型为图像和音频;所述第一从终端表示将要发生位置移动的终端。在从终端将要离开当前位置时,用户可以操作从终端,向主终端发送的第一请求消息,重新请求发送多媒体数据的类型。
所述主终端根据所述第一请求消息确定向所述第一从终端发送的多媒体数据的类型为图像和音频;
所述主终端通过所述通信连接向所述第一从终端发送类型为图像和音频的多媒体数据。主终端在重新确定向第一从终端发送的多媒体数据的类型之后,重新与第一从终端进行协商,重新进行多媒体数据的发送。
二、主终端重新确定与从终端的距离;
在本发明实施例中,主终端可以每隔预置时长确定所述主终端与每一个所述至少一个从终端的距离,重新确定向从终端发送的多媒体数据的类型;
若确定所述主终端与第一从终端的距离大于第一距离门限,则确定向所述第一从终端发送的多媒体数据的类型为图像和音频;
所述主终端通过所述通信连接向所述第一从终端发送类型为图像和音频的多媒体数据。
在实际应用中,若共享的终端多,且各个终端分布的范围广,则需要考虑各个终端所处的区域,为选择位置合适的从终端作为音频播放终端,请参阅图4,本发明实施例中媒体传输方法的另一个实施例包括:
401、主终端与至少一个从终端建立共享多媒体数据的通信连接;
主终端与至少一个从终端建立共享多媒体数据的通信连接,该建立通信连接的过程可以包括,主终端与从终端相互发现的过程,以及业务发现的过程。
402、主终端确定所述终端间的距离;
在本发明实施例中,终端间的距离包括,所有终端中任意两个终端之间的距离。具体的,主终端确定终端间的距离指的是,主终端确定所有终端的位置以及整体分布。
可选的,主终端可以根据所述主终端的距离检测模块确定所述终端间的距离。具体的,主终端的距离检测模块可以包括:磁力传感器,陀螺仪,方向传感器,加速度传感器,摄像头,包括深度摄像头(depth camera),近场通信(NFC,Near Field Communication)装置,蓝牙传输装置,红外传感器,多天线阵列,多蓝牙天线阵列,多麦克风阵列等。
可选的,主终端可以根据wifi信号的信号强度确定所述终端间的距离;具体的,主终端可以检测接收到的从终端发出的wifi信号的信号强度,根据信号强度与传输距离成正比的关系,获知主终端与从终端之间的距离。
可选的,主终端可以根据所述主终端接收或发送的声波信息确定所述终端间的距离。具体的,所述声波信息可以为特定频率的声波或超声波,也可以为终端外放的音频。以特定频率的声波为例,由从终端向主终端发出声波,该声波中可以携带时间戳,主终端接收该声波后,获取接收该声波时的时间戳,计算出时间戳差值后,根据声波的传输速率和该时间差值,得出距离。
进一步的,所述主终端还获取第二从终端提供的第二距离信息,所述第二距离信息为测量的所述主终端与所述第二从终端的距离,以及所述第二从终端与其它从终端的距离。以便于主终端获知终端全局的位置信息。
可选的,为了测距的精确性,可以基于以上任意组合来确定终端间的距离,例如基于方向传感器和wifi信号强度来计算出终端间的距离。
403、主终端根据所述终端间的距离以及第二距离门限对每个所述终端进行音频播放区域的划分,并确定音频播放终端;
具体的,主终端根据所述终端间的距离,以及第二距离门限对所述终端进行音频播放区域的划分,所述音频播放区域为中心点到任一边缘点的距离小于所述第二距离门限的区域;其中,所述第二距离门限为一个预设值,用于表示两点之间声音传输的一段距离;在实际应用中,该第二距离门限为根据音量以及播放环境设定的一个经验值,人耳在该第二距离门限的一端能够清楚听到另一端发出的声音。
将靠近所述音频播放区域的中心点的一个所述终端确定为音频播放终端,将属于同一个所述音频播放区域内,除所述音频播放终端之外的所有终端确定为非音频播放终端。
在实际应用中,若只考虑距离的因素,则可以以所述中心点为圆心,以一个预设值(该预设值小于所述第二距离门限)为半径确定一个中心区域,在所述中心区域内的终端可以确定为“靠近所述音频播放区域的中心点的终端”,主终端可以在所述中心区域内的终端中随机选择一个作为音频播放终端,也可以在所述中心区域内的终端中选择一个最接近所述中心点的的终端作为音频播放终端。
进一步的,若所述中心区域内的终端包括有所述主终端,则可以优先选择所述主终端作为音频播放终端。在实际应用中,由于主终端本身就带有所述多媒体数据的音频媒体,因此,选择所述主终端作为音频播放终端可以进一步的节省带宽资源。
进一步的,若所述中心区域内的一个终端与所述音频播放区域的多数终端离得比较近,则选择该终端作为音频播放终端。在实际应用中,为了兼顾多数用户的收听质量,可以选择与多数终端离得比较近的终端作为音频播放终端。
在本发明实施例中,在一个音频播放区域内确定为一个音频播放区域,且每个音频播放区域之间间隔一段预设的距离,使得在一个音频播放区域内只有一个终端进行音频播放,从而避免了两个终端因音频播放不同步而造成的声音干扰。
404、主终端确定向从终端发送的所述多媒体数据的类型;
可选的,若没有收到从终端发送的请求消息,则确定向作为所述音频播放终端的从终端发送的多媒体数据的类型为图像和音频,确定向作为所述非音频播放终端的从终端发送的多媒体数据的类型为仅图像。
可选的,在确定向从终端发送的所述多媒体数据的类型之前,主终端收到从终端发送的请求消息,则结合请求消息的类型确定向从终端发送的所述多媒体数据的类型,具体的:
所述请求消息包括:第一请求消息或第二请求消息,所述第一请求消息用于请求所述主终端向发送所述第一请求消息的从终端发送多媒体数据的类型为图像和音频,所述第二请求消息用于请求所述主终端向发送所述第二请求消息的从终端发送多媒体数据的类型为图像。
若确定所述至少一个从终端为所述非音频播放终端(即,所述至少一个从终端靠近所述音频播放区域的中心点),且所述至少一个从终端未发送所述请求消息,则确定向所述至少一个从终端发送的多媒体数据的类型为仅图像;
若确定所述至少一个从终端为所述音频播放终端(即,所述至少一个从终端远离所述音频播放区域的中心点),且所述至少一个从终端未发送所述请求消息,则确定向所述至少一个从终端发送的多媒体数据的类型为图像和音频;
若所述主终端接收到所述至少一个从终端发送的所述第一请求消息,则确定向所述至少一个从终端发送的多媒体数据的类型为图像和音频;
若所述主终端接收到所述至少一个从终端发送的所述第二请求消息,则确定向所述至少一个从终端发送的多媒体数据的类型为仅图像。
可以理解的是,在实际应用中,还可以结合“所述主终端与每一个所述至少一个从终端的距离”与“所述至少一个从终端中的一个或多个发送的请求消息”,确定向从终端发送的所述多媒体数据的类型,具体的优先级设定方式,可以根据实际用途确定,此处具体不作限定。
405、主终端根据所述多媒体数据的类型,通过所述通信连接分别向每一个所述至少一个从终端发送相应类型的多媒体数据。
在确定了向各个从终端发送的多媒体数据的类型之后,主终端根据所述多媒体数据的类型,通过所述通信连接分别向每一个所述至少一个从终端发送相应类型的多媒体数据,使得在音视频播放的过程中,有些从终端可以不播放音频,从而减少了不同终端间播放不同步的干扰。
在实际应用中,主终端还可以仅根据从终端发送的请求消息,确定向从终端发送的所述多媒体数据的类型,请参阅图5,本发明实施例中媒体传输方法的一个实施例包括:
501、主终端与至少一个从终端建立共享多媒体数据的通信连接;
主终端与至少一个从终端建立共享多媒体数据的通信连接,该建立通信连接的过程可以包括,主终端与从终端相互发现的过程,以及业务发现的过程;示例性的,具体可以为:
主终端在开启无线共享的功能后,可以作为一个接入点与从终端建立通信连接;可选的,可以由主终端通过探测帧监测从终端,若从终端返回该探测帧的响应之后,主终端与从终端就可以交换对端的设备信息,完成通信连接的建立;可选的,也可以由从终端发送探测帧扫描附近的接入点,当主终端在特定频道监听到从终端发送的探测帧之后,主终端返回该探测帧的响应,主终端与从终端就可以交换对端的设备信息;在终端发现的过程中,还将进一步交换设备名称,组证书,PIN,频道信息,接口地址等信息。
成功完成终端发现后,主终端和从终端交换服务列表等信息,完成业务发现过程,在业务发现之后,主终端与从终端建立通信连接。
502、主终端接收从终端发送的请求消息;
主终端接收从终端发送的请求消息,所述请求消息包括:第一请求消息或第二请求消息,所述第一请求消息用于请求所述主终端向发送所述第一请求消息的从终端发送多媒体数据的类型为图像和音频,所述第二请求消息用于请求所述主终端向发送所述第二请求消息的从终端发送多媒体数据的类型为仅图像;
503、主终端根据所述至少一个从终端发送的请求消息,确定向每一个所述至少一个从终端发送的所述多媒体数据的类型;
所述主终端根据所述第一请求消息确定向发送所述第一请求消息的从终端发送的多媒体数据的类型为图像和音频,根据所述第二请求消息确定向发送所述第二请求消息的从终端发送的多媒体数据的类型为仅图像,并确定向未发送所述第一请求消息或所述第二请求消息的从终端发送的多媒体数据的类型为图像和音频,或仅图像。
504、主终端根据所述多媒体数据的类型,通过所述通信连接分别向每一个所述至少一个从终端发送相应类型的多媒体数据。
在确定了向各个从终端发送的多媒体数据的类型之后,主终端根据所述多媒体数据的类型,通过所述通信连接分别向每一个所述至少一个从终端发送相应类型的多媒体数据,使得在音视频播放的过程中,有些从终端可以不播放音频,从而减少了不同终端间播放不同步的干扰。
在实际应用中,主终端可以向从终端都发送类型为图像和音频的多媒体数据,由从终端决定是否播放该多媒体数据的音频,具体的,主终端可以与多个从终端共享同一个多媒体数据,所述多个从终端中的至少一个从终端执行以下方法,请参阅图6,本发明实施例中媒体控制方法的一个实施例包括:
601、从终端接收所述主终端发送的所述多媒体数据;
主终端与从终端建立共享多媒体数据的通信连接,该建立通信连接的过程可以包括,主终端与从终端相互发现的过程,以及业务发现的过程;示例性的,具体可以为:
主终端在开启无线共享的功能后,可以作为一个接入点与从终端建立通信连接;可选的,可以由主终端通过探测帧监测从终端,若从终端返回该探测帧的响应之后,主终端与从终端就可以交换对端的设备信息,完成通信连接的建立;可选的,也可以由从终端发送探测帧扫描附近的接入点,当主终端在特定频道监听到从终端发送的探测帧之后,主终端返回该探测帧的响应,主终端与从终端就可以交换对端的设备信息;在终端发现的过程中,还将进一步交换设备名称,组证书,PIN,频道信息,接口地址等信息。
在主终端与从终端完成通信连接之后,从终端根据所述通信连接接收所述主终端发送的所述多媒体数据。
602、从终端确定所述从终端与所述主终端的距离;
可选的,从终端根据所述从终端的距离检测模块确定所述从终端与所述主终端的距离。具体的,从终端的距离检测模块可以包括:磁力传感器,陀螺仪,方向传感器,加速度传感器,摄像头,包括深度摄像头(depth camera),近场通信(NFC,Near FieldCommunication)装置,蓝牙传输装置,红外传感器,多天线阵列,多蓝牙天线阵列,多麦克风阵列等。多阵列指的是多路信号获取。
可选的,从终端根据无线保真wifi信号的信号强度确定所述从终端与所述主终端的距离;具体的,从终端可以检测接收到的主终端发出的wifi信号的信号强度,根据信号强度与传输距离成正比的关系,获知主终端与从终端之间的距离。
可选的,从终端根据所述主终端接收或发送的声波信息确定所述从终端与所述主终端的距离。具体的,所述声波信息可以为特定频率的声波或超声波,也可以为终端外放的音频。以特定频率的声波为例,由从终端向主终端发出声波,该声波中可以携带时间戳,主终端接收该声波后,获取接收该声波时的时间戳,计算出时间戳差值后,根据声波的传输速率和该时间差值,得出距离。
可选的,为了测距的精确性,可以基于以上任意组合来确定终端间的距离,例如基于方向传感器和wifi信号强度来计算出终端间的距离。
603、从终端根据所述从终端与所述主终端的距离确定所述从终端对所述多媒体数据的播放模式;
从终端根据所述从终端与所述主终端的距离确定所述从终端对所述多媒体数据的播放模式;其中,所述多媒体数据的播放模式:静音模式和非静音模式。
具体的,若所述从终端与所述主终端的距离大于距离门限,则确定所述从终端对所述多媒体数据的播放模式为非静音模式;
若所述从终端与所述主终端的距离小于或等于距离门限,则确定所述从终端对所述多媒体数据的播放模式为静音模式。
进一步的,在非静音模式中,从终端还可以根据与主终端的距离,线性调整播放的音量,例如距离越近音量越低,距离越远音量随之变大。
604、从终端根据所述多媒体数据的播放模式对所述多媒体数据进行播放。
在本发明实施例中,当从终端与主终端离得近时,对所述多媒体数据可以选择静音播放,在节省终端电源的同时,也降低了多终端音频之间相互干扰的可能。
请参阅图7,本发明实施例中媒体控制方法的一个实施例包括:
701、从终端接收所述主终端发送的所述多媒体数据;
与步骤601相似,此处不再赘述。
702、从终端获取主终端外放的音频;
从终端获取外放音频信息,并根据所述主终端共享的多媒体数据确定所述外放音频信息为所述主终端对所述多媒体数据外放的音频。
具体的,从终端可以通过麦克风接收其它终端外放的音频,并对所述音频进行分析,当确定所述音频为所述主终端对所述多媒体数据外放的音频时,则执行步骤703;当确定所述音频不是所述主终端对所述多媒体数据外放的音频时,则继续通过麦克风获取音频。
703、从终端根据所述主终端外放的音频确定所述从终端对所述多媒体数据的播放模式;
从终端根据所述主终端外放的音频确定所述从终端对所述多媒体数据的播放模式。其中,所述多媒体数据的播放模式:静音模式和非静音模式。
具体的,若所述主终端外放的音频的音频强度大于音频门限,则确定所述从终端对所述多媒体数据的播放模式为静音模式;
若所述主终端外放的音频的音频强度小于或等于音频门限,则确定所述从终端对所述多媒体数据的播放模式为非静音模式。
704、从终端根据所述多媒体数据的播放模式对所述多媒体数据进行播放。
在本发明实施例中,当通过对从终端对主终端播放音频的音频强度进行检测,获知从终端与主终端离得近时,对所述多媒体数据可以选择静音播放,在节省终端电源的同时,也降低了多终端音频之间相互干扰的可能。
为了便于理解,下面以两个具体应用场景对本发明实施例中的媒体传输方法进行描述,
一、在实际应用中,如在聚餐或会议室开会时,各个终端用户都聚集在一个小范围内,如图8所示,8001为主终端,8002为从终端,若其中一个终端用户(主终端)想要分享多媒体数据,则可以由主终端作为音频播放终端,并且由主终端确定其它所有非音频播放终端和音频播放终端;信令流程图请参阅图9:
901、主终端与从终端建立通信连接;
902、主终端确定与从终端的距离;
可选的,主终端可以根据所述主终端的距离检测模块检测所述主终端与每一个所述至少一个从终端的距离。具体的,主终端的距离检测模块可以包括:磁力传感器,陀螺仪,方向传感器,加速度传感器,摄像头,包括深度摄像头(depth camera),近场通信(NFC,NearField Communication)装置,蓝牙传输装置,红外传感器,多天线阵列,多蓝牙天线阵列,多麦克风阵列等。多阵列指的是多路信号获取。
可选的,主终端可以根据wifi信号的信号强度确定所述主终端与每一个所述至少一个从终端的距离;具体的,主终端可以检测接收到的从终端发出的wifi信号的信号强度,根据信号强度与传输距离成正比的关系,获知主终端与从终端之间的距离。
可选的,主终端可以根据所述主终端接收或发送的声波信息确定所述主终端与每一个所述至少一个从终端的距离。具体的,所述声波信息可以为特定频率的声波或超声波,也可以为终端外放的音频。以特定频率的声波为例,由从终端向主终端发出声波,该声波中可以携带时间戳,主终端接收该声波后,获取接收该声波时的时间戳,计算出时间戳差值后,根据声波的传输速率和该时间差值,得出距离。
所述主终端获取第二从终端提供的第一距离信息,所述第一距离信息为所述第二从终端测量的所述主终端与所述第二从终端的距离。所述第二从终端表示提供距离信息的从终端;其中,“第二”仅用于指代特定终端,与“第一”之间没有任何的顺序或大小关系。具体的,从终端可以通过上述的测距方法对所述主终端与所述第二从终端的距离进行计算。
可选的,为了测距的精确性,可以基于以上任意组合来确定终端间的距离,例如基于方向传感器和wifi信号强度来计算出终端间的距离。
903、主终端根据终端间的距离确定向每一个所述至少一个从终端发送的所述多媒体数据的类型;
具体的,主终端根据所述主终端与每一个所述至少一个从终端的距离,以及第一距离门限进行对比判断,若所述至少一个从终端与所述主终端的距离小于或等于第一距离门限,则确定向所述至少一个从终端发送的多媒体数据的类型为仅图像;若所述至少一个从终端与所述主终端的距离大于所述第一距离门限,则确定向所述至少一个从终端发送的多媒体数据的类型为图像和音频。
904、主终端与从终端进行媒体传输协商;
若主终端向从终端传输所述多媒体数据的类型为图像和音频媒体,则可以根据现有技术中的流程进行协商。
若主终端向从终端传输所述多媒体数据的类型为仅图像,则可以选择以下任意一种方式进行协商:
1、在所述主终端与所述至少一个从终端进行媒体传输协商时,所述主终端向所述至少一个从终端发送SDP消息,所述SDP消息中的媒体行信息中发送音频媒体的端口设置为零;即主终端不设置音频媒体的发送端口。例如:m=audio 0RTP/AVP 0。
2、在所述主终端与所述至少一个从终端进行媒体传输协商时,所述至少一个从终端向所述主终端发送SDP消息,所述SDP消息中的媒体行信息中接收音频媒体的端口设置为零;即从终端不设置音频媒体的接收端口。例如:m=audio 0RTP/AVP 0。
3、在所述主终端与所述至少一个从终端进行媒体传输协商时,所述至少一个从终端向所述主终端发送SDP消息,所述SDP消息中的媒体行信息中接收音频媒体的端口的功能设置为只允许发送;即从终端禁止音频媒体端口的接收功能。例如:m=audio 49172RTP/AVP 98a=sendonly。
905、主终端根据所述多媒体数据的类型向从终端传输所述多媒体数据。
可选的,若在媒体传输协商时没有对所述多媒体数据的传输内容进行控制,则可以在所述主终端向所述至少一个从终端传输多媒体数据之前或发送多媒体数据过程中,主终端向所述至少一个从终端发送停止信令消息,或主终端接收所述至少一个从终端发送的暂停信令消息,所述停止信令消息携带音频媒体的媒体行标识,所述停止信令消息用于停止对所述音频媒体进行传输。
可选的,在实际应用中,若聚餐期间有从终端离席,且所述至少一个从终端需要继续进行共享;则所述主终端会对所述终端间的距离进行更新检测,即再次执行所述步骤902以及步骤903,当在确定离席的从终端为音频播放终端之后,所述主终端与所述离席的从终端再次进行媒体传输协商,在协商完后,所述主终端与所述离席的从终端传输所述多媒体数据的图像和音频媒体。
二、在实际应用中,在一种会议场景,如图10所示,10001为主终端,10002为从终端,主终端处于讲台的位置,与多数从终端都离得比较远,则此时主终端不适宜作为音频播放终端,或者不适宜作为唯一的音频播放终端(即要确定多个音频播放区域),需要在从终端之中确定音频播放终端;信令流程图请参阅图11:
1101、主终端与从终端建立通信连接;
1102、主终端确定终端间的距离;
在本发明实施例中,终端间的距离包括主终端与从终端之间的距离,以及从终端与从终端之间的距离。具体的,主终端确定终端间的距离指的是,主终端确定所有终端的位置以及整体分布。
可选的,主终端可以根据所述主终端的距离检测模块确定所述终端间的距离。具体的,主终端的距离检测模块可以包括:磁力传感器,陀螺仪,方向传感器,加速度传感器,摄像头,包括深度摄像头(depth camera),近场通信(NFC,Near Field Communication)装置,蓝牙传输装置,红外传感器,多天线阵列,多蓝牙天线阵列,多麦克风阵列等。
可选的,主终端可以根据wifi信号的信号强度确定所述终端间的距离;具体的,主终端可以检测接收到的从终端发出的wifi信号的信号强度,根据信号强度与传输距离成正比的关系,获知主终端与从终端之间的距离。
可选的,主终端可以根据所述主终端接收或发送的声波信息确定所述终端间的距离。具体的,所述声波信息可以为特定频率的声波或超声波,也可以为终端外放的音频。以特定频率的声波为例,由从终端向主终端发出声波,该声波中可以携带时间戳,主终端接收该声波后,获取接收该声波时的时间戳,计算出时间戳差值后,根据声波的传输速率和该时间差值,得出距离。
进一步的,所述主终端还获取第二从终端提供的第二距离信息,所述第二距离信息为测量的所述主终端与所述第二从终端的距离,以及所述第二从终端与其它从终端的距离。以便于主终端获知终端全局的位置信息。
可选的,为了测距的精确性,可以基于以上任意组合来确定终端间的距离,例如基于方向传感器和wifi信号强度来计算出终端间的距离。
1103、可选的,从终端向主终端发送请求消息;
具体的,从终端向主终端发送请求消息所述请求消息用于请求所述主终端将所述至少一个从终端设置为非音频播放终端。
在实际应用中,从终端可以根据终端自身的能力(如,音频播放的音量不足,音响设备并非最优终端),主动向主终端请求作为非音频播放终端。可选的,若从终端所处的环境比较特殊,用户不容易听到音频播放设备播放的声音,或用户佩戴有耳机,不互相影响时,也可以主动向主终端请求作为音频播放终端。
1104、主终端根据终端间的距离确定向每一个所述至少一个从终端发送的所述多媒体数据的类型;
可选的,若没有收到从终端发送的请求消息,则确定向作为所述音频播放终端的从终端发送的多媒体数据的类型为图像和音频,确定向作为所述非音频播放终端的从终端发送的多媒体数据的类型为仅图像。
可选的,在确定向从终端发送的所述多媒体数据的类型之前,主终端收到从终端发送的请求消息,则结合请求消息的类型确定向从终端发送的所述多媒体数据的类型,具体的:
所述请求消息包括:第一请求消息或第二请求消息,所述第一请求消息用于请求所述主终端向所述至少一个从终端发送多媒体数据的类型为图像和音频,所述第二请求消息用于请求所述主终端向所述至少一个从终端发送多媒体数据的类型为图像。
若确定所述至少一个从终端为所述非音频播放终端,且所述至少一个从终端未发送所述请求消息,则确定向所述至少一个从终端发送的多媒体数据的类型为仅图像;
若确定所述至少一个从终端为所述音频播放终端,且所述至少一个从终端未发送所述请求消息,则确定向所述至少一个从终端发送的多媒体数据的类型为图像和音频;
若所述主终端接收到所述至少一个从终端发送的所述第一请求消息,则确定向所述至少一个从终端发送的多媒体数据的类型为图像和音频;
若所述主终端接收到所述至少一个从终端发送的所述第二请求消息,则确定向所述至少一个从终端发送的多媒体数据的类型为仅图像。
1105、主终端与从终端进行媒体传输协商;
步骤1105的内容与步骤904的内容相似,此处不再赘述。
1106、主终端向从终端传输多媒体数据。
步骤1106的内容与步骤905的内容相似,此处不再赘述。
下面对本发明实施例中执行所述媒体传输方法的媒体传输终端进行描述,请参阅图12,本发明实施例中的终端作为主终端,用于向至少一个从终端共享多媒体数据,本发明实施例中终端的一个实施例包括:
通信连接单元1210,用于与所述至少一个从终端建立共享多媒体数据的近场无线通信连接;
类型确定单元1220,用于根据终端间的距离,和/或所述至少一个从终端中的一个或多个发送的请求消息,确定向每一个所述至少一个从终端发送的所述多媒体数据的类型;
发送单元1230,用于根据所述多媒体数据的类型,通过所述通信连接分别向每一个所述至少一个从终端发送相应类型的多媒体数据;其中,所述多媒体数据的类型包括:图像和音频,以及仅图像。
可选的,类型为所述图像和音频的多媒体数据,包括图像数据和音频数据;类型为所述仅图像的多媒体数据,仅包括所述图像数据。
进一步的,所述终端还包括:第一测距单元1240;
所述第一测距单元1240,用于在所述类型确定单元执行操作之前,确定所述主终端与每一个所述至少一个从终端的距离;
所述类型确定单元1220包括:第一确定模块1221;
所述第一确定模块1221,用于在所述第一测距单元执行操作之后,根据所述主终端与每一个所述至少一个从终端的距离,确定向距离所述主终端最近的从终端发送的多媒体数据的类型为图像和音频,确定向距离所述主终端最近的从终端之外的其它从终端发送的多媒体数据的类型为仅图像。
进一步的,所述主终端为音频播放终端,所述终端还包括:第一测距单元1240;
所述第一测距单元1240,用于在所述类型确定单元执行操作之前,确定所述主终端与每一个所述至少一个从终端的距离;
所述类型确定单元1220包括:第二确定模块1222;
所述第二确定模块1222,用于在所述第一测距单元执行操作之后,若所述至少一个从终端与所述主终端的距离小于或等于第一距离门限,则确定向所述至少一个从终端发送的多媒体数据的类型为仅图像;若所述至少一个从终端与所述主终端的距离大于所述第一距离门限,则确定向所述至少一个从终端发送的多媒体数据的类型为图像和音频。
进一步的,所述终端还包括:第二测距单元1250;
所述第二测距单元1250,用于在所述类型确定单元执行操作之前,确定所述终端间的距离,所述终端间的距离包括所有终端中任意两个终端之间的距离;根据所述终端间的距离,以及第二距离门限对每个所述终端进行音频播放区域的划分,其中,所述音频播放区域为中心点到任一边缘点的距离小于所述距离门限的区域;
所述类型确定单元1220包括:第三确定模块1223;
所述第三确定模块1223,用于在所述第二测距单元1250执行操作之后,确定向靠近所述音频播放区域的中心点的从终端发送的多媒体数据的类型为图像和音频,确定向远离所述音频播放区域的中心点的从终端发送的多媒体数据的类型为仅图像。
进一步的,所述终端还包括:消息接收单元1260;
所述消息接收单元1260,用于在所述类型确定单元执行操作之前,接收所述至少一个从终端中的一个或多个发送的请求消息,所述请求消息包括:第一请求消息或第二请求消息,所述第一请求消息用于请求所述主终端向发送所述第一请求消息的从终端发送多媒体数据的类型为图像和音频,所述第二请求消息用于请求所述主终端向发送所述第二请求消息的从终端发送多媒体数据的类型为仅图像;
所述终端还包括:第二测距单元1250;
所述第二测距单元1250,用于在所述类型确定单元执行操作之前,确定所述终端间的距离,所述终端间的距离包括所有终端中任意两个终端之间的距离;根据所述终端间的距离,以及第二距离门限对每个所述终端进行音频播放区域的划分,其中,所述音频播放区域为中心点到任一边缘点的距离小于所述距离门限的区域;
所述类型确定单元1220包括:第四确定模块1224;
所述第四确定模块1224用于:在所述消息接收单元1260以及所述第二测距单元1250执行操作之后,
若确定所述至少一个从终端靠近所述音频播放区域的中心点,且所述至少一个从终端未发送所述请求消息,则确定向所述至少一个从终端发送的多媒体数据的类型为仅图像;
若确定所述至少一个从终端远离所述音频播放区域的中心点,且所述至少一个从终端未发送所述请求消息,则确定向所述至少一个从终端发送的多媒体数据的类型为图像和音频;
若所述主终端接收到所述至少一个从终端发送的所述第一请求消息,则确定向所述至少一个从终端发送的多媒体数据的类型为图像和音频;
若所述主终端接收到所述至少一个从终端发送的所述第二请求消息,则确定向所述至少一个从终端发送的多媒体数据的类型为仅图像。
进一步的,所述终端还包括:消息接收单元1260;
所述消息接收单元1260,用于在所述类型确定单元1220执行操作之前,接收所述至少一个从终端中的一个或多个发送的请求消息,所述请求消息包括:第一请求消息或第二请求消息,所述第一请求消息用于请求所述主终端向发送所述第一请求消息的从终端发送多媒体数据的类型为图像和音频,所述第二请求消息用于请求所述主终端向发送所述第二请求消息的从终端发送多媒体数据的类型为仅图像;
所述类型确定单元1220包括:第五确定模块1225;
所述第五确定模块1225用于:
在所述消息接收单元执行操作之后,根据所述第一请求消息确定向发送所述第一请求消息的从终端发送的多媒体数据的类型为图像和音频,根据所述第一请求消息确定向发送所述第二请求消息的从终端发送的多媒体数据的类型为仅图像,并确定向未发送所述第一请求消息或所述第二请求消息的从终端发送的多媒体数据的类型为图像和音频,或仅图像。
进一步的,所述消息接收单元1260还用于:在所述发送单元执行操作之后,接收第一从终端发送的第一请求消息,所述第一请求消息用于请求所述主终端向所述至少一个从终端发送多媒体数据的类型为图像和音频;
所述类型确定单元1220还用于:根据所述第一请求消息确定向所述第一从终端发送的多媒体数据的类型为图像和音频;
所述发送单元1230还用于:通过所述通信连接向所述第一从终端发送类型为图像和音频的多媒体数据。
具体的,所述第一测距单元1240具体用于:
根据所述主终端的距离检测模块检测所述主终端与每一个所述至少一个从终端的距离;
或,
根据无线保真wifi信号的信号强度确定所述主终端与每一个所述至少一个从终端的距离;
或,
根据所述主终端接收或发送的声波信息确定所述主终端与每一个所述至少一个从终端的距离;
或,
获取第二从终端提供的第一距离信息,所述第一距离信息为所述第二从终端测量的所述主终端与所述第二从终端的距离。
具体的,第二测距单元1250具体用于:
根据所述主终端的距离检测模块确定所述终端间的距离;
或,
根据无线保真wifi信号的信号强度确定所述终端间的距离;
或,
根据所述主终端接收或发送的声波信息确定所述终端间的距离;
或,
获取第二从终端提供的第二距离信息,所述第二距离信息为测量的所述主终端与所述第二从终端的距离,以及所述第二从终端与其它从终端的距离。
下面对本发明实施例中各个单元模块的操作流程进行详细的描述:
1)主终端仅根据主终端与从终端之间的距离确定向从终端发送的所述多媒体数据的类型:
通信连接单元1210与至少一个从终端建立共享多媒体数据的通信连接,该建立通信连接的过程可以包括,主终端与从终端相互发现的过程,以及业务发现的过程。
可选的,第一测距单元1240通过距离检测模块检测所述主终端与每一个所述至少一个从终端的距离。具体的,主终端的距离检测模块可以包括:磁力传感器,陀螺仪,方向传感器,加速度传感器,摄像头,包括深度摄像头(depth camera),近场通信(NFC,Near FieldCommunication)装置,蓝牙传输装置,红外传感器,多天线阵列,多蓝牙天线阵列,多麦克风阵列等。多阵列指的是多路信号获取。
可选的,第一测距单元1240可以根据wifi信号的信号强度确定所述主终端与每一个所述至少一个从终端的距离;具体的,主终端可以检测接收到的从终端发出的wifi信号的信号强度,根据信号强度与传输距离成正比的关系,获知主终端与从终端之间的距离。
可选的,第一测距单元1240可以根据所述主终端接收或发送的声波信息确定所述主终端与每一个所述至少一个从终端的距离。具体的,所述声波信息可以为特定频率的声波或超声波,也可以为终端外放的音频。以特定频率的声波为例,由从终端向主终端发出声波,该声波中可以携带时间戳,主终端接收该声波后,获取接收该声波时的时间戳,计算出时间戳差值后,根据声波的传输速率和该时间差值,得出距离。
可选的,第一测距单元1240可以获取第二从终端提供的第一距离信息,所述第一距离信息为所述第二从终端测量的所述主终端与所述第二从终端的距离。所述第二从终端表示提供距离信息的从终端;其中,“第二”仅用于指代特定终端,与“第一”之间没有任何的顺序或大小关系。具体的,从终端可以通过上述的测距方法对所述主终端与所述第二从终端的距离进行计算。
可选的,为了测距的精确性,可以基于以上任意组合来确定终端间的距离,例如基于方向传感器和wifi信号强度来计算出终端间的距离。
类型确定单元1220根据所述主终端与每一个所述至少一个从终端的距离,确定向距离所述主终端最近的从终端发送的多媒体数据的类型为图像和音频,确定向距离所述主终端最近的从终端之外的其它至少一个从终端发送的多媒体数据的类型为仅图像。
在本发明实施例中,可以确定距离所述主终端最近的从终端为音频播放终端,将其他从终端确定非音频播放终端。其中,主终端可以作为音频播放终端,也可以作为非音频播放终端,具体根据实际情况而定。为了彻底的排除干扰,在一片区域内,可以仅设置一个音频播放终端,这样就不会出现音频播放不同步的情况出现。
可选的,若主终端处于所有终端中靠近边缘的位置,则可以选择在所有终端组成的区域中靠近中心点的终端作为音频播放终端,这样可以兼顾各个终端的收听效果。
所述音频播放终端为在多媒体数据共享中进行音频外放的设备,所述非音频播放终端为在多媒体数据共享中不进行音频外放的设备。可以理解的是,音频播放终端和非音频播放终端的限定,仅限于在多媒体数据共享场景中相应终端所作为的角色,并不限定实际的硬件终端所具备物理功能。
在确定了向各个从终端发送的多媒体数据的类型之后,发送单元1230根据所述多媒体数据的类型,通过所述通信连接分别向每一个所述至少一个从终端发送相应类型的多媒体数据,使得在音视频播放的过程中,有些从终端可以不播放音频,从而减少了不同终端间播放不同步的干扰。
2)由主终端作为音频播放终端:
通信连接单元1210与至少一个从终端建立共享多媒体数据的通信连接,该建立通信连接的过程可以包括,主终端与从终端相互发现的过程,以及业务发现的过程。
第一测距单元1240的作用与实施例1)相同,此处不再赘述。
第二确定模块1222根据所述主终端与每一个所述至少一个从终端的距离,以及第一距离门限进行对比判断,若所述至少一个从终端与所述主终端的距离小于或等于第一距离门限,则确定向所述至少一个从终端发送的多媒体数据的类型为仅图像;若所述至少一个从终端与所述主终端的距离大于所述第一距离门限,则确定向所述至少一个从终端发送的多媒体数据的类型为图像和音频。
所述第一距离门限为实际应用中根据音量以及收听效果确定的一个经验值,此处具体不作限定。同理,在以下的实施例中还会出现第二距离门限,该第二距离门限也是根据音量以及收听效果确定的一个经验值。“第一”和“第二”的区分仅用于表示它们是在两个方法中使用的距离门限,在实际应用中,物理值可以一样,也可以不一样。
在确定了向各个从终端发送的多媒体数据的类型之后,发送单元1230根据所述多媒体数据的类型,通过所述通信连接分别向每一个所述至少一个从终端发送相应类型的多媒体数据,使得在音视频播放的过程中,有些从终端可以不播放音频,从而减少了不同终端间播放不同步的干扰。
可选的,在实际应用中,还可能出现在共享的过程中,从终端发生移动的情况,此时可以有两种处理方式:
从终端主动告知;
接收第一从终端发送的第一请求消息,所述第一请求消息用于请求所述主终端向所述至少一个从终端发送多媒体数据的类型为图像和音频;所述第一从终端表示将要发生位置移动的终端。在从终端将要离开当前位置时,用户可以操作从终端,向主终端发送的第一请求消息,重新请求发送多媒体数据的类型。根据所述第一请求消息确定向所述第一从终端发送的多媒体数据的类型为图像和音频;通过所述通信连接向所述第一从终端发送类型为图像和音频的多媒体数据。主终端在重新确定向第一从终端发送的多媒体数据的类型之后,重新与第一从终端进行协商,重新进行多媒体数据的发送。
主终端重新确定与从终端的距离;
在本发明实施例中,主终端可以每隔预置时长确定所述主终端与每一个所述至少一个从终端的距离,重新确定向从终端发送的多媒体数据的类型;
若确定所述主终端与第一从终端的距离大于第一距离门限,则确定向所述第一从终端发送的多媒体数据的类型为图像和音频;通过所述通信连接向所述第一从终端发送类型为图像和音频的多媒体数据。
3)考虑各个终端所处的区域,为选择位置合适的从终端作为音频播放终端:
通信连接单元1210与至少一个从终端建立共享多媒体数据的通信连接,该建立通信连接的过程可以包括,主终端与从终端相互发现的过程,以及业务发现的过程。
第二测距单元1250确定所述终端间的距离;在本发明实施例中,终端间的距离包括,所有终端中任意两个终端之间的距离。具体的,主终端确定终端间的距离指的是,主终端确定所有终端的位置以及整体分布。
可选的,可以根据所述主终端的距离检测模块确定所述终端间的距离。具体的,主终端的距离检测模块可以包括:磁力传感器,陀螺仪,方向传感器,加速度传感器,摄像头,包括深度摄像头(depth camera),近场通信(NFC,Near Field Communication)装置,蓝牙传输装置,红外传感器,多天线阵列,多蓝牙天线阵列,多麦克风阵列等。
可选的,可以根据wifi信号的信号强度确定所述终端间的距离;具体的,主终端可以检测接收到的从终端发出的wifi信号的信号强度,根据信号强度与传输距离成正比的关系,获知主终端与从终端之间的距离。
可选的,可以根据所述主终端接收或发送的声波信息确定所述终端间的距离。具体的,所述声波信息可以为特定频率的声波或超声波,也可以为终端外放的音频。以特定频率的声波为例,由从终端向主终端发出声波,该声波中可以携带时间戳,主终端接收该声波后,获取接收该声波时的时间戳,计算出时间戳差值后,根据声波的传输速率和该时间差值,得出距离。
第二测距单元1250根据所述终端间的距离,以及第二距离门限对所述终端进行音频播放区域的划分,所述音频播放区域为中心点到任一边缘点的距离小于所述第二距离门限的区域;其中,所述第二距离门限为一个预设值,用于表示两点之间声音传输的一段距离;在实际应用中,该第二距离门限为根据音量以及播放环境设定的一个经验值,人耳在该第二距离门限的一端能够清楚听到另一端发出的声音。将靠近所述音频播放区域的中心点的一个所述终端确定为音频播放终端,将属于同一个所述音频播放区域内,除所述音频播放终端之外的所有终端确定为非音频播放终端。
在实际应用中,若只考虑距离的因素,则可以以所述中心点为圆心,以一个预设值(该预设值小于所述第二距离门限)为半径确定一个中心区域,在所述中心区域内的终端可以确定为“靠近所述音频播放区域的中心点的终端”,主终端可以在所述中心区域内的终端中随机选择一个作为音频播放终端,也可以在所述中心区域内的终端中选择一个最接近所述中心点的的终端作为音频播放终端。
进一步的,若所述中心区域内的终端包括有所述主终端,则可以优先选择所述主终端作为音频播放终端。在实际应用中,由于主终端本身就带有所述多媒体数据的音频媒体,因此,选择所述主终端作为音频播放终端可以进一步的节省带宽资源。
进一步的,若所述中心区域内的一个终端与所述音频播放区域的多数终端离得比较近,则选择该终端作为音频播放终端。在实际应用中,为了兼顾多数用户的收听质量,可以选择与多数终端离得比较近的终端作为音频播放终端。
在本发明实施例中,在一个音频播放区域内确定为一个音频播放区域,且每个音频播放区域之间间隔一段预设的距离,使得在一个音频播放区域内只有一个终端进行音频播放,从而避免了两个终端因音频播放不同步而造成的声音干扰。
可选的,若消息接收单元1260没有收到从终端发送的请求消息,则第三确定模块1223确定向作为所述音频播放终端的从终端发送的多媒体数据的类型为图像和音频,确定向作为所述非音频播放终端的从终端发送的多媒体数据的类型为仅图像。
可选的,在确定向从终端发送的所述多媒体数据的类型之前,消息接收单元1260收到从终端发送的请求消息,则结合请求消息的类型确定向从终端发送的所述多媒体数据的类型,第四确定模块1224具体用于:
若确定所述至少一个从终端为所述非音频播放终端(即,所述至少一个从终端靠近所述音频播放区域的中心点),且所述至少一个从终端未发送所述请求消息,则确定向所述至少一个从终端发送的多媒体数据的类型为仅图像;
若确定所述至少一个从终端为所述音频播放终端(即,所述至少一个从终端远离所述音频播放区域的中心点),且所述至少一个从终端未发送所述请求消息,则确定向所述至少一个从终端发送的多媒体数据的类型为图像和音频;
若所述主终端接收到所述至少一个从终端发送的所述第一请求消息,则确定向所述至少一个从终端发送的多媒体数据的类型为图像和音频;
若所述主终端接收到所述至少一个从终端发送的所述第二请求消息,则确定向所述至少一个从终端发送的多媒体数据的类型为仅图像。
可以理解的是,在实际应用中,还可以结合“所述主终端与每一个所述至少一个从终端的距离”与“所述至少一个从终端中的一个或多个发送的请求消息”,确定向从终端发送的所述多媒体数据的类型,具体的优先级设定方式,可以根据实际用途确定,此处具体不作限定。
在确定了向各个从终端发送的多媒体数据的类型之后,发送单元1230根据所述多媒体数据的类型,通过所述通信连接分别向每一个所述至少一个从终端发送相应类型的多媒体数据,使得在音视频播放的过程中,有些从终端可以不播放音频,从而减少了不同终端间播放不同步的干扰。
4)主终端仅根据从终端发送的请求消息确定向从终端发送的所述多媒体数据的类型:
通信连接单元1210与至少一个从终端建立共享多媒体数据的通信连接,该建立通信连接的过程可以包括,主终端与从终端相互发现的过程,以及业务发现的过程。成功完成终端发现后,主终端和从终端交换服务列表等信息,完成业务发现过程,在业务发现之后,主终端与从终端建立通信连接。
消息接收单元1260接收从终端发送的请求消息;所述请求消息包括:第一请求消息或第二请求消息,所述第一请求消息用于请求所述主终端向发送所述第一请求消息的从终端发送多媒体数据的类型为图像和音频,所述第二请求消息用于请求所述主终端向发送所述第二请求消息的从终端发送多媒体数据的类型为仅图像;
第五确定模块1225根据所述第一请求消息确定向发送所述第一请求消息的从终端发送的多媒体数据的类型为图像和音频,根据所述第二请求消息确定向发送所述第二请求消息的从终端发送的多媒体数据的类型为仅图像,并确定向未发送所述第一请求消息或所述第二请求消息的从终端发送的多媒体数据的类型为图像和音频,或仅图像。
在确定了向各个从终端发送的多媒体数据的类型之后,消息接收单元1260根据所述多媒体数据的类型,通过所述通信连接分别向每一个所述至少一个从终端发送相应类型的多媒体数据,使得在音视频播放的过程中,有些从终端可以不播放音频,从而减少了不同终端间播放不同步的干扰。
图13是本发明实施例终端的结构示意图。终端可包括输入单元1310、输出单元1320、处理器1330、存储器1340、总线系统1350以及收发器1360。本发明实施例中的终端作为主终端,用于向至少一个从终端共享多媒体数据。
收发器1360用于建立通信信道,使终端通过所述通信信道以连接至远程服务器,并从所述远程服务器下载媒体数据,或向所述远程服务器上传媒体数据。所述收发器1360可以包括无线局域网(Wireless Local Area Network,wireless LAN)模块、蓝牙模块、基带(Base Band)模块等通信模块,以及所述通信模块对应的射频(Radio Frequency,RF)电路,用于进行无线局域网络通信、蓝牙通信、红外线通信及/或蜂窝式通信系统通信,例如宽带码分多重接入(Wideband Code Division Multiple Access,W-CDMA)及/或高速下行封包存取(High Speed Downlink Packet Access,HSDPA)。所述通信模块用于控制终端中的各组件的通信,并且可以支持直接内存存取(Direct Memory Access)。
在本发明的不同实施方式中,所述收发器1360中的各种通信模块一般以集成电路芯片(Integrated Circuit Chip)的形式出现,并可进行选择性组合,而不必包括所有通信模块及对应的天线组。例如,所述收发器1360可以仅包括基带芯片、射频芯片以及相应的天线以在一个蜂窝通信系统中提供通信功能。经由所述收发器1360建立的无线通信连接,例如无线局域网接入或WCDMA接入,所述终端可以连接至蜂窝网(Cellular Network)或因特网(Internet)。在本发明的一些可选实施方式中,所述收发器1360中的通信模块,例如基带模块可以集成到处理器1330中。
输入单元1310,用于实现用户与终端的交互和/或信息输入到终端中。例如,输入单元1310可以接收用户输入的数字或字符信息,以产生与用户设置或功能控制有关的信号输入。在本发明具体实施方式中,输入单元1310可以是触控面板,也可以是其他人机交互界面,例如实体输入键、麦克风等,还可是其他外部信息撷取装置,例如摄像头等。触控面板,也称为触摸屏或触控屏,可收集用户在其上触摸或接近的操作动作。比如用户使用手指、触笔等任何适合的物体或附件在触控面板上或接近触控面板的位置的操作动作,并根据预先设定的程式驱动相应的连接装置。可选的,触控面板可包括触摸检测装置和触摸控制器两个部分。其中,触摸检测装置检测用户的触摸操作,并将检测到的触摸操作转换为电信号,以及将所述电信号传送给触摸控制器;触摸控制器从触摸检测装置上接收所述电信号,并将它转换成触点坐标,再送给处理器1330。所述触摸控制器还可以接收处理器1330发来的命令并执行。此外,可以采用电阻式、电容式、红外线(Infrared)以及表面声波等多种类型实现触控面板。在本发明的其他实施方式中,输入单元1310所采用的实体输入键可以包括但不限于物理键盘、功能键(比如音量控制按键、开关按键等)、轨迹球、鼠标、操作杆等中的一种或多种。麦克风形式的输入单元1310可以收集用户或环境输入的语音并将其转换成电信号形式的、处理器1330可执行的命令。
输出单元1320包括但不限于影像输出单元和声音输出单元。影像输出单元用于输出文字、图片和/或视频。所述影像输出单元可包括显示面板,例如采用LCD(LiquidCrystal Display,液晶显示器)、OLED(Organic Light-Emitting Diode,有机发光二极管)、场发射显示器(field emission display,FED)等形式来配置的显示面板。或者所述影像输出单元可以包括反射式显示器,例如电泳式(electrophoretic)显示器,或利用光干涉调变技术(Interferometric Modulation of Light)的显示器。所述影像输出单元可以包括单个显示器或不同尺寸的多个显示器。在本发明的具体实施方式中,上述输入单元1310所采用的触控面板亦可同时作为输出单元1320的显示面板。例如,当触控面板检测到在其上的触摸或接近的手势操作后,传送给处理器1330以确定触摸事件的类型,随后处理器1330根据触摸事件的类型在显示面板上提供相应的视觉输出。输入单元1310与输出单元1320可以作为两个独立的部件来实现终端的输入和输出功能,但是在某些实施例中,可以将触控面板与显示面板集成一体而实现终端的输入和输出功能。例如,所述影像输出单元可以显示各种图形化用户接口(Graphical User Interface,GUI)以作为虚拟控制组件,包括但不限于窗口、卷动轴、图标及剪贴簿,以供用户通过触控方式进行操作。
音频输出单元包括数字模拟转换器,用来将处理器1330所输出的音频信号从数字格式转换为模拟格式。
存储器1340可以包括只读存储器和随机存取存储器,并向处理器330提供指令和数据。存储器1340的一部分还可以包括非易失性随机存取存储器(NVRAM)。
存储器1340存储了如下的元素,可执行模块或者数据结构,或者它们的子集,或者它们的扩展集:
操作指令:包括各种操作指令,用于实现各种操作。
操作系统:包括各种系统程序,用于实现各种基础业务以及处理基于硬件的任务。
在本发明实施例中,处理器1330通过调用存储器1340存储的操作指令(该操作指令可存储在操作系统中),执行如下操作:
根据终端间的距离,和/或所述至少一个从终端中的一个或多个发送的请求消息,确定向每一个所述至少一个从终端发送的所述多媒体数据的类型;
根据所述多媒体数据的类型,通过所述通信连接分别向每一个所述至少一个从终端发送相应类型的多媒体数据;其中,所述多媒体数据的类型包括:图像和音频,以及仅图像。
处理器1330控制终端的操作,处理器1330还可以称为CPU(Central ProcessingUnit,中央处理单元)。存储器1340可以包括只读存储器和随机存取存储器,并向处理器1330提供指令和数据。存储器1340的一部分还可以包括非易失性随机存取存储器(NVRAM)。具体的应用中,终端的各个组件通过总线系统1350耦合在一起,其中总线系统1350除包括数据总线之外,还可以包括电源总线、控制总线和状态信号总线等。但是为了清楚说明起见,在图中将各种总线都标为总线系统1350。
上述本发明实施例揭示的方法可以应用于处理器1330中,或者由处理器1330实现。处理器1330可能是一种集成电路芯片,具有信号的处理能力。在实现过程中,上述方法的各步骤可以通过处理器1330中的硬件的集成逻辑电路或者软件形式的指令完成。上述的处理器1330可以是通用处理器、数字信号处理器(DSP)、专用集成电路(ASIC)、现成可编程门阵列(FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。可以实现或者执行本发明实施例中的公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。结合本发明实施例所公开的方法的步骤可以直接体现为硬件译码处理器执行完成,或者用译码处理器中的硬件及软件模块组合执行完成。软件模块可以位于随机存储器,闪存、只读存储器,可编程只读存储器或者电可擦写可编程存储器、寄存器等本领域成熟的存储介质中。该存储介质位于存储器1340,处理器1330读取存储器1340中的信息,结合其硬件完成上述方法的步骤。
可选的,处理器1330具体用于根据所述主终端与每一个所述至少一个从终端的距离,确定向距离所述主终端最近的从终端发送的多媒体数据的类型为图像和音频,确定向距离所述主终端最近的从终端之外的其它从终端发送的多媒体数据的类型为仅图像
可选的,处理器1330具体用于若所述至少一个从终端与所述主终端的距离小于或等于第一距离门限,则确定向所述至少一个从终端发送的多媒体数据的类型为仅图像;若所述至少一个从终端与所述主终端的距离大于所述第一距离门限,则确定向所述至少一个从终端发送的多媒体数据的类型为图像和音频。
可选的,处理器1330具体用于根据所述终端间的距离,以及第二距离门限对每个所述终端进行音频播放区域的划分,其中,所述音频播放区域为中心点到任一边缘点的距离小于所述距离门限的区域;确定向靠近所述音频播放区域的中心点的从终端发送的多媒体数据的类型为图像和音频,确定向远离所述音频播放区域的中心点的从终端发送的多媒体数据的类型为仅图像。
可选的,处理器1330具体用于:
若确定所述至少一个从终端靠近所述音频播放区域的中心点,且所述至少一个从终端未发送所述请求消息,则确定向所述至少一个从终端发送的多媒体数据的类型为仅图像;
若确定所述至少一个从终端远离所述音频播放区域的中心点,且所述至少一个从终端未发送所述请求消息,则确定向所述至少一个从终端发送的多媒体数据的类型为图像和音频;
若所述主终端接收到所述至少一个从终端发送的所述第一请求消息,则确定向所述至少一个从终端发送的多媒体数据的类型为图像和音频;
若所述主终端接收到所述至少一个从终端发送的所述第二请求消息,则确定向所述至少一个从终端发送的多媒体数据的类型为仅图像。
可选的,处理器1330具体用于:根据所述第一请求消息确定向发送所述第一请求消息的从终端发送的多媒体数据的类型为图像和音频,根据所述第二请求消息确定向发送所述第二请求消息的从终端发送的多媒体数据的类型为仅图像,并确定向未发送所述第一请求消息或所述第二请求消息的从终端发送的多媒体数据的类型为图像和音频,或仅图像。
下面对本发明实施例中执行所述媒体传输方法的媒体传输终端进行描述,请参阅图14,本发明实施例中的终端作为作为从终端,用于与主终端共享多媒体数据,本发明实施例中终端的一个实施例包括:
数据接收单元1410,用于接收所述主终端发送的所述多媒体数据;
模式确定单元1420,用于根据所述从终端与所述主终端的距离,或所述主终端外放的音频,确定所述从终端对所述多媒体数据的播放模式;其中,所述多媒体数据的播放模式:静音模式和非静音模式;
播放单元1430,用于根据所述多媒体数据的播放模式对所述多媒体数据进行播放。
进一步的,所述终端还包括:距离确定单元1440;
所述距离确定单元1440用于在所述模式确定单元执行操作之前,确定所述从终端与所述主终端的距离;
所述模式确定单元1420具体用于:
若所述从终端与所述主终端的距离大于距离门限,则确定所述从终端对所述多媒体数据的播放模式为非静音模式;
若所述从终端与所述主终端的距离小于或等于距离门限,则确定所述从终端对所述多媒体数据的播放模式为静音模式。
所述距离确定单元1440具体用于:
根据所述从终端的距离检测模块确定所述从终端与所述主终端的距离;
或,
根据无线保真wifi信号的信号强度确定所述从终端与所述主终端的距离;
或,
根据所述主终端接收或发送的声波信息确定所述从终端与所述主终端的距离。
进一步的,所述终端还包括:音频获取单元1450;
所述音频获取单元用于所述从终端获取外放音频信息,并根据所述主终端共享的多媒体数据确定所述外放音频信息为所述主终端对所述多媒体数据外放的音频;
所述模式确定单元1420具体用于:
若所述主终端外放的音频的音频强度大于音频门限,则确定所述从终端对所述多媒体数据的播放模式为静音模式;
若所述主终端外放的音频的音频强度小于或等于音频门限,则确定所述从终端对所述多媒体数据的播放模式为非静音模式。
下面对本发明实施例中各个单元模块的操作流程进行详细的描述:
在主终端与从终端完成通信连接之后,从终端的数据接收单元1410根据所述通信连接接收所述主终端发送的所述多媒体数据。
可选的,距离确定单元1440根据所述从终端的距离检测模块确定所述从终端与所述主终端的距离。具体的,从终端的距离检测模块可以包括:磁力传感器,陀螺仪,方向传感器,加速度传感器,摄像头,包括深度摄像头(depth camera),近场通信(NFC,Near FieldCommunication)装置,蓝牙传输装置,红外传感器,多天线阵列,多蓝牙天线阵列,多麦克风阵列等。多阵列指的是多路信号获取。
可选的,距离确定单元1440根据无线保真wifi信号的信号强度确定所述从终端与所述主终端的距离;具体的,从终端可以检测接收到的主终端发出的wifi信号的信号强度,根据信号强度与传输距离成正比的关系,获知主终端与从终端之间的距离。
可选的,距离确定单元1440根据所述主终端接收或发送的声波信息确定所述从终端与所述主终端的距离。具体的,所述声波信息可以为特定频率的声波或超声波,也可以为终端外放的音频。以特定频率的声波为例,由从终端向主终端发出声波,该声波中可以携带时间戳,主终端接收该声波后,获取接收该声波时的时间戳,计算出时间戳差值后,根据声波的传输速率和该时间差值,得出距离。
可选的,为了测距的精确性,可以基于以上任意组合来确定终端间的距离,例如基于方向传感器和wifi信号强度来计算出终端间的距离。
模式确定单元1420根据所述从终端与所述主终端的距离确定所述从终端对所述多媒体数据的播放模式;其中,所述多媒体数据的播放模式:静音模式和非静音模式。
具体的,若所述从终端与所述主终端的距离大于距离门限,则确定所述从终端对所述多媒体数据的播放模式为非静音模式;
若所述从终端与所述主终端的距离小于或等于距离门限,则确定所述从终端对所述多媒体数据的播放模式为静音模式。
进一步的,在非静音模式中,从终端还可以根据与主终端的距离,线性调整播放的音量,例如距离越近音量越低,距离越远音量随之变大。
播放单元1430根据所述多媒体数据的播放模式对所述多媒体数据进行播放。
在本发明实施例中,当从终端与主终端离得近时,对所述多媒体数据可以选择静音播放,在节省终端电源的同时,也降低了多终端音频之间相互干扰的可能。
若是根据外放的音频确定播放模式的场景,则:
从终端的音频获取单元1450获取外放音频信息,并根据所述主终端共享的多媒体数据确定所述外放音频信息为所述主终端对所述多媒体数据外放的音频。
具体的,从终端可以通过麦克风接收其它终端外放的音频,并对所述音频进行分析,当确定所述音频为所述主终端对所述多媒体数据外放的音频时,则往下执行;当确定所述音频不是所述主终端对所述多媒体数据外放的音频时,则继续通过麦克风获取音频。
模式确定单元1420根据所述主终端外放的音频确定所述从终端对所述多媒体数据的播放模式。其中,所述多媒体数据的播放模式:静音模式和非静音模式。
具体的,若所述主终端外放的音频的音频强度大于音频门限,则确定所述从终端对所述多媒体数据的播放模式为静音模式;
若所述主终端外放的音频的音频强度小于或等于音频门限,则确定所述从终端对所述多媒体数据的播放模式为非静音模式。
在本发明实施例中,当通过对从终端对主终端播放音频的音频强度进行检测,获知从终端与主终端离得近时,对所述多媒体数据可以选择静音播放,在节省终端电源的同时,也降低了多终端音频之间相互干扰的可能。
通参阅图13,作为从终端的终端可包括输入单元1310、输出单元1320、处理器1330、存储器1340、总线系统1350以及收发器1360。本发明实施例中的终端作为主终端,用于向至少一个从终端共享多媒体数据。
其中,输入单元1310、输出单元1320、存储器1340、总线系统1350以及收发器1360的功能请参考上述实施例,此处不再赘述。
收发器1360用于建立通信信道,使终端通过所述通信信道以连接至远程服务器,并从所述远程服务器下载媒体数据,或向所述远程服务器上传媒体数据。所述收发器1360可以包括无线局域网(Wireless Local Area Network,wireless LAN)模块、蓝牙模块、基带(Base Band)模块等通信模块,以及所述通信模块对应的射频(Radio Frequency,RF)电路,用于进行无线局域网络通信、蓝牙通信、红外线通信及/或蜂窝式通信系统通信,例如宽带码分多重接入(Wideband Code Division Multiple Access,W-CDMA)及/或高速下行封包存取(High Speed Downlink Packet Access,HSDPA)。所述通信模块用于控制终端中的各组件的通信,并且可以支持直接内存存取(Direct Memory Access)。
在本发明的不同实施方式中,所述收发器1360中的各种通信模块一般以集成电路芯片(Integrated Circuit Chip)的形式出现,并可进行选择性组合,而不必包括所有通信模块及对应的天线组。例如,所述收发器1360可以仅包括基带芯片、射频芯片以及相应的天线以在一个蜂窝通信系统中提供通信功能。经由所述收发器1360建立的无线通信连接,例如无线局域网接入或WCDMA接入,所述终端可以连接至蜂窝网(Cellular Network)或因特网(Internet)。在本发明的一些可选实施方式中,所述收发器1360中的通信模块,例如基带模块可以集成到处理器1330中。
输入单元1310,用于实现用户与终端的交互和/或信息输入到终端中。例如,输入单元1310可以接收用户输入的数字或字符信息,以产生与用户设置或功能控制有关的信号输入。在本发明具体实施方式中,输入单元1310可以是触控面板,也可以是其他人机交互界面,例如实体输入键、麦克风等,还可是其他外部信息撷取装置,例如摄像头等。触控面板,也称为触摸屏或触控屏,可收集用户在其上触摸或接近的操作动作。比如用户使用手指、触笔等任何适合的物体或附件在触控面板上或接近触控面板的位置的操作动作,并根据预先设定的程式驱动相应的连接装置。可选的,触控面板可包括触摸检测装置和触摸控制器两个部分。其中,触摸检测装置检测用户的触摸操作,并将检测到的触摸操作转换为电信号,以及将所述电信号传送给触摸控制器;触摸控制器从触摸检测装置上接收所述电信号,并将它转换成触点坐标,再送给处理器1330。所述触摸控制器还可以接收处理器1330发来的命令并执行。此外,可以采用电阻式、电容式、红外线(Infrared)以及表面声波等多种类型实现触控面板。在本发明的其他实施方式中,输入单元1310所采用的实体输入键可以包括但不限于物理键盘、功能键(比如音量控制按键、开关按键等)、轨迹球、鼠标、操作杆等中的一种或多种。麦克风形式的输入单元1310可以收集用户或环境输入的语音并将其转换成电信号形式的、处理器1330可执行的命令。
输出单元1320包括但不限于影像输出单元和声音输出单元。影像输出单元用于输出文字、图片和/或视频。所述影像输出单元可包括显示面板,例如采用LCD(LiquidCrystal Display,液晶显示器)、OLED(Organic Light-Emitting Diode,有机发光二极管)、场发射显示器(field emission display,FED)等形式来配置的显示面板。或者所述影像输出单元可以包括反射式显示器,例如电泳式(electrophoretic)显示器,或利用光干涉调变技术(Interferometric Modulation of Light)的显示器。所述影像输出单元可以包括单个显示器或不同尺寸的多个显示器。在本发明的具体实施方式中,上述输入单元1310所采用的触控面板亦可同时作为输出单元1320的显示面板。例如,当触控面板检测到在其上的触摸或接近的手势操作后,传送给处理器1330以确定触摸事件的类型,随后处理器1330根据触摸事件的类型在显示面板上提供相应的视觉输出。输入单元1310与输出单元1320可以作为两个独立的部件来实现终端的输入和输出功能,但是在某些实施例中,可以将触控面板与显示面板集成一体而实现终端的输入和输出功能。例如,所述影像输出单元可以显示各种图形化用户接口(Graphical User Interface,GUI)以作为虚拟控制组件,包括但不限于窗口、卷动轴、图标及剪贴簿,以供用户通过触控方式进行操作。
音频输出单元包括数字模拟转换器,用来将处理器1330所输出的音频信号从数字格式转换为模拟格式。
存储器1340可以包括只读存储器和随机存取存储器,并向处理器330提供指令和数据。存储器1340的一部分还可以包括非易失性随机存取存储器(NVRAM)。
存储器1340存储了如下的元素,可执行模块或者数据结构,或者它们的子集,或者它们的扩展集:
操作指令:包括各种操作指令,用于实现各种操作。
操作系统:包括各种系统程序,用于实现各种基础业务以及处理基于硬件的任务。
在本发明实施例中,处理器1330通过调用存储器1340存储的操作指令(该操作指令可存储在操作系统中),执行如下操作:
根据终端间的距离,和/或所述至少一个从终端中的一个或多个发送的请求消息,确定向每一个所述至少一个从终端发送的所述多媒体数据的类型;
根据所述多媒体数据的类型,通过所述通信连接分别向每一个所述至少一个从终端发送相应类型的多媒体数据;其中,所述多媒体数据的类型包括:图像和音频,以及仅图像。
处理器1330控制终端的操作,处理器1330还可以称为CPU(Central ProcessingUnit,中央处理单元)。存储器1340可以包括只读存储器和随机存取存储器,并向处理器1330提供指令和数据。存储器1340的一部分还可以包括非易失性随机存取存储器(NVRAM)。具体的应用中,终端的各个组件通过总线系统1350耦合在一起,其中总线系统1350除包括数据总线之外,还可以包括电源总线、控制总线和状态信号总线等。但是为了清楚说明起见,在图中将各种总线都标为总线系统1350。
上述本发明实施例揭示的方法可以应用于处理器1330中,或者由处理器1330实现。处理器1330可能是一种集成电路芯片,具有信号的处理能力。在实现过程中,上述方法的各步骤可以通过处理器1330中的硬件的集成逻辑电路或者软件形式的指令完成。上述的处理器1330可以是通用处理器、数字信号处理器(DSP)、专用集成电路(ASIC)、现成可编程门阵列(FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。可以实现或者执行本发明实施例中的公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。结合本发明实施例所公开的方法的步骤可以直接体现为硬件译码处理器执行完成,或者用译码处理器中的硬件及软件模块组合执行完成。软件模块可以位于随机存储器,闪存、只读存储器,可编程只读存储器或者电可擦写可编程存储器、寄存器等本领域成熟的存储介质中。该存储介质位于存储器1340,处理器1330读取存储器1340中的信息,结合其硬件完成上述方法的步骤。
在本发明实施例中,处理器330通过调用存储器340存储的操作指令(该操作指令可存储在操作系统中),执行如下操作:
根据所述从终端与所述主终端的距离,或所述主终端外放的音频,确定所述从终端对所述多媒体数据的播放模式;其中,所述多媒体数据的播放模式:静音模式和非静音模式;
根据所述多媒体数据的播放模式对所述多媒体数据进行播放。
可选的,本发明实施例中处理器330具体用于若所述从终端与所述主终端的距离大于距离门限,则确定所述从终端对所述多媒体数据的播放模式为非静音模式;若所述从终端与所述主终端的距离小于或等于距离门限,则确定所述从终端对所述多媒体数据的播放模式为静音模式。
可选的,本发明实施例中处理器330具体用于:
所述从终端获取外放音频信息,并根据所述主终端共享的多媒体数据确定所述外放音频信息为所述主终端对所述多媒体数据外放的音频;
所述从终端根据所述从终端与所述主终端的距离,或所述主终端外放的音频,确定所述从终端对所述多媒体数据的播放模式,包括:
若所述主终端外放的音频的音频强度大于音频门限,则确定所述从终端对所述多媒体数据的播放模式为静音模式;
若所述主终端外放的音频的音频强度小于或等于音频门限,则确定所述从终端对所述多媒体数据的播放模式为非静音模式。
在本申请所提供的几个实施例中,应该理解到,所揭露的装置和方法可以通过其它的方式实现。例如,以上所描述的装置实施例仅仅是示意性的,例如,所述单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,例如多个单元或组件可以结合或者可以集成到另一个系统,或一些特征可以忽略,或不执行。另一点,所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口,装置或单元的间接耦合或通信连接,可以是电性,机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外,在本发明各个实施例中的各功能单元可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现,也可以采用软件功能单元的形式实现。
所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储介质中。基于这样的理解,本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括:U盘、移动硬盘、只读存储器(ROM,Read-OnlyMemory)、随机存取存储器(RAM,Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述,仅为本发明的具体实施方式,但本发明的保护范围并不局限于此,任何熟悉本技术领域的技术人员在本发明揭露的技术范围内,可轻易想到变化或替换,都应涵盖在本发明的保护范围之内。因此,本发明的保护范围应所述以权利要求的保护范围为准。

Claims (8)

1.一种媒体传输方法,用于第一终端向第二终端共享多媒体数据,其特征在于,包括:
所述第一终端与所述第二终端建立无线通信连接,所述无线通信连接包括以下至少一种:通过蓝牙建立的连接,通过Wi-Fi建立的连接;
所述第一终端根据所述第一终端与所述第二终端之间的距离,和/或所述第二终端发送的请求消息,确定向所述第二终端发送的多媒体数据的类型;
在确定类型为图像和音频时,所述第一终端通过所述无线通信连接向所述第二终端发送类型为图像和音频的多媒体数据;
在确定类型为图像时,所述第一终端通过所述无线通信连接向所述第二终端发送类型为图像的多媒体数据。
2.根据权利要求1所述的方法,其特征在于,
类型为图像和音频的多媒体数据,包括图像数据和音频数据;
类型为图像的多媒体数据,仅包括所述图像数据。
3.根据权利要求1或2所述的方法,其特征在于,所述主终端为音频播放终端,
所述第一终端根据所述第一终端与所述第二终端之间的距离,确定向所述第二终端发送的多媒体数据的类型之前,包括:
所述主终端确定所述主终端与每一个所述至少一个从终端的距离;
所述第一终端根据所述第一终端与所述第二终端之间的距离,和/或所述第二终端发送的请求消息,确定向所述第二终端发送的多媒体数据的类型,包括:
若所述第一终端与所述第二终端的距离小于或等于第一距离门限,则确定向所述第二终端发送的多媒体数据的类型为仅图像;
若所述第一终端与所述第二终端的距离大于所述第一距离门限,则确定向所述第二终端发送的多媒体数据的类型为图像和音频。
4.根据权利要求1或2所述的方法,其特征在于,
所述第一终端根据所述第二终端发送的请求消息,确定向所述第二终端发送的多媒体数据的类型之前,所述方法还包括:
所述第一终端接收所述第二终端发送的请求消息,所述请求消息包括:第一请求消息或第二请求消息,所述第一请求消息用于请求所述第一终端向所述第二终端发送多媒体数据的类型为图像和音频,所述第二请求消息用于请求所述第一终端向所述第二终端发送多媒体数据的类型为仅图像;
所述第一终端根据所述第二终端发送的请求消息,确定向所述第二终端发送的多媒体数据的类型,包括:
若所述第一终端接收到所述第二终端发送的所述第一请求消息,则确定向所述第二终端发送的多媒体数据的类型为图像和音频;
若所述第一终端接收到所述第二终端发送的所述第二请求消息,则确定向所述第二终端发送的多媒体数据的类型为仅图像。
5.根据权利要求3所述的方法,其特征在于,
所述第一终端根据所述第二终端发送的请求消息,确定向所述第二终端发送的多媒体数据的类型之前,所述方法还包括:
所述第一终端接收所述第二终端发送的请求消息,所述请求消息包括:第一请求消息或第二请求消息,所述第一请求消息用于请求所述第一终端向所述第二终端发送多媒体数据的类型为图像和音频,所述第二请求消息用于请求所述第一终端向所述第二终端发送多媒体数据的类型为仅图像;
所述第一终端根据所述第二终端发送的请求消息,确定向所述第二终端发送的多媒体数据的类型,包括:
若所述第一终端接收到所述第二终端发送的所述第一请求消息,则确定向所述第二终端发送的多媒体数据的类型为图像和音频;
若所述第一终端接收到所述第二终端发送的所述第二请求消息,则确定向所述第二终端发送的多媒体数据的类型为仅图像。
6.一种终端,其特征在于,所述移动终端包括一个或多个传感器、显示屏和一个或多个处理器、以及一个或多个存储器;
所述一个或多个存储器与所述一个或多个处理器耦合,所述一个或多个存储器用于存储计算机程序,所述计算机程序包括指令,当所述指令被所述终端执行时,使得所述终端执行如权利要求1至5任一项所述的方法。
7.一种计算机可读存储介质,其特征在于,存储有计算机指令,当所述计算机指令在终端上运行时,使得所述终端执行如权利要求1至5中任一项所述的方法。
8.一种终端上的图形用户界面系统,其特征在于,所述终端具有显示屏、一个或多个传感器、存储器、以及一个或多个处理器,所述一个或多个处理器用于执行存储在所述存储器中的一个或多个计算机程序,其特征在于,所述图形用户界面系统包括所述终端执行如权利要求1至5中任意一项所述的方法时显示的图形用户界面。
CN202010048490.8A 2014-11-27 2014-11-27 一种媒体传输方法、媒体控制方法及装置 Active CN111245854B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010048490.8A CN111245854B (zh) 2014-11-27 2014-11-27 一种媒体传输方法、媒体控制方法及装置

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN201410713444.XA CN105704110B (zh) 2014-11-27 2014-11-27 一种媒体传输方法、媒体控制方法及装置
CN202010048490.8A CN111245854B (zh) 2014-11-27 2014-11-27 一种媒体传输方法、媒体控制方法及装置

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
CN201410713444.XA Division CN105704110B (zh) 2014-11-27 2014-11-27 一种媒体传输方法、媒体控制方法及装置

Publications (2)

Publication Number Publication Date
CN111245854A true CN111245854A (zh) 2020-06-05
CN111245854B CN111245854B (zh) 2022-11-22

Family

ID=56231100

Family Applications (2)

Application Number Title Priority Date Filing Date
CN201410713444.XA Active CN105704110B (zh) 2014-11-27 2014-11-27 一种媒体传输方法、媒体控制方法及装置
CN202010048490.8A Active CN111245854B (zh) 2014-11-27 2014-11-27 一种媒体传输方法、媒体控制方法及装置

Family Applications Before (1)

Application Number Title Priority Date Filing Date
CN201410713444.XA Active CN105704110B (zh) 2014-11-27 2014-11-27 一种媒体传输方法、媒体控制方法及装置

Country Status (1)

Country Link
CN (2) CN105704110B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112601206A (zh) * 2020-12-14 2021-04-02 珠海格力电器股份有限公司 能源设备交互系统及其控制方法

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106851387B (zh) * 2017-02-21 2019-11-08 北京小米移动软件有限公司 输出多媒体信息的方法及装置
CN111343610A (zh) * 2018-12-19 2020-06-26 上海博泰悦臻电子设备制造有限公司 资源共享方法以及资源共享系统
CN112631533A (zh) * 2019-10-09 2021-04-09 上海博泰悦臻电子设备制造有限公司 信息共享方法、信息共享装置、车载终端及存储介质
CN113296728A (zh) * 2021-05-24 2021-08-24 Oppo广东移动通信有限公司 音频播放方法、装置、电子设备及存储介质
CN114710694B (zh) * 2022-04-12 2023-05-30 深圳市瑞云科技有限公司 一种云游戏场景下的分布式推流方法

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101060613A (zh) * 2006-04-21 2007-10-24 华为技术有限公司 数字电视广播业务的接收解密方法、主终端及其从终端
CN101159850A (zh) * 2007-11-21 2008-04-09 华为软件技术有限公司 实现多终端协同控制播放视频数据的方法和播放控制代理
CN101291414A (zh) * 2007-04-16 2008-10-22 株式会社Ntt都科摩 控制装置、移动通信系统以及通信终端
CN101895520A (zh) * 2009-05-20 2010-11-24 华为技术有限公司 微技系统的数据共享方法、服务器以及数据共享系统
US20120064820A1 (en) * 2010-09-09 2012-03-15 Bemmel Jeroen Van Method and apparatus for targeted communications
CN103391473A (zh) * 2013-07-12 2013-11-13 北京小米科技有限责任公司 一种提供及获取音视频的方法和装置
US20140162730A1 (en) * 2011-08-24 2014-06-12 Lg Electronics Inc. Mobile terminal and controlling method thereof
CN103974187A (zh) * 2014-05-27 2014-08-06 深圳市中兴移动通信有限公司 一种近距离文件传输方法、装置和移动终端

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1964295A2 (en) * 2005-09-19 2008-09-03 Nxp B.V. Method of synchronizing the playback of an audio broadcast on a plurality of network output devices
US8789131B2 (en) * 2010-05-14 2014-07-22 Lg Electronics Inc. Electronic device and method of sharing contents thereof with other devices
CN102377965B (zh) * 2010-08-18 2013-05-08 纬创资通股份有限公司 音量控制方法及具有自动音量调整功能的电子装置
CN103699211A (zh) * 2012-09-27 2014-04-02 北京三星通信技术研究有限公司 一种电子设备及其互联和控制方法

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101060613A (zh) * 2006-04-21 2007-10-24 华为技术有限公司 数字电视广播业务的接收解密方法、主终端及其从终端
CN101291414A (zh) * 2007-04-16 2008-10-22 株式会社Ntt都科摩 控制装置、移动通信系统以及通信终端
CN101159850A (zh) * 2007-11-21 2008-04-09 华为软件技术有限公司 实现多终端协同控制播放视频数据的方法和播放控制代理
CN101895520A (zh) * 2009-05-20 2010-11-24 华为技术有限公司 微技系统的数据共享方法、服务器以及数据共享系统
US20120064820A1 (en) * 2010-09-09 2012-03-15 Bemmel Jeroen Van Method and apparatus for targeted communications
US20140162730A1 (en) * 2011-08-24 2014-06-12 Lg Electronics Inc. Mobile terminal and controlling method thereof
CN103391473A (zh) * 2013-07-12 2013-11-13 北京小米科技有限责任公司 一种提供及获取音视频的方法和装置
CN103974187A (zh) * 2014-05-27 2014-08-06 深圳市中兴移动通信有限公司 一种近距离文件传输方法、装置和移动终端

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112601206A (zh) * 2020-12-14 2021-04-02 珠海格力电器股份有限公司 能源设备交互系统及其控制方法
CN112601206B (zh) * 2020-12-14 2022-11-08 珠海格力电器股份有限公司 能源设备交互系统及其控制方法

Also Published As

Publication number Publication date
CN111245854B (zh) 2022-11-22
CN105704110B (zh) 2020-02-14
CN105704110A (zh) 2016-06-22

Similar Documents

Publication Publication Date Title
AU2021269359B2 (en) Display method and apparatus
CN105704110B (zh) 一种媒体传输方法、媒体控制方法及装置
WO2017202348A1 (zh) 一种视频播放方法、装置及计算机存储介质
KR102092063B1 (ko) 통신 서비스 수행 방법 및 장치
WO2017020663A1 (zh) 弹幕视频直播方法、装置、视频源设备及网络接入设备
US9609427B2 (en) User terminal apparatus, electronic device, and method for controlling the same
US20130262687A1 (en) Connecting a mobile device as a remote control
US20150195649A1 (en) Method for proximity based audio device selection
WO2016127795A1 (zh) 业务处理方法、服务器及终端
WO2015143900A1 (zh) 网络会议中进行数据共享的方法、装置及系统
WO2017181365A1 (zh) 一种耳机声道控制方法、相关设备及系统
WO2019000411A1 (zh) 一种无线通信连接建立的方法及设备
WO2018103439A1 (zh) 一种信息处理方法及终端设备
EP4318199A1 (en) Method for interaction between electronic devices and electronic device
CN113986167A (zh) 投屏控制方法、装置、存储介质及显示设备
JP2015513815A (ja) デバイス制御方法および装置
US10463965B2 (en) Control method of scene sound effect and related products
WO2017215661A1 (zh) 一种场景音效的控制方法、及电子设备
WO2018049971A1 (zh) 热点网络切换方法及终端
US20230138804A1 (en) Enhanced video call method and system, and electronic device
WO2018153028A1 (zh) 一种建立无线局域网连接的方法、装置和终端
US20180341453A1 (en) Communication apparatus, communication method, and storage medium
WO2021254168A1 (zh) 会议控制方法、装置、可读介质及电子设备
WO2019076250A1 (zh) 推送消息的管理方法及相关产品
KR20170043319A (ko) 전자 장치 및 전자 장치의 오디오 출력 방법

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant