CN105657495A - 一种多智能终端同步播放方法及设备 - Google Patents

Abstract

本发明公开了一种多智能终端同步播放方法及设备，充分考虑了多智能终端协同处理环境，特别对终端移动这一情形也做了相应处理，提供了一种可靠的多终端协播放音频机制，相对于单终端音频播放，可以大大提高用户体验。

Description

一种多智能终端同步播放方法及设备

技术领域

本发明涉及一种多智能终端同步播放方法及设备，属于多终端音频播放同步技术领域。

背景技术

在未来泛在通信环境下，协同思想已成为网络融合的主流。通过异构终端之间的智能协作，可实现1+1>2的效果，为用户提供各类新型智慧服务，从而极大地提升用户的业务体验。各个从机设备从主机获取部分业务流并实时呈现给用户，而且通常业务具有不可回溯性，例如实时音频与视频，为了保障系统的业务QoS，这就需要参与协作的多个终端设备通过一定的同步机制完成业务的传输处理。

目前Android智能设备已经非常普及，但受成本及系统限制，其立体声音频播放效果并不是很好，如果将多个终端协同起来播放，可以大大增强用户的立体声感受。

发明内容

本发明所要解决的技术问题是提供一种多智能终端同步播放方法及设备。

本发明为解决上述技术问题采用以下技术方案：

一方面，本发明提供一种多智能终端同步播放方法，所述多智能终端包括一个主终端和多个从终端，该方法以下步骤：

步骤1，主终端分别与各从终端建立连接并完成初始化；

步骤2，各从终端将自身位置信息发送至主终端；

步骤3，主终端根据接收到的各从终端位置信息，计算其与各从终端之间的相对距离；再根据得到的相对距离确定音频流传送线程的优先级，以保证到达各从终端的音频速率一致；

步骤4，主终端读取音频流，并按照步骤3中的优先级发送至各从终端；各从终端接收音频流后通知主终端；

步骤5，主终端通知各从终端开始播放，在播放过程中，主终端广播当前已播总帧数，通过维持主从终端当前已播总帧数一致，实现主从终端同步播放；

步骤6，在播放过程中，主从终端分别检测自身位置更新信息，根据位置更新信息调整音频传送线程的优先级以及从终端读取音频数据位置，以保持主从终端同步播放。

作为本发明的进一步优化方案，步骤6中主从终端分别通过重力传感器检测自身位置更新信息。

作为本发明的进一步优化方案，步骤6中根据位置更新信息调整音频传送线程的优先级以及从终端读取音频数据位置，以保持主从终端同步播放，具体为：

若从终端远离主终端，则结合主从终端相对距离的变化判断网络环境变差程度和数据传输时延增加程度，主终端提升相应音频流传送线程优先级以保持音频传送速率不变，从终端接收到主终端广播的已播总帧数时考虑数据传输时延的增加程度调整读取音频数据位置；若从终端靠近主终端，则结合主从终端相对距离的变化判断网络环境变好程度和数据传输时延减少程度，主终端降低相应音频流传送线程优先级以保持音频传送速率不变，从终端接收到主终端广播的已播总帧数时考虑数据传输时延的增加程度调整读取音频数据位置。

作为本发明的进一步优化方案，步骤3中根据得到的相对距离确定音频流传送线程的优先级，具体为：相对距离远则音频流传送线程的优先级高。

作为本发明的进一步优化方案，步骤1中主终端分别与各从终端建立连接并完成初始化，具体为：

主终端打开WiFi热点，各从终端连接WiFi热点，建立连接后，主终端查询自身音频播放模块每周期播音频数据帧数后广播给各从终端，从终端创建内存缓冲区，等待接收音频数据。

作为本发明的进一步优化方案，步骤5中在播放过程中，主终端广播当前已播总帧数，通过维持主从终端当前已播总帧数一致，实现主从终端同步播放，具体为：

在播放过程中，主从终端分别维护一个当前已播音频数据帧数总和的变量；主终端周期性地向各从终端广播自身当前已播的总帧数，各从终端接收到后对比自身的已播总帧数，在自身的数据缓冲区内向前或向后读取音频数据以确保与主终端的已播总帧数一致，实现与主终端的同步播放。

作为本发明的进一步优化方案，还包括主从终端同步延时，具体为：

主终端向从终端发送改变播放模式的信号，并广播其当前已播总帧数，从终端根据接收到的信号以及主终端已播总帧数，调整读取音频数据位置，实现同步延时。

作为本发明的进一步优化方案，还包括主从终端的特殊场景处理，具体为：

当一个从终端网络连接状况不足以支撑音频流传送时，主终端主动断开其连接，停止传送音频数据，其余从终端的播放不受影响；当主终端网络出现异常，各从终端感知到与主终端连接断开或接收音频数据速率无法支撑音频播放，各从终端主动断开与主终端连接，并向用户发出提醒；

当任一终端来电时广播来电信号，其余终端接收到后自动静音以避免对来电终端通话的影响，通话结束后，特殊场景处理模块广播通话结束信号，其余终端接收到后恢复音量，继续同步播放；

当主终端长时间暂停播放时，从终端无其他业务处理时进入深度睡眠状态以节省电量，从终端睡眠后，定时唤醒检测主终端是否继续播放，若主终端要求继续播放，从终端唤醒，然后通知主终端能够协同播放。

另一方面，本发明还提供一种智能终端，包括主终端和从终端两种，其中：

主终端包括音频流获取模块、音频流发送模块、主终端播放模块、第一同步处理模块、第一位置检测与更新模块、第一特殊场景处理模块、第一连接管理模块，其中，

音频流获取模块，用于主终端读取音频流；

音频流发送模块，用于将读取的音频流发送至从终端；

主终端播放模块，用于播放读取的音频流；

第一位置检测与更新模块，用于检测自身位置信息、获取各从终端位置信息以及主从终端之间的相对距离；

第一同步处理模块，用于统计主终端已播总帧数并发送至从终端；根据主从终端各自位置信息确定主从终端之间的相对距离，确定音频传送线程的优先级；向从终端广播播放模式；

第一特殊场景处理模块，用于实现特殊场景下主终端的控制；

第一连接管理模块，用于建立主从终端之间的连接；

从终端包括音频流接收模块、从终端播放模块、第二同步处理模块、第二位置检测与更新模块、第二特殊场景处理模块、第二连接管理模块，其中，

音频流接收模块，用于接收主终端发送的音频流；

从终端播放模块，用于播放主终端发送的音频流；

第二位置检测与更新模块，用于检测自身位置信息并发送至主终端；

第二同步处理模块，用于统计从终端已播总帧数；根据主终端广播的已播总帧数以及播放模式，调整读取音频数据位置；

第二特殊场景处理模块，用于实现特殊场景下从终端的控制；

第二连接管理模块，用于建立主从终端之间的连接。

另一方面，本发明还提供一种同步播放系统，其特征在于，包括如上所述的一个主终端和至少一个从终端。

本发明采用以上技术方案与现有技术相比，具有以下技术效果：本发明充分考虑了多智能终端协同处理环境，特别对终端移动这一情形也做了相应处理，提供了一种可靠的多终端协播放音频机制，相对于单终端音频播放，可以大大提高用户体验。

附图说明

图1是本发明一种多智能终端同步播放方法的流程图。

图2是本发明提供的从终端调整读取数据位置示意图。

图3是被发明提供的一种三个终端同步播放的场景图。

图4是本发明提供的一种三终端协同播放音频流程图。

图5是本发明提供的一种主从终端系统框架图。

具体实施方式

下面结合附图对本发明的技术方案做进一步的详细说明：

如图1所示，本发明一种多智能终端同步播放方法的流程图，包括了以下步骤：

步骤S101：主终端与从终端建立连接并完成初始化；

步骤S102：各从终端获取自身的位置信息，并发送给主终端；

步骤S103：主终端结合各从终端位置信息，读取音频流发送给各从终端；距离远的传送线程优先级高，以保证到达个从终端的音频速率一致；

步骤S104：主终端接收到所有从终端数据缓冲完成后通知各个从终端开始播放；

步骤S105：主终端广播当前已播总帧数，从终端接收到后读取调整数据位置；

步骤S106：各终端通过重力传感器等监测自身移动情况，并将新位置信息发送给主终端，主终端作出调整以保持同步播放。

其中，主终端与从终端建立连接并完成初始化具体步骤包括：主终端主动打开WiFi热点，各从终端连接WiFi热点，建立连接后，主终端查询自身音频播放模块每周期播音频数据帧数，然后广播给各从终端，从终端创建内存缓冲区，等待接收音频数据。

其中，各从终端获取自身的位置信息，并发送给主终端步骤包括：各从终端通过GPS或室内WiFi定位获取自身位置信息，并发送给主终端，主终端保存各从终端的位置信息并计算与主终端距离。

其中，主终端读取音频流发送给各从终端步骤包括：主终端读取自身音频文件数据流，将音频流发送给建立连接的各个从终端，并结合各从终端位置信息，距离远的传送线程优先级高，以保证到达个从终端的音频速率一致，从终端将接收到的音频数据缓存与缓冲区中，并通知底层为播放音频做好准备。

其中，主终端接收到所有从终端数据缓冲完成后通知各个从终端开始播放具体步骤包括：从终端缓冲区数据积累到一定数据量后，通知主终端可以开始播放了，主终端接收到所有建立连接的从终端开始播放信号后，广播开始播放信号给所有从终端，然后开始同步播放；需要注意的是主终端并不会无期限的等待所有从机缓冲完成信号，而可以启动一个定时器，定时器超时自动广播开始播放信号，对于未发送缓冲完成信号的从终端进行连接异常处理流程。

其中，主终端广播当前已播总帧数，从终端接收到后读取调整数据位置具体步骤包括：

（1）确定广播当前已播总帧数时机，开始播放时、暂停后再播放时、切歌完成继续播放时都会造成主从终端播放同步时延误差加大，此时主机应该广播自身已播总帧数；对于同步时延要求高的场景可以定时广播主终端已播总帧数；

（2）从终端接收到主终端当前已播总帧数，确定当前协同播放状态（同步播放还是给定时延播放），当前自身已播总帧数以及缓冲区可读数据区位置，向前或向后调整读取数据位置，使其达到既定播放位置。

其中，步骤S106位置改变时同步播放调整的具体步骤包括：

当从终端通过监测重力传感器发现从终端运动时，再次通过GPS或WIFi室内定位获取自身位置信息，并发送给主终端，主终端同过新位置信息判断该从终端是远离了还是靠近了。

当该从终端远离了主终端时，结合具体远离距离判断网络环境变差程度和数据传输时延增加程度，调整相应音频数据传送线程优先级，确保数据传送速率保持不变，并通知从终端下一次主终端广播已播总帧数时，必须考虑传输时延进行调整当前读取数据的位置，应该相比之前读取更靠前位置的数据，因为主终端广播总帧数的数据包传送到从终端的时延增加了。反之从终端靠近时也作出相应调整。

而当主终端移动时，计算与各从终端相对位置改变，并进行线程优先级通知从终端调整数据读取位置的调整。

图2是从终端调整读取数据位置示意图，主从终端要求同步播放时，主终端与各从终端同一时刻内已播总帧数应该一致，所以当接收到主终端广播的已播总帧数时，从终端通过对比自身已播总帧数确定下面应该读取数据位置，如果主终端已播总帧数大于从终端，说明从终端落后于主终端，从终端向前读取一定量数据，并且等量增加其已播总帧数，达到与主终端一致；同理，如果主终端已播总帧数小于从终端，说明从终端领先于主终端，从终端向后读取一定量数据。

图3是一个主终端和两个从终端同步播放的场景图，图4是一个主终端和两个从终端按照上述步骤执行的多终端协同播放流程图，其中，从终端1最后发生了移动，将新位置信息发送给主终端，按上述从终端位置改变步骤作出相应调整。

如图4所示，主终端打开WIFi热点，从终端1和2分别连接主终端WIFi热点，同时主从终端分别获取自身位置信息并开启位置移动监测。主从终端分别进行初始化，主终端准备读取音频数据，获取底层每周期写读数据帧大小并发送至各从终端；从终端1和2分别创建音频缓冲区并获取主终端周期写读数据帧大小。主终端读取音频数据并根据音频传送线程的优先级发送至从终端1和2，从终端1和2接收主终端发送的音频数据并存于缓冲区，缓冲完成后通知主终端。主终端接收从终端1和2完成缓冲信号后，开始播放音频并通知从终端同步播放。在播放过程中，主终端广播已播总帧数，从终端1和2根据接收到主终端已播总帧数调整读取音频数据位置，以保持同步播放。进一步地，当从终端1监测到自身位置发生变化时，将检测到的新位置信息通知主终端；主终端接收到从终端1的位置更新信息后判断两者之间相对距离的改变情况，调整音频数据传送线程优先级并通知从终端1音频传送时延改变情况；从终端1接收到音频传送时延改变信息后，与下次主终端广播的已播总帧数结合，调整读取音频数据位置，以保持同步播放。

下面结合图4来进一步说明主从终端播放同步时延动态调整处理以及特殊场景处理。

当主终端改变其播放模式时，要求各从终端与主终端播放音频有一定的时延，进而形成混响效果，主终端播放模块首先通过同步模块发送信号给各从终端通告播放模式，然后同步模块广播其当前已播总帧数，从终端同步模块根据播放模式及主终端已播帧数，改变从终端播放模块读取数据位置，达到要求的同步时延。

当从终端网络连接状况太差以致不足以支撑音频数据流传送时，主终端主动断开其连接，停止传送音频数据，其他终端协同播放不受影响；当主终端网络出现异常，各从终端感知到与主终端连接断开或接收音频数据速率无法支撑音频播放，从机可以主动断开与主终端连接，并提供给用户提示信息。

当任何一个终端来电时，特殊场景处理模块广播来电信号，其他终端接收到后自动静音，避免对来电终端通话的影响，通话结束后，广播通话结束信号，其他终端接收到后恢复音量，继续同步播放。

当主终端长时间暂停播放后，从终端无其他业务处理时可以进入深度睡眠状态，节省电量，从终端睡眠后，定时唤醒检测主终端是否继续播放，若主终端要求继续播放，从终端唤醒，然后通知主终端可以协同播放。

如图5所示，本发明提供的一种主从终端系统框架图。其中，主终端包括音频流获取模块、音频流发送模块、主终端播放模块、第一同步处理模块、第一位置检测与更新模块、第一特殊场景处理模块、第一连接管理模块；从终端包括音频流接收模块、从终端播放模块、第二同步处理模块、第二位置检测与更新模块、第二特殊场景处理模块、第二连接管理模块。本发明还提供一种同步播放系统，包括上述的主终端和至少上述的从终端。

以上所述，仅为本发明中的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉该技术的人在本发明所揭露的技术范围内，可理解想到的变换或替换，都应涵盖在本发明的包含范围之内，因此，本发明的保护范围应该以权利要求书的保护范围为准。

Claims (10)

1.一种多智能终端同步播放方法，所述多智能终端包括一个主终端和多个从终端，其特征在于，该方法以下步骤：

步骤1，主终端分别与各从终端建立连接并完成初始化；

步骤2，各从终端将自身位置信息发送至主终端；

步骤3，主终端根据接收到的各从终端位置信息，计算其与各从终端之间的相对距离；再根据得到的相对距离确定音频流传送线程的优先级，以保证到达各从终端的音频速率一致；

步骤4，主终端读取音频流，并按照步骤3中的优先级发送至各从终端；各从终端接收音频流后通知主终端；

步骤5，主终端通知各从终端开始播放，在播放过程中，主终端广播当前已播总帧数，通过维持主从终端当前已播总帧数一致，实现主从终端同步播放；

步骤6，在播放过程中，主从终端分别检测自身位置更新信息，根据位置更新信息调整音频传送线程的优先级以及从终端读取音频数据位置，以保持主从终端同步播放。

2.根据权利要求1所述的一种多智能终端同步播放方法，其特征在于，步骤6中主从终端分别通过重力传感器检测自身位置更新信息。

3.根据权利要求1所述的一种多智能终端同步播放方法，其特征在于，步骤6中根据位置更新信息调整音频传送线程的优先级以及从终端读取音频数据位置，以保持主从终端同步播放，具体为：

若从终端远离主终端，则结合主从终端相对距离的变化判断网络环境变差程度和数据传输时延增加程度，主终端提升相应音频流传送线程优先级以保持音频传送速率不变，从终端接收到主终端广播的已播总帧数时考虑数据传输时延的增加程度调整读取音频数据位置；若从终端靠近主终端，则结合主从终端相对距离的变化判断网络环境变好程度和数据传输时延减少程度，主终端降低相应音频流传送线程优先级以保持音频传送速率不变，从终端接收到主终端广播的已播总帧数时考虑数据传输时延的增加程度调整读取音频数据位置。

4.根据权利要求1所述的一种多智能终端同步播放方法，其特征在于，步骤3中根据得到的相对距离确定音频流传送线程的优先级，具体为：相对距离远则音频流传送线程的优先级高。

5.根据权利要求1所述的一种多智能终端同步播放方法，其特征在于，步骤1中主终端分别与各从终端建立连接并完成初始化，具体为：

主终端打开WiFi热点，各从终端连接WiFi热点，建立连接后，主终端查询自身音频播放模块每周期播音频数据帧数后广播给各从终端，从终端创建内存缓冲区，等待接收音频数据。

6.根据权利要求1所述的一种多智能终端同步播放方法，其特征在于，步骤5中在播放过程中，主终端广播当前已播总帧数，通过维持主从终端当前已播总帧数一致，实现主从终端同步播放，具体为：

在播放过程中，主从终端分别维护一个当前已播音频数据帧数总和的变量；主终端周期性地向各从终端广播自身当前已播的总帧数，各从终端接收到后对比自身的已播总帧数，在自身的数据缓冲区内向前或向后读取音频数据以确保与主终端的已播总帧数一致，实现与主终端的同步播放。

7.根据权利要求1所述的一种多智能终端同步播放方法，其特征在于，还包括主从终端同步延时，具体为：

主终端向从终端发送改变播放模式的信号，并广播其当前已播总帧数，从终端根据接收到的信号以及主终端已播总帧数，调整读取音频数据位置，实现同步延时。

8.根据权利要求1所述的一种多智能终端同步播放方法，其特征在于，还包括主从终端的特殊场景处理，具体为：

当一个从终端网络连接状况不足以支撑音频流传送时，主终端主动断开其连接，停止传送音频数据，其余从终端的播放不受影响；当主终端网络出现异常，各从终端感知到与主终端连接断开或接收音频数据速率无法支撑音频播放，各从终端主动断开与主终端连接，并向用户发出提醒；

当任一终端来电时广播来电信号，其余终端接收到后自动静音以避免对来电终端通话的影响，通话结束后，特殊场景处理模块广播通话结束信号，其余终端接收到后恢复音量，继续同步播放；

当主终端长时间暂停播放时，从终端无其他业务处理时进入深度睡眠状态以节省电量，从终端睡眠后，定时唤醒检测主终端是否继续播放，若主终端要求继续播放，从终端唤醒，然后通知主终端能够协同播放。

9.一种智能终端，其特征在于，包括主终端和从终端两种，其中：

主终端包括音频流获取模块、音频流发送模块、主终端播放模块、第一同步处理模块、第一位置检测与更新模块、第一特殊场景处理模块、第一连接管理模块，其中，

音频流获取模块，用于主终端读取音频流；

音频流发送模块，用于将读取的音频流发送至从终端；

主终端播放模块，用于播放读取的音频流；

第一位置检测与更新模块，用于检测自身位置信息、获取各从终端位置信息以及主从终端之间的相对距离；

第一同步处理模块，用于统计主终端已播总帧数并发送至从终端；根据主从终端各自位置信息确定主从终端之间的相对距离，确定音频传送线程的优先级；向从终端广播播放模式；

第一特殊场景处理模块，用于实现特殊场景下主终端的控制；

第一连接管理模块，用于建立主从终端之间的连接；

从终端包括音频流接收模块、从终端播放模块、第二同步处理模块、第二位置检测与更新模块、第二特殊场景处理模块、第二连接管理模块，其中，

音频流接收模块，用于接收主终端发送的音频流；

从终端播放模块，用于播放主终端发送的音频流；

第二位置检测与更新模块，用于检测自身位置信息并发送至主终端；

第二同步处理模块，用于统计从终端已播总帧数；根据主终端广播的已播总帧数以及播放模式，调整读取音频数据位置；

第二特殊场景处理模块，用于实现特殊场景下从终端的控制；

第二连接管理模块，用于建立主从终端之间的连接。

10.一种同步播放系统，其特征在于，包括如权利要求9所述的一个主终端和至少一个从终端。