CN111352605A - 一种音频播放、发送的方法及装置 - Google Patents

一种音频播放、发送的方法及装置 Download PDF

Info

Publication number
CN111352605A
CN111352605A CN201811565526.9A CN201811565526A CN111352605A CN 111352605 A CN111352605 A CN 111352605A CN 201811565526 A CN201811565526 A CN 201811565526A CN 111352605 A CN111352605 A CN 111352605A
Authority
CN
China
Prior art keywords
audio data
system time
transmitting
audio
sending
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201811565526.9A
Other languages
English (en)
Inventor
宋子全
庞秀娟
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hisense Visual Technology Co Ltd
Original Assignee
Hisense Visual Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hisense Visual Technology Co Ltd filed Critical Hisense Visual Technology Co Ltd
Priority to CN201811565526.9A priority Critical patent/CN111352605A/zh
Priority to PCT/CN2019/104971 priority patent/WO2020125076A1/zh
Priority to EP19898733.1A priority patent/EP3902271A4/en
Priority to CN201980079748.6A priority patent/CN113261300B/zh
Priority to PCT/CN2019/107265 priority patent/WO2020125110A1/zh
Priority to US16/588,510 priority patent/US11190836B2/en
Publication of CN111352605A publication Critical patent/CN111352605A/zh
Priority to US17/512,912 priority patent/US11871075B2/en
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16—Sound input; Sound output
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16—Sound input; Sound output
    • G06F3/165—Management of the audio stream, e.g. setting of volume, audio stream path

Abstract

本申请公开了一种音频播放、发送的方法及装置，用以减少音频数据接收端的播放延迟。本申请实施例提供的一种音频播放方法，包括：接收音频数据发送端发送的音频数据；计算与所述音频数据发送端之间传输所述音频数据的网络延时；当所述网络延时大于预设阈值时，丢弃所述音频数据。避免了由于网络延时较大而音频数据接收端无法与音频数据发送端实时同步音频数据的现象。

Description

一种音频播放、发送的方法及装置
技术领域
本申请涉及智能设备互动技术领域，尤其涉及一种音频播放、发送的方法及装置。
背景技术
随着电视技术的不断发展，电视产品越来越受到广大用户的认可和使用。在一些场景中，许多用户在看电视节目时，为了避免影响家庭成员的休息，通常将电视调成静音状态或将电视音量调小，这在一定程度上影响到电视节目收看的体验。
把移动设备作为智能电视的一个声音输出设备，电视端实时抓取当前的声音，并传送到移动设备进行实时播放。但是电视与手机连接后，可能由于网络原因及手机播放缓存不能及时清理而造成声音延时。
发明内容
本申请实施例提供了一种音频播放、发送的方法及装置，用以减少音频数据接收端的播放延迟。
本申请实施例提供的一种音频播放方法，包括：
接收音频数据发送端发送的音频数据；
计算与所述音频数据发送端之间传输所述音频数据的网络延时；
当所述网络延时大于预设阈值时，丢弃所述音频数据。
通过该方法，接收音频数据发送端发送的音频数据；计算与所述音频数据发送端之间传输所述音频数据的网络延时；当所述网络延时大于预设阈值时，丢弃所述音频数据，从而减少音频数据接收端的播放延迟。
可选地，在接收音频数据发送端发送的音频数据之前，还包括：
接收所述音频数据发送端发送的第一系统时间数据包，其中，所述第一系统时间数据包中包括所述音频数据发送端在传音开始时刻的第一系统时间；
计算当前音频数据接收端的第二系统时间与所述第一系统时间的差值作为第一差值；
根据所述第一差值，计算音频数据发送端与音频数据接收端之间传输所述音频数据的网络延时。
可选地，所述根据所述第一差值，计算音频数据发送端与音频数据接收端之间传输所述音频数据的网络延时，具体包括：
解析所述音频数据中携带的第三系统时间，其中，所述第三系统时间是所述音频数据发送端发送所述音频数据时的系统时间；
获取第四系统时间，其中，所述第四系统时间是所述音频数据接收端接收到所述音频数据的系统时间；
计算所述第四系统时间与所述第三系统时间的差值作为第二差值；
确定所述音频数据发送端与音频数据接收端之间传输所述音频数据的网络延时为：所述第二差值与所述第一差值的差值。
可选地，所述音频数据传输指令还用于指示所述音频发送端关闭设备音响。
本申请实施例提供的一种音频发送方法，包括：
接收音频数据接收端发送的传音指令；
采集所述当前播放节目的音频数据，并将所述音频数据采集开始时刻的第三系统时间发送至所述音频数据接收端；
发送音频数据至音频数据接收端，其中，所述音频数据中携带所述音频数据发送端的第三系统时间，使得所述音频数据接收端计算所述音频数据发送端与所述音频数据接收端之间传输所述音频数据的网络延时，并根据所述网络延时判断是否播放所述音频数据。
通过该方法，接收音频数据接收端发送的传音指令；采集所述当前播放节目的音频数据，并将所述音频数据采集开始时刻的第三系统时间发送至所述音频数据接收端；发送音频数据至音频数据接收端，其中，所述音频数据中携带所述音频数据发送端的第三系统时间，使得所述音频数据接收端计算所述音频数据发送端与所述音频数据接收端之间传输所述音频数据的网络延时，并根据所述网络延时判断是否播放所述音频数据，从而减少音频数据接收端的播放延迟。
可选地，在采集音频数据发送端当前播放节目的音频数据之前，还包括：
将所述音频数据发送端的第一系统时间发送给所述音频数据接收端。
相应地，在装置侧，本申请实施例提供的一种音频播放装置，包括：
发送单元，用于向音频数据发送端发送音频数据传输指令；
接收单元，用于接收音频数据发送端发送的音频数据；
计算单元，用于计算与所述音频数据发送端之间传输所述音频数据的网络延时；
播放单元，用于当所述网络延时大于预设阈值时，丢弃所述音频数据。
在装置侧，本申请实施例提供的一种音频发送装置，包括：
接收单元，用于接收音频数据接收端发送的传音指令；
采集单元，用于采集所述当前播放节目的音频数据，并将所述音频数据采集开始时刻的第三系统时间发送至所述音频数据接收端；
发送单元，用于发送音频数据至音频数据接收端，其中，所述音频数据中携带所述音频数据发送端的第三系统时间，使得所述音频数据接收端计算所述音频数据发送端与所述音频数据接收端之间传输所述音频数据的网络延时，并根据所述网络延时判断是否播放所述音频数据。
本申请实施例还提供的一种计算设备，包括：
存储器，用于存储程序指令；
处理器，用于调用所述存储器中存储的程序指令，按照获得的程序执行上述本申请实施例提供的任一种所述的方法。
本申请另一实施例提供了一种计算机存储介质，所述计算机存储介质存储有计算机可执行指令，所述计算机可执行指令用于使所述计算机执行上述任一种方法。
附图说明
为了更清楚地说明本申请实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简要介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域的普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本申请实施例提供的一个智能电视与移动设备交互实例的第一个视图；
图2为本申请实施例提供的一个移动终端与智能电视连接状态的示意图；
图3为本申请实施例提供的一种移动终端的第一用户界面示意图；
图4为本申请实施例提供的一种移动终端的第二用户界面示意图；
图5为本申请实施例提供的一种移动终端的第三用户界面示意图；
图6为本申请实施例提供的一种音频播放方法示意图；
图7为本申请实施例提供的一种音频发送方法示意图；
图8为本申请实施例提供的一种延时优化总体流程示意图；
图9为本申请实施例提供的一种音频播放装置示意图；
图10为本申请实施例提供的一种音频发送装置示意图；
图11为本申请实施例还提供的一种音频播放装置示意图；
图12为本申请实施例还提供的一种音频发送装置示意图。
具体实施方式
下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，并不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
本申请实施例提供了一种音频播放、发送的方法及装置，通过在音频数据接收端丢弃延时的音频数据，以减小播放缓存，从而减少播放延迟，避免了由于网络延时较大而音频数据接收端无法与音频数据发送端实时同步音频数据的现象。
下面结合说明书附图对本申请各个实施例进行详细描述。需要说明的是，本申请实施例的展示顺序仅代表实施例的先后顺序，并不代表实施例所提供的技术方案的优劣。
在以下描述中，阐述了大量特定细节以提供对本发明实施例的更透彻说明。然而，对于本领域技术人员显而易见的是，在实现本发明实施例而可以不用这些特定细节。
本申请中使用的术语“直播电视”是指实时或与事件发生时间基本同步的电视制作广播。
本申请中使用的术语“视频点播”(VOD)是指允许用户选择和观看/收听点播视频或音频内容的系统和过程。VOD系统可以将内容分流，从而观看实时内容或将其下载到储存介质以稍后再观看。
本申请中使用的术语“确定”、“计算”和“计算机计算”及其变通说法，可互换使用，并包括任何类型的方法论、过程、数学运算或技巧。
本申请实施例提供了一种智能电视与移动终端交互的应用场景。
参考图1所示的智能电视100的一些实施例。智能电视100可用于娱乐、商业应用、社交互动、内容创建和/或消费，和/或，还包括用于组织和控制与智能电视100进行通信的一个或多个其他设备。因此可以理解为，智能电视可以用于增强用户互动体验，无论是在家中还是工作场所。
在一些实例中，智能电视100可以通过配置来接收和理解各种用户和/或设备输入。可以使用移动终端，如智能电话、平板电脑、计算机、笔记本电脑、上网本和其他智能设备以控制智能电视100。例如，使用在智能设备上运行的应用程序控制智能电视100。
在一些实例中，智能电视100可配置通过各种输入设备接收输入，包括但绝不限于视频、音频、无线电、光、触觉及其组合。例如，用户可以以会话方式和智能电视100讲话。智能电视100就像是智能设备的智能私人助手和音控导航应用程序(如苹果的Siri、安卓的Skyvi、Robin、Iris和其他应用程序)一样接收和理解语音命令。
本申请实施例提供的一种移动终端的用户界面交互的操作步骤，主要包括：
如图2为本申请实施例提供的一个移动终端与智能电视连接状态的示意图。当智能电视与移动终端进行交互时，移动终端可以通过各种连接协议，发送智能电视，并与之建议通信连接，并且，该移动终端可以对所述智能电视进行遥控操作，或者安装有能对所述智能电视进行操控的应用程序。
如图3-5所示，当接收并响应于启动智能电视的遥控应用的指令，移动终端可以启动遥控应用，呈现能对所述智能电视进行操控的第一用户界面，该第一用户界面包括主控制区和功能选择区，其中，所述主控制区包括音量控制区、节目切换区；所述功能选择区至少包括传音选项卡。移动终端可以通过在用户界面上操作，实现与智能电视的交互。示例性的，当用户在音量控制区输入指令，可控制智能电视端的音量输出。
接收并响应于对所述传音选项卡的选择，呈现第二用户界面，其中，所述第二用户界面上显示当前播放声音的设备为所述音频数据发送端的提示信息，以及用于将声音播放端切换至所述移动终端的传音切换选项栏。
接收并响应于选中所述传音切换选项栏的指令，将播放声音的设备切换为所述移动设备，并呈现第三用户界面，其中，所述第三用户界面上显示有当前播放声音的设备为所述移动终端的提示信息。在传音切换的过程中，智能电视端将其音频播放器的音量调节为静音或者0，使得所述音频数据仍在音频播放器中播放，但是不从喇叭出输出，将所述音频数据进行采集录制，下发至移动终端。
当智能电视接收到移动终端的传音指令后，将采集到的音频数据编码成脉冲编码调制(Pulse Code Modulation，PCM)数据流，通过网络传输到移动设备，移动设备对电视声音进行实时播放，由于音频数据流是原始的PCM数据，因此，手机端每接收到一帧数据，不需要做任何解码处理，直接将数据送到硬件解码器中进行解码播放。
在基于Linux或者Android系统开发的智能电视系统上，利用电视整机主处理芯片(CPU)提供的音频抓取编码功能，将电视当前屏幕的声音按照一定的采样格式(8KHz采样率、16Bit采样精度，双声道)进行抓取，提供PCM格式的音频流数据，无压缩的通过有线网络或者无线网络传送给智能手机，智能手机端接收到音频流数据后，直接将数据送到硬件解码器中进行解码播放。
参见图6，本申请实施例提供的一种音频播放方法，包括：
S101、接收音频数据发送端发送的音频数据；
S102、计算与所述音频数据发送端之间传输所述音频数据的网络延时；
例如，音频数据发送端为电视端。
S103、当所述网络延时大于预设阈值时，丢弃所述音频数据。
例如，预设阈值可以为200毫秒，当网络延时大于200毫秒时，则丢弃音频数据，不送入音频播放器进行播放(将延时较大的音频数据播放，没有意义)；当网络延时小于或等于预设阈值时，将音频数据送入音频播放器进行播放。手机在播放音频数据之前，会将上层接收到的音频数据放在一个缓存队列中，手机的系统播放器播放时从缓存队列中取数据，播放完毕后，已播放的数据会从缓存队列中被删除，如果上层应用向缓存队列中写数据过快，而播放器从缓存队列中取数据相对较慢，则这个队列中的缓存数据会越来越多。
可选地，在接收音频数据发送端发送的音频数据之前，还包括：
接收所述音频数据发送端发送的第一系统时间数据包，其中，所述第一系统时间数据包中包括所述音频数据发送端在传音开始时刻的第一系统时间；
计算当前音频数据接收端的第二系统时间与所述第一系统时间的差值作为第一差值；
根据所述第一差值，计算音频数据发送端与音频数据接收端之间传输所述音频数据的网络延时。
例如，音频数据接收端为手机端，第一系统时间为电视的系统时间Time1_tv，第二系统时间为手机的系统时间Time1_phone，第一差值的计算公式为Time1_phone-Time1_tv；第一系统时间与第二系统时间可能是不相同的，一种原因是电视上的时间没有与网络同步过(例如路由器没有连接外网)，而手机上的时间与网络同步过；另一种原因是电视与手机都与网络同步过时间，但同步后的电视与手机的时间不可能完全一样，会存在几毫秒到几百毫秒，甚至1秒左右的误差。
可选地，所述根据所述第一差值，计算音频数据发送端与音频数据接收端之间传输所述音频数据的网络延时，具体包括：
解析所述音频数据中携带的第三系统时间，其中，所述第三系统时间是所述音频数据发送端发送所述音频数据时的系统时间；
获取第四系统时间，其中，所述第四系统时间是所述音频数据接收端接收到所述音频数据的系统时间；
计算所述第四系统时间与所述第三系统时间的差值作为第二差值；
确定所述音频数据发送端与音频数据接收端之间传输所述音频数据的网络延时为：所述第二差值与所述第一差值的差值。
例如，第三系统时间为电视的系统时间Time2_tv，第四系统时间为手机的系统时间Time2_phone，第二差值的计算公式为Time2_phone-Time2_tv；则根据第一差值和第二差值，得到网络延时的计算公式为：
(Time2_phone-Time2_tv)-(Time1_phone-Time1_tv)；
其中，Time2_phone-Time2_tv表示从电视端传输音频数据到手机端时的网络延时加上电视端与手机端的系统时间差；Time1_phone-Time1_tv表示电视端与手机端的系统时间差(由于从电视端到手机端传输的数据量只是一个时间，没有音频数据，因此传输过程中的网络延时很小，可以忽略)；(Time2_phone-Time2_tv)-(Time1_phone-Time1_tv)表示从电视端传输音频数据到手机端时的网络延时。
可选地，所述音频数据传输指令还用于指示所述音频发送端关闭设备音响。
相应地，例如在电视端，参见图7，本申请实施例提供的一种音频发送方法，包括：
S201、接收音频数据接收端发送的传音指令；
S202、采集所述当前播放节目的音频数据，并将所述音频数据采集开始时刻的第三系统时间发送至所述音频数据接收端；
S203、发送音频数据至音频数据接收端，其中，所述音频数据中携带所述音频数据发送端的第三系统时间，使得所述音频数据接收端计算所述音频数据发送端与所述音频数据接收端之间传输所述音频数据的网络延时，并根据所述网络延时判断是否播放所述音频数据。
例如，电视端将PCM格式音频数据发送给手机端之前，会在PCM格式音频数据的前面加上(电视端)当前的系统时间信息。
可选地，在采集音频数据发送端当前播放节目的音频数据之前，还包括：
将所述音频数据发送端的第一系统时间发送给所述音频数据接收端。
参见图8，为本申请实施例提供的一种延时优化总体流程图，电视端和手机端总的具体处理流程包括：
电视端接收到手机的连接后，获取当前(电视端)系统时间Time1_tv，并把该系统时间发送到手机端；
手机端接收到该系统时间后，获取当前(手机端)系统时间Time1_phone；
计算手机端和电视端的系统时间差值time_systemDiff(对于不同的设备，例如手机、电视，在同一时间获取到的系统时间可能不一样)，公式如下：
time_systemDiff＝Time1_phone-Time1_tv；
电视端每次抓取到PCM格式音频数据后，同时获取当前的系统时间Time2_tv，然后对PCM格式音频数据和系统时间Time2_tv进行打包处理，打包格式如表1所示：
表1音频数据包
时间(长度8Byte) 音频数据(长度640Byte)
音频数据的计算方法为：
假设音频采样率为8000Hz，采样通道为2，位深度为16，采样间隔为20ms，则每帧音频数据大小的计算公式为：
Figure BDA0001914429150000101
手机端接收到音频数据包后，解析出时间Time2_tv，然后手机端获取本系统当前的时间Time2_phone，并计算手机端和电视端的系统时间差值time_netDiff＝Time2_phone-Time2_tv；
计算真实的网络延时time_delay，公式为：
time_delay＝time_netDiff-time_systemDiff；
当网络延时time_delay大于预设阈值K时，例如K为200ms，手机端把音频数据丢弃，不送入音频播放器(播放延时较大的音频数据，没有意义)；当网络延时time_delay小于或等于预设阈值K时，手机端把音频数据送入音频播放器进行播放。
以下为本申请提供的一个具体实施例，以2018年12月1日这一天为例。
假设开始传输数据时，电视端的系统时间Time1_tv为11点11分11秒100毫秒，手机端的系统时间Time1_phone为11点11分12秒110毫秒，根据计算公式time_systemDiff＝Time1_phone-Time1_tv得到time_systemDiff为1秒10毫秒，也就是说，手机端的系统时间比电视端的系统时间快了1秒10毫秒。
经过2秒后，电视端开始向手机端发送音频数据，此时电视端的系统时间Time2_tv为11点11分13秒100毫秒；手机端接收到音频数据的系统时间Time2_phone为11点11分14秒210毫秒，根据计算公式time_netDiff＝Time2_phone-Time2_tv得到time_netDiff为1秒110毫秒。
根据真实的网络延时计算公式time_delay＝time_netDiff-time_systemDiff得到time_delay为100毫秒。
相应地，在装置侧，参见图9，本申请实施例提供的一种音频播放装置，包括：
发送单元11，用于向音频数据发送端发送音频数据传输指令；
接收单元12，用于接收音频数据发送端发送的音频数据；
计算单元13，用于计算与所述音频数据发送端之间传输所述音频数据的网络延时；
播放单元14，用于当所述网络延时大于预设阈值时，丢弃所述音频数据。
在装置侧，参见图10，本申请实施例提供的一种音频发送装置，包括：
接收单元21，用于接收音频数据接收端发送的传音指令；
采集单元22，用于采集所述当前播放节目的音频数据，并将所述音频数据采集开始时刻的第三系统时间发送至所述音频数据接收端；
发送单元23，用于发送音频数据至音频数据接收端，其中，所述音频数据中携带所述音频数据发送端的第三系统时间，使得所述音频数据接收端计算所述音频数据发送端与所述音频数据接收端之间传输所述音频数据的网络延时，并根据所述网络延时判断是否播放所述音频数据。
参见图11，本申请实施例还提供的一种音频播放装置，包括：
处理器600，用于读取存储器610中的程序，执行下列过程：
接收音频数据发送端发送的音频数据；
计算与所述音频数据发送端之间传输所述音频数据的网络延时；
当所述网络延时大于预设阈值时，丢弃所述音频数据。
通过该装置，接收音频数据发送端发送的音频数据；计算与所述音频数据发送端之间传输所述音频数据的网络延时；当所述网络延时大于预设阈值时，丢弃所述音频数据，从而减少音频数据接收端的播放延迟。
可选地，在接收音频数据发送端发送的音频数据之前，还包括：
接收所述音频数据发送端发送的第一系统时间数据包，其中，所述第一系统时间数据包中包括所述音频数据发送端在传音开始时刻的第一系统时间；
计算当前音频数据接收端的第二系统时间与所述第一系统时间的差值作为第一差值；
根据所述第一差值，计算音频数据发送端与音频数据接收端之间传输所述音频数据的网络延时。
可选地，所述根据所述第一差值，计算音频数据发送端与音频数据接收端之间传输所述音频数据的网络延时，具体包括：
解析所述音频数据中携带的第三系统时间，其中，所述第三系统时间是所述音频数据发送端发送所述音频数据时的系统时间；
获取第四系统时间，其中，所述第四系统时间是所述音频数据接收端接收到所述音频数据的系统时间；
计算所述第四系统时间与所述第三系统时间的差值作为第二差值；
确定所述音频数据发送端与音频数据接收端之间传输所述音频数据的网络延时为：所述第二差值与所述第一差值的差值。
可选地，所述音频数据传输指令还用于指示所述音频发送端关闭设备音响。
参见图12，本申请实施例还提供的一种音频发送装置，包括：
处理器800，用于读取存储器810中的程序，执行下列过程：
接收音频数据接收端发送的传音指令；
采集所述当前播放节目的音频数据，并将所述音频数据采集开始时刻的第三系统时间发送至所述音频数据接收端；
发送音频数据至音频数据接收端，其中，所述音频数据中携带所述音频数据发送端的第三系统时间，使得所述音频数据接收端计算所述音频数据发送端与所述音频数据接收端之间传输所述音频数据的网络延时，并根据所述网络延时判断是否播放所述音频数据。
通过该装置，接收音频数据接收端发送的传音指令；采集所述当前播放节目的音频数据，并将所述音频数据采集开始时刻的第三系统时间发送至所述音频数据接收端；发送音频数据至音频数据接收端，其中，所述音频数据中携带所述音频数据发送端的第三系统时间，使得所述音频数据接收端计算所述音频数据发送端与所述音频数据接收端之间传输所述音频数据的网络延时，并根据所述网络延时判断是否播放所述音频数据，从而减少音频数据接收端的播放延迟。
可选地，在采集音频数据发送端当前播放节目的音频数据之前，还包括：
将所述音频数据发送端的第一系统时间发送给所述音频数据接收端。
其中，在图11和图12中，总线架构可以包括任意数量的互联的总线和桥，具体由处理器代表的一个或多个处理器和存储器代表的存储器的各种电路链接在一起。总线架构还可以将诸如外围设备、稳压器和功率管理电路等之类的各种其他电路链接在一起，这些都是本领域所公知的，因此，本文不再对其进行进一步描述。总线接口提供接口。
本申请实施例提供了一种显示终端，该显示终端具体可以为桌面计算机、便携式计算机、智能手机、平板电脑、个人数字助理(Personal Digital Assistant，PDA)等。该显示终端可以包括中央处理器(Center Processing Unit，CPU)、存储器、输入/输出设备等，输入设备可以包括键盘、鼠标、触摸屏等，输出设备可以包括显示设备，如液晶显示器(Liquid Crystal Display，LCD)、阴极射线管(Cathode Ray Tube，CRT)等。
针对不同的显示终端，可选地，用户接口620和820可以是能够外接内接需要设备的接口，连接的设备包括但不限于小键盘、显示器、扬声器、麦克风、操纵杆等。
处理器负责管理总线架构和通常的处理，存储器可以存储处理器在执行操作时所使用的数据。
可选地，处理器可以是CPU(中央处埋器)、ASIC(Application SpecificIntegrated Circuit，专用集成电路)、FPGA(Field－Programmable Gate Array，现场可编程门阵列)或CPLD(Complex Programmable Logic Device，复杂可编程逻辑器件)。
存储器可以包括只读存储器(ROM)和随机存取存储器(RAM)，并向处理器提供存储器中存储的程序指令和数据。在本申请实施例中，存储器可以用于存储本申请实施例提供的任一所述方法的程序。
处理器通过调用存储器存储的程序指令，处理器用于按照获得的程序指令执行本申请实施例提供的任一所述方法。
本申请实施例提供了一种计算机存储介质，用于储存为上述本申请实施例提供的装置所用的计算机程序指令，其包含用于执行上述本申请实施例提供的任一方法的程序。
所述计算机存储介质可以是计算机能够存取的任何可用介质或数据存储设备，包括但不限于磁性存储器(例如软盘、硬盘、磁带、磁光盘(MO)等)、光学存储器(例如CD、DVD、BD、HVD等)、以及半导体存储器(例如ROM、EPROM、EEPROM、非易失性存储器(NAND FLASH)、固态硬盘(SSD))等。
综上所述，本申请实施例提供的一种音频播放、发送的方法及装置，通过在音频数据接收端丢弃延时的音频数据，以减小播放缓存，从而减少播放延迟。
本领域内的技术人员应明白，本申请的实施例可提供为方法、系统、或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器和光学存储器等)上实施的计算机程序产品的形式。
本申请是参照根据本申请实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
显然，本领域的技术人员可以对本申请进行各种改动和变型而不脱离本申请的精神和范围。这样，倘若本申请的这些修改和变型属于本申请权利要求及其等同技术的范围之内，则本申请也意图包含这些改动和变型在内。

Claims (10)

1.一种音频播放方法，其特征在于，该方法包括：
接收音频数据发送端发送的音频数据；
计算与所述音频数据发送端之间传输所述音频数据的网络延时；
当所述网络延时大于预设阈值时，丢弃所述音频数据。
2.根据权利要求1所述的方法，其特征在于，在接收音频数据发送端发送的音频数据之前，还包括：
接收所述音频数据发送端发送的第一系统时间数据包，其中，所述第一系统时间数据包中包括所述音频数据发送端在传音开始时刻的第一系统时间；
计算当前音频数据接收端的第二系统时间与所述第一系统时间的差值作为第一差值；
根据所述第一差值，计算音频数据发送端与音频数据接收端之间传输所述音频数据的网络延时。
3.根据权利要求2所述的方法，其特征在于，所述根据所述第一差值，计算音频数据发送端与音频数据接收端之间传输所述音频数据的网络延时，具体包括：
解析所述音频数据中携带的第三系统时间，其中，所述第三系统时间是所述音频数据发送端发送所述音频数据时的系统时间；
获取第四系统时间，其中，所述第四系统时间是所述音频数据接收端接收到所述音频数据的系统时间；
计算所述第四系统时间与所述第三系统时间的差值作为第二差值；
确定所述音频数据发送端与音频数据接收端之间传输所述音频数据的网络延时为：所述第二差值与所述第一差值的差值。
4.根据权利要求1所述的方法，其特征在于，所述音频数据传输指令还用于指示所述音频数据发送端关闭设备音响。
5.一种音频发送方法，其特征在于，该方法包括：
接收音频数据接收端发送的传音指令；
采集所述当前播放节目的音频数据，并将所述音频数据采集开始时刻的第三系统时间发送至所述音频数据接收端；
发送音频数据至音频数据接收端，其中，所述音频数据中携带所述音频数据发送端的第三系统时间，使得所述音频数据接收端计算所述音频数据发送端与所述音频数据接收端之间传输所述音频数据的网络延时，并根据所述网络延时判断是否播放所述音频数据。
6.根据权利要求5所述的方法，其特征在于，在采集音频数据发送端当前播放节目的音频数据之前，还包括：
将所述音频数据发送端的第一系统时间发送给所述音频数据接收端。
7.一种音频播放装置，其特征在于，该装置包括：
发送单元，用于向音频数据发送端发送音频数据传输指令；
接收单元，用于接收音频数据发送端发送的音频数据；
计算单元，用于计算与所述音频数据发送端之间传输所述音频数据的网络延时；
播放单元，用于当所述网络延时大于预设阈值时，丢弃所述音频数据。
8.一种音频发送装置，其特征在于，该装置包括：
接收单元，用于接收音频数据接收端发送的传音指令；
采集单元，用于采集所述当前播放节目的音频数据，并将所述音频数据采集开始时刻的第三系统时间发送至所述音频数据接收端；
发送单元，用于发送音频数据至音频数据接收端，其中，所述音频数据中携带所述音频数据发送端的第三系统时间，使得所述音频数据接收端计算所述音频数据发送端与所述音频数据接收端之间传输所述音频数据的网络延时，并根据所述网络延时判断是否播放所述音频数据。
9.一种计算设备，其特征在于，包括：
存储器，用于存储程序指令；
处理器，用于调用所述存储器中存储的程序指令，按照获得的程序执行权利要求1～6任一项所述的方法。
10.一种计算机存储介质，其特征在于，所述计算机存储介质存储有计算机可执行指令，所述计算机可执行指令用于使所述计算机执行权利要求1至6任一项所述的方法。
CN201811565526.9A 2018-12-20 2018-12-20 一种音频播放、发送的方法及装置 Pending CN111352605A (zh)

Priority Applications (7)

Application Number Priority Date Filing Date Title
CN201811565526.9A CN111352605A (zh) 2018-12-20 2018-12-20 一种音频播放、发送的方法及装置
PCT/CN2019/104971 WO2020125076A1 (zh) 2018-12-20 2019-09-09 音频播放、发送方法和装置
EP19898733.1A EP3902271A4 (en) 2018-12-20 2019-09-09 AUDIO REPRODUCTION AND TRANSMISSION METHOD AND APPARATUS
CN201980079748.6A CN113261300B (zh) 2018-12-20 2019-09-23 音频发送、播放的方法及智能电视
PCT/CN2019/107265 WO2020125110A1 (zh) 2018-12-20 2019-09-23 音频发送、播放的方法及智能电视
US16/588,510 US11190836B2 (en) 2018-12-20 2019-09-30 Audio playing and transmitting methods and apparatuses
US17/512,912 US11871075B2 (en) 2018-12-20 2021-10-28 Audio playing and transmitting methods and apparatuses

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201811565526.9A CN111352605A (zh) 2018-12-20 2018-12-20 一种音频播放、发送的方法及装置

Publications (1)

Publication Number Publication Date
CN111352605A true CN111352605A (zh) 2020-06-30

Family

ID=71196703

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201811565526.9A Pending CN111352605A (zh) 2018-12-20 2018-12-20 一种音频播放、发送的方法及装置

Country Status (1)

Country Link
CN (1) CN111352605A (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113611266A (zh) * 2021-07-08 2021-11-05 北京小唱科技有限公司 适用于多人k歌的音频同步方法、装置及存储介质
CN114501158A (zh) * 2020-10-27 2022-05-13 海信视像科技股份有限公司 显示设备、外接音响设备及外接音响设备音频输出的方法
CN114554270A (zh) * 2022-02-28 2022-05-27 维沃移动通信有限公司 音视频播放方法及其装置

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20120206650A1 (en) * 2011-02-16 2012-08-16 Amtran Technology Co., Ltd Method for synchronized playback of wireless audio and video and playback system using the same
US20140177864A1 (en) * 2012-12-24 2014-06-26 Amihai Kidron Techniques for audio synchronization
CN105992025A (zh) * 2015-02-15 2016-10-05 深圳市民展科技开发有限公司 基于音频同步播放的系统时间校准方法、音频同步播放方法及装置
CN106792073A (zh) * 2016-12-29 2017-05-31 北京奇艺世纪科技有限公司 跨设备的音视频数据同步播放的方法、播放设备及系统
CN106789886A (zh) * 2016-11-16 2017-05-31 深圳市异度信息产业有限公司 数据的传输方法及装置
CN107182009A (zh) * 2016-03-10 2017-09-19 联发科技股份有限公司 音频同步方法及相关电子设备

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20120206650A1 (en) * 2011-02-16 2012-08-16 Amtran Technology Co., Ltd Method for synchronized playback of wireless audio and video and playback system using the same
US20140177864A1 (en) * 2012-12-24 2014-06-26 Amihai Kidron Techniques for audio synchronization
CN105992025A (zh) * 2015-02-15 2016-10-05 深圳市民展科技开发有限公司 基于音频同步播放的系统时间校准方法、音频同步播放方法及装置
CN107182009A (zh) * 2016-03-10 2017-09-19 联发科技股份有限公司 音频同步方法及相关电子设备
CN106789886A (zh) * 2016-11-16 2017-05-31 深圳市异度信息产业有限公司 数据的传输方法及装置
CN106792073A (zh) * 2016-12-29 2017-05-31 北京奇艺世纪科技有限公司 跨设备的音视频数据同步播放的方法、播放设备及系统

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114501158A (zh) * 2020-10-27 2022-05-13 海信视像科技股份有限公司 显示设备、外接音响设备及外接音响设备音频输出的方法
CN113611266A (zh) * 2021-07-08 2021-11-05 北京小唱科技有限公司 适用于多人k歌的音频同步方法、装置及存储介质
CN113611266B (zh) * 2021-07-08 2023-10-31 北京小唱科技有限公司 适用于多人k歌的音频同步方法、装置及存储介质
CN114554270A (zh) * 2022-02-28 2022-05-27 维沃移动通信有限公司 音视频播放方法及其装置

Similar Documents

Publication Publication Date Title
US11336953B2 (en) Video processing method, electronic device, and computer-readable medium
US20170047076A1 (en) Method and device for achieving object audio recording and electronic apparatus
CN107682752B (zh) 视频画面显示的方法、装置、系统、终端设备及存储介质
US11871075B2 (en) Audio playing and transmitting methods and apparatuses
CN111050201B (zh) 数据处理方法、装置、电子设备及存储介质
EP3611897A1 (en) Method, apparatus, and system for presenting communication information in video communication
CN111352605A (zh) 一种音频播放、发送的方法及装置
TW201334518A (zh) 影音播放裝置、影音處理裝置、系統以及方法
WO2018152679A1 (zh) 音频文件的传输、接收方法及装置、设备及其系统
CN110662017B (zh) 一种视频播放质量检测方法和装置
CN109495776B (zh) 一种音频发送、播放的方法及智能终端
CN111078930A (zh) 音频文件数据处理方法及装置
US8868419B2 (en) Generalizing text content summary from speech content
CN112165623A (zh) 软硬结合的音视频编解码装置
WO2018171548A1 (zh) 一种解码方法、终端以及计算机可读存储介质
CN113573172A (zh) 双设备音频播放方法、装置、电子设备及存储介质
CN112995730A (zh) 音画同步调整方法、装置、电子设备及介质
US11908481B2 (en) Method for encoding live-streaming data and encoding device
CN105897666A (zh) 实时语音通话中的实时语音接收设备及降低延迟的方法
CN113225585A (zh) 一种视频清晰度的切换方法、装置、电子设备以及存储介质
US11545148B2 (en) Do not disturb functionality for voice responsive devices
CN111355996A (zh) 一种音频播放方法及计算设备
CN113261300B (zh) 音频发送、播放的方法及智能电视
CN110062276A (zh) 音视频数据的处理方法、装置及电子设备和存储介质
EP3891962B1 (en) Synchronized jitter buffers to handle codec switches

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination