CN105786441B - 一种音频处理的方法、服务器、用户设备及系统 - Google Patents

一种音频处理的方法、服务器、用户设备及系统 Download PDF

Info

Publication number
CN105786441B
CN105786441B CN201610067813.1A CN201610067813A CN105786441B CN 105786441 B CN105786441 B CN 105786441B CN 201610067813 A CN201610067813 A CN 201610067813A CN 105786441 B CN105786441 B CN 105786441B
Authority
CN
China
Prior art keywords
audio
user equipment
server
instructions
audio data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201610067813.1A
Other languages
English (en)
Other versions
CN105786441A (zh
Inventor
王伟光
庄志伟
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tencent Technology Shenzhen Co Ltd
Original Assignee
Tencent Technology Shenzhen Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tencent Technology Shenzhen Co Ltd filed Critical Tencent Technology Shenzhen Co Ltd
Priority to CN201610067813.1A priority Critical patent/CN105786441B/zh
Publication of CN105786441A publication Critical patent/CN105786441A/zh
Priority to PCT/CN2017/072592 priority patent/WO2017129130A1/zh
Priority to EP17743745.6A priority patent/EP3410290B1/en
Priority to US15/975,547 priority patent/US11182425B2/en
Application granted granted Critical
Publication of CN105786441B publication Critical patent/CN105786441B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/60—Information retrieval; Database structures therefor; File system structures therefor of audio data
    • G06F16/68—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/683—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16—Sound input; Sound output
    • G06F3/162—Interface to dedicated audio devices, e.g. audio drivers, interface to CODECs
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/30—Interconnection arrangements between game servers and game devices; Interconnection arrangements between game devices; Interconnection arrangements between game servers
    • A63F13/35—Details of game servers
    • A63F13/358—Adapting the game course according to the network or server load, e.g. for reducing latency due to different connection speeds between clients
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/30—Interconnection arrangements between game servers and game devices; Interconnection arrangements between game devices; Interconnection arrangements between game servers
    • A63F13/35—Details of game servers
    • A63F13/355—Performing operations on behalf of clients with restricted processing capabilities, e.g. servers transform changing game scene into an encoded video stream for transmitting to a mobile phone or a thin client
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/50—Controlling the output signals based on the game progress
    • A63F13/54—Controlling the output signals based on the game progress involving acoustic signals, e.g. for simulating revolutions per minute [RPM] dependent engine sounds in a driving game or reverberation against a virtual wall
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/10—File systems; File servers
    • G06F16/17—Details of further file system functions
    • G06F16/1734—Details of monitoring file system events, e.g. by the use of hooks, filter drivers, logs
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16—Sound input; Sound output
    • G06F3/165—Management of the audio stream, e.g. setting of volume, audio stream path

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • Human Computer Interaction (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Health & Medical Sciences (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • Library & Information Science (AREA)
  • Acoustics & Sound (AREA)
  • Telephonic Communication Services (AREA)

Abstract

本发明公开了一种音频处理的方法，应用于云交互系统，所述云交互系统包括用户设备和服务器，所述方法包括：所述服务器在运行交互式应用时，监测到所述交互式应用对音频接口的调用，根据所述音频接口的类型，生成与所述类型对应的音频指令，确定所述音频指令对应的音频数据是否有对所述用户设备的发送记录；若有发送记录，则向所述用户设备发送所述音频指令，所述音频指令用于所述用户设备在执行所述音频指令时使用缓存的所述音频数据进行相应的音频操作。本发明实施例提供的音频处理的方法，可以提高用户设备侧音频的播放质量，并减少了从服务器到用户设备的网络流量。

Description

一种音频处理的方法、服务器、用户设备及系统
技术领域
本发明涉及云技术领域，具体涉及一种音频处理的方法、服务器、用户设备及系统。
背景技术
随着近年来网络带宽的高速发展，云计算技术的日趋成熟催生了云交互系统。现有的云交系统通常包括服务器和多个用户设备，服务器可以是集群服务器，多种交互式应用都可以运行在云交互系统中。在云交互系统中有关音频处理方面的应用，现有技术中通常服务器会在交互式应用中播放音频，并实时的按照一定频率获取所播放音频的片段，然后发送给用户设备，用户设备即可实现对服务器端音频的播放。
现有技术中的这种服务器到用户设备的音频处理方案，服务器实时的按照一定频率从服务器获取音频数据片断，传输过程中网络波动对音频片段的影响很大，会导致音频卡顿。而且，当音频数据在网络传输过程中，如果网络出现延时变高，会导致用户设备把上一个音频数据片断播放完成时，不能及时的接收到新的音频数据片断，因此在这两个音频数据片断播放中间，出现了无音频数据播放的状态，也会导致音频卡顿。另外，服务器需要不停的获取的音频片段，有些音频片段可能是重复的，但也会重复发送，这导致从服务器到用户设备的网络流量很大，而且当服务器重复播放循环的背景音乐，尤其在有音乐叠加时，服务器端无法提取出每个音乐分量，这导致用户设备播放的音频质量很差。
发明内容
本发明实施例提供一种音频处理的方法，可以提高用户设备侧音频的播放质量，并减少了从服务器到用户设备的网络流量。本发明实施例还提供了相应服务器、用户设备及系统。
本发明第一方面提供一种音频处理的方法，所述方法应用于云交互系统，所述云交互系统包括用户设备和服务器，所述方法包括：
所述服务器在运行交互式应用时，监测到所述交互式应用对音频接口的调用；
所述服务器根据所述音频接口的类型，生成与所述类型对应的音频指令；
所述服务器确定所述音频指令对应的音频数据是否有对所述用户设备的发送记录；
若有发送记录，则所述服务器向所述用户设备发送所述音频指令，所述音频指令用于所述用户设备在执行所述音频指令时使用缓存的所述音频数据进行相应的音频操作。
本发明第二方面提供一种音频处理的方法，所述方法应用于云交互系统，所述云交互系统包括用户设备和服务器，所述方法包括：
所述用户设备接收所述服务器发送的音频指令；
所述用户设备从缓存中获取所述音频指令对应的音频数据；
所述用户设备在执行所述音频指令时使用缓存的所述音频数据进行相应的音频操作。
本发明第三方面提供一种服务器，所述服务器应用于云交互系统，所述云交互系统还包括用户设备，所述服务器包括：
监测单元，用于在运行交互式应用时，监测到所述交互式应用对音频接口的调用；
生成单元，用于根据所述监测单元检测到的所述音频接口的类型，生成与所述类型对应的音频指令；
确定单元，用于确定所述生成单元生成的所述音频指令对应的音频数据是否有对所述用户设备的发送记录；
发送单元，用于在所述发送单元确定有发送记录时，向所述用户设备发送所述音频指令，所述音频指令用于所述用户设备在执行所述音频指令时使用缓存的所述音频数据进行相应的音频操作。
本发明第四方面提供一种用户设备，所述用户设备应用于云交互系统，所述云交互系统还包括服务器，所述用户设备包括：
接收单元，用于接收所述服务器发送的音频指令；
获取单元，用于从缓存中获取所述接收单元接收的所述音频指令对应的音频数据；
处理单元，用于在执行所述音频指令时使用所述获取单元获取的缓存的音频数据进行相应的音频操作。
本发明第五方面提供一种服务器，所述服务器应用于云交互系统，所述云交互系统还包括用户设备，所述服务器包括：收发器、处理器和存储器，所述存储器用于存储所述处理器执行音频处理的程序；
所述处理器用于：
在运行交互式应用时，监测到所述交互式应用对音频接口的调用；
根据所述音频接口的类型，生成与所述类型对应的音频指令；
确定所述音频指令对应的音频数据是否有对所述用户设备的发送记录；
所述收发器用于在有发送记录时，向所述用户设备发送所述音频指令，所述音频指令用于所述用户设备在执行所述音频指令时使用缓存的所述音频数据进行相应的音频操作。
本发明第六方面提供一种用户设备，所述用户设备应用于云交互系统，所述云交互系统还包括服务器，所述用户设备包括：收发器、处理器和存储器，所述存储器用于存储所述处理器执行音频处理的程序；
所述收发器用于接收所述服务器发送的音频指令；
所述处理器用于从缓存中获取所述音频指令对应的音频数据，在执行所述音频指令时使用缓存的所述音频数据进行相应的音频操作。
本发明第七方面提供一种云交互系统，包括用户设备和服务器，
所述服务器用于：
在运行交互式应用时，监测到所述交互式应用对音频接口的调用；
根据所述音频接口的类型，生成与所述类型对应的音频指令；
确定所述音频指令对应的音频数据是否有对所述用户设备的发送记录；
若有发送记录，则向所述用户设备发送所述音频指令，所述音频指令用于所述用户设备在执行所述音频指令时使用缓存的所述音频数据进行相应的音频操作；
所述用户设备用于：
接收所述服务器发送的音频指令；
从缓存中获取所述音频指令对应的音频数据；
在执行所述音频指令时使用缓存的所述音频数据进行相应的音频操作。
与现有技术中用户设备要通过播放服务器发送的音频片段来实现用户设备对服务器侧音频的播放相比，本发明实施例提供的音频处理的方法，服务器通过向用户设备发送音频指令的方案来实现用户设备对服务器侧音频的播放，提高了用户设备侧音频的播放质量，另外，服务器确定要发送的音频指令对应的音频数据有对相应用户设备的发送记录时，则只向用户设备发送音频指令，不再重复发送音频数据，从而减少了从服务器到用户设备的网络流量。
附图说明
为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本发明实施例中云交互式系统的一实施例示意图；
图2是本发明实施例音频处理的方法的一实施例示意图；
图3是本发明实施例音频处理的方法的另一实施例示意图；
图4是本发明实施例音频处理的方法的另一实施例示意图；
图5是本发明实施例音频处理的方法的另一实施例示意图；
图6是本发明实施例中服务器的一实施例示意图；
图7是本发明实施例中服务器的另一实施例示意图；
图8是本发明实施例中服务器的另一实施例示意图；
图9是本发明实施例中用户设备的一实施例示意图；
图10是本发明实施例中服务器的另一实施例示意图；
图11是本发明实施例中用户设备的另一实施例示意图。
具体实施方式
本发明实施例提供一种音频处理的方法，可以提高用户设备侧音频的播放质量，并减少了从服务器到用户设备的网络流量。本发明实施例还提供了相应服务器、用户设备及系统。以下分别进行详细说明。
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
图1为本发明实施例中云交互式系统的一实施例示意图。
参阅图1，云交互式系统可以理解为是云游戏系统，通常包括服务器和用户设备，用户设备可以有多个，服务器也可以是服务器集群。用户设备可以是个人电脑(PersonalComputer，PC)、笔记本和手机等终端设备。服务器可以是专用的游戏服务器。目前游戏的音频处理方案是由服务器获取服务器端正在播放的音频片段，然后传输给用户设备侧播放，这样导致用户设备侧播放的音频质量很差，而且会导致从服务器到用户设备的网络流量消耗很大。
本发明实施例中，服务器通过音频指令的方式来指示用户设备侧播放音频数据，从而提高了用户设备侧音频的播放质量，另外，服务器在音频数据有对用户设备的发送记录时则只发送音频指令，用户设备在执行音频指令时，可以利用缓存的音频数据来实现音频操作。从而减少了从服务器到用户设备的网络流量。
本发明实施例中涉及到了Hook函数，即钩子注入，把原本的函数执行过程替换成自定义的函数。
结合图1所示的云交互式系统，下面参阅图2所示的音频处理的方法的示意图，对本发明实施例提供的音频处理的过程进行说明。
参阅图2，本发明实施例提供的音频处理的方法的一实施例包括：
101、服务器在运行交互式应用时，监测到所述交互式应用对音频接口的调用。
结合游戏场景，该步骤为在游戏运行时，服务器监测到游戏对音频软件开发工具包(Software Development Kit，SDK)的音频接口的调用。
可以是：所述服务器通过音频接口Hook函数监测所述交互式应用对音频接口的调用；
若监测到所述交互式应用对所述音频接口的调用指令进入所述音频接口Hook函数，则确定了所述交互式应用对音频接口的调用。
102、服务器根据所述音频接口的类型，生成与所述类型对应的音频指令。
音频接口的类型可以有多个，例如：创建音频、播放音频、混音和暂停音频等。
根据音频接口的类型生成的相应音频指令，也具有相应的功能，例如：创建音频、播放音频、混音和暂停音频等相应功能。
实际上，不是每个音频指令都需要音频数据，例如：暂停音频的音频指令就不需要音频数据，针对这种不需要音频数据的音频指令，服务器也可以先根据音频指令的类型确定不需要音频数据时，则直接向用户设备发送这些不需要音频数据的音频指令。
因音频指令占用的网络流量很少，所以，本发明实施例中侧重说明需要音频数据的音频指令的处理方案。
103、服务器确定所述音频指令对应的音频数据是否有对所述用户设备的发送记录。
服务器针对向用户设备发送的音频数据会进行相应的记录，这样就可以避免重复发送。
104、若有发送记录，则服务器向所述用户设备发送所述音频指令。
在服务器中有音频指令对应的音频数据的发送指令时，则只需要发送音频数据，这样可以减少网络流量。
105、用户设备接收所述服务器发送的音频指令后，从缓存中获取所述音频指令对应的音频数据。
106、用户设备在执行所述音频指令时使用缓存的所述音频数据进行相应的音频操作。
与现有技术中用户设备要通过播放服务器发送的音频片段来实现用户设备对服务器侧音频的播放相比，本发明实施例提供的音频处理的方法，服务器通过向用户设备发送音频指令的方案来实现用户设备对服务器侧音频的播放，提高了用户设备侧音频的播放质量，另外，服务器确定要发送的音频指令对应的音频数据有对相应用户设备的发送记录时，则只向用户设备发送音频指令，不再重复发送音频数据，从而减少了从服务器到用户设备的网络流量。
参阅图3，本发明实施例提供的音频处理的方法的另一实施例包括：
步骤201-203与图2部分实施例中的步骤101-103相同，可以参阅图2部分实施例中的步骤101-103进行理解，本处不做重复赘述。
204、若无发送记录，所述服务器调用所述音频指令对应的处于压缩状态的音频数据。
可以是：所述服务器通过磁盘读取Hook函数调用所述音频指令对应的处于压缩状态的音频数据；
若监测到所述交互式应用对磁盘读取的调用指令进入所述磁盘读取Hook函数，则调用所述音频指令对应的处于压缩状态的音频数据。
服务器直接调用磁盘中处于压缩状态的音频数据，不需要再像现有技术中压缩音频片段，从而也减少了对服务器中处理器的占用。
205、服务器向所述用户设备发送所述处于压缩状态的音频数据。
206、服务器向所述用户设备发送所述音频指令。
207、服务器在数据发送记录中，添加所述音频数据已向所述用户设备发送的记录。
208、所述用户设备接收所述服务器发送的所述音频指令对应的处于压缩状态的音频数据后，将所述音频指令对应的处于压缩状态的音频数据存入缓存。
其中，所述音频数据的数据头中包括所述音频数据所属音频文件的键Key值和所述音频数据在所述音频文件中的偏移位置和偏移长度；
所述将所述音频指令对应的处于压缩状态的音频数据存入缓存，包括：
所述用户设备根据所述音频文件的键Key值确定所述所属音频文件；
所述用户设备根据所述偏移位置和偏移长度确定所述音频数据在所述所属音频文件中的存储位置；
所述用户设备根据所述存储位置将所述音频数据缓存到所述所属音频文件中。
步骤209和和210与图2所对应实施例中的步骤105和106相同，可以参阅步骤105和106进行理解，本处不再重复赘述。
下面参阅图4，结合游戏场景，进一步说明本发明实施例中音频处理的方法：
如图4所示，服务器从软件和硬件上来看可以包括系统驱动、游戏、音频SDK、磁盘、Hook音频SDK Api和Hook磁盘读写Api几个部分。
301、对游戏使用的音频SDK Api进行Hook。
302、对游戏使用的音频SDK中与音频有关的磁盘读写Api进行Hook，监控对音频文件的加载。
303、提取音频数据后，串流发送给用户设备。
304、通过系统驱动播放声音。
305、生成音频指令并将音频指令串流发送给用户设备。
306、音频数据和音频指令都先后经网络传输到达用户设备。
307、用户设备接收到音频数据后，将音频数据缓存到磁盘缓存。
308、用户设备接收到音频指令后，从磁盘缓存加载音频文件。
309、执行音频指令，回放声音。
本发明实施例中，在服务器端，涉及到音频数据和音频指令的串流，串流的过程可以参阅图5进行理解：
401、游戏调用音频SDK的Api时，会首先进入本方案的音频Api Hook函数中。
402、在音频Api的Hook函数中，先调用音频SDK的Api。
403、如果当前音频Api的调用，会导致交互式应用去读取磁盘上的文件时，它会再进入磁盘读取Hook函数中。
404、在磁盘读取Hook函数中，会调用磁盘读写Api。
405、磁盘读写Api返回音频数据。
406、串流音频数据给用户设备。
407、磁盘读取Hook函数返回音频数据给游戏。
408、音频Api返回音频指令给游戏。
这样，游戏中就可以根据音频数据和音频指令进行声音播放。
409、音频Api的Hook函数串流音频指令给用户设备。
本申请中可以监控音频SDK读取的数据是否是新的，如果是新的，则将音频数据串流给Retrace端，同时把这段音频数据用文件名做键(Key)值，更新它的读取信息：偏移和长度。如果曾经串流过，则不再串流。可以减少网络流量。
在服务器端，串流音频数据时，总是以文件名为Key，再加上它在原文件中的偏移和长度作为数据头，这样，在用户设备端，就可以正确的把数据写入到正确的文件及正确的位置。
由图5可见，音频指令所需要的音频数据，会在音频指令之前就被串流给用户设备；所以用户设备侧在回放音频指令时，所需要的音频数据总是在磁盘缓存上的。
本方案用户设备缓存的数据，与游戏在服务器端使用的数据是一致的，文档编码也一样，音频SDK也一致，所以一个音频数据在用户设备端一旦播放过一次，被缓存后，游戏中大量使用的基于事件的音频引擎，在混合不同音乐、触发重复播放音乐时，如果被缓存命中的时候，服务器端就不需要再串流相同的音乐了。
本申请中，缓存的是游戏使用的存储在磁盘上的、原始的音频数据，它都是经过压缩的，因此在串流时，从磁盘读取的数据，不需要再经过压缩再串流，节省了服务器的处理器的占用。
除了云游戏系统外，本发明，还可以应用在远程序桌面系统中，减少播放流媒体时，远程系统的CPU占用和网络流量。
参阅图6，本发明实施例提供的服务器50应用于云交互系统，所述云交互系统还包括用户设备，所述服务器的一实施例包括：
监测单元501，用于在运行交互式应用时，监测到所述交互式应用对音频接口的调用；
生成单元502，用于根据所述监测单元501检测到的所述音频接口的类型，生成与所述类型对应的音频指令；
确定单元503，用于确定所述生成单元502生成的所述音频指令对应的音频数据是否有对所述用户设备的发送记录；
发送单元504，用于在所述确定单元503确定有发送记录时，向所述用户设备发送所述音频指令，所述音频指令用于所述用户设备在执行所述音频指令时使用缓存的所述音频数据进行相应的音频操作。
与现有技术中用户设备要通过播放服务器发送的音频片段来实现用户设备对服务器侧音频的播放相比，本发明实施例提供的服务器通过向用户设备发送音频指令的方案来实现用户设备对服务器侧音频的播放，提高了用户设备侧音频的播放质量，另外，服务器确定要发送的音频指令对应的音频数据有对相应用户设备的发送记录时，则只向用户设备发送音频指令，不再重复发送音频数据，从而减少了从服务器到用户设备的网络流量。
可选地，在上述图6对应的实施例的基础上，参阅图7，本发明实施例提供的服务器的第一个可选实施例中，所述服务器还包括调用单元505，
所述调用单元505，用于在所述确定单元503确定无发送记录时，调用所述音频指令对应的处于压缩状态的音频数据；
所述发送单元504，用于按照先后顺序向所述用户设备发送所述调用单元505调用的所述处于压缩状态的音频数据和所述音频指令。
可选地，在上述图7对应的实施例的基础上，参阅图8，本发明实施例提供的服务器的第二个可选实施例中，所述服务器50还包括：
添加单元506，用于在所述发送单元504发送所述音频数据后，在数据发送记录中，添加所述音频数据已向所述用户设备发送的记录。
可选地，所述监测单元501用于：
通过音频接口Hook函数监测所述交互式应用对音频接口的调用；
若监测到所述交互式应用对所述音频接口的调用指令进入所述音频接口Hook函数，则确定了所述交互式应用对音频接口的调用。
可选地，所述调用单元505用于：
通过磁盘读取Hook函数调用所述音频指令对应的处于压缩状态的音频数据；
若监测到所述交互式应用对磁盘读取的调用指令进入所述磁盘读取Hook函数，则调用所述音频指令对应的处于压缩状态的音频数据。
参阅图9，本发明实施例提供的用户设备60应用于云交互系统，所述云交互系统还包括服务器，所述用户设备60包括：
接收单元601，用于接收所述服务器发送的音频指令；
获取单元602，用于从缓存中获取所述接收单元601接收的所述音频指令对应的音频数据；
处理单元603，用于在执行所述音频指令时使用所述获取单元602获取的缓存的音频数据进行相应的音频操作。
与现有技术中用户设备要通过播放服务器发送的音频片段来实现用户设备对服务器侧音频的播放相比，本发明实施例提供的用户设备可以根据音频指令进行音频播放，提高了音频的播放质量，并且可以缓存音频数据，不需要服务器重复发送相同的音频数据，从而减少了从服务器到用户设备的网络流量。
可选地，在上述图9对应的实施例的基础上，本发明实施例提供的用户设备的第一个可选实施例中，
所述接收单元601，还用于接收所述服务器发送的所述音频指令对应的处于压缩状态的音频数据，所述处于压缩状态的音频数据是所述服务器在确定所述音频指令对应的音频数据无对所述用户设备的发送记录时发送的；
所述处理单元603，还用于将所述音频指令对应的处于压缩状态的音频数据存入缓存。
可选地，在上述图9对应的实施例或第一个可选实施例的基础上，本发明实施例提供的用户设备的第二个可选实施例中，
所述处理单元603，还用于在所述音频数据的数据头中包括所述音频数据所属音频文件的键Key值和所述音频数据在所述音频文件中的偏移位置和偏移长度时，根据所述音频文件的键Key值确定所述所属音频文件，根据所述偏移位置和偏移长度确定所述音频数据在所述所属音频文件中的存储位置，根据所述存储位置将所述音频数据缓存到所述所属音频文件中。
图10是本发明实施例提供的服务器50的结构示意图。所述服务器50应用于云交互系统，所述云交互系统包括用户设备和服务器，所述服务器50包括处理器510、存储器550和收发器530，存储器550可以包括只读存储器和随机存取存储器，并向处理器510提供操作指令和数据。存储器550的一部分还可以包括非易失性随机存取存储器(NVRAM)。
在一些实施方式中，存储器550存储了如下的元素，可执行模块或者数据结构，或者他们的子集，或者他们的扩展集:
在本发明实施例中，通过调用存储器550存储的操作指令(该操作指令可存储在操作系统中)，
所述处理器510用于在运行交互式应用时，监测到所述交互式应用对音频接口的调用；根据所述音频接口的类型，生成与所述类型对应的音频指令；确定所述音频指令对应的音频数据是否有对所述用户设备的发送记录；
所述收发器530用于在有发送记录时，向所述用户设备发送所述音频指令，所述音频指令用于所述用户设备在执行所述音频指令时使用缓存的所述音频数据进行相应的音频操作。
与现有技术中用户设备要通过播放服务器发送的音频片段来实现用户设备对服务器侧音频的播放相比，本发明实施例提供的服务器通过向用户设备发送音频指令的方案来实现用户设备对服务器侧音频的播放，提高了用户设备侧音频的播放质量，另外，服务器确定要发送的音频指令对应的音频数据有对相应用户设备的发送记录时，则只向用户设备发送音频指令，不再重复发送音频数据，从而减少了从服务器到用户设备的网络流量。
处理器510控制服务器50的操作，处理器510还可以称为CPU(Central ProcessingUnit，中央处理单元)。存储器550可以包括只读存储器和随机存取存储器，并向处理器510提供指令和数据。存储器550的一部分还可以包括非易失性随机存取存储器(NVRAM)。具体的应用中服务器50的各个组件通过总线系统520耦合在一起，其中总线系统520除包括数据总线之外，还可以包括电源总线、控制总线和状态信号总线等。但是为了清楚说明起见，在图中将各种总线都标为总线系统520。
上述本发明实施例揭示的方法可以应用于处理器510中，或者由处理器510实现。处理器510可能是一种集成电路芯片，具有信号的处理能力。在实现过程中，上述方法的各步骤可以通过处理器510中的硬件的集成逻辑电路或者软件形式的指令完成。上述的处理器510可以是通用处理器、数字信号处理器(DSP)、专用集成电路(ASIC)、现成可编程门阵列(FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。可以实现或者执行本发明实施例中的公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。结合本发明实施例所公开的方法的步骤可以直接体现为硬件译码处理器执行完成，或者用译码处理器中的硬件及软件模块组合执行完成。软件模块可以位于随机存储器，闪存、只读存储器，可编程只读存储器或者电可擦写可编程存储器、寄存器等本领域成熟的存储介质中。该存储介质位于存储器550，处理器510读取存储器550中的信息，结合其硬件完成上述方法的步骤。
可选地，处理器510还用于若无发送记录，则调用所述音频指令对应的处于压缩状态的音频数据；
所述收发器530还用于按照先后顺序向所述用户设备发送所述处于压缩状态的音频数据和所述音频指令。
可选地，处理器510还用于在数据发送记录中，添加所述音频数据已向所述用户设备发送的记录。
可选地，处理器510用于通过音频接口Hook函数监测所述交互式应用对音频接口的调用；若监测到所述交互式应用对所述音频接口的调用指令进入所述音频接口Hook函数，则确定了所述交互式应用对音频接口的调用。
可选地，处理器510用于通过磁盘读取Hook函数调用所述音频指令对应的处于压缩状态的音频数据；若监测到所述交互式应用对磁盘读取的调用指令进入所述磁盘读取Hook函数，则调用所述音频指令对应的处于压缩状态的音频数据。
以上的服务器50可以参阅图1至图5部分的相关描述进行理解，本处不做过多赘述。
图11是本发明实施例提供的用户设备60的结构示意图。所述用户设备60应用于云交互系统，所述云交互系统包括用户设备和服务器，所述用户设备60包括处理器610、存储器650和收发器630，存储器650可以包括只读存储器和随机存取存储器，并向处理器610提供操作指令和数据。存储器650的一部分还可以包括非易失性随机存取存储器(NVRAM)。
在一些实施方式中，存储器650存储了如下的元素，可执行模块或者数据结构，或者他们的子集，或者他们的扩展集:
在本发明实施例中，通过调用存储器650存储的操作指令(该操作指令可存储在操作系统中)，
所述收发器630用于接收所述服务器发送的音频指令；
所述处理器610用于从缓存中获取所述音频指令对应的音频数据，在执行所述音频指令时使用缓存的所述音频数据进行相应的音频操作。
与现有技术中用户设备要通过播放服务器发送的音频片段来实现用户设备对服务器侧音频的播放相比，本发明实施例提供的用户设备可以根据音频指令进行音频播放，提高了音频的播放质量，并且可以缓存音频数据，不需要服务器重复发送相同的音频数据，从而减少了从服务器到用户设备的网络流量。
处理器610控制用户设备60的操作，处理器610还可以称为CPU(CentralProcessing Unit，中央处理单元)。存储器650可以包括只读存储器和随机存取存储器，并向处理器610提供指令和数据。存储器650的一部分还可以包括非易失性随机存取存储器(NVRAM)。具体的应用中用户设备60的各个组件通过总线系统620耦合在一起，其中总线系统620除包括数据总线之外，还可以包括电源总线、控制总线和状态信号总线等。但是为了清楚说明起见，在图中将各种总线都标为总线系统620。
上述本发明实施例揭示的方法可以应用于处理器610中，或者由处理器610实现。处理器610可能是一种集成电路芯片，具有信号的处理能力。在实现过程中，上述方法的各步骤可以通过处理器610中的硬件的集成逻辑电路或者软件形式的指令完成。上述的处理器610可以是通用处理器、数字信号处理器(DSP)、专用集成电路(ASIC)、现成可编程门阵列(FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。可以实现或者执行本发明实施例中的公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。结合本发明实施例所公开的方法的步骤可以直接体现为硬件译码处理器执行完成，或者用译码处理器中的硬件及软件模块组合执行完成。软件模块可以位于随机存储器，闪存、只读存储器，可编程只读存储器或者电可擦写可编程存储器、寄存器等本领域成熟的存储介质中。该存储介质位于存储器650，处理器610读取存储器650中的信息，结合其硬件完成上述方法的步骤。
可选地，所述收发器630还用于接收所述服务器发送的所述音频指令对应的处于压缩状态的音频数据，所述处于压缩状态的音频数据是所述服务器在确定所述音频指令对应的音频数据无对所述用户设备的发送记录时发送的；
处理器610还用于在所述音频数据的数据头中包括所述音频数据所属音频文件的键Key值和所述音频数据在所述音频文件中的偏移位置和偏移长度时，根据所述音频文件的键Key值确定所述所属音频文件，根据所述偏移位置和偏移长度确定所述音频数据在所述所属音频文件中的存储位置，根据所述存储位置将所述音频数据缓存到所述所属音频文件中。
以上的用户设备60可以参阅图1至图5部分的相关描述进行理解，本处不做过多赘述。
本发明实施例提供的云交互系统可以参阅图1至图5部分的相关描述进行理解，本处不做过多赘述。
本领域普通技术人员可以理解上述实施例的各种方法中的全部或部分步骤是可以通过程序来指令相关的硬件来完成，该程序可以存储于一计算机可读存储介质中，存储介质可以包括：ROM、RAM、磁盘或光盘等。
以上对本发明实施例所提供的音频处理的方法、服务器、用户设备以及系统进行了详细介绍，本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本发明的限制。

Claims (13)

1.一种音频处理的方法，其特征在于，所述方法应用于云交互系统，所述云交互系统包括用户设备和服务器，所述云交互系统包括云游戏系统，所述方法包括：
所述服务器在运行交互式应用时，通过音频接口Hook函数监测所述交互式应用对音频接口的调用，若监测到所述交互式应用对所述音频接口的调用指令进入所述音频接口Hook函数，则确定了所述交互式应用对音频接口的调用；
所述服务器根据所述音频接口的类型，生成与所述类型对应的音频指令，所述音频指令包括暂停音频的指令，所述暂停音频的指令不需要音频数据；
所述服务器确定所述音频指令对应的音频数据是否有对所述用户设备的发送记录；
若有发送记录，则所述服务器向所述用户设备发送所述音频指令，所述音频指令用于所述用户设备在执行所述音频指令时使用缓存的所述音频数据进行相应的音频操作；
若无发送记录，则所述服务器调用所述音频指令对应的存储在磁盘上的处于压缩状态的音频数据，并按照先后顺序向所述用户设备发送所述处于压缩状态的音频数据和所述音频指令。
2.根据权利要求1所述的方法，其特征在于，所述方法还包括：
所述服务器在数据发送记录中，添加所述音频数据已向所述用户设备发送的记录。
3.根据权利要求1所述的方法，其特征在于，所述服务器调用所述音频指令对应的处于压缩状态的音频数据，包括：
所述服务器通过磁盘读取Hook函数调用所述音频指令对应的处于压缩状态的音频数据；
若监测到所述交互式应用对磁盘读取的调用指令进入所述磁盘读取Hook函数，则调用所述音频指令对应的处于压缩状态的音频数据。
4.一种音频处理的方法，其特征在于，所述方法应用于云交互系统，所述云交互系统包括用户设备和服务器，所述云交互系统包括云游戏系统，所述方法包括：
所述用户设备接收所述服务器发送的音频指令，所述音频指令为所述服务器通过音频接口Hook函数监测交互式应用对音频接口的调用，在监测到所述交互式应用对所述音频接口的调用指令进入所述音频接口Hook函数，确定了所述交互式应用对音频接口的调用后发送的，所述音频指令包括暂停音频的指令，所述暂停音频的指令不需要音频数据；
所述用户设备从缓存中获取所述音频指令对应的音频数据，所述音频数据在传输时是由所述服务器从磁盘上调用的处于压缩状态的音频数据；
所述用户设备在执行所述音频指令时使用缓存的所述音频数据进行相应的音频操作。
5.根据权利要求4所述的方法，其特征在于，所述用户设备接收所述服务器发送的音频指令之前，所述方法还包括：
所述用户设备接收所述服务器发送的所述音频指令对应的处于压缩状态的音频数据，所述处于压缩状态的音频数据是所述服务器在确定所述音频指令对应的音频数据无对所述用户设备的发送记录时发送的；
所述用户设备将所述音频指令对应的处于压缩状态的音频数据存入缓存。
6.根据权利要求5所述的方法，其特征在于，所述音频数据的数据头中包括所述音频数据所属音频文件的键Key值和所述音频数据在所述音频文件中的偏移位置和偏移长度；
所述将所述音频指令对应的处于压缩状态的音频数据存入缓存，包括：
所述用户设备根据所述音频文件的键Key值确定所述所属音频文件；
所述用户设备根据所述偏移位置和偏移长度确定所述音频数据在所述所属音频文件中的存储位置；
所述用户设备根据所述存储位置将所述音频数据缓存到所述所属音频文件中。
7.一种服务器，其特征在于，所述服务器应用于云交互系统，所述云交互系统还包括用户设备，所述云交互系统包括云游戏系统，所述服务器包括：
监测单元，用于在运行交互式应用时，通过音频接口Hook函数监测所述交互式应用对音频接口的调用，若监测到所述交互式应用对所述音频接口的调用指令进入所述音频接口Hook函数，则确定了所述交互式应用对音频接口的调用；
生成单元，用于根据所述监测单元检测到的所述音频接口的类型，生成与所述类型对应的音频指令，所述音频指令包括暂停音频的指令，所述暂停音频的指令不需要音频数据；
确定单元，用于确定所述生成单元生成的所述音频指令对应的音频数据是否有对所述用户设备的发送记录；
发送单元，用于在所述确定单元确定有发送记录时，向所述用户设备发送所述音频指令，所述音频指令用于所述用户设备在执行所述音频指令时使用缓存的所述音频数据进行相应的音频操作；
所述服务器还包括调用单元，
所述调用单元，用于在所述确定单元确定无发送记录时，调用所述音频指令对应的存储在磁盘上的处于压缩状态的音频数据；
所述发送单元，用于按照先后顺序向所述用户设备发送所述调用单元调用的所述处于压缩状态的音频数据和所述音频指令。
8.根据权利要求7所述的服务器，其特征在于，所述服务器还包括：
添加单元，用于在所述发送单元发送所述音频数据后，在数据发送记录中，添加所述音频数据已向所述用户设备发送的记录。
9.根据权利要求7所述的服务器，其特征在于，
所述调用单元用于：
通过磁盘读取Hook函数调用所述音频指令对应的处于压缩状态的音频数据；
若监测到所述交互式应用对磁盘读取的调用指令进入所述磁盘读取Hook函数，则调用所述音频指令对应的处于压缩状态的音频数据。
10.一种用户设备，其特征在于，所述用户设备应用于云交互系统，所述云交互系统还包括服务器，所述云交互系统包括云游戏系统，所述用户设备包括：
接收单元，用于接收所述服务器发送的音频指令，所述音频指令为所述服务器通过音频接口Hook函数监测交互式应用对音频接口的调用，在监测到所述交互式应用对所述音频接口的调用指令进入所述音频接口Hook函数，确定了所述交互式应用对音频接口的调用后发送的，所述音频指令包括暂停音频的指令，所述暂停音频的指令不需要音频数据；
获取单元，用于从缓存中获取所述接收单元接收的所述音频指令对应的音频数据，所述音频数据在传输时是由所述服务器从磁盘上调用的处于压缩状态的音频数据；
处理单元，用于在执行所述音频指令时使用所述获取单元获取的缓存的音频数据进行相应的音频操作。
11.根据权利要求10所述的用户设备，其特征在于，
所述接收单元，还用于接收所述服务器发送的所述音频指令对应的处于压缩状态的音频数据，所述处于压缩状态的音频数据是所述服务器在确定所述音频指令对应的音频数据无对所述用户设备的发送记录时发送的；
所述处理单元，还用于将所述音频指令对应的处于压缩状态的音频数据存入缓存。
12.根据权利要求11所述的用户设备，其特征在于，
所述处理单元，还用于在所述音频数据的数据头中包括所述音频数据所属音频文件的键Key值和所述音频数据在所述音频文件中的偏移位置和偏移长度时，根据所述音频文件的键Key值确定所述所属音频文件，根据所述偏移位置和偏移长度确定所述音频数据在所述所属音频文件中的存储位置，根据所述存储位置将所述音频数据缓存到所述所属音频文件中。
13.一种云交互系统，其特征在于，包括用户设备和服务器，所述云交互系统包括云游戏系统，
所述服务器用于：
在运行交互式应用时，通过音频接口Hook函数监测所述交互式应用对音频接口的调用，若监测到所述交互式应用对所述音频接口的调用指令进入所述音频接口Hook函数，则确定了所述交互式应用对音频接口的调用；
根据所述音频接口的类型，生成与所述类型对应的音频指令，所述音频指令包括暂停音频的指令，所述暂停音频的指令不需要音频数据；
确定所述音频指令对应的音频数据是否有对所述用户设备的发送记录；
若有发送记录，则向所述用户设备发送所述音频指令，所述音频指令用于所述用户设备在执行所述音频指令时使用缓存的所述音频数据进行相应的音频操作；
若无发送记录，则所述服务器调用所述音频指令对应的存储在磁盘上的处于压缩状态的音频数据，并按照先后顺序向所述用户设备发送所述处于压缩状态的音频数据和所述音频指令；
所述用户设备用于：
接收所述服务器发送的音频指令，所述音频指令包括暂停音频的指令，所述暂停音频的指令不需要音频数据；
从缓存中获取所述音频指令对应的音频数据，所述音频数据在传输时是由所述服务器从磁盘上调用的处于压缩状态的音频数据；
在执行所述音频指令时使用缓存的所述音频数据进行相应的音频操作。
CN201610067813.1A 2016-01-29 2016-01-29 一种音频处理的方法、服务器、用户设备及系统 Active CN105786441B (zh)

Priority Applications (4)

Application Number Priority Date Filing Date Title
CN201610067813.1A CN105786441B (zh) 2016-01-29 2016-01-29 一种音频处理的方法、服务器、用户设备及系统
PCT/CN2017/072592 WO2017129130A1 (zh) 2016-01-29 2017-01-25 一种音频处理的方法、服务器、用户设备及系统
EP17743745.6A EP3410290B1 (en) 2016-01-29 2017-01-25 Audio processing method, server, user equipment, and system
US15/975,547 US11182425B2 (en) 2016-01-29 2018-05-09 Audio processing method, server, user equipment, and system

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201610067813.1A CN105786441B (zh) 2016-01-29 2016-01-29 一种音频处理的方法、服务器、用户设备及系统

Publications (2)

Publication Number Publication Date
CN105786441A CN105786441A (zh) 2016-07-20
CN105786441B true CN105786441B (zh) 2019-01-25

Family

ID=56402334

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201610067813.1A Active CN105786441B (zh) 2016-01-29 2016-01-29 一种音频处理的方法、服务器、用户设备及系统

Country Status (4)

Country Link
US (1) US11182425B2 (zh)
EP (1) EP3410290B1 (zh)
CN (1) CN105786441B (zh)
WO (1) WO2017129130A1 (zh)

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105786441B (zh) 2016-01-29 2019-01-25 腾讯科技（深圳）有限公司 一种音频处理的方法、服务器、用户设备及系统
CN107195314B (zh) * 2017-05-04 2018-07-24 腾讯科技（深圳）有限公司 音频数据的录制方法与装置
CN110096250B (zh) * 2018-01-31 2020-05-29 北京金山云网络技术有限公司 一种音频数据处理方法、装置、电子设备及存储介质
CN108854052A (zh) * 2018-06-22 2018-11-23 福州市马尾区朱雀网络信息技术有限公司 一种游戏声音实时反馈方法和系统
CN109634809A (zh) * 2018-12-05 2019-04-16 腾讯音乐娱乐科技（深圳）有限公司 一种音频播放监控方法及相关设备
CN109448740B (zh) * 2018-12-18 2022-05-27 网易（杭州）网络有限公司 语音音效的处理方法、装置以及语音系统
CN111078448B (zh) * 2019-08-06 2022-04-05 华为技术有限公司 一种处理音频异常的方法及电子设备
CN112379857B (zh) * 2020-11-24 2022-01-04 惠州Tcl移动通信有限公司 音频数据处理方法、装置、存储介质及移动终端

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103067129A (zh) * 2012-12-24 2013-04-24 中国科学院深圳先进技术研究院 网络数据传输方法和系统

Family Cites Families (26)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6106399A (en) * 1997-06-16 2000-08-22 Vr-1, Inc. Internet audio multi-user roleplaying game
US8157654B2 (en) * 2000-11-28 2012-04-17 Nintendo Co., Ltd. Hand-held video game platform emulation
US7479063B2 (en) * 2000-10-04 2009-01-20 Wms Gaming Inc. Audio network for gaming machines
US7386356B2 (en) * 2001-03-05 2008-06-10 Microsoft Corporation Dynamic audio buffer creation
US7107110B2 (en) * 2001-03-05 2006-09-12 Microsoft Corporation Audio buffers with audio effects
US6970822B2 (en) * 2001-03-07 2005-11-29 Microsoft Corporation Accessing audio processing components in an audio generation system
US20060184369A1 (en) * 2005-02-15 2006-08-17 Robin Levonas Voice activated instruction manual
CA2618623C (en) * 2005-08-09 2015-01-06 Mobilevoicecontrol, Inc. Control center for a voice controlled wireless communication device system
US8463612B1 (en) * 2005-11-08 2013-06-11 Raytheon Company Monitoring and collection of audio events
US8401169B2 (en) * 2007-12-19 2013-03-19 At&T Intellectual Property I, L.P. System and method of delivering ringback audio content
US20110054647A1 (en) * 2009-08-26 2011-03-03 Nokia Corporation Network service for an audio interface unit
US20120110429A1 (en) * 2010-09-23 2012-05-03 Webdoc Sa Platform enabling web-based interpersonal communication within shared digital media
JP5849411B2 (ja) * 2010-09-28 2016-01-27 ヤマハ株式会社 マスカ音出力装置
CN102355504A (zh) * 2011-10-17 2012-02-15 苏州迈科网络安全技术股份有限公司 Flv在线视频缓存方法及装置
TWI546701B (zh) * 2011-11-15 2016-08-21 崑山科技大學 無線遊戲裝置的多重操作輸入與音樂輸出之控制系統及方法
KR101904482B1 (ko) * 2011-12-26 2018-10-08 에스케이텔레콤 주식회사 콘텐트 전송 시스템, 그 시스템에서의 네트워크 중복 전송 트래픽 최적화 방법, 중앙 제어 장치 및 로컬 캐싱 장치
US8533266B2 (en) * 2012-02-14 2013-09-10 Google Inc. User presence detection and event discovery
CN103051617B (zh) * 2012-12-18 2015-09-02 北京奇虎科技有限公司 识别程序的网络行为的方法、装置及系统
US9373336B2 (en) * 2013-02-04 2016-06-21 Tencent Technology (Shenzhen) Company Limited Method and device for audio recognition
US9128593B2 (en) * 2013-04-28 2015-09-08 Tencent Technology (Shenzhen) Company Limited Enabling an interactive program associated with a live broadcast on a mobile device
CN104347098B (zh) * 2013-08-08 2018-09-07 腾讯科技（深圳）有限公司 一种数据处理的方法及装置
US9558751B2 (en) * 2014-01-31 2017-01-31 Sparcq, Inc. Media content marking and tracking methods and apparatus
WO2016014603A1 (en) * 2014-07-22 2016-01-28 Sony Computer Entertainment America Llc Save game load time reduction for cloud gaming
US10080111B2 (en) * 2015-03-19 2018-09-18 Facebook, Inc. Techniques for communication using audio stickers
JP6564941B2 (ja) * 2015-09-16 2019-08-21 ケンブリッジ サウンド マネジメント， インコーポレイテッド 無線放音装置及び無線放音装置を遠隔制御するためのシステム
CN105786441B (zh) * 2016-01-29 2019-01-25 腾讯科技（深圳）有限公司 一种音频处理的方法、服务器、用户设备及系统

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103067129A (zh) * 2012-12-24 2013-04-24 中国科学院深圳先进技术研究院 网络数据传输方法和系统

Also Published As

Publication number Publication date
EP3410290A1 (en) 2018-12-05
EP3410290A4 (en) 2019-08-07
CN105786441A (zh) 2016-07-20
US20180260478A1 (en) 2018-09-13
EP3410290B1 (en) 2022-03-16
WO2017129130A1 (zh) 2017-08-03
US11182425B2 (en) 2021-11-23

Similar Documents

Publication Publication Date Title
CN105786441B (zh) 一种音频处理的方法、服务器、用户设备及系统
WO2020248909A1 (zh) 视频解码方法、装置、计算机设备及存储介质
CN101582926B (zh) 实现远程媒体播放重定向的方法和系统
JP6607968B2 (ja) ライブビデオストリーミングにプッシュ情報を挿入する方法、サーバ及び端末
US20180255359A1 (en) Method for sharing a captured video clip and electronic device
WO2017148442A1 (zh) 一种音视频处理方法和装置、计算机存储介质
EP2332046A2 (en) Improved audio and video testing methodology
CN104244083A (zh) 一种在线视频的下载方法及电子设备
CN104464743B (zh) 一种在语音聊天室中播放背景音乐的方法及移动终端
US20150268808A1 (en) Method, Device and System for Multi-Speed Playing
TWI536817B (zh) 網路互動協定資料記錄的方法以及裝置
KR101517959B1 (ko) 적응형 스트리밍 방법
CN110277110A (zh) 一种网络页面的录音、播放方法、装置及终端
CN111346377A (zh) 用于网络游戏的记录、回放方法及装置、服务器、终端
CN106060609B (zh) 获取图片的方法及装置
CN113014981A (zh) 视频播放方法、装置、电子设备及可读存储介质
CN108241748B (zh) 获取直播音乐名称的方法、装置、介质及设备
CN114339325B (zh) 一种基于安卓系统的多引擎动态壁纸播放方法及装置
JP6545439B2 (ja) 操作記録装置、操作記録再生システム、及びプログラム
CN106328174A (zh) 一种录音数据的处理方法及装置
US10354695B2 (en) Data recording control device and data recording control method
KR20130099430A (ko) Ｅｘｉｆ 메타데이터를 이용한 게임 스크린샷 관리 장치 및 그 방법
CN113192526A (zh) 音频处理方法和音频处理装置
US20140075044A1 (en) Content reproduction apparatus, content reproduction method, and computer-readable recording medium having content reproduction program recorded thereon
KR101499194B1 (ko) 적응형 스트리밍 방법

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant