CN108632557B - 一种音视频同步的方法及终端 - Google Patents

一种音视频同步的方法及终端 Download PDF

Info

Publication number
CN108632557B
CN108632557B CN201710166722.8A CN201710166722A CN108632557B CN 108632557 B CN108632557 B CN 108632557B CN 201710166722 A CN201710166722 A CN 201710166722A CN 108632557 B CN108632557 B CN 108632557B
Authority
CN
China
Prior art keywords
audio stream
stream
terminal
video
audio
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201710166722.8A
Other languages
English (en)
Other versions
CN108632557A (zh
Inventor
高扬
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
ZTE Corp
Original Assignee
ZTE Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ZTE Corp filed Critical ZTE Corp
Priority to CN201710166722.8A priority Critical patent/CN108632557B/zh
Priority to PCT/CN2018/079120 priority patent/WO2018171502A1/zh
Publication of CN108632557A publication Critical patent/CN108632557A/zh
Application granted granted Critical
Publication of CN108632557B publication Critical patent/CN108632557B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/14—Systems for two-way working
    • H04N7/141—Systems for two-way working between two video terminals, e.g. videophone
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/478—Supplemental services, e.g. displaying phone caller identification, shopping application
    • H04N21/4788—Supplemental services, e.g. displaying phone caller identification, shopping application communicating with other users, e.g. chatting
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/85—Assembly of content; Generation of multimedia applications
    • H04N21/854—Content authoring
    • H04N21/8547—Content authoring involving timestamps for synchronizing content
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/14—Systems for two-way working
    • H04N7/141—Systems for two-way working between two video terminals, e.g. videophone
    • H04N7/147—Communication arrangements, e.g. identifying the communication as a video-communication, intermediate storage of the signals

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Security & Cryptography (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Abstract

一种音视频同步的方法，包括：终端在发起视频呼叫后，确定所述终端的音频功能模块和应用软件无法基于网络时间协议进行同步或者呼叫接收终端为音视频分离；所述终端的音频功能模块向所述呼叫接收终端发送音频流；所述终端的应用软件向所述呼叫接收终端发送校准音频流和所述校准音频流的时间戳并发送视频流和所述视频流的时间戳。通过本发明的方法可以实现音视频源分离的音视频通话过程中的音视频同步问题，解决很大部分强势终端厂家不开放视频能力的限制，同时也极大程度提高用户VoLTE和IMS的使用体验。

Description

一种音视频同步的方法及终端
技术领域
本发明涉及通讯技术领域，特别是涉及一种音视频同步的方法及终端。
背景技术
音视频是分离的媒体源，存在音视频同步问题。该同步问题属于融合通信一个关键技术。同步是多媒体通信的主要特征，也是其重要研究内容之一，同步与否直接影响多媒体通信的质量。媒体间同步即是要保持音频流和视频流之间的时间关系。为了描述同步，实现相关的控制机制，定义了相应的服务质量(QoS)参数。针对音视频，采用时间差即偏差来表示。结果表明，如果偏差限制在一定的范围内，认为媒体是同步的。当偏移在-90ms(音频滞后于视频)到+20ms(音频超前视频)之间时，人感觉不到试听质量的变化，这个区域可以认为是同步区域；当偏移在-185到+90之外时，音频和视频会出现严重的不同步现象，此区域认为是不同步区域。
音视频媒体间同步是多媒体系统服务质量研究中的一项重要内容。在网络上传输多媒体数据时，由于终端对数据的处理方式，以及网络中的延时、抖动，会引起音视频流的不同步。
发明内容
本发明要解决的技术问题是提供一种音视频同步的方法及终端，以解决音视频同步问题。
一种音视频同步的方法，包括：
终端在发起视频呼叫后，确定所述终端的音频功能模块和应用软件无法基于网络时间协议进行同步或者呼叫接收终端为音视频分离；
所述终端的音频功能模块向所述呼叫接收终端发送音频流；
所述终端的应用软件向所述呼叫接收终端发送校准音频流和所述校准音频流的时间戳并发送视频流和所述视频流的时间戳。
可选地，所述终端的应用软件发送的校准音频流为按第一时间间隔采样的音频流。
可选地，所述确定所述终端的音频功能模块和应用软件无法基于网络时间协议进行同步或者呼叫接受终端为音视频分离后，还包括：
所述终端在音频输入通道中按第二时间间隔加入超声波脉冲；
所述终端的音频功能模块发送的音频流包括所述超声波脉冲，所述终端的应用软件发送的校准音频流包括所述超声波脉冲。
可选地，所述终端的应用软件发送校准音频流之前，还包括：
过滤所述校准音频流中的非脉冲部分。
可选地，所述校准音频流的时间戳和所述视频流的时间戳为所述终端本地的时间戳或者为指定网络时间协议服务器的时间戳。
一种终端，包括：
确定模块，用于在发起视频呼叫后，确定所述终端的音频功能模块和应用软件无法基于网络时间协议进行同步或者呼叫接受终端为音视频分离；
所述音频功能模块，用于向所述呼叫接收终端发送音频流；
所述应用软件，用于向所述呼叫接收终端发送校准音频流和所述校准音频流的时间戳，并发送视频流和所述视频流的时间戳。
可选地，所述应用软件，发送的校准音频流为按第一时间间隔采样的音频流。
可选地，加入模块，用于在音频输入通道中按第二时间间隔加入超声波脉冲；
所述终端的音频功能模块发送的音频流包括所述超声波脉冲，所述终端的应用软件发送的校准音频流包括所述超声波脉冲。
可选地，所述终端的应用软件，发送校准音频流之前还包括：过滤所述校准音频流中的非脉冲部分。
一种音视频同步的方法，包括：
终端接受视频呼叫后，接收音频流、校准音频流和所述校准音频流的时间戳、视频流和所述视频流的时间戳；
所述终端通过比较所述音频流和所述校准音频流获得第一时间偏移；根据所述校准音频流的时间戳与所述视频流的时间戳，获得所述视频流相对所述校准音频流的第二时间偏移；
所述终端根据所述第一时间偏移和所述第二时间偏移进行音频流和视频流的同步处理。
可选地，如所述音频流和所述校准音频流中包括超声波脉冲，则所述终端是通过比所述音频流和所述校准音频流中的超声波脉冲来获得所述第一时间偏移的。
一种终端，包括：
接收模块，用于接受视频呼叫后，接收音频流、校准音频流和所述校准音频流的时间戳、视频流和所述视频流的时间戳；
获取模块，用于通过比较所述音频流和所述校准音频流获得第一时间偏移；根据所述校准音频流的时间戳与所述视频流的时间戳，获得所述视频流相对所述校准音频流的第二时间偏移；
同步模块，用于根据所述第一时间偏移和所述第二时间偏移进行音频流和视频流的同步处理。
可选地，所述获取模块，如所述音频流和所述校准音频流中包括超声波脉冲，则通过比所述音频流和所述校准音频流中的超声波脉冲来获得所述第一时间偏移。
通过本发明实施例的方法，可以实现音视频源分离的音视频通话过程中的音视频同步问题，解决很部分强势终端厂家不开放视频能力的限制，同时也极大程度提高用户VoLTE和IMS的使用体验。
附图说明
图1为本发明实施例的主叫侧的一种音视频同步的方法的流程图；
图2为本发明实施例的被叫侧的一种音视频同步的方法的流程图；
图3为本发明实施例的基于NTP的时间同步的流程图；
图4为本发明实施例三的使用校准流的时间同步的流程图；
图5为本发明实施例四的使用校准流的时间同步流程图；
图6为本发明实施例五的校准流间隔采样流程图；
图7为本发明实施例六的校准流使用超声波脉冲校准同步的流程图；
图8为本发明实施例七的校准流过滤非脉冲部分的流程图；
图9为本发明实施例八的终端的示意图；
图10为本发明实施例九的终端的示意图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚明白，下文中将结合附图对本发明的实施例进行详细说明。需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互任意组合。
实施例一
图1为本发明实施例的主叫侧的一种音视频同步的方法的流程图，如图1所示，本实施例的方法包括以下步骤：
步骤11、终端在发起视频呼叫后，确定所述终端的音频功能模块和应用软件无法基于NTP(Network Time Protocol，网络时间协议)进行同步或者呼叫接受终端为音视频分离；
步骤12、终端的音频功能模块向所述呼叫接收终端发送音频流；
步骤13、终端的应用软件向所述呼叫接收终端发送校准音频流和所述校准音频流的时间戳，并发送视频流和所述视频流的时间戳。
本发明实施例考察音视频源一侧的用户，该用户在呼叫过程中，可以是主叫，也可以是被叫。该用户的终端音视频源分离：音频由终端的VoLTE(基于IMS(IP MultimediaSubsystem，IP多媒体子系统)的语音业务)功能发送；因为这类终端中的VoLTE功能不支持视频，所以视频源由APP提供。APP与VoLTE功能在终端侧属于两个独立的软件程序，所以对应分离的媒体源。
当然，音频部分也可以是传统电路语音(CS)，典型的如GSM(Global System forMobile Communication，全球移动通信系统)，不局限于VoLTE。
当接收方为音视频合一时，使用基于NTP的时间戳同步机制。
当接受方也为音视频分离时，则由APP创造性的引入一个校准音频流，并提出全新的音视频校准方法。
可选地，所述终端的应用软件发送的校准音频流为按第一时间间隔采样的音频流，以优化校准流的码率。
可选地，为了优化校准流与正常音频流的对比性能消耗，在音频输入通道中按第二时间间隔加入超声波脉冲。
本发明实施例的方法可以解决上述音视频同步问题，使得即使是使用独立的音频源与视频源，也可以做到很好的音视频同步。
图2为本发明实施例的被叫侧的一种音视频同步的方法的流程图，如图2所示，本实施例的方法包括：
步骤21、终端接受视频呼叫后，接收音频流、校准音频流和所述校准音频流的时间戳、视频流和所述视频流的时间戳；
步骤22、终端通过比较所述音频流和所述校准音频流获得第一时间偏移；根据所述校准音频流的时间戳与所述视频流的时间戳，获得所述视频流相对所述校准音频流的第二时间偏移；
步骤23、终端根据所述第一时间偏移和所述第二时间偏移进行音频流和视频流的同步处理。
在一优先实施例中，如所述音频流和所述校准音频流中包括超声波脉冲，则所述终端是通过比所述音频流和所述校准音频流中的超声波脉冲来获得所述第一时间偏移的。
通过本发明实施例提出的方法，可以实现音视频源分离的音视频通话过程中的音视频同步问题，解决很大部分强势终端厂家不开放视频能力的限制，同时也极大程度提高用户VoLTE和IMS的使用体验。
实施例二
图3为本发明实施例提出的基于NTP的时间同步的流程图，如图3所示，包括以下步骤：
步骤101、APP从IMS收到指示，表示远端终端(媒体流接受方)为音视频合一，典型的如支持音视频的VoLTE终端；
步骤102、音频源一侧VoLTE功能模块向NTP服务器发送请求NTP时间的请求；
步骤103、VoLTE功能模块收到NTP服务器返回NTP时间的响应，并按此时间校准自身的时间；
步骤104、音频源一侧APP向NTP服务器发送请求NTP时间的请求；
步骤105、APP收到NTP服务器返回NTP时间的响应，并按此时间校准自身的时间；
步骤106、VoLTE功能模块发送音频流，并根据NTP校准后的时间，加上时间戳；
步骤107、APP发送视频流，并根据NTP校准后的时间，加上时间戳；
步骤108、接受方根据音视频流的NTP时间戳进行同步播放。
一般将音频流作为主流，视频流作为从流，根据视频流的时间戳与音频流的时间戳的偏移进行视频流的同步播放。
实施例三
图4本发明实施例提出的使用校准流的时间同步的流程图，本实施例中，远端终端(媒体流接受方)为音视频分离，即远端终端没有一个统一的软件程序将音视频按照时间戳同步，则APP需要引入一个新的音频流作为视频流的校准流，来辅助视频流的同步。如图4所示，包括以下步骤：
步骤201、APP从IMS收到指示，表示远端终端(媒体流接受方)为音视频分离；
步骤202、VoLTE功能模块发送音频流；
步骤203、APP发送校准音频流+时间戳(可以是APP本地的时间戳，也可以是基于某个NTP服务器)；
步骤204、接收方的APP，从输出通道中获取VoLTE功能模块将要播放的音频流，并与校准音频流进行比较(比较波形)，获得两个音频流的时间偏移t1；
步骤205、APP发送视频流+时间戳(可以是APP本地的时间戳，也可以是基于某个NTP服务器)；
步骤206、接收方的APP根据校准音频流与视频流的时间戳，获得视频流相对校准音频流的时间偏移t2；视频流的时间同步偏移则为t1+t2，APP按此偏移播放视频流。从接受方用户的角度，可以获得VoLTE音频流与APP视频流，两者同步播放的用户体验。
实施例四
图5为本发明实施例的使用校准流的时间同步流程图，本实施例中，IMS未给指示(IMS为非融合通信增强型)，而APP无法获得与VoLTE功能一致的NTP时间，表示不论远端终端(媒体流接受方)是否为音视频分离，都无法基于NTP进行同步，此时APP也需要启用校准音频流。如图5所示，包括以下步骤：
步骤301、APP无法获得与VoLTE功能模块一致的NTP时间；
步骤302、VoLTE功能模块发送音频流；
步骤303、APP发送校准音频流+时间戳(可以是APP本地的时间戳，也可以是基于某个NTP服务器)；
步骤304、接收方的APP从输出通道中获取VoLTE功能模块将要播放的音频流，并与校准音频流进行比较(比较波形)，获得两个音频流的时间偏移t1；
步骤305、APP发送视频流+时间戳(可以是APP本地的时间戳，也可以是基于某个NTP服务器)；
步骤306、APP根据校准音频流与视频流的时间戳，获得视频流相对校准音频流的时间偏移t2；视频流的时间同步偏移则为t1+t2，APP按此偏移播放视频流。从接受方用户的角度，可以获得VoLTE音频流与APP视频流，两者同步播放的用户体验。
实施例五
图6为本发明实施例提出的校准流间隔采样流程图，如图6所示，本实施例的方法包括以下步骤：
步骤401、APP从IMS收到指示，表示远端终端(媒体流接受方)为音视频分离；
步骤402、VoLTE功能模块发送音频流；
步骤403、APP按时间间隔采样音频流，可以减小校准音频流的码率；
步骤404、APP发送校准音频流+时间戳(可以是APP本地的时间戳，也可以是基于某个NTP服务器)；
步骤405、接收方的APP，从输出通道中获取VoLTE功能模块将要播放的音频流，并与校准音频流进行比较(比较波形)，获得两个音频流的时间偏移t1；
步骤406、APP发送视频流+时间戳(可以是APP本地的时间戳，也可以是基于某个NTP服务器)；
步骤407、接收方的APP根据校准音频流与视频流的时间戳，获得视频流相对校准音频流的时间偏移t2；视频流的时间同步偏移则为t1+t2，APP按此偏移播放视频流。从接受方用户的角度，可以获得VoLTE音频流与APP视频流，两者同步播放的用户体验。
实施例六
图7为本发明实施例提出的校准流使用超声波脉冲校准同步的流程图。
对于目前主流的终端操作系统，都向APP开放了获取和修改音频输入通道的机制，所以APP可以在音频输入通道中加入超声波脉冲，以此作为校准的波形特征，可以优化校准流与正常音频流的对比性能消耗。
对于无法修改输入通道的情况，可以控制音频输出通道增加超声波脉冲，并由麦克风采集回来，达到相同的目的。
具体实施过程如图7所示，包括以下步骤：
步骤501、APP从IMS收到指示，远端终端(媒体流接受方)为音视频分离；
步骤502、在音频输入通道中按时间间隔加入超声波脉冲；
步骤503、VoLTE功能模块发送音频流；
步骤504、APP发送校准音频流+时间戳(可以是APP本地的时间戳，也可以是基于某个NTP服务器)；
步骤505、接收方的APP，从输出通道中获取VoLTE功能模块将要播放的音频流，并与校准音频流进行比较(比较超声波脉冲)，获得两个音频流的时间偏移t1；
步骤506、APP发送视频流+时间戳(可以是APP本地的时间戳，也可以是基于某个NTP服务器)；
步骤507、接收方的APP根据校准音频流与视频流的时间戳，获得视频流相对校准音频流的时间偏移t2；视频流的时间同步偏移则为t1+t2，APP按此偏移播放视频流。从接受方用户的角度，可以获得VoLTE音频流与APP视频流，两者同步播放的用户体验。
实施例七
图8为本发明实施例提出的校准流过滤非脉冲部分的流程图，如图8所示，本实施例的方法包括以下步骤：
步骤601、终端的APP从IMS收到指示，表示远端终端(媒体流接受方)为音视频分离；
步骤602、在音频输入通道中按时间间隔加入超声波脉冲；
步骤603、VoLTE功能模块发送音频流；
步骤604、APP在发送校准音频流之前，将其中的非脉冲部分过滤，减少码率；
步骤605、APP发送校准音频流+时间戳(可以是APP本地的时间戳，也可以是基于某个NTP服务器)；
步骤606、接收方的APP，从输出通道中获取VoLTE功能模块将要播放的音频流，并与校准音频流进行比较(比较超声波脉冲)，获得两个音频流的时间偏移t1；
步骤607、APP发送视频流+时间戳(可以是APP本地的时间戳，也可以是基于某个NTP服务器)；
步骤608、接收方的APP根据校准音频流与视频流的时间戳，获得视频流相对校准音频流的时间偏移t2；视频流的时间同步偏移则为t1+t2，APP按此偏移播放视频流。从接受方用户的角度，可以获得VoLTE音频流与APP视频流，两者同步播放的用户体验。
本发明实施例还提供一种计算机可读存储介质，存储有计算机可执行指令，所述计算机可执行指令用于执行上述音视频同步的方法。
实施例八
图9为本发明实施例的终端的示意图，如图9所示，本实施例的终端包括：
确定模块，用于在发起视频呼叫后，确定所述终端的音频功能模块和应用软件无法基于网络时间协议进行同步或者呼叫接受终端为音视频分离；
所述音频功能模块，用于向所述呼叫接收终端发送音频流；
所述应用软件，用于向所述呼叫接收终端发送校准音频流和所述校准音频流的时间戳，发送视频流和所述视频流的时间戳。
可选地，所述应用软件，发送的校准音频流为按第一时间间隔采样的音频流。
可选地，本实施例的终端还可以包括：
加入模块，用于在音频输入通道中按第二时间间隔加入超声波脉冲；
所述终端的音频功能模块发送的音频流包括所述超声波脉冲，所述终端的应用软件发送的校准音频流包括所述超声波脉冲。
可选地，所述终端的应用软件，发送校准音频流之前还包括：过滤所述校准音频流中的非脉冲部分。
实施例九
图10为本发明实施例的终端的示意图，如图10所示，本实施例的终端包括：
接收模块，用于接受视频呼叫后，接收音频流、校准音频流和所述校准音频流的时间戳、视频流和所述视频流的时间戳；
获取模块，用于通过比较所述音频流和所述校准音频流获得第一时间偏移；根据所述校准音频流的时间戳与所述视频流的时间戳，获得所述视频流相对所述校准音频流的第二时间偏移；
同步模块，用于根据所述第一时间偏移和所述第二时间偏移进行音频流和视频流的同步处理。
在一可选实施例中，所述获取模块，如所述音频流和所述校准音频流中包括超声波脉冲，则通过比所述音频流和所述校准音频流中的超声波脉冲来获得所述第一时间偏移。
本领域普通技术人员可以理解上述方法中的全部或部分步骤可通过程序来指令相关硬件完成，所述程序可以存储于计算机可读存储介质中，如只读存储器、磁盘或光盘等。可选地，上述实施例的全部或部分步骤也可以使用一个或多个集成电路来实现。相应地，上述实施例中的各模块/单元可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。本发明不限制于任何特定形式的硬件和软件的结合。
以上仅为本发明的优选实施例，当然，本发明还可有其他多种实施例，在不背离本发明精神及其实质的情况下，熟悉本领域的技术人员当可根据本发明作出各种相应的改变和变形，但这些相应的改变和变形都应属于本发明所附的权利要求的保护范围。

Claims (13)

1.一种音视频同步的方法，包括：
终端在发起视频呼叫后，确定所述终端的音频功能模块和应用软件无法基于网络时间协议进行同步或者呼叫接收终端为音视频分离；
所述终端的音频功能模块向所述呼叫接收终端发送音频流；
所述终端的应用软件向所述呼叫接收终端发送校准音频流和所述校准音频流的时间戳并发送视频流和所述视频流的时间戳；
所述呼叫接收终端接受视频呼叫后，接收音频流、校准音频流和所述校准音频流的时间戳、视频流和所述视频流的时间戳；所述终端通过比较所述音频流和所述校准音频流获得第一时间偏移；根据所述校准音频流的时间戳与所述视频流的时间戳，获得所述视频流相对所述校准音频流的第二时间偏移；所述终端根据所述第一时间偏移和所述第二时间偏移进行音频流和视频流的同步处理。
2.如权利要求1所述的方法，其特征在于：
所述终端的应用软件发送的校准音频流为按第一时间间隔采样的音频流。
3.如权利要求1所述的方法，其特征在于：所述确定所述终端的音频功能模块和应用软件无法基于网络时间协议进行同步或者呼叫接受终端为音视频分离后，还包括：
所述终端在音频输入通道中按第二时间间隔加入超声波脉冲；
所述终端的音频功能模块发送的音频流包括所述超声波脉冲，所述终端的应用软件发送的校准音频流包括所述超声波脉冲。
4.如权利要求3所述的方法，其特征在于：所述终端的应用软件发送校准音频流之前，还包括：
过滤所述校准音频流中的非脉冲部分。
5.如权利要求1-4任一项所述的方法，其特征在于：
所述校准音频流的时间戳和所述视频流的时间戳为所述终端本地的时间戳或者为指定网络时间协议服务器的时间戳。
6.一种终端，其特征在于，包括：
确定模块，用于在发起视频呼叫后，确定所述终端的音频功能模块和应用软件无法基于网络时间协议进行同步或者呼叫接受终端为音视频分离；
所述音频功能模块，用于向所述呼叫接收终端发送音频流；
所述应用软件，用于向所述呼叫接收终端发送校准音频流和所述校准音频流的时间戳，并发送视频流和所述视频流的时间戳；
所述呼叫接收终端接受视频呼叫后，接收音频流、校准音频流和所述校准音频流的时间戳、视频流和所述视频流的时间戳；所述终端通过比较所述音频流和所述校准音频流获得第一时间偏移；根据所述校准音频流的时间戳与所述视频流的时间戳，获得所述视频流相对所述校准音频流的第二时间偏移；所述终端根据所述第一时间偏移和所述第二时间偏移进行音频流和视频流的同步处理。
7.如权利要求6所述的终端，其特征在于：
所述应用软件，发送的校准音频流为按第一时间间隔采样的音频流。
8.如权利要求6所述的终端，其特征在于：还包括：
加入模块，用于在音频输入通道中按第二时间间隔加入超声波脉冲；
所述终端的音频功能模块发送的音频流包括所述超声波脉冲，所述终端的应用软件发送的校准音频流包括所述超声波脉冲。
9.如权利要求8所述的终端，其特征在于：
所述终端的应用软件，发送校准音频流之前还包括：过滤所述校准音频流中的非脉冲部分。
10.一种音视频同步的方法，包括：
终端接受视频呼叫后，接收音频流、校准音频流和所述校准音频流的时间戳、视频流和所述视频流的时间戳；
所述终端通过比较所述音频流和所述校准音频流获得第一时间偏移；根据所述校准音频流的时间戳与所述视频流的时间戳，获得所述视频流相对所述校准音频流的第二时间偏移；
所述终端根据所述第一时间偏移和所述第二时间偏移进行音频流和视频流的同步处理。
11.如权利要求10所述的方法，其特征在于：
如所述音频流和所述校准音频流中包括超声波脉冲，则所述终端是通过比所述音频流和所述校准音频流中的超声波脉冲来获得所述第一时间偏移的。
12.一种终端，其特征在于，包括：
接收模块，用于接受视频呼叫后，接收音频流、校准音频流和所述校准音频流的时间戳、视频流和所述视频流的时间戳；
获取模块，用于通过比较所述音频流和所述校准音频流获得第一时间偏移；根据所述校准音频流的时间戳与所述视频流的时间戳，获得所述视频流相对所述校准音频流的第二时间偏移；
同步模块，用于根据所述第一时间偏移和所述第二时间偏移进行音频流和视频流的同步处理。
13.如权利要求12所述的终端，其特征在于：
所述获取模块，如所述音频流和所述校准音频流中包括超声波脉冲，则通过比所述音频流和所述校准音频流中的超声波脉冲来获得所述第一时间偏移。
CN201710166722.8A 2017-03-20 2017-03-20 一种音视频同步的方法及终端 Active CN108632557B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN201710166722.8A CN108632557B (zh) 2017-03-20 2017-03-20 一种音视频同步的方法及终端
PCT/CN2018/079120 WO2018171502A1 (zh) 2017-03-20 2018-03-15 一种音视频同步的方法、终端和计算机存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710166722.8A CN108632557B (zh) 2017-03-20 2017-03-20 一种音视频同步的方法及终端

Publications (2)

Publication Number Publication Date
CN108632557A CN108632557A (zh) 2018-10-09
CN108632557B true CN108632557B (zh) 2021-06-08

Family

ID=63585026

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710166722.8A Active CN108632557B (zh) 2017-03-20 2017-03-20 一种音视频同步的方法及终端

Country Status (2)

Country Link
CN (1) CN108632557B (zh)
WO (1) WO2018171502A1 (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109862193B (zh) * 2019-04-12 2020-10-02 珠海天燕科技有限公司 一种终端中来电视频的控制方法及装置

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101106724A (zh) * 2006-07-12 2008-01-16 联发科技股份有限公司 将视频数据及音频数据同步的方法及系统
CN101193311A (zh) * 2006-12-21 2008-06-04 腾讯科技（深圳）有限公司 一种p2p系统中音视频数据的同步方法
CN101710997A (zh) * 2009-11-04 2010-05-19 中兴通讯股份有限公司 基于mpeg-2系统实现视、音频同步的方法及系统
CN102056026A (zh) * 2009-11-06 2011-05-11 中国移动通信集团设计院有限公司 音视频同步检测方法及其系统、语音检测方法及其系统
CN106034263A (zh) * 2015-03-09 2016-10-19 腾讯科技（深圳）有限公司 媒体文件中音视频的校准方法及装置

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2004110069A1 (en) * 2003-06-06 2004-12-16 Koninklijke Philips Electronics N.V. Video compression
CN101271720B (zh) * 2008-04-22 2011-06-22 中兴通讯股份有限公司 一种手机流媒体音视频的同步方法
CN101902649A (zh) * 2010-07-15 2010-12-01 浙江工业大学 一种基于h.264标准的音视频同步控制方法
US9516262B2 (en) * 2012-05-07 2016-12-06 Comigo Ltd. System and methods for managing telephonic communications
CN103747316B (zh) * 2013-12-23 2018-04-06 乐视致新电子科技（天津）有限公司 一种音视频同步方法和电子设备

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101106724A (zh) * 2006-07-12 2008-01-16 联发科技股份有限公司 将视频数据及音频数据同步的方法及系统
CN101193311A (zh) * 2006-12-21 2008-06-04 腾讯科技（深圳）有限公司 一种p2p系统中音视频数据的同步方法
CN101710997A (zh) * 2009-11-04 2010-05-19 中兴通讯股份有限公司 基于mpeg-2系统实现视、音频同步的方法及系统
CN102056026A (zh) * 2009-11-06 2011-05-11 中国移动通信集团设计院有限公司 音视频同步检测方法及其系统、语音检测方法及其系统
CN106034263A (zh) * 2015-03-09 2016-10-19 腾讯科技（深圳）有限公司 媒体文件中音视频的校准方法及装置

Also Published As

Publication number Publication date
CN108632557A (zh) 2018-10-09
WO2018171502A1 (zh) 2018-09-27

Similar Documents

Publication Publication Date Title
US10805728B2 (en) Wireless audio synchronization
JP6640359B2 (ja) ワイヤレスオーディオ同期
US9479324B2 (en) Information processing apparatus, synchronization correction method and computer program
KR101655456B1 (ko) 애드혹 적응형 무선 이동 사운드 시스템 및 그 방법
US9088818B2 (en) Adaptive media delay matching
CN111010614A (zh) 一种显示直播字幕的方法、装置、服务器及介质
CN107018466B (zh) 增强音频记录
JP2004007140A (ja) 音声再生装置および同装置で用いられる音声再生制御方法
CN103200461A (zh) 一种多台播放终端同步播放系统及播放方法
KR20150055031A (ko) 재생 동기화
CN109168059A (zh) 一种在不同设备上分别播放音频与视频的唇音同步方法
CN108632557B (zh) 一种音视频同步的方法及终端
EP3868043B1 (en) Wireless audio synchronization
WO2014128360A1 (en) Synchronization of audio and video content
CN108696762A (zh) 一种同步播放方法、装置和系统
CN112671696B (zh) 报文传输方法、装置、计算机设备以及计算机存储介质
CN114257328B (zh) 多个音频设备的同步
TWI813499B (zh) 在視訊設備和無線音訊設備之間進行音視訊同步的方法及設備
US20240106877A1 (en) Broadcast Message-Based Conference Audio Synchronization
US20240098131A1 (en) Audio Synchronization Using Broadcast Messages
US10242694B2 (en) Synchronization of digital algorithmic state data with audio trace signals
US20240098413A1 (en) Audio Synchronization Using Bluetooth Low Energy
CN111327923B (zh) 一种音频流切换方法及装置
JP2008016905A (ja) コンテンツ送信装置、コンテンツ受信装置及びコンテンツ配信方法
JP2012109682A (ja) Ｉｐ受信装置、ｉｐ送信装置、およびｔｓ受信装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant