CN110753202A - 可视对讲系统的音视频同步方法、装置、设备及存储介质 - Google Patents

可视对讲系统的音视频同步方法、装置、设备及存储介质 Download PDF

Info

Publication number
CN110753202A
CN110753202A CN201911046701.8A CN201911046701A CN110753202A CN 110753202 A CN110753202 A CN 110753202A CN 201911046701 A CN201911046701 A CN 201911046701A CN 110753202 A CN110753202 A CN 110753202A
Authority
CN
China
Prior art keywords
video
audio
frame
decoding
timestamp
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201911046701.8A
Other languages
English (en)
Other versions
CN110753202B (zh
Inventor
曾义
杜其昌
吴艳茹
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangzhou Hedong Technology Co Ltd
Original Assignee
Guangzhou Hedong Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangzhou Hedong Technology Co Ltd filed Critical Guangzhou Hedong Technology Co Ltd
Priority to CN201911046701.8A priority Critical patent/CN110753202B/zh
Publication of CN110753202A publication Critical patent/CN110753202A/zh
Application granted granted Critical
Publication of CN110753202B publication Critical patent/CN110753202B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/14—Systems for two-way working
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/4302—Content synchronisation processes, e.g. decoder synchronisation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/439—Processing of audio elementary streams
    • H04N21/4398—Processing of audio elementary streams involving reformatting operations of audio signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/4402—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display
    • H04N21/440218—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display by transcoding between formats or standards, e.g. from MPEG-2 to MPEG-4
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/85—Assembly of content; Generation of multimedia applications
    • H04N21/854—Content authoring
    • H04N21/8547—Content authoring involving timestamps for synchronizing content

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Security & Cryptography (AREA)
  • Interconnected Communication Systems, Intercoms, And Interphones (AREA)

Abstract

本申请实施例公开了一种可视对讲系统的音视频同步方法、装置、电子设备及存储介质。所述方法包括：在音频帧和视频帧被创建时，根据预先设置的系统时间戳起点得到所述音频帧和所述视频帧的显示时间戳，所述显示时间戳用于指示所述音频帧和所述视频帧在解码后的显示顺序；在对所述音频帧和所述视频帧进行编码得到压缩数据包时，根据预先设置的系统时间戳起点得到所述音频帧和所述视频帧的解码时间戳，所述解码时间戳用于指示所述音频帧和所述视频帧的解码顺序；将所述压缩数据包、对应的显示时间戳及解码时间戳推流至服务器端。本申请实施例提供的技术方案，能够较好地确保可视对讲系统的音视频同步播放。

Description

可视对讲系统的音视频同步方法、装置、设备及存储介质
技术领域
本申请实施例涉及可视对讲系统技术领域，尤其涉及一种可视对讲系统的音视频同步方法、装置、设备及存储介质。
背景技术
目前，随着人们生活水平的提高，对人身、财产安全的防范意识也在逐渐增强。通常，小区房屋建设都有统一的防盗门，访客来访时，通过按下相关住户的门铃，以呼叫住户开门。为了较好地确认访客身份，于是楼宇可视对讲系统应运而生。可视对讲系统作为一套现代化的小区住宅服务措施，提供访客与住户之间双向可视通话，可以让访客和业主直接通过视频通话并为访客打开防盗门锁，以此来达到图像、语音双重识别从而增加安全可靠性。
但是，现有的可视对讲系统，在从服务器拉流进行客户端的音视频播放时，经常出现当前音频与视频显示画面不同步的情况，影响用户的使用体验。
发明内容
本申请实施例提供一种可视对讲系统的音视频同步方法、装置、电子设备及存储介质，能够较好地确保可视对讲系统的音视频同步播放。
在第一方面，本申请实施例提供了一种可视对讲系统的音视频同步方法，包括：
在音频帧和视频帧被创建时，根据预先设置的系统时间戳起点得到所述音频帧和所述视频帧的显示时间戳，所述显示时间戳用于指示所述音频帧和所述视频帧在解码后的显示顺序；
在对所述音频帧和所述视频帧进行编码得到压缩数据包时，根据预先设置的系统时间戳起点得到所述音频帧和所述视频帧的解码时间戳，所述解码时间戳用于指示所述音频帧和所述视频帧的解码顺序；
将所述压缩数据包、对应的显示时间戳及解码时间戳推流至服务器端。
进一步的，所述在音频帧和视频帧被创建时，根据预先设置的系统时间戳起点得到所述音频帧和所述视频帧的显示时间戳之前，还包括：
在系统软件启动时，记录当前的时间戳，并以当前的时间戳作为系统时间戳起点。
进一步的，在所述根据预先设置的系统时间戳起点得到所述音频帧和所述视频帧的显示时间戳中，根据所述音频帧和所述视频帧被创建时对应的时间戳，以及系统软件启动时对应的时间戳进行作差得到所述显示时间戳；
对应的，在所述根据预先设置的系统时间戳起点得到所述音频帧和所述视频帧的解码时间戳中，根据所述音频帧和所述视频帧进行编码时对应的时间戳，以及系统软件启动时对应的时间戳进行作差得到所述解码时间戳。
进一步的，在将所述压缩数据包、对应的显示时间戳及解码时间戳推流至服务器端中，还将所述压缩数据包的持续时间信息推送至服务器端。
进一步的，在将所述压缩数据包、对应的显示时间戳及解码时间戳推流至服务器端之前，还包括：
将所述显示时间戳、所述解码时间戳及所述持续时间由编码时间基数转换为系统时间基数表示。
在第二方面，本申请实施例提供了一种可视对讲系统的音视频同步装置，包括：
创建模块，用于在音频帧和视频帧被创建时，根据预先设置的系统时间戳起点得到所述音频帧和所述视频帧的显示时间戳，所述显示时间戳用于指示所述音频帧和所述视频帧在解码后的显示顺序；
编码模块，用于在对所述音频帧和所述视频帧进行编码得到压缩数据包时，根据预先设置的系统时间戳起点得到所述音频帧和所述视频帧的解码时间戳，所述解码时间戳用于指示所述音频帧和所述视频帧的解码顺序；
推流模块，用于将所述压缩数据包、对应的显示时间戳及解码时间戳推流至服务器端。
具体的，还包括：
记录模块，用于在系统软件启动时，记录当前的时间戳，并以当前的时间戳作为系统时间戳起点。
具体的，所述创建模块在根据预先设置的系统时间戳起点得到所述音频帧和所述视频帧的显示时间戳中，根据所述音频帧和所述视频帧被创建时对应的时间戳，以及系统软件启动时对应的时间戳进行作差得到所述显示时间戳；
所述编码模块在根据预先设置的系统时间戳起点得到所述音频帧和所述视频帧的解码时间戳中，根据所述音频帧和所述视频帧进行编码时对应的时间戳，以及系统软件启动时对应的时间戳进行作差得到所述解码时间戳。
具体的，所述推流模块还用于将所述压缩数据包的持续时间信息推送至服务器端。
具体的，还包括：
转换模块，用于将所述显示时间戳、所述解码时间戳及持续时间由编码时间基数转换为系统时间基数表示。
在第三方面，本申请实施例提供了一种电子设备，包括：
存储器以及一个或多个处理器；
所述存储器，用于存储一个或多个程序；
当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如第一方面所述的可视对讲系统的音视频同步方法。
在第四方面，本申请实施例提供了一种包含计算机可执行指令的存储介质，所述计算机可执行指令在由计算机处理器执行时用于执行如第一方面所述的可视对讲系统的音视频同步方法。
本申请实施例通过在音频帧和视频帧被创建时，根据系统时间戳起点得到音频帧和视频帧的显示时间戳，在音频帧和视频帧进行编码得到压缩数据包时，根据系统时间戳起点得到音频帧和视频帧的解码时间戳，最终在进行压缩数据包推流时，将显示时间戳及解码时间戳信息一并发送至服务器端。采用上述技术手段，可使音视频压缩数据包在进行拉流解码播放时，根据解码时间戳指示的解码顺序进行解码，根据显示时间戳指示的显示顺序播放音视频数据，以此来实现音视频画面的同步播放，进而优化用户对可视对讲系统的使用体验。
附图说明
图1是本申请实施例一提供的一种可视对讲系统的音视频同步方法的流程图；
图2是本申请实施例二提供的另一种可视对讲系统的音视频同步方法的流程图；
图3是本申请实施例三提供的另一种可视对讲系统的音视频同步方法的流程图；
图4是本申请实施例四提供的一种可视对讲系统的音视频同步装置的结构示意图；
图5是本申请实施例五提供的一种电子设备的结构示意图。
具体实施方式
为了使本申请的目的、技术方案和优点更加清楚，下面结合附图对本申请具体实施例作进一步的详细描述。可以理解的是，此处所描述的具体实施例仅仅用于解释本申请，而非对本申请的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与本申请相关的部分而非全部内容。在更加详细地讨论示例性实施例之前应当提到的是，一些示例性实施例被描述成作为流程图描绘的处理或方法。虽然流程图将各项操作(或步骤)描述成顺序的处理，但是其中的许多操作可以被并行地、并发地或者同时实施。此外，各项操作的顺序可以被重新安排。当其操作完成时所述处理可以被终止，但是还可以具有未包括在附图中的附加步骤。所述处理可以对应于方法、函数、规程、子例程、子程序等等。
本申请提供的可视对讲系统的音视频同步方法，旨在客户端采集的音视频数据在进行拉流播放时能够实现音视频同步播放，避免音频与视频画面不同步的情况，进而影响用户的对讲体验。相对于现有的可视对讲系统，在进行音视频数据拉流解码播放时，如果简单地按照音频的采样率与视频的帧率去播放，由于机器运行速度，解码效率等种种造成时间差异的因素影响，很难做到音视频同步，音视频时间差将会呈现线性增长。进而导致音视频播放不同步，影响用户对可视对讲系统的使用体验。基于此，提供本申请实施例的可视对讲系统的音视频同步方法，通过记录每一帧音频帧、视频帧的显示时间戳及解码时间戳，以指示系统按对应的解码顺序进行解码，并按对应的显示顺序进行音视频播放，进而实现音视频画面的同步播放。以解决现有可视对讲系统音视频播放不同步的问题。
实施例一：
图1给出了本申请实施例一提供的一种可视对讲系统的音视频同步方法的流程图，本实施例中提供的可视对讲系统的音视频同步方法可以由可视对讲系统的音视频同步设备执行，该可视对讲系统的音视频同步设备可以通过软件和/或硬件的方式实现，该可视对讲系统的音视频同步设备可以是两个或多个物理实体构成，也可以是一个物理实体构成。一般而言，该可视对讲系统的音视频同步设备可以是可视对讲系统的门口主机客户端，也可以是可视对讲系统的室内分机客户端。
下述以可视对讲系统的音视频同步设备为执行可视对讲系统的音视频同步方法的主体为例，进行描述。参照图1，该可视对讲系统的音视频同步方法具体包括：
S110、在音频帧和视频帧被创建时，根据预先设置的系统时间戳起点得到所述音频帧和所述视频帧的显示时间戳，所述显示时间戳用于指示所述音频帧和所述视频帧在解码后的显示顺序。
示例性的，当访客使用可视对讲系统的门口主机访问相关住户时，可视对讲系统的门口主机客户端通过摄像头拍摄现场视频，通过麦克风收录现场声音信息。之后，通过QT(跨平台的C++图形用户界面应用程序框架)的API接口访问可视对讲系统的摄像头及麦克风设备，进行音频帧、视频帧数据的采集，即音频帧和视频帧的创建。其中，音频帧和视频帧在被创建时，会记录每一帧音频帧或视频帧被创建时对应的时间戳，该时间戳用于计算得到每一帧音频帧或视频帧对应的显示时间戳。可视对讲系统会预先设置一时间戳为系统时间戳起点，在进行显示时间戳计算时，将每一帧音频帧或视频帧被创建时对应的时间戳与设置为系统时间戳起点所对应的时间戳进行作差，则得到每一帧音频帧或视频帧的显示时间戳。显示时间戳用于指示音频帧和视频帧在解码后的显示顺序，可视对讲系统的室内分机客户端通过显示时间戳的指示进行音频帧、视频帧的播放。
S120、在对所述音频帧和所述视频帧进行编码得到压缩数据包时，根据预先设置的系统时间戳起点得到所述音频帧和所述视频帧的解码时间戳，所述解码时间戳用于指示所述音频帧和所述视频帧的解码顺序。
对应门口主机采集到的音频数据及视频数据，在对这些音频数据、视频数据进行编码压缩时，由于视频帧的压缩通常采用B帧法(B frame)进行视频帧数据的压缩。B帧法是双向预测的帧间压缩算法，当把一帧压缩成B帧时，它根据相邻的前一帧、本帧以及后一帧数据的不同点来压缩本帧，也即仅记录本帧与前后帧的差值。也就是说，采用B帧法进行视频帧数据的压缩时，在后续视频数据包的解码过程中，不会按照时间戳顺序解码每一帧视频帧数据，而是先进行“B帧”视频帧数据的解码，之后再根据“B帧”进行前后帧视频帧数据的解码。因此，不同于音频帧数据，其显示时间戳顺序可能与解码时间戳顺序相同。视频帧数据由于B帧(双向预测)的存在，会造成解码顺序与显示顺序并不相同，也就是视频中解码时间戳与显示时间戳不一定相同。
因此，在进行音视频编码压缩时，根据每一帧音频帧或视频帧进行编码时对应的时间戳，在计算解码时间戳时，将每一帧音频帧或视频帧进行编码时对应的时间戳与设置为系统时间戳起点所对应的时间戳进行作差，则得到每一帧音频帧或视频帧的解码时间戳。解码时间戳用于指示视频帧和音频帧的解码顺序，以避免解码顺序影响音视频同步。
S130、将所述压缩数据包、对应的显示时间戳及解码时间戳推流至服务器端。
具体的，音频帧和视频帧经编码压缩得到数据包后，将上述计算得到的显示时间戳及解码时间戳与压缩数据包一并发送至服务器端，供可视对讲系统的客户端对音视频数据进行拉流解码播放。其中，解码时间戳决定了解码器系统参考时间(当前时间与系统时间戳起点的间隔)等于解码时间戳对应的时间时进行解码，显示时间戳也是类似的。通常，显示时间戳、解码时间戳指示的是晚于音视频数据包中的系统时间戳起点的。例如，如果一个视频数据包的系统时间戳起点是100ms，那么解码时间戳、显示时间戳的值就差不多是200ms、280ms，表明当系统参考时间到200ms时这个视频数据应该被解码并在80ms以后被显示出来。
需要注意的是，本申请实施例解决音视频同步问题的关键就是时间戳，时间戳的记录首先需要选择一个参考时钟(创建时间、编码时间与系统时间戳起点的间隔)。在生成数据流时依据参考时钟上的时间给每个数据块都打上时间戳，则在播放时，读取数据块上的时间戳，同时参考当前参考时钟上的时间来安排播放，如果数据块的开始时间大于当前参考时钟上的时间，则不急于播放该数据块，直到参考时钟达到数据块的开始时间。同样的，如果数据块的开始时间小于当前参考时钟上的时间，则“尽快”播放这块数据或者索性将这块数据“丢弃”，以使播放进度追上时间戳对应的参考时钟。
示例性的，最终，可视对讲系统的室内分机客户端从服务器端拉取对应音视频数据的流媒体数据包，通过解协议、解封装及解码操作后，即可输出进行播放。其中，在进行解码时，根据音频帧、视频帧数据对应的解码时间戳指示的解码顺序进行解码。并且，在进行音频帧、视频帧数据的输出显示时，根据显示时间戳指示的显示顺序进行音频帧、视频帧数据的输出显示。以此来实现可视对讲系统的音视频同步。
上述，通过在音频帧和视频帧被创建时，根据系统时间戳起点得到音频帧和视频帧的显示时间戳，在音频帧和视频帧进行编码得到压缩数据包时，根据系统时间戳起点得到音频帧和视频帧的解码时间戳，最终在进行压缩数据包推流时，将显示时间戳及解码时间戳信息一并发送至服务器端。采用上述技术手段，可使音视频压缩数据包在进行拉流解码播放时，根据解码时间戳指示的解码顺序进行解码，根据显示时间戳指示的显示顺序播放音视频数据，以此来实现音视频画面的同步播放，进而优化用户对可视对讲系统的使用体验。
实施例二：
在上述实施例的基础上，图2为本申请实施例二提供的另一种可视对讲系统的音视频同步方法的流程图。参考图2，本实施例提供的可视对讲系统的音视频同步方法具体包括：
S210、在系统软件启动时，记录当前的时间戳，并以当前的时间戳作为系统时间戳起点；
S220、在音频帧和视频帧被创建时，根据预先设置的系统时间戳起点得到所述音频帧和所述视频帧的显示时间戳，所述显示时间戳用于指示所述音频帧和所述视频帧在解码后的显示顺序；
S230、在对所述音频帧和所述视频帧进行编码得到压缩数据包时，根据预先设置的系统时间戳起点得到所述音频帧和所述视频帧的解码时间戳，所述解码时间戳用于指示所述音频帧和所述视频帧的解码顺序；
S240、将所述压缩数据包、对应的显示时间戳及解码时间戳推流至服务器端。
具体的，本申请实施例在系统软件启动时，即记录系统软件启动时的时间戳，以这一时间戳作为系统时间戳起点。系统时间戳起点提供一个参考时间戳起点，后续的显示时间戳、解码时间戳在进行记录时，以这一参考时间戳起点进行计算。即在进行显示时间戳计算时，将每一帧音频帧或视频帧被创建时对应的时间戳与系统软件启动时的时间戳进行作差，得到每一帧音频帧或视频帧的显示时间戳。对应的，在计算解码时间戳时，将每一帧音频帧或视频帧编码时对应的时间戳与系统软件启动时的时间戳进行作差，则得到每一帧音频帧或视频帧的解码时间戳。
由上述技术方案可知，本申请实施例通过在系统软件启动时，记录当前的时间戳作为系统时间戳起点，以便于进行显示时间戳、解码时间戳的记录。
实施例三：
在上述实施例的基础上，图3为本申请实施例三提供的另一种可视对讲系统的音视频同步方法的流程图。参考图3，本实施例提供的可视对讲系统的音视频同步方法具体包括：
S310、在音频帧和视频帧被创建时，根据预先设置的系统时间戳起点得到所述音频帧和所述视频帧的显示时间戳，所述显示时间戳用于指示所述音频帧和所述视频帧在解码后的显示顺序；
S320、在对所述音频帧和所述视频帧进行编码得到压缩数据包时，根据预先设置的系统时间戳起点得到所述音频帧和所述视频帧的解码时间戳，所述解码时间戳用于指示所述音频帧和所述视频帧的解码顺序；
S330、将所述显示时间戳、所述解码时间戳及所述持续时间由编码时间基数转换为系统时间基数表示；
S340、将所述压缩数据包、对应的显示时间戳、解码时间戳及持续时间推流至服务器端。
具体的，本申请实施例在进行音视频压缩数据包推流至服务器端之前，还将当前音频帧和视频帧数据的显示时间戳、解码时间戳及数据包的持续时间由编码时间基数转换为系统时间基数表示。由于可视对讲系统门口主机客户端在进行视频帧、音频帧的创建和编码压缩时，其显示时间戳、解码时间戳及数据包的持续时间所使用的编码时间基数可能与系统时间基数不同，而在进行音频帧、视频帧数据的解码播放时，其显示时间戳、解码时间戳及数据包的持续时间是根据可视对讲系统的室内分机客户端一端的系统时间基数为标准进行表示的，因此需要在进行推流时将显示时间戳、解码时间戳及持续时间由编码时间基数转换为系统时间基数表示，以确保使用的时间基数的标准正确，使音频帧、视频帧数据能够正常播放。
实施例四：
在上述实施例的基础上，图4为本申请实施例四提供的一种可视对讲系统的音视频同步装置的结构示意图。参考图4，本实施例提供的可视对讲系统的音视频同步装置具体包括：创建模块41、编码模块42和推流模块43。
其中，创建模块41，用于在音频帧和视频帧被创建时，根据预先设置的系统时间戳起点得到所述音频帧和所述视频帧的显示时间戳，所述显示时间戳用于指示所述音频帧和所述视频帧在解码后的显示顺序；
编码模块42，用于在对所述音频帧和所述视频帧进行编码得到压缩数据包时，根据预先设置的系统时间戳起点得到所述音频帧和所述视频帧的解码时间戳，所述解码时间戳用于指示所述音频帧和所述视频帧的解码顺序；
推流模块43，用于将所述压缩数据包、对应的显示时间戳及解码时间戳推流至服务器端。
上述，通过在音频帧和视频帧被创建时，根据系统时间戳起点得到音频帧和视频帧的显示时间戳，在音频帧和视频帧进行编码得到压缩数据包时，根据系统时间戳起点得到音频帧和视频帧的解码时间戳，最终在进行压缩数据包推流时，将显示时间戳及解码时间戳信息一并发送至服务器端。采用上述技术手段，可使音视频压缩数据包在进行拉流解码播放时，根据解码时间戳指示的解码顺序进行解码，根据显示时间戳指示的显示顺序播放音视频数据，以此来实现音视频画面的同步播放，进而优化用户对可视对讲系统的使用体验。
具体的，还包括：
记录模块，用于在系统软件启动时，记录当前的时间戳，并以当前的时间戳作为系统时间戳起点。
具体的，所述创建模块在根据预先设置的系统时间戳起点得到所述音频帧和所述视频帧的显示时间戳中，根据所述音频帧和所述视频帧被创建时对应的时间戳，以及系统软件启动时对应的时间戳进行作差得到所述显示时间戳；
所述编码模块在根据预先设置的系统时间戳起点得到所述音频帧和所述视频帧的解码时间戳中，根据所述音频帧和所述视频帧进行编码时对应的时间戳，以及系统软件启动时对应的时间戳进行作差得到所述解码时间戳。
具体的，所述推流模块还用于将所述压缩数据包的持续时间信息推送至服务器端。
具体的，还包括：
转换模块，用于将所述显示时间戳、所述解码时间戳及持续时间由编码时间基数转换为系统时间基数表示。
本申请实施例四提供的可视对讲系统的音视频同步装置可以用于执行上述实施例一、二、三提供的可视对讲系统的音视频同步方法，具备相应的功能和有益效果。
实施例五：
本申请实施例五提供了一种电子设备，参照图5，该电子设备包括：处理器51、存储器52、通信模块53、输入装置54及输出装置55。该电子设备中处理器的数量可以是一个或者多个，该电子设备中的存储器的数量可以是一个或者多个。该电子设备的处理器51、存储器52、通信模块53、输入装置54及输出装置55可以通过总线或者其他方式连接。
存储器52作为一种计算机可读存储介质，可用于存储软件程序、计算机可执行程序以及模块，如本申请任意实施例所述的可视对讲系统的音视频同步方法对应的程序指令/模块(例如，可视对讲系统的音视频同步装置中的创建模块、编码模块和推流模块)。存储器可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序；存储数据区可存储根据设备的使用所创建的数据等。此外，存储器可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件、闪存器件、或其他非易失性固态存储器件。在一些实例中，存储器可进一步包括相对于处理器远程设置的存储器，这些远程存储器可以通过网络连接至设备。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
通信模块53用于进行数据传输。
处理器51通过运行存储在存储器中的软件程序、指令以及模块，从而执行设备的各种功能应用以及数据处理，即实现上述的可视对讲系统的音视频同步方法。
输入装置54可用于接收输入的数字或字符信息，以及产生与设备的用户设置以及功能控制有关的键信号输入。输出装置55可包括显示屏等显示设备。
上述提供的电子设备可用于执行上述实施例一提供的可视对讲系统的音视频同步方法，具备相应的功能和有益效果。
实施例六：
本申请实施例还提供一种包含计算机可执行指令的存储介质，所述计算机可执行指令在由计算机处理器执行时用于执行一种可视对讲系统的音视频同步方法，该可视对讲系统的音视频同步方法包括：在音频帧和视频帧被创建时，根据预先设置的系统时间戳起点得到所述音频帧和所述视频帧的显示时间戳，所述显示时间戳用于指示所述音频帧和所述视频帧在解码后的显示顺序；在对所述音频帧和所述视频帧进行编码得到压缩数据包时，根据预先设置的系统时间戳起点得到所述音频帧和所述视频帧的解码时间戳，所述解码时间戳用于指示所述音频帧和所述视频帧的解码顺序；将所述压缩数据包、对应的显示时间戳及解码时间戳推流至服务器端。
存储介质——任何的各种类型的存储器设备或存储设备。术语“存储介质”旨在包括：安装介质，例如CD-ROM、软盘或磁带装置；计算机系统存储器或随机存取存储器，诸如DRAM、DDR RAM、SRAM、EDO RAM，兰巴斯(Rambus)RAM等；非易失性存储器，诸如闪存、磁介质(例如硬盘或光存储)；寄存器或其它相似类型的存储器元件等。存储介质可以还包括其它类型的存储器或其组合。另外，存储介质可以位于程序在其中被执行的第一计算机系统中，或者可以位于不同的第二计算机系统中，第二计算机系统通过网络(诸如因特网)连接到第一计算机系统。第二计算机系统可以提供程序指令给第一计算机用于执行。术语“存储介质”可以包括驻留在不同位置中(例如在通过网络连接的不同计算机系统中)的两个或更多存储介质。存储介质可以存储可由一个或多个处理器执行的程序指令(例如具体实现为计算机程序)。
当然，本申请实施例所提供的一种包含计算机可执行指令的存储介质，其计算机可执行指令不限于如上所述的可视对讲系统的音视频同步方法，还可以执行本申请任意实施例所提供的可视对讲系统的音视频同步方法中的相关操作。
上述实施例中提供的可视对讲系统的音视频同步装置、存储介质及电子设备可执行本申请任意实施例所提供的可视对讲系统的音视频同步方法，未在上述实施例中详尽描述的技术细节，可参见本申请任意实施例所提供的可视对讲系统的音视频同步方法。
上述仅为本申请的较佳实施例及所运用的技术原理。本申请不限于这里所述的特定实施例，对本领域技术人员来说能够进行的各种明显变化、重新调整及替代均不会脱离本申请的保护范围。因此，虽然通过以上实施例对本申请进行了较为详细的说明，但是本申请不仅仅限于以上实施例，在不脱离本申请构思的情况下，还可以包括更多其他等效实施例，而本申请的范围由权利要求的范围决定。

Claims (10)

1.一种可视对讲系统的音视频同步方法，其特征在于，包括：
在音频帧和视频帧被创建时，根据预先设置的系统时间戳起点得到所述音频帧和所述视频帧的显示时间戳，所述显示时间戳用于指示所述音频帧和所述视频帧在解码后的显示顺序；
在对所述音频帧和所述视频帧进行编码得到压缩数据包时，根据预先设置的系统时间戳起点得到所述音频帧和所述视频帧的解码时间戳，所述解码时间戳用于指示所述音频帧和所述视频帧的解码顺序；
将所述压缩数据包、对应的显示时间戳及解码时间戳推流至服务器端。
2.根据权利要求1所述的可视对讲系统的音视频同步方法，其特征在于，所述在音频帧和视频帧被创建时，根据预先设置的系统时间戳起点得到所述音频帧和所述视频帧的显示时间戳之前，还包括：
在系统软件启动时，记录当前的时间戳，并以当前的时间戳作为系统时间戳起点。
3.根据权利要求2所述的可视对讲系统的音视频同步方法，其特征在于，在所述根据预先设置的系统时间戳起点得到所述音频帧和所述视频帧的显示时间戳中，根据所述音频帧和所述视频帧被创建时对应的时间戳，以及系统软件启动时对应的时间戳进行作差得到所述显示时间戳；
对应的，在所述根据预先设置的系统时间戳起点得到所述音频帧和所述视频帧的解码时间戳中，根据所述音频帧和所述视频帧进行编码时对应的时间戳，以及系统软件启动时对应的时间戳进行作差得到所述解码时间戳。
4.根据权利要求1所述的可视对讲系统的音视频同步方法，其特征在于，在将所述压缩数据包、对应的显示时间戳及解码时间戳推流至服务器端中，还将所述压缩数据包的持续时间信息推送至服务器端。
5.根据权利要求4所述的可视对讲系统的音视频同步方法，其特征在于，在将所述压缩数据包、对应的显示时间戳及解码时间戳推流至服务器端之前，还包括：
将所述显示时间戳、所述解码时间戳及所述持续时间由编码时间基数转换为系统时间基数表示。
6.一种可视对讲系统的音视频同步装置，其特征在于，包括：
创建模块，用于在音频帧和视频帧被创建时，根据预先设置的系统时间戳起点得到所述音频帧和所述视频帧的显示时间戳，所述显示时间戳用于指示所述音频帧和所述视频帧在解码后的显示顺序；
编码模块，用于在对所述音频帧和所述视频帧进行编码得到压缩数据包时，根据预先设置的系统时间戳起点得到所述音频帧和所述视频帧的解码时间戳，所述解码时间戳用于指示所述音频帧和所述视频帧的解码顺序；
推流模块，用于将所述压缩数据包、对应的显示时间戳及解码时间戳推流至服务器端。
7.根据权利要求6所述的可视对讲系统的音视频同步装置，其特征在于，还包括：
记录模块，用于在系统软件启动时，记录当前的时间戳，并以当前的时间戳作为系统时间戳起点。
8.根据权利要求6所述的可视对讲系统的音视频同步装置，其特征在于，还包括：
转换模块，用于将所述显示时间戳、所述解码时间戳及持续时间由编码时间基数转换为系统时间基数表示。
9.一种电子设备，其特征在于，包括：
存储器以及一个或多个处理器；
所述存储器，用于存储一个或多个程序；
当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如权利要求1-5任一所述的可视对讲系统的音视频同步方法。
10.一种包含计算机可执行指令的存储介质，其特征在于，所述计算机可执行指令在由计算机处理器执行时用于执行如权利要求1-5任一所述的可视对讲系统的音视频同步方法。
CN201911046701.8A 2019-10-30 2019-10-30 可视对讲系统的音视频同步方法、装置、设备及存储介质 Active CN110753202B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201911046701.8A CN110753202B (zh) 2019-10-30 2019-10-30 可视对讲系统的音视频同步方法、装置、设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911046701.8A CN110753202B (zh) 2019-10-30 2019-10-30 可视对讲系统的音视频同步方法、装置、设备及存储介质

Publications (2)

Publication Number Publication Date
CN110753202A true CN110753202A (zh) 2020-02-04
CN110753202B CN110753202B (zh) 2021-11-30

Family

ID=69281301

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911046701.8A Active CN110753202B (zh) 2019-10-30 2019-10-30 可视对讲系统的音视频同步方法、装置、设备及存储介质

Country Status (1)

Country Link
CN (1) CN110753202B (zh)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113490029A (zh) * 2021-06-21 2021-10-08 深圳Tcl新技术有限公司 视频播放方法、装置、设备及存储介质
CN113784073A (zh) * 2021-09-28 2021-12-10 深圳万兴软件有限公司 一种录音录像声音和画面同步方法、装置及相关介质
CN113824965A (zh) * 2021-09-22 2021-12-21 北京百度网讯科技有限公司 一种视频编码方法、装置及电子设备
CN113891132A (zh) * 2021-10-25 2022-01-04 北京字节跳动网络技术有限公司 一种音视频同步监控方法、装置、电子设备及存储介质
CN114173207A (zh) * 2021-11-15 2022-03-11 杭州当虹科技股份有限公司 一种视频帧顺序传输的方法和系统
SE2350439A1 (en) * 2023-04-14 2024-05-21 Livearena Tech Ab Systems and methods for managing sharing of a video in a collaboration session

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP0413622A1 (en) * 1989-08-03 1991-02-20 Rhone-Poulenc Sante Albumin derivatives with therapeutic functions
CN1098838A (zh) * 1993-05-13 1995-02-15 汤姆森消费电子有限公司 用于压缩的视频信号的时钟装置
WO2000050974A2 (en) * 1999-02-26 2000-08-31 Reveo, Inc. Globally time-synchronized systems, devices and methods
CN1436001A (zh) * 2002-01-28 2003-08-13 北京华诺信息技术有限公司 解码系统中实现视频与音频同步的方法
KR20040065170A (ko) * 2003-01-14 2004-07-21 소니 가부시끼 가이샤 화상 정보 복호 장치 및 방법
CN101340591A (zh) * 2008-08-11 2009-01-07 深圳华为通信技术有限公司 解码系统中接收视音频数据的处理方法及装置
CN102724559A (zh) * 2012-06-13 2012-10-10 天脉聚源(北京)传媒科技有限公司 一种音视频编码同步方法和系统

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP0413622A1 (en) * 1989-08-03 1991-02-20 Rhone-Poulenc Sante Albumin derivatives with therapeutic functions
CN1098838A (zh) * 1993-05-13 1995-02-15 汤姆森消费电子有限公司 用于压缩的视频信号的时钟装置
WO2000050974A2 (en) * 1999-02-26 2000-08-31 Reveo, Inc. Globally time-synchronized systems, devices and methods
CN1436001A (zh) * 2002-01-28 2003-08-13 北京华诺信息技术有限公司 解码系统中实现视频与音频同步的方法
KR20040065170A (ko) * 2003-01-14 2004-07-21 소니 가부시끼 가이샤 화상 정보 복호 장치 및 방법
CN101340591A (zh) * 2008-08-11 2009-01-07 深圳华为通信技术有限公司 解码系统中接收视音频数据的处理方法及装置
CN102724559A (zh) * 2012-06-13 2012-10-10 天脉聚源(北京)传媒科技有限公司 一种音视频编码同步方法和系统

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113490029A (zh) * 2021-06-21 2021-10-08 深圳Tcl新技术有限公司 视频播放方法、装置、设备及存储介质
CN113824965A (zh) * 2021-09-22 2021-12-21 北京百度网讯科技有限公司 一种视频编码方法、装置及电子设备
CN113784073A (zh) * 2021-09-28 2021-12-10 深圳万兴软件有限公司 一种录音录像声音和画面同步方法、装置及相关介质
CN113891132A (zh) * 2021-10-25 2022-01-04 北京字节跳动网络技术有限公司 一种音视频同步监控方法、装置、电子设备及存储介质
CN114173207A (zh) * 2021-11-15 2022-03-11 杭州当虹科技股份有限公司 一种视频帧顺序传输的方法和系统
CN114173207B (zh) * 2021-11-15 2024-02-23 杭州当虹科技股份有限公司 一种视频帧顺序传输的方法和系统
SE2350439A1 (en) * 2023-04-14 2024-05-21 Livearena Tech Ab Systems and methods for managing sharing of a video in a collaboration session
SE546090C2 (en) * 2023-04-14 2024-05-21 Livearena Tech Ab Systems and methods for managing sharing of a video in a collaboration session

Also Published As

Publication number Publication date
CN110753202B (zh) 2021-11-30

Similar Documents

Publication Publication Date Title
CN110753202B (zh) 可视对讲系统的音视频同步方法、装置、设备及存储介质
CN110650307A (zh) 基于qt的音视频推流方法、装置、设备及存储介质
CN109391585B (zh) 视频数据处理方法、装置、终端及计算机可读存储介质
CN110868600A (zh) 目标跟踪视频推流方法、显示方法、装置和存储介质
CN103947183A (zh) 用于嵌入式应用的方法和装置
CN112954433B (zh) 视频处理方法、装置、电子设备及存储介质
CN109547812A (zh) 一种直播方法、装置、移动终端与存储介质
CN103428483A (zh) 一种媒体数据处理方法及设备
CN112565224B (zh) 一种视频处理方法及装置
CN113225585A (zh) 一种视频清晰度的切换方法、装置、电子设备以及存储介质
CN110493627A (zh) 多媒体内容同步方法及装置
CN112714320A (zh) 一种解码方法、解码设备及计算机可读存储介质
CN112584083A (zh) 视频播放方法、系统、电子设备和存储介质
CN112995730A (zh) 音画同步调整方法、装置、电子设备及介质
CN111405358A (zh) 基于缓存的视频帧提取方法、装置、介质及系统
CN201805504U (zh) 一种远程音视频监控系统
CN112203126B (zh) 投屏方法、投屏装置及存储介质
CN111277864B (zh) 直播数据的编码方法、装置、流转系统及电子设备
CN111885412B (zh) Hdmi信号传屏方法及无线传屏器
KR100731581B1 (ko) 객체 인식을 통한 원격감시 영상데이터의 송수신 방법 및그 시스템
CN110650308A (zh) 基于qt的音视频拉流方法、装置、设备及存储介质
KR100937418B1 (ko) 부재중 메시지 저장 기능을 갖는 ｐｖｒ 장치 및 그 방법
US11785405B2 (en) Systems and methods for automatic synchronization of content between a player system and a listener system
CN110545447B (zh) 一种音视频同步的方法及装置
CN114339317A (zh) 一种基于直播服务的视频流切换方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant