CN116634213A - 一种音视频同步播放方法和系统 - Google Patents

一种音视频同步播放方法和系统 Download PDF

Info

Publication number
CN116634213A
CN116634213A CN202310637314.1A CN202310637314A CN116634213A CN 116634213 A CN116634213 A CN 116634213A CN 202310637314 A CN202310637314 A CN 202310637314A CN 116634213 A CN116634213 A CN 116634213A
Authority
CN
China
Prior art keywords
audio
video
segment data
playing
data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202310637314.1A
Other languages
English (en)
Inventor
潘影波
陈洋
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hansang Nanjing Technology Co ltd
Original Assignee
Hansang Nanjing Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hansang Nanjing Technology Co ltd filed Critical Hansang Nanjing Technology Co ltd
Priority to CN202310637314.1A priority Critical patent/CN116634213A/zh
Publication of CN116634213A publication Critical patent/CN116634213A/zh
Pending legal-status Critical Current

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/4302—Content synchronisation processes, e.g. decoder synchronisation
    • H04N21/4307—Synchronising the rendering of multiple content streams or additional data on devices, e.g. synchronisation of audio on a mobile phone with the video output on the TV screen
    • H04N21/43072—Synchronising the rendering of multiple content streams or additional data on devices, e.g. synchronisation of audio on a mobile phone with the video output on the TV screen of multiple content streams on the same device
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/83—Generation or processing of protective or descriptive data associated with content; Content structuring
    • H04N21/845—Structuring of content, e.g. decomposing content into time segments
    • H04N21/8456—Structuring of content, e.g. decomposing content into time segments by decomposing the content in the time domain, e.g. in time segments
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D30/00—Reducing energy consumption in communication networks
    • Y02D30/70—Reducing energy consumption in communication networks in wireless communication networks

Abstract

本说明书实施例提供一种音视频同步播放方法和系统，该方法由中继节点执行，包括：获得通过对获取的待播放内容进行音视频分离处理得到的相对应的至少一个视频段数据和至少一个音频段数据；确定从中继节点传输数据到至少一个播放节点的至少一个传输延迟；基于至少一个传输延迟确定视频段数据的播放延迟；基于播放延迟校准每一个视频段数据的视频播放时间信息，以便于其他视频播放设备从中继节点获取至少一个视频段数据并按照视频播放时间信息进行播放；确定每一个音频段数据的音频播放时间信息，以便于其他音频播放设备从中继节点获取至少一个音频段数据并按照音频播放时间信息进行播放。

Description

一种音视频同步播放方法和系统
技术领域
本说明书涉及音视频播放领域，特别涉及一种音视频同步播放方法和系统。
背景技术
目前，在较大规模的视频播放场景中，比如户外放映或者大礼堂观看影视内容，由于声音传输的速度远远低于光速的传输速度，导致听到的声音远远滞后于看到的屏幕画面。要使距离较远的观看者有较好的观看体验，往往通过基于线缆进行多点位设备(音响等)布置来实现同步播放，但其过程中物理布线所带来的成本较为高昂。
因此，希望提出一种音视频同步播放方法和系统，低成本实现远距离播放时的音画同步，提高大规模的视频播放场景中距离较远的观看者的观看体验。
发明内容
本说明书一个或多个实施例提供一种音视频同步播放方法。所述音视频同步播放方法由中继节点执行，所述方法包括：获得通过对获取的待播放内容进行音视频分离处理得到的相对应的至少一个视频段数据和至少一个音频段数据；确定从所述中继节点传输数据到至少一个播放节点的至少一个传输延迟；基于所述至少一个传输延迟确定所述视频段数据的播放延迟；基于所述播放延迟校准每一个所述视频段数据的视频播放时间信息，以便于其他视频播放设备从所述中继节点获取所述至少一个视频段数据并按照所述视频播放时间信息进行播放，所述视频播放时间信息至少用于指示所述至少一个视频段数据的播放开始时间；确定每一个所述音频段数据的音频播放时间信息，以便于其他音频播放设备从所述中继节点获取所述至少一个音频段数据并按照所述音频播放时间信息进行播放。
本说明书一个或多个实施例提供一种音视频同步播放系统。所述系统包括获取模块、第一确定模块、第二确定模块、校准模块和第三确定模块；所述获取模块用于获得通过对获取的待播放内容进行音视频分离处理得到的相对应的至少一个视频段数据和至少一个音频段数据；所述第一确定模块用于确定从所述中继节点传输数据到至少一个播放节点的至少一个传输延迟；所述第二确定模块用于基于所述至少一个传输延迟确定所述视频段数据的播放延迟；所述校准模块用于基于所述播放延迟校准每一个所述视频段数据的视频播放时间信息，以便于其他视频播放设备从所述中继节点获取所述至少一个视频段数据并按照所述视频播放时间信息进行播放，所述视频播放时间信息至少用于指示所述至少一个视频段数据的播放开始时间；所述第三确定模块用于确定每一个所述音频段数据包的音频播放时间信息，以便于其他音频播放设备从所述中继节点获取所述至少一个音频段数据并按照所述音频播放时间信息进行播放。
本说明书一个或多个实施例提供一种音视频同步播放装置。所述装置包括至少一个存储介质和至少一个处理器，所述至少一个存储介质用于存储计算机指令；所述至少一个处理器用于执行所述计算机指令以实现音视频同步播放方法。
本说明书一个或多个实施例提供一种计算机可读存储介质，所述存储介质存储计算机指令，当计算机读取存储介质中的计算机指令后，计算机执行音视频同步播放方法。
附图说明
本说明书将以示例性实施例的方式进一步说明，这些示例性实施例将通过附图进行详细描述。这些实施例并非限制性的，在这些实施例中，相同的编号表示相同的结构，其中：
图1根据本说明书一些实施例所示的音视频同步播放系统的应用场景示意图；
图2是根据本说明书一些实施例所示的音视频同步播放系统的示例性模块图；
图3是根据本说明书一些实施例所示的音视频同步播放方法的示例性流程图；
图4是根据本说明书一些实施例所示的确定播放延迟的示例性示意图；
图5是根据本说明书一些实施例所示的确定传输延迟波动参数的示意图。
具体实施方式
为了更清楚地说明本说明书实施例的技术方案，下面将对实施例描述中所需要使用的附图作简单的介绍。显而易见地，下面描述中的附图仅仅是本说明书的一些示例或实施例，对于本领域的普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图将本说明书应用于其它类似情景。除非从语言环境中显而易见或另做说明，图中相同标号代表相同结构或操作。
应当理解，本文使用的“系统”、“装置”、“单元”和/或“模块”是用于区分不同级别的不同组件、元件、部件、部分或装配的一种方法。然而，如果其他词语可实现相同的目的，则可通过其他表达来替换所述词语。
如本说明书和权利要求书中所示，除非上下文明确提示例外情形，“一”、“一个”、“一种”和/或“该”等词并非特指单数，也可包括复数。一般说来，术语“包括”与“包含”仅提示包括已明确标识的步骤和元素，而这些步骤和元素不构成一个排它性的罗列，方法或者设备也可能包含其它的步骤或元素。
本说明书中使用了流程图用来说明根据本说明书的实施例的系统所执行的操作。应当理解的是，前面或后面操作不一定按照顺序来精确地执行。相反，可以按照倒序或同时处理各个步骤。同时，也可以将其他操作添加到这些过程中，或从这些过程移除某一步或数步操作。
图1是根据本说明书一些实施例所示的音视频同步播放系统的应用场景示意图。在一些实施例中，音视频同步播放系统的应用场景100可以包括中继节点110、网络120、用户终端130、存储设备140、音频播放设备150和视频播放设备160。
中继节点110可以用于从其他设备或系统组成部分中获取数据和/或信息并进行处理，以及可以执行本说明书一些实施例中涉及的音视频同步播放方法。在一些实施例中，中继节点110可以包括处理器。处理器可以处理从其他设备或系统组成部分中获得的数据和/或信息。处理器可以基于这些数据、信息和/或处理结果执行程序指令，以执行一个或多个本申请中描述的功能。例如，处理器可以基于传输延迟确定视频段数据的播放延迟。又例如，处理器可以基于播放延迟校准每一个视频段数据的视频播放时间信息。
在一些实施例中，处理器可以包含一个或多个子处理设备(例如，单核处理设备或多核多芯处理设备)。仅作为示例，处理器可以包括中央处理器(CPU)、专用集成电路(ASIC)、专用指令处理器(ASIP)、图形处理器(GPU)、物理处理器(PPU)、数字信号处理器(DSP)、现场可编程门阵列(FPGA)、可编辑逻辑电路(PLD)、控制器、微控制器单元、精简指令集电脑(RISC)、微处理器等或以上任意组合。
关于中继节点110的更多详细内容可参见本说明书图3中的相关描述。
用户终端130指可供用户所使用的一个或多个终端设备或系统。在一些实施例中，用户终端130可以包括移动设备130-1、平板电脑130-2、笔记本电脑130-3等或其任意组合。在一些实施例中，用户可以通过用户终端130上传待播放内容到中继节点110等。
存储设备140可以用于存储数据和/或指令。存储设备140可以包括一个或多个存储组件，每个存储组件可以是一个独立的设备，也可以是其他设备的一部分。在一些实施例中，存储设备140可包括随机存取存储器(RAM)、只读存储器(ROM)、大容量存储器、可移动存储器、易失性读写存储器等或其任意组合。示例性的，大容量储存器可以包括磁盘、光盘、固态磁盘等。在一些实施例中，所述存储设备140可在云平台上实现。
音频播放设备150指可用于获取音频数据并进行音频播放的终端设备或系统。例如，音频播放设备150可以包括带有扬声器的移动设备、音响等各种设备或其任意组合。在一些实施例中，音频播放设备150可以包括一个或多个音频播放设备(例如如图所示的150-1、150-2…,音频播放设备可对应作为播放节点)。关于播放节点、音频播放设备的更多详细内容可参见本说明书图3中的相关描述。
视频播放设备160指可用于获取视频数据并进行视频播放的终端设备或系统。例如，视频播放设备160可以包括带有显示屏的移动设备、电视、电脑等或其任意组合。在一些实施例中，视频播放设备160可以包括一个或多个视频播放设备。关于视频播放设备的更多详细内容可参见本说明书图3中的相关描述。
网络120指能够促进应用场景100的信息和/或数据交换的任何合适的网络。网络120可以连接应用场景100的各组成部分和/或连接应用场景100与外部资源。在一些实施例中，网络120可以包括一个或以上网络接入点。例如，网络120可以包括有线或无线网络接入点，例如，基站和/或网络交换点120-1、120-2…。通过这些接入点，应用场景100中的各组成部分可连接到网络120上以交换数据和/或信息。
例如，在一些实施例中，中继节点110可以通过网络120从存储设备140中获取待播放内容以便于对待播放内容进行音视频分离处理得到相应的至少一个视频段数据和至少一个音频段数据。又例如，中继节点110也可以通过网络120从存储设备140中获取已对待播放内容进行了音视频分离处理后得到的视频段数据和音频段数据。还例如，中继节点110和音频播放设备150、视频播放设备160可以通过网络120进行通讯，从而音频播放设备150可以从中继节点110获取音频段数据以进行音频播放，视频播放设备160可以从中继节点获取视频段数据以进行视频播放。在一些实施例中，中继节点110和视频播放设备160也可以通过其它通讯方式进行数据传输(例如中继节点110将视频段数据传输到视频播放设备160)，例如有线传输、蓝牙传输等方式，在本说明书中可不做限制。
在一些实施例中，用户可以基于用户终端140通过网络120上传待播放内容以便于其它设备例如中继节点110获取，或者，用户也可以基于用户终端130通过网络120选择所需的待播放内容以便于中继节点110可以通过网络120从其它设备(例如存储设备140)或系统获取被选择的待播放内容等。
图2是根据本说明书一些实施例所示的音视频同步播放系统的示例性模块图。
如图2所示，在一些实施例中，音视频同步播放系统200至少可以包括获取模块210、第一确定模块220、第二确定模块230、校准模块240和第三确定模块250。
在一些实施例中，获取模块210可以用于获得通过对获取的待播放内容进行音视频分离处理得到的相对应的至少一个视频段数据和至少一个音频段数据。关于该部分更具体的内容，请参见本说明书图3及其相关描述。
在一些实施例中，第一确定模块220可以用于确定从中继节点传输数据到至少一个播放节点的至少一个传输延迟。关于播放节点和传输延迟的定义请参见本说明书图3及其相关描述。
在一些实施例中，第二确定模块230可以用于基于至少一个传输延迟确定视频段数据的播放延迟。关于确定视频段数据的播放延迟的更多内容请参见本说明书图4及其相关描述。
在一些实施例中，第二确定模块230可以进一步用于基于至少一个传输延迟中的最大传输延迟确定播放延迟。
在一些实施例中，第二确定模块230可以进一步用于基于播放延迟波动参数和实时传输状态数据，确定播放节点的播放延迟波动；当播放延迟波动大于预设阈值时，更新播放延迟。关于该部分更具体的内容，请参见本说明书图4及其相关描述。
在一些实施例中，播放延迟波动参数基于多个时间段的历史播放数据确定。关于该部分更具体的内容，请参见本说明书图5及其相关描述。
在一些实施例中，校准模块240可以用于基于播放延迟校准每一个视频段数据的视频播放时间信息，以便于其他视频播放设备从中继节点获取至少一个视频段数据并按照视频播放时间信息进行播放，视频播放时间信息至少用于指示所述至少一个视频段数据的播放开始时间。关于该部分更具体的内容，请参见本说明书图3及其相关描述。
在一些实施例中，第三确定模块250可以用于确定每一个音频段数据的音频播放时间信息，以便于其他音频播放设备从中继节点获取至少一个音频段数据并按照音频播放时间信息进行播放。关于音频播放时间信息的更多内容请参见本说明书图3及其相关描述。
在一些实施例中，一个音频段数据的音频播放时间信息可以包括音频段数据的音频时长和播放开始时间。第三确定模块250可以进一步用于基于一个音频段数据的音频时长和播放延迟，确定一个音频段数据的播放开始时间。
在一些实施例子，第三确定模块250可以进一步用于通过功率放大器对至少一个音频段数据进行播放。关于功率放大器的定义请参见本说明书图3及其相关描述。
在一些实施例中，第三确定模块250还可以进一步用于通过无线网络从中继节点获取与待播放视频段数据对应的音频段数据。关于该部分更具体的内容，请参见本说明书图3及其相关描述。
应当理解，图2所示的系统及其模块可以利用各种方式来实现。需要注意的是，以上对于音视频同步播放系统及其模块的描述，仅为描述方便，并不能把本说明书限制在所举实施例范围之内。可以理解，对于本领域的技术人员来说，在了解该系统的原理后，可能在不背离这一原理的情况下，对各个模块进行任意组合，或者构成子系统与其他模块连接。在一些实施例中，图2中披露的获取模块210、第一确定模块220、第二确定模块230、校准模块240和第三确定模块250可以是一个系统中的不同模块，也可以是一个模块实现上述的两个或两个以上模块的功能。例如，各个模块可以共用一个存储模块，各个模块也可以分别具有各自的存储模块。诸如此类的变形，均在本说明书的保护范围之内。
图3是根据本说明书一些实施例所示的音视频同步播放方法的示例性流程图。在一些实施例中，流程300可以由中继节点110、音频播放设备150、视频播放设备160等设备或系统交互实现，仅为了方便说明，以下步骤(例如步骤310-350)主要以中继节点执行为例进行的说明。如图3所示，流程300可以包括以下步骤310-步骤350。
步骤310，获得通过对获取的待播放内容进行音视频分离处理得到的相对应的至少一个视频段数据和至少一个音频段数据。
待播放内容可以指准备播放的包含声音的视频文件，例如，有声电影等。在一些实施例中，待播放内容可以被实时获取。在一些实施例中，获取的待播放内容可以被按照时间顺序分割为多个时段的内容。
在一些实施例中，待播放内容可以分离出相对应的包括声音的音频数据和包括画面的视频数据。
视频段数据可以指包括画面的视频的相关数据。在一些实施例中，一个待播放内容可以通过音视频分离器分离出对应的多个视频段数据，例如，视频段V1-V2数据，视频段V2-V3数据，…，视频段Vn-Vn+1数据等。其中，V1、V2、V3、…、Vn、Vn+1可以指视频文件的不同时刻，V1-V2、V2-V3、…、Vn-Vn+1是连续且不重叠的等时长/不等时长的时间段，其中，每个时间段包含开始时刻，不包含结束时刻。例如，V1-V2数据可以指视频文件的第0秒到第5秒的数据，V2-V3数据可以指视频文件的第5秒到16秒的数据，V2对应视频文件的第5秒。又例如，V1-V2数据也可以指视频文件的第0秒到第8秒的数据，V2-V3数据可以指视频文件的第8秒到20秒的数据，V2对应视频文件的第8秒。在一些实施例中，视频段数据可以以视频段数据包的形式进行存储与发送。其中，一个视频段数据包可以包括至少一个视频段数据。例如，一个视频段数据包可以包括V1-V2数据，视频段V2-V3数据，…，视频段Vn-Vn+1数据中的一个或多个。
音频段数据可以指包括声音的音频的相关数据。在一些实施例中，一个待播放内容可以通过音视频分离器分离出对应的多个音频段数据，例如，音频段S1-S2数据，音频段S2-S3数据，…，音频段Sn-Sn+1数据等。其中，S1、S2、S3、…、Sn、Sn+1可以指音频文件的不同时刻，S1-S2，S2-S3，…，Sn-Sn+1是连续且不重叠的等时长/不等时长的时间段，其中，每个时间段包含开始时刻，不包含结束时刻。例如，S1-S2数据可以指音频文件的第0秒到第5秒的数据，S2-S3数据可以指音频文件的第5秒到16秒的数据，S2对应音频文件的第5秒。又例如，S1-S2数据也可以指音频文件的第0秒到第8秒的数据，S2-S3数据可以指音频文件的第8秒到20秒的数据，S2对应音频文件的第8秒。
在一些实施例中，音频段数据可以以音频段数据包的形式进行存储与发送。其中，一个音频段数据包可以包括至少一个音频段数据。例如，一个音频段数据包可以包括音频段S1-S2数据，音频段S2-S3数据，…，音频段Sn-Sn+1数据中的一个或多个。
在一些实施例中，音视频分离是播放待播放内容时实时进行的，且会提前对下一时段的待播放内容进行分离。具体地，在播放t1-t2时段的待播放内容时，会同时从缓存内容中读取未来t2-t3时段的待播放内容并对其进行分离，也可以继续对后续的t3-t4，t4-t5等时段的待播放内容进行分离。即，连续对后续待播放内容进行音视频分离处理，直到整个待播放内容分离完成。其中，t1-t2、t2-t3等时段是连续且不重叠的时间段。
在一些实施例中，可以通过音视频分离器对实时获取的待播放内容进行音视频分离，得到相对应的至少一个视频段数据和至少一个音频段数据。在一些实施例中，至少一个视频段数据和至少一个音频段数据是一一对应的。例如，t1-t2时段的待播放内容可以分离出视频段V1-V2数据和音频段S1-S2数据。
步骤320，确定从中继节点传输数据到至少一个播放节点的至少一个传输延迟。
中继节点可以指具有处理数据、转发数据功能的专用服务设备。在一些实施例中，中继节点可以包括音视频分离器、无线发射装置等软硬件设备。在一些实施例中，中继节点可以用于实现音视频同步播放方法，例如，其它音频播放设备从中继节点获取待播放内容对应的音频段数据等。
播放节点可以指用于播放音频的音频播放设备，例如，软件播放器、普通喇叭、手机播放器等。在一些实施例中，一个播放节点可以包括一个或多个音频播放设备。
传输延迟可以指数据从中继节点传输到播放节点过程中的延迟时间。
在一些实施例中，各播放节点和中继节点可以通过无线网络传输数据(可以理解，无线传输与有线传输在数据传输延迟上可明显不同，无线传输的数据传输受其它因素影响更大，由此其数据传输延迟可能较明显，在音视频同步播放的应用场景下，需对其进行计算和考虑该传输延迟以便于更好地保障音视频同步播放)。由于多个播放节点与中继节点之间的距离不同、播放节点的自身性能有所差异、各播放节点所处环境不同而对数据传输影响不同等差异，多个播放节点会出现多个不同的传输延迟，例如，中继节点到各个播放节点1,2,…,n对应的传输延迟记为t1,t2,…,tn，其中，中继节点到各个播放节点1,2,…,n的距离不同，且播放节点1,2,…,n的自身性能存在差异以及所处环境不同，则t1,t2,…,tn的大小不等。
在一些实施例中，中继节点可以通过无线网络发送信号1至某播放节点，该播放节点收到信号1后向中继节点反馈信号2，中继节点可计算其从发出信号1至收到信号2所经过的时间的一半，并将其确定为该播放节点对应的传输延迟。
在一些实施例中，无线传输可能受环境的影响导致传输不稳定、播放节点与中继节点距离发生变化等数据传输影响因素发生变化，因此还可动态(例如定时或者不定时或者按要求)地计算传输延迟并进行更新。关于更新传输延迟的更多说明可以参见本说明书图4及其相关描述。
步骤330，基于至少一个传输延迟确定视频段数据的播放延迟。
播放延迟可以指由于传输延迟导致的视频播放需落后于音频播放的时间差。例如，对于相对应的音频段S2-S3和视频段V2-V3，视频段V2-V3的播放时间落后于音频段S2-S3的播放时间，其落后的时间差为播放延迟。其中，音频段的播放时间可以指音频段数据通过无线网络从中继节点向n个播放节点发出的时间。
在一些实施例中，若视频段数据按计划播放时间正常播放，由于传输延迟致使音频段数据未能同步播放，会出现画面先于声音的情况。基于此，为使音画同步，视频段数据可根据播放延迟进行延迟播放。
在一些实施例中，处理器可以选择至少一个传输延迟中的最大传输延迟确定播放延迟。关于确定播放延迟的更多内容请参见图4及其相关描述。
在一些实施例中，由于无线网络的不稳定等因素会导致播放延迟的变化，进而需要更新播放延迟。关于更新播放延迟的更多内容请参见图4及其相关描述。
步骤340，基于播放延迟校准每一个视频段数据的视频播放时间信息，以便于其他视频播放设备从中继节点获取至少一个视频段数据并按照视频播放时间信息进行播放。
视频播放时间信息可以指视频段数据的播放时间的相关信息。例如，视频段数据的视频时长和播放开始时间等。在一些实施例中，视频播放时间信息至少可以用于指示至少一个视频段数据的播放开始时间。
在一些实施例中，可以基于播放延迟校准每一个视频段数据的视频播放时间信息。例如，视频段V2-V3的播放延迟为T2，V2对应的播放时刻为K2，则视频段V2-V3校准后的播放开始时间为对K2延后T2的时刻(即K2+T2时刻)。
在一些实施例中，其他视频播放设备可从中继节点获取至少一个视频段数据，并按照各视频段数据播放对应的视频播放时间信息(例如经过播放延迟校准后的视频播放时间信息)进行视频播放。
步骤350，确定每一个音频段数据的音频播放时间信息，以便于其他音频播放设备从中继节点获取至少一个音频段数据并按照音频播放时间信息进行播放。
在一些实施例中，其它音频播放设备可以通过无线网络从中继节点请求并获取至少一个音频段数据。或者，在一些实施例中，可以由中继节点将音频段数据通过无线网络发送至其它音频播放设备(例如中继节点通过广播的方式将音频段数据经由无线网络发送至其它音频播放设备)。
无线网络可以指无需布线就能实现各种通信设备互联的网络，例如，无线广域网(WWAN)、无线局域网(WLAN)、和无线个人局域网(WPAN)等。在一些实施例中，无线网络可以用于中继节点与音频播放设备的互联。
在本说明书的一些实施例中，其它音频播放设备通过无线网络从中继节点获取音频段数据，可以避免基于线缆进行多点位设备(音响等)布置时，物理布线所带来的高昂成本。
音频播放时间信息可以指音频段数据的播放时间的相关信息。例如，音频段数据的音频时长和播放开始时间等。
在一些实施例中，当各个播放节点接收到音频段数据时，播放节点可以开始播放，并且播放节点可以根据音频段数据的音频播放时间信息进行播放。
在一些实施例中，不同播放节点与中继节点之间的传输延迟存在差异，则针对从中继节点发到各播放节点的一个音频段数据，各播放节点接收到该音频段数据的时间不同。基于此，为保证各播放节点能尽可能同步播放同一个音频段数据，可以传输延迟最大的播放节点接收到音频段数据的时间为基准(即可以多个播放节点对应的多个传输延迟中的最大传输延迟为基准)，确定音频段数据的音频播放时间信息。
在一些实施例中，中继节点可以先根据音频段数据的本身相关信息确定其对应的音频播放时间信息，并且进一步可以以延迟最大的播放节点接收到音频段数据的时间为基准，校准音频播放时间信息。
在一些实施例中，确定一个音频段数据的播放开始时间的方法可以包括：基于一个音频段数据的音频时长和播放延迟，确定一个音频段数据的播放开始时间。
音频时长可以指音频段数据的时间长短，多个音频段数据的音频时长可以相同或不同。在一些实施例中，音频时长可以由音频段数据的开始时刻与结束时刻确定。例如，音频段S2-S3数据是指音频文件的第5秒到第16秒(包含第5秒且不包含第16秒)的数据，则音频段S2-S3数据的音频时长可以指11秒。
播放开始时间可以指一个音频段数据的计划开始播放的时间。例如，音频段S2-S3数据的播放开始时间可以为S2对应时刻的播放时间。
在一些实施例中，可以基于音频段数据的音频时长和对应的视频段数据的播放延迟，确定一个音频段数据的播放开始时间。例如，根据一个音频段S1-S2数据本身相关信息确定的计划播放时间为某日8点整，音频段S1-S2数据的音频时长为3分钟，对应的视频段V1-V2数据的播放延迟为1秒，则进一步确定或校准音频段S2-S3数据的播放开始时间为当日8点3分1秒。
在本说明书的一些实施例中，通过音频时长和播放延迟，确定每一个音频段数据的播放开始时间，可以使各播放节点的音频段数据播放时间和视频播放设备的相应视频段数据的播放时间同步。
在一些实施例中，从中继节点获取与待播放视频段数据对应的音频段数据，并按照音频播放时间信息播放音频段数据，还可以包括：通过功率放大器对至少一个音频段数据进行功率放大，进而播放功率放大后的至少一个音频段数据。
功率放大器可以指用于把音源弱信号放大的设备，例如，AV功放等。
在本说明书的一些实施例中，通过对播放内容实时进行音视频分离，计算从中继节点传输数据到播放节点的传输延迟，并进一步基于播放延迟校准视频段数据的视频播放时间信息，可以实现低成本远距离播放时的音画同步。
应当注意的是，上述有关流程300的描述仅仅是为了示例和说明，而不限定本说明书的适用范围。对于本领域技术人员来说，在本说明书的指导下可以对流程300进行各种修正和改变。然而，这些修正和改变仍在本说明书的范围之内。
图4是根据本说明书一些实施例所示的确定播放延迟的示例性示意图。如图4所示，确定视频段数据包的播放延迟的方法400可以包括以下内容：
在一些实施例中，中继节点的处理器可以基于至少一个传输延迟中的最大传输延迟410确定视频段数据的播放延迟450。
传输延迟是指由音频段数据从中继节点传输到播放节点时，由于无线网络传输时长而产生的延迟时间。由于中继节点到每个播放节点的距离、播放节点的传输性能等有所差异，中继节点到每个播放节点之间都会存在对应的传输延迟。具体地，中继节点到各个播放节点1、2、3、…、n对应的传输延迟可以为t1、t2、…、tn。
在一些实施例中，中继节点可以通过图3中步骤320所描述的计算传输延迟的方法计算中继节点到各个播放节点1、2、3、…、n对应的至少一个传输延迟t1、t2、…、tn。
最大传输延迟410是指至少一个传输延迟中数值最大的传输延迟。例如，音频段数据从中继节点到每一个播放节点的传输延迟中数值最大的传输延迟。
在一些实施例中，中继节点的处理器可以将至少一个传输延迟按照大小关系进行排序，将其中最大的一个传输延迟确定为最大传输延迟。
在一些实施例中，中继节点的处理器可以基于最大传输延迟410确定视频段数据的播放延迟450。例如，可以将最大传输延迟410确定为视频段数据的播放延迟。仅作为示例，若最大传输延迟为0.3s，即音频段数据从中继节点到每一个播放节点最长需要0.3s的时长，则视频段数据的播放延迟可以为0.3s。
在本说明书中的一些实施例中，考虑到中继节点到多个播放节点的传输距离、播放节点本身的传输性能不同导致的传输延迟不同，通过分别计算音频段数据从中继节点发送到不同播放节点所产生的传输延迟，并基于其中的最大传输延迟确定视频段数据的播放延迟，可以实现所有播放节点在播放音频时，附近的用户都能体验到音视频同步的播放效果。
在一些实施例中，中继节点的处理器还可以基于传输延迟波动参数420和实时传输状态数据430，确定播放节点的播放延迟波动440，并判断播放节点的传输延迟波动是否大于预设阈值，当播放节点的播放延迟波动440大于预设阈值时，更新播放延迟。
传输延迟波动参数是指与播放延迟产生变化波动相关的参数，传输延迟波动参数可以用于表征传输延迟波动和实时传输状态数据之间的相关关系。
在一些实施例中，中继节点的处理器可以根据预设规则确定传输延迟波动参数420。其中，预设规则可以是根据历史数据统计得到的播放节点的播放延迟波动440与实时传输状态数据430之间的映射关系，并从该映射关系中提取相关参数得到传输延迟波动参数420。
在一些实施例中，中继节点的处理器可以基于多个时间段的历史播放数据，确定传输延迟波动参数420。更多关于确定传输延迟波动参数420的内容可参见图5及其相关描述。
实时传输状态数据是指实时获取的与传输状态相关的数据。实时传输状态数据430可以包括实时获取的影响传输延迟增大或减小的的相关数据。
在一些实施例中，实时传输状态数据430可以包括实时获取的网络流量大小F、无线传输速度V、中继节点与播放节点间距离D、环境中障碍物影响O、环境中电磁信号强度S。
在一些实施例中，中继节点的处理器可以通过多种方式获取不同的实时传输状态数据430。仅作为示例，网络流量大小F、无线传输速度V可以通过读取中继节点的系统参数获取；中继节点与播放节点间距离D，可以通过播放节点上传自身定位到中继节点，并由中继节点基于自身定位和接受到的播放节点定位进行计算获取；环境中障碍物影响O可以通过拍摄设备获取现场图像，并基于图像识别技术识别中继节点与播放节点之间的障碍物及其大小获取；环境中电磁信号强度S可以通过现场的电磁检测装置检测获取。
传输延迟波动是指音频段数据从中继节点传输到播放节点的传输延迟的变化情况。
在一些实施例中，传输延迟波动可以根据实时传输状态波动，基于模型计算得到。其中，模型可以是数学模型，用于表征传输延迟波动和实时传输状态波动之间的相关关系。实时传输状态波动可以包括网络流量波动、无线传输速度波动、中继节点与播放键点之间的距离变化、环境中障碍物影响的变化和环境中电磁信号强度的变化。
在一些实施例中，传输延迟波动和实时传输状态波动之间的相关关系可以如公式一所示：
ΔT＝aΔF+bΔV+cΔD+dΔO+eΔS+f (公式一)
上述公式中，ΔT可以表示实时传输延迟波动，ΔF可以表示实时网络流量波动，ΔV可以表示实时无线传输速度波动，ΔD可以表示中继节点与播放节点之间的实时距离变化，ΔO可以表示环境中障碍物影响的实时变化，ΔS可以表示环境中电磁信号强度的实时变化，a、b、c、d、e分别表示各个实时传输状态波动对应的传输延迟波动参数，f可以表示调整系数。
实时传输状态波动中的各个数据可以基于两个目标时刻实时传输状态数据确定。例如，可以分别通过公式ΔF＝(F1-F2)/F1、ΔV＝(V1-V2)/V1、ΔD＝(D1-D2)/D1、ΔO＝(O1-O2)/O1、ΔS＝(S1-S2)/S1进行计算。其中F1、V1、D1、O1、S1分别为各实时传输状态数据在上一时刻的数据；F2、V2、D2、O2、S2分别为各实时传输状态数据的实时数据。
其中，传输延迟波动参数和调整系数可以基于历史数据确定，更多详细内容可参见本说明书图5中的相关描述。
预设阈值是指预设的延迟传输波动的阈值。例如，预设阈值可以是人们能够感知到的音频和视频播放的最小延迟。
在一些实施例中，处理设备可以基于历史经验确定预设阈值。例如，可以根据历史经验中，人们能够感受到的音视频不同步的最小时间延迟设置预设阈值。在一些实施例中，还可以通过其他方式(如，人工输入等)设置预设阈值。
在一些实施例中，处理设备可以将通过模型计算得到的播放节点的播放延迟波动440与预设阈值进行比较，当前述播放延迟波动大于预设阈值时，处理设备可以重新计算中继节点到各播放节点的至少一个传输延迟，从重新计算的至少一个传输延迟中更新最大传输延迟，并基于更新后的最大传输延迟确定更新后的播放延迟450。例如，可以将更新后的最大传输延迟确定为更新后的播放延迟。
在本说明书的一些实施例中，通过传输延迟波动参数和实时传输状态数据确定传输延迟波动，并基于传输延迟波动更新播放延迟，可以避免由于环境影响导致传输延迟不稳定从而影响到音视频同步播放效果的问题，保证用户的视听体验。
图5是根据本说明书一些实施例所示的确定传输延迟波动参数的示意图。如图5所示，确定传输延迟波动参数的方法500包括以下内容。
在一些实施例中，传输延迟波动参数530可以基于多个时间段的历史数据510确定。
多个时间段的历史数据是指与过去多个时间段相关的数据。例如，在过去多个时间段进行播放时的传输延迟数据等。
在一些实施例中，过去多个时段的历史数据包括在过去多个时段通过本说明书的一些实施例所描述的技术方案进行音视频同步播放时所保存的与传输延迟、播放延迟相关的数据。
在一些实施例中，每次通过本说明书的一些实施例所描述的技术方案进行音视频同步播放时，中继节点的处理器都可以将整个过程中所产生的相关数据作为历史数据510保存在存储器中。当需要确定传输延迟波动参数530时，处理设备可以从存储器中读取多个时段的历史数据510，用于求解传输延迟波动参数530。
在一些实施例中，确定传输延迟波动具体可以包括以下步骤。
步骤510，获取每一个播放节点在多个历史时间段的历史数据。
其中，历史数据包括历史传输延迟数据、历史传输状态数据。
历史传输延迟数据是指历史数据中与传输延迟相关的数据。例如，历史数据中所包含的一个或多个过去时间段进行音视频同步播放时的传输延迟的时长。
历史传输状态数据是指历史数据中与传输状态相关的数据。例如，历史数据中所包含的一个或多个过去时间段进行音视频同步播放时对传输延迟、传输稳定性造成影响的数据。
在一些实施例中，中继节点的处理器可以从存储器中直接读取多个时段的历史记录中，每一个播放节点对应的历史传输延迟数据和历史传输状态数据。
步骤520，构建表征传输延迟波动和传输状态波动之间相关关系的初始模型。
在一些实施例中，处理器可以构建初始模型，初始模型可以是数学模型，用于表征传输延迟波动和传输状态波动之间的相关关系。
仅作为示例，构建的初始模型可以是如公式二所示的形式：
ΔT0＝a0ΔF0+b0ΔV0+c0ΔD0+d0ΔO0+e0ΔS0+f0 (公式二)
其中，上述公式中，ΔT0可以表示传输延迟波动，ΔF0可以表示网络流量波动，ΔV0可以表示无线传输速度波动，ΔD0可以表示中继节点与播放节点之间的距离变化，ΔO0可以表示环境中障碍物影响的变化，ΔS0可以表示环境中电磁信号强度的变化，a0、b0、c0、d0、e0分别表示各个实时传输状态波动对应的传输延迟波动参数，f0可以表示调整系数。
步骤530，基于多个历史时间段的历史数据求解初始模型中的传输延迟波动参数。
在一些实施例中，处理器可以根据多个历史时间段的历史数据，例如，多个时间段的历史数据中的任意一个或多个获取对应的历史传输延迟波动和历史传输状态波动，并基于历史传输延迟波动和历史传输状态波动求解初始模型中的传输延迟波动参数。
在一些实施例中，中继节点的处理器可以通过历史数据中任意两个时间段的历史传输延迟数据和历史传输状态数据求解模型中的参数值。
在一些实施例中，中继节点的服务器可以从多个时间段的历史数据中任选若干个时间段的历史数据，并将这不同时间段的历史数据中的历史传输延迟数据和历史传输状态数据输入初始模型中，求解处传输延迟波动参数。
在本说明书的一些实施例中，通过多个时间段的历史数据确定传输延迟波动和传输状态数据之间的关系，可以在音视频同步播放过程中通过实时采集的实时传输状态数据求解传输延迟波动，并准确判断是否需要及时更新播放延迟，可以保证用户体验。
上文已对基本概念做了描述，显然，对于本领域技术人员来说，上述详细披露仅仅作为示例，而并不构成对本说明书的限定。虽然此处并没有明确说明，本领域技术人员可能会对本说明书进行各种修改、改进和修正。该类修改、改进和修正在本说明书中被建议，所以该类修改、改进、修正仍属于本说明书示范实施例的精神和范围。
同时，本说明书使用了特定词语来描述本说明书的实施例。如“一个实施例”、“一实施例”、和/或“一些实施例”意指与本说明书至少一个实施例相关的某一特征、结构或特点。因此，应强调并注意的是，本说明书中在不同位置两次或多次提及的“一实施例”或“一个实施例”或“一个替代性实施例”并不一定是指同一实施例。此外，本说明书的一个或多个实施例中的某些特征、结构或特点可以进行适当的组合。
此外，除非权利要求中明确说明，本说明书所述处理元素和序列的顺序、数字字母的使用、或其他名称的使用，并非用于限定本说明书流程和方法的顺序。尽管上述披露中通过各种示例讨论了一些目前认为有用的发明实施例，但应当理解的是，该类细节仅起到说明的目的，附加的权利要求并不仅限于披露的实施例，相反，权利要求旨在覆盖所有符合本说明书实施例实质和范围的修正和等价组合。例如，虽然以上所描述的系统组件可以通过硬件设备实现，但是也可以只通过软件的解决方案得以实现，如在现有的服务器或移动设备上安装所描述的系统。
同理，应当注意的是，为了简化本说明书披露的表述，从而帮助对一个或多个发明实施例的理解，前文对本说明书实施例的描述中，有时会将多种特征归并至一个实施例、附图或对其的描述中。但是，这种披露方法并不意味着本说明书对象所需要的特征比权利要求中提及的特征多。实际上，实施例的特征要少于上述披露的单个实施例的全部特征。
一些实施例中使用了描述成分、属性数量的数字，应当理解的是，此类用于实施例描述的数字，在一些示例中使用了修饰词“大约”、“近似”或“大体上”来修饰。除非另外说明，“大约”、“近似”或“大体上”表明所述数字允许有±20％的变化。相应地，在一些实施例中，说明书和权利要求中使用的数值参数均为近似值，该近似值根据个别实施例所需特点可以发生改变。在一些实施例中，数值参数应考虑规定的有效数位并采用一般位数保留的方法。尽管本说明书一些实施例中用于确认其范围广度的数值域和参数为近似值，在具体实施例中，此类数值的设定在可行范围内尽可能精确。
针对本说明书引用的每个专利、专利申请、专利申请公开物和其他材料，如文章、书籍、说明书、出版物、文档等，特此将其全部内容并入本说明书作为参考。与本说明书内容不一致或产生冲突的申请历史文件除外，对本说明书权利要求最广范围有限制的文件(当前或之后附加于本说明书中的)也除外。需要说明的是，如果本说明书附属材料中的描述、定义、和/或术语的使用与本说明书所述内容有不一致或冲突的地方，以本说明书的描述、定义和/或术语的使用为准。
最后，应当理解的是，本说明书中所述实施例仅用以说明本说明书实施例的原则。其他的变形也可能属于本说明书的范围。因此，作为示例而非限制，本说明书实施例的替代配置可视为与本说明书的教导一致。相应地，本说明书的实施例不仅限于本说明书明确介绍和描述的实施例。

Claims (10)

1.一种音视频同步播放方法，其特征在于，所述方法由中继节点执行，其包括：
获得通过对获取的待播放内容进行音视频分离处理得到的相对应的至少一个视频段数据和至少一个音频段数据；
确定从所述中继节点传输数据到至少一个播放节点的至少一个传输延迟；
基于所述至少一个传输延迟确定所述视频段数据的播放延迟；
基于所述播放延迟校准每一个所述视频段数据的视频播放时间信息，以便于其他视频播放设备从所述中继节点获取所述至少一个视频段数据并按照所述视频播放时间信息进行播放，所述视频播放时间信息至少用于指示所述至少一个视频段数据的播放开始时间；
确定每一个所述音频段数据的音频播放时间信息，以便于其他音频播放设备从所述中继节点获取所述至少一个音频段数据并按照所述音频播放时间信息进行播放。
2.如权利要求1所述音视频同步播放方法，其特征在于，所述确定所述视频段数据的播放延迟，包括：
基于所述至少一个传输延迟中的最大传输延迟确定所述播放延迟。
3.如权利要求1所述的音视频同步播放方法，其特征在于，所述确定所述视频段数据的播放延迟，还包括：
基于传输延迟波动参数和实时传输状态数据，确定播放节点的传输延迟波动；
当所述传输延迟波动大于预设阈值时，更新所述播放延迟。
4.如权利要求3所述的音视频同步播放方法，其特征在于，所述传输延迟波动参数基于多个时间段的历史数据确定。
5.如权利要求1所述的音视频同步播放方法，其特征在于，一个所述音频段数据的所述音频播放时间信息包括所述音频段数据的音频时长和播放开始时间，确定一个所述音频段数据的所述播放开始时间的方法包括：
基于一个所述音频段数据的所述音频时长和所述播放延迟，确定一个所述音频段数据的所述播放开始时间。
6.如权利要求1所述的音视频同步播放方法，其特征在于，所述从所述中继节点获取与待播放视频段数据包对应的音频段数据，并按照所述音频播放时间信息播放所述音频段数据，还包括：
通过功率放大器对所述至少一个音频段数据进行功率放大，进而播放功率放大后的所述至少一个音频段数据。
7.如权利要求1所述的音视频同步播放方法，其特征在于，所述方法进一步包括：
其他音频播放设备通过无线网络从所述中继节点获取所述至少一个音频段数据。
8.一种音视频同步播放系统，其特征在于，包括获取模块、第一确定模块、第二确定模块、校准模块和第三确定模块；
所述获取模块用于获得通过对获取的待播放内容进行音视频分离处理得到的相对应的至少一个视频段数据和至少一个音频段数据；
所述第一确定模块用于确定从所述中继节点传输数据到至少一个播放节点的至少一个传输延迟；
所述第二确定模块用于基于所述至少一个传输延迟确定所述视频段数据的播放延迟；
所述校准模块用于基于所述播放延迟校准每一个所述视频段数据的视频播放时间信息，以便于其他视频播放设备从所述中继节点获取所述至少一个视频段数据并按照所述视频播放时间信息进行播放，所述视频播放时间信息至少用于指示所述至少一个视频段数据的播放开始时间；
所述第三确定模块用于确定每一个所述音频段数据包的音频播放时间信息，以便于其他音频播放设备从所述中继节点获取所述至少一个音频段数据并按照所述音频播放时间信息进行播放。
9.一种音视频同步播放装置，其特征在于，包括处理器，所述处理器用于执行权利要求1～7中任一项所述的音视频同步播放方法。
10.一种计算机可读存储介质，其特征在于，所述存储介质存储计算机指令，当计算机读取存储介质中的计算机指令后，计算机执行如权利要求1～7任一项所述的音视频同步播放方法。
CN202310637314.1A 2023-05-31 2023-05-31 一种音视频同步播放方法和系统 Pending CN116634213A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310637314.1A CN116634213A (zh) 2023-05-31 2023-05-31 一种音视频同步播放方法和系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310637314.1A CN116634213A (zh) 2023-05-31 2023-05-31 一种音视频同步播放方法和系统

Publications (1)

Publication Number Publication Date
CN116634213A true CN116634213A (zh) 2023-08-22

Family

ID=87597107

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310637314.1A Pending CN116634213A (zh) 2023-05-31 2023-05-31 一种音视频同步播放方法和系统

Country Status (1)

Country Link
CN (1) CN116634213A (zh)

Similar Documents

Publication Publication Date Title
US11553236B2 (en) System and method for real-time synchronization of media content via multiple devices and speaker systems
US11606596B2 (en) Methods, systems, and media for synchronizing audio and video content on multiple media devices
JP4441874B2 (ja) 情報処理システム、再生端末装置および再生方法、情報処理装置および方法、並びにプログラム
US10341672B2 (en) Method and system for media synchronization
US20100034393A1 (en) Ad-hoc adaptive wireless mobile sound system
EP2328349A1 (en) Information processing system and information processing device
US9837093B2 (en) Packet based delivery of multi-channel audio over wireless links
KR101934200B1 (ko) 미디어 동기화 방법 및 시스템
US10587954B2 (en) Packet based delivery of multi-channel audio over wireless links
US20150113576A1 (en) Method and apparatus for ip video signal synchronization
CN112752109B (zh) 视频播放控制方法和系统
US11922976B2 (en) Audio time synchronization using prioritized schedule
KR20210078985A (ko) 복수의 커넥티드 장치 간 디지털 콘텐츠의 재생 동기화를 맞추는 방법 및 이를 이용한 장치
JP7318990B2 (ja) モバイル装置上の音声コンテンツを別個の視覚表示システムに同期させるためのシステムおよび方法
CN112383794A (zh) 直播方法、直播系统、服务器和计算机存储介质
CN116634213A (zh) 一种音视频同步播放方法和系统
KR102306226B1 (ko) 디지털 콘텐츠의 비디오 및 오디오 재생 동기화를 맞추는 방법 및 이를 이용한 장치
US10917465B2 (en) Synchronization setting device and distribution system
KR101682978B1 (ko) Precision Time Protocol를 이용한 영상 재생 동기화 시스템 및 방법
JP2015201701A (ja) 再生システム、再生装置、及び、再生方法
KR101810883B1 (ko) 라이브 스트리밍 시스템 및 그의 스트리밍 클라이언트
JP2017011446A (ja) 再生システム、及び、再生方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination