CN108965971B - 多路音频同步控制方法、控制装置及电子设备 - Google Patents
多路音频同步控制方法、控制装置及电子设备 Download PDFInfo
- Publication number
- CN108965971B CN108965971B CN201810843203.5A CN201810843203A CN108965971B CN 108965971 B CN108965971 B CN 108965971B CN 201810843203 A CN201810843203 A CN 201810843203A CN 108965971 B CN108965971 B CN 108965971B
- Authority
- CN
- China
- Prior art keywords
- count value
- timestamp count
- channel audio
- timestamp
- video coding
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 48
- 230000001360 synchronised effect Effects 0.000 title claims abstract description 27
- 230000005540 biological transmission Effects 0.000 claims abstract description 45
- 238000004806 packaging method and process Methods 0.000 claims abstract description 19
- 238000005070 sampling Methods 0.000 claims description 31
- 230000006835 compression Effects 0.000 claims description 17
- 238000007906 compression Methods 0.000 claims description 17
- 238000012545 processing Methods 0.000 claims description 13
- 238000004590 computer program Methods 0.000 claims description 8
- 238000005538 encapsulation Methods 0.000 claims description 5
- 230000008569 process Effects 0.000 abstract description 6
- 238000010586 diagram Methods 0.000 description 14
- 238000004891 communication Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 238000012856 packing Methods 0.000 description 2
- 238000003672 processing method Methods 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000009432 framing Methods 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000002360 preparation method Methods 0.000 description 1
- 238000007639 printing Methods 0.000 description 1
- 238000013139 quantization Methods 0.000 description 1
- 230000005236 sound signal Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 230000007704 transition Effects 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/4302—Content synchronisation processes, e.g. decoder synchronisation
- H04N21/4307—Synchronising the rendering of multiple content streams or additional data on devices, e.g. synchronisation of audio on a mobile phone with the video output on the TV screen
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/439—Processing of audio elementary streams
- H04N21/4398—Processing of audio elementary streams involving reformatting operations of audio signals
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
- H04N21/4402—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display
- H04N21/440218—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display by transcoding between formats or standards, e.g. from MPEG-2 to MPEG-4
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
- H04N21/85—Assembly of content; Generation of multimedia applications
- H04N21/854—Content authoring
- H04N21/8547—Content authoring involving timestamps for synchronizing content
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Computer Security & Cryptography (AREA)
- Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
Abstract
本申请提供了一种多路音频同步控制方法、控制装置及电子设备，其中，控制方法包括：获取视频编码芯片中的第一时间戳计数值和视频编码延迟时间；基于第一时间戳计数值和视频编码延迟时间，确定用于指示多路音频传输流数据播放时间的第二时间戳计数值；将第二时间戳计数值与多路音频源数据进行封装，得到携带有同步信息的多路音频传输流数据。本申请实施例通过获取视频编码芯片中的第一时间戳计数值和视频编码延迟时间，能够控制系统级芯片中音频编码过程中控制帧指示的播放时间，来保证和视频编码芯片的视频控制帧的播放时间的同步，以实现多路音频传输流数据与视频传输流数据的同步。
Description
技术领域
本申请涉及多媒体通信技术领域，更具体而言，涉及一种多路音频同步控制方法、控制装置及电子设备。
背景技术
从信息论的观点来看，描述信源的数据是信息和数据冗余之和，即：数据＝信息+数据冗余。音频信号在时域和频域上具有相关性，也即存在数据冗余。将音频作为一个信源，音频编码的实质是减少音频中的冗余。
目前，专用编码芯片(ASIC，Application Specific Integrated Circuit)多数仅只支持一路音频编码，且音频格式不够丰富，不能满足当前对音频的多样化需求。
发明内容
有鉴于此，本申请的目的在于提供一种多路音频同步控制方法、控制装置及电子设备，可以输出多路音频传输流数据，且可以实现多路音频传输流数据与视频传输流数据的同步。
第一方面，本申请实施例提供了一种多路音频同步控制方法，包括：获取视频编码芯片中的第一时间戳计数值和视频编码延迟时间；基于第一时间戳计数值和视频编码延迟时间，确定用于指示多路音频传输流数据播放时间的第二时间戳计数值；将第二时间戳计数值与多路音频源数据进行封装，得到携带有同步信息的多路音频传输流数据。
结合第一方面，本申请实施例提供了第一方面的第一种可能的实施方式，其中，基于第一时间戳计数值和视频编码延迟时间，确定用于指示多路音频传输流数据播放时间的第二时间戳计数值，包括：将第一时间戳计数值实时添加至多路音频源数据中的脉冲编码调制信号上，得到用于标记脉冲编码调制信号采样点的第三时间戳计数值；根据第三时间戳计数值和视频编码延迟时间确定第二时间戳计数值。
结合第一方面的第一种可能的实施方式，本申请实施例提供了第一方面的第二种可能的实施方式，其中，根据第三时间戳计数值和视频编码延迟时间确定第二时间戳计数值，包括：根据第三时间戳计数值和脉冲编码调制信号的采样频率确定第四时间戳计数值；根据第四时间戳计数值和视频编码延迟时间计算第二时间戳计数值。
结合第一方面的第二种可能的实施方式，本申请实施例提供了第一方面的第三种可能的实施方式，其中，将第二时间戳计数值与多路音频源数据进行封装，得到携带有同步信息的多路音频传输流数据，包括：利用第四时间戳计数值和预设音频压缩标准，对多路音频源数据进行断帧；根据预设音频压缩标准对经过断帧处理后的多路音频源数据进行编码，生成多路音频基本码流数据；根据第二时间戳计数值对多路音频基本码流数据进行封装，得到携带有同步信息的多路音频传输流数据。
结合第一方面的第三种可能的实施方式，本申请实施例提供了第一方面的第四种可能的实施方式，其中，得到携带有同步信息的多路音频传输流数据之后，还包括：获取视频编码芯片中的当前时间戳计数值；当第二时间戳计数值与当前时间戳计数值的差值大于或等于预设阈值时，输出多路音频传输流数据，以实现多路音频传输流数据与视频传输流数据的同步。
第二方面，本申请实施例提供了一种多路音频同步控制装置，包括：获取模块，用于获取视频编码芯片中的第一时间戳计数值和视频编码延迟时间；确定模块，用于基于第一时间戳计数值和视频编码延迟时间，确定用于指示多路音频传输流数据播放时间的第二时间戳计数值；封装模块，用于将第二时间戳计数值与多路音频源数据进行封装，得到携带有同步信息的多路音频传输流数据。
结合第二方面，本申请实施例提供了第二方面的第一种可能的实施方式，其中，确定模块包括：添加模块，用于将第一时间戳计数值实时添加至多路音频源数据中的脉冲编码调制信号上，得到用于标记脉冲编码调制信号采样点的第三时间戳计数值；确定模块，还用于根据第三时间戳计数值和视频编码延迟时间确定第二时间戳计数值。
结合第二方面的第一种可能的实施方式，本申请实施例提供了第二方面的第二种可能的实施方式，确定模块还包括：其中，确定模块，还用于根据第三时间戳计数值和脉冲编码调制信号的采样频率确定第四时间戳计数值；计算模块，用于根据第四时间戳计数值和视频编码延迟时间计算第二时间戳计数值。
结合第二方面的第二种可能的实施方式，本申请实施例提供了第二方面的第三种可能的实施方式，其中，封装模块包括：处理模块，用于利用第四时间戳计数值和预设音频压缩标准，对多路音频源数据进行断帧；生成模块，用于根据预设音频压缩标准对经过断帧处理后的多路音频源数据进行编码，生成多路音频基本码流数据；封装模块，还用于根据第二时间戳计数值对多路音频基本码流数据进行封装，得到携带有同步信息的多路音频传输流数据。
结合第二方面的第三种可能的实施方式，本申请实施例提供了第二方面的第四种可能的实施方式，装置还包括：获取模块，还用于获取视频编码芯片中的当前时间戳计数值；输出模块，用于当第二时间戳计数值与当前时间戳计数值的差值大于或等于预设阈值时，输出多路音频传输流数据，以实现多路音频传输流数据与视频传输流数据的同步。
第三方面，本申请实施例还提供了一种电子设备，包括：处理器、存储器和总线，存储器存储有处理器可执行的机器可读指令，当电子设备运行时，处理器与存储器之间通过总线通信，机器可读指令被处理器运行时执行如上述任一项的多路音频同步控制方法。
第四方面，本申请实施例还提供了一种计算机可读存储介质，计算机可读存储介质上存储有计算机程序，计算机程序被处理器运行时执行如上述任一项的多路音频同步控制方法。
本申请实施例提供的多路音频同步控制方法和装置，通过获取视频编码芯片中的第一时间戳计数值和视频编码延迟时间，能够控制系统级芯片(SOC，System-on-Chip)中音频编码的控制帧的播放时间来保证和视频编码芯片的视频控制帧的播放时间的同步，以实现多路音频传输流数据与视频传输流数据的同步。
进一步地，通过将第一时间戳计数值实时添加至多路音频源数据中的脉冲编码调制信号上，并得到用于标记脉冲编码调制信号采样点的第三时间戳计数值，进而能够得到确定控制视频传输流数据与多路音频传输流数据同步的第二时间戳计数值，以实现多路音频传输流数据与视频传输流数据的同步。
为使本申请的上述目的、特征和优点能更明显易懂，下文特举较佳实施例，并配合所附附图，作详细说明如下。
附图说明
为了更清楚地说明本申请实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本申请的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。
图1示出了本申请实施例所提供的一种多路音频同步控制方法的流程图；
图2示出了本申请实施例所提供的另一种多路音频同步控制方法的流程图；
图3示出了本申请实施例所提供的另一种多路音频同步控制方法的流程图；
图4示出了本申请实施例所提供的另一种多路音频同步控制方法的流程图；
图5示出了本申请实施例所提供的另一种多路音频同步控制方法的流程图；
图6示出了本申请具体实施例所提供的一种多路音频与视频同步输出的处理示意图；
图7示出了本申请具体实施例所提供的一种多路音频源数据的输入示意图；
图8示出了本申请实施例所提供的一种多路音频同步控制装置的结构示意图；
图9示出了本申请实施例所提供的另一种多路音频同步控制装置的结构示意图；
图10示出了本申请实施例所提供的另一种多路音频同步控制装置的结构示意图；
图11示出了本申请实施例所提供的另一种多路音频同步控制装置的结构示意图；
图12示出了本申请实施例所提供的一种电子设备的结构示意图。
主要元件符号说明：
10、获取模块；20、确定模块；30、封装模块；40、添加模块；50、计算模块；60、输出模块；100、处理器；200、存储器；300、总线。
具体实施方式
为使本申请实施例的目的、技术方案和优点更加清楚，下面将结合本申请实施例中附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本申请实施例的组件可以以各种不同的配置来布置和设计。因此，以下对在附图中提供的本申请的实施例的详细描述并非旨在限制要求保护的本申请的范围，而是仅仅表示本申请的选定实施例。基于本申请的实施例，本领域技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本申请保护的范围。
考虑到相关技术中专用编码芯片只支持一路音频编码，且音频格式不够丰富的问题，另外，在某些领域，如广播电视领域，有一路视频携带多路音频的需求，因此，实现一路视频携带多路多格式音频是目前的趋势。
有鉴于此，本申请实施例提供了一种多路音频同步控制方法、控制装置及电子设备，通过获取视频编码芯片中的第一时间戳计数值和视频编码延迟时间，能够控制系统级芯片中音频编码的控制帧的播放时间来保证和视频编码芯片的视频控制帧的播放时间的同步，以实现多路音频传输流数据与视频传输流数据的同步。
本申请第一方面的实施例，如图1所示，为本申请实施例提供的一种多路音频同步控制方法的流程图，该处理方法包括：
S101，获取视频编码芯片中的第一时间戳计数值和视频编码延迟时间；
S102，基于第一时间戳计数值和视频编码延迟时间，确定用于指示多路音频传输流数据播放时间的第二时间戳计数值；
S103，将第二时间戳计数值与多路音频源数据进行封装，得到携带有同步信息的多路音频传输流数据。
本申请实施例提供的多路音频同步控制方法，通过获取视频编码芯片中的第一时间戳计数值和视频编码延迟时间，能够确定控制视频传输流数据与多路音频传输流数据同步的第二时间戳计数值，即能够控制系统级芯片中音频编码的控制帧的播放时间来保证和视频编码芯片的视频控制帧的播放时间的同步，以实现一路视频携带多路音频编码的同步输出。
需要说明的是，视频编码芯片可以使用专用编码芯片，用来对视频源数据进行编码和封装，以输出视频传输流数据；系统级芯片用来对多路音频源数据进行编码和封装，以输出多路音频传输流数据；第一时间戳计数值从视频编码芯片的本地时钟中获取；视频编码延迟时间是视频编码芯片的编码延迟时间，是通过配置视频编码芯片的系统参数完成的，系统级芯片可以通过控制总线访问视频编码芯片的地址空间读到视频编码延迟时间的参数。
在本申请的一个实施例中，优选地，如图2所示，本申请实施例所提供的另一种多路音频同步控制方法的流程图，包括：
S201，获取视频编码芯片中的第一时间戳计数值和视频编码延迟时间；
S202，将第一时间戳计数值实时添加至多路音频源数据中的脉冲编码调制信号上，得到用于标记脉冲编码调制信号采样点的第三时间戳计数值；
S203，根据第三时间戳计数值和视频编码延迟时间确定第二时间戳计数值；
S204，将第二时间戳计数值与多路音频源数据进行封装，得到携带有同步信息的多路音频传输流数据。
在该实施例中，通过将第一时间戳计数值实时添加至多路音频源数据中的脉冲编码调制信号(Pulse Code Modulation，PCM)上，并得到用于标记脉冲编码调制信号采样点的第三时间戳计数值，进而通过第三时间戳计数值和视频编码延迟时间确定第二时间戳计数值，以利用第二时间戳计数值得到与视频传输流数据同步的多路音频传输流数据。
需要说明的是，脉冲编码调制是数字通信的编码方式之一，主要过程是将话音、图像等模拟信号每隔一定时间进行取样，使其离散化，同时将抽样值按分层单位四舍五入取整量化，同时将抽样值按一组二进制码来表示抽样脉冲的幅值；第三时间戳计数值用来对多路音频源数据中最小单位(采样点)进行标记。
在本申请的一个实施例中，优选地，如图3所示，本申请实施例所提供的另一种多路音频同步控制方法的流程图，包括：
S301，获取视频编码芯片中的第一时间戳计数值和视频编码延迟时间；
S302，将第一时间戳计数值实时添加至多路音频源数据中的脉冲编码调制信号上，并得到用于标记脉冲编码调制信号采样点的第三时间戳计数值；
S303，根据第三时间戳计数值和脉冲编码调制信号的采样频率确定第四时间戳计数值；根据第四时间戳计数值和视频编码延迟时间计算第二时间戳计数值；
S304，将第二时间戳计数值与多路音频源数据进行封装，得到携带有同步信息的多路音频传输流数据。
在该实施例中，通过将表示采样点播放时间的第三时间戳计数值进行转化得到表示音频帧播放时间的第四时间戳计数值，进一步地，通过将第四时间戳计数值和视频编码延迟时间相加得到控制视频传输流数据与多路音频传输流数据同步的第二时间戳计数值，再进一步地，利用第二时间戳计数值对多路音频源数据进行封装，能够得到与视频传输流数据相同步的多路音频传输流数据。
需要说明的是，第三时间戳计数值用来对多路音频源数据中最小单位(采样点)进行标记；第四时间戳计数值是对第三时间戳计数值的变形，用来对多路音频源数据中音频帧进行标记，通常一个音频帧包括1152个采样点；采样频率定义了每秒从连续信号(脉冲编码调制信号)中提取并组成离散信号的采样点的个数，用赫兹(Hz)来表示，采样频率的倒数是采样周期或者叫作采样时间，它是采样之间的时间间隔，即计算机每秒钟采集多少个信号采样点。例如，当采样频率为48KHZ时，每一音频帧的时间间隔为1152/48＝24ms，即每隔24ms对一个音频帧进行编码。
在本申请的一个实施例中，优选地，如图4所示，本申请实施例所提供的另一种多路音频同步控制方法的流程图，包括：
S401，获取视频编码芯片中的第一时间戳计数值和视频编码延迟时间；
S402，将第一时间戳计数值实时添加至多路音频源数据中的脉冲编码调制信号上，得到用于标记脉冲编码调制信号采样点的第三时间戳计数值；
S403，根据第三时间戳计数值和脉冲编码调制信号的采样频率确定第四时间戳计数值；根据第四时间戳计数值和视频编码延迟时间计算第二时间戳计数值；
S404，根据第四时间戳计数值和预设音频压缩标准对多路音频源数据进行断帧；根据预设音频压缩标准调用编码库对经过断帧处理后的多路音频源数据进行编码，以生成多路音频基本码流数据；
S405，将第二时间戳计数值与多路音频源数据进行封装，得到携带有同步信息的多路音频传输流数据。
在该实施例中，首先，根据第四时间戳计数值和预设音频压缩标准对多路音频源数据进行断帧，进一步地，根据预设音频压缩标准调用对经过断帧处理后的多路音频源数据进行编码，以生成多路音频基本码流数据(elementary stream，ES)，再进一步地，根据第四时间戳计数值和视频编码延迟时间计算第二时间戳计数值，将第二时间戳计数值标记在多路音频基本码流数据上，对多路音频基本码流数据进行封装得到过渡数据流(Packetized Elementary Streams，PES)，最后，将PES再次进行封装打包，得到与视频传输流数据相同步的多路音频传输流数据(Transport Stream，TS)。
需要说明的是，基本码流数据是由编码器输出的原始基础码流，它只含有解码器所必需的、并与原始音频相匹配的信息；PES是ES经过PES打包器处理后形成的数据流，在这个过程中完成了将ES流分组、打包、加入包头信息等操作(对ES流的第一次打包)，其中，PES流的基本单位是PES包，PES包由包头和ES数据组成，包头内包含第二时间戳计数值的信息；TS由定长的TS包组成(188/204字节)，而TS包是对PES包的一个重新封装(到这里，ES也经过了两层的封装)，PES包的包头信息依然存在于TS包中，防止有可能发生严重错误时进行一道或多道程序编码数据的传送和存储。
在本申请的一个实施例中，如图5所示，本申请实施例所提供的另一种多路音频同步控制方法的流程图，包括：
S501，获取视频编码芯片中的第一时间戳计数值和视频编码延迟时间；
S502，基于第一时间戳计数值和视频编码延迟时间，确定用于指示多路音频传输流数据播放时间的第二时间戳计数值；
S503，将第二时间戳计数值与多路音频源数据进行封装，得到携带有同步信息的多路音频传输流数据；
S504，获取视频编码芯片中的当前时间戳计数值；当第二时间戳计数值与当前时间戳计数值的差值大于或等于预设阈值时，输出多路音频传输流数据，以实现多路音频传输流数据与视频传输流数据的同步。
在该实施例中，为了实现多路音频传输流数据与视频传输流数据的同步输出，需要控制多路音频传输流数据的发送时间，具体地，从视频编码芯片中获取当前时间戳计数值，并将第二时间戳计数值与当前时间戳计数值的差值进行比较，若第二时间戳计数值与当前时间戳计数值的差值满足预设阈值要求时，将多路音频传输流数据进行发送。
在本申请的一个具体实施例中，如图6所示，为一种多路音频与视频同步输出的处理示意图，包括：
1)音频输入
SOC芯片从ASIC芯片获取TSC(第一时间戳计数值)，并将TSC实时添加至多路音频源数据中的PCM上，记为TSCpcm_input(第三时间戳计数值)，如图7所示，为多路音频源数据的输入示意图，其中，CLK(时钟，clock)是多路音频源数据输入的时钟信号，以八路音频通道PCM为例，FS是帧同步信号，Slot表示时隙，每个Slot里可以传输32bit的数据，FS为高电平时表示在传输Slot0时隙的数据，否则FS为低电平，Slot1至Slot8代表八路音频时隙数据，Slot9代表TSC。
2)音频分帧
根据预设音频压缩标准，为编码做准备(不同音频压缩标准的帧长度不同)，根据TSCpcm_input和采样频率将TSC转换成帧对齐的TSCpcm_frm_input(第四时间戳计数值)。
3)音频编码
根据预设音频压缩标准调用对应的编码库对经过断帧处理后的多路音频源数据进行编码，生成ES帧，同时将TSC时间戳TSCpcm_frm_input和delay(视频编码延迟时间)生成TSCpcm_frm_enc(第二时间戳计数值)，其中，TSCpcm_frm_enc＝TSCpcm_frm_input+delay。
4)音频封装
将ES帧封装成PES帧，将TSC编码时间TSCpcm_frm_enc转成规定格式打到PES的头部信息中，再将PES帧封装成TS。
5)音频发送
SOC芯片从ASIC芯片获取当前TSC时间，与设置的TSCpcm_frm_enc进行比较，当TSCpcm_frm_enc与当前TSC时间的差值大于等于预设阈值时，控制多路音频传输流数据的发送时间，其中，预设阈值可以设置为100ms。
基于同一发明构思，本申请第二方面的实施例中还提供了与多路音频同步控制方法对应的控制装置，由于本申请实施例中的处理装置解决问题的原理与本申请实施例上述处理方法相似，因此装置的实施可以参见方法的实施，重复之处不再赘述。
本申请第二方面的实施例，如图8所示，为本申请实施例所提供的一种多路音频同步控制装置的结构示意图，该装置包括：
获取模块10，用于获取视频编码芯片中的第一时间戳计数值和视频编码延迟时间；
确定模块20，用于基于第一时间戳计数值和视频编码延迟时间，确定用于指示多路音频传输流数据播放时间的第二时间戳计数值；
封装模块30，用于将第二时间戳计数值与多路音频源数据进行封装，得到携带有同步信息的多路音频传输流数据。
本申请提供的多路音频同步控制装置，包括获取模块10、确定模块20和封装模块30，通过获取视频编码芯片中的第一时间戳计数值和视频编码延迟时间，能够控制系统级芯片中音频编码的控制帧的播放时间来保证和视频编码芯片的视频控制帧的播放时间的同步，以实现一路视频携带多路音频编码的同步输出。
在本申请的一个实施例中，优选地，如图9所示，为本申请实施例所提供的另一种多路音频同步控制装置的结构示意图，该装置包括：
获取模块10，用于获取视频编码芯片中的第一时间戳计数值和视频编码延迟时间；
确定模块20，用于基于第一时间戳计数值和视频编码延迟时间，指示多路音频传输流数据播放时间的第二时间戳计数值；确定模块20包括添加模块40，用于将第一时间戳计数值实时添加至多路音频源数据中的脉冲编码调制信号上，得到用于标记脉冲编码调制信号采样点的第三时间戳计数值；确定模块20，还用于根据第三时间戳计数值和视频编码延迟时间确定第二时间戳计数值。
封装模块30，用于将第二时间戳计数值与多路音频源数据进行封装，得到携带有同步信息的多路音频传输流数据。
在本申请的一个实施例中，优选地，如图10所示，为本申请实施例所提供的另一种多路音频同步控制装置的结构示意图，该装置包括：
获取模块10，用于获取视频编码芯片中的第一时间戳计数值和视频编码延迟时间；
确定模块20，用于基于第一时间戳计数值和视频编码延迟时间，确定用于指示多路音频传输流数据播放时间的第二时间戳计数值；确定模块20包括添加模块40和计算模块50，添加模块40用于将第一时间戳计数值实时添加至多路音频源数据中的脉冲编码调制信号上，得到用于标记脉冲编码调制信号采样点的第三时间戳计数值；确定模块20，还用于根据第三时间戳计数值和视频编码延迟时间确定第二时间戳计数值；确定模块20，还用于根据第三时间戳计数值和脉冲编码调制信号的采样频率确定第四时间戳计数值；计算模块50，用于根据第四时间戳计数值和视频编码延迟时间计算第二时间戳计数值；
封装模块30，用于将第二时间戳计数值与多路音频源数据进行封装，得到携带有同步信息的多路音频传输流数据。
在本申请的一个实施例中，优选地，其中，封装模块30包括：处理模块，用于根据第四时间戳计数值和预设音频压缩标准对多路音频源数据进行断帧；生成模块，用于根据预设音频压缩标准调用编码库对经过断帧处理后的多路音频源数据进行编码，生成多路音频基本码流数据；封装模块30，还用于根据第二时间戳计数值对多路音频基本码流数据进行封装，得到携带有同步信息的多路音频传输流数据。
在本申请的一个实施例中，优选地，如图11所示，为本申请实施例所提供的另一种多路音频同步控制装置的结构示意图，该装置包括：
获取模块10，用于获取视频编码芯片中的第一时间戳计数值和视频编码延迟时间，还用于获取视频编码芯片中的当前时间戳计数值；
确定模块20，用于基于第一时间戳计数值和视频编码延迟时间，确定用于指示多路音频传输流数据播放时间的第二时间戳计数值；
封装模块30，用于将第二时间戳计数值与多路音频源数据进行封装，得到携带有同步信息的多路音频传输流数据；
输出模块60，用于当第二时间戳计数值与当前时间戳计数值的差值大于或等于预设阈值时，输出多路音频传输流数据，以实现多路音频传输流数据与视频传输流数据的同步。
本申请第三方面的实施例中，优选地，如图12所示，为本申请实施例所提供的一种电子设备的结构示意图，该电子设备包括：处理器100、存储器200和总线300，存储器200存储有处理器100可执行的机器可读指令，当电子设备运行时，处理器100与存储器200之间通过总线300通信，机器可读指令被处理器100执行时执行如下执行指令：
获取视频编码芯片中的第一时间戳计数值和视频编码延迟时间；
基于第一时间戳计数值和视频编码延迟时间，确定用于指示多路音频传输流数据播放时间的第二时间戳计数值；
将第二时间戳计数值与多路音频源数据进行封装，得到携带有同步信息的多路音频传输流数据。
在本申请的一个实施例中，优选地，上述处理器100执行的步骤中，基于第一时间戳计数值和视频编码延迟时间，确定用于指示多路音频传输流数据播放时间的第二时间戳计数值，包括：
将第一时间戳计数值实时添加至多路音频源数据中的脉冲编码调制信号上，得到用于标记脉冲编码调制信号采样点的第三时间戳计数值；
根据第三时间戳计数值和视频编码延迟时间确定第二时间戳计数值。
在本申请的一个实施例中，优选地，上述处理器100执行的步骤中，根据第三时间戳计数值和视频编码延迟时间确定第二时间戳计数值，包括：
根据第三时间戳计数值和脉冲编码调制信号的采样频率确定第四时间戳计数值；
根据第四时间戳计数值和视频编码延迟时间计算第二时间戳计数值。
在本申请的一个实施例中，优选地，上述处理器100执行的步骤中，，将第二时间戳计数值与多路音频源数据进行封装，得到携带有同步信息的多路音频传输流数据，包括：
利用第四时间戳计数值和预设音频压缩标准，对多路音频源数据进行断帧；
根据预设音频压缩标准对经过断帧处理后的多路音频源数据进行编码，生成多路音频基本码流数据；
根据第二时间戳计数值对多路音频基本码流数据进行封装，得到携带有同步信息的多路音频传输流数据。
在本申请的一个实施例中，优选地，上述处理器100执行的步骤中，得到携带有同步信息的多路音频传输流数据之后，还包括：
获取视频编码芯片中的当前时间戳计数值；
当第二时间戳计数值与当前时间戳计数值的差值大于或等于预设阈值时，输出多路音频传输流数据，以实现多路音频传输流数据与视频传输流数据的同步。
本申请第四方面的实施例中，优选地，本申请实施例还提供了一种计算机可读存储介质，计算机可读存储介质上存储有计算机程序，计算机程序被处理器运行时执行上述多路音频同步控制方法。
具体地，计算机可读存储介质能够为通用的存储介质，如移动磁盘、硬盘等，该存储介质上的计算机程序被运行时，能够执行上述多路音频同步控制方法，通过获取视频编码芯片中的第一时间戳计数值和视频编码延迟时间，能够控制系统级芯片中音频编码的控制帧的播放时间来保证和视频编码芯片的视频控制帧的播放时间的同步，以实现一路视频携带多路音频编码的同步输出。
本申请实施例所提供的多路音频同步控制方法的计算机程序产品，包括存储了程序代码的计算机可读存储介质，程序代码包括的指令可用于执行前面方法实施例中的方法，具体实现可参见方法实施例，在此不再赘述。
所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的设备和装置的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本申请各个实施例方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
以上，仅为本申请的具体实施方式，但本申请的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本申请揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本申请的保护范围之内。因此，本申请的保护范围应以权利要求的保护范围为准。
以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。
Claims (8)
1.一种多路音频同步控制方法，其特征在于，所述方法包括：
获取视频编码芯片中的第一时间戳计数值和视频编码延迟时间；
基于所述第一时间戳计数值和所述视频编码延迟时间，确定用于指示多路音频传输流数据播放时间的第二时间戳计数值；
将所述第二时间戳计数值与多路音频源数据进行封装，得到携带有同步信息的所述多路音频传输流数据；
所述基于所述第一时间戳计数值和所述视频编码延迟时间，确定用于指示多路音频传输流数据播放时间的第二时间戳计数值，包括：
将所述第一时间戳计数值实时添加至所述多路音频源数据中的脉冲编码调制信号上，得到用于标记所述脉冲编码调制信号采样点的第三时间戳计数值；
根据所述第三时间戳计数值和所述视频编码延迟时间确定所述第二时间戳计数值。
2.根据权利要求1所述的方法，其特征在于，所述根据所述第三时间戳计数值和所述视频编码延迟时间确定所述第二时间戳计数值，包括：
根据所述第三时间戳计数值和所述脉冲编码调制信号的采样频率确定第四时间戳计数值；
根据所述第四时间戳计数值和所述视频编码延迟时间计算所述第二时间戳计数值。
3.根据权利要求2所述的方法，其特征在于，所述将所述第二时间戳计数值与多路音频源数据进行封装，得到携带有同步信息的所述多路音频传输流数据，包括：
利用所述第四时间戳计数值和预设音频压缩标准，对所述多路音频源数据进行断帧；
根据所述预设音频压缩标准对经过断帧处理后的所述多路音频源数据进行编码，生成多路音频基本码流数据；
根据所述第二时间戳计数值对所述多路音频基本码流数据进行封装，得到携带有同步信息的所述多路音频传输流数据。
4.根据权利要求1至3中任一项所述的方法，其特征在于，所述得到携带有同步信息的所述多路音频传输流数据之后，还包括：
获取所述视频编码芯片中的当前时间戳计数值；
当所述第二时间戳计数值与所述当前时间戳计数值的差值大于或等于预设阈值时，输出所述多路音频传输流数据，以实现所述多路音频传输流数据与视频传输流数据的同步。
5.一种多路音频同步控制装置，其特征在于，所述装置包括：
获取模块，用于获取视频编码芯片中的第一时间戳计数值和视频编码延迟时间；
确定模块，用于基于所述第一时间戳计数值和所述视频编码延迟时间，确定用于指示多路音频传输流数据播放时间的第二时间戳计数值；
封装模块，用于将所述第二时间戳计数值与多路音频源数据进行封装，得到携带有同步信息的所述多路音频传输流数据；
所述确定模块包括：
添加模块，用于将所述第一时间戳计数值实时添加至所述多路音频源数据中的脉冲编码调制信号上，得到用于标记所述脉冲编码调制信号采样点的第三时间戳计数值；
所述确定模块，还用于根据所述第三时间戳计数值和所述视频编码延迟时间确定所述第二时间戳计数值。
6.根据权利要求5所述的装置，其特征在于，所述确定模块还包括：
所述确定模块，还用于根据所述第三时间戳计数值和所述脉冲编码调制信号的采样频率确定第四时间戳计数值；
计算模块，用于根据所述第四时间戳计数值和所述视频编码延迟时间计算所述第二时间戳计数值。
7.一种电子设备，其特征在于，包括：处理器、存储器和总线，所述存储器存储有所述处理器可执行的机器可读指令，当所述电子设备运行时，所述处理器与所述存储器之间通过总线通信，所述机器可读指令被所述处理器运行时执行如权利要求1~4中任一项所述的方法。
8.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器运行时执行如权利要求1~4中任一项所述的方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201810843203.5A CN108965971B (zh) | 2018-07-27 | 2018-07-27 | 多路音频同步控制方法、控制装置及电子设备 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201810843203.5A CN108965971B (zh) | 2018-07-27 | 2018-07-27 | 多路音频同步控制方法、控制装置及电子设备 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN108965971A CN108965971A (zh) | 2018-12-07 |
| CN108965971B true CN108965971B (zh) | 2021-05-14 |
Family
ID=64465643
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201810843203.5A Active CN108965971B (zh) | 2018-07-27 | 2018-07-27 | 多路音频同步控制方法、控制装置及电子设备 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN108965971B (zh) |
Families Citing this family (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111356003B (zh) * | 2020-03-11 | 2022-03-29 | 安徽文香科技有限公司 | 一种数据写入的方法、系统及终端设备 |
| CN112135177B (zh) * | 2020-09-25 | 2022-10-21 | 北京猿力未来科技有限公司 | 数据流同步方法及装置 |
| CN112218115B (zh) * | 2020-09-25 | 2022-07-29 | 深圳市捷视飞通科技股份有限公司 | 流媒体音视频同步的控制方法、装置、计算机设备 |
| CN112601077B (zh) * | 2020-12-11 | 2022-07-26 | 杭州当虹科技股份有限公司 | 一种基于音频的编码器延时的自动测量方法 |
| CN114257771B (zh) * | 2021-12-21 | 2023-12-01 | 杭州海康威视数字技术股份有限公司 | 一种多路音视频的录像回放方法、装置、存储介质和电子设备 |
| CN115065860B (zh) * | 2022-07-01 | 2023-03-14 | 广州美录电子有限公司 | 适用于舞台的音频数据处理方法、装置、设备及介质 |
| CN114885198B (zh) * | 2022-07-07 | 2022-10-21 | 中央广播电视总台 | 面向混合网络的伴音与视频协同呈现系统 |
Family Cites Families (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| EP0598295B1 (en) * | 1992-11-17 | 1998-10-14 | Matsushita Electric Industrial Co., Ltd. | Video and audio signal multiplexing apparatus and separating apparatus |
| US5387943A (en) * | 1992-12-21 | 1995-02-07 | Tektronix, Inc. | Semiautomatic lip sync recovery system |
| JPH0818930A (ja) * | 1994-06-30 | 1996-01-19 | Toko Inc | 映像音声間の同期ずれ測定方法 |
| JP4305065B2 (ja) * | 2003-06-12 | 2009-07-29 | ソニー株式会社 | Ａｖ同期処理装置および方法ならびにａｖ記録装置 |
| KR101263522B1 (ko) * | 2004-09-02 | 2013-05-13 | 소니 주식회사 | 콘텐츠 수신 장치, 비디오 오디오 출력 타이밍 제어 방법및 콘텐츠 제공 시스템 |
| CN101902649A (zh) * | 2010-07-15 | 2010-12-01 | 浙江工业大学 | 一种基于h.264标准的音视频同步控制方法 |
| CN104125534B (zh) * | 2013-07-18 | 2017-01-11 | 中国传媒大学 | 一种多声道音频同步录制及播出方法以及相应的系统 |
| CN104079958B (zh) * | 2014-04-25 | 2017-07-11 | 中国传媒大学 | 一种视频与多声道音频同步播出的方法 |
| CN106937137B (zh) * | 2015-12-30 | 2020-07-14 | 惠州市伟乐科技股份有限公司 | 一种多通道数字音频编码音视频同步的方法 |
-
2018
- 2018-07-27 CN CN201810843203.5A patent/CN108965971B/zh active Active
Also Published As
| Publication number | Publication date |
|---|---|
| CN108965971A (zh) | 2018-12-07 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN108965971B (zh) | 多路音频同步控制方法、控制装置及电子设备 | |
| JP6864128B6 (ja) | 送信方法、受信方法、送信装置、及び受信装置 | |
| JP6846644B2 (ja) | 送信方法、受信方法、送信装置及び受信装置 | |
| CN105191248B (zh) | 用于发送数据和接收数据的方法和装置 | |
| KR20010095264A (ko) | 데이터 다중화 장치, 데이터 다중화 방법, 및 기록 매체 | |
| JP3666625B2 (ja) | データ記録方法およびデータ記録装置 | |
| JP2019110554A (ja) | 送信方法、受信方法、送信装置、及び受信装置 | |
| CN105009595A (zh) | 发送设备、发送方法、接收设备以及接收方法 | |
| CN107113462A (zh) | 发送方法、接收方法、发送装置以及接收装置 | |
| JP7257648B2 (ja) | 逆多重化装置及び逆多重化方法 | |
| JP2009212876A (ja) | Ｉｐストリーム送受信システム、ｉｐストリーム受信装置及びそれらに用いる受信処理タイミング同期化方法 | |
| EP2833630B1 (en) | Encoding device for encapsulating access units into media units, decoding device and program for same | |
| JP2010531087A (ja) | 一定のビットレートのストリームの伝送のためのシステム及び方法 | |
| JP2024069460A (ja) | 送信方法、受信方法、送信装置及び受信装置 | |
| JP2018182677A (ja) | 情報処理装置、情報処理方法、プログラム、および記録媒体製造方法 | |
| JP2018182617A (ja) | 情報処理装置、情報処理方法、プログラム、および記録媒体製造方法 | |
| JP4391412B2 (ja) | ディジタルストリームの動的多重化方法 | |
| CN113747209B (zh) | 多路ts流节目的重组方法及装置 | |
| CN100388795C (zh) | 用于产生接收装置的系统时钟的方法以及相应的接收装置 | |
| CN112671696B (zh) | 报文传输方法、装置、计算机设备以及计算机存储介质 | |
| JP2014216706A (ja) | 送信装置、受信装置及び再生システム | |
| CN111327923B (zh) | 一种音频流切换方法及装置 | |
| CN108768811B (zh) | 一种天地音视频通信同步方法及系统 | |
| KR100360870B1 (ko) | 디지탈패킷데이타의다중화벙법 | |
| WO2017110854A1 (ja) | 送信装置、受信装置、送信方法及び受信方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |