CN107205158A - 一种基于时间戳的多路音视频流同步解码方法 - Google Patents

一种基于时间戳的多路音视频流同步解码方法 Download PDF

Info

Publication number
CN107205158A
CN107205158A CN201610158878.7A CN201610158878A CN107205158A CN 107205158 A CN107205158 A CN 107205158A CN 201610158878 A CN201610158878 A CN 201610158878A CN 107205158 A CN107205158 A CN 107205158A
Authority
CN
China
Prior art keywords
bag
audio
video
timestamp
stream
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201610158878.7A
Other languages
English (en)
Inventor
陈春豪
肖江剑
宋康康
姜麟建
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ningbo Institute of Material Technology and Engineering of CAS
Original Assignee
Ningbo Institute of Material Technology and Engineering of CAS
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ningbo Institute of Material Technology and Engineering of CAS filed Critical Ningbo Institute of Material Technology and Engineering of CAS
Priority to CN201610158878.7A priority Critical patent/CN107205158A/zh
Publication of CN107205158A publication Critical patent/CN107205158A/zh
Pending legal-status Critical Current

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/21—Server components or server architectures
    • H04N21/218—Source of audio or video content, e.g. local disk arrays
    • H04N21/21805—Source of audio or video content, e.g. local disk arrays enabling multiple viewpoints, e.g. using a plurality of cameras
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/236—Assembling of a multiplex stream, e.g. transport stream, by combining a video stream with other content or additional data, e.g. inserting a URL [Uniform Resource Locator] into a video stream, multiplexing software data into a video stream; Remultiplexing of multiplex streams; Insertion of stuffing bits into the multiplex stream, e.g. to obtain a constant bit-rate; Assembling of a packetised elementary stream
    • H04N21/23608—Remultiplexing multiplex streams, e.g. involving modifying time stamps or remapping the packet identifiers
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/4302—Content synchronisation processes, e.g. decoder synchronisation
    • H04N21/4307—Synchronising the rendering of multiple content streams or additional data on devices, e.g. synchronisation of audio on a mobile phone with the video output on the TV screen
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/434—Disassembling of a multiplex stream, e.g. demultiplexing audio and video streams, extraction of additional data from a video stream; Remultiplexing of multiplex streams; Extraction or processing of SI; Disassembling of packetised elementary stream
    • H04N21/4343—Extraction or processing of packetized elementary streams [PES]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/439—Processing of audio elementary streams
    • H04N21/4398—Processing of audio elementary streams involving reformatting operations of audio signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/44012—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving rendering scenes according to scene graphs, e.g. MPEG-4 scene graphs
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/44016—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving splicing one content stream with another content stream, e.g. for substituting a video clip
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/85—Assembly of content; Generation of multimedia applications
    • H04N21/854—Content authoring
    • H04N21/8547—Content authoring involving timestamps for synchronizing content

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Security & Cryptography (AREA)
  • Databases & Information Systems (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Abstract

本发明提供一种基于时间戳的多路音视频流同步解码方法，其包括如下步骤：(a)通过全景摄像机获取多路视频流，同时通过音频采集器获取单路音频流；(b)对每一路视频流和单路音频流进行预处理；(c)通过基于时间戳的同步解码算法对预处理后的多路视频流和单路音频流进行同步排序解码。

Description

一种基于时间戳的多路音视频流同步解码方法
技术领域
本发明涉及计算机编解码技术和计算机图形学技术，特别涉及一种基于时间戳的多路音视频流同步解码方法。
背景技术
拼接式全景摄像机的成像过程是指将多个摄像头按照空间位置关系，固定安装在支架上，每个摄像头可以独立、高清地捕捉固定角度的图像。全景图像拼接技术是将不同相机在不同的时间、不同方向拍摄的图像，拼接到同一坐标系下进行全景展示。
基于多摄像头的360度全景视频拼接，必须考虑到摄像头的个数，摄像头的个数越多，视频同步采集以及视频编解码的负荷量越大，同时增加了全景拼接融合的次数。由于多路拼接式全景摄像机的硬件设备无法做到精确的视频同步采集，若直接对采集后的多路H.264视频流和PCM音频流进行同时解码，无法保证音视频之间的同步以及视频间图像显示的时间同步性，拼接后的全景图像容易出现影像重叠现象。
发明内容
针对上述难题，本发明提供一种基于时间戳的多路音视频流同步解码方法。
本发明提供一种基于时间戳的多路音视频流同步解码方法，其包括如下步骤：
(a)通过全景摄像机获取多路视频流，同时通过音频采集器获取单路音频流；
(b)对每一路视频流和单路音频流进行预处理；
(c)通过基于时间戳的同步解码算法对预处理后的多路视频流和单路音频流进行同步排序解码。
步骤(a)具体为通过拼接式全景摄像机采集同一时间、不同方向的多路视频流，其中视频流的格式为H.264；同时通过音频采集器获取对应的拍摄场景的PCM音频流。
步骤(b)具体包括以下步骤：
(b1)划分对每一路视频流的每一帧图像进行划分，得到多个h264图像包，并获取每一h264图像包的包长；
(b2)对所述单路PCM音频流进行划分得到PCM音频包，并获取PCM音频包的包长；
(b3)在每一个h264图像包和PCM音频包添加附加信息，用于解码识别。
所述步骤(b3)具体为：
首先，在每一个h264图像包以及PCM音频包前均添加包头信息、时间戳信息以及包长信息，其中，所述包头信息用于每一路视频流中不同h264图像包/PCM音频包之间的划分和辨别，所述时间戳信息代表该帧图像拍摄时的时间点/每个PCM音频包的录制时间，所述包长信息用于记录该h264图像包/PCM音频包的存储长度；
其次，以多路H.264格式的视频流和单路PCM音频流为基础建立多路PES视频流和单路PEA音频流，PES视频流和PEA音频流的文件内容排序为：包头信息、时间戳信息、包长信息、h264图像包/PCM音频包，其中，h264图像包来源于H.264格式的视频流的内容，h264图像包为每一帧图像经过H.264编码后得到，PCM音频包来源于PCM音频流的内容。
步骤(c)具体包括以下步骤：
(c1)初始化多路PES视频流和单路PEA音频流同步解码的时间条件；
(c2)对单路PES视频流按时间戳信息进行解码并渲染；
(c3)按照步骤(c2)的处理方式循坏处理完每一路PES视频流，每处理完一次即可渲染得到一组同步的视频流图像；
(c4)对单路PEA音频流按时间戳信息进行解码并播放，以实现该时间点下的音视频同步；
(c5)更新解码渲染的时间点，重复步骤(c1)至步骤(c3)，完成下一组音视频流的刷新。
所述步骤(c1)具体为：初始化解码时间T以及更新渲染时间Δt。
所述步骤(c2)具体为：
首先，读取该路PES视频流的最近一个未解码的h264图像包对应的时间戳信息Tn，将时间戳信息Tn与T进行比较，若Tn<T，则对该h264图像包进行解码；
然后，依次判断每一个未解码的h264图像包，对所有小于T的h264图像包进行解码，并对最接近T的时间点的h264图像包进行图像渲染。
所述步骤(c3)具体为：按照步骤(c2)的方式处理每一路PES视频流，渲染出的一组视频流图像的时间点都最接近于T，以实现图像显示的相对同步性。
所述步骤(c4)具体为：
首先，读取该PEA音频流的最近一个未解码的PCM音频包对应的时间戳信息Tn，将时间戳信息Tn与T进行比较，若Tn<T，则对该PCM音频包进行解码；
然后，依次判断每一个未解码的PCM音频包，对所有小于T的PCM音频包进行解码，并对最接近T的时间点的PCM音频包进行音频播放。
所述步骤(c5)具体为：对解码渲染的时间点按照T＝T+Δt进行更新，其中Δt小于全景摄像机的摄像头拍摄图像的时间间隔且大于0。
相较于现有技术，本方法具有以下优点：第一，通过时间戳信息对多路码流进行排序解码，消除解码时间不同步的现象，实现全景画面的同步拼接以及保证音视频流的同步播放；第二，将不同相机在同一时刻不同方向拍摄的图像，进行同步显示，消除因为摄像头不同步而造成图像显示不同步的现象。第三，通过与拼接式全景摄像机相结合，实现拼接图像的同步显示，解决图像错乱的问题。
附图说明
图1是本发明所述基于时间戳的多路音视频流同步解码方法的流程图。
图2为本发明所述基于时间戳的多路音视频流同步解码渲染算法的流程图。
图3为未经过同步处理的八路视频流的全景拼接示意图。
图4为本发明实施例所述基于时间戳的同步解码处理后的八路PES视频流的全景拼接示意图。
具体实施方式
下面将结合本发明实施方式中的附图，对本发明实施方式中的技术方案进行清楚、完整地描述，显然，所描述的实施方式仅仅是本发明一部分实施方式，而不是全部的实施方式。基于本发明中的实施方式，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施方式，都属于本发明保护的范围。
请参阅图1，本发明提供一种基于时间戳的多路音视频流同步解码方法。该方法包括如下步骤：
(a)通过全景摄像机获取多路视频流，同时通过音频采集器获取单路音频流；
(b)对每一路视频流和单路音频流进行预处理；
(c)通过基于时间戳的同步解码算法对预处理后的多路视频流和单路音频流进行同步排序解码。
在步骤(a)中，通过拼接式全景摄像机采集同一时间、不同方向的多路视频流，其中视频流的格式为H.264；同时通过音频采集器获取对应的拍摄场景的PCM音频流。
在步骤(b)中，在所述H.264视频流和PCM音频流的基础上添加附加信息，建立新格式的PES视频流和PEA音频流。具体如下：
(b1)划分对每一路视频流的每一帧图像进行划分，得到多个h264图像包，并获取每一h264图像包的包长；
(b2)对所述单路PCM音频流进行划分得到PCM音频包，并获取PCM音频包的包长；
(b3)在每一个h264图像包和PCM音频包添加附加信息，用于解码识别。
所述步骤(b3)具体包括：首先，在每一个h264图像包以及PCM音频包前均添加包头信息、时间戳信息以及包长信息；
其中：包头信息，五个字节的存储空间，内容为0x00,0x00,0x00,0x01,0xFF,用于每路视频流中不同h264图像包/PCM音频包之间的划分和辨别；
时间戳信息，四个字节的存储空间，是一个float数据格式的实数，代表该帧图像拍摄时的时间点/每个PCM音频包的录制时间；
包长信息，四个字节的存储空间，是一个int数据格式的整数，用于记录该h264图像包/PCM音频包的存储长度。
其次，以多路H.264格式的视频流和单路PCM音频流为基础建立多路PES视频流和单路PEA音频流，PES视频流和PEA音频流的文件内容排序为：包头信息、时间戳信息、包长信息、h264图像包/PCM音频包。
其中：h264图像包来源于原有H.264格式的视频流的内容，不定长度的存储空间，每一帧图像经过H.264编码后都存储在h264图像包内；
PCM音频包来源于PCM视频流的内容。
每个h264图像包/PCM音频包所占用的存储空间由int包长信息告知。
在步骤(c)中，对步骤(b)中的多路PES视频流和单路PEA音频流按照时间戳信息进行同步排序解码并播放。该方法利用拼接式全景摄像机则可完全消除由于图像渲染时间不同步而造成的影像错乱的现象。主要如下：
(c1)初始化多路PES视频流和单路PEA音频流同步解码的时间条件；
(c2)对单路PES视频流按时间戳信息进行解码并渲染；
(c3)按照步骤(c2)的处理方式循坏处理完每一路PES视频流，每处理完一次即可渲染得到一组同步的视频流图像；
(c4)对单路PEA音频流按时间戳信息进行解码并播放，以实现该时间点下的音视频同步；
(c5)更新解码渲染的时间点，重复步骤(c1)至步骤(c3)，完成下一组音视频流的刷新。
请参阅图2，所述步骤(c1)具体为：初始化解码时间T以及更新渲染时间Δt。Δt即为两组图像显示的时间间隔，Δt小于全景摄像机的摄像头拍摄图像的时间间隔且大于0。
所述步骤(c2)具体包括：首先，按顺序读取第n路PES视频流的一个未解码的h264图像包的时间戳信息Tn，若Tn<T，则对该h264图像包按照包长度进行H.264解码；然后，接着判断下一个h264图像包的时间戳信息Tn，循环对所有小于T的h264图像包解码处理直到Tn>T为止，并对最接近时间T的h264图像包解码后的图像进行RGB图像渲染。
所述步骤(c3)具体为：按照步骤(c2)的方式依次处理完m路PES视频流，每循环处理完一次则渲染出一组时间点都最接近于T的图像，即可保证0-m-1路RGB图像显示的相对同步性。
所述步骤(c4)具体包括：首先，读取第m路PEA音频流的最近一个未解码的PCM音频包对应的时间戳信息Tn，将时间戳信息Tn与T进行比较，若Tn<T,则对该PCM音频包进行解码；然后，依次判断每一个未解码的PCM音频包，对所有小于T的PCM音频包进行解码，并对最接近T的时间点的PCM音频包进行音频播放。
所述步骤(c5)具体为：对解码渲染的时间点按照T＝T+Δt进行更新。其中，Δt小于全景摄像机的摄像头拍摄图像的时间间隔且大于0，以实现每一组图像的显示同步以及音视频流之间的同步。
相较于现有技术，本方法具有以下优点：第一，通过时间戳信息对多路码流进行排序解码，消除解码时间不同步的现象，实现全景画面的同步拼接以及保证音视频流的同步播放；第二，将不同相机在同一时刻不同方向拍摄的图像，进行同步显示，消除因为摄像头不同步而造成图像显示不同步的现象。第三，通过与拼接式全景摄像机相结合，实现拼接图像的同步显示，解决图像错乱的问题。
下面结合具体实施例对本发明提出的一种基于时间戳的多路音视频流同步解码方法进行说明：
实施例
所述基于时间戳的多路音视频流同步解码方法可与拼接式全景相机相结合，实现全景视频同步拼接的效果。具体以Android端的全景图像拼接为例。该设计方法包括如下步骤：
(a)通过拼接式全景摄像机获取多路视频流及通过音频采集器获取单路音频流；
(b)对每一路视频流和单路音频流进行预处理；
(c)通过基于时间戳的同步解码算法完成对预处理后的多路音视频流的同步解码。
(d)将同步后的多路视频流图像在Android端上进行全景拼接，并且播放同步后的音频文件。
步骤(a)主要为通过拼接式的全景摄像机采集同一时间、不同方向的多路视频流，视频流格式为H.264，同时通过音频采集器获取场景的PCM音频流信号。
步骤(b)中，将步骤(a)中获取的H.264格式的视频流和PCM音频流的基础上添加附加信息，建立新格式的PES视频流和PEA音频流。
步骤(c)具体为：在Android端完成对步骤b中建立的多路PES视频流和单路PEA音频流按照时间戳信息进行同步排序解码并输出RGB图像和音频信息。
在步骤(d)中，对步骤(c)中所述的RGB图像在Android端利用计算机图形学技术完成全景球体拼接，同时播放同步后的音频文件。
对比的，请参阅图3，若直接对采集后的多路H.264视频流进行同时解码，而未经过同步处理。由于无法保证视频间图像显示的时间同步性，因而拼接后的全景图像容易出现影像重叠现象。
请参阅图4，按照本发明所述多路音视频流同步解码算法，即可保证全景视频在Android端的同步刷新，消除图3显示的图像错乱现象，得到同步渲染后的全景图像。
以上所述是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也视为本发明的保护范围。

Claims (10)

1.一种基于时间戳的多路音视频流同步解码方法，其包括如下步骤：
(a)通过全景摄像机获取多路视频流，同时通过音频采集器获取单路音频流；
(b)对每一路视频流和单路音频流进行预处理；
(c)通过基于时间戳的同步解码算法对预处理后的多路视频流和单路音频流进行同步排序解码。
2.一种如权利要求1所述的基于时间戳的多路音视频流同步解码方法，其特征在于，步骤(a)具体为通过拼接式全景摄像机采集同一时间、不同方向的多路视频流，其中视频流的格式为H.264；同时通过音频采集器获取对应的拍摄场景的PCM音频流。
3.一种如权利要求2所述的所述的基于时间戳的多路音视频流同步解码方法，其特征在于，步骤(b)具体包括以下步骤：
(b1)划分对每一路视频流的每一帧图像进行划分，得到多个h264图像包，并获取每一h264图像包的包长；
(b2)对所述单路PCM音频流进行划分得到PCM音频包，并获取PCM音频包的包长；
(b3)在每一个h264图像包和PCM音频包添加附加信息，用于解码识别。
4.一种如权利要求3所述的基于时间戳的多路音视频流同步解码方法，其特征在于，所述步骤(b3)具体为：
首先，在每一个h264图像包以及PCM音频包前均添加包头信息、时间戳信息以及包长信息，其中，所述包头信息用于每一路视频流中不同h264图像包/PCM音频包之间的划分和辨别，所述时间戳信息代表该帧图像拍摄时的时间点/每个PCM音频包的录制时间，所述包长信息用于记录该h264图像包/PCM音频包的存储长度；
其次，以多路H.264格式的视频流和单路PCM音频流为基础建立多路PES视频流和单路PEA音频流，PES视频流和PEA音频流的文件内容排序为：包头信息、时间戳信息、包长信息、h264图像包/PCM音频包，其中，h264图像包来源于H.264格式的视频流的内容，h264图像包为每一帧图像经过H.264编码后得到，PCM音频包来源于PCM音频流的内容。
5.一种如权利要求4所述的基于时间戳的多路音视频流同步解码方法，其特征在于，步骤(c)具体包括以下步骤：
(c1)初始化多路PES视频流和单路PEA音频流同步解码的时间条件；
(c2)对单路PES视频流按时间戳信息进行解码并渲染；
(c3)按照步骤(c2)的处理方式循坏处理完每一路PES视频流，每处理完一次即可渲染得到一组同步的视频流图像；
(c4)对单路PEA音频流按时间戳信息进行解码并播放，以实现该时间点下的音视频同步；
(c5)更新解码渲染的时间点，重复步骤(c1)至步骤(c3)，完成下一组音视频流的刷新。
6.一种如权利要求5所述的基于时间戳的多路音视频流同步解码方法，其特征在于，所述步骤(c1)具体为：初始化解码时间T以及更新渲染时间Δt。
7.一种如权利要求6所述的基于时间戳的多路音视频流同步解码方法，其特征在于，所述步骤(c2)具体为：
首先，读取该路PES视频流的最近一个未解码的h264图像包对应的时间戳信息Tn，将时间戳信息Tn与T进行比较，若Tn<T，则对该h264图像包进行解码；
然后，依次判断每一个未解码的h264图像包，对所有小于T的h264图像包进行解码，并对最接近T的时间点的h264图像包进行图像渲染。
8.一种如权利要求7所述的基于时间戳的多路视频流同步解码方法，其特征在于，所述步骤(c3)具体为：按照步骤(c2)的方式处理每一路PES视频流，渲染出的一组视频流图像的时间点都最接近于T，以实现图像显示的相对同步性。
9.一种如权利要求7所述的基于时间戳的多路音视频流同步解码方法，其特征在于，所述步骤(c4)具体为：
首先，读取该PEA音频流的最近一个未解码的PCM音频包对应的时间戳信息Tn，将时间戳信息Tn与T进行比较，若Tn<T，则对该PCM音频包进行解码；
然后，依次判断每一个未解码的PCM音频包，对所有小于T的PCM音频包进行解码，并对最接近T的时间点的PCM音频包进行音频播放。
10.一种如权利要求6所述的基于时间戳的多路音视频流同步解码方法，其特征在于，所述步骤(c5)具体为：对解码渲染的时间点按照T＝T+Δt进行更新，其中Δt小于全景摄像机的摄像头拍摄图像的时间间隔且大于0。
CN201610158878.7A 2016-03-18 2016-03-18 一种基于时间戳的多路音视频流同步解码方法 Pending CN107205158A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201610158878.7A CN107205158A (zh) 2016-03-18 2016-03-18 一种基于时间戳的多路音视频流同步解码方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201610158878.7A CN107205158A (zh) 2016-03-18 2016-03-18 一种基于时间戳的多路音视频流同步解码方法

Publications (1)

Publication Number Publication Date
CN107205158A true CN107205158A (zh) 2017-09-26

Family

ID=59904490

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201610158878.7A Pending CN107205158A (zh) 2016-03-18 2016-03-18 一种基于时间戳的多路音视频流同步解码方法

Country Status (1)

Country Link
CN (1) CN107205158A (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110166652A (zh) * 2019-05-28 2019-08-23 成都依能科技股份有限公司 多轨道音视频同步编辑方法
CN112468519A (zh) * 2021-01-28 2021-03-09 深圳乐播科技有限公司 电视解码能力检测方法、装置、计算机设备及可读存储介质
CN113395410A (zh) * 2017-12-15 2021-09-14 浙江舜宇智能光学技术有限公司 应用于多目相机的视频同步方法
WO2024082561A1 (zh) * 2022-10-20 2024-04-25 腾讯科技（深圳）有限公司 视频处理方法、装置、计算机、可读存储介质及程序产品

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1933594A (zh) * 2005-09-14 2007-03-21 王世刚 多路音视频数据网络传输与同步播放的方法
CN101146231A (zh) * 2007-07-03 2008-03-19 浙江大学 根据多视角视频流生成全景视频的方法
CN101562706A (zh) * 2009-05-22 2009-10-21 杭州华三通信技术有限公司 一种图像拼接方法和设备
CN104301677A (zh) * 2014-10-16 2015-01-21 北京十方慧通科技有限公司 面向大场景的全景视频监控的方法及装置
CN104378675A (zh) * 2014-12-08 2015-02-25 厦门雅迅网络股份有限公司 一种多通道音视频同步播放处理方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1933594A (zh) * 2005-09-14 2007-03-21 王世刚 多路音视频数据网络传输与同步播放的方法
CN101146231A (zh) * 2007-07-03 2008-03-19 浙江大学 根据多视角视频流生成全景视频的方法
CN101562706A (zh) * 2009-05-22 2009-10-21 杭州华三通信技术有限公司 一种图像拼接方法和设备
CN104301677A (zh) * 2014-10-16 2015-01-21 北京十方慧通科技有限公司 面向大场景的全景视频监控的方法及装置
CN104378675A (zh) * 2014-12-08 2015-02-25 厦门雅迅网络股份有限公司 一种多通道音视频同步播放处理方法

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113395410A (zh) * 2017-12-15 2021-09-14 浙江舜宇智能光学技术有限公司 应用于多目相机的视频同步方法
CN113395410B (zh) * 2017-12-15 2023-04-18 浙江舜宇智能光学技术有限公司 应用于多目相机的视频同步方法
CN110166652A (zh) * 2019-05-28 2019-08-23 成都依能科技股份有限公司 多轨道音视频同步编辑方法
CN112468519A (zh) * 2021-01-28 2021-03-09 深圳乐播科技有限公司 电视解码能力检测方法、装置、计算机设备及可读存储介质
CN112468519B (zh) * 2021-01-28 2021-05-11 深圳乐播科技有限公司 电视解码能力检测方法、装置、计算机设备及可读存储介质
WO2024082561A1 (zh) * 2022-10-20 2024-04-25 腾讯科技（深圳）有限公司 视频处理方法、装置、计算机、可读存储介质及程序产品

Similar Documents

Publication Publication Date Title
ES2413529T3 (es) Aparato para recibir una señal de información digital
JP5979499B2 (ja) 再生装置、再生方法、集積回路、放送システム、及び放送方法
KR101777908B1 (ko) 코딩된 비디오 프레임들의 시퀀스를 처리하는 방법
CN107205158A (zh) 一种基于时间戳的多路音视频流同步解码方法
RU2009134736A (ru) Носитель записи, на который записано трехмерное видео, носитель записи для записи трехмерного видео и устройство воспроизведения и способ воспроизведения трехмерного видео
JP2012507968A (ja) ステレオスコピック画像を同期化する装置及び方法と、これを利用したステレオスコピック画像提供装置及び方法
US10848837B2 (en) Device and method for processing high-definition 360-degree VR image
CN105306837A (zh) 多图像拼接方法及装置
CN106993177A (zh) 一种双目720度全景采集系统
KR20160021706A (ko) 360도 공간영상 재생방법 및 그 시스템
ES2933202T3 (es) Coordenadas como datos auxiliares
CN107864393A (zh) 视频与字幕同步显示的方法及装置
CN106658037A (zh) 一种多视频流的视频直播的方法及装置
US9491447B2 (en) System for providing complex-dimensional content service using complex 2D-3D content file, method for providing said service, and complex-dimensional content file therefor
CN107484004B (zh) 一种视频处理方法及装置
US20200213631A1 (en) Transmission system for multi-channel image, control method therefor, and multi-channel image playback method and apparatus
JP2010278481A (ja) データ処理装置
US9842572B2 (en) Methods and apparatus for displaying video including variable frame rates
JP6355634B2 (ja) データ処理装置、データ処理方法、プログラム、記録媒体及びデータ処理システム
CN110113658A (zh) 一种超高分辨率视频播放方法及系统
WO2020135527A1 (zh) 多媒体数据处理
CN107124618A (zh) 实时全景视频录播方法和系统
KR102599664B1 (ko) 다시점 영상을 전송하기 위한 시스템의 동작 방법 및 이를 수행하는 시스템
CN109275010A (zh) 一种4k全景超融合视频终端适配方法及装置
US10389970B2 (en) Method and device for transmitting and receiving broadcast signal for restoring pulled-down signal

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20170926