CN114598910B - 一种多路异源视频高精度时间同步回放控制方法 - Google Patents

一种多路异源视频高精度时间同步回放控制方法 Download PDF

Info

Publication number
CN114598910B
CN114598910B CN202210169020.6A CN202210169020A CN114598910B CN 114598910 B CN114598910 B CN 114598910B CN 202210169020 A CN202210169020 A CN 202210169020A CN 114598910 B CN114598910 B CN 114598910B
Authority
CN
China
Prior art keywords
video
frame
playback
fpga
signal
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202210169020.6A
Other languages
English (en)
Other versions
CN114598910A (zh
Inventor
李金鹏
田威
张巍
李敏
周高星
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
China Key System and Integrated Circuit Co Ltd
Original Assignee
China Key System and Integrated Circuit Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by China Key System and Integrated Circuit Co Ltd filed Critical China Key System and Integrated Circuit Co Ltd
Priority to CN202210169020.6A priority Critical patent/CN114598910B/zh
Publication of CN114598910A publication Critical patent/CN114598910A/zh
Application granted granted Critical
Publication of CN114598910B publication Critical patent/CN114598910B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/4302—Content synchronisation processes, e.g. decoder synchronisation
    • H04N21/4307—Synchronising the rendering of multiple content streams or additional data on devices, e.g. synchronisation of audio on a mobile phone with the video output on the TV screen
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/432—Content retrieval operation from a local storage medium, e.g. hard-disk
    • H04N21/4325—Content retrieval operation from a local storage medium, e.g. hard-disk by playing back content from the storage medium
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/44004—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving video buffer management, e.g. video decoder buffer or video display buffer
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/472—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content
    • H04N21/47217—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content for controlling playback functions for recorded or on-demand content, e.g. using progress bars, mode or play-point indicators or bookmarks

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Databases & Information Systems (AREA)
  • Human Computer Interaction (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Television Signal Processing For Recording (AREA)

Abstract

本发明公开一种多路异源视频高精度时间同步回放控制方法，属于图像处理领域。FPGA采集外部秒脉冲差分信号，将其下降沿作为多路异源视频同步回放控制信号的同步基准，再以同步基准作为毫秒定时器的触发信号进行信号分频，得到毫秒级回放控制信号；当收到外部“回放开始”指令后，ARM处理器从存储介质中读出视频编码数据，对视频数据解码后进行多帧缓存处理，并对回放视频首帧图像数据进行时间对齐；利用毫秒级回放控制信号作为使能信号，控制解码后的视频图像逐帧输出。本发明能够有效实现多路异源视频高精度时间同步回放。

Description

一种多路异源视频高精度时间同步回放控制方法
技术领域
本发明涉及图像处理技术领域，特别涉及一种多路异源视频高精度时间同步回放控制方法。
背景技术
视频回放控制技术是目前多媒体视频技术领域中的一项关键技术，目前最常用回放控制方法是直接从存储介质中读取已编码的视频流数据进行解码回放，整个回放过程中涉及视频流数据读取、视频解码、视频输出这三个过程。当多路异源视频需要在时间维度上进行同步回放时，一般的视频回放控制技术会存在当前输出的视频帧无法精确对齐(毫秒级)的问题。
发明内容
本发明的目的在于提供一种多路异源视频高精度时间同步回放控制方法，以解决现有的视频回放控制技术中存在输出视频帧无法精确的问题。
为解决上述技术问题，本发明提供了一种多路异源视频高精度时间同步回放控制方法，包括：
FPGA采集外部秒脉冲差分信号，将其下降沿作为多路异源视频同步回放控制信号的同步基准，再以同步基准作为毫秒定时器的触发信号进行信号分频，得到毫秒级回放控制信号；
当收到外部“回放开始”指令后，ARM处理器从存储介质中读出视频编码数据，对视频数据解码后进行多帧缓存处理，并对回放视频首帧图像数据进行时间对齐；
利用毫秒级回放控制信号作为使能信号，控制解码后的视频图像逐帧输出。
可选的，所述秒脉冲差分信号的采集过程中，需要对秒脉冲差分信号的脉宽、脉幅有效性进行判断，并剔除毛刺信号。
可选的，所述毫秒定时器在每个秒脉冲同步基准到达时重新初始化，即周期性生成毫秒计时器。
可选的，所述信号分频是通过FPGA基于其内部定时器实现。
可选的，所述FPGA的内部定时器的精度能达到1ms及以上。
可选的，所述多帧缓存处理包括：缓存10～20帧解码后的图像数据帧，或根据回放帧频倍率以及解码器性能调整缓存图像帧数。
可选的，所述首帧图像数据进行时间对齐包括：解码后的图像数据第一帧图像数据发送给FPGA后，FPGA将该帧图像放入待输出数据空间等待，并不立即输出。
可选的，所述读出视频编码数据、视频数据解码、多帧缓存处理以及首帧图像数据对齐全部过程在1秒内完成。
在本发明提供的多路异源视频高精度时间同步回放控制方法中，采集外部秒脉冲差分信号、分频；视频数据读出、解码、缓冲处理，首帧图像对齐；毫秒级逐帧回放控制视频输出。当系统内所有视频回放设备均按照上述步骤进行视频回放控制时，即可有效实现多路异源视频高精度时间同步回放。
附图说明
图1是本发明的方法适用的硬件架构示意图；
图2是本发明提供的多路异源视频高精度时间同步回放控制方法流程示意图。
具体实施方式
以下结合附图和具体实施例对本发明提出的一种多路异源视频高精度时间同步回放控制方法作进一步详细说明。根据下面说明和权利要求书，本发明的优点和特征将更清楚。需说明的是，附图均采用非常简化的形式且均使用非精准的比例，仅用以方便、明晰地辅助说明本发明实施例的目的。
本发明提供了一种多路异源视频高精度时间同步回放控制方法，适用于如图1所示的硬件架构，所述硬件架构包括FPGA、ARM处理器、存储介质、视频显示设备；该方法的流程如图2所示，包括如下步骤：
步骤S11、采集外部秒脉冲差分信号、分频；
步骤S12、视频数据读出、解码、缓冲处理，首帧图像对齐；
步骤S13、毫秒级逐帧回放控制视频输出。
通过FPGA采集外部设备发送的秒脉冲差分信号，FPGA内部使用该秒脉冲差分信号的下降沿作为同步基准，需要注意对秒脉冲差分信号的脉宽、脉幅有效性进行判断，剔除毛刺信号。
FPGA内部利用上述秒脉冲同步基准作为毫秒定时器触发信号，分频得到精度为1ms的周期信号。需要注意的是，毫秒定时器在每个秒脉冲同步基准到达时重新初始化，即周期性生成毫秒计时器，此方式可有效避免FPGA内部定时器因外部晶振漂移引起的毫秒信号累计误差。FPGA内部利用1ms的周期信号生成周期为10ms的回放控制信号，也可以生成任意指定的周期，如11ms，根据实际回放帧频倍率调整。
当ARM处理器收到外部系统发送的“回放开始”控制指令后，在第1个秒脉冲到达时，先从存储介质中读取经过编码的视频数据流进行视频解码，再连续缓存10～20帧解码后的图像数据帧(可根据回放帧频倍率以及解码器性能调整缓存图像帧数)，并将缓存的第一帧图像数据发送给FPGA，FPGA将该帧图像放入待输出数据空间，等待输出，实现首帧图像对齐。上述过程控制在1秒内完成。
当ARM处理器收到外部系统发送的“回放开始”控制指令后的第2个秒脉冲到达时，FPGA开始周期性向ARM处理器发送10ms回放控制信号，ARM处理器每收到一个回放控制信号，就向FPGA发送一帧缓存区中解码后的视频图像，FPGA同步将待输出数据空间中的图像数据向外部系统发送，最终实现毫秒级逐帧回放控制视频输出。
上述描述仅是对本发明较佳实施例的描述，并非对本发明范围的任何限定，本发明领域的普通技术人员根据上述揭示内容做的任何变更、修饰，均属于权利要求书的保护范围。

Claims (1)

1.一种多路异源视频高精度时间同步回放控制方法，其特征在于，包括：
FPGA采集外部秒脉冲差分信号，将其下降沿作为多路异源视频同步回放控制信号的同步基准，再以同步基准作为毫秒定时器的触发信号进行信号分频，得到毫秒级回放控制信号；
当收到外部“回放开始”指令后，ARM处理器从存储介质中读出视频编码数据，对视频数据解码后进行多帧缓存处理，并对回放视频首帧图像数据进行时间对齐；
利用毫秒级回放控制信号作为使能信号，控制解码后的视频图像逐帧输出；
所述秒脉冲差分信号的采集过程中，需要对秒脉冲差分信号的脉宽、脉幅有效性进行判断，并剔除毛刺信号；
所述毫秒定时器在每个秒脉冲同步基准到达时重新初始化，即周期性生成毫秒计时器；
所述信号分频是通过FPGA基于其内部定时器实现；
所述FPGA的内部定时器的精度能达到1ms及以上；
所述多帧缓存处理包括：缓存10～20帧解码后的图像数据帧，或根据回放帧频倍率以及解码器性能调整缓存图像帧数；
所述首帧图像数据进行时间对齐包括：解码后的图像数据第一帧图像数据发送给FPGA后，FPGA将该帧图像放入待输出数据空间等待，并不立即输出；
所述读出视频编码数据、视频数据解码、多帧缓存处理以及首帧图像数据对齐全部过程在1秒内完成；
当ARM处理器收到外部系统发送的“回放开始”控制指令后，在第1个秒脉冲到达时，先从存储介质中读取经过编码的视频数据流进行视频解码，再连续缓存10～20帧解码后的图像数据帧，并将缓存的第一帧图像数据发送给FPGA，FPGA将该帧图像放入待输出数据空间，等待输出，实现首帧图像对齐；上述过程控制在1秒内完成；
当ARM处理器收到外部系统发送的“回放开始”控制指令后的第2个秒脉冲到达时，FPGA开始周期性向ARM处理器发送10ms回放控制信号，ARM处理器每收到一个回放控制信号，就向FPGA发送一帧缓存区中解码后的视频图像，FPGA同步将待输出数据空间中的图像数据向外部系统发送，最终实现毫秒级逐帧回放控制视频输出。
CN202210169020.6A 2022-02-23 2022-02-23 一种多路异源视频高精度时间同步回放控制方法 Active CN114598910B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210169020.6A CN114598910B (zh) 2022-02-23 2022-02-23 一种多路异源视频高精度时间同步回放控制方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210169020.6A CN114598910B (zh) 2022-02-23 2022-02-23 一种多路异源视频高精度时间同步回放控制方法

Publications (2)

Publication Number Publication Date
CN114598910A CN114598910A (zh) 2022-06-07
CN114598910B true CN114598910B (zh) 2024-01-19

Family

ID=81806994

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210169020.6A Active CN114598910B (zh) 2022-02-23 2022-02-23 一种多路异源视频高精度时间同步回放控制方法

Country Status (1)

Country Link
CN (1) CN114598910B (zh)

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1543193A (zh) * 2003-03-31 2004-11-03 索尼英国有限公司 视频同步
CN104270567A (zh) * 2014-09-11 2015-01-07 深圳市南航电子工业有限公司 高精度同步的多路图像采集系统及其时间同步方法
CN104410807A (zh) * 2014-11-24 2015-03-11 深圳市华宝电子科技有限公司 一种多路视频同步回放方法及装置
CN107211078A (zh) * 2015-01-23 2017-09-26 瑞典爱立信有限公司 基于vlc的视频帧同步
CN107277595A (zh) * 2017-07-28 2017-10-20 京东方科技集团股份有限公司 一种多路视频同步方法及装置
CN107846607A (zh) * 2017-09-30 2018-03-27 成都飞机工业（集团）有限责任公司 一种多流数据同步存储和回放方法
CN110581973A (zh) * 2019-09-30 2019-12-17 普联技术有限公司 数据回放方法、装置、终端设备及存储介质

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5269063B2 (ja) * 2010-12-27 2013-08-21 株式会社東芝 ビデオサーバ及びシームレス再生方法
US9055275B2 (en) * 2011-05-11 2015-06-09 Mitsubishi Electric Corporation Image information playback unit, image information playback device and synchronization control method
JP2017005611A (ja) * 2015-06-15 2017-01-05 富士通株式会社 動画像復号装置及び動画像復号方法
US10536741B1 (en) * 2018-10-19 2020-01-14 Philo, Inc. Synchronizing internet (“over the top”) video streams for simultaneous feedback

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1543193A (zh) * 2003-03-31 2004-11-03 索尼英国有限公司 视频同步
CN104270567A (zh) * 2014-09-11 2015-01-07 深圳市南航电子工业有限公司 高精度同步的多路图像采集系统及其时间同步方法
CN104410807A (zh) * 2014-11-24 2015-03-11 深圳市华宝电子科技有限公司 一种多路视频同步回放方法及装置
CN107211078A (zh) * 2015-01-23 2017-09-26 瑞典爱立信有限公司 基于vlc的视频帧同步
CN107277595A (zh) * 2017-07-28 2017-10-20 京东方科技集团股份有限公司 一种多路视频同步方法及装置
CN107846607A (zh) * 2017-09-30 2018-03-27 成都飞机工业（集团）有限责任公司 一种多流数据同步存储和回放方法
CN110581973A (zh) * 2019-09-30 2019-12-17 普联技术有限公司 数据回放方法、装置、终端设备及存储介质

Also Published As

Publication number Publication date
CN114598910A (zh) 2022-06-07

Similar Documents

Publication Publication Date Title
CN101419827B (zh) 在音频视频交叉文件中进行音频与视频数据同步的方法
KR100902013B1 (ko) 타일드 디스플레이 시스템 및 상기 시스템에서의 동기화방법
CN111668800B (zh) 基于无线通信和绝对时刻的线路差动保护同步方法和系统
CN111208727B (zh) 一种高精度卫星秒脉冲同步守时装置及方法
MY142393A (en) Method for synchronizing exporter and exciter clocks
CN110581973B (zh) 数据回放方法、装置、终端设备及存储介质
CN103493424A (zh) 对从数据流中重新产生的时钟信号的调整
CN101106724A (zh) 将视频数据及音频数据同步的方法及系统
CN109788214B (zh) 一种基于fpga的多路视频无缝切换系统和方法
CN114598910B (zh) 一种多路异源视频高精度时间同步回放控制方法
CN113382300B (zh) 一种音视频播放方法和装置
CN101076120B (zh) 维持音频/视频同步的健壮系统
JP2002335210A (ja) ドップラ偏移により生じたエラーを補正する方法及びその装置
CN113960413A (zh) 故障指示器中汇集单元和采集单元的时间同步方法
CN101290790A (zh) 一种音视频同步播放的方法和装置
US7218841B2 (en) Method and apparatus for synchronously reproducing audio and video data
US5771009A (en) Method and apparatus for transmitting and receiving data
CN103179449A (zh) 媒体文件的播放方法、电子设备和虚拟机架构
CN115665493A (zh) 支持录播的大屏拼接装置、拼接器、播放控制方法及系统
CN105187688A (zh) 一种对手机采集的实时视频和音频进行同步的方法及系统
KR100332783B1 (ko) 기록매체의 엠펙 비트 스트림 디스플레이 시점 조절장치및 방법
CN112558685A (zh) 一种配电终端模块间对时同步的方法
JP2959505B2 (ja) データ送出回路
CN114255788B (zh) 一种异步采样的转换方法及其转换装置
CA2173773C (en) Method and apparatus for regenerating the symbol clock of a cellular telephone following a sleep cycle

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant