CN104363508B - 一种防止视频回退的图像拼接方法及装置 - Google Patents

一种防止视频回退的图像拼接方法及装置 Download PDF

Info

Publication number
CN104363508B
CN104363508B CN201410676260.0A CN201410676260A CN104363508B CN 104363508 B CN104363508 B CN 104363508B CN 201410676260 A CN201410676260 A CN 201410676260A CN 104363508 B CN104363508 B CN 104363508B
Authority
CN
China
Prior art keywords
video
frame
sub
frame per
benchmark
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201410676260.0A
Other languages
English (en)
Other versions
CN104363508A (zh
Inventor
羊海龙
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhejiang Uniview Technologies Co Ltd
Original Assignee
Zhejiang Uniview Technologies Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhejiang Uniview Technologies Co Ltd filed Critical Zhejiang Uniview Technologies Co Ltd
Priority to CN201410676260.0A priority Critical patent/CN104363508B/zh
Publication of CN104363508A publication Critical patent/CN104363508A/zh
Application granted granted Critical
Publication of CN104363508B publication Critical patent/CN104363508B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/433—Content storage operation, e.g. storage operation in response to a pause request, caching operations
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/4302—Content synchronisation processes, e.g. decoder synchronisation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/431—Generation of visual interfaces for content selection or interaction; Content or additional data rendering

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Controls And Circuits For Display Device (AREA)

Abstract

一种防止视频回退的图像拼接方法及装置,该方法包括：步骤A，将各子视频源输入的视频帧同步到一个基准帧率；步骤B，将同步后的各个子视频源的视频帧通过写拼操作生成视频图像，并进行存储；步骤C，将存储的视频图像输出到拼接显示屏上显示。本发明方案消除了现有写拼方式的多画面图像拼接的视频回退问题，用户视觉体验更好。

Description

一种防止视频回退的图像拼接方法及装置
技术领域
本发明主要涉及视频图像的拼接技术，特别是视频图像拼接过程中防止视频回退的方法和装置。
背景技术
现有的多画面拼接方法主要有读拼接和写拼接两种方式。
读拼接如图1所示，参与多画面拼接的每个子视频的存储空间是独立的，写入的时候，每个子视频独立写入；而在读出的时候，需要在不同的地址各自取几个突发构成一个完成的行。因此，读拼接逻辑写入容易，但是读出复杂，各个子画面都需要跳转地址，需要为每种多画面提供一种地址跳转策略，逻辑处理困难。
写拼接如图2所示，多画面的不同子画面“受控”的写入到内存中，写完之后，在物理内存中就是连续存储好的视频图片，这样在视频发送的时候可以直接读出去，不会存在分开读的问题。写拼接的时候，逻辑写入的时候，由于本身就是一个小突发的方式，所以在控制写入时不会浪费带宽，同时管理稍微容易一些，而且在读出时，可以连续读出，这样读出去的带宽可以很高。
可是写拼接的方式也存在一些问题。例如，当某路子视频源的视频帧输入太慢，这路慢的子视频比其他路子视频慢了一帧的时候，它就会跳一帧(指跳过某个内存空间)，以便追赶其他视频(跳到与其他视频正在操作的内存空间)，这样就会有一帧的内存(被跳过的内存)被漏写，而漏写的内存中保留的是历史画面(在物理上存储空间是循环利用的，在上一轮循环中已经保留了历史画面，例如t0帧)，这样当视频连续播出的时候就出现了视频“回退”现象。下面以图3为例来具体说明一下视频回退产生的原因。图3是一个四画面的示意图，px_ty表示在x子画面上的第y帧图像，图中前面4帧多画面都是正常的，当第t4帧来临的时候，P1位置的帧迟迟未到(即丢失)，那么当其他用户的t5都来临的时候，P1位置来的图像只能放在下一个多画面里面了，而第t4帧P1位置存储的是由于存储空间的空间循环未赶上的t0帧画面。由于t0帧与t4帧间隔较长画面变化较大，会使用户在视觉上产生退回的感觉，用户体验差。
有关存储空间的空间循环具体含义，通过图4的一个实例进行解释。图4中将存储空间划分成4个物理空间，每个物理空间可存放1帧图像，这样，当图像连续输入的时候，每4帧利用一次物理空间，形成：第1次循环时，空间1存放第1帧；第2次循环时，空间1存放第5帧，依次类推。正像前文所述，当需要拼接时，某路视频会出现某次循环存储空间漏写的情况。
发明内容
本发明提供一种防止视频回退的图像拼接方法及装置，用于防止多画面图像拼接过程中的视频回退现象，用户体验效果好。
该防止视频回退的图像拼接方法，包括：
步骤A，将各子视频源输入的视频帧同步到一个基准帧率；
步骤B，将同步后的各个子视频源的视频帧通过写拼操作生成视频图像，并进行存储；
步骤C，将存储的视频图像输出到拼接显示屏上显示。
优选地，所述将各子视频源输入的视频帧同步到一个基准帧率的方法，具体包括：
当基准帧率的帧触发时刻落在子视频源的视频帧的传输区间内，则复制对应的视频帧。
优选地，所述基准帧率与视频图像输出显示帧率由同一时钟控制。
优选地，所述基准帧率与视频图像输出显示帧率相同。
优选地，各子视频源输入的视频帧同步到一个基准帧率时，各子视频源输入的视频帧独立存储在DDR缓存上。
利用上述方法的一种防止视频回退的图像拼接装置，包括拼接显示屏，还包括视频帧同步模块、写拼操作模块和图像输出模块；
视频帧同步模块，用于将各子视频源输入的视频帧同步到一个基准帧率；
写拼操作模块，用于对同步后的视频帧进行写拼操作生成视频图像，并进行存储；
图像输出模块，用于将存储的视频图像输出到拼接显示屏上显示。
优选地，所述的视频帧同步模块包括有：
帧率判断模块，用于判断基准帧率的帧触发时刻是否落在子视频源的视频帧的传输区间内；
帧率同步操作模块，当基准帧率的帧触发时刻落在子视频源的视频帧的传输区间内时，复制对应的视频帧。
优选地，所述基准帧率与视频图像输出显示帧率由同一时钟控制。
优选地，所述基准帧率与视频图像输出显示帧率相同。
优选地，各子视频源输入的视频帧同步到一个基准帧率时，各子视频源输入的视频帧独立存储在DDR缓存上。
本发明首先将不同帧率的子视频源同步到一个基准帧率，然后通过写拼操作输出相同帧率的视频帧到拼接显示屏上，不仅可以利用现有写拼的优势，而且有效的避免了写拼时出现的视频回退问题，增强了用户体验。
附图说明
图1为现有读拼接逻辑连接图；
图2为现有写拼接逻辑连接图；
图3为写拼回退现象产生示意图；
图4为空间循环利用原理示意图；
图5为本发明的一实施例示意图；
图6为图5实施例中将子视频源同步到基准帧率的原理示意图。
具体实施方式
用于图像拼接的各子视频源都有一个独立的时钟晶振，输出脉冲信号用于触发子视频源输出视频帧。但是由于晶振的个体差异，使得各子视频源输入视频帧的帧率会存在误差，这种误差在视频帧传输的过程中会不断累计。当误差累计达到一定值时，会出现有一个子视频源输入的视频帧跟不上其他的子视频源的视频帧，导致各子视频源输入的视频帧帧率不一致，从而出现背景技术中提到的视频回退的现象。为解决这种视频回退问题，本发明提供了一种防止视频回退的图像拼接方法，将各子视频源的输入视频帧同步到一个基准帧率，从而消除帧率回退的问题，方法简单而实用。
该方法具体包括：
步骤A，将各子视频源输入的视频帧同步到一个基准帧率；
具体包括，在将各子视频源输入的视频帧同步到一个基本帧率时，需要将各子视频源输入的视频帧独立存储在存储空间中。因此需要考虑如何合理地划分存储空间。在将存储空间划分为多个物理空间时需要考虑子视频源的视频帧输入图像的格式、存储所需的容量以及一次更新所能存储的帧数。由于要将各子视频源输入的视频帧同步到相同的帧率，因此可以考虑每个物理空间的容量为相同时间内所存储的图像帧数，例如一秒时间内，那么在下一秒到来时会将更新每个物理空间内存储的图像。当然也可采用其他方式，例如规定一次更新存储相同的帧数。另外，图像格式大小不同所需要的存储容量也会不同，因此也是需要考虑的。由于属于现有技术，在此不再赘述。
有关如何将各子视频源输入的视频帧同步到一个基准帧率。该方法是在基准帧率的帧触发时刻落在子视频源的视频帧的传输区间内时，复制对应的视频帧。该方法将不同帧率的视频帧同步到一个基准帧率。将各子视频源输入的视频帧同步到一个基准帧率以后，用户视觉上最多只会感受到有一些卡顿，而不会产生视频回退的感觉，用户视觉体验上要好很多。
作为一种优选的实施方式，所述基准帧率与视频图像输出显示帧率由同一时钟控制，因为由同一时钟控制减少了视频输出的卡顿感，用户视觉体验更好。当然基准帧率可以与视频图像输出显示帧率相同，也可以不同。
同步到同一个基准帧率的各子视频源的的视频帧独立存储在DDR缓存上。
步骤B，将同步后的各个子视频源的视频帧通过写拼操作生成视频图像，并进行存储。步骤B充分利用现有写拼接的优势，生成并存储的直接是拼接好的视频图像，方便了视频图像的读出。
步骤C，拼接显示屏将视频图像的各子图像输出到拼接显示屏对应的子显示屏上显示。
图5为应用本发明的一个实施例示意图，下面结合图5，对本发明作进一步地详细解释。图5示出包括了四个子视频源1-4，四个子视频源输入的视频帧的帧率不同。从图中可以看出，子视频源1和子视频源4输入视频帧的帧率基本是一致的。子视频源2输入视频帧以及子视频源3输入视频帧的帧率明显与子视频源1和子视频源4的帧率不同。为了让四个子视频源输入的视频帧能够同步存储到存储空间上，可以设置了一个基准帧率。下面结合图5和图6具体说明如何将视频源2和视频源3同步到基准帧率。从图6中可以看出子视频源2输入的视频帧的帧率要快于基准帧率，因此在触发基准帧率的第3帧时刻，已经落入子视频源2第4帧的传输区间，因此在基准帧率时需要跳过第3帧，直接存储第4帧。而在子视频源3输入的视频帧的帧率明显慢于基准帧率，因此当触发基准帧率的第2帧时刻，子视频源3仍然还在第1帧的传输区间内，因此在基准帧率时复制子视频源2的第1帧，而触发基准帧率的第3帧时，子视频源3还落在第2帧的传输区间内，因此在基准帧率时复制子视频源3的第2帧。可以看出通过复制或跳过帧的操作，将子视频源1-4的视频帧同步到了一个基准帧率。然后将同步后的视频帧通过写拼操作生成视频图像并进行存储。图5中写拼操作后存储的第1帧为子视频源1-4各自的第1帧组合，第2帧为子视频源1-4各自对应的第2帧、第2帧、第1帧和第2帧组合，第3帧为子视频源1-4各自对应的第3帧、第4帧、第2帧和第3帧的组合，以次类推。最后由各视频通道输出到拼接显示屏对应的子显示屏上显示。在本实施例中所述的基准帧率与视频通道输出的视频图像的显示帧率由同一个时钟控制，并且基准帧率等于视频图像的显示帧率。
基于同样的构思，本发明还提供了一种防止视频回退的图像拼接装置。该装置包括由多个子显示屏组成的拼接显示屏。还包括视频帧同步模块、写拼操作模块和图像输出模块；
视频帧同步模块，用于将各子视频源输入的视频帧同步到一个基准帧率；
写拼操作模块，用于对同步后的视频帧进行写拼操作生成视频图像，并进行存储；
图像输出模块，用于将存储的视频图像输出到拼接显示屏上显示。
所述的视频帧同步模块包括有：
帧率判断模块，用于判断基准帧率的帧触发时刻是否落在子视频源的视频帧的传输区间内；帧率同步操作模块，当基准帧率的帧触发时刻落在子视频源的视频帧的传输区间内时，复制对应的视频帧。
以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明保护的范围之内。

Claims (8)

1.一种防止视频回退的图像拼接方法，其特征在于，该方法包括：
步骤A，将各子视频源输入的视频帧同步到一个基准帧率；
步骤B，将同步后的各个子视频源的视频帧通过写拼操作生成视频图像，并进行存储；
步骤C，将存储的视频图像输出到拼接显示屏上显示；
其中，所述将各子视频源输入的视频帧同步到一个基准帧率的方法，具体包括：
当基准帧率的帧触发时刻落在子视频源的视频帧的传输区间内，且子视频源输入的视频帧的帧率快于基准帧率时，则跳过对应的视频帧；
当基准帧率的帧触发时刻落在子视频源的视频帧的传输区间内，且子视频源输入的视频帧的帧率慢于基准帧率时，则复制对应的视频帧。
2.根据权利要求1所述的图像拼接方法，其特征在于，所述基准帧率与视频图像输出显示帧率由同一时钟控制。
3.根据权利要求2所述的图像拼接方法，其特征在于，所述基准帧率与视频图像输出显示帧率相同。
4.根据权利要求1所述的图像拼接方法，其特征在于，各子视频源输入的视频帧同步到一个基准帧率时，各子视频源输入的视频帧独立存储在DDR缓存上。
5.一种防止视频回退的图像拼接装置，包括拼接显示屏，其特征在于，还包括视频帧同步模块、写拼操作模块和图像输出模块；
视频帧同步模块，用于将各子视频源输入的视频帧同步到一个基准帧率；
写拼操作模块，用于对同步后的视频帧进行写拼操作生成视频图像，并进行存储；
图像输出模块，用于将存储的视频图像输出到拼接显示屏上显示；
所述的视频帧同步模块包括有：
帧率判断模块，用于判断基准帧率的帧触发时刻是否落在子视频源的视频帧的传输区间内，且比较子视频源输入的视频帧的帧率与基准帧率的快慢；帧率同步操作模块，用于当基准帧率的帧触发时刻落在子视频源的视频帧的传输区间内，且子视频源输入的视频帧的帧率快于基准帧率时，跳过对应的视频帧；当基准帧率的帧触发时刻落在子视频源的视频帧的传输区间内，且子视频源输入的视频帧的帧率慢于基准帧率时，复制对应的视频帧。
6.根据权利要求5所述的图像拼接装置，其特征在于，所述基准帧率与视频图像输出显示帧率由同一时钟控制。
7.根据权利要求6所述的图像拼接装置，其特征在于，所述基准帧率与视频图像输出显示帧率相同。
8.根据权利要求5所述的图像拼接装置，其特征在于，各子视频源输入的视频帧同步到一个基准帧率时，各子视频源输入的视频帧独立存储在DDR缓存上。
CN201410676260.0A 2014-11-21 2014-11-21 一种防止视频回退的图像拼接方法及装置 Active CN104363508B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201410676260.0A CN104363508B (zh) 2014-11-21 2014-11-21 一种防止视频回退的图像拼接方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201410676260.0A CN104363508B (zh) 2014-11-21 2014-11-21 一种防止视频回退的图像拼接方法及装置

Publications (2)

Publication Number Publication Date
CN104363508A CN104363508A (zh) 2015-02-18
CN104363508B true CN104363508B (zh) 2018-03-23

Family

ID=52530724

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201410676260.0A Active CN104363508B (zh) 2014-11-21 2014-11-21 一种防止视频回退的图像拼接方法及装置

Country Status (1)

Country Link
CN (1) CN104363508B (zh)

Families Citing this family (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105407252A (zh) * 2015-11-19 2016-03-16 青岛海信电器股份有限公司 一种画面同步显示的方法及装置
CN105578089A (zh) * 2015-12-30 2016-05-11 深圳市海云天科技股份有限公司 一种视频快速浏览的方法及系统
CN105872697A (zh) * 2016-03-30 2016-08-17 乐视控股（北京）有限公司 云导播台及其基于音视频同步的续播方法
CN106791488B (zh) * 2016-12-28 2021-01-29 浙江宇视科技有限公司 一种同步拼接显示方法及装置
CN110213635B (zh) * 2018-04-08 2021-11-30 腾讯科技（深圳）有限公司 视频混流方法、视频混流装置及存储介质
CN108769786B (zh) * 2018-05-25 2020-12-29 网宿科技股份有限公司 一种合成音视频数据流的方法和装置
CN109996013B (zh) * 2019-05-31 2019-08-16 南京巨鲨显示科技有限公司 一种低延时视频拼接方法、装置和系统
CN112422888B (zh) * 2019-08-23 2022-07-19 浙江宇视科技有限公司 视频拼接方法、装置、电子设备及计算机可读存储介质
CN112529823B (zh) * 2019-09-19 2023-08-25 杭州海康威视数字技术股份有限公司 一种图像处理方法、装置及设备
CN110611784B (zh) * 2019-10-17 2021-07-23 江苏省水利科学研究院 一种可防篡改的多摄像头记录仪的拍摄存储方法
CN110855908B (zh) * 2019-11-18 2022-09-27 中移（杭州）信息技术有限公司 多方视频混屏方法、装置、网络设备及存储介质
CN111193953B (zh) * 2020-01-14 2022-04-15 井冈山电器有限公司 一种多个拼接显示屏视频同步的显示系统及其方法
CN111757180B (zh) * 2020-07-13 2022-10-04 杭州海康威视数字技术股份有限公司 视频显示控制设备、视频显示系统、视频显示方法及装置
CN112019880B (zh) * 2020-10-30 2021-02-12 南斗六星系统集成有限公司 一种任意帧率视频文件拼接方法

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101286314A (zh) * 2008-05-26 2008-10-15 杭州华三通信技术有限公司 一种多画面拼接方法和装置
CN101577822A (zh) * 2009-06-15 2009-11-11 杭州华三通信技术有限公司 一种视频拼接中的图像补偿方法和装置
CN103024363A (zh) * 2013-01-10 2013-04-03 深圳市长江力伟股份有限公司 一种多路视频拼接方法、系统及电子装置

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4586389B2 (ja) * 2004-03-22 2010-11-24 セイコーエプソン株式会社 マルチ画面映像再生装置およびマルチ画面映像再生装置における映像再生方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101286314A (zh) * 2008-05-26 2008-10-15 杭州华三通信技术有限公司 一种多画面拼接方法和装置
CN101577822A (zh) * 2009-06-15 2009-11-11 杭州华三通信技术有限公司 一种视频拼接中的图像补偿方法和装置
CN103024363A (zh) * 2013-01-10 2013-04-03 深圳市长江力伟股份有限公司 一种多路视频拼接方法、系统及电子装置

Also Published As

Publication number Publication date
CN104363508A (zh) 2015-02-18

Similar Documents

Publication Publication Date Title
CN104363508B (zh) 一种防止视频回退的图像拼接方法及装置
CN105739934B (zh) 多屏拼接显示处理方法和设备
CN103390397B (zh) 一种基于Android系统的双屏显示装置及显示方法
CN106791488B (zh) 一种同步拼接显示方法及装置
CN101601084B (zh) 图像显示装置以及图像显示方法
CN103021378A (zh) 一种多屏拼接显示装置和方法
CN106980625A (zh) 一种数据同步方法、装置及系统
CN107797780A (zh) 拼接屏幕的数据显示、控制方法及装置、系统、显示设备
CN104268113B (zh) Dpi接口的lcd控制器以及其自适应带宽的方法
CN103024363B (zh) 一种多路视频拼接方法、系统及电子装置
CN102207870B (zh) 多语言版本的软件界面自适应方法及系统
CN104641412A (zh) 用于选择性显示刷新的方法和设备
CN105898507A (zh) 一种视频信号同步方法及装置
CN103151025A (zh) 自刷新显示系统中的帧缓冲器管理和自刷新控制
CN106648508B (zh) 一种图像绘制方法和装置
CN106293578B (zh) 显卡、图像显示装置、图像显示方法和系统
CN105049758B (zh) 拼接墙的字符叠加处理系统及方法
CN101631213B (zh) 视频逐行字符/图形叠加方法与装置
CN102842142A (zh) 文档中动态图片的显示方法及装置
CN104375792B (zh) 一种图层变更同步的方法
CN104133596B (zh) 电子屏信息的显示方法及装置
CN104714772A (zh) 图像数据制作装置及可编程显示器
CN107197182A (zh) 一种在电视上显示屏幕菜单的方法、装置及电视
CN105679213A (zh) 一种单一显示屏分屏显示播放的方法及播放机
WO2018216198A1 (ja) マルチ画面表示システム、画像表示装置、画像表示方法、および画像表示プログラム

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant