CN104660916B - 屏幕拼接系统和视频数据流的处理方法 - Google Patents

屏幕拼接系统和视频数据流的处理方法 Download PDF

Info

Publication number
CN104660916B
CN104660916B CN201310578376.6A CN201310578376A CN104660916B CN 104660916 B CN104660916 B CN 104660916B CN 201310578376 A CN201310578376 A CN 201310578376A CN 104660916 B CN104660916 B CN 104660916B
Authority
CN
China
Prior art keywords
aobvious
video
freely
subsystem
image frame
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201310578376.6A
Other languages
English (en)
Other versions
CN104660916A (zh
Inventor
胡春波
乐振晓
沈林杰
黄崇基
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hangzhou Hikvision Digital Technology Co Ltd
Original Assignee
Hangzhou Hikvision Digital Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hangzhou Hikvision Digital Technology Co Ltd filed Critical Hangzhou Hikvision Digital Technology Co Ltd
Priority to CN201310578376.6A priority Critical patent/CN104660916B/zh
Priority to PCT/CN2014/089348 priority patent/WO2015070694A1/zh
Priority to US15/037,280 priority patent/US9645784B2/en
Publication of CN104660916A publication Critical patent/CN104660916A/zh
Application granted granted Critical
Publication of CN104660916B publication Critical patent/CN104660916B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • G06F3/1423—Digital output to display device ; Cooperation and interconnection of the display device with other functional units controlling a plurality of local displays, e.g. CRT and flat panel display
    • G06F3/1446—Digital output to display device ; Cooperation and interconnection of the display device with other functional units controlling a plurality of local displays, e.g. CRT and flat panel display display composed of modules, e.g. video walls
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/431—Generation of visual interfaces for content selection or interaction; Content or additional data rendering
    • H04N21/4312—Generation of visual interfaces for content selection or interaction; Content or additional data rendering involving specific graphical features, e.g. screen layout, special fonts or colors, blinking icons, highlights or animations
    • H04N21/4316—Generation of visual interfaces for content selection or interaction; Content or additional data rendering involving specific graphical features, e.g. screen layout, special fonts or colors, blinking icons, highlights or animations for displaying supplemental content in a region of the screen, e.g. an advertisement in a separate window
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/2624—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects for obtaining an image which is composed of whole input images, e.g. splitscreen
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/268—Signal distribution or switching
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/01—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level
    • H04N7/0127—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level by changing the field or frame frequency of the incoming video signal, e.g. frame rate converter
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/14—Picture signal circuitry for video frequency region
    • H04N5/144—Movement detection
    • H04N5/145—Movement estimation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/14—Picture signal circuitry for video frequency region
    • H04N5/21—Circuitry for suppressing or minimising disturbance, e.g. moiré or halo

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Business, Economics & Management (AREA)
  • Marketing (AREA)
  • Controls And Circuits For Display Device (AREA)

Abstract

本发明公开了一种屏幕拼接系统和视频数据流的处理方法，在上述系统中，视频采集子系统，用于采集原始视频数据流，并在开启畅显图像处理模式后将采集到的原始视频数据流输出至畅显子系统；畅显子系统，与视频采集子系统相连接，用于接收来自于视频采集子系统的原始视频数据流，依次对原始视频数据流进行畅显图像处理和屏幕切割处理，并将切割后的视频数据流发送至屏幕拼接子系统；屏幕拼接子系统，与畅显子系统相连接，用于对切割后的视频数据流进行拼接处理，并发送至拼接显示墙。根据本发明提供的技术方案，提高了屏幕拼接的显示流畅性，显著改善了屏幕拼接系统的整体显示效果。

Description

屏幕拼接系统和视频数据流的处理方法
技术领域
本发明涉及视频显示领域，具体而言，涉及一种屏幕拼接系统和视频数据流的处理方法。
背景技术
目前，相关技术中所采用的典型的屏幕拼接系统（采用多个显示屏拼接的显示方式，实现单屏的显示功能）能够支持模拟视频信号、数字视频信号、网络压缩码流等屏幕拼接和漫游显示。图1是根据相关技术的屏幕拼接系统的实现原理示意图。如图1所示，屏幕拼接系统可以包括：视频采集子系统（具体可以分为编码子系统和解码子系统）以及屏幕拼接子系统。各个子系统相互之间可以通过高速外部设备互联总线（PCI Express，简称为PCIe）进行视频数据交互，通过主控子系统进行命令参数交互。
下面将分别对屏幕拼接系统中的各个子系统的功能加以介绍。
（1）视频采集子系统：主要用于实现视频采集，屏幕切割和视频传输等功能，其典型的视频源可以包括：模拟视频信号、光纤/数字串行接口（SDI）/数字视频接口（DVI）/高清晰度多媒体接口（HDMI）等数字视频信号和网络压缩码流。
（2）屏幕拼接子系统：主要用于接收视频采集子系统发送的视频数据，根据屏幕拼接相关控制参数对接收到的视频图像进行相应的视频处理，然后通过视频输出接口输出至拼接显示墙加以显示。
由此可见，屏幕拼接系统注重视频图像的显示效果，其主要关注视频清晰度、视频流畅性以及各个子屏相互之间的同步性。然而，由于相关技术中所采用的屏幕拼接系统的视频流畅性完全依赖于视频源帧率，而时下主流的模拟摄像机、网络摄像机、数字硬盘录像机（Digital Video Recorder，简称为DVR，它是一套进行图像存储处理的计算机系统，具有对图像/语音进行长时间录像、录音、远程监视和控制的功能）等视频帧率均低于显示刷新帧率（典型网络摄像机（IP Camera，简称为IPC，是一种可产生数字视频流，并将视频流通过有线或无线网络进行传输的摄像机）的帧率为25HZ/30HZ，典型的显示刷新帧率为50HZ/60HZ），从而导致主流视频源在目前所使用的屏幕拼接系统上的拼接显示流畅性并未取得理想效果，甚至会出现图像抖动和模糊的现象，用户观看体验不够舒适。
发明内容
本发明提供了一种屏幕拼接系统和视频数据流的处理方法，以至少解决相关技术中所采用的屏幕拼接系统的拼接显示流畅性较差，甚至会出现图像抖动和模糊的现象，用户观看体验不够舒适的问题。
根据本发明的一个方面，提供了一种屏幕拼接系统。
根据本发明的屏幕拼接系统包括：视频采集子系统，用于采集原始视频数据流，并在开启畅显图像处理模式后将采集到的原始视频数据流输出至畅显子系统；畅显子系统，与视频采集子系统相连接，用于接收来自于视频采集子系统的原始视频数据流，依次对原始视频数据流进行畅显图像处理和屏幕切割处理，并将切割后的视频数据流发送至屏幕拼接子系统；屏幕拼接子系统，与畅显子系统相连接，用于对切割后的视频数据流进行拼接处理，并发送至拼接显示墙。
优选地，畅显子系统包括：视频畅显处理模块，用于依次对原始视频数据流中的每相邻两个原始视频图像帧进行畅显图像处理，生成一个或多个畅显视频图像帧，并将每个畅显视频图像帧插入至生成该畅显视频图像帧的相邻两个原始视频图像帧中；视频畅显切割传输模块，用于对插入一个或多个畅显视频图像帧的视频数据流进行屏幕切割处理，输出至屏幕拼接子系统。
优选地，视频畅显处理模块，用于依次从原始视频数据流中获取时间连续的相邻两个原始视频图像帧；分别对获取到的每相邻两个原始视频图像帧执行畅显计算，得到待插入至相邻两个原始视频图像帧之间的畅显视频图像帧。
优选地，视频畅显处理模块，用于分别对相邻的第一原始视频图像帧和第二原始视频图像帧进行下采样图像处理，得到第一下采样视频图像帧和第二下采样视频图像帧，然后分别对第一下采样视频图像帧和第二下采样视频图像帧进行运动估计，估算出全局运动矢量，以及采用全局运动矢量对第一原始视频图像帧和第二原始视频图像帧进行运动估计，得到待插入的畅显视频图像帧。
优选地，视频畅显切割传输模块，用于按照屏幕拼接显示屏中的拼接子屏数量对插入一个或多个畅显视频图像帧的视频数据流进行屏幕切割处理，并将切割后的视频数据流发送至屏幕拼接子系统。
优选地，屏幕拼接系统还包括：主控子系统；主控子系统，用于在确定已经开启畅显图像处理模式的情况下，从屏幕拼接子系统获取显示图层参数集合，并将显示图层参数集合发送至畅显子系统，以及从畅显子系统获取畅显图像处理参数集合，并将畅显图像处理参数集合发送至视频采集子系统。
优选地，视频采集子系统，用于判断当前是否已经开启畅显图像处理模式，当确定已经开启畅显图像处理模式时，将原始视频数据流输出至畅显子系统，当确定未开启畅显图像处理模式时，将原始视频数据流进行屏幕切割后输出至屏幕拼接子系统。
优选地，视频采集子系统，还用于经由VP采集原始视频数据流，和/或，经由网络获取视频压缩码流，并对视频压缩码流进行解码获取原始视频数据流。
根据本发明的另一方面，提供了一种视频数据流的处理方法。
该方法应用于上述屏幕拼接系统中，包括：接收来自于视频采集子系统的原始视频数据流，依次对原始视频数据流中的每相邻两个原始视频图像帧进行畅显图像处理，生成一个或多个畅显视频图像帧；将每个畅显视频图像帧插入至生成该畅显视频图像帧的相邻两个原始视频图像帧中，并对插入一个或多个畅显视频图像帧的视频数据流进行屏幕切割处理，输出至屏幕拼接子系统。
优选地，依次对原始视频数据流中的每相邻两个原始视频图像帧进行畅显图像处理，生成一个或多个畅显视频图像帧包括：分别对相邻的第一原始视频图像帧和第二原始视频图像帧进行下采样图像处理，得到第一下采样视频图像帧和第二下采样视频图像帧；分别对第一下采样视频图像帧和第二下采样视频图像帧进行运动估计，估算出全局运动矢量；采用全局运动矢量对第一原始视频图像帧和第二原始视频图像帧进行运动估计，得到待插入的畅显视频图像帧。
通过本发明实施例，采用接收来自于视频采集子系统的原始视频数据流，依次对原始视频数据流中的每相邻两个原始视频图像帧进行畅显图像处理，生成一个或多个畅显视频图像帧；将每个畅显视频图像帧插入至生成该畅显视频图像帧的相邻两个原始视频图像帧中，并对插入一个或多个畅显视频图像帧的视频数据流进行屏幕切割处理，输出至屏幕拼接子系统，即在相关技术中所使用的屏幕拼接系统的基础上，不再将视频采集子系统所采集到的原始视频数据流直接输出至屏幕拼接子系统，而是在对原始视频数据流进行畅显图像处理后再输出至屏幕拼接子系统，由此解决了相关技术中所采用的屏幕拼接系统的拼接显示流畅性较差，甚至会出现图像抖动和模糊的现象，用户观看体验不够舒适的问题，进而提高了屏幕拼接的显示流畅性，显著改善了屏幕拼接系统的整体显示效果。
附图说明
此处所说明的附图用来提供对本发明的进一步理解，构成本申请的一部分，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。在附图中：
图1是根据相关技术的屏幕拼接系统的实现原理示意图；
图2是根据本发明实施例的屏幕拼接系统的结构框图；
图3是根据本发明优选实施例的屏幕拼接系统的结构框图；
图4是根据本发明优选实施例的视频畅显计算的示意图；
图5是根据本发明优选实施例的畅显视频源输出序列和屏幕切割传输处理过程示意图；
图6是根据本发明优选实施例的屏幕拼接系统的结构示意图；
图7是根据本发明实施例的视频数据流的处理方法的流程图。
具体实施方式
下文中将参考附图并结合实施例来详细说明本发明。需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。
在以下描述中，除非另外指明，否则将参考由一个或多个计算机执行的动作和操作的符号表示来描述本申请的各实施例。其中，计算机包括个人计算机、服务器、移动终端等各种产品，使用了中央处理器（CPU）、单片机、数字信号处理器（DSP）等具有处理芯片的设备均可以称为计算机。由此，可以理解，有时被称为计算机执行的这类动作和操作包括计算机的处理单元对以结构化形式表示数据的电信号的操纵。这一操纵转换了数据或在计算机的存储器系统中的位置上维护它，这以本领域的技术人员都理解的方式重配置或改变了计算机的操作。维护数据的数据结构是具有数据的格式所定义的特定属性的存储器的物理位置。然而，尽管在上述上下文中描述本发明，但它并不意味着限制性的，如本领域的技术人员所理解的，后文所描述的动作和操作的各方面也可用硬件来实现。
转向附图，其中相同的参考标号指代相同的元素，本申请的原理被示为在一个合适的计算环境中实现。以下描述基于所述的本申请的实施例，并且不应认为是关于此处未明确描述的替换实施例而限制本申请。
以下实施例可以应用到计算机中，例如：应用到个人计算机（PC）中，也可以应用到目前采用了智能操作系统中的移动终端中，并且并不限于此。对于计算机或移动终端的操作系统并没有特殊要求，只要能够检测接触、确定该接触是否与预定规则相符合，以及根据该接触的属性实现相应功能即可。
图2是根据本发明实施例的屏幕拼接系统的结构框图。如图2所示，该屏幕拼接系统可以包括：视频采集子系统10，用于采集原始视频数据流，并在开启畅显图像处理模式后将采集到的原始视频数据流输出至畅显子系统；畅显子系统20，与视频采集子系统相连接，用于接收来自于视频采集子系统的原始视频数据流，依次对原始视频数据流进行畅显图像处理和屏幕切割处理，并将切割后的视频数据流发送至屏幕拼接子系统；屏幕拼接子系统30，与畅显子系统相连接，用于对切割后的视频数据流进行拼接处理，并发送至拼接显示墙。
相关技术中，所采用的屏幕拼接系统的拼接显示流畅性较差，甚至会出现图像抖动和模糊的现象，用户观看体验不够舒适。采用如图2所示的系统，视频采集子系统采集原始视频数据流，并在开启畅显图像处理模式后将采集到的原始视频数据流输出至畅显子系统；畅显子系统接收来自于视频采集子系统的原始视频数据流，依次对原始视频数据流进行畅显图像处理和屏幕切割处理，并将切割后的视频数据流发送至屏幕拼接子系统；屏幕拼接子系统对切割后的视频数据流进行拼接处理，并发送至拼接显示墙，即在相关技术中所使用的屏幕拼接系统的基础上，不再将视频采集子系统所采集到的原始视频数据流直接输出至屏幕拼接子系统，而是在对原始视频数据流进行畅显图像处理后再输出至屏幕拼接子系统，由此解决了相关技术中所采用的屏幕拼接系统的拼接显示流畅性较差，甚至会出现图像抖动和模糊的现象，用户观看体验不够舒适的问题，进而提高了屏幕拼接的显示流畅性，显著改善了屏幕拼接系统的整体显示效果。
需要说明的是，畅显（Motion Flow）：又可以称为倍帧，是一种帧率转换技术，即在原有帧的基础上，通过运动补偿的方式插值出新的一帧。这种技术可以在很大程度上改善人眼观看视频中快速运动场景的主观视觉效果。
优选地，如图3所示，畅显子系统20可以包括：视频畅显处理模块200，用于依次对原始视频数据流中的每相邻两个原始视频图像帧进行畅显图像处理，生成一个或多个畅显视频图像帧，并将每个畅显视频图像帧插入至生成该畅显视频图像帧的相邻两个原始视频图像帧中；视频畅显切割传输模块202，用于对插入一个或多个畅显视频图像帧的视频数据流进行屏幕切割处理，输出至屏幕拼接子系统。
优选地，如图3所示，视频畅显处理模块200，用于依次从原始视频数据流中获取时间连续的相邻两个原始视频图像帧；分别对获取到的每相邻两个原始视频图像帧执行畅显计算，得到待插入至相邻两个原始视频图像帧之间的畅显视频图像帧。
在优选实施例中，屏幕拼接系统能够支持开启畅显和关闭畅显两种视频处理模式。在屏幕拼接系统开启畅显模式的情况下，视频采集子系统在获取到原始视频数据后，可以通过PCIe总线将原始视频数据传输至畅显子系统进行畅显计算，畅显子系统能够将原始视频数据和经过畅显计算得到的视频数据按照畅显输出序列进行屏幕切割以及经由PCIe向外传输。
优选地，如图3所示，视频畅显处理模块200，用于分别对相邻的第一原始视频图像帧和第二原始视频图像帧进行下采样图像处理，得到第一下采样视频图像帧和第二下采样视频图像帧，然后分别对第一下采样视频图像帧和第二下采样视频图像帧进行运动估计，估算出全局运动矢量，以及采用全局运动矢量对第一原始视频图像帧和第二原始视频图像帧进行运动估计，得到待插入的畅显视频图像帧。
图4是根据本发明优选实施例的视频畅显计算的示意图。如图4所示，视频畅显计算可以包括以下处理步骤：
步骤一、获取时间上前后连续的两帧原始视频图像帧，即T1时刻的原始视频图像帧（FrameT1）和T2时刻的原始视频图像帧（FrameT2）；
步骤二、分别对FrameT1进行1/4（此处所采用的1/4仅是一种优选实施方式，主要是为了便于下面步骤三中提到的运动估计，当然还可以根据实际情况选取其他比例，例如：1/9）下采样图像处理（即在其水平方向和垂直方向同时缩放1/4）获得T1时刻的1/4下采样视频图像帧（D-FrameT1），对FrameT2进行1/4下采样图像处理获得T2时刻的1/4下采样视频图像帧（D-FrameT2）；
步骤三、对D-FrameT1和D-FrameT2进行前向运动估计和后向运动估计，进而估计出下采样视频图像帧的全局运动矢量，前向运动估计以D-FrameT2为当前视频图像帧，以D-FrameT1为参考视频图像帧进行搜索，后向运动估计以D-FrameT1为当前视频图像帧，以D-FrameT2为参考视频图像帧进行搜索；
步骤四、以下采样视频图像帧的运动估计和全局运动矢量，对原始视频图像帧FrameT1和FrameT2进行前向和后向运动估计，并根据计算结果进行畅显插值从而得到畅显视频图像帧FrameT1-2。
优选地，如图3所示，视频畅显切割传输模块202，用于按照屏幕拼接显示屏中的拼接子屏数量对插入一个或多个畅显视频图像帧的视频数据流进行屏幕切割处理，并将切割后的视频数据流发送至屏幕拼接子系统。
图5是根据本发明优选实施例的畅显视频源输出序列和大屏切割传输处理过程示意图。如图5所示，在该优选实施例中，拼接显示墙中的拼接子屏数量为4个，畅显子系统将视频源图像和畅显计算图像按其先后显示顺序进行大屏切割，首先对T1时刻的原始视频图像帧（FrameT1）和T2时刻的原始视频图像帧（FrameT2）进行畅显图像处理，生成畅显视频图像帧Frame（T1-2），并将Frame（T1-2）插入FrameT1和FrameT2之间；其次对T2时刻的原始视频图像帧（FrameT2）和T3时刻的原始视频图像帧（FrameT3）进行畅显图像处理，生成畅显视频图像帧Frame（T2-3），并将Frame（T2-3）插入FrameT2和FrameT3之间，以此类推…生成畅显视频数据输出序列。然后按照拼接显示墙中的拼接子屏数量对畅显视频数据输出序列进行屏幕切割，最后将切割后的各个视频数据子块通过PCIe总线向外传输。
优选地，如图3所示，上述屏幕拼接系统还可以包括：主控子系统40；主控子系统40，用于在确定已经开启畅显图像处理模式的情况下，从屏幕拼接子系统获取显示图层参数集合，并将显示图层参数集合发送至畅显子系统，以及从畅显子系统获取畅显图像处理参数集合，并将畅显图像处理参数集合发送至视频采集子系统。
在优选实施例中，由于视频采集子系统、畅显子系统和屏幕拼接子系统相互之间无法直接进行信息交互，因此，需要采用主控子系统通过网络命令、PCIe主机命令等控制各个子系统之间通过PCIe总线传输视频数据，实现各个子系统功能的开启与关闭以及各个系统之间的相互配合。首先，主控子系统可以根据用户的操作结果，获取屏幕拼接子系统的显示图层相关参数，例如：显示坐标、图层分割参数、PCIe传输的接收地址。然后，主控子系统对显示图层相关参数进行统计整理，并将显示图层相关参数发送至畅显子系统，同时开启畅显模式。此外，主控子系统还接收来自于畅显子系统的畅显视频源接收参数（可以包括：畅显通道、畅显资源、PCIe传输的接收地址），并开启畅显PCIe接收。另外，主控子系统还将畅显源切换参数发送至视频采集子系统，并开启视频采集子系统的畅显视频传输。
优选地，如图3所示，视频采集子系统10，用于判断当前是否已经开启畅显图像处理模式，当确定已经开启畅显图像处理模式时，将原始视频数据流输出至畅显子系统，当确定未开启畅显图像处理模式时，将原始视频数据流进行屏幕切割后输出至屏幕拼接子系统。
优选地，如图3所示，视频采集子系统10，还用于经由VP采集原始视频数据流，和/或，经由网络获取视频压缩码流，并对视频压缩码流进行解码获取原始视频数据流。
在优选实施例中，视频采集子系统可以通过VP采集原始视频数据进行视频预处理、编码以及PCIe上墙显示，其中，如果开启畅显功能，则可以将原始视频数据通过PCIe传输至畅显子系统，而如果关闭畅显功能，则只能在将原始视频数据进行屏幕切割后经由PCIe传输至屏幕拼接子系统；视频采集子系统还可以通过网络获取视频压缩码流，并采用解码处理以获取原始视频数据，然后根据是否开启畅显功能进行PCIe传输，其中，如果开启畅显功能，则可以将原始视频数据通过PCIe传输至畅显子系统，而如果关闭畅显功能，则只能在将原始视频数据进行屏幕切割后经由PCIe传输至屏幕拼接子系统。
下面将结合图6所示的优选实施方式对上述优选实施过程作进一步的描述。
图6是根据本发明优选实施例的屏幕拼接系统的结构示意图。如图6所示，本发明优选实施例所提供的屏幕拼接系统可以包括：视频采集子系统、畅显子系统和屏幕拼接子系统。各个子系统之间可以通过PCIe总线传输视频数据，并且各个子系统功能的开启与关闭以及各个系统之间的相互配合均可以由主控子系统（图中未示出）通过网络命令、PCIe主机命令等进行控制。
下面将分别对该优选实施例提供的屏幕拼接系统中的各个子系统的功能加以介绍。
（1）视频采集子系统：主要用于实现视频采集，屏幕切割和视频传输等功能，其典型的视频源可以包括：模拟视频信号、光纤/数字串行接口（SDI）/数字视频接口（DVI）/高清晰度多媒体接口（HDMI）等数字视频信号和网络压缩码流。
该视频采集子系统又可以进一步包括：编码子系统和解码子系统。
1）编码子系统可以通过视频口（VP）采集原始视频数据进行视频预处理、编码以及PCIe上墙显示，其中，如果开启畅显功能，则可以将原始视频数据通过PCIe传输至畅显子系统，而如果关闭畅显功能，则只能在将原始视频数据进行屏幕切割后经由PCIe传输至屏幕拼接子系统；
2）解码子系统可以通过网络获取视频压缩码流，并采用解码处理以获取原始视频数据，然后根据是否开启畅显功能进行PCIe传输，其中，如果开启畅显功能，则可以将原始视频数据通过PCIe传输至畅显子系统，而如果关闭畅显功能，则只能在将原始视频数据进行屏幕切割后经由PCIe传输至屏幕拼接子系统。
（2）畅显子系统：主要用于在屏幕拼接系统开启畅显拼接功能时使用，其中，可以包括：视频畅显预处理模块、视频畅显计算模块和视频畅显切割传输模块；
1）视频畅显预处理模块，用于经由本地传输或PCIe传输接收原始视频数据，并根据畅显需求进行缩放等视频畅显预处理；
2）视频畅显计算模块，用于获取经过预处理后的视频数据，调用畅显计算库进行视频畅显计算，输出畅显图像；
需要说明的是，视频畅显预处理模块与视频畅显计算模块所能够实现的功能总和相当于上述视频畅显处理模块。
3）视频畅显切割传输模块，用于获取原始视频数据和经过畅显处理后的视频数据，根据视频畅显输出序列和屏幕切割相关控制参数对获取到的视频数据进行屏幕切割，然后将经过屏幕切割处理后的视频分割块经由PCIe传输至各个拼接显示子屏。
（3）屏幕拼接子系统：主要用于经由PCIe接收视频分割块（包括：畅显视频分割块和原始视频分割块），根据屏幕拼接或屏幕漫游相关显示控制参数对接收到的视频分割块进行缩放、去隔行、透明计算、图层叠加等处理，然后通过视频输出接口输出至拼接显示墙加以显示。
在该优选实施例中，上述屏幕拼接系统能够支持开启畅显和关闭畅显两种视频处理模式。在屏幕拼接系统开启畅显模式的情况下，视频采集子系统在获取到原始视频数据后，可以通过PCIe总线将原始视频数据传输至畅显子系统进行畅显计算，畅显子系统能够将原始视频数据和经过畅显计算得到的视频数据按照畅显输出序列进行屏幕切割以及经由PCIe向外传输。屏幕拼接子系统能够经由PCIe接收各个视频分割块，并在进行图层叠加等处理后输出显示。
（4）主控子系统：主要用于根据用户的操作结果，获取屏幕拼接子系统的显示图层相关参数，例如：显示坐标、图层分割参数、PCIe传输的接收地址。主控子系统对显示图层相关参数进行统计整理，并将显示图层相关参数发送至畅显子系统，同时开启畅显模式。主控子系统接收来自于畅显子系统的畅显视频源接收参数（可以包括：畅显通道、畅显资源、PCIe传输的接收地址），并开启畅显PCIe接收。主控子系统将畅显源切换参数发送至视频采集子系统，并开启视频采集子系统的畅显视频传输。至此，屏幕拼接系统在畅显拼接模式下工作。
图7是根据本发明实施例的视频数据流的处理方法的流程图。该方法应用于上述屏幕拼接系统中，如图7所示，该方法可以包括以下处理步骤：
步骤S702：接收来自于视频采集子系统的原始视频数据流，依次对原始视频数据流中的每相邻两个原始视频图像帧进行畅显图像处理，生成一个或多个畅显视频图像帧；
步骤S704：将每个畅显视频图像帧插入至生成该畅显视频图像帧的相邻两个原始视频图像帧中，并对插入一个或多个畅显视频图像帧的视频数据流进行屏幕切割处理，输出至屏幕拼接子系统。
采用如图7所示的方法，解决了相关技术中所采用的屏幕拼接系统的拼接显示流畅性较差，甚至会出现图像抖动和模糊的现象，用户观看体验不够舒适的问题，进而提高了屏幕拼接的显示流畅性，显著改善了屏幕拼接系统的整体显示效果。
优选地，在步骤S702中，依次对原始视频数据流中的每相邻两个原始视频图像帧进行畅显图像处理，生成一个或多个畅显视频图像帧可以包括以下操作：
步骤S1：分别对相邻的第一原始视频图像帧和第二原始视频图像帧进行下采样图像处理，得到第一下采样视频图像帧和第二下采样视频图像帧；
步骤S2：分别对第一下采样视频图像帧和第二下采样视频图像帧进行运动估计，估算出全局运动矢量；
步骤S3：采用全局运动矢量对第一原始视频图像帧和第二原始视频图像帧进行运动估计，得到待插入的畅显视频图像帧。
从以上的描述中，可以看出，上述实施例实现了如下技术效果（需要说明的是这些效果是某些优选实施例可以达到的效果）：本发明实施例提供了一种对屏幕拼接显示视频进行畅显拼接和/或畅显漫游的技术方案，该技术方案可以通过在视频采集子系统和屏幕拼接子系统之间新增对视频源进行畅显计算的步骤，从而实现了一种集视频采集、屏幕拼接、屏幕漫游、畅显拼接、畅显漫游于一体的屏幕畅显系统。该屏幕畅显系统可以包括：视频采集子系统、视频畅显计算子系统、屏幕切割传输子系统和屏幕拼接显示子系统，该屏幕畅显系统实现了畅显拼接与畅显漫游，明显提高了屏幕拼接的显示流畅性，从而显著提升了屏幕拼接系统的整体显示效果。
显然，本领域的技术人员应该明白，上述的本发明的各模块或各步骤可以用通用的计算装置来实现，它们可以集中在单个的计算装置上，或者分布在多个计算装置所组成的网络上，可选地，它们可以用计算装置可执行的程序代码来实现，从而，可以将它们存储在存储装置中由计算装置来执行，并且在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤，或者将它们分别制作成各个集成电路模块，或者将它们中的多个模块或步骤制作成单个集成电路模块来实现。这样，本发明不限制于任何特定的硬件和软件结合。
以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.一种屏幕拼接系统，其特征在于，包括：
视频采集子系统，用于采集原始视频数据流，并在开启畅显图像处理模式后将采集到的所述原始视频数据流输出至畅显子系统；
所述畅显子系统，与所述视频采集子系统相连接，用于接收来自于所述视频采集子系统的所述原始视频数据流，依次对所述原始视频数据流进行畅显图像处理和屏幕切割处理，并将切割后的视频数据流发送至屏幕拼接子系统；
所述屏幕拼接子系统，与所述畅显子系统相连接，用于对所述切割后的视频数据流进行拼接处理，并发送至拼接显示墙；
其中，所述畅显子系统包括：视频畅显处理模块，用于依次对所述原始视频数据流中的每相邻两个原始视频图像帧进行畅显图像处理，生成一个或多个畅显视频图像帧，并将每个畅显视频图像帧插入至生成该畅显视频图像帧的相邻两个原始视频图像帧中。
2.根据权利要求1所述的系统，其特征在于，所述畅显子系统还包括：
视频畅显切割传输模块，用于对插入所述一个或多个畅显视频图像帧的视频数据流进行屏幕切割处理，输出至所述屏幕拼接子系统。
3.根据权利要求1所述的系统，其特征在于，所述视频畅显处理模块，用于依次从所述原始视频数据流中获取时间连续的相邻两个原始视频图像帧；分别对获取到的每相邻两个原始视频图像帧执行畅显计算，得到待插入至所述相邻两个原始视频图像帧之间的畅显视频图像帧。
4.根据权利要求3所述的系统，其特征在于，所述视频畅显处理模块，用于分别对相邻的第一原始视频图像帧和第二原始视频图像帧进行下采样图像处理，得到第一下采样视频图像帧和第二下采样视频图像帧，然后分别对所述第一下采样视频图像帧和所述第二下采样视频图像帧进行运动估计，估算出全局运动矢量，以及采用所述全局运动矢量对所述第一原始视频图像帧和所述第二原始视频图像帧进行运动估计，得到所述待插入的畅显视频图像帧。
5.根据权利要求4所述的系统，其特征在于，所述视频畅显切割传输模块，用于按照所述屏幕拼接显示屏中的拼接子屏数量对插入所述一个或多个畅显视频图像帧的视频数据流进行屏幕切割处理，并将所述切割后的视频数据流发送至屏幕拼接子系统。
6.根据权利要求1所述的系统，其特征在于，所述屏幕拼接系统还包括：主控子系统；
所述主控子系统，用于在确定已经开启所述畅显图像处理模式的情况下，从所述屏幕拼接子系统获取显示图层参数集合，并将所述显示图层参数集合发送至所述畅显子系统，以及从所述畅显子系统获取畅显图像处理参数集合，并将所述畅显图像处理参数集合发送至所述视频采集子系统。
7.根据权利要求1所述的系统，其特征在于，所述视频采集子系统，用于判断当前是否已经开启所述畅显图像处理模式，当确定已经开启所述畅显图像处理模式时，将所述原始视频数据流输出至所述畅显子系统，当确定未开启所述畅显图像处理模式时，将所述原始视频数据流进行屏幕切割后输出至所述屏幕拼接子系统。
8.根据权利要求1所述的系统，其特征在于，所述视频采集子系统，还用于经由视频口VP采集所述原始视频数据流，和/或，经由网络获取视频压缩码流，并对所述视频压缩码流进行解码获取所述原始视频数据流。
9.一种视频数据流的处理方法，其特征在于，所述方法应用于权利要求1至8中任一项所述的屏幕拼接系统中，所述方法包括：
接收来自于所述视频采集子系统的所述原始视频数据流，依次对所述原始视频数据流中的每相邻两个原始视频图像帧进行畅显图像处理，生成一个或多个畅显视频图像帧；
将每个畅显视频图像帧插入至生成该畅显视频图像帧的相邻两个原始视频图像帧中，并对插入所述一个或多个畅显视频图像帧的视频数据流进行屏幕切割处理，输出至所述屏幕拼接子系统；
其中，依次对所述原始视频数据流中的每相邻两个原始视频图像帧进行畅显图像处理包括：依次对所述原始视频数据流中的每相邻两个原始视频图像帧进行畅显图像处理，生成一个或多个畅显视频图像帧，并将每个畅显视频图像帧插入至生成该畅显视频图像帧的相邻两个原始视频图像帧中。
10.根据权利要求9所述的方法，其特征在于，依次对所述原始视频数据流中的每相邻两个原始视频图像帧进行畅显图像处理，生成一个或多个畅显视频图像帧包括：
分别对相邻的第一原始视频图像帧和第二原始视频图像帧进行下采样图像处理，得到第一下采样视频图像帧和第二下采样视频图像帧；
分别对所述第一下采样视频图像帧和所述第二下采样视频图像帧进行运动估计，估算出全局运动矢量；
采用所述全局运动矢量对所述第一原始视频图像帧和所述第二原始视频图像帧进行运动估计，得到待插入的畅显视频图像帧。
CN201310578376.6A 2013-11-18 2013-11-18 屏幕拼接系统和视频数据流的处理方法 Active CN104660916B (zh)

Priority Applications (3)

Application Number Priority Date Filing Date Title
CN201310578376.6A CN104660916B (zh) 2013-11-18 2013-11-18 屏幕拼接系统和视频数据流的处理方法
PCT/CN2014/089348 WO2015070694A1 (zh) 2013-11-18 2014-10-23 屏幕拼接系统和视频数据流的处理方法
US15/037,280 US9645784B2 (en) 2013-11-18 2014-10-23 Screen splicing system and video data stream processing method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201310578376.6A CN104660916B (zh) 2013-11-18 2013-11-18 屏幕拼接系统和视频数据流的处理方法

Publications (2)

Publication Number Publication Date
CN104660916A CN104660916A (zh) 2015-05-27
CN104660916B true CN104660916B (zh) 2018-09-18

Family

ID=53056747

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201310578376.6A Active CN104660916B (zh) 2013-11-18 2013-11-18 屏幕拼接系统和视频数据流的处理方法

Country Status (3)

Country Link
US (1) US9645784B2 (zh)
CN (1) CN104660916B (zh)
WO (1) WO2015070694A1 (zh)

Families Citing this family (24)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6104680B2 (ja) * 2013-03-21 2017-03-29 株式会社日立国際電気 画像処理装置、撮像装置、監視システム、符号化装置、画像処理方法
CN105554450B (zh) * 2015-12-14 2018-10-12 深圳大学 分布式视频全景显示系统
CN105872410B (zh) * 2016-05-25 2019-01-18 广东威创视讯科技股份有限公司 一种拼接墙信号控制方法、装置及系统
CN107205128A (zh) * 2017-05-11 2017-09-26 西安万像电子科技有限公司 文件的显示方法、装置和系统
CN108702512B (zh) * 2017-10-31 2020-11-24 深圳市大疆创新科技有限公司 运动估计方法和装置
WO2019106409A1 (en) * 2017-11-29 2019-06-06 Chan Ka Chun Systems and methods for processing and transmitting image signals over mobile phone telephony networks
CN109275024A (zh) * 2018-09-14 2019-01-25 洪海光电集团有限公司 通过音频信号控制多媒体设备的装置及其方法
CN109491626A (zh) * 2018-09-29 2019-03-19 上海摩奇贝斯展示设计营造有限公司 侧屏拼接演绎系统
CN109240634B (zh) * 2018-11-20 2021-11-26 宁波Gqy视讯股份有限公司 分布式拼接显示系统的输出节点及分布式拼接显示系统
CN109640168B (zh) 2018-11-27 2020-07-24 Oppo广东移动通信有限公司 视频处理方法、装置、电子设备和计算机可读介质
CN109996013B (zh) * 2019-05-31 2019-08-16 南京巨鲨显示科技有限公司 一种低延时视频拼接方法、装置和系统
CN112639935A (zh) * 2019-07-31 2021-04-09 西安诺瓦星云科技股份有限公司 Led显示屏、led显示系统和显示箱体
CN110769168A (zh) * 2019-09-27 2020-02-07 广州市水一方信息科技有限公司 一种侧屏拼接演绎系统
CN110677600B (zh) * 2019-10-11 2021-10-01 福建星网视易信息系统有限公司 超宽画面的多组显示方法和系统、点播设备和点播系统
CN110855908B (zh) * 2019-11-18 2022-09-27 中移（杭州）信息技术有限公司 多方视频混屏方法、装置、网络设备及存储介质
CN111541905B (zh) * 2020-04-17 2022-05-20 广州虎牙科技有限公司 一种直播方法、装置、计算机设备和存储介质
CN113554659B (zh) * 2020-04-23 2023-06-02 杭州海康威视数字技术股份有限公司 图像处理方法、装置、电子设备、存储介质及显示系统
CN112328191A (zh) * 2020-07-31 2021-02-05 深圳Tcl新技术有限公司 数据的拼接方法、系统及计算机可读存储介质
CN112118475B (zh) * 2020-08-13 2024-07-23 视联动力信息技术股份有限公司 一种跨屏窗口显示方法、装置、终端设备和存储介质
CN113286196B (zh) * 2021-05-14 2023-02-17 亿咖通(湖北)技术有限公司 一种车载视频播放系统及视频分屏显示方法及装置
CN113920951A (zh) * 2021-09-15 2022-01-11 上海祺壹智能科技有限公司 一种小电流刷新屏幕的方法
CN114339070B (zh) * 2021-12-28 2024-04-16 苏州长风航空电子有限公司 一种基于MPSoC的多路图像处理显示交互系统
CN114615548B (zh) * 2022-03-29 2023-12-26 湖南国科微电子股份有限公司 一种视频数据的处理方法、装置及计算机设备
CN114996518B (zh) * 2022-08-04 2022-10-21 深圳市稻兴实业有限公司 一种基于云平台的超高清视频数据存储分类管理系统

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101281650A (zh) * 2008-05-05 2008-10-08 北京航空航天大学 用于视频稳定的快速全局运动估计方法
CN101807389A (zh) * 2010-03-19 2010-08-18 上海博康智能网络科技有限公司 大屏拼接方法及系统
CN102104788A (zh) * 2009-12-17 2011-06-22 美国博通公司 一种用于视频处理的方法和系统
CN102611869A (zh) * 2012-02-10 2012-07-25 江苏清投视讯科技有限公司 一种面向输出的多屏拼接系统网络传输技术

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101904149B (zh) * 2007-07-05 2015-09-09 相干逻辑公司 用于在移动设备上接收和呈现视听流的方法、设备和系统
US20090202227A1 (en) * 2008-02-13 2009-08-13 Samsung Electronics Co., Ltd. Method and apparatus for recording data, method and apparatus for reproducing data, and recording medium for recording data
CN101778283B (zh) * 2010-01-14 2012-07-25 宁波Gqy视讯股份有限公司 一种在控制端实现实时映射拼接显示屏上视频信号的方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101281650A (zh) * 2008-05-05 2008-10-08 北京航空航天大学 用于视频稳定的快速全局运动估计方法
CN102104788A (zh) * 2009-12-17 2011-06-22 美国博通公司 一种用于视频处理的方法和系统
CN101807389A (zh) * 2010-03-19 2010-08-18 上海博康智能网络科技有限公司 大屏拼接方法及系统
CN102611869A (zh) * 2012-02-10 2012-07-25 江苏清投视讯科技有限公司 一种面向输出的多屏拼接系统网络传输技术

Also Published As

Publication number Publication date
CN104660916A (zh) 2015-05-27
WO2015070694A1 (zh) 2015-05-21
US20160291917A1 (en) 2016-10-06
US9645784B2 (en) 2017-05-09

Similar Documents

Publication Publication Date Title
CN104660916B (zh) 屏幕拼接系统和视频数据流的处理方法
US12020355B2 (en) Artificially rendering images using viewpoint interpolation and extrapolation
US11706403B2 (en) Positional zero latency
CN105872432B (zh) 快速自适应帧率变换的装置与方法
US9940541B2 (en) Artificially rendering images using interpolation of tracked control points
EP2153669B1 (en) Method, apparatus and system for processing depth-related information
EP2290968B1 (en) Method, device and system for 3d video communication
CN104539929B (zh) 带有运动预测的立体图像编码方法和编码装置
CN102685437B (zh) 视频图像补偿方法及监视器
US20110169818A1 (en) Reducing viewing discomfort
US9204086B2 (en) Method and apparatus for transmitting and using picture descriptive information in a frame rate conversion processor
CN111507997B (zh) 图像分割方法、装置、设备及计算机存储介质
US20120062548A1 (en) Reducing viewing discomfort
US10127714B1 (en) Spherical three-dimensional video rendering for virtual reality
Wu et al. A novel method for semi-automatic 2D to 3D video conversion
CN110111238A (zh) 图像处理方法、装置、设备及其存储介质
JP2013090031A (ja) 画像処理装置、画像処理方法およびプログラム
CN108881706A (zh) 控制多媒体设备工作的方法及装置
CN116248955A (zh) 一种基于ai抽帧补帧的vr云渲染图像增强方法
CN206575517U (zh) 一种高清图像处理拼接器
EP4050567A1 (en) Information processing device, 3d data generation method, and program
Hsieh et al. Traffic situation visualization based on video composition
CN106504063A (zh) 一种虚拟头发试戴视频展示系统
CN106657871A (zh) 基于视频拼接的多角度动态视频监控方法及装置
CN103873846B (zh) 基于滑窗的众视点真三维显示系统视频同步播放方法

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant