CN104202541A - 一种图像合成器 - Google Patents

Abstract

本发明公开了一种图像合成器，包括多个视频流输入接口、参数检测模块、缓存模块、模式处理模块、帧同步模块、多个视频流输出接口。通过将一台计算机的渲染工作并行地由多台计算机来完成，可以在现有硬件条件下减轻每台计算机的渲染负担，相应的提高了整个系统的渲染速度。

Description

一种图像合成器

技术领域

本发明涉及图像合成技术领域，具体地是涉及一种图像合成器。

背景技术

计算机表现动态图像，是依靠将一帧一帧静止的图像快速、连续的播放来实现的。为使人眼能够看到连续、无顿挫感的画面，至少要求每秒钟播放25帧图像以上，在场景变化比较大时，通常要求每秒播放60帧图像以上。

对于实时性要求高的应用，每帧图像必须由计算机实时生成，也就是说，计算机必须在1/60秒＝16.67毫秒内将下一帧图像渲染好，否则就会影响图像的连续性，而计算机渲染一帧图像所用的时间，取决于图像的复杂程度，图像包含的像素及多边形数越多，图像就越复杂，所需的渲染时间就越长。这就产生了一个矛盾，人们总希望看到的图像越逼真越好，而图像越逼真，所需的像素和多边形数就越多，所需的渲染时间就越长，但当每帧的渲染时间超过了16.67毫秒，就会影响图像的连续性，这就必须在图像的质量和图像的连续性上做出取舍。

目前采用的技术是一台计算机对应一个显示通道，即一台计算机连接一个投影机或一个显示器。在这种架构中，要想提高计算机的渲染速度，只能依靠提高计算机的性能来实现，如：提高CPU的性能，增加内存，提高总线的带宽，提升显卡的性能，增大显存等等，但硬件发展的速度往往跟不上实际的需求，目前实时仿真领域的现状是，即使采用最高档的计算机，选用最高档的显卡，渲染速度也不能满足要求，不得不通过牺牲图像的质量来换取图像的连续性。

因此，本发明的发明人亟需构思一种新技术以改善其问题。

发明内容

本发明旨在提供一种在现有硬件条件下可以提高整个系统的渲染速度的图像合成器。

为解决上述技术问题，本发明的技术方案是：

一种图像合成器，包括：

多个视频流输入接口，用于实时接收并采样获得外部视频解串器发送的每一视频流图像帧的输入图像信息，所述输入图像信息包括图像数据信号、行同步信号和场同步信号，其中所述行同步信号用于界定每一视频流图像帧的每行的起始和结束时序，所述场同步信号用于界定每一视频流图像帧的起始和结束时序。

参数检测模块，用于实时监测所述多个视频流输入接口采样获得的输入图像信息，为每一所述视频流输入接口的输入图像信息设置同步检测结果标识并将所述同步检测结果标识发送至缓存模块，将由所述行同步信号和所述场同步信号共同决定的视频时序参数发送至帧同步模块。

所述缓存模块，用于接收所述参数检测模块输出的同步检测结果标识，当检测到有同步检测结果标识时，存储该同步检测结果标识所对应的视频流输入接口的输入图像信息。

模式处理模块，用于从所述缓存模块中读取输入图像信息，根据设定的不同的拼接模式和拼接通道进行拼接，并将拼接数据发送给所述帧同步模块，其中所述处理模式包括合成模式和反走样模式，所述处理通道包括输入通道和输出通道。

所述帧同步模块，用于接收所述参数检测模块发送的视频时序参数和所述模式处理模块发送的处理数据，并在所述处理数据的基础上添加视频同步信号获得输出图像信息，其中所述视频同步信号包括行同步信号和场同步信号。

多个视频流输出接口，用于将所述输出图像信息输出。

进一步地所述模式处理模块包括合成单元，所述合成单元包括合成模式判断子单元、合成拼接子单元、合成数据输出子单元。

其中所述合成模式判断子单元用于判断是否选择了合成模式，若选择了合成模式判断输入图像信息是否有效。

所述合成拼接子单元，用于在输入图像信息有效的情况下对其进行拼接，形成合成图像数据流。

所述合成数据输出子单元，用于将所述合成图像数据流和输出通道写入到所述帧同步模块中。

进一步地所述模式处理模块还包括反走样单元，所述反走样单元包括反走样模式判断子单元、反走样拼接子单元、反走样数据输出子单元。

其中所述反走样模式判断子单元用于判断是否选择了反走样模式，若选择了反走样模式判断输入图像信息是否有效。

所述反走样拼接子单元，用于在输入图像信息有效的情况下对其进行反走样拼接，形成反走样图像数据流。

所述反走样数据输出子单元，用于将所述反走样图像数据流和输出通道写入到所述帧同步模块中。

进一步地还包括模式与通道选择模块，用于接收外部模式触发开关和通道触发开关的触发信号，并转换成触发信息发送给所述模式处理模块，所述触发信息包括处理模式和处理通道。

进一步地所述模式与通道选择模块将所述触发信息发送给所述参数检测模块。

进一步地所述缓存模块包括缓存读写控制单元和存储单元，所述缓存读写控制单元用于接收所述参数检测模块输出的同步检测结果标识，当检测到有同步检测结果标识时，调取该同步检测结果标识所对应的视频流输入接口的输入图像信息并存入所述存储单元中；所述存储单元与所述视频流输入接口一一对应，每一所述视频流输入接口的输入图像信息存入其对应的存储单元中。

进一步地还包括输出缓存模块，用于缓存所述输出图像信息供所述视频流输出接口输出。

进一步地还包括复位管理模块，用于接收外部硬件复位信号、序列号检测结果以及模式和通道切换动作，控制所述图像合成器进行系统初始化或停止运行。

进一步地还包括序列号检测模块，用于在上电开机时读取事先已存序列号，并检测是否符合规定，如果不合，则触发所述复位管理模块停止运行，否则正常运行。

进一步地所述视频流输入接口的数量为四个，所述视频流输出接口的数量为两个。

采用上述技术方案，本发明至少包括如下有益效果：

本发明所述的一种图像合成器，包括多个视频流输入接口、参数检测模块、缓存模块、模式处理模块、帧同步模块、多个视频流输出接口。通过将一台计算机的渲染工作并行地由多台计算机来完成，可以在现有硬件条件下减轻每台计算机的渲染负担，相应的提高了整个系统的渲染速度。

附图说明

图1为本发明所述的图像合成器的原理结构示意图；

图2为一种实施例所述的图像合成器的结构示意图；

图3为一种实施例所述的图像合成器的流程图。

具体实施方式

下面结合附图和实施例对本发明进一步说明。

如图1所示，为符合本发明的一种图像合成器，包括：

多个视频流输入接口，用于实时接收并采样获得外部视频解串器发送的每一视频流图像帧的输入图像信息，所述输入图像信息包括图像数据信号、行同步信号和场同步信号，其中所述行同步信号用于界定每一视频流图像帧的每行的起始和结束时序，所述场同步信号用于界定每一视频流图像帧的起始和结束时序。其中所述视频解串器指代针对视频接口标准定义的传送信号解析芯片，例如DVI(Digital Visual Interface)标准、HDMI(High DefinitionMultimedia Interface)标准、DisplayPort标准等。对于不同的视频流输入接口标准，视频解串器也不同，例如DVI标准，典型的有TFP401、SIL163B等，本实施例支持各种视频流输入接口标准及各标准下的视频解串器，此处统称视频解串器，由于其为本领域技术人员的常规选择，故此处不再赘述。

依不同的视频流输入接口标准，视频解串器不同，其输出的图像数据信号也不一样，典型图像数据信号包括红、绿、蓝三维度的视频图像帧的像素描述，每一维度的描述位宽典型值为8位宽度。

参数检测模块，用于实时监测所述多个视频流输入接口采样获得的输入图像信息，为每一所述视频流输入接口的输入图像信息设置同步检测结果标识并将所述同步检测结果标识发送至缓存模块，将由所述行同步信号和所述场同步信号共同决定的视频时序参数发送至帧同步模块，其中所述视频时序参数优选为分辨率,由于其为本领域技术人员的公知常识，故此处不再赘述。

其设置同步检测结果标识的步骤如下：

1)判断当前拼接模式，该模式下的拼接由哪些路构成；

2)选择该模式下需要拼接的其中一路视频流为参照，以其场同步上升沿开始，以输入像素时钟为驱动，开始计数；

3)当检测到其他路的场同步上升沿时，判断此时计数器计数值是否小于同步阈值，若小于则该路视频流和参照视频流同步；

4)设置参照视频流和被检测视频流的同步标识。

所述同步阈值可调整，典型值为各路输入缓存的深度的一半。

所述缓存模块，用于接收所述参数检测模块输出的同步检测结果标识，当检测到有同步检测结果标识时，存储该同步检测结果标识所对应的视频流输入接口的输入图像信息。

模式处理模块，用于从所述缓存模块中读取输入图像信息，根据设定的不同的处理模式和处理通道进行处理，并将处理数据发送给所述帧同步模块，其中所述处理模式包括合成模式和反走样模式，所述处理通道包括输入通道和输出通道。

所述帧同步模块，用于接收所述参数检测模块发送的视频时序参数和所述模式处理模块发送的处理数据，并在所述处理数据的基础上添加视频同步信号获得输出图像信息，其中所述视频同步信号包括行同步信号和场同步信号。

多个视频流输出接口，用于将所述输出图像信息输出。参照所述视频流输入接口，与其相反的处理过程，输出至视频串行器，DVI标准下，典型的视频串行器有TFP410串行器和SIL1171串行器。

进一步地所述模式处理模块包括合成单元，所述合成单元包括合成模式判断子单元、合成拼接子单元、合成数据输出子单元。

其中所述合成模式判断子单元用于判断是否选择了合成模式，若选择了合成模式判断输入图像信息是否有效，其判定输入图像信息是否有效可以根据场同步信号和行同步信号是否同时有效来判定。由于其判定方法为本领域技术人员的常规技术手段，故此处不再赘述。

所述合成拼接子单元，用于在输入图像信息有效的情况下对其进行拼接，形成合成图像数据流。由于对图像进行拼接为本领域技术人员的常规技术手段，本领域技术人员完全可以根据实际的使用需求进行相应的设定，故此处不再赘述。

所述合成数据输出子单元，用于将所述合成图像数据流和输出通道写入到所述帧同步模块中。

进一步地所述模式处理模块还包括反走样单元，所述反走样单元包括反走样模式判断子单元、反走样拼接子单元、反走样数据输出子单元。

其中所述反走样模式判断子单元用于判断是否选择了反走样模式，若选择了反走样模式判断输入图像信息是否有效，其判定输入图像信息是否有效可以根据场同步信号和行同步信号是否同时有效来判定。由于其判定方法为本领域技术人员的常规技术手段，故此处不再赘述。

所述反走样拼接子单元，用于在输入图像信息有效的情况下对其进行反走样拼接，形成反走样图像数据流。本实施例优选使用的是以超采样算法为基础的全屏反走样拼接。所述超采样算法是指：对每个像素进行多次采样，最后对于采样的结果进行加权平均，计算出该像素的颜色。全屏反走样是指对于屏幕上的所有点都进行反走样处理，其它反走样的算法如快速反走样，只对屏幕中物体边缘上的像素进行反走样处理。由于其为本领域技术人员的常规技术手段，故此处不再赘述。

所述反走样数据输出子单元，用于将所述反走样图像数据流和输出通道写入到所述帧同步模块中。

本实施例还包括模式与通道选择模块，用于接收外部模式触发开关和通道触发开关的触发信号，并转换成触发信息发送给所述模式处理模块，所述触发信息包括处理模式和处理通道。

优选地所述模式与通道选择模块将所述触发信息发送给所述参数检测模块，用于供所述参数检测模块设置所述同步检测结果标识。

所述缓存模块包括缓存读写控制单元和存储单元，所述缓存读写控制单元用于接收所述参数检测模块输出的同步检测结果标识，当检测到有同步检测结果标识时，调取该同步检测结果标识所对应的视频流输入接口的输入图像信息并存入所述存储单元中；所述存储单元与所述视频流输入接口一一对应，每一所述视频流输入接口的输入图像信息存入其对应的存储单元中。每一所述存储单元的缓存深度可调整，典型值为最大分辨率的图像流10行的深度。由于所述缓存深度的调整为本领域技术人员的常规技术手段，故此处不再赘述。

优选地本实施例还包括输出缓存模块，用于缓存所述输出图像信息供所述视频流输出接口输出。所述输出缓存模块存入的是模式处理后的图像数据流及经过帧同步模块添加的同步信号，具体为与所述视频流输入接口输入的输入图像信息的格式保持一致，具有：图像数据信号、行同步信号、场同步信号。所述输出缓存模块具有FIFO(先入先出)的特点，只要不为空，则所述输出缓存模块内的数据被读出，给到所述视频流输出接口。由于内部的所述模式处理模块采用的处理时钟比视频输入输出的像素时钟较快，在这种快速写入慢速模块时，该输出缓存模块可以起到缓冲作用。

优选地本实施例还包括复位管理模块，用于接收外部硬件复位信号(所述复位信号可以通过复位开关按钮的触发来获得)、序列号检测结果以及模式和通道切换动作，控制所述图像合成器进行系统初始化或停止运行。当检测出模式与通道选择模块输出的模式发生变化时，对系统进行脉冲式复位，效果是复位后系统工作于该模式下；当检测出模式与通道选择模块输出的通道选择发生变化时，对系统进行脉冲式复位，效果是复位后系统工作于该通道选择下。

优选地本实施例还包括序列号检测模块，用于在上电开机时读取事先已存序列号，并检测是否符合规定，如果不符合，则触发所述复位管理模块停止运行，否则正常运行。所述序列号存储在具有一定缓存能力的掉电不失的缓存中。该序列号为处理芯片的出厂预存序号，每个产品的处理芯片序列号不一致；每次上电开机时读取一次该序列号；对该序列号采用一定判断规则进行核对，典型的方式是直接和预先知道的值进行比对，该值以逻辑程序描述的方式存储在上电配置程序中；若比对不成功，则输出复位标识给所述复位管理模块，系统整体处在复位状态，不工作；该方式将使系统上电配置程序因不同的产品而变化，上电配置软件和硬件具有配套性，避免非法的仿造。

优选地本实施例还包括时钟管理模块，用于接收外部晶振时钟输入以及各路视频流输入接口控制器时钟，具有时钟锁相、分频、倍频功能，提供内部各功能模块驱动时钟和视频流输出接口控制器时钟。

优选地所述视频流输入接口的数量为四个，所述视频流输出接口的数量为两个。本领域技术人员应当知晓，所述视频流输入接口和所述视频流输出接口的数量可以根据实际的使用需求进行相应的调整，本实施例对此不做限定。

下面以包含四个视频流输入接口和两个视频流输出接口的如图2所示的图像合成器进行说明(其中所述参数检测模块接收所述模式与通道选择模块发送的触发信息，附图2中未有体现，本领域技术人员应当知晓)。分别以1路、2路、3路、4路代表视频流输入接口，以输出1路、输出2路代表视频流输出接口。其具体的流程如图3所示，首先四路视频流输入接口实时接收并采样获得外部视频解串器发送的输入图像信息；所述参数检测模块根据设定的拼接模式设置同步检测结果标识；所述缓存模块进行同步判断，当检测到有同步检测结果标识时，存储该同步检测结果标识所对应的视频流输入接口的输入图像信息。所述模式处理模块判断拼接模式，当判断为合成模式时，进行图像合成处理；当判断为反走样模式时，进行反走样处理。由于图像合成处理和反走样处理上文已经说明，此处不再赘述。在进行图像合成处理或反走样处理后将获得的处理数据发送至所述帧同步模块，其在所述处理数据的基础上添加视频同步信号获得输出图像信息；所述帧同步模块根据预先设定的处理通道将所述输出图像信息存入相应的输出缓存模块，进而由相应的视频流输出接口输出。

其中针对4路输入典型的拼接模式有：1、2路合成模式，3、4路合成模式，1、2、3、4路合成模式，1、2路反走样模式，3、4路反走样模式，1、2、3、4路反走样模式，双路直通模式，四路直通模式。

针对4路输入的典型配置具有两路输出接口，输出1路、输出2路，通道触发开关具有4项可选，具体的规定可以参照表1所示。

表1

由表1可以看出，如果是双路合成模式，则先读出1路(3路)的前半行数据，半行的位置以计数为参考，然后再读取2路(4路)的后半行数据，以此完成画面的垂直拼接。如果是四路合成模式，则先读出1路的第1/4行，其次是2路的第2/4行，然后是3路的第3/4行，最后是4路的最后1/4行。

如果是双路反走样模式，则同时读出1路和2路(或3路和4路)的图像数据，读出的图像数据实时取平均值后输出至图像数据流中。如果是四路反走样模式，则同时读出四路的图像数据，读出的图像数据实时取平均值后输出至图像数据流中。而双路直通模式和四路直通模式整体比较简单，无需进行过多处理，本领域技术人员应当知晓，故此处不再赘述。

对本实施例所述的图像合成器的性能进行测试，其中测试设备为图像合成器1台，HPZ820计算机4台，用于测试的软件平台VP2013。

用1台计算机运行测试程序时，在达到每秒60帧时，计算机只能开4倍反走样；使用二合一的图像合成器时(即需要两台计算机)，计算机能开8倍的反走样；使用四合一合成器时，计算机能够开16倍反走样。这说明，计算机数量增加一倍，渲染速度也随之增加了一倍，达到了预期的设计要求。

本实施例所述的图像合成器可以应用在多种图像拼接场合，尤其是在机场显示屏的应用上。其首先通过多台高清晰摄影机拍摄机场附近场景，继而经过本实施例所述的图像合成器进行图像处理，然后分别投放到视场中的不同显示屏上，各屏拼接在一起并呈现视场弧度。本发明通过将一台计算机的渲染工作并行地由多台计算机来完成，这样每台计算机的渲染负担减轻了，整个系统的渲染速度就相应提高了。

本领域内的技术人员应明白，本发明的实施例可提供为方法、系统、或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。

本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

尽管已描述了本发明的优选实施例，但本领域内的技术人员一旦得知了基本创造性概念，则可对这些实施例作出另外的变更和修改。所以，所附权利要求意欲解释为包括优选实施例以及落入本发明范围的所有变更和修改。

Claims (10)

1.一种图像合成器，其特征在于，包括：

多个视频流输入接口，用于实时接收并采样获得外部视频解串器发送的每一视频流图像帧的输入图像信息，所述输入图像信息包括图像数据信号、行同步信号和场同步信号，其中所述行同步信号用于界定每一视频流图像帧的每行的起始和结束时序，所述场同步信号用于界定每一视频流图像帧的起始和结束时序；

参数检测模块，用于实时监测所述多个视频流输入接口采样获得的输入图像信息，为每一所述视频流输入接口的输入图像信息设置同步检测结果标识并将所述同步检测结果标识发送至缓存模块，将由所述行同步信号和所述场同步信号共同决定的视频时序参数发送至帧同步模块；

所述缓存模块，用于接收所述参数检测模块输出的同步检测结果标识，当检测到有同步检测结果标识时，存储该同步检测结果标识所对应的视频流输入接口的输入图像信息；

模式处理模块，用于从所述缓存模块中读取输入图像信息，根据设定的不同的处理模式和处理通道进行处理，并将处理数据发送给所述帧同步模块，其中所述处理模式包括合成模式和反走样模式，所述处理通道包括输入通道和输出通道；

所述帧同步模块，用于接收所述参数检测模块发送的视频时序参数和所述模式处理模块发送的处理数据，并在所述处理数据的基础上添加视频同步信号获得输出图像信息，其中所述视频同步信号包括行同步信号和场同步信号；

多个视频流输出接口，用于将所述输出图像信息输出。

2.如权利要求1所述的图像合成器，其特征在于：所述模式处理模块包括合成单元，所述合成单元包括合成模式判断子单元、合成拼接子单元、合成数据输出子单元；

其中所述合成模式判断子单元用于判断是否选择了合成模式，若选择了合成模式判断输入图像信息是否有效；

所述合成拼接子单元，用于在输入图像信息有效的情况下对其进行拼接，形成合成图像数据流；

所述合成数据输出子单元，用于将所述合成图像数据流和输出通道写入到所述帧同步模块中。

3.如权利要求2所述的图像合成器，其特征在于：所述模式处理模块还包括反走样单元，所述反走样单元包括反走样模式判断子单元、反走样拼接子单元、反走样数据输出子单元；

其中所述反走样模式判断子单元用于判断是否选择了反走样模式，若选择了反走样模式判断输入图像信息是否有效；

所述反走样拼接子单元，用于在输入图像信息有效的情况下对其进行反走样拼接，形成反走样图像数据流；

所述反走样数据输出子单元，用于将所述反走样图像数据流和输出通道写入到所述帧同步模块中。

4.如权利要求1-3任一所述的图像合成器，其特征在于：还包括模式与通道选择模块，用于接收外部模式触发开关和通道触发开关的触发信号，并转换成触发信息发送给所述模式处理模块，所述触发信息包括处理模式和处理通道。

5.如权利要求4所述的图像合成器，其特征在于：所述模式与通道选择模块将所述触发信息发送给所述参数检测模块。

6.如权利要求1-5任一所述的图像合成器，其特征在于：所述缓存模块包括缓存读写控制单元和存储单元，所述缓存读写控制单元用于接收所述参数检测模块输出的同步检测结果标识，当检测到有同步检测结果标识时，调取该同步检测结果标识所对应的视频流输入接口的输入图像信息并存入所述存储单元中；所述存储单元与所述视频流输入接口一一对应，每一所述视频流输入接口的输入图像信息存入其对应的存储单元中。

7.如权利要求1-6任一所述的图像合成器，其特征在于：还包括输出缓存模块，用于缓存所述输出图像信息供所述视频流输出接口输出。

8.如权利要求1-7任一所述的图像合成器，其特征在于：还包括复位管理模块，用于接收外部硬件复位信号、序列号检测结果以及模式和通道切换动作，控制所述图像合成器进行系统初始化或停止运行。

9.如权利要求8所述的图像合成器，其特征在于：还包括序列号检测模块，用于在上电开机时读取事先已存序列号，并检测是否符合规定，如果不合，则触发所述复位管理模块停止运行，否则正常运行。

10.如权利要求1-9任一所述的图像合成器，其特征在于：所述视频流输入接口的数量为四个，所述视频流输出接口的数量为两个。