CN113286098B - 图像处理方法和图像拼接设备 - Google Patents

Abstract

一种图像处理方法和图像拼接设备，包括输入模块、传输交换模块、输出模块和同步控制模块，其中输入模块采用行缓存方式，且输入模块不对输入的图像数据进行其他处理，避免了图像数据多次处理带来的额外画质损失，也不会对多路信号之间的同步性造成不可恢复的破坏，采用行缓存方式减少了输入模块的数据延迟，可保证多个输入单元之间的数据延迟差异控制在“1行”数据，并且，在输出模块中引入接收图像处理和发送之间的同步机制，保证了输出模块中多个输出单元之间输出的同步性。

Description

图像处理方法和图像拼接设备

技术领域

本发明涉及图像处理技术领域，具体涉及一种图像处理方法和图像拼接设备。

背景技术

图像拼接设备用于将多路图像数据拼接为一个超大画幅的图像数据，现有的图像拼接设备由交换背板、输入卡、输出卡和控制卡构成。输入卡对输入的图像数据进行采集及预处理，预处理可包括信号适配、帧率及分辨率调整等处理过程，预处理后生成的图像数据被串化并发送至交换背板，交换背板提供输入卡所输出的图像数据与输出卡所输入图像数据之间的交换功能，可以实现任意一个输入卡所输出的图像数据交换并输出到任意一个输出卡，输出卡根据显示需要对所接收到的图像数据进行图像处理并生成待显示图像，上述图像处理可能包括缩放、图层叠加、透明处理等处理过程，控制卡与交换背板、输入卡、输出卡均有连接，用于协调控制整个系统的运行。

现有的图像拼接设备为了最大化地利用交换背板的交换通道资源，输入卡只对预处理所生成的图像数据进行串化并传送，即在输入卡-输出卡之间只有通过交换背板构成的图像数据连接，导致丢失了原始输入信号的同步信息。进一步地，当图像数据经由交换背板传递到输出卡后，输出卡也只能还原出图像数据，而无法恢复与输入卡所连接的原始输入信号一致的同步信号。这种结构及处理方法的图像拼接设备在处理多屏显卡(一个显卡有多个输出口，多个输出口同步地分别输出一个超大画幅图像的不同区域)所输出的多个视频信号的应用时存在以下问题：

1、图像可能会被两次处理，两次处理分别为：输入卡上的分辨率调整和输出卡上的窗口缩放，这两次处理可能会造成画质的严重损失。

2、输入卡上的帧率调整需要对图像进行帧重采样，多屏显卡的多个输出口通过不同输入卡进行重采样处理后，将会对多路信号之间的同步性造成不可恢复的破坏。

3、帧重采样需要进行帧缓存，会引入较大延时，导致多路处理之间的同步性无法保证。

4、各个输出卡的处理过程相互独立，在输出卡上，从图像数据的接收、处理到最终的输出都是各个卡独自执行，无法保证卡间图像处理过程和输出的同步性。

以上多个问题导致的最直接结果就是：现有的图像拼接设备架构不适用于多屏显卡输出的多路图像数据的拼接应用。

发明内容

本发明主要解决的技术问题是提供一种图像拼接设备，能够适用于多屏显卡输出的多路图像数据的拼接应用。

根据第一方面，一种实施例中提供一种图像拼接设备，包括：

输入模块，包括多个输入单元，每个所述输入单元用于采集外部输入的图像数据，并将所采集的图像数据以行像素为单位进行缓存得到多个第一图像数据，依次输出多个第一图像数据，其中，每个所述第一图像数据均具有不同的行标识；

传输交换模块，用于将每个输入单元输出的第一图像数据依次传输至输出模块；

输出模块，包括多个输出单元，所述输出单元与输入单元一一对应，每个所述输出单元用于接收对应的输入单元依次传输的多个第一图像数据，并判断是否完成接收一帧图像数据，若完成接收一帧图像数据，则输出第一状态信号至同步控制模块；

同步控制模块，用于在接收到所有输出单元输出的均为第一状态信号时，输出第一控制信号至各个输出单元，所述第一控制信号用于控制各个输出单元同步对所述第一图像数据进行图像处理；

所述输出单元用于在接收到第一控制信号时，对多个第一图像数据进行图像处理，得到一帧显示图像数据，并输出一帧显示图像数据至显示设备进行显示。

根据第二方面，一种实施例中提供一种用于图像拼接设备的图像处理方法，其中，所述图像拼接设备包括输入模块、传输交换模块、输出模块和同步控制模块，所述输入模块用于将所采集的图像数据以行像素为单位进行缓存得到多个第一图像数据，依次输出多个第一图像数据；所述传输交换模块用于将每个输入单元输出的第一图像数据依次传输至输出模块；所述输出模块用于判断是否完成接收一帧图像数据，若完成接收一帧图像数据，则输出第一状态信号至同步控制模块；所述图像处理方法应用于同步控制模块，所述方法包括：

检测输出模块输出的状态信号；

若检测到输出模块中每个输出单元输出的状态信号均为第一状态信号时，输出第一控制信号至输出模块中的各个输出单元；所述第一控制信号用于控制各个输出单元同步对所述第一图像数据进行图像处理；

所述输出单元用于在接收到第一控制信号时，对多个第一图像数据进行图像处理，得到一帧显示图像数据，并输出一帧显示图像数据至显示设备进行显示。

根据第三方面，一种实施例中提供一种计算机可读存储介质，所述介质上存储有程序，所述程序能够被处理器执行以实现如上述实施例所述的方法。

依据上述实施例的图像拼接设备，包括输入模块、传输交换模块、输出模块和同步控制模块，其中输入模块采用行缓存方式，且输入模块不对输入的图像数据进行其他处理，避免了图像数据多次处理带来的额外画质损失，也不会对多路信号之间的同步性造成不可恢复的破坏，采用行缓存方式减少了输入模块的数据延迟，可保证多个输入单元之间的数据延迟差异控制在“1行”数据，并且，在输出模块中引入接收图像处理和发送之间的同步机制，保证了输出模块中多个输出单元之间输出的同步性。

附图说明

图1为一种实施例的图像拼接设备的结构示意图；

图2为另一种实施例的图像拼接设备的结构示意图；

图3为一种实施例的用于图像拼接设备的图像处理方法流程图；

图4为另一种实施例的用于图像拼接设备的图像处理方法流程图；

图5为再一种实施例的用于图像拼接设备的图像处理方法流程图。

具体实施方式

下面通过具体实施方式结合附图对本发明作进一步详细说明。其中不同实施方式中类似元件采用了相关联的类似的元件标号。在以下的实施方式中，很多细节描述是为了使得本申请能被更好的理解。然而，本领域技术人员可以毫不费力的认识到，其中部分特征在不同情况下是可以省略的，或者可以由其他元件、材料、方法所替代。在某些情况下，本申请相关的一些操作并没有在说明书中显示或者描述，这是为了避免本申请的核心部分被过多的描述所淹没，而对于本领域技术人员而言，详细描述这些相关操作并不是必要的，他们根据说明书中的描述以及本领域的一般技术知识即可完整了解相关操作。

另外，说明书中所描述的特点、操作或者特征可以以任意适当的方式结合形成各种实施方式。同时，方法描述中的各步骤或者动作也可以按照本领域技术人员所能显而易见的方式进行顺序调换或调整。因此，说明书和附图中的各种顺序只是为了清楚描述某一个实施例，并不意味着是必须的顺序，除非另有说明其中某个顺序是必须遵循的。

本文中为部件所编序号本身，例如“第一”、“第二”等，仅用于区分所描述的对象，不具有任何顺序或技术含义。而本申请所说“连接”、“联接”，如无特别说明，均包括直接和间接连接(联接)。

请参考图1，图1为一种实施例的图像拼接设备的结构示意图，所述的图像拼接设备包括：输入模块10、传输交换模块20、输出模块30和同步控制模块40。

输入模块10包括多个输入单元，每个输入单元用于采集外部输入的图像数据，并将所采集的图像数据以行像素为单位进行缓存得到多个第一图像数据，依次输出多个第一图像数据，其中，每个第一图像数据均具有不同的行标识。

在本实施例中，输入模块10可采集多路图像数据，每一路图像数据与输入单元一一对应，其中每一路图像数据包括多个第一图像数据，第一图形数据为任一行像素的图像数据。

在一实施例中，输入单元可以为输入卡，即输入模块包括多个输入卡，本实施例中的输入单元对图像数据进行行缓存，例如，对于1028*1028像素大小的一帧图像数据来说，每一行像素的图像数据打包成一个数据包，即为一个第一图像数据，最终可得到1028个第一图像数据，输入单元按照从上到下的顺序，依次将每一行对应的第一图像数据输出至传输交换模块。输入单元采用行缓存方式，使得不同输入单元从采集图像数据到发送至传输交换模块的时间差异可以控制在1行像素以内，可极大地降低图像数据的输入采集环节引入的延时，提高了各个输入单元在输入环节的同步性。

在一实施例中，输入单元依次输出多个第一图像数据包括：对多个第一图像数据分别进行串化处理，依次输出串化后的多个第一图像数据。

由于输入模块中的各个输入单元只进行行缓存和串化处理，不再进行图像处理(帧率及分辨率调整)，可以有效减少多次图像处理造成的画质损失，以及重采样对各个输入单元输出的图像数据之间的同步性造成的破坏。

传输交换模块20用于将每个输入单元输出的第一图像数据依次传输至输出模块30。传输交换模块20按照输入单元发送的顺序，依次将多个第一图像数据输出至对应的输出单元。

在一实施例中，传输交换模块20为交换卡，其能够实现输入单元数据通道和输出单元数据通道的通道映射。

输出模块30包括多个输出单元，输出单元与输入单元一一对应，每个输出单元用于接收对应的输入单元依次传输的多个第一图像数据，并判断是否完成接收一帧图像数据，若完成接收一帧图像数据，则输出第一状态信号至同步控制模块。

在一实施例中，输出单元接收对应的输入单元输出的多个第一图像数据，每个第一图像数据为一行像素的图像数据，当输出单元完成一帧图像数据的接收时，输出单元并不立即开始对该帧图像数据进行图像处理，但始终将接收状态(第一状态信号)发送至同步控制模块。

同步控制模块40用于在接收到所有输出单元输出的均为第一状态信号时，输出第一控制信号至各个输出单元，其中，第一控制信号用于控制各个输出单元同步对第一图像数据进行图像处理。

同步控制模块40在接收到所有输出单元输出的状态信号均为第一状态信号时，输出第一控制信号至各个输出单元。各个输出单元在接收到第一控制信号后，能够同步对多个第一图像数据进行图像处理，得到一帧显示图像数据，确保各个输出单元在同一时刻开始对同一新接收的一帧图像数据(包括多个第一图像数据)进行图像处理，以得到一帧显示图像数据。

同步控制模块40还用于生成像素时钟信号和场同步信号，并输出像素时钟信号和场同步信号至各个输出单元，以使各个输出单元同步输出一帧显示图像数据至显示设备进行显示，其中，像素时钟信号用于控制各个输出单元以相同速率输出一帧显示图像数据中的各个像素点，场同步信号用于控制各个输出单元同步开始输出一帧显示图像数据。

可见，同步控制模块40不但可以控制所有输出单元同时开始进行图像处理，还可以控制所有输出单元在同一时刻以相同的像素时钟输出一帧显示图像数据至显示设备。也就是，既实现了各个输出单元同步图像处理，还实现了同步输出显示图像数据。

在一实施例中，每个输出单元中设置有一缓存区，输出单元在对多个第一图像数据进行图像处理得到一帧显示图像数据后，将一帧显示图像数据放入缓存区中；基于像素时钟信号和场同步信号，确定像素时钟和开始输出时刻；按照开始输出时刻和像素时钟，输出单元从缓存区中输出一帧显示图像数据至显示设备。这样，可保证各个输出单元能够同步输出一帧显示图像数据，以使显示设备同步接收到各个输出单元输出的一帧显示图像数据，显示设备对各个输出单元输出的一帧显示图像数据进行拼接后显示。需要说明的是，本实施例中涉及的图像拼接可采用现有任一种图像拼接技术，此处不再赘述。

在另一实施例中，输出单元若判断未完成接收一帧图像数据，则输出第二状态信号至同步控制模块；同步控制模块在接收到任一输出单元输出的为第二状态信号时，不输出第一控制信号至各个输出单元。也就是，只要存在一个输出单元未有完成一帧图像数据的接收，同步控制模块不会输出第一控制信号，其他已完成一帧图像数据接收的输出单元也无法进行图像处理，需等待最后一个输出单元完成接收一帧图像数据后，同步控制模块才会输出第一控制信号至各个输出单元，以使各个输出单元能够同步开始图像处理。

在本实施例中，第一状态信号可以为低电平信号(0)，第二状态信号可以为高电平信号(1)，需要说明的是，各个输出单元是持续输出当前的状态信号时，当未完成接收时，会一直输出高电平信号(1)，完成接收后，会一直输出低电平信号(0)，直至接收到第一控制信号开始图像处理为止。

同步控制模块对所接收的各个输出单元输出的所有状态信号(0或1)进行线或运算，当有某些状态信号为1时，线或结果为1；当所有状态信号为0时，线或结果为0。

请参考图2，图2为另一种实施例的图像拼接设备的结构示意图，本实施例以4路多屏显卡信号输入的2x2的图像拼接设备为例进行说明。

2x2的图像拼接设备包括4个输入单元、4个输出单元、传输交换模块和同步控制模块。应用时在显示设备中创建2x2布局的4个窗口，分别用来显示4路图像数据。

4路多屏显卡信号通过4个输入单元采集，4个输入单元分别完成采集、串化处理后，各自将图像数据发送至传输交换模块。

第一个输出单元在接收完一帧图像数据后(由第一个输入单元输出)，帧接收状态输出变为低电平0(第一状态信号)，并检测同步控制模块发送的线或广播信号(第一控制信号)；。

第二个输出单元在接收完一帧图像数据后(由第二个输入单元输出)，帧接收状态输出变为低电平0(第一状态信号)，并检测同步控制模块发送的线或广播信号(第一控制信号)。

第三个输出单元在接收完一帧图像数据后(由第三个输入单元输出)，帧接收状态输出变为低电平0(第一状态信号)，并检测同步控制模块发送的线或广播信号(第一控制信号)。

第四个输出单元在接收完一帧图像数据后(由第四个输入单元发出)，帧接收状态输出变为低电平0(第一状态信号)，并检测同步控制模块发送的线或广播信号(第一控制信号)。

当某个或某些输出单元未完成一帧图像数据的接收时，已完成一帧图像数据接收的输出单元检测到的同步控制模块发送的线或广播信号为1(第二控制信号)，不开始新的一帧图像数据的处理；当所有输出单元都完成一帧图像数据的接收时，所有输出单元检测到的同步控制模块发送的线或广播信号将会在同一时刻变为低电平(第一控制信号)，同步开始对已接收的一帧图像数据处理；同时各个输出单元开始新的一帧图像数据接收，并将帧接收状态输出为高电平1(第二状态信号)。各个输出单元在图像数据处理完成后，将一帧显示图像数据放入缓存区，所有输出单元将会使用相同的像素时钟，并在相同时刻开始一帧显示图像数据的发送。需要说明的是，在图像数据处理环节，需要保证处理一帧图像数据所消耗的时间小于等于一帧图像数据的传输时间即可。如此，本实施例提供的图像拼接设备可以实现对多屏显卡信号的图像拼接处理。

请参考图3，图3为一种实施例的用于图像拼接设备的图像处理方法流程图，该方法应用在输入模块中，其包括以下步骤：

步骤101，输入模块中的每个输入单元采集外部输入的图像数据。

步骤102，各个输入单元将所采集的图像数据以行像素为单位进行缓存得到多个第一图像数据，依次输出多个第一图像数据至传输交换模块。

在本实施例中，传输交换模块将每个输入单元输出的第一图像数据依次传输至输出模块。

请参考图4，图4为另一种实施例的用于图像拼接设备的图像处理方法流程图，该方法应用在输出模块中，其包括以下步骤：

步骤201，输出模块中的每个输出单元接收对应的输入单元依次传输的多个第一图像数据。

步骤202，各个输出单元判断是否完成接收一帧图像数据。

步骤203，输出单元若完成接收一帧图像数据，则输出第一状态信号至同步控制模块，否则输出第二状态信号至同步控制模块。

步骤204，输出单元检测是否接收到第一控制信号。

步骤205，输出单元在接收到第一控制信号时，对多个第一图像数据进行图像处理，得到一帧显示图像数据，将一帧显示图像数据放入对应输出单元的缓存区中。

步骤206，接收同步控制模块输出的像素时钟信号和场同步信号，输出模块中的各个输出单元按照像素时钟信号和场同步信号，同步输出一帧显示图像数据至显示设备进行显示。

请参考图5，图5为再一种实施例的用于图像拼接设备的图像处理方法流程图，该方法应用在同步控制模块中，其包括以下步骤：

步骤301，同步控制模块检测输出模块各个输出单元输出的状态信号。

步骤302，同步控制模块若检测到输出模块中每个输出单元输出的状态信号均为第一状态信号时，输出第一控制信号至输出模块中的各个输出单元；同步控制模块若检测到输出模块中存在输出单元输出的状态信号为第二状态信号，则不输出第一控制信号；其中，第一控制信号用于控制各个输出单元同步对第一图像数据进行图像处理。

步骤303，同步控制模块生成像素时钟信号和场同步信号，并输出所述像素时钟信号和场同步信号至各个输出单元，以使各个输出单元同步输出一帧显示图像数据至显示设备进行显示，所述像素时钟信号用于控制各个输出单元以相同速率输出一帧显示图像数据中的各个像素点，场同步信号用于控制各个输出单元同步开始输出一帧显示图像数据。

需要说明的是，上述实施例提供的图像处理方法中，在输入模块和输出模块中执行的方法构成图像数据的采集、传输、处理和输出过程，其为一个独立的图像数据传输过程；在同步控制模块中执行的方法则为独立的一套控制图像数据同步传输的过程，其与在输入模块和输出模块中执行的方法是两个独立的过程，两者是并行的过程。例如，当同步控制模块在判断输出单元输出的状态信号时，输入单元可同时采集下一帧的图像数据，并传输给输出单元；再例如，输出单元接收到第一控制信号后开始对当前帧的图像数据进行图像处理时，同步控制模块可同时检测该输出单元针对下一帧图像数据输出的状态信号。

以上应用了具体个例对本发明进行阐述，只是用于帮助理解本发明，并不用以限制本发明。对于本发明所属技术领域的技术人员，依据本发明的思想，还可以做出若干简单推演、变形或替换。

Claims (7)

1.一种图像拼接设备，其特征在于，包括：

输入模块，包括多个输入单元，每个所述输入单元用于采集外部输入的图像数据，并将所采集的图像数据以行像素为单位进行缓存得到多个第一图像数据，依次输出多个第一图像数据，其中，每个所述第一图像数据均具有不同的行标识；

传输交换模块，用于将每个输入单元输出的第一图像数据依次传输至输出模块；

输出模块，包括多个输出单元，所述输出单元与输入单元一一对应，每个所述输出单元用于接收对应的输入单元依次传输的多个第一图像数据，并判断是否完成接收一帧图像数据，若完成接收一帧图像数据，则输出第一状态信号至同步控制模块；

同步控制模块，用于在接收到所有输出单元输出的均为第一状态信号时，输出第一控制信号至各个输出单元，所述第一控制信号用于控制各个输出单元同步对所述第一图像数据进行图像处理；

所述输出单元用于在接收到第一控制信号时，对多个第一图像数据进行图像处理，得到一帧显示图像数据，并输出一帧显示图像数据至显示设备进行显示；

所述判断是否完成接收一帧图像数据，若完成接收一帧图像数据，则输出第一状态信号至同步控制模块，包括：

获取第一图像数据的行标识；

判断所述行标识是否为预设的帧结束行标识；

若判断为预设的帧结束行标识，则输出第一状态信号至同步控制模块；

所述同步控制模块还用于：

生成像素时钟信号和场同步信号，并输出所述像素时钟信号和场同步信号至各个输出单元，以使各个输出单元同步输出一帧显示图像数据至显示设备进行显示，所述像素时钟信号用于控制各个输出单元以相同速率输出一帧显示图像数据中的各个像素点，场同步信号用于控制各个输出单元同步开始输出一帧显示图像数据。

2.如权利要求1所述的图像拼接设备，其特征在于，所述输出单元还用于：

在对多个第一图像数据进行图像处理得到一帧显示图像数据后，将一帧显示图像数据放入缓存区中；

基于所述像素时钟信号和场同步信号，确定像素时钟和开始输出时刻；

按照开始输出时刻和像素时钟，从缓存区中输出一帧显示图像数据至显示设备。

3.如权利要求1所述的图像拼接设备，其特征在于，所述依次输出多个第一图像数据，包括：

对多个所述第一图像数据分别进行串化处理，依次输出串化后的多个第一图像数据。

4.如权利要求1所述的图像拼接设备，其特征在于，所述输出单元还用于：

若判断未完成接收一帧图像数据，则输出第二状态信号至同步控制模块；

所述同步控制模块还用于：

在接收到任一输出单元输出的为第二状态信号时，不输出第一控制信号至各个输出单元。

5.如权利要求1至4中任一项所述的图像拼接设备，其特征在于，所述输入模块包括4个输入单元，输出模块包括4个输出单元，所述输出模块输出的一帧显示图像数据为4路；

所述显示设备的显示界面上包括4个窗口，每个所述窗口分别用于显示一路一帧显示图像数据。

6.一种用于图像拼接设备的图像处理方法，其特征在于，所述图像拼接设备包括输入模块、传输交换模块、输出模块和同步控制模块，所述输入模块用于将所采集的图像数据以行像素为单位进行缓存得到多个第一图像数据，依次输出多个第一图像数据；所述传输交换模块用于将输入模块中每个输入单元输出的第一图像数据依次传输至输出模块；所述输出模块用于判断是否完成接收一帧图像数据，若完成接收一帧图像数据，则输出第一状态信号至同步控制模块；所述同步控制模块用于：

检测输出模块输出的状态信号；

若检测到输出模块中每个输出单元输出的状态信号均为第一状态信号时，输出第一控制信号至输出模块中的各个输出单元；所述第一控制信号用于控制各个输出单元同步对所述第一图像数据进行图像处理；

所述输出单元用于在接收到第一控制信号时，对多个第一图像数据进行图像处理，得到一帧显示图像数据，并输出一帧显示图像数据至显示设备进行显示；

所述判断是否完成接收一帧图像数据，若完成接收一帧图像数据，则输出第一状态信号至同步控制模块，包括：

获取第一图像数据的行标识；

判断所述行标识是否为预设的帧结束行标识；

若判断为预设的帧结束行标识，则输出第一状态信号至同步控制模块；

所述同步控制模块还用于：

生成像素时钟信号和场同步信号，并输出所述像素时钟信号和场同步信号至各个输出单元，以使各个输出单元同步输出一帧显示图像数据至显示设备进行显示，所述像素时钟信号用于控制各个输出单元以相同速率输出一帧显示图像数据中的各个像素点，场同步信号用于控制各个输出单元同步开始输出一帧显示图像数据。

7.一种计算机可读存储介质，其特征在于，所述介质上存储有程序，所述程序能够被处理器执行以实现如权利要求6所述的方法。

Images