CN115314691B - 一种图像几何校正方法、装置、电子设备及存储介质 - Google Patents

Abstract

本申请提供了一种图像几何校正方法、装置、电子设备及存储介质，该方法包括：使用相机对不同投影通道投射在投影幕上的多个投影光斑进行标定，获得相机坐标系与各个输入源图像坐标系之间的映射关系；对多个投影光斑中的有效投影区域进行识别，确定相机坐标系下的第一投影点阵；基于映射关系确定输入源图像坐标系下与第一投影点阵对应的第二投影点阵；利用第二投影点阵与原始点阵之间的位置关系，确定几何校正参数；利用几何校正参数对不同投影通道投射的多个投影光斑进行几何校正获得几何校正后的投影图像。通过采用上述图像几何校正方法、装置、电子设备及存储介质，解决了多个投影图像拼接在一起时几何校正效率低、精度差的问题。

Description

一种图像几何校正方法、装置、电子设备及存储介质

技术领域

本申请涉及图像处理技术领域，具体而言，涉及一种图像几何校正方法、装置、电子设备及存储介质。

背景技术

在将多个图像投影装置的投影图像在一个屏幕上连接合并而显示为一个图像的图像投影系统中，为了使投影图像之间的重叠部分平滑地连接，必需移动投影图像的位置或者使投影图像变形，这种移动处理或变形处理一般被称为几何校正。目前，当投影图像为多个时通常是针对每个投影图像逐个进行几何校正，然后将几何校正后的多个投影图像拼接在一起。

然而，采用上述几何校正方法时，逐个对投影图像进行几何校正不但效率低，在将几何校正后的多个投影图像拼接在一起时，还会出现多个几何校正后的投影图像之间无法平滑连接，导致几何校正精度差的问题。

发明内容

有鉴于此，本申请的目的在于提供一种图像几何校正方法、装置、电子设备及存储介质，以解决多个投影图像拼接在一起时几何校正效率低、精度差的问题。

第一方面，本申请实施例提供了一种图像几何校正方法，包括：

使用相机对不同投影通道投射在投影幕上的多个投影光斑进行标定，获得相机坐标系与各个输入源图像坐标系之间的映射关系；

对多个投影光斑中的有效投影区域进行识别，确定相机坐标系下的第一投影点阵，第一投影点阵是有效投影区域对应的点阵；

基于映射关系，确定输入源图像坐标系下与第一投影点阵对应的第二投影点阵；

利用第二投影点阵与原始点阵之间的位置关系，确定几何校正参数；

利用几何校正参数对不同投影通道投射的多个投影光斑进行几何校正，获得几何校正后的投影图像。

可选地，对多个投影光斑中的有效投影区域进行识别，确定相机坐标系下的第一投影点阵，包括：利用相机对多个投影光斑进行自动识别获取第一投影点阵，或者，使用水平仪对多个投影光斑进行标识并拍照获取第一投影点阵，或者，对多个投影光斑进行手动描点标定获取第一投影点阵。

可选地，利用相机对多个投影光斑进行自动识别获取第一投影点阵，包括：利用相机对多个投影光斑中的每个投影光斑进行拍照，获取多个投影光斑图像；针对每个投影光斑图像，利用轮廓识别算法对该投影光斑图像以及投影幕的轮廓进行识别，获取该投影通道下投影光斑的光斑轮廓信息以及投影幕的幕轮廓信息；基于该投影通道下的光斑轮廓信息以及幕轮廓信息，确定该投影通道下投影幕的顶点位置、投影光斑的顶点位置以及投影光斑的各条边范围；根据该投影通道下投影幕的顶点位置、投影光斑的顶点位置以及投影光斑的各条边范围，确定该投影通道的有效投影区域；在每个有效投影区域内按照预设比例进行取点，获取每个投影通道对应的第一投影点阵。

可选地，使用水平仪对多个投影光斑进行标识并拍照获取第一投影点阵，包括：使用水平仪在投影幕上按照预设比例位置对多个投影光斑进行多次线条标注，每次线条标注完成后获取一张投影标注图像，每次线条标注只对多个投影光斑的一行和/或一列进行标注，投影标注图像上包括至少一条横线和/或至少一条竖线；将多张投影标注图像合成在一起，获取一张合成后的投影标注图像；将合成后的投影标注图像上横线与竖线的交点作为网格点，由多个网格点构成第一投影点阵。

可选地，对多个投影光斑进行手动描点标定获取第一投影点阵，包括：从多个投影通道中选取目标投影通道，生成与目标投影通道对应的初始点阵；针对初始点阵中的每个初始像素点，响应于针对该初始像素点的拖动指令，将该初始像素点移动至拖动指令指示的目标位置处，以使目标位置处的初始像素点间的距离符合预设比例；对目标位置处的初始像素点进行描点，获取第一投影点阵。

可选地，映射关系包括第一映射关系，第一映射关系用以表征相机坐标系到输入源图像坐标系的映射关系；基于映射关系，确定输入源图像坐标系下与第一投影点阵对应的第二投影点阵，包括：针对第一投影点阵中的每个第一像素点，获取该第一像素点的行号以及列号；确定在第一映射关系中与该第一像素点的行号以及列号对应的映射数据；由多个映射数据构成第二投影点阵。

可选地，利用第二投影点阵与原始点阵之间的位置关系，确定几何校正参数，包括：针对原始点阵中的每个原始像素点，在第二投影点阵中确定与该原始像素点相邻的多个目标第二像素点；在原始点阵中，确定与多个目标第二像素点对应的多个目标原始像素点；计算该原始像素点与多个目标第二像素点之间的比例关系；将比例关系应用到多个目标原始像素点中，确定与该原始像素点对应的第三像素点；由多个第三像素点构成几何校正参数。

第二方面，本申请实施例还提供了一种图像几何校正装置，所述装置包括：

标定模块，用于使用相机对不同投影通道投射在投影幕上的多个投影光斑进行标定，获得相机坐标系与各个输入源图像坐标系之间的映射关系；

第一点阵确定模块，用于对多个投影光斑中的有效投影区域进行识别，确定相机坐标系下的第一投影点阵，第一投影点阵是有效投影区域对应的点阵；

第二点阵确定模块，用于基于映射关系，确定输入源图像坐标系下与第一投影点阵对应的第二投影点阵；

参数计算模块，用于利用第二投影点阵与原始点阵之间的位置关系，确定几何校正参数；

几何校正模块，用于利用几何校正参数对不同投影通道投射的多个投影光斑进行几何校正，获得几何校正后的投影图像。

第三方面，本申请实施例还提供一种电子设备，包括：处理器、存储器和总线，所述存储器存储有所述处理器可执行的机器可读指令，当电子设备运行时，所述处理器与所述存储器之间通过总线通信，所述机器可读指令被所述处理器执行时执行如上述的图像几何校正方法的步骤。

第四方面，本申请实施例还提供一种计算机可读存储介质，该计算机可读存储介质上存储有计算机程序，该计算机程序被处理器运行时执行如上述的图像几何校正方法的步骤。

本申请实施例带来了以下有益效果：

本申请实施例提供的一种图像几何校正方法、装置、电子设备及存储介质，能够通过相机对多个投影光斑同时进行标定，以获取相机坐标系与输入源图像坐标系之间的映射关系，通过该映射关系计算出表征有效投影区域的第一投影点阵对应的输入源图像坐标系下第二投影点阵，最后利用第二投影点阵与原始点阵之间的位置关系对多个投影光斑进行几何校正，与现有技术中的图像几何校正方法相比，解决了多个投影图像拼接在一起时几何校正效率低、精度差的问题。

为使本申请的上述目的、特征和优点能更明显易懂，下文特举较佳实施例，并配合所附附图，作详细说明如下。

附图说明

为了更清楚地说明本申请实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本申请的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。

图1示出了本申请实施例所提供的图像几何校正方法的流程图；

图2示出了本申请实施例所提供的相机坐标系下投影光斑和有效投影区域的示意图；

图3示出了本申请实施例所提供的水平融合带的示意图；

图4示出了本申请实施例所提供的竖直融合带的示意图；

图5示出了本申请实施例所提供的目标投影通道的默认点阵的示意图；

图6示出了本申请实施例所提供的水平方向比例关系以及竖直方向比例关系的示意图；

图7示出了本申请实施例所提供的图像几何校正装置的结构示意图；

图8示出了本申请实施例所提供的电子设备的结构示意图。

具体实施方式

为使本申请实施例的目的、技术方案和优点更加清楚，下面将结合本申请实施例中附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本申请实施例的组件可以以各种不同的配置来布置和设计。因此，以下对在附图中提供的本申请的实施例的详细描述并非旨在限制要求保护的本申请的范围，而是仅仅表示本申请的选定实施例。基于本申请的实施例，本领域技术人员在没有做出创造性劳动的前提下所获得的每个其他实施例，都属于本申请保护的范围。

值得注意的是，在本申请提出之前，在将多个图像投影装置的投影图像在一个屏幕上连接合并而显示为一个图像的图像投影系统中，为了使投影图像之间的重叠部分平滑地连接，必需移动投影图像的位置或者使投影图像变形，这种移动处理或变形处理一般被称为几何校正。目前，当投影图像为多个时通常是针对每个投影图像逐个进行几何校正，然后将几何校正后的多个投影图像拼接在一起。然而，采用上述几何校正方法时，逐个对投影图像进行几何校正不但效率低，在将几何校正后的多个投影图像拼接在一起时，还会出现多个几何校正后的投影图像之间无法平滑连接，导致几何校正精度差的问题。

基于此，本申请实施例提供了一种图像几何校正方法，以提高图像几何校正的效率及精度。

请参阅图1，图1为本申请实施例所提供的一种图像几何校正方法的流程图。如图1所示，本申请实施例提供的图像几何校正方法，包括：

步骤S101，使用相机对不同投影通道投射在投影幕上的多个投影光斑进行标定，获得相机坐标系与各个输入源图像坐标系之间的映射关系。

该步骤中，投影通道可指将输入源图像投射至投影幕的通道，投影通道包括输入源、几何校正设备、投影仪、投影路径。

输入源可指提供输入源图像的设备，输入源与投影仪连接，输入源向投影仪提供待投影的输入源图像。

示例性的，输入源可以是与投影仪连接的电脑，也可以是与投影仪连接的电视。

输入源图像可指输入源中存储的要投射到投影幕上的原始图像。

几何校正设备对输入源图像进行几何形变后，再将几何形变后的输入源图像传输给投影仪，本申请中的几何校正方法就是在该几何校正设备中实现。

投影仪可指具有投影功能的设备，投影仪能够将输入源发送来的输入源图像投射在投影幕上。

投影路径可指投影仪向投影幕投射图像的路径。

投影幕可指呈现投影图像的幕，投影幕类型包括但不限于：球幕、柱面幕、平面幕。

投影光斑可指投影仪投射在投影幕上的光斑，投影光斑在未进行几何校正前可能超出投影幕的范围，也可能出现投影光斑歪斜等情况，需要对投影光斑进行几何校正。

相机坐标系是以相机拍摄的照片的左上角为原点，水平向右为X轴，竖直向下为Y轴，以照片分辨率为1024×768为例，则X轴取值范围为(0,1024)，Y轴取值范围为(0,768)。

相机坐标系用于对相机拍摄的图片中各像素点在输入源图像坐标系下的位置进行标定，同时还用于生成第一投影点阵。

输入源图像坐标系是以输入源图像的左上角为原点，水平向右为X轴，竖直向下为Y轴，以输入源图像分辨率为1024×768为例，则X轴取值范围为(0,1024)，Y轴取值范围为(0,768)。

输入源图像坐标系用于生成原始点阵和计算第二投影点阵。

在本申请实施例中，使用结构光测试图和格雷码标定技术，利用至少一个相机对至少一个投影通道对应的投影光斑进行拍照并标定，以得到各个相机坐标系与各个输入源图像坐标系之间的映射关系，该映射关系记作：A。具体的，以单个相机进行标定为例，如果该一个相机能够拍摄所有投影通道对应的多个投影光斑，则没必要使用两个及以上相机进行标定。如果一个相机无法拍摄到所有投影光斑，则使用多个相机进行标定。假设，共有5投影仪对应投射出5个投影光斑，且这5个投影光斑排列成一行，而相机A可以拍摄到第一个投影光斑以及第二个投影光斑，相机B可以拍摄到第三个投影光斑、第四个投影光斑、第五个投影光斑的全部，则可使用相机A对第一个投影光斑、第二个投影光斑、第三个投影光斑进行标定，其中，第三个投影光斑只需要标定第二和第三个通道间的融合带区域即可，使用相机B对第二个投影光斑、第三个投影光斑、第四个投影光斑、第五个投影光斑进行标定，其中第二个投影光斑只需要标定第二和第三个通道间的融合带区域即可。

其中，结构光测试图和格雷码标定技术均属于现有技术，这里不再赘述。

映射关系A包括第一映射关系A1以及第二映射关系A2，其中，第一映射关系A1是相机坐标系到输入源图像坐标系的映射关系，第二映射关系A2是输入源图像坐标系到相机坐标系的映射关系。第一映射关系与第二映射关系是可以互相推导出来的，只要确定其中一个映射关系就可以推出另一个映射关系，但是为了便于后续直接拿来使用，可先确定这两个映射关系。

这里，相机坐标系下相机拍摄的照片的分辨率记作：Hc×Wc，输入源图像坐标系下投影光斑的分辨率记作：Hs×Ws。

如此，第一映射关系可以表示为Hc×Wc×2，表示相机坐标系下相机拍摄的照片中每个像素点的坐标及该像素点在输入源图像坐标系中对应位置的像素点的坐标，当拍摄的相机为多个时，每个相机i和该相机可以拍摄到投影通道j之间都存在对应的映射关系A1_i_j，其中，投影通道j可以表示多个投影通道，也可以表示一个投影通道，当投影通道j表示多个投影通道时，代表相机i拍摄到了多个投影通道投射至投影幕上的投影光斑。这样，根据第一映射关系，就可以将相机坐标系下像素点的坐标映射到输入源图像坐标系下像素点的坐标，从而根据输入源图像坐标系下像素点的坐标可以确定输入源图像坐标系下的有效投影区域。

如此，第二映射关系可以表示为Hs×Ws×2，表示输入源图像坐标系下每个像素点的坐标及该像素点在相机坐标系中对应位置的像素点的坐标，当拍摄的相机为多个时，每个相机i和该相机可以拍摄到投影通道j之间都存在对应的映射关系A2_i_j，其中，投影通道j可以表示多个投影通道，也可以表示一个投影通道，当投影通道j表示多个投影通道时，代表相机i拍摄到了多个投影通道投射至投影幕上的投影光斑。

在通过多个相机对投影光斑进行几何校正时，若在其中一个相机i拍摄的照片中对投影通道j对应的投影光斑进行描点后，经过A1_i_j的映射，可以确定投影通道j在输入源图像坐标系下的有效投影区域，经过A2_k_j的映射，可以计算得到投影通道j在相机k拍摄的照片中的描点。可见，相当于在任意一个相机中描点，就可以得到其在所有能拍到该点的相机中的描点位置，这能提高多相机系统中的全局描点的描点效率。

其中，描点是指用户通过软件对拍摄的照片中的像素点的选取以及标记操作，通过描点来确定有效投影区域，以投影光斑大于投影幕为例，对投影幕的顶点进行描点，以将有效投影区域确定在投影幕范围内。

需要说明的是，不同类型的投影幕所采用的描点方式有所不同，以平面幕为例描点的线条类型为直线，而在柱面或者球幕上描点的线条类型为曲线，本申请实施例中均以平面幕为例进行说明。不同投影光斑形状也会对描点操作产生影响。

步骤S102，对多个投影光斑中的有效投影区域进行识别，确定相机坐标系下的第一投影点阵。

该步骤中，多个投影光斑可指多个投影通道对应的投影光斑，若投影通道数量为5，则有5个投影光斑。

第一投影点阵是有效投影区域对应的点阵，有效投影区域可指投影光斑的有效投影区域，多个投影光斑对应的有效投影区域包括多个投影光斑各自对应的有效投影区域。

下面参照图2来介绍投影光斑以及有效投影区域。

图2示出了本申请实施例所提供的相机坐标系下投影光斑和有效投影区域的示意图。

如图2所示，输入源图像在投射前是矩形形状的，但是投射在投影幕上后可能发生形变得到不规则形状的投影光斑，需要识别出投影光斑中的有效投影区域，并确定该有效投影区域对应的有效投影区域点阵，即，第一投影点阵，以将第一投影点阵与输入源图像对应的原始点阵相对应。

有效投影区域可以用第一投影点阵来表示，第一投影点阵是二维坐标点阵。第一投影点阵用于描述有效投影区域，可通过在有效投影区域上以固定间隔取点的方式来确定第一投影点阵，取点间隔越小则第一投影点阵的数据越多，后续几何校正越精细。需要说明的是，进行图像几何形变的目的就是将输入源图像经过投影仪投射到投影幕上后由图2中投影光斑的尺寸，形变为图2中有效投影区域的尺寸。

以输入源图像的分辨率为1920×1080像素为例，假设取13×11的点阵，则将输入源图像分割为12×10的网格。若均匀取点，则可以横向以1920/12＝160像素为间隔，纵向以1080/10＝108像素为间隔确定第一投影点阵的原始位置；若考虑到融合带的非均匀取点，例如：设定水平融合带宽度在左右两个方向上均为400像素的2列网格宽度，竖直融合带高度在上下两个方向上均为200像素的2行网格宽度，则水平融合带区域的网格宽度为400/2＝200像素，水平非融合带区域的网格宽度为(1920-400×2)/(12-2×2)＝1120/8＝140像素，竖直融合带区域的网格宽度为200/2＝100像素，竖直非融合带区域的网格宽度为(1080-200×2)/(10-2×2)＝680/6＝113像素。

下面参照图3以及图4来介绍水平融合带以及竖直融合带。

图3示出了本申请实施例所提供的水平融合带的示意图。

如图3所示，点阵中的相邻像素点连线可以形成网格图，网格图可以体现出融合带的位置及大小，融合带的位置及大小可以通过设置融合带占用的网格数来确定，图3中的10×12的网格图中，可以将左起第1、第2列网格设置为水平左融合带，可以将左起第11、第12列网格设置为水平右融合带。

图4示出了本申请实施例所提供的竖直融合带的示意图。

如图4所示，10×12的网格图中，可以将上起第1、第2行网格设置为竖直上融合带，可以将上起第9、第10行网格设置为竖直下融合带。

在一可选实施例中，对多个投影光斑中的有效投影区域进行识别，确定相机坐标系下的第一投影点阵，包括：利用相机对多个投影光斑进行自动识别获取第一投影点阵，或者，使用水平仪对多个投影光斑进行标识并拍照获取第一投影点阵，或者，对多个投影光斑进行手动描点标定获取第一投影点阵。

这里，可以通过多种方式对多个投影光斑中的有效投影区域进行识别，可以采用如下三种方式对有效投影区域进行识别：

第一种是利用相机对多个投影光斑进行自动识别获取第一投影点阵，适用于精度要求不高或者用户不方便手动调试的融合场景。

第二种是用水平仪对多个投影光斑进行标识并拍照获取第一投影点阵，适用于精度要求极高的融合场景。

第三种是对多个投影光斑进行手动描点标定获取第一投影点阵。

在一可选实施例中，利用相机对多个投影光斑进行自动识别获取第一投影点阵，包括：利用相机对多个投影光斑中的每个投影光斑进行拍照，获取多个投影光斑图像；针对每个投影光斑图像，利用轮廓识别算法对该投影光斑图像以及投影幕的轮廓进行识别，获取该投影通道下投影光斑的光斑轮廓信息以及投影幕的幕轮廓信息；基于该投影通道下的光斑轮廓信息以及幕轮廓信息，确定该投影通道下投影幕的顶点位置、投影光斑的顶点位置以及投影光斑的各条边范围；根据该投影通道下投影幕的顶点位置、投影光斑的顶点位置以及投影光斑的各条边范围，确定该投影通道的有效投影区域；在每个有效投影区域内按照预设比例进行取点，获取每个投影通道对应的第一投影点阵。

这里，当使用多个相机对投影光斑进行几何校正时，针对每个相机，使用该相机对该相机能看到的每个投影光斑进行拍照，获取这些投影通道的投影光斑图像，并利用轮廓识别算法识别投影光斑图像中的投影幕及各个投影光斑的轮廓信息，根据光斑轮廓信息可以计算出轮廓各处的弯折角度。

根据光斑轮廓信息，先确定出投影光斑中发生弯折的多个目标位置，从多个目标位置中选取弯折角度最大的四个位置作为顶点位置，然后，通过弯折角度确定出投影光斑顶点的顶点类型，顶点类型包括左上顶点、右上顶点、左下顶点、右下顶点。确定了各个投影光斑顶点的顶点类型后，将相邻两个投影光斑顶点之间的边缘像素点连接起来，得到投影光斑的边。

根据各投影通道下投影幕的顶点位置、投影光斑的顶点位置以及投影光斑的各条边范围，软件自动计算出各投影通道的有效投影区域。在该有效投影区域内，根据输入源图像坐标系中的点阵参数，软件自动按照比例取点形成该投影通道对应的第一投影点阵。其中，输入源图像坐标系中的点阵参数指的是在均匀取点时，像素点之间的横向间隔以及纵向间隔，在考虑融合带的非均匀取点时，水平左融合带宽度、水平右融合带宽度、网格列数，竖直上融合带网格高度、竖直下融合带网格高度、网格行数。

在一可选实施例中，使用水平仪对多个投影光斑进行标识并拍照获取第一投影点阵，包括：使用水平仪在投影幕上按照预设比例位置对多个投影光斑进行多次线条标注，每次线条标注完成后获取一张投影标注图像，每次线条标注只对多个投影光斑的一行和/或一列进行标注，投影标注图像上包括至少一条横线和/或至少一条竖线；将多张投影标注图像合成在一起，获取一张合成后的投影标注图像；将合成后的投影标注图像上横线与竖线的交点作为网格点，由多个网格点构成第一投影点阵。

这里，多个投影光斑组成一个整体投影光斑，使用水平仪向投影幕上的整体投影光斑范围内的目标位置发射激光，形成一条激光线，每形成一条激光线便拍照一次获取一张投影标注图像，然后按照预设的比例位置选取新的目标位置，并在投影幕的新的目标位置发射激光，形成另一条激光线，继续拍照获得下一张投影标注图像，依此类推，直至按照规划在投影幕上完成所有激光线，获得多张投影标注图像。其中，目标位置的选取方法可以是先以固定间隔依次选取多条横线，然后以固定间隔依次选取多条竖线，还可以是先以固定间隔依次选取多条竖线，再以固定间隔依次选取多条横线，还可以是同时选取一条横线以及一条竖线，对选取的横线及竖线位置发射激光并拍照，然后再选取下一条横线以及下一条竖线，对选取的下一条横线及下一条竖线位置发射激光并拍照。

最后将多张投影标注图像合成为一张投影标注图像，该合成后的投影标注图像上有多个横线与竖线的交叉点，这些交叉点即是网格点，用户在合成后的投影标注图像上对这些网格点进行描点，确定第一投影点阵。

将多张投影标注图像合成为一张投影标注图像的方法有两种：

第一种是，设置一个阈值T，该阈值T可以是RGB值，针对多张投影标注图像中的每张投影标注图像，将该投影标注图像的像素值减去T，得到新的投影标注图像，将所有新的投影标注图像中对应位置处的各像素点的像素值相加得到合成后的投影标注图像。

第二种是，额外拍摄一张没有进行线条标注的投影图像，针对多张投影标注图像中的每张投影标注图像，将该投影标注图像中各像素点的像素值与没有进行线条标注的投影图像中各像素点的像素值相减，得到新的投影标注图像，所有新的投影标注图像相加得到合成后的投影标注图像。

在一可选实施例中，对多个投影光斑进行手动描点标定获取第一投影点阵，包括：从多个投影通道中选取目标投影通道，生成与目标投影通道对应的初始点阵；针对初始点阵中的每个初始像素点，响应于针对该初始像素点的拖动指令，将该初始像素点移动至拖动指令指示的目标位置处，以使目标位置处的初始像素点间的距离符合预设比例；对目标位置处的初始像素点进行描点，获取第一投影点阵。

这里，用户可从多个投影通道中选取若干投影通道作为目标投影通道，目标投影通道至少为1个，生成目标投影通道对应的默认点阵，该默认点阵是根据目标投影通道的分辨率及点阵规模预设的。

下面参照图5来介绍默认点阵。

图5示出了本申请实施例所提供的目标投影通道的默认点阵的示意图。

如图5所示，共有3个目标投影通道，这3个目标投影通道是按照上面2个投影通道下面一个投影通道的形式排列，且下面的这个投影通道是靠左侧放置的，上面两个目标投影通道对应的默认点阵分别是默认点阵201以及默认点阵202，下面一个目标投影通道对应的默认点阵是默认点阵203，每个默认点阵均为6×7的点阵。其中，白色圆点为融合带区域，水平融合带宽度是3列点阵围成的2列网格，竖直融合带高度是2行点阵围成的1行网格，则在相机拍摄的图像中有(7-3+7)×(6-2+6)＝11×10的点阵，分成9×10的网格，其中，从左侧算起第5、6列网格为竖直融合带区域，从上侧算起第5行网格为竖直融合带区域。

通常情况下，对于处于同一个融合带区域内的像素点，在预设时是按照均匀分布进行设置的，同一个非融合带区域内的像素点，在预设时是按照均匀分布进行设置的。

然后，针对默认点阵上的每个点，用户拖动该点至图像中的目标位置处，得到第一投影点阵。

在一优选实施例中，可以只移动点阵中部分点，然后使用插值算法将剩余未移动的点插值计算出其粗略的目标位置，插值后再进行少量的移动，就可以使剩余未移动的点移动到目标位置。这样可以加快描点的速度。其中，插值算法包括但不限于：三次样条插值。

需要说明的是，描点方式根据相机的数量及位置的不同而不同，这里，可将不同的相机数量及位置分为三种情形：单相机固定位置、多相机固定位置和单相机可移动。

单相机固定位置情形：指仅使用一个相机对投影幕进行拍摄，对至少一个投影通道进行几何校正。该相机拍摄的画面可以覆盖所有投影光斑。这种情形下，描点比较简单，只需要在该相机拍摄的画面中描点，将所有投影通道的点一次性都描完，使用第一映射关系和第一投影点阵即可进行后续计算。

多相机固定位置情形：有多个相机对投影幕进行拍摄，多个相机可同时进行校正的情形。此时手动描点需要使用第一映射关系、第二映射关系以及第一投影点阵。对某一个投影通道进行描点时，我们可以选择其中一个可以拍到该投影通道全貌的相机，在该相机拍摄的照片上进行描点，其他也能拍到该投影通道的相机画面上，通过映射关系计算自动显示计算出的该相机的描点坐标信息，这种方式更便于全局描点。具体的，可根据相机A坐标系中的某一描点位置和相机A坐标系与投影通道B的输入源图像坐标系之间的映射关系，确定该描点在投影通道B的输入源图像坐标系中的位置p，根据投影通道B的输入源图像坐标系和相机C坐标系的映射关系以及计算的位置p，可以确定描点在相机C坐标系下的位置，由以上流程可以确定在相机A坐标系下的描点，在相机C坐标系上也能自动显示该描点。

单相机可移动情形：只有一个相机拍摄，且该相机可以移动位置，每移动一次位置就对选中的某几个投影通道进行标定，然后进行描点和几何校正。

步骤S103，基于映射关系，确定输入源图像坐标系下与第一投影点阵对应的第二投影点阵。

该步骤中，第二投影点阵可指输入源图像坐标系下的点阵，第二投影点阵与第一投影点阵相对应。

具体的，根据映射关系可以计算出每个第一投影点阵对应的输入源图像坐标系下的第二投影点阵。

在一可选实施例中，映射关系包括第一映射关系，第一映射关系用以表征相机坐标系到输入源图像坐标系的映射关系；基于映射关系，确定输入源图像坐标系下与第一投影点阵对应的第二投影点阵，包括：针对第一投影点阵中的每个第一像素点，获取该第一像素点的行号以及列号；确定在第一映射关系中与该第一像素点的行号以及列号对应的映射数据；由多个映射数据构成第二投影点阵。

这里，假设利用相机i对投影通道j投射的投影光斑进行几何校正，其中，相机i对投影通道j描点得到的第一投影点阵记作：B_i_j，相机i到投影通道j的映射关系记作A1_i_j。

具体的，针对第一投影点阵中的每个第一像素点，逐点获取该第一像素点的坐标值B，其中，第m行第n列的第一像素点的坐标记作：B(m,n)，在第一映射关系A1中均能找到该第一像素点对应的数据，记作：A1(B(m,n,1),B(m,n,2))，令C(m,n)＝A1(B(m,n,1),B(m,n,2))，由所有第一映射关系中与第一像素点对应的数据组成的集合确定为第二投影点阵C，第二投影点阵C也为M×N×2的数组。

步骤S104，利用第二投影点阵与原始点阵之间的位置关系，确定几何校正参数。

该步骤中，原始点阵可指实际投影幕上均匀插值出的点阵，原始点阵的大小与输入源图像的分辨率有关。

几何校正参数可指第二投影点阵中各第二像素点与原始点阵中各原始像素点之间的对应关系。

在一可选实施例中，利用第二投影点阵与原始点阵之间的位置关系，确定几何校正参数，包括：针对原始点阵中的每个原始像素点，在第二投影点阵中确定与该原始像素点相邻的多个目标第二像素点；在原始点阵中，确定与多个目标第二像素点对应的多个目标原始像素点；计算该原始像素点与多个目标第二像素点之间的比例关系；将比例关系应用到多个目标原始像素点中，确定与该原始像素点对应的第三像素点；由多个第三像素点构成几何校正参数。

这里，实际投影幕水平方向像素点的数量记作：w，竖直方向像素点的数量记作：h，实际投影幕的标准点阵在水平方向上的像素间隔记作：horin，实际投影幕的标准点阵在竖直方向上的像素间隔记作：verin，上述参数都是设定的数值。按照设定的像素间隔，在实际投影幕上均匀插值出的M×N的原始点阵，记作：E，原始点阵E的第j行第i列的点坐标为EP(ex(j，i)，ey(j,i)),可以得出如下关系：ex(j,i)＝(i-1)×horin,ey(j，i)＝(j-1)×verin。

其中，几何校正参数也是以点阵的形式表示的，记作：D，几何校正参数的计算方法如下：

遍历原始点阵E中的每个原始像素点EP(ex(j，i)，ey(j，i))，在第二投影点阵C中寻找与该原始像素点相邻的4个目标第二像素点，其中，相邻是指横坐标及纵坐标相邻，以某点的横坐标为j、纵坐标为i为例，相邻4个点指的是坐标分别为(j-1，i)、(j+1，i)、(j，i-1)、(j，i+1)的点。假设，这4个目标第二像素点分别为op1(ox1，oy1)、op2(ox2，oy2)、op3(ox3，oy3)、op4(ox4，oy4)，则根据这4个目标第二像素点所在的行及所在的列，在原始点阵E中寻找对应行对应列的4个原始像素点，即在原始点阵E中找到4个目标原始像素点，坐标分别为ip1(ix1，iy1)，ip2(ix2，iy2)，ip3(ix3，iy3)，ip4(ix4，iy4)。显然，原始点阵E中的4个点构成一个矩形。

下面参照图6来介绍几何校正参数的计算过程。

图6示出了本申请实施例所提供的水平方向比例关系以及竖直方向比例关系的示意图。

如图6所示，首先计算点EP(ex(j，i)，ey(j，i))在邻近4个目标第二像素点中的水平方向比例关系u和竖直方向比例关系v，点op5的坐标记作：(ox5，oy5)，点op6的坐标记作：(ox6，oy6)。易得到：

上式中，a＝xq×yt-yq×Xt；

b＝yp×xt-yq×xS-xp×yt+xq×ys；

c＝yp×xs-xp×ys；

oy5＝(oy2-oy1)×u+oy1；

oy6＝(oy4-oy3)×u+oy3；

其中，yp＝ey(j，i)-oy1；yq＝oy2-oy1；ys＝oy3-oy1；yt＝oy4-oy3-oy2+oy1；

xp＝ex(j，i)-ox1；xq＝ox2-ox1；xs＝ox3-ox1；xt＝ox4-ox3-ox2+ox1。

然后，将水平比例关系u和竖直比例关系v应用在原始点阵E的4个目标原始像素点，即可求得几何校正参数，设几何校正参数中的点DP的坐标记作：DP(dx(j，i)，dy(j，i))，易得到：

dx(j，i)＝ix1+(ix2-ix1)×u；

dy(j，i)＝iy1+(iy3-iy1)×V。

步骤S105，利用几何校正参数对不同投影通道投射的多个投影光斑进行几何校正，获得几何校正后的投影图像。

该步骤中，几何校正参数中的点与投影光斑中的点存在对应的位置关系，通过几何校正参数能够对投影光斑进行几何校正，以获得几何校正后的投影图像，该投影图像会以矩形形状显示在投影幕上。

与现有技术中图像几何校正方法相比，本申请能够通过相机对多个投影仪同时进行标定，以获取相机坐标系与输入源图像坐标系之间的映射关系，通过该映射关系计算出表征有效投影区域的第一投影点阵对应的输入源图像坐标系下第二投影点阵，最后利用第二投影点阵与原始点阵之间的位置关系对多个投影光斑进行几何校正，解决了多个投影图像拼接在一起时几何校正效率低、精度差的问题。

基于同一发明构思，本申请实施例中还提供了与图像几何校正方法对应的图像几何校正装置，由于本申请实施例中的装置解决问题的原理与本申请实施例上述图像几何校正方法相似，因此装置的实施可以参见方法的实施，重复之处不再赘述。

请参阅图7，图7为本申请实施例所提供的一种图像几何校正装置的结构示意图。如图7中所示，所述图像几何校正装置300包括：

标定模块301，用于使用相机对不同投影通道投射在投影幕上的多个投影光斑进行标定，获得相机坐标系与各个输入源图像坐标系之间的映射关系；

第一点阵确定模块302，用于对多个投影光斑中的有效投影区域进行识别，确定相机坐标系下的第一投影点阵，第一投影点阵是有效投影区域对应的点阵；

第二点阵确定模块303，用于基于映射关系，确定输入源图像坐标系下与第一投影点阵对应的第二投影点阵；

参数计算模块304，用于利用第二投影点阵与输入源图像对应的原始点阵之间的位置关系，确定几何校正参数；

几何校正模块305，用于利用几何校正参数对不同投影通道投射的多个投影光斑进行几何校正，获得几何校正后的投影图像。

请参阅图8，图8为本申请实施例所提供的一种电子设备的结构示意图。如图8中所示，所述电子设备400包括处理器410、存储器420和总线430。

所述存储器420存储有所述处理器410可执行的机器可读指令，当电子设备400运行时，所述处理器410与所述存储器420之间通过总线430通信，所述机器可读指令被所述处理器410执行时，可以执行如上述图1所示方法实施例中的图像几何校正方法的步骤，具体实现方式可参见方法实施例，在此不再赘述。

本申请实施例还提供一种计算机可读存储介质，该计算机可读存储介质上存储有计算机程序，该计算机程序被处理器运行时可以执行如上述图1所示方法实施例中的图像几何校正方法的步骤，具体实现方式可参见方法实施例，在此不再赘述。

所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统、装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。

在本申请所提供的几个实施例中，应该理解到，所揭露的系统、装置和方法，可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，又例如，多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些通信接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。

所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。

另外，在本申请各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。

所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个处理器可执行的非易失的计算机可读取存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(Read-OnlyMemory，ROM)、随机存取存储器(Random Access Memory，RAM)、磁碟或者光盘等各种可以存储程序代码的介质。

最后应说明的是：以上所述实施例，仅为本申请的具体实施方式，用以说明本申请的技术方案，而非对其限制，本申请的保护范围并不局限于此，尽管参照前述实施例对本申请进行了详细的说明，本领域的普通技术人员应当理解：任何熟悉本技术领域的技术人员在本申请揭露的技术范围内，其依然可以对前述实施例所记载的技术方案进行修改或可轻易想到变化，或者对其中部分技术特征进行等同替换；而这些修改、变化或者替换，并不使相应技术方案的本质脱离本申请实施例技术方案的精神和范围，都应涵盖在本申请的保护范围之内。因此，本申请的保护范围应以权利要求的保护范围为准。

Claims (10)

1.一种图像几何校正方法，其特征在于，包括：

使用相机对不同投影通道投射在投影幕上的多个投影光斑进行标定，获得相机坐标系与各个输入源图像坐标系之间的映射关系；

对多个投影光斑中的有效投影区域进行识别，确定相机坐标系下的第一投影点阵，所述第一投影点阵是有效投影区域对应的点阵；

基于所述映射关系，确定输入源图像坐标系下与所述第一投影点阵对应的第二投影点阵；

利用所述第二投影点阵与原始点阵之间的位置关系，确定几何校正参数；

利用所述几何校正参数对不同投影通道投射的多个投影光斑进行几何校正，获得几何校正后的投影图像。

2.根据权利要求1所述的方法，其特征在于，所述对多个投影光斑中的有效投影区域进行识别，确定相机坐标系下的第一投影点阵，包括：

利用相机对多个投影光斑进行自动识别获取第一投影点阵，或者，使用水平仪对多个投影光斑进行标识并拍照获取第一投影点阵，或者，对多个投影光斑进行手动描点标定获取第一投影点阵。

3.根据权利要求2所述的方法，其特征在于，所述利用相机对多个投影光斑进行自动识别获取第一投影点阵，包括：

利用相机对所述多个投影光斑中的每个投影光斑进行拍照，获取多个投影光斑图像；

针对每个投影光斑图像，利用轮廓识别算法对该投影光斑图像以及投影幕的轮廓进行识别，获取该投影通道下投影光斑的光斑轮廓信息以及投影幕的幕轮廓信息；

基于该投影通道下的光斑轮廓信息以及幕轮廓信息，确定该投影通道下投影幕的顶点位置、投影光斑的顶点位置以及投影光斑的各条边范围；

根据该投影通道下投影幕的顶点位置、投影光斑的顶点位置以及投影光斑的各条边范围，确定该投影通道的有效投影区域；

在每个有效投影区域内按照预设比例进行取点，获取每个投影通道对应的第一投影点阵。

4.根据权利要求2所述的方法，其特征在于，所述使用水平仪对多个投影光斑进行标识并拍照获取第一投影点阵，包括：

使用水平仪在投影幕上按照预设比例位置对所述多个投影光斑进行多次线条标注，每次线条标注完成后获取一张投影标注图像，每次线条标注只对所述多个投影光斑的一行和/或一列进行标注，所述投影标注图像上包括至少一条横线和/或至少一条竖线；

将多张投影标注图像合成在一起，获取一张合成后的投影标注图像；

将所述合成后的投影标注图像上横线与竖线的交点作为网格点，由多个网格点构成第一投影点阵。

5.根据权利要求2所述的方法，其特征在于，所述对多个投影光斑进行手动描点标定获取第一投影点阵，包括：

从多个投影通道中选取目标投影通道，生成与所述目标投影通道对应的初始点阵；

针对所述初始点阵中的每个初始像素点，响应于针对该初始像素点的拖动指令，将该初始像素点移动至所述拖动指令指示的目标位置处，以使目标位置处的初始像素点间的距离符合预设比例；

对所述目标位置处的初始像素点进行描点，获取第一投影点阵。

6.根据权利要求1所述的方法，其特征在于，所述映射关系包括第一映射关系，所述第一映射关系用以表征相机坐标系到输入源图像坐标系的映射关系；

所述基于所述映射关系，确定输入源图像坐标系下与所述第一投影点阵对应的第二投影点阵，包括：

针对所述第一投影点阵中的每个第一像素点，获取该第一像素点的行号以及列号；

确定在所述第一映射关系中与该第一像素点的行号以及列号对应的映射数据；

由多个映射数据构成第二投影点阵。

7.根据权利要求1所述的方法，其特征在于，所述利用所述第二投影点阵与原始点阵之间的位置关系，确定几何校正参数，包括：

针对所述原始点阵中的每个原始像素点，在所述第二投影点阵中确定与该原始像素点相邻的多个目标第二像素点；

在所述原始点阵中，确定与所述多个目标第二像素点对应的多个目标原始像素点；

计算该原始像素点与所述多个目标第二像素点之间的比例关系；

将所述比例关系应用到多个目标原始像素点中，确定与该原始像素点对应的第三像素点；

由多个第三像素点构成几何校正参数。

8.一种图像几何校正装置，其特征在于，包括：

标定模块，用于使用相机对不同投影通道投射在投影幕上的多个投影光斑进行标定，获得相机坐标系与各个输入源图像坐标系之间的映射关系；

第一点阵确定模块，用于对多个投影光斑中的有效投影区域进行识别，确定相机坐标系下的第一投影点阵，所述第一投影点阵是有效投影区域对应的点阵；

第二点阵确定模块，用于基于所述映射关系，确定输入源图像坐标系下与所述第一投影点阵对应的第二投影点阵；

参数计算模块，用于利用所述第二投影点阵与原始点阵之间的位置关系，确定几何校正参数；

几何校正模块，用于利用所述几何校正参数对不同投影通道投射的多个投影光斑进行几何校正，获得几何校正后的投影图像。

9.一种电子设备，其特征在于，包括：处理器、存储介质和总线，所述存储介质存储有所述处理器可执行的机器可读指令，当电子设备运行时，所述处理器与所述存储介质之间通过总线通信，所述处理器执行所述机器可读指令，以执行如权利要求1至7中任一项所述的图像几何校正方法的步骤。

10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器运行时执行如权利要求1至7中任一项所述的图像几何校正方法的步骤。

Images