CN109801234A - 图像几何校正方法及装置 - Google Patents

Abstract

本发明涉及图像几何校正方法及装置，通过将经过预处理的目标图像组输入经过大量虚拟相机得到的图像组迭代训练的网络模型中即可得到与每幅目标图像对应的透视变换系数，再将预测得到的透视变换系数与对应图像相乘即可得到几何校正后的图像。本发明的方法及装置结合了深度神经网络预测透视变换系数的鲁棒性和精确性，过程中深度学习方法能够给出较为鲁棒的校正，可以更好地校正无纹理场景和含有近景物体的场景的几何校正。此外，这种深度学习方法实际实现中速度也很快，另外由于几何校正仅在相机设置时计算一次，所以不影响全景相机拼接时的处理时间。

Description

图像几何校正方法及装置

技术领域

本发明涉及摄像及图像处理技术领域，具体涉及环绕多相机的图像几何校正方法及装置。

背景技术

多摄像头图像拼接可以有效增大视场域，现有技术中全景摄像头可以采集360度的图像和视频，而全景摄像头往往由多个环绕摄像头同时采集并拼接组成。全景摄像机已经广泛应用于广播电视直播录播、个人自拍、航拍等工业与娱乐领域。

由于环绕多摄像头系统中相机安装、镜头畸变、支架系统的旋转、平移错位等会使得拍摄的各幅画面直接拼接的话带来明显的重影，所以需要对拍摄的各幅画面进行几何校正才能进一步拼接。

多摄像头画面几何校正，即对每个相机计算出一个透视变换矩阵，通过几何变换使得相邻图像的垂直视差（同一个物体在左右眼图像中垂直方向的距离差）最小化。

现有方法往往使用局部特征检测和匹配（比如使用ORB特征点检测匹配算法），计算多幅邻接图像的透视变换系数完成图像校正，这种方法对于纹理较为丰富的图像能取得较好的结果，但对于纹理不够丰富的场景往往不是很理想。此外，现有方法在邻接摄像头朝向夹角较大或者场景中有物体距离摄像头较近的时候，由于局部视差较大特征点匹配出现困难，也难以取得较好的几何校正结果。

发明内容

本发明的目的在于提供一种图像几何校正方法及装置，该方法及装置能够改进现有全景相机图像的几何校正质量，使得在纹理较少的场景和含有近景目标的场景中，拼接不出现瑕疵假影，以提高图像拼接质量。

为实现上述技术目的，本发明采用如下技术方案：

一种图像几何校正方法，包括如下步骤：

获取环绕多相机的各个相机的待校正图像，每个相机一幅图像；

将获取的多幅待校正图像预处理为符合网络模型输入要求的图像；其中，所述网络模型经对包括多组经过虚拟相机生成的图像样本集和与其对应的透视变换系数进行迭代训练获取；

将经过预处理的多幅待校正图像输入网络模型中，计算获取各幅图像的透视变换系数；

将多幅待校正图像按照与其对应的透视变换系数进行几何透视变换，即得到校正后的图像。

进一步的，所述网络模型的训练方法包括：

获取虚拟相机生成的图像样本集，及与其中每幅图像对应的透视变换系数；

对图像样本集进行预处理；

将各组经过预处理的图像样本集输入卷积神经网络中，并输出预测的图像的透视变换系数，根据各组图像样本集计算得到的透视变换系数结果和虚拟相机得到的透视变换系数计算预测误差，并采用有监督的反向传播方法对卷积神经网络进行迭代训练，得到深度学习的网络模型。

进一步的，所述输出预测的图像的透视变换系数的方法包括：

将各组经过预处理的图像样本集输入卷积神经网络中，通过卷积层对图像进行卷积运算，通过激活函数层对卷积运算结果进行非线性变换，通过池化层对非线性变换结果进行池化操作以加快训练速度，通过全连接层对池化操作结果进行线性变换得到多个透视变换系数。

进一步的，激活函数层中采用的激活函数为线性整流函数，池化层采用最大池化方式。

进一步的，所述待校正图像及图像样本集的预处理方法为：

将图像缩放至标准尺寸；

将获取的标准尺寸的图像中每个像素进行0均值化。

进一步的，通过虚拟相机获取图像样本集及与其中每幅图像对应的透视变换系数的步骤包括：

使用VR图形引擎模拟多个虚拟相机环绕摆放，系统中设置虚拟相机完全水平等比例排布，虚拟成像场景中包含有景深的物体和纹理，每个虚拟相机单独成像；绕后系统设置每个虚拟相机随机偏转一定的角度、随机前后拉伸，在同一场景中成像，记录下此成像和此时每个相机相对于开始时的正位成像的透视变换系数，即得到一组环绕多虚拟相机图像样本集及对应透视变换系数；

重复上述步骤，获取多组图像样本和与其对应的透视变换系数。

进一步的，所述校正后的图像的获取方式包括：

将每幅图像与其对应的透视变换矩阵相乘，得到经过几何校正的多幅图像。

本发明还提供了一种图像几何校正装置，包括：

环绕多相机图像获取模块，用于获取环绕多相机拍摄的图像，每个相机获取一幅图像；

网络模型训练模块，用于训练网络模型；

图像预处理模块，连接环绕多相机图像获取模块，用于将获取的图像预处理为符合网络模型输入要求的图像；其中，所述网络模型经对包括多组经过虚拟相机生成的图像样本集和与其对应的透视变换系数进行迭代训练获取；

透视变换系数计算模块，连接图像预处理模块和网络模型训练模块，用于将经过预处理的多幅图像输入网络模型训练模块输出的网络模型中，计算获取每幅图像对应的透视变换系数；

图像校正模块，连接透视变换系数计算模块，用于获取透视变换系数，并将每幅图像按照与其对应的透视变换系数进行几何透视变换。

其中，所述图像预处理模块包括：

缩放单元，用于将图像缩放至标准尺寸；

标准化单元，连接缩放单元，用于将缩放的图像进行零均值处理。

所述网络模型训练模块基于卷积神经网络进行训练，包括多个卷积层、激活函数层、池化层、全连接层；

所述卷基层对输入的图像样本集进行卷积运算；

所述激活函数层对卷积运算结果进行非线性变换；

所述池化层对非线性变换结果进行池化操作；

所述全连接层对池化操作结果进行线性变换，得到多幅图像的透视变换系数。

本发明的方法及装置通过将经过预处理的目标图像组输入经过大量虚拟相机得到的图像组迭代训练的网络模型中即可得到与每幅目标图像对应的透视变换系数，再将预测得到的透视变换系数与对应图像相乘即可得到几何校正后的图像。获取目标图像组几何校正所用的透视变换系数的整个过程由网络模型通过自动训练得到合适特征，不需要依赖人工经验预先选择合适的局部特征，并且网络模型通过大量样本商品图像的训练迭代，网络模型的输出具有非常高的准确率和高效的运算速度。

本发明的方法及装置结合了深度神经网络预测透视变换系数的鲁棒性和精确性，过程中深度学习方法能够给出较为鲁棒的校正，可以更好地校正无纹理场景和含有近景物体的场景的几何校正。此外，这种深度学习方法实际实现中速度也很快，另外由于几何校正仅在相机设置时计算一次，所以不影响全景相机拼接时的处理时间。

附图说明

图1是本发明装置结构图。

具体实施方式

实施例1

本实施例具体说明本发明方法的实施方式。

本发明的图像几何校正方法，包括如下步骤：

S100.获取环绕多相机的各个相机的待校正图像，每个相机一幅图像；

S200.将获取的多幅待校正图像进行预处理，将图像缩放至标准尺寸后对图像中每个像素进行0均值化。

网络模型的训练方法包括：

S210获取虚拟相机生成的图像样本集，及与其中每幅图像对应的透视变换系数；

使用VR图形引擎（比如Unreal Engine、Unity 3D、CryENGINE等）模拟多个虚拟相机环绕摆放，此时在系统中设置虚拟相机完全水平等比例排布，虚拟成像场景中包含有景深的物体和纹理，模拟的场景包括室内、室外，模拟的物体包括人、建筑物、办公用品、树木花草、大型场馆、公园、天空、海底、隧道等，可将真实世界纹理贴到此虚拟场景中，每个虚拟相机单独成像。绕后系统设置每个虚拟相机随机偏转一定的角度、随机前后拉伸，模拟真实相机摆放出现的问题，在同一场景中成像，记录下此成像，同时记录下此时每个相机相对于开始时的正位成像的透视变换系数，即得到了一组环绕多虚拟相机图像样本集及对应透视变换系数。

重复上述过程，即可得到大量训练用环绕多相机成像数据和与其对应的透视变换系数。

S220对图像样本集进行预处理；将图像缩放至标准尺寸后对图像中每个像素进行0均值化。

S230将各组经过预处理的图像样本集输入卷积神经网络中，通过卷积层对图像进行卷积运算，通过激活函数层对卷积运算结果进行非线性变换，通过池化层对非线性变换结果进行池化操作以加快训练速度，通过全连接层对池化操作结果进行线性变换得到多个透视变换系数；其中激活函数层中采用的激活函数为线性整流函数，池化层采用最大池化方式；

输出预测的图像的透视变换系数，根据各组图像样本集计算得到的透视变换系数结果和虚拟相机得到的透视变换系数计算预测误差，并采用有监督的反向传播方法对卷积神经网络进行迭代训练，得到深度学习的网络模型。

S300将经过预处理的多幅待校正图像输入网络模型中，计算获取各幅图像的透视变换系数；

S400将每幅图像与其对应的透视变换矩阵相乘，得到经过几何校正的多幅图像。

实施例2

本实施例具体说明本发明装置的实现方法。

如图1所示的图像几何校正装置，包括：

环绕多相机图像获取模块，用于获取环绕多相机拍摄的图像，每个相机获取一幅图像；

网络模型训练模块，用于训练网络模型；

图像预处理模块，连接环绕多相机图像获取模块，用于将获取的图像预处理为符合网络模型输入要求的图像；其中，所述网络模型经对包括多组经过虚拟相机生成的图像样本集和与其对应的透视变换系数进行迭代训练获取；

透视变换系数计算模块，连接图像预处理模块和网络模型训练模块，用于将经过预处理的多幅图像输入网络模型训练模块输出的网络模型中，计算获取每幅图像对应的透视变换系数；

图像校正模块，连接透视变换系数计算模块，用于获取透视变换系数，并将每幅图像按照与其对应的透视变换系数进行几何透视变换。

其中，所述图像预处理模块包括：

缩放单元，用于将图像缩放至标准尺寸；

标准化单元，连接缩放单元，用于将缩放的图像进行零均值处理。

所述网络模型训练模块基于卷积神经网络进行训练，包括多个卷积层、激活函数层、池化层、全连接层；

所述卷基层对输入的图像样本集进行卷积运算；

所述激活函数层对卷积运算结果进行非线性变换；激活函数层中采用的激活函数为线性整流函数；

所述池化层对非线性变换结果进行池化操作；池化层采用最大池化方式；

所述全连接层对池化操作结果进行线性变换，得到多幅图像的透视变换系数。

根据预测的透视变换系数与各组图像对应的虚拟相机得到的透视变换系数计算预测误差并采用有监督的反向传播方法对卷积神经网络和全连接网络进行迭代训练得到深度学习的网络模型。

所述装置还包括虚拟相机模块；用于获取网络模型训练模块所需的图像样本集及图像对应的透视变换系数，通过虚拟相机的参数设置模拟相机成像时的位置、朝向的扰动。

Claims (10)

1.一种图像几何校正方法，其特征在于，包括如下步骤：

获取环绕多相机的各个相机的待校正图像，每个相机一幅图像；

将获取的多幅待校正图像预处理为符合网络模型输入要求的图像；其中，所述网络模型经对包括多组经过虚拟相机生成的图像样本集和与其对应的透视变换系数进行迭代训练获取；

将经过预处理的多幅待校正图像输入网络模型中，计算获取各幅图像的透视变换系数；

将多幅待校正图像按照与其对应的透视变换系数进行几何透视变换，即得到校正后的图像。

2.根据权利要求1所述的一种图像几何校正方法，其特征在于，所述网络模型的训练方法包括：

获取虚拟相机生成的图像样本集，及与其中每幅图像对应的透视变换系数；

对图像样本集进行预处理；

将各组经过预处理的图像样本集输入卷积神经网络中，并输出预测的图像的透视变换系数，根据各组图像样本集计算得到的透视变换系数结果和虚拟相机得到的透视变换系数计算预测误差，并采用有监督的反向传播方法对卷积神经网络进行迭代训练，得到深度学习的网络模型。

3.根据权利要求2所述的一种图像几何校正方法，其特征在于，所述输出预测的图像的透视变换系数的方法包括：

将各组经过预处理的图像样本集输入卷积神经网络中，通过卷积层对图像进行卷积运算，通过激活函数层对卷积运算结果进行非线性变换，通过池化层对非线性变换结果进行池化操作，通过全连接层对池化操作结果进行线性变换得到多个透视变换系数。

4.根据权利要求3所述的一种图像几何校正方法，其特征在于，激活函数层中采用的激活函数为线性整流函数，池化层采用最大池化方式。

5.根据权利要求1或2所述的一种图像几何校正方法，其特征在于，所述待校正图像及图像样本集的预处理方法为：

将图像缩放至标准尺寸；

将获取的标准尺寸的图像中每个像素进行0均值化。

6.根据权利要求2所述的一种图像几何校正方法，其特征在于，通过虚拟相机获取图像样本集及与其中每幅图像对应的透视变换系数的步骤包括：

使用VR图形引擎模拟多个虚拟相机环绕摆放，系统中设置虚拟相机完全水平等比例排布，虚拟成像场景中包含有景深的物体和纹理，每个虚拟相机单独成像；绕后系统设置每个虚拟相机随机偏转一定的角度、随机前后拉伸，在同一场景中成像，记录下此成像和此时每个相机相对于开始时的正位成像的透视变换系数，即得到一组环绕多虚拟相机图像样本集及对应透视变换系数；

重复上述步骤，获取多组图像样本和与其对应的透视变换系数。

7.根据权利要求1所述的一种图像几何校正方法，其特征在于，所述校正后的图像的获取方式包括：

将每幅图像与其对应的透视变换矩阵相乘，得到经过几何校正的多幅图像。

8.一种图像几何校正装置，其特征在于，包括：

环绕多相机图像获取模块，用于获取环绕多相机拍摄的图像，每个相机获取一幅图像；

网络模型训练模块，用于训练网络模型；

图像预处理模块，连接环绕多相机图像获取模块，用于将获取的图像预处理为符合网络模型输入要求的图像；其中，所述网络模型经对包括多组经过虚拟相机生成的图像样本集和与其对应的透视变换系数进行迭代训练获取；

透视变换系数计算模块，连接图像预处理模块和网络模型训练模块，用于将经过预处理的多幅图像输入网络模型训练模块输出的网络模型中，计算获取每幅图像对应的透视变换系数；

图像校正模块，连接透视变换系数计算模块，用于获取透视变换系数，并将每幅图像按照与其对应的透视变换系数进行几何透视变换。

9.根据权利要求8所述的一种图像几何校正装置，其特征在于，所述图像预处理模块包括：

缩放单元，用于将图像缩放至标准尺寸；

标准化单元，连接缩放单元，用于将缩放的图像进行零均值处理。

10.根据权利要求8所述的一种图像几何校正装置，其特征在于，所述网络模型训练模块基于卷积神经网络进行训练，包括多个卷积层、激活函数层、池化层、全连接层；

所述卷基层对输入的图像样本集进行卷积运算；

所述激活函数层对卷积运算结果进行非线性变换；

所述池化层对非线性变换结果进行池化操作；

所述全连接层对池化操作结果进行线性变换，得到多幅图像的透视变换系数。