CN112435203B - 全景相机图像无控制点几何校正方法 - Google Patents

Abstract

一种全景相机图像无控制点几何校正方法，属于图像处理技术领域。本发明的目的是不需要人工选取控制点对，可以实现无需控制点全景图像几何校正的全景相机图像无控制点几何校正方法。本发明步骤是：确定全景图像成像瞬间物像几何关系，数学模型公式的推导，四步几何校正。本发明适用的场景是在无法进行人工控制点对选取时对全景相机图像进行几何校正，校正后的图像可以满足判读和镶嵌的要求。

Description

全景相机图像无控制点几何校正方法

技术领域

本发明属于图像处理技术领域。

背景技术

垂直全景相机是一种可见光胶片型扫描相机，在实际侦察工作中，胶片返回地面后重新扫描成数字图像，由专业人员对数字图像进行后续处理。

垂直全景相机相机是一种宽视角的镜筒扫描式相机。如图1左图所示，全景相机在物镜焦面上平行于飞行方向设置一狭缝限制了瞬时视场，扫描缝平行于飞行方向，由扫描缝绕飞行方向对地旋转扫描，扫描角的大小为α，通过沿飞行方向不断前进，完成多幅全景图像的拍摄。由于瞬时视场较小，全景图像各个区域的图像清晰度都较好，但全景相机像距一直不变，而物距随着扫描角变化发生改变，因此图像比例尺一直在变化，得到的全景图像两边的比例尺小，中间比例尺大，整幅影像产生了全景畸变，如图1右图所示。垂直全景航空摄影的主要优点是拍摄地面的宽度较大，收容范围较广，缺点是照片的比例尺不一致。垂直全景航空照片中中部影像是物体的顶部投影，相当于垂直照片，而左右两侧的影像是物体顶部和侧部的投影，相当于倾斜照片，对全景相机影像进行几何校正就是要消除所谓的全景畸变以满足判读和镶嵌的需要。

全景相机图像类似于点中心投影图像，变形规律比较复杂，不适于使用典型的严格几何校正方法进行校正，只能使用近似几何校正方法进行校正，但是在某些情况下存在局限性，无法满足实际需要。近似几何校正公式的参数是通过人工选取足够多的控制点对来计算得到的，它需要人工操作所以校正效率很低，在对校正时间有严格要求的情况下使用受到限制，并且无法实现自动校正。

发明内容

本发明的目的是不需要人工选取控制点对，可以实现无需控制点全景图像几何校正的全景相机图像无控制点几何校正方法。

本发明步骤是：

S1、全景图像成像瞬间物像几何关系：L表示该时刻全景图像线，l表示对应的物平面中校正后图像的线，α为相机扫描初始位置同摄影中心与主光轴之间的夹角，S为投影中心，f为相机焦距、SN代表飞行高度，用H表示、A₀代表地面物点、A代表A₀在倾斜图像的投影点、a代表A₀在正射图像的投影点；

S2、数学模型公式的推导：P为原图像上坐标原点，以像面上扫描方向为X轴，过原点垂直X轴方向为Y轴，p为校正后图像的坐标原点，以像面上扫描方向为x轴，过原点垂直于x轴方向为y轴；设在原图像像面上任取一点A，像点A在校正后像面上的对应点为a，A在原图像像面上的坐标为(X，Y)，a在校正后像面上的坐标为(x，y)，坐标点以像素值为单位，即像素坐标；以Xd表示横坐标为X时像点距离Y轴的距离，以Yd表示纵坐标为Y时像点距离X轴的距离，xd、yd同理表示，坐标以实际长度为单位，即像面坐标；

2.1计算校正后图像的图幅

设原图像的像素值为(M，N)，即X_max＝M，Y_max＝N

设校正后图像的像素值为(m，n)，则：

因为

α∈(0°,120°)

所以

n＝2N

当原图像大小为(M，N)时，校正后图像的大小为(1.65M，2N)；

2.2校正后图像像点与原图像像点在飞行方向(Y方向)的对应关系

对于Y方向：

因为

所以

又

X_d＝α·f

所以

式(1)为本几何校正方法数学模型在飞行方向上的表达式；

2.3校正后图像像点与原图像像点在倾斜方向(X方向)的对应关系

转换后：

对校正前图像有：

对校正后图像有：

将(3)、(4)代入(2)中得：

式(5)为本几何校正方法数学模型在倾斜方向上的表达式；

2.4坐标系转换

对于Y方向，在实际进行校正时，不以中线为横轴，需要对Y方向进行坐标换算，校正前影像以O₁为原点时，原坐标为Y，以廓点O₂为坐标原点时，坐标为Y₁；校正后影像以o₁为原点时，原坐标为y，以廓点o₂为坐标原点时，坐标为y₁；

因为

Y＝ycos(60°-α))

所以

S3、几何校正步骤

第一步，依据第一节全景相机图像的成像原理所述方式，获得全景相机的原始待校正图像；

第二步，依据第三节数学模型公式推导的过程，利用原图像大小确定校正后图像的图幅大小；

第三步，基于扫描角、图像大小等基本参数同时建立物像关系，得到公式(1)和(6)；

第四步，利用公式(1)和(6)，采用双线性内插法进行像素重采样，获得校正后图像。

本发明适用的场景是在无法进行人工控制点对选取时对全景相机图像进行几何校正，校正后的图像可以满足判读和镶嵌的要求。

附图说明

图1是全景相机图像的成像原理图；

图2是全景图像成像瞬间物像几何关系图；

图3是坐标系转换示意图；

图4是全景相机拍摄的原图像；

图5是本发明校正结果图。

具体实施方式

S1全景图像无控制点几何校正方法的数学模型公式推导

2.1本校正方法的基本原理

全景图像某时刻成像瞬间物像几何关系如图2所示，L表示该时刻全景图像线，l表示对应的物平面中校正后图像的线，α为相机扫描初始位置同摄影中心与主光轴之间的夹角，垂直全景相机设计的扫描角为120°，初始扫描位置到图像中心列的夹角为60°，即扫描角的一半。全景相机每一时刻通过狭缝成像一条线，可以通过对如图2所示从P到B间的整幅图像的每一条线(如同该时刻的线L)分别进行校正来完成整幅图像的校正。本专利基于几何关系法建立物像关系，得到全景图像无控制点几何校正方法的数学模型，即待校正原图像与校正后图像的坐标变换关系，并基于此数学模型对原图像进行几何校正得到校正后图像。

图2中各要素说明：S为投影中心、L为原图像瞬时扫描线、l为校正图像上L对应的瞬时扫描线、f为相机焦距、SN代表飞行高度，用H表示、A₀代表地面物点、A代表A₀在倾斜图像的投影点、a代表A₀在正射图像的投影点、α为相机扫描主光轴初始位置与瞬时主光轴位置间夹角，即倾斜相机扫描角。

2.2数学模型公式的推导

P为原图像上坐标原点，以像面上扫描方向为X轴，过原点垂直X轴方向为Y轴，p为校正后图像的坐标原点，以像面上扫描方向为x轴，过原点垂直于x轴方向为y轴；设在原图像像面上任取一点A，像点A在校正后像面上的对应点为a，A在原图像像面上的坐标为(X，Y)，a在校正后像面上的坐标为(x，y)，坐标点以像素值为单位，即像素坐标；以Xd表示横坐标为X时像点距离Y轴的距离，以Yd表示纵坐标为Y时像点距离X轴的距离，xd、yd同理表示，坐标以实际长度为单位，即像面坐标。

2.2.1计算校正后图像的图幅

设原图像的像素值为(M，N)，即X_max＝M，Y_max＝N

设校正后图像的像素值为(m，n)，则：

因为

α∈(0°,120°)

所以

n＝2N

当原图像大小为(M，N)时，校正后图像的大小为(1.65M，2N)。

2.2.2校正后图像像点与原图像像点在飞行方向(Y方向)的对应关系对于Y方向：

因为

所以

又

X_d＝α·f

所以

式(1)为本几何校正方法数学模型在飞行方向上的表达式。

2.2.3校正后图像像点与原图像像点在倾斜方向(X方向)的对应关系

转换后：

对校正前图像有：

对校正后图像有：

将(3)、(4)代入(2)中得：

式(5)为本几何校正方法数学模型在倾斜方向上的表达式。

2.2.4坐标系转换

对于Y方向，在实际进行校正时，不以中线为横轴，需要对Y方向进行坐标换算。如图3左图所示，校正前影像以O₁为原点时，原图坐标为Y，以左上角图廓点O₂为坐标原点时，坐标为Y₁；如图3右图所示，校正后影像以o₁为原点时，原图坐标为y，以左上角图廓点o₂为坐标原点时，坐标为y₁。

由图3可知：

因为

Y＝ycos(60°-α))

所以

3、图像几何校正步骤及结果分析

3.1几何校正步骤

第一步，依据第一节全景相机图像的成像原理所述方式，获得全景相机的原始待校正图像；

第二步，依据第三节数学模型公式推导的过程，利用原图像大小确定校正后图像的图幅大小；

第三步，基于扫描角、图像大小等基本参数同时建立物像关系，得到公式(1)和(6)；

第四步，利用公式(1)和(6)，采用双线性内插法进行像素重采样，获得校正后图像。

3.2校正结果分析

对垂直全景相机获取的图像采用本文提出的方法进行校正，结果如图5所示。垂直全景相机进行扫描拍摄时，中间区域接近垂直拍摄，两边为倾斜拍摄，比例尺由中间向两端逐渐减小，地物呈现近大远小的效果，像面呈现像半圆柱面，直接使用未校正的图像会影响后续的拼接和解译过程，拍摄地物与实际地物间会存在较大的偏差。利用本文提出的校正方法进行校正后的全景图像，图像两端的地物得到明显的倾斜纠正，半圆柱面形态得到正射纠正，并且纠正的程度由两端向中间逐渐减轻，这是因为靠近中间部分倾斜程度逐渐降低，图像中间部分接近垂直拍摄的区域基本保持原始图像的形态，纠正主要是针对图像两侧倾斜拍摄部分进行的。作为一种快速、自动的倾斜校正方法，本文方法的校正效果基本满足图像判读和拼接要求。

Claims (1)

1.一种全景相机图像无控制点几何校正方法，其特征在于：

S1、全景图像成像瞬间物像几何关系：L表示该时刻全景图像线，l表示对应的物平面中校正后图像的线，α为相机扫描初始位置同摄影中心与主光轴之间的夹角，S为投影中心，f为相机焦距、SN代表飞行高度，用H表示、A₀代表地面物点、A代表A₀在倾斜图像的投影点、a代表A₀在正射图像的投影点；

S2、数学模型公式的推导：P为原图像上坐标原点，以像面上扫描方向为X轴，过原点垂直X轴方向为Y轴，p为校正后图像的坐标原点，以像面上扫描方向为x轴，过原点垂直于x轴方向为y轴；设在原图像像面上任取一点A，像点A在校正后像面上的对应点为a，A在原图像像面上的坐标为(X，Y)，a在校正后像面上的坐标为(x，y)，坐标点以像素值为单位，即像素坐标；以Xd表示横坐标为X时像点距离Y轴的距离，以Yd表示纵坐标为Y时像点距离X轴的距离，xd、yd同理表示，坐标以实际长度为单位，即像面坐标；

2.1计算校正后图像的图幅

设原图像的像素值为(M，N)，即X_max＝M，Y_max＝N

设校正后图像的像素值为(m，n)，则：

因为

α∈(0°,120°)

所以

n＝2N

当原图像大小为(M，N)时，校正后图像的大小为(1.65M，2N)；

2.2校正后图像像点与原图像像点在飞行方向(Y方向)的对应关系

对于Y方向：

因为

所以

又

X_d＝α·f

所以

式(1)为本几何校正方法数学模型在飞行方向上的表达式；

2.3校正后图像像点与原图像像点在倾斜方向(X方向)的对应关系

转换后：

对校正前图像有：

对校正后图像有：

将(3)、(4)代入(2)中得：

式(5)为本几何校正方法数学模型在倾斜方向上的表达式；

2.4坐标系转换

对于Y方向，在实际进行校正时，不以中线为横轴，需要对Y方向进行坐标换算，校正前影像以O₁为原点时，原坐标为Y，以廓点O₂为坐标原点时，坐标为Y₁；校正后影像以o₁为原点时，原坐标为y，以廓点o₂为坐标原点时，坐标为y₁；

因为

Y＝ycos(60°-α))

所以

S3、几何校正步骤

第一步，依据第一节全景相机图像的成像原理所述方式，获得全景相机的原始待校正图像；

第二步，依据第三节数学模型公式推导的过程，利用原图像大小确定校正后图像的图幅大小；

第三步，基于扫描角、图像大小等基本参数同时建立物像关系，得到公式(1)和(6)；

第四步，利用公式(1)和(6)，采用双线性内插法进行像素重采样，获得校正后图像。

Images