CN110933280A - 平面倾斜图像正视转向方法及转向系统 - Google Patents

Abstract

平面倾斜图像正视转向方法及转向系统，涉及光电技术及数字图像处理领域；解决现有倾斜图像矫正过程中，存在图像失真，无法通过旋转获得正视图像等问题，包括物面、透镜、光电传感器和处理器；物面的光线经过透镜，在光电传感器上成像；光电传感器在像面上的光电转换区域为矩形，将像面发出的成像转换成边缘为矩形的图像；斜视图包括正斜图像和侧斜图像，处理器将接收的正斜图像经过u轴和v轴两个方向的矫正得到正视图像；对侧斜图像先进行旋转，将侧斜图像转到与正斜图像的相同方向，再进行矫正得到正视图像。运用斜视图像中平行线的共顶特点，对一幅想要矫正成为正视图的任意倾斜拍摄图像，通过计算的天际线或斜视顶点，可得到所需旋转的角度。

Description

平面倾斜图像正视转向方法及转向系统

技术领域

本发明涉及光电技术及数字图像处理领域，具体涉及一种平面倾斜图像正视转向方法及转向系统。

背景技术

在航拍图像，卫星图像以及安防监控图像中，较大区域的视角都是倾斜的，并且无法随意控制摄像机姿态和拍摄的角度，导致图像倾斜失真；因为实际测绘使用的是正视图像，所以需要对倾斜照片进行旋转矫正；现有一种旋转矫正方法是在斜视物面上设置中轴线垂直标记线，照片中标记线图像与坐标轴的夹角就是矫正所需要旋转的角度；然而对一个没法标记的任意图像，例如航拍图像、卫星图像，以及任意条件下的安防监控图像，若没有标记就不知道应该怎样旋转；军事侦察或宇航拍摄照片本来就不容易，若额外指定拍摄角度则更是难以实现。

发明内容

本发明为解决现有倾斜图像矫正过程中，存在图像失真，无法通过旋转获得正视图像等问题，提供一种平面倾斜图像正视转向方法及转向系统。

平面倾斜图像正视转向方法，该方法由以下步骤实现：

步骤一、通过光电传感器获取斜视图像并由图像处理器接收，所述斜视图像包括正斜图像和侧斜图像；设定光电传感器的光电转换区域矩形中心点为像心，通过像心沿光电传感器水平扫描方向的直线为u轴；通过像心沿光电传感器垂直扫描方向的直线为v轴；像面上u轴和v轴组成uv平面直角坐标系；

步骤二、所述图像处理器将正斜图像经过u轴和v轴两个方向的矫正，获得正视图像；对所述侧斜图像先进行旋转，将所述侧斜图像转到与正斜图像的相同方向，再进行矫正得到正视图像；

将所述侧斜图像转成正斜图像的方法由以下任意一种方式实现：

第一种：在侧斜图像中，设定物面上的一组平行线L₁L₂，在像面上得到斜视顶点Q_L；设定物面上的另一组平行线N₁N₂，在像面上得到斜视顶点Q_N；采用直线连接Q_L与Q_N得到天际线；天际线与x轴平行，与u轴不平行；旋转所述侧斜图像使天际线与u轴平行，则实现所述侧斜图像转成正斜图像；

第二种：在所述侧斜图像中找到一组平行线L₁L₂，在像面uv坐标系中计算平行线L₁L₂在像面的斜视顶点Q_L，根据已知的视角θ及像距OF，获得天际线圆半径R；经所述斜视顶点Q_L向天际线圆作两条切线，根据所述平行线的方向角是否大于90度确定有效天际线；旋转侧斜图像使天际线与u轴平行，将所述侧斜图像转变成为正斜图像；

第三种：设定侧斜图像中的一组平行线L₁L₂，在像面uv坐标系中计算L₁L₂的斜视顶点坐标为(U,V)；根据已知视角θ及像距OF，计算所述侧斜图像转换成正斜图像需要的旋转的角度

用下式表示为：

平面倾斜图像正视转向系统，该系统包括物面、透镜、光电传感器和图像处理器；物面的光线经过透镜在光电传感器上成像；

所述光电传感器在像面上的光电转换区域为矩形，将像面发出的成像转换成边缘为矩形的图像；

物面中成像在像心的点为物心；在透镜光心与物心之间的直线为中轴线，物心发出的光沿中轴线穿过透镜的光心到达像心；

物面倾斜成像时，中轴线并非透镜的主光轴；中轴线与物面垂线所成的夹角为视角；视角为零时拍摄的图像为正视图；视角不为零时拍摄的图像为斜视图；

所述斜视图包括正斜图像和侧斜图像，所述处理器将接收的正斜图像经过u轴和v轴两个方向的矫正得到正视图像；对所述侧斜图像先进行旋转，将所述侧斜图像转到与正斜图像的相同方向，再进行矫正得到正视图像。

本发明有益的效果：本发明所述的转向方法，对于任意倾斜拍摄的平面图像，只要找到物面上两组平行线，本发明就能计算出在正视图矫正过程中需要转动的角度；这种方法不需要知道光学系统的物理性能及运行参数，无论用什么样的设备，或者用什么样方式拍摄的平面照片都能处理；若在图像中仅能找到一组平行线，则只需再增加光学系统中视角和像距这两个参数，也能计算出矫正所需的角度。

本发明所述的方法可以根据航拍或安防图像中常见的平行景物或矩形物体，通过计算天际线得到这幅倾斜图像矫正时需要转动的角度；倾斜图像只需运用本发明提供的方法进行转动矫正之后，即可通过正梯形变换或反梯形变换得到其他角度的视图。

附图说明

图1为本发明所述的平面倾斜图像正视转向系统的光学结构图；

图2为本发明所述的平面倾斜图像正视转向方法中倾斜物面平行线在像面成像具有共顶特点(斜视顶点)的原理图；

图3为图2中物面π与xz平面上的几个三角形顶点之间的关系示意图；

图4为本发明所述的平面倾斜图像正视转向方法中计算斜视顶点过程中的辅助示意图；

图5为本发明所述利用天际线把任意倾斜视角拍摄图像转动到正斜视角图像；

图6为本发明所述的平面倾斜图像正视转向方法中利用天际线与天际线圆相切找到天际线的方法原理图；

图7为本发明所述的平面倾斜图像正视转向方法中侧斜图像转成正斜图像的转向的第三种方法原理图。

图中：1、物面，2、透镜，3、光电传感器，4、物面垂线，5、中轴线，6、物心，7、像心；X为光电传感器的水平扫描方向；Y为光电传感器的垂直扫描方向。

具体实施方式

具体实施方式一、结合图1至图7说明本实施方式，平面倾斜图像正视转向方法，包括成像系统，所述成像系统包括物面1，透镜2、光电传感器3和图像处理器；所述物面1为平面，是被拍摄的物体所在的平面，忽略被拍摄的物体的高度；

透镜2由透镜或反射镜组成的光具组，物面的光线经过透镜2，在光电传感器3上成实像；光电传感器3为CCD或CMOS输出的图像送到图像处理器。

所述光电传感器3是CCD或CMOS等光电图像传换元件，像面是光电传感器3接收成像光的平面，光电传感器3在像面上光电转换区域为矩形，把像面发出的成像光转换成为边缘为矩形的图像；光电传感器3光电转换区域矩形中心点称为像心，通过像心沿光电传感器3水平扫描方向的直线称为u轴；通过像心沿光电传感器3垂直扫描方向的直线为v轴；像面上u轴和v轴组成一个uv平面直角坐标系；

物面1中成像在像心的点称为物心6；在透镜2光心与物心之间设定一条直线被称为中轴线，物心发出的光沿中轴线穿过透镜2的光心之后恰好到达像心；物面倾斜良好成像时，中轴线并非凸透镜的主光轴；中轴线与物面垂线所成的夹角为视角；视角为零时拍摄的图像为正视图；视角不为零时拍摄的图像为斜视图。

所述斜视图像与正视图像相比存在畸变，并且斜视图像分为正斜图像和侧斜图像两种情况；正斜图像是物面与u轴或v轴平行时拍摄得到的图像，而侧斜图像是物面与两个坐标轴都不平行时拍摄得到的图像；正斜图像经过u和v两个方向的矫正可得到正视图像；而侧斜图像不能直接矫正，需要先进行旋转，把侧斜图像转到正斜图像的方向，之后才能矫正得到正视图像。

结合图5说明本实施方式，将所述侧斜图像转变成为正斜图像的转向方法具体为：

在任意侧斜物面π拍摄到的侧斜图像β中，物面π上原有的一组平行线L₁L₂，在β上得到斜视顶点Q_L；再找到物面上原有的另一组平行线N₁N₂，在β上得到斜视顶点Q_N；用直线连接Q_L与Q_N可得到天际线Q_LQ_N；天际线与x轴平行，但与u轴不平行；只需旋转侧斜图像使天际线与u轴平行，就能把这幅侧斜图像转变成为正斜图像；旋转侧斜图像得到正斜图像γ，使β上的天际线与图像γ的水平方向平行即可得到正斜图；这种方式不需要知道光学系统的物理参数，能在未知视角θ及像距OF的情况下获得旋转角度，适用于任意图像；在安防图像中，比较容易找到用来计算天际线的平行线，例如门窗，走廊，通道或标线；在航拍图像中，物面上矩形物体比较常见，例如车辆，房屋以及道路等，只要在图中找到一个矩形就会有两组平行线可用于计算天际线。

结合图2至图4说明本实施方式，所述斜视顶点的计算过程为：

在倾斜物面上任意一组平行线在像面成像具有交点被称为斜视顶点，并且斜视顶点的坐标可以运用直线方程以及三角形相似的比例关系进行计算得到；

图2中，倾斜物面π成像在像面β上，物面与像面夹角为θ，物面上一组平行线L1和L2与x轴夹角为ɑ，在像面上成像BC和AD，相交于所述斜视顶点Q，坐标为(OF*cot(a)/sin(θ)，OF*cot(θ))，PQ为所述天际线；

B₁和C₁是L1上两个点，A₁和D₁是L2上的两个点；光心为F,像面为β₀；为了便于计算，分析像面β₀以光心F成对称关系的像面β，像面β上的每一个像素都位于以光心F为对称中心的像面β₀上；直线BC和直线AD分别是物面上直线L1和L2在像面上所成的实像；

因为平面FBC与物面相交于直线L1，并且与像面相交于BC，所以从光心看到直线L1在像面β上的投影为直线BC，B点与C点在物面上分别对应B₁与C₁；

因为平面FAD与物面相交于直线L2，并且与像面相交于AD，所以从光心看到直线L2在像面β上的投影为直线AD，A点与D点在物面上分别对应A₁与D₁；

光心F到像面的垂线FO交物面于G点；直线L3过G点与像面直线CD平行，并且与平行线L1和L2分别相交于C₁和D₁点；直线FP平行于物面，并且与像面相交于P点，若FP与像面的夹角为θ，则物面与像面的夹角也等于θ；规定CD所在直线为x轴，AB所在直线y轴；FO所在直线为z轴；

直线BC的方程为；

直线AD的方程为；

两式联立可得方程组，求解可得到直线BC与直线AD的交点的垂直坐标为；

整理得；

图3为本实施方式所述图2中物面π与xz平面上的几个三角形顶点之间的关系图，在三角形FGC₁，三角形FGD₁，三角形FOC以及三角形FOD中，因为GC₁与CD平行，并且直线L1与直线L2平行，所以存在比例关系；

图4为本实施方式所述过P点作一条辅助线PK交直线FB与点K；过K点作z轴的垂线KI交直线FG于I，交直线FA于L；过K点作与PF平行的直线KM，交直线FA于点M，交直线FG于点J；过点M作直线IK的垂线MH交直线IK于点H；

在三角形FGB₁，三角形FGA₁，三角形FJK以及三角形FJM中，因为KJ平行于GB₁，直线HM与直线IJ平行，所以存在比例关系；

在三角形FOA，三角形FIL，三角形FOB以及三角形FIK中，因IK平行于BO，所以存在比例关系；

因为两个直角三角形FOP和JIK全等，且三角形FOA与三角形MHL相似，所以存在比例关系；

代入直线BC与直线AD的交点的垂直坐标方程；

由此可见，像面上直线BC与直线AD存在交点Q，把Q点垂直坐标代入直线AD的方程

过P点作z轴平行线交像面于A₂点；则A₂点在直线GB₁上，因此GA₂＝FP；过A₂点作xy平面垂线交FG延长线于G₂；过A₁点作xy平面垂线交FG延长线于G₁；因为三角形FOD，三角形FGD₁相似，所以存在比例关系；

若把平行线与x轴正方向的夹角称为方向角，用ɑ表示，则在直角三角形GA₁D₁中；

GD₁＝A₁G*cot(ɑ)

因为三角形A₁G₁G与三角形POF相似，所以有以下关系；

因此得到；

因为三角形AOF与三角形A₁G₁F相似，并且角GA₁G₁等于θ，在直角三角形A₁G₁G中；

G₁G＝A₁G₁*tg(θ)

所以得到；

代入直线AD的方程求解；

由此可见，斜视物面上的一组平形线不论间距多少，在像面上都相交于一个Q点，并且Q点在y轴上的坐标固定等于像距OF乘以物面与像面夹角的余切；这个特点称为平行线在像面上的共顶特点，把这个交点Q称为这组平行线的斜视顶点，坐标为；

(OF*cot(ɑ)/sin(θ)，OF*cot(θ))

其中θ为物面与像面的夹角，平行线与像面x轴方向的夹角为ɑ；

任意一个斜视顶点具有如下特点：斜视顶点在y轴坐标只与视角θ和像距有关；平行线的方向角ɑ，视角θ以及像距共同决定斜视顶点在x轴的坐标；当方向角等于90度时，斜视顶点在x轴坐标为零；当方向角小于90度时，斜视顶点在x轴的坐标为正值，当方向角大于90度时，斜视顶点在x轴的坐标为正值。

本实施方式中，物面上存在任意方向的无数多组平行线，在像面上对应有多组的斜视顶点，所述多组斜视顶点全部位于一条与x轴平行的直线上；把这条直线称为天际线，天际点与y轴交点坐标为(0,y_p)；

y_P＝OF*cot(θ)

天际线是物面上无穷远处被拍摄到图像中所形成的边界线，通常航拍或安防监控拍摄得到的图像中只是一个有限区域而并没有拍摄到无穷远处的景物，因此天际线经常位于照片的有效像素区域之外，在天际线的使用过程中需要计算一些处于图像实际区域之外的虚拟像素；

像面上的天际线是根据光学系统的物理性质固定产生，可以用像距OF和视角θ直接计算；在一个光学成像系统中，若像距OF和视角θ为固定值，则可假想物面上存在一个天际线圆，可计算天际线圆的半径R；天际线圆以像心为圆心，不论物面上景物如何绕中轴线旋传，天际线都一定与天际线圆相切。

具体实施方式二、结合图6说明本实施方式，本实施方式为具体实施方式一将所述侧斜图像转变成为正斜图像的转向方法的另一实施例：具体为：

对侧斜物面π拍摄到的侧斜图像β中，物面π上一组平行线L₁L₂，在β上得到斜视顶点Q_L；在侧斜图像中只能找到一组平行线L₁L₂，无法再找出第二组平行线，同时又知道平行线方向角是否大于90度，那么在像面uv坐标系中可以计算出L₁L₂在像面的斜视顶点Q_L；如果知道光学系统的物理参数，那么再根据已知的视角θ及像距OF，就能计算出天际线圆半径R；从斜视顶点Q_L向天际线圆可以作出两条切线，其中一条为有效天际线，而另一条无效；因为斜视顶点在x轴坐标的符号由平行线的方向角决定，所以只需根据平行线的方向角是否大于90度这个条件，就可以选出有效的那条天际线；旋转侧斜图像使天际线与u轴平行，就能把这幅侧斜图像转变成为正斜图像。

具体实施方式三、结合图7说明本实施方式，本实施方式为具体实施方式一将所述侧斜图像转变成为正斜图像的转向方法的另一实施例：具体为：

在侧斜图像中只能找到一组平行线L₁L₂，无法再找出第二组平行线，那么在像面uv坐标系中可以计算出L₁L₂的斜视顶点E坐标为(U,V)；如果知道光学系统的物理参数，那么根据已知视角θ及像距OF，就能直接计算出这幅侧斜图像变换成为正斜图像需要旋转的角度

角EOS为ψ可以用反余切函数计算；

线段EP所在直线为天际线，在xy坐标系中，P点在y轴上坐标y_P为；

y_P＝OF*cot(θ)

角PEO为η可以用反正弦函数计算；

因此x轴与u轴的夹角

可直接计算；

Claims (6)

1.平面倾斜图像正视转向方法，其特征是：该方法由以下步骤实现：

步骤一、通过光电传感器获取斜视图像并由图像处理器接收，所述斜视图像包括正斜图像和侧斜图像；设定光电传感器(3)的光电转换区域矩形中心点为像心，通过像心沿光电传感器(3)水平扫描方向的直线为u轴；通过像心沿光电传感器(3)垂直扫描方向的直线为v轴；像面上u轴和v轴组成uv平面直角坐标系；

步骤二、所述图像处理器将正斜图像经过u轴和v轴两个方向的矫正，获得正视图像；对所述侧斜图像先进行旋转，将所述侧斜图像转到与正斜图像的相同方向，再进行矫正得到正视图像；

将所述侧斜图像转成正斜图像的方法由以下任意一种方式实现：

第一种：在侧斜图像中，设定物面上的一组平行线L₁L₂，在像面上得到斜视顶点Q_L；设定物面上的另一组平行线N₁N₂，在像面上得到斜视顶点Q_N；采用直线连接Q_L与Q_N得到天际线；天际线与x轴平行，与u轴不平行；旋转所述侧斜图像使天际线与u轴平行，则实现所述侧斜图像转成正斜图像；

第二种：在所述侧斜图像中找到一组平行线L₁L₂，在像面uv坐标系中计算平行线L₁L₂在像面的斜视顶点Q_L，根据已知的视角θ及像距OF，获得天际线圆半径R；经所述斜视顶点Q_L向天际线圆作两条切线，根据所述平行线的方向角是否大于90度确定有效天际线；旋转侧斜图像使天际线与u轴平行，将所述侧斜图像转变成为正斜图像；

第三种：设定侧斜图像中的一组平行线L₁L₂，在像面uv坐标系中计算L₁L₂的斜视顶点坐标为(U,V)；根据已知视角θ及像距OF，计算所述侧斜图像转换成正斜图像需要的旋转的角度

用下式表示为：

2.根据权利要求1所述的平面倾斜图像正视转向方法，其特征在于：所述斜视顶点在y轴坐标与视角θ以及像距OF相关，视角θ和像距OF决定斜视顶点在x轴的坐标；

设定平行线的方向角为α，当平行线的方向角等于90度时，斜视顶点在x轴坐标为零；当平行线的方向角小于90度时，斜视顶点在x轴的坐标为正值，当平行线的方向角大于90度时，斜视顶点在x轴的坐标为负值。

3.根据权利要求1所述的平面倾斜图像正视转向方法，其特征在于：物面上任意方向的多组平行线，在像面上对应有多组的斜视顶点，所述多组斜视顶点均位于天际线上，所述天际线与y轴交点y_P用下式计算：

y_P＝OF*cot(θ)

当像距OF和视角θ为固定值时，则设定物面上存在天际线圆，天际线圆以像心为圆心，获得所述天际线圆的半径R。

4.根据权利要求1所述的平面倾斜图像正视转向方法的转向系统，其特征在于：该系统包括物面(1)、透镜(2)、光电传感器(3)和图像处理器；物面(1)的光线经过透镜(2)在光电传感器(3)上成像；

所述光电传感器(3)在像面上的光电转换区域为矩形，将像面发出的成像转换成边缘为矩形的图像；

物面(1)中成像在像心的点为物心；在透镜(2)光心与物心之间的直线为中轴线，物心发出的光沿中轴线穿过透镜(2)的光心到达像心；

物面倾斜成像时，中轴线并非透镜(2)的主光轴；中轴线与物面垂线(4)所成的夹角为视角；视角为零时拍摄的图像为正视图；视角不为零时拍摄的图像为斜视图；

所述斜视图包括正斜图像和侧斜图像，所述图像处理器将接收的正斜图像经过u轴和v轴两个方向的矫正得到正视图像；对所述侧斜图像先进行旋转，将所述侧斜图像转到与正斜图像的相同方向，再进行矫正得到正视图像。

5.根据权利要求4所述的平面倾斜图像正视转向方法的转向系统，其特征在于：还包括显示器，光电传感器(3)上成像得到的图像经过图像处理电路(4)转向处理后，在显示器(5)上显示正斜图像。

6.根据权利要求4所述的平面倾斜图像正视转向方法的转向系统，其特征在于：所述物面(1)为平面，透镜(2)为凸透镜或凹面镜，光电传感器(3)为CCD或CMOS。

Images