CN112634142A

CN112634142A - 一种超宽视角图像的畸变修正方法

Info

Publication number: CN112634142A
Application number: CN201910902596.7A
Authority: CN
Inventors: 贾伟; 金虹辛; 闫伟
Original assignee: Xiaoyuan Perception Beijing Technology Co ltd
Current assignee: Xiaoyuan Perception Beijing Technology Co ltd
Priority date: 2019-09-24
Filing date: 2019-09-24
Publication date: 2021-04-09

Abstract

本发明公开了一种超宽视角图像的畸变修正方法，所述超宽视角图像由复眼成像系统获得，所述畸变修正方法包括：输入由复眼成像系统获得的待修正的超宽视角图像，并获取该超宽视角图像的分辨率、水平视场角及垂直视场角；获取修正后图像的凝视角度α和视角宽度β，并使用极坐标系对待修正的超宽视角图像的每个像素进行表征；根据凝视角度α和视角宽度β对该超宽视角图像的像素进行像素搬移；并在像素搬移完成后，将修正区域与未修正区域的图像进行拼接以完成图像修正。

Description

一种超宽视角图像的畸变修正方法

技术领域

本发明涉及超宽视角图像的数字图像的处理技术，尤其涉及一种超宽视角柱面图像的畸变修正方法。

背景技术

数字成像设备的普及使得数码图像得到广泛的应用。在实际的科学研究和工程项目中，经常会用到超过人眼视角的超宽视角图像，但由于距离的限制，普通的数字成像设备的视角通常无法将大尺寸的物体用一张照片拍摄下来。为了得到大视角的高分辨率图像，现有技术中或者使用单个的超广角镜头来获取超宽视角图像，或者使用图像拼接融合技术获取超宽视角图像。利用单个的超广角镜头虽然可以得到宽视角的图像，但广角镜头的边缘会产生难以避免的扭曲变形，同时当分辨率需求提高时，对超广角镜头成像系统的要求也随之提高，昂贵的镜头单元和成像单元均使得获得超宽视角图像的成本变高。而针对图像拼接融合技术而言，随着分辨率的提高，图像拼接运算所需要的计算量急剧的增加，对成像单元相应的匹配的运算设备提出了更高的要求。

现有技术中还存在使用复眼相机获得超宽视角图像的方法，所述复眼相机在水平方向或竖直方向上针对不同角度布设多个广角镜头，将多个广角镜头获取的图像进行拼接，形成超宽视角图像。当所述多个广角镜头的视角能够覆盖180°时，所得到的拼接图像即为具有180°视角范围的超宽视角图像。但是，由复眼相机获得超宽视角图像依然存在图像的畸变，其主要体现在相机排列方向上。以相机水平排列为例，所获得的的超宽视角图像在水平方向上存在不符合人眼视觉的图像畸变，而在竖直方向上由于复眼相机的视场角相对不大，因此图像畸变较为轻微。此时，由复眼相机所获得的的超宽视角图像可以看成是一副具有超宽视角的柱面图像，该具有超宽视角的柱面图像在水平方向存在明显畸变，而在竖直方向上可近似认为无畸变。因此现有技术中继续一种能够针对该类型图像进行畸变修正的方法，使得由复眼相机获得的超宽视角图像修正为符合人眼视觉的图像。

发明内容

本发明所要解决的技术问题提供一种针对由复眼相机获得超宽视角图像修正方法，使该超宽视角图像的图形畸变消除或减弱。

为了解决上述技术问题，本发明提供了一种超宽视角图像的畸变修正方法，所述超宽视角图像由复眼成像系统获得，所述畸变修正方法包括：

输入由复眼成像系统获得的待修正的超宽视角图像，并获取该超宽视角图像的分辨率、水平视场角及垂直视场角；

获取获取修正后图像的凝视角度α和视角宽度β，并使用极坐标系对待修正的超宽视角图像的每个像素进行表征；

根据凝视角度α和视角宽度β对该超宽视角图像的像素进行像素搬移；并在像素搬移完成后，将修正区域与未修正区域的图像进行拼接以完成图像修正。

在一个实施例中，所述凝视角度α和视角宽度β可以是预先指定的，也可以人工实时指定，所述畸变修正方法还包括，根据人工实时指定的凝视角度α和视角宽度β对超宽视角图像进行实时的畸变修正。

在一个实施例中，所述像素搬移过程中，对视角宽度β范围内的图像像素搬移根据公式1进行，对视角宽度β范围外的图像像素搬移根据公式2进行；

其中，theta代表畸变图像的水平或垂直视场角范围为常量，一般摄像系统中theta的取值范围为0～360°，θ为欲修正视角宽度β范围内的自变量。R代表畸变图像像素坐标位置，令输入图像的宽度像素数为W，高度像素数为H，则R的取值为W/π。f(x)为图像原始像素x方向坐标排列关系，g(x)为图像原始像素y方向坐标排列关系。

在一个实施例中，所述像素搬移过程中，还包括在修视角宽度β范围内与视角宽度β范围外之间设置过渡区间，所述过渡区间中的像素排列关系满足公式3；

其中，k为比例系数，x1、y1为在修视角宽度β范围内的坐标像素值，x2、y2为在修视角宽度β范围外的坐标像素值。

在所示图像拼接过程中，将修正区域、未修正区域及过渡区域的搬移后像素进行拼接。

在一个实施例中，所述凝视角度α即超宽视角图形的观察者所指定的直视方向；而视角宽度β则取决于观察者对图像的放大和缩小操作，如观察者放大图像，则视角宽度β收窄，如观察者缩小图像，则视角宽度β扩大。

根据本发明的另一个方面，本发明提供了一种用于超宽视角图像畸变修正的装置，所述超宽视角图像由复眼成像系统获得，所述装置包括：

图像输入单元，所述图像输入单元接收由复眼成像系统获得的待修正的超宽视角图像，并提取该超宽视角图像的分辨率、水平视场角及垂直视场角；所述图像输入单元还用于获取获取修正后图像的凝视角度α和视角宽度β，并使用极坐标系对待修正的超宽视角图像的每个像素进行表征；

图像修正单元，所述图像修正单元根据凝视角度α和视角宽度β对该超宽视角图像的像素进行像素搬移；并在像素搬移完成后，将修正区域与未修正区域的图像进行拼接以完成图像修正；

图像输出单元，所述图像输出单元将修正后的图像输出至显示设备以实现修正图像的展示。

在一个实施例中，所述凝视角度α和视角宽度β可以是预先指定的，也可以人工实时指定，所述图像输入单元还用于实时地人工实时指定的凝视角度α和视角宽度β，并传送给图像修正单元以对超宽视角图像进行实时的畸变修正。

本发明的另一个方便还在于提供一种复合坐标系的视频画面生成方法，由笛卡尔坐标系视频画面和柱面坐标系画面复合而成，其中笛卡尔坐标系视频画面嵌于柱面坐标系视频画面的内部，所述笛卡尔坐标系视频画面与柱面坐标系视频画面进行拼接完成画面的复合；其中，柱面坐标系视频画面和笛卡尔坐标系视频画面来自于同一个视频采集源，其可以是单目相机采集的视频，也可以是复眼相机采集的视频；所述柱面坐标系视频是采集视频源在柱面坐标系的投影，其中，柱面坐标系是以采集视频源的光心为原点，以垂直于采集视频源坐标系的Z轴的柱面获得的柱面坐标系；所述笛卡尔坐标系视频是采集视频源在笛卡尔坐标系的头像，其中，笛卡尔坐标系是以采集视频源的光心为原点，以垂直于采集视频源坐标系的XOY平面的面为靶面的笛卡尔坐标系；所述笛卡尔坐标系视频画面可以在柱面坐标系的视频画面内左右上下移动；所述笛卡尔坐标系的视频画面的宽度和高度可以调整。

在一个实施例中，所述柱面坐标系可以替换为球面坐标系，从而实现笛卡尔坐标系与球面坐标系的视频画面复合。

本发明的发明点在于：

1.本发明的图像畸变修正方法中将待修正图像的像素使用极坐标系进行表征，并在修正算法中利用极坐标系参数进行运算，完成对将柱面图像像素的搬移。

2.本发明的图像畸变修正方法通过设置凝视角度α和视角宽度β实现对观察者关注区域的畸变修正，在有效的实现了畸变修正同时也大幅降低了畸变修正的运算量，提高修正图像的显示速度。

本发明的其它特征和优点将在随后的说明书中阐述，并且，部分地从说明书中变得显而易见，或者通过实施本发明而了解。本发明的目的和其他优点可通过在说明书、权利要求书以及附图中所特别指出的结构来实现和获得。

附图说明

附图用来提供对本发明的进一步理解，并且构成说明书的一部分，与本发明的实施例共同用于解释本发明，并不构成对本发明的限制。在附图中：

图1是根据本发明一实施例的畸变修正方法的流程图；

图2是根据本发明一实施例的柱面图像水平畸变及竖直畸变示意图；

图3是根据本发明一实施例的畸变图像极坐标系表征示意图；

图4是根据本发明一实施例的超宽视角柱面图像俯视示意图；

图5是根据本发明一实施例的超宽视角柱面图像俯视下视点投射示意图；

图6是根据本发明一实施例的修正算法中视点位于Y轴示意图；

图7是根据本发明一实施例的修正算法中视点位于O点示意图；

图8是根据本发明一实施例的修正算法中引入凝视角度α和视角宽度β示意图；

具体实施方式

为使本发明的目的、技术方案和优点更加清楚，以下结合附图对本发明作进一步地详细说明。

第一实施例

图1为本实施例的超宽视角图像修正方法的流程示意图，本实施例中针对由复眼成像系统获得的具有超宽视角的图像修正方法包括如下步骤：

步骤100，输入由复眼成像系统获得的待修正的超宽视角图像，该超宽视角图像在水平方向或竖直方向上具有超宽视角，同时在该方向上具有较高分辨率以及较明显的图形畸变。而在另外一个方向上视场角相对较小，图像畸变不明显。如图2所示，假定一个实际场景为正方形网格的被摄物体，摄取一副水平视场角远大于垂直视场角的图像将会得到一副水平线弯曲程度远大于垂直线弯曲程度的图像，因此垂直视场角带来的图像畸变忽略不计。

步骤101，获取该超宽视场角图像的分辨率数据W×H，以及该图像的水平视场角及垂直视场角，所述水平视场角和垂直视场角是由复眼成像系统所确定。本实施例中，若复眼成像系统的摄像单元是水平排列的，且能够覆盖水平方向上的180°视野范围，则该超宽视场角图像的水平视场角即为180°。若复眼成像系统的摄像单元是竖直排列的，且能够覆盖竖直方向上的180°视野范围，则该超宽视场角图像的竖直视场角即为180°。而此时所形成的的图像可以看成是具有180°视野范围的柱面图像。

步骤102，获取修正后图像的凝视角度α和视角宽度β，所述凝视角度α所指方向是指待修正图像区域的法线方向，即观察者的直视方向，而视角宽度β是指在该方向上左右的视角范围。凝视角度α和视角宽度β的取值来源是多种的，其可以是预定的，例如人为规定凝视角度α为90°，视角宽度β为180°，即此时是对整副的超宽视角图像进行图像修正。又例如，规定凝视角度α为45°，视角宽度β为60°，即此时是对斜45°方向上的，范围是60°的图像区域进行修正。在具体应用中，凝视角度α和视角宽度β也可以由超宽视角图像的观察者自由地自行指定，所述凝视角度α即超宽视角图形的观察者所指定的直视方向，而视角宽度β则取决于观察者对图像的放大和缩小操作，如观察者在放大图像，则视角宽度β收窄，如观察者在缩小图像，则视角宽度β扩大。

步骤103，使用柱面坐标系对待修正的超宽视角图像的每个像素进行表征。如图3所示，以水平方向具有180°超宽视角的图像为例，首先规定原点坐标规定图像中心点为图像所在坐标系的原点记为图像中心点坐标为o(0，0)则图像在xoy笛卡尔坐标系第一象限任意一点像素可以表示为F(u，v)其中(0≤u≤W/2,0≤v≤H/2)，定义成像系统等效为柱面时，柱面的弧度即为图像的视场角用theta表示，图像垂直方向每一像素点到光心的距离相等，在像素空间坐标系下表示为R，每一像素点与光心的旋转角度为γ(0≤γ≤theta)，则图像每一行的分布规律一致即在俯视图下呈弧线形分布，满足f(γ,R)关系即修正前图像的像素水平排列关系满足圆弧曲线分布可以表述为f(γ,R)的关系式，修正的图像为该图像的部分或全部，修正后的图像修正区域的水平像素排列关系采用f(θ,R)表述，其中θ≤γ。

步骤104，在对待修正图像进行极坐标系表征后，本实施例的修正方法需要对凝视角度α和视角宽度β进行判断，判断其是否更改，如其有更改，则可能是观察更换了直视方向或更改了放大倍数。

步骤105，如果凝视角度α和视角宽度β有过更改，则需使用最新的凝视角度α和视角宽度β数据。

步骤106，根据视角宽度及凝视角度对待修正区域图像像素利用修正算法进行像素搬移，本实施例的像素搬移算法包括以下过程：

过程1：由于待修正的超宽视角图像已经转换为(θ，R)坐标系图像，theta代表畸变图像的水平(或垂直)视场角范围为常量，一般摄像系统中theta取值为(0,360°)的某一个值或某些值(变焦摄像系统)，θ为欲修正视角宽度β范围内的自变量。假定输入单元的畸变图像的分辨率为W×H，视场角theta为180°，则该超宽视角柱面图像的俯视图如下图4所示，AB两点间的半圆弧长为W。

针对图4所描述的柱面图像的俯视图，设O点坐标为O(0，0)，建立XOY坐标系，该XOY坐标系所在平面是垂直于所述柱面图像的，假设从AB所在直线下方任一点K(△x,△y)，穿过O点，透视过去，则可唯一将柱面展开到与OK所在直线垂直的平面上，如下图5所示。

若使△x＝0，即K点的移动范围沿Y轴从O点向下移动，即△y取值范围(0，-∞)，变成如下图6所示。

过程2：由图6及以上的假设可知：

畸变图像的宽度

视场角∠AOB＝180°，即：π。

K点和O点之间的距离为：|△y|。

①记点F(u,v)为

上的任一点(由于第一象限的圆弧和第四象限的圆弧对称，故此处只考虑第一象限的算法推到过程，第一象限的推到结果映射到第四象限即可)，FP垂直于Y轴，与Y轴的交点为P。

②记F点与Y轴所形成的夹角为θ，则θ的取值范围为(0,π/2)。θ随着u的变化而变化。

∵

∴θ＝(u·π)/W u∈(0,W/2)

又v随着θ的变化而变化，v∈(R,R·cos(u·π/W))

③记

所在圆的半径为R，R＝W/π。

综上：

∵△KPF与△KO'F'相似，

∴

即

带入相关变量即可得到x与u之间的函数关系：

又∵

∴

带入相关变量即可得到y与u，v之间的函数关系：

过程3：若将图6的K点上移至与O点重合，即△x＝0，△y＝0。

此时，

无法完全矫正到图6中A′B′所在平面(由于x轴和A′B′所在平面平行，AB两点趋于无穷大，永远不能展开到A′B′所在平面)。故此时只能矫正视场角小于180°图像到A′B′所在平面。

假设矫正的视场角度为α(0°<α<180°)。则矫正的效果图如图7所示：

与过程2推导过程类似：

①记点F(u,v)为

上的任一点，FP垂直于Y轴，与Y轴的交点为P。

②记F点与Y轴所形成的夹角为θ，则θ的取值范围为(0,α/2)。θ随着u的变化而变化，u的取值范围(0,(α·W)/(2·π))

∵

∴θ＝(u·π)/W u∈(0,(α·W)/(2·π))

又v随着θ的变化而变化，v∈(R,R·cos(u·π/W))

③记

所在圆的半径为R，R＝W/π。

综上：

∵△KPF与△KO'F'相似，

∴

即

带入相关变量即可得到x与u之间的函数关系：

u∈(0,(α·W)/(2·π))

又∵

∴

带入相关变量即可得到y与u，v之间的函数关系：

u∈(0,(α·W)/(2·π))，v∈(R,R·cosθ)

过程4：基于上述过程2推导过程，以及输入单元的输入信息。如图8所示。

令欲修正图像视角宽度为β，β＝∠COD，(0°<β<180°)，OE为β角的角平分线，即∠COE＝β/2。

令欲修正图像凝视角度为α，α＝∠AOE，(0°<α<180°)

同时由上图可知α，β满足如下条件：

α+β/2≤π

令OE所在实现为Y′轴，过O点并垂直于OE的直线为X′轴，建立X′Y′直极坐标系。

与过程2推导过程类似：

①记点F(u,v)为

上的任一点，FP垂直于Y′轴，与Y′轴的交点为P。

②记F点与Y′轴所形成的夹角为θ，则θ的取值范围为(0,β/2)。θ随着u的变化而变化，u的取值范围(0,(β·W)/(2·π))

∵

∴θ＝(u·π)/W u∈(0,(β·W)/(2·π))

又v随着θ的变化而变化，v∈(R,R·cos(u·π/W))

③记

所在圆的半径为R，R＝W/π。

综上：

∵△KPF与△KEF'相似，

∴

即

带入相关变量即可得到x与u之间的函数关系：

u∈(0,(β·W)/(2·π))

又∵

∴

带入相关变量即可得到y与u，v之间的函数关系：

u∈(0,(β·W)/(2·π))，v∈(R,R·cos(u·π/W))

根据步骤102获得的视角宽度β及凝视角度α通过上述过程4的修正算法，待修正图像以的像素坐标x、y排列关系满足：

其中，theta代表畸变图像的水平(或垂直)视场角范围为常量，一般摄像系统中theta取值为(0,360°)的某一个值或某些值(变焦摄像系统)，θ为欲修正视角宽度β范围内的自变量。R代表畸变图像像素坐标位置，令输入图像的宽度为W，高为H，则R的取值为W/π。f(x)为图像原始像素x方向坐标排列关系，g(y)为图像原始像素y方向坐标排列关系。视角宽度β范围外的图像的标x、y排列关系满足：

修视角宽度β范围内与视角宽度β范围外的过渡区间的渐变处理算法为：

依据上述公式1至公式3，可根据凝视角度α及视角宽度β对原始超宽视角柱面图像像素进行搬移。

步骤107，将修正区域与未修正区域的图像拼接，使得在凝视角度α及视角宽度β范围内的图像是符合人眼视觉感受的。

步骤108，将修正后的图像输出至显示装置进行显示，并对凝视角度α及视角宽度β进行监控，当凝视角度α及视角宽度β发生改变时，再次根据凝视角度α及视角宽度β进行图像修正。

以上所述，仅为本发明的具体实施案例，本发明的保护范围并不局限于此，任何熟悉本技术的技术人员在本发明所述的技术规范内，对本发明的修改或替换，都应在本发明的保护范围之内。

Claims

1.一种超宽视角图像的畸变修正方法，所述超宽视角图像由复眼成像系统获得，其特征在于，所述畸变修正方法包括：

2.根据权利要求1所述的超宽视角图像的畸变修正方法，其特征在于，所述凝视角度α和视角宽度β可以是预先指定的，也可以人工实时指定，所述畸变修正方法还包括，根据人工实时指定的凝视角度α和视角宽度β对超宽视角图像进行实时的畸变修正。

3.根据权利要求2所述的超宽视角图像的畸变修正方法，其特征在于，所述像素搬移过程中，对视角宽度β范围内的图像像素搬移根据公式1进行，对视角宽度β范围外的图像像素搬移根据公式2进行；

4.根据权利要求3所述的超宽视角图像的畸变修正方法，其特征在于，所述像素搬移过程中，还包括在修视角宽度β范围内与视角宽度β范围外之间设置过渡区间，所述过渡区间中的像素排列关系满足公式3；

5.根据权利要求2所述的超宽视角图像的畸变修正方法，其特征在于，所述凝视角度α即超宽视角图形的观察者所指定的直视方向；而视角宽度β则取决于观察者对图像的放大和缩小操作，如观察者放大图像，则视角宽度β收窄，如观察者缩小图像，则视角宽度β扩大。

6.一种用于超宽视角图像畸变修正的装置，所述超宽视角图像由复眼成像系统获得，其特征在于，所述装置包括：

7.根据权利要求6所述的超宽视角图像的畸变修正方法，其特征在于，所述凝视角度α和视角宽度β可以是预先指定的，也可以人工实时指定，所述图像输入单元还用于实时地人工实时指定的凝视角度α和视角宽度β，并传送给图像修正单元以对超宽视角图像进行实时的畸变修正。

8.根据权利要求7所述的超宽视角图像的畸变修正方法，其特征在于，所述像素搬移过程中，对视角宽度β范围内的图像像素搬移根据公式1进行，对视角宽度β范围外的图像像素搬移根据公式2进行；

9.根据权利要求8所述的超宽视角图像的畸变修正方法，其特征在于，所述像素搬移过程中，还包括在修视角宽度β范围内与视角宽度β范围外之间设置过渡区间，所述过渡区间中的像素排列关系满足公式3；

10.根据权利要求7所述的超宽视角图像的畸变修正方法，其特征在于，所述凝视角度α即超宽视角图形的观察者所指定的直视方向；而视角宽度β则取决于观察者对图像的放大和缩小操作，如观察者放大图像，则视角宽度β收窄，如观察者缩小图像，则视角宽度β扩大。

11.一种复合坐标系的视频画面生成方法，所述视频画面由笛卡尔坐标系视频画面和柱面坐标系画面复合而成，其特征在于：其中笛卡尔坐标系视频画面嵌于柱面坐标系视频画面的内部，所述笛卡尔坐标系视频画面与柱面坐标系视频画面进行拼接完成画面的复合；

其中，柱面坐标系视频画面和笛卡尔坐标系视频画面来自于同一个视频采集源，其可以是单目相机采集的视频，也可以是复眼相机采集的视频；

所述柱面坐标系视频是采集视频源在柱面坐标系的投影，其中，柱面坐标系是以采集视频源的光心为原点，以垂直于采集视频源坐标系的Z轴的柱面获得的柱面坐标系；

所述笛卡尔坐标系视频是采集视频源在笛卡尔坐标系的图像，其中，笛卡尔坐标系是以采集视频源的光心为原点，以垂直于采集视频源坐标系的XOY平面的面为靶面的笛卡尔坐标系；

所述笛卡尔坐标系视频画面可以在柱面坐标系的视频画面内左右上下移动；所述笛卡尔坐标系的视频画面的宽度和高度可以调整。

12.根据权利要求11所述的复合坐标系的视频画面生成方法，所述柱面坐标系可以替换为球面坐标系，从而实现笛卡尔坐标系与球面坐标系的视频画面复合。