CN102682431A - 广角图像校正方法和系统 - Google Patents

Abstract

本发明公开了一种广角图像校正方法和系统，方法包括如下步骤：获取广角图像；如果广角图像为彩色图像，将广角图像转换为灰度图像；采用椭球模型模拟所述广角图像，设定阈值T，统计出灰度图像中大于T的像素的个数N，设定椭球的长轴a和短轴b并根据N计算椭球的中心（x0，y0，0）和半径R；设定默认的深度值z，求解与校正图像中的像素坐标（x，y）对应的广角图像中的像素坐标（u，v）；调整垂直偏移量Δu和水平偏移量Δv，得到对应的校正图像并显示。相比传统的透视投影变换，这种广角图像校正方法通过调整椭球的阈值T、长轴a、短轴b、深度z、垂直偏移量Δu和水平偏移量Δv等参数，从而可以更好的最小化广角图像的扭曲。

Description

广角图像校正方法和系统

技术领域

本发明涉及图像校正领域，尤其涉及一种广角图像校正方法和系统。

背景技术

为了在一张图片中能够看到更广的视野，人们对成像系统提出了更高的要求。然而，更多的视野，意味着更多的光线的弯曲，图像里面物体的形状以及直线等都会出现弯曲或形变。为此，为了校正广角图像，一些图像校正算法应运而生。

传统的基于透视投影变换的校正方法，能够很好的校正广角图像中扭曲的直线，但是，广角图像中的物体的形状却依然没有得到校正，反而会出现更大的扭曲，尤其是在校正后的图像的边界。

发明内容

基于此，提供一种最小化广角图像的扭曲的广角图像校正方法和系统。

一种广角图像校正方法，包括如下步骤：

获取广角图像；

如果所述广角图像为彩色图像，将所述广角图像转换为灰度图像；

采用椭球模型模拟所述广角图像，设定阈值T，统计出灰度图像中大于T的像素的个数N，设定椭球的长轴a和短轴b并根据N计算椭球的中心（x0，y0，0）和半径R；

设定默认的深度值z，求解与校正图像中的像素坐标（x，y）对应的所述广角图像中的像素坐标（u，v）；

调整垂直偏移量Δu和水平偏移量Δv，得到对应的校正图像并显示。

在一个实施例中，所述获取广角图像的步骤为：从广角镜头接收图像。

在一个实施例中，阈值T、长轴a、短轴b、椭球的中心（x0，y0，0）、半径R和深度值z满足如下关系式：

a²(x-x⁰)₂+b²(y-y₀)²+z²=R²    ，

$N=\underset{I(i,j)>T}{\mathrm{\Σ}}1,$

$x_0=\underset{I(i,j)>T}{\mathrm{\Σ}}i/N,$

$y_0=\underset{I(i,j)>T}{\mathrm{\Σ}}j/N,$

$R=\sqrt{N/\mathrm{\π}}5,$

$\begin{array}{c}u=\frac{\mathrm{Ra}(x-x_0)}{\sqrt{a^2{\left({x-x}_0\right)}^2+b^2{\left({y-y}_0\right)}^2+z^2}},\\ v=\frac{\mathrm{Rb}\left({y-y}_0\right)}{\sqrt{a^2{\left({x-x}_0\right)}^2+b^2{\left({y-y}_0\right)}^2+z^2}}.\end{array}$

在一个实施例中，所述水平偏移量Δv为实际水平偏移量除以广角图像的宽度得到的归一化数值；

所述垂直偏移量Δu为实际垂直偏移量除以广角图像的高得到的归一化数值。

在一个实施例中，阈值T、长轴a、短轴b、深度值z、垂直偏移量Δu和水平偏移量Δv设定为：

T=10，a=0.8，b=1.0，z=0.8，Δu=0，Δv=0。

在一个实施例中一种广角图像校正系统，包括如下模块：

图像获取模块，用于获取广角图像；

图像转换模块，用于接收所述图像获取模块获取的广角图像，如果所述广角图像为彩色图像，将所述广角图像转换为灰度图像；

中央处理模块，用于接收所述图像转换模块转换的到的灰度图像，采用椭球模型模拟所述广角图像，设定阈值T并统计出所述灰度图像中大于T的像素的个数N，接着设定椭球的长轴a和短轴b并根据N计算椭球的中心(x0，y0，0)和半径R，设定默认的深度值z，求解与校正图像中的像素坐标(x，y)对应的所述广角图像中的像素坐标(u，v)，调整垂直偏移量Δu和水平偏移量Δv，得到对应的校正图像；

显示模块，用于接收所述中央处理模块得到的校正图像，并显示所述校正图像。

在一个实施例中，所述图像获取模块为广角镜头。

在一个实施例中，所述中央处理模块中，阈值T、长轴a、短轴b、椭球的中心（x0，y0，0）、半径R和深度值z满足如下关系式：

a²(x-x₀)²+b²(y-y₀)²+z²=R²，

$N=\underset{I(i,j)>T}{\mathrm{\Σ}}1,$

$x_0=\underset{I(i,j)>T}{\mathrm{\Σ}}i/N,$

$y_0=\underset{I(i,j)>T}{\mathrm{\Σ}}j/N,$

$R=\sqrt{N/\mathrm{\π}},$

$\begin{array}{c}u=\frac{\mathrm{Ra}\left({x-x}_0\right)}{\sqrt{a^2{\left({x-x}_0\right)}^2+b^2{\left({y-y}_0\right)}^2+z^2}},\\ v=\frac{\mathrm{Rb}\left({y-y}_0\right)}{\sqrt{a^2{\left({x-x}_0\right)}^2+b^2{\left({y-y}_0\right)}^2}+z^2}.\end{array}$

在一个实施例中，所述中央处理模块中，所述水平偏移量Δv为实际水平偏移量除以图像的宽度得到的归一化数值；

所述垂直偏移量Δu为实际垂直偏移量除以图像的高得到的归一化数值。

在一个实施例中，所述中央处理模块中，阈值T、长轴a、短轴b、深度值z、垂直偏移量Δu和水平偏移量Δv设定为：T=10，a=0.8，b=1.0，z=0.8，Δu=0，Δv=0。

相比传统的透视投影变换，这种广角图像校正方法通过设定阈值T，统计出灰度图像中大于T的像素的个数N，设定椭球的长轴a和短轴b并根据N计算椭球的中心（x0，y0，0）和半径R，接着设定默认的深度值z，求解与校正图像中的像素坐标（x，y）对应的所述广角图像中的像素坐标（u，v），调整垂直偏移量Δu和水平偏移量Δv，从而可以更好的最小化广角图像的扭曲。

附图说明

图1为一实例的广角图像校正方法的流程图；

图2为椭球模型模拟成像原理示意图；

图3为给定的广角图像原图；

图4为采用透视投影校正图3得到的图像；

图5为采用广角图像校正方法校正图3得到的图像；其中，T=10，a=0.8，b=0.8，z=0.8，Δu=0，Δv=0；

图6为采用广角图像校正方法校正图3得到的图像；其中，T=10，a=0.8，b=0.8，z=0.8，Δu=0，Δv=0；

图7为采用广角图像校正方法校正图3得到的图像；其中，T=10，a=0.8，b=0.8，z=0.8，Δu=0，Δv=0.1；

图8为采用广角图像校正方法校正图3得到的图像；其中，T=10，a=b=1.0，z=0.8，Δu=0，Δv=0；

图9为采用广角图像校正方法校正图3得到的图像；其中，T=10，a=0.6，b=0.8，z=0.8，Δu=0，Δv=0；

图10为一个实施例的广角图像校正系统的结构示意图；

图11为另一个实施例的广角图像校正系统的结构示意图；

图12为图11所示的广角图像校正系统的参数输入模块的参数接收界面；

图13为图11所示的广角图像校正系统的参数输入模块的接收指定参数的示意图；

图14为图11所示的广角图像校正系统的显示对应的校正图像的示意图。

具体实施方式

为了便于理解本发明，下面将参照相关附图对本发明进行更全面的描述。附图中给出了本发明的较佳实施例。但是，本发明可以以许多不同的形式来实现，并不限于本文所描述的实施例。相反地，提供这些实施例的目的是使对本发明的公开内容的理解更加透彻全面。

如图1所示的一实施例的广角图像校正方法，包括如下步骤：

S10、获取广角图像。

本实施例中，可以从广角镜头接收图像。

S20、如果广角图像为彩色图像，将广角图像转换为灰度图像。

如果广角图像为彩色图像，需要将其转成灰度图像。

如果广角图像为黑白图像，则其自身即为灰度图像，不需要额外进行转换。

S30、采用椭球模型模拟广角图像，设定阈值T，统计出灰度图像中大于T的像素的个数N，设定椭球的长轴a和短轴b并根据N计算椭球的中心（x0，y0，0）和半径R。

根据广角图像成像的原理，提出一个全新的基于椭球模型的校正算法，采用椭球模型模拟光线的弯曲、广角图像的形成，从而达到最小化广角图像的扭曲的效果。

首先，椭球模型可以用如下方程式表示：

a²(x-x₀)²+b²(y-y₀)²+z²=R²

广角图像的成像原理，可以如图2所示，模拟近似。q为广角图像中的像素坐标，p为与其对应的平面图像上的坐标。

据空间几何关系，很容易得到如下对应关系方程组：

$u=\frac{\mathrm{Ra}(x-x_0)}{\sqrt{a^2{\left({x-x}_0\right)}^2+b^2{\left({y-y}_0\right)}^2+z^2}}$

$v=\frac{\mathrm{Rb}\left({y-y}_0\right)}{\sqrt{a^2{\left({x-x}_0\right)}^2+b^2{\left({y-y}_0\right)}^2{+z}^2}}$

其中，(u,v)是广角图像中的像素坐标，(x,y)为平面图像中的像素坐标。

计算椭球的中心(x0,y0,0)以及半径R。

这里，采用简单的统计学方法。算法如下：

$N=\underset{I(i,j)>T}{\mathrm{\Σ}}1$

$x_0=\underset{I(i,j)>T}{\mathrm{\Σ}}i/N$

$y_0=\underset{I(i,j)>T}{\mathrm{\Σ}}j/N$

$R=\sqrt{N/\mathrm{\π}}$

S40、设定默认的深度值z，求解与校正图像中的像素坐标（x，y）对应的广角图像中的像素坐标（u，v）。

调整垂直偏移量Δu和水平偏移量Δv，得到对应的校正图像并显示。然后，设定一个默认的深度值z，默认取0.8，根据对应关系方程组，求解与像素坐标(x,y)对应的像素坐标(u,v)。

S50、调整垂直偏移量Δu和水平偏移量Δv，得到对应的校正图像并显示。

通过调整垂直偏移量Δu和水平偏移量Δv，得到对应的校正图像并显示。

本实施例中，水平偏移量Δv为实际水平偏移量除以广角图像的宽度得到的归一化数值；垂直偏移量Δu为实际垂直偏移量除以广角图像的高得到的归一化数值。

在另一个实施例中，垂直偏移量Δu和水平偏移量Δv还可以直接作为像素个数的衡量，即：如果Δu=100，Δv=200，表示校正图像范围垂直向下偏移100个像素，水平向右偏移200个像素。

这种广角图像校正方法只适合那些完整的球形的广角图像，并且，广角图像中，非图像区域为黑色。如果原广角图像不符合上述要求，可以进行手工标注的方式，获取椭球中心(x0,y0,0)以及半径R。

这种广角图像校正方法包含六个参数，分别为椭球的阈值T、长轴a、短轴b、深度z、垂直偏移量Δu和水平偏移量Δv。该算法简单易用，通过设定六个参数，即可达到校正的效果。

通过大量实验发现，六个参数，可以取默认值：T=10，a=0.8，b=1.0，z=0.8，Δu=0，Δv=0。用户也可以根据校正后的结果，调整对应的参数，得到感兴趣的校正区域。

为了达到更好的交互式处理的目的，从而更加方便用户做交互式的处理，在另一个实施例中，可以通过按钮的选取，调整椭球的阈值T、长轴a、短轴b、深度z、垂直偏移量Δu和水平偏移量Δv等参数，从而达到相应的校正效果。

相比传统的透视投影变换，这种广角图像校正方法可以更好的校正广角图像中扭曲的物体的形状，很好的校正广角图像中扭曲的直线以及扭曲的物体的形状。同时，这种广角图像校正方法不需要大量的互用交互。通过简单六个参数设定，即可得到理想的效果。其中，参数a和参数b的调整，可以调整整个视野在水平方向和垂直方向的对比度。设置参数垂直偏移量Δu，可以得到垂直方向偏移Δu的感兴趣区域。同理，改变水平偏移量Δv的参数值，可以得到水平方向的不同的感兴趣区域。当参数a等于参数b时，椭球校正模型退化为球校正模型。

给定一个广角图像，如图3所示。透视投影校正结果如图4所示，可以看到尽管广角图像中的直线得到了校正，但是，物体的形状发生了很大的扭曲，尤其是老人的头部和小男孩的头部和胳膊。

通过简单的参数设定，我们的算法的校正结果如图5所示。此外，调整不同的参数，可以得到不同的视野区域，分别如图6、图7、图8和图9所示。

此外，还提供一种广角图像校正系统。

如图10所示，在一个实施例中，广角图像校正系统包括如下模块：

图像获取模块10、图像转换模块20、中央处理模块30和中央处理模块40。

图像获取模块10用于获取广角图像。

本实施例中，图像获取模块10为广角镜头。

图像转换模块20用于接收图像获取模块10获取的广角图像，如果所述广角图像为彩色图像，将广角图像转换为灰度图像。

中央处理模块30用于接收图像转换模块20转换的到的灰度图像，采用椭球模型模拟广角图像，设定阈值T并统计出灰度图像中大于T的像素的个数N，接着设定椭球的长轴a和短轴b并根据N计算椭球的中心(x0，y0，0)和半径R，设定默认的深度值z，求解与校正图像中的像素坐标(x，y)对应的所述广角图像中的像素坐标(u，v)，调整垂直偏移量Δu和水平偏移量Δv，得到对应的校正图像。

中央处理模块30的具体工作远离如下：

根据广角图像成像的原理，提出一个全新的基于椭球模型的校正算法，采用椭球模型模拟光线的弯曲、广角图像的形成，从而达到最小化广角图像的扭曲的效果。

首先，椭球模型可以用如下方程式表示：

a²(x-x₀)²+b²(y-y₀)²+z²＝R²

广角图像的成像原理，可以如图2所示，模拟近似。q为广角图像中的像素坐标，p为与其对应的平面图像上的坐标。

据空间几何关系，很容易得到如下对应关系方程组：

$\begin{array}{c}u=\frac{\mathrm{Ra}\left({x-x}_0\right)}{\sqrt{a^2{\left({x-x}_0\right)}^2+b^2{\left({y-y}_0\right)}^2+z^2}}\\ v=\frac{\mathrm{Rb}\left({y-y}_0\right)}{\sqrt{a^2{\left({x-x}_0\right)}^2+b^2{\left({y-y}_0\right)}^2}+z^2}\end{array}$

其中，(u,v)是广角图像中的像素坐标，(x,y)为平面图像中的像素坐标。

计算椭球的中心(x0,y0,0)以及半径R。

这里，采用简单的统计学方法。算法如下：

$N=\underset{I(i,j)>T}{\mathrm{\Σ}}1$

$x_0=\underset{I(i,j)>T}{\mathrm{\Σ}}i/N$

$y_0=\underset{I(i,j)>T}{\mathrm{\Σ}}j/N$

$R=\sqrt{N/\mathrm{\π}}$

设定默认的深度值z，求解与校正图像中的像素坐标（x，y）对应的广角图像中的像素坐标（u，v）。

调整垂直偏移量Δu和水平偏移量Δv，得到对应的校正图像并显示。然后，设定一个默认的深度值z，默认取0.8，根据对应关系方程组，求解与像素坐标(x,y)对应的像素坐标(u,v)。

通过调整垂直偏移量Δu和水平偏移量Δv，得到对应的校正图像并显示。

本实施例中，水平偏移量Δv为实际水平偏移量除以广角图像的宽得到的归一化数值；垂直偏移量Δu为实际垂直偏移量除以广角图像的高得到的归一化数值。

在另一个实施例中，垂直偏移量Δu和水平偏移量Δv还可以直接作为像素个数的衡量，即：如果Δu=100，Δv=200，表示校正图像范围水平垂直向下偏移100个像素，向右偏移200个像素。

这种广角图像校正方法只适合那些完整的球形的广角图像，并且，广角图像中，非图像区域为黑色。如果原广角图像不符合上述要求，可以进行手工标注的方式，获取椭球中心(x0,y0,0)以及半径R。

这种广角图像校正方法包含六个参数，分别为椭球的阈值T、长轴a、短轴b、深度z、垂直偏移量Δu、水平偏移量Δv。该算法简单易用，通过设定六个参数，即可达到校正的效果。

通过大量实验发现，六个参数，可以取默认值：T=10，a＝0.8，b=1.0，z=0.8，Δu=0，Δv=0。用户也可以根据校正后的结果，调整对应的参数，得到感兴趣的校正区域。

显示模块40用于接收中央处理模块30得到的校正图像，并显示校正图像。

显示模块40可以是任意的显示装置。

为了达到更好的交互式处理的目的，从而更加方便用户做交互式的处理，在另一个实施例中，如图11所示，广角图像校正系统还包括参数输入模块50。

参数输入模块50用于通过按钮的选取，调整椭球的阈值T、长轴a、短轴b、深度z、垂直偏移量Δu和水平偏移量Δv等参数，从而达到相应的校正效果。

参数输入模块50面向用户并且与显示模块40相互连接，当接收了提供的参数后，直接将参数输入到中央处理模块30。

图12为显示模块40显示的参数输入模块50的参数接收界面。广角图像被转换后进入中央处理模块30后，如图13所示，向参数输入模块50输入指定的参数，接着参数输入模块50将指定的参数后输入到中央处理模块30，中央处理模块30根据接收到的参数校正广角图像，并输出对应的校正图像到显示模块50并显示。

以上所述实施例仅表达了本发明的一种或几种实施方式，其描述较为具体和详细，但并不能因此而理解为对本发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变形和改进，这些都属于本发明的保护范围。因此，本发明专利的保护范围应以所附权利要求为准。

Claims (10)

1.一种广角图像校正方法，其特征在于，包括如下步骤：

获取广角图像；

如果所述广角图像为彩色图像，将所述广角图像转换为灰度图像；

采用椭球模型模拟所述广角图像，设定阈值T，统计出灰度图像中大于T的像素的个数N，设定椭球的长轴a和短轴b并根据N计算椭球的中心（x0，y0，0）和半径R；

设定默认的深度值z，求解与校正图像中的像素坐标（x，y）对应的所述广角图像中的像素坐标（u，v）；

调整垂直偏移量Δu和水平偏移量Δv，得到对应的校正图像并显示。

2.如权利要求1所述的广角图像校正方法，其特征在于，所述获取广角图像的步骤为：从广角镜头接收图像。

3.如权利要求1所述的广角图像校正方法，其特征在于，阈值T、长轴a、短轴b、椭球的中心（x0，y0，0）、半径R和深度值z满足如下关系式：

a²(x-x₀)²+b²(y-y₀)²+z²=R²，

$N=\underset{I(i,j)>T}{\mathrm{\Σ}}1,$

$x_0=\underset{I(i,j)>T}{\mathrm{\Σ}}i/N,$

$y_0=\underset{I(i,j)>T}{\mathrm{\Σ}}j/N,$

$R=\sqrt{N/\mathrm{\π}},$

$\begin{array}{c}u=\frac{\mathrm{Ra}\left({x-x}_0\right)}{\sqrt{a^2{\left({x-x}_0\right)}^2+b^2{\left({y-y}_0\right)}^2+z^2}},\\ v=\frac{\mathrm{Rb}\left({y-y}_0\right)}{\sqrt{a^2{\left({x-x}_0\right)}^2+b^2{\left({y-y}_0\right)}^2}+z^2}.\end{array}$

4.如权利要求1所述的广角图像校正方法，其特征在于，所述水平偏移量Δv为实际水平偏移量除以广角图像的宽度得到的归一化数值；

所述垂直偏移量Δu为实际垂直偏移量除以广角图像的高得到的归一化数值。

5.如权利要求4所述的广角图像校正方法，其特征在于，阈值T、长轴a、短轴b、深度值z、垂直偏移量Δu和水平偏移量Δv设定为：

T=10，a=0.8，b=1.0，z=0.8，Δu=0，Δv=0。

6.一种广角图像校正系统，其特征在于，包括如下模块：

图像获取模块，用于获取广角图像；

图像转换模块，用于接收所述图像获取模块获取的广角图像，如果所述广角图像为彩色图像，将所述广角图像转换为灰度图像；

中央处理模块，用于接收所述图像转换模块转换的到的灰度图像，采用椭球模型模拟所述广角图像，设定阈值T并统计出所述灰度图像中大于T的像素的个数N，接着设定椭球的长轴a和短轴b并根据N计算椭球的中心（x0，y0，0）和半径R，设定默认的深度值z，求解与校正图像中的像素坐标（x，y）对应的所述广角图像中的像素坐标（u，v），调整垂直偏移量Δu和水平偏移量Δv，得到对应的校正图像；

显示模块，用于接收所述中央处理模块得到的校正图像，并显示所述校正图像。

7.如权利要求6所述的广角图像校正系统，其特征在于，所述图像获取模块为广角镜头。

8.如权利要求6所述的广角图像校正系统，其特征在于，所述中央处理模块中，阈值T、长轴a、短轴b、椭球的中心（x0，y0，0）、半径R和深度值z满足如下关系式：

a²(x-x₀)²+b²(y-y₀)²+z²=R²，

$N=\underset{I(i,j)>T}{\mathrm{\Σ}}1,$

$x_0=\underset{I(i,j)>T}{\mathrm{\Σ}}i/N,$

$y_0=\underset{I(i,j)>T}{\mathrm{\Σ}}j/N,$

$R=\sqrt{N/\mathrm{\π}},$

$\begin{array}{c}u=\frac{\mathrm{Ra}\left({x-x}_0\right)}{\sqrt{a^2{\left({x-x}_0\right)}^2+b^2{\left({y-y}_0\right)}^2+z^2}},\\ v=\frac{\mathrm{Rb}\left({y-y}_0\right)}{\sqrt{a^2{\left({x-x}_0\right)}^2+b^2{\left({y-y}_0\right)}^2}+z^2}.\end{array}$

9.如权利要求6所述的广角图像校正系统，其特征在于，所述中央处理模块中，所述水平偏移量Δv为实际水平偏移量除以图像的宽得到的归一化数值；

所述垂直偏移量Δu为实际垂直偏移量除以图像的高得到的归一化数值。

10.如权利要求9所述的广角图像校正系统，其特征在于，所述中央处理模块中，阈值T、长轴a、短轴b、深度值z、垂直偏移量Δu和水平偏移量Δv设定为：T=10，a=0.8，b=1.0，z=0.8，Δu=0，Δv=0。

Images