CN105184756A - 一种鱼眼镜头的图像校正方法 - Google Patents

Abstract

本发明公开了一种鱼眼镜头的图像校正方法，根据鱼眼镜头成像原理中的球面坐标模型，建立XYZ空间直角坐标系，然后通过一系列的算法计算出理想状态下经过普通镜头理想状态落到x轴y轴组成的平面上的点A与经过鱼眼镜头折射后落到x轴y轴组成的平面上的点B之间的关系。本发明设计的鱼眼镜头的图像校正方法，解决现有车流量监测系统监测的场景不够丰富，并且工程造价成本高等问题。

Description

一种鱼眼镜头的图像校正方法

技术领域

本发明属于一种图像校正方法，具体涉及一种鱼眼镜头的图像校正方法。

背景技术

现有监测系统采用单一的普通视角镜头，对车流量进行监测；采用普通镜头的系统，监测的场景不够丰富，并且目前流量监测系统主要运行在工控机上，这样不但增加了工程造价成本，而且需要较大的工控机设备进行处理。

发明内容

为了解决现有车流量监测系统监测的场景不够丰富，并且工程造价成本高等问题，本发明设计了一种鱼眼镜头的图像校正方法。

一种基于鱼眼镜头的车流量检测系统，包括图像采集装置，车流量检测模块以及数据存储装置，车流量检测模块分别连接图像采集装置和数据存储装置，图像采集装置包括集成一体的鱼眼镜头和传感器，传感器通过图像校正芯片连接车流量检测模块。其优点是：本发明所述系统包括三部分组成，第一部分图像采集装置，本部分主要由鱼眼镜头和传感器成像部分组成；第二部分车流量检测模块在该部分实现对车流量进行检查；第三部分数据储存装置，在该部分对第二部分处理后的数据进行存储。具有鱼眼镜头的系统有更好的视角监测路面的车流量；检查的范围更加广，本系统不需要附加的检查设备，降低了成本。

所述的基于鱼眼镜头的车流量检测系统，图像校正芯片为FPGA芯片，车流量检测模块为DSP数据处理模块。其优点是：鱼眼镜头相机采集到图像数据后，经过矫正算法处理，将畸变的图像还原成正常图像，发送给车流量检测模块。鱼眼镜头校正是在FPGA芯片中进行处理的，需要在FPGA芯片内部开辟一块内存缓存区，该区域用来存储校正后的图像数据。首先，计算矫正后帧图像的坐标点的位置与原帧图像上的坐标点的对应关系，然后把原帧图像上的该点位置上的数值赋值给缓冲区内部的矫正后帧的对应点上，然后清除掉该帧内存数据进行下一帧处理。数据处理模块接收到视频采集模块矫正后的图像进行车流量统计分析。该模块截取图像中的一片区域进行分析，车辆驶入该区域和离开该区域的距离不大于一般车辆在图像中的长度，该区域需要根据实际场景进行标定。

一种基于鱼眼镜头的车流量检测方法，包括以下步骤：

步骤一，鱼眼镜头采集图像数据，并通过传感器发送至FPGA图像校正芯片；

步骤二，FPGA图像校正芯片对畸变图像进行校正；

步骤三，DSP数据处理模块中的自适应二值化模块将校正后的YUV数据图像二值化处理；

步骤四，DSP数据处理模块采用梯度车辆局部特征检测和HOG车辆特征匹配方法联合检测是否有车辆通过；

步骤五，将含有车辆的图像信息存入数据存储装置。

所述的基于鱼眼镜头的车流量检测方法，步骤三中自适应二值化模块将图像中的灰度值设置为0或1，阈值的设定采用自适应阈值的方法。

所述的基于鱼眼镜头的车流量检测方法，步骤四中梯度信息处理采用一维或者二维的模式。

所述基于鱼眼镜头的车流量检测方法，步骤四中HOG车辆特征匹配方法，采用车头或者车尾模型的HOG特征，用SVM支持向量机线性分类器进行离线训练和分类。

其优点是：鱼眼镜头相机采集到图像数据后，经过鱼眼镜头图像校正校正算法处理，将畸变的图像还原成正常图像，发送给车流量检测模块。自适应二值化模块将校正后的YUV数据图像二值化处理。将图像中的灰度值设置为0或1，阈值的设定采用自适应阈值的方法。梯度车辆局部特征检测和HOG车辆特征匹配方法联合起来检测该帧图像中检测区域是否有车辆通过。车辆局部有着丰富的梯度信息，采用该方法可以粗略的分析检测区域中的车辆信息。梯度信息处理可以采用一维或者二维的模式，维数越高需要处理的时间越长。HOG车辆特征匹配方法采用车头或者车尾模型的HOG特征，用SVM支持向量机线性分类器进行离线训练和分类。利用该特征可以判断哪些图像样本含有车辆，那些图像样本没有车辆，从而进行精确的车流量统计。将含有车辆的图像数据信息进行存档，返回开始进行下一次数据分析。

一种鱼眼镜头的图像校正方法，包括以下步骤：

(1)根据鱼眼镜头成像原理中的球面坐标模型，建立XYZ空间直角坐标系，其中，P为入射到鱼眼镜头的光线；f1为鱼眼镜头的焦距；光线P与Z轴的夹角为θ；A(x1,y1)为光线P经过普通镜头理想状态落到x轴y轴组成的平面上的点，与Z轴构成夹角β，与X轴构成夹角ψ,A点与中心点的距离为R；K为鱼眼镜头畸变系数；B(x2,y2)为P经过鱼眼镜头折射后落到x轴y轴组成的平面上的点，与Z轴构成夹角α，与X轴的夹角为ψ,B点与中心点的距离为r；

(2)通过β与θ以及θ与α的换算关系，确定α和β角度；β与θ的换算关系公式为：

sinθ＝sinβ①

鱼眼镜头在平面有限范围内的折射定律公式如下：

sinθ＝k*sinα②

由公式①和公式②得到

sinβ＝k*sinα③

α和β角度为

$a={\tan }^{-1}\frac{r}{f_1}$ ④

$\mathrm{\β}={\tan }^{-1}\frac{R}{f_1}$ ⑤

(3)通过步骤(2)中的公式③、④和⑤得到R与r的关系：

$R=f_1^{*}\tan \left({\sin }^{-1}\right(\sin \left({\tan }^{-1}\left(\frac{r}{f_1}\right)\right)*k$ ⑥

(4)将B点从平面坐标转换成极坐标公式：

$r=\sqrt{{\left(x_2\right)}^2+{\left(y_2\right)}^2}$ ⑦

$\mathrm{\ψ}={\tan }^{-1}\left(\frac{y_2}{x_2}\right)$ ⑧

(5)确定光线P在常规镜头拍摄下得到的A(x1,y1)的坐标：

x₁＝R*cos(ψ)⑨

y₁＝R*sin(ψ)⑩

(6)由公式⑥和公式⑦得到R的距离公式：

$R=f_1^{*}\tan \left({\sin }^{-1}\right(\sin \left({\tan }^{-1}\left(\frac{\sqrt{{\left(x_2\right)}^2+{\left(y_2\right)}^2}}{f_1}\right)\right)*k$

(7)根据公式⑧、⑨、⑩、得到A点和B点的坐标换算关系：

$x_1=\left(f_1^{*}\tan \right({\sin }^{-1}(\sin \left({\tan }^{-1}\left(\frac{\sqrt{{\left(x_2\right)}^2+{\left(y_2\right)}^2}}{f_1}\right)\right)*k)*\cos \left({\tan }^{-1}\left(\frac{y_2}{x_2}\right)\right)$

$y_1=\left(f_1^{*}\tan \right({\sin }^{-1}(\sin \left({\tan }^{-1}\left(\frac{\sqrt{{\left(x_2\right)}^2+{\left(y_2\right)}^2}}{f_1}\right)\right)*k)*\sin \left({\tan }^{-1}\left(\frac{y_2}{x_2}\right)\right)$

利用该关系能够较好的把鱼眼相机拍摄的畸变的图像还原成正常图像。变换后的正常图像然后送到DSP数据处理模块进行车流量计算。鱼眼镜头矫正算法就是解决原帧上的像素点与矫正后图像上的坐标点对应关系。

附图说明

图1为鱼眼镜头的车流量检测系统原理；

图2为鱼眼镜头的车流量检测系统处理过程；

图3为鱼眼视频在FPGA内部的校正处理原理图；

图4为视频方式车流量检测示意图；

图5为车流量检测算法流程图；

图6为鱼眼镜头校正算法三维立体成像图；

图7为鱼眼镜头校正算法平面成像图。

具体实施方式

下面结合附图对本发明的结构进行详细解释说明，如图1为鱼眼镜头的车流量检测系统原理；一种基于鱼眼镜头的车流量检测系统，包括图像采集装置，车流量检测模块以及数据存储装置，车流量检测模块分别连接图像采集装置和数据存储装置，图像采集装置包括集成一体的鱼眼镜头和传感器，传感器通过图像校正芯片连接车流量检测模块。如图2为鱼眼镜头的车流量检测系统处理过程；所述的基于鱼眼镜头的车流量检测系统，图像校正芯片为FPGA芯片，车流量检测模块为DSP数据处理模块。

一种基于鱼眼镜头的车流量检测方法，包括以下步骤：

步骤一，鱼眼镜头采集图像数据，并通过传感器发送至FPGA图像校正芯片；

步骤二，FPGA图像校正芯片对畸变图像进行校正；

步骤三，DSP数据处理模块中的自适应二值化模块将校正后的YUV数据图像二值化处理；

步骤四，DSP数据处理模块采用梯度车辆局部特征检测和HOG车辆特征匹配方法联合检测是否有车辆通过；

步骤五，将含有车辆的图像信息存入数据存储装置。

所述的基于鱼眼镜头的车流量检测方法，步骤三中自适应二值化模块将图像中的灰度值设置为0或1，阈值的设定采用自适应阈值的方法。

所述的基于鱼眼镜头的车流量检测方法，步骤四中梯度信息处理采用一维或者二维的模式。

所述基于鱼眼镜头的车流量检测方法，步骤四中HOG车辆特征匹配方法，采用车头或者车尾模型的HOG特征，用SVM支持向量机线性分类器进行离线训练和分类。

一种鱼眼镜头的图像校正方法，包括以下步骤：

(1)根据鱼眼镜头成像原理中的球面坐标模型，建立XYZ空间直角坐标系，其中，P为入射到鱼眼镜头的光线；f1为鱼眼镜头的焦距；光线P与Z轴的夹角为θ；A(x1,y1)为光线P经过普通镜头理想状态落到x轴y轴组成的平面上的点，与Z轴构成夹角β，与X轴构成夹角ψ,A点与中心点的距离为R；K为鱼眼镜头畸变系数；B(x2,y2)为P经过鱼眼镜头折射后落到x轴y轴组成的平面上的点，与Z轴构成夹角α，与X轴的夹角为ψ,B点与中心点的距离为r；

(2)通过β与θ以及θ与α的换算关系，确定α和β角度；β与θ的换算关系公式为：

sinθ＝sinβ①

鱼眼镜头在平面有限范围内的折射定律公式如下：

sinθ＝k*sinα②

由公式①和公式②得到

sinβ＝k*sinα③

α和β角度为

$a={\tan }^{-1}\frac{r}{f_1}$ ④

$\mathrm{\β}={\tan }^{-1}\frac{R}{f_1}$ ⑤

(3)通过步骤(2)中的公式③、④和⑤得到R与r的关系：如图7为鱼眼镜头校正算法平面成像图；

$R=f_1^{*}\tan \left({\sin }^{-1}\right(\sin \left({\tan }^{-1}\left(\frac{r}{f_1}\right)\right)*k$ ⑥

(4)将B点从平面坐标转换成极坐标公式：

$r=\sqrt{{\left(x_2\right)}^2+{\left(y_2\right)}^2}$ ⑦

$\mathrm{\ψ}={\tan }^{-1}\left(\frac{y_2}{x_2}\right)$ ⑧

(5)确定光线P在常规镜头拍摄下得到的A(x1,y1)的坐标：

x₁＝R*cos(ψ)⑨

y₁＝R*sin(ψ)⑩

(6)由公式⑥和公式⑦得到R的距离公式：

$R=f_1^{*}\tan \left({\sin }^{-1}\right(\sin \left({\tan }^{-1}\left(\frac{\sqrt{{\left(x_2\right)}^2+{\left(y_2\right)}^2}}{f_1}\right)\right)*k$

(7)根据公式⑧、⑨、⑩、得到A点和B点的坐标换算关系：

$x_1=\left(f_1^{*}\tan \right({\sin }^{-1}(\sin \left({\tan }^{-1}\left(\frac{\sqrt{{\left(x_2\right)}^2+{\left(y_2\right)}^2}}{f_1}\right)\right)*k)*\cos \left({\tan }^{-1}\left(\frac{y_2}{x_2}\right)\right)$

$y_1=\left(f_1^{*}\tan \right({\sin }^{-1}(\sin \left({\tan }^{-1}\left(\frac{\sqrt{{\left(x_2\right)}^2+{\left(y_2\right)}^2}}{f_1}\right)\right)*k)*\sin \left({\tan }^{-1}\left(\frac{y_2}{x_2}\right)\right)$

鱼眼镜头相机采集到图像数据后，首先，计算矫正后帧图像的坐标点的位置与原帧图像上的坐标点的对应关系，然后把原帧图像上的该点位置上的数值赋值给缓冲区内部的矫正后帧的对应点上，然后清除掉该帧内存数据进行下一帧处理。鱼眼镜头矫正算法就是解决原帧上的像素点与矫正后图像上的坐标点对应关系，矫正原理图如图3所示；经过鱼眼镜头图像校正校正算法处理，将畸变的图像还原成正常图像，发送给车流量检测模块。数据处理模块接收到视频采集模块矫正后的图像进行车流量统计分析。该模块截取图像中的一片区域进行分析，如图4为视频方式车流量检测示意图；车辆驶入该区域和离开该区域的距离H不大于一般车辆在图像中的长度，该区域需要根据实际场景进行标定。自适应二值化模块将校正后的YUV数据图像二值化处理。将图像中的灰度值设置为0或1，阈值的设定采用自适应阈值的方法。梯度车辆局部特征检测和HOG车辆特征匹配方法联合起来检测该帧图像中检测区域是否有车辆通过。车辆局部有着丰富的梯度信息，采用该方法可以粗略的分析检测区域中的车辆信息。梯度信息处理可以采用一维或者二维的模式，维数越高需要处理的时间越长。HOG车辆特征匹配方法采用车头或者车尾模型的HOG特征，用SVM支持向量机线性分类器进行离线训练和分类。利用该特征可以判断哪些图像样本含有车辆，那些图像样本没有车辆，从而进行精确的车流量统计。将含有车辆的图像数据信息进行存档，返回开始进行下一次数据分析。如图5为车流量检测算法流程图。

上述技术方案仅体现了本发明技术方案的优选技术方案，本技术领域的技术人员对其中某些部分所可能做出的一些变动均体现了本发明的原理，属于本发明的保护范围之内。

Claims (1)

1.一种鱼眼镜头的图像校正方法，其特征在于，包括以下步骤：

(1)根据鱼眼镜头成像原理中的球面坐标模型，建立XYZ空间直角坐标系，其中，P为入射到鱼眼镜头的光线；f1为鱼眼镜头的焦距；光线P与Z轴的夹角为θ；A(x1,y1)为光线P经过普通镜头理想状态落到x轴y轴组成的平面上的点，与Z轴构成夹角β，与X轴构成夹角ψ,A点与中心点的距离为R；K为鱼眼镜头畸变系数；B(x2,y2)为P经过鱼眼镜头折射后落到x轴y轴组成的平面上的点，与Z轴构成夹角α，与X轴的夹角为ψ,B点与中心点的距离为r；

(2)通过β与θ以及θ与α的换算关系，确定α和β角度；β与θ的换算关系公式为：

sinθ＝sinβ①

鱼眼镜头在平面有限范围内的折射定律公式如下：

sinθ＝k*sinα②

由公式①和公式②得到

sinβ＝k*sinα③

α和β角度为

$a={\tan }^{-1}\frac{r}{f_1}$ ④

$\mathrm{\β}={\tan }^{-1}\frac{R}{f_1}$ ⑤

(3)通过步骤(2)中的公式③、④和⑤得到R与r的关系：

$R=f_1*tan\left({\sin }^{-1}\right(sin\left({\tan }^{-1}\left(\frac{r}{f_1}\right)\right)*k$ ⑥

(4)将B点从平面坐标转换成极坐标公式：

$r=\sqrt{{\left(x_2\right)}^2+{\left(y_2\right)}^2}$ ⑦

$\mathrm{\ψ}={\tan }^{-1}\left(\frac{y_2}{x_2}\right)$ ⑧

(5)确定光线P在常规镜头拍摄下得到的A(x1,y1)的坐标：

x₁＝R*cos(ψ)⑨

y₁＝R*sin(ψ)⑩

(6)由公式⑥和公式⑦得到R的距离公式：

$R=f_1*tan\left({\sin }^{-1}\right(sin\left({\tan }^{-1}\left(\frac{\sqrt{{\left(x_2\right)}^2+{\left(y_2\right)}^2}}{f_1}\right)\right)*k$

(7)根据公式⑧、⑨、⑩、，得到A点和B点的坐标换算关系：

$x_1=(f_1*tan({\sin }^{-1}\left(\sin \right({\tan }^{-1}\left(\frac{\sqrt{{\left(x_2\right)}^2+{\left(y_2\right)}^2}}{f_1}\right))*k)*\cos \left({\tan }^{-1}\right(\frac{y_2}{x_2}\left)\right)$

$y_1=(f_1*tan({\sin }^{-1}\left(\sin \right({\tan }^{-1}\left(\frac{\sqrt{{\left(x_2\right)}^2+{\left(y_2\right)}^2}}{f_1}\right))*k)*\sin \left({\tan }^{-1}\right(\frac{y_2}{x_2}\left)\right)$ 。