CN105184756B - 一种鱼眼镜头的图像校正方法 - Google Patents

一种鱼眼镜头的图像校正方法 Download PDF

Info

Publication number
CN105184756B
CN105184756B CN201510695469.6A CN201510695469A CN105184756B CN 105184756 B CN105184756 B CN 105184756B CN 201510695469 A CN201510695469 A CN 201510695469A CN 105184756 B CN105184756 B CN 105184756B
Authority
CN
China
Prior art keywords
axis
fish
formula
eye
sin
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201510695469.6A
Other languages
English (en)
Other versions
CN105184756A (zh
Inventor
杨云飞
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
BEIJING ITARGE TECHNOLOGIES CO., LTD.
Original Assignee
BEIJING ITARGE SOFTWARE TECHNOLOGIES DEVELOPMENT Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by BEIJING ITARGE SOFTWARE TECHNOLOGIES DEVELOPMENT Co Ltd filed Critical BEIJING ITARGE SOFTWARE TECHNOLOGIES DEVELOPMENT Co Ltd
Priority to CN201510695469.6A priority Critical patent/CN105184756B/zh
Publication of CN105184756A publication Critical patent/CN105184756A/zh
Application granted granted Critical
Publication of CN105184756B publication Critical patent/CN105184756B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Landscapes

  • Image Analysis (AREA)
  • Image Processing (AREA)
  • Traffic Control Systems (AREA)

Abstract

本发明公开了一种鱼眼镜头的图像校正方法，根据鱼眼镜头成像原理中的球面坐标模型，建立XYZ空间直角坐标系，然后通过一系列的算法计算出理想状态下经过普通镜头理想状态落到x轴y轴组成的平面上的点A与经过鱼眼镜头折射后落到x轴y轴组成的平面上的点B之间的关系。本发明设计的鱼眼镜头的图像校正方法，解决现有车流量监测系统监测的场景不够丰富，并且工程造价成本高等问题。

Description

一种鱼眼镜头的图像校正方法
技术领域
本发明属于一种图像校正方法，具体涉及一种鱼眼镜头的图像校正方法。
背景技术
现有监测系统采用单一的普通视角镜头，对车流量进行监测；采用普通镜头的系统，监测的场景不够丰富，并且目前流量监测系统主要运行在工控机上，这样不但增加了工程造价成本，而且需要较大的工控机设备进行处理。
发明内容
为了解决现有车流量监测系统监测的场景不够丰富，并且工程造价成本高等问题，本发明设计了一种鱼眼镜头的图像校正方法。
一种基于鱼眼镜头的车流量检测系统，包括图像采集装置，车流量检测模块以及数据存储装置，车流量检测模块分别连接图像采集装置和数据存储装置，图像采集装置包括集成一体的鱼眼镜头和传感器，传感器通过图像校正芯片连接车流量检测模块。其优点是：本发明所述系统包括三部分组成，第一部分图像采集装置，本部分主要由鱼眼镜头和传感器成像部分组成；第二部分车流量检测模块在该部分实现对车流量进行检查；第三部分数据储存装置，在该部分对第二部分处理后的数据进行存储。具有鱼眼镜头的系统有更好的视角监测路面的车流量；检查的范围更加广，本系统不需要附加的检查设备，降低了成本。
所述的基于鱼眼镜头的车流量检测系统，图像校正芯片为FPGA芯片，车流量检测模块为DSP数据处理模块。其优点是：鱼眼镜头相机采集到图像数据后，经过矫正算法处理，将畸变的图像还原成正常图像，发送给车流量检测模块。鱼眼镜头校正是在FPGA芯片中进行处理的，需要在FPGA芯片内部开辟一块内存缓存区，该区域用来存储校正后的图像数据。首先，计算矫正后帧图像的坐标点的位置与原帧图像上的坐标点的对应关系，然后把原帧图像上的该点位置上的数值赋值给缓冲区内部的矫正后帧的对应点上，然后清除掉该帧内存数据进行下一帧处理。数据处理模块接收到视频采集模块矫正后的图像进行车流量统计分析。该模块截取图像中的一片区域进行分析，车辆驶入该区域和离开该区域的距离不大于一般车辆在图像中的长度，该区域需要根据实际场景进行标定。
一种基于鱼眼镜头的车流量检测方法，包括以下步骤：
步骤一，鱼眼镜头采集图像数据，并通过传感器发送至FPGA图像校正芯片；
步骤二，FPGA图像校正芯片对畸变图像进行校正；
步骤三，DSP数据处理模块中的自适应二值化模块将校正后的YUV数据图像二值化处理；
步骤四，DSP数据处理模块采用梯度车辆局部特征检测和HOG车辆特征匹配方法联合检测是否有车辆通过；
步骤五，将含有车辆的图像信息存入数据存储装置。
所述的基于鱼眼镜头的车流量检测方法，步骤三中自适应二值化模块将图像中的灰度值设置为0或1，阈值的设定采用自适应阈值的方法。
所述的基于鱼眼镜头的车流量检测方法，步骤四中梯度信息处理采用一维或者二维的模式。
所述基于鱼眼镜头的车流量检测方法，步骤四中HOG车辆特征匹配方法，采用车头或者车尾模型的HOG特征，用SVM支持向量机线性分类器进行离线训练和分类。
其优点是：鱼眼镜头相机采集到图像数据后，经过鱼眼镜头图像校正校正算法处理，将畸变的图像还原成正常图像，发送给车流量检测模块。自适应二值化模块将校正后的YUV数据图像二值化处理。将图像中的灰度值设置为0或1，阈值的设定采用自适应阈值的方法。梯度车辆局部特征检测和HOG车辆特征匹配方法联合起来检测该帧图像中检测区域是否有车辆通过。车辆局部有着丰富的梯度信息，采用该方法可以粗略的分析检测区域中的车辆信息。梯度信息处理可以采用一维或者二维的模式，维数越高需要处理的时间越长。HOG车辆特征匹配方法采用车头或者车尾模型的HOG特征，用SVM支持向量机线性分类器进行离线训练和分类。利用该特征可以判断哪些图像样本含有车辆，那些图像样本没有车辆，从而进行精确的车流量统计。将含有车辆的图像数据信息进行存档，返回开始进行下一次数据分析。
一种鱼眼镜头的图像校正方法，包括以下步骤：
(1)根据鱼眼镜头成像原理中的球面坐标模型，建立XYZ空间直角坐标系，其中，P为入射到鱼眼镜头的光线；f1为鱼眼镜头的焦距；光线P与Z轴的夹角为θ；A(x1,y1)为光线P经过普通镜头理想状态落到x轴y轴组成的平面上的点，与Z轴构成夹角β，与X轴构成夹角ψ,A点与中心点的距离为R；K为鱼眼镜头畸变系数；B(x2,y2)为P经过鱼眼镜头折射后落到x轴y轴组成的平面上的点，与Z轴构成夹角α，与X轴的夹角为ψ,B点与中心点的距离为r；
(2)通过β与θ以及θ与α的换算关系，确定α和β角度；β与θ的换算关系公式为：
sinθ＝sinβ ①
鱼眼镜头在平面有限范围内的折射定律公式如下：
sinθ＝k*sinα ②
由公式①和公式②得到
sinβ＝k*sinα ③
α和β角度为
(3)通过步骤(2)中的公式③、④和⑤得到R与r的关系：
(4)将B点从平面坐标转换成极坐标公式：
(5)确定光线P在常规镜头拍摄下得到的A(x1,y1)的坐标：
x1＝R*cos(ψ) ⑨
y1＝R*sin(ψ) ⑩
(6)由公式⑥和公式⑦得到R的距离公式：
(7)根据公式⑧、⑨、⑩、得到A点和B点的坐标换算关系：
利用该关系能够较好的把鱼眼相机拍摄的畸变的图像还原成正常图像。变换后的正常图像然后送到DSP数据处理模块进行车流量计算。鱼眼镜头矫正算法就是解决原帧上的像素点与矫正后图像上的坐标点对应关系。
附图说明
图1为鱼眼镜头的车流量检测系统原理；
图2为鱼眼镜头的车流量检测系统处理过程；
图3为鱼眼视频在FPGA内部的校正处理原理图；
图4为视频方式车流量检测示意图；
图5为车流量检测算法流程图；
图6为鱼眼镜头校正算法三维立体成像图；
图7为鱼眼镜头校正算法平面成像图。
具体实施方式
下面结合附图对本发明的结构进行详细解释说明，如图1为鱼眼镜头的车流量检测系统原理；一种基于鱼眼镜头的车流量检测系统，包括图像采集装置，车流量检测模块以及数据存储装置，车流量检测模块分别连接图像采集装置和数据存储装置，图像采集装置包括集成一体的鱼眼镜头和传感器，传感器通过图像校正芯片连接车流量检测模块。如图2为鱼眼镜头的车流量检测系统处理过程；所述的基于鱼眼镜头的车流量检测系统，图像校正芯片为FPGA芯片，车流量检测模块为DSP数据处理模块。
一种基于鱼眼镜头的车流量检测方法，包括以下步骤：
步骤一，鱼眼镜头采集图像数据，并通过传感器发送至FPGA图像校正芯片；
步骤二，FPGA图像校正芯片对畸变图像进行校正；
步骤三，DSP数据处理模块中的自适应二值化模块将校正后的YUV数据图像二值化处理；
步骤四，DSP数据处理模块采用梯度车辆局部特征检测和HOG车辆特征匹配方法联合检测是否有车辆通过；
步骤五，将含有车辆的图像信息存入数据存储装置。
所述的基于鱼眼镜头的车流量检测方法，步骤三中自适应二值化模块将图像中的灰度值设置为0或1，阈值的设定采用自适应阈值的方法。
所述的基于鱼眼镜头的车流量检测方法，步骤四中梯度信息处理采用一维或者二维的模式。
所述基于鱼眼镜头的车流量检测方法，步骤四中HOG车辆特征匹配方法，采用车头或者车尾模型的HOG特征，用SVM支持向量机线性分类器进行离线训练和分类。
一种鱼眼镜头的图像校正方法，包括以下步骤：
(1)根据鱼眼镜头成像原理中的球面坐标模型，建立XYZ空间直角坐标系，其中，P为入射到鱼眼镜头的光线；f1为鱼眼镜头的焦距；光线P与Z轴的夹角为θ；A(x1,y1)为光线P经过普通镜头理想状态落到x轴y轴组成的平面上的点，与Z轴构成夹角β，与X轴构成夹角ψ,A点与中心点的距离为R；K为鱼眼镜头畸变系数；B(x2,y2)为P经过鱼眼镜头折射后落到x轴y轴组成的平面上的点，与Z轴构成夹角α，与X轴的夹角为ψ,B点与中心点的距离为r；
(2)通过β与θ以及θ与α的换算关系，确定α和β角度；β与θ的换算关系公式为：
sinθ＝sinβ ①
鱼眼镜头在平面有限范围内的折射定律公式如下：
sinθ＝k*sinα ②
由公式①和公式②得到
sinβ＝k*sinα ③
α和β角度为
(3)通过步骤(2)中的公式③、④和⑤得到R与r的关系：如图7为鱼眼镜头校正算法平面成像图；
(4)将B点从平面坐标转换成极坐标公式：
(5)确定光线P在常规镜头拍摄下得到的A(x1,y1)的坐标：
x1＝R*cos(ψ) ⑨
y1＝R*sin(ψ) ⑩
(6)由公式⑥和公式⑦得到R的距离公式：
(7)根据公式⑧、⑨、⑩、得到A点和B点的坐标换算关系：
鱼眼镜头相机采集到图像数据后，首先，计算矫正后帧图像的坐标点的位置与原帧图像上的坐标点的对应关系，然后把原帧图像上的该点位置上的数值赋值给缓冲区内部的矫正后帧的对应点上，然后清除掉该帧内存数据进行下一帧处理。鱼眼镜头矫正算法就是解决原帧上的像素点与矫正后图像上的坐标点对应关系，矫正原理图如图3所示；经过鱼眼镜头图像校正校正算法处理，将畸变的图像还原成正常图像，发送给车流量检测模块。数据处理模块接收到视频采集模块矫正后的图像进行车流量统计分析。该模块截取图像中的一片区域进行分析，如图4为视频方式车流量检测示意图；车辆驶入该区域和离开该区域的距离H不大于一般车辆在图像中的长度，该区域需要根据实际场景进行标定。自适应二值化模块将校正后的YUV数据图像二值化处理。将图像中的灰度值设置为0或1，阈值的设定采用自适应阈值的方法。梯度车辆局部特征检测和HOG车辆特征匹配方法联合起来检测该帧图像中检测区域是否有车辆通过。车辆局部有着丰富的梯度信息，采用该方法可以粗略的分析检测区域中的车辆信息。梯度信息处理可以采用一维或者二维的模式，维数越高需要处理的时间越长。HOG车辆特征匹配方法采用车头或者车尾模型的HOG特征，用SVM支持向量机线性分类器进行离线训练和分类。利用该特征可以判断哪些图像样本含有车辆，那些图像样本没有车辆，从而进行精确的车流量统计。将含有车辆的图像数据信息进行存档，返回开始进行下一次数据分析。如图5为车流量检测算法流程图。
上述技术方案仅体现了本发明技术方案的优选技术方案，本技术领域的技术人员对其中某些部分所可能做出的一些变动均体现了本发明的原理，属于本发明的保护范围之内。

Claims (1)

1.一种鱼眼镜头的图像校正方法，其特征在于，包括以下步骤：
(1)根据鱼眼镜头成像原理中的球面坐标模型，建立XYZ空间直角坐标系，其中，P为入射到鱼眼镜头的光线；f1为鱼眼镜头的焦距；光线P与Z轴的夹角为θ；A(x1,y1)为光线P经过普通镜头理想状态落到x轴y轴组成的平面上的点，与Z轴构成夹角β，与X轴构成夹角ψ,A点与中心点的距离为R；K为鱼眼镜头畸变系数；B(x2,y2)为P经过鱼眼镜头折射后落到x轴y轴组成的平面上的点，与Z轴构成夹角α，与X轴的夹角为ψ,B点与中心点的距离为r；
(2)通过β与θ以及θ与α的换算关系，确定α和β角度；β与θ的换算关系公式为：
sinθ＝sinβ ①
鱼眼镜头在平面有限范围内的折射定律公式如下：
sinθ＝k*sinα ②
由公式①和公式②得到
sinβ＝k*sinα ③
α和β角度为
(3)通过步骤(2)中的公式③、④和⑤得到R与r的关系：
(4)将B点从平面坐标转换成极坐标公式：
(5)确定光线P在常规镜头拍摄下得到的A(x1,y1)的坐标：
x1＝R*cos(ψ) ⑨
y1＝R*sin(ψ) ⑩
(6)由公式⑥和公式⑦得到R的距离公式：
(7)根据公式⑧、⑨、⑩、得到A点和B点的坐标换算关系：
CN201510695469.6A 2013-09-04 2013-09-04 一种鱼眼镜头的图像校正方法 Active CN105184756B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201510695469.6A CN105184756B (zh) 2013-09-04 2013-09-04 一种鱼眼镜头的图像校正方法

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN201510695469.6A CN105184756B (zh) 2013-09-04 2013-09-04 一种鱼眼镜头的图像校正方法
CN201310395095.7A CN103456171B (zh) 2013-09-04 2013-09-04 一种基于鱼眼镜头的车流量检测系统、方法及图像校正方法

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
CN201310395095.7A Division CN103456171B (zh) 2013-09-04 2013-09-04 一种基于鱼眼镜头的车流量检测系统、方法及图像校正方法

Publications (2)

Publication Number Publication Date
CN105184756A CN105184756A (zh) 2015-12-23
CN105184756B true CN105184756B (zh) 2018-03-09

Family

ID=49738489

Family Applications (2)

Application Number Title Priority Date Filing Date
CN201310395095.7A Active CN103456171B (zh) 2013-09-04 2013-09-04 一种基于鱼眼镜头的车流量检测系统、方法及图像校正方法
CN201510695469.6A Active CN105184756B (zh) 2013-09-04 2013-09-04 一种鱼眼镜头的图像校正方法

Family Applications Before (1)

Application Number Title Priority Date Filing Date
CN201310395095.7A Active CN103456171B (zh) 2013-09-04 2013-09-04 一种基于鱼眼镜头的车流量检测系统、方法及图像校正方法

Country Status (1)

Country Link
CN (2) CN103456171B (zh)

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104516189A (zh) * 2014-12-26 2015-04-15 广东光阵光电科技有限公司 Vtm机180度广角拍摄摄像模组及其拍摄方法
CN105989354A (zh) * 2015-05-25 2016-10-05 乐视移动智能信息技术（北京）有限公司 一种定位方法与系统
CN106600546B (zh) * 2016-11-14 2020-12-22 深圳市Tcl高新技术开发有限公司 一种超广角摄像头畸变校正方法及系统
CN108257102B (zh) * 2018-01-22 2020-11-13 豪威科技(上海)有限公司 鱼眼校正系统和方法
TWI712012B (zh) * 2018-06-04 2020-12-01 義碩智能股份有限公司 人工智慧交通偵測系統
CN110556000A (zh) * 2018-06-04 2019-12-10 义硕智能股份有限公司 人工智慧交通检测系统
US10796402B2 (en) 2018-10-19 2020-10-06 Tusimple, Inc. System and method for fisheye image processing
JP6871324B2 (ja) * 2019-08-28 2021-05-12 東芝エレベータ株式会社 エレベータの利用者検知システム
CN113947638B (zh) * 2021-10-04 2023-05-05 桂林理工大学 鱼眼相机影像正射纠正方法

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TW594453B (en) * 2002-07-26 2004-06-21 Gwo-Jen Jan Method for presenting fisheye-camera images
CN101577002A (zh) * 2009-06-16 2009-11-11 天津理工大学 应用于目标检测的鱼眼镜头成像系统标定方法
CN101783011A (zh) * 2010-01-08 2010-07-21 宁波大学 一种鱼眼镜头的畸变校正方法
CN102509261A (zh) * 2011-10-10 2012-06-20 宁波大学 一种鱼眼镜头的畸变校正方法
CN102663734A (zh) * 2012-03-15 2012-09-12 天津理工大学 鱼眼镜头的标定及鱼眼图像的畸变矫正方法

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001216598A (ja) * 2000-02-04 2001-08-10 Mitsubishi Electric Corp 交通流計測装置
JP2005284678A (ja) * 2004-03-29 2005-10-13 Mitsubishi Heavy Ind Ltd 交通流計測装置
KR101371065B1 (ko) * 2007-11-23 2014-03-10 렉스젠(주) 차량 촬영 시스템 및 그 방법
CN101447075B (zh) * 2008-12-31 2011-09-07 天津理工大学 基于大广角镜头的fpga+dsp嵌入式多值目标阈值分类跟踪装置
CN201690518U (zh) * 2010-01-21 2010-12-29 天津理工大学 基于fpga的嵌入式鱼眼图像实时畸变校正装置
CN102509098B (zh) * 2011-10-08 2013-05-15 天津大学 一种鱼眼图像车辆识别方法
JP5898475B2 (ja) * 2011-11-28 2016-04-06 クラリオン株式会社 車載カメラシステム及びその較正方法、及びその較正プログラム
KR101277188B1 (ko) * 2012-07-12 2013-06-20 (주)엠로드정보시스템 지능형 고화질 어안렌즈를 이용한 교차로 사고 감지 시스템

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TW594453B (en) * 2002-07-26 2004-06-21 Gwo-Jen Jan Method for presenting fisheye-camera images
CN101577002A (zh) * 2009-06-16 2009-11-11 天津理工大学 应用于目标检测的鱼眼镜头成像系统标定方法
CN101783011A (zh) * 2010-01-08 2010-07-21 宁波大学 一种鱼眼镜头的畸变校正方法
CN102509261A (zh) * 2011-10-10 2012-06-20 宁波大学 一种鱼眼镜头的畸变校正方法
CN102663734A (zh) * 2012-03-15 2012-09-12 天津理工大学 鱼眼镜头的标定及鱼眼图像的畸变矫正方法

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
A Generic Camera Model and Calibration Method for Conventional,Wide-Angle, and Fish-Eye Lenses;Juho Kannala 等;《IEEE Transactions on Pattern Analysis and Machine Intelligence》;20060619;第28卷(第8期);1335-1340 *
Fisheye Lenses Calibration Using Straight-Line Spherical Perspective Projection Constraint;Xianghua Ying 等;《ACCV 2006》;20060131;61–70 *
一种基于球面透视投影约束的鱼眼镜头校正方法;英向华 等;《计算机学报》;20031231;第26卷(第12期);1702-1708 *

Also Published As

Publication number Publication date
CN103456171B (zh) 2016-04-06
CN103456171A (zh) 2013-12-18
CN105184756A (zh) 2015-12-23

Similar Documents

Publication Publication Date Title
CN105184756B (zh) 一种鱼眼镜头的图像校正方法
EP3648448B1 (en) Target feature extraction method and device, and application system
CN112950667B (zh) 一种视频标注方法、装置、设备及计算机可读存储介质
CN104574376B (zh) 拥挤交通中基于双目视觉和激光雷达联合校验的防撞方法
CN102737236B (zh) 一种基于多模态传感器数据自动获取车辆训练样本方法
CN110580725A (zh) 一种基于rgb-d相机的箱体分拣方法及系统
US10580124B2 (en) Inspection device, control method and control apparatus for the same
CN105059190B (zh) 基于视觉的汽车开门碰撞预警装置及方法
CN108288386A (zh) 基于视频的路内停车跟踪方法
CN109035200A (zh) 一种基于单双目视觉协同的螺栓定位及位姿检测方法
US9064157B2 (en) Pedestrian detection systems and methods
CN113792707A (zh) 基于双目立体相机的地形环境检测方法、系统和智能终端
CN114140439A (zh) 基于深度学习的激光焊接焊缝特征点识别方法及装置
WO2024131200A1 (zh) 基于单目视觉的车辆3d定位方法、装置及汽车
CN103473532B (zh) 机载平台快速行人检测系统和方法
TW202029134A (zh) 行車偵測方法、車輛及行車處理裝置
CN108156359A (zh) 智能工业相机
CN110197104B (zh) 基于车辆的测距方法及装置
WO2021117363A1 (ja) オブジェクト検出方法及びオブジェクト検出装置
CN112588621B (zh) 一种基于视觉伺服的农产品分拣方法及系统
CN111612812B (zh) 目标物检测方法、检测装置和电子设备
CN201114401Y (zh) 红外和可见光图像相结合的乘客目标检测装置
CN115359457A (zh) 基于鱼眼图像的3d目标检测方法及系统
CN106622990A (zh) 零件定位识别处理系统
Baris et al. Accurate identification of 3D pose through reprojection onto a single image from mask-RCNN contour

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CP01 Change in the name or title of a patent holder

Address after: 100081 7 Floor, Block B, Zhongguancun Intellectual Property Building, 21 Haidian South Road, Haidian District, Beijing

Patentee after: BEIJING ITARGE TECHNOLOGIES CO., LTD.

Address before: 100081 7 Floor, Block B, Zhongguancun Intellectual Property Building, 21 Haidian South Road, Haidian District, Beijing

Patentee before: Beijing iTARGE Software Technologies Development Co., Ltd.

CP01 Change in the name or title of a patent holder