CN1529124A - 可调精度的神经网络摄像机标定方法 - Google Patents
可调精度的神经网络摄像机标定方法 Download PDFInfo
- Publication number
- CN1529124A CN1529124A CNA031512992A CN03151299A CN1529124A CN 1529124 A CN1529124 A CN 1529124A CN A031512992 A CNA031512992 A CN A031512992A CN 03151299 A CN03151299 A CN 03151299A CN 1529124 A CN1529124 A CN 1529124A
- Authority
- CN
- China
- Prior art keywords
- image
- neural network
- training
- coordinate
- zone
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Landscapes
- Image Processing (AREA)
Abstract
一种可调精度的神经网络摄像机标定方法,首先根据径向畸变程度的不同对图像区域进行划分,由初始半径得到一系列同心圆环作为神经网络的训练区域,根据畸变严重程度改变区域划分的数目,对远离图像中心的区域,即畸变程度严重的区域,划分的类别细密,而靠近图像中心畸变轻微的区域,划分粗疏,以减小因径向畸变带来的误差;对标定图像进行区域划分后,将标定纸的世界坐标作为输入,而将图像坐标作为输出,构成三输入、两输出BP神经网络对所划分区域进行训练,再使用训练好的神经网络进行摄像机标定。本发明根据不同的畸变严重程度自动完成神经网络训练区域的划分,大大降低因径向畸变带来的误差,可以满足实际摄像机标定中的不同精度要求。
Description
技术领域:
本发明涉及一种可调精度的神经网络摄像机标定方法,用于对摄像机进行标定。属于先进制造与自动化技术领域。
背景技术:
计算机视觉的基本任务是从摄像机获取的图像信息计算出物体的三维空间几何信息,图像上每一个点的位置与物体表面相应点的几何位置有关。图像中这些位置的相互关系由摄像机成像几何模型决定。模型的参数称为摄像机参数,包括确定摄像机内部几何与光学参数(内部参数)以及摄像机相对于世界坐标系的关系(外部参数)。这些参数必须通过实验来确定,这个过程称为摄像机标定。目前常用的标定方法有线性法、非线性优化法、两步法、双平面法、主动标定法等,这些方法都是利用成像的几何性质,标定出摄像机的内部与外部参数。
目前使用神经网络进行摄像机标定方法仍然不为多见。直接将整个图像区域作为训练与识别的区域,没有考虑到在图像的不同部分对应的透镜径向畸变严重程度是不同的,因而最后的识别误差较大,如文献“摄像机神经网络标定技术”(赵清杰,孙增圻,兰丽。控制与决策。2002;17(3),May:336-342)所介绍。某些文献考虑到了这一因素,但是却没有就神经网络的训练区域进行明确划分,只是简单的将图像区域根据经验人为的划分为图像中心区域与非中心区域,对图像中心区域以外的部分认为畸变程度是一样的,这种方法在一定程度上提高了系统的识别率,但是仍然不能从根本上解决距图像中心越远,畸变严重程度越大这一问题,简单的将图像外层区域划分为一类,仍然存在着较大的误差。如文献“Junghee Jun and Choongwon Kim,“Robust Camera CalibrationUsing Neural Network”,IEEE TENCON,1999,pp694-697.)所介绍。
发明内容:
本发明的目的在于针对现有技术的不足,提出一种可调精度的神经网络摄像机标定方法,降低图像径向畸变带来的误差,实现简单、灵活与高精度的摄像机标定。
为实现这样的目的,本发明首先根据径向畸变程度的不同对图像区域进行划分,由初始半径得到一系列同心圆环,将同心圆环作为神经网络的训练区域。可以根据畸变严重程度改变区域划分的数目,对远离图像中心的区域,即畸变程度严重的区域,划分的类别细密,而靠近图像中心畸变轻微的区域,划分粗疏,以减小因径向畸变带来的误差。对标定图像进行区域划分后,将标定纸的世界坐标作为输入,而将图像坐标作为输出,构成三输入、两输出BP神经网络对所划分区域进行训练。最后使用训练好的神经网络进行摄像机标定。
本发明的方法具体包括以下几个步骤:
1.神经网络训练区域的划分。
在可调精度的神经网络摄像机标定法中,摄像机的球面镜头存在畸变现象,且距离透镜中心越远,畸变程度越严重,因此如果不加区别的将所有的图像点作为一类样本进行训练与识别将会给结果带来很大的误差。透镜畸变包括两个部分:径向变形与偏心。由于误差主要由径向畸变引起,所以在实际应用中,一般只考虑径向畸变面忽略偏心。本发明只考虑径向畸变并且认为畸变误差关于透镜中心对称。
本发明首先对棋盘标定纸采集所得到的标定图像进行区域划分。由于畸变量关于图像中心径向对称,将图像划分为若干同心圆环。每个圆环内畸变量差异不大,相邻圆环内畸变相对量的改变幅度在设定的某个允许误差范围之内。通过计算本发明可以得到畸变误差的径向相对量与到图像中心的径向距离的平方近似成正比,根据径向畸变程度的不同将整幅图像划分为一系列间距不断缩小的同心圆环作为神经网络的训练区域。
本发明确定了训练区域即同心圆环之间的半径关系为
rn为第n个训练区域的半径,rl为第1个训练区域的半径。在实际应用中,首先将一标定纸图像作为训练样本,根据需要的精度设定初始半径rl,然后由上述关系可以自动得到整幅图像上所有训练区域。
2.使用神经网络对所划分区域进行训练。
对标定图像进行区域划分后,根据训练划分区域的数目决定神经网络的数目,对每一个同心圆环,即训练区域使用对应的神经网络进行训练。对图像进行去噪处理后,将灰度图像进行二值化处理得到二值化图像。对二值化图像进行Hough(霍夫)直线检测,得到一系列相互交叉的直线。求取每个交叉点的二维图像坐标,将二维图像坐标作为神经网络的输出样本,而在标定纸中与交叉点二维图像对应的三维世界坐标作为输入。本发明使用BP神经网络作为训练用的网络。将各个坐标分别输入到对应的BP神经网络中进行训练。最后将各个划分区域上神经网络所得到的训练结果作为整幅图像的训练结果。
3.使用训练好的神经网络进行摄像机标定。
对任意物体进行图像采集得到的物体图像进行相应的区域划分,计算图像中任意坐标点到图像中心点的距离r,根据训练区域即同心圆环之间的半径关系公式可以得到,
如果n-1<nx≤n,则图像点对应于第n个神经网络。将图像点对应的世界坐标输入到训练好神经网络中,输出的结果即为得到的标定好的真实的图像坐标。
本发明的方法简单、灵活、实现容易,可以根据不同的畸变严重程度自动完成神经网络训练区域的划分,在避免人为因素引起误差的同时缩短了构造神经网络训练区域所需要的时间。在实际应用中,通过改变区域划分的数目,大大降低因径向畸变带来的误差,可以满足实际摄像机标定中的不同精度要求。
附图说明:
图1为本发明神经网络区域划分示意图。
图2为不同初始半径对应的训练区域。
图3为识别率—初始半径变化曲线。
图4为训练时间—初始半径变化曲线。
具体实施方式:
为了更好的理解本发明的技术方案,以下结合附图和实施例作进一步的详细描述。
图1为本发明神经网络区域划分示意图。由于摄像机的球面镜头存在径向畸变现象,且距离透镜中心越远,畸变程度越严重,因此如果不加区别的将所有的图像点作为一类样本进行训练将会给结果带来很大的误差。
描述非线性畸变可用下列公式:
(x′,y′)表示真实的图像坐标,
表示未修正的图像坐标。(δx(x,y),δy(x,y))是畸变量。
径向畸变的修正量可以由距图像中心的径向距离的偶次幂多项式模型来表示:
其中(xp,yp)是图像中心位置坐标的精确值,而
是到图像中心的径向距离。
所以由(2)得到总的畸变径向相对量为,
可以看到透镜的畸变量的径向相对量与到图像中心的径向距离的平方近似成正比,由于在整个图像中各部分的畸变量是不同的,距离图像中心越近,畸变量越小,靠近图像边缘,畸变量越大。
由于畸变量关于图像中心径向对称,且畸变相对量与距图像中心的半径的平方成正比,将图像划分成若干同心圆,不妨用D1,D2,…Dn来表示,每个圆环内畸变量差异不大。相邻圆环内畸变相对量的改变幅度在某个允许误差的范围ε之内。
由(3)可以得到:
由(4)可以获得不同圆的半径为:
不妨设
则对于(5)来说:
可以得到:
由(7)可以得到:
于是:
不难得到:rn-rn-1<rn-1-rn-2<…<r2-r1<r1
由此可知畸变划分区域为一系列间距不断缩小的同心圆环。将得到的同心圆环作为神经网络的训练区域。
图2是实验用的棋盘标定纸。本发明将标定纸的世界坐标作为输入,而将图像坐标作为输出,构成三输入、两输出BP神经网络。
对棋盘标定纸进行图像采集,得到标定图像,如图2(图2a-2d)所示。对图像进行去噪处理后,将灰度图像进行二值化处理得到二值化图像。对二值化图像进行Hough(霍夫)直线检测,得到一系列相互交叉的直线。
求取每个交叉点的二维图像坐标
又知图像中心点坐标为(xp,yp),可以得到交叉点到图像中心点的距离:
如果rn>r1>rn-1,则交叉点坐标属于第n个划分区域,也即对应于第n个神经网络,将
第n个神经网络的训练输出样本。与
对应的三维世界坐标则作为作为神经网络的训练输入样本,然后对神经网络进行训练。依次类推,可以得到整幅图像上,各个划分区域中神经网络的训练输入与输出样本。
如图2a-d所示,分别采用不同的初始半径,其中图2a为初始半径r1=180,对应于两个同心圆,即系统有两个供训练与识别的神经网络。在图2b中,初始半径r1=150,对应于三个同心圆。图2c对应于初始半径r1=130,对应于四个畸变区域。而在图2d中,初始半径r1=120,对应于五个同心圆。在图2中不难看出训练区域是一系列间距不断缩小的同心圆环。
图3为识别率—初始半径变化曲线。图3中曲线的横坐标对应于图2中所设定的初始半径。纵坐标对应于识别率。r1=180时,识别率为95.05%;当r1=150时,识别率为97.79%;当r1=130时,识别率为99.01%;当r1=120时,识别率为99.45%。因此可以知道,初始半径越大,同心圆数目越少,系统中的神经网络数目也越少,同时识别精度越低。
图4为训练时间—初始半径变化曲线。图4中曲线的横坐标对应于图2中所设定的初始半径。纵坐标对应于神经网络所需要的训练时间。r1=180时,训练时间为25s;当r1=150时,训练时间为44s;当r1=130时,训练时间为60s;当r1=120时,为70s。由此可以知道,初始半径越大,同心圆数目越小,系统所需要的训练时间越少。
Claims (1)
1、一种可调精度的神经网络摄像机标定方法,其特征在于包括如下具体步骤:
1)神经网络训练区域的划分:将棋盘标定纸采集所得到的标定图像划分为一系列间距不断缩小的同心圆环作为神经网络的训练区域,相邻圆环内畸变相对量的改变幅度在设定的允许误差范围内,训练区域之间的半径关系为 rn为第n个训练区域的半径,r1为第1个训练区域的半径;
2)使用神经网络对所划分区域进行训练:根据训练划分区域的数目决定神经网络的数目,对每一个训练区域使用对应的神经网络进行训练,对图像进行去噪处理后,将灰度图像进行二值化处理得到二值化图像,对二值化图像进行霍夫直线检测,得到一系列相互交叉的直线,求取每个交叉点的二维图像坐标作为神经网络的输出样本,而在标定纸中与交叉点二维图像对应的三维世界坐标作为输入,将各个坐标分别输入到对应的BP神经网络中进行训练,最后将各个划分区域上神经网络所得到的训练结果作为整幅图像的训练结果;
3)使用训练好的神经网络进行摄像机标定:对采集得到的任意物体图像进行相应的区域划分,计算图像中任意坐标点到图像中心点的距离,根据训练区域之间的半径关系,找出图像坐标点对应的划分区域,即找到对应的神经网络,将图像点对应的世界坐标输入到训练好的神经网络中,得到标定好的真实图像坐标。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN 03151299 CN1243324C (zh) | 2003-09-29 | 2003-09-29 | 可调精度的神经网络摄像机标定方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN 03151299 CN1243324C (zh) | 2003-09-29 | 2003-09-29 | 可调精度的神经网络摄像机标定方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN1529124A true CN1529124A (zh) | 2004-09-15 |
CN1243324C CN1243324C (zh) | 2006-02-22 |
Family
ID=34287009
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN 03151299 Expired - Fee Related CN1243324C (zh) | 2003-09-29 | 2003-09-29 | 可调精度的神经网络摄像机标定方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN1243324C (zh) |
Cited By (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN1294533C (zh) * | 2005-05-19 | 2007-01-10 | 上海交通大学 | 摄像机或照相机几何畸变的标定方法 |
CN100428782C (zh) * | 2005-07-29 | 2008-10-22 | 佳能株式会社 | 信息处理方法和设备 |
CN101630406B (zh) * | 2008-07-14 | 2011-12-28 | 华为终端有限公司 | 摄像机的标定方法及摄像机标定装置 |
CN101666625B (zh) * | 2009-09-30 | 2012-08-08 | 长春理工大学 | 畸变误差无模型校正方法 |
CN103971352A (zh) * | 2014-04-18 | 2014-08-06 | 华南理工大学 | 一种基于广角镜头的快速图像拼接方法 |
CN104700385A (zh) * | 2013-12-06 | 2015-06-10 | 广西大学 | 基于fpga实现的双目视觉定位装置 |
CN106097322A (zh) * | 2016-06-03 | 2016-11-09 | 江苏大学 | 一种基于神经网络的视觉系统标定方法 |
CN109754436A (zh) * | 2019-01-07 | 2019-05-14 | 北京工业大学 | 一种基于镜头分区域畸变函数模型的相机标定方法 |
CN110969657A (zh) * | 2018-09-29 | 2020-04-07 | 杭州海康威视数字技术股份有限公司 | 一种枪球坐标关联方法、装置、电子设备及存储介质 |
CN113240829A (zh) * | 2021-02-24 | 2021-08-10 | 南京工程学院 | 一种基于机器视觉的闸机智能通行检测方法 |
CN115905237A (zh) * | 2022-12-09 | 2023-04-04 | 江苏泽景汽车电子股份有限公司 | 图像处理方法、装置、hud及存储介质 |
-
2003
- 2003-09-29 CN CN 03151299 patent/CN1243324C/zh not_active Expired - Fee Related
Cited By (15)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN1294533C (zh) * | 2005-05-19 | 2007-01-10 | 上海交通大学 | 摄像机或照相机几何畸变的标定方法 |
CN100428782C (zh) * | 2005-07-29 | 2008-10-22 | 佳能株式会社 | 信息处理方法和设备 |
CN101630406B (zh) * | 2008-07-14 | 2011-12-28 | 华为终端有限公司 | 摄像机的标定方法及摄像机标定装置 |
CN101666625B (zh) * | 2009-09-30 | 2012-08-08 | 长春理工大学 | 畸变误差无模型校正方法 |
CN104700385A (zh) * | 2013-12-06 | 2015-06-10 | 广西大学 | 基于fpga实现的双目视觉定位装置 |
CN103971352A (zh) * | 2014-04-18 | 2014-08-06 | 华南理工大学 | 一种基于广角镜头的快速图像拼接方法 |
CN106097322A (zh) * | 2016-06-03 | 2016-11-09 | 江苏大学 | 一种基于神经网络的视觉系统标定方法 |
CN106097322B (zh) * | 2016-06-03 | 2018-10-09 | 江苏大学 | 一种基于神经网络的视觉系统标定方法 |
CN110969657A (zh) * | 2018-09-29 | 2020-04-07 | 杭州海康威视数字技术股份有限公司 | 一种枪球坐标关联方法、装置、电子设备及存储介质 |
CN110969657B (zh) * | 2018-09-29 | 2023-11-03 | 杭州海康威视数字技术股份有限公司 | 一种枪球坐标关联方法、装置、电子设备及存储介质 |
CN109754436A (zh) * | 2019-01-07 | 2019-05-14 | 北京工业大学 | 一种基于镜头分区域畸变函数模型的相机标定方法 |
CN109754436B (zh) * | 2019-01-07 | 2020-10-30 | 北京工业大学 | 一种基于镜头分区域畸变函数模型的相机标定方法 |
CN113240829A (zh) * | 2021-02-24 | 2021-08-10 | 南京工程学院 | 一种基于机器视觉的闸机智能通行检测方法 |
CN115905237A (zh) * | 2022-12-09 | 2023-04-04 | 江苏泽景汽车电子股份有限公司 | 图像处理方法、装置、hud及存储介质 |
CN115905237B (zh) * | 2022-12-09 | 2024-03-22 | 江苏泽景汽车电子股份有限公司 | 图像处理方法、装置、hud及存储介质 |
Also Published As
Publication number | Publication date |
---|---|
CN1243324C (zh) | 2006-02-22 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN109003258B (zh) | 一种高精度亚像素圆形零件测量方法 | |
CN1243324C (zh) | 可调精度的神经网络摄像机标定方法 | |
CN103292701B (zh) | 基于机器视觉的精密器件在线尺寸测量方法 | |
CN1177298C (zh) | 基于块分割的多聚焦图像融合方法 | |
CN1801896A (zh) | 摄像机标定数据的采集方法及其标定板 | |
CN111462066B (zh) | 一种基于机器视觉的螺纹参数检测方法 | |
CN114018932B (zh) | 基于矩形标定物的路面病害指标测量方法 | |
CN204946113U (zh) | 一种光轴垂直度调整装置 | |
CN1835547A (zh) | 图像处理装置及图像处理中的登录数据生成方法 | |
CN104751458B (zh) | 一种基于180°旋转算子的标定角点检测方法 | |
CN104299249A (zh) | 高鲁棒性的标志点解码方法及系统 | |
CN103150724A (zh) | 一种基于分段模型的摄像机标定方法 | |
CN106204528A (zh) | 一种零件几何质量的尺寸检测方法 | |
CN112465809A (zh) | 一种基于图像识别的模具缺陷检测方法、计算机可读存储介质及装置 | |
CN114331924B (zh) | 大工件多相机视觉测量方法 | |
CN102622739A (zh) | 一种Bayer滤波阵列彩色相机图像非均匀性校正方法 | |
CN1220866C (zh) | 一种透镜畸变参数的标定方法 | |
CN105118086A (zh) | 3d-aoi设备中的3d点云数据配准方法及系统 | |
CN111047586B (zh) | 一种基于机器视觉的像素当量测量方法 | |
CN114708164B (zh) | 机器视觉测量中物体倾斜引起的图像大小头畸变校正方法 | |
CN104754323A (zh) | 摄像头光轴检测设备的标定方法 | |
CN105954021A (zh) | 一种汽车后桥差速器中螺旋锥齿轮齿面接触区的检测方法 | |
CN102663727A (zh) | 基于cmm移动靶标的相机分区域标定方法 | |
CN110047146B (zh) | 一种基于单幅回转体图像3d还原的误差修正方法 | |
CN104180794B (zh) | 数字正射影像拉花区域的处理方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
C14 | Grant of patent or utility model | ||
GR01 | Patent grant | ||
C19 | Lapse of patent right due to non-payment of the annual fee | ||
CF01 | Termination of patent right due to non-payment of annual fee |