CN106952236B - 基于bp神经网络的鱼眼镜头拍摄图像畸变矫正方法 - Google Patents
基于bp神经网络的鱼眼镜头拍摄图像畸变矫正方法 Download PDFInfo
- Publication number
- CN106952236B CN106952236B CN201710146526.4A CN201710146526A CN106952236B CN 106952236 B CN106952236 B CN 106952236B CN 201710146526 A CN201710146526 A CN 201710146526A CN 106952236 B CN106952236 B CN 106952236B
- Authority
- CN
- China
- Prior art keywords
- image
- feature points
- neural network
- distortion correction
- points
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000012937 correction Methods 0.000 title claims abstract description 35
- 238000013528 artificial neural network Methods 0.000 title claims abstract description 33
- 238000000034 method Methods 0.000 title claims abstract description 27
- 238000010586 diagram Methods 0.000 claims description 23
- 238000012545 processing Methods 0.000 claims description 19
- 238000001914 filtration Methods 0.000 claims description 10
- 238000007781 pre-processing Methods 0.000 claims description 6
- 241000251468 Actinopterygii Species 0.000 claims description 3
- 230000007797 corrosion Effects 0.000 claims description 3
- 238000005260 corrosion Methods 0.000 claims description 3
- 239000011229 interlayer Substances 0.000 claims description 3
- 230000002441 reversible effect Effects 0.000 claims description 3
- 239000011521 glass Substances 0.000 claims description 2
- 238000005516 engineering process Methods 0.000 abstract description 4
- 238000005530 etching Methods 0.000 description 4
- 238000000605 extraction Methods 0.000 description 4
- 230000002829 reductive effect Effects 0.000 description 3
- 230000009286 beneficial effect Effects 0.000 description 2
- 238000001514 detection method Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000004088 simulation Methods 0.000 description 2
- 230000007547 defect Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000003628 erosive effect Effects 0.000 description 1
- 238000009499 grossing Methods 0.000 description 1
- 238000007689 inspection Methods 0.000 description 1
- 230000000670 limiting effect Effects 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 230000000877 morphologic effect Effects 0.000 description 1
- 230000036961 partial effect Effects 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- G06T5/80—
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
Abstract
本发明提供的方法应用BP神经网络来对鱼眼镜头拍摄的图像进行畸变矫正，矫正畸变的效率与现有相比得到了提高。并且神经网络具有很强的自学习性、自组织性、高度非线性和鲁棒性等特点使得其在解决非线性拟合等问题上有着独特的优势，能够解决多层次的复杂问题。本发明采用神经网络解决图像畸变矫正，打破传统的图像畸变矫正技术的束缚，在非线性畸变矫正方面正有着无可替代的优越性。
Description
技术领域
本发明涉及神经网络领域，更具体地，涉及一种基于BP神经网络的鱼眼镜头拍摄图像畸变矫正方法。
背景技术
随着智能科学、计算机视觉技术的发展，以及人们对视频监控和采集日益增长的需求，具有宽广视野的鱼眼镜头越来越被广泛的应用在生活中。但是使用鱼眼镜头拍摄获得的照片及视频都会发生严重的畸变现象。为了获得人们习惯的画面，以及计算机可识别的图像，需要对通过鱼眼镜头获得的图像进行畸变矫正处理。传统的畸变矫正方法需要根据镜头的参数对矫正前后的图像进行模型建立，由于不同镜头的参数不一样，因此针对不同的镜头进行校正需要耗费较大的时间人力成本。
发明内容
本发明为解决以上图像畸变矫正方法需耗费较大时间成本、人力成本的缺陷，提供了一种基于BP神经网络的鱼眼镜头拍摄图像畸变矫正方法，该方法矫正畸变的效率与现有相比得到了提高。
为实现以上发明目的，采用的技术方案是：
一种基于BP神经网络的鱼眼镜头拍摄图像畸变矫正方法，包括以下步骤；
S1.设纸张A上均匀分布有m行、n列的特征点，使用鱼眼镜头对纸张A进行拍摄，获得拍摄的图像；
S2.对图像进行预处理；
S3.对经过预处理的图像进行特征点的提取；
S4.提取的特征点中，水平距离最大的相邻的两个特征点间的水平距离x为每列特征点间的距离，垂直距离最大的相邻的两个特征点间的垂直距离y为每行特征点间的距离；
S5.利用x、y、m、n构建起理想的特征点分布图；
S6将提取的图像特征点与理想的特征点分布图中的特征点按照特征点的排列顺序进行匹配；
S7.得到匹配结果后，将提取的图像特征点和理想的特征点分布图中的特征点作为BP神经网络的输入和输出，得到神经网络的网络层间加权系数wki和wij；
S8.将拍摄的图像中每个像素点作为BP神经网络的输入，即可得到其矫正后的坐标，像素点的像素值保持为拍摄的图像中该像素点的像素值；通过以上操作完成拍摄图像的畸变矫正。
神经网络具有很强的自学习性、自组织性、高度非线性和鲁棒性等特点使得其在解决非线性拟合等问题上有着独特的优势，能够解决多层次的复杂问题。本发明采用神经网络解决图像畸变矫正，打破传统的图像畸变矫正技术的束缚，在非线性畸变矫正方面有着无可替代的优越性。
优选地，所述图像进行预处理具体包括以下依次执行的内容：
S11. 将图像转换为灰度图像并反向处理；
S12.对图像进行二值化处理；
S13.对图像进行滤波处理；
S14.对图像进行腐蚀处理；
S15.对图像进行均值滤波处理；
S16.对图像进行二值化处理。
优选地，所述步骤S3中提取得到特征点后，对特征点进行去重处理。
优选地，所述纸张的颜色为黑色，所述特征点的颜色为白色。
优选地，所述特征点呈圆状。
优选地，所述步骤S3对图像进行多次的特征点提取，每次提取得到特征点后，将得到的特征点的坐标保存起来，然后对图像进行腐蚀，再基于腐蚀后的图像进行特征点的提取。
与现有技术相比，本发明的有益效果是：
本发明提供的方法应用BP神经网络来对鱼眼镜头拍摄的图像进行畸变矫正，矫正畸变的效率与现有相比得到了提高。并且神经网络具有很强的自学习性、自组织性、高度非线性和鲁棒性等特点使得其在解决非线性拟合等问题上有着独特的优势，能够解决多层次的复杂问题。本发明采用神经网络解决图像畸变矫正，打破传统的图像畸变矫正技术的束缚，在非线性畸变矫正方面正有着无可替代的优越性。
附图说明
图1为纸张的特征点示意图。
图2为鱼眼镜头拍摄图像的示意图。
图3为预处理后的图像的示意图。
图4为提取的特征点的示意图。
图5为执行步骤S11后图像的示意图。
图6为执行步骤S12后图像的示意图。
图7为执行步骤S13后图像的示意图。
图8为执行步骤S14、S15、S16后图像的示意图。
图9为孤立点的判断示意图。
图10为连续的孤立点的示意图。
图11为孤立点的去重示意图。
图12为理想的特征点分布示意图。
图13（a）为畸变图的特征点的分布示意图。
图13（b）为孤立点查找后的特征点抽象图。
图13（c）为特征点抽象图与理想的特征点分布图匹配的示意图。
图14为仿真实验预处理后的示意图。
图15为提取的特征点的示意图。
图16为理想的特征点分布图的示意图。
图17为矫正后的特征点的示意图。
图18为方法的实施示意图。
具体实施方式
附图仅用于示例性说明，不能理解为对本专利的限制；
以下结合附图和实施例对本发明做进一步的阐述。
实施例1
如图18所示，本发明提供的鱼眼镜头拍摄图像畸变矫正方法包括以下步骤；
S1.如图1所示，设纸张A上均匀分布有m行、n列的特征点，使用鱼眼镜头对纸张A进行拍摄，获得拍摄的图像，如图2所示；
S2.对图像进行预处理，得到的图像如图3、图13（a）所示；
S3.对经过预处理的图像进行特征点的提取，具体如图4、图13（b）所示；
S4.提取的特征点中，水平距离最大的相邻的两个特征点间的水平距离x为每列特征点间的距离，垂直距离最大的相邻的两个特征点间的垂直距离y为每行特征点间的距离；
S5.利用x、y、m、n构建起理想的特征点分布图，如图12所示；
S6将提取的图像特征点与理想的特征点分布图中的特征点按照特征点的排列顺序进行匹配,如图13（c）所示；
S7.得到匹配结果后，将提取的图像特征点和理想的特征点分布图作为BP神经网络的输入和输出，得到神经网络的网络层间加权系数wki和wij；
S8.将拍摄的图像中每个像素点作为BP神经网络的输入，即可得到其矫正后的坐标，像素点的像素值保持为拍摄的图像中该像素点的像素值；通过以上操作完成拍摄图像的畸变矫正。
在具体的实施过程中，如图5~8所示，所述图像进行预处理具体包括以下依次执行的内容：
S11. 将图像转换为灰度图像并反向处理；通过将图像转换为灰度图像，降低图像维度（二维数组）。
S12.对图像进行二值化处理；可以大大降低数据复杂度，同时排除部分颜色差造成的识别干扰。
S13.对图像进行滤波处理；对于图像中未被阈值处理消除的噪声点，采用中值滤波对其进行修复。因为在下一步的形态学处理过程中，区域的完整性对形态学处理的结构有严重的引爆效应。
S14.对图像进行腐蚀处理；此步处理的主要目的是将特征点连通域的面积减少，降低后续孤立点查找的循环次数。
S15.对图像进行均值滤波处理；因为步骤S14进行了腐蚀处理，故特征点连通域的边缘可能不够平滑，用滤波平滑特征点连通域边缘，有利于后续孤立点查找的过程中获得更精确的孤立点位置。
S16.对图像进行二值化处理。因为步骤S15采用的是均值滤波，滤波后有部分像素点的灰度值不被二值化，通过阈值处理将其二值化。
本实施例中采用孤立点查找的办法进行样本特征点查找，即认为每一个孤立点都是样本的特征点。孤立点查找算法的判断标准是：如果有一个点与周围的其他点颜色不一样，则认为该点是孤立点。在本实施例的图像检测中，目标点必须是黑色的（灰度值为0）。每一次孤立点检查后，会把检测出的孤立点的坐标保存起来，然后对图片进行腐蚀，再继续做检测，直至整幅图像不再存在黑色的像素点。这样可以保证，较大面积的特征点连通域也可以通过腐蚀处理成孤立点，而该孤立点可以近似认为是该特征点连通域的中心。在本实施例中，考虑到畸变后的圆形连通域会发生形变，故把“周围的点”定义为坐标值与目标点坐标值相差3个像素单位的点，如图9所示：
黑色的点表示目标点，如果黑色的点为黑色（灰度值为0）且最外围相距3个像素点单位的点都是白色（灰度值为255）的话，则目标点为孤立点。灰色的点表示灰度值可以是0也可以是255（即可以是黑点，也可以是白点）。
但是可能出现如图10所示的情况，按照定义该区域内存在四个相近的“孤立点”。在这种情况下若进行多一次腐蚀，则可能所有点都被腐蚀；若少一次腐蚀，则可能检测不到孤立点。而且可能存在某一个点前一次检测是孤立点，经过一次腐蚀之后，依然是孤立点。因为需要再添加一个“孤立点去重”的处理，将如图四个或者实际情况下n个相近或者重复的孤立点缩减到一个。由于在孤立点统计过程中，会把所有的孤立点坐标放到一个的二维矩阵中，因此缩减消重的过程只要对该数组进行处理即可。同时认为如果某个点若前后两次被判断为孤立点，则以第二次为更精确的值，则前一次需找到的其附近的孤立点将被消除。在算法中，“附近”被定义为像素行列坐标与被比较的坐标相差2个单位长度。如图11所示：
实施例2
本实施例对本发明提供的方法进行了具体的仿真实验，其实验过程及结果如图14~17所示，可以看到，输入的部分特征点由于处在边缘的关系，不能很好地被识别出来，孤立点提取存在部分特征点丢失。经过神经网络的矫正之后，依旧能够得到较好的矫正效果。
显然，本发明的上述实施例仅仅是为清楚地说明本发明所作的举例，而并非是对本发明的实施方式的限定。对于所属领域的普通技术人员来说，在上述说明的基础上还可以做出其它不同形式的变化或变动。这里无需也无法对所有的实施方式予以穷举。凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明权利要求的保护范围之内。
Claims (5)
1.一种基于BP神经网络的鱼眼镜头拍摄图像畸变矫正方法，其特征在于：包括以下步骤；
S1.设纸张A上均匀分布有m行、n列的特征点，使用鱼眼镜头对纸张A进行拍摄，获得拍摄的图像；
S2.对图像进行预处理；
S3.对经过预处理的图像进行特征点的提取；
S4.提取的特征点中，水平距离最大的相邻的两个特征点间的水平距离x为每列特征点间的距离，垂直距离最大的相邻的两个特征点间的垂直距离y为每行特征点间的距离；
S5.利用x、y、m、n构建起理想的特征点分布图；
S6将提取的图像特征点与理想的特征点分布图中的特征点按照特征点的排列顺序进行匹配；
S7.得到匹配结果后，将提取的图像特征点和理想的特征点分布图中的特征点作为BP神经网络的输入和输出，得到神经网络的网络层间加权系数wki和wij；
S8.将拍摄的图像中每个像素点作为BP神经网络的输入，即可得到其矫正后的坐标，像素点的像素值保持为拍摄的图像中该像素点的像素值；通过以上操作完成拍摄图像的畸变矫正；
所述图像进行预处理具体包括以下依次执行的内容：
S11.将图像转换为灰度图像并反向处理；
S12.对图像进行二值化处理；
S13.对图像进行滤波处理；
S14.对图像进行腐蚀处理；
S15.对图像进行均值滤波处理；
S16.对图像进行二值化处理。
2.根据权利要求1所述的基于BP神经网络的鱼眼镜头拍摄图像畸变矫正方法，其特征在于：所述步骤S3中提取得到特征点后，对特征点进行去重处理。
3.根据权利要求1所述的基于BP神经网络的鱼眼镜头拍摄图像畸变矫正方法，其特征在于：所述纸张的颜色为黑色，所述特征点的颜色为白色。
4.根据权利要求3所述的基于BP神经网络的鱼眼镜头拍摄图像畸变矫正方法，其特征在于：所述特征点呈圆状。
5.根据权利要求1所述的基于BP神经网络的鱼眼镜头拍摄图像畸变矫正方法，其特征在于：所述步骤S3对图像进行多次的特征点提取，每次提取得到特征点后，将得到的特征点的坐标保存起来，然后对图像进行腐蚀，再基于腐蚀后的图像进行特征点的提取。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201710146526.4A CN106952236B (zh) | 2017-03-13 | 2017-03-13 | 基于bp神经网络的鱼眼镜头拍摄图像畸变矫正方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201710146526.4A CN106952236B (zh) | 2017-03-13 | 2017-03-13 | 基于bp神经网络的鱼眼镜头拍摄图像畸变矫正方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN106952236A CN106952236A (zh) | 2017-07-14 |
| CN106952236B true CN106952236B (zh) | 2020-04-24 |
Family
ID=59468251
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201710146526.4A Active CN106952236B (zh) | 2017-03-13 | 2017-03-13 | 基于bp神经网络的鱼眼镜头拍摄图像畸变矫正方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN106952236B (zh) |
Families Citing this family (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108053376A (zh) * | 2017-12-08 | 2018-05-18 | 长沙全度影像科技有限公司 | 一种语义分割信息指导深度学习鱼眼图像校正方法 |
| CN111260565B (zh) * | 2020-01-02 | 2023-08-11 | 北京交通大学 | 基于畸变分布图的畸变图像矫正方法及系统 |
| CN111260586B (zh) * | 2020-01-20 | 2023-07-04 | 北京百度网讯科技有限公司 | 扭曲文档图像的矫正方法和装置 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104034514A (zh) * | 2014-06-12 | 2014-09-10 | 中国科学院上海技术物理研究所 | 大视场相机非线性畸变校正装置与方法 |
| CN105354808A (zh) * | 2015-12-02 | 2016-02-24 | 深圳华强数码电影有限公司 | 鱼眼图像的矫正方法 |
| CN105427241A (zh) * | 2015-12-07 | 2016-03-23 | 中国航空工业集团公司洛阳电光设备研究所 | 一种大视场显示设备的畸变校正方法 |
| CN105844584A (zh) * | 2016-03-19 | 2016-08-10 | 上海大学 | 校正鱼眼镜头图像畸变的方法 |
-
2017
- 2017-03-13 CN CN201710146526.4A patent/CN106952236B/zh active Active
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104034514A (zh) * | 2014-06-12 | 2014-09-10 | 中国科学院上海技术物理研究所 | 大视场相机非线性畸变校正装置与方法 |
| CN105354808A (zh) * | 2015-12-02 | 2016-02-24 | 深圳华强数码电影有限公司 | 鱼眼图像的矫正方法 |
| CN105427241A (zh) * | 2015-12-07 | 2016-03-23 | 中国航空工业集团公司洛阳电光设备研究所 | 一种大视场显示设备的畸变校正方法 |
| CN105844584A (zh) * | 2016-03-19 | 2016-08-10 | 上海大学 | 校正鱼眼镜头图像畸变的方法 |
Non-Patent Citations (2)
| Title |
|---|
| 内窥镜图像非线性畸变数字校正方法;孙慧贤 等;《无损检测》;20090210;第31卷(第2期);第92-95页第2.3节 * |
| 基于神经网络的数字图像几何畸变矫正方法;陆懿 等;《计算机工程与设计》;20070930;第28卷(第17期);第4290-4292页第1-3节 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN106952236A (zh) | 2017-07-14 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109871938B (zh) | 一种基于卷积神经网络的零部件喷码检测方法 | |
| CN108121991B (zh) | 一种基于边缘候选区域提取的深度学习舰船目标检测方法 | |
| CN110033471B (zh) | 一种基于连通域分析和形态学操作的框线检测方法 | |
| CN106296725B (zh) | 运动目标实时检测与跟踪方法及目标检测装置 | |
| CN108009493B (zh) | 基于动作增强的人脸防欺骗识别方法 | |
| CN107784669A (zh) | 一种光斑提取及其质心确定的方法 | |
| CN110782477A (zh) | 基于序列图像的运动目标快速检测方法、计算机视觉系统 | |
| CN110210608A (zh) | 基于注意力机制和多层次特征融合的低照度图像增强方法 | |
| CN107038416B (zh) | 一种基于二值图像改进型hog特征的行人检测方法 | |
| CN106952236B (zh) | 基于bp神经网络的鱼眼镜头拍摄图像畸变矫正方法 | |
| CN111680690B (zh) | 一种文字识别方法及装置 | |
| CN109558908B (zh) | 一种给定区域最优边缘的确定方法 | |
| CN109146878A (zh) | 一种基于图像处理的杂质检测方法 | |
| CN110930377B (zh) | 一种基于多任务学习的排水管道异常类型自动检测方法 | |
| CN104282027B (zh) | 一种基于Hough变换的圆检测方法 | |
| CN111145105B (zh) | 一种图像快速去雾方法、装置、终端及存储介质 | |
| CN105608689B (zh) | 一种全景拼接消除图像特征误匹配方法及装置 | |
| CN107993219A (zh) | 一种基于机器视觉的船板表面缺陷检测方法 | |
| CN104766319A (zh) | 提升夜间拍照图像配准精度的方法 | |
| CN111414938B (zh) | 一种板式换热器内气泡的目标检测方法 | |
| CN109101985A (zh) | 一种基于自适应邻域测试的图像误匹配点对剔除方法 | |
| CN115294149A (zh) | 一种天文图像背景提取方法及系统 | |
| CN111027637A (zh) | 一种文字检测方法及计算机可读存储介质 | |
| CN113643290B (zh) | 一种基于图像处理的吸管计数方法、装置及存储介质 | |
| CN115797327A (zh) | 一种缺陷检测方法、装置、终端设备及存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |