CN109859263B - 一种基于鱼眼镜头的宽视角定位方法 - Google Patents
一种基于鱼眼镜头的宽视角定位方法 Download PDFInfo
- Publication number
- CN109859263B CN109859263B CN201910076380.XA CN201910076380A CN109859263B CN 109859263 B CN109859263 B CN 109859263B CN 201910076380 A CN201910076380 A CN 201910076380A CN 109859263 B CN109859263 B CN 109859263B
- Authority
- CN
- China
- Prior art keywords
- image
- wide
- fisheye
- sub
- gray
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Landscapes
- Image Processing (AREA)
- Image Analysis (AREA)
Abstract
本发明提供一种基于鱼眼镜头的宽视野定位方法,包括以下步骤:宽视野鱼眼图像集的生成、图像预处理、模板匹配、畸变程度与位置关系建模、图像识别与定位。本发明的方法通过对鱼眼成像的两维和三维空间非线性畸变特性,基于图像测量的理论与方法,利用深度学习实现鱼眼镜头的宽视野定位,大大减少了检测的时间、提高了非线性精度,解决了矫正误差带来的测量精度以及单幅图像不能对宽视野物体距离进行测量的问题。
Description
技术领域
本发明属于图像测量技术领域,具体涉及一种基于鱼眼镜头的宽视角定位方法。
背景技术
本发明是针对无人机、机器人等图像导航、目标探测提出的。与普通的线性成像相比,鱼眼成像是非线性成像,它具有视场角大,距离越近畸变越大的特点。普通成像是线性成像,成像的视场角一般为40°~50°,而鱼眼成像的视场角通常可达到并超过180°,因而可实现更宽视场角内的目标的测量;在利用图像序列进行目标距离和方位测量时,针对远距离目标测量,鱼眼成像和线性成像在相同的视场角内,测量精度相当,在近距离目标测量时,鱼眼成像具有更高的方位和距离测量精度。
由于鱼眼成像属于非线性成像,导致随偏离光轴的目标图像畸变呈非线性变化。现有的鱼眼图像测量方法是先将采集的鱼眼图像进行标定矫正后展开,然后将展开的图像进行特征提取和匹配,最后经过拼接融合后,可以拼接为一幅超大无缝图像,进行测量。其步骤太过于繁琐且有一定的局限性,而且加入了矫正误差和拼接误差,使得测量误差增大。
发明内容
针对上述问题本发明提供一种基于鱼眼成像的宽视野定位方法,直接采用鱼眼序列图像的畸变特性实现鱼眼镜头的宽视野定位,在减少运算量、提高非线性精度的同时,实现目标物体的智能化宽视野测量。
为达到上述目的本发明采用的技术方案:
一种基于鱼眼成像的宽视野定位方法,包括以下步骤:
101、宽视野鱼眼图像集的生成:
所述宽视野鱼眼图像集生成的具体方法为:将不同距离下无畸变的序列图像集通过鱼眼成像模型公式计算得到宽视野鱼眼图像序列集,其中鱼眼镜头成像模型公式为:
r(θ)=k1θ+k2θ3+k3θ5+k4θ7+k5θ9+…, (1)
其中{ki}(i=1,2,3,4,5)表示鱼眼图像的畸变参数,θ表示针孔相机成像过程中入射光线与光轴的夹角,r(θ)表示鱼眼成像点与鱼眼图像平面坐标系的原点之间的距离。
102、图像预处理、模板匹配:
所述图像预处理的具体方法为:先将宽视野鱼眼图像序列集进行均匀切分得到子图像,计算每个子图像对应的灰度直方图,并标明最大灰度值和最小灰度值的大小,同时采用编号对所述子图像和所述灰度直方图进行命名,将每个子图像的最大灰度值和最小灰度值输入第一公式得到子图像的灰度值像素数量k,k为k1或k2;低灰度值像素数量k1,高灰度值像素数量k2;
所述第一公式为:
其中,p,q是比例因子;
定义,最大灰度值比例为Max_gray和最小灰度值比例为0;间隔[0,L]是低灰度值间隔,间隔[H,Max_gray]是高灰度间隔;低灰度值像素数量k1,其标志符F,高灰度值像素数量k2,其标志符为G;
所述模板匹配的具体方法为:根据目标图像和背景图像之间灰度值的差异,设置阈值,进行模板匹配,得到有目标物体的图像,将上述有目标物体的图像保存,进行拼接,最后将拼接完成的图像输出,即得到分离的目标图像;
103、所述畸变程度与位置关系建模的具体方法为:
采用深度学习的方法,对目标图像进行角点检测,提取角点畸变程度;然后使用神经网络的方法将角点畸变程度作为神经网络的输入集,与其序列图像相对应距离位置与方位角作为其输出集,通过对神经网络架构的不断调整及训练,从而实现畸变图像的位置测量。
104、图像识别与定位:
将待处理的鱼眼目标图像直接输入训练好的深度学习模型中,快速实现目标图像的识别与定位。
进一步地,所述相对应距离位置为图像中的物体距离镜头的实际距离,即物距。
与现有技术相比本发明的有益效果:
本发明的方法直接利用鱼眼成像的两维和三维空间非线性畸变特性,基于图像测量的理论与方法,利用深度学习的方法直接实验鱼眼镜头的宽视野定位,避免了由传统的鱼眼镜头定位技术需要矫正和拼接带来的矫正误差和拼接误差,提高了非线性测量精度;并且在深度学习模型中加入了角点提取子网络,简化了训练模型,加快了运算速度。
附图说明
图1为本发明方法的流程图;
图2为本发明模板匹配的流程图;
图3为本发明模糊对角点提取图;
图4为本发明提取角点结构示意图。
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
如图1-4所示,一种基于鱼眼镜头的宽视野定位方法,包括如下步骤:
步骤101、宽视野鱼眼图像集生成:
将不同距离下无畸变的序列图像集通过鱼眼成像模型公式计算得到宽视野鱼眼图像序列集,其中鱼眼镜头成像模型公式为:
r(θ)=k1θ+k2θ3+k3θ5+k4θ7+k5θ9+…, (1)
其中{ki}(i=1,2,3,4,5)表示鱼眼图像的畸变参数,θ表示针孔相机成像过程中入射光线与光轴的夹角,r(θ)表示鱼眼成像点与鱼眼图像平面坐标系的原点之间的距离。
步骤102:图像预处理:
先将整个宽视野鱼眼图像序列集进行均匀切分得到子图像,计算每个子图像对应的灰度直方图,并标明最大灰度值和最小灰度值的大小,同时采用编号对所述子图像和所述灰度直方图进行命名,将每个子图像的最大灰度值和最小灰度值输入第一公式得到子图像的灰度值像素数量k,k为k1或k2;低灰度值像素数量k1,高灰度值像素数量k2;
所述第一公式为:
其中,p,q是比例因子(a,b)、(c,d)分别为p和q的取值范围,a<p<b,c<q<d.
定义,间隔[0,L]是低灰度值间隔,间隔[H,Max_gray]是高灰度间隔。把整个图像分解为m×n个子图像。计算在i行j列的子图像的低灰度值像素数量k1,高灰度值像素数量k2.定义两个标志符F,G。
模板匹配:
根据目标图像和背景图像之间灰度值的差异,设置阈值,进行模板匹配,得到有目标的子图像,将上述有目标的子图像保存,然后进行无缝拼接,将拼接完成的图像输出,即得到分离的目标图像。
判断式:k>T。其中,T为阈值,k为k1或k2;T为T1或T2;a1<T1<b1;c1<T2<d1;若k1满足上式,定义F=1;否则定义F=0。同理,若k2满足上式,定义G=1;否则定义G=0。若同时满足F=1,G=1,则认为此子图像为目标图像。
步骤103、畸变程度与位置关系建模:
采用深度学习的方法,例如采用卷积神经网络对鱼眼图像进行位置测量,其中包括两个子网络(对目标图像进行角点提取子网络和目标定位子网络)。对有目标图像进行角点检测,提取角点畸变程度,将角点畸变程度作为卷积神经网络的输入集,与其序列图像相对应距离位置和方位角作为其输出集,通过对神经网络架构的不断调整及训练,从而实现畸变图像的位置测量。
对目标图像进行角点提取时,大致可分为三步。第一步学习训练,即输入图像首先以相对较大的内核大小(与图像内容成比例)过滤成N个特征通道。第二步直接过滤(无空间影响)到N/2个新通道。最后一步实现了单通道响应图。每一步的激活函数都是ReLU(整流线性单元)。具体实施方法如下:
第一步由具有许多输出通道的相对大的内核大小的卷积滤波器组成。它的激活功能是ReLU(整流线性单元)。我们将输入图像表示为X.第一步产生N个通道L1,i(X),由训练过滤器内核W1,i和偏置b1,i控制:
下一步是N个特征通道的局部转换为N/2个新特征,每个特征具有另一个ReLU激活函数:ReLU(x)=max(x,0)。N/2个输出通道中的每一个都是N个输入通道的加权和,偏置为b2,j:
最后一步将第二步产生的N/2个通道组合成一个响应图。其具有小的空间支持,以允许响应图中的邻域影响。与早期图层类似,此图层的输出由下式给出:
此阶段的空间滤波器半径应足够大,以克服图像的影响角落模糊。这种模糊通常是焦点配置错误的结果获取时的距离。大多数(如果不是全部)现有相机都带有内置自动对焦模块,这种影响通常很小。我们选择了六个像素的半径,这已经绰绰有余了对于我们评估的场景中的半径。甚至更大的空间半径将允许更多的焦点模糊:在大多数情况下,较大的半径是多余的,同时减慢处理;我们将在结果部分探索这种权衡。
对目标图像进行目标定位时,使用角点提取子网络输出的角点畸变程度(用不同距离下同一点在图像上的坐标变化)作为输入集,实际距离(就是图像中的物体距离镜头的实际距离,即物距)与方位角作为输出集进行训练,通过对深度学习模型网络架构的不断调整及训练,从而得到训练完成的深度学习模型,实现畸变图像的位置测量。
步骤104、图像识别与定位:
将待处理的鱼眼目标图像直接输入训练好的深度学习模型中,快速实现目标图像的识别与定位。
Claims (2)
1.一种基于鱼眼镜头的宽视角定位方法,其特征在于,包括:
101、宽视野鱼眼图像集的生成:
所述宽视野鱼眼图像集生成的具体方法为:将不同距离下无畸变的序列图像集通过鱼眼成像模型公式计算得到宽视野鱼眼图像序列集,其中鱼眼镜头成像模型公式为:
其中Xi,i=1,2,3,4,5表示鱼眼图像的畸变参数,θ表示针孔相机成像过程中入射光线与光轴的夹角,r(θ)表示鱼眼成像点与鱼眼图像平面坐标系的原点之间的距离;
102、图像预处理、模板匹配:
所述图像预处理的具体方法为:先将宽视野鱼眼图像序列集进行均匀切分得到子图像,计算每个子图像对应的灰度直方图,并标明最大灰度值和最小灰度值的大小,同时采用编号对所述子图像和所述灰度直方图进行命名,将每个子图像的最大灰度值和最小灰度值输入第一公式得到子图像的灰度值像素数量k,k为k1或k2;低灰度值像素数量k1,高灰度值像素数量k2;
所述第一公式为:
其中,p,q是比例因子;
定义,最大灰度值比例为Max_gray和最小灰度值比例为0;间隔[0,L]是低灰度值间隔,间隔[H,Max_gray]是高灰度间隔;低灰度值像素数量k1,其标志符F,高灰度值像素数量k2,其标志符为G;
所述模板匹配的具体方法为:根据目标图像和背景图像之间灰度值的差异,设置阈值,进行模板匹配,得到有目标物体的图像,将上述有目标物体的图像保存,进行拼接,最后将拼接完成的图像输出,即得到分离的目标图像;
103、畸变程度与位置关系建模的具体方法为:
采用深度学习的方法,对目标图像进行角点检测,提取角点畸变程度;然后使用神经网络的方法将角点畸变程度作为神经网络的输入集,与其序列图像相对应距离位置与方位角作为其输出集,通过对神经网络架构的不断调整及训练,从而实现畸变图像的位置测量;
104、图像识别与定位:
将待处理的鱼眼目标图像直接输入训练好的深度学习模型中,快速实现目标图像的识别与定位。
2.根据权利要求1所述的一种基于鱼眼镜头的宽视角定位方法,其特征在于,所述相对应距离位置为图像中的物体距离镜头的实际距离,即物距。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910076380.XA CN109859263B (zh) | 2019-01-26 | 2019-01-26 | 一种基于鱼眼镜头的宽视角定位方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910076380.XA CN109859263B (zh) | 2019-01-26 | 2019-01-26 | 一种基于鱼眼镜头的宽视角定位方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN109859263A CN109859263A (zh) | 2019-06-07 |
CN109859263B true CN109859263B (zh) | 2023-06-27 |
Family
ID=66896196
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201910076380.XA Active CN109859263B (zh) | 2019-01-26 | 2019-01-26 | 一种基于鱼眼镜头的宽视角定位方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN109859263B (zh) |
Families Citing this family (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110334657B (zh) * | 2019-07-08 | 2020-08-25 | 创新奇智(北京)科技有限公司 | 一种鱼眼畸变图像的训练样本生成方法、系统及电子设备 |
CN118195968A (zh) * | 2024-03-22 | 2024-06-14 | 哈尔滨工业大学 | 基于深度学习和鱼眼摄像头的结构响应监测方法 |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN106373091A (zh) * | 2016-09-05 | 2017-02-01 | 山东省科学院自动化研究所 | 全景泊车中鸟瞰图像的自动拼接方法、系统及车辆 |
CN107197134A (zh) * | 2016-03-14 | 2017-09-22 | 北京岚锋创视网络科技有限公司 | 一种用于多个鱼眼镜头的图像的曝光调整方法和装置 |
CN108053373A (zh) * | 2017-12-05 | 2018-05-18 | 长沙全度影像科技有限公司 | 一种基于深度学习模型鱼眼图像校正方法 |
CN108437898A (zh) * | 2018-05-12 | 2018-08-24 | 吉林大学 | 一种基于眼动跟踪的行车环境感知装置 |
Family Cites Families (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101246590B (zh) * | 2008-03-03 | 2011-05-11 | 北京航空航天大学 | 星载相机空间畸变图像几何校正方法 |
JP5558973B2 (ja) * | 2010-08-31 | 2014-07-23 | 株式会社日立情報通信エンジニアリング | 画像補正装置、補正画像生成方法、補正テーブル生成装置、補正テーブル生成方法、補正テーブル生成プログラムおよび補正画像生成プログラム |
CN104501779A (zh) * | 2015-01-09 | 2015-04-08 | 中国人民解放军63961部队 | 基于多站测量的无人机高精度目标定位方法 |
CN106960456A (zh) * | 2017-03-28 | 2017-07-18 | 长沙全度影像科技有限公司 | 一种鱼眼相机标定算法评价的方法 |
CN110889829B (zh) * | 2019-11-09 | 2023-11-03 | 东华大学 | 一种基于鱼眼镜头的单目测距方法 |
-
2019
- 2019-01-26 CN CN201910076380.XA patent/CN109859263B/zh active Active
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN107197134A (zh) * | 2016-03-14 | 2017-09-22 | 北京岚锋创视网络科技有限公司 | 一种用于多个鱼眼镜头的图像的曝光调整方法和装置 |
CN106373091A (zh) * | 2016-09-05 | 2017-02-01 | 山东省科学院自动化研究所 | 全景泊车中鸟瞰图像的自动拼接方法、系统及车辆 |
CN108053373A (zh) * | 2017-12-05 | 2018-05-18 | 长沙全度影像科技有限公司 | 一种基于深度学习模型鱼眼图像校正方法 |
CN108437898A (zh) * | 2018-05-12 | 2018-08-24 | 吉林大学 | 一种基于眼动跟踪的行车环境感知装置 |
Non-Patent Citations (2)
Title |
---|
A fisheye image barrel distortion correction method of the straight slope constraint;Xueguang Dong;《2015 8th International Congress on Image and Signal Processing (CISP)》;第173-177页 * |
基于鱼眼镜头的全方位图像的校正和增强;孙美莲;《中国优秀硕士学位论文全文数据库 信息科技辑》(第10期);第I138-2370页 * |
Also Published As
Publication number | Publication date |
---|---|
CN109859263A (zh) | 2019-06-07 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN110211043B (zh) | 一种用于全景图像拼接的基于网格优化的配准方法 | |
CN111080709B (zh) | 基于轨迹特征配准的多光谱立体相机自标定算法 | |
CN107844750A (zh) | 一种水面全景图像目标检测识别方法 | |
CN111899164B (zh) | 一种针对多焦段场景的图像拼接方法 | |
CN111260539B (zh) | 鱼眼图目标识别方法及其系统 | |
CN107995424A (zh) | 基于深度图的光场全聚焦图像生成方法 | |
CN105488777A (zh) | 一种基于移动前景下全景图实时生成系统及其方法 | |
CN112947526B (zh) | 一种无人机自主降落方法和系统 | |
CN109859263B (zh) | 一种基于鱼眼镜头的宽视角定位方法 | |
CN112348752B (zh) | 一种基于平行约束的车道线消失点补偿方法及装置 | |
CN111243034A (zh) | 一种全景辅助泊车标定方法、装置、设备及存储介质 | |
CN117036300A (zh) | 基于点云-rgb异源图像多级配准映射的路面裂缝识别方法 | |
CN112750194A (zh) | 一种无人驾驶汽车避障方法、装置 | |
CN107845145A (zh) | 一种电子显微场景下的三维重构系统及方法 | |
CN111553845A (zh) | 一种基于优化的三维重建的快速图像拼接方法 | |
CN107492080A (zh) | 免定标便捷的单目镜头图像径向畸变矫正方法 | |
CN113793266A (zh) | 一种多目机器视觉图像拼接方法、系统及存储介质 | |
CN115456870A (zh) | 基于外参估计的多图像拼接方法 | |
CN108109118B (zh) | 一种无控制点的航拍图像几何校正方法 | |
CN111047636A (zh) | 基于主动红外双目视觉的避障系统和避障方法 | |
CN113936047A (zh) | 稠密深度图生成方法及系统 | |
CN117522803A (zh) | 基于双目视觉和目标检测的桥梁部件精确定位方法 | |
CN111031258B (zh) | 月球车导航相机曝光参数确定方法及装置 | |
CN117079072A (zh) | 一种基于深度学习的图像鲁棒构建视觉里程计的方法 | |
CN107067368A (zh) | 基于影像变形的街景影像拼接方法及系统 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |