CN108053376A - 一种语义分割信息指导深度学习鱼眼图像校正方法 - Google Patents
一种语义分割信息指导深度学习鱼眼图像校正方法 Download PDFInfo
- Publication number
- CN108053376A CN108053376A CN201711296775.8A CN201711296775A CN108053376A CN 108053376 A CN108053376 A CN 108053376A CN 201711296775 A CN201711296775 A CN 201711296775A CN 108053376 A CN108053376 A CN 108053376A
- Authority
- CN
- China
- Prior art keywords
- fish eye
- eye images
- deep learning
- semantic segmentation
- network
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 230000011218 segmentation Effects 0.000 title claims abstract description 35
- 238000000034 method Methods 0.000 title claims abstract description 34
- 238000013135 deep learning Methods 0.000 title claims abstract description 14
- 241000251468 Actinopterygii Species 0.000 claims abstract description 63
- 238000013136 deep learning model Methods 0.000 claims abstract description 22
- 238000012937 correction Methods 0.000 claims abstract description 17
- 238000012549 training Methods 0.000 claims abstract description 11
- 230000015572 biosynthetic process Effects 0.000 claims description 7
- 238000003384 imaging method Methods 0.000 claims description 7
- 238000003475 lamination Methods 0.000 claims description 5
- 230000003287 optical effect Effects 0.000 claims description 3
- 230000000694 effects Effects 0.000 description 3
- 238000004364 calculation method Methods 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 238000003702 image correction Methods 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 238000002360 preparation method Methods 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/80—Geometric correction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/04—Context-preserving transformations, e.g. by using an importance map
- G06T3/047—Fisheye or wide-angle transformations
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- Biomedical Technology (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Life Sciences & Earth Sciences (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Health & Medical Sciences (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
Abstract
本发明公开一种语义分割信息指导的深度学习鱼眼图像校正方法，首先构建鱼眼图像仿真数据集，然后构建用于鱼眼图像校正的深度学习模型，包括语义分割子网络、鱼眼图像畸变参数估计子网络和畸变校正子网络，利用仿真数据集对深度学习模型进行训练，得到训练完成的深度学习模型，对于待处理的鱼眼图像，直接将鱼眼图像输入训练完成的深度学习模型，快速得到校正后的无畸变图像。本发明的方法通过提取鱼眼图像的语义分割信息对后续鱼眼图像畸变参数估计过程进行约束，进一步提高鱼眼图像畸变参数的估计精度和鱼眼图像校正精度。
Description
技术领域
本发明涉及图像处理技术，具体指一种语义分割信息指导的深度学习鱼眼图像校正方法。
背景技术
鱼眼镜头作为一种超广角镜头，其视角可以达到或超过180°，即可拍摄的范围非常大，因此在视频监控、虚拟现实、三维建模、视觉导航领域有广泛的应用。
具体地，鱼眼镜头将半球形物面成像为平面，因此所拍摄的图像严重畸变，使得人的视觉上感受不自然，因此需要将鱼眼镜头所拍摄的畸变图像校正为人的视觉可以接受的透视投影图像。现有技术中进行鱼眼图像校正的方法中，包括鱼眼成像面投影模型、二维图像畸变校正、三维图像畸变校正三类。其中较为常见的三维图像畸变校正方法，是基于球面坐标定位法实现的。除了这类需要人工提取鱼眼图像畸变特征来计算相应畸变参数的方法外，最近还出现了利用深度学习模型自动学习鱼眼图像畸变特征，并进行端到端鱼眼图像校正的方法。
但是，现有的鱼眼图像畸变校正方法没有充分考虑图像的语义分割信息，因此在畸变参数的估计过程中缺乏约束，从而影响畸变参数估计精度和畸变校正效果。
发明内容
本发明为克服上述情况不足，旨在提供一种充分利用语义分割信息进行深度学习端到端鱼眼图像校正的方法，用于解决现有技术中鱼眼图像畸变参数估计过程中缺乏约束，从而影响畸变参数估计精度和畸变校正效果的问题。
一种语义分割信息指导的深度学习鱼眼图像校正方法，其特征在于，包括以下步骤：
步骤一：构建鱼眼图像仿真数据集。
所述构建鱼眼图像仿真数据集的具体方法是：将无畸变图像通过鱼眼镜头成像模型公式计算得到仿真鱼眼图像，其中鱼眼镜头成像模型公式为：
θd＝k0θ+k1θ3+k2θ5+k3θ7+k4θ9 (1)
其中，θ表示针孔相机成像过程中入射光线与光轴的夹角，θd表示鱼眼成像点与鱼眼图像平面坐标系的原点之间的距离，k0、k1、k2、k3和k4表示鱼眼图像的畸变参数。
所述仿真数据集中的图像数量大于20000张。
步骤二：构建用于鱼眼图像校正的深度学习模型，包括语义分割子网络、鱼眼图像畸变参数估计子网络和畸变校正子网络。
所述步骤二中深度学习模型的输入为鱼眼图像，语义分割子网络包括编码部分和解码部分，其中编码部分包括6个卷积层，解码部分包括6个反卷积层，解码部分的每个反卷积层在作反卷积时，调用编码部分对应的卷积层图像特征，上一层的输出结果作为下一层的输入，语义分割子网络获得输入鱼眼图像的语义分割信息；鱼眼图像畸变参数估计子网络共13层，包括10个卷积层和3个全连接层，鱼眼图像畸变参数估计子网络在语义分割信息的指导下，根据输入的鱼眼图像估计出相应的畸变参数；畸变校正子网络包括1层，根据所估计的畸变参数得到校正后的无畸变图像。
步骤三：利用仿真数据集对深度学习模型进行训练，得到训练完成的深度学习模型。
训练所述深度学习模型使用Caffe框架。
步骤四：对于待处理的鱼眼图像，直接将鱼眼图像输入训练完成的深度学习模型，快速得到校正后的无畸变图像。
本发明有益效果：与现有技术中的鱼眼图像畸变校正方法相比，本发明的方法在深度学习模型中增加了语义分割子网络，通过提取鱼眼图像的语义分割信息对后续鱼眼图像畸变参数估计过程进行约束，进一步提高鱼眼图像畸变参数的估计精度和鱼眼图像校正精度。
附图说明
图1是本发明方法的流程图；
图2是鱼眼图像仿真数据集示意图；
其中，(a)表示无畸变图像，(b)表示根据鱼眼镜头成像模型公式生成的仿真鱼眼图像。
图3是用于鱼眼图像校正的深度学习模型；
图4是待处理的鱼眼图像；
图5是所提取的鱼眼图像语义分割信息；
图6是校正之后的鱼眼图像；
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
如图1所示，本实施例提供的一种语义分割信息指导的深度学习鱼眼图像校正方法，包括如下步骤：
步骤一：构建鱼眼图像仿真数据集。将无畸变图像通过鱼眼镜头成像模型公式计算得到仿真鱼眼图像，其中鱼眼镜头成像模型公式为：
θd＝k0θ+k1θ3+k2θ5+k3θ7+k4θ9 (1)
其中，θ表示针孔相机成像过程中入射光线与光轴的夹角，θd表示鱼眼成像点与鱼眼图像平面坐标系的原点之间的距离，k0、k1、k2、k3和k4表示鱼眼图像的畸变参数。
在具体实施过程中，采用10000张无畸变图像，图像大小为256×256，利用公式(1)表示的鱼眼镜头成像模型公式生成对应的仿真鱼眼图像，如图2所示，其中鱼眼图像的畸变参数k0、k1、k2、k3和k4的变化范围是0.8-1.2，适当调整畸变参数，最终得到包含30000张鱼眼图像的仿真数据集。
步骤二：构建用于鱼眼图像校正的深度学习模型，包括语义分割子网络、鱼眼图像畸变参数估计子网络和畸变校正子网络。该深度学习模型如图3所示，输入是大小为256×256的鱼眼图像，语义分割子网络包括编码部分和解码部分，其中编码部分包括6个卷积层，其中特征图数量分别为64、128、128、256、256、512，卷积核尺寸为3×3，解码部分包括6个反卷积层，其中特征图数量分别为256、256、128、128、64、21，卷积核尺寸为2×2，解码部分的每个反卷积层在作反卷积时，调用编码部分对应的卷积层图像特征，上一层的输出结果作为下一层的输入，语义分割子网络获得输入鱼眼图像的语义分割信息；鱼眼图像畸变参数估计子网络共13层，包括10个卷积层和3个全连接层，其中卷积层的特征图数量依次为32、32、64、64、128、128、256、256、512和512，卷积核尺寸为3×3，全连接层的输出维数分别为1024、1024和5，鱼眼图像畸变参数估计子网络在所估计的语义分割信息指导下，根据输入的鱼眼图像估计出相应的畸变参数k0、k1、k2、k3和k4；畸变校正子网络包括1层，根据所估计的畸变参数，对输入鱼眼图像进行变换，得到校正后的无畸变图像，输出的无畸变图像大小同样为256×256。
步骤三：利用仿真数据集对深度学习模型进行训练，得到训练完成的深度学习模型。利用安装在Ubuntu系统上的Caffe环境训练该深度学习模型，采用ADAGRAD优化算法进行训练，初始学习率为0.01，训练次数为600000次，其中，在训练次数为300000、400000和500000时，学习率分别除以10，降低学习率。
步骤四：对于待处理的鱼眼图像，如图4，直接将鱼眼图像输入训练完成的深度学习模型，所提取的鱼眼图像语义分割信息如图5所示，然后快速得到校正后的无畸变图像，如图6所示。
所提取的鱼眼图像语义分割信息在后续鱼眼图像畸变参数估计过程中可增加约束，从而进一步提高鱼眼图像畸变参数的估计精度和鱼眼图像校正精度。
以上所揭露的仅为本发明一种较佳实施例而已，当然不能以此来限定本发明之权利范围，因此依本发明权利要求所作的等同变化，仍属本发明所涵盖的范围。
Claims (5)
1.一种语义分割信息指导的深度学习鱼眼图像校正方法，其特征在于，包括以下步骤：
步骤一：构建鱼眼图像仿真数据集；
步骤二：构建用于鱼眼图像校正的深度学习模型，包括语义分割子网络、鱼眼图像畸变参数估计子网络和畸变校正子网络；
步骤三：利用仿真数据集对深度学习模型进行训练，得到训练完成的深度学习模型；
步骤四：对于待处理的鱼眼图像，直接将鱼眼图像输入训练完成的深度学习模型，快速得到校正后的无畸变图像。
2.根据权利要求1所述的语义分割信息指导的深度学习鱼眼图像校正方法，其特征在于：所述步骤一中构建鱼眼图像仿真数据集的具体方法是：将无畸变图像通过鱼眼镜头成像模型公式计算得到仿真鱼眼图像，其中鱼眼镜头成像模型公式为：
θd＝k0θ+k1θ3+k2θ5+k3θ7+k4θ9 (1)
其中，θ表示针孔相机成像过程中入射光线与光轴的夹角，θd表示鱼眼成像点与鱼眼图像平面坐标系的原点之间的距离，k0、k1、k2、k3和k4表示鱼眼图像的畸变参数。
3.根据权利要求1所述的语义分割信息指导的深度学习鱼眼图像校正方法，其特征在于：所述步骤一中仿真数据集中的图像数量大于20000张。
4.根据权利要求1所述的语义分割信息指导的深度学习鱼眼图像校正方法，其特征在于：所述步骤二中深度学习模型的输入为鱼眼图像，语义分割子网络包括编码部分和解码部分，其中编码部分包括6个卷积层，解码部分包括6个反卷积层，解码部分的每个反卷积层在作反卷积时，调用编码部分对应的卷积层图像特征，上一层的输出结果作为下一层的输入，语义分割子网络获得输入鱼眼图像的语义分割信息；鱼眼图像畸变参数估计子网络共13层，包括10个卷积层和3个全连接层，鱼眼图像畸变参数估计子网络在语义分割信息的指导下，根据输入的鱼眼图像估计出相应的畸变参数；畸变校正子网络包括1层，根据所估计的畸变参数得到校正后的无畸变图像。
5.根据权利要求1所述的语义分割信息指导的深度学习鱼眼图像校正方法，其特征在于：所述步骤三中训练深度学习模型使用Caffe框架。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201711296775.8A CN108053376A (zh) | 2017-12-08 | 2017-12-08 | 一种语义分割信息指导深度学习鱼眼图像校正方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201711296775.8A CN108053376A (zh) | 2017-12-08 | 2017-12-08 | 一种语义分割信息指导深度学习鱼眼图像校正方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN108053376A true CN108053376A (zh) | 2018-05-18 |
Family
ID=62123099
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201711296775.8A Pending CN108053376A (zh) | 2017-12-08 | 2017-12-08 | 一种语义分割信息指导深度学习鱼眼图像校正方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN108053376A (zh) |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111028161A (zh) * | 2019-11-22 | 2020-04-17 | 维沃移动通信有限公司 | 图像校正方法及电子设备 |
| CN111105418A (zh) * | 2019-03-27 | 2020-05-05 | 上海洪朴信息科技有限公司 | 一种针对图像中矩形目标的高精度图像分割方法 |
| CN112927304A (zh) * | 2021-02-22 | 2021-06-08 | 桂林电子科技大学 | 一种基于卷积神经网络的鱼眼镜头标定方法 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US9165219B2 (en) * | 2013-08-30 | 2015-10-20 | National Central University | Image distortion correction method and image distortion correction device using the same |
| CN105427241A (zh) * | 2015-12-07 | 2016-03-23 | 中国航空工业集团公司洛阳电光设备研究所 | 一种大视场显示设备的畸变校正方法 |
| CN106952236A (zh) * | 2017-03-13 | 2017-07-14 | 广东顺德中山大学卡内基梅隆大学国际联合研究院 | 基于bp神经网络的鱼眼镜头拍摄图像畸变矫正方法 |
| CN107180430A (zh) * | 2017-05-16 | 2017-09-19 | 华中科技大学 | 一种适用于语义分割的深度学习网络构建方法及系统 |
| CN107316307A (zh) * | 2017-06-27 | 2017-11-03 | 北京工业大学 | 一种基于深度卷积神经网络的中医舌图像自动分割方法 |
-
2017
- 2017-12-08 CN CN201711296775.8A patent/CN108053376A/zh active Pending
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US9165219B2 (en) * | 2013-08-30 | 2015-10-20 | National Central University | Image distortion correction method and image distortion correction device using the same |
| CN105427241A (zh) * | 2015-12-07 | 2016-03-23 | 中国航空工业集团公司洛阳电光设备研究所 | 一种大视场显示设备的畸变校正方法 |
| CN106952236A (zh) * | 2017-03-13 | 2017-07-14 | 广东顺德中山大学卡内基梅隆大学国际联合研究院 | 基于bp神经网络的鱼眼镜头拍摄图像畸变矫正方法 |
| CN107180430A (zh) * | 2017-05-16 | 2017-09-19 | 华中科技大学 | 一种适用于语义分割的深度学习网络构建方法及系统 |
| CN107316307A (zh) * | 2017-06-27 | 2017-11-03 | 北京工业大学 | 一种基于深度卷积神经网络的中医舌图像自动分割方法 |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111105418A (zh) * | 2019-03-27 | 2020-05-05 | 上海洪朴信息科技有限公司 | 一种针对图像中矩形目标的高精度图像分割方法 |
| CN111028161A (zh) * | 2019-11-22 | 2020-04-17 | 维沃移动通信有限公司 | 图像校正方法及电子设备 |
| CN111028161B (zh) * | 2019-11-22 | 2024-04-05 | 维沃移动通信有限公司 | 图像校正方法及电子设备 |
| CN112927304A (zh) * | 2021-02-22 | 2021-06-08 | 桂林电子科技大学 | 一种基于卷积神经网络的鱼眼镜头标定方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN105374019B (zh) | 一种多深度图融合方法及装置 | |
| CN108053373A (zh) | 一种基于深度学习模型鱼眼图像校正方法 | |
| CN107705333B (zh) | 基于双目相机的空间定位方法及装置 | |
| CN106846336B (zh) | 提取前景图像、替换图像背景的方法及装置 | |
| US20180137611A1 (en) | Novel View Synthesis Using Deep Convolutional Neural Networks | |
| US20200334842A1 (en) | Methods, devices and computer program products for global bundle adjustment of 3d images | |
| CN106600686A (zh) | 一种基于多幅未标定图像的三维点云重建方法 | |
| CN112311965A (zh) | 虚拟拍摄方法、装置、系统及存储介质 | |
| CN111008927B (zh) | 一种人脸替换方法、存储介质及终端设备 | |
| CN107798704B (zh) | 一种用于增强现实的实时图像叠加方法及装置 | |
| US11367195B2 (en) | Image segmentation method, image segmentation apparatus, image segmentation device | |
| CN113362247A (zh) | 一种激光融合多目相机的语义实景三维重建方法及系统 | |
| CN104599317A (zh) | 一种实现3d扫描建模功能的移动终端及方法 | |
| Hervieu et al. | Stereoscopic image inpainting: distinct depth maps and images inpainting | |
| JP5068732B2 (ja) | ３次元形状生成装置 | |
| CN106373182A (zh) | 一种增强现实人脸互动娱乐方法 | |
| CN108053376A (zh) | 一种语义分割信息指导深度学习鱼眼图像校正方法 | |
| CN109218706B (zh) | 一种由单张图像生成立体视觉图像的方法 | |
| CN105488766A (zh) | 鱼眼镜头图像校正方法及装置 | |
| CN104010180A (zh) | 三维视频滤波方法和装置 | |
| CN106952247A (zh) | 一种双摄像头终端及其图像处理方法和系统 | |
| CN116310105B (zh) | 基于多视图的物体三维重建方法、装置、设备及存储介质 | |
| CN108702482A (zh) | 信息处理设备、信息处理系统、信息处理方法和程序 | |
| CN117876608B (zh) | 三维图像重建方法、装置、计算机设备及存储介质 | |
| CN108122249A (zh) | 一种基于gan网络深度学习模型的光流估计方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| WD01 | Invention patent application deemed withdrawn after publication | ||
| WD01 | Invention patent application deemed withdrawn after publication |
Application publication date: 20180518 |