CN108053373A - 一种基于深度学习模型鱼眼图像校正方法 - Google Patents
一种基于深度学习模型鱼眼图像校正方法 Download PDFInfo
- Publication number
- CN108053373A CN108053373A CN201711269150.2A CN201711269150A CN108053373A CN 108053373 A CN108053373 A CN 108053373A CN 201711269150 A CN201711269150 A CN 201711269150A CN 108053373 A CN108053373 A CN 108053373A
- Authority
- CN
- China
- Prior art keywords
- deep learning
- eye images
- fish eye
- learning model
- distortion parameter
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000013136 deep learning model Methods 0.000 title claims abstract description 32
- 238000000034 method Methods 0.000 title claims abstract description 28
- 241000251468 Actinopterygii Species 0.000 claims abstract description 58
- 238000012937 correction Methods 0.000 claims abstract description 15
- 238000012549 training Methods 0.000 claims abstract description 12
- 230000015572 biosynthetic process Effects 0.000 claims description 7
- 238000003384 imaging method Methods 0.000 claims description 7
- 230000003287 optical effect Effects 0.000 claims description 3
- 238000013135 deep learning Methods 0.000 description 2
- 238000012545 processing Methods 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 1
- 238000013480 data collection Methods 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 238000003702 image correction Methods 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/80—Geometric correction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
Landscapes
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
Abstract
本发明公开一种基于深度学习模型的鱼眼图像校正方法，首先构建鱼眼图像仿真数据集，然后构建用于鱼眼图像校正的深度学习模型，包括鱼眼图像畸变参数估计子网络和畸变校正子网络，利用仿真数据集对深度学习模型进行训练，得到训练完成的深度学习模型，对于待处理的鱼眼图像，直接将鱼眼图像输入训练完成的深度学习模型，快速得到校正后的无畸变图像。本发明的方法无需单独估计某种鱼眼图像的畸变参数，可以快速进行端到端鱼眼图像校正。
Description
技术领域
本发明涉及图像处理技术，具体指一种基于深度学习模型鱼眼图像校正方法。
背景技术
鱼眼镜头作为一种超广角镜头，其视角可以达到或超过180°，即可拍摄的范围非常大，因此在视频监控、虚拟现实、三维建模、视觉导航领域有广泛的应用。
具体地，鱼眼镜头将半球形物面成像为平面，因此所拍摄的图像严重畸变，使得人的视觉上感受不自然，因此需要将鱼眼镜头所拍摄的畸变图像校正为人的视觉可以接受的透视投影图像。现有技术中进行鱼眼图像校正的方法中，包括鱼眼成像面投影模型、二维图像畸变校正、三维图像畸变校正三类。其中较为常见的三维图像畸变校正方法，是基于球面坐标定位法实现的。
但是，采用现有技术的校正方法，基于球面坐标需要采用多项式坐标变换和极半径映射，对于每种类型的鱼眼图像，都需要首先人工提取出鱼眼图像的畸变特征来计算相应的畸变参数，然后再进行鱼眼图像的畸变校正，计算复杂且精度低，导致鱼眼图像校正的效率和准确率不高。
发明内容
本发明为克服上述情况不足，旨在提供一种利用深度学习模型自动学习不同鱼眼图像畸变特征，并自动估计相应鱼眼图像畸变参数，从而进行端到端鱼眼图像畸变校正的方法，用于解决现有技术中针对每种类型鱼眼图像都需要首先人工提取出鱼眼图像的畸变特征来计算畸变参数，再进行鱼眼图像畸变校正，从而导致鱼眼图像校正效率和准确率不高的问题。
一种基于深度学习模型鱼眼图像校正方法，其特征在于，包括以下步骤：
步骤一：构建鱼眼图像仿真数据集。
所述构建鱼眼图像仿真数据集的具体方法是：将无畸变图像通过鱼眼镜头成像模型公式计算得到仿真鱼眼图像，其中鱼眼镜头成像模型公式为：
θd＝k0θ+k1θ3+k2θ5+k3θ7+k4θ9 (1)
其中，θ表示针孔相机成像过程中入射光线与光轴的夹角，θd表示鱼眼成像点与鱼眼图像平面坐标系的原点之间的距离，k0、k1、k2、k3和k4表示鱼眼图像的畸变参数。
所述仿真数据集中的图像数量大于20000张。
步骤二：构建用于鱼眼图像校正的深度学习模型，包括鱼眼图像畸变参数估计子网络和畸变校正子网络。
所述深度学习模型的输入为鱼眼图像，鱼眼图像畸变参数估计子网络共13层，包括10个卷积层和3个全连接层，鱼眼图像畸变参数估计子网络根据输入的鱼眼图像估计出相应的畸变参数，畸变校正子网络包括1层，根据所估计的畸变参数得到校正后的无畸变图像。
步骤三：利用仿真数据集对深度学习模型进行训练，得到训练完成的深度学习模型。
训练所述深度学习模型使用Caffe框架。
步骤四：对于待处理的鱼眼图像，直接将鱼眼图像输入训练完成的深度学习模型，快速得到校正后的无畸变图像。
本发明有益效果：与现有技术中的鱼眼校正方法相比，本发明的方法通过大量数据集训练学习鱼眼图像的畸变特征，建立鱼眼图像畸变参数估计模型，利用训练好的深度学习模型处理新的未知鱼眼图像，可直接得到畸变校正后的鱼眼图像，省略了现有方法中估计鱼眼图像畸变参数的过程，使鱼眼图像校正过程更加简单快速，而且所训练的深度学习模型适用于具有不同畸变参数的鱼眼图像校正。
附图说明
图1是本发明方法的流程图；
图2是鱼眼图像仿真数据集示意图；
其中，(a)表示无畸变图像，(b)表示根据鱼眼镜头成像模型公式生成的仿真鱼眼图像。
图3是用于鱼眼图像校正的深度学习模型；
图4是待处理的鱼眼图像；
图5是校正之后的鱼眼图像；
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
如图1所示，本实施例提供的一种基于深度学习模型鱼眼图像校正方法，包括如下步骤：
步骤一：构建鱼眼图像仿真数据集。将无畸变图像通过鱼眼镜头成像模型公式计算得到仿真鱼眼图像，其中鱼眼镜头成像模型公式为：
θd＝k0θ+k1θ3+k2θ5+k3θ7+k4θ9 (1)
其中，θ表示针孔相机成像过程中入射光线与光轴的夹角，θd表示鱼眼成像点与鱼眼图像平面坐标系的原点之间的距离，k0、k1、k2、k3和k4表示鱼眼图像的畸变参数。
在具体实施过程中，采用10000张无畸变图像，图像大小为256×256，利用公式(1)表示的鱼眼镜头成像模型公式生成对应的仿真鱼眼图像，其中鱼眼图像的畸变参数k0、k1、k2、k3和k4的变化范围是0.8-1.2，适当调整畸变参数，最终得到包含30000张鱼眼图像的仿真数据集。
步骤二：构建用于鱼眼图像校正的深度学习模型，包括鱼眼图像畸变参数估计子网络和畸变校正子网络。该深度学习模型如图3所示，输入是大小为256×256的鱼眼图像，鱼眼图像畸变参数估计子网络共13层，包括10个卷积层和3个全连接层，其中卷积层的特征图数量依次为32、32、64、64、128、128、256、256、512和512，卷积核尺寸为3×3，全连接层的输出维数分别为1024、1024和5。鱼眼图像畸变参数估计子网络根据输入的鱼眼图像估计出相应的畸变参数k0、k1、k2、k3和k4，畸变校正子网络包括1层，根据所估计的畸变参数，对输入鱼眼图像进行变换，得到校正后的无畸变图像，输出的无畸变图像大小同样为256×256。
步骤三：利用仿真数据集对深度学习模型进行训练，得到训练完成的深度学习模型。利用安装在Ubuntu系统上的Caffe环境训练该深度学习模型，采用ADAGRAD优化算法进行训练，初始学习率为0.01，训练次数为600000次，其中，在训练次数为300000、400000和500000时，学习率分别除以10，降低学习率。
步骤四：对于待处理的鱼眼图像，如图4，直接将鱼眼图像输入训练完成的深度学习模型，快速得到校正后的无畸变图像，如图5所示。
以上所揭露的仅为本发明一种较佳实施例而已，当然不能以此来限定本发明之权利范围，因此依本发明权利要求所作的等同变化，仍属本发明所涵盖的范围。
Claims (5)
1.一种基于深度学习模型的鱼眼图像校正方法，其特征在于，包括以下步骤：
步骤一：构建鱼眼图像仿真数据集；
步骤二：构建用于鱼眼图像校正的深度学习模型，包括鱼眼图像畸变参数估计子网络和畸变校正子网络；
步骤三：利用仿真数据集对深度学习模型进行训练，得到训练完成的深度学习模型；
步骤四：对于待处理的鱼眼图像，直接将鱼眼图像输入训练完成的深度学习模型，快速得到校正后的无畸变图像。
2.根据权利要求1所述的基于深度学习模型的鱼眼图像校正方法，其特征在于：所述步骤一中构建鱼眼图像仿真数据集的具体方法是：将无畸变图像通过鱼眼镜头成像模型公式计算得到仿真鱼眼图像，其中鱼眼镜头成像模型公式为：
θd＝k0θ+k1θ3+k2θ5+k3θ7+k4θ9 (1)
其中，θ表示针孔相机成像过程中入射光线与光轴的夹角，θd表示鱼眼成像点与鱼眼图像平面坐标系的原点之间的距离，k0、k1、k2、k3和k4表示鱼眼图像的畸变参数。
3.根据权利要求1所述的基于深度学习模型的鱼眼图像校正方法，其特征在于：所述步骤一中仿真数据集中的图像数量大于20000张。
4.根据权利要求1所述的基于深度学习模型的鱼眼图像校正方法，其特征在于：所述步骤二中深度学习模型的输入为鱼眼图像，鱼眼图像畸变参数估计子网络共13层，包括10个卷积层和3个全连接层，鱼眼图像畸变参数估计子网络根据输入的鱼眼图像估计出相应的畸变参数，畸变校正子网络包括1层，根据所估计的畸变参数得到校正后的无畸变图像。
5.根据权利要求1所述的基于深度学习模型的鱼眼图像校正方法，其特征在于：所述步骤三中训练深度学习模型使用Caffe框架。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201711269150.2A CN108053373A (zh) | 2017-12-05 | 2017-12-05 | 一种基于深度学习模型鱼眼图像校正方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201711269150.2A CN108053373A (zh) | 2017-12-05 | 2017-12-05 | 一种基于深度学习模型鱼眼图像校正方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN108053373A true CN108053373A (zh) | 2018-05-18 |
Family
ID=62122005
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201711269150.2A Pending CN108053373A (zh) | 2017-12-05 | 2017-12-05 | 一种基于深度学习模型鱼眼图像校正方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN108053373A (zh) |
Cited By (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109272014A (zh) * | 2018-08-03 | 2019-01-25 | 天津大学 | 一种基于畸变适应卷积神经网络的图像分类方法 |
| CN109859263A (zh) * | 2019-01-26 | 2019-06-07 | 中北大学 | 一种基于鱼眼镜头的宽视角定位方法 |
| CN109871841A (zh) * | 2019-02-14 | 2019-06-11 | 腾讯科技（深圳）有限公司 | 图像处理方法、装置、终端及存储介质 |
| CN109993713A (zh) * | 2019-04-04 | 2019-07-09 | 百度在线网络技术（北京）有限公司 | 车载平视显示系统图像畸变矫正方法和装置 |
| CN110349109A (zh) * | 2019-07-12 | 2019-10-18 | 创新奇智(重庆)科技有限公司 | 基于鱼眼畸变校正方法及其系统、电子设备 |
| CN110570373A (zh) * | 2019-09-04 | 2019-12-13 | 北京明略软件系统有限公司 | 畸变校正方法和装置、计算机可读的存储介质及电子装置 |
| CN112561807A (zh) * | 2020-11-26 | 2021-03-26 | 北京大学 | 一种基于卷积神经网络的端到端径向畸变校正方法 |
| CN112927304A (zh) * | 2021-02-22 | 2021-06-08 | 桂林电子科技大学 | 一种基于卷积神经网络的鱼眼镜头标定方法 |
| CN113009508A (zh) * | 2019-12-20 | 2021-06-22 | 舜宇光学（浙江）研究院有限公司 | 用于tof模组的多径干扰校正方法及其系统和电子设备 |
| CN114462622A (zh) * | 2022-02-07 | 2022-05-10 | 舵敏智能科技(苏州)有限公司 | 一种用于众包数据的深度学习模型部署与训练方法 |
| CN115063838A (zh) * | 2022-06-15 | 2022-09-16 | 北京市地铁运营有限公司 | 一种鱼眼失真图像的检测方法及系统 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104034514A (zh) * | 2014-06-12 | 2014-09-10 | 中国科学院上海技术物理研究所 | 大视场相机非线性畸变校正装置与方法 |
| CN105427241A (zh) * | 2015-12-07 | 2016-03-23 | 中国航空工业集团公司洛阳电光设备研究所 | 一种大视场显示设备的畸变校正方法 |
| US20160125572A1 (en) * | 2014-11-05 | 2016-05-05 | Korea Advanced Institute Of Science And Technology | Device and method to generate image using image learning model |
| CN106875341A (zh) * | 2015-12-11 | 2017-06-20 | 宁波舜宇光电信息有限公司 | 畸变图像校正方法及其定位方法 |
| CN107368891A (zh) * | 2017-05-27 | 2017-11-21 | 深圳市深网视界科技有限公司 | 一种深度学习模型的压缩方法和装置 |
-
2017
- 2017-12-05 CN CN201711269150.2A patent/CN108053373A/zh active Pending
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104034514A (zh) * | 2014-06-12 | 2014-09-10 | 中国科学院上海技术物理研究所 | 大视场相机非线性畸变校正装置与方法 |
| US20160125572A1 (en) * | 2014-11-05 | 2016-05-05 | Korea Advanced Institute Of Science And Technology | Device and method to generate image using image learning model |
| CN105427241A (zh) * | 2015-12-07 | 2016-03-23 | 中国航空工业集团公司洛阳电光设备研究所 | 一种大视场显示设备的畸变校正方法 |
| CN106875341A (zh) * | 2015-12-11 | 2017-06-20 | 宁波舜宇光电信息有限公司 | 畸变图像校正方法及其定位方法 |
| CN107368891A (zh) * | 2017-05-27 | 2017-11-21 | 深圳市深网视界科技有限公司 | 一种深度学习模型的压缩方法和装置 |
Cited By (20)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109272014A (zh) * | 2018-08-03 | 2019-01-25 | 天津大学 | 一种基于畸变适应卷积神经网络的图像分类方法 |
| CN109272014B (zh) * | 2018-08-03 | 2021-05-28 | 天津大学 | 一种基于畸变适应卷积神经网络的图像分类方法 |
| CN109859263A (zh) * | 2019-01-26 | 2019-06-07 | 中北大学 | 一种基于鱼眼镜头的宽视角定位方法 |
| CN109859263B (zh) * | 2019-01-26 | 2023-06-27 | 中北大学 | 一种基于鱼眼镜头的宽视角定位方法 |
| CN109871841A (zh) * | 2019-02-14 | 2019-06-11 | 腾讯科技（深圳）有限公司 | 图像处理方法、装置、终端及存储介质 |
| CN109871841B (zh) * | 2019-02-14 | 2023-04-21 | 腾讯科技（深圳）有限公司 | 图像处理方法、装置、终端及存储介质 |
| CN109993713B (zh) * | 2019-04-04 | 2021-11-05 | 阿波罗智联(北京)科技有限公司 | 车载平视显示系统图像畸变矫正方法和装置 |
| CN109993713A (zh) * | 2019-04-04 | 2019-07-09 | 百度在线网络技术（北京）有限公司 | 车载平视显示系统图像畸变矫正方法和装置 |
| CN110349109A (zh) * | 2019-07-12 | 2019-10-18 | 创新奇智(重庆)科技有限公司 | 基于鱼眼畸变校正方法及其系统、电子设备 |
| CN110349109B (zh) * | 2019-07-12 | 2023-04-21 | 创新奇智(重庆)科技有限公司 | 基于鱼眼畸变校正方法及其系统、电子设备 |
| CN110570373A (zh) * | 2019-09-04 | 2019-12-13 | 北京明略软件系统有限公司 | 畸变校正方法和装置、计算机可读的存储介质及电子装置 |
| CN113009508A (zh) * | 2019-12-20 | 2021-06-22 | 舜宇光学（浙江）研究院有限公司 | 用于tof模组的多径干扰校正方法及其系统和电子设备 |
| CN113009508B (zh) * | 2019-12-20 | 2023-11-07 | 舜宇光学（浙江）研究院有限公司 | 用于tof模组的多径干扰校正方法及其系统和电子设备 |
| CN112561807B (zh) * | 2020-11-26 | 2022-08-26 | 北京大学 | 一种基于卷积神经网络的端到端径向畸变校正方法 |
| CN112561807A (zh) * | 2020-11-26 | 2021-03-26 | 北京大学 | 一种基于卷积神经网络的端到端径向畸变校正方法 |
| CN112927304B (zh) * | 2021-02-22 | 2022-08-19 | 桂林电子科技大学 | 一种基于卷积神经网络的鱼眼镜头标定方法 |
| CN112927304A (zh) * | 2021-02-22 | 2021-06-08 | 桂林电子科技大学 | 一种基于卷积神经网络的鱼眼镜头标定方法 |
| CN114462622A (zh) * | 2022-02-07 | 2022-05-10 | 舵敏智能科技(苏州)有限公司 | 一种用于众包数据的深度学习模型部署与训练方法 |
| CN114462622B (zh) * | 2022-02-07 | 2023-04-07 | 舵敏智能科技(苏州)有限公司 | 一种用于众包数据的深度学习模型部署与训练方法 |
| CN115063838A (zh) * | 2022-06-15 | 2022-09-16 | 北京市地铁运营有限公司 | 一种鱼眼失真图像的检测方法及系统 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN108053373A (zh) | 一种基于深度学习模型鱼眼图像校正方法 | |
| CN108257183B (zh) | 一种相机镜头光轴校准方法和装置 | |
| CN107705333B (zh) | 基于双目相机的空间定位方法及装置 | |
| CN106875451B (zh) | 相机标定方法、装置及电子设备 | |
| CN109003311B (zh) | 一种鱼眼镜头的标定方法 | |
| CN105243637B (zh) | 一种基于三维激光点云进行全景影像拼接方法 | |
| CN109272570A (zh) | 一种基于立体视觉数学模型的空间点三维坐标求解方法 | |
| CN110599540A (zh) | 多视点相机下的实时三维人体体型与姿态重建方法及装置 | |
| US20200334842A1 (en) | Methods, devices and computer program products for global bundle adjustment of 3d images | |
| WO2019041351A1 (zh) | 一种3d vr视频与虚拟三维场景实时混叠渲染的方法 | |
| CN110874864A (zh) | 获取对象三维模型的方法、装置、电子设备及系统 | |
| CN106651808B (zh) | 一种鱼眼图转换方法及装置 | |
| CN104599317B (zh) | 一种实现3d扫描建模功能的移动终端及方法 | |
| CN103337094A (zh) | 一种应用双目摄像机实现运动三维重建的方法 | |
| CN202075794U (zh) | 一种无人机航摄立体成像处理设备 | |
| CN105488766B (zh) | 鱼眼镜头图像校正方法及装置 | |
| CN102609941A (zh) | 基于ToF深度相机的三维注册方法 | |
| CN113362247A (zh) | 一种激光融合多目相机的语义实景三维重建方法及系统 | |
| CN103247024A (zh) | 一种基于同心圆算法的180度鱼眼图像展开方法和装置 | |
| CN103247020A (zh) | 一种基于径向特征的鱼眼图像展开方法 | |
| CN109788270B (zh) | 3d-360度全景图像生成方法及装置 | |
| CN106952247A (zh) | 一种双摄像头终端及其图像处理方法和系统 | |
| CN115880344A (zh) | 一种双目立体匹配数据集视差真值获取方法 | |
| CN111476884A (zh) | 基于单帧rgbd图像的实时三维人体重建方法及系统 | |
| CN108053376A (zh) | 一种语义分割信息指导深度学习鱼眼图像校正方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| WD01 | Invention patent application deemed withdrawn after publication | ||
| WD01 | Invention patent application deemed withdrawn after publication |
Application publication date: 20180518 |