CN107730469A - 一种基于卷积神经网络cnn的三片简单透镜图像复原方法 - Google Patents

一种基于卷积神经网络cnn的三片简单透镜图像复原方法 Download PDF

Info

Publication number
CN107730469A
CN107730469A CN201710997396.5A CN201710997396A CN107730469A CN 107730469 A CN107730469 A CN 107730469A CN 201710997396 A CN201710997396 A CN 201710997396A CN 107730469 A CN107730469 A CN 107730469A
Authority
CN
China
Prior art keywords
unzoned lens
neural networks
convolutional neural
picture
unzoned
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201710997396.5A
Other languages
English (en)
Inventor
张智福
余思洋
陈捷
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Changsha Full Image Technology Co Ltd
Original Assignee
Changsha Full Image Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Changsha Full Image Technology Co Ltd filed Critical Changsha Full Image Technology Co Ltd
Priority to CN201710997396.5A priority Critical patent/CN107730469A/zh
Publication of CN107730469A publication Critical patent/CN107730469A/zh
Pending legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/73Deblurring; Sharpening
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/08Learning methods
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10004Still image; Photographic image
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20081Training; Learning
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20084Artificial neural networks [ANN]

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Biomedical Technology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

本发明公开一种基于卷积神经网络CNN的三片简单透镜图像复原方法。首先生成三片简单透镜对应的模糊图像与清晰图像数据集,然后构建用于端到端图像复原的卷积神经网络CNN模型,并利用生成的数据集训练CNN模型,对于新拍摄的模糊图像,可利用已训练好的CNN模型直接得到复原清晰图像。本发明可避免现有方法中盲卷积和非盲卷积图像复原的大量优化迭代过程,也无需单独估计简单透镜的PSF,使三片简单透镜的图像复原过程更加简单方便,而且图像处理速度快,在简单透镜计算成像领域具有重要意义。

Description

一种基于卷积神经网络CNN的三片简单透镜图像复原方法
技术领域
本发明涉及一种图像复原领域,具体指一种基于卷积神经网络CNN的三片简单透镜图像复原方法。
背景技术
近年来,简单透镜计算成像逐渐成为图像复原领域一个新的研究方向。简单透镜计算成像旨在利用前端尽可能简单的光学镜头结构结合后期图像计算方法,得到与单反相机等高端相机近似的成像质量。简单透镜计算成像能极大地降低镜头的光学设计成本,在图像复原和光学设计领域都具有重要的研究价值。
简单透镜的镜头通常只包含一片、两片或者三片镜片,前端光学结构简单,所以成像过程中镜片自身的像差和色差会导致图像模糊。目前简单透镜计算成像的主要方法是由盲卷积图像复原直接得到清晰图像,或者首先估计出简单透镜的模糊核,即点扩散函数PSF(Point Spread Function),然后再利用非盲卷积图像复原方法得到清晰图像。专利ZL.201510223789.1公开了一种基于图像颜色平缓变化先验的单透镜计算成像方法,首先用盲卷积图像复原方法结合图像颜色平缓变换先验估计出单透镜的PSF,然后利用非盲卷积图像复原方法得到最终的清晰图像。现有方法的主要缺点在于:(1)无论是盲卷积还是非盲卷积图像复原方法都需要大量迭代优化过程,图像处理计算时间长;(2)为提高图像复原精度,一般先要估计出单透镜的PSF,再单独进行图像复原处理,整个图像处理过程比较复杂;(3)即使已经估计出PSF,每张模糊图像仍需要进行非盲卷积算法处理,不利于简单透镜计算成像在实际中处理大量图像。
三片简单透镜相对于只包含一片或者两片镜片的简单透镜,其成像精度较好,而且整幅图像中图像模糊程度的空间变化性不大,目前三片简单透镜更有实际应用价值,但是也存在上述简单透镜计算成像的缺点,因此,为了使三片简单透镜更好地在实际中应用,设计快速方便的针对三镜片简单透镜的计算成像方法,是简单透镜计算成像急需解决的问题。
发明内容
本发明为克服上述情况不足,旨在提供一种基于卷积神经网络CNN的三片简单透镜图像复原方法,避免传统简单透镜计算成像方法中复杂的迭代优化过程,而且无需单独进行PSF估计,实现端到端的三镜片简单透镜快速图像复原。
一种基于卷积神经网络CNN的三片简单透镜图像复原方法,其特征在于,包括以下步骤:
步骤一:生成三片简单透镜对应的模糊图像与清晰图像数据集。
所述步骤一中生成三片简单透镜对应的模糊图像与清晰图像数据集的具体方法包括如下步骤:
步骤1.1:将棋盘格图像在电脑屏幕上全屏显示,用三片简单透镜拍摄电脑屏幕,得到拍摄的棋盘格图像;
步骤1.2:将一张清晰图像在电脑屏幕上全屏显示,用三片简单透镜拍摄电脑屏幕,得到拍摄的模糊图像;
步骤1.3:基于步骤1.1拍摄的棋盘格图像,采用角点检测方法,得到精准匹配的三镜片简单透镜的清晰图像与模糊图像对;
步骤1.4:准备N张清晰图像,依次重复上述步骤1.2和步骤1.3,最终得到三片简单透镜对应的模糊图像与清晰图像数据集。
步骤二:构建用于端到端图像复原的卷积神经网络CNN模型。
所述步骤二中的卷积神经网络CNN模型的具体结构包括七层,分别是输入层、卷积层、子采样层、卷积层、子采样层、全连接层和输出层,不同层之间依靠关系权重矩阵连接,分别是W1、W2、W3、W4、W5、W6,输入是数据集中的模糊图像,输出是数据集中与该模糊图像对应的清晰图像。
步骤三:利用所生成的数据集对卷积神经网络CNN模型进行训练,得到训练好的CNN模型;
所述步骤三中卷积神经网络CNN模型的训练可选用Python或Caffe等常见框架。
训练卷积神经网络CNN模型即确定模型中不同层之间的关系权重矩阵。
步骤四:对于三片简单透镜新拍摄的模糊图像,直接将模糊图像输入已训练好的CNN模型,即可快速得到复原后的清晰图像。
一旦CNN模型训练完毕,利用该CNN模型处理新模糊图像的速度非常快,一张1080P的图像处理速度不到1s。
步骤一至步骤三是预处理过程,得到训练好的CNN模型之后,可将其应用到后续三镜片简单透镜拍摄的所有同类型模糊图像处理中。
本发明有益效果:1)利用训练好的CNN模型进行端到端图像复原,避免现有方法中盲卷积和非盲卷积图像复原的大量优化迭代过程,也无需单独估计简单透镜的PSF,图像复原过程简单方便;2)虽然预处理过程耗时长,但是一旦训练好模型,后续的图像处理速度非常快,一张1080P的图像处理速度不到1s,相比现有方法的处理速度是极大的提升。
附图说明
图1是本发明方法的流程图;
图2是拍摄的棋盘格图像;
图3是预处理过程中拍摄的模糊图像;
图4是精准匹配的清晰图像与模糊图像对;
其中(a)表示清晰图像,(b)表示模糊图像。
图5是卷积神经网络CNN模型的框架示意图;
图6是三镜片简单透镜新拍摄的模糊图像;
图7是卷积神经网络CNN模型的端到端图像复原结果;
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
如图1所示,本实施例提供的一种基于卷积神经网络CNN的三片简单透镜图像复原方法,包括如下步骤:
步骤一:生成三片简单透镜对应的模糊图像与清晰图像数据集。具体方法包括如下步骤:
步骤1.1:将棋盘格图像在电脑屏幕上全屏显示,用三片简单透镜拍摄电脑屏幕,得到拍摄的棋盘格图像,如图2所示;
步骤1.2:将一张清晰图像在电脑屏幕上全屏显示,用三片简单透镜拍摄电脑屏幕,得到拍摄的模糊图像,如图3所示;
步骤1.3:基于步骤1.1拍摄的棋盘格图像,采用角点检测方法,得到精准匹配的三镜片简单透镜的清晰图像与模糊图像对,如图4所示;
步骤1.4:准备N张清晰图像,依次重复上述步骤1.2和步骤1.3,最终得到三片简单透镜对应的模糊图像与清晰图像数据集。在具体实施过程中,N=10000。
步骤二:构建用于端到端图像复原的卷积神经网络CNN模型。其中卷积神经网络CNN模型的具体结构包括七层,如图5所示,分别是输入层、卷积层、子采样层、卷积层、子采样层、全连接层和输出层,不同层之间依靠关系权重矩阵连接,分别是W1、W2、W3、W4、W5、W6,输入是数据集中的模糊图像,输出是数据集中与该模糊图像对应的清晰图像。
步骤三:利用所生成的数据集对卷积神经网络CNN模型进行训练,得到训练好的CNN模型,即确定模型中不同层之间的关系权重矩阵。在具体实施过程中,选用Caffe深度学习框架按照现有深度学习方法进行训练。
步骤四:对于三片简单透镜新拍摄的模糊图像,如图6所示,直接将模糊图像输入已训练好的CNN模型,即可快速得到复原后的清晰图像,如图7所示,在具体实施过程中,处理一张1080P的图像所需的时间是0.5s。
以上所揭露的仅为本发明一种较佳实施例而已,当然不能以此来限定本发明之权利范围,因此依本发明权利要求所作的等同变化,仍属本发明所涵盖的范围。

Claims (4)

1.一种基于卷积神经网络CNN的三片简单透镜图像复原方法,其特征在于,包括以下步骤:
步骤一:生成三片简单透镜对应的模糊图像与清晰图像数据集;
步骤二:构建用于端到端图像复原的卷积神经网络CNN模型;
步骤三:利用所生成的数据集对卷积神经网络CNN模型进行训练,得到训练好的CNN模型;
步骤四:对于三片简单透镜新拍摄的模糊图像,直接将模糊图像输入已训练好的CNN模型,即可快速得到复原后的清晰图像。
2.根据权利要求1所述的基于卷积神经网络CNN的三片简单透镜图像复原方法,其特征在于:所述步骤一中生成三片简单透镜对应的模糊图像与清晰图像数据集的具体方法包括如下步骤:
步骤1.1:将棋盘格图像在电脑屏幕上全屏显示,用三片简单透镜拍摄电脑屏幕,得到拍摄的棋盘格图像;
步骤1.2:将一张清晰图像在电脑屏幕上全屏显示,用三片简单透镜拍摄电脑屏幕,得到拍摄的模糊图像;
步骤1.3:基于步骤1.1拍摄的棋盘格图像,采用角点检测方法,得到精准匹配的三镜片简单透镜的清晰图像与模糊图像对;
步骤1.4:准备N张清晰图像,依次重复上述步骤1.2和步骤1.3,最终得到三片简单透镜对应的模糊图像与清晰图像数据集。
3.根据权利要求1所述的基于卷积神经网络CNN的三片简单透镜图像复原方法,其特征在于:所述步骤二中的卷积神经网络CNN模型的具体结构包括七层,分别是输入层、卷积层、子采样层、卷积层、子采样层、全连接层和输出层,不同层之间依靠关系权重矩阵连接,分别是W1、W2、W3、W4、W5、W6,输入是数据集中的模糊图像,输出是数据集中与该模糊图像对应的清晰图像。
4.根据权利要求1所述的基于卷积神经网络CNN的三片简单透镜图像复原方法,其特征在于:所述步骤三中卷积神经网络CNN模型的训练可选用Python或Caffe等常见框架。
CN201710997396.5A 2017-10-17 2017-10-17 一种基于卷积神经网络cnn的三片简单透镜图像复原方法 Pending CN107730469A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201710997396.5A CN107730469A (zh) 2017-10-17 2017-10-17 一种基于卷积神经网络cnn的三片简单透镜图像复原方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710997396.5A CN107730469A (zh) 2017-10-17 2017-10-17 一种基于卷积神经网络cnn的三片简单透镜图像复原方法

Publications (1)

Publication Number Publication Date
CN107730469A true CN107730469A (zh) 2018-02-23

Family

ID=61213386

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710997396.5A Pending CN107730469A (zh) 2017-10-17 2017-10-17 一种基于卷积神经网络cnn的三片简单透镜图像复原方法

Country Status (1)

Country Link
CN (1) CN107730469A (zh)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108550125A (zh) * 2018-04-17 2018-09-18 南京大学 一种基于深度学习的光学畸变修正方法
CN108846814A (zh) * 2018-06-11 2018-11-20 广州视源电子科技股份有限公司 图像处理方法、装置、可读存储介质及计算机设备
CN109523482A (zh) * 2018-11-14 2019-03-26 太原理工大学 一种基于深度神经网络的对含纹理退化图像的复原方法
CN110349237A (zh) * 2019-07-18 2019-10-18 华中科技大学 基于卷积神经网络的快速体成像方法
CN110443882A (zh) * 2019-07-05 2019-11-12 清华大学 基于深度学习算法的光场显微三维重建方法及装置
CN110796584A (zh) * 2019-10-28 2020-02-14 国网内蒙古东部电力有限公司电力科学研究院 运动模糊图像建模方法、装置、存储介质及巡检机器人
US20220051373A1 (en) * 2018-12-18 2022-02-17 Leica Microsystems Cms Gmbh Optical correction via machine learning

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104504389A (zh) * 2014-12-18 2015-04-08 南京信息工程大学 一种基于卷积神经网络的卫星云量计算方法
CN106910175A (zh) * 2017-02-28 2017-06-30 武汉大学 一种基于深度学习的单幅图像去雾算法
CN107146242A (zh) * 2017-03-22 2017-09-08 四川精目科技有限公司 一种用于成像系统模糊核估计的高精度图像配准方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104504389A (zh) * 2014-12-18 2015-04-08 南京信息工程大学 一种基于卷积神经网络的卫星云量计算方法
CN106910175A (zh) * 2017-02-28 2017-06-30 武汉大学 一种基于深度学习的单幅图像去雾算法
CN107146242A (zh) * 2017-03-22 2017-09-08 四川精目科技有限公司 一种用于成像系统模糊核估计的高精度图像配准方法

Cited By (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108550125A (zh) * 2018-04-17 2018-09-18 南京大学 一种基于深度学习的光学畸变修正方法
CN108550125B (zh) * 2018-04-17 2021-07-30 南京大学 一种基于深度学习的光学畸变修正方法
CN108846814A (zh) * 2018-06-11 2018-11-20 广州视源电子科技股份有限公司 图像处理方法、装置、可读存储介质及计算机设备
CN108846814B (zh) * 2018-06-11 2021-07-06 广州视源电子科技股份有限公司 图像处理方法、装置、可读存储介质及计算机设备
CN109523482B (zh) * 2018-11-14 2021-04-30 太原理工大学 一种基于深度神经网络的对含纹理退化图像的复原方法
CN109523482A (zh) * 2018-11-14 2019-03-26 太原理工大学 一种基于深度神经网络的对含纹理退化图像的复原方法
US20220051373A1 (en) * 2018-12-18 2022-02-17 Leica Microsystems Cms Gmbh Optical correction via machine learning
US11972542B2 (en) * 2018-12-18 2024-04-30 Leica Microsystems Cms Gmbh Optical correction via machine learning
CN110443882A (zh) * 2019-07-05 2019-11-12 清华大学 基于深度学习算法的光场显微三维重建方法及装置
CN110443882B (zh) * 2019-07-05 2021-06-11 清华大学 基于深度学习算法的光场显微三维重建方法及装置
CN110349237B (zh) * 2019-07-18 2021-06-18 华中科技大学 基于卷积神经网络的快速体成像方法
CN110349237A (zh) * 2019-07-18 2019-10-18 华中科技大学 基于卷积神经网络的快速体成像方法
CN110796584A (zh) * 2019-10-28 2020-02-14 国网内蒙古东部电力有限公司电力科学研究院 运动模糊图像建模方法、装置、存储介质及巡检机器人

Similar Documents

Publication Publication Date Title
CN107730469A (zh) 一种基于卷积神经网络cnn的三片简单透镜图像复原方法
CN110097519B (zh) 基于深度学习的双监督图像去雾方法、系统、介质和设备
CN107833186A (zh) 一种基于Encoder‑Decoder深度学习模型的单透镜空间变化图像复原方法
CN111047510A (zh) 一种基于标定的大视场角图像实时拼接方法
CN107680053A (zh) 一种基于深度学习分类的模糊核优化迭代初始值估计方法
CN109754377A (zh) 一种多曝光图像融合方法
CN110503688A (zh) 一种用于深度相机的位姿估计方法
CN104252700A (zh) 一种红外图像的直方图均衡化方法
CN107833193A (zh) 一种基于refinement‑network深度学习模型的单透镜全局图像复原方法
CN108053373A (zh) 一种基于深度学习模型鱼眼图像校正方法
CN107274378A (zh) 一种融合记忆cnn的图像模糊类型识别及参数整定方法
CN105719250A (zh) 基于简单背景的图像修复方法、系统及拍摄终端
US20220083808A1 (en) Method and apparatus for processing images, device and storage medium
CN111598817B (zh) 一种深度图像的缺失像素的填充方法及系统
CN115797808A (zh) 一种无人机巡检缺陷图像的识别方法、系统、装置及介质
CN106056532B (zh) 一种去除背景图像的方法和装置
CN110557572A (zh) 一种图像处理方法、装置及卷积神经网络系统
CN111062900B (zh) 一种基于置信度融合的双目视差图增强方法
CN111292234B (zh) 一种全景图像生成方法及装置
CN108921852B (zh) 基于视差与平面拟合的双分支室外非结构化地形分割网络
Zhang et al. Single image dehazing via reinforcement learning
CN112435177B (zh) 基于sru与残差网络的递归红外图像非均匀校正方法
CN110868623A (zh) 视觉焦点区域的弹幕隐藏方法及处理装置
CN112488915B (zh) 基于超像素关系分析的深度重建方法和装置
CN109509262B (zh) 基于人工智能的智能增强建模方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20180223

WD01 Invention patent application deemed withdrawn after publication