CN111260557A - 一种基于深度学习的远距离目标超分辨成像方法 - Google Patents

一种基于深度学习的远距离目标超分辨成像方法 Download PDF

Info

Publication number
CN111260557A
CN111260557A CN202010069741.0A CN202010069741A CN111260557A CN 111260557 A CN111260557 A CN 111260557A CN 202010069741 A CN202010069741 A CN 202010069741A CN 111260557 A CN111260557 A CN 111260557A
Authority
CN
China
Prior art keywords
resolution
image
low
target
neural network
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202010069741.0A
Other languages
English (en)
Inventor
耿远超
王德恩
刘兰琴
胡东霞
黄晚晴
张颖
孙喜博
王文义
王芳
粟敬钦
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Laser Fusion Research Center China Academy of Engineering Physics
Original Assignee
Laser Fusion Research Center China Academy of Engineering Physics
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Laser Fusion Research Center China Academy of Engineering Physics filed Critical Laser Fusion Research Center China Academy of Engineering Physics
Priority to CN202010069741.0A priority Critical patent/CN111260557A/zh
Publication of CN111260557A publication Critical patent/CN111260557A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4053—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Software Systems (AREA)
  • General Physics & Mathematics (AREA)
  • Computing Systems (AREA)
  • Artificial Intelligence (AREA)
  • Mathematical Physics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • General Health & Medical Sciences (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Medical Informatics (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开一种基于深度学习的远距离目标超分辨成像方法，包括获取目标物和与目标物同属一类的其余物体的高分辨率图像和低分辨率图像，并利用所获取图像建立图像数据集，基于预先训练成熟的神经网络模型对所建立的图像数据集进行迁移学习，得到训练完成的神经网络模型；获取当前目标物成像得到的低分辨率图像，利用训练完成的神经网络模型处理所获取的当前目标物低分辨率图像，构建得到当前目标物高分辨率图像。本发明图像处理由深度学习得到的人工神经网络模型构成，取代了传统的图像处理算法，通过本发明方法可以实现超过成像系统光学分辨率和像素分辨率的成像，达到超分辨的效果。

Description

一种基于深度学习的远距离目标超分辨成像方法
技术领域
本发明属于超分辨成像领域，具体地说涉及一种基于深度学习的远距离目标超分辨成像方法。
背景技术
对物体的光学成像分辨率受限于成像系统的数值孔径，使得在特定的成像条件下往往无法得到物体的清晰成像。传统的超分辨成像方法采用荧光或结构光等光学方法对显微对象进行照明优化，从而获得细节信息。而对于空天目标成像、卫星遥感成像和长焦显微成像等情况，无法通过照明优化来改善成像条件。因此，现有技术有待于进一步改进和发展。
发明内容
针对如何在既有成像条件下获得目标的细节信息成为目前超分辨成像的重要需求，现提出一种基于深度学习的远距离目标超分辨成像方法。
本发明提供如下技术方案：
一种基于深度学习的远距离目标超分辨成像方法，其中，包括以下步骤：
获取目标物和与目标物同属一类的其余物体的高分辨率图像和低分辨率图像，并利用所获取图像建立图像数据集；
基于预先训练成熟的神经网络模型对所建立的图像数据集进行迁移学习，得到训练完成的神经网络模型；
获取当前目标物成像得到的低分辨率图像；
利用训练完成的神经网络模型处理所获取的当前目标物低分辨率图像，构建得到当前目标物高分辨率图像。
一种基于深度学习的远距离目标超分辨成像方法，其中，利用高分辨成像系统获取目标物和与目标物同属一类的其余物体的高分辨率图像，利用低分辨成像系统获取目标物和与目标物同属一类的其余物体的低分辨率图像。
一种基于深度学习的远距离目标超分辨成像方法，其中，目标物和与目标物同属一类的其余物体的高分辨率图像包括目标物和与目标物同属一类的其余物体各个角度和距离的高分辨率图像，目标物和与目标物同属一类的其余物体的低分辨率图像包括目标物和与目标物同属一类的其余物体各个角度和距离的低分辨率图像。
一种基于深度学习的远距离目标超分辨成像方法，其中，利用在公开数据集ImageNet上训练成熟的神经网络模型对所建立的图像数据集进行迁移学习，得到训练完成的神经网络模型。
一种基于深度学习的远距离目标超分辨成像方法，其中，通过低分辨成像系统对当前目标物进行成像，获取当前目标物的低分辨率图像。
一种基于深度学习的远距离目标超分辨成像方法，其中，将同一类物体的高分辨率图像与其相应的低分辨率图像成对组成图像数据集。
一种基于深度学习的远距离目标超分辨成像系统，其中，包括：
图像获取模块，用于获取目标物和与目标物同属一类的其余物体的高分辨率图像和低分辨率图像；
数据集构建模块，用于利用图像获取模块所获取图像建立图像数据集；
训练模块，用于基于预先训练成熟的神经网络模型对所建立的图像数据集进行迁移学习，得到训练完成的神经网络模型；
处理模块，用于利用训练完成的神经网络模型处理所获取的当前目标物低分辨率图像，得到当前目标物高分辨率图像。
有益效果：
本发明提供了一种基于深度学习的远距离目标超分辨成像方法，成像分辨率不受限于成像系统的数值孔径以及光电耦合器件的像素，不仅适用于“马赛克”图像，也适用于高像素的模糊图像，不同于图像识别，该方法对于在训练集中未出现过的同类物体同样适用。
附图说明
图1是本发明具体实施方式中一种基于深度学习的远距离目标超分辨成像方法流程图；
图2是本发明具体实施方式中一种基于深度学习的远距离目标超分辨成像系统原理框图；
图3是本发明具体实施例1中目标图像数据集构建方法示意图；
图4是本发明具体实施例1中低分辨成像系统示意图。
图中：1-成像目标物、2-半透半反镜、3-反射镜、4-高分辨成像器件、5-低分辨成像器件、6-计算机。
具体实施方式
为了使本领域的人员更好地理解本发明的技术方案，下面结合本发明的附图，对本发明的技术方案进行清楚、完整的描述，基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动的前提下所获得的其它类同实施例，都应当属于本申请保护的范围。此外，以下实施例中提到的方向用词，例如“上”“下”“左”“右”等仅是参考附图的方向，因此，使用的方向用词是用来说明而非限制本发明创造。
本发明采用深度学习技术对传统的光学成像结果进行处理，得到超过该光学系统分辨率和像素分辨率的成像结果。
本发明提出的一种基于深度学习的远距离目标超分辨成像方法，其基本原理可参考“脸幻觉”现象，在看到低分辨人脸图像时，成年人会根据经验自动“脑补”其细节，这被称为“脸幻觉”(Face Hallucination)现象。这种“脸幻觉”现象原理为，成年人脑储存有大量的人脸特征信息，形成人脸“知识库”，在看到低分辨的人脸时，会自动将人脸分解为眼睛、鼻子、嘴巴等关键部件，并提取其尺寸和相对位置信息，并检索其已有的“知识库”，找出吻合的部件，重构清晰图像。
一种基于深度学习的远距离目标超分辨成像方法，如图1所示，包括以下步骤：
S1:获取目标物和与目标物同属一类的其余物体的高分辨率图像和低分辨率图像，并利用所获取图像建立图像数据集。
进一步的，利用高分辨成像系统获取目标物和与目标物同属一类的其余物体的高分辨率图像，利用低分辨成像系统获取目标物和与目标物同属一类的其余物体的低分辨率图像。
进一步的，目标物和与目标物同属一类的其余物体的高分辨率图像包括目标物和与目标物同属一类的其余物体各个角度和距离的高分辨率图像，目标物和与目标物同属一类的其余物体的低分辨率图像包括目标物和与目标物同属一类的其余物体各个角度和距离的低分辨率图像。
S2:基于预先训练成熟的神经网络模型对所建立的图像数据集进行迁移学习，得到训练完成的神经网络模型。
进一步的，利用在公开数据集ImageNet上训练成熟的神经网络模型对所建立的图像数据集进行迁移学习，得到训练完成的神经网络模型。
S3:获取当前目标物成像得到的低分辨率图像。
进一步的，通过低分辨成像系统对当前目标物进行成像，获取当前目标物的低分辨率图像。
S4:利用训练完成的神经网络模型处理所获取的当前目标物低分辨率图像，构建得到当前目标物高分辨率图像。
进一步的，将同一类物体的高分辨率图像与其相应的低分辨率图像成对组成图像数据集。
一种基于深度学习的远距离目标超分辨成像系统，其中，如图2所示，包括：
图像获取模块100，用于获取目标物和与目标物同属一类的其余物体的高分辨率图像和低分辨率图像；
数据集构建模块200，用于利用图像获取模块所获取图像建立图像数据集；
训练模块300，用于基于预先训练成熟的神经网络模型对所建立的图像数据集进行迁移学习，得到训练完成的神经网络模型；
处理模块400，用于利用训练完成的神经网络模型处理所获取的当前目标物低分辨率图像，得到当前目标物高分辨率图像。
本发明利用同一类型的远距离目标有关键部件及细节规律，例如飞行器上的机身、机翼、尾翼、负载等关键部件，将同一类物体的大量高分辨率图像与其相应的低分辨率图像成对组成训练数据集，使用卷积神经网络对该数据集进行学习，得到训练完成的神经网络模型，将新采集的低分辨图像输入该模型，得到相应的高分辨率图像，从而实现目标物体的超分辨成像。
具体实施例1：
以飞行器超分辨成像为例，分为以下步骤：
(1)建立飞行器的图像数据集：如图3所示，搭建光学成像系统，该光学成像系统包括成像目标物1、半透半反镜2、反射镜3、高分辨成像器件4、低分辨成像器件5、计算机6。本具体实施例中成像目标物1为飞行器，对各型号的大量飞行器通过高分辨成像器件4进行高分辨成像和通过低分辨成像器件5进行低分辨成像，每个型号又包括各个角度和距离的成像，成像结果存入计算机6中。
(2)对采集得到的图像进行后处理，对高、低分辨率的图像进行裁切，得到以飞行器位主体的图像，再进行重采样，使得所有图像的像素尺寸相同，必要时进行数据增强，增加训练样本。
(3)构建卷积神经网络，该网络的输入为飞行器的低分辨成像结果，输出为高分辨成像结果。将上述训练数据代入该网络，训练集的高分辨成像结果作为输出，对网络进行训练，得到训练完成的超分辨重构神经网络模型。必要时利用在公开数据集ImageNet及其成熟网络模型进行迁移学习。
(4)如图4所示，使用低分辨光学成像系统对任意飞行器进行成像，采集低分辨图像。
(5)将采集的低分辨图像按照训练集的后处理参数进行同样处理后，送入上述神经网络模型作为输入，正向计算神经网络，得到的输出即为超分辨成像结果。
以上已将本发明做一详细说明，以上所述，仅为本发明之较佳实施例而已，当不能限定本发明实施范围，即凡依本申请范围所作均等变化与修饰，皆应仍属本发明涵盖范围内。

Claims (7)

1.一种基于深度学习的远距离目标超分辨成像方法，其特征在于，包括以下步骤：
获取目标物和与目标物同属一类的其余物体的高分辨率图像和低分辨率图像，并利用所获取图像建立图像数据集；
基于预先训练成熟的神经网络模型对所建立的图像数据集进行迁移学习，得到训练完成的神经网络模型；
获取当前目标物成像得到的低分辨率图像；
利用训练完成的神经网络模型处理所获取的当前目标物低分辨率图像，构建得到当前目标物高分辨率图像。
2.根据权利要求1所述的基于深度学习的远距离目标超分辨成像方法，其特征在于，利用高分辨成像系统获取目标物和与目标物同属一类的其余物体的高分辨率图像，利用低分辨成像系统获取目标物和与目标物同属一类的其余物体的低分辨率图像。
3.根据权利要求1所述的基于深度学习的远距离目标超分辨成像方法，其特征在于，目标物和与目标物同属一类的其余物体的高分辨率图像包括目标物和与目标物同属一类的其余物体各个角度和距离的高分辨率图像，目标物和与目标物同属一类的其余物体的低分辨率图像包括目标物和与目标物同属一类的其余物体各个角度和距离的低分辨率图像。
4.根据权利要求1所述的基于深度学习的远距离目标超分辨成像方法，其特征在于，利用在公开数据集ImageNet上训练成熟的神经网络模型对所建立的图像数据集进行迁移学习，得到训练完成的神经网络模型。
5.根据权利要求2所述的基于深度学习的远距离目标超分辨成像方法，其特征在于，通过低分辨成像系统对当前目标物进行成像，获取当前目标物的低分辨率图像。
6.根据权利要求1所述的基于深度学习的远距离目标超分辨成像方法，其特征在于，将同一类物体的高分辨率图像与其相应的低分辨率图像成对组成图像数据集。
7.一种基于深度学习的远距离目标超分辨成像系统，其特征在于，包括：
图像获取模块，用于获取目标物和与目标物同属一类的其余物体的高分辨率图像和低分辨率图像；
数据集构建模块，用于利用图像获取模块所获取图像建立图像数据集；
训练模块，用于基于预先训练成熟的神经网络模型对所建立的图像数据集进行迁移学习，得到训练完成的神经网络模型；
处理模块，用于利用训练完成的神经网络模型处理所获取的当前目标物低分辨率图像，得到当前目标物高分辨率图像。
CN202010069741.0A 2020-01-21 2020-01-21 一种基于深度学习的远距离目标超分辨成像方法 Pending CN111260557A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010069741.0A CN111260557A (zh) 2020-01-21 2020-01-21 一种基于深度学习的远距离目标超分辨成像方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010069741.0A CN111260557A (zh) 2020-01-21 2020-01-21 一种基于深度学习的远距离目标超分辨成像方法

Publications (1)

Publication Number Publication Date
CN111260557A true CN111260557A (zh) 2020-06-09

Family

ID=70950921

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010069741.0A Pending CN111260557A (zh) 2020-01-21 2020-01-21 一种基于深度学习的远距离目标超分辨成像方法

Country Status (1)

Country Link
CN (1) CN111260557A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113435384A (zh) * 2021-07-07 2021-09-24 中国人民解放军国防科技大学 中低分辨率光学遥感图像的目标检测方法、装置及设备
CN115187463A (zh) * 2022-09-13 2022-10-14 云南省交通规划设计研究院有限公司 一种滑坡遥感影像集超分辨率重建方法和系统

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103871041A (zh) * 2014-03-21 2014-06-18 上海交通大学 基于认知正则化参数构建的图像超分辨率重构方法
CN105674923A (zh) * 2016-01-06 2016-06-15 中国工程物理研究院激光聚变研究中心 基于Fresnel波带片编码的超分辨成像方法及其实现装置
US20190005629A1 (en) * 2017-06-30 2019-01-03 Kla-Tencor Corporation Generating high resolution images from low resolution images for semiconductor applications
CN109981966A (zh) * 2017-12-27 2019-07-05 上海德运光电技术有限公司 一种超分辨率成像相机及其成像方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103871041A (zh) * 2014-03-21 2014-06-18 上海交通大学 基于认知正则化参数构建的图像超分辨率重构方法
CN105674923A (zh) * 2016-01-06 2016-06-15 中国工程物理研究院激光聚变研究中心 基于Fresnel波带片编码的超分辨成像方法及其实现装置
US20190005629A1 (en) * 2017-06-30 2019-01-03 Kla-Tencor Corporation Generating high resolution images from low resolution images for semiconductor applications
CN109981966A (zh) * 2017-12-27 2019-07-05 上海德运光电技术有限公司 一种超分辨率成像相机及其成像方法

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
JIA-QI YE ET AL: ""ISAR HRRP Super Resolution Reconstruction Based on Couple Dictionary Learning"", 《NETWORK AND ARTIFICIAL INTELLIGENCE (CNAI 2018)》 *
JINGKUN GAO ET AL: "Enhanced Radar Imaging Using a Complex-valued Convolutional Neural Network", 《ELECTRICAL ENGINEERING AND SYSTEM SCIENCE》 *
金胜 等: ""ISAR高分辨率成像方法综述"", 《雷达科学与技术》 *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113435384A (zh) * 2021-07-07 2021-09-24 中国人民解放军国防科技大学 中低分辨率光学遥感图像的目标检测方法、装置及设备
CN115187463A (zh) * 2022-09-13 2022-10-14 云南省交通规划设计研究院有限公司 一种滑坡遥感影像集超分辨率重建方法和系统

Similar Documents

Publication Publication Date Title
CN109948475B (zh) 一种基于骨架特征和深度学习的人体动作识别方法
CN108537191B (zh) 一种基于结构光摄像头的三维人脸识别方法
CN105138998B (zh) 基于视角自适应子空间学习算法的行人重识别方法及系统
WO2023137914A1 (zh) 图像处理方法、装置、电子设备及存储介质
CN109035172B (zh) 一种基于深度学习的非局部均值超声图像去噪方法
EP3876110A1 (en) Method, device and apparatus for recognizing, categorizing and searching for garment, and storage medium
CN112530019A (zh) 三维人体重建方法、装置、计算机设备和存储介质
EP4105600A2 (en) Method for automatically producing map data, related apparatus and computer program product
CN108805809A (zh) 一种基于生成对抗网络的红外人脸图像超分辨率重建方法
CN113011304A (zh) 一种基于注意力多分辨率网络的人体姿态估计方法及系统
CN111260557A (zh) 一种基于深度学习的远距离目标超分辨成像方法
CN111046734A (zh) 基于膨胀卷积的多模态融合视线估计方法
CN113255514B (zh) 基于局部场景感知图卷积网络的行为识别方法
CN114972022B (zh) 一种基于非对齐rgb图像的融合高光谱超分辨率方法和系统
CN109584194B (zh) 基于卷积变分概率模型的高光谱图像融合方法
CN111680577A (zh) 人脸检测方法和装置
Wang et al. Sign language recognition using Mediapipe
CN113379658A (zh) 一种无人机观测目标特征双光融合方法及系统
CN109558880A (zh) 一种基于视觉整体和局部特征融合的轮廓检测方法
Jiang et al. Semantic segmentation network combined with edge detection for building extraction in remote sensing images
CN117011357A (zh) 基于3d运动流和法线图约束的人体深度估计方法及系统
Li et al. 3D face point cloud super-resolution network
Mao et al. Power transmission line image segmentation method based on binocular vision and feature pyramid network
CN113128624B (zh) 一种基于多尺度字典的图网络人脸恢复方法
Wang et al. Identity Recognition System based on Walking Posture

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20200609

RJ01 Rejection of invention patent application after publication