CN110599416A - 一种基于空间目标图像数据库的非合作目标图像盲复原方法 - Google Patents
一种基于空间目标图像数据库的非合作目标图像盲复原方法 Download PDFInfo
- Publication number
- CN110599416A CN110599416A CN201910821035.4A CN201910821035A CN110599416A CN 110599416 A CN110599416 A CN 110599416A CN 201910821035 A CN201910821035 A CN 201910821035A CN 110599416 A CN110599416 A CN 110599416A
- Authority
- CN
- China
- Prior art keywords
- image
- target
- target image
- data set
- space
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 18
- 238000012545 processing Methods 0.000 claims abstract description 4
- 230000036544 posture Effects 0.000 claims description 10
- 238000005259 measurement Methods 0.000 claims description 9
- 238000000691 measurement method Methods 0.000 claims description 7
- 238000013528 artificial neural network Methods 0.000 claims description 5
- 238000012549 training Methods 0.000 claims description 3
- 238000013461 design Methods 0.000 claims description 2
- 238000004519 manufacturing process Methods 0.000 claims description 2
- 238000013507 mapping Methods 0.000 claims description 2
- 238000009877 rendering Methods 0.000 claims description 2
- 238000012216 screening Methods 0.000 claims description 2
- 238000013136 deep learning model Methods 0.000 claims 1
- 238000010801 machine learning Methods 0.000 claims 1
- 230000009466 transformation Effects 0.000 claims 1
- 235000015842 Hesperis Nutrition 0.000 abstract description 2
- 235000012633 Iberis amara Nutrition 0.000 abstract description 2
- 230000000694 effects Effects 0.000 description 3
- 238000004088 simulation Methods 0.000 description 3
- 238000003384 imaging method Methods 0.000 description 2
- 230000008447 perception Effects 0.000 description 2
- 230000003044 adaptive effect Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000015556 catabolic process Effects 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 238000006731 degradation reaction Methods 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 230000005484 gravity Effects 0.000 description 1
- 230000035876 healing Effects 0.000 description 1
- 230000000877 morphologic effect Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000012634 optical imaging Methods 0.000 description 1
- 238000011084 recovery Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/22—Matching criteria, e.g. proximity measures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T15/00—3D [Three Dimensional] image rendering
- G06T15/10—Geometric effects
- G06T15/20—Perspective computation
- G06T15/205—Image-based rendering
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Computer Graphics (AREA)
- Geometry (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Computing Systems (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- Software Systems (AREA)
- Bioinformatics & Computational Biology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Evolutionary Biology (AREA)
- Evolutionary Computation (AREA)
- General Engineering & Computer Science (AREA)
- Image Processing (AREA)
Abstract
本发明涉及图像处理领域，一种基于空间目标图像数据库的非合作目标图像盲复原方法，利用已有的空间目标高分辨率图像建立数据库，以数据库内目标图像结构特点构建海量的无监督匹配模板，借助神经网络通过无监督学习对退化的非合作目标图像进行复原。本发明可广泛应用于卫星、火箭、空间碎片等空间目标的图像复原。
Description
技术领域
本发明涉及图像处理领域，天文领域，军事领域，特别涉及将深度学习在计算机视觉应用扩展到天文图像的应用。
背景技术
对空间非合作目标的观测，为空间非合作目标的抓捕、在轨服务、空间垃圾清除以及一些军事任务提供了基础，具有重要的军民两用价值。但是，在空间目标观测的过程中，由于观测设备的局限性（图像会受到由大气湍流引起波前误差和抖动，以及由重力和热变化产生的光学畸变等因素的影响）和空间目标的高速移动特性，空间目标在成像过程中难以避免的会发生图像退化效应。为了得到清晰的目标图像，就需要运用有效快速的复原方法对退化图像进行复原。
发明内容
本发明所要解决的技术问题是：如何根据已有的空间目标知识实现对未知的非合作目标图像进行复原。
本发明所采用的技术方案是：一种基于空间目标图像数据库的非合作目标图像盲复原方法，
按照如下步骤进行：
步骤一：空间目标建模，根据已有的设计资料和基本参数信息（例如常见的空间目标构型、空间目标整体尺寸大小及各个结构尺寸大小），用三维建模软件（包括但不限于SOLIDWORKS）对多种不同类型的空间目标（例如卫星、火箭或其他空间碎片）进行3D建模，生成具有特征结构的3D模型（例如具有太阳能电池板的人造卫星、具有镜头和天线的勘测卫星等）；
步骤二：构建空间目标图像数据库，根据空间目标的光电系统特征、需要观测的目标轨道信息特征，在步骤一中建好的3D模型基础上模拟空间目标的工作运行状态，通过对空间目标的方式（镜头开合、天线开合、电池板开合等方式）来调整姿态，得到多种（可能存在的所有姿态一般在几十种以上）不同姿态的模型，将不同姿态的模型导入到三维动画渲染软件，在模型旋转的同时进行渲染，制作出2K像元*2K像元以上高分辨率空间目标图像数据，结合获取的不同姿态的实测高分辨率空间目标清晰图像（例如对图像进行旋转、翻转等，得到不同空间目标在不同工作运行状态下的清晰图像）构成图像数据库，根据实际观测情况对数据库内图像数据进行数据增强处理，将图像数据库中的清晰的图像作为参考图像，记为数据集A，将实测的空间目标模糊图像作为待复原图像，记为数据集B；
步骤三：模式匹配，对参考图像（数据集A）和待复原图像（数据集B）进行相似性度量，计算数据集A与B中图像对的距离，即对两张图像之间的内容相似程度进行打分，度量方法可以根据需求来选取，包括L2/PSNR，SSIM，FSIM等传统相似性度量方法以及将深度特征作为感知指标的感知度量方法，根据度量结果，从A中筛选出与B中待复原图像内容相似的参考图像，并从A中剩余参考图像中随机抽取少量空间目标图像，组成新的参考图像数据集A’；
步骤四：将新的参考图像数据集A’和数据集B统一缩放到大小相同的规格，将缩放后的参考图像数据集A’和数据集B送入能够实现图像概率分布特征映射的深度神经网络（如CycleGAN网络）中进行无监督训练，实现对退化的空间目标图像进行复原。
作为一种优选方式：步骤二中所述实测高分辨率空间目标清晰图像是指在良好外界环境下、使用自适应光学成像技术去除大气湍流及抖动影响后的空间目标图像或空基侦察卫星直接获取的非合作空间目标图像。
本方法不仅可以对单帧的空间目标图像进行盲复原，也可以对多帧图像以及视频进行盲复原。
本发明的有益效果是：本发明首先构建了一个空间目标图像数据库，根据数据库中空间目标图像结构特征相似性，借助神经网络的特征提取能力，通过无监督学习实现对退化的非合作目标图像进行复原。不必对实际观测的空间目标进行事先成像或者形态估计，就可以实现高质量的图像盲复原。
附图说明
图1是.复原效果图（从左到右依次为理论上的清晰图像、模糊图像、复原后图像）。
具体实施方式
本实施例我们将在下面通过构建一种基于空间目标图像数据库的非合作目标图像盲复原方法进行详细的说明。本实施例包含如下的步骤：
实验数据：通过三维建模软件SOLIDWORKS对十几种不同的空间目标进行建模，在3D模型基础上根据4m地基望远镜（波段500nm，像元分辨率0.003arcsec）的观测能力，通过对空间目标的镜头开合、天线开合、电池板开合、整体旋转、数据增强等操作，做出几百张高分辨率空间目标图像数据作为原始数据（标准图像），图像大小为2100像元*2100像元。
从实测的空间目标模糊图像数据中挑选十几张连续获取的相同目标的模糊图像，作为待复原的图像，记为数据集B；高分辨率空间目标图像作为参考图像，记为数据集A。
模式匹配。对参考图像（数据集A）和待复原图像（数据集B）进行相似性度量，计算数据集A与B中图像对的距离。根据需求，选取所需的阈值。将距离小于（或等于）某一阈值的图像对所对应的参考图像筛选出来（占比90%），并从剩余参考图像中随机抽取一批图像（占比10%），组成新的参考图像数据集A’。其中所用到的度量方法为感知度量方法LearnedPerceptual Image Patch Similarity (LPIPS) metric，在文章Zhang,R.,Isola,P.,Efros, A.A., Shechtman, E., Wang, O.: The unreasonable effectiveness of deepnetworks as a perceptual metric. In: CVPR (2018)中有详细度量原理介绍。
将经过筛选的每张清晰图像（数据集A’）和模拟得到的模糊图像（数据集B）插值到分辨率相近大小，插值方式采用最近邻插值（INTER_NN）。将插值后的清晰图像与模糊图像送入CycleGAN网络中进行训练，batchsize设为1。复原效果如图1所示。
注：数据集A包括实测高分辨率空间目标清晰图像与高分辨率空间目标模拟图像两部分。本具体实施方式中，数据集A采用的是高分辨率空间目标模拟图像。
Claims (4)
1.一种基于空间目标图像数据库的非合作目标图像盲复原方法，其特征在于按照如下步骤进行：
步骤一：空间目标建模，根据已有的设计资料和基本参数信息，用三维建模软件对多种不同类型的空间目标进行3D建模，生成具有特征结构的3D模型；
步骤二：构建空间目标图像数据库，根据空间目标的光电系统特征、需要观测的目标轨道信息特征，在步骤一中建好的3D模型基础上模拟空间目标的工作运行状态，通过对空间目标的方式来调整姿态，得到多种不同姿态的模型，将不同姿态的模型导入到三维动画渲染软件，在模型旋转的同时进行渲染，制作出2K像元*2K像元以上高分辨率空间目标图像数据，结合获取的不同姿态的实测高分辨率空间目标清晰图像构成图像数据库，并根据实际观测情况对数据库内图像数据进行数据增强处理，将图像数据库中的清晰的图像作为参考图像，记为数据集A，将实测的空间目标模糊图像作为待复原图像，记为数据集B；
步骤三：模式匹配，对参考图像和待复原图像进行相似性度量，计算数据集A与数据集B中图像对的距离，即对两张图像之间的内容相似程度进行打分，根据度量结果，从A中筛选出与B中待复原图像内容相似的参考图像，并从A中剩余参考图像中随机抽取少量空间目标图像，组成新的参考图像数据集A’；
步骤四：将新的参考图像数据集A’和数据集B统一缩放到大小相同的规格，将缩放后的参考图像数据集A’和数据集B送入能够实现图像概率分布特征映射的深度神经网络中进行无监督训练，实现对退化的空间目标图像进行复原。
2.根据权利要求1所述的一种基于空间目标图像数据库的非合作目标图像盲复原方法，其特征在于：步骤二中所述图像数据库是指根据以往空间目标数据建立的不同种类、不同姿态或处于不同的空间位置的空间目标图像。
3.根据权利要求1所述的一种基于空间目标图像数据库的非合作目标图像盲复原方法，其特征在于：步骤三中所述的相似性度量，包括L2/PSNR，SSIM，FSIM传统相似性度量方法以及将深度特征作为感知指标的感知度量方法。
4.根据权利要求1所述的一种基于空间目标图像数据库的非合作目标图像盲复原方法，其特征在于：步骤四中所述的深度神经网络，包括CycleGAN在内的可以实现图像特征变换的机器学习模型，包括但不限于神经网络及各类深度学习模型变体。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910821035.4A CN110599416B (zh) | 2019-09-02 | 2019-09-02 | 一种基于空间目标图像数据库的非合作目标图像盲复原方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910821035.4A CN110599416B (zh) | 2019-09-02 | 2019-09-02 | 一种基于空间目标图像数据库的非合作目标图像盲复原方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN110599416A true CN110599416A (zh) | 2019-12-20 |
| CN110599416B CN110599416B (zh) | 2022-10-11 |
Family
ID=68856845
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201910821035.4A Active CN110599416B (zh) | 2019-09-02 | 2019-09-02 | 一种基于空间目标图像数据库的非合作目标图像盲复原方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN110599416B (zh) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113470068A (zh) * | 2021-06-07 | 2021-10-01 | 北京深睿博联科技有限责任公司 | 一种复杂场景中的跟随导航方法和系统 |
| CN114442647A (zh) * | 2021-12-08 | 2022-05-06 | 航天科工火箭技术有限公司 | 基于模糊隶属度函数的火箭末级姿态分时控制方法及装置 |
Citations (15)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102270339A (zh) * | 2011-07-21 | 2011-12-07 | 清华大学 | 一种空间各异模糊核三维运动去模糊的方法及系统 |
| US20140254951A1 (en) * | 2013-03-06 | 2014-09-11 | Thomson Licensing | Deblurring of an image from a sequence of images |
| CN104820969A (zh) * | 2015-04-03 | 2015-08-05 | 西安交通大学 | 一种实时图像盲复原方法 |
| GB201706499D0 (en) * | 2017-04-25 | 2017-06-07 | Nokia Technologies Oy | Three-dimensional scene reconstruction |
| CN106997476A (zh) * | 2017-03-01 | 2017-08-01 | 西安交通大学 | 多源无标签数据学习建模的传动系统性能退化评估方法 |
| CN107123089A (zh) * | 2017-04-24 | 2017-09-01 | 中国科学院遥感与数字地球研究所 | 基于深度卷积网络的遥感图像超分辨重建方法及系统 |
| US20180061018A1 (en) * | 2016-08-24 | 2018-03-01 | Korea Institute Of Science And Technology | Method of multi-view deblurring for 3d shape reconstruction, recording medium and device for performing the method |
| CN107976201A (zh) * | 2017-10-09 | 2018-05-01 | 汪腊新 | 一种基于面阵3d相机自动生成加工路径的方法 |
| CN108537746A (zh) * | 2018-03-21 | 2018-09-14 | 华南理工大学 | 一种基于深度卷积网络的模糊可变图像盲复原方法 |
| CN108711141A (zh) * | 2018-05-17 | 2018-10-26 | 重庆大学 | 利用改进的生成式对抗网络的运动模糊图像盲复原方法 |
| CN108765338A (zh) * | 2018-05-28 | 2018-11-06 | 西华大学 | 基于卷积自编码卷积神经网络的空间目标图像复原方法 |
| CN108921116A (zh) * | 2018-07-10 | 2018-11-30 | 武汉商学院 | 遥感影像时变信息提取方法 |
| CN109636737A (zh) * | 2018-11-09 | 2019-04-16 | 建湖云飞数据科技有限公司 | 图片清晰化提升处理方法 |
| CN109903255A (zh) * | 2019-03-04 | 2019-06-18 | 北京工业大学 | 一种基于3d卷积神经网络的高光谱图像超分辨率复原方法 |
| US20190236817A1 (en) * | 2018-01-30 | 2019-08-01 | The Board Of Trustees Of The Leland Stanford Junior University | Generalized Multi-Channel MRI Reconstruction Using Deep Neural Networks |
-
2019
- 2019-09-02 CN CN201910821035.4A patent/CN110599416B/zh active Active
Patent Citations (15)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102270339A (zh) * | 2011-07-21 | 2011-12-07 | 清华大学 | 一种空间各异模糊核三维运动去模糊的方法及系统 |
| US20140254951A1 (en) * | 2013-03-06 | 2014-09-11 | Thomson Licensing | Deblurring of an image from a sequence of images |
| CN104820969A (zh) * | 2015-04-03 | 2015-08-05 | 西安交通大学 | 一种实时图像盲复原方法 |
| US20180061018A1 (en) * | 2016-08-24 | 2018-03-01 | Korea Institute Of Science And Technology | Method of multi-view deblurring for 3d shape reconstruction, recording medium and device for performing the method |
| CN106997476A (zh) * | 2017-03-01 | 2017-08-01 | 西安交通大学 | 多源无标签数据学习建模的传动系统性能退化评估方法 |
| CN107123089A (zh) * | 2017-04-24 | 2017-09-01 | 中国科学院遥感与数字地球研究所 | 基于深度卷积网络的遥感图像超分辨重建方法及系统 |
| GB201706499D0 (en) * | 2017-04-25 | 2017-06-07 | Nokia Technologies Oy | Three-dimensional scene reconstruction |
| CN107976201A (zh) * | 2017-10-09 | 2018-05-01 | 汪腊新 | 一种基于面阵3d相机自动生成加工路径的方法 |
| US20190236817A1 (en) * | 2018-01-30 | 2019-08-01 | The Board Of Trustees Of The Leland Stanford Junior University | Generalized Multi-Channel MRI Reconstruction Using Deep Neural Networks |
| CN108537746A (zh) * | 2018-03-21 | 2018-09-14 | 华南理工大学 | 一种基于深度卷积网络的模糊可变图像盲复原方法 |
| CN108711141A (zh) * | 2018-05-17 | 2018-10-26 | 重庆大学 | 利用改进的生成式对抗网络的运动模糊图像盲复原方法 |
| CN108765338A (zh) * | 2018-05-28 | 2018-11-06 | 西华大学 | 基于卷积自编码卷积神经网络的空间目标图像复原方法 |
| CN108921116A (zh) * | 2018-07-10 | 2018-11-30 | 武汉商学院 | 遥感影像时变信息提取方法 |
| CN109636737A (zh) * | 2018-11-09 | 2019-04-16 | 建湖云飞数据科技有限公司 | 图片清晰化提升处理方法 |
| CN109903255A (zh) * | 2019-03-04 | 2019-06-18 | 北京工业大学 | 一种基于3d卷积神经网络的高光谱图像超分辨率复原方法 |
Non-Patent Citations (4)
| Title |
|---|
| NATALIIA KUSSUL: ""Deep Learning Classification of Land Cover and Crop Types Using Remote Sensing Data"", 《IEEE GEOSCIENCE AND REMOTE SENSING LETTERS》, 31 March 2017 (2017-03-31) * |
| R. ZHANG 等: "The Unreasonable Effectiveness of Deep Features as a Perceptual Metric", 《2018 IEEE/CVF CONFERENCE ON COMPUTER VISION AND PATTERN RECOGNITION》, 17 December 2018 (2018-12-17) * |
| 蔡博君: ""基于机器学习的天文图像复原研究"", 《信息科技》, 15 August 2019 (2019-08-15) * |
| 贾鹏: ""基于盲卷积技术的天文高分辨率图像处理"", 《2013中国天文学会学术年会文集中国天文学会会议论文集》, 28 October 2013 (2013-10-28) * |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113470068A (zh) * | 2021-06-07 | 2021-10-01 | 北京深睿博联科技有限责任公司 | 一种复杂场景中的跟随导航方法和系统 |
| CN114442647A (zh) * | 2021-12-08 | 2022-05-06 | 航天科工火箭技术有限公司 | 基于模糊隶属度函数的火箭末级姿态分时控制方法及装置 |
| CN114442647B (zh) * | 2021-12-08 | 2024-04-26 | 航天科工火箭技术有限公司 | 基于模糊隶属度函数的火箭末级姿态分时控制方法及装置 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN110599416B (zh) | 2022-10-11 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109523482B (zh) | 一种基于深度神经网络的对含纹理退化图像的复原方法 | |
| CN103093444B (zh) | 基于自相似性和结构信息约束的图像超分辨重建方法 | |
| CN107767413A (zh) | 一种基于卷积神经网络的图像深度估计方法 | |
| CN101610425B (zh) | 一种评测立体图像质量的方法和装置 | |
| CN110599416B (zh) | 一种基于空间目标图像数据库的非合作目标图像盲复原方法 | |
| CN103796001A (zh) | 一种同步获取深度及色彩信息的方法及装置 | |
| CN110136162B (zh) | 无人机视角遥感目标跟踪方法及装置 | |
| CN112241939B (zh) | 一种基于多尺度和非局部的轻量去雨方法 | |
| CN112184547B (zh) | 红外图像的超分辨率方法及计算机可读存储介质 | |
| CN109784205B (zh) | 一种基于多光谱巡检图像的杂草智能识别方法 | |
| CN110097590A (zh) | 基于深度自适应滤波的彩色深度图像修复方法 | |
| CN107590782B (zh) | 一种基于全卷积网络的高分辨率光学图像厚云去除方法 | |
| CN114463521A (zh) | 一种面向空地影像数据融合的建筑目标点云快速生成方法 | |
| CN114722914A (zh) | 基于双目视觉和语义分割网络的大田环境障碍物检测方法 | |
| CN104809757A (zh) | 一种通过颜色与形状组合匹配三维点云的设备与方法 | |
| CN114119987A (zh) | 基于卷积神经网络的特征提取和描述子生成方法及系统 | |
| CN114462486A (zh) | 图像处理模型的训练方法、图像处理方法及相关装置 | |
| CN110060208A (zh) | 一种提高超分辨率算法重构性能的方法 | |
| CN109615577A (zh) | 基于卷积网络的高光谱图像超分辨处理方法 | |
| CN112489103A (zh) | 一种高分辨率深度图获取方法及系统 | |
| CN109218706B (zh) | 一种由单张图像生成立体视觉图像的方法 | |
| CN116310105A (zh) | 基于多视图的物体三维重建方法、装置、设备及存储介质 | |
| Goncalves et al. | Guidednet: Single image dehazing using an end-to-end convolutional neural network | |
| CN102609928B (zh) | 基于视觉方差定位的图像镶嵌方法 | |
| CN110503093A (zh) | 基于视差图dbscan聚类的感兴趣区域提取方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |