CN115601608A - 空间非均匀图像数据集的构建方法 - Google Patents
空间非均匀图像数据集的构建方法 Download PDFInfo
- Publication number
- CN115601608A CN115601608A CN202211095341.2A CN202211095341A CN115601608A CN 115601608 A CN115601608 A CN 115601608A CN 202211095341 A CN202211095341 A CN 202211095341A CN 115601608 A CN115601608 A CN 115601608A
- Authority
- CN
- China
- Prior art keywords
- uniform
- image
- vignetting
- data set
- uniform background
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000010276 construction Methods 0.000 title claims abstract description 11
- 238000000034 method Methods 0.000 claims abstract description 29
- 238000004088 simulation Methods 0.000 claims abstract description 16
- 238000003384 imaging method Methods 0.000 claims description 9
- 230000014509 gene expression Effects 0.000 claims description 3
- 238000005286 illumination Methods 0.000 claims description 3
- 238000011160 research Methods 0.000 abstract description 9
- 238000010801 machine learning Methods 0.000 abstract description 3
- 238000012549 training Methods 0.000 abstract description 3
- 238000012545 processing Methods 0.000 abstract description 2
- 230000000694 effects Effects 0.000 description 8
- 230000006870 function Effects 0.000 description 8
- 230000003287 optical effect Effects 0.000 description 5
- 238000013178 mathematical model Methods 0.000 description 3
- 238000013135 deep learning Methods 0.000 description 2
- 238000001514 detection method Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000002372 labelling Methods 0.000 description 2
- 230000002411 adverse Effects 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 238000003705 background correction Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 238000013508 migration Methods 0.000 description 1
- 230000005012 migration Effects 0.000 description 1
- 238000010606 normalization Methods 0.000 description 1
- 230000008447 perception Effects 0.000 description 1
- 238000003672 processing method Methods 0.000 description 1
- 210000001747 pupil Anatomy 0.000 description 1
- 230000011218 segmentation Effects 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
- G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Evolutionary Computation (AREA)
- Physics & Mathematics (AREA)
- Artificial Intelligence (AREA)
- General Physics & Mathematics (AREA)
- Computing Systems (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Software Systems (AREA)
- Databases & Information Systems (AREA)
- Medical Informatics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Multimedia (AREA)
- Life Sciences & Earth Sciences (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Molecular Biology (AREA)
- General Engineering & Computer Science (AREA)
- Mathematical Physics (AREA)
- Image Analysis (AREA)
Abstract
空间非均匀图像数据集的构建方法，涉及图像处理技术领域，解决现有技术对图像非均匀背景的研究受限，大多数仅限在对完美的渐晕模型或噪声的仿真，存在模型无法模拟探测器受到杂散光影响等问题，本发明通过获取背景均匀的空间图像；对渐晕、杂散光引起的非均匀背景建模；根据模拟的非均匀背景生成非均匀图像，完成图像对数据集的构建。本发明所述的构建可以为后续的机器学习任务提供训练用数据集，进而实现对空间图像非均匀问题的解决。本发明方法数据获取容易，成本低。
Description
技术领域
本发明涉及图像处理技术领域，具体涉及一种空间非均匀图像数据集的构建方法。
背景技术
随着航天技术的飞速发展，在轨运行的航天器数量日渐增多，空间探测对于大国是重要的战略任务。作为空间探测的重要手段之一，地基望远镜是空间态势感知的关键技术。然而望远镜探测器在对空间目标成像时易受到各类不良因素影响，如渐晕，杂散光，云层遮挡等。这些影响在图像上表现为图像背景不均匀，会导致后续图像拼接、前后背景分割以及目标检测与跟踪等步骤受到极大影响。因此对成像的非均匀性研究具有重要意义。
文献《红外系统中渐晕的研究》于2000年发表，其对渐晕做了一些研究,并推导出一个渐晕关于视场角、入瞳、入射窗以及两者之间距离的解析式，分析了光学系统渐晕的数学模型，但关于更进一步的图像非均匀影响未进行分析。
文献《红外系统中渐晕效应的模拟方法研究》于2015年发表，提出了一种对红外传感器系统渐晕的模拟方法，通过图像像素处理法和光线追迹法建立渐晕效应的数学模型，得到仿真图像，同样该方法只考虑了渐晕的模型，未建立其他光学现象对成像的影响。
目前不存在可供机器学习训练的空间非均匀图像数据集，并且通过望远镜相机获取成对的图像是不现实的，因此，通过仿真生成数据对至关重要。传统对图像非均匀背景的研究较局限，大多数仅限在对完美的渐晕模型或噪声的仿真，这些模型无法模拟探测器受到杂散光影响。
本发明针对以上问题提出一种非均匀图像数据集的构建方法。完成仿真图像的生成，可以为后续的机器学习任务提供训练用数据集，进而实现对空间图像非均匀问题的解决。
发明内容
本发明为解决现有技术对图像非均匀背景的研究受限，大多数仅限在对完美的渐晕模型或噪声的仿真，存在模型无法模拟探测器受到杂散光影响等问题，提供一种空间非均匀图像数据集的构建方法。
空间非均匀图像数据集的构建方法，该方法由以下步骤实现：
步骤一、获取背景均匀的空间图像；
步骤二、对渐晕、杂散光引起的非均匀背景建模；
步骤三、根据步骤二模拟的非均匀背景生成非均匀图像，完成图像对数据集的构建。
本发明的有益效果：本发明所述的空间非均匀图像数据集的构建方法，通过对渐晕现象的仿真，更符合高轨空间非均匀图像的图像特征，适用于深度学习应用于空间非均匀背景校正。对比直接将望远镜获得图像做数据集有以下优点：
1)数据获取容易，成本低；
本方法只需要采集地基望远镜获得的均匀图像，在光学系统以及天气条件良好的条件下即可获得大量图像用以生成数据集，而不需要额外的人工标注等
2)仿真图像特征可控；
仿真图像的各类非均匀影响等能通过修改参数来控制，通过设置不同的参数能够让网络适应不同的图像，进而实现训练出更好的神经网络。
3)标签标注准确；
生成图像已经完成了精准的标注。因此相较于使用采集成对图像能够获得更精确的标签图像。
附图说明
图1为本发明所述的空间非均匀图像数据集的构建方法的流程图；
图2为非均匀图像的生成效果图；渐晕、杂散光等非均匀背景被映射到(0,255)以获得更好的视觉效果。
具体实施方式
结合图1至图2说明本实施方式，空间非均匀图像数据集的构建方法，为实现深度学习在空间图像非均匀领域的应用，需要一定的数据集。大多数基于监督学习的方法需要图像对作为数据集，传统望远镜拍摄得到的图像无法同时获得非均匀图像与其对应背景均匀图像。使用仿真数据集可以人为控制图像中各类非均匀影响。为解决真实图像对难以获得的问题，本实施方式提出了一种空间非均匀图像-均匀图像对数据集的构建方法。首先获取大量未受渐晕、相机倾斜以及杂散光影响的空间图像。其次仿真图像中的非均匀背景，模拟起伏的非均匀背景在图像中的特征信息。
具体步骤为：
步骤1、获取背景均匀的空间图像；
本实施方式中拟仿真地基望远镜在下获得的图像，首先在地基望远镜下获取均匀图像。在调整好相机系统后选择无云的天气以及没有杂散光的条件下获取多组背景均匀的空间图像I。
非均匀图像I′的获取方法为
其中I和I′分别是背景均匀的空间图像以及受非均匀背景影响的图像。而
表示非均匀背景函数，在本方法中
为：
式中，V和S分别为渐晕函数和杂散光引起的非均匀函数，η表示调整非均匀函数大小的参数。
步骤2、对离轴照明衰减A、透镜组渐晕G和相机成像面倾斜T引起的非均匀背景建模。
渐晕整体影响可以表示为：
V＝A·G·T (2)
其中，三种影响的表达式分别为：
G＝(1-αr) (4)
式中，f为有效焦距长度，α为透镜引起渐晕的参数，假设非均匀背景中像素点到渐晕中心在纵横两个方向的距离为u,v，则r＝(u2+v2)1/2表示非均匀背景中像素点到渐晕中心的欧式距离。
光线进入成像面不均匀产生的影响如下式所示：
式中，τ和χ表示相机成像面在两个正交轴向的倾斜角度。离轴照明衰减、透镜组渐晕引起的非均匀性在图像上表现为由中心扩散的灰度下降现象，成像面倾斜的影响为一个方向的灰度梯度衰减。
步骤3、对杂散光引起的背景非均匀的模拟，进一步提高了图像的真实性。
杂散光对光学系统影响较大，视场外杂散光以及光学系统内散射的光均会对成像造成干扰。因为无法对杂散光直接进行建立数学模型，因此选择合适的二维函数来模拟杂散光引起的非均匀背景是一种解决方案。
泽尼克多项式无穷数量的多项式完全集组成，常被用来描述波前特性。同样的，多个泽尼克多项式的叠加可以模拟二维表面的随机的起伏。如(4)式所示为模拟杂散光引起的函数值。
式中，S为(1)式中的杂散光引起的非均匀函数，n表示泽尼克多项式的项数，λj为调节不同泽尼克多项式的权重系数，nor表示对参数矩阵的归一化，Zj(u,v)为距离设定中心点(u0,v0)的笛卡尔坐标系下的泽尼克多项式函数值，常见的泽尼克表达式为：
步骤4、实现了图像对数据集的构建。
综合(1)(2)(6)式完成非均匀背景的模拟，通过非均匀背景与获得的均匀图像点对点相乘得到非均匀图像I′。通过生成大量随机的非均匀图像与真实图像的结合完成数据集的构建。
本实施方式中，通过空间图像非均匀背景的建模和非均匀图像与均匀图像对数据集的构建实现：
空间图像非均匀背景的建模：本实施方式中，非均匀背景模拟方法根据实际图像中存在的光学问题，分析了多种不同非均匀性影响。杂散光对成像的数学模型难以建立，利用泽尼克多项式完成对杂散光引起的非均匀背景的模拟，具有很强的创新性与工程应用价值。
非均匀图像与均匀图像对数据集的构建：传统图像迁移、图像去雾、图像去雨等任务需要成对图像的数据集，监督学习的方法需要严格对应的数据与标签。地基望远镜获取的图像是无法完全准确对应成对的，我们通过建模以及模拟的方法可以很好地解决这一问题。因此该部分同样具有很强的创新性与应用价值。
Claims (4)
1.空间非均匀图像数据集的构建方法，其特征是：该方法由以下步骤实现：
步骤一、获取背景均匀的空间图像；
步骤二、对渐晕、杂散光引起的非均匀背景建模；
步骤三、根据步骤二模拟的非均匀背景生成非均匀图像，完成图像对数据集的构建。
2.根据权利要求1所述的空间非均匀图像数据集的构建方法，其特征在于：步骤二中，建立渐晕模型和模拟杂散光引起的非均匀背景模型，获得非均匀背景函数；
式中，V和S分别为渐晕函数和杂散光引起的非均匀函数，η为调整非均匀函数大小的参数；
所述非均匀图像I′的获取方法为：
式中，I为背景均匀的空间图像。
3.根据权利要求1所述的空间非均匀图像数据集的构建方法，其特征在于：步骤二中渐晕模型包括由离轴照明衰减A、透镜组渐晕G和相机成像面倾斜T引起的非均匀背景建模；具体表达式如下：
G＝(1-αr)
式中，V为渐晕函数，假设非均匀背景中像素点到渐晕中心在纵横两个方向的距离为u,v，其欧氏距离为r＝(u2+v2)1/2；f为有效焦距长度，α为透镜引起渐晕的参数；τ和χ为相机成像面在两个正交轴向的倾斜角度。
4.根据权利要求1所述的空间非均匀图像数据集的构建方法，其特征在于：步骤二中，利用泽尼克多项式完成对杂散光引起的非均匀背景的模拟。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202211095341.2A CN115601608A (zh) | 2022-09-06 | 2022-09-06 | 空间非均匀图像数据集的构建方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202211095341.2A CN115601608A (zh) | 2022-09-06 | 2022-09-06 | 空间非均匀图像数据集的构建方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN115601608A true CN115601608A (zh) | 2023-01-13 |
Family
ID=84842944
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202211095341.2A Pending CN115601608A (zh) | 2022-09-06 | 2022-09-06 | 空间非均匀图像数据集的构建方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN115601608A (zh) |
Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US5412796A (en) * | 1990-05-12 | 1995-05-02 | Rediffusion Simulation Limited | Method and apparatus for generating images simulating non-homogeneous fog effects |
| CN102662178A (zh) * | 2012-05-03 | 2012-09-12 | 中国科学院长春光学精密机械与物理研究所 | 空间目标白天高分辨率光电成像探测系统 |
| CN102930151A (zh) * | 2012-10-25 | 2013-02-13 | 西安电子科技大学 | 基于纹理的实时模拟红外探测系统效应的方法 |
| CN107888804A (zh) * | 2017-11-13 | 2018-04-06 | 烟台艾睿光电科技有限公司 | 热像仪图像处理方法及装置 |
| CN111563848A (zh) * | 2020-03-20 | 2020-08-21 | 潍坊科技学院 | 一种图像杂散光抑制方法及系统 |
| CN111860104A (zh) * | 2020-05-14 | 2020-10-30 | 中国人民解放军空军预警学院 | 一种基于Zernike多项式的杂散光估计方法 |
| US20210344852A1 (en) * | 2020-05-04 | 2021-11-04 | Rebellion Photonics, Inc. | Apparatuses, systems, and methods for thermal imaging |
-
2022
- 2022-09-06 CN CN202211095341.2A patent/CN115601608A/zh active Pending
Patent Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US5412796A (en) * | 1990-05-12 | 1995-05-02 | Rediffusion Simulation Limited | Method and apparatus for generating images simulating non-homogeneous fog effects |
| CN102662178A (zh) * | 2012-05-03 | 2012-09-12 | 中国科学院长春光学精密机械与物理研究所 | 空间目标白天高分辨率光电成像探测系统 |
| CN102930151A (zh) * | 2012-10-25 | 2013-02-13 | 西安电子科技大学 | 基于纹理的实时模拟红外探测系统效应的方法 |
| CN107888804A (zh) * | 2017-11-13 | 2018-04-06 | 烟台艾睿光电科技有限公司 | 热像仪图像处理方法及装置 |
| CN111563848A (zh) * | 2020-03-20 | 2020-08-21 | 潍坊科技学院 | 一种图像杂散光抑制方法及系统 |
| US20210344852A1 (en) * | 2020-05-04 | 2021-11-04 | Rebellion Photonics, Inc. | Apparatuses, systems, and methods for thermal imaging |
| CN111860104A (zh) * | 2020-05-14 | 2020-10-30 | 中国人民解放军空军预警学院 | 一种基于Zernike多项式的杂散光估计方法 |
Non-Patent Citations (6)
| Title |
|---|
| SING BING KANG 等: "Can We Calibrate a Camera Using an Image of a Flat, Textureless Lambertian Surface?", IN: VERNON, D. (EDS) COMPUTER VISION — ECCV 2000. ECCV 2000. LECTURE NOTES IN COMPUTER SCIENCE, 1 January 2003 (2003-01-01), pages 640 - 653 * |
| SING BING KANG， RICHARD S. WEISS: "Can We Calibrate a Camera Using an Image of a Flat, Textureless Lambertian Surface?", EUROPEAN CONFERENCE ON COMPUTER VISION, 26 June 2020 (2020-06-26), pages 1 - 14 * |
| XIANGJI GUO等: "Nonuniform Correction of Ground-Based Optical Telescope Image Based on Conditional Generative Adversarial Network", SENSORS 2023, 23, 1086. HTTPS://DOI.ORG/10.3390/S23031086, 17 January 2023 (2023-01-17), pages 1 - 16 * |
| 史浩然等: "红外系统中渐晕效应的模拟方法研究", 红外技术, vol. 37, no. 4, 30 April 2015 (2015-04-30), pages 296 - 299 * |
| 曾庆杰: "红外成像中图像质量提升算法研究", 中国博士学位论文全文数据库信息科技辑, 15 April 2022 (2022-04-15), pages 1 - 85 * |
| 郭祥吉: "基于深度学习的空间暗弱目标检测关键技术研究", 中国知网, 1 June 2023 (2023-06-01), pages 1 - 123 * |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN107945204B (zh) | 一种基于生成对抗网络的像素级人像抠图方法 | |
| Gupta et al. | Non-Gaussian information from weak lensing data via deep learning | |
| CN106529538A (zh) | 一种飞行器的定位方法和装置 | |
| CN109740588A (zh) | 基于弱监督和深度响应重分配的x光图片违禁品定位方法 | |
| US11676294B2 (en) | Passive and single-viewpoint 3D imaging system | |
| CN109816607A (zh) | 一种基于多层前馈神经网络的二维光纤光谱图像校正技术 | |
| CN112465977B (zh) | 基于稠密点云修补三维模型水面漏洞的方法 | |
| Li | A calibration method of computer vision system based on dual attention mechanism | |
| CN114049434A (zh) | 一种基于全卷积神经网络的3d建模方法及系统 | |
| CN111899345B (zh) | 一种基于2d视觉图像的三维重建方法 | |
| Sweere et al. | Deep learning-based super-resolution and de-noising for XMM-newton images | |
| Milić et al. | Mimicking spectropolarimetric inversions using convolutional neural networks | |
| Werth et al. | Silo: A machine learning dataset of synthetic ground-based observations of leo satellites | |
| CN106407932A (zh) | 基于分数阶微积分与广义逆神经网络的手写数字识别方法 | |
| CN116433822B (zh) | 一种神经辐射场训练方法、装置、设备及介质 | |
| Jiang et al. | Optical image generation and high-precision line-of-sight extraction for Mars approach navigation | |
| CN115601608A (zh) | 空间非均匀图像数据集的构建方法 | |
| CN115346091B (zh) | 一种Mura缺陷图像数据集的生成方法和生成装置 | |
| CN111553954A (zh) | 一种基于直接法单目slam的在线光度标定方法 | |
| CN115222896B (zh) | 三维重建方法、装置、电子设备及计算机可读存储介质 | |
| CN111680552B (zh) | 一种特征部位智能识别方法 | |
| CN111899284B (zh) | 一种基于参数化esm网络的平面目标跟踪方法 | |
| Monnier et al. | GPU-based simulation of optical propagation through turbulence for active and passive imaging | |
| JP2018081378A (ja) | 画像処理装置、撮像装置、画像処理方法および画像処理プログラム | |
| CN112907660A (zh) | 面向小样本的水下激光目标检测仪 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |