CN117292143A - 基于深度学习海量太阳观测图像的搜索方法、系统和装置 - Google Patents

基于深度学习海量太阳观测图像的搜索方法、系统和装置 Download PDF

Info

Publication number
CN117292143A
CN117292143A CN202311348739.7A CN202311348739A CN117292143A CN 117292143 A CN117292143 A CN 117292143A CN 202311348739 A CN202311348739 A CN 202311348739A CN 117292143 A CN117292143 A CN 117292143A
Authority
CN
China
Prior art keywords
image
sun
solar
images
search
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202311348739.7A
Other languages
English (en)
Inventor
刘应波
吴仕超
杨磊
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Kunming University of Science and Technology
Yunnan University of Finance and Economics
Original Assignee
Kunming University of Science and Technology
Yunnan University of Finance and Economics
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Kunming University of Science and Technology, Yunnan University of Finance and Economics filed Critical Kunming University of Science and Technology
Priority to CN202311348739.7A priority Critical patent/CN117292143A/zh
Publication of CN117292143A publication Critical patent/CN117292143A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G06V10/443—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components by matching or filtering
    • G06V10/449—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters
    • G06V10/451—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters with interaction between the filter responses, e.g. cortical complex cells
    • G06V10/454—Integrating the filters into a hierarchical structure, e.g. convolutional neural networks [CNN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0464—Convolutional networks [CNN, ConvNet]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/30—Noise filtering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/761—Proximity, similarity or dissimilarity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/7715—Feature extraction, e.g. by transforming the feature space, e.g. multi-dimensional scaling [MDS]; Mappings, e.g. subspace methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Computation (AREA)
  • General Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Artificial Intelligence (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • Medical Informatics (AREA)
  • Databases & Information Systems (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biodiversity & Conservation Biology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于深度学习海量太阳观测图像的搜索方法、系统和装置，包括：采集不同观测设备获取的太阳观测图像；对太阳观测图像进行预处理和清洗，得到预处理后的太阳观测图像；利用预训练的VGG16模型和ResNet50模型分别对预处理后的太阳观测图像提取多尺度特征，将提取的多尺度特征表示转换为特征嵌入；构建搜索引擎，搜索引擎接收上传的太阳图像，利用预训练的VGG16模型和/或ResNet50模型对太阳图像提取特征，使用特征嵌入对太阳图像提取的特征进行图像相似性计算，确定相似度满足要求的太阳观测图像。本发明基于深度学习的海量太阳观测图像搜索引擎不仅提供了高效的数据管理和检索功能。

Description

基于深度学习海量太阳观测图像的搜索方法、系统和装置
技术领域
本发明涉及天文大数据与计算机视觉技术领域，特别涉及一种基于深度学习海量太阳观测图像的搜索方法、系统和装置。
背景技术
太阳，作为我们太阳系的中心星体，自古以来就吸引着人们的好奇心。太阳的研究不仅有助于我们更好地理解宇宙的起源和演化，还对地球的气候和通信系统产生着直接影响。然而，太阳是一个极其复杂而动态的天体，其表面和活动经常发生变化，因此需要大量的观测和研究来解析其谜团。随着科学技术的飞速发展，天文学家们能够使用各种高级仪器和卫星来观测太阳。这些观测工具产生了海量的太阳图像数据，包括白光、紫外线、X射线等各种波段的图像。这些图像记录了太阳黑子、日冕贴片、耀斑等太阳特征的细节，以及太阳活动的不断变化。然而，处理和分析这些大规模的太阳图像数据是一项巨大的挑战。
传统的方法涉及手动检索和分析，但随着数据量的不断增加，这种方法已经变得不再实际。需要探索新的方法来有效地管理和利用这些宝贵的太阳观测数据。
目前经过调研全世界范围内，大多数天文机构和观测项目维护着包括太阳观测图像在内的天文图像数据库，例如，NANS的太阳物理数据中心(Solar Data AnalysisCenter，SDAC)和欧洲太阳物理数据存储库(European Solar Physics Archive，ESPA)都提供了丰富的太阳观测图像数据资源。另外，太阳观测图像还通过太阳观测卫星和望远镜进行拍摄，例如NANS的太阳动力观测台(Solar Dynamics Observatory，SDO)和欧空局的太阳和日地观测卫星(Solar and Heliospheric Observatory，SOHO)也维护了大量的太阳观测图像。然而，太阳领域的数据检索以及数据发布方式都是以关键字检索的形式。目前太阳图像检索及管理领域存在的一些问题为：
1、数据量巨大难以管理。太阳观测产生了大量的图像数据，这些数据需要有效地收集、存储和管理。管理大规模数据存储和备份，确保数据的安全性和可用性，是一个复杂的任务。
2、自动特征提取的挑战。阳观测图像中的特征复杂多样，有些是微小的细节，而有些是较大的结构。自动识别和提取这些特征是一个复杂的问题，尤其是在不同波段的图像中。
3、计算资源需求。深度学习模型需要大量的计算资源来训练和推断。处理大规模图像数据集需要强大的计算基础设施，这对于一些研究机构和实验室可能是一个挑战。
4、用户界面和用户体验。用户界面的设计和用户体验是一个重要的考虑因素。搜索引擎无法提供直观的方式来进行图像检索。
因此，如何提供一种更好地管理和利用太阳图像数据的基于深度学习海量太阳观测图像的搜索方法、系统和装置是本领域技术人员亟待解决的技术问题。
发明内容
本发明针对上述研究现状和存在的问题，提供了一种基于深度学习海量太阳观测图像的搜索方法、系统和装置。
本发明提供的一种基于深度学习海量太阳观测图像的搜索方法，包括如下步骤：
S1：采集不同观测设备获取的太阳观测图像；
S2：对所述太阳观测图像进行预处理和清洗，得到预处理后的太阳观测图像；
S3：利用预训练的VGG16模型和ResNet50模型分别对所述预处理后的太阳观测图像提取多尺度特征，将提取的多尺度特征表示转换为特征嵌入；
S4：构建搜索引擎，所述搜索引擎接收上传的太阳图像，利用预训练的VGG16模型和/或ResNet50模型对所述太阳图像提取特征，使用特征嵌入对所述太阳图像提取的特征进行图像相似性计算，确定相似度满足要求的太阳观测图像。
优选的，所述太阳观测图像包括不同波段的太阳图像和不同太阳特征的太阳图像。
优选的，所述S1还包括：
建立分布式存储系统，用于存储采集的所述太阳观测图像；
建立数据备份策略，定期创建数据备份，用于在满足设定条件时进行数据恢复。
优选的，所述S2中的预处理包括如下中的一种或多种：
调整大小：调整所述太阳观测图像的大小；
裁剪：裁剪所述太阳观测图像以去除不相关的区域或改变其纵横比；
直方图均衡化：调整像素的亮度分布。
优选的，所述S2中的清洗包括：
去噪：包括去除电子噪声、背景噪声；
校正：包括去除镜头畸变、减少辐射校正；
图像增强：包括边缘增强、对比度增强；
通道转换：包括将不同波段的彩色图像转换为单通道灰度图像或多通道图像；
数据质量控制：包括检查图像的完整性、查找缺失的数据、处理损坏的图像；
检测和处理异常值：异常值包括光斑或阴影。
优选的，所述S4还包括：使用特征嵌入构建特征数据库索引结构，载入特征数据库，利用特征数据库索引结构索引特征嵌入对所述太阳图像提取的特征进行图像相似性计算。
优选的，还包括构建用户交互界面的步骤：
在交互界面设置搜索框和显示控件；所述搜索框用于接收搜索条件，包括上传的太阳图像或关键字；所述显示控件用于显示所述相似度满足要求的太阳观测图像。
优选的，还包括：接收所述搜索框输入的多个搜索条件进行搜索。
本发明还提供了一种根据所述的一种基于深度学习海量太阳观测图像的搜索方法的搜索系统，包括：数据存储系统、图像处理模块、特征提取模块、搜索引擎模块和用户交互界面；其中，
所述数据存储系统用于分布式存储采集的所述太阳观测图像；
所述图像处理模块用于对所述太阳观测图像进行预处理和清洗，得到预处理后的太阳观测图像；
所述特征提取模块用于利用预训练的VGG16模型和ResNet50模型分别对所述预处理后的太阳观测图像提取特征，将提取的特征表示转换为特征嵌入；
所述搜索引擎模块用于接收上传的太阳图像，利用所述特征提取模块中预训练的VGG16模型和/或ResNet50模型对所述太阳图像提取特征，使用特征嵌入对所述太阳图像提取的特征进行图像相似性计算，确定相似度满足要求的太阳观测图像；
所述用户交互界面设置搜索框和显示控件；所述搜索框用于接收搜索条件，包括上传的太阳图像或关键字；所述显示控件用于显示所述相似度满足要求的太阳观测图像。
本发明还提供了一种根据所述的搜索系统的搜索装置，包括计算机设备，所述计算机设备用于搭载所述搜索系统。
本发明提出的基于深度学习海量太阳观测图像的搜索方法、系统和装置相较现有技术具有多个优越性，这些优点使其成为太阳物理学研究和科学教育领域的重要工具。以下是其主要有益效果：
1、高效的特征提取：深度学习模型能够自动学习并提取太阳图像中的关键特征，无需手动进行复杂的特征工程。这大大简化了图像处理流程，提高了数据处理的效率。
2、多尺度和多波段处理：这类搜索引擎可以有效地处理不同尺度和波段的太阳图像数据，使研究人员能够在不同波段和分辨率下进行深入研究。
3、高速相似性搜索：基于深度学习的相似性计算技术能够快速查找与查询图像最相似的图像，从而加速了数据检索和比较过程。
4、精确的结果：深度学习模型在特征提取和相似性计算方面表现出色，因此能够提供更准确和可靠的搜索结果，有助于科学研究和分析的精确性。
5、用户友好的界面：这类搜索引擎通常具备用户友好的界面，使科学家、教育者和公众能够轻松浏览、搜索和分析太阳图像数据，提供更好的用户体验。
6、支持多学科研究：这类搜索引擎有助于推动太阳物理学领域的研究进展，同时也支持教育和科学传播，使更多人了解太阳活动和宇宙。
7、跨平台和可扩展性：可以部署在不同平台上，并支持大规模数据存储和处理。这使其适用于各种研究项目和需求。
8、未来潜力：随着深度学习技术的不断进步，这类搜索引擎还具有潜力不断提高性能，支持更复杂和高级的分析任务。
总之，基于深度学习的海量太阳观测图像搜索引擎不仅提供了高效的数据管理和检索功能，还为太阳物理学研究、科学教育和科普活动带来了重要的技术进步。其准确性、实时性和用户友好性使其成为太阳活动监测和研究的强大工具，有助于推动我们对太阳和宇宙的理解。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍。显而易见地，下面描述中的附图仅仅是本发明的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。
图1是本发明实施例提供的基于深度学习海量太阳观测图像的搜索方法流程图；
图2是本发明实施例提供的VGG16模型架构图；
图3是本发明实施例提供的ResNet50模型架构图；
图4是本发明实施例提供的用户交互界面图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
基于深度学习的海量太阳观测图像搜索引擎的设计包含了数据的采集和存储、数据预处理和清洗、深度学习模型选择、图像特征提取并构建特征数据库、模型训练和优化、搜索功能的实现、用户交互界面设计。其中主要使用的为深度学习中的VGG16和ResNet50模型。
本发明第一方面提供了一种基于深度学习海量太阳观测图像的搜索方法，如图1所示，具体执行步骤如下：
S1：采集不同观测设备获取的太阳观测图像；
S2：对太阳观测图像进行预处理和清洗，得到预处理后的太阳观测图像；
S3：利用预训练的VGG16模型和ResNet50模型分别对预处理后的太阳观测图像提取多尺度特征，将提取的多尺度特征表示转换为特征嵌入；
S4：构建搜索引擎，搜索引擎接收上传的太阳图像，利用预训练的VGG16模型和/或ResNet50模型对太阳图像提取特征，使用特征嵌入对太阳图像提取的特征进行图像相似性计算，确定相似度满足要求的太阳观测图像。
在一个实施例中，数据采集过程需要考虑多样性的数据源，包括来自太阳观测卫星、望远镜、太阳物理实验室和其他地面或空间观测仪器的数据。这些数据源可以包括白光、紫外线、X射线等各种波段的太阳图像，以及可以包括黑子、耀斑等不同太阳特征的太阳图像。
在一个实施例中，S1还包括：
建立分布式存储系统，用于存储采集的太阳观测图像；与数据提供方建立协议，确保数据的合法获取和使用，包括：合同、许可协议或数据共享协议。建立分布式存储系统用以应对大量数据的存储需求。
建立数据备份策略，确保数据的安全性和可用性。定期创建数据备份，并在出现硬件故障或灾难性事件时进行数据恢复。
在一个实施例中，S2中的预处理包括如下中的一种或多种：
调整大小：图像可能具有不同的分辨率和尺寸。在预处理阶段，可以将图像调整为统一的分辨率和尺寸，以确保一致性。
裁剪：裁剪太阳观测图像以去除不相关的区域或改变其纵横比。图像可能还会包含多个太阳特征或不同观测波段的图像。进行裁剪和对齐，以确保图像的一致性和可比性。
直方图均衡化：通过调整像素的亮度分布，可以增强图像的对比度，使细节更加清晰。
在一个实施例中，S2中的清洗包括：
去噪：太阳观测图像通常受到各种噪声的干扰，如电子噪声、背景噪声等。去噪处理涉及使用滤波器或去噪算法来减少这些噪声的影响，以提高图像的质量。
校正：进行图像校正，以纠正由于观测仪器或光学系统引入的畸变。这包括去除镜头畸变、减少辐射校正等。
图像增强：应用图像增强技术来突出显示太阳特征，如边缘增强、对比度增强等。
通道转换：如果数据包括不同波段的彩色图像，还要将其转换为单通道灰度图像或多通道图像，以适应深度学习模型的需求。
数据质量控制：检测和修复可能的错误或异常数据。这可能包括检查图像的完整性、查找缺失的数据、处理损坏的图像等。
检测和处理异常值：异常值包括光斑或阴影等，以确保它们不会影响后续的分析和搜索。
本发明实施例使用VGG、ResNet结构模型可以有效地识别太阳图像中的各种特征，如黑子、贴片、耀斑等。这些模型在大规模图像数据上预训练，用以预学习通用的图像特征，可以通过迁移学习用于太阳观测图像的特征提取。
在模型的卷积层中，模型会自动学习图像的特征映射，这些特征映射对于识别太阳图像中的各种特征非常重要。模型可以同时学习全局特征(如太阳黑子的整体形状)和局部特征(如黑子的细节)。考虑到太阳图像中的特征可能具有不同的尺度，还使用了多尺度的卷积核来提取多尺度的特征。本发明利用多模型提取特征，特征信息更加完善，满足检索需求。
下面两个实施例分别说明VGG16、ResNet50模型结构：
在一个实施例中，VGG16的结构包括13个卷积层(convolution layer)、5个最大池化层(max pooling layer，MP)、3个全连接层(fully connected layer，FC)和一个softmax层。VGG16提取如边缘、纹理和颜色信息。VGG16的模型结构如图2所示。
VGG16的输入为一张大小为224x224的太阳观测图像，由3个通道组成，并对图像进行预处理操作。
接着使用了一系列的卷积层和池化层。卷积层通过卷积操作提取输入图像的特征。VGG16中使用了多个3x3的卷积核，步幅为1，边距为1(即same padding)的卷积操作，后接ReLU激活函数。这些卷积层的堆叠能够逐渐增加网络的深度和复杂度。
在卷积层后进行池化操作，使用最大池化层来减小特征图的尺寸，并提取最显著的特征。最大池化层通过在一个固定大小的窗口中选择最大值来实现，可以有效地减少数据的维度并保留主要特征。
经多次卷积和池化操作之后，采用全连接层来进行图像分类。首先将特征图展平为一个向量，然后通过多个全连接层进行分类。这些全连接层的输出通过ReLU激活函数进行非线性映射。最后输出层采用softmax激活函数来产生分类概率。
在一个实施例中，传统的神经网络模型通过堆叠多个卷积层和非线性激活函数来逐层提取特征，但随着网络层数的增加，模型的性能反而下降。这是因为网络变得更深时，难以训练的问题变得更加严重，主要原因是梯度消失和梯度爆炸现象。过引入残差连接，ResNet50(Residual Network 50)可以让信息直接跳过一些层，从而保留更多的梯度信号，使得较深层的网络能够更好地进行优化。
ResNet50提取如边缘、纹理、形状和对象信息。ResNet50的结构如图3所示。
ResNet50包含4个Conv_block和12个Identity_block,总的49个卷积层和1个SoftMax层。梯度消失和梯度爆炸问题通过引入残差块(residual blocks)来解决，残差块包括两个主要部分：恒等映射(identity mapping)和残差连接(residual connection)。
在一个实施例中，S4还包括：使用特征嵌入构建特征数据库索引结构，载入特征数据库，利用特征数据库索引结构索引特征嵌入对太阳图像提取的特征进行图像相似性计算。
对于每张太阳图像，从深度学习模型中提取特征表示。这些特征表示可以是卷积层的输出，也可以是全连接层的输出，具体取决于任务需求。将提取的特征表示转换为特征嵌入，以便于比较和相似性计算。使用特征嵌入构建数据库索引结构，以加速图像检索过程。
在一个实施例中，如图4所示，还包括构建用户交互界面的步骤：
在交互界面设置搜索框和显示控件；搜索框用于接收搜索条件，包括上传的太阳图像或关键字；显示控件用于显示相似度满足要求的太阳观测图像。
本实施例中，提供高级查询功能，接收搜索框输入的多个搜索条件进行搜索，包括用户上传查询图像或使用关键词进行搜索。并支持同时接受用户多个搜索条件进行搜索，包括时间范围、波段、太阳特征等。这些查询条件可以通过用户界面提供的控件或搜索栏来设置。
显示控件还用于显示搜索出的相似度满足要求的太阳观测图像的相关嵌入特征，包括观测时间、观测坐标、观测对象、观测波段、偏带状态、曝光时间和活动现象。上述特征属性值同样可以作为关键词进行高级查询。本实施例用户界面简单直观，使用户能够轻松进行查询和浏览太阳图像。提供易于理解的图标、按钮和控件。确保用户界面在不同设备上(如计算机、平板电脑和手机)都能正常运行，并自动调整布局和大小。
使用特征嵌入进行图像相似性计算，以确定与用户查询最相似的图像。相似性可以使用欧氏距离、余弦相似性等指标进行计算。根据相似性分数或其他标准对搜索结果进行排序，以确保最相关的图像排在前面。
本实施例中的特征嵌入是将数据从其原始表示形式映射到一个低维度的向量空间的过程，以便于进行机器学习、数据分析和模式识别等任务。在特征嵌入中，原始数据通常被转换成更具信息表达能力的向量表示，这些向量通常称为特征向量或嵌入向量。
图4中展示了用户交互界面。首先输入太阳图像，对应的信息也显示到待检索图像信息区域。接着载入特征数据库，使用VGG16和ResNet50提取图像特征，权值默认为0.5，然后点击图像检索按钮，图像检索结果及对应信息将按照相似度的高低显示在展示区域。
本发明第二方面提供了一种根据第一方面实施例的搜索系统，包括：数据存储系统、图像处理模块、特征提取模块、搜索引擎模块和用户交互界面；其中，
数据存储系统用于分布式存储采集的太阳观测图像；
图像处理模块用于对太阳观测图像进行预处理和清洗，得到预处理后的太阳观测图像；
特征提取模块用于利用预训练的VGG16模型和ResNet50模型分别对预处理后的太阳观测图像提取特征，将提取的特征表示转换为特征嵌入；
搜索引擎模块用于接收上传的太阳图像，利用特征提取模块中预训练的VGG16模型和/或ResNet50模型对太阳图像提取特征，使用特征嵌入对太阳图像提取的特征进行图像相似性计算，确定相似度满足要求的太阳观测图像；
用户交互界面设置搜索框和显示控件；搜索框用于接收搜索条件，包括上传的太阳图像或关键字；显示控件用于显示相似度满足要求的太阳观测图像。
本发明第二方面的搜索系统可以包含第一方面的搜索方法的任一实施例中的技术方案。
本发明第三方面提供了一种根据第二方面实施例的搜索装置，包括计算机设备，计算机设备用于搭载第二方面的搜索系统。
本发明上述实施例公开的基于深度学习的海量太阳观测图像搜索引擎解决了以下技术问题：
1、大规模数据处理和管理：深度学习帮助处理和管理来自不同太阳观测仪器和卫星的大量图像数据，确保数据的存储、检索和分析高效可行。
2、太阳特征提取：深度学习模型可以自动识别和提取太阳图像中的重要特征，如太阳黑子、耀斑和太阳斑点，无需手工特征工程。
3、高效的图像检索：基于深度学习的相似性计算技术使得用户可以快速搜索和检索与他们查询图像相似的图像，从而加速了数据检索过程。
4、多波段数据处理：这类搜索引擎可以处理多个波段和光谱范围的太阳观测数据，使用户能够在不同波段中进行搜索和分析。
5、实时数据支持：对于实时太阳观测，深度学习模型能够处理实时数据流，提供用户即时访问最新观测结果的能力。
6、用户友好的界面：用户界面设计使得用户能够轻松浏览、搜索和分析太阳图像数据，从而提供更好的用户体验。
7、跨学科整合：构建这类搜索引擎需要整合多个领域的知识，包括天文学、计算机视觉、深度学习和数据库管理。
通过解决这些技术问题，基于深度学习的太阳观测图像搜索引擎提供了一种强大的工具，用于更好地管理和利用太阳图像数据，支持太阳物理学研究、科学传播和教育。它使科学家和研究人员能够更轻松地访问和分析数据，促进了太阳活动的监测和理解。
本发明利用深度学习方法进行海量太阳观测图像搜索，架构一个搜索引擎，在太阳物理学、天文学和科学研究领域的应用意义如下：
1、太阳活动监测和研究。太阳观测图像搜索引擎可以用于监测和研究太阳的各种活动，如太阳黑子的形成和演化、日冕贴片的变化、太阳耀斑的爆发等。不仅可以帮助天文学家更有效地管理和分析海量太阳图像数据，研究人员可以利用这个搜索引擎，快速准确地找到感兴趣的太阳图像，追踪太阳活动的周期性和趋势，并对其进行进一步的分析和研究，以便更好地理解太阳的行为和演化。
2、太阳物理学研究。基于深度学习的图像搜索引擎可以提高太阳活动的监测和预测能力。这个搜索引擎为太阳物理学家提供了一个方便的工具，用于研究太阳的不同波段和特征。研究人员可以使用深度学习模型来分析和识别太阳图像中的特征，以获取有关太阳内部结构和外部活动的重要信息。该引擎能够搭建不同领域学科人员之间的检索桥梁，促进太阳物理学、地球物理学和气象学等领域之间的交叉研究。
3、天文学研究。太阳是天文学中一个重要的研究对象，因为它对太阳系中的行星和其他天体产生重要影响。这个搜索引擎可以帮助天文学家研究太阳和其他天体之间的相互作用，以及太阳对宇宙中的星体和行星的影响。
4、太阳能研究和空间天气预测。太阳活动对地球的空间天气产生直接影响。这个搜索引擎可以用于监测太阳耀斑和太阳风等高能事件，以及它们对地球的影响。这对于太阳风暴的预测和空间天气的管理至关重要，尤其是对卫星通信、导航系统和电力网络的影响。
5、教育和科普。本发明的搜索引擎可以为教育机构和科普团体提供有价值的教育资源。它可以用于制作教育材料和展示，以帮助学生和公众更好地了解太阳和太阳物理学的基本概念。
6、太空任务规划和数据分析。太空任务和卫星观测太阳的数据量巨大。这个搜索引擎可以用于规划太空任务、分析卫星数据以及协助科研团队更好地利用太阳观测数据。
7、太阳能领域。太阳能产业是可再生能源领域的一个关键领域。太阳观测图像搜索引擎可以帮助产业人员更好地了解太阳的活动和周期性，以便更有效地规划太阳能发电和能源储备。
以上对本发明所提供的一种基于深度学习海量太阳观测图像的搜索方法、系统和装置进行了详细介绍，本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处，综上，本说明书内容不应理解为对本发明的限制。
在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。

Claims (10)

1.一种基于深度学习海量太阳观测图像的搜索方法，其特征在于：包括如下步骤：
S1：采集不同观测设备获取的太阳观测图像；
S2：对所述太阳观测图像进行预处理和清洗，得到预处理后的太阳观测图像；
S3：利用预训练的VGG16模型和ResNet50模型分别对所述预处理后的太阳观测图像提取多尺度特征，将提取的多尺度特征表示转换为特征嵌入；
S4：构建搜索引擎，所述搜索引擎接收上传的太阳图像，利用预训练的VGG16模型和/或ResNet50模型对所述太阳图像提取特征，使用特征嵌入对所述太阳图像提取的特征进行图像相似性计算，确定相似度满足要求的太阳观测图像。
2.根据权利要求1所述的一种基于深度学习海量太阳观测图像的搜索方法，其特征在于，所述太阳观测图像包括不同波段的太阳图像和不同太阳特征的太阳图像。
3.根据权利要求1所述的一种基于深度学习海量太阳观测图像的搜索方法，其特征在于，所述S1还包括：
建立分布式存储系统，用于存储采集的所述太阳观测图像；
建立数据备份策略，定期创建数据备份，用于在满足设定条件时进行数据恢复。
4.根据权利要求1所述的一种基于深度学习海量太阳观测图像的搜索方法，其特征在于，所述S2中的预处理包括如下中的一种或多种：
调整大小：调整所述太阳观测图像的大小；
裁剪：裁剪所述太阳观测图像以去除不相关的区域或改变其纵横比；
直方图均衡化：调整像素的亮度分布。
5.根据权利要求1所述的一种基于深度学习海量太阳观测图像的搜索方法，其特征在于，所述S2中的清洗包括：
去噪：包括去除电子噪声、背景噪声；
校正：包括去除镜头畸变、减少辐射校正；
图像增强：包括边缘增强、对比度增强；
通道转换：包括将不同波段的彩色图像转换为单通道灰度图像或多通道图像；
数据质量控制：包括检查图像的完整性、查找缺失的数据、处理损坏的图像；
检测和处理异常值：异常值包括光斑或阴影。
6.根据权利要求1所述的一种基于深度学习海量太阳观测图像的搜索方法，其特征在于，所述S4还包括：使用特征嵌入构建特征数据库索引结构，载入特征数据库，利用特征数据库索引结构索引特征嵌入对所述太阳图像提取的特征进行图像相似性计算。
7.根据权利要求1所述的一种基于深度学习海量太阳观测图像的搜索方法，其特征在于，还包括构建用户交互界面的步骤：
在交互界面设置搜索框和显示控件；所述搜索框用于接收搜索条件，包括上传的太阳图像或关键字；所述显示控件用于显示所述相似度满足要求的太阳观测图像。
8.根据权利要求7所述的一种基于深度学习海量太阳观测图像的搜索方法，其特征在于，还包括：接收所述搜索框输入的多个搜索条件进行搜索。
9.一种根据权利要求1-8中任一项所述的一种基于深度学习海量太阳观测图像的搜索方法的搜索系统，其特征在于，包括：数据存储系统、图像处理模块、特征提取模块、搜索引擎模块和用户交互界面；其中，
所述数据存储系统用于分布式存储采集的所述太阳观测图像；
所述图像处理模块用于对所述太阳观测图像进行预处理和清洗，得到预处理后的太阳观测图像；
所述特征提取模块用于利用预训练的VGG16模型和ResNet50模型分别对所述预处理后的太阳观测图像提取特征，将提取的特征表示转换为特征嵌入；
所述搜索引擎模块用于接收上传的太阳图像，利用所述特征提取模块中预训练的VGG16模型和/或ResNet50模型对所述太阳图像提取特征，使用特征嵌入对所述太阳图像提取的特征进行图像相似性计算，确定相似度满足要求的太阳观测图像；
所述用户交互界面设置搜索框和显示控件；所述搜索框用于接收搜索条件，包括上传的太阳图像或关键字；所述显示控件用于显示所述相似度满足要求的太阳观测图像。
10.一种根据权利要求9所述的搜索系统的搜索装置，其特征在于，包括计算机设备，所述计算机设备用于搭载所述权利要求9所述的搜索系统。
CN202311348739.7A 2023-10-18 2023-10-18 基于深度学习海量太阳观测图像的搜索方法、系统和装置 Pending CN117292143A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202311348739.7A CN117292143A (zh) 2023-10-18 2023-10-18 基于深度学习海量太阳观测图像的搜索方法、系统和装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202311348739.7A CN117292143A (zh) 2023-10-18 2023-10-18 基于深度学习海量太阳观测图像的搜索方法、系统和装置

Publications (1)

Publication Number Publication Date
CN117292143A true CN117292143A (zh) 2023-12-26

Family

ID=89253409

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202311348739.7A Pending CN117292143A (zh) 2023-10-18 2023-10-18 基于深度学习海量太阳观测图像的搜索方法、系统和装置

Country Status (1)

Country Link
CN (1) CN117292143A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117669335A (zh) * 2024-02-01 2024-03-08 北京国星创图科技有限公司 一种基于太空环境数据挖掘方法及系统

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117669335A (zh) * 2024-02-01 2024-03-08 北京国星创图科技有限公司 一种基于太空环境数据挖掘方法及系统
CN117669335B (zh) * 2024-02-01 2024-05-07 北京国星创图科技有限公司 一种太空环境数据挖掘方法及系统

Similar Documents

Publication Publication Date Title
CN114067160B (zh) 基于嵌入平滑图神经网络的小样本遥感图像场景分类方法
Zhang et al. Remote sensing image spatiotemporal fusion using a generative adversarial network
CN111680176B (zh) 基于注意力与双向特征融合的遥感图像检索方法及系统
CN105740894B (zh) 一种高光谱遥感图像的语义标注方法
Li et al. Tobler’s First Law in GeoAI: A spatially explicit deep learning model for terrain feature detection under weak supervision
CN105631479A (zh) 基于非平衡学习的深度卷积网络图像标注方法及装置
CN111986193B (zh) 一种遥感影像变化检测方法、电子设备及存储介质
Cao et al. A full-level fused cross-task transfer learning method for building change detection using noise-robust pretrained networks on crowdsourced labels
Barnes et al. This looks like that there: Interpretable neural networks for image tasks when location matters
CN117292143A (zh) 基于深度学习海量太阳观测图像的搜索方法、系统和装置
CN112287144B (zh) 图片检索方法、设备及存储介质
Toms et al. Testing the reliability of interpretable neural networks in geoscience using the Madden–Julian oscillation
Weber et al. Automated labeling of electron microscopy images using deep learning
Liu et al. A novel unsupervised adversarial domain adaptation network for remotely sensed scene classification
Shumilo et al. Generative adversarial network augmentation for solving the training data imbalance problem in crop classification
CN117807494A (zh) 一种基于多级特征增强的传感器数据群体行为识别方法
Varlik et al. Filtering airborne LIDAR data by using fully convolutional networks
CN116957006A (zh) 预测模型的训练方法、装置、设备、介质及程序产品
CN116958852A (zh) 视频与文本的匹配方法、装置、电子设备和存储介质
Yang et al. Improving power transmission tower state recognition in remote sensing images using cooperative Adaboost-MobileNet
Bass et al. Machine learning in problems involved in processing satellite images
He et al. Tackling the over-smoothing problem of CNN-based hyperspectral image classification
Zhou et al. Unsupervised domain adaptation based on deep adapted features alignment
CN116910277B (zh) 知识图谱构建方法、资源查找方法、计算机设备和介质
Heremans et al. Remote sensing and deep learning for environmental policy support: from theory to practice

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination