CN116385902A - 一种遥感大数据处理方法、系统及云平台 - Google Patents
一种遥感大数据处理方法、系统及云平台 Download PDFInfo
- Publication number
- CN116385902A CN116385902A CN202310410339.8A CN202310410339A CN116385902A CN 116385902 A CN116385902 A CN 116385902A CN 202310410339 A CN202310410339 A CN 202310410339A CN 116385902 A CN116385902 A CN 116385902A
- Authority
- CN
- China
- Prior art keywords
- module
- data
- remote sensing
- data processing
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000003672 processing method Methods 0.000 title claims abstract description 12
- 238000012545 processing Methods 0.000 claims abstract description 85
- 238000004891 communication Methods 0.000 claims abstract description 64
- 238000011176 pooling Methods 0.000 claims abstract description 24
- 238000013500 data storage Methods 0.000 claims abstract description 19
- 230000005540 biological transmission Effects 0.000 claims abstract description 17
- 238000013480 data collection Methods 0.000 claims abstract description 17
- 230000006870 function Effects 0.000 claims description 57
- 238000010606 normalization Methods 0.000 claims description 24
- 230000004913 activation Effects 0.000 claims description 17
- 238000004140 cleaning Methods 0.000 claims description 15
- 238000013507 mapping Methods 0.000 claims description 15
- 230000004044 response Effects 0.000 claims description 15
- 238000000034 method Methods 0.000 claims description 14
- 230000004927 fusion Effects 0.000 claims description 12
- 238000011156 evaluation Methods 0.000 claims description 9
- 210000002569 neuron Anatomy 0.000 claims description 9
- 230000002159 abnormal effect Effects 0.000 claims description 8
- 238000000605 extraction Methods 0.000 claims description 8
- 230000003595 spectral effect Effects 0.000 claims description 8
- 230000002146 bilateral effect Effects 0.000 claims description 7
- 238000001914 filtration Methods 0.000 claims description 7
- 238000013135 deep learning Methods 0.000 claims description 6
- 238000009877 rendering Methods 0.000 claims description 6
- 238000003860 storage Methods 0.000 claims description 6
- 238000005516 engineering process Methods 0.000 claims description 5
- 238000012549 training Methods 0.000 claims description 5
- 238000004458 analytical method Methods 0.000 claims description 4
- 238000013528 artificial neural network Methods 0.000 claims description 4
- 238000012937 correction Methods 0.000 claims description 4
- 230000000694 effects Effects 0.000 claims description 4
- 238000005286 illumination Methods 0.000 claims description 4
- 239000013598 vector Substances 0.000 claims description 4
- NAWXUBYGYWOOIX-SFHVURJKSA-N (2s)-2-[[4-[2-(2,4-diaminoquinazolin-6-yl)ethyl]benzoyl]amino]-4-methylidenepentanedioic acid Chemical compound C1=CC2=NC(N)=NC(N)=C2C=C1CCC1=CC=C(C(=O)N[C@@H](CC(=C)C(O)=O)C(O)=O)C=C1 NAWXUBYGYWOOIX-SFHVURJKSA-N 0.000 claims description 3
- 230000006835 compression Effects 0.000 claims description 3
- 238000007906 compression Methods 0.000 claims description 3
- 238000005315 distribution function Methods 0.000 claims description 3
- 239000000835 fiber Substances 0.000 claims description 3
- 238000011049 filling Methods 0.000 claims description 3
- 238000007477 logistic regression Methods 0.000 claims description 3
- 239000000463 material Substances 0.000 claims description 3
- 239000011159 matrix material Substances 0.000 claims description 3
- 238000002156 mixing Methods 0.000 claims description 3
- 238000012544 monitoring process Methods 0.000 claims description 3
- 238000005457 optimization Methods 0.000 claims description 3
- 230000000007 visual effect Effects 0.000 claims description 3
- 230000003044 adaptive effect Effects 0.000 claims description 2
- 230000007547 defect Effects 0.000 claims description 2
- 238000004364 calculation method Methods 0.000 abstract description 4
- 230000008569 process Effects 0.000 description 7
- 238000010586 diagram Methods 0.000 description 4
- 238000001228 spectrum Methods 0.000 description 2
- 240000003537 Ficus benghalensis Species 0.000 description 1
- 241001412225 Firmiana simplex Species 0.000 description 1
- 235000008331 Pinus X rigitaeda Nutrition 0.000 description 1
- 241000018646 Pinus brutia Species 0.000 description 1
- 235000011613 Pinus brutia Nutrition 0.000 description 1
- 241000124033 Salix Species 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000004422 calculation algorithm Methods 0.000 description 1
- 238000007621 cluster analysis Methods 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 230000002779 inactivation Effects 0.000 description 1
- 238000002329 infrared spectrum Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000008092 positive effect Effects 0.000 description 1
- 238000002360 preparation method Methods 0.000 description 1
- 230000005855 radiation Effects 0.000 description 1
- 238000010845 search algorithm Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
- 238000013519 translation Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/10—Terrestrial scenes
- G06V20/13—Satellite images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
- G06F16/51—Indexing; Data structures therefor; Storage structures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
- G06F16/58—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
- G06F16/583—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/0464—Convolutional networks [CNN, ConvNet]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/048—Activation functions
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
- Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Evolutionary Computation (AREA)
- Software Systems (AREA)
- Computing Systems (AREA)
- Health & Medical Sciences (AREA)
- Artificial Intelligence (AREA)
- General Engineering & Computer Science (AREA)
- Data Mining & Analysis (AREA)
- General Health & Medical Sciences (AREA)
- Databases & Information Systems (AREA)
- Mathematical Physics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Multimedia (AREA)
- Molecular Biology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Library & Information Science (AREA)
- Medical Informatics (AREA)
- Image Processing (AREA)
- Astronomy & Astrophysics (AREA)
- Remote Sensing (AREA)
Abstract
本发明公开一种遥感大数据处理方法、系统及云平台，涉及大数据技术领域，解决遥感数据的分类、检索和重建问题。所述遥感大数据处理系统包括通信接口、数据收集模块、数据传输模块、数据存储模块、数据处理模块、数据检索模块和数据重建模块，通过设置数据分类模块采用改进型双卷积池化结构的3D卷积高光谱影像模型的分类单元将数据进行分类，通过检索单元将用户所需数据进行提取，通过重建单元将提取的数据进行重建，为应急救灾、军事等具有时效性要求的行业，提供了大规模遥感影像数据快速计算的方式，为灾情地重构、再建和救援提供了遥感大数据不同的服务形式，满足了大规模遥感数据多样化处理的需求。
Description
技术领域
本发明涉及大数据技术领域，具体是一种遥感大数据处理方法、系统及云平台。
背景技术
随着遥感技术的发展，遥感数据空间分辨率、时间分辨率、光谱分辨率和辐射分辨率越来越高，数据类型越来越丰富,数据量也越来越大，遥感数据已经具有了明显的大数据特征，如大容量、高效率、多类型、难辨识、高价值等，遥感进入了大数据时代。
遥感数据处理系统建设正在面临着数据密集、计算密集、并发访问密集、时空密集等实际应用带来的挑战。传统的遥感处理系统由于存在着不支持并行处理、扩展性不高、数据吞吐量小、可靠性低等问题，无法解决遥感大数据带来的挑战。
发明内容
针对上述技术的不足，本发明公开一种遥感大数据处理方法、系统及云平台，通过设置数据分类模块采用改进型双卷积池化结构的3D卷积高光谱影像模型的分类单元将数据进行分类，通过检索单元将用户所需数据进行提取，通过重建单元将提取的数据进行重建，为应急救灾、军事等具有时效性要求的行业，提供了大规模遥感影像数据快速计算的方式，为灾情地重构、再建和救援提供了遥感大数据不同的服务形式，满足了大规模遥感数据多样化处理的需求。
为了实现上述技术效果，本发明采用以下技术方案：
一种遥感大数据处理系统，应用于遥感大数据处理云平台，包括通信接口、数据收集模块、数据传输模块、数据存储模块、数据处理模块、数据检索模块和数据重建模块；
通信接口通过网络运营商提供网络通信服务，每一个通信接口设置有与所述通信接口相对应的网络通信服务，所述通信接口包括RS232通信通道接口、RS485通信通道接口、TCP/IP通信信道接口、USB通信信道接口、WIFI通信信道接口或光纤通信信道接口；
数据收集模块用以接收大规模遥感影像数据和用户输入的任务信息，所述任务信息包括遥感图像产生时间、获取遥感图像的卫星类型和待查询区域的经纬度数据；
数据传输模块用于串口数据转换为IP数据或将IP数据转换为串口数据通过无线通信网络进行传送的无线终端设备；
数据存储模块用于存储数据信息，所述数据存储模块由多个存储元构成，所述数据存储模块包括索引存储模块、经纬度数据存储模块和时间数据存储模块；
数据处理模块用于将杂乱的数据进行清洗、分类和分析，从而找出每个遥感影像数据之间的联系，最后划分为多个类别的遥感信息类型；
数据检索模块用于根据所述任务信息设定条件查询每个区域对应的目标遥感图像信息；
数据重建模块用于重构用户在农林监测、城市规划和军事侦察中所需的高分辨遥感图像；
所述数据收集模块的输出端与所述通信接口的输入端连接，所述通信接口的输出端与所述数据传输模块的输入端连接，所述数据传输模块的输出端与所述数据处理模块的输入端连接，所述数据处理模块的输出端连接所述数据存储模块的输入端，所述数据处理模块的输出端连接所述数据检索模块的输入端，所述数据检索模块的输出端连接所述数据重建模块的输入端。
作为本发明进一步的实施例，所述数据收集模块包括传感器模块和电磁波模块，所述传感器模块用于探测和记录地面发射的电磁波，所述电磁波模块包括自然界电磁波、人工电磁波和地物自身电磁波。
作为本发明进一步的实施例，所述数据传输模块硬件组成部分主要包括GPU控制模块、无线通讯模块和电源模块，所述电源模块连接所述GPU控制模块，所述GPU控制模块连接所述无线通信模块；所述GPU控制模块采用核心技术有硬体T&L、立方环境材质贴图和顶点混合、纹理压缩和凹凸映射贴图和双重纹理四像素256位渲染引擎，所述无线通讯模块采用GPRS通信网络，所述GPRS通信网络内部封装了PPP拨号协议以及TCP/IP协议栈，通过所述无线模块将收集的信息数据接收。
作为本发明进一步的实施例，所述数据处理模块包括区域划分模块、数据分类模块和数据清洗模块，所述区域划分模块连接数据分类模块，所述数据分类模块连接数据清洗模块，所述数据清洗模块包括遗漏数据处理子模块和噪声数据处理子模块，所述遗漏数据子处理模块用于填补数残缺的部分，所述噪声数据处理子模块用于修正数据的异常部分。
作为本发明进一步的实施例，所述数据检索模块包括数据仓库服务器、知识库、检索引擎和用户界面，所述数据仓库服务器连接知识库，所述知识库连接检索引擎，所述用户界面数据设置所述检索引擎。
作为本发明进一步的实施例，所述数据重建模块包括点云计算模块、点云配准模块、数据融合模块、表面生成模块和评估模块，所述点云计算模块将图像像素坐标系转换为世界坐标系，所述点云配准模块用于将不同时间、角度和照度获取的多帧图像叠加匹配到统一的坐标系，所述数据融合模块用于获取更加精细的重建模型，所述表面生成模块用于构造物体的可视等值面，所述评估模块用于评价重建模型的完整度，所述点云计算模块连接点云配准模块，所述点云配准模块连接数据融合模块，所述数据融合模块连接表面生成模块，所述表面生成模块连接评估模块。
一种遥感大数据处理方法，应用于遥感大数据处理云平台，包括以下步骤：
步骤1、利用数据收集模块中传感器模块接受地物自身电磁波和人为发射电磁波；
步骤2、将收集到的电磁波数据经过区域划分、数据分类和数据清洗,清除异常数据,然后再采用基于硬盘的分布式队列的方式将数据导入大型的分布式文件系统；
步骤3、通过数据存储模块将处理结果按照区域、索引、经纬度和时间统一存储，所述处理结果通过数据处理模块计算得出，所述数据处理模块利用分布式数据库或分布式计算集群来对存储于其内的海量数据通过改进型双卷积池化结构的3D卷积高光谱影像模型的分类单元进行分类；
步骤4、采用检索单元将存储于其内的海量遥感数据进行分类汇总与相关抽取,以满足用户的遥感数据需求；
步骤5、采用重建单元将用户提取的遥感数据转换为遥感影像，以便于用户的进一步分析。
作为本发明进一步的实施例，所述改进型双卷积池化结构的3D卷积高光谱影像模型包括分类单元、检索单元、学习单元和重建单元，所述分类单元的表达式为：
式(1)中，i表示第i层神经元，j表示第j个特征图，Pi和Qi是卷积核的高和宽，Ri是卷积核沿着光谱维度的维数大小，m表示与前一层中连接的特征个数，与每层的特征维度相关，
是与第m个特征中第(p，q，r)个神经元连接的权重，bij是在第i层神经元上第j个特征图的偏差值，g是激活函数Relu函数；
所述学习单元采用双卷积池化结构，包括4个卷积层、2个归一层和2个池化层，在连续2个卷积层间不设置池化层，用于特征信息的保留和传递，在3D卷积核上设置L1正则，以避免在神经网络深度有限的前提下产生过拟合，在双卷积层后采用最大值池化，在每个卷积设置局部响应归一化层实现数据归一化操作，在3D卷积之后设计激活函数；
所述重建单元由6个卷积层、3个非线性激活函数层、4个局部响应归一化层和1个损失函数层组成，所述重建单元包括特征提取、特征增强、非线性映射和重建，它们的数学原理为：
F0(Y)＝Y (2)
Fl(Y)＝L[P(Wl*Fl-1(Y)+Bl)]，l＝1，2，3 (3)
Fl(Y)＝W4*F3(Y)+B4 (4)
式(2)-(4)中，Y为低分辨图像输入，F(Y)为高分辨图像输出，Wl为第l层滤波器，Bl为第l层偏置，P为非线性激活函数算子，L为局部响应归一化算子，l＝1为特征提取层，l＝2为特征增强层，l＝3为非线性映射层，l＝4为重建层，所述PreLU激活函数表达式为：
式(5)中，yj为第j个通道的输入，λ为自适应PReLU参数；
所述局部响应归一化算子为：
式(6)中，yj为为第j个通道的输入，M为Wl通道数，n为进行归一化的局部尺寸大小，α为缩放因子，β为指数项，k为初始化常数；
在模型训练中，采用标准高分辨遥感图像与重建图像像素值间的均方根误差作为损失函数，其表达式为：
Ψ＝{W1，W2，W3，W4，B1，B2，B3，B4，λ1，λ2，λ3，λ4} (7)
式(7)中，N为图像个数，Xi为真实高分辨遥感图像，Yi为插值低分辨图像输入，F4为最终映射，Ψ为需获得参数；
采用双边滤波削弱多波段彩色遥感图像双三次插值后的边缘效应，所述双边滤波表达式为：
式(8)中，I为待滤波色度空间图像，Kp为正则化因子，
为引入的导向图像，p，q为像素在图像中的坐标，Jp为相应位置的输出，f为权重分布函数，g为高斯函数，Ω为函数的作用域。
作为本发明进一步的实施例，所述检索单元包括特征学习模块和哈希学习模块，所述特征学习模块包含两个不同的深度卷积网络，用于提取遥感影像的影像特征和语义特征，所述影像特征采用深度学习网络模型，所述语义特征采用修正线性单元全连接层和恒等函数全连接层，所述哈希学习模块遵循规则：
首先获取遥感影像和语义标注的相似度，所述相似度函数为：
式(9)中，xi为遥感影像，yj为语义标注，Mij为相似度；
然后提取特征中学习到保持相似度的哈希码，所述相似度对数似然函数为：
式(10)中，F*i为深度卷积网络影像模块的输出，G*j为深度学习网络语义矢量的输出，θij为影像模块和语义模块网络参数乘积，p为对数似然函数，σ为逻辑回归函数；
最后对相似度函数优化，所述优化函数为：
式(11)中，B(x)，B(y)为符号函数，
为矩阵范数，γ为超参数。
作为本发明进一步的实施例，所述遥感大数据处理云平台用于执行任意一项所述的遥感大数据处理方法。
与现有技术相比，本发明有益的积极效果是：
本发明通过设置数据分类模块采用改进型双卷积池化结构的3D卷积高光谱影像模型的分类单元将数据进行分类，通过检索单元将用户所需数据进行提取，通过重建单元将提取的数据进行重建，为应急救灾、军事等具有时效性要求的行业，提供了大规模遥感影像数据快速计算的方式，为灾情地重构、再建和救援提供了遥感大数据不同的服务形式，满足了大规模遥感数据多样化处理的需求。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图，
图1为本发明总体架构示意图；
图2为本发明中数据处理模块构成示意图；
图3为改进型双卷积池化结构的3D卷积高光谱影像模型结构图。
图4为本发明采用的方法步骤示意图；
具体实施方式
下面将结合本文实施例中的附图，对本文实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本文一部分实施例，而不是全部的实施例。应该理解，这些描述只是示例性的，而并非要限制本发明的范围。此外，在以下说明中，省略了对公知结构和技术的描述，以避免不必要地混淆本发明的概念。
如图1-图3所示，一种遥感大数据处理系统，应用于遥感大数据处理云平台，包括通信接口、数据收集模块、数据传输模块、数据存储模块、数据处理模块、数据检索模块和数据重建模块；
通信接口通过网络运营商提供网络通信服务，每一个通信接口设置有与所述通信接口相对应的网络通信服务，所述通信接口包括RS232通信通道接口、RS485通信通道接口、TCP/IP通信信道接口、USB通信信道接口、WIFI通信信道接口或光纤通信信道接口；
数据收集模块用以接收大规模遥感影像数据和用户输入的任务信息，所述任务信息包括遥感图像产生时间、获取遥感图像的卫星类型和待查询区域的经纬度数据；
数据传输模块用于串口数据转换为IP数据或将IP数据转换为串口数据通过无线通信网络进行传送的无线终端设备；
数据存储模块用于存储数据信息，所述数据存储模块由多个存储元构成，所述数据存储模块包括索引存储模块、经纬度数据存储模块和时间数据存储模块；
数据处理模块用于将杂乱的数据进行清洗、分类和分析，从而找出每个遥感影像数据之间的联系，最后划分为多个类别的遥感信息类型；
数据检索模块用于根据所述任务信息设定条件查询每个区域对应的目标遥感图像信息；
数据重建模块用于重构用户在农林监测、城市规划和军事侦察中所需的高分辨遥感图像；
所述数据收集模块的输出端与所述通信接口的输入端连接，所述通信接口的输出端与所述数据传输模块的输入端连接，所述数据传输模块的输出端与所述数据处理模块的输入端连接，所述数据处理模块的输出端连接所述数据存储模块的输入端，所述数据处理模块的输出端连接所述数据检索模块的输入端，所述数据检索模块的输出端连接所述数据重建模块的输入端。
进一步地，所述数据收集模块包括传感器模块和电磁波模块，所述传感器模块用于探测和记录地面发射的电磁波，所述电磁波模块包括自然界电磁波、人工电磁波和地物自身电磁波。
所述数据收集模块的工作过程为：多光谱相机作为一种光学遥感器，既可以对物体成像，又可以测量物体的光谱特征。不同的树木，如松树、柳树、榕树、梧桐，在可见近红外谱段有着不同的光谱反射特征，同时它们在不同生长状态的光谱特征也有所不同。当照射在这些树木上的太阳光被反射时，其反射光中就包含了它们的光谱特征。装载在卫星平台上的多光谱相机可以接收到来自不同树木的反射光、散射光，生成含有图像和光谱信息的遥感数据，并将遥感数据通过信号调制发回地面。地面系统接收信号，加工处理后将图像数据传送给遥感应用系统。
进一步地，所述数据传输模块硬件组成部分主要包括图形处理器GPU控制模块、无线通讯模块和电源模块，所述电源模块连接所述GPU控制模块，所述GPU控制模块连接所述无线通信模块；所述GPU控制模块采用核心技术有硬体T&L、立方环境材质贴图和顶点混合、纹理压缩和凹凸映射贴图和双重纹理四像素256位渲染引擎，所述无线通讯模块采用GPRS通信网络，所述GPRS通信网络内部封装了PPP拨号协议以及TCP/IP协议栈，通过所述无线模块将收集的信息数据接收。
所述数据传输模块工作原理为：GPU是一种可以对图形进行快速处理的处理器，它可以在更短的时间内处理更多的图形，它在计算机系统中专门用于渲染图形，它可以像中央处理器一样处理数据，但它的处理能力要比中央处理器太得多，它可以在短时间内完成大量的图形处理任务，而不会影响主处理器的性能，GPU可以像中央处理器一样执行复杂的运算，但它可以在更短的时间内完成更多的运算，而且它可以支持更多的渲染通道，因此它可以支持大量的渲染任务，从而大大提高电脑的图形处理速度。
进一步地，所述数据处理模块包括区域划分模块、数据分类模块和数据清洗模块，所述区域划分模块连接数据分类模块，所述数据分类模块连接数据清洗模块，所述数据清洗模块包括遗漏数据处理子模块和噪声数据处理子模块，所述遗漏数据子处理模块用于填补数残缺的部分，所述噪声数据处理子模块用于修正数据的异常部分。
所述区域划分模块可以根据经纬度信息，省市地理图将遥感数据进行省、市、县和乡等行政区域的划分,以达到快速分析处理的目的，所述遗漏数据子处理模块是利用同类别均值进行遗漏值填补的,所述噪声数据处理子模块采用聚类分析方法帮助发现异常数据,相似或相邻近的数据聚合在一起形成了各个聚类集合,位于聚类集合之外的数据对象被认为是异常数据然后自动清除。
进一步地，所述数据检索模块包括数据仓库服务器、知识库、检索引擎和用户界面，所述数据仓库服务器连接知识库，所述知识库连接检索引擎，所述用户界面数据设置所述检索引擎。
所述数据检索模块的工作过程为：用户在所述用户界面的检索引擎内输入所需信息，所述检索引擎采用检索算法，从所述知识库内调取相关遥感数据特征，所述数据仓库服务器为检索过程提供庞大计算能力。
进一步地，所述数据重建模块包括点云计算模块、点云配准模块、数据融合模块、表面生成模块和评估模块，所述点云计算模块将图像像素坐标系转换为世界坐标系，所述点云配准模块用于将不同时间、角度和照度获取的多帧图像叠加匹配到统一的坐标系，所述数据融合模块用于获取更加精细的重建模型，所述表面生成模块用于构造物体的可视等值面，所述评估模块用于评价重建模型的完整度，所述点云计算模块连接点云配准模块，所述点云配准模块连接数据融合模块，所述数据融合模块连接表面生成模块，所述表面生成模块连接评估模块。
所述数据重建模块的工作过程为：将经过去噪和修正的遥感数据转化为深度图像，深度图像中像素点的值是深度信息，表示物体表面到传感器之间的直线距离，以毫米为单位。以摄像机成像原理为基础，可是使用相机内参计算深度图中的像素点在世界坐标系下的坐标，即点云，对于多帧通过不同角度，位置拍摄的景物图像，各帧之间包含一定的公共部分，首先需要提取出这些部分中有代表的特征点并一一对应，从而为接下来的参数估计做准备。为了利用深度图像进行三维重建，需要对图像进行分析，求解各帧之间的变换参数，深度图像的配准是以场景的公共部分为基准，计算出相应的平移向量与旋转矩阵，从而把不同时间、角度、照度获取的多帧图像叠加匹配到统一的坐标系中，同时消除冗余信息，再对点云进行三角剖分获得三角面片，才能形成最终的三维模型。
如图4所示，一种遥感大数据处理方法，应用于遥感大数据处理云平台，包括以下步骤：
步骤1、利用数据收集模块中传感器模块接受地物自身电磁波和人为发射电磁波；
步骤2、将收集到的电磁波数据经过区域划分、数据分类和数据清洗,清除异常数据,然后再采用基于硬盘的分布式队列的方式将数据导入大型的分布式文件系统；
步骤3、通过数据存储模块将处理结果按照区域、索引、经纬度和时间统一存储，所述处理结果通过数据处理模块计算得出，所述数据处理模块利用分布式数据库或分布式计算集群来对存储于其内的海量数据通过改进型双卷积池化结构的3D卷积高光谱影像模型的分类单元进行分类；
步骤4、采用检索单元将存储于其内的海量遥感数据进行分类汇总与相关抽取，以满足用户的遥感数据需求；
步骤5、采用重建单元将用户提取的遥感数据转换为遥感影像，以便于用户的进一步分析。
进一步地，所述改进型双卷积池化结构的3D卷积高光谱影像模型包括分类单元、检索单元、学习单元和重建单元，所述分类单元的表达式为：
式(1)中，i表示第i层神经元，j表示第j个特征图，Pi和Qi是卷积核的高和宽，Ri是卷积核沿着光谱维度的维数大小，m表示与前一层中连接的特征个数，与每层的特征维度相关，
是与第m个特征中第(p，q，r)个神经元连接的权重，bij是在第i层神经元上第j个特征图的偏差值，g是激活函数Relu函数；
所述学习单元采用双卷积池化结构，包括4个卷积层、2个归一层和2个池化层，在连续2个卷积层间不设置池化层，用于特征信息的保留和传递，在3D卷积核上设置L1正则，以避免在神经网络深度有限的前提下产生过拟合，在双卷积层后采用最大值池化，在每个卷积设置局部响应归一化层实现数据归一化操作，在3D卷积之后设计激活函数；
所述重建单元由6个卷积层、3个非线性激活函数层、4个局部响应归一化层和1个损失函数层组成，所述重建单元包括特征提取、特征增强、非线性映射和重建，它们的数学原理为：
F0(Y)＝Y (2)
Fl(Y)＝L[P(Wl*Fl-1(Y)+Bl)]，l＝1，2，3 (3)
Fl(Y)＝W4*F3(Y)+B4 (4)
式(2)-(4)中，Y为低分辨图像输入，F(Y)为高分辨图像输出，Wl为第l层滤波器，Bl为第l层偏置，P为非线性激活函数算子，L为局部响应归一化算子，l＝1为特征提取层，l＝2为特征增强层，l＝3为非线性映射层，l＝4为重建层，所述PreLU激活函数表达式为：
式(5)中，yj为第j个通道的输入，λ为自适应非线性激活函数参数；
所述局部响应归一化算子为：
式(6)中，yj为为第j个通道的输入，M为Wl通道数，n为进行归一化的局部尺寸大小，α为缩放因子，β为指数项，k为初始化常数；
在模型训练中，采用标准高分辨遥感图像与重建图像像素值间的均方根误差作为损失函数，其表达式为：
Ψ＝{W1，W2，W3，W4，B1，B2，B3，B4，λ1，λ2，λ3，λ4} (7)
式(7)中，N为图像个数，Xi为真实高分辨遥感图像，Yi为插值低分辨图像输入，F4为最终映射，Ψ为需获得参数；
采用双边滤波削弱多波段彩色遥感图像双三次插值后的边缘效应，所述双边滤波表达式为：
式(8)中，I为待滤波色度空间图像，Kp为正则化因子，
为引入的导向图像，p，q为像素在图像中的坐标，Jp为相应位置的输出，f为权重分布函数，g为高斯函数，Ω为函数的作用域。
所述分类单元的工作原理为：双卷积池化结构包括两个卷积层、两个局部响应归一化层和一个池化层，既考虑到高光谱遥感影像标签数据缺乏的问题，也考虑到高光谱影像高维特性和模型深度之间的平衡问题，模型充分利用空谱联合提供的语义信息，有利于提取小样本和高维特性的高光谱影像特征。学习单元将没有经过特征处理的3D遥感影像作为输入数据，产生的深度学习分类器模型以端到端的方式训练，不需要做复杂的预处理，此外模型使用了局部响应归一化和随机失活等正则化策略以避免过拟合现象。
所述重建单元的工作原理为：首先构造基于六层卷积的深度神经网络结构，并在结构中前三层卷积后添加参数修正线性单元层和局部响应归一化层进行优化，经过训练得到遥感图像超分辨率重建模型，其次，对多波段遥感图像的亮度空间进行双三次插值，然后使用该模型对插值结果进行重建，并在亮度空间重建结果指导下，使用联合双边滤波来提升其色度空间边缘细节。
进一步地，所述检索包括特征学习模块和哈希学习模块，所述特征学习模块包含两个不同的深度卷积网络，用于提取遥感影像的影像特征和语义特征，所述影像特征采用卷积网络模型，所述语义特征采用修正线性单元全连接层和恒等函数全连接层，所述哈希学习模块遵循规则：
首先获取遥感影像和语义标注的相似度，所述相似度函数为：
式(9)中，xi为遥感影像，yj为语义标注，Mij为相似度；
然后提取特征中学习到保持相似度的哈希码，所述相似度对数似然函数为：
式(10)中，F*i为深度卷积网络影像模块的输出，G*j为深度学习网络语义矢量的输出，θij为影像模块和语义模块网络参数乘积，p为对数似然函数，σ为逻辑回归函数；
最后对相似度函数优化，所述优化函数为：
式(11)中，B(x)，B(y)为符号函数，
为矩阵范数，γ为超参数。
所述检索单元的工作原理为：首先在具有多语义标签的遥感影像数据训练集的基础上，利用两个不同配置参数的深度卷积网络分别提取遥感影像的影像特征和语义特征，然后利用后向传播算法针对提取的两类特征学习出深度网络中的各项参数并生成遥感影像的二进制哈希码。生成的二进制哈希码之间能够有效保持原始高维遥感影像的相似性。
进一步地，所述遥感大数据处理云平台用于执行任意一项所述的遥感大数据处理方法。
虽然以上描述了本发明的具体实施方式，但是本领域的技术人员应当理解，这些具体实施方式仅是举例说明，本领域的技术人员在不脱离本发明的原理和实质的情况下，可以对上述方法和系统的细节进行各种省略、替换和改变。例如，合并上述方法步骤，从而按照实质相同的方法执行实质相同的功能以实现实质相同的结果则属于本发明的范围。因此，本发明的范围仅由所附权利要求书限定。
Claims (10)
1.一种遥感大数据处理系统，其特征在于：应用于遥感大数据处理云平台，包括通信接口、数据收集模块、数据传输模块、数据存储模块、数据处理模块、数据检索模块和数据重建模块；
通信接口通过网络运营商提供网络通信服务，每一个通信接口设置有与所述通信接口相对应的网络通信服务，所述通信接口包括RS232通信通道接口、RS485通信通道接口、TCP/IP通信信道接口、USB通信信道接口、WIFI通信信道接口或光纤通信信道接口；
数据收集模块用以接收大规模遥感影像数据和用户输入的任务信息，所述任务信息包括遥感图像产生时间、获取遥感图像的卫星类型和待查询区域的经纬度数据；
数据传输模块用于串口数据转换为IP数据或将IP数据转换为串口数据通过无线通信网络进行传送的无线终端设备；
数据存储模块用于存储数据信息，所述数据存储模块由多个存储元构成，所述数据存储模块包括索引存储模块、经纬度数据存储模块和时间数据存储模块；
数据处理模块用于将杂乱的数据进行清洗、分类和分析，从而找出每个遥感影像数据之间的联系，最后划分为多个类别的遥感信息类型；
数据检索模块用于根据所述任务信息设定条件查询每个区域对应的目标遥感图像信息；
数据重建模块用于重构用户在农林监测、城市规划和军事侦察中所需的高分辨遥感图像；
所述数据收集模块的输出端与所述通信接口的输入端连接，所述通信接口的输出端与所述数据传输模块的输入端连接，所述数据传输模块的输出端与所述数据处理模块的输入端连接，所述数据处理模块的输出端连接所述数据存储模块的输入端，所述数据处理模块的输出端连接所述数据检索模块的输入端，所述数据检索模块的输出端连接所述数据重建模块的输入端。
2.根据权利要求1所述的一种遥感大数据处理系统，其特征在于：所述数据收集模块包括传感器模块和电磁波模块，所述传感器模块用于探测和记录地面发射的电磁波，所述电磁波模块包括自然界电磁波、人工电磁波和地物自身电磁波。
3.根据权利要求1所述的一种遥感大数据处理系统，其特征在于：所述数据传输模块硬件组成部分包括GPU控制模块、无线通讯模块和电源模块，所述电源模块连接所述GPU控制模块，所述GPU控制模块连接所述无线通信模块；所述GPU控制模块采用核心技术有硬体T&L、立方环境材质贴图和顶点混合、纹理压缩和凹凸映射贴图和双重纹理四像素256位渲染引擎，所述无线通讯模块采用GPRS通信网络，所述GPRS通信网络内部封装了PPP拨号协议以及TCP/IP协议栈，通过所述无线模块将收集的信息数据接收。
4.根据权利要求1所述的一种遥感大数据处理系统，其特征在于：所述数据处理模块包括区域划分模块、数据分类模块和数据清洗模块，所述区域划分模块连接数据分类模块，所述数据分类模块连接数据清洗模块，所述数据清洗模块包括遗漏数据处理子模块和噪声数据处理子模块，所述遗漏数据子处理模块用于填补数残缺的部分，所述噪声数据处理子模块用于修正数据的异常部分。
5.根据权利要求1所述的一种遥感大数据处理系统，其特征在于：所述数据检索模块包括数据仓库服务器、知识库、检索引擎和用户界面，所述数据仓库服务器连接知识库，所述知识库连接检索引擎，所述用户界面数据设置所述检索引擎。
6.根据权利要求1所述的一种遥感大数据处理系统，其特征在于：所述数据重建模块包括点云计算模块、点云配准模块、数据融合模块、表面生成模块和评估模块，所述点云计算模块将图像像素坐标系转换为世界坐标系，所述点云配准模块用于将不同时间、角度和照度获取的多帧图像叠加匹配到统一的坐标系，所述数据融合模块用于获取更加精细的重建模型，所述表面生成模块用于构造物体的可视等值面，所述评估模块用于评价重建模型的完整度，所述点云计算模块连接点云配准模块，所述点云配准模块连接数据融合模块，所述数据融合模块连接表面生成模块，所述表面生成模块连接评估模块。
7.一种应用权利要求1-6中任意一项权利要求所述的一种遥感大数据进行数据处理的方法，其特征在于：应用于遥感大数据处理云平台，所述方法包括以下步骤，
步骤1、利用数据收集模块中传感器模块接受地物自身电磁波和人为发射电磁波；
步骤2、将收集到的电磁波数据经过区域划分、数据分类和数据清洗,清除异常数据,然后再采用基于硬盘的分布式队列的方式将数据导入大型的分布式文件系统；
步骤3、通过数据存储模块将处理结果按照区域、索引、经纬度和时间统一存储，所述处理结果通过数据处理模块计算得出，所述数据处理模块利用分布式数据库或分布式计算集群来对存储于其内的海量数据通过改进型双卷积池化结构的3D卷积高光谱影像模型的分类单元进行分类；
步骤4、采用检索单元将存储于其内的海量遥感数据进行分类汇总与相关抽取,以满足用户的遥感数据需求；
步骤5、采用重建单元将用户提取的遥感数据转换为遥感影像，以便于用户的进一步分析。
8.根据权利要求7所述的一种遥感大数据处理方法，其特征在于：所述改进型双卷积池化结构的3D卷积高光谱影像模型包括分类单元、检索单元、学习单元和重建单元，所述分类单元的表达式为：
式(1)中，i表示第i层神经元，j表示第j个特征图，Pi和Qi是卷积核的高和宽，Ri是卷积核沿着光谱维度的维数大小，m表示与前一层中连接的特征个数，与每层的特征维度相关，
是与第m个特征中第(p,q,r)个神经元连接的权重，bij是在第i层神经元上第j个特征图的偏差值，g是激活函数Relu函数；
所述学习单元采用双卷积池化结构，包括4个卷积层、2个归一层和2个池化层，在连续2个卷积层间不设置池化层，用于特征信息的保留和传递，在3D卷积核上设置L1正则，以避免在神经网络深度有限的前提下产生过拟合，在双卷积层后采用最大值池化，在每个卷积设置局部响应归一化层实现数据归一化操作，在3D卷积之后设计激活函数；
所述重建单元由6个卷积层、3个非线性激活函数层、4个局部响应归一化层和1个损失函数层组成，所述重建单元包括特征提取、特征增强、非线性映射和重建，它们的数学原理为：
F0(Y)＝Y (2)
Fl(Y)＝L[P(Wl*Fl-1(Y)+Bl)],l＝1,2,3 (3)
Fl(Y)＝W4*F3(Y)+B4 (4)
式(2)-(4)中，Y为低分辨图像输入，F(Y)为高分辨图像输出，Wl为第l层滤波器，Bl为第l层偏置，P为非线性激活函数算子，L为局部响应归一化算子，l＝1为特征提取层，l＝2为特征增强层，l＝3为非线性映射层，l＝4为重建层，所述PreLU激活函数表达式为：
式(5)中，yj为第j个通道的输入，λ为自适应非线性激活函数参数；
所述局部响应归一化算子为：
式(6)中，yj为为第j个通道的输入，M为Wl通道数，n为进行归一化的局部尺寸大小，α为缩放因子，β为指数项，k为初始化常数；
在模型训练中，采用标准高分辨遥感图像与重建图像像素值间的均方根误差作为损失函数，其表达式为:
Ψ＝{W1,W2,W3,W4,B1,B2,B3,B4,λ1,λ2,λ3,λ4} (7)
式(7)中，N为图像个数，Xi为真实高分辨遥感图像，Yi为插值低分辨图像输入，F4为最终映射，Ψ为需获得参数；
采用双边滤波削弱多波段彩色遥感图像双三次插值后的边缘效应，所述双边滤波表达式为：
式(8)中，I为待滤波色度空间图像，Kp为正则化因子，
为引入的导向图像，p,q为像素在图像中的坐标，Jp为相应位置的输出，f为权重分布函数，g为高斯函数，Ω为函数的作用域。
9.根据权利要求7所述的一种遥感大数据处理方法，其特征在于：所述检索单元包括特征学习模块和哈希学习模块，所述特征学习模块包含两个不同的深度卷积网络，用于提取遥感影像的影像特征和语义特征，所述影像特征采用深度学习网络模型，所述语义特征采用修正线性单元全连接层和恒等函数全连接层，所述哈希学习模块遵循规则：
首先获取遥感影像和语义标注的相似度，所述相似度函数为：
式(9)中，xi为遥感影像，yj为语义标注，Mij为相似度；
然后提取特征中学习到保持相似度的哈希码，所述相似度对数似然函数为：
式(10)中，F*i为深度卷积网络影像模块的输出，G*j为深度学习网络语义矢量的输出,θij为影像模块和语义模块网络参数乘积，p为对数似然函数，σ为逻辑回归函数；
最后对相似度函数优化，所述优化函数为：
式(11)中，B(x)，B(y)为符号函数，
为矩阵范数，γ为超参数。
10.一种遥感大数据处理云平台，其特征在于：所述遥感大数据处理云平台用于执行权利要求1-9任意一项所述的遥感大数据处理方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310410339.8A CN116385902A (zh) | 2023-04-18 | 2023-04-18 | 一种遥感大数据处理方法、系统及云平台 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310410339.8A CN116385902A (zh) | 2023-04-18 | 2023-04-18 | 一种遥感大数据处理方法、系统及云平台 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN116385902A true CN116385902A (zh) | 2023-07-04 |
Family
ID=86973126
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202310410339.8A Pending CN116385902A (zh) | 2023-04-18 | 2023-04-18 | 一种遥感大数据处理方法、系统及云平台 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN116385902A (zh) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116664989A (zh) * | 2023-07-28 | 2023-08-29 | 四川发展环境科学技术研究院有限公司 | 基于环境要素智能识别监测系统的数据分析方法及系统 |
| CN116958717A (zh) * | 2023-09-20 | 2023-10-27 | 山东省地质测绘院 | 基于机器学习的地质大数据智能清洗方法 |
-
2023
- 2023-04-18 CN CN202310410339.8A patent/CN116385902A/zh active Pending
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116664989A (zh) * | 2023-07-28 | 2023-08-29 | 四川发展环境科学技术研究院有限公司 | 基于环境要素智能识别监测系统的数据分析方法及系统 |
| CN116664989B (zh) * | 2023-07-28 | 2023-09-29 | 四川发展环境科学技术研究院有限公司 | 基于环境要素智能识别监测系统的数据分析方法及系统 |
| CN116958717A (zh) * | 2023-09-20 | 2023-10-27 | 山东省地质测绘院 | 基于机器学习的地质大数据智能清洗方法 |
| CN116958717B (zh) * | 2023-09-20 | 2023-12-12 | 山东省地质测绘院 | 基于机器学习的地质大数据智能清洗方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Kattenborn et al. | Review on Convolutional Neural Networks (CNN) in vegetation remote sensing | |
| CN108573276B (zh) | 一种基于高分辨率遥感影像的变化检测方法 | |
| CN116385902A (zh) | 一种遥感大数据处理方法、系统及云平台 | |
| CN110728197B (zh) | 基于深度学习的单木级树种识别方法 | |
| Li et al. | A review on deep learning techniques for cloud detection methodologies and challenges | |
| CN112419333B (zh) | 一种遥感影像自适应特征选择分割方法及系统 | |
| Lian et al. | Large-scale semantic 3-D reconstruction: Outcome of the 2019 IEEE GRSS data fusion contest—Part B | |
| CN114022408A (zh) | 基于多尺度卷积神经网络的遥感图像云检测方法 | |
| CN115222896B (zh) | 三维重建方法、装置、电子设备及计算机可读存储介质 | |
| CN113435254A (zh) | 一种基于哨兵二号影像的耕地深度学习提取方法 | |
| CN115861619A (zh) | 一种递归残差双注意力核点卷积网络的机载LiDAR城市点云语义分割方法与系统 | |
| Ji et al. | Exploring the solutions via Retinex enhancements for fruit recognition impacts of outdoor sunlight: a case study of navel oranges | |
| Srivastava et al. | Feature-Based Image Retrieval (FBIR) system for satellite image quality assessment using big data analytical technique | |
| CN116503602A (zh) | 基于多层级边缘增强的非结构化环境三维点云语义分割方法 | |
| CN116452872A (zh) | 一种基于改进的Deeplabv3+的森林场景树种分类方法 | |
| Caros et al. | Object segmentation of cluttered airborne lidar point clouds | |
| CN115294467A (zh) | 茶叶病害的检测方法及相关装置 | |
| Zhu et al. | Computer image analysis for various shading factors segmentation in forest canopy using convolutional neural networks | |
| Zhang et al. | Objective evaluation-based efficient learning framework for hyperspectral image classification | |
| Bhagat et al. | Multimodal sensor fusion using symmetric skip autoencoder via an adversarial regulariser | |
| Yaman et al. | Image processing and machine learning‐based classification method for hyperspectral images | |
| Yang et al. | Improving Semantic Segmentation Performance by Jointly Using High Resolution Remote Sensing Image and Ndsm | |
| Luo et al. | OB-ConvLSTM: A sequential remote sensing crop classification model with OBIA and ConvLSTM models | |
| Mukhandi et al. | Systematic Sampling of Large-Scale LiDAR Point Clouds for Semantic Segmentation in Forestry Robotics | |
| Zhang et al. | Research on Single Object Detection Technology Based on Infrared Multi-spectrum Fusion |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |