CN117271458A - 一种多源遥感信息数据共享系统及方法 - Google Patents
一种多源遥感信息数据共享系统及方法 Download PDFInfo
- Publication number
- CN117271458A CN117271458A CN202311237743.6A CN202311237743A CN117271458A CN 117271458 A CN117271458 A CN 117271458A CN 202311237743 A CN202311237743 A CN 202311237743A CN 117271458 A CN117271458 A CN 117271458A
- Authority
- CN
- China
- Prior art keywords
- data
- remote sensing
- sharing
- layer
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 54
- 238000012545 processing Methods 0.000 claims abstract description 38
- 238000013500 data storage Methods 0.000 claims abstract description 22
- 238000007781 pre-processing Methods 0.000 claims abstract description 17
- 238000013473 artificial intelligence Methods 0.000 claims abstract description 12
- 238000005516 engineering process Methods 0.000 claims abstract description 11
- 238000003860 storage Methods 0.000 claims abstract description 9
- 238000012544 monitoring process Methods 0.000 claims description 30
- 230000008569 process Effects 0.000 claims description 30
- 238000012937 correction Methods 0.000 claims description 22
- 238000012360 testing method Methods 0.000 claims description 17
- 230000005855 radiation Effects 0.000 claims description 14
- 230000010354 integration Effects 0.000 claims description 13
- 238000001556 precipitation Methods 0.000 claims description 10
- 230000009466 transformation Effects 0.000 claims description 10
- 230000002159 abnormal effect Effects 0.000 claims description 8
- 230000003287 optical effect Effects 0.000 claims description 8
- 230000008859 change Effects 0.000 claims description 7
- 230000002776 aggregation Effects 0.000 claims description 6
- 238000004220 aggregation Methods 0.000 claims description 6
- 238000001514 detection method Methods 0.000 claims description 6
- 238000005259 measurement Methods 0.000 claims description 6
- 238000012986 modification Methods 0.000 claims description 6
- 230000004048 modification Effects 0.000 claims description 6
- 238000012549 training Methods 0.000 claims description 6
- 238000011156 evaluation Methods 0.000 claims description 5
- 230000006872 improvement Effects 0.000 claims description 5
- 238000012800 visualization Methods 0.000 claims description 5
- 238000010276 construction Methods 0.000 claims description 4
- 238000004519 manufacturing process Methods 0.000 claims description 4
- 238000007619 statistical method Methods 0.000 claims description 4
- 238000013136 deep learning model Methods 0.000 claims description 3
- 230000006870 function Effects 0.000 claims description 3
- 238000005457 optimization Methods 0.000 claims description 3
- 238000003908 quality control method Methods 0.000 claims description 3
- 238000012546 transfer Methods 0.000 claims description 3
- 238000013527 convolutional neural network Methods 0.000 claims description 2
- 238000005520 cutting process Methods 0.000 claims description 2
- 238000009826 distribution Methods 0.000 claims description 2
- 230000008713 feedback mechanism Effects 0.000 claims description 2
- 230000036541 health Effects 0.000 claims description 2
- 230000002452 interceptive effect Effects 0.000 claims description 2
- 239000003305 oil spill Substances 0.000 claims description 2
- 239000000049 pigment Substances 0.000 claims description 2
- 230000000191 radiation effect Effects 0.000 claims description 2
- 230000009467 reduction Effects 0.000 claims description 2
- 239000002689 soil Substances 0.000 claims description 2
- 238000001228 spectrum Methods 0.000 claims description 2
- 239000002352 surface water Substances 0.000 claims description 2
- 238000012876 topography Methods 0.000 claims description 2
- 238000013526 transfer learning Methods 0.000 claims description 2
- 230000000007 visual effect Effects 0.000 claims description 2
- 238000011990 functional testing Methods 0.000 claims 1
- 238000011056 performance test Methods 0.000 claims 1
- 238000007726 management method Methods 0.000 abstract description 4
- 238000004458 analytical method Methods 0.000 description 9
- 238000013439 planning Methods 0.000 description 6
- 238000011161 development Methods 0.000 description 5
- 230000007613 environmental effect Effects 0.000 description 5
- 238000013145 classification model Methods 0.000 description 4
- 238000010586 diagram Methods 0.000 description 4
- 238000012795 verification Methods 0.000 description 4
- 230000009471 action Effects 0.000 description 3
- 238000012384 transportation and delivery Methods 0.000 description 3
- 238000013459 approach Methods 0.000 description 2
- 230000004927 fusion Effects 0.000 description 2
- 230000004888 barrier function Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 230000000052 comparative effect Effects 0.000 description 1
- 239000000306 component Substances 0.000 description 1
- 239000008358 core component Substances 0.000 description 1
- 238000007405 data analysis Methods 0.000 description 1
- 238000013075 data extraction Methods 0.000 description 1
- 238000013523 data management Methods 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 238000004801 process automation Methods 0.000 description 1
- 238000009877 rendering Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
Landscapes
- Image Processing (AREA)
Abstract
本发明公开了一种多源遥感信息数据共享系统及方法,属于遥感技术领域。本发明旨在解决现有遥感数据处理和共享中的问题。该系统包括数据接入层、数据存储层、数据处理层、数据展示层和数据共享层。数据接入层支持多种遥感数据源,包括卫星和航空遥感数据,实现全面的数据获取。数据存储层采用多种数据库类型,确保遥感数据的高效存储和管理。数据处理层借助图像处理和人工智能技术,对遥感数据进行预处理、分类和汇聚。数据展示层支持多维度的数据查询和展示。数据共享层通过多种方式实现数据的共享,覆盖多个行业和场景。该系统通过自动化管理,提高了遥感数据处理和共享的效率,为各个领域提供了丰富的遥感数据资源。
Description
技术领域
本发明涉及遥感技术领域,具体为一种多源遥感信息数据共享系统及方法。
背景技术
随着遥感技术的不断发展,遥感技术在农业、林业、海洋、气象、水文、环保等多领域广泛应用,随之出现了众多遥感数据处理与分析平台和遥感数据共享方法,平台和方法的主要作用是对遥感数据进行预处理及分析分类,然后将数据提供给行业客户、个人客户。遥感数据共享平台的发展解决了非遥感专业公司、个人获取和使用遥感数据的技术壁垒,极大地促进了遥感在各行业的应用。
现有技术中,遥感数据的获取、存储、处理、分析、共享等各个环节往往是分散、独立的,缺乏全链条流程统一规划,导致业务流程割裂,难以提供全套的解决方案。现有技术缺乏统一高效的数据管理规划,导致数据存储、提取、分析等方面存在困难,数据无法充分发挥其价值。虽然遥感技术发展迅猛,但在人工智能等先进技术的应用方面仍然存在问题,流程依赖大量人工干预,难以简化流程和提高行业匹配准确性。
对比专利号:CN109905464A一种基于区块链的分布式遥感数据共享系统,本发明涵盖了数据接入、存储、智能处理、展示、共享全业务流程;在数据存储层除基础的遥感数据存储外,还设计了热点数据存储支撑热点数据共享;运用人工智能技术快速、智能地对遥感影像进行行业分类。
发明内容
本发明的目的在于提供一种多源遥感信息数据共享系统及方法,以解决上述背景技术中提出的问题。
为了解决上述技术问题,本发明提供如下技术方案:
一种多源遥感信息数据共享系统包括数据接入层、数据存储层、数据处理层、数据展示层、数据共享层;
所述数据接入层包含气象卫星获取系统、资源卫星获取系统、海洋卫星获取系统、航空遥感数据获取系统和其他数据获取系统,接入多源遥感数据;
所述数据存储层包含不同类型的数据库,所述数据库用于数据的存储,包含分布式文件系统、关系型数据库、非关系型数据库、内存数据库;
所述数据处理层包含图像处理模块、人工智能模块、汇聚叠加模块、统计分析模块;负责遥感数据的预处理生成标准化数据,利用人工智能进行分类、汇聚、叠加自动化生成根据行业、场景分类的遥感数据;
所述数据展示层包含分行业检索、分级别检索、分地域检索、分场景检索、影像展示,根据检索条件展示数据;
所述数据共享层的共享方式包含API、FTP、光盘,涵盖的行业包含智慧城市、智慧应急、智慧农林、智慧渔业、智慧环境。
在数据接入层中,所述气象卫星获取系统收集的数据包括卫星图像、温度、湿度、云覆盖、降水、风速、风向、气压、太阳辐射、地表温度;
所述资源卫星获取系统收集的数据包括多光谱图像、红外线图像、合成孔径雷达图像、数字高程模型、土壤湿度数据、地表水质数据、土地变化监测数据;
所述海洋卫星获取系统收集的数据包括海洋表面温度数据、海洋表面高度数据、海洋风速和风向数据、海洋生态系统监测数据、海洋色素数据、海洋表面溢油监测数据、海洋冰川和冰盖监测数据、海洋地形数据;
所述航空遥感数据获取系统收集的数据包括航拍图像、红外线图像、激光雷达数据、多光谱图像、热红外线图像、多光谱LiDAR数据、电磁谱数据、航空磁力数据、视频数据。
所述其他数据获取系统包括水文测量系统、空气质量监测站、地震和地质监测网络、太空望远镜。
所述数据存储层存储原始遥感数据、预处理遥感数据、元数据、热点数据、切片数据;所述原始遥感数据是从各种遥感数据源直接获取的未经处理的原始数据;所述预处理遥感数据是对原始遥感数据进行一系列处理步骤后生成的数据;所述元数据包括数据标识符、数据来源、数据采集时间、数据类型、数据格式、地理坐标系统、分辨率、数据质量信息、数据处理历史、数据访问权限、关联数据、数据所有者、数据使用说明、数据关键词、数据文件大小、数据版本信息;所述热点数据是在特定时间段内或特定地理区域内具有高度关注或重要性的数据;所述切片数据是将大型遥感数据集分成较小的切片或块的过程。
原始遥感数据通常以各种格式(如图像、传感器读数等)存在,并可能具有不同的分辨率和数据类型。这些数据在存储层中以原始状态保存,以保留数据的完整性和准确性。经过预处理的遥感数据是在数据处理层进行预处理操作(如辐射校正、几何校正、投影变换等)后,生成的标准化数据被存储在这一层,这些数据更容易分析和共享。
部分数据会被标识为热点数据,所述热点数据存储用于存储经常访问的、具有高价值的数据,以提高数据访问速度。这些数据是常用的图层、地理信息系统(GIS)数据等,用于支持快速查询和可视化。
切片数据存储用于存储已经处理过的遥感图像的切片,以便于实时地图渲染和在线地图服务。这对于地理信息系统应用非常重要。
数据存储层使用数据库管理系统(DBMS)来管理和组织数据。这些系统是关系型数据库(如MySQL、PostgreSQL)、非关系型数据库(如MongoDB、Cassandra)或内存数据库(如Redis)。不同的数据库类型用于不同的数据存储需求,例如事务处理、文档存储或缓存。
所述分布式文件系统是一种用于管理大型文件和数据的系统,以下是分布式文件系统的执行步骤:
S5-1、用户将原始遥感数据或处理后数据上传到分布式文件系统,上传通过文件传输协议FTP或API进行;
S5-2、对于大型文件,分布式文件系统将其分割成块或切片,每个切片具有唯一的标识符;所述每个切片的大小为B百兆字节,其中B是用户设置的一个正整数;
S5-3、分布式文件系统将文件块或切片复制到多个存储节点上;
S5-4、分布式文件系统存储元数据;
S5-5、用户和应用程序通过分布式文件系统的接口或API访问存储的数据;文件系统负责管理数据的分发和访问权限;
所述大型文件是单个文件大小超过A千兆字节的文件,其中A是用户设置的一个正整数。
在数据处理层中,预处理生成标准化数据的步骤如下:
S6-1、从数据存储层中获取原始遥感数据;
S6-2、对于光学遥感数据,进行辐射校正;所述辐射校正是校正图像以消除来自大气和传感器的辐射效应;
S6-3、通过几何校正将遥感数据校正为地球表面的真实坐标;
S6-4、通过投影变换将遥感数据转换为所需的坐标系统;
S6-5、通过图像修饰,对遥感图像进行改进,以增强图像的可视化质量和解释性;所述图像修饰包括色彩平衡、对比度增强、噪声降低;
S6-6、根据用户需求和应用场景,将图像裁剪为特定的区域或兴趣区域;
S6-7、生成元数据;
S6-8、将数据采用标准数据格式,所述标准数据格式包括GeoTIFF、NetCDF、HDF;
S6-9、对处理后的数据进行质量控制检查;
S6-10、将经过预处理的标准化数据存储回数据存储层。
在数据处理层中,利用人工智能进行分类、汇聚和叠加的步骤如下:
S7-1、使用卷积神经网络提取遥感图像的特征;
S7-2、针对所需的行业和场景分类任务,训练深度学习模型;训练模型需要大量的标记数据,其中包括图像和相应的分类标签;
S7-3、模型训练完成后,使用模型自动分类遥感图像;
S7-4、汇聚将相同行业或场景类别的图像叠加在一起,通过地理信息系统技术实现;
S7-5、将不同数据源的信息叠加在一起;
S7-6、将整个过程自动化,通过批量处理和脚本编程实现;
S7-7、持续监控模型的性能,并根据需要对其进行改进;通过不断添加新的标记数据、微调模型参数或采用迁移学习的方法实现。
图像处理模块负责对遥感图像进行一系列的处理操作,以确保数据的质量和准确性。这些操作包括辐射校正(对抗光照变化)、几何校正(修复地球表面的形状和位置偏差)、投影变换(将数据投射到标准坐标系统中)、图像整饰(去除噪声、云、阴影等)、图像镶嵌(将多个图像拼接成一个连续图像)以及图像裁剪(提取感兴趣的区域)。
人工智能模块是数据处理层的核心组件之一。它使用机器学习和深度学习技术,包括目标识别模型、场景分类模型、行业分类模型、影像融合模型、变化检测模型等,对遥感数据进行自动化分类、识别和分析。这些模型可以根据具体的应用需求,将遥感数据分类为不同的行业、场景或物体,并提供有关这些数据的详细信息。
汇聚叠加模块负责多源遥感数据的集成和叠加。它可以进行多维度的汇聚,将不同来源的数据融合在一起,以创建更丰富的信息图层。这个模块可以细粒度分层、图层智能叠加、智能切片等,以生成更高级别的遥感数据产品。
统计分析模块用于对处理后的遥感数据进行分析和统计。它可以执行各种统计操作,如影像质量统计(分析数据的准确性和可用性)、影像数量统计(统计数据的数量)、行业热度统计(分析行业的关注度)以及级别热度统计(分析数据级别的使用频率)。这些统计信息可以帮助业务管理员进行科学决策。
在数据展示层中,用户根据不同的行业需求,使用数据展示层进行检索;支持按照不同级别进行检索,用户能够选择特定地理区域或分辨率级别,以获取所需数据;用户能够根据地理位置进行检索,数据展示层提供地图界面,允许用户在地图上选择区域,并获取与该区域相关的遥感数据;用户能够根据不同的场景或应用需求进行检索,系统提供场景分类或关键词搜索功能;用户能够下载所需的遥感数据;
数据展示层向用户呈现遥感数据的影像,提供可视化工具进行展示,所述可视化工具包括图像浏览器、交互式地图、图表生成工具。
数据共享层提供了应用程序编程接口(API),使其他系统能够实时获取遥感数据。通过API,开发人员可以编写应用程序来自动化数据访问和集成,以支持各种遥感数据应用。API共享通常是最灵活的数据共享方式,适用于实时数据访问和集成。数据共享层支持文件传输协议(FTP)等方式,将数据以文件形式共享给其他系统或用户。用户可以通过FTP服务器下载数据文件,以供后续分析和使用。这种方式适用于批量数据下载和离线处理。
对于大量数据或需要物理交付的情况,数据共享层可以将数据刻录到光盘或其他可移动媒体上,然后邮寄给用户。这种方式适用于需要离线数据访问的场景。数据共享层包括访问控制机制,以确保只有授权用户能够访问敏感或有限制的数据。访问控制可以基于用户身份、角色、权限等进行管理,以保护数据的安全性和隐私。
数据共享层记录每次数据访问的信息,包括访问者、访问时间、访问内容等。这些记录有助于跟踪数据的使用情况和合规性,并可以用于审计和监控。
数据共享层可以提供一套数据服务套件,包括数据查询、数据下载、数据订阅等服务。这些服务可以根据用户需求提供不同的访问方式,以满足各种需求。数据共享层提供数据格式转换服务,以将数据转换为不同的文件格式或数据结构,以适应不同应用程序或系统的要求。
一种多源遥感信息数据共享方法,步骤如下:
S9-1、数据获取;获取气象卫星数据、资源卫星数据、海洋卫星数据、航空遥感数据和其他数据;所述其他数据是来自水文测量系统、空气质量监测站、地震和地质监测网络、太空望远镜的遥感信息;
S9-2、对获取的数据进行完整性校验,确保数据未损坏或丢失;进行数据质量校验时,排除低质量或不准确的数据;确保数据类型符合预期;
S9-3、存储原始获取的遥感数据,保留数据的完整性;存储经过预处理的遥感数据;记录元数据;存储热点数据;存储根据需要生成的数据切片;
S9-4、进行辐射校正、几何校正、投影变换、图像整饰、图像镶嵌、图像剪裁的预处理操作;
S9-5、使用人工智能模型对数据进行行业分类、场景分类、图层数据整合、数据源汇聚;
S9-6、通过API或其他接口实时共享数据给其他系统或用户;将数据刻录到光盘上,提供离线共享方式;
S9-7、对分类结果、场景分类、数据的时效性进行评估,根据评价结果提出改进建议,优化流程和模型。
在步骤S9-2中,所述排除低质量或不准确的数据的方法如下:
检查数据是否完整,包括确保文件没有损坏或缺失任何重要部分,使用文件校验和来验证文件的完整性;进行异常值检测,识别数据中的不寻常或不合理的值,通过标准差完成;检查数据是否在不同字段或数据源之间保持一致性;检测并删除重复的数据记录;检查数据是否在预期范围内;确保数据的格式符合预期;处理缺失值,使用填充缺失值、删除包含缺失值的记录、使用插值的方法。
本发明采用容器化云平台来实现CI/CD(持续集成/持续交付)全流程的自动化,以提高系统的部署效率、质量和可维护性。
首先,开发团队将应用程序和相关组件进行容器化。这意味着将应用程序、依赖项、配置文件等打包到容器镜像中。容器镜像是一个独立的、可移植的单元,可以在不同的环境中运行,确保了应用程序的一致性。
开发团队使用版本控制系统(如Git)来管理应用程序的源代码。每次代码更改都会提交到版本控制系统,并触发CI流程。
CI服务器(如Jenkins、Travis CI等)会自动检测版本控制系统中的代码更改。一旦有新的代码提交,CI服务器会触发自动构建过程。在构建过程中,CI服务器会将容器镜像重新构建,运行测试套件以确保代码质量,然后创建新的镜像版本。
容器编排工具(如Docker Compose、Kubernetes等)用于管理和编排容器的部署。CI服务器可以使用容器编排工具来部署新的容器化应用程序。一旦构建和测试通过,容器镜像就可以被部署到生产环境。CD流程可以根据需要包括多个阶段,例如预生产环境和生产环境。容器编排工具能够自动扩展应用程序的副本,以适应流量的变化。
使用容器编排工具,容器化应用程序可以自动部署到云平台或私有云中。容器编排工具负责管理应用程序的生命周期、自动扩展和故障恢复。CI/CD流程中的每个阶段都可以通过脚本和自动化工具来执行,以减少人工干预和错误。
CI/CD流程还包括监控和反馈机制,以确保应用程序的运行状态和性能。监控工具可以实时监测应用程序的健康状况,并在出现问题时发出警报。如果出现问题,CI/CD流程可以自动回滚到先前的稳定版本,以降低风险。
在CI/CD流程中,自动化测试是关键的一环。包括单元测试、集成测试和端到端测试等多种类型的测试,以确保应用程序在各个阶段都具备高质量和可靠性。
与现有技术相比,本发明所达到的有益效果是:
本发明通过从遥感数据获取、数据存储、数据过滤、数据预处理、数据分类、数据共享、评价反馈的全流程进行系统规划,实现了业务全流程闭环,提供了更全面、高效的解决方案。
通过引入分布式文件系统、关系型数据库、非关系型数据库、内存数据库的种类丰富的数据库,本发明有效组织了数据的存储、提取和分析,使得遥感数据更容易发挥其价值。
本发明引入人工智能技术,包括目标识别模型、场景分类模型、行业分类模型、影像融合模型、变化检测模型,实现了遥感数据的自动化处理和分类,大大简化了处理流程,提高了分类识别的准确性。
采用容器化云平台实现了CI/CD全流程自动化,提供了流程和质量管控以及持续交付的能力,从而杜绝了系统升级迭代繁琐的问题,使系统更具敏捷性和可维护性。
附图说明
附图用来提供对本发明的进一步理解,并且构成说明书的一部分,与本发明的实施例一起用于解释本发明,并不构成对本发明的限制。在附图中:
图1是本发明一种多源遥感信息数据共享系统的系统架构图;
图2是本发明一种多源遥感信息数据共享方法的步骤示意图。
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
请参阅图1-图2,本发明提供技术方案:
如图1一种多源遥感信息数据共享系统的系统架构图所示,一种多源遥感信息数据共享系统包括数据接入层、数据存储层、数据处理层、数据展示层、数据共享层;
所述数据接入层包含气象卫星获取系统、资源卫星获取系统、海洋卫星获取系统、航空遥感数据获取系统和其他数据获取系统,接入多源遥感数据;
所述数据存储层包含不同类型的数据库,所述数据库用于数据的存储,包含分布式文件系统、关系型数据库、非关系型数据库、内存数据库;
所述数据处理层包含图像处理模块、人工智能模块、汇聚叠加模块、统计分析模块;负责遥感数据的预处理生成标准化数据,利用人工智能进行分类、汇聚、叠加自动化生成根据行业、场景分类的遥感数据;
所述数据展示层包含分行业检索、分级别检索、分地域检索、分场景检索、影像展示,根据检索条件展示数据;
所述数据共享层的共享方式包含API、FTP、光盘,涵盖的行业包含智慧城市、智慧应急、智慧农林、智慧渔业、智慧环境。
如图2一种多源遥感信息数据共享方法的步骤示意图所示,一种多源遥感信息数据共享方法,步骤如下:
S9-1、数据获取;获取气象卫星数据、资源卫星数据、海洋卫星数据、航空遥感数据和其他数据;所述其他数据是来自水文测量系统、空气质量监测站、地震和地质监测网络、太空望远镜的遥感信息;
S9-2、对获取的数据进行完整性校验,确保数据未损坏或丢失;进行数据质量校验时,排除低质量或不准确的数据;确保数据类型符合预期;
S9-3、存储原始获取的遥感数据,保留数据的完整性;存储经过预处理的遥感数据;记录元数据;存储热点数据;存储根据需要生成的数据切片;
S9-4、进行辐射校正、几何校正、投影变换、图像整饰、图像镶嵌、图像剪裁的预处理操作;
S9-5、使用人工智能模型对数据进行行业分类、场景分类、图层数据整合、数据源汇聚;
S9-6、通过API或其他接口实时共享数据给其他系统或用户;将数据刻录到光盘上,提供离线共享方式;
S9-7、对分类结果、场景分类、数据的时效性进行评估,根据评价结果提出改进建议,优化流程和模型。
根据实施例一,将本发明应用于气象卫星数据领域:
根据步骤S9-1,获取的核心数据如下:{"卫星名称":"NOAA-20","时间戳":"2023-09-18T12:00:00Z","纬度":34.0522,"经度":-118.2437,"温度":25.5,"湿度":60,"云覆盖率":30,"风速":10.2,"降水量":0.1}
根据步骤S9-2,检查数据是否完整,确保没有损坏或丢失的部分,通过验证数据的文件头和文件尾来实现。接着进行数据质量校验以排除低质量或不准确的数据:
温度值校验:检查温度值是否在合理范围内,排除异常数据。具体范围取决于所监测的地理区域和时间;例如,对于地面气温,范围在-40℃至50°C之间。
湿度值校验:验证湿度值是否在合理范围内,应在0%到100%之间,排除异常数据。
云覆盖率校验:确保云覆盖率值在0到100之间,排除不合理的数据。应在0%到100%之间。0%表示完全晴朗,100%表示全盖云。
风速校验:检查风速值是否在合理范围内,排除异常数据。风速的合理范围会根据具体的应用而变化。例如,对于地面风速,合理范围在0到200公里/小时之间。
降水量校验:验证降水量值是否在合理范围内,排除异常数据。降水量以毫米(mm)表示,合理范围取决于降水的强度和时间范围。例如,短时间内的降雨可能导致高降水量值,而长时间的降雨可能导致较低的降水量值。
根据步骤S9-3,将原始的遥感数据存入数据存储层,这些数据包括原始遥感数据、经过预处理的数据、元数据记录、热点数据和数据切片,它们以不同的格式存储在指定的存储位置。
根据步骤S9-4,对实验数据分别经过辐射校正、几何校正、投影变换、图像整饰、图像镶嵌和图像剪裁的预处理操作,以GeoTIFF格式存储在指定位置。
根据步骤S9-5,经过训练的深度学习模型执行操作,所述模型已经学习了如何从遥感数据中提取特定的特征和信息,以进行分类、整合和汇聚。
行业分类结果为:{"卫星名称":"NOAA-20","时间戳":"2023-09-18T12:00:00Z","纬度":34.0522,"经度":-118.2437,"行业分类":"气象学"};场景分类结果为:{"卫星名称":"NOAA-20","时间戳":"2023-09-18T12:00:00Z","纬度":34.0522,"经度":-118.2437,"场景分类":"城市景观"};并生成图层数据整合结果和数据源汇聚结果。
根据步骤S9-6,提供RESTful API接口,允许其他系统通过HTTP请求访问共享的遥感数据。其他系统可以通过这些接口获取最新的数据并集成到自己的应用中。将遥感数据按照特定的数据集或时间段刻录到光盘上,并提供给用户或系统。用户可以通过离线媒体获得数据,然后在本地系统上进行处理。
根据步骤S9-7,通过比较分类结果与实际情况的真实情况来评估模型的性能,使用混淆矩阵、准确率、召回率、F1分数等指标来度量分类的质量。通过对分类结果进行可视化和分析,检查模型是否正确地将遥感图像分为不同的场景类别。检查数据的时间戳和元数据,确保它们反映了数据采集的准确时间。如果数据在共享过程中有延迟,需要记录并报告。如果模型在某些场景下性能不佳,可以考虑重新训练模型,增加更多的样本数据,或调整模型的参数。如果数据时效性有问题,可以考虑改进数据获取和传输的流程。
根据实施例二,将本发明应用于智慧城市:
在智慧城市应用中,根据步骤S9-1。数据来源多样化,包括:
气象卫星数据:从气象卫星获取实时的气象数据,包括温度、湿度、云覆盖率、风速、降水量等。这些数据用于城市的天气监测和预测。
资源卫星数据:资源卫星提供高分辨率的影像数据,用于土地利用规划、城市规划和环境监测。
海洋卫星数据:海洋卫星提供海洋环境数据,包括海洋温度、海洋表面高度等,用于海洋监测和海洋资源管理。
航空遥感数据:从飞机或无人机获取的遥感数据,用于城市地理信息系统(GIS)建设和城市规划。
其他数据:包括来自水文测量系统的水文数据、空气质量监测站的空气质量数据、地震和地质监测网络的地质数据以及太空望远镜的遥感信息。这些数据用于环境监测、自然灾害预警和科学研究。
根据步骤S9-2,获取的数据将经过以下处理:
完整性校验:确保获取的数据没有损坏或丢失。这通过比对数据的校验和或检查数据的文件结构来实现。
数据质量校验:对数据进行质量校验,排除低质量或不准确的数据。例如,检查数据中的异常值、不一致性或错误。对于气象数据,验证温度、湿度等参数是否在合理范围内。
数据类型验证:检查数据的类型是否符合预期,以确保数据可以被正确处理和分析。
在步骤S9-3中,数据将根据不同的需求存储:
原始获取的遥感数据:这些数据以原始形式存储,以保留数据的完整性,以备后续的分析和验证。
经过预处理的遥感数据:经过辐射校正、几何校正、投影变换、图像整饰、图像镶嵌、图像剪裁等预处理操作的数据将存储,以用于进一步的分析和应用。
元数据:记录数据的元数据,包括数据来源、采集时间、地理坐标信息等,以便跟踪数据的来源和属性。
热点数据:存储与智慧城市应用相关的数据,例如交通热点、环境热点等。
数据切片:根据需求生成数据切片,以便快速访问和共享。
在步骤S9-4中,数据将经过一系列预处理操作,包括辐射校正、几何校正、投影变换、图像整饰、图像镶嵌和图像剪裁。这些操作有助于确保数据的准确性和一致性,以便后续的分析和应用。
在步骤S9-5中,人工智能模型将应用于数据,包括:
行业分类:模型将根据数据的特征将其分类到不同的行业,例如交通、气象、环境等。
场景分类:模型将根据数据的特征将其分类到不同的场景,例如城市交通、自然环境、市中心等。
图层数据整合:模型将整合不同来源的数据,以创建综合的图层数据,例如交通流量地图、气象信息图等。
数据源汇聚:模型将不同来源的数据汇聚,以提供更全面的视图和信息。
在步骤S9-6中,数据将通过API或其他接口实时共享给其他系统或用户。这允许其他智慧城市应用程序访问实时数据。此外,数据还可以刻录到光盘等离线媒介上,以提供离线共享方式,以备紧急情况之需。
在步骤S9-7中,对分类结果、场景分类和数据的时效性进行评估。根据评价结果提出改进建议,以不断优化流程和模型,确保数据共享方法在智慧城市中的有效性和可持续性。
需要说明的是,在本文中,诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来,而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者设备所固有的要素。
最后应说明的是:以上所述仅为本发明的优选实施例而已,并不用于限制本发明,尽管参照前述实施例对本发明进行了详细的说明,对于本领域的技术人员来说,其依然可以对前述各实施例所记载的技术方案进行修改,或者对其中部分技术特征进行等同替换。凡在本发明的精神和原则之内,所作的任何修改、等同替换、改进等,均应包含在本发明的保护范围之内。
Claims (10)
1.一种多源遥感信息数据共享系统,其特征在于:系统包括数据接入层、数据存储层、数据处理层、数据展示层、数据共享层;
所述数据接入层包含气象卫星获取系统、资源卫星获取系统、海洋卫星获取系统、航空遥感数据获取系统和其他数据获取系统,接入多源遥感数据;
所述数据存储层包含不同类型的数据库,所述数据库用于数据的存储,包含分布式文件系统、关系型数据库、非关系型数据库、内存数据库;
所述数据处理层包含图像处理模块、人工智能模块、汇聚叠加模块、统计分析模块;负责遥感数据的预处理生成标准化数据,利用人工智能进行分类、汇聚、叠加自动化生成根据行业、场景分类的遥感数据;
所述数据展示层包含分行业检索、分级别检索、分地域检索、分场景检索、影像展示,根据检索条件展示数据;
所述数据共享层的共享方式包含API、FTP、光盘。
2.根据权利要求1所述的一种多源遥感信息数据共享系统,其特征在于:在数据接入层中,所述气象卫星获取系统收集的数据包括卫星图像、温度、湿度、云覆盖、降水、风速、风向、气压、太阳辐射、地表温度;
所述资源卫星获取系统收集的数据包括多光谱图像、红外线图像、合成孔径雷达图像、数字高程模型、土壤湿度数据、地表水质数据、土地变化监测数据;
所述海洋卫星获取系统收集的数据包括海洋表面温度数据、海洋表面高度数据、海洋风速和风向数据、海洋生态系统监测数据、海洋色素数据、海洋表面溢油监测数据、海洋冰川和冰盖监测数据、海洋地形数据;
所述航空遥感数据获取系统收集的数据包括航拍图像、红外线图像、激光雷达数据、多光谱图像、热红外线图像、多光谱LiDAR数据、电磁谱数据、航空磁力数据、视频数据;
所述其他数据获取系统包括水文测量系统、空气质量监测站、地震和地质监测网络、太空望远镜。
3.根据权利要求1所述的一种多源遥感信息数据共享系统,其特征在于:系统采用容器化云平台实现CI/CD全流程的自动化,方法如下:
使用版本控制系统管理应用程序的源代码,每次代码更改都会提交到版本控制系统,并触发CI流程;CI服务器自动检测版本控制系统中的代码更改,一旦有新的代码提交,CI服务器触发自动构建过程;在构建过程中,CI服务器会将容器镜像重新构建,运行测试套件以确保代码质量,然后创建新的镜像版本;容器编排工具用于管理和编排容器的部署,CI服务器使用容器编排工具部署新的容器化应用程序;
构建和测试通过后,容器镜像被部署到生产环境;容器编排工具能够自动扩展应用程序的副本,自动部署到云平台或私有云中,管理应用程序的生命周期、自动扩展和故障恢复;CI/CD流程中的每个阶段都通过脚本和自动化工具执行;CI/CD流程包括监控和反馈机制,实时监测应用程序的健康状况,并在出现问题时发出警报;
在CI/CD流程中,最后会进行自动化测试,所述自动化测试包括单元测试、集成测试、功能测试、回归测试、性能测试、安全测试、可访问性测试、兼容性测试、自动化界面测试、持续集成测试。
4.根据权利要求1所述的一种多源遥感信息数据共享系统,其特征在于:所述数据存储层存储原始遥感数据、预处理遥感数据、元数据、热点数据、切片数据;所述原始遥感数据是从各种遥感数据源直接获取的未经处理的原始数据;所述预处理遥感数据是对原始遥感数据进行一系列处理步骤后生成的数据;所述元数据包括数据标识符、数据来源、数据采集时间、数据类型、数据格式、地理坐标系统、分辨率、数据质量信息、数据处理历史、数据访问权限、关联数据、数据所有者、数据使用说明、数据关键词、数据文件大小、数据版本信息;所述热点数据是在特定时间段内或特定地理区域内具有高度关注或重要性的数据;所述切片数据是将大型遥感数据集分成较小的切片或块的过程。
5.根据权利要求1-4中任一项所述的一种多源遥感信息数据共享系统,其特征在于:所述分布式文件系统是一种用于管理大型文件和数据的系统,以下是分布式文件系统的执行步骤:
S5-1、用户将原始遥感数据或处理后数据上传到分布式文件系统,上传通过文件传输协议FTP或API进行;
S5-2、对于大型遥感数据,分布式文件系统将其分割成块或切片,每个切片具有唯一的标识符;所述每个切片的大小为B百兆字节,其中B是用户设置的一个正整数;
S5-3、分布式文件系统将文件块或切片复制到多个存储节点上;
S5-4、分布式文件系统存储元数据;
S5-5、用户和应用程序通过分布式文件系统的接口或API访问存储的数据;文件系统负责管理数据的分发和访问权限;
所述大型遥感数据是单个数据大小超过A千兆字节的数据,其中A是用户设置的一个正整数。
6.根据权利要求1-4中任一项所述的一种多源遥感信息数据共享系统,其特征在于:在数据处理层中,预处理生成标准化数据的步骤如下:
S6-1、从数据存储层中获取原始遥感数据;
S6-2、对于光学遥感数据,进行辐射校正;所述辐射校正是校正图像以消除来自大气和传感器的辐射效应;
S6-3、通过几何校正将遥感数据校正为地球表面的真实坐标;
S6-4、通过投影变换将遥感数据转换为所需的坐标系统;
S6-5、通过图像修饰,对遥感图像进行改进,以增强图像的可视化质量和解释性;所述图像修饰包括色彩平衡、对比度增强、噪声降低;
S6-6、根据用户需求和应用场景,将图像裁剪为特定的区域或兴趣区域;
S6-7、生成元数据;
S6-8、将数据采用标准数据格式,所述标准数据格式包括GeoTIFF、NetCDF、HDF;
S6-9、对处理后的数据进行质量控制检查;
S6-10、将经过预处理的标准化数据存储回数据存储层。
7.根据权利要求1所述的一种多源遥感信息数据共享系统,其特征在于:在数据处理层中,利用人工智能进行分类、汇聚和叠加的步骤如下:
S7-1、使用卷积神经网络提取遥感图像的特征;
S7-2、针对所需的行业和场景分类任务,训练深度学习模型;训练模型需要大量的标记数据,标记数据包括图像和相应的分类标签;
S7-3、模型训练完成后,使用模型自动分类遥感图像;
S7-4、汇聚将相同行业或场景类别的图像叠加在一起,通过地理信息系统技术实现;
S7-5、将不同数据源的信息叠加在一起;
S7-6、将整个过程自动化,通过批量处理和脚本编程实现;
S7-7、持续监控模型的性能,并根据需要对其进行改进;通过不断添加新的标记数据、微调模型参数或采用迁移学习的方法实现。
8.根据权利要求1所述的一种多源遥感信息数据共享系统,其特征在于:在数据展示层中,用户根据不同的行业需求,使用数据展示层进行检索;支持按照不同级别进行检索,用户能够选择特定地理区域或分辨率级别;用户能够根据地理位置进行检索,数据展示层提供地图界面,允许用户在地图上选择区域,并获取与该区域相关的遥感数据;用户能够根据不同的场景或应用需求进行检索,系统提供场景分类或关键词搜索功能;用户能够下载所需的遥感数据;
数据展示层向用户呈现遥感数据的影像,提供可视化工具进行展示,所述可视化工具包括图像浏览器、交互式地图、图表生成工具。
9.一种多源遥感信息数据共享方法,其特征在于:步骤如下:
S9-1、获取气象卫星数据、资源卫星数据、海洋卫星数据、航空遥感数据和其他数据;所述其他数据是来自水文测量系统、空气质量监测站、地震和地质监测网络、太空望远镜的遥感信息;
S9-2、对获取的数据进行完整性校验,确保数据未损坏或丢失;进行数据质量校验时,排除低质量或不准确的数据;确保数据类型符合预期;
S9-3、存储原始获取的遥感数据,保留数据的完整性;存储经过预处理的遥感数据;记录元数据;存储热点数据;存储根据需要生成的数据切片;
S9-4、进行辐射校正、几何校正、投影变换、图像整饰、图像镶嵌、图像剪裁的预处理操作;
S9-5、使用人工智能模型对数据进行行业分类、场景分类、图层数据整合、数据源汇聚;
S9-6、通过API或其他接口实时共享数据给其他系统或用户;将数据刻录到光盘上,提供离线共享方式;
S9-7、对分类结果、场景分类、数据的时效性进行评估,根据评价结果提出改进建议,优化流程和模型。
10.根据权利要求9所述的一种多源遥感信息数据共享方法,其特征在于:在步骤S9-2中,所述排除低质量或不准确的数据的方法如下:
检查数据是否完整,包括确保文件没有损坏或缺失任何重要部分,使用文件校验和验证文件的完整性;进行异常值检测,识别数据中的不寻常或不合理的值,通过标准差完成;检查数据是否在不同字段或数据源之间保持一致性;检测并删除重复的数据记录;检查数据是否在预期范围内;确保数据的格式符合预期;处理缺失值,使用填充缺失值、删除包含缺失值的记录、使用插值的方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202311237743.6A CN117271458A (zh) | 2023-09-25 | 2023-09-25 | 一种多源遥感信息数据共享系统及方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202311237743.6A CN117271458A (zh) | 2023-09-25 | 2023-09-25 | 一种多源遥感信息数据共享系统及方法 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN117271458A true CN117271458A (zh) | 2023-12-22 |
Family
ID=89213829
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202311237743.6A Pending CN117271458A (zh) | 2023-09-25 | 2023-09-25 | 一种多源遥感信息数据共享系统及方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN117271458A (zh) |
-
2023
- 2023-09-25 CN CN202311237743.6A patent/CN117271458A/zh active Pending
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US20230274391A1 (en) | Crop yield prediction at field-level and pixel-level | |
Xiong et al. | A kind of novel ITS based on space-air-ground big-data | |
CN102187336B (zh) | 用于识别视频档案中的对象的方法 | |
CN110414359B (zh) | 长输管道无人机巡检数据分析与管理方法及系统 | |
CN112579677A (zh) | 一种卫星遥感影像自动处理方法 | |
Bhargava et al. | A study on potential of big visual data analytics in construction Arena | |
KR102097592B1 (ko) | 센티넬 위성을 이용한 대용량 위성영상의 자동 다운로드 서비스 제공 방법 | |
Zhou et al. | Pairs autogeo: an automated machine learning framework for massive geospatial data | |
CN113515708A (zh) | 针对建设用地的项目推荐方法、装置、存储介质及处理器 | |
Albuquerque et al. | Remotely piloted aircraft imagery for automatic tree counting in forest restoration areas: a case study in the Amazon | |
CN117271458A (zh) | 一种多源遥感信息数据共享系统及方法 | |
CN113407596B (zh) | 基于交叉辐射定标的气象遥感数据精度检验分析系统 | |
Firoze et al. | Urban tree generator: spatio-temporal and generative deep learning for urban tree localization and modeling | |
Kastelic et al. | Building Visual Anomaly Dataset from Satellite Data using ADS-B. | |
Fatemi Nasrabadi | Questions of concern in drawing up a remote sensing change detection plan | |
Sharma et al. | Automatic procedures analyzing remote sensing data to minimize flood response time: a step towards National flood mapping service | |
US20230385702A1 (en) | Data fabric for intelligent weather data selection | |
CN117611978B (zh) | 一种土地资源测绘数据库的构建方法及系统 | |
Ali et al. | Sentinel-1 Based Near-Real Time Flood Mapping Service. | |
Nicheporchuk et al. | Structuring the information resources for intelligent ecosystem monitoring system based on camera traps | |
Gavrilov et al. | A new effective processing technology for visual information in the automated optoelectronic systems of ground–space monitoring | |
Liang et al. | Reconstructing aerosol optical depth using spatiotemporal Long Short-Term Memory convolutional autoencoder | |
de Sousa | Towards a national data cube of satellite earth observation data for ecological modeling and monitoring | |
Christoph Friedrich | A multi-talented datacube: integrating, processing and presenting big geodata for the agricultural end user | |
Chatenoux et al. | Bringing Open Data Cube into Practice |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |