CN115984679A - 一种基于遥感应用的算法流程化技术检验处理系统及方法 - Google Patents

Abstract

本发明涉及遥感算法处理技术领域，具体涉及一种基于遥感应用的算法流程化技术检验处理系统及方法。该方法通过对遥感数据进行处理，对检验的算法进行统一计算，读取出影像图；将算法计算后的影像图进行标记并提取，对算法运行所需要的目标样本进行人工特征选择，对需要对比的算法图像进行比对分析，实现了根据不同函数功能所需要的输入、输出以及参数调整等界面功能，设计自适应不同功能函数模块所需输入输出元素的界面交互，实现功能模块界面交互模块化、插件化设计，方便功能模块的开发更替。

Description

一种基于遥感应用的算法流程化技术检验处理系统及方法

技术领域

本发明涉及遥感算法处理技术领域，具体涉及一种基于遥感应用的算法流程化技术检验处理系统及方法。

背景技术

随着我国遥感技术的进步以及各类遥感卫星的发射成功，越来越多的遥感数据需要得到有序地应用与处理，与此同时，遥感算法检验处理平台应运而生，主要用来检验算法的可行性、稳定性，处理工具、提取方法的使用，遥感产品的处理与模块化、插件化设计。随着遥感算法的不断增多与改进，算法的存储量与原始算法相比会有几何性的增大，复杂程度也更高，所以用户对平台算法检验的效率要求也在不断的提高与多样化，如果继续使用传统的遥感算法检验方法，其时效性、经济效益和社会效益将会大打折扣，这就使得传统的遥感算法检验方法与平台不足以满足用户多样化的需求。

发明内容

为了解决传统的遥感算法检验方法与平台不足以满足用户多样化的需求的技术问题，本发明的目的在于提供一种基于遥感应用的算法流程化技术检验处理系统及方法，所采用的技术方案具体如下：

第一方面，本发明一个实施例提供了一种基于遥感应用的算法流程化技术检验处理方法，该方法包括以下步骤：

保持采集到的遥感数据的原貌，所述遥感数据包括：遥感用户数据和遥感算法检验平台业务数据；创建支持压缩的表，通过所述表将遥感数据进行特定的存储；根据操作过程对保持原貌的遥感数据进行建模，得到算法数据；

对算法数据进行统一计算，读取出影像图；

将影像图进行标记并提取，采用N边形标注的处理方式将预设数据按照类型划分并进行汇总，N>＝4；其中，需要标注的主要信息包括样本类型、样本等级；

对影像图进行人工特征选择，对不同类型的特征进行计算；

通过联动功能、叠加功能、卷帘功能、矢量化叠加功能四种方式来比对影像图与原始图像，得到测试评比结果；

发布数据服务接口，搭建可视化界面，请求数据接口地址，进行可视化展示；以及将相关数据对接用户处理系统或推荐系统。

优选的，所述保持采集到的遥感数据的原貌，包括：

以一个文本文件来存储遥感用户数据的检索行为或者下载行为，该文本文件记为日志文件。

优选的，所述根据操作过程对保持原貌的遥感数据进行建模，得到算法数据，包括：

在遥感算法检验平台中，选取需要解析的算法数据，所述算法数据主要包括算法、执行文件、输入文件、输出文件、辅助信息文件和日志文件；确定解析算法时所需要权衡的指标度量值。

优选的，所述对算法数据进行统一计算，读取出影像图，包括：

根据算法输入参数信息生成参数的名、类型、变量，遍历出目标算法，读取目标地址中的算法执行文件以及影像图。

优选的，所述将影像图进行标记并提取，包括：

使用目标样本标记工具和目标样本提取工具；

所述目标样本标记工具通过遥感算法检验平台的前端埋点所采集到的遥感影像数据存入操作端中，并保存至服务器；所述前端埋点指算法传输接口；以及利用多边形标注方法对目标样本进行标记并存储到系统后台；

所述目标样本提取工具将遥感算法检验平台系统后台的目标样本标记数据按照对应格式存储至与目标算法同路径下的算法文件中，其中算法文件为xml格式。

优选的，所述对影像图进行人工特征选择，包括：

选择目标样本需要计算的样本特征，所述样本特征主要包括光谱特征、纹理特征、上下文特征、几何特征、直方图特征、方向梯度直方图特征等；选择特征目标值；确定计算特征值时所需要权衡的原则指标；所述原则指标是特征计算所需的坐标是否规范，所选择的样本是否具有特征。

优选的，所述通过联动功能、叠加功能、卷帘功能、矢量化叠加功能四种方式来比对影像图与原始图像，包括：

所述联动功能、卷帘功能、叠加功能、矢量化叠加功能用于将算法文件的自动匹配，将输入输出图片利用OpenLayers类库包与Cesium库相结合的方式，通过不同的功能从不同角度，对影像图以及原始图像进行比对；将对比结果存储至测试报告并导出。

优选的，所述创建支持压缩的表，通过所述表将遥感数据进行特定的存储，包括：

根据遥感算法检测平台数据的表结构存储算法数据，所述表结构为算法数据库的表结构，所述表结构包括算法id、算法名和算法类型。

优选的，所述对不同类型的特征进行计算，包括：

采用灰度共生矩阵、光谱与形状特征相结合、HOG计算法等方法对不同类型的特征进行计算。

第二方面，本发明一个实施例提供了一种基于遥感应用的算法流程化技术检验处理系统，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述一种基于遥感应用的算法流程化技术检验处理方法。

本发明实施例至少具有如下有益效果：

该方法通过对遥感数据进行处理，对检验的算法进行统一计算，读取出影像图；将算法计算后的影像图进行标记并提取，对算法运行所需要的目标样本进行人工特征选择，对需要对比的算法图像进行比对分析，实现了根据不同函数功能所需要的输入、输出以及参数调整等界面功能，设计自适应不同功能函数模块所需输入输出元素的界面交互，实现功能模块界面交互模块化、插件化设计，方便功能模块的开发更替。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案和优点，下面将对实施例或现有技术描述中所需要使用的附图作简单的介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其它附图。

图1为本发明一个实施例所提供的一种基于遥感应用的算法流程化技术检验处理方法的方法流程图；

图2为本发明一个实施例所提供的一种基于遥感应用的算法流程化技术检验处理系统的架构层级图。

具体实施方式

为了更进一步阐述本发明为达成预定发明目的所采取的技术手段及功效，以下结合附图及较佳实施例，对依据本发明提出的一种基于遥感应用的算法流程化技术检验处理方法及系统，其具体实施方式、结构、特征及其功效，详细说明如下。在下述说明中，不同的“一个实施例”或“另一个实施例”指的不一定是同一实施例。此外，一或多个实施例中的特定特征、结构或特点可由任何合适形式组合。

除非另有定义，本文所使用的所有的技术和科学术语与属于本发明的技术领域的技术人员通常理解的含义相同。

本发明实施例提供了一种基于遥感应用的算法流程化技术检验处理方法及系统的具体实施方法，该方法适用于算法流程化技术检验处理的场景。基于遥感应用的算法流程化技术检验处理系统包括：卫星产品处理模块、算法处理流程化模块、样本提取模块、样本特征选择模块和算法处理结果对比模块。各模块之间采用Azkaban方法进行自动化全流程调度，以及采用zookeeper技术进行分布式协调。

下面结合附图具体的说明本发明所提供的一种基于遥感应用的算法流程化技术检验处理方法及系统的具体方案。

请参阅图1，其示出了本发明一个实施例提供的一种基于遥感应用的算法流程化技术检验处理方法的步骤流程图，该方法包括以下步骤：

步骤S100，保持采集到的遥感数据的原貌，所述遥感数据包括：遥感用户数据和遥感算法检验平台业务数据；创建支持压缩的表，通过所述表将遥感数据进行特定的存储；根据操作过程对保持原貌的遥感数据进行建模，得到算法数据。

一种基于遥感应用的算法流程化技术检验处理系统中的卫星产品处理模块执行步骤S100的操作，主要完成卫星产品处理的配置实现。不同的算法模块或不同功能模块需要不同的参数输入，基于插件设计原理，根据模块输入输出要求，设计有针对性的卫星产品处理交互界面。

对遥感算法检验平台进行前端埋点，通过卫星产品处理模块，对遥感用户算法数据进行配置处理。其中，前端埋点收集的数据信息主要包括系统特征、访问特征、来源特征、检索、下载特征、算法数据、测试数据、日志文件、样本信息；其中系统特征包括：所采用的操作系统、浏览器、域名和访问速度等；访问特征包括：访问的URL、点击的页面标签及标签属性；来源特征包括来访IP地址等；检索及下载特征包括：覆盖方式、尺度规格、区域、时间、来源、产品品种、影像数据等；算法数据主要包括算法组件，算法组件下又包括算法模块，算法模块之下包括算法工具；测试数据包括sample数据；日志文件包括算法所选择的特征信息；样本信息包括用户所采集样本坐标、样本类型以及采集时间等信息。

卫星产品处理模块处理遥感用户算法数据进行配置处理的过程具体为：在算法流程化处理平台的前端页面编写JavaScript代码，以便于用户对相关算法参数进行选择，收集用户对算法配置进行修改时的数据，当用户触发保存条件时，将用户选择过的配置数据以xml格式发送到指定的算法地址中。

其中，保持采集到的遥感数据的原貌，具体的：以一个文本文件来存储遥感用户数据的检索行为或者下载行为，该文本文件记为日志文件。保持遥感数据的原貌主要就是使数据内容与格式不被改变。

其中，创建支持压缩的表，通过表将遥感数据进行特定的存储，具体的：根据遥感算法检测平台数据的表结构存储算法数据，表结构为算法数据库的表结构，表结构包括算法id、算法名和算法类型。

利用Ajax的方法通过XmlHttpRequest对象来向服务器发起异步请求，从服务器获得数据，然后用JavaScript来操作DOM而更新页面。仅通过一个字段来识别算法文件，该字段记为AlName；根据文件内容给遥感用户提供自适应算法格式的产品处理模块，同时可以根据遥感用户算法需求，为用户提供批算法处理模式。再通过对算法文件整体的显示，实现根据操作过程对保持原貌的遥感数据进行建模的方法，具体的：在遥感算法检验平台中，选取需要解析的算法数据，对xml格式的算法文件进行整体的修改以及保存，同时支持输入文件(tif文件)、输出文件(png文件)、辅助信息文件(txt文件)和日志文件log的展现与修改。建模得到了遥感数据的规范化，使之提高数据处理、传递效率；为后续提供的是算法数据，算法数据里包括算法、执行文件、tif影像图、日志文件等。

步骤S200，对算法数据进行统一计算，读取出影像图。

一种基于遥感应用的算法流程化技术检验处理系统中的算法处理流程化模块执行步骤S200的操作。将配置处理后遥感用户算法数据进行单个算法或多个算法的执行处理，执行算法所需要的条件主要是xml格式的原算法文件以及exe格式的算法应用执行程序，利用cmd命令运行程序从而得出算法执行结果，执行结果以png格式存入目标算法同路径下。

对于要检验的算法进行统一计算根据算法输入参数信息生成参数的名、类型、变量，遍历出目标算法，读取目标地址中的算法执行文件以及影像图。需要说明的是，参数信息的指算法基本信息，主要包括算法名、算法类型、算法数据源。

根据算法模块运行所需参数输入、配置信息以及辅助信息，自动根据算法输入参数信息生成参数的名称、类型和变量等信息的交互界面，实现算法计算功能。

具体地，包括对于要检验的算法进行统一计算，具体包括根据算法输入参数信息生成参数名、类型、变量，遍历出目标算法，读取目标地址中的算法执行文件以及影像图片，利用JavaScript代码执行cmd命令，对算法文件以及影像图进行计算，从而实现对算法的计算与批处理。需要说明的是，主要指的是通过cmd命令的方式对算法计算，计算时需要用到的主要为算法xml文件、exe执行程序，计算的目的是为了得到影像图；统一计算可以理解为相类似的算法可以一起执行计算。

步骤S300，将影像图进行标记并提取，采用N边形标注的处理方式将预设数据按照类型划分并进行汇总，N>＝4；其中，需要标注的主要信息包括样本类型、样本等级。

一种基于遥感应用的算法流程化技术检验处理系统中的样本提取模块执行步骤S300的操作。将算法计算后的影像图进行标记并提取，具体的：使用目标样本标记工具和目标样本提取工具；所述目标样本标记工具通过遥感算法检验平台的前端埋点所采集到的遥感影像数据存入操作端中，并保存至服务器；采用N边形标注的处理方式将预设数据按照类型划分并进行汇总，N>＝4。前端埋点指算法传输接口；以及利用多边形标注方法对目标样本进行标记并存储到系统后台；所述目标样本提取工具将遥感算法检验平台系统后台的目标样本标记数据按照对应格式存储至与目标算法同路径下的算法文件中，其中算法文件为xml格式。需要说明的是，影像图就是目标样本，具体的就是算法执行后得到的影像图。

通过样本标记处理将算法执行处理后遥感用户算法数据进行有针对性的标记与提取操作，并将其数据进行以算法文件形式的存储；为了降低数据获取误差，该步骤通过mode-’aspectFit’的模式固定样本，使其在读取样本坐标时保持稳定。

步骤S400，对影像图进行人工特征选择，对不同类型的特征进行计算。

采用灰度共生矩阵、光谱与形状特征相结合、HOG计算法等方法对不同类型的特征进行计算。

一种基于遥感应用的算法流程化技术检验处理系统中的样本特征选择模块执行步骤S400的操作。对遥感算法检验平台中的目标样本进行特征计算的过程主要包括，选择目标样本需要计算的样本特征；

选择特征目标值；确定计算特征值时所需要权衡的原则指标，该原则指标是特征计算所需的坐标是否规范，所选择的样本是否具有特征；具体的，在对特征进行划分的过程中，样本主要包括光谱特征、纹理特征、上下文特征、几何特征、直方图特征、方向梯度直方图特征。

其中，所述灰度共生矩阵为采用基于模型图像利用灰度共生矩阵进行二维模型特征提取；所述光谱与形状特征相结合主要为根据样本形状，从特征基元中自动选取样本，并计算其特征；所述HOG计算法主要为采集细胞单元中像素点的梯度或边缘方向直方图，将直方图组合构成特征描述器，对图像几何和光学形变可保持良好不变性。

该步骤通过样本标记获得的坐标值，以此为标准，将该值传入某一固定表内，该表内的内容随样本标记坐标值的改变而改变，特征计算因特征不同其计算过程也有所不同，计算结果也不尽相同，如光谱特征计算所得到的均值与方差以数值的方式存储在样本坐标的文件内，方向梯度直方图特征所得到的结果以jpg格式的方式存储。通过特征选择处理对来自样本标记处理的样本数据进行读取得到的特征提取报告、特征计算结果。

步骤S500，通过联动功能、叠加功能、卷帘功能、矢量化叠加功能四种方式来比对影像图与原始图像，得到测试评比结果。

一种基于遥感应用的算法流程化技术检验处理系统中的算法处理结果对比模块执行步骤S500的操作。对要对比的算法图像进行比对分析，测试评比结果记为R，其含义为本算法流程的可信程度，取值范围为[0,1]，R值越大，表示该算法流程正确度越高，反之越小。其中，算法图像中包括原始图和结果图，原始图和结果图都是影像图，原始图是算法中自带的影像图，结果图是根据需要修改算法参数后通过算法计算得到的影像图。根据对比功能不同，分为联动功能、卷帘功能、叠加功能、矢量化叠加功能四种方法来比对结果图像和原始图像；其中，通过联动功能比对得到的结果值记为L、通过卷帘功能比对得到的结果值记为J、通过叠加功能比对得到的结果值记为D、通过矢量化叠加功能比对得到的结果值记为S；L、J、D、S的值为结果对比的差异值，通过该值可以判断结果图像与原始图像的差异大小，取值范围均为[0，1]。经过比对，系统自动生成测试报告，根据测试报告中测试评比结果R的值得到本算法可信度；其中，R＝L*0.2+J*0.3+D*0.2+S*0.3，通过将算法文件的自动匹配将输入输出图片利用OpenLayers类库包与Cesium库相结合的方式，通过不同的功能从不同角度，对目标图片的结果图以及原始图进行比对；将最终的对比结果信息存储至测试报告并导出。

通过算法结果对比根据在产品处理中修改的算法数据以及算法处理中运行算法前后得到的算法数据进行比对，主要包括联动对比、卷帘对比、叠加/矢量化叠加对比；以及通过算法处理根据业务过程对执行后的算法自动进行测试评比，其中所述要分析的指标包括预期算法准确度、图片清晰度、可靠性等。

具体地，算法结果对比通过联动、卷帘、叠加/矢量化叠加操作从主观上将算法执行前后的原始图与结果图进行比较，得到最终对比结果，用户在操作过程中从客观上获取对比图的不同；通过算法处理根据业务过程对执行后的算法自动进行测试评比结果，其过程主要为算法在执行时生成测试报告，从算法准确度、图片清晰度等方面对执行前后的图片进行测评，该测试评比结果最终以html格式存储，并下载到用户端。

步骤S600，发布数据服务接口，搭建可视化界面，请求数据接口地址，进行可视化展示；以及将相关数据对接用户处理系统或推荐系统。

将相关数据对接用户处理系统或推荐系统，实现主动服务模式。

基于SpringBoot搭建服务工程，使用maven进行构建，采用Controller-Service-Dao三层架构发布数据服务接口。

综上所述，本发明涉及遥感算法处理技术领域。该方法保持采集到的遥感数据的原貌，所述遥感数据包括：遥感用户数据和遥感算法检验平台业务数据；创建支持压缩的表，通过所述表将遥感数据进行特定的存储；对遥感用户数据进行解析得到日志文件、运行文件和算法辅助信息文件；根据操作过程对保持原貌的遥感数据进行建模；对检验的算法进行统一计算，读取出影像图；将算法计算后的影像图进行标记并提取，采用N边形标注的处理方式将预设数据按照类型划分并进行汇总，N>＝4；其中，需要标注的主要信息包括样本类型、样本等级；对算法运行所需要的目标样本进行人工特征选择，采用灰度共生矩阵、光谱与形状特征相结合、HOG计算法等方法对不同类型的特征进行计算；对需要对比的算法图像进行比对分析，分为联动功能、叠加功能、卷帘功能、矢量化叠加功能四种方式来比对结果图像与原始图像；发布数据服务接口，搭建可视化界面，请求数据接口地址，进行可视化展示；以及将相关数据对接用户处理系统或推荐系统，实现主动服务模式。本发明使用遥感应用的算法流程化技术检验处理系统的数据处理，通过对用户算法数据以及业务数据的重新配置与分析，发现其中潜在的价值信息，辅助卫星遥感部门分析各产品应用情况，从而对服务平台做出进一步的改进，同时也为满足用户多样化的需求、实现主动的服务模式提供数据支撑。

本发明实施例还提出了一种基于遥感应用的算法流程化技术检验处理系统，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述方法的步骤。由于一种基于遥感应用的算法流程化技术检验处理方法在上述给出了详细描述，不再赘述。请参阅图2，图2为一种基于遥感应用的算法流程化技术检验处理系统的架构层级图。

需要说明的是：上述本发明实施例先后顺序仅仅为了描述，不代表实施例的优劣。在附图中描绘的过程不一定要求示出的特定顺序或者连续顺序才能实现期望的结果。在某些实施方式中，多任务处理和并行处理也是可以的或者可能是有利的。

本说明书中的各个实施例均采用递进的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。

Claims (10)

1.一种基于遥感应用的算法流程化技术检验处理系统及方法，其特征在于，该方法包括以下步骤：

保持采集到的遥感数据的原貌，所述遥感数据包括：遥感用户数据和遥感算法检验平台业务数据；创建支持压缩的表，通过所述表将遥感数据进行特定的存储；根据操作过程对保持原貌的遥感数据进行建模，得到算法数据；

对算法数据进行统一计算，读取出影像图；

将影像图进行标记并提取，采用N边形标注的处理方式将预设数据按照类型划分并进行汇总，N>＝4；其中，需要标注的主要信息包括样本类型、样本等级；

对影像图进行人工特征选择，对不同类型的特征进行计算；

通过联动功能、叠加功能、卷帘功能、矢量化叠加功能四种方式来比对影像图与原始图像，得到测试评比结果；

发布数据服务接口，搭建可视化界面，请求数据接口地址，进行可视化展示；以及将相关数据对接用户处理系统或推荐系统。

2.根据权利要求1所述的一种基于遥感应用的算法流程化技术检验处理方法，其特征在于，所述保持采集到的遥感数据的原貌，包括：

以一个文本文件来存储遥感用户数据的检索行为或者下载行为，该文本文件记为日志文件。

3.根据权利要求1所述的一种基于遥感应用的算法流程化技术检验处理方法，其特征在于，所述根据操作过程对保持原貌的遥感数据进行建模，得到算法数据，包括：

在遥感算法检验平台中，选取需要解析的算法数据，所述算法数据主要包括算法、执行文件、输入文件、输出文件、辅助信息文件和日志文件；确定解析算法时所需要权衡的指标度量值。

4.根据权利要求1所述的一种基于遥感应用的算法流程化技术检验处理方法，其特征在于，所述对算法数据进行统一计算，读取出影像图，包括：

根据算法输入参数信息生成参数的名、类型、变量，遍历出目标算法，读取目标地址中的算法执行文件以及影像图。

5.根据权利要求1所述的一种基于遥感应用的算法流程化技术检验处理方法，其特征在于，所述将影像图进行标记并提取，包括：

使用目标样本标记工具和目标样本提取工具；

所述目标样本标记工具通过遥感算法检验平台的前端埋点所采集到的遥感影像数据存入操作端中，并保存至服务器；所述前端埋点指算法传输接口；以及利用多边形标注方法对目标样本进行标记并存储到系统后台；

所述目标样本提取工具将遥感算法检验平台系统后台的目标样本标记数据按照对应格式存储至与目标算法同路径下的算法文件中，其中算法文件为xml格式。

6.根据权利要求1所述的一种基于遥感应用的算法流程化技术检验处理方法，其特征在于，所述对影像图进行人工特征选择，包括：

选择目标样本需要计算的样本特征，所述样本特征主要包括光谱特征、纹理特征、上下文特征、几何特征、直方图特征、方向梯度直方图特征等；选择特征目标值；确定计算特征值时所需要权衡的原则指标；所述原则指标是特征计算所需的坐标是否规范，所选择的样本是否具有特征。

7.根据权利要求1所述的一种基于遥感应用的算法流程化技术检验处理方法，其特征在于，所述通过联动功能、叠加功能、卷帘功能、矢量化叠加功能四种方式来比对影像图与原始图像，包括：

所述联动功能、卷帘功能、叠加功能、矢量化叠加功能用于将算法文件的自动匹配，将输入输出图片利用OpenLayers类库包与Cesium库相结合的方式，通过不同的功能从不同角度，对影像图以及原始图像进行比对；将对比结果存储至测试报告并导出。

8.根据权利要求1所述的一种基于遥感应用的算法流程化技术检验处理方法，其特征在于，所述创建支持压缩的表，通过所述表将遥感数据进行特定的存储，包括：

根据遥感算法检测平台数据的表结构存储算法数据，所述表结构为算法数据库的表结构，所述表结构包括算法id、算法名和算法类型。

9.根据权利要求1所述的一种基于遥感应用的算法流程化技术检验处理方法，其特征在于，所述对不同类型的特征进行计算，包括：

采用灰度共生矩阵、光谱与形状特征相结合、HOG计算法等方法对不同类型的特征进行计算。

10.一种基于遥感应用的算法流程化技术检验处理系统，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如权利要求1～9任意一项所述一种基于遥感应用的算法流程化技术检验处理方法的步骤。

Images