CN107423053B - 一种遥感图像处理的web化模型封装与分布式处理方法 - Google Patents

Abstract

本发明涉及一种遥感图像处理的web化模型封装与分布式处理方法，属于遥感图像处理领域。本发明给用户提供了一种将遥感算法便捷化封装为Web流程模型组件的接口，减少了用户扩展遥感模型组件的开发工作量。同时通过将遥感算法的参数、方法与运行环境配置信息从代码中进行分离，以此形成一系列新的文件，在设计态拖曳模型组件时，通过加载该文件，自动识别该组件模型中的信息，给每个组件提前配置好相应算法名及调用参数等信息，以此简化设计人员的工作。在运行态，执行引擎只需解析该文件，并调度相应算法的运行脚本或批处理命令，便可动态实现对不同主机的分布式调度执行，降低了二次开发成本。本发明适用于遥感图像分布式处理的web化处理工具。

Description

一种遥感图像处理的web化模型封装与分布式处理方法

技术领域

本发明涉及一种遥感图像处理的web化模型封装与分布式处理方法，属于遥感图像处理领域。

背景技术

遥感图像处理算法是遥感模型的主要构成元素。遥感模型是衔接遥感观测数据与观测地表目标的桥梁，遥感模型库是地物波谱知识库建设的四大库之一，关系到地物波谱知识库应用效率。新一代地物波谱结构知识库地遥感模型库提出了较高要求，要求遥感模型库具备网络服务能力，并能根据遥感业务处理流程进行遥感模型编排与分布式处理。遥感模型驱动是面向遥感图像处理领域的一种建模方法，它需要根据业务和技术需要去设计各自业务领域的规则模型。它主要解决的是如何将遥感图像处理流程业务领域概念映射到遥感图像处理软件中，并按流程进行驱动运转。为了解决这种流程驱动，目前常规的做法是根据已有遥感模型设计一套工作流与用户交互，然而遥感模型所涉及的元数据描述是变化的，这会造成随着遥感模型的频繁变化，而不断的修改代码。因此需要一种新的遥感图像处理算法web化便捷封装与处理方法，使得遥感模型建模与web流程模型可视化展现分离，并易于进行分布式处理，进而简化用户的操作步骤。

发明内容

本发明的目的是为了解决现有技术不能将遥感图像处理算法便捷化封装成web流程处理模型并进行分布式处理而提出的方法。这种处理方法可以解决以往遥感业务变化时，需要修改遥感web流程处理模型代码，以此来满足新遥感业务所需要的遥感模型的流程编排问题。同时本发明可以将遥感算法处理名、遥感算法参数名称和值的描述方法，封装成一个遥感模型设计态的属性文件，在遥感web处理流程编排时，进行关联，避免了以往用户设计遥感流程时需要手工录入遥感算法的处理名、遥感算法参数名和值的繁琐性，降低了用户编排与使用遥感图像处理算法流程的复杂度。

一种遥感图像处理的web化模型封装与分布式处理方法，包括如下步骤：

步骤1、对遥感算法进行分类，将其算法名与遥感算法参数进行抽象，得到遥感模型属性类型；

步骤2、将抽象化后的遥感模型属性类型定义n种特征；所述n种特征每个字段均以键-值对方式进行定义，得到定义后的遥感模型属性类型；

步骤3、对定义后的遥感模型属性类型进行元数据描述，得到描述后的遥感模型属性类型；

步骤4、根据描述后的遥感模型属性类型，定义不同的遥感模型，并构建模型组件类型封装描述文件；

步骤5、提取遥感模型与遥感算法中的信息，构建一个包括遥感模型名、遥感算法参数、运行主机、运行环境的模型组件运行属性封装文件；

步骤6、Web客户端遥感建模引擎将模型组件类型封装描述文件中的文件作为Web流程建模中的模型组件数据信息进行解析，动态地构建出设计遥感web处理流程的模型组件；

步骤7、WebWeb客户端遥感建模引擎中的流程控制模块在对模型组件进行拖拽时，实现了模型组件拖拽过程的视图显示效果，同时记录每一次选取的模型组件、模型组件坐标、模型组件依赖关系；

步骤8、用户选中模型组件，进行模型组件属性信息查看或修改时，读取步骤5中的模型组件运行属性封装文件并进行视图显示，同时对用户修改的模型组件属性信息在数据库中进行修改；

步骤9、使用基于Spring的注解机制，设计前后端流程文件交互模块，当用户触发保存流程的按钮时，前端web流程将传递给后端服务端，保存到后台数据库中；

步骤10、设计web遥感处理流程分布式多线程调度执行引擎，当用户触发执行按钮时，引擎进行分布式调度处理。

本发明的有益效果为：

1、本发明对传统遥感图像处理Web流程的开发设计模式进行了改进，将遥感图像处理Web流程模型开发中的控制与属性信息从代码中的类、对象、属性与方法中剥离出来，抽象成为遥感图像处理模型组件类型封装描述文件，用户只需对遥感模型元数据按照基于JSON语言格式的描述方式对它进行抽象化，后台就可以根据定义解译出Web环境中遥感模型的可视化交互模型组件。提高了遥感图像处理Web流程开发的快速化开发与扩展，降低了程序开发的难度，用户只需使用JSON这种易读的方式对Web流程模型组件进行设计，就可以实现对不同遥感模型在Web环境中的按需定制，提高程序的重用性。

2、本发明将遥感图像处理Web流程中的设计态与运行态中所设计的遥感算法的算法名、遥感算法参数类型、遥感算法参数名、遥感算法参数值、遥感模型ID、遥感模型类型、运行遥感算法参数与方法从代码中进行了分离，将不同遥感执行时所需特殊环境、算法所涉及的分布在不同主机上的遥感数据路径信息、遥感数据的分割与拼接方式及执行方法制作成脚本或批处理脚本，以此形成一系列新的文件，在设计态拖拽模型组件时，通过加载该文件，自动识别该模型组件模型中的相关信息，给每个模型组件提前配置好相应的算法名及调用遥感算法参数等相关信息，这样就简化了设计人员的工作。在运行态，执行引擎只需解析该文件，并调度相应要按算法的运行脚本或批处理命令，便可动态实现对不同主机的分布式调度执行，从而可实现程序在分布式环境中的快速扩展，降低二次开发的成本。

附图说明

图1为具体实施方式一中模型组件属性类型定义的示意图；

图2为具体实施方式二中模型组件定义的示意图；

图3为具体实施方式三中模型组件运行属性的示意图；

图4为具体实施方式四中遥感模型组件Web流程建模过程；

图5为具体实施方式五中Web流程分布式执行引擎的示意图。

具体实施方式

具体实施方式一：本实施方式主要是描述web流程处理中遥感模型属性类型的定义方式，如图1所示，包括如下步骤：

步骤1、对遥感算法进行分类，将其算法名与遥感算法参数进行抽象，得到遥感模型属性类型；

步骤2、将抽象化后的遥感模型属性类型定义n种特征；所述n种特征每个字段均以键-值对方式进行定义，得到定义后的遥感模型属性类型；

步骤3、对定义后的遥感模型属性类型进行元数据描述，得到描述后的遥感模型属性类型；

构建方法主要是对遥感模型进行元数据描述，形成遥感建模流程中最基础的遥感模型描述基础属性类型。通过采用一套由数据与接口所构成的类模型描述方式对遥感模型进行定义，然后针对这套遥感模型定义，设计出针对遥感模型的属性数据表达与模型节点类型数据表达的元数据键值对形式化描述。这套形式化描述采用对象、数组、字符串和值的方式，对遥感模型元数据描述语言以<key:value>为基础对象并基于基础对象进行操作的模型属性与模型操作的描述。

根据图1的方法可以按照如下的模板对遥感业务模型进行属性类型定义：

具体实施方式二：本实施方式主要处理web流程处理中模型组件的封装描述方式，如图2所示，包括如下步骤：

步骤一、基于遥感模型属性类型，定义不同的遥感模型，将具体实施方法一中的抽象结果构建成一个模型组件类型封装描述文件；

这部分的构建方式是基于实施方式一描述的遥感模型元数据属性基础信息类型，定义不同的遥感模型，这些遥感模型拥有的遥感图像处理能力由其所构成的元数据属性基础类型和它自己所定义的属性信息决定。通过对遥感模型定义的JSON语言进行解析，这个描述定义构建了一个树形数据结构，它将定义语言中的模型节点类型作为该树形数据结构的叶子节点，将定义语言中的属性数据作为叶子节点的属性值，每一个叶子节点和它的属性值构成一个模型组件，同时存储遥感模型相关的文本输入、数据表格、选择项、组合项等不同的数据，这两个部分就构成了对遥感业务处理web流程模型的定义。模型组件类型封装描述文件类似于程序语言中定义了函数的文件，其中定义了遥感算法的类型、属性以及元数据描述。

按照图2所示方法定义，其模型组件的模板描述如下：

具体实施方式三：本实施方式主要处理模型组件运行属性文件的封装描述方式，如图3所示，包括如下步骤：

步骤一、提炼遥感模型与遥感算法中的相关信息，构建一个遥感模型名、遥感算法参数、运行主机、运行环境等的模型运行属性封装文件。

遥感模型组件模型运行属性文件的构建方式主要是通过提炼出这些遥感模型名、模型的类型、模型ID、模型的含义定义、运行的环境、遥感算法名、实现语言、编译系统、遥感算法参数类型、遥感算法参数名、遥感算法参数值、使用的方法、约束条件、数据处理方式、数据的格式、数据分割方式、数据拼接方式、适用的范围、遥感算法运行软件、运行脚本、运行主机IP、端口数据信息，该运行属性文件将遥感模型属性类型定义及遥感模型组件模型定义及遥感模型组件模型进行了关联，提供给遥感web处理流程的控制模块及执行引擎解析，实现用户设计拖拽模型组件时，自动识别该模型组件模型中的相关信息，并在运行态执行引擎动态对不同主机进行分布式调度。

具体实施方式四：本实施方式主要描述遥感模型组件Web流程建模过程的方法，如图4所示，包括如下步骤：

步骤一、Web客户端遥感建模引擎将具体实施方式一与具体实施方式二所产生的文件作为Web流程建模中的模型组件数据信息进行解析，动态地构建出设计遥感web处理流程的模型组件；

步骤二、Web客户端遥感建模引擎中的流程控制模块在实现模型组件的流程拖拽的视图显示时，同时记录每一次选取的模型组件、模型组件坐标、模型组件依赖关系等信息；

步骤三、用户选中模型组件，进行模型组件属性信息查看或修改时，读取具体实施方式三中的属性封装文件并进行视图显示，同时对用户修改的模型组件属性信息在该文件中就行修改保存。

步骤四、基于Spring的注解机制，设计前后端流程文件交互模块，当用户触发保存流程的按钮时，前端web流程将传递给后端服务端，保存到后台数据库中；

在图4中，整个流程按照如下方式处理：1、用户向Web服务器发出遥感流程编排请求；2、Web服务器接到请求后下载Web浏览器端展现流程编排所需的各种js脚本、模型组件类型封装描述文件及模型组件运行属性封装文件；3、Web客户端遥感建模引擎解析从Web服务器端下载的模型组件类型封装描述文件；4、Web客户端遥感建模引擎根据解析的信息动态地构建出设计遥感web处理流程的模型组件的视图展现组织信息，并在Web浏览器端中给用户展现遥感流程编排建模Web客户端视图；5、用户看到遥感模型编排建模视图后，通过与Web客户端遥感建模引擎交互，拖拽模型组件去生产web流程；6、当用户拖拽模型组件时，Web客户端遥感建模引擎将调用流程控制模块对流程拖拽过程、模型组件位置信息、模型组件之间依赖关系进行处理；7、流程控制模块将处理的结果反馈给Web客户端遥感建模引擎；8、用户修改遥感模型组件中相关的遥感算法及遥感算法参数信息，并点击相关按钮对修改进行保存；9、Web客户端遥感建模引擎接收到用户修改遥感模型组件中遥感算法及遥感算法参数信息信息时，首先读取与解析模型组件运行属性封装文件，在流程编排视图中展现遥感模型组件关联的遥感算法及相关遥感算法参数信息；10、当用户在Web浏览器端中触发保存按钮时，Web客户端遥感建模引擎将用户修改的相应遥感算法参数返回给Web服务器；11、Web服务器解析Web客户端发送过来的流程相关数据并保存到MySQL数据库。

具体实施方式五：本实施方式主要描述遥感Web流程分布式调度方法，如图5所示，包括如下步骤：

步骤五、设计web遥感处理流程分布式多线程调度执行引擎，当用户触发执行按钮时，引擎进行分布式调度处理。

在图5中，用户通过Web浏览器端触发Web流程执行，并通过Web浏览器端查看流程执行结果与状态。Web浏览器端收到用户的请求后，向Web服务器发出流程执行或查询流程执行结果与状态的请求。如果用户发出的是Web流程执行请求，则去MySQLWeb流程存储Web服务器根据用户选择的Web流程名查找流程相关信息，并将检索结果发送给Web流程分布式执行引擎进行解析。Web流程分布式执行引擎解析出流程的前后依赖关系、并/串行关系、同步/异步关系、执行主机的IP地址与通信端口、数据节点的数据路径信息、遥感数据的分割与拼接方式信息及执行脚本，将这些执行步骤分解成为流程执行步骤描述文件，发送给RabbitMQ服务端与遥感业务解析器。RabbitMQ消息Web客户端与执行控制器从消息队列中检索相关详细，并进行消息相关匹配，获取执行描述文件，发送给数据节点执行任务。数据节点执行主机执行任务时，将处理状态与结果推送给日志Web服务器进行记录。日志Web服务器获取到流程处理状态和结果时，将处理结果信息反馈给Web流程分布式执行引擎，Web流程分布式执行引擎将流程处理步骤的中间结果推送到MySQL中保存。当用户点击查看路程执行状态与结果时，Web服务器查询相关路程执行信息，并将结果反馈给Web浏览器端，供用户查看。

本发明还可有其它多种实施例，在不背离本发明精神及其实质的情况下，本领域技术人员当可根据本发明作出各种相应的改变和变形，但这些相应的改变和变形都应属于本发明所附的权利要求的保护范围。

Claims (7)

1.一种遥感图像处理的web化模型封装与分布式处理方法，其特征在于，包括如下步骤：

步骤1、对遥感算法进行分类，将其算法名与参数进行抽象，得到遥感模型属性类型；

步骤2、将抽象化后的遥感模型属性类型定义n种特征；所述n种特征每个字段均以键-值对方式进行定义，得到定义后的遥感模型属性类型；

步骤3、对定义后的遥感模型属性类型进行元数据描述，得到描述后的遥感模型属性类型；

步骤4、根据描述后的遥感模型属性类型，定义不同的遥感模型，并构建模型组件类型封装描述文件；

步骤5、提取遥感模型与遥感算法中的信息，构建一个包括遥感模型名、遥感算法参数、运行主机、运行环境的模型组件运行属性封装文件；

步骤6、Web客户端遥感建模引擎将模型组件类型封装描述文件中的文件作为Web流程建模中的模型组件数据信息进行解析，动态地构建出设计遥感web处理流程的模型组件；

步骤7、Web客户端遥感建模引擎中的流程控制模块在对模型组件进行拖拽时，实现了模型组件拖拽过程的视图显示效果，同时记录每一次选取的模型组件、模型组件坐标、模型组件依赖关系；

步骤8、用户选中模型组件，进行模型组件属性信息查看或修改时，读取步骤5中的模型组件运行属性封装文件并进行视图显示，同时对用户修改的模型组件属性信息在数据库中进行修改；

步骤9、使用基于Spring的注解机制，设计前后端流程文件交互模块，当用户触发保存流程的按钮时，前端web流程将传递给后端服务端，保存到后台数据库中；

步骤10、设计web遥感处理流程分布式多线程调度执行引擎，当用户触发执行按钮时，引擎进行分布式调度处理。

2.根据权利要求1所述的遥感图像处理的web化模型封装与分布式处理方法，其特征在于，所述步骤5中，模型组件运行属性封装文件具体包括：

遥感模型名、遥感模型的类型、遥感模型ID、遥感模型的含义定义、运行的环境、遥感算法名、实现语言、编译系统、遥感算法参数类型、遥感算法参数名、遥感算法参数值、使用的方法、约束条件、数据处理方式、数据的格式、数据分割方式、数据拼接方式、适用的范围、遥感算法运行软件、运行脚本、运行主机IP、端口数据信息。

3.根据权利要求1所述的遥感图像处理的web化模型封装与分布式处理方法，其特征在于，步骤6具体包括：

步骤6-1、用户向Web服务器发出遥感流程编排请求后，Web客户端遥感建模引擎下载Web浏览器端所需的各种js脚本、模型组件类型封装描述文件以及模型组件运行属性封装文件；

步骤6-2、Web客户端遥感建模引擎解析从服务器端下载的模型组件类型封装描述文件；

步骤6-3、Web客户端遥感建模引擎根据解析到的信息动态构建出设计遥感Web处理流程的模型组件的视图展现组织信息，并在Web浏览器端中给用户展现遥感流程编排建模模型组件之间的组织信息视图。

4.根据权利要求3所述的遥感图像处理的web化模型封装与分布式处理方法，其特征在于，步骤7具体包括：

步骤7-1、Web客户端遥感建模引擎与用户进行交互，根据用户的对模型组件的拖拽操作来生成Web流程；

步骤7-2、当检测到用户对模型组件进行拖拽时，Web客户端遥感建模引擎调用流程控制模块对流程拖拽过程、模型组件位置信息、模型组件之间的依赖关系进行处理；

步骤7-3、流程控制模块将处理的结果反馈给Web客户端遥感建模引擎。

5.根据权利要求4所述的遥感图像处理的web化模型封装与分布式处理方法，其特征在于，步骤8具体包括：

步骤8-1、用户修改模型组件中相关的遥感算法及遥感算法参数信息，并点击对应的按钮对修改结果进行保存；

步骤8-2、Web客户端遥感建模引擎接收到用户修改模型组件中遥感算法及遥感算法参数信息时，读取与解析模型组件运行属性封装文件，在流程编排视图中展现模型组件关联的遥感算法及相关的遥感算法参数信息。

6.根据权利要求5所述的遥感图像处理的web化模型封装与分布式处理方法，其特征在于，步骤9具体包括：

步骤9-1、使用基于Spring的注解机制，设计前后端流程文件交互模块；

步骤9-2、当用户在Web浏览器端中触发保存按钮时，Web客户端遥感建模引擎将用户修改的相应的遥感算法参数返回给Web服务器；

步骤9-3、Web服务器解析Web客户端发送过来的流程相关数据并保存到数据库；所述数据库为MySQL数据库。

7.根据权利要求1所述的遥感图像处理的web化模型封装与分布式处理方法，其特征在于，步骤10中，分布式调度处理具体包括如下步骤：

步骤10-1、用户通过Web浏览器端触发Web流程执行过程，并通过Web浏览器端查看流程执行结果与状态；

步骤10-2、Web浏览器端在接收到用户的请求后，向Web服务器发出流程执行或查询流程执行结果与状态的请求；若用户发出的是Web流程执行请求，则向MySQLWeb流程存储服务器发出信号，使其根据用户选择的Web流程执行请求查找流程相关信息，并将检索结果发送给Web流程分布式执行引擎进行解析；

步骤10-3、Web流程信息包括Web流程分布式执行引擎解析出的流程的前后依赖关系、并/串行关系、同/异步关系、执行主机的IP地址与通信端口、数据节点的数据路径信息、遥感数据的分割与拼接方式信息以及执行脚本，并将解析出的信息分解成为流程执行步骤描述文件，发送给RabbitMQ服务端和遥感业务解析器；

步骤10-4、RabbitMQ消息客户端与执行控制器从消息队列中检索相关信息，并进行消息相关匹配，获取执行流程执行步骤描述文件，发送给数据节点执行任务；数据节点执行主机执行任务时，将处理状态与结果推送给日志服务器进行记录；日志服务器获取到流程处理状态和结果时，将处理结果信息反馈给Web流程分布式执行引擎，Web流程分布式执行引擎将流程处理步骤的中间结果推送到数据库中保存；

步骤10-5、Web服务器接收到来自用户的查看路径执行状态与结果的命令时，Web服务器查询相关路程执行信息，并将结果反馈给Web浏览器端，以供用户查看。

Images