CN111143075B - 海洋卫星数据定标检验方法、装置、电子设备及存储介质 - Google Patents

海洋卫星数据定标检验方法、装置、电子设备及存储介质 Download PDF

Info

Publication number
CN111143075B
CN111143075B CN201911403721.6A CN201911403721A CN111143075B CN 111143075 B CN111143075 B CN 111143075B CN 201911403721 A CN201911403721 A CN 201911403721A CN 111143075 B CN111143075 B CN 111143075B
Authority
CN
China
Prior art keywords
data
file
task
computing nodes
calibration
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201911403721.6A
Other languages
English (en)
Other versions
CN111143075A (zh
Inventor
王宇翔
闫军朝
殷晓斌
鲍青柳
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Aerospace Hongtu Information Technology Co Ltd
Original Assignee
Aerospace Hongtu Information Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Aerospace Hongtu Information Technology Co Ltd filed Critical Aerospace Hongtu Information Technology Co Ltd
Priority to CN201911403721.6A priority Critical patent/CN111143075B/zh
Publication of CN111143075A publication Critical patent/CN111143075A/zh
Application granted granted Critical
Publication of CN111143075B publication Critical patent/CN111143075B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46—Multiprogramming arrangements
    • G06F9/50—Allocation of resources, e.g. of the central processing unit [CPU]
    • G06F9/5005—Allocation of resources, e.g. of the central processing unit [CPU] to service a request
    • G06F9/5027—Allocation of resources, e.g. of the central processing unit [CPU] to service a request the resource being a machine, e.g. CPUs, Servers, Terminals
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02A—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
    • Y02A90/00—Technologies having an indirect contribution to adaptation to climate change
    • Y02A90/10—Information and communication technologies [ICT] supporting adaptation to climate change, e.g. for weather forecasting or climate simulation

Landscapes

  • Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

本申请涉及一种海洋卫星数据定标检验方法、装置、电子设备及存储介质。该方法包括：获取满足预设定标检验业务流程数据需求规则的目标源文件和目标参考文件；基于所述目标源文件数据生成K个任务单，每个任务单中携带有指向所述目标源文件下的单轨卫星数据的第一文件路径和指向所述目标参考文件下的参考数据的第二文件路径；根据预设的N个计算节点各自的资源占用率将所述K个任务单分发至M个计算节点，以使所述M个计算节点中的每个计算节点各自执行对应的任务单，其中，M大于等于2，且不大于N。本申请实施例中，通过充分、高效(负载均衡)利用定标检验系统中的N台高性能的计算节点进行并行计算来加快定标检验的处理流程，提高运算效率。

Description

海洋卫星数据定标检验方法、装置、电子设备及存储介质
技术领域
本申请属于卫星技术领域，具体涉及一种海洋卫星数据定标检验方法、装置、电子设备及存储介质。
背景技术
定标检验工作是卫星投入正常使用的必要步骤，用于定标检验业务的源数据主要包括：海洋卫星数据、海洋卫星试验观测数据、卫星定标检验场网观测数据、国外卫星数据、国外相关网站上发布的模式数据(例如，来自美国国家环境预报中心(National Centersfor Environmental Prediction，NCEP)的模式数据、来自欧洲数值中心中时天气预报(European Centre for Medium-Range Weather Forecast，ECMWF)的模式数据、来自全球海洋观测网(Array for Real-time Geostrophic Oceanography，ARGO)的模式数据、来自国家浮标数据中心(National Data Buoy Center，NDBC)的热带大气海洋(TropicalAtmosphere Ocean，TAO)数据等)等，定标检验业务所需的输入数据来源各异、种类较多、数据量大。由于定标检验流程需要处理的数据量大(以天为单位进行处理)，处理起来会比较耗时。
发明内容
鉴于此，本申请的目的在于提供一种海洋卫星数据定标检验方法、装置、电子设备及存储介质，以改善现有定标检验业务处理流程耗时过久的问题。
本申请的实施例是这样实现的：
第一方面，本申请实施例提供了一种海洋卫星数据定标检验方法，应用于调度服务器，所述方法包括：获取满足预设定标检验业务流程数据需求规则的目标源文件和目标参考文件；基于所述目标源文件的数量生成K个任务单，其中，K为大于等于2的正整数，每个任务单中携带有指向所述目标源文件下的单轨卫星数据的第一文件路径和指向所述目标参考文件下的参考数据的第二文件路径；根据预设的N个计算节点各自的资源占用率将所述K个任务单分发至M个计算节点，以使所述M个计算节点中的每个计算节点各自执行对应的任务单，以根据该任务单中的第一文件路径对应的源数据和第二文件路径对应的所述参考数据进行定标检验业务处理，得到定标检验结果，其中，M和N均为正整数，且M大于等于2，且不大于N。
本申请实施例中，在定标检验任务启动后，基于获取到的取满足预设定标检验业务流程数据需求规则的目标源文件生成K个任务，并根据N个计算节点各自的资源占用率将K个任务单分发至M个计算节点并行进行定标检验，通过充分、高效(负载均衡)利用N台高性能的计算节点进行并行计算来加快定标检验的处理流程，提高运算效率。
结合第一方面实施例提供的一种可能的实施方式，获取满足预设定标检验业务流程数据需求规则的目标源文件和目标参考文件，包括：从系统数据库中选取出指定日期的源文件和参考文件；从选取出的所述源文件和所述参考文件中选取出具有相同观测要素的待选源文件和待选参考文件；基于所述待选源文件和所述待选参考文件，得到所述目标源文件和所述目标参考文件。本申请实施例中，在定标检验任务启动时，通过选取与指定日期相同且具有相同观测要素的源文件和对应的参考文件来作为目标源文件和目标参考文件，保证了定标检验的可行性和结果的准确性。
结合第一方面实施例提供的一种可能的实施方式，基于所述目标源文件生成K个任务单，包括：基于所述目标源文件中的单轨卫星数据的数量生成K个任务单，其中，K值为所处理的日期的海洋卫星数据文件的数量，一个任务单对应一个海洋卫星数据文件。本申请实施例中，基于目标源文件中的单轨卫星数据的数量生成对应数量的任务单，使得尽可能的多生成任务单，以加快处理速度。
结合第一方面实施例提供的一种可能的实施方式，当K小于N时，根据预设的N个计算节点各自的资源占用率将所述K个任务单分发至M个计算节点，包括：根据预设的N个计算节点的资源占用率从高到底的排列排序，从所述N个计算节点中选取资源占用率靠后的M个计算节点；其中，M等于K；按照一对一的关系将所述K个任务单下发至所述M个计算节点。本申请实施例中，当K小于N时，将K个任务下发至N个计算节点中资源占用率最优的K个计算节点，使得一个计算节点仅对应一个任务单，进而可以实现K个任务的并行处理，最大化的提高处理效率。
结合第一方面实施例提供的一种可能的实施方式，在根据预设的N个计算节点各自的资源占用率将所述K个任务单分发至M个计算节点之后，所述方法还包括：接收所述M个计算节点中的每个计算节点各自针对对应的任务单返回的定标检验结果；将所有定标检验结果中的匹配数据输出到定标后检验模型进行定标后检验计算，生成定标检验成果；按照指定的目录存储规范将所述定标检验成果进行归档保存。本申请实施例中，由调度服务器对K个定标检验结果中的匹配数据输出到定标后检验模型进行定标后检验计算，生成定标检验成果文件按照指定的目录存储格式将定标检验成果文件进行归档保存，以为后续定标检验成果查询检索、显示、共享分发等业务提供数据支撑。
结合第一方面实施例提供的一种可能的实施方式，根据预设的N个计算节点各自的资源占用率将所述K个任务单分发至M个计算节点，包括：根据预设的N个计算节点各自的资源占用率将所述K个任务单通过中间件分发至M个计算节点。本申请实施例中，通过调度服务器与各个计算节点之间不直接建立数据通道，而是通过中间件来实现异步通信，以降低对设备的要求，无需要求接收和发送设备必须使用同一时钟。
第二方面，本申请实施例还提供了一种海洋卫星数据定标检验方法，应用于计算节点，所述方法包括：接收调度服务器下发的任务单；根据所述任务单中的第一文件路径获取对应的源数据，以及根据所述任务单中的第二文件路径获取对应的参考数据；根据所述参考数据和所述源数据进行定标检验业务处理，得到定标检验结果。本申请实例中，通过将获取源数据和参考数据的文件路径封装在任务单中，使得计算节点在接收到调度服务器下发的任务单后，基于该任务单中携带的文件路径，获取对应的源数据和参考数据，并进行定标检验处理，可以简化处理流程，而无需额外的指令来发送对应的文件路径。
结合第二方面实施例提供的一种可能的实施方式，根据所述参考数据和所述源数据进行定标检验业务处理，得到定标检验结果，包括：针对所述源数据中的每一格点数据判断是否能在指定的距离阈值之内从所述参考数据中匹配到与该格点数据对应的观测值；在为是时，得到包含该格点数据与匹配的观测值的匹配点对的数据的定标检验结果；在为否时，得到数据匹配失败的定标检验结果。本申请实施例中，在进行定标检验时，允许一定的距离阈值误差，通过牺牲部分的准确性，来提高匹配成功的成功率。
结合第二方面实施例提供的一种可能的实施方式，在针对所述源数据中的每一格点数据判断是否能在指定的距离阈值之内从所述参考数据中匹配到与该格点数据对应的观测值之前，所述方法还包括：获取所述源数据的第一数据观测时间，以及获取所述参考数据的第二数据观测时间；确定所述第一数据观测时间与所述第二数据观测时间的时间差在限定的时间差阈值范围内。本申请实施例中，在针对源数据中的每一格点数据判断是否能在指定的距离阈值之内从参考数据中匹配到与该格点数据对应的观测值之前，需要先确保获取的源数据与参考数据的时间差在限定的时间差阈值范围内，以保存定标检验结果的可靠性和准确性。
第三方面，本申请实施例还提供了一种海洋卫星数据定标检验装置，应用于调度服务器，所述装置包括：业务源数据获取模块、任务生成模块以及任务分发模块；业务源数据获取模块，用于获取满足预设定标检验业务流程数据需求规则的目标源文件和目标参考文件；生成模块，用于基于所述目标源文件的数量生成K个任务单，其中，K为大于等于2的正整数，每个任务单中携带有指向所述目标源文件下的单轨卫星数据的第一文件路径和指向所述目标参考文件下的参考数据的第二文件路径；分发模块，用于根据预设的N个计算节点各自的资源占用率将所述K个任务单分发至M个计算节点，以使所述M个计算节点中的每个计算节点各自执行对应的任务单，以根据该任务单中的第一文件路径对应的源数据和第二文件路径对应的所述参考数据进行定标检验，得到定标检验结果，其中，M和N均为正整数，且M大于等于2，且不大于N。
第四方面，本申请实施例还提供了一种海洋卫星数据定标检验装置，应用于计算节点，所述装置包括：任务接收模块、任务解析模块以及定标检验模块；任务接收模块，用于接收调度服务器下发的任务单；任务解析模块，用于根据所述任务单中的第一文件路径获取对应的源数据，以及根据所述任务单中的第二文件路径获取对应的参考数据；定标检验模块，用于根据所述参考数据和所述源数据进行定标检验业务处理，得到定标检验结果。
第五方面，本申请实施例还提供了一种电子设备，包括：处理器和存储器，所述处理器和所述存储器连接；所述存储器，用于存储程序；所述处理器，用于调用存储于所述存储器中的程序，以执行如上述第一方面实施例和/或结合第一方面实施例的任一种可能的实施方式提供的方法，或者执行如上述第二方面实施例和/或结合第二方面实施例的任一种可能的实施方式提供的方法。
第六方面，本申请实施例还提供了一种存储介质，其上存储有计算机程序，所述计算机程序，被处理器运行时执行如上述第一方面实施例和/或结合第一方面实施例的任一种可能的实施方式提供的方法，或者执行如上述第二方面实施例和/或结合第二方面实施例的任一种可能的实施方式提供的方法。
本申请的其他特征和优点将在随后的说明书阐述，并且，部分地从说明书中变得显而易见，或者通过实施本申请实施例而了解。本申请的目的和其他优点可通过在所写的说明书以及附图中所特别指出的结构来实现和获得。
附图说明
为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。通过附图所示，本申请的上述及其它目的、特征和优势将更加清晰。在全部附图中相同的附图标记指示相同的部分。并未刻意按实际尺寸等比例缩放绘制附图，重点在于示出本申请的主旨。
图1示出了本申请实施例提供的一种定标检验集成调度系统的结构示意图。
图2示出了本申请实施例提供的一种海洋卫星数据定标检验方法的流程示意图。
图3示出了本申请实施例提供的一种海洋卫星数据定标检验方法的流程示意图。
图4示出了本申请实施例提供的一种海洋卫星数据定标检验装置的功能模块示意图。
图5示出了本申请实施例提供的一种海洋卫星数据定标检验装置的功能模块示意图。
图6示出了本申请实施例提供的一种电子设备的结构示意图。
具体实施方式
下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行描述。
应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释。同时，在本申请的描述中诸如“第一”、“第二”等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的率下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
再者，本申请中术语“和/或”，仅仅是一种描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种率。
请参阅图1，图1为本申请实施例提供的一种海洋卫星数据定标检验系统的交互示意图。该海洋卫星数据定标检验系统包括：调度服务器、客户终端、计算节点和存储服务器。
该海洋卫星数据定标检验系统以打造可扩展、可复用、稳定、高效的海洋遥感数据和现场数据处理、存储和管理以及软件集成为目的，建立数据标准化处理规范、信息显示规范和应用规范，以及软件集成规范，集数据处理、存储、管理、查询、显示、维护、集成等功能为一体，实现海洋遥感数据和现场观测数据标准化处理、存储和管理以及多遥感器定标的集成和统一调度等功能，大幅提升定标数据自动化处理、归档、存储、管理和可视化能力。该海洋卫星数据定标检验系统的主要功能为：定标检验业务源数据的获取与管理->定标检验业务流程的调度(数据处理部分)->定标检验业务成果数据的归档管理->定标检验数据的查询检索、定标检验成果数据的显示、共享分发。
其中，定标检验业务源数据获取与存储管理：通过网络、卫星、专线、地方引接、介质拷贝等手段汇集海洋卫星数据、海洋卫星试验观测数据、定标检验场网观测数据、国外相关卫星数据、国外网站发布的全球观测模式数据(例如，来自美国国家环境预报中心(National Centers for Environmental Prediction，NCEP)的模式数据、来自欧洲数值中心中时天气预报(European Centre for Medium-Range Weather Forecast，ECMWF)的模式数据、来自全球海洋观测网(Array for Real-time Geostrophic Oceanography，ARGO)的模式数据、来自国家浮标数据中心(National Data Buoy Center，NDBC)的热带大气海洋(Tropical Atmosphere Ocean，TAO)数据等)，并对获取到的数据的格式及完整性进行检查，同时对其中的场网及海洋卫星试验观测数据进行标准化处理，将不同数据格式的数据统一处理为标准格式(如HDF5格式)并按照指定的目录结构(以海洋卫星数据目录结构为例：定标检验源数据目录/HYData/卫星名称/传感器名称/数据级别/日期/种类)规范进行存储管理，并将标准化处理后的数据存储到存储服务器的存储区，为定标检验流程提供数据准备。
本实施例中，客户终端通过网络与调度服务器进行数据交互。客户终端的数量为至少一个，其中，客户终端中安装有至少一个应用程序(Application，APP)与调度服务器相对应，以便用户通过用户终端与调度服务器进行信息交互，例如，用户通过用户终端向调度服务器发送针对定标检验成果数据的查询检索请求，调度服务器响应该查询检索请求向用户终端返回对应的查询检索结果。所述客户终端可以是，但不限于个人电脑(Personalcomputer，PC)、智能手机、平板电脑、移动上网设备(Mobile Internet Device，MID)、个人数字助理(Personal Digital Assistant，PDA)等电子设备。
本实施例中，计算节点(运算服务器)的数量为N个，其中，N为大于等于2的正整数。调度服务器与各个计算节点间可以不建立直接的数据通道，例如通过中间件(消息队列、消息堆栈或消息服务器)进行异步通信，以实现计算节点与调度服务器的数据交互。例如，调度服务器将调度指令发送到消息队列，计算节点从消息队列中取出调到指令调度本地的程序进行数据处理，数据处理的执行状态同样通过消息队列上报到调度服务器。当然作为一种实施方式，各个计算节点可以直接与调度服务器连接，而无需通过中间件来实现数据通信。其中，当中间件为消息队列或消息堆栈，该消息队列或消息堆栈为部署于调度服务器上的消息队列或消息堆栈。当中间件为消息服务器时，该定标检验系统还包括消息服务器。
本实施例中，存储服务器用于存储定标检验数据文件(包含源文件和参考文件，以及存储定标检验成果数据。可选地，该存储服务器可以是NAS(Network Attached Storage，网络附属存储)盘阵。其中，各个计算节点和调度服务器均与该存储服务器连接。
本申请实施例中的调度服务器具有交互页面，以供用户进行以下主要功能的配置：算法组件(带参数的命令行程序)的添加、部署、修改、删除等；业务流程的可视化配置、修改、删除等管理功能；定时任务配置(指定流程或组件触发规则及相关实参)等；系统参数配置；算法组件或流程的触发(用户选择指定的算法组件或流程配置实参后启动运行)及执行状态监控，流程执行控制(包括：是否继续执行下一流程节点；搜集当前各结算机节点的当前负载，动态将数据处理任务分配到不同的计算机节点)配置等功能。其中，所述调度服务器可以是，但不限于网络服务器、数据库服务器、云端服务器等。
由于单个定标检验流程需要处理的数据量大(以天为单位进行处理)，如果单机处理则耗时过久。因此，本申请实施例中，通过充分、高效(负载均衡)利用定标检验系统中的N台高性能的计算节点来加快定标检验的处理流程，提高运算效率。
在定标检业务流程启动后，调度服务器，用于获取满足预设定标检验业务流程数据需求规则的目标源文件和目标参考文件。其中，定标检业务流程的启动可以是通过人工手动触发，也可以是通过配置以自动(定时)触发，如达到指定日期时触发。标检业务流程启动后，调度服务器基于该指定日期从系统数据库(存储服务器)中选取出与指定日期同一天的源文件和参考文件，然后从选取出的与指定日期同一天的源文件和参考文件中选取出具有相同观测要素的待选源文件和待选参考文件，最后在基于待选源文件和待选参考文件，得到该目标源文件和该目标参考文件。例如，指定日期为2019年10月5日，则选取该天的源文件(假设有150个)和参考文件(假设有100个)，则从选取出的源文件中选取出具有相同观测要素的待选源文件(假设有10个)和待选参考文件(假设有10个)，则从选取出的待选源文件中随机选取一源文件作为目标源文件，然后再从待选参考文件中选取一与该目标源文件具有相同观测要素的参考文件(该参考文件即为目标参考文件)。例如，选取出的被检验的目标源文件为：卫星名称为HY-1C卫星，传感器名称为COCTS载荷，数据级别为L2级，日期为2019年10月5日，观测要素为归一化离水辐亮度的源文件。选取出的目标参考文件为：卫星名称为COMS卫星，传感器名称为GOGI载荷，数据级别为L2级，日期为2019年10月5日，观测要素为归一化离水辐亮度的参考文件。
可选地，还可以直接在该预设定标检验规则中指定所需的观测要素，例如，指定数据种为叶绿素浓度(B)，此时，获取满足预设定标检验规则的目标源文件和目标参考文件的过程可以是：从系统数据库中选取出指定日期的源文件和参考文件；从选取出的所述源文件和所述参考文件中选取出与指定观测要素相同的源文件(该源文件即为目标源文件)和参考文件(该参考文件即为目标参考文件)。
其中，观测要素包括：归一化离水辐亮度(A)、叶绿素浓度(B)、悬浮泥沙浓度(C)、490nm漫射衰减系数(D)、有色可容有机物(E)、气溶胶光学厚度(F)、海面温度(G)等。其中，上述的A、B、C……G等字母用于表示观测要素。
其中，需要说明的是，源文件和参考文件在存储时，均是按照指定的目录结构(以海洋卫星数据目录结构为例：定标检验源数据目录/HYData/卫星名称/传感器名称/数据级别/日期/种类)规范进行存储管理，以便于后续在定标检业务流程启动后，可基于文件目录快速地筛选出满足预设定标检验规则的目标源文件和目标参考文件。
调度服务器，在获取到满足预设定标检验规则的目标源文件和目标参考文件后，还用于基于所述目标源文件生成K个任务单，其中，K为大于等于2的正整数，每个任务单中携带有指向所述目标源文件下的单轨卫星数据的第一文件路径和指向所述目标参考文件下的参考数据的第二文件路径。在基于所述目标源文件生成K个任务单的过程可以是：基于所述目标源文件中的单轨卫星数据的数量生成K个任务单，其中K值为所处理的日期的海洋卫星数据文件的数量，一个任务单对应一个海洋卫星数据文件。例如，观测要素为归一化离水辐亮度的目标源文件包含10个单轨卫星数据，则生成10个任务单。当然，也可以是以两个以及两个以上的单轨卫星数据为一组生成一个任务单。如以两个单轨卫星数据为一组生成一个任务单，则可以生成5个任务单。
调度服务器，在基于所述目标源文件生成K个任务单后，还用于根据N个计算节点各自的资源占用率将所述K个任务单分发至M个计算节点。其中，M和N均为正整数，且M大于等于2，且不大于N。当调度服务器与N个计算节点直接连接时，则调度服务器根据N个计算节点各自的资源占用率将所述K个任务单分发至M个计算节点。调度服务器与各个计算节点间不建立直接的数据通道时，此时，调度服务器根据预设的N个计算节点各自的资源占用率将所述K个任务单通过中间件分发至M个计算节点。
其中，在下发任务时，根据N个计算节点各自的资源占用率来下发，对于资源占用率比较大的计算节点可以不下发任务，对于资源占用率小的计算节点可以下发多个任务，例如，对于资源占用率超过80的计算节点不下发任务，对于资源占用率小于40的计算节点可以下发3-5个任务，对于资源占用率在40-50的计算节点可以下发2-4个任务，对于资源占用率在50-60的计算节点可以下发1-3个任务，对于资源占用率在60-70的计算节点可以下发1-2个任务，对于资源占用率在70-80的计算节点可以仅下发1个任务。通过充分、高效(负载均衡)利用定标检验系统中的N台高性能的计算节点来加快定标检验的处理流程，提高运算效率。
其中，分配到任务单的计算节点与任务单的对应关系，可以是一对多，也可以是多对一，还可以是一对一。例如，当K小于N时，根据N个计算节点各自的资源占用率将所述K个任务单分发至M个计算节点的过程可以是：根据N个计算节点的资源占用率从高到底的排列排序，从所述N个计算节点中选取资源占用率靠后的M个计算节点；其中，M等于K；按照一对一的关系将所述K个任务单下发至所述M个计算节点。例如，计算节点有14个，任务单有7个时，则根据这14个计算节点的资源占用率从高到底的排列排序从中选取靠后(资源占用率相对最小)的7个计算节点，然后按照一对一的关系将7个任务单分发到7个计算节点，使得每个计算节点对应一个任务单。
M个计算节点中的每个计算节点在接收到调度服务器下发的任务单后，各自执行对应的任务单，以根据该任务单中的第一文件路径对应的源数据和第二文件路径对应的所述参考数据进行定标检验业务处理，得到定标检验结果。其中，每个计算节点在执行各自对应的任务单的过程是一样的，下面以其中的某一个计算节点为例进行说明。计算节点接收来自调度服务器下发的任务单后，根据所述任务单中的第一文件路径获取对应的源数据，以及根据所述任务单中的第二文件路径获取对应的参考数据，在获取到对应的源数据和参考数据后，根据所述参考数据和所述源数据进行定标检验业务处理，得到定标检验结果。
作为一种实施方式，根据所述参考数据和所述源数据进行定标检验业务处理，得到定标检验结果的过程可以是：针对所述源数据中的每一格点数据判断是否能在指定的距离阈值之内从所述参考数据中匹配到与该格点数据对应的观测值；在为是时，得到包含该格点数据与匹配的观测值的匹配点对的数据的定标检验结果；在为否时，得到数据匹配失败的定标检验结果。也即对源数据和参考数据进行空间窗口匹配。为了便于理解，以九宫格为例，假设指定的距离阈值为1格的距离，则针对源数据中的第一行第一列的格点数据而言，判断是否能在指定的距离阈值之内从所述参考数据中匹配到与该格点数据对应的观测值，也即变成判断能否从参考数据中的第一行第一列、第一行第二列、第二行第一列以及第二行第二列中匹配到与该格点数据对应的观测值。假设源数据有100个数据，假设其中有69个都存在对应的观测值，则得到的定标检测结果中包含69对匹配点对的数据，假设其中有100个都不存在对应的观测值，则得到匹配失败的定标检验结果。
其中，为了保证检验的结果的准确性，在对源数据和参考数据进行空间窗口匹配之前，还可以对源数据和参考数据进行时间窗口匹配，也即在针对所述源数据中的每一格点数据判断是否能在指定的距离阈值之内从所述参考数据中匹配到与该格点数据对应的观测值之前，判断源数据和参考数据是否满足时间窗口匹配要求，只有满足时间窗口匹配要求后，才进行空间窗口匹配之前。也即在得到源数据和参考数据后，进一步获取所述源数据的第一数据观测时间(t0)，以及获取所述参考数据的第二数据观测时间(t1)；判断所述第一数据观测时间(t0)与所述第二数据观测时间(t1)的时间差是否在限定的时间差阈值范围内，在确定所述第一数据观测时间(t0)与所述第二数据观测时间(t1)的时间差在限定的时间差阈值范围内时，才针对所述源数据中的每一格点数据判断是否能在指定的距离阈值之内从所述参考数据中匹配到与该格点数据对应的观测值，若在确定所述第一数据观测时间(t0)与所述第二数据观测时间(t1)的时间差不在限定的时间差阈值范围内时，则匹配失败。
K个计算节点中的各个计算节点在得到定标检验结果后，作为一种实施方式，可以将各自匹配得到的定标检验结果上传给调度服务器，由调度服务器将K个定标检验结果中的匹配数据输出到定标后检验模型进行定标后检验计算，生成定标检验成果，并按照指定的目录存储格式(定标检验成果目录/HYData/卫星名称/传感器名称/数据级别/日期/种类)将定标检验成果进行归档保存。为后续的定标检验成果查询检索、显示、共享分发等业务提供数据支撑。其中，定标检验成果管理与共享分发是定标检验系统对外部普通用户提供的主要功能接口，普通用户通过系统提供的接口进行定标检验成果的查询检索及下载等功能的调用。
请参阅图2，为本申请实施例提供的一种应用于上述调度服务器的海洋卫星数据定标检验方法，下面将结合图2对其所包含的步骤进行说明。
步骤S101：获取满足预设定标检验业务流程数据需求规则的目标源文件和目标参考文件。
其中，可选地，获取满足预设定标检验业务流程数据需求规则的目标源文件和目标参考文件的过程可以是：从系统数据库中选取出指定日期的源文件和参考文件；从选取出的所述源文件和所述参考文件中选取出具有相同观测要素的待选源文件和待选参考文件；基于所述待选源文件和所述待选参考文件，得到所述目标源文件和所述目标参考文件。
步骤S102：基于所述目标源文件的数量生成K个任务单。
其中，K为大于等于2的正整数，每个任务单中携带有指向所述目标源文件下的单轨卫星数据的第一文件路径和指向所述目标参考文件下的参考数据的第二文件路径。
可选地，基于所述目标源文件生成K个任务单的过程可以是：基于所述目标源文件中的单轨卫星数据的数量生成K个任务单，其中，K值为所处理的日期的海洋卫星数据文件的数量，一个任务单对应一个海洋卫星数据文件。
步骤S103：根据预设的N个计算节点各自的资源占用率将所述K个任务单分发至M个计算节点，以使所述M个计算节点中的每个计算节点各自执行对应的任务单，以根据该任务单中的第一文件路径对应的源数据和第二文件路径对应的所述参考数据进行定标检验业务处理，得到定标检验结果。
可选地，根据预设的N个计算节点各自的资源占用率将所述K个任务单分发至M个计算节点的过程是可以是根据预设的N个计算节点各自的资源占用率将所述K个任务单通过中间件分发至M个计算节点。
其中，M和N均为正整数，且M大于等于2，且不大于N。分配到任务单的计算阶节点与任务单的对应关系，可以是一对多，也可以是多对一，还可以是一对一。例如，当K小于N时，根据N个计算节点各自的资源占用率将所述K个任务单分发至M个计算节点的过程可以是：根据N个计算节点的资源占用率从高到底的排列排序，从所述N个计算节点中选取资源占用率靠后的M个计算节点；其中，M等于K；按照一对一的关系将所述K个任务单下发至所述M个计算节点。
作为一种实施方式，在根据预设的N个计算节点各自的资源占用率将所述K个任务单分发至M个计算节点之后，所述方法还包括：接收所述M个计算节点中的每个计算节点各自针对对应的任务单返回的定标检验结果；将所有定标检验结果中的匹配数据输出到定标后检验模型进行定标后检验计算，生成定标检验成果；按照指定的目录存储规范将所述定标检验成果进行归档保存。
本申请实施例所提供的海洋卫星数据定标检验方法，其实现原理及产生的技术效果和前述系统实施例中的调度服务器部分相同，为简要描述，方法实施例部分未提及之处，可参考前述系统实施例中相应内容。
请参阅图3，为本申请实施例提供的一种应用于上述计算节点的海洋卫星数据定标检验方法，下面将结合图3对其所包含的步骤进行说明。
步骤S201：接收调度服务器下发的任务单。
步骤S202：根据所述任务单中的第一文件路径获取对应的源数据，以及根据所述任务单中的第二文件路径获取对应的参考数据。
步骤S203：根据所述参考数据和所述源数据进行定标检验业务处理，得到定标检验结果。
其中，根据所述参考数据和所述源数据进行定标检验业务处理，得到定标检验结果的过程可以是：针对所述源数据中的每一格点数据判断是否能在指定的距离阈值之内从所述参考数据中匹配到与该格点数据对应的观测值；在为是时，得到包含该格点数据与匹配的观测值的匹配点对的数据的定标检验结果；在为否时，得到数据匹配失败的定标检验结果。
其中，根据所述参考数据和所述源数据进行定标检验业务，得到定标检验结果的过程可以是：获取所述源数据的第一数据观测时间，以及获取所述参考数据的第二数据观测时间；确定所述第一数据观测时间与所述第二数据观测时间的时间差在限定的时间差阈值范围内，针对所述源数据中的每一格点数据判断是否能在指定的距离阈值之内从所述参考数据中匹配到与该格点数据对应的观测值；在为是时，得到包含该格点数据与匹配的观测值的匹配点对的数据的定标检验结果；在为否时，得到数据匹配失败的定标检验结果。
本申请实施例所提供的海洋卫星数据定标检验方法，其实现原理及产生的技术效果和前述系统实施例中的计算节点部分相同，为简要描述，方法实施例部分未提及之处，可参考前述系统实施例中相应内容。
本申请实施例还提供了一种应用于调度服务器的海洋卫星数据定标检验装置200，如图4所示。该海洋卫星数据定标检验装置200包括：业务源数据获取模块210、任务生成模块220以及任务分发模块230。
获取模块210，用于获取满足预设定标检验业务流程数据需求规则的目标源文件和目标参考文件。可选地，获取模块210，具体用于：从系统数据库中选取出指定日期的源文件和参考文件；从选取出的所述源文件和所述参考文件中选取出具有相同观测要素的待选源文件和待选参考文件；基于所述待选源文件和所述待选参考文件，得到所述目标源文件和所述目标参考文件。
任务生成模块220，用于基于所述目标源文件的数量生成K个任务单，其中，K为大于等于2的正整数，每个任务单中携带有指向所述目标源文件下的单轨卫星数据的第一文件路径和指向所述目标参考文件下的参考数据的第二文件路径。可选地，任务生成模块220，具体用于基于所述目标源文件中的单轨卫星数据的数量生成K个任务单，其中K值为所处理的日期的海洋卫星数据文件的数量，一个任务单对应一个海洋卫星数据文件。
任务分发模块230，用于根据预设的N个计算节点各自的资源占用率将所述K个任务单分发至M个计算节点，以使所述M个计算节点中的每个计算节点各自执行对应的任务单，以根据该任务单中的第一文件路径对应的源数据和第二文件路径对应的所述参考数据进行定标检验业务处理，得到定标检验结果，其中，M和N均为正整数，且M大于等于2，且不大于N。可选地，当K小于N时，任务分发模块230，具体用于：根据预设的N个计算节点的资源占用率从高到底的排列排序，从所述N个计算节点中选取资源占用率靠后的M个计算节点；其中，M等于K；按照一对一的关系将所述K个任务单下发至所述M个计算节点。可选地，分发模块230，具体用于：根据预设的N个计算节点各自的资源占用率将所述K个任务单通过中间件分发至M个计算节点。
可选地，海洋卫星数据定标检验装置200还包括：接收模块和汇总模块。其中，接收模块，用于接收所述M个计算节点中的每个计算节点各自针对对应的任务单返回的定标检验结果。汇总模块，用于将所有定标检验结果中的匹配数据输出到定标后检验模型进行定标后检验计算，生成定标检验成果，并按照指定的目录存储规范将所述定标检验成果进行归档保存。
本申请实施例所提供的海洋卫星数据定标检验装置200，其实现原理及产生的技术效果和前述方法实施例相同，为简要描述，装置实施例部分未提及之处，可参考前述方法实施例中相应内容。
本申请实施例还提供了一种应用于计算节点的海洋卫星数据定标检验装置300，如图5所示。该海洋卫星数据定标检验装置300包括：任务接收模块310、任务解析模块320和定标检验模块330。
任务接收模块310，用于接收调度服务器下发的任务单。
任务解析模块320，用于根据所述任务单中的第一文件路径获取对应的源数据，以及根据所述任务单中的第二文件路径获取对应的参考数据。
定标检验模块330，用于根据所述参考数据和所述源数据进行定标检验业务处理，得到定标检验结果。
可选地，定标检验模块330，具体用于：针对所述源数据中的每一格点数据判断是否能在指定的距离阈值之内从所述参考数据中匹配到与该格点数据对应的观测值；在为是时，得到包含该格点数据与匹配的观测值的匹配点对的数据的定标检验结果；在为否时，得到数据匹配失败的定标检验结果。
可选地，定标检验模块330，具体用于：获取所述源数据的第一数据观测时间，以及获取所述参考数据的第二数据观测时间；确定所述第一数据观测时间与所述第二数据观测时间的时间差在限定的时间差阈值范围内，针对所述源数据中的每一格点数据判断是否能在指定的距离阈值之内从所述参考数据中匹配到与该格点数据对应的观测值；在为是时，得到包含该格点数据与匹配的观测值的匹配点对的数据的定标检验结果；在为否时，得到数据匹配失败的定标检验结果。
本申请实施例所提供的海洋卫星数据定标检验装置300，其实现原理及产生的技术效果和前述方法实施例相同，为简要描述，装置实施例部分未提及之处，可参考前述方法实施例中相应内容。
如图6所示，图6示出了本申请实施例提供的一种电子设备400的结构框图。所述电子设备400包括：收发器410、存储器420、通讯总线430以及处理器440。
所述收发器410、所述存储器420、处理器440各元件相互之间直接或间接地电性连接，以实现数据的传输或交互。例如，这些元件相互之间可通过一条或多条通讯总线430或信号线实现电性连接。其中，收发器410用于收发数据。存储器420用于存储计算机程序，如存储有图4中所示的软件功能模块，即海洋卫星数据定标检验装置200，或者，如存储有图5中所示的软件功能模块，即海洋卫星数据定标检验装置300。其中，海洋卫星数据定标检验装置100或海洋卫星数据定标检验装置300均包括至少一个可以软件或固件(firmware)的形式存储于所述存储器420中或固化在所述电子设备400的操作系统(operating system，OS)中的软件功能模块。所述处理器440，用于执行存储器420中存储的可执行模块，例如海洋卫星数据定标检验装置200或海洋卫星数据定标检验装置300包括的软件功能模块或计算机程序。
处理器440海洋卫星数据定标检验装置200包括的软件功能模块或计算机程序时，处理器440，用于获取满足预设定标检验业务流程数据需求规则的目标源文件和目标参考文件；以及还用于基于所述目标源文件的数量生成K个任务单，其中，K为大于等于2的正整数，每个任务单中携带有指向所述目标源文件下的单轨卫星数据的第一文件路径和指向所述目标参考文件下的参考数据的第二文件路径；以及还用于根据预设的N个计算节点各自的资源占用率将所述K个任务单分发至M个计算节点，以使所述M个计算节点中的每个计算节点各自执行对应的任务单，以根据该任务单中的第一文件路径对应的源数据和第二文件路径对应的所述参考数据进行定标检验业务处理，得到定标检验结果，其中，M和N均为正整数，且M大于等于2，且不大于N。
处理器440海洋卫星数据定标检验装置300包括的软件功能模块或计算机程序时，处理器440，用于接收调度服务器下发的任务单；以及还用于根据所述任务单中的第一文件路径获取对应的源数据，以及根据所述任务单中的第二文件路径获取对应的参考数据；以及还用于所述参考数据和所述源数据进行定标检验业务处理，得到定标检验结果。
其中，存储器420可以是，但不限于，随机存取存储器(Random Access Memory，RAM)，只读存储器(Read Only Memory，ROM)，可编程只读存储器(Programmable Read-OnlyMemory，PROM)，可擦除只读存储器(Erasable Programmable Read-Only Memory，EPROM)，电可擦除只读存储器(Electric Erasable Programmable Read-Only Memory，EEPROM)等。
处理器440可能是一种集成电路芯片，具有信号的处理能力。上述的处理器可以是通用处理器，包括中央处理器(Central Processing Unit，CPU)、网络处理器(NetworkProcessor，NP)等；还可以是数字信号处理器(Digital Signal Processor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现场可编程门阵列(FieldProgrammable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。可以实现或者执行本申请实施例中的公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者该处理器440也可以是任何常规的处理器等。
其中，上述的电子设备400，为上述的调度服务器或计算节点等。
本申请实施例还提供了一种非易失性计算机可读取存储介质(以下简称存储介质)，该存储介质上存储有计算机程序，该计算机程序被计算机如上述的电子设备400运行时，执行上述方法实施例所示海洋卫星数据定标检验方法所包含的步骤，如图2或图3所示的步骤。
需要说明的是，本说明书中的各个实施例均采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似的部分互相参见即可。
在本申请所提供的几个实施例中，应该理解到，所揭露的装置和方法，也可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的，例如，附图中的流程图和框图显示了根据本申请的多个实施例的装置、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段或代码的一部分，所述模块、程序段或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现方式中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个连续的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或动作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。
另外，在本申请各个实施例中的各功能模块可以集成在一起形成一个独立的部分，也可以是各个模块单独存在，也可以两个或两个以上模块集成形成一个独立的部分。
所述功能如果以软件功能模块的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，笔记本电脑,服务器，或者网络设备等)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(Read-Only Memory，ROM)、随机存取存储器(Random Access Memory，RAM)、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述，仅为本申请的具体实施方式，但本申请的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本申请揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本申请的保护范围之内。因此，本申请的保护范围应所述以权利要求的保护范围为准。

Claims (13)

1.一种海洋卫星数据定标检验方法，其特征在于，应用于调度服务器，所述方法包括：
获取满足预设定标检验业务流程数据需求规则的目标源文件和目标参考文件；
基于所述目标源文件的数量生成K个任务单，其中，K为大于等于2的正整数，每个任务单中携带有指向所述目标源文件下的单轨卫星数据的第一文件路径和指向所述目标参考文件下的参考数据的第二文件路径；
根据预设的N个计算节点各自的资源占用率将所述K个任务单分发至M个计算节点，以使所述M个计算节点中的每个计算节点各自执行对应的任务单，以根据该任务单中的第一文件路径对应的源数据和第二文件路径对应的所述参考数据进行定标检验业务处理，得到定标检验结果，其中，M和N均为正整数，且M大于等于2，且不大于N。
2.根据权利要求1所述的方法，其特征在于，获取满足预设定标检验业务流程数据需求规则的目标源文件和目标参考文件，包括：
从系统数据库中选取出指定日期的源文件和参考文件；
从选取出的所述源文件和所述参考文件中选取出具有相同观测要素的待选源文件和待选参考文件；
基于所述待选源文件和所述待选参考文件，得到所述目标源文件和所述目标参考文件。
3.根据权利要求1所述的方法，其特征在于，基于所述目标源文件生成K个任务单，包括：
基于所述目标源文件中的单轨卫星数据的数量生成K个任务单，其中，K值为所处理的日期的海洋卫星数据文件的数量，一个任务单对应一个海洋卫星数据文件。
4.根据权利要求1所述的方法，其特征在于，当K小于N时，根据预设的N个计算节点各自的资源占用率将所述K个任务单分发至M个计算节点，包括：
根据预设的N个计算节点的资源占用率从高到低的排列排序，从所述N个计算节点中选取资源占用率靠后的M个计算节点；其中，M等于K；
按照一对一的关系将所述K个任务单下发至所述M个计算节点。
5.根据权利要求1-4中任一项所述的方法，其特征在于，在根据预设的N个计算节点各自的资源占用率将所述K个任务单分发至M个计算节点之后，所述方法还包括：
接收所述M个计算节点中的每个计算节点各自针对对应的任务单返回的定标检验结果；
将所有定标检验结果中的匹配数据输出到定标后检验模型进行定标后检验计算，生成定标检验成果；
按照指定的目录存储规范将所述定标检验成果进行归档保存。
6.根据权利要求1所述的方法，其特征在于，根据预设的N个计算节点各自的资源占用率将所述K个任务单分发至M个计算节点，包括：
根据预设的N个计算节点各自的资源占用率将所述K个任务单通过中间件分发至M个计算节点。
7.一种海洋卫星数据定标检验方法，其特征在于，应用于计算节点，所述方法包括：
接收调度服务器下发的任务单，其中，所述调度服务器在向M个计算节点下发任务单时，根据预设的N个计算节点各自的资源占用率将K个任务单分发至M个计算节点，其中，K为大于等于2的正整数，M和N均为正整数，且M大于等于2，且不大于N；
根据所述任务单中的第一文件路径获取对应的源数据，以及根据所述任务单中的第二文件路径获取对应的参考数据；
根据所述参考数据和所述源数据进行定标检验业务处理，得到定标检验结果。
8.根据权利要求7所述的方法，其特征在于，根据所述参考数据和所述源数据进行定标检验业务处理，得到检验定标结果，包括：
针对所述源数据中的每一格点数据判断是否能在指定的距离阈值之内从所述参考数据中匹配到与该格点数据对应的观测值；
在为是时，得到包含该格点数据与匹配的观测值的匹配点对的数据的定标检验结果；
在为否时，得到数据匹配失败的定标检验结果。
9.根据权利要求8所述的方法，其特征在于，在针对所述源数据中的每一格点数据判断是否能在指定的距离阈值之内从所述参考数据中匹配到与该格点数据对应的观测值之前，所述方法还包括：
获取所述源数据的第一数据观测时间，以及获取所述参考数据的第二数据观测时间；
确定所述第一数据观测时间与所述第二数据观测时间的时间差在限定的时间差阈值范围内。
10.一种海洋卫星数据定标检验装置，其特征在于，应用于调度服务器，所述装置包括：
业务源数据获取模块，用于获取满足预设定标检验业务流程数据需求规则的目标源文件和目标参考文件；
任务生成模块，用于基于所述目标源文件的数量生成K个任务单，其中，K为大于等于2的正整数，每个任务单中携带有指向所述目标源文件下的单轨卫星数据的第一文件路径和指向所述目标参考文件下的参考数据的第二文件路径；
任务分发模块，用于根据预设的N个计算节点各自的资源占用率将所述K个任务单分发至M个计算节点，以使所述M个计算节点中的每个计算节点各自执行对应的任务单，以根据该任务单中的第一文件路径对应的源数据和第二文件路径对应的所述参考数据进行定标检验业务处理，得到定标检验结果，其中，M和N均为正整数，且M大于等于2，且不大于N。
11.一种海洋卫星数据定标检验装置，其特征在于，应用于计算节点，所述装置包括：
任务接收模块，用于接收调度服务器下发的任务单，其中，所述调度服务器在向M个计算节点下发任务单时，根据预设的N个计算节点各自的资源占用率将K个任务单分发至M个计算节点，其中，K为大于等于2的正整数，M和N均为正整数，且M大于等于2，且不大于N；
任务解析模块，用于根据所述任务单中的第一文件路径获取对应的源数据，以及根据所述任务单中的第二文件路径获取对应的参考数据；
定标检验模块，用于根据所述参考数据和所述源数据进行定标检验业务处理，得到定标检验结果。
12.一种电子设备，其特征在于，包括：处理器和存储器，所述处理器和所述存储器连接；
所述存储器，用于存储程序；
所述处理器，用于调用存储于所述存储器中的程序，以执行如权利要求1-6中任一项所述的方法，或者执行如权利要求7-9任一项所述的方法。
13.一种存储介质，其特征在于，其上存储有计算机程序，所述计算机程序，被处理器运行时执行如权利要求1-6中任一项所述的方法，或者执行如权利要求7-9任一项所述的方法。
CN201911403721.6A 2019-12-30 2019-12-30 海洋卫星数据定标检验方法、装置、电子设备及存储介质 Active CN111143075B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201911403721.6A CN111143075B (zh) 2019-12-30 2019-12-30 海洋卫星数据定标检验方法、装置、电子设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911403721.6A CN111143075B (zh) 2019-12-30 2019-12-30 海洋卫星数据定标检验方法、装置、电子设备及存储介质

Publications (2)

Publication Number Publication Date
CN111143075A CN111143075A (zh) 2020-05-12
CN111143075B true CN111143075B (zh) 2023-09-05

Family

ID=70522351

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911403721.6A Active CN111143075B (zh) 2019-12-30 2019-12-30 海洋卫星数据定标检验方法、装置、电子设备及存储介质

Country Status (1)

Country Link
CN (1) CN111143075B (zh)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111737004B (zh) * 2020-06-29 2023-10-24 北京市遥感信息研究所 基于双向自由度的遥感卫星数传资源调度方法及装置
CN112181675A (zh) * 2020-08-21 2021-01-05 西安寰宇卫星测控与数据应用有限公司 卫星实时数据处理方法、装置、计算机设备、存储介质
CN113407596B (zh) * 2021-06-23 2022-07-15 北京华云星地通科技有限公司 基于交叉辐射定标的气象遥感数据精度检验分析系统
CN114510297B (zh) * 2022-03-31 2022-07-01 国家卫星海洋应用中心 卫星数据重处理方法、装置和电子设备

Citations (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102081841A (zh) * 2011-01-18 2011-06-01 北京世纪高通科技有限公司 一种海量交通数据的处理方法及系统
CN103019803A (zh) * 2012-11-20 2013-04-03 中国资源卫星应用中心 一种用于遥感卫星地面数据处理网格节点的虚拟环境系统
CN103347055A (zh) * 2013-06-19 2013-10-09 北京奇虎科技有限公司 云计算平台中的任务处理系统、设备及方法
CN103390115A (zh) * 2013-08-02 2013-11-13 国家卫星海洋应用中心 一种海洋卫星遥感观测数据匹配方法和系统
CN103744734A (zh) * 2013-12-24 2014-04-23 中国科学院深圳先进技术研究院 一种任务作业处理方法、装置及系统
CN105975334A (zh) * 2016-04-25 2016-09-28 深圳市永兴元科技有限公司 任务分布式调度方法及系统
CN106767922A (zh) * 2016-12-28 2017-05-31 国家海洋局第海洋研究所 一种海洋卫星星载高度计在轨绝对定标系统及定标方法
CN108171081A (zh) * 2018-02-01 2018-06-15 云易天成（北京）安全科技开发有限公司 一种基于文件上传的文件过滤方法、介质及设备
CN108469624A (zh) * 2018-03-26 2018-08-31 西安电子科技大学 基于激光探测器阵列超分辨的卫星定标方法
CN108846630A (zh) * 2018-05-25 2018-11-20 广州衡昊数据科技有限公司 一种资源控制系统及方法
CN109298941A (zh) * 2018-09-28 2019-02-01 阿里巴巴集团控股有限公司 一种文件生成方法和装置
CN109492436A (zh) * 2018-11-29 2019-03-19 深圳市网心科技有限公司 一种文件校验方法及相关装置
US10261846B1 (en) * 2018-02-09 2019-04-16 Banjo, Inc. Storing and verifying the integrity of event related data
CN110161533A (zh) * 2019-06-17 2019-08-23 国家卫星气象中心(国家空间天气监测预警中心) 无人值守的卫星光学载荷智能化辐射定标系统

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5873187B2 (ja) * 2012-02-13 2016-03-01 株式会社日立製作所 階層化ストレージシステムの管理装置及び管理方法
US10523758B2 (en) * 2018-02-09 2019-12-31 Vector Launch Inc. Distributed storage management in a satellite environment

Patent Citations (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102081841A (zh) * 2011-01-18 2011-06-01 北京世纪高通科技有限公司 一种海量交通数据的处理方法及系统
CN103019803A (zh) * 2012-11-20 2013-04-03 中国资源卫星应用中心 一种用于遥感卫星地面数据处理网格节点的虚拟环境系统
CN103347055A (zh) * 2013-06-19 2013-10-09 北京奇虎科技有限公司 云计算平台中的任务处理系统、设备及方法
CN103390115A (zh) * 2013-08-02 2013-11-13 国家卫星海洋应用中心 一种海洋卫星遥感观测数据匹配方法和系统
CN103744734A (zh) * 2013-12-24 2014-04-23 中国科学院深圳先进技术研究院 一种任务作业处理方法、装置及系统
CN105975334A (zh) * 2016-04-25 2016-09-28 深圳市永兴元科技有限公司 任务分布式调度方法及系统
CN106767922A (zh) * 2016-12-28 2017-05-31 国家海洋局第海洋研究所 一种海洋卫星星载高度计在轨绝对定标系统及定标方法
CN108171081A (zh) * 2018-02-01 2018-06-15 云易天成（北京）安全科技开发有限公司 一种基于文件上传的文件过滤方法、介质及设备
US10261846B1 (en) * 2018-02-09 2019-04-16 Banjo, Inc. Storing and verifying the integrity of event related data
CN108469624A (zh) * 2018-03-26 2018-08-31 西安电子科技大学 基于激光探测器阵列超分辨的卫星定标方法
CN108846630A (zh) * 2018-05-25 2018-11-20 广州衡昊数据科技有限公司 一种资源控制系统及方法
CN109298941A (zh) * 2018-09-28 2019-02-01 阿里巴巴集团控股有限公司 一种文件生成方法和装置
CN109492436A (zh) * 2018-11-29 2019-03-19 深圳市网心科技有限公司 一种文件校验方法及相关装置
CN110161533A (zh) * 2019-06-17 2019-08-23 国家卫星气象中心(国家空间天气监测预警中心) 无人值守的卫星光学载荷智能化辐射定标系统

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
李荣亚.双态云支持下高分辨率遥感存储与计算一体化研究.中国博士学位论文全文数据库 (基础科学辑).2015,(第01期),A008-3. *

Also Published As

Publication number Publication date
CN111143075A (zh) 2020-05-12

Similar Documents

Publication Publication Date Title
CN111143075B (zh) 海洋卫星数据定标检验方法、装置、电子设备及存储介质
CN111913818B (zh) 一种确定服务间依赖关系的方法及相关装置
US20180065575A1 (en) Monitoring method and apparatus
WO2014161082A1 (en) Method and system for refining weather forecasts using point observations
CN109471783B (zh) 预测任务运行参数的方法和装置
CN108833510B (zh) 消息处理方法和装置
CN112882939B (zh) 自动化测试方法、装置、电子设备及存储介质
CN111295646A (zh) 从数据字符串自动映射和生成标签
CN112506619A (zh) 作业处理方法、装置、电子设备、存储介质和程序产品
US11687063B2 (en) Semantics-based internet of things device data processing-related application installation method and apparatus
KR102543838B1 (ko) 정보 획득 방법 및 장치
Budko et al. Approach to the intellectual monitoring of the technical condition of difficult dynamic objects on the basis of the systems of a polling
CN113312321A (zh) 一种业务量的异常监测方法及相关设备
CN110875832B (zh) 异常业务监控方法、装置、系统及计算机可读存储介质
CN115826980A (zh) 数据处理方法、装置、存储介质及电子设备
CN115221184A (zh) 基础地理数据发送方法、装置、设备和计算机可读介质
CN114861909A (zh) 模型质量监控方法、装置、电子设备以及存储介质
CN111401819B (zh) 系统间数据推送方法及系统
CN113052509A (zh) 模型评估方法、模型评估装置、电子设备和存储介质
CN110610085B (zh) 放行检查方法、装置和计算机设备
CN113836428A (zh) 业务推送方法、装置、计算机设备和存储介质
US11555624B1 (en) System and method for providing automated multi-source data provisioning for a reanalysis ensemble service
CN115577867B (zh) 一种抽检任务创建方法、系统、计算机设备及存储介质
US11720539B1 (en) System and method for providing a climate data intercomparison and analytics service application programming interface
CN114969059B (zh) 生成订单信息的方法、装置、电子设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
CB02 Change of applicant information
CB02 Change of applicant information

Address after: 100094 building 4, yard 2, Cuihu North Ring Road, Haidian District, Beijing

Applicant after: Aerospace Hongtu Information Technology Co.,Ltd.

Address before: 100144 Room 301, 3 / F, building 5, zone 4, Xishan Creative Park, Haidian District, Beijing

Applicant before: BEIJING PIESAT INFORMATION TECHNOLOGY CO.,LTD.

GR01 Patent grant
GR01 Patent grant