CN111666368A - 一种数据处理方法、装置、存储介质及终端 - Google Patents

一种数据处理方法、装置、存储介质及终端 Download PDF

Info

Publication number
CN111666368A
CN111666368A CN202010530879.6A CN202010530879A CN111666368A CN 111666368 A CN111666368 A CN 111666368A CN 202010530879 A CN202010530879 A CN 202010530879A CN 111666368 A CN111666368 A CN 111666368A
Authority
CN
China
Prior art keywords
data
mode
air quality
service
module
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010530879.6A
Other languages
English (en)
Other versions
CN111666368B (zh
Inventor
陈焕盛
谢运兴
张稳定
陈亚飞
王文丁
赵江伟
吴剑斌
晏平仲
秦东明
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
3Clear Technology Co Ltd
Original Assignee
3Clear Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 3Clear Technology Co Ltd filed Critical 3Clear Technology Co Ltd
Priority to CN202010530879.6A priority Critical patent/CN111666368B/zh
Publication of CN111666368A publication Critical patent/CN111666368A/zh
Application granted granted Critical
Publication of CN111666368B publication Critical patent/CN111666368B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/29—Geographical information databases
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/24—Querying
    • G06F16/248—Presentation of query results
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/25—Integrating or interfacing systems involving database management systems
    • G06F16/252—Integrating or interfacing systems involving database management systems between a Database Management System and a front-end application
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F8/00—Arrangements for software engineering
    • G06F8/60—Software deployment
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/44—Arrangements for executing specific programs
    • G06F9/445—Program loading or initiating
    • G06F9/44505—Configuring for program initiating, e.g. using registry, configuration files
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/44—Arrangements for executing specific programs
    • G06F9/455—Emulation; Interpretation; Software simulation, e.g. virtualisation or emulation of application or operating system execution engines
    • G06F9/45504—Abstract machines for programme code execution, e.g. Java virtual machine [JVM], interpreters, emulators
    • G06F9/45508—Runtime interpretation or emulation, e g. emulator loops, bytecode interpretation
    • G06F9/45512—Command shells

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Software Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Databases & Information Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Computational Linguistics (AREA)
  • Remote Sensing (AREA)
  • Stored Programmes (AREA)

Abstract

本发明公开了一种数据处理方法、装置、存储介质及终端，所述方法包括：部署对各个空气质量数值模式下的数据进行数据处理的业务架构；输入与当前模式信息相关联的输入数据；根据配置文件中的各项配置参数，运行与当前运行模式相对应的运行脚本，得到能够运行在第一系统下的第一数据对应的第一数据集合,并对第一数据进行数据处理，得到能够运行在第二系统下的第二数据对应的第二数据集合。因此，采用本申请实施例，实现了针对不同运行模式下的数据自动进行数据处理，从而提高了空气质量数值模式业务下的数据处理效率。

Description

一种数据处理方法、装置、存储介质及终端
技术领域
本发明涉及计算机技术领域，特别涉及一种数据处理方法、装置、存储介质及终端。
背景技术
目前，空气质量数值模式是用于研究空气质量的常用工具。为满足空气质量预报业务自动化运行的需要，需针对各空气质量模式系统开发相应的自动运行并处理的业务模式系统。现有对空气质量数值模式下的数据进行处理的操作流程可以为：相关操作人员手动设置各项参数，并基于各项参数逐步运行操作；或者，基于不同的空气质量数值模式编写对应的自动化运行脚本，并基于对应的自动化运行脚本运行相应的程序，但是，上述方法存在操作复杂，系统运行稳定性差，且难以维护等问题。
空气质量数值模式输入数据多，原始输入数据来源广，数据预处理复杂，需开发各自相应程序，确定数据接口，为自动化业务做准备。目前还没有简单且能够自动化对空气质量业务进行处理的自动化业务架构。
目前，构建能够自动化对空气质量业务进行处理的业务架构存在的问题如下：
问题1：数据接口程序质量参差不齐。数据接口程序的质量不仅与开发人员的业务水平有关，还与服务器的运行环境相关，不仅需要服务器运行稳定性好，而且需要对接口程序与数据有检查及修复机制。
问题2：空气质量业务，例如，空气质量数值模式业务的专业性强，涉及面广，针对不同模式的参数配置过程和业务处理过程复杂。针对四大空气质量模式，需要设置不同的各项参数进行配置，而且数据预处理程序繁琐。上述任一步骤细微差错都可能造成空气质量数值模式无法运行。在某一具体应用场景中，运行现有的空气质量数值模式对应的流程，可以输出数据，但往往数据会出现异常。
问题3：为满足空气质量数值预报业务的特定分析需求，对历史数据进行回算模拟时，需要重新对每个配置文件进行修改及重新运行程序，若需要回跑大量模式数据，每次的重复操作是不易实现且容易出错的。
问题4：在构建出空气质量数值模式的自动化处理业务架构之后，仍会出现各种各样的问题，例如，对历史空气质量模拟数据的回跑；又例如，无空闲服务器资源，需与业务系统共用资源；又例如，模式跨日期运行，从而影响到下一日业务模式系统的正常运行。
问题5：空气质量数值模式有部分输入数据需要每日更新检查，例如，网格化排放源数据，如果网格化排放源数据出现错误，会导致现有模式无法运行。
问题6：现有的空气质量数值模式系统包括模式模拟后台，还包括模拟结果展示前台；这样，容易出现模式数据处理与对接异常的问题，从而导致前台展示出现异常现象。
问题7：现有的空气质量数值模式系统中的各个模块工具之间相互独立，这样，需要对各个模块的配置文件分别进行修改，造成重复性操作，操作繁琐，不利于空气质量数值模式系统的后期维护和运行。
发明内容
本申请实施例提供了一种数据处理方法、装置、存储介质及终端。为了对披露的实施例的一些方面有一个基本的理解，下面给出了简单的概括。该概括部分不是泛泛评述，也不是要确定关键/重要组成元素或描绘这些实施例的保护范围。其唯一目的是用简单的形式呈现一些概念，以此作为后面的详细说明的序言。
第一方面，本申请实施例提供了一种数据处理方法，所述方法包括：
部署对各个空气质量数值模式下的数据进行数据处理的业务架构；
输入与当前模式信息相关联的输入数据；
根据配置文件中的各项配置参数，运行与当前运行模式相对应的运行脚本，得到能够运行在第一系统下的第一数据对应的第一数据集合,并对所述第一数据进行数据处理，得到能够运行在第二系统下的第二数据对应的第二数据集合。
第二方面，本申请实施例提供了一种数据处理装置，所述装置包括：
部署模块，用于部署对各个空气质量数值模式下的数据进行数据处理的业务架构；
数据输入模块，用于输入与当前模式信息相关联的输入数据；
处理模块，根据配置文件中的各项配置参数，运行与当前运行模式相对应的运行脚本，得到能够运行在第一系统下的第一数据对应的第一数据集合,并对所述第一数据进行数据处理，得到能够运行在第二系统下的第二数据对应的第二数据集合。
第三方面，本申请实施例提供一种计算机存储介质，所述计算机存储介质存储有多条指令，所述指令适于由处理器加载并执行上述的方法步骤。
本申请实施例提供的技术方案可以包括以下有益效果：
在本申请实施例中，部署对各个空气质量数值模式下的数据进行数据处理的业务架构；输入与当前模式信息相关联的输入数据；根据配置文件中的各项配置参数，运行与当前运行模式相对应的运行脚本，得到能够运行在第一系统下的第一数据对应的第一数据集合,并对第一数据进行数据处理，得到能够运行在第二系统下的第二数据对应的第二数据集合。由于本申请部署了能够对各个空气质量数值模式下的数据进行自动数据处理的业务架构，实现了针对不同运行模式下的数据自动进行数据处理，从而提高了空气质量数值模式业务下的数据处理效率。
应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本发明。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本发明的实施例，并与说明书一起用于解释本发明的原理。
图1是本申请实施例提供的一种数据处理方法的流程示意图；
图2是本申请实施例提供的又一种数据处理方法的流程示意图；
图3是本申请实施例提供的一种具体应用场景下的数据处理方法的流程示意图；
图4是本申请实施例提供的经由数据处理方法得到的空气质量预报结果示意图；
图5是本申请实施例提供的另一种数据处理方法的流程示意图；
图6是本申请实施例提供的一种数据处理装置的结构示意图；
图7是本申请实施例提供的又一种数据处理装置的结构示意图。
具体实施方式
以下描述和附图充分地示出本发明的具体实施方案，以使本领域的技术人员能够实践它们。
应当明确，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其它实施例，都属于本发明保护的范围。
下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本发明相一致的所有实施方式。相反，它们仅是如所附权利要求书中所详述的、本发明的一些方面相一致的装置和方法的例子。
在本发明的描述中，需要理解的是，术语“第一”、“第二”等仅用于描述目的，而不能理解为指示或暗示相对重要性。对于本领域的普通技术人员而言，可以具体情况理解上述术语在本发明中的具体含义。此外，在本发明的描述中，除非另有说明，“多个”是指两个或两个以上。“和/或”，描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。字符“/”一般表示前后关联对象是一种“或”的关系。
到目前为止，还没有能够对空气质量业务数据进行智能且自动化处理的业务架构。现有的业务架构，针对空气质量业务数据往往是先手动设置参数，再基于手动设置的各项参数进行数据处理，上述数据处理过程过于繁琐，且容易出错。为此，本申请提供了一种数据处理方法、装置、存储介质及终端，以解决上述相关技术问题中存在的问题。本申请提供的技术方案中，由于本申请部署了能够对各个空气质量数值模式下的数据进行自动数据处理的业务架构，实现了针对不同运行模式下的数据自动进行数据处理，从而提高了空气质量数值模式业务下的数据处理效率，下面采用示例性的实施例进行详细说明。
下面将结合附图1-附图4，对本申请实施例提供的数据处理方法进行详细介绍，该数据处理方法是通过高性能服务器实现的。
请参见图1，为本申请实施例提供了一种数据处理方法的流程示意图。如图1所示，本申请实施例的所述方法可以包括以下步骤：
S101，部署对各个空气质量数值模式下的数据进行数据处理的业务架构。
在本步骤中，部署对各个空气质量数值模式下的数据进行数据处理的业务架构包括以下步骤：
根据调用的数据模块提供的各个模式下的至少包括地形格点数据的数据，以及源码模块提供的各个运行模式的业务源码包，部署包括各个空气质量数值模式业务系统的基础框架；
对基础框架下的各个空气质量数值模式业务系统进行基础模式信息配置，得到业务架构。
在一种可能的实现方式中，在得到上述业务架构之后，所述方法还包括以下步骤：
配置检测当前运行模式是否正常运行的各项检测参数和对应的检测程序。
在本公开实施例提供的数据处理方法中，为了实现自动化检测可能出错的数据，配置了检测当前运行模式是否正常运行的各项检测参数和对应的检测程序；这样，提高了对各个空气质量数值模式下的数据处理的处理效率，能够及时且快速地检测出可能出错的数据。
S102，输入与当前模式信息相关联的输入数据。
在此步骤中，输入的与当前模式信息相关联的输入数据至少包括以下一项：
与当前模式信息相关联的输入数据至少包括以下一项：
当前模式网格对应的经度坐标数据、当前模式网格对应的纬度坐标数据、当前模式网格的输入数据、当前模式网格对应区域的排放源数据、当前模式网格对应的气象模式地形数据。
与当前模式信息相关联的输入数据除了上述罗列的常见数据之外，还可以为其它数据，在此不再赘述。
在一种可能的实现方式中，在输入与当前模式信息相关联的输入数据之前，所述方法还包括以下步骤：
读取与当前模式信息相关联的输入数据；
其中，与当前模式信息相关联的输入数据至少包括以下一项：
当前模式网格对应的经度坐标数据、当前模式网格对应的纬度坐标数据、当前模式网格的输入数据、当前模式网格对应区域的排放源数据、当前模式网格对应的气象模式地形数据。
S103，根据配置文件中的各项配置参数，运行与当前运行模式相对应的运行脚本，得到能够运行在第一系统下的第一数据对应的第一数据集合,并对第一数据进行数据处理，得到能够运行在第二系统下的第二数据对应的第二数据集合。
在此步骤中，第一数据集合是由能够在第一系统(后台)运行的第一数据组成的数据集合，而第二数据集合是由能够在第二系统(前台)运行的第二数据组成的数据集合。第一数据集合中的各项第一数据和第二数据集合中的各项第二数据的数据格式是不同的。
在实际应用中，第一系统可以为能够进行高性能计算的linux系统或unix系统。第二系统可以为Windows操作系统，或者为Mac操作系统，在此对第二系统不做具体限制。
在本公开实施例提供的数据处理方法中，将能够在后台运行的第一数据集合中的第一数据进行数据后处理，得到第二数据，并将第二数据输入至前台，并在前台展示各项第二数据。
在此步骤中，为了更好地与展示前台兼容，对能够运行在第一系统下的第一数据进行数据兼容处理，得到能够运行在第二系统下的第二数据。上述数据兼容所采用的数据格式转换方法是常规方法，在此不再赘述。在此步骤中，第一数据可以是能够运行在linux系统下的数据，或者，第一数据还可以是能够运行在unix系统下的数据。第二数据可以是能够运行在Windows操作系统下的数据，或者，第二数据还可以是能够运行在Mac操作系统下的数据。
在一种可能的实现方式中，在根据配置文件中的各项配置参数，运行与当前运行模式相对应的运行脚本之前，所述方法还包括以下步骤：
配置与空气质量数值模式相关联的各项运行参数。
在此步骤中，配置的与空气质量数值模式相关联的各项运行参数为常规的运行参数，在此不再赘述。
在一种可能的实现方式中，在根据配置文件中的各项配置参数，运行与当前运行模式相对应的运行脚本之前，所述方法还包括以下步骤：
配置各个空气质量数值运行模式对应的数据处理程序。
在此步骤中，针对各个空气质量数值不同的运行模式，配置与该模式对应的数据处理程序。具体的配置方法也是常规的方法，在此不再赘述。
如图2所示，图2是本申请实施例提供的又一种数据处理方法的流程示意图。
对图2中的英文做如下解释和说明：
配置模块中对应的英文为：
sourceCfg：统一配置文件；
model.cfg：模式系统配置文件；
naqpUtil.cfg：模式数据处理程序配置文件；
数据模块中对应的英文为：
input：模式输入数据。提前准备模式格点数据，排放源，地形数据等基本输入数据；
datagrid：格点输入数据；
geo_em：气象模式地形数据；
output：输出数据；输出数据主要为：存放模式后处理数据，以及每日排放源自动更新数据等；
post：模式数据后处理数据；
执行模块中对应的英文为：
naqp：NAQPMS模式相关执行程序，数据后处理和排放源更新等相关数据处理程序；
naqpModelDep.csh：NAQPMS业务模式结构搭建部署程序；
naqpCfgDep.csh：NAQPMS业务模式配置文件部署程序；
post：NAQPMS模式数据后处理；
naqpPost.csh：NAQPMS的模式数据后处理程序；
moduleScript：相关模块化程序；
nodeSelect.csh：服务器资源选择程序；
arrayCal.csh：模式数组相关模块化程序。
源码模块中对应的英文为：
naqp.tgz：NAQPMS业务模式源码包。
需要说明的是，NAQPMS(Nested Air Quality Prediction Modeling System，嵌套网格空气质量预报模式系统)，该模式被广泛运用于多尺度污染问题的研究，该模式不但可以研究区域尺度的空气污染问题(如沙尘输送、酸雨、污染物的跨国输送等)，还可以研究城市尺度的空气质量等问题的发生机理及其变化规律，以及不同尺度之间的相互影响过程。在如图2所示的部署示意图中，首先，部署对各个空气质量数值模式下的数据进行数据处理的业务架构；输入与当前网格点相关联的输入数据；根据配置文件中的各项配置参数，运行与当前运行模式相对应的运行脚本，得到各项处理后数据，为了实现后台得到的各项处理后数据，能够与展示前台兼容，还对各项处理后数据进行数据兼容处理，得到并输出各项兼容数据，兼容数据为能够与展示各项空气质量数值的展示前台兼容的数据(该过程为图2中所示的模式数据后处理过程)。
针对图2的流程做如下说明：
在对业务架构进行部署之前，所做的前期准备工作如下所述：
在配置模块中，准备填写NAQPMS模式相关配置信息文件model.cfg和naqpUtil.cfg；
在数据模块中，在input目录下准备好NAQPMS模式的基础输入数据，如格点输入数据(datagrid)、地形数据(geo_em)等；
在源码模块中，放入NAQPMS模式源码包。
在做好上述前期准备工作之后，对业务架构进行部署以及基于部署的业务架构进行数据处理的过程如下所述：
箭头1对应的步骤1：针对配置模块做如下处理，准确填写NAQPMS模式相关配置信息文件model.cfg和naqpUtil.cfg，其中，model.cfg为模式系统配置文件，naqpUtil.cfg为模式数据处理程序配置文件；
箭头2对应的步骤2：naqpModelDep.csh这个程序在调用sourceCfg这个文件后(步骤1)，会再去调用数据模块data/input中的基础输入数据，放入NAQPMS模式的业务框架中；其中，基础数据包括格点输入数据(datagrid)、地形数据(geo_em)等；
箭头3对应的步骤3：执行naqpModelDep.csh一键生成NAQPMS模式业务系统框架后(包含步骤1，步骤2的调用过程)，继续下一步：用naqpCfgDep.csh程序一键生成NAQPMS业务系统模式相关配置文件；
箭头4对应的步骤4：执行naqpCfgDep.csh程序时会再次调用sourceCfg文件，其中，sourceCfg为统一配置文件，model.cfg为模式系统配置文件，naqpUtil.cfg为模式数据处理程序配置文件；
箭头5对应的步骤5：执行naqpCfgDep.csh程序，需要调用模式相关数组计算程序arrayCal.csh；
箭头6对应的步骤6：执行naqpCfgDep.csh程序，需要调用模式节点自动选择程序nodeSelect.csh；
箭头7对应的步骤7：在上述步骤都执行完后(即模式业务系统业务架构搭好，相关配置文件生成完成)，接着进入NAQPMS后台业务系统中，进行模式运行调试；
箭头8对应的步骤8：模式运行后生成模式原始数据data；
箭头9对应的步骤9：模式原始数据生成后，开始通过naqpPost.csh程序进行NAQPMS模式数据后处理；
箭头10对应的步骤10：通过执行naqpPost.csh程序生成的后处理数据，推送到数据模块data/output/post目录下；
箭头11对应的步骤11：后处理数据与前台进行对接展示，最终得到能够直观地展示某一区域、某一时间段内的包含各种污染物的平均浓度和平均分指数的空气质量预报结果的示意图；其中，污染物可以为PM2.5、PM10、臭氧、二氧化氮和一氧化碳中的任意一种。
图3是本申请实施例提供的一种具体应用场景下的数据处理方法的流程示意图；
如图3所示的处理流程为：
开始；
修改配置模块相应配置文件；
执行模块部署检查程序；
执行模式部署程序；
开启每日业务运行；
结束。
在如图3所示的方法中，还设置了模式回跑程序，在图3中未示出，通过模式回跑程序，能够对历史数据进行快速回跑，减少了重复性操作。
通过如图3所示的各个步骤，就能够做到：针对不同运行模式下的数据自动进行数据处理，从而提高了数据处理的效率。
如图3所示的描述与图1、图2相同或相关的内容，烦请参见针对图1、图2的详细描述，在此不再赘述。
如图3所示的数据处理方法，能够做到针对不同运行模式进行一键部署对应的业务架构，这样不仅提高了业务架构部署的业务架构部署效率，还提高了经过业务架构对数据进行自动化处理的数据处理效率。此外，由于上述过程是自动完成的，也提高了针对不同模式的后期运行和维护的效率，节省了大量的人力和物力，从而降低了运行和维护成本。
在本申请实施例中，如图4所示，是本申请实施例提供的经由数据处理方法得到的空气质量预报结果示意图。如图4所示的示意图，可以直观地看到：某一地区空气质量的情况。如图4所示，示出了常见的各种污染物(例如，PM2.5、PM10、臭氧、二氧化氮和一氧化碳)在某一天内的预设时间段内(例如，24小时内、1小时内、8小时内)的平均浓度以及对应的平均分指数。
如图5所示，是本申请实施例提供的另一种数据处理方法的流程示意图。如图5所示，本申请实施例的所述方法可以包括以下步骤：
S501，输入与模式信息相关联的输入数据；在此步骤中，与模式信息相关联的输入数据至少包括以下一项：
当前模式网格对应的经度坐标数据、当前模式网格对应的纬度坐标数据、当前模式网格的输入数据、当前模式网格对应区域的排放源数据、当前模式网格对应的气象模式地形数据。
S502，修改配置文件中各项配置参数；在此步骤中，各项配置参数为常规的配置参数，在此不再赘述。
S503，部署各个空气质量数值模式进行大量并行数值运算的业务框架。具体对业务框架进行部署的过程，烦请参见前述图1至图4中的相关描述，在此不再赘述。
S504，输入与当前网格点模式信息相关联的输入数据，根据配置文件中的各项配置参数，运行与当前运行模式相对应的运行脚本，得到能够运行在第一系统下的第一数据对应的第一数据集合,并对第一数据进行数据处理，得到能够运行在第二系统下的第二数据对应的第二数据集合；在此步骤中，第一数据集合是由能够在第一系统(后台)运行的第一数据组成的数据集合，而第二数据集合是能够在第二系统(前台)运行的第二数据组成的数据集合。第一数据集合中的各项第一数据和第二数据集合中的各项第二数据的数据格式是不同的。在此步骤中，第二数据是指能够在前台上进行展示的数据。
S505，在第二系统下输入第二数据集合中的各项第二数据，并在第二系统的展示界面上展示相应的内容。具体展示内容可以参见如图4所示的各项数据，在此不再赘述。
本公开实施例提供的数据处理方法除了能够提高空气质量数值模式业务下的数据处理效率之外，还具有以下有益效果：
有益效果1：本公开实施例部署出的业务架构能够通过调用唯一的统一调用配置文件来高效调用执行各个脚本与程序，并且有利于各模块的集成与后续新功能模块的拓展开发。
有益效果2：在本公开实施例提供的数据处理方法中，通过调用模块化脚本，减少对相同相似脚本内容的重复编写，提升脚本的易读性及后期维护。
有益效果3：在本公开实施例提供的数据处理方法中，使用加密工具，对账户密码进行加密，以保证数据每日自动传输的安全性。需要说明的是，本公开实施例提供的数据处理方法中的加密工具所使用的加密方法是常规加密方法，在此不再赘述。
有益效果4：在本公开实施例提供的数据处理方法中，能够做到：对于非队列提交方式，给定使用计算节点，自动读取节点，并计算给出总核数。
有益效果5：在本公开实施例提供的数据处理方法中，对于模式运行中所需的排放源，能够在每日预设时间内，自动进行检查和更新数据的处理过程，这样，能够避免出现输入数据发生异常缺失的问题，从而保证了预设时间内业务数据过程的正常运行，例如，预设时间可以设置为每天，在此，对预设时间的时长不做具体限制。
在本申请实施例中，部署对各个空气质量数值模式下的数据进行数据处理的业务架构；输入与当前模式信息相关联的输入数据；根据配置文件中的各项配置参数，运行与当前运行模式相对应的运行脚本，得到能够运行在第一系统下的第一数据对应的第一数据集合,并对第一数据进行数据处理，得到能够运行在第二系统下的第二数据对应的第二数据集合。由于本申请部署了能够对各个空气质量数值模式下的数据进行自动数据处理的业务架构，实现了针对不同运行模式下的数据自动进行数据处理，从而提高了空气质量数值模式业务下的数据处理效率。
下述为本发明装置实施例，可以用于执行本发明方法实施例。对于本发明装置实施例中未披露的细节，请参照本发明方法实施例。
请参见图6，其示出了本发明一个示例性实施例提供的数据处理装置的结构示意图。该数据处理装置可以通过软件、硬件或者两者的结合实现成为终端的全部或一部分。该数据处理装置包括部署模块10、数据输入模块20和处理模块30。
具体而言，部署模块10，用于部署对各个空气质量数值模式下的数据进行数据处理的业务架构；
数据输入模块20，用于输入与当前模式信息相关联的输入数据；
处理模块30，根据配置文件中的各项配置参数，运行与当前运行模式相对应的运行脚本，得到能够运行在第一系统下的第一数据对应的第一数据集合,并对第一数据进行数据处理，得到能够运行在第二系统下的第二数据对应的第二数据集合。
可选的，部署模块10具体用于：
根据调用的数据模块提供的各个模式下的至少包括地形格点数据的数据，以及源码模块提供的各个运行模式的业务源码包，部署包括各个空气质量数值模式业务系统的基础框架；对基础框架下的各个空气质量数值模式业务系统进行基础模式信息配置，得到业务架构。
可选的，所述装置还包括：配置模块(在图6中未示出)，用于在部署模块10得到业务架构之后，配置检测当前运行模式是否正常运行的各项检测参数和对应的检测程序。
可选的，所述装置还包括：读取模块(在图6中未示出)，用于在数据输入模块20输入与当前模式信息相关联的输入数据之前，读取与当前模式信息相关联的输入数据；
其中，读取模块读取的与当前模式信息相关联的输入数据至少包括以下一项：
当前模式网格对应的经度坐标数据、当前模式网格对应的纬度坐标数据、当前模式网格的输入数据、当前模式网格对应区域的排放源数据、当前模式网格对应的气象模式地形数据。
可选的，配置模块还用于：在处理模块30根据配置文件中的各项配置参数，运行与当前运行模式相对应的运行脚本之前，配置与空气质量数值模式相关联的各项运行参数。
可选的，配置模块还用于：在处理模块30得到能够运行在第二系统下的第二数据对应的第二数据集合之前，配置并运行各个空气质量数值运行模式对应的数据处理程序。
如图7所示，是本申请实施例提供的又一种数据处理装置的结构示意图。如图7所示的数据处理装置包括：配置模块、数据模块、执行模块和源码模块。
具体而言，配置模块用于：配置与空气质量数值模式相关联的各项运行参数；以及配置各个空气质量数值运行模式对应的数据处理程序。
数据模块包括输入数据模块和输出数据模块，其中，输入数据模块用于存储各类输入数据，其中，各类输入数据包括地形数据、排放源数据和站点信息文件数据等；输出数据模块用于存储各类输出数据，其中，各项输出数据为各个运行模式下的输出数据，各项输出数据为能够与展示各项空气质量数值的展示前台兼容的数据。
执行模块用于，对各个运行模式下的各项数据进行预处理，进行预处理的方法为常规方法，在此不再赘述。
执行模块还用于，对各个运行模式下的各项数据进行数据后处理，以使得得到的各项输出数据为能够与展示各项空气质量数值的展示前台兼容的数据。
执行模块还用于，执行与数据后处理对接的程序；
执行模块还用于，部署用于检测各个运行模式下可能出现的错误的检查程序；
执行模块还用于，运行模块化的程序，这样，就可以将功能相同或功能类似的模块归为一类，简化了业务架构的部署过程。
源码模块，用于提供各个运行模式的业务源码包，通过该业务源码包能够部署包括各个业务模式结构的基础框架。
根据源码模块提供的各个运行模式的业务源码包，部署包括各个业务模式结构的基础框架。
需要说明的是，上述实施例提供的数据处理装置在执行数据处理方法时，仅以上述各功能模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能模块完成，即将设备的内部结构划分成不同的功能模块，以完成以上描述的全部或者部分功能。另外，上述实施例提供的数据处理装置与数据处理方法实施例属于同一构思，其体现实现过程详见数据处理方法实施例，这里不再赘述。
在本申请实施例中，部署模块部署对各个空气质量数值模式下的数据进行数据处理的业务架构；数据输入模块输入与当前模式信息相关联的输入数据；处理模块根据配置文件中的各项配置参数，运行与当前运行模式相对应的运行脚本，得到能够运行在第一系统下的第一数据对应的第一数据集合,并对第一数据进行数据处理，得到能够运行在第二系统下的第二数据对应的第二数据集合。由于本申请部署了能够对各个空气质量数值模式下的数据进行自动数据处理的业务架构，实现了针对不同运行模式下的数据自动进行数据处理，从而提高了空气质量数值模式业务下的数据处理效率。
本发明还提供一种计算机可读介质，其上存储有程序指令，该程序指令被处理器执行时实现上述各个方法实施例提供的数据处理方法。
本发明还提供了一种包含指令的计算机程序产品，当其在计算机上运行时，使得计算机执行上述各个方法实施例所述的数据处理方法。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的程序可存储于计算机可读取存储介质中，该程序在执行时，可包括如上述各方法的实施例的流程。其中，所述的存储介质可为磁碟、光盘、只读存储记忆体或随机存储记忆体等。
以上所揭露的仅为本申请较佳实施例而已，当然不能以此来限定本申请之权利范围，因此依本申请权利要求所作的等同变化，仍属本申请所涵盖的范围。

Claims (10)

1.一种数据处理方法，其特征在于，所述方法包括：
部署对各个空气质量数值模式下的数据进行数据处理的业务架构；
输入与当前模式信息相关联的输入数据；
根据配置文件中的各项配置参数，运行与当前运行模式相对应的运行脚本，得到能够运行在第一系统下的第一数据对应的第一数据集合,并对所述第一数据进行数据处理，得到能够运行在第二系统下的第二数据对应的第二数据集合。
2.根据权利要求1所述的方法，其特征在于，所述部署对各个空气质量数值模式下的数据进行数据处理的业务架构包括：
根据调用的数据模块提供的各个模式下的至少包括地形格点数据的数据，以及源码模块提供的各个运行模式的业务源码包，部署包括各个空气质量数值模式业务系统的基础框架；对所述基础框架下的各个空气质量数值模式业务系统进行基础模式信息配置，得到所述业务架构。
3.根据权利要求2所述的方法，其特征在于，在所述得到所述业务架构之后，所述方法还包括：
配置检测当前运行模式是否正常运行的各项检测参数和对应的检测程序。
4.根据权利要求1所述的方法，其特征在于，在所述输入与当前模式信息相关联的输入数据之前，所述方法还包括：
读取与当前模式信息相关联的输入数据；其中，与当前模式信息相关联的所述输入数据至少包括以下一项：当前模式网格对应的经度坐标数据、当前模式网格对应的纬度坐标数据、当前模式网格的输入数据、当前模式网格对应区域的排放源数据、当前模式网格对应的气象模式地形数据。
5.根据权利要求1所述的方法，其特征在于，在所述根据配置文件中的各项配置参数，运行与当前运行模式相对应的运行脚本之前，所述方法还包括：
配置与空气质量数值模式相关联的各项运行参数。
6.根据权利要求1所述的方法，其特征在于，在所述得到能够运行在第二系统下的第二数据对应的第二数据集合之前，所述方法还包括：
配置并运行各个空气质量数值运行模式对应的数据处理程序。
7.一种数据处理装置，其特征在于，所述方法包括：
部署模块，用于部署对各个空气质量数值模式下的数据进行数据处理的业务架构；
数据输入模块，用于输入与当前模式信息相关联的输入数据；
处理模块，根据配置文件中的各项配置参数，运行与当前运行模式相对应的运行脚本，得到能够运行在第一系统下的第一数据对应的第一数据集合,并对所述第一数据进行数据处理，得到能够运行在第二系统下的第二数据对应的第二数据集合。
8.根据权利要求7所述的装置，其特征在于，
所述部署模块具体用于：
根据调用的数据模块提供的各个模式下的至少包括地形格点数据的数据，以及根据源码模块提供的各个运行模式的业务源码包，部署包括各个空气质量数值模式业务系统的基础框架；以及
对所述基础框架下的各个空气质量数值模式业务系统进行基础模式信息配置，得到所述业务架构。
9.根据权利要求8所述的装置，其特征在于，所述装置还包括：
配置模块，用于在所述部署模块得到所述业务架构之后，配置检测当前运行模式是否正常运行的各项检测参数和对应的检测程序。
10.一种计算机存储介质，其特征在于，所述计算机存储介质存储有多条指令，所述指令适于由处理器加载并执行如权利要求1至6任意一项的方法步骤。
CN202010530879.6A 2020-06-11 2020-06-11 一种数据处理方法、装置、存储介质及终端 Active CN111666368B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010530879.6A CN111666368B (zh) 2020-06-11 2020-06-11 一种数据处理方法、装置、存储介质及终端

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010530879.6A CN111666368B (zh) 2020-06-11 2020-06-11 一种数据处理方法、装置、存储介质及终端

Publications (2)

Publication Number Publication Date
CN111666368A true CN111666368A (zh) 2020-09-15
CN111666368B CN111666368B (zh) 2021-05-25

Family

ID=72386622

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010530879.6A Active CN111666368B (zh) 2020-06-11 2020-06-11 一种数据处理方法、装置、存储介质及终端

Country Status (1)

Country Link
CN (1) CN111666368B (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112171936A (zh) * 2020-09-22 2021-01-05 张稳定 一种具有干燥功能的pe管材生产用原料配比混合装置
CN114153798A (zh) * 2021-11-05 2022-03-08 中科三清科技有限公司 排放源自动更新方法、装置、电子设备和计算机可读存储介质

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20120185414A1 (en) * 2010-12-15 2012-07-19 Vaisala, Inc. Systems and methods for wind forecasting and grid management
US20140142912A1 (en) * 2012-11-16 2014-05-22 Universiti Brunei Darussalam Automating weather model configurations
CN109685281A (zh) * 2018-12-29 2019-04-26 中科三清科技有限公司 污染来源预测方法、装置及电子设备
CN110297646A (zh) * 2019-06-29 2019-10-01 中国海洋大学 一种海洋模式环境自动部署软件

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20120185414A1 (en) * 2010-12-15 2012-07-19 Vaisala, Inc. Systems and methods for wind forecasting and grid management
US20140142912A1 (en) * 2012-11-16 2014-05-22 Universiti Brunei Darussalam Automating weather model configurations
CN109685281A (zh) * 2018-12-29 2019-04-26 中科三清科技有限公司 污染来源预测方法、装置及电子设备
CN110297646A (zh) * 2019-06-29 2019-10-01 中国海洋大学 一种海洋模式环境自动部署软件

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
王伟等: "气象数值模式MM5自动化业务系统的构架与实现", 《现代计算机》 *

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112171936A (zh) * 2020-09-22 2021-01-05 张稳定 一种具有干燥功能的pe管材生产用原料配比混合装置
CN112171936B (zh) * 2020-09-22 2022-07-26 山东阳谷巨龙新型材料有限公司 一种具有干燥功能的pe管材生产用原料配比混合装置
CN114153798A (zh) * 2021-11-05 2022-03-08 中科三清科技有限公司 排放源自动更新方法、装置、电子设备和计算机可读存储介质

Also Published As

Publication number Publication date
CN111666368B (zh) 2021-05-25

Similar Documents

Publication Publication Date Title
CN102236672B (zh) 一种数据导入方法及装置
US20120272220A1 (en) System and method for display of software quality
CN102360331B (zh) 基于形式化描述的测试程序自动生成方法
CN111666368B (zh) 一种数据处理方法、装置、存储介质及终端
CN1248116C (zh) 一种基于主机平台的嵌入式模块和子系统的通用测试装置
CN111475390A (zh) 日志采集系统部署方法、装置、设备及存储介质
CN110674083A (zh) 工作流迁移方法、装置、设备及计算机可读存储介质
CN112241360A (zh) 一种测试用例生成方法、装置、设备及存储介质
CN109344074B (zh) 一种跨平台自动化测试方法及系统
CN112131116A (zh) 一种嵌入式软件自动化回归测试方法
CN111190814A (zh) 软件测试用例的生成方法、装置、存储介质及终端
EP4152715A1 (en) Method and apparatus for determining resource configuration of cloud service system
CN113360139A (zh) 前端框架的集成方法、装置、电子设备及存储介质
CN112631903A (zh) 任务测试方法、装置、电子设备及存储介质
CN115729679A (zh) 任务处理方法及装置、计算机可读存储介质、电子设备
CN111309297B (zh) 脚本开发系统及方法
CN114860694A (zh) 一种风电场监控系统异步协同数据迁移方法及装置
CN112380118A (zh) 单元测试方法、装置、介质及电子设备
CN115016968A (zh) 一种异常处理方法、装置、设备及介质
CN114064469A (zh) 接口自动化测试方法及存储介质
CN114356430A (zh) 一种基于airflow调度系统的DAG依赖配置工具
CN112905262B (zh) 一种航天测控系统配置方法及装置
CN111221719B (zh) 一种自动化测试系统及测试方法
CN113111353B (zh) 基于依赖关系的容器镜像库安全评估系统及方法
CN115879966A (zh) 报价单自动生成方法、装置、设备和存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
EE01 Entry into force of recordation of patent licensing contract

Application publication date: 20200915

Assignee: Beijing Zhongke Sanqing Environmental Technology Co.,Ltd.

Assignor: 3CLEAR TECHNOLOGY Co.,Ltd.

Contract record no.: X2022980012305

Denomination of invention: A data processing method, device, storage medium and terminal

Granted publication date: 20210525

License type: Common License

Record date: 20220815

EE01 Entry into force of recordation of patent licensing contract