CN114882142B - 气象数据的图形产品加工方法及系统 - Google Patents
气象数据的图形产品加工方法及系统 Download PDFInfo
- Publication number
- CN114882142B CN114882142B CN202210522191.2A CN202210522191A CN114882142B CN 114882142 B CN114882142 B CN 114882142B CN 202210522191 A CN202210522191 A CN 202210522191A CN 114882142 B CN114882142 B CN 114882142B
- Authority
- CN
- China
- Prior art keywords
- data
- meteorological
- meteorological data
- classification network
- standard
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T11/00—2D [Two Dimensional] image generation
- G06T11/20—Drawing from basic elements, e.g. lines or circles
- G06T11/206—Drawing of charts or graphs
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02A—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
- Y02A90/00—Technologies having an indirect contribution to adaptation to climate change
- Y02A90/10—Information and communication technologies [ICT] supporting adaptation to climate change, e.g. for weather forecasting or climate simulation
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Physics & Mathematics (AREA)
- Evolutionary Computation (AREA)
- Data Mining & Analysis (AREA)
- Artificial Intelligence (AREA)
- Computer Vision & Pattern Recognition (AREA)
- General Engineering & Computer Science (AREA)
- Databases & Information Systems (AREA)
- Bioinformatics & Computational Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Health & Medical Sciences (AREA)
- Computing Systems (AREA)
- Evolutionary Biology (AREA)
- General Health & Medical Sciences (AREA)
- Medical Informatics (AREA)
- Software Systems (AREA)
- Multimedia (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Abstract
本申请提供一种气象数据的图形产品加工方法及系统,通过对大量原始气象数据进行预处理后的标准气象数据配置不同的气象数据分类网络,按照气象数据分类网络的标记方式对标准气象数据进行分类标记,分别将分类标记及对应的待分类标准气象数据进行抽取,得到渲染模板集合,并基于得到的渲染模板集合中的渲染模板,通过QGIS导出接口生成图形产品,在生成所述图形产品时,根据预设需求,从渲染模板集合中选定符合预设需求的模板和需要展现的数据块,设置数据值的分段及对应的颜色,按照预设的数据渲染方式进行渲染。通过自动将气象数据进行归类标记,模块化地构建制图模板进行渲染,选择性高,提高了气象数据生成图形的效率。
Description
技术领域
本发明涉及气象图形制作领域,具体而言,涉及一种气象数据的图形产品加工方法及系统。
背景技术
目前,气象数据生成图形主要是以商业应用软件为主,商业软件基本上仍是基于多年前的技术,并没有随着技术的发展而及时进行迭代,不仅透明性、可定制性差,在制图时往往需要专业人员配合进行,制图周期长,成本高。对于针对大面积气象数据进行处理制图时,往往因为气象数据的数量过大,导致处理制图周期更加漫长。而依赖人工的结果往往也不准确。
发明内容
本发明的目的在于提供一种气象数据的图形产品加工方法及系统,以改善上述的问题。
第一方面,本发明提供了一种气象数据的图形产品加工方法,包括:
获取原始气象数据,对所述原始气象数据进行预处理,得到标准气象数据;
获取用于标记气象数据分类的各气象数据分类网络的分类属性及待分类标准气象数据的气象数据包;
根据各所述气象数据分类网络的分类属性及所述气象数据包,为各所述气象数据分类网络配置待分类标准气象数据;
基于为各所述气象数据分类网络配置的待分类标准气象数据,为各所述气象数据分类网络生成相应的数据获取指令;
向所有所述气象数据分类网络发送相应的数据获取指令,以使各所述气象数据分类网络响应所述相应的数据获取指令以获取被配置的待分类标准气象数据,且各所述气象数据分类网络分别将获取的所述待分类标准气象数据依据预设的解析规则进行解析,得到所述待分类标准气象数据的解析结果,各所述气象数据分类网络基于所述解析结果,根据对应的分类方式对所述待分类标准气象数据赋予分类标记;
分别在各个所述气象数据分类网络中将分类标记及对应的待分类标准气象数据进行抽取,将具有相同数据类型标志的标准气象数据按照被赋予的分类标记进行归类得到渲染模板集合;
基于得到的所述渲染模板集合中的渲染模板,通过QGIS导出接口生成图形产品;
在生成所述图形产品时,根据预设需求,从所述渲染模板集合中选定符合所述预设需求的模板和需要展现的数据块,所述数据块通过分类标记进行聚集,设置数据值的分段及对应的颜色,按照预设的数据渲染方式进行渲染。
进一步地,所述各所述气象数据分类网络分别将待分类标准气象数据依据预设的解析规则进行解析,得到所述待分类标准气象数据的解析结果;各所述气象数据分类网络基于所述解析结果,根据对应的分类方式对所述待分类标准气象数据赋予分类标记包括:
当获取到待分类标准气象数据时,确定所述待分类标准气象数据的构成要素,所述构成要素包括不少于一类气象事件的气象事件类型;
根据所述不少于一类气象事件的气象事件类型,获取所述不少于一类气象事件对应的气象记录数据和所述不少于一类气象事件对应的气象记录数据的提取逻辑;
根据所述不少于一类气象事件类型和气象事件对应的气象记录数据的提取逻辑,获取相应的数据标记规则,标记所述待分类标准气象数据;
根据所述数据标记规则确定气象记录数据的调取规律和标记方法气象事件标记规则,根据所述气象记录数据的调取规律按顺序调取所述待分类标准气象数据中的所述不少于一类气象事件对应的气象记录数据,并按照所述标记方法气象事件标记规则对所述待分类标准气象数据赋予分类标记;
其中,所述根据所述不少于一类气象事件的气象事件类型,获取所述不少于一类气象事件对应的气象记录数据和所述不少于一类气象事件对应的气象记录数据的提取逻辑包括:根据所述不少于一类气象事件的气象事件类型,从待分类标准气象数据中获取与所述气象事件类型对应的气象记录数据的储存空间和所述不少于一类气象事件对应的气象记录数据的提取逻辑;基于所述气象记录数据的储存空间获取所述不少于一类气象记录数据;
根据所述数据标记规则确定气象记录数据的调取规律和标记方法气象事件标记规则,根据所述气象记录数据的调取规律按顺序调取所述待分类标准气象数据中的所述不少于一类气象事件对应的气象记录数据包括:根据所述调取规律中的优先调取顺序,优先调取与所述优先调取顺序对应的气象记录数据;根据所述调取规律中的普通调取顺序,调取与所述普通调取顺序对应的气象记录数据,所述优先调取顺序是对应有优先级的气象记录数据对应的调取规律,所述普通调取顺序是未对应有优先级的气象记录数据对应的调取规律。
进一步地,所述气象数据分类网络还接收分类标记形态信息,所述根据所述不少于一类气象事件类型和气象事件对应的气象记录数据的提取逻辑,获取相应的数据标记规则,标记所述待分类标准气象数据,包括:
根据所述分类标记形态信息,获取与所述分类标记形态信息对应的气象数据分类类型;
如果所述分类标记形态信息为计数,根据所述不少于一类气象事件和所述不少于一类气象事件对应的数据标记规则,按照计数的标记方法,标记所述待分类标准气象数据;
如果所述分类标记形态信息为描述,根据所述不少于一类气象事件和所述不少于一类气象事件对应的数据标记规则,按照描述的标记方法,标记所述待分类标准气象数据。
进一步地,所述根据各所述气象数据分类网络的分类属性及所述气象数据包,为各所述气象数据分类网络配置待分类标准气象数据,包括:
获取各所述气象数据分类网络的数据分析容量,其中,所述数据分析容量为所述气象数据分类网络可以分析的极限气象数据;
基于所述气象数据包、每一所述气象数据分类网络的数据分析容量和各个所述气象数据分类网络的分类属性,为各所述气象数据分类网络配置待分类标准气象数据,其中,对于气象数据分类网络,所述配置的待分类标准气象数据的数据量与所述气象数据分类网络的数据分析容量匹配,所述气象数据分类网络配置的待分类标准气象数据的数据量小于或等于所述气象数据分类网络的数据分析容量。
进一步地,所述基于所述气象数据包、每一所述气象数据分类网络的数据分析容量和各个所述气象数据分类网络的分类属性,为各所述气象数据分类网络配置待分类标准气象数据,包括:
计算各待配置气象数据分类网络的数据分析容量与各待配置气象数据分类网络的数据分析容量的总数据分析容量的数据分析容量比例,得到各所述待配置气象数据分类网络的配置比例,所述待配置气象数据分类网络为未配置待分类标准气象数据的气象数据分类网络;
根据各待配置气象数据分类网络的配置比例及所述气象数据包,分别得到各待配置气象数据分类网络的待配置气象数据量,对于任意待配置气象数据分类网络,所述待配置气象数据分类网络的待配置气象数据量与所述待配置气象数据分类网络的配置比例匹配;
如果各个待配置气象数据分类网络的待配置气象数据量均小于或等于其空置处理量,针对任意一个待配置气象数据分类网络,在所述待分类标准气象数据的未配置的待分类标准气象数据中确定所述待配置气象数据分类网络其待配置气象数据量大小的待分类标准气象数据,配置给所述待配置气象数据分类网络,其中,各所述气象数据分类网络配置的待分类标准气象数据无交集;
如果待配置气象数据分类网络的待配置气象数据量大于其空置处理量,则在所述待分类标准气象数据的未配置的待分类标准气象数据中确定所述待配置气象数据分类网络空置处理量大小的待分类标准气象数据数据,配置给所述待配置气象数据分类网络,并将所述气象数据包的容量修正为当前待分类标准气象数据中未配置的待分类标准气象数据的数据量大小,重新回到计算各待配置气象数据分类网络的数据分析容量与各待配置气象数据分类网络的数据分析容量的总数据分析容量的数据分析容量比例,得到各所述待配置气象数据分类网络的配置比例的过程。
进一步地,一个所述气象数据分类网络对应一个网络队列,同一网络队列中的各气象数据分类网络的数据分析容量及分类属性相同;
所述基于所述气象数据包、每一所述气象数据分类网络的数据分析容量和各个所述气象数据分类网络的分类属性,为各所述气象数据分类网络配置待分类标准气象数据,包括:
针对任意一个待配置网络队列,计算所述待配置网络队列中单个气象数据分类网络的数据分析容量与待配置气象数据分类网络的数据分析容量的总数据分析容量的数据分析容量比例,得到待配置网络队列中单个气象数据分类网络的配置比例,所述待配置气象数据分类网络为未配置待分类标准气象数据的气象数据分类网络,所述待配置网络队列为未配置待分类标准气象数据的气象数据分类网络对应的分组;
针对任意一个待配置网络队列,根据所述待配置网络队列中单个气象数据分类网络的配置比例及所述气象数据包,得到所述待配置网络队列中单个气象数据分类网络的待配置气象数据量,对于任意气象数据分类网络,所述气象数据分类网络的待配置气象数据量与所述气象数据分类网络的配置比例相匹配;
如果各待配置网络队列对应的待配置气象数据量均小于或等于本身网络队列的空置处理量,针对任意一未配置待分类标准气象数据的气象数据分类网络,在所述待分类标准气象数据的未配置的待分类标准气象数据中确定所述气象数据分类网络其待配置气象数据量大小的待分类标准气象数据,配置给所述气象数据分类网络,其中,各所述气象数据分类网络配置的待分类标准气象数据无交集;
如果待配置网络队列对应的待配置气象数据量大于本身网络队列对应的空置处理量,则在所述待分类标准气象数据的未配置的待分类标准气象数据中,为所述待配置网络队列中的各气象数据分类网络确定所述待配置网络队列对应的空置处理量大小的待分类标准气象数据,根据相应的配置比例配置给所述待配置网络队列中的各气象数据分类网络,将所述气象数据包的容量修正为当前待分类标准气象数据中未配置的待分类标准气象数据的数据量大小,并且计算每一待配置气象数据分类网络的数据分析容量的总数据分析容量。
进一步地,所述根据各所述气象数据分类网络的分类属性及所述气象数据包,为各所述气象数据分类网络配置待分类标准气象数据,包括:
计算每一所述气象数据分类网络的空置处理量与每一所述气象数据分类网络的空置处理量的空置处理量之和的空置处理量比例,得到每一所述气象数据分类网络的数据占比;
根据每一所述气象数据分类网络的数据占比和所述气象数据包,得到每一所述气象数据分类网络的待配置气象数据量,对于任意气象数据分类网络,所述气象数据分类网络的待配置气象数据量与所述气象数据分类网络的数据占比相匹配;
针对任意一个气象数据分类网络,为所述气象数据分类网络配置所述气象数据分类网络待配置气象数据量大小的待分类标准气象数据,其中,各所述气象数据分类网络配置的待分类标准气象数据无交集。
进一步地,在所述获取用于标记气象数据分类的各气象数据分类网络的分类属性及待分类标准气象数据的气象数据包之后,所述方法还包括:
计算所有所述气象数据分类网络的空置处理量之和,得到总空置处理量;
如果所述总空置处理量小于所述气象数据包的容量,则增加所述气象数据分类网络,以使所述待分类标准气象数据的气象数据包大小小于或等于所述总空置处理量,所述增加的气象数据分类网络的分类属性涵盖所述待分类标准气象数据中的分类。
进一步地,所述对所述原始气象数据进行预处理,得到标准气象数据包括提取所述原始数据的数据描述信息,所述数据描述信息包括文件名、文件格式、数据时间和空间范围;
所述预设的数据渲染方式包括线性插值渲染或分段离散渲染;
所述方法还包括:通过Kafka消息中间件作为消息总线,对依据所述渲染模板进行渲染任务时进行调度,对所述气象数据的到达进行监听,通过Redis维护气象数据目录。
第二方面,本申请实施例提供了一种基于机器学习的气象数据分类处理系统,包括存储器和处理器,所述存储器中存储有计算机程序,所述处理器被设置为运行所述计算机程序以执行本申请第一方面提供的方法。本申请实施例
本申请实施例提供的气象数据的图形产品加工方法及系统,通过对大量原始气象数据进行预处理后的标准气象数据配置不同的气象数据分类网络,按照气象数据分类网络的标记方式对标准气象数据进行标记,分别在各个气象数据分类网络中将分类标记及对应的待分类标准气象数据进行抽取,将具有相同数据类型标志的标准气象数据按照被赋予的分类标记进行归类得到渲染模板集合,并基于得到的渲染模板集合中的渲染模板,通过QGIS导出接口生成图形产品,在生成所述图形产品时,根据预设需求,从渲染模板集合中选定符合预设需求的模板和需要展现的数据块,设置数据值的分段及对应的颜色,按照预设的数据渲染方式进行渲染。通过自动将气象数据进行归类标记,模块化地构建制图模板进行渲染,选择性高,提高了气象数据生成图形的效率。
为使本发明的上述目的、特征和优点能更明显易懂,下文特举较佳实施例,并配合所附附图,作详细说明如下。
附图说明
为了更清楚地说明本申请实施例的技术方案,下面将对实施例中所需要使用的附图作简单地介绍,应当理解,以下附图仅示出了本发明的某些实施例,因此不应被看作是对范围的限定,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他相关的附图。
图1是本申请实施例提供的气象数据的图形产品加工系统的方框示意图。
图2是本申请实施例提供的气象数据的图形产品加工方法的流程图。
图3是本申请实施例提供的气象数据的图形产品加工装置的功能模块架构示意图。
具体实施方式
下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本申请一部分实施例,而不是全部的实施例。基于本申请中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本申请保护的范围。
请参照图1,是本申请实施例提供的气象数据的图形产品加工系统100的方框图,该系统可以为电子设备终端,也可以是服务器,其包括存储器110和处理器120和气象数据的图形产品加工装置130。
存储器110和处理器120直接或间接地电性连接,以实现数据的传输或交互。例如,可通过一条或多条通讯总线140或信号线实现电性连接。存储器110中存储有计算机程序,处理器120用于执行存储器10中存储的计算机程序。气象数据的图形产品加工装置130包括至少一个可以软件或固件的形式存储于存储器110中或固化在系统操作系统中的软件功能模块。
存储器110可以是,但不限于随机存取存储器(Random Access Memory,RAM),只读存储器(Read Only Memory,ROM),可编程只读存储器(Programmable Read-Only Memory,PROM),可擦除只读存储器(Erasable Programmable Read-Only Memory,EPROM),电可擦除只读存储器(Electric Erasable Programmable Read-Only Memory,EEPROM)等。其中,存储器110用于存储程序,处理器120在接收到执行指令后,执行所述程序。处理器120可能是一种集成电路芯片,具有信号的处理能力。上述的处理器可以是通用处理器,包括中央处理器(Central Processing Unit,CPU)、网络处理器(Network Processor,NP)等;还可以是数字信号处理器(DSP))、专用集成电路(ASIC)、现场可编程门阵列(FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。可以实现或者执行本申请实施例中的公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
处理器120被设置为运行存储器110中的计算机程序以执行本申请实施例提供的气象数据的图形产品加工方法。
请参照图2,该方法包括以下步骤:
步骤S110,获取原始气象数据,对原始气象数据进行预处理,得到标准气象数据。
对于系统原生支持的数据格式,预处理主要提取数据的文件名,文件格式,数据时间、空间范围等数据描述信息,对于非原生支持的数据格式,需要进行一步或多步处理。为提升效率,转换中产生的中间数据,采用内存文件存储,减少了磁盘IO,为了数据精度不受损,中间数据采用GeoTiff格式,像素数据类型精度,就高不就低,采用Float浮点数据类型存储。原始气象数据主要分以下三大类:
格点类数据,本系统基本原生支持,常见的格式有NetCDF、HDF、GRIB/GRIB2,并提取数据的投影方式、时空坐标变量、数据变量,并基于文件格式、文件名、变量名拼接系统可读的文件路径。
站点类数据,通过VRT虚拟文件描述规则,将TXT、CSV格式的站点数据转化为系统可读。
其它矢量类数据,根据具体的源数据格式,处理成系统兼容的格式,如GeoJSON、WKT,比较经典的数据为Micaps第14类数据中的中央台降水预报,数据中包含点、线、区域,需要经过多步处理,才能进行图形绘制。
步骤S120,获取用于标记气象数据分类的各气象数据分类网络的分类属性及待分类标准气象数据的气象数据包。
在本申请实施例中,待分类标准气象数据为需要打上气象数据分类的标准气象数据,例如打上分类标记。待分类标准气象数据来自多个数据类型标志下的不同分类的标准气象数据,此处的数据类型标志,可以是不同格式的气象数据,例如格点数据、站点数据。不同分类可以是气象数据的不同属性,如降水量、气压、气温、蒸发量、相对湿度、风向风速、日照时数和0cm地温要素等。本实施例中的分类属性可以理解为上述每一个气象数据的属性。气象数据分类网络用于对待分类标准气象数据标记气象数据分类,对于任一气象数据分类网络,气象数据分类网络的分类属性为气象数据分类网络能够标记的待分类标准气象数据的数据类型,对不同类型配置不同的气象数据分类网络,可以提高标记的效率和准确性。
由于同一数据类型标志往往包含不同分类的标准气象数据,为了后期统计的便利,在本申请实施例中,同一数据类型标志的不同分类的待分类标准气象数据具有相同的数据类型标志。本申请实施例中,数据类型标志的形式不做限定,例如可以采用数据类别标志名称或记录对应的数字或字母。
本实施例中,对待分类标准气象数据进行标记可以分批进行,对待分类标准气象数据按批打包成多个气象数据包,每次分析时获取对应的待分类标准气象数据的气象数据包。
步骤S130,根据各气象数据分类网络的分类属性及气象数据包,为各气象数据分类网络配置待分类标准气象数据。
获取到气象数据包之后,需要根据各个气象数据分类网络能够标记的分类属性进行标准气象数据的配置。本实施例对配置方式不做限定,例如,作为一种实施方式,标准气象数据的配置可以包括以下步骤:
步骤S131,获取各所气象数据分类网络的数据分析容量。
其中,数据分析容量为气象数据分类网络可以分析的极限气象数据,换句话说,该极限气象数据是气象数据分类网络一次可以分析承载的最多的标准气象数据量。需要说明的是,具有相同分类属性的气象数据分类网络的数量可以为多个,以便于处理该分类对应的海量气象数据。
步骤S132:基于气象数据包、每一气象数据分类网络的数据分析容量和各个气象数据分类网络的分类属性,为各气象数据分类网络配置待分类标准气象数据。
其中,对于气象数据分类网络,该配置的待分类标准气象数据的数据量与气象数据分类网络的数据分析容量匹配,可以理解的,配置的数据量和数据分析容量正相关,数据分析容量越大,被配置的数据量越大。针对每一个气象数据分类网络,其被配置的待分类标准气象数据的数据量小于或等于气象数据分类网络对应的数据分析容量。气象数据的配置,本申请实施例不做限定,例如在本申请实施例中可以提供两种实现方式,第一种实施方式可以包括以下步骤:
计算各待配置气象数据分类网络的数据分析容量与各待配置气象数据分类网络的数据分析容量的总数据分析容量的数据分析容量比例,得到各待配置气象数据分类网络的配置比例。
其中,待配置气象数据分类网络为未配置待分类标准气象数据的气象数据分类网络。需要说明的是,该计算的数据分析容量比例为通过在具有相同分类属性的各个待配置气象数据分类网络中进行计算得到,由于不同的待配置气象数据分类网络的数据分析容量可能不同,则根据各个待配置气象数据分类网络的数据分析容量与各个待配置气象数据分类网络的数据分析容量的总和的比例作为配置手段,得到配置比例。
根据各待配置气象数据分类网络的配置比例及气象数据包,分别得到各待配置气象数据分类网络的待配置气象数据量。
在本申请实施例中,气象数据包中的气象数据根据数据类别进行过分类,也就是说根据气象数据分类网络的分类属性进行了分类,那么在对各个气象数据分类网络配置气象数据时,按照气象数据分类网络的分类属性配置对应类型的气象数据,具有同一分类属性的多个气象数据分类网络,根据其配置比例进行配置,对于任意待配置气象数据分类网络,待配置气象数据分类网络的待配置气象数据量与待配置气象数据分类网络的配置比例匹配,容易理解,配置的数据量与配置比例正相关,配置比例越大,配置的数据量越大。下面通过举例说明,气象数据包总量为500,包括Q、W、E三种类别的气象数据,其中Q、W、E的数据量分别为100、200和200。气象数据分类网络根据分类属性分为Q、W、E三类,Q类的气象数据分类网络数量为3个,编号为q、w、e,3个Q类气象数据分类网络的总数据分析容量为120,其中,q的数据分析容量为30,w的数据分析容量为40,e的数据分析容量为50,q与总数据分析容量的比例为0.25;w与总数据分析容量的比例为0.33;e与总数据分析容量的比例是0.42。在数据量配置时,Q类数据量配置给q的100×0.25=25,配置给w 100×0.33=33,配置给e100×0.42=42。
在本申请实施例中,在配置气象数据量时,某些待配置气象数据分类网络可能还处于工作状态,需要处理先前的部分气象数据,抑或有气象数据未分析,那么待配置气象数据分类网络中,排除残余或正在分析的气象数据量,待配置气象数据分类网络还能够接受的数据量上限为空置处理量,空置处理量小于该待配置气象数据分类网络的数据分析容量。
如果各待配置气象数据分类网络的待配置气象数据量均小于或等于其空置处理量,则执行下面步骤。
针对任意一个待配置气象数据分类网络,在待分类标准气象数据的未配置的待分类标准气象数据中确定待配置气象数据分类网络其待配置气象数据量大小的待分类标准气象数据,配置给待配置气象数据分类网络。
具体的配置方式已举例说明,还需要说明的是,各气象数据分类网络配置的待分类标准气象数据无交集。
如果待配置气象数据分类网络的待配置气象数据量大于其空置处理量,则执行以下的步骤。
在待分类标准气象数据的未配置的待分类标准气象数据中确定待配置气象数据分类网络空置处理量大小的待分类标准气象数据,配置给待配置气象数据分类网络,并将气象数据包的容量修正为当前待分类标准气象数据中未配置的待分类标准气象数据的数据量大小,重新回到计算各待配置气象数据分类网络的数据分析容量与各待配置气象数据分类网络的数据分析容量的总数据分析容量的数据分析容量比例,得到各所述待配置气象数据分类网络的配置比例的过程。仍以上面例子为基础,Q类数据量配置给q的数据量为25,配置给w的数据量为33,e为42。但是,虽然q的分析极限为30,但q的空置处理量仅余22,w和e的空置处理量分别为39和45。那么仅q配置22数据量,为w配置33,为e配置42,余下数据量收归气象数据包,对气象数据包的数据量大小进行修正,重新回到计算各待配置气象数据分类网络的数据分析容量与各待配置气象数据分类网络的数据分析容量的总数据分析容量的数据分析容量比例,得到各所述待配置气象数据分类网络的配置比例的过程,在对Q类数据量进行再配置的过程中,w和e将被配置上一轮配置中本来配置给q的数据量。
本申请实施例对于气象数据配置的第二种实施方式可以包括以下步骤。
一个气象数据分类网络对应一个网络队列,同一网络队列中的各气象数据分类网络的数据分析容量及分类属性相同。第二种实施方式将具有相同分类属性的气象数据分类网络作为一个网络队列。包括:
针对任意一个待配置网络队列,计算待配置网络队列中单个气象数据分类网络的数据分析容量与待配置气象数据分类网络的数据分析容量的总数据分析容量的数据分析容量比例,得到待配置网络队列中单个气象数据分类网络的配置比例。
其中待配置气象数据分类网络为未配置待分类标准气象数据的气象数据分类网络,待配置网络队列为未配置待分类标准气象数据的气象数据分类网络对应的分组。由于通过比例配置的介绍已在第一种实施方式中描述,此处不再进行赘述。
针对任意一个待配置网络队列,根据待配置网络队列中单个气象数据分类网络的配置比例及气象数据包,得到待配置网络队列中单个气象数据分类网络的待配置气象数据量。
对于任意气象数据分类网络,气象数据分类网络的待配置气象数据量与气象数据分类网络的配置比例相匹配。待配置网络队列中单个气象数据分类网络的配置原则与第一种实施方式相同,此处不再赘述。
第二种实施方式与第一种实施方式不同的地方在于判断空置数据量与数据配置量的过程中,第二种实施方式直接通过待配置网络队列整体的空置处理量来进行,那么在判断前就得将待配置网络队列中的各个气象数据分类网络的空置处理量求和,如果各待配置网络队列对应的待配置气象数据量均小于或等于本身网络队列的空置处理量,则执行以下步骤。
针对任意一未配置待分类标准气象数据的气象数据分类网络,在待分类标准气象数据的未配置的待分类标准气象数据中确定气象数据分类网络其待配置气象数据量大小的待分类标准气象数据,配置给气象数据分类网络。
配置的方式请参考前述第一种实施方式,此处不再进行赘述,容易理解,各气象数据分类网络配置的待分类标准气象数据无交集。
如果待配置网络队列对应的待配置气象数据量大于本身网络队列对应的空置处理量,执行以下步骤。
在待分类标准气象数据的未配置的待分类标准气象数据中,为待配置网络队列中的各气象数据分类网络确定待配置网络队列对应的空置处理量大小的待分类标准气象数据,根据相应的配置比例配置给待配置网络队列中的各气象数据分类网络,将气象数据包的容量修正为当前待分类标准气象数据中未配置的待分类标准气象数据的数据量大小,计算各待配置气象数据分类网络的数据分析容量的总数据分析容量。
与前述步骤不同之处在于,第二种实施方式直接确定与待配置网络队列对应的空置处理量大小的待分类标准气象数据为待配置网络队列配置气象数据,并且根据相应的配置比例配置给待配置网络队列中的各气象数据分类网络,需要说明的是,在特殊情况下,即使待配置网络队列的空置处理量大小等于选取的待分类标准气象数据,但待配置网络队列中个别气象数据分类网络的按配置比例匹配的数据量大于其空置处理量,而个别气象数据分类网络的按配置比例匹配的数据量小于其空置处理量,此时,则直接在待配置网络队列中进行内部配置。
还是用前述例子作为基础举例,Q类数据量配置给q的配置比例是0.25,配置给w的配置比例是0.33,配置给e的配置比例是0.42。q、w、e的数据处理上限相加为120,空置处理量和为100,配置的待分类标准气象数据的数据量为100。如果按照比例配置,a配置25,b配置33,c配置42。但是,q的空闲数据量为22,w的空闲数据量为33,e的空闲数据量为44,这种情况之下,为q配置22,w配置33,e配置44。未配置下去的待分类标准气象数据收回气象数据包中,将气象数据包的容量修正为当前待分类标准气象数据中未配置的待分类标准气象数据的数据量大小,计算各待配置气象数据分类网络的数据分析容量的总数据分析容量,并返回针对任意一个待配置网络队列,计算待配置网络队列中单个气象数据分类网络的数据分析容量与待配置气象数据分类网络的数据分析容量的总数据分析容量的数据分析容量比例,得到待配置网络队列中单个气象数据分类网络的配置比例的步骤。
获取到气象数据包之后,需要根据各个气象数据分类网络能够标记的数据类型进行气象数据的配置。本实施例中,作为另外一种实施方式,气象数据的配置方式可以参考以下步骤。
步骤S231,计算各气象数据分类网络的空置处理量与各气象数据分类网络的空置处理量的空置处理量之和的空置处理量比例,得到各气象数据分类网络的数据占比。
相比于第一种实施方式来说,第二种实施方式直接以各气象数据分类网络的空置处理量作为设置配置比例的依据。数据分析容量相对于空置处理量是静态的数值,因此更容易得到,对于空置处理量即数据分析容量的情况,无需计算空置处理量,直接获取数据分析容量的效率更高,但是对于空置处理量小于数据分析容量时,直接获取空置处理量作为配置比例的依据则效率更高。所以采用何种实施方式,可以根据实际情况而定。
步骤S232,根据各气象数据分类网络的数据占比及气象数据包,得到各气象数据分类网络的待配置气象数据量。
对于任意气象数据分类网络,气象数据分类网络的待配置气象数据量与气象数据分类网络的数据占比正相关。
步骤S233,对于任一气象数据分类网络,为气象数据分类网络配置气象数据分类网络待配置气象数据量大小的待分类标准气象数据。
其中各气象数据分类网络配置的待分类标准气象数据无交集。
由于无论是第一种还是第二种实施方式,都有可能出现各个气象数据分类网络的空置处理量的和小于气象数据包的情形,从而导致待分类标准气象数据会溢出,本申请实施例中,在步骤S110之后还可以包括以下步骤解决该问题。
计算各气象数据分类网络的空置处理量的和,得到总空置处理量。如果总空置处理量小于气象数据包的容量,增加气象数据分类网络的数量,使得待分类标准气象数据的气象数据包大小小于或等于总空置处理量。
增加的气象数据分类网络的分类属性覆盖待分类标准气象数据中的类型,即增加的气象数据分类网络为总空闲数据量小于气象数据包大小的气象数据分类网络。
步骤S140,基于为各气象数据分类网络配置的待分类标准气象数据,为各气象数据分类网络生成相应的数据获取指令。
待分类标准气象数据配置完成后,数据还没有到各个气象数据分类网络,需要向各气象数据分类网络下发数据获取指令,该数据获取指令至少包括气象数据分类网络被配置的待分类标准气象数据数据量、提取触发指令和数据提取的空间位置。
步骤S150,向所有气象数据分类网络发送相应的数据获取指令,以使各气象数据分类网络响应相应的数据获取指令以获取被配置的待分类标准气象数据,各气象数据分类网络分别将待分类标准气象数据依据预设的解析规则进行解析,得到待分类标准气象数据的解析结果,各气象数据分类网络依据解析结果,根据对应的分类方式对待分类标准气象数据赋予分类标记。
气象数据分类网络接收到数据获取指令后,按照指令中的触发指令开始提取对应数据量的待分类标准气象数据。各气象数据分类网络为预先通过训练得到,生成解析规则,帮助判断待分类标准气象数据属于何种分类,赋予对应的分类标记。识别标记的过程可以包括以下步骤:
当获取到待分类标准气象数据时,确定待分类标准气象数据的构成要素,构成要素包括不少于一类气象事件的气象事件类型。
每一类气象事件均被记录成气象记录数据存储在服务器中,待标记的标准气象数据包含各气象事件对应的气象记录数据。每一种气象记录数据的表现形式可能不同,在对气象记录数据读取以还原气象事件本身时,需依照预设方式进行数据的提取,气象事件类型指示气象记录数据的提取逻辑。
根据不少于一类气象事件的气象事件类型,获取不少于一类气象事件对应的气象记录数据和不少于一类气象事件对应的气象记录数据的提取逻辑。
气象数据分类网络获取到气象事件类型后,能够确定到对应的气象事件,从而获取与气象事件对应的气象记录数据,并按照指示的提取逻辑进行读取。具体包括:
根据不少于一类气象事件的气象事件类型,从待分类标准气象数据中获取与气象事件类型对应的气象记录数据的储存空间和不少于一类气象事件对应的气象记录数据的提取逻辑。
气象数据包中,各气象记录数据存放的位置不同,在海量的数据中找到目标数据需要索引,本申请实施例中,气象事件类型提供该索引,帮助气象数据分类网络确定气象记录数据的储存空间。
基于气象记录数据的储存空间获取不少于一类气象记录数据。
根据不少于一类气象事件类型和气象事件对应的气象记录数据的提取逻辑,获取相应的数据标记规则,标记待分类标准气象数据。
数据标记规则即实现判断待分类标准气象数据与目标分类的接近程度的策略,该规则可以通过大量的标准气象数据通过人工智能模型训练得到。
对于待分类标准气象数据进行标记的方式也很多,前述提到气象数据分类的作用是衡量待分类标准气象数据所能表现出的与目标分类的接近程度,可以通过多种方式表现,例如数值或文字,数值又可称为计数,数值大小或计数大小可正相关地描述接近程度,而文字描述则可以更直观。在本申请实施例中,气象数据分类网络还接收分类标记形态信息,根据分类标记形态信息,获取与分类标记形态信息对应的气象数据分类类型。以上述举例为例,分类标记形态信息可以是数值或文字。当分类标记形态信息为计数,根据不少于一类气象事件和不少于一类气象事件对应的数据标记规则,标记待分类标准气象数据。当分类标记形态信息为描述,即文字,文字的表现形式不做限定,根据不少于一类气象事件和不少于一类气象事件对应的数据标记规则,标记待分类标准气象数据。需要说明的是,作为优选的实施方式,所有的气象数据分类网络的分类标记形态信息相同。
根据数据标记规则确定气象记录数据的调取规律和标记方法气象事件标记规则,根据气象记录数据的调取规律按顺序调取待分类标准气象数据中的不少于一类气象事件对应的气象记录数据,并按照标记方法气象事件标记规则对待分类标准气象数据赋予分类标记。
由于某些气象记录数据的长度较长,但关键信息较少,其往往直接在气象记录数据的固定位置,而数据标记规则对待分类标准气象数据的识别仅需要通过该关键信息即可得到解析结果。因此,对于此类气象事件类型,对气象记录数据给定调取规律,利于直接获取关键信息,提高效率,此处的调取规律可理解为调取数据的次序规律。
可以根据调取规律中的优先调取顺序,优先去调取与优先调取顺序对应的气象记录数据。根据调取规律中的普通调取顺序,调取与普通调取顺序对应的气象记录数据。其中优先调取顺序是对应有优先级的气象记录数据对应的调取规律,优先级可以进行分类,按照优先紧迫度分为优先级1、优先级2。如果通过优先级1对应的气象记录数据即可直接得到解析结果,则不再读取优先级2。普通调取顺序是未对应有优先级的气象记录数据对应的调取规律。
步骤S160,分别在各个气象数据分类网络中将分类标记及对应的待分类标准气象数据进行抽取,将具有相同数据类型标志的标准气象数据按照被赋予的分类标记进行归类得到渲染模块集合。
气象数据分类网络完成标记后,就可提取同一数据类型的所有气象数据对应的气象数据分类。
步骤S170,基于得到的渲染模板集合中的渲染模板,通过QGIS导出接口生成图形产品。
目前具有审图号的标准地图是通过ArcGIS创建的工程,为了将其通用化,需将工程内容发布为WMS、WMTS标准地图服务。例如在浏览器网页中,可以通过OpenLayers、Mapbox等前端地图插件加载标准地图,在QGIS工程中,也可以以地图图层方式加载该标准地图。渲染模板为数据图层,该部分配置存储在本申请实施例提供的系统的数据库中,针对不同类型数据,做相应的配置,利用QGIS提供的API接口读取数据库配置并生成图层和相应渲染器,形成最终的可以进行渲染的模板。例如对于栅格类数据,主要是颜色色值及渲染器的配置,或者对于矢量数据,主要是点线的尺寸和颜色的配置。在步骤160中得到的渲染模板集合包括模板和数据块,模板包括对应图层和渲染器,而一个个数据块就是通过对气象数据进行分类标记进行整理得到。在本申请实施例中,预设的数据渲染方式包括线性插值渲染或分段离散渲染。另外,还需要对任务进行合理地调度,本申请实施例中,对于任务的调度通过Kafka消息中间件作为消息总线,对依据渲染模板进行渲染任务时进行调度,对气象数据的到达进行监听,通过Redis维护气象数据目录。
在生成图形产品时,根据预设需求,从渲染模板集合中选定符合预设需求的模板和需要展现的数据块,数据块通过分类标记进行聚集,设置数据值的分段及对应的颜色,按照预设的数据渲染方式进行渲染。
请参照图3,本申请实施例提供的气象数据的图形产品加工装置130可用于执行本申请实施例提供的上述方法,该气象数据的图形产品加工装置130包括以下功能模块:
预处理模块131,用于获取原始气象数据,对原始气象数据进行预处理,得到标准气象数据。
获取模块132,用于获取用于标记气象数据分类的各气象数据分类网络的分类属性及待分类标准气象数据的气象数据包。
配置模块133,用于根据各气象数据分类网络的分类属性及气象数据包,为各气象数据分类网络配置待分类标准气象数据。
指令生成模块134,用于基于为各气象数据分类网络配置的待分类标准气象数据,为各气象数据分类网络生成相应的数据获取指令.
指令发送模块135,用于向所有气象数据分类网络发送相应的数据获取指令,以使各气象数据分类网络响应相应的数据获取指令以获取被配置的待分类标准气象数据,且各气象数据分类网络分别将获取的待分类标准气象数据依据预设的解析规则进行解析,得到待分类标准气象数据的解析结果,各气象数据分类网络基于解析结果,根据对应的分类方式对待分类标准气象数据赋予分类标记。
归集模块136,用于分别在各个气象数据分类网络中将分类标记及对应的待分类标准气象数据进行抽取,将具有相同数据类型标志的标准气象数据按照被赋予的分类标记进行归类得到渲染模板集合。
图形生成模块137,用于基于得到的渲染模板集合中的渲染模板,通过QGIS导出接口生成图形产品。
由于气象数据的图形产品加工装置130用于执行以上方法,原理与上述方法一致,此处不再赘述原理。
综上所述,本申请实施例提供的气象数据的图形产品加工方法及系统,通过对大量原始气象数据进行预处理后的标准气象数据配置不同的气象数据分类网络,按照气象数据分类网络的标记方式对标准气象数据进行标记,分别在各个气象数据分类网络中将分类标记及对应的待分类标准气象数据进行抽取,将具有相同数据类型标志的标准气象数据按照被赋予的分类标记进行归类得到渲染模板集合,并基于得到的渲染模板集合中的渲染模板,通过QGIS导出接口生成图形产品,在生成所述图形产品时,根据预设需求,从渲染模板集合中选定符合预设需求的模板和需要展现的数据块,设置数据值的分段及对应的颜色,按照预设的数据渲染方式进行渲染。通过自动将气象数据进行归类标记,模块化地构建制图模板进行渲染,选择性高,提高了气象数据生成图形的效率。
在上述实施例中,可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用软件实现时,可以全部或部分地以计算机程序产品的形式实现。所述计算机程序产品包括一个或多个计算机指令。在计算机上加载和执行所述计算机程序指令时,全部或部分地产生按照本申请实施例所述的流程或功能。所述计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。所述计算机指令可以存储在计算机可读存储介质中,或者从一个计算机可读存储介质向另一个计算机可读存储介质传输,例如,所述计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线(例如同轴电缆、光纤、数字用户线)或无线(例如红外、无线、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输。所述计算机可读存储介质可以是计算机能够存取的任何可用介质或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。所述可用介质可以是磁性介质,(例如,软盘、硬盘、磁带)、光介质(例如,DVD)、或者半导体介质(例如固态硬盘SolidState Disk(SSD))等。
需要说明的是,在本文中,各个可选方案中的技术特征只要不矛盾均可组合来形成方案,这些方案均在本申请公开的范围内。诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来,而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
本说明书中的各个实施例均采用相关的方式描述,每个实施例重点说明的都是与其他实施例的不同之处,各个实施例之间相同相似的部分互相参见即可。
以上所述仅为本申请的较佳实施例,并非用于限定本申请的保护范围。凡在本申请的精神和原则之内所作的任何修改、等同替换、改进等,均包含在本申请的保护范围内。
Claims (9)
1.一种气象数据的图形产品加工方法,其特征在于,所述方法包括:
获取原始气象数据,对所述原始气象数据进行预处理,得到标准气象数据;
获取用于标记气象数据分类的各气象数据分类网络的分类属性及待分类标准气象数据的气象数据包;
根据各所述气象数据分类网络的分类属性及所述气象数据包,为各所述气象数据分类网络配置待分类标准气象数据;
基于为各所述气象数据分类网络配置的待分类标准气象数据,为各所述气象数据分类网络生成相应的数据获取指令;
向所有所述气象数据分类网络发送相应的数据获取指令,以使各所述气象数据分类网络响应所述相应的数据获取指令以获取被配置的待分类标准气象数据,且各个所述气象数据分类网络分别将获取的所述待分类标准气象数据依据预设的解析规则进行解析,得到所述待分类标准气象数据的解析结果,各所述气象数据分类网络基于所述解析结果,根据对应的分类方式对所述待分类标准气象数据赋予分类标记;
分别在各个所述气象数据分类网络中将分类标记及对应的待分类标准气象数据进行抽取,将具有相同数据类型标志的标准气象数据按照被赋予的分类标记进行归类得到渲染模板集合;
基于得到的所述渲染模板集合中的渲染模板,通过QGIS导出接口生成图形产品;
其中,在生成所述图形产品时,根据预设需求,从所述渲染模板集合中选定符合所述预设需求的模板和需要展现的数据块,所述数据块通过分类标记进行聚集,设置数据值的分段及对应的颜色,按照预设的数据渲染方式进行渲染;
所述各个所述气象数据分类网络分别将获取的所述待分类标准气象数据依据预设的解析规则进行解析,得到所述待分类标准气象数据的解析结果,各所述气象数据分类网络基于所述解析结果,根据对应的分类方式对所述待分类标准气象数据赋予分类标记包括:
当获取到待分类标准气象数据时,确定所述待分类标准气象数据的构成要素,所述构成要素包括不少于一类气象事件的气象事件类型;
根据所述不少于一类气象事件的气象事件类型,获取所述不少于一类气象事件对应的气象记录数据和所述不少于一类气象事件对应的气象记录数据的提取逻辑;
根据所述不少于一类气象事件类型和气象事件对应的气象记录数据的提取逻辑,获取相应的数据标记规则,标记所述待分类标准气象数据;
根据所述数据标记规则确定气象记录数据的调取规律和标记方法气象事件标记规则,根据所述气象记录数据的调取规律按顺序调取所述待分类标准气象数据中的所述不少于一类气象事件对应的气象记录数据,并按照所述标记方法气象事件标记规则对所述待分类标准气象数据赋予分类标记;
其中,所述根据所述不少于一类气象事件的气象事件类型,获取所述不少于一类气象事件对应的气象记录数据和所述不少于一类气象事件对应的气象记录数据的提取逻辑包括:根据所述不少于一类气象事件的气象事件类型,从待分类标准气象数据中获取与所述气象事件类型对应的气象记录数据的储存空间和所述不少于一类气象事件对应的气象记录数据的提取逻辑;基于所述气象记录数据的储存空间获取所述不少于一类气象记录数据;
根据所述数据标记规则确定气象记录数据的调取规律和标记方法气象事件标记规则,根据所述气象记录数据的调取规律按顺序调取所述待分类标准气象数据中的所述不少于一类气象事件对应的气象记录数据包括:根据所述调取规律中的优先调取顺序,优先调取与所述优先调取顺序对应的气象记录数据;根据所述调取规律中的普通调取顺序,调取与所述普通调取顺序对应的气象记录数据,所述优先调取顺序是对应有优先级的气象记录数据对应的调取规律,所述普通调取顺序是未对应有优先级的气象记录数据对应的调取规律。
2.根据权利要求1所述的方法,其特征在于,所述气象数据分类网络还接收分类标记形态信息,所述根据所述不少于一类气象事件类型和气象事件对应的气象记录数据的提取逻辑,获取相应的数据标记规则,标记所述待分类标准气象数据,包括:
根据所述分类标记形态信息,获取与所述分类标记形态信息对应的气象数据分类类型;
如果所述分类标记形态信息为计数,根据所述不少于一类气象事件和所述不少于一类气象事件对应的数据标记规则,按照计数的标记方法,标记所述待分类标准气象数据;
如果所述分类标记形态信息为描述,根据所述不少于一类气象事件和所述不少于一类气象事件对应的数据标记规则,按照描述的标记方法,标记所述待分类标准气象数据。
3.根据权利要求1所述的方法,其特征在于,所述根据各所述气象数据分类网络的分类属性及所述气象数据包,为各所述气象数据分类网络配置待分类标准气象数据,包括:
获取各所述气象数据分类网络的数据分析容量,其中所述数据分析容量为所述气象数据分类网络可以分析的极限气象数据;
基于所述气象数据包、每一所述气象数据分类网络的数据分析容量和各个所述气象数据分类网络的分类属性,为各所述气象数据分类网络配置待分类标准气象数据,其中对于气象数据分类网络,所述配置的待分类标准气象数据的数据量与所述气象数据分类网络的数据分析容量匹配,所述气象数据分类网络配置的待分类标准气象数据的数据量小于或等于所述气象数据分类网络的数据分析容量。
4.根据权利要求3所述的方法,其特征在于,所述基于所述气象数据包、每一所述气象数据分类网络的数据分析容量和各个所述气象数据分类网络的分类属性,为各所述气象数据分类网络配置待分类标准气象数据,包括:
计算各待配置气象数据分类网络的数据分析容量与各待配置气象数据分类网络的数据分析容量的总数据分析容量的数据分析容量比例,得到各所述待配置气象数据分类网络的配置比例,所述待配置气象数据分类网络为未配置待分类标准气象数据的气象数据分类网络;
根据各待配置气象数据分类网络的配置比例及所述气象数据包,分别得到各待配置气象数据分类网络的待配置气象数据量,对于任意待配置气象数据分类网络,所述待配置气象数据分类网络的待配置气象数据量与所述待配置气象数据分类网络的配置比例匹配;
如果各个待配置气象数据分类网络的待配置气象数据量均小于或等于其空置处理量,针对任意一个待配置气象数据分类网络,在所述待分类标准气象数据的未配置的待分类标准气象数据中确定所述待配置气象数据分类网络其待配置气象数据量大小的待分类标准气象数据,配置给所述待配置气象数据分类网络,其中,各所述气象数据分类网络配置的待分类标准气象数据无交集;
如果待配置气象数据分类网络的待配置气象数据量大于其空置处理量,则在所述待分类标准气象数据的未配置的待分类标准气象数据中确定所述待配置气象数据分类网络空置处理量大小的待分类标准气象数据数据,配置给所述待配置气象数据分类网络,并将所述气象数据包的容量修正为当前待分类标准气象数据中未配置的待分类标准气象数据的数据量大小,重新回到计算各待配置气象数据分类网络的数据分析容量与各待配置气象数据分类网络的数据分析容量的总数据分析容量的数据分析容量比例,得到各所述待配置气象数据分类网络的配置比例的过程。
5.根据权利要求3所述的方法,其特征在于,一个所述气象数据分类网络对应一个网络队列,同一网络队列中的各气象数据分类网络的数据分析容量及分类属性相同;
所述基于所述气象数据包、每一所述气象数据分类网络的数据分析容量和各个所述气象数据分类网络的分类属性,为各所述气象数据分类网络配置待分类标准气象数据,包括:
针对任意一个待配置网络队列,计算所述待配置网络队列中单个气象数据分类网络的数据分析容量与待配置气象数据分类网络的数据分析容量的总数据分析容量的数据分析容量比例,得到待配置网络队列中单个气象数据分类网络的配置比例,所述待配置气象数据分类网络为未配置待分类标准气象数据的气象数据分类网络,所述待配置网络队列为未配置待分类标准气象数据的气象数据分类网络对应的分组;
针对任意一个待配置网络队列,根据所述待配置网络队列中单个气象数据分类网络的配置比例及所述气象数据包,得到所述待配置网络队列中单个气象数据分类网络的待配置气象数据量,对于任意气象数据分类网络,所述气象数据分类网络的待配置气象数据量与所述气象数据分类网络的配置比例相匹配;
如果各待配置网络队列对应的待配置气象数据量均小于或等于本身网络队列的空置处理量,针对任意一未配置待分类标准气象数据的气象数据分类网络,在所述待分类标准气象数据的未配置的待分类标准气象数据中确定所述气象数据分类网络其待配置气象数据量大小的待分类标准气象数据,配置给所述气象数据分类网络,其中,各所述气象数据分类网络配置的待分类标准气象数据无交集;
如果待配置网络队列对应的待配置气象数据量大于本身网络队列对应的空置处理量,则在所述待分类标准气象数据的未配置的待分类标准气象数据中,为所述待配置网络队列中的各气象数据分类网络确定所述待配置网络队列对应的空置处理量大小的待分类标准气象数据,根据相应的配置比例配置给所述待配置网络队列中的各气象数据分类网络,将所述气象数据包的容量修正为当前待分类标准气象数据中未配置的待分类标准气象数据的数据量大小,并且计算每一待配置气象数据分类网络的数据分析容量的总数据分析容量。
6.根据权利要求1所述的方法,其特征在于,所述根据各所述气象数据分类网络的分类属性及所述气象数据包,为各所述气象数据分类网络配置待分类标准气象数据,包括:
计算每一所述气象数据分类网络的空置处理量与每一所述气象数据分类网络的空置处理量的空置处理量之和的空置处理量比例,得到每一所述气象数据分类网络的数据占比;
根据每一所述气象数据分类网络的数据占比和所述气象数据包,得到每一所述气象数据分类网络的待配置气象数据量,对于任意气象数据分类网络,所述气象数据分类网络的待配置气象数据量与所述气象数据分类网络的数据占比相匹配;
针对任意一个气象数据分类网络,为所述气象数据分类网络配置所述气象数据分类网络待配置气象数据量大小的待分类标准气象数据,其中,各所述气象数据分类网络配置的待分类标准气象数据无交集。
7.根据权利要求1所述的方法,其特征在于,在所述获取用于标记气象数据分类的各气象数据分类网络的分类属性及待分类标准气象数据的气象数据包之后,所述方法还包括:
计算所有所述气象数据分类网络的空置处理量之和,得到总空置处理量;
如果所述总空置处理量小于所述气象数据包的容量,则增加所述气象数据分类网络,以使所述待分类标准气象数据的气象数据包大小小于或等于所述总空置处理量,所述增加的气象数据分类网络的分类属性涵盖所述待分类标准气象数据中的分类。
8.根据权利要求1-7任一项所述的方法,其特征在于,所述对所述原始气象数据进行预处理,得到标准气象数据包括提取所述原始数据的数据描述信息,所述数据描述信息包括文件名、文件格式、数据时间和空间范围;
所述预设的数据渲染方式包括线性插值渲染或分段离散渲染;
所述方法还包括:通过Kafka消息中间件作为消息总线,对依据所述渲染模板进行渲染任务时进行调度,对所述原始气象数据的到达进行监听,通过Redis维护气象数据目录。
9.一种气象数据的图形产品加工系统,包括存储器和处理器,其特征在于,所述存储器中存储有计算机程序,所述处理器被设置为运行所述计算机程序以执行所述权利要求1至8中任一项所述的方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210522191.2A CN114882142B (zh) | 2022-05-13 | 2022-05-13 | 气象数据的图形产品加工方法及系统 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210522191.2A CN114882142B (zh) | 2022-05-13 | 2022-05-13 | 气象数据的图形产品加工方法及系统 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN114882142A CN114882142A (zh) | 2022-08-09 |
CN114882142B true CN114882142B (zh) | 2022-12-06 |
Family
ID=82674947
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202210522191.2A Active CN114882142B (zh) | 2022-05-13 | 2022-05-13 | 气象数据的图形产品加工方法及系统 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN114882142B (zh) |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN108073644A (zh) * | 2016-11-15 | 2018-05-25 | 南京南瑞继保电气有限公司 | 一种电网气象海量数据处理方法 |
CN111629001A (zh) * | 2020-05-27 | 2020-09-04 | 上海眼控科技股份有限公司 | 气象报文生成方法、装置、计算机设备及存储介质 |
CN112560468A (zh) * | 2020-12-17 | 2021-03-26 | 北京百度网讯科技有限公司 | 气象预警文本处理方法、相关装置及计算机程序产品 |
Family Cites Families (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US9828108B2 (en) * | 2016-03-10 | 2017-11-28 | The Boeing Company | Automated flight throttle control |
US10446143B2 (en) * | 2016-03-14 | 2019-10-15 | Apple Inc. | Identification of voice inputs providing credentials |
-
2022
- 2022-05-13 CN CN202210522191.2A patent/CN114882142B/zh active Active
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN108073644A (zh) * | 2016-11-15 | 2018-05-25 | 南京南瑞继保电气有限公司 | 一种电网气象海量数据处理方法 |
CN111629001A (zh) * | 2020-05-27 | 2020-09-04 | 上海眼控科技股份有限公司 | 气象报文生成方法、装置、计算机设备及存储介质 |
CN112560468A (zh) * | 2020-12-17 | 2021-03-26 | 北京百度网讯科技有限公司 | 气象预警文本处理方法、相关装置及计算机程序产品 |
Also Published As
Publication number | Publication date |
---|---|
CN114882142A (zh) | 2022-08-09 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
EP2779094A2 (en) | Segmentation of an image based on color and color differences | |
CN115205717B (zh) | 障碍物点云数据处理方法以及飞行设备 | |
CN108021863B (zh) | 电子装置、基于图像的年龄分类方法及存储介质 | |
CN115909059A (zh) | 一种自然资源样本库建立方法和装置 | |
CN110135409B (zh) | 识别模型的优化方法和装置 | |
CN114511718B (zh) | 一种建筑施工用物料智能管理方法及系统 | |
CN114564741A (zh) | 基于匿名化分析的大数据隐私保护方法及大数据处理设备 | |
CN111402579A (zh) | 道路拥堵程度预测方法、电子装置及可读存储介质 | |
CN115372877B (zh) | 基于无人机的变电站的避雷器泄露电流表计巡检方法 | |
CN109871743B (zh) | 文本数据的定位方法及装置、存储介质、终端 | |
CN114882142B (zh) | 气象数据的图形产品加工方法及系统 | |
CN113298042A (zh) | 遥感影像数据的处理方法及装置、存储介质、计算机设备 | |
CN113591827A (zh) | 文本图像的处理方法、装置、电子设备及可读存储介质 | |
CN111340139A (zh) | 一种图像内容复杂度的判别方法及装置 | |
CN109166012B (zh) | 针对行程预定类用户的分类及信息推送的方法和装置 | |
CN114332848B (zh) | 点云标注方法、装置及服务器 | |
CN107861931B (zh) | 模板文件处理方法、装置、计算机设备和存储介质 | |
CN116386048A (zh) | 一种印章去除方法、装置、设备及存储介质 | |
CN111258874A (zh) | 一种基于web数据的用户操作轨迹分析方法及装置 | |
CN113780532B (zh) | 语义分割网络的训练方法、装置、设备及存储介质 | |
CN115116080A (zh) | 表格解析方法、装置、电子设备和存储介质 | |
CN114782955A (zh) | 埋点处理方法、电子设备、存储介质 | |
CN106649628B (zh) | 网页可视化区域的交互增强方法及系统 | |
CN114282088B (zh) | 一种智慧国土云平台信息处理装置 | |
CN113553454B (zh) | 图元数据处理方法、装置及电子设备 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |