CN112000728B - 一种业务数据处理方法、可读存储介质及计算机设备 - Google Patents

一种业务数据处理方法、可读存储介质及计算机设备 Download PDF

Info

Publication number
CN112000728B
CN112000728B CN202011175975.XA CN202011175975A CN112000728B CN 112000728 B CN112000728 B CN 112000728B CN 202011175975 A CN202011175975 A CN 202011175975A CN 112000728 B CN112000728 B CN 112000728B
Authority
CN
China
Prior art keywords
data
decoding
subdata
processing method
data processing
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202011175975.XA
Other languages
English (en)
Other versions
CN112000728A (zh
Inventor
陈鸣
曹妙霞
周岳
李恒
梁广涛
洪斌
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shanghai Aikesheng Information Technology Co ltd
Original Assignee
Shanghai Aikesheng Information Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shanghai Aikesheng Information Technology Co ltd filed Critical Shanghai Aikesheng Information Technology Co ltd
Priority to CN202011175975.XA priority Critical patent/CN112000728B/zh
Publication of CN112000728A publication Critical patent/CN112000728A/zh
Application granted granted Critical
Publication of CN112000728B publication Critical patent/CN112000728B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/25Integrating or interfacing systems involving database management systems
    • G06F16/258Data format conversion from or to a database
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/22Indexing; Data structures therefor; Storage structures
    • G06F16/2291User-Defined Types; Storage management thereof
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/28Databases characterised by their database models, e.g. relational or object models
    • G06F16/284Relational databases
    • G06F16/285Clustering or classification

Landscapes

  • Engineering & Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Software Systems (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明提供了一种业务数据处理方法、可读存储介质及计算机设备,所述业务数据处理方法,将业务数据处理过程拆分为预解码阶段和正式解码阶段,在预解码阶段只识别数据的基本信息不对数据做深度解析,从而减轻了解析压力;在正式解码阶段,可以根据预解码阶段获得的分类信息,使用针对性的解码方案,加速了解码过程。与现有技术相比,本发明所提供的方案解析单条数据只需要几毫秒,解码峰值可达每秒万级以上,解决了现有技术中存在的对气象数据的处理速度过慢的问题。

Description

一种业务数据处理方法、可读存储介质及计算机设备
技术领域
本发明涉及气象数据处理技术领域,特别涉及一种业务数据处理方法、可读存储介质及计算机设备。
背景技术
随着气象资料种类不断增加,由各个探测和产品加工系统生产的地面、高空、辐射、数值预报、大气成分、雷达、卫星、服务产品等资料,每年新增数十至上百种,气象观测资料和产品的时空分辨率和数据精度也不断提高。我国现有的各地方气象局内部使用的CIMISS系统在实际生产和应用业务环节中,产生并保持着数量繁多的自定义气象数据方式,因而造成了气象数据格式不统一、不规范,上下游各应用系统衔接连动性薄弱等问题,影响和制约了气象数据综合应用效益的发挥,建立全业务流程统一、标准化的气象数据格式需求非常迫切。
2014年中国气象局确定了参照WMO(世界气象组织)和业界通用气象数据格式标准制定我国各类气象数据的标准化格式的总体目标。2014年底初步确定了地面小时和分钟BUFR模板,随后接连确定了各类气象数据的BUFR模板。以2020年基本实现我国气象数据格式的标准化,以及标准化格式数据的处理应用为目标。
目前各地气象局都面临着内部应用处理系统的改造,来适配标准化的BUFR数据报文。目前中国局提供的解码工具从工程角度及解码效率上远没达到实际使用场景需求。比如以下场景:
1)分钟时次报文,上百站点上报的报文数据同时到达;
2)某一时点的高并发,单个站点BUFR报文解码加入库耗时需保证10ms内;
3)面对将来越来越多的品种,如何实现本地化的BUFR自定义,以进一步提升入库速度。
这几个诉求,基于现有应用的处理方式是无法达到的。
综上所述,现有技术存在对气象数据的处理速度过慢的问题。
发明内容
本发明的目的在于提供一种业务数据处理方法、可读存储介质及计算机设备,以解决现有技术存在的对气象数据的处理速度过慢的问题。
为了解决上述技术问题,根据本发明的第一个方面,提供了一种业务数据处理方法,用于解码BUFR格式的气象数据并将解码结果进行储存,所述气象入库方法包括:
预解码阶段,包括:接收气象数据;根据所述气象数据的基础信息,将所述气象数据拆分为至少一条子数据;并根据所述基础信息,对所述子数据进行分类,编码格式相同的所述子数据被分为同一类;以及,
正式解码阶段,包括:根据所述子数据的分类信息,采用至少两个解码方案将所述子数据转化为第一格式,所述解码方案与所述子数据的编码格式相对应;并将按所述第一格式转化后的所述子数据存入第一数据库。
可选的,所述基础信息包括站点数据。
可选的,在将所述子数据进行分类之后,所述预解码阶段还包括,将分类后的所述子数据存入第一kafka缓冲;在将所述子数据转化为第一格式之前,所述正式解码阶段还包括,从所述第一kafka缓冲中获取分类后的所述子数据。
可选的,将分类后的所述子数据存入第一kafka缓冲的步骤包括,将分类后的所述子数据存入所述第一kafka缓冲的至少两个分区。
可选的,至少两个所述解码方案具有相同的模板。
可选的,在将所述气象数据拆分为所述子数据之后,所述预解码阶段还包括,将所述子数据转化为第二格式。
可选的,所述业务数据处理方法还包括,生成每个步骤的业务日志。
可选的,所述业务数据处理方法还包括:
第一监控方法,包括:
将所述业务日志储存于第二kafka缓冲中;
获取第二kafka缓冲中的所述业务日志,进行分析,得到分析结果;
将分析结果存入第二数据库,同时根据预警逻辑将一部分的分析结果发送给监控客户端;以及,
第二监控方法,包括:
根据所述业务查询指令在所述第二数据库中查询信息,并向监控客户端发送查询结果。
为了解决上述技术问题,根据本发明的第二个方面,提供了一种可读存储介质,存储有程序,所述程序被执行时,实现上述的业务数据处理方法。
为了解决上述技术问题,根据本发明的第三个方面,提供了一种计算机设备,其特征在于,包括上述的可读存储介质和处理器;所述处理器与所述可读存储介质通信连接,所述可读存储介质上的程序被所述处理器执行时,实现上述的业务数据处理方法。
与现有技术相比,本发明提供一种业务数据处理方法、可读存储介质及计算机设备中,所述业务数据处理方法,将业务数据处理过程拆分为预解码阶段和正式解码阶段,在预解码阶段只识别数据的基本信息不对数据做深度解析,从而减轻了解析压力;在正式解码阶段,可以根据预解码阶段获得的分类信息,使用针对性的解码方案,加速了解码过程。与现有技术相比,本发明所提供的方案解析单条数据只需要几毫秒,解码峰值可达每秒万级以上,解决了现有技术中存在的对气象数据的处理速度过慢的问题。
附图说明
本领域的普通技术人员将会理解,提供的附图用于更好地理解本发明,而不对本发明的范围构成任何限定。其中:
图1是本发明一实施例提供的业务数据处理方法的示意性流程图;
图2是本发明一实施例提供的业务数据处理方法的另一示意性流程图。
具体实施方式
为使本发明的目的、优点和特征更加清楚,以下结合附图和具体实施例对本发明作进一步详细说明。需说明的是,附图均采用非常简化的形式且未按比例绘制,仅用以方便、明晰地辅助说明本发明实施例的目的。此外,附图所展示的结构往往是实际结构的一部分。特别的,各附图需要展示的侧重点不同,有时会采用不同的比例。
如在本发明中所使用的,单数形式“一”、“一个”以及“该”包括复数对象,术语“或”通常是以包括“和/或”的含义而进行使用的,术语“若干”通常是以包括“至少一个”的含义而进行使用的,术语“至少两个”通常是以包括“两个或两个以上”的含义而进行使用的,此外,术语“第一”、“第二”、“第三”仅用于描述目的,而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此,限定有“第一”、“第二”、“第三”的特征可以明示或者隐含地包括一个或者至少两个该特征,“一端”与“另一端”以及“近端”与“远端”通常是指相对应的两部分,其不仅包括端点,术语“安装”、“相连”、“连接”应做广义理解,例如,可以是固定连接,也可以是可拆卸连接,或成一体;可以是机械连接,也可以是电连接;可以是直接相连,也可以通过中间媒介间接相连,可以是两个元件内部的连通或两个元件的相互作用关系。此外,如在本发明中所使用的,一元件设置于另一元件,通常仅表示两元件之间存在连接、耦合、配合或传动关系,且两元件之间可以是直接的或通过中间元件间接的连接、耦合、配合或传动,而不能理解为指示或暗示两元件之间的空间位置关系,即一元件可以在另一元件的内部、外部、上方、下方或一侧等任意方位,除非内容另外明确指出外。对于本领域的普通技术人员而言,可以根据具体情况理解上述术语在本发明中的具体含义。
本发明的核心思想在于提供一种业务数据处理方法、可读存储介质及计算机设备,以解决现有技术存在的对气象数据的处理速度过慢的问题。
以下参考附图进行描述。
【实施例】
请参考图1至图2,其中,图1是本发明一实施例提供的业务数据处理方法的示意性流程图;图2是本发明一实施例提供的业务数据处理方法的另一示意性流程图。
如图1所示,本实施例提供了一种业务数据处理方法,用于解码BUFR格式的气象数据并将解码结果进行储存,所述气象入库方法包括:
S100预解码阶段,包括:S110接收气象数据;S120根据所述气象数据的基础信息,将所述气象数据拆分为至少一条子数据;S130根据所述基础信息,对所述子数据进行分类,编码格式相同的所述子数据被分为同一类;以及,
S200正式解码阶段,包括:S220根据所述子数据的分类信息,采用至少两个解码方案将所述子数据转化为第一格式,所述解码方案与所述子数据的编码格式相对应;S230将按所述第一格式转化后的所述子数据存入第一数据库。
需理解,所述基础信息,是指用于获得所述子数据分类信息的数据。例如,数据的站点信息,又例如,数据的测量器械信息,又例如,数据的站点信息加上数据的测量器械信息等。所述基础信息的选择可以根据所述气象数据的实际情况进行选择。建议所述基础信息使用如下原则选择:1)选择所有或者大部分的所述气象数据都具有的基本信息,2)选择分类后有利于S220中所述的解码方案编写和实施的数据内容,3)选择能够从所述气象数据的内容中直接读取,或者通过简单的解析过程就能读取的数据内容。需理解,通过上述原则挑选的所述基础信息,具有较优的实施效果,但不应当视为对所述基础信息的限定。另外,所述基础信息可以来源于所述气象数据中的一处,也可以来源于所述气象数据中的多处。所述的拆分过程,是指所述气象数据一般由多条相对独立的所述子数据构成,通过拆分,将数据整理成内容相对独立、数据长度接近的所述子数据。所述解码方案,是指能够针对性解析某一分类下或某几个分类下所述子数据的解码方式,与通用性的解码方案相比,所述解码方案更具有针对性,因此解码效率更高。由于在步骤S130中,已经对所述子数据进行了分类,因此在同一类别中,待处理的所述子数据具有某种共性规律,因此可以基于这种共性规律,开发针对性的解码方案,加速解析过程。所述的共性规律,可能是先前已经与数据记录方提前约定的,或者通过观察分析获得的。所述第一格式,是指便于第一数据库理解以及建立索引的数据格式,可以在设计所述第一数据库具体架构时进行约定,例如,所述第一格式为json格式。
在一个具体实施例中,某次数据入库的过程如下:
S110:接收到所述气象数据如下:{数据自描述信息1,数据段11{A10010},数据段12{B20102},数据段13{C10350}},{数据自描述信息2,数据段21{A10815},数据段22{B20105}};
S120:根据对数据描述内容的解析,得知每一条数据段的第一个字符串代表站点信息,因此将所述气象数据拆分如下:第一子数据{A10010},第二子数据{B20102},第三子数据{C10350},第四子数据{A10815},第五子数据{B20105};
S130:通过各子数据的站点信息,分类为A类{第一子数据{A10010},第四子数据{A10815}},B类{第二子数据{B20102},第五子数据{B20105}},C类{第三子数据{C10350}}
S220:由于A站点的数据,第2~4位为时间信息,第5~6位为温度信息,因此使用第一解码方案对A类子数据进行解析,所述第一解码方案为,直接读取数据的第2~4位并将读取结果保存为时间数据,直接读取数据的第5~6位保存为温度信息;由于B站点的数据,第2~3位为温度信息,第4~6位为时间信息,因此使用第二解码方案对B类子数据进行解析,所述第二解码方案为,直接读取数据的第4~6位并将读取结果保存为时间数据,直接读取数据的第2~3位保存为温度信息;由于C站点的数据,第2~4位为时间信息,第5~6位为湿度信息,因此使用第三解码方案对C类子数据进行解析,所述第三解码方案为,直接读取数据的第2~4位并将读取结果保存为时间数据,直接读取数据的第5~6位保存为温度信息。经过这一步骤,数据被解析为按第一格式转化后的第一子数据{时间:100,温度:10},按第一格式转化后的第二子数据{时间:108,温度:15},按第一格式转化后的第三子数据{时间:102,温度:20},按第一格式转化后的第四子数据{时间:105,温度:20},按第一格式转化后的第五子数据{时间:103,湿度:50}。
S230:在此步骤之后,第一数据库中增加了下列数据:{时间:100,温度:10},{时间:108,温度:15},{时间:102,温度:20},{时间:105,温度:20},{时间:103,湿度:50}。
需理解,上述实施例仅用于说明所述业务数据处理方法的工作原理,在实际工作环境中,所述气象数据、所述子数据、所述解码方案和所述第一格式均远远比上述实施例复杂。在上述实施例中也出现了一些不太符合软件工程规范的描述,例如数据使用了字符串格式而没有使用二进制格式,这是出于方便说明的考虑所做的改动,并且本领域技术人员可以根据上述描述和公知常识进行无误的理解,描述重点主要是为了说明所述业务数据处理方法的设计思想。
综上,图1所示出的业务数据处理方法,将业务数据处理过程拆分为S100预解码阶段和S200正式解码阶段,在S100预解码阶段只识别数据的基本信息不对数据做深度解析,从而减轻了解析压力;在S200正式解码阶段,可以根据预解码阶段获得的分类信息,使用针对性的解码方案,加速了解码过程。与现有技术相比,本发明所提供的方案解析单条数据只需要几毫秒,解码峰值可达每秒万级以上,解决了现有技术中存在的对气象数据的处理速度过慢的问题。
优选地,所述基础信息包括站点数据。前述分析已经提及,所述基础信息的选择,会影响整个方法的效率。选择站点数据作为基础信息,或者作为基础信息的一部分,具有如下有益效果:所有所述气象数据都包含站点数据,便于后续所述子数据的分类;同一个站点的数据格式,往往具有许多共性,便于后续解码方案的针对性设计;站点信息位于所述气象数据的表层,很容易解析,计算资源占用不高。
在一具体实施例中,在将所述子数据进行分类之后,所述预解码阶段还包括,将分类后的所述子数据存入第一kafka缓冲;在将所述子数据转化为第一格式之前,所述正式解码阶段还包括,从所述第一kafka缓冲中获取分类后的所述子数据。也就是说,在该实施例中,所述业务数据处理方法,如图2所示,包括如下步骤:
S100预解码阶段:
S110接收气象数据;
S120根据所述气象数据的基础信息,将所述气象数据拆分为至少一条子数据,编码格式相同的所述子数据被分为同一类;
S130根据所述基础信息,对所述子数据进行分类;
S140将所述子数据存入第一kafka缓冲;
S200正式解码阶段:
S210从第一kafka缓冲中获取所述子数据;
S220根据所述子数据的分类信息,采用至少两个解码方案将所述子数据转化为第一格式,所述解码方案与所述子数据的编码格式相对应;
S230将按所述第一格式转化后的所述子数据存入第一数据库。
如此配置,具有如下有益效果:1)通过kafka缓冲对数据洪峰进行削峰,减缓对所述正式解码阶段的冲击;2)便于所述预解码阶段和所述正式解码阶段的异步运行,充分利用空闲时间;3)便于实现所述正式解码阶段的负载均衡;4)便于服务器集群架构的设计,以及后续单个节点的加入和退出。通过上述有益效果的叠加,进一步增加了数据入库的速度。
优选的,将分类后的所述子数据存入第一kafka缓冲的步骤包括,将分类后的所述子数据存入所述第一kafka缓冲的至少两个分区。通过分区储存的方式,能够提高并发量,进一步提高数据入库的速度。
在一实施例中,使用模板来生成所述解码方案,至少两种所述解码方案具有相同的模板。优选地,用于解码符合国际标准BUFR格式的所述气象数据所的所述子数据的解码方案,使用标准模板生成;用于解码符合中国气象局定义的BUFR格式的所述气象数据所的所述子数据的解码方案,使用自定义模板生成。更进一步的,所述自定义模板由标准模板扩展得到。由于BUFR格式的所述气象数据具有内在的条理性,使用模板来生成至少大部分的所述解码方案存在技术上的可能性。发明人基于对BUFR数据格式的深入理解,发现基于描述符定义,利用BUFR描述符的嵌套性,把数据段的报文抽象成一棵树,使用递归算法层层解析,做成标准模板算法可以解析任何品种的BUFR格式数据。使用模板来生成所述解码方案,大大提升了所述业务数据处理方法的可扩展性,例如,当一种新的格式的气象数据也被要求入库时,若事先未规划好所述解码方案的模板,那么可能有如下潜在方案:1)使用一个已有的通用性的解码方案,那么入库的速度就不够理想;2)由经验丰富的技术人员开发新的针对性的解码方案,该开发过程耗时较长,影响入库需求的实时性,且占用了一名技术人员的工作时间。与上述潜在方案相比,事先规划好所述解码方案的模板,能够实时地响应新的格式的气象数据,具有良好的可扩展性。在一优选的实施例中,所述解码方案通过解码类实现,解码类从设计上也按品种模块划分,打包成jar文件,利用Java的热加载技术动态加载解码类。
通过将解码方案模板化,可以获得如下有益效果:
1)新的结构化产品的上线周期缩短到1天内
2)新的非结构化产品的上线周期缩短到几个小时
3)解码程序开发难度降低,效率提高
优选地,采用分布式数据库技术实现所述S230步骤,如此配置,数据多副本冗余存储,保证数据的高可用性。
在一个较优的实施例中,在将所述气象数据拆分为所述子数据之后,所述预解码阶段还包括,将所述子数据转化为第二格式。所述第二格式,是指便于后续所述解码方案解析的统一的气象资料消息,在一实施例中,所述第二格式包括如下信息:接收时间、接收节点号、资料类别、资料编号、信道编号、消息体、消息大小以及所属文件。尽管第二格式看似包含多个信息,但这些信息都可以直接获取或通过简单的解析过程获取,并不占用太多计算资源,所述消息体就是所述子数据,由于对所述子数据的解析占用的计算资源较大,在转化为所述第二格式的过程中,并未对其进行深入地解析处理,只是简单地对其进行复制和存储,从而节约了时间。需理解,上述实施例只是为了举例说明,在实际实施时,所述第二格式包含的信息既可能包含上述实施例中未提及的某一种数据,也可能不包含上述实施例中提及的某一种数据。上述实施例不应视为对本发明的限定。由于对所述子数据进行了格式转化,包含了丰富的信息,进一步便于后续处理过程选择针对性的解码方案,加速解码过程。
在一具体实施例中,所述业务数据处理方法包括,生成每个步骤的业务日志。这是为了便于设置后续的监控方法,进一步地,可以将生成的所述业务日志发送给负责监控的计算机设备。
优选地,所述业务数据处理方法还包括:
第一监控方法,包括:
将所述业务日志储存于第二kafka缓冲中;
获取第二kafka缓冲中的所述业务日志,进行分析,得到分析结果;
将分析结果存入第二数据库,同时根据预警逻辑将一部分的分析结果发送给监控客户端;以及,
第二监控方法,包括:
根据所述业务查询指令在所述第二数据库中查询信息,并向监控客户端发送查询结果。
在一具体实施例中,为了有效地提高解码入库的性能,获取所述业务日志之后,将所述业务日志都发送到第二kafka的日志队列,通过业务分析器来汇总各个业务节点产生的业务日志,并进行综合的分析。分析结果有两个去向,第一是将其存入第二数据库,便于工作人员的查询,第二是将业务分析的结果提供给业务监控服务,若监控服务发现异常日志,则立刻发送监控信息给监控客户端。相关工作人员可以在收到报警信息后,立刻处理异常,例如重启服务器等。所述监控客户端的形式,包括但不限于PC、报警器、专用的监控设备和/或智能手机。这样的好处是使业务处理的各个环节非常的轻量,同时使各个业务环节的日志流都能统一汇总到分析服务。分析服务可以按照各个纬度进行综合的分析。同时利用了kafka的高效特性,使业务发生的任何状况都能在秒级发现并发送到监控系统,有效地提高了系统对异常的检测和反映能力。在本实施例中,也为工作人员提供了查询历史业务日志的功能,工作人员可以通过业务查询设备对历史业务日志查询,便于发现监控服务无法分辨的问题,以及对整个方法进行持续的改进。
通过设置所述第一监控方法和所述第二监控方法,有效提高了数据入库的稳定性和安全性。
本实施例也提供了一种可读存储介质,存储有程序,所述程序被执行时,实现上述的业务数据处理方法。
本实施例也提供了一种计算机设备,包括上述的可读存储介质和处理器;所述处理器与所述可读存储介质通信连接,所述可读存储介质上的程序被所述处理器执行时,实现上述的业务数据处理方法。
上述可读存储介质以及计算机设备,同样也具有所述业务数据处理方法的有益效果。
需理解,所述计算机设备应广义地理解为一台计算机设备或者至少两台计算机设备组成的计算机集群,所述可读存储介质也应广义地理解为一台计算机设备上的可读存储介质或者计算机集群中至少两台计算机设备中的可读存储介质的集合。
在一个较优的实施例中,采用多台服务器组成服务器集群实现所述S100预解码阶段的方法,如此配置可按需扩展并保证服务的高可用性。采用多路高并发设计来实现所述S200正式解码阶段,每一路均由一台或多台服务器来实现具体的方法,如此配置可支持海量数据的高效解码。
综上所述,本实施例所提供的业务数据处理方法、可读存储介质及计算机设备,具有如下有益效果:
1)有效提高了数据解码的效率;
BUFR产品的解码效率提高到了几毫秒内;
每秒峰值可以解码可达万级以上;
2)有效提高了气象数据产品开发的效率;
新的结构化产品的上线周期缩短到1天内;
新的非结构化产品的上线周期缩短到几个小时;
解码程序开发难度降低,效率提高;
3)有效提高了数据入库的稳定性,安全性,及时性;
数据解码入库实时监控,发生故障自动报警;
数据处理的各个环节均采用高可用架构保证数据和服务的安全可靠;
数据的整个处理过程在几十毫秒内完成;
最主要的,将业务数据处理过程拆分为S100预解码阶段和S200正式解码阶段,在S100预解码阶段只识别数据的基本信息不对数据做深度解析,从而减轻了解析压力;在S200正式解码阶段,可以根据预解码阶段获得的分类信息,使用针对性的解码方案,加速了解码过程。与现有技术相比,本实施例所提供的方案解析单条数据只需要几毫秒,解码峰值可达每秒万级以上,解决了现有技术中存在的对气象数据的处理速度过慢的问题。
上述描述仅是对本发明较佳实施例的描述,并非对本发明范围的任何限定,本发明领域的普通技术人员根据上述揭示内容做的任何变更、修饰,均属于权利要求书的保护范围。

Claims (8)

1.一种业务数据处理方法,用于解码BUFR格式的气象数据并将解码结果进行储存,其特征在于,包括:
预解码阶段,包括:接收气象数据;根据所述气象数据的基础信息,将所述气象数据拆分为至少一条子数据;并根据所述基础信息,对所述子数据进行分类,编码格式相同的所述子数据被分为同一类;将分类后的所述子数据存入第一kafka缓冲;以及,
正式解码阶段,包括:从所述第一kafka缓冲中获取分类后的所述子数据,根据所述子数据的分类信息,采用至少两个解码方案将所述子数据转化为第一格式,所述解码方案与所述子数据的编码格式相对应;并将按所述第一格式转化后的所述子数据存入第一数据库,至少两个所述解码方案具有相同的模板;用于解码符合国际标准BUFR格式的所述气象数据的所述子数据的解码方案,使用标准模板生成;用于解码符合中国气象局定义的BUFR格式的所述气象数据的所述子数据的解码方案,使用自定义模板生成;所述标准模板基于描述符定义,利用BUFR描述符的嵌套性得到;所述自定义模板由所述标准模板扩展得到。
2.根据权利要求1所述的业务数据处理方法,其特征在于,所述基础信息包括站点数据。
3.根据权利要求1所述的业务数据处理方法,其特征在于,将分类后的所述子数据存入第一kafka缓冲的步骤包括,将分类后的所述子数据存入所述第一kafka缓冲的至少两个分区。
4.根据权利要求1所述的业务数据处理方法,其特征在于,在将所述气象数据拆分为所述子数据之后,所述预解码阶段还包括,将所述子数据转化为第二格式。
5.根据权利要求1所述的业务数据处理方法,其特征在于,所述业务数据处理方法还包括,生成每个步骤的业务日志。
6.根据权利要求5所述的业务数据处理方法,其特征在于,所述业务数据处理方法还包括:
第一监控方法,包括:
将所述业务日志储存于第二kafka缓冲中;
获取第二kafka缓冲中的所述业务日志,进行分析,得到分析结果;
将分析结果存入第二数据库,同时根据预警逻辑将一部分的分析结果发送给监控客户端;以及,
第二监控方法,包括:
根据业务查询指令在所述第二数据库中查询信息,并向监控客户端发送查询结果。
7.一种可读存储介质,其特征在于,存储有程序,所述程序被执行时,实现如权利要求1至6中任一项所述的业务数据处理方法。
8.一种计算机设备,其特征在于,包括根据权利要求7所述的可读存储介质和处理器;所述处理器与所述可读存储介质通信连接,所述可读存储介质上的程序被所述处理器执行时,实现如权利要求1至6中任一项所述的业务数据处理方法。
CN202011175975.XA 2020-10-29 2020-10-29 一种业务数据处理方法、可读存储介质及计算机设备 Active CN112000728B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011175975.XA CN112000728B (zh) 2020-10-29 2020-10-29 一种业务数据处理方法、可读存储介质及计算机设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011175975.XA CN112000728B (zh) 2020-10-29 2020-10-29 一种业务数据处理方法、可读存储介质及计算机设备

Publications (2)

Publication Number Publication Date
CN112000728A CN112000728A (zh) 2020-11-27
CN112000728B true CN112000728B (zh) 2021-06-04

Family

ID=73475275

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011175975.XA Active CN112000728B (zh) 2020-10-29 2020-10-29 一种业务数据处理方法、可读存储介质及计算机设备

Country Status (1)

Country Link
CN (1) CN112000728B (zh)

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111103635A (zh) * 2019-12-04 2020-05-05 上海眼控科技股份有限公司 气象数据处理方法、系统、电子设备及存储介质

Also Published As

Publication number Publication date
CN112000728A (zh) 2020-11-27

Similar Documents

Publication Publication Date Title
US8676965B2 (en) Tracking high-level network transactions
CN101997925A (zh) 具有预警功能的服务器监控方法及其系统
CN108038207A (zh) 一种日志数据处理系统、方法和服务器
US20200233650A1 (en) Systems and methods for collecting, monitoring, and analyzing vehicle data from a plurality of vehicles using edge computing
KR102067032B1 (ko) 하이브리드 빅데이터 시스템 기반 데이터 처리 방법 및 시스템
CN111259073A (zh) 基于日志、流量和业务访问的业务系统运行状态智能研判系统
CN109800259A (zh) 数据采集方法、装置及终端设备
CN115757483A (zh) 一种自动化测试方法、装置、电子设备和存储介质
CN110769002A (zh) 基于LabVIEW的报文解析方法、系统、电子设备和介质
CN113220756A (zh) 物流数据实时处理方法、装置、设备及存储介质
CN110502538A (zh) 画像标签生成逻辑映射的方法、系统、设备及存储介质
CN112235262A (zh) 报文的解析方法、装置、电子设备及计算机可读存储介质
CN116303560A (zh) 一种面向飞行数据的并行数据解析方法
CN111753070A (zh) 一种服务器监控日志处理的系统和方法
CN112000728B (zh) 一种业务数据处理方法、可读存储介质及计算机设备
CN112231320B (zh) 基于MapReduce算法的web数据采集方法、系统和存储介质
CN114090529A (zh) 一种日志管理方法、装置、系统和存储介质
CN113312321A (zh) 一种业务量的异常监测方法及相关设备
CN115017218B (zh) 分布式调用链的处理方法及装置、存储介质、电子设备
CN114157732B (zh) 一种大中型固定翼无人机遥测数据解析方法及系统
CN112579552A (zh) 日志存储及调用方法、装置及系统
CN115757427A (zh) 一种航天器测试数据的存储方法和软件
CN117014527A (zh) 数据处理方法、装置、存储介质及电子设备
CN114201659A (zh) 一种消息轨迹传输查询方法、装置及系统
CN114003602A (zh) 电网监测数据处理系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant