CN112069773A - 数据处理系统、方法、装置、电子设备和计算机可读介质 - Google Patents

数据处理系统、方法、装置、电子设备和计算机可读介质 Download PDF

Info

Publication number
CN112069773A
CN112069773A CN202010719038.XA CN202010719038A CN112069773A CN 112069773 A CN112069773 A CN 112069773A CN 202010719038 A CN202010719038 A CN 202010719038A CN 112069773 A CN112069773 A CN 112069773A
Authority
CN
China
Prior art keywords
target
data
dictionary
data format
original
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
CN202010719038.XA
Other languages
English (en)
Inventor
周磊
介国博
李超
王大川
毛宁祥
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Sankuai Online Technology Co Ltd
Original Assignee
Beijing Sankuai Online Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Sankuai Online Technology Co Ltd filed Critical Beijing Sankuai Online Technology Co Ltd
Priority to CN202010719038.XA priority Critical patent/CN112069773A/zh
Publication of CN112069773A publication Critical patent/CN112069773A/zh
Withdrawn legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00Handling natural language data
    • G06F40/10Text processing
    • G06F40/12Use of codes for handling textual entities
    • G06F40/126Character encoding
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00Handling natural language data
    • G06F40/20Natural language analysis
    • G06F40/237Lexical tools
    • G06F40/242Dictionaries
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00Network arrangements or protocols for supporting network services or applications
    • H04L67/50Network services
    • H04L67/55Push-based network services

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Computational Linguistics (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • General Health & Medical Sciences (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Signal Processing (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本申请实施例公开了数据处理系统、方法、装置、电子设备和计算机可读介质。该系统包括配置管理设备、数据推送服务器和字典服务器,配置管理设备用于存储字典的配置信息;数据推送服务器用于在接收到待添加至目标字典的目标数据时,将目标数据发送至用于维护目标字典的字典服务器;字典服务器用于实时检测配置管理设备中的目标字典的配置信息是否发生变更;在未发生变更时,采用原始数据格式将目标数据序列化至目标字典中;在发生变更时,基于变更后的配置信息创建目标数据格式,并采用目标数据格式将目标数据序列化至目标字典中。从而在字典结构变更时不需要修改代码或者重启服务,实现了字典结构变化时新老数据兼容。

Description

数据处理系统、方法、装置、电子设备和计算机可读介质
技术领域
本申请实施例涉及计算机技术领域,具体涉及数据处理系统、方法、装置、电子设备和计算机可读介质。
背景技术
字典是计算机内存中存储的一种key-value(关键字-值)数据结构,用于进行数据存储。通常,每新增一条数据,需要先将该数据转化为自定义的数据格式,而后插入到字典中。
现有技术中,在需要更改字典的表结构时,如增加字段、删除字段、修改字段时,需要技术人员重新更改字典的代码,并重新启动字典服务器,才能使修改后的字典生效。若不进行代码修改,则无法存储采用新的表结构的数据。由此,这种方式开发成本较高,同时还存在字典无法同时兼容新老数据的问题。
发明内容
本申请实施例提出了数据处理方法、装置、电子设备和计算机可读介质,以在降低开发成本的同时,实现了字典结构变化时新老数据兼容。
第一方面,本申请实施例提供了一种数据处理系统,包括:配置管理设备,用于存储字典的配置信息;数据推送服务器,用于在接收到待添加至目标字典的目标数据时,将所述目标数据发送至用于维护所述目标字典的字典服务器;所述字典服务器,用于实时检测所述配置管理设备中的所述目标字典的配置信息是否发生变更;在未发生变更时,采用原始数据格式将所述目标数据序列化至所述目标字典中;在发生变更时,基于变更后的配置信息创建目标数据格式,并采用所述目标数据格式将所述目标数据序列化至所述目标字典中。
第二方面,本申请实施例提供了一种数据处理方法,该方法包括:实时检测目标字典的配置信息是否发生变更;在所述配置信息未发生变更时,采用原始数据格式将所述目标数据序列化至所述目标字典中;在所述配置信息发生变更时,基于变更后的配置信息创建目标数据格式,并采用所述目标数据格式将所述目标数据序列化至所述目标字典中。
第三方面,本申请实施例提供了一种数据处理装置,该装置包括:检测单元,被配置成实时检测目标字典的配置信息是否发生变更;第一序列化单元,被配置成在所述配置信息未发生变更时,采用原始数据格式将所述目标数据序列化至所述目标字典中;第二序列化单元,被配置成在所述配置信息发生变更时,基于变更后的配置信息创建目标数据格式,并采用所述目标数据格式将所述目标数据序列化至所述目标字典中。
第四方面,本申请实施例提供了一种电子设备,包括:一个或多个处理器;存储装置,其上存储有一个或多个程序,当所述一个或多个程序被所述一个或多个处理器执行,使得所述一个或多个处理器实现如上述数据处理方法。
第五方面,本申请实施例提供了一种计算机可读介质,其上存储有计算机程序,该程序被处理器执行时实现如上述数据处理方法。
本申请实施例提供的数据处理系统、方法、装置、电子设备和计算机可读介质,通过字典服务器实时检测配置管理设备中的目标字典的配置信息是否发生变更,在配置信息未发生变更时,采用原始数据格式将数据推送服务器推送的目标数据序列化至目标字典中,并在配置信息发生变更时,基于变更后的配置信息创建目标数据格式,采用目标数据格式将目标数据序列化至目标字典中,从而能够使针对字典的配置实时生效。在字典结构变更时通过创建新的目标数据格式来进行数据存储,可同时存储原始数据格式以及目标数据格式的数据,此过程无需人工修改字典代码,降低了开发成本,同时实现了字典结构变化时新老数据兼容。
附图说明
通过阅读参照以下附图所作的对非限制性实施例所作的详细描述,本申请的其它特征、目的和优点将会变得更明显:
图1是本申请实施例的一种数据处理系统的示例性系统架构图;
图2是本申请实施例的一个应用场景的示意图;
图3是本申请的数据处理方法的一个实施例的流程图;
图4是本申请的数据处理装置的一个实施例的结构示意图;
图5是用于实现本申请实施例的电子设备的计算机系统的结构示意图。
具体实施方式
下面结合附图和实施例对本申请作进一步的详细说明。可以理解的是,此处所描述的具体实施例仅仅用于解释相关发明,而非对该发明的限定。另外还需要说明的是,为了便于描述,附图中仅示出了与有关发明相关的部分。
需要说明的是,在不冲突的情况下,本申请中的实施例及实施例中的特征可以相互组合。下面将参考附图并结合实施例来详细说明本申请。
图1示出了可以应用本申请的数据处理系统的实施例的示例性系统架构100。
如图1所示,系统架构100可以包括配置管理设备101、推送服务器102和字典服务器103。
配置管理设备101、推送服务器102和字典服务器103可以是硬件,也可以是软件。当配置管理设备101、推送服务器102和字典服务器103为硬件时,可以分别实现成多个服务器组成的分布式服务器集群,也可以分别实现成单个服务器。当配置管理设备101、推送服务器102和字典服务器103为软件时,可以分别实现成多个软件或软件模块(例如用来提供分布式服务),也可以分别实现成单个软件或软件模块。在此不做具体限定。
配置管理设备101,用于存储字典的配置信息。此处的字典可以是一个或多个。用户可与配置管理设备101进行交互,以进行配置信息的添加和变更等。其中,字典是计算机内存中存储的一种key-value(关键字-值)数据结构,用于进行数据存储。每存入一条数据,字典中则增加一条记录。
此处,配置信息可用于配置字典的表结构。不同的表结构可对应不同的数据格式,因而不同的配置信息可配置不同的数据格式。数据格式可以是描述数据保存在文件或记录中的规则。作为示例,数据格式可规定数据以二进制形式存储。具体为:第1个字节至第a个字节表示字段个数;第a+1个字节至第b个字节表示字段A的名称;第b+1个字节至第c个字节表示字段A的数据类型;第c+1个字节至第d个字节表示MD5(Message Digest Algorithm 5,消息摘要算法第5版)码;第d+1个字节至第e个字节表示数据格式标识。其中,a、b、c、d、e均为正整数。
此处,数据格式标识可以是数据格式文件(如mata文件)的版本或名称等。每一个数据格式文件可对应一个数据格式标识,如标识可分别为meta1、meta2、meta3、meta4等。字典的数据格式可在数据格式文件中被定义。
此处,每一个字典的数据格式文件可以包含至少一个。在字典的表结构未发生变更时,通常存在一个数据格式文件。当字典的表结构更新(如增加字段、删除字段)时中的字段更新时,可同时存在至少两个数据格式文件,使字典支持至少两种数据格式,以实现新老数据兼容。
数据推送服务器102,用于在接收到待添加至目标字典的目标数据时,将目标数据发送至用于维护目标字典的字典服务器。其中,目标字典可以是字典服务器中所维护的任一字典,且该字典的配置信息可存储于配置管理设备101中。
推送服务器102可维护有一个基于发布/订阅模式的消息队列(Message Queue)。消息生产者(producer)可将消息发布到主题(topic)中。推送服务器102可将所接收到的消息分发至订阅该消息的topic的消费者(consumer)。
需要说明的是,配置管理设备101还可以存储有topic与字典的关联关系。推送服务器102可以与配置管理设备101交互,以与各个topic关联的字典,从而将某topic中的消息推送给维护有该topic关联的字典的字典服务器。
字典服务器103,用于实时检测配置管理设备101中的目标字典的配置信息是否发生变更。在目标字典的配置信息未发生变更时,采用原始数据格式将目标数据序列化至目标字典中;在目标字典的配置信息发生变更时,基于变更后的配置信息创建目标数据格式,并采用目标数据格式将目标数据序列化至目标字典中。
通常情况下,目标字典仅存在一种数据格式,即原始数据格式。由于目标字典的配置信息可用于配置目标字典的数据格式,因而在目标字典的配置信息未发生变更时,目标字典的数据格式为原始数据格式。
当目标字典的配置信息发生变更时,则字典的表结构发生了变更(如新增了字段、删除了字段或修改了字段)。此时,基于变更后的配置信息创建目标数据格式,能够使目标字典同时存在多个数据格式文件(即同时存在原始数据格式和目标数据格式),从而可在接收到待存储至目标字典的数据时,使该数据采用目标数据格式进行存储。由此,支持了字典表结构的动态变更,实现了字典结构变化时新老数据兼容。
此处,序列化(Serialization)是将对象的状态信息转换为可以存储或传输的形式的过程。在序列化期间,对象将其当前状态写入到临时或持久性存储区。以后,可以通过从存储区中读取或反序列化对象的状态,重新创建该对象。序列化能够在传递和保存对象时,保证对象的完整性和可传递性。通过序列化将目标数据转换为二进制形式存储,能够提高节省内存空间,提高数据读写速度。
可选的,字典服务器103可进一步用于对目标字典中采用原始数据格式的数据进行计数。响应于计数结果为零,删除原始数据格式。可以理解的是,计数结果为零时,可表示原始数据格式不再被使用,此时目标字典中的老数据(即采用原始数据格式的数据)全部被更新,原始数据格式无需存在,因而可将其删除。此时的目标字典中的数据均采用新数据格式。
应当理解的是,当目标字典中的数据均采用新数据格式时,若检测到目标字典的配置信息再次变更,则可执行基于再次变更后的配置信息创建新的数据格式,并采用新的数据格式将后续接收到的数据序列化至目标字典中。从而,实现目标字典表结构的动态更新。
可选的,原始数据格式中规定有原始字段类型。原始字段即为原始数据格式规定的字段,原始字段类型即为原始字段的数据类型。例如,原始数据格式规定第1个字节至第a个字节表示字段个数;第a+1个字节至第b个字节表示字段A的名称;第b+1个字节至第c个字节表示字段A的数据类型;第c+1个字节至第d个字节表示MD5(Message Digest Algorithm5,消息摘要算法第5版)码;第d+1个字节至第e个字节表示数据格式标识。则原始字段类型即为字段A的类型。此处的类型可以是int、char等。
此处,每一种原始字段类型可对应一个预先创建的序列化函数。序列化函数可用于对数据进行序列化。不同原始字段类型可对应不同的序列化函数。字典服务器103,可进一步用于在目标字典的配置信息未发生变更时,调用原始字段类型对应的原始序列化函数,将上述目标数据中的字段值序列化至上述目标字典中。
可选的,字典服务器103,可进一步用于在目标字典的配置信息发生变更时,检测基于变更的配置信息所创建的目标数据格式中是否包括除原始字段类型之外的新增字段类型。若包含新增字段类型,则创建与新增字段类型对应的序列化函数,并通过所创建的序列化函数和上述原始序列化函数,将上述目标数据中的字段值序列化至上述目标字典中。
具体地,若目标数据格式中包括除原始字段类型之外的新增字段类型,则可使用创建的序列化函数对目标数据中的新增字段的字段值进行序列化。复用原始序列化函数对目标数据中的原始字段的字段值进行序列化。
下面举一具体示例进行说明,原始数据格式(可记为meta1)规定的内容如上述示例。目标数据格式(可记为meta2)规定如下:第1个字节至第a个字节表示字段个数;第a+1个字节至第b个字节表示字段A的名称;第b+1个字节至第c个字节表示字段A的数据类型;第c+1个字节至第d个字节表示字段B的名称;第d+1个字节至第e个字节表示字段B的数据类型;第e+1个字节至第f个字节表示MD5码;第f+1个字节至第g个字节表示数据格式标识。其中,f和g均为正整数。
由此,原始字段即为字段A,新增字段即为字段B。若字段B的数据类型与字段A的数据类型不同(如字段A的类型为int类型,字段B的类型为char类型),则字段B的数据类型即为新增字段类型。
此时,对于目标数据中的字段A对应的字段值,可复用int类型对应的序列化函数进行序列化。对于目标数据中的字段B对应的字段值,可创建针对char类型的序列化函数,并使用该序列化函数对目标数据中的字段B对应的字段值进行序列化。
实践中,对序列化函数的复用可通过反射机制实现。反射机制是一种在运行时(runtime)动态获取以及动态调用信息(包括类的属性和方法、对象的方法等)的方法。每一种字段类型的名称可与一个序列化函数关联,后续处理数据时能够直接根据数据类型反射调用序列化函数。
通过设定不同的序列化函数进行不同类型的字段值的序列化,可实现对序列化函数的复用,从而提高数据存储效率。
可选的,字典服务器103,可进一步用于在检测到配置管理设备101中存在新增字典的配置信息时,创建新增字典,并基于上述新增字典的配置信息创建上述新增字典的数据格式。响应于接收到待添加至上述新增字典的数据,采用上述新增字典的数据格式,将待添加至上述新增字典的数据序列化至上述新增字典中。
需要说明的是,在将新增字典的数据序列化至上述新增字典中时,也可检测新增字典的数据格式所规定的字段类型。从而复用该字段类型对应的序列化函数,对数据中的字段值进行序列化。
可选的,字典服务器103,可进一步用于在在接收到数据获取请求时,确定数据获取请求所指示的目标序列化数据以及目标序列化数据关联的数据格式。而后,调用目标序列化数据关联的数据格式中的各字段类型对应的反序列化函数;通过所调用的反序列化函数对目标序列化数据进行反序列化,得到原始数据。
作为示例,目标序列化数据关联的数据格式为meta2,meta2中规定有字段A的数据类型和字段B的数据类型,且字段A的数据类型与字段B的数据类型不同。此时,可调用与字段A的数据类型对应的反序列化函数对目标序列化数据中的字段A的二进制字段值进行反序列化,并调用与字段B的数据类型对应的反序列化函数对目标序列化数据中的字段B的二进制字段值进行反序列化,从而得到字段A的原始字段值和字段B的原始字段值。
请参见图2,图2是本申请实施例的一个应用场景的示意图。配置管理设备可用于存储多个字典的配置信息。用户可与配置管理设备进行交互,以进行配置信息的设置、添加、更新等。
数据推送服务器可维护有一个基于发布/订阅模式的消息队列。消息生产者可将消息发布到主题(如topic A、topic B或topic C)中,字典服务器可订阅topic C,从而数据推送服务器在获取到topic C中的数据后,可由字典服务器从topic C中获取到该数据。
配置管理设备还可存储与字典相关的其他信息(如topic与字典的关联关系等)。数据推送服务器可与配置管理设备交互,以确定各个topic关联的字典。
字典服务器可维护有字典1和字典2。字典服务器可实时检测配置管理设备中的字典1和字典2的配置信息是否发生变更。如图2所示,在字典1的配置信息发生变更前,字典1的原始数据格式有为meta1,原始的数据1采用meta1格式存储。在字典1的配置信息发生变更时,可创建目标数据格式meta2。对于在字典1的配置信息发生变更后所接收到的数据2,可采用meta2格式存储。使字典中的新老数据实时动态生效,此过程无需人工修改字典代码,在降低开发成本的同时,实现了字典结构变化时新老数据兼容。同理,字典2的数据格式有meta3和meta4,此处不再赘述。
其中,meta1格式规定的字段包括字段A,meta2格式规定的字段包括字段B。字段A的数据类型(如图2中的“字段A类型”)和字段B的数据类型(如图2中的“字段B类型”)不同。字段A类型和字段B类型分别对应有不同的函数,可包括但不限于序列化函数、反序列化函数等。在存储数据1和数据2时,可采用相应的字段类型对应的函数进行序列化处理。从而实现函数复用,以提高数据存储效率。
本申请实施例提供的数据处理系统,通过字典服务器实时检测配置管理设备中的目标字典的配置信息是否发生变更,在配置信息未发生变更时,采用原始数据格式将数据推送服务器推送的目标数据序列化至目标字典中,并在配置信息发生变更时,基于变更后的配置信息创建目标数据格式,采用目标数据格式将目标数据序列化至目标字典中,从而能够使针对字典的配置实时生效。在字典结构变更时通过创建新的目标数据格式来进行数据存储,可同时存储原始数据格式以及目标数据格式的数据,此过程无需人工修改字典代码,降低了开发成本,同时实现了字典结构变化时新老数据兼容。
请参考图3,其示出了根据本申请的数据处理方法的一个实施例的流程300。该数据处理方法,包括以下步骤:
步骤301,实时检测目标字典的配置信息是否发生变更。
在本实施例中,数据处理方法的执行主体(如图1所示的字典服务器103)。实时检测目标字典的配置信息是否发生变更。其中,配置信息用于配置目标字典的表结构。不同的表结构可对应不同的数据格式,因而不同的配置信息可配置不同的数据格式。配置信息可存储于配置管理设备(如图1所示的配置管理设备101中)。
步骤302,在配置信息未发生变更时,采用原始数据格式将目标数据序列化至目标字典中。
在本实施例中,在配置信息未发生变更时,上述执行主体可以采用原始数据格式将目标数据序列化至目标字典中。此处的目标数据可由数据推送服务器(如图1所示的数据推送服务器102)获取并推送至上述执行主体。也可以由上述执行主体从上述数据推送服务器中拉取。
通常情况下(即字典的表结构未发生变更的情况下),目标字典仅存在一种数据格式,即原始数据格式。由于目标字典的配置信息可用于配置目标字典的数据格式,因而在目标字典的配置信息未发生变更时,目标字典的数据格式为原始数据格式。
在本实施例的一些可选的实现方式中,原始数据格式中规定有原始字段类型。原始字段即为原始数据格式规定的字段,原始字段类型即为原始字段的数据类型。每一种原始字段类型可对应一个预先创建的序列化函数。序列化函数可用于对数据进行序列化。不同原始字段类型可对应不同的序列化函数。上述执行主体可以在目标字典的配置信息未发生变更时,调用原始字段类型对应的原始序列化函数,将上述目标数据中的字段值序列化至上述目标字典中。
步骤303,在配置信息发生变更时,基于变更后的配置信息创建目标数据格式,并采用目标数据格式将目标数据序列化至目标字典中。
在本实施例中,当字典的配置信息发生变更,则字典的表结构产生了更新,如新增了字段、删除了字段或修改了字段等。此时,上述执行主体可基于变更后的配置信息创建目标数据格式,使目标字典同时存在多个数据格式文件(即同时存在原始数据格式和目标数据格式),从而可在接收到待存储至目标字典的数据时,使该数据采用目标数据格式进行存储。
通过创建目标数据格式,能够支持字典表结构的动态变更,实现了字典结构变化时新老数据兼容。
通过将目标数据序列化,能够在传递和保存对象时,保证对象的完整性和可传递性。此外,通过序列化将目标数据转换为二进制形式存储,能够提高节省内存空间,提高数据读写速度。
在本实施例的一些可选的实现方式中,上述执行主体可以在目标字典的配置信息发生变更时,可以检测基于变更的配置信息所创建的目标数据格式中是否包括除原始字段类型之外的新增字段类型。若包含新增字段类型,则创建与新增字段类型对应的序列化函数,并通过所创建的序列化函数和上述原始序列化函数,将上述目标数据中的字段值序列化至上述目标字典中。
具体地,若目标数据格式中包括除原始字段类型之外的新增字段类型,则可使用创建的序列化函数对目标数据中的新增字段的字段值进行序列化。复用原始序列化函数对目标数据中的原始字段的字段值进行序列化。实践中,对序列化函数的复用可通过反射机制实现。反射机制是一种在运行时动态获取以及动态调用信息(包括类的属性和方法、对象的方法等)的方法。每一种字段类型的名称可与一个序列化函数关联,后续处理数据时能够直接根据数据类型反射调用序列化函数。
通过设定不同的序列化函数进行不同类型的字段值的序列化,可实现对序列化函数的复用,从而提高数据存储效率。
在本实施例的一些可选的实现方式中,上述执行主体可以在检测到新增字典的配置信息时,创建新增字典,并基于上述新增字典的配置信息创建上述新增字典的数据格式。响应于接收到待添加至上述新增字典的数据,可以采用新增字典的数据格式,将待添加至新增字典的数据序列化至新增字典中。在将新增字典的数据序列化至新增字典中时,也可检测新增字典的数据格式所规定的字段类型。从而复用该字段类型对应的序列化函数,对数据中的字段值进行序列化。
在本实施例的一些可选的实现方式中,上述执行主体还可以在接收到数据获取请求时,确定数据获取请求所指示的目标序列化数据以及目标序列化数据关联的数据格式。而后,调用目标序列化数据关联的数据格式中的各字段类型对应的反序列化函数;通过所调用的反序列化函数对目标序列化数据进行反序列化,得到原始数据。
作为示例,目标序列化数据关联的数据格式为meta2,meta2中规定有字段A的数据类型和字段B的数据类型,且字段A的数据类型与字段B的数据类型不同。此时,可调用与字段A的数据类型对应的反序列化函数对目标序列化数据中的字段A的二进制字段值进行反序列化,并调用与字段B的数据类型对应的反序列化函数对目标序列化数据中的字段B的二进制字段值进行反序列化,从而得到字段A的原始字段值和字段B的原始字段值。
在本实施例的一些可选的实现方式中,上述执行主体还可以对目标字典中采用原始数据格式的数据进行计数。响应于计数结果为零,删除原始数据格式。可以理解的是,计数结果为零时,可表示原始数据格式不再被使用,此时目标字典中的老数据(即采用原始数据格式的数据)全部被更新,原始数据格式无需存在,因而可将其删除。此时的目标字典中的数据均采用新数据格式。
应当理解的是,当目标字典中的数据均采用新数据格式时,若检测到目标字典的配置信息再次变更,则可执行基于再次变更后的配置信息创建新的数据格式,并采用新的数据格式将后续接收到的数据序列化至目标字典中。从而,实现目标字典表结构的动态更新。
本实施例各步骤与上述实施例对应步骤描述类似,具体可参见上述实施例的描述。
本申请的上述实施例提供的方法,通过字典服务器实时检测配置管理设备中的目标字典的配置信息是否发生变更,在配置信息未发生变更时,采用原始数据格式将数据推送服务器推送的目标数据序列化至目标字典中,并在配置信息发生变更时,基于变更后的配置信息创建目标数据格式,采用目标数据格式将目标数据序列化至目标字典中,从而能够使针对字典的配置实时生效。在字典结构变更时通过创建新的目标数据格式来进行数据存储,可同时存储原始数据格式以及目标数据格式的数据,此过程无需人工修改字典代码,降低了开发成本,同时实现了字典结构变化时新老数据兼容。
进一步参考图4,作为对上述各图所示方法的实现,本申请提供了一种数据处理装置的一个实施例,该装置实施例与图1所示的方法实施例相对应,该装置具体可以应用于各种电子设备中。
如图4所示,本实施例上述的数据处理装置400包括:检测单元401,被配置成实时检测目标字典的配置信息是否发生变更;第一序列化单元402,被配置成在上述配置信息未发生变更时,采用原始数据格式将上述目标数据序列化至上述目标字典中;第二序列化单元403,被配置成在上述配置信息发生变更时,基于变更后的配置信息创建目标数据格式,并采用上述目标数据格式将上述目标数据序列化至上述目标字典中。
在本实施例的一些可选的实现方式中,上述装置还包括:计数单元,被配置成对上述目标字典中采用上述原始数据格式的数据进行计数;删除单元,被配置成响应于计数结果为零,删除上述原始数据格式。
在本实施例的一些可选的实现方式中,上述原始数据格式中包括原始字段类型;以及,上述第一序列化单元402,进一步被配置成:采用原始数据格式将上述目标数据序列化至上述目标字典中,包括:调用上述原始字段类型对应的原始序列化函数;通过所调用的原始序列化函数,将上述目标数据中的字段值序列化至上述目标字典中。
在本实施例的一些可选的实现方式中,上述第二序列化单元403,进一步被配置成:检测目标数据格式中是否包括除上述原始字段类型之外的新增字段类型;响应于包括上述新增字段类型,创建与上述新增字段类型对应的序列化函数,并通过所创建的序列化函数和上述原始序列化函数,将上述目标数据中的字段值序列化至上述目标字典中。
在本实施例的一些可选的实现方式中,上述装置还包括:确定单元,被配置成响应于接收到数据获取请求,确定上述数据获取请求所指示的目标序列化数据以及上述目标序列化数据关联的数据格式;调用单元,被配置成调用上述目标序列化数据关联的数据格式中的各字段类型对应的反序列化函数;反序列化单元,被配置成通过所调用的反序列化函数对上述目标序列化数据进行反序列化,得到原始数据。
本申请的上述实施例提供的装置,通过字典服务器实时检测配置管理设备中的目标字典的配置信息是否发生变更,在配置信息未发生变更时,采用原始数据格式将数据推送服务器推送的目标数据序列化至目标字典中,并在配置信息发生变更时,基于变更后的配置信息创建目标数据格式,采用目标数据格式将目标数据序列化至目标字典中,从而能够使针对字典的配置实时生效。在字典结构变更时通过创建新的目标数据格式来进行数据存储,可同时存储原始数据格式以及目标数据格式的数据,此过程无需人工修改字典代码,降低了开发成本,同时实现了字典结构变化时新老数据兼容。
下面参考图5,其示出了适于用来实现本申请实施例的电子设备的计算机系统500的结构示意图。图5示出的电子设备仅仅是一个示例,不应对本申请实施例的功能和使用范围带来任何限制。
如图5所示,计算机系统500包括中央处理单元(CPU)501,其可以根据存储在只读存储器(ROM)502中的程序或者从存储部分508加载到随机访问存储器(RAM)503中的程序而执行各种适当的动作和处理。在RAM 503中,还存储有系统500操作所需的各种程序和数据。CPU501、ROM 502以及RAM 503通过总线504彼此相连。输入/输出(I/O)接口505也连接至总线504。
以下部件连接至I/O接口505:包括键盘、鼠标等的输入部分506;包括诸如液晶显示器(LCD)等以及扬声器等的输出部分507;包括硬盘等的存储部分508;以及包括诸如LAN卡、调制解调器等的网络接口卡的通信部分509。通信部分509经由诸如因特网的网络执行通信处理。驱动器510也根据需要连接至I/O接口505。可拆卸介质511,诸如磁盘、光盘、磁光盘、半导体存储器等等,根据需要安装在驱动器510上,以便于从其上读出的计算机程序根据需要被安装入存储部分508。
特别地,根据本公开的实施例,上文参考流程图描述的过程可以被实现为计算机软件程序。例如,本公开的实施例包括一种计算机程序产品,其包括承载在计算机可读介质上的计算机程序,该计算机程序包含用于执行流程图所示的方法的程序代码。在这样的实施例中,该计算机程序可以通过通信部分509从网络上被下载和安装,和/或从可拆卸介质511被安装。在该计算机程序被中央处理单元(CPU)501执行时,执行本申请的方法中限定的上述功能。需要说明的是,本申请所述的计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质或者是上述两者的任意组合。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件,或者任意以上的组合。计算机可读存储介质的更具体的例子可以包括但不限于:具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机访问存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本申请中,计算机可读存储介质可以是任何包含或存储程序的有形介质,该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。而在本申请中,计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号,其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式,包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读介质,该计算机可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。计算机可读介质上包含的程序代码可以用任何适当的介质传输,包括但不限于:无线、电线、光缆、RF等等,或者上述的任意合适的组合。
附图中的流程图和框图,图示了按照本申请各种实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上,流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分,该模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意,在有些作为替换的实现中,方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如,两个接连地表示的方框实际上可以基本并行地执行,它们有时也可以按相反的顺序执行,这依所涉及的功能而定。也要注意的是,框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合,可以用执行规定的功能或操作的专用的基于硬件的系统来实现,或者可以用专用硬件与计算机指令的组合来实现。
描述于本申请实施例中所涉及到的单元可以通过软件的方式实现,也可以通过硬件的方式来实现。所描述的单元也可以设置在处理器中,其中,这些单元的名称在某种情况下并不构成对该单元本身的限定。
作为另一方面,本申请还提供了一种计算机可读介质,该计算机可读介质可以是上述实施例中描述的装置中所包含的;也可以是单独存在,而未装配入该装置中。上述计算机可读介质承载有一个或者多个程序,当上述一个或者多个程序被该装置执行时,使得该装置:实时检测目标字典的配置信息是否发生变更,所述配置信息用于配置所述目标字典的数据格式;在所述配置信息未发生变更时,采用原始数据格式将所述目标数据序列化至所述目标字典中;在所述配置信息发生变更时,基于变更后的配置信息创建目标数据格式,并采用所述目标数据格式将所述目标数据序列化至所述目标字典中。
以上描述仅为本申请的较佳实施例以及对所运用技术原理的说明。本领域技术人员应当理解,本申请中所涉及的发明范围,并不限于上述技术特征的特定组合而成的技术方案,同时也应涵盖在不脱离上述发明构思的情况下,由上述技术特征或其等同特征进行任意组合而形成的其它技术方案。例如上述特征与本申请中公开的(但不限于)具有类似功能的技术特征进行互相替换而形成的技术方案。

Claims (14)

1.一种数据处理系统,其特征在于,包括:
配置管理设备,用于存储字典的配置信息;
数据推送服务器,用于在接收到待添加至目标字典的目标数据时,将所述目标数据发送至用于维护所述目标字典的字典服务器;
所述字典服务器,用于实时检测所述配置管理设备中的所述目标字典的配置信息是否发生变更;在未发生变更时,采用原始数据格式将所述目标数据序列化至所述目标字典中;在发生变更时,基于变更后的配置信息创建目标数据格式,并采用所述目标数据格式将所述目标数据序列化至所述目标字典中。
2.根据权利要求1所述的系统,其特征在于,所述字典服务器,进一步用于对所述目标字典中采用所述原始数据格式的数据进行计数;响应于计数结果为零,删除所述原始数据格式。
3.根据权利要求1所述的系统,其特征在于,所述原始数据格式中规定有原始字段类型;以及,
所述字典服务器,进一步用于在所述目标字典的配置信息未发生变更时,调用所述原始字段类型对应的原始序列化函数,通过所调用的原始序列化函数将所述目标数据中的字段值序列化至所述目标字典中。
4.根据权利要求3所述的系统,其特征在于,所述字典服务器,进一步用于在所述目标数据格式中规定有除所述原始字段类型之外的新增字段类型时,创建与所述新增字段类型对应的序列化函数,并通过所创建的序列化函数和所述原始序列化函数,将所述目标数据中的字段值序列化至所述目标字典中。
5.根据权利要求1所述的系统,其特征在于,所述字典服务器,进一步用于在检测到所述配置管理设备中存在新增字典的配置信息时,创建新增字典,并基于所述新增字典的配置信息创建所述新增字典的数据格式;响应于接收到待添加至所述新增字典的数据,采用所述新增字典的数据格式,将待添加至所述新增字典的数据序列化至所述新增字典中。
6.根据权利要求1所述的系统,其特征在于,所述字典服务器,进一步用于在接收到数据获取请求时,确定所述数据获取请求所指示的目标序列化数据以及所述目标序列化数据关联的数据格式;调用所述目标序列化数据关联的数据格式中的各字段类型对应的反序列化函数;通过所调用的反序列化函数对所述目标序列化数据进行反序列化,得到原始数据。
7.一种数据处理方法,其特征在于,所述方法包括:
实时检测目标字典的配置信息是否发生变更;
在所述配置信息未发生变更时,采用原始数据格式将所述目标数据序列化至所述目标字典中;
在所述配置信息发生变更时,基于变更后的配置信息创建目标数据格式,并采用所述目标数据格式将所述目标数据序列化至所述目标字典中。
8.根据权利要求7所述的方法,其特征在于,所述方法还包括:
对所述目标字典中采用所述原始数据格式的数据进行计数;
响应于计数结果为零,删除所述原始数据格式。
9.根据权利要求7所述的方法,其特征在于,所述原始数据格式中包括原始字段类型;以及,
采用原始数据格式将所述目标数据序列化至所述目标字典中,包括:
调用所述原始字段类型对应的原始序列化函数;
通过所调用的原始序列化函数,将所述目标数据中的字段值序列化至所述目标字典中。
10.根据权利要求9所述的方法,其特征在于,所述采用所述目标数据格式将所述目标数据序列化至所述目标字典中,包括:
检测目标数据格式中是否包括除所述原始字段类型之外的新增字段类型;
响应于包括所述新增字段类型,创建与所述新增字段类型对应的序列化函数,并通过所创建的序列化函数和所述原始序列化函数,将所述目标数据中的字段值序列化至所述目标字典中。
11.根据权利要求1所述的方法,其特征在于,所述方法还包括:
响应于接收到数据获取请求,确定所述数据获取请求所指示的目标序列化数据以及所述目标序列化数据关联的数据格式;
调用所述目标序列化数据关联的数据格式中的各字段类型对应的反序列化函数;
通过所调用的反序列化函数对所述目标序列化数据进行反序列化,得到原始数据。
12.一种数据处理装置,其特征在于,所述装置包括:
检测单元,被配置成实时检测目标字典的配置信息是否发生变更;
第一序列化单元,被配置成在所述配置信息未发生变更时,采用原始数据格式将所述目标数据序列化至所述目标字典中;
第二序列化单元,被配置成在所述配置信息发生变更时,基于变更后的配置信息创建目标数据格式,并采用所述目标数据格式将所述目标数据序列化至所述目标字典中。
13.一种电子设备,其特征在于,包括:
一个或多个处理器;
存储装置,其上存储有一个或多个程序,
当所述一个或多个程序被所述一个或多个处理器执行,使得所述一个或多个处理器实现如权利要求7-11中任一所述的方法。
14.一种计算机可读介质,其上存储有计算机程序,其特征在于,该程序被处理器执行时实现如权利要求7-11中任一所述的方法。
CN202010719038.XA 2020-07-23 2020-07-23 数据处理系统、方法、装置、电子设备和计算机可读介质 Withdrawn CN112069773A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010719038.XA CN112069773A (zh) 2020-07-23 2020-07-23 数据处理系统、方法、装置、电子设备和计算机可读介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010719038.XA CN112069773A (zh) 2020-07-23 2020-07-23 数据处理系统、方法、装置、电子设备和计算机可读介质

Publications (1)

Publication Number Publication Date
CN112069773A true CN112069773A (zh) 2020-12-11

Family

ID=73657481

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010719038.XA Withdrawn CN112069773A (zh) 2020-07-23 2020-07-23 数据处理系统、方法、装置、电子设备和计算机可读介质

Country Status (1)

Country Link
CN (1) CN112069773A (zh)

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112579603A (zh) * 2020-12-24 2021-03-30 北京志翔能源技术有限公司 基于cdc的数据模型动态信息感知监测方法及装置
CN112612427A (zh) * 2020-12-30 2021-04-06 北京优挂信息科技有限公司 一种车辆停靠点数据处理方法、装置、存储介质及终端
CN113407363A (zh) * 2021-06-23 2021-09-17 京东科技控股股份有限公司 一种基于远程字典服务的滑窗计数方法及装置
CN114036904A (zh) * 2021-11-25 2022-02-11 北京达佳互联信息技术有限公司 字典数据处理方法、装置、电子设备及存储介质
CN114331745A (zh) * 2021-12-24 2022-04-12 易保网络技术(上海)有限公司 数据处理方法、系统、程序产品、介质和电子设备
CN114936915A (zh) * 2022-02-28 2022-08-23 北京百度网讯科技有限公司 数据处理方法、装置、电子设备和存储介质
CN115065725A (zh) * 2022-05-12 2022-09-16 北京奇艺世纪科技有限公司 数据处理方法、装置、电子设备及存储介质
CN115118778A (zh) * 2022-06-28 2022-09-27 中国农业银行股份有限公司 一种数据处理方法、装置、设备及介质

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105447122A (zh) * 2015-11-16 2016-03-30 中国人民解放军理工大学 一种基于多表关联可自主创建档案系统的实现方法
CN108959210A (zh) * 2018-07-09 2018-12-07 网易(杭州)网络有限公司 一种文件转换的方法及装置
CN109542875A (zh) * 2018-11-20 2019-03-29 中国银行股份有限公司 一种配置文件的生成方法及装置
CN109639465A (zh) * 2018-11-27 2019-04-16 平安科技(深圳)有限公司 基于云平台的告警信息存储方法和装置
CN110287193A (zh) * 2019-06-27 2019-09-27 深圳前海微众银行股份有限公司 一种文件生成方法、装置、设备及计算机可读存储介质
CN110597500A (zh) * 2019-07-26 2019-12-20 北京柠檬微趣科技股份有限公司 消息结构的序列化和反序列化方法及装置
CN110909372A (zh) * 2019-12-02 2020-03-24 北京百度网讯科技有限公司 数据处理方法、装置、设备和介质
CN111310427A (zh) * 2020-02-27 2020-06-19 平安国际智慧城市科技股份有限公司 业务数据配置处理方法、装置、计算机设备和存储介质

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105447122A (zh) * 2015-11-16 2016-03-30 中国人民解放军理工大学 一种基于多表关联可自主创建档案系统的实现方法
CN108959210A (zh) * 2018-07-09 2018-12-07 网易(杭州)网络有限公司 一种文件转换的方法及装置
CN109542875A (zh) * 2018-11-20 2019-03-29 中国银行股份有限公司 一种配置文件的生成方法及装置
CN109639465A (zh) * 2018-11-27 2019-04-16 平安科技(深圳)有限公司 基于云平台的告警信息存储方法和装置
CN110287193A (zh) * 2019-06-27 2019-09-27 深圳前海微众银行股份有限公司 一种文件生成方法、装置、设备及计算机可读存储介质
CN110597500A (zh) * 2019-07-26 2019-12-20 北京柠檬微趣科技股份有限公司 消息结构的序列化和反序列化方法及装置
CN110909372A (zh) * 2019-12-02 2020-03-24 北京百度网讯科技有限公司 数据处理方法、装置、设备和介质
CN111310427A (zh) * 2020-02-27 2020-06-19 平安国际智慧城市科技股份有限公司 业务数据配置处理方法、装置、计算机设备和存储介质

Cited By (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112579603B (zh) * 2020-12-24 2023-11-17 北京志翔信息技术有限公司 基于cdc的数据模型动态信息感知监测方法及装置
CN112579603A (zh) * 2020-12-24 2021-03-30 北京志翔能源技术有限公司 基于cdc的数据模型动态信息感知监测方法及装置
CN112612427A (zh) * 2020-12-30 2021-04-06 北京优挂信息科技有限公司 一种车辆停靠点数据处理方法、装置、存储介质及终端
CN113407363A (zh) * 2021-06-23 2021-09-17 京东科技控股股份有限公司 一种基于远程字典服务的滑窗计数方法及装置
CN113407363B (zh) * 2021-06-23 2024-05-17 京东科技控股股份有限公司 一种基于远程字典服务的滑窗计数方法及装置
CN114036904A (zh) * 2021-11-25 2022-02-11 北京达佳互联信息技术有限公司 字典数据处理方法、装置、电子设备及存储介质
CN114331745B (zh) * 2021-12-24 2023-06-13 易保网络技术(上海)有限公司 数据处理方法、系统、可读存储介质和电子设备
CN114331745A (zh) * 2021-12-24 2022-04-12 易保网络技术(上海)有限公司 数据处理方法、系统、程序产品、介质和电子设备
CN114936915A (zh) * 2022-02-28 2022-08-23 北京百度网讯科技有限公司 数据处理方法、装置、电子设备和存储介质
CN115065725A (zh) * 2022-05-12 2022-09-16 北京奇艺世纪科技有限公司 数据处理方法、装置、电子设备及存储介质
CN115065725B (zh) * 2022-05-12 2024-01-12 北京奇艺世纪科技有限公司 数据处理方法、装置、电子设备及存储介质
CN115118778A (zh) * 2022-06-28 2022-09-27 中国农业银行股份有限公司 一种数据处理方法、装置、设备及介质
CN115118778B (zh) * 2022-06-28 2024-06-07 中国农业银行股份有限公司 一种数据处理方法、装置、设备及介质

Similar Documents

Publication Publication Date Title
CN112069773A (zh) 数据处理系统、方法、装置、电子设备和计算机可读介质
WO2019201039A1 (zh) 一种更新应用程序的方法、系统及应用服务器
US10346381B2 (en) Atomic update operations in a data storage system
US20200004530A1 (en) Melding of mediation flow service component architecture (sca) components
WO2024041022A1 (zh) 数据库表变更方法、装置、设备和存储介质
CN110928912A (zh) 一种生成唯一标识的方法和装置
CN109918381B (zh) 用于存储数据的方法和装置
CN110888972A (zh) 一种基于Spark Streaming的敏感内容识别方法及装置
CN113783916B (zh) 信息同步方法及装置
CN108694172B (zh) 信息输出方法和装置
CA3089289C (en) System and methods for loading objects from hash chains
CN112486546A (zh) 一种sqlite数据库升级方法、装置、终端及系统
CN112182112A (zh) 基于区块链的分布式数据动态存储方法和电子设备
CN116737662A (zh) 业务数据处理的方法、装置、电子设备和存储介质
CN116226189A (zh) 缓存数据查询方法、装置、电子设备和计算机可读介质
CN112084254A (zh) 一种数据同步方法和系统
CN112818129B (zh) 图谱建模系统及其方法
CN114625373A (zh) 应用转换方法、装置、电子设备和存储介质
CN113347052A (zh) 通过访问日志统计用户访问数据的方法和装置
CN109376023B (zh) 用于生成调用信息、发布返回码组的方法和设备
US11909707B2 (en) Message schema migration in messaging systems
CN117850956B (zh) 应用包数据处理方法、装置、电子设备与计算机可读介质
US20040205716A1 (en) System and method for adapting non-SCCS files to SCCS file repository
CN111767237B (zh) 模块间通信方法和装置
JP2018060287A (ja) 文書管理装置、文書管理システム、文書管理方法および文書管理プログラム

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WW01 Invention patent application withdrawn after publication
WW01 Invention patent application withdrawn after publication

Application publication date: 20201211