CN109800269A - 数据管理方法、装置、计算机设备及存储介质 - Google Patents

数据管理方法、装置、计算机设备及存储介质 Download PDF

Info

Publication number
CN109800269A
CN109800269A CN201811528602.9A CN201811528602A CN109800269A CN 109800269 A CN109800269 A CN 109800269A CN 201811528602 A CN201811528602 A CN 201811528602A CN 109800269 A CN109800269 A CN 109800269A
Authority
CN
China
Prior art keywords
data
ogg
database
business datum
query
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201811528602.9A
Other languages
English (en)
Inventor
姚元武
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ping An Property and Casualty Insurance Company of China Ltd
Original Assignee
Ping An Property and Casualty Insurance Company of China Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ping An Property and Casualty Insurance Company of China Ltd filed Critical Ping An Property and Casualty Insurance Company of China Ltd
Priority to CN201811528602.9A priority Critical patent/CN109800269A/zh
Publication of CN109800269A publication Critical patent/CN109800269A/zh
Pending legal-status Critical Current

Links

Landscapes

  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本申请涉及数据处理领域,具体公开了一种数据管理方法、装置、计算机设备及存储介质,该方法包括:确定预设业务对应的数据库,获取所述数据库在数据同步时对应的OGG消息数据;对所述OGG消息数据进行预处理得到业务数据;将所述业务数据导入至Ignite数据库,并对所述业务数据进行业务逻辑计算以得到数据计算结果;以及显示所述数据计算结果。该方法实现内存级数据查询,由此更加高效,能满足实时数据场景的查询需求,同时还不影响业务场景的运行。

Description

数据管理方法、装置、计算机设备及存储介质
技术领域
本申请涉及数据处理技术领域,尤其涉及一种数据管理方法、装置、计算机设备及存储介质。
背景技术
目前,大数据产品已经能做到了数据的快速聚合,但对于海量数据的复杂计算方面则无法适应所有业务场景,由于目前的服务器或分布式系统对海量数据处理仍然较慢,导致大数据产品仍有许多不足之处,比如大数据产品大都无法做到关联查询;大数据产品多数聚焦于数据的分析,要求数据稳定,对数据的修改和删除等操作的支持不友好;在数据录入方面,大数据产品基本都有自己的一套流程,操作复杂且学习成本很高;大数据产品不支持实时事务,或支持不够友好,无法满足业务需求。要实现大数据产品做到关联查询、稳定的数据分析、友好的操作支持和实时事务,首选需要提高服务器或分布式系统的对海量数据的处理速度。因此,有必要提供一种数据管理方法以解决上述问题。
发明内容
本申请提供了一种数据管理方法、装置、计算机设备及存储介质,旨在提高大数据的处理速度以避免影响业务场景的运行。
本申请提供了一种数据管理方法,其包括:
确定预设业务对应的数据库,获取所述数据库在数据同步时对应的OGG消息数据;
对所述OGG消息数据进行预处理得到业务数据;
将所述业务数据导入至Ignite数据库,并对所述业务数据进行业务逻辑计算以得到数据计算结果;
显示所述数据计算结果。
本申请提供了一种数据管理装置,其包括:
确定获取单元,用于确定预设业务对应的数据库,获取所述数据库在数据同步时对应的OGG消息数据;
数据处理单元,用于对所述OGG消息数据进行预处理得到业务数据;
导入计算单元,用于将所述业务数据导入至Ignite数据库,并对所述业务数据进行业务逻辑计算以得到数据计算结果;以及
结果显示单元,用于显示所述数据计算结果。
本申请还提供了一种计算机设备,其包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序,所述处理器执行所述程序时实现本申请提供的任意一项所述的数据管理方法的步骤。
本申请还提供了一种计算机存储介质,其中所述计算机存储介质存储有计算机程序,所述计算机程序被处理器执行时使所述处理器执行本申请提供的任意实施例所述的数据管理方法的步骤。
本申请实施例提供了数据管理方法、装置、计算机设备及存储介质。该方法通过确定预设业务对应的数据库,获取所述数据库在数据同步时对应的OGG消息数据;对所述OGG消息数据进行预处理得到业务数据;将所述业务数据导入至Ignite数据库,并对所述业务数据进行业务逻辑计算以得到数据计算结果;以及显示所述数据计算结果。该方法将业务数据导入Ignite内存数据库中进行处理分析,提高了数据数据速度,同时实现了内存级数据查询,由此更加高效,能满足实时数据场景的查询需求,同时还不影响业务场景的运行。
附图说明
为了更清楚地说明本申请实施例技术方案,下面将对实施例描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图是本申请的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1是本申请一实施例提供的一种数据管理方法的示意流程图;
图2是图1中数据管理方法的子步骤示意流程图;
图3是本申请另一实施例提供的一种数据管理方法的示意流程图;
图4是本申请又一实施例提供的一种数据管理方法的示意流程图;
图5是本申请一实施例提供的一种数据管理装置的示意性框图;
图6是本申请另一实施例提供的一种数据管理装置的示意性框图;
图7是本申请一实施例提供的一种计算机设备的示意性框图。
具体实施方式
下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例是本申请一部分实施例,而不是全部的实施例。基于本申请中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本申请保护的范围。
应当理解,当在本说明书和所附权利要求书中使用时,术语“包括”和“包含”指示所描述特征、整体、步骤、操作、元素和/或组件的存在,但并不排除一个或多个其它特征、整体、步骤、操作、元素、组件和/或其集合的存在或添加。
还应当理解,在此本申请说明书中所使用的术语仅仅是出于描述特定实施例的目的而并不意在限制本申请。如在本申请说明书和所附权利要求书中所使用的那样,除非上下文清楚地指明其它情况,否则单数形式的“一”、“一个”及“该”意在包括复数形式。
还应当进一步理解,在本申请说明书和所附权利要求书中使用的术语“和/或”是指相关联列出的项中的一个或多个的任何组合以及所有可能组合,并且包括这些组合。
请参阅图1,图1是本申请一实施例提供的一种数据管理方法的示意流程图。该数据管理方法应用于服务器中,如图1所示,该数据管理方法包括步骤S101~S104。
S101、确定预设业务对应的数据库,获取所述数据库在数据同步时对应的OGG消息数据。
其中,该预设业务包括产险、寿险、意外险或车险等业务,每个业务均对应相应的业务系统,比如产险业务对应产险系统,车险业务对应车险系统,每个业务系统对应相应的数据库,比如确定预设业务为产险业务,则根据产险业务对应产险系统,即可确定预设业务对应的数据库。
OGG(Oracle Golden Gate)软件是一种基于日志的结构化数据复制备份软件,通过解析源数据库在线日志或归档日志获得数据的增量变化,再将这些数据的增量变化应用到目标数据库中,从而实现源数据库与目标数据库同步,该目标数据库即是预设业务对应的数据库,这些数据的增量变化即为OGG消息数据。由此可以所述数据库在数据同步时对应的OGG消息数据,来表示预设业务的数据变化。
在一实施例中,所述获取所述数据库在数据同步时对应的OGG消息数据,具体包括:通过Kafka工具获取预设业务的数据库对应的OGG消息数据。
具体地,由于OGG软件为动作流数据,因此可以使用Kafka工具获取相应的OGG消息数据。具体地,在服务器中设置好Kafka后,通过Kafka对该OGG软件进行消息订阅,利用消息订阅实时将OGG信息数据传送到Kafka工具,并通过Kafka将OGG信息数据转记录在Kafka消息队列,用户从Kafka获取OGG信息数据时,只需要连接到Kafka读取该消息队列中的信息数据即可,不需要进行繁琐重启和插入操作,可提高获取OGG信息数据的灵活性,同时还不影响业务的运行环境。
S102、对所述OGG消息数据进行预处理得到业务数据。
具体地,该预处理包括一些简单数据处理、格式转换等,比如将OGG中Trail文件转成XML文件,目的是将OGG消息数据转换为可用的业务数据以方便处理。
在本实施例中,所述对所述OGG消息数据进行预处理得到业务数据,包括:对所述OGG消息数据进行去重处理和操作有序处理,以得到业务数据。
其中,如图2所示,所述对所述OGG消息数据进行去重处理的步骤,包括子步骤S1021至S1023。
S1021、识别并判断同一主键对应的OGG消息数据的操作类型是否为插入操作;S1022、若所述同一主键对应的OGG消息数据的操作类型为插入操作,判断所述插入操作是否执行多次;S1023、若所述插入操作执行多次,则删除多余的插入操作对应的OGG消息数据。
具体地,因为网络和Kafka自身特性的原因,同一条消息数据可能接收多次,为保证消息处理不会出错,重复的插入操作需要剔除。通过同一主键识别同一OGG消息数据对应的操作类型是否为插入操作,若是插入操作,在判断同一OGG消息数据对应的插入操作是否执行多次,若执行多次则删除多余的插入操作对应的消息数据,即保证主键的插入操作是唯一的,由此实现了OGG消息数据的去重处理。
其中,如图3所示,所述对所述OGG消息数据进行操作有序处理的步骤,包括子步骤S102a和S102b。
S102a、获取所述OGG消息数据对应的操作时间;S102b、根据所述操作时间确定所述OGG消息数据的操作顺序。
具体地,因为Kafka发送消息数据对应的操作时间并不一定是有序的。该操作有序处理是指获取消息数据的对应主键和操作时间,根据主键和操作时间可以确保数据的有序,按照主键和操作时间对应的维度对消息数据进行排序。
S103、将所述业务数据导入至Ignite数据库,并对所述业务数据进行业务逻辑计算以得到数据计算结果。
其中,该业务逻辑计算是指将所述业务数据通过一定业务逻辑处理的目标数据,比如计算某一段时间保单数或保单额,再比如通过主键去查询出一些保单信息,由此完成对业务数据整理分析以供参考的数据,又或者根据维度进行统计(以业务组进行统计)、保单数量统计、保费统计或者数据表关联统计等等。
具体地,将这些业务逻辑计算预先保存在Ignite数据库中,当将业务数据导入至该Ignite数据库中调用其相应的API接口根据该业务逻辑实现对业务数据的计算统计,并得到相应的数据计算结果。
此外,还可以将数据计算结果保存至分布式数据库,分布式数据库比如为TIDB数据库。由此可以提高结果读取速度和便于日后查询,由于Ignite数据库只是使用内存模式,该Ignite数据库中只保存当天的业务数据,为了对全面的分析统计需要将Ignite处理过的数据计算结果保存分布式数据库中,当然也可以保存在相应的磁盘数据库中,日后需要全量数据即可从该磁盘数据库中获取,再将当天Ignite数据库进行合并即可得到全量数据。
S104、显示所述数据计算结果。
其中,该显示所述数据计算结果,包括:在终端的屏幕显示该数据计算结果,以便用户了解该预设业务的目前状况。该终端包括手机、个人电脑或展示屏等。
具体地,显示所述数据计算结果,包括实时显示以及分条件显示灯,比如实时展示某保险的保费和保单数据等,或者根据其来源进行分条件显示。以提高用户的体验度。
在本实施例中,上述方法通过确定预设业务对应的数据库,获取所述数据库在数据同步时对应的OGG消息数据;对所述OGG消息数据进行预处理得到业务数据;将所述业务数据导入至Ignite数据库,并对所述业务数据进行业务逻辑计算以得到数据计算结果;以及显示所述数据计算结果。该方法实现内存级数据查询,由此更加高效,能满足实时数据场景的查询需求,同时还不影响业务场景的运行。
请参阅图4,图4是本申请另一实施例提供的一种数据管理方法的示意流程图。该数据管理方法应用于服务器中,如图4所示,该数据管理方法包括步骤S201~S208。
S201、确定预设业务对应的数据库,获取所述数据库在数据同步时对应的OGG消息数据。
具体地,是通过Kafka工具获取预设业务的数据库对应的OGG消息数据。由于OGG软件为动作流数据,因此可以使用Kafka工具获取相应的OGG消息数据。具体地,在服务器中设置好Kafka后,通过Kafka对该OGG软件进行消息订阅,利用消息订阅实时将OGG信息数据传送到Kafka工具,并通过Kafka将OGG信息数据转记录在Kafka消息队列,用户从Kafka获取OGG信息数据时,只需要连接到Kafka读取该消息队列中的信息数据即可,不需要进行繁琐重启和插入操作,可提高获取OGG信息数据的灵活性,同时还不影响业务的运行环境。
S202、对所述OGG消息数据进行预处理得到业务数据。
在本实施例中,所述对所述OGG消息数据进行预处理得到业务数据,包括:对所述OGG消息数据进行去重处理和操作有序处理以得到业务数据。
S203、将所述业务数据导入至Ignite数据库,并对所述业务数据进行业务逻辑计算以得到数据计算结果。
具体地,将这些业务逻辑计算预先保存在Ignite数据库中,当将业务数据导入至该Ignite数据库中调用其相应的API接口根据该业务逻辑实现对业务数据的计算统计,并得到相应的数据计算结果。
S204、接收数据查询指令,所述数据查询指令包括查询语句。
具体地,服务器接收终端发送的数据查询指令,其中该数据查询指令中包括查询语句,该查询语句可以SQL(Structured Query Language、结构化查询语言)查询语句,并包括相应的数据标识。
S205、对所述查询语句进行解析,并将解析后的查询语句发送到所述Ignite数据库进行数据查询以得到查询结果。
具体地,对查询语句进行解析主要是获取相应的查询语言和数据标识,所述查询语言比如为SQL查询语句,数据标识比如为保险的名称或相应的数据表名等均可。其中,将解析后的查询语句和数据标识发送到Ignite数据库进行相关数据查询以得到查询结果。
S206、判断所述查询结果是否包括与所述查询语句相对应的数据计算结果。
具体地,判断所述查询结果是否包括与所述查询语句相对应的数据计算结果,如果该查询结果包括与所述查询语句相对应的数据计算结果,表示Ignite数据库中存储有该数据标识对应的数据计算结果,则执行步骤S207。
如果该查询结果未包括与所述查询语句相对应的数据计算结果,表示Ignite数据库中未存储有该数据标识对应的数据计算结果,则执行步骤S208。
其中,Ignite上层是关系型数据存储,而其底层是键-值型存储,同时提供业务常用的两种存储类型,因此可以更好地适应不同的业务场景。
S207、若所述查询结果包括与所述查询语句相对应的数据计算结果,显示所述数据计算结果。
具体地,若所述查询结果包括与所述查询语句相对应的数据计算结果,显示所述数据计算结果。
S208、根据所述查询语句查询关系型数据库以获取相应的业务数据。
其中,若所述查询结果不包括与所述查询语句相对应的数据计算结果,则根据所述查询语句查询关系型数据库以获取相应的业务数据,并返回执行步骤S203。
请参阅图5,图5是本申请实施例提供的一种数据管理装置的示意性框图。如图5所示,对应于以上数据管理方法,本申请还提供一种数据管理装置。该数据管理装置包括用于执行上述数据管理方法的单元,该装置可以被配置于服务器中。
如图5所示,数据管理装置400包括:确定获取单元401、数据处理单元402、导入计算单元403和结果显示单元404。
确定获取单元401,用于确定预设业务对应的数据库,获取所述数据库在数据同步时对应的OGG消息数据。
在一实施例中,确定获取单元401,具体用于通过Kafka工具获取预设业务的数据库对应的OGG消息数据。
数据处理单元402,用于对所述OGG消息数据进行预处理得到业务数据。
在一实施例中,该数据处理单元402包括:识别子单元4021、判断子单元4022和删除子单元4023。
其中,识别子单元4021,用于识别并判断同一主键对应的OGG消息数据的操作类型是否为插入操作;判断子单元4022,用于若所述同一主键对应的OGG消息数据的操作类型为插入操作,判断所述插入操作是否执行多次;删除子单元4023,用于若所述插入操作执行多次,则删除多余的插入操作对应的OGG消息数据。
在一实施例中,该数据处理单元402包括:时间获取子单元4024和顺序确定子单元4025。
其中,时间获取子单元4024,用于获取所述OGG消息数据对应的操作时间;顺序确定子单元4025,用于根据所述操作时间确定所述OGG消息数据的操作顺序。
导入计算单元403,用于将所述业务数据导入至Ignite数据库,并对所述业务数据进行业务逻辑计算以得到数据计算结果。
结果显示单元404,用于显示所述数据计算结果。
请参阅图6,图6是本申请实施例提供的一种数据管理装置的示意性框图。如图6所示,对应于以上数据管理方法,本申请还提供一种数据管理装置。该数据管理装置包括用于执行上述数据管理方法的单元,该装置可以被配置于服务器中。
如图6所示,数据管理装置500包括:确定获取单元501、数据处理单元502、导入计算单元503、指令接收单元504、解析发送单元505、结果判断单元506、结果显示单元507和查询返回单元508。
确定获取单元501,用于确定预设业务对应的数据库,获取所述数据库在数据同步时对应的OGG消息数据。
数据处理单元502,用于对所述OGG消息数据进行预处理得到业务数据。
导入计算单元503,用于将所述业务数据导入至Ignite数据库,并对所述业务数据进行业务逻辑计算以得到数据计算结果。
指令接收单元504,用于接收数据查询指令,所述数据查询指令包括查询语句。
解析发送单元505,用于对所述查询语句进行解析,并将解析后的查询语句发送到所述Ignite数据库进行数据查询以得到查询结果。
结果判断单元506,用于判断所述查询结果是否包括与所述查询语句相对应的数据计算结果。具体地,若所述查询结果包括与所述查询语句相对应的数据计算结果,则调用结果显示单元507;若所述查询结果不包括与所述查询语句相对应的数据计算结果,则调用查询返回单元508。
结果显示单元507,用于若所述查询结果包括与所述查询语句相对应的数据计算结果,显示所述数据计算结果。
查询返回单元508,用于若所述查询结果不包括与所述查询语句相对应的数据计算结果,则根据所述查询语句查询关系型数据库以获取相应的业务数据,并返回调用导入计算单元503。
所属领域的技术人员可以清楚地了解到,为了描述的方便和简洁,上述描述的数据管理装置和单元的具体工作过程,可以参考前述方法实施例中的对应过程,在此不再赘述。
上述装置可以实现为一种计算机程序的形式,计算机程序可以在如图7所示的计算机设备上运行。
请参阅图7,图7是本申请实施例提供的一种计算机设备的示意性框图。该计算机设备700可以是服务器。
参照图7,该计算机设备700包括通过系统总线710连接的处理器720、存储器和网络接口750,其中,存储器可以包括非易失性存储介质730和内存储器740。
该非易失性存储介质730可存储操作系统731和计算机程序732。该计算机程序732被执行时,可使得处理器720执行任意一种数据管理方法。
该处理器720用于提供计算和控制能力,支撑整个计算机设备700的运行。
该内存储器740为非易失性存储介质730中的计算机程序732的运行提供环境,该计算机程序732被处理器720执行时,可使得处理器720执行任意一种数据管理方法。
该网络接口750用于进行网络通信,如发送分配的任务等。本领域技术人员可以理解,图7中示出的结构,仅仅是与本申请方案相关的部分结构的框图,并不构成对本申请方案所应用于其上的计算机设备700的限定,具体的计算机设备700可以包括比图中所示更多或更少的部件,或者组合某些部件,或者具有不同的部件布置。其中,所述处理器720用于运行存储在存储器中的程序代码,以实现如下步骤:
确定预设业务对应的数据库,获取所述数据库在数据同步时对应的OGG消息数据;
对所述OGG消息数据进行预处理得到业务数据;
将所述业务数据导入至Ignite数据库,并对所述业务数据进行业务逻辑计算以得到数据计算结果;以及
显示所述数据计算结果。
在一实施例中,所述处理器720用于运行存储在存储器中的程序代码实现所述显示所述数据计算结果之前,还实现如下步骤:
接收数据查询指令,所述数据查询指令包括查询语句;
对所述查询语句进行解析,并将解析后的查询语句发送到所述Ignite数据库进行数据查询以得到查询结果;
判断所述查询结果是否包括与所述查询语句相对应的数据计算结果;
若所述查询结果包括与所述查询语句相对应的数据计算结果,则显示所述数据计算结果。
在一实施例中,所述处理器720用于运行存储在存储器中的程序代码实现所述判断所述查询结果是否包括与所述查询语句相对应的数据计算结果之后,还实现如下步骤:
若所述查询结果不包括与所述查询语句相对应的数据计算结果,则根据所述查询语句查询关系型数据库以获取相应的业务数据,并返回执行所述将所述业务数据导入至Ignite数据库,并对所述业务数据进行业务逻辑计算以得到数据计算结果的步骤。
在一实施例中,所述处理器720用于运行存储在存储器中的程序代码实现所述获取所述数据库在数据同步时对应的OGG消息数据时,具体实现如下步骤:
通过Kafka工具获取预设业务的数据库对应的OGG消息数据。
在一实施例中,所述处理器720用于运行存储在存储器中的程序代码实现所述对所述OGG消息数据进行预处理得到业务数据,具体实现如下步骤:
对所述OGG消息数据进行去重处理和操作有序处理,以得到业务数据。
在一实施例中,所述处理器720用于运行存储在存储器中的程序代码实现所述对所述OGG消息数据进行去重处理,具体实现如下步骤:
识别并判断同一主键对应的OGG消息数据的操作类型是否为插入操作;
若所述同一主键对应的OGG消息数据的操作类型为插入操作,判断所述插入操作是否执行多次;
若所述插入操作执行多次,则删除多余的插入操作对应的OGG消息数据。
在一实施例中,所述处理器720用于运行存储在存储器中的程序代码实现所述对所述OGG消息数据进行操作有序处理,具体实现如下步骤:
获取所述OGG消息数据对应的操作时间;
根据所述操作时间确定所述OGG消息数据的操作顺序。
应当理解,在本申请实施例中,处理器720可以是中央处理单元(CentralProcessing Unit,CPU),该处理器720还可以是其他通用处理器、数字信号处理器(DigitalSignal Processor,DSP)、专用集成电路(Application Specific Integrated Circuit,ASIC)、现成可编程门阵列(Field-Programmable GateArray,FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。其中,通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
本领域技术人员可以理解,图7中示出的计算机设备700结构并不构成对计算机设备700的限定,可以包括比图示更多或更少的部件,或者组合某些部件,或者不同的部件布置。
本领域普通技术人员可以理解的是实现上述实施例方法中的全部或部分流程,是可以通过计算机程序来指令相关的硬件来完成,计算机程序可存储于一存储介质中,该存储介质为计算机可读存储介质。如本发明实施例中,该计算机程序可存储于计算机系统的存储介质中,并被该计算机系统中的至少一个处理器执行,以实现包括如上述各方法的实施例的流程步骤。
该计算机可读存储介质可以是磁碟、光盘、U盘、移动硬盘、只读存储器(ROM,Read-Only Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
本领域普通技术人员可以意识到,结合本文中所公开的实施例描述的各示例的单元及算法步骤,能够以电子硬件、计算机软件或者二者的结合来实现,为了清楚地说明硬件和软件的可互换性,在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行,取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能,但是这种实现不应认为超出本申请的范围。
在本申请所提供的几个实施例中,应该理解到,所揭露的数据管理装置和方法,可以通过其它的方式实现。例如,以上所描述的数据管理装置实施例仅仅是示意性的。例如,各个单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式。例如多个单元或组件可以结合或者可以集成到另一个系统,或一些特征可以忽略,或不执行。
本申请实施例方法中的步骤可以根据实际需要进行顺序调整、合并和删减。
本申请实施例装置中的单元可以根据实际需要进行合并、划分和删减。
另外,在本申请各个实施例中的各功能单元可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以是两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现,也可以采用软件功能单元的形式实现。
该集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储介质中。基于这样的理解,本申请的技术方案本质上或者说对现有技术做出贡献的部分,或者该技术方案的全部或部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以使得一台计算机设备(可以是个人计算机,终端,或者网络设备等)执行本申请各个实施例所述方法的全部或部分步骤。
以上所述,仅为本申请的具体实施方式,但本申请的保护范围并不局限于此,任何熟悉本技术领域的技术人员在本申请揭露的技术范围内,可轻易想到各种等效的修改或替换,这些修改或替换都应涵盖在本申请的保护范围之内。因此,本申请的保护范围应以权利要求的保护范围为准。

Claims (10)

1.一种数据管理方法,其特征在于,包括:
确定预设业务对应的数据库,获取所述数据库在数据同步时对应的OGG消息数据;
对所述OGG消息数据进行预处理得到业务数据;
将所述业务数据导入至Ignite数据库,并对所述业务数据进行业务逻辑计算以得到数据计算结果;
显示所述数据计算结果。
2.根据权利要求1所述的数据管理方法,其特征在于,所述显示所述数据计算结果之前,还包括:
接收数据查询指令,所述数据查询指令包括查询语句;
对所述查询语句进行解析,并将解析后的查询语句发送到所述Ignite数据库进行数据查询以得到查询结果;
判断所述查询结果是否包括与所述查询语句相对应的数据计算结果;
若所述查询结果包括与所述查询语句相对应的数据计算结果,则显示所述数据计算结果。
3.根据权利要求2所述的数据管理方法,其特征在于,所述判断所述查询结果是否包括与所述查询语句相对应的数据计算结果之后,还包括:
若所述查询结果不包括与所述查询语句相对应的数据计算结果,则根据所述查询语句查询关系型数据库以获取相应的业务数据,并返回执行所述将所述业务数据导入至Ignite数据库,并对所述业务数据进行业务逻辑计算以得到数据计算结果的步骤。
4.根据权利要求1所述的数据管理方法,其特征在于,所述获取所述数据库在数据同步时对应的OGG消息数据,包括:
通过Kafka工具获取预设业务的数据库对应的OGG消息数据。
5.根据权利要求1所述的数据管理方法,其特征在于,所述对所述OGG消息数据进行预处理得到业务数据,包括:
对所述OGG消息数据进行去重处理和操作有序处理,以得到业务数据。
6.根据权利要求5所述的数据管理方法,其特征在于,所述对所述OGG消息数据进行去重处理,包括:
识别并判断同一主键对应的OGG消息数据的操作类型是否为插入操作;
若所述同一主键对应的OGG消息数据的操作类型为插入操作,判断所述插入操作是否执行多次;以及
若所述插入操作执行多次,则删除多余的插入操作对应的OGG消息数据。
7.根据权利要求5所述的数据管理方法,其特征在于,所述对所述OGG消息数据进行操作有序处理,包括:
获取所述OGG消息数据对应的操作时间;以及
根据所述操作时间确定所述OGG消息数据的操作顺序。
8.一种数据管理装置,其特征在于,包括:
确定获取单元,用于确定预设业务对应的数据库,获取所述数据库在数据同步时对应的OGG消息数据;
数据处理单元,用于对所述OGG消息数据进行预处理得到业务数据;
导入计算单元,用于将所述业务数据导入至Ignite数据库,并对所述业务数据进行业务逻辑计算以得到数据计算结果;以及
结果显示单元,用于显示所述数据计算结果。
9.一种计算机设备,其特征在于,包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序,所述处理器执行所述计算机程序时实现如权利要求1至7中任意一项所述方法的步骤。
10.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质存储有计算机程序,所述计算机程序被处理器执行时使所述处理器执行如权利要求1至7任意一项所述方法的步骤。
CN201811528602.9A 2018-12-13 2018-12-13 数据管理方法、装置、计算机设备及存储介质 Pending CN109800269A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201811528602.9A CN109800269A (zh) 2018-12-13 2018-12-13 数据管理方法、装置、计算机设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201811528602.9A CN109800269A (zh) 2018-12-13 2018-12-13 数据管理方法、装置、计算机设备及存储介质

Publications (1)

Publication Number Publication Date
CN109800269A true CN109800269A (zh) 2019-05-24

Family

ID=66556667

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201811528602.9A Pending CN109800269A (zh) 2018-12-13 2018-12-13 数据管理方法、装置、计算机设备及存储介质

Country Status (1)

Country Link
CN (1) CN109800269A (zh)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110335069A (zh) * 2019-06-19 2019-10-15 中国平安财产保险股份有限公司 一种统计首拨进度的方法、装置、计算机设备及存储介质
CN110688516A (zh) * 2019-10-08 2020-01-14 北京旷视科技有限公司 图像检索方法、装置、计算机设备和存储介质
CN111651471A (zh) * 2020-04-30 2020-09-11 中国平安财产保险股份有限公司 目标数据查询方法、装置、电子设备及存储介质
CN112328546A (zh) * 2020-11-06 2021-02-05 安徽明生恒卓科技有限公司 一种基于数据中台的增量数据核查方法
CN112685410A (zh) * 2020-12-25 2021-04-20 中国平安人寿保险股份有限公司 业务规则校验方法、装置、计算机设备及存储介质
CN112800133A (zh) * 2021-01-22 2021-05-14 平安养老保险股份有限公司 基于数据库直连的产品数据处理方法、装置、设备和介质

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108665174A (zh) * 2018-05-16 2018-10-16 中国平安人寿保险股份有限公司 风险预警方法、装置、计算机设备以及存储介质
CN108959279A (zh) * 2017-05-17 2018-12-07 北京京东尚科信息技术有限公司 数据处理方法、数据处理装置、可读介质及电子设备

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108959279A (zh) * 2017-05-17 2018-12-07 北京京东尚科信息技术有限公司 数据处理方法、数据处理装置、可读介质及电子设备
CN108665174A (zh) * 2018-05-16 2018-10-16 中国平安人寿保险股份有限公司 风险预警方法、装置、计算机设备以及存储介质

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110335069A (zh) * 2019-06-19 2019-10-15 中国平安财产保险股份有限公司 一种统计首拨进度的方法、装置、计算机设备及存储介质
CN110688516A (zh) * 2019-10-08 2020-01-14 北京旷视科技有限公司 图像检索方法、装置、计算机设备和存储介质
CN111651471A (zh) * 2020-04-30 2020-09-11 中国平安财产保险股份有限公司 目标数据查询方法、装置、电子设备及存储介质
CN112328546A (zh) * 2020-11-06 2021-02-05 安徽明生恒卓科技有限公司 一种基于数据中台的增量数据核查方法
CN112685410A (zh) * 2020-12-25 2021-04-20 中国平安人寿保险股份有限公司 业务规则校验方法、装置、计算机设备及存储介质
CN112685410B (zh) * 2020-12-25 2023-08-29 中国平安人寿保险股份有限公司 业务规则校验方法、装置、计算机设备及存储介质
CN112800133A (zh) * 2021-01-22 2021-05-14 平安养老保险股份有限公司 基于数据库直连的产品数据处理方法、装置、设备和介质

Similar Documents

Publication Publication Date Title
CN109800269A (zh) 数据管理方法、装置、计算机设备及存储介质
CN111625452B (zh) 流量回放方法和系统
CN108776934B (zh) 分布式数据计算方法、装置、计算机设备及可读存储介质
CN109783512A (zh) 数据处理方法、装置、计算机设备及存储介质
US10430332B2 (en) System and method for performance tuning of garbage collection algorithms
CN109597853B (zh) 业务场景元素序列号生成方法、装置、介质和计算机设备
CN109408535A (zh) 大数据量匹配方法、装置、计算机设备及存储介质
CN109634818A (zh) 日志分析方法、系统、终端及计算机可读存储介质
CN110851465B (zh) 数据查询方法及系统
CN110221901A (zh) 容器资源创建方法、装置、设备及计算机可读存储介质
US9292341B2 (en) RPC acceleration based on previously memorized flows
CN108228322B (zh) 一种分布式链路跟踪、分析方法及服务器、全局调度器
CN109726091B (zh) 一种日志管理方法及相关装置
CN110780882B (zh) 代码文件的处理方法及装置、系统、电子设备、存储介质
CN109359160A (zh) 数据同步方法、装置、计算机设备及存储介质
CN110096521A (zh) 日志信息处理方法及装置
CN109783258A (zh) 一种消息处理方法、装置及服务器
CN114090580A (zh) 数据处理方法、装置、设备、存储介质及产品
CN111784318A (zh) 数据处理方法、装置、电子设备及存储介质
CN107943846B (zh) 数据处理方法、装置及电子设备
CN115391356A (zh) 数据处理方法、装置、设备、介质和计算机程序产品
CN111159131A (zh) 性能优化方法、装置、设备及计算机可读存储介质
CN113360210A (zh) 数据对账方法、装置、计算机设备和存储介质
CN112463305A (zh) 一种云端虚拟化gpu的管理方法、系统及相关装置
CN112286930A (zh) redis业务方资源共享的方法、装置、存储介质及电子设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination