CN113127496A - 数据库中变更数据的确定方法及装置、介质和设备 - Google Patents

数据库中变更数据的确定方法及装置、介质和设备 Download PDF

Info

Publication number
CN113127496A
CN113127496A CN201911412684.5A CN201911412684A CN113127496A CN 113127496 A CN113127496 A CN 113127496A CN 201911412684 A CN201911412684 A CN 201911412684A CN 113127496 A CN113127496 A CN 113127496A
Authority
CN
China
Prior art keywords
entity
data
database
target
determining
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201911412684.5A
Other languages
English (en)
Other versions
CN113127496B (zh
Inventor
刘群
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Golden Panda Ltd
Original Assignee
Golden Panda Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Golden Panda Ltd filed Critical Golden Panda Ltd
Priority to CN201911412684.5A priority Critical patent/CN113127496B/zh
Publication of CN113127496A publication Critical patent/CN113127496A/zh
Application granted granted Critical
Publication of CN113127496B publication Critical patent/CN113127496B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/23Updating
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/22Indexing; Data structures therefor; Storage structures
    • G06F16/2282Tablespace storage structures; Management thereof
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/28Databases characterised by their database models, e.g. relational or object models
    • G06F16/284Relational databases
    • G06F16/288Entity relationship models
    • YGENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02DCLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00Energy efficient computing, e.g. low power processors, power management or thermal management

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Software Systems (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本公开提供了一种数据库中变更数据的确定方法及装置、介质和电子设备,涉及数据处理技术领域。该方法包括:根据目标应用所需的数据表,获取在源数据库中存储数据表所需的类信息,并根据数据表和类信息的对应关系确定字典表;根据类信息中的实体标识对源数据进行第一筛选,得到满足实体标识的第一实体组;根据字典表中的实体存储详情对第一实体组进行第二筛选,得到目标实体,并根据目标实体与字典表确定变更数据表。本技术方案提升了确定变更数据的效率,从而有利于目标应用高效地获取表更数据,以通过变更数据进行业务计算实现数据挖掘。

Description

数据库中变更数据的确定方法及装置、介质和设备
技术领域
本公开涉及数据处理技术领域,具体而言,涉及一种数据库中变更数据的确定方法及装置,以及计算机可读介质和电子设备。
背景技术
对象数据库(如,Caché)可以与结构化查询语言(Structured Query Language,简称:SQL)融为一体,从而为复杂应用提供了快速开发环境以及快速多维引擎。例如,较多数量的医疗机构已采用了Caché数据库作为医院信息系统(Hospital Information System,简称:HIS)的存储和处理中心,以通过Caché强大的计算和快速的数据处理能力为数以亿计的患者提供稳定可靠的支撑。
同时,随着HIS应用的不断深入,使得医院对医疗信息化的需求从业务数据采集和存储发展到对业务数据的共享与交换。对于基于Caché数据库的信息化系统的医疗机构,则亟需由Caché到第三方应用的数据通道,以将变更数据提供给第三方应用。进而通过第三方应用进行实时业务计算,以便满足数据分析和挖掘的应用场景。
需要说明的是,在上述背景技术部分公开的信息仅用于加强对本公开的背景的理解,因此可以包括不构成对本领域普通技术人员已知的现有技术的信息。
发明内容
本公开实施例的目的在于提供一种数据库中变更数据的确定方法、数据库中变更数据的确定装置,以及实现上述方法的计算机可读介质和电子设备,进而提供由Caché到第三方应用的数据通道,提升了第三方应用获取到变更数据的效率。
本公开的其他特性和优点将通过下面的详细描述变得显然,或部分地通过本公开的实践而习得。
根据本公开实施例的第一方面,提供了一种数据库中变更数据的确定方法,该方法包括:
根据目标应用所需的数据表,获取在源数据库中存储所述数据表所需的类信息,并根据所述数据表和所述类信息的对应关系确定字典表;
根据所述类信息中的实体标识对源数据进行第一筛选,得到满足所述实体标识的第一实体组;
根据所述字典表中的实体存储详情对所述第一实体组进行第二筛选,得到目标实体,并根据所述目标实体与所述字典表确定变更数据表。
在示例性的实施例中,基于前述方案,根据所述类信息中的实体标识对源数据进行第一筛选,包括:
获取所述源数据库中所包含实体,得到原始实体组;
根据类信息中的实体标识对所述原始实体组中实体标识进行筛选,以得到所述第一实体组。
在示例性的实施例中,基于前述方案,根据所述字典表中的实体存储详情对所述第一实体组进行第二筛选,包括:
根据所述字典表中的实体存储详情对所述第一实体组中实体存储详情进行筛选,以得到所述目标实体。
在示例性的实施例中,基于前述方案,根据所述字典表中的实体存储详情对所述第一实体组进行第二筛选,包括:
存储所述第一实体组至同步数据库,并异步比对所述字典表中的实体存储详情对所述第一实体组。
在示例性的实施例中,基于前述方案,在根据所述类信息中的实体标识对源数据进行第一筛选之后,所述方法还包括:
将不满足所述实体标识的第二实体组存储至所述同步数据库。
在示例性的实施例中,基于前述方案,所述方法还包括:
所述目标应用根据所述变更数据表获取变更数据的变更标识;
基于所述变更标识在所述同步数据库中获取变更实体的存储详情,以用于目标应用的业务计算。
在示例性的实施例中,基于前述方案,根据所述目标实体与所述字典表确定变更数据表,包括:
在所述字典表中获取所述目标实体对应的目标表信息;
拼接所述目标表信息和所述目标实体的标识,得到所述变更数据表。
根据本公开实施例的第二方面,提供了一种数据库中变更数据的确定装置,该装置包括:字典表确定模块、筛选模块和变更数据确定模块。
其中,上述字典表确定模块,被配置为:根据目标应用所需的数据表,获取在源数据库中存储所述数据表所需的类信息,并根据所述数据表和所述类信息的对应关系确定字典表;
上述筛选模块,被配置为:根据所述类信息中的实体标识对源数据进行第一筛选,得到满足所述实体标识的第一实体组;
上述变更数据确定模块,被配置为:根据所述字典表中的实体存储详情对所述第一实体组进行第二筛选,得到目标实体,并根据所述目标实体与所述字典表确定变更数据表。
根据本公开实施例的第三方面,提供了一种计算机可读介质,其上存储有计算机程序,上述程序被处理器执行时实现如上述实施例第一方面任意一种技术方案所述的数据库中变更数据的确定方法。
根据本公开实施例的第四方面,提供一种电子设备,包括:一个或多个处理器;存储装置,用于存储一个或多个程序,当上述一个或多个程序被上述一个或多个处理器执行时,使得上述一个或多个处理器实现如上述实施例第一方面任意一种技术方案所述的数据库中变更数据的确定方法。
本公开实施例提供的技术方案可以包括以下有益效果:
在本公开的一些实施例中,根据目标应用所需的数据表,获取在源数据库中存储所述数据表所需的类信息,并根据数据表和类信息的对应关系确定字典表,从而确定目标应用于源数据库之间的关系。进一步地,先根据上述类信息中的实体标识对源数据进行计算量较小的第一筛选,得到第一实体组以减少源数据范围;再根据字典表中的实体存储详情对第一实体组进行耗时较长的第二筛选得到目标实体。可见,通过两次筛选提升了确定变更数据的效率以及准确度。本技术方案通过获取增量数据的方式确定并更数据,从而有利于目标应用高效地获取表更数据,以通过变更数据进行业务计算实现数据挖掘。
应当理解的是,以上的一般描述和后文的细节描述仅是示例性和解释性的,并不能限制本公开。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分,示出了符合本公开的实施例,并与说明书一起用于解释本公开的原理。显而易见地,下面描述中的附图仅仅是本公开的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。在附图中:
图1示出本公开示例性实施例中用于实现数据库中变更数据的确定方法及装置的系统架构示意图;
图2示出了根据本公开的一实施例的数据库中变更数据的确定方法的流程示意图;
图3示出了根据本公开的另一实施例的数据库中变更数据的确定方法的流程示意图;
图4示出了根据本公开的一实施例的第一筛选方法的流程示意图;
图5示出了根据本公开的再一实施例的数据库中变更数据的确定方法的流程示意图;
图6示出了根据本公开的一实施例的数据库中变更数据的确定装置的结构示意图;
图7示出本公开示例性实施例中计算机存储介质的结构示意图;以及,
图8示出本公开示例性实施例中电子设备的结构示意图。
具体实施方式
现在将参考附图更全面地描述示例实施方式。然而,示例实施方式能够以多种形式实施,且不应被理解为限于在此阐述的范例;相反,提供这些实施方式使得本公开将更加全面和完整,并将示例实施方式的构思全面地传达给本领域的技术人员。
此外,所描述的特征、结构或特性可以以任何合适的方式结合在一个或更多实施例中。在下面的描述中,提供许多具体细节从而给出对本公开的实施例的充分理解。然而,本领域技术人员将意识到,可以实践本公开的技术方案而没有特定细节中的一个或更多,或者可以采用其它的方法、组元、装置、步骤等。在其它情况下,不详细示出或描述公知方法、装置、实现或者操作以避免模糊本公开的各方面。
附图中所示的方框图仅仅是功能实体,不一定必须与物理上独立的实体相对应。即,可以采用软件形式来实现这些功能实体,或在一个或多个硬件模块或集成电路中实现这些功能实体,或在不同网络和/或处理器装置和/或微控制器装置中实现这些功能实体。
附图中所示的流程图仅是示例性说明,不是必须包括所有的内容和操作/步骤,也不是必须按所描述的顺序执行。例如,有的操作/步骤还可以分解,而有的操作/步骤可以合并或部分合并,因此实际执行的顺序有可能根据实际情况改变。
本示例实施方式中首先提供了一种用于实现数据库中变更数据的确定方法的系统架构,可以应用于各种数据处理场景。参考图1所示,该系统架构100可以包括终端设备101、102、103,网络104和服务器105。网络104用以在终端设备101、102、103和服务器105之间提供通信链路的介质。网络104可以包括各种连接类型,例如有线、无线通信链路或者光纤电缆等等。
用户可以使用终端设备101、102、103通过网络104与服务器105交互,以接收或发送请求指令等。终端设备101、102、103上可以安装有各种通讯客户端应用,例如图片处理应用、购物类应用、网页浏览器应用、搜索类应用、即时通信工具、邮箱客户端、社交平台软件等。
终端设备101、102、103可以是具有显示屏并且支持网页浏览的各种电子设备,包括但不限于智能手机、平板电脑、膝上型便携计算机和台式计算机等等。
服务器105可以是在数据库中确定待输出的目标数据块,所述目标数据块包含至少两个数据行(仅为示例)。服务器105划分所述目标数据块为运作部分和暂存部分(仅为示例)。服务器105若所述运作部分的数据导出失败,则划分所述运作部分为第一部分和第二部分,以将所述第一部分更新为所述运作部分以及通过所述第二部分更新所述暂存部分。
传统的关系型数据库(如,Oralce、SQLServer等),在获取变更数据(Change DataCapture,简称:CDC)方面可以从同步日志中直接分析出变更的表行信息,通过OGG(OracleGolden Gate的简称,是ORACLE的实时传输数据的工具)等同步方式即可获取到CDC。但是Caché的同步日志记录的是针对Global(多维数组,是Caché中的实体存储方式)的set(赋值)、kill(删除)等信息,而并不记录SQL的信息。因此,并不能直接根据Caché的同步日志获取CDC。
在面向第三方非Caché数据库的业务环境中,比如我们希望通过把变更数据作为消息流实时传输至大数据平台/第三方应用以进行实时流计算。但是,第三方应用无法理解SET/Kill Global的语义。因此,需将其转化为SQL表的INSERT/UPDATE操作,以及对应时刻的增删改行信息。
相关技术中,基于Caché数据库同步获取CDC变更数据的实现如下:从HIS数据库的备份恢复来更新全量数据,以进行第三方应用的业务计算。然而,全量数据计算存储速度慢、效率低,且重复劳动过多的问题。
为了在一定程度上解决上述问题,本技术方案提供了一种数据库中变更数据的确定方法及装置,计算机存储介质和电子设备,以在保证有效数据导出率的情况下,能够提升数据库的数据导出效率。以下先对数据库中变更数据的确定方法进行说明:
图2示出了根据本公开的实施例的数据库中变更数据的确定方法的流程示意图。本实施例提供的数据库中变更数据的确定方法。参考图2,本实施例提供的数据库中变更数据的确定方法,包括:
步骤S210,根据目标应用所需的数据表,获取在源数据库中存储所述数据表所需的类信息,并根据所述数据表和所述类信息的对应关系确定字典表;
步骤S220,根据所述类信息中的实体标识对源数据进行第一筛选,得到满足所述实体标识的第一实体组;以及,
步骤S230,根据所述字典表中的实体存储详情对所述第一实体组进行第二筛选,得到目标实体,并根据所述目标实体与所述字典表确定变更数据表。
在图2所示实施例提供的技术方案中,获取在源数据库中存储所述数据表所需的类信息,并根据数据表和类信息的对应关系确定字典表,从而确定目标应用于源数据库之间的关系。进一步地,先根据上述类信息中的实体标识对源数据进行计算量较小的第一筛选,得到第一实体组以减少源数据范围;再根据字典表中的实体存储详情对第一实体组进行耗时较长的第二筛选得到目标实体。可见,通过两次筛选提升了确定变更数据的效率以及准确度。本技术方案通过获取增量数据的方式确定并更数据,从而有利于目标应用高效地获取表更数据,以通过变更数据进行业务计算实现数据挖掘。
本技术方案中,上述源数据库以Caché数据库为例进行说明。其中,获取上述源数据库的变更数据可以分为三个阶段。第一阶段:确定目标应用所需的数据表(Table)和源数据库中Global对应关系的阶段,得到字典表(对应于步骤S210);第二阶段:基于第一阶段确定的字典表分析源数据库(如,HIS)的日志信息,生成CDC表(对应于步骤S220和步骤S230)。第三阶段:目标应用获取变更数据阶段。
本技术方案为了获取数据库层面表变更数据,通过图3示出的第一阶段30确定表信息和Global的一一对照关系,得到字典表。然后,通过图3示出的第二阶段40:基于字典表分析源数据库(HIS)的同步日志对Global的Set/Kill操作具体是针对的哪张表,从而输出表级别的CDC。其中,本技术方案的操作均在数据库的Shadow服务器或者Mirror服务器上进行,从而源数据库对上述操作无感,即不对源数据库产生影响。
在步骤S210中,根据目标应用所需的数据表,获取在源数据库中存储所述数据表所需的类信息,并根据所述数据表和所述类信息的对应关系确定字典表。
在示例性的实施例中,上述目标应用即为第三方应用。其中,目标应用获取源数据库中的变更数据,以进行业务计算,进而实现数据分析和挖掘。具体的,上述目标应用所需的数据表即为目标应用在业务计算过程中所需的数据表。示例性的,参考图3,在S31中:根据业务计算需求确定目标应用所需的数据表。
进一步地,通过S32-S34获取在源数据库(如,Caché)中存储该数据表所需的类信息。在S32中,读取数据表并传输至Caché数据库中。在S33中,加载Caché的系统方法。则在S34中,输出上述数据表对应的类名称,得到在源数据库中存储该数据表所需的类信息。
在示例性的实施例中,通过S35-S37确定反映上述数据表和上述类信息的对应关系的字典表。在S35中,将上述类名称传输至同步数据库的字典库。在S36中确定表名、RowID与Global的存储结构之间的对应关系。并将该关系确定为字典表(S37)。
其中,上述同步数据库即为Shadow服务器或者Mirror服务器的同步库。
示例性的,字典表中包含以下信息:表名(TableNameStr)、Rowid名(RowidNameStr)、Global的结构串(GlobalInfoStr)、Global名(GlobalStr)、Global节点串(GlobalSubInfoStr)、Global节点长度(GlobalSubInfoLenth)、Global节点标志位序号(GlobalSubNodeStrLocation)以及Global节点Rowid标志位序号(GlobalSubRowidLocation)。
在示例性的实施例中,第一阶段30确定的字典表用于在第二阶段40中分析源数据库的同步日志。为了避免直接通过字典表筛选源数据库中日志信息所带来的计算量大的问题,本技术方案在步骤S220中:根据上述类信息中的实体标识对源数据进行第一筛选,从而过滤掉不满足业务计算需求数据。具体地:
图4示出了根据本公开的一实施例的第一筛选方法的流程示意图,参考图4,该图所示方法包括:
步骤S410,获取所述源数据库中所包含实体,得到原始实体组;以及,步骤S420,根据类信息中的实体标识对所述原始实体组中实体标识进行筛选,以得到所述第一实体组。
结合图3对上述图4的具体实施方式进行解释说明:
一方面,在S41中,解析HIS(源数据库)401中的同步日志得到源数据。进一步地,获取源数据中的所有实体,其中,每个实体包括Global名称及其存储详情。从而得到上述原始实体组。
另一方面,在S42中,从用于形成字典表的对应关系中提取出于业务计算相关Global名称(记作“目标Global名称”)。也就是说,在上述类信息中提起到实体标识。
基于上述两方面,在S43中进行第一筛选:根据目标Global名称对上述原始实体组进行筛选,并将标识与目标Global名称一致的原始实体作为第一实体组。同时,原始实体组中标识与目标Global名称不一致的原始实体作为第二实体组。其中,上述第一实体组用于与上述字典表进一步进行比对,以确定CDC表。
本技术方案中,通过与业务计算相关的目标Global名称对源数据库进行初步筛选,初步过滤掉不满足业务计算需求的数据,有利于提升数据处理效率。在示例性的实施例中,在S42中提取Global信息时,优先提取热点Global(即,修改引用频繁的业务Global)信息,以避免在S43中过多的无效判断导致的数据同步延迟加大。
在示例性的实施例中,参考图3,在S46中,将与目标Global名称不一致的原始实体(第二实体组)直接写入同步数据库。而对于将与目标Global名称一致的原始实体(第一实体组),先执行S44进行存储,然后再执行S46写入同步数据库。将两组实体信息全部存储至同步数据库,以在目标应用在业务计算时提供详细的数据支持,进而有利于数据挖掘的准确度。
继续参考图2,对于在S44中存储的第一实体组,执行步骤S230:根据字典表中的实体存储详情对第一实体组进行第二筛选,得到目标实体。仍结合图3对步骤S230的具体实施方式进行解释说明:
示例性的,若采用以下判断与存储同步进行的方式:即逐条判断同步日志中的Global是否满足业务计算需求,若满足则立即转译为Table信息,若不满足则存储至同步数据库。将导致数据库的同步等待转译计算的延迟增大。
为了避免以上延迟,本技术方案中,通过“异步判断”的方式执行S45:第二筛选。即通过S46对上述第一实体组进行高速存储之后,采用异步进程执行步骤S45进行第二筛选。可见,本技术方案既能保证同步数据库中数据同步不受干扰,也能减小CDC信息的计算压力。
具体的,读取S44存储的第一实体组,进一步地,根据所述字典表中的实体存储详情对该第一实体组中实体存储详情进行筛选。若该第一实体组中实体存储详情符合上述字典表中存储的实体存储详情,说明该实体的存储详情满足业务计算要求的存储详情,则将该实体作为上述目标实体。
在示例性的实施例中,参考图3,在S47中,根据上述目标实体与上述字典表确定变更数据表。具体地,对于目标实体A,在上述字典表中获取目标实体A对应的目标表信息。其中,目标表信息可以包括:变更表的Rowid(TableRowid)、变更表的Rowid名称(RowidName)、变更的表名(TableName)。进一步地,拼接该目标表信息和目标实体A的标识,得到变更数据。以此类推,对于多个目标实体便可以确定变更数据(CDC)表。示例性的,如下表表1所示:
表1
Figure BDA0002350383010000101
在示例性的实施例中,为了优化对于CDC表的读取效率,使得第三方读取(例如JDBC)更高效,本技术方案还针对CDC表建立索引。参考表1,CDC表中还包含如下信息:变更的Global信息(GlobalInfo)---实际日志中的信息、变更类型(Type;如,S表示:INSERT/Update,K表示Delete/Update)、变更操作的时间戳(DataD、TimeT)等。
在通过图2所示实施例确定CDC表之后,在上述第三阶段中:目标应用获取变更数据阶段。参考图5,对上述第三阶段50进行解释说明:
在S51中,目标应用501读取变更信息表,以获取变更数据的变更标识。并在S52中获取该变更标识。进一步地,在S53和S54中,基于表更标识在同步数据库402中获取相关实体的存储详情,以用于目标应用的业务计算。
本技术方案基于数据库同步获取CDC数据的新方式,三个获取阶段的流程控制紧密衔接,数据获取准确清晰,准确梳理了数据库Global到Table对应关系,高效提取了日志中的有效信息,三个阶段复杂计算后同步延迟控制在秒级。
本领域技术人员可以理解实现上述实施方式的全部或部分步骤被实现为由处理器,包含中央处理器(central processing unit,CPU)和图形处理器(GraphicsProcessing Unit,GPU)执行的计算机程序。在该计算机程序被CPU或GPU执行时,执行本公开提供的上述方法所限定的上述功能。所述的程序可以存储于一种计算机可读存储介质中,该存储介质可以是只读存储器,磁盘或光盘等。
此外,需要注意的是,上述附图仅是根据本公开示例性实施方式的方法所包括的处理的示意性说明,而不是限制目的。易于理解,上述附图所示的处理并不表明或限制这些处理的时间顺序。另外,也易于理解,这些处理可以是例如在多个模块中同步或异步执行的。
以下介绍本公开的数据库中变更数据的确定装置实施例,可以用于执行本公开上述实施例提供的数据库中变更数据的确定方法。
图6示出了根据本公开的实施例的数据库中变更数据的确定装置的结构示意图,参考图6,本实施例提供的数据库中变更数据的确定装置600,包括:字典表确定模块601、筛选模块602和变更数据确定模块603。
其中,上述字典表确定模块601,被配置为:根据目标应用所需的数据表,获取在源数据库中存储所述数据表所需的类信息,并根据所述数据表和所述类信息的对应关系确定字典表;
上述筛选模块602,被配置为:根据所述类信息中的实体标识对源数据进行第一筛选,得到满足所述实体标识的第一实体组;
上述变更数据确定模块603,被配置为:根据所述字典表中的实体存储详情对所述第一实体组进行第二筛选,得到目标实体,并根据所述目标实体与所述字典表确定变更数据表。
在本公开的一种实施例中,基于前述方案,上述筛选模块602,被具体配置为:获取所述源数据库中所包含实体,得到原始实体组;根据类信息中的实体标识对所述原始实体组中实体标识进行筛选,以得到所述第一实体组。
在本公开的一种实施例中,基于前述方案,上述变更数据确定模块603,被具体配置为:根据所述字典表中的实体存储详情对所述第一实体组中实体存储详情进行筛选,以得到所述目标实体。
在本公开的一种实施例中,基于前述方案,上述变更数据确定模块603,被具体配置为:存储所述第一实体组至同步数据库,并异步比对所述字典表中的实体存储详情对所述第一实体组。
在本公开的一种实施例中,基于前述方案,数据库中变更数据的确定装置600,还包括:存储模块。
其中,上述存储模块被配置为:在根据所述类信息中的实体标识对源数据进行第一筛选之后,将不满足所述实体标识的第二实体组存储至所述同步数据库。
在本公开的一种实施例中,基于前述方案,基于前述方案,数据库中变更数据的确定装置600,还包括:计算模块。
其中,上述计算模块被配置为:所述目标应用根据所述变更数据表获取变更数据的变更标识;基于所述变更标识在所述同步数据库中获取变更实体的存储详情,以用于目标应用的业务计算。
在本公开的一种实施例中,基于前述方案,上述变更数据确定模块603,还被具体配置为:在所述字典表中获取所述目标实体对应的目标表信息;拼接所述目标表信息和所述目标实体的标识,得到所述变更数据表。
由于本公开的示例性的实施例的数据库中变更数据的确定装置的各个功能模块与上述数据库中变更数据的确定方法的示例实施例的步骤对应,因此对于本公开数据库中变更数据的确定装置实施例中未披露的细节,请参照本公开上述的数据库中变更数据的确定方法的实施例。
通过以上的实施方式的描述,本领域的技术人员易于理解,这里描述的示例实施方式可以通过软件实现,也可以通过软件结合必要的硬件的方式来实现。因此,根据本公开实施方式的技术方案可以以软件产品的形式体现出来,该软件产品可以存储在一个非易失性存储介质(可以是CD-ROM,U盘,移动硬盘等)中或网络上,包括若干指令以使得一台计算设备(可以是个人计算机、服务器、移动终端、或者网络设备等)执行根据本公开实施方式的方法。
在本公开示例性实施方式中,还提供了一种能够实现上述方法的计算机存储介质。其上存储有能够实现本说明书上述方法的程序产品。在一些可能的实施例中,本公开的各个方面还可以实现为一种程序产品的形式,其包括程序代码,当上述程序产品在终端设备上运行时,上述程序代码用于使上述终端设备执行本说明书上述“示例性方法”部分中描述的根据本公开各种示例性实施方式的步骤。
参考图7所示,描述了根据本公开的实施方式的用于实现上述方法的程序产品700,其可以采用便携式紧凑盘只读存储器(CD-ROM)并包括程序代码,并可以在终端设备,例如个人电脑上运行。然而,本公开的程序产品不限于此,在本文件中,可读存储介质可以是任何包含或存储程序的有形介质,该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。
上述程序产品可以采用一个或多个可读介质的任意组合。可读介质可以是可读信号介质或者可读存储介质。可读存储介质例如可以为但不限于电、磁、光、电磁、红外线、或半导体的系统、装置或器件,或者任意以上的组合。可读存储介质的更具体的例子(非穷举的列表)包括:具有一个或多个导线的电连接、便携式盘、硬盘、随机存取存储器(RandomAccess Memory,RAM)、只读存储器(Read-Only Memory,ROM)、可擦式可编程只读存储器(erasable programmable read-only memory,EPROM或闪存)、光纤、便携式紧凑盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。
计算机可读信号介质可以包括在基带中或者作为载波一部分传播的数据信号,其中承载了可读程序代码。这种传播的数据信号可以采用多种形式,包括但不限于电磁信号、光信号或上述的任意合适的组合。可读信号介质还可以是可读存储介质以外的任何可读介质,该可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。
可读介质上包含的程序代码可以用任何适当的介质传输,包括但不限于无线、有线、光缆、RF等等,或者上述的任意合适的组合。
可以以一种或多种程序设计语言的任意组合来编写用于执行本公开操作的程序代码,上述程序设计语言包括面向对象的程序设计语言—诸如Java、C++等,还包括常规的过程式程序设计语言—诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算设备上执行、部分地在用户设备上执行、作为一个独立的软件包执行、部分在用户计算设备上部分在远程计算设备上执行、或者完全在远程计算设备或服务器上执行。在涉及远程计算设备的情形中,远程计算设备可以通过任意种类的网络,包括局域网(Local AreaNetwork,LAN)或广域网(Wide Area Network,WAN),连接到用户计算设备,或者,可以连接到外部计算设备(例如利用因特网服务提供商来通过因特网连接)。
此外,在本公开的示例性实施例中,还提供了一种能够实现上述方法的电子设备。
所属技术领域的技术人员能够理解,本公开的各个方面可以实现为系统、方法或程序产品。因此,本公开的各个方面可以具体实现为以下形式,即:完全的硬件实施方式、完全的软件实施方式(包括固件、微代码等),或硬件和软件方面结合的实施方式,这里可以统称为“电路”、“模块”或“系统”。
下面参照图8来描述根据本公开的这种实施方式的电子设备800。图8显示的电子设备800仅仅是一个示例,不应对本公开实施例的功能和使用范围带来任何限制。
如图8所示,电子设备800以通用计算设备的形式表现。电子设备800的组件可以包括但不限于:上述至少一个处理单元810、上述至少一个存储单元820、连接不同系统组件(包括存储单元820和处理单元810)的总线830。
其中,上述存储单元存储有程序代码,上述程序代码可以被上述处理单元810执行,使得上述处理单元810执行本说明书上述“示例性方法”部分中描述的根据本公开各种示例性实施方式的步骤。例如,上述处理单元810可以执行如图2中所示的:步骤S210,根据目标应用所需的数据表,获取在源数据库中存储所述数据表所需的类信息,并根据所述数据表和所述类信息的对应关系确定字典表;步骤S220,根据所述类信息中的实体标识对源数据进行第一筛选,得到满足所述实体标识的第一实体组;以及,步骤S230,根据所述字典表中的实体存储详情对所述第一实体组进行第二筛选,得到目标实体,并根据所述目标实体与所述字典表确定变更数据表。
示例性的,上述处理单元810还可以执行如图3至图5中任意一图所示的数据库中变更数据的确定方法。
存储单元820可以包括易失性存储单元形式的可读介质,例如:随机存取存储单元(Random Access Memory,RAM)8201和/或高速缓存存储单元8202,还可以进一步包括只读存储单元只读存储器(Read-Only Memory,ROM)8203。
存储单元820还可以包括具有一组(至少一个)程序模块8205的程序/实用工具8204,这样的程序模块8205包括但不限于:操作系统、一个或者多个应用程序、其它程序模块以及程序数据,这些示例中的每一个或某种组合中可能包括网络环境的实现。
总线830可以为表示几类总线结构中的一种或多种,包括存储单元总线或者存储单元控制器、外围总线、图形加速端口、处理单元或者使用多种总线结构中的任意总线结构的局域总线。
电子设备800也可以与一个或多个外部设备900(例如键盘、指向设备、蓝牙设备等)通信,还可与一个或者多个使得用户能与该电子设备800交互的设备通信,和/或与使得该电子设备800能与一个或多个其它计算设备进行通信的任何设备(例如路由器、调制解调器等等)通信。这种通信可以通过输入/输出(Input/Output,I/O)接口850进行。进一步地,I/O接口850与显示单元840连接,以通过I/O接口850将待显示内容传输至显示单元840,以供用户查看。
并且,电子设备800还可以通过网络适配器860与一个或者多个网络(例如局域网(Local Area Network,LAN),广域网(Wide Area Network,WAN)和/或公共网络,例如因特网)通信。如图所示,网络适配器860通过总线830与电子设备800的其它模块通信。应当明白,尽管图中未示出,可以结合电子设备800使用其它硬件和/或软件模块,包括但不限于:微代码、设备驱动器、冗余处理单元、外部磁盘驱动阵列、RAID系统、磁带驱动器以及数据备份存储系统等。
通过以上的实施方式的描述,本领域的技术人员易于理解,这里描述的示例实施方式可以通过软件实现,也可以通过软件结合必要的硬件的方式来实现。因此,根据本公开实施方式的技术方案可以以软件产品的形式体现出来,该软件产品可以存储在一个非易失性存储介质(可以是CD-ROM,U盘,移动硬盘等)中或网络上,包括若干指令以使得一台计算设备(可以是个人计算机、服务器、终端装置、或者网络设备等)执行根据本公开实施方式的方法。
此外,上述附图仅是根据本公开示例性实施例的方法所包括的处理的示意性说明,而不是限制目的。易于理解,上述附图所示的处理并不表明或限制这些处理的时间顺序。另外,也易于理解,这些处理可以是例如在多个模块中同步或异步执行的。
本领域技术人员在考虑说明书及实践这里公开的发明后,将容易想到本公开的其他实施例。本申请旨在涵盖本公开的任何变型、用途或者适应性变化,这些变型、用途或者适应性变化遵循本公开的一般性原理并包括本公开未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的,本公开的真正范围和精神由权利要求指出。

Claims (10)

1.一种数据库中变更数据的确定方法,其特征在于,所述方法包括:
根据目标应用所需的数据表,获取在源数据库中存储所述数据表所需的类信息,并根据所述数据表和所述类信息的对应关系确定字典表;
根据所述类信息中的实体标识对源数据进行第一筛选,得到满足所述实体标识的第一实体组;
根据所述字典表中的实体存储详情对所述第一实体组进行第二筛选,得到目标实体,并根据所述目标实体与所述字典表确定变更数据表。
2.根据权利要求1所述的方法,其特征在于,根据所述类信息中的实体标识对源数据进行第一筛选,包括:
获取所述源数据库中所包含实体,得到原始实体组;
根据类信息中的实体标识对所述原始实体组中实体标识进行筛选,以得到所述第一实体组。
3.根据权利要求1所述的方法,其特征在于,根据所述字典表中的实体存储详情对所述第一实体组进行第二筛选,包括:
根据所述字典表中的实体存储详情对所述第一实体组中实体存储详情进行筛选,以得到所述目标实体。
4.根据权利要求1至3中任意一项所述的方法,其特征在于,根据所述字典表中的实体存储详情对所述第一实体组进行第二筛选,包括:
存储所述第一实体组至同步数据库,并异步比对所述字典表中的实体存储详情对所述第一实体组。
5.根据权利要求4所述的方法,其特征在于,在根据所述类信息中的实体标识对源数据进行第一筛选之后,所述方法还包括:
将不满足所述实体标识的第二实体组存储至所述同步数据库。
6.根据权利要求5所述的方法,其特征在于,所述方法还包括:
所述目标应用根据所述变更数据表获取变更数据的变更标识;
基于所述变更标识在所述同步数据库中获取变更实体的存储详情,以用于目标应用的业务计算。
7.根据权利要求4所述的方法,其特征在于,根据所述目标实体与所述字典表确定变更数据表,包括:
在所述字典表中获取所述目标实体对应的目标表信息;
拼接所述目标表信息和所述目标实体的标识,得到所述变更数据表。
8.一种数据库中变更数据的确定装置,其特征在于,所述装置包括:
字典表确定模块,被配置为:根据目标应用所需的数据表,获取在源数据库中存储所述数据表所需的类信息,并根据所述数据表和所述类信息的对应关系确定字典表;
筛选模块,被配置为:根据所述类信息中的实体标识对源数据进行第一筛选,得到满足所述实体标识的第一实体组;
变更数据确定模块,被配置为:根据所述字典表中的实体存储详情对所述第一实体组进行第二筛选,得到目标实体,并根据所述目标实体与所述字典表确定变更数据表。
9.一种计算机可读介质,其上存储有计算机程序,其特征在于,所述程序被处理器执行时实现如权利要求1至7中任意一项所述的数据库中变更数据的确定方法。
10.一种电子设备,其特征在于,包括:
一个或多个处理器;
存储装置,用于存储一个或多个程序,当所述一个或多个程序被所述一个或多个处理器执行时,使得所述一个或多个处理器实现如权利要求1至7中任意一项所述的数据库中变更数据的确定方法。
CN201911412684.5A 2019-12-31 2019-12-31 数据库中变更数据的确定方法及装置、介质和设备 Active CN113127496B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201911412684.5A CN113127496B (zh) 2019-12-31 2019-12-31 数据库中变更数据的确定方法及装置、介质和设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911412684.5A CN113127496B (zh) 2019-12-31 2019-12-31 数据库中变更数据的确定方法及装置、介质和设备

Publications (2)

Publication Number Publication Date
CN113127496A true CN113127496A (zh) 2021-07-16
CN113127496B CN113127496B (zh) 2023-06-27

Family

ID=76770215

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911412684.5A Active CN113127496B (zh) 2019-12-31 2019-12-31 数据库中变更数据的确定方法及装置、介质和设备

Country Status (1)

Country Link
CN (1) CN113127496B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113779000A (zh) * 2021-11-15 2021-12-10 北京金堤科技有限公司 数据库更新方法和系统、以及存储介质和电子设备

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013118650A (ja) * 2007-04-05 2013-06-13 Intel Mobile Communications GmbH 照合を提供する、通信端末機器、通信機器、電子カードおよび証明書を提供する方法
CN104978384A (zh) * 2014-04-09 2015-10-14 香港城市大学 用于通用数据库的带语义保留的跨模型数据访问
CN105677830A (zh) * 2016-01-04 2016-06-15 北京大学 一种基于实体映射的异构媒体相似性计算方法及检索方法
US20160253651A1 (en) * 2015-02-27 2016-09-01 Samsung Electronics Co., Ltd. Electronic device including electronic payment system and operating method thereof
CN106557486A (zh) * 2015-09-25 2017-04-05 阿里巴巴集团控股有限公司 一种数据的存储方法和装置
US20190130481A1 (en) * 2017-11-01 2019-05-02 Fair Isaac Corporation Entity Segmentation for Analysis of Sensitivities to Potential Disruptions
CN110362632A (zh) * 2019-07-22 2019-10-22 无限极(中国)有限公司 一种数据同步方法、装置、设备及计算机可读存储介质

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013118650A (ja) * 2007-04-05 2013-06-13 Intel Mobile Communications GmbH 照合を提供する、通信端末機器、通信機器、電子カードおよび証明書を提供する方法
CN104978384A (zh) * 2014-04-09 2015-10-14 香港城市大学 用于通用数据库的带语义保留的跨模型数据访问
US20160253651A1 (en) * 2015-02-27 2016-09-01 Samsung Electronics Co., Ltd. Electronic device including electronic payment system and operating method thereof
CN106557486A (zh) * 2015-09-25 2017-04-05 阿里巴巴集团控股有限公司 一种数据的存储方法和装置
CN105677830A (zh) * 2016-01-04 2016-06-15 北京大学 一种基于实体映射的异构媒体相似性计算方法及检索方法
US20190130481A1 (en) * 2017-11-01 2019-05-02 Fair Isaac Corporation Entity Segmentation for Analysis of Sensitivities to Potential Disruptions
CN110362632A (zh) * 2019-07-22 2019-10-22 无限极(中国)有限公司 一种数据同步方法、装置、设备及计算机可读存储介质

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
DEWI OCTAVIANI ET AL.: "RDB2Onto: An approach for creating semantic metadata from relational educational data", 《2015 INTERNATIONAL CONFERENCE ON SCIENCE IN INFORMATION TECHNOLOGY (ICSITECH)》, pages 137 - 140 *
丁美静: "某省级电力公司ERP财务模块标准化及业务稽核的实施", 《中国优秀硕士学位论文全文数据库 经济与管理科学辑》, pages 150 - 8 *
郑旭军: "基于后关系型数据库的医疗体检数据挖掘的研究与应用", 《中国优秀硕士学位论文全文数据库 医药卫生科技辑》, pages 080 - 52 *

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113779000A (zh) * 2021-11-15 2021-12-10 北京金堤科技有限公司 数据库更新方法和系统、以及存储介质和电子设备

Also Published As

Publication number Publication date
CN113127496B (zh) 2023-06-27

Similar Documents

Publication Publication Date Title
CN109086409B (zh) 微服务数据处理方法、装置、电子设备及计算机可读介质
US11620400B2 (en) Querying in big data storage formats
US11475034B2 (en) Schemaless to relational representation conversion
US10055426B2 (en) System and method transforming source data into output data in big data environments
CN110647579A (zh) 数据同步方法及装置、计算机设备与可读介质
CN111709527A (zh) 运维知识图谱库的建立方法、装置、设备及存储介质
US10860562B1 (en) Dynamic predicate indexing for data stores
CN108897874B (zh) 用于处理数据的方法和装置
US11163762B2 (en) Mapping document data to relational data
US10055471B2 (en) Integrated big data interface for multiple storage types
CN114049927A (zh) 疾病数据处理方法、装置、电子设备及可读介质
US20190370255A1 (en) Remote query optimization in multi data sources
US10055421B1 (en) Pre-execution query optimization
CN109473178B (zh) 医疗数据整合的方法、系统、设备及存储介质
CN113190517B (zh) 数据集成方法、装置、电子设备和计算机可读介质
CN111984745B (zh) 数据库字段动态扩展方法、装置、设备及存储介质
CN113127496B (zh) 数据库中变更数据的确定方法及装置、介质和设备
CN111126034B (zh) 医学变量关系的处理方法及装置、计算机介质和电子设备
US10956386B2 (en) Methods and apparatuses for automated performance tuning of a data modeling platform
US9201937B2 (en) Rapid provisioning of information for business analytics
CN111241060A (zh) 数据迁移方法、系统、设备及存储介质
CN116244387A (zh) 实体关系构建方法、装置、电子设备及存储介质
CN112970011A (zh) 记录查询优化中的谱系
US20140244681A1 (en) Optimization of join queries for related data
CN114969044A (zh) 一种基于数据湖的物化列创建方法以及数据查询方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant