CN111752951B - 一种数据库表的处理方法及装置 - Google Patents

一种数据库表的处理方法及装置 Download PDF

Info

Publication number
CN111752951B
CN111752951B CN202010600330.XA CN202010600330A CN111752951B CN 111752951 B CN111752951 B CN 111752951B CN 202010600330 A CN202010600330 A CN 202010600330A CN 111752951 B CN111752951 B CN 111752951B
Authority
CN
China
Prior art keywords
database table
service
data
application
service information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010600330.XA
Other languages
English (en)
Other versions
CN111752951A (zh
Inventor
徐雅光
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Bank of China Ltd
Original Assignee
Bank of China Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Bank of China Ltd filed Critical Bank of China Ltd
Priority to CN202010600330.XA priority Critical patent/CN111752951B/zh
Publication of CN111752951A publication Critical patent/CN111752951A/zh
Application granted granted Critical
Publication of CN111752951B publication Critical patent/CN111752951B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/22Indexing; Data structures therefor; Storage structures
    • G06F16/2282Tablespace storage structures; Management thereof

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Software Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Stored Programmes (AREA)

Abstract

本申请公开了一种数据库表的处理方法,包括:获取业务信息,业务信息用于实现业务需求。获取业务信息之后,可以根据所述业务信息构建所述业务信息对应的数据地图,所述数据地图用于指示实现所述业务需求所涉及的数据,所述数据地图包括:任务、源数据、数据库表和目标参数中的任意一项或者多项。考虑到若数据地图不包括源数据和目标参数,说明该业务需求的实现过程只是一个内部数据的处理过程,不涉及与其它应用系统的交互,最终也没有得到供应用使用的目标参数,因此,数据地图中的数据库表,可能是冗余的库表。故而在本申请实施例中,可以对该数据库表进行处理,减少该数据库表对应用系统的资源占用,从而提升应用系统的整体性能。

Description

一种数据库表的处理方法及装置
技术领域
本申请涉及数据处理领域,特别是涉及一种数据库表的处理方法及装置。
背景技术
大数据应用系统中,包括许多数据库表,该数据库表可以用于实现相应的业务功能。
随着大数据应用系统运行,应用系统中的数据库表的数量可能会越来越多。数据库表越来越多,其中可能会包括一些没有被使用或者孤立的数据库表,这样的数据库表可能会影响大数据应用系统的整体性能。
因此,急需一种方案,可以解决上述问题。
发明内容
本申请所要解决的技术问题是众多的数据库表,尤其是没有被使用或者孤立的数据库表会影响大数据应用系统的整体性能,提供一种数据库表的处理方法及装置。
第一方面,本申请实施例提供了一种数据库表的处理方法,所述方法包括:
获取业务信息,所述业务信息用于实现业务需求;
根据所述业务信息构建所述业务信息对应的数据地图,所述数据地图用于指示实现所述业务需求所涉及的数据,所述数据地图包括:任务、源数据、数据库表和供应用使用的目标参数中的任意一项或者多项;
在确定所述数据地图不包括所述源数据和所述目标参数的情况下,对所述数据库表进行处理。
可选的,所述对所述数据库表进行处理,包括:
输出所述数据库表。
可选的,所述对所述数据库表进行处理,包括:
删除所述数据库表。
可选的,所述对所述数据库表进行处理,包括:
确定所述数据库表对应的业务功能;
若所述数据库表对应的业务功能已经下线,删除所述数据库表。
可选的,所述业务信息包括:
业务功能描述和/或业务实现逻辑。
第二方面,本申请实施例提供了一种数据库表的处理装置,所述装置包括:
获取单元,用于获取业务信息,所述业务信息用于实现业务需求;
构建单元,用于根据所述业务信息构建所述业务信息对应的数据地图,所述数据地图用于指示实现所述业务需求所涉及的数据,所述数据地图包括:任务、源数据、数据库表和供应用使用的目标参数中的任意一项或者多项;
处理单元,用于在确定所述数据地图不包括所述源数据和所述目标参数的情况下,对所述数据库表进行处理。
可选的,所述处理单元,具体用于:
输出所述数据库表。
可选的,所述处理单元,具体用于:
删除所述数据库表。
可选的,所述处理单元,具体用于:
确定所述数据库表对应的业务功能;
若所述数据库表对应的业务功能已经下线,删除所述数据库表。
可选的,所述业务信息包括:
业务功能描述和/或业务实现逻辑。
与现有技术相比,本申请实施例具有以下优点:
本申请实施例提供了一种数据库表的处理方法,包括:获取业务信息,业务信息用于实现业务需求。获取业务信息之后,可以根据所述业务信息构建所述业务信息对应的数据地图,所述数据地图用于指示实现所述业务需求所涉及的数据,所述数据地图包括:任务、源数据、数据库表和目标参数中的任意一项或者多项。在本申请实施例中,考虑到若某个数据地图不包括源数据和目标参数,说明该业务需求的实现过程只是一个内部数据的处理过程,不涉及与源数据的交互,最终也没有得到供当前应用使用的目标参数,因此,认为此数据地图中的这些数据库表,可能是冗余的库表。故而在本申请实施例中,可以对该数据库表进行处理,减少该数据库表对应用系统的资源占用,从而提升应用系统的整体性能。
附图说明
为了更清楚地说明本申请实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本申请中记载的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1为本申请实施例提供的一种数据库表的处理方法的流程示意图;
图2为本申请实施例提供的一种数据地图的示意图;
图3为本申请实施例提供的一种数据地图的示意图;
图4为本申请实施例提供的一种数据地图的示意图;
图5为本申请实施例提供的一种数据地图的示意图;
图6为本申请实施例提供的一种数据库表的处理装置的结构示意图。
具体实施方式
为了使本技术领域的人员更好地理解本申请方案,下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅是本申请一部分实施例,而不是全部的实施例。基于本申请中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本申请保护的范围。
本申请的发明人经过研究发现,随着大数据应用系统运行,应用系统中的数据库表的数量可能会越来越多。数据库表越来越多,其中可能会包括一些没有被使用或者孤立的数据库表,这样的数据库表可能会影响大数据应用系统的整体性能。前述没有被使用或者孤立的数据库表,也可以认为是冗余的数据库表。
本申请的发明人还发现,应用系统中的数据库表,可能会存在一些冗余的数据库表,例如,应用在过渡阶段所使用的数据库表,比如白名单表,应用上线一段时间之后,该库表不再使用。又如,实现某一业务功能的数据库表,在该业务功能下线之后,该数据库表在系统中实际上是冗余的数据库表。若将应用系统中冗余的数据库表删除,则可以提升应用系统的效率。
鉴于此,本申请实施例提供了一种数据库表的处理方法,下面结合附图,详细说明本申请的各种非限制性实施方式。
示例性方法
参见图1,该图为本申请实施例提供的一种数据库表的处理方法的流程示意图。
本申请实施例提供的方法,可以由具备数据处理功能的控制器或者处理器执行,也可以由包括控制器或者处理器的设备执行,本申请实施例不做具体限定。前述包括控制器或者处理器的设备,可以是终端设备,也可以是服务器,本申请实施例不做具体限定。
在本实施例中,图1所示的方法例如可以包括以下步骤S101-S103。
S101:获取业务信息,所述业务信息用于实现业务需求。
在本申请实施例中,所述业务信息用于实现业务需求,该业务需求可以是第一应用系统中某一具体应用的业务需求。在本申请实施例中,所述业务信息可以是用于实现所述业务需求的物理表模型,可以通过元数据管理模块获取所述业务信息。
此处提及的业务信息,可以包括实现业务需求所需的信息。作为一种示例,考虑到实现业务需求时,需要获知业务功能描述,从而获知需要实现的业务功能。因此,前述业务信息可以包括业务功能描述。作为又一种示例,考虑到实现业务需求时,需要获知业务实现逻辑,以确定如何实现该业务需求。因此,前述业务信息可以包括业务实现逻辑。此处提及的业务实现逻辑,指的是业务需求的实现过程中的数据处理逻辑,例如,数据处理的源数据从某个接口获取,获取源数据之后,如何对源数据进行处理,以得到供应用使用的目标参数。
S102:根据所述业务信息构建所述业务信息对应的数据地图。
在本申请实施例中,业务信息对应的数据地图用于指示实现所述业务需求所涉及的元数据。
在本申请实施例中,所述数据地图包括元数据,例如可以包括:任务、源数据、数据库表和供应用使用的目标参数等元数据中的任意一项或者多项。
其中:
数据库表用于存储业务数据,是针对业务需求建立的物理模型;元数据管理模块可以将数据库表作为元数据进行管理;
任务指的是对数据库表的处理过程;
源数据指的是从除前述第一应用系统之外的其它应用系统中获取的数据。
在本申请实施例中,可以结合图2至图5对数据地图进行理解。
参见图2,图2为本申请实施例提供的一种数据地图的示意图。
如图2所示,该数据地图包括源数据201、任务202、数据库表203、任务204、数据库表205和目标参数206。
图2所示的数据地图,说明实现所述业务需求的过程为:获取源数据201、由任务202对源数据201进行处理,得到数据库表203,由任务204对数据库表203进行处理得到数据库表205,根据数据库表205得到供应用使用的目标参数206。
图2所示的数据地图说明,数据库表203和数据库表205,最终产生了目标参数206,因此,数据库表203和数据库表205不仅仅是内部数据处理产生的数据库表。
参见图3,图3为本申请实施例提供的一种数据地图的示意图。
如图3所示,该数据地图包括源数据301、任务302、数据库表303、任务304和数据库表305。
图3所示的数据地图,说明实现所述业务需求的过程为:获取源数据301、由任务302对源数据301进行处理,得到数据库表303,由任务304对数据库表203进行处理得到数据库表305。
图3所示的数据地图说明,数据库表303和数据库表305,是通过对源数据301进行处理得到的,因此,数据库表203和数据库表205不仅仅是内部数据处理产生的数据库表。
参见图4,图4为本申请实施例提供的一种数据地图的示意图。
如图4所示,该数据地图包括任务401、数据库表402、任务403、数据库表404和目标参数405。
图4所示的数据地图,说明实现所述业务需求的过程为:根据任务401得到数据库表402,由任务403对数据库表402进行处理得到数据库表404,根据数据库表404得到供应用使用的目标参数405。
图4所示的数据地图说明,数据库表402和数据库表404,最终产生了目标参数405,因此,数据库表402和数据库表404不仅仅是内部数据处理产生的数据库表。
参见图5,图5为本申请实施例提供的一种数据地图的示意图。
如图5所示,该数据地图包括任务501、数据库表502、任务503和数据库表504。
图5所示的数据地图,说明实现所述业务需求的过程为:根据任务501得到数据库表502,由任务503对数据库表502进行处理得到数据库表504。
图4所示的数据地图说明,数据库表502和数据库表504,既不是对来自不仅限于其它应用系统的源数据加工得到的,最终也没有产生供应用使用的目标参数,因此,数据库表502和数据库表504是内部数据处理产生的数据库表。
S103:在确定所述数据地图不包括源数据和目标参数的情况下,对所述数据库表进行处理。
通过以上图2至图5可知,若所述数据地图不包括源数据和目标参数,则说明该数据地图中的数据库表为内部数据处理产生的数据库表。因此,此数据地图中的这些数据库表,可能是冗余的库表。故而在本申请实施例中,可以对该数据库表进行处理,减少该数据库表对应用系统的资源占用,从而提升应用系统的整体性能。
在本申请实施例中,对数据库表进行处理,有多种处理方法。以下结合几种可能的处理方式。
作为一种示例,可以直接删除所述数据库表,从而减少该数据库表对应用系统的资源占用,从而提升应用系统的整体系统。
作为又一种示例,可以输出所述数据库表,以便于用户进一步审核,确定如何对所述数据库表进行处理。例如,在用户确定删除所述数据库表的情况下,通过人机交互接口获取用户触发的删除指令,删除该数据库表。
作为又一种示例,考虑到在实际应用中,一个数据库表可能会用于实现多个业务功能。因此,还可以进一步确定所述数据库表对应的业务功能,并在确定所述数据库表对应的业务功能已经下线的情况下,删除所述数据库表。从而避免由于误删除而影响其它业务功能的实现。
在本申请实施例中,考虑到业务管理模块中包括各业务功能的实现逻辑,因此,可以通过业务管理模块确定所述数据库表对应的业务功能。
示例性设备
基于以上实施例提供的数据库表的处理方法,本申请实施例还提供了一种数据库表的处理装置,以下结合附图介绍该装置。
参见图6,该图为本申请实施例提供的一种数据库表的处理装置的结构示意图。
图6所示的所述数据库表的处理装置600,例如可以具体包括:获取单元601、构建单元602和处理单元603。
获取单元601,用于获取业务信息,所述业务信息用于实现业务需求;
构建单元602,用于根据所述业务信息构建所述业务信息对应的数据地图,所述数据地图用于指示实现所述业务需求所涉及的数据,所述数据地图包括:任务、源数据、数据库表和供应用使用的目标参数中的任意一项或者多项;
处理单元603,用于在确定所述数据地图不包括所述源数据和所述目标参数的情况下,对所述数据库表进行处理。
可选的,所述处理单元603,具体用于:
输出所述数据库表。
可选的,所述处理单元603,具体用于:
删除所述数据库表。
可选的,所述处理单元603,具体用于:
确定所述数据库表对应的业务功能;
若所述数据库表对应的业务功能已经下线,删除所述数据库表。
可选的,所述业务信息包括:
业务功能描述和/或业务实现逻辑。
由于所述装置600是与以上方法实施例提供的方法对应的装置,所述装置600的各个单元的具体实现,均与以上方法实施例为同一构思,因此,关于所述装置600的各个单元的具体实现,可以参考以上方法实施例的描述部分,此处不再赘述。
本领域技术人员在考虑说明书及实践这里公开的发明后,将容易想到本申请的其它实施方案。本申请旨在涵盖本申请的任何变型、用途或者适应性变化,这些变型、用途或者适应性变化遵循本申请的一般性原理并包括本公开未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的,本申请的真正范围和精神由下面的权利要求指出。
应当理解的是,本申请并不局限于上面已经描述并在附图中示出的精确结构,并且可以在不脱离其范围进行各种修改和改变。本申请的范围仅由所附的权利要求来限制
以上所述仅为本申请的较佳实施例,并不用以限制本申请,凡在本申请的精神和原则之内,所作的任何修改、等同替换、改进等,均应包含在本申请的保护范围之内。

Claims (10)

1.一种数据库表的处理方法,其特征在于,所述方法包括:
获取业务信息,所述业务信息用于实现业务需求;
根据所述业务信息构建所述业务信息对应的数据地图,所述数据地图用于指示实现所述业务需求所涉及的数据,所述数据地图包括:任务、源数据、数据库表和供应用使用的目标参数中的任意一项或者多项;
在确定所述数据地图不包括所述源数据和所述目标参数的情况下,对所述数据库表进行处理;
其中:
所述业务需求是第一应用系统中某一具体应用的业务需求;
所述任务为对所述数据库表的处理过程;
所述源数据为从除所述第一应用系统之外的其它应用系统中获取的数据;
所述数据库表用于存储业务数据,所述数据库表为针对所述业务需求建立的物理模型。
2.根据权利要求1所述的方法,其特征在于,所述对所述数据库表进行处理,包括:
输出所述数据库表。
3.根据权利要求1所述的方法,其特征在于,所述对所述数据库表进行处理,包括:
删除所述数据库表。
4.根据权利要求1所述的方法,其特征在于,所述对所述数据库表进行处理,包括:
确定所述数据库表对应的业务功能;
若所述数据库表对应的业务功能已经下线,删除所述数据库表。
5.根据权利要求1-4任意一项所述的方法,其特征在于,所述业务信息包括:
业务功能描述和/或业务实现逻辑。
6.一种数据库表的处理装置,其特征在于,所述装置包括:
获取单元,用于获取业务信息,所述业务信息用于实现业务需求;
构建单元,用于根据所述业务信息构建所述业务信息对应的数据地图,所述数据地图用于指示实现所述业务需求所涉及的数据,所述数据地图包括:任务、源数据、数据库表和供应用使用的目标参数中的任意一项或者多项;
处理单元,用于在确定所述数据地图不包括所述源数据和所述目标参数的情况下,对所述数据库表进行处理;
其中:
所述业务需求是第一应用系统中某一具体应用的业务需求;
所述任务为对所述数据库表的处理过程;
所述源数据为从除所述第一应用系统之外的其它应用系统中获取的数据;
所述数据库表用于存储业务数据,所述数据库表为针对所述业务需求建立的物理模型。
7.根据权利要求6所述的装置,其特征在于,所述处理单元,具体用于:
输出所述数据库表。
8.根据权利要求6所述的装置,其特征在于,所述处理单元,具体用于:
删除所述数据库表。
9.根据权利要求6所述的装置,其特征在于,所述处理单元,具体用于:
确定所述数据库表对应的业务功能;
若所述数据库表对应的业务功能已经下线,删除所述数据库表。
10.根据权利要求6-9任意一项所述的装置,其特征在于,所述业务信息包括:
业务功能描述和/或业务实现逻辑。
CN202010600330.XA 2020-06-28 2020-06-28 一种数据库表的处理方法及装置 Active CN111752951B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010600330.XA CN111752951B (zh) 2020-06-28 2020-06-28 一种数据库表的处理方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010600330.XA CN111752951B (zh) 2020-06-28 2020-06-28 一种数据库表的处理方法及装置

Publications (2)

Publication Number Publication Date
CN111752951A CN111752951A (zh) 2020-10-09
CN111752951B true CN111752951B (zh) 2023-09-08

Family

ID=72677716

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010600330.XA Active CN111752951B (zh) 2020-06-28 2020-06-28 一种数据库表的处理方法及装置

Country Status (1)

Country Link
CN (1) CN111752951B (zh)

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8160997B1 (en) * 2007-04-24 2012-04-17 Amdoes Software Systems Limted System, method and computer program product for managing aging data in a database schema
WO2016078388A1 (zh) * 2014-11-21 2016-05-26 中兴通讯股份有限公司 一种数据老化方法及装置

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20070276779A1 (en) * 2006-05-23 2007-11-29 International Business Machines Corporation Method for avoiding orphan entries in cascade delete in a configuration management database

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8160997B1 (en) * 2007-04-24 2012-04-17 Amdoes Software Systems Limted System, method and computer program product for managing aging data in a database schema
WO2016078388A1 (zh) * 2014-11-21 2016-05-26 中兴通讯股份有限公司 一种数据老化方法及装置

Also Published As

Publication number Publication date
CN111752951A (zh) 2020-10-09

Similar Documents

Publication Publication Date Title
CN110427368B (zh) 数据处理方法、装置、电子设备及存储介质
CN107515878B (zh) 一种数据索引的管理方法及装置
CN108683692B (zh) 一种业务请求处理方法及装置
CN111818175B (zh) 企业服务总线配置文件生成方法、装置、设备和存储介质
CN109389299B (zh) 工作流流程部署方法、装置、计算机设备和存储介质
CN111966943A (zh) 流式数据分发方法和系统
CN108140022A (zh) 数据查询方法和数据库系统
CN109586970B (zh) 资源分配方法、装置及系统
CN111210340A (zh) 一种自动任务处理方法、装置、服务器及存储介质
CN107633080B (zh) 一种用户任务处理方法及装置
CN108696559B (zh) 流处理方法及装置
CN111752951B (zh) 一种数据库表的处理方法及装置
CN109271224B (zh) 用于确定位置的方法和设备
CN110888840A (zh) 分布式文件系统中的文件查询方法、装置、设备及介质
CN111984723A (zh) 数据同步方法、装置及终端设备
CN114610719B (zh) 跨集群数据处理方法、装置、电子设备以及存储介质
CN116185578A (zh) 计算任务的调度方法和计算任务的执行方法
CN115617480A (zh) 一种任务调度方法、装置、系统及存储介质
CN109902067B (zh) 文件处理方法、装置、存储介质及计算机设备
CN111984740B (zh) 业务数据表处理方法、装置、计算机设备和存储介质
CN105760215A (zh) 基于映射规约模型分布式文件系统作业的运行方法
CN112749166A (zh) 一种业务数据处理方法、装置、设备及存储介质
KR101638048B1 (ko) 맵리듀스를 이용한 sql 질의처리방법
CN108595552A (zh) 数据立方体发布方法、装置、电子设备和存储介质
CN109033398B (zh) 分配节点的方法和装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant