CN108228828A - 数据表处理方法及装置 - Google Patents

Abstract

本发明公开了一种数据表处理方法及装置。其中，该方法包括：对服务器的性能进行监控，获得监控结果，其中，服务器的性能为服务对数据表进行处理的性能；根据监控结果，判断是否需要对数据表进行拆分；在判断结果为需要对数据表进行拆分的情况下，对数据表进行拆分处理。本发明解决了由于数据表管理中自动化程度低造成的人工工作量大且错误率高的技术问题。

Description

数据表处理方法及装置

技术领域

本发明涉及数据管理领域，具体而言，涉及一种数据表处理方法及装置。

背景技术

随着人们对信息需求的日益增大，日常生产及管理中的数据逐步增多，信息化社会中数据管理的重要性开始凸显，管理效率要求也日益提高。而相关技术中的数据表管理还主要基于系统人员的手动管理备份，如当数据库中数据表占用内存过大时，需要将部分使用率不高的数据表手动或者脚本备份转移，而系统维护人员在手动处理相关数据工作时，一方面日常监控及备份或转移的工作量巨大，另一方面在操作的过程中也很容易发生误操作事件，导致数据丢失或处理错误，进而造成不可估量的生产损失。

针对上述的问题，目前尚未提出有效的解决方案。

发明内容

本发明实施例提供了一种数据表处理方法及装置，以至少解决由于数据表管理中自动化程度低造成的人工工作量大且错误率高的技术问题。

根据本发明实施例的一个方面，提供了一种数据表处理方法，包括：对服务器的性能进行监控，获得监控结果，其中，所述服务器的性能为所述服务对数据表进行处理的性能；根据所述监控结果，判断是否需要对所述数据表进行拆分；在判断结果为需要对所述数据表进行拆分的情况下，对所述数据表进行拆分处理。

可选的，根据所述监控结果，判断是否需要对所述数据表进行拆分包括：在所述监控结果包括处理所述数据表占用所述服务器的内存大小的情况下，判断占用的所述内存大小是否超过预定阈值；在判断结果为占用的所述内存大小超过所述预定阈值的情况下，确定需要对所述数据表进行拆分。

可选的，在判断占用的所述内存大小是否超过所述预定阈值之后，还包括：在判断结果为占用的所述内存大小超过所述预定阈值的情况下，发出用于指示所述数据表占用服务器内存过大的告警信息。

可选的，在判断占用的所述内存大小是否超过所述预定阈值之后，还包括：在判断结果为占用的所述内存大小超过所述预定阈值的情况下，对从所述数据表中选择出的数据进行打包处理，获得打包数据；将所述打包数据转移到预定备份服务器中进行处理。

可选的，对所述数据表进行拆分处理包括：确定用于对所述数据表进行拆分的拆分规则，其中，所述拆分规则包括：时间顺序，主键顺序；根据确定的所述拆分规则，对所述数据表进行拆分处理。

可选的，在对所述数据表进行拆分处理之后，还包括：判断所述数据表中的数据的数据量是否达到预定数据量阈值；在判断结果为所述数据表中的数据的数据量达到所述预定数据量阈值的情况下，将所述数据表整体进行备份，以及重建与所述数据表结构相同的数据表。

根据本发明实施例的另一方面，还提供了一种数据表处理装置，包括：监控模块，用于对服务器的性能进行监控，获得监控结果，其中，所述服务器的性能为所述服务对数据表进行处理的性能；第一判断模块，用于根据所述监控结果，判断是否需要对所述数据表进行拆分；拆分模块，用于在判断结果为需要对所述数据表进行拆分的情况下，对所述数据表进行拆分处理。

可选的，所述第一判断模块包括：判断单元，用于在所述监控结果包括处理所述数据表占用所述服务器的内存大小的情况下，判断占用的所述内存大小是否超过预定阈值；第一确定单元，用于在判断结果为占用的所述内存大小超过所述预定阈值的情况下，确定需要对所述数据表进行拆分。

可选的，所述装置还包括：发出模块，用于在判断占用的所述内存大小是否超过所述预定阈值之后，在判断结果为占用的所述内存大小超过所述预定阈值的情况下，发出用于指示所述数据表占用服务器内存过大的告警信息。

可选的，所述装置还包括：打包模块，用于在判断占用的所述内存大小是否超过所述预定阈值之后，在判断结果为占用的所述内存大小超过所述预定阈值的情况下，对从所述数据表中选择出的数据进行打包处理，获得打包数据；转移模块，用于将所述打包数据转移到预定备份服务器中进行处理。

可选的，所述拆分模块包括：第二确定单元，用于确定用于对所述数据表进行拆分的拆分规则，其中，所述拆分规则包括：时间顺序，主键顺序；处理单元，用于根据确定的所述拆分规则，对所述数据表进行拆分处理。

可选的，所述装置还包括：第二判断模块，用于在对所述数据表进行拆分处理之后，判断所述数据表中的数据的数据量是否达到预定数据量阈值；备份模块，用于在判断结果为所述数据表中的数据的数据量达到所述预定数据量阈值的情况下，将所述数据表整体进行备份，以及重建与所述数据表结构相同的数据表。

在本发明实施例中，采用智能化自动处理的方式，通过对服务器的性能进行监控，进而根据监控结果，判断是否需要对数据表进行拆分，并在判断结果为是的情况下对数据表进行拆分处理，达到了根据对服务器性能的监控对数据表进行自动处理的目的，从而实现了减少服务器数据表人工处理数据工作的技术效果，进而解决了由于数据表管理中自动化程度低造成的人工工作量大且错误率高的技术问题。

附图说明

此处所说明的附图用来提供对本发明的进一步理解，构成本申请的一部分，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。在附图中：

图1是根据本发明实施例的数据表处理方法的流程图；

图2是根据本发明实施例的一种基于可视化数据表管理系统的数据管理方案的示意图；

图3是根据本发明实施例的数据表处理装置的结构框图；

图4是根据本发明实施例的数据表处理装置的第一判断模块34的结构框图；

图5是根据本发明实施例的数据表处理装置的优选结构框图一；

图6是根据本发明实施例的数据表处理装置的优选结构框图二；

图7是根据本发明实施例的数据表处理装置的拆分模块36的结构框图；

图8是根据本发明实施例的数据表处理装置的优选结构框图三。

具体实施方式

为了使本技术领域的人员更好地理解本发明方案，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分的实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本发明保护的范围。

需要说明的是，本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本发明的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。

根据本发明实施例，提供了一种数据表处理的方法实施例，需要说明的是，在附图的流程图示出的步骤可以在诸如一组计算机可执行指令的计算机系统中执行，并且，虽然在流程图中示出了逻辑顺序，但是在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤。

图1是根据本发明实施例的数据表处理方法的流程图，如图1所示，该方法包括如下步骤：

步骤S102，对服务器的性能进行监控，获得监控结果，其中，服务器的性能为服务对数据表进行处理的性能；

步骤S104，根据监控结果，判断是否需要对数据表进行拆分；

步骤S106，在判断结果为需要对数据表进行拆分的情况下，对数据表进行拆分处理。

通过上述步骤，可以实现在本发明实施例中，采用智能化拆分处理的方式，通过对服务器的性能进行监控，进而根据监控结果，判断是否需要对数据表进行拆分，并在判断结果为是的情况下对数据表进行拆分处理，达到了根据对服务器性能的监控智能对数据表进行自动处理的目的，从而实现了减少服务器数据表人工处理数据工作的技术效果，进而解决了由于数据表管理中自动化程度低造成的人工工作量大且错误率高的技术问题。

优选的，根据监控结果，判断是否需要对数据表进行拆分可以包括：在监控结果包括处理数据表占用服务器的内存大小的情况下，判断占用的内存大小是否超过预定阈值；在判断结果为占用的内存大小超过预定阈值的情况下，确定需要对数据表进行拆分。其中，需要说明的是，因进行监控的服务器的性能为服务对数据表进行处理的性能，而上述服务器性能包括多个方面，如读写IO(Input and Output)性能、中央处理器CPU(CenterProcess Unit)性能、内存大小及数据表占用内存大小等，故除去上述优选实施方案中选用的判断数据表占用服务器的内存大小是否超过预定阈值的方式，上述其他服务器性能皆可作为判断数据表是否需要拆分的服务器性能的选择依据。采用依据数据表占用服务器的内存大小来进行判断，具有判断直接，准确，高效的特点。

可选的，在判断占用的内存大小是否超过预定阈值之后，还可以包括：在判断结果为占用的内存大小超过预定阈值的情况下，发出用于指示数据表占用服务器内存过大的告警信息。通过采用告警信息的方式，使得用户能够快速地知晓数据表占用服务器内存过大，因此，可以提醒用户尽快的对后续可能发生的情况进行关注，能够有效地实现对意外情况的处理。

其中，该告警信息可以为多种，例如，可以是系统或网页提示信息，也可以为短信或邮件的方式，将提示信息发送至设置好的相关工作人员的移动终端，还可以为报警音或屏幕闪烁提示，以尽快告知相关工作人员数据表占用服务器内存过大的现状并提醒尽快采取相关措施。

同时除去上述对数据表的拆分处理方式，为了缓解数据表占用服务器内存过大的情况，在判断占用的内存大小是否超过预定阈值之后，还可以包括：在判断结果为占用的内存大小超过预定阈值的情况下，对从数据表中选择出的数据进行打包处理，获得打包数据；之后再将打包数据转移到预定备份服务器中进行处理。其中，该预定备份处理器为缓解服务器内存超过一定范围时的备份用处理器。同时，上述选择数据进行打包处理时，可以有多种处理方式，例如，定时选择数据的处理方式，即可以根据用户需要设定不同的预定时间间隔，每过该预定时间的时长，服务器中的数据表自动备份至上述预定备份服务器中，以使服务器一直保持优良的服务性能。

优选的，对数据表进行拆分处理可以包括：确定用于对数据表进行拆分的拆分规则，其中，拆分规则包括：时间顺序，主键顺序；根据确定的拆分规则，对数据表进行拆分处理。需要说明的是，在数据表中经常有一个列或多列的组合，其值能唯一的标识数据表中的每一个数据，这样用于唯一标识数据表中数据的标识称之为主键，通过该主键可以对数据表中的数据进行筛选。可选的，上述拆分规则还可以为用户自定义的其他规则，如用途顺序、用户顺序等。同时，还可以设定在对数据表根据设定的拆分顺序拆分成功后，将拆分成功结果返回给用户，以使用户能清楚掌握相关数据表的处理结果。具体的，该拆分结果告知方式可以为系统或网页提示信息，也可以为短信或邮件的方式发送至设置好的相关工作人员的移动终端。

另外，为实现数据表的整体安全和高效，在对数据表进行拆分处理之后，还可以包括：判断数据表中的数据的数据量是否达到预定数据量阈值；在判断结果为数据表中的数据的数据量达到预定数据量阈值的情况下，将数据表整体进行备份，以及重建与数据表结构相同的数据表。即通过对数据表进行拆分之后，数据表中的数据量还是较大时，可以将不适宜拆分的数据表先备份出来，存储在备份服务器中。而后，在本服务器中重建一个与原数据表的表结构完全相同的数据表，用于对数据进行读取，写入等处理。

通过本发明实施例及上述各优选实施方案，可以实现在对服务器性能监控，如IO监控、内存监控的基础上，在服务器性能达到一定阈值后，对部分占比较高的数据表进行个性化合理化的拆分处理，以保证常用数据表生产数据的读取写入操作。

图2是根据本发明优选实施方式的一种基于可视化数据表管理系统的数据管理方案的流程图。

需要说明的是，上述可视化数据表管理系统，可以实时监控服务器数据表的大小，并将超出阈值的数据表进行智能化拆分和重建，以保证生产线数据读取写入正常。该数据管理方案致力于减少服务器数据表的表维护人员手动处理数据的工作，将部分人工需要处理的工作放到系统上执行，以减少人工处理数据出现的失误率。具体的，用户可以通过浏览器访问上述可视化数据管理系统，使用账号密码登录后，可以通过以下步骤查看生产服务器数据表：

步骤S202，提供查询数据表结构，表字段说明，数据表当前占用服务器内存大小的功能；

步骤S204，提供个性化针对第一点涉及项目监控告警设置，并在达到监控设置阈值定后对数据表进行个性化处理。

其中，在步骤S202中可查看当前服务器性能(IO性能，CPU性能，数据表占用内存大小，服务器整体内存大小等)。

在步骤S204中，个性化数据处理包括将数据按照一定规则(用户自定义，按照时间，按照主键顺序等)拆分，如拆分成功返回拆分成功结果。数据表占用生产服务器(即上述的服务器，称之为生产服务器主要是因为该服务器为处理各种生产过程中产生的数据量较大的数据表)内存过大时，支持用户自选择打包转移数据到指定数据备份服务器。支持用户自选择对生产数据表按照时间间隔等条件下的数据备份。

根据本发明实施例的另一方面，还提供了一种数据表处理装置，图3是根据本发明实施例的数据表处理装置的结构框图，如图3所示，该数据表处理装置包括：监控模块32、第一判断模块34、拆分模块36。下面对该数据表处理装置进行详细说明。

监控模块32，用于对服务器的性能进行监控，获得监控结果，其中，服务器的性能为服务对数据表进行处理的性能；

第一判断模块34，连接于上述监控模块32，用于根据监控结果，判断是否需要对数据表进行拆分；

拆分模块36，连接于上述第一判断模块34，用于在判断结果为需要对数据表进行拆分的情况下，对数据表进行拆分处理。

图4是根据本发明实施例的数据表处理装置的第一判断模块34的结构框图，如图4所示，该第一判断模块34包括：判断单元42、第一确定单元44。下面对该第一判断模块34进行详细说明。

判断单元42，用于在监控结果包括处理数据表占用服务器的内存大小的情况下，判断占用的内存大小是否超过预定阈值；

第一确定单元44，连接于上述判断单元42，用于在判断结果为占用的内存大小超过预定阈值的情况下，确定需要对数据表进行拆分。

图5是根据本发明实施例的数据表处理装置的优选结构框图一，如图5所示，该数据表处理装置除含图4中所有结构外，还包括：发出模块52。下面对该数据表处理装置进行详细说明。

发出模块52，连接于上述判断单元42，用于在判断占用的内存大小是否超过预定阈值之后，在判断结果为占用的内存大小超过预定阈值的情况下，发出用于指示数据表占用服务器内存过大的告警信息。

图6是根据本发明实施例的数据表处理装置的优选结构框图二，如图6所示，该数据表处理装置除含图4中所有结构外，还包括：打包模块62、转移模块64。下面对该数据表处理装置进行详细说明。

打包模块62，连接于上述判断单元42，用于在判断占用的内存大小是否超过预定阈值之后，在判断结果为占用的内存大小超过预定阈值的情况下，对从数据表中选择出的数据进行打包处理，获得打包数据；

转移模块64，连接于上述打包模块62，用于将打包数据转移到预定备份服务器中进行处理。

图7是根据本发明实施例的数据表处理装置的拆分模块36的结构框图，如图7所示，该拆分模块36包括：第二确定单元72、处理单元74。下面对该拆分模块36进行详细说明。

第二确定单元72，用于确定用于对数据表进行拆分的拆分规则，其中，拆分规则包括：时间顺序，主键顺序；

处理单元74，连接于上述第二确定单元72，用于根据确定的拆分规则，对数据表进行拆分处理。

图8是根据本发明实施例的数据表处理装置的优选结构框图三，如图8所示，该数据表处理装置除含图3中所有结构外，还包括：第二判断模块82、备份模块84。下面对该数据表处理装置进行详细说明。

第二判断模块82，连接于上述拆分模块36，用于在对数据表进行拆分处理之后，判断数据表中的数据的数据量是否达到预定数据量阈值；

备份模块84，连接于上述第二判断模块82，用于在判断结果为数据表中的数据的数据量达到预定数据量阈值的情况下，将数据表整体进行备份，以及重建与数据表结构相同的数据表。

根据本发明实施例的另一方面，还提供了一种存储介质，该存储介质包括存储的程序，其中，在程序运行时控制存储介质所在设备执行上述任意一项的数据表处理方法。

根据本发明实施例的另一方面，还提供了一种处理器，其特征在于，该处理器用于运行程序，其中，程序运行时执行上述任意一项的数据表处理方法。

上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。

在本发明的上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述的部分，可以参见其他实施例的相关描述。

在本申请所提供的几个实施例中，应该理解到，所揭露的技术内容，可通过其它的方式实现。其中，以上所描述的装置实施例仅仅是示意性的，例如所述单元的划分，可以为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，单元或模块的间接耦合或通信连接，可以是电性或其它的形式。

所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。

另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。

所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可为个人计算机、服务器或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、移动硬盘、磁碟或者光盘等各种可以存储程序代码的介质。

以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。

Claims (12)

1.一种数据表处理方法，其特征在于，包括：

对服务器的性能进行监控，获得监控结果，其中，所述服务器的性能为所述服务对数据表进行处理的性能；

根据所述监控结果，判断是否需要对所述数据表进行拆分；

在判断结果为需要对所述数据表进行拆分的情况下，对所述数据表进行拆分处理。

2.根据权利要求1所述的方法，其特征在于，根据所述监控结果，判断是否需要对所述数据表进行拆分包括：

在所述监控结果包括处理所述数据表占用所述服务器的内存大小的情况下，判断占用的所述内存大小是否超过预定阈值；

在判断结果为占用的所述内存大小超过所述预定阈值的情况下，确定需要对所述数据表进行拆分。

3.根据权利要求2所述的方法，其特征在于，在判断占用的所述内存大小是否超过所述预定阈值之后，还包括：

在判断结果为占用的所述内存大小超过所述预定阈值的情况下，发出用于指示所述数据表占用服务器内存过大的告警信息。

4.根据权利要求2所述的方法，其特征在于，在判断占用的所述内存大小是否超过所述预定阈值之后，还包括：

在判断结果为占用的所述内存大小超过所述预定阈值的情况下，对从所述数据表中选择出的数据进行打包处理，获得打包数据；

将所述打包数据转移到预定备份服务器中进行处理。

5.根据权利要求1至4中任一项所述的方法，其特征在于，对所述数据表进行拆分处理包括：

确定用于对所述数据表进行拆分的拆分规则，其中，所述拆分规则包括：时间顺序，主键顺序；

根据确定的所述拆分规则，对所述数据表进行拆分处理。

6.根据权利要求1至4中任一项所述的方法，其特征在于，在对所述数据表进行拆分处理之后，还包括：

判断所述数据表中的数据的数据量是否达到预定数据量阈值；

在判断结果为所述数据表中的数据的数据量达到所述预定数据量阈值的情况下，将所述数据表整体进行备份，以及重建与所述数据表结构相同的数据表。

7.一种数据表处理装置，其特征在于，包括：

监控模块，用于对服务器的性能进行监控，获得监控结果，其中，所述服务器的性能为所述服务对数据表进行处理的性能；

第一判断模块，用于根据所述监控结果，判断是否需要对所述数据表进行拆分；

拆分模块，用于在判断结果为需要对所述数据表进行拆分的情况下，对所述数据表进行拆分处理。

8.根据权利要求7所述的装置，其特征在于，所述第一判断模块包括：

判断单元，用于在所述监控结果包括处理所述数据表占用所述服务器的内存大小的情况下，判断占用的所述内存大小是否超过预定阈值；

第一确定单元，用于在判断结果为占用的所述内存大小超过所述预定阈值的情况下，确定需要对所述数据表进行拆分。

9.根据权利要求8所述的装置，其特征在于，所述装置还包括：

发出模块，用于在判断占用的所述内存大小是否超过所述预定阈值之后，在判断结果为占用的所述内存大小超过所述预定阈值的情况下，发出用于指示所述数据表占用服务器内存过大的告警信息。

10.根据权利要求8所述的装置，其特征在于，所述装置还包括：

打包模块，用于在判断占用的所述内存大小是否超过所述预定阈值之后，在判断结果为占用的所述内存大小超过所述预定阈值的情况下，对从所述数据表中选择出的数据进行打包处理，获得打包数据；

转移模块，用于将所述打包数据转移到预定备份服务器中进行处理。

11.根据权利要求7至10中任一项所述的装置，其特征在于，所述拆分模块包括：

第二确定单元，用于确定用于对所述数据表进行拆分的拆分规则，其中，所述拆分规则包括：时间顺序，主键顺序；

处理单元，用于根据确定的所述拆分规则，对所述数据表进行拆分处理。

12.根据权利要求7至10中任一项所述的装置，其特征在于，所述装置还包括：

第二判断模块，用于在对所述数据表进行拆分处理之后，判断所述数据表中的数据的数据量是否达到预定数据量阈值；

备份模块，用于在判断结果为所述数据表中的数据的数据量达到所述预定数据量阈值的情况下，将所述数据表整体进行备份，以及重建与所述数据表结构相同的数据表。