CN110909064A - 一种基于数据库的数据采集方法及装置 - Google Patents

Abstract

本申请实施例提供一种基于数据库的数据采集方法及装置，涉及数据处理技术领域，该方法包括：对待采集数据库进行探查，得到待采集数据库的数据库信息；根据数据库信息获取与待采集数据库对应的目标数据采集方式；根据目标数据采集方式对待采集数据库进行数据采集。可见，实施这种实施方式，能够提高数据采集的稳定性，避免对数据库性能造成影响。

Description

一种基于数据库的数据采集方法及装置

技术领域

本申请涉及数据处理技术领域，具体而言，涉及一种基于数据库的数据采集方法及装置。

背景技术

目前，虽然各行业IT发展成熟度不一致，但经过了大批量业务系统建设阶段和业务系统运转阶段，其积累的数据资源数量也变得非常巨大。然而，在实践中发现，该数量级的数据采集会存在较多的问题，如对数据库性能造成的影响以及对数据采集稳定性造成的影响等等。

发明内容

本申请实施例的目的在于提供一种基于数据库的数据采集方法及装置，能够提高数据采集的稳定性，避免对数据库性能造成影响。

本申请实施例第一方面提供了一种基于数据库的数据采集方法，包括：

对待采集数据库进行探查，得到所述待采集数据库的数据库信息；

根据所述数据库信息获取与所述待采集数据库对应的目标数据采集方式；

根据所述目标数据采集方式对所述待采集数据库进行数据采集。

在上述实现过程中，该方法可以优先对待采集数据库进行探查，得到待采集数据库的数据库信息，并根据该数据信息获取与待采集数据库对应的目标数据采集方式；最后，在获取到目标数据的采集方式之后，根据目标数据采集方式对带刺激数据库进行数据采集。可见，实施这种实施方式，能够根据待采集数据的数据库类型确定特定的数据采集方式，从而使得数据的采集可以使用最佳的数据采集方式，进而提高数据采集的稳定性，避免数据采集对数据库造成相关的影响。

进一步地，所述数据库信息包括所述待采集数据库的分区信息、所述待采集数据库的表信息、所述待采集数据库的索引信息中的一种或多种。

在上述实现过程中，该数据库信息可以包括待采集数据库的分区信息、待采集数据库的表信息、待采集数据库的索引信息中的一种或多种。可见，实施这种实施方式，可以具体化数据库信息，从而便于对数据信息进行具体化的识别与目标采集方式的匹配，进而提高数据采集的效果。

进一步地，所述根据所述数据库信息获取与所述待采集数据库对应的目标数据采集方式的步骤包括：

根据所述数据库信息获取与所述待采集数据库相匹配的至少一种数据采集方式；

根据预设的采集方式优先级在所述至少一种数据采集方式中确定出目标数据采集方式。

在上述实现过程中，该方法在获取目标数据采集方式时，可以优先根据数据库信息获取待采集数据库对应的至少一种采集方式，然后再根据预设的采集方式优先级在至少一种数据采集方式中进行目标数据采集方式的确定，得到目标数据采集方式；其中，采集方式优先级可以根据数据库信息的类型或多寡来进行预设。可见，实施这种实施方式，能够通过采集方式优先级来确定出最优的目标数据采集方式，从而便于后续步骤根据该目标数据采集方式进行高效、稳定的数据采集。

进一步地，所述数据采集方式为分区分表采集方式、索引采集方式、全量导出采集方式、导出文件采集方式、并行查询采集方式中的一种。

在上述实现过程中，数据采集方式包括分区分表采集方式、索引采集方式、全量导出采集方式、导出文件采集方式以及并行查询采集方式等种类的采集方式，其中，每种数据采集方式具有其特点以及最佳使用场景。可见，实施这种实施方式，该方法能够在上述多种数据采集方式中获取最优的采集方式，从而能够避免在大量数据采集方式中进行目标数据采集方式的低效确定，并避免其他数据采集方式造成的无谓影响，进而提高该方法的数据采集效率以及数据采集稳定性。

进一步地，所述根据所述目标数据采集方式对所述待采集数据库进行数据采集的步骤包括：

检测是否接收到针对所述目标数据采集方式的修改指令；

当未接收到针对所述目标数据采集方式的修改指令时，根据所述修改指令对所述目标数据采集方式进行修改，得到修改数据采集方式；

根据所述修改数据采集方式对所述待采集数据库进行数据采集。

在上述实现过程中，该方法在对待采集数据库进行数据采集的的过程中，可以优先检测是否接收到针对目标采集方式的修改指令，若接收到该修改指令时，根据修改指令对目标数据采集方式进行修改，得到修改数据采集方式，然后再根据修改数据采集方式对待采集数据库进行数据采集。可见，实施这种实施方式，可以提供一种修改空间，以使目标数据采集方式可以根据修改指令进行修改，从而得到更好的修改数据采集方式，进而提高数据采集的采集效果。

本申请实施例第二方面提供了一种基于数据库的数据采集装置，所述数据采集装置包括：

探查单元，用于对待采集数据库进行探查，得到所述待采集数据库的数据库信息；

获取单元，用于根据所述数据库信息获取与所述待采集数据库对应的目标数据采集方式；

采集单元，用于根据所述目标数据采集方式对所述待采集数据库进行数据采集。

在上述实现过程中，该数据采集装置可以通过探查单元来探查采集数据库的数据库信息，然后通过获取单元来获取采集数据库对应的目标数据采集方式，最后通过采集单元来实现对待采集数据库的数据采集操作。可见，实施这种实施方式，该数据采集装置可以通过多个单元的协同工作来提高数据采集的效果，同时保证数据的使用稳定性，避免了数据库出现不稳定的问题。

进一步地，所述数据库信息包括所述待采集数据库的分区信息、所述待采集数据库的表信息、所述待采集数据库的索引信息中的一种或多种。

在上述实现过程中，该数据库信息可以包括待采集数据库的分区信息、待采集数据库的表信息、待采集数据库的索引信息中的一种或多种。可见，实施这种实施方式，可以具体化数据库信息，从而便于对数据信息进行具体化的识别与目标采集方式的匹配，进而提高数据采集的效果。

进一步地，所述获取单元包括：

匹配子单元，用于根据所述数据库信息获取与所述待采集数据库相匹配的至少一种数据采集方式；

确定子单元，用于根据预设的采集方式优先级在所述至少一种数据采集方式中确定出目标数据采集方式。

在上述实现过程中，获取单元可以通过匹配单元来实现至少一种数据采集方式的匹配获取，然后再通过确定子单元来根据预设的采集方式优先级确定数据采集方式中的目标数据采集方式。可见，实施这种实施方式，获取单元可以通过多个子单元来进行目标数据采集方式的准确高效获取，从而使得目标数据采集方式可以有利于提高数据的采集效果和数据的采集稳定性。

进一步地，所述数据采集方式为分区分表采集方式、索引采集方式、全量导出采集方式、导出文件采集方式、并行查询采集方式中的一种。

在上述实现过程中，数据采集方式包括分区分表采集方式、索引采集方式、全量导出采集方式、导出文件采集方式以及并行查询采集方式等种类的采集方式，其中，每种数据采集方式具有其特点以及最佳使用场景。可见，实施这种实施方式，该方法能够在上述多种数据采集方式中获取最优的采集方式，从而能够避免在大量数据采集方式中进行目标数据采集方式的低效确定，并避免其他数据采集方式造成的无谓影响，进而提高该方法的数据采集效率以及数据采集稳定性。

进一步地，采集单元包括：

检测子单元，用于检测是否接收到针对所述目标数据采集方式的修改指令；

修改子单元，用于在接收到针对所述目标数据采集方式的修改指令时，根据所述修改指令对所述目标数据采集方式进行修改，得到修改数据采集方式；

采集子单元，用于根据所述修改数据采集方式对所述待采集数据库进行数据采集。

在上述实现过程中，采集单元可以通过检测子单元来检测目标数据采集方式的修改指令，并在检测子单元检测到修改指令的时候，根据该修改执行对目标数据采集方式进行修改，得到修改数据采集方式，并促使采集子单元根据修改数据采集方式对待采集数据库进行数据采集。可见，实施这种实施方式，采集单元可以通过检测子单元、修改子单元以及采集子单元来进行外来修改指令的识别获取以及采集方式的修改，从而使得该数据采集方式可以具有更高的有效性并能够应对更多的使用场景，从而提高数据采集的效果与数据采集的普适性。

本申请实施例第三方面提供了一种电子设备，包括存储器以及处理器，所述存储器用于存储计算机程序，所述处理器运行所述计算机程序以使所述电子设备执行本申请实施例第一方面中任一项所述的基于数据库的数据采集方法。

本申请实施例第四方面提供了一种计算机可读存储介质，其存储有计算机程序指令，所述计算机程序指令被一处理器读取并运行时，执行本申请实施例第一方面中任一项所述的基于数据库的数据采集方法。

附图说明

为了更清楚地说明本申请实施例的技术方案，下面将对本申请实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本申请的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。

图1为本申请实施例提供的一种基于数据库的数据采集方法的流程示意图；

图2为本申请实施例提供的另一种基于数据库的数据采集方法的流程示意图；

图3为本申请实施例提供的一种基于数据库的数据采集装置的结构示意图；

图4为本申请实施例提供的另一种基于数据库的数据采集装置的结构示意图。

具体实施方式

下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行描述。

应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释。同时，在本申请的描述中，术语“第一”、“第二”等仅用于区分描述，而不能理解为指示或暗示相对重要性。

实施例1

请参看图1，图1为本申请实施例提供了一种基于数据库的数据采集方法的流程示意图。该基于数据库的数据采集方法应用于大量的数据采集场景当中，具体的场景可以为采集单表百亿级的数据至hdfs目标端的场景当中。其中，该基于数据库的数据采集方法包括：

S101、对待采集数据库进行探查，得到待采集数据库的数据库信息。

本实施例中，数据库信息包括待采集数据库的分区信息、待采集数据库的表信息、待采集数据库的索引信息中的一种或多种。

S102、根据数据库信息获取与待采集数据库对应的目标数据采集方式。

本实施例中，在获取到数据库信息之后，可以根据数据信息来确定目标数据采集方式，其中，对于mysql、pg来说，其必然存在分区表，或者分库。而对于分库的处理，则是要先了解分库原则，然后根据每个库的条件生成sql，同时并行抽取不同库的数据；至于，对于分区表的处理，使用多分区并行sql处理的方式，可以达到最佳效果。

在本实施例中，对于oracle(一种数据库名称)来说，该方法可以采取分区表策略，每个分区在不同的块结构上，并行抽取分区可以对减小数据库压力。

在本实施例中，对于greenplum(一款开源的分布式数据库)等分布式数据库，该方法可以采用数据库自带工具或者直接抽取各个库的方式达到最佳效果。

在本实施例中，如果不存在分区，则采用索引卡条件抽取。

在本实施例中，oracle(一种数据库名称)自带的ogg(Oracle Golden Gate，概念和机制配置)工具，可以用于初始化全量数据推到日志的方式，并采用oggbigdata(ogg大数据)组建，直接落入到hive(基于Hadoop的一个数据仓库工具)中。

在本实施例中，如果分区索引都不存在，则考虑导出csv或者采用数据库并行查询的方式，虽然该种方式会严重消耗源库的内存。

S103、根据目标数据采集方式对待采集数据库进行数据采集。

本实施例中，对于具体采集情况中遇到的任何问题的解决手段皆不作任何限定。

本实施例中，实施步骤S101～S103可以在进行单表百亿级的数据采集到hdfs时，对单表情况进行分析，并对数据采集作业进行推荐配置，促使数据采集装置可以根据推荐配置和分析结果成功将百亿级单表数据采集到hdfs目标端。

本实施例中，该方法的执行主体可以为计算机、服务器等计算装置，对此本实施例中不作任何限定。

在本实施例中，该方法的执行主体还可以为智能手机和平板等智能设备，对此本实施例中不作任何限定。

可见，实施图1所描述的基于数据库的数据采集方法，能够优先对待采集数据库进行探查，得到待采集数据库的数据库信息，并根据该数据信息获取与待采集数据库对应的目标数据采集方式；最后，在获取到目标数据的采集方式之后，根据目标数据采集方式对带刺激数据库进行数据采集。可见，实施这种实施方式，能够根据待采集数据的数据库类型确定特定的数据采集方式，从而使得数据的采集可以使用最佳的数据采集方式，进而提高数据采集的稳定性，避免数据采集对数据库造成相关的影响。

实施例2

请参看图2，图2为本申请实施例提供的另一种基于数据库的数据采集方法的流程示意图。图2所描述的基于数据库的数据采集方法的流程示意图是根据图1所描述的基于数据库的数据采集方法的流程示意图进行改进得到的。其中，该基于数据库的数据采集方法包括：

S201、对待采集数据库进行探查，得到待采集数据库的数据库信息。

本实施例中，数据库信息包括待采集数据库的分区信息、待采集数据库的表信息、待采集数据库的索引信息中的一种或多种。

S202、根据数据库信息获取与待采集数据库相匹配的至少一种数据采集方式。

本实施例中，数据采集方式为分区分表采集方式、索引采集方式、全量导出采集方式、导出文件采集方式、并行查询采集方式中的一种。

S203、根据预设的采集方式优先级在至少一种数据采集方式中确定出目标数据采集方式。

本实施例中，数据采集方式为分区分表采集方式、索引采集方式、全量导出采集方式、导出文件采集方式、并行查询采集方式中的一种。

本实施例中，以上数据采集方式均为动态切换，系统推荐优先级为：分区/分表抽取>索引抽取>ogg全量导出>导出文件抽取>并行查询抽取。

S204、检测是否接收到针对目标数据采集方式的修改指令，若是，则执行步骤S205；若否，结束本流程。

本实施例中，当未接收到针对目标数据采集方式的修改指令时，该方法还包括：

根据目标数据采集方式对待采集数据库进行数据采集。

实施这种实施方式，该方法可以适应是否存在修改的两种情况，从而提高基于数据库的数据采集稳定性。

本实施例中，该过程可以为数据采集工程师确认推荐参数的过程。

S205、根据修改指令对目标数据采集方式进行修改，得到修改数据采集方式。

本实施例中，该过程可以为数据采集工程师确认推荐参数过程后，数据采集工程师认定推荐参数不佳的后续操作过程。

S206、根据修改数据采集方式对待采集数据库进行数据采集。

本实施例中，对于具体采集情况中遇到的任何问题的解决手段皆不作任何限定。

本实施例中，该方法的执行主体可以为计算机、服务器等计算装置，对此本实施例中不作任何限定。

在本实施例中，该方法的执行主体还可以为智能手机和平板等智能设备，对此本实施例中不作任何限定。

可见，实施图2所描述的基于数据库的数据采集方法，能够优先对待采集数据库进行探查，得到待采集数据库的数据库信息，并根据该数据信息获取与待采集数据库对应的目标数据采集方式；最后，在获取到目标数据的采集方式之后，根据目标数据采集方式对带刺激数据库进行数据采集。可见，实施这种实施方式，能够根据待采集数据的数据库类型确定特定的数据采集方式，从而使得数据的采集可以使用最佳的数据采集方式，进而提高数据采集的稳定性，避免数据采集对数据库造成相关的影响。另外，实施这种实施方式，还能够对关系型数据库的百亿级的表的数据、索引、分区等信息进行探查，然后按照探查到的信息推荐该使用哪种技术进行数据的抽取，避免抽取速度慢、无法抽取、严重影响源库性能等问题。

实施例3

请参看图3，图3为本申请实施例提供的一种基于数据库的数据采集装置的结构示意图。其中，该基于数据库的数据采集装置包括：

探查单元310，用于对待采集数据库进行探查，得到待采集数据库的数据库信息；

获取单元320，用于根据数据库信息获取与待采集数据库对应的目标数据采集方式；

采集单元330，用于根据目标数据采集方式对待采集数据库进行数据采集。

本实施例中，数据库信息包括待采集数据库的分区信息、待采集数据库的表信息、待采集数据库的索引信息中的一种或多种。

实施这种实施方式，该数据库信息可以包括待采集数据库的分区信息、待采集数据库的表信息、待采集数据库的索引信息中的一种或多种。可见，实施这种实施方式，可以具体化数据库信息，从而便于对数据信息进行具体化的识别与目标采集方式的匹配，进而提高数据采集的效果。

本实施例中，对于数据集成装置的解释说明可以参照实施例1或实施例2中的描述，对此本实施例中不再多加赘述。

可见，实施图3所描述的基于数据库的数据采集装置，能够通过探查单元310来探查采集数据库的数据库信息，然后通过获取单元320来获取采集数据库对应的目标数据采集方式，最后通过采集单元330来实现对待采集数据库的数据采集操作。可见，实施这种实施方式，该数据采集装置可以通过多个单元的协同工作来提高数据采集的效果，同时保证数据的使用稳定性，避免了数据库出现不稳定的问题。

实施例4

请参看图4，图4为本申请实施例提供的另一种基于数据库的数据采集装置的结构示意图。图4所描述的基于数据库的数据采集装置的结构示意图是根据图3所描述的基于数据库的数据采集装置的结构示意图进行改进得到的。其中，上述获取单元320包括：

匹配子单元321，用于根据数据库信息获取与待采集数据库相匹配的至少一种数据采集方式；

确定子单元322，用于根据预设的采集方式优先级在至少一种数据采集方式中确定出目标数据采集方式。

实施这种实施方式，获取单元320可以通过匹配单元321来实现至少一种数据采集方式的匹配获取，然后再通过确定子单元322来根据预设的采集方式优先级确定数据采集方式中的目标数据采集方式。可见，实施这种实施方式，获取单元320可以通过多个子单元来进行目标数据采集方式的准确高效获取，从而使得目标数据采集方式可以有利于提高数据的采集效果和数据的采集稳定性。

本实施例中，数据采集方式为分区分表采集方式、索引采集方式、全量导出采集方式、导出文件采集方式、并行查询采集方式中的一种。

实施这种实施方式，数据采集方式包括分区分表采集方式、索引采集方式、全量导出采集方式、导出文件采集方式以及并行查询采集方式等种类的采集方式，其中，每种数据采集方式具有其特点以及最佳使用场景。可见，实施这种实施方式，该方法能够在上述多种数据采集方式中获取最优的采集方式，从而能够避免在大量数据采集方式中进行目标数据采集方式的低效确定，并避免其他数据采集方式造成的无谓影响，进而提高该方法的数据采集效率以及数据采集稳定性。

作为一种可选的实施方式，采集单元330包括：

检测子单元331，用于检测是否接收到针对目标数据采集方式的修改指令；

修改子单元332，用于在接收到针对目标数据采集方式的修改指令时，根据修改指令对目标数据采集方式进行修改，得到修改数据采集方式；

采集子单元333，用于根据修改数据采集方式对待采集数据库进行数据采集。

实施这种实施方式，采集单元330可以通过检测子单元331来检测目标数据采集方式的修改指令，并在检测子单元332检测到修改指令的时候，根据该修改执行对目标数据采集方式进行修改，得到修改数据采集方式，并促使采集子单元333根据修改数据采集方式对待采集数据库进行数据采集。可见，实施这种实施方式，采集单元330可以通过检测子单元331、修改子单元332以及采集子单元333来进行外来修改指令的识别获取以及采集方式的修改，从而使得该数据采集方式可以具有更高的有效性并能够应对更多的使用场景，从而提高数据采集的效果与数据采集的普适性。

本实施例中，对于数据集成装置的解释说明可以参照实施例1或实施例2中的描述，对此本实施例中不再多加赘述。

可见，实施图4所描述的基于数据库的数据采集装置，能够通过多个单元的协同工作来提高数据采集的效果，同时保证数据的使用稳定性，避免了数据库出现不稳定的问题。

本申请实施例提供了一种电子设备，包括存储器以及处理器，存储器用于存储计算机程序，处理器运行计算机程序以使电子设备执行本申请实施例1或实施例2中任一项基于数据库的数据采集方法。

本申请实施例提供了一种计算机可读存储介质，其存储有计算机程序指令，计算机程序指令被一处理器读取并运行时，执行本申请实施例1或实施例2中任一项基于数据库的数据采集方法。

在本申请所提供的几个实施例中，应该理解到，所揭露的装置和方法，也可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的，例如，附图中的流程图和框图显示了根据本申请的多个实施例的装置、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段或代码的一部分，所述模块、程序段或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现方式中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个连续的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或动作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。

另外，在本申请各个实施例中的各功能模块可以集成在一起形成一个独立的部分，也可以是各个模块单独存在，也可以两个或两个以上模块集成形成一个独立的部分。

所述功能如果以软件功能模块的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。

以上所述仅为本申请的实施例而已，并不用于限制本申请的保护范围，对于本领域的技术人员来说，本申请可以有各种更改和变化。凡在本申请的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本申请的保护范围之内。应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释。

以上所述，仅为本申请的具体实施方式，但本申请的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本申请揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本申请的保护范围之内。因此，本申请的保护范围应所述以权利要求的保护范围为准。

需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。

Claims (10)

1.一种基于数据库的数据采集方法，其特征在于，包括：

对待采集数据库进行探查，得到所述待采集数据库的数据库信息；

根据所述数据库信息获取与所述待采集数据库对应的目标数据采集方式；

根据所述目标数据采集方式对所述待采集数据库进行数据采集。

2.根据权利要求1所述的基于数据库的数据采集方法，其特征在于，所述数据库信息包括所述待采集数据库的分区信息、所述待采集数据库的表信息、所述待采集数据库的索引信息中的一种或多种。

3.根据权利要求1所述的基于数据库的数据采集方法，其特征在于，所述根据所述数据库信息获取与所述待采集数据库对应的目标数据采集方式的步骤包括：

根据所述数据库信息获取与所述待采集数据库相匹配的至少一种数据采集方式；

根据预设的采集方式优先级在所述至少一种数据采集方式中确定出目标数据采集方式。

4.根据权利要求3所述的基于数据库的数据采集方法，其特征在于，所述数据采集方式为分区分表采集方式、索引采集方式、全量导出采集方式、导出文件采集方式、并行查询采集方式中的一种。

5.根据权利要求1所述的基于数据库的数据采集方法，其特征在于，所述根据所述目标数据采集方式对所述待采集数据库进行数据采集的步骤包括：

检测是否接收到针对所述目标数据采集方式的修改指令；

当接收到针对所述目标数据采集方式的修改指令时，根据所述修改指令对所述目标数据采集方式进行修改，得到修改数据采集方式；

根据所述修改数据采集方式对所述待采集数据库进行数据采集。

6.一种基于数据库的数据采集装置，其特征在于，所述数据采集装置包括：

探查单元，用于对待采集数据库进行探查，得到所述待采集数据库的数据库信息；

获取单元，用于根据所述数据库信息获取与所述待采集数据库对应的目标数据采集方式；

采集单元，用于根据所述目标数据采集方式对所述待采集数据库进行数据采集。

7.根据权利要求6所述的基于数据库的数据采集装置，其特征在于，所述数据库信息包括所述待采集数据库的分区信息、所述待采集数据库的表信息、所述待采集数据库的索引信息中的一种或多种。

8.根据权利要求6所述的基于数据库的数据采集装置，其特征在于，所述获取单元包括：

匹配子单元，用于根据所述数据库信息获取与所述待采集数据库相匹配的至少一种数据采集方式；

确定子单元，用于根据预设的采集方式优先级在所述至少一种数据采集方式中确定出目标数据采集方式。

9.一种电子设备，其特征在于，所述电子设备包括存储器以及处理器，所述存储器用于存储计算机程序，所述处理器运行所述计算机程序以使所述电子设备执行权利要求1至5中任一项所述的基于数据库的数据采集方法。

10.一种可读存储介质，其特征在于，所述可读取存储介质中存储有计算机程序指令，所述计算机程序指令被一处理器读取并运行时，执行权利要求1至5任一项所述的基于数据库的数据采集方法。

Images