CN108829867A - 一种大数据的智能采集方法及系统 - Google Patents
一种大数据的智能采集方法及系统 Download PDFInfo
- Publication number
- CN108829867A CN108829867A CN201810654781.4A CN201810654781A CN108829867A CN 108829867 A CN108829867 A CN 108829867A CN 201810654781 A CN201810654781 A CN 201810654781A CN 108829867 A CN108829867 A CN 108829867A
- Authority
- CN
- China
- Prior art keywords
- data
- source database
- database
- updated
- field
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Landscapes
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本发明实施例公开了一种大数据的智能采集方法及系统，用于实现大数据的智能采集。本发明实施例方法包括：将源数据库与目标数据库的对应关系维护至配置管理；获取源数据库中的第一数据，所述第一数据包括表信息和字段信息；将所述第一数据维护至所述配置管理；根据所述配置管理将所述源数据库中的第二数据导入至所述目标数据库，所述第二数据为与所述第一数据对应的表数据和字段数据。因此，通过自动识别和感知源数据库中的第一数据，即表信息和字段信息，并将这些信息维护到配置管理中，采集的数据按字段顺序组装，导入到目标数据库中，从而实现大数据的智能采集。
Description
技术领域
本发明涉及数据处理领域，尤其涉及一种大数据的智能采集方法及系统。
背景技术
随着大数据时代的到来，各行业特别是政府机关整合的数据种类越来越多，一些数据甚至没有标准，在大数据平台下，由于数据源具有更复杂的多样性，数据采集的形式也变得更加复杂而多样，当然，业务场景也可能变得迥然不同。
目前业界流行的大数据采集方法都是通过手工进行信息的配置，如源表的表名、字段名、字段类型和长度等信息，以及映射到对应的目标数据系统的表名、字段名、字段类型和长度等信息，然后程序根据配置信息对源数据进行抓取，存储到目标数据系统中。
然而，该方法在较多源数据的情况下，对手工配置的工作人员的要求非常高，由于需要知道每张数据表的数据结构，如每个字段的类型、长度等信息，这种数据采集的方式效率较低。
发明内容
本发明实施例提供了一种大数据的智能采集方法及系统，用于实现大数据的智能采集。
本发明实施例第一方面提供了一种大数据的智能采集方法，包括：
将源数据库与目标数据库的对应关系维护至配置管理；
获取源数据库中的第一数据，所述第一数据包括表信息和字段信息；
将所述第一数据维护至所述配置管理；
根据所述配置管理将所述源数据库中的第二数据导入至所述目标数据库，所述第二数据为与所述第一数据对应的表数据和字段数据。
可选地，在所述根据所述配置管理和所述对应关系将所述源数据库中的第二数据导入至所述目标数据库之后，所述方法还包括：
若确定所述源数据库中的第一数据存在更新，则获取更新后的第一数据，所述更新后的第一数据包括更新后的表信息和/或更新后的字段信息；
根据所述更新后的第一数据更新所述配置管理，得到更新后的配置管理；
根据所述更新后的配置管理和所述对应关系将所述源数据库中的第三数据导入至所述目标数据库，所述第三数据为与所述更新后的第一数据对应的表数据和字段数据。
可选地，所述获取源数据库中的第一数据包括：
全量采集所述源数据库中的第一数据。
可选地，所述全量采集所述源数据库中的第一数据包括：
分页批量采集所述源数据库中的第一数据。
可选地，所述获取源数据库中的第一数据包括：
按照预设时长间隔采集所述源数据库中的第一数据。
所述按照预设时长间隔采集所述源数据库中的第一数据包括：
定时采集所述源数据库中的第一数据；
或，
实时采集所述源数据库中的第一数据。
可选地，在所述获取源数据库中的第一数据之前，所述方法还包括：
为所述源数据库支持的字段类型与所述目标数据库支持的字段类型设置映射关系。
本发明实施例第二方面提供了一种大数据的智能采集系统，包括：
配置单元，用于配置源数据库与目标数据库的对应关系；
第一获取单元，用于获取源数据库中的第一数据，所述第一数据包括表信息和字段信息；
维护单元，用于将所述第一数据维护至配置管理；
第一导入单元，用于根据所述配置管理和所述对应关系将所述源数据库中的第二数据导入至所述目标数据库，所述第二数据为与所述第一数据对应的表数据和字段数据。
可选地，所述系统还包括：
第二获取单元，用于当确定所述源数据库中的第一数据存在更新时，获取更新后的第一数据，所述更新后的第一数据包括更新后的表信息和/或更新后的字段信息；
更新单元，用于根据所述更新后的第一数据更新所述配置管理，得到更新后的配置管理；
第二导入单元，用于根据所述更新后的配置管理和所述对应关系将所述源数据库中的第三数据导入至所述目标数据库，所述第三数据为与所述更新后的第一数据对应的表数据和字段数据。
可选地，所述第一获取单元具体用于：
全量采集所述源数据库中的第一数据。
可选地，所述第一获取单元具体用于：
分页批量采集所述源数据库中的第一数据。
可选地，所述第一获取单元具体用于：
按照预设时长间隔采集所述源数据库中的第一数据。
可选地，所述第一获取单元具体用于：
所述按照预设时长间隔采集所述源数据库中的第一数据包括：
定时采集所述源数据库中的第一数据；
或，
实时采集所述源数据库中的第一数据。
本发明实施例第三方面提供了一种计算机装置，，包括：
处理器、存储器、输入输出设备以及总线；
所述处理器、存储器、输入输出设备分别与所述总线相连；
所述处理器用于执行如前述实施例所述的方法。
本发明第四方面提供了一种包含指令的计算机程序产品，当其在计算机上运行时，使得所述计算机执行如前述实施例所述的方法。
从以上技术方案可以看出，本发明实施例中，配置源数据库与目标数据库的对应关系；获取源数据库中的第一数据，所述第一数据包括表信息和字段信息；将所述第一数据维护至配置管理；根据所述配置管理和所述对应关系将所述源数据库中的第二数据导入至所述目标数据库，所述第二数据为与所述第一数据对应的表数据和字段数据。因此，通过自动识别和感知源数据库中的第一数据，即表信息和字段信息，并将这些信息维护到配置管理中，采集的数据按字段顺序组装，导入到目标数据库中，从而实现大数据的智能采集。
附图说明
图1为本发明实施例中一种大数据的智能采集方法实施例的一个示意图；
图2为本发明实施例中一种大数据的智能采集方法实施例的另一个示意图；
图3为本发明实施例中一种大数据的智能采集方法实施例的另一个示意图；
图4为本发明实施例中一种大数据的智能采集系统实施例的一个示意图；
图5为本发明实施例中一种大数据的智能采集系统实施例的另一个示意图；
图6为本发明实施例中计算机装置实施例的一个示意图。
具体实施方式
本发明实施例提供了一种大数据的智能采集方法及系统，用于实现大数据的智能采集。
为了使本技术领域的人员更好地理解本发明方案，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分的实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本发明保护的范围。
本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”、“第三”、“第四”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的实施例能够以除了在这里图示或描述的内容以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
为了便于理解，下面对本发明实施例中的具体流程进行描述，请参阅图1，本发明实施例中一种大数据的智能采集方法的一个实施例包括：
101、将源数据库与目标数据库的对应关系维护至配置管理；
本实施例中，按照标准流程对需要拉取的数据库进行最初的对应关系的配置，维护至配置管理，如源数据库与目标数据库的访问地址、端口、登陆账号和密码等，此外，还可以预先配置目标数据库中的数据存储路径等。
具体地，本实施例中的源数据可以为Mysql数据库、MongoDB数据库，或者是其它类型的源数据库，此处不做限定；目标数据库可以为HDFS数据库、KUDU数据库、Mysql数据库，或者是其它类型的数据库，此处不作具体的限定。
102、获取源数据库中的第一数据；
本实施例中，获取源数据库中的第一数据，所述第一数据包括表信息和字段信息。
具体地，对源数据库中的每批数据进行解析，得到第一数据，第一数据包括源数据库中的表信息和字段信息。其中，表信息包括表所属的数据库名，表名，表的描述信息，表的数据采集状态等其中的一个或多个，字段信息包括字段所属表名，字段名，字段长度，字段类型，字段描述等其中的一个或多个。
103、将所述第一数据维护至所述配置管理；
本实施例中，按照标准流程将步骤102获取得到的第一数据维护至该配置管理中。
104、根据所述配置管理将所述源数据库中的第二数据导入至所述目标数据库；
本实施例中，根据所述配置管理将所述源数据库中的第二数据导入至所述目标数据库，所述第二数据为与所述第一数据对应的表数据和字段数据。
具体地，根据配置管理中的对应关系确定源数据库与目标数据库之间的通信信息以及存储路径等，再根据配置管理确定源数据库中需要导入到目标数据库的表信息和字段信息，具体再与第一数据对应的第二数据导入到目标数据库。
其中，第二数据为与第一数据对应的表数据和字段数据，具体地，以第一数据中的表信息指示该表为交易数据表为例，此时第一数据中的字段信息指示该表中的字段以交易数据预设的字段长度、字段类型等形式存在，此时，第二数据中表数据具体为电子商务购物数据或者行为交易数据，例如Web服务器记录的互联网点击流数据日志，第二数据中的字段数据具体为该数据日志具体的字段内容。再如，以第一数据中的表信息指示该表为设备数据表为例，此时第一数据中的字段信息指示该表中的字段以设备数据预设的字段长度、字段类型等形式存在，此时，第二数据中表数据具体为机器和传感器数据，第二数据中的字段数据具体为该机器和传感器数据具体的字段内容。
本实施例中，配置源数据库与目标数据库的对应关系；获取源数据库中的第一数据，所述第一数据包括表信息和字段信息；将所述第一数据维护至配置管理；根据所述配置管理和所述对应关系将所述源数据库中的第二数据导入至所述目标数据库，所述第二数据为与所述第一数据对应的表数据和字段数据。因此，通过自动识别和感知源数据库中的第一数据，即表信息和字段信息，并将这些信息维护到配置管理中，采集的数据按字段顺序组装，导入到目标数据库中，从而实现大数据的智能采集。
本发明实施例中，获取源数据库中的第一数据可以是全量采集获取得到，也可以是在预设时长内持续采集获取得到，下面将分别对这两种情况进行介绍。
一、全量获取；
请参阅图2，本发明实施例中一种大数据的智能采集方法的另一个实施例包括：
201、将源数据库与目标数据库的对应关系维护至配置管理；
本实施例中，按照标准流程对需要拉取的数据库进行最初的对应关系的配置，维护至配置管理中，如源数据库与目标数据库的访问地址、端口、登陆账号和密码等，此外，还可以预先配置目标数据库中的数据存储路径等。
具体地，本实施例中的源数据可以为Mysql数据库、MongoDB数据库，或者是其它类型的源数据库，此处不做限定；目标数据库可以为HDFS数据库、KUDU数据库、Mysql数据库，或者是其它类型的数据库，此处不作具体的限定。
202、为所述源数据库支持的字段类型与所述目标数据库支持的字段类型设置映射关系；
本实施例中，为该源数据库支持的字段类型与该目标数据库支持的字段类型设置映射关系。
具体在这一步中，对源数据库支持的字段类型与目标数据库的字段类型进行映射，是便于后续程序的自动转换，具体在方案的实现过程中，若程序中预设有字段类型之间的映射关系时，也可以不执行这一步。
203、全量采集所述源数据库中的第一数据；
本实施例中，全量采集该源数据库中的第一数据，所述第一数据包括表信息和字段信息。
具体地，全量采集为扫描源数据库中的每一张表，进行一次全量数据抓取(可分页批量查询)，然后获取得到第一数据，该第一数据包括表信息和字段信息，其中，可以在这一步骤中预设需要在源数据库中排除掉的表，例如在方案的实现过程中，一些系统表一般是不需要导入至目标数据库中的，在使用本实施例中所述的方法执行时，还可以预设标记好不需要拉取的表，在预设之后，第一数据中就不包括这些不需要拉取的表信息和与其对应的字段信息。
204、将所述第一数据维护至所述配置管理；
本实施例中，按照标准流程将步骤102获取得到的第一数据维护至该配置管理中。
205、根据所述配置管理将所述源数据库中的第二数据导入至所述目标数据库；
本实施例中，根据所述配置管理将所述源数据库中的第二数据导入至所述目标数据库，所述第二数据为与所述第一数据对应的表数据和字段数据。
具体地，根据配置管理中的对应关系确定源数据库与目标数据库之间的通信信息以及存储路径等，再根据配置管理确定源数据库中需要导入到目标数据库的表信息和字段信息，具体再与第一数据对应的第二数据导入到目标数据库中。
其中，第二数据为与第一数据对应的表数据和字段数据，具体地，以第一数据中的表信息指示该表为交易数据表为例，此时第一数据中的字段信息指示该表中的字段以交易数据预设的字段长度、字段类型等形式存在，此时，第二数据中表数据具体为电子商务购物数据或者行为交易数据，例如Web服务器记录的互联网点击流数据日志，第二数据中的字段数据具体为该数据日志具体的字段内容。再如，以第一数据中的表信息指示该表为设备数据表为例，此时第一数据中的字段信息指示该表中的字段以设备数据预设的字段长度、字段类型等形式存在，此时，第二数据中表数据具体为机器和传感器数据，第二数据中的字段数据具体为该机器和传感器数据具体的字段内容。
206、获取更新后的第一数据；
本实施例中，在方案的实施过程中，若发现第一数据存在更新，则获取更新后的第一数据，更新后的第一数据包括更新后的表信息和/或更新后的字段信息。
具体地，当发现源数据库中的表信息发生增删或者修改的情况时，获取更新后的表信息，当发现源数据库中的字段信息发送增删或者修改的情况时，获取更新后的字段信息，当发现两者都存在增删或者修改的情况时，则获取更新后的表信息和更新后的字段信息。
207、根据所述更新后的第一数据更新所述配置管理，得到更新后的配置管理；
本实施例中，将步骤206获取得到的更新后的第一数据更新至配置管理中，得到更新后的配置管理。
208、根据所述更新后的配置管理将所述源数据库中的第三数据导入至所述目标数据库；
本实施例中，根据更新后的配置管理将源数据库中的第三数据导入至目标数据库，所述第三数据为与所述更新后的第一数据对应的表数据和字段数据。
具体地，在得到更新后的配置管理后，若更新后的第一数据指示源数据中的表信息存在更新的情况时，则现在目标数据库中对表信息进行相应的更新，例如增删操作或者修改操作；若更新后的第一数据指示源数据中的字段信息存在更新的情况时，则现在目标数据库中对字段信息进行相应的更新，例如增删操作或者修改操作。然后将与更新后的第一数据对应的表数据和字段数据导入至目标数据库中。
具体地，仍以交易数据表为例，若更新后的配置管理该交易数据表发生了更新，则根据该更新后的配置管理确定出第三数据，该第三数据中中表数据具体为更新后的电子商务购物数据或者行为交易数据，例如更新后的Web服务器记录的互联网点击流数据日志，第二数据中的字段数据具体为更新后的数据日志具体的字段内容。
本实施例中，将源数据库与目标数据库的对应关系维护至配置管理；全量采集该源数据库中的第一数据，所述第一数据包括表信息和字段信息；将所述第一数据维护至所述配置管理；根据所述配置管理将所述源数据库中的第二数据导入至所述目标数据库，所述第二数据为与所述第一数据对应的表数据和字段数据，若确定所述源数据库中的第一数据存在更新，则获取更新后的第一数据，所述更新后的第一数据包括更新后的表信息和/或更新后的字段信息；根据所述更新后的第一数据更新所述配置管理，得到更新后的配置管理；根据所述更新后的配置管理将所述源数据库中的第三数据导入至所述目标数据库，所述第三数据为与所述更新后的第一数据对应的表数据和字段数据。因此，通过自动识别和感知源数据库中的第一数据，即表信息和字段信息，并将这些信息维护到配置管理中，采集的数据按字段顺序组装，导入到目标数据库中，并且在后续若发现源数据库中的第一数据存在更新时，对目标数据库进行相对应的更新操作，从而实现大数据的智能采集。
二、预设时长间隔获取；
请参阅图3，本发明实施例中一种大数据的智能采集方法的另一个实施例包括：
301、将源数据库与目标数据库的对应关系维护至配置管理；
本实施例中，按照标准流程对需要拉取的数据库进行最初的对应关系的配置，维护至配置管理中，如源数据库与目标数据库的访问地址、端口、登陆账号和密码等，此外，还可以预先配置目标数据库中的数据存储路径等。
具体地，本实施例中的源数据可以为Mysql数据库、MongoDB数据库，或者是其它类型的源数据库，此处不做限定；目标数据库可以为HDFS数据库、KUDU数据库、Mysql数据库，或者是其它类型的数据库，此处不作具体的限定。
302、为所述源数据库支持的字段类型与所述目标数据库支持的字段类型设置映射关系；
本实施例中，为该源数据库支持的字段类型与该目标数据库支持的字段类型设置映射关系。
具体在这一步中，对源数据库支持的字段类型与目标数据库的字段类型进行映射，是便于后续程序的自动转换，具体在方案的实现过程中，若程序中预设有字段类型之间的映射关系时，也可以不执行这一步。
303、按照预设时长间隔采集所述源数据库中的第一数据；
本实施例中，按照预设时长间隔采集所述源数据库中的第一数据，所述第一数据包括表信息和字段信息；
具体地，本实施例中的按照预设时长间隔采集所述源数据库中的第一数据之前，可以先进行如图2实施例中的全量抓取，也可以不进行全量抓取，直接进行本步骤的按照预设时长间隔采集，此处不做限定。
此外，可以按照预设时长间隔定时采集源数据库中的第一数据，具体表现为定时采集与实时采集，例如，若源数据库中的数据信息较为稳定，则可以设置预设时长为半天或者一天或者是其它的预设时长进行采集，若源数据库中的数据动态变化较为频繁，则可以利用数据库的日志功能，如MongoDB的Oplog，Mysql的Binlog等，实时感知源数据库中的数据，从而实现实时采集源数据库中的第一数据。
304、将所述第一数据维护至所述配置管理；
本实施例中，按照标准流程将步骤102获取得到的第一数据维护至该配置管理中。
305、根据所述配置管理将所述源数据库中的第二数据导入至所述目标数据库；
本实施例中，根据所述配置管理将所述源数据库中的第二数据导入至所述目标数据库，所述第二数据为与所述第一数据对应的表数据和字段数据。
具体地，根据配置管理中的对应关系确定源数据库与目标数据库之间的通信信息以及存储路径等，再根据配置管理确定源数据库中需要导入到目标数据库的表信息和字段信息，具体再与第一数据对应的第二数据导入到目标数据库中。
其中，第二数据为与第一数据对应的表数据和字段数据，具体地，以第一数据中的表信息指示该表为交易数据表为例，此时第一数据中的字段信息指示该表中的字段以交易数据预设的字段长度、字段类型等形式存在，此时，第二数据中表数据具体为电子商务购物数据或者行为交易数据，例如Web服务器记录的互联网点击流数据日志，第二数据中的字段数据具体为该数据日志具体的字段内容。再如，以第一数据中的表信息指示该表为设备数据表为例，此时第一数据中的字段信息指示该表中的字段以设备数据预设的字段长度、字段类型等形式存在，此时，第二数据中表数据具体为机器和传感器数据，第二数据中的字段数据具体为该机器和传感器数据具体的字段内容。
306、获取更新后的第一数据；
本实施例中，在方案的实施过程中，若发现第一数据存在更新，则获取更新后的第一数据，更新后的第一数据包括更新后的表信息和/或更新后的字段信息。
具体地，当发现源数据库中的表信息发生增删或者修改的情况时，获取更新后的表信息，当发现源数据库中的字段信息发送增删或者修改的情况时，获取更新后的字段信息，当发现两者都存在增删或者修改的情况时，则获取更新后的表信息和更新后的字段信息。
307、根据所述更新后的第一数据更新所述配置管理，得到更新后的配置管理；
本实施例中，将步骤206获取得到的更新后的第一数据更新至配置管理中，得到更新后的配置管理。
308、根据所述更新后的配置管理将所述源数据库中的第三数据导入至所述目标数据库；
本实施例中，根据更新后的配置管理将源数据库中的第三数据导入至目标数据库，所述第三数据为与所述更新后的第一数据对应的表数据和字段数据。
具体地，在得到更新后的配置管理后，若更新后的第一数据指示源数据中的表信息存在更新的情况时，则现在目标数据库中对表信息进行相应的更新，例如增删操作或者修改操作；若更新后的第一数据指示源数据中的字段信息存在更新的情况时，则现在目标数据库中对字段信息进行相应的更新，例如增删操作或者修改操作。然后将与更新后的第一数据对应的表数据和字段数据导入至目标数据库中。
具体地，仍以交易数据表为例，若更新后的配置管理该交易数据表发生了更新，则根据该更新后的配置管理确定出第三数据，该第三数据中中表数据具体为更新后的电子商务购物数据或者行为交易数据，例如更新后的Web服务器记录的互联网点击流数据日志，第二数据中的字段数据具体为更新后的数据日志具体的字段内容。
本实施例中，将源数据库与目标数据库的对应关系维护至配置管理；按照预设时长间隔采集所述源数据库中的第一数据，所述第一数据包括表信息和字段信息；将所述第一数据维护至所述配置管理；根据所述配置管理将所述源数据库中的第二数据导入至所述目标数据库，所述第二数据为与所述第一数据对应的表数据和字段数据，若确定所述源数据库中的第一数据存在更新，则获取更新后的第一数据，所述更新后的第一数据包括更新后的表信息和/或更新后的字段信息；根据所述更新后的第一数据更新所述配置管理，得到更新后的配置管理；根据所述更新后的配置管理将所述源数据库中的第三数据导入至所述目标数据库，所述第三数据为与所述更新后的第一数据对应的表数据和字段数据。。因此，通过自动识别和感知源数据库中的第一数据，即表信息和字段信息，并将这些信息维护到配置管理中，采集的数据按字段顺序组装，导入到目标数据库中，并且在后续若发现源数据库中的第一数据存在更新时，对目标数据库进行相对应的更新操作，从而实现大数据的智能采集。
上面对本发明实施例中的方法部分进行了描述，下面介绍本发明实施例中一种大数据的智能采集系统，请参阅图4，本发明实施例中，一种大数据的智能采集系统的一个实施例包括：
第一维护单元401，将源数据库与目标数据库的对应关系维护至配置管理；
第一获取单元402，用于获取源数据库中的第一数据，所述第一数据包括表信息和字段信息；
第二维护单元403，用于将所述第一数据维护至所述配置管理；
第一导入单元404，用于根据所述配置管理和所述对应关系将所述源数据库中的第二数据导入至所述目标数据库，所述第二数据为与所述第一数据对应的表数据和字段数据。
本实施例中，本实施例中，第一维护单元401将源数据库与目标数据库的对应关系维护至配置管理；第一获取单元402获取源数据库中的第一数据，所述第一数据包括表信息和字段信息；第二维护单元403将所述第一数据维护至所述配置管理；第一导入单元404根据所述配置管理将所述源数据库中的第二数据导入至所述目标数据库，所述第二数据为与所述第一数据对应的表数据和字段数据。因此，通过自动识别和感知源数据库中的第一数据，即表信息和字段信息，并将这些信息维护到配置管理中，采集的数据按字段顺序组装，导入到目标数据库中，从而实现大数据的智能采集。
请参阅图5，本发明实施例中，一种大数据的智能采集系统的另一个实施例包括：
第一维护单元501，将源数据库与目标数据库的对应关系维护至配置管理；
设置单元502，用于为所述源数据库支持的字段类型与所述目标数据库支持的字段类型设置映射关系；
第一获取单元503，用于获取源数据库中的第一数据，所述第一数据包括表信息和字段信息；
第二维护单元504，用于将所述第一数据维护至配置管理；
第一导入单元505，用于根据所述配置管理和所述对应关系将所述源数据库中的第二数据导入至所述目标数据库，所述第二数据为与所述第一数据对应的表数据和字段数据。
第二获取单元506，用于当确定所述源数据库中的第一数据存在更新时，获取更新后的第一数据，所述更新后的第一数据包括更新后的表信息和/或更新后的字段信息；
更新单元507，用于根据所述更新后的第一数据更新所述配置管理，得到更新后的配置管理；
第二导入单元508，用于根据所述更新后的配置管理和所述对应关系将所述源数据库中的第三数据导入至所述目标数据库，所述第三数据为与所述更新后的第一数据对应的表数据和字段数据。
本实施例中，第一维护单元501将源数据库与目标数据库的对应关系维护至配置管理；设置单元502为所述源数据库支持的字段类型与所述目标数据库支持的字段类型设置映射关系；第一获取单元503获取源数据库中的第一数据，所述第一数据包括表信息和字段信息；第二维护单元504将所述第一数据维护至配置管理；第一导入单元505根据所述配置管理将所述源数据库中的第二数据导入至所述目标数据库，所述第二数据为与所述第一数据对应的表数据和字段数据。第二获取单元506当确定所述源数据库中的第一数据存在更新时，获取更新后的第一数据，所述更新后的第一数据包括更新后的表信息和/或更新后的字段信息；更新单元507根据所述更新后的第一数据更新所述配置管理，得到更新后的配置管理；第二导入单元508根据所述更新后的配置管理将所述源数据库中的第三数据导入至所述目标数据库，所述第三数据为与所述更新后的第一数据对应的表数据和字段数据。。因此，通过自动识别和感知源数据库中的第一数据，即表信息和字段信息，并将这些信息维护到配置管理中，采集的数据按字段顺序组装，导入到目标数据库中，并且在后续若发现源数据库中的第一数据存在更新时，对目标数据库进行相对应的更新操作，从而实现大数据的智能采集。
上面从模块化功能实体的角度对本发明实施例中的一种大数据的智能采集系统进行了描述，下面从硬件处理的角度对本发明实施例中的计算机装置进行描述：该计算机装置包括处理器、存储器、输入输出设备以及总线；所述处理器、存储器、输入输出设备分别与所述总线相连；所述处理器用于执行上述方法的步骤。
请参阅图6，本申请实施例中子文档的处理装置的一个具体实施例包括：
该装置600可因配置或性能不同而产生比较大的差异，可以包括一个或一个以上中央处理器(central processing units，CPU)601(例如，一个或一个以上处理器)和存储器605，该存储器605中存储有一个或一个以上的应用程序或数据。
其中，存储器605可以是易失性存储或持久存储。存储在存储器605的程序可以包括一个或一个以上模块，每个模块可以包括对服务器中的一系列指令操作。更进一步地，中央处理器601可以设置为与存储器605通信，在智能终端600上执行存储器605中的一系列指令操作。
该装置600还可以包括一个或一个以上电源602，一个或一个以上有线或无线网络接口603，一个或一个以上输入输出接口604，和/或，一个或一个以上操作系统，例如Windows ServerTM，Mac OS XTM，UnixTM,LinuxTM，FreeBSDTM等等。
可以理解的是，在本发明的各种实施例中，上述各步骤的序号的大小并不意味着执行顺序的先后，各步骤的执行顺序应以其功能和内在逻辑确定，而不应对本发明实施例的实施过程构成任何限定。
所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统，装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
在本申请所提供的几个实施例中，应该理解到，所揭露的系统，装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。
所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-OnlyMemory)、随机存取存储器(RAM，RandomAccess Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述，以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。
Claims (10)
1.一种大数据的智能采集方法，其特征在于，包括：
将源数据库与目标数据库的对应关系维护至配置管理；
获取源数据库中的第一数据，所述第一数据包括表信息和字段信息；
将所述第一数据维护至所述配置管理；
根据所述配置管理将所述源数据库中的第二数据导入至所述目标数据库，所述第二数据为与所述第一数据对应的表数据和字段数据。
2.根据权利要求1所述的方法，其特征在于，在所述根据所述配置管理和所述对应关系将所述源数据库中的第二数据导入至所述目标数据库之后，所述方法还包括：
若确定所述源数据库中的第一数据存在更新，则获取更新后的第一数据，所述更新后的第一数据包括更新后的表信息和/或更新后的字段信息；
根据所述更新后的第一数据更新所述配置管理，得到更新后的配置管理；
根据所述更新后的配置管理将所述源数据库中的第三数据导入至所述目标数据库，所述第三数据为与所述更新后的第一数据对应的表数据和字段数据。
3.根据权利要求2所述的方法，其特征在于，所述获取源数据库中的第一数据包括：
全量采集所述源数据库中的第一数据。
4.根据权利要求3所述的方法，其特征在于，所述全量采集所述源数据库中的第一数据包括：
分页批量采集所述源数据库中的第一数据。
5.根据权利要求1或4所述的方法，其特征在于，所述获取源数据库中的第一数据包括：
按照预设时长间隔采集所述源数据库中的第一数据。
6.根据权利要求5所述的方法，其特征在于，所述按照预设时长间隔采集所述源数据库中的第一数据包括：
定时采集所述源数据库中的第一数据；
或，
实时采集所述源数据库中的第一数据。
7.根据权利要求1至4任一项所述的方法，其特征在于，在所述获取源数据库中的第一数据之前，所述方法还包括：
为所述源数据库支持的字段类型与所述目标数据库支持的字段类型设置映射关系。
8.一种大数据的智能采集系统，其特征在于，包括：
配置单元，用于配置源数据库与目标数据库的对应关系；
第一获取单元，用于获取源数据库中的第一数据，所述第一数据包括表信息和字段信息；
维护单元，用于将所述第一数据维护至配置管理；
第一导入单元，用于根据所述配置管理和所述对应关系将所述源数据库中的第二数据导入至所述目标数据库，所述第二数据为与所述第一数据对应的表数据和字段数据。
9.一种计算机装置，其特征在于，包括：
处理器、存储器、输入输出设备以及总线；
所述处理器、存储器、输入输出设备分别与所述总线相连；
所述处理器用于执行如权利要求1至7中任一项所述的方法。
10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于：所述计算机程序被处理器执行时实现如权利要求1至7中任意一项所述方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201810654781.4A CN108829867A (zh) | 2018-06-22 | 2018-06-22 | 一种大数据的智能采集方法及系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201810654781.4A CN108829867A (zh) | 2018-06-22 | 2018-06-22 | 一种大数据的智能采集方法及系统 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN108829867A true CN108829867A (zh) | 2018-11-16 |
Family
ID=64138042
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201810654781.4A Pending CN108829867A (zh) | 2018-06-22 | 2018-06-22 | 一种大数据的智能采集方法及系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN108829867A (zh) |
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110275890A (zh) * | 2019-06-27 | 2019-09-24 | 中国石油集团东方地球物理勘探有限责任公司 | 一种数据查询方法及系统 |
| CN110413672A (zh) * | 2019-07-03 | 2019-11-05 | 平安科技（深圳）有限公司 | 数据自动导入方法、装置及计算机可读存储介质 |
| CN112073520A (zh) * | 2020-09-09 | 2020-12-11 | 北京金山云网络技术有限公司 | 数据处理方法、装置和电子设备 |
| CN112925795A (zh) * | 2019-12-06 | 2021-06-08 | 北京沃东天骏信息技术有限公司 | 一种订单数据的处理方法和装置 |
| CN112988804A (zh) * | 2019-12-12 | 2021-06-18 | 陕西西部资信股份有限公司 | 数据传输方法及系统 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101789021A (zh) * | 2010-02-24 | 2010-07-28 | 浪潮通信信息系统有限公司 | 一种通用可配置的数据库数据迁移方法 |
| CN102681904A (zh) * | 2011-03-16 | 2012-09-19 | 中国电信股份有限公司 | 数据同步调度方法和装置 |
| CN103440273A (zh) * | 2013-08-06 | 2013-12-11 | 北京航空航天大学 | 一种数据跨平台迁移方法及装置 |
| US20170031780A1 (en) * | 2015-07-27 | 2017-02-02 | Sap Se | Reverse Snapshot Clone |
| CN106599197A (zh) * | 2016-12-14 | 2017-04-26 | 深圳天源迪科信息技术股份有限公司 | 数据采集交换引擎 |
-
2018
- 2018-06-22 CN CN201810654781.4A patent/CN108829867A/zh active Pending
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101789021A (zh) * | 2010-02-24 | 2010-07-28 | 浪潮通信信息系统有限公司 | 一种通用可配置的数据库数据迁移方法 |
| CN102681904A (zh) * | 2011-03-16 | 2012-09-19 | 中国电信股份有限公司 | 数据同步调度方法和装置 |
| CN103440273A (zh) * | 2013-08-06 | 2013-12-11 | 北京航空航天大学 | 一种数据跨平台迁移方法及装置 |
| US20170031780A1 (en) * | 2015-07-27 | 2017-02-02 | Sap Se | Reverse Snapshot Clone |
| CN106599197A (zh) * | 2016-12-14 | 2017-04-26 | 深圳天源迪科信息技术股份有限公司 | 数据采集交换引擎 |
Cited By (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110275890A (zh) * | 2019-06-27 | 2019-09-24 | 中国石油集团东方地球物理勘探有限责任公司 | 一种数据查询方法及系统 |
| CN110413672A (zh) * | 2019-07-03 | 2019-11-05 | 平安科技（深圳）有限公司 | 数据自动导入方法、装置及计算机可读存储介质 |
| CN110413672B (zh) * | 2019-07-03 | 2023-09-19 | 平安科技（深圳）有限公司 | 数据自动导入方法、装置及计算机可读存储介质 |
| CN112925795A (zh) * | 2019-12-06 | 2021-06-08 | 北京沃东天骏信息技术有限公司 | 一种订单数据的处理方法和装置 |
| CN112988804A (zh) * | 2019-12-12 | 2021-06-18 | 陕西西部资信股份有限公司 | 数据传输方法及系统 |
| CN112073520A (zh) * | 2020-09-09 | 2020-12-11 | 北京金山云网络技术有限公司 | 数据处理方法、装置和电子设备 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN108829867A (zh) | 一种大数据的智能采集方法及系统 | |
| WO2017165018A1 (en) | Automated event id field analysis on heterogeneous logs | |
| CN109451088A (zh) | 一种数据访问方法及装置 | |
| CN109213498A (zh) | 一种互联网web前端的配置方法及服务器 | |
| CN110909168B (zh) | 知识图谱的更新方法和装置、存储介质及电子装置 | |
| CN109582289B (zh) | 规则引擎中规则流的处理方法、系统、存储介质和处理器 | |
| CN109656688A (zh) | 一种实现分布式业务规则的方法、系统和服务器 | |
| CN109036533A (zh) | 一种医疗信息管理方法及相关设备 | |
| CN112527689B (zh) | 应用测试方法、装置及存储介质 | |
| CN112764755B (zh) | 代码转换方法、装置、设备以及存储介质 | |
| CN106685708A (zh) | 一种服务关系的确定方法、装置及系统 | |
| CN114579311B (zh) | 执行分布式计算任务的方法、装置、设备以及存储介质 | |
| CN105933352B (zh) | 基于客户端的服务器之间数据同步方法、客户端及系统 | |
| CN105653386B (zh) | 一种进程崩溃处理方法及终端设备 | |
| CN105279157B (zh) | 一种正则查询的方法和装置 | |
| CA3153550A1 (en) | Core recommendation method, device and system | |
| CN108780452A (zh) | 一种存储过程处理方法及装置 | |
| CN108681837B (zh) | 柔性生产管理方法、装置、终端设备及可读存储介质 | |
| CN106254575A (zh) | 一种确定用户标识的方法和装置 | |
| CN112527453A (zh) | 虚拟化信息仿真系统、方法及计算机可读存储介质 | |
| CN107545004A (zh) | 一种搜索的方法、装置和搜索引擎系统 | |
| CN108650320A (zh) | 一种集群环境下同构级联设备配置文件同步方法 | |
| CN111160738A (zh) | 事件处理方法、装置、存储介质及电子装置 | |
| CN106649370B (zh) | 网站访问信息的获取方法及装置 | |
| CN113032040B (zh) | 用于处理任务的方法、装置、设备、介质和产品 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20181116 |