CN110781248A - 一种多源异构数据采集方法及装置 - Google Patents

Abstract

本发明公开了一种多源异构数据采集方法及装置，方法包括：从工厂的自研系统数据库中全量抽取数据并存入第一数据表；获取工厂的第三方系统提供的预设类型的数据并存入第二数据表；获取工厂的MES采集的产线实时数据并进行计算，将计算结果存入第三数据表。基于上述描述可知，针对瓦楞纸包装企业的数据特点，对于不同数据源，依据其数据库类型通过设计不同的数据采集方式对数据进行采集，并存入企业的采集服务器的数据仓库，形成企业的数据资产。采用本发明采集方案进行数据采集时，不干扰生产过程，不改动原系统数据，且节省人力物力，在完全保证生产的同时，也方便了企业将要进行的数字化智能工厂建设。

Description

一种多源异构数据采集方法及装置

技术领域

本发明涉及互联网技术领域，具体涉及一种多源异构数据采集方法及装置。

背景技术

随着互联网技术的快速发展，瓦楞纸包装企业从自身发展需求出发，提出了数字化智能工厂的目标，即通过采集各个生产环节的数据形成企业的数据资产供分析使用。

目前在瓦楞纸包装行业的实际生产环境中，各个信息系统的数据往往较为封闭，如生产、订单和财务系统都是独立运作，数据各自单独存储，各系统之间需要两两商定通信协议进行通信，并且很多数据需要从各个系统中分别调取再进行人工整合。这样的数据采集不仅耗费人力物力，而且给企业将要进行的数字化智能工厂建设带来不便。

发明内容

本发明的目的是针对上述现有技术的不足提出的一种数据采集方法及装置，该目的是通过以下技术方案实现的。

本发明的第一方面提出了一种多源异构数据采集方法，所述方法应用于采集服务器，所述方法包括：

从工厂的自研系统数据库中全量抽取数据并存入预先构造的第一数据表；

获取工厂的第三方系统提供的预设类型的数据并存入预先构造的第二数据表；

获取工厂的制造执行系统MES采集的产线实时数据并进行计算，将计算结果存入预先构造的第三数据表；

其中，所述第一数据表、第二数据表及第三数据表均归属于同一数据库。

本发明的第二方面提出了一种多源异构数据采集装置，所述装置应用于采集服务器，所述装置包括：

第一采集模块，用于从工厂的自研系统数据库中全量抽取数据并存入预先构造的第一数据表；

第二采集模块，用于获取工厂的第三方系统提供的预设类型的数据并存入预先构造的第二数据表；

第三采集模块，用于获取工厂的制造执行系统MES采集的产线实时数据并进行计算，将计算结果存入预先构造的第三数据表；

其中，所述第一数据表、第二数据表及第三数据表均归属于同一数据库。

在本申请实施例中，针对瓦楞纸包装企业的数据特点，对于不同数据源，依据其数据库类型通过设计不同的数据采集方式对数据进行采集，并存入企业的数据采集服务器仓库，形成企业的数据资产。采用本发明采集方案进行数据采集时，不干扰生产过程，不改动原系统数据，且节省人力物力，在完全保证生产的同时，也方便了企业将要进行的数字化智能工厂建设。

附图说明

此处所说明的附图用来提供对本发明的进一步理解，构成本发明的一部分，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。在附图中：

图1A为本发明根据一示例性实施例示出的一种多源异构数据采集方法的实施例流程图；

图1B为本发明根据图1A所示实施例示出的一种多源异构数据采集系统结构示意图；

图2为本申请根据一示例性实施例示出的一种采集服务器的硬件结构图；

图3为本发明根据一示例性实施例示出的一种多源异构数据采集装置的实施例流程图。

具体实施方式

这里将详细地对示例性实施例进行说明，其示例表示在附图中。下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本发明相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本发明的一些方面相一致的装置和方法的例子。

在本发明使用的术语是仅仅出于描述特定实施例的目的，而非旨在限制本发明。在本发明和所附权利要求书中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式，除非上下文清楚地表示其他含义。还应当理解，本文中使用的术语“和/或”是指并包含一个或多个相关联的列出项目的任何或所有可能组合。

应当理解，尽管在本发明可能采用术语第一、第二、第三等来描述各种信息，但这些信息不应限于这些术语。这些术语仅用来将同一类型的信息彼此区分开。例如，在不脱离本发明范围的情况下，第一信息也可以被称为第二信息，类似地，第二信息也可以被称为第一信息。取决于语境，如在此所使用的词语“如果”可以被解释成为“在……时”或“当……时”或“响应于确定”。

瓦楞纸包装行业内的信息系统通常包括订单系统、财务系统、ERP(EnterpriseResources Planning，企业资源计划)系统、MES(Manufacturing Execution System，制造执行系统)、运输地滚系统、仓库系统等，这些信息系统都有各自独立的数据库保存数据。企业获取完整数据时，需要从各个信息系统采集数据并进行整理核对。

目前各信息系统间通常是通过商定好的通信协议，使用接口调用方式两两通信。以订单系统和财务系统为例，如果企业想查看订单的完整信息，需要从订单系统中取出订单信息，并根据订单号去财务系统中查询订单款项，合在一起形成完整订单。然而这种通信方式存在如下缺点：

1)各信息系统每次对接都需要设计一套新的通信协议，通信成本大；

2)数据只在信息系统间单独流转，难以获取全局数据；

3)信息系统之间关系过于紧密，耦合性高，单一信息系统替换成本极高；

针对此情况，市面上提供的一些数据采集方案由于是通用性方案，存在系统造价昂贵，功能复杂，实施成本高，定制化程度低的问题，很多功能并不适用于瓦楞纸包装的场景。这样不仅增加了瓦楞纸包装企业的开销，也增加了企业今后维护系统的成本。

由此可见，根据瓦楞纸包装企业信息系统建设的实际情况，采集各个生产环节的数据，从而形成企业的数据资产，有非常重要的现实意义。

为解决上述技术问题，本发明提出一种多源异构数据采集方法，对于自研系统，通过从工厂的自研系统数据库中全量抽取数据并存入预先构造的第一数据表；对于第三方系统，通过获取工厂的第三方系统提供的预设类型的数据并存入预先构造的第二数据表；对于产线实时数据，通过获取工厂的MES采集的产线实时数据并进行计算，将计算结果存入预先构造的第三数据表；其中，第一数据表、第二数据表及第三数据表均归属于同一数据库。

基于上述描述可知，针对瓦楞纸包装企业的数据特点，对于不同数据源，依据其数据库类型通过设计不同的数据采集方式对数据进行采集，并存入企业的数据采集服务器仓库，形成企业的数据资产。采用本发明采集方案进行数据采集时，不干扰生产过程，不改动原系统数据，且节省人力物力，在完全保证生产的同时，也方便了企业将要进行的数字化智能工厂建设。

下面以具体实施例对本发明提出的多源异构数据采集方法进行详细阐述。

图1A为本发明根据一示例性实施例示出的一种多源异构数据采集方法的实施例流程图，所述多源异构数据采集方法可以应用于采集服务器。

如图1A所示，所述多源异构数据采集方法包括如下步骤：

步骤101：从工厂的自研系统数据库中全量抽取数据并存入预先构造的第一数据表。

步骤102：获取工厂的第三方系统提供的预设类型的数据并存入预先构造的第二数据表。

针对上述步骤101至步骤102的过程，瓦楞纸包装企业通常在各地有许多的生产工厂，在这些生产工厂中，可能有些工厂使用的是自行研发的信息系统，即自研系统，以用于存储工厂的订单、物料、生产数据等信息，可能有些工厂使用的是向第三方厂家购买的第三方系统，如订单系统、财务系统、仓库系统、运输地滚系统、ERP系统等。

对于自研系统，企业拥有系统的所有权限，可以获得数据库的数据字典和存储过程，并且数据量适中、数据冗余少、实时性要求也不高。基于此，对各工厂的自研系统的数据库可以在固定时间(系统不繁忙时间)进行数据全量抽取，每次抽取时可以清除采集服务器中的历史数据后再抽取自研系统数据库中的全部数据。

示例性的，可以在每天的0时对自研系统数据库的数据进行全量抽取。另外，采集服务器可以使用DataX抽取工具，从自研系统数据库中全量抽取。

在一实施例中，通常企业自研系统的数据库与采集服务器中数据仓库使用的数据库类型是不一致的，如自研系统的数据库使用的是SQLSERVER数据库，采集服务器使用的是MySQL数据库。

基于此，在从自研系统数据库中全量抽取数据之前，可以先从自研系统数据库中获取表结构，并依据所述表结构构造第一数据表。

其中，采集服务器可以通过使用SQLyog工具从各个自研系统数据库中获取表结构。所述表结构包括数据表字段、字段类型等。

而对于第三方系统，其数据和数据字典通常不向外公开，并且数据量较大、表结构复杂、冗余字段也多，但实时性要求不高。如果企业对第三方系统的数据库进行全量抽取，不仅耗时长，而且抽取的大量数据对企业来说都是冗余的。基于此，对第三方系统可以通过协商企业生产运营中所需的数据类型(如产品档案、物料信息、采购价格信息等)，由第三方系统向企业提供这些预设类型的数据，并可以在固定时间(如每天的0时)获取这些预设类型的数据。

在一实施例中，在获取第三方系统提供的预设类型的数据之前，可以先依据这些预设类型构造第二数据表。

其中，每个预设类型包括多列数据，每列数据的字符类型可以相同也可以不相同，为了将这些预设类型的数据导入数据仓库中，可以为每个预设类型构造一张第二数据表，每张第二数据表的列数需要与对应的预设类型包括的数据列数一致。

示例性的，采集服务器可以通过进程管理工具Supervisor启动一个进程，以建立与第三方系统的连接关系，同时，该进程可以开启一个定时任务，在每天的0时执行数据获取过程。

在一实施例中，由于第三方系统针对每个预设类型均会提供一个存储过程，为了提升数据采集速度，针对每个工厂，可以通过以多线程方式读取该工厂第三方系统提供的每个预设类型的数据并存入缓存数据库，然后再从所述缓存数据库中，读取各工厂的数据并存入所述第二数据表。

其中，通过先将取得的数据存入缓存数据库的方式，可以避免多线程方式带来大量并发数据直接插入采集服务器数据库，造成数据库阻塞的问题。

示例性的，缓存数据库既可以设置在采集服务器上，也可以设置在单独的服务器上，本发明对此不进行限定。

步骤103：获取工厂的MES采集的产线实时数据并进行计算，将计算结果存入预先构造的第三数据表。

针对步骤103的过程，瓦楞纸包装企业有瓦楞纸生产线，在瓦楞纸生产线上有各种实时数据需要收集并记录，以为生产线控制调整提供依据，产线实时数据可以包括用于表示瓦楞纸生产速度的生产节拍、生产过程中正在运转的设备的工作状态等。这些产线实时数据通常是由各工厂的MES系统采集，由于这些产线实时数据的特点是实时性强，因此MES系统每隔数秒就采集一次。基于此，对于MES采集的产线实时数据由于实时性强，采集服务器可以提高交互频率，每隔预设时长(如10秒)进行一次数据获取并进行计算，以将企业所需的计算结果存入采集服务器的数据仓库中。其中，采集服务器所采用的计算方式可以根据企业需求自行设置，本发明对此不进行限定。

在一实施例中，为了保证MES系统和采集服务器两边的独立性，可以通过从FTP(File Transfer Protocol，文件传输协议)服务器下载由工厂的MES上传的产线实时数据，并通知所述FTP服务器删除所述产线实时数据。由于MES系统每隔数秒采集一次产线实时数据后，只需要上传到FTP服务器即可，即使采集服务器出现故障，也不会影响到MES系统的上传操作。

下面以采集服务器每隔10秒进行一次数据获取为例，介绍采集服务器采集产线实时数据的过程：

1)MES系统每采集一次产线实时数据，将其存为XML(Extensible MarkupLanguage，可扩展标记语言)文件，并按照“工厂标识字符串+时间戳”的规则命名XML文件，并将该XML文件上传至企业内网的指定FTP服务器目录下；

2)采集服务器以10秒一次的频率，按时间戳从新到旧的顺序，下载FTP服务器上的XML文件，每下载一个XML文件，将其在FTP服务器上删除。

3)每次下载完毕后，按时间戳从旧到新的顺序依次读取XML文件，解析读取到的XML文件并进行实时计算，如计算机器平均速度等，将计算结果存入数据仓库的第三数据表。

需要说明的是，在瓦楞纸生产的过程中会产生大量日志，如数据库日志、机器运行日志、信息系统日志等，这些日志文件也是企业数据资产的一部分，需要存入采集服务器的数据仓库中。基于此，可以通过接收工厂系统上传的日志文件，然后解析所述日志文件中的数据并进行计算，将计算结果存入预先构造的第四数据表。

其中，可以通过在产生日志的系统中部署flume_agent，从而各系统通过flume_agent采集日志文件并传送给采集服务器，传送频率可以根据实际需求设置，例如也可以设置为每天的0时传送一次。产生日志的系统包括自研系统和第三方系统。第四数据表的结构可以根据企业实际需求预先构造，与企业所需的日志计算结果的数据结构相关，不再详述。

需要进一步说明的是，有一些生产工作需要工作人员手动录入，并以Excel表的方式进行存储，这样的数据通常比较灵活，没有固定的上传频率。对于这种类型数据，采集服务器可以通过API(Application Programming Interface，应用程序编程接口)方式接收上传的Excel文件，经过解析后获取所需的数据，并存入预先构造的第五数据表。

其中，手动上传的Excel文件记录的可以是工厂ID、水费、电费、天然气费等数据。

值得注意的是，上述所述的第一数据表、第二数据表、第三数据表、第四数据表、第五数据包均归属于同一数据库，即均归属于采集服务器的数据仓库。

另外，采集服务器在存储数据时，可以以工厂为单位进行存储，方便后续查看分析。

本发明对上述步骤101至步骤103的执行顺序不进行具体限定。

在一示例性场景中，如图1B所示，采集服务器可以在每天的0时，针对每个工厂，从自研系统或第三方系统获取一次数据，如果是从自研系统获取的数据，存入第一数据表，如果是从第三方系统获取的数据，存入第二数据表，同时采集服务器也可以在每天的0时接收工厂的系统上传的日志文件，解析日志文件并进行计算，并将计算结果存入第四数据表；采集服务器每隔10秒也会从FTP服务器下载XML文件，解析下载的XML文件并进行计算，并将计算结果存入第三数据表；当采集服务器接收到工作人员手动上传的Excel文件时，解析Excel文件获取所需的数据，并存入第五数据表。

由上述图1B所示的系统结构，通过将多信息系统数据采集到统一的数据仓库中，可以避免传统方案信息系统通信需要两两商定协议的弊端，节省企业沟通成本。由于采集服务器与各信息系统之间的耦合性比较低，如果企业更换某一信息系统，可以适应性更换该采集节点的采集方法，并不影响其他节点的数据采集，可以减少企业替换信息系统的系统成本。

在本申请实施例中，对于自研系统，通过从工厂的自研系统数据库中全量抽取数据并存入预先构造的第一数据表；对于第三方系统，通过获取工厂的第三方系统提供的预设类型的数据并存入预先构造的第二数据表；对于产线实时数据，通过获取工厂的MES采集的产线实时数据并进行计算，将计算结果存入预先构造的第三数据表；其中，第一数据表、第二数据表及第三数据表均归属于同一数据库。

基于上述描述可知，针对瓦楞纸包装企业的数据特点，对于不同数据源，依据其数据库类型通过设计不同的数据采集方式对数据进行采集，并存入企业的采集服务器的数据仓库，形成企业的数据资产。采用本发明采集方案进行数据采集时，不干扰生产过程，不改动原系统数据，且节省人力物力，在完全保证生产的同时，也方便了企业将要进行的数字化智能工厂建设。

图2为本申请根据一示例性实施例示出的一种采集服务器的硬件结构图，该电子设备包括：通信接口201、处理器202、机器可读存储介质203和总线204；其中，通信接口201、处理器202和机器可读存储介质203通过总线204完成相互间的通信。处理器202通过读取并执行机器可读存储介质203中与去除图像摩尔纹的方法的控制逻辑对应的机器可执行指令，可执行上文描述的去除图像摩尔纹的方法，该方法的具体内容参见上述实施例，此处不再累述。

本申请中提到的机器可读存储介质203可以是任何电子、磁性、光学或其它物理存储装置，可以包含或存储信息，如可执行指令、数据，等等。例如，机器可读存储介质可以是：易失存储器、非易失性存储器或者类似的存储介质。具体地，机器可读存储介质203可以是RAM(Radom Access Memory，随机存取存储器)、闪存、存储驱动器(如硬盘驱动器)、任何类型的存储盘(如光盘、DVD等)，或者类似的存储介质，或者它们的组合。

图3为本发明根据一示例性实施例示出的一种多源异构数据采集装置的实施例流程图，所述多源异构数据采集装置可以应用于采集服务器。如图3所示，所述多源异构数据采集装置包括：

第一采集模块310，用于从工厂的自研系统数据库中全量抽取数据并存入预先构造的第一数据表；

第二采集模块320，用于获取工厂的第三方系统提供的预设类型的数据并存入预先构造的第二数据表；

第三采集模块330，用于获取工厂的制造执行系统MES采集的产线实时数据并进行计算，将计算结果存入预先构造的第三数据表；

其中，所述第一数据表、第二数据表及第三数据表均归属于同一数据库。

在一可选实现方式中，所述装置还包括(图3中未示出)：

构造表模块，用于在所述第一采集模块310从自研系统数据库中全量抽取数据之前，从所述自研系统数据库中获取表结构，并依据所述表结构构造第一数据表；

所述构造表模块，还用于在所述第二采集模块320获取第三方系统提供的预设类型的数据之前，依据所述预设类型构造第二数据表。

在一可选实现方式中，所述第二采集模块320，具体用于针对每个工厂，以多线程方式读取该工厂第三方系统提供的每个预设类型的数据并存入缓存数据库；从所述缓存数据库中，读取各工厂的数据并存入所述第二数据表。

在一可选实现方式中，所述第三采集模块330，具体用于从FTP服务器下载由工厂的MES上传的产线实时数据；通知所述FTP服务器删除所述产线实时数据。

在一可选实现方式中，所述装置还包括(图3中未示出)：

第四采集模块，用于接收工厂系统上传的日志文件，所述系统包括自研系统和第三方系统；解析所述日志文件中的数据并进行计算，将计算结果存入预先构造的第四数据表；其中，所述第四数据表与第一数据表、第二数据表及第三数据表均归属于同一数据库。

上述装置中各个单元的功能和作用的实现过程具体详见上述方法中对应步骤的实现过程，在此不再赘述。

对于装置实施例而言，由于其基本对应于方法实施例，所以相关之处参见方法实施例的部分说明即可。以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本发明方案的目的。本领域普通技术人员在不付出创造性劳动的情况下，即可以理解并实施。

本领域技术人员在考虑说明书及实践这里公开的发明后，将容易想到本发明的其它实施方案。本发明旨在涵盖本发明的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本发明的一般性原理并包括本发明未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本发明的真正范围和精神由下面的权利要求指出。

还需要说明的是，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、商品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、商品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、商品或者设备中还存在另外的相同要素。

以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明保护的范围之内。

Claims (10)

1.一种多源异构数据采集方法，其特征在于，所述方法应用于采集服务器，所述方法包括：

从工厂的自研系统数据库中全量抽取数据并存入预先构造的第一数据表；

获取工厂的第三方系统提供的预设类型的数据并存入预先构造的第二数据表；

获取工厂的制造执行系统MES采集的产线实时数据并进行计算，将计算结果存入预先构造的第三数据表；

其中，所述第一数据表、第二数据表及第三数据表均归属于同一数据库。

2.根据权利要求1所述的方法，其特征在于，第一数据表的构造过程包括：

在从自研系统数据库中全量抽取数据之前，从所述自研系统数据库中获取表结构，并依据所述表结构构造第一数据表；

第二数据表的构造过程包括：在获取第三方系统提供的预设类型的数据之前，依据所述预设类型构造第二数据表。

3.根据权利要求1所述的方法，其特征在于，所述获取工厂的第三方系统提供的预设类型的数据并存入预先构造的第二数据表，包括：

针对每个工厂，以多线程方式读取该工厂第三方系统提供的每个预设类型的数据并存入缓存数据库；

从所述缓存数据库中，读取各工厂的数据并存入所述第二数据表。

4.根据权利要求1所述的方法，其特征在于，所述获取工厂的制造执行系统MES采集的产线实时数据，包括：

从FTP服务器下载由工厂的MES上传的产线实时数据；

通知所述FTP服务器删除所述产线实时数据。

5.根据权利要求1所述的方法，其特征在于，所述方法还包括：

接收工厂系统上传的日志文件，所述系统包括自研系统和第三方系统；

解析所述日志文件中的数据并进行计算，将计算结果存入预先构造的第四数据表；

其中，所述第四数据表与第一数据表、第二数据表及第三数据表均归属于同一数据库。

6.一种多源异构数据采集装置，其特征在于，所述装置应用于采集服务器，所述装置包括：

第一采集模块，用于从工厂的自研系统数据库中全量抽取数据并存入预先构造的第一数据表；

第二采集模块，用于获取工厂的第三方系统提供的预设类型的数据并存入预先构造的第二数据表；

第三采集模块，用于获取工厂的制造执行系统MES采集的产线实时数据并进行计算，将计算结果存入预先构造的第三数据表；

其中，所述第一数据表、第二数据表及第三数据表均归属于同一数据库。

7.根据权利要求6所述的装置，其特征在于，所述装置还包括：

构造表模块，用于在所述第一采集模块从自研系统数据库中全量抽取数据之前，从所述自研系统数据库中获取表结构，并依据所述表结构构造第一数据表；

所述构造表模块，还用于在所述第二采集模块获取第三方系统提供的预设类型的数据之前，依据所述预设类型构造第二数据表。

8.根据权利要求6所述的装置，其特征在于，所述第二采集模块，具体用于针对每个工厂，以多线程方式读取该工厂第三方系统提供的每个预设类型的数据并存入缓存数据库；从所述缓存数据库中，读取各工厂的数据并存入所述第二数据表。

9.根据权利要求6所述的装置，其特征在于，所述第三采集模块，具体用于从FTP服务器下载由工厂的MES上传的产线实时数据；通知所述FTP服务器删除所述产线实时数据。

10.根据权利要求6所述的装置，其特征在于，所述装置还包括：

第四采集模块，用于接收工厂系统上传的日志文件，所述系统包括自研系统和第三方系统；解析所述日志文件中的数据并进行计算，将计算结果存入预先构造的第四数据表；其中，所述第四数据表与第一数据表、第二数据表及第三数据表均归属于同一数据库。

Images