CN110569179A - 数据采集系统及数据采集方法 - Google Patents

Abstract

本发明提供一种数据采集系统，其包括多个机台、多个客户端、服务端、文件服务器和数据库，客户端包括第一处理器以及第一存储器，第一存储器中适于存储多条指令，所述指令适于由第一处理器加载并执行：向服务端发送查询日志文件路径的请求；接收日志文件的路径信息，查找相应的日志文件；将日志文件及日志文件信息发送至服务端。服务端包括第二处理器以及第二存储器，第二存储器中适于存储多条指令，所述指令适于由第二处理器加载并执行：从数据库中获取日志文件的路径信息，并将路径信息发送至客户端；将日志文件上传到文件服务器中，以及将日志文件信息上传到数据库中。本发明同时提供一种数据采集方法。

Description

数据采集系统及数据采集方法

技术领域

本发明涉及一种数据采集系统及数据采集方法，特别是一种基于机台日志文件的数据采集系统及数据采集方法。

背景技术

在生产企业中，为了让生产相关人员及时了解机台运行状况，需要对机台运行过程中所产生的相关数据进行采集，从而对数据进行分析，进而提升生产效率和产品良率。然而，在采集机台数据时通常会遇到如下两个问题，一是机台种类繁多，需要针对不同种类的机台编写不同的程序进行数据抓取，增加了开发人员的开发难度和开发时间；二是同类型机台的日志路径相对分散，且日志格式、种类不统一，因而无法设置统一路径进行数据采集，因此，现有的数据采集方法的效率较低。

发明内容

有鉴于此，有必要提供一种数据采集系统及数据采集方法，以提升机台数据采集的效率。

一种数据采集系统，其包括多个机台、多个客户端、服务端、文件服务器和数据库，每个所述客户端分别运行于相应的所述机台上，所述服务端与所述客户端、所述文件服务器、所述数据库分别建立通信连接，

所述数据库存储有多个对应所述机台日志文件的路径信息；

所述客户端包括第一处理器，以及

第一存储器，所述第一存储器中适于存储多条指令，所述指令适于由所述第一处理器加载并执行：

向所述服务端发送查询所述机台的日志文件路径的请求；

接收所述服务端发送的日志文件的路径信息，查找相应的日志文件；

将所述日志文件及日志文件信息发送至所述服务端；

所述服务端包括第二处理器，以及

第二存储器，所述第二存储器中适于存储多条指令，所述指令适于由所述第二处理器加载并执行：

从所述数据库中获取相应机台的日志文件的路径信息，并将所述路径信息发送至所述客户端；

将接收到的所述日志文件上传到所述文件服务器中，以及将接收到的所述日志文件信息上传到所述数据库中。

一种数据采集方法，应用于数据采集系统，所述数据采集系统包括多个机台，多个客户端、服务端、文件服务器和数据库，每个所述客户端分别运行于相应的所述机台上，所述服务端与所述客户端、所述文件服务器、所述数据库分别建立通信连接，所述数据库存储有多个对应所述机台日志文件的路径信息，所述数据采集方法包括以下步骤：

所述客户端向所述服务端发送查询机台的日志文件路径的请求；

所述服务端从所述数据库中获取日志文件的路径信息，并将所述日志文件的路径信息发送给所述客户端；

所述客户端查找机台相关的日志文件；

所述客户端将所述日志文件及日志文件信息发送给所述服务端；

所述服务端将所述日志文件上传至文件服务器中，并将所述日志文件信息上传至所述数据库中。

上述数据采集系统及数据采集方法能够及时采集大量的机台相关信息并进行保存，便于相关生产人员进行及时、高效地查询数据。上述数据采集系统及数据采集方法可应用于多种不同种类的机台，不需针对不同种类的机台编写不同的程序进行数据抓取，降低了开发人员的开发难度，缩短了开发时间。

附图说明

图1为本发明提供实施方式之数据采集系统的架构示意图。

图2为本发明提供实施方式之运行于客户端的客户端控制系统的模块示意图。

图3为本发明提供实施方式之运行于服务端的服务端控制系统的模块示意图。

图4为本发明提供实施方式之数据采集方法的示意图。

主要元件符号说明

如下具体实施方式将结合上述附图进一步说明本发明。

具体实施方式

为了能够更清楚地理解本发明的上述目的、特征和优点，下面结合附图和具体实施方式对本发明进行详细描述。需要说明的是，在不冲突的情况下，本申请的实施方式及实施方式中的特征可以相互组合。

在下面的描述中阐述了很多具体细节以便于充分理解本发明，所描述的实施方式仅是本发明一部分实施方式，而不是全部的实施方式。基于本发明中的实施方式，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施方式，都属于本发明保护的范围。

除非另有定义，本文所使用的所有的技术和科学术语与属于本发明的技术领域的技术人员通常理解的含义相同。本文中在本发明的说明书中所使用的术语只是为了描述具体的实施方式的目的，不是旨在限制本发明。

本文所使用的术语“及/或”包括一个或多个相关的所列项目的任意的和所有的组合。

请参考图1，图1为本发明一较佳实施方式中的数据采集系统100的架构示意图。所述数据采集系统100包括机台10、客户端20、服务端30、文件服务器40及数据库50。在本实施方式中，所述机台10与所述客户端20的数量可为多个，所述多个客户端20分别运行于相应的所述机台10上。所述多个客户端20分别与所述服务端30建立通信连接。所述服务端30分别与所述文件服务器40、所述数据库50建立通信连接。所述文件服务器40用于存储多个机台10的日志文件，所述数据库50用于存储机台10的日志文件信息，所述数据库50还用于存储多个对应所述机台10日志文件的路径信息。

所述多个机台10的类别可相同，也可不同，所述机台10可为CNC机台、检测机台等。所述机台10在单模次加工、生产或测试只创建一个日志文件，且所述机台10采用windows系统。所述日志文件中包括机台的运行状态、机台的异常报警记录、机台每一模次处理的产品数量和产品特征，以及机台的设定参数等。所述日志文件的格式为TXT、Excel或Csv等半结构化文件。

所述客户端20包括第一存储器21、第一处理器22及第一通信单元23。

所述第一存储器21用于存储所述客户端20的各种数据，例如程序代码等。在本实施方式中，第一存储器21可以包括但不限于只读存储器(Read-Only Memory，ROM)、随机存储器(Random Access Memory，RAM)、可编程只读存储器(Programmable Read-OnlyMemory，PROM)、可擦除可编程只读存储器(Erasable Programmable Read-Only Memory，EPROM)、一次可编程只读存储器(One-time Programmable Read-Only Memory，OTPROM)、电子擦除式可复写只读存储器(Electrically-Erasable Programmable Read-Only Memory，EEPROM)、只读光盘(Compact Disc Read-Only Memory，CD-ROM)或其他光盘存储器、磁盘存储器、磁带存储器、或者能够用于携带或存储数据的计算机可读的任何其他介质。

所述第一处理器22可以为中央处理器(CPU，Central Processing Unit)、微处理器、数字处理芯片或任何能够执行数据处理功能的处理器芯片。

所述第一通信单元23用于与所述服务端30建立通信连接。第一通信单元23可为有线或无线通信单元。

所述客户端20中还运行有一客户端控制系统24(请参图2)。所述客户端控制系统包括一个或多个程序形式的计算机指令，该一个或多个程序形式的计算机指令储存于所述第一存储器21中，并由所述第一处理器22执行。请参图2，在本实施方式中，客户端控制系统24包括第一信息传输模块241、连接请求模块242、路径请求模块243、文件查找模块244及日志文件记录模块245。

所述第一信息传输模块241用于与服务端30之间进行各种信息的传输，所述信息包括日志文件的路径信息、日志文件及日志文件信息。

所述连接请求模块242用于向服务端30发出建立连接的请求，以及判断是否与服务端30成功建立连接。

所述路径请求模块243用于向服务端30发送查询机台10日志文件路径的请求。由于多个机台10的日志文件的路径信息均预存于数据库50中，所述路径请求模块243向服务端30发出机台10的日志文件的路径请求，以便服务端30从数据库50中获取日志文件的路径信息后，再将路径信息反馈至客户端20。

所述文件查找模块244用于依据日志文件的路径信息，查找机台10中相应的日志文件。

所述日志文件记录模块245用于记录所查找的日志文件的创建时间，以便于下次查找时从该创建时间之后进行查找。

所述服务端30包括第二存储器31、第二处理器32和第二通信单元33。所述第二存储器31用于存储所述服务端30的各种数据，例如程序代码等。在本实施方式中，所述第二存储器31可以包括但不限于只读存储器、随机存储器、可编程只读存储器、可擦除可编程只读存储器、一次可编程只读存储器、电子擦除式可复写只读存储器、只读光盘或其他光盘存储器、磁盘存储器、磁带存储器、或者能够用于携带或存储数据的计算机可读的任何其他介质。

所述第二处理器32可以为中央处理器，微处理器，数字处理芯片、或任何能够执行数据处理功能的处理器芯片。

所述第二通信单元33用于与客户端20的第一通信单元23建立通信连接，所述第二通信单元33可以为有线或无线通信单元。

所述服务端30中还运行有一服务端控制系统34(请参3)。所述服务端控制系统34包括一个或多个程序形式的计算机指令，该一个或多个程序形式的计算机指令储存于所述第一存储器21中，并由所述第一处理器22执行。请参图3，在本实施方式中，服务端控制系统34包括第二信息传输模块341、机台校验模块342、路径信息获取模块343及文件上传模块344。

所述第二信息传输模块341用于与客户端20、文件服务器40及数据库50之间传输信息。所述信息包括日志文件的路径信息、日志文件及日志文件信息。

所述机台校验模块342用于查询数据库50，校验客户端20发送的机台10的信息是否配置在数据库50中。

所述路径信息获取模块343用于依据客户端20发送的机台10的信息，从数据库50中获取相应机台10的日志文件的路径信息。

所述文件上传模块344用于将接收到的日志文件上传到文件服务器40中，以及将接收到的日志文件的信息上传到数据库50中。

图4为本发明一实施方式中数据采集方法的流程图。所述数据采集方法方法应用于所述数据采集系统100中。根据不同的需求，该流程图中的步骤顺序可以改变，某些步骤可以省略或者合并。

步骤S401，所述客户端20的连接请求模块242向所述服务端30发送连接请求。

步骤S402，所述服务端30接收所述连接请求，所述客户端20的连接请求模块242判断客户端20是否与服务端30成功建立连接。若为是，则进入步骤S403；若为否，则再次进入步骤S401。

在至少一实施方式中，当客户端20与服务端30连接失败时，客户端20的日志文件记录模块245可生成相应的异常记录的日志文件。

步骤S403，所述客户端20的路径请求模块243向所述服务端30发送查询机台10的日志文件路径的请求，其中该请求包括所述机台10的信息。

步骤S404，所述服务端30接收所述查询日志文件路径的请求后，所述机台校验模块342查询数据库50，校验机台10的信息是否配置在数据库50中。若为是，则进入步骤S405；若为否，则结束。

步骤S405，所述服务端30的路径信息获取模块343从数据库50中获取日志文件的路径信息，所述第二信息传输模块341将日志文件的路径信息发送给所述客户端20。

步骤S406，所述客户端20接收所述路径信息后，所述文件查找模块244依据所述路径信息查找所述机台10相关的日志文件，并所述日志文件记录模块245记录日志文件建立的时间。

步骤S407，所述客户端20的第一信息传输模块241将日志文件和日志文件信息发送给所述服务端30。

步骤S408，所述服务端30接收所述日志文件和所述日志文件信息后，所述文件上传模块344将所述日志文件上传至所述文件服务器40，并将所述日志文件信息上传至所述数据库50。

可以理解，在其他实施方式中，所述步骤S401、S402可以省略，数据采集方法由步骤S403开始，相应的，所述连接请求模块242可以取消。

可以理解，在其他实施方式中，所述步骤S404可以省略，相应的，所述机台校验模块342可以取消。

上述数据采集系统及数据采集方法，数据库50中存储有机台相应的日志文件的路径信息，客户端20发送查询机台的日志文件路径的请求，服务端30从数据库50中获取相应日志文件的路径信息，并将路径信息发送至客户端20；客户端20查找相应的日志文件，将所述日志文件及日志文件信息发送至所述服务端30，由服务端30将所述日志文件上传到所述文件服务器40中，以及将所述日志文件的信息上传到所述数据库50中。

因此，上述数据采集系统及数据采集方法能够及时采集大量的机台相关信息并进行保存，便于相关生产人员进行及时、高效地查询数据。上述数据采集系统及数据采集方法可应用于多种不同种类的机台，不需针对不同种类的机台编写不同的程序进行数据抓取，降低了开发人员的开发难度，缩短了开发时间。同时，日志文件存储于文件服务器中，日志文件信息存储于数据库中，分类保存的方式可提升数据库的查询速度，有效避免数据库的崩溃，降低数据丢失和数据异常的概率。

本领域普通技术人员可以理解实现上述实施方式中的全部或者部分流程，是可以通过计算机程序来指令相关的硬件完成，所述的程序可存储于一计算机可读取存储介质中，所述程序在执行时，可包括如上述各方法的实施方式的流程。

另外，在本发明各个实施方式中的各功能单元可以集成在相同处理器中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在相同单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用硬件加软件功能模块的形式实现。

上述以软件功能单元的形式实现的集成的单元，可以存储在一个计算机可读取存储介质中。上述软件功能单元存储在一个存储介质中，包括若干指令用以使得一台电子设备(可以是手持式电子设备，如智能手机、笔记本电脑、个人数字助理(Personal DigitalAssistant，PDA)、智能式穿戴式设备等，也可以是桌面式电子设备，如台式机、智能电视等)或处理器(processor)执行本发明各个实施方式所述方法的部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储设备(Read-Only Memory，ROM)、随机存取存储设备(RandomAccess Memory，RAM)、磁碟或者光盘等各种可以存储程序代码的介质。

对于本领域技术人员而言，显然本发明不限于上述示范性实施方式的细节，而且在不背离本发明的精神或基本特征的情况下，能够以其它的具体形式实现本发明。因此，无论从哪一点来看，均应将实施方式看作是示范性的，而且是非限制性的，本发明的范围由所附权利要求而不是上述说明限定，因此旨在将落在权利要求的等同要件的含义和范围内的所有变化涵括在本发明内。不应将权利要求中的任何附图标记视为限制所涉及的权利要求。此外，显然“包括”一词不排除其它单元或步骤，单数不排除复数。系统权利要求中陈述的多个单元或系统也可以由同一个单元或系统通过软件或者硬件来实现。第一，第二等词语用来表示名称，而并不表示任何特定的顺序。

最后应说明的是，以上实施方式仅用以说明本发明的技术方案而非限制，尽管参照较佳实施方式对本发明进行了详细说明，本领域的普通技术人员应当理解，可以对本发明的技术方案进行修改或等同替换，而不脱离本发明技术方案的精神和范围。

Claims (10)

1.一种数据采集系统，其包括多个机台、多个客户端、服务端、文件服务器和数据库，每个所述客户端分别运行于相应的所述机台上，所述服务端与所述客户端、所述文件服务器、所述数据库分别建立通信连接，其特征在于，

所述数据库存储有多个对应所述机台日志文件的路径信息；

所述客户端包括第一处理器，以及

第一存储器，所述第一存储器中适于存储多条指令，所述指令适于由所述第一处理器加载并执行：

向所述服务端发送查询所述机台的日志文件路径的请求；

接收所述服务端发送的日志文件的路径信息，查找相应的日志文件；

将所述日志文件及日志文件信息发送至所述服务端；

所述服务端包括第二处理器，以及

第二存储器，所述第二存储器中适于存储多条指令，所述指令适于由所述第二处理器加载并执行：

从所述数据库中获取相应机台的日志文件的路径信息，并将所述路径信息发送至所述客户端；

将接收到的所述日志文件上传到所述文件服务器中，以及将接收到的所述日志文件信息上传到所述数据库中。

2.如权利要求1所述的数据采集系统，其特征在于，所述指令还适于由所述第一处理器加载并执行：

在向所述服务端发送查询日志文件路径的请求之前，向所述服务端发出建立连接的请求，以及

判断是否与所述服务端成功建立连接。

3.如权利要求2所述的数据采集系统，其特征在于，若未成功建立连接，生成异常记录的日志文件。

4.如权利要求1所述的数据采集系统，其特征在于，所述指令还适于由所述第一处理器加载并执行：

在查找日志文件时，记录所查找的日志文件的创建时间。

5.如权利要求1所述的数据采集系统，其特征在于，所述指令还适于由所述第二处理器加载并执行：

查询数据库，校验客户端发送的机台的信息是否配置在数据库中。

6.如权利要求1所述的数据采集系统，其特征在于，所述日志文件中包括机台的运行状态、机台的异常报警记录、机台每一模次处理的产品数量和产品特征，以及机台的设定参数。

7.一种数据采集方法，应用于数据采集系统，所述数据采集系统包括多个机台，多个客户端、服务端、文件服务器和数据库，每个所述客户端分别运行于相应的所述机台上，所述服务端与所述客户端、所述文件服务器、所述数据库分别建立通信连接，所述数据库存储有多个对应所述机台日志文件的路径信息，所述数据采集方法包括以下步骤：

所述客户端向所述服务端发送查询机台的日志文件路径的请求；

所述服务端从所述数据库中获取日志文件的路径信息，并将所述日志文件的路径信息发送给所述客户端；

所述客户端查找机台相关的日志文件；

所述客户端将所述日志文件及日志文件信息发送给所述服务端；

所述服务端将所述日志文件上传至文件服务器中，并将所述日志文件信息上传至所述数据库中。

8.如权利要求7所述的数据采集方法，其特征在于，所述数据采集方法还包括：

在所述客户端向所述服务端发送查询日志文件路径的请求之前，所述客户端向所述服务端发出建立连接的请求，以及

所述客户端判断是否与所述服务端成功建立连接。

9.如权利要求7所述的数据采集方法，其特征在于，所述数据采集方法还包括：

所述客户端在查找所述日志文件时，记录所查找的日志文件的创建时间。

10.如权利要求7所述的数据采集方法，其特征在于，所述数据采集方法还包括：

在所述客户端发送查询日志文件路径的请求之后，所述服务端查询所述数据库，校验所述客户端发送的机台信息是否配置在所述数据库中。