CN116170299A - 数据采集方法、系统及装置 - Google Patents

数据采集方法、系统及装置 Download PDF

Info

Publication number
CN116170299A
CN116170299A CN202310150899.4A CN202310150899A CN116170299A CN 116170299 A CN116170299 A CN 116170299A CN 202310150899 A CN202310150899 A CN 202310150899A CN 116170299 A CN116170299 A CN 116170299A
Authority
CN
China
Prior art keywords
data acquisition
log
information
data
industrial
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202310150899.4A
Other languages
English (en)
Inventor
郑建新
张健
朱林
刘欢
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shanghai Zhoubang Information Technology Co ltd
Original Assignee
Shanghai Zhoubang Information Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shanghai Zhoubang Information Technology Co ltd filed Critical Shanghai Zhoubang Information Technology Co ltd
Priority to CN202310150899.4A priority Critical patent/CN116170299A/zh
Publication of CN116170299A publication Critical patent/CN116170299A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
    • H04L41/06—Management of faults, events, alarms or notifications
    • H04L41/069—Management of faults, events, alarms or notifications using logs of notifications; Post-processing of notifications
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L43/00—Arrangements for monitoring or testing data switching networks
    • H04L43/04—Processing captured monitoring data, e.g. for logfile generation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L63/00—Network architectures or network communication protocols for network security
    • H04L63/14—Network architectures or network communication protocols for network security for detecting or protecting against malicious traffic
    • H04L63/1408—Network architectures or network communication protocols for network security for detecting or protecting against malicious traffic by monitoring network traffic
    • H04L63/1425—Traffic logging, e.g. anomaly detection
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
    • Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
    • Y02P90/02—Total factory control, e.g. smart factories, flexible manufacturing systems [FMS] or integrated manufacturing systems [IMS]

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Computer Security & Cryptography (AREA)
  • Computer Hardware Design (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Debugging And Monitoring (AREA)

Abstract

本申请提供了一种数据采集方法、系统及装置，方法由数据采集控制终端执行，数据采集控制终端与同一业务类型的至少一个工业设备连接，方法包括：获取工业设备的初始日志以及业务类型对应的设备参数，其中初始日志包括一行或多行日志数据；根据设备参数从一行或多行日志数据中获取多个参数信息，其中设备参数是基于对多个参数信息进行运算和/或类别划分得到的；按照多个参数信息采集工业设备的日志文件。本申请的技术方案提高了日志文件的采集效率，降低了采集日志文件所需的资源消耗。

Description

数据采集方法、系统及装置
技术领域
本申请涉及计算机技术领域，具体涉及一种数据采集方法、系统及装置。
背景技术
日志文件可以时刻反映信息系统内在的真实状况，因此对日志文件进行分析可以了解信息系统的运行状况。然而日志文件数据量较大、种类较多，从而导致了获取日志文件的效率较低，也进一步导致了获取日志文件所需的资源消耗较高。
鉴于此，如何在提高日志文件采集效率的同时，降低采集时所需的资源消耗成为亟待解决的技术问题。
发明内容
有鉴于此，本申请实施例提供了一种数据采集方法、系统及装置，提高了日志文件的采集效率，降低了采集日志文件时所需的资源消耗。
第一方面，本申请的实施例提供了一种数据采集方法，该方法由数据采集控制终端执行，数据采集控制终端与同一业务类型的至少一个工业设备连接，方法包括：获取工业设备的初始日志以及业务类型对应的设备参数，其中初始日志包括一行或多行日志数据；根据设备参数从一行或多行日志数据中获取多个参数信息，其中设备参数是基于对多个参数信息进行运算和/或类别划分得到的；按照多个参数信息采集工业设备的日志文件。
在本申请某些实施例中，多个参数信息包括工业设备开始生产产品的第一生产信息、工业设备完成生产产品的第二生产信息以及故障信息，设备参数包括生产周期、产距时间以及故障代码，其中，方法还包括：将第一生产信息和第二生产信息进行差值计算，获取生产周期；将工业设备连续的两个第一生产信息进行差值计算，获取产距时间；以及，将故障信息进行类别划分，获取故障代码。
在本申请某些实施例中，方法还包括：通过正则表达式对初始日志进行解析，获取工业设备的运行状态，其中运行状态包括生产、待机或故障。
在本申请某些实施例中，多个参数信息包括多个运行状态信息，运行状态信息用于表示工业设备的运行状态，其中，通过正则表达式对初始日志进行解析，获取工业设备的运行状态，包括：构建状态集合，状态集合包括多个运行状态信息；通过正则表达式将多个运行状态信息与运行状态进行匹配，以获取工业设备的运行状态。
在本申请某些实施例中，在根据设备参数从一行或多行日志数据中获取多个参数信息之前，还包括：在检测到初始日志包括预设的多个关键属性的情况下，判定初始日志完整，并查找多个参数信息。
第二方面，本申请的实施例提供了一种数据采集系统，该系统包括数据采集控制终端、终端管理器、数据平台以及至少一个工业设备，其中，数据采集控制终端，用于执行上述第一方面所述的数据采集方法，以及将采集的工业设备的日志文件发送至数据平台；终端管理器，用于从数据平台获取待采集的至少一个工业设备的设备信息，并生成数据采集控制终端。
在本申请某些实施例中，数据采集控制终端包括协议解析器，其中，协议解析器用于对日志文件进行格式解析，以及在数据采集控制终端，与至少一个工业设备和数据平台进行数据传输时，转换指定的传输协议。
第三方面，本申请的实施例提供了一种数据采集装置，数据采集装置为数据采集控制终端，数据采集控制终端与同一业务类型的至少一个工业设备连接，数据采集控制终端包括第一获取模块、第二获取模块以及采集模块，其中，第一获取模块，用于获取工业设备的初始日志以及业务类型对应的设备参数，其中初始日志包括一行或多行日志数据；第二获取模块，用于根据设备参数从一行或多行日志数据中获取多个参数信息，其中设备参数是基于对多个参数信息进行运算和/或类别划分得到的；采集模块，用于按照多个参数信息采集工业设备的日志文件。
第四方面，本申请的实施例提供了一种计算可读存储介质，存储介质存储有计算机程序，计算机程序用于执行上述第一方面所述的数据采集方法。
第五方面，本申请的实施例提供了一种电子设备，包括：处理器；用于存储处理器可执行指令的存储器，其中，处理器用于执行上述第一方面所述的数据采集方法。
本申请实施例提供了一种数据采集方法、系统及装置，通过获取工业设备的初始日志以及工业设备所在业务类型对应的设备参数，并根据设备参数从初始日志中，获取构建设备参数的多个参数信息，进而数据采集控制终端可以按照多个参数信息采集日志文件，使得日志文件中包括的日志数据更具有针对性，按需采集日志数据，为后续准确获取工业设备的设备参数提供了保障。同时减少了所需采集的日志数据的数据量，进而提高了日志文件的采集效率，降低了采集日志文件时所需的资源消耗。
附图说明
附图用来提供对本公开的进一步理解，并且构成说明书的一部分，与本公开的实施例一起用于解释本公开，并不构成对本公开的限制。通过参考附图对详细示例实施例进行描述，以上和其他特征和优点对本领域技术人员将变得更加显而易见，在附图中：
图1是本申请一示例性实施例提供的数据采集系统的示意图。
图2是本申请一示例性实施例提供的数据采集方法的流程示意图。
图3是本申请另一示例性实施例提供的数据采集方法的流程示意图。
图4是本申请一示例性实施例提供的数据采集装置的结构示意图。
图5是本申请一示例性实施例提供的用于数据采集的电子设备的框图。
具体实施方式
下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
示例性系统
图1是本申请一示例性实施例提供的数据采集系统的示意图。如图1所示，该数据采集系统包括数据平台110、数据采集控制终端120、至少一个工业设备130以及终端管理器140。
数据平台110可以是设置在服务器上的数据平台，本申请实施例对此不作具体限定。
终端管理器140可以与数据平台110和数据采集控制终端120无线连接。终端管理器140可以向数据平台110发送心跳信息，以便于确保与数据平台110的正常连接，其中心跳信息可以包括连接时间(Connect Time)和终端管理器当前的运行状态(Status)。终端管理器140可以从数据平台110获取需要采集的至少一个工业设备130的配置信息，并生成对应的数据采集控制终端120。此外，在工业设备130不在需要进行数据采集的情况下，终端管理器140可以将对应的数据采集控制终端120销毁。也就是说，终端管理器140可以负责管理多个数据采集控制终端120的生命周期。
数据采集控制终端120可以与数据平台110、至少一个工业设备130及终端管理器140无线连接。数据采集控制终端120可以包括协议解析器(Device Adapter)121，协议解析器121可以用于对采集的日志文件进行格式解析，以及在进行数据传输的情况下转换传输协议，并且协议解析器121的数量可以是一个或多个，本申请实施例对此不作具体限定。例如，参见图1，数据采集控制终端120包括N个协议解析器121。
在一实施例中，协议解析器用于对日志文件进行格式解析，以及在数据采集控制终端需要与至少一个工业设备和数据平台进行数据传输时，转换指定的传输协议。
数据采集控制终端120可以从数据平台110接收采集和控制指令，其中指令可以包括定义应用哪个协议解析器121与工业设备130进行通信，定义数据的传输协议(例如，定义何种协议与数据平台进行通信)，定义需要采集的参数信息和设备参数的配置，定义数据采集的频率，以及定义数据采集之前的预处理脚本等。预处理脚本可以用于将没有格式的日志文件转化为数据平台110可以处理的文件格式，其中数据采集控制终端120可以通过指令中定义的内容(例如，可以是定义的数据采集的频率)，重复执行调用预处理脚本。此外，在数据采集控制终端120发送日志文件失败的情况下，数据采集控制终端120可以暂存日志文件，以等待再次传输。
需要说明的是，数据平台110、数据采集控制终端120以及终端管理器140可以是软件。
工业设备130可以是硬件设备。工业设备130的数量可以是一个或多个，并且多个工业设备可以是同一业务类型的工业设备，即同一业务场景下的工业设备，本申请实施例对工业设备的数量不作具体限定。
需要说明的是，本申请实施例可以理解为是通过数据采集系统对工业设备的日志文件进行按需采集、个性化采集的技术方案。
示例性方法
图2是本申请一示例性实施例提供的数据采集方法的流程示意图。图2的方法由计算设备，或计算设备上运行的数据采集控制终端执行，其中数据采集控制终端与同一业务类型的至少一个工业设备连接。如图2所示，该数据采集方法包括如下内容。
S210：获取工业设备的初始日志以及业务类型对应的设备参数。
在一实施例中，初始日志包括一行或多行日志数据。具体地，初始日志可以是采用表格形式呈现的一行或多行日志数据，本申请实施例对日志数据的形式不作具体限定。
具体地，初始日志可以称为Log文件，其可以是用于记录工业设备的操作事件的记录文件。也就是说，初始日志可以理解为是工业设备采集的完整的日志文件，其中初始日志可以包括多个参数信息。数据采集控制终端可以从工业设备采集该工业设备的初始日志。
设备参数可以理解为是用户(例如，应用工业设备生产产品的工作人员)需要关注的工业设备生产产品时的重要参数。设备参数可以由工业专家根据业务需求与现场生产需求进行设定，并预先存储在数据平台，数据采集控制终端可以从数据平台获取该设备参数。例如在业务类型为物料加工的场景下，多个设备参数可以包括生产周期(Cycle Time)、产距时间(Takt Time)、物料编号(Barcode)以及故障代码(Errorcode)等。设备参数的数量可以为多个，即多个设备参数，本申请实施例对设备参数的数量不作具体限定。
需要说明的是，数据采集控制终端在获取设备参数的同时，还可以获取设备参数的构建方式以及构建该设备参数的多个参数信息，以便于数据采集控制终端在初始日志中查询多个参数信息。
S220：根据设备参数从一行或多行日志数据中获取多个参数信息。
在一实施例中，设备参数是基于对多个参数信息进行运算和/或类别划分得到的。
具体地，一行或多行日志数据可以包括多个参数信息。数据采集控制终端可以从一行或多行日志数据中查找多个参数信息，从而获得多个参数信息。例如，数据采集控制终端可以将每行日志数据中记录的参数信息与构建设备参数所需的多个参数信息进行匹配，从而获得多个参数信息。
运算可以是加减运算或乘除运算，本申请实施例对运算的类型不作具体限定。设备参数可以是通过对多个参数信息进行加减运算后获得的，也可以是对多个参数信息进行类别划分后获得的，并且在设备参数为多个的情况下，多个设备参数可以是通过对多个参数信息进行加减运算和类别划分后获得的，本申请实施例对设备参数的获取过程不作具体限定。
例如，在设备参数为生产周期的情况下，多个参数信息包括工业设备开始生产产品的第一生产信息、工业设备完成生产该产品的第二生产信息，此时设备参数可以通过将第二生产信息与第一生产信息进行相减后获得。
S230：按照多个参数信息采集工业设备的日志文件。
具体地，数据采集控制终端可以按照多个参数信息采集仅包括多个参数信息的工业设备的日志文件，即日志文件中仅包括多个参数信息。
需要说明的是，数据采集控制终端可以采用单客户端模式采集，即只负责采集具体的某一个工业设备的日志文件(例如，生产数据)，以确保采集时具有较高的时效性。数据采集控制终端也可以采用多客户端模式采集，以满足采集同一业务类型的多个工业设备的日志文件的需求，从而减少了数据采集资源的消耗。
在一实施例中，在按照多个参数信息采集工业设备的日志文件之后，还包括基于工业设备的日志文件中包括的多个参数信息，获取针对该工业设备的设备参数，而后将获取的设备参数上传至数据平台，并显示该日志文件。
由此可知，本申请实施例通过获取工业设备的初始日志以及工业设备所在业务类型对应的设备参数，并根据设备参数从初始日志中，获取构建设备参数的多个参数信息，进而数据采集控制终端可以按照多个参数信息采集日志文件，使得日志文件中包括的日志数据更具有针对性，按需采集日志数据，为后续准确获取工业设备的设备参数提供了保障。同时减少了所需采集的日志数据的数据量，进而提高了日志文件的采集效率，降低了采集日志文件时所需的资源消耗。
在本申请一实施例中，多个参数信息包括工业设备开始生产产品的第一生产信息、工业设备完成生产产品的第二生产信息以及故障信息，设备参数包括生产周期、产距时间以及故障代码，其中，方法还包括：将第一生产信息和第二生产信息进行差值计算，获取生产周期；将工业设备连续的两个第一生产信息进行差值计算，获取产距时间；以及，将故障信息进行类别划分，获取故障代码。
具体地，数据采集控制终端可以在一行或多行日志数据中，查询到工业设备生产产品时的多个参数信息。多个参数信息可以包括工业设备开始生产产品的第一生产信息、工业设备完成生产产品的第二生产信息以及故障信息等，其中第一生产信息可以是工业设备开始生产产品的时间点，第二生产信息可以是工业设备完成生产的时间点，故障信息可以是工业设备在生产过程中因突发情况导致故障时的信息。
在一实施例中，生产周期可以是从产品物料进入工业设备，到该工业设备加工完该产品物料的时间间隔。数据采集控制终端可以将第一生产信息与第二生产信息之间的时间差作为生产周期。
在一实施例中，产距时间可以是从产品物料进入工业设备，并加工完成直到下一个产品物料进入该工业设备的时间间隔。也就是说，数据采集控制终端可以将工业设备对应的连续的两个第一生产信息之间的时间差作为产矩时间。
在一实施例中，故障代码可以是故障对应的编号，其中用户可以预先将工业设备的故障信息按实际情况进行编号分类，例如断电对应编号01，卡料对应编号02以及调机对应编号03等。数据采集控制终端可以将故障信息与故障代码进行匹配，以确定该故障代码。
需要说明的是，多个设备参数还可以包括预设的理想生产周期(Ideal CycleTime)以及预设的理想产矩时间(Ideal Take Time)等，本申请实施例对设备参数不作具体限定。理想生产周期和理想产矩时间这两个设备参数的参数值通常按照行业经验判断工业设备生产的理想状态，然后手动添加，以作为预测性维护的一个重要指标。
由此可知，本申请实施例通过多个参数信息获取设备参数的参数值，使得设备参数可以正确的反应工业设备的运行情况。
在本申请一实施例中，方法还包括：通过正则表达式对初始日志进行解析，获取工业设备的运行状态，其中运行状态包括生产、待机或故障。
需要说明的是，除了对初始日志进行解析获取工业设备对应的设备参数之外，本申请实施例还可以通过对初始日志进行解析，以获取该工业设备的运行状态。
具体地，运行状态可以理解为是通过分析工业设备的初始日志，判定的工业设备所处的运行状态。运行状态包括生产(Running)、待机(Idle)、停机或调机以及故障等多种运行状态，其中生产状态还可以进一步包括等待进板(Wait Board In)和等待出板(WaitBoard Out)，调机或故障可以采用单词Down进行表示，本申请实施例对运行状态不作具体限定。等待进板可以理解为是工业设备在进行生产时等待产品物料进入工业设备的阶段。等待出板可以理解为是工业设备正在加工产品物料，等待产品加工完成的阶段。
在一实施例中，数据采集控制终端可以先构建包括多个运行状态信息的状态集合，而后通过正则表达式将多个运行状态信息与运行状态进行匹配，以获取状态集合对应的运行状态，其中正则表达式也可以称为规则表达式。
由此可知，本申请实施例通过对工业设备的多个参数信息进行分析，以获取该工业设备的状态信息，从而提高了对运行故障检测的效率。
在本申请一实施例中，多个参数信息包括多个运行状态信息，运行状态信息用于表示工业设备的运行状态，其中，通过正则表达式对初始日志进行解析，获取至少一个工业设备的运行状态，包括：构建包括多个运行状态信息的状态集合；通过正则表达式将多个运行状态信息与运行状态进行匹配，以获取状态集合对应的运行状态。
具体地，基于多个参数信息中用于表示工业设备运行状态的参数信息(即，运行状态信息)，构建状态集合，其中该状态集合可以理解为是由多个运行状态信息组成的数据集合。而后将不同的运行状态采用不同的数据范围进行表示，即生产状态、待机状态以及故障状态分别具有不同的范围。进而数据采集控制终端可以通过正则表达式将多个运行状态信息(例如，数据)与运行状态进行匹配。其中在多个运行状态信息匹配到对应的运行状态的情况下，则将该匹配对应的运行状态作为工业设备的运行状态。
需要说明的是，在多数情况下，工业设备的运行状态都无法通过初始日志中的一个或两个参数信息来确定，因此本申请实施例采用归类的方式确定工业设备的运行状态。将能够代表工业设备某个运行状态的多种参数信息放在一个集合(即，状态集合)里，而后通过正则表达式来匹配状态集合里面的多个参数信息，在多个参数信息匹配到某一运行状态对应的数据范围内时，则将该运行状态输出作为状态集合对应的运行状态，即工业设备的运行状态。
由此可知，本申请实施例通过采用归类的方式确定工业设备的运行状态，避免了因无法通过少量的参数信息确定运行状态的问题，提高了确定运行状态的便利性。
在本申请一实施例中，在根据设备参数从一行或多行日志数据中获取多个参数信息之前，还包括：在检测到初始日志包括预设的多个关键属性的情况下，判定初始日志完整，并查找多个参数信息。
具体地，在获取多个参数信息之前，数据采集控制终端可以对采集的初始日志进行完整性评估。在检测到初始日志完整的情况下，数据采集控制终端可以从完整的初始日志中获取多个参数信息。
例如，参见图3，S310：获取工业设备的初始日志以及业务类型对应的设备参数。S320：判断初始日志是否完整。其中在初始日志完整的情况下，执行步骤S330；在初始日志不完整的情况下，执行步骤S310。S330：根据设备参数从初始日志中获取多个参数信息。S340：采集仅包括多个参数信息的工业设备的日志文件。S350：显示采集的日志文件。
在一实施例中，完整性评估可以采用检测关键属性的方式。具体地，数据采集控制终端可以判断初始日志是否包括多个关键属性，其中在数据采集控制终端检测到初始日志包括预设的多个关键属性的情况下，则判定初始日志完整，否则判定初始日志不完整。需要说明的是，关键属性的数量和内容可以根据不同的业务类型进行针对性的设定，本申请实施例对关键属性不作具体限定。
由此可知，本申请实施例通过对初始日志进行完整性评估，从而确保了采集的初始日志可以完整的包含工业设备运行时的各种状态信息。
示例性装置
图4是本申请一示例性实施例提供的数据采集装置400的结构示意图。如图4所示，该数据采集装置400为数据采集控制终端，数据采集控制终端与同一业务类型的至少一个工业设备连接，数据采集控制终端包括：第一获取模块410、第二获取模块420以及采集模块430。
第一获取模块410用于获取工业设备的初始日志以及业务类型对应的设备参数，其中初始日志包括一行或多行日志数据；第二获取模块420用于根据设备参数从一行或多行日志数据中获取多个参数信息，其中设备参数是基于对多个参数信息进行运算和/或类别划分得到的；采集模块430用于按照多个参数信息采集工业设备的日志文件。
本申请实施例提供了一种数据采集装置，通过获取工业设备的初始日志以及工业设备所在业务类型对应的设备参数，并根据设备参数从初始日志中，获取构建设备参数的多个参数信息，进而数据采集控制终端可以按照多个参数信息采集日志文件，使得日志文件中包括的日志数据更具有针对性，按需采集日志数据，为后续准确获取工业设备的设备参数提供了保障。同时减少了所需采集的日志数据的数据量，进而提高了日志文件的采集效率，降低了采集日志文件时所需的资源消耗。
根据本申请一实施例，多个参数信息包括工业设备开始生产产品的第一生产信息、工业设备完成生产产品的第二生产信息以及故障信息，设备参数包括生产周期、产距时间以及故障代码，其中第一获取模块410还可以用于将第一生产信息和第二生产信息进行差值计算，获取生产周期；将工业设备连续的两个第一生产信息进行差值计算，获取产距时间；以及，将故障信息进行类别划分，获取故障代码。
根据本申请一实施例，第二获取模块420用于通过正则表达式对初始日志进行解析，获取工业设备的运行状态，其中运行状态包括生产、待机或故障。
根据本申请一实施例，多个参数信息包括多个运行状态信息，运行状态信息用于表示工业设备的运行状态，其中第二获取模块420用于构建状态集合，状态集合包括多个运行状态信息；通过正则表达式将多个运行状态信息与运行状态进行匹配，以获取工业设备的运行状态。
根据本申请一实施例，第二获取模块420用于在检测到初始日志包括预设的多个关键属性的情况下，判定初始日志完整，并查找多个参数信息。
应当理解，上述实施例中的第一获取模块410、第二获取模块420以及采集模块430的具体工作过程和功能可以参考上述图2和图3实施例提供的数据采集方法中的描述，为了避免重复，在此不再赘述。
示例性电子设备及计算机可读存储介质
图5是本申请一示例性实施例提供的用于数据采集的电子设备500的框图。
参照图5，电子设备500包括处理组件510，其进一步包括一个或多个处理器，以及由存储器520所代表的存储器资源，用于存储可由处理组件510的执行的指令，例如应用程序。存储器520中存储的应用程序可以包括一个或一个以上的每一个对应于一组指令的模块。此外，处理组件510被配置为执行指令，以执行上述数据采集方法。
电子设备500还可以包括一个电源组件被配置为执行电子设备500的电源管理，一个有线或无线网络接口被配置为将电子设备500连接到网络，和一个输入输出(I/O)接口。可以基于存储在存储器520的操作系统操作电子设备500，例如Windows ServerTM，Mac OSXTM，UnixTM，LinuxTM，FreeBSDTM或类似。
一种非临时性计算机可读存储介质，当存储介质中的指令由上述电子设备500的处理器执行时，使得上述电子设备500能够执行一种数据采集方法，包括：获取工业设备的初始日志以及业务类型对应的设备参数，其中初始日志包括一行或多行日志数据；根据设备参数从一行或多行日志数据中获取多个参数信息，其中设备参数是基于对多个参数信息进行运算和/或类别划分得到的；按照多个参数信息采集工业设备的日志文件。
上述所有可选技术方案，可采用任意结合形成本申请的可选实施例，在此不再一一赘述。
本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本申请的范围。
所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统、装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
在本申请所提供的几个实施例中，应该理解到，所揭露的系统、装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外，在本申请各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。
所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序校验码的介质。
需要说明的是，在本申请的描述中，术语“第一”、“第二”、“第三”等仅用于描述目的，而不能理解为指示或暗示相对重要性。此外，在本申请的描述中，除非另有说明，“多个”的含义是两个或两个以上。
以上所述仅为本申请的较佳实施例而已，并不用以限制本申请，凡在本申请的精神和原则之内，所作的任何修改、等同替换等，均应包含在本申请的保护范围之内。

Claims (10)

1.一种数据采集方法，其特征在于，所述方法由数据采集控制终端执行，所述数据采集控制终端与同一业务类型的至少一个工业设备连接，所述方法包括：
获取工业设备的初始日志以及所述业务类型对应的设备参数，其中所述初始日志包括一行或多行日志数据；
根据所述设备参数从所述一行或多行日志数据中获取多个参数信息，其中所述设备参数是基于对所述多个参数信息进行运算和/或类别划分得到的；
按照所述多个参数信息采集所述工业设备的日志文件。
2.根据权利要求1所述的方法，其特征在于，所述多个参数信息包括所述工业设备开始生产产品的第一生产信息、所述工业设备完成生产所述产品的第二生产信息以及故障信息，所述设备参数包括生产周期、产距时间以及故障代码，
其中，所述方法还包括：
将所述第一生产信息和所述第二生产信息进行差值计算，获取所述生产周期；
将所述工业设备连续的两个第一生产信息进行差值计算，获取所述产距时间；以及，
将所述故障信息进行类别划分，获取所述故障代码。
3.根据权利要求1所述的方法，其特征在于，所述方法还包括：
通过正则表达式对所述初始日志进行解析，获取所述工业设备的运行状态，其中所述运行状态包括生产、待机或故障。
4.根据权利要求3所述的方法，其特征在于，所述多个参数信息包括多个运行状态信息，运行状态信息用于表示所述工业设备的运行状态，
其中，所述通过正则表达式对所述初始日志进行解析，获取所述工业设备的运行状态，包括：
构建状态集合，所述状态集合包括所述多个运行状态信息；
通过所述正则表达式将所述多个运行状态信息与所述运行状态进行匹配，以获取所述工业设备的运行状态。
5.根据权利要求1所述的方法，其特征在于，在所述根据所述设备参数从所述一行或多行日志数据中获取多个参数信息之前，还包括：
在检测到所述初始日志包括预设的多个关键属性的情况下，判定所述初始日志完整，并查找所述多个参数信息。
6.一种数据采集系统，其特征在于，所述系统包括数据采集控制终端、终端管理器、数据平台以及至少一个工业设备，
其中，所述数据采集控制终端，用于执行上述权利要求1至5中任一项所述的数据采集方法，以及将采集的工业设备的日志文件发送至所述数据平台；
所述终端管理器，用于从所述数据平台获取待采集的所述至少一个工业设备的设备信息，并生成所述数据采集控制终端。
7.根据权利要求6所述的系统，其特征在于，所述数据采集控制终端包括协议解析器，
其中，所述协议解析器用于对所述日志文件进行格式解析，以及在所述数据采集控制终端，与所述至少一个工业设备和所述数据平台进行数据传输时，转换指定的传输协议。
8.一种数据采集装置，其特征在于，所述数据采集装置为数据采集控制终端，所述数据采集控制终端与同一业务类型的至少一个工业设备连接，所述数据采集控制终端包括第一获取模块、第二获取模块以及采集模块，
其中，所述第一获取模块，用于获取工业设备的初始日志以及所述业务类型对应的设备参数，其中所述初始日志包括一行或多行日志数据；
所述第二获取模块，用于根据所述设备参数从所述一行或多行日志数据中获取多个参数信息，其中所述设备参数是基于对所述多个参数信息进行运算和/或类别划分得到的；
所述采集模块，用于按照所述多个参数信息采集所述工业设备的日志文件。
9.一种计算机可读存储介质，其特征在于，所述存储介质存储有计算机程序，所述计算机程序用于执行上述权利要求1至5任一项所述的数据采集方法。
10.一种电子设备，其特征在于，包括：
处理器；
用于存储所述处理器可执行指令的存储器，
其中，所述处理器用于执行上述权利要求1至5任一项所述的数据采集方法。
CN202310150899.4A 2023-02-21 2023-02-21 数据采集方法、系统及装置 Pending CN116170299A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310150899.4A CN116170299A (zh) 2023-02-21 2023-02-21 数据采集方法、系统及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310150899.4A CN116170299A (zh) 2023-02-21 2023-02-21 数据采集方法、系统及装置

Publications (1)

Publication Number Publication Date
CN116170299A true CN116170299A (zh) 2023-05-26

Family

ID=86417946

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310150899.4A Pending CN116170299A (zh) 2023-02-21 2023-02-21 数据采集方法、系统及装置

Country Status (1)

Country Link
CN (1) CN116170299A (zh)

Similar Documents

Publication Publication Date Title
CN111162950B (zh) 故障事件处理方法、装置及系统
CN112115031A (zh) 集群状态监控方法及装置
KR20070080313A (ko) 클라이언트 단말로 제공되는 서비스 성능 분석 방법 및시스템
CN113850506A (zh) 工作质量的评估方法及装置、存储介质及电子设备
CN114202256B (zh) 架构升级预警方法、装置、智能终端及可读存储介质
CN109409948B (zh) 交易异常检测方法、装置、设备及计算机可读存储介质
CN111506455B (zh) 服务发布结果的查验方法及装置
US20120078912A1 (en) Method and system for event correlation
CN112256470A (zh) 故障服务器定位方法及装置、存储介质及电子设备
CN111835566A (zh) 一种系统故障管理方法、装置及系统
CN116170299A (zh) 数据采集方法、系统及装置
CN114039878B (zh) 一种网络请求的处理方法、装置、电子设备及存储介质
CN114170741B (zh) 交易效率监控方法、atm前置系统和自助业务控管系统
CN112069031B (zh) 异常查询方法、装置、设备及计算机可读存储介质
CN114637685A (zh) 银行系统中应用程序的性能测试方法、装置、设备和介质
CN111709623A (zh) 高性能计算环境评价方法、装置、电子设备及存储介质
CN113010339A (zh) 联机交易测试中故障自动处理方法及装置
CN112817713A (zh) 作业调度方法、装置和电子设备
CN107346472A (zh) 一种通过在线建模处理运维数据的方法及装置
CN112383448B (zh) 监控数据处理方法及装置
CN118200113A (zh) 一种网元故障处理方法、装置、存储介质及电子装置
CN117971600A (zh) 性能监控方法、设备、可读存储介质及计算机程序产品
CN117745401A (zh) 网上银行系统的检测方法及装置、非易失性存储介质
CN116991724A (zh) 基于监控日志的接口测试方法、装置、电子设备和存储介质
CN117632656A (zh) 一种运行数据的处理设备及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination