CN112988868A - 一种钢铁实验室数据处理方法及系统 - Google Patents

Abstract

本发明公开了一种钢铁实验室数据处理方法及系统，所述系统包括：实验设备和数据处理平台，实验设备和所述数据处理平台通信连接；实验设备，用于存储待上传的实验数据；数据处理平台，用于根据实验设备的设备接口信息，确定与实验设备的目标数据通信方式；实验设备，还用于根据目标数据通信方式以及实验数据的数据类型，向数据处理平台请求目标数据模板；数据处理平台，还用于根据数据类型，获取目标数据模板，并将目标数据模板发送给实验设备；实验设备，还用于根据目标数据模板，将实验数据上传数据处理平台。本发明系统在整个实验数据上传过程自动化完成，无需人工参与，提高了数据上传效率，进一步的提高了检验效率。

Description

一种钢铁实验室数据处理方法及系统

技术领域

本发明涉及炼钢技术领域，尤其涉及一种钢铁实验室数据处理方法及系统。

背景技术

随着技术的发展，钢铁企业的实验室的检验任务逐年递增，进行了大量的实验后，可获得了数量可观的实验信息数据。用户必须依据实验室管理系统数据处理模块的设计，在页面相应位置点击打开具体业务的分析结果页面，选择相应的数据文档，完成数据上传。以某企业品实验室24台拉伸机，5台冲击机为例，按照现有方法进行数据上传需要实验室人员每天大约检验1200-1400批次产品，每批次需要手抄检验结果数据项达4500项，检验过程需13个人同时操作，每天耗时近22小时。可见按照现有技术进行实验数据的上传管理需要耗费大量的人工成本，并且检验效率极为低下。

发明内容

鉴于上述问题，本发明提出了一种钢铁实验室数据处理方法及系统，可节省实验数据上报的人工成本，并且提高了检验效率。

第一方面，本申请通过一实施例提供如下技术方案：

一种钢铁实验室数据处理系统，包括：实验设备和数据处理平台，所述实验设备和所述数据处理平台通信连接；

实验设备，用于存储待上传的实验数据；数据处理平台，用于根据所述实验设备的设备接口信息，确定与所述实验设备的目标数据通信方式；所述实验设备，还用于根据所述目标数据通信方式以及所述实验数据的数据类型，向所述数据处理平台请求目标数据模板；所述数据处理平台，还用于根据所述数据类型，获取所述目标数据模板，并将所述目标数据模板发送给所述实验设备；所述实验设备，还用于根据所述目标数据模板，将所述实验数据上传所述数据处理平台。

可选的，所述实验设备包括中间数据库；

所述实验设备，还用于接收检验计划信息，并根据所述检验计划信息，将所述实验数据存储至所述中间数据库。

可选的，所述实验设备，还用于根据所述检验计划信息的第一项目名称对所述实验数据进行处理，获得项目数据；将所述项目数据存储至所述中间数据库。

可选的，所述实验设备，还用于根据所述目标数据模板的第二项目名称从所述中间数据库中匹配目标项目数据；根据所述目标数据模板查找匹配字段；其中，所述匹配字段为所述目标项目数据中的与所述目标数据模板对应的数据；根据所述匹配字段对应的数据，生成待上传数据；将所述待上传数据上传所述数据处理平台。

可选的，所述匹配字段包括：试验方法、式样号、试验参数、参数上限、参数下限以及参数目标值中的一种或多种。

可选的，所述目标数据通信方式包括：COM串口通信、中间文件通信、TCP/IP协议通信以及DBLINK通信。

可选的，所述数据处理平台，还用于根据所述目标数据模板，每隔预设时长将所述实验数据上传所述数据处理平台。

第二方面，基于同一发明构思，本申请通过一实施例提供如下技术方案：

一种钢铁实验室数据处理方法，应用于上述第一方面中任一所述的系统，所述方法包括：

所述实验设备获取并存储待上传的实验数据；所述数据处理平台中根据所述实验设备的设备接口信息，确定与所述实验设备的目标数据通信方式；所述实验设备根据所述目标数据通信方式以及所述实验数据的数据类型，向所述数据处理平台请求目标数据模板；所述数据处理平台根据所述数据类型，获取所述目标数据模板，并将所述目标数据模板发送给所述实验设备；所述实验设备根据所述目标数据模板，将所述实验数据上传所述数据处理平台。

可选的，所述实验设备包括中间数据库；所述实验设备获取并存储待上传的实验数据，包括：

所述实验设备接收检验计划信息；所述实验设备根据所述检验计划信息，将所述实验数据存储至所述中间数据库。

可选的，所述所述实验设备根据所述检验计划信息，将所述实验数据存储至所述中间数据库，包括：

所述实验设备根据所述检验计划信息的第一项目名称对所述实验数据进行处理，获得项目数据；所述实验设备将所述项目数据存储至所述中间数据库。

本发明实施例提供的一种钢铁实验室数据处理方法及系统，其中系统包括：实验设备和数据处理平台，所述实验设备和所述数据处理平台通信连接；实验设备，用于存储待上传的实验数据；数据处理平台，用于根据所述实验设备的设备接口信息，确定与所述实验设备的目标数据通信方式；所述实验设备，还用于根据所述目标数据通信方式以及所述实验数据的数据类型，向所述数据处理平台请求目标数据模板；所述数据处理平台，还用于根据所述数据类型，获取所述目标数据模板，并将所述目标数据模板发送给所述实验设备；所述实验设备，还用于根据所述目标数据模板，将所述实验数据上传所述数据处理平台。通过本发明实施的系统，可实现在数据处理平台上进行各个实验设备的通信配置，保证实验设备的兼容性。同时在数据上传的过程中通过在数据处理平台进行模板获取得方式可对数据模板的灵活处理，实现对不同数据的处理，并且能够在实验设备一端完成数据的处理和筛选，提高了数据上传的效率，降低了数据处理平台的资源消耗压力。整个实验数据上传过程自动化完成，无需人工参与，提高了数据上传效率，进一步的提高了检验效率。

上述说明仅是本发明技术方案的概述，为了能够更清楚了解本发明的技术手段，而可依照说明书的内容予以实施，并且为了让本发明的上述和其它目的、特征和优点能够更明显易懂，以下特举本发明的具体实施方式。

附图说明

为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。在附图中：

图1示出了本发明第一实施例提供的一种钢铁实验室数据处理系统的结构示意图；

图2示出了本发明第二实施例提供的一种钢铁实验室数据处理方法的流程图。

具体实施方式

下面将参照附图更详细地描述本公开的示例性实施例。虽然附图中显示了本公开的示例性实施例，然而应当理解，可以以各种形式实现本公开而不应被这里阐述的实施例所限制。相反，提供这些实施例是为了能够更透彻地理解本公开，并且能够将本公开的范围完整的传达给本领域的技术人员。

第一实施例

请参见图1，示出了本发明第一实施例提供的一种钢铁实验室数据处理系统300的结构示意图；该系统主要包括：数据处理平台301和实验设备302，实验设备302和数据处理平台301通信连接。

本实施例主要应用于钢铁企业，在一般成规模的钢铁企业中，相关的试验设备仪器达到上百台，而每种仪器的用途、接口形式多种多样，通过本实施例系统可解决目前钢铁企业繁杂的试验数据进行有效的上传，避免遗漏或发生上传错误。实验设备302为进行试验的设备，例如，拉伸机、冲击机、光谱仪、等等，此外还包括冶炼分析相关设备、硬度测试相关设备、等等。本实施例中，实验设备302中还可包括中间数据库，上位机等，以便对实验数据进行保存和管理。上传数据库管理平台的实验数据可由实验设备302的上位机上传，也可由中间数据库上传。数据库管理平台，可为用于存储实验数据，和对各个实验设备302的数据进行管理，也即在数据库管理平台中包括用于存储试验数据的数据库。

在实验设备302完成相应的实验后，会产生对应的实验数据；实验设备302可用于存储这些实验数据。具体而言，实验设备302在接收检验计划信息之后对实验数据进行存储。检验计划信息可来自于数据库管理平台，也可由操作人员从实验设备302进行输入，例如在实验设备302的上位机中输入当前的检验计划信息。实验设备302收到检验计划信息之后，根据检验计划信息，可将检验计划信息以及实验数据存储至中间数据库。这样可以避免实验设备302的数据在未及时上传数据库管理平台时产生丢失，同时也可工操作人员进行原始数据的查询或导出。

在检验计划信息中可包括实验项目的第一项目名称以及实验的具体内容，例如，第一项目名称可为硬度测试，实验的具体内容可包括对应的测试条件，参数上、下限等；又如，第一项目名称还可为室温拉伸，验的具体内容可包括对应的拉伸条件。在实验完成后即可获得对应的实验数据。在中间数据库进行试验数据的存储时，可根据检验计划信息的第一项目名称对实验数据进行处理，获得项目数据；例如，根据第一项目名称对实验数据进行分组，与第一项目名称相关的所有数据为一组，即获得项目数据。第一项目名称可为某钢种硬度试验、某钢种拉伸试验、等等。最后，将项目数据存储至中间数据库。

进一步的，由于在钢铁企业的生产不断升级的过程中，会在不同的时期引入不同的实验设备302，实验设备302成本高昂，会存在新老设备共存的情况。为了提高兼容性，在本实施例中的数据处理平台301还用于在实验数据上传之前，根据实验设备302的设备接口信息，确定数据处理平台301与实验设备302的目标数据通信方式。提供的目标数据通信方式至少包括如下4种：

1、DBLINK通信，通过DBLINK(Database Link)通信方式可以创建一个数据库对数据库的链接通道。当需要跨本地数据库访问另外一个数据库表中的数据时，本地数据库中就需要创建远程数据库的DBLINK。通过DBLINK通信方式，本地数据库就可像访问本地数据库一样访问远程数据库表中的数据，例如可实现在数据处理平台301对中间数据库进行访问。

2、TCP/IP协议通信，一计算机可通过TCP/IP协议与网络中的其它计算机通信。网络协议遵守OSI(Open System Interconnection Reference Model，开放式系统互联通信参考模型)模型的物理和数据链路层的IEEE802标准。接收和发送的电文使用两种逻辑连接。逻辑连接也被称为回线，每个逻辑连接运用Server/Client(服务器/客户机)模式。通过Server/Client模式可决定如何建立逻辑连接，但在建立连接后并不确定通信规约。在规约中，发送数据的主动方和接收数据的被动方都是提前确定的。主动方类似Server/Client模式中的Client端，直到逻辑连接建立后，主动方总是发起通信连接。被动方类似Server/Client模式中的Server端，直到通信连接建立后，被动方等待来自主动方的电文，并且发送确认(应答)电文。例如，TCP/IP协议通信可实现在实验设备302上位机与数据处理平台301之间的通信。

3、COM串口通信，该通信方式可应用于具备前置上位机的设备，可在实验设备302的上位机上运行数据采集客户端进行数据采集及协议转换，然后发送给数据处理平台301进行数据处理。对于不具备前置上位机的实验设备302，可以通过MOXA卡(多串口卡)将采集信息转换为TCP/IP协议的SOCKET通信方式，以SOCKET方式进行数据接收及处理。

4、中间文件通信，对于不支持对外数据传输的具备前置上位机的设备，可以将数据写入中间文件，如ACCESS文件、CSV文件、EXCEL文件、TXT文件等。针对该类型的设备可以在前置上位机上运行数据采集客户端，数据采集客户端按照配置规则定时对文件进行监控并自动完成数据的抓取，对于获取的数据通过协议转换发送给数据处理平台301完成数据的自动采集。

针对钢铁企业实验设备302目前特有的现状，采用上述4中通信方式提供数据的采集和传输，并通过数据处理平台301对实验设备302进行接口配置，可有效的解决现有实验设备302的兼容性问题。

举个例子，在对实验设备302的设备接口进行配置的过程中，数据处理平台301可按照如下的识别逻辑进行处理：

对连接数据处理平台301的实验设备302进行识别，例如可根据相应的设备描述符进行设备类型的识别，识别出连接的设备是实验设备302本身还是实验设备302的上位机。当连接数据处理平台301的设备为实验设备302的上位机，则可配置该上位机的通信方式为TCP/IP协议通信，并获取该上位机对应的目标实验设备302。判断该目标实验设备302是否支持对外数据传输；若不支持，则将上位机与该目标实验设备302的通信方式配置为中间文件通信，若支持则将上位机与该目标实验设备302的通信方式配置为COM串口通信。当连接数据处理平台301的设备为实验设备302本身时，可采用通过MOXA卡(多串口卡)的方式，配置通信方式为TCP/IP协议通信。当连接数据处理平台301的设备为中间数据库时，可将数据处理平台301和中间数据的通信方式配置为DBLINK通信。

通过上述通信方式，将实验设备302的检验计划信息以及实验数据存储至中间数据库，具体方式可如下：在检验计划信息到达实验设备302或产生实验数据时，可根据实验设备302的接口类型，如果是TCP/IP通信类型，则查找实验设备302的端口号、IP地址、设备编码等信息，按照TCP/IP协议，将检验计划信息或实验数据存储至中间数据库；如果是COM串口通信类型，则查找实验设备302编码等信息，将检验计划和实验数据存储到中间数据库；如果是中间文件通信类型，则编写代码解析文件的实验信息，将该实验信息存放到中间数据库。

在本实施中，上述的各个实验设备302在接入数据处理平台301后，可按照上述方法实现自动识别及配置，能够对不同类型的设备实现兼容。并且在识别的时候是根据设备的类型进行识别，例如上位机、中间数据库以及实验设备302本身，简化了识别方式提高了效率。

进一步的，在完成实验设备302的配置之后，实验设备302可基于目标数据通信方式以及实验数据的数据类型，向数据处理平台301请求目标数据模板。在数据处理平台301中存储有多种数据模板。数据类型表示不同实验类型所产生的数据，例如，硬度试验、拉伸试验、等等。数据处理平台301得到请求之后，可根据数据类型在其数据库中查找对应的目标数据模板，并将目标数据模板发送给实验设备302。在本实施例中，可通过对数据模板分配对应的识别编号，每个识别编号对应一个数据类型，实现对数据模板的索引查找。

实验设备302接收到目标数据板之后，根据目标数据模板将实验数据上传数据处理平台301。在本实施例中采用字段匹配的方式生成待上传数据。具体执行如下，根据目标数据模板的第二项目名称从中间数据库中匹配目标项目数据；例如，第二项目名称可为某钢种硬度试验、某钢种拉伸试验、等等。然后根据目标数据模板查找匹配字段；其中，匹配字段为目标项目数据中的与目标数据模板对应的数据，例如，在一目标项目数据中存在与目标数据模板相同的字段，则该字段可认为为匹配字段。当然在另外的一些实施例中，可设置字段映射，实现不同字段之间的对应关系，字段映射是指不同的两个字段之间相对应。匹配字段包括但不限于：试验方法、式样号、试验参数、参数上限、参数下限以及参数目标值中的一种或多种。

最后，根据匹配字段对应的数据，生成待上传数据；将待上传数据上传数据处理平台301。可在实验设备302或数据处理平台301进行数据上传的频率配置，也即向数据处理平台301进行数据上传时根据目标数据模板，按照每隔预设时长将实验数据上传数据处理平台301。

在本实施中由于在在数据处理平台301进行数据存储与实验设备302的中间数据库存储可能存在一定的区别，例如需要存储的数据的组成、格式等等。并且，由于实验设备302数量众多，对实验设备302进行相同格式或类型的数据存储效率低，会浪费存储空间或导致数据丢失，不利于对原始数据的维护。因此，在本实施例中通过数据模板的方式在实验设备302的中间数据库进行字段匹配，来进行数据上传，能够在数据处理平台301对需要存储的数据进行选择性的获取。通过不同的数据模板进行配置可使实验设备302在上传的数据之前进行标准化，避免了在数据处理平台301进行大量的二次处理，将实验数据的处理分散到了实验设备302一端，降低了数据处理平台301的处理压力，能够实验钢铁企业大量的实验设备302进行数据定期上传。

以拉伸检测为例，流程从样品接收到数据平均报出周期约620s；通过本实施例的系统来进行实验数据的上传，整体周期缩短至290s，检验效率提升了1倍以上。

综上所述，本实施例的钢铁实验室数据处理系统300至少具备如下的技术效果：

采用本实施例的钢铁实验室数据处理系统300可实现自动委托、自动接样和自检验，能够集成大量的实验设备302。可实现实验设备302的在线配置，并面向各检验环节检验数据贯通和发布，实验设备302高效率的上传。在实验设备302上传的过程中无需人工参与，实现了实验数据上传的规范化、标准化、自动化，提高了实验数据上传存储的准确率。采用高配置性、高扩展性实现对多种设备接口类型的数据传输支持，只需要简单配置就可以完成一台实验设备302的参与到检验工作中，缩短数据上传实施周期，无需大量时间处理实验数据，优化数据上传检验流程，显著缩短检测周期，测试效率提升1倍以上。

第二实施例

基于同一发明构思，本发明第二实施例提供了一种钢铁实验室数据处理方法。该方法可应用于上述第一实施例中的系统，所述方法包括：

步骤S10：所述实验设备获取并存储待上传的实验数据；

步骤S20：所述数据处理平台中根据所述实验设备的设备接口信息，确定与所述实验设备的目标数据通信方式；

步骤S30：所述实验设备根据所述目标数据通信方式以及所述实验数据的数据类型，向所述数据处理平台请求目标数据模板；

步骤S40：所述数据处理平台根据所述数据类型，获取所述目标数据模板，并将所述目标数据模板发送给所述实验设备；

步骤S50：所述实验设备根据所述目标数据模板，将所述实验数据上传所述数据处理平台。

作为一种可选的实施方式，所述实验设备包括中间数据库；所述实验设备获取并存储待上传的实验数据，包括：

所述实验设备接收检验计划信息；所述实验设备根据所述检验计划信息，将所述实验数据存储至所述中间数据库。

作为一种可选的实施方式，所述所述实验设备根据所述检验计划信息，将所述实验数据存储至所述中间数据库，包括：

所述实验设备根据所述检验计划信息的第一项目名称对所述实验数据进行处理，获得项目数据；所述实验设备将所述项目数据存储至所述中间数据库。

需要说明的是，本发明实施例所提供的方法，其各个步骤具体实现及产生的技术效果和前述系统实施例中实验设备及数据处理平台执行的功能逻辑相同，为简要描述，装置实施例部分未提及之处，可参考前述系统实施例中实验设备及数据处理平台所使用各个步骤的相应内容。

本文中出现的术语“和/或”，仅仅是一种描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。另外，本文中字符“/”，一般表示前后关联对象是一种“或”的关系；单词“包含”不排除存在未列在权利要求中的元件或步骤。位于元件之前的单词“一”或“一个”不排除存在多个这样的元件。本发明可以借助于包括有若干不同元件的硬件以及借助于适当编程的计算机来实现。在列举了若干装置的单元权利要求中，这些装置中的若干个可以是通过同一个硬件项来具体体现。单词第一、第二、以及第三等的使用不表示任何顺序。可将这些单词解释为名称。

本领域内的技术人员应明白，本发明的实施例可提供为方法、系统、或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。

本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

尽管已描述了本发明的优选实施例，但本领域内的技术人员一旦得知了基本创造性概念，则可对这些实施例作出另外的变更和修改。所以，所附权利要求意欲解释为包括优选实施例以及落入本发明范围的所有变更和修改。

显然，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样，倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包含这些改动和变型在内。

Claims (10)

1.一种钢铁实验室数据处理系统，其特征在于，包括：实验设备和数据处理平台，所述实验设备和所述数据处理平台通信连接；

实验设备，用于存储待上传的实验数据；

数据处理平台，用于根据所述实验设备的设备接口信息，确定与所述实验设备的目标数据通信方式；

所述实验设备，还用于根据所述目标数据通信方式以及所述实验数据的数据类型，向所述数据处理平台请求目标数据模板；

所述数据处理平台，还用于根据所述数据类型，获取所述目标数据模板，并将所述目标数据模板发送给所述实验设备；

所述实验设备，还用于根据所述目标数据模板，将所述实验数据上传所述数据处理平台。

2.根据权利要求1所述的钢铁实验室数据处理系统，其特征在于，所述实验设备包括中间数据库；

所述实验设备，还用于接收检验计划信息，并根据所述检验计划信息，将所述实验数据存储至所述中间数据库。

3.根据权利要求2所述的钢铁实验室数据处理系统，其特征在于，所述实验设备，还用于根据所述检验计划信息的第一项目名称对所述实验数据进行处理，获得项目数据；将所述项目数据存储至所述中间数据库。

4.根据权利要求3所述的钢铁实验室数据处理系统，其特征在于，所述实验设备，还用于根据所述目标数据模板的第二项目名称从所述中间数据库中匹配目标项目数据；根据所述目标数据模板查找匹配字段；其中，所述匹配字段为所述目标项目数据中的与所述目标数据模板对应的数据；根据所述匹配字段对应的数据，生成待上传数据；将所述待上传数据上传所述数据处理平台。

5.根据权利要求4所述的钢铁实验室数据处理系统，其特征在于，所述匹配字段包括：试验方法、式样号、试验参数、参数上限、参数下限以及参数目标值中的一种或多种。

6.根据权利要求1所述的钢铁实验室数据处理系统，其特征在于，所述目标数据通信方式包括：COM串口通信、中间文件通信、TCP/IP协议通信以及DBLINK通信。

7.根据权利要求1所述的钢铁实验室数据处理系统，其特征在于，所述数据处理平台，还用于根据所述目标数据模板，每隔预设时长将所述实验数据上传所述数据处理平台。

8.一种钢铁实验室数据处理方法，其特征在于，应用于权利要求1-7任一所述的系统，所述方法包括：

所述实验设备获取并存储待上传的实验数据；

所述数据处理平台中根据所述实验设备的设备接口信息，确定与所述实验设备的目标数据通信方式；

所述实验设备根据所述目标数据通信方式以及所述实验数据的数据类型，向所述数据处理平台请求目标数据模板；

所述数据处理平台根据所述数据类型，获取所述目标数据模板，并将所述目标数据模板发送给所述实验设备；

所述实验设备根据所述目标数据模板，将所述实验数据上传所述数据处理平台。

9.根据权利要求8所述的方法，其特征在于，所述实验设备包括中间数据库；所述实验设备获取并存储待上传的实验数据，包括：

所述实验设备接收检验计划信息；

所述实验设备根据所述检验计划信息，将所述实验数据存储至所述中间数据库。

10.根据权利要求9所述的方法，其特征在于，所述所述实验设备根据所述检验计划信息，将所述实验数据存储至所述中间数据库，包括：

所述实验设备根据所述检验计划信息的第一项目名称对所述实验数据进行处理，获得项目数据；

所述实验设备将所述项目数据存储至所述中间数据库。

Images