CN108733740A - 对非结构化的产品标准数据进行查询的方法及系统 - Google Patents

Abstract

本发明公开了一种对非结构化的产品标准数据进行查询的方法及系统，其方法包括，针对非结构化的产品标准数据，抽取待查询的多个项目信息，并建立与多个项目信息分别对应的数据集；针对非结构化的产品标准数据，抽取待查询的多个项目信息之间的关联关系，并基于多个项目信息之间的关联关系建立各数据集之间的关联关系；基于数据集以及数据集之间的关联关系构建结构化的产品标准数据查询模型；基于产品标准数据查询模型对非结构化的产品标准数据进行查询。通过结构化的产品标准数据查询模型对产品标准数据进行查询应用，可有效实现了产品的标准在质量管理方面的多维度应用。

Description

对非结构化的产品标准数据进行查询的方法及系统

技术领域

本发明属于产品质量管理技术领域，特别涉及一种对非结构化的产品标准数据进行查询的方法及系统。

背景技术

根据《产品质量法》相关规定，产品质量应当检验合格。所谓合格，是指产品的质量状况符合标准中规定的具体指标。而现实中，我国现行的标准分为国家标准、行业标准、地方标准和经备案的企业标准。凡有国家标准、行业标准的，必须符合该标准；没有国家标准、行业标准的，允许适用其他标准，但必须符合保障人体健康及人身、财产安全的要求。同时，国家鼓励企业赶超国际先进水平。对不符合国家标准、行业标准的产品，不符合保障人体健康和人身、财产安全标准和要求的工业产品，禁止生产和销售。

在石油化工领域，随着质量管理要求的不断提高，要求对产品标准进行深度应用，如对产品的标准的多维度应用，具体包括多口径应用同一标准时，根据产品标准进行统一汇总、统计，对不同标准的同一分析项目进行汇总、统计等。

而目前产品标准采用文档格式文件，每个产品标准文件所包含的有效内容从整体上构成非结构化的产品标准信息，其内容查询较不方便，且应用不灵活，无法有效查询，进而依据产品标准要求的指标值进行等级判定、合格判定，也无法进行上述的多维度应用，来实现产品标准在质量管理方面的深度应用。

发明内容

本发明所要解决的技术问题之一是提出一种对非结构化的产品标准数据进行查询的方法，以支撑实现产品标准在质量管理方面的深度应用。

为了解决上述技术问题，本申请的实施例首先提供了一种对非结构化的产品标准数据进行查询的方法，包括，

步骤1、针对非结构化的产品标准数据，抽取待查询的多个项目信息，并建立与所述多个项目信息分别对应的数据集；

步骤2、针对非结构化的产品标准数据，抽取待查询的所述多个项目信息之间的关联关系，并基于所述多个项目信息之间的关联关系建立各数据集之间的关联关系；

步骤3、基于所述数据集以及所述数据集之间的关联关系构建结构化的产品标准数据查询模型；

步骤4、基于所述产品标准数据查询模型对非结构化的产品标准数据进行查询。

优选地，所述步骤1具体包括，

针对非结构化的产品标准数据，抽取与所述待查询的多个项目信息相对应的的初始数据；

检查所述初始数据的一致性，去除其中的无效值与缺失值，以得到有效数据；

将所述有效数据映射为与所述多个项目信息分别对应的数据集。

优选地，所述步骤4具体包括，

所述产品标准数据查询模型接收待查询的第一项目信息，并基于与该第一项目信息对应的数据集与下一个待查询的项目信息所对应的数据集之间的关联关系对下一个待查询的项目信息所对应的数据集进行筛选；

重复上述筛选步骤，直至完成全部待查询的项目信息的查询。

优选地，所述步骤4还包括：以所述非结构化的产品标准数据的基础信息作为查询目录，所述基础信息包括产品标准的标准号、发布时间、实施时间、发布单位和代替标准。

优选地，所述待查询的多个项目信息包括分析项目、分析组分以及试验方法。

本申请的实施例还提供了一种对非结构化的产品标准数据进行查询的系统，包括，

第一建立模块、其用于针对非结构化的产品标准数据，抽取待查询的多个项目信息，并建立与所述多个项目信息分别对应的数据集；

第二建立模块、其用于针对非结构化的产品标准数据，抽取待查询的所述多个项目信息之间的关联关系，并基于所述多个项目信息之间的关联关系建立各数据集之间的关联关系；

查询模型建立模块、其用于基于所述数据集以及所述数据集之间的关联关系构建结构化的产品标准数据查询模型；

查询模块、其用于基于所述产品标准数据查询模型对非结构化的产品标准数据进行查询。

优选地，所述第一建立模块，具体配置为，

针对非结构化的产品标准数据，抽取与所述待查询的多个项目信息相对应的的初始数据；

检查所述初始数据的一致性，去除其中的无效值与缺失值，以得到有效数据；

将所述有效数据映射为与所述多个项目信息分别对应的数据集。

优选地，所述查询模块，具体配置为，

所述产品标准数据查询模型接收待查询的第一项目信息，并基于与该第一项目信息对应的数据集与下一个待查询的项目信息所对应的数据集之间的关联关系对下一个待查询的项目信息所对应的数据集进行筛选；

重复上述筛选步骤，直至完成全部待查询的项目信息的查询。

优选地，所述查询模块还配置为，以所述非结构化的产品标准数据的基础信息作为查询目录，所述基础信息包括产品标准的标准号、发布时间、实施时间、发布单位和代替标准。

优选地，所述待查询的多个项目信息包括分析项目、分析组分以及试验方法。

与现有技术相比，上述方案中的一个或多个实施例可以具有如下优点或有益效果：

将现有的非结构化的产品标准数据进行处理并建立结构化的产品标准数据查询模型，通过该模型对产品标准数据进行查询应用，从而可在多口径应用同一标准时，根据产品标准进行统一汇总、统计，对不同标准的同一分析项目进行汇总、统计，有效实现了产品的标准在质量管理方面的多维度应用。

本发明的其他优点、目标，和特征在某种程度上将在随后的说明书中进行阐述，并且在某种程度上，基于对下文的考察研究对本领域技术人员而言将是显而易见的，或者可以从本发明的实践中得到教导。本发明的目标和其他优点可以通过下面的说明书，权利要求书，以及附图中所特别指出的结构来实现和获得。

虽然在下文中将结合一些示例性实施及使用方法来描述本发明，但本领域技术人员应当理解，为并不旨在将本发明限制于这些实施例。反之，旨在覆盖包含在所附的权利要求书所定义的本发明的精神与范围内的所有替代品、修正及等效物。

附图说明

附图用来提供对本申请的技术方案或现有技术的进一步理解，并且构成说明书的一部分。其中，表达本申请实施例的附图与本申请的实施例一起用于解释本申请的技术方案，但并不构成对本申请技术方案的限制。

图1是根据本发明一实施例中非结构化的产品标准数据的说明示意图；

图2是根据本发明一实施例的对非结构化的产品标准数据进行查询的方法的流程示意图；

图3是根据本发明一实施例中基于产品标准数据查询模型的查询过程的示意图；

图4是根据本发明一实施例中产品标准数据的基础信息与查询目录对应关系说明示意图；

图5是根据本发明一实施例的对非结构化的产品标准数据进行查询的系统的构成示意图。

具体实施方式

在下面的实施方式中，第一、第二等的措辞并不具有限定性含义，而是仅出于将一个构成要素与其他构成要素区分开的目的来使用。此外，除非上下文中另有明确的相反指示，否则单数表述包括复数表述。此外，包括或具有等的措辞是指说明书中所记载的特征或构成要素的存在，而不是提前排除一个以上的其他特征或构成要素的附加可能性。

以下将结合附图及实施例来详细说明本发明的实施方式，借此对本发明如何应用技术手段来解决技术问题，并达成相应技术效果的实现过程能充分理解并据以实施。本申请实施例以及实施例中的各个特征，在不相冲突前提下可以相互结合，所形成的技术方案均在本发明的保护范围之内。

本申请提出了一种对非结构化的产品标准数据进行查询的方法，可以有效对产品标准的核心内容进行查询处理，进而支持产品标准在质量管理方面的深度应用。下面结合附图和实施例对该方法进行详细说明。

现有的产品标准数据通常以文件形式发布、存储，文件中记载有检验产品所涉及的分析项目、分析试验方法、组分指标等相关标准数据。在这些产品标准文件中，产品标准数据的形式是非结构化的，即文件中产品标准数据混杂，且样式多种多样。例如图1所示，为现有的文件式的关于乙烯的产品标准，图1中上、下两表是针对乙烯产品的两种标准，两者都采用表格形式组织标准数据的内容，但表格样式完全不同，且两个表格中数据区、标题区混杂。这种非结构化的产品标准数据不方便查询，不能实现产品的标准在质量管理方面的多维度应用。

本发明的一实施例中，对现有的非结构化产品标准数据进行处理，以构建结构化的产品标准数据查询模型。

首先，如图2中步骤1所示，针对非结构化的产品标准数据，抽取待查询的多个项目信息，并建立与多个项目信息分别对应的数据集。

通过对现有大量的非结构化产品标准进行解构分析，将标准中待查询的多个项目信息抽取出来。在本发明的一个具体的实施例中，这些待查询的多个项目信息可以包括分析项目、分析组分以及试验方法。

举例而言，如图1所示的非结构化产品标准，提取的分析项目为：乙烯含量、甲烷和乙烷含量、密度等，提取的分析组分为：标称值、偏差值等，提取的试验方法为：GB/T 3391等。

将这些抽取的信息进行聚类，建立与多个项目信息分别对应的数据集。举例而言，建立分析项目的数据集，该数据集中包含的集合元素为：乙烯含量、甲烷和乙烷含量、密度等。

在本实施例的数据集的建立过程中，还包括数据清洗步骤，即针对非结构化的产品标准数据，抽取与待查询的多个项目信息相对应的的初始数据；检查初始数据的一致性，去除其中的无效值与缺失值，以得到有效数据；将有效数据映射为与多个项目信息分别对应的数据集。

不难想象，在对大量产品标准进行上述抽取过程中，特别是有些产品标准不是国家标准委员会制定，而是行业标准或企业标准，提取到的项目信息可能会出现，完全重复项、表述不同而实质相同项、甚至明显错误项等情况。因此，需对抽取的项目信息的初始数据进行数据清洗，得到有效数据，再基于有效数据进行映射，以建立各项目信息所对应的数据集。

此外，可对各数据集中元素进行分别编码，以便于后续建模处理。

之后，如图2中步骤2所示，针对非结构化的产品标准数据，抽取待查询的多个项目信息之间的关联关系，并基于多个项目信息之间的关联关系建立各数据集之间的关联关系。

具体的，在非结构化的产品标准数据中，各个项目信息是有一定关联关系的，举例而言，如图1中下面表格所示的非结构化产品标准数据中，属于分析项目信息的乙烯含量、甲烷含量与乙烷含量，都与属于试验方法信息的GB/T 3391相对应。基于这种关联关系或其他情况下产品标准数据中项目信息的关联关系，建立步骤1中得到的各数据集之间各元素之间的关联关系。

在一具体的实施例中，建立的关联关系的形式为，试验方法数据集元素X与分析项目数据集元素Y，以及分析项目数据集元素Y与分析组分数据集元素Z的关联关系。

之后继续图2中步骤3、基于数据集以及数据集之间的关联关系构建结构化的产品标准数据查询模型。

为叙述方便，本发明中将每个产品标准中的包括标准号、发布时间、实施时间、发布单位和代替标准的信息称作产品标准的基础信息，将产品标准中的记载的具体实质内容称为核心内容。

在该步骤中，基于步骤1、2中得到的数据集和数据集之间的关联关系，建立用于记录产品标准数据的数据库，以实现构建结构化的产品标准数据查询模型。

具体的，将每个产品标准的核心内容对应维护为一个关系表，这里将该种关系表称为第一关系表。第一关系表的字段包括指标字段和数据集所对应的项目类别字段。在每个结构化表中，根据该结构化表所对应的产品标准，基于数据集之间的关联关系，将数据集中元素对应维护到该表中相应字段，并且将对应的产品标准中的指标信息维护到该表中的相应行的指标字段。

举例而言，某第一关系表中某行的“分析组分”字段维护为：硫含量，根据该第一关系表所对应的产品标准的实际内容，将硫含量对应的指标值(指标信息)维护到该行对应的指标字段，如该表中该行指标字段“54号全精炼石蜡”维护为“<＝0.5”。

产品标准中涉及到的指标值多种多样，例如指标值可包含上限、下限、文本三种形式，根据具体的产品标准的指标值内容，建立相应第一关系表中指标字段，并进行维护。

此外，还需将产品标准的基础信息维护为另一个关系表，这里将该关系表称为第二关系表，第二关系表中各字段对应于各项标准信息。第二关系表中一行记录有一个产品标准的基础信息，且该行与基于该产品标准的核心内容所建立维护的第二关系表相链接。

这样最终在步骤3中，建立了包括若干第一关系表和一个第二关系表的产品标准数据查询模型。

最后，如图2中步骤4所示，基于产品标准数据查询模型对非结构化的产品标准数据进行查询。

具体的，可针对步骤3中构建的产品标准数据查询模型，建立与该产品标准数据查询模型相交互的查询界面，用户通过查询界面提交具体的查询信息，以实现对产品标准数据的查询。

在一个具体的实施例中，首先如图3中S310所示，用户通过查询界面提交一项查询信息，以该项查询信息作为待查询的第一项目信息，产品标准数据查询模型接收待查询的第一项目信息，并以该项目信息作为当前项目信息。

之后如图3中S320所示，基于与该第一项目信息(当前项目信息)对应的数据集与下一个待查询的项目信息所对应的数据集之间的关联关系对下一个待查询的项目信息所对应的数据集进行筛选。

继续如图3中S330所示，用户从筛选结果中确认新的项目信息，产品标准数据查询模型接收该项目信息作为当前项目信息。

判断是否所有数据集都已筛选，若没有，重复上述筛选步骤S320、S330，直至完成全部待查询的项目信息的查询。

该实施例中，还可以用非结构化的产品标准数据的基础信息作为查询目录以方便用户查询，基础信息包括产品标准的标准号、发布时间、实施时间、发布单位和代替标准。如图4所示，为产品标准的基础信息与查询目录的对应关系。

此外，还可将产品标准数据查询模型作为一系统组件使用，针对产品标准数据查询模型，基于具体情况建立对外的数据接口，系统通过该数据接口与产品标准数据查询模型进行交互，以实现产品标准数据的更广泛的应用。

举例而言，针对构建的产品标准数据查询模型，建立对外的LIMS(实验室信息管理系统Laboratory Information Management System)接口，进而可在涉及现场分析的产品质量管理系统中，降低数据采集工作量，提高数据集成效率。

本发明中，将现有的非结构化的产品标准数据进行处理并建立结构化的产品标准数据查询模型，通过该模型对产品标准数据进行查询应用，从而可在多口径应用同一标准时，根据产品标准进行统一汇总、统计，对不同标准的同一分析项目进行汇总、统计，有效实现了产品的标准在质量管理方面的多维度应用。

此外，本发明中还提出了一种对非结构化的产品标准数据进行查询的系统，如图5所示，其包括，

第一建立模块51、其用于针对非结构化的产品标准数据，抽取待查询的多个项目信息，并建立与多个项目信息分别对应的数据集。

通过对现有大量的非结构化产品标准进行解构分析，将标准中待查询的多个项目信息出来。具体的，这些待查询的多个项目信息包括分析项目、分析组分以及试验方法。举例而言，如图1所示的非结构化产品标准，提取的分析项目为：乙烯含量、甲烷和乙烷含量、密度等，提取的分析组分为：标称值、偏差值等，提取的试验方法为：GB/T 3391等。

并将这些抽取的信息进行聚类，建立与多个项目信息分别对应的数据集。举例而言，建立分析项目的数据集，该数据集中包含的集合元素为：乙烯含量、甲烷和乙烷含量、密度等。

第一建立模块51建立数据集的过程中，还包括抽取数据的清洗，即针对非结构化的产品标准数据，抽取与待查询的多个项目信息相对应的的初始数据；检查初始数据的一致性，去除其中的无效值与缺失值，以得到有效数据；将有效数据映射为与多个项目信息分别对应的数据集。

不难想象，在对大量产品标准进行上述抽取过程中，特别是有些产品标准不是国家标准委员会制定，而是行业标准或企业标准，提取到的项目信息可能会出现，完全重复项、表述不同而实质相同项、甚至明显错误项等情况。因此，需对抽取的项目信息的初始数据进行数据清洗，得到有效数据，再基于有效数据进行聚类，以建立各项目信息所对应的数据集。

此外，可对各数据集中元素进行分别编码，以便于后续建模处理。。

还包括第二建立模块52、其用于针对非结构化的产品标准数据，抽取待查询的多个项目信息之间的关联关系，并基于多个项目信息之间的关联关系建立各数据集之间的关联关系。

具体的，在非结构化的产品标准数据中，各个项目信息是有一定关联关系的，举例而言，如图1中下面表格所示的非结构化产品标准数据中，属于分析项目信息的乙烯含量、甲烷含量与乙烷含量，都与属于试验方法信息的GB/T 3391相对应。基于这种关联关系或其他情况下产品标准数据中项目信息的关联关系，第二建立模块52来建立各数据集之间各元素之间的关联关系。

在一具体的实施例中，建立的关联关系的形式为，试验方法数据集元素X与分析项目数据集元素Y，以及分析项目数据集元素Y与分析组分数据集元素Z的关联关系。

还包括查询模型建立模块53、其用于基于数据集以及数据集之间的关联关系构建结构化的产品标准数据查询模型。也即根据得到的数据集和数据集之间的关联关系，建立用于记录产品标准数据的数据库，以实现构建结构化的产品标准数据查询模型。

具体的，将每个产品标准的核心内容对应维护为一个关系表，这里将该种关系表称为第一关系表。第一关系表的字段包括指标字段和数据集所对应的项目类别字段。在每个结构化表中，根据该结构化表所对应的产品标准，基于数据集之间的关联关系，将数据集中元素对应维护到该表中相应字段，并且将对应的产品标准中的指标信息维护到该表中的相应行的指标字段。

举例而言，某第一关系表中某行的“分析组分”字段维护为：硫含量，根据该第一关系表所对应的产品标准的实际内容，将硫含量对应的指标值(指标信息)维护到该行对应的指标字段，如该表中该行指标字段“54号全精炼石蜡”维护为“<＝0.5”。

产品标准中涉及到的指标值多种多样，例如指标值可包含上限、下限、文本三种形式，根据具体的产品标准的指标值内容，建立相应第一关系表中指标字段，并进行维护。

将产品标准的基础信息维护为另一个关系表，这里将该关系表称为第二关系表。第二关系表中各字段对应于各项标准信息。第二关系表中一行记录有一个产品标准的基础信息，且该行与基于该产品标准的核心内容所建立维护的第二关系表相链接。

查询模型建立模块53最终构建的产品标准数据查询模型包括一个第二关系表和若干第一关系表的。

还包括查询模块54、其用于基于产品标准数据查询模型对非结构化的产品标准数据进行查询。

具体的，可针对构建的产品标准数据查询模型，建立与该产品标准数据查询模型相交互的查询界面，通过查询界面提交具体的查询信息，以实现对产品标准数据的查询。

在一个具体的实施例中，查询模块54具体配置为，首先如图3中S310所示，用户通过查询界面提交一项查询信息，以该项查询信息作为待查询的第一项目信息，产品标准数据查询模型接收待查询的第一项目信息，并以该项目信息作为当前项目信息。

之后如图3中S320所示，基于与该第一项目信息(当前项目信息)对应的数据集与下一个待查询的项目信息所对应的数据集之间的关联关系对下一个待查询的项目信息所对应的数据集进行筛选。

继续如图3中S330所示，用户从筛选结果中确认新的项目信息，产品标准数据查询模型接收该项目信息作为当前项目信息。

判断是否所有数据集都已筛选，若没有，重复上述筛选步骤S320、S330，直至完成全部待查询的项目信息的查询。

该实施例中，查询模块54还可配置为，以非结构化的产品标准数据的基础信息作为查询目录，基础信息包括产品标准的标准号、发布时间、实施时间、发布单位和代替标准。

本领域的技术人员应该明白，上述的本发明的各模块或各步骤可以用通用的计算装置来实现，它们可以集中在单个的计算装置上，或者分布在多个计算装置所组成的网络上，可选地，它们可以用计算装置可执行的程序代码来实现，从而，可以将它们存储在存储装置中由计算装置来执行，或者将它们分别制作成各个集成电路模块，或者将它们中的多个模块或步骤制作成单个集成电路模块来实现。这样，本发明不限制于任何特定的硬件和软件结合。

以上所述，仅为本发明较佳的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉该技术的人员在本发明所揭露的技术范围内，可轻易想到的变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应该以权利要求的保护范围为准。

Claims (10)

1.一种对非结构化的产品标准数据进行查询的方法，包括，

步骤1、针对非结构化的产品标准数据，抽取待查询的多个项目信息，并建立与所述多个项目信息分别对应的数据集；

步骤2、针对非结构化的产品标准数据，抽取待查询的所述多个项目信息之间的关联关系，并基于所述多个项目信息之间的关联关系建立各数据集之间的关联关系；

步骤3、基于所述数据集以及所述数据集之间的关联关系构建结构化的产品标准数据查询模型；

步骤4、基于所述产品标准数据查询模型对非结构化的产品标准数据进行查询。

2.根据权利要求1所述的方法，其特征在于，所述步骤1具体包括，

针对非结构化的产品标准数据，抽取与所述待查询的多个项目信息相对应的的初始数据；

检查所述初始数据的一致性，去除其中的无效值与缺失值，以得到有效数据；

将所述有效数据映射为与所述多个项目信息分别对应的数据集。

3.根据权利要求1或2所述的方法，其特征在于，所述步骤4具体包括，

所述产品标准数据查询模型接收待查询的第一项目信息，并基于与该第一项目信息对应的数据集与下一个待查询的项目信息所对应的数据集之间的关联关系对下一个待查询的项目信息所对应的数据集进行筛选；

重复上述筛选步骤，直至完成全部待查询的项目信息的查询。

4.根据权利要求1至3中任一项所述的方法，其特征在于，所述步骤4还包括：以所述非结构化的产品标准数据的基础信息作为查询目录，所述基础信息包括产品标准的标准号、发布时间、实施时间、发布单位和代替标准。

5.根据权利要求1所述的方法，其特征在于，所述待查询的多个项目信息包括分析项目、分析组分以及试验方法。

6.一种对非结构化的产品标准数据进行查询的系统，包括，

第一建立模块、其用于针对非结构化的产品标准数据，抽取待查询的多个项目信息，并建立与所述多个项目信息分别对应的数据集；

第二建立模块、其用于针对非结构化的产品标准数据，抽取待查询的所述多个项目信息之间的关联关系，并基于所述多个项目信息之间的关联关系建立各数据集之间的关联关系；

查询模型建立模块、其用于基于所述数据集以及所述数据集之间的关联关系构建结构化的产品标准数据查询模型；

查询模块、其用于基于所述产品标准数据查询模型对非结构化的产品标准数据进行查询。

7.根据权利要求6所述的系统，其特征在于，所述第一建立模块，具体配置为，

针对非结构化的产品标准数据，抽取与所述待查询的多个项目信息相对应的的初始数据；

检查所述初始数据的一致性，去除其中的无效值与缺失值，以得到有效数据；

将所述有效数据映射为与所述多个项目信息分别对应的数据集。

8.根据权利要求6或7所述的系统，其特征在于，所述查询模块，具体配置为，

所述产品标准数据查询模型接收待查询的第一项目信息，并基于与该第一项目信息对应的数据集与下一个待查询的项目信息所对应的数据集之间的关联关系对下一个待查询的项目信息所对应的数据集进行筛选；

重复上述筛选步骤，直至完成全部待查询的项目信息的查询。

9.根据权利要求6至8中任一项所述的系统，其特征在于，所述查询模块还配置为，以所述非结构化的产品标准数据的基础信息作为查询目录，所述基础信息包括产品标准的标准号、发布时间、实施时间、发布单位和代替标准。

10.根据权利要求6所述的系统，其特征在于，所述待查询的多个项目信息包括分析项目、分析组分以及试验方法。