CN110415215A - 基于图神经网络的智能检测方法 - Google Patents

Abstract

本发明提供了一种基于图神经网络的智能检测方法，其包括如下步骤：采集数据、预处理、搭建网络模型、预训练和迁移学习、预测和抽检验证以完善整个预测系统；相比于人工检测，本发明提高了部件检测的准确率以及效率，减少了人为因素对检测的干预，降低了人工成本和检测成本。相比于传统机器学习方法，图神经网络不要求数据的组成形式必须具有良好的空间关系，即具有排列齐整的矩阵形式，其可以接受非结构化输入的特点显著提升了模型的表达能力。相比于卷积神经网络方法，图神经网络可以更好地学习各元素的逻辑关系，从而提高模型的泛化能力。在网络的学习过程中，每个节点负责传播自身的信息以及综合邻居节点的信息，从而学习掌握数据的逻辑范式。

Description

基于图神经网络的智能检测方法

技术领域

本发明属于智能检测技术领域，具体涉及一种基于图神经网络的智能检测方法。

背景技术

部件检测是工业化流水线中必不可少的一个环节。目前加工流程、装配流程以及传输流程均已达到全自动化的标准。但检测流程由于其特殊性，还未能达到全自动化的标准。

为保证产品质量，每一件部件出厂前都需要经过严格的功能测试。目前车间的调试设备多具有自动化或半自动化执行调试过程的功能，但调试结果仍需要人工判断。

以电梯牵引马达这类部件的智能检测为例，目前部件检测存在以下问题：

(1)人工判断调试结果耗时较长，且容易产生误判和漏判现象。

(2)培养合格的检测人员需要耗费大量的时间成本以及经济成本。

(3)调试信息没有记录和保存的过程，不具有可追溯性和可维护性。

近年来，图神经网络在社交网络、知识图谱、分子结构识别等领域得到广泛应用。图神经网络可以直接根据图中各节点的依赖关系进行建模的特点使其相较于传统的方法，能够更好地分析节点之间的关系。由于适用于部件检测，其各检测指标之间也具有依赖关系，故设想是否可以将图神经网络用于部件检测领域。然而，将图神经网络应用于部件检测结果预测存在以下问题和困难：

(1)深度网络需要大量的标注样本才能达到良好的训练效果。由于检测过程不可避免的会有破坏性检测的存在，因此，采集足够多的检测样本就需要破坏同样数量的部件，将造成极大的损失。

(2)目前提出的图神经网络架构多用于节点分类的任务，故此类架构更注重节点的局部相关性，即加大邻接关系的权重。而部件检测是整体分类任务，网络需要最终输出一个部件合格的可能性，需要综合考虑全局信息和局部信息。

发明内容

本发明的目的在于克服现有技术的不足以提供一种基于图神经网络的智能检测技术。该技术适用于电梯牵引马达这类部件的智能检测，能够直接提高电梯牵引马达这类部件检测的准确率和效率，并间接减少调试人员的学习成本和电梯牵引马达部件的测试成本。

为达到上述目的，本发明的解决方案是：

一种基于图神经网络的智能检测方法，包括步骤如下：

(1)、采集数据

电梯牵引马达这类部件的检测数据由硬件工具采集得到，得到的各项检测指标及检测结果为原始数据。

(2)、预处理

对原始数据进行清洗并转换成网络模型可以处理的标准格式数据，提供给步骤四。

(3)、搭建网络模型

本发明网络模型整体包括对抗生成网络和图神经网络，所述图神经网络又包括输入层、若干特征图层、若干全连接层、迁移学习层、SoftMax输出层。所述对抗生成网络输出连接至图神经网络中的输入层。

所述条件对抗网络模型包括生成器和判别器，所述生成器负责生成尽可能真实的数据，使得判别器将生成数据判别为真实数据；所述判别器负责判别真实数据和生成数据，需要尽可能区分真实数据和生成数据。所述条件对抗生成网络，输入为一个概率值，表示生成的检测数据对应部件是合格的概率，该条件对抗生成网络基于真实数据生成大量带标签的非结构化数据供图网络模型学习。

所述图神经网络中的特征图层位于前面的几层，利用某节点自身及其邻居节点的节点序列进行加权求和，从而实现对局部信息的特征提取。所述图神经网络中的全连接层位于后面的几层，连接于特征图层的输出，实现对全局信息的特征提取。所述图神经网络中的迁移学习层拼接特征图层、全连接层，从而采用注意力机制融合局部信息和全局信息。所述图神经网络中的SoftMax层，位于最后层，负责具体的分类，输出该部件合格的概率。

(4)、预训练和迁移学习

基于标准格式数据，使用条件对抗生成网络生成了生成数据对网络模型进行预训练，之后再用标准格式数据对网络模型进行迁移学习。

(5)、预测

采用图神经网络模型对各项检测指标及检测结果进行学习、迁移学习，通过学习使得网络模型可以学习到检测指标间的关系及其对检测结果的影响程度。

(6)、抽检验证以完善整个预测系统

检测指标和预测结果都将被记录供后期抽检使用。

其中，所述步骤(1)，针对电梯牵引马达部件样本检测的采集，包括九项指标，分别为温度、湿度、重量、体积、震动、寿命、成像、额定电流电压和最大扭矩力。所述温度，作为衡量部件运行状态的标准，需要在部件分别为待机状态以及运载状态下采用温度计进行检测并输出参数t。所述湿度，作为衡量部件内部环境的标准，采用湿度传感器输出参数m。所述重量，作为衡量部件是否安装完全的标准，采用电子重量仪输出参数w。所述体积，先采用度量尺寸，再进行各个面积测量，再根据体积分割并利用几何方程进行计算整个产品的体积，输出最终计算获得的体积参数v。所述震动，采用震动仪输出单位时间震动次数，拟合出频率曲线，输出震动频率f。所述寿命，在持续满负荷工作状态，间歇满负荷工作状态以及正常工作状态下，统计得到该参数值a。所述成像i，作为衡量电梯牵引马达部件表面质量的指标，包括电梯牵引马达部件各个平面在多个光源照射下拍摄的图片。所述额定电流电压，作为衡量电梯牵引马达部件在不同电源下的负载能力，需要分别在额定电流电压为标准状态的80％、90％、100％、110％和120％下进行检测额定电流ir_j、额定电压vr_j。所述最大扭矩力torque_max，用来衡量电梯牵引马达部件可以承受搭载人数的指标。样本采集还包括样本的标签，即一组检测数据对应的检测结果：合格Y/不合格N。

所述步骤(2)，所述数据预处理包括进行数据清洗、弥补缺失指标值，以及进行输入数据格式处理以适用于符合图卷积网络的数据格式。

所述步骤(3)，模型采用拉普拉斯矩阵对清洗后的数据进行描述。所述拉普拉斯矩阵是所有节点的度数对角矩阵减去邻接矩阵的差值矩阵，矩阵中每个节点的值代表了对整个网络的影响权值大小。

所述数据的拉普拉斯矩阵的计算过程由表1所示。

表1上述数据的拉普拉斯矩阵的计算过程

所述步骤(4)，模型的训练共有两阶段，分别为预训练阶段和迁移学习阶段。预训练阶段，即用生成数据训练模型时，所有网络层的参数都将被更新；迁移学习阶段，即用真实数据更新模型时，固定前若干层，只更新后面几层的参数。

预训练阶段采用对抗生成网络生成数据。对抗生成网络在近些年也取得了重大的突破，在生成结构化数据的任务上诸如高质量图片生成、图片增强等都有不错的表现。本发明创造性地将对抗生成网络用于生成部件检测这类非结构化数据，以满足深度网络需要大量标注样本的需求。否则，将对抗生成网络直接应用于生成部件检测数据存在一些问题。如下：

1)原始对抗生成网络的输入只有高斯随机数，输出数据的标签不可控。举个例子，倘若要生成0-9之间的手写数字。采用原始对抗生成网络无法决定最终生成的是0到9之间的哪一个数字。同样的，采用原始对抗生成网络生成部件检测数据，无法知道该数据对应的部件是合格或是不合格。无标签的生成数据对于分类任务的帮助有限。

2)后人提出条件对抗生成网络以生成带标签的数据，即网络的输入为高斯随机数和标签数据，输出为标签对应的数据。如此，就可以让对抗生成网络生成带标签的数据。然而，条件对抗生成网络若迭代次数不够充分会导致生成的数据不够贴近真实的数据；而随着迭代次数提高，会陷入生成样式单一的情况，缺乏了多样性。若直接用条件对抗生成网络生成合格的部件检测数据，随着迭代次数提高，生成的各项检测数据会逐渐逼近一个固定的数值。而实际场景中，只要检测数据在正常的指标范围内，就可以视作检测数据对应的部件是合格的。有标签的单样式的生成数据对于分类任务的帮助也是有限的。

本发明提出一种迁移学习，是指在数据难以获得或者标注成本较高时，用和该数据性质相类似的数据对模型进行预训练，之后再用小批量的原始数据对模型进一步更新。迁移学习可以加快模型的训练效率且不会导致过拟合。目前采用生成数据对模型进行预训练的应用还较少。

由于采用上述方案，本发明的有益效果是：

本发明基于图神经网络实现了对电梯牵引马达这类部件的自动检测。相比于人工检测，本发明提高了部件检测的准确率以及效率，减少了人为因素对检测的干预，降低了人工成本和检测成本。相比于传统机器学习方法，图神经网络不要求数据的组成形式必须具有良好的空间关系，即具有排列齐整的矩阵形式，其可以接受非结构化输入的特点显著提升了模型的表达能力。相比于卷积神经网络方法，图神经网络可以更好地学习各元素的逻辑关系，从而提高模型的泛化能力。在网络的学习过程中，每个节点负责传播自身的信息以及综合邻居节点的信息，如此，整个网络便可通过节点的学习掌握数据的逻辑范式。

然而，图神经网络在部件检测任务上面临两个问题：检测数据量太少导致模型过拟合和原始网络架构更注重局部相关性而忽略了全局信息。针对检测数据量太少的问题，本发明采用对抗生成网络，基于真实数据，生成大量带标签的非结构化数据供模型学习，之后再用真实数据对模型进行迁移学习。如此，基于大量生成数据训练的模型与基于少量真实数据的模型在训练集上的效果相当，但前者在验证集上的效果远胜于后者，即不会导致过拟合；而在基于生成数据的预训练模型上使用真实数据进行迁移学习可以进一步保证模型的可靠性。针对原始架构更注重局部相关性的问题，本发明在原始架构基础上增加了注意力机制，融合全局信息,加强了全局信息对节点关系以及检测结果的影响程度。如此，融合局部信息和全局信息可以显著提高模型的预测效果。

对抗生成网络在生成部件检测数据上面临两个问题：原始对抗生成网络无法生成带标签的数据，而条件对抗生成网络生成的数据固化，缺乏多样性。若必须从两种对抗生成网络中选择一个，毫无疑问，答案是条件对抗生成网络，因为带标签的数据对于上述的图神经网络训练更有意义。本发明提出基于软标签的条件对抗生成网络，即网络的输入标签为一个概率值，表示生成的检测数据对应部件是合格的概率。有别于(硬标签)条件对抗生成网络的标签必须为0(不合格)或1(合格)，基于软标签的的条件对抗生成网络可以生成更多样的检测数据，可以提升模型的预训练效果。

本发明着眼于工业化流水线上电梯牵引马达这类部件检测的环节，提出基于对抗生成网络和图神经网络相结合的检测框架。对抗生成网络基于软标签生成带标签的多样性的检测数据，基于注意力机制的图神经网络利用生成数据进行预训练，之后用真实数据对图神经网络进行迁移学习。为了进一步保证模型的可靠性，对每批数据进行抽样检测以完善整个预测系统。本发明可以解决目前工业界在电梯牵引马达这类部件智能检测方面所面临的困难。

附图说明

图1是本发明的模型训练流程图。

图2是本发明的模型检测流程图。

图3是本发明的检测指标示例图。

图4是本发明的图神经网络架构图。

具体实施方式

以下结合实施例对本发明作进一步的说明。

实施例1：

如图1和图2所示，本实施例的基于图神经网络的智能检测技术具体包括以下步骤：

1.样本采集

样本采集是整个电梯牵引马达这类部件自动检测过程中至关重要的一步。模型的训练，迁移和预测都需要精确的样本数据。

电梯牵引马达部件检测指标包括温度、湿度、重量、体积、震动、寿命、成像、额定电流电压和最大扭矩力共计九项。具体地，

所述温度，作为衡量部件运行状态的标准，需要在部件分别为待机状态以及运载状态下采用温度计进行检测并输出参数t。

所述湿度，作为衡量部件内部环境的标准，采用湿度传感器输出参数m。

所述重量，作为衡量部件是否安装完全的标准，采用电子重量仪输出参数w。

所述体积，先采用度量尺寸，再进行各个面积测量，再根据体积分割并利用几何方程进行计算整个产品的体积，输出最终计算获得的体积参数v。

所述震动，采用震动仪输出单位时间震动次数，拟合出频率曲线，输出震动频率f。

所述寿命，在持续满负荷工作状态，间歇满负荷工作状态以及正常工作状态下，统计得到该参数值a。

所述成像i，作为衡量电梯牵引马达部件表面质量的指标，包括电梯牵引马达部件各个平面在多个光源照射下拍摄的图片，因为在单一光源下表面的不平整难以侦测出。

所述额定电流电压，作为衡量电梯牵引马达部件在不同电源下的负载能力，需要分别在额定电流电压为标准状态的80％、90％、100％、110％和120％下进行检测额定电流ir_j、额定电压vr_j。

所述最大扭矩力torque_max，用来衡量电梯牵引马达部件可以承受搭载人数的指标。

样本采集还包括样本的标签，即一组检测数据对应的检测结果：合格Y/不合格N。

以上采集到的检测指标构成了原始数据。

2.数据预处理

按照步骤1采集得到的电梯牵引马达检测数据可能会有缺失，重新进行检测的代价较大，此时需要进行数据清洗。对于只有部分检测指标缺失的情况，统计该指标的均值和方差，建立标准正态分布，从该分布中采样作为缺失指标值。对于检测指标损失较严重的情况，直接舍弃这批数据。

为了使得输入数据格式符合图卷积网络的输入，需要用拉普拉斯矩阵对清洗后的数据进行描述。本发明中使用的拉普拉斯矩阵是所有节点的度数对角矩阵减去邻接矩阵的差值矩阵，易实现且可解释性较好，即矩阵中每个节点的值代表了他对整个网络的影响权值大小。

如图3所示，图中的每个节点都是一项检测指标(温度、质量、湿度、体积、震动、寿命、成像等)。图中的图模型已经经过简化，但在训练过程中可以保留节点间的冗余连接。而该数据的拉普拉斯矩阵的计算过程由表1所示。

表1上述数据的拉普拉斯矩阵的计算过程

3.模型训练

本发明的图神经网络借鉴了DeepWalk，即利用某节点自身及其邻居节点的节点序列进行加权求和，从而实现对局部信息的提取。

如图4所示，空心圆表示还未学习的检测指标，细实线表示还未学习的指标关系，实心圆表示表示已学习的检测指标，粗实线表示已学习的指标关系。随着网络深度加深，学习的检测指标数和关系数也随之增长，最终完成对整个网络的信息提取以及对逻辑范式的学习。接下来把特征图层转成若干个全连接层以及SoftMax层输出该部件合格的概率。

为了加强全局信息对结果的影响程度，采用注意力机制融合局部信息和全局信息。加强全局信息有三种方式，矩阵元素相加，矩阵元素相乘以及矩阵拼接。由于部件检测数据的稀疏性，采用拼接的方式可以更有效地融合全局信息。具体地，先用1x1卷积降低特征图的通道数，然后转成全连接层，将其拼接到后面的全连接层上。如此，可有效融合全局信息，防止数据压缩太快导致的信息丢失以及全局信息随着反向传播而丢失的问题。

模型的训练共有两阶段，分别为预训练阶段和迁移学习阶段。预训练阶段，即用生成数据训练模型时，所有网络层的参数都将被更新；迁移学习阶段，即用真实数据更新模型时，固定前若干层，只更新后面几层的参数。因为深度网络模型中的前几层主要负责提取特征，后几层负责具体的分类或者回归任务，而生成数据和真实数据在特征分布上有高度一致性，所以迁移学习中固定前若干层参数可以保证特征提取的准确性和高效性。至此，前向传播完成。反向传播过程需要计算预测概率值与真实标签之间的交叉熵损失并根据该损失计算出来的梯度更新网络参数。

端到端的模型的性质是单个模型承担特征提取、注意力连接等所有功能的实现，并且同步更新模型参数。由于本发明搭建的图神经模型是一种端到端模型，衔接各个模块，自动推导出数据的逻辑范式，即表示出各检测指标的依赖关系。经过训练，网络可以学习到在电梯牵引马达的各检测指标中，震动，温度和寿命的权值较大。结合检测结果可以发现，当震动频率明显大于10kHz时，温度也会同样高于正常范围60-70℃，使用寿命约为正常寿命的70％，检测结果也更偏向于认为部件不合格。

基于软标签的条件对抗生成网络与原始对抗生成网络类似，需要有生成器和判别器。生成器负责生成尽可能真实的数据，使得判别器将生成数据判别为真实数据；判别器负责判别真实数据和生成数据，需要尽可能判别正确。基于软标签的条件对抗生成网络的输入为一个概率值，表示生成的检测数据对应部件是合格的概率。该网络可以生成带标签的、具有多样性的数据。

4.检测结果预测

按照步骤1数据采样方法以及步骤2预处理方法得到测试数据后，将这些数据输入图神经网络进行预测。需要注意的是，以二分类检测举例：模型最后输出的是概率值，概率值越趋近1，表示部件合格的可能性越大，反之，概率值越趋近0，表示部件不合格的可能性越大。从另一个角度考虑，也可以看作模型对于预测结果的置信度，越趋近1或者0，表示置信度越高。因此，为了进一步提高检测准确率，只有概率值P>＝95％或者P<＝5％时系统接受自动检测结果作为最终检测结果。否则，保留部件的序列号以及检测参数提示检测人员对该部件进行人工检测。

5.抽样检测

为了保证模型的准确性，对于自动预测检测的结果，需要进行人工抽样检测。具体地，对每一批数据，为保证样本均衡性，在正负预测样本中各取10％进行人工抽检。若人工检测结果与模型预测结果不同，则利用这些分类错误样本对模型进行迁移学习以提高模型准确性，即只更新最后两层图神经网络层的参数及其后的全连接层。

若抽检结果与预测结果不一样，有两种情况，合格产品被预测为不合格和不合格产品被预测为合格。本发明将不合格产品被预测为合格作为更严重的错误，因此，犯第一类错误的样本对模型的更新程度越大。而在两类错误样本对模型的更新中，只更新最后两层图神经网络层及其后的全连接层的参数，因为此时分类错误样本容量太小，若更新整个网络会导致过拟合。

上述对实施例的描述是为了便于该技术领域的普通技术人员能理解和使用本发明。熟悉本领域技术人员显然可以容易的对这些实施例做出各种修改，并把在此说明的一般原理应用到其他实施例中，而不必经过创造性的劳动。因此，本发明不限于上述实施例。本领域技术人员根据本发明的原理，不脱离本发明的范畴所做出的改进和修改都应该在本发明的保护范围之内。

Claims (5)

1.一种基于图神经网络的智能检测方法，其特征在于：其包括如下步骤：

(1)、采集数据

电梯牵引马达这类部件的检测数据由硬件工具采集得到，得到的各项检测指标及检测结果为原始数据；

(2)、预处理

对原始数据进行清洗并转换成网络模型可以处理的标准格式数据，提供给步骤(4)；

(3)、搭建网络模型

本发明网络模型整体包括对抗生成网络和图神经网络，所述图神经网络又包括输入层、若干特征图层、若干全连接层、迁移学习层、SoftMax输出层，所述对抗生成网络输出连接至图神经网络中的输入层；

所述条件对抗网络模型包括生成器和判别器，所述生成器负责生成尽可能真实的数据，使得判别器将生成数据判别为真实数据；所述判别器负责判别真实数据和生成数据，需要尽可能区分真实数据和生成数据；所述条件对抗生成网络，输入为一个概率值，表示生成的检测数据对应部件是合格的概率，该条件对抗生成网络基于真实数据生成大量带标签的非结构化数据供图网络模型学习；

所述图神经网络中的特征图层位于前面的几层，利用某节点自身及其邻居节点的节点序列进行加权求和，从而实现对局部信息的特征提取；所述图神经网络中的全连接层位于后面的几层，连接于特征图层的输出，实现对全局信息的特征提取；所述图神经网络中的迁移学习层拼接特征图层、全连接层，从而采用注意力机制融合局部信息和全局信息；所述图神经网络中的SoftMax层，位于最后层，负责具体的分类，输出该部件合格的概率；

(4)、预训练和迁移学习

基于标准格式数据，使用条件对抗生成网络生成了生成数据对网络模型进行预训练，之后再用标准格式数据对网络模型进行迁移学习；

(5)、预测

采用图神经网络模型对各项检测指标及检测结果进行学习、迁移学习，通过学习使得网络模型可以学习到检测指标间的关系及其对检测结果的影响程度；

(6)、抽检验证以完善整个预测系统

检测指标和预测结果都将被记录供后期抽检使用。

2.根据权利要求1所述的基于图神经网络的智能检测方法，其特征在于：步骤(1)，针对电梯牵引马达部件样本检测的采集，包括九项指标，分别为温度、湿度、重量、体积、震动、寿命、成像、额定电流电压和最大扭矩力；所述温度，作为衡量部件运行状态的标准，需要在部件分别为待机状态以及运载状态下采用温度计进行检测并输出参数t；所述湿度，作为衡量部件内部环境的标准，采用湿度传感器输出参数m；所述重量，作为衡量部件是否安装完全的标准，采用电子重量仪输出参数w；所述体积，先采用度量尺寸，再进行各个面积测量，再根据体积分割并利用几何方程进行计算整个产品的体积，输出最终计算获得的体积参数v；所述震动，采用震动仪输出单位时间震动次数，拟合出频率曲线，输出震动频率f；所述寿命，在持续满负荷工作状态，间歇满负荷工作状态以及正常工作状态下，统计得到该参数值a；所述成像i，作为衡量电梯牵引马达部件表面质量的指标，包括电梯牵引马达部件各个平面在多个光源照射下拍摄的图片；所述额定电流电压，作为衡量电梯牵引马达部件在不同电源下的负载能力，需要分别在额定电流电压为标准状态的80％、90％、100％、110％和120％下进行检测额定电流irj、额定电压vrj；所述最大扭矩力torquemax，用来衡量电梯牵引马达部件可以承受搭载人数的指标；样本采集还包括样本的标签，即一组检测数据对应的检测结果：合格Y/不合格N。

3.根据权利要求1所述的基于图神经网络的智能检测方法，其特征在于：步骤(2)，所述数据预处理包括进行数据清洗、弥补缺失指标值，以及进行输入数据格式处理以适用于符合图卷积网络的数据格式。

4.根据权利要求1所述的基于图神经网络的智能检测方法，其特征在于：步骤(3)，模型采用拉普拉斯矩阵对清洗后的数据进行描述；所述拉普拉斯矩阵是所有节点的度数对角矩阵减去邻接矩阵的差值矩阵，矩阵中每个节点的值代表了对整个网络的影响权值大小。

5.根据权利要求1所述的基于图神经网络的智能检测方法，其特征在于：步骤(4)，模型的训练共有两阶段，分别为预训练阶段和迁移学习阶段；预训练阶段，即用生成数据训练模型时，所有网络层的参数都将被更新；迁移学习阶段，即用真实数据更新模型时，固定前若干层，只更新后面几层的参数。