CN115290697B - 一种聚氨酯生产异常识别方法 - Google Patents

Abstract

本发明涉及一种聚氨酯生产异常识别方法，属于数据处理技术领域。方法，包括：获取聚氨酯生产过程中的热红外图像和聚氨酯生产过程中的视频，所述视频中包含连续多帧的RGB图像；根据热红外图像上的温度值，得到热红外图像上的热红外图结构以及热红外图结构中的各节点；根据各RGB图像上各像素点的像素值，得到非零散气泡；根据热红外图结构中的各节点和非零散气泡，得到化学气泡和物理气泡。本发明能识别产生的气泡属于化学气泡还是物理气泡，基于识别的结果有利于后续对气泡的去除，即不同类型的气泡采取不同的处理方式，使得气泡对成型后的聚氨酯的质量影响最小，可以减少成本和提高聚氨酯的成型质量。

Description

一种聚氨酯生产异常识别方法

技术领域

本发明涉及数据处理技术领域，具体涉及一种聚氨酯生产异常识别方法。

背景技术

聚氨酯生产过程中容易产生气泡，气泡的出现会影响聚氨酯的生产质量，因此对聚氨酯生产过程的气泡进行识别至关重要。

现有技术中的识别聚氨酯生产过程中产生的气泡的方法一般是基于人工和机器视觉，基于人工的这种识别方式主观性强，而且容易出现漏检或者误检的现象，而基于机器视觉的这种方法仅仅是基于图像上的像素值识别气泡区域，没有识别出来形成气泡的原因，而气泡形成的原因又对气泡的去除至关重要，气泡的去除会直接影响聚氨酯的生产质量，因此现有技术对聚氨酯生产过程中产生的气泡的识别方法可靠性较低。

发明内容

本发明提供一种聚氨酯生产异常识别方法，用于解决现有方法对聚氨酯生产过程中产生的气泡进行识别时可靠性较低的问题，所采用的技术方案具体如下：

本发明实施例提供了一种聚氨酯生产异常识别方法包括以下步骤：

获取聚氨酯生产过程中的热红外图像和聚氨酯生产过程中的视频，所述视频中包含连续多帧的RGB图像；

根据热红外图像上的温度值，得到热红外图像上的热红外图结构以及热红外图结构中的各节点；

根据各RGB图像上各像素点的像素值，得到非零散气泡；

根据热红外图结构中的各节点和非零散气泡，得到化学气泡和物理气泡。

优选的，得到热红外图像上的热红外图结构以及热红外图结构中的各节点的方法，包括：

获取热红外图像对应的高温度值集合s；

根据高温度值集合，得到各节点、各节点的位置信息以及各节点的节点值；

对于任一节点，获取除该节点外的各节点中距离该节点最近的三个节点，所述距离用欧式距离进行衡量，将该节点与除该节点外的各节点中距离该节点最近的三个节点进行相连，形成图结构中的边；根据图结构中的边，构建得到热红外图结构以及热红外图结构对应的节点和节点数量。

优选的，获取热红外图像对应的高温度值集合s的方法，包括：

获取热红外图像中的温度直方图；

对温度直方图进行otsu阈值分割得到阈值k1,将大于阈值k1的温度值记为高温度值，用集合s表示，s={s1,s2，…，sn }，其中，n表示高温度值的数量， s1为集合s中的第1个温度值，s2为集合s中的第2个温度值，sn为集合s中的最后1个温度值。

优选的，得到各节点、各节点的位置信息以及各节点的节点值的方法，包括：

将大于k1的像素点的像素值置为1，将小于等于k1的像素点的像素值置为0，得到热红外图像转化为二值图像；利用连通域分析，得到热红外图像上的各高温连通域；

获得高温连通域中每个像素点的中心性和温度极值性；根据高温连通域中每个像素点的中心性和温度极值性，得到高温连通域中的每个像素点作为中心点的概率；

将各高温连通域中每个像素点的中心性和对应温度极值性的乘积记为各高温连通域中每个像素点的属于中心点的概率，并将各高温连通域中每个像素点的属于中心点的概率的最大值对应的像素点作为对应高温连通域的节点，最大值对应的像素点的位置记为节点位置信息，最大值对应的像素点的值记为节点值，即得到了热红外图像上的各节点、各节点的位置信息以及各节点的节点值。

优选的，获得高温连通域中每个像素点的中心性和温度极值性的方法，包括：

计算得到各高温连通域的连通域中心点，计算高温连通域中每个像素点与对应连通域中心点的距离，并将距离的倒数作为对应像素点的中心性；

计算高温连通域中每个像素点的温度极值性，将高温连通域中每个像素点的温度值与该高温连通域中最大温度值的比值作为对应像素点的温度极值性。

有益效果：本发明通过化学气泡与节点的关联性较大，物理气泡与节点的关联性较小的逻辑对两者进行区分，可以有效区分物理气泡和化学气泡，提高两者含量计算结果的精度，有助于保证聚氨酯的生产质量，并且本发明还克服了针对传统方法采用消泡剂对气泡进行消除时，对外界空气混入产生的气泡无法根除的问题，通过热红外图像中高温节点和气泡的关联关系对化学气泡和物理气泡进行区分，进而采取相应措施，使得气泡对成型后的聚氨酯的质量影响最小，保证聚氨酯的生产质量。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案和优点，下面将对实施例或现有技术描述中所需要使用的附图作简单的介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其它附图。

图1为本发明一种聚氨酯生产异常识别方法的流程图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整的描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例，基于本发明实施例，本领域普通技术人员所获得的所有其它实施例，都属于本发明实施例保护的范围。

除非另有定义，本文所使用的所有的技术和科学术语与属于本发明的技术人员通常理解的含义相同。

本实施例提供了一种聚氨酯生产异常识别方法，详细说明如下：

如图1所示，该一种聚氨酯生产异常识别方法，包括以下步骤：

步骤S001，获取聚氨酯生产过程中的热红外图像和聚氨酯生产过程中的视频，所述视频中包含连续多帧的RGB图像。

聚氨酯生产过程中容易产生气泡，气泡的产生原因不同，对应的处理方法也不同，气泡主要可以分为两类，一类是化学反应过程中的气泡，即化学气泡，另一类是由于设备运转等原因混入的空气形成的气泡，即物理气泡，现有方法是通过消泡剂对气泡进行消除，但该方法只能消除化学过程中的气泡，如果是由于外界空气混入导致的气泡，需要的是对设备进行检测，避免空气的混入才能从根本上减少气泡；由于一般情况下是检测到气泡后再使用消泡剂进行消除，但是若聚氨酯生产过程中存在外界空气混入这种现象，在进行消除后又再次会形成气泡，若每次在检测到气泡后再使用消泡剂进行消除，一方面消泡剂要一直使用，另一方面已经产生了的气泡对聚氨酯的成型质量会造成影响；因此本实施例提出了一种聚氨酯生产异常识别方法，该方法能识别产生的气泡属于化学气泡还是物理气泡，基于识别的结果有利于后续对气泡的去除，即不同类型的气泡采取不同的处理方式，使得气泡对成型后的聚氨酯的质量影响最小，可以减少成本和提高聚氨酯的成型质量。

本实施例首先利用热红外相机和工业相机获取聚氨酯生产过程中的热红外图像和聚氨酯生产过程中的视频，所述视频中包含连续多帧的RGB图像。

步骤S002，根据热红外图像上的温度值，得到热红外图像上的热红外图结构以及热红外图结构中的各节点。

本实施例的目的是对化学气泡和物理气泡进行区分，考虑到化学气泡与温度的相关性较大，因此首先需要通过热红外图像计算得到不同RGB图像中的热度分布，由于图结构可以较好地对热红外图像中的热度分布进行表示，因此首先通过计算热红外图像中的图结构来表示热红外图像中的温度分布。热红外图结构的构造过程如下：

由于对于气泡来说，只有当温度高于一定阈值时，才会产生气泡，因此首先通过热红外图像中的温度直方图的阈值分割得到高温度值，具体方法为：对温度直方图进行otsu阈值分割得到阈值k1,将大于阈值k1的温度值认为是高温度值，用集合s表示，s={s1,s2，…，sn }，其中，n表示高温度值的数量，高温度值对应的区域产生气泡的概率较大，s1为集合s中的第1个温度值，s2为集合s中的第2个温度值，sn为集合s中的最后1个温度值。

得到集合s后，在热红外图像中找到对应温度值的像素点，以这些像素点作为图结构中的节点，将每个像素点的温度值作为每个节点的节点值，由于热红外图像中往往是多个高温度值对应一个气泡，因此对于多个温度值形成的区域，需要一种确定节点的方法，所述确定节点的位置和节点值的过程如下：

首先将热红外图像转化为二值图像，即通过阈值k1将热红外图像转化为二值图像，将大于k1的像素点的像素值置为1，将小于等于k1的像素点的像素值置为0，得到二值图像，然后通过连通域分析，得到不同的高温区域，即得到热红外图像上的各高温连通域；对于每个高温连通域，通过计算高温连通域中每个像素点的中心性和温度极值性得到高温连通域中的每个像素点作为中心点的概率；且像素点越位于高温连通域中心，该像素点表示这个高温连通域的位置的偏差越小，便于定位；像素点的温度值越高，气泡距离该点的距离越近。高温连通域中各像素点的属于中心点的概率的计算过程如下：

首先计算高温连通域中每个像素点的中心性，所述中心性是由每个像素点在对应高温连通域中与对应高温连通域中心点的距离来表示的，首先计算得到各高温连通域的连通域中心点，计算高温连通域中每个像素点与对应连通域中心点的距离，并将距离的倒数作为对应像素点的中心性。然后计算高温连通域中每个像素点的温度极值性，将高温连通域中每个像素点的温度值与该高温连通域中最大温度值的比值作为对应像素点的温度极值性。将各高温连通域中每个像素点的中心性和对应温度极值性的乘积记为各高温连通域中每个像素点的属于中心点的概率，并将各高温连通域中每个像素点的属于中心点的概率的最大值对应的像素点作为对应高温连通域的节点，最大值对应的像素点的位置记为节点位置信息，最大值对应的像素点的值记为节点值，即得到了热红外图像上的各节点、各节点的位置信息以及各节点的节点值。

对于任一节点，获取除该节点外的各节点中距离该节点最近的三个节点，所述距离用欧式距离进行衡量，将该节点与除该节点外的各节点中距离该节点最近的三个节点进行相连，形成图结构中的边；至此，构建得到了热红外图结构以及热红外图结构对应的节点和节点数量。

步骤S003，根据各RGB图像上各像素点的像素值，得到非零散气泡。

将利用语义分割网络对RGB图像进行分析，得到各RGB图像中的气泡；具体为：

网络的训练过程为：网络训练时使用的数据集为侧视采集的聚氨酯生产过程中的样本RGB图像集，样本RGB图像集上气泡的样式为多种多样的；需要分割的像素分为两类，即训练集对应标签标注过程为：单通道的语义标签，对应位置像素属于背景类的标注为0，属于气泡的标注为1；网络的任务是分类，所有使用的loss函数为交叉熵损失函数。

将各RGB图像输入训练好的网络中，得到各RGB图像对应的掩膜图像，将各RGB图像对应的掩膜图像与对应RGB图像相乘，得到的图像中只含有气泡的区域，去除了背景的干扰，即得到了各RGB图像中的各气泡。

反应过程中，除了由于化学反应产生的气泡（化学气泡）、物理气泡（由于设备运转等原因混入空气导致的气泡），还包括一部分由于这两种气泡的影响产生的零散气泡，本实施例主要是区分气泡中的化学气泡和物理气泡，因此首先需要去除零散气泡的影响，考虑到零散气泡是在化学气泡和物理气泡的影响下产生的，因此零散气泡一方面位置具有不固定性，随着反应程度的变化，位置也往往不同，而化学气泡往往在温度值较高的区域，而温度分布（哪个区域温度高，哪个区域温度低）在化学反应过程中是不变的，而物理气泡是由于设备运转等原因混入空气导致的，因此往往处于一个较为固定的区域，因此可以根据气泡在连续图像中的固定位置存在性对零散气泡和非零散气泡进行区分。具体过程如下：

首先通过语义分割网络识别得到每个RGB图像中的气泡，然后通过相邻帧RGB图像中气泡的重叠率计算得到连续存在性，所述重叠率是指相邻帧RGB图像中两个位置相近气泡的交集与并集的比值，将所述比值较大且连续帧RGB图像的连续程度较大的，认为是同一个位置的气泡；连续存在性的计算过程如下：

聚氨酯生产过程中的视频中第一次出现气泡的RGB图像，将第一次出现气泡的RGB图像记为第一帧图像，将第一帧图像后面的相邻帧的RGB图像，记为第一帧图像，以此类推，得到了对第一帧图像后面的各帧图像进行标记，对第一帧图像上的气泡按照从左到右、从上到下的顺序进行标号，分别赋予1-m的标号，计算第一帧图像中这些不同标号的气泡与第二帧图像中气泡的重叠率，同时在计算第二帧和第三帧图像中气泡的重叠率时，可能第二帧图像中会出现除了1到m之外新的气泡，按照从左到右、从上到下的顺序，计算每个气泡与第一帧中每个气泡的重叠率，将重叠率大于0.7的认为是第一帧中的1到m气泡，小于0.7的认为是新增的气泡，按照m+1、m+2的顺序对这些新增的气泡进行标号，第三帧图像后面的也以此类推。通过计算可以得到每个标号气泡的连续帧：例如：标号为5的气泡的连续帧为：1-2-3-4-5-6-7，标号为6的连续帧的为：2-3，则明显标号为5的气泡的连续存在性大于标号为6的气泡。将连续帧数量与最大帧数量的比值大于0.6的认为，连续存在性较大，即这些气泡为非零散气泡；所述最大帧数量是指从第一帧开始一直到第a帧，所述第a帧是指该帧时图像中的气泡较少，当某帧中的气泡数量为最大数量的0.4时，选择该帧为第a帧；所述最大气泡数量对应帧的计算方法为：每帧图像可以统计得到该帧中的气泡数量，形成数量序列，选择其中的转折点对应帧的气泡数量作为最大气泡数量。

通过计算，筛选得到了各RGB图像中的非零散气泡，后续将对各RGB图像中的非零散气泡进行分析，得到非零散气泡中的化学气泡和物理气泡。

步骤S004，根据热红外图结构中的各节点和非零散气泡，得到化学气泡和物理气泡。

一个热红外区域往往有好多气泡，即一个热红外图结构中的节点对应多个气泡节点，因此可以通过气泡节点聚类的方法对两种气泡进行区分，每个气泡的中心点与热红外节点的距离越近，该气泡是由于该节点产生的概率越大，每个气泡的连续性越强，该处的化学反应越强烈。因此在根据该规则对气泡节点进行聚类过程中，当气泡类别数量和热红外图结构中的节点数量最相近时，两者处于同一尺度下，此时，计算每个类别中气泡与中心点的距离，距离越小的，是由于对应处的节点产生的概率越大。具体计算过程为：

通过拉普拉斯图聚类方法（拉普拉斯图聚类是现有技术）对气泡进行聚类，每次聚类可以得到聚类后的类别数量，进而得到类别数量序列，每次聚类后，计算类别数量与热红外中节点数量的差值，得到差值序列，选择最小差值对应的聚类结果作为参考聚类结果。

对参考聚类结果中的每个类别计算得到一个类别中心，所述类别中心为每个节点坐标的坐标中心点，计算节点与类别中心点的KM匹配，将节点和类别中心点的欧式距离的倒数作为边值，计算得到KM匹配，将KM匹配中的匹配情况作为气泡类别和节点的对应关系，KM匹配为公知技术。

获得对应关系后，通过节点的值和对应气泡类别中类别距离的相似性，对物理气泡和化学气泡进行区分，区分过程如下：

首先用节点的值r和对应气泡类别中与类别中心点的欧式距离t来表示每个气泡，即用（r,t）二元组表示每个气泡，如果二元组相近，但连续性相差较大，则该气泡为物理气泡的概率大，具体计算方法为：首先对每个气泡通过（r,t）二元组计算得到它的相似二元组对应的气泡，将余弦相似度大于0.9的认为相似度较大，对于同一类别的气泡通过统计得到该类别气泡的连续性直方图，将频率最大的连续性值作为该类别气泡的连续性，将与该最大连续性的比值大于0.8的认为是化学气泡，其它的认为是物理气泡。

得到所有的化学气泡和物理气泡后，计算两者的比值，将化学气泡与物理气泡的比值大于0.9的，认为主要是化学气泡，通过消泡剂来处理；对于比值小于0.9的，认为物理气泡的影响不可忽视，通过对仪器进行检查，消除物理气泡，避免对后续的聚氨酯成型品质量的影响。

本实施例通过化学气泡与节点的关联性较大，物理气泡与节点的关联性较小的逻辑对两者进行区分，可以有效区分物理气泡和化学气泡，提高两者含量计算结果的精度，有助于保证聚氨酯的生产质量，并且本实施例还克服了针对传统方法采用消泡剂对气泡进行消除时，对外界空气混入产生的气泡无法根除的问题，通过热红外图像中高温节点和气泡的关联关系对化学气泡和物理气泡进行区分，进而采取相应措施，使得气泡对成型后的聚氨酯的质量影响最小，保证聚氨酯的生产质量。

以上所述实施例仅用以说明本申请的技术方案，而非对其限制；尽管参照前述实施例对本申请进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本申请各实施例技术方案的精神和范围，均应包含在本申请的保护范围之内。

Claims (1)

1.一种聚氨酯生产异常识别方法，其特征在于，该方法包括如下步骤：

获取聚氨酯生产过程中的热红外图像和聚氨酯生产过程中的视频，所述视频中包含连续多帧的RGB图像；

根据热红外图像上的温度值，得到热红外图像上的热红外图结构以及热红外图结构中的各节点；

根据各RGB图像上各像素点的像素值，得到非零散气泡；

根据热红外图结构中的各节点和非零散气泡，得到化学气泡和物理气泡；

所述得到热红外图像上的热红外图结构以及热红外图结构中的各节点的方法，包括：

获取热红外图像对应的高温度值集合s；

根据高温度值集合，得到各节点、各节点的位置信息以及各节点的节点值；

对于任一节点，获取除该节点外的各节点中距离该节点最近的三个节点，所述距离用欧式距离进行衡量，将该节点与除该节点外的各节点中距离该节点最近的三个节点进行相连，形成图结构中的边；根据图结构中的边，构建得到热红外图结构以及热红外图结构对应的节点和节点数量；

所述根据各RGB图像上各像素点的像素值，得到非零散气泡的方法，包括：

首先通过语义分割网络识别得到每个RGB图像中的气泡，然后通过相邻帧RGB图像中气泡的重叠率计算得到连续存在性，所述重叠率是指相邻帧RGB图像中任意两个气泡的交集与并集的比值；连续存在性的计算过程如下：

将聚氨酯生产过程中的视频中第一次出现气泡的RGB图像记为第一帧图像，将第一帧图像后面的相邻帧的RGB图像，记为第二帧图像，以此类推，完成对第一帧图像后面的各帧图像的标记，对第一帧图像上的气泡按照从左到右、从上到下的顺序进行标号，分别赋予1到m的标号，其中m是第一针图像上的气泡总数，计算第一帧图像中这些不同标号的气泡与第二帧图像中气泡的重叠率，同时在计算第二帧和第三帧图像中气泡的重叠率时，若第二帧图像中出现除了1到m之外的新的气泡，按照从左到右、从上到下的顺序，计算第二帧图像中每个气泡与第一帧图像中每个气泡的重叠率，将第二帧图像中重叠率大于0.7的气泡认为是第一帧图像中标号为1到m的气泡，将第二帧图像中重叠率小于0.7的气泡认为是新增的气泡，按照m+1、m+2的顺序对新增的气泡进行标号，以此类推完成第三帧图像后面的新增气泡的标号；通过计算得到每个标号气泡的连续帧；将连续帧数量与最大帧数量的比值大于0.6的气泡认为是连续存在性较大的气泡，即非零散气泡；所述最大帧数量是指从第一帧图像开始一直到第a帧图像的帧数，所述第a帧是指该帧图像中的气泡数量为最大气泡数量的0.4时的帧图像；所述最大气泡数量的计算方法为：统计每帧图像中的气泡数量，形成数量序列，选择数量序列中的转折点对应帧图像中的气泡数量作为最大气泡数量；

所述根据热红外图结构中的各节点和非零散气泡，得到化学气泡和物理气泡的方法，包括：

通过拉普拉斯图聚类方法对气泡进行聚类， 每次聚类可以得到聚类后的类别数量，进而得到类别数量序列，每次聚类后，计算类别数量与热红外图结构中节点数量的差值，得到差值序列，选择最小差值对应的聚类结果作为参考聚类结果；

对参考聚类结果中的每个类别计算得到一个类别中心，所述类别中心为每个节点坐标的坐标中心点，计算节点与类别中心点的KM匹配，将节点和类别中心点的欧式距离的倒数作为边值，计算得到KM匹配，将KM匹配中的匹配情况作为气泡类别和节点的对应关系；

获得对应关系后，通过节点值和对应气泡类别中类别距离的相似性，对物理气泡和化学气泡进行区分，区分过程如下：

首先用节点的节点值r和节点与节点对应气泡类别的类别中心点的欧式距离t来表示每个气泡，即用（r,t）二元组表示每个气泡，然后确定气泡是否属于物理气泡：首先通过计算不同气泡的（r,t）二元组之间的余弦相似度确定每个气泡与其它气泡的相似度，将余弦相似度大于0.9的不同气泡认为相似，对于同一类别的气泡通过统计得到该类别气泡的连续性直方图，将频率最大的连续性值作为该类别气泡的连续性，将与该频率最大的连续性值的比值大于0.8的气泡认为是化学气泡，其它气泡的认为是物理气泡；

获取热红外图像对应的高温度值集合s的方法，包括：

获取热红外图像中的温度直方图；

对温度直方图进行otsu阈值分割得到阈值k1,将大于阈值k1的温度值记为高温度值，用集合s表示，s={s1,s2，…，sn }，其中，n表示高温度值的数量， s1为集合s中的第1个温度值，s2为集合s中的第2个温度值，sn为集合s中的最后1个温度值；

得到各节点、各节点的位置信息以及各节点的节点值的方法，包括：

将大于k1的像素点的像素值置为1，将小于等于k1的像素点的像素值置为0，得到热红外图像转化为二值图像；利用连通域分析，得到热红外图像上的各高温连通域；

获得高温连通域中每个像素点的中心性和温度极值性；根据高温连通域中每个像素点的中心性和温度极值性，得到高温连通域中的每个像素点作为中心点的概率；

将各高温连通域中每个像素点的中心性和对应温度极值性的乘积记为各高温连通域中每个像素点的属于中心点的概率，并将各高温连通域中每个像素点的属于中心点的概率的最大值对应的像素点作为对应高温连通域的节点，最大值对应的像素点的位置记为节点位置信息，最大值对应的像素点的值记为节点值，即得到了热红外图像上的各节点、各节点的位置信息以及各节点的节点值；

获得高温连通域中每个像素点的中心性和温度极值性的方法，包括：

计算得到各高温连通域的连通域中心点，计算高温连通域中每个像素点与对应连通域中心点的距离，并将距离的倒数作为对应像素点的中心性；

计算高温连通域中每个像素点的温度极值性，将高温连通域中每个像素点的温度值与该高温连通域中最大温度值的比值作为对应像素点的温度极值性。

Images