CN114119492A

CN114119492A - 基于图像处理的热防护功能梯度材料组分识别方法和系统

Info

Publication number: CN114119492A
Application number: CN202111274761.2A
Authority: CN
Inventors: 辛健强; 屈强; 刘久周; 吴勇军; 董永朋; 刘鑫; 彭锦龙; 许小静; 王静; 王露萌; 王润; 尹琰鑫; 张青青; 刘晋; 李秀涛; 张剑; 何朔; 李克勤; 刘海光; 张文丽
Original assignee: China Academy of Launch Vehicle Technology CALT
Current assignee: China Academy of Launch Vehicle Technology CALT
Priority date: 2021-10-29
Filing date: 2021-10-29
Publication date: 2022-03-01

Abstract

本发明公开了一种基于图像处理的热防护功能梯度材料组分识别方法和系统，该方法包括：获取热防护功能梯度材料原始微观图像I；对热防护功能梯度材料原始微观图像I进行预处理，得到预处理图像

在预处理图像

的基础上，通过交互式图像分割方法，实现对热防护功能梯度材料的组分识别和分割。本发明适用大部分热防护功能梯度材料微观结构组分的识别，同时能够保证识别的精度和效率。

Description

基于图像处理的热防护功能梯度材料组分识别方法和系统

技术领域

本发明属于功能梯度材料微观图像技术领域，尤其涉及一种基于图像处理的热防护功能梯度材料组分识别方法和系统。

背景技术

功能梯度材料的性能强烈依赖于材料的微观结构，其微观结构是功能梯度材料科学与工程中的基础研究内容之一。显微图像通常用于分析与材料某些特性相关的微观结构，例如通过扫描电镜可以观察到材料的微观结构，包括相成分、分布以及晶界特征分布等。因此，在材料结构设计过程中的一个关键步骤就是利用算法和工具有效地从图像中提取有用信息和数据。图像处理算法的目标是从原始显微图像中检测和分离每个晶粒，以获得微观结构的精确描述，如几何和拓扑特征。

材料微观结构数据是一种重要的材料数据类型，通过图像处理技术将微观图像转换成结构数据，可建立结构和性能之间的因果关系。其中，图像分割是图像处理中一个重要分支，是图像分析的第一步，也是图像处理中最困难的问题之一。传统的微观图像分析主要是人工进行的，具有效率低、分析不准确以及只能获取图像原始特征等缺点。近年来，随着材料科学的不断发展，学者们越来越渴望能够从微观的角度去获取提升材料性能的方式，找到材料特性的内在机理，并指导材料的制造工艺。因此，应用计算机图像分割技术分析微观结构成为了材料科学领域一个研究热点。

有许多学者对材料微观结构的图像分割方法进行了研究，根据图像特征的复杂程度，可分为低级语义分割、中级语义分割和高级语义分割三类。其中，基于单像素特征的低级语义分割缺点是没有充分利用图像中各成分的面积信息，仅仅处理单个像素的特征。因此，分割结果对噪声敏感，分割精度有限，不能有效分割复杂的图像。材料微观图像高级语义分割的最新进展是通过深度学习训练大量数据集，从而实现图像自动分割。然而，自动分割方法在构建神经网络时需要大量的图像数据用于训练，计算成本很高。同时，目前计算机人工智能还远未到达理解高级语义的水平，自动分割图像很难获得令人满意的结果，这使得它们对于分割少量图像的任务不太方便。所以，建立一种能同时保证分割效果和分割效率且适用于大部分热防护功能梯度材料微观图像的通用分割方法十分有必要。

发明内容

本发明的技术解决问题：克服现有技术的不足，提供一种基于图像处理的热防护功能梯度材料组分识别方法和系统，适用大部分热防护功能梯度材料微观结构组分的识别，同时能够保证识别的精度和效率。

为了解决上述技术问题，本发明公开了一种基于图像处理的热防护功能梯度材料组分识别方法，包括：

获取热防护功能梯度材料原始微观图像I；

对热防护功能梯度材料原始微观图像I进行预处理，得到预处理图像

在预处理图像

的基础上，通过交互式图像分割方法，实现对热防护功能梯度材料的组分识别和分割。

在上述基于图像处理的热防护功能梯度材料组分识别方法中，采用k均值聚类算法对热防护功能梯度材料原始微观图像I进行预处理，得到预处理图像

包括：

步骤11，将热防护功能梯度材料原始微观图像I分成k个聚类；

步骤12，初始化聚类k；

步骤13，计算得到各质心与每个待聚类像素之间的欧几里得距离；

步骤14，根据计算得到的各质心与每个待聚类的输入像素之间的欧几里得距离，将所有待聚类像素分配到最近的质心，得到更新后的待聚类像素；

步骤15，根据更新后的待聚类像素，对质心进行更新，得到更新后的质心；

步骤16，重复上述步骤13～步骤15，不断迭代，直到最终得到的质心没有变化或满足设定误差要求，记作最优质心，此时最优质心对应的待聚类像素记作聚类像素；

步骤17，根据聚类像素进行图像重塑，得到预处理图像

在上述基于图像处理的热防护功能梯度材料组分识别方法中，欧几里得距离的解算公式如下：

d_ik＝||g_i(x,y)-c_k||

其中，d_ki表示第k个质心与第i个待聚类像素之间的欧几里得距离，c_k表示第k个质心的位置，g_i(x,y)表示第i个待聚类像素。

在上述基于图像处理的热防护功能梯度材料组分识别方法中，更新后的质心的解算公式如下：

其中，g′_i(x,y)表示更新后的第i个待聚类像素，c′_k表示更新后的第k个质心的位置。

在上述基于图像处理的热防护功能梯度材料组分识别方法中，在预处理图像

的基础上，通过交互式图像分割方法，实现对热防护功能梯度材料的组分识别和分割，包括：

步骤21，从预处理图像

中提取大小为M*M的若干个图像块，每个图像块表示一个包含像素强度的向量；将若干个图像块为K个聚类，聚类中心的集合代表图像内容；其中，M表示像素值；

步骤22，用分配图像A将各图像块中心的每个图像像素(m,n)唯一地分配到字典中相应的一个字典块，并根据分配关系，构造得到双相邻矩阵B；

步骤23，用标签L对输入信息进行编码；其中，输入信息为人为提供的标记；

步骤24，根据由双相邻矩阵B导出的变换矩阵T，将编码后的输入信息从图像空间传播到字典空间，并通过扩散矩阵P，获得整个图像的概率标签；

步骤25，根据给出的额外标记来改善图像分割结果，即重复上述步骤23～步骤24，最终输出满足要求的分割图像，实现对热防护功能梯度材料的组分识别和分割。

在上述基于图像处理的热防护功能梯度材料组分识别方法中，分配图像A定义了分配给同一字典像素与对应图像像素之间的二元关系。

在上述基于图像处理的热防护功能梯度材料组分识别方法中，以无监督方式获得分配图像A；其中，分配图像A包含关于预处理图像

中的结构聚类的信息。

在上述基于图像处理的热防护功能梯度材料组分识别方法中，双相邻矩阵B，用于计算字典概率和图像块概率的变换，并对图像块中的图像像素和字典块中的字典像素建立线性索引，即定义了将信息从图像传播到字典的线性映射过程。

相应的，本发明公开了一种基于图像处理的热防护功能梯度材料组分识别系统，包括：

获取模块，用于获取热防护功能梯度材料原始微观图像I；

预处理模块，用于对热防护功能梯度材料原始微观图像I进行预处理，得到预处理图像

识别与分割模块，用于在预处理图像

本发明具有以下优点：

(1)本发明公开了一种基于图像处理的热防护功能梯度材料组分识别方案，利用交互式图像分割方法的普适性，针对不同研究问题，可以通过人为标记控制输入特征，训练识别算法，从而能够灵活方便地获取图像中不同成分的不同特征，进而识别并分割不同的成分。在保证分割效果的同时该方法的识别效率高，仅需要少量次的有效标记就能获得较好的分割结果。

(2)本发明公开了一种基于图像处理的热防护功能梯度材料组分识别方案，基于像素级的交互式方法分割方法对于有真实边界或高对比度的功能梯度材料微观图像具有很好的普适性和便捷性。

附图说明

图1是本发明实施例中一种基于图像处理的热防护功能梯度材料组分识别方法的步骤流程图；

图2本发明实施例中一种热防护功能梯度材料微观图像；

图3本发明实施例中一种交互式图像分割过程图；

图4本发明实施例中一种分割结果的细节对比图。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚，下面将结合附图对本发明公开的实施方式作进一步详细描述。

本发明的核心思想之一在于：基于图像分割的原理，从功能梯度材料的微观图像出发，通过交互式图像分割方法获得各组分的微观特征，进而识别不同成分，实现各成分的分割。其目的在于：通过图像分割识别功能梯度材料微观图像中各相成分，进而表征相成分的含量和空间分布。此外，本发明利用交互式方法的便捷性，将人为标记感兴趣的图像特征实时呈现在程序中，并通过修改标记能快速实现图像的再次分割。

如图1～4，在本实施例中，该基于图像处理的热防护功能梯度材料组分识别方法，包括：

步骤101，获取热防护功能梯度材料原始微观图像I。

步骤102，对热防护功能梯度材料原始微观图像I进行预处理，得到预处理图像

在本实施例中，可采用k均值聚类算法对热防护功能梯度材料原始微观图像I进行预处理，得到预处理图像

步骤1021，将热防护功能梯度材料原始微观图像I分成k个聚类。

步骤1022，初始化聚类k。

步骤1023，计算得到各质心与每个待聚类像素之间的欧几里得距离。

步骤1024，根据计算得到的各质心与每个待聚类的输入像素之间的欧几里得距离，将所有待聚类像素分配到最近的质心，得到更新后的待聚类像素。

步骤1025，根据更新后的待聚类像素，对质心进行更新，得到更新后的质心。

步骤1026，重复上述步骤1023～步骤1025，不断迭代，直到最终得到的质心没有变化或满足设定误差要求，记作最优质心，此时最优质心对应的待聚类像素记作聚类像素。

步骤1027，根据聚类像素进行图像重塑，得到预处理图像

优选的，欧几里得距离的解算公式如下：

d_ik＝||g_i(x,y)-c_k||

优选的，更新后的质心的解算公式如下：

优选的，使得每个待聚类像素到质心距离之和最小的目标函数J为：

其中，R表示待聚类像素的总数，w_ik表示权重。如果待聚类像素g_i(x,y)属于k聚类，则w_ik＝1；否则，w_ik＝0。可见，这是一个由两部分组成的最小化问题。首先将c_k固定，计算J关于w_ik的最小值。然后，将w_ik固定，计算J关于c_k的最小值。故：

第一部分求最小值可以表示为：

即，第一部分求最小值就是将g_i(x,y)分配给最近的聚类，根据g_i(x,y)与聚类质心c_k的距离平方和判断，对应上述步骤1023和步骤1024。

第二部分最小值可以表示为：

这便是重新计算每个聚类质心的数学表达式，以反映新的分配，对应上述步骤1025。

步骤103，在预处理图像

在本实施例中，交互式图像分割方法也可称为半自动分割方法，是一种中级语义分割方法，通过用户有限的输入，尽可能地获取更多的分割信息从而准确、方便地分割出研究对象。该方法有很好的普适性和便捷性，可以针对不同的功能梯度材料微观图像或不同研究问题给予不同的人为标记来达到“半自动学习”的分割效果。由于功能梯度材料的相组成成分的含量和分布受到复杂加工工艺的影响，从而难以获得定量的数据。同时，其热机械性能又严重依赖于材料的微观结构，如孔隙、含量以及分布等，即使是成分相同的功能梯度材料其性能也可能会有显著的差异。因此，本发明的目的是通过图像分割识别功能梯度材料微观图像中各相成分，进而表征相成分的含量和空间分布。

在本实施例中，预处理(步骤102)的目的是在不提供标签的情况下找到图像中的结构，为了获得更为精准的分割，则需要在上述步骤102结果的基础上进一步对图像进行处理。由于复合材料的微观图像特征倾向于形成离散的聚类，并且同一聚类中的图像特征有可能属于同一个类，但又不能假设每个类只有一个聚类表示，因此需要创建比类更多的聚类来捕捉图像中存在的各种特征。由于该步骤输出的是一个分层图像，在每个像素位置都包含了属于每个定义类的概率。根据像素概率，通过为每个像素选择最优可能的类就可以获得分割结果，实现步骤如下：

步骤1031，从预处理图像

中提取大小为M*M的若干个图像块，每个图像块表示一个包含像素强度的向量；将若干个图像块为K个聚类，聚类中心的集合代表图像内容；其中，M表示像素值。

步骤1032，用分配图像A将各图像块中心的每个图像像素(m,n)唯一地分配到字典中相应的一个字典块，并根据分配关系，构造得到双相邻矩阵B。其中，可以采用无监督方式获得分配图像A，分配图像A包含关于预处理图像

中的结构聚类的信息；也即，分配图像A定义了分配给同一字典像素与对应图像像素之间的二元关系。

步骤1033，用标签L对输入信息进行编码。其中，输入信息为人为提供的标记。

步骤1034，根据由双相邻矩阵B导出的变换矩阵T，将编码后的输入信息从图像空间传播到字典空间，并通过扩散矩阵P，获得整个图像的概率标签。其中，双相邻矩阵B，用于计算字典概率和图像块概率的变换，并对图像块中的图像像素和字典块中的字典像素建立线性索引，即定义了将信息从图像传播到字典的线性映射过程。

步骤1035，根据给出的额外标记来改善图像分割结果，即重复上述步骤1033～步骤1034，最终输出满足要求的分割图像，实现对热防护功能梯度材料的组分识别和分割。

可见，该过程的核心部分是构造将人为标签转换成像素概率的变换矩阵，下面将从原理上阐述该变换矩阵的构造过程。

如前所述，以无监督方式获得的分配图像A包含关于图像I中的结构聚类的信息。同时，预处理图像

还包含着人为提供的部分标注L。为了结合这两个信息源，创建了一个标签字典来配合强度字典。对于每个字典块，使用分配图像A来标记分配给它的所有图像块的位置。在图像网格中的这些位置，从标记图像L中提取相应的块。对于相关的标记块集，计算每个层的的像素平均值。因此，每个M*M字典块都有一个相应的由C层组成的M×M标记表示。当图像被完全标记时，标记图像L在每个像素中加起来为等于1，因为只有一个C类的标签为1。因此，每个字典块的代表标记在每个像素中的和也等于1。然而，由于像素的平均化，这种表示方式的值不是二进制的，而是对当前标记图像中被标记为属于C类的字典像素的标准化频率进行解码。由此可以认为这种代表标记是属于C类的图像概率，称之为字典概率。字典概率可以粘贴回X×Y的图像网格中，同样使用来自分配图像A的位置信息，并再次对每个像素进行平均。这样就得到了由C层组成的X×Y概率图像P，其中，P是L的扩散形式。也就是说，利用分配图像A编码的自相似性信息将人为提供的标记从L传播到图像的其他部分。

进一步的，用于高效计算字典概率和图像概率的变换矩阵的构造如下：

这种转换的基础是X×Y图像网格和M×M字典网格之间的关系。此关系使用一个a×b的双相邻矩阵B来进行编码。其中，a＝XY，b＝M²K。为此，需要对图像中的像素和字典网格中的像素进行线性(单一)索引。

图像像素(m,n)的线性索引为：

对于字典网格，将(0,0,K)作为第K个字典元素的中心像素，块中其他像素的坐标根据块内位移Δm和Δn来定义，两者都来自{-s,…,0,…,s}以及s＝(M-1)/2。在坐标(Δm,Δn)处的一个字典像素具有一个线性索引：

ξ＝(Δm+s)+(Δn+s)M+(K-1)M²

每次将以(m,n)为中心的图像块分配给以(0,0,K)为中心的第K个字典块都会导出M²图像像素和M²字典像素之间的关系。用“～”表示图像像素和字典像素之间的关系，对所有的Δm和Δn有：

由于图像块是重叠的，每个非边界图像像素都与M²个字典像素相关。边界处的图像像素与小于M²个字典像素相关，四个角的像素仅与一个字典像素相关。因此，图像像素和字典像素之间总共有(X-2s)(Y-2s)M²种关系。用一个p×q的双相邻矩阵B来表示p个图像像素和q个字典像素之间的关系，B中元素

为：

其中，

和ξ是图像像素和字典像素的线性索引。

双相邻矩阵B定义了将信息从图像传播到字典的线性映射过程，反之亦然。

考虑在图像网格上定义的量(例如认为提供的表示属于第1类的像素的标记)，将其排列成长度为l的向量v，使得第i个元素包含第i个图像像素的值。通过计算一个长度为h的向量D来将这些值传播到字典中：

其中，1表示全为1的列向量，diag(·)表示对角线由参数定义的对角矩阵。因此，将从图像到字典的映射定义为变换矩阵T₁：

同样地，从字典到图像地映射由变换矩阵T₂给出：

T₂＝diag(B1_m×1)^-1B

上述两个变换矩阵式是该方法的基础。人为提供的标记传播计算如下：

P＝T₂T₁L

其中，L是L的向量，排列在n×C矩阵中，而得到的n×C矩阵P需要排列回分层图像P。

在本实施例中，在该交互式方法中有两种后处理方式。第一种处理方式是对概率图像进行处理，即从概率图像中获得分割或检测中感兴趣的特征。第二种处理方式是提取储存在字典中的信息和相关字典的概率。

线性变换是后处理的核心，首先将用户提供的标记从L通过变换矩阵T₁变换到字典空间，然后通过变换矩阵T₂回到图像空间。考虑从标记变换到字典空间：

O＝T₁L

其中，矩阵O包含字典像素的像素级概率(即字典概率)，这对于处理类似I但以前没处理过的图像很有用。即，使用I中的块类创建的字典，处理一个新的预处理图像

需要为

的每个像素提取所有的M×M的块类，并将这些块类分配给现有的字典。与之前类似，这个处理定义了一个图像到字典的过程，可以计算出两个相关联的变换矩阵。该字典到图像的转换矩阵

是下一步所需要的。因此，为了计算与

对应的概率图像

需要计算概率图像矩阵

该方法的后续使用方式符合监督学习的框架。这样，可以将热防护功能梯度材料原始微观图像I和计算出来的标记L是为训练集。然后，该方法就能够为新的、未标记的预处理图像

生成概率图像

因此，只要初始聚类能够捕捉到图像中存在的特征，那么该方法就能处理相似的图像。

综上所述，本发明从功能梯度材料的微观图像出发，通过交互式图像分割方法，基于材料的微观结构，获得各组分的微观特征，进而识别不同成分，实现各成分的分割；基于像素级的交互式方法分割方法对于有真实边界或高对比度的功能梯度材料微观图像具有很好的普适性和便捷性。

在上述实施例的基础上，本发明还公开了一种基于图像处理的热防护功能梯度材料组分识别系统，包括：获取模块，用于获取热防护功能梯度材料原始微观图像I；预处理模块，用于对热防护功能梯度材料原始微观图像I进行预处理，得到预处理图像

识别与分割模块，用于在预处理图像

对于系统实施例而言，由于其与方法实施例相对应，所以描述的比较简单，相关之处参见方法实施例部分的说明即可。

本发明虽然已以较佳实施例公开如上，但其并不是用来限定本发明，任何本领域技术人员在不脱离本发明的精神和范围内，都可以利用上述揭示的方法和技术内容对本发明技术方案做出可能的变动和修改，因此，凡是未脱离本发明技术方案的内容，依据本发明的技术实质对以上实施例所作的任何简单修改、等同变化及修饰，均属于本发明技术方案的保护范围。

本发明说明书中未作详细描述的内容属于本领域专业技术人员的公知技术。