CN113159278A - 一种分割网络系统 - Google Patents

一种分割网络系统 Download PDF

Info

Publication number
CN113159278A
CN113159278A CN202110282314.5A CN202110282314A CN113159278A CN 113159278 A CN113159278 A CN 113159278A CN 202110282314 A CN202110282314 A CN 202110282314A CN 113159278 A CN113159278 A CN 113159278A
Authority
CN
China
Prior art keywords
model
function
segmentation
branch
loss
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202110282314.5A
Other languages
English (en)
Inventor
董进华
张茂彬
李新
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Wuxi Xinje Electric Co Ltd
Original Assignee
Wuxi Xinje Electric Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Wuxi Xinje Electric Co Ltd filed Critical Wuxi Xinje Electric Co Ltd
Priority to CN202110282314.5A priority Critical patent/CN113159278A/zh
Publication of CN113159278A publication Critical patent/CN113159278A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F17/00—Digital computing or data processing equipment or methods, specially adapted for specific functions
    • G06F17/10—Complex mathematical operations
    • G06F17/18—Complex mathematical operations for evaluating statistical data, e.g. average values, frequency distributions, probability functions, regression analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2413—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on distances to training or reference patterns
    • G06F18/24133—Distances to prototypes
    • G06F18/24137—Distances to cluster centroïds
    • G06F18/2414—Smoothing the distance, e.g. radial basis function networks [RBFN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/253—Fusion techniques of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Biology (AREA)
  • Mathematical Physics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Software Systems (AREA)
  • Computational Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Computing Systems (AREA)
  • Mathematical Analysis (AREA)
  • General Health & Medical Sciences (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Molecular Biology (AREA)
  • Mathematical Optimization (AREA)
  • Pure & Applied Mathematics (AREA)
  • Probability & Statistics with Applications (AREA)
  • Operations Research (AREA)
  • Algebra (AREA)
  • Databases & Information Systems (AREA)
  • Image Analysis (AREA)

Abstract

本发明属于网络切割技术领域，尤其是一种分割网络系统，现提出以下方案，包括网络分割方法和焊点定位方法，所述焊点定位方法包括以下具体过程：输入640*480*1维度的样本，对所述样本进行光照强度，随机裁剪，旋转等增广，测试时不需要增广操作，进行下采样得到80*60*256的广义特征，一分支经过全局特征提取器，得到所述80*60*256的深度信息，另一分支经过一层卷积后得到80*60*256的细节特征，通过深度信息的通道选择融合了细节特征，然后经过上采样，返回融合特征，进行上采样，经过分割检测模块和特征点检测模块，得到检测结果即焊缝数据集。本发明在工业场景应用深度学习算法的需求越来越强烈，我们提出实时语义分割方案对焊缝进行预处理，可进行准确定位。

Description

一种分割网络系统
技术领域
本发明涉及网络切割技术领域，尤其涉及一种分割网络系统。
背景技术
目前焊缝检测的应用较广泛的方法是射线探伤方法(RT)，改方法利用(X、Y)射线源发出的贯穿辐射线穿透焊缝后使胶片感光，焊缝的影像便显示在经过处理后的射线照相底片上。通过计算焊缝的拐点定位焊点位置，通过拟合计算得到的焊点位置，生成焊接器末端的运动轨迹，最后实现焊接任务。
上述方法成本低，速度快，在工程应用中广泛应用该方案，然而在实际检测中，检测会出现一个定位误差问题，由于射线的光照强度过大，导致影射在金属片上出现局部反光，直接导致焊点位置无法定位，拟合到的轨迹偏差较大，无法进行准确定位。
发明内容
基于背景技术中提出的上述方法成本低，速度快，在工程应用中广泛应用该方案，然而在实际检测中，检测会出现一个定位误差问题，由于射线的光照强度过大，导致影射在金属片上出现局部反光，直接导致焊点位置无法定位，拟合到的轨迹偏差较大，无法进行准确定位的技术问题，本发明提出了一种分割网络系统。
本发明提出的一种分割网络系统，包括网络分割方法和焊点定位方法，所述焊点定位方法包括以下具体过程：输入640*480*1维度的样本，对所述样本进行光照强度，随机裁剪，旋转等增广，测试时不需要增广操作，进行下采样得到80*60*256的广义特征，一分支经过全局特征提取器，得到所述80*60*256的深度信息，另一分支经过一层卷积后得到80*60*256的细节特征，通过深度信息的通道选择融合了细节特征，然后经过上采样，返回融合特征，进行上采样，经过分割检测模块和特征点检测模块，得到检测结果即焊缝数据集，所述网络分割方法包括以下步骤：
步骤一:数据集预处理：
采集所述焊缝数据集，由厂区内部采集，通过对不同场景下的焊缝图片进行数据库建立，然后经过人工标注，筛选得到带标签为焊缝、焊点的具体位置，按8：2比例切分数据得到训练集、测试集，训练集进行光照强度、随机裁剪、随机旋转等变化增广数据；
步骤二:搭建实时分类分割模型，具体为：
整个网络由下采样模块、全局特征提取器、特征融合模块、上采样模块和关键点检测模块5部分组成；
步骤三：实时分类分割模型的损失函数；
步骤四：设计模型的评价指标；
步骤五：高斯关键点生成；
步骤六：学习率和优化器；
步骤七：OpenVino加速推理；
STEP8：测试结果：模型检测结果为焊线检出和焊点检出。
优选地，所述下采样模块：该模块由3个卷积层，第一层普通卷积层，对输入图片进行尺度缩减，后两层使用深度可分离卷积提高计算效率，采用步长为2，卷积核3x3，后接BN层和ReLU激活函数，输出1/8尺度。
优选地，所述全局特征提取器：和传统2分支结构不同，该网络使用同一下采样输出作为2分支结构的输入，深层的语义特征提取采用3个MobileNet-v2提出的bottleneckresidual block构建全局特征提取器，其中，bottleneck residual block中的深度可分离卷积有利于减少全局特征提取器的参数量和计算量，全局特征提取器还包含pyramidpooling module模块即PPM，用于提取不同尺度的上下文特征。
优选地，所述特征融合模块：特征融合模块用于融合深层语义信息特征和浅层位置信息的输出特征，使用深层语义信息经过全局池化筛选浅层位置信息特征层，最后深层语义和浅层位置信息融合；
为了使得输入的两分支尺寸一致，对深度分支进行上采样，同时在特征相加阶段进行1x1卷积操作，调整通道一致进行叠加，输出结果使用激活函数进行非线性变换。
优选地，所述分割上采样模块：该模块包含2个深度可分离卷积和1个卷积核为1x1的普通卷积用于提高网络性能，输出结果经过softmax操作用于训练时的代价函数的计算，在推理时，则使用argmax代替softmax得到分割结果。
优选地，所述关键点模块：为工业场景的焊点定位应用增加了关键点分支，分支由特征融合结果引出，经过两层层卷积整合关键点的特征，同时调整输出通道，在训练过程中，紧跟两层卷积层后的是dropout促进模型的泛化能力，最后通过sigmoid输出，得到关键点位置的分值。
优选地，所述步骤三中，在数学优化和决策理论中，损失函数或代价函数是将一个事件或一个或多个变量的值映射到一个实数上的函数，该实数直观地表示与该事件相关的某些“成本”，一个优化问题试图使损失函数最小化，一个目标函数可以是一个损失函数或其负(在特定的域，不同地称为回报函数，一个利润函数，一个效用函数，一个适应度函数，等等)，在这种情况下，它是要被最大化，在检测模型的训练过程需要进行输出结果和真实结果进行逼近，逼近过程便需要使用损失函数(Loss Function)作为目标函数，通过优化目标函数，让预测值结果不断逼近真实值，分类分支采用交叉熵损失作为目标函数，网络预测输出qi与样本标签pi，上采样分割解码分支预测输出y'，设计焦点损失(focal loss)和交叉熵(cross entropy)损失函数为分割和分类分支的目标函数，优化两个目标函数，让模型预测结果不断逼近真实标签。
模型总体代价函数(目标函数)：
Loss＝Lcls+Fseg
分类分支损失函数为交叉熵(cross entropy)损失函数，评估当前训练得到的概率分布与真实分布的差异情况，其公式为：
Figure BDA0002979113650000041
其中pi是样本标签，qi是预测输出。
分割分支损失函数为焦点损失(focal loss)，分割的背景像素占比远大于目标的像素区域，为了解决检测中正负样本比例严重失衡的问题，设计focal loss作为该分支的损失函数，该损失函数可以降低了大量简单负样本在训练中所占的权重，其公式为
分类分支损失函数为交叉熵(cross entropy)损失函数，评估当前训练得到的概率分布与真实分布的差异情况，其公式为：
Figure BDA0002979113650000051
其中，y'为预测值，α和γ为超参数。
优选地，所述步骤四中，对目标函数优化训练后得到的模型，需要对该模型检测效果进行检测性能评价，只有达到规定下的检测性能，该模型才具备打标的检测能力，因此，分别对两个输出分支设计模型的评价指标；在关键点分支中，首先对输出的预测结果和真实标签进行统计，设计交叉熵作为该分支的代价函数：
Figure BDA0002979113650000052
p(理想结果即正确标签向量)和q(神经网络输出结果即经过softmax转换后的结果向量)；
在分割分支中，评价指标采用mIoU(平均交并比)，对分割结果的每一类的掩码像素进行统计，其公式如下，
Figure BDA0002979113650000053
其中，pij表示真实值为i，被预测为j的数量，pii表示真实值为i，预测值为i的数量(真正)、pij表示真实值为i，预测值为j数量(假正)，pji表示真实值为j，预测值为i的数量(假负)，k+1是类别个数，当mIoU接近1时候，预测值越逼近真实值。
优选地，所述步骤五中，在图片和标签进行有监督学习前，需要对定位点坐标进行高斯变换，因为模型采用焊缝分割和焊点定位同步进行，若使用坐标点直接回归会失去空间信息，x和y的两个值无法同时收敛；
Figure BDA0002979113650000061
其中，σ取30，20，10，在训练过程中依次递减，逐步缩小高斯点的尺寸，提高训练收敛速度；x,y为像素模板坐标；x0,y0为模板中心坐标原点，默认为(0,0)；norm将输出的高斯热点图归一化，统一每个焊点中心值，最终得到焊点的高斯热点图heatmap和焊线热点图；
所述步骤六中，学习率设计为“不同阶段不同值：上升->平稳->下降”的热身warm-up方案，首先，由于模型学习的初始训练阶段收敛方向不稳定，振荡严重，因此需要采用低学习率，保证模型具有良好的收敛性，但是学习率太低，学习过程会非常缓慢，因此，采用低学习率逐渐增大到较高学习率方式，然后，模型在较高的学习率进行学习，使损失函数不断降低，最后，loss达到最小阶段，但是会出现振荡，因此高学习率是不合适的，会让权重的梯度来回振荡，很难达到全局最低，所以需要降低学习率。
优选地，所述步骤七中，模型测试结果达到精度要求，在部署在工控机及其他设备，模型需要进行裁剪量化等优化操作，才能达到工业应用的实时性要求，由于GPU加速平台OpenVX、OpenCL、CUDA等需要高昂成本，而OpenVINO基于CPU硬件的加速在工业得到广泛应用，节约成本和资源再利用等优势，同时整合了OpenCV、OpenVX、OpenCL等工具，提高卷积网络的运行性能，OpenVINO工具包(ToolKit)主要包含两个核心组模型优化器(ModelOptimizer)和推断引擎(Inference Engine)；
该工具的推理引擎包含同步和异步推理，同步时函数之间的调用依次实现，操作完成前不返回，线程被阻止；异步推理分开始和等待两步，提供多设备检测需要加异步运行多线程的继续和并行计算的执行。
本发明中的有益效果为：
1、该分割网络系统，卷积神经网络(CNN)应对图像局部变化和光照干扰抵抗性强，在多个厂家对CNN模型的加速支持，使得CNN模型在工业上逐步展开应用。在工业场景应用深度学习算法的需求越来越强烈，我们提出实时语义分割方案对焊缝进行预处理，由于深度学习方案应用在工业场景，因此对实时检测算法有着额外需求；(1)、算法实时性，因为语义分割作为视觉感知系统的预处理的一部分，该结果往往作为后续感知或融合模块的输入端；(2)算法必须占用尽量低的内存，允许部署在低成本嵌入式设备，同时保证检测精度在运行范围内。
2、该分割网络系统，采用低学习率逐渐增大到较高学习率方式，然后，模型在较高的学习率进行学习，使损失函数不断降低，最后，loss达到最小阶段，但是会出现振荡，因此高学习率是不合适的，会让权重的梯度来回振荡，很难达到全局最低，所以需要降低学习率，可以提高模型的稳定性。
3、该分割网络系统，为工业场景的焊点定位应用增加了关键点分支，分支由特征融合结果引出，经过两层层卷积整合关键点的特征，同时调整输出通道，在训练过程中，紧跟两层卷积层后的是dropout促进模型的泛化能力，最后通过sigmoid输出，得到关键点位置的分值，可以准确的得到关键点的位置。
该装置中未涉及部分均与现有技术相同或可采用现有技术加以实现。
附图说明
图1为本发明提出的一种分割网络系统的整个网络的结构示意图；
图2为本发明提出的一种分割网络系统的全局特征提取器的结构示意图；
图3为本发明提出的一种分割网络系统的特征融合模块的案子结构示意图；
图4为本发明提出的一种分割网络系统的OpenVino加速推理的结构示意图；
图5为本发明提出的一种分割网络系统的多设备检测的流程图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。
在本发明的描述中，需要理解的是，术语“上”、“下”、“前”、“后”、“左”、“右”、“顶”、“底”、“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。
参照图1-5，一种分割网络系统，包括网络分割方法和焊点定位方法，焊点定位方法包括以下具体过程：输入640*480*1维度的样本，对样本进行光照强度，随机裁剪，旋转等增广，测试时不需要增广操作，进行下采样得到80*60*256的广义特征，一分支经过全局特征提取器，得到80*60*256的深度信息，另一分支经过一层卷积后得到80*60*256的细节特征，通过深度信息的通道选择融合了细节特征，然后经过上采样，返回融合特征，进行上采样，经过分割检测模块和特征点检测模块，得到检测结果即焊缝数据集，网络分割方法包括以下步骤：
步骤一:数据集预处理：
采集焊缝数据集，由厂区内部采集，通过对不同场景下的焊缝图片进行数据库建立，然后经过人工标注，筛选得到带标签为焊缝、焊点的具体位置，按8：2比例切分数据得到训练集、测试集，训练集进行光照强度、随机裁剪、随机旋转等变化增广数据；
步骤二:搭建实时分类分割模型，具体为：
整个网络由下采样模块、全局特征提取器、特征融合模块、上采样模块和关键点检测模块5部分组成；
步骤三：实时分类分割模型的损失函数；
步骤四：设计模型的评价指标；
步骤五：高斯关键点生成；
步骤六：学习率和优化器；
步骤七：OpenVino加速推理；
STEP8：测试结果：模型检测结果为焊线检出和焊点检出。
本发明中，下采样模块：该模块由3个卷积层，第一层普通卷积层，对输入图片进行尺度缩减，后两层使用深度可分离卷积提高计算效率，采用步长为2，卷积核3x3，后接BN层和ReLU激活函数，输出1/8尺度。
本发明中，全局特征提取器：和传统2分支结构不同，该网络使用同一下采样输出作为2分支结构的输入，深层的语义特征提取采用3个MobileNet-v2提出的bottleneckresidual block构建全局特征提取器，其中，bottleneck residual block中的深度可分离卷积有利于减少全局特征提取器的参数量和计算量，全局特征提取器还包含pyramidpooling module模块即PPM，用于提取不同尺度的上下文特征。
本发明中，特征融合模块用于融合深层语义信息特征和浅层位置信息的输出特征，使用深层语义信息经过全局池化筛选浅层位置信息特征层，最后深层语义和浅层位置信息融合；
为了使得输入的两分支尺寸一致，对深度分支进行上采样，同时在特征相加阶段进行1x1卷积操作，调整通道一致进行叠加，输出结果使用激活函数进行非线性变换。
本发明中，分割上采样模块：该模块包含2个深度可分离卷积和1个卷积核为1x1的普通卷积用于提高网络性能，输出结果经过softmax操作用于训练时的代价函数的计算，在推理时，则使用argmax代替softmax得到分割结果。
本发明中，关键点模块：为工业场景的焊点定位应用增加了关键点分支，分支由特征融合结果引出，经过两层层卷积整合关键点的特征，同时调整输出通道，在训练过程中，紧跟两层卷积层后的是dropout促进模型的泛化能力，最后通过sigmoid输出，得到关键点位置的分值。
本发明中，步骤三中，在数学优化和决策理论中，损失函数或代价函数是将一个事件或一个或多个变量的值映射到一个实数上的函数，该实数直观地表示与该事件相关的某些“成本”，一个优化问题试图使损失函数最小化，一个目标函数可以是一个损失函数或其负(在特定的域，不同地称为回报函数，一个利润函数，一个效用函数，一个适应度函数，等等)，在这种情况下，它是要被最大化，在检测模型的训练过程需要进行输出结果和真实结果进行逼近，逼近过程便需要使用损失函数(Loss Function)作为目标函数，通过优化目标函数，让预测值结果不断逼近真实值，分类分支采用交叉熵损失作为目标函数，网络预测输出qi与样本标签pi，上采样分割解码分支预测输出y'，设计焦点损失(focal loss)和交叉熵(cross entropy)损失函数为分割和分类分支的目标函数，优化两个目标函数，让模型预测结果不断逼近真实标签。
模型总体代价函数(目标函数)：
Loss＝Lcls+Fseg
分类分支损失函数为交叉熵(cross entropy)损失函数，评估当前训练得到的概率分布与真实分布的差异情况，其公式为：
Figure BDA0002979113650000121
其中pi是样本标签，qi是预测输出。
分割分支损失函数为焦点损失(focal loss)，分割的背景像素占比远大于目标的像素区域，为了解决检测中正负样本比例严重失衡的问题，设计focal loss作为该分支的损失函数。该损失函数可以降低了大量简单负样本在训练中所占的权重，其公式为
分类分支损失函数为交叉熵(cross entropy)损失函数，评估当前训练得到的概率分布与真实分布的差异情况，其公式为：
Figure BDA0002979113650000122
其中，y'为预测值，α和γ为超参数。
本发明中，步骤四中，对目标函数优化训练后得到的模型，需要对该模型检测效果进行检测性能评价，只有达到规定下的检测性能，该模型才具备打标的检测能力，因此，分别对两个输出分支设计模型的评价指标；在关键点分支中，首先对输出的预测结果和真实标签进行统计，设计交叉熵作为该分支的代价函数：
Figure BDA0002979113650000123
p(理想结果即正确标签向量)和q(神经网络输出结果即经过softmax转换后的结果向量)；
在分割分支中，评价指标采用mIoU(平均交并比)，对分割结果的每一类的掩码像素进行统计，其公式如下，
Figure BDA0002979113650000131
其中，pij表示真实值为i，被预测为j的数量，pii表示真实值为i，预测值为i的数量(真正)、pij表示真实值为i，预测值为j数量(假正)，pji表示真实值为j，预测值为i的数量(假负)，k+1是类别个数，当mIoU接近1时候，预测值越逼近真实值。
本发明中，步骤五中，在图片和标签进行有监督学习前，需要对定位点坐标进行高斯变换，因为模型采用焊缝分割和焊点定位同步进行，若使用坐标点直接回归会失去空间信息，x和y的两个值无法同时收敛；
Figure BDA0002979113650000132
其中，σ取30，20，10，在训练过程中依次递减，逐步缩小高斯点的尺寸，提高训练收敛速度；x,y为像素模板坐标；x0,y0为模板中心坐标原点，默认为(0,0)；norm将输出的高斯热点图归一化，统一每个焊点中心值，最终得到焊点的高斯热点图heatmap和焊线热点图；
步骤六中，学习率设计为“不同阶段不同值：上升->平稳->下降”的热身warm-up方案，首先，由于模型学习的初始训练阶段收敛方向不稳定，振荡严重，因此需要采用低学习率，保证模型具有良好的收敛性，但是学习率太低，学习过程会非常缓慢，因此，采用低学习率逐渐增大到较高学习率方式，然后，模型在较高的学习率进行学习，使损失函数不断降低，最后，loss达到最小阶段，但是会出现振荡，因此高学习率是不合适的，会让权重的梯度来回振荡，很难达到全局最低，所以需要降低学习率。
本发明中，步骤七中，模型测试结果达到精度要求，在部署在工控机及其他设备，模型需要进行裁剪量化等优化操作，才能达到工业应用的实时性要求，由于GPU加速平台OpenVX、OpenCL、CUDA等需要高昂成本，而OpenVINO基于CPU硬件的加速在工业得到广泛应用，节约成本和资源再利用等优势，同时整合了OpenCV、OpenVX、OpenCL等工具，提高卷积网络的运行性能，OpenVINO工具包(ToolKit)主要包含两个核心组模型优化器(ModelOptimizer)和推断引擎(Inference Engine)；
该工具的推理引擎包含同步和异步推理，同步时函数之间的调用依次实现，操作完成前不返回，线程被阻止；异步推理分开始和等待两步，提供多设备检测需要加异步运行多线程的继续和并行计算的执行。
以上所述，仅为本发明较佳的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，根据本发明的技术方案及其发明构思加以等同替换或改变，都应涵盖在本发明的保护范围之内。

Claims (10)

1.一种分割网络系统，包括网络分割方法和焊点定位方法，其特征在于，所述焊点定位方法包括以下具体过程：输入640*480*1维度的样本，对所述样本进行光照强度，随机裁剪，旋转等增广，测试时不需要增广操作，进行下采样得到80*60*256的广义特征，一分支经过全局特征提取器，得到所述80*60*256的深度信息，另一分支经过一层卷积后得到80*60*256的细节特征，通过深度信息的通道选择融合了细节特征，然后经过上采样，返回融合特征，进行上采样，经过分割检测模块和特征点检测模块，得到检测结果即焊缝数据集，所述网络分割方法包括以下步骤：
步骤一:数据集预处理：
采集所述焊缝数据集，由厂区内部采集，通过对不同场景下的焊缝图片进行数据库建立，然后经过人工标注，筛选得到带标签为焊缝、焊点的具体位置，按8：2比例切分数据得到训练集、测试集，训练集进行光照强度、随机裁剪、随机旋转等变化增广数据；
步骤二:搭建实时分类分割模型，具体为：
整个网络由下采样模块、全局特征提取器、特征融合模块、上采样模块和关键点检测模块5部分组成；
步骤三：实时分类分割模型的损失函数；
步骤四：设计模型的评价指标；
步骤五：高斯关键点生成；
步骤六：学习率和优化器；
步骤七：OpenVino加速推理；
STEP8：测试结果：模型检测结果为焊线检出和焊点检出。
2.根据权利要求1所述的一种分割网络系统，其特征在于，所述下采样模块：该模块由3个卷积层，第一层普通卷积层，对输入图片进行尺度缩减，后两层使用深度可分离卷积提高计算效率，采用步长为2，卷积核3x3，后接BN层和ReLU激活函数，输出1/8尺度。
3.根据权利要求2所述的一种分割网络系统，其特征在于，所述全局特征提取器：和传统2分支结构不同，该网络使用同一下采样输出作为2分支结构的输入，深层的语义特征提取采用3个MobileNet-v2提出的bottleneck residual block构建全局特征提取器，其中，bottleneck residual block中的深度可分离卷积有利于减少全局特征提取器的参数量和计算量，全局特征提取器还包含pyramid pooling module模块即PPM，用于提取不同尺度的上下文特征。
4.根据权利要求1所述的一种分割网络系统，其特征在于，所述特征融合模块：特征融合模块用于融合深层语义信息特征和浅层位置信息的输出特征，使用深层语义信息经过全局池化筛选浅层位置信息特征层，最后深层语义和浅层位置信息融合；
为了使得输入的两分支尺寸一致，对深度分支进行上采样，同时在特征相加阶段进行1x1卷积操作，调整通道一致进行叠加，输出结果使用激活函数进行非线性变换。
5.根据权利要求4所述的一种分割网络系统，其特征在于，所述分割上采样模块：该模块包含2个深度可分离卷积和1个卷积核为1x1的普通卷积用于提高网络性能，输出结果经过softmax操作用于训练时的代价函数的计算，在推理时，则使用argmax代替softmax得到分割结果。
6.根据权利要求1所述的一种分割网络系统，其特征在于，所述关键点模块：为工业场景的焊点定位应用增加了关键点分支，分支由特征融合结果引出，经过两层层卷积整合关键点的特征，同时调整输出通道，在训练过程中，紧跟两层卷积层后的是dropout促进模型的泛化能力，最后通过sigmoid输出，得到关键点位置的分值。
7.根据权利要求1所述的一种分割网络系统，其特征在于，所述步骤三中，在数学优化和决策理论中，损失函数或代价函数是将一个事件或一个或多个变量的值映射到一个实数上的函数，该实数直观地表示与该事件相关的某些“成本”，一个优化问题试图使损失函数最小化，一个目标函数可以是一个损失函数或其负(在特定的域，不同地称为回报函数，一个利润函数，一个效用函数，一个适应度函数，等等)，在这种情况下，它是要被最大化，在检测模型的训练过程需要进行输出结果和真实结果进行逼近，逼近过程便需要使用损失函数(Loss Function)作为目标函数，通过优化目标函数，让预测值结果不断逼近真实值，分类分支采用交叉熵损失作为目标函数，网络预测输出qi与样本标签pi，上采样分割解码分支预测输出y'，设计焦点损失(focal loss)和交叉熵(cross entropy)损失函数为分割和分类分支的目标函数，优化两个目标函数，让模型预测结果不断逼近真实标签；
模型总体代价函数(目标函数)：
Loss＝Lcls+Fseg
分类分支损失函数为交叉熵(cross entropy)损失函数，评估当前训练得到的概率分布与真实分布的差异情况，其公式为：
Figure FDA0002979113640000041
其中pi是样本标签，qi是预测输出；
分割分支损失函数为焦点损失(focal loss)，分割的背景像素占比远大于目标的像素区域，为了解决检测中正负样本比例严重失衡的问题，设计focal loss作为该分支的损失函数，该损失函数可以降低了大量简单负样本在训练中所占的权重，其公式为
分类分支损失函数为交叉熵(cross entropy)损失函数，评估当前训练得到的概率分布与真实分布的差异情况，其公式为：
Figure FDA0002979113640000042
其中，y'为预测值，α和γ为超参数。
8.根据权利要求1所述的一种分割网络系统，其特征在于，所述步骤四中，对目标函数优化训练后得到的模型，需要对该模型检测效果进行检测性能评价，只有达到规定下的检测性能，该模型才具备打标的检测能力，因此，分别对两个输出分支设计模型的评价指标；在关键点分支中，首先对输出的预测结果和真实标签进行统计，设计交叉熵作为该分支的代价函数：
Figure FDA0002979113640000043
p(理想结果即正确标签向量)和q(神经网络输出结果即经过softmax转换后的结果向量)；
在分割分支中，评价指标采用mIoU(平均交并比)，对分割结果的每一类的掩码像素进行统计，其公式如下，
Figure FDA0002979113640000051
其中，pij表示真实值为i，被预测为j的数量，pii表示真实值为i，预测值为i的数量(真正)、pij表示真实值为i，预测值为j数量(假正)，pji表示真实值为j，预测值为i的数量(假负)，k+1是类别个数，当mIoU接近1时候，预测值越逼近真实值。
9.根据权利要求1所述的一种分割网络系统，其特征在于，所述步骤五中，在图片和标签进行有监督学习前，需要对定位点坐标进行高斯变换，因为模型采用焊缝分割和焊点定位同步进行，若使用坐标点直接回归会失去空间信息，x和y的两个值无法同时收敛；
Figure FDA0002979113640000052
其中，σ取30，20，10，在训练过程中依次递减，逐步缩小高斯点的尺寸，提高训练收敛速度；x,y为像素模板坐标；x0,y0为模板中心坐标原点，默认为(0,0)；norm将输出的高斯热点图归一化，统一每个焊点中心值，最终得到焊点的高斯热点图heatmap和焊线热点图；
所述步骤六中，学习率设计为“不同阶段不同值：上升->平稳->下降”的热身warm-up方案，首先，由于模型学习的初始训练阶段收敛方向不稳定，振荡严重，因此需要采用低学习率，保证模型具有良好的收敛性，但是学习率太低，学习过程会非常缓慢，因此，采用低学习率逐渐增大到较高学习率方式，然后，模型在较高的学习率进行学习，使损失函数不断降低，最后，loss达到最小阶段，但是会出现振荡，因此高学习率是不合适的，会让权重的梯度来回振荡，很难达到全局最低，所以需要降低学习率。
10.根据权利要求1所述的一种分割网络系统，其特征在于，所述步骤七中，模型测试结果达到精度要求，在部署在工控机及其他设备，模型需要进行裁剪量化等优化操作，才能达到工业应用的实时性要求，由于GPU加速平台OpenVX、OpenCL、CUDA等需要高昂成本，而OpenVINO基于CPU硬件的加速在工业得到广泛应用，节约成本和资源再利用等优势，同时整合了OpenCV、OpenVX、OpenCL等工具，提高卷积网络的运行性能，OpenVINO工具包(ToolKit)主要包含两个核心组模型优化器(Model Optimizer)和推断引擎(Inference Engine)；
该工具的推理引擎包含同步和异步推理，同步时函数之间的调用依次实现，操作完成前不返回，线程被阻止；异步推理分开始和等待两步，提供多设备检测需要加异步运行多线程的继续和并行计算的执行。
CN202110282314.5A 2021-03-16 2021-03-16 一种分割网络系统 Pending CN113159278A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110282314.5A CN113159278A (zh) 2021-03-16 2021-03-16 一种分割网络系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110282314.5A CN113159278A (zh) 2021-03-16 2021-03-16 一种分割网络系统

Publications (1)

Publication Number Publication Date
CN113159278A true CN113159278A (zh) 2021-07-23

Family

ID=76887262

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110282314.5A Pending CN113159278A (zh) 2021-03-16 2021-03-16 一种分割网络系统

Country Status (1)

Country Link
CN (1) CN113159278A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114758178A (zh) * 2022-04-18 2022-07-15 江南大学 一种基于深度学习的轮毂实时分类及其气阀孔定位方法

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114758178A (zh) * 2022-04-18 2022-07-15 江南大学 一种基于深度学习的轮毂实时分类及其气阀孔定位方法
CN114758178B (zh) * 2022-04-18 2024-04-05 江南大学 一种基于深度学习的轮毂实时分类及其气阀孔定位方法

Similar Documents

Publication Publication Date Title
CN109741347B (zh) 一种基于卷积神经网络的迭代学习的图像分割方法
CN110532920B (zh) 基于FaceNet方法的小数量数据集人脸识别方法
CN111738110A (zh) 基于多尺度注意力机制的遥感图像车辆目标检测方法
CN113378686A (zh) 一种基于目标中心点估计的两阶段遥感目标检测方法
CN115439458A (zh) 基于深度图注意力的工业图像缺陷目标检测算法
CN113487610B (zh) 疱疹图像识别方法、装置、计算机设备和存储介质
CN113657409A (zh) 车辆损失检测方法、装置、电子设备及存储介质
CN112016462A (zh) 一种基于深度学习模型的回收瓶分类方法
Gao et al. Traffic sign detection based on ssd
CN113159278A (zh) 一种分割网络系统
CN114037666A (zh) 一种数据集扩充和阴影图像分类辅助的阴影检测方法
CN117829243A (zh) 模型训练方法、目标检测方法、装置、电子设备及介质
CN116543217A (zh) 一种结构相似的小目标分类识别与位姿估计方法
CN116385876A (zh) 基于yolox的光学遥感影像地物检测方法
Yang et al. Visual defects detection model of mobile phone screen
CN112861678B (zh) 一种图像识别方法及装置
CN115205654A (zh) 一种新型基于关键点约束的单目视觉3d目标检测方法
Wang et al. Deformable feature pyramid network for aluminum profile surface defect detection
Zhu et al. Detection of irregular small defects on metal base surface of infrared laser diode based on deep learning
Xi-Xing et al. A YOLOv5s-GC-based surface defect detection method of strip steel
Li et al. A Small Target Detection Method Based on Feature Enhancement and Positioning Optimization
CN117953589B (zh) 一种交互动作检测方法、系统、设备及介质
CN112446870B (zh) 管道损伤检测方法、装置、设备及存储介质
Zou et al. An improved small target traffic sign detection algorithm for YOLOv5s
Li et al. Research on Traffic Sign Recognition Algorithm Based on YOLOv5

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination