CN114863094A - 基于双支路网络的工业图像感兴趣区域分割算法 - Google Patents
基于双支路网络的工业图像感兴趣区域分割算法 Download PDFInfo
- Publication number
- CN114863094A CN114863094A CN202210609039.8A CN202210609039A CN114863094A CN 114863094 A CN114863094 A CN 114863094A CN 202210609039 A CN202210609039 A CN 202210609039A CN 114863094 A CN114863094 A CN 114863094A
- Authority
- CN
- China
- Prior art keywords
- network
- region
- feature map
- image
- interest
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 230000011218 segmentation Effects 0.000 title claims abstract description 43
- 238000000605 extraction Methods 0.000 claims abstract description 29
- 238000000034 method Methods 0.000 claims abstract description 11
- 238000001514 detection method Methods 0.000 claims abstract description 10
- 238000012549 training Methods 0.000 claims abstract description 10
- 238000007781 pre-processing Methods 0.000 claims abstract description 8
- 238000002372 labelling Methods 0.000 claims abstract description 5
- 238000007689 inspection Methods 0.000 claims abstract description 3
- 238000005457 optimization Methods 0.000 claims abstract description 3
- 238000010586 diagram Methods 0.000 claims description 10
- 230000004927 fusion Effects 0.000 claims description 9
- 238000005070 sampling Methods 0.000 claims description 8
- 238000001914 filtration Methods 0.000 claims description 4
- 238000011176 pooling Methods 0.000 claims description 4
- 238000012360 testing method Methods 0.000 claims description 4
- 230000009466 transformation Effects 0.000 claims description 3
- 230000007306 turnover Effects 0.000 claims description 2
- 238000013441 quality evaluation Methods 0.000 abstract description 4
- 230000009467 reduction Effects 0.000 abstract description 2
- 230000003321 amplification Effects 0.000 description 3
- 238000010276 construction Methods 0.000 description 3
- 230000006870 function Effects 0.000 description 3
- 238000003199 nucleic acid amplification method Methods 0.000 description 3
- 230000009286 beneficial effect Effects 0.000 description 2
- 238000013135 deep learning Methods 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 230000018109 developmental process Effects 0.000 description 2
- 238000004519 manufacturing process Methods 0.000 description 2
- 239000011800 void material Substances 0.000 description 2
- 230000004075 alteration Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 238000013527 convolutional neural network Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 230000009977 dual effect Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000003709 image segmentation Methods 0.000 description 1
- 238000009776 industrial production Methods 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000008569 process Effects 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 238000010200 validation analysis Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0004—Industrial image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
- G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
- G06V10/806—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of extracted features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30108—Industrial image inspection
- G06T2207/30164—Workpiece; Machine component
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
- Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
- Y02P90/30—Computing systems specially adapted for manufacturing
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Evolutionary Computation (AREA)
- Multimedia (AREA)
- Computing Systems (AREA)
- Artificial Intelligence (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Software Systems (AREA)
- Molecular Biology (AREA)
- General Engineering & Computer Science (AREA)
- Biomedical Technology (AREA)
- Mathematical Physics (AREA)
- Computational Linguistics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Biophysics (AREA)
- Data Mining & Analysis (AREA)
- Databases & Information Systems (AREA)
- Medical Informatics (AREA)
- Quality & Reliability (AREA)
- Image Analysis (AREA)
Abstract
本发明涉及一种基于双支路网络的工业图像感兴趣区域分割算法，包括以下步骤，S1、收集工业零件的图像数据集；S2、按照不同质检要求，对数据集进行感兴趣区域标注；S3、对数据集进行预处理和扩增并划分数据集；S4、构建双支路网络，包括语义信息提取支路和空间信息提取支路；根据优化目标，通过感兴趣区域标注数据集对网络进行训练，得到训练好的模型；S5、将待测工业图像输入训练好的模型中得到对于的感兴趣区域分割图。本发明采用双支路结构，按照工业零件的质量检测要求，实时地将工业图像划分成多个感兴趣区域，以便后续检测，具有分割速度快，分割精度高，能够替代人工提取感兴趣区域，降低产品质量评估难度，提高效率等特点。
Description
技术领域
本发明涉及图像视觉检测技术领域，尤其是一种基于双支路网络的工业图像感兴趣区域分割算法。
背景技术
随着科学技术的发展，工业生产也逐渐步入智能化时代。工业智能化所需的智能设备和生产的产品，往往都需要去检测器完整性和功能性。以前常常通过人工来对工业零件进行质量评估，这不仅需要大量的劳动力，而且包含很多的主观性影响其客观结果。同一工业零件的质量评估要经过很多种工序，每种工序所对应的需要检测感兴趣区域也不大不相同。因此，如何快速准确将工业零件图像分割为不同检测工序所需的感兴趣区域图像成为工业缺陷检测领域亟待解决的问题。
近年来，图像分割技术取得了重大的进展。传统的语义分割方法基于阈值的选择、区域增长、超像素、图算法采用手工制作的特性来解决这个问题。随着深度学习的发展，越来越多的科研工作者使用深度学习来解决感兴趣区域的分割问题。近年来，许多基于FCN(全卷积神经网络)的算法在不同的基准上保持着优越的性能，其主要划分为两种类型：基于空洞卷积的网络，基于编解码的网络。基于空洞卷积的网络去除掉下采样操作，并且对使用卷积进行上采样，来保持高分辨率的特征描述。Deeplabv3网络采用了空洞空间金字塔来捕获更多的上下层特征，PSPNet在空洞卷积的网络主干上也采用了空间金字塔池化模块。另一方面，基于编解码的网络通常会采用自下而上的横向连接，使得解码器部分能够恢复高分辨率的特征图。U-Net、SegNet保存了池化的索引来帮助上采样操作获得更好的分割结果，DFN网络采用通道注意力模块来放大更有效的特征通道，以此提高准确率。但这两种类型网络的参数量较大，都使用了较宽而且较深的网络来同时提取图像的低级空间信息和高级语义信息，虽然他们都达到了很好地准确率，但是他们的推理速度都很慢，无法满足实时地要求。这主要的原因就是，网络越宽、越深其包含的参数就越多，计算量也就越大，其推理时间也就会想应地变长，无法满足实时地需求。
为了更好地满足快速响应和交互的实时需求，很多学者也开发出了优秀的实时分割网络。SegNet采用一个小的网络和跳过连接的操作来实现快速的推理，E-Net重新设计了一个参数量很小速度很快的轻量级网络，DFANet通过不断重新利用特征来增加特征表示能力并降低网络复杂度提高速度。虽然这些实时的分割网络可以实现推理速度的飞跃，但是由于参数量的骤减，虽然满足了速度上的要求，但在精度上丢失了很多。主要原因是其大多是选择丢掉低级的空间信息来进行分割，在细节边缘的表现就很差，会丢失图像的低级空间信息，极大地影响网络准确率。
发明内容
本发明要解决的技术问题是：提供一种基于双支路网络的工业图像感兴趣区域分割算法，按照工业零件的质量检测要求，实时地将工业图像划分成多个感兴趣区域，以便后续检测，具有分割速度快，分割精度高，能够替代人工提取感兴趣区域，降低产品质量评估难度，提高效率等特点。
本发明解决其技术问题所采用的技术方案是：一种基于双支路网络的工业图像感兴趣区域分割算法，包括以下步骤，
S1、收集工业零件的图像数据集；
S2、按照不同质检要求，对数据集进行感兴趣区域标注；
S3、对数据集进行预处理和扩增并划分数据集；
S4、构建双支路网络，包括语义信息提取支路和空间信息提取支路；根据优化目标，通过感兴趣区域标注数据集对网络进行训练，得到训练好的模型；
S5、将待测工业图像输入训练好的模型中得到对于的感兴趣区域分割图。
进一步的说，本发明所述的步骤S1中，数据需要在检测平台上，使用均匀恒定的光源进行拍摄，按照统一的格式进行保存。
进一步的说，本发明所述的步骤S3中，将采集到的工业图像进行去噪和/或滤波操作，并将图像进行切分，调整图像大小；然后将调整大小后得到的图像，通过旋转、翻转、随机噪声和/或颜色变换来增强数据并扩充数据集；最后将扩增后的数据集按照8:2的比例随机划分为训练集和测试集。
进一步的说，本发明所述的步骤S4中，包括以下步骤，
S401、空间信息提取支路包括3个卷积模块，输入图像x经过空间信息提取支路的3个卷积模块后得到的最终特征图就是空间信息特征图Y1；
S402、语义信息提取支路包括5个卷积模块，输入图像x经过语义信息提取支路的5个卷积模块后得到的最终特征图就是语义信息特征图Y2；
S403、空间信息特征图Y1和语义信息特征图Y2通过特征融合模块将二者向对方的特征维度进行采样并进行点乘操作，以此来融合二者，得到特征图Y3；
S404、使用步长为1，卷积核3x3的卷积模块对特征图Y3在通道层进行融合，得到最终的特征图Y；
S405、使用分割模块对特征图Y进行分割预测；
S406、使用加权交叉熵损失函数来优化网络。
再进一步的说，本发明所述的步骤S403中，空间信息特征图Y1使用均值池化下采样4倍得到特征图Y1’，将Y1’与Y2进行点乘获得新的融合特征Y12；语义信息特征图Y2使用双线性差值进行4倍上采样获得特征图Y2’，并将Y2’与Y1进行点乘获得新的融合特征Y21；最终，使用双线性差值将Y12上采样4倍，再与Y21在通道维度进行拼接，得到特征图Y3。
再进一步的说，本发明所述的S405中，使用分割模块对特征图Y进行分割预测时，先使用双线性差值将特征图Y上采样到原图的分辨率，再使用1x1xN的卷积层进行分割预测；其中N为不同感兴趣区域的数量。
再进一步的说，本发明所述的S406中，加权交叉熵损失函数公式为：
其中，N为感兴趣区域类别数，wi为i区域类别占总区域的比例的倒数，yi代表输入图像的真实标签，
表示网络的预测结果。
本发明的有益效果是：
1、端到端检测，由输入图像可以直接得到感兴趣区域分割图；
2、双支路网络包含的语义信息提取支路和空间信息提取支路，在提取到有效的高维语义信息的同时，可以很好地保留图像底层特征的空间信息；
3、双支路网络的参数量小，分割速度快能满足实时要求。
附图说明
图1是本发明感兴趣区域提取方法流程图；
图2是本发明双支路网络结构图；
图3是本发明卷积模块结构图；
图4是本发明分割模块结构图。
具体实施方式
现在结合附图和优选实施例对本发明作进一步详细的说明。这些附图均为简化的示意图，仅以示意方式说明本发明的基本结构，因此其仅显示与本发明有关的构成。
如图1-图4所示的一种基于双支路网络的工业图像感兴趣区域分割算法，在网络的设计上，采用双支路结构，设计了语义信息提取支路和空间信息提取支路来分别提取低级的空间信息与高级的语义信息；将低级的空间信息与高级的语义信息进行区分提取，接着使用特征融合模块来融合两种特征，使得网络保留高层语义信息的特征提取能力的同时，也能很好地兼顾到低级的空间信息，以此实现高精度和高效率。
如图1所示，本发明主要包括以下步骤：数据集构建、数据标注、数据预处理、扩增和划分、训练双支路网络，从而实现对各个图像的感兴趣区域进行有效分割。
下面对各个步骤进行详细说明：
步骤S1：数据集构建：构建工业数据集，所述数据需要在检测平台上，使用均匀恒定的光源进行拍摄，按照统一的格式进行保存。
步骤S2：数据集标注：对收集到的工业零件数据集，使用Label-me等标注工具对图像进行感兴趣区域划分，生成标注文件并转化为图片格式(label图)。
步骤S3：数据预处理和扩增：采集到的工业图像进行去噪、滤波，以此去除拍照环境造成的影响。然后使用旋转、翻转、随机噪声等操作对工业图像和其对应的label图进行扩增。最后按照8:2的比例，将扩增后的数据集随机划分为训练集和测试集。
步骤S4：网络训练：利用划分好的数据集训练所提出的双支路网络。
步骤S5：利用训练好的双支路网络对工业图像进行感兴趣区域分割。
在步骤S1中，数据集的构建之前，更详细的步骤包括：
步骤S101：根据待检测设备和检测平台所处的环境，选择合适的光源和相机，并调配到最佳状态。
在步骤S2中，更详细的数据预处理包括：
步骤S201：使用label-me等标注软件对采集到的图像进行标注，获得不同感兴趣区域的标签文件，再将图像的标签文件转换成png图像格式。
在步骤S3中，更详细的数据预处理和扩增操作并划分数据集操作包括：
步骤S301：首先，对相机采集到的图像进行去噪和滤波等图像操作，获得较为纯净的图像。
步骤S302：采集到的工业图像都是非常大的，需要将得到的工业图像进行切分，得到512x512大小的图像块。特别地，对样本标签也做同样的调整大小操作，确保待分割图像和label图一一对应。
步骤S303：将调整大小后得到的图像，通过旋转、翻转、随机噪声和颜色变换等数据增强操作来扩充数据集。当图像在旋转和翻转操作时，对应图像的标签图像也进行相同的操作。当图像进行随机噪声和颜色变换等操作时，图像的标签数据不发生改变。
步骤S304：将扩增后的数据集按照8:2随机划分为训练集和测试(验证)集。
在步骤S4中，更详细的网络训练模块操作包括：
步骤S401：构建基于双支路的网络结构，所述网络的架构如图2所示。网络主要包含2个分支：语义信息提取支路和空间信息提取支路。空间信息提取支路主要为3个卷积模块，每个卷积模块结构如图3所示，其中3x3卷积层的步长为2，这会使输入数据的特征图变为原来的1/2。空间信息提取支路的输入图像为x(大小为512×512×3)经过三个卷积模块分别得到256×256×64，128×128×128，64×64×256的特征图，最终的64×64×256特征图就是空间信息特征图Y1。而语义信息提取支路包含5个卷积模块，其会将输入图像抽象为256×256×16，128×128×32，64×64×64，32×32×128，16×16×256的特征图，最小的16×16×256的特征图就是语义信息特征图Y2。
步骤S402：通过双支路分别获得空间信息特征Y1(64×64×256)和语义信息特征Y2(16×16×256)，设计了新的融合模块会将二者向对方的特征维度进行采样并进行点乘操作，以此来融合二者有点。
具体来说，空间信息特征Y1将会使用均值池化下采样4倍得到16×16×256特征图，将其与Y2进行点乘获得新的融合特征Y12(16×16×256)。另一方面，语义信息特征Y2将会使用双线性差值进行4倍上采样获得64×64×256的特征图，并将其与Y1进行点乘获得新的融合特征Y21(64×64×256)。最终，使用双线性差值将Y12上采样4倍，再与Y21在通道维度进行拼接，得到特征图Y3(64×64×512)。
步骤S403：使用步长为1，卷积核3x3的卷积模块对特征图Y3在通道层进行融合，得到最终的特征图Y(64×64×256)。如图4所示，使用分割模块对特征图Y进行分割预测，先使用双线性差值将特征图Y上采样到原图的分辨率，再使用1×1×N的卷积层进行分割预测。其中N为不同感兴趣区域的数量，也就是区域类别数。
由于不同感兴趣区域的大小不同，数据集中的不同感兴趣区域的数据占比就会失衡，不利于双支路网络的学习。故使用加权交叉熵损失函数来优化网络，公式如下：
其中，N为感兴趣区域类别数，wi为i区域类别占总区域的比例的倒数(总区域面积和/i类别区域面积)，yi代表输入图像的真实标签，
表示网络的预测结果。
在步骤S5中，利用所训练的双支路网络模型对工业图像进行感兴趣区域分割的详细操作如下：
步骤S501：对采集到的工业图像进行预处理，将其切分为512×512的小图，送入训练好的双支路网络中进行感兴趣区域分割，最后将分割好的小图在拼成原始工业图像大小。
本发明提出基于双支路网络的感兴趣区域分割架构，使用不同支路来提取不同特征，每条支路的参数量都大大减少，有效缩短了工业图像感兴趣区域分割时间，能满足实施要求。
本发明提出的双支路网络设计了两条支路，空间信息提取支路和语义信息提取支路分别提取空间信息特征和语义信息，独立的分支提取到的对应特征更具有表达力。此外，设计的特征融合模块，使不同的特征能有效地融合到一起，有效提高网络的精度
由于不同感兴趣区域大小差距过大，会引发数据倾斜的问题，也就是网络将图像过多的预测为面积大的感兴趣区域。而本发明使用加权的交叉熵损失来优化网络参数，加权能有效平衡数据之间的占比，使得网络更鲁棒。
以上说明书中描述的只是本发明的具体实施方式，各种举例说明不对本发明的实质内容构成限制，所属技术领域的普通技术人员在阅读了说明书后可以对以前所述的具体实施方式做修改或变形，而不背离发明的实质和范围。
Claims (7)
1.一种基于双支路网络的工业图像感兴趣区域分割算法，其特征在于：包括以下步骤，
S1、收集工业零件的图像数据集；
S2、按照不同质检要求，对数据集进行感兴趣区域标注；
S3、对数据集进行预处理和扩增并划分数据集；
S4、构建双支路网络，包括语义信息提取支路和空间信息提取支路；根据优化目标，通过感兴趣区域标注数据集对网络进行训练，得到训练好的模型；
S5、将待测工业图像输入训练好的模型中得到对于的感兴趣区域分割图。
2.如权利要求1所述的基于双支路网络的工业图像感兴趣区域分割算法，其特征在于：所述的步骤S1中，数据需要在检测平台上，使用均匀恒定的光源进行拍摄，按照统一的格式进行保存。
3.如权利要求1所述的基于双支路网络的工业图像感兴趣区域分割算法，其特征在于：所述的步骤S3中，将采集到的工业图像进行去噪和/或滤波操作，并将图像进行切分，调整图像大小；然后将调整大小后得到的图像，通过旋转、翻转、随机噪声和/或颜色变换来增强数据并扩充数据集；最后将扩增后的数据集按照8:2的比例随机划分为训练集和测试集。
4.如权利要求1所述的基于双支路网络的工业图像感兴趣区域分割算法，其特征在于：所述的步骤S4中，包括以下步骤，
S401、空间信息提取支路包括3个卷积模块，输入图像x经过空间信息提取支路的3个卷积模块后得到的最终特征图就是空间信息特征图Y1；
S402、语义信息提取支路包括5个卷积模块，输入图像x经过语义信息提取支路的5个卷积模块后得到的最终特征图就是语义信息特征图Y2；
S403、空间信息特征图Y1和语义信息特征图Y2通过特征融合模块将二者向对方的特征维度进行采样并进行点乘操作，以此来融合二者，得到特征图Y3；
S404、使用步长为1，卷积核3x3的卷积模块对特征图Y3在通道层进行融合，得到最终的特征图Y；
S405、使用分割模块对特征图Y进行分割预测；
S406、使用加权交叉熵损失函数来优化网络。
5.如权利要求4所述的基于双支路网络的工业图像感兴趣区域分割算法，其特征在于：所述的步骤S403中，空间信息特征图Y1使用均值池化下采样4倍得到特征图Y1’，将Y1’与Y2进行点乘获得新的融合特征Y12；语义信息特征图Y2使用双线性差值进行4倍上采样获得特征图Y2’，并将Y2’与Y1进行点乘获得新的融合特征Y21；最终，使用双线性差值将Y12上采样4倍，再与Y21在通道维度进行拼接，得到特征图Y3。
6.如权利要求4所述的基于双支路网络的工业图像感兴趣区域分割算法，其特征在于：所述的S405中，使用分割模块对特征图Y进行分割预测时，先使用双线性差值将特征图Y上采样到原图的分辨率，再使用1x1xN的卷积层进行分割预测；其中N为不同感兴趣区域的数量。
7.如权利要求4所述的基于双支路网络的工业图像感兴趣区域分割算法，其特征在于：所述的S406中，加权交叉熵损失函数公式为：
其中，N为感兴趣区域类别数，wi为i区域类别占总区域的比例的倒数，yi代表输入图像的真实标签，
表示网络的预测结果。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210609039.8A CN114863094A (zh) | 2022-05-31 | 2022-05-31 | 基于双支路网络的工业图像感兴趣区域分割算法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210609039.8A CN114863094A (zh) | 2022-05-31 | 2022-05-31 | 基于双支路网络的工业图像感兴趣区域分割算法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN114863094A true CN114863094A (zh) | 2022-08-05 |
Family
ID=82641338
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202210609039.8A Pending CN114863094A (zh) | 2022-05-31 | 2022-05-31 | 基于双支路网络的工业图像感兴趣区域分割算法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN114863094A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116343063A (zh) * | 2023-05-26 | 2023-06-27 | 南京航空航天大学 | 一种路网提取方法、系统、设备及计算机可读存储介质 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111259898A (zh) * | 2020-01-08 | 2020-06-09 | 西安电子科技大学 | 基于无人机航拍图像的农作物分割方法 |
| CN111523540A (zh) * | 2020-04-17 | 2020-08-11 | 中南大学 | 基于深度学习的金属表面缺陷检测方法 |
| CN111754507A (zh) * | 2020-07-03 | 2020-10-09 | 征图智能科技(江苏)有限公司 | 一种轻量化的基于强注意力机制的工业缺陷图像分类方法 |
| CN113159051A (zh) * | 2021-04-27 | 2021-07-23 | 长春理工大学 | 一种基于边缘解耦的遥感图像轻量化语义分割方法 |
| CN113850825A (zh) * | 2021-09-27 | 2021-12-28 | 太原理工大学 | 基于上下文信息和多尺度特征融合的遥感图像道路分割方法 |
-
2022
- 2022-05-31 CN CN202210609039.8A patent/CN114863094A/zh active Pending
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111259898A (zh) * | 2020-01-08 | 2020-06-09 | 西安电子科技大学 | 基于无人机航拍图像的农作物分割方法 |
| CN111523540A (zh) * | 2020-04-17 | 2020-08-11 | 中南大学 | 基于深度学习的金属表面缺陷检测方法 |
| CN111754507A (zh) * | 2020-07-03 | 2020-10-09 | 征图智能科技(江苏)有限公司 | 一种轻量化的基于强注意力机制的工业缺陷图像分类方法 |
| CN113159051A (zh) * | 2021-04-27 | 2021-07-23 | 长春理工大学 | 一种基于边缘解耦的遥感图像轻量化语义分割方法 |
| CN113850825A (zh) * | 2021-09-27 | 2021-12-28 | 太原理工大学 | 基于上下文信息和多尺度特征融合的遥感图像道路分割方法 |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116343063A (zh) * | 2023-05-26 | 2023-06-27 | 南京航空航天大学 | 一种路网提取方法、系统、设备及计算机可读存储介质 |
| CN116343063B (zh) * | 2023-05-26 | 2023-08-11 | 南京航空航天大学 | 一种路网提取方法、系统、设备及计算机可读存储介质 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN116342596B (zh) | 一种基于YOLOv5改进的变电站设备螺母缺陷识别检测方法 | |
| CN112488025B (zh) | 基于多模态特征融合的双时相遥感影像语义变化检测方法 | |
| CN112927253B (zh) | 基于卷积神经网络的岩心fib-sem图像分割方法 | |
| CN112818849B (zh) | 基于对抗学习的上下文注意力卷积神经网络的人群密度检测算法 | |
| CN115775316A (zh) | 基于多尺度注意力机制的图像语义分割方法 | |
| CN112580382B (zh) | 基于目标检测二维码定位方法 | |
| CN116797787A (zh) | 基于跨模态融合与图神经网络的遥感影像语义分割方法 | |
| CN116188272B (zh) | 适用于多模糊核的两阶段深度网络图像超分辨率重建方法 | |
| CN112017116A (zh) | 基于非对称卷积的图像超分辨率重建网络及其构建方法 | |
| CN113111740A (zh) | 一种遥感图像目标检测的特征编织方法 | |
| CN112200720A (zh) | 一种基于滤波器融合的超分辨率图像重建方法及系统 | |
| CN115908793A (zh) | 一种基于位置注意力机制的编解码结构语义分割模型 | |
| CN116630704A (zh) | 一种基于注意力增强和密集多尺度的地物分类网络模型 | |
| CN115239602A (zh) | 一种基于空洞卷积扩大感受野的车牌图像去模糊方法 | |
| CN114863094A (zh) | 基于双支路网络的工业图像感兴趣区域分割算法 | |
| CN113361496B (zh) | 一种基于U-Net的城市建成区统计方法 | |
| CN113554655B (zh) | 基于多特征增强的光学遥感图像分割方法及装置 | |
| CN118212415A (zh) | 一种基于混合卷积和多尺度注意力门的图像分割方法 | |
| CN117746130A (zh) | 一种基于遥感影像点状语义标签的弱监督深度学习分类方法 | |
| CN116029905A (zh) | 一种基于渐进差值互补的人脸超分辨率重构方法及系统 | |
| CN116612349A (zh) | 基于深度学习的遥感影像近岸筏式海水养殖信息提取方法 | |
| CN115631434A (zh) | 一种基于遥感影像的土地利用分类方法 | |
| CN111191674B (zh) | 基于密集连接带孔卷积网络的初级特征提取器及提取方法 | |
| CN114882362A (zh) | 基于遥感影像的天然气管道高后果区建筑变化检测方法 | |
| CN118298184B (zh) | 一种基于层级式误差修正的高分辨率遥感语义分割方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |