CN113344850A - 一种铰链板焊缝边缘检测方法 - Google Patents
一种铰链板焊缝边缘检测方法 Download PDFInfo
- Publication number
- CN113344850A CN113344850A CN202110460299.9A CN202110460299A CN113344850A CN 113344850 A CN113344850 A CN 113344850A CN 202110460299 A CN202110460299 A CN 202110460299A CN 113344850 A CN113344850 A CN 113344850A
- Authority
- CN
- China
- Prior art keywords
- hinge plate
- detected
- key point
- heat map
- mask
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 47
- 238000003708 edge detection Methods 0.000 title claims description 15
- 238000003466 welding Methods 0.000 claims abstract description 33
- 238000001514 detection method Methods 0.000 claims abstract description 24
- 238000003062 neural network model Methods 0.000 claims abstract description 23
- 230000001537 neural effect Effects 0.000 claims description 41
- 230000004913 activation Effects 0.000 claims description 17
- 238000000605 extraction Methods 0.000 claims description 17
- 210000005036 nerve Anatomy 0.000 claims description 14
- 238000011176 pooling Methods 0.000 claims description 8
- 230000003213 activating effect Effects 0.000 claims description 6
- 238000013528 artificial neural network Methods 0.000 claims description 6
- 230000004927 fusion Effects 0.000 claims description 6
- 238000006243 chemical reaction Methods 0.000 claims description 3
- 238000012790 confirmation Methods 0.000 claims description 3
- 238000005286 illumination Methods 0.000 abstract description 7
- 230000007547 defect Effects 0.000 abstract description 5
- 230000006870 function Effects 0.000 description 24
- 238000010586 diagram Methods 0.000 description 8
- 238000012549 training Methods 0.000 description 6
- 238000012545 processing Methods 0.000 description 5
- 230000006835 compression Effects 0.000 description 3
- 238000007906 compression Methods 0.000 description 3
- 230000008878 coupling Effects 0.000 description 3
- 238000010168 coupling process Methods 0.000 description 3
- 238000005859 coupling reaction Methods 0.000 description 3
- 230000008569 process Effects 0.000 description 3
- 238000004891 communication Methods 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 230000000903 blocking effect Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 238000002372 labelling Methods 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0004—Industrial image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/13—Edge detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30108—Industrial image inspection
- G06T2207/30152—Solder
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- General Health & Medical Sciences (AREA)
- Computing Systems (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Biomedical Technology (AREA)
- Molecular Biology (AREA)
- Biophysics (AREA)
- General Engineering & Computer Science (AREA)
- Artificial Intelligence (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Life Sciences & Earth Sciences (AREA)
- Health & Medical Sciences (AREA)
- Quality & Reliability (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种铰链板焊缝边缘检测方法，其方法包括：获取待测铰链板图片及待测铰链板数据；将所述待测铰链板图片及所述待测铰链板数据输入预先训练的神经网络模型，得到待测铰链板掩码、每个待测铰链板关键点对应的热图和每个所述热图对应的置信度；将每个所述待测铰链板关键点对应的热图，转换为关键点像素坐标；将所述关键点像素坐标与所述热图对应的置信度融合，得到每个所述热图对应的关键点目标坐标；结合所述待测铰链板掩码和所述关键点目标坐标，得到铰链板焊缝边缘检测结果。从而克服传统的焊缝检测方法容易受到背景环境和光照环境的影响，提高识别铰链板焊缝位置的准确性。
Description
技术领域
本发明涉及图像识别技术技域，尤其涉及一种铰链板焊缝边缘检测方法。
背景技术
铰链板是集装箱门板的关键部分，一般是通过焊接的方式固定在集装箱门板上，且具体的焊接区域为铰链板的上半部分边缘。现阶段虽然有基于示教机器人的自动焊接系统应用在集装箱的铰链板焊接中，但示教机器人在焊接时需要铰链板固定在相对固定的位置才得以进行，因此这种焊接方法自适应能力不强，难以适应复杂场景下的焊接任务。
为了克服示教机器人在自动焊接时存在的缺陷，从而实现柔性焊接，首先需要示教机器人精确识别铰链板的焊缝位置。传统的机器视觉中的图像处理算法应用于铰链板焊缝边缘检测时，受到背景环境和光照环境的影响较大，导致检测错误的情况频繁发生。因此，提出一种可以准确检测铰链板焊缝的方法，对于提高自动焊接作业，实现铰链板的柔性焊接，具有重大意义。
发明内容
本发明提供了一种铰链板焊缝边缘检测方法，用于克服传统的焊缝检测方法容易受到背景环境和光照环境影响的问题，提高识别铰链板焊缝位置的准确性。
第一方面，本发明提供的一种铰链板焊缝边缘检测方法，包括：
获取待测铰链板图片及待测铰链板数据；
将所述待测铰链板图片及所述待测铰链板数据输入预先训练的神经网络模型，得到待测铰链板掩码、每个待测铰链板关键点对应的热图和每个所述热图对应的置信度；
将每个所述待测铰链板关键点对应的热图，转换为关键点像素坐标；
将所述关键点像素坐标与所述热图对应的置信度融合，得到每个所述热图对应的关键点目标坐标；
结合所述待测铰链板掩码和所述关键点目标坐标，得到铰链板焊缝边缘检测结果。
可选地，获取待测铰链板图片及待测铰链板数据，包括：
获取不同场景下的多个所述待测铰链板图片；
标注所述待测铰链板图片上预先设定的关键点位置信息和标注掩膜信息，得到待测铰链板数据。
可选地，所述预先训练的神经网络模型包括：特征提取神经模型、掩码预测分支神经模型和关键点热图预测神经模型；将所述待测铰链板图片及所述待测铰链板数据输入预先训练的神经网络模型，得到待测铰链板掩码、每个待测铰链板关键点对应的热图和每个所述热图对应的置信度，包括：
将所述待测铰链板图片输入特征提取神经模型，得到待测铰链板特征信息；
将所述待测铰链板特征信息输入掩码预测分支神经模型，得到所述待测铰链板掩码；以及，
将所述待测铰链板特征信息输入关键点热图预测神经模型，得到每个所述待测铰链板关键点对应的热图和每个所述热图对应的置信度。
可选地，将所述待测铰链板图片输入所述特征提取神经模型，得到待测铰链板特征信息，具体为：
将所述待测铰链板图片输入所述特征提取神经网络进行卷积操作，结合 LeakyRELU激活函数和最大池化下采样操作，得到所述待测铰链板特征信息；所述待测铰链板特征信息中含有浅层特征信息。
可选地，将所述待测铰链板特征信息输入掩码预测分支神经模型，得到所述待测铰链板掩码，包括：
所述掩码预测分支神经模型对所述待测铰链板特征信息进行解码，得到解码后的特征信息；
融合所述浅层特征信息和所述解码后的特征信息，得到融合后的特征信息；
使用sigmoid激活函数对所述融合后的特征信息进行激活，得到所述待测铰链板掩码。
第二方面，本发明还提供了一种铰链板焊缝边缘检测装置，包括：
获取模块，用于获取待测铰链板图片及待测铰链板数据；
输入模块，用于将所述待测铰链板图片及所述待测铰链板数据输入预先训练的神经网络模型，得到待测铰链板掩码、每个待测铰链板关键点对应的热图和每个所述热图对应的置信度；
转换模块，用于将每个所述待测铰链板关键点对应的热图，转换为关键点像素坐标；
融合模块，用于将所述关键点像素坐标与所述热图对应的置信度融合，得到每个所述热图对应的关键点目标坐标；
结果确认模块，用于结合所述待测铰链板掩码和所述关键点目标坐标，得到铰链板焊缝边缘检测结果。
可选地，所述获取模块包括：
获取子模块，用于获取不同场景下的多个所述待测铰链板图片；
识别子模块，用于标注所述待测铰链板图片上预先设定的关键点位置信息和标注掩膜信息，得到待测铰链板数据。
可选地，所述预先训练的神经网络模型包括：特征提取神经模型、掩码预测分支神经模型和关键点热图预测神经模型；所述输入模块包括：
第一输入子模块，用于将所述待测铰链板图片输入所述特征提取神经模型，得到待测铰链板特征信息；
第二输入子模块，用于将所述待测铰链板特征信息输入掩码预测分支神经模型，得到所述待测铰链板掩码；以及，
将所述待测铰链板特征信息输入关键点热图预测神经模型，得到每个所述待测铰链板关键点对应的热图和每个所述热图对应的置信度。
可选地，所述第一输入子模块具体用于：
将所述待测铰链板图片输入所述特征提取神经网络进行卷积操作，结合 LeakyRELU激活函数和最大池化下采样操作，得到所述待测铰链板特征信息；所述待测铰链板特征信息中含有浅层特征信息。
可选地，所述第二输入子模块包括：
解码单元，用于所述掩码预测分支神经模型对所述待测铰链板特征信息进行解码，得到解码后的特征信息；
融合单元，用于融合所述浅层特征信息和所述解码后的特征信息，得到融合后的特征信息；
激活单元，用于使用sigmoid激活函数对所述融合后的特征信息进行激活，得到所述待测铰链板掩码。
从以上技术方案可以看出，本发明具有以下优点：
本发明通过获取待测铰链板图片及待测铰链板数据；将所述待测铰链板图片及所述待测铰链板数据输入预先训练的神经网络模型，得到待测铰链板掩码、每个待测铰链板关键点对应的热图和每个所述热图对应的置信度；将每个所述待测铰链板关键点对应的热图，转换为关键点像素坐标；将所述关键点像素坐标与所述热图对应的置信度融合，得到每个所述热图对应的关键点目标坐标；结合所述待测铰链板掩码和所述关键点目标坐标，得到铰链板焊缝边缘检测结果。通过将待测铰链板输入预先训练的神经网络模型，得到待测铰链板掩码、待测铰链板关键点对应的热图和每个热图对应的置信度，进而得到铰链板焊缝边缘检测结果，从而克服传统的焊缝检测方法容易受到背景环境和光照环境的影响，提高识别铰链板焊缝位置的准确性。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其它的附图；
图1为本发明的一种铰链板焊缝边缘检测方法实施例一的步骤流程图；
图2为本发明的一种铰链板焊缝边缘检测方法实施例二的步骤流程图；
图3为本发明的一种铰链板焊缝边缘检测方法中预先设定的焊缝位置关键点分布图；
图4为本发明的一种铰链板焊缝边缘检测方法中神经网络模型结构图；
图5为本发明的一种铰链板焊缝边缘检测方法的置信度生成子网络结构图；
图6为本发明的一种铰链板焊缝边缘检测装置实施例的结构框图。
具体实施方式
本发明实施例提供了一种铰链板焊缝边缘检测方法，用于克服传统的焊缝检测方法容易受到背景环境和光照环境影响的问题，提高识别铰链板焊缝位置的准确性。
为使得本发明的发明目的、特征、优点能够更加的明显和易懂，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，下面所描述的实施例仅仅是本发明一部分实施例，而非全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例，都属于本发明保护的范围。
请参阅图1，图1为本发明的一种铰链板焊缝边缘检测方法实施例一的步骤流程图，具体可以包括如下步骤：
步骤S101，获取待测铰链板图片及待测铰链板数据；
步骤S102，将所述待测铰链板图片及所述待测铰链板数据输入预先训练的神经网络模型，得到待测铰链板掩码、每个待测铰链板关键点对应的热图和每个所述热图对应的置信度；
步骤S103，将每个所述待测铰链板关键点对应的热图，转换为关键点像素坐标；
步骤S104，将所述关键点像素坐标与所述热图对应的置信度融合，得到每个所述热图对应的关键点目标坐标；
步骤S105，结合所述待测铰链板掩码和所述关键点目标坐标，得到铰链板焊缝边缘检测结果。
在本发明实施例中，通过获取待测铰链板图片及待测铰链板数据；将所述待测铰链板图片及所述待测铰链板数据输入预先训练的神经网络模型，得到待测铰链板掩码、每个待测铰链板关键点对应的热图和每个所述热图对应的置信度；将每个所述待测铰链板关键点对应的热图，转换为关键点像素坐标；将所述关键点像素坐标与所述热图对应的置信度融合，得到每个所述热图对应的关键点目标坐标；结合所述待测铰链板掩码和所述关键点目标坐标，得到铰链板焊缝边缘检测结果。通过将待测铰链板输入预先训练的神经网络模型，得到待测铰链板掩码、待测铰链板关键点对应的热图和每个热图对应的置信度，进而得到铰链板焊缝边缘检测结果，从而克服传统的焊缝检测方法容易受到背景环境和光照环境的影响，提高识别铰链板焊缝位置的准确性。
请参阅图2，为本发明的一种铰链板焊缝边缘检测方法实施例二的步骤流程图，具体包括：
步骤S201，获取不同场景下的多个所述待测铰链板图片；
在具体实现中，使用标定好的工业相机拍摄处于不同场景的待测铰链板图片。
步骤S202，标注所述待测铰链板图片上预先设定的关键点位置信息和标注掩膜信息，得到待测铰链板数据；
请参阅图3，图3为本发明的一种铰链板焊缝边缘检测方法中预先设定的焊缝位置关键点分布图，在具体实现中，识别待测铰链板图片中预先设定的关键点A、B、C、D、E和F并进行关键点的标注，以及待测铰链板图片的标注掩膜信息，得到待测铰链板数据。
需要说明的是，掩膜是指用选定的图像、图形或物体，对处理的图像(全部或局部)进行遮挡，来控制图像处理的区域或处理过程。用于覆盖的特定图像或物体称为掩模或模板。光学图像处理中，掩模可以是胶片和滤光片等。数字图像处理中，掩模为二维矩阵数组，有时也用多值图像。
步骤S203，将所述待测铰链板图片输入特征提取神经模型，得到待测铰链板特征信息；
在一个可选实施例中，将所述待测铰链板图片输入所述特征提取神经模型，得到待测铰链板特征信息，具体为：
将所述待测铰链板图片输入所述特征提取神经网络进行卷积操作，结合 LeakyRELU激活函数和最大池化下采样操作，得到所述待测铰链板特征信息；所述待测铰链板特征信息中含有浅层特征信息。
请参阅图4，图4为本发明的一种铰链板焊缝边缘检测方法中神经网络模型结构图，包括主干网络和两条分支网络，其中，主干网络为用于提取待测铰链板特征信息的特征提取神经模型，分支网络包括位于上半部分的掩码预测分支神经模型和位于下半分支的关键点热图预测神经模型，其中掩码预测分支神经模型和关键点热图预测神经模型均使用带有通道维度注意力机制的卷积神经模型，从而神经模型可以重点关注待测铰链板图片中，铰链板的关键位置，从而在预测时可以得到更加准确的检测结果。此外，通过关键点热图预测神经模型生成的置信度包括大尺寸热图置信度和小尺寸热图置信度。
在具体实现中，将输入的待测铰链板图片使用四个最大池化层下采样，直至尺寸为待测铰链板图片尺寸的1/16，结合多个卷积操作进行公共特征的提取，得到待测铰链板特征信息，更具体地，提取过程是通过特征提取神经模型中的多个3×3的卷积操作和1×1的卷积操作，且在每次卷积操作后进行归一化处理，并结合Leaky RELU激活函数实现。
在本发明实施例中，引入Leaky RELU激活函数，有利于在训练阶段提高特征提取神经模型的学习能力，从而提升对于待测铰链板图片的公共特征提取能力。
步骤S204，将所述待测铰链板特征信息输入掩码预测分支神经模型，得到所述待测铰链板掩码；以及，
将所述待测铰链板特征信息输入关键点热图预测神经模型，得到每个所述待测铰链板关键点对应的热图和每个所述热图对应的置信度；
其中，关键点热图预测神经模型在训练时通过热图损失函数和置信度损失函数对训练结果进行调整；热图损失函数为：
h'∈Ρ',h∈Ρ
置信度损失函数为：
其中，Lh为热图损失函数，w为热图中每个像素点的权重，其中a、b为赋予每个像素点不同的权重，P为所有像素点的集合，p'为所有预测像素点的集合，||P||为热图中像素点数，threshold为阈值，h为热图标签，h'为热图预测值，
为大尺寸热图的损失，
为小尺寸热图的损失，ρ1、ρ2分别为大尺寸热图权重调整数和小尺寸热图权重调整数，λheatmap为热图损失函数的权值调整参数，ci为第i个关键点热图的置信度标签，ci'为第i个关键点热图的置信度预测值，k为关键点总数，λconf为置信度损失函数的权值调整参数。
在本发明实施例中，取a＝10，b＝1，k＝6。将待测铰链板特征信息输入关键点热图预测神经模型后，生成待测铰链板关键点对应的热图，然后经过如图5所示的本发明的一种铰链板焊缝边缘检测方法的置信度生成子网络结构图，得到每个热图对应的置信度。请参阅图5，1为热图层，2为压缩特征层，3和4均为全连接层，5为置信度值生成层，将待测铰链板关键点对应的热图输入至热图层1，经过全局平均池化后进入压缩特征层2进行特征压缩，经过全连接层3和全连接层4后，于置信度值生成层5得到每个热图对应的置信度。
在具体实现中，根据热图标签和热图预测值，置信度标签和置信度预测值，确定训练误差，然后基于训练误差，通过热图损失函数和置信度损失函数对关键点热图预测神经模型进行调整，得到最优模型参数，进而得到训练后的关键点热图预测神经模型。
在一个可选实施例中，将所述待测铰链板特征信息输入掩码预测分支神经模型，得到所述待测铰链板掩码，包括：
所述掩码预测分支神经模型对所述待测铰链板特征信息进行解码，得到解码后的特征信息；
融合所述浅层特征信息和所述解码后的特征信息，得到融合后的特征信息；
使用sigmoid激活函数对所述融合后的特征信息进行激活，得到所述待测铰链板掩码。
在具体实现中，通过图4中的掩码预测分支神经模型，对步骤S203得到的待测铰链板特征信息进行解码，得到解码后的特征信息，然后将待测铰链板特征信息中的浅层特征信息和解码后的特征信息进行充分融合，最后将融合后的特征信息使用sigmoid激活函数对融合后的结果进行激活，得到待测铰链板图片中每个像素位置的关于掩码预测概率值。
进一步地，掩码预测分支神经模型在训练通过掩膜损失函数对神经网络模型进行调整，掩码损失函数为：
其中，Lmask为掩码损失函数，
为网络预测为铰链板的概率，yi为标注信息，W为输入图片的宽度，H为输入图片的高度；λmask为权值调整参数。
在本发明实施例中，多任务损失函数为三个损失函数相加，即：
L＝Lmask+Lheatmap+Lconf
步骤S205，将每个所述待测铰链板关键点对应的热图，转换为关键点像素坐标；
步骤S206，将所述关键点像素坐标与所述热图对应的置信度融合，得到每个所述热图对应的关键点目标坐标；
在具体实现中，将步骤S205得到的待测铰链板关键点对应的热图转换为关键点像素坐标，并使用步骤S204得到的每个热图对应的置信度作为权值融合，得到每个热图对应的关键点目标坐标。
步骤S207，结合所述待测铰链板掩码和所述关键点目标坐标，得到铰链板焊缝边缘检测结果。
在具体实现中，如图3所示，基于待测铰链板掩码和所述关键点目标坐标，分别对检测到的关键点A和关键点B，关键点C和关键点D，关键点E 和关键点F间使用直线连接，形成线段AB、线段CD和线段EF，而对于关键点B和关键点C，关键点D和关键点E之间的边缘轮廓，作为两段曲线边缘，从而确定由三段直线线段和两段曲线线段组成的焊缝边缘。
在本发明实施例所提供的一种铰链板焊缝边缘检测方法，通过获取待测铰链板图片及待测铰链板数据；将所述待测铰链板图片及所述待测铰链板数据输入预先训练的神经网络模型，得到待测铰链板掩码、每个待测铰链板关键点对应的热图和每个所述热图对应的置信度；将每个所述待测铰链板关键点对应的热图，转换为关键点像素坐标；将所述关键点像素坐标与所述热图对应的置信度融合，得到每个所述热图对应的关键点目标坐标；结合所述待测铰链板掩码和所述关键点目标坐标，得到铰链板焊缝边缘检测结果。通过将待测铰链板输入预先训练的神经网络模型，得到待测铰链板掩码、待测铰链板关键点对应的热图和每个热图对应的置信度，进而得到铰链板焊缝边缘检测结果，从而克服传统的焊缝检测方法容易受到背景环境和光照环境的影响，提高识别铰链板焊缝位置的准确性。
请参阅图6，示出了一种铰链板焊缝边缘检测装置实施例的结构框图，包括如下模块：
获取模块101，用于获取待测铰链板图片及待测铰链板数据；
输入模块102，用于将所述待测铰链板图片及所述待测铰链板数据输入预先训练的神经网络模型，得到待测铰链板掩码、每个待测铰链板关键点对应的热图和每个所述热图对应的置信度；
转换模块103，用于将每个所述待测铰链板关键点对应的热图，转换为关键点像素坐标；
融合模块104，用于将所述关键点像素坐标与所述热图对应的置信度融合，得到每个所述热图对应的关键点目标坐标；
结果确认模块105，用于结合所述待测铰链板掩码和所述关键点目标坐标，得到铰链板焊缝边缘检测结果。
在一个可选实施例中，所述获取模块101包括：
获取子模块，用于获取不同场景下的多个所述待测铰链板图片；
识别子模块，用于标注所述待测铰链板图片上预先设定的关键点位置信息和标注掩膜信息，得到待测铰链板数据。
在一个可选实施例中，所述预先训练的神经网络模型包括：特征提取神经模型、掩码预测分支神经模型和关键点热图预测神经模型；所述输入模块 102包括：
第一输入子模块，用于将所述待测铰链板图片输入所述特征提取神经模型，得到待测铰链板特征信息；具体为：
将所述待测铰链板图片输入所述特征提取神经网络进行卷积操作，结合LeakyRELU激活函数和最大池化下采样操作，得到所述待测铰链板特征信息；所述待测铰链板特征信息中含有浅层特征信息。
第二输入子模块，用于将所述待测铰链板特征信息输入掩码预测分支神经模型，得到所述待测铰链板掩码；以及，用于将所述待测铰链板特征信息输入关键点热图预测神经模型，得到每个所述待测铰链板关键点对应的热图和每个所述热图对应的置信度。
在一个可选实施例中，所述第二输入子模块包括：
解码单元，用于所述掩码预测分支神经模型对所述待测铰链板特征信息进行解码，得到解码后的特征信息；
融合单元，用于融合所述浅层特征信息和所述解码后的特征信息，得到融合后的特征信息；
激活单元，用于使用sigmoid激活函数对所述融合后的特征信息进行激活，得到所述待测铰链板掩码。
所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的装置的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
在本发明所提供的几个实施例中，应该理解到，所揭露的装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。
所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-OnlyMemory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述，以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。
Claims (10)
1.一种铰链板焊缝边缘检测方法，其特征在于，包括：
获取待测铰链板图片及待测铰链板数据；
将所述待测铰链板图片及所述待测铰链板数据输入预先训练的神经网络模型，得到待测铰链板掩码、每个待测铰链板关键点对应的热图和每个所述热图对应的置信度；
将每个所述待测铰链板关键点对应的热图，转换为关键点像素坐标；
将所述关键点像素坐标与所述热图对应的置信度融合，得到每个所述热图对应的关键点目标坐标；
结合所述待测铰链板掩码和所述关键点目标坐标，得到铰链板焊缝边缘检测结果。
2.根据权利要求1所述的铰链板焊缝边缘检测方法，其特征在于，获取待测铰链板图片及待测铰链板数据，包括：
获取不同场景下的多个所述待测铰链板图片；
标注所述待测铰链板图片上预先设定的关键点位置信息和标注掩膜信息，得到待测铰链板数据。
3.根据权利要求2所述的铰链板焊缝边缘检测方法，其特征在于，所述预先训练的神经网络模型包括：特征提取神经模型、掩码预测分支神经模型和关键点热图预测神经模型；将所述待测铰链板图片及所述待测铰链板数据输入预先训练的神经网络模型，得到待测铰链板掩码、每个待测铰链板关键点对应的热图和每个所述热图对应的置信度，包括：
将所述待测铰链板图片输入特征提取神经模型，得到待测铰链板特征信息；
将所述待测铰链板特征信息输入掩码预测分支神经模型，得到所述待测铰链板掩码；以及，
将所述待测铰链板特征信息输入关键点热图预测神经模型，得到每个所述待测铰链板关键点对应的热图和每个所述热图对应的置信度。
4.根据权利要求3所述的铰链板焊缝边缘检测方法，其特征在于，将所述待测铰链板图片输入所述特征提取神经模型，得到待测铰链板特征信息，具体为：
将所述待测铰链板图片输入所述特征提取神经网络进行卷积操作，结合Leaky RELU激活函数和最大池化下采样操作，得到所述待测铰链板特征信息；所述待测铰链板特征信息中含有浅层特征信息。
5.根据权利要求3或4所述的铰链板焊缝边缘检测方法，其特征在于，将所述待测铰链板特征信息输入掩码预测分支神经模型，得到所述待测铰链板掩码，包括：
所述掩码预测分支神经模型对所述待测铰链板特征信息进行解码，得到解码后的特征信息；
融合所述浅层特征信息和所述解码后的特征信息，得到融合后的特征信息；
使用sigmoid激活函数对所述融合后的特征信息进行激活，得到所述待测铰链板掩码。
6.一种铰链板焊缝边缘检测装置，其特征在于，包括：
获取模块，用于获取待测铰链板图片及待测铰链板数据；
输入模块，用于将所述待测铰链板图片及所述待测铰链板数据输入预先训练的神经网络模型，得到待测铰链板掩码、每个待测铰链板关键点对应的热图和每个所述热图对应的置信度；
转换模块，用于将每个所述待测铰链板关键点对应的热图，转换为关键点像素坐标；
融合模块，用于将所述关键点像素坐标与所述热图对应的置信度融合，得到每个所述热图对应的关键点目标坐标；
结果确认模块，用于结合所述待测铰链板掩码和所述关键点目标坐标，得到铰链板焊缝边缘检测结果。
7.根据权利要求6所述的铰链板焊缝边缘检测装置，其特征在于，所述获取模块包括：
获取子模块，用于获取不同场景下的多个所述待测铰链板图片；
识别子模块，用于标注所述待测铰链板图片上预先设定的关键点位置信息和标注掩膜信息，得到待测铰链板数据。
8.根据权利要求7所述的铰链板焊缝边缘检测装置，其特征在于，所述预先训练的神经网络模型包括：特征提取神经模型、掩码预测分支神经模型和关键点热图预测神经模型；所述输入模块包括：
第一输入子模块，用于将所述待测铰链板图片输入所述特征提取神经模型，得到待测铰链板特征信息；
第二输入子模块，用于将所述待测铰链板特征信息输入掩码预测分支神经模型，得到所述待测铰链板掩码；以及，用于将所述待测铰链板特征信息输入关键点热图预测神经模型，得到每个所述待测铰链板关键点对应的热图和每个所述热图对应的置信度。
9.根据权利要求8所述的铰链板焊缝边缘检测装置，其特征在于，所述第一输入子模块具体用于：
将所述待测铰链板图片输入所述特征提取神经网络进行卷积操作，结合Leaky RELU激活函数和最大池化下采样操作，得到所述待测铰链板特征信息；所述待测铰链板特征信息中含有浅层特征信息。
10.根据权利要求8或9所述的铰链板焊缝边缘检测装置，其特征在于，所述第二输入子模块包括：
解码单元，用于所述掩码预测分支神经模型对所述待测铰链板特征信息进行解码，得到解码后的特征信息；
融合单元，用于融合所述浅层特征信息和所述解码后的特征信息，得到融合后的特征信息；
激活单元，用于使用sigmoid激活函数对所述融合后的特征信息进行激活，得到所述待测铰链板掩码。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110460299.9A CN113344850A (zh) | 2021-04-27 | 2021-04-27 | 一种铰链板焊缝边缘检测方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110460299.9A CN113344850A (zh) | 2021-04-27 | 2021-04-27 | 一种铰链板焊缝边缘检测方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN113344850A true CN113344850A (zh) | 2021-09-03 |
Family
ID=77468742
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110460299.9A Pending CN113344850A (zh) | 2021-04-27 | 2021-04-27 | 一种铰链板焊缝边缘检测方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113344850A (zh) |
Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105321166A (zh) * | 2015-01-07 | 2016-02-10 | 徐州工程学院 | 一种基于gap预测器和自适应遗传算法环焊焊缝边缘提取方法 |
| CN109948526A (zh) * | 2019-03-18 | 2019-06-28 | 北京市商汤科技开发有限公司 | 图像处理方法及装置、检测设备及存储介质 |
| CN110110798A (zh) * | 2019-05-13 | 2019-08-09 | 广东工业大学 | 一种基于Mask-RCNN网络的焊缝识别方法 |
| CN110135513A (zh) * | 2019-05-22 | 2019-08-16 | 广东工业大学 | 一种基于深度学习的焊接机器人的焊缝识别方法 |
| CN111670457A (zh) * | 2017-12-03 | 2020-09-15 | 脸谱公司 | 动态对象实例检测、分割和结构映射的优化 |
| CN112183506A (zh) * | 2020-11-30 | 2021-01-05 | 成都市谛视科技有限公司 | 一种人体姿态生成方法及其系统 |
| CN112668522A (zh) * | 2020-12-31 | 2021-04-16 | 华南理工大学 | 一种人体关键点与人体掩码联合检测网络及方法 |
-
2021
- 2021-04-27 CN CN202110460299.9A patent/CN113344850A/zh active Pending
Patent Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105321166A (zh) * | 2015-01-07 | 2016-02-10 | 徐州工程学院 | 一种基于gap预测器和自适应遗传算法环焊焊缝边缘提取方法 |
| CN111670457A (zh) * | 2017-12-03 | 2020-09-15 | 脸谱公司 | 动态对象实例检测、分割和结构映射的优化 |
| CN109948526A (zh) * | 2019-03-18 | 2019-06-28 | 北京市商汤科技开发有限公司 | 图像处理方法及装置、检测设备及存储介质 |
| CN110110798A (zh) * | 2019-05-13 | 2019-08-09 | 广东工业大学 | 一种基于Mask-RCNN网络的焊缝识别方法 |
| CN110135513A (zh) * | 2019-05-22 | 2019-08-16 | 广东工业大学 | 一种基于深度学习的焊接机器人的焊缝识别方法 |
| CN112183506A (zh) * | 2020-11-30 | 2021-01-05 | 成都市谛视科技有限公司 | 一种人体姿态生成方法及其系统 |
| CN112668522A (zh) * | 2020-12-31 | 2021-04-16 | 华南理工大学 | 一种人体关键点与人体掩码联合检测网络及方法 |
Non-Patent Citations (3)
| Title |
|---|
| 丘文波 等: "面向带转角角焊缝的焊枪姿态规划", 《工业控制计算机》, vol. 31, no. 5, 31 May 2018 (2018-05-31), pages 85 - 87 * |
| 董丽虹: "《再制造零件无损评价技术及应用》", 31 May 2019, pages: 258 * |
| 钱晓明 等: "基于改进的边界追踪算法的管道法兰焊缝识别", 《焊接学报》, vol. 37, no. 12, 31 December 2016 (2016-12-31), pages 115 - 119 * |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN113378686B (zh) | 一种基于目标中心点估计的两阶段遥感目标检测方法 | |
| CN111401384A (zh) | 一种变电设备缺陷图像匹配方法 | |
| CN110782420A (zh) | 一种基于深度学习的小目标特征表示增强方法 | |
| CN114155527A (zh) | 一种场景文本识别方法和装置 | |
| CN113255659B (zh) | 一种基于MSAFF-Yolov3的车牌校正检测识别方法 | |
| CN112434586B (zh) | 一种基于域自适应学习的多复杂场景目标检测方法 | |
| CN111738249B (zh) | 图像检测方法、装置、电子设备及存储介质 | |
| CN112581462A (zh) | 工业产品的外观缺陷检测方法、装置及存储介质 | |
| CN110781882A (zh) | 一种基于yolo模型的车牌定位和识别方法 | |
| CN111985469B (zh) | 一种图像中文字的识别方法、装置及电子设备 | |
| CN109919149A (zh) | 基于物体检测模型的物体标注方法及相关设备 | |
| CN111325263B (zh) | 图像处理方法、装置、智能显微镜、可读存储介质和设备 | |
| CN113139896A (zh) | 基于超分辨重建的目标检测系统及方法 | |
| CN106780727A (zh) | 一种车头检测模型重建方法及装置 | |
| CN114897738A (zh) | 一种基于语义不一致性检测的图像盲修复方法 | |
| CN115953744A (zh) | 一种基于深度学习的车辆识别追踪方法 | |
| Matoš et al. | The speed limit road signs recognition using hough transformation and multi-class SVM | |
| CN115797336A (zh) | 光伏组件的故障检测方法、装置、电子设备和存储介质 | |
| CN114743201A (zh) | 一种基于旋转目标检测的万用表读数识别方法及系统 | |
| CN114155540A (zh) | 基于深度学习的文字识别方法、装置、设备及存储介质 | |
| CN116563840B (zh) | 基于弱监督跨模态对比学习的场景文本检测与识别方法 | |
| CN113344850A (zh) | 一种铰链板焊缝边缘检测方法 | |
| CN116912872A (zh) | 图纸识别方法、装置、设备及可读存储介质 | |
| CN114972434B (zh) | 一种级联检测和匹配的端到端多目标跟踪系统 | |
| CN116259040A (zh) | 识别交通标志的方法、装置和电子设备 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20210903 |