CN117934439A - 钢板定位方法、装置、计算机设备和存储介质 - Google Patents
钢板定位方法、装置、计算机设备和存储介质 Download PDFInfo
- Publication number
- CN117934439A CN117934439A CN202410135045.3A CN202410135045A CN117934439A CN 117934439 A CN117934439 A CN 117934439A CN 202410135045 A CN202410135045 A CN 202410135045A CN 117934439 A CN117934439 A CN 117934439A
- Authority
- CN
- China
- Prior art keywords
- image
- steel plate
- processed
- position information
- size
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 229910000831 Steel Inorganic materials 0.000 title claims abstract description 212
- 239000010959 steel Substances 0.000 title claims abstract description 212
- 238000000034 method Methods 0.000 title claims abstract description 53
- 238000012545 processing Methods 0.000 claims abstract description 37
- 238000004590 computer program Methods 0.000 claims abstract description 26
- 238000003708 edge detection Methods 0.000 claims abstract description 22
- 239000011159 matrix material Substances 0.000 claims description 17
- 238000000605 extraction Methods 0.000 claims description 12
- 238000012549 training Methods 0.000 claims description 12
- 230000008569 process Effects 0.000 claims description 11
- 238000012216 screening Methods 0.000 claims description 11
- 238000007781 pre-processing Methods 0.000 claims description 9
- 238000004891 communication Methods 0.000 description 5
- 238000007499 fusion processing Methods 0.000 description 4
- 238000010586 diagram Methods 0.000 description 3
- 230000008859 change Effects 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 230000003068 static effect Effects 0.000 description 2
- OKTJSMMVPCPJKN-UHFFFAOYSA-N Carbon Chemical compound [C] OKTJSMMVPCPJKN-UHFFFAOYSA-N 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 230000001413 cellular effect Effects 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 230000007797 corrosion Effects 0.000 description 1
- 238000005260 corrosion Methods 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 230000004927 fusion Effects 0.000 description 1
- 229910021389 graphene Inorganic materials 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 239000007769 metal material Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000012163 sequencing technique Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0004—Industrial image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/0464—Convolutional networks [CNN, ConvNet]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/20—Image enhancement or restoration using local operators
- G06T5/30—Erosion or dilatation, e.g. thinning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/13—Edge detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/60—Analysis of geometric attributes
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
- G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
- G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
- G06V10/806—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of extracted features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Artificial Intelligence (AREA)
- Health & Medical Sciences (AREA)
- Multimedia (AREA)
- Software Systems (AREA)
- Computing Systems (AREA)
- General Health & Medical Sciences (AREA)
- Evolutionary Computation (AREA)
- Databases & Information Systems (AREA)
- Medical Informatics (AREA)
- Life Sciences & Earth Sciences (AREA)
- General Engineering & Computer Science (AREA)
- Mathematical Physics (AREA)
- Biophysics (AREA)
- Data Mining & Analysis (AREA)
- Computational Linguistics (AREA)
- Molecular Biology (AREA)
- Biomedical Technology (AREA)
- Geometry (AREA)
- Quality & Reliability (AREA)
- Image Analysis (AREA)
Abstract
本申请涉及一种钢板定位方法、装置、计算机设备、存储介质和计算机程序产品。所述方法包括：获取待处理图像，对所述待处理图像进行边缘检测处理，得到钢板区域的尺寸以及初始位置信息；将所述尺寸、所述初始位置信息以及所述待处理图像输入钢板定位模型中，通过所述钢板定位模型对所述待处理图像进行特征提取，得到图像特征，并基于所述尺寸、所述初始位置信息以及所述图像特征，得到所述钢板区域在所述待处理图像中的目标位置信息。采用本方法能够能够提高钢板定位效率。
Description
技术领域
本申请涉及计算机技术领域，特别是涉及一种钢板定位方法、装置、计算机设备、存储介质和计算机程序产品。
背景技术
钢板作为一种重要的金属材料，被广泛应用于各种结构和建筑领域。在钢板的加工过程中，精确定位是保证产品质量和生产效率的关键因素之一。钢板定位可以确保零件在分拣过程中不会发生移动或偏移，避免因位置不准确而造成的分拣错误。这有助于提高分拣效率，并确保每个零件都被正确地分拣到指定的位置。如果零件在分拣过程中发生移动或偏移，可能会导致零件被错误地分拣到其他位置，从而影响整个分拣过程的准确性。通过钢板定位可以减少这种错误的发生，提高分拣的准确性。
大模型是通过大规模训练数据训练得到的复杂模型，目前常常将对钢板进行拍摄得到的图像输入到大模型中，通过大模型处理该图像从而确定钢板位置，但是这种方式大模型需要对整张图像进行处理，处理时间较长，从而导致钢板定位效率很低。
发明内容
基于此，有必要针对上述技术问题，提供一种能够提高钢板定位效率的钢板定位方法、装置、计算机设备、计算机可读存储介质和计算机程序产品。
第一方面，本申请提供了一种钢板定位方法，所述方法包括：
获取待处理图像，对所述待处理图像进行边缘检测处理，得到钢板区域的尺寸以及初始位置信息；
将所述尺寸、所述初始位置信息以及所述待处理图像输入钢板定位模型中，通过所述钢板定位模型对所述待处理图像进行特征提取，得到图像特征，并基于所述尺寸、所述初始位置信息以及所述图像特征，得到所述钢板区域在所述待处理图像中的目标位置信息。
在其中一个实施例，所述基于所述尺寸、所述初始位置信息以及所述图像特征，得到所述钢板区域在所述待处理图像中的目标位置信息，包括：
基于所述尺寸与所述初始位置信息，确定钢板区域的位置编码数据；
基于所述位置编码数据与所述图像特征，确定掩码数据；
基于所述掩码数据，确定所述钢板区域在所述待处理图像中的目标位置信息。
在其中一个实施例，所述基于所述位置编码数据与所述图像特征，确定掩码数据，包括：
对所述位置编码数据进行转换，得到位置编码矩阵；
对所述图像特征进行转换，得到对应的特征矩阵；
将所述位置编码矩阵与所述特征矩阵进行加法运算，基于运算结果确定所述掩码数据。
在其中一个实施例，所述对所述待处理图像进行边缘检测处理，得到钢板区域的尺寸以及初始位置信息，包括：
对所述待处理图像进行预处理；
从预处理后的图像中确定至少一个轮廓；
基于预设的钢板尺寸阈值，从所述至少一个轮廓中筛选出目标轮廓；
基于所述目标轮廓确定所述钢板区域的尺寸以及初始位置信息。
在其中一个实施例，对所述待处理图像进行预处理，包括：
基于所述待处理图像中各像素点的梯度以及第一预设梯度范围，对所述待处理图像包含的像素点进行分类处理，得到第一分类处理结果；
基于所述第一分类处理结果，从所述待处理图像包含的像素点中确定第一像素点；
基于所述第一像素点的像素和以及滤波器的权重，对所述第一像素点的像素进行更新处理，将像素更新处理后的第一像素点作为第二像素点，并确定各第二像素点的梯度；
基于各第二像素点的梯度以及第二预设梯度范围，对所述第二像素点进行分类处理，得到第二分类处理结果；
基于所述第二分类处理结果，从所述第二像素点中筛选出目标像素点；
基于所述目标像素点，得到所述预处理后的图像。
在其中一个实施例，所述钢板定位模型的训练过程，包括：
获取图像样本以及图像样本对应的钢板标记位置；
对所述图像样本进行边缘检测处理，得到所述图像样本中钢板区域的尺寸以及初始位置信息；
将图像样本、图像样本中钢板区域的尺寸以及初始位置信息输入待训练的钢板定位模型中，通过所述待训练的钢板定位模型对图像样本进行特征提取，得到对应的图像特征，基于图像样本对应的尺寸以及对应的初始位置信息以及图像样本对应的图像特征，得到图像样本中钢板区域的预测位置信息；
基于图像样本中钢板区域的预测位置信息以及图像样本对应的钢板标记位置，对所述待训练的钢板定位模型进行调整，基于参数调整后的钢板定位模型继续训练，直至达到停止条件时停止，得到训练完成的钢板定位模型。
第二方面，本申请还提供了一种钢板定位装置，其特征在于，包括：
获取模块，用于获取待处理图像，对所述待处理图像进行边缘检测处理，得到钢板区域的尺寸以及初始位置信息；
特征提取模块，用于将所述尺寸、所述初始位置信息以及所述待处理图像输入钢板定位模型中，通过所述钢板定位模型对所述待处理图像进行特征提取，得到图像特征，并基于所述尺寸、所述初始位置信息以及所述图像特征，得到所述钢板区域在所述待处理图像中的目标位置信息。
第三方面，本申请还提供了一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现各实施例方法的步骤。
第四方面，本申请还提供了一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现各实施例方法的步骤。
第五方面，本申请还提供了一种计算机程序产品，包括计算机程序，该计算机程序被处理器执行时实现各实施例方法的步骤；
上述钢板定位方法、装置、计算机设备、存储介质和计算机程序产品，本申请获取待处理图像，首先对待处理图像进行边缘检测处理，得到钢板区域的尺寸以及初始位置信息，然后将尺寸、初始位置信息以及待处理图像输入钢板定位模型中，通过钢板定位模型对待处理图像进行特征提取，得到图像特征后，基于尺寸、初始位置信息以及图像特征，共同确定钢板区域在待处理图像中的目标位置信息，相对于现有方案，由于初步位置信息和估计尺寸提供了定位钢板位置的提示，从而这些提示结合图像一起进行定位，而不只是基于图像进行钢板定位，加快了定位速度。
附图说明
为了更清楚地说明本申请实施例或相关技术中的技术方案，下面将对实施例或相关技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为一个实施例中钢板定位方法的流程示意图；
图2为另一个实施例中钢板定位方法的流程示意图；
图3为另一个实施例中钢板定位方法的流程示意图；
图4为钢板定位装置的结构示意图；
图5为一个实施例中计算机设备的内部结构图。
具体实施方式
为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。
在一个实施例中，如图1所示，提供了一种钢板定位方法，本实施例以该方法应用于终端进行举例说明，可以理解的是，该方法也可以应用于服务器，还可以应用于包括终端和服务器的系统，并通过终端和服务器的交互实现。本实施例中，该方法包括以下步骤：
步骤S101、获取待处理图像，对待处理图像进行边缘检测处理，得到钢板区域的尺寸以及初始位置信息；
待处理图像为对钢板进行拍摄所得到的图像；
终端对待处理图像进行边缘检测，在一定程度上抑制图像中的噪声，过滤不相关的边缘信息，通过对待处理图像进行边缘检测处理，得到待处理图像中钢板区域的尺寸以及初始位置信息；
在本实施例中，钢板区域可以是多边形区域，钢板区域的尺寸指的是多变形区域中各边的边长，钢板区域的初始位置信息可以是多边形区域中各顶点的位置坐标。
步骤S102、将尺寸、初始位置信息以及待处理图像输入钢板定位模型中，通过钢板定位模型对待处理图像进行特征提取，得到图像特征，并基于尺寸、初始位置信息以及图像特征，得到钢板区域在待处理图像中的目标位置信息。
终端将尺寸、初始位置信息以及待处理图像输入钢板定位模型中，通过钢板定位模型对待处理图像进行特征提取得到图像特征，然后将尺寸和初始位置作为钢板定位模型进行钢板定位时的提示信息，通过该钢板定位模型，基于尺寸、初始位置信息以及图像特征，确定钢板区域在待处理图像中的目标位置信息。
在本实施例中，钢板定位模型可以是大模型。
在本实施例中，获取待处理图像，首先对待处理图像进行边缘检测处理，得到钢板区域的尺寸以及初始位置信息，然后将尺寸、所述初始位置信息以及所述待处理图像输入钢板定位模型中，通过钢板定位模型对所述待处理图像进行特征提取，得到图像特征后，基于尺寸、初始位置信息以及图像特征，共同确定钢板区域在待处理图像中的目标位置信息，相对于现有方案，由于初步位置信息和估计尺寸提供了定位钢板位置的提示，从而这些提示结合图像一起进行定位，而不只是基于图像进行钢板定位，加快了定位速度。
在其中一个实施例中，基于尺寸、初始位置信息以及图像特征，得到钢板区域在待处理图像中的目标位置信息，包括：基于尺寸与初始位置信息，确定钢板区域的位置编码数据；基于位置编码数据与图像特征，确定掩码数据；基于掩码数据，确定钢板区域在待处理图像中的目标位置信息。
在本实施例中，钢板定位模型可以对尺寸与初始位置信息进行编码，将其转换为模型可识别的位置编码数据；
然后将位置编码嵌入到卷积操作中，以预测对应的掩码，具体来说：卷积操作允许网络从原始数据中提取出高层次的特征信息。通过设计多个卷积核，对一张图像进行卷积操作，可以完成不同特征的提取。因此，通过钢板定位模型对处理图像进行特征提取，得到图像特征，具体指的是：通过钢板定位模型对处理图像进行卷积操作，以提取图像特征。钢板定位模型将位置编码数据与图像特征进行融合处理，基于融合后的特征预测掩码数据。
通过上述方式，可以使得钢板定位模型关注掩码内的图像区域，进而对处理后的二值图像进行推理处理，最终得出钢板区域的定位结果。
在本实施例中，如上线需要将位置编码数据与图像特征进行融合处理，则在其中一个实施例中，所述基于所述位置编码数据与所述图像特征，确定掩码数据，具体包括：对所述位置编码数据进行转换，得到位置编码矩阵；对所述图像特征进行转换，得到对应的特征矩阵；将所述位置编码矩阵与所述特征矩阵进行加法运算，基于运算结果确定所述掩码数据。
对位置编码数据转换为矩阵形式，得到位置编码矩阵，然后将图像特征也转换为矩阵形式，得到对应的特征矩阵，将位置编码矩阵与特征矩阵进行加法运算，即将两矩阵中对应位置的元素相加，基于加法运算的运算结果确定掩码数据，从而实现了位置编码数据与图像特征的融合处理。
可见，本申请将由尺寸和初始位置信息得到的位置编码数据与图像特征的融合以确定掩码数据，然后基于掩码数据确定钢板区域的目标位置信息，从而将实现了将图像特征结合尺寸和初始位置信息进行钢板定位，而不只是基于图像进行钢板定位，加快了定位速度。
在其中一个实施例中，对待处理图像进行边缘检测处理，得到钢板区域的尺寸以及初始位置信息，包括：对待处理图像进行预处理；从预处理后的图像中确定至少一个轮廓；基于预设的钢板尺寸阈值，从至少一个轮廓中筛选出目标轮廓；基于目标轮廓确定钢板区域的尺寸以及初始位置信息。
终端获取待处理图像后先进行预处理，然后将预处理后的待处理图像输入钢板定位模型中提取图像特征，这样可以抑制图像中的噪声，过滤不相关的边缘信息，也在一定程序上减少了钢板定位模型的数据处理量。
对于预处理后的待处理图像，终端对该图像进行轮廓检测，确定图像中目标，并确定至少一个轮廓，目标的数量可以是多个，多个目标中包括钢板目标，也可以包括除钢板目标外的其他目标，针对一个目标可以确定一个或多个轮廓，该轮廓可以是目标的外轮廓；
基于预先设置的钢板尺寸阈值，从至少一个轮廓中筛选出目标轮廓，钢板尺寸阈值包括预设的钢板区域中各边长的阈值；
确定包含该目标轮廓的最小多边形区域，最小多边形区域为包含该目标轮廓的多边形区域中面积最小的多边形区域，确定多边形区域在待检测图像中所占据的像素点，基于像素点的位置坐标确定最小多边形区域中各边长，得到钢板区域的尺寸，同时确定最小多边形区域中各顶点对应的像素点，确定各顶点对应的像素点的位置坐标，得到该初始位置信息。
在其中一个实施例中，对待处理图像进行预处理，包括：
基于待处理图像中各像素点的梯度以及第一预设梯度范围，对待处理图像包含的像素点进行分类处理，得到第一分类处理结果；
基于第一分类处理结果，从待处理图像包含的像素点中确定第一像素点；
基于第一像素点的像素和以及滤波器的权重，对第一像素点的像素进行更新处理，将像素更新处理后的第一像素点作为第二像素点，并确定各第二像素点的梯度；
基于各第二像素点的梯度以及第二预设梯度范围，对第二像素点进行分类处理，得到第二分类处理结果；
基于第二分类处理结果，从第二像素点中筛选出目标像素点；
基于目标像素点，得到预处理后的图像。
终端对待处理图像中每个像素的邻域像素进行排序，取中间值作为该像素的值，并将待处理图像转换为灰度图，在每个像素点处，计算各像素点的梯度，梯度包含强度和方向。
第一预设梯度范围包括梯度上限和梯度下限，基于第一预设梯度范围和待处理图像中各像素点的梯度，对待处理图像包含的像素点进行分类处理，得到第一分类处理结果，具体来说，包括：针对待处理图像包含的各像素点，若像素点的梯度大于或等于第一预设梯度范围的上限，则将像素点作为钢板区域的边界点；若像素点的梯度大于或等于第一预设梯度范围的下限且小于第一预设梯度范围的上限，则将像素点作为与边界点相连接的点；若像素点的梯度小于第一预设梯度范围的下限，则将像素点作为丢弃像素点，从而可以舍弃该像素点。
基于第一分类处理结果，从待处理图像包含的像素点中确定边界点以及与边界点相连接的点，作为第一像素点；
终端基于第一像素点的像素和以及预设的滤波器的权重，对第一像素点进行滤波，从而对第一像素点的像素进行更新处理，将像素更新处理后的第一像素点作为第二像素点。
同样的，第二预设梯度范围包括梯度上限和梯度下限，基于第二像素点的梯度以及第二预设梯度范围，对第二像素点进行分类处理，得到第二分类处理结果具体来说，包括：针对各第二像素点，若第二像素点的梯度大于或等于第二预设梯度范围的上限，则将第二像素点作为钢板区域的边界点；若第二像素点的梯度大于或等于第二预设梯度范围的下限且小于第二预设梯度范围的上限，则将第二像素点作为与边界点相连接的点；若第二像素点的梯度小于第二预设梯度范围的下限，则将第二像素点作为丢弃像素点，从而可以舍弃该第二像素点。基于第二分类处理结果，从所有的第二像素点中确定边界点以及与边界点相连接的点，作为目标像素点。
终端基于筛选得到的目标像素点，确定只包含目标像素点的图像作为预处理后的图像。
可见，本申请通过对待处理图像包含的像素点进行两次分类处理，可以丢弃一部分像素点，从而基于预处理后的待处理图像，即丢弃一部分像素点后的待处理图像进行钢板定位，减少了钢板定位模型的数据数量，也在一定程度上加快了钢板定位速度。
现有方案中，由于没有基于特定场景中的钢板图像样本进行钢板定位模型的训练，因此在特定场景下进行钢板定位时，大模型定位准确度较低，可见，如何增强钢板定位模型的特异性，以使得模型可以在特定场景对钢板进行准确定位，也是亟待解决的技术问题，为解决该问题，参照图2，在本申请的其中一个实施例中，钢板定位模型的训练过程，包括：
步骤S201、获取图像样本以及图像样本对应的钢板标记位置；
步骤S202、对图像样本进行边缘检测处理，得到图像样本中钢板区域的尺寸以及初始位置信息；
步骤S203、将图像样本、图像样本中钢板区域的尺寸以及初始位置信息输入待训练的钢板定位模型中，通过待训练的钢板定位模型对图像样本进行特征提取，得到对应的图像特征，基于图像样本对应的尺寸以及对应的初始位置信息以及图像样本对应的图像特征，得到图像样本中钢板区域的预测位置信息；
步骤S204、基于图像样本中钢板区域的预测位置信息以及图像样本对应的钢板标记位置，对待训练的钢板定位模型进行调整，基于参数调整后的钢板定位模型继续训练，直至达到停止条件时停止，得到训练完成的钢板定位模型。
在本实施例中，获取的图像样本为工业领域对钢板进行拍摄得到的图像样本，对图像样本进行人工标记得到对应的钢板标记位置，然后对图像样本进行边缘检测处理，得到每个图像样本中钢板区域的尺寸以及初始位置信息，边缘检测的具体方式与上述对待处理图像进行边缘检测的具体实现方式类似，此不再赘述。
通过待训练的钢板定位模型对图像样本进行特征提取，得到对应的图像特征，然后基于图像样本对应的尺寸以及对应的初始位置信息进行编码得到对应的编码位置数据，将编码位置数据与各图像样本对应的图像特征进行融合，具体实现过程与上述对待处理图像的处理过程类似，此处不再赘述。然后基于融合结果确定得到各图像样本中钢板区域的预测位置信息。
终端基于图像样本中钢板区域的预测位置信息以及各图像样本对应的钢板标记位置之间的差异对待训练的钢板定位模型进行调整，然后获取下一个图像样本以及图像样本对应的钢板标记位置，基于参数调整后的钢板定位模型继续训练，直至达到停止条件时停止，得到训练完成的钢板定位模型，其中，停止条件可以是：钢板定位模型定位得到的钢板区域的预测位置信息与对应的钢板标记位置之间的差异在预设差异范围内。
在本申请实施例中，上述待处理图像也是对工业领域中的钢板进行拍摄得到图像，还可以对待处理图像中标注钢板位置，将待检测图像保存到图像库中，当图像库中的图像达到一定数量时，基于上述确定钢板区域在待处理图像中的目标位置信息以及待处理图像的标注钢板位置进一步微调钢板定位模型。
可见，本申请可以基于工业领域中的针对钢板拍摄的图像样本进行钢板定位模型的训练，相对于现有方案，可以将钢板定位模型应用于工业领域，增强了模型的特异性，使得模型可以在工业领域中对钢板进行准确定位。
综合上述，参照3，对本申请整体方案进行说明，本申请的目的在于提高钢板定位模型的定位速度和泛化性，具体包括如下步骤：
S1、对待处理图像中每个像素点的邻域像素进行排序，取中间值作为该像素点的像素值；
S2、将待处理图像转换为灰度图，在每个像素点处，计算梯度的强度和方向；
S3、设置第一预设梯度范围，根据像素点的梯度值对像素点进行分类处理；
在本实施例中，基于所述分类处理结果，可以从待处理图像包含的像素点中确定第一像素点；
S4、确定滤波器大小和标准差，对每个第一像素点，以该第一像素点为中心，取出滤波器大小的矩阵，将该像素周围像素值乘以对应的滤波器权重后求和并赋值给该第一像素点；
在本实施例中，像素更新处理后的第一像素点作为第二像素点。
S5、重新计算第二像素点的梯度的强度和方向，并剔除非局部最大值的梯度；
S6、设置第二预设梯度范围，根据第二像素点的梯度值对第二像素点进行分类处理；
在本实施例中，基于分类处理结果，可以从第二像素点中确定目标像素点；
S7、对于检测到的目标像素点，通过连接生成连续的边缘线；
S8、对预处理后的图像进行膨胀和腐蚀操作；
S9、反转图像颜色；
S10、从反转图像颜色后的图像中检测外轮廓，并只保留水平、垂直和对角线方向上的元素，同时只保留这些方向的终点坐标；
S11、根据预设的钢板尺寸阈值对所有轮廓进行筛选；
S12、计算筛选得到的轮廓的最小外接矩形，基于该最小外接矩形计算估计的钢板区域的尺寸以及初始位置信息。
S13、将尺寸以及初始位置信息转换为模型可识别的位置编码，通过卷积操作从反转图像颜色后的图像中提取图像特征，然后将位置编码和图像编码进行融合处理，最后用融合后的特征预测掩码，使模型关注掩码内的图像区域，得出钢板区域的定位结果。
S14、在待处理图像中标注钢板位置，将待处理图像保存到图像库中；
S15、当图像库中的图像达到一定数量时，用这些图像微调大模型。
应该理解的是，虽然如上所述的各实施例所涉及的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且，如上所述的各实施例所涉及的流程图中的至少一部分步骤可以包括多个步骤或者多个阶段，这些步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤中的步骤或者阶段的至少一部分轮流或者交替地执行。
基于同样的发明构思，本申请实施例还提供了一种用于实现上述所涉及的钢板定位方法的钢板定位装置。该装置所提供的解决问题的实现方案与上述方法中所记载的实现方案相似，故下面所提供的一个或多个钢板定位装置实施例中的具体限定可以参见上文中对于钢板定位方法的限定，在此不再赘述。
在一个示例性的实施例中，如图4所示，提供了一种钢板定位装置400，包括：
获取模块401，用于获取待处理图像，对所述待处理图像进行边缘检测处理，得到钢板区域的尺寸以及初始位置信息；
特征提取模块402，用于将所述尺寸、所述初始位置信息以及所述待处理图像输入钢板定位模型中，通过所述钢板定位模型对所述待处理图像进行特征提取，得到图像特征，并基于所述尺寸、所述初始位置信息以及所述图像特征，得到所述钢板区域在所述待处理图像中的目标位置信息。
在其中一个实施例中，特征提取模块402在基于所述尺寸、所述初始位置信息以及所述图像特征，得到所述钢板区域在所述待处理图像中的目标位置信息时，具体用于：
基于所述尺寸与所述初始位置信息，确定钢板区域的位置编码数据；
基于所述位置编码数据与所述图像特征，确定掩码数据；
基于所述掩码数据，确定所述钢板区域在所述待处理图像中的目标位置信息。
在其中一个实施例中，特征提取模块402在基于所述位置编码数据与所述图像特征，确定掩码数据时，具体用于：
对所述位置编码数据进行转换，得到位置编码矩阵；
对所述图像特征进行转换，得到对应的特征矩阵；
将所述位置编码矩阵与所述特征矩阵进行加法运算，基于运算结果确定所述掩码数据。
在其中一个实施例中，获取模块401在对所述待处理图像进行边缘检测处理，得到钢板区域的尺寸以及初始位置信息时，具体用于：
对所述待处理图像进行预处理；
从预处理后的图像中确定至少一个轮廓；
基于预设的钢板尺寸阈值，从所述至少一个轮廓中筛选出目标轮廓；
基于所述目标轮廓确定所述钢板区域的尺寸以及初始位置信息。
在其中一个实施例中，获取模块401在对所述待处理图像进行预处理时，具体用于：
基于所述待处理图像中各像素点的梯度以及第一预设梯度范围，对所述待处理图像包含的像素点进行分类处理，得到第一分类处理结果；
基于所述第一分类处理结果，从所述待处理图像包含的像素点中确定第一像素点；
基于所述第一像素点的像素和以及滤波器的权重，对所述第一像素点的像素进行更新处理，将像素更新处理后的第一像素点作为第二像素点，并确定各第二像素点的梯度；
基于各第二像素点的梯度以及第二预设梯度范围，对所述第二像素点进行分类处理，得到第二分类处理结果；
基于所述第二分类处理结果，从所述第二像素点中筛选出目标像素点；
基于所述目标像素点，得到所述预处理后的图像。
在其中一个实施例中，所述钢板定位模型的训练过程，包括：
获取图像样本以及各图像样本对应的钢板标记位置；
对所述图像样本进行边缘检测处理，得到每个图像样本中钢板区域的尺寸以及初始位置信息；
将各图像样本、各图像样本中钢板区域的尺寸以及初始位置信息输入待训练的钢板定位模型中，通过所述待训练的钢板定位模型对各图像样本进行特征提取，得到对应的图像特征，基于各图像样本对应的尺寸以及对应的初始位置信息以及各图像样本对应的图像特征，得到各图像样本中钢板区域的预测位置信息；
基于各图像样本中钢板区域的预测位置信息以及各图像样本对应的钢板标记位置，对所述待训练的钢板定位模型进行调整，基于参数调整后的钢板定位模型继续训练，直至达到停止条件时停止，得到训练完成的钢板定位模型。
上述钢板定位装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中，也可以以软件形式存储于计算机设备中的存储器中，以便于处理器调用执行以上各个模块对应的操作。
在一个示例性的实施例中，提供了一种计算机设备，该计算机设备可以是终端，其内部结构图可以如图5所示。该计算机设备包括处理器、存储器、输入/输出接口、通信接口、显示单元和输入装置。其中，处理器、存储器和输入/输出接口通过系统总线连接，通信接口、显示单元和输入装置通过输入/输出接口连接到系统总线。其中，该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质和内存储器。该非易失性存储介质存储有操作系统和计算机程序。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的输入/输出接口用于处理器与外部设备之间交换信息。该计算机设备的通信接口用于与外部的终端进行有线或无线方式的通信，无线方式可通过WIFI、移动蜂窝网络、NFC（近场通信）或其他技术实现。该计算机程序被处理器执行时以实现一种钢板定位方法。该计算机设备的显示单元用于形成视觉可见的画面，可以是显示屏、投影装置或虚拟现实成像装置。显示屏可以是液晶显示屏或者电子墨水显示屏，该计算机设备的输入装置可以是显示屏上覆盖的触摸层，也可以是计算机设备外壳上设置的按键、轨迹球或触控板，还可以是外接的键盘、触控板或鼠标等。
本领域技术人员可以理解，图5中示出的结构，仅仅是与本申请方案相关的部分结构的框图，并不构成对本申请方案所应用于其上的计算机设备的限定，具体的计算机设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。
在一个示例性的实施例中，提供了一种计算机设备，包括存储器和处理器，存储器中存储有计算机程序，该处理器执行计算机程序时实现各实施例方法的步骤。
在一个实施例中，提供了一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现各实施例方法的步骤。
在一个实施例中，提供了一种计算机程序产品，包括计算机程序，该计算机程序被处理器执行时实现各实施例方法的步骤。
需要说明的是，本申请所涉及的用户信息（包括但不限于用户设备信息、用户个人信息等）和数据（包括但不限于用于分析的数据、存储的数据、展示的数据等），均为经用户授权或者经过各方充分授权的信息和数据，且相关数据的收集、使用和处理需要符合相关规定。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的各实施例中所使用的对存储器、数据库或其它介质的任何引用，均可包括非易失性和易失性存储器中的至少一种。非易失性存储器可包括只读存储器（Read-OnlyMemory，ROM）、磁带、软盘、闪存、光存储器、高密度嵌入式非易失性存储器、阻变存储器（ReRAM）、磁变存储器（Magnetoresistive Random Access Memory，MRAM）、铁电存储器（Ferroelectric Random Access Memory，FRAM）、相变存储器（Phase Change Memory，PCM）、石墨烯存储器等。易失性存储器可包括随机存取存储器（Random Access Memory，RAM）或外部高速缓冲存储器等。作为说明而非局限，RAM可以是多种形式，比如静态随机存取存储器（Static Random Access Memory，SRAM）或动态随机存取存储器（Dynamic RandomAccess Memory，DRAM）等。本申请所提供的各实施例中所涉及的数据库可包括关系型数据库和非关系型数据库中至少一种。非关系型数据库可包括基于区块链的分布式数据库等，不限于此。本申请所提供的各实施例中所涉及的处理器可为通用处理器、中央处理器、图形处理器、数字信号处理器、可编程逻辑器、基于量子计算的数据处理逻辑器等，不限于此。
以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。
以上所述实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对本申请专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请的保护范围应以所附权利要求为准。
Claims (10)
1.一种钢板定位方法，其特征在于，所述方法包括：
获取待处理图像，对所述待处理图像进行边缘检测处理，得到钢板区域的尺寸以及初始位置信息；
将所述尺寸、所述初始位置信息以及所述待处理图像输入钢板定位模型中，通过所述钢板定位模型对所述待处理图像进行特征提取，得到图像特征，并基于所述尺寸、所述初始位置信息以及所述图像特征，得到所述钢板区域在所述待处理图像中的目标位置信息。
2.根据权利要求1所述的方法，其特征在于，所述基于所述尺寸、所述初始位置信息以及所述图像特征，得到所述钢板区域在所述待处理图像中的目标位置信息，包括：
基于所述尺寸与所述初始位置信息，确定钢板区域的位置编码数据；
基于所述位置编码数据与所述图像特征，确定掩码数据；
基于所述掩码数据，确定所述钢板区域在所述待处理图像中的目标位置信息。
3.根据权利要求2所述的方法，其特征在于，所述基于所述位置编码数据与所述图像特征，确定掩码数据，包括：
对所述位置编码数据进行转换，得到位置编码矩阵；
对所述图像特征进行转换，得到对应的特征矩阵；
将所述位置编码矩阵与所述特征矩阵进行加法运算，基于运算结果确定所述掩码数据。
4.根据权利要求1至3中任一项所述的方法，其特征在于，所述对所述待处理图像进行边缘检测处理，得到钢板区域的尺寸以及初始位置信息，包括：
对所述待处理图像进行预处理；
从预处理后的图像中确定至少一个轮廓；
基于预设的钢板尺寸阈值，从所述至少一个轮廓中筛选出目标轮廓；
基于所述目标轮廓确定所述钢板区域的尺寸以及初始位置信息。
5.根据权利要求4所述的方法，其特征在于，所述对所述待处理图像进行预处理，包括：
基于所述待处理图像中各像素点的梯度以及第一预设梯度范围，对所述待处理图像包含的像素点进行分类处理，得到第一分类处理结果；
基于所述第一分类处理结果，从所述待处理图像包含的像素点中确定第一像素点；
基于所述第一像素点的像素和以及滤波器的权重，对所述第一像素点的像素进行更新处理，将像素更新处理后的第一像素点作为第二像素点，并确定各第二像素点的梯度；
基于各第二像素点的梯度以及第二预设梯度范围，对所述第二像素点进行分类处理，得到第二分类处理结果；
基于所述第二分类处理结果，从所述第二像素点中筛选出目标像素点；
基于所述目标像素点，得到所述预处理后的图像。
6.根据权利要求1至3中任一项所述的方法，其特征在于，所述钢板定位模型的训练过程，包括：
获取图像样本以及图像样本对应的钢板标记位置；
对所述图像样本进行边缘检测处理，得到所述图像样本中钢板区域的尺寸以及初始位置信息；
将图像样本、图像样本中钢板区域的尺寸以及初始位置信息输入待训练的钢板定位模型中，通过所述待训练的钢板定位模型对图像样本进行特征提取，得到对应的图像特征，基于图像样本对应的尺寸以及对应的初始位置信息以及图像样本对应的图像特征，得到图像样本中钢板区域的预测位置信息；
基于图像样本中钢板区域的预测位置信息以及图像样本对应的钢板标记位置，对所述待训练的钢板定位模型进行调整，基于参数调整后的钢板定位模型继续训练，直至达到停止条件时停止，得到训练完成的钢板定位模型。
7.一种钢板定位装置，其特征在于，包括：
获取模块，用于获取待处理图像，对所述待处理图像进行边缘检测处理，得到钢板区域的尺寸以及初始位置信息；
特征提取模块，用于将所述尺寸、所述初始位置信息以及所述待处理图像输入钢板定位模型中，通过所述钢板定位模型对所述待处理图像进行特征提取，得到图像特征，并基于所述尺寸、所述初始位置信息以及所述图像特征，得到所述钢板区域在所述待处理图像中的目标位置信息。
8.一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至6中任一项所述的方法的步骤。
9.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至6中任一项所述的方法的步骤。
10.一种计算机程序产品，包括计算机程序，其特征在于，该计算机程序被处理器执行时实现权利要求1至6中任一项所述的方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202410135045.3A CN117934439A (zh) | 2024-01-31 | 2024-01-31 | 钢板定位方法、装置、计算机设备和存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202410135045.3A CN117934439A (zh) | 2024-01-31 | 2024-01-31 | 钢板定位方法、装置、计算机设备和存储介质 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN117934439A true CN117934439A (zh) | 2024-04-26 |
Family
ID=90764666
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202410135045.3A Pending CN117934439A (zh) | 2024-01-31 | 2024-01-31 | 钢板定位方法、装置、计算机设备和存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN117934439A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN118154689A (zh) * | 2024-05-13 | 2024-06-07 | 武汉华工赛百数据系统有限公司 | 零件位置获取方法、装置、计算机设备、存储介质和产品 |
-
2024
- 2024-01-31 CN CN202410135045.3A patent/CN117934439A/zh active Pending
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN118154689A (zh) * | 2024-05-13 | 2024-06-07 | 武汉华工赛百数据系统有限公司 | 零件位置获取方法、装置、计算机设备、存储介质和产品 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN108765506B (zh) | 基于逐层网络二值化的压缩方法 | |
| CN117934439A (zh) | 钢板定位方法、装置、计算机设备和存储介质 | |
| CN111524112A (zh) | 追钢识别方法、系统、设备及介质 | |
| CN115759148B (zh) | 图像处理方法、装置、计算机设备及计算机可读存储介质 | |
| CN109165654B (zh) | 一种目标定位模型的训练方法和目标定位方法及装置 | |
| CN111626295A (zh) | 车牌检测模型的训练方法和装置 | |
| CN115063473A (zh) | 物体高度的检测方法、装置、计算机设备、存储介质 | |
| CN111815594B (zh) | 钢筋检测方法以及相关设备、装置 | |
| CN116977336A (zh) | 摄像头缺陷检测方法、装置、计算机设备及存储介质 | |
| CN117392052A (zh) | 一种基于yolox的钢材表面缺陷检测方法、系统、设备及介质 | |
| CN115965799A (zh) | 图像识别方法、装置、计算机设备和存储介质 | |
| CN115861284A (zh) | 印刷制品线状缺陷检测方法、装置、电子设备和存储介质 | |
| CN116168377A (zh) | 车牌识别方法、装置、计算机设备以及存储介质 | |
| CN115272428A (zh) | 图像对齐方法、装置、计算机设备和存储介质 | |
| Ahmad et al. | Crack segmentation in the wild using convolutional neural networks and bootstrapping | |
| CN112926610B (zh) | 车牌图像筛选模型的构建方法与车牌图像筛选方法 | |
| CN116612474B (zh) | 对象检测方法、装置、计算机设备及计算机可读存储介质 | |
| CN111461128A (zh) | 一种车牌的识别方法及装置 | |
| CN118154689B (zh) | 零件位置获取方法、装置、计算机设备、存储介质和产品 | |
| CN116645374B (zh) | 点状缺陷检测方法、装置、计算机设备及存储介质 | |
| CN115600619B (zh) | 点阵二维码识别方法、装置、电子设备及存储介质 | |
| CN117557786B (zh) | 物料质量检测方法、装置、计算机设备及存储介质 | |
| CN117611943A (zh) | 参数调整方法、装置、计算机设备及计算机可读存储介质 | |
| CN116295031B (zh) | 弧垂的测量方法、装置、计算机设备和存储介质 | |
| CN115760774A (zh) | 区域检测方法、装置、计算机设备及计算机可读存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |