CN115601361B - 基于机器视觉机床零件在线检测方法 - Google Patents
基于机器视觉机床零件在线检测方法 Download PDFInfo
- Publication number
- CN115601361B CN115601361B CN202211593488.4A CN202211593488A CN115601361B CN 115601361 B CN115601361 B CN 115601361B CN 202211593488 A CN202211593488 A CN 202211593488A CN 115601361 B CN115601361 B CN 115601361B
- Authority
- CN
- China
- Prior art keywords
- pixel point
- scratch
- similarity
- pixel
- fuzzy
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 18
- 238000000034 method Methods 0.000 claims abstract description 31
- 230000012010 growth Effects 0.000 claims abstract description 19
- 230000011218 segmentation Effects 0.000 claims description 9
- 239000000126 substance Substances 0.000 description 6
- 238000003801 milling Methods 0.000 description 5
- 238000006748 scratching Methods 0.000 description 4
- 230000002393 scratching effect Effects 0.000 description 4
- 230000005540 biological transmission Effects 0.000 description 3
- 238000009826 distribution Methods 0.000 description 3
- 230000000694 effects Effects 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000004519 manufacturing process Methods 0.000 description 2
- 238000005299 abrasion Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000002146 bilateral effect Effects 0.000 description 1
- 238000005520 cutting process Methods 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 238000009776 industrial production Methods 0.000 description 1
- 230000000877 morphologic effect Effects 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 238000007781 pre-processing Methods 0.000 description 1
- 230000000750 progressive effect Effects 0.000 description 1
- 230000034655 secondary growth Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0004—Industrial image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/13—Edge detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
- G06V10/267—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion by performing operations on regions, e.g. growing, shrinking or watersheds
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
- G06V10/761—Proximity, similarity or dissimilarity measures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30108—Industrial image inspection
- G06T2207/30164—Workpiece; Machine component
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
- Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
- Y02P90/30—Computing systems specially adapted for manufacturing
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Quality & Reliability (AREA)
- Artificial Intelligence (AREA)
- Health & Medical Sciences (AREA)
- Computing Systems (AREA)
- Databases & Information Systems (AREA)
- Evolutionary Computation (AREA)
- General Health & Medical Sciences (AREA)
- Medical Informatics (AREA)
- Software Systems (AREA)
- Image Analysis (AREA)
- Investigating Materials By The Use Of Optical Means Adapted For Particular Applications (AREA)
Abstract
本发明涉及机器视觉技术领域，具体涉及一种基于机器视觉机床零件在线检测方法。该方法包括：获取伞齿轮的待检测图像中的第一像素点属于划痕类别的置信度；确定语义模糊区域中置信度最大的第一像素点为初始种子点，在语义模糊区域中进行区域生长；获取语义模糊区域中设定生长窗口内的第二像素点与种子点之间的相似度；在区域生成的过程中，确定第二像素点的类别标签；获取模糊标签的第二像素点属于划痕类别的概率指数，根据概率指数对模糊标签的类别标签进行更新；确定划痕区域内的第一像素点和类别标签为划痕类别的第二像素点为划痕像素点，根据划痕像素点检测伞齿轮中的划痕。本发明提高了机床零件中伞齿轮的划痕检测的准确性。
Description
技术领域
本发明涉及机器视觉技术领域，具体涉及一种基于机器视觉机床零件在线检测方法。
背景技术
伞齿轮由于传动效率高、传动性能稳定、寿命长、噪声小等特点广泛用于各种类型的机床，伞齿轮一般应用于两个相交的轴之间，为设备提供动力，完成机床中两根轴之间的动力传输，使得设备尽快达到良好运行状态。
伞齿轮的生产是由万能铣床和圆盘模数铣刀铣削成型的，其外观结构是圆锥形，在伞齿轮的加工过程中，如果没有精准控制铣刀运动轨迹或者伞齿轮胚件出现位置偏差，铣刀就会在伞齿轮上造成划痕，导致伞齿轮的零件精度降低。如果伞齿轮的零件精度没有达到标准就在机床中使用，容易导致齿面磨损，影响工业生产的效率，甚至会对生产人员的人身安全造成威胁。因此对应用于机床的伞齿轮进行高效、精准的在线检测是其生产使用前的必要环节。
现有技术中，通过将伞齿轮的图像输入语义分割模型中进行划痕识别来检测伞齿轮上划痕，语义分割模型在进行划痕识别时会输出每个像素点属于划痕类别的置信度，对于置信度较高的像素点可以认为该像素点为划痕像素点，对于置信度较低的像素点可以认为该像素点为非划痕像素点，而对于置信度处于中间位置的像素点无法确认该像素点的类别，因此，该现有技术对伞齿轮的划痕检测的准确性较低。
发明内容
为了解决现有技术对伞齿轮的划痕检测的准确性较低的技术问题，本发明的目的在于提供一种基于机器视觉机床零件在线检测方法，所采用的技术方案具体如下：
本发明提出了一种基于机器视觉机床零件在线检测方法，所述方法包括：
采集机床零件中伞齿轮的灰度图像作为待检测图像，对所述待检测图像中的第一像素点进行语义分割识别，得到所述第一像素点属于划痕类别的置信度；
根据所述置信度确定所述待检测图像的语义模糊区域和划痕区域，确定所述语义模糊区域中所述置信度最大的第一像素点为初始种子点，以所述初始种子点为起始点在所述语义模糊区域中进行区域生长；
获取所述语义模糊区域中设定生长窗口内的第二像素点与种子点之间的第一轮廓特征值差异和第一置信度差异，根据所述第一轮廓特征值差异和所述第一置信度差异，获取所述第二像素点与所述种子点之间的相似度；
在所述区域生长的过程中，基于所述相似度，确定所述第二像素点的类别标签，所述类别标签包括模糊标签和划痕标签；
获取所述模糊标签的第二像素点属于所述划痕类别的概率指数，将所述概率指数大于设定概率指数阈值的第二像素点的所述模糊标签更新为所述划痕标签；
确定所述划痕区域内的第一像素点和所述划痕标签的第二像素点为划痕像素点，根据所述划痕像素点检测所述伞齿轮中的划痕。
在一些实施例中，所述根据所述第一轮廓特征值差异和所述第一置信度差异，获取所述第二像素点与所述种子点之间的相似度，包括：
计算所述第一轮廓特征值差异与所述第一置信度差异之间的乘积，并计算第一控制因子与所述乘积之间的比值作为所述相似度。
在一些实施例中，所述类别标签还包括背景标签，所述基于所述相似度，确定所述第二像素点的类别标签，包括：
获取第一相似度阈值和第二相似度阈值，其中，所述第一相似度阈值小于所述第二相似度阈值；
确定所述相似度小于或等于所述第一相似度阈值的第二像素点的类别标签为所述背景标签；
确定所述相似度大于所述第一相似度阈值且小于所述第二相似度阈值的第二像素点的类别标签为所述模糊标签；
确定所述相似度大于所述第二相似度阈值的第二像素点的类别标签为所述划痕标签。
在一些实施例中，所述第一相似度阈值的获取过程，包括：
根据所述置信度，确定所述待检测图像的背景区域；
确定所述划痕区域中所述置信度最小的划痕像素点为目标划痕像素点，获取所述目标划痕像素点与所述背景区域内的背景像素点之间的第二置信度差异和第二轮廓特征值差异；
根据所述第二置信度差异和所述第二轮廓特征值差异，获取所述第一相似度阈值。
在一些实施例中，所述根据所述第二置信度差异和所述第二轮廓特征值差异，获取所述第一相似度阈值，包括：
根据第一相似度阈值公式获取所述第一相似度阈值，其中，所述第一相似度阈值公式包括：
其中，为第一相似度阈值，为背景区域内背景像素点的数量，为目标划痕像素点的置信度，为背景区域内第个背景像素点的置信度，为目标划痕像素点的轮廓特征值，为背景区域内第个背景像素点的轮廓特征值，为背景区域内背景像素点的索引，为第一控制因子。
在一些实施例中，所述第二相似度阈值的获取过程，包括：
获取所述划痕区域内的第一像素点的置信度均值和轮廓特征值均值；
获取所述划痕区域内的第一像素点的置信度与所述置信度均值之间的第一差值绝对值，以及所述划痕区域内的第一像素点的轮廓特征值与所述轮廓特征值均值之间的第二差值绝对值；
根据所述第一差值绝对值和所述第二差值绝对值，获取所述第二相似度阈值。
在一些实施例中，所述根据所述第一差值绝对值和所述第二差值绝对值，获取所述第二相似度阈值，包括：
根据第二相似度阈值公式获取所述第二相似度阈值，其中，所述第二相似度阈值公式包括：
其中，为第二相似度阈值，为划痕区域内第一像素点的数量，为划痕区域内第 个第一像素点的置信度，为划痕区域内第一像素点的置信度均值，为划痕区域内第 个第一像素点的轮廓特征值，为划痕区域内第一像素点的轮廓特征值均值，为第一控制因子，为划痕区域内第一像素点的索引。
在一些实施例中，所述获取所述模糊标签的像素点属于所述划痕类别的概率指数，包括：
确定所述背景标签的第二像素点为背景像素点，以及确定所述模糊标签的第二像素点为模糊像素点；
获取所述模糊像素点与所述模糊像素点的邻域范围内的划痕像素点之间的第一目标相似度，以及所述模糊像素点与所述邻域范围内的背景像素点之间的第二目标相似度；
基于所述第一目标相似度和所述第二目标相似度，获取所述模糊像素点属于所述划痕类别的概率指数。
在一些实施例中，所述基于所述第一目标相似度和所述第二目标相似度，获取所述模糊像素点属于所述划痕类别的概率指数，包括：
根据概率指数公式获取所述概率指数，其中，所述概率指数公式包括：
其中，为模糊像素点的概率指数，为模糊像素点的邻域范围内划痕像素点的数量，为模糊像素点与邻域范围内第个划痕像素点之间的第一目标相似度，为邻域范围内划痕像素点的索引，为第二相似度阈值，为模糊像素点的邻域范围内背景像素点的数量，为模糊像素点与邻域范围内第个背景像素点之间的第二目标相似度，为邻域范围内背景像素点的索引，为第一相似度阈值，为第二控制因子。
本发明具有如下有益效果：本发明对待检测图像进行语义分割识别可以初步对待检测图像进行划痕检测，确定待检测图像中的划痕区域和语义模糊区域，并便于后续对语义模糊区域进行划痕检测。可以认为模糊区域中置信度最大的第一像素点为划痕像素点，因此以置信度最大的第一像素点为初始种子点进行在模糊区域中进行区域生长，能够进一步识别在语义模糊区域内的划痕像素点。在区域生长的过程中，基于相似度确定语义模糊区域中像素点的类别标签可以准确地对语义模糊区域中的像素点进行区分，以便于后续对类别标签为模糊标签的像素点进行识别。由于类别标签为模糊标签的像素点为通过区域生长方法无法识别的像素点，通过获取模糊标签的像素点属于划痕类别的概率指数，可以根据概率指数进一步地确定该像素点是否为划痕像素点，提高了划痕检测的准确性。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案和优点，下面将对实施例或现有技术描述中所需要使用的附图作简单的介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其它附图。
图1为本发明一个实施例所提供的一种基于机器视觉机床零件在线检测方法的流程示意图。
具体实施方式
为了更进一步阐述本发明为达成预定发明目的所采取的技术手段及功效，以下结合附图及较佳实施例，对依据本发明提出的一种基于机器视觉机床零件在线检测方法，其具体实施方式、结构、特征及其功效，详细说明如下。在下述说明中，不同的“一个实施例”或“另一个实施例”指的不一定是同一实施例。此外，一个或多个实施例中的特定特征、结构或特点可由任何合适形式组合。
除非另有定义，本文所使用的所有的技术和科学术语与属于本发明的技术领域的技术人员通常理解的含义相同。
下面结合附图具体的说明本发明所提供的一种基于机器视觉机床零件在线检测方法的具体方案。
图1为本发明实施例所提供的一种基于机器视觉机床零件在线检测方法的流程示意图。如图1所示，该方法包括以下步骤：
S101，采集机床零件中伞齿轮的灰度图像作为待检测图像，对待检测图像中的第一像素点进行语义分割识别，得到第一像素点属于划痕类别的置信度。
可以通过工业电荷耦合器件（Charge Coupled Device，CCD）相机对机床零件中的伞齿轮进行拍摄得到伞齿轮的图像，然后将伞齿轮的图像进行灰度处理得到灰度图像作为待检测图像。为了提高待检测图像的成像质量，可以在拍摄时选择环形发光二极管（LightEmitting Diode，LED）为伞齿轮提供均匀的光照，在采集到伞齿轮的图像后，还可以对伞齿轮的图像进行预处理，其中，预处理可以为采用双边滤波去噪技术对伞齿轮的图像进行去噪处理。
一些实施例中，可以将待检测图像输入语义分割识别模型中，由于语义分割模型对待检测图像中的第一像素点进行语义分割识别，得到第一像素点属于划痕类别的置信度。可选地，语义分割模型可以为SegNet模型，该SegNet模型的结构是编码器-解码器结构，SegNet模型的优化算法为随机梯度下降法（Stochastic Gradient Descent，SGD），SegNet模型的损失函数可以采用交叉熵函数。
S102，根据置信度确定待检测图像的语义模糊区域和划痕区域，确定语义模糊区域中置信度最大的第一像素点为初始种子点，以初始种子点为起始点在语义模糊区域中进行区域生长。
可选地，可以确定置信度大于0.8的第一像素点为划痕像素点，并将划痕像素点组成的区域作为划痕区域。
可选地，可以确定置信度大于0.2且小于或等于0.8的第一像素点为模糊像素点，并将模糊像素点组成的区域作为模糊区域。
由于模糊区域为语义模糊的区域，即无法确定该区域的第一像素点为划痕像素点还是背景像素点，还需要进一步确定模糊区域中的模糊像素点是否为划痕像素点。其中，背景像素点为非划痕像素点。
由于语义模糊区域中置信度最大的第一像素点最接近划痕像素点，可以认为该置信度最大的第一像素点为划痕像素点，然后将该划痕像素点作为初始种子点在语义模糊区域中进行区域生长。
S103，获取语义模糊区域中设定生长窗口内的第二像素点与种子点之间的第一轮廓特征值差异和第一置信度差异，根据第一轮廓特征值差异和第一置信度差异，获取第二像素点与种子点之间的相似度。
一些实施例中，可以获取第二像素点的轮廓特征值和种子点的轮廓特征值，并计算第二像素点的轮廓特征值与种子点的轮廓特征值的差值绝对值作为第一轮廓特征值差异，以及计算第二像素点的置信度与种子点的置信度的差值绝对值作为第一置信度差异，然后可以根据第一轮廓特征值差异和第一置信度差异，获取第二像素点与种子点之间的相似度。
其中，轮廓特征值可以为像素点的轮廓信息，具体可以为像素点的梯度值，可选地，可以对待检测图像进行开运算处理和闭运算处理，然后将开运算的结果与闭运算的结果之间的差值作为轮廓特征值，其中，开运算处理和闭运算处理为公知技术，其具体过程不再详细赘述。
一些实施例中，计算第一轮廓特征值差异与第一置信度差异之间的乘积，并计算第一控制因子与乘积之间的比值作为相似度。
具体地，可以根据相似度公式获取相似度，其中，相似度公式包括：
其中，为第二像素点与种子点之间的相似度，为第二像素点的置信度，为种子点的置信度，为第二像素点的轮廓特征值，为种子点的轮廓特征值，为第一控制因子，表示取绝对值。
上述相似度公式中，为第二像素点与种子点之间的第一置信度差异，其中，可以认为种子点为划痕像素点。第二像素点与种子点之间的第一置信度差异越大，第二像素点与种子点之间的相似度越小，第二像素点与种子点之间的第一置信度差异越小，第二像素点与种子点之间的相似度越大，故相似度与第一置信度差异呈负相关关系。为第二像素点与种子点之间的第一轮廓特征值差异，反映了在形态学梯度中第二像素点与种子点之间轮廓信息的差异，第一轮廓特征值差异越小，第二像素点与种子点之间的相似度越大，第一轮廓特征值差异越大，第二像素点与种子点之间的相似度越小，故相似度与第一轮廓特征值差异呈负相关关系。由此通过考虑第二像素点与种子点之间第一置信度差异和第一轮廓特征差异，能够准确地获取第二像素点与种子点之间的相似度，为后续区域生长提供可靠判断依据。
S104，在区域生长的过程中，基于相似度，确定第二像素点的类别标签，类别标签包括模糊标签和划痕标签。
本发明实施例中，确定第二像素点的类别标签，包括：获取第一相似度阈值和第二相似度阈值，其中，第一相似度阈值小于第二相似度阈值，确定相似度小于或等于第一相似度阈值的第二像素点的类别标签为背景标签，确定相似度大于第一相似度阈值且小于第二相似度阈值的第二像素点的类别标签为模糊标签，确定相似度大于第二相似度阈值的第二像素点的类别标签为划痕标签。
在区域生长的过程中，以初始种子点为中心点设置初始设定窗口，首次在初始设定窗口内进行生长，若初始设定窗口内的第二像素点与初始种子点之间相似度小于或等于第一相似度阈值，则赋予该第二像素点背景标签，若初始设定窗口内的第二像素点与初始种子点之间的相似度大于第一相似度阈值且小于第二相似度阈值，则赋予该第二像素点模糊标签，若初始设定窗口内的第二像素点与初始种子点之间的相似度大于第二相似度阈值，则赋予该第二像素点划痕标签。可选地，初始设定窗口的尺寸大小可以为5×5。
进一步地，从被赋予划痕标签的第二像素点中，确定相似度大于第三相似度阈值的第二像素点为种子点进行第二次生长。可选地，第三相似度阈值可以为5。
对区域生长的过程进行具体地示例性说明，假设初始种子点为像素点，用于第二次生长的种子点为像素点，则在第二次生长时，可以以像素点为中心点，取尺寸大小为的设定窗口，其中，为每次迭代时设定窗口的扩大步长，可选地，=2，以及以像素点为中心点，取尺寸大小为的设定窗口，分别在设定窗口和设定窗口中进行生长。获取设定窗口中的第二像素点与像素点之间的相似度，以及设定窗口中第二像素点与像素点之间的相似度，根据上述类别标签的确定方式分别将设定窗口和设定窗口中的第二像素点赋予相应的类别标签，并再次分别从设定窗口和设定窗口内被赋予划痕标签的第二像素点中，确定相似度大于第三相似度阈值的第二像素点为种子点进行第三次生长。
假设在设定窗口中确定的种子点为像素点，在设定窗口中确定的种子点为像素点，则在第三次生长时，可以分别以像素点、像素点、像素点、像素点为中心取各自对应的设定窗口、设定窗口、设定窗口、设定窗口，其中，设定窗口 的尺寸为，设定窗口的尺寸为，设定窗口的尺寸为，设定窗口的尺寸为，然后分别获取设定窗口、设定窗口、设定窗口、设定窗口中的第二像素点与各自窗口内的种子点之间相似度，并根据该相似度按照上述生长方式进行下一次的迭代生长，直至所有的设定窗口将模糊区域覆盖时停止生长。一些实施例中，在设定窗口的面积达到模糊区域面积的 时，该设定窗口的尺寸不在扩大，直至所有的设定窗口的面积均达到模糊区域面积的 时，停止迭代生长，即区域生长结束，因为在所有的设定窗口的面积均达到模糊区域面积的时，窗口区域足以覆盖模糊区域。
其中，第一相似度阈值的获取过程，包括：根据置信度，确定待检测图像的背景区域，确定划痕区域中置信度最小的划痕像素点为目标划痕像素点，获取目标划痕像素点与背景区域内的背景像素点之间的第二置信度差异和第二轮廓特征值差异，根据第二置信度差异和第二轮廓特征值差异，获取第一相似度阈值。
可选地，可以确定置信度小于或等于0.2的第一像素点为背景像素点，并将背景像素点组成的区域作为背景区域。
具体的，可以获取目标划痕像素点与背景区域内每个背景像素点之间的第二置信度差异和第二轮廓特征值差异，然后根据该第二置信度差异和第二轮廓特征值差异，获取第一相似度阈值。
可选地，根据第一相似度阈值公式获取第一相似度阈值，其中，第一相似度阈值公式包括：
其中，为第一相似度阈值，为背景区域内背景像素点的数量，为目标划痕像素点的置信度，为背景区域内第个背景像素点的置信度，为目标划痕像素点的轮廓特征值，为背景区域内第个背景像素点的轮廓特征值，为背景区域内背景像素点的索引，为第一控制因子。
需要说明的是，第一控制因子可以根据实际场景进行设定，此处不做任何限定，可选地，。
上述第一相似度阈值公式中，为目标划痕像素点与背景像素点之间的第二置信度差异，为目标划痕像素点与背景像素点之间的第二轮廓特征值差异，第二置信度差异和第二轮廓特征值差异反映了置信度最小的划痕像素点与背景像素点之间的差异性，由于第一相似度阈值公式考虑的是置信度最小的划痕像素点与背景像素点之间的置信度差异性和轮廓特征差异性，通过第一相似度阈值公式计算的第一相似度阈值可以作为区域生长过程中背景像素点的判断依据，即可以将相似度小于或等于第一相似度阈值的第二像素点确定为背景像素点。
进一步地，第二相似度阈值的获取过程，包括：获取划痕区域内的第一像素点的置信度均值和轮廓特征值均值，获取划痕区域内的第一像素点的置信度与置信度均值之间的第一差值绝对值，以及划痕区域内的第一像素点的轮廓特征值与轮廓特征值均值之间的第二差值绝对值，根据第一差值绝对值和第二差值绝对值，获取第二相似度阈值。
可选地，根据第二相似度阈值公式获取第二相似度阈值，其中，第二相似度阈值公式包括：
其中，为第二相似度阈值，为划痕区域内第一像素点的数量，为划痕区域内第 个第一像素点的置信度，为划痕区域内第一像素点的置信度均值，为划痕区域内第个第一像素点的轮廓特征值，为划痕区域内第一像素点的轮廓特征值均值，为第一控制因子，为划痕区域内第一像素点的索引。
上述第二相似度阈值公式中，为划痕区域内的第一像素点的置信度与置信度均值之间的第一差值绝对值，为划痕区域内的第一像素点的轮廓特征值与轮廓特征值均值之间的第二差值绝对值。反映了每个划痕像素点与所有划痕像素点之间的图像信息差异，即第二相似度阈值表征划痕类像素点之间的图像信息分布差异，因此如果语义模糊的像素点与划痕像素点之间的图像信息分布差异在划痕类像素点之间的图像信息分布差异内，即如果语义模糊的像素点与划痕像素点之间相似度大于第二相似度阈值，则认为该语义模糊的像素点是划痕像素点。由此，第二相似度阈值可以为划痕像素点的判断提供可靠依据。
在模糊区域中进行区域生长后，模糊区域包括划痕标签的第二像素点、背景标签的第二像素点和模糊标签的第二像素点，其中，可以认为划痕标签的第二像素点为划痕像素点，背景标签的第二像素点，而模糊标签的第二像素点需进步进行识别。
S105，获取模糊标签的第二像素点属于划痕类别的概率指数，将概率指数大于设定概率指数阈值的第二像素点的模糊标签更新为划痕标签。
本发明实施例中，获取类别标签为模糊标签的像素点属于划痕类别的概率指数，包括以下步骤：
S201，确定背景标签的第二像素点为背景像素点，以及确定模糊标签的第二像素点为模糊像素点。
S202，获取模糊像素点与模糊像素点的邻域范围内的划痕像素点之间的第一目标相似度，以及模糊像素点与邻域范围内的背景像素点之间的第二目标相似度。
可以通过上述相似度公式获取模糊像素点与模糊像素点的邻域范围内的划痕像素点之间的第一目标相似度，以及模糊像素点与邻域范围内的背景像素点之间的第二目标相似度。其中，邻域范围可以为八邻域范围。
S203，基于第一目标相似度和第二目标相似度，获取模糊像素点属于划痕类别的概率指数。
可选地，根据概率指数公式获取概率指数，其中，概率指数公式包括：
其中，为模糊像素点的概率指数，为模糊像素点的邻域范围内划痕像素点的数量，为模糊像素点与邻域范围内第个划痕像素点之间的第一目标相似度，为邻域范围内划痕像素点的索引，为第二相似度阈值，为模糊像素点的邻域范围内背景像素点的数量，为模糊像素点与邻域范围内第个背景像素点之间的第二目标相似度，为邻域范围内背景像素点的索引，为第一相似度阈值，为第二控制因子。
需要说明的是，第二控制因子可以根据实际场景进行设定，此处不做任何限定，可选地，。
上述概率指数公式中，第一目标相似度为模糊像素点与划痕像素点之间的相似度，反映了模糊像素点携带的划痕语义程度，反映了模糊像素点与划痕像素点之间携带的划痕语义程度的差异性，该差异性越大，即越大，说明模糊像素点为划痕像素点的概率越小，该差异性越小，即越小，说明模糊像素点为划痕像素点的概率越大，因此，概率指数与呈负相关关系。反映了模糊像素点与背景像素点之间携带的背景语义程度的差异性，该差异性越大，即越大，说明模糊像素点为划痕像素点的概率越大，该差异性越小，即越小，说明模糊像素点为划痕像素点的概率越小，因此，概率指数与呈负相关关系。概率指数公式通过考虑模糊像素点与邻域范围内的背景像素点和划痕像素点之间差异性，能够准确地计算出模糊像素点属于划痕类别的概率，从而能够根据概率指数准确地从模糊标签的第二像素点中确定划痕像素点。
在通过概率指数公式计算出模糊区域中每个模糊像素点的概率指数后，将概率指数大于设定概率指数阈值的模糊像素点的类别标签更新为划痕标签，也即是说，将模糊标签的第二像素点中概率指数大于设定概率指数阈值的第二像素点的类别标签更新为划痕标签。另外，还可以将概率指数小于或等于概率指数阈值的模数像素点的类别标签更新为背景标签，也即是说，将模糊标签的第二像素点中概率指数小于或等于概率指数阈值的第二像素点的类别标签更新为背景标签。
需要说明的是，设定概率指数阈值可以根据实际场景需求进行设定，此处不做任何限定，可选地，设定概率指数阈值可以为0.5。
S106，确定划痕区域内的第一像素点和类别标签为划痕类别的第二像素点为划痕像素点，根据划痕像素点检测伞齿轮中的划痕。
在将模糊区域中概率指数大于设定概率指数阈值的模糊像素点的类别标签更新为划痕标签之后，模糊区域中包括划痕标签的第二像素点和背景标签的第二像素点。可以将待检测图像中划痕区域内的第一像素点作为划痕像素点，以及将待检测图像中模糊区域内类别标签为划痕标签的第二像素点作为划痕像素点，然后将划痕像素点组成的区域作为划痕区域，该划痕区域即为伞齿轮中的划痕，由此，便检测出伞齿轮中的划痕。进一步地，可以获取划痕的位置和面积，根据划痕的位置和面积对伞齿轮的质量进行评估。
综上所述，本发明实施例对待检测图像进行语义分割识别可以初步对待检测图像进行划痕检测，确定待检测图像中的划痕区域和语义模糊区域，并便于后续对语义模糊区域进行划痕检测。可以认为模糊区域中置信度最大的第一像素点为划痕像素点，因此以置信度最大的第一像素点为初始种子点进行在模糊区域中进行区域生长，能够进一步识别在语义模糊区域内的划痕像素点。在区域生长的过程中，基于相似度确定语义模糊区域中像素点的类别标签可以准确地对语义模糊区域中的像素点进行区分，以便于后续对类别标签为模糊标签的像素点进行识别。由于类别标签为模糊标签的像素点为通过区域生长方法无法识别的像素点，通过获取模糊标签的像素点属于划痕类别的概率指数，可以根据概率指数进一步地确定该像素点是否为划痕像素点，提高了划痕检测的准确性。
需要说明的是：上述本发明实施例先后顺序仅仅为了描述，不代表实施例的优劣。在附图中描绘的过程不一定要求示出的特定顺序或者连续顺序才能实现期望的结果。在某些实施方式中，多任务处理和并行处理也是可以的或者可能是有利的。
本说明书中的各个实施例均采用递进的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。
Claims (8)
1.一种基于机器视觉机床零件在线检测方法，其特征在于，所述方法包括：
采集机床零件中伞齿轮的灰度图像作为待检测图像，对所述待检测图像中的第一像素点进行语义分割识别，得到所述第一像素点属于划痕类别的置信度；
根据所述置信度确定所述待检测图像的语义模糊区域和划痕区域，确定所述语义模糊区域中所述置信度最大的第一像素点为初始种子点，以所述初始种子点为起始点在所述语义模糊区域中进行区域生长；
获取所述语义模糊区域中设定生长窗口内的第二像素点与种子点之间的第一轮廓特征值差异和第一置信度差异，根据所述第一轮廓特征值差异和所述第一置信度差异，获取所述第二像素点与所述种子点之间的相似度；
在所述区域生长的过程中，基于所述相似度，确定所述第二像素点的类别标签，所述类别标签包括模糊标签和划痕标签；
获取所述模糊标签的第二像素点属于所述划痕类别的概率指数，将所述概率指数大于设定概率指数阈值的第二像素点的所述模糊标签更新为所述划痕标签；
确定所述划痕区域内的第一像素点和所述划痕标签的第二像素点为划痕像素点，根据所述划痕像素点检测所述伞齿轮中的划痕；
所述基于所述相似度，确定所述第二像素点的类别标签，包括：
获取第一相似度阈值和第二相似度阈值，其中，所述第一相似度阈值小于所述第二相似度阈值；
确定所述相似度小于或等于所述第一相似度阈值的第二像素点的类别标签为背景标签；
确定所述相似度大于所述第一相似度阈值且小于所述第二相似度阈值的第二像素点的类别标签为所述模糊标签；
确定所述相似度大于所述第二相似度阈值的第二像素点的类别标签为所述划痕标签。
2.根据权利要求1所述的方法，其特征在于，所述根据所述第一轮廓特征值差异和所述第一置信度差异，获取所述第二像素点与所述种子点之间的相似度，包括：
计算所述第一轮廓特征值差异与所述第一置信度差异之间的乘积，并计算第一控制因子与所述乘积之间的比值作为所述相似度。
3.根据权利要求1所述的方法，其特征在于，所述第一相似度阈值的获取过程，包括：
根据所述置信度，确定所述待检测图像的背景区域；
确定所述划痕区域中所述置信度最小的划痕像素点为目标划痕像素点，获取所述目标划痕像素点与所述背景区域内的背景像素点之间的第二置信度差异和第二轮廓特征值差异；
根据所述第二置信度差异和所述第二轮廓特征值差异，获取所述第一相似度阈值。
4.根据权利要求3所述的方法，其特征在于，所述根据所述第二置信度差异和所述第二轮廓特征值差异，获取所述第一相似度阈值，包括：
根据第一相似度阈值公式获取所述第一相似度阈值，其中，所述第一相似度阈值公式包括：其中，为第一相似度阈值，为背景区域内背景像素点的数量，目标划痕像素点的置信度，为背景区域内第个背景像素点的置信度，为目标划痕像素点的轮廓特征值，背景区域内第背景像素点的轮廓特征值，为背景区域内背景像素点的索引，为第一控制因子，表示取绝对值。
5.根据权利要求1所述的方法，其特征在于，所述第二相似度阈值的获取过程，包括：
获取所述划痕区域内的第一像素点的置信度均值和轮廓特征值均值；
获取所述划痕区域内的第一像素点的置信度与所述置信度均值之间的第一差值绝对值，以及所述划痕区域内的第一像素点的轮廓特征值与所述轮廓特征值均值之间的第二差值绝对值；
根据所述第一差值绝对值和所述第二差值绝对值，获取所述第二相似度阈值。
6.根据权利要求5所述的方法，其特征在于，所述根据所述第一差值绝对值和所述第二差值绝对值，获取所述第二相似度阈值，包括：
根据第二相似度阈值公式获取所述第二相似度阈值，其中，所述第二相似度阈值公式包括：其中，为第二相似度阈值，为划痕区域内第一像素点的数量，为划痕区域内第个第一像素点的置信度，为划痕区域内第一像素点的置信度均值，为划痕区域内第个第一像素点的轮廓特征值，为划痕区域内第一像素点的轮廓特征值均值，第一控制因子，为划痕区域内第一像素点的索引。
7.根据权利要求1所述的方法，其特征在于，所述获取所述模糊标签的像素点属于所述划痕类别的概率指数，包括：
确定所述背景标签的第二像素点为背景像素点，以及确定所述模糊标签的第二像素点为模糊像素点；
获取所述模糊像素点与所述模糊像素点的邻域范围内的划痕像素点之间的第一目标相似度，以及所述模糊像素点与所述邻域范围内的背景像素点之间的第二目标相似度；
基于所述第一目标相似度和所述第二目标相似度，获取所述模糊像素点属于所述划痕类别的概率指数。
8.根据权利要求7所述的方法，其特征在于，所述基于所述第一目标相似度和所述第二目标相似度，获取所述模糊像素点属于所述划痕类别的概率指数，包括：
根据概率指数公式获取所述概率指数，其中，所述概率指数公式包括：其中，为模糊像素点的概率指数，为模糊像素点的邻域范围内划痕像素点的数量，糊像素点与邻域范围内第个划痕像素点之间的第一目标相似度，为邻域范围内划痕像素点的索引，为第二相似度阈值，为模糊像素点的邻域范围内背景像素点的数量，为模糊像素点与邻域范围内第个背景像素点之间的第二目标相似度，为邻域范围内背景像素点的索引，为第一相似度阈值，为第二控制因子。
Priority Applications (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202211593488.4A CN115601361B (zh) | 2022-12-13 | 2022-12-13 | 基于机器视觉机床零件在线检测方法 |
| PCT/CN2023/086012 WO2023134793A2 (zh) | 2022-12-13 | 2023-04-03 | 基于机器视觉机床零件在线检测方法 |
| LU504274A LU504274B1 (en) | 2022-12-13 | 2023-04-03 | Method for online detection of machine tool part based on machine vision |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202211593488.4A CN115601361B (zh) | 2022-12-13 | 2022-12-13 | 基于机器视觉机床零件在线检测方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN115601361A CN115601361A (zh) | 2023-01-13 |
| CN115601361B true CN115601361B (zh) | 2023-04-07 |
Family
ID=84853920
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202211593488.4A Active CN115601361B (zh) | 2022-12-13 | 2022-12-13 | 基于机器视觉机床零件在线检测方法 |
Country Status (3)
| Country | Link |
|---|---|
| CN (1) | CN115601361B (zh) |
| LU (1) | LU504274B1 (zh) |
| WO (1) | WO2023134793A2 (zh) |
Families Citing this family (15)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115601361B (zh) * | 2022-12-13 | 2023-04-07 | 苏州迈创信息技术有限公司 | 基于机器视觉机床零件在线检测方法 |
| CN116485789B (zh) * | 2023-06-16 | 2023-08-25 | 新创碳谷集团有限公司 | 一种碳纤维劈丝缺陷检测方法、设备及存储介质 |
| CN116664559B (zh) * | 2023-07-28 | 2023-11-03 | 深圳市金胜电子科技有限公司 | 基于机器视觉的内存条损伤快速检测方法 |
| CN116778431B (zh) * | 2023-08-25 | 2023-11-10 | 青岛娄山河水务有限公司 | 基于计算机视觉的污泥处理自动监测方法 |
| CN116823820B (zh) * | 2023-08-29 | 2023-11-07 | 青岛东冶耐火材料有限公司 | 一种铝碳质整体塞棒轮廓弯曲检测方法 |
| CN116912250B (zh) * | 2023-09-13 | 2023-11-28 | 山东众成菌业股份有限公司 | 基于机器视觉的菌包生产质量检测方法 |
| CN116977333B (zh) * | 2023-09-22 | 2023-12-22 | 山东恒海钢结构有限公司 | 基于图像数据的装配式钢结构构件质量检测方法 |
| CN117455870B (zh) * | 2023-10-30 | 2024-04-16 | 太康精密（中山）有限公司 | 一种连接线和连接器质量视觉检测方法 |
| CN117152747B (zh) * | 2023-10-31 | 2023-12-29 | 南通鼎城船舶技术有限公司 | 一种船舶压载水的微生物识别方法 |
| CN117173189B (zh) * | 2023-11-03 | 2024-03-05 | 南通江华机械有限公司 | 一种铝合金表面抛光效果视觉检测系统 |
| CN117252877B (zh) * | 2023-11-17 | 2024-02-02 | 济南界龙科技有限公司 | 基于图像特征的二极体导线架质量检测方法 |
| CN117541605B (zh) * | 2024-01-09 | 2024-03-29 | 山东华中重钢有限公司 | 一种钢结构锈蚀图像区域快速分割方法 |
| CN117593303B (zh) * | 2024-01-18 | 2024-04-09 | 浙江锦德光电材料有限公司 | 一种量子点光学膜的缺陷检测方法及系统 |
| CN117671014B (zh) * | 2024-02-02 | 2024-04-19 | 泰安大陆医疗器械有限公司 | 一种基于图像处理的机械臂定位抓取方法及系统 |
| CN117745724B (zh) * | 2024-02-20 | 2024-04-26 | 高唐县瑞景精密机械有限公司 | 基于视觉分析的石材打磨加工缺陷区域分割方法 |
Family Cites Families (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US7162073B1 (en) * | 2001-11-30 | 2007-01-09 | Cognex Technology And Investment Corporation | Methods and apparatuses for detecting classifying and measuring spot defects in an image of an object |
| JP7215390B2 (ja) * | 2019-10-10 | 2023-01-31 | トヨタ自動車株式会社 | 路上障害物検知装置、路上障害物検知方法、及び路上障害物検知プログラム |
| CN113689428B (zh) * | 2021-10-25 | 2022-06-07 | 江苏南通元辰钢结构制造有限公司 | 基于图像处理的机械零件应力腐蚀检测方法及系统 |
| CN114417993A (zh) * | 2022-01-18 | 2022-04-29 | 北京航空航天大学 | 一种基于深度卷积神经网络和图像分割的划痕检测方法 |
| CN114972203A (zh) * | 2022-04-29 | 2022-08-30 | 南通市立新机械制造有限公司 | 基于分水岭分割的机械零件轧制异常检测方法 |
| CN115082419B (zh) * | 2022-07-14 | 2022-12-09 | 江苏诺阳家居科技有限公司 | 一种吹塑箱包生产缺陷检测方法 |
| CN115311290A (zh) * | 2022-10-12 | 2022-11-08 | 南通市通州区精华电器有限公司 | 一种精密仪器金属零部件缺陷检测方法 |
| CN115601361B (zh) * | 2022-12-13 | 2023-04-07 | 苏州迈创信息技术有限公司 | 基于机器视觉机床零件在线检测方法 |
-
2022
- 2022-12-13 CN CN202211593488.4A patent/CN115601361B/zh active Active
-
2023
- 2023-04-03 LU LU504274A patent/LU504274B1/en active IP Right Grant
- 2023-04-03 WO PCT/CN2023/086012 patent/WO2023134793A2/zh unknown
Also Published As
| Publication number | Publication date |
|---|---|
| WO2023134793A2 (zh) | 2023-07-20 |
| WO2023134793A3 (zh) | 2023-09-07 |
| CN115601361A (zh) | 2023-01-13 |
| LU504274B1 (en) | 2023-07-31 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN115601361B (zh) | 基于机器视觉机床零件在线检测方法 | |
| CN114359270B (zh) | 基于计算机视觉的汽车发动机油路铜套缺陷检测方法 | |
| Park et al. | Convolutional neural network based surface inspection system for non-patterned welding defects | |
| CN110245678B (zh) | 一种基于异构孪生区域选取网络的图像匹配方法 | |
| CN109684906B (zh) | 基于深度学习的检测红脂大小蠹的方法 | |
| CN113239930B (zh) | 一种玻璃纸缺陷识别方法、系统、装置及存储介质 | |
| CN115063409B (zh) | 一种机械刀具表面材质检测方法及系统 | |
| CN115984271B (zh) | 基于角点检测的金属毛刺识别方法 | |
| CN115439458A (zh) | 基于深度图注意力的工业图像缺陷目标检测算法 | |
| CN111382785A (zh) | 一种gan网络模型及实现样本自动清洗、辅助标记的方法 | |
| CN115272204A (zh) | 一种基于机器视觉的轴承表面划痕检测方法 | |
| CN115187803B (zh) | 一种用于名优茶嫩芽采摘过程的定位方法 | |
| CN117237646B (zh) | 基于图像分割的pet高温阻燃胶带瑕疵提取方法及系统 | |
| CN117011260A (zh) | 一种芯片外观缺陷自动检测方法、电子设备及存储介质 | |
| CN114627090A (zh) | 一种基于注意力机制的卷积神经网络光学镜片缺陷检测方法 | |
| CN115866502A (zh) | 一种麦克风零件表面缺陷在线检测流程 | |
| CN113724219A (zh) | 基于卷积神经网络的建筑物表面病害检测方法及系统 | |
| CN116758045A (zh) | 一种半导体发光二极管的表面缺陷检测方法及系统 | |
| CN110516640A (zh) | 一种基于特征金字塔联合表示的车辆再辨识方法 | |
| CN115187969A (zh) | 一种基于视觉识别的铅酸电池回收系统和方法 | |
| CN114862786A (zh) | 基于Retinex图像增强和Ostu阈值分割的隔离带检测方法及系统 | |
| CN114092441A (zh) | 一种基于双重神经网络的产品表面缺陷检测方法及系统 | |
| CN113340915A (zh) | 一种材质光滑均匀的玻璃缺陷检测装置及方法 | |
| CN114913334A (zh) | 肉制品加工生产线监控信息系统的图像去噪分割识别方法 | |
| CN115439829A (zh) | 一种基于深度学习的停车位定位方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |