CN114549412A - 检测工件质量的方法、装置和系统 - Google Patents
检测工件质量的方法、装置和系统 Download PDFInfo
- Publication number
- CN114549412A CN114549412A CN202210048948.9A CN202210048948A CN114549412A CN 114549412 A CN114549412 A CN 114549412A CN 202210048948 A CN202210048948 A CN 202210048948A CN 114549412 A CN114549412 A CN 114549412A
- Authority
- CN
- China
- Prior art keywords
- workpiece
- detected
- quality
- image
- real
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 53
- 238000012545 processing Methods 0.000 claims abstract description 11
- 238000001514 detection method Methods 0.000 claims description 54
- 238000013461 design Methods 0.000 claims description 12
- 238000003708 edge detection Methods 0.000 claims description 7
- 230000002194 synthesizing effect Effects 0.000 claims description 6
- 230000002093 peripheral effect Effects 0.000 claims description 3
- 238000004519 manufacturing process Methods 0.000 abstract description 14
- 238000011156 evaluation Methods 0.000 abstract description 5
- 238000012549 training Methods 0.000 abstract description 4
- 238000006243 chemical reaction Methods 0.000 abstract description 3
- 239000000463 material Substances 0.000 abstract description 3
- 239000002699 waste material Substances 0.000 abstract description 3
- 238000004364 calculation method Methods 0.000 description 8
- 230000011218 segmentation Effects 0.000 description 8
- 238000010586 diagram Methods 0.000 description 6
- 238000009499 grossing Methods 0.000 description 6
- 229910000831 Steel Inorganic materials 0.000 description 5
- 238000005520 cutting process Methods 0.000 description 5
- 239000010959 steel Substances 0.000 description 5
- 230000000694 effects Effects 0.000 description 4
- 238000007689 inspection Methods 0.000 description 4
- 238000010276 construction Methods 0.000 description 3
- 238000000605 extraction Methods 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 2
- 230000004927 fusion Effects 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000015572 biosynthetic process Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 238000010191 image analysis Methods 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000007781 pre-processing Methods 0.000 description 1
- 238000003786 synthesis reaction Methods 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0004—Industrial image inspection
- G06T7/0006—Industrial image inspection using a design-rule based approach
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/12—Edge-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/136—Segmentation; Edge detection involving thresholding
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/60—Analysis of geometric attributes
- G06T7/62—Analysis of geometric attributes of area, perimeter, diameter or volume
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10024—Color image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10028—Range image; Depth image; 3D point clouds
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20212—Image combination
- G06T2207/20221—Image fusion; Image merging
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30108—Industrial image inspection
- G06T2207/30164—Workpiece; Machine component
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
- Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
- Y02P90/30—Computing systems specially adapted for manufacturing
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Quality & Reliability (AREA)
- Geometry (AREA)
- Image Analysis (AREA)
Abstract
本发明涉及一种检测工件质量的方法、装置和系统，首先训练得到待检测工件各规格的模型集，再采集待检测工件的实时图像，提取边缘信息，通过融合了边缘信息的实时图像和模型集的匹配，换算得到其实际尺寸，以此作为评价待检测工件质量是否合格的评价指标，计算方便快捷且精度高，在流水线的批量工件加工生产过程中具有重要意义。一方面，能够保障出厂工件质量合格，尤其是对工件外观精度要求高的行业；另一方面，能够在工件加工生产过程中，及时反馈工件实际尺寸，手动或自动调整加工设备的运行参数，避免不合格工件增多所造成的物料和人力浪费，提高产品合格率和生产效率。
Description
技术领域
本发明涉及生产线质量检测领域，特别涉及一种基于图像识别的检测工件质量的方法、装置和系统。
背景技术
近年来，随着国家基建、重工、航空航天、造船、汽车等行业的快速发展，对大型机械的需求也与日俱增，对工件外观形状、尺寸精度的要求也随之不断提高。以切割机对钢板进行工件切割为例，往往因为人为操作、控制误差、硬件损耗等影响，使得切割出的工件在外观形状、尺寸精度等方面达不到预设要求，需要进行质量检查。
现有的质量检测方式，一是人工或机器采用测量工具测量工件的外观尺寸，不仅耗时长而且达不到准确的测量精度要求，容易造成漏检或误检；二是通过图像识别技术识别工件的外观尺寸，但是现有的检测方式不能很好的结合产线、快速准确的判断工件是否合格。因此，如何提供一种快速准确的质量检测方法，是工件生产中质检抽检环节一个亟待解决的技术问题。
发明内容
为解决上述技术问题，本发明提供了一种检测工件质量的方法，包括：
T1：获取待检测工件的模型集；
T2：采集待检测工件的实时图像；
T3：根据实时图像，提取实时图像的边缘图像；
T4：将实时图像的边缘图像与实时图像融合，得到融合后的实时图像；
T5：将融合后的实时图像与模型集匹配，在模型集中匹配得到与待检测工件匹配的匹配模型；
T6：根据匹配模型所对应的尺寸，计算待检测工件的实际尺寸；
T7：根据实际尺寸，判定待检测工件的质量是否合格。
进一步地，步骤T3，包括：
T31：对实时图像，进行平滑降噪预处理，得到预处理后的实时图像；
T32：构造边缘检测算子，对预处理后的实时图像进行边缘检测，确定实时图像的边缘区块；
T33：通过阈值二值化处理，连接实时图像的边缘区块，得到实时图像的边缘图像。
进一步地，步骤T7，包括：
T71：判断实际尺寸是否在设计范围内；
T72：若在设计范围，则判定待检测工件质量合格；
T73：若不在设计范围，则判定待检测工件质量不合格。
进一步地，方法，还包括：
S1：获取待检测工件的点云图像；
S2：计算点云图像中，每个点相对于局部平面的法线和曲率；
S3：根据法线和曲率，分割点云图像中的不同平面；
S4：计算点云图像中待检测工件的不同平面与其相邻面的夹角；
S5：根据待检测工件的不同平面与其相邻面的夹角，判定待检测工件是否质量合格。
进一步地，步骤S1，包括：
S11：采集待检测工件的彩色图和深度图；
S12：合成彩色图和深度图，得到点云图像。
进一步地，步骤S3，包括：
S31：选取曲率最低的点为种子点；
S32：判断种子点与以种子点为中心的周围点的法线夹角和曲率差值是否超过设定阈值；
S33：若未超过设定阈值，则判定周围点与种子点为同一平面，并扩张周围点的范围，返回步骤S32，直至点云图像中所有点遍历完成；
S34：若超过设定阈值，则判定周围点与种子点不为同一平面，分割成新的平面，并以超过设定阈值的点为新的种子点，返回步骤S32直至所有点遍历完成。
进一步地，步骤S5，包括：
S51：判断待检测工件的不同平面与其相邻面的夹角是否在设定范围内；
S52：若在设定范围内，则判定待检测工件质量合格；
S53：若不在设定范围内，则判定待检测工件质量不合格。
进一步地，方法，还包括：
O1：抓取待检测工件至检测点；
O2：在引用权利要求1-3时，执行步骤S1-S5；在引用权利要求4-7时，执行步骤S1-S5或/和T1-T7；
O3：从检测点抓取待检测工件返回。
进一步地，本发明还提供一种检测工件质量的装置，执行上述任意的检测工件质量的方法。
进一步地，本发明还提供一种检测工件质量的系统，包括上述检测工件质量的装置和抓取装置、检测箱；
所述抓取装置，用于抓取待检测工件至所述检测箱；
所述检测工件质量的装置，用于在所述检测箱内，检测所述待检测工件的质量；
所述抓取装置，还用于抓取所述待检测工件返回。
本发明提供的检测工件质量的方法、装置和系统，首先训练得到待检测工件各规格的模型集，再采集待检测工件的实时图像，提取边缘信息，通过融合了边缘信息的实时图像和模型集的匹配，换算得到其实际尺寸，以此作为评价待检测工件质量是否合格的评价指标，计算方便快捷且精度高，在流水线的批量工件加工生产过程中具有重要意义。一方面，能够保障出厂工件质量合格，尤其是有效应用于国家基建、重工、航空航天等对工件外观精度要求高的行业；另一方面，能够在工件加工生产过程中，及时反馈快速检测出工件实际尺寸，手动或自动调整加工设备的运行参数，避免不合格工件增多所造成的物料和人力浪费，提高产品合格率和生产效率。
附图说明
图1为本发明检测工件质量的方法的一个实施例的流程图；
图2为本发明检测工件质量的方法的步骤S1的一个实施例的流程图；
图3为本发明检测工件质量的装置的检测箱的一个实施例的结构图；
图4为本发明检测工件质量的方法的步骤S3中平面分割的效果图；
图5为本发明检测工件质量的方法的步骤S3的一个实施例的流程图；
图6为本发明检测工件质量的方法的步骤S4的一个实施例的流程图；
图7为本发明检测工件质量的方法的步骤S4中平滑处理前图像；
图8为本发明检测工件质量的方法的步骤S4中平滑处理后图像；
图9为本发明检测工件质量的方法的步骤S5的一个实施例的流程图；
图10为本发明检测工件质量的方法的另一个实施例的流程图；
图11为本发明检测工件质量的方法的步骤T3的一个实施例的流程图；
图12为本发明检测工件质量的方法的步骤T7的一个实施例的流程图；
图13为本发明检测工件质量的方法的另一个实施例的流程图；
图14为本发明检测工件质量的装置的一个实施例的结构框图；
图15为本发明检测工件质量的装置的另一个实施例的结构框图；
图16为本发明检测工件质量的系统的一个实施例的结构示意图。
具体实施方式
如图1所示，提供了一种检测工件质量的方法，可选但不仅限于包括：
S1：获取待检测工件的点云图像。具体的，如图2所示，可选但不仅限于包括：S11：采集待检测工件的彩色图和深度图；S12：合成该彩色图和深度图得到点云图像。更为具体的，可选但不仅限于采用3D相机等图像采集设备采集待检测工件的彩色图和深度图，以合成得到其点云图像。更为具体的，可选但不仅限于检测前将待检测工件抓取至检测箱中，以优化图像采集设备的工作环境，进一步提高彩色图、深度图的检测精度，以合成得到高精度的点云图像，为后续质量检测的高精确度奠定基础。更为具体的，图像采集设备优选为设置在待检测工件的一角偏上方，以获取某个角度的图像，进一步提高质量检测的精度。更为具体的，图像采集设备可选但不仅限于为一台或多台，设置在待检测工件的一个或多个角度，以进一步提高质量检测的精度。
S2：计算点云图像中，每个点相对于局部平面的法线和曲率。具体的，可选但不仅限于在计算前，使用直通滤波器过滤掉无关区域，以进一步提高后续质量检测的精确度。
S3：根据每个点相对于局部平面的法线和曲率，分割点云图像得到不同平面(如图4所示为平面分割后效果图)。具体的，如图5所示，该步骤S3，可选但不仅限于包括：
S31：选取曲率最低的点为种子点；
S32：判断种子点与以种子点为中心的周围点的法线夹角和曲率差值是否超过设定阈值；具体的，该周围点，可选但不仅限于定义为以种子点为中心，以r为半径或以a为边长等，在该区域范围内的点为周围点，后续S33中扩张周围点的范围，即增加r或a的值。更为具体的，该法线夹角的设定阈值(第一阈值)和曲率差值的设定阈值(第二阈值)，可由本领域技术人员根据是否可以认定为同一平面的误差大小、精度要求等而任意设定。
S33：若未超过设定阈值，则判定周围点与种子点为同一平面，并扩张周围点的范围，返回步骤S32，直至点云图像中所有点遍历完成；
S34：若超过设定阈值，则判定周围点与种子点不为同一平面，分割成新的平面，并以超过设定阈值的点为新的种子点，返回步骤S32直至所有点遍历完成。
S4：计算点云图像中待检测工件的不同平面与其相邻面的夹角；具体的，如图6所示，该步骤S4，可选但不仅限于包括：
S41：对待检测工件的不同平面做平滑处理。具体的，可选但不仅限于在计算前，先区别点云图像中分割得到的不同平面中，哪些属于待检测工件的平面，哪些不属于待检测工件的平面(如放置待检测工件的检测台的平面)，再将步骤S3中分割得到的点云图像中待检测工件的不同平面，采用最小乘法做进一步的平滑处理(如图7所示为平滑处理前的图像，如图8所示为平滑处理后的图像)，值得注意的该平滑处理步骤，是非必要步骤，仅为进一步提高后续质量检测的精度而设定，其使用的最小二乘法也非唯一方法，本领域技术人员可理解的其它提高画面精度的方法均可用于该步骤做进一步优化处理。
S42：取平滑处理后点云图像中待检测工件的不同平面(每个不同平面)的法线，计算待检测工件的不同平面与其相邻面的法线夹角，得到待检测工件的不同平面与其相邻面的夹角(如每个侧面与顶面或底面的夹角)。
S5：根据不同平面与其相邻面的夹角，判定待检测工件质量是否合格。具体的，本领域技术人员可以理解的相邻面的夹角，即为待检测工件坡口的实际角度(即切口角度)，以该相邻面夹角作为质量指标，能够保证待检测工件的坡口(切口)角度是否符合设计要求，以及切口是否平整顺滑，无毛刺卡壳等。示例的，以钢板分割为例，在切刀按照一定角度分割钢板时，其坡口(切口)——任意侧面与上表面或下表面会形成一个坡口角度，若切刀下刀的角度不准或者分割不顺畅导致切口不平整时，会使得点云图像下分割出的相邻面的夹角与实际设计的夹角出现偏差，可根据该相邻面的夹角是否等于设定值或者在设定范围内，判定该待检测工件的质量是否合格。具体的，如图9所示，步骤S5，可选但不仅限于包括：
S51：判断待检测工件的不同平面与其相邻面的夹角是否在设定范围内(设计角度±容许的误差精度)；
S52：若在设定范围内，则判定待检测工件质量合格；
S53：若不在设定范围内，则判定待检测工件质量不合格。
在该实施例中，本发明提供一种检测工件质量的方法，其首先采集待检测工件的点云图像，再计算得到每个点相对于局部平面的法线和曲率，据此分割得到点云图像中待检测工件的不同平面，通过计算不同平面与其相邻面(若获取的点云图像为待检测工件的某个侧边的图像，则仅能分割出待检测工件的两个不同平面(一个侧面和顶面或底面)，计算得到一个夹角，反应一个侧面切口的实际角度，即仅抽检待检测工件的一个切口是否质量合格；若从多个角度获取待检测工件的多个侧边的图像，则能分割出待检测工件的多个不同平面(多个侧面分别与顶面或底面)，计算得到多个夹角，反应多个侧面切口的实际角度，即从多维检测待检测工件的多个切口是否质量合格，避免漏检)的夹角，反应待检测工件坡口的实际夹角(切口角度和平整度)，以此作为评价待检测工件质量是否合格的评价指标，计算方便快捷且精度高，在流水线的批量工件加工生产过程中具有重要意义。一方面，能够保障出厂工件质量合格，尤其是有效应用于国家基建、重工、航空航天等对工件外观精度要求高的行业；另一方面，能够在工件加工生产过程中，及时反馈快速检测出的相邻面夹角，手动或自动调整加工设备的运行参数(如切刀的下刀角度、速度、力度；更换分割刀头；调整分割工艺)，避免不合格工件增多所造成的物料和人力浪费，提高产品合格率和生产效率。值得注意的，该质量检测精度与采集点云图像的精确度、图像分析识别度、夹角计算准确度等相关，能为质量抽检(尤其是待检测工件的一面或多面抽检)提供有效保障。
如图10所示，本发明还提供一种检测工件质量的方法，步骤T：以待检测工件的外观尺寸作为质量指标，判断其质量是否合格。具体的，可选但不仅限于包括：
T1：获取待检测工件的模型集；具体的，可选但不仅限于预先对工件的不同型号、规格进行特征提取或自动缩放，以训练得到对应型号、规格的模型组成模型集；更为具体的，以钢铁分割类比为容易理解的蛋糕制作为例，可选但不仅限于以5寸、8寸、10寸的蛋糕模型作为训练集，采集各型号规格的图像作为模型集，或通过自动缩放得到不同型号规格的图像作为模型集。
T2：采集待检测工件的实时图像；具体的，可选但不仅限于采用2D相机等图像采集设备，采集待检测工件的实时图像。更为具体的，可选但不仅限于检测前将待检测工件抓取至检测箱中，以优化图像采集设备的工作环境，进一步提高实时图像的检测精度，为后续质量检测的高精确度奠定基础；
T3：根据实时图像，提取实时图像的边缘图像。具体的，该实时图像中，可选但不仅限于包括待检测工件、用于放置待检测工件的检测台等，可选但不仅限于采用边缘检测技术，检测实时图像中的边缘区域，提取实时图像的边缘信息，从而得到实时图像的边缘图像。值得注意的，该实时图像中提取的边缘图像(边缘信息)，可能不仅包括待检测工件的边缘信息，还可能包括检测台等其它在该视野范围内物体的边缘信息，需通过步骤T5匹配得到仅属于该待检测工件的边缘信息。具体的，如图11所示，步骤T3，可选但不仅限于包括：
T31：对实时图像，进行平滑降噪预处理，得到预处理后的实时图像；
T32：构造边缘检测算子，对预处理后的实时图像进行边缘检测，确定实时图像的边缘区块；
T33：通过阈值二值化处理，连接实时图像的边缘区块，得到实时图像的边缘图像。
T4：将实时图像的边缘图像与实时图像融合，得到融合后的实时图像。具体的，以T3得到的边缘图像对实时图像进行修正融合，得到融合后的实时图像。
T5：将融合后的实时图像与模型集匹配，在模型集中匹配得到与待检测工件匹配的匹配模型；具体的，同样以上述蛋糕制作为例，可选但不仅限于将融合后的实时图像与5寸、8寸、10寸等型号规格的模型集匹配，匹配得到与待检测工件相对应的匹配模型(示例的8寸)。更为具体的，还可选但不仅限于根据待检测工件的精度要求、图像采集的误差大小等，设定标准规格附近的模型集(以8寸蛋糕为例，可选但不仅限于设定7.5、7.8、7.9、8.1、8.2、8.5等尺寸的模型集)，以在模型集中匹配得到与待检测工件更为精确对应的匹配模型。
T6：根据匹配模型所对应的尺寸，计算待检测工件的实际尺寸；具体的，可选但不仅限于根据模型集的像素点与实际工件尺寸的比例关系，换算得到待检测工件的实时尺寸。
T7：根据实际尺寸，判定待检测工件的质量是否合格。具体的，如图12所示，步骤T7，可选但不仅限于，包括：
T71：判断实际尺寸是否在设计范围内(设计尺寸±容许的误差精度)；具体的，可选但不仅限于计算实际尺寸与预设尺寸的差值或商等，根据差值是否超过预设阈值或商是否小于预设范围，来做进一步的判断；
T72：若在设计范围，则判定待检测工件质量合格；
T73：若不在设计范围，则判定待检测工件质量不合格。
在该实施例中，本发明提供了另一种检测工件质量的方法，其首先训练得到待检测工件各规格的模型集，再采集待检测工件的实时图像，提取边缘信息，通过融合了边缘信息的实时图像和模型集的匹配，换算得到其实际尺寸，以此作为评价待检测工件质量是否合格的评价指标，与上述坡口的实际夹角这个评价指标一样，其计算方便快捷且精度高，在流水线的批量工件加工生产过程中具有重要意义。
值得注意的，本发明提供的检测工件质量的方法，可选但不仅限于根据上述相邻面夹角(坡口实际夹角)和实际尺寸等多维评价指标，全方位的评价待检测工件是否合格，步骤S1-S5及步骤T1-T7，可选但不仅限于先后进行或同时进行。
更为具体的，如图13所示，本发明的检测工件质量的方法，还可选但不仅限于包括：
O1：抓取待检测工件至检测点；
O2：执行步骤S1-S5或/和T1-T7；
O3：从检测点抓取待检测工件返回。
在该实施例中，如图13所示，可选但不仅限于将本发明检测工件质量的方法应用于流水生产线上，从输送线上抓取待检测工件至检测点(可选但不仅限于为检测箱)中，完成质量检测后，再返回送到输送线上，将本发明的质量检测方法很好的融入生产线，在不影响生产流程及效率的前提下能够快速进行工件检测并反馈检测结果及时调整切割流程。具体的，可选但不仅限于采用如机器人等形式的抓取装置，首先获取抓取装置状态信息并拍照识别计算出待检测工件的抓取点位、检测点位和运行轨迹，然后根据抓取点位抓取待检测工件放置于检测点位(检测箱)中，并移动到安全位置，随后系统发送指令开始对待检测工件进行检测并获取检测结果，最后抓取装置将检测完毕的工件抓取出检测箱，放置输送线后完成检测。更为优选的，步骤O3，可选但不仅限于根据质量检测结果，分类返回待检测工件至不同位置。如将合格产品、不合格产品分类放置等。
如图14所示，本发明还在上述方法基础上提供一种检测工件质量的装置，包括：
获取模块100，用于获取待检测工件的点云图像。具体的，该获取模块100，可选但不仅限于包括采集单元110和合成单元120。该采集单元110，可选但不仅限于为3D相机等图像采集设备，采集待检测工件的彩色图和深度图，以发送给合成单元120，合成得到其点云图像；
法线和曲率计算模块200，与所述获取模块100连接，用于计算点云图像中，每个点相对于局部平面的法线和曲率；
平面分割模块300，与所述法线和曲率计算模块200连接，用于根据法线和曲率，分割点云图像中的不同平面；
夹角计算模块400，与所述平面分割模块300连接，用于计算点云图像中待检测工件的不同平面与其相邻面的夹角；
夹角质量判定模块500，与所述夹角计算模块400连接，用于根据待检测工件的不同平面与其相邻面的夹角，判定待检测工件是否质量合格。
在该实施例中，给出了一种检测工件质量的装置，其基于上述检测工件质量的方法而创造，用于执行步骤S1-步骤S5，其技术特征的组合、技术效果在此不再赘述。示例的，根据步骤S11-S12，获取模块100，可选但不仅限于包括采集单元110和合成单元120；根据步骤S31-S34，平面分割模块300，可选但不仅限于包括：种子点选取单元310、第一判断单元320、第一平面判定单元330、第二平面判定单元340完成相应功能；根据步骤S51-S53，夹角质量判定模块500，可选但不仅限于包括第二判断单元510，第一质量判定单元520、第二质量判定单元530完成相应功能。
同样的，相对于步骤T1-T7，如图15所示，上述检测工件质量的装置，还可选但不仅限于包括：模型获取模块10，用于获取待检测工件的模型集；
实时图像采集模块20，用于采集待检测工件的实时图像；
边缘图像提取模块30，用于根据实时图像，提取实时图像的边缘图像；
图像融合模块40，与实时图像采集模块20和边缘图像提取模块30连接，用于将实时图像的边缘图像与实时图像融合，得到融合后的实时图像；
模型匹配模块50，与图像融合模块40和模型获取模块10连接，用于将融合后的实时图像与模型集匹配，在模型集中匹配得到与待检测工件匹配的匹配模型；
尺寸计算模块60，与模型匹配模块50连接，用于根据匹配模型所对应的尺寸，计算待检测工件的实际尺寸；
尺寸质量判定模块70，与尺寸计算模块60连接，用于根据实际尺寸，判定待检测工件的质量是否合格。
同样的，该检测工件质量的装置，基于上述检测工件质量的方法而创造，用于执行步骤T1-步骤T7，其技术特征的组合、技术效果在此不再赘述。示例的，根据步骤T31-T33，边缘图像提取模块30，可选但不仅限于包括：实时图像预处理单元31、边缘区块确定单元32、边缘图像获取单元33；根据步骤T71-步骤T73，尺寸质量判定模块70，可选但不仅限于包括：第三判断单元71，第四质量判定单元72、第五质量判定单元73。
更为具体的，如图16所示，本发明还提供一种检测工件质量的系统，包括上述任意的检测工件质量的装置和抓取装置B、检测箱C。该抓取装置B，用于抓取待检测工件至检测箱，通过检测工件质量的装置完成质量检测后，再通过抓取装置抓取返回原处(生产线上)。具体的，抓取装置可选但不仅限于包括吸盘、夹爪等形式的抓取模块、单片机等形式的控制模块、电机液压设备等形式的驱动模块等，其具体结构形式以及控制流程，可由本领域技术人员根据待抓取工件的形状、尺寸等而任意设定。
更为具体的，如图3所示，检测箱C，可选但不仅限于包括：箱体C1(可选但不仅限于为四方结构，除用于进出待检测工件的一面外，其余面为封闭结构)、检测台C2(可选但不仅限于设置在箱体的中部)、获取模块100(可选但不仅限于设置于检测台的一角或多角，便于拍摄到待检测工件的位置；可选但不仅限于为一台或多台，以从不同角度采集待检测工件的多维图像，多角度的检测待检测工件的质量)、实时图像采集模块20(可选但不仅限于设置在检测台的上方，优选为1米位置，以全方位的采集待检测工件的实时图像)、光源C3(可选但不仅限于设置在检测台的上方，以提高拍摄精度)等。
上述检测工件质量的装置、系统基于上述方法创造，其技术作用和有益效果在此不再赘述，以上所述实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。
以上所述实施例仅表达了本发明的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变形和改进，这些都属于本发明的保护范围。因此，本发明专利的保护范围应以所附权利要求为准。
Claims (10)
1.一种检测工件质量的方法，其特征在于，包括：
T1：获取待检测工件的模型集；
T2：采集待检测工件的实时图像；
T3：根据实时图像，提取实时图像的边缘图像；
T4：将实时图像的边缘图像与实时图像融合，得到融合后的实时图像；
T5：将融合后的实时图像与模型集匹配，在模型集中匹配得到与待检测工件匹配的匹配模型；
T6：根据匹配模型所对应的尺寸，计算待检测工件的实际尺寸；
T7：根据实际尺寸，判定待检测工件的质量是否合格。
2.根据权利要求1所述的方法，其特征在于，步骤T3，包括：
T31：对实时图像，进行平滑降噪预处理，得到预处理后的实时图像；
T32：构造边缘检测算子，对预处理后的实时图像进行边缘检测，确定实时图像的边缘区块；
T33：通过阈值二值化处理，连接实时图像的边缘区块，得到实时图像的边缘图像。
3.根据权利要求1所述的方法，其特征在于，步骤T7，包括：
T71：判断实际尺寸是否在设计范围内；
T72：若在设计范围，则判定待检测工件质量合格；
T73：若不在设计范围，则判定待检测工件质量不合格。
4.根据权利要求1-3任意一项所述的方法，其特征在于，还包括：
S1：获取待检测工件的点云图像；
S2：计算点云图像中，每个点相对于局部平面的法线和曲率；
S3：根据法线和曲率，分割点云图像中的不同平面；
S4：计算点云图像中待检测工件的不同平面与其相邻面的夹角；
S5：根据待检测工件的不同平面与其相邻面的夹角，判定待检测工件是否质量合格。
5.根据权利要求4所述的方法，其特征在于，步骤S1，包括：
S11：采集待检测工件的彩色图和深度图；
S12：合成彩色图和深度图，得到点云图像。
6.根据权利要求4所述的方法，其特征在于，步骤S3，包括：
S31：选取曲率最低的点为种子点；
S32：判断种子点与以种子点为中心的周围点的法线夹角和曲率差值是否超过设定阈值；
S33：若未超过设定阈值，则判定周围点与种子点为同一平面，并扩张周围点的范围，返回步骤S32，直至点云图像中所有点遍历完成；
S34：若超过设定阈值，则判定周围点与种子点不为同一平面，分割成新的平面，并以超过设定阈值的点为新的种子点，返回步骤S32直至所有点遍历完成。
7.根据权利要求4所述的方法，其特征在于，步骤S5，包括：
S51：判断待检测工件的不同平面与其相邻面的夹角是否在设定范围内；
S52：若在设定范围内，则判定待检测工件质量合格；
S53：若不在设定范围内，则判定待检测工件质量不合格。
8.根据权利要求1-7任意一项所述的方法，其特征在于，还包括：
O1：抓取待检测工件至检测点；
O2：在引用权利要求1-3时，执行步骤S1-S5；在引用权利要求4-7时，执行步骤S1-S5或/和T1-T7；
O3：从检测点抓取待检测工件返回。
9.一种检测工件质量的装置，其特征在于，执行权利要求1-8任意一项所述的方法。
10.一种检测工件质量的系统，其特征在于，包括权利要求9所述的检测工件质量的装置和抓取装置、检测箱；
所述抓取装置，用于抓取待检测工件至所述检测箱；
所述检测工件质量的装置，用于在所述检测箱内，检测所述待检测工件的质量；
所述抓取装置，还用于抓取所述待检测工件返回。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210048948.9A CN114549412A (zh) | 2022-01-17 | 2022-01-17 | 检测工件质量的方法、装置和系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210048948.9A CN114549412A (zh) | 2022-01-17 | 2022-01-17 | 检测工件质量的方法、装置和系统 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN114549412A true CN114549412A (zh) | 2022-05-27 |
Family
ID=81670984
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202210048948.9A Pending CN114549412A (zh) | 2022-01-17 | 2022-01-17 | 检测工件质量的方法、装置和系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN114549412A (zh) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115035123A (zh) * | 2022-08-15 | 2022-09-09 | 成都三是汇科技有限公司 | 一种管瓶热端检测方法、系统、装置及存储介质 |
| CN117405054A (zh) * | 2023-10-26 | 2024-01-16 | 浙江巨丰模架有限公司 | 基于三坐标测量的模架精框精度在线检测方法及系统 |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20110286660A1 (en) * | 2010-05-20 | 2011-11-24 | Microsoft Corporation | Spatially Registering User Photographs |
| CN106091922A (zh) * | 2016-05-25 | 2016-11-09 | 广州市思林杰自动化科技有限公司 | 一种对工件进行检测的方法及装置 |
| US20180356569A1 (en) * | 2015-12-01 | 2018-12-13 | Suzhou Taospec Optronics Co., Ltd. | Reflecting prism for optical resonant cavity, and optical resonant cavity and spectral measurement instrument thereof |
| CN110033447A (zh) * | 2019-04-12 | 2019-07-19 | 东北大学 | 一种基于点云方法的高铁重轨表面缺陷检测方法 |
| CN110672007A (zh) * | 2019-09-24 | 2020-01-10 | 佛山科学技术学院 | 一种基于机器视觉的工件表面质量检测方法及系统 |
| CN112819883A (zh) * | 2021-01-28 | 2021-05-18 | 华中科技大学 | 一种规则对象检测及定位方法 |
-
2022
- 2022-01-17 CN CN202210048948.9A patent/CN114549412A/zh active Pending
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20110286660A1 (en) * | 2010-05-20 | 2011-11-24 | Microsoft Corporation | Spatially Registering User Photographs |
| US20180356569A1 (en) * | 2015-12-01 | 2018-12-13 | Suzhou Taospec Optronics Co., Ltd. | Reflecting prism for optical resonant cavity, and optical resonant cavity and spectral measurement instrument thereof |
| CN106091922A (zh) * | 2016-05-25 | 2016-11-09 | 广州市思林杰自动化科技有限公司 | 一种对工件进行检测的方法及装置 |
| CN110033447A (zh) * | 2019-04-12 | 2019-07-19 | 东北大学 | 一种基于点云方法的高铁重轨表面缺陷检测方法 |
| CN110672007A (zh) * | 2019-09-24 | 2020-01-10 | 佛山科学技术学院 | 一种基于机器视觉的工件表面质量检测方法及系统 |
| CN112819883A (zh) * | 2021-01-28 | 2021-05-18 | 华中科技大学 | 一种规则对象检测及定位方法 |
Non-Patent Citations (1)
| Title |
|---|
| 谢先武等: "一种面向机器人分拣的杂乱工件视觉检测识别方法", 《高技术通讯》, vol. 28, no. 4, 30 April 2018 (2018-04-30), pages 344 - 353 * |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115035123A (zh) * | 2022-08-15 | 2022-09-09 | 成都三是汇科技有限公司 | 一种管瓶热端检测方法、系统、装置及存储介质 |
| CN117405054A (zh) * | 2023-10-26 | 2024-01-16 | 浙江巨丰模架有限公司 | 基于三坐标测量的模架精框精度在线检测方法及系统 |
| CN117405054B (zh) * | 2023-10-26 | 2024-04-30 | 浙江巨丰模架有限公司 | 基于三坐标测量的模架精框精度在线检测方法及系统 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111537517B (zh) | 一种无人智能化冲压缺陷识别方法 | |
| CN114549412A (zh) | 检测工件质量的方法、装置和系统 | |
| CN114066893A (zh) | 检测工件质量的方法、装置和系统 | |
| CN102252611B (zh) | 几何定位方法 | |
| CN111062915A (zh) | 一种基于改进YOLOv3模型的实时钢管缺陷检测方法 | |
| CN105787486B (zh) | 一种基于图像处理的钢梁裂纹检测方法 | |
| CN105865344A (zh) | 一种基于机器视觉的工件尺寸测量方法和装置 | |
| KR102634535B1 (ko) | 포인트 집단 분석을 이용한 작업대상물의 터치교시점 인식방법 | |
| CN105783723A (zh) | 基于机器视觉的精密模具表面加工精度检测装置及方法 | |
| CN109590952B (zh) | 成套工艺装配板的智能检测方法和检测工作台 | |
| CN105563481A (zh) | 一种用于轴孔装配的机器人视觉引导方法 | |
| CN109990711B (zh) | 一种冲孔镀镍钢带的外观质量检测方法 | |
| CN108489394A (zh) | 一种大尺寸薄板金属工件几何质量自动检测装置及方法 | |
| CN109191367A (zh) | 刀具磨损图像的拼接方法及刀具的寿命预测方法 | |
| CN108356422A (zh) | 带卷连续激光落料用在线测量、废料掉落及成品分离识别方法 | |
| CN116740060A (zh) | 基于点云几何特征提取的装配式预制构件尺寸检测方法 | |
| CN102914479A (zh) | 布氏硬度自动测定方法 | |
| CN208042989U (zh) | 一种大尺寸薄板金属工件几何质量自动检测装置 | |
| Chen et al. | Design of burr detection based on image processing | |
| CN117367516A (zh) | 基于多维测试的铝塑复合板性能检测系统 | |
| CN117537706A (zh) | 基于三轴坐标转换与单目视觉融合的钣金孔洞定位尺寸检测方法 | |
| Zhou et al. | Automated detection of surface defects on sphere parts using laser and CDD measurements | |
| Sahoo et al. | An effective quality inspection system using image processing techniques | |
| TWI419762B (zh) | 工具機工件線上量測方法及其裝置 | |
| Duan et al. | Automatic optical inspection of micro drill bit in printed circuit board manufacturing based on pattern classification |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |