CN113283478A - 一种基于特征匹配的装配体多视角变化检测方法及设备 - Google Patents
一种基于特征匹配的装配体多视角变化检测方法及设备 Download PDFInfo
- Publication number
- CN113283478A CN113283478A CN202110506029.7A CN202110506029A CN113283478A CN 113283478 A CN113283478 A CN 113283478A CN 202110506029 A CN202110506029 A CN 202110506029A CN 113283478 A CN113283478 A CN 113283478A
- Authority
- CN
- China
- Prior art keywords
- matched
- image
- region
- matching
- unmatched
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 16
- 238000004422 calculation algorithm Methods 0.000 claims description 15
- 238000004364 calculation method Methods 0.000 claims description 8
- 238000007621 cluster analysis Methods 0.000 claims description 4
- 238000004458 analytical method Methods 0.000 claims description 3
- 238000001914 filtration Methods 0.000 claims description 3
- 238000005070 sampling Methods 0.000 claims description 2
- 238000000034 method Methods 0.000 abstract description 27
- 238000004519 manufacturing process Methods 0.000 abstract description 5
- 230000000007 visual effect Effects 0.000 abstract description 5
- 238000004904 shortening Methods 0.000 abstract description 2
- 238000010586 diagram Methods 0.000 description 6
- 238000013135 deep learning Methods 0.000 description 5
- 238000013136 deep learning model Methods 0.000 description 3
- 238000000605 extraction Methods 0.000 description 3
- 230000009286 beneficial effect Effects 0.000 description 2
- 230000011218 segmentation Effects 0.000 description 2
- 238000012549 training Methods 0.000 description 2
- 238000013461 design Methods 0.000 description 1
- 238000003064 k means clustering Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 238000003860 storage Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
- G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
- G06V10/757—Matching configurations of points or features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
- G06V10/443—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components by matching or filtering
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0004—Industrial image inspection
- G06T7/001—Industrial image inspection using an image reference approach
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/23—Clustering techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/23—Clustering techniques
- G06F18/232—Non-hierarchical techniques
- G06F18/2321—Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions
- G06F18/23213—Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions with fixed number of clusters, e.g. K-means clustering
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0004—Industrial image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30108—Industrial image inspection
- G06T2207/30164—Workpiece; Machine component
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
- Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
- Y02P90/30—Computing systems specially adapted for manufacturing
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- Multimedia (AREA)
- General Engineering & Computer Science (AREA)
- Evolutionary Biology (AREA)
- Bioinformatics & Computational Biology (AREA)
- Life Sciences & Earth Sciences (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Quality & Reliability (AREA)
- Probability & Statistics with Applications (AREA)
- Health & Medical Sciences (AREA)
- Computing Systems (AREA)
- Databases & Information Systems (AREA)
- General Health & Medical Sciences (AREA)
- Medical Informatics (AREA)
- Software Systems (AREA)
- Image Analysis (AREA)
Abstract
本发明涉及一种基于特征匹配的装配体多视角变化检测方法，包括如下步骤：S1、获取第一图像与第二图像；S2、对第一图像与第二图像进行特征点提取和特征匹配，得到匹配对集、第一图像的第一不匹配点集和第二图像的第二不匹配点集；S3、根据第一不匹配点集，获取第一图像的第一待匹配区域集；根据第二不匹配点集，获取第二图像的第二待匹配区域集；S4、对所述各第一未匹配区域与所述各第二未匹配区域一一进行特征匹配，得到若干个匹配结果；S5、根据所述若干个匹配结果，输出装配体变化类型。本发明获取装配体在不同装配过程不同视角下的图像，通过识别图像中的变化区域，判断装配体的变化类型，能及时发现装配过程中的错误，从而降低产品的不合格率，缩短产品的生产周期。
Description
技术领域
本发明涉及一种基于特征匹配的装配体多视角变化检测方法及设备，属于图像处理领域。
背景技术
装配是产品制造的重要生产过程，是指按照设计要求将机械零部件组装连接的过程。随着产品类型的不断变化，装配难度也不断增加。在复杂机械产品装配过程中，一旦未能及时检测出装配过程中出现的错误(如装配顺序错误、漏装、错装等)，将会直接影响机械产品的装配效率和使用寿命。故需要对机械装配体变化状态进行检测，及时发现装配过程中的错误。
现有技术，如公开号为CN109816049A的专利《一种基于深度学习的装配监测方法、设备及可读存储介质》，构建并训练深度学习模型，深度学习模型输出物理装配体的像素分割图像，所述像素分割图像通过像素颜色表征不同零件，识别出物理装配体的各零件。该专利能够识别装配体的各零件、监测装配步骤以及各零件是否装配出错、出错类型。但深度学习模型需要收集大量训练集并需要大量的训练时间，计算量大，对运行设备的硬件要求较高。
现有技术，如公开号为CN106897995A的专利《一种面向机械装配过程的零部件自动识别方法》将零部件装配序列库中将要装配的零部件特征与零散环境中的零部件堆的图像特征进行配准识别，实现对零部件自动识别。该专利没能实现对装配过程中装配错误及装配错误类型的识别。
发明内容
为了解决上述现有技术中存在的问题，本发明提供一种基于特征匹配的装配体多视角变化检测方法，通过识别图像中的变化区域，判断装配体的变化类型，能及时发现装配过程中的错误，从而降低产品的不合格率，缩短产品的生产周期。
本发明的技术方案如下：
技术方案一：
一种基于特征匹配的装配体多视角变化检测方法，包括如下步骤：
S1、获取第一图像与第二图像，所述第一图像为装配体前一时刻图像，所述第二图像为装配体后一时刻图像；
S2、对第一图像与第二图像进行特征点提取和特征匹配，得到匹配对集、第一图像的第一不匹配点集和第二图像的第二不匹配点集；
S3、根据第一不匹配点集，获取第一图像的第一待匹配区域集；根据第二不匹配点集，获取第二图像的第二待匹配区域集；所述待匹配区域为图像中相似的若干个不匹配点形成的区域；
S4、对所述各第一未匹配区域与所述各第二未匹配区域一一进行特征匹配，得到若干个匹配结果；
S5、根据所述若干个匹配结果，输出装配体变化类型。
进一步的，所述步骤S2具体为：
分别提取第一图像与第二图像的特征点；
分别提取第一图像与第二图像的显著性区域；
根据特征点的局部梯度信息，匹配第一图像显著性区域与第二图像显著性区域内的特征点，得到匹配对集；利用随机抽样一致性算法滤去匹配对集的误匹配对；
所述第一不匹配点集包括第一图像中不属于匹配对集的所有特征点；所述第二不匹配点集包括第二图像中不属于匹配对集的所有特征点。
进一步的，所述步骤S3具体为：
对第一不匹配点集进行聚类分析，得到若干个第一不匹配点簇；对第二不匹配点集进行聚类分析，得到若干个第二不匹配点簇；
分别获取各第一不匹配点簇与各第二不匹配点簇的簇边界；根据各第一不匹配点簇的簇边界分割第一图像，得到所述第一待匹配区域集；根据各第二不匹配点簇的簇边界分割第二图像，得到所述第二待匹配区域集。
进一步的，获取所述簇边界的具体步骤为：
利用凸包算法，选取不匹配点簇的若干个边界特征点；连接所述若干个边界特征点，得到该不匹配点簇的簇边界。
进一步的，所述步骤S3还包括对簇边界进行优化：
预先设定第一阈值，计算各待匹配区域的区域显著性，若区域显著性大于第一阈值，则保留该待匹配区域的簇边界；否则删除该待匹配区域的簇边界并通过凸包算法重新选取簇边界，直至簇边界内待匹配区域的区域显著性大于第一阈值。
进一步的，所述步骤S4具体为：
S41、在第二待匹配区域集中选取某一第二待匹配区域，将该第二待匹配区域分别与第一待匹配区域集中各第一待匹配区域进行特征匹配，并计算得到第二待匹配区域与各第一待匹配区域的若干个匹配度，若所述若干个匹配度中的最大值超过第二阈值，则认为该第二待匹配区域与匹配度最大值对应的第一待匹配区域匹配；否则该第二待匹配区域不与任一第一待匹配区域匹配。
S42、重复步骤S41直至所有第二待匹配区域均完成特征匹配。
进一步的，所述匹配度P的计算公式为：
其中，T表示第一待匹配区域与第二待匹配区域之间匹配对的数量，A表示第一待匹配区域中的特征点数量，B表示第二待匹配区域中的特征点数量。
进一步的，所述步骤S5具体为：
若某一第二待匹配区域不与任一第一待匹配区域匹配，表示该第二待匹配区域中的装配体零部件为新增零部件；
若某一第一待匹配区域不与任一第二待匹配区域匹配，表示该第一待匹配区域中的装配体零部件为减少零部件；
若某一第一待匹配区域与某一第二待匹配区域匹配，表示该第一待匹配区域与该第二待匹配区域中的装配体零部件相同，且该装配体零部件为移动零部件。
技术方案二：
一种基于特征匹配的装配体多视角变化检测方法，包括存储器和处理器，所述存储器存储有指令，所述指令适于由处理器加载并执行如下步骤：
S1、获取第一图像与第二图像，所述第一图像为装配体前一时刻图像，所述第二图像为装配体后一时刻图像；
S2、对第一图像与第二图像进行特征点提取和特征匹配，得到匹配对集、第一图像的第一不匹配点集和第二图像的第二不匹配点集；
S3、根据第一不匹配点集，获取第一图像的第一待匹配区域集；根据第二不匹配点集，获取第二图像的第二待匹配区域集；所述待匹配区域为图像中相似的若干个不匹配点形成的区域；
S4、将所述各第一未匹配区域与所述各第二未匹配区域一一进行特征匹配，得到若干个匹配结果；
S5、根据所述若干个匹配结果，输出装配体变化类型。
本发明具有如下有益效果：
1、本发明获取不同视角下处于不同装配过程的装配体图像，通过识别图像中的变化区域(即待匹配区域)，判断装配体的变化类型，能及时发现装配过程中的错误，从而降低产品的不合格率，缩短产品的生产周期。
2、本发明对不同视角下装配体图像进行特征点提取和特征匹配得到待匹配区域,通过对待匹配区域进行特征匹配实现对装配错误类型的识别，能准确判断零部件的增减及移动，所需的计算量和时间均小于深度学习方法(深度学习方法需要进行多次卷积计算)，实时性高，能够准确识别变化区域类型并且确定变化区域在图像中的位置。且仅对显著性区域内的特征点的特征匹配，能有效降低图像背景对图像匹配的干扰，提高匹配正确率。
3、本发明通过计算区域显著性优化簇边界，有效减少过分割情况，提高对变化区域的识别精度。
附图说明
图1为本发明流程图；
图2和图3为不同装配状态下装配体的示意图；
图4为实施例四所述第一图像示意图；
图5为实施例四所述第二图像示意图；
图6为图3中提取到的特征点示意图；
图7为图5中提取到的特征点示意图；
图8为第一待匹配区域位置示意图；
图9为第二待匹配区域位置示意图；
图10为实施例三流程图。
具体实施方式
下面结合附图和具体实施例来对本发明进行详细的说明。
实施例一
一种基于特征匹配的装配体多视角变化检测方法，包括如下步骤：
S1、获取第一图像与第二图像，所述第一图像为装配体前一时刻图像，所述第二图像为装配体后一时刻图像。本实施例中，第一图像与第二图像中装配体拍摄视角不同(即相机与装配体之间角度不同)。
S2、采用SIFT算法进行第一图像与第二图像的特征点提取和特征匹配 (SIFT算法，Scale Invariant Feature Transform,尺度不变特征变换)，得到匹配对集、第一图像的第一不匹配点集和第二图像的第二不匹配点集，所述不匹配点为图像中不与另一图像特征点匹配的特征点，具体为：
S21、分别提取第一图像与第二图像的特征点；
S22、分别提取第一图像与第二图像的显著性区域；
S23、根据特征点的局部梯度信息，匹配第一图像显著性区域与第二图像的显著性区域内的特征点，得到匹配对集；
S24、利用随机抽样一致性算法(RANSAC算法)滤去匹配对集的误匹配对 (匹配对集表示第一图像与第二图像中未发生变化的区域)；第一图像中不属于匹配对集的所有特征点组成第一不匹配点集；第二图像中不属于第二匹配对集的所有特征点组成第二不匹配点集。
S3、根据第一不匹配点集，获取第一图像的第一待匹配区域集。根据第二不匹配点集，获取第二图像的第二待匹配区域集。所述待匹配区域为图像中相似的若干个不匹配点形成的区域。
S4、对所述各第一未匹配区域与所述各第二未匹配区域一一进行特征匹配，得到若干个匹配结果。此处直接利用步骤S2中得到的特征点(包括匹配对和不匹配点)进行特征匹配。未匹配区域通过分割图像得到，则未匹配区域中特征点的坐标位置改变，故步骤S3中不形成匹配对的两个不匹配点(如移动零部件的特征点)在步骤S4中也可能形成匹配对。
S5、根据所述若干个匹配结果，输出装配体变化类型：
若某一第二待匹配区域不与任一第一待匹配区域匹配，表示该第二待匹配区域中的装配体零部件为新增零部件；
若某一第一待匹配区域不与任一第二待匹配区域匹配，表示该第一待匹配区域中的装配体零部件为减少零部件；
若某一第一待匹配区域与某一第二待匹配区域匹配，表示该第一待匹配区域与该第二待匹配区域中的装配体零部件相同，且该装配体零部件为移动零部件。
本实施例的有益效果在于：
获取不同视角下处于不同装配过程的装配体的图像，通过识别图像中的变化区域(即待匹配区域)，判断装配体的变化类型，能及时发现装配过程中的错误，从而降低产品的不合格率，缩短产品的生产周期。
利用SIFT算法对不同视角下装配体图像进行特征点提取和特征匹配得到待匹配区域,通过对待匹配区域进行特征匹配实现对装配错误类型的识别，能准确判断零部件的增减及移动，所需的计算量和时间均小于深度学习方法(深度学习方法需要进行多次卷积计算)，实时性高，能够准确识别变化区域类型并且确定变化区域在图像中的位置。且仅对显著性区域内的特征点的特征匹配，能有效降低图像背景对图像匹配的干扰，提高匹配正确率。
实施例二
进一步的，所述步骤S3具体为：
通过K均值聚类算法(K-Means算法)或其他聚类算法，对第一不匹配点集进行聚类分析，将相似的不匹配点划分至同一个簇，得到若干个第一不匹配点簇；对第二不匹配点集进行聚类分析，将相似的不匹配点划分至同一个簇，得到若干个第二不匹配点簇。
例如，随机选择第一不匹配点集中K个不匹配点为质心，计算第一不匹配点集中各不匹配点到各个质心的欧式距离。欧氏距离越小，不匹配点与质心的相似度越高。依次将各不匹配点划分至到与其欧氏距离最小的质心所在的簇，并更新该不匹配点所在簇的质心为该簇所有不匹配点的平均值。若所有不匹配点划分完毕后质心的误差不在允许范围内，则重新选取K个不匹配点为质心，以重新进行聚类分析直到所有不匹配点划分完毕后质心误差在允许范围内。
利用凸包算法，选取不匹配点簇的若干个边界特征点；连接所述若干个边界特征点，得到该不匹配点簇的簇边界。重复该步骤直至得到所有不匹配点簇的簇边界。簇边界包围区域为待匹配区域。
预先设定第一阈值(在本实施例中设置第一阈值为0.6)，计算各待匹配区域的区域显著性，若区域显著性大于第一阈值，则保留该待匹配区域的簇边界；否则删除该簇边界并通过凸包算法重新选取簇边界，直至区域显著性大于第一阈值。所述区域显著性的计算公式为：
其中，Sσ表示区域尺寸与图像尺寸的比值，Sπ表示区域的突出程度；Sβ表示区域对应簇边界的强度；ωσ、ωπ和ωβ均表示权重，且
ωσ+ωπ+ωβ＝1。
根据各第一不匹配点簇的簇边界分割第一图像，得到所述第一待匹配区域集；根据各第二不匹配点簇的簇边界分割第二图像，得到所述第二待匹配区域集。
本实施例的进步之处在于，通过计算区域显著性优化簇边界，有效减少过分割情况，提高对变化区域的识别精度。
实施例三
假设在步骤S3中获取到包含M个第一待匹配区域的第一待匹配区域集，包含N个第二待匹配区域的第二待匹配区域集。
参见图10，所述步骤S4具体为：
S41、在第二待匹配区域集中选取区域k；区域k分别与n个第一待匹配区域进行特征匹配，并计算匹配度P：
其中，T表示第一待匹配区域与第二待匹配区域之间匹配对的数量，A表示第一待匹配区域中的特征点数量，B表示第二待匹配区域中的特征点数量。 P的值越大，说明第一待匹配区域与第二待匹配区域之间匹配对的数量越多，相似度越高。
若所述若干个匹配度中的最大值Pkmax超过第二阈值(在本实施例中，第二阈值为0.8)，则认为区域k与匹配度最大值对应的第一待匹配区域匹配，表示区域k中的零部件发生移动；否则区域k不与任一第一待匹配区域匹配，表示区域k中的零部件是新增加的。
S42、重复步骤S41直至所有第二待匹配区域均完成特征匹配,则得到各第一未匹配区域与各第二未匹配区域的匹配结果。
实施例四
S1、构建机械装配体的三维模型，并将机械装配体的三维模型加载到深度图像成像软件中，设定虚拟摄像机拍摄处于不同装配状态的装配体(如图2和图3)，得到第一图像(如图4)与第二图像(如图5)。图4为装配体前一时刻图像，图5为装配体后一时刻图像。
S2、对第一图像与第二图像进行特征点提取和特征匹配，获取匹配对集、第一不匹配点集和第二不匹配点集。第一图像的特征点如图6所示；第二图像的特征点如图7所示。
S3、根据第一不匹配点集和第二不匹配点集，获取第一待匹配区域集和第二待匹配区域集，所述待匹配区域为图像中相似的若干个不匹配点形成的区域。在本实施例中，得到1个第一待匹配区域(第一待匹配区域位置为图8中方框 101所标示位置)和1个第二待匹配区域(第二待匹配区域位置为图9中方框102所标示位置)。
S4、对第一未匹配区域与第二未匹配区域进行特征匹配，得到匹配结果为第一未匹配区域与第二未匹配区域不匹配，则输出装配体变化类型为装配体中新增零部件，新增零部件位于第二未匹配区域。
实施例五
一种基于特征匹配的装配体多视角变化检测设备，包括存储器和处理器，所述存储器存储有指令，所述指令适于由处理器加载并执行如下步骤：
S1、获取第一图像与第二图像，所述第一图像为装配体前一时刻图像，所述第二图像为装配体后一时刻图像；
S2、对第一图像与第二图像进行特征点提取和特征匹配，得到匹配对集、第一图像的第一不匹配点集和第二图像的第二不匹配点集；
S3、根据第一不匹配点集，获取第一图像的第一待匹配区域集；根据第二不匹配点集，获取第二图像的第二待匹配区域集；所述待匹配区域为图像中相似的若干个不匹配点形成的区域；
S4、将所述各第一未匹配区域与所述各第二未匹配区域一一进行特征匹配，得到若干个匹配结果；
S5、根据所述若干个匹配结果，输出装配体变化类型。
以上所述仅为本发明的实施例，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本发明的专利保护范围内。
Claims (9)
1.一种基于特征匹配的装配体多视角变化检测方法，其特征在于，包括如下步骤：
S1、获取第一图像与第二图像，所述第一图像为装配体前一时刻图像，所述第二图像为装配体后一时刻图像；
S2、对第一图像与第二图像进行特征点提取和特征匹配，得到匹配对集、第一图像的第一不匹配点集和第二图像的第二不匹配点集；
S3、根据第一不匹配点集，获取第一图像的第一待匹配区域集；根据第二不匹配点集，获取第二图像的第二待匹配区域集；所述待匹配区域为图像中相似的若干个不匹配点形成的区域；
S4、对所述各第一未匹配区域与所述各第二未匹配区域一一进行特征匹配，得到若干个匹配结果；
S5、根据所述若干个匹配结果，输出装配体变化类型。
2.根据权利要求1所述的一种基于特征匹配的装配体多视角变化检测方法，其特征在于，所述步骤S2具体为：
分别提取第一图像与第二图像的特征点；
分别提取第一图像与第二图像的显著性区域；
匹配第一图像显著性区域与第二图像显著性区域内的特征点，得到匹配对集；利用随机抽样一致性算法滤去匹配对集的误匹配对；
所述第一不匹配点集包括第一图像中不属于所述匹配对集的所有特征点；所述第二不匹配点集包括第二图像中不属于所述匹配对集的所有特征点。
3.根据权利要求2所述的一种基于特征匹配的装配体多视角变化检测方法，其特征在于，所述步骤S3具体为：
对第一不匹配点集进行聚类分析，得到若干个第一不匹配点簇；对第二不匹配点集进行聚类分析，得到若干个第二不匹配点簇；
分别获取各第一不匹配点簇与各第二不匹配点簇的簇边界；根据各第一不匹配点簇的簇边界分割第一图像，得到所述第一待匹配区域集；根据各第二不匹配点簇的簇边界分割第二图像，得到所述第二待匹配区域集。
4.根据权利要求3所述的一种基于特征匹配的装配体多视角变化检测方法，其特征在于，获取所述簇边界的具体步骤为：
利用凸包算法，选取第一不匹配点簇或第二不匹配点簇中的若干个边界特征点；连接所述若干个边界特征点，得到该第一不匹配点簇或第二不匹配点簇的簇边界。
5.根据权利要求3所述的一种基于特征匹配的装配体多视角变化检测方法，其特征在于，所述步骤S3还包括对簇边界进行优化：
预先设定第一阈值，计算第一待匹配区域或第二待匹配区域的区域显著性，若区域显著性大于第一阈值，则保留该第一待匹配区域或第二待匹配区域的簇边界；否则删除该第一待匹配区域或第二待匹配区域的簇边界并通过凸包算法重新选取簇边界，直至所述区域显著性大于第一阈值。
6.根据权利要求1所述的一种基于特征匹配的装配体多视角变化检测方法，其特征在于，所述步骤S4具体为：
S41、在第二待匹配区域集中选取某一第二待匹配区域，将该第二待匹配区域分别与第一待匹配区域集中各第一待匹配区域进行特征匹配，并计算得到第二待匹配区域与各第一待匹配区域的若干个匹配度，若所述若干个匹配度中的最大值超过第二阈值，则认为该第二待匹配区域与匹配度最大值对应的第一待匹配区域匹配；否则该第二待匹配区域不与任一第一待匹配区域匹配；
S42、重复步骤S41直至所有第二待匹配区域均完成特征匹配。
7.根据权利要求6所述的一种基于特征匹配的装配体多视角变化检测方法，其特征在于，所述匹配度P的计算公式为：
其中，T表示第一待匹配区域与第二待匹配区域之间匹配对的数量，A表示第一待匹配区域中的特征点数量，B表示第二待匹配区域中的特征点数量。
8.根据权利要求1所述的一种基于特征匹配的装配体多视角变化检测方法，其特征在于，所述步骤S5具体为：
若某一第二待匹配区域不与任一第一待匹配区域匹配，表示该第二待匹配区域中的装配体零部件为新增零部件；
若某一第一待匹配区域不与任一第二待匹配区域匹配，表示该第一待匹配区域中的装配体零部件为减少零部件；
若某一第一待匹配区域与某一第二待匹配区域匹配，表示该第一待匹配区域与该第二待匹配区域中的装配体零部件相同，且该装配体零部件为移动零部件。
9.一种基于特征匹配的装配体多视角变化检测设备，其特征在于，包括存储器和处理器，所述存储器存储有指令，所述指令适于由处理器加载并执行如下步骤：
S1、获取第一图像与第二图像，所述第一图像为装配体前一时刻图像，所述第二图像为装配体后一时刻图像；
S2、对第一图像与第二图像进行特征点提取和特征匹配，得到匹配对集、第一图像的第一不匹配点集和第二图像的第二不匹配点集；
S3、根据第一不匹配点集，获取第一图像的第一待匹配区域集；根据第二不匹配点集，获取第二图像的第二待匹配区域集；所述待匹配区域为图像中相似的若干个不匹配点形成的区域；
S4、将所述各第一未匹配区域与所述各第二未匹配区域一一进行特征匹配，得到若干个匹配结果；
S5、根据所述若干个匹配结果，输出装配体变化类型。
Priority Applications (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110506029.7A CN113283478B (zh) | 2021-05-10 | 2021-05-10 | 一种基于特征匹配的装配体多视角变化检测方法及设备 |
| JP2021097532A JP7195656B2 (ja) | 2021-05-10 | 2021-06-10 | 特徴マッチングに基づく組立体の多視点変化検出方法及び装置 |
| US17/345,122 US11645827B2 (en) | 2021-05-10 | 2021-06-11 | Detection method and device for assembly body multi-view change based on feature matching |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110506029.7A CN113283478B (zh) | 2021-05-10 | 2021-05-10 | 一种基于特征匹配的装配体多视角变化检测方法及设备 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN113283478A true CN113283478A (zh) | 2021-08-20 |
| CN113283478B CN113283478B (zh) | 2022-09-09 |
Family
ID=77278712
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110506029.7A Active CN113283478B (zh) | 2021-05-10 | 2021-05-10 | 一种基于特征匹配的装配体多视角变化检测方法及设备 |
Country Status (3)
| Country | Link |
|---|---|
| US (1) | US11645827B2 (zh) |
| JP (1) | JP7195656B2 (zh) |
| CN (1) | CN113283478B (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113935997A (zh) * | 2021-12-16 | 2022-01-14 | 深圳致星科技有限公司 | 用于料件检测的图像处理方法、存储介质及图像处理装置 |
Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| EP2709066A1 (en) * | 2012-09-17 | 2014-03-19 | Lakeside Labs GmbH | Concept for detecting a motion of a moving object |
| CN105740899A (zh) * | 2016-01-29 | 2016-07-06 | 长安大学 | 一种机器视觉图像特征点检测与匹配复合的优化方法 |
| CN105868478A (zh) * | 2016-03-31 | 2016-08-17 | 河海大学 | 基于情境感知的旋转机械设备虚拟装配模型及装配方法 |
| CN106530293A (zh) * | 2016-11-07 | 2017-03-22 | 上海交通大学 | 手工装配视觉检测防错方法及系统 |
| CN106897995A (zh) * | 2017-02-04 | 2017-06-27 | 同济大学 | 一种面向机械装配过程的零部件自动识别方法 |
| CN109816049A (zh) * | 2019-02-22 | 2019-05-28 | 青岛理工大学 | 一种基于深度学习的装配监测方法、设备及可读存储介质 |
| CN109816051A (zh) * | 2019-02-25 | 2019-05-28 | 北京石油化工学院 | 一种危化品货物特征点匹配方法及系统 |
Family Cites Families (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US6018590A (en) * | 1997-10-07 | 2000-01-25 | Eastman Kodak Company | Technique for finding the histogram region of interest based on landmark detection for improved tonescale reproduction of digital radiographic images |
| US8396301B2 (en) * | 2009-09-24 | 2013-03-12 | Gtech Corporation | System and method for document location and recognition |
| US10185898B1 (en) * | 2013-05-01 | 2019-01-22 | Cloudsight, Inc. | Image processing including streaming image output |
| US20220207274A1 (en) * | 2013-05-01 | 2022-06-30 | Cloudsight, Inc. | Client Based Image Analysis |
| JP2019191117A (ja) | 2018-04-27 | 2019-10-31 | キヤノン株式会社 | 画像処理装置、画像処理方法及びプログラム |
| JP2020008932A (ja) | 2018-07-03 | 2020-01-16 | キヤノン株式会社 | 画像処理装置、画像処理方法及びプログラム |
-
2021
- 2021-05-10 CN CN202110506029.7A patent/CN113283478B/zh active Active
- 2021-06-10 JP JP2021097532A patent/JP7195656B2/ja active Active
- 2021-06-11 US US17/345,122 patent/US11645827B2/en active Active
Patent Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| EP2709066A1 (en) * | 2012-09-17 | 2014-03-19 | Lakeside Labs GmbH | Concept for detecting a motion of a moving object |
| CN105740899A (zh) * | 2016-01-29 | 2016-07-06 | 长安大学 | 一种机器视觉图像特征点检测与匹配复合的优化方法 |
| CN105868478A (zh) * | 2016-03-31 | 2016-08-17 | 河海大学 | 基于情境感知的旋转机械设备虚拟装配模型及装配方法 |
| CN106530293A (zh) * | 2016-11-07 | 2017-03-22 | 上海交通大学 | 手工装配视觉检测防错方法及系统 |
| CN106897995A (zh) * | 2017-02-04 | 2017-06-27 | 同济大学 | 一种面向机械装配过程的零部件自动识别方法 |
| CN109816049A (zh) * | 2019-02-22 | 2019-05-28 | 青岛理工大学 | 一种基于深度学习的装配监测方法、设备及可读存储介质 |
| CN109816051A (zh) * | 2019-02-25 | 2019-05-28 | 北京石油化工学院 | 一种危化品货物特征点匹配方法及系统 |
Non-Patent Citations (3)
| Title |
|---|
| CHENGJUN CHEN ET AL.: "Monitoring of Assembly Process Using Deep Learning Technology", 《SENSORS》 * |
| 田中可 等: "基于深度图像的零件识别及装配监测", 《计算机集成制造系统》 * |
| 魏中雨等: "基于机器视觉和深度神经网络的零件装配检测", 《组合机床与自动化加工技术》 * |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113935997A (zh) * | 2021-12-16 | 2022-01-14 | 深圳致星科技有限公司 | 用于料件检测的图像处理方法、存储介质及图像处理装置 |
Also Published As
| Publication number | Publication date |
|---|---|
| JP7195656B2 (ja) | 2022-12-26 |
| US11645827B2 (en) | 2023-05-09 |
| US20220358321A1 (en) | 2022-11-10 |
| JP2022173970A (ja) | 2022-11-22 |
| CN113283478B (zh) | 2022-09-09 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Lee et al. | A deep step pattern representation for multimodal retinal image registration | |
| US8885926B2 (en) | Image and data segmentation | |
| JP5705147B2 (ja) | 記述子を用いて３ｄオブジェクトまたはオブジェクトを表す方法 | |
| CN106709950B (zh) | 一种基于双目视觉的巡线机器人跨越障碍导线定位方法 | |
| CN111652292B (zh) | 一种基于ncs、ms的相似物体实时检测方法及系统 | |
| Seib et al. | Object recognition using hough-transform clustering of surf features | |
| CN116229189B (zh) | 基于荧光内窥镜的图像处理方法、装置、设备及存储介质 | |
| CN111709426B (zh) | 一种基于轮廓和纹理的硅藻识别方法 | |
| CN105809678B (zh) | 一种短基线条件下两视图间线段特征全局匹配方法 | |
| CN110942473A (zh) | 一种基于特征点网格化匹配的运动目标跟踪检测方法 | |
| CN111783493A (zh) | 一种批量二维码的识别方法及识别终端 | |
| Fu et al. | Automatic detection of lung nodules using 3D deep convolutional neural networks | |
| CN113283478B (zh) | 一种基于特征匹配的装配体多视角变化检测方法及设备 | |
| CN109840529B (zh) | 一种基于局部敏感置信度评估的图像匹配方法 | |
| CN112364881A (zh) | 一种进阶采样一致性图像匹配算法 | |
| CN115690104B (zh) | 一种晶圆裂缝检测方法、装置及存储介质 | |
| Wong et al. | Efficient multi-structure robust fitting with incremental top-k lists comparison | |
| CN117079272A (zh) | 一种结合手工特征和学习特征的弹底窝痕特征识别方法 | |
| Wu et al. | An accurate feature point matching algorithm for automatic remote sensing image registration | |
| Tang et al. | A GMS-guided approach for 2D feature correspondence selection | |
| CN109063591B (zh) | 一种基于距离分布度量学习的行人再识别方法 | |
| Mazumder et al. | ValidNet: A Deep Learning Network for Validation of Surface Registration. | |
| CN114066943B (zh) | 一种基于特征的多模态图像配准方法 | |
| Tsai et al. | DynaScale: An Intelligent Image Scale Selection Framework for Visual Matching in Smart IoT | |
| Do et al. | Framework for texture classification and retrieval using scale invariant feature transform |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |