CN116108552B - 一种多零件组合建模识别方法、设备及介质 - Google Patents

一种多零件组合建模识别方法、设备及介质

Info

Publication number
CN116108552B
CN116108552B CN202210972798.0A CN202210972798A CN116108552B CN 116108552 B CN116108552 B CN 116108552B CN 202210972798 A CN202210972798 A CN 202210972798A CN 116108552 B CN116108552 B CN 116108552B
Authority
CN
China
Prior art keywords
parts
sample
dimensional
model
identified
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202210972798.0A
Other languages
English (en)
Other versions
CN116108552A (zh
Inventor
袁梁
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sichuan Wutong Technology Co ltd
Sichuan Wutong Technology Group Co ltd
Original Assignee
Sichuan Wutong Technology Co ltd
Sichuan Wutong Technology Group Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sichuan Wutong Technology Co ltd, Sichuan Wutong Technology Group Co ltd filed Critical Sichuan Wutong Technology Co ltd
Priority to CN202210972798.0A priority Critical patent/CN116108552B/zh
Publication of CN116108552A publication Critical patent/CN116108552A/zh
Application granted granted Critical
Publication of CN116108552B publication Critical patent/CN116108552B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F30/00—Computer-aided design [CAD]
    • G06F30/10—Geometric CAD
    • G06F30/15—Vehicle, aircraft or watercraft design
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three-dimensional [3D] modelling for computer graphics
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating three-dimensional [3D] models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating three-dimensional [3D] models or images for computer graphics
    • G06T19/20—Editing of three-dimensional [3D] images, e.g. changing shapes or colours, aligning objects or positioning parts
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G06T7/001—Industrial image inspection using an image reference approach
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2111/00—Details relating to CAD techniques
    • G06F2111/20—Configuration CAD, e.g. designing by assembling or positioning modules selected from libraries of predesigned modules
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
    • Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
    • Y02P90/30—Computing systems specially adapted for manufacturing

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Geometry (AREA)
  • Software Systems (AREA)
  • Computer Hardware Design (AREA)
  • Computer Graphics (AREA)
  • General Engineering & Computer Science (AREA)
  • Pure & Applied Mathematics (AREA)
  • Computational Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Mathematical Optimization (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Mathematical Analysis (AREA)
  • Automation & Control Theory (AREA)
  • Quality & Reliability (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Architecture (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种多零件组合建模识别方法，所述方法包括以下步骤：S1：获取样本零部件的三维模型，且根据样本零部件的三维模型构建样本零部件的云模型库；S2：采集所有待识别零部件的图像数据，并与所述云模型库中的样本零部件三维模型进行匹配，识别出所有待识别零部件；S3：从所有待识别零部件中选取若干个关联零部件，所述若干个关联零部件可以组合成一个或多个整体部件，得到若干个关联零部件相对应的三维模型组；S4：将若干个关联零部件相对应的三维模型组进行组合得到三维组合模型，所述三维组合模型用于与若干个关联零部件所组成的整体部件进行识别比对。

Description

一种多零件组合建模识别方法、设备及介质
技术领域
本发明涉及视觉识别技术领域，具体涉及一种多零件组合建模识别方法、设备及介质。
背景技术
在汽车板件的冲压与汽车组装的过程之中，检查冲压板件和零部件是否符合规范标准是否有外观上的破损是智能化汽车工厂板件冲压和零部件组装环节中必不可少的。传统的目标识别算法是利用摄像头采集零部件二维图像，对零部件二维图像进行识别判断零部件类型。另一种常用的方式是，基于神经网络的目标识别算法，利用零部件二维图像的训练成果，根据从二维图像中提取得到的特征进行目标分类和检测识别，以上常用的两种目标识别方式，全部是对二维图像中的特征进行识别，但是汽车零部件类型多样、形状复杂，二维图像存在维度缺失，难以表征目标的全貌。因此基于现有的目标识别方式用于汽车零部件检测时，如何提高识别的精度成为待解决的问题，因此针对以上问题提供一种多零件组合建模识别方法、设备及介质。
发明内容
本发明的目的在于提供一种多零件组合建模识别方法、设备及介质，该方法基于视觉识别算法与增强现实投射技术，可有效识别物体，并辅助操作人员确认识别结果减少误判。
为解决上述技术问题，本发明采用了以下方案：
一种多零件组合建模识别方法，所述方法包括以下步骤：
S1：获取样本零部件的三维模型，且根据样本零部件的三维模型构建样本零部件的云模型库；
S2：采集所有待识别零部件的图像数据，并与所述云模型库中的样本零部件三维模型进行匹配，识别出所有待识别零部件；
S3：从所有待识别零部件中选取若干个关联零部件，所述若干个关联零部件可以组合成一个或多个整体部件，得到若干个关联零部件相对应的三维模型组；
S4：将若干个关联零部件相对应的三维模型组进行组合得到三维组合模型，所述三维组合模型用于与若干个关联零部件所组成的整体部件进行识别比对。
进一步地，执行S1时，获取三维模型的方法包括以下步骤：
Sa：获取样本零部件影像图集，对样本零部件影像图集进行数字化处理得到样本零部件图像；
Sb：根据样本零部件影像图集以及位姿信息进行聚类分析，得到聚类图像；
Sc：对所述样本零部件图像进行特征提取，得到特征点；
Sd：将不同图像的所述特征点进行匹配，得到所述样本零部件图像的同名点；
Se：根据样本零部件影像图集、位姿信息以及所述同名点进行捆绑约束计算，得到稀疏点云；
Sf：根据所述稀疏点云和所述聚类图像进行多视图立体匹配，得到稠密点云，并对所述稠密点云进行渲染，得到样本零部件的三维模型。
进一步地，执行S1时，获取三维模型的方法包括以下步骤：对样本零部件进行三维扫描，获取样本零部件的三维图像信息，再采用三维建模工具构建三维模型，或者，直接从已有的数据库中调取标准件的三维模型。
进一步地，利用待识别零部件图像数据与三维模型比对库中的点云模型进行特征点对比，当比对相似度超过95％，则判定为待识别零部件识别成功。
本发明提供了一种多零件组合建模识别装置，包括：
模型库建立模块，用于获取样本零部件的三维模型，且根据样本零部件的三维模型构建样本零部件的云模型库；
采集模块，用于采集待识别零部件图像数据；
识别对比模块，用于采集待识别零部件图像数据与样本零部件的云模型库进行匹配，识别出待识别零部件；
匹配模块，用于选取若干个关联的零部件，所述若干个关联的零部件可以组合成一个整体部件，匹配出相对应的三维模型；
组合对比模块，用于将匹配出的三维模型进行组合得到组合模型，用于与若干个关联的零部件所组成的整体部件进行识别比对。
本发明提供了一种电子设备，包括：
存储器，用于存储计算机程序；
处理器，用于执行所述计算机程序时实现如权利要求1至4任一项所述一种多零件组合建模识别方法的步骤。
本发明提供了一种计算机可读存储介质，所述计算机可读存储介质上存储有一种多零件组合建模识别方法的相应程序，所述基于增强现实的图纸对照投射识别方法的相应程序被执行时实现如权利要求1至4中任一项所述的一种多零件组合建模识别方法。
本发明具有的有益效果：
1、本发明通过该系统只需要将整体部件中的子部件进行图像采样，即可对由各种子部件组合形成的整体部件进行识别，在模拟的点云数字环境中可将子部件进行任意组合，只要实际外形与组合部件一致，即可准备识别组合部件，方便省时，并且可以自由组合子部件来创造各种可识别的整体部件。
附图说明
图1为本发明的工作流程图。
具体实施方式
为了使本发明的目的、技术方案和优点更加清楚，下面将结合附图对本发明作进一步地详细描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例，都属于本发明保护的范围。
实施例
如图1所示，一种多零件组合建模识别方法，所述方法包括以下步骤：
S1：获取样本零部件的三维模型，且根据样本零部件的三维模型构建样本零部件的云模型库；
具体的，获取三维模型的方法包括以下步骤：
Sa：获取样本零部件影像图集，对样本零部件影像图集进行数字化处理得到样本零部件图像；
Sb：根据样本零部件影像图集以及位姿信息进行聚类分析，得到聚类图像；
Sc：对所述样本零部件图像进行特征提取，得到特征点；
Sd：将不同图像的所述特征点进行匹配，得到所述样本零部件图像的同名点；
Se：根据样本零部件影像图集、位姿信息以及所述同名点进行捆绑约束计算，得到稀疏点云；
Sf：根据所述稀疏点云和所述聚类图像进行多视图立体匹配，得到稠密点云，并对所述稠密点云进行渲染，得到样本零部件的三维模型。
此外，获取三维模型的方法还包括：对样本零部件进行三维扫描，获取样本零部件的三维图像信息，再采用三维建模工具构建三维模型，或者直接从已有的数据库中调取标准件的三维模型。
S2：采集所有待识别零部件的图像数据，并与所述云模型库中的样本零部件三维模型进行匹配，识别出所有待识别零部件；
S3：从所有待识别零部件中选取若干个关联零部件，所述若干个关联零部件可以组合成一个或多个整体部件，得到若干个关联零部件相对应的三维模型组；
S4：将若干个关联零部件相对应的三维模型组进行组合得到三维组合模型，所述三维组合模型用于与若干个关联零部件所组成的整体部件进行识别比对。
具体的，利用待识别零部件图像数据与三维模型比对库中的点云模型进行特征点对比，当比对相似度超过95％，则判定为待识别零部件识别成功。
本发明提供了一种多零件组合建模识别装置，包括：
模型库建立模块，用于获取样本零部件的三维模型，且根据样本零部件的三维模型构建样本零部件的云模型库；
采集模块，用于采集待识别零部件图像数据；
识别对比模块，用于采集待识别零部件图像数据与样本零部件的云模型库进行匹配，识别出待识别零部件；
匹配模块，用于选取若干个关联的零部件，所述若干个关联的零部件可以组合成一个整体部件，匹配出相对应的三维模型；
组合对比模块，用于将匹配出的三维模型进行组合得到组合模型，用于与若干个关联的零部件所组成的整体部件进行识别比对。
本发明提供了一种电子设备，包括：
存储器，用于存储计算机程序；
处理器，用于执行所述计算机程序时实现如权利要求1至4任一项所述一种多零件组合建模识别方法的步骤。
本发明提供了一种计算机可读存储介质，所述计算机可读存储介质上存储有一种多零件组合建模识别方法的相应程序，所述基于增强现实的图纸对照投射识别方法的相应程序被执行时实现如权利要求1至4中任一项所述的一种多零件组合建模识别方法。
还需要说明的是，术语“包括”、“包含”或者其他任何变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、商品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、商品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、商品或者设备中还存在另外的相同要素。
以上所述，仅是本发明的较佳实施例而已，并非对本发明作任何形式上的限制，依据本发明的技术实质，在本发明的精神和原则之内，对以上实施例所作的任何简单的修改、等同替换与改进等，均仍属于本发明技术方案的保护范围之内。

Claims (6)

1.一种多零件组合建模识别方法，其特征在于，所述方法包括以下步骤：
S1：获取样本零部件的三维模型，且根据样本零部件的三维模型构建样本零部件的云模型库；获取样本零部件的三维模型的方法包括以下步骤：
Sa：获取样本零部件影像图集，对样本零部件影像图集进行数字化处理得到样本零部件图像；
Sb：根据样本零部件影像图集以及位姿信息进行聚类分析，得到聚类图像；
Sc：对所述样本零部件图像进行特征提取，得到特征点；
Sd：将不同图像的所述特征点进行匹配，得到所述样本零部件图像的同名点；
Se：根据样本零部件影像图集、位姿信息以及所述同名点进行捆绑约束计算，得到稀疏点云；
Sf：根据所述稀疏点云和所述聚类图像进行多视图立体匹配，得到稠密点云，并对所述稠密点云进行渲染，得到样本零部件的三维模型；
S2：采集所有待识别零部件的图像数据，并与所述云模型库中的样本零部件三维模型进行匹配，识别出所有待识别零部件；
S3：从所有待识别零部件中选取若干个关联零部件，所述若干个关联零部件可以组合成一个或多个整体部件，得到若干个关联零部件相对应的三维模型组；
S4：将若干个关联零部件相对应的三维模型组进行组合得到三维组合模型，所述三维组合模型用于与若干个关联零部件所组成的整体部件进行识别比对。
2.根据权利要求1所述的一种多零件组合建模识别方法，其特征在于，执行S1时，获取三维模型的方法包括以下步骤：对样本零部件进行三维扫描，获取样本零部件的三维图像信息，再采用三维建模工具构建三维模型，或者，直接从已有的数据库中调取样本零部件的三维模型。
3.根据权利要求1所述的一种多零件组合建模识别方法，其特征在于，所述云模型库中包括样本零部件的点云模型，利用待识别零部件图像数据与云模型库中的点云模型进行特征点对比，当比对相似度超过95％，则判定为待识别零部件识别成功。
4.一种多零件组合建模识别装置，其特征在于，包括：模型库建立模块，用于获取样本零部件的三维模型，且根据样本零部件的三维模型构建样本零部件的云模型库；获取样本零部件的三维模型通过以下步骤获取：
Sa：获取样本零部件影像图集，对样本零部件影像图集进行数字化处理得到样本零部件图像；
Sb：根据样本零部件影像图集以及位姿信息进行聚类分析，得到聚类图像；
Sc：对所述样本零部件图像进行特征提取，得到特征点；
Sd：将不同图像的所述特征点进行匹配，得到所述样本零部件图像的同名点；
Se：根据样本零部件影像图集、位姿信息以及所述同名点进行捆绑约束计算，得到稀疏点云；
Sf：根据所述稀疏点云和所述聚类图像进行多视图立体匹配，得到稠密点云，并对所述稠密点云进行渲染，得到样本零部件的三维模型；
采集模块，用于采集待识别零部件图像数据；
识别对比模块，用于采集待识别零部件图像数据与样本零部件的云模型库进行匹配，识别出待识别零部件；
匹配模块，用于选取若干个关联的零部件，所述若干个关联的零部件可以组合成一个整体部件，匹配出相对应的三维模型；
组合对比模块，用于将匹配出的三维模型进行组合得到组合模型，用于与若干个关联的零部件所组成的整体部件进行识别比对。
5.一种电子设备，其特征在于，包括：
存储器，用于存储计算机程序；
处理器，用于执行所述计算机程序时实现如权利要求1至3任一项所述一种多零件组合建模识别方法的步骤。
6.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有一种多零件组合建模识别方法的相应程序，所述相应程序被执行时实现如权利要求1至3中任一项所述一种多零件组合建模识别方法。
CN202210972798.0A 2022-08-15 2022-08-15 一种多零件组合建模识别方法、设备及介质 Active CN116108552B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210972798.0A CN116108552B (zh) 2022-08-15 2022-08-15 一种多零件组合建模识别方法、设备及介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210972798.0A CN116108552B (zh) 2022-08-15 2022-08-15 一种多零件组合建模识别方法、设备及介质

Publications (2)

Publication Number Publication Date
CN116108552A CN116108552A (zh) 2023-05-12
CN116108552B true CN116108552B (zh) 2026-05-08

Family

ID=86266203

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210972798.0A Active CN116108552B (zh) 2022-08-15 2022-08-15 一种多零件组合建模识别方法、设备及介质

Country Status (1)

Country Link
CN (1) CN116108552B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN119723502B (zh) * 2025-03-03 2025-05-27 广东有车科技股份有限公司 一种基于大模型的车辆虚拟模型生成方法、设备及介质

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9472022B2 (en) * 2012-10-05 2016-10-18 University Of Southern California Three-dimensional point processing and model generation
WO2020139942A1 (en) * 2018-12-26 2020-07-02 Nike Innovate C.V. Resilient dynamic projection mapping system and methods
CN110930456A (zh) * 2019-12-11 2020-03-27 北京工业大学 基于pcl点云库的钣金零件的三维立体识别及定位方法
CN112613551B (zh) * 2020-12-17 2024-08-20 东风汽车有限公司 汽车零部件识别方法、存储介质及系统

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
基于三维点云的零部件识别与位姿估计技术研究;伍奇胜;基于三维点云的零部件识别与位姿估计技术研究;20200115(第1期);I138-1621 *

Also Published As

Publication number Publication date
CN116108552A (zh) 2023-05-12

Similar Documents

Publication Publication Date Title
CN110909825B (zh) 使用概率模型在视觉数据中检测对象
CN110674712A (zh) 交互行为识别方法、装置、计算机设备和存储介质
CN109033989B (zh) 基于三维点云的目标识别方法、装置及存储介质
CN111008576B (zh) 行人检测及其模型训练、更新方法、设备及可读存储介质
CN112712128A (zh) 基于神经网络的智能采摘方法、设备、存储介质及装置
CN109271908B (zh) 车损检测方法、装置及设备
CN108921160B (zh) 一种图书识别方法、电子设备及存储介质
CN115018910A (zh) 点云数据中目标的检测方法、装置和计算机可读存储介质
CN109375187B (zh) 雷达目标的确定方法及装置
CN118196448A (zh) 基于场景语义图的视觉重定位方法、装置和计算机设备
GB2523776A (en) Methods for 3D object recognition and registration
CN116645636B (zh) 一种基于卷积神经网络的视觉抓取检测方法
CN104978583B (zh) 人物动作的识别方法及装置
CN116108552A (zh) 一种多零件组合建模识别方法、设备及介质
CN109190676B (zh) 一种用于图像识别的模型训练方法、装置、设备及存储介质
JP2007249592A (ja) ３次元物体認識システム
CN116416646A (zh) 基于解耦样本组学习的行人重识别方法、系统、设备及介质
Tombari et al. Feature-based automatic 3D registration for cultural heritage applications
CN119090887B (zh) 一种点云异常检测方法、装置及介质
CN113673576A (zh) 图像检测方法、终端及其计算机可读存储介质
CN110298210A (zh) 一种基于视觉进行异常判断的方法和装置
CN113282781A (zh) 图像检索方法及装置
CN108536769B (zh) 图像分析方法、搜索方法及装置、计算机装置及存储介质
JP2017054450A (ja) 認識装置、認識方法及び認識用プログラム
CN117829678A (zh) 结合多场景拟合的车辆质检方法及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
CB02 Change of applicant information
CB02 Change of applicant information

Country or region after: China

Address after: 610051 Sichuan Province, Chengdu City, Chenghua District, No. 2, Section 4 of Beihuan Road, Annex 38, 2nd Floor

Applicant after: Sichuan wutong technology group Co.,Ltd.

Address before: Sichuan Province Chengdu City Chenghua District Taoyuan Road No. 35 Building 2 First Floor 117 Room

Applicant before: Sichuan Wutong Technology Co.,Ltd.

Country or region before: China

GR01 Patent grant