CN113312969A - 一种基于三维视觉的零部件识别与定位方法、系统 - Google Patents

一种基于三维视觉的零部件识别与定位方法、系统 Download PDF

Info

Publication number
CN113312969A
CN113312969A CN202110443479.6A CN202110443479A CN113312969A CN 113312969 A CN113312969 A CN 113312969A CN 202110443479 A CN202110443479 A CN 202110443479A CN 113312969 A CN113312969 A CN 113312969A
Authority
CN
China
Prior art keywords
information
module
identified
identification
target part
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202110443479.6A
Other languages
English (en)
Inventor
郑于海
于涵诚
李保
沈航
刘海萍
倪双静
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhejiang Institute of Mechanical and Electrical Engineering Co Ltd
Original Assignee
Zhejiang Institute of Mechanical and Electrical Engineering Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhejiang Institute of Mechanical and Electrical Engineering Co Ltd filed Critical Zhejiang Institute of Mechanical and Electrical Engineering Co Ltd
Priority to CN202110443479.6A priority Critical patent/CN113312969A/zh
Publication of CN113312969A publication Critical patent/CN113312969A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/64—Three-dimensional objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06K—GRAPHICAL DATA READING; PRESENTATION OF DATA; RECORD CARRIERS; HANDLING RECORD CARRIERS
    • G06K17/00—Methods or arrangements for effecting co-operative working between equipments covered by two or more of main groups G06K1/00 - G06K15/00, e.g. automatic card files incorporating conveying and reading operations
    • G06K17/0022—Methods or arrangements for effecting co-operative working between equipments covered by two or more of main groups G06K1/00 - G06K15/00, e.g. automatic card files incorporating conveying and reading operations arrangements or provisious for transferring data to distant stations, e.g. from a sensing device
    • G06K17/0025—Methods or arrangements for effecting co-operative working between equipments covered by two or more of main groups G06K1/00 - G06K15/00, e.g. automatic card files incorporating conveying and reading operations arrangements or provisious for transferring data to distant stations, e.g. from a sensing device the arrangement consisting of a wireless interrogation device in combination with a device for optically marking the record carrier
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30108—Industrial image inspection
    • G06T2207/30164—Workpiece; Machine component

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Computation (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Multimedia (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Quality & Reliability (AREA)
  • Image Analysis (AREA)

Abstract

本发明属于数据处理技术领域，公开了一种基于三维视觉的零部件识别与定位方法、系统，所述基于三维视觉的零部件识别与定位系统包括：数据库构建模块、数据获取模块、数据处理模块、中央控制模块、零部件识别模块、识别参数确定模块、参数信息校验模块、零部件定位模块、数据存储模块、更新显示模块。本发明能够通过零部件识别模块采用多信息交叉识别的方式更加准确地识别出待识别零部件，得出该待识别零部件的准确参数。本发明可用于多种零部件中，根据零部件相对位置固定的特点，结合分类神经网络和定位神经网络，提高零部件的定位准确率；缩短检测时间，降低故障检测的难度，具有操作简单、信息采集速度快、采集信息量大、可靠性高等优点。

Description

一种基于三维视觉的零部件识别与定位方法、系统
技术领域
本发明属于数据处理技术领域，尤其涉及一种基于三维视觉的零部件识别与定位方法、系统。
背景技术
目前，大型工程机械(如旋挖钻机)的零部件拆卸即为不便，而工程师在对这些大型机械进行维修护理时，必需了解其零部件的参数才能够进行有效地维修护理。但是，由于大型工程机械的零部件结构复杂，工程师在进行零部件的识别时，常常无法准确获取其技术参数，这给工程师的工作带来了极大的不便。因此，亟需一种新的零部件识别与定位方法。
通过上述分析，现有技术存在的问题及缺陷为：由于大型工程机械的零部件结构复杂，工程师在进行零部件的识别时，常常无法准确获取其技术参数，这给工程师的工作带来了极大的不便。
发明内容
针对现有技术存在的问题，本发明提供了一种基于三维视觉的零部件识别与定位方法、系统。
本发明是这样实现的，一种基于三维视觉的零部件识别与定位系统，所述基于三维视觉的零部件识别与定位系统包括：
数据库构建模块、数据获取模块、数据处理模块、中央控制模块、零部件识别模块、识别参数确定模块、参数信息校验模块、零部件定位模块、数据存储模块、更新显示模块。
数据库构建模块，与中央控制模块连接，用于通过数据库构建程序建立零部件数据库，并于出厂前将零部件信息存储至零部件数据库；
数据获取模块，与中央控制模块连接，用于通过三维视觉传感器对目标零部件进行实时的三维扫描，得到目标零部件的待识别图像信息；
数据处理模块，与中央控制模块连接，用于通过数据处理程序对目标零部件的待识别图像信息进行处理，识别得到目标零部件的编码信息；
中央控制模块，与数据库构建模块、数据获取模块、数据处理模块、零部件识别模块、识别参数确定模块、参数信息校验模块、零部件定位模块、数据存储模块、更新显示模块连接，用于通过中央处理器协调控制所述基于三维视觉的零部件识别与定位系统各个模块的正常运行；
零部件识别模块，与中央控制模块连接，用于通过零部件识别程序将获取的目标零部件的编码信息与数据库中的信息进行匹配，获取目标零部件信息；
识别参数确定模块，与中央控制模块连接，用于通过参数确定程序确定所述目标零部件信息的参数为所述待识别的目标零部件的参数信息；
参数信息校验模块，与中央控制模块连接，用于通过校验程序对识别得到的所述待识别零部件的参数信息进行校验，确定待识别零部件的最终识别参数信息；
零部件定位模块，与中央控制模块连接，用于通过零部件定位程序确定所述目标零部件在所述待识别图像信息中的位置信息；
数据存储模块，与中央控制模块连接，用于通过存储器存储零部件数据库信息、目标零部件的待识别图像信息、目标零部件的编码信息、目标零部件信息、待识别的目标零部件的参数信息、参数信息校验结果以及目标零部件的位置信息；
更新显示模块，与中央控制模块连接，用于通过显示器对零部件数据库信息、目标零部件的待识别图像信息、目标零部件的编码信息、目标零部件信息、待识别的目标零部件的参数信息、参数信息校验结果以及目标零部件的位置信息的实时数据进行更新显示。
进一步，数据库构建模块中，所述通过数据库构建模块利用数据库构建程序建立零部件数据库，并于出厂前将零部件信息存储至零部件数据库，包括：
(1)将零部件分别设置条形码；其中，所述条形码编制成易于被计算机和人识别的编码；
(2)零部件出厂前用条码扫描枪对电梯的每个零部件进行识别扫描；
(3)通过条形码获取零部件信息存储到计算机硬盘系统中，建立零部件信息数据库。
进一步，所述将零部件分别设置条形码，包括：大型部件采用金属条形码，小型部件采用普通的条形码。
进一步，零部件识别模块中，所述通过零部件识别模块利用零部件识别程序将获取的目标零部件的编码信息与数据库中的零部件信息进行匹配，获取目标零部件信息，包括：
(1)获取待识别零部件的第一图片信息、与所述待识别零部件关联的关联部件的第二图片信息以及所述待识别零部件上的文字信息中的至少两种，得到待识别信息；
(2)将所述待识别信息与数据库中的零部件信息进行匹配，得到所述待识别信息与每个所述已知零部件信息的匹配度；
(3)将符合预设条件的已知零部件信息作为目标零部件信息。
进一步，所述将符合预设条件的已知零部件信息作为目标零部件信息，包括：
(1)获取匹配度最高的已知零部件信息；
(2)判断所述匹配度最高的已知零部件信息的匹配度是否大于预设阈值；
(3)当所述匹配度最高的已知零部件信息的匹配度大于所述预设阈值时，将所述匹配度最高的已知零部件信息作为目标零部件信息。
进一步，零部件定位模块中，所述通过零部件定位模块利用零部件定位程序确定所述目标零部件在所述待识别图像信息中的位置信息，包括：
(1)获取目标零部件的待识别图像信息，根据目标零部件相对位置关系的固定结构，分析得到设计结构推理网络进行检测的可行性；
(2)根据所述设计结构推理网络进行检测的可行性分析结果，设计结构推理网络；
(3)将获取的目标零部件的待识别图像信息输入至推理网络中进行分类训练，输入新图片得到目标零部件的定位信息。
进一步，所述根据所述设计结构推理网络进行检测的可行性分析结果，设计结构推理网络，包括：
1)将获取的目标零部件的待识别图像信息入特征提取网络中，通过对图像进行多层卷积计算进行特征提取，并生成节点信息；
2)将图节点信息输入感兴趣区域池化层，生成一维向量即场景特征向量，并将生成的节点信息提取边界信息生成边界特征向量；
3)将节点特征向量、场景特征向量和边界特征向量分别输入到门控循环单元模块中，通过Softmax分类器和Smooth L1回归器得到零部件坐标信息。
进一步，步骤1)中，所述生成节点信息，包括：
①遍历所述最后一张特征图所有建议区域，每个建议区域为已知左上角坐标(x1,y1)和右下角坐标(x2,y2)的矩形框；
②计算节点信息，即矩形框中心点(xmid,ymid)，计算公式如下：
Figure BDA0003035876790000041
进一步，步骤2)中，所述将生成的节点信息提取边界信息生成边界特征向量，包括：
①遍历所述最后一张特征图所有的n个节点信息，连接所有节点生成边；
②选择第i个节点并计算其与第j个节点之间的边；边的信息包括第i个节点的坐标(xi,yi)以及该节点到第j节点(xj,yj)的角度θij及距离Lij，计算公式如下：
Figure BDA0003035876790000042
③由n个节点得到2n个边界，每个边界特征向量为(xi,yi,θij,Lij)。
进一步，步骤3)中，所述Softmax分类器的公式如下：
Figure BDA0003035876790000051
其中，L为损失值，T为类别集合，sj为全连接网络输入的置信度，Ti为正确标签值；所述Smooth L1回归器的公式如下：
Figure BDA0003035876790000052
其中，smooth L1为回归器输出损失值，x为预测值与目标值之间的距离。
本发明的另一目的在于提供一种一种存储在计算机可读介质上的计算机程序产品，包括计算机可读程序，供于电子装置上执行时，提供用户输入接口以应用所述的基于三维视觉的零部件识别与定位系统。
本发明的另一目的在于提供一种一种计算机可读存储介质，储存有指令，当所述指令在计算机上运行时，使得计算机应用所述的基于三维视觉的零部件识别与定位系统。
结合上述的所有技术方案，本发明所具备的优点及积极效果为：本发明提供的基于三维视觉的零部件识别与定位系统，能够通过零部件识别模块采用多信息交叉识别的方式更加准确地识别出待识别零部件，得出该待识别零部件的准确参数。本发明可用于多种零部件中，根据零部件相对位置固定的特点，结合分类神经网络和定位神经网络，提高了零部件的定位准确率；缩短了检测时间，降低了故障检测的难度，具有操作简单、信息采集速度快、采集信息量大、可靠性高等优点，能够使零部件制造更安全、管理更规范。
附图说明
为了更清楚地说明本发明实施例的技术方案，下面将对本发明实施例中所需要使用的附图做简单的介绍，显而易见地，下面所描述的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下还可以根据这些附图获得其他的附图。
图1是本发明实施例提供的基于三维视觉的零部件识别与定位系统结构框图；
图中：1、数据库构建模块；2、数据获取模块；3、数据处理模块；4、中央控制模块；5、零部件识别模块；6、识别参数确定模块；7、参数信息校验模块；8、零部件定位模块；9、数据存储模块；10、更新显示模块。
图2是本发明实施例提供的基于三维视觉的零部件识别与定位方法流程图。
图3是本发明实施例提供的通过数据库构建模块利用数据库构建程序建立零部件数据库，并于出厂前将零部件信息存储至零部件数据库的方法流程图。
图4是本发明实施例提供的通过零部件识别模块利用零部件识别程序将获取的目标零部件的编码信息与数据库中的零部件信息进行匹配，获取目标零部件信息的方法流程图。
图5是本发明实施例提供的通过零部件定位模块利用零部件定位程序确定所述目标零部件在所述待识别图像信息中的位置信息的方法流程图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
针对现有技术存在的问题，本发明提供了一种基于三维视觉的零部件识别与定位方法、系统，下面结合附图对本发明作详细的描述。
如图1所示，本发明实施例提供的基于三维视觉的零部件识别与定位系统包括：数据库构建模块1、数据获取模块2、数据处理模块3、中央控制模块4、零部件识别模块5、识别参数确定模块6、参数信息校验模块7、零部件定位模块8、数据存储模块9、更新显示模块10。
数据库构建模块1，与中央控制模块4连接，用于通过数据库构建程序建立零部件数据库，并于出厂前将零部件信息存储至零部件数据库；
数据获取模块2，与中央控制模块4连接，用于通过三维视觉传感器对目标零部件进行实时的三维扫描，得到目标零部件的待识别图像信息；
数据处理模块3，与中央控制模块4连接，用于通过数据处理程序对目标零部件的待识别图像信息进行处理，识别得到目标零部件的编码信息；
中央控制模块4，与数据库构建模块1、数据获取模块2、数据处理模块3、零部件识别模块5、识别参数确定模块6、参数信息校验模块7、零部件定位模块8、数据存储模块9、更新显示模块10连接，用于通过中央处理器协调控制所述基于三维视觉的零部件识别与定位系统各个模块的正常运行；
零部件识别模块5，与中央控制模块4连接，用于通过零部件识别程序将获取的目标零部件的编码信息与数据库中的信息进行匹配，获取目标零部件信息；
识别参数确定模块6，与中央控制模块4连接，用于通过参数确定程序确定所述目标零部件信息的参数为所述待识别的目标零部件的参数信息；
参数信息校验模块7，与中央控制模块4连接，用于通过校验程序对识别得到的所述待识别零部件的参数信息进行校验，确定待识别零部件的最终识别参数信息；
零部件定位模块8，与中央控制模块4连接，用于通过零部件定位程序确定所述目标零部件在所述待识别图像信息中的位置信息；
数据存储模块9，与中央控制模块4连接，用于通过存储器存储零部件数据库信息、目标零部件的待识别图像信息、目标零部件的编码信息、目标零部件信息、待识别的目标零部件的参数信息、参数信息校验结果以及目标零部件的位置信息；
更新显示模块10，与中央控制模块4连接，用于通过显示器对零部件数据库信息、目标零部件的待识别图像信息、目标零部件的编码信息、目标零部件信息、待识别的目标零部件的参数信息、参数信息校验结果以及目标零部件的位置信息的实时数据进行更新显示。
如图2所示，本发明实施例提供的基于三维视觉的零部件识别与定位方法包括以下步骤：
S101，通过数据库构建模块利用数据库构建程序建立零部件数据库，并于出厂前将零部件信息存储至零部件数据库；
S102，通过数据获取模块利用三维视觉传感器对目标零部件进行实时的三维扫描，得到目标零部件的待识别图像信息；
S103，通过数据处理模块利用数据处理程序对目标零部件的待识别图像信息进行处理，识别得到目标零部件的编码信息；
S104，通过中央控制模块利用中央处理器协调控制所述基于三维视觉的零部件识别与定位系统各个模块的正常运行；
S105，通过零部件识别模块利用零部件识别程序将获取的目标零部件的编码信息与数据库中的零部件信息进行匹配，获取目标零部件信息；
S106，通过识别参数确定模块利用参数确定程序确定所述目标零部件信息的参数为所述待识别的目标零部件的参数信息；
S107，通过参数信息校验模块利用校验程序对识别得到的所述待识别零部件的参数信息进行校验，确定待识别零部件的最终识别参数信息；通过零部件定位模块利用零部件定位程序确定所述目标零部件在所述待识别图像信息中的位置信息；
S108，通过数据存储模块利用存储器存储零部件数据库信息、目标零部件的待识别图像信息、目标零部件的编码信息、目标零部件信息、待识别的目标零部件的参数信息、参数信息校验结果以及目标零部件的位置信息；
S109，通过更新显示模块利用显示器对零部件数据库信息、目标零部件的待识别图像信息、目标零部件的编码信息、目标零部件信息、待识别的目标零部件的参数信息、参数信息校验结果以及目标零部件的位置信息的实时数据进行更新显示。
如图3所示，本发明实施例提供的步骤S101中，所述通过数据库构建模块利用数据库构建程序建立零部件数据库，并于出厂前将零部件信息存储至零部件数据库，包括：
S201，将零部件分别设置条形码；其中，所述条形码编制成易于被计算机和人识别的编码；
S202，零部件出厂前用条码扫描枪对电梯的每个零部件进行识别扫描；
S203，通过条形码获取零部件信息存储到计算机硬盘系统中，建立零部件信息数据库。
本发明实施例提供的步骤S201中，所述将零部件分别设置条形码，包括：大型部件采用金属条形码，小型部件采用普通的条形码。
如图4所示，本发明实施例提供的步骤S105中，所述通过零部件识别模块利用零部件识别程序将获取的目标零部件的编码信息与数据库中的零部件信息进行匹配，获取目标零部件信息，包括：
S301，获取待识别零部件的第一图片信息、与所述待识别零部件关联的关联部件的第二图片信息以及所述待识别零部件上的文字信息中的至少两种，得到待识别信息；
S302，将所述待识别信息与数据库中的零部件信息进行匹配，得到所述待识别信息与每个所述已知零部件信息的匹配度；
S303，将符合预设条件的已知零部件信息作为目标零部件信息。
本发明实施例提供的步骤S303中，所述将符合预设条件的已知零部件信息作为目标零部件信息，包括：
(1)获取匹配度最高的已知零部件信息；
(2)判断所述匹配度最高的已知零部件信息的匹配度是否大于预设阈值；
(3)当所述匹配度最高的已知零部件信息的匹配度大于所述预设阈值时，将所述匹配度最高的已知零部件信息作为目标零部件信息。
如图5所示，本发明实施例提供的步骤S107中，所述通过零部件定位模块利用零部件定位程序确定所述目标零部件在所述待识别图像信息中的位置信息，包括：
S401，获取目标零部件的待识别图像信息，根据目标零部件相对位置关系的固定结构，分析得到设计结构推理网络进行检测的可行性；
S402，根据所述设计结构推理网络进行检测的可行性分析结果，设计结构推理网络；
S403，将获取的目标零部件的待识别图像信息输入至推理网络中进行分类训练，输入新图片得到目标零部件的定位信息。
本发明实施例提供的步骤S402中，所述根据所述设计结构推理网络进行检测的可行性分析结果，设计结构推理网络，包括：
(1)将获取的目标零部件的待识别图像信息入特征提取网络中，通过对图像进行多层卷积计算进行特征提取，并生成节点信息；
(2)将图节点信息输入感兴趣区域池化层，生成一维向量即场景特征向量，并将生成的节点信息提取边界信息生成边界特征向量；
(3)将节点特征向量、场景特征向量和边界特征向量分别输入到门控循环单元模块中，通过Softmax分类器和Smooth L1回归器得到零部件坐标信息。
本发明实施例提供的步骤(1)中，所述生成节点信息，包括：
1)遍历所述最后一张特征图所有建议区域，每个建议区域为已知左上角坐标(x1,y1)和右下角坐标(x2,y2)的矩形框；
2)计算节点信息，即矩形框中心点(xmid,ymid)，计算公式如下：
Figure BDA0003035876790000101
本发明实施例提供的步骤(2)中，所述将生成的节点信息提取边界信息生成边界特征向量，包括：
1)遍历所述最后一张特征图所有的n个节点信息，连接所有节点生成边；
2)选择第i个节点并计算其与第j个节点之间的边；边的信息包括第i个节点的坐标(xi,yi)以及该节点到第j节点(xj,yj)的角度θij及距离Lij，计算公式如下：
Figure BDA0003035876790000111
3)由n个节点得到2n个边界，每个边界特征向量为(xi,yi,θij,Lij)。
本发明实施例提供的步骤(3)中，所述Softmax分类器的公式如下：
Figure BDA0003035876790000112
其中，L为损失值，T为类别集合，sj为全连接网络输入的置信度，Ti为正确标签值；所述Smooth L1回归器公式如下：
Figure BDA0003035876790000113
其中，smooth L1为回归器输出损失值，x为预测值与目标值之间的距离。
在上述实施例中，可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用全部或部分地以计算机程序产品的形式实现，所述计算机程序产品包括一个或多个计算机指令。在计算机上加载或执行所述计算机程序指令时，全部或部分地产生按照本发明实施例所述的流程或功能。所述计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。所述计算机指令可以存储在计算机可读存储介质中，或者从一个计算机可读存储介质向另一个计算机可读存储介质传输，例如，所述计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线(例如同轴电缆、光纤、数字用户线(DSL)或无线(例如红外、无线、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输)。所述计算机可读取存储介质可以是计算机能够存取的任何可用介质或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。所述可用介质可以是磁性介质，(例如，软盘、硬盘、磁带)、光介质(例如，DVD)、或者半导体介质(例如固态硬盘SolidState Disk(SSD))等。
以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，都应涵盖在本发明的保护范围之内。

Claims (10)

1.一种基于三维视觉的零部件识别与定位系统，其特征在于，所述基于三维视觉的零部件识别与定位系统包括：
数据库构建模块、数据获取模块、数据处理模块、中央控制模块、零部件识别模块、识别参数确定模块、参数信息校验模块、零部件定位模块、数据存储模块、更新显示模块；
数据库构建模块，与中央控制模块连接，用于通过数据库构建程序建立零部件数据库，并于出厂前将零部件信息存储至零部件数据库；
数据获取模块，与中央控制模块连接，用于通过三维视觉传感器对目标零部件进行实时的三维扫描，得到目标零部件的待识别图像信息；
数据处理模块，与中央控制模块连接，用于通过数据处理程序对目标零部件的待识别图像信息进行处理，识别得到目标零部件的编码信息；
中央控制模块，与数据库构建模块、数据获取模块、数据处理模块、零部件识别模块、识别参数确定模块、参数信息校验模块、零部件定位模块、数据存储模块、更新显示模块连接，用于通过中央处理器协调控制所述基于三维视觉的零部件识别与定位系统各个模块的正常运行；
零部件识别模块，与中央控制模块连接，用于通过零部件识别程序将获取的目标零部件的编码信息与数据库中的信息进行匹配，获取目标零部件信息；
识别参数确定模块，与中央控制模块连接，用于通过参数确定程序确定所述目标零部件信息的参数为所述待识别的目标零部件的参数信息；
参数信息校验模块，与中央控制模块连接，用于通过校验程序对识别得到的所述待识别零部件的参数信息进行校验，确定待识别零部件的最终识别参数信息；
零部件定位模块，与中央控制模块连接，用于通过零部件定位程序确定所述目标零部件在所述待识别图像信息中的位置信息；
数据存储模块，与中央控制模块连接，用于通过存储器存储零部件数据库信息、目标零部件的待识别图像信息、目标零部件的编码信息、目标零部件信息、待识别的目标零部件的参数信息、参数信息校验结果以及目标零部件的位置信息；
更新显示模块，与中央控制模块连接，用于通过显示器对零部件数据库信息、目标零部件的待识别图像信息、目标零部件的编码信息、目标零部件信息、待识别的目标零部件的参数信息、参数信息校验结果以及目标零部件的位置信息的实时数据进行更新显示。
2.如权利要求1所述的基于三维视觉的零部件识别与定位系统，其特征在于，数据库构建模块中，所述通过数据库构建模块利用数据库构建程序建立零部件数据库，并于出厂前将零部件信息存储至零部件数据库，包括：
(1)将零部件分别设置条形码；其中，所述条形码编制成易于被计算机和人识别的编码；
(2)零部件出厂前用条码扫描枪对电梯的每个零部件进行识别扫描；
(3)通过条形码获取零部件信息存储到计算机硬盘系统中，建立零部件信息数据库。
3.如权利要求2所述的基于三维视觉的零部件识别与定位系统，其特征在于，所述将零部件分别设置条形码，包括：大型部件采用金属条形码，小型部件采用普通的条形码。
4.如权利要求1所述的基于三维视觉的零部件识别与定位系统，其特征在于，零部件识别模块中，所述通过零部件识别模块利用零部件识别程序将获取的目标零部件的编码信息与数据库中的零部件信息进行匹配，获取目标零部件信息，包括：
(1)获取待识别零部件的第一图片信息、与所述待识别零部件关联的关联部件的第二图片信息以及所述待识别零部件上的文字信息中的至少两种，得到待识别信息；
(2)将所述待识别信息与数据库中的零部件信息进行匹配，得到所述待识别信息与每个所述已知零部件信息的匹配度；
(3)将符合预设条件的已知零部件信息作为目标零部件信息。
5.如权利要求4所述的基于三维视觉的零部件识别与定位系统，其特征在于，所述将符合预设条件的已知零部件信息作为目标零部件信息，包括：
(1)获取匹配度最高的已知零部件信息；
(2)判断所述匹配度最高的已知零部件信息的匹配度是否大于预设阈值；
(3)当所述匹配度最高的已知零部件信息的匹配度大于所述预设阈值时，将所述匹配度最高的已知零部件信息作为目标零部件信息。
6.如权利要求1所述的基于三维视觉的零部件识别与定位系统，其特征在于，零部件定位模块中，所述通过零部件定位模块利用零部件定位程序确定所述目标零部件在所述待识别图像信息中的位置信息，包括：
(1)获取目标零部件的待识别图像信息，根据目标零部件相对位置关系的固定结构，分析得到设计结构推理网络进行检测的可行性；
(2)根据所述设计结构推理网络进行检测的可行性分析结果，设计结构推理网络；
(3)将获取的目标零部件的待识别图像信息输入至推理网络中进行分类训练，输入新图片得到目标零部件的定位信息；
所述根据所述设计结构推理网络进行检测的可行性分析结果，设计结构推理网络，包括：
1)将获取的目标零部件的待识别图像信息入特征提取网络中，通过对图像进行多层卷积计算进行特征提取，并生成节点信息；
2)将图节点信息输入感兴趣区域池化层，生成一维向量即场景特征向量，并将生成的节点信息提取边界信息生成边界特征向量；
3)将节点特征向量、场景特征向量和边界特征向量分别输入到门控循环单元模块中，通过Softmax分类器和Smooth L1回归器得到零部件坐标信息；
其特征在于，步骤1)中，所述生成节点信息，包括：
①遍历所述最后一张特征图所有建议区域，每个建议区域为已知左上角坐标(x1,y1)和右下角坐标(x2,y2)的矩形框；
②计算节点信息，即矩形框中心点(xmid,ymid)，计算公式如下：
Figure FDA0003035876780000041
7.如权利要求6所述的基于三维视觉的零部件识别与定位系统，其特征在于，步骤2)中，所述将生成的节点信息提取边界信息生成边界特征向量，包括：
①遍历所述最后一张特征图所有的n个节点信息，连接所有节点生成边；
②选择第i个节点并计算其与第j个节点之间的边；边的信息包括第i个节点的坐标(xi,yi)以及该节点到第j节点(xj,yj)的角度θij及距离Lij，计算公式如下：
Figure FDA0003035876780000042
③由n个节点得到2n个边界，每个边界特征向量为(xi,yi,θij,Lij)。
8.如权利要求6所述的基于三维视觉的零部件识别与定位系统，其特征在于，步骤3)中，所述Softmax分类器的公式如下：
Figure FDA0003035876780000043
其中，L为损失值，T为类别集合，sj为全连接网络输入的置信度，Ti为正确标签值；所述Smooth L1回归器的公式如下：
Figure FDA0003035876780000044
其中，smooth L1为回归器输出损失值，x为预测值与目标值之间的距离。
9.一种存储在计算机可读介质上的计算机程序产品，包括计算机可读程序，供于电子装置上执行时，提供用户输入接口以应用如权利要求1～8任意一项所述的基于三维视觉的零部件识别与定位系统。
10.一种计算机可读存储介质，储存有指令，当所述指令在计算机上运行时，使得计算机应用如权利要求1～8任意一项所述的基于三维视觉的零部件识别与定位系统。
CN202110443479.6A 2021-04-23 2021-04-23 一种基于三维视觉的零部件识别与定位方法、系统 Pending CN113312969A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110443479.6A CN113312969A (zh) 2021-04-23 2021-04-23 一种基于三维视觉的零部件识别与定位方法、系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110443479.6A CN113312969A (zh) 2021-04-23 2021-04-23 一种基于三维视觉的零部件识别与定位方法、系统

Publications (1)

Publication Number Publication Date
CN113312969A true CN113312969A (zh) 2021-08-27

Family

ID=77372719

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110443479.6A Pending CN113312969A (zh) 2021-04-23 2021-04-23 一种基于三维视觉的零部件识别与定位方法、系统

Country Status (1)

Country Link
CN (1) CN113312969A (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114741358A (zh) * 2022-04-14 2022-07-12 一汽解放汽车有限公司 零部件参数检测方法、装置、计算机设备和存储介质
CN115965797A (zh) * 2022-12-27 2023-04-14 北京国电光宇机电设备有限公司 一种智能装配零部件自动识别方法及系统
CN116452840A (zh) * 2023-06-19 2023-07-18 济宁联威车轮制造有限公司 一种基于数控机床的汽车零部件组装位置视觉校对系统

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102682321A (zh) * 2011-12-06 2012-09-19 江苏美佳电梯有限公司 一种给电梯零部件编码并进行识别的方法
CN110533725A (zh) * 2019-09-06 2019-12-03 西南交通大学 一种基于结构推理网络的高铁接触网多种零部件定位方法
US20190389600A1 (en) * 2018-06-21 2019-12-26 The Boeing Company Positioning Enhancements to Localization Process for Three-Dimensional Visualization
CN111553445A (zh) * 2020-05-20 2020-08-18 北京三一智造科技有限公司 零部件识别方法、装置、存储介质和电子设备
CN111915604A (zh) * 2020-08-20 2020-11-10 魏小燕 一种互联网人工智能电子零配件识别与检测系统
CN112070837A (zh) * 2020-08-31 2020-12-11 浙江省机电设计研究院有限公司 一种基于视觉分析的零部件定位及抓取方法、系统
WO2021057810A1 (zh) * 2019-09-29 2021-04-01 深圳数字生命研究院 数据处理、训练、识别方法、装置和存储介质

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102682321A (zh) * 2011-12-06 2012-09-19 江苏美佳电梯有限公司 一种给电梯零部件编码并进行识别的方法
US20190389600A1 (en) * 2018-06-21 2019-12-26 The Boeing Company Positioning Enhancements to Localization Process for Three-Dimensional Visualization
CN110533725A (zh) * 2019-09-06 2019-12-03 西南交通大学 一种基于结构推理网络的高铁接触网多种零部件定位方法
WO2021057810A1 (zh) * 2019-09-29 2021-04-01 深圳数字生命研究院 数据处理、训练、识别方法、装置和存储介质
CN111553445A (zh) * 2020-05-20 2020-08-18 北京三一智造科技有限公司 零部件识别方法、装置、存储介质和电子设备
CN111915604A (zh) * 2020-08-20 2020-11-10 魏小燕 一种互联网人工智能电子零配件识别与检测系统
CN112070837A (zh) * 2020-08-31 2020-12-11 浙江省机电设计研究院有限公司 一种基于视觉分析的零部件定位及抓取方法、系统

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
王晓华;傅卫平;: "零件的双目视觉识别定位与抓取系统研究", 制造业自动化, no. 12 *
黄海松;魏中雨;姚立国;: "基于深度学习的零件实例分割识别研究", 组合机床与自动化加工技术, no. 05 *

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114741358A (zh) * 2022-04-14 2022-07-12 一汽解放汽车有限公司 零部件参数检测方法、装置、计算机设备和存储介质
CN114741358B (zh) * 2022-04-14 2024-05-03 一汽解放汽车有限公司 零部件参数检测方法、装置、计算机设备和存储介质
CN115965797A (zh) * 2022-12-27 2023-04-14 北京国电光宇机电设备有限公司 一种智能装配零部件自动识别方法及系统
CN115965797B (zh) * 2022-12-27 2023-12-08 北京国电光宇机电设备有限公司 一种智能装配零部件自动识别方法及系统
CN116452840A (zh) * 2023-06-19 2023-07-18 济宁联威车轮制造有限公司 一种基于数控机床的汽车零部件组装位置视觉校对系统

Similar Documents

Publication Publication Date Title
CN111986178B (zh) 产品缺陷检测方法、装置、电子设备和存储介质
CN113312969A (zh) 一种基于三维视觉的零部件识别与定位方法、系统
US9744671B2 (en) Information technology asset type identification using a mobile vision-enabled robot
CN112560862B (zh) 文本识别方法、装置及电子设备
US8542912B2 (en) Determining the uniqueness of a model for machine vision
CN115719436A (zh) 模型训练方法、目标检测方法、装置、设备以及存储介质
CN113420848A (zh) 神经网络模型的训练方法及装置、手势识别的方法及装置
CN116453221B (zh) 目标对象姿态确定方法、训练方法、装置以及存储介质
CN111126268A (zh) 关键点检测模型训练方法、装置、电子设备及存储介质
CN110598771A (zh) 一种基于深度语义分割网络的视觉目标识别方法和装置
CN111783561A (zh) 审图结果修正方法、电子设备及相关产品
KR102386718B1 (ko) 부품 계수 장치 및 이를 이용한 물류 관리 방법
CN114399515A (zh) 基于语言描述的类级别目标物6d位姿获取方法及存储介质
CN112857746A (zh) 一种灯光检测仪的追踪方法、装置、电子设备及存储介质
CN117058421A (zh) 基于多头模型的图像检测关键点方法、系统、平台及介质
CN116091416A (zh) 印制电路板组装缺陷检测、变化检测模型训练方法及装置
CN112509050B (zh) 一种位姿估计方法、防碰撞抓物方法和装置
CN110399892B (zh) 环境特征提取方法和装置
CN113362227A (zh) 图像处理方法、装置、电子设备及存储介质
CN116258769B (zh) 一种定位校验方法、装置、电子设备和存储介质
CN112749781A (zh) 关键点预测方法、系统、电子设备、存储介质
CN113780176B (zh) 局部遮挡对象识别方法、装置、设备及存储介质
CN111523452B (zh) 用于检测图像中人体位置的方法和装置
US20210390332A1 (en) Image recognition applied to property services and repairs
CN117033583A (zh) 一种基于数字员工的智能交互方法、装置及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination