CN115761285A - 一种基于虚拟位姿与场景感知匹配学习的辅助装配方法 - Google Patents
一种基于虚拟位姿与场景感知匹配学习的辅助装配方法 Download PDFInfo
- Publication number
- CN115761285A CN115761285A CN202211657723.XA CN202211657723A CN115761285A CN 115761285 A CN115761285 A CN 115761285A CN 202211657723 A CN202211657723 A CN 202211657723A CN 115761285 A CN115761285 A CN 115761285A
- Authority
- CN
- China
- Prior art keywords
- assembly
- pose
- assembled
- information
- matching
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Classifications
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
- Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
- Y02P90/30—Computing systems specially adapted for manufacturing
Landscapes
- Image Analysis (AREA)
Abstract
本发明提供了一种基于虚拟位姿与场景感知匹配学习的辅助装配方法，属于智能制造技术领域。本发明为了感知场景，利用深度学习模型识别装配零部件及其在装配基体上的装配区域，利用深度学习模型输出的角点信息计算出相应的单应矩阵，从而将识别出的装配零部件渲染到相应装配区域内，为用户提供装配指导，同时在虚拟环境中生成零部件正确安装位姿匹配模板，将装配零部件的位姿信息与匹配模板进行比较，计算相似度得分，得到状态纠错信息。采用本发明的技术方案，可以降低用户的装配认知负担，实现产品的快速装配，并且提高装配效率以及准确率。
Description
技术领域
本发明涉及智能制造领域，更具体地，一种基于虚拟位姿与场景感知匹配学习的辅助装配方法。
背景技术
随着市场需求的个性化，多样化促进了产品的快速变形与升级换代，复杂产品的人工装配作业内容随着产品需求不断变化，传统的人工装配作业中，工人需要参考二维纸质装配工艺，装配信息不集中且可视化程度不高，造成操作人员理解效率以及装配操作效率较低，增强现实作为新型的人机交互以及信息可视化的方式可以有效的解决上述问题。
但现有的比较成熟的增强现实辅助装配大多数集中于整体架构的研究以及方法的实现，很少关注完成装配后的零件状态检测，而对装配完成的零部件进行状态检测是提高装配成功率的关键。此外，增强现实辅助装配过程中大部分需要人为去触发控制流程，增加了用户认知负担，且难以适应于复杂场景的装配现场。
因此，实现一种能主动推送装配辅助信息且状态纠错的智能化增强现实辅助装配方法，对降低装配认知门槛，提高装配效率以及成功率，促进装配制造业发展有着重要的意义。
发明内容
为了解决上述问题，本发明旨在公开一种基于虚拟位姿与场景感知匹配学习的辅助装配方法，利用深度学习算法实现装配零部件与装配区域匹配，同时在虚拟环境中生成待匹配模板以检测装配质量，来提高装配效率以及成功率。
为了实现上述目的，本发明所采用的技术方案主要包括以下过程：
步骤1、收集装配对象的以下信息：装配基体的三维工件模型、各装配零部件的三维工件模型、装配零部件在装配基体上正确安装时的相对位姿、各装配零部件装配时所对应的装配工艺信息；
步骤2、将步骤1中收集到的信息导入虚拟装配环境中，设定一个与真实相机参数一致的虚拟相机，利用虚拟相机对正确安装位姿下的装配零部件进行不同角度上的图像采集，形成一组该装配零部件在装配基体上正确安装的位姿匹配模板；
步骤3、重复步骤2对不同的装配零部件分别进行图像采集，形成位姿匹配模板库；
步骤4、利用真实相机对不同的装配零部件进行图像采集，并为采集到的图像分别标记对应的装配零部件名称标签，建立装配零部件图像数据集；
步骤5、利用真实相机对装配基体进行图像采集，并在采集到的图像上标记角点，两个角点围成一个矩形待装配区域，并为待装配区域标记该区域的待装配零部件名称标签，建立装配基体图像数据集；
步骤6、以装配零部件图像数据集中的装配零部件图像为输入，装配零部件图像数据集中的名称标签为输出，构建深度学习模型Ⅰ；
将装配零部件图像数据集中的数据输入深度学习模型Ⅰ进行训练；
步骤7、以装配基体图像数据集中的装配基体图像为输入，装配基体图像数据集中的角点位置及对应的待装配区域的装配零部件名称标签为输出，构建深度学习模型Ⅱ；
将装配基体图像数据集中的数据输入深度学习模型Ⅱ进行训练；
步骤8、通过真实相机对装配作业现场进行图像采集，并将图像信息输入深度学习模型Ⅰ与深度学习模型Ⅱ中，根据深度学习模型Ⅰ的输出确定用户选择安装的装配零部件，根据深度学习模型Ⅱ的输出确定用户选择安装的装配零部件在装配基体上的装配区域及对应的角点信息；
步骤9、根据用户选择的装配零部件的工件模型及装配工艺信息，以其对应的角点信息为对准信息，将装配零部件三维工件模型与装配工艺信息渲染到真实的装配作业场景中，为用户提供装配指导；
步骤10、用户完成当前装配零部件的相应操作后，将装配完成的图像与步骤3中位姿匹配模板库中所对应的匹配模板进行匹配，计算匹配模板与装配完成图像之间的相似度得分，若相似度得分大于设定的阈值，则输出完成该装配零部件的装配，若小于阈值则执行步骤11；
步骤11、利用真实场景中的二维信息与深度信息估计当前装配零部件位姿信息，并将得到的位姿与步骤3中匹配模板所对应的位姿进行比较，计算位姿差值，并将位姿差值重新渲染，为用户提供装配纠错信息重新装配；
步骤12、重复步骤8到步骤11直至完成所有装配零部件的装配。
作为优选，所述步骤2中，所述正确安装的位姿匹配模板，包含以下信息：利用边缘检测技术得到的颜色梯度信息、利用拟合技术得到的点云法向量信息、装配零部件正确安装时在虚拟相机坐标系下的位姿信息、装配基体在虚拟相机坐标系下的位姿信息、虚拟相机图像采集时在世界坐标系下的位姿信息。
作为优选，所述步骤9中，将装配零部件三维工件模型与装配工艺信息渲染到真实的装配作业场景中，其具体方法为：利用步骤8中由深度学习模型Ⅱ所得到的角点的三维坐标与像素坐标求出单应矩阵，将零部件三维模型通过单应矩阵投影变换到像素平面上，从而叠加到真实场景中。
作为优选，所述步骤10中，计算匹配模板与装配完成图像之间的相似度得分，其方法为：将装配作业现场图像进行ROI区域裁剪，将裁剪后的图像提取关键匹配点，将提取到的关键匹配点转换为特征向量，计算提取到的特征向量与模板图片中的特征向量的欧式距离，欧氏距离越小，则相似度越高。
作为优选，所述步骤11中，位姿差值重新渲染，其渲染方法包括但不限于，以文本标注的渲染方法，以静态箭头指引的渲染方法，以动态三维动画的渲染方法。
具体实施方式
为了使本发明的目的、技术方案和优点更加清楚明了，下面对本发明进行进一步详细说明。但是应该理解，此处所描述的具体实施例仅仅用于解释本发明，并不用于限制本发明的范围。
除非另有定义，本文所使用的所有技术用语与属于本发明的技术领域的技术人员通常理解的含义相同，本文在本发明的说明书中所使用的属于只是为了描述具体的实施例的目的，不是旨在限制于本发明。
步骤1、收集装配对象的以下信息：装配基体的三维工件模型、各装配零部件的三维工件模型、装配零部件在装配基体上正确安装时的相对位姿、各装配零部件装配时所对应的装配工艺信息；
步骤2、将步骤1中收集到的信息导入虚拟装配环境中，设定一个与真实相机参数一致的虚拟相机，利用虚拟相机对正确安装位姿下的装配零部件进行不同角度上的图像采集，形成一组该装配零部件在装配基体上正确安装的位姿匹配模板；
作为优选，所述正确安装的位姿匹配模板，包含以下信息：利用边缘检测技术得到的颜色梯度信息、利用拟合技术得到的点云法向量信息、装配零部件正确安装时在虚拟相机坐标系下的位姿信息、装配基体在虚拟相机坐标系下的位姿信息、虚拟相机图像采集时在世界坐标系下的位姿信息；
步骤3、重复步骤2对不同的装配零部件分别进行图像采集，形成位姿匹配模板库；
步骤4、利用真实相机对不同的装配零部件进行图像采集，并为采集到的图像分别标记对应的装配零部件名称标签，建立装配零部件图像数据集；
作为优选，所述图像采集通过相机拍照获得，图像内容为RGB和RGB-D格式，保存的图片为PNG格式；
作为优选，所述装配零件图像数据集包括所有待装配零部件及其对应标签，每个装配零部件分别为200张图片和其对应标签；
步骤5、利用真实相机对装配基体进行图像采集，并在采集到的图像上标记角点，两个角点围成一个矩形待装配区域，并为待装配区域标记该区域的待装配零部件名称标签，建立装配基体图像数据集；
作为优选，所述装配基体图像数据集包括装配进度不同的装配基体图像以及完成装配的装配基体整体图像，共包含300张图片及对应的角点信息，保存的图片的格式为PNG格式，保存的角点信息的格式为TXT格式；
步骤6、以装配零部件图像数据集中的装配零部件图像为输入，装配零部件图像数据集中的名称标签为输出，构建深度学习模型Ⅰ；
将装配零部件图像数据集中的数据输入深度学习模型Ⅰ进行训练；
作为优选，所述深度学习模型Ⅰ采用AlexNet网络结构，输入经过5个卷积层，3个全连接层的非线性变换后，在输出层由softmax分类器得到最后结果，激活函数选用Relu函数，损失函数选择均方误差函数；
步骤7、以装配基体图像数据集中的装配基体图像为输入，装配基体图像数据集中的角点位置及对应的待装配区域的装配零部件名称标签为输出，构建深度学习模型Ⅱ；
将装配基体图像数据集中的数据输入深度学习模型Ⅱ进行训练；
作为优选，所述深度学习模型Ⅱ采用YOLOV5的网络结构，该网络结构分为输入端，Backbone，Neck，Head四个模块，输入端模块调整输入图像的尺寸以支持对图像细粒度特征的挖掘与检测，Backbone模块作为核心特征提取器共有72个卷积层，卷积核大小为3×3，步长为2，Neck模块用以特征融合，包含三个最大池化层，其卷积核大小分别为3×3，9×9，13×13，Head模块输出最后的目标对象及类别概率，损失函数采用CIOULoss函数；
步骤8、通过真实相机对装配作业现场进行图像采集，并将图像信息输入深度学习模型Ⅰ与深度学习模型Ⅱ中，根据深度学习模型Ⅰ的输出确定用户选择安装的装配零部件，根据深度学习模型Ⅱ的输出确定用户选择安装的装配零部件在装配基体上的装配区域及对应的角点信息；
步骤9、根据用户选择的装配零部件的工件模型及装配工艺信息，以其对应的角点信息为对准信息，将装配零部件三维工件模型与装配工艺信息渲染到真实的装配作业场景中，为用户提供装配指导；
作为优选，所述装配零部件三维工件模型与装配工艺信息渲染到真实的装配作业场景中，其具体方法为：利用步骤8中由深度学习模型Ⅱ所得到的角点的三维坐标与像素坐标求出单应矩阵，将零部件三维模型通过单应矩阵投影变换到像素平面上，从而叠加到真实场景中；
步骤10、用户完成当前装配零部件的相应操作后，将装配完成的图像与步骤3中位姿匹配模板库中所对应的匹配模板进行匹配，计算匹配模板与装配完成图像之间的相似度得分，若相似度得分大于设定的阈值，则输出完成该装配零部件的装配，若小于阈值则执行步骤11；
作为优选，所述计算匹配模板与装配完成图像之间的相似度得分，其方法为：将装配作业现场图像进行ROI区域裁剪，将裁剪后的图像提取关键匹配点，将提取到的关键匹配点转换为特征向量，计算提取到的特征向量与模板图片中的特征向量的欧式距离，欧氏距离越小，则相似度越高；
步骤11、利用真实场景中的二维信息与深度信息估计当前装配零部件位姿信息，并将得到的位姿与步骤3中匹配模板所对应的位姿进行比较，计算位姿差值，并将位姿差值重新渲染，为用户提供装配纠错信息重新装配；
作为优选，所述位姿差值重新渲染，其渲染方法包括但不限于，以文本标注的渲染方法，以静态箭头指引的渲染方法，以动态三维动画的渲染方法；
步骤12、重复步骤8到步骤11直至完成所有装配零部件的装配。
以上的仅是本发明的实施例,方案中公知的具体结构和/或特性等常识在此未作过多描述。应当指出,对于本领域的技术人员来说,在不脱离本发明结构的前提下,还可以作出若干变形和改进,这些也应该视为本发明的保护范围,这些都不会影响本发明实施的效果和专利的实用性。本申请要求的保护范围应当以其权利要求的内容为准,说明书中的具体实施方式等记载可以用于解释权利要求的内容。
Claims (5)
1.一种基于虚拟位姿与场景感知匹配学习的辅助装配方法，其特征在于，包括以下步骤：
步骤1、收集装配对象的以下信息：装配基体的三维工件模型、各装配零部件的三维工件模型、装配零部件在装配基体上正确安装时的相对位姿、各装配零部件装配时所对应的装配工艺信息；
步骤2、将步骤1中收集到的信息导入虚拟装配环境中，设定一个与真实相机参数一致的虚拟相机，利用虚拟相机对正确安装位姿下的装配零部件进行不同角度上的图像采集，形成一组该装配零部件在装配基体上正确安装的位姿匹配模板；
步骤3、重复步骤2对不同的装配零部件分别进行图像采集，形成位姿匹配模板库；
步骤4、利用真实相机对不同的装配零部件进行图像采集，并为采集到的图像分别标记对应的装配零部件名称标签，建立装配零部件图像数据集；
步骤5、利用真实相机对装配基体进行图像采集，并在采集到的图像上标记角点，两个角点围成一个矩形待装配区域，并为待装配区域标记该区域的待装配零部件名称标签，建立装配基体图像数据集；
步骤6、以装配零部件图像数据集中的装配零部件图像为输入，装配零部件图像数据集中的名称标签为输出，构建深度学习模型Ⅰ；
将装配零部件图像数据集之中的数据输入到深度学习模型Ⅰ进行训练；
步骤7、以装配基体图像数据集中的装配基体图像为输入，装配基体图像数据集中的角点位置及对应的待装配区域的装配零部件名称标签为输出，构建深度学习模型Ⅱ；
将装配基体图像数据集之中的数据输入到深度学习模型Ⅱ进行训练；
步骤8、通过真实相机对装配作业现场进行图像采集，并将图像信息输入深度学习模型Ⅰ与深度学习模型Ⅱ中，根据深度学习模型Ⅰ的输出确定用户选择安装的装配零部件，根据深度学习模型Ⅱ的输出确定用户选择安装的装配零部件在装配基体上的装配区域及对应的角点信息；
步骤9、根据用户选择安装的装配零部件的工件模型及装配工艺信息，以其对应的角点信息为对准信息，将装配零部件三维工件模型与装配工艺信息渲染到真实的装配作业场景中，为用户提供装配指导；
步骤10、用户完成当前装配零部件的相应操作后，将装配完成的图像与步骤3中位姿匹配模板库中所对应的匹配模板进行匹配，计算匹配模板与装配完成图像之间的相似度得分，若相似度得分大于设定的阈值，则输出完成该装配零部件的装配，若小于阈值则执行步骤11；
步骤11、利用真实场景中的二维信息与深度信息估计当前装配零部件位姿信息，并将得到的位姿与步骤3中匹配模板所对应的位姿进行比较，计算位姿差值，并将位姿差值重新渲染，为用户提供装配纠错信息重新装配；
步骤12、重复步骤8到步骤11直至完成所有装配零部件的装配。
2.一种基于虚拟位姿与场景感知匹配学习的辅助装配方法，其特征在于，所述步骤2中，所述正确安装的位姿匹配模板，包含以下信息：利用边缘检测技术得到的颜色梯度信息、利用拟合技术得到的点云法向量信息、装配零部件正确安装时在虚拟相机坐标系下的位姿信息、装配基体在虚拟相机坐标系下的位姿信息、虚拟相机图像采集时在世界坐标系下的位姿信息。
3.一种基于虚拟位姿与场景感知匹配学习的辅助装配方法，其特征在于，所述步骤9中，将装配零部件三维工件模型与装配工艺信息渲染到真实的装配作业场景中，其具体方法为：利用步骤8中由深度学习模型Ⅱ所得到的角点的三维坐标与像素坐标求出单应矩阵，将零部件三维模型通过单应矩阵投影变换到像素平面上，从而叠加到真实场景中。
4.一种基于虚拟位姿与场景感知匹配学习的辅助装配方法，其特征在于，所述步骤10中，计算匹配模板与装配完成图像之间的相似度得分，其方法为：将装配作业现场图像进行ROI区域裁剪，将裁剪后的图像提取关键匹配点，将提取到的关键匹配点转换为特征向量，计算提取到的特征向量与模板图片中的特征向量的欧式距离，欧氏距离越小，则相似度越高。
5.一种基于虚拟位姿与场景感知匹配学习的辅助装配方法，其特征在于，所述步骤11中，位姿差值重新渲染，其渲染方法包括但不限于，以文本标注的渲染方法，以静态箭头指引的渲染方法，以动态三维动画的渲染方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202211657723.XA CN115761285A (zh) | 2022-12-22 | 2022-12-22 | 一种基于虚拟位姿与场景感知匹配学习的辅助装配方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202211657723.XA CN115761285A (zh) | 2022-12-22 | 2022-12-22 | 一种基于虚拟位姿与场景感知匹配学习的辅助装配方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN115761285A true CN115761285A (zh) | 2023-03-07 |
Family
ID=85347265
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202211657723.XA Pending CN115761285A (zh) | 2022-12-22 | 2022-12-22 | 一种基于虚拟位姿与场景感知匹配学习的辅助装配方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN115761285A (zh) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116385442A (zh) * | 2023-06-06 | 2023-07-04 | 青岛理工大学 | 一种基于深度学习的虚拟装配缺陷检测方法 |
| CN117197501A (zh) * | 2023-09-08 | 2023-12-08 | 南昌大学 | 一种基于模板匹配算法的目标检测方法 |
-
2022
- 2022-12-22 CN CN202211657723.XA patent/CN115761285A/zh active Pending
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116385442A (zh) * | 2023-06-06 | 2023-07-04 | 青岛理工大学 | 一种基于深度学习的虚拟装配缺陷检测方法 |
| CN116385442B (zh) * | 2023-06-06 | 2023-08-18 | 青岛理工大学 | 一种基于深度学习的虚拟装配缺陷检测方法 |
| CN117197501A (zh) * | 2023-09-08 | 2023-12-08 | 南昌大学 | 一种基于模板匹配算法的目标检测方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US8467596B2 (en) | Method and apparatus for object pose estimation | |
| CN108898063B (zh) | 一种基于全卷积神经网络的人体姿态识别装置及方法 | |
| CN115761285A (zh) | 一种基于虚拟位姿与场景感知匹配学习的辅助装配方法 | |
| CN106055091B (zh) | 一种基于深度信息和校正方式的手部姿态估计方法 | |
| EP3093823B1 (en) | Static object reconstruction method and system | |
| CN108388882B (zh) | 基于全局-局部rgb-d多模态的手势识别方法 | |
| CN111462135A (zh) | 基于视觉slam与二维语义分割的语义建图方法 | |
| CN111563452B (zh) | 一种基于实例分割的多人体姿态检测及状态判别方法 | |
| CN106951840A (zh) | 一种人脸特征点检测方法 | |
| CN110766024B (zh) | 基于深度学习的视觉里程计特征点提取方法及视觉里程计 | |
| CN111784775B (zh) | 一种标识辅助的视觉惯性增强现实注册方法 | |
| Ma et al. | Crlf: Automatic calibration and refinement based on line feature for lidar and camera in road scenes | |
| Pramada et al. | Intelligent sign language recognition using image processing | |
| CN102982524B (zh) | 玉米果穗有序图像的拼接方法 | |
| CN111368637B (zh) | 一种基于多掩模卷积神经网络的搬运机器人识别目标方法 | |
| CN107507263B (zh) | 一种基于图像的纹理生成方法及系统 | |
| CN110991258B (zh) | 一种人脸融合特征提取方法及系统 | |
| CN104268526A (zh) | 一种汉字图片匹配与变形方法 | |
| CN111695431A (zh) | 一种人脸识别方法、装置、终端设备及存储介质 | |
| CN117370498B (zh) | 一种3d开放词汇检测与密集字幕生成统一的建模方法 | |
| CN115008454A (zh) | 一种基于多帧伪标签数据增强的机器人在线手眼标定方法 | |
| CN116092178A (zh) | 一种面向移动端的手势识别和跟踪方法及系统 | |
| CN113221773B (zh) | 基于遥感影像快速构建飞机分类数据集的方法 | |
| Cai et al. | Improving CNN-based planar object detection with geometric prior knowledge | |
| Liang et al. | DIG-SLAM: an accurate RGB-D SLAM based on instance segmentation and geometric clustering for dynamic indoor scenes |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |