CN112365577B - 一种基于卷积神经网络的机械零件增强现实跟踪注册方法 - Google Patents

Abstract

本发明请求保护一种基于卷积神经网络的机械零件增强现实跟踪注册方法，具体包括如下步骤：U1、采用深度相机进行机械零件的三维建模，采集真实环境下的机械零件不同角度的位姿作为真实环境下的数据集。U2、对已建立的真实环境下的机械零件位姿数据集进行补充，将建模产生的3D模型导入Blender引擎建立物理和行为模型，生成三维场景，将模型与不同的场景图片进行融合，从而产生虚拟环境下我们深度学习需要机械零件6D位姿的数据。U3、对于卷积神经网络的训练，采用过往训练过的机械零件数据进行迁移学习；U4、结合深度可分离卷积的方式对深度学习网络框架轻量化来，对原本的卷积层进行改进，将训练参数减少四分之一以上。

Description

一种基于卷积神经网络的机械零件增强现实跟踪注册方法

技术领域

本发明属于增强现实技术领域，具体涉及一种基于卷积神经网络的机械零件增强现实跟踪注册方法。

背景技术

随着工业产业的逐步发展，许多工业生产过程实现了自动化，一般重复性劳动的生产线上也逐步由机器代替工人，这使得生产过程更加高效、安全，产品精度也会随之提高。当生产过程中需要对工业零件进行抓取和识别时，就需要让机器对零件进行准确快速的定位和分类，以提高机器的识别精度和工作效率。机械零件由于表面光滑，纹理较少，且在光照下反光等特性难以进行姿态估计，这一特点严重影响了工业生产过程的自动化。因此，提高机械零件的姿态估计精度已经成为工业生产过程的自动化过程中一个亟待解决的问题。

增强现实技术作为虚拟现实技术的一个重要分支，将计算机生成的虚拟信息(三维模型、文字注释等)叠加到用户所处的真实的装配环境中，对人的视觉系统进行影像增强或扩张，从而达到支持人们获得丰富信息、辅助工作的目的。自上世纪90年代早期开始，AR技术就被使用于装配支持系统原型和试验应用程序中，基于AR的机械零件装配支持系统通过在现实环境中叠加计算机生成的线缆几何模型、动画、文本注释等信息，给操作人员提供一个融合了现实场景和虚拟机械零件装配引导信息的混合现实环境，从而使机械零件装配引导过程更直观、简便和安全，满足产品质量要求的同时节省时间和成本。其中，跟踪注册技术是基于AR的机械零件装配支持系统的核心技术之一，它是实现机械零件信息在AR装配场景准确融合的关键。因此，对机械零件跟踪注册方法的研究具有重要的实际应用价值。

深度学习是机器学习的一个分支，它可以自动从给出的数据中学习一些基础特征，并从简单特征中提取复杂特征，从而使样本变得更加可分。传统方法中特征提取主要依赖人工设计的提取器，需要有专业知识及复杂的调参过程，同时每个方法都是针对具体应用，泛化能力及鲁棒性较差，而且识别率停留在40％、50％左右，很难做商业的应用。深度学习可以直接将原始图像作为输入进行识别，避免了前期对图像的复杂的预处理，解决了传统方法中需要人工设计特征的难题。而工业零件由于其表面特征较少，金属表面反光等特性更加难以采用传统的识别方式进行高效快速准确的识别。随着卷积神经网络，计算机能力及计算机视觉等方向的发展，基于深度学习的图像识别已经在精度和实时性方面，远远赶超传统图像。

针对现有技术中存在的问题与不足，本发明是一种能取得良好的机械零件增强现实跟踪注册效果的方法，解决深度学习中，需要的某一特定的非标机械零件数据集生成和获取的困难和网络参数过多导致训练时间过长等问题。

发明内容

本发明旨在解决以上现有技术的问题。提出了一种基于卷积神经网络的机械零件增强现实跟踪注册方法。本发明的技术方案如下：

一种基于卷积神经网络的机械零件增强现实跟踪注册方法，其包括以下步骤：

U1、采用深度相机进行机械零件的三维建模，采集真实环境下的机械零件不同角度的位姿数据，制作真实环境下的机械零件位姿数据集；

U2、对步骤U1已建立的真实环境下的机械零件位姿数据集进行补充，将建模产生的3D模型导入Blender引擎建立物理和行为模型，生成三维场景，将U1重建得到机械零件的三维模型与不同的场景图片进行融合，从而产生虚拟环境下深度学习需要机械零件6D位姿的数据；

U3、将步骤U2产生的机械零件6D位姿的数据输入深度卷积神经网络中，采用过往训练过的机械零件数据进行迁移学习，得到物体的三维模型；

U4、结合深度可分离卷积的方式对深度学习网络框架轻量化，对原本的卷积层进行改进，将训练参数减少，采用三维建模软件合成虚拟环境下机械零件6D位姿估计数据。

进一步的，所述步骤U1机械零件数据集的制作步骤具体为：

在所要制作机械零件的周围附加aruco位姿定位码标记，aruco标记指的是

一种辅助定位的标记码，确保标记没有重复；

使用深度相机对着目标机械零件进行拍摄，稳定的移动相机以获得物体的不同视角，同时随时保持相机视场内有2-3个标记；

将所获得的物体位姿数据导入Meshlab软件中，进行三维点云的配准，得到重建的机械零件三维模型；

使用unity软件，导入重建后的机械零件，使用虚拟相机对物体进行拍摄，获得物体不同视角的位姿，把获得的结果与混乱条件下的图片进行合成，增加训练的数据集大小。

进一步的，所述步骤U2采用在blender下用虚拟相机进行拍照的方法对步骤U1已建立的真实环境下的机械零件位姿数据集进行补充；

将通过深度相机得到的机械零件三维模型与不同的场景图片进行融合，使用blender里面的虚拟相机对重建的三维模型在不同背景下进行拍照获得机械零件在不同场景下的图片和位姿数据，从而产生虚拟环境下深度学习需要机械零件6D位姿的数据。

进一步的，所述步骤U4深度学习网络框架轻量化步骤具体为：

(1)深度学习网络框架采用6D姿态估计的开源网络pvnet作为基础网络，对pvnet所设计的resnet18的基础上进行改进，具体为引入深度可分离卷积进行轻量化，将resnet18的普通卷积层替换为深度卷积和点卷积，除了第一个卷积层和最后的卷积层所有的BN正则化和Relu非线性激活函数相连；

(2)对模型的后4层以外的14层进行迁移训练，不改变前14层参数的情况下训练后四层的卷积参数，在训练30个epoch后，再一起训练18层网络；

(3)在原有网络的loss损失函数的基础上在第9层网络的时候加入最后的判别网络，与最后的判别loss一起进行loss的加权，第9层loss设置为0.2，最终的loss设置为0.8。

进一步的，所述训练的损失函数为：

w代表训练的权值参数，k表示从1开始计数到K的求和，K表示一次对K个点进行损失计算，O表示属于检测物体的点的集合，x、y分别表示x坐标和y坐标，l₁表示是指l1正则化，

表示通过网络我们预测的像素点指向关键点的向量，v_k(p)表示像素点指向真实的关键点的向量值，Δv_k(p；w)表示通过网络我们预测的像素点指向关键点的向量值减去真实的像素点指向关键点的向量值，

是指的预测向量，v_k是真实的向量，Δv_k|_x和Δv_k|_y是v_k的两个元素值，p是像素点位姿。

本发明的优点及有益效果如下：

针对增强现实领域，进行深度学习下机械零件跟踪注册过程中，物体6D姿态估计数据集采集的困难，提出采用深度相机进行真实数据采集和unity软件下虚拟数据合成的方式得到数据，不同于以往采用3D扫描机的复杂方式或者仅仅采用已有物体目标的3D模型在3D建模软件下进行6D姿态的虚拟合成的方式来制作数据集。该方法能够通过虚拟数据集保证数据集足够大的同时，采用真实条件下的物体位姿进行微调，保证了训练的可靠性。

同时针对深度学习网络训练时间久，得到的网络参数量大不便于移植到轻量级的设备，对resnet18网络进行轻量化，使用深度可分离卷积代替原来的普通卷积的方式和迁移学习的方式缩短训练时间和减少网络参数。结果表明对于没有3D模型的机械零件的进行增强现实跟踪注册效果满足需求且该算法具有很高的鲁棒性。

附图说明

图1是本发明提供优选实施例进行机械零件数据集的制作流程图；

图2为传统3×3卷积和同等替换的深度可分离卷积图；

图3本发明改进的resnet18网络框架。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、详细地描述。所描述的实施例仅仅是本发明的一部分实施例。

本发明解决上述技术问题的技术方案是：

一种基于卷积神经网络的机械零件增强现实跟踪注册方法，其包括以下步骤：

U1、由于一些特定的非标机械零件的6D位姿难以获取，使用高精度的扫描机费用昂贵且不方便携带，本发明采用深度相机进行机械零件的三维建模，采集真实环境下的机械零件不同角度的位姿作为真实环境下的数据集。

U2、对已建立的真实环境下的机械零件位姿数据集进行补充，将建模产生的3D模型导入Blender引擎建立物理和行为模型，生成三维场景，将模型与同的场景图片进行融合，从而产生虚拟环境下我们深度学习需要机械零件6D位姿的数据。

U3、对于神经网络的训练，采用我们过往训练过的机械零件数据进行迁移学习，考虑到大部分数据或任务是存在相关性的，所以通过迁移学习我们可以将已经学到的模型参数(也可理解为模型学到的知识)通过某种方式来分享给新模型从而加快并优化模型的学习效率不用像大多数网络那样从零学习，从而加快模型训练速度。

U4、结合深度可分离卷积的方式对深度学习网络框架轻量化来，对原本的卷积层进行改进，将训练参数减少四分之一以上且最终的训练结果满足增强现实应用的需要。

进一步的，所述机械零件数据集制作具体步骤为，如图1：

(1)在所要制作机械零件的周围的附加aruco标记，确保标记没有重复。

(2)使用深度相机对着目标机械零件进行拍摄，稳定的移动相机以获得物体的不同视角，同时随时保持相机视场内有2-3个标记。

(3)通将所获得的物体位姿数据导入Meshlab软件中，进行三维点云的配准。得到重建的机械零件。

(4)使用unity软件，导入重建后的机械零件。使用虚拟相机对物体进行拍摄，获得物体不同视角的位姿，把获得的结果与混乱条件下的图片进行合成，增加训练的数据集大小。

进一步，所述深度学习网络框架轻量化具体步骤为：

(1)本网络框架采用6D姿态估计的优秀开源网络pvnet作为基础网络，对pvnet所设计的改进resnet18的基础上引入深度可分离卷积进行轻量化，将改进的resnet18的普通卷积层替换为深度卷积和点卷积如图2，除了第一个卷积层和最后的卷积层所有的BN(正则化)和Relu(非线性激活函数)相连，如图3；

(2)为了取得更快的训练效果，使得模型更快的收敛，对模型的后4层以外的14层进行迁移训练，不改变前14层参数的情况下训练后四层的卷积参数，在训练30个epoch后，再一起训练18层网络。这样能够更快的进行网络训练；

(3)训练的损失函数为：

w代表训练的权值参数，

是指的预测向量，v_k是真实的向量，Δv_k|_x和Δv_k|_y是v_k的两个元素值，p是像素点位姿。

(4)在原有网络的loss(损失)函数的基础上在第9层网络的时候加入最后的判别网络，与最后的判别loss一起进行loss的加权，一般第9层loss设置为0.2，最终的loss设置为0.8；

上述实施例阐明的方法，具体可以由计算机芯片或实体实现，或者由具有某种功能的产品来实现。一种典型的实现设备为计算机。具体的，计算机例如可以为个人计算机、膝上型计算机、蜂窝电话、相机电话、智能电话、个人数字助理、媒体播放器、导航设备、电子邮件设备、游戏控制台、平板计算机、可穿戴设备或者这些设备中的任何设备的组合。

计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括，但不限于相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数字多功能光盘(DVD)或其他光学存储、磁盒式磁带，磁带磁磁盘存储或其他磁性存储设备或任何其他非传输介质，可用于存储可以被计算设备访问的信息。按照本文中的界定，计算机可读介质不包括暂存电脑可读媒体(transitory media)，如调制的数据信号和载波。

还需要说明的是，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、商品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、商品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、商品或者设备中还存在另外的相同要素。

以上这些实施例应理解为仅用于说明本发明而不用于限制本发明的保护范围。在阅读了本发明的记载的内容之后，技术人员可以对本发明作各种改动或修改，这些等效变化和修饰同样落入本发明权利要求所限定的范围。

Claims (2)

1.一种基于卷积神经网络的机械零件增强现实跟踪注册方法，其特征在于，包括以下步骤：

U1、采用深度相机进行机械零件的三维建模，采集真实环境下的机械零件不同角度的位姿数据，制作真实环境下的机械零件位姿数据集；

U2、对步骤U1已建立的真实环境下的机械零件位姿数据集进行补充，将建模产生的3D模型导入Blender引擎建立物理和行为模型，生成三维场景，将U1重建得到机械零件的三维模型与不同的场景图片进行融合，从而产生虚拟环境下深度学习需要机械零件6D位姿的数据；

U3、将步骤U2产生的机械零件6D位姿的数据输入深度卷积神经网络中，采用过往训练过的机械零件数据进行迁移学习，得到物体的三维模型；

其中，结合深度可分离卷积的方式对深度学习网络框架轻量化，对原本的卷积层进行改进，将训练参数减少，采用三维建模软件合成虚拟环境下机械零件6D位姿估计数据；

所述步骤U1机械零件数据集的制作步骤具体为：

(1)在所要制作机械零件的周围附加aruco位姿定位码标记，aruco标记指的是一种辅助定位的标记码，确保标记没有重复；

(2)使用深度相机对着目标机械零件进行拍摄，移动相机以获得物体的不同视角，同时随时保持相机视场内有2-3个标记；

(3)将所获得的物体位姿数据导入Meshlab软件中，进行三维点云的配准，得到重建的机械零件三维模型；

(4)使用unity软件，导入重建后的机械零件，使用虚拟相机对物体进行拍摄，获得物体不同视角的位姿，把获得的结果与混乱条件下的图片进行合成，增加训练的数据集大小；

其中，深度学习网络框架轻量化步骤具体为：

(1)深度学习网络框架采用6D姿态估计的开源网络pvnet作为基础网络，对pvnet所设计的resnet18的基础上进行改进，具体为引入深度可分离卷积进行轻量化，将resnet18的普通卷积层替换为深度卷积和点卷积，除了第一个卷积层和最后的卷积层所有的BN正则化和Relu非线性激活函数相连；

(2)对模型的后4层以外的14层进行迁移训练，不改变前14层参数的情况下训练后四层的卷积参数，在训练30个epoch后，再一起训练18层网络；

(3)在原有网络的loss损失函数的基础上在第9层网络的时候加入最后的判别网络，与最后的判别loss一起进行loss的加权，第9层loss设置为0.2，最终的loss设置为0.8；

所述训练的损失函数为：

w代表训练的权值参数，k表示从1开始计数到K的求和，K表示一次对K个点进行损失计算，O表示属于检测物体的点的集合，x、y分别表示x坐标和y坐标，l₁表示是指l1正则化，

表示通过网络预测的像素点指向关键点的向量，v_k(p)表示像素点指向真实的关键点的向量值，Δv_k(p；w)表示通过网络预测的像素点指向关键点的向量值减去真实的像素点指向关键点的向量值，

是指的预测向量，υ_k是真实的向量，Δv_k|x和Δv_k|y是υ_k的两个元素值，p是像素点位姿。

2.根据权利要求1所述的一种基于卷积神经网络的机械零件增强现实跟踪注册方法，其特征在于，所述步骤U2采用在blender下用虚拟相机进行拍照的方法对步骤U1已建立的真实环境下的机械零件位姿数据集进行补充；

将通过深度相机得到的机械零件三维模型与不同的场景图片进行融合，使用blender里面的虚拟相机对重建的三维模型在不同背景下进行拍照获得机械零件在不同场景下的图片和位姿数据，从而产生虚拟环境下深度学习需要机械零件6D位姿的数据。

Images