CN113763573A - 一种三维物体数字化标注方法及装置 - Google Patents

Abstract

本发明涉及一种三维物体数字化标注方法及装置，属于人工智能技术领域，解决了现有技术中对三维物体进行知识标注难度大，且标注准确度低的问题。该方法包括：获取三维物体在不同角度下的二维图片、位姿信息及标注标签，组成训练样本集；基于每一样本中的位姿信息构建该样本的偏移矩阵和增强角度旋转矩阵；利用训练样本集以及对应的偏移矩阵、增强角度旋转矩阵对标注网络模型进行训练，获得优化后的标注网络模型；基于待标注三维物体的二维图片及位姿信息利用优化后的标注网络模型对待标注三维物体进行标注。该方法将三维物体标注转换为二维标注，降低了标注难度，且通过人工智能模型建立标注与三维物体间的关联关系，提高三维物体标注的准确度。

Description

一种三维物体数字化标注方法及装置

技术领域

本发明涉及人工智能技术领域，尤其涉及一种三维物体数字化标注方法及装置。

背景技术

现有技术中，电子元器件、印刷食品、航空精度制造、精密电子零件、精密陶瓷件、产品组装环节检测、产品分类识别、产品定位检测、印刷品检测、瓶盖检测、玻璃、烟草、艺术雕塑等各领域有很多实体模型，该些实体模型均是由生产流程确定外形，缺乏一致的数字实体模型，要获得数字实体模型，必须对实体进行知识标注。

现有技术中，一方面是采用激光点云扫描方式进行数字化标注；另一方面是采用实体标注，示例性的，采用荧光笔在三维实体上进行标注，即实体标注。

现有技术至少存在以下缺陷，一是采用激光点云扫描方式进行数字化标注，对采样密度要求较高，很大程度上提高了计算成本，而且高密度点云本身和转换后的高密度网络不适合存储和标注操作，如何保存标注数据也成为难题。二是采用实体标注，虽然采样方式简化，也易于存储，但由于实体标注(荧光笔标注)无法准确数字化，也无法数字化复杂的实体真实特征，即基于实体标注无法生成准确的三维物体模型。

发明内容

鉴于上述的分析，本发明实施例旨在提供一种三维物体数字化标注方法及装置，用以解决现有技术中对三维物体进行知识标注难度大，标注数据不易存储，且标注准确度低的问题。

一方面，本发明提供了一种三维物体数字化标注方法，包括：

获取三维物体在不同角度下的二维图片、位姿信息及标注标签，组成训练样本集；

基于每一样本中的位姿信息构建该样本对应的偏移矩阵和增强角度旋转矩阵；

利用训练样本集以及每一样本对应的偏移矩阵、增强角度旋转矩阵对标注网络模型进行训练，获得优化后的标注网络模型；

基于待标注三维物体的二维图片及位姿信息利用优化后的所述标注网络模型对待标注三维物体进行标注。

进一步的，所述标注网络模型包括依次连接的输入层、两个卷积层、第一池化层、三个卷积层、第二池化层以及输出层；

所述第一池化层利用所述偏移矩阵对其前一卷积层的输出矩阵进行卷积、最大池化；

所述第二池化层利用所述增强角度旋转矩阵对其前一卷积层的输出矩阵进行卷积、最大池化。

进一步的，所述位姿信息包括水平位移、竖直位移以及旋转角度，所述旋转角度为所述三维物体以竖直方向为旋转轴旋转的角度。

进一步的，根据所述位姿信息通过下述公式获得所述偏移矩阵；

其中，M_t表示所述偏移矩阵，θ_t表示当前样本位姿信息中的旋转角度，x表示水平位移、y表示竖直位移。

进一步的，根据所述位姿信息通过下述公式获得所述增强角度旋转矩阵：

其中，

θ_Δ＝θ_t-θ_mean

上式中，ω_t表示所述增强角度旋转矩阵，θ_i表示第i个样本包括的位姿信息中的旋转角度，θ_t表示当前样本位姿信息中的旋转角度，θ_mean表示前t个旋转角度的平均值。

进一步的，所述获取三维物体在不同角度下的二维图片、位姿信息及标注标签，包括：

将所述三维物体放置于透明标注柜内，通过控制所述透明标注柜内承载所述三维物体的旋转托盘进行旋转，进而控制所述三维物体旋转不同的角度，所述旋转托盘上安装有角度传感器，用于测量所述旋转角度；

通过两个电动液压缸分别控制所述三维物体在水平方向和竖直方向上的移动，所述两个电动液压缸的液压杆上均安装有距离传感器，分别用于测量所述三维物体的水平位移和竖直位移；

通过所述透明标注柜内安装的相机拍摄获取每一旋转角度下的所述三维物体的二维图片；

通过所述透明标注柜的透明可触摸显示屏对所述三维物体进行标注。

进一步的，在[0°,360°]范围内，以预设角度间隔旋转所述三维物体，在每一角度下，对三维物体进行二维图片、位姿信息的采集并进行标注，从而获得训练样本集；所述预设角度间隔的取值范围为(0°,5°]。

另一方面，本发明提供了一种三维物体数字化标注装置，包括样本采集装置和处理系统。

所述样本采集装置，用于获取三维物体在不同角度下的二维图片、位姿信息及标注标签，组成训练样本集；

所述处理系统包括：

模型训练模块，用于基于每一样本中的位姿信息构建该样本对应的偏移矩阵和增强角度旋转矩阵；以及

利用训练样本集以及每一样本对应的偏移矩阵、增强角度旋转矩阵对标注网络模型进行训练，获得优化后的标注网络模型；

标注模块，用于基于待标注三维物体的二维图片及位姿信息利用优化后的所述标注网络模型对待标注三维物体进行标注。

进一步的，所述样本采集装置包括透明标注柜、两个电动液压缸、电动机、相机、两个距离传感器及角度传感器；

其中一个电动液压缸，用于控制所述三维物体沿水平方向移动，另一个电动液压缸，用于控制所述三维物体沿竖直方向移动，两个所述电动液压缸的液压杆上均安装有所述距离传感器；所述距离传感器用于测量所述三维物体的水平位移和竖直位移；

所述电动机用于控制承载所述三维物体的旋转托盘进行旋转，进而控制所述三维物体进行旋转；所述旋转托盘上安装有角度传感器，用于测量所述三维物体的旋转角度；

所述透明标注柜的一侧面为透明可触摸显示屏，通过该透明可触摸显示屏对每一旋转角度下的所述三维物体进行标注；

所述相机，安装于所述透明标注柜内所述透明可触摸显示屏上方，用于拍摄每一旋转角度下的所述三维物体，以获得对应的二维图片。

进一步的，所述距离传感器、角度传感器、电动液压缸以及电动机均通过OPC UA接口与所述处理系统通信连接；所述相机通过SDK接口与所述处理系统通信连接；所述透明可触摸显示屏通过串行接口与所述处理系统通信连接；

所述处理系统还包括控制模块；所述控制模块用于向所述电动液压缸、所述电动机及所述相机发送控制指令，以控制所述电动液压缸、所述电动机的运行，以及控制所述相机进行拍摄，所述数据采集模块用于采集所述距离传感器、角度传感器的测量信息、所述相机拍摄的二维图片以及所述透明可触摸显示屏上的标注标签。

与现有技术相比，本发明至少可实现如下有益效果之一：

1、本发明提出的三维物体数字化标注方法及装置，采用具有透明可触摸显示屏对三维物体进行知识标注，知识标注数据可以直接进行存储，同时采用相机拍摄获得当前标注位置下三维物体的二维图片，并利用距离传感器及角度传感器获得三维物体的位姿信息，将不同角度下的知识标注数据、二维图片及位姿信息组成多个样本，对标注网络模型进行优化训练。利用优化好的模型进行三维物体数字化标注，标志数据易存储，标注准确度。该方法规避了现有技术中采用激光点云扫描方式进行标注计算成本大、标注数据难以存储的问题，且规避了实体标注方法中荧光笔记无法数字化，也无法数字化复杂的三维物体实体特征，进而无法生成准确的三维物体实体模型的问题。

2、本发明提出的三维物体数字化标注方法及装置，通过处理系统能够控制三维物体平移和旋转，以及控制相机进行拍照，能够实现自动化，采集的相应数据高度对应，且采集的相应数据能够自动上传处理系统，无需人工进行读取，即无外部人工误差因素干扰，采集的数据误差小，从而能够提高模型训练的准确度，进而能够提高三维物体的标注准确度。

3、本发明提出的三维物体数字化标注方法及装置，标注网络模型采用改进的卷积神经网络，加入偏移矩阵和增强角度旋转矩阵分别对其对应的卷积层输出的矩阵进行卷积处理，以训练优化标注网络模型，从而降低旋转角度、水平位移及竖直位移对标注网络模型标注准确度的影响，即使训练好的标注网络模型仅根据三维物体的二维图片即可对三维物体进行准确的知识标注，而无需得知三维物体的位姿信息，从而提高了标注网络模型的适用性和普适性，能够在无法得知三维物体多个角度下完整的二维图片的情况下，对三维物体进行标注。

本发明中，上述各技术方案之间还可以相互组合，以实现更多的优选组合方案。本发明的其他特征和优点将在随后的说明书中阐述，并且，部分优点可从说明书中变得显而易见，或者通过实施本发明而了解。本发明的目的和其他优点可通过说明书以及附图中所特别指出的内容中来实现和获得。

附图说明

附图仅用于示出具体实施例的目的，而并不认为是对本发明的限制，在整个附图中，相同的参考符号表示相同的部件。

图1为本发明实施例三维物体数字化标注方法的流程图；

图2为本发明实施例样本采样装置的示意图；

图3为本发明实施例对建筑物进行标注的示意图。

具体实施方式

下面结合附图来具体描述本发明的优选实施例，其中，附图构成本申请一部分，并与本发明的实施例一起用于阐释本发明的原理，并非用于限定本发明的范围。

方法实施例

本发明的一个具体实施例，公开了一种三维物体数字化标注方法。

如图1所示，该方法包括：

S110、获取三维物体在不同角度下的二维图片、位姿信息及标注标签，组成训练样本集。具体的，一个角度下的二维图片、位姿信息及标注标签为一个训练样本，不同角度下的该些信息组成训练样本集。其中，标注指的是知识标注，知识标注指的是用于组织和表达信息的概念体系，示例性的，可以是一些名称或者分类体系。

S120、基于每一样本中的位姿信息构建该样本对应的偏移矩阵和增强角度旋转矩阵。具体的，位姿信息包括位移信息和角度信息，其中，根据位移信息构建偏移矩阵，根据角度信息构建增强角度旋转矩阵。

S130、利用训练样本集以及每一样本对应的偏移矩阵、增强角度旋转矩阵对标注网络模型进行训练，获得优化后的标注网络模型。

S140、基于待标注三维物体的二维图片及位姿信息利用优化后的标注网络模型对待标注三维物体进行标注。

优选的，步骤S110中，具体通过下述方式获得训练样本集。

优选的，获取三维物体在不同角度下的二维图片、位姿信息及标注标签，包括：

具体的，位姿信息包括水平位移、竖直位移以及旋转角度，旋转角度为三维物体以竖直方向为旋转轴旋转的角度。

将三维物体放置于透明标注柜内，控制透明标注柜内承载三维物体的旋转托盘进行旋转，进而控制三维物体旋转不同的角度，其中，旋转托盘上安装有角度传感器，用于测量三维物体的旋转角度。

通过两个电动液压缸分别控制三维物体在水平方向和竖直方向上的移动，两个电动液压缸的液压杆上均安装有距离传感器，分别用于测量三维物体的水平位移和竖直位移。

通过透明标注柜内安装的相机拍摄获取每一旋转角度下的三维物体的二维图片。

通过透明标注柜的透明可触摸显示屏对三维物体进行标注。具体的，水平方向和竖直方向所在的平面与透明可触摸显示屏所在的平面的平行。

优选的，在[0°,360°]范围内，以预设角度间隔旋转三维物体，在每一角度下，对三维物体进行二维图片、位姿信息的采集并进行标注，从而获得训练样本集。优选的，预设角度间隔的取值范围为(0°,5°]。

在实际应用中，将三维物体放入透明标注柜中，进行旋转后，三维物体的待标注面可能被透明标注柜的边缘遮挡，而无法标注，因此通过水平调整或竖直调整三维物体的位置，以正常进行标注。

为了规避三维物体位移对标注结果的影响，在训练优化标注网络模型时，要将位移的因素考虑在内，即降低位移对标注网络模型标注结果的影响，具体的，用偏移矩阵弱化标注网络模型中水平位移或竖直位移对标注结果的影响。

具体的，根据位姿信息通过下述公式获得偏移矩阵；

其中，M_t表示偏移矩阵，θ_t表示当前样本位姿信息中的旋转角度，x表示水平位移、y表示竖直位移。

在实际标注中，可能只能获得三维物体某一角度下的二维图片，因此在标注网络模型的训练过程中，要降低旋转角度对模型标注结果的影响，具体的，通过增强角度旋转矩阵弱化标注网络模型中旋转角度对标注结果的影响。

优选的，根据位姿信息通过下述公式获得增强角度旋转矩阵：

其中，

θ_Δ＝θ_t-θ_mean

上式中，ω_t表示增强角度旋转矩阵，θ_i表示第i个样本包括的位姿信息中的旋转角度，θ_t表示当前样本位姿信息中的旋转角度，θ_mean表示前t个旋转角度的平均值。示例性的，输入的第一个样本中的旋转角度为5°，输入的第二个样本中的旋转角度为10°，输入的第三个样本中的旋转角度为15°，以此类推，输入的第t个样本中的旋转角度为40°，则θ_mean表示t个旋转角度的平均值。

优选的，标注网络模型为基于卷积神经网络构建的模型，具体包括依次连接的输入层、两个卷积层(第一卷积层和第二卷积层)、第一池化层、三个卷积层(第三卷积层、第四卷积层和第五卷积层)、第二池化层以及输出层。其中，输入层为二维图片，输出层为标注标签。

在具体应用中，二维图片的最小分辨率需满足512n*512n，n为正整数。将二维图片输入至标注网络模型时，五个卷积层对应处理的图像矩阵维度分别为512n*512n、256n*256n、64n*64n、32n*32n、16n*16n。

优选的，第一池化层利用偏移矩阵对第二卷积层的输出矩阵进行卷积、最大池化，将第二卷积层输出的256n*256n的图像矩阵转换为64n*64n的图像矩阵。具体的，利用3*3的偏移矩阵作为滑窗，以单位1为步长对第二卷积层的输出矩阵进行卷积、降维处理，即将偏移矩阵与其覆盖的输出矩阵中的部分进行卷积操作，并将获得的9个数值中的最大值作为降维后的矩阵的元素，并依次遍历前述输出矩阵，从而获得降维后的矩阵。通过偏移矩阵对标注网络模型的的相关参数进行优化，从而降低水平位移和竖直位移对标注结果的影响。

具体的，第二池化层利用增强角度旋转矩阵对其前一卷积层的输出矩阵进行卷积、最大池化，将第五卷积层16n*16n转换为4n*4n。具体的，利用3*3的增强角度旋转矩阵作为滑窗，以单位1为步长对第五卷积层的输出矩阵进行卷积降维处理，即将偏移矩阵与其覆盖的输出矩阵中的部分进行卷积操作，并将获得的9个数值中的最大值作为降维后的矩阵的元素，并依次遍历前述输出矩阵，从而获得降维后的矩阵。通过增强角度旋转矩阵对标注网络模型的相关参数进行优化，从而降低增强角度旋转矩阵对标注结果的影响。

具体的，经第二池化层降维处理后，输出4n*4n维度的矩阵，标注模型能够实现的标注类型数量为16n²。优选的，在实际应用中，根据标签种类数确定需要拍摄的二维图片的分辨率，示例性的，标签种类数量为64种，则对应二维图片的最小分辨率为1024*1024。

装置实施例

本发明的另一个实施例，公开了一种三维物体数字化标注装置。由于该装置实施例与上述方法实施例基于相同的原理，重复之处可以参考上述方法实施例，在此不再赘述。

具体的，该三维物体数字化标注装置包括样本采集装置和处理系统。

优选的，样本采集装置，用于获取三维物体在不同角度下的二维图片、位姿信息及标注标签，组成训练样本集。

优选的，处理系统包括：

模型训练模块，用于基于每一样本中的位姿信息构建该样本对应的偏移矩阵和增强角度旋转矩阵。

以及利用训练样本集以及每一样本对应的偏移矩阵、增强角度旋转矩阵对标注网络模型进行训练，获得优化后的标注网络模型。

标注模块，用于基于待标注三维物体的二维图片及位姿信息利用优化后的标注网络模型对待标注三维物体进行标注。

具体的，样本采集装置包括透明标注柜、两个电动液压缸、电动机、相机、两个距离传感器及角度传感器。

如图2所示，样本采集装置还包括水平方向移动槽、托板及旋转托盘。水平方向移动槽固定于托板上，所述旋转托盘底部中央设置有滑轮或者滑块能够活动卡合与水平方向移动槽内。

具体的，一个电动液压缸机械连接水平方向移动槽，用于控制三维物体沿水平方向移动，另一个电动液压缸机械连接托板，用于控制三维物体沿竖直方向移动，两个电动液压缸的液压杆上均安装有距离传感器；距离传感器用于测量三维物体的水平位移和竖直位移。其中电动液压机的控制精度能够达到毫米量级。

此外，电动机机械连接旋转托盘，用于控制承载三维物体的旋转托盘进行旋转，进而控制三维物体进行旋转；旋转托盘上安装有角度传感器，用于测量三维物体的旋转角度。

优选的，透明标注柜的一侧面为透明可触摸显示屏，通过该透明可触摸显示屏对每一旋转角度下的三维物体进行标注。

优选的，相机安装于透明标注柜内透明可触摸显示屏上方，用于拍摄每一旋转角度下的三维物体，以获得对应的二维图片。其中，相机的分辨率大于720p。

优选的，距离传感器、角度传感器、电动液压缸以及电动机均通过OPC UA接口与处理系统通信连接，处理系统通过该接口传输控制指令和相应的数据采集指令，并接收距离传感器和角度传感器采集的位移信息和角度信息。相机通过SDK接口与处理系统通信连接，处理系统通过该接口向相机传输相应的拍摄指令，并接收该相机传输的二维图片。

优选的，透明可触摸显示屏通过串行接口与处理系统通信连接，在透明可触摸显示屏写入的标注标签可自动传输至处理系统，进行存储。

具体的，处理系统还包括控制模块和数据采集模块，该控制模块用于向电动液压缸、电动机及相机发送控制指令，以控制电动液压缸、电动机的运行，以及控制相机进行拍摄，数据采集模块用于采集距离传感器、角度传感器的测量信息、相机拍摄的二维图片以及透明可触摸显示屏上的标注标签。

现通过以下实施例更好的说明本发明的有益效果：

示例性，现有一批青铜器，包括酒尊、铜盘、腰扣等，需要进行标注。

具体的在实际应用中，挑选符合青铜器尺寸的透明标注柜，示例性，所有青铜器中，长度最大为30cm，宽度最大为30cm，高度最大为40cm，则选用比上述尺寸大的透明标注柜即可，示例性，长度为50cm、宽度为50cm，高度为60cm的透明标注柜即可，并在标注透明柜内安装相应的托板、水平方向移动槽、旋转托盘、传感器、电动液压缸、电动机以及相机等。

具体通过下述方式实现三维物体数字化标注：

步骤1、将待标注青铜器放置于透明标注柜内，透明可触摸显示屏通信连接处理系统，示例性，该处理系统可以是计算机终端。

步骤2、在计算机终端通过控制两个电动液压缸调整青铜器的位置，使青铜器的边缘位置处不会被透明标注柜遮挡，并控制电动机调整青铜器旋转至目标角度，进而控制相机进行拍摄。同时，计算机终端采集两个距离传感器和角度传感器的测量值，从而获得青铜器的当前位姿信息，并采集相机拍摄的二维图片。优选的，在二维图片中划定出矢量标注范围，示例性的，青铜器待标注部分可能只是青铜器上的一个小结构，而拍摄的二维图片是整个青铜器的正视图，为了后期计算量并提高模型训练精度，因此需在二维图片上把待标注的结构划分出来，即对应的矢量标注范围。

步骤3、在透明标注柜的透明可触摸显示屏上对青铜器进行知识标注，计算机终端采集标注标签。

步骤4、在[0°，360°]范围内，以5°为间隔调整青铜器的旋转角度，并重复步骤1至步骤3，从而获得不同角度下的训练样本。基于该训练样本，能够实现对青铜器的待标注结构部分进行全方位的标注，基于该样本集对标注网络模型进行训练，能够提高标注网络模型进行标注的准确度。

步骤5、将每一训练样本中的位姿信息[x,y,θ_t]和二维图片依次输入至标注网络模型，对标注网络模型中的参数进行优化，具体的，基于多尺度误差函数(Multi-ScaleSSIM)对标注网络模型进行优化，从而获得优化好的标注网络模型。优选的，将二维图片对应的灰度矩阵输入标注网络模型，由于实际标注的区域小于二维图片对应的区域，因此在灰度矩阵中，实际标注区域对应的矩阵部分按照实际像素确定对应的元素值，将灰度矩阵剩余部分对应的元素值设置为-1，从而保证除实际标注区域以外的剩余区域部分不会经过后续的卷积处理和池化处理，一方面减少模型训练的运算量，另一方面去除了与标注无关的区域对标注的影响，从而提高模型标注的准确度。

步骤6、获取待标注三维物体的二维图片以及位姿信息，并输入至标注网络模型中，从而获得待标注三维物体的标注标签。

示例性的，现批次的青铜器共有251类标签，对应的标签编码分别为[1,2,3...251]，因为本发明的标注网络模型共支持16n²类标签，本批次青铜器的标签共有251类，因此，选择n为4，保留5类无效标签，标注网络模型共能输出256类标签。

优选的，本发明提出的三维物体数字化标注方法及装置不仅能够应用于青铜器的标注，也可以应用于建筑物等其他三维实体。示例性的，利用标注网络模型对建筑物进行标注时，标注结果如图3所示，图中的lable为标签，具体标注的标签为螭吻。

与现有技术相比，本发明实施例公开的三维物体数字化标注方法及装置，首先，采用具有透明可触摸显示屏对三维物体进行知识标注，知识标注数据可以直接进行存储，同时采用相机拍摄获得当前标注位置下三维物体的二维图片，并利用距离传感器及角度传感器获得三维物体的位姿信息，将不同角度下的知识标注数据、二维图片及位姿信息组成多个样本，对标注网络模型进行优化训练。利用优化好的模型进行三维物体数字化标注，标志数据易存储，标注准确度。该方法规避了现有技术中采用激光点云扫描方式进行标注计算成本大、标注数据难以存储的问题，且规避了实体标注方法中荧光笔记无法数字化，也无法数字化复杂的三维物体实体特征，进而无法生成准确的三维物体实体模型的问题。其次，本发明提出的三维物体数字化标注方法及装置，通过处理系统能够控制三维物体平移和旋转，以及控制相机进行拍照，能够实现自动化，采集的相应数据高度对应，且采集的相应数据能够自动上传处理系统，无需人工进行读取，即无外部人工误差因素干扰，采集的数据误差小，从而能够提高模型训练的准确度，进而能够提高三维物体的标注准确度。最后，本发明提出的三维物体数字化标注方法及装置，标注网络模型采用改进的卷积神经网络，加入偏移矩阵和增强角度旋转矩阵分别对其对应的卷积层输出的矩阵进行卷积处理，以训练优化标注网络模型，从而降低旋转角度、水平位移及竖直位移对标注网络模型标注准确度的影响，即使训练好的标注网络模型仅根据三维物体的二维图片即可对三维物体进行准确的知识标注，而无需得知三维物体的位姿信息，从而提高了标注网络模型的适用性和普适性，能够在无法得知三维物体多个角度下完整的二维图片的情况下，对三维物体进行标注。

本领域技术人员可以理解，实现上述实施例方法的全部或部分流程，可以通过计算机程序来指令相关的硬件来完成，所述的程序可存储于计算机可读存储介质中。其中，所述计算机可读存储介质为磁盘、光盘、只读存储记忆体或随机存储记忆体等。

以上所述，仅为本发明较佳的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到的变化或替换，都应涵盖在本发明的保护范围之内。

Claims (10)

1.一种三维物体数字化标注方法，其特征在于，包括：

获取三维物体在不同角度下的二维图片、位姿信息及标注标签，组成训练样本集；

基于每一样本中的位姿信息构建该样本对应的偏移矩阵和增强角度旋转矩阵；

利用训练样本集以及每一样本对应的偏移矩阵、增强角度旋转矩阵对标注网络模型进行训练，获得优化后的标注网络模型；

基于待标注三维物体的二维图片及位姿信息利用优化后的所述标注网络模型对待标注三维物体进行标注。

2.根据权利要求1所述的三维物体数字化标注方法，其特征在于，所述标注网络模型包括依次连接的输入层、两个卷积层、第一池化层、三个卷积层、第二池化层以及输出层；

所述第一池化层利用所述偏移矩阵对其前一卷积层的输出矩阵进行卷积、最大池化；

所述第二池化层利用所述增强角度旋转矩阵对其前一卷积层的输出矩阵进行卷积、最大池化。

3.根据权利要求2所述的三维物体数字化标注方法，其特征在于，所述位姿信息包括水平位移、竖直位移以及旋转角度，所述旋转角度为所述三维物体以竖直方向为旋转轴旋转的角度。

4.根据权利要求3所述的三维物体数字化标注方法，其特征在于，根据所述位姿信息通过下述公式获得所述偏移矩阵；

其中，M_t表示所述偏移矩阵，θ_t表示当前样本位姿信息中的旋转角度，x表示水平位移、y表示竖直位移。

5.根据权利要求4所述的三维物体数字化标注方法，其特征在于，根据所述位姿信息通过下述公式获得所述增强角度旋转矩阵：

其中，

θ_Δ＝θ_t-θ_mean

上式中，ω_t表示所述增强角度旋转矩阵，θ_i表示第i个样本包括的位姿信息中的旋转角度，θ_t表示当前样本位姿信息中的旋转角度，θ_mean表示前t个旋转角度的平均值。

6.根据权利要求3-5任意一项所述的三维物体数字化标注方法，其特征在于，所述获取三维物体在不同角度下的二维图片、位姿信息及标注标签，包括：

将所述三维物体放置于透明标注柜内，通过控制所述透明标注柜内承载所述三维物体的旋转托盘进行旋转，进而控制所述三维物体旋转不同的角度，所述旋转托盘上安装有角度传感器，用于测量所述旋转角度；

通过两个电动液压缸分别控制所述三维物体在水平方向和竖直方向上的移动，所述两个电动液压缸的液压杆上均安装有距离传感器，分别用于测量所述三维物体的水平位移和竖直位移；

通过所述透明标注柜内安装的相机拍摄获取每一旋转角度下的所述三维物体的二维图片；

通过所述透明标注柜的透明可触摸显示屏对所述三维物体进行标注。

7.根据权利要求6所述的三维物体数字化标注方法，其特征在于，在[0°,360°]范围内，以预设角度间隔旋转所述三维物体，在每一角度下，对三维物体进行二维图片、位姿信息的采集并进行标注，从而获得训练样本集；所述预设角度间隔的取值范围为(0°,5°]。

8.一种三维物体数字化标注装置，其特征在于，包括样本采集装置和处理系统；

所述样本采集装置，用于获取三维物体在不同角度下的二维图片、位姿信息及标注标签，组成训练样本集；

所述处理系统包括：

模型训练模块，用于基于每一样本中的位姿信息构建该样本对应的偏移矩阵和增强角度旋转矩阵；以及

利用训练样本集以及每一样本对应的偏移矩阵、增强角度旋转矩阵对标注网络模型进行训练，获得优化后的标注网络模型；

标注模块，用于基于待标注三维物体的二维图片及位姿信息利用优化后的所述标注网络模型对待标注三维物体进行标注。

9.根据权利要求8所述的三维物体数字化标注装置，其特征在于，所述样本采集装置包括透明标注柜、两个电动液压缸、电动机、相机、两个距离传感器及角度传感器；

其中一个电动液压缸，用于控制所述三维物体沿水平方向移动，另一个电动液压缸，用于控制所述三维物体沿竖直方向移动，两个所述电动液压缸的液压杆上均安装有所述距离传感器；所述距离传感器用于测量所述三维物体的水平位移和竖直位移；

所述电动机用于控制承载所述三维物体的旋转托盘进行旋转，进而控制所述三维物体进行旋转；所述旋转托盘上安装有角度传感器，用于测量所述三维物体的旋转角度；

所述透明标注柜的一侧面为透明可触摸显示屏，通过该透明可触摸显示屏对每一旋转角度下的所述三维物体进行标注；

所述相机，安装于所述透明标注柜内所述透明可触摸显示屏上方，用于拍摄每一旋转角度下的所述三维物体，以获得对应的二维图片。

10.根据权利要求9所述的三维物体数字化标注装置，其特征在于，所述距离传感器、角度传感器、电动液压缸以及电动机均通过OPC UA接口与所述处理系统通信连接；所述相机通过SDK接口与所述处理系统通信连接；所述透明可触摸显示屏通过串行接口与所述处理系统通信连接；

所述处理系统还包括控制模块；所述控制模块用于向所述电动液压缸、所述电动机及所述相机发送控制指令，以控制所述电动液压缸、所述电动机的运行，以及控制所述相机进行拍摄，所述数据采集模块用于采集所述距离传感器、角度传感器的测量信息、所述相机拍摄的二维图片以及所述透明可触摸显示屏上的标注标签。

Images