CN113763572A - 一种基于ai智能识别的3d实体标注方法及存储介质 - Google Patents

一种基于ai智能识别的3d实体标注方法及存储介质 Download PDF

Info

Publication number
CN113763572A
CN113763572A CN202111094179.8A CN202111094179A CN113763572A CN 113763572 A CN113763572 A CN 113763572A CN 202111094179 A CN202111094179 A CN 202111094179A CN 113763572 A CN113763572 A CN 113763572A
Authority
CN
China
Prior art keywords
entity
labeling
picture
angle
matrix
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202111094179.8A
Other languages
English (en)
Other versions
CN113763572B (zh
Inventor
李婷
闫贯博
李姝�
高晓琼
王东豪
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Jinghang Computing Communication Research Institute
Original Assignee
Beijing Jinghang Computing Communication Research Institute
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Jinghang Computing Communication Research Institute filed Critical Beijing Jinghang Computing Communication Research Institute
Priority to CN202111094179.8A priority Critical patent/CN113763572B/zh
Publication of CN113763572A publication Critical patent/CN113763572A/zh
Application granted granted Critical
Publication of CN113763572B publication Critical patent/CN113763572B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/20—Editing of 3D images, e.g. changing shapes or colours, aligning objects or positioning parts
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Software Systems (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Biophysics (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Computational Linguistics (AREA)
  • Artificial Intelligence (AREA)
  • Mathematical Physics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Architecture (AREA)
  • Computer Graphics (AREA)
  • Computer Hardware Design (AREA)
  • Image Analysis (AREA)

Abstract

本发明涉及一种基于AI智能识别的3D实体标注方法及存储介质，属于人工智能技术领域，解决了现有技术中对3D实体标注难度大、准确度低且标注效率低的问题。该方法包括：获取3D实体在不同角度下的二维图片、位姿信息及标注标签，在二维图片内提取标注对象图片，进而组成训练样本集；基于样本中的位姿信息构建对应的偏移矩阵和增强角度旋转矩阵；进而对AI智能标注模型进行训练；利用优化后的AI智能标注模型对待标注对象进行标注。该方法将3D实体标注转换为二维图片标注，降低了标注难度，且通过AI模型建立标注与3D实体的关联关系，提高3D实体标注的准确度，通过提取标注对象对应的二维图片区域进行训练、标注，减少了计算量，提高了标注效率。

Description

一种基于AI智能识别的3D实体标注方法及存储介质
技术领域
本发明涉及人工智能技术领域，尤其涉及一种基于AI智能识别的3D实体标注方法及存储介质。
背景技术
现有技术中，电子元器件、印刷食品、航空精度制造、精密电子零件、精密陶瓷件、产品组装环节检测、产品分类识别、产品定位检测、印刷品检测、瓶盖检测、玻璃、烟草、艺术雕塑等各领域有很多实体模型，该些实体模型均是由生产流程确定外形，缺乏一致的数字实体模型，要获得数字实体模型，必须对实体进行知识标注。
现有技术中，一方面是采用实体标注，示例性的，采用荧光笔直接在3D实体上进行标注，即实体标注；另一方面是采用激光点云扫描方式进行数字化标注。
现有技术至少存在以下缺陷，一是采用实体标注，虽然采样方式简化，也易于存储，但由于实体标注(荧光笔标注)无法准确数字化，也无法数字化复杂的实体真实特征，即基于实体标注无法生成准确的3D实体模型；二是采用激光点云扫描方式进行数字化标注，对采样密度要求较高，很大程度上提高了计算成本，而且高密度点云本身和转换后的高密度网络不适合存储和标注操作，如何保存标注数据也成为难题。二是
发明内容
鉴于上述的分析，本发明旨在提供一种基于AI智能识别的3D实体标注方法及存储介质，用以解决现有技术中对3D实体标注难度大、准确度低且标注效率低的问题的问题。
一方面，本发明提供了一种基于AI智能识别的3D实体标注方法，包括：
获取3D实体在不同角度下的二维图片、位姿信息及标注标签，以及在所述二维图片内提取标注对象图片，进而组成训练样本集；
基于每一样本中的位姿信息构建该样本对应的偏移矩阵和增强角度旋转矩阵；
利用训练样本集以及每一样本对应的偏移矩阵、增强角度旋转矩阵对AI智能标注模型进行训练，获得优化后的AI智能标注模型；
基于待标注对象的图片利用优化后的所述AI智能标注模型对待标注对象进行标注。
进一步的，在所述二维图片内提取标注对象图片包括：
利用所述标注对象对应的模板在二维图片内以预设步长进行滑窗匹配，并将匹配一致时所述模板对应的二维图片内的区域作为标注对象图片；或者
利用预设的矢量标注区域与所述二维图片求交获得标注对象图片。
进一步的，所述AI智能标注模型包括依次连接的输入层、两个卷积层、第一池化层、三个卷积层、第二池化层以及输出层；
所述第一池化层利用所述偏移矩阵对其前一卷积层的输出矩阵进行卷积、最大池化；
所述第二池化层利用所述增强角度旋转矩阵对其前一卷积层的输出矩阵进行卷积、最大池化。
进一步的，所述位姿信息包括水平位移、竖直位移以及旋转角度，所述旋转角度为所述3D实体以其竖直方向为旋转轴旋转的角度。
进一步的，根据所述位姿信息通过下述公式获得所述偏移矩阵；
Figure BDA0003268489200000031
其中，Mt表示所述偏移矩阵，θt表示当前样本位姿信息中的旋转角度，x表示水平位移、y表示竖直位移。
进一步的，根据所述位姿信息通过下述公式获得所述增强角度旋转矩阵：
Figure BDA0003268489200000032
其中，
θΔ＝θt-θmean
Figure BDA0003268489200000033
上式中，ωt表示所述增强角度旋转矩阵，θi表示第i个样本包括的位姿信息中的旋转角度，θt表示当前样本位姿信息中的旋转角度，θmean表示前t个旋转角度的平均值。
进一步的，所述获取3D实体在不同角度下的二维图片、位姿信息及标注标签，包括：
将所述3D实体放置于透明标注柜内，通过控制所述透明标注柜内承载所述3D实体的旋转托盘进行旋转，进而控制所述3D实体旋转不同的角度，所述旋转托盘上安装有角度传感器，用于测量所述旋转角度；
通过两个电动液压缸分别控制所述3D实体在水平方向和竖直方向上的移动，所述两个电动液压缸的液压杆上均安装有距离传感器，分别用于测量所述3D实体的水平位移和竖直位移；
通过所述透明标注柜内安装的相机拍摄获取每一旋转角度下的所述3D实体的二维图片；
通过所述透明标注柜的透明可触摸显示屏对所述3D实体进行标注。
进一步的，在[0°,360°]范围内，以预设角度间隔旋转所述3D实体，在每一角度下，对3D实体进行二维图片、位姿信息的采集并进行标注，从而获得训练样本集；所述预设角度间隔的取值范围为(0°,5°]。
进一步的，所述基于待标注对象的图片利用优化后的所述AI智能标注模型对待标注对象进行标注，包括：
采集3D实体的二维图片，在所述二维图片内提取待标注对象图片，并将所述待标注对象的图片输入至所述AI智能标注模型，从而获得所述待标注对象的标注标签。
另一方面，本发明提供了一种存储介质，用于存储计算机指令，处理器执行所述计算机程序，能够实现前述的3D实体数字化标注方法。
与现有技术相比，本发明至少可实现如下有益效果之一：
1、本发明提供的基于AI智能识别的3D实体标注方法，采用具有透明可触摸显示屏对3D实体进行知识标注，知识标注数据可以直接进行存储，同时采用相机拍摄获得当前标注位置下3D实体的二维图片，从其中提取标注对象图片，并利用距离传感器及角度传感器获得3D实体的位姿信息，将不同角度下的知识标注数据、二维图片及位姿信息组成多个样本，对AI智能标注模型进行优化训练。利用优化好的模型进行3D实体数字化标注，标志数据易存储，标注准确度。该方法规避了现有技术中采用激光点云扫描方式进行标注计算成本大、标注数据难以存储的问题，且规避了实体标注方法中荧光笔记无法数字化，也无法数字化复杂的3D实体实体特征，进而无法生成准确的3D实体实体模型的问题。此外，从采集的二维图片中提取标注对象图片，基于标注对象图片进行模型训练，能够很大程度上减少计算量，提高模型训练效率，同样，基于待标注对象图片进行标注时，能够提高标注效率。
2、本发明提出的基于AI智能识别的3D实体标注方法，通过控制3D实体平移和旋转，以及控制相机进行拍照，能够实现自动化，采集的相应数据高度对应，且采集的相应数据能够自动上传，无需人工进行读取，即无外部人工误差因素干扰，采集的数据误差小，从而能够提高模型训练的准确度，进而能够提高3D实体的标注准确度。
3、本发明提出的基于AI智能识别的3D实体标注方法，AI智能标注模型采用改进的卷积神经网络，加入偏移矩阵和增强角度旋转矩阵分别对其对应的卷积层输出的矩阵进行卷积处理，以训练优化AI智能标注模型，从而降低旋转角度、水平位移及竖直位移对AI智能标注模型标注准确度的影响，即使训练好的AI智能标注模型仅根据3D实体的二维图片即可对3D实体进行准确的知识标注，而无需得知3D实体的位姿信息，从而提高了AI智能标注模型的适用性和普适性，能够在无法得知3D实体多个角度下完整的二维图片的情况下，对3D实体进行标注。
本发明中，上述各技术方案之间还可以相互组合，以实现更多的优选组合方案。本发明的其他特征和优点将在随后的说明书中阐述，并且，部分优点可从说明书中变得显而易见，或者通过实施本发明而了解。本发明的目的和其他优点可通过说明书以及附图中所特别指出的内容中来实现和获得。
附图说明
附图仅用于示出具体实施例的目的，而并不认为是对本发明的限制，在整个附图中，相同的参考符号表示相同的部件。
图1为本发明实施例基于AI智能识别的3D实体标注方法的流程图；
图2为本发明实施例样本采集装置的示意图。
具体实施方式
下面结合附图来具体描述本发明的优选实施例，其中，附图构成本申请一部分，并与本发明的实施例一起用于阐释本发明的原理，并非用于限定本发明的范围。
本发明的一个具体实施例，公开了一种基于AI智能识别的3D实体标注方法。如图1所示，该方法包括：
S110、获取3D实体在不同角度下的二维图片、位姿信息及标注标签，以及在所述二维图片内提取标注对象图片，进而组成训练样本集。优选的，考虑到后续需要基于包含标注对象的二维图片进行AI智能标注模型的训练，而训练过程中，只有标注对象对应的图片区域是有效的，因此，从采集的二维图片中提取标注对象图片，可以有效减少模型训练过程中的计算量，提高模型训练效率。具体的，一个角度下的标注对象图片、位姿信息及标注标签为一个训练样本，不同角度下的该些信息组成训练样本集。其中，标注指的是知识标注，知识标注指的是用于组织和表达信息的概念体系，示例性的，可以是一些名称或者分类体系。
S120、基于每一样本中的位姿信息构建该样本对应的偏移矩阵和增强角度旋转矩阵。优选的，位姿信息包括位移信息和角度信息，其中，位移信息包括水平位移和竖直位移；具体的，根据位移信息构建偏移矩阵，根据角度信息构建增强角度旋转矩阵。
S130、利用训练样本集以及每一样本对应的偏移矩阵、增强角度旋转矩阵对AI智能标注模型进行训练，获得优化后的AI智能标注模型。
S140、基于待标注对象的图片利用优化后的AI智能标注模型对待标注对象进行标注。
优选的，步骤S110中，优选的，获取3D实体在不同角度下的二维图片、位姿信息及标注标签，具体包括：
具体的，位姿信息包括水平位移、竖直位移以及旋转角度，旋转角度为3D实体以竖直方向为旋转轴旋转的角度。
将3D实体放置于透明标注柜内，控制透明标注柜内承载3D实体的旋转托盘进行旋转，进而控制3D实体旋转不同的角度，其中，旋转托盘上安装有角度传感器，用于测量3D实体的旋转角度。
通过两个电动液压缸分别控制3D实体在水平方向和竖直方向上的移动，两个电动液压缸的液压杆上均安装有距离传感器，分别用于测量3D实体的水平位移和竖直位移。
通过透明标注柜内安装的相机拍摄获取每一旋转角度下的3D实体的二维图片。
通过透明标注柜的透明可触摸显示屏对3D实体进行标注。具体的，水平方向和竖直方向所在的平面与透明可触摸显示屏所在的平面的平行。
优选的，在[0°,360°]范围内，以预设角度间隔旋转3D实体，在每一角度下，对3D实体进行二维图片、位姿信息的采集并进行标注，从而获得训练样本集。优选的，预设角度间隔的取值范围为(0°,5°]。
在实际应用中，将3D实体放入透明标注柜中，进行旋转后，三3D实体的待标注面可能被透明标注柜的边缘遮挡，而无法标注，因此通过水平调整或竖直调整3D实体的位置，以正常进行标注。
优选的，在二维图片内提取标注对象图片包括：
利用标注对象对应的模板在二维图片内以预设步长进行滑窗匹配，并将匹配一致时模板对应的二维图片内的区域作为标注对象图片；或者利用预设的矢量标注区域与二维图片求交获得标注对象图片，即利用设置好的矢量标注区域对应的矩阵与二维图片对应的图像矩阵求交获得标注对象图片对应的图像矩阵。具体的，需要根据二维图片中的标注对象设置矢量标注区域，使矢量标注区域与标注对象对应的区域一致。具体的，利用CAD工具即可实现矢量标注区域与二维图片求交获得标注对象图片。
为了规避3D实体位移对标注结果的影响，在训练优化AI智能标注模型时，要将位移的因素考虑在内，即降低位移对AI智能标注模型标注结果的影响，具体的，用偏移矩阵弱化AI智能标注模型中水平位移或竖直位移对标注结果的影响。
具体的，根据位姿信息通过下述公式获得偏移矩阵；
Figure BDA0003268489200000081
其中，Mt表示偏移矩阵，θt表示当前样本位姿信息中的旋转角度，x表示水平位移、y表示竖直位移。
在实际标注中，可能只能获得3D实体某一角度下的二维图片，因此在AI智能标注模型的训练过程中，要降低旋转角度对模型标注结果的影响，具体的，通过增强角度旋转矩阵弱化AI智能标注模型中旋转角度对标注结果的影响。
优选的，根据位姿信息通过下述公式获得增强角度旋转矩阵：
Figure BDA0003268489200000091
其中，
θΔ＝θt-θmean
Figure BDA0003268489200000092
上式中，ωt表示增强角度旋转矩阵，θi表示第i个样本包括的位姿信息中的旋转角度，θt表示当前样本位姿信息中的旋转角度，θmean表示前t个旋转角度的平均值。示例性的，输入的第一个样本中的旋转角度为5°，输入的第二个样本中的旋转角度为10°，输入的第三个样本中的旋转角度为15°，以此类推，输入的第t个样本中的旋转角度为40°，则θmean表示t个旋转角度的平均值。
优选的，AI智能标注模型为基于卷积神经网络构建的模型，具体包括依次连接的输入层、两个卷积层(第一卷积层和第二卷积层)、第一池化层、三个卷积层(第三卷积层、第四卷积层和第五卷积层)、第二池化层以及输出层。其中，输入层为标注对象图片，输出层为标注标签。
在具体应用中，提取的标注对象图片的最小分辨率需满足512n*512n，n为正整数。将提取的标注对象图片输入至AI智能标注模型时，五个卷积层对应处理的最大图像矩阵维度分别为512n*512n、256n*256n、64n*64n、32n*32n、16n*16n。
优选的，示例性的，第一池化层利用偏移矩阵对第二卷积层的输出矩阵进行卷积、最大池化，将第二卷积层输出的256n*256n的图像矩阵转换为64n*64n的图像矩阵。具体的，利用3*3的偏移矩阵作为滑窗，以单位1为步长对第二卷积层的输出矩阵进行卷积、降维处理，即将偏移矩阵与其覆盖的输出矩阵中的部分进行卷积操作，并将获得的9个数值中的最大值作为降维后的矩阵的元素，并依次遍历前述输出矩阵，从而获得降维后的矩阵。通过偏移矩阵对AI智能标注模型的的相关参数进行优化，从而降低水平位移和竖直位移对标注结果的影响。
具体的，第二池化层利用增强角度旋转矩阵对其前一卷积层的输出矩阵进行卷积、最大池化，将第五卷积层16n*16n转换为4n*4n。具体的，利用3*3的增强角度旋转矩阵作为滑窗，以单位1为步长对第五卷积层的输出矩阵进行卷积降维处理，即将偏移矩阵与其覆盖的输出矩阵中的部分进行卷积操作，并将获得的9个数值中的最大值作为降维后的矩阵的元素，并依次遍历前述输出矩阵，从而获得降维后的矩阵。通过增强角度旋转矩阵对AI智能标注模型的相关参数进行优化，从而降低增强角度旋转矩阵对标注结果的影响。
具体的，经第二池化层降维处理后，输出4n*4n维度的矩阵，标注模型能够实现的标注类型数量为16n2。优选的，在实际应用中，根据标签种类数确定需要获取的标注对象图片的分辨率，示例性的，标签种类数量为64种，则对应标注对象图片的最小分辨率为1024*1024。
优选的，基于待标注对象的图片利用优化后的AI智能标注模型对待标注对象进行标注，包括：
采集3D实体的二维图片，在二维图片内提取待标注对象图片，具体的，可以采用待标注对象对应的模板进行滑窗提取，或者利用矢量量标注区域对应的矩阵与二维图片的图像矩阵求交获得待标注对象对应的图像矩阵，并将待标注对象的图片(待标注对象对应的图像矩阵)输入至AI智能标注模型，从而获得待标注对象的标注标签。
优选的，利用样本采集装置采集用于模型训练的样本集。具体的，样本采集装置包括透明标注柜、两个电动液压缸、电动机、相机、两个距离传感器及角度传感器。
如图2所示，样本采集装置还包括水平方向移动槽、托板及旋转托盘。水平方向移动槽固定于托板上，旋转托盘底部中央设置有滑轮或者滑块能够活动卡合于水平方向移动槽内。
具体的，一个电动液压缸机械连接水平方向移动槽，用于控制3D实体沿水平方向移动，另一个电动液压缸机械连接托板，用于控制3D实体沿竖直方向移动，两个电动液压缸的液压杆上均安装有距离传感器；距离传感器用于测量3D实体的水平位移和竖直位移。其中电动液压机的控制精度能够达到毫米量级。
此外，电动机机械连接旋转托盘，用于控制承载3D实体的旋转托盘进行旋转，进而控制3D实体进行旋转；旋转托盘上安装有角度传感器，用于测量3D实体的旋转角度。
优选的，透明标注柜的一侧面为透明可触摸显示屏，通过该透明可触摸显示屏对每一旋转角度下的3D实体进行标注。
优选的，相机安装于透明标注柜内透明可触摸显示屏上方，用于拍摄每一旋转角度下的3D实体，以获得对应的二维图片。其中，相机的分辨率大于720p。
优选的，还包括计算机终端，用于接收、处理、存储样本采集装置中各设备上传的数，以及对AI智能标注模型进行训练。
优选的，距离传感器、角度传感器、电动液压缸以及电动机均通过OPC UA接口与计算机终端通信连接，计算机终端通过该接口传输控制指令和相应的数据采集指令，并接收距离传感器和角度传感器采集的位移信息和角度信息。相机通过SDK接口与计算机终端通信连接，计算机终端通过该接口向相机传输相应的拍摄指令，并接收该相机传输的二维图片。
优选的，透明可触摸显示屏通过串行接口与计算机终端通信连接，在透明可触摸显示屏写入的标注标签可自动传输至计算机终端，进行存储。
本发明的另一个实施例，公开了一种存储介质，用于存储计算机指令，处理器执行上述计算机程序，能够实现前述的3D实体数字化标注方法。具体的，存储介质可以是随机存储器(RAM)、内存、只读存储器(ROM)、电可编程ROM、电可擦除可编程ROM、寄存器、硬盘、可移动磁盘、CD-ROM、或技术领域内所公知的任意其它形式的存储介质。
本发明实施例公开的基于AI智能识别的3D实体标注方法及存储介质，首先，采用具有透明可触摸显示屏对3D实体进行知识标注，知识标注数据可以直接进行存储，同时采用相机拍摄获得当前标注位置下3D实体的二维图片，并提取其中的标注对象图片，并利用距离传感器及角度传感器获得3D实体的位姿信息，将不同角度下的知识标注数据、标注对象图片及位姿信息组成多个样本，对AI智能标注模型进行优化训练。利用优化好的模型进行3D实体数字化标注，标志数据易存储，标注准确度。该方法规避了现有技术中采用激光点云扫描方式进行标注计算成本大、标注数据难以存储的问题，且规避了实体标注方法中荧光笔记无法数字化，也无法数字化复杂的3D实体实体特征，进而无法生成准确的3D实体实体模型的问题。此外，从采集的二维图片中提取标注对象图片，基于标注对象图片进行模型训练，能够很大程度上减少计算量，提高模型训练效率，同样，基于待标注对象图片进行标注时，能够提高标注效率。其次，本发明实施例公开的基于AI智能识别的3D实体标注方法，通过控制3D实体平移和旋转，以及控制相机进行拍照，能够实现自动化，采集的相应数据高度对应，且采集的相应数据能够自动上传，无需人工进行读取，即无外部人工误差因素干扰，采集的数据误差小，从而能够提高模型训练的准确度，进而能够提高3D实体的标注准确度。最后，本发明实施例公开的基于AI智能识别的3D实体标注方法，AI智能标注模型采用改进的卷积神经网络，加入偏移矩阵和增强角度旋转矩阵分别对其对应的卷积层输出的矩阵进行卷积处理，以训练优化AI智能标注模型，从而降低旋转角度、水平位移及竖直位移对AI智能标注模型标注准确度的影响，即使训练好的AI智能标注模型仅根据3D实体的二维图片即可对3D实体进行准确的知识标注，而无需得知3D实体的位姿信息，从而提高了AI智能标注模型的适用性和普适性，能够在无法得知3D实体多个角度下完整的二维图片的情况下，对3D实体进行标注。
本领域技术人员可以理解，实现上述实施例方法的全部或部分流程，可以通过计算机程序来指令相关的硬件来完成，所述的程序可存储于计算机可读存储介质中。其中，所述计算机可读存储介质为磁盘、光盘、只读存储记忆体或随机存储记忆体等。
以上所述，仅为本发明较佳的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到的变化或替换，都应涵盖在本发明的保护范围之内。

Claims (10)

1.一种基于AI智能识别的3D实体标注方法，其特征在于，包括：
获取3D实体在不同角度下的二维图片、位姿信息及标注标签，以及在所述二维图片内提取标注对象图片，进而组成训练样本集；
基于每一样本中的位姿信息构建该样本对应的偏移矩阵和增强角度旋转矩阵；
利用训练样本集以及每一样本对应的偏移矩阵、增强角度旋转矩阵对AI智能标注模型进行训练，获得优化后的AI智能标注模型；
基于待标注对象的图片利用优化后的所述AI智能标注模型对待标注对象进行标注。
2.根据权利要求1所述的3D实体标注方法，其特征在于，在所述二维图片内提取标注对象图片包括：
利用所述标注对象对应的模板在二维图片内以预设步长进行滑窗匹配，并将匹配一致时所述模板对应的二维图片内的区域作为标注对象图片；或者
利用预设的矢量标注区域与所述二维图片求交获得标注对象图片。
3.根据权利要求2所述3D实体标注方法，其特征在于，所述AI智能标注模型包括依次连接的输入层、两个卷积层、第一池化层、三个卷积层、第二池化层以及输出层；
所述第一池化层利用所述偏移矩阵对其前一卷积层的输出矩阵进行卷积、最大池化；
所述第二池化层利用所述增强角度旋转矩阵对其前一卷积层的输出矩阵进行卷积、最大池化。
4.根据权利要求3所述的3D实体标注方法，其特征在于，所述位姿信息包括水平位移、竖直位移以及旋转角度，所述旋转角度为所述3D实体以其竖直方向为旋转轴旋转的角度。
5.根据权利要求4所述的3D实体标注方法，其特征在于，根据所述位姿信息通过下述公式获得所述偏移矩阵；
Figure FDA0003268489190000021
其中，Mt表示所述偏移矩阵，θt表示当前样本位姿信息中的旋转角度，x表示水平位移、y表示竖直位移。
6.根据权利要求5所述的3D实体标注方法，其特征在于，根据所述位姿信息通过下述公式获得所述增强角度旋转矩阵：
Figure FDA0003268489190000022
其中，
θΔ＝θt-θmean
Figure FDA0003268489190000023
上式中，ωt表示所述增强角度旋转矩阵，θi表示第i个样本包括的位姿信息中的旋转角度，θt表示当前样本位姿信息中的旋转角度，θmean表示前t个旋转角度的平均值。
7.根据权利要求3-5任意一项所述的3D实体标注方法，其特征在于，所述获取3D实体在不同角度下的二维图片、位姿信息及标注标签，包括：
将所述3D实体放置于透明标注柜内，通过控制所述透明标注柜内承载所述3D实体的旋转托盘进行旋转，进而控制所述3D实体旋转不同的角度，所述旋转托盘上安装有角度传感器，用于测量所述旋转角度；
通过两个电动液压缸分别控制所述3D实体在水平方向和竖直方向上的移动，所述两个电动液压缸的液压杆上均安装有距离传感器，分别用于测量所述3D实体的水平位移和竖直位移；
通过所述透明标注柜内安装的相机拍摄获取每一旋转角度下的所述3D实体的二维图片；
通过所述透明标注柜的透明可触摸显示屏对所述3D实体进行标注。
8.根据权利要求7所述的3D实体数字化标注方法，其特征在于，在[0°,360°]范围内，以预设角度间隔旋转所述3D实体，在每一角度下，对3D实体进行二维图片、位姿信息的采集并进行标注，从而获得训练样本集；所述预设角度间隔的取值范围为(0°,5°]。
9.根据权利要求1所述的3D实体数字化标注方法，其特征在于，所述基于待标注对象的图片利用优化后的所述AI智能标注模型对待标注对象进行标注，包括：
采集3D实体的二维图片，在所述二维图片内提取待标注对象图片，并将所述待标注对象的图片输入至所述AI智能标注模型，从而获得所述待标注对象的标注标签。
10.一种存储介质，用于存储计算机指令，其特征在于，处理器执行所述计算机程序，能够实现权利要求1-9任意一项所述的3D实体数字化标注方法。
CN202111094179.8A 2021-09-17 2021-09-17 一种基于ai智能识别的3d实体标注方法及存储介质 Active CN113763572B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111094179.8A CN113763572B (zh) 2021-09-17 2021-09-17 一种基于ai智能识别的3d实体标注方法及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111094179.8A CN113763572B (zh) 2021-09-17 2021-09-17 一种基于ai智能识别的3d实体标注方法及存储介质

Publications (2)

Publication Number Publication Date
CN113763572A true CN113763572A (zh) 2021-12-07
CN113763572B CN113763572B (zh) 2023-06-27

Family

ID=78796306

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111094179.8A Active CN113763572B (zh) 2021-09-17 2021-09-17 一种基于ai智能识别的3d实体标注方法及存储介质

Country Status (1)

Country Link
CN (1) CN113763572B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114168767A (zh) * 2021-12-08 2022-03-11 北京百度网讯科技有限公司 一种数据标注方法、装置、系统、设备以及存储介质

Citations (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20100189313A1 (en) * 2007-04-17 2010-07-29 Prokoski Francine J System and method for using three dimensional infrared imaging to identify individuals
CN107423689A (zh) * 2017-06-23 2017-12-01 中国科学技术大学 智能交互式人脸关键点标注方法
CN109949368A (zh) * 2019-03-14 2019-06-28 郑州大学 一种基于图像检索的人体三维姿态估计方法
CN109961471A (zh) * 2017-12-14 2019-07-02 北京猎户星空科技有限公司 一种图像中物体位置的标注方法、装置及电子设备
CN110472507A (zh) * 2019-07-12 2019-11-19 中国地质大学（武汉） 基于深度残差网络的人手深度图像位姿估计方法及系统
CN110889464A (zh) * 2019-12-10 2020-03-17 北京市商汤科技开发有限公司 神经网络训练、目标对象的检测方法及装置
CN111783820A (zh) * 2020-05-08 2020-10-16 北京沃东天骏信息技术有限公司 图像标注方法和装置
CN111968235A (zh) * 2020-07-08 2020-11-20 杭州易现先进科技有限公司 一种物体姿态估计方法、装置、系统和计算机设备
CN112132901A (zh) * 2020-09-30 2020-12-25 上海商汤临港智能科技有限公司 一种点云标注的方法、装置、电子设备及存储介质
CN112258574A (zh) * 2020-09-21 2021-01-22 北京沃东天骏信息技术有限公司 标注位姿信息的方法、装置及计算机可读存储介质
CN112381876A (zh) * 2021-01-18 2021-02-19 中智行科技有限公司 一种交通标志标注方法、装置及计算机设备
CN112509036A (zh) * 2020-12-01 2021-03-16 北京航空航天大学 位姿估计网络训练及定位方法、装置、设备、存储介质
CN112633002A (zh) * 2020-12-29 2021-04-09 上海明略人工智能(集团)有限公司 样本标注、模型训练、命名实体识别方法和装置
US20210150726A1 (en) * 2019-11-14 2021-05-20 Samsung Electronics Co., Ltd. Image processing apparatus and method
CN112884819A (zh) * 2019-11-29 2021-06-01 杭州三坛医疗科技有限公司 一种影像配准及神经网络的训练方法、装置和设备
CN112884820A (zh) * 2019-11-29 2021-06-01 杭州三坛医疗科技有限公司 一种影像初始配准及神经网络的训练方法、装置和设备
CN112967339A (zh) * 2020-12-28 2021-06-15 北京市商汤科技开发有限公司 一种车辆位姿的确定方法、车辆控制方法及装置、车辆
CN113034581A (zh) * 2021-03-15 2021-06-25 中国空间技术研究院 基于深度学习的空间目标相对位姿估计方法
CN113180701A (zh) * 2021-07-01 2021-07-30 中国人民解放军军事科学院军事医学研究院 一种用于图像标签标注的脑电信号深度学习方法

Patent Citations (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20100189313A1 (en) * 2007-04-17 2010-07-29 Prokoski Francine J System and method for using three dimensional infrared imaging to identify individuals
CN107423689A (zh) * 2017-06-23 2017-12-01 中国科学技术大学 智能交互式人脸关键点标注方法
CN109961471A (zh) * 2017-12-14 2019-07-02 北京猎户星空科技有限公司 一种图像中物体位置的标注方法、装置及电子设备
CN109949368A (zh) * 2019-03-14 2019-06-28 郑州大学 一种基于图像检索的人体三维姿态估计方法
CN110472507A (zh) * 2019-07-12 2019-11-19 中国地质大学（武汉） 基于深度残差网络的人手深度图像位姿估计方法及系统
US20210150726A1 (en) * 2019-11-14 2021-05-20 Samsung Electronics Co., Ltd. Image processing apparatus and method
CN112884820A (zh) * 2019-11-29 2021-06-01 杭州三坛医疗科技有限公司 一种影像初始配准及神经网络的训练方法、装置和设备
CN112884819A (zh) * 2019-11-29 2021-06-01 杭州三坛医疗科技有限公司 一种影像配准及神经网络的训练方法、装置和设备
CN110889464A (zh) * 2019-12-10 2020-03-17 北京市商汤科技开发有限公司 神经网络训练、目标对象的检测方法及装置
CN111783820A (zh) * 2020-05-08 2020-10-16 北京沃东天骏信息技术有限公司 图像标注方法和装置
CN111968235A (zh) * 2020-07-08 2020-11-20 杭州易现先进科技有限公司 一种物体姿态估计方法、装置、系统和计算机设备
CN112258574A (zh) * 2020-09-21 2021-01-22 北京沃东天骏信息技术有限公司 标注位姿信息的方法、装置及计算机可读存储介质
CN112132901A (zh) * 2020-09-30 2020-12-25 上海商汤临港智能科技有限公司 一种点云标注的方法、装置、电子设备及存储介质
CN112509036A (zh) * 2020-12-01 2021-03-16 北京航空航天大学 位姿估计网络训练及定位方法、装置、设备、存储介质
CN112967339A (zh) * 2020-12-28 2021-06-15 北京市商汤科技开发有限公司 一种车辆位姿的确定方法、车辆控制方法及装置、车辆
CN112633002A (zh) * 2020-12-29 2021-04-09 上海明略人工智能(集团)有限公司 样本标注、模型训练、命名实体识别方法和装置
CN112381876A (zh) * 2021-01-18 2021-02-19 中智行科技有限公司 一种交通标志标注方法、装置及计算机设备
CN113034581A (zh) * 2021-03-15 2021-06-25 中国空间技术研究院 基于深度学习的空间目标相对位姿估计方法
CN113180701A (zh) * 2021-07-01 2021-07-30 中国人民解放军军事科学院军事医学研究院 一种用于图像标签标注的脑电信号深度学习方法

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114168767A (zh) * 2021-12-08 2022-03-11 北京百度网讯科技有限公司 一种数据标注方法、装置、系统、设备以及存储介质

Also Published As

Publication number Publication date
CN113763572B (zh) 2023-06-27

Similar Documents

Publication Publication Date Title
CN110059694B (zh) 电力行业复杂场景下的文字数据的智能识别方法
CN112257676B (zh) 一种指针式仪表读数方法、系统以及巡检机器人
CN102521560B (zh) 高鲁棒仪表指针图像识别方法
CN113763573B (zh) 一种三维物体数字化标注方法及装置
CN109829907A (zh) 一种基于深度学习的金属轴表面缺陷识别方法
CN110231276B (zh) 无透镜成像系统的细胞尺寸测量装置及其测量方法
CN111027456B (zh) 基于图像识别的机械水表读数识别方法
CN111368906A (zh) 一种基于深度学习的指针式油位计读数识别方法
CN111950396A (zh) 一种仪表读数神经网络识别方法
CN113763572A (zh) 一种基于ai智能识别的3d实体标注方法及存储介质
CN113469178A (zh) 一种基于深度学习的电力表计识别方法
CN114295626A (zh) 一种周期性表面瑕疵的在线快速检测系统及其检测方法
CN116721104B (zh) 实景三维模型缺陷检测方法、装置、电子设备及存储介质
CN113705564A (zh) 一种指针式仪表识别读数方法
CN116310263A (zh) 一种指针式航空地平仪示数自动读取实现方法
CN112557105A (zh) 自动取样设备和自动取样方法
Yang et al. Defect detection scheme of pins for aviation connectors based on image segmentation and improved RESNET-50
CN115631209A (zh) 水凝胶球溶胀参数测量方法、系统、装置和存储介质
CN115311447A (zh) 一种基于深度卷积神经网络的指针式仪表示数识别方法
Roussel et al. 3D surface reconstruction of plant seeds by volume carving
CN113822104A (zh) 基于多候选虚拟标尺的人工智能水面检测系统
CN117635603B (zh) 基于目标检测的中空遮阳产品在线质量检测系统及方法
CN111507255B (zh) 一种基于云技术的地表地物信息采集方法及系统
CN114782369A (zh) 采集训练棉朵数据和标签的装置及应用方法
Zheng et al. Automatic Digital Recognition of Multiple Electricity Dashboards

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant