CN106845515A - 基于虚拟样本深度学习的机器人目标识别和位姿重构方法 - Google Patents
基于虚拟样本深度学习的机器人目标识别和位姿重构方法 Download PDFInfo
- Publication number
- CN106845515A CN106845515A CN201611111441.4A CN201611111441A CN106845515A CN 106845515 A CN106845515 A CN 106845515A CN 201611111441 A CN201611111441 A CN 201611111441A CN 106845515 A CN106845515 A CN 106845515A
- Authority
- CN
- China
- Prior art keywords
- pose
- angle
- virtual
- sample
- robot
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 59
- 238000013135 deep learning Methods 0.000 title claims abstract description 25
- 230000000007 visual effect Effects 0.000 claims abstract description 77
- 238000013527 convolutional neural network Methods 0.000 claims abstract description 25
- 230000033001 locomotion Effects 0.000 claims abstract description 9
- 238000006073 displacement reaction Methods 0.000 claims abstract description 4
- 230000009466 transformation Effects 0.000 claims description 21
- 238000003384 imaging method Methods 0.000 claims description 6
- 238000005065 mining Methods 0.000 claims description 6
- 238000001514 detection method Methods 0.000 claims description 4
- 230000006872 improvement Effects 0.000 claims description 4
- 230000008569 process Effects 0.000 claims description 4
- 238000009877 rendering Methods 0.000 claims description 4
- 206010061274 Malocclusion Diseases 0.000 claims description 3
- 238000006243 chemical reaction Methods 0.000 claims description 3
- 238000005286 illumination Methods 0.000 claims description 3
- 230000008447 perception Effects 0.000 abstract 1
- 230000008859 change Effects 0.000 description 2
- 238000010276 construction Methods 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 230000007935 neutral effect Effects 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 238000005457 optimization Methods 0.000 description 2
- 238000005192 partition Methods 0.000 description 2
- 238000004088 simulation Methods 0.000 description 2
- 230000010391 action planning Effects 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 210000000746 body region Anatomy 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 238000000354 decomposition reaction Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 239000006185 dispersion Substances 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 230000004807 localization Effects 0.000 description 1
- 238000003062 neural network model Methods 0.000 description 1
- 230000000644 propagated effect Effects 0.000 description 1
- 238000013139 quantization Methods 0.000 description 1
- 230000001953 sensory effect Effects 0.000 description 1
- 239000000126 substance Substances 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/22—Matching criteria, e.g. proximity measures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10004—Still image; Photographic image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30244—Camera pose
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Evolutionary Biology (AREA)
- Evolutionary Computation (AREA)
- Bioinformatics & Computational Biology (AREA)
- General Engineering & Computer Science (AREA)
- Artificial Intelligence (AREA)
- Life Sciences & Earth Sciences (AREA)
- Computer Graphics (AREA)
- Geometry (AREA)
- Software Systems (AREA)
- Image Analysis (AREA)
Abstract
本发明提供了一种基于虚拟样本深度学习的机器人目标识别和位姿重构方法，包括采用CNN区域探测器提取操作目标在相机图像中的区域，初步确定操作目标与机器人末端相机的相对位置；采用CNN姿态分类器估计机器人末端相机当前视角与精确位姿求解最佳视角的观测角偏差；采用多次观测视角矫正的方法控制机器人运动，使得末端相机转移到精确位姿求解最佳视角；采用最佳视角下的轮廓特征的虚实匹配、位姿反求，实现目标位姿的精确计算。本发明解决了深度卷积神经网络的海量样本需求问题，以及轮廓匹配视角偏差过大时导致的特征遮挡、匹配困难的问题；提升了机器人视觉感知的主动性和目标位姿重构的算法柔性。
Description
技术领域
本发明涉及机器视觉以及机器人控制领域，具体地，涉及基于虚拟样本深度学习的机器人目标识别和位姿重构方法。
背景技术
目前工业机器人的视觉感知主要通过目标工件某些特定平面上的关键轮廓特征进行目标位姿重构和操作路径规划，其缺点包括：物体视角偏差过大时，会出现特征遮挡、匹配困难的问题；软件柔性不足，对于不同的操作目标，需要预先定义不同的轮廓特征及相应的位姿反求公式。
经检索：王中任等在《基于CAD模型的随机工件视觉识别和定位方法》中提出采用CAD模型进行模板训练，然后采用模板轮廓和目标轮廓相似度度量，识别出与图像中目标相似度高的模板；然后，采用非线性优化算法进行多次增强鲁棒性的迭代，使得模板轮廓(线框模型)与目标轮廓实现最优匹配，以获得目标的姿态信息。
但是，上述方法不具有视角选择的主动性，如果当前相机姿态对应目标图像的轮廓信息比较少，则难以实现精准匹配；且传统的模板匹配方法无法适应实际工业场景中复杂背景引入的轮廓噪声，且模板搜索和非线性优化过程会占用大量的时间，无法满足工业控制的实时性要求。
发明内容
针对现有技术中的缺陷，本发明的目的是提供一种基于虚拟样本深度学习的机器人目标识别和位姿重构方法。
根据本发明提供的基于虚拟样本深度学习的机器人目标识别和位姿重构方法，包括如下步骤：
目标区域检测步骤：采用CNN区域探测器提取操作目标在相机图像中的区域，初步确定操作目标与机器人末端相机的相对位置；
相对姿态估计步骤：采用CNN姿态分类器估计机器人末端相机当前视角与精确位姿求解最佳视角的观测角偏差；
主动视角变换步骤：采用多次观测视角矫正的方法控制机器人运动，使得末端相机转移到精确位姿求解最佳视角；
精确位姿求解步骤：采用最佳视角下的轮廓特征的虚实匹配、位姿反求，实现目标位姿的精确计算。
优选地，所述CNN区域探测器是指：使用基于CAD模型多视角虚拟相机的渲染图像自动生成的方法构造用于深度学习训练的样本；将成像系统视野内的完整图像作为输入，经过深度卷积神经网络进行端到端的特征挖掘和区域检测，输出为目标在图像中的区域。
优选地，所述基于CAD模型多视角虚拟相机的渲染图像自动生成的方法是指：采用图像渲染的方法逼近真实场景的照明、背景影响因素，并加入部分真实场景的相机图像进行样本改良的方法。
优选地，所述CNN姿态分类器是指：使用基于CAD模型多视角虚拟相机的轮廓图像自动生成的方法构造用于深度学习训练的样本；将成像系统视野内的轮廓图像作为输入，经过深度卷积神经网络进行端到端的特征挖掘和特征分类，输出为目标的当前观测视角。
优选地，所述基于CAD模型的多视角虚拟相机是指：采用以CAD模型为原点，以精确位姿求解最佳视角为径向方向的球坐标系，按照一系列等间距的方位角、仰角生成样本标签，并让相机绕当前球径翻滚，生成不同方位角、仰角、翻滚角下的虚拟相机。
优选地，所述基于CAD模型多视角虚拟相机的轮廓图像自动生成的方法是指：采用每个轮廓图像的虚拟相机方位角和仰角作为样本标签，同时的同一样本标签下的方位角、仰角允许在设定范围内随机变动，以扩充样本丰富性。
优选地，精确位姿求解最佳视角是指：通过轮廓特征的虚实匹配、位姿反求获取目标位姿的观测视角，具有轮廓特征丰富、轮廓辨识性强等特点。
优选地，所述相对姿态估计是指：将三维姿态估计简化成二维连续观测视角，包括方位角θ和仰角的离散化分类问题，即将
离散化为其中表示方位角为θi，仰角为的样本标签，i表示第i个方位角，j表示第j个仰角；R表示[0,2π]连续实数；
观测视角的离散化分类采用的姿态分类器，以深度卷积神经网络为基本结构，以基于CAD模型的多视角轮廓图像为主要训练样本，以离散化观测视角，即方位角θi和仰角为样本标签，以当前样本最可能的观测视角类别为分类器输出。
优选地，主动视角变换是指：在每一次视角变换前，按照所估计的当前观测视角沿着距离精确位姿求解最佳视角的球面最短路径进行路径规划；变换过程中每一次视角变换的步长为沿着规划路径前进至下一个离散化观测视角，通过小步长多次迭代、反复矫正的方法确保视角变换过程中的运动误差不会使目标脱出视野。
优选地，通过位姿反求得到精确位姿求解最佳视角对应的CAD模型信息，自动求出所匹配特征的实际相对空间关系并用于PNP问题求解；轮廓特征的虚实匹配采用轮廓方位特征，所述轮廓方位特征包括：直线轮廓交点或者延长线交点、直线轮廓夹角。
与现有技术相比，本发明具有如下的有益效果：
本发明公开的基于虚拟样本深度学习的机器人目标识别和位姿重构方法，通过基于CAD模型的多视角轮廓图像自动生成的方法解决了深度卷积神经网络的海量样本需求问题；通过主动视角变换解决了轮廓匹配视角偏差过大时导致的特征遮挡、匹配困难的问题，通过目标区域检测、相对姿态估计、主动视角变换、精确位姿求解等步骤的分解提升了机器人视觉感知的主动性和目标位姿重构的算法柔性。
附图说明
通过阅读参照以下附图对非限制性实施例所作的详细描述，本发明的其它特征、目的和优点将会变得更明显：
图1为基于CAD模型多视角虚拟相机的图像自动生成的方法示意图；
图2为主动视角变换的路径规划示意图；
图3为最佳视角下的虚实轮廓匹配过程示意图。
具体实施方式
下面结合具体实施例对本发明进行详细说明。以下实施例将有助于本领域的技术人员进一步理解本发明，但不以任何形式限制本发明。应当指出的是，对本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变化和改进。这些都属于本发明的保护范围。
根据本发明提供的基于虚拟样本深度学习的机器人目标识别和位姿重构方法，包括如下步骤：
目标区域检测步骤：采用CNN区域探测器提取操作目标在相机图像中的区域，以初步确定该目标与机器人末端相机的相对位置；
相对姿态估计步骤：采用CNN姿态分类器估计机器人末端相机当前视角与精确位姿求解最佳视角的观测角偏差；
主动视角变换步骤：采用多次观测视角矫正的方法控制机器人运动，使得末端相机转移到精确位姿求解最佳视角；
精确位姿求解步骤：采用最佳视角下的轮廓特征的虚实匹配、位姿反求，实现目标位姿的精确计算。
所述CNN区域探测器是指：使用基于CAD模型多视角虚拟相机渲染图像自动生成的方法构造用于深度学习训练的样本；将成像系统视野内的完整图像作为输入，经过深度卷积神经网络进行端到端的特征挖掘和区域检测，输出为目标在图像中的区域。
所述基于CAD模型的多视角虚拟相机轮廓或渲染图像自动生成的方法是指：每个样本标签下的方位角(θi)、仰角允许在一定范围内随机变动，以生成更加丰富的样本。
所述CNN姿态分类器是指：使用基于CAD模型多视角虚拟相机轮廓图像自动生成的方法构造用于深度学习训练的样本；将成像系统视野内的轮廓图像作为输入，经过深度卷积神经网络进行端到端的特征挖掘和特征分类，输出为目标的当前观测视角。
所述基于CAD模型的多视角虚拟相机渲染图像自动生成的方法是指：采用图像渲染的方法逼近真实场景的照明、背景等影响因素，并加入部分真实场景的相机图像进行样本改良，以提高样本的有效性。
所述基于CAD模型的多视角虚拟相机是指：采用以CAD模型为原点，以精确位姿求解最佳视角为径向方向的球坐标系，按照一系列等间距的方位角(θi)、仰角生成样本标签并让相机在绕当前球径翻滚，生成不同翻滚角(γk)下的虚拟相机。
所述精确位姿求解最佳视角是指：能够通过该视角下轮廓特征的虚实匹配、位姿反求等步骤，高精度获取目标位姿的观测视角，该视角应具备轮廓特征丰富、轮廓辨识性强等特点。
所述相对姿态估计是指：将三维姿态估计简化成二维连续观测视角(方位角θ和仰角)的离散化分类问题，即将
离散化为
观测视角的离散化分类采用的姿态分类器，以深度卷积神经网络为基本结构，以基于CAD模型的多视角轮廓图像为主要训练样本，以离散化观测视角(方位角θi和仰角)为样本标签，以当前样本最可能的观测视角类别cs为分类器输出。
所述主动视角变换是指：在每一次视角变换前，按照所估计的当前观测视角(方位角θi和仰角)沿着距离精确位姿求解最佳视角的球面最短路径进行路径规划；变换过程中每一次视角变换的步长为沿着规划路径前进至下一个离散化观测视角，通过小步长多次迭代、反复矫正的方法确保视角变换过程中的运动误差不会使目标脱出视野。
所述精确位姿求解是指：通过其位姿反求通过精确位姿求解最佳视角对应的CAD模型信息，自动求出所匹配特征的实际相对空间关系并用于PNP问题求解。
所述特征匹配采用直线轮廓(延长线)交点、直线轮廓夹角等轮廓方位特征，以避免由轮廓提取参数导致的边界、端点不确定引入误差。
下面结合具体实施例对本发明的技术方案做更加详细的说明。
机器人视觉感知系统由眼在手上六自由度机械臂，视觉控制器，运动控制器，一台RGB-D相机构成。视觉控制器为科学计算处理器，配置有高性能GPU，以支持深度神经网络的前向传播性能与训练效率；配置有高速图像接口，以支持高速工业相机的实施图像采集；
所述运动控制器为六自由度机械臂的运动控制器，支持机器多轴运动插补、正向/逆向运动求解、实时通讯控制等功能；
所述RGB-D相机固定在机械臂末端关节，具有较高的图像采集帧频，用于采集目标物体和周围场景的三维视觉信息，能够满足一定精度的图像深度信息获取需求。
具体地，基于虚拟样本深度学习的机器人目标识别和位姿重构方法实施方式如下：
步骤100：视觉系统标定，包括步骤110和120；
步骤110：借助标定板，通过多视角图像中角点的几何关系，标定摄像头的内参；
步骤120：借助标定板，通过机械臂末端关节运动参数和多视角图像角点坐标变换的关系，标定相机物理坐标系和机械臂末端物理坐标系间的齐次变换。
步骤200：借助CAD工具，进行基于深度卷积神经网络的区域检测器和姿态分类器的样本生成，包括步骤210、211、212和213：
步骤210：设定虚拟相机内参、与物体距离为R，观测视角球坐标系的方位角θ离散分区数m、仰角离散分区数n；R一般大于目标物体的外接球半径的5倍以上；
步骤211：导入物体及周围环境的三维模型，将虚拟相机设置在210各分区的离散化观测视角，并设置绕相机光轴(球径)旋转，在光轴间隔γ获取虚拟相机渲染图像作为当前观测视角下的样本。
通常设置观测视角都属于样本标签，并通过对观测视角下的图像在允许变动范围内渲染并抽样进行样本扩充和丰富；其中：ε表示方位角变动范围，η表示仰角变动范围，θi表示方位角离散化节点，表示仰角离散化节点；
步骤212：使用步骤211中的样本，固定目标物体所在区域，作为区域检测器的训练样本，使用区域卷积神经网络训练得到区域检测器。
步骤213：将步骤211中的虚拟相机图像的渲染图像进行轮廓提取，并以轮廓图像作为训练样本输入到深度神经网络模型中进行训练，各样本的类别标签为该类对应的观测视角训练收敛后得到姿态分类器。
步骤300：使用基于多视角图像的路径规划方法进行主动视角变换，包括步骤310、320、330和340：
步骤310：使用区域检测器进行区域定位，确定目标物体的区域，并通过RGB-D相机获取深度信息。
步骤320：使用姿态分类器进行物体的端到面的姿态估计，通过观测视角估计得到距离最佳视角的姿态偏差信息；
步骤330：构造路径规划模型，优选的，采用沿着距离精确位姿求解最佳视角的球面最短路，前进至下一个离散化观测视角，并通过小步长多次迭代、反复矫正的方法确保视角变换过程中的运动误差不会使目标脱出视野；
步骤340：循环310到330，直至末端相机和目标之间的实际观测视角为最佳视角，或者接近最佳视角。
步骤400：采用最佳视角下的轮廓特征的虚实匹配、位姿反求，实现目标位姿的精确计算，包括步骤410,、420,、430
步骤410：在最佳视角下，采集目标图像，通过直线、圆弧等特征拟合提取矢量化轮廓；
步骤420：采用特征匹配算法对矢量化轮廓进行匹配，并对轮廓方位特征进行计算，如直线轮廓交点或者延长线交点、直线轮廓夹角等；
步骤430：通过精确位姿求解最佳视角对应的CAD模型信息，自动求出所匹配特征的实际相对空间关系进行PNP问题构造和求解，以获取目标的位姿信息。
以上对本发明的具体实施例进行了描述。需要理解的是，本发明并不局限于上述特定实施方式，本领域技术人员可以在权利要求的范围内做出各种变化或修改，这并不影响本发明的实质内容。在不冲突的情况下，本申请的实施例和实施例中的特征可以任意相互组合。
Claims (10)
1.一种基于虚拟样本深度学习的机器人目标识别和位姿重构方法，其特征在于，包括如下步骤：
目标区域检测步骤：采用CNN区域探测器提取操作目标在相机图像中的区域，初步确定操作目标与机器人末端相机的相对位置；
相对姿态估计步骤：采用CNN姿态分类器估计机器人末端相机当前视角与精确位姿求解最佳视角的观测角偏差；
主动视角变换步骤：采用多次观测视角矫正的方法控制机器人运动，使得末端相机转移到精确位姿求解最佳视角；
精确位姿求解步骤：采用最佳视角下的轮廓特征的虚实匹配、位姿反求，实现目标位姿的精确计算。
2.根据权利要求1所述的基于虚拟样本深度学习的机器人目标识别和位姿重构方法，其特征在于，所述CNN区域探测器是指：使用基于CAD模型多视角虚拟相机的渲染图像自动生成的方法构造用于深度学习训练的样本；将成像系统视野内的完整图像作为输入，经过深度卷积神经网络进行端到端的特征挖掘和区域检测，输出为目标在图像中的区域。
3.根据权利要求2所述的基于虚拟样本深度学习的机器人目标识别和位姿重构方法，其特征在于，所述基于CAD模型多视角虚拟相机的渲染图像自动生成的方法是指：采用图像渲染的方法逼近真实场景的照明、背景影响因素，并加入部分真实场景的相机图像进行样本改良的方法。
4.根据权利要求1所述的基于虚拟样本深度学习的机器人目标识别和位姿重构方法，其特征在于，所述CNN姿态分类器是指：使用基于CAD模型多视角虚拟相机的轮廓图像自动生成的方法构造用于深度学习训练的样本；将成像系统视野内的轮廓图像作为输入，经过深度卷积神经网络进行端到端的特征挖掘和特征分类，输出为目标的当前观测视角。
5.根据权利要求2至4中任一项所述的基于虚拟样本深度学习的机器人目标识别和位姿重构方法，其特征在于，所述基于CAD模型的多视角虚拟相机是指：采用以CAD模型为原点，以精确位姿求解最佳视角为径向方向的球坐标系，按照一系列等间距的方位角、仰角生成样本标签，并让相机绕当前球径翻滚，生成不同方位角、仰角、翻滚角下的虚拟相机。
6.根据权利要求4所述的基于虚拟样本深度学习的机器人目标识别和位姿重构方法，其特征在于，所述基于CAD模型多视角虚拟相机的轮廓图像自动生成的方法是指：采用每个轮廓图像的虚拟相机方位角和仰角作为样本标签，同时的同一样本标签下的方位角、仰角允许在设定范围内随机变动，以扩充样本丰富性。
7.根据权利要求1所述的基于虚拟样本深度学习的机器人目标识别和位姿重构方法，其特征在于，精确位姿求解最佳视角是指：通过轮廓特征的虚实匹配、位姿反求获取目标位姿的观测视角。
8.根据权利要求1所述的基于虚拟样本深度学习的机器人目标识别和位姿重构方法，其特征在于，所述相对姿态估计是指：将三维姿态估计简化成二维连续观测视角，包括方位角θ和仰角的离散化分类问题，即将
离散化为其中表示方位角为θi，仰角为的样本标签，i表示第i个方位角，j表示第j个仰角；R表示[0,2π]连续实数；
观测视角的离散化分类采用的姿态分类器，以深度卷积神经网络为基本结构，以基于CAD模型的多视角轮廓图像为主要训练样本，以离散化观测视角，即方位角θi和仰角为样本标签，以当前样本最可能的观测视角类别为分类器输出。
9.根据权利要求1所述的基于虚拟样本深度学习的机器人目标识别和位姿重构方法，其特征在于，主动视角变换是指：在每一次视角变换前，按照所估计的当前观测视角沿着距离精确位姿求解最佳视角的球面最短路径进行路径规划；变换过程中每一次视角变换的步长为沿着规划路径前进至下一个离散化观测视角，通过小步长多次迭代、反复矫正的方法确保视角变换过程中的运动误差不会使目标脱出视野。
10.根据权利要求1所述的基于虚拟样本深度学习的机器人目标识别和位姿重构方法，其特征在于，通过位姿反求得到精确位姿求解最佳视角对应的CAD模型信息，自动求出所匹配特征的实际相对空间关系并用于PNP问题求解；轮廓特征的虚实匹配采用轮廓方位特征，所述轮廓方位特征包括：直线轮廓交点或者延长线交点、直线轮廓夹角。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201611111441.4A CN106845515B (zh) | 2016-12-06 | 2016-12-06 | 基于虚拟样本深度学习的机器人目标识别和位姿重构方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201611111441.4A CN106845515B (zh) | 2016-12-06 | 2016-12-06 | 基于虚拟样本深度学习的机器人目标识别和位姿重构方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN106845515A true CN106845515A (zh) | 2017-06-13 |
| CN106845515B CN106845515B (zh) | 2020-07-28 |
Family
ID=59146283
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201611111441.4A Active CN106845515B (zh) | 2016-12-06 | 2016-12-06 | 基于虚拟样本深度学习的机器人目标识别和位姿重构方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN106845515B (zh) |
Cited By (21)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107917700A (zh) * | 2017-12-06 | 2018-04-17 | 天津大学 | 基于深度学习的小幅度目标三维姿态角测量方法 |
| CN108038445A (zh) * | 2017-12-11 | 2018-05-15 | 电子科技大学 | 一种基于多视角深度学习框架的sar自动目标识别方法 |
| CN108491880A (zh) * | 2018-03-23 | 2018-09-04 | 西安电子科技大学 | 基于神经网络的物体分类和位姿估计方法 |
| CN108615244A (zh) * | 2018-03-27 | 2018-10-02 | 中国地质大学（武汉） | 一种基于cnn和深度滤波器的图像深度估计方法及系统 |
| CN108648194A (zh) * | 2018-04-23 | 2018-10-12 | 清华大学 | 基于cad模型三维目标识别分割和位姿测量方法及装置 |
| CN108734773A (zh) * | 2018-05-18 | 2018-11-02 | 中国科学院光电研究院 | 一种用于混合图片的三维重建方法及系统 |
| CN108988197A (zh) * | 2018-06-01 | 2018-12-11 | 南京理工大学 | 一种带电作业机器人系统带电作业现场的快速重构方法 |
| CN109584340A (zh) * | 2018-12-11 | 2019-04-05 | 苏州中科广视文化科技有限公司 | 基于深度卷积神经网络的新视角合成方法 |
| CN109712185A (zh) * | 2018-12-07 | 2019-05-03 | 天津津航计算技术研究所 | 基于学习算法的直升机降落过程中位姿估计方法 |
| CN109900272A (zh) * | 2019-02-25 | 2019-06-18 | 浙江大学 | 视觉定位与建图方法、装置及电子设备 |
| WO2019127231A1 (en) * | 2017-12-28 | 2019-07-04 | Intel Corporation | Training data generators and methods for machine learning |
| CN110069972A (zh) * | 2017-12-11 | 2019-07-30 | 赫克斯冈技术中心 | 自动探测真实世界物体 |
| CN110706285A (zh) * | 2019-10-08 | 2020-01-17 | 中国人民解放军陆军工程大学 | 基于cad模型的物体位姿预测方法 |
| CN111062310A (zh) * | 2019-12-13 | 2020-04-24 | 哈尔滨工程大学 | 一种基于虚拟样本生成的少样本无人机图像识别方法 |
| CN111340878A (zh) * | 2020-05-15 | 2020-06-26 | 支付宝(杭州)信息技术有限公司 | 图像处理方法以及装置 |
| CN111771141A (zh) * | 2019-01-30 | 2020-10-13 | 百度时代网络技术（北京）有限公司 | 自动驾驶车辆中使用3d cnn网络进行解决方案推断的lidar定位 |
| CN113129370A (zh) * | 2021-03-04 | 2021-07-16 | 同济大学 | 结合生成数据和无标注数据的半监督物体位姿估计方法 |
| CN113295157A (zh) * | 2021-05-08 | 2021-08-24 | 西安达升科技股份有限公司 | 一种agv视觉导航方法 |
| CN114494594A (zh) * | 2022-01-18 | 2022-05-13 | 中国人民解放军63919部队 | 基于深度学习的航天员操作设备状态识别方法 |
| CN115409871A (zh) * | 2022-10-31 | 2022-11-29 | 浙江中测新图地理信息技术有限公司 | 一种基于位置智能的三维场景虚实交互方法及装置 |
| US11599751B2 (en) | 2017-12-28 | 2023-03-07 | Intel Corporation | Methods and apparatus to simulate sensor data |
Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101226407A (zh) * | 2008-01-24 | 2008-07-23 | 北京中星微电子有限公司 | 一种显示装置角度自动调整系统及方法 |
| CN101419055A (zh) * | 2008-10-30 | 2009-04-29 | 北京航空航天大学 | 基于视觉的空间目标位姿测量装置和方法 |
| CN101733746A (zh) * | 2009-12-22 | 2010-06-16 | 哈尔滨工业大学 | 空间机器人非合作目标自主识别与捕获方法 |
| CN103324938A (zh) * | 2012-03-21 | 2013-09-25 | 日电（中国）有限公司 | 训练姿态分类器及物体分类器、物体检测的方法及装置 |
| CN103529853A (zh) * | 2012-07-03 | 2014-01-22 | 上海微电子装备有限公司 | 显示器视角调节装置及其调整方法 |
| CN104077802A (zh) * | 2014-07-16 | 2014-10-01 | 四川蜜蜂科技有限公司 | 增强虚拟场景实时仿真图像显示的方法 |
| US20160078303A1 (en) * | 2006-12-01 | 2016-03-17 | Sri International | Unified framework for precise vision-aided navigation |
| CN106155081A (zh) * | 2016-06-17 | 2016-11-23 | 北京理工大学 | 一种旋翼无人机大范围目标监测和精确定位方法 |
-
2016
- 2016-12-06 CN CN201611111441.4A patent/CN106845515B/zh active Active
Patent Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20160078303A1 (en) * | 2006-12-01 | 2016-03-17 | Sri International | Unified framework for precise vision-aided navigation |
| CN101226407A (zh) * | 2008-01-24 | 2008-07-23 | 北京中星微电子有限公司 | 一种显示装置角度自动调整系统及方法 |
| CN101419055A (zh) * | 2008-10-30 | 2009-04-29 | 北京航空航天大学 | 基于视觉的空间目标位姿测量装置和方法 |
| CN101733746A (zh) * | 2009-12-22 | 2010-06-16 | 哈尔滨工业大学 | 空间机器人非合作目标自主识别与捕获方法 |
| CN103324938A (zh) * | 2012-03-21 | 2013-09-25 | 日电（中国）有限公司 | 训练姿态分类器及物体分类器、物体检测的方法及装置 |
| CN103529853A (zh) * | 2012-07-03 | 2014-01-22 | 上海微电子装备有限公司 | 显示器视角调节装置及其调整方法 |
| CN104077802A (zh) * | 2014-07-16 | 2014-10-01 | 四川蜜蜂科技有限公司 | 增强虚拟场景实时仿真图像显示的方法 |
| CN106155081A (zh) * | 2016-06-17 | 2016-11-23 | 北京理工大学 | 一种旋翼无人机大范围目标监测和精确定位方法 |
Non-Patent Citations (2)
| Title |
|---|
| 王中任等: "基于CAD模型的随机工件视觉识别和定位方法", 《红外与激光工程》 * |
| 白志君: "四旋翼无人机室内自主导航系统的研究与实现", 《中国优秀硕士学位论文全文数据库 工程科技Ⅱ辑》 * |
Cited By (34)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107917700A (zh) * | 2017-12-06 | 2018-04-17 | 天津大学 | 基于深度学习的小幅度目标三维姿态角测量方法 |
| CN107917700B (zh) * | 2017-12-06 | 2020-06-09 | 天津大学 | 基于深度学习的小幅度目标三维姿态角测量方法 |
| CN108038445B (zh) * | 2017-12-11 | 2020-09-15 | 电子科技大学 | 一种基于多视角深度学习框架的sar自动目标识别方法 |
| CN108038445A (zh) * | 2017-12-11 | 2018-05-15 | 电子科技大学 | 一种基于多视角深度学习框架的sar自动目标识别方法 |
| CN110069972A (zh) * | 2017-12-11 | 2019-07-30 | 赫克斯冈技术中心 | 自动探测真实世界物体 |
| CN110069972B (zh) * | 2017-12-11 | 2023-10-20 | 赫克斯冈技术中心 | 自动探测真实世界物体 |
| US11599751B2 (en) | 2017-12-28 | 2023-03-07 | Intel Corporation | Methods and apparatus to simulate sensor data |
| WO2019127231A1 (en) * | 2017-12-28 | 2019-07-04 | Intel Corporation | Training data generators and methods for machine learning |
| CN108491880A (zh) * | 2018-03-23 | 2018-09-04 | 西安电子科技大学 | 基于神经网络的物体分类和位姿估计方法 |
| CN108615244A (zh) * | 2018-03-27 | 2018-10-02 | 中国地质大学（武汉） | 一种基于cnn和深度滤波器的图像深度估计方法及系统 |
| CN108615244B (zh) * | 2018-03-27 | 2019-11-15 | 中国地质大学（武汉） | 一种基于cnn和深度滤波器的图像深度估计方法及系统 |
| CN108648194A (zh) * | 2018-04-23 | 2018-10-12 | 清华大学 | 基于cad模型三维目标识别分割和位姿测量方法及装置 |
| CN108648194B (zh) * | 2018-04-23 | 2020-11-24 | 清华大学 | 基于cad模型三维目标识别分割和位姿测量方法及装置 |
| CN108734773A (zh) * | 2018-05-18 | 2018-11-02 | 中国科学院光电研究院 | 一种用于混合图片的三维重建方法及系统 |
| CN108988197A (zh) * | 2018-06-01 | 2018-12-11 | 南京理工大学 | 一种带电作业机器人系统带电作业现场的快速重构方法 |
| CN109712185A (zh) * | 2018-12-07 | 2019-05-03 | 天津津航计算技术研究所 | 基于学习算法的直升机降落过程中位姿估计方法 |
| CN109712185B (zh) * | 2018-12-07 | 2022-11-08 | 天津津航计算技术研究所 | 基于深度学习的直升机降落过程中位姿估计方法 |
| CN109584340B (zh) * | 2018-12-11 | 2023-04-18 | 苏州中科广视文化科技有限公司 | 基于深度卷积神经网络的新视角合成方法 |
| CN109584340A (zh) * | 2018-12-11 | 2019-04-05 | 苏州中科广视文化科技有限公司 | 基于深度卷积神经网络的新视角合成方法 |
| CN111771141B (zh) * | 2019-01-30 | 2024-04-09 | 百度时代网络技术（北京）有限公司 | 自动驾驶车辆中使用3d cnn网络进行解决方案推断的lidar定位 |
| CN111771141A (zh) * | 2019-01-30 | 2020-10-13 | 百度时代网络技术（北京）有限公司 | 自动驾驶车辆中使用3d cnn网络进行解决方案推断的lidar定位 |
| CN109900272A (zh) * | 2019-02-25 | 2019-06-18 | 浙江大学 | 视觉定位与建图方法、装置及电子设备 |
| CN109900272B (zh) * | 2019-02-25 | 2021-07-13 | 浙江大学 | 视觉定位与建图方法、装置及电子设备 |
| CN110706285A (zh) * | 2019-10-08 | 2020-01-17 | 中国人民解放军陆军工程大学 | 基于cad模型的物体位姿预测方法 |
| CN111062310B (zh) * | 2019-12-13 | 2022-07-29 | 哈尔滨工程大学 | 一种基于虚拟样本生成的少样本无人机图像识别方法 |
| CN111062310A (zh) * | 2019-12-13 | 2020-04-24 | 哈尔滨工程大学 | 一种基于虚拟样本生成的少样本无人机图像识别方法 |
| CN111340878A (zh) * | 2020-05-15 | 2020-06-26 | 支付宝(杭州)信息技术有限公司 | 图像处理方法以及装置 |
| CN113129370B (zh) * | 2021-03-04 | 2022-08-19 | 同济大学 | 结合生成数据和无标注数据的半监督物体位姿估计方法 |
| CN113129370A (zh) * | 2021-03-04 | 2021-07-16 | 同济大学 | 结合生成数据和无标注数据的半监督物体位姿估计方法 |
| CN113295157A (zh) * | 2021-05-08 | 2021-08-24 | 西安达升科技股份有限公司 | 一种agv视觉导航方法 |
| CN113295157B (zh) * | 2021-05-08 | 2024-05-03 | 西安达升科技股份有限公司 | 一种agv视觉导航方法 |
| CN114494594A (zh) * | 2022-01-18 | 2022-05-13 | 中国人民解放军63919部队 | 基于深度学习的航天员操作设备状态识别方法 |
| CN114494594B (zh) * | 2022-01-18 | 2023-11-28 | 中国人民解放军63919部队 | 基于深度学习的航天员操作设备状态识别方法 |
| CN115409871A (zh) * | 2022-10-31 | 2022-11-29 | 浙江中测新图地理信息技术有限公司 | 一种基于位置智能的三维场景虚实交互方法及装置 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN106845515B (zh) | 2020-07-28 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN106845515A (zh) | 基于虚拟样本深度学习的机器人目标识别和位姿重构方法 | |
| CN106826833B (zh) | 基于3d立体感知技术的自主导航机器人系统 | |
| WO2020134254A1 (zh) | 一种基于强化学习的喷涂机器人轨迹优化方法 | |
| CN108051002A (zh) | 基于惯性测量辅助视觉的运输车空间定位方法及系统 | |
| CN110335337A (zh) | 一种基于端到端半监督生成对抗网络的视觉里程计的方法 | |
| CN107193279A (zh) | 基于单目视觉和imu信息的机器人定位与地图构建系统 | |
| CN109579843A (zh) | 一种空地多视角下的多机器人协同定位及融合建图方法 | |
| CN108682027A (zh) | 基于点、线特征融合的vSLAM实现方法及系统 | |
| RU2662913C2 (ru) | Способ локализации робота в плоскости локализации | |
| CN107491070A (zh) | 一种移动机器人路径规划方法及装置 | |
| CN107741234A (zh) | 一种基于视觉的离线地图构建及定位方法 | |
| CN106780484A (zh) | 基于卷积神经网络特征描述子的机器人帧间位姿估计方法 | |
| CN101520892B (zh) | 可见光图像中弱小目标的检测方法 | |
| CN106778790A (zh) | 一种基于三维点云的目标识别与定位方法及系统 | |
| CN106485207A (zh) | 一种基于双目视觉图像的指尖检测方法及系统 | |
| CN108235725A (zh) | 基于云端的轨迹地图生成方法、装置、设备及应用程序 | |
| CN109766758A (zh) | 一种基于orb特征的视觉slam方法 | |
| CN106371442B (zh) | 一种基于张量积模型变换的移动机器人控制方法 | |
| CN111998862B (zh) | 一种基于bnn的稠密双目slam方法 | |
| CN110433467A (zh) | 基于双目视觉和蚁群算法的捡乒乓球机器人运行方法及设备 | |
| CN111260649A (zh) | 一种近距离机械臂感知与校准方法 | |
| CN104834913B (zh) | 基于深度图像的旗语识别方法及装置 | |
| Yu et al. | Drso-slam: A dynamic rgb-d slam algorithm for indoor dynamic scenes | |
| Ferreira et al. | A real-time mosaicking algorithm using binary features for ROVs | |
| Kohtala et al. | Leveraging synthetic data from cad models for training object detection models–a vr industry application case |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| TR01 | Transfer of patent right |
Effective date of registration: 20220907 Address after: 201100 room 1, building 8, No. 333, Wanfang Road, Minhang District, Shanghai Patentee after: SHANGHAI GOLYTEC AUTOMATION Co.,Ltd. Address before: 200240 No. 800, Dongchuan Road, Shanghai, Minhang District Patentee before: SHANGHAI JIAO TONG University |
|
| TR01 | Transfer of patent right | ||
| PE01 | Entry into force of the registration of the contract for pledge of patent right |
Denomination of invention: Robot target recognition and pose reconstruction method based on deep learning of virtual samples Effective date of registration: 20230628 Granted publication date: 20200728 Pledgee: Industrial Bank Co.,Ltd. Shanghai Shangnan Sub branch Pledgor: SHANGHAI GOLYTEC AUTOMATION Co.,Ltd. Registration number: Y2023310000320 |
|
| PE01 | Entry into force of the registration of the contract for pledge of patent right | ||
| CP03 | Change of name, title or address |
Address after: 201100, 1st Floor, Building 8, No. 333 Wanfang Road, Minhang District, Shanghai Patentee after: Guoli Zhizao (Shanghai) Technology Co.,Ltd. Address before: 201100 room 1, building 8, No. 333, Wanfang Road, Minhang District, Shanghai Patentee before: SHANGHAI GOLYTEC AUTOMATION Co.,Ltd. |
|
| CP03 | Change of name, title or address |