CN112801988B - 基于rgbd和深度神经网络的物体抓取位姿检测方法 - Google Patents

基于rgbd和深度神经网络的物体抓取位姿检测方法 Download PDF

Info

Publication number
CN112801988B
CN112801988B CN202110141847.1A CN202110141847A CN112801988B CN 112801988 B CN112801988 B CN 112801988B CN 202110141847 A CN202110141847 A CN 202110141847A CN 112801988 B CN112801988 B CN 112801988B
Authority
CN
China
Prior art keywords
angle
grabbing
network
rgbd
view
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110141847.1A
Other languages
English (en)
Other versions
CN112801988A (zh
Inventor
苟铭浩
方浩树
王晨曦
卢策吾
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shanghai Jiaotong University
Original Assignee
Shanghai Jiaotong University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shanghai Jiaotong University filed Critical Shanghai Jiaotong University
Priority to CN202110141847.1A priority Critical patent/CN112801988B/zh
Publication of CN112801988A publication Critical patent/CN112801988A/zh
Application granted granted Critical
Publication of CN112801988B publication Critical patent/CN112801988B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30108—Industrial image inspection
    • G06T2207/30164—Workpiece; Machine component
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Biomedical Technology (AREA)
  • Computational Linguistics (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Quality & Reliability (AREA)
  • Health & Medical Sciences (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Biophysics (AREA)
  • Evolutionary Biology (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)

Abstract

一种基于RGBD和深度神经网络的物体抓取位姿检测方法，将RGB图片通过角度视角网络转换为角度视角热度图，再将RGB图片对应的深度图片与转换得到的角度视角热度图通过碰撞和空抓检测系统生成对应的抓取七维位姿，即平行夹具中心点的三维平移坐标、平行夹具的三维旋转坐标和平行夹具的张开宽度。本发明通过融合RGB图片和深度信息保证生成的平行夹爪自由度大于等于六维，提高检测准确程度，当应用在实际工业场景时可以有效迅速地将一个由若干物体组成的混乱场景利用机械臂及配套夹具清空。实施例如利用机械夹爪逐个抓取图一中所拍摄场景中的所有物体。

Description

基于RGBD和深度神经网络的物体抓取位姿检测方法
技术领域
本发明涉及的是一种图像处理领域的技术，具体是一种基于彩色深度图片(RGBD)和深度神经网络的物体抓取位姿检测方法。
背景技术
物体抓取是机器人领域的核心问题之一，抓取位姿检测更是其中最重要的部分。抓取位子检测问题为对于给定的输入，例如RGBD图片或者点云数据，求解得到机械夹具在空间中的至少六维的姿态。此姿态包括但是不局限于平行夹爪中心点在空间中的三维平移和在空间中的三维旋转。
发明内容
本发明针对现有技术存在的上述不足，提出一种基于RGBD和深度神经网络的物体抓取位姿检测方法，通过融合RGB图片和深度信息保证生成的平行夹爪自由度大于等于六维，提高检测准确程度，当应用在实际工业场景时可以有效迅速地将一个由若干物体组成的混乱场景利用机械臂及配套夹具清空。实施例如利用机械夹爪逐个抓取图一中所拍摄场景中的所有物体。
本发明是通过以下技术方案实现的：
本发明涉及一种基于RGBD和深度神经网络的物体抓取位姿检测方法，将RGB图片通过角度视角网络转换为角度视角热度图，再将RGB图片对应的深度图片与转换得到的角度视角热度图通过碰撞和空抓检测系统生成对应的抓取七维位姿，即平行夹具中心点的三维平移坐标、平行夹具的三维旋转坐标和平行夹具的张开宽度。
所述的角度视角网络，具体为深度卷积神经网络，其生成的角度视角热度图为360*96*72的张量，分别表示360种角度视角组合在图片中的不同位置可以成功抓取物体的可信度。
所述的碰撞和空抓检测步骤包括重建夹爪空间和模型碰撞检测。
技术效果
本发明整体解决了现有技术无法基于RGBD图片和夹爪构型生成七维抓取位姿；与现有技术相比，本发明利用角度视角网络生成角度视角热度图，采用碰撞和空抓检测用以进一步筛选得到抓取位姿。
本发明将RGB和深度图结合，避免常见的点云传感器失效对结果造成的影响。利用RGB图片的稳定性，结合深度信息进行搜索与过滤，高效准确地生成七维平行夹爪抓取位姿。
与其他相似算法相比，利用大型通用数据集GraspNet 1Billion上的训练集进行训练，并在GraspNet 1Billion测试集上进行测试得到的分数取得现有最好成绩。
附图说明
图1为本发明流程图；
图2为实施例夹爪坐标系及七维坐标示意图；
图3为视角及角度采样方法示意图；
图4为生成的角度视角热度图样例示意图；
图5为碰撞和空抓检测模块示意图；
图6为实施例实验结果对比示意图。
具体实施方式
如图1所示，为本实施例涉及的一种基于RGBD和深度神经网络的物体抓取位姿检测系统，包括：角度视角网络、碰撞和空抓检测系统，其中：角度视角网络根据RGB图片，通过神经网络和特定的损失函数训练得到角度视角热度图，碰撞和空抓检测系统根据角度视角热度图、深度图以及夹爪的构型，通过三维重建和几何分析，得到若干抓取位姿。
如图1所示，为本实施例涉及的一种基于RGBD图片进行物体抓取位姿检测方法，生成的平行夹爪抓取位姿为一个七维向量，即如图2所示，分别为平行夹爪的中心x、y、z三维平移坐标，平行夹爪的三维旋转坐标以及平行夹爪的宽度，具体包括以下步骤：
步骤1)生成训练标签：从公开的GraspNet数据集生成训练角度视角网络的标签，具体包括：
步骤1.1读取GraspNet数据集中的数据，将每一张图片均匀分为96×72个分格，均匀采样60个视角和6个面内旋转角度共计360种组合，如图3所示具体包括：
i)在球面上通过斐波那契采样法获取120个视角，再利用半球约束删除其中方向向下的60个视角，从而获得共计60个视角；
ii)在180度的范围内每个30度采样一个面内旋转角度，得到共计6个面内角度；
iii)每一种视角和面内旋转角度可以得到一种组合，一共获取360中组合。
步骤1.2根据GraspNet数据集中的标注，给予每一个格子中的每一个视角角度组合一个01标签，0表示此格中此视角和角度组合不能成功抓取任何物体，1表示此格中此视角和角度组合能够成功抓取某个物体。
步骤2)训练角度视角网络：选取基网络并且根据步骤1中生成的标签对角度视角网络进行训练，具体包括：
步骤2.1设计损失函数为
Figure BDA0002929244430000021
其中：x、y、v分别为某一个场景的宽度索引、高度索引和视角角度组合索引，f为角度视角网络，I为数据集中的RGB图片，f(I)为角度视角网络预测的三阶张量，即如图4所示的角度视角热度图，L为步骤1中生成的角度视角热度图真值标签。
在进行推理的过程中，如图4所示，角度视角网络生成角度热度图预测值供后续步骤使用。
所述的角度视角热度图具体为一个三阶张量，形状为360*96*72，该三维张量的三个索引分别对应RGB图片中的宽度坐标、高度坐标和当前坐标下某一个角度视角组合对应的平行夹爪位姿能够成功抓取物体的可信度。
步骤2.2使用Adam优化器训练编码器解码器网络：采用批量大小为16，共训练60000个批次，初始学习率为10-3，每经过20000个批次的训练后，学习率衰减十倍。
步骤3)采用训练后的角度视角网络对输入的RGBD图片生成角度视角热度图，通过重建场景三维信息并进行采样后，依次进行碰撞检测、空抓检测和抓取非极大值抑制处理，从而得到抓取位姿预测值，具体包括：
步骤3.1重建场景三维信息：根据GraspNet数据集中提供的相机内置参数和拍摄的深度图片，计算输入的RGBD图片中每一点在三维空间中的坐标，构件三维场景，具体包括：
①根据单孔相机参数和相机内参计算相机内参矩阵；
②通过相机内参变换矩阵进行矩阵运算得到输入的RGBD图片中每一点在三维空间中的位置。
步骤3.2角度视角热度图采样：对于角度视角网络预测的角度视角热度图保留每一个分格中分数最高的10个角度视角组合，然后从所有的96×72×10个候选角度视角及位置组合中，选取预测可信度最高的10000个组合。如图5所示，每一个可能的组合再搜索五种宽度和三种距离相机的深度，共计150000个抓取位姿作为候选。
步骤3.3碰撞检测：对于150000个候选位姿，重建平行夹爪在空间中的模型，检测是否与步骤3.1中重建的三维场景有冲突，有冲突的抓取位姿被判定为不合理的抓取位姿，被排除。
所述的重建模型的方法为：生成一个符合实际夹爪尺寸的空间三角网格，根据给定的候选位姿进行三维变换，得到重建的模型。
步骤3.4空抓检测：对于经过碰撞检测剩余的抓取位姿，检查其重建模型中的抓取空间内，即两个平行夹爪中的空间中是否存在步骤3.1中重建的点，当不存在时判定为不合理的抓取位姿并排除。
步骤3.5抓取非极大值抑制：对于剩余所有的抓取位姿，从步骤2.2生成的可信度从高到低的顺序依次进行非极大值抑制，即排除任一个抓取位姿附近所有距离和旋转角度均接近于阈值的抓取位姿，并最终得到抓取位姿预测值。
所述的接近，本实施例中采用10cm和30度。
所述的非极大值抑制，由预测可信度最高的抓取位姿开始遍历至所有的位姿。
经过具体实际实验，使用1张NVIDIA RTX 2080显卡和2块Intel Xeon E5-2686 v4CPU，在PyTorch计算框架上和Ubuntu 18.04操作系统上运行上述方法，利用GraspNet上提供的测试集数据和测试方法进行测试，得到的实验数据是：在三种难度的测试数据上均取得最好成绩，其中Seen难度的AP达到27.98/32.08(分别为采集自RealSense/Kinect两种相机的数据测试结果，下同)，Unseen难度的AP达到27.23/30.04，Novel难度的AP达到12.55/13.08，具体对比结果如下表所示。
Figure BDA0002929244430000041
如上表所示，为本方法与其他一些对比方法在GraspNet 1Billion数据集上的结果对比；其中随机采样方法指省略下述具体实施方式中的角度视角热度图生成网络，直接选取符合标准正态分布的随机张量作为热度图再利用碰撞和空抓检测得到抓取位姿的方法。
与现有技术相比，本方法利用RGB图片的稳定性，预测平行夹具的旋转方向与空间位置，利用深度图片重建的三维场景，过滤掉与场景出现碰撞或者没有抓到任务物体的抓取位姿最终生成大量的平行夹具抓取位姿，在大型通用抓取数据集GraspNet上达到目前为止最好效果。
上述具体实施可由本领域技术人员在不背离本发明原理和宗旨的前提下以不同的方式对其进行局部调整，本发明的保护范围以权利要求书为准且不由上述具体实施所限，在其范围内的各个实现方案均受本发明之约束。

Claims (9)

1.一种基于RGBD和深度神经网络的物体抓取位姿检测方法，其特征在于，将RGB图片通过角度视角网络转换为角度视角热度图，再将RGB图片对应的深度图片与转换得到的角度视角热度图通过碰撞和空抓检测系统生成对应的抓取七维位姿，即平行夹具中心点的三维平移坐标、平行夹具的三维旋转坐标和平行夹具的张开宽度；
所述的角度视角网络，具体为深度卷积神经网络，其损失函数为
Figure FDA0003997986920000011
其中：x、y、v分别为某一个场景的宽度索引、高度索引和视角角度组合索引，f为角度视角网络，I为数据集中的RGB图片，f(I)为角度视角网络预测的三阶张量，即角度视角热度图，L为角度视角热度图真值标签，该角度视角网络生成的角度视角热度图为360*96*72的张量，分别表示360种角度视角组合在图片中的不同位置可以成功抓取物体的可信度；
所述的碰撞和空抓检测步骤包括重建夹爪空间和模型碰撞检测。
2.根据权利要求1所述的基于RGBD和深度神经网络的物体抓取位姿检测方法，其特征是，具体包括：
步骤1)生成训练标签：从公开的GraspNet数据集生成训练角度视角网络的角度视角热度图真值标签；
步骤2)训练角度视角网络：选取基网络并且根据步骤1中生成的标签对角度视角网络进行训练；
步骤3)采用训练后的角度视角网络对输入的RGBD图片生成角度视角热度图，通过重建场景三维信息并进行采样后，依次进行碰撞检测、空抓检测和抓取非极大值抑制处理，从而得到抓取位姿预测值。
3.根据权利要求2所述的基于RGBD和深度神经网络的物体抓取位姿检测方法，其特征是，所述的步骤1，具体包括：
步骤1.1读取GraspNet数据集中的数据，将每一张图片均匀分为96×72个分格，均匀采样60个视角和6个面内旋转角度共计360种组合；
步骤1.2根据GraspNet数据集中的标注，给予每一个格子中的每一个视角角度组合一个01标签，0表示此格中此视角和角度组合不能成功抓取任何物体，1表示此格中此视角和角度组合能够成功抓取某个物体。
4.根据权利要求3所述的基于RGBD和深度神经网络的物体抓取位姿检测方法，其特征是，所述的步骤1.1，具体包括：
i)在球面上通过斐波那契采样法获取120个视角，再利用半球约束删除其中方向向下的60个视角，从而获得共计60个视角；
ii)在180度的范围内每个30度采样一个面内旋转角度，得到共计6个面内角度；
iii)每一种视角和面内旋转角度可以得到一种组合，一共获取360中组合。
5.根据权利要求2所述的基于RGBD和深度神经网络的物体抓取位姿检测方法，其特征是，所述的步骤2，具体包括：设计损失函数并使用Adam优化器训练编码器解码器网络：采用批量大小为16，共训练60000个批次，初始学习率为10-3，每经过20000个批次的训练后，学习率衰减十倍；
所述的角度视角热度图具体为一个三阶张量，形状为360*96*72，该三阶张量的三个索引分别对应RGB图片中的宽度坐标、高度坐标和当前坐标下某一个角度视角组合对应的平行夹爪位姿能够成功抓取物体的可信度。
6.根据权利要求2所述的基于RGBD和深度神经网络的物体抓取位姿检测方法，其特征是，所述的步骤3，具体包括：
步骤3.1重建场景三维信息：根据GraspNet数据集中提供的相机内置参数和拍摄的深度图片，计算输入的RGBD图片中每一点在三维空间中的坐标，构件三维场景，具体包括：
①根据单孔相机参数和相机内参计算相机内参矩阵；
②通过相机内参变换矩阵进行矩阵运算得到输入的RGBD图片中每一点在三维空间中的位置；
步骤3.2角度视角热度图采样：对于角度视角网络预测的角度视角热度图保留每一个分格中分数最高的10个角度视角组合，然后从所有的96×72×10个候选角度视角及位置组合中，选取预测可信度最高的10000个组合，每一个可能的组合再搜索五种宽度和三种距离相机的深度，共计150000个抓取位姿作为候选；
步骤3.3碰撞检测：对于150000个候选位姿，重建平行夹爪在空间中的模型，检测是否与步骤3.1中重建的三维场景有冲突，有冲突的抓取位姿被判定为不合理的抓取位姿，被排除；
步骤3.4空抓检测：对于经过碰撞检测剩余的抓取位姿，检查其重建模型中的抓取空间内，即两个平行夹爪中的空间中是否存在步骤3.1中重建的点，当不存在时判定为不合理的抓取位姿并排除；
步骤3.5抓取非极大值抑制：对于剩余所有的抓取位姿，从步骤2.2生成的可信度从高到低的顺序依次进行非极大值抑制，即排除任一个抓取位姿附近所有距离和旋转角度均接近于阈值的抓取位姿，并最终得到抓取位姿预测值；
所述的重建模型的方法为：生成一个符合实际夹爪尺寸的空间三角网格，根据给定的候选位姿进行三维变换，得到重建的模型。
7.根据权利要求6所述的基于RGBD和深度神经网络的物体抓取位姿检测方法，其特征是，所述的接近，其范围为10cm和30度。
8.根据权利要求2所述的基于RGBD和深度神经网络的物体抓取位姿检测方法，其特征是，所述的非极大值抑制，由预测可信度最高的抓取位姿开始遍历至所有的位姿。
9.一种实现权利要求1-8中任一所述方法的基于RGBD和深度神经网络的物体抓取位姿检测系统，其特征在于，包括：角度视角网络、碰撞和空抓检测系统，其中：角度视角网络根据RGB图片，通过神经网络和特定的损失函数训练得到角度视角热度图，碰撞和空抓检测系统根据角度视角热度图、深度图以及夹爪的构型，通过三维重建和几何分析，得到若干抓取位姿。
CN202110141847.1A 2021-02-02 2021-02-02 基于rgbd和深度神经网络的物体抓取位姿检测方法 Active CN112801988B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110141847.1A CN112801988B (zh) 2021-02-02 2021-02-02 基于rgbd和深度神经网络的物体抓取位姿检测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110141847.1A CN112801988B (zh) 2021-02-02 2021-02-02 基于rgbd和深度神经网络的物体抓取位姿检测方法

Publications (2)

Publication Number Publication Date
CN112801988A CN112801988A (zh) 2021-05-14
CN112801988B true CN112801988B (zh) 2023-04-18

Family

ID=75813658

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110141847.1A Active CN112801988B (zh) 2021-02-02 2021-02-02 基于rgbd和深度神经网络的物体抓取位姿检测方法

Country Status (1)

Country Link
CN (1) CN112801988B (zh)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113420746B (zh) * 2021-08-25 2021-12-07 中国科学院自动化研究所 机器人视觉分拣方法、装置、电子设备和存储介质
CN114029941B (zh) * 2021-09-22 2023-04-07 中国科学院自动化研究所 一种机器人抓取方法、装置、电子设备及计算机介质
CN114851201B (zh) * 2022-05-18 2023-09-05 浙江工业大学 一种基于tsdf三维重建的机械臂六自由度视觉闭环抓取方法
CN115042171A (zh) * 2022-06-01 2022-09-13 上海交通大学 一种多指欠驱动夹爪抓取数据集生成方法

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111325832A (zh) * 2020-03-04 2020-06-23 北京奇艺世纪科技有限公司 建模方法、建模装置和电子设备
CN111881804A (zh) * 2020-07-22 2020-11-03 汇纳科技股份有限公司 基于联合训练的姿态估计模型训练方法、系统、介质及终端
CN111913435A (zh) * 2020-07-30 2020-11-10 浙江科技学院 一种基于堆积沙漏网络的单/多目标关键点定位方法

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
FR2854549B1 (fr) * 2003-05-06 2005-06-24 Actis Ets Tete pour l'equipement d'un bras de robot destine a realiser une operation d'ebavurage ou de cardage
CN111652928B (zh) * 2020-05-11 2023-12-15 上海交通大学 三维点云中物体抓取位姿检测方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111325832A (zh) * 2020-03-04 2020-06-23 北京奇艺世纪科技有限公司 建模方法、建模装置和电子设备
CN111881804A (zh) * 2020-07-22 2020-11-03 汇纳科技股份有限公司 基于联合训练的姿态估计模型训练方法、系统、介质及终端
CN111913435A (zh) * 2020-07-30 2020-11-10 浙江科技学院 一种基于堆积沙漏网络的单/多目标关键点定位方法

Also Published As

Publication number Publication date
CN112801988A (zh) 2021-05-14

Similar Documents

Publication Publication Date Title
CN112801988B (zh) 基于rgbd和深度神经网络的物体抓取位姿检测方法
CN105574527B (zh) 一种基于局部特征学习的快速物体检测方法
CN102831386B (zh) 物体识别方法及识别装置
CN109816730A (zh) 工件抓取方法、装置、计算机设备和存储介质
Lin et al. Using synthetic data and deep networks to recognize primitive shapes for object grasping
CN111079565B (zh) 视图二维姿态模板的构建方法及识别方法、定位抓取系统
CN109033989B (zh) 基于三维点云的目标识别方法、装置及存储介质
CN108010025B (zh) 基于rcnn的屏柜的开关与指示灯定位和状态识别方法
CN112164115B (zh) 物体位姿识别的方法、装置及计算机存储介质
CN113076804B (zh) 基于YOLOv4改进算法的目标检测方法、装置及系统
CN108734773A (zh) 一种用于混合图片的三维重建方法及系统
CN111402331B (zh) 基于视觉词袋和激光匹配的机器人重定位方法
Gao et al. Traffic sign detection based on ssd
CN110807416A (zh) 适用于移动检测装置的数字式仪表智能识别装置及方法
Han et al. SSGD: A smartphone screen glass dataset for defect detection
KR20240013085A (ko) 기계 시각을 위한 이미지 데이터 처리 방법들 및 장치
CN113505629A (zh) 一种基于轻量网络的智能仓储物件识别装置
Song et al. Vehicle door frame positioning method for binocular vision robots based on improved YOLOv4
Zhang et al. DSA-Net: An Attention-Guided Network for Real-Time Defect Detection of Transmission Line Dampers Applied to UAV Inspections
CN116152685A (zh) 一种基于无人机视野下行人检测方法及系统
Shi et al. A fast workpiece detection method based on multi-feature fused SSD
CN115205974A (zh) 手势识别方法及相关设备
Peng et al. Deep learning-based autonomous real-time digital meter reading recognition method for natural scenes
CN113505806B (zh) 一种机器人抓取检测方法
CN111862098A (zh) 基于光场语义的个体匹配方法、装置、设备和介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant