CN110298292A - 基于规则多边形物体角点检测的高精度实时抓取检测方法 - Google Patents

基于规则多边形物体角点检测的高精度实时抓取检测方法 Download PDF

Info

Publication number
CN110298292A
CN110298292A CN201910552263.6A CN201910552263A CN110298292A CN 110298292 A CN110298292 A CN 110298292A CN 201910552263 A CN201910552263 A CN 201910552263A CN 110298292 A CN110298292 A CN 110298292A
Authority
CN
China
Prior art keywords
image
angle point
data set
point
detection
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201910552263.6A
Other languages
English (en)
Inventor
李想
左寅龙
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Northeastern University China
Original Assignee
Northeastern University China
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Northeastern University China filed Critical Northeastern University China
Priority to CN201910552263.6A priority Critical patent/CN110298292A/zh
Publication of CN110298292A publication Critical patent/CN110298292A/zh
Pending legal-status Critical Current

Links

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J15/00—Gripping heads and other end effectors
    • B25J15/06—Gripping heads and other end effectors with vacuum or magnetic holding means
    • B25J15/0616—Gripping heads and other end effectors with vacuum or magnetic holding means with vacuum
    • B25J15/0683—Details of suction cup structure, e.g. grooves or ridges
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J19/00—Accessories fitted to manipulators, e.g. for monitoring, for viewing; Safety devices combined with or specially adapted for use in connection with manipulators
    • B25J19/02—Sensing devices
    • B25J19/021—Optical sensing devices
    • B25J19/023—Optical sensing devices including video camera means
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/24—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/23—Clustering techniques
    • G06F18/232—Non-hierarchical techniques
    • G06F18/2321—Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions
    • G06F18/23213—Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions with fixed number of clusters, e.g. K-means clustering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/044—Recurrent networks, e.g. Hopfield networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Health & Medical Sciences (AREA)
  • Mathematical Physics (AREA)
  • Computational Linguistics (AREA)
  • Biomedical Technology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Multimedia (AREA)
  • Biophysics (AREA)
  • Software Systems (AREA)
  • Robotics (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Mechanical Engineering (AREA)
  • Evolutionary Biology (AREA)
  • Probability & Statistics with Applications (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开一种基于规则多边形物体角点检测的高精度实时抓取检测方法，步骤为：采集多个规则物体的彩色图，对图片中物体及其角点进行标注，将图片中其他类似角点的非角点标注为负样本形成原始数据集；对原始数据集进行数据增强，并计算出增强后图像中的角点位置，建立完整可用、泛化能力强的数据集；构建深度卷积神经网络，利用已建立好的数据集对深度卷积网络进行训练；将待检测物体图像输入到深度卷积神经网络模型中，得到图像中待检测物体及其角点的位置信息；利用已知的待检测物体及其角点的位置信息，计算出抓取点的位置及姿态信息。本发明精确度和检测速度均有极大提高，且鲁棒性好，运行模型所需算力相对强化学习小很多，容易部署。

Description

基于规则多边形物体角点检测的高精度实时抓取检测方法
技术领域
本发明涉及一种目标抓取检测技术，具体为一种基于规则多边形物体角点检测的高精度实时抓取检测方法。
背景技术
近年来，随着工业4.0、中国制造2025、人工智能等一系列国家战略的提出和不断火热，机器人产业得到越来越多的重视。为了能让机器人智能化，需要为其配备一系列传感器以让其判断检测当前所处的工作环境，而为机器人加装摄像头为机器人添加视觉属性已成为很多机器人应用领域不可或缺的环节。而在机器人视觉应用中，目标的视觉抓取是一个十分重要的研究方向，在工业中的物品分拣、装配、存放等都需要让机器人通过视觉判断合理的抓取位置，在生活服务方面，也需要机器人通过稳健的抓取物体为人们提供便利。所以，物体抓取位置检测是一个十分重要的研究课题。
对于抓取检测，目前主要的方法有：1)基于传统图像处理方法，设计并提取物体特征，检测出物体轮廓和姿态；2)基于卷积神经网络的抓取检测，将物体的RGB或RGB-D信息送入深度卷积神经网络进行训练，训练后的网络通过网络各层的权重计算最终得出预测的抓取位置；3)基于深度强化学习的抓取检测，通过对机器人设置一系列奖惩机制，使得机器人在不断试错之后能合理判断物体的抓取位置和抓取方式。
上述方法中，方法1)需要人为设计和提取特征，泛化能力差；方法2)无需人为提取特征，泛化能力较好，但准确率还有待提高；方法3)通过机器人不断试错能得到一个鲁棒性好，能适应复杂环境的表现，但检测速度不够快，需要大量算力，对设备提出了较高的要求。
发明内容
针对现有技术中目标抓取检测准确率不高、鲁棒性差、检测速度不够快等不足，本发明要解决的问题是提供一种本发明的目的是提供一种基于规则多边形物体角点检测的高精度实时抓取检测方法，可极大提升对于规则多边形物体(尤其针对于矩形物体)的检测速度和抓取成功率。
为解决上述技术问题，本发明采用的技术方案是：
本发明一种基于规则多边形物体角点检测的高精度实时抓取检测方法，其特征在于包括以下步骤：
1)采集多个规则物体的彩色图，并对图片中物体及其角点进行标注，同时，将图片中其他类似角点的非角点标注为负样本，形成原始数据集；
2)对原始数据集进行数据增强，并根据相应公式计算出增强后图像中的角点位置，建立完整可用、泛化能力强的数据集；
3)构建深度卷积神经网络，并利用已建立好的数据集对深度卷积网络进行训练；
4)将待检测物体图像输入到训练好的深度卷积神经网络模型中，得到图像中待检测物体及其角点的位置信息；
5)利用已知的待检测物体及其角点的位置信息，计算出抓取点的位置及姿态信息。
步骤1)中原始数据集通过以下过程得到：
101)采集多个形状规则且具备角点的物体的彩色图像；
102)对彩色图像中待检测物体的类别及位置进行标注；
103)对彩色图像中待检测物体的角点进行标注；
104)将彩色图像中可疑的类似角点的非角点标注为负样本；
105)最终获得含有待检测物体的类别、位置、角点以及非角点信息的原始数据集。
步骤2)建立一个完整可用、泛化能力强的数据集过程如下：
201)对原始数据集中的每张图像进行平移，平移的策略为上下左右随机一个方向，且平移后的图像应包含所有原图像中待检测物体的边界框，同时，计算出平移后待检测物体及其角点的位置的信息；
202)对每张图像进行水平翻转和垂直翻转，每种翻转方式有百分之五十的机会被采用，同时利用原标注信息计算出翻转后相应的标注信息；
203)对每张图像进行旋转，旋转策略为从0度到360度，每隔10度旋转一次，每张旋转后的图像有七分之二的概率保持原状，有七分之五的概率被从平移、翻转、加噪声、调节亮度、裁剪图像增强策略中随机选择一种进行进一步增强，同时根据不同的操作计算出增强后的标注信息；
204)对每张图像进行裁剪，裁剪的前提是不会导致待检测物体的信息丢失；
205)对每张图像分别进行加高斯噪声、调节亮度操作；
206)对每张图像从平移、翻转、加噪声、调节亮度、裁剪操作中随机选择两种进行增强处理，并计算出对应的标注信息，这个过程重复五次；
207)将步骤201)～206)得到的所有图像及其对应的标注信息处理保存为标准的VOC数据格式，最终得到增强后的强鲁棒性的数据集。
步骤3)构建深度卷积神经网络，并利用已建立好的数据集对深度卷积网络进行训练具体为：
301)利用步骤2)中得到的所有图像的标注信息，采用k-means聚类算法得到适合于该数据集的anchor值；
302)将图像分别划分成不同大小的网格，分别计算待检测物体边界框的中心点在不同网格中的位置，在具体某一个网格中相对于网格原点的偏移量以及边界框的长和宽；
303)构建深度卷积神经网络，包括设计卷积层的激活函数，输出层的分类/回归函数以及loss函数；
304)设置神经网络的训练参数，包括总的训练批次和迭代次数、每一个训练批次的大小、初始学习率以及学习衰减率；
305)将训练集中的图像输入到深度卷积神经网络中，采用基于Adam优化器的优化方法对交叉熵损失函数求最优解来优化神经网络的权重参数，直到达到设定的迭代次数，完成深度卷积神经网络的训练。
步骤5)利用已知的待检测物体及其角点的位置信息，计算出抓取点的位置及姿态信息具体为：
501)根据网络检测出的物体边界框将检测出的角点进行分类，过滤掉网络误检测出的噪点；
502)判断每个物体检测到的角点数是否正确：
503)若正确，计算出边界框中离所有角点距离最接近的点，即物体的形心，也是该物体的抓取点；
504)通过计算过抓取点且与最长边垂直的向量确定抓取姿态。
步骤502)如果判断每个物体检测到的角点数是否正确的结果为不正确，则转至步骤505)说明出现角点漏检的情况(概率很小)，则根据多边形的几何特征，如边相等，内角相等等方法，对漏检点进行补全；重复步骤503)及步骤504)。
本发明具有以下有益效果及优点：
1.本发明通过检测角点来实现抓取点的检测，相对于一般的直接预测抓取位置的深度神经网络，精确度极大提高；相对于传统的图像处理方法，检测速度极大提高，且鲁棒性好，训练好的模型对于一些从未见过的类似问题也有很好的检测效果，无需再人为设计和提取特征。且运行模型所需算力相对强化学习小很多，容易部署。
2.本发明建立了一套系统完整的数据增强方法，使得只需要采集少量的数据就能实现很好的检测效果，且过程简单易学，无技术难点。
3.本发明所涉及的方法对于小物体有很好的检测效果。
4.本发明方法同样适用于一些关键点的检测，如工业点焊机器人的焊接点检测等。
附图说明
图1为本发明基于角点检测的高精度实时抓取检测方法的流程图；
图2A为本发明中漏检角点就是的效果展示图；
图2B为本发明基于角点检测的抓取检测方法的整体效果展示图；
图3为本发明的深度卷积神经网络的结构图。
具体实施方式
下面结合说明书附图对本发明作进一步阐述。
如图1所示，本发明一种基于规则多边形物体角点检测的高精度实时抓取检测方法，包括以下步骤：
1)采集多个规则物体的彩色图，并对图片中物体及其角点进行标注，同时，将图片中其他类似角点的非角点标注为负样本，形成原始数据集；
2)对原始数据集进行数据增强，包括对原始图片进行旋转、平移、翻转、裁剪、加高斯噪声以及亮度，并根据相应公式计算出增强后图像中的角点位置，建立一个完整可用、泛化能力强的数据集；
3)构建深度卷积神经网络，并利用已建立好的数据集对深度卷积网络进行训练；
4)将待检测物体图像输入到训练好的深度卷积神经网络模型中，得到图像中待检测物体及其角点的位置信息；
5)利用已知的待检测物体及其角点的位置信息，计算出抓取点的位置及姿态信息。
本发明中，规则多边形包括正多边形、矩形、等腰三角形、直角三角形以及等腰梯形等。
步骤1)中原始数据集通过以下过程得到：
101)采集多个形状规则且具备角点的物体(包括矩形)的彩色图像；
102)对彩色图像中待检测物体的类别及位置进行标注；
103)对彩色图像中待检测物体的角点进行标注；
104)将彩色图像中可疑的类似角点的非角点标注为负样本；
105)最终获得含有待检测物体的类别、位置、角点以及非角点信息的原始数据集。
步骤2)建立一个完整可用、泛化能力强的数据集过程如下：
201)对原始数据集中的每张图像进行平移，平移的策略为上下左右随机一个方向，且平移后的图像应包含所有原图像中待检测物体的边界框，同时，计算出平移后待检测物体及其角点的位置的信息；
本实施例中，计算出图像中最左侧物体的最左侧坐标距离图像左侧边，即x＝0轴的距离，即为图像向左平移的最大距离，其他方向同理。
202)对每张图像进行水平翻转和垂直翻转，每种翻转方式有百分之五十的机会被采用，同时利用原标注信息计算出翻转后相应的标注信息；
本实施例中，通过opencv库中的函数实现图像的翻转，对于标注信息的翻转，在水平翻转时，各点坐标y值不变，x值等于图像总的长度减去原x值；在垂直翻转时，各点坐标x值不变，y值等于图像总的长度减去原x值。
203)对每张图像进行旋转，旋转策略为从0度到360度，每隔10度旋转一次，每张旋转后的图像有七分之二的概率保持原状，有七分之五的概率被从平移、翻转、加噪声、调节亮度、裁剪图像增强策略中随机选择一种进行进一步增强，同时根据不同的操作计算出增强后的标注信息；
本实施例通过opencv函数计算出旋转矩阵，通过旋转矩阵实现图像以及标注信息的旋转。
204)对每张图像进行裁剪，裁剪的前提是不会导致待检测物体的信息丢失；
本实施例中，计算出包括所有物体的最小框，随机去除最小框之外的部分图像。
205)对每张图像分别进行加高斯噪声、调节亮度操作；
206)对每张图像从平移、翻转、加噪声、调节亮度、裁剪操作中随机选择两种进行增强处理，并计算出对应的标注信息，这个过程重复五次；
207)将步骤201)～206)得到的所有图像及其对应的标注信息处理保存为标准的VOC数据格式，最终得到增强后的强鲁棒性的数据集。
本实施例将所有图像的路径以及标注信息依次按行写入一个文本文档中，路径和标注信息用空格分开，同个物体的标注信息用逗号分开，不同物体的标注信息用空格分开。
步骤3)构建深度卷积神经网络，并利用已建立好的数据集对深度卷积网络进行训练具体为：
301)利用步骤2)中得到的所有图像的标注信息，采用k-means聚类算法得到适合于该数据集的anchor值；
本实施例收集所有边界框的宽高维度，将其作为坐标建立一个二位坐标系，确定合适的anchor数，根据k-means聚类算法计算出合适的anchor值。
302)将图像分别划分成不同大小的网格，分别计算待检测物体边界框的中心点在不同网格中的位置，在具体某一个网格中相对于网格原点(左上角)的偏移量以及边界框的长和宽；
本实施例将图像分别划分成13x13，26x26，52x52的网格。
303)构建深度卷积神经网络，设计卷积层的激活函数为relu，输出层的激活函数为logstic回归函数，loss函数采用二值交叉熵损失函数以及均方差损失函数；
304)设置神经网络的训练参数，包括总的训练批次和迭代次数、每一个训练批次的大小、初始学习率、学习衰减率；
本实施例设置神经网络的训练参数，包括总的训练批次为100次，前50个批次的大小为64，后50个批次的大小为16，具体需要根据设备来不同配置来做出相应调整。每个批次的迭代次数为总数据量除以每一批次的大小，前50个批次的学习率设为0.001，后50个批次的初始学习率为0.0001，动量为0.9，学习率反比与累积梯度衰减。
305)将训练集中的图像输入到深度卷积神经网络中，采用基于Adam优化器的优化方法对交叉熵损失函数求最优解来优化神经网络的权重参数，直到达到设定的迭代次数，完成深度卷积神经网络的训练。
深度卷积神经网络是基于YOLOv3的网络结构构建的，数据输入端采用的是包括彩色图的宽高通道数和张量数的4维图像数据，输出为13x13/26x26/52x52个向量，每个向量的长度为N，包括预测的每个边界框的信息x,y,w,h和置信度以及所有类别的概率，YOLOv3设定每个网格预测3个边界框，所以N＝3*(5+C)，其中C表示总的类别数量。
网络结构分为主干网络以及之后为实现特定功能的预测网络，主干网络主要由19个Res模块构成。先由一个卷积层(CONV)接上批标准化(BN)层在加上激活函数leaky_relu组成CBL模块；然后由两个CBL模块依次连接，并与该两个模块首尾相连的结果相加组成Res_unit模块；Resn模块由一个zero_pading层、一个CBL模块和n个Res_unit模块构成，而主干网络则有一个CBL模块、一个Res1模块、一个Res2模块、一个Res8模块、两个Res4模块相连构成，同时，每个Resn模块首尾连接形成特征级联，使得深层特征具有更好的表现力。在主干网络之后，在最后一个Res4模块后依次连接五个CBL模块加一个CBL模块和卷积层连接到第一个输出层y1，倒数第二个Res模块与最后一个Res4模块连接五个CBL模块的结果经过上采样拼接后，连接五个CBL模块和一个CBL模块加一个卷积层得到第二个输出层y2，Res8模块与形成y2的五个DBL层结果经过上采样拼接后，连接五个CBL模块和一个CBL模块加一个卷积层得到第三个输出层y3。神经网络结构如图3所示。
将y1、y2、y3输入到loss层做平均交并比计算、非极大值抑制以及二值交叉熵计算，再用Adam优化器对损失值进行优化处理。
二值交叉熵损失函数如下式表示：
其中和yi分别表示预测值和真实值。
步骤4：将待检测物体图像输入到训练好的深度卷积神经网络模型中，得到图像中待检测物体及其角点的位置信息。
具体实施时，只需采集一张待检测物体的图像，输入训练好的网络模型中，程序会自动调整图片的大小以适应网络的输入，并通过层层权重的计算得到物体的边界框、类别和角点信息。也可以通过摄像头采集视频流，将每一帧图片传入网络中实现实时检测。
步骤5)利用已知的待检测物体及其角点的位置信息，计算出抓取点的位置及姿态信息具体为：
501)根据网络检测出的物体边界框将检测出的角点进行分类，过滤掉网络误检测出的噪点；
找到每个物体的边界框，遍历所有检测到的角点，若角点在某个边界框内，则该边界框内物体的角点数加1；
502)判断每个物体检测到的角点数是否正确：
单个物体检测到的角点小于等于实际角点数，主要判断检测到的角点是否小于实际角点，即角点是否漏检；
503)若正确，计算出边界框中离所有角点距离最接近的点，即物体的形心，也是该物体的抓取点；
504)通过计算过抓取点且与最长边垂直的向量确定抓取姿态：
本实施例根据抓手的种类、材质等特征做出最合适最正确的计算方法，如对于平口钳，奇数边的多边形如三角形、五边形等都不太好抓，而对于吸盘式的抓手，只要检测出抓取点，一般都能抓取成功。本发明的试验对象为矩形物体，抓手为平口钳，故计算过抓取点且与最长边垂直的向量为机械臂提供抓手的方向和张开尺寸是一种行之有效的方法，具体效果如图2B所示。
505)若出现角点漏检的情况(概率很小)，则根据多边形的集合特征，如边相等，内角相等等方法，对漏检点进行补全；重复步骤503)及步骤504)。
如边相等，内角相等等方法，对漏检点进行补全，补全之后重复步骤503)及步骤504)。如矩形的角点数应为4，若角点数为3，则根据平行四边形中心点平分对角线的数学法则，找出任意两个点的中点，并将第三个点与其相连并延长相同长度即可算出三个候选点，根据该点需在边界框之中这一条件即可确定真实漏检点的位置，图2A中最左侧的点即为通过另外3个点按照该算法重新计算得到的第四个点。若角点数为2或1(几乎不会出现)，则放弃计算抓取点及其位姿。
本发明通过对形状规则且具有角点一类的物体进行角点检测，优化网络结构，提高这一类物体抓取位置检测的准确度和实时性，提升了具体场景下物体抓取检测系统的性能。

Claims (6)

1.一种基于规则多边形物体角点检测的高精度实时抓取检测方法，其特征在于包括以下步骤：
1)采集多个规则物体的彩色图，并对图片中物体及其角点进行标注，同时，将图片中其他类似角点的非角点标注为负样本，形成原始数据集；
2)对原始数据集进行数据增强，并根据相应公式计算出增强后图像中的角点位置，建立完整可用、泛化能力强的数据集；
3)构建深度卷积神经网络，并利用已建立好的数据集对深度卷积网络进行训练；
4)将待检测物体图像输入到训练好的深度卷积神经网络模型中，得到图像中待检测物体及其角点的位置信息；
5)利用已知的待检测物体及其角点的位置信息，计算出抓取点的位置及姿态信息。
2.根据权利要求1所述的基于规则多边形物体角点检测的高精度实时抓取检测方法，其特征在于步骤1)中原始数据集通过以下过程得到：
101)采集多个形状规则且具备角点的物体的彩色图像；
102)对彩色图像中待检测物体的类别及位置进行标注；
103)对彩色图像中待检测物体的角点进行标注；
104)将彩色图像中可疑的类似角点的非角点标注为负样本；
105)最终获得含有待检测物体的类别、位置、角点以及非角点信息的原始数据集。
3.根据权利要求1所述的基于规则多边形物体角点检测的高精度实时抓取检测方法，其特征在于步骤2)建立一个完整可用、泛化能力强的数据集过程如下：
201)对原始数据集中的每张图像进行平移，平移的策略为上下左右随机一个方向，且平移后的图像应包含所有原图像中待检测物体的边界框，同时，计算出平移后待检测物体及其角点的位置的信息；
202)对每张图像进行水平翻转和垂直翻转，每种翻转方式有百分之五十的机会被采用，同时利用原标注信息计算出翻转后相应的标注信息；
203)对每张图像进行旋转，旋转策略为从0度到360度，每隔10度旋转一次，每张旋转后的图像有七分之二的概率保持原状，有七分之五的概率被从平移、翻转、加噪声、调节亮度、裁剪图像增强策略中随机选择一种进行进一步增强，同时根据不同的操作计算出增强后的标注信息；
204)对每张图像进行裁剪，裁剪的前提是不会导致待检测物体的信息丢失；
205)对每张图像分别进行加高斯噪声、调节亮度操作；
206)对每张图像从平移、翻转、加噪声、调节亮度、裁剪操作中随机选择两种进行增强处理，并计算出对应的标注信息，这个过程重复五次；
207)将步骤201)～206)得到的所有图像及其对应的标注信息处理保存为标准的VOC数据格式，最终得到增强后的强鲁棒性的数据集。
4.根据权利要求1所述的基于规则多边形物体角点检测的高精度实时抓取检测方法，其特征在于步骤3)构建深度卷积神经网络，并利用已建立好的数据集对深度卷积网络进行训练具体为：
301)利用步骤2)中得到的所有图像的标注信息，采用k-means聚类算法得到适合于该数据集的anchor值；
302)将图像分别划分成不同大小的网格，分别计算待检测物体边界框的中心点在不同网格中的位置，在具体某一个网格中相对于网格原点的偏移量以及边界框的长和宽；
303)构建深度卷积神经网络，包括设计卷积层的激活函数，输出层的分类/回归函数以及loss函数；
304)设置神经网络的训练参数，包括总的训练批次和迭代次数、每一个训练批次的大小、初始学习率以及学习衰减率；
305)将训练集中的图像输入到深度卷积神经网络中，采用基于Adam优化器的优化方法对交叉熵损失函数求最优解来优化神经网络的权重参数，直到达到设定的迭代次数，完成深度卷积神经网络的训练。
5.根据权利要求1所述的基于规则多边形物体角点检测的高精度实时抓取检测方法，其特征在于步骤5)利用已知的待检测物体及其角点的位置信息，计算出抓取点的位置及姿态信息具体为：
501)根据网络检测出的物体边界框将检测出的角点进行分类，过滤掉网络误检测出的噪点；
502)判断每个物体检测到的角点数是否正确：
503)若正确，计算出边界框中离所有角点距离最接近的点，即物体的形心，也是该物体的抓取点；
504)通过计算过抓取点且与最长边垂直的向量确定抓取姿态。
6.根据权利要求5所述的基于规则多边形物体角点检测的高精度实时抓取检测方法，其特征在于步骤502)如果判断每个物体检测到的角点数是否正确的结果为不正确，则转至步骤505)说明出现角点漏检的情况，则根据多边形的几何特征，如边相等，内角相等等方法，对漏检点进行补全；重复步骤503)及步骤504)。
CN201910552263.6A 2019-06-25 2019-06-25 基于规则多边形物体角点检测的高精度实时抓取检测方法 Pending CN110298292A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910552263.6A CN110298292A (zh) 2019-06-25 2019-06-25 基于规则多边形物体角点检测的高精度实时抓取检测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910552263.6A CN110298292A (zh) 2019-06-25 2019-06-25 基于规则多边形物体角点检测的高精度实时抓取检测方法

Publications (1)

Publication Number Publication Date
CN110298292A true CN110298292A (zh) 2019-10-01

Family

ID=68028712

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910552263.6A Pending CN110298292A (zh) 2019-06-25 2019-06-25 基于规则多边形物体角点检测的高精度实时抓取检测方法

Country Status (1)

Country Link
CN (1) CN110298292A (zh)

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111141211A (zh) * 2019-12-24 2020-05-12 深圳信息职业技术学院 基于深度学习的电容定位检测方法、服务器及检测系统
CN111415384A (zh) * 2020-02-19 2020-07-14 重庆大学 一种基于深度学习的工业图像组件精准定位系统
CN111768369A (zh) * 2020-06-01 2020-10-13 湖南视比特机器人有限公司 钢板角点与边点定位方法和工件抓取方法及生产线
CN111932617A (zh) * 2020-07-15 2020-11-13 中国科学院上海微系统与信息技术研究所 一种对规则物体实现实时检测定位方法和系统
CN112241693A (zh) * 2020-09-25 2021-01-19 上海荷福人工智能科技（集团）有限公司 基于YOLOv3实现的违规焊接动火图像识别方法
CN112883813A (zh) * 2021-01-26 2021-06-01 南京公路发展(集团)有限公司 一种基于监控视频的高速公路路面抛洒物检测方法
CN113065511A (zh) * 2021-04-21 2021-07-02 河南大学 基于深度学习的遥感图像飞机检测模型及方法
CN113192095A (zh) * 2021-05-20 2021-07-30 郑州轻工业大学 一种基于平行四边形对角线的角点检测方法

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103793712A (zh) * 2014-02-19 2014-05-14 华中科技大学 一种基于边缘几何特征的图像识别方法及系统
JP2017106360A (ja) * 2015-12-09 2017-06-15 三菱自動車工業株式会社 エンジンの制御装置
CN108171748A (zh) * 2018-01-23 2018-06-15 哈工大机器人（合肥）国际创新研究院 一种面向机器人智能抓取应用的视觉识别与定位方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103793712A (zh) * 2014-02-19 2014-05-14 华中科技大学 一种基于边缘几何特征的图像识别方法及系统
JP2017106360A (ja) * 2015-12-09 2017-06-15 三菱自動車工業株式会社 エンジンの制御装置
CN108171748A (zh) * 2018-01-23 2018-06-15 哈工大机器人（合肥）国际创新研究院 一种面向机器人智能抓取应用的视觉识别与定位方法

Cited By (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111141211A (zh) * 2019-12-24 2020-05-12 深圳信息职业技术学院 基于深度学习的电容定位检测方法、服务器及检测系统
CN111141211B (zh) * 2019-12-24 2021-09-10 深圳信息职业技术学院 基于深度学习的电容定位检测方法、服务器及检测系统
CN111415384B (zh) * 2020-02-19 2022-11-25 重庆大学 一种基于深度学习的工业图像组件精准定位系统
CN111415384A (zh) * 2020-02-19 2020-07-14 重庆大学 一种基于深度学习的工业图像组件精准定位系统
CN111768369A (zh) * 2020-06-01 2020-10-13 湖南视比特机器人有限公司 钢板角点与边点定位方法和工件抓取方法及生产线
CN111768369B (zh) * 2020-06-01 2023-08-25 湖南视比特机器人有限公司 钢板角点与边点定位方法和工件抓取方法及生产线
CN111932617A (zh) * 2020-07-15 2020-11-13 中国科学院上海微系统与信息技术研究所 一种对规则物体实现实时检测定位方法和系统
CN111932617B (zh) * 2020-07-15 2023-12-22 中国科学院上海微系统与信息技术研究所 一种对规则物体实现实时检测定位方法和系统
CN112241693A (zh) * 2020-09-25 2021-01-19 上海荷福人工智能科技（集团）有限公司 基于YOLOv3实现的违规焊接动火图像识别方法
CN112883813A (zh) * 2021-01-26 2021-06-01 南京公路发展(集团)有限公司 一种基于监控视频的高速公路路面抛洒物检测方法
CN113065511A (zh) * 2021-04-21 2021-07-02 河南大学 基于深度学习的遥感图像飞机检测模型及方法
CN113065511B (zh) * 2021-04-21 2024-02-02 河南大学 基于深度学习的遥感图像飞机检测模型及方法
CN113192095B (zh) * 2021-05-20 2022-09-23 郑州轻工业大学 一种基于平行四边形对角线的角点检测方法
CN113192095A (zh) * 2021-05-20 2021-07-30 郑州轻工业大学 一种基于平行四边形对角线的角点检测方法

Similar Documents

Publication Publication Date Title
CN110298292A (zh) 基于规则多边形物体角点检测的高精度实时抓取检测方法
CN108280856A (zh) 基于混合信息输入网络模型的未知物体抓取位姿估计方法
CN108038853B (zh) 一种基于卷积神经网络和主动学习的瓷砖表面缺陷识别方法
CN106327532B (zh) 一种单幅图像的三维配准方法
CN110232675B (zh) 一种工业环境下的纹理表面缺陷检测与分割装置及方法
CN111192237B (zh) 一种基于深度学习的涂胶检测系统和方法
CN108648161B (zh) 非对称核卷积神经网络的双目视觉障碍物检测系统及方法
CN105678332B (zh) 火焰图像cnn识别建模的转炉炼钢终点判断方法及系统
CN109559320A (zh) 基于空洞卷积深度神经网络实现视觉slam语义建图功能的方法及系统
CN108196453B (zh) 一种机械臂运动规划群体智能计算方法
CN107944396A (zh) 一种基于改进深度学习的刀闸状态识别方法
CN110348376A (zh) 一种基于神经网络的行人实时检测方法
CN109784204A (zh) 一种用于并联机器人的堆叠串类水果主果梗识别和提取方法
CN107038422A (zh) 基于空间几何约束深度学习的疲劳状态识别方法
CN110378325A (zh) 一种机器人抓取过程中的目标位姿识别方法
CN110509273A (zh) 基于视觉深度学习特征的机器人机械手检测及抓取方法
CN106934386A (zh) 一种基于自启发式策略的自然场景文字检测方法及系统
CN105138975B (zh) 一种基于深度信念网络的人体肤色区域分割方法
CN109159113A (zh) 一种基于视觉推理的机器人作业方法
CN110532928A (zh) 基于面部区域规范化和可变形沙漏网络的面部关键点检测方法
CN102880870B (zh) 人脸特征的提取方法及系统
CN109086803A (zh) 一种基于深度学习与个性化因子的雾霾能见度检测系统及方法
CN111539422A (zh) 基于Faster RCNN的飞行目标协同识别方法
CN113096085A (zh) 基于两阶段卷积神经网络的集装箱表面损伤检测方法
CN114529802A (zh) 一种基于机器视觉的鹅种蛋识别定位方法及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
AD01 Patent right deemed abandoned
AD01 Patent right deemed abandoned

Effective date of abandoning: 20231017