CN111539429A - 一种基于图像几何特征的周转箱自动定位方法 - Google Patents

一种基于图像几何特征的周转箱自动定位方法 Download PDF

Info

Publication number
CN111539429A
CN111539429A CN202010564389.8A CN202010564389A CN111539429A CN 111539429 A CN111539429 A CN 111539429A CN 202010564389 A CN202010564389 A CN 202010564389A CN 111539429 A CN111539429 A CN 111539429A
Authority
CN
China
Prior art keywords
image
edge
straight lines
edges
roi
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010564389.8A
Other languages
English (en)
Other versions
CN111539429B (zh
Inventor
王乐
金喆
侯冠楠
张立
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tianjin Shige Robot Technology Co ltd
Original Assignee
Tianjin Shige Robot Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tianjin Shige Robot Technology Co ltd filed Critical Tianjin Shige Robot Technology Co ltd
Priority to CN202010564389.8A priority Critical patent/CN111539429B/zh
Publication of CN111539429A publication Critical patent/CN111539429A/zh
Application granted granted Critical
Publication of CN111539429B publication Critical patent/CN111539429B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/30—Noise filtering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/48—Extraction of image or video features by mapping characteristic values of the pattern into a parameter space, e.g. Hough transformation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/56—Extraction of image or video features relating to colour

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Multimedia (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Health & Medical Sciences (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Evolutionary Biology (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Image Analysis (AREA)

Abstract

本发明提供一种基于图像几何特征的周转箱自动定位方法，包括S1：根据原始图像得到垂直边缘和水平边缘，获得感兴趣区域（Roi图像）；S2：进行二值化处理；S3：噪声点去除；S4：对所述二值图采用Hough变换策略进行直线检测得到若干条近似直线，然后采用直线融合方法将若干条近似直线融合为一条融合直线；S5：获取待选边缘，若待选边缘的数量为零，则返回步骤S2，减小偏移量C，继续迭代直到获得至少一条待选边缘；S6：确定局部图像的颜色滤除假边缘；S7：整合边缘，计算中心点及旋转角用以实现定位。本发明能够在可见光图像中对周转箱进行定位，耗时短，无需人工参与。

Description

一种基于图像几何特征的周转箱自动定位方法
技术领域
本发明涉及图像分析技术领域，具体涉及一种基于图像几何特征的周转箱自动定位方法。
背景技术
对图像中感兴趣的目标进行定位是图像处理、机器视觉等领域的关键技术，其目的是找到图像中感兴趣的目标，并将其在图像中的位置信息提取出来，再通过相机外参标定将其位置转换至世界坐标系，为机器人抓取等后续操作奠定基础。物料的短距离运输是仓库、流水线等场景必不可少的环节。周转箱是经过标准化设计的物料容器，广泛应用于物料的流转及仓储。目前其搬运任务主要是由人工完成，存在的问题有：(1) 人力成本高；(2)效率低下；(3) 错误率不可控，错误源不可追溯。为解决传统搬运方式的弊端，由机器视觉引导机械臂抓取，配合AGV小车运输是一种可行的解决方案。近年来新兴的智慧工厂、智能仓库等场景更是限制人员参与生产过程。而对周转箱的自动定位技术是这些方案顺利实施的重要前提。
现有的图像定位方法大体上分为4类：(1) 基于分割的方法，将原始图像分为多个区域，并标记感兴趣的区域；(2) 基于边缘检测的方法，找到感兴趣目标的轮廓，实现定位；(3) 基于特征的方法，分析感兴趣目标的纹理、颜色等特征，并以此为判据将目标位置提取出来；(4) 基于深度学习的方法，通过神经网络模型代替人工完成特征提取，实现定位。
基于分割的方法对于目标与背景灰度差异较小的图像定位效果较差，且难以做到将目标与背景完全分离，因而定位精度较低，难以引导机械臂抓取。基于边缘的方法对噪声敏感，对于某些灰度与背景差异不明显的周转箱图像准确性较低，识别率难以达到工业级要求。基于特征的方法最大的问题是提取、分析特征的过程耗时较长，且对于某些与目标特征相近的伪目标难以区分。基于深度学习的方法需要大量的标注样本用于训练模型，并且最终定位精度受标注精度的影响，可能出现定位结果不稳定，不适合精确抓取。
周转箱定位问题存在以下难点：(1) 周转箱图像背景复杂，内部物料种类繁多,可能对目标识别造成干扰；(2)周转箱间距较小，邻箱之间可能互相干扰。(3) 对于灰色周转箱，依据颜色特征定位会导致误差较大。(4) 周转箱使用过程中可能发生形变，每个周转箱的形状都不会完全一样。
现有方法难以实现周转箱的精确定位。周转箱的一般形状为规则的矩形，箱体上沿为光滑平面。在俯视图中，会形成较明显的几何特征。如果能对其加以利用，可以提高定位精度，减少耗时，提高自动化性能。
发明内容
有鉴于此，本发明要解决的问题是提供一种基于图像几何特征的周转箱自动定位方法。
为解决上述技术问题，本发明采用的技术方案是：一种基于图像几何特征的周转箱自动定位方法，包括如下步骤：
S1：根据从相机获取的原始图像得到垂直边缘和水平边缘，截取垂直边缘和水平边缘所在区域作为感兴趣区域（Roi图像）；
S2：将每张Roi图像依次提取RGB通道分量，再对Roi图像进行灰度化处理得到灰度图像，共得到4张单通道图像，对每张单通道图像求取梯度图像，然后采用局部阈值法将每张梯度图像进行二值化处理，局部阈值为邻域高斯均值，偏移量为C，通过位或运算，每一Roi图像最终得到一张二值图；
S3：采用形态学滤波法对上述二值图进行噪声点去除过程；
S4：对所述二值图采用Hough变换策略进行直线检测得到若干条近似直线，然后采用直线融合方法将若干条近似直线融合为一条融合直线；
S5：对上述融合直线进行几何特征描述，寻找符合该特征的区域，标记为待选边缘，遍历融合直线获取全部待选边缘，若待选边缘的数量为零，则返回步骤S2，减小偏移量C，继续迭代直到获得至少一条待选边缘；
S6：在待选边缘区域截取局部图像进行统计特征分析，遍历所有待选边缘获得局部图像，利用卷积神经网络策略确定局部图像的颜色，对局部图像进行熵值及灰度值分析，滤除假边缘；
S7：整合边缘，将检测结果映射到原始图像中，计算中心点及旋转角用以实现定位。
在本发明中，优选地，所述步骤S2中的单通道图像的梯度图像的求取过程具体是求取垂直边缘的感兴趣区域的X方向梯度,求取水平边缘的感兴趣区域的Y方向梯度，用以突出周转箱边缘。
步骤S5中如果减小偏移量C的过程中若达到最大迭代次数，则返回无目标结果，同时向机械臂发送终止命令使其停止周转箱的抓取操作。
在本发明中，优选地，所述步骤S4中的直线融合方法具体包括以下步骤：
设有n条直线{l 1, l 2, …, l i, …, l j, …, l n }，对于任意两条直线l i与l j，若满足公式（1）：
Figure 523724DEST_PATH_IMAGE001
则判定l i与l j近似，其中l ik和l jk表示直线l i和l j的斜率，l ib和l jb表示直线l i和l j的截距，T k 表示箱体形变系数，T b 表示融合截距阈值；对于直线l i，遍历所有直线后将所有与其近似的直线以及其本身加入集合C i，遍历所有直线，得到m个集合{C 1, C 2, …, C m}；将集合C i内所有直线斜率的均值作为融合后的斜率k i，所有直线截距的均值作为融合后的截距b i；遍历所有集合后得到m条融合后的直线。
在本发明中，优选地，所述步骤S5中的获取全部待选边缘判定的具体过程如下：
对于任意两条直线l p与l q，若满足公式（2）：
Figure 503181DEST_PATH_IMAGE002
则判定直线l p与l q之间的区域为待选区域，并记录l p与l q两条直线的位置；否则删除此直线，其中，l pk和l qk表示直线l p和l q的斜率，l pb和l qb表示直线l p和l q的截距，T k 表示箱体形变系数，W表示箱体边缘在图像中的宽度，T W 表示误差阈值。
在本发明中，优选地，步骤S6中的局部图像确定的具体过程是：选取平行线l u与l v并确定边缘区域E，将与l u、l v平行且到l u、l v的距离相等的直线作为边缘区域E的中心线；沿该中心线以步长S移动，然后选取中心线上的点为锚点；以锚点为中心截取获得正矩形，该正矩形即为待分析的局部图像。
在本发明中，优选地，步骤S6中滤除假边缘具体包括以下步骤：步骤S61：建立神经网络训练模型进行颜色分类；步骤S62：将局部图像灰度化，计算其信息熵H和灰度均值G；步骤S63：建立先验知识，不同颜色分别对应一信息熵取值范围和一灰度均值取值范围，判断局部图像的信息熵H和灰度均值G是否同时属于信息熵取值范围和灰度均值取值范围，如果是则标记该局部图像为真，否则标记该局部图像为假；步骤S64：对于某一待选边缘选取的局部图像为k张，求取该待选边缘的置信度，若置信度大于0.75则判定该边缘属于真边缘；否则滤除当前待选边缘。
在本发明中，优选地，步骤S3中形态学滤波法采用的是双层级联滤波法，具体包括如下步骤：先对二值图像进行形态学膨胀运算，填补目标内部空洞平滑边界；再进行形态学腐蚀运算，在纤细处分离目标，去除部分面积的噪声。
在本发明中，优选地，采用所述步骤S3进行噪声点去除过程后，计算大于噪声点的残留区域的连通域面积，采用设定阈值法去掉区域面积小于设定阈值的区域。
在本发明中，优选地，步骤S7中的实现定位的具体步骤为：设边缘中心点为(x,y)，将其一垂直边缘的Roi内部的边缘x值与另一垂直边缘的Roi内部的边缘x值作差，获得x差值并保留x差值绝对值的MIN值，将其一水平边缘的Roi内部的边缘y值与另一水平边缘的Roi内部的边缘y值作差，获得y差值并保留y差值绝对值的MIN值；将各感兴趣区域的检测结果映射至步骤S1中的原始图像，获取包含垂直边缘和水平边缘的外接矩形，计算外接矩形的中心点。
本发明具有的优点和积极效果是：本发明充分利用了周转箱在图像中的几何特征，解决了复杂背景下周转箱定位困难的问题，并能识别各种颜色的周转箱；该发明切实可行，并取得了精确的定位效果，且所需时间短，无需人工参与，可以为机器人抓取奠定良好基础；该方法可灵活用于现有产线的改造，所需的硬件改动极少，不需设计复杂的工业视觉系统，对相关问题的方案设计有一定的借鉴意义。
附图说明
附图用来提供对本发明的进一步理解，并且构成说明书的一部分，与本发明的实施例一起用于解释本发明，并不构成对本发明的限制。在附图中：
图1是本发明的一种基于图像几何特征的周转箱自动定位方法的流程框图；
图2是实施例一的从相机获取的原始图像；
图3是实施例一的实现定位后的结果图；
图4是实施例二的从相机获取的原始图像；
图5(a)是实施例二的步骤S2中偏移量C=1时的梯度二值图；
图5(b)是实施例二的步骤S2中偏移量C=2时的梯度二值图；
图5(c)是实施例二的步骤S2中偏移量C=3时的梯度二值图；
图5(d)是实施例二的步骤S2中偏移量C=4时的梯度二值图；
图5(e)是实施例二的步骤S2中偏移量C=5时的梯度二值图；
图6是实施例二的经过步骤S3处理后的结果图；
图7(a)是实施例二的步骤S4采用传统Hough变换策略的结果图；
图7(b)是实施例二的步骤S4采用直线融合方法的结果图；
图7(c)是实施例二的步骤S5采用几何特征描述获取的待选边缘；
图8(a)是实施例二的步骤S6局部图像选取示意图；
图8(b)是实施例二的步骤S6局部图像统计特征分析的结果图；
图9是实施例二的步骤S61中颜色分类的神经网络训练模型图；
图10是实施例二的步骤S7中实现定位后的结果图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
需要说明的是，当组件被称为“固定于”另一个组件，它可以直接在另一个组件上或者也可以存在居中的组件。当一个组件被认为是“连接”另一个组件，它可以是直接连接到另一个组件或者可能同时存在居中组件。当一个组件被认为是“设置于”另一个组件，它可以是直接设置在另一个组件上或者可能同时存在居中组件。本文所使用的术语“垂直的”、 “ 水平的”、“ 左”、“ 右”以及类似的表述只是为了说明的目的。
除非另有定义，本文所使用的所有的技术和科学术语与属于本发明的技术领域的技术人员通常理解的含义相同。本文中在本发明的说明书中所使用的术语只是为了描述具体的实施例的目的，不是旨在于限制本发明。本文所使用的术语“及／或”包括一个或多个相关的所列项目的任意的和所有的组合。
实施例一：
如图1、图2和图3所示，本发明提供一种基于图像几何特征的周转箱自动定位方法，包括如下步骤：
S1：根据从相机获取的原始图像得到垂直边缘和水平边缘，截取垂直边缘和水平边缘所在区域作为感兴趣区域（Roi图像），具体地将周转箱上、下、左、右4条边对应的Roi图像分别记为Roi_u, Roi_d, Roi_l, Roi_r。
S2：将每张Roi图像依次提取RGB通道分量，再对Roi图像进行灰度化处理得到灰度图像，共得到4张单通道图像，对每张单通道图像求取梯度图像，然后采用局部阈值法将每张梯度图像进行二值化处理，局部阈值为邻域高斯均值，偏移量为C，偏移量即在邻域高斯均值的基础上进行简单的加运算，将局部图像进行分割，高于阈值的像素点置为255，低于阈值的像素点置为0，得到与每一感兴趣区域（Roi图像）相对应的四张二值图，由于周转箱上、下、左、右4条边对应的Roi图像分别记为Roi_u, Roi_d, Roi_l, Roi_r，此时得到上下左右对应共计16张二值图，对这16张二值图中4张Roi_u图像、4张Roi_d图像、4张Roi_l图像、4张Roi_r图像分别进行位或运算，每一Roi图像最终得到一张二值图，共计得到4张二值图；
S3：采用形态学滤波法对上述二值图进行噪声点去除过程；
S4：对所述二值图采用Hough变换策略进行直线检测得到若干条近似直线，然后采用直线融合方法将若干条近似直线融合为一条融合直线；
S5：对上述融合直线进行几何特征描述，寻找符合该特征的区域，周转箱边缘的几何特征概括包括：a) 边缘处有两条平行的直线；b) 边缘宽度是固定值标记为待选边缘，遍历融合直线获取全部待选边缘，若待选边缘的数量为零，则返回步骤S2，减小偏移量C，继续迭代直到获得至少一条待选边缘，随着C的取值减小，二值图像中的有效信息增加，增强了对边缘的检测强度；偏移量C是通过调整局部阈值来控制分割结果中有效像素的数目。偏移量C越大，则阈值越高，有效像素数目越少，噪声也越少；反之则有效像素数目越多，噪声也会越多。C的调整可以理解为检测强度的调整，例如C=5时，可以检测到梯度值>50的边缘, C=4时可以检测到梯度值>45的边缘，相当于获取到的信息增加了。
S6：在待选边缘区域截取局部图像进行统计特征分析，遍历所有待选边缘获得局部图像，利用卷积神经网络策略确定局部图像的颜色，对局部图像进行熵值及灰度值分析，滤除假边缘；
S7：整合边缘，将检测结果映射到原始图像中，计算中心点用以实现定位。
在本实施例中，进一步地，所述步骤S2中的单通道图像的梯度图像的求取过程具体是求取垂直边缘的感兴趣区域的X方向梯度,求取水平边缘的感兴趣区域的Y方向梯度，用以突出原始图像边缘。对于实际周转箱的Roi_u, Roi_d来说求取其Y方向梯度，对于Roi_ l, Roi_r来说求取其X方向梯度，以突出周转箱边缘。
步骤S5在减小偏移量C的过程中若达到最大迭代次数，则返回无目标结果，向机械臂发送终止命令使其停止周转箱抓取操作。
在本实施例中，进一步地，步骤S4中的直线融合方法具体包括以下步骤：
设有n条直线{l 1, l 2, …, l i, …, l j, …, l n }，对于任意两条直线l i与l j，若满足公式（1）：
Figure 345235DEST_PATH_IMAGE001
则判定l i与l j近似，其中l ik和l jk表示直线l i和l j的斜率，l ib和l jb表示直线l i和l j的截距，T k 表示箱体形变系数，T b 表示融合截距阈值；对于直线l i，遍历所有直线后将所有与其近似的直线以及其本身加入集合C i，遍历所有直线，得到m个集合{C 1, C 2, …, C m}；将集合C i内所有直线斜率的均值作为融合后的斜率k i，所有直线截距的均值作为融合后的截距b i；遍历所有集合后得到m条融合后的直线。
在本实施例中，进一步地，步骤S5中的获取全部待选边缘判定的具体过程如下：
对于任意两条直线l p与l q，若满足公式（2）：
Figure 740444DEST_PATH_IMAGE002
则判定直线l p与l q之间的区域为待选区域，并记录l p与l q两条直线的位置；否则删除此直线，其中，l pk和l qk表示直线l p和l q的斜率，l pb和l qb表示直线l p和l q的截距，T k 表示箱体形变系数，W表示箱体边缘在图像中的宽度，T W 表示误差阈值。
在本实施例中，进一步地，步骤S6中的局部图像确定的具体过程是：选取平行线l u与l v并确定边缘区域E，将与l u、l v平行且到l u、l v的距离相等的直线作为边缘区域E的中心线；沿该中心线以步长S移动，然后选取中心线上的点为锚点；以锚点为中心截取获得正矩形，该正矩形即为待分析的局部图像。
在本实施例中，进一步地，卷积神经网络策略具体包括以下步骤：首先，建立神经网络训练模型进行颜色分类，由于不同颜色在图像中的特征不同，因此应首先确定局部图像的颜色。本方法采用卷积神经网络算法CNN对局部图像进行颜色分类。此处分类任务并不复杂，而抓取项目对算法实时性要求较高，因而神经网络模型的设计除了保证准确率、召回率等指标，还应以结构简单、运算快为原则。本方法基于LeNet-5模型，修改了原始模型的层数、卷积核形状以及全连接层的节点个数，设计神经网络模型的正向推理过程如附图9所示。其中基础网络层包含卷积层(Conv2D)、最大池化层(MaxPool2D)和全连接层。采用标注过的局部图像作为训练数据，将训练好的网络模型参数持久化，在定位算法过程中仅做正向推理。实验证明本方法进行颜色分类可靠性高，实时性好。
步骤S62：判断颜色后将局部图像灰度化，计算其信息熵H和灰度均值G；
信息熵H的计算公式为：
Figure 617134DEST_PATH_IMAGE003
其中，s为局部图像尺寸，N i 是灰度值为i的像素个数。
设灰度局部图像为L=g(x, y)，则灰度均值G的计算公式为：
Figure 501913DEST_PATH_IMAGE004
其中s为局部图像尺寸。
建立先验知识，同一材质、颜色的周转箱其H、G取值范围固定，而不同材质、颜色的 周转箱H、G值会有较大差异。为此不同颜色分别对应一信息熵取值范围和一灰度均值取值 范围，将颜色为c的图像H取值范围记为R Hc 、G取值范围记为R Gc ，判断局部图像的信息熵H和 灰度均值G是否同时属于信息熵取值范围和灰度均值取值范围，根据颜色分类结果，对于颜 色为c的局部图像，若其H、G值满足H∈R Hc ，G∈R Gc ，则标记该局部图像为真，否则标记该局部 图像为假；对于某一待选边缘选取的局部图像为k张，k张图像中为真的图像数目记为
Figure 831263DEST_PATH_IMAGE005
，利用公式(5)求取该待选边缘的置信度Confidence：
Figure 92480DEST_PATH_IMAGE006
若置信度Confidence大于0.75则判定该边缘属于真边缘；否则滤除当前待选边缘。
在本实施例中，进一步地，步骤S3中形态学滤波法采用的是双层级联滤波法，具体包括如下步骤：先对二值图像进行形态学膨胀运算，填补目标内部空洞平滑边界；再进行形态学腐蚀运算，在纤细处分离目标，去除部分面积的噪声。经过两次形态学运算后，噪声点被去除，目标线条变得平滑，断点减少，而目标总体面积和位置变化很小。
在本实施例中，进一步地，采用步骤S3进行噪声点去除过程后，计算大于噪声点的残留区域的连通域面积，采用设定阈值法去掉区域面积小于设定阈值的区域，可有效排除杂质目标的干扰，提高定位精度并简化运算。
在本实施例中，进一步地，步骤S7中的实现定位的具体步骤为：设边缘中心点为(x, y)，将其一垂直边缘的Roi内部的边缘x值与另一垂直边缘的Roi内部的边缘x值作差，获得x差值并保留x差值绝对值的MIN值，将其一水平边缘的Roi内部的边缘y值与另一水平边缘的Roi内部的边缘y值作差，获得y差值并保留y差值绝对值的MIN值；将各感兴趣区域的检测结果映射至步骤S1中的原始图像，获取包含垂直边缘和水平边缘的外接矩形，计算外接矩形的中心点。每张Roi图像应只保留一条边缘。由于外部可能有其它周转箱存在，而周转箱内部不可能有其它周转箱，因而保留Roi中更靠近内部的边缘，具体实现方法为：数字图像的左上角为原点，x轴正方向为向右，y轴正方向为向下，设边缘中心点为(x, y)，对于Roi_u保留y值最大的边缘；Roi_d保留y值最小的边缘；Roi_l保留x值最大的边缘；Roi_r保留x值最小的边缘。将各Roi图像的检测结果映射至原始图像，求包含所有垂直边缘和水平边缘的最小外接矩形，计算中心点，并计算垂直边缘和水平边缘的角度均值作为周转箱箱体的旋转角，实现定位。
实施例二：
如图4至图10所示，由于在实际生产过程中，采集到的周转箱图像可能存在目标不完整的情况，也就是说，如果只拍到3条边，则生成3张Roi图像，对生成的3张Roi图像先进行图像处理的步骤与拍摄到4条边的情况类似，不同之处在于进行中心点及旋转角计算的过程中，箱体的长宽尺寸是已知的，将拍摄到的完整边缘与已知的箱体长宽尺寸进行比对，判断得到该完整边缘为长或宽，然后将各Roi图像的检测结果映射至原始图像，将检测到的3条边的角度均值作为箱体旋转角，根据箱体尺寸及旋转角计算得到最终的中心点。该方法适用于对同一条产线的周转箱尺寸进行批量化图像处理，对于其他型号或规格的周转箱生产线，在预先已知周转箱尺寸的情况下也可采用上述方法进行图像处理。
本发明的工作原理和工作过程如下：首先，对现场由工业相机实拍的图像进行处理，获得如图4所示的原始图像，是周转箱的俯视图，为3通道RGB图像，尺寸为2448×2048；梯度图像二值化后的结果如图5所示；采用双层级联滤波法先对二值图像进行形态学膨胀运算，填补目标内部空洞平滑边界；再进行形态学腐蚀运算，在纤细处分离目标，去除部分面积的噪声，然后大于噪声点的残留区域的连通域面积，采用设定阈值法去掉区域面积小于设定阈值的区域，得到的结果如图6；接下来采用Hough变换策略进行直线检测，结果得到6条近似直线具体详见图7(a), Hough变换策略具体是将图像中的点转换至极坐标空间，利用点线对偶性，通过求极坐标空间下交点的个数来检测图像中的直线。由于梯度方向的设定与周转箱边缘垂直，又经过了二值化和形态学滤波，虽然突出了周转箱边缘，但是通过传统Hough直线检测可能会检测到很多近似的直线。同一位置存在多条近似直线，既影响定位精度，又加大了后续的计算量，因此我们采用直线融合方法将这6条直线中近似的直线融合成一条融合直线，结果见图7(b)，可见直线由6条减少至4条，且清楚体现了箱体边缘的位置信息；再对周转箱边缘的几何特征进行数字化描述，基于融合后的直线寻找符合该特征的区域，标记为待选边缘，处理结果如图7(c)所示；先对图7(c)中待选边缘区域截取局部图像，然后对其进行统计特征分析，局部图像选取示意图如图8(a)，选取平行线l u与l v并确定边缘区域E，将与l u、l v平行且到l u、l v的距离相等的直线作为边缘区域E的中心线；沿该中心线以步长S移动，然后选取中心线上的点为锚点；以锚点为中心截取获得正矩形，该正矩形即为待分析的局部图像。特征分析结果如图8(b)。由于不同颜色在图像中的特征不同，因此应首先确定局部图像的颜色。修改了原始模型的层数、卷积核形状以及全连接层的节点个数，设计神经网络模型的正向推理过程如附图9所示。每张Roi图像应只保留一条边缘，由于外部可能有其它周转箱存在，而周转箱内部不可能有其它周转箱，因而保留Roi中更靠近内部的边缘，具体先设边缘中心点坐标为(x, y)，对于Roi_u保留y值最大的边缘；Roi_d保留y值最小的边缘；Roi_l保留x值最大的边缘；Roi_r保留x值最小的边缘，完成边缘整合，然后将各Roi图像的检测结果映射至从相机获得的原始图像，求得包含所有垂直边缘和水平边缘的最小外接矩形，计算得到中心点的坐标，将垂直边缘和水平边缘的角度均值作为周转箱箱体的旋转角，实现周转箱图像自动定位，结果如图10。
本发明的特点在于：本发明充分利用了周转箱在图像中的几何特征，解决了复杂背景下周转箱定位困难的问题，并能识别各种颜色的周转箱；该发明切实可行，并取得了精确的定位效果，且所需时间短，无需人工参与，可以为机器人抓取奠定良好基础；该方法可灵活用于现有产线的改造，所需的硬件改动极少，不需设计复杂的工业视觉系统，对相关问题的方案设计有一定的借鉴意义。
以上对本发明的实施例进行了详细说明，但内容仅为本发明的较佳实施例，不能被认为用于限定本发明的实施范围。凡依本发明范围所作的均等变化与改进等，均应仍归属于本专利涵盖范围之内。

Claims (10)

1.一种基于图像几何特征的周转箱自动定位方法，其特征在于，包括如下步骤：
S1：根据从相机获取的原始图像得到垂直边缘和水平边缘，截取垂直边缘和水平边缘所在区域作为感兴趣区域（Roi图像）；
S2：将每张Roi图像依次提取RGB通道分量，再对Roi图像进行灰度化处理得到灰度图像，共得到4张单通道图像，对每张单通道图像求取梯度图像，然后采用局部阈值法将每张梯度图像进行二值化处理，局部阈值为邻域高斯均值，偏移量为C，通过位或运算每一Roi图像最终得到一张二值图；
S3：采用形态学滤波法对上述二值图进行噪声点去除过程；
S4：对所述二值图采用Hough变换策略进行直线检测得到若干条近似直线，然后采用直线融合方法将若干条近似直线融合为一条融合直线；
S5：对上述融合直线进行几何特征描述，寻找符合该特征的区域，标记为待选边缘，遍历融合直线获取全部待选边缘，若待选边缘的数量为零，则返回步骤S2，减小偏移量C，继续迭代直到获得至少一条待选边缘；
S6：在待选边缘区域截取局部图像进行统计特征分析，遍历所有待选边缘获得局部图像，利用卷积神经网络策略确定局部图像的颜色，对局部图像进行熵值及灰度值分析，滤除假边缘；
S7：整合边缘，将检测结果映射到原始图像中，计算中心点及旋转角用以实现定位。
2.根据权利要求1所述的一种基于图像几何特征的周转箱自动定位方法，其特征在于，所述步骤S2中的单通道图像的梯度图像的求取过程具体是求取垂直边缘的感兴趣区域的X方向梯度,求取水平边缘的感兴趣区域的Y方向梯度，用以突出周转箱边缘。
3.根据权利要求1所述的一种基于图像几何特征的周转箱自动定位方法，其特征在于，所述步骤S5在减小偏移量C的过程中若达到最大迭代次数，则返回无目标结果，向机械臂发送终止命令使其停止周转箱抓取操作。
4.根据权利要求1所述的一种基于图像几何特征的周转箱自动定位方法，其特征在于，所述步骤S4中的直线融合方法具体包括以下步骤：
设有n条直线{l 1, l 2, …, l i, …, l j, …, l n }，对于任意两条直线l i与l j，若满足公式（1）：
Figure 805625DEST_PATH_IMAGE001
则判定l i与l j近似，其中l ik和l jk表示直线l i和l j的斜率，l ib和l jb表示直线l i和l j的截距，T k 表示箱体形变系数，T b 表示融合截距阈值；对于直线l i，遍历所有直线后将所有与其近似的直线以及其本身加入集合C i，遍历所有直线，得到m个集合{ C 1, C 2, …, C m }；将集合C i内所有直线斜率的均值作为融合后的斜率k i，所有直线截距的均值作为融合后的截距b i；遍历所有集合后得到m条融合后的直线。
5.根据权利要求1所述的一种基于图像几何特征的周转箱自动定位方法，其特征在于，所述步骤S5中的获取全部待选边缘判定的具体过程如下：
对于任意两条直线l p与l q，若满足公式（2）：
Figure 595726DEST_PATH_IMAGE001
则判定直线l p与l q之间的区域为待选区域，并记录l p与l q两条直线的位置；否则删除此直线，其中，l pk和l qk表示直线l p和l q的斜率，l pb和l qb表示直线l p和l q的截距，T k 表示箱体形变系数，W表示箱体边缘在图像中的宽度，T W 表示误差阈值。
6.根据权利要求1所述的一种基于图像几何特征的周转箱自动定位方法，其特征在于，步骤S6中的局部图像确定的具体过程是：选取平行线l u与l v并确定边缘区域E，将与l u、l v平行且到l u、l v的距离相等的直线作为边缘区域E的中心线；沿该中心线以步长S移动，然后选取中心线上的点为锚点；以锚点为中心截取获得正矩形，该正矩形即为待分析的局部图像。
7.根据权利要求1所述的一种基于图像几何特征的周转箱自动定位方法，其特征在于，步骤S6中滤除假边缘具体包括以下步骤：
步骤S61：建立神经网络训练模型对局部图像进行颜色分类；
步骤S62：将局部图像灰度化，计算其信息熵H和灰度均值G；
步骤S63：建立先验知识，不同颜色分别对应一信息熵取值范围和一灰度均值取值范围，判断局部图像的信息熵H和灰度均值G是否同时属于信息熵取值范围和灰度均值取值范围，如果是则标记该局部图像为真，否则标记该局部图像为假；
步骤S64：对于某一待选边缘选取的局部图像为k张，求取该待选边缘的置信度，若置信度大于0.75则判定该边缘属于真边缘；否则滤除当前待选边缘。
8.根据权利要求1所述的一种基于图像几何特征的周转箱自动定位方法，其特征在于，步骤S3中形态学滤波法采用的是双层级联滤波法，具体包括如下步骤：先对二值图像进行形态学膨胀运算，填补目标内部空洞平滑边界；再进行形态学腐蚀运算，在纤细处分离目标，去除部分面积的噪声。
9.根据权利要求1所述的一种基于图像几何特征的周转箱自动定位方法，其特征在于，采用所述步骤S3进行噪声点去除过程后，计算大于噪声点的残留区域的连通域面积，采用设定阈值法去掉区域面积小于设定阈值的区域。
10.根据权利要求1所述的一种基于图像几何特征的周转箱自动定位方法，其特征在于，步骤S7中的实现定位的具体步骤为：设边缘中心点为(x, y)，将其一垂直边缘的Roi内部的边缘x值与另一垂直边缘的Roi内部的边缘x值作差，获得x差值并保留x差值绝对值的MIN值，将其一水平边缘的Roi内部的边缘y值与另一水平边缘的Roi内部的边缘y值作差，获得y差值并保留y差值绝对值的MIN值；将各感兴趣区域的检测结果映射至步骤S1中的原始图像，获取包含垂直边缘和水平边缘的外接矩形，计算外接矩形的中心点。
CN202010564389.8A 2020-06-19 2020-06-19 一种基于图像几何特征的周转箱自动定位方法 Active CN111539429B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010564389.8A CN111539429B (zh) 2020-06-19 2020-06-19 一种基于图像几何特征的周转箱自动定位方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010564389.8A CN111539429B (zh) 2020-06-19 2020-06-19 一种基于图像几何特征的周转箱自动定位方法

Publications (2)

Publication Number Publication Date
CN111539429A true CN111539429A (zh) 2020-08-14
CN111539429B CN111539429B (zh) 2020-11-03

Family

ID=71976502

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010564389.8A Active CN111539429B (zh) 2020-06-19 2020-06-19 一种基于图像几何特征的周转箱自动定位方法

Country Status (1)

Country Link
CN (1) CN111539429B (zh)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111968145A (zh) * 2020-10-23 2020-11-20 腾讯科技（深圳）有限公司 箱式结构识别方法、装置、电子设备及存储介质
CN112180947A (zh) * 2020-10-22 2021-01-05 湖南格兰博智能科技有限责任公司 一种移动机器人初始行进方向选择方法及其设备
CN112446908A (zh) * 2020-11-18 2021-03-05 中国科学院上海技术物理研究所 一种基于几何纹理的热红外影像控制点提取方法
CN112580447A (zh) * 2020-12-04 2021-03-30 国网福建省电力有限公司泉州供电公司 一种基于边缘二阶统计与融合的电力线检测方法
CN115272455A (zh) * 2022-09-02 2022-11-01 敬科(深圳)机器人科技有限公司 一种强光背景下麦克风网状物料的图像定位方法及系统

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101630411A (zh) * 2009-07-02 2010-01-20 浙江省电力公司 基于熵值的面向输电线路部件识别的自动阈值图象分割方法
CN101814144A (zh) * 2010-03-25 2010-08-25 西安电子科技大学 遥感图像中无水桥梁目标识别方法
CN103488988A (zh) * 2013-09-06 2014-01-01 广东电网公司电力科学研究院 基于无人机巡线可见光影像的电力设备中绝缘子的提取方法
CN106228138A (zh) * 2016-07-26 2016-12-14 国网重庆市电力公司电力科学研究院 一种融合区域和边缘信息的道路检测算法
CN106251332A (zh) * 2016-07-17 2016-12-21 西安电子科技大学 基于边缘特征的sar图像机场目标检测方法
CN107449499A (zh) * 2017-09-30 2017-12-08 南京中高知识产权股份有限公司 集装箱偏载值检测系统及其工作方法
CN108258185A (zh) * 2017-12-29 2018-07-06 天津市捷威动力工业有限公司 防锂电池负极片烘干时鼓边的结构及方法
US10019740B2 (en) * 2015-10-07 2018-07-10 Way2Vat Ltd. System and methods of an expense management system based upon business document analysis
CN109977886A (zh) * 2019-03-29 2019-07-05 京东方科技集团股份有限公司 货架空置率计算方法及装置、电子设备、存储介质

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101630411A (zh) * 2009-07-02 2010-01-20 浙江省电力公司 基于熵值的面向输电线路部件识别的自动阈值图象分割方法
CN101814144A (zh) * 2010-03-25 2010-08-25 西安电子科技大学 遥感图像中无水桥梁目标识别方法
CN103488988A (zh) * 2013-09-06 2014-01-01 广东电网公司电力科学研究院 基于无人机巡线可见光影像的电力设备中绝缘子的提取方法
US10019740B2 (en) * 2015-10-07 2018-07-10 Way2Vat Ltd. System and methods of an expense management system based upon business document analysis
CN106251332A (zh) * 2016-07-17 2016-12-21 西安电子科技大学 基于边缘特征的sar图像机场目标检测方法
CN106228138A (zh) * 2016-07-26 2016-12-14 国网重庆市电力公司电力科学研究院 一种融合区域和边缘信息的道路检测算法
CN107449499A (zh) * 2017-09-30 2017-12-08 南京中高知识产权股份有限公司 集装箱偏载值检测系统及其工作方法
CN108258185A (zh) * 2017-12-29 2018-07-06 天津市捷威动力工业有限公司 防锂电池负极片烘干时鼓边的结构及方法
CN109977886A (zh) * 2019-03-29 2019-07-05 京东方科技集团股份有限公司 货架空置率计算方法及装置、电子设备、存储介质

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112180947A (zh) * 2020-10-22 2021-01-05 湖南格兰博智能科技有限责任公司 一种移动机器人初始行进方向选择方法及其设备
CN112180947B (zh) * 2020-10-22 2023-09-12 湖南格兰博智能科技有限责任公司 一种移动机器人初始行进方向选择方法及其设备
CN111968145A (zh) * 2020-10-23 2020-11-20 腾讯科技（深圳）有限公司 箱式结构识别方法、装置、电子设备及存储介质
CN112446908A (zh) * 2020-11-18 2021-03-05 中国科学院上海技术物理研究所 一种基于几何纹理的热红外影像控制点提取方法
CN112580447A (zh) * 2020-12-04 2021-03-30 国网福建省电力有限公司泉州供电公司 一种基于边缘二阶统计与融合的电力线检测方法
CN112580447B (zh) * 2020-12-04 2023-08-04 国网福建省电力有限公司泉州供电公司 一种基于边缘二阶统计与融合的电力线检测方法
CN115272455A (zh) * 2022-09-02 2022-11-01 敬科(深圳)机器人科技有限公司 一种强光背景下麦克风网状物料的图像定位方法及系统

Also Published As

Publication number Publication date
CN111539429B (zh) 2020-11-03

Similar Documents

Publication Publication Date Title
CN111539429B (zh) 一种基于图像几何特征的周转箱自动定位方法
CN112070818B (zh) 基于机器视觉的机器人无序抓取方法和系统及存储介质
CN113658132B (zh) 基于计算机视觉的结构件焊缝检测方法
CN107506763B (zh) 一种基于卷积神经网络的多尺度车牌精准定位方法
CN106203342A (zh) 基于多角度局部特征匹配的目标识别方法
CN111507390A (zh) 一种基于轮廓特征的仓储箱体识别与定位方法
CN110084243B (zh) 一种基于二维码和单目相机的档案识别与定位方法
CN108597009B (zh) 一种基于方向角信息进行三维目标检测的方法
CN106022232A (zh) 基于深度学习的车牌检测方法
CN106709500B (zh) 一种图像特征匹配的方法
CN109409356B (zh) 一种基于swt的多方向中文印刷体文字检测方法
CN110751619A (zh) 一种绝缘子缺陷检测方法
CN114972968A (zh) 基于多重神经网络的托盘识别和位姿估计方法
CN113393426A (zh) 一种轧钢板表面缺陷检测方法
CN112907667A (zh) 一种视觉激光融合的托盘位姿估计方法、系统及装置
CN111695373A (zh) 斑马线的定位方法、系统、介质及设备
CN113033558A (zh) 一种用于自然场景的文本检测方法及装置、存储介质
CN115830359A (zh) 复杂场景下基于目标检测和模板匹配的工件识别计数方法
CN110348307B (zh) 一种起重机金属结构攀爬机器人的路径边缘识别方法及系统
CN115841633A (zh) 一种电力塔和电力线关联矫正的电力塔和电力线检测方法
CN114241438B (zh) 一种基于先验信息的交通信号灯快速精确的识别方法
Chen et al. A novel Fourier descriptor based image alignment algorithm for automatic optical inspection
CN107330434A (zh) 一种基于phog特征的电路图中电气符号识别方法
CN117496401A (zh) 一种用于视频测量影像序列椭圆形目标点全自动识别与跟踪方法
Zhang et al. Front vehicle detection based on multi-sensor fusion for autonomous vehicle

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant