CN111311677B - 基于机器视觉识别技术的自动定位进叉位置的方法 - Google Patents
基于机器视觉识别技术的自动定位进叉位置的方法 Download PDFInfo
- Publication number
- CN111311677B CN111311677B CN202010069521.8A CN202010069521A CN111311677B CN 111311677 B CN111311677 B CN 111311677B CN 202010069521 A CN202010069521 A CN 202010069521A CN 111311677 B CN111311677 B CN 111311677B
- Authority
- CN
- China
- Prior art keywords
- fork
- recognition technology
- connected domain
- position based
- machine vision
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 35
- 239000000463 material Substances 0.000 claims abstract description 27
- 230000004438 eyesight Effects 0.000 claims description 27
- 238000001914 filtration Methods 0.000 claims description 15
- 238000012545 processing Methods 0.000 claims description 13
- 230000008569 process Effects 0.000 claims description 8
- 238000012163 sequencing technique Methods 0.000 claims description 6
- 230000008030 elimination Effects 0.000 claims description 3
- 238000003379 elimination reaction Methods 0.000 claims description 3
- 230000000877 morphologic effect Effects 0.000 claims description 3
- 230000009467 reduction Effects 0.000 claims description 3
- 230000000007 visual effect Effects 0.000 description 3
- 230000002159 abnormal effect Effects 0.000 description 1
- 230000006978 adaptation Effects 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 229910044991 metal oxide Inorganic materials 0.000 description 1
- 150000004706 metal oxides Chemical class 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 230000004382 visual function Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
- G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
- G06T7/74—Determining position or orientation of objects or cameras using feature-based methods involving reference images or patches
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/70—Denoising; Smoothing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/136—Segmentation; Edge detection involving thresholding
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/187—Segmentation; Edge detection involving region growing; involving region merging; involving connected component labelling
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/50—Depth or shape recovery
- G06T7/521—Depth or shape recovery from laser ranging, e.g. using interferometry; from the projection of structured light
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/60—Analysis of geometric attributes
- G06T7/62—Analysis of geometric attributes of area, perimeter, diameter or volume
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10004—Still image; Photographic image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20024—Filtering details
- G06T2207/20032—Median filtering
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
- Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
- Y02P90/30—Computing systems specially adapted for manufacturing
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Optics & Photonics (AREA)
- Geometry (AREA)
- Control And Safety Of Cranes (AREA)
Abstract
本发明涉及物资智能管理领域，特别是涉及包括有大型物资吊装的物资智能管理领域，更为具体的说是涉及基于机器视觉识别技术的自动定位进叉位置的方法，利用装卸叉孔位置精准识别以及货叉位置二次校准技术，可自动根据不同物资尺寸调整进叉距离，解决人工叉车作业方式需手动控制叉车对孔以实现物资搬运造成物资损坏问题，降低在库物资的非正常损益成本。同时，改变以往带进叉孔的重载型物资装卸依赖人工行吊和叉车作业的方式，实现该类物资的全自动装卸。
Description
技术领域
本发明涉及物资智能管理领域，特别是涉及包括有大型物资吊装的物资智能管理领域，更为具体的说是涉及基于机器视觉识别技术的自动定位进叉位置的方法。
背景技术
机器视觉被定义为用计算机来模拟人的视觉功能，从客观事物的图像中提取信息，进行处理并加以理解，最终用于实际检测、测量和控制。一个典型的工业机器视觉应用系统包括光源、光学系统、图像采集系统、数字图像处理与智能判断决策模块和机械控制执行模块。系统首先通过CMOS或者CCD相机等其它图像拍摄装置将目标转换成图像信号，然后转变成数字化信号传送给专用的图像处理系统，根据像素分布、亮度和颜色等信息，进行各种运算来抽取目标的特征,根据预设的容许度和其他条件输出判断结果。
目前，针对带有进叉孔的重载型物资，多应用人工叉车或者行吊进行装卸作业，而受限于物资标准化程度低、规格型号多、装车方式多样化、室外堆场作业环境条件差等因素，装卸作业往往需多人协同配合，人工手动控制叉车完成进叉对孔，或者是通过手动控制的方式在行吊吊具中穿索捆绑。这种操作方式不仅作业效率低、安全性差，而且极易损坏物资，引发安全事故。
因此，如何利用现有的视觉识别技术，使其应用在大型物资的仓储领域，从而替代人工，实现进叉孔自动定位是现代智能仓储领域重点研究的问题之一。
发明内容
本发明所要解决的技术问题是如何应用视觉识别技术，在大型仓储场景下实现进叉位置的自动定位。
为了解决上述技术问题，本发明公开了基于机器视觉识别技术的自动定位进叉位置的方法，包括以下步骤：
步骤1：扫描待进叉的物资，并生成物资的深度图像；
步骤2：将深度图像转化为二值图像；
步骤3：对二值图像进行消除噪声处理；
步骤4：对降噪后的二值图像进行连通域分析，查找最大的连通域，标记该连通域，从而确定物资的边界；
步骤5：对步骤4标记后的图像进行反向选择，然后在反向选择的区域内(线缆盘内)进行连通域的分析，并且将连通域按照从大到小的顺序排序；
步骤6：由大到小取若干个连通域，并将其按照连通域中心的Y轴坐标值由小到大进行排序，这里的坐标系是以图像左上角为原点建立坐标系，向右为X轴的正方向，向下为Y轴的正方向所建立的坐标系；
步骤7：按照步骤6中获得的连通域排序，取排在第一的连通域计算该连通域的最大内接圆半径，如果该内接圆的半径大于叉齿的外径半径，则标记该内接圆的圆心处为进叉点，如果该内接圆的半径小于叉齿的外径半径，则顺延至排在第二的连通域，并按照前述方法判断，如果排在第二的连通域最大内接圆半径仍小于叉齿的外径半径，则继续顺延至排三的连通域，依次往后，直至寻找到满足条件的连通域，并将该连通域最大内接圆的圆心标记为进叉点。
作为进一步优选的技术方案，步骤3中用于消除噪声的处理方式包括滤波处理和形态学噪声滤除处理，其中滤波处理特别优选为均值滤波或者中值滤波。
进一步优选的是，在步骤6中由大到小选取3个连通域。
同时，作为一种优选的技术方案，步骤1中利用激光视觉传感器采集深度图像数据。
更为优选的是，所述激光视觉传感器固定在叉齿上，并且位于叉齿齿根部。
这里所说的齿根，是指叉齿紧挨吊具的一侧。
更为优选的是，所述激光视觉传感器包括有两个，分别固定在叉齿的上、下两侧。
进一步优选的，在步骤1前还包括有激光视觉传感器定位步骤，在该步骤中，激光视觉传感器边移动边扫描，当其识别到预设在系统中的符合几何形状的目标进叉口时，再对该区域进行扫描获得深度图像。
更为优选的是，所述激光视觉传感器定位步骤中，还包括有垂直高度调节和水平位左右调节两个调节步骤。优选的是，先进行垂直高度调节，再进行水平位左右调节。
在本发明公开的技术方案中利用装卸叉孔位置精准识别以及货叉位置二次校准技术，可自动根据不同物资尺寸调整进叉距离，解决人工叉车作业方式需手动控制叉车对孔以实现物资搬运造成物资损坏问题，降低在库物资的非正常损益成本。同时，改变以往带进叉孔的重载型物资装卸依赖人工行吊和叉车作业的方式，实现该类物资的全自动装卸，解决该类物资装卸工作劳动强度大、作业效率低的问题。并且还可以解决以往人工作业需要多人协同配合，安全监管困难、安全隐患大的问题，极大地提升作业人员的安全。
附图说明
图1为用于进叉位置识别的机械结构示意图。
图2为用于进叉位置识别的二值图像局部示意图。
图3为线缆盘实物图。
图4为图3中的线缆盘生成的深度图像的示意图。
具体实施方式
为了更好的理解本发明，下面我们结合具体的实施例对本发明进行进一步的阐述。
下面以线缆盘为例，来进一步说明本发明公开的自动定位进叉位置的方法。
在本实施例中公开的基于机器视觉识别技术的自动定位进叉位置的方法，包括以下步骤：
步骤1：扫描待进叉的物资，并生成物资的深度图像，如图3和图4中所示的那样，图3中为线缆盘的实物图，图4为相机形成的深度图像，深度图像是由相机直接拍摄得到的，可以借助现有的深度图像获取的手段来得到；
步骤2：将深度图像转化为二值图像；深度图像转化为二值图像的处理方式可以借助现有的二值图像处理技术手段，得到的二值图像如图2中所示的那样；
步骤3：对二值图像进行消除噪声处理；
步骤4：对降噪后的二值图像进行连通域分析，查找最大的连通域，标记该连通域，从而确定线缆盘的边界；
由于获取得到的二值图像中如图4所示，线缆盘边界外侧的空白区域是最大的连通域，因此通过这样的手段可以快速的得到线缆盘的边界。
步骤5：对步骤4标记后的图像进行反向选择，然后在反向选择的区域内(线缆盘内)进行连通域的分析，并且将连通域按照从大到小的顺序排序；
步骤6：由大到小取若干个连通域，并将其按照连通域中心的Y轴坐标值由小到大进行排序，这里的坐标系是以图像左上角为原点建立坐标系，向右为X轴的正方向，向下为Y轴的正方向所建立的坐标系；
如图2中所示的那样，图面中的坐标系原点位于左上角，向右为X轴，向下为Y轴。
步骤7：按照步骤6中获得的连通域排序，取排在第一的连通域计算该连通域的最大内接圆半径，如果该内接圆的半径大于叉齿的外径半径，则标记该内接圆的圆心处为进叉点，如果该内接圆的半径小于叉齿的外径半径，则顺延至排在第二的连通域，并按照前述方法判断，如果排在第二的连通域最大内接圆半径仍小于叉齿的外径半径，则继续顺延至排三的连通域，依次往后，直至寻找到满足条件的连通域，并将该连通域最大内接圆的圆心标记为进叉点。
具体还是来看图2，在图中我们看到在图面上形成了一个白色的内接圆，这个内接圆就是用于分析的基础。将这个内接圆的半径与叉齿的外径半径进行比对，从而获得满足叉齿叉入的内接圆所在连通域。
作为优选，在步骤3中用于消除噪声的处理方式包括滤波处理和形态学噪声滤除处理，其中滤波处理特别优选为均值滤波或者中值滤波。
进一步优选的，在步骤6中由大到小选取3个连通域。
同时，作为一种优选的技术方案，步骤1中利用激光视觉传感器采集深度图像数据。
更为优选的是，参考图1中所示，所述激光视觉传感器1固定在叉齿2上，并且位于叉齿2齿根部。图1中虚线部分所示为激光射线所在位置。
这里所说的齿根，是指叉齿2紧挨吊具3的一侧。
更为优选的是，所述激光视觉传感器1包括有两个，分别固定在叉齿的上、下两侧。
进一步优选的，在步骤1前还包括有激光视觉传感器定位步骤，在该步骤中，激光视觉传感器边移动边扫描，当其识别到预设在系统中的符合几何形状的目标进叉口时，再对该区域进行扫描获得深度图像。
更为优选的是，所述激光视觉传感器定位步骤中，还包括有垂直高度调节和水平位左右调节两个调节步骤。优选的是，先进行垂直高度调节，再进行水平位左右调节。
由于激光视觉传感器1是固定在叉齿2上的，因此激光视觉传感器1的位置调整可以借助行吊中叉齿2的调整机构和调整方法，这些可以结合现有技术中的方法实现，在此不再赘述。
以上所述是本发明的具体实施方式。应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也视为本发明的保护范围。
Claims (10)
1.基于机器视觉识别技术的自动定位进叉位置的方法，其特征在于，包括以下步骤：
步骤1：扫描待进叉的物资，并生成物资的深度图像；
步骤2：将深度图像转化为二值图像；
步骤3：对二值图像进行消除噪声处理；
步骤4：对降噪后的二值图像进行连通域分析，查找最大的连通域，标记该连通域，从而确定物资的边界；
步骤5：对步骤4标记后的图像进行反向选择，然后在反向选择的区域内进行连通域的分析，并且将连通域按照从大到小的顺序排序；
步骤6：由大到小取若干个连通域，并将其按照连通域中心的Y轴坐标值由小到大进行排序，这里的坐标系是以图像左上角为原点建立坐标系，向右为X轴的正方向，向下为Y轴的正方向所建立的坐标系；
步骤7：按照步骤6中获得的连通域排序，取排在第一的连通域计算该连通域的最大内接圆半径，如果该内接圆的半径大于叉齿的外径半径，则标记该内接圆的圆心处为进叉点，如果该内接圆的半径小于叉齿的外径半径，则顺延至排在第二的连通域，并按照前述方法判断，如果排在第二的连通域最大内接圆半径仍小于叉齿的外径半径，则继续顺延至排三的连通域，依次往后，直至寻找到满足条件的连通域，并将该连通域最大内接圆的圆心标记为进叉点。
2.根据权利要求1所述的基于机器视觉识别技术的自动定位进叉位置的方法，其特征在于：步骤3中用于消除噪声的处理方式包括滤波处理和形态学噪声滤除处理。
3.根据权利要求2所述的基于机器视觉识别技术的自动定位进叉位置的方法，其特征在于：所述滤波处理为均值滤波或者中值滤波。
4.根据权利要求1所述的基于机器视觉识别技术的自动定位进叉位置的方法，其特征在于：在步骤6中由大到小选取3个连通域。
5.根据权利要求1所述的基于机器视觉识别技术的自动定位进叉位置的方法，其特征在于：步骤1中利用激光视觉传感器采集深度图像数据。
6.根据权利要求5所述的基于机器视觉识别技术的自动定位进叉位置的方法，其特征在于：所述激光视觉传感器固定在叉齿上，并且位于叉齿齿根部。
7.根据权利要求5所述的基于机器视觉识别技术的自动定位进叉位置的方法，其特征在于：所述激光视觉传感器包括有两个，分别固定在叉齿的上、下两侧。
8.根据权利要求5至7中任意一项所述的基于机器视觉识别技术的自动定位进叉位置的方法，其特征在于：在步骤1前还包括有激光视觉传感器定位步骤，在该步骤中，激光视觉传感器边移动边扫描，当其识别到预设在系统中的符合几何形状的目标进叉口时，再对该区域进行扫描获得深度图像。
9.根据权利要求8所述的基于机器视觉识别技术的自动定位进叉位置的方法，其特征在于：所述激光视觉传感器定位步骤中，还包括有垂直高度调节和水平位左右调节两个调节步骤。
10.根据权利要求9所述的基于机器视觉识别技术的自动定位进叉位置的方法，其特征在于：先进行垂直高度调节，再进行水平位左右调节。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010069521.8A CN111311677B (zh) | 2020-01-21 | 2020-01-21 | 基于机器视觉识别技术的自动定位进叉位置的方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010069521.8A CN111311677B (zh) | 2020-01-21 | 2020-01-21 | 基于机器视觉识别技术的自动定位进叉位置的方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN111311677A CN111311677A (zh) | 2020-06-19 |
| CN111311677B true CN111311677B (zh) | 2023-06-13 |
Family
ID=71159775
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010069521.8A Active CN111311677B (zh) | 2020-01-21 | 2020-01-21 | 基于机器视觉识别技术的自动定位进叉位置的方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111311677B (zh) |
Family Cites Families (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP4074999B2 (ja) * | 2004-01-13 | 2008-04-16 | 村田機械株式会社 | 搬送台車システム |
| CN108152823B (zh) * | 2017-12-14 | 2021-09-03 | 北京信息科技大学 | 一种基于视觉的无人驾驶叉车导航系统及其定位导航方法 |
| CN109573897B (zh) * | 2018-12-21 | 2020-09-15 | 宁波如意股份有限公司 | 基于视觉的叉车agv货叉起升高度定位的系统及方法 |
-
2020
- 2020-01-21 CN CN202010069521.8A patent/CN111311677B/zh active Active
Also Published As
| Publication number | Publication date |
|---|---|
| CN111311677A (zh) | 2020-06-19 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP4309439B2 (ja) | 対象物取出装置 | |
| CN110211101A (zh) | 一种铁轨表面缺陷快速检测系统及方法 | |
| CN100575925C (zh) | 测量非金属掺杂物的方法和装置 | |
| JP2015143139A (ja) | ごみピット内の攪拌状態検出装置及びごみピット内の攪拌状態検出方法 | |
| CN108106554B (zh) | 一种基于机器视觉的大型环件外径检测系统及方法 | |
| CN118134970B (zh) | 基于图像识别的起重工和吊钩检测跟踪方法及系统 | |
| CN108480223A (zh) | 一种工件分拣系统及其控制方法 | |
| CN118239385B (zh) | 基于视觉识别的钢卷智能吊装系统及方法 | |
| CN114037682A (zh) | 一种光学元件表面疵病二维自动检测方法 | |
| CN113379684A (zh) | 一种基于视频的集装箱箱角线定位及自动着箱方法 | |
| CN113705487B (zh) | 精密工件识别及工艺参数关联系统以及识别方法 | |
| CN111311677B (zh) | 基于机器视觉识别技术的自动定位进叉位置的方法 | |
| CN106097323B (zh) | 一种基于机器视觉的发动机气缸体铸件的定位方法 | |
| CN110441318A (zh) | 一种基于机器视觉的化纤喷丝头孔缺陷检测方法 | |
| CN107356232A (zh) | 一种视觉检测系统用图像处理方法 | |
| CN107121063A (zh) | 检测工件的方法 | |
| CN114757218B (zh) | 一种棒材信息识别方法、装置、设备及介质 | |
| CN116051554A (zh) | 一种基于除铁器输送带的检测预警方法、设备及介质 | |
| CN111080623B (zh) | 一种用于圆形零件缺失的视觉检测装置及方法 | |
| Sano et al. | Automatic micromanipulation system using stereoscopic microscope | |
| CN115753791A (zh) | 基于机器视觉的缺陷检测方法、装置以及系统 | |
| CN214504438U (zh) | 一种无色差立体字符图像采集系统 | |
| CN115255884A (zh) | 一种基于OpenCV视觉处理的机器人滚轮自动装配系统和方法 | |
| CN110856847A (zh) | 一种基于智能视觉的电容字符检测方法及装置 | |
| KR20230114403A (ko) | 패턴 주사 조명을 이용한 투명 재질의 공산품 결함 검출 시스템 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| TA01 | Transfer of patent application right | ||
| TA01 | Transfer of patent application right |
Effective date of registration: 20230417 Address after: 9 / F, Unicom building, 32 Central Road, Nanjing, Jiangsu 210008 Applicant after: NANJING HERUI SUPPLY CHAIN MANAGEMENT CO.,LTD. Address before: 9 / F, Unicom building, 32 Central Road, Nanjing, Jiangsu 210008 Applicant before: Zhou Yue |
|
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| PE01 | Entry into force of the registration of the contract for pledge of patent right | ||
| PE01 | Entry into force of the registration of the contract for pledge of patent right |
Denomination of invention: A method for automatically locating the fork position based on machine vision recognition technology Granted publication date: 20230613 Pledgee: Bank of China Limited by Share Ltd. Nanjing City South Branch Pledgor: NANJING HERUI SUPPLY CHAIN MANAGEMENT CO.,LTD. Registration number: Y2024980011647 |