CN112330748B - 一种基于双目深度相机的托盘识别和定位方法 - Google Patents
一种基于双目深度相机的托盘识别和定位方法 Download PDFInfo
- Publication number
- CN112330748B CN112330748B CN202011056536.7A CN202011056536A CN112330748B CN 112330748 B CN112330748 B CN 112330748B CN 202011056536 A CN202011056536 A CN 202011056536A CN 112330748 B CN112330748 B CN 112330748B
- Authority
- CN
- China
- Prior art keywords
- tray
- center point
- camera
- binocular
- coordinates
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 32
- 238000012545 processing Methods 0.000 claims abstract description 8
- 238000013135 deep learning Methods 0.000 claims abstract description 7
- 238000012549 training Methods 0.000 claims description 10
- 238000005286 illumination Methods 0.000 claims description 6
- 238000004458 analytical method Methods 0.000 claims description 5
- 238000012937 correction Methods 0.000 claims description 5
- 238000013528 artificial neural network Methods 0.000 claims description 3
- 238000004891 communication Methods 0.000 claims description 3
- 238000002372 labelling Methods 0.000 claims description 3
- 238000005516 engineering process Methods 0.000 description 8
- 238000004519 manufacturing process Methods 0.000 description 5
- 238000012986 modification Methods 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- 238000013473 artificial intelligence Methods 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 2
- 238000001514 detection method Methods 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 230000007613 environmental effect Effects 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000009776 industrial production Methods 0.000 description 1
- 238000004806 packaging method and process Methods 0.000 description 1
- 238000003860 storage Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10028—Range image; Depth image; 3D point clouds
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
Landscapes
- Engineering & Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Length Measuring Devices By Optical Means (AREA)
- Forklifts And Lifting Vehicles (AREA)
Abstract
本发明公开了一种基于双目深度相机的托盘识别和定位方法，包括如下步骤：对双目相机进行标定，获取相机的内外参数和畸变参数；根据已有的托盘数据集和畸变参数对图像进行去畸变处理；通过深度学习识别畸变处理后图像中的托盘，获取托盘中心点的像素坐标；根据相机的内外参数和托盘中心点的像素坐标获取托盘中心点空间三维坐标。本发明根据双目相机对托盘进行识别，获取托盘中心点的像素坐标，由托盘中心点的像素坐标进一步的得到托盘中心点空间三维坐标，该方法降低了工业应用成本，提高了对复杂环境的应对能力，提高了托盘识别效率。
Description
技术领域
本发明涉及图像识别技术领域，尤其涉及一种基于双目深度相机的托盘识别和定位方法。
背景技术
在自动化和半自动化仓储系统，托盘的识别和定位在其中占有重要地位。托盘是指用于集装、堆放、搬运和运输过程中，放置货物和制品的水平平台装置，广泛应用于生产、流通、仓储等领域。只有准确的识别托盘，获取托盘的三维坐标，叉车才能安全获取货物，进一步完成货物搬运和运输。
随着现代工业生产的发展，柔性制造系统、计算机集成制造系统和工厂自动化对自动化仓储提出更高的要求，搬运仓储技术要具有更可靠、更实时的信息，工厂和仓库中的物流必须伴随着并行的信息流。人工智能技术的发展必将推动自动化仓库技术向更高阶段即智能自动化方向发展，在智能自动化物流阶段，生产计划作出后，自动生成物料和人力需求，查看存货单和购货单，规划并完成物流。如果物料不够，无法满足生产要求，系统会自动推荐修改计划以便生产出等值产品。这种系统是将人工智能集成到物流系统中。智能仓储系统的基本原理已经在一些实际的物流系统中逐步得到实现。可以预见，21世纪智能仓储技术将具有广阔的应用前景。
目前托盘识别的主要技术及其存在的问题，1.采用RFID技术，其定位精度较低。2.采用基于单目深度相机的图像识别技术，对环境光线要求较高，检测距离有限，易受环境干扰。3.采用激光雷达进行托盘识别的技术，虽能达到较高的识别精度，但是激光雷达成本过于昂贵，不利于推广，而且激光雷达在垂直方向视野有限，对托盘的识别需要对货叉的运动进行补偿，效率较低。
发明内容
针对现有技术的不足，本发明的目的在于提供一种基于双目深度相机的托盘识别和定位方法，以解决现有技术中存在的托盘识别效率较低的问题。
为达到上述目的，本发明采用的技术方案为：
一种基于双目深度相机的托盘识别和定位方法，包括如下步骤：
对双目相机进行标定，获取相机的内外参数和畸变参数；
根据已有的托盘数据集和畸变参数对图像进行去畸变处理；
通过深度学习识别畸变处理后图像中的托盘，获取托盘中心点的像素坐标；
根据相机的内外参数和托盘中心点的像素坐标获取托盘中心点空间三维坐标。
进一步的，所述托盘中心点空间三维坐标获取方法还包括：
判断叉车当前工作环境的复杂程度；
若环境复杂，则采用双目交叉原理利用相机的内外参数和托盘中心点的像素坐标计算得到托盘中心点空间三维坐标；
若环境简单，则利用双目相机捕获深度图，根据深度图获取托盘中心点距离，根据托盘中心点距离、内外参数和托盘中心点的像素坐标计算得到托盘中心点空间三维坐标。
进一步的，叉车当前工作环境的复杂程度根据叉车自身坐标来判断。
进一步的，所述托盘中心点距离根据相机深度模式下的点云图或深度图获取。
进一步的，所述方法还包括：
对托盘中心点空间三维坐标进行误差分析与纠正；
利用通信协议将误差分析与纠正后的托盘中心点空间三维坐标发送给叉车。
进一步的，采用张氏相机标定法对双目相机进行标定。
进一步的，所述托盘中心点的像素坐标获取方法包括：
对托盘数据集进行数据集标注，确定托盘的边缘和范围；
根据托盘的边缘和范围构建训练集；
利用深度神经网络和深度学习算法对训练集进行训练，获得参数模型；
利用参数模型识别图片中的托盘和托盘中心点的像素坐标。
与现有技术相比，本发明所产生的有益效果是：
本发明根据双目相机对托盘进行识别，获取托盘中心点的像素坐标，由托盘中心点的像素坐标进一步的得到托盘中心点空间三维坐标，该方法降低了工业应用成本，提高了对复杂环境的应对能力，提高了托盘识别效率。
附图说明
图1是本发明提出的基于双目深度相机的托盘识别与定位方法的流程图；
图2是托盘的示意图。
具体实施方式
下面结合附图对本发明作进一步描述。以下实施例仅用于更加清楚地说明本发明的技术方案，而不能以此来限制本发明的保护范围。
如图1、图2所示，一种基于双目深度相机的托盘识别和定位方法，包括如下步骤：
S1.对双目相机进行相机标定，获取内外参数和畸变参数；
S2.采集大量的托盘数据集，利用畸变参数对图像进行去畸变处理；
S3.利用深度学习识别图像中的托盘，获取托盘中心点的像素坐标；
S4.判断叉车当前工作环境的复杂程度；
S5.环境复杂，光线影响较大的情况下，采用双目交叉原理利用相机内外参数和托盘中心点像素坐标计算出托盘中心点空间三维坐标；
S6.环境简单，光线影响较小的情况下，可以直接利用双目深度相机捕获深度图进而获取托盘中心点距离，进而利用托盘中心点距离、相机内外参数和托盘中心点像素坐标计算出托盘中心点空间三维坐标；
S7. 对托盘中心点空间三维坐标进行误差分析与纠正；
S8.利用通信协议将空间三维坐标发送给叉车。
步骤S1的具体步骤为：S1.1、通过固定在叉车上的双目深度相机采集一定数量的相机标定板图像；S1.2、去除不能用于相机标定的标定板图像；S1.3、使用符合条件的标定板图像利用张氏相机标定法原理进行双目相机标定，获取双目相机的内参数，外参数，以及每个相机的畸变系数。
步骤S3的具体步骤为：S3.1、对去畸变操作的托盘数据集进行数据集标注，确定托盘的边缘和范围，构建训练集；S3.2、利用深度神经网络和深度学习算法对训练集进行训练，获得参数模型；S3.3、利用参数模型来识别含有托盘的图片中的托盘，并返回托盘的中心点在像素坐标系下的二维坐标。
步骤S4的具体方法和原理为：根据叉车自身坐标来判断叉车所处的区域，在同一仓库下，受光照影响强弱程度的地方是固定的，根据叉车所处区域可以判断周围环境受光照的影响程度。
步骤S5的具体步骤为：S5.1、通过左相机和右相机分别采集图片；
S5.2、对左右相机的图片进行识别，分别获取托盘中心点的像素坐标系下的坐标A1和A2；S5.3、利用双目交叉原理，使用A1、A2和左右相机的内外参数来计算出托盘中心点的空间三维坐标。在步骤S5中，使用双目交叉原理进行直接计算的过程中计算量较大，虽然会降低处理速度，但是可以增加本发明所提出方法的鲁棒性和对环境光照的抗性。
步骤S6的具体步骤为：S6.1、利用左相机或右相机采集图片；S6.2、利用训练得到的参数模型进行托盘识别和定位，返回托盘中心点的像素坐标系下的坐标；S6.3、利用相机深度模式下的点云图或深度图，来获取托盘中心点的距离；S6.4、利用托盘中心点距离和像素坐标系下的坐标以及相机内外参数计算出。
托盘中心点的空间三维坐标。在步骤S6中，光照影响较弱的情况下，相机深度模式下的深度探测精度较高，可以直接获取深度，在这种情况下处理速度较快，可以满足叉车更高速度的需求。
步骤S7的具体步骤为：S7、记录大量托盘中心点正确的三维坐标T1，并获取对应的算法计算下的三维坐标T2，计算T1和T2之间的误差E1，对可能对结果产生影响的误差项进行数学建模，构建误差E1和误差项之间的参数方程，进而减小误差，把误差控制在一厘米以内。
以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明技术原理的前提下，还可以做出若干改进和变形，这些改进和变形也应视为本发明的保护范围。
Claims (5)
1.一种基于双目深度相机的托盘识别和定位方法，其特征在于，包括如下步骤：
对双目相机进行标定，获取相机的内外参数和畸变参数；
根据已有的托盘数据集和畸变参数对图像进行去畸变处理；
通过深度学习识别畸变处理后图像中的托盘，获取托盘中心点的像素坐标；
根据相机的内外参数和托盘中心点的像素坐标获取托盘中心点空间三维坐标；
所述托盘中心点空间三维坐标获取方法还包括：
判断叉车当前工作环境的复杂程度；
若环境复杂，则采用双目交叉原理利用相机的内外参数和托盘中心点的像素坐标计算得到托盘中心点空间三维坐标；
若环境简单，则利用双目相机捕获深度图，根据深度图获取托盘中心点距离，根据托盘中心点距离、内外参数和托盘中心点的像素坐标计算得到托盘中心点空间三维坐标；
判断叉车当前工作环境的复杂程度包括：根据叉车自身坐标来判断叉车所处的区域，在同一仓库下，受光照影响强弱程度的地方是固定的，根据叉车所处区域判断周围环境受光照的影响程度。
2.根据权利要求1所述一种基于双目深度相机的托盘识别和定位方法，其特征在于，所述托盘中心点距离根据相机深度模式下的点云图或深度图获取。
3.根据权利要求1所述一种基于双目深度相机的托盘识别和定位方法，其特征在于，所述方法还包括：
对托盘中心点空间三维坐标进行误差分析与纠正；
利用通信协议将误差分析与纠正后的托盘中心点空间三维坐标发送给叉车。
4.根据权利要求1所述一种基于双目深度相机的托盘识别和定位方法，其特征在于，采用张氏相机标定法对双目相机进行标定。
5.根据权利要求1所述一种基于双目深度相机的托盘识别和定位方法，其特征在于，所述托盘中心点的像素坐标获取方法包括：
对托盘数据集进行数据集标注，确定托盘的边缘和范围；
根据托盘的边缘和范围构建训练集；
利用深度神经网络和深度学习算法对训练集进行训练，获得参数模型；
利用参数模型识别图片中的托盘和托盘中心点的像素坐标。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011056536.7A CN112330748B (zh) | 2020-09-30 | 2020-09-30 | 一种基于双目深度相机的托盘识别和定位方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011056536.7A CN112330748B (zh) | 2020-09-30 | 2020-09-30 | 一种基于双目深度相机的托盘识别和定位方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN112330748A CN112330748A (zh) | 2021-02-05 |
| CN112330748B true CN112330748B (zh) | 2024-02-20 |
Family
ID=74314431
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202011056536.7A Active CN112330748B (zh) | 2020-09-30 | 2020-09-30 | 一种基于双目深度相机的托盘识别和定位方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112330748B (zh) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113267180B (zh) * | 2021-06-10 | 2022-08-26 | 上海大学 | 一种基于3d深度视觉的agv叉车托盘定位及叉取方法 |
Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR101408119B1 (ko) * | 2013-10-30 | 2014-06-17 | 남찬우 | 신분증 위변조 진위 식별 장치 |
| CN105509673A (zh) * | 2015-12-17 | 2016-04-20 | 上海蓝天房屋装饰工程有限公司 | 基于球面六点的钢结构网架中心定位方法 |
| CN108010085A (zh) * | 2017-11-30 | 2018-05-08 | 西南科技大学 | 基于双目可见光相机与热红外相机的目标识别方法 |
| CN109697594A (zh) * | 2019-01-15 | 2019-04-30 | 江苏智库物流科技有限公司 | 全自动无人行车线缆盘仓储系统 |
| CN109795830A (zh) * | 2019-03-04 | 2019-05-24 | 北京旷视科技有限公司 | 自动定位物流托盘的方法及装置 |
| CN109872397A (zh) * | 2019-02-18 | 2019-06-11 | 北京工业大学 | 一种基于多目立体视觉的飞机零件的三维重建方法 |
| CN110342252A (zh) * | 2019-07-01 | 2019-10-18 | 芜湖启迪睿视信息技术有限公司 | 一种物品自动抓取方法及自动抓取装置 |
| CN110599546A (zh) * | 2019-08-28 | 2019-12-20 | 贝壳技术有限公司 | 一种获取三维空间数据的方法、系统、装置和存储介质 |
| CN111507390A (zh) * | 2020-04-11 | 2020-08-07 | 华中科技大学 | 一种基于轮廓特征的仓储箱体识别与定位方法 |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP4538845B2 (ja) * | 2004-04-21 | 2010-09-08 | 富士ゼロックス株式会社 | 故障診断方法および故障診断装置、画像形成装置、並びにプログラムおよび記憶媒体 |
-
2020
- 2020-09-30 CN CN202011056536.7A patent/CN112330748B/zh active Active
Patent Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR101408119B1 (ko) * | 2013-10-30 | 2014-06-17 | 남찬우 | 신분증 위변조 진위 식별 장치 |
| CN105509673A (zh) * | 2015-12-17 | 2016-04-20 | 上海蓝天房屋装饰工程有限公司 | 基于球面六点的钢结构网架中心定位方法 |
| CN108010085A (zh) * | 2017-11-30 | 2018-05-08 | 西南科技大学 | 基于双目可见光相机与热红外相机的目标识别方法 |
| CN109697594A (zh) * | 2019-01-15 | 2019-04-30 | 江苏智库物流科技有限公司 | 全自动无人行车线缆盘仓储系统 |
| CN109872397A (zh) * | 2019-02-18 | 2019-06-11 | 北京工业大学 | 一种基于多目立体视觉的飞机零件的三维重建方法 |
| CN109795830A (zh) * | 2019-03-04 | 2019-05-24 | 北京旷视科技有限公司 | 自动定位物流托盘的方法及装置 |
| CN110342252A (zh) * | 2019-07-01 | 2019-10-18 | 芜湖启迪睿视信息技术有限公司 | 一种物品自动抓取方法及自动抓取装置 |
| CN110599546A (zh) * | 2019-08-28 | 2019-12-20 | 贝壳技术有限公司 | 一种获取三维空间数据的方法、系统、装置和存储介质 |
| CN111507390A (zh) * | 2020-04-11 | 2020-08-07 | 华中科技大学 | 一种基于轮廓特征的仓储箱体识别与定位方法 |
Non-Patent Citations (2)
| Title |
|---|
| Deep Learning for 3D Point Clouds: A Survey;Yulan Guo等;《arxiv》;第1-27页 * |
| 基于视觉的仓储托盘检测方法研究;武文汉 等;《中国优秀硕士学位论文全文数据库 信息科技辑》(第1期);第I138-2201页 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN112330748A (zh) | 2021-02-05 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CA3101978C (en) | Tracking vehicles in a warehouse environment | |
| CN109264275B (zh) | 基于机器人的智能仓库管理方法、装置和存储介质 | |
| CN107617573B (zh) | 一种基于多任务深度学习的物流编码识别和分拣方法 | |
| CN112017240B (zh) | 一种面向无人叉车的托盘识别定位方法 | |
| US20100017407A1 (en) | Three-dimensional object recognition system and inventory system using the same | |
| CN110793512A (zh) | 位姿识别方法、装置、电子设备和存储介质 | |
| Mohamed | Detection and tracking of pallets using a laser rangefinder and machine learning techniques | |
| CN111964680B (zh) | 一种巡检机器人的实时定位方法 | |
| CN111986185A (zh) | 一种基于深度相机的托盘检测定位方法 | |
| CN111198496A (zh) | 一种目标跟随机器人及跟随方法 | |
| CN107218927A (zh) | 一种基于tof相机的货物托盘检测系统和方法 | |
| WO2023005384A1 (zh) | 可移动设备的重定位方法及装置 | |
| CN112935703B (zh) | 识别动态托盘终端的移动机器人位姿校正方法及系统 | |
| CN112330748B (zh) | 一种基于双目深度相机的托盘识别和定位方法 | |
| CN111767780A (zh) | 一种ai与视觉结合的智能集卡定位方法和系统 | |
| CN114862301A (zh) | 基于二维码辅助定位的托盘叉车agv自动装载方法 | |
| CN114267032A (zh) | 一种集装箱定位识别方法、装置、设备及存储介质 | |
| CN114332622A (zh) | 一种基于机器视觉的标签检测方法 | |
| CN111932617B (zh) | 一种对规则物体实现实时检测定位方法和系统 | |
| CN113392747A (zh) | 一种用于立体仓库的货物包装箱识别方法及系统 | |
| Iinuma et al. | Pallet detection and estimation for fork insertion with rgb-d camera | |
| CN111415384B (zh) | 一种基于深度学习的工业图像组件精准定位系统 | |
| CN115457494A (zh) | 基于红外图像和深度信息融合的物体识别方法及其系统 | |
| Jia et al. | Pallet Detection Based on Halcon and AlexNet Network for Autonomous Forklifts | |
| Jia et al. | Pallet detection based on Halcon for warehouse robots |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |