CN113724322A - 一种用于无人叉车的货物托盘定位方法及系统 - Google Patents

一种用于无人叉车的货物托盘定位方法及系统 Download PDF

Info

Publication number
CN113724322A
CN113724322A CN202110868163.1A CN202110868163A CN113724322A CN 113724322 A CN113724322 A CN 113724322A CN 202110868163 A CN202110868163 A CN 202110868163A CN 113724322 A CN113724322 A CN 113724322A
Authority
CN
China
Prior art keywords
tray
image
goods
cargo
boundary frame
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202110868163.1A
Other languages
English (en)
Other versions
CN113724322B (zh
Inventor
郑培健
陈建邦
朱明�
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shanghai Dynamic Technology Co ltd
Original Assignee
Shanghai Dynamic Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shanghai Dynamic Technology Co ltd filed Critical Shanghai Dynamic Technology Co ltd
Priority to CN202110868163.1A priority Critical patent/CN113724322B/zh
Publication of CN113724322A publication Critical patent/CN113724322A/zh
Application granted granted Critical
Publication of CN113724322B publication Critical patent/CN113724322B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20024—Filtering details
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Biomedical Technology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Analysis (AREA)

Abstract

本发明涉及一种用于无人叉车的货物托盘定位方法及系统，方法包括：采集待测货物托盘图像，识别图像中货物托盘的中心坐标和分割图像，无人叉车根据中心坐标和分割图像对货物托盘进行定位；货物托盘的中心坐标为中间立柱的中心坐标；识别过程包括：将待测货物托盘图像输入训练好的目标检测模型，获得货物托盘的第一边界框，等比扩大第一边界框，获得第二边界框；对第二边界框内区域进行二值化，获得二值图，对二值图进行形态学滤波步骤，并根据二值图获得两个托盘孔的轮廓，根据两个轮廓计算货物托盘的中心坐标；将第二边界框内的区域输入训练好的目标分割模型，获得货物托盘的分割图像。与现有技术相比，本发明实时性好，准确性高，精度高。

Description

一种用于无人叉车的货物托盘定位方法及系统
技术领域
本发明涉及自动化技术领域，尤其是涉及一种用于无人叉车的货物托盘定位方法及系统。
背景技术
随着科技的发展，工业自动化应用而生，为降低人力劳动成本，在许多工厂或者货仓都采用叉车进行搬运货物等。托盘，也称叉车垫板，可以通过托盘盛放物品，再通过叉车将托盘托起，搬运到相应位置，以实现机械自动托运。目前，在市面上，为了节省人工成本，大多数都是通过自动控制的无人叉车的对准托盘的插槽并插入，然后将托盘托起，并将托盘搬运到相应的位置，以实现搬运物品。叉车托盘识别是指安装于叉车上的传感器通过机器视觉、图像处理算法检测识别叉车托盘，而叉车测距是指利用托盘识别的结果，根据传感器信息通过数学模型公式计算出叉车相对于托盘的三维坐标姿态信息。
目前通常采用分割算法，将叉车托盘区域从叉车托盘图像中分割出来，再进行后续的定位，但由于包含叉车托盘的图像通常包含其他物体，图片背景复杂，容易造成分割出来的叉车托盘不完整，或者未完全分割出背景，影响后续托盘定位精度。
发明内容
本发明的目的就是为了克服上述现有技术存在的缺陷而提供一种用于无人叉车的货物托盘定位方法及系统，实时性好，准确性高，精度高。
本发明的目的可以通过以下技术方案来实现：
一种用于无人叉车的货物托盘定位方法，包括：
采集待测货物托盘图像，识别待测货物托盘图像中货物托盘的中心坐标和分割图像，所述的无人叉车根据中心坐标和分割图像对货物托盘进行定位；
其中，所述的货物托盘的中心坐标为货物托盘的中间立柱的中心坐标；
所述的识别过程包括：
将待测货物托盘图像输入训练好的目标检测模型，获得货物托盘的第一边界框，以设定倍数将第一边界框等比扩大，获得第二边界框；
对第二边界框内的区域进行二值化，获得二值图，对二值图进行形态学滤波步骤，并根据二值图获得两个托盘孔的轮廓，根据两个托盘孔的轮廓计算货物托盘的中心坐标；
将第二边界框内的区域输入训练好的目标分割模型，获得货物托盘的分割图像；
通过目标检测模型获取包含货物托盘区域的第一边界框，减小待测货物托盘图像中背景图像的影响，再通过目标分割模型分割出货物托盘的分割图像，分割精度和准确度高；
另外由于目标检测模型在进行目标检测时，会受到待测货物托盘图像中背景图像的影响，所述的目标检测模型获取的第一边界框可能无法完全覆盖货物托盘区域，以设定倍数将第一边界框等比扩大，使得第一边界框完全覆盖货物托盘区域，保证最后获得的分割图像的完整性；
同时由于货物托盘的两个托盘孔是空心的，且大部分被货物托盘的实体部分遮挡，因而在待测货物托盘图像中托盘孔亮度低，所述的待测货物托盘图像的二值图中，所述的托盘孔处的像素值比较低，接近黑色，与货物托盘其他位置差异明显，因此可以准确度提取出两个托盘孔的轮廓，根据两个托盘孔的轮廓计算货物托盘的中心坐标，计算简便且准确性高。
进一步地，所述的货物托盘的中心坐标的计算公式为：
Figure BDA0003188025570000021
其中，xl、wl、wr和hr表示左边托盘孔轮廓的左上角坐标、宽度和高度，xr、yr、wr和hr分别表示右边托盘孔轮廓的左上角坐标、宽度和高度。
进一步地，所述的形态学滤波步骤包括：
对二值图进行卷积核大小为3×3的腐蚀操作，再对二值图进行卷积核大小为3×3的膨胀操作；
对第二边界框内的区域进行二值化，二值化结果存在比较多的噪声，所述的腐蚀操作能够去除部分二值化带来的噪声，所述的膨胀操作将经过腐蚀的二值图轮廓还原，最终获得比较完整的、低噪声的二值图，提高了托盘孔轮廓的提取精度，进一步提高货物托盘的中心坐标的计算精度和准确度。
进一步地，所述的目标检测模型为YOLOv4模型，所述的YOLOv4在检测速度与精度上达到了较好的平衡。
进一步地，所述的目标分割模型为GrabCut模型。
一种用于无人叉车的货物托盘定位系统，包括图像采集模块、目标检测模块、中心定位模块和目标分割模块；
所述的图像采集模块用于采集待测货物托盘图像；
所述的目标检测模块用于将待测货物托盘图像输入训练好的目标检测模型，获得货物托盘的第一边界框，并以设定倍数将第一边界框等比扩大，获得第二边界框；
所述的中心定位模块用于对第二边界框内的区域进行二值化，获得二值图，对二值图进行形态学滤波步骤，并根据二值图获得两个托盘孔的轮廓，根据两个托盘孔的轮廓计算货物托盘的中心坐标；
所述的目标分割模块用于将第二边界框内的区域输入训练好的目标分割模型，获得货物托盘的分割图像；
所述的无人叉车根据中心坐标和分割图像对货物托盘进行定位；
通过目标检测模型获取包含货物托盘区域的第一边界框，减小待测货物托盘图像中背景图像的影响，再通过目标分割模型分割出货物托盘的分割图像，分割精度和准确度高；
另外由于目标检测模型在进行目标检测时，会受到待测货物托盘图像中背景图像的影响，所述的目标检测模型获取的第一边界框可能无法完全覆盖货物托盘区域，以设定倍数将第一边界框等比扩大，使得第一边界框完全覆盖货物托盘区域，保证最后获得的分割图像的完整性；
同时由于货物托盘的两个托盘孔是空心的，且大部分被货物托盘的实体部分遮挡，因而在待测货物托盘图像中托盘孔亮度低，所述的待测货物托盘图像的二值图中，所述的托盘孔处的像素值比较低，接近黑色，与货物托盘其他位置差异明显，因此可以准确度提取出两个托盘孔的轮廓，根据两个托盘孔的轮廓计算货物托盘的中心坐标，计算简便且准确性高。
进一步地，所述的货物托盘的中心坐标的计算公式为：
Figure BDA0003188025570000041
其中，xl、wl、wr和hr表示左边托盘孔轮廓的左上角坐标、宽度和高度，xr、yr、wr和hr分别表示右边托盘孔轮廓的左上角坐标、宽度和高度。
进一步地，所述的形态学滤波步骤包括：
所述的中心定位模块对二值图进行卷积核大小为3×3的腐蚀操作，再对二值图进行卷积核大小为3×3的膨胀操作；
对第二边界框内的区域进行二值化，二值化结果存在比较多的噪声，所述的腐蚀操作能够去除部分二值化带来的噪声，所述的膨胀操作将经过腐蚀的二值图轮廓还原，最终获得比较完整的、低噪声的二值图，提高了托盘孔轮廓的提取精度，进一步提高货物托盘的中心坐标的计算精度和准确度。
进一步地，所述的目标检测模型为YOLOv4模型，所述的YOLOv4在检测速度与精度上达到了较好的平衡。
进一步地，所述的目标分割模型为GrabCut模型。
与现有技术相比，本发明具有以如下有益效果：
(1)本发明将待测货物托盘图像输入训练好的目标检测模型，获得货物托盘的第一边界框，以设定倍数将第一边界框等比扩大，获得第二边界框，对第二边界框内的区域进行二值化，获得二值图，对二值图进行形态学滤波步骤，并根据二值图获得两个托盘孔的轮廓，根据两个托盘孔的轮廓计算货物托盘的中心坐标，将第二边界框内的区域输入训练好的目标分割模型，获得货物托盘的分割图像，通过目标检测模型获取包含货物托盘区域的第一边界框，减小待测货物托盘图像中背景图像的影响，再通过目标分割模型分割出货物托盘的分割图像，分割精度和准确度高，以设定倍数将第一边界框等比扩大，使得第一边界框完全覆盖货物托盘区域，保证最后获得的分割图像的完整性，托盘孔亮度低，利用二值图提取两个托盘孔轮廓，根据两个托盘孔的轮廓计算货物托盘的中心坐标，计算简便，因此识别速度快，实时性好，且准确性高；
(2)本发明对二值图进行卷积核大小为3×3的腐蚀操作，再对二值图进行卷积核大小为3×3的膨胀操作，对第二边界框内的区域进行二值化，二值化结果存在比较多的噪声，所述的腐蚀操作能够去除部分二值化带来的噪声，所述的膨胀操作将经过腐蚀的二值图轮廓还原，最终获得比较完整的、低噪声的二值图，提高了托盘孔轮廓的提取精度，进一步提高货物托盘的中心坐标的计算精度和准确度。
附图说明
图1为中心坐标和分割图像的获取流程图；
图2为货物托盘的主视图；
图3为YOLOv4模型结构示意图；
图4为第一边界框和货物托盘区域相交时的示意图；
图5为第一边界框包含货物托盘区域时的示意图；
图6为货物托盘区域包含第一边界框时的示意图；
图7为第一边界框在待测货物托盘图像上的位置示意图；
图8为利用第二边界框获得的裁剪图；
图9为第二边界框内区域的灰度直方图；
图10第二边界框内区域的二值化图；
图11为对图10进行腐蚀操作后的结果示意图；
图12为对图11进行膨胀操作后的结果示意图；
图13为货物托盘的中心坐标位置示意图；
图14为货物托盘的分割图像；
图中标号说明：
1.托盘孔，2.中间立柱。
具体实施方式
下面结合附图和具体实施例对本发明进行详细说明。本实施例以本发明技术方案为前提进行实施，给出了详细的实施方式和具体的操作过程，但本发明的保护范围不限于下述的实施例。
图2为货物托盘的主视图，货物托盘设有两个矩形的托盘孔1，两个托盘孔1之间设有中间立柱2，点P为中间立柱2的中心坐标。
实施例1
一种用于无人叉车的货物托盘定位方法，包括：
采集待测货物托盘图像，识别待测货物托盘图像中货物托盘的中心坐标和分割图像，无人叉车根据中心坐标和分割图像对货物托盘进行定位；
其中，货物托盘的中心坐标为货物托盘的中间立柱2的中心坐标；
识别过程包括：
将待测货物托盘图像输入训练好的YOLOv4模型，获得货物托盘的第一边界框，以设定倍数将第一边界框等比扩大，获得第二边界框；
对第二边界框内的区域进行二值化，获得二值图，对二值图进行形态学滤波步骤，并根据二值图获得两个托盘孔1的轮廓，根据两个托盘孔1的轮廓计算货物托盘的中心坐标；
将第二边界框内的区域输入训练好的GrabCut模型，获得货物托盘的分割图像；
通过目标检测模型获取包含货物托盘区域的第一边界框，减小待测货物托盘图像中背景图像的影响，再通过目标分割模型分割出货物托盘的分割图像，分割精度和准确度高；
由于货物托盘的两个托盘孔1是空心的，且大部分被货物托盘的实体部分遮挡，因而在待测货物托盘图像中托盘孔1亮度低，待测货物托盘图像的二值图中，托盘孔1处的像素值比较低，接近黑色，与货物托盘其他位置差异明显，因此可以准确度提取出两个托盘孔1的轮廓，根据两个托盘孔1的轮廓计算货物托盘的中心坐标，计算简便且准确性高。
如图3，YOLOv4模型包括Input、Backbone、Neck和Prediction四部分，对于YOLOv4架构的选择，主要考虑的是输入分辨率、卷积层数、参数量与输出尺寸之间的平衡，虽然YOLOv4在检测速度与精度上达到了较好的平衡，但由于目标检测模型在进行目标检测时，会受到待测货物托盘图像中背景图像的影响，目标检测模型获取的第一边界框可能无法完全覆盖货物托盘区域，在实际的测试过程中依然存在以下三种预测现象：
如图4，第一边界框和货物托盘区域相交；
如图5，第一边界框包含货物托盘区域；
如图6，货物托盘区域包含第一边界框；
其中，实线代表货物托盘区域轮廓，虚线代表第一边界框。
在实际的测试中并没有货物托盘区域的反馈，从而调节预测结果，若直接使用第一边界框内区域作为GrabCut模型的输入，可能会丢失货物托盘区域的一些部分，导致检测精度下降，因此以设定倍数将第一边界框等比扩大，使得第一边界框完全覆盖货物托盘区域，保证最后获得的分割图像的完整性。
货物托盘的中心坐标的计算公式为：
Figure BDA0003188025570000071
其中，xl、wl、wr和hr表示左边托盘孔1轮廓的左上角坐标、宽度和高度，xr、yr、wr和hr分别表示右边托盘孔1轮廓的左上角坐标、宽度和高度，
Figure BDA0003188025570000072
表示左边托盘孔1轮廓的中心坐标，
Figure BDA0003188025570000073
表示两个托盘孔1轮廓中心横坐标之间的距离，而通过左边托盘孔1轮廓的宽占两个轮廓总宽的比值
Figure BDA0003188025570000074
乘以两个轮廓中心横坐标之间的距离，表示左边托盘孔1轮廓中心到托盘中心的距离。
形态学滤波步骤包括：
对二值图进行卷积核大小为3×3的腐蚀操作，再对二值图进行卷积核大小为3×3的膨胀操作；
对第二边界框内的区域进行二值化，二值化结果存在比较多的噪声，腐蚀操作能够去除部分二值化带来的噪声，膨胀操作将经过腐蚀的二值图轮廓还原，最终获得比较完整的、低噪声的二值图，提高了托盘孔1轮廓的提取精度，进一步提高货物托盘的中心坐标的计算精度和准确度。
GrabCut模型是基于Graph Cut的图分割模型，Graph Cut是基于图论的方法达到图分割目的的。
图7为YOLOv4模型获取的第一边界框实例，将第一边界框等比放大1.2倍，获得第二边界框，图8为利用第二边界框获得的裁剪图，第二边界框内的区域进行二值化，如图9所示，使用第二边界框内的区域的灰度直方图统计得到托盘孔1的像素值在0左右，为了防止在二值化时候丢失托盘孔1信息，二值化阈值设为35，第二边界框内区域二值化后的结果如图10所示，对图10进行腐蚀操作，获得的结果如图11所示，对图11进行膨胀操作，获得的结果如图12所示，利用图12中的托盘孔1轮廓计算求得货物托盘的中心坐标，结果如图13所示，将第二边界框内的区域输入GrabCut模型，获得的分割结果图14所示。可见，本实施例提出的货物托盘定位方法具有较高的精度和准确度。
实施例2
一种用于无人叉车的货物托盘定位系统，包括：
图像采集模块，用于采集待测货物托盘图像；
目标检测模块，用于将待测货物托盘图像输入训练好的YOLOv4模型，获得货物托盘的第一边界框，并以设定倍数将第一边界框等比扩大，获得第二边界框；
中心定位模块，用于对第二边界框内的区域进行二值化，获得二值图，对二值图进行形态学滤波步骤，并根据二值图获得两个托盘孔1的轮廓，根据两个托盘孔1的轮廓计算货物托盘的中心坐标；
目标分割模块，用于将第二边界框内的区域输入训练好的GrabCut模型，获得货物托盘的分割图像；
无人叉车根据中心坐标和分割图像对货物托盘进行定位；
通过目标检测模型获取包含货物托盘区域的第一边界框，减小待测货物托盘图像中背景图像的影响，再通过目标分割模型分割出货物托盘的分割图像，分割精度和准确度高；
另外由于目标检测模型在进行目标检测时，会受到待测货物托盘图像中背景图像的影响，目标检测模型获取的第一边界框可能无法完全覆盖货物托盘区域，以设定倍数将第一边界框等比扩大，使得第一边界框完全覆盖货物托盘区域，保证最后获得的分割图像的完整性；
同时由于货物托盘的两个托盘孔1是空心的，且大部分被货物托盘的实体部分遮挡，因而在待测货物托盘图像中托盘孔1亮度低，待测货物托盘图像的二值图中，托盘孔1处的像素值比较低，接近黑色，与货物托盘其他位置差异明显，因此可以准确度提取出两个托盘孔1的轮廓，根据两个托盘孔1的轮廓计算货物托盘的中心坐标，计算简便且准确性高。
货物托盘的中心坐标的计算公式为：
Figure BDA0003188025570000091
其中，xl、wl、wr和hr表示左边托盘孔1轮廓的左上角坐标、宽度和高度，xr、yr、wr和hr分别表示右边托盘孔1轮廓的左上角坐标、宽度和高度，
Figure BDA0003188025570000092
表示左边托盘孔1轮廓的中心坐标，
Figure BDA0003188025570000093
表示两个托盘孔1轮廓中心横坐标之间的距离，而通过左边托盘孔1轮廓的宽占两个轮廓总宽的比值
Figure BDA0003188025570000094
乘以两个轮廓中心横坐标之间的距离，表示左边托盘孔1轮廓中心到托盘中心的距离。
形态学滤波步骤包括：
中心定位模块对二值图进行卷积核大小为3×3的腐蚀操作，再对二值图进行卷积核大小为3×3的膨胀操作；
对第二边界框内的区域进行二值化，二值化结果存在比较多的噪声，腐蚀操作能够去除部分二值化带来的噪声，膨胀操作将经过腐蚀的二值图轮廓还原，最终获得比较完整的、低噪声的二值图，提高了托盘孔1轮廓的提取精度，进一步提高货物托盘的中心坐标的计算精度和准确度。
目标检测模型为YOLOv4模型，YOLOv4在检测速度与精度上达到了较好的平衡。
实施例1和实施例2提出了一种用于无人叉车的货物托盘定位方法及系统，将待测货物托盘图像输入训练好的目标检测模型，获得货物托盘的第一边界框，以设定倍数将第一边界框等比扩大，获得第二边界框，对第二边界框内的区域进行二值化，获得二值图，对二值图进行形态学滤波步骤，并根据二值图获得两个托盘孔的轮廓，根据两个托盘孔的轮廓计算货物托盘的中心坐标，将第二边界框内的区域输入训练好的目标分割模型，获得货物托盘的分割图像，通过目标检测模型获取包含货物托盘区域的第一边界框，减小待测货物托盘图像中背景图像的影响，再通过目标分割模型分割出货物托盘的分割图像，分割精度和准确度高，以设定倍数将第一边界框等比扩大，使得第一边界框完全覆盖货物托盘区域，保证最后获得的分割图像的完整性，托盘孔亮度低，利用二值图提取两个托盘孔轮廓，根据两个托盘孔的轮廓计算货物托盘的中心坐标，计算简便，因此识别速度快，实时性好，且准确性高。
以上详细描述了本发明的较佳具体实施例。应当理解，本领域的普通技术人员无需创造性劳动就可以根据本发明的构思作出诸多修改和变化。因此，凡本技术领域中技术人员依本发明的构思在现有技术的基础上通过逻辑分析、推理或者有限的实验可以得到的技术方案，皆应在由权利要求书所确定的保护范围内。

Claims (10)

1.一种用于无人叉车的货物托盘定位方法，其特征在于，包括：
采集待测货物托盘图像，识别待测货物托盘图像中货物托盘的中心坐标和分割图像，所述的无人叉车根据中心坐标和分割图像对货物托盘进行定位；
其中，所述的货物托盘的中心坐标为货物托盘的中间立柱的中心坐标；
所述的识别过程包括：
将待测货物托盘图像输入训练好的目标检测模型，获得货物托盘的第一边界框，以设定倍数将第一边界框等比扩大，获得第二边界框；
对第二边界框内的区域进行二值化，获得二值图，对二值图进行形态学滤波步骤，并根据二值图获得两个托盘孔的轮廓，根据两个托盘孔的轮廓计算货物托盘的中心坐标；
将第二边界框内的区域输入训练好的目标分割模型，获得货物托盘的分割图像。
2.根据权利要求1所述的一种用于无人叉车的货物托盘定位方法，其特征在于，所述的货物托盘的中心坐标的计算公式为：
Figure FDA0003188025560000011
其中，xl、wl、wr和hr表示左边托盘孔轮廓的左上角坐标、宽度和高度，xr、yr、wr和hr分别表示右边托盘孔轮廓的左上角坐标、宽度和高度。
3.根据权利要求1所述的一种用于无人叉车的货物托盘定位方法，其特征在于，所述的形态学滤波步骤包括：
对二值图进行卷积核大小为3×3的腐蚀操作，再对二值图进行卷积核大小为3×3的膨胀操作。
4.根据权利要求1所述的一种用于无人叉车的货物托盘定位方法，其特征在于，所述的目标检测模型为YOLOv4模型。
5.根据权利要求1所述的一种用于无人叉车的货物托盘定位方法，其特征在于，所述的目标分割模型为GrabCut模型。
6.一种用于无人叉车的货物托盘定位系统，其特征在于，包括：
图像采集模块，用于采集待测货物托盘图像；
目标检测模块，用于将待测货物托盘图像输入训练好的目标检测模型，获得货物托盘的第一边界框，并以设定倍数将第一边界框等比扩大，获得第二边界框；
中心定位模块，用于对第二边界框内的区域进行二值化，获得二值图，对二值图进行形态学滤波步骤，并根据二值图获得两个托盘孔的轮廓，根据两个托盘孔的轮廓计算货物托盘的中心坐标；
目标分割模块，用于将第二边界框内的区域输入训练好的目标分割模型，获得货物托盘的分割图像；
所述的无人叉车根据中心坐标和分割图像对货物托盘进行定位。
7.根据权利要求6所述的一种用于无人叉车的货物托盘定位系统，其特征在于，所述的货物托盘的中心坐标的计算公式为：
Figure FDA0003188025560000021
其中，xl、wl、wr和hr表示左边托盘孔轮廓的左上角坐标、宽度和高度，xr、yr、wr和hr分别表示右边托盘孔轮廓的左上角坐标、宽度和高度。
8.根据权利要求6所述的一种用于无人叉车的货物托盘定位系统，其特征在于，所述的形态学滤波步骤包括：
所述的中心定位模块对二值图进行卷积核大小为3×3的腐蚀操作，再对二值图进行卷积核大小为3×3的膨胀操作。
9.根据权利要求6所述的一种用于无人叉车的货物托盘定位系统，其特征在于，所述的目标检测模型为YOLOv4模型。
10.根据权利要求6所述的一种用于无人叉车的货物托盘定位系统，其特征在于，所述的目标分割模型为GrabCut模型。
CN202110868163.1A 2021-07-30 2021-07-30 一种用于无人叉车的货物托盘定位方法及系统 Active CN113724322B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110868163.1A CN113724322B (zh) 2021-07-30 2021-07-30 一种用于无人叉车的货物托盘定位方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110868163.1A CN113724322B (zh) 2021-07-30 2021-07-30 一种用于无人叉车的货物托盘定位方法及系统

Publications (2)

Publication Number Publication Date
CN113724322A true CN113724322A (zh) 2021-11-30
CN113724322B CN113724322B (zh) 2024-05-07

Family

ID=78674433

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110868163.1A Active CN113724322B (zh) 2021-07-30 2021-07-30 一种用于无人叉车的货物托盘定位方法及系统

Country Status (1)

Country Link
CN (1) CN113724322B (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114529715A (zh) * 2022-04-22 2022-05-24 中科南京智能技术研究院 一种基于边缘提取的图像识别方法及系统
CN116363020A (zh) * 2023-06-01 2023-06-30 青岛市中心医院 一种肺癌影像智能识别增强系统

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107945192A (zh) * 2017-12-14 2018-04-20 北京信息科技大学 一种托盘纸箱垛型实时检测方法
CN109584296A (zh) * 2018-09-28 2019-04-05 上海神添实业有限公司 一种基于单目视觉的叉车识别测距方法
CN109870983A (zh) * 2017-12-04 2019-06-11 北京京东尚科信息技术有限公司 处理托盘堆垛图像的方法、装置及用于仓储拣货的系统
CN111986185A (zh) * 2020-08-25 2020-11-24 浙江工业大学 一种基于深度相机的托盘检测定位方法
CN112001972A (zh) * 2020-09-25 2020-11-27 劢微机器人科技(深圳)有限公司 托盘位姿定位方法、装置、设备及存储介质
WO2021047684A1 (zh) * 2019-09-09 2021-03-18 华南理工大学 基于主动轮廓和深度学习的模糊边界图像自动分割方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109870983A (zh) * 2017-12-04 2019-06-11 北京京东尚科信息技术有限公司 处理托盘堆垛图像的方法、装置及用于仓储拣货的系统
CN107945192A (zh) * 2017-12-14 2018-04-20 北京信息科技大学 一种托盘纸箱垛型实时检测方法
CN109584296A (zh) * 2018-09-28 2019-04-05 上海神添实业有限公司 一种基于单目视觉的叉车识别测距方法
WO2021047684A1 (zh) * 2019-09-09 2021-03-18 华南理工大学 基于主动轮廓和深度学习的模糊边界图像自动分割方法
CN111986185A (zh) * 2020-08-25 2020-11-24 浙江工业大学 一种基于深度相机的托盘检测定位方法
CN112001972A (zh) * 2020-09-25 2020-11-27 劢微机器人科技(深圳)有限公司 托盘位姿定位方法、装置、设备及存储介质

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114529715A (zh) * 2022-04-22 2022-05-24 中科南京智能技术研究院 一种基于边缘提取的图像识别方法及系统
CN114529715B (zh) * 2022-04-22 2022-07-19 中科南京智能技术研究院 一种基于边缘提取的图像识别方法及系统
CN116363020A (zh) * 2023-06-01 2023-06-30 青岛市中心医院 一种肺癌影像智能识别增强系统

Also Published As

Publication number Publication date
CN113724322B (zh) 2024-05-07

Similar Documents

Publication Publication Date Title
CN108389179B (zh) 一种基于机器视觉的罐盖表面缺陷检测方法
CN107507167B (zh) 一种基于点云平面轮廓匹配的货物托盘检测方法及系统
CN109658402B (zh) 基于计算机视觉成像的工业型材几何尺寸自动检测方法
CN109839385B (zh) 一种自适应的pcb板缺陷视觉定位检测及分类系统
CN111915704A (zh) 一种基于深度学习的苹果分级识别方法
CN110443791B (zh) 一种基于深度学习网络的工件检测方法及其检测装置
CN113724322B (zh) 一种用于无人叉车的货物托盘定位方法及系统
CN109815822B (zh) 基于广义Hough变换的巡检图零部件目标识别方法
CN102693423A (zh) 一种在强光条件下车牌精确定位的方法
CN106780526A (zh) 一种铁氧体圆片表面裂痕识别方法
CN109540925B (zh) 基于差影法与局部方差测量算子的复杂瓷砖表面缺陷检测方法
CN112085700B (zh) X射线图像中焊缝区域的自动化提取方法、系统及介质
CN110070523B (zh) 一种用于瓶底的异物检测方法
CN111222507A (zh) 数字式仪表读数的自动识别方法、计算机可读存储介质
CN110674812A (zh) 一种面向复杂背景的民用车牌定位与字符分割方法
CN110276759B (zh) 一种基于机器视觉的手机屏坏线缺陷诊断方法
CN114332622A (zh) 一种基于机器视觉的标签检测方法
CN112419225B (zh) 一种基于引脚分割的sop型芯片检测方法及系统
CN112418210B (zh) 一种杆塔巡检信息智能分类方法
CN110046618B (zh) 基于机器学习和最大极值稳定区域的车牌识别方法
CN113822836A (zh) 标记图像的方法
CN109191489B (zh) 一种飞行器着陆标志的检测跟踪方法与系统
CN111523583B (zh) 一种利用无人机对设备铭牌照片自动识别分类的方法
CN115239595A (zh) 一种包装印刷品二维码合格性检测方法
CN112288372B (zh) 一种可同时识别一维条码和三段码字符的快递单识别方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant