CN111369544A

CN111369544A - 一种托盘定位检测方法、装置及智能叉车

Info

Publication number: CN111369544A
Application number: CN202010157009.9A
Authority: CN
Inventors: 高绍斌
Original assignee: Guangzhou Gaitek Information Technology Co ltd
Current assignee: Guangzhou Gaitek Information Technology Co ltd
Priority date: 2020-03-09
Filing date: 2020-03-09
Publication date: 2020-07-03
Anticipated expiration: 2040-03-09
Also published as: CN111369544B

Abstract

本发明公开了一种托盘定位检测方法、装置及智能叉车，其中该方法采用主动式光源对场景照射，可获取稳定的图像特征，增强环境抗干扰能力，并对场景在有外加光源以及无外加光源下的两种图像进行图像差分运算以及二值化处理，可有效减少不同图像背景对识别的影响，本方法能显著提高智能叉车对托盘的识别效率和识别成功率，从而提高叉车的工作效率以及智能化程度。

Description

一种托盘定位检测方法、装置及智能叉车

技术领域

本发明属于智能叉车控制技术领域，具体涉及一种托盘定位检测方法、装置及智能叉车。

背景技术

叉车是工业搬运车辆，是指对成件托盘货物进行装卸、堆垛和短距离运输作业的各种轮式搬运车辆。常用于仓储物件的运输，在企业的物流系统中扮演着非常重要的角色，是物料搬运设备中的主力军。其被广泛应用于车站、港口、机场、工厂、仓库等各个贸易中转节点的货物运输。随着科技发展，叉车的智能化程度也日益提高，为了适应更快节奏更高负荷的货物流转需求，叉车的智能控制和自动化运行也日益得到重视。

叉车一般用于对托盘进行叉取搬运，以对托盘所承载的货物进行转移。现有技术中，智能叉车在对托盘进行识别时，普遍采用摄像头获取托盘影像进行识别，这种识别方式存在识别时间长、效率差且失败率高的缺点，亟待解决。

发明内容

为了克服上述技术缺陷，本发明提供一种托盘定位检测方法、装置及智能叉车，能显著提高智能叉车对托盘的识别效率和识别成功率，从而提高叉车的工作效率以及智能化程度。

为了解决上述问题，本发明按以下技术方案予以实现的：

一种托盘定位检测方法，其步骤包括：

使用摄像头获取当前场景的第一影像数据；所述当前场景内包括托盘的影像；所述托盘的影像中所述托盘的叉取口所在的侧面为高度已知的矩形；

采用主动式光源对所述当前场景进行照射，并同时使用摄像头获取所述当前场景的第二影像数据；

对所述第一影像数据和第二影像数据进行图像差分处理得到第三影像数据；

对所述第三影像数据进行二值化处理得到第四影像数据；

检测所述第四影像数据是否存在两条平行线段，且所述两条平行线段的间距小于或等于所述矩形的高度；

若是，获取所述两条平行线段的中心连接线的中点，并计算所述中点与所述第四影像数据的中心点的偏移信息；所述偏移信息即所述摄像头与所述托盘的中心之间的偏移信息。

进一步的，所述主动式光源发射出固定图形的激光束对所述当前场景进行照射。

进一步的，在所述对所述第一影像数据和第二影像数据进行图像差分处理得到第三影像数据的步骤之前还包括：

对所述第一影像数据和所述第二影像数据进行均值滤波处理。

进一步的，所述均值滤波处理为采用滤波器窗口矩阵对所述第一影像数据和所述第二影像数据进行均值滤波处理；

所述滤波器窗口矩阵被表示为：

进一步的，所述对所述第三影像数据进行二值化处理得到第四影像数据的步骤包括：

获取所述第三影像数据中的所有像素点的灰度值；

将所述第三影像数据中每个像素点的灰度值与预设阈值相比较：

当像素点的灰度值大于或等于预设阈值时，将该像素点的灰度值修改为灰度极大值；

当像素点的灰度值小于预设阈值时，将该像素点的灰度值修改为灰度极小值。

进一步的，所述预设阈值为固定阈值或自适应阈值。

进一步的，所述偏移信息包括偏移距离和偏移方向

进一步的，本方法还包括以下步骤：

根据所述摄像头与叉车的特定位置之间的位置关系，将所述摄像头与所述托盘的中心之间的偏移信息转化为叉车的特定位置与所述托盘中心之间的偏移信息。

本发明还公开了一种托盘定位检测装置，包括一个或多个处理器；存储器；以及一个或多个计算机程序，其中所述一个或多个计算机程序被存储在所述存储器中，并被配置成由所述一个或多个处理器执行，所述处理器执行所述计算机程序以执行如前所述的托盘定位检测方法中的步骤。

本发明还公开了一种智能叉车，包括摄像头，主动式光源，控制模块和叉取驱动模块。其中，摄像头用于获取当前场景的影像数据；主动式光源用于对当前场景进行照射；控制模块电连接至所述摄像头和主动式光源，用于执行如前所述的托盘定位检测方法中的步骤以获取所述偏移信息，并根据所述偏移信息生成控制命令；叉取驱动模块用于根据所述控制命令对托盘进行叉取。

相对于现有技术，本发明的有益效果为：

附图说明

图1是本发明的实施例1中所述托盘定位检测方法的步骤示意图；

图2是本发明的实施例2中所述托盘定位检测装置的功能模块示意图；

图3是本发明的实施例3中所述智能叉车的功能模块示意图。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本发明实施例的组件可以以各种不同的配置来布置和设计。

因此，以下对在附图中提供的本发明的实施例的详细描述并非旨在限制要求保护的本发明的范围，而是仅仅表示本发明的选定实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释。同时，在本发明的描述中，术语“第一”、“第二”等仅用于区分描述，而不能理解为指示或暗示相对重要性。此外，本发明中的附图仅仅对本发明中的实施例的结构或功能做出示例性的说明，其大小、长度、比例在没有说明或标注的情况下，并不对实施例中的结构或功能做出具体的限定。

需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。

在本发明的描述中，需要说明的是，术语“上”、“下”、“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系，或者是该发明产品使用时惯常摆放的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。

在本发明的描述中，还需要说明的是，除非另有明确的规定和限定，术语“设置”、“连接”应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或一体地连接；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通。对于本领域的普通技术人员而言，可以具体情况理解上述术语在本发明中的具体含义。

实施例1

如图1所示，本实施例公开了一种托盘定位检测方法，其步骤包括：

S1、使用摄像头获取当前场景的第一影像数据。

具体的，当前场景内包括托盘的影像，具体的，托盘的影像中托盘的叉取口所在的侧面为高度已知的矩形。

S2、采用主动式光源对当前场景进行照射，并同时使用摄像头获取当前场景的第二影像数据。

具体在本实施例中，主动式光源发射出固定图形的激光束对当前场景进行照射。优选的，主动式光源可同时发射两条相互平行的激光束对当前场景进行照射，增强环境抗干扰能力。

S3、对第一影像数据和第二影像数据进行均值滤波处理。

具体在本实施例中，步骤S3具体为采用滤波器窗口矩阵对第一影像数据和第二影像数据进行均值滤波处理；

具体的，滤波器窗口矩阵被表示为：

S4、对第一影像数据和第二影像数据进行图像差分处理得到第三影像数据。

S5、对第三影像数据进行二值化处理得到第四影像数据。

具体在本实施例中，步骤S5的步骤具体包括：

S51、获取第三影像数据中的所有像素点的灰度值；

S52、将第三影像数据中每个像素点的灰度值与预设阈值相比较：

S53、当像素点的灰度值大于或等于预设阈值时，将该像素点的灰度值修改为灰度极大值；

S54、当像素点的灰度值小于预设阈值时，将该像素点的灰度值修改为灰度极小值。

具体在本实施例中，预设阈值可以为固定阈值或自适应阈值。具体的，预设阈值为固定阈值，可以为但不限于自设阈值或第三影像数据的灰度平均值。具体的，预设阈值为自适应阈值时，根据第三影像数据的不同区域灰度值分布，计算其不同区域的局部阈值。

S6、检测第四影像数据中的托盘影像，并获取托盘影像与第四影像数据中心的偏移信息。

具体的，步骤S6具体为检测第四影像数据中是否存在两条平行线段，且两条平行线段的间距小于或等于矩形的高度：若是，获取两条平行线段的中心连接线的中点，并计算中点与第四影像数据的中心点的偏移信息。

具体的，获取的偏移信息即摄像头与托盘的中心之间的偏移信息。

具体在本实施例中，偏移信息包括偏移距离和偏移方向

S7、根据摄像头与叉车的特定位置之间的位置关系，将摄像头与托盘的中心之间的偏移信息转化为叉车的特定位置与托盘中心之间的偏移信息。

具体的，后续叉车可利用叉车的特定位置与托盘中心之间的偏移信息来驱动叉车的叉杆移动并对托盘进行叉取。

接下来通过一个实际的叉车的设备运行实例来对上述方法进行进一步的参照说明：

首先，叉车的单片机控制器控制激光模块电源关闭，并触发摄像头传感器采集第一帧图像，单片机控制器接收到一帧完整的M*N的原始图像数据A后采用一个3*3的窗口矩阵B进行均值滤波处理得到一帧M*N的图像数据A’，并保存在单片机控制器的内存中。

其中M为图像长度像素点值，N为图像高度像素点值，滤波器窗口矩阵B表示为：

接着单片机控制器控制激光模块电源开启，并触发摄像头传感器采集第二帧图像，单片机控制器接收到一帧完整的M*N图像数据C后,同样采用一个3*3的窗口矩阵B进行均值滤波处理得到一帧M*N的图像数据C’，滤波完成后第二帧图像C’和第一帧A’图像对应的像素点的灰度值进行求差运算，得到一帧M*N 的图像数据D，表示为：D＝C’–A’。

再将图像数据D中的每个像素点灰度值与系统预设阈值δ相比较，当像素点灰度值大于等于δ将该像素点值置1，当像素点灰度值小于δ将该像素点值置 0，由此得到一帧M*N的二值化图像数据E。

最后在图像E中进行横向直线段检测，若图像E中检测到两条平行直线段且线段长度和两线段间距在系统预设阈值范围内，由此两线段的横向中心位置相对图像E的横向中心偏移值即可得到摄像头传感器横向中心位置相对于托盘中心的偏移距离。

本实施例公开的托盘定位检测方法，采用主动式光源对场景照射，可获取稳定的图像特征，增强环境抗干扰能力，并对场景在有外加光源以及无外加光源下的两种图像进行图像差分运算以及二值化处理，可有效减少不同图像背景对识别的影响，本方法能显著提高智能叉车对托盘的识别效率和识别成功率，从而提高叉车的工作效率以及智能化程度。

实施例2

如图2所示，本实施例公开了一种托盘定位检测装置，包括处理器；存储器；以及计算机程序，其中计算机程序被存储在存储器中，并被配置成由处理器执行，处理器执行计算机程序以执行如实施例1中所述的托盘定位检测方法中的步骤。

实施例3

如图3所示，本实施例公开了一种智能叉车，包括摄像头1，主动式光源2，控制模块3和叉取驱动模块4。具体的，摄像头1用于获取当前场景的影像数据；主动式光源2用于对当前场景进行照射；控制模块3电连接至摄像头1和主动式光源2和叉取驱动模块4，用于执行如实施例1中所述的托盘定位检测方法中的步骤以获取偏移信息，并根据偏移信息生成控制命令传输至叉取驱动模块4；叉取驱动模块4用于根据控制命令对托盘进行叉取。

具体的，叉取驱动模块4可包括叉车的驱动部件和叉杆的上下驱动部件，具体的，控制模块3根据偏移信息可确定叉车的叉杆与托盘中心之间的距离或路径，并以此生产控制命令，叉车的驱动部件首先执行驱动叉车调整至正对托盘的位置，叉杆的上下驱动部件再驱动叉杆在竖直方向上移动至托盘的位置并对托盘进行叉取，从而实现对托盘的叉取和运输。

本领域普通技术人员可以意识到，结合本发明实施例中所公开的实施例描述的各示例的方法步骤，能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。

在本申请所提供的实施例中，应该理解到，所揭露的装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。

所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。

另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。

所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可查看存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、ROM、RAM、磁碟或者光盘等各种可以存储程序代码的介质。

以上详细描述了本发明的较佳具体实施例，应当理解，本领域的普通技术人员无需创造性劳动就可以根据本发明的构思作出诸多修改和变化。因此，凡本技术领域中技术人员依本发明构思在现有技术基础上通过逻辑分析、推理或者根据有限的实验可以得到的技术方案，均应该在由本权利要求书所确定的保护范围之中。

Claims

1.一种托盘定位检测方法，其特征在于，其步骤包括：

对所述第三影像数据进行二值化处理得到第四影像数据；

2.根据权利要求1所述的托盘定位检测方法，其特征在于，所述主动式光源发射出固定图形的激光束对所述当前场景进行照射。

3.根据权利要求1所述的托盘定位检测方法，其特征在于，在所述对所述第一影像数据和第二影像数据进行图像差分处理得到第三影像数据的步骤之前还包括：

4.根据权利要求3所述的托盘定位检测方法，其特征在于，所述均值滤波处理为采用滤波器窗口矩阵对所述第一影像数据和所述第二影像数据进行均值滤波处理；

所述滤波器窗口矩阵被表示为：

5.根据权利要求1中所述的托盘定位检测方法，其特征在于，所述对所述第三影像数据进行二值化处理得到第四影像数据的步骤包括：

获取所述第三影像数据中的所有像素点的灰度值；

6.根据权利要求5中所述的托盘定位检测方法，其特征在于，所述预设阈值为固定阈值或自适应阈值。

7.根据权利要求1中所述的托盘定位检测方法，其特征在于，所述偏移信息包括偏移距离和偏移方向。

8.根据权利要求1-7任一项中所述的托盘定位检测方法，其特征在于，还包括以下步骤：

9.一种托盘定位检测装置，包括一个或多个处理器；

存储器；以及

一个或多个计算机程序，其中所述一个或多个计算机程序被存储在所述存储器中，并被配置成由所述一个或多个处理器执行，其特征在于，所述处理器执行所述计算机程序以执行如权利要求1-8中任一项所述的托盘定位检测方法中的步骤。

10.一种智能叉车，其特征在于，包括：

摄像头，用于获取当前场景的影像数据；

主动式光源，用于对当前场景进行照射；

控制模块，电连接至所述摄像头和主动式光源，用于执行如权利要求1-8中任一项所述的托盘定位检测方法中的步骤以获取所述偏移信息，并根据所述偏移信息生成控制命令；

叉取驱动模块，用于根据所述控制命令对托盘进行叉取。