CN114972489A - 托盘识别方法、装置、存储介质及智能叉车设备 - Google Patents
托盘识别方法、装置、存储介质及智能叉车设备 Download PDFInfo
- Publication number
- CN114972489A CN114972489A CN202210606314.0A CN202210606314A CN114972489A CN 114972489 A CN114972489 A CN 114972489A CN 202210606314 A CN202210606314 A CN 202210606314A CN 114972489 A CN114972489 A CN 114972489A
- Authority
- CN
- China
- Prior art keywords
- tray
- category
- parameters
- intelligent forklift
- template
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B66—HOISTING; LIFTING; HAULING
- B66F—HOISTING, LIFTING, HAULING OR PUSHING, NOT OTHERWISE PROVIDED FOR, e.g. DEVICES WHICH APPLY A LIFTING OR PUSHING FORCE DIRECTLY TO THE SURFACE OF A LOAD
- B66F9/00—Devices for lifting or lowering bulky or heavy goods for loading or unloading purposes
- B66F9/06—Devices for lifting or lowering bulky or heavy goods for loading or unloading purposes movable, with their loads, on wheels or the like, e.g. fork-lift trucks
- B66F9/075—Constructional features or details
- B66F9/0755—Position control; Position detectors
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T1/00—General purpose image data processing
- G06T1/0014—Image feed-back for automatic industrial control, e.g. robot with camera
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/50—Depth or shape recovery
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
- G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
- G06V10/751—Comparing pixel values or logical combinations thereof, or feature values having positional relevance, e.g. template matching
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10024—Color image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10028—Range image; Depth image; 3D point clouds
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30248—Vehicle exterior or interior
- G06T2207/30252—Vehicle exterior; Vicinity of vehicle
Abstract
本发明提供了一种托盘识别方法、装置、存储介质及智能叉车设备，所述方法包括：获取智能叉车在行进过程中与托盘的距离信息；当智能叉车与托盘的距离信息小于预设的距离阈值时，获取托盘的图像数据，并对图像数据中的像素进行分类，得到类别矩阵；对类别矩阵与预设的托盘类别模板进行模板匹配，从图像数据中识别出托盘的感兴趣区域；提取托盘感兴趣区域内托盘的托盘参数，根据所述托盘参数计算出托盘的姿态参数。本发明能够快速、准确的识别出托盘的感兴趣区域，并根据托盘的感兴趣区域内托盘的托盘参数计算出托盘的姿态参数，以便于智能叉车靠近托盘时快速准确的确定托盘的拾取位置，提高了智能叉车的工作效率。
Description
技术领域
本发明涉及智能叉车智能控制领域，尤其涉及一种托盘识别方法、装置、存储介质及智能叉车设备。
背景技术
随着计算机与机器人技术的快速发展，智能叉车在物流行业中的广泛应用，标志着仓储物流技术向自动化和智能化发展。但在非结构化仓库的复杂环境中，受到作业流程、设备精度、人工作业等因素影响，托盘码放的位置和姿态存在着较大的不确定性，导致智能叉车无法快速、准确的识别托盘的拾取位置，无法满足仓储物流产业高效的作业需求。
发明内容
为解决上述技术问题，本发明提出了一种托盘识别方法、装置、存储介质及智能叉车设备。
本发明的一个方面，提供了一种托盘识别方法，所述方法包括：
获取智能叉车在行进过程中与托盘的距离信息；
当智能叉车与托盘的距离信息小于预设的距离阈值时，获取托盘的图像数据，并对图像数据中的像素进行分类，得到类别矩阵；
对所述类别矩阵与预设的托盘类别模板进行模板匹配，从图像数据中识别出托盘的感兴趣区域；
提取托盘感兴趣区域内托盘的托盘参数，根据所述托盘参数计算出托盘的姿态参数，以使智能叉车根据所述托盘的姿态参数对所述托盘进行准确拾取。
进一步地，所述方法还包括：
根据托盘信息、放置于托盘上的物料信息以及托盘与地面的空间、尺寸关系建立托盘类别模板，所述托盘类别模板为基于托盘上的物料信息和托盘与地面的空间、尺寸关系对托盘进行标识的描述信息。
进一步地，所述托盘信息包括托盘编号、托盘尺寸和托盘孔位置中的一项或多项；
所述对所述类别矩阵与预设的托盘类别模板进行匹配，从图像数据中识别出托盘的感兴趣区域包括：
基于小孔成像模型根据智能叉车与托盘之间的距离、托盘尺寸计算压缩网格尺寸；
对类别矩阵和类别模板基于压缩网格尺寸进行压缩，得到压缩后的类别矩阵和压缩后的类别模板；
通过卷积运算计算压缩后的类别矩阵中各个像素和压缩后的类别模板的匹配值；
当匹配值大于预设的匹配阈值时，则将当前像素对应的区域作为托盘的感兴趣区域。
进一步地，所述获取智能叉车在行进过程中与托盘的距离信息包括：
获取托盘的深度图像及彩色图像；
从彩色图像中识别出托盘的位置区域；
根据深度图像的深度信息确定智能叉车距离托盘的位置区域的距离，获得初始距离。
进一步地，所述托盘参数包括托盘的支架坐标；
所述提取托盘感兴趣区域内托盘的托盘参数，根据所述托盘参数计算出托盘的姿态参数包括：将所述托盘的支架坐标输入到预设的托盘姿态计算模型，以计算出托盘待拾取侧面的中心坐标以及托盘相对于智能叉车拾取方向的角度，所述托盘姿态计算模型基于预设神经网络训练得到。
进一步地，所述方法还包括：
获取托盘的多帧图像数据；
根据所述多帧图像数据中托盘感兴趣区域内托盘的托盘参数计算出托盘的多组姿态参数；
基于滑动窗口均值方法对托盘的所述多组姿态参数进行滤波，得到精确的托盘位姿参数。
本发明另一方面，提供了一种托盘识别装置，所述装置包括：
距离确定模块，用于获取智能叉车在行进过程中与托盘的距离信息；
类别矩阵提取模块，用于当智能叉车与托盘的距离信息小于预设的距离阈值时，获取托盘的图像数据，并对图像数据中的像素进行分类，得到类别矩阵；
模板匹配模块，用于对所述类别矩阵与预设的托盘类别模板进行模板匹配，从图像数据中识别出托盘的感兴趣区域；
参数计算模块，用于提取托盘感兴趣区域内托盘的托盘参数，根据所述托盘参数计算出托盘的姿态参数，以使智能叉车根据所述托盘的姿态参数对所述托盘进行准确拾取。
进一步地，所述模板匹配模块包括：
压缩网格计算单元，用于基于小孔成像模型根据智能叉车与托盘之间的距离、托盘尺寸计算压缩网格尺寸；
压缩单元，用于对类别矩阵和类别模板基于压缩网格尺寸进行压缩，得到压缩后的类别矩阵和压缩后的类别模板；
匹配值计算单元，用于通过卷积运算计算压缩后的类别矩阵中各个像素和压缩后的类别模板的匹配值；
感兴趣区域提取单元，用于当匹配值大于预设的匹配阈值时，则将当前像素对应的区域作为托盘的感兴趣区域。
此外，本发明还提供了一种计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现如上所述方法的步骤。
此外，本发明还提供了一种智能叉车设备，包括存储器、处理器及存储在存储器上并在处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如上所述方法的步骤。
本发明实施例提供的托盘识别方法、装置、存储介质及智能叉车设备，能够在叉车行进过程中快速、准确的识别出托盘的感兴趣区域，并根据托盘的感兴趣区域内托盘的托盘参数计算出托盘的姿态参数，以便于智能叉车靠近托盘时快速准确的确定托盘的拾取位置，提高了智能叉车的工作效率。
上述说明仅是本发明技术方案的概述，为了能够更清楚了解本发明的技术手段，而可依照说明书的内容予以实施，并且为了让本发明的上述和其它目的、特征和优点能够更明显易懂，以下特举本发明的具体实施方式。
附图说明
通过阅读下文优选实施方式的详细描述，各种其他的优点和益处对于本领域普通技术人员将变得清楚明了。附图仅用于示出优选实施方式的目的，而并不认为是对本发明的限制。而且在整个附图中，用相同的参考符号表示相同的部件。在附图中：
图1为本发明实施例提供的一种托盘识别方法的流程示意图；
图2为本发明实施例提供的一种托盘识别装置的结构示意图。
具体实施方式
为了使本领域技术人员更好的理解本发明方案，下面将结合本发明实施例中的附图，对本发明的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
需要说明的是，本发明的说明书和权利要求书及上述附图中的术语″第一″、″第二″等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本发明的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语″包括″和″具有″以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。此外，下面所描述的本发明不同实施方式中所涉及的技术特征只要彼此之间未构成冲突就可以相互结合。
图1示意性示出了本发明实施例提供的一种托盘识别方法的流程图，由图1可知，本发明的托盘识别方法包括如下步骤：
S1、获取智能叉车在行进过程中与托盘的距离信息；
在本发明实施例中，获取智能叉车在行进过程中与托盘的距离信息包括获取托盘的深度图像及彩色图像；从彩色图像中识别出托盘的位置区域；根据深度图像的深度信息确定智能叉车距离托盘的位置区域的距离，获得初始距离。本发明实施例的图像采集装置在行进的过程中实时采集前方的图像信息，图像信息包括了彩色图像和深度图像，其图像采集装置可以为于RGB-D传感器或其他可以同步获得深度图像和彩色图像的组合装置，对此本发明不做限定。
S2、当智能叉车与托盘的距离信息小于预设的距离阈值时，获取托盘的图像数据，并对图像数据中的像素进行分类，得到类别矩阵；
在本发明实施例中距离阈值为系统预设的智能叉车能够对托盘姿态进行准确识别的最远距离，即可探测距离。当智能叉车与托盘的距离信息小于预设的距离阈值时便可以计算托盘的姿态参数以确定智能叉车的拾取位置。
进一步地，获取托盘的图像数据，并对图像数据中的像素进行分类，得到类别矩阵具体为，基于预设的分类器对图像中的每个像素进行分类，得到每个像素的类别信息，然后根据每个像素的类别信息建立类别矩阵。其每个像素的类别信息包括是托盘的类别、不是托盘的类别。分类器为基于托盘类别模板预先建立的，通过分类器的快速比对，能够快速识别出每个像素中属于托盘类别的像素点。
S3、对所述类别矩阵与预设的托盘类别模板进行模板匹配，从图像数据中识别出托盘的感兴趣区域；
在本发明实施例中，在识别出图像数据中是托盘的像素点之后还需要进一步确认托盘的感兴趣区域，即进一步确定待拾取托盘坐在的区域。引而，对所述类别矩阵与预设的托盘类别模板进行模板匹配，从图像数据中识别出托盘的感兴趣区域。
进一步地，托盘类别模板为基于托盘上的物料信息和托盘与地面的空间、尺寸关系对托盘进行标识的描述信息。是根据托盘信息、放置于托盘上的物料信息以及托盘与地面的空间、尺寸关系建立的。其中托盘信息包括托盘编号、托盘尺寸、托盘形状、托盘孔位置中的一项或多项，物料信息包括物料编号、物料名称、物料数量、订单批次、物料规格、物料重量中的一项或多项。
进一步地，对所述类别矩阵与预设的托盘类别模板进行匹配，从图像数据中识别出托盘的感兴趣区域具体包括：基于小孔成像模型根据智能叉车与托盘之间的距离、托盘尺寸计算压缩网格尺寸；对类别矩阵和类别模板基于压缩网格尺寸进行压缩，得到压缩后的类别矩阵和压缩后的类别模板；通过卷积运算计算压缩后的类别矩阵中各个像素和压缩后的类别模板的匹配值；当匹配值大于预设的匹配阈值时，则将当前像素对应的区域作为托盘的感兴趣区域。
需要说明的是，相机在对场景进行拍摄时是将3D场景转化为2D场景，因而我们很难通过照片确定物体的真实大小，而相机镜头在进行图像采集时的相机模型可以通过小孔成像模型来描述，即成像的大小取决于物体本身的大小和物体距离小孔的距离。为了能够使类别矩阵中的各个像素和类别模板在压缩后与真实物体的压缩比例相同，需要基于小孔成像模型，根据智能叉车与托盘之间的距离、托盘尺寸计算压缩网格尺寸，基于压缩网格尺寸换算得出类别矩阵中各个像素点的压缩比例，和类别模板的压缩比例，使得各个像素和类别模板在压缩后与真实物体的压缩比例相同。
进一步地，匹配阈值为系统预设的可以根据对识别准确率、识别速率等条件的不同要求设置不同的阈值，对此本发明不做限定。本发明实施例采用压缩模板匹配算法，能够识别托盘的角度更大，可达±25°，同时抗干扰和抗遮挡能力更强。
S4、提取托盘感兴趣区域内托盘的托盘参数，根据所述托盘参数计算出托盘的姿态参数，以使智能叉车根据所述托盘的姿态参数对所述托盘进行准确拾取。
在本发明实施例中，托盘参数包括托盘的支架坐标；提取托盘感兴趣区域内托盘的托盘参数，根据所述托盘参数计算出托盘的姿态参数包括：将所述托盘的支架坐标输入到预设的托盘姿态计算模型，以计算出托盘待拾取侧面的中心坐标以及托盘相对于智能叉车拾取方向的角度，其中托盘姿态计算模型基于预设神经网络训练得到。
需要说明的是，智能叉车在行进的过程中，需要不断调整智能叉车的叉架与托盘的相对位置，以完成托盘拾取的任务。因为，可以根据托盘待拾取侧面的中心坐标确定行驶到达的位置，根据托盘相对于智能叉车拾取方向的角度确定叉车行驶过程中的偏转角度。此外，本发明实施例中的托盘的支架坐标、托盘待拾取侧面的中心坐标为同一坐标系下的坐标参数、或可以根据简单的坐标变换转化为同一坐标系下的参数，以便于智能叉车设备快速根据相应的坐标值快速计算并规划行驶路径。
此外，为了提高智能叉车在拾取托盘时的准确性，本发明实施例还包括在托盘行驶过程中获取托盘的多帧图像数据；根据托盘的多帧图像数据中托盘兴趣区域内托盘的托盘参数计算出托盘的多组姿态参数；基于滑动窗口均值方法对所述托盘的多组姿态参数进行滤波，得到精确的托盘位姿参数。其中滑动窗口均值方法为现有技术，本发明不做过多介绍。
本发明实施例中的托盘的姿态参数的计算时间随探测距离的减少而减少，在距离为1000mm，2000mm，3000mm和4000mm时，算法所用时间分别为72.44ms，85.45ms，117.63ms和182.84ms。
图2示意性示出了本发明实施例的一种托盘识别装置的结构示意图。参照图2，本发明实施例的一种托盘识别装置具体包括距离确定模块201、类别矩阵提取模块202、模板匹配模块203以及参数计算模块204，其中，
距离确定模块201，用于获取智能叉车在行进过程中与托盘的距离信息；
类别矩阵提取模块202，用于当智能叉车与托盘的距离信息小于预设的距离阈值时，获取托盘的图像数据，并对图像数据中的像素进行分类，得到类别矩阵；
模板匹配模块203，用于对所述类别矩阵与预设的托盘类别模板进行模板匹配，从图像数据中识别出托盘的感兴趣区域；
参数计算模块203，用于提取托盘感兴趣区域内托盘的托盘参数，根据所述托盘参数计算出托盘的姿态参数，以使智能叉车根据所述托盘的姿态参数对所述托盘进行准确拾取。
进一步的，，所述模板匹配模块包括：
压缩网格计算单元，用于基于小孔成像模型根据智能叉车与托盘之间的距离、托盘尺寸计算压缩网格尺寸；
压缩单元，用于对类别矩阵和类别模板基于压缩网格尺寸进行压缩，得到压缩后的类别矩阵和压缩后的类别模板；
匹配值计算单元，用于通过卷积运算计算压缩后的类别矩阵中各个像素和压缩后的类别模板的匹配值；
感兴趣区域提取单元，用于当匹配值大于预设的匹配阈值时，则将当前像素对应的区域作为托盘的感兴趣区域。
进一步地，距离确定模块201包括：
图像获取单元，用于获取托盘的深度图像及彩色图像；
托盘位置识别单元，用于从彩色图像中识别出托盘的位置区域；
深度信息提取单元，用于根据深度图像的深度信息确定智能叉车距离托盘的位置区域的距离，获得初始距离。
对于装置实施例而言，由于其与方法实施例基本相似，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。
以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下，即可以理解并实施。
本发明实施例提供的托盘识别方法、装置，能够在叉车行进过程中快速、准确的识别出托盘的感兴趣区域，并根据托盘的感兴趣区域内托盘的托盘参数计算出托盘的姿态参数，以便于智能叉车靠近托盘时快速准确的确定托盘的拾取位置，提高了智能叉车的工作效率。此外，本发明实施例还提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如上所述方法的步骤。
本实施例中，所述一种托盘识别装置集成的模块/单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明实现上述实施例方法中的全部或部分流程，也可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一计算机可读存储介质中，该计算机程序在被处理器执行时，可实现上述各个方法实施例的步骤。其中，所述计算机程序包括计算机程序代码，所述计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。所述计算机可读介质可以包括：能够携带所述计算机程序代码的任何实体或装置、记录介质、U盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器(ROM，Read-OnlyMemory)、随机存取存储器(RAM，Random Access Memory)、电载波信号、电信信号以及软件分发介质等。需要说明的是，所述计算机可读介质包含的内容可以根据司法管辖区内立法和专利实践的要求进行适当的增减，例如在某些司法管辖区，根据立法和专利实践，计算机可读介质不包括电载波信号和电信信号。
本发明实施例提供的智能叉车设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述各个基站上层软件的部署方法实施例中的步骤，例如图1所示的S1～S4。或者，所述处理器执行所述计算机程序时实现上述各基站上层软件的部署装置实施例中各模块/单元的功能，例如图2所示的离确定模块201、类别矩阵提取模块202、模板匹配模块203以及参数计算模块204。
示例性的，所述计算机程序可以被分割成一个或多个模块/单元，所述一个或者多个模块/单元被存储在所述存储器中，并由所述处理器执行，以完成本发明。所述一个或多个模块/单元可以是能够完成特定功能的一系列计算机程序指令段，该指令段用于描述所述计算机程序在对应基站上层软件的部署装置中的执行过程。
所述设备可包括，但不仅限于，处理器、存储器。本领域技术人员可以理解，所述设备并不构成对设备的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件，例如所述设备还可以包括输入输出设备、网络接入设备、总线等。
所述处理器可以是中央处理单元(Central Processing Unit，CPU)，还可以是其他通用处理器、数字信号处理器(Digital Signal Processor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现成可编程门阵列(Field-Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等，所述处理器是所述设备的控制中心，利用各种接口和线路连接整个设备的各个部分。
所述存储器可用于存储所述计算机程序和/或模块，所述处理器通过运行或执行存储在所述存储器内的计算机程序和/或模块，以及调用存储在存储器内的数据，实现所述设备的各种功能。所述存储器可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序(比如声音播放功能、图像播放功能等)等；存储数据区可存储根据手机的使用所创建的数据(比如音频数据、电话本等)等。此外，存储器可以包括高速随机存取存储器，还可以包括非易失性存储器，例如硬盘、内存、插接式硬盘，智能存储卡(Smart Media Card，SMC)，安全数字(Secure Digital，SD)卡，闪存卡(FlashCard)、至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。
在本发明实施例中，应该理解到，所揭露的装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述单元或单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，设备或单元的间接耦合或通信连接，可以是电性或其它的形式。
本领域的技术人员能够理解，尽管在此的一些实施例包括其它实施例中所包括的某些特征而不是其它特征，但是不同实施例的特征的组合意味着处于本发明的范围之内并且形成不同的实施例。例如，本申请所要求保护的实施例的任意之一都可以以任意的组合方式来使用。
最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。
Claims (10)
1.一种托盘识别方法，其特征在于，所述方法包括：
获取智能叉车在行进过程中与托盘的距离信息；
当智能叉车与托盘的距离信息小于预设的距离阈值时，获取托盘的图像数据，并对图像数据中的像素进行分类，得到类别矩阵；
对所述类别矩阵与预设的托盘类别模板进行模板匹配，从图像数据中识别出托盘的感兴趣区域；
提取托盘感兴趣区域内托盘的托盘参数，根据所述托盘参数计算出托盘的姿态参数，以使智能叉车根据所述托盘的姿态参数对所述托盘进行准确拾取。
2.根据权利要求1所述的方法，其特征在于，所述方法还包括：
根据托盘信息、放置于托盘上的物料信息以及托盘与地面的空间、尺寸关系建立托盘类别模板，所述托盘类别模板为基于托盘上的物料信息和托盘与地面的空间、尺寸关系对托盘进行标识的描述信息。
3.根据权利要求2所述的方法，其特征在于，所述托盘信息包括托盘编号、托盘尺寸和托盘孔位置中的一项或多项；
所述对所述类别矩阵与预设的托盘类别模板进行匹配，从图像数据中识别出托盘的感兴趣区域包括：
基于小孔成像模型根据智能叉车与托盘之间的距离、托盘尺寸计算压缩网格尺寸；
对类别矩阵和类别模板基于压缩网格尺寸进行压缩，得到压缩后的类别矩阵和压缩后的类别模板；
通过卷积运算计算压缩后的类别矩阵中各个像素和压缩后的类别模板的匹配值；
当匹配值大于预设的匹配阈值时，则将当前像素对应的区域作为托盘的感兴趣区域。
4.根据权利要求1所述的方法，其特征在于，所述获取智能叉车在行进过程中与托盘的距离信息包括：
获取托盘的深度图像及彩色图像；
从彩色图像中识别出托盘的位置区域；
根据深度图像的深度信息确定智能叉车距离托盘的位置区域的距离，获得初始距离。
5.根据权利要求1所述的方法，其特征在于，所述托盘参数包括托盘的支架坐标；
所述提取托盘感兴趣区域内托盘的托盘参数，根据所述托盘参数计算出托盘的姿态参数包括：将所述托盘的支架坐标输入到预设的托盘姿态计算模型，以计算出托盘待拾取侧面的中心坐标以及托盘相对于智能叉车拾取方向的角度，所述托盘姿态计算模型基于预设神经网络训练得到。
6.根据权利要求5所述的方法，其特征在于，所述方法还包括：
获取托盘的多帧图像数据；
根据所述多帧图像数据中托盘感兴趣区域内托盘的托盘参数计算出托盘的多组姿态参数；
基于滑动窗口均值方法对托盘的所述多组姿态参数进行滤波，得到精确的托盘位姿参数。
7.一种托盘识别装置，其特征在于，所述装置包括：
距离确定模块，用于获取智能叉车在行进过程中与托盘的距离信息；
类别矩阵提取模块，用于当智能叉车与托盘的距离信息小于预设的距离阈值时，获取托盘的图像数据，并对图像数据中的像素进行分类，得到类别矩阵；
模板匹配模块，用于对所述类别矩阵与预设的托盘类别模板进行模板匹配，从图像数据中识别出托盘的感兴趣区域；
参数计算模块，用于提取托盘感兴趣区域内托盘的托盘参数，根据所述托盘参数计算出托盘的姿态参数，以使智能叉车根据所述托盘的姿态参数对所述托盘进行准确拾取。
8.根据权利要求7所述的装置，其特征在于，所述模板匹配模块包括：
压缩网格计算单元，用于基于小孔成像模型根据智能叉车与托盘之间的距离、托盘尺寸计算压缩网格尺寸；
压缩单元，用于对类别矩阵和类别模板基于压缩网格尺寸进行压缩，得到压缩后的类别矩阵和压缩后的类别模板；
匹配值计算单元，用于通过卷积运算计算压缩后的类别矩阵中各个像素和压缩后的类别模板的匹配值；
感兴趣区域提取单元，用于当匹配值大于预设的匹配阈值时，则将当前像素对应的区域作为托盘的感兴趣区域。
9.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现如权利要求1-6任一项所述方法的步骤。
10.一种智能叉车设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现如权利要求1-6任一项所述方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210606314.0A CN114972489A (zh) | 2022-05-31 | 2022-05-31 | 托盘识别方法、装置、存储介质及智能叉车设备 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210606314.0A CN114972489A (zh) | 2022-05-31 | 2022-05-31 | 托盘识别方法、装置、存储介质及智能叉车设备 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN114972489A true CN114972489A (zh) | 2022-08-30 |
Family
ID=82956978
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202210606314.0A Pending CN114972489A (zh) | 2022-05-31 | 2022-05-31 | 托盘识别方法、装置、存储介质及智能叉车设备 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN114972489A (zh) |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115546202A (zh) * | 2022-11-23 | 2022-12-30 | 青岛中德智能技术研究院 | 一种用于无人叉车的托盘检测与定位方法 |
| CN115676698A (zh) * | 2022-10-14 | 2023-02-03 | 哈尔滨科锐同创机模制造有限公司 | 基于移动终端设备的托盘定位方法、系统、装置和介质 |
| CN117496189A (zh) * | 2024-01-02 | 2024-02-02 | 中国石油大学(华东) | 一种基于深度相机的矩形托盘孔识别方法及系统 |
-
2022
- 2022-05-31 CN CN202210606314.0A patent/CN114972489A/zh active Pending
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115676698A (zh) * | 2022-10-14 | 2023-02-03 | 哈尔滨科锐同创机模制造有限公司 | 基于移动终端设备的托盘定位方法、系统、装置和介质 |
| CN115546202A (zh) * | 2022-11-23 | 2022-12-30 | 青岛中德智能技术研究院 | 一种用于无人叉车的托盘检测与定位方法 |
| CN115546202B (zh) * | 2022-11-23 | 2023-03-03 | 青岛中德智能技术研究院 | 一种用于无人叉车的托盘检测与定位方法 |
| CN117496189A (zh) * | 2024-01-02 | 2024-02-02 | 中国石油大学(华东) | 一种基于深度相机的矩形托盘孔识别方法及系统 |
| CN117496189B (zh) * | 2024-01-02 | 2024-03-22 | 中国石油大学(华东) | 一种基于深度相机的矩形托盘孔识别方法及系统 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN107507167B (zh) | 一种基于点云平面轮廓匹配的货物托盘检测方法及系统 | |
| CN114972489A (zh) | 托盘识别方法、装置、存储介质及智能叉车设备 | |
| CN109801337B (zh) | 一种基于实例分割网络和迭代优化的6d位姿估计方法 | |
| CN107610176B (zh) | 一种基于Kinect的栈板动态识别与定位方法、系统及介质 | |
| CN109165538B (zh) | 基于深度神经网络的条形码检测方法及装置 | |
| WO2018034730A1 (en) | Methods, systems and apparatus for segmenting and dimensioning objects | |
| CN110599544B (zh) | 一种基于机器视觉的工件定位方法及装置 | |
| CN110363803B (zh) | 一种结合深度图切片和神经网络的目标检测方法和系统 | |
| CN109684932B (zh) | 一种基于双目视觉的托盘位姿识别方法 | |
| CN111259958B (zh) | 物体识别方法及装置、存储介质 | |
| CN111126393A (zh) | 车辆外观改装判断方法、装置、计算机设备及存储介质 | |
| JP2015225453A (ja) | 物体認識装置及び物体認識方法 | |
| CN114820781A (zh) | 基于机器视觉的智能搬运方法、装置、系统及存储介质 | |
| CN112033408B (zh) | 一种贴纸式的物体空间定位系统及定位方法 | |
| Yogeswaran et al. | 3d surface analysis for automated detection of deformations on automotive body panels | |
| CN107895166B (zh) | 基于特征描述子的几何哈希法实现目标鲁棒识别的方法 | |
| Chen et al. | Pallet recognition and localization method for vision guided forklift | |
| CN110793437A (zh) | 手操器的定位方法、装置、存储介质及电子设备 | |
| CN113724322A (zh) | 一种用于无人叉车的货物托盘定位方法及系统 | |
| CN113420735B (zh) | 一种轮廓提取方法、装置、设备及存储介质 | |
| CN108229498B (zh) | 一种拉链片识别方法、装置及设备 | |
| CN112907666A (zh) | 一种基于rgb-d的托盘位姿估计方法、系统及装置 | |
| CN112633366A (zh) | 一种基于特征匹配的玉器识别方法 | |
| CN107545563B (zh) | 一种条片冲孔计数系统及计数方法 | |
| CN114310875B (zh) | 一种曲轴定位识别方法、装置、存储介质和设备 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |