CN117576424A - 一种托盘位姿识别方法及装置 - Google Patents

一种托盘位姿识别方法及装置 Download PDF

Info

Publication number
CN117576424A
CN117576424A CN202311599810.9A CN202311599810A CN117576424A CN 117576424 A CN117576424 A CN 117576424A CN 202311599810 A CN202311599810 A CN 202311599810A CN 117576424 A CN117576424 A CN 117576424A
Authority
CN
China
Prior art keywords
tray
depth
data
scene
information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202311599810.9A
Other languages
English (en)
Inventor
廖圣龙
王勇
周鑫卓
刘济海
胡立松
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Heli Industrial Vehicle Shanghai Co ltd
Anhui Heli Co Ltd
Original Assignee
Heli Industrial Vehicle Shanghai Co ltd
Anhui Heli Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Heli Industrial Vehicle Shanghai Co ltd, Anhui Heli Co Ltd filed Critical Heli Industrial Vehicle Shanghai Co ltd
Priority to CN202311599810.9A priority Critical patent/CN117576424A/zh
Publication of CN117576424A publication Critical patent/CN117576424A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/761—Proximity, similarity or dissimilarity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/255—Detecting or recognising potential candidate objects based on visual cues, e.g. shapes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Databases & Information Systems (AREA)
  • Computing Systems (AREA)
  • Artificial Intelligence (AREA)
  • Health & Medical Sciences (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Abstract

本申请公开了一种托盘位姿识别方法及装置，所述方法包括：对场景中托盘的多帧深度图像进行滤波融合，得到剔除了无效数据的托盘深度图像，所述多帧深度图像通过深度相机获取；基于所述深度相机的成像原理、场景的信息和托盘的结构信息，对剔除了无效数据的托盘深度图像进行识别，得到托盘候选区域；基于所述深度相机的相机标定参数和所述托盘的结构信息对所述托盘候选区域进行相似度匹配，得到托盘区域；对所述托盘区域进行数据计算拟合，确定场景中托盘的位姿信息。本申请通过无人叉车上部署深度相机识别托盘位姿，实现托盘精准叉取，同时提高了无人叉车的末端作业效率，并降低了部署的成本。

Description

一种托盘位姿识别方法及装置
技术领域
本申请实施例涉及无人叉车技术领域，尤其涉及一种托盘位姿识别方法及装置。
背景技术
目前很多工厂或者仓库中开始采用无人叉车进行叉取搬运货物工作，在利用无人叉车叉取货物时，就需要承载货物的托盘摆放位置误差不能过大，否则就会出现叉取货物失败，甚至带来一些安全隐患问题。因此，需要通过托盘姿态识别方法计算出托盘姿态角度和插孔位置偏差，来精确识别托盘位置和姿态信息，实现取货时的校准工作，提高无人叉车末端作业的精度。
发明内容
本申请实施例提供一种托盘位姿识别方法及装置，用以解决托盘摆放位置误差过大，造成叉取货物失败，甚至一些安全隐患的问题。
第一方面，本申请提出了一种托盘位姿识别方法，包括：
对场景中托盘的多帧深度图像进行滤波融合，得到剔除了无效数据的托盘深度图像，所述多帧深度图像通过深度相机获取；
基于所述深度相机的成像原理、场景的信息和托盘的结构信息，对剔除了无效数据的托盘深度图像进行识别，得到托盘候选区域；
基于所述深度相机的相机标定参数和所述托盘的结构信息对所述托盘候选区域进行相似度匹配，得到托盘区域；
对所述托盘区域进行数据计算拟合，确定场景中托盘的位姿信息。
可选地，所述对场景中托盘的多帧深度图像进行滤波融合，包括：
统计并计算场景中托盘的深度图像中每个像素位置数据的均值和标准差；
判断每个像素位置数据和对应均值的残差是否大于预设位置阈值，若是则表示为无效数据；
剔除无效数据后重新计算均值作为剔除了无效数据的像素位置数据，所述剔除了无效数据的像素位置数据构成剔除了无效数据的托盘深度图像。
可选地，所述对剔除了无效数据的托盘深度图像进行识别，得到托盘候选区域；包括：
根据所述场景的信息和所述深度相机的相机标定参数计算托盘与深度相机光心的空间相对关系；
依据托盘与相机光心的空间相对关系，通过所述深度相机的成像原理计算托盘在深度相机中的候选成像数据；
将剔除了无效数据的托盘深度图像的像素位置数据依次与候选成像数据进行匹配，将大于预设匹配阈值的深度图像的像素位置数据表示为非托盘像素，否则保留作为托盘像素，即筛选出托盘候选区域。
可选地，所述对所述托盘候选区域进行相似度匹配，包括：
以滑窗方式对托盘候选区域中的托盘成像模板进行相似度匹配，所述托盘成像模板通过利用托盘叉取面的高和宽以及托盘腿的高和宽，计算拟合得到；
判断托盘候选区域是否大于预设相似度阈值，若是，则选择相似度值最高的托盘候选区域作为托盘区域，若否，则表示无托盘。
可选地，所述对所述托盘区域进行数据计算拟合，确定场景中托盘的位姿信息，包括：
根据托盘区域两边托盘脚区域的深度图像数据，采样托盘脚区域中心的N组数据，计算出N个托盘的姿态角以及N组数据的均值和标准差；
计算每个姿态角和均值的残差是否大于预设姿态角阈值，若是则表示为异常值，剔除异常值后重新计算均值作为最终的姿态角；
根据所述托盘的结构信息计算出托盘中心位置的像素点，然后结合最终的姿态角计算托盘中心位置的像素点的偏移量，所述场景中托盘的位姿信息为最终的姿态角和偏移量。
第二方面，本申请提出了一种托盘位姿识别装置，包括：
深度图像滤波融合模块，用于对场景中托盘的多帧深度图像进行滤波融合，得到剔除了无效数据的托盘深度图像，所述多帧深度图像通过深度相机获取；
托盘候选区域获取模块，用于基于所述深度相机的成像原理、场景的信息和托盘的结构信息，对剔除了无效数据的托盘深度图像进行识别，得到托盘候选区域；
托盘区域识别模块，用于基于所述深度相机的相机标定参数和所述托盘的结构信息对所述托盘候选区域进行相似度匹配，得到托盘区域；
位姿识别模块，用于对所述托盘区域进行数据计算拟合，确定场景中托盘的位姿信息。
第三方面，本申请提出了一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现第一方面所述托盘位姿识别方法。
第四方面，本申请提出了一种计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现第一方面所述的托盘位姿识别方法。
本申请一些实施例提供的技术方案带来的有益效果至少包括：
本申请提供的一种托盘位姿识别方法及装置，通过深度相机获取托盘应用场景的深度图像数据，并处理多帧深度图像数据，滤波融合出剔除了无效数据的深度图像数据；基于深度相机的成像原理、场景信息和托盘的结构信息对托盘进行识别；结合深度相机的相机标定参数，托盘的结构信息和识别后的托盘区域，确定所述托盘的位姿信息，提高了托盘位姿识别方法的准确性和鲁棒性。
本申请的其他特征和优点将在随后的说明书中阐述，并且，部分地从说明书中变得显而易见，或者通过实施本申请而了解。本申请的目的和其他优点在说明书、权利要求书以及附图中所特别指出的结构来实现和获得。
为使本申请的上述目的、特征和优点能更明显易懂，下文特举较佳实施例，并配合所附附图，作详细说明如下。
本申请附加的方面的优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本申请实践了解到。
附图说明
为了更清楚地说明本申请实施例的技术方案，下面将对本申请实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面所描述的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本申请实施例所示的托盘位姿识别方法的流程示意图；
图2为本申请实施例所示的托盘位姿识别过程的示意图；
图3为本申请实施例所示的托盘识别装置的原理框图；
图4为本申请实施例所示的电子设备的结构示意图。
具体实施方式
为使本申请的目的、技术方案和优点更加清楚，下面将结合附图对本申请实施例方式作进一步地详细描述。
下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本申请相一致的所有实施方式。相反，它们仅是如所附权利要求书中所详述的本申请的一些方面相一致的方法及系统的例子。
在本申请的描述中，需要理解的是，术语“第一”、“第二”等仅用于描述目的，而不能理解为指示或暗示相对重要性。对于本领域的普通技术人员而言，可以具体情况理解上述术语在本申请中的具体含义。此外，在本申请的描述中，除非另有说明，“多个”是指两个或两个以上。“和/或”，描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。字符“/”一般表示前后关联对象是一种“或”的关系。
下面结合图1-图4，通过具体的实施例及其应用场景对本申请实施例提供的托盘位姿识别方法及装置进行详细地说明。
本申请实施例提供的一种托盘位姿识别方法，如图1所示，包括如下步骤：
步骤S1：对场景中托盘的多帧深度图像进行滤波融合，得到剔除了无效数据的托盘深度图像，所述多帧深度图像通过深度相机获取；
具体的，基于深度图像数据统计特性进行多帧滤波融合，获取剔除了噪声和部分干扰数据的场景中托盘深度图像数据；
在本实施例中，深度相机需满足可以稳定获取一定距离的深度图像数据，不限于结构光深度相机、飞行时间法深度相机(TOF，Timeof flight)、双目立体深度相机等。
需要说明的是，深度相机安装在无人叉车等设备时，由于设备类型和应用场景的种类很多，需要结合设备类型和应用场景对深度相机进行外参的标定。
示例性的，可以根据深度相机安装情况进行相机的外参标定，涉及的标定参数包括俯仰角(pitch)、滚动角(roll)、偏航角(yaw)、dx、dy和dz，本实施例利用如下公式对相机进行外参标定。
其中，angle_yaw表征深度相机安装的偏航角，angle_pitch表征深度相机安装的俯仰角，d1和d2分别表征已知的2个标定位置的像素深度值(标定位置和相机平面的距离)，px1和px2分别表征已知的2个标定位置的水平方向的像素坐标，py1和py2分别表征已知的2个标定位置的垂直方向的像素坐标，fx和fy分别表征深度相机的水平和垂直方向的像素焦距，cx和cy分别表征深度相机光心在像素坐标系中的坐标；
dx、dy和dz分别表征已知标定点和深度相机光心之间在三维坐标下(世界坐标系)的三个偏移量，d表征已知标定点的像素深度值(标定点到相机平面的距离)，px表征已知的标定点的水平方向的像素坐标，py表征已知的标定点的垂直方向的像素坐标。
需要说明的是，滚动角(roll)默认安装为零度(水平安装)，不影响后续的计算。
具体实施过程中，多帧滤波融合需要先采集5～20帧深度图像数据，然后统计并计算场景中托盘的深度图像中每个像素位置数据的均值和标准差；
判断每个像素位置数据和对应均值的残差是否大于预设位置阈值，若是则表示为无效数据；本实施例中无效数据为噪声数据；
剔除无效数据后重新计算均值作为剔除了无效数据的像素位置数据，所述剔除了无效数据的像素位置数据构成剔除了无效数据的托盘深度图像。
步骤S2：基于所述深度相机的成像原理、场景的信息和托盘的结构信息，对剔除了无效数据的托盘深度图像进行识别，得到托盘候选区域；
具体的，根据深度相机的成像原理和场景信息计算推理出托盘在深度相机中的成像数据，以计算出的成像数据从所有深度图像的像素点中匹配筛选出托盘候选区域；包括如下步骤：
步骤S2.1：根据所述场景的信息和所述深度相机的相机标定参数计算托盘与深度相机光心的空间相对关系；
具体实施过程中，需要的场景的信息包括托盘高度和最大水平偏差，深度相机的相机标定参数包括标定参数angle_pitch、angle_yaw、dx、dy、dz；通过这些参数计算出托盘与深度相机光心的空间相对关系，即托盘候选位置信息，托盘候选位置信息为所有候选位置像素点的px和py；
步骤S2.2：依据托盘与相机光心的空间相对关系，通过所述深度相机的成像原理计算托盘在深度相机中的候选成像数据；
具体的，将步骤S2.1所得托盘候选位置信息代入步骤S1公式进行反推即可得到托盘在像素坐标系下的候选成像数据，候选成像数据即托盘候选位置像素点的深度值。
步骤S2.3：将剔除了无效数据的托盘深度图像的像素位置数据依次与候选成像数据进行匹配，将大于预设匹配阈值的深度图像的像素位置数据表示为非托盘像素，否则保留作为托盘像素，即筛选出托盘候选区域。
步骤S3：基于所述深度相机的相机标定参数和所述托盘的结构信息对所述托盘候选区域进行相似度匹配，得到托盘区域；
具体的，在托盘候选区域中以滑窗方式和所有托盘成像模板进行相似度匹配，如果存在大于预设相似度阈值，则选择相似度最高的作为托盘区域，如果不存在则表示无托盘。包括步骤如下：
步骤S3.1：以滑窗方式对托盘候选区域中的托盘成像模板进行相似度匹配，所述托盘成像模板通过利用托盘叉取面的高和宽以及托盘腿的高和宽，计算拟合得到；
具体实施过程中，根据已知的托盘叉取面的高和宽以及托盘腿的高和宽，依次计算不同深度和不同姿态角下的托盘成像模板；
其中，需要代入的位置信息则由托盘候选区域计算得到，例如深度范围可以根据托盘候选区域的深度范围d_range进行量化，量化精度10毫米，量化层级d_range/10；位置信息可以根据托盘候选区域的像素位置范围pix_range进行量化，量化精度2个像素，量化层级pix_range/2；姿态角根据实际应用场景的范围进行量化，以(-30度，30度)为例，量化精度1度，量化层级61，那么托盘成像模板数量为61×d_range/10×pix_range/2。
步骤S3.2：判断托盘候选区域是否大于预设相似度阈值，若是，则选择相似度值最高的托盘候选区域作为托盘区域，若否，则表示无托盘。
在该步骤中，匹配方法是将对应区域的像素值(深度值)一一进行比较，像素值和模板拟合的像素值之间误差要小于深度相机的精度，则表示匹配成功，以此进行累加，最后除以总像素数量作为相似度，相似度越大表明约接近真实托盘区域。
具体实施过程中，匹配策略是将模板按照托盘的结构信息分为六个部分，自左向右依次匹配左托盘腿区域、左托盘孔区域、中间托盘腿区域、右托盘孔区域、右边托盘腿区域以及全托盘区域，每个区域匹配相似度都要大于预设相似度阈值，有一个小于或等于预设相似度阈值则停止匹配，进入下一轮匹配，每个区域匹配都大于预设相似度阈值则表示匹配成功。
需要说明的是，匹配完成后，得到的姿态角和位置信息基本可以实现托盘区域的识别和定位，但托盘的位姿还需要考虑匹配过程产生的误差以及深度相机本身的精度误差，因此需要进一步的精确计算。
步骤S4：对所述托盘区域进行数据计算拟合，确定场景中托盘的位姿信息。
为了进一步的精确计算出托盘位姿信息，采用多样本数据统计拟合的方法来降低匹配过程产生的误差以及深度相机本身的精度误差。具体包括步骤如下：
步骤S4.1：根据托盘区域两边托盘脚区域的深度图像数据，采样托盘脚区域中心的N组数据，计算出N个托盘的姿态角以及N组数据的均值和标准差；
具体到本实施例，N取值为25，根据托盘区域两边托盘脚区域的深度图像数据，采样从左右两边托盘脚区域中心各取5X5的深度图像数据，一一对应计算出25个托盘的姿态角以及数据的均值和标准差，姿态角angle计算公式如下；
步骤S4.2：计算每个姿态角和均值的残差是否大于预设姿态角阈值，若是则表示为异常值，剔除异常值后重新计算均值作为最终的姿态角；
步骤S4.3：根据所述托盘的结构信息计算出托盘中心位置的像素点，即取中间托盘脚区域的中心像素，然后结合最终的姿态角计算托盘中心位置的像素点的偏移量deltax和deltay，计算公式如下；
其中，d表征托盘中心位置的像素点的像素深度值(托盘中心点到相机平面的距离)，TrayMiddleLeg表征托盘中间腿的宽度，TrayHeight表征托盘的高度，hc表征相机光心在托运设备叉取托盘时的相对托盘的高度(托运设备预设)，其他参数与步骤S1中公式一致。
得到场景中托盘的位姿信息：最终的姿态角，偏移量deltax和deltay。
需要说明的是，本托盘位姿识别方法可以同时应用在不同类型的托盘场景，只需要配置不同类型的托盘的结构参数，依次生成不同类型托盘的模板，并依次遍历即可，取相似度最高的作为叉取目标即可。
需要说明的是，本托盘位姿识别方法可以处理统一场景多个托盘的情况，根据场景信息来进行选择叉取目标即可。
下面介绍一个具体托盘识别的实施例，如图2所示，自上而下依次对应了步骤S1～S3的处理结果示意图，第一幅图为剔除了噪声和部分干扰数据的融合后的深度图像数据；第二幅图为根据深度相机的成像原理和场景信息计算推理的成像数据匹配筛选出托盘候选区域；第三幅图为基于托盘的结构信息对托盘候选区域进行相似度匹配，检测识别出托盘区域。
本公开实施例的托盘位姿识别方法应用于托盘位姿识别设备中，托盘位姿识别设备主要应用于无人叉车等物流仓储场景中运送货物的托运设备。
本申请通过无人叉车上部署深度相机识别托盘位姿，实现托盘精准叉取，同时提高了无人叉车的末端作业效率，并降低了部署的成本。
实施例二
本申请实施例提供了一种托盘位姿识别装置。如图3所示，包括：
深度图像滤波融合模块，用于对场景中托盘的多帧深度图像进行滤波融合，得到剔除了无效数据的托盘深度图像，所述多帧深度图像通过深度相机获取；
托盘候选区域获取模块，用于基于所述深度相机的成像原理、场景的信息和托盘的结构信息，对剔除了无效数据的托盘深度图像进行识别，得到托盘候选区域；
托盘区域识别模块，用于基于所述深度相机的相机标定参数和所述托盘的结构信息对所述托盘候选区域进行相似度匹配，得到托盘区域；
位姿识别模块，用于对所述托盘区域进行数据计算拟合，确定场景中托盘的位姿信息。
根据本申请实施例提供的托盘位姿识别装置，通过深度相机获取应用场景的深度图像数据，并处理多帧深度图像数据，滤波融合出剔除了噪声和部分干扰数据的深度图像数据，基于深度相机的成像原理、场景信息和托盘的结构信息，对托盘进行识别，结合深度相机的相机标定参数，目标托盘的结构信息和托盘区域的识别结果，确定所述目标托盘的位姿信息，提高了托盘位姿识别方法的准确性和鲁棒性。
实施例三
本申请实施例提供了一种电子设备，如图4所示，一种电子设备400，包括电源接口401、数据接口402、通信接口403、存储器404、处理器405以及可在处理器405上运行的计算机程序，该程序被处理器405执行时实现上述托盘位姿识别方法实施例的各个过程，且能达到相同的技术效果，为避免重复，这里不再赘述。
可以理解的是该电子设备可以是终端，也可以为除终端之外的其他设备。示例性的，电子设备可以为笔记本电脑、掌上电脑、车载电子设备、移动上网装置(MobileInternet Device，MID)、增强现实(augmented reality，AR)/虚拟现实(virtualreality，VR)设备、机器人、可穿戴设备、超级移动个人计算机(ultra-mobile personalcomputer，UMPC)、上网本或者个人数字助理(personal digital assistant，PDA)等，还可以为服务器、网络附属存储器(Network Attached Storage，NAS)、个人计算机(personalcomputer，PC)、电视机(television，TV)、柜员机或者自助机等，本申请实施例不作具体限定。
本申请实施例中的电子设备可以为具有操作系统的装置。该操作系统可以为安卓(Android)操作系统，可以为IOS操作系统，还可以为其他可能的操作系统，本申请实施例不作具体限定。
实施例四
本申请实施例提供了一种计算机可读存储介质，该计算机可读存储介质上存储有计算机程序，该计算机程序被处理器执行时实现上述托盘位姿识别方法实施例的各个过程，且能达到相同的技术效果，为避免重复，这里不再赘述。
其中，所述处理器为上述实施例中所述的电子设备中的处理器。所述可读存储介质，包括计算机可读存储介质，如计算机只读存储器ROM、随机存取存储器RAM、磁碟或者光盘等。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分可以以计算机软件产品的形式体现出来，该计算机软件产品存储在一个存储介质(如ROM/RAM、磁碟、光盘)中，包括若干指令用以使得一台终端(可以是计算机，服务器，或者网络设备等)执行本申请各个实施例所述的方法。
上面结合附图对本申请的实施例进行了描述，但是本申请并不局限于上述的具体实施方式，上述的具体实施方式仅仅是示意性的，而不是限制性的，本领域的普通技术人员在本申请的启示下，在不脱离本申请宗旨和权利要求所保护的范围情况下，还可做出很多形式，均属于本申请的保护之内。
在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示意性实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本申请的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不一定指的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施例或示例中以合适的方式结合。
最后应说明的是：以上所述实施例，仅为本申请的具体实施方式，用于说明本申请的技术方案，而非对其限制，本申请的保护范围并不局限于此，尽管参照前述实施例对本申请进行了详细的说明，本领域的普通技术人员应当理解：任何熟悉本技术领域的技术人员在本申请揭露的技术范围内，其依然可以对前述实施例所记载的技术方案进行修改或可轻易想到变化，或者对其中部分技术特征进行等同替换；而这些修改、变化或者替换，并不使相应技术方案的本质脱离本申请实施例技术方案的精神和范围，都应涵盖在本申请的保护范围之内。因此，本申请的保护范围应以权利要求的保护范围为准。
本申请申请人结合说明书附图对本申请的实施示例做了详细的说明与描述，但是本领域技术人员应该理解，以上实施示例仅为本申请的优选实施方案，详尽的说明只是为了帮助读者更好地理解本申请精神，而并非对本申请保护范围的限制，相反，任何基于本申请的发明精神所作的任何改进或修饰都应当落在本申请的保护范围之内。

Claims (8)

1.一种托盘位姿识别方法，其特征在于，包括：
对场景中托盘的多帧深度图像进行滤波融合，得到剔除了无效数据的托盘深度图像，所述多帧深度图像通过深度相机获取；
基于所述深度相机的成像原理、场景的信息和托盘的结构信息，对剔除了无效数据的托盘深度图像进行识别，得到托盘候选区域；
基于所述深度相机的相机标定参数和所述托盘的结构信息对所述托盘候选区域进行相似度匹配，得到托盘区域；
对所述托盘区域进行数据计算拟合，确定场景中托盘的位姿信息。
2.根据权利要求1所述的托盘位姿识别方法，其特征在于，所述对场景中托盘的多帧深度图像进行滤波融合，包括：
统计并计算场景中托盘的深度图像中每个像素位置数据的均值和标准差；
判断每个像素位置数据和对应均值的残差是否大于预设位置阈值，若是则表示为无效数据；
剔除无效数据后重新计算均值作为剔除了无效数据的像素位置数据，所述剔除了无效数据的像素位置数据构成剔除了无效数据的托盘深度图像。
3.根据权利要求1所述的托盘位姿识别方法，其特征在于，所述对剔除了无效数据的托盘深度图像进行识别，得到托盘候选区域；包括：
根据所述场景的信息和所述深度相机的相机标定参数计算托盘与深度相机光心的空间相对关系；
依据托盘与相机光心的空间相对关系，通过所述深度相机的成像原理计算托盘在深度相机中的候选成像数据；
将剔除了无效数据的托盘深度图像的像素位置数据依次与候选成像数据进行匹配，将大于预设匹配阈值的深度图像的像素位置数据表示为非托盘像素，否则保留作为托盘像素，即筛选出托盘候选区域。
4.根据权利要求1所述的托盘位姿识别方法，其特征在于，所述对所述托盘候选区域进行相似度匹配，包括：
以滑窗方式对托盘候选区域中的托盘成像模板进行相似度匹配，所述托盘成像模板通过利用托盘叉取面的高和宽以及托盘腿的高和宽，计算拟合得到；
判断托盘候选区域是否大于预设相似度阈值，若是，则选择相似度值最高的托盘候选区域作为托盘区域，若否，则表示无托盘。
5.根据权利要求1所述的托盘位姿识别方法，其特征在于，所述对所述托盘区域进行数据计算拟合，确定场景中托盘的位姿信息，包括：
根据托盘区域两边托盘脚区域的深度图像数据，采样托盘脚区域中心的N组数据，计算出N个托盘的姿态角以及N组数据的均值和标准差；
计算每个姿态角和均值的残差是否大于预设姿态角阈值，若是则表示为异常值，剔除异常值后重新计算均值作为最终的姿态角；
根据所述托盘的结构信息计算出托盘中心位置的像素点，然后结合最终的姿态角计算托盘中心位置的像素点的偏移量，所述场景中托盘的位姿信息为最终的姿态角和偏移量。
6.一种托盘位姿识别装置，其特征在于，包括：
深度图像滤波融合模块，用于对场景中托盘的多帧深度图像进行滤波融合，得到剔除了无效数据的托盘深度图像，所述多帧深度图像通过深度相机获取；
托盘候选区域获取模块，用于基于所述深度相机的成像原理、场景的信息和托盘的结构信息，对剔除了无效数据的托盘深度图像进行识别，得到托盘候选区域；
托盘区域识别模块，用于基于所述深度相机的相机标定参数和所述托盘的结构信息对所述托盘候选区域进行相似度匹配，得到托盘区域；
位姿识别模块，用于对所述托盘区域进行数据计算拟合，确定场景中托盘的位姿信息。
7.一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现如权利要求1-5任一项所述托盘位姿识别方法。
8.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该计算机程序被处理器执行时实现如权利要求1-5任一项所述的托盘位姿识别方法。
CN202311599810.9A 2023-11-24 2023-11-24 一种托盘位姿识别方法及装置 Pending CN117576424A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202311599810.9A CN117576424A (zh) 2023-11-24 2023-11-24 一种托盘位姿识别方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202311599810.9A CN117576424A (zh) 2023-11-24 2023-11-24 一种托盘位姿识别方法及装置

Publications (1)

Publication Number Publication Date
CN117576424A true CN117576424A (zh) 2024-02-20

Family

ID=89862235

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202311599810.9A Pending CN117576424A (zh) 2023-11-24 2023-11-24 一种托盘位姿识别方法及装置

Country Status (1)

Country Link
CN (1) CN117576424A (zh)

Similar Documents

Publication Publication Date Title
CA3032531C (en) Pallet localization systems and methods
KR102326097B1 (ko) 물리적 길이의 단위를 사용하는 팔렛 검출
CN113012210B (zh) 深度图的生成方法、装置、电子设备和存储介质
CN111445531B (zh) 一种多目相机导航方法、装置、设备及存储介质
CN112598922B (zh) 车位检测方法、装置、设备及存储介质
CN114170521B (zh) 一种叉车托盘对接识别定位方法
CN110660089A (zh) 一种卫星图像的配准方法及装置
WO2014129018A1 (ja) 文字認識装置、文字認識方法及び記録媒体
CN111553914B (zh) 基于视觉的货物检测方法、装置、终端及可读存储介质
CN112378333A (zh) 仓储货物测量方法和装置
CN113936010A (zh) 货架定位方法、装置、货架搬运设备及存储介质
CN112734837B (zh) 图像匹配的方法及装置、电子设备及车辆
CN117576424A (zh) 一种托盘位姿识别方法及装置
US20230005162A1 (en) Image processing system, image processing method, and storage medium
CN114200954B (zh) 基于Apriltag的无人机降落方法、装置、介质和电子设备
CN115797446A (zh) 货架定位方法、货架对接方法以及装置、设备、介质
CN114862953A (zh) 一种基于视觉特征和3d激光的移动机器人重定位方法及装置
JP7349290B2 (ja) 対象物認識装置、対象物認識方法、及び対象物認識プログラム
CN111586299B (zh) 一种图像处理方法和相关设备
CN110686687A (zh) 视觉机器人构建地图的方法、机器人和芯片
CN111951337A (zh) 图像检测目标空间定位方法及系统
CN112069849A (zh) 基于多个二维码的识别定位方法、装置、设备及存储介质
CN114332345B (zh) 一种基于双目视觉的冶金库区局部三维重建方法及系统
JP6512852B2 (ja) 情報処理装置、情報処理方法
CN112669266B (zh) 超高检测方法、装置、电子设备和存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination