CN115100642B - 一种基于深度学习的3d库位状态检测方法及系统 - Google Patents

一种基于深度学习的3d库位状态检测方法及系统 Download PDF

Info

Publication number
CN115100642B
CN115100642B CN202211016573.4A CN202211016573A CN115100642B CN 115100642 B CN115100642 B CN 115100642B CN 202211016573 A CN202211016573 A CN 202211016573A CN 115100642 B CN115100642 B CN 115100642B
Authority
CN
China
Prior art keywords
point cloud
library
cloud data
calculating
point
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202211016573.4A
Other languages
English (en)
Other versions
CN115100642A (zh
Inventor
邓辉
李华伟
王益亮
沈锴
陈忠伟
石岩
陈丁
陆蕴凡
李虎
赵越
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shanghai Xiangong Intelligent Technology Co ltd
Original Assignee
Shanghai Xiangong Intelligent Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shanghai Xiangong Intelligent Technology Co ltd filed Critical Shanghai Xiangong Intelligent Technology Co ltd
Priority to CN202211016573.4A priority Critical patent/CN115100642B/zh
Publication of CN115100642A publication Critical patent/CN115100642A/zh
Application granted granted Critical
Publication of CN115100642B publication Critical patent/CN115100642B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/64—Three-dimensional objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/46—Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Evolutionary Computation (AREA)
  • Computing Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Artificial Intelligence (AREA)
  • Software Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • General Engineering & Computer Science (AREA)
  • Molecular Biology (AREA)
  • Mathematical Physics (AREA)
  • Data Mining & Analysis (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Databases & Information Systems (AREA)
  • Medical Informatics (AREA)
  • Image Analysis (AREA)

Abstract

本发明提供了一种基于深度学习的3D库位状态检测方法及系统，其中方法步骤包括：S1获取库位点云数据样本，从中分割出库位内各类货物的顶面及侧面点云数据，并进一步从中提取出特征信息，以建立侧面及顶面的特征描述子；S2依据特征描述子构建神经网络，将库位点云数据作为神经网络的输入以将输出的库位状态识别信息与实际情况之间的差异构造损失函数，并更新神经网络；S3获取实际库位点云数据作为更新后的神经网络输入，获取库位状态识别信息作为识别结果。籍此将点云技术与深度学习技术相结合，以实现库位中目标货物种类的识别。

Description

一种基于深度学习的3D库位状态检测方法及系统
技术领域
本发明涉及计算机视觉技术，尤其涉及一种基于深度学习的3D库位状态检测方法及系统。
背景技术
伴随着物流行业的发展，高效率的物流周转和仓储管理需求和有限的场地约束引入对仓库内堆放货物精准管理的迫切需求。同时智能化工厂推动机器换人的技术更新，也需要一个智能化的仓库管理系统为指引机器人进行货物的出入库。
传统的库位管理在需要准确知道物资存放是否在指定的库位时，需要将仓库划分为几个大的区域；通过将相同货物堆放在同一区域来方便叉车司机进行取放货。这种拿空间换效率的方式，在当前城市化进程不断发展导致仓库空间成本急剧增加和当前高吞吐量的物流需求双重因素影响下，就显得不再适用。
因此如果不同货物可以共用一片库位，并有一种库位检测方案可以准确的检测到库位内货物类型数量、堆叠顺序、摆放方位和或栈板位置，那么就可以很好的解决货物混合存放的问题。
一方面，现有深度学习以卷积神经网络为代表，在2D图像数据的感知识别应用方面获得了巨大的成功，目前在自动驾驶等领域做车辆、行人和车道线的识别有着广泛的应用。特别是对高度规则化的图像数据，卷积操作能够有效的提取图像中蕴含的特征，然后利用神经网络的特征分析推断，能够准确高效的识别出图像中的物体。
因此通过在库位场景内安装监控相机来实时检测库位内货物的动态是一个比较有效的库位检测方法。然而，由于2D图像缺少尺度信息，这将导致很难从图像识别结果中提取出物体所在的空间位置和姿态。因此目前该项技术方案多用于库位的有无检测，不太适用货物层高、朝向和栈板高度等含有尺度信息的识别。
另一方面，激光雷达及3D相机采集到的3D点云数据是拥有简单统一结构的物体空间坐标数据，其能够真实反映物体的尺寸信息和表面结构。传统的处理方法是根据物体外形特征，有针对性的设计一些特征提取方法，根据提取的特征设置过滤条件实现3D场景的目标识别。
然而虽然点云数据中蕴含了物体的空间位姿信息，但其数据不具备结构性，因此无法直接用深度学习中的卷积操作提取特征做目标识别。
发明内容
为此，本发明的主要目的在于提供一种基于深度学习的3D库位状态检测方法及系统，以将点云技术与深度学习技术相结合，至少实现库位中目标货物种类的识别。
为了实现上述目的，根据本发明的一个方面，提供了一种基于深度学习的3D库位状态检测方法，步骤包括：
S1 获取库位点云数据样本，从中分割出库位内各类货物的顶面及侧面点云数据，并进一步从中提取出特征信息，以建立侧面及顶面的特征描述子；
S2依据特征描述子构建神经网络，将库位点云数据作为神经网络的输入以将输出的库位状态识别信息与实际情况之间的差异构造损失函数，并更新神经网络；
S3获取实际库位点云数据作为更新后的神经网络输入，获取库位状态识别信息作为识别结果。
在可能的优选实施方式中，步骤S1中，货物的顶面及侧面点云数据的分割步骤包括：
S11将库位点云数据样本转换到以库位一角为原点，长、宽、高所在方向对应为X、Y、Z轴的局部坐标系下；
S12利用区域生长算法对库位点云数据样本进行处理，以分割出子类点云；
S13对各子类点云采用RANSAC平面检测方法识别出库位内所有构成平面模型的平面点云；
S14 将平面点云根据预设条件进行聚合后，筛选出平面点云法向与局部坐标系Z轴夹角处于预设角度的平面点云作为货物的顶面点云；筛选出平面点云法向与局部坐标系Y轴夹角处于预设角度的平面点云作为货物的侧面点云。
在可能的优选实施方式中，步骤S14还包括：
当存在多个平面点云满足条件时，取Z值最大的平面点云作为顶面点云；
当存在多个平面点云满足条件时，取Y值最小的平面点云作为侧面点云。
在可能的优选实施方式中，步骤S1中，提取特征信息建立侧面及顶面特征描述子的步骤包括：S15分别对侧面和顶面点云以等距间隔提取面宽度、点密度及邻域点间隔中的至少一种作为特征信息，以各自构成一个多维度的特征描述子。
在可能的优选实施方式中，步骤S15中，顶面点云特征描述子的构建步骤包括：
S151将顶面点云沿局部坐标系X、Y轴方向覆盖库位最大宽度及长度范围进行等距间隔特征采样，记统计个数为CN x 、CN y ；
S152 对Y轴上各个等距间隔区间内提取出的
Figure 678158DEST_PATH_IMAGE001
个点
Figure 657615DEST_PATH_IMAGE002
，以进行下述特征值计算：
计算区间内点云Z轴方向的平均值
Figure 247472DEST_PATH_IMAGE003
；
计算区间内点云X轴方向点云长度
Figure 642681DEST_PATH_IMAGE004
；
计算区间内点云Z轴方向点云长度
Figure 519370DEST_PATH_IMAGE005
；
计算区间内点云个数
Figure 154882DEST_PATH_IMAGE006
；
计算区间内平均点间距
Figure 15391DEST_PATH_IMAGE007
；
直至获得沿Y轴方向提取的特征值个数CF y =CN y *5；
S153 以步骤152相仿方式进行X轴方向的特征值计算，直至获得沿X轴方向提取的特征值个数
Figure 214291DEST_PATH_IMAGE008
；
S154 计算顶面点云特征描述子
Figure 696219DEST_PATH_IMAGE009
行；
在可能的优选实施方式中，步骤S15中，侧面点云特征描述子的构建步骤包括：
S151’ 将侧面点云沿局部坐标系Z、X轴方向覆盖库位最大高度及长度范围进行等距间隔特征采样，记统计个数为WN z、 WN x ；
S152’ 对Z轴上各个等距间隔区间内提取出的
Figure 751900DEST_PATH_IMAGE001
个点
Figure 319279DEST_PATH_IMAGE002
，以进行下述特征值计算：
计算区间内点云Y轴方向的平均值
Figure 118607DEST_PATH_IMAGE010
；
计算区间内点云X轴方向点云长度
Figure 452112DEST_PATH_IMAGE004
；
计算区间内点云Y轴方向点云长度
Figure 881956DEST_PATH_IMAGE011
；
计算区间内点云个数WZ1；
计算区间内平均点间距
Figure 467790DEST_PATH_IMAGE012
;
直至获得沿Z轴方向提取的特征值个数WFz=WNz*5；
S153’ 以步骤152’相仿方式进行X轴方向的特征值计算，以获取沿X轴方向提取的特征值个数
Figure 805230DEST_PATH_IMAGE013
；
S154’ 计算侧面点云特征描述子
Figure 261750DEST_PATH_IMAGE014
行。
在可能的优选实施方式中，步骤S2中，依据特征描述子构建神经网络的步骤包括：
S21 依据顶面点云特征描述子CF构造第一多层感知机网络，将CF作为输入，以输出多维处理后的第一特征描述子；
S22 依据侧面点云特征描述子WF构造第二多层感知机网络，将WF作为输入，以输出多维处理后的第二特征描述子；
S23 将第一及第二特征描述子按照相应库位号n整合为一个多维的第三特征描述子；
S24 依据第三特征描述子构造第三多层感知机网络，将第三特征描述子作为输入，以输出k维库位状态识别信息，其中k为库位最大堆叠货物层数。
在可能的优选实施方式中，步骤S2中，损失函数为：
Figure 596917DEST_PATH_IMAGE015
其中
Figure 388155DEST_PATH_IMAGE016
表示第i个库位第j层神经网络推算到的库位状态识别信息，
Figure 280019DEST_PATH_IMAGE017
为样本标记的实际库位状态识别信息，所述库位状态识别信息包括：货物类型及库位状态数据，其中库位状态数据包括：该层库位为空、该层库位识别结果存在遮挡中的至少一种。
在可能的优选实施方式中，步骤还包括：
S4预先标记货物类型对应的栈板参数；根据库位状态识别信息判断货物类型及其对应栈板参数，及货物堆叠状态，以计算货物栈板在库位空间内的高度信息；
S5以栈板中心高度和侧面点云平均x、y值作为每层货物的坐标值，以计算货物侧面点云法向与顶面点云法向的叉乘作为库位内货物的摆放姿态。
为了实现上述目的，根据本发明的另一方面，还提供了一种基于深度学习的3D库位状态检测系统，其包括：
存储单元，其存有实现如上述任一所述基于深度学习的3D库位状态检测方法步骤的程序，以供控制单元及处理单元适时调取执行；
控制单元操控3D传感器采集库位场景中的点云数据样本以向处理单元发送；
处理单元获取点云数据样本，从中分割出库位内各类货物的顶面及侧面点云数据，并进一步从中提取出特征信息，以建立侧面及顶面的特征描述子，后依据特征描述子构建神经网络，将库位点云数据作为神经网络的输入以将输出的库位状态识别信息与实际情况之间的差异构造损失函数，并更新神经网络；
控制单元操控3D传感器采集实际库位场景中的点云数据再次向处理单元发送，以供处理单元作为更新后的神经网络输入，以获取输出的库位状态识别信息作为识别结果；
处理单元根据库位状态识别信息判断货物类型及其对应栈板参数，及货物堆叠状态，以计算货物栈板在库位空间内的高度信息，后以栈板中心高度和侧面点云平均x、y值作为每层货物的坐标值，以计算货物侧面点云法向与顶面点云法向的叉乘作为库位内货物的摆放姿态。
通过本发明提供的该基于深度学习的3D库位状态检测方法及系统，其创造性的将传统点云处理的特征提取方法与当下热门的深度学习特征分析手段相结合，并特别针对库位识别领域进行了特定优化，提出了以库位内货物的顶面及侧面特征建立特征描述子，并据此对应性建立神经网络模型的方案，从而有效的解决了点云数据缺失和坐标系差异大而导致深度学习识别结果精度低、稳定性差的问题，进而实现对库位中目标货物种类形成精准识别。同时本案通过分析特征之间的影响关系，有针对性的精简了神经网络结构，并减少了网络参数，进而减少了冗余，降低了学习成本，以在一定程度上提高了识别精度。
此外在一些实施方式下，本案在实现库位中目标货物种类识别、库位状态识别的同时，还能获知货物栈板尺寸信息，进而识别出货物所处库位内的摆放位姿，从而为后续无人搬运规程提供了控制依据。
附图说明
构成本申请的一部分的附图用来提供对本发明的进一步理解，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。在附图中：
图1为本发明的该基于深度学习的3D库位状态检测方法的步骤示意图；
图2为本发明的该基于深度学习的3D库位状态检测方法中神经网络的结构示意图；
图3为本发明的该基于深度学习的3D库位状态检测方法中库位内货物点云数据示意图；
图4为本发明的该基于深度学习的3D库位状态检测系统结构示意图。
具体实施方式
为了使本领域的技术人员能够更好的理解本发明的技术方案，下面将结合实施例来对本发明的具体技术方案进行清楚、完整地描述，以助于本领域的技术人员进一步理解本发明。显然，本案所描述的实施例仅仅是本发明一部分的实施例，而不是全部的实施例。应当指出的是，对本领域的普通技术人员来说，在不脱离本发明构思及相互不冲突的前提下，本申请中的实施例及实施例中的特征可以相互组合。基于本发明中的实施例，在本领域普通技术人员没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本发明的揭露及保护范围。
此外本发明的说明书和权利要求书及附图中的术语“第一”、“第二”、“S1”、“S2”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本发明的实施例能够以除了在这里描述的那些以外的顺序实施。同时本发明中的术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含。除非另有明确的规定和限定，术语“设置”、“布设”、“安装”、“相连”、“连接”应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或一体地连接；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通。对于本领域的普通技术人员而言，可以根据具体情况，结合现有技术来理解上述术语在本案中的具体含义。
其中需要说明的是，本发明的示例中，所述3D传感器可以是3D激光传感器，也可以使用3D相机传感器，可适用于非重复式扫描模式的3D激光雷达，但对于机械式扫描的3D激光雷达以及深度相机也同样适用。
具体来说，如图1至图3所示，为了将点云技术与深度学习技术相结合，来进行库位状态识别，本发明提供的该基于深度学习的3D库位状态检测方法的步骤包括：
步骤S1
获取库位点云数据样本，从中分割出库位内各类货物的顶面及侧面点云数据，并进一步从中提取出特征信息，以建立侧面及顶面的特征描述子。
具体的，在本案示例中，该库位内货物示例为长方体形态，其中库位内货物的顶面及侧面点云数据的分割步骤包括：
步骤S11：将库位点云数据样本统一转换到以库位左下角为原点，长、宽、高所在方向对应为X、Y、Z轴的局部坐标系下。如此，当库位点云数据样本变换到局部坐标系后，库位内货物的顶面点云将与XOY面平行，而正对3D传感器（如相机）的侧面则与XOZ面平行。
步骤S12：利用区域生长算法对库位点云数据样本进行处理，以分割出子类点云；
步骤S13：对各子类点云采用RANSAC平面检测方法识别出库位内所有构成平面模型的平面点云。
步骤S14：将平面点云根据预设条件进行聚合后，筛选出平面点云法向与局部坐标系Z轴夹角处于预设角度的平面点云作为货物的顶面点云；筛选出平面点云法向与局部坐标系Y轴夹角处于预设角度的平面点云作为货物的侧面点云。
例如，将两个相邻平面最小距离小于10cm，平面法向夹角小于5度的平面点云合并为一个平面，重复该步骤将所有平面两两之间都做判断，直到所有平面都不满足合并条件时截止。
之后从合并后的平面点云中，筛选出平面法向与Z轴夹角小于5度的平面点云，作为货物的顶面点云；如果存在多个平面点云满足条件时，可取Z值最大的那个平面点云作为顶面点云。
同时在合并后的平面点云中，还筛选出平面法向与Y轴夹角小于5度的平面点云，作为货物的侧面点云；如果存在多个平面点云满足条件时，可取Y值最小的那个平面点云作为侧面点云。
进一步的，在步骤S1中，提取特征信息建立侧面及顶面特征描述子的步骤包括：
步骤S15：分别对侧面和顶面点云以等距间隔提取面宽度、点密度及邻域点间隔中的至少一种作为特征信息，以各自构成一个多维度的特征描述子。
具体来说，为了更好的说明货物顶面及侧面点云特征描述子的建立过程，下述示例中，将假设场景中包含库位个数为n，所有库位内最大的点云个数为m；且因为各个库位的长宽高可能会存在差异，为此假设场景中所有库位长度最大值为Lmax米，宽度最大值为Wmax米，高度最大值为Hmax米。
在顶面点云特征描述子构成步骤中，示例从局部坐标系的原点开始以0.01m为采样区间，沿着Y轴方向覆盖库位最大宽度Wmax，将顶面点云沿着Y轴方向进行等距间隔特征采样后，记统计个数为
Figure 840313DEST_PATH_IMAGE018
。
而后，对Y轴上各个等距间隔区间内提取出
Figure 156501DEST_PATH_IMAGE001
个点
Figure 107139DEST_PATH_IMAGE019
例如，从顶面点云提取出点云坐标Y值在区间
Figure 51961DEST_PATH_IMAGE020
米内有
Figure 217495DEST_PATH_IMAGE001
个点
Figure 222360DEST_PATH_IMAGE002
，然后对该区间内的各个点计算以下5个特征值：
区间内点云Z轴方向的平均值
Figure 473344DEST_PATH_IMAGE003
；
区间内点云X轴方向的点云长度
Figure 893961DEST_PATH_IMAGE021
；
区间内点云Z方向点云
Figure 428847DEST_PATH_IMAGE022
；
区间内点云个数
Figure 886505DEST_PATH_IMAGE006
；
区间内平均点间距
Figure 811735DEST_PATH_IMAGE007
；
然后依次对后续区间内的点提取特征值，以沿着Y轴方向总共提取特征值个数
Figure 98360DEST_PATH_IMAGE023
；如果区间内点个数少于5个，则将五个特征值都置为0。
以相仿方式进行X轴方向的特征值计算，从原点开始沿着X轴同样以0.01m的采样间隔进行特征提取，以记统计个数为
Figure 969977DEST_PATH_IMAGE024
，特征值个数为
Figure 316644DEST_PATH_IMAGE023
。
最后，将顶面点云X、Y轴方向提取到的特征值整合到一起，以构成一个
Figure 542220DEST_PATH_IMAGE009
行，一列的顶面点云特征描述子。
相对应的，侧面点云特征描述子的构成步骤，与上述侧面点云特征描述子的构成步骤相仿，例如，将侧面点云从原点开始以0.01m为采样间隔区间，沿Z轴方向覆盖库位最大高度
Figure 570219DEST_PATH_IMAGE025
进行等距间隔特征采样后，记统计个数为
Figure 814119DEST_PATH_IMAGE026
。
而后，从侧面点云提取出点云坐标Z值在区间
Figure 347999DEST_PATH_IMAGE020
米内有
Figure 247822DEST_PATH_IMAGE001
个点
Figure 626982DEST_PATH_IMAGE002
，然后对该区间内的各个点计算以下5个特征值：
区间内点云Y轴方向的平均值
Figure 990967DEST_PATH_IMAGE010
；
区间内点云X轴方向点云长度
Figure 161661DEST_PATH_IMAGE027
；
区间内点云Y轴方向点云长度
Figure 611097DEST_PATH_IMAGE028
；
区间内点云个数
Figure 980899DEST_PATH_IMAGE029
；
区间内平均点间距
Figure 684544DEST_PATH_IMAGE012
;
然后依次对后续区间内的点提取特征值，以沿着X轴方向总共提取特征值个数
Figure 543915DEST_PATH_IMAGE030
如果区间内点个数少于5个，则将五个特征值都置为0。
以相仿方式进行X轴方向的特征值计算，从原点开始沿着X轴同样以0.01m的采样间隔进行特征提取，以记统计个数为
Figure 949489DEST_PATH_IMAGE031
，进而获取沿X轴方向提取的特征值个数为
Figure 936030DEST_PATH_IMAGE032
。
最后，将侧面点云Z、X轴方向提取到的特征值整合到一起，以构成一个
Figure 9029DEST_PATH_IMAGE014
行，一列的侧面点云特征描述子。
步骤S2
依据特征描述子构建神经网络，将库位点云数据作为神经网络的输入以将输出的库位状态识别信息与实际情况之间的差异构造损失函数，并更新神经网络。
具体来说，如图2所示，本示例中的神经网络由多个多层感知机网络组成。
例如，依据顶面点云输出的特征维度CF构造一个三层的第一多层感知机网络，其中网络输入的是前述提取到的CF维特征描述子，输出的是512维处理后的第一特征描述子，其还包含一个1024维度的隐藏层。采用的激活函数是ReLU（x）=max（x,0）。
相仿的，根据侧面点云输出的特征维度WF构造一个三层的第二多层感知机网络，其中网络输入的是前述提取到的WF维特征描述子，输出的是1024维处理后的第二特征描述子，其还包含一个2048维度的隐藏层。采用的激活函数是ReLU（x）。
其中需要说明的是，上述分别独立的对顶面点云提取到的特征信息，和侧面点云提取到的特征信息分开做网络分析的原因在于，顶面点云特征只蕴含最顶上一层货物的特征信息，因此独立分析可以有效提高识别准确率。
进一步的，将前述得到的512维第一及1024维第二特征描述子按照相应库位号整合为一个1536维的第三特征描述子，其中前述将顶面点云特征和侧面点云特征做整合是因为侧面点云特征包含顶面点云特征对应的货物，因此整合后顶面点云特征可以加强该层货物的特征描述。
之后，依据前述得到的1536维第三特征描述子构造一个三层的第三多层感知机网络，其中网络输入是1536维的第三特征描述子，输出的是k维的库位状态识别信息。其还包含一个512维和128维的隐藏层，激活函数同样采用ReLU，此外本示例下，优选定义所述库位状态识别信息包括：货物类型及库位状态数据，其中库位状态数据可包括：该层库位为空、该层库位识别结果存在遮挡中的至少一种。
例如本示例下，前述输出的k维库位状态识别信息中的k为库位最大堆叠货物层数，例如本示例中，假设一共有t种可能的货物类型，则每个库位状态识别信息的识别结果可能有t+2种，分别为：
[1,t] : 识别出对应t种货物类型；
t+1 : 该层库位为空；
t+2 : 该层库位识别结果存在遮挡。
进一步的，为了完善该神经网络的识别效果，提升识别率，首选需要根据训练样本标记的库位状态识别信息与推演结果差异构造损失函数，如：
Figure 790034DEST_PATH_IMAGE033
其中
Figure 948483DEST_PATH_IMAGE016
表示第i个库位第j层神经网络推算到的库位状态识别信息，
Figure 660087DEST_PATH_IMAGE017
为样本标记的实际库位状态识别信息，具体来说，在构建好神经网络后，首先需要对该神经网络进行一定的测试与训练，为此本示例中，该测试训练优选采用AdaDelta优化算法，因此不需要额外设置学习率，使整体算法具有较强的适应性。具体的示例优化过程如下：
首先输入参数是n*CF维度的顶面点云特征描述子和n*WF维度的侧面点云特征描述子。
令
Figure 866553DEST_PATH_IMAGE034
为第i个库位的训练数据的损失函数，总共库位训练数据样本数为n，x为输入的多层感知机网络模型参数。那么目标函数定义为
Figure 818459DEST_PATH_IMAGE035
；令迭代开始时间步
Figure 464204DEST_PATH_IMAGE036
，在时间步
Figure 526969DEST_PATH_IMAGE036
时损失函数
Figure 512243DEST_PATH_IMAGE037
的梯度值
Figure 884318DEST_PATH_IMAGE038
元素初始化为0。
记录梯度
Figure 768092DEST_PATH_IMAGE039
加权移动平均变量为
Figure 883816DEST_PATH_IMAGE040
，在时间步
Figure 533715DEST_PATH_IMAGE036
时默认
Figure 545534DEST_PATH_IMAGE041
所有元素初始化为0，设定超参数
Figure 900292DEST_PATH_IMAGE042
。
记录模型参数变化量
Figure 570438DEST_PATH_IMAGE043
，在时间步
Figure 327042DEST_PATH_IMAGE036
时
Figure 791652DEST_PATH_IMAGE044
元素初始化为0；
对所有的多层感知机网络模型参数x赋予
Figure 899286DEST_PATH_IMAGE045
区间内的随机数，作为模型初值。
令迭代开始时间步
Figure 107544DEST_PATH_IMAGE046
，计算
Figure 390758DEST_PATH_IMAGE047
时间步损失函数
Figure 541117DEST_PATH_IMAGE037
的梯度值
Figure 641707DEST_PATH_IMAGE048
。
时间步
Figure 902924DEST_PATH_IMAGE046
时，计算加权移动平均变量
Figure 119273DEST_PATH_IMAGE049
。
利用历史结果模型参数变化量
Figure 378216DEST_PATH_IMAGE044
和梯度加权移动平均变量
Figure 194862DEST_PATH_IMAGE050
对梯度进行修正
Figure 276082DEST_PATH_IMAGE051
,其中
Figure 799467DEST_PATH_IMAGE052
；
更新模型参数
Figure 42361DEST_PATH_IMAGE053
;
更新模型参数变化量
Figure 80724DEST_PATH_IMAGE054
基于更新后的模型参数继续计算损失函数
Figure 431546DEST_PATH_IMAGE037
,继续计算梯度进行模型参数更新，循环迭代直到时间步达到预设数值时停止，如
Figure 137334DEST_PATH_IMAGE055
，至此完成了对于神经网络的更新，使其识别率达到预期要求。
步骤S3
之后获取实际库位点云数据作为更新后的神经网络输入，即可获取库位状态识别信息作为识别结果。
至此，上述实施例实现了将传统点云处理的特征提取方法与当下热门的深度学习特征分析手段相结合，并特别针对库位识别领域进行了特定优化，提出了以库位内货物的顶面及侧面特征建立特征描述子，并据此对应性建立神经网络模型的方案，从而有效的解决了点云数据缺失和坐标系差异大而导致深度学习识别结果精度低、稳定性差的问题，进而实现了对库位中目标货物种类形成精准识别。
另一方面，为了进一步利用上述示例中构建的神经网络来对库位内各层货物的栈板高度进行识别，并进而计算出各货物的摆放位姿，以供为后续无人搬运规程提供控制依据。
如图3所示，本发明的该基于深度学习的3D库位状态检测方法的步骤还包括：
步骤S4
预先标记货物类型对应的栈板参数；根据库位状态识别信息判断货物类型及其对应栈板参数，及货物堆叠状态，以计算货物栈板在库位空间内的高度信息。
例如，当步骤S2的神经网络识别到的库位内货物类型和堆叠顺序后，可以根据各个货物类型预先标记的对应栈板参数来依次计算每层货物的栈板高度，假设栈板的高度为10cm，则可取栈板中心高度标识栈板所在高度。
由此第一层货物栈板高度则为5cm，第二次货物栈板高度为第一层货物整体高度加上5cm，进而第三层、第四层等与之类似。当计算出各层栈板中心高度后，便可进行后续货物摆放姿态的识别。
步骤S5
以栈板中心高度z和侧面点云平均x、y值作为每层货物的坐标值；以侧面法向为Rx、顶面法向为Rz，则可计算两个方向的叉乘为Ry以此作为库位内货物的摆放姿态。籍此实现库位中目标货物种类识别、库位状态识别的同时，还能获知货物栈板尺寸信息，进而识别出货物所处库位内的摆放位姿，从而为后续无人搬运规程提供了控制依据。
另一方面，如图4所示，本发明对应上述方法还提供了一种基于深度学习的3D库位状态检测系统，其包括：
存储单元，其存有实现如上述任一所述基于深度学习的3D库位状态检测方法步骤的程序，以供控制单元及处理单元适时调取执行；
控制单元操控3D传感器采集库位场景中的点云数据样本以向处理单元发送；
处理单元获取点云数据样本，从中分割出库位内各类货物的顶面及侧面点云数据，并进一步从中提取出特征信息，以建立侧面及顶面的特征描述子，后依据特征描述子构建神经网络，将库位点云数据作为神经网络的输入以将输出的库位状态识别信息与实际情况之间的差异构造损失函数，并更新神经网络；
控制单元操控3D传感器采集实际库位场景中的点云数据再次向处理单元发送，以供处理单元作为更新后的神经网络输入，以获取输出的库位状态识别信息作为识别结果；
处理单元根据库位状态识别信息判断货物类型及其对应栈板参数，及货物堆叠状态，以计算货物栈板在库位空间内的高度信息，后以栈板中心高度和侧面点云平均x、y值作为每层货物的坐标值，以计算货物侧面点云法向与顶面点云法向的叉乘作为库位内货物的摆放姿态。
综上所述，通过本发明提供的该基于深度学习的3D库位状态检测方法及系统，其创造性的将传统点云处理的特征提取方法与当下热门的深度学习特征分析手段相结合，并特别针对库位识别领域进行了特定优化，提出了以库位内货物的顶面及侧面特征建立特征描述子，并据此对应性建立神经网络模型的方案，从而有效的解决了点云数据缺失和坐标系差异大而导致深度学习识别结果精度低、稳定性差的问题，进而实现对库位中目标货物种类形成精准识别。同时本案通过分析特征之间的影响关系，有针对性的精简了神经网络结构，并减少了网络参数，进而减少了冗余，降低了学习成本，以在一定程度上提高了识别精度。
此外本案在实现库位中目标货物种类识别、库位状态识别的同时，还能获知货物栈板尺寸信息，进而识别出货物所处库位内的摆放位姿，从而为后续无人搬运规程提供了控制依据。
以上公开的本发明优选实施例只是用于帮助阐述本发明。优选实施例并没有详尽叙述所有的细节，也不限制该发明仅为所述的具体实施方式。显然，根据本说明书的内容，可作很多的修改和变化。本说明书选取并具体描述这些实施例，是为了更好地解释本发明的原理和实际应用，从而使所属技术领域技术人员能很好地理解和利用本发明。本发明仅受权利要求书及其全部范围和等效物的限制，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。
本领域技术人员可以理解，除了以纯计算机可读程序代码方式实现本发明提供的系统、装置及其各个模块以外，完全可以通过将方法步骤进行逻辑编程来使得本发明提供的系统、装置及其各个模块以逻辑门、开关、专用集成电路、可编程逻辑控制器以及嵌入式微控制器等的形式来实现相同程序。所以，本发明提供的系统、装置及其各个模块可以被认为是一种硬件部件，而对其内包括的用于实现各种程序的模块也可以视为硬件部件内的结构；也可以将用于实现各种功能的模块视为既可以是实现方法的软件程序又可以是硬件部件内的结构。
此外实现上述实施例方法中的全部或部分步骤是可以通过程序来指令相关的硬件来完成，该程序存储在一个存储介质中，包括若干指令用以使得单片机、芯片或处理器（processor）执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器（ROM，Read-Only Memory）、随机存取存储器（RAM，RandomAccess Memory）、磁碟或者光盘等各种可以存储程序代码的介质。
此外，本发明实施例的各种不同的实施方式之间也可以进行任意组合，只要其不违背本发明实施例的思想，其同样应当视为本发明实施例所公开的内容。

Claims (9)

1.一种基于深度学习的3D库位状态检测方法，其特征在于步骤包括：
S1 获取库位点云数据样本，从中分割出库位内各类货物的顶面及侧面点云数据，并进一步从中提取出特征信息，以建立侧面及顶面的特征描述子；
S2依据特征描述子构建神经网络，将库位点云数据作为神经网络的输入以将输出的库位状态识别信息与实际情况之间的差异构造损失函数，并更新神经网络；其中依据特征描述子构建神经网络的步骤包括：
S21 依据顶面点云特征描述子CF构造第一多层感知机网络，将CF作为输入，以输出多维处理后的第一特征描述子；
S22 依据侧面点云特征描述子WF构造第二多层感知机网络，将WF作为输入，以输出多维处理后的第二特征描述子；
S23 将第一及第二特征描述子按照相应库位号n整合为一个多维的第三特征描述子；
S24 依据第三特征描述子构造第三多层感知机网络，将第三特征描述子作为输入，以输出k维库位状态识别信息，其中k为库位最大堆叠货物层数；
S3获取实际库位点云数据作为更新后的神经网络输入，获取库位状态识别信息作为识别结果。
2.根据权利要求1所述的基于深度学习的3D库位状态检测方法，其特征在于，步骤S1中，货物的顶面及侧面点云数据的分割步骤包括：
S11将库位点云数据样本转换到以库位一角为原点，长、宽、高所在方向对应为X、Y、Z轴的局部坐标系下；
S12利用区域生长算法对库位点云数据样本进行处理，以分割出子类点云；
S13对各子类点云采用RANSAC平面检测方法识别出库位内所有构成平面模型的平面点云；
S14 将平面点云根据预设条件进行聚合后，筛选出平面点云法向与局部坐标系Z轴夹角处于预设角度的平面点云作为货物的顶面点云；筛选出平面点云法向与局部坐标系Y轴夹角处于预设角度的平面点云作为货物的侧面点云。
3.根据权利要求2所述的基于深度学习的3D库位状态检测方法，其特征在于，步骤S14还包括：
当存在多个平面点云满足条件时，取Z值最大的平面点云作为顶面点云；
当存在多个平面点云满足条件时，取Y值最小的平面点云作为侧面点云。
4.根据权利要求1所述的基于深度学习的3D库位状态检测方法，其特征在于，步骤S1中，提取特征信息建立侧面及顶面特征描述子的步骤包括：
S15分别对侧面和顶面点云以等距间隔提取面宽度、点密度及邻域点间隔中的至少一种作为特征信息，以各自构成一个多维度的特征描述子。
5.根据权利要求4所述的基于深度学习的3D库位状态检测方法，其特征在于，步骤S15中，顶面点云特征描述子的构建步骤包括：
S151将顶面点云沿局部坐标系X、Y轴方向覆盖库位最大宽度及长度范围进行等距间隔特征采样，记统计个数为CN x 、CN y ；
S152 对Y轴上各个等距间隔区间内提取出的
Figure DEST_PATH_IMAGE001
个点
Figure DEST_PATH_IMAGE002
，以进行下述特征值计算：
计算区间内点云Z轴方向的平均值
Figure DEST_PATH_IMAGE003
计算区间内点云X轴方向点云长度
Figure DEST_PATH_IMAGE004
；
计算区间内点云Z轴方向点云长度
Figure DEST_PATH_IMAGE005
；
计算区间内点云个数
Figure DEST_PATH_IMAGE006
；
计算区间内平均点间距
Figure DEST_PATH_IMAGE007
；
直至获得沿Y轴方向提取的特征值个数CF y =CN y *5；
S153 以步骤152相仿方式进行X轴方向的特征值计算，直至获得沿X轴方向提取的特征值个数
Figure DEST_PATH_IMAGE008
；
S154 计算顶面点云特征描述子
Figure DEST_PATH_IMAGE009
行。
6.根据权利要求4所述的基于深度学习的3D库位状态检测方法，其特征在于，步骤S15中，侧面点云特征描述子的构建步骤包括：
S151’ 将侧面点云沿局部坐标系Z、X轴方向覆盖库位最大高度及长度范围进行等距间隔特征采样，记统计个数为WN z、 WN x ；
S152’ 对Z轴上各个等距间隔区间内提取出的
Figure 610302DEST_PATH_IMAGE001
个点
Figure 261863DEST_PATH_IMAGE002
，以进行下述特征值计算：
计算区间内点云Y轴方向的平均值
Figure DEST_PATH_IMAGE010
；
计算区间内点云X轴方向点云长度
Figure 635076DEST_PATH_IMAGE004
；
计算区间内点云Y轴方向点云长度
Figure DEST_PATH_IMAGE011
；
计算区间内点云个数
Figure DEST_PATH_IMAGE012
；
计算区间内平均点间距
Figure DEST_PATH_IMAGE013
;
直至获得沿Z轴方向提取的特征值个数WFz=WNz*5；
S153’ 以步骤152’相仿方式进行X轴方向的特征值计算，以获取沿X轴方向提取的特征值个数
Figure DEST_PATH_IMAGE014
；
S154’ 计算侧面点云特征描述子
Figure DEST_PATH_IMAGE015
行。
7.根据权利要求1所述的基于深度学习的3D库位状态检测方法，其特征在于，步骤S2中，损失函数为：
Figure DEST_PATH_IMAGE016
其中
Figure DEST_PATH_IMAGE017
表示第
Figure DEST_PATH_IMAGE018
个库位第
Figure DEST_PATH_IMAGE019
层神经网络推算到的库位状态识别信息，
Figure DEST_PATH_IMAGE020
为样本标记的实际库位状态识别信息，所述库位状态识别信息包括：货物类型及库位状态数据，其中库位状态数据包括：该层库位为空、该层库位识别结果存在遮挡中的至少一种。
8.根据权利要求1所述的基于深度学习的3D库位状态检测方法，其特征在于，步骤还包括：
S4预先标记货物类型对应的栈板参数；根据库位状态识别信息判断货物类型及其对应栈板参数，及货物堆叠状态，以计算货物栈板在库位空间内的高度信息；
S5以栈板中心高度和侧面点云平均x、y值作为每层货物的坐标值，以计算货物侧面点云法向与顶面点云法向的叉乘作为库位内货物的摆放姿态。
9.一种基于深度学习的3D库位状态检测系统，其特征在于包括：
存储单元，其存有实现如权利要求1至8任一所述基于深度学习的3D库位状态检测方法步骤的程序，以供控制单元及处理单元适时调取执行；
控制单元操控3D传感器采集库位场景中的点云数据样本以向处理单元发送；
处理单元获取点云数据样本，从中分割出库位内各类货物的顶面及侧面点云数据，并进一步从中提取出特征信息，以建立侧面及顶面的特征描述子，后依据特征描述子构建神经网络，将库位点云数据作为神经网络的输入以将输出的库位状态识别信息与实际情况之间的差异构造损失函数，并更新神经网络；
控制单元操控3D传感器采集实际库位场景中的点云数据再次向处理单元发送，以供处理单元作为更新后的神经网络输入，以获取输出的库位状态识别信息作为识别结果；
处理单元根据库位状态识别信息判断货物类型及其对应栈板参数，及货物堆叠状态，以计算货物栈板在库位空间内的高度信息，后以栈板中心高度和侧面点云平均x、y值作为每层货物的坐标值，以计算货物侧面点云法向与顶面点云法向的叉乘作为库位内货物的摆放姿态。
CN202211016573.4A 2022-08-24 2022-08-24 一种基于深度学习的3d库位状态检测方法及系统 Active CN115100642B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202211016573.4A CN115100642B (zh) 2022-08-24 2022-08-24 一种基于深度学习的3d库位状态检测方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202211016573.4A CN115100642B (zh) 2022-08-24 2022-08-24 一种基于深度学习的3d库位状态检测方法及系统

Publications (2)

Publication Number Publication Date
CN115100642A CN115100642A (zh) 2022-09-23
CN115100642B true CN115100642B (zh) 2022-11-18

Family

ID=83300443

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211016573.4A Active CN115100642B (zh) 2022-08-24 2022-08-24 一种基于深度学习的3d库位状态检测方法及系统

Country Status (1)

Country Link
CN (1) CN115100642B (zh)

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109345510A (zh) * 2018-09-07 2019-02-15 百度在线网络技术（北京）有限公司 物体检测方法、装置、设备、存储介质及车辆
CN109325998B (zh) * 2018-10-08 2023-06-30 香港理工大学 一种基于点云数据的室内3d建模方法、系统及相关装置
CN110889828A (zh) * 2019-11-07 2020-03-17 浙江大华技术股份有限公司 预定场景中的栈板识别方法、终端设备、计算机存储介质
GB2592440A (en) * 2020-02-28 2021-09-01 Correvate Ltd Object recognition via object data database and augmentation of 3D image data
CN112598350B (zh) * 2020-12-24 2024-02-20 山西迪奥普科技有限公司 一种基于点云扫描的仓储堆料管理方法及系统

Also Published As

Publication number Publication date
CN115100642A (zh) 2022-09-23

Similar Documents

Publication Publication Date Title
CN107617573B (zh) 一种基于多任务深度学习的物流编码识别和分拣方法
Rashidi et al. An analogy between various machine-learning techniques for detecting construction materials in digital images
US9630320B1 (en) Detection and reconstruction of an environment to facilitate robotic interaction with the environment
CN110503112A (zh) 一种增强特征学习的小目标检测及识别方法
CN111783772A (zh) 一种基于RP-ResNet网络的抓取检测方法
CN112070838A (zh) 基于二维-三维融合特征的对象识别与定位方法及装置
CN109829476B (zh) 基于yolo的端到端三维物体检测方法
CN110991444B (zh) 面向复杂场景的车牌识别方法及装置
CN110796141A (zh) 目标检测方法及相关设备
Zhang et al. A CNN-based grasp planning method for random picking of unknown objects with a vacuum gripper
JP2023536380A (ja) 物体検出のためのシステム及び方法
CN113240641A (zh) 一种基于深度学习的集装箱破损实时检测方法
CN113657551A (zh) 一种用于分拣堆叠多目标的机器人抓取姿态任务规划方法
CN115546202A (zh) 一种用于无人叉车的托盘检测与定位方法
CN115100642B (zh) 一种基于深度学习的3d库位状态检测方法及系统
US20230031755A1 (en) Generative adversarial network for processing and generating images and label maps
CN115116048A (zh) 一种基于点云质心识别及定位栈板的方法、系统
CN115661189A (zh) 一种场景动态信息检测方法及系统
CN113642529A (zh) 基于ga-bp神经网络的障碍物尺寸预测系统及方法
CN112149687A (zh) 目标识别的方法
CN115063475A (zh) 一种基于3d传感器的面形状识别及定位方法
US20230360386A1 (en) Method and software stack for identifying a feature using active vision
US20210229292A1 (en) Confidence-Based Bounding Boxes For Three Dimensional Objects
CN116342858B (zh) 物体检测方法、装置、电子设备及存储介质
Poss Applications of Object Detection in Industrial Contexts Based on Logistics Robots

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant