CN109871765A - 一种基于图像的物品堆叠检测方法、系统及电子设备 - Google Patents

Abstract

本发明涉及一种基于图像的物品堆叠检测方法、系统及电子设备，其包括如下步骤：利用深度相机获得图像的深度数据和RGB数据，利用RGB数据进行图像识别获得待测非标物品的类别和位置，用深度数据获得待测非标物品的高度，将该高度与同类别非标物品的高度区间对比，判断出待测非标物品是否堆叠。通过深度相机检测非标物品在结算时是否堆叠，使得非标物品在进行自助结算时，通过该堆叠检测方法检测出产生堆叠的食品，避免了对食品的数量、种类造成错误识别，防止造成结算失败或结算错误。非标物品为非标类产品，其表面为非平面形态，因此，该方法能够准确估算出对应于非标物品所在的三维点云中的平面，进而准确求出非标物品的高度信息，准确判断是否产生堆叠。

Description

一种基于图像的物品堆叠检测方法、系统及电子设备

【技术领域】

本发明属于图像识别领域，特别涉及一种基于图像的物品堆叠检测方法、系统及电子设备。

【背景技术】

在非标物品识别领域中，许多商品如面包、饼干等，在售卖时往往不贴标签，则在商品结算时，往往需要售货员确认商品种类后确认价格。而通过图像识别技术，识别出商品种类，对顾客购买的商品进行自助结算，可减少收银的人工成本，给生活带来便利。

在非标物品识别领域中，如面包、饼干等非标物品，在购买打包时，往往存在堆叠或遮挡等状态，这样会造成在识别时，对面包的数量、种类造成错误识别，从而造成结算失败或结算错误。

【发明内容】

为克服目前的无法识别图像中非标物品堆叠的问题，本发明提供一种基于图像的物品堆叠检测方法、系统及电子设备。

本发明解决技术问题的技术方案是提供一种基于图像的物品堆叠检测方法，其包括如下步骤：

步骤S1：获取至少一个待测非标物品的第一图像，获得第一图像的深度数据以及RGB数据；步骤S2：利用所述RGB数据，经过图像识别技术识别出所述待测非标物品的类别和位置；步骤S3：将预存非标物品的类别与待测非标物品的类别匹配，获得该类别非标物品的预存高度参数；步骤S4：将所述深度数据转换为三维点云，并获取三维点云中的平面，所述平面对应于待测非标物品的放置平面；步骤S5：结合待测非标物品的位置，利用所述深度数据获得所述待测非标物品相对于平面的高度数据；及步骤S6：通过所述待测非标物品的高度数据与所述预存高度参数对比，判断出所述待测非标物品是否产生堆叠。

优选地，所述预存高度参数为一预存高度区间，则在上述步骤S6中具体包括如下步骤：步骤S61：判断出待测非标物品的高度是否位于所述预存高度区间内，若是则进入步骤S62，若否，则进入步骤S63；步骤S62：待测非标物品不产生堆叠；及步骤S63：待测非标物品产生堆叠。

优选地，步骤S5中，所述待测非标物品的深度数据中，最大深度数据为M，选取相对于所述待测非标物品0.8M-0.9M之间的高度范围的点与所述平面的点求差值，获得待测非标物品的高度数据。

优选地，在上述步骤S4中三维点云的平面是通过估算获得，其具体包括如下步骤：步骤S41：将所述深度数据进行处理，转换为三维点云；步骤S42：在多个点之间建立一个平面，经过迭代计算更新平面，最终使得尽可能多的点与该平面的距离最小时，停止更新平面。

优选地，估算获得的三维点云的平面之信息被保存，以提供给下一次基于图像的物品堆叠检测使用。

优选地，在上述步骤S5中具体包括如下步骤：步骤S51：将三维点云中平面远离待测非标物品一侧的点去除，获得平面上所有非标物品的高度图；及步骤S52：结合待测非标物品的位置，计算其余点的深度数据与平面深度数据的差值，获得所述高度图中待测非标物品的高度。

优选地，所述预存高度参数为人工预先设置的数值；步骤S1中的深度数据和RGB数据通过深度相机采集，深度相机为基于结构光原理的相机。

本发明为了解决上述技术问题还提供一种基于图像的物品堆叠检测系统，其包括图像获取单元，用于获取至少一个待测非标物品的第一图像，获得第一图像的深度数据以及RGB数据；图像识别单元，用于利用所述RGB数据，经过图像识别技术识别出所述待测非标物品的类别和位置；类别匹配单元，用于将预存非标物品的类别与待测非标物品的类别匹配，获得该类别非标物品的预存高度参数；三维点云转换单元，用于将所述深度数据转换为三维点云，并获取三维点云中的平面，所述平面对应于待测非标物品的放置平面；高度求取单元，用于结合待测非标物品的位置，利用所述深度数据获得所述待测非标物品相对于平面的高度数据；及堆叠判别单元，用于通过所述待测非标物品的高度数据与所述预存高度参数对比，判断出所述待测非标物品是否产生堆叠。

优选地，还包括去噪单元，用于在图像识别单元对图像进行识别前，对所述第一图像进行去噪声处理。

本发明为了解决上述技术问题还提供一种电子设备，包括存储器和处理器，其特征在于：所述存储器中存储有计算机程序，所述计算机程序被设置为运行时执行所述任一步骤中所述的基于图像的物品堆叠检测方法；所述处理器被设置为通过所述计算机程序执行所述任一步骤中所述的基于图像的物品堆叠检测方法。

与现有的技术相比，在现有的基于图像的物品堆叠检测方法中，通过双目相机的不同视角获取物品的高度，当检测到表面较为平整的非标物品时，会较难识别物品的高度，降低检测的准确性。本发明提供的基于图像的物品堆叠检测方法中，利用深度相机拍摄出包括至少一个待测非标物品的第一图像，获得第一图像的深度数据以及RGB数据；利用所述RGB数据，经过图像识别技术识别出所述待测非标物品的类别和位置；将预存非标物品类别与待测非标物品的类别匹配，获得该类别非标物品的预存高度区间；将所述深度数据转换为三维点云，估算三维点云中的平面，所述平面对应于待测非标物品的放置平面；利用所述深度数据获得所述待测非标物品相对于平面的高度数据；及通过所述待测非标物品的高度数据与所述预存高度区间对比，判断出所述待测非标物品是否产生堆叠。使得非标物品在进行自助结算时，通过该堆叠检测方法检测出产生堆叠的非标物品，避免了对非标物品的数量、种类造成错误识别，防止造成结算失败或结算错误。非标物品其表面为曲面形态，因此，该方法能够准确估算出对应于非标物品所在的三维点云中的平面，而该平面可以作为计算非标物品高度的参考面，进而准确求出非标物品的高度信息，准确判断是否产生堆叠。

将所述深度数据进行处理，转换为三维点云；在多个点之间建立一个平面，经过迭代计算更新平面，最终使得尽可能多的点与该平面的距离最小时，停止更新平面。通过查找非标物品所在的平面，使得该方法可自适应于非标物品中的各种高度，避免人工的反复调试，提高了便利性。

将三维点云中平面远离待测非标物品一侧的点去除，获得平面上所有非标物品的高度图；及结合待测非标物品的位置，计算待测非标物品的深度数据与平面深度数据的差值，获得所述高度图中待测非标物品的高度。

将处于平面之下的所述背景环境下的物体上对应的点去除，可以使得后续步骤减少对三维点云的计算量，提高计算效率。且通过位置信息找出高度图中待测非标物品的三维点云，进一步使后续的步骤减少对三维点云的计算量，提高计算效率。

【附图说明】

图1为本发明第一实施例提供的一种基于图像的物品堆叠检测方法的整体流程图；

图2a为本发明第一实施例提供的一种基于图像的物品堆叠检测方法的步骤S1的细节流程图；

图2b为本发明第一实施例提供的一种基于图像的物品堆叠检测方法的步骤S1中步骤S12的实施过程的示意图；

图3为本发明第一实施例提供的一种基于图像的物品堆叠检测方法的步骤S2的细节流程图；

图4为本发明第一实施例提供的一种基于图像的物品堆叠检测方法的步骤S4的细节流程图；

图5为本发明第一实施例提供的一种基于图像的物品堆叠检测方法的步骤S5的细节流程图；

图6为本发明第一实施例提供的一种基于图像的物品堆叠检测方法的步骤S6的细节流程图；

图7为本发明第二实施例提供的一种图像差异对比系统的模块图；

图8为本发明第三实施例提供的一种电子设备的模块图。

附图标识说明：

1、图像获取单元；2、图像识别单元；3、类别匹配单元；4、三维点云转换单元；5、高度求取单元；6、堆叠判别单元；7、去噪单元；

10、存储器；20、处理器；

100、相机；200、面包；300、托盘；400、光点。

【具体实施方式】

为了使本发明的目的，技术方案及优点更加清楚明白，以下结合附图及实施实例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。

请参阅图1，一种基于图像的物品堆叠检测方法包括以下步骤：

步骤S1：获取至少一个待测非标物品的第一图像，获得第一图像的深度数据以及RGB数据；

步骤S2：利用所述RGB数据，经过图像识别技术识别出所述待测非标物品的类别和位置；

步骤S3：将预存非标物品的类别与待测非标物品的类别匹配，获得该类别非标物品的预存高度参数；

步骤S4：将所述深度数据转换为三维点云，并获取三维点云中的平面，所述平面对应于待测非标物品的放置平面；

步骤S5：结合待测非标物品的位置，利用所述深度数据获得所述待测非标物品相对于平面的高度数据；及

步骤S6：通过所述待测非标物品的高度数据与所述预存高度参数对比，判断出所述待测非标物品是否产生堆叠。

在本发明中，所述待测非标物品为非常规的正方形或长方形物体，一般具有非平整表面，即曲面，或多个平面形成的非正方形或长方形物体，在本实施例中，以烘焙的面包或饼干为例。

可以理解，上述步骤S3和步骤S4执行顺序可以调换，也即可以先执行步骤S3再执行步骤S4，也可以先执行步骤S4再执行步骤S3，或步骤S3和步骤S4同时执行。

请参阅图2a，步骤S1：获取至少一个待测非标物品的第一图像，获得第一图像的深度数据以及RGB数据。可以理解，步骤S1中获取图像的深度数据和RGB数据是通过深度相机获取的，所述深度相机为深度相机，深度相机根据其工作原理可以分为三种：TOF相机、RGB双目相机以及结构光相机，在本实施例中，以基于结构光技术的Kinect1相机为例，步骤S1具体包括步骤S11～S12。

步骤S11：所述相机通过RGB镜头获取第一图像的RGB数据。

步骤S12：所述相机通过深度传感器发射出多个人眼不可见的随机散斑红外光点至待测非标物品上，并记录下每个光点所对应的深度数据，获取第一图像的深度数据。

可以理解，步骤S11～S12仅为该实施例的一种实施方式，其实施方式并不限定于步骤S11～S12。

请参阅图2b，以面包为例，面包200由托盘300送入相机100的下方，相机100通过深度深度传感器发射出多个人眼不可见的随机散斑红外光点400至面包200和托盘300上，获得如图2b所示的光点图，多个所述光点400遍及面包200和托盘300的表面，所述相机100储存每个光点400的深度信息，以获取第一图像的深度数据。

请参阅图3，步骤S2：利用所述RGB数据，经过图像识别技术识别出所述待测非标物品的类别和位置。图像识别技术是基于神经网络的识别过程，通过图像识别技术，检测出第一图像内待测非标物品的类别。步骤S2具体包括步骤S21～S22。

步骤S21：将所述第一图像输入至预设的神经网络，获得待测非标物品的类别。具体地，所述预设的神经网络是通过已知的非标物品对应的图像信息与类别信息进行待测非标物品的训练所获得的模型。及

步骤S22：记录下待测非标物品的位置信息。

可以理解，步骤S21～S22仅为该实施例的一种实施方式，其实施方式并不限定于步骤S21～S22。

可选地，在将所述第一图像输入至预设的神经网络中前，可对第一图像进行去噪声处理，使所述神经网络不受噪声的影响，以免造成图像识别的误差。

步骤S3：将预存非标物品类别与待测非标物品的类别匹配，获得该类别非标物品的预存高度参数。通过步骤S2获得待测非标物品的类别，将该类别与预存非标物品类别匹配，得到属于待测非标物品类别的预设高度参数。例如，通过步骤S2获得待测非标物品为A类面包，则通过与预存非标物品类别的A类面包匹配后，得到A类面包的预存高度参数。

具体地，所述预存高度参数为预存高度区间，其表征高度变化范围的区间值，例如，所述A类面包的预存高度区间设置为3cm-8cm；或为带有误差的一个数值，例如，所述A类面包的预存高度参数设置为5cm，并允许误差在25％内。

可以理解，所述预存高度区间，为非标物品高度的合理变化区间，以面包为例，面包在制作时，由于人工或者机器误差原因，制出同一个种类的面包的高度并不是唯一的，这种由于人工或者机器误差原因造成面包高度的变化定义为面包高度的合理变化区间。

请参阅图4，步骤S4：将所述深度数据转换为三维点云，估算三维点云中的平面，所述平面对应于待测非标物品的放置平面。步骤S4具体包括步骤S41～S42。

步骤S41：将所述深度数据进行处理，转换为三维点云。可以理解，在上述步骤S1中，通过深度相机获得了多个点对应的多个深度数据，将该深度数据转换成对应于与待测非标物品所在的平面的三维点云。及

步骤S42：在多个点之间建立一个平面，经过迭代计算更新平面，最终使得尽可能多的点与该平面的距离最小时，停止更新平面。

可以理解，步骤S41～S42仅为该实施例的一种实施方式，其实施方式并不限定于步骤S41～S42。

具体地，在三维点云中部分点之间建立一个平面，通过迭代计算得到所述部分点之间有尽可能多的点与所述平面的距离最短，继续将三维点云中其余的点带入迭代计算中，经过多次的迭代计算不断地更新所述平面，最终使得三维点云中尽可能多的点与该平面的距离最小时，停止更新平面，可认定当前的平面即为对应待测非标物品的放置平面，该平面可以是托盘，购物车底面或结算柜台等用于放置待测非标物品的平面。

可选地，所述迭代计算的次数至多为50次，以防止迭代计算进行过多次的计算，减少不必要的计算量。

可以理解，本发明提供的基于图像的物品堆叠检测方法尤其适用于非标物品售卖店之结算柜台处的堆叠检测。当顾客挑选完非标物品放入托盘后，将托盘放置于结算柜台上，托盘底部为平面，非标物品为非标类产品，其表面为非平面形态。因此，经过多次迭代，即能够准确估算出对应于托盘底面的三维点云中的平面，而该平面可以作为计算非标物品高度的参考面。可选地，设定相机与结算柜台距离，使得在初次进行非标物品堆叠检测时，所述托盘中的非标物品占托盘底面面积小于等于80％。

可以理解，由于本发明提供的基于图像的物品堆叠检测方法是在结算柜台进行检测的，也即当顾客挑选完食品后，将食品放置于结算柜台上，通过结算柜台上深度相机以检测食品是否堆叠，则在保持柜台不变的情况下，上述三维点云中的平面即为固定的平面，则在多次计算过程中，估算获得的三维点云的平面之信息被保存，提供给下一次基于图像的物品堆叠检测使用，也即在保持柜台不变的情况下，步骤S4中，获取三维点云中的平面为获取已存储的平面之信息。

请参阅图5，步骤S5：结合待测非标物品的位置，利用所述深度数据获得所述待测非标物品相对于平面的高度数据。步骤S5具体包括步骤S51～S52。

步骤S51：将三维点云中平面远离待测非标物品一侧的点去除，获得平面上所有非标物品的高度图。

可以理解，由于深度相机的拍摄并不能将待测非标物品和平面完全充满所述第一图像，则处于背景环境下的物体也出现在了所述第一图像内，则所述第一图像中所有的非标物品包括有待测非标物品以及背景环境下的物体。

综上所述，可知三维点云覆盖了描述待测非标物品深度的深度图像、平面以及所述背景环境下的物体。

可以理解，将处于平面之下的所述背景环境下的物体上对应的点去除，可以使得后续步骤减少对三维点云的计算量，提高计算效率。及

步骤S52：结合待测非标物品的位置，计算待测非标物品的深度数据与平面深度数据的差值，获得所述高度图中待测非标物品的高度。

可以理解，步骤S51～S52仅为该实施例的一种实施方式，其实施方式并不限定于步骤S51～S52。

具体地，所述平面上包含有多种非标物品，以面包为例，则所述平面上包含多个种类的面包，通过位置信息找出高度图中待测非标物品的三维点云，进一步使后续的步骤减少对三维点云的计算量，提高计算效率。

以面包为例，面包放置在托盘上，顾客将带有面包的托盘放置到柜台上进行结算，深度相机在进行拍摄时，获得的所述第一图像包括面包、托盘以及处于背景环境的柜台，则在通过深度数据转化为三维点云时，柜台也生成了多个点，将托盘以下的柜台的点去除，留下托盘上面包的高度图，减少了后续步骤对三维点云的计算量。

作为一种实施例，在步骤S4之前或步骤S4之后，可以对三维点云数据做简化处理以降低运算量。例如，面包上分布有多个不规则的点，可均匀选取其中25％-55％的点，例如，选取面包的点为90-150个，且选取的点中均匀分布于面包的特征上，就能作为面包的高度图，减少后续步骤对点云的计算量。

可选地，在对于非标物品的实施例中，所述待测非标物品的最高的高度为M(此时M对应为尚未判断出是否堆叠的待测非标物品最高的高度)，则可以选取相对于所述待测非标物品0.8M-0.9M之间的高度范围的点，这样可以减小后期的高度处理量(0-0.8M之间的数据不需要考虑)，另一方面提高统计的准确率，避免了不需要的数据的干扰。

请参阅图6，步骤S6：通过所述待测非标物品的高度数据与所述预存高度区间对比，判断出所述待测非标物品是否产生堆叠。步骤S6具体包括步骤S61～S63。可以理解，步骤S61～S63仅为该实施例的一种实施方式，其实施方式并不限定于步骤S61～S63。

步骤S61：判断出待测非标物品的高度数据是否位于所述预存高度区间内，若是则进入步骤S62，若否，则进入步骤S63；

步骤S62：待测非标物品不产生堆叠；

步骤S63：待测非标物品产生堆叠。

请参阅图7，本发明第二实施例提供一种用于实施上述基于图像的物品堆叠检测方法的基于图像的物品堆叠检测系统。如图6所示，该基于图像的物品堆叠检测系统可以包括：图像获取单元1、图像识别单元2、类别匹配单元3、三维点云转换单元4、高度求取单元5以及堆叠判别单元6。

图像获取单元1，用于获取至少一个待测非标物品的第一图像，获得第一图像的深度数据以及RGB数据；

具体地，所述图像获取单元1通过深度相机获取第一图像的深度数据以及RGB数据，所述深度相机设置于柜台正上方，其摄像区域与托盘放置区域对应，进一步优选，摄像区域为托盘放置区域的105％-130％，如此以保证将托盘内的待测非标物品的区域尽可能多地出现在第一图像中，减少背景环境下的物体拍摄入第一图像。

图像识别单元2，用于利用所述RGB数据，经过图像识别技术识别出所述待测非标物品的类别和位置；

类别匹配单元3，用于将预存非标物品的类别与待测非标物品的类别匹配，获得该类别非标物品的预存高度参数；

三维点云转换单元4，用于将所述深度数据转换为三维点云，并获取三维点云中的平面，所述平面对应于待测非标物品的放置平面；

高度求取单元5，用于结合待测非标物品的位置，利用所述深度数据获得所述待测非标物品相对于平面的高度数据；及

堆叠判别单元6，用于通过所述待测非标物品的高度数据与所述预存高度参数对比，判断出所述待测非标物品是否产生堆叠。

可选地，所述基于图像的物品堆叠检测系统还包括去噪单元7，用于在图像识别单元3对图像进行识别前，对所述第一图像进行去噪声处理，减少因为噪声给图像识别带来的误差。

需要说明的是，由于该基于图像的物品堆叠检测系统是在结算柜台进行运行的，也即当顾客挑选完食品后，将食品放置于结算柜台上，通过该系统检测食品是否堆叠，则在保持柜台不变的情况下，上述三维点云中的平面即为固定的平面，估算获得的三维点云的平面之信息被保存，提供给下一次基于图像的物品堆叠检测使用，则在多次计算过程中，所述三维点云转换单元4可停止运行。

请参阅图7，本发明第三实施例提供一种用于实施上述基于图像的物品堆叠检测方法的电子设备，所述电子设备包括存储器10和处理器20，所述存储器10中存储有运算机程序，所述运算机程序被设置为运行时执行上述任一项基于图像的物品堆叠检测方法实施例中的步骤。所述处理器20被设置为通过所述运算机程序执行上述任一项基于图像的物品堆叠检测方法实施例中的步骤。

可选地，在本实施例中，上述电子设备可以位于运算机网络的多个网络设备中的至少一个网络设备。

具体地，所述电子设备为辅助商店售卖非标物品的自助收银设备中的检测设备，用于检测非标物品是否产生堆叠，防止自助收银设备在结算过程中产生错误结算或结算失败的问题。

与现有的技术相比，在现有的基于图像的物品堆叠检测方法中，通过双目相机的不同视角获取物品的高度，当检测到表面较为平整的非标物品时，会较难识别物品的高度，降低检测的准确性。本发明提供的基于图像的物品堆叠检测方法中，利用深度相机拍摄出包括至少一个待测非标物品的第一图像，获得第一图像的深度数据以及RGB数据；利用所述RGB数据，经过图像识别技术识别出所述待测非标物品的类别和位置；将预存非标物品类别与待测非标物品的类别匹配，获得该类别非标物品的预存高度区间；将所述深度数据转换为三维点云，估算三维点云中的平面，所述平面对应于待测非标物品的放置平面；利用所述深度数据获得所述待测非标物品相对于平面的高度数据；及通过所述待测非标物品的高度数据与所述预存高度区间对比，判断出所述待测非标物品是否产生堆叠。使得非标物品在进行自助结算时，通过该堆叠检测方法检测出产生堆叠的非标物品，避免了对非标物品的数量、种类造成错误识别，防止造成结算失败或结算错误。非标物品其表面为曲面形态，因此，该方法能够准确估算出对应于非标物品所在的三维点云中的平面，而该平面可以作为计算非标物品高度的参考面，进而准确求出非标物品的高度信息，准确判断是否产生堆叠。

将所述深度数据进行处理，转换为三维点云；在多个点之间建立一个平面，经过迭代计算更新平面，最终使得尽可能多的点与该平面的距离最小时，停止更新平面。通过查找非标物品所在的平面，使得该方法可自适应于非标物品中的各种高度，避免人工的反复调试，提高了便利性。

将三维点云中平面远离待测非标物品一侧的点去除，获得平面上所有非标物品的高度图；及结合待测非标物品的位置，计算待测非标物品的深度数据与平面深度数据的差值，获得所述高度图中待测非标物品的高度。

将处于平面之下的所述背景环境下的物体上对应的点去除，可以使得后续步骤减少对三维点云的计算量，提高计算效率。且通过位置信息找出高度图中待测非标物品的三维点云，进一步使后续的步骤减少对三维点云的计算量，提高计算效率。

特别地，根据本公开的实施例，上文参考流程图描述的过程可以被实现为计算机软件程序。例如，本公开的实施例包括一种计算机程序产品，其包括承载在计算机可读介质上的计算机程序，该计算机程序包含用于执行流程图所示的方法的程序代码。

在该计算机程序被处理器执行时，执行本申请的方法中限定的上述功能。需要说明的是，本申请所述的计算机存储器可以是计算机可读信号介质或者计算机可读存储介质或者是上述两者的任意组合。计算机存储器例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。

计算机存储器的更具体的例子可以包括但不限于：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机访问存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本申请中，计算机可读信号介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。而在本申请中，计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读介质，该计算机可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。计算机可读介质上包含的程序代码可以用任何适当的介质传输，包括但不限于：无线、电线、光缆、RF等，或者上述的任意合适的组合。

可以以一种或多种程序设计语言或其组合来编写用于执行本申请的操作的计算机程序代码，所述程序设计语言包括面向对象的程序设计语言—诸如Java、Smalltalk、C++，还包括常规的过程式程序设计语言—诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中，远程计算机可以通过任意种类的网络——包括局域网(LAN)或广域网(WAN)—连接到用户计算机，或者，可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。

附图中的流程图和框图，图示了按照本申请各种实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分，该模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个接连地表示的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或操作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。

描述于本申请实施例中所涉及到的单元可以通过软件的方式实现，也可以通过硬件的方式来实现。所描述的单元也可以设置在处理器中，例如，可以描述为：一种处理器包括截取单元、特征获取单元、候选目标区域确定单元以及目标跟踪单元。其中，这些单元的名称在某种情况下并不构成对该单元本身的限定，例如，截取单元还可以被描述为“基于待跟踪目标在视频的历史帧中的位置，从视频的当前帧中截取出候选区域的单元”。

作为另一方面，本申请还提供了一种计算机存储器，该计算机存储器可以是上述实施例中描述的装置中所包含的；也可以是单独存在，而未装配入该装置中。上述计算机存储器承载有一个或者多个程序，当上述一个或者多个程序被该装置执行时，使得该装置：利用深度相机拍摄出包括至少一个待测非标物品的第一图像，获得第一图像的深度数据以及RGB数据；利用所述RGB数据，经过图像识别技术识别出所述待测非标物品的类别和位置；将预存非标物品类别与待测非标物品的类别匹配，获得该类别非标物品的预存高度区间；将所述深度数据转换为三维点云，估算三维点云中的平面，所述平面对应于待测非标物品的放置平面；利用所述深度数据获得所述待测非标物品相对于平面的高度数据；及通过所述待测非标物品的高度数据与所述预存高度区间对比，判断出所述待测非标物品是否产生堆叠。

以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的原则之内所作的任何修改，等同替换和改进等均应包含本发明的保护范围之内。

Claims (10)

1.一种基于图像的物品堆叠检测方法，其特征在于包括如下步骤：

步骤S1：获取至少一个待测非标物品的第一图像，获得第一图像的深度数据以及RGB数据；

步骤S2：利用所述RGB数据，经过图像识别技术识别出所述待测非标物品的类别和位置；

步骤S3：将预存非标物品的类别与待测非标物品的类别匹配，获得该类别非标物品的预存高度参数；

步骤S4：将所述深度数据转换为三维点云，并获取三维点云中的平面，所述平面对应于待测非标物品的放置平面；

步骤S5：结合待测非标物品的位置，利用所述深度数据获得所述待测非标物品相对于平面的高度数据；及

步骤S6：通过所述待测非标物品的高度数据与所述预存高度参数对比，判断出所述待测非标物品是否产生堆叠。

2.如权利要求1中所述的基于图像的物品堆叠检测方法，其特征在于：所述预存高度参数为一预存高度区间，则在上述步骤S6中具体包括如下步骤：

步骤S61：判断出待测非标物品的高度是否位于所述预存高度区间内，若是则进入步骤S62，若否，则进入步骤S63；

步骤S62：待测非标物品不产生堆叠；及

步骤S63：待测非标物品产生堆叠。

3.如权利要求1中所述的基于图像的物品堆叠检测方法，其特征在于：步骤S5中，所述待测非标物品的深度数据中，最大深度数据为M，选取相对于所述待测非标物品0.8M-0.9M之间的高度范围的点与所述平面的点求差值，获得待测非标物品的高度数据。

4.如权利要求1中所述的基于图像的物品堆叠检测方法，其特征在于：在上述步骤S4中三维点云的平面是通过估算获得，其具体包括如下步骤：

步骤S41：将所述深度数据进行处理，转换为三维点云；

步骤S42：在多个点之间建立一个平面，经过迭代计算更新平面，最终使得尽可能多的点与该平面的距离最小时，停止更新平面。

5.如权利要求4中所述的基于图像的物品堆叠检测方法，其特征在于：估算获得的三维点云的平面之信息被保存，以提供给下一次基于图像的物品堆叠检测使用。

6.如权利要求1中所述的基于图像的物品堆叠检测方法，其特征在于：在上述步骤S5中具体包括如下步骤：

步骤S51：将三维点云中平面远离待测非标物品一侧的点去除，获得平面上所有非标物品的高度图；及

步骤S52：结合待测非标物品的位置，计算其余点的深度数据与平面深度数据的差值，获得所述高度图中待测非标物品的高度。

7.如权利要求1中所述的基于图像的物品堆叠检测方法，其特征在于：所述预存高度参数为人工预先设置的数值；

步骤S1中的深度数据和RGB数据通过深度相机采集，深度相机为基于结构光原理的相机。

8.一种基于图像的物品堆叠检测系统，其特征在于，包括：

图像获取单元，用于获取至少一个待测非标物品的第一图像，获得第一图像的深度数据以及RGB数据；

图像识别单元，用于利用所述RGB数据，经过图像识别技术识别出所述待测非标物品的类别和位置；

类别匹配单元，用于将预存非标物品的类别与待测非标物品的类别匹配，获得该类别非标物品的预存高度参数；

三维点云转换单元，用于将所述深度数据转换为三维点云，并获取三维点云中的平面，所述平面对应于待测非标物品的放置平面；

高度求取单元，用于结合待测非标物品的位置，利用所述深度数据获得所述待测非标物品相对于平面的高度数据；及

堆叠判别单元，用于通过所述待测非标物品的高度数据与所述预存高度参数对比，判断出所述待测非标物品是否产生堆叠。

9.如权利要求8中所述的基于图像的物品堆叠检测系统，其特征在于：还包括去噪单元，用于在图像识别单元对图像进行识别前，对所述第一图像进行去噪声处理。

10.一种电子设备，包括存储器和处理器，其特征在于：所述存储器中存储有计算机程序，所述计算机程序被设置为运行时执行所述权利要求1至7任一项中所述的基于图像的物品堆叠检测方法；

所述处理器被设置为通过所述计算机程序执行所述权利要求1至7任一项中所述的基于图像的物品堆叠检测方法。