CN113947576A - 容器定位方法、装置、容器存取设备及存储介质 - Google Patents

Abstract

本发明提供一种容器定位方法、装置、容器存取设备及存储介质，容器定位方法包括：获取图像传感器采集的图像，其中，图像携带各像素的像素信息，像素信息包括颜色数据和/或深度数据；根据图像中各像素的像素信息，确定图像中的候选容器区域；根据候选容器区域中各像素的像素信息对候选容器区域进行像素扩展，得到容器定位区域；获得容器定位区域的边缘位置信息，根据边缘位置信息，确定目标容器的定位结果。对候选容器区域进行像素扩展时，将颜色数据和深度数据相互补偿，得到的容器定位区域能够适应不同情况的容器，则根据容器定位区域的边缘位置信息确定出的目标容器的定位结果具有更高的精度。

Description

容器定位方法、装置、容器存取设备及存储介质

技术领域

本发明涉及仓储技术领域，特别涉及一种容器定位方法、装置、容器存取设备及存储介质。

背景技术

近年来，随着电子商务的快速发展，用户订单数量呈几何倍数增长，一个仓库需要存储海量的商品，如何对这些商品进行自动分拣，成为提高仓储效率的关键。

目前，仓库多由容器存取设备实现商品的自动分拣，容器存取设备从待分拣货架上将装有商品的目标容器取出，然后移放至指定位置。为了实现容器存取设备的自动取放功能，容器存取设备上一般设置有飞行时间(TOF，Time of Flight)相机，基于TOF相机采集的图像，对目标容器进行定位，根据定位结果相应地取出目标容器。

然而，基于TOF相机的容器定位技术，对目标容器的材质和表面完整性有较强的依赖。如果目标容器的材质为反光/吸光材质，或者目标容器的表面有较大区域破损，则无法得到目标容器的精准定位结果。

发明内容

有鉴于此，本发明实施例提供了一种容器定位方法、装置、容器存取设备及存储介质，以解决现有技术中存在的技术缺陷。

根据本发明实施例的第一方面，提供了一种容器定位方法，包括：

获取图像传感器采集的图像，其中，图像携带各像素的像素信息，像素信息包括颜色数据和/或深度数据；

根据图像中各像素的像素信息，确定图像中的候选容器区域；

根据候选容器区域中各像素的像素信息对候选容器区域进行像素扩展，得到容器定位区域；

获得容器定位区域的边缘位置信息，根据边缘位置信息，确定目标容器的定位结果。

可选地，根据图像中各像素的像素信息，确定图像中的候选容器区域的步骤，包括：

根据图像中各像素的颜色数据，确定颜色数据连续的多个相邻像素组成的目标区域；和/或，根据图像中各像素的深度数据，确定深度数据连续的多个相邻像素组成的目标区域；

基于目标区域，确定候选容器区域。

可选地，基于目标区域，确定候选容器区域的步骤，包括：

若目标区域的数目为多个，则获取图像的第一中心位置数据及各目标区域的第二中心位置数据；

针对任一目标区域，根据该目标区域的第二中心位置数据和第一中心位置数据，计算该目标区域与图像的中心距离；和/或，根据该目标区域中各像素的深度数据，计算该目标区域的平均深度数据；

确定中心距离符合第一预设条件的目标区域作为候选容器区域；和/或，确定平均深度数据符合第二预设条件的目标区域作为候选容器区域。

可选地，确定中心距离符合第一预设条件的目标区域作为候选容器区域的步骤，包括：

确定中心距离小于第一预设阈值的目标区域作为候选容器区域；

确定平均深度数据符合第二预设条件的目标区域作为候选容器区域的步骤，包括：

确定平均深度数据与图像传感器的平面深度数据的差值小于第二预设阈值的目标区域作为候选容器区域。

可选地，根据候选容器区域中各像素的像素信息对候选容器区域进行像素扩展，得到容器定位区域的步骤，包括：

根据候选容器区域中各像素的颜色数据，计算候选容器区域的平均颜色数据；计算候选容器区域的边缘邻域中当前像素的颜色数据与平均颜色数据之间的第一差值；若第一差值小于预设颜色阈值，则对候选容器区域进行像素扩展，得到容器定位区域；

和/或，

根据候选容器区域中各像素的深度数据，计算候选容器区域的平均深度数据；计算候选容器区域的边缘邻域中当前像素的深度数据与平均深度数据之间的第二差值；若第二差值小于预设深度阈值，则对候选容器区域进行像素扩展，得到容器定位区域。

可选地，获得容器定位区域的边缘位置信息的步骤，包括：

基于容器定位区域边缘处的颜色数据和/或深度数据，利用预设去噪方式，过滤掉容器定位区域边缘处的噪声，获得去噪后的容器定位区域各边缘像素的位置数据和/或深度数据；

根据去噪后的容器定位区域各边缘像素的位置数据和/或深度数据，确定容器定位区域的边缘位置信息。

可选地，边缘位置信息包括容器定位区域各边缘的位置数据和深度数据；定位结果包括尺寸信息和位姿信息；

根据边缘位置信息，确定目标容器的定位结果的步骤，包括：

根据容器定位区域各边缘的位置数据，计算目标容器的尺寸信息；

根据容器定位区域各边缘的位置数据和深度数据，计算目标容器的位姿信息。

可选地，容器为货箱。

根据本发明实施例的第二方面，提供了一种容器定位装置，包括：

获取模块，被配置为获取图像传感器采集的图像，其中，图像携带各像素的像素信息，像素信息包括颜色数据和/或深度数据；

粗定位模块，被配置为根据图像中各像素的像素信息，确定图像中的候选容器区域；

精细定位模块，被配置为根据候选容器区域中各像素的像素信息对候选容器区域进行像素扩展，得到容器定位区域；

定位结果确定模块，被配置为获得容器定位区域的边缘位置信息，根据边缘位置信息，确定目标容器的定位结果。

可选地，粗定位模块，包括目标区域确定单元和候选容器区域确定单元；

目标区域确定单元，被配置为根据图像中各像素的颜色数据，确定颜色数据连续的多个相邻像素组成的目标区域；和/或，根据图像中各像素的深度数据，确定深度数据连续的多个相邻像素组成的目标区域；

候选容器区域确定单元，被配置为基于目标区域，确定候选容器区域。

可选地，候选容器区域确定单元包括获取子单元、计算子单元和确定子单元；

获取子单元，被配置为若目标区域的数目为多个，则获取图像的第一中心位置数据及各目标区域的第二中心位置数据；

计算子单元，被配置为针对任一目标区域，根据该目标区域的第二中心位置数据和第一中心位置数据，计算该目标区域与图像的中心距离；和/或，根据该目标区域中各像素的深度数据，计算该目标区域的平均深度数据；

确定子单元，被配置为确定中心距离符合第一预设条件的目标区域作为候选容器区域；和/或，确定平均深度数据符合第二预设条件的目标区域作为候选容器区域。

可选地，确定子单元，进一步被配置为确定中心距离小于第一预设阈值的目标区域作为候选容器区域；和/或，确定平均深度数据与图像传感器的平面深度数据的差值小于第二预设阈值的目标区域作为候选容器区域。

可选地，精细定位模块，进一步被配置为根据候选容器区域中各像素的颜色数据，计算候选容器区域的平均颜色数据，计算候选容器区域的边缘邻域中当前像素的颜色数据与平均颜色数据之间的第一差值，若第一差值小于预设颜色阈值，则对候选容器区域进行像素扩展，得到容器定位区域；和/或，根据候选容器区域中各像素的深度数据，计算候选容器区域的平均深度数据，计算候选容器区域的边缘邻域中当前像素的深度数据与平均深度数据之间的第二差值，若第二差值小于预设深度阈值，则对候选容器区域进行像素扩展，得到容器定位区域。

可选地，定位结果确定模块，进一步被配置为基于容器定位区域边缘处的颜色数据和/或深度数据，利用预设去噪方式，过滤掉容器定位区域边缘处的噪声，获得去噪后的容器定位区域各边缘像素的位置数据和/或深度数据；根据去噪后的容器定位区域各边缘像素的位置数据和/或深度数据，确定容器定位区域的边缘位置信息。

可选地，边缘位置信息包括容器定位区域各边缘的位置数据和深度数据；定位结果包括尺寸信息和位姿信息；

定位结果确定模块，进一步被配置为根据容器定位区域各边缘的位置数据，计算目标容器的尺寸信息；根据容器定位区域各边缘的位置数据和深度数据，计算目标容器的位姿信息。

可选地，容器为货箱。

根据本发明实施例的第三方面，提供了一种容器存取设备，包括：图像传感器、存储器和处理器；

图像传感器用于采集图像，将图像传输至处理器；

存储器用于存储计算机可执行指令，处理器用于执行计算机可执行指令，该计算机可执行指令被处理器执行时实现上述容器定位方法。

根据本发明实施例的第四方面，提供了一种计算机可读存储介质，其存储有计算机可执行指令，该指令被处理器执行时实现上述容器定位方法。

本实施例提供一种容器定位方法、装置、容器存取设备及存储介质，容器定位方法包括：获取图像传感器采集的图像，其中，图像携带各像素的像素信息，像素信息包括颜色数据和/或深度数据；根据图像中各像素的像素信息，确定图像中的候选容器区域；根据候选容器区域中各像素的像素信息对候选容器区域进行像素扩展，得到容器定位区域；获得容器定位区域的边缘位置信息，根据边缘位置信息，确定目标容器的定位结果。

图像采集设备所采集的图像携带了各像素的像素信息，根据各像素的像素信息可确定出包含有目标容器的候选容器区域，由于像素信息包括颜色数据和/或深度数据，在根据候选容器区域中各像素的像素信息对候选容器区域进行像素扩展时，针对深度数据噪声较大的弧形边缘处、反光/吸光位置处、以及难以获得深度数据的类网格状或表面有孔洞/破损的平面，可根据颜色数据进行像素扩展，针对一些光线较暗、容器与背景颜色较一致的位置，可根据深度数据进行像素扩展，像素扩展后得到的容器定位区域能够适应不同情况的容器，则根据容器定位区域的边缘位置信息确定出的目标容器的定位结果具有更高的精度，实现了对不同情况的容器的精确定位。

附图说明

图1是本发明一个实施例提供的一种容器定位方法的流程图；

图2是本发明一个实施例提供的一种容器定位的场景示意图；

图3是本发明一个实施例提供的另一种容器定位方法的流程图；

图4是本发明一个实施例提供的RGB-D相机采集的图像；

图5是本发明一个实施例提供的一种容器定位装置的结构示意图；

图6是本发明一个实施例提供的一种容器存取设备的结构框图。

具体实施方式

在下面的描述中阐述了很多具体细节以便于充分理解本发明。但是本发明能够以很多不同于在此描述的其它方式来实施，本领域技术人员可以在不违背本发明内涵的情况下做类似推广，因此本发明不受下面公开的具体实施的限制。

在本发明一个或多个实施例中使用的术语是仅仅出于描述特定实施例的目的，而非旨在限制本发明一个或多个实施例。在本发明一个或多个实施例和所附权利要求书中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式，除非上下文清楚地表示其他含义。还应当理解，本发明一个或多个实施例中使用的术语“和/或”是指并包含一个或多个相关联的列出项目的任何或所有可能组合。

应当理解，尽管在本发明一个或多个实施例中可能采用术语第一、第二等来描述各种信息，但这些信息不应限于这些术语。这些术语仅用来将同一类型的信息彼此区分开。例如，在不脱离本发明一个或多个实施例范围的情况下，第一也可以被称为第二，类似地，第二也可以被称为第一。取决于语境，如在此所使用的词语“如果”可以被解释成为“在……时”或“当……时”或“响应于确定”。

首先，对本发明一个或多个实施例涉及的名词术语进行解释。

容器：一般也称为料箱或货箱，是一种承装商品/物料的实体，包括塑料箱、纸箱、纸盒、塑料筐等。

容器存取设备：也称为C机器人(Carry搬运机器人)，是一种能够从货架上取放容器和搬运容器的自动化设备。

颜色数据：RGB、HSV等各种表示像素色彩空间的数据。

深度数据：表示像素在图像中的深度，取值越大，表示该像素的深度越深。

目前，主要有基于TOF相机的容器定位方案，和基于RGB-D相机进行图像分割的容器定位方案。

基于TOF相机的容器定位方案，对容器的材质、表面完整性有较强的依赖。第一，当容器材质为反光或吸光材质，以及容器表面有反光或吸光材质的粘贴物时，此时TOF相机无法准确获取图像数据，对容器定位结果会产生影响；第二，当容器表面不是完整的平面时，如表面为网格的容器或容器表面有较大区域破损时，TOF相机在网格边缘处会产成较多飞点/噪点，导致定位精度较低；第三，现有容器边缘处大多为弧形边缘，非整齐的直角边缘，TOF相机在此类边缘处会产生飞点/噪点，导致定位精度较低。

基于RGB-D相机进行图像分割的容器定位方案，采用深度学习的方法利用大量样本容器图像进行模型训练，利用训练后的模型对采集的图像进行容器分割。此类方案对计算性能要求较高，其次，此类方案在容器边缘处难以达到比较稳定的高精度定位，并且在样本容器图像的标注过程中需要在边缘处有较高的标注精度，工作量庞大。

为了应对上述问题，本发明中提供了一种容器定位方法，同时提供了一种容器定位装置，一种容器存取设备，以及一种计算机可读存储介质，在下面的实施例中逐一进行详细说明。

本发明实施例所提供的容器定位方法的执行主体可以为用于进行容器定位的计算设备、服务器等，也可以为用于自动存取容器的容器存取设备。本发明实施例所提供的容器定位方法可以被设置于执行主体中的软件、硬件电路、逻辑电路中的至少一种执行实现。

图1示出了本发明一个实施例提供的一种容器定位方法的流程图，具体包括以下步骤。

步骤102，获取图像传感器采集的图像，其中，图像传感器所采集的图像携带有各像素的像素信息，像素信息包括颜色数据和/或深度数据。

在本发明实施例中，图像传感器为在采集图像时可以获得各像素的颜色数据和/或深度数据的特定类型的图像传感器，例如RGB-D相机。图像传感器对视野范围内的场景进行拍摄，并将拍摄得到的图像传输至本发明实施例的执行主体处，执行主体获取到图像传感器采集的图像，可以获得图像携带的各像素的像素信息，具体为各像素的颜色数据和/或深度数据。本发明实施例中，图像传感器视野范围内的场景为放置有容器的场景，如图2示出的本发明一个实施例提供的一种容器定位的场景示意图。

步骤104，根据图像中各像素的像素信息，确定图像中的候选容器区域。

在获取到图像传感器采集的图像后，能够获知图像中各像素的像素信息，即图像中各像素的颜色数据和/或深度数据，由于容器的表面颜色和深度通常满足一定的规律，例如容器表面一般为蓝色、红色、绿色等纯色，且深度通常是固定的，则可以根据图像中各像素的像素信息确定出图像中包含有目标容器的候选容器区域。具体地，确定候选容器区域的方式可以是判断各像素的颜色数据是否为指定颜色数据(代表某一纯色的颜色数据)和/或各像素的深度数据是否为指定深度数据(容器的固定深度)，确定颜色数据是指定颜色数据和/或深度数据是指定深度数据的多个像素组成的区域为候选容器区域。

由于在采集图像时，会遇到上述容器材质为反光/吸光材质、容器表面有破损、容器边缘为弧形等问题，本步骤确定出的候选容器区域仅为针对目标容器的粗略定位结果。

在本发明实施例的一种实现方式中，步骤104具体可以通过如下方式实现：根据图像中各像素的颜色数据，确定颜色数据连续的多个相邻像素组成的目标区域；和/或，根据图像中各像素的深度数据，确定深度数据连续的多个相邻像素组成的目标区域。基于目标区域，确定候选容器区域。

由于容器的表面颜色和深度通常满足一定的规律，且受光照、角度等因素的影响，采集到的各像素的颜色数据、深度数据会有一定范围的误差，为了消除这些因素的影响，提高容器定位结果的精度，在本发明实施例中，可以根据图像中各像素的颜色数据确定颜色数据连续的多个相邻像素组成的目标区域，和/或，根据图像中各像素的深度数据确定深度数据连续的多个相邻像素组成的目标区域，然后基于确定出的目标区域来确定候选容器区域。

具体在确定候选容器区域时，可以根据图像中各像素的颜色数据，确定颜色数据连续的多个相邻像素组成的区域作为候选容器区域，或者，根据图像中各像素的深度数据，确定深度数据连续的多个相邻像素组成的区域作为候选容器区域，再或者，可以根据图像中各像素的颜色数据和深度数据，确定颜色数据连续、且深度数据也连续的多个相邻像素组成的区域作为候选容器区域。

划分候选容器区域的过程类似于聚类的过程，即将符合连续条件的像素(即多个相邻像素的颜色数据连续和/或深度数据连续)聚为一类，该类即为一个候选容器区域。其中，连续条件即为一个区域内所有像素的颜色数据在一定范围(该范围考虑光照因素引入的颜色偏差设定)内，和/或所有像素的深度数据在一定范围(该范围考虑拍摄角度引入的深度偏差设定)内。当然，连续条件不仅限于此，还可以为一个区域内各个像素的颜色数据之间的欧式距离小于某一阈值(该阈值考虑光照因素引入的颜色偏差设定)，和/或各个像素的深度数据之间的欧式距离小于某一阈值(该阈值考虑拍摄角度引入的深度偏差设定)。

在本发明实施例的一种实现方式中，基于目标区域，确定候选容器区域的步骤，具体可以通过如下方式实现：

若目标区域的数目为多个，则获取图像的第一中心位置数据及各目标区域的第二中心位置数据；

针对任一目标区域，根据该目标区域的第二中心位置数据和第一中心位置数据，计算该目标区域与图像的中心距离；和/或，根据该目标区域中各像素的深度数据，计算该目标区域的平均深度数据；

确定中心距离符合第一预设条件的目标区域作为候选容器区域；和/或，确定平均深度数据符合第二预设条件的目标区域作为候选容器区域。

在某些特殊场景下，例如货架上放置有多个容器，而一次仅会取出一个容器，为了提高容器定位结果的精度，符合实际场景需求，一般会对在图像传感器视野范围的中心位置附近的容器进行定位、取放，因此，如果存在多个目标区域，则会选择区域中心与图像传感器视野范围的中心(图像传感器视野范围的中心即为图像传感器所采集图像的中心)的距离符合第一预设条件，和/或区域平均深度符合第二预设条件的目标区域作为候选容器区域。其中，第一预设条件是指使得候选容器区域的位置数据最优的条件，例如距离图像传感器视野范围的中心最近、与图像传感器视野范围的中心的距离小于一定阈值等，第二预设条件是指使得候选容器区域的深度数据最优的条件，例如区域平均深度数据与图像传感器的平面深度数据的差值小于一定阈值、区域中各像素的深度数据之间的欧式距离最小等。

具体地，确定区域中心与图像传感器视野范围的中心的距离的过程为：获取图像的第一中心位置数据及各目标区域的第二中心位置数据，针对任一目标区域，根据该目标区域的第二中心位置数据和第一中心位置数据，计算该目标区域与图像的中心距离。其中，第一中心位置数据可以通过图像传感器的内参计算得到，图像传感器的内参包括焦距、视角等，具体的计算过程与传统的相机中心点的确定过程相同，这里不再赘述。确定区域平均深度的过程为：针对任一目标区域，根据该目标区域中各像素的深度数据，计算该目标区域的平均深度数据，具体就是将该目标区域中各像素的深度数据相加，然后除以像素的个数，即可得到该目标区域的平均深度数据。

在本发明实施例的一种实现方式中，确定中心距离符合第一预设条件的目标区域作为候选容器区域的步骤，具体可以通过如下方式实现：确定中心距离小于第一预设阈值的目标区域作为候选容器区域。确定平均深度数据符合第二预设条件的目标区域作为候选容器区域的步骤，具体可以通过如下方式实现：确定平均深度数据与图像传感器的平面深度数据的差值小于第二预设阈值的目标区域作为候选容器区域。

为了保证容器定位结果的精度，优选地，选择距离图像传感器视野范围的中心在第一预设阈值范围内的目标区域作为候选容器区域，和/或，选择平均深度数据与图像传感器的平面深度数据的差值小于第二预设阈值的目标区域作为候选容器区域。进一步地，可以选择距离图像传感器视野范围的中心最小的目标区域作为候选容器区域，和/或，选择平均深度数据与图像传感器的平面深度数据的差值最小的目标区域作为候选容器区域，进而保证目标容器距离图像传感器最近。

步骤106，根据候选容器区域中各像素的像素信息对候选容器区域进行像素扩展，得到容器定位区域。

在得到候选容器区域后，由于在采集图像时，会遇到上述容器材质为反光/吸光材质、容器表面有破损、容器边缘为弧形等问题，所以候选容器区域仅为针对目标容器的粗略定位结果。为了抵消掉上述问题引入的误差，需要根据候选容器区域中各像素的像素信息对候选容器区域进行像素扩展。这样，针对深度数据噪声较大的弧形边缘处、反光/吸光位置处、以及难以获得深度数据的类网格状或表面有孔洞/破损的平面，可根据颜色数据进行像素扩展，针对一些光线较暗、容器与背景颜色较一致的位置，可根据深度数据进行像素扩展，像素扩展后得到的容器定位区域能够适应不同情况的容器，提高容器定位结果的精度。

在本发明实施例的一种实现方式中，步骤106具体可以通过如下方式实现：

根据候选容器区域中各像素的颜色数据，计算候选容器区域的平均颜色数据；计算候选容器区域的边缘邻域中当前像素的颜色数据与平均颜色数据之间的第一差值；若第一差值小于预设颜色阈值，则对候选容器区域进行像素扩展，得到容器定位区域；和/或，

根据候选容器区域中各像素的深度数据，计算候选容器区域的平均深度数据；计算候选容器区域的边缘邻域中当前像素的深度数据与平均深度数据之间的第二差值；若第二差值小于预设深度阈值，则对候选容器区域进行像素扩展，得到容器定位区域。

在实际的像素扩展方案中，主要是根据颜色数据和/或深度数据进行像素扩展，具体地，可以根据候选容器区域中各像素的颜色数据计算候选容器区域的平均颜色数据，和/或，根据候选容器区域中各像素的颜色数据计算候选容器区域的平均颜色数据，然后计算候选容器区域的边缘邻域中当前像素的颜色数据与平均颜色数据之间的第一差值，和/或候选容器区域的边缘邻域中当前像素的深度数据与平均深度数据之间的第二差值。如果第一差值很小(小于一定的颜色阈值)，则说明当前像素的颜色数据和候选容器区域相近，可能是属于目标容器的像素；如果第二差值很小(小于一定的深度阈值)，则说明当前像素的深度数据和候选容器区域相近，可能是属于目标容器的像素。

因此，分别针对颜色数据和深度数据设置了预设颜色阈值和预设深度阈值，判断第一差值是否小于预设颜色阈值和/或第二差值是否小于预设深度阈值，如果第一差值小于预设颜色阈值，和/或第二差值小于预设深度阈值，则对候选容器区域进行像素扩展，将当前像素划分为属于容器的像素，经过像素扩展，即可得到容器定位区域。相较于候选容器区域，容器定位区域属于目标容器的精细定位结果。

在上述实施例中，除了对第一差值是否小于预设颜色阈值、第二差值是否小于预设深度阈值进行判断以外，还可以判断当前像素的颜色数据与8邻域像素的平均颜色数据之间的差值是否小于另一预设颜色阈值、当前像素的深度数据与8邻域像素的平均深度数据之间的差值是否小于另一预设深度阈值，如果小于，则说明像素变化较小，可以进一步确认该像素属于目标容器，可以提升容器定位结果的精度。

也就是说，步骤106具体还可以通过如下方式实现：

根据候选容器区域中各像素的颜色数据，计算候选容器区域的第一平均颜色数据；计算候选容器区域的边缘邻域中当前像素的8邻域像素的第二平均颜色数据；计算候选容器区域的边缘邻域中当前像素的颜色数据与第一平均颜色数据之间的第一差值，当前像素的颜色数据与第二平均颜色数据之间的第三差值；若第一差值小于第一预设颜色阈值、且第三差值小于第二预设颜色阈值，则对候选容器区域进行像素扩展，得到容器定位区域；和/或，

根据候选容器区域中各像素的深度数据，计算候选容器区域的第一平均深度数据；计算候选容器区域的边缘邻域中当前像素的8邻域像素的第二平均深度数据；计算候选容器区域的边缘邻域中当前像素的深度数据与第一平均深度数据之间的第二差值，当前像素的深度数据与第二平均深度数据之间的第四差值；若第二差值小于第一预设深度阈值、且第四差值小于第二预设深度阈值，则对候选容器区域进行像素扩展，得到容器定位区域。

需要说明的一点，上述的颜色数据包括但不仅限于RGB、HSV等各种色彩空间表示形式，针对不同的颜色空间表示形式，可以选择包括但不限于各个通道分别做平均、各个通道加权求和再做平均等数值计算方式得到平均颜色数据。

步骤108，获得容器定位区域的边缘位置信息，根据边缘位置信息，确定目标容器的定位结果。

在得到容器定位区域后，即得到了精细的目标容器所处的区域，可以获得容器定位区域的边缘位置信息，然后根据边缘位置信息，确定目标容器的定位结果，其中，边缘位置信息可以包括边缘像素的具体位置数据(坐标)、深度数据等，定位结果可以包括目标容器的尺寸、位姿等信息。

在本发明实施例的一种实现方式中，获得容器定位区域的边缘位置信息的步骤具体可以通过如下方式实现：

基于容器定位区域边缘处的颜色数据和/或深度数据，利用预设去噪方式，过滤掉容器定位区域边缘处的噪声，获得去噪后的容器定位区域各边缘像素的位置数据和/或深度数据；

根据去噪后的容器定位区域各边缘像素的位置数据和/或深度数据，确定容器定位区域的边缘位置信息。

由于图像采集或者像素扩展过程中不可避免会存在边缘像素不完整或者边缘存在毛刺的情况，为了使得容器定位区域更为光滑，可以基于容器定位区域边缘处的颜色数据和/或深度数据，利用预设去噪方式，过滤掉容器定位区域边缘处的噪声，其中，预设去噪方式包括但不限于中值滤波、双边滤波等，还可以包括通过形态学操作填充不完整边缘、去除多余的尖刺以及细小边缘。去噪之后，获得去噪后的容器定位区域各边缘像素的位置数据和/或深度数据，根据去噪后的容器定位区域各边缘像素的位置数据和/或深度数据，即可确定出容器定位区域的边缘位置信息。

在本发明实施例的一种实现方式中，边缘位置信息包括容器定位区域各边缘的位置数据和深度数据；定位结果包括尺寸信息和位姿信息。其中，容器定位区域的边缘包括左边缘、右边缘、上边缘和下边缘，各边缘的位置数据具体就是指各边缘的坐标，具体地，图像传感器会输出各像素相对于光心的X、Y坐标，那么，左边缘、右边缘的位置数据具体指左边缘、右边缘像素的X坐标，上边缘、下边缘的位置数据具体指上边缘、下边缘像素的Y坐标。各边缘的深度数据具体就是指针对任一边缘，将该边缘上各像素的深度数据相加然后求平均，得到的平均深度数据Z。

相应地，根据边缘位置信息，确定目标容器的定位结果的步骤，具体可以通过如下步骤实现：

根据容器定位区域各边缘的位置数据，计算目标容器的尺寸信息；

根据容器定位区域各边缘的位置数据和深度数据，计算目标容器的位姿信息。

在得到容器定位区域各边缘的位置数据和深度数据后，可以根据容器定位区域各边缘的位置数据，计算目标容器的尺寸信息，也就是，目标容器的宽度为左边缘的位置数据(左边缘像素的X坐标)减去右边缘的位置数据(右边缘的X坐标)，目标容器的高度为上边缘的位置数据(上边缘像素的Y坐标)减去下边缘的位置数据(下边缘的Y坐标)。目标容器的尺寸信息即包括目标容器的高度和宽度。目标容器的位姿信息包括目标容器的位置和角度，其中，目标容器的位置可以用目标容器的某一边缘的位置数据表征，目标容器的角度可以利用公式(1)计算得到。

θ＝arctan[(Z-Z')/(X-X')] (1)

其中，θ为目标容器的角度，Z为容器定位区域左边缘的深度数据，Z’为容器定位区域右边缘的深度数据，X为容器定位区域左边缘的位置数据(左边缘的X坐标)，X’为容器定位区域右边缘的位置数据(右边缘的X坐标)。

在得到目标容器的定位结果后，可以输出定位结果，以使容器存取设备可以根据定位结果准确取出目标容器。

应用本发明实施例，通过获取图像传感器采集的图像，根据图像中各像素的像素信息，确定图像中的候选容器区域，根据候选容器区域中各像素的像素信息对候选容器区域进行像素扩展，得到容器定位区域，获得容器定位区域的边缘位置信息，根据边缘位置信息，确定目标容器的定位结果。图像采集设备所采集的图像携带了各像素的像素信息，根据各像素的像素信息可确定出包含有目标容器的候选容器区域，由于像素信息包括颜色数据和/或深度数据，在根据候选容器区域中各像素的像素信息对候选容器区域进行像素扩展时，将颜色数据和深度数据相互补偿，针对深度数据噪声较大的弧形边缘处、反光/吸光位置处、以及难以获得深度数据的类网格状或表面有孔洞/破损的平面，可根据颜色数据进行像素扩展，针对一些光线较暗、容器与背景颜色较一致的位置，可根据深度数据进行像素扩展，像素扩展后得到的容器定位区域能够适应不同情况的容器，则根据容器定位区域的边缘位置信息确定出的目标容器的定位结果具有更高的精度，实现了对不同情况的容器的实时精确定位。

上述实施例中的容器具体可以为货箱，为了便于理解，下面结合货箱取放的应用场景对本发明实施例提供的容器定位方法进行介绍。在本发明实施例中，容器存取设备包括取放货箱的取放装置，在取放装置的底部安装有RGB-D相机，容器存储设备还包括处理器，由处理器执行如图3所示的容器定位方法，图3示出了本发明一个实施例提供的另一种容器定位方法的流程图，具体包括以下步骤。

第一步，RGB-D相机采集图像。获取图像中各像素的像素信息，像素信息包括颜色数据和深度数据。

第二步，基于像素信息进行货箱区域粗定位。即基于图像中各像素的像素信息，对货箱区域进行粗定位，获得候选货箱区域。

具体查找RGB-D相机视野范围内多个相邻像素的深度数据连续和/或颜色数据连续的区域，如果存在多个区域，则只选择区域中心距RGB-D相机视野中心最近且区域平均深度距RGB-D相机平面最近的区域作为候选货箱区域。具体确定候选货箱区域的方式见图1所示实施例，这里不再赘述。如图4所示，图4示出了本发明一个实施例提供的RGB-D相机采集的图像，该图像中总共确定出A、B、C、D、E、F、G、H、I，9个区域，其中，区域E距RGB-D相机视野中心最近且区域平均深度距RGB-D相机平面最近，则确定区域E作为候选货箱区域。

第三步，基于像素信息进行货箱区域精细定位。即基于候选货箱区域中各像素的像素信息及候选货箱区域的边缘邻域像素的像素信息，对候选货箱区域进行像素扩展，得到精细定位的货箱定位区域。

具体的像素扩展方式为：根据候选货箱区域中各像素的颜色数据和深度数据，分别计算候选货箱区域的第一平均颜色数据和第一平均深度数据；分别计算候选货箱区域的边缘邻域中当前像素的8邻域像素的第二平均颜色数据和第二平均深度数据；计算候选货箱区域的边缘邻域中当前像素的颜色数据与第一平均颜色数据之间的第一差值，当前像素的深度数据与第一平均深度数据之间的第二差值，当前像素的颜色数据与第二平均颜色数据之间的第三差值，当前像素的深度数据与第二平均深度数据之间的第四差值；若第一差值小于第一预设颜色阈值、且第三差值小于第二预设颜色阈值，或者，第二差值小于第一预设深度阈值、且第四差值小于第二预设深度阈值，则对候选货箱区域进行像素扩展，得到货箱定位区域，其中，货箱定位区域包括候选货箱区域和当前像素。

第四步，货箱边缘精度定位。即基于容器定位区域边缘处的颜色数据和/或深度数据，利用预设去噪方式，过滤掉货箱定位区域边缘处的噪声，获得去噪后的货箱定位区域各边缘像素的位置数据和深度数据，根据去噪后的货箱定位区域各边缘像素的位置数据和深度数据，确定货箱定位区域的边缘位置信息。

第五步，目标货箱尺寸信息与位姿计算输出。即根据货箱定位区域各边缘的位置数据，计算目标货箱的尺寸信息，根据货箱定位区域各边缘的位置数据和深度数据，计算目标货箱的位姿信息。

具体地，在图4中的区域E，用区域E左边缘的X坐标减去右边缘的X坐标得到目标货箱的宽度，用区域E上边缘的Y坐标减去下边缘的Y坐标得到目标货箱的高度。然后将区域E左边缘的深度数据、右边缘的深度数据、左边缘的X坐标、右边缘的X坐标代入公式(1)，即可计算得到目标货箱的角度。

在得到目标货箱尺寸信息与位姿的定位结果后，可以直接将定位结果输出至取放装置，取放装置接收到定位结果，可根据定位结果，准确地从货架或者其他放置目标货箱的位置取出目标货箱。

本发明将RGB-D相机的颜色数据与深度数据相互补偿，在深度数据噪声比较大的弧形边缘处、反光/吸光位置处，以及难以获得深度数据的网格平面上，采用颜色数据进行像素扩展，而在一些光线较暗、货箱与背景颜色较为一致的位置，采用深度数据进行像素扩展。对于多种类型/材质的货箱具有较强的适应性，且定位精度更高，相对与现有的技术方案，本发明能够实现对多种类型/材质货箱的实时精确定位。

与上述方法实施例相对应，本发明还提供了容器定位装置实施例，图5示出了本发明一个实施例提供的一种容器定位装置的结构示意图。如图5所示，该装置包括：

获取模块520，被配置为获取图像传感器采集的图像，其中，图像携带各像素的像素信息，像素信息包括颜色数据和/或深度数据；

粗定位模块540，被配置为根据图像中各像素的像素信息，确定图像中的候选容器区域；

精细定位模块560，被配置为根据候选容器区域中各像素的像素信息对候选容器区域进行像素扩展，得到容器定位区域；

定位结果确定模块580，被配置为获得容器定位区域的边缘位置信息，根据边缘位置信息，确定目标容器的定位结果。

应用本发明实施例，通过获取图像传感器采集的图像，根据图像中各像素的像素信息，确定图像中的候选容器区域，根据候选容器区域中各像素的像素信息对候选容器区域进行像素扩展，得到容器定位区域，获得容器定位区域的边缘位置信息，根据边缘位置信息，确定目标容器的定位结果。图像采集设备所采集的图像携带了各像素的像素信息，根据各像素的像素信息可确定出包含有目标容器的候选容器区域，由于像素信息包括颜色数据和/或深度数据，在根据候选容器区域中各像素的像素信息对候选容器区域进行像素扩展时，将颜色数据和深度数据相互补偿，针对深度数据噪声较大的弧形边缘处、反光/吸光位置处、以及难以获得深度数据的类网格状或表面有孔洞/破损的平面，可根据颜色数据进行像素扩展，针对一些光线较暗、容器与背景颜色较一致的位置，可根据深度数据进行像素扩展，像素扩展后得到的容器定位区域能够适应不同情况的容器，则根据容器定位区域的边缘位置信息确定出的目标容器的定位结果具有更高的精度，实现了对不同情况的容器的实时精确定位。

可选地，粗定位模块540包括目标区域确定单元和候选容器区域确定单元；

目标区域确定单元，被配置为根据图像中各像素的颜色数据，确定颜色数据连续的多个相邻像素组成的目标区域；和/或，根据图像中各像素的深度数据，确定深度数据连续的多个相邻像素组成的目标区域；

候选容器区域确定单元，被配置为基于目标区域，确定候选容器区域。

可选地，候选容器区域确定单元包括获取子单元、计算子单元和确定子单元；

获取子单元，被配置为若目标区域的数目为多个，则获取图像的第一中心位置数据及各目标区域的第二中心位置数据；

计算子单元，被配置为针对任一目标区域，根据该目标区域的第二中心位置数据和第一中心位置数据，计算该目标区域与图像的中心距离；和/或，根据该目标区域中各像素的深度数据，计算该目标区域的平均深度数据；

确定子单元，被配置为确定中心距离符合第一预设条件的目标区域作为候选容器区域；和/或，确定平均深度数据符合第二预设条件的目标区域作为候选容器区域。

可选地，确定子单元，进一步被配置为确定中心距离小于第一预设阈值的目标区域作为候选容器区域；和/或，确定平均深度数据与图像传感器的平面深度数据的差值小于第二预设阈值的目标区域作为候选容器区域。

可选地，精细定位模块560，进一步被配置为根据候选容器区域中各像素的颜色数据，计算候选容器区域的平均颜色数据，计算候选容器区域的边缘邻域中当前像素的颜色数据与平均颜色数据之间的第一差值，若第一差值小于预设颜色阈值，则对候选容器区域进行像素扩展，得到容器定位区域；和/或，根据候选容器区域中各像素的深度数据，计算候选容器区域的平均深度数据，计算候选容器区域的边缘邻域中当前像素的深度数据与平均深度数据之间的第二差值，若第二差值小于预设深度阈值，则对候选容器区域进行像素扩展，得到容器定位区域。

可选地，定位结果确定模块580，进一步被配置为基于容器定位区域边缘处的颜色数据和/或深度数据，利用预设去噪方式，过滤掉容器定位区域边缘处的噪声，获得去噪后的容器定位区域各边缘像素的位置数据和/或深度数据；根据去噪后的容器定位区域各边缘像素的位置数据和/或深度数据，确定容器定位区域的边缘位置信息。

可选地，边缘位置信息包括容器定位区域各边缘的位置数据和深度数据；定位结果包括尺寸信息和位姿信息；

定位结果确定模块580，进一步被配置为根据容器定位区域各边缘的位置数据，计算目标容器的尺寸信息；根据容器定位区域各边缘的位置数据和深度数据，计算目标容器的位姿信息。

可选地，容器为货箱。

上述为本实施例的一种容器定位装置的示意性方案。需要说明的是，该容器定位装置的技术方案与上述的容器定位方法的技术方案属于同一构思，容器定位装置的技术方案未详细描述的细节内容，均可以参见上述容器定位方法的技术方案的描述。

图6示出了本发明一个实施例提供的一种容器存取设备的结构框图。该容器存取设备600的部件包括但不限于图像传感器610、存储器620和处理器630。处理器630与图像传感器610、存储器620通过总线640相连接，数据库660用于保存数据。

容器存取设备600还包括接入设备650，接入设备650使得容器存取设备600能够经由一个或多个网络670通信。这些网络的示例包括公用交换电话网(PSTN，PublicSwitchedTelephone Network)、局域网(LAN，LocalAreaNetwork)、广域网(WAN，WideAreaNetwork)、个域网(PAN，PersonalArea Network)或诸如因特网的通信网络的组合。接入设备650可以包括有线或无线的任何类型的网络接口(例如，网络接口卡(NIC，Network Interface Card))中的一个或多个，诸如IEEE802.11无线局域网(WLAN，WirelessLocalAreaNetworks)无线接口、全球微波互联接入(Wi-MAX，World Interoperability forMicrowave Access)接口、以太网接口、通用串行总线(USB，Universal Serial Bus)接口、蜂窝网络接口、蓝牙接口、近场通信(NFC，NearField Communication)接口，等等。

在本发明的一个实施例中，容器存取设备600的上述部件以及图6中未示出的其他部件也可以彼此相连接，例如通过总线。应当理解，图6所示的容器存取设备结构框图仅仅是出于示例的目的，而不是对本发明范围的限制。本领域技术人员可以根据需要，增添或替换其他部件。

其中，图像传感器610用于采集图像，将图像传输至处理器630；处理器630用于执行如下计算机可执行指令，该计算机可执行指令被处理器执行时实现：

获取图像传感器610采集的图像，其中，图像携带各像素的像素信息，像素信息包括颜色数据和/或深度数据；

根据图像中各像素的像素信息，确定图像中的候选容器区域；

根据候选容器区域中各像素的像素信息对候选容器区域进行像素扩展，得到容器定位区域；

获得容器定位区域的边缘位置信息，根据边缘位置信息，确定目标容器的定位结果。

在得到定位结果后，可根据定位结果，控制容器存取设备取出目标容器。

上述为本实施例的一种容器存取设备的示意性方案。需要说明的是，该容器存取设备的技术方案与上述的容器定位方法的技术方案属于同一构思，容器存取设备的技术方案未详细描述的细节内容，均可以参见上述容器定位方法的技术方案的描述。

本发明一实施例还提供一种计算机可读存储介质，其存储有计算机可执行指令，该计算机可执行指令被处理器执行时实现上述容器定位方法的步骤。

上述为本实施例的一种计算机可读存储介质的示意性方案。需要说明的是，该存储介质的技术方案与上述的容器定位方法的技术方案属于同一构思，存储介质的技术方案未详细描述的细节内容，均可以参见上述容器定位方法的技术方案的描述。

上述对本发明特定实施例进行了描述。其它实施例在所附权利要求书的范围内。在一些情况下，在权利要求书中记载的动作或步骤可以按照不同于实施例中的顺序来执行并且仍然可以实现期望的结果。另外，在附图中描绘的过程不一定要求示出的特定顺序或者连续顺序才能实现期望的结果。在某些实施方式中，多任务处理和并行处理也是可以的或者可能是有利的。

所述计算机指令包括计算机程序代码，所述计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。所述计算机可读介质可以包括：能够携带所述计算机程序代码的任何实体或装置、记录介质、U盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，RandomAccess Memory)、电载波信号、电信信号以及软件分发介质等。需要说明的是，所述计算机可读介质包含的内容可以根据司法管辖区内立法和专利实践的要求进行适当的增减，例如在某些司法管辖区，根据立法和专利实践，计算机可读介质不包括电载波信号和电信信号。

需要说明的是，对于前述的各方法实施例，为了简便描述，故将其都表述为一系列的动作组合，但是本领域技术人员应该知悉，本发明实施例并不受所描述的动作顺序的限制，因为依据本发明实施例，某些步骤可以采用其它顺序或者同时进行。其次，本领域技术人员也应该知悉，说明书中所描述的实施例均属于优选实施例，所涉及的动作和模块并不一定都是本发明实施例所必须的。

在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述的部分，可以参见其它实施例的相关描述。

以上公开的本发明优选实施例只是用于帮助阐述本发明。可选实施例并没有详尽叙述所有的细节，也不限制该发明仅为所述的具体实施方式。显然，根据本发明实施例的内容，可作很多的修改和变化。本发明选取并具体描述这些实施例，是为了更好地解释本发明实施例的原理和实际应用，从而使所属技术领域技术人员能很好地理解和利用本发明。本发明仅受权利要求书及其全部范围和等效物的限制。

Claims (11)

1.一种容器定位方法，其特征在于，包括：

获取图像传感器采集的图像，所述图像携带各像素的像素信息，所述像素信息包括颜色数据和/或深度数据；

根据所述图像中各像素的像素信息，确定所述图像中的候选容器区域；

根据所述候选容器区域中各像素的像素信息对所述候选容器区域进行像素扩展，得到容器定位区域；

获得所述容器定位区域的边缘位置信息，根据所述边缘位置信息，确定目标容器的定位结果。

2.根据权利要求1所述的方法，其特征在于，所述根据所述图像中各像素的像素信息，确定所述图像中的候选容器区域的步骤，包括：

根据所述图像中各像素的颜色数据，确定颜色数据连续的多个相邻像素组成的目标区域；和/或，根据所述图像中各像素的深度数据，确定深度数据连续的多个相邻像素组成的目标区域；

基于所述目标区域，确定候选容器区域。

3.根据权利要求2所述的方法，其特征在于，所述基于所述目标区域，确定候选容器区域的步骤，包括：

若所述目标区域的数目为多个，则获取所述图像的第一中心位置数据及各目标区域的第二中心位置数据；

针对任一目标区域，根据该目标区域的第二中心位置数据和所述第一中心位置数据，计算该目标区域与所述图像的中心距离；和/或，根据该目标区域中各像素的深度数据，计算该目标区域的平均深度数据；

确定中心距离符合第一预设条件的目标区域作为候选容器区域；和/或，确定平均深度数据符合第二预设条件的目标区域作为候选容器区域。

4.根据权利要求3所述的方法，其特征在于，所述确定中心距离符合第一预设条件的目标区域作为候选容器区域的步骤，包括：

确定所述中心距离小于第一预设阈值的目标区域作为候选容器区域；

所述确定平均深度数据符合第二预设条件的目标区域作为候选容器区域的步骤，包括：

确定所述平均深度数据与所述图像传感器的平面深度数据的差值小于第二预设阈值的目标区域作为候选容器区域。

5.根据权利要求1-4任一项所述的方法，其特征在于，所述根据所述候选容器区域中各像素的像素信息对所述候选容器区域进行像素扩展，得到容器定位区域的步骤，包括：

根据所述候选容器区域中各像素的颜色数据，计算所述候选容器区域的平均颜色数据；计算所述候选容器区域的边缘邻域中当前像素的颜色数据与所述平均颜色数据之间的第一差值；若所述第一差值小于预设颜色阈值，则对所述候选容器区域进行像素扩展，得到所述容器定位区域；

和/或，

根据所述候选容器区域中各像素的深度数据，计算所述候选容器区域的平均深度数据；计算所述当前像素的深度数据与所述平均深度数据之间的第二差值；若所述第二差值小于预设深度阈值，则对所述候选容器区域进行像素扩展，得到所述容器定位区域。

6.根据权利要求1所述的方法，其特征在于，所述获得所述容器定位区域的边缘位置信息的步骤，包括：

基于所述容器定位区域边缘处的颜色数据和/或深度数据，利用预设去噪方式，过滤掉所述容器定位区域边缘处的噪声，获得去噪后的所述容器定位区域各边缘像素的位置数据和/或深度数据；

根据去噪后的所述容器定位区域各边缘像素的位置数据和/或深度数据，确定所述容器定位区域的边缘位置信息。

7.根据权利要求1或6所述的方法，其特征在于，所述边缘位置信息包括所述容器定位区域各边缘的位置数据和深度数据；所述定位结果包括尺寸信息和位姿信息；

所述根据所述边缘位置信息，确定目标容器的定位结果的步骤，包括：

根据所述容器定位区域各边缘的位置数据，计算目标容器的尺寸信息；

根据所述容器定位区域各边缘的位置数据和深度数据，计算所述目标容器的位姿信息。

8.根据权利要求1所述的方法，其特征在于，所述容器为货箱。

9.一种容器定位装置，其特征在于，包括：

获取模块，被配置为获取图像传感器采集的图像，所述图像携带各像素的像素信息，所述像素信息包括颜色数据和/或深度数据；

粗定位模块，被配置为根据所述图像中各像素的像素信息，确定所述图像中的候选容器区域；

精细定位模块，被配置为根据所述候选容器区域中各像素的像素信息对所述候选容器区域进行像素扩展，得到容器定位区域；

定位结果确定模块，被配置为获得所述容器定位区域的边缘位置信息，根据所述边缘位置信息，确定目标容器的定位结果。

10.一种容器存取设备，包括：图像传感器、存储器和处理器；

所述图像传感器用于采集图像，将所述图像传输至所述处理器；

所述存储器用于存储计算机可执行指令，所述处理器用于执行所述计算机可执行指令，该计算机可执行指令被处理器执行时实现权利要求1至8任一项所述的容器定位方法。

11.一种计算机可读存储介质，其存储有计算机可执行指令，该计算机可执行指令被处理器执行时实现权利要求1至8任一项所述的容器定位方法。

Images