CN111860136B - 包裹定位方法、装置、设备及计算机可读存储介质 - Google Patents

Abstract

本发明公开了一种包裹定位方法，该方法包括：获取目标包裹的图像信息，对所述图像信息进行边缘提取获得目标边缘图；根据所述目标边缘图和预设尺寸，生成多组候选框；对所述多组候选框进行过滤，并计算过滤后每个候选框对应的未覆盖区域面积；若所述未覆盖区域面积小于第一预设阈值，则将过滤后的候选框作为包裹定位结果，并输出所述包裹定位结果。本发明还公开了一种包裹定位装置、设备及可读存储介质。本发明通过普通的摄像装置和特定的算法，包裹定位全过程可实现自动化，节省了硬件和人力成本。

Description

包裹定位方法、装置、设备及计算机可读存储介质

技术领域

本发明涉及物流领域，尤其涉及包裹定位方法、装置、设备及计算机可读存储介质。

背景技术

随着科学技术的不断发展和进步，整个物流行业对包裹抓取和包裹分拣过程中包裹精确定位的需求越来越明显。

现有的包裹定位方法通过使用高精度的3D相机对包裹边缘进行识别定位，但是这种方法的实现非常依赖高精度的3D相机，增加了硬件成本，当包裹密集排列时，由于3D相机无法识别包裹间的缝隙，因此这种方法并不能普遍适用；现有的包裹定位方法还可以通过识别安放在包裹中的无线识别标签定位包裹的位置，但这种方法的实现需要在每个包裹中安放识别标签，不仅增加了工作量，而且也增加了硬件成本。

发明内容

本发明的主要目的在于提供一种包裹定位方法，旨在解决当前的包裹定位，硬件成本高，工作量大且不能普遍适用的技术问题。

此外，为实现上述目的，本发明还提供一种包裹定位方法，所述包裹定位方法包括以下步骤：

获取目标包裹的图像信息，对所述图像信息进行边缘提取获得目标边缘图；

根据所述目标边缘图和预设尺寸，生成多组候选框；

对所述多组候选框进行过滤，并计算过滤后每个候选框对应的未覆盖区域面积；

若所述未覆盖区域面积小于第一预设阈值，则将过滤后的候选框作为包裹定位结果，并输出所述包裹定位结果。

可选地，所述获取目标包裹的图像信息，对所述图像信息进行边缘提取获得目标边缘图的步骤包括：

获取目标包裹的2D图像和3D图像，并提取所述3D图像中的目标轮廓；

基于预设边缘检测算子对所述2D图像进行边缘提取，获得粗边缘提取结果；

对所述粗边缘提取结果进行内部噪声清除，得到粗边缘提取图；

根据所述目标轮廓，对所述粗边缘提取图进行外部噪声清除，得到目标边缘图。

可选地，所述对所述粗边缘提取结果进行内部噪声清除，得到粗边缘提取图的步骤包括：

确定所述粗边缘提取结果中所述目标包裹的最短边长；

计算所述粗边缘提取结果中所有目标直线的长度值；

将长度值小于所述最短边长的目标直线清除，得到粗边缘提取图。

可选地，所述对所述多组候选框进行过滤的步骤包括：

计算所述目标边缘图中每个像素点的距离值，其中，所述距离值为像素点与最近的黑色像素点之间的像素距离；

从所述多组候选框中随机选出一个候选框作为目标候选框，从所述每个像素点中随机选取一个像素点作为目标像素点；

将所述目标候选框的中心与所述目标像素点重合，并计算所述目标候选框的边缘得分；

将边缘得分小于第二预设阈值的标准候选框滤除。

可选地，所述将所述目标候选框的中心与所述目标像素点重合，并计算所述目标候选框的边缘得分的步骤包括：

在目标候选框的框边上随机选取多个固定点，计算每个固定点的距离值；

计算所有固定点的平均距离值，将所述平均距离值的相反数作为边缘得分。

可选地，所述将所述目标候选框的中心与所述目标像素点重合，并计算所述目标候选框的边缘得分的步骤之后，包括：

将尺寸相同或旋转角度相同的候选框加入同一候选框集合；

提取所有候选框集合中边缘得分最高的标准候选框，并将所有标准候选框加入标准候选框集合；

所述将边缘得分小于第二预设阈值的标准候选框滤除的步骤包括：

将所述标准候选框集合中边缘得分小于第二预设阈值的标准候选框滤除。

可选地，所述计算过滤后每个候选框对应的未覆盖区域面积的步骤包括：

根据所述预设空间约束条件，确定所述目标边缘图中候选框无法覆盖的目标区域；

将所述目标区域的面积，或所述目标区域内的像素数量作为未覆盖区域面积。

此外，为实现上述目的，本发明还提供一种包裹定位装置，所述包裹定位装置包括：

边缘提取模块，用于获取目标包裹的图像信息，对所述图像信息进行边缘提取获得目标边缘图；

候选框生成模块，用于根据所述目标边缘图和预设尺寸，生成多组候选框；

候选框过滤模块，用于对所述多组候选框进行过滤，并计算过滤后每个候选框对应的未覆盖区域面积；

定位结果输出模块，用于若所述未覆盖区域面积小于第一预设阈值，则将过滤后的候选框作为包裹定位结果，并输出所述包裹定位结果。

此外，为实现上述目的，本发明还提供一种包裹定位设备，所述包裹定位设备包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的包裹定位程序，所述包裹定位程序被所述处理器执行时实现如上述的包裹定位方法的步骤。

此外，为实现上述目的，本发明还提供一种计算机可读存储介质，所述计算机可读存储介质上存储有包裹定位程序，所述包裹定位程序被处理器执行时实现如上述的包裹定位方法的步骤。

本发明实施例提出的一种包裹定位方法、装置、设备及可读存储介质。本发明实施例中通过摄像装置拍摄目标包裹，以获取图像信息，并对图像信息进行边缘提取得到目标边缘图，包裹定位程序预设多种候选框尺寸，根据得到的目标边缘图和预设尺寸，包裹定位程序还可以获得边缘得分和旋转角度等候选框信息，包裹定位程序还预设空间约束条件，根据非极大值抑制算法和预设空间约束条件，包裹定位程序会对生成的候选框进行过滤，然后计算过滤后的每个候选框对应的未覆盖区域面积，在过滤后每个候选框对应的未覆盖区域面积小于第一预设阈值时，过滤完成，包裹定位程序最终将过滤后的候选框作为包裹定位结果输出。通过普通的摄像装置和特定的算法，包裹定位全过程可实现自动化，节省了硬件和人力成本。

附图说明

图1为本发明实施例提供的包裹定位设备一种实施方式的硬件结构示意图；

图2为本发明包裹定位方法第一实施例的流程示意图；

图3为本发明包裹定位方法第一实施例中的图像示意图；

图4为本发明包裹定位方法第一实施例中的边缘轮廓提取示意图；

图5为本发明包裹定位方法第一实施例中的目标边缘图示意图；

图6为本发明包裹定位方法第一实施例中的坏点示意图；

图7为本发明包裹定位方法第一实施例中的包裹定位结果示意图；

图8为本发明包裹定位方法第二实施例的流程示意图；

图9为本发明包裹定位方法第三实施例的流程示意图；

图10为本发明包裹定位方法第三实施例中生成多组候选框的示意图；

图11为本发明包裹定位方法第三实施例中边缘得分过滤的示意图；

图12为本发明包裹定位装置一实施例的功能模块示意图。

本发明目的的实现、功能特点及优点将结合实施例，参照附图做进一步说明。

具体实施方式

应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。

在后续的描述中，使用用于表示元件的诸如“模块”、“部件”或“单元”的后缀仅为了有利于本发明的说明，其本身没有特定的意义。因此，“模块”、“部件”或“单元”可以混合地使用。

本发明实施例包裹定位终端(又叫终端、设备或者终端设备)可以是智能手机和个人电脑等具有数据存储和处理功能的移动终端，也可以是安装有拍摄模块的摄像终端。

如图1所示，该终端可以包括：处理器1001，例如CPU，网络接口1004，用户接口1003，存储器1005，通信总线1002。其中，通信总线1002用于实现这些组件之间的连接通信。用户接口1003可以包括显示屏(Display)、输入单元比如键盘(Keyboard)，可选用户接口1003还可以包括标准的有线接口、无线接口。网络接口1004可选的可以包括标准的有线接口、无线接口(如WI-FI接口)。存储器1005可以是高速RAM存储器，也可以是稳定的存储器(non-volatile memory)，例如磁盘存储器。存储器1005可选的还可以是独立于前述处理器1001的存储装置。

可选地，终端还可以包括摄像头、RF(Radio Frequency，射频)电路，传感器、音频电路、WiFi模块等等。其中，传感器比如光传感器、运动传感器以及其他传感器。具体地，光传感器可包括环境光传感器及接近传感器，其中，环境光传感器可根据环境光线的明暗来调节显示屏的亮度，接近传感器可在移动终端移动到耳边时，关闭显示屏和/或背光。作为运动传感器的一种，重力加速度传感器可检测各个方向上(一般为三轴)加速度的大小，静止时可检测出重力的大小及方向，可用于识别移动终端姿态的应用(比如横竖屏切换、相关游戏、磁力计姿态校准)、振动识别相关功能(比如计步器、敲击)等；当然，移动终端还可配置陀螺仪、气压计、湿度计、温度计、红外线传感器等其他传感器，在此不再赘述。

本领域技术人员可以理解，图1中示出的终端结构并不构成对终端的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。

如图1所示，作为一种计算机存储介质的存储器1005中可以包括操作系统、网络通信模块、用户接口模块以及包裹定位程序。

在图1所示的终端中，网络接口1004主要用于连接后台服务器，与后台服务器进行数据通信；用户接口1003主要用于连接客户端(用户端)，与客户端进行数据通信；而处理器1001可以用于调用存储器1005中存储的包裹定位程序，所述包裹定位程序被处理器执行时实现下述实施例提供的包裹定位方法中的操作。

基于上述设备硬件结构，提出了本发明包裹定位方法的实施例。

参照图2，在本发明包裹定位方法的第一实施例中，所述包裹定位方法包括：

步骤S10，获取目标包裹的图像信息，对所述图像信息进行边缘提取获得目标边缘图。

本实施例中包裹定位方法应用于包裹定位设备，其中，包裹定位设备包括智能手机和个人电脑等具有数据存储和处理功能的移动终端，还包括安装有拍摄模块的摄像终端。

本实施例中目标包裹是指，在物流的包裹抓取环节或包裹分拣环节中摆放在垛盘上待拍照的包裹，可知地，包裹的形状一般为规则的立方体，由于本实施例中的包裹定位方法并不适用于不规则的形状的包裹，所以，本实施例中的目标包裹默认为规则立方体形状，当垛盘上整齐摆放着数个目标包裹时，垂直于垛盘的方向上安装的摄像装置可以获取目标包裹的图像(即本实施例中的图像信息)，可知地，本实施例中的图像信息包括2D彩色图像(如图3中的a部分)和3D云图像(如图3中的b部分)，包裹定位程序在获取到2D彩色图像和3D云图像后，首先对2D彩色图像进行边缘提取，得到粗边缘提取图(如图4中的c部分)，再对3D云图像进行边缘轮廓提取，得到边缘轮廓提取图(如图4中的d部分)，最终，包裹定位程序使用边缘轮廓提取图清除轮廓外部噪声，得到目标边缘图(如图5所示)。

步骤S20，根据所述目标边缘图和预设尺寸，生成多组候选框。

可知地，根据垛盘的大小、常见的包裹尺寸、摄像装置离目标包裹的距离以及目标边缘图大小，包裹定位程序预先设置了多种尺寸的矩形候选框，这些尺寸的矩形候选框，满足在目标边缘图中可覆盖所有尺寸的包裹的条件，且相邻尺寸大小的候选框之间的边长差距很小，例如0.5毫米，由于无法限制包裹在垛盘上的摆放角度，预先设置的候选框除了尺寸的区别，还包括旋转角度的区别，这就导致候选框的数量非常多，需要对众多的候选框进行筛选，筛选的条件可以是候选框的信息，例如，候选框的尺寸、旋转角度、预设空间约束条件以及边缘得分，每个候选框都拥有一系列候选框信息，这个候选框信息也成了候选框筛选的条件，其中，预设空间约束条件是指，候选框不能超出图4中d部分(边缘轮廓提取图)中的边缘轮廓范围，候选框之间不能重叠，筛选后的候选框应尽可能地铺满边缘轮廓范围。

步骤S30，对所述多组候选框进行过滤，并计算过滤后每个候选框对应的未覆盖区域面积。

本实施例中对多组候选框进行过滤的算法可以是NMS(Non-MaximumSuppression，非极大值抑制)算法，其中NMS算法是指，抑制不是极大值的元素(即本实施例中的候选框)的算法，本实施例中候选框的值通过统一的计算规则确定，具体计算方法下述实施例将给出详细说明，这个候选框的值可以衡量候选框与目标边缘(即目标包裹在目标边缘图中的边缘)的匹配程度，因为本实施例中采用了NMS算法，该算法会抑制掉非极大值的候选框，因此，候选框的值越大，表示候选框与目标边缘的匹配程度越大。本实施例中的未覆盖区域面积是指，如图6所示，当一个候选框(如图6中的黑色部分)被选中后，这个候选框和(跟这个候选框之间符合空间约束关系的)其他候选框一起铺在边缘轮廓范围(图6中白色区域的范围)内时，无法覆盖的区域(图6中灰色区域的范围)，这个区域即是未覆盖区域面积，而这个区域的面积或者区域内的像素点数量等可以衡量区域大小数值都可以表示未覆盖区域面积，由未覆盖区域面积的定义可知，一个候选框对应的未覆盖区域面积越大，则这个候选框越不符合包裹定位候选框的要求。

步骤S40，若所述未覆盖区域面积小于第一预设阈值，则将过滤后的候选框作为包裹定位结果，并输出所述包裹定位结果。

根据未覆盖区域面积进行候选框筛选前，包裹定位程序会根据包裹的历史定位数据或者用户手动输入的数据，确定一个阈值(即本实施例中的第一预设阈值)作为筛选条件，以滤除一些不合要求的候选框，当过滤后的每个候选框对应的未覆盖区域面积都小于第一预设阈值时，表示过滤后的候选框都符合要求，这种情况下，包裹定位程序将过滤后的候选框作为包裹定位结果(如图7所示)，并输出这个结果。

在本实施例中通过摄像装置拍摄目标包裹，以获取图像信息，并对图像信息进行边缘提取得到目标边缘图，包裹定位程序预设多种候选框尺寸，根据得到的目标边缘图和预设尺寸，包裹定位程序还可以获得边缘得分和旋转角度等候选框信息，包裹定位程序还预设空间约束条件，根据非极大值抑制算法和预设空间约束条件，包裹定位程序会对生成的候选框进行过滤，然后计算过滤后的每个候选框对应的未覆盖区域面积，在过滤后每个候选框对应的未覆盖区域面积小于第一预设阈值时，过滤完成，包裹定位程序最终将过滤后的候选框作为包裹定位结果输出。通过普通的摄像装置和特定的算法，包裹定位全过程可实现自动化，节省了硬件和人力成本。

进一步地，参照图8，在本发明上述实施例的基础上，提出了本发明包裹定位方法的第二实施例。

本实施例是第一实施例中步骤S10细化的步骤，本实施例与本发明上述实施例的区别在于：

步骤S11，获取目标包裹的2D图像和3D图像，并提取所述3D图像中的目标轮廓。

本实施例中当铺有包裹的垛盘到达物流的包裹抓取或包裹分拣流程时，垛盘停在流程点的指定位置，设置于流程点处的图像采集装置从上向下拍摄垛盘上的包裹(即目标包裹)，其中，图像采集装置包括普通的平面摄像头和3D摄像头，图像采集装置对包裹进行拍摄，可以获取目标包裹的2D图像和3D云图像，2D图像就是常见的平面照片，如图3中的a图片，而3D云图像获取的方法可以是，通过深度摄像头获取拍摄范围内所有点到摄像头之间的距离，可知地，拍摄范围内垛盘上的包裹距离摄像头最近，可知地，可通过不同颜色表示不同距离，如距离近的点可用白色表示，距离远的点可用黑色表示，如图3中的b图片，距离远近的衡量标准可以是，小于垛盘到摄像头的距离的点为距离近的点，大于或等于垛盘到摄像头的距离的点为距离远的点，这样通过颜色的区分，可以清晰表示出目标包裹的边缘轮廓(即本实施例中的目标轮廓，如图4中的d图片)。

步骤S12，基于预设边缘检测算子对所述2D图像进行边缘提取，获得粗边缘提取结果。

本实施例中预设边缘检测算子可以是canny边缘检测算子，其中，canny边缘检测算子是一种多级边缘检测算法，其目的是给出最优的边缘检测算法，以使用这个最优的边缘检测算法对图像进行边缘提取，得到粗边缘提取结果，具体地，如图3和图4所示，图3中的a图片为2D图像，使用canny边缘检测算子对a图片进行边缘提取，便可得到图4中的c图片，可知地，c图中包含很多的噪声点(即图中的白点)需要被清除。

步骤S13，对所述粗边缘提取结果进行内部噪声清除，得到粗边缘提取图。

本实施例中内部噪声清除是指，去除粗边缘提取结果的噪声的过程，而粗边缘提取结果的噪声即是图4中c图内的白色线段(即c图中的白点，放大来看就是一条条线段)，对白色线段进行清除的前提是确定筛选条件，可以通过确定一个长度值，以清除小于这个长度值的所有白色线段，而根据图3中a图片内摆放的包裹，和边缘提取的目的(提取包裹的边缘)可知，选取包裹中最短边长的长度作为筛选的长度值最为合适，小于包裹中最短边长长度的线段很明显不是包裹的边缘线，a图中包裹的最短边长线即是图片中上起第二排最右边的那个小包裹的宽，小于这个长度值的线段将被清除，然后得到图4中的e图(即本实施例中的粗边缘提取图)。

步骤S14，根据所述目标轮廓，对所述粗边缘提取图进行外部噪声清除，得到目标边缘图。

可知地，e图中仍包含包裹外的部分，包裹定位程序在得到粗边缘提取图后，进一步根据目标轮廓(图4中的d图)，对粗边缘提取图进行外部噪声清除，本实施例中外部噪声清除是指，去除粗边缘提取图中包裹所在区域以外的部分，通过将目标轮廓的边缘线与粗边缘提取图中的线段进行重合匹配，匹配程度最高的区域指示为包裹所在区域，继而去除掉包裹所在区域以外的区域，得到目标边缘图，如图5所示。

具体地，本实施例中步骤S13细化的步骤，包括：

步骤a1，确定所述粗边缘提取结果中所述目标包裹的最短边长。

步骤a2，计算所述粗边缘提取结果中所有目标直线的长度值。

步骤a3，将长度值小于所述最短边长的目标直线清除，得到粗边缘提取图。

可知地，确定目标包裹的最短边长的方法可以是，通过用户手动选取c图中的两个包裹边角，进而确定两个包裹边角之间的距离，即是目标包裹的最短边长，或者，包裹定位程序自动识别所有包裹的边角，并确定所有包裹的边长，从中选取一个最短的边长作为目标包裹的最短边长。确定目标包裹的最短边长后，包裹定位程序将计算粗边缘提取结果中所有目标直线的长度值，这里的目标长度是指，c图中所有的线段，也包括包裹的边，根据长度阈值对目标直线进行清除，以过滤掉长度小于最短边长的目标线段，得到包含包裹边缘线段的粗边缘提取图。

在本实施例中通过获取目标包裹的2D图像和3D图像，并提取3D图像中的目标轮廓，进而，基于canny边缘检测算子对2D图像进行边缘提取，得到粗边缘提取结果，然后，对得到的粗边缘提取结果进行内部噪声清除，得到粗边缘提取图，最后，根据对3D图像进行提取得到的目标轮廓，对粗边缘提取图进行外部噪声清除，得到目标边缘图，给出了获得目标边缘图的详细过程，实现了图像信息边缘提取的自动化。

进一步地，参照图9，在本发明上述实施例的基础上，提出了本发明包裹定位方法的第三实施例。

本实施例是第一实施例中步骤S30细化的步骤，本实施例与本发明上述实施例的区别在于：

步骤S31，计算所述目标边缘图中每个像素点的距离值，其中，所述距离值为像素点与最近的黑色像素点之间的像素距离。

本实施例中每个像素点的距离值是指，该像素点与最近的黑色像素点之间的像素距离，即该像素点与最近的黑色像素点之间的直线上隔了多少个像素点，可知地，经过噪声清除后得到的目标边缘图(图5)中黑色的点已基本都在边缘线段上，确定每个像素点与最近的黑色像素点之间的像素距离的目的是，确定落在包裹边缘线上的像素点，可知地，距离值越大，则说明该像素点不在包裹边缘线上，根据距离值跟颜色的关系，可以得到距离值得分图，方法可以是，规定距离值为0的像素点表现为黑色，距离值为255及以上的像素点为白色，0至255之间的数值，随着数值的增大颜色从黑色到白色逐渐变化。

步骤S32，从所述多组候选框中随机选出一个候选框作为目标候选框，从所述每个像素点中随机选取一个像素点作为目标像素点。

步骤S33，将所述目标候选框的中心与所述目标像素点重合，并计算所述目标候选框的边缘得分。

从图5中随机选取一个像素点(即本实施例中的目标像素点)，从生成的多组候选框中随机选出一个候选框(即本实施例中的目标候选框)，可知地，标准候选框为规则的矩形，目标候选框的中心即是对应矩形的中心，将目标候选框的中心与目标像素点重合，由于目标候选框具有一定的尺寸和旋转角度，且目标像素点为随机选取，从目标候选框的框边线上随机选取一定数量的固定点，通过计算这些固定点的距离值，并求和以得到平均值，若目标像素点位于图5中一个包裹所属矩形区域的中心，且目标候选框与该包裹尺寸相同，旋转角度一致，则目标候选框的框边线上随机选取的固定点也在该包裹所属矩形区域的边缘上，而该包裹所属矩形区域的边缘线为黑色，即，聚集了黑色像素，在目标候选框的框边线上随机选取的固定点的距离值，理论情况下都为零，这些固定点的平均距离值也为零，但在实际应用中，一般以一个较小值作为判断标准，当在目标候选框的框边线上随机选取的所有固定点的平均距离值小于这个较小值时，则认为这个目标候选框为该包裹的定位结果。

步骤S34，将边缘得分小于第二预设阈值的标准候选框滤除。

可知地，本实施例中的第二预设阈值即上述步骤S32中作为判断标准的较小值，根据平均距离值的算法，可以理解的是，边缘得分小于第二预设阈值的候选框要么是旋转角度不对的候选框，要么是尺寸不对的候选框，这些候选框都不能作为包裹的定位结果，包裹定位程序将会把这些候选框滤除掉，以得到目标包裹的定位结果，如图11所示，可知地，根据边缘得分进行过滤，并不一定能完全准确地过滤掉所有不合适的候选框。

具体地，本实施例中步骤S33细化的步骤，包括：

步骤b1，在目标候选框的框边上随机选取多个固定点，计算每个固定点的距离值。

步骤b2，计算所有固定点的平均距离值，将所述平均距离值的相反数作为边缘得分。

由步骤S33中的描述和非极大值抑制算法的概念可知，对每个目标候选框的平均距离值进行非极大值抑制时，会抑制平均距离值不是极大值的候选框，而根据平均距离值的计算方法可知，平均距离值小的候选框更符合包裹的定位结果，这种情况下，通过将平均距离值的相反数作为边缘得分，可以通过非极大值抑制算法滤除边缘得分小(即平均距离值大)的候选框，这样就滤除掉了不符合包裹定位结果的候选框。

具体地，本实施例中步骤S33之后的步骤，包括：

步骤c1，将尺寸相同或旋转角度相同的候选框加入同一候选框集合。

步骤c2，提取所有候选框集合中边缘得分最高的标准候选框，并将所有标准候选框加入标准候选框集合。

具体地，本实施例中步骤S34细化的步骤，包括：

步骤c3，将所述标准候选框集合中边缘得分小于第二预设阈值的标准候选框滤除。

可知地，生成的多组候选框具有不同的尺寸，不同的旋转角度，通过对尺寸和旋转角度进行分组，即，相同尺寸的候选框为一组(即本实施例中的同一候选框集合)，相同旋转角度的候选框也可以为一组，然后计算同组内每个候选框的边缘得分，再通过判断目标候选框的边缘得分是否大于其他任一候选框的边缘得分，确定同组候选框中边缘得分最高的候选框，非极大值抑制算法也会滤除掉同组内除边缘得分最高的候选框之外的候选框，即，每组候选框保留一个最符合包裹定位结果的候选框。可知地，除了滤除同组内边缘得分不是最高的候选框之外，包裹定位程序还会滤除掉与边缘得分最高的候选框空间重叠的候选框，即，不符合预设空间约束条件的候选框。

具体地，第一实施例中步骤S30细化的步骤，还包括：

步骤d1，根据所述预设空间约束条件，确定所述目标边缘图中候选框无法覆盖的目标区域。

步骤d2，将所述目标区域的面积，或所述目标区域内的像素数量作为未覆盖区域面积。

可知地，使用非极大值抑制算法，根据边缘得分进行过滤，并不一定能完全准确地过滤掉所有不合适的候选框，如图11所示，这种情况下，还可以通过计算候选框对应的未覆盖区域面积再次进行过滤，本实施例中的坏点数是指，如图6所示，当一个候选框(即本实施例中的标准候选框)被选中后，这个候选框和(跟这个候选框之间符合空间约束关系的)其他候选框一起铺在边缘轮廓范围(图6中白色区域的范围)内时，无法覆盖的区域(即本实施例中的目标区域)，这个目标区域即是这个候选框对应的未覆盖区域面积，而这个区域的面积或者区域内的像素点数量等可以衡量目标区域大小数值即是未覆盖区域面积，由未覆盖区域面积的定义可知，一个候选框对应的未覆盖区域面积越大，则这个候选框越不符合包裹定位结果的要求，通过设置第一预设阈值，可对候选框做最后的筛选，以得到包裹定位结果，如图7。

在本实施例中通过非极大值抑制算法、预设空间约束条件和坏点数等过滤方法，对生成的多组候选框进行滤除，实现了包裹定位结果的准确输出。

此外，参照图12，本发明实施例还提出一种包裹定位装置，所述包裹定位装置包括：

边缘提取模块10，用于获取目标包裹的图像信息，对所述图像信息进行边缘提取获得目标边缘图；

候选框生成模块20，用于根据所述目标边缘图和预设尺寸，生成多组候选框；

候选框过滤模块30，用于对所述多组候选框进行过滤，并计算过滤后每个候选框对应的未覆盖区域面积；

定位结果输出模块40，用于若所述未覆盖区域面积小于第一预设阈值，则将过滤后的候选框作为包裹定位结果，并输出所述包裹定位结果。

在一实施例中，所述边缘提取模块10，包括：

目标轮廓提取单元，用于获取目标包裹的2D图像和3D图像，并提取所述3D图像中的目标轮廓；

边缘提取单元，用于基于预设边缘检测算子对所述2D图像进行边缘提取，获得粗边缘提取结果；

内部噪声清除单元，用于对所述粗边缘提取结果进行内部噪声清除，得到粗边缘提取图；

外部噪声清除单元，用于根据所述目标轮廓，对所述粗边缘提取图进行外部噪声清除，得到目标边缘图。

在一实施例中，所述内部噪声清除单元，包括：

最短边长确定单元，用于确定所述粗边缘提取结果中所述目标包裹的最短边长；

长度值计算单元，用于计算所述粗边缘提取结果中所有目标直线的长度值；

目标直线清除单元，用于将长度值小于所述最短边长的目标直线清除，得到粗边缘提取图。

在一实施例中，所述候选框过滤模块30，包括：

距离值计算单元，用于计算所述目标边缘图中每个像素点的距离值，其中，所述距离值为像素点与最近的黑色像素点之间的像素距离；

随机选取单元，用于从所述多组候选框中随机选出一个候选框作为目标候选框，从所述每个像素点中随机选取一个像素点作为目标像素点

边缘得分计算单元，用于将所述目标候选框的中心与所述目标像素点重合，并计算所述目标候选框的边缘得分；

滤除单元，用于将边缘得分小于第二预设阈值的标准候选框滤除。

在一实施例中，所述边缘得分计算单元，包括：

固定点选取单元，用于在目标候选框的框边上随机选取多个固定点，计算每个固定点的距离值；

边缘得分确定单元，用于计算所有固定点的平均距离值，将所述平均距离值的相反数作为边缘得分。

在一实施例中，所述的包裹定位装置，还包括：

加入集合模块，用于将尺寸相同或旋转角度相同的候选框加入同一候选框集合；

提取模块，用于提取所有候选框集合中边缘得分最高的标准候选框，并将所有标准候选框加入标准候选框集合；

模板框过滤模块，用于提取所有候选框集合中边缘得分最高的标准候选框，并将所有标准候选框加入标准候选框集合；

所述滤除单元，还包括：

标准候选框滤除单元，用于将所述标准候选框集合中边缘得分小于第二预设阈值的标准候选框滤除。

在一实施例中，所述候选框过滤模块30，还包括：

目标区域确定单元，用于根据所述预设空间约束条件，确定所述目标边缘图中候选框无法覆盖的目标区域；

未覆盖区域面积确定单元，用于将所述目标区域的面积，或所述目标区域内的像素数量作为未覆盖区域面积。

此外，本发明实施例还提出一种计算机存储介质。

所述计算机存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现上述实施例提供的包裹定位方法中的操作。

上述各程序模块所执行的方法可参照本发明方法各个实施例，此处不再赘述。

需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体/操作/对象与另一个实体/操作/对象区分开来，而不一定要求或者暗示这些实体/操作/对象之间存在任何这种实际的关系或者顺序；术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者系统不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者系统所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括该要素的过程、方法、物品或者系统中还存在另外的相同要素。

对于装置实施例而言，由于其基本相似于方法实施例，所以描述得比较简单，相关之处参见方法实施例的部分说明即可。以上所描述的装置实施例仅仅是示意性的，其中作为分离部件说明的单元可以是或者也可以不是物理上分开的。可以根据实际的需要选择中的部分或者全部模块来实现本发明方案的目的。本领域普通技术人员在不付出创造性劳动的情况下，即可以理解并实施。

上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。

通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在如上所述的一个存储介质(如ROM/RAM、磁碟、光盘)中，包括若干指令用以使得一台终端设备(可以是手机，计算机，服务器，空调器，或者网络设备等)执行本发明各个实施例所述的方法。以上仅为本发明的优选实施例，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本发明的专利保护范围内。

Claims (8)

1.一种包裹定位方法，其特征在于，所述包裹定位方法包括以下步骤：

获取目标包裹的图像信息，对所述图像信息进行边缘提取获得目标边缘图；

根据所述目标边缘图和预设尺寸，生成多组候选框；

对所述多组候选框进行过滤，并计算过滤后每个候选框对应的未覆盖区域面积；

其中，所述对所述多组候选框进行过滤的步骤包括：

计算所述目标边缘图中每个像素点的距离值，其中，所述距离值为像素点与最近的黑色像素点之间的像素距离；

根据所述每个像素点的距离值，从所述多组候选框中随机选出一个候选框作为目标候选框，从所述每个像素点中随机选取一个像素点作为目标像素点；

将所述目标候选框的中心与所述目标像素点重合，并计算所述目标候选框的边缘得分；

其中，所述将所述目标候选框的中心与所述目标像素点重合，并计算所述目标候选框的边缘得分的步骤包括：

在目标候选框的框边上随机选取多个固定点，计算每个固定点的距离值；

计算所有固定点的平均距离值，将所述平均距离值的相反数作为边缘得分；

将边缘得分小于第二预设阈值的标准候选框滤除；

若所述未覆盖区域面积小于第一预设阈值，则将过滤后的候选框作为包裹定位结果，并输出所述包裹定位结果。

2.如权利要求1所述的包裹定位方法，其特征在于，所述获取目标包裹的图像信息，对所述图像信息进行边缘提取获得目标边缘图的步骤包括：

获取目标包裹的2D图像和3D图像，并提取所述3D图像中的目标轮廓；

基于预设边缘检测算子对所述2D图像进行边缘提取，获得粗边缘提取结果；

对所述粗边缘提取结果进行内部噪声清除，得到粗边缘提取图；

根据所述目标轮廓，对所述粗边缘提取图进行外部噪声清除，得到目标边缘图。

3.如权利要求2所述的包裹定位方法，其特征在于，所述对所述粗边缘提取结果进行内部噪声清除，得到粗边缘提取图的步骤包括：

确定所述粗边缘提取结果中所述目标包裹的最短边长；

计算所述粗边缘提取结果中所有目标直线的长度值；

将长度值小于所述最短边长的目标直线清除，得到粗边缘提取图。

4.如权利要求1所述的包裹定位方法，其特征在于，所述将所述目标候选框的中心与所述目标像素点重合，并计算所述目标候选框的边缘得分的步骤之后，包括：

将尺寸相同或旋转角度相同的候选框加入同一候选框集合；

提取所有候选框集合中边缘得分最高的标准候选框，并将所有标准候选框加入标准候选框集合；

所述将边缘得分小于第二预设阈值的标准候选框滤除的步骤包括：

将所述标准候选框集合中边缘得分小于第二预设阈值的标准候选框滤除。

5.如权利要求1所述的包裹定位方法，其特征在于，所述计算过滤后每个候选框对应的未覆盖区域面积的步骤包括：

根据预设的空间约束条件，确定所述目标边缘图中候选框无法覆盖的目标区域；

将所述目标区域的面积，或所述目标区域内的像素数量作为未覆盖区域面积。

6.一种包裹定位装置，其特征在于，所述包裹定位装置包括：

边缘提取模块，用于获取目标包裹的图像信息，对所述图像信息进行边缘提取获得目标边缘图；

候选框生成模块，用于根据所述目标边缘图和预设尺寸，生成多组候选框；

候选框过滤模块，用于对所述多组候选框进行过滤，并计算过滤后每个候选框对应的未覆盖区域面积；

其中，所述候选框过滤模块还用于：计算所述目标边缘图中每个像素点的距离值，其中，所述距离值为像素点与最近的黑色像素点之间的像素距离；

从所述多组候选框中随机选出一个候选框作为目标候选框，从所述每个像素点中随机选取一个像素点作为目标像素点；

将所述目标候选框的中心与所述目标像素点重合，并计算所述目标候选框的边缘得分；

其中，所述候选框过滤模块还用于：在目标候选框的框边上随机选取多个固定点，计算每个固定点的距离值；

计算所有固定点的平均距离值，将所述平均距离值的相反数作为边缘得分；

将边缘得分小于第二预设阈值的标准候选框滤除；

定位结果输出模块，用于若所述未覆盖区域面积小于第一预设阈值，则将过滤后的候选框作为包裹定位结果，并输出所述包裹定位结果。

7.一种包裹定位设备，其特征在于，所述包裹定位设备包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的包裹定位程序，所述包裹定位程序被所述处理器执行时实现如权利要求1至5中任一项所述的包裹定位方法的步骤。

8.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有包裹定位程序，所述包裹定位程序被处理器执行时实现如权利要求1至5中任一项所述的包裹定位方法的步骤。