CN110555848B - 货物轮廓检测方法、装置、机械臂及可读存储介质 - Google Patents

货物轮廓检测方法、装置、机械臂及可读存储介质 Download PDF

Info

Publication number
CN110555848B
CN110555848B CN201910822010.6A CN201910822010A CN110555848B CN 110555848 B CN110555848 B CN 110555848B CN 201910822010 A CN201910822010 A CN 201910822010A CN 110555848 B CN110555848 B CN 110555848B
Authority
CN
China
Prior art keywords
segmentation
target
stack
contour
cargo
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201910822010.6A
Other languages
English (en)
Other versions
CN110555848A (zh
Inventor
许大红
石江涛
伊璐
胡祥瑞
张�杰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hefei Taihe Intelligent Technology Group Co Ltd
Original Assignee
Hefei Taihe Intelligent Technology Group Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hefei Taihe Intelligent Technology Group Co Ltd filed Critical Hefei Taihe Intelligent Technology Group Co Ltd
Priority to CN201910822010.6A priority Critical patent/CN110555848B/zh
Publication of CN110555848A publication Critical patent/CN110555848A/zh
Application granted granted Critical
Publication of CN110555848B publication Critical patent/CN110555848B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/13—Edge detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20112—Image segmentation details
    • G06T2207/20152—Watershed segmentation

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Image Analysis (AREA)

Abstract

本申请提出一种货物轮廓检测方法、装置、机械臂及可读存储介质，涉及检测技术领域，通过利用接收的货垛数据获得目标货垛灰度图像，进而对目标货垛灰度图像进行灰度分割后获得多个分割平面，并将多个分割平面中包含分割轮廓最多的分割平面作为目标分割平面，以及将目标分割平面所包含的所有分割轮廓作为多个目标分割轮廓，从而基于分水岭算法，对多个目标分割轮廓以及目标货垛灰度图像进行处理，得到多个货物轮廓图像，相比于现有技术，使袋装货物的货物轮廓图像能够由分割平面的分割轮廓得到，从而能够获得袋装货物更为精确的定位信息。

Description

货物轮廓检测方法、装置、机械臂及可读存储介质
技术领域
本申请涉及检测技术领域，具体而言，涉及货物轮廓检测方法、装置、机械臂及可读存储介质。
背景技术
在生产企业中，货物的包装码垛和传输都可利用自动化设备进行实现，比如在拆垛装车环节，可以利用拆垛机、机器人或者是机械臂等机械设备对托盘上的货物进行拆垛，从而减少人力成本。
但在粮油、化工以及饲料等行业中，货物一般利用包装袋进行包装，这使得码放在托盘上的袋装货物往往易变形、高低起伏甚至位置不固定，导致例如机械手等设备无法准确的获得袋装货物的定位信息。
发明内容
本申请的目的在于提供一种货物轮廓检测方法、装置、机械臂及可读存储介质，能够获得袋装货物更为精确的定位信息。
为了实现上述目的，本申请实施例采用的技术方案如下：
第一方面，本申请实施例提供一种货物轮廓检测方法，所述方法包括：
利用接收的货垛数据获得目标货垛灰度图像；
按照第一设定参数对所述目标货垛灰度图像进行灰度分割，获得多个分割平面；
将所述多个分割平面中，目标分割平面所包含的所有分割轮廓作为多个目标分割轮廓，其中，所述目标分割平面为所述多个分割平面中包含分割轮廓最多的分割平面；
基于分水岭算法对所述多个目标分割轮廓以及所述目标货垛灰度图像进行处理，得到多个货物轮廓图像。
第二方面，本申请实施例提供一种货物轮廓检测装置，所述装置包括：
第一处理模块，用于利用接收的货垛数据获得目标货垛灰度图像；
所述第一处理模块还用于，按照第一设定参数对所述目标货垛灰度图像进行灰度分割，获得多个分割平面；
所述第一处理模块还用于，将所述多个分割平面中，目标分割平面所包含的所有分割轮廓作为多个目标分割轮廓，其中，所述目标分割平面为所述多个分割平面中包含分割轮廓最多的分割平面；
第二处理模块，用于基于分水岭算法对所述多个目标分割轮廓以及所述目标货垛灰度图像进行处理，得到多个货物轮廓图像。
第三方面，本申请实施例提供一种机械臂，所述机械臂包括存储器，用于存储一个或多个程序；处理器；当所述一个或多个程序被所述处理器执行时，实现上述的货物轮廓检测方法。
第四方面，本申请实施例提供一种计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现上述的货物轮廓检测方法。
本申请实施例提供的一种货物轮廓检测方法、装置、机械臂及可读存储介质，通过利用接收的货垛数据获得目标货垛灰度图像，进而对目标货垛灰度图像进行灰度分割后获得多个分割平面，并将多个分割平面中包含分割轮廓最多的分割平面作为目标分割平面，以及将目标分割平面所包含的所有分割轮廓作为多个目标分割轮廓，从而基于分水岭算法，对多个目标分割轮廓以及目标货垛灰度图像进行处理，得到多个货物轮廓图像，相比于现有技术，使袋装货物的货物轮廓图像能够由分割平面的分割轮廓得到，从而能够获得袋装货物更为精确的定位信息。
为使本申请的上述目的、特征和优点能更明显易懂，下文特举较佳实施例，并配合所附附图，作详细说明如下。
附图说明
为了更清楚地说明本申请实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本申请的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其它相关的附图。
图1为本申请实施例提供的机械臂的一种示意性结构框图；
图2为本申请实施例提供的货物轮廓检测方法的一种示意性流程图；
图3A为一种货垛数据示意图；
图3B为一种货垛灰度图像示意图；
图4为一种切割平面示意图；
图5为图2中S205的子步骤的一种示意性流程图；
图6为图2中S207的子步骤的一种示意性流程图；
图7为种子点的一种示意图；
图8为货物轮廓图像的一种示意图；
图9为本申请实施例提供的货物轮廓检测方法的另一种示意性流程图；
图10为另一种货垛灰度图像示意图；
图11为货物轮廓图像的另一种示意图；
图12为图2中S201的子步骤的一种示意性流程图；
图13为图12中S201-1的子步骤的一种示意性流程图；
图14为本申请实施例提供的货物轮廓检测装置的一种示意性结构图。
图中：100-机械臂；101-存储器；102-处理器；103-通信接口；300-货物轮廓检测装置；301-第一处理模块；302-第二处理模块。
具体实施方式
为使本申请实施例的目的、技术方案和优点更加清楚，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本申请一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本申请实施例的组件可以以各种不同的配置来布置和设计。
因此，以下对在附图中提供的本申请的实施例的详细描述并非旨在限制要求保护的本申请的范围，而是仅仅表示本申请的选定实施例。基于本申请中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释。同时，在本申请的描述中，术语“第一”、“第二”等仅用于区分描述，而不能理解为指示或暗示相对重要性。
需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
在例如货物包装码垛和传输的应用场景中，利用拆垛机、机械臂等机械设备进行拆垛时，若拆垛的对象是包装箱或者是集装箱等，由于其具有规则的形状、高低起伏均匀且位置固定，机械臂能够较为准确的获得货物的定位信息，从而对货物进行抓取。
但对于袋装货物而言，由于袋装货物在堆放时往往不具有规则的形状，高低起伏也不均匀，位置往往也不固定，从而机械臂往往不能够准确的获得袋装货物的定位信息，从而使得机械臂对于袋装货物的抓取较为困难。
为此，基于上述缺陷，本申请实施例提供的一种可能的实现方式为：通过利用接收的货垛数据获得目标货垛灰度图像，进而对目标货垛灰度图像进行灰度分割后获得多个分割平面，并将多个分割平面中包含分割轮廓最多的分割平面作为目标分割平面，以及将目标分割平面所包含的所有分割轮廓作为多个目标分割轮廓，从而基于分水岭算法，对多个目标分割轮廓以及目标货垛灰度图像进行处理，得到多个货物轮廓图像，从而获得袋装货物更为精确的定位信息。
下面结合附图，对本申请的一些实施方式作详细说明。在不冲突的情况下，下述的实施例及实施例中的特征可以相互组合。
请参阅图1，图1为本申请实施例提供的机械臂100的一种示意性结构框图。机械臂100包括存储器101、处理器102和通信接口103，该存储器101、处理器102和通信接口103相互之间直接或间接地电性连接，以实现数据的传输或交互。例如，这些元件相互之间可通过一条或多条通讯总线或信号线实现电性连接。
存储器101可用于存储软件程序及模块，如本申请实施例提供的货物轮廓检测装置300对应的程序指令/模块，处理器102通过执行存储在存储器101内的软件程序及模块，从而执行各种功能应用以及数据处理。该通信接口103可用于与其他节点设备进行信令或数据的通信。
其中，存储器101可以是但不限于，随机存取存储器(Random Access Memory，RAM)，只读存储器(Read Only Memory，ROM)，可编程只读存储器(Programmable Read-OnlyMemory，PROM)，可擦除只读存储器(Erasable Programmable Read-Only Memory，EPROM)，电可擦除只读存储器(Electric Erasable Programmable Read-Only Memory，EEPROM)等。
处理器102可以是一种集成电路芯片，具有信号处理能力。该处理器102可以是通用处理器，包括中央处理器(Central Processing Unit，CPU)、网络处理器(NetworkProcessor，NP)等；还可以是数字信号处理器(Digital Signal Processing，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现场可编程门阵列(Field－Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。
可以理解，图1所示的结构仅为示意，机械臂100还可以包括比图1中所示更多或者更少的组件，或者具有与图1所示不同的配置。图1中所示的各组件可以采用硬件、软件或其组合实现。
下面以图1所示的机械臂作为执行主体为例，对本申请实施例提供的货物轮廓检测方法进行示意性说明。
请参阅图2，图2为本申请实施例提供的货物轮廓检测方法的一种示意性流程图，包括以下步骤：
S201，利用接收的货垛数据获得目标货垛灰度图像；
S203，按照第一设定参数对目标货垛灰度图像进行灰度分割，获得多个分割平面；
S205，将多个分割平面中，目标分割平面所包含的所有分割轮廓作为多个目标分割轮廓；
S207，基于分水岭算法对多个目标分割轮廓以及目标货垛灰度图像进行处理，得到多个货物轮廓图像。
在本申请实施例中，机械臂可以与TOF(Time of Flight，飞行时间技术)相机、RGB双目相机或者是结构光相机等深度相机相配合的方式，由深度相机拍摄货垛的三维照片，并传输给机械臂，从而使机械臂将接收的该货垛的三维照片作为货垛数据。
机械臂接收的货垛的三维照片中，包含了货垛的二维坐标以及深度值信息，比如图3A即示意出一种货垛数据；机械臂利用该接收的货垛数据，对其进行处理，比如将深度数据拉伸到灰度图像中，从而将货垛的三维照片转换为灰度图像，获得如图3B所示意的该货垛的目标货垛灰度图像。
然后，机械臂按照第一设定参数，对所获得的目标货垛灰度图像进行灰度分割，从而获得多个分割平面。
比如该第一设定参数可以设置为：将切割平面从灰度值为220的平面以步长10依次移动到灰度值为20的平面，切割平面每移动一次，获得一个比如图4所示的分割平面；其中，在例如图4所示的切割平面中，具有多个分割轮廓，比如图4的切割平面中具有5个分割轮廓，每一分割轮廓代表的是一个可能的袋装货物。
但由于袋装货物在码垛时形状可能不规则，导致每一分割平面各自包含的分割轮廓的数量可能是不尽相同的；比如在前述示例性的第一设定参数中，灰度值为220的切割平面可能具有3个分割轮廓；而随着以10为步长的移动，灰度值为150的切割平面可能具有如图4所示的5个分割轮廓；进一步地，在灰度值为20的切割平面中，由于不同的货物在货垛平面连在一起，可能仅能够切割出2个分割轮廓。
为此，本申请实施例结合袋装货物的特性，尽管同一货垛上的不同的袋装货物在深度相机所拍摄的照片中深度值可能不尽相同，导致映射到灰度图像中不同袋装货物的灰度值不尽相同，但同一袋装货物的不同位置深度值的变化往往是连续的。
因此，本申请实施例按照所获得的多个分割平面中每个分割平面各自包含的分割轮廓的数量，将包含分割轮廓最多的分割平面作为目标分割平面，并将该目标分割平面所包含的所有分割轮廓作为多个目标分割轮廓，从而使机械臂可以基于分水岭算法，对该多个目标分割轮廓以及目标货垛灰度图像进行处理，从而得到多个货物轮廓图像。
由此，机械臂可以基于所得到的多个货物轮廓图像，利用设定的定位框(例如单个货物的外接矩形框或内接矩形框，多个货物轮廓图像中每个货物轮廓图像的外接矩形框或内接矩形框等，只要能够使每个货物轮廓图像能够在该设定的定位框内即可，本申请实施例在此不做限定)对货物进行更为精准的定位，从而获得货物在货垛上更为精确的位置和方向等，便于机械臂对袋装货物进行抓取运输。
可见，基于上述设计，本申请实施例提供的货物轮廓检测方法，通过利用接收的货垛数据获得目标货垛灰度图像，进而对目标货垛灰度图像进行灰度分割后获得多个分割平面，并将多个分割平面中包含分割轮廓最多的分割平面作为目标分割平面，以及将目标分割平面所包含的所有分割轮廓作为多个目标分割轮廓，从而基于分水岭算法，对多个目标分割轮廓以及目标货垛灰度图像进行处理，得到多个货物轮廓图像，相比于现有技术，使袋装货物的货物轮廓图像能够由分割平面的分割轮廓得到，从而能够获得袋装货物更为精确的定位信息。
其中，需要说明的是，在上述灰度图像分层切割的过程中，不同的分割平面各自包含的分割轮廓的数量可能是相同的，同理，则包含分割轮廓最多的分割平面可能也具有多个；比如在前述示例中，灰度值为150、140、130的三个分割平面可能均具有5个分割轮廓，且其他分割平面具有的分割轮廓的数量均小于5个，则此时，可以在灰度值为150、140、130的三个分割平面中任意选取一个分割平面作为目标分割平面，比如随机选取，或者设定按照灰度值的步进顺序，选取所有具有最多分割轮廓的分割平面中，第一次出现的分割平面作为目标分割平面。
另外，在本申请实施例的一些应用场景中，切割平面对灰度图像进行切割后，得到的分割轮廓可能并不能代表货物真实的轮廓，比如货物表面有尖锐凸起，则可能会使分割平面存在代表虚假信息的分割轮廓；比如实际上货垛上只有6个货袋，但某一分割平面上存在7个分割轮廓，这明显不符合实际。
为此，在图2的基础上，请参阅图5，图5为图2中S205的子步骤的一种示意性流程图，作为一种可能的实现方式，S205可以包括以下子步骤：
S205-1，统计每一分割平面各自包含的有效分割轮廓的数量；
S205-2，将目标分割平面所包含的所有有效分割轮廓作为多个目标分割轮廓。
在本申请实施例中，可以预先设置货物的尺寸标准，比如单个货物的像素长Pl、宽Pw，在执行S205时，首先结合单个货物的像素长Pl和宽Pw，统计每一分割平面各自包含的有效分割轮廓；比如，根据预先设置的尺寸确定第一设定范围，将轮廓尺寸满足第一设定范围的分割轮廓定义为有效分割轮廓，从而将所有分割平面中包含有效分割轮廓数量最多的分割平面作为目标分割平面。
示例性地，假设以像素面积维度作为第一设定范围，比如根据预先设定的像素长Pl和宽Pw，以像素面积(Pl×Pw)的1/6作为阈值范围，可以将像素面积超过(Pl×Pw)/6的分割轮廓作为有效分割轮廓，从而减少尖锐凸起等噪声因素对产生的分割轮廓的影响。
由此，结合所统计的每一分割平面各自包含的有效分割轮廓的数量，从而将目标分割平面所包含的所有有效分割轮廓作为多个目标分割轮廓，同样减少噪声信息对货物轮廓分割的影响。
可见，基于上述设计，本申请实施例提供的货物轮廓检测方法，通过限定分割轮廓的轮廓尺寸，使得分割平面中轮廓尺寸满足第一设定范围的分割轮廓被统计为有效分割轮廓，进而依据有效分割轮廓的数量，确定出目标分割平面，并将目标分割平面所包含的所有有效分割轮廓作为多个目标分割轮廓，从而减少噪声信息的货物轮廓分割的影响。
另外，为实现S207，在图2的基础上，请参阅图6，图6为图2中S207的子步骤的一种示意性流程图，作为一种可能的实现方式，S207可以包括以下子步骤：
S207-1，确定出多个目标分割轮廓中每一目标分割轮廓各自对应的种子点；
S207-2，利用分水岭算法对多个种子点及目标货垛灰度图像进行处理，得到多个货物轮廓图像。
在执行S207时，首先确定出多个目标分割轮廓中每一目标分割轮廓各自对应的种子点；比如以如图4所示的多个目标分割轮廓为例，需要确定出图4中每一目标分割轮廓各自对应的种子点，确定出的种子点可以如图7所示。
示例性地，在执行S207-1时，可以将多个目标分割轮廓中每个目标分割轮廓各自的重心点，作为每一目标分割轮廓各自对应的种子点。
当然，可以理解的是，上述仅为示意，在本申请实施例其他一些可能的应用场景中，还可以通过其他的一些方式确定出种子点，比如将目标分割轮廓的几何中心点作为种子点，或者是目标分割轮廓外接矩形的中心点作为种子点，只要能够确定出目标分割轮廓的种子点即可，本申请实施例对具体的实现方式不进行限定。
由此，机械臂利用分水岭算法，对多个目标分割轮廓各自对应的种子点以及目标货垛灰度图像进行处理，从而得到如图8所示的多个货物轮廓图像。
其中，需要说明的是，种子点的数量与货物轮廓图像的数量具有一一对应关系，比如在图7及图8所示的应用场景中，若机械臂确定的种子点数量为5个，则机械臂确定的货物轮廓图像也为5个，即机械臂会认为图8所示的应用场景中只有5个袋子；但实际上，在图8所示的应用场景中，可能会存在6个袋子，只是机械臂没有把右下角的两个袋子区分出来，而错误的认为该货垛上仅有5个袋子。
为此，在图2的基础上，请参阅9，图9为本申请实施例提供的货物轮廓检测方法的另一种示意性流程图，以多个货物轮廓图像中的任意一个作为目标货物轮廓图像为例，该货物轮廓检测方法还包括以下步骤：
S209，判断目标货物轮廓图像的尺寸是否满足第二设定范围；若在，则结束；若不在，则将第二设定参数作为新的第一设定参数，以及将目标货物轮廓图像作为新的目标货垛灰度图像，继续执行S203，直至满足设定的分割结束条件。
在本申请实施例中，可以基于上述设置的货物的尺寸标准，确定出第二设定范围，比如将单个货物像素面积Pl×Pw的3/5～单个货物像素面积Pl×Pw的3/2作为第二设定范围；机械臂基于所获得的多个货物轮廓图像，判断其中的目标货物轮廓图像的尺寸是否满足该第二设定范围，若满足，则结束；若不满足，则将第二设定参数作为新的第一设定参数，以及将目标货物轮廓图像作为新的目标货物灰度图像，继续执行S203。
也就是说，在本申请实施例中，依次遍历所获得的多个货物轮廓图像中的每一货物轮廓图像，若所有的货物轮廓图像的尺寸均满足第二设定范围，则结束；若其中存在尺寸不满足第二设定范围的货物轮廓图像，则以新的设定参数，比如更小的步长(前述第一设定参数的步长为10，第二设定参数的步长可以设置为5，或者是1)，基于分水岭算法进行再检测，直至满足设定的分割技术条件，比如S209执行的次数达到设定的阈值，或者是S209的判断结果为“是”。
比如在如8所示的应用场景中，若机械臂判定右下角的货物轮廓图像的尺寸不满足第二设定范围，则可以按照第二设定参数，将右下角的货物轮廓图像作为如图10所示的新的目标货垛灰度图像，继续执行上述S203、S205、S207以及S209的步骤，并结合所有步骤流程所确定获得的货物轮廓图像，得到如图11所示的货物轮廓检测结果。
可见，基于上述设计，本申请实施例提供的货物轮廓检测方法，通过限定货物轮廓图像的尺寸，使得分割后得到的货物轮廓图像符合第二设定范围，从而符合货物实际的客观尺寸，提升货物的识别精度。
另外，为实现S201，在图2的基础上，请参阅图12，图12为图2中S201的子步骤的一种示意性流程图，作为一种可能的实现方式，S201可以包括以下子步骤：
S201-1，从接收的货垛数据中获得目标货垛数据；
S201-2，利用设定的深度值与灰度值的对应关系，将目标货垛数据中的所有深度值分别转换为各自对应的灰度值，以生成目标货垛灰度图像。
示例性地，本申请实施例中深度值D和灰度值G的对应关系可以采用以下转换公式进行表示：
G＝(D-Dmin)/(Dmax-Dmin)×255
其中，Dmax为目标货垛数据中的所有深度值的最大值，Dmin为目标货垛数据中的所有深度值的最小值。
需要说明的是，上述深度值和灰度值的转换公式仅为示例，在本申请实施例其他一些可能的实现方式中，还可以采用其他的一些方式或者公式对深度值与灰度值的对应关系进行表示，本申请实施例对此不进行限定。
在本申请实施例中，深度相机拍摄的货垛的三维照片中，往往不仅包含有货垛的信息，还包括其他的一些环境信息等噪声。
因此，机械臂需要将接收的货垛数据中获得属于表征货垛信息部分的目标货垛数据；然后，利用设定的深度值与灰度值的对应关系，将目标货垛数据中的所有深度值分别转换为各自对应的灰度值，以生成目标货垛灰度图像，比如将图3A所示的目标货垛数据，转换为如图3B所示的目标货垛灰度图像。
其中，在为实现S201-1，请参阅图13，图13为图12中S201-1的子步骤的一种示意性流程图，作为一种可能的实现方式，S201-1可以包含以下子步骤：
S201-1a，将接收的货垛数据中深度值满足第三设定范围的所有数据作为初筛货垛数据；
S201-1b，根据初筛货垛数据中的最小深度值以及设定的货物厚度值对初筛货垛数据进行处理，获得目标货垛数据。
在本申请实施例中，可以在机械臂中预先设置第三设定范围，作为深度相机拍摄的货垛数据范围，比如设置深度范围2200mm～3500mm作为第三设定范围，将接收的货垛数据中深度值满足第三设定范围的所有数据作为初筛货垛数据。
然后，根据初筛货垛数据中的最小深度值，以及设定的货物厚度值对初筛货垛数据进行处理，从而获得目标货垛数据。
比如在上述示例中，假定初筛货垛数据中的最小深度值为2600mm，设定的货物厚度值为200mm，则根据深度范围2600mm～2800mm对初筛货垛数据进行处理，将深度值在2600mm～2800mm的所有货垛数据作为目标货垛数据。
基于与上述货物轮廓检测方法相同的发明构思，请参阅图14，图14为本申请实施例提供的货物轮廓检测装置300的一种示意性结构图，包括第一处理模块301及第二处理模块302。
第一处理模块301用于，利用接收的货垛数据获得目标货垛灰度图像；
第一处理模块301还用于，按照第一设定参数对目标货垛灰度图像进行灰度分割，获得多个分割平面；
第一处理模块301还用于，将多个分割平面中，目标分割平面所包含的所有分割轮廓作为多个目标分割轮廓，其中，目标分割平面为多个分割平面中包含分割轮廓最多的分割平面；
第二处理模块302用于，基于分水岭算法对多个目标分割轮廓以及目标货垛灰度图像进行处理，得到多个货物轮廓图像。
可选地，作为一种可能的实现方式，第一处理模块301在将多个分割平面中，目标分割平面所包含的所有分割轮廓作为多个目标分割轮廓时，具体用于：
统计每一分割平面各自包含的有效分割轮廓的数量，其中，有效分割轮廓为轮廓尺寸满足第一设定范围的分割轮廓，目标分割平面为多个分割平面中包含有效分割轮廓数量最多的分割平面；
将目标分割平面所包含的所有有效分割轮廓作为多个目标分割轮廓。
可选地，作为一种可能的实现方式，第二处理模块302在基于分水岭算法对多个目标分割轮廓以及目标货垛灰度图像进行处理，得到多个货物轮廓图像时，具体用于：
确定出多个目标分割轮廓中每一目标分割轮廓各自对应的种子点；
利用分水岭算法对多个种子点及目标货垛灰度图像进行处理，得到多个货物轮廓图像。
可选地，作为一种可能的实现方式，第二处理模块302在确定出多个目标分割轮廓中每一目标分割轮廓各自对应的种子点时，具体用于：
将多个目标分割轮廓中每个目标分割轮廓各自的重心点，作为每一目标分割轮廓各自对应的种子点。
可选地，作为一种可能的实现方式，第二处理模块302还用于：
判断目标货物轮廓图像的尺寸是否满足第二设定范围，其中，目标货物轮廓图像为多个货物轮廓图像中的任意一个；
若目标货物轮廓图像的尺寸不满足第二设定范围，则将第二设定参数作为新的第一设定参数，以及将目标货物轮廓图像作为新的目标货垛灰度图像，由第一处理模块301继续按照第一设定参数对目标货垛灰度图像进行灰度分割，获得多个分割平面，直至满足设定的分割结束条件。
可选地，作为一种可能的实现方式，第一处理模块301在利用接收的货垛数据获得目标货垛灰度图像时，具体用于：
从接收的货垛数据中获得目标货垛数据；
利用设定的深度值与灰度值的对应关系，将目标货垛数据中的所有深度值分别转换为各自对应的灰度值，以生成目标货垛灰度图像。
可选地，作为一种可能的实现方式，第一处理模块301在从接收的货垛数据中获得目标货垛数据时，具体用于：
将接收的货垛数据中深度值满足第三设定范围的所有数据作为初筛货垛数据；
根据初筛货垛数据中的最小深度值以及设定的货物厚度值对初筛货垛数据进行处理，获得目标货垛数据。
在本申请所提供的实施例中，应该理解到，所揭露的装置和方法，也可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的，例如，附图中的流程图和框图显示了根据本申请实施例的装置、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段或代码的一部分，所述模块、程序段或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。
也应当注意，在有些作为替换的实现方式中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个连续的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。
也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或动作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。
另外，在本申请实施例中的各功能模块可以集成在一起形成一个独立的部分，也可以是各个模块单独存在，也可以两个或两个以上模块集成形成一个独立的部分。
所述功能如果以软件功能模块的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本申请实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器、随机存取存储器、磁碟或者光盘等各种可以存储程序代码的介质。
综上所述，本申请实施例提供的一种货物轮廓检测方法、装置、机械臂及可读存储介质，通过利用接收的货垛数据获得目标货垛灰度图像，进而对目标货垛灰度图像进行灰度分割后获得多个分割平面，并将多个分割平面中包含分割轮廓最多的分割平面作为目标分割平面，以及将目标分割平面所包含的所有分割轮廓作为多个目标分割轮廓，从而基于分水岭算法，对多个目标分割轮廓以及目标货垛灰度图像进行处理，得到多个货物轮廓图像，相比于现有技术，使袋装货物的货物轮廓图像能够由分割平面的分割轮廓得到，从而能够获得袋装货物更为精确的定位信息。
并且，还通过限定分割轮廓的轮廓尺寸，使得分割平面中轮廓尺寸满足第一设定范围的分割轮廓被统计为有效分割轮廓，进而依据有效分割轮廓的数量，确定出目标分割平面，并将目标分割平面所包含的所有有效分割轮廓作为多个目标分割轮廓，从而减少噪声信息的货物轮廓分割的影响。
并且，还通过限定货物轮廓图像的尺寸，使得分割后得到的货物轮廓图像符合第二设定范围，从而符合货物实际的客观尺寸，提升货物的识别精度。
以上所述仅为本申请的优选实施例而已，并不用于限制本申请，对于本领域的技术人员来说，本申请可以有各种更改和变化。凡在本申请的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本申请的保护范围之内。
对于本领域技术人员而言，显然本申请不限于上述示范性实施例的细节，而且在不背离本申请的精神或基本特征的情况下，能够以其它的具体形式实现本申请。因此，无论从哪一点来看，均应将实施例看作是示范性的，而且是非限制性的，本申请的范围由所附权利要求而不是上述说明限定，因此旨在将落在权利要求的等同要件的含义和范围内的所有变化囊括在本申请内。不应将权利要求中的任何附图标记视为限制所涉及的权利要求。

Claims (9)

1.一种货物轮廓检测方法，其特征在于，所述方法包括：
利用接收的货垛数据获得目标货垛灰度图像；
按照第一设定参数对所述目标货垛灰度图像进行灰度分割，获得多个分割平面；所述第一设定参数为将切割平面从灰度值为220的平面以步长10依次移动到灰度值为20的平面，所述切割平面每移动一次，获得一个所述分割平面；
统计每一所述分割平面各自包含的有效分割轮廓的数量，其中，所述有效分割轮廓为轮廓尺寸满足第一设定范围的分割轮廓，目标分割平面为所述多个分割平面中包含所述有效分割轮廓数量最多的分割平面；所述第一设定范围表示像素面积维度，是由预先确定的货物尺寸确定的；所述货物尺寸表示单个货物的像素长Pl、宽Pw；所述有效分割轮廓表示像素面积超过
Figure FDA0003612050620000011
的分割轮廓作为所述有效分割轮廓；
将所述目标分割平面所包含的所有有效分割轮廓作为多个目标分割轮廓；基于分水岭算法对所述多个目标分割轮廓以及所述目标货垛灰度图像进行处理，得到多个货物轮廓图像。
2.如权利要求1所述的方法，其特征在于，基于分水岭算法对所述多个目标分割轮廓以及所述目标货垛灰度图像进行处理，得到多个货物轮廓图像，包括：
确定出所述多个目标分割轮廓中每一目标分割轮廓各自对应的种子点；
利用所述分水岭算法对所述多个种子点及所述目标货垛灰度图像进行处理，得到所述多个货物轮廓图像。
3.如权利要求2所述的方法，其特征在于，确定出所述多个目标分割轮廓中每一目标分割轮廓各自对应的种子点，包括：
将所述多个目标分割轮廓中每个目标分割轮廓各自的重心点，作为每一目标分割轮廓各自对应的种子点。
4.如权利要求1所述的方法，其特征在于，所述方法还包括：
判断目标货物轮廓图像的尺寸是否满足第二设定范围，其中，所述目标货物轮廓图像为所述多个货物轮廓图像中的任意一个；
若所述目标货物轮廓图像的尺寸不满足所述第二设定范围，则将第二设定参数作为新的第一设定参数，以及将所述目标货物轮廓图像作为新的目标货垛灰度图像，继续执行按照第一设定参数对所述目标货垛灰度图像进行灰度分割，获得多个分割平面的步骤，直至满足设定的分割结束条件。
5.如权利要求1所述的方法，其特征在于，利用接收的货垛数据获得目标货垛灰度图像，包括：
从接收的货垛数据中获得目标货垛数据；
利用设定的深度值与灰度值的对应关系，将所述目标货垛数据中的所有深度值分别转换为各自对应的灰度值，以生成所述目标货垛灰度图像。
6.如权利要求5所述的方法，其特征在于，从接收的货垛数据中获得目标货垛数据，包括：
将所述接收的货垛数据中深度值满足第三设定范围的所有数据作为初筛货垛数据；
根据所述初筛货垛数据中的最小深度值以及设定的货物厚度值对所述初筛货垛数据进行处理，获得所述目标货垛数据。
7.一种货物轮廓检测装置，其特征在于，所述装置包括：
第一处理模块，用于利用接收的货垛数据获得目标货垛灰度图像；
所述第一处理模块还用于，按照第一设定参数对所述目标货垛灰度图像进行灰度分割，获得多个分割平面；所述第一设定参数为将切割平面从灰度值为220的平面以步长10依次移动到灰度值为20的平面，所述切割平面每移动一次，获得一个所述分割平面；
所述第一处理模块还用于，统计每一所述分割平面各自包含的有效分割轮廓的数量，其中，所述有效分割轮廓为轮廓尺寸满足第一设定范围的分割轮廓，目标分割平面为所述多个分割平面中包含所述有效分割轮廓数量最多的分割平面；所述第一设定范围表示像素面积维度，是由预先确定的货物尺寸确定的；所述货物尺寸表示单个货物的像素长Pl、宽Pw；所述有效分割轮廓表示像素面积超过
Figure FDA0003612050620000031
的分割轮廓作为所述有效分割轮廓；以及，还用于将所述目标分割平面所包含的所有有效分割轮廓作为多个目标分割轮廓；
第二处理模块，用于基于分水岭算法对所述多个目标分割轮廓以及所述目标货垛灰度图像进行处理，得到多个货物轮廓图像。
8.一种机械臂，其特征在于，包括：
存储器，用于存储一个或多个程序；
处理器；
当所述一个或多个程序被所述处理器执行时，实现如权利要求1-6中任一项所述的方法。
9.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该计算机程序被处理器执行时实现如权利要求1-6中任一项所述的方法。
CN201910822010.6A 2019-09-02 2019-09-02 货物轮廓检测方法、装置、机械臂及可读存储介质 Active CN110555848B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910822010.6A CN110555848B (zh) 2019-09-02 2019-09-02 货物轮廓检测方法、装置、机械臂及可读存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910822010.6A CN110555848B (zh) 2019-09-02 2019-09-02 货物轮廓检测方法、装置、机械臂及可读存储介质

Publications (2)

Publication Number Publication Date
CN110555848A CN110555848A (zh) 2019-12-10
CN110555848B true CN110555848B (zh) 2022-08-26

Family

ID=68738796

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910822010.6A Active CN110555848B (zh) 2019-09-02 2019-09-02 货物轮廓检测方法、装置、机械臂及可读存储介质

Country Status (1)

Country Link
CN (1) CN110555848B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111439594B (zh) * 2020-03-09 2022-02-18 兰剑智能科技股份有限公司 基于3d视觉引导的拆垛方法和系统

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109949331A (zh) * 2019-04-17 2019-06-28 合肥泰禾光电科技股份有限公司 货箱边缘检测方法及装置
CN110084186A (zh) * 2019-04-25 2019-08-02 中信梧桐港供应链管理有限公司 一种仓库远程监管方法及装置

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101672915B (zh) * 2009-09-23 2012-08-29 中国林业科学研究院资源信息研究所 一种高空间分辨率遥感影像树冠轮廓勾绘系统及方法

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109949331A (zh) * 2019-04-17 2019-06-28 合肥泰禾光电科技股份有限公司 货箱边缘检测方法及装置
CN110084186A (zh) * 2019-04-25 2019-08-02 中信梧桐港供应链管理有限公司 一种仓库远程监管方法及装置

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
模糊边界特性的灰度图像分割算法研究;中国优秀硕士学位论文全文数据库 信息科技辑;《中国优秀硕士学位论文全文数据库 信息科技辑》;20111115;第1.3节 *

Also Published As

Publication number Publication date
CN110555848A (zh) 2019-12-10

Similar Documents

Publication Publication Date Title
US9384556B2 (en) Image processor configured for efficient estimation and elimination of foreground information in images
US10115035B2 (en) Vision system and analytical method for planar surface segmentation
CN111862092A (zh) 一种基于深度学习的快递外包装缺陷检测方法及装置
CN110599544B (zh) 一种基于机器视觉的工件定位方法及装置
US20150253863A1 (en) Image Processor Comprising Gesture Recognition System with Static Hand Pose Recognition Based on First and Second Sets of Features
CN109949331B (zh) 货箱边缘检测方法及装置
CN115330819B (zh) 一种软包分割定位方法、工控机和机器人抓取系统
CN110717366A (zh) 文本信息的识别方法、装置、设备及存储介质
CN110223310B (zh) 一种基于深度学习的线结构光中心线和箱体边缘检测方法
CN107609483A (zh) 面向驾驶辅助系统的危险目标检测方法、装置
US11017548B2 (en) Methods, systems, and apparatuses for computing dimensions of an object using range images
CN110555848B (zh) 货物轮廓检测方法、装置、机械臂及可读存储介质
US20210158308A1 (en) Method and system for contamination assessment
CN115546202B (zh) 一种用于无人叉车的托盘检测与定位方法
CN111222507A (zh) 数字式仪表读数的自动识别方法、计算机可读存储介质
CN110738204B (zh) 一种证件区域定位的方法及装置
CN111369611B (zh) 图像像素深度值优化方法及其装置、设备和存储介质
US10907954B2 (en) Methods and systems for measuring dimensions of a 2-D object
CN114454168A (zh) 一种动态视觉机械臂抓取方法、系统及电子设备
CN111242963B (zh) 货箱轮廓检测方法及装置
CN111386533B (zh) 使用对称定位的空白区域检测和识别图像数据中图形字符表示的方法和装置
CN111243015B (zh) 货箱位置检测方法及装置
CN111079575A (zh) 一种基于包装图像特征的物料识别方法及系统
JP2017210302A (ja) 積載手順決定装置、および積載手順決定プログラム
CN112907666A (zh) 一种基于rgb-d的托盘位姿估计方法、系统及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
CB02 Change of applicant information

Address after: 230000 No. 66, Yulan Avenue, Taohua Industrial Park Development Zone, Hefei Economic and Technological Development Zone, Anhui Province

Applicant after: Hefei Taihe Intelligent Technology Group Co.,Ltd.

Address before: 230000 intersection of Fangxing Avenue and Yulan Avenue, Taohua Industrial Park, Hefei Economic and Technological Development Zone, Anhui Province

Applicant before: HEFEI TAIHE OPTOELECTRONIC TECHNOLOGY Co.,Ltd.

CB02 Change of applicant information
GR01 Patent grant
GR01 Patent grant