CN111563871A - 图像处理方法、装置、设备和视觉引导拆垛方法、系统 - Google Patents
图像处理方法、装置、设备和视觉引导拆垛方法、系统 Download PDFInfo
- Publication number
- CN111563871A CN111563871A CN201911011257.6A CN201911011257A CN111563871A CN 111563871 A CN111563871 A CN 111563871A CN 201911011257 A CN201911011257 A CN 201911011257A CN 111563871 A CN111563871 A CN 111563871A
- Authority
- CN
- China
- Prior art keywords
- box
- image
- stack
- image processing
- box stack
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 54
- 238000003672 processing method Methods 0.000 title claims abstract description 18
- 230000000007 visual effect Effects 0.000 title abstract description 27
- 238000012545 processing Methods 0.000 claims abstract description 43
- 238000013136 deep learning model Methods 0.000 claims description 34
- 230000011218 segmentation Effects 0.000 claims description 19
- 238000012549 training Methods 0.000 claims description 12
- 238000004422 calculation algorithm Methods 0.000 claims description 11
- 238000004590 computer program Methods 0.000 claims description 8
- 230000008859 change Effects 0.000 claims description 6
- 230000006740 morphological transformation Effects 0.000 claims description 5
- 238000010801 machine learning Methods 0.000 claims description 4
- 238000006243 chemical reaction Methods 0.000 claims description 3
- 230000001678 irradiating effect Effects 0.000 claims description 3
- 230000001502 supplementing effect Effects 0.000 claims description 3
- 238000013501 data transformation Methods 0.000 claims description 2
- 230000008569 process Effects 0.000 description 11
- 238000004891 communication Methods 0.000 description 6
- 238000010586 diagram Methods 0.000 description 4
- 230000003628 erosive effect Effects 0.000 description 4
- 238000012856 packing Methods 0.000 description 4
- 230000009471 action Effects 0.000 description 3
- 238000013135 deep learning Methods 0.000 description 3
- 230000006870 function Effects 0.000 description 3
- 238000012986 modification Methods 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- 230000000877 morphologic effect Effects 0.000 description 3
- 239000000306 component Substances 0.000 description 2
- 238000001514 detection method Methods 0.000 description 2
- 230000010339 dilation Effects 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000013507 mapping Methods 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 238000007639 printing Methods 0.000 description 2
- 238000006467 substitution reaction Methods 0.000 description 2
- 230000001131 transforming effect Effects 0.000 description 2
- 238000007792 addition Methods 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 239000008358 core component Substances 0.000 description 1
- 239000000835 fiber Substances 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 239000013589 supplement Substances 0.000 description 1
- 230000008961 swelling Effects 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
- 238000011426 transformation method Methods 0.000 description 1
- 230000001960 triggered effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/23—Clustering techniques
- G06F18/232—Non-hierarchical techniques
- G06F18/2321—Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions
- G06F18/23213—Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions with fixed number of clusters, e.g. K-means clustering
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G06T3/08—
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/136—Segmentation; Edge detection involving thresholding
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10028—Range image; Depth image; 3D point clouds
Abstract
本发明公开了一种图像处理方法、装置、设备和视觉引导拆垛方法、系统，涉及仓储物流技术领域。本发明的图像处理方法包括：S1、获取图像和云图；S2、获取箱体轮廓；S3、消除干扰点；S4、得到位置。本发明的图像处理装置，包括图像获取模块；轮廓获模块取；干扰点去除模块；箱体位置确定模块。本发明的图像处理设备包括3D相机，处理器、存储器。本发明的视觉引导拆垛方法：S10、运送箱体；S20、获取箱箱体位置；S30、取出箱体。本发明的视觉引导拆垛系统，包括图像处理设备和拆垛机器人，箱垛运输设备，处理器、存储器。本发明的图像处理方法、装置、设备和视觉引导拆垛方法、系统，可以解决现有技术无法准确识别出货箱准确位置的技术问题。
Description
技术领域
本发明涉及仓储物流技术领域，尤其是一种图像处理方法、装置、设备和视觉引导拆垛方法、系统。
背景技术
在物流领域，有时为了便于货物运输或者存放有时需要将货箱堆放在一起形成多层结构的箱垛，有时需要将对箱垛拆开成一个个的箱体。在实际应用中，需要拆分的箱垛的形式即货箱堆放的方式可能不同，每个箱体的堆放的位置也不同。如果采用人工进行拆垛，效率低人力成本高，不适合大批量，流水化的物流作业。由于现有的拆垛设备无法针对不同的箱垛形式准确识别出货箱的个数和每个货箱的准确位置，导致现有的拆垛机器人无法准确将货箱从箱垛中取出后运送到下一个环节。
发明内容
本发明提供了一种图像处理方法、装置、设备和视觉引导拆垛方法、系统，用以解决现有的拆垛技术无法针对不同的箱垛形式准确识别出货箱的个数和每个货箱的准确位置的技术问题。
第一方面，本发明提供了一种图像处理方法，所述方法包括：
S1、获取箱垛的2D图像和箱垛的原始3D云图；
S2、利用深度学习模型对箱垛的2D图像进行实例分割，从而得到箱垛中各个箱体的掩模，随后对掩模进行数据变化得到箱体的轮廓；
S3、根据箱体的轮廓消除原始3D云图中的干扰点后得到目标3D云图；
S4、根据目标3D云图确定箱垛中待取的箱体的个数和位置。
优选地，所述步骤S2、利用深度学习模型对箱垛的2D图像进行实例分割，从而得到箱垛中各个箱体的掩模，随后对掩模进行数据变化得到箱体的轮廓包括：
S21、搭建深度学习模型，训练模型权重参数；
S22、部署深度学习模型；
S23、通过3D相机采集箱垛的2D图像信息；
S24、深度学习模型根据输入箱垛的2D图像输出分割箱体的掩模；
S25、根据分割出的箱体的掩模和箱垛的2D图像获得箱垛中各个箱体的轮廓。
优选地，所述步骤S25、根据分割出的箱体的掩模和箱垛的2D图像获得箱垛中各个箱体的轮廓包括：
S241、对分割出的箱体掩模进行等比例缩放及尺寸变换，获得与箱垛2D图像相同大小的中间图像；
S242、将箱垛的2D图像与所述中间图像进行比对、求交及形态学变换处理得到箱垛中各个箱体的轮廓。
优选地，所述步骤S21获取用于实例分割处理的深度学习模型包括：
S211、搭建实例分割深度学习模型框架；
S212、获取箱垛单个货物单元的样本图像数据；
S213、将货物单元的样本图像数据集作为训练集，对深度学习模型进行训练，得到深度学习模型权重参数。
优选地，所述步骤S4、根据目标3D云图确定箱垛中待取的箱体的位置和个数包括：
S41、通过机器学习聚类算法计算出目标3D云图中待取的箱体个数；
S42、通过Kmeans聚类算法计算出目标3D云图中待取的每个箱体的位置。
优选地，所述步骤S1、获取箱垛的2D图像和箱垛的原始3D云图包括：
S11、用光栅对箱垛进行照射；
S12、用LED光源对箱垛进行补光；
S13、利用3D相机拍摄经光栅照射和LED光源补光的箱垛。
第二方面，本发明提供了一种图像处理装置，包括：
图像获取模块，所述图像获取模块用于获取箱垛的2D图像和箱垛的原始3D云图；
箱体的轮廓获取模块，所述箱体的轮廓获取模块用于利用深度学习模型对箱垛的2D图像进行实例分割，从而得到箱垛中各个箱体的掩模，随后对掩模进行数据变化得到箱体的轮廓；
干扰点去除模块，所述干扰点去除模块用于根据箱体的轮廓消除原始3D云图中的干扰点后得到目标3D云图；
箱体个数和位置确定模块，所述箱体个数和位置确定模块用于根据目标3D云图确定箱垛中待取的箱体的个数和位置。
第三方面，本发明提供了一种图像处理设备，包括：3D相机，至少一个处理器、至少一个存储器以及存储在所述存储器中的计算机程序指令，所述3D相机用于获取箱垛的2D图像和箱垛的原始3D云图，当所述计算机程序指令被所述处理器执行时实现第一方法所述的方法。
第四方面，本发明提供了一种视觉引导拆垛方法，包括以下步骤：
S10、将箱垛运送至待拆垛位置；
S20、利用第一方面的方法获取箱垛中待取的箱体位置；
S30、拆垛机器人根据箱垛中待取的箱体位置，从箱垛中取出待取的箱体并放置到运输设备的箱体接收位置。
第五方面，本发明提供了一种视觉引导拆垛系统，包括第三方面所述的图像处理设备和拆垛机器人，箱垛运输设备，至少一个处理器、至少一个存储器以及存储在所述存储器中的计算机程序指令，当所述计算机程序指令被所述处理器执行时实现第四方面所述的方法。
综上所述，本发明提供的图像处理方法、装置、设备和视觉引导拆垛方法、系统，通过获取箱垛的2D图像和箱垛的原始3D云图，将其中的箱垛的2D图像进行实例分割处理后得到箱垛中各个箱体的轮廓。然后将轮廓映射到原始3D云图上，将3D云图中处于箱体外部的干扰点去除后得到干净的目标3D云图。采用本方法去除3D云图干扰点的准确率高，得到的目标3D云图质量好。利用以上方法处理的3D云图对于不同垛形的箱垛都可以获得十分精确的箱体的位置。
附图说明
为了更清楚地说明本发明实施例的技术方案，下面将对本发明实施例中所需要使用的附图作简单地介绍，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本发明实施例1的图像处理的流程图。
图2是本发明实施例1是实例分割的方法的流程图。
图3是本发明实施例1中获取实例分割处理的深度学习模型的流程图。
图4是本发明实施例2的图像处理装置的结构示意图。
图5是本发明实施例3的图像处理设备的结构示意图。
图6是本发明实施例4的视觉引导拆垛方法的流程图。
图7是本发明实施例5的视觉引导拆垛系统的结构示意图。
图8是本发明实施例5的视觉引导拆垛系统的设备布局示意图。
具体实施方式
下面将详细描述本发明的各个方面的特征和示例性实施例，为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细描述。应理解，此处所描述的具体实施例仅被配置为解释本发明，并不被配置为限定本发明。对于本领域技术人员来说，本发明可以在不需要这些具体细节中的一些细节的情况下实施。下面对实施例的描述仅仅是为了通过示出本发明的示例来提供对本发明更好的理解。
需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
实施例1
请参见图1和图8所示，本实施例提供了一种图像处理方法，该方法通过获取箱垛的2D图像和箱垛的原始3D云图，将其中的箱垛的2D图像进行实例分割处理后得到箱垛中各个箱体的轮廓。然后将轮廓映射到原始3D云图上，将3D云图中处于箱体外部的干扰点去除后得到干净的目标3D云图。采用本方法去除3D云图干扰点的准确率高，得到的目标3D云图质量好。利用以上方法处理的3D云图对于不同垛形的箱垛都可以获得十分精确的箱体的位置。
如图1所示，该方法具体包括以下几个步骤：
S1、获取箱垛的2D图像和箱垛的原始3D云图；
2D图像和箱垛的原始3D云图的可以通过梅卡曼德的3D相机拍照后获得，该3D相机有两个摄像头，两个发射光源。该3D相机属于结构光解决方案。虽然该3D相机有两个摄像头，安装两个摄像头可以扩大拍摄的视野。3D相机中间是结构光源，该3D相机有两个光源发射器。其中结构光通过光的不同反射原理确定图像的平面轮廓及深度，采用光栅得到的图像质量及点云数据较好，拍照时间非常短。
由于采用了双摄像头该3D相机的视场尺寸为1.28m×1.47m，拍照得到的视野范围非常大。为了提高算法的准确率，可以采用图像背景手动划分的方式。该方式根据图像视野手动框选托盘区域，这样可以大幅提高图像处理的准确率。通过图像视野划分后，得到的图像均在指定的区域范围内。随后对图像进行等比例缩放，从而对图像进行了降维，可以减少后续图像处理的计算量。
为了提高图像的质量，本实施例在获取箱垛的2D图像和箱垛的原始3D云图时还包括以下步骤：
S11、用光栅对箱垛进行照射；
S12、用LED光源对箱垛进行补光；
S13、利用3D相机拍摄经光栅照射和LED光源补光的箱垛。
本实施例在采用蓝色光栅的同时采用LED光源为应用场景补光，这样可以得到更好的图像质量及点云数据。
S2、利用深度学习模型对箱垛的2D图像进行实例分割，从而得到箱垛中各个箱体的掩模，随后对掩模进行数据变化得到箱体的轮廓；
如图2所示，为了能够快速准确地将箱垛中的箱体准确分割出来，并获得各个箱体的准确轮廓，本实施例采用的方法具体包括以下步骤：
S21、搭建深度学习模型，训练模型权重参数；
如图3所示，其中S21、搭建深度学习模型，训练模型权重参数的方法为：
S211、搭建实例分割深度学习模型框架；
S212、获取箱垛单个货物单元的样本图像数据；
S213、将货物单元的样本图像数据集作为训练集，对深度学习模型进行训练，得到深度学习模型权重参数；
其中深度学习模型框架可以采用tensorflow深度学习框架。
在经过大量样本训练，等到实例分割处理的深度学习模型后，进行以下几个步骤：
S22、部署深度学习模型；
S23、通过3D相机采集箱垛的2D图像信息；
S24、深度学习模型根据输入箱垛的2D图像输出分割箱体的掩模；
S25、根据分割出的箱体的掩模和箱垛的2D图像获得箱垛中各个箱体的轮廓。
本实施例利用tensorflow深度学习框架，借助keras应用建立深度学习模型库。深度学习算法根据采集的纸箱样本，对样本进行训练得到函数模型。将拍照得到的2D图像作为深度学习模型的输入，深度学习模型会判别分割出纸箱的掩模(mask)作为输出。
其中根据分割出的箱体的掩模和箱垛的2D图像获得箱垛中各个箱体的轮廓的方法包括：
S241、对获分割出的箱体的掩模进行等比例缩放及尺寸变换，获得到与箱垛的2D图像相同像素大小的中间图像；
S242、将箱垛的2D图像与所述中间图像进行比对、求交及形态学变换处理得到箱垛中各个箱体的轮廓。
其中，形态学变换(Morphological Transformations)，是一种基于形状的变换。膨胀与腐蚀是最基本的两种形态学变换方法，形态学处理的常规操作(开运算、闭运算和形态学梯度等)则是这两种方法的组合。膨胀和腐蚀是针对较亮的像素的两种相反的操作，即较亮的像素会膨胀和被腐蚀(被暗色腐蚀)。
其中开运算是先腐蚀后膨胀，用来消除小物体，在纤细点处分离物体，平滑较大物体的边界的同时并不明显改变其面积。
其中闭运算是先膨胀后腐蚀的过程，其功能是用来填充物体内细小空洞、连接邻近物体、平滑其边界，同时不明显改变其面积。闭运算能够排除小的黑色区域。
形态学梯度是指膨胀图与腐蚀图之差，用于保留边缘轮廓。
输出的掩模进行等比例缩放得到与原始图像相同像素大小的图像。将原始图像与分割出来的图像比对、求交及形态学变换即可得到图像的轮廓。
S3、根据箱体的轮廓消除原始3D云图中的干扰点后得到目标3D云图；
本实施例将该轮廓与点云数据相结合，判断数据点是否在箱体轮廓之外，在箱体轮廓之外的点作为干扰点处理。这样就可以去除纸箱外的干扰点云数据，得到干净的数据准确率高的云图。
S4、根据目标3D云图确定箱垛中待取的箱体的个数和位置。
识别出纸箱的点云图数据后，可以提取出纸箱的平面坐标。最后点云通过聚类算法，明确分类出感兴趣区域纸箱个数。借助纸箱3D云图很容易计算出纸箱覆盖面积及中心位置。
其中本实施例中根据目标3D云图确定箱垛中待取的箱体的位置和方法包以下步骤：
S41、通过机器学习聚类算法计算出目标3D云图中待取的箱体个数；
S42、通过Kmeans聚类算法计算出目标3D云图中待取的每个箱体的位置。
当获得每个货物单元的点云数据后，通过机器学习传统算法聚类，可以分类出垛性上每层有多少个货物单元，通过Kmeans聚类算法得到每个货物单元的中心位置反馈给机器手的PLC。
实施例2
请参阅图4，本发明实施例提供了一种图像处理装置，所述装置包括：
图像获取模块，所述图像获取模块用于获取箱垛的2D图像和箱垛的原始3D云图；
实例分割模块，所述实例分割模块用于对箱垛的2D图像进行实例分割处理得到箱垛中各个箱体的轮廓；
干扰点去除模块，所述干扰点去除模块用于根据箱体的轮廓消除原始3D云图中的干扰点后得到目标3D云图；
箱体个数和位置确定模块，所述箱体个数和位置确定模块用于根据目标3D云图确定箱垛中待取的箱体的个数和位置。；
实施例3
另外，结合图5描述的本发明实施例的图像处理方法可以由图像处理设备来实现。图5示出了本发明实施例提供的图像处理设备的硬件结构示意图。
图像处理可以包括3D相机420，3D相机420用于获取箱垛的2D图像和箱垛的原始3D云图，处理器401以及存储有计算机程序指令的存储器402。其中3D相机420采用Mech-Eye-Brod相机。
具体地，上述处理器401可以包括中央处理器(CPU)，或者特定集成电路(Application Specific Integrated Circuit，ASIC)，或者可以被配置成实施本发明实施例的一个或多个集成电路。
存储器402可以包括用于数据或指令的大容量存储器。举例来说而非限制，存储器402可包括硬盘驱动器(Hard Disk Drive，HDD)、软盘驱动器、闪存、光盘、磁光盘、磁带或通用串行总线(Universal Serial Bus，USB)驱动器或者两个或更多个以上这些的组合。在合适的情况下，存储器402可包括可移除或不可移除(或固定)的介质。在合适的情况下，存储器402可在数据处理装置的内部或外部。在特定实施例中，存储器402是非易失性固态存储器。在特定实施例中，存储器402包括只读存储器(ROM)。在合适的情况下，该ROM可以是掩模编程的ROM、可编程ROM(PROM)、可擦除PROM(EPROM)、电可擦除PROM(EEPROM)、电可改写ROM(EAROM)或闪存或者两个或更多个以上这些的组合。
处理器401通过读取并执行存储器402中存储的计算机程序指令，以实现上述实施例中的任意一种区域随机打印的数据寻址方法。
在一个示例中图像处理设备还可包括通信接口403和总线410。其中，如图5所示，处理器401、存储器402、通信接口403通过总线410连接并完成相互间的通信。
通信接口403，主要用于实现本发明实施例中各模块、装置、单元和/或设备之间的通信。
总线410包括硬件、软件或两者，将区域随机打印的数据寻址设备的部件彼此耦接在一起。举例来说而非限制，总线可包括加速图形端口(AGP)或其他图形总线、增强工业标准架构(EISA)总线、前端总线(FSB)、超传输(HT)互连、工业标准架构(ISA)总线、无限带宽互连、低引脚数(LPC)总线、存储器总线、微信道架构(MCA)总线、外围组件互连(PCI)总线、PCI-Express(PCI-X)总线、串行高级技术附件(SATA)总线、视频电子标准协会局部(VLB)总线或其他合适的总线或者两个或更多个以上这些的组合。在合适的情况下，总线410可包括一个或多个总线。尽管本发明实施例描述和示出了特定的总线，但本发明考虑任何合适的总线或互连。
实施例4
如图6所示，本实施例提供一种视觉引导拆垛方法，该方法包括以下步骤：
S10、将箱垛运送至待拆垛位置；
S20、利用实施例1中的方法获取箱垛中待取的箱体位置；
S30、拆垛机器人根据箱垛中待取的箱体位置，从箱垛中取出待取的箱体并放置到运输设备的箱体接收位置。
实施例5
如图7和图8所示，本实施例提供一种视觉引导拆垛系统，该系统包括实施例2的图像处理设备10以及拆垛机器人20，箱垛60运输设备，至少一个处理器、至少一个存储器以及存储在所述存储器中的计算机程序指令，当所述计算机程序指令被所述处理器执行时实现实施例4所述的方法。
具体实施时可以采用工业控制机作为视觉引导拆垛系统的总控制设备。箱垛60运输设备可以采用AGV和运输带30。机器人夹具主要由海绵吸盘、吸盘安装结构件、真空风机、过滤器、气管、控制阀等组成。机器人夹具核心部件由施迈茨提供，海绵吸盘装有止回结构，避免海绵吸盘漏气。另外海绵吸盘带有负压检测装置，具有物体掉落检测装置。
具体操作过程为：
一、上位机系统收到指令后将纸箱垛60通过AGV送到工作站内指定拆垛位置50后，上位机系统发送指令给本工作站已经完成上料，并且自动退出本工作站。
AGV以及相关纸箱垛60进入机器人工作站时候需要将纸箱垛60的长边垂直于两台3D相机的中心联线，以便物体正好处在视觉视野中心。上位系统在为工作站上料的时候，需要告知机器人工作站当前位置纸箱垛60的垛形等信息。
二、工控机收到上料完成的指令后，向视觉系统(图像处理设备10)发送指令，视觉系统被触发后，开始图像采集，然后视觉系统自动识别出垛形以及计算出目标物的位置信息并发送给拆垛机器人20。
三、拆垛机器人20根据收到的目标物的位置信息后，从机器人起始点移动到目标位置去吸取指定的目标纸箱。
四、拆垛机器人20吸取目标物成功后，将目标物同时放到皮带输送线上。机器人回到起始点，等待下次吸取。同时视觉系统继续拍照，计算下一个目标物的位置。
五、系统不断的循环上述步骤，直到完成当前的任务。
以上是对本发明实施例提供的图像处理方法、装置、设备和视觉引导拆垛方法、系统。
需要明确的是，本发明并不局限于上文所描述并在图中示出的特定配置和处理。为了简明起见，这里省略了对已知方法的详细描述。在上述实施例中，描述和示出了若干具体的步骤作为示例。但是，本发明的方法过程并不限于所描述和示出的具体步骤，本领域的技术人员可以在领会本发明的精神后，作出各种改变、修改和添加，或者改变步骤之间的顺序。
以上所述的结构框图中所示的功能块可以实现为硬件、软件、固件或者它们的组合。当以硬件方式实现时，其可以例如是电子电路、专用集成电路(ASIC)、适当的固件、插件、功能卡等等。当以软件方式实现时，本发明的元素是被用于执行所需任务的程序或者代码段。程序或者代码段可以存储在机器可读介质中，或者通过载波中携带的数据信号在传输介质或者通信链路上传送。“机器可读介质”可以包括能够存储或传输信息的任何介质。机器可读介质的例子包括电子电路、半导体存储器设备、ROM、闪存、可擦除ROM(EROM)、软盘、CD-ROM、光盘、硬盘、光纤介质、射频(RF)链路，等等。代码段可以经由诸如因特网、内联网等的计算机网络被下载。
还需要说明的是，本发明中提及的示例性实施例，基于一系列的步骤或者装置描述一些方法或系统。但是，本发明不局限于上述步骤的顺序，也就是说，可以按照实施例中提及的顺序执行步骤，也可以不同于实施例中的顺序，或者若干步骤同时执行。
以上所述，仅为本发明的具体实施方式，所属领域的技术人员可以清楚地了解到，为了描述的方便和简洁，上述描述的系统、模块和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。应理解，本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到各种等效的修改或替换，这些修改或替换都应涵盖在本发明的保护范围之内。
Claims (10)
1.图像处理方法，其特征在于，所述方法包括：
S1、获取箱垛的2D图像和箱垛的原始3D云图；
S2、利用深度学习模型对箱垛的2D图像进行实例分割，从而得到箱垛中各个箱体的掩模，随后对掩模进行数据变化得到箱体的轮廓；
S3、根据箱体的轮廓消除原始3D云图中的干扰点后得到目标3D云图；
S4、根据目标3D云图确定箱垛中待取的箱体的个数和位置。
2.根据权利要求1所述的图像处理方法，其特征在于，所述步骤S2、利用深度学习模型对箱垛的2D图像进行实例分割，从而得到箱垛中各个箱体的掩模，随后对掩模进行数据变化得到箱体的轮廓包括：
S21、搭建深度学习模型，训练模型权重参数；
S22、部署深度学习模型；
S23、通过3D相机采集箱垛的2D图像信息；
S24、深度学习模型根据输入箱垛的2D图像输出分割箱体的掩模；
S25、根据分割出的箱体的掩模和箱垛的2D图像获得箱垛中各个箱体的轮廓。
3.根据权利要求2所述的图像处理方法，其特征在于，所述步骤S25、根据分割出的箱体的掩模和箱垛的2D图像获得箱垛中各个箱体的轮廓包括：
S251、对分割出的箱体掩模进行等比例缩放及尺寸变换，获得与箱垛2D图像相同大小的中间图像；
S252、将箱垛的2D图像与所述中间图像进行比对、求交及形态学变换处理得到箱垛中各个箱体的轮廓。
4.根据权利要求2所述的图像处理方法，其特征在于：所述步骤S21获取用于实例分割处理的深度学习模型包括：
S211、搭建实例分割深度学习模型框架；
S212、获取箱垛单个货物单元的样本图像数据；
S213、将货物单元的样本图像数据集作为训练集，对深度学习模型进行训练，得到深度学习模型权重参数。
5.根据权利要求1至4中任一项所述的图像处理方法，其特征在于，所述步骤S4、根据目标3D云图确定箱垛中待取的箱体的位置和个数包括：
S41、通过机器学习聚类算法计算出目标3D云图中待取的箱体个数；
S42、通过Kmeans聚类算法计算出目标3D云图中待取的每个箱体的位置。
6.根据权利要求1至4中任一项所述的图像处理方法，其特征在于，所述步骤S1、获取箱垛的2D图像和箱垛的原始3D云图包括：
S11、用光栅对箱垛进行照射；
S12、用LED光源对箱垛进行补光；
S13、利用3D相机拍摄经光栅照射和LED光源补光的箱垛。
7.图像处理装置，其特征在于，所述装置包括：
图像获取模块，所述图像获取模块用于获取箱垛的2D图像和箱垛的原始3D云图；
箱体的轮廓获取模块，所述箱体的轮廓获取模块用于利用深度学习模型对箱垛的2D图像进行实例分割，从而得到箱垛中各个箱体的掩模，随后对掩模进行数据变化得到箱体的轮廓；
干扰点去除模块，所述干扰点去除模块用于根据箱体的轮廓消除原始3D云图中的干扰点后得到目标3D云图；
箱体个数和位置确定模块，所述箱体个数和位置确定模块用于根据目标3D云图确定箱垛中待取的箱体的个数和位置。
8.图像处理设备，其特征在于，包括：3D相机，至少一个处理器、至少一个存储器以及存储在所述存储器中的计算机程序指令，所述3D相机用于获取箱垛的2D图像和箱垛的原始3D云图，当所述计算机程序指令被所述处理器执行时实现如权利要求1-7中任一项所述的方法。
9.视觉引导拆垛方法，其特征在于，包括以下步骤：
S10、将箱垛运送至待拆垛位置；
S20、利用权利要求1-7中任一项所述的方法获取箱垛中待取的箱体位置；
S30、拆垛机器人根据箱垛中待取的箱体位置，从箱垛中取出待取的箱体并放置到运输设备的箱体接收位置。
10.视觉引导拆垛系统，其特征在于，包括权利要求8所述的图像处理设备和拆垛机器人，箱垛运输设备，至少一个处理器、至少一个存储器以及存储在所述存储器中的计算机程序指令，当所述计算机程序指令被所述处理器执行时实现权利要求9所述的方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201911011257.6A CN111563871B (zh) | 2019-10-23 | 2019-10-23 | 图像处理方法、装置、设备和视觉引导拆垛方法、系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201911011257.6A CN111563871B (zh) | 2019-10-23 | 2019-10-23 | 图像处理方法、装置、设备和视觉引导拆垛方法、系统 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN111563871A true CN111563871A (zh) | 2020-08-21 |
| CN111563871B CN111563871B (zh) | 2024-04-12 |
Family
ID=72072895
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201911011257.6A Active CN111563871B (zh) | 2019-10-23 | 2019-10-23 | 图像处理方法、装置、设备和视觉引导拆垛方法、系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111563871B (zh) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111924460A (zh) * | 2020-09-21 | 2020-11-13 | 佛山隆深机器人有限公司 | 一种码垛控制方法及系统 |
| CN114170423A (zh) * | 2022-02-14 | 2022-03-11 | 成都数之联科技股份有限公司 | 一种图像文档版面识别方法、装置及其系统 |
Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107756398A (zh) * | 2017-09-30 | 2018-03-06 | 深圳市功夫机器人有限公司 | 机器人视觉引导方法、装置及设备 |
| CN108898610A (zh) * | 2018-07-20 | 2018-11-27 | 电子科技大学 | 一种基于mask-RCNN的物体轮廓提取方法 |
| CN109101967A (zh) * | 2018-08-02 | 2018-12-28 | 苏州中德睿博智能科技有限公司 | 基于视觉的目标对象识别与定位方法、终端以及存储介质 |
| CN109297433A (zh) * | 2018-11-15 | 2019-02-01 | 青岛星晖昌达智能自动化装备有限公司 | 3d视觉引导拆垛测量系统及其控制方法 |
| US20190311202A1 (en) * | 2018-04-10 | 2019-10-10 | Adobe Inc. | Video object segmentation by reference-guided mask propagation |
| CN110322512A (zh) * | 2019-06-28 | 2019-10-11 | 中国科学院自动化研究所 | 结合小样本实例分割和三维匹配的物体位姿估计方法 |
| CN110322515A (zh) * | 2019-07-02 | 2019-10-11 | 工极智能科技（苏州）有限公司 | 基于双目立体视觉的工件识别及抓取点提取方法 |
| CN110322457A (zh) * | 2019-07-09 | 2019-10-11 | 中国大恒(集团)有限公司北京图像视觉技术分公司 | 一种2d与3d视觉结合的拆垛方法 |
-
2019
- 2019-10-23 CN CN201911011257.6A patent/CN111563871B/zh active Active
Patent Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107756398A (zh) * | 2017-09-30 | 2018-03-06 | 深圳市功夫机器人有限公司 | 机器人视觉引导方法、装置及设备 |
| US20190311202A1 (en) * | 2018-04-10 | 2019-10-10 | Adobe Inc. | Video object segmentation by reference-guided mask propagation |
| CN108898610A (zh) * | 2018-07-20 | 2018-11-27 | 电子科技大学 | 一种基于mask-RCNN的物体轮廓提取方法 |
| CN109101967A (zh) * | 2018-08-02 | 2018-12-28 | 苏州中德睿博智能科技有限公司 | 基于视觉的目标对象识别与定位方法、终端以及存储介质 |
| CN109297433A (zh) * | 2018-11-15 | 2019-02-01 | 青岛星晖昌达智能自动化装备有限公司 | 3d视觉引导拆垛测量系统及其控制方法 |
| CN110322512A (zh) * | 2019-06-28 | 2019-10-11 | 中国科学院自动化研究所 | 结合小样本实例分割和三维匹配的物体位姿估计方法 |
| CN110322515A (zh) * | 2019-07-02 | 2019-10-11 | 工极智能科技（苏州）有限公司 | 基于双目立体视觉的工件识别及抓取点提取方法 |
| CN110322457A (zh) * | 2019-07-09 | 2019-10-11 | 中国大恒(集团)有限公司北京图像视觉技术分公司 | 一种2d与3d视觉结合的拆垛方法 |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111924460A (zh) * | 2020-09-21 | 2020-11-13 | 佛山隆深机器人有限公司 | 一种码垛控制方法及系统 |
| CN111924460B (zh) * | 2020-09-21 | 2021-02-19 | 佛山隆深机器人有限公司 | 一种码垛控制方法及系统 |
| CN114170423A (zh) * | 2022-02-14 | 2022-03-11 | 成都数之联科技股份有限公司 | 一种图像文档版面识别方法、装置及其系统 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN111563871B (zh) | 2024-04-12 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| EP3683721B1 (en) | A material handling method, apparatus, and system for identification of a region-of-interest | |
| US11227405B2 (en) | Determining positions and orientations of objects | |
| Banerjee et al. | Online camera lidar fusion and object detection on hybrid data for autonomous driving | |
| CN112991447A (zh) | 一种动态环境下视觉定位与静态地图构建方法及系统 | |
| CN112837371A (zh) | 基于3d匹配的物体抓取方法、装置及计算设备 | |
| CN113351522B (zh) | 物品分拣方法、装置及系统 | |
| CN113191174B (zh) | 物品定位方法和装置、机器人及计算机可读存储介质 | |
| CN111563871A (zh) | 图像处理方法、装置、设备和视觉引导拆垛方法、系统 | |
| CN115082559B (zh) | 一种柔性件的多目标智能分拣方法、系统及存储介质 | |
| US20220084238A1 (en) | Multiple transparent objects 3d detection | |
| Kim et al. | Pca based computation of illumination-invariant space for road detection | |
| CN116337887A (zh) | 铸造缸体上表面缺陷检测方法及系统 | |
| CN113483664B (zh) | 一种基于线结构光视觉的屏风板自动上料系统及方法 | |
| Holz et al. | Fast edge-based detection and localization of transport boxes and pallets in rgb-d images for mobile robot bin picking | |
| Fontana et al. | A comparative assessment of parcel box detection algorithms for industrial applications | |
| WO2022150280A1 (en) | Machine vision-based method and system to facilitate the unloading of a pile of cartons in a carton handling system | |
| CN114384080A (zh) | 一种橡胶圈缺陷批量检测方法及检测系统 | |
| CN111061265A (zh) | 一种物体搬运方法、装置及系统 | |
| CN116228854B (zh) | 一种基于深度学习的包裹自动分拣方法 | |
| US20240066723A1 (en) | Automatic bin detection for robotic applications | |
| TWI772181B (zh) | 電路板抓取位置的自動辨識系統與自動辨識方法 | |
| CN116812590B (zh) | 一种基于视觉的卸货方法及系统 | |
| CN116206101A (zh) | 用于混合尺寸卸垛的算法 | |
| EP4249177A1 (en) | Grasp boundary detection based on color | |
| US20230256601A1 (en) | Object grasping |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |