CN108818537A - 一种基于云端深度学习的机器人工业分拣方法 - Google Patents

Abstract

本发明公开了一种基于云端深度学习的机器人工业分拣方法，涉及机器人工业自动化领域，能够实现一种较为简易的物品细化分拣。本发明包括：工业相机、计算机、UR5机器人(机械臂本体与控制箱)。利用PCi‑E接口连接所述Gige工业相机、计算机、UR5机器人；其中计算机中还安装了Halcon软件，并利用socket通信方式连接UR5机器人，在UR5机器人示教器上编写分拣程序，示教器上的编程语言为UR特定的UR script。本发明适用于机器人自动化分拣。

Description

一种基于云端深度学习的机器人工业分拣方法

技术领域

本发明涉及机器人工业自动化领域，尤其涉及一种基于云端深度学习的机器人工业分拣方法。

背景技术

目前，工业机器人主要已能够对一些形态差别较大的目标进行很好地分拣，例如圆形、矩形、棱形的工件，又或者是颜色不同的目标物，而像汽车组装厂、工程装备制造车间等应用场景，由于零部件、工件的尺寸较大、形态区别明显，因此这种分拣粒度已足够使用。但目前的工业机器人对于形态、颜色相似的物体难以做出准确分类和分拣。

为了缓减这一问题，业内也有人提出了结合人工智能的方案，一些工业机器人都加入了深度学习的算法，以提高工业机器人识别的分辨率。但是这些方案国内的大多数对于中小型非标公司而言，往往难投入到实际使用中，其原因在于：

1.硬件要求高，例如：百度的硅谷人工智能实验室(SVAIL)已经为深度学习硬件提出了DeepBench基准，这一基准着重衡量的是基本计算的硬件性能。深度学习的硬件加速器需要具备数据级别和流程化的并行性、多线程和高内存带宽等特性，因此需要投入高昂的硬件成本来支撑人工智能的应用。

2.庞大的训练模型所需数据：所搭建的学习模型需要大量的参数，所需要的训练数据也是极为庞大的。如果需要解决的问题很复杂(比如图像分类)，参数就会更多，所需的训练数据也急剧增加。例如：VGGNet有1.4亿参数，谷歌的GNMT的参数更是高达3.8亿个。要实现这两点，除了要投入巨大的数据库成本以外，还需要组建专门的技术团队去实现，对于国内的中小型非标公司显然是难以实现的。

发明内容

本发明的实施例提供一种基于云端深度学习的机器人工业分拣方法，能够实现一种较为简易的物品细化分拣。

本实施例中，提供了一种工业分拣(分类)系统，所述工业分拣(分类)系统用于对生产系统中的流水线上的产品进行分拣(分类)，所述分析系统包括：工业相机、计算机、UR5机器人(机械臂本体与控制箱)。利用PCi-E接口连接所述Gige工业相机、计算机、UR5机器人；其中计算机中还安装了Halcon软件，并利用socket通信方式连接UR5机器人，在UR5机器人示教器上编写分拣程序，示教器上的编程语言为UR特定的UR script。

并在该系统的基础上设计了一种集合云端深度学习和机器人的分拣方法。NanoNets拥有多个数百万个参数的预训练模型，使用者只需要上传自己的数据，亦或搜索网络数据，便会选择适合的最佳训练模型，并且通过迁移学习来简化用户训练模型的过程，大幅度地提高任务完成速度。相对于利用GPU加速进行深度学习的方法，本实施例提出的方法能够更低成本地建立学习模型并得到分类信息。这种方法可以极大地降低工业成本，在连接网络的条件下，能够达到良好的分拣准确率。

尤其是本实例提供的方法在面对目标旋转与部分有遮挡的情况，依然能够很好的识别出来，从而对形态相似，纹理复杂的目标进行智能化分拣，并且在运用过程中，无需操作者再创建模板，设定参数，简化工序的同时节约了人力。

附图说明

为了更清楚地说明本发明实施例中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其它的附图。

图1为本发明实施例提供的系统架构示意图；

图2、3、4、5为本发明实施例提供的具体事例的示意图。

具体实施方式

为使本领域技术人员更好地理解本发明的技术方案，下面结合附图和具体实施方式对本发明作进一步详细描述。下文中将详细描述本发明的实施方式，所述实施方式的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施方式是示例性的，仅用于解释本发明，而不能解释为对本发明的限制。本技术领域技术人员可以理解，除非特意声明，这里使用的单数形式“一”、“一个”、“所述”和“该”也可包括复数形式。应该进一步理解的是，本发明的说明书中使用的措辞“包括”是指存在所述特征、整数、步骤、操作、元件和/或组件，但是并不排除存在或添加一个或多个其他特征、整数、步骤、操作、元件、组件和/或它们的组。应该理解，当我们称元件被“连接”或“耦接”到另一元件时，它可以直接连接或耦接到其他元件，或者也可以存在中间元件。此外，这里使用的“连接”或“耦接”可以包括无线连接或耦接。这里使用的措辞“和/或”包括一个或更多个相关联的列出项的任一单元和全部组合。本技术领域技术人员可以理解，除非另外定义，这里使用的所有术语(包括技术术语和科学术语)具有与本发明所属领域中的普通技术人员的一般理解相同的意义。还应该理解的是，诸如通用字典中定义的那些术语应该被理解为具有与现有技术的上下文中的意义一致的意义，并且除非像这里一样定义，不会用理想化或过于正式的含义来解释。

本发明实施例提供一种基于云端深度学习的机器人工业分拣方法，本方法可以应用于如图1所示的基于云端深度学习的机器人分拣系统上。所述机器人分拣系统用于对流水线上的产品进行分拣(分类)。所述系统包括：工业相机、计算机、工业机器人，所述工业机器人由机械臂和控制箱组成；所述计算机、工业相机和所述工业机器人通过PCi-E接口建立通信。其中，所述工业机器人的控制箱中安装有网络接口，用于与云端直接进行网络通信，比如可以直接接收NanoNets发送的数据。

其中，工业相机具体可以采用GigE工业相机，GigE Vision是一种基于千兆以太网通信协议开发的相机接口标准。工业机器人具体可以采用采用UR5型机器人，是由Universal Robots公司开发的负载5Kg的六关节协助机器人，自带软件系统、可视编程控制界面。PCI-E接口即为PCI Express，是新一代的总线接口。

该方法包括：

步骤(1)：通过所述计算机加载NanoNets，并利用NanoNets根据任务需求选取模型。

其中，所述计算机中记录有各个任务需求与各个模型的之间的映射关系表。本实施例中所述的NanoNets,是一款基于云的深度学习API(Application ProgrammingInterface,应用程序编程接口)。其拥有多个数百万个参数的预训练模型，使用者只需要上传自己的数据，亦或搜索网络数据，NanoNets就会选择适合的最佳训练模型。

步骤(2)：对目标物添加识别标签，并通过互联网获取与所述目标物相关联的图片作为训练集，并对所选取的模型进行深度学习训练。

其中，所述目标物包括至少2个属于相同种类的物品。

对目标物添加识别标签，例如：如图2所示的，对目标物为三种菇类，，分别打上标签，选择互联网已有图片作为训练集，进行训练，训练过程大概持续20分钟。为三种菇类打上标签，如附图2。通过标签搜索互联网已有图片作为训练集进行训练，训练过程大概持续20分钟。

步骤(3)：通过所述计算机控制所述工业相机拍摄所述目标物，并利用利用算子grab_image和write_image将拍摄的图片保存。

具体的，在所述步骤(3)之前，还包括：

从Halcon的算子库中提取所述算子grab_image和所述算子write_image，

其中，所述算子grab_image是用于获取所述工业相机所拍摄的图片的复合函数。所述算子write_image是用于将所述工业相机所拍摄的图片保存在指定文件的复合函数。在本实施例中，可以采用Halcon中的算子库(imageprocessing library)，由一千多个各自独立的函数，以及底层的数据管理核心构成。其中包含了各类滤波，色彩以及几何，数学转换，形态学计算分析，校正，分类辨识，形状搜寻等等基本的几何以及影像计算功能。算子为实现特定目的的复合函数，其中：grab_image：为获取图像采集设备所采集的图片之目的复合函数；write_image：为将输入的图像保存在指定文件中之目的复合函数。

步骤(4)：将被保存的图片导入已训练完毕的所述模型中，获取最终的分类信息，并将所述最终的分类信息转换为变量i。

其中，i的数值对应所述目标物的识别标签，i＝1,2,3…N，N为正整数大于且等于3。例如：图3所示的，通过编程将分类信息转换为变量i，以其中变量i＝1,2,3为例，1,2,3,分别代表菇的种类，并以TXT的文件保存。

步骤(5)：所述计算机利用halcon的算子open_file和fread_string获取变量i。

其中，计算机获取变量i，实际上即为读取txt文本获取变量i。

具体的，在所述步骤(5)之前，还包括：

从Halcon的算子库中提取所述算子open_file和所述算子fread_string。

其中，所述算子open_file是用于通过文件路径和文件名打开指定文件的复合函数。所述算子fread_string是用于以行读取的方式读取所述指定文件的复合函数。

Halcon的算子库中，所述算子open_file：通过文件路径和文件名打开指定文件之目的复合函数；所述算子fread_string：以行读取的方式读取指定文件之目的复合函数。

步骤(6)：所述计算机建立所述halcon与所述工业机器人的socket通信。

其中，所述计算机通过手眼标定，获取坐标系的转化关系。

具体的，所述步骤(6)中，通过手眼标定，获取机器人的空间坐标系，包括：通过手眼标定获取所述工业相机的像素坐标系，和所述机械手的空间坐标系，并得到所述像素坐标系与所述空间坐标系的转化关系。

其中，所述UR5机器人与相机的安装方式是手在眼方式，所述相机已完成相机标定、所述UR5与相机已通过手眼标定。像素坐标系可以理解为：通过相机标定获得相机内部参数后，建立的坐标系。手眼标定可以理解为：在实际控制中，相机检测到目标在图像中的像素位置后，通过标定好的坐标转换矩阵将相机的像素坐标变换到机械手的空间坐标系中，从而控制机械手到达指定位置。

步骤(7)：所述计算机利用所述halcon读取所述被保存的图片，并通过阈值分割的算子，将所述目标物的影像从所述被保存的图片的背景中分割出来。

其中，机器人到达所获目标坐标，并进行抓取。所述UR5机器人所使用的自带函数MOVEJ是一个点到点函数，其免除了机器人逆解的步骤，在操作过程中，只需要向UR5发送下一个坐标点，UR5机器人会自动调整各关节到达指定点位置。

具体的，所述步骤(7)中，通过阈值分割的算子，将所述目标物的影像从所述被保存的图片的背景中分割出来，包括：获取用于阈值分割的算子Threshold，所述算子Threshold用于从所述被保存的图片的背景中获取介于MinGray至MaxGray的区域中的像素值。

其中，MinGray是最小值，MaxGray是最大值，从所述被保存的图片的背景中分割出的出现频率最高的灰度值属于所述目标物的影像。Threshold技术具体可以理解为：使用全局阈值分割图像，获取像素值介于MinGray和MaxGray的区域之目的复合函数。MinGray是输入变量，阈值分割像素的最小值。MaxGray是输入变量，阈值分割像素的最大值。目的寻找出现频率最高的灰度值。

步骤(8)：将分割出的所述目标物的影像的像素坐标位置转为机器人的空间坐标位置，并将所述空间坐标位置和所述变量i发送给所述工业机器人。

目标图像坐标位置转为机器人坐标系，连同变量i一起发送给UR5机器人。

步骤(9)：所述工业机器人根据所述机器人坐标系和所述变量i，通过脚本命令语句，驱动所述机械臂本体对所述目标物执行分拣动作。

具体的，可以将分割出的所述目标物的影像的坐标位置转为机器人坐标系，其中坐标之间的转换已通过前期工作中手眼标定获得，并将所述机器人坐标和所述变量i发送给所述UR5机器人。例如：目标图像坐标位置转为机器人坐标系，连同变量i一起发送给UR5机器人。UR5机器人获取所述机器人坐标系和所述变量i后，作出逻辑判断,并为UR5机器人编程，使用脚本命令语句movej,movel等指令完成分拣动作。

具体举例来说：如今被广泛应用在工业流水分拣中的传统模板匹配法正常流程是：1.准备模板图像；2.创建模板；3.参数选择；4.对图像进行匹配。下面以工业零件分类为例，创建的模板为六边形，并寻找形状模型相匹配的区域的参数，比如图4所示的。

该匹配法可以在众多物体中识别出六角螺母，但模板匹配具有自身的局限性，一旦原图像中的匹配目标发生旋转角度的变化，或者目标只有部分可见，则该算法无效，比如图5所示的，旋转后的六角螺母就难以识别。

本实施例中，提供了一种工业分拣(分类)系统，所述工业分拣(分类)系统用于对生产系统中的流水线上的产品进行分拣(分类)，所述分析系统包括：工业相机、计算机、UR5机器人(机械臂本体与控制箱)。利用PCi-E接口连接所述Gige工业相机、计算机、UR5机器人；其中计算机中还安装了Halcon软件，并利用socket通信方式连接UR5机器人，在UR5机器人示教器上编写分拣程序，示教器上的编程语言为UR特定的UR script。

并在该系统的基础上设计了一种集合云端深度学习和机器人的分拣方法。NanoNets拥有多个数百万个参数的预训练模型，使用者只需要上传自己的数据，亦或搜索网络数据，便会选择适合的最佳训练模型，并且通过迁移学习来简化用户训练模型的过程，大幅度地提高任务完成速度。相对于利用GPU加速进行深度学习的方法，本实施例提出的方法能够更低成本地建立学习模型并得到分类信息。这种方法可以极大地降低工业成本，在连接网络的条件下，能够达到良好的分拣准确率。

尤其是本实例提供的方法在面对目标旋转与部分有遮挡的情况，依然能够很好的识别出来，从而对形态相似，纹理复杂的目标进行智能化分拣，并且在运用过程中，无需操作者再创建模板，设定参数，简化工序的同时节约了人力。

本说明书中的各个实施例均采用递进的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于设备实施例而言，由于其基本相似于方法实施例，所以描述得比较简单，相关之处参见方法实施例的部分说明即可。以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到的变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应该以权利要求的保护范围为准。

Claims (5)

1.一种基于云端深度学习的机器人工业分拣方法，其特征在于，所述方法用于一种基于云端深度学习的机器人分拣系统，所述系统包括：工业相机、计算机、工业机器人，所述工业机器人由机械臂和控制箱组成；所述计算机、工业相机和所述工业机器人通过PCi-E接口建立通信；

所述方法包括：

步骤(1)：通过所述计算机加载NanoNets，并利用NanoNets根据任务需求选取模型，所述计算机中记录有各个任务需求与各个模型的之间的映射关系表；

步骤(2)：对目标物添加识别标签，并通过互联网获取与所述目标物相关联的图片作为训练集，并对所选取的模型进行深度学习训练，所述目标物包括至少2个属于相同种类的物品；

步骤(3)：通过所述计算机控制所述工业相机拍摄所述目标物，并利用利用算子grab_image和write_image将拍摄的图片保存；

步骤(4)：将被保存的图片导入已训练完毕的所述模型中，获取最终的分类信息，并将所述最终的分类信息转换为变量i，i的数值对应所述目标物的识别标签，i＝1,2,3…N；

步骤(5)：所述计算机利用halcon的算子open_file和fread_string获取变量i；

步骤(6)：所述计算机建立所述halcon与所述工业机器人的socket通信，其中，所述计算机通过手眼标定，获取坐标系的转化关系；

步骤(7)：所述计算机利用所述halcon读取所述被保存的图片，并通过阈值分割的算子，将所述目标物的影像从所述被保存的图片的背景中分割出来；

步骤(8)：将分割出的所述目标物的影像的像素坐标位置转为机器人的空间坐标位置，并将所述空间坐标位置和所述变量i发送给所述工业机器人；

步骤(9)：所述工业机器人根据所述机器人坐标系和所述变量i，通过脚本命令语句，驱动所述机械臂本体对所述目标物执行分拣动作。

2.根据权利要求1所述的方法，其特征在于，在所述步骤(3)之前，还包括：

从Halcon的算子库中提取所述算子grab_image和所述算子write_image，

其中，所述算子grab_image是用于获取所述工业相机所拍摄的图片的复合函数；所述算子write_image是用于将所述工业相机所拍摄的图片保存在指定文件的复合函数。

3.根据权利要求1所述的方法，其特征在于，在所述步骤(5)之前，还包括：

从Halcon的算子库中提取所述算子open_file和所述算子fread_string；

其中，所述算子open_file是用于通过文件路径和文件名打开指定文件的复合函数；所述算子fread_string是用于以行读取的方式读取所述指定文件的复合函数。

4.根据权利要求1所述的方法，其特征在于，所述步骤(6)中，通过手眼标定，获取机器人的空间坐标系，包括：

通过手眼标定获取所述工业相机的像素坐标系，和所述机械手的空间坐标系，并得到所述像素坐标系与所述空间坐标系的转化关系。

5.根据权利要求1所述的方法，其特征在于，所述步骤(7)中，通过阈值分割的算子，将所述目标物的影像从所述被保存的图片的背景中分割出来，包括：

获取用于阈值分割的算子Threshold，所述算子Threshold用于从所述被保存的图片的背景中获取介于MinGray至MaxGray的区域中的像素值，其中，MinGray是最小值，MaxGray是最大值，从所述被保存的图片的背景中分割出的出现频率最高的灰度值属于所述目标物的影像。