CN208826638U - 一种基于计算机视觉和机器学习的自适应分拣系统 - Google Patents

Abstract

本实用新型提供了一种基于计算机视觉和机器学习算法的自适应分拣系统及其配套末端执行器。该系统由：物件分类决策模块，物件信息预估模块，底座，摄像机，可变吸力吸盘，柔性机械手爪，触觉传感器七部分组成。结构简单，制造成本低，工作稳定可靠，通用性和互换性良好，可适用于多种工作环境，该实用新型结合了可变吸力吸盘以及柔性机械手爪，使得该实用新型适用于包括水果自适应分拣分级等多种生产场合中，具有较高的应用价值。

Description

一种基于计算机视觉和机器学习的自适应分拣系统

技术领域

本发明属于机器人应用领域，特别涉及一种利用计算机视觉和机器学习的自适应分拣系统及方法。

背景技术

如今，随着机器人技术的不断发展，机器人已经在人类社会的工业生产领域当中扮演着举足轻重的角色，机器人的大批量应用提升了工厂的生产自动化程度，提升了生产线的制造效率。

而在一些特殊的生产领域，如水果分拣，往往需要机器人的夹持具有一定的柔性抓取特性，以在不破坏水果品质的同时实现稳定抓取。

特别的，在樱桃分拣领域，通常需要根据樱桃的大小、重量、色泽等进行樱桃的质量分级，并实现稳定的抓取分拣。

然而，在目前相关种类的机器人中，还存在着抓取模式单一，抓取稳定性不高，无法实时识别抓取种类并实现分拣以及抓取方式的变换等问题。

中国专利号：CN201320598860.0，名称：工业机器人分拣系统，该发明公开了一种工业机器人分拣系统，该方法具体为：使用摄像机实现视觉分拣，并采用六轴机械臂进行工件的分拣。该专利针对几何形状的工件进行研究，主要用于工业零件分拣领域。然而，该发明采用的六轴机械臂在灵活抓取上具有一定的局限性，只能对一定的规范几何工件进行抓取，因此，该发明并不能完全适用于多种需要进行柔性抓取的生产场合如水果分拣产业当中。

中国专利号：CN201510713573.3，名称：一种柔性抓取机械手，该发明公开了一种柔性抓取机械手，用以提高抓取的范围，灵活抓取。所述柔性机械臂具有360度旋转的能力，其拥有灵活的运动能力，能够在一定程度上避开障碍物到达目标空间。然而，该发明的末端执行器仍然为刚性结构，无法实现柔性抓取，使得该发明的应用场景局限于硬质刚体的抓取任务中，无法将其扩展应用到柔性抓取的生产场合当中。

综上，在工业生产的实际应用中，需要一种能够实现柔性抓取的夹持器，结合计算机视觉，实现物件的柔性分拣。本发明正是结合了柔性机械爪的优点，提出了一种新型有效的自适应分拣方法及其配套柔性末端执行器。

发明内容

本发明提供了一种基于计算机视觉和机器学习的自适应分拣系统及方法，用以实现对樱桃等水果的自适应柔性分拣。其目的在于，在水果分拣的过程中，利用计算机视觉识别算法，通过对水果种类、大小、以及成熟度等信息对水果进行实时分拣，提高水果分拣的过程准确率，主要解决了现阶段用户无法根据水果的种类、质量等信息实现准确稳定的分拣等问题。

本发明的目的通过下述技术方案予以实现：

一种基于计算机视觉和机器学习算法的自适应分拣系统，其特征在于：包括，底座（1），摄像机（2），可伸缩连杆（3），可变吸力吸盘（4），柔性手爪（5），触觉传感器（6），个人或工业计算机（7），个人或工业计算机（7）包含有物件分类决策模块及物件信息预估模块。

摄像机（2）安装于所述底座（1）之上；可变吸力吸盘（4）被布置于底座（1）的下部中央位置，通过可伸缩连杆（3）进行连接；柔性手爪（5）布置于底座（1）的下方边缘处；触觉传感器（6）安置于柔性手爪（5）的各个末端指尖内表面；物件分类决策模块及物件信息预估模块整合于个人或工业计算机（7）中；物件分类决策模块,通过有线或无线与摄像机（2）、触觉传感器（6）连接；物件信息预估模块通过有线或无线与可变吸力吸盘（6）和柔性手爪（5）连接。

摄像机（2）用于拍摄被抓取物体的图像信息，将图像信息实时传输到物件信息预估模块，物件信息预估模块进行数据比对，用以获得被抓取物体的信息如种类、质量等。

可变吸力吸盘（4）的吸盘数量为一个或多个，可适应多种物件形状的贴合吸取，吸力大小由物件信息预估模块给出的信号决定。

柔性手爪（5）基本结构为柔性多指手爪，柔性手指数量等于或大于3根，采用柔性关节设计，其刚度由物件信息预估模块给出的信号和力反馈信号共同决定。

触觉传感器（6）在柔性手爪（5）接触到被抓物件的表面时，产生力反馈信号，实时传输到物件分类决策模块，结合物件信息预估模块，给出柔性手爪的刚度决策信号。

物件分类决策模块用于实现视觉信息和力反馈信息的融合，实现对物件的分拣决策生成。

本发明的一种技术方案为提供一种自适应分拣系统实现分拣的方法，其特征在于：

1）、在开始抓取进程后，摄像机（2）实时捕捉物件的画面信息并传输到系统中，通过与数据空中的数据进行比对，确定被抓取物件的种类。

2）、当确定被抓取物后，与数据库中的物件类别进行比对，根据物件的大小及种类大体确定物件的重量，并根据该先验重量信息确定可变吸力吸盘（4）的吸取力度，确保不会由于吸取力度太小而吸取失败，或者由于吸取力度太大而损伤到物体表面。

3）、在吸取完成后，对可变吸力吸盘（4）进行回收，同时启动手爪的抓取包络程序对物件进行固定，此时，被抓取的物件不但能够受到可变吸力吸盘（4）的吸力，还有柔性手爪（5）的固定作用，确保在手爪移动的同时，物件不会掉落。

4）、在柔性手爪（5）末端触碰到物件的表面后，根据柔性手爪（5）末端的触感传感器（6）所得到的力反馈信息，实时判断物件的软硬程度，并及时调整柔性手爪（5）的抓取力度和刚度，以防止由于柔性手爪（5）夹取力度的不均匀导致樱桃的掉落或者损害到樱桃的表面。

本发明的特点：

1，本发明结合计算机视觉及机器学习技术，通过布置在夹持器末端的摄像头捕捉被夹取物的画面信息，实时对其种类、大小、质量等信息进行预估，进而确定末端吸盘的吸取力度。

2，本发明具有力反馈机制，通过布置在夹持器手爪末端的三个触觉传感器，在使用手爪接触物件的同时，通过触觉传感器的力反馈信号，估计出被抓取物件的软硬度，并进一步更新手爪包络物件所需采用的力度及刚度。

3，本发明的抓取过程：在摄像头识别出被抓取物件的种类、大小后，根据数据库中的相关数据，预估物件的重量，确定夹持器的吸取力度；在对物件进行初步的吸取后，夹持器手爪对物件进行进一步的包络，以提高抓取稳定性，在此过程中，手爪的刚度由触觉传感器的力反馈信息所决定。

本发明的优点在于：

1，本发明结合了计算机视觉及机器学习相关技术，在进行分拣前能够对被抓物件产生一定的先验知识，如种类、大小、质量等，增强了初步抓取阶段的准确性和稳定性。

2，本发明的末端夹持器同时结合了吸盘式和柔性手爪式两种夹持方式，在使用吸盘对物件进行初步夹持后，进一步的，使用手爪对物件进行柔性包络，进而提高抓取的稳定性，便于对物件进行进一步的移动。

3，本发明中的末端夹持器手爪采用柔性关节设计，其活动范围广，能够适应物件的表面形状进而改变手爪的弯曲程度，在保证不损害物件表面的同时，对物件拥有良好的固定效果。

4，本发明中的末端夹持器手爪具有触觉传感器，能够在接触物件表面的同时获得物件的软硬度信息，用以实时更新手爪的刚性数据，实现柔性抓取，保护被抓取物件的表面完整性。

5，本发明中的末端夹持器手爪具有触觉传感器，能够获得物件的软硬度信息，用以同步改变柔性手爪的刚性，实现对物件的柔性包络。

6，本发明可通过物件的软硬度、颜色信息，在水果分拣场景中确定水果的成熟度，用作对水果进行分级。

附图说明

图1为本发明实施例的算法运行流程图

图2为本发明的结构示意图

图3为本发明模块间的联系框图

其中1为底座、2为摄像机、3为可伸缩连杆、4为可变吸力吸盘、5为柔性手爪、6为触觉传感器、7为个人或工业计算机。

具体实施方式

本发明实例提供了一种基于计算机视觉和机器学习的自适应分拣系统及方法。

为了使本发明的目的、技术方案和优点更加清楚，下面将结合附图对本发明作进一步地详细描述，显然，所描述的实施例仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例，都属于本发明保护的范围。

本实施例中实现了一种基于计算机视觉和机器学习的自适应分拣系统及方法。

附图1是本发明的算法运行流程图，在分拣开始前，部署在夹持器的摄像机实时捕捉物件的画面信息并传输到系统中，通过与数据库中的数据进行比对，确定被抓取物件的种类（本实施例中为樱桃）。

附图2是本发明结构的示意图。

当确定被抓取物为樱桃后，则与数据库中的樱桃类进行比对，根据樱桃的大小进行模糊决策，确定樱桃的重量，并根据该先验重量信息确定吸盘的吸取力度，确保不会由于吸取力度太小而吸取失败，或者由于吸取力度太大而损伤到樱桃表面。

在吸取完成后，对吸盘进行回收，同时启动手爪的抓取包络程序对樱桃进行固定。

在手爪末端触碰到樱桃的表面后，根据手爪末端的触感传感器所得到的力反馈信息，实时判断樱桃的软硬程度，并及时调整手爪的抓取力度和刚度，以防止由于手爪夹取力度的不均匀而导致樱桃的掉落或者损害到樱桃的表面。

更优的，本发明专利的末端执行器结合了吸盘式及柔性手爪两种抓取结构，使得整个抓取过程能够在保证不伤害樱桃表面的前提下获得极高的抓取稳定性。

更优的，在手爪的包络完成后，由前述步骤中得到的樱桃特征（颜色、大小、重量以及软硬程度）判断樱桃的成熟度、甜度，并据此对樱桃进行进一步的质量分类，完成分拣。

为了使本发明所解决的技术问题、技术方案及有益效果更加清楚明白，以下结合附图，对本发明作进一步详细的说明。

如图1所示，本发明提供的是一种基于计算机视觉和机器学习的自适应分拣系统及方法，算法的执行流程如图1所示。

图2为本发明的结构示意图，其中，部件1为金属底座，作为执行器的安装基础。部件2为高清摄像机，具有网络传输功能，用于拍摄被抓取物件的图像信息并将其传输至物件信息预估模块中进行处理。部件3为可伸缩金属连杆，用于连接底座与部件4，可变吸力吸盘，在开始执行吸取程序时，连杆伸长，缩短吸盘与被抓取物件的距离，提高吸取的成功率；在吸取完成后，连杆往上收缩，回收吸盘，完成抓取的第一阶段。部件5为具有柔性关节设计的柔性手爪，具有高自由度的特点，能够做出大范围的弯曲动作，用于在吸取完成后对被抓取物件进行包络固定，提高抓取的稳定性以及在移动过程中的安全性。

部件6为触觉传感器，具有网络传输功能，安装在部件5的内侧，用于在手爪接触到物件的同时获取物件的表面硬度信息，进一步调整柔性手爪的刚度，该信息还将被传输至物件分类决策模块，用于将物件进行深度化的分类。

部件7为个人或工业电脑，用于整合上述物件信息预估模块及物件分类决策模块。

Claims (7)

1.一种基于计算机视觉和机器学习的自适应分拣系统，其特征在于：包括底座（1）、摄像机（2）、可伸缩连杆（3）、可变吸力吸盘（4）、柔性手爪（5）、触觉传感器（6）、个人或工业计算机（7）组成；个人或工业计算机（7）包含有物件分类决策模块及物件信息预估模块。

2.根据权利要求1所述的自适应分拣系统，其特征在于：摄像机（2）安装于所述底座（1）之上；可变吸力吸盘（4）被布置于底座（1）的下部中央位置，通过可伸缩连杆（3）进行连接；柔性手爪（5）布置于底座（1）的下方边缘处；触觉传感器（6）安置于柔性手爪（5）的各个末端指尖内表面；物件分类决策模块通过有线或无线与摄像机（2）、触觉传感器（6）连接；物件信息预估模块通过有线或无线与可变吸力吸盘（4）和柔性手爪（5）连接。

3.根据权利要求1或2任一项所述的自适应分拣系统，其特征在于：摄像机（2）用于拍摄被抓取物体的图像信息，将图像信息实时传输到物件信息预估模块，物件信息预估模块进行数据比对，用以获得被抓取物体的信息如种类、质量等。

4.根据权利要求1或2任一项所述的自适应分拣系统，其特征在于：可变吸力吸盘（4）的吸盘数量为一个或多个，可适应多种物件形状的贴合吸取，吸力大小由物件信息预估模块给出的信号决定。

5.根据权利要求1或2任一项所述的自适应分拣系统，其特征在于：柔性手爪（5）基本结构为柔性多指手爪，柔性手指数量等于或大于3根，采用柔性关节设计，其刚度由物件信息预估模块给出的信号和力反馈信号共同决定。

6.根据权利要求1或2任一项所述的自适应分拣系统，其特征在于：触觉传感器（6）在柔性手爪（5）接触到被抓物件的表面时，产生力反馈信号，实时传输到物件分类决策模块，结合物件信息预估模块，给出柔性手爪的刚度决策信号。

7.根据权利要求1或2任一项所述的自适应分拣系统，其特征在于：所述的物件分类决策模块用于实现视觉信息和力反馈信息的融合，实现对物件的分拣决策生成。