CN116330319A - 一种搬运机械手状态监测系统及监测方法 - Google Patents

Abstract

本发明公开了一种搬运机械手状态监测系统及监测方法，涉及机械手控制技术领域，包括：获取目标区域中对应目标子区域内每个目标半制品芯片的质量评测数据；根据每个目标半制品芯片的质量评测数据提取每个对应吸嘴组件的当前气缸气压数据，并基于每个对应吸嘴组件的当前气缸气压数据生成对应吸取组件的调节气缸气压数据；根据每个对应吸取组件的调节气缸气压数据，控制每个对应吸取组件对每个目标半制品芯片的吸取/不吸取，本发明能够实现对吸盘式多指机械手的精确控制，有利于避免吸取有缺陷的半制品芯片进入下一加工环节，或避免未吸取无缺陷的半制品芯片进入下一加工环节。

Description

一种搬运机械手状态监测系统及监测方法

技术领域

本发明涉及机械手控制技术领域，尤其涉及一种搬运机械手状态监测系统及监测方法。

背景技术

在半导体生产中，机械手作为传送单元执行着对半制品芯片的吸取和转移，进而实现了对半制品芯片的加工搬运，以促使其完成下一环节的半制品芯片生产加工；然而现如今随着科技设备需求的不断提高，使得对芯片的需求越大，这迫使芯片制造企业不得不提高生产效率，而机械手作为芯片制造过程中的主要媒介，其处理效率很大程度影响着芯片生产效率；目前为提高机械手处理速度，很多企业都已研发出可同时吸取和搬运多个半制品芯片的机械手（需要说明的是，为方便本发明叙述，本发明后续将可同时吸取和搬运多个芯片或半制品芯片的机械手统一命名为吸盘式多指机械手，但其不仅限于当前形式的吸盘式多指机械手，任何可同时吸取和搬运多个芯片或半制品芯片的吸取式机械手都可作为本发明所命名的吸盘式多指机械手），例如申请公开号为CN103794537A的中国专利公开了一种半导体自动排片设备的抓料机械手；然而此类多指机械手的研发虽然使芯片制造效率有着显著提高，但其在结构复杂化的同时，也带来不少使用缺陷和问题，影响着芯片制造的实际生产效果，例如：

1.无法识别不同吸取目标的特征状态，无法对吸盘式多指机械手中不同吸嘴组件的吸力进行精细化调节，进而无法实现对吸盘式多指机械手的精确控制，易导致吸取有缺陷的半制品芯片进入下一加工环节，或导致未吸取无缺陷的半制品芯片进入下一加工环节；

2.缺乏对吸盘式多指机械手的外界影响因素监测和分析，易造成吸盘式多指机械手的吸力不足或吸力分布不均，从而导致半制品芯片在搬运过程中的脱落。

目前，现有的机械手状态监测系统及监测方法主要针对单一搬运功能机械手设计实现，以提高单一搬运功能机械手的吸取和搬运精度，例如申请公开号CN115847464A的中国专利公开了一种机械手及机械手夹取状态检测方法，此类发明虽然能够对单一搬运功能机械手的夹取状态进行精确检测，但其无法解决多吸取场景下的多吸嘴组件的状态监测，进而无法促使其实现对多吸取目标不同吸取选择的控制。

鉴于此，本发明提出一种搬运机械手状态监测系统及监测方法以解决上述问题。

发明内容

本发明的目的是为了解决现有技术中存在的缺陷，而提出一种搬运机械手状态监测系统及监测方法。

为了实现上述目的，本发明采用了如下技术方案：

一种搬运机械手状态监测方法，应用于吸盘式多指机械手，所述吸盘式多指机械手设置有多个吸嘴组件，每个吸嘴组件相应吸取转移目标区域的若干个目标半制品芯片，所述方法包括：

获取所述目标区域中对应目标子区域内每个目标半制品芯片的质量评测数据；

根据每个所述目标半制品芯片的质量评测数据提取每个对应吸嘴组件的当前气缸气压数据，基于对应所述吸嘴组件的当前气缸气压数据生成对应吸取组件的调节气缸气压数据；

生成对应吸取组件的调节气缸气压数据，包括：

计算对应所述吸嘴组件的当前气缸气压数据与预设目标吸嘴组件的标准气缸气压数据的第一差值；

计算对应所述吸嘴组件的当前气缸气压数据与相邻吸嘴组件的当前气缸气压数据的第二差值；

根据所述第一差值和所述第二差值，生成对应吸取组件的调节气缸气压数据；

根据每个所述对应吸取组件的调节气缸气压数据，控制每个对应吸取组件对每个目标半制品芯片的吸取/不吸取。

进一步地，每个目标半制品芯片的质量评测数据的获取过程具体如下：

当吸盘式多指机械手移动至预设区域时，采集目标区域的区域芯片图像，以及采集每个目标子区域内目标半制品芯片的若干反射信号；

根据目标子区域对区域芯片图像进行图像预处理，以获取若干个子区域芯片图像；

根据若干个子区域芯片图像以及每个目标子区域内目标半制品芯片的若干反射信号进行质量特征分析，以获取融合质量特征，将融合质量特征输入预构建评测模型，以获取每个所述目标半制品芯片的质量评测数据。

进一步地，根据目标子区域对区域芯片图像进行图像预处理，包括：

根据目标子区域对区域芯片图像进行分割，以获取若干个图像目标子区域；

对每个图像目标子区域中的特征区域进行特征识别，根据特征识别结果对每个图像目标子区域中的特征区域进行区域叠加，得到若干个子区域芯片图像。

进一步地，对每个图像目标子区域中的特征区域进行特征识别，包括：

遍历所述图像目标子区域中每个像素的像素值，计算图像目标子区域中每个像素的像素值与预设第一像素阈值的差值，并将图像目标子区域中每个像素的像素值与预设第一像素阈值的差值标记为第一像素差值；

判断所述第一像素差值是否大于预设特征像素阈值，若第一像素差值大于预设特征像素阈值，则判断存在特征区域，并将对应像素标记为中心像素；

以中心像素为起始点，并计算中心像素的像素值与相邻像素的像素值的差值，并将中心像素的像素值与相邻像素的像素值的差值标记为第二像素差值；

将第二像素差值大于预设第二像素阈值的对应像素作为待选像素；

计算每个待选像素之间的连通值，将小于预设连通阈值的若干个待选像素所形成的区域作为特征区域。

进一步地，所述若干反射信号包括反射信号的传播速度和传播时间；根据若干个子区域芯片图像以及每个目标子区域内目标半制品芯片的若干反射信号进行质量特征分析，包括：

基于预构建卷积神经网络对子区域芯片图像进行特征提取，以获取图像质量特征；

根据若干反射信号筛选至少一个常规反射距离和至少一个非常规反射距离；

将图像质量特征、筛选得到的常规反射距离和筛选得到的非常规反射距离通过归一化法进行整合，以获取融合质量特征。

进一步地，所述预设目标吸嘴组件的标准气缸气压数据的生成过程如下：

获取预设目标吸嘴组件的当前气缸气压数据；

计算所述预设目标吸嘴组件的标准气缸气压数据与预设目标吸嘴组件的设计气缸气压数据的差值，将预设目标吸嘴组件的标准气缸气压数据与预设目标吸嘴组件的设计气缸气压数据的差值标记为目标吸嘴差值；

根据目标吸嘴差值对预设目标吸嘴组件的当前气缸气压数据进行调节，以获取预设目标吸嘴组件的标准气缸气压数据。

进一步地，生成对应吸取组件的调节气缸气压数据，还包括：

判断第一差值是否等于预设第一标准差值阈值，且判断所述第二差值是否等于预设第二标准差值阈值；

若第一差值等于预设第一标准差值阈值，且第二差值等于预设第二标准差值阈值，则根据第一差值或第二差值对对应所述吸嘴组件的当前气缸气压数据进行调节，以得到对应吸取组件的调节气缸气压数据。

进一步地，所述方法还包括：

获取吸盘式多指机械手影响环境因素的环境数值；

将影响环境因素的环境数值输入预设气缸气压回归模型进行预测，以获取每个所述吸嘴组件的气缸气压影响数值；

根据所述吸嘴组件的气缸气压影响数值对对应吸取组件的调节气缸气压数据进行再次调节，以生成对应吸取组件的调节气缸气压数据。

一种搬运机械手状态监测系统，其基于上述任意一项所述的一种搬运机械手状态监测方法实现，所述系统包括：

评测数据获取模块，用于获取目标区域中对应目标子区域内每个目标半制品芯片的质量评测数据；

第一数据调节模块，用于根据每个所述目标半制品芯片的质量评测数据提取每个对应吸嘴组件的当前气缸气压数据，基于对应所述吸嘴组件的当前气缸气压数据生成对应吸取组件的调节气缸气压数据；

控制模块，用于根据每个所述对应吸取组件的调节气缸气压数据，控制每个对应吸取组件对每个目标半制品芯片的吸取/不吸取。

进一步地，所述系统还包括：

环境数据获取模块，用于采集吸盘式多指机械手影响环境因素的环境数值；

数据预测模块，用于将影响环境因素的环境数值输入预设气缸气压回归模型进行预测，以获取每个所述吸嘴组件的气缸气压影响数值；

第二数据调节模块，根据所述吸嘴组件的气缸气压影响数值对对应吸取组件的调节气缸气压数据进行再次调节，以生成对应吸取组件的调节气缸气压数据。

相比于现有技术，本发明的有益效果在于：

（1）本申请公开了一种搬运机械手状态监测系统及监测方法，其通过获取所述目标区域中对应目标子区域内每个目标半制品芯片的质量评测数据，根据每个所述目标半制品芯片的质量评测数据提取每个目标半制品芯片对应吸嘴组件的当前气缸气压数据，并基于对应所述吸嘴组件的当前气缸气压数据生成对应吸取组件的调节气缸气压数据，根据所述对应吸取组件的调节气缸气压数据，控制对应吸取组件对每个目标半制品芯片的吸取/不吸取，本发明有利于解决多吸取场景下的多吸嘴组件的状态监测，进而实现对多吸取目标不同吸取选择的控制，本发明能够实现对吸盘式多指机械手的精确控制，有利于避免吸取有缺陷的半制品芯片进入下一加工环节，或避免未吸取无缺陷的半制品芯片进入下一加工环节；

（2）本申请公开了一种搬运机械手状态监测系统及监测方法，通过获取吸盘式多指机械手影响环境因素的环境数值，将影响环境因素的环境数值输入预设气缸气压回归模型进行预测，以获取每个所述吸嘴组件的气缸气压影响数值，根据所述吸嘴组件的气缸气压影响数值对对应吸取组件的调节气缸气压数据进行再次调节，以生成对应吸取组件的调节气缸气压数据，本发明有利于通过引入外界环境因素进一步实现对吸盘式多指机械手中不同吸嘴组件的精细化控制，进而有利于防止在外界环境因素影响下，吸嘴组件吸力不足而导致的半制品芯片搬运失败或损坏。

附图说明

附图用来提供对本发明的进一步理解，并且构成说明书的一部分，与本发明的实施例一起用于解释本发明，并不构成对本发明的限制。

图1为本发明实施例1提出的一种搬运机械手状态监测方法的整体流程图；

图2为本发明实施例2提出的一种搬运机械手状态监测方法的整体流程图；

图3为本发明实施例3提出的一种搬运机械手状态监测系统的整体结构示意图；

图4为本发明实施例4提出的一种搬运机械手状态监测系统的整体结构示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。

在本发明的描述中，需要理解的是，术语“上”、“下”、“前”、“后”、“左”、“右”、“顶”、“底”、“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。

实施例1

请参阅图1所示，本实施例公开提供了一种搬运机械手状态监测方法，应用于吸盘式多指机械手，所述吸盘式多指机械手设置有多个吸嘴组件，每个吸嘴组件相应吸取转移目标区域的若干个目标半制品芯片，所述方法包括：

S1：获取所述目标区域中对应目标子区域内每个目标半制品芯片的质量评测数据；

需要说明的是：所述目标区域是指芯片载板区域，或者说芯片基座区域，即放置芯片基板范围，所述芯片载板区域上等距离放置有若干个目标半制品芯片；所述对应目标子区域是指位于芯片载板区域上的每个目标半制品芯片区域，在抓取芯片时，每个目标半制品芯片区域与每个对应的吸嘴组件一一对应；

具体地，每个目标半制品芯片的质量评测数据的获取过程具体如下：

S110：当吸盘式多指机械手移动至预设区域时，采集目标区域的区域芯片图像，以及采集每个目标子区域内目标半制品芯片的若干反射信号；

需要说明的是：预设区域为目标区域，当吸盘式多指机械手移动至预设区域时，每个吸嘴组件与对应目标子区域内的目标半制品芯片位置一致，即每个吸嘴组件位于每个对应目标子区域内的目标半制品芯片的正上方；还需要解释的是：吸盘式多指机械手移动至预设区域的控制算法不是本发明的解决主体，且也存在一系列现有控制方式以实现该功能，因此本发明对此不做过多赘述。

还需要说明的是：所述区域芯片图像通过高精度CDD相机获取，所述区域芯片图像中包含若干个等距离的目标半制品芯片；所述每个目标子区域内目标半制品芯片的若干反射信号通过设置于每个吸嘴组件上的探测传感器采集得到；

S120：根据目标子区域对区域芯片图像进行图像预处理，以获取若干个子区域芯片图像；

具体地，根据目标子区域对区域芯片图像进行图像预处理，包括：

S121：根据目标子区域对区域芯片图像进行分割，以获取若干个图像目标子区域；

需要说明的是：对区域芯片图像进行分割是根据目标子区域确定；进一步说明就是，每个图像目标子区域大小根据目标子区域实际范围分割得到；

S122：对每个图像目标子区域中的特征区域进行特征识别，根据特征识别结果对每个图像目标子区域中的特征区域进行区域叠加，得到若干个子区域芯片图像；

具体地，对每个图像目标子区域中的特征区域进行特征识别，包括：

遍历所述图像目标子区域中每个像素的像素值，计算图像目标子区域中每个像素的像素值与预设第一像素阈值的差值，并将图像目标子区域中每个像素的像素值与预设第一像素阈值的差值标记为第一像素差值；

判断所述第一像素差值是否大于预设特征像素阈值，若第一像素差值大于预设特征像素阈值，则判断存在特征区域，将对应像素标记为中心像素；

以中心像素为起始点，并计算中心像素的像素值与相邻像素的像素值的差值，并将中心像素的像素值与相邻像素的像素值的差值标记为第二像素差值；

将第二像素差值大于预设第二像素阈值的对应像素作为待选像素；

将第二像素差值小于等于预设第二像素阈值的对应像素不作为待选像素；

计算每个待选像素之间的连通值，将小于预设连通阈值的若干个待选像素所形成的区域作为特征区域；

需要说明的是：若干个待选像素之间的连通值是指两两待选像素之间连接情况，若两两待选像素相连接，即满足预设连通阈值，则将每个相连的待选像素所形成的区域作为特征区域；

具体地，对每个图像目标子区域中的特征区域进行区域叠加，包括：

对图像目标子区域进行多层复制，以获取至少一个备份图像目标子区域，并确定备份图像目标子区域中的特征区域；

将所述备份图像目标子区域中的非特征区域设置100%透明度，并将备份图像目标子区域与所述图像目标子区域叠加，以得到若干个子区域芯片图像；通过获取每个图像目标子区域中的特征区域，并利用区域叠加对其进行图像增强，本发明有利于提高后续图像识别的精度，从而有利于提高每个目标半制品芯片的质量评测数据的准确性；

S130：根据若干个子区域芯片图像以及每个目标子区域内目标半制品芯片的若干反射信号进行质量特征分析，以获取融合质量特征，将融合质量特征输入预构建评测模型，以获取每个所述目标半制品芯片的质量评测数据；

具体地，所述若干反射信号包括反射信号的传播速度和传播时间；

具体地，根据若干个子区域芯片图像以及每个目标子区域内目标半制品芯片的若干反射信号进行质量特征分析，包括：

基于预构建卷积神经网络对子区域芯片图像进行特征提取，以获取图像质量特征；

需要说明的是：预构建卷积神经网络的构建过程如下：获取若干个子区域芯片图像，所述若干个子区域芯片图像包含无特征的子区域芯片图像和有特征的子区域芯片图像，每个有特征的子区域芯片图像经过人为标注得到；之后将若干个子区域芯片图像作为训练集输入卷积神经网络模型进行训练，得到训练后的卷积神经网络，并利用其进行图像质量特征提取；

根据若干反射信号筛选至少一个常规反射距离和至少一个非常规反射距离；

需要说明的是：设置于每个吸嘴组件上的探测传感器，通过向每个目标子区域内的目标半制品芯片发射若干个信号，并根据接收到的若干个反射信号进行分析计算得到对应目标半制品芯片的反射距离数据，所述反射距离数据计算公式如下：

，其中，

是反射距离数据，/>

是反射信号的传播速度，/>

是从发射信号到接收到反射信号的信号传播时间；通过计算每个反射信号的反射距离，得到若干反射距离数据，将满足预设众数条件的若干反射距离数据作为常规反射距离，将不满足预设众数条件的若干反射距离数据作为非常规反射距离，同时对满足每一类预设众数条件的非常规反射距离仅保留一个非常规反射距离；

将图像质量特征、筛选得到的常规反射距离和筛选得到的非常规反射距离通过归一化法进行整合，以获取融合质量特征；

具体地，所述评测模型的构建过程具体如下：

获取预准备的若干个子区域芯片图像的融合质量特征；

将每个子区域芯片图像的融合质量特征作为样本集，并划分其70%为质量特征训练集和30%为质量特征测试集；

构建循环神经网络，将质量特征训练集作为所述循环神经网络的输入数据输入其中进行训练，以获取初始训练循环神经网络；

将质量特征测试集输入初始训练循环神经网络进行测试，以输出满足预设评测准确性的初始训练循环神经网络作为评测模型。

S2：根据每个所述目标半制品芯片的质量评测数据提取每个目标半制品芯片对应吸嘴组件的当前气缸气压数据，基于对应所述吸嘴组件的当前气缸气压数据生成对应吸取组件的调节气缸气压数据；

具体地，生成对应吸取组件的调节气缸气压数据，包括：

计算对应所述吸嘴组件的当前气缸气压数据与预设目标吸嘴组件的标准气缸气压数据的第一差值；

具体地，所述预设目标吸嘴组件的标准气缸气压数据的生成过程如下：

获取预设目标吸嘴组件的当前气缸气压数据；

计算所述预设目标吸嘴组件的标准气缸气压数据与预设目标吸嘴组件的设计气缸气压数据的差值，将预设目标吸嘴组件的标准气缸气压数据与预设目标吸嘴组件的设计气缸气压数据的差值标记为目标吸嘴差值；

根据目标吸嘴差值对预设目标吸嘴组件的当前气缸气压数据进行调节，以获取预设目标吸嘴组件的标准气缸气压数据；

计算对应所述吸嘴组件的当前气缸气压数据与相邻吸嘴组件的当前气缸气压数据的第二差值；所述相邻吸嘴组件为当前计算第二差值的对应所述吸嘴组件；

根据所述第一差值和所述第二差值，生成对应吸取组件的调节气缸气压数据；

具体地，生成对应吸取组件的调节气缸气压数据，还包括：

判断第一差值是否等于预设第一标准差值阈值，判断所述第二差值是否等于预设第二标准差值阈值；

若第一差值等于预设第一标准差值阈值，且第二差值等于预设第二标准差值阈值，则根据第一差值或第二差值对对应所述吸嘴组件的当前气缸气压数据进行调节，以得到对应吸取组件的调节气缸气压数据；通过第一差值和第二差值，并进行第一差值和第二差值与标准差值阈值之间范围判断，本发明可以实现对吸盘式多指机械手中不同吸嘴组件的精确控制；

需要说明的是：每个对应吸取组件的调节气缸气压数据是指依据目标半制品芯片的质量评测数据为基准，即每个对应吸取组件应设置的调节气缸气压数据根据质量评测数据确定，举例来说就是：假设存在一个目标子区域内的目标半制品芯片的质量评测数据不满足预设质量标准，即表示其存在缺陷，又或存在一个目标子区域内的目标半制品芯片的质量评测数据满足预设质量标准，即表示其不存在缺陷，则对于存在缺陷的目标半制品芯片，需要调节对应吸取组件的气缸气压数据为零，则首先获取对应吸嘴组件的当前气缸气压数据，再计算对应所述吸嘴组件的当前气缸气压数据与预设目标吸嘴组件的标准气缸气压数据的第一差值，并计算对应所述吸嘴组件的当前气缸气压数据与相邻吸嘴组件的当前气缸气压数据的第二差值；之后判断第一差值是否等于预设第一标准差值阈值，若第一差值等于预设第一标准差值阈值，且第二差值等于预设第二标准差值阈值，则根据第一差值或第二差值对对应所述吸嘴组件的当前气缸气压数据进行调节，即可使得对应所述吸嘴组件的调节气缸气压数据为零，进而可以使得对应所述吸嘴组件对缺陷目标半制品芯片的不抓取；相反的，对于不存在缺陷的目标半制品芯片，我们通过上述同原理的操作可以精确调节不同对应所述吸嘴组件的调节气缸气压数据，以实现其对不存在缺陷目标半制品芯片的吸取和搬运；

在一个实施例中，若第一差值不等于预设第一标准差值阈值，则判断目标吸嘴差值有问题，通知相关人员进行检修；

在另一个实施例中，若第二差值不等于预设第二标准差值阈值，则计算对应所述吸嘴组件的当前气缸气压数据与另一相邻吸嘴组件的当前气缸气压数据的第三差值；

判断第三差值是否等于预设第二标准差值阈值，若第三差值等于预设第二标准差值阈值，则根据第一差值或第三差值对对应所述吸嘴组件的当前气缸气压数据进行调节，以得到对应吸取组件的调节气缸气压数据；

需要说明的是：若存在多个对应所述吸嘴组件的当前气缸气压数据与另一相邻吸嘴组件的当前气缸气压数据的差值不等于预设标准差值阈值，则判定所述吸盘式多指机械手存在严重问题，提醒相关人员进行检修；

S3：根据每个所述对应吸取组件的调节气缸气压数据，控制每个对应吸取组件对每个目标半制品芯片的吸取/不吸取，通过控制每个对应吸取组件对每个目标半制品芯片的吸取/不吸取，本发明能够实现对吸盘式多指机械手的精确控制，有利于避免吸取有缺陷的半制品芯片进入下一加工环节，或避免未吸取无缺陷的半制品芯片进入下一加工环节。

实施例2

请参阅图2所示，本实施例公开提供了一种搬运机械手状态监测方法，本实施例是在实施例1的基础上作出的进一步延伸，考虑到吸取式多指机械的吸嘴组件会受外界环境的影响（如湿度和温度等）而导致吸力不足，因此本实施例围绕其进行进一步设计，所述方法还包括：

获取吸盘式多指机械手影响环境因素的环境数值；

需要说明的是：所述吸盘式多指机械手影响环境因素的环境数值根据若干传感器采集得到，其包括但不限于温度传感器和湿度传感器等，所述吸盘式多指机械手影响环境因素通过皮尔逊算法进行相关性分析得到，且根据预设皮尔逊阈值确定，由于不同工作环节的吸盘式多指机械手影响环境因素不同，因此本发明对此不做过多限定；

将影响环境因素的环境数值输入预设气缸气压回归模型进行预测，以获取每个所述吸嘴组件的气缸气压影响数值；

需要说明的是：所述气缸气压回归模型构建过程如下：获取每个影响环境因素的环境数值，计算每个影响环境因素的环境数值下每个所述吸嘴组件的气缸气压数值，构建回归模型，将每个影响环境因素的环境数值与每个通过环境数值计算得到的所述吸嘴组件的气缸气压数值作为训练集输入所述回归模型进行训练，以获取满足预设准确度的气缸气压回归模型；

根据所述吸嘴组件的气缸气压影响数值对对应吸取组件的调节气缸气压数据进行再次调节，以生成对应吸取组件的调节气缸气压数据；

通过引入外界环境因素对吸盘式多指机械手中不同吸嘴组件状态的影响，并根据其对每个对应吸取组件的气缸气压数据进行调节，本发明有利于实现对吸盘式多指机械手中不同吸嘴组件对半制品芯片的精细化控制，有利于防止在外界环境因素影响下，吸嘴组件吸力不足而导致的半制品芯片搬运失败或损坏。

实施例3

请参阅图3所示，本实施例公开提供了一种搬运机械手状态监测系统，包括：

评测数据获取模块210，用于获取目标区域中对应目标子区域内每个目标半制品芯片的质量评测数据；

需要说明的是：所述目标区域是指芯片载板区域，或者说芯片基座区域，即放置芯片基板范围，所述芯片载板区域上有若干个等距离放置的目标半制品芯片；所述对应目标子区域是指位于芯片载板区域上的每个目标半制品芯片区域，在抓取芯片时，每个目标半制品芯片区域与每个对应的吸嘴组件一一对应；

具体地，每个目标半制品芯片的质量评测数据的获取过程具体如下：

当吸盘式多指机械手移动至预设区域时，采集目标区域的区域芯片图像，以及采集每个目标子区域内目标半制品芯片的若干反射信号；

需要说明的是：预设区域为目标区域，当吸盘式多指机械手移动至预设区域时，每个吸嘴组件与每个对应目标子区域内的目标半制品芯片位置一致，即每个吸嘴组件位于每个对应目标子区域内的目标半制品芯片的正上方；还需要解释的是：吸盘式多指机械手移动至预设区域的控制算法不是本发明的解决主体，且也存在一系列现有控制方式以实现该功能，因此本发明对此不做过多赘述；

还需要说明的是：所述区域芯片图像通过高精度CDD相机获取，所述区域芯片图像中包含若干个等距离的目标半制品芯片；所述每个目标子区域内目标半制品芯片的若干反射信号通过设置于每个吸嘴组件上的探测传感器采集得到；

根据目标子区域对区域芯片图像进行图像预处理，以获取若干个子区域芯片图像；

具体地，根据目标子区域对区域芯片图像进行图像预处理，包括：

根据目标子区域对区域芯片图像进行分割，以获取若干个图像目标子区域；

需要说明的是：对区域芯片图像进行分割是根据目标子区域确定；进一步说明就是，每个图像目标子区域大小根据目标子区域实际范围分割得到；

对每个图像目标子区域中的特征区域进行特征识别，根据特征识别结果对每个图像目标子区域中的特征区域进行区域叠加，得到若干个子区域芯片图像；

具体地，对每个图像目标子区域中的特征区域进行特征识别，包括：

遍历所述图像目标子区域中每个像素的像素值，计算图像目标子区域中每个像素的像素值与预设第一像素阈值的差值，并将图像目标子区域中每个像素的像素值与预设第一像素阈值的差值标记为第一像素差值；

判断所述第一像素差值是否大于预设特征像素阈值，若第一像素差值大于预设特征像素阈值，则判断存在特征区域，并将对应像素标记为中心像素；

以中心像素为起始点，并计算中心像素的像素值与相邻像素的像素值的差值，并将中心像素的像素值与相邻像素的像素值的差值标记为第二像素差值；

将第二像素差值大于预设第二像素阈值的对应像素作为待选像素；

计算每个待选像素之间的连通值，将小于预设连通阈值的若干个待选像素所形成的区域作为特征区域；

具体地，对每个图像目标子区域中的特征区域进行区域叠加，包括：

对图像目标子区域进行多层复制，以获取至少一个备份图像目标子区域，并确定备份图像目标子区域中的特征区域；

将所述备份图像目标子区域中的非特征区域设置100%透明度，并将备份图像目标子区域与所述图像目标子区域叠加，以得到若干个子区域芯片图像；通过获取每个图像目标子区域中的特征区域，并利用区域叠加对其进行图像增强，本发明有利于提高后续图像识别的精度，从而有利于提高每个目标半制品芯片的质量评测数据的准确性；

根据若干个子区域芯片图像以及每个目标子区域内目标半制品芯片的若干反射信号进行质量特征分析，以获取融合质量特征，将融合质量特征输入预构建评测模型，以获取每个所述目标半制品芯片的质量评测数据；

具体地，所述若干反射信号包括反射信号的传播速度和传播时间；

具体地，根据若干个子区域芯片图像以及每个目标子区域内目标半制品芯片的若干反射信号进行质量特征分析，包括：

基于预构建卷积神经网络对子区域芯片图像进行特征提取，以获取图像质量特征；

需要说明的是：所述建卷积神经网络的构建过程如下：获取若干个子区域芯片图像，所述若干个子区域芯片图像包括包含无特征的子区域芯片图像和有特征的子区域芯片图像，每个有特征的子区域芯片图像经过人为标注得到；之后将若干个子区域芯片图像作为训练集输入卷积神经网络模型进行训练，得到训练后的卷积神经网络，并利用其进行图像质量特征提取；

根据若干反射信号筛选至少一个常规反射距离和至少一个非常规反射距离；

需要说明的是：设置于每个吸嘴组件上的探测传感器，通过向每个目标子区域内的目标半制品芯片发射若干个信号，并根据接收到的若干个反射信号进行分析计算得到对应目标半制品芯片的反射距离数据，所述反射距离数据计算公式如下：

，其中，

是反射距离数据，/>

是反射信号的传播速度，/>

是从发射信号到接收到反射信号的信号传播时间；通过计算每个反射信号的反射距离，得到若干反射距离数据，将满足预设众数条件的若干反射距离数据作为常规反射距离，将不满足预设众数条件的若干反射距离数据作为非常规反射距离，同时对满足每一类预设众数条件的非常规反射距离仅保留一个非常规反射距离；

将图像质量特征、筛选得到的常规反射距离和筛选得到的非常规反射距离通过归一化法进行整合，以获取融合质量特征；

具体地，所述评测模型的构建过程具体如下：

获取预准备的若干个子区域芯片图像的融合质量特征；

将每个子区域芯片图像的融合质量特征作为样本集，并划分其70%为质量特征训练集和30%为质量特征测试集；

构建循环神经网络，将质量特征训练集作为所述循环神经网络的输入数据输入其中进行训练，以获取初始训练循环神经网络；

将质量特征测试集输入初始训练循环神经网络进行测试，以输出满足预设评测准确性的初始训练循环神经网络作为评测模型；

第一数据调节模块220，用于根据每个所述目标半制品芯片的质量评测数据提取每个对应吸嘴组件的当前气缸气压数据，基于对应所述吸嘴组件的当前气缸气压数据生成对应吸取组件的调节气缸气压数据；

具体地，生成对应吸取组件的调节气缸气压数据，还包括：

计算对应所述吸嘴组件的当前气缸气压数据与预设目标吸嘴组件的标准气缸气压数据的第一差值；

具体地，所述预设目标吸嘴组件的标准气缸气压数据的生成过程如下：

获取预设目标吸嘴组件的当前气缸气压数据；

计算所述预设目标吸嘴组件的标准气缸气压数据与预设目标吸嘴组件的设计气缸气压数据的差值，将预设目标吸嘴组件的标准气缸气压数据与预设目标吸嘴组件的设计气缸气压数据的差值标记为目标吸嘴差值；

根据目标吸嘴差值对预设目标吸嘴组件的当前气缸气压数据进行调节，以获取预设目标吸嘴组件的标准气缸气压数据；

计算对应所述吸嘴组件的当前气缸气压数据与相邻吸嘴组件的当前气缸气压数据的第二差值；

根据所述第一差值和所述第二差值，生成对应吸取组件的调节气缸气压数据；

具体地，生成对应吸取组件的调节气缸气压数据，还包括：

判断第一差值是否等于预设第一标准差值阈值，且判断所述第二差值是否等于预设第二标准差值阈值；

若第一差值等于预设第一标准差值阈值，且第二差值等于预设第二标准差值阈值，则根据第一差值或第二差值对对应所述吸嘴组件的当前气缸气压数据进行调节，以得到对应吸取组件的调节气缸气压数据；通过第一差值和第二差值，并进行第一差值和第二差值与标准差值阈值之间范围判断，本发明可以实现对吸盘式多指机械手中不同吸嘴组件的精确控制；

需要说明的是：每个对应吸取组件的调节气缸气压数据是指依据目标半制品芯片的质量评测数据为基准，即每个对应吸取组件应设置的调节气缸气压数据根据质量评测数据确定，举例来说就是：假设存在一个目标子区域内的目标半制品芯片的质量评测数据不满足预设质量标准，即表示其存在缺陷，又或存在一个目标子区域内的目标半制品芯片的质量评测数据满足预设质量标准，即表示其不存在缺陷，则对于存在缺陷目标半制品芯片，我们需要调节对应吸取组件的气缸气压数据为零，则首先获取对应吸嘴组件的当前气缸气压数据，再计算对应所述吸嘴组件的当前气缸气压数据与预设目标吸嘴组件的标准气缸气压数据的第一差值，并计算对应所述吸嘴组件的当前气缸气压数据与相邻吸嘴组件的当前气缸气压数据的第二差值；之后判断第一差值是否等于预设第一标准差值阈值，若第一差值等于预设第一标准差值阈值，且第二差值等于预设第二标准差值阈值，则根据第一差值或第二差值对对应所述吸嘴组件的当前气缸气压数据进行调节，即可使得对应所述吸嘴组件的调节气缸气压数据为零，进而可以使得对应所述吸嘴组件对缺陷目标半制品芯片的不抓取；相反的，对于不存在缺陷目标半制品芯片，我们通过上述同原理的操作可以精确调节不同对应所述吸嘴组件的调节气缸气压数据，以实现其对不存在缺陷目标半制品芯片的吸取和搬运；

在一个实施例中，若第一差值不等于预设第一标准差值阈值，则判断目标吸嘴差值有问题，通知相关人员进行检修；

在另一个实施例中，若第二差值不等于预设第二标准差值阈值，则计算对应所述吸嘴组件的当前气缸气压数据与另一相邻吸嘴组件的当前气缸气压数据的第三差值；

判断第三差值是否等于预设第二标准差值阈值，若第三差值等于预设第二标准差值阈值，则根据第一差值或第三差值对对应所述吸嘴组件的当前气缸气压数据进行调节，以得到对应吸取组件的调节气缸气压数据；

控制模块230，用于根据每个所述对应吸取组件的调节气缸气压数据，控制每个对应吸取组件对每个目标半制品芯片的吸取/不吸取，通过控制每个对应吸取组件对每个目标半制品芯片的吸取/不吸取，本发明能够实现对吸盘式多指机械手的精确控制，有利于避免吸取有缺陷的半制品芯片进入下一加工环节，或避免未吸取无缺陷的半制品芯片进入下一加工环节。

实施例4

请参阅图4所示，本实施例公开提供了一种搬运机械手状态监测系统，本实施例是在实施例3的基础上作出的进一步延伸，考虑到吸取式多指机械的吸嘴组件会受外界环节的影响（如湿度和温度等）而导致吸力不足，因此本实施例围绕进行进一步设计，所述系统还包括：

环境数据获取模块240，用于采集吸盘式多指机械手影响环境因素的环境数值；

需要说明的是：所述吸盘式多指机械手影响环境因素的环境数值根据若干传感器采集得到，其包括但不限于温度传感器和湿度传感器等，所述吸盘式多指机械手影响环境因素通过皮尔逊算法进行相关性分析得到，其根据预设皮尔逊阈值确定，由于不同工作环节的吸盘式多指机械手影响环境因素不同，因此本发明对此不做过多限定；

数据预测模块250，用于将影响环境因素的环境数值输入预设气缸气压回归模型进行预测，以获取每个所述吸嘴组件的气缸气压影响数值；

需要说明的是：所述气缸气压回归模型构建过程如下：获取每个影响环境因素的环境数值，计算每个影响环境因素的环境数值下每个所述吸嘴组件的气缸气压数值，构建回归模型，将每个影响环境因素的环境数值与每个通过环境数值计算得到的所述吸嘴组件的气缸气压数值作为训练集输入所述回归模型进行训练，以获取满足预设准确度的气缸气压回归模型；

第二数据调节模块260，根据所述吸嘴组件的气缸气压影响数值对对应吸取组件的调节气缸气压数据进行再次调节，以生成对应吸取组件的调节气缸气压数据；

在本实施例中，所述控制模块230还用于根据每个所述对应吸取组件的调节气缸气压数据以及再次调节后的对应吸取组件的调节气缸气压数据，控制每个对应吸取组件对每个目标半制品芯片的吸取/不吸取；

通过引入外界环境因素对吸盘式多指机械手中不同吸嘴组件状态的影响，并根据其对每个对应吸取组件的气缸气压数据进行调节，本发明有利于实现对吸盘式多指机械手中不同吸嘴组件对半制品芯片的精细化控制，有利于防止在外界环境因素影响下，吸嘴组件吸力不足而导致的半制品芯片搬运失败或损坏。

以上所述，仅为本发明较佳的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，根据本发明的技术方案及其发明构思加以等同替换或改变，都应涵盖在本发明的保护范围之内。

Claims (10)

1.一种搬运机械手状态监测方法，其特征在于，应用于吸盘式多指机械手，所述吸盘式多指机械手设置有多个吸嘴组件，每个吸嘴组件相应吸取转移目标区域中对应目标子区域内若干个目标半制品芯片，所述方法包括：

获取所述目标区域中对应目标子区域内每个目标半制品芯片的质量评测数据；

根据每个所述目标半制品芯片的质量评测数据提取每个目标半制品芯片对应吸嘴组件的当前气缸气压数据，基于所述吸嘴组件的当前气缸气压数据生成对应吸取组件的调节气缸气压数据；

生成对应吸取组件的调节气缸气压数据，包括：

计算对应所述吸嘴组件的当前气缸气压数据与预设目标吸嘴组件的标准气缸气压数据的第一差值；以及计算对应所述吸嘴组件的当前气缸气压数据与相邻吸嘴组件的当前气缸气压数据的第二差值；

根据所述第一差值和所述第二差值，生成对应吸取组件的调节气缸气压数据；

根据所述对应吸取组件的调节气缸气压数据，控制对应吸取组件对目标半制品芯片的吸取/不吸取。

2.根据权利要求1所述的一种搬运机械手状态监测方法，其特征在于，每个目标半制品芯片的质量评测数据的获取过程具体如下：

当吸盘式多指机械手移动至预设区域时，采集目标区域的区域芯片图像，以及采集每个目标子区域内目标半制品芯片的若干反射信号；

根据目标子区域对区域芯片图像进行图像预处理，以获取若干个子区域芯片图像；

根据若干个子区域芯片图像以及每个目标子区域内目标半制品芯片的若干反射信号进行质量特征分析，以获取融合质量特征，将融合质量特征输入预构建评测模型，以获取每个所述目标半制品芯片的质量评测数据。

3.根据权利要求2所述的一种搬运机械手状态监测方法，其特征在于，根据目标子区域对区域芯片图像进行图像预处理，包括：

根据目标子区域对区域芯片图像进行分割，以获取若干个图像目标子区域；

对每个图像目标子区域中的特征区域进行特征识别，根据特征识别结果对每个图像目标子区域中的特征区域进行区域叠加，得到若干个子区域芯片图像。

4.根据权利要求3所述的一种搬运机械手状态监测方法，其特征在于，对每个图像目标子区域中的特征区域进行特征识别，包括：

遍历所述图像目标子区域中每个像素的像素值，计算图像目标子区域中每个像素的像素值与预设第一像素阈值的差值，并将图像目标子区域中每个像素的像素值与预设第一像素阈值的差值标记为第一像素差值；

判断所述第一像素差值是否大于预设特征像素阈值，若第一像素差值大于预设特征像素阈值，则判断存在特征区域，将对应像素标记为中心像素；

以中心像素为起始点，并计算中心像素的像素值与相邻像素的像素值的差值，将中心像素的像素值与相邻像素的像素值的差值标记为第二像素差值；

将第二像素差值大于预设第二像素阈值的对应像素作为待选像素；

计算每个待选像素之间的连通值，将小于预设连通阈值的若干个待选像素所形成的区域作为特征区域。

5.根据权利要求4所述的一种搬运机械手状态监测方法，其特征在于，所述若干反射信号包括反射信号的传播速度和传播时间；根据若干个子区域芯片图像以及每个目标子区域内目标半制品芯片的若干反射信号进行质量特征分析，包括：

基于预构建卷积神经网络对子区域芯片图像进行特征提取，以获取图像质量特征；

根据若干反射信号筛选至少一个常规反射距离和至少一个非常规反射距离；

将图像质量特征、筛选得到的常规反射距离和筛选得到的非常规反射距离通过归一化法进行整合，以获取融合质量特征。

6.根据权利要求5所述的一种搬运机械手状态监测方法，其特征在于，所述预设目标吸嘴组件的标准气缸气压数据的生成过程如下：

获取预设目标吸嘴组件的当前气缸气压数据；

计算所述预设目标吸嘴组件的标准气缸气压数据与预设目标吸嘴组件的设计气缸气压数据的差值，将预设目标吸嘴组件的标准气缸气压数据与预设目标吸嘴组件的设计气缸气压数据的差值标记为目标吸嘴差值；

根据目标吸嘴差值对预设目标吸嘴组件的当前气缸气压数据进行调节，以获取预设目标吸嘴组件的标准气缸气压数据。

7.根据权利要求6所述的一种搬运机械手状态监测方法，其特征在于，生成对应吸取组件的调节气缸气压数据，还包括：

判断第一差值是否等于预设第一标准差值阈值，判断所述第二差值是否等于预设第二标准差值阈值；

若第一差值等于预设第一标准差值阈值，且第二差值等于预设第二标准差值阈值，则根据第一差值或第二差值对对应所述吸嘴组件的当前气缸气压数据进行调节，以得到对应吸取组件的调节气缸气压数据。

8.根据权利要求7所述的一种搬运机械手状态监测方法，其特征在于，所述方法还包括：

获取吸盘式多指机械手影响环境因素的环境数值；

将影响环境因素的环境数值输入预设气缸气压回归模型进行预测，以获取每个所述吸嘴组件的气缸气压影响数值；

根据所述吸嘴组件的气缸气压影响数值对对应吸取组件的调节气缸气压数据进行再次调节，以生成对应吸取组件的调节气缸气压数据。

9.一种搬运机械手状态监测系统，其基于权利要求1至8任意一项所述的一种搬运机械手状态监测方法实现，其特征在于，所述系统包括：

评测数据获取模块，用于获取目标区域中对应目标子区域内每个目标半制品芯片的质量评测数据；

第一数据调节模块，用于根据每个所述目标半制品芯片的质量评测数据提取每个对应吸嘴组件的当前气缸气压数据，基于对应所述吸嘴组件的当前气缸气压数据生成对应吸取组件的调节气缸气压数据；

控制模块，用于根据每个所述对应吸取组件的调节气缸气压数据，控制每个对应吸取组件对每个目标半制品芯片的吸取/不吸取。

10.根据权利要求9所述的一种搬运机械手状态监测系统，其特征在于，所述系统还包括：

环境数据获取模块，用于采集吸盘式多指机械手影响环境因素的环境数值；

数据预测模块，用于将影响环境因素的环境数值输入预设气缸气压回归模型进行预测，以获取每个所述吸嘴组件的气缸气压影响数值；

第二数据调节模块，根据所述吸嘴组件的气缸气压影响数值对对应吸取组件的调节气缸气压数据进行再次调节，以生成对应吸取组件的调节气缸气压数据。

Images