CN115007480B - 一种剪刀脚视觉识别筛分系统 - Google Patents

Abstract

本发明涉及剪刀脚自动化组装领域，具体公开了一种剪刀脚视觉识别筛分系统包括摄像模块，摄像模块用于拍摄剪刀脚图像并生成图像信息输出；图像识别模块，图像识别模块用于接收摄影模块输出的图像信息，通过标记图像的边缘为标记点，标记图像中剪刀脚的轮廓为有效区域，并以标记点为原点作平面直角坐标系，根据有效区域占据图像信息像素点的范围，计算出剪刀脚长度、宽度和坐标，并将剪刀脚的长度、宽度和坐标输出；图像识别模块还用于对图像信息中的像素点进行像素聚合，测量模块，测量模块用于接收摄影模块输出的图像信息，并根据图像信息的景深数据进行深度提取。

Description

一种剪刀脚视觉识别筛分系统

技术领域

本发明涉及剪刀脚自动化组装领域，特别涉及一种剪刀脚视觉识别筛分系统。

背景技术

剪刀脚位于笔记本键帽下方，用于连接键帽与键盘支撑板，使键帽在剪刀脚的作用下上升或下降，从而与软性线路板上的弹片开关接触或分离。键盘上有空格键、回车键、字母键、数字键等大小规格不同的按键，不同规格大小的按键所使用的剪刀脚大小也不相同。剪刀脚还有正反两面，安装使用剪刀脚时，需要保证剪刀脚的正面朝上。一种剪刀脚视觉识别筛分系统是指：在安装使用剪刀脚时，对混装在一起的规格大小不一的剪刀脚进行分拣，并将不同规格的剪刀脚通过移取装置有序的转移到安装工段，同时，分拣过程中还需保证剪刀脚的正面朝上，如此，为后续安装工段提供稳定的供料输送。

本申请人在CN 113926720 A的专利文献中公开了一种剪刀脚通用供料系统，包括送料仓和振动盘，送料仓设置在振动盘的一侧；还包括：图像识别模块，用于扫描识别振动盘内的剪刀脚的正反面信息、剪刀脚的规格信息以及剪刀脚在振动盘的位置信息；运行控制模块，用于获取剪刀脚的相应信息，并根据预设需求信息判断振动盘内是否有复合预设需求信息的剪刀脚；并相应生成移动控制指令或者振动控制指令；夹持模块。上述技术为本申请人的第一代产品，主要是解决了自动化的问题，但是在实际生产过程中，效率方面存在严重的问题。

主要原因在于，其在供料时，夹持模块一次供料一个剪刀脚（有时候还没有符合规格的，甚至还要多次重复振动，相当于在拼概率，稳定性极差），这种效率完全无法满足工业化生产的需求。因此，本申请人针对笔记本键盘（也只有这个产品会用到剪刀脚）的特点将剪刀脚分为了普通规格（类似QWER）和特殊规格（类似TAB、SHIFT等），普通规格的剪刀脚采用送料盘加直振送料器（并且在直振送料器上安装各类筛选机构）实现普通规格的剪刀脚的批量化的安装。但是针对特殊规格的案件，由于在单个（笔记本）键盘上的数量有限，如果采用与普通规格案件相同的送料盘加直振送料器的方式，则会极大的增加成本（根据笔记本电脑键盘设计的不同，大概有6-7种特殊规格的案件，每种特殊规格大概1-2个按键，每个特殊类型均开发相应的筛选机构，则总计有7-8套普通规格的安装结构）。

基于成本和使用频次的原因，申请人目前针对特殊规格的按键安装系统的阶段性设计是在CN 113926720 A文献中记载的剪刀脚通用供料系统上进行优化，并且与普通规格的按键安装系统形成互动，以实现笔记本电脑键盘的自动化安装。

即在上述文献的基础上，本方案是采用普通规格的按键的夹持手对振动盘内的符合要求的特殊规格的按键进行夹持，然后进行安装。但是，上述文献除效率较低外，还存在上述运行模块通常采用伺服电机进行驱动，在图像识别模块与运行控制模块之间，存在一个累积误差的问题，在连续工作一段时间后，无法使得夹持模块移动至预设的位置；另外，由于在振动盘内在振动过程中，剪刀脚是一个随机分布的概率事件（除此之外，为了保证每次振动均能够找寻到合适的剪刀脚，需要保证振动盘内剪刀脚的数量），存在部分剪刀脚重叠，无法准确抓取的问题。

发明内容

本发明提供了一种剪刀脚视觉识别筛分系统，能够保证减少夹持模块累积误差并且能够准确夹持剪刀脚。

为了解决上述技术问题，本申请提供如下技术方案：一种剪刀脚视觉识别筛分系统，包括：

摄像模块，摄像模块用于拍摄剪刀脚图像并生成图像信息输出；

图像识别模块，图像识别模块用于接收摄影模块输出的图像信息，通过标记图像的边缘为标记点，标记图像中剪刀脚的轮廓为有效区域，并以标记点为原点作平面直角坐标系，根据有效区域占据图像信息像素点的范围，计算出剪刀脚长度、宽度和坐标，并将剪刀脚的长度、宽度和坐标输出；

图像识别模块还用于对图像信息中的像素点进行像素聚合，得到特征点，根据特征点的不同得出剪刀脚的正反面信息，并将剪刀脚正反面信息输出；

测量模块，测量模块用于接收摄影模块输出的图像信息，并根据图像信息的景深数据进行深度提取，计算出剪刀脚距摄像模块的深度值，并将深度值输出；

夹持模块，夹持模块包括移动单元和夹持单元，移动单元用于移动至标记点并接收图像识别模块输出的剪刀脚长度、宽度、坐标、正反面信息和测量模块输出的深度值，生成移动控制指令，然后移动至相应的剪刀脚所处位置，夹持单元用于在移动至相应的剪刀脚所处位置后，在接触到被夹持的剪刀脚后产生触碰信号，完成对剪刀脚边缘部位的夹持，然后移动单元根据移动控制指令将符合预设信息的剪刀脚运送至预设位置。

基础方案原理及有益效果如下：

摄像模块用于拍摄剪刀脚图像并生成图像信息输出，图像识别模块扫描识别摄影模块输出的图像信息，并将图像信息中的剪刀脚的轮廓标记为有效区域，再根据有效区域占据图像信息像素点的范围计算出剪刀脚长度、宽度和坐标，图像识别模块还能够对图像信息中的像素点进行像素聚合，得到特征点，并根据特征点的不同得到剪刀脚的正反面信息，测量模块用于对图像信息中的景深数据进行深度提取，并配合计算公式计算出剪刀脚距摄像模块的深度值，夹持模块用于接收图像识别模块输出的剪刀脚长度、宽度、坐标、正反面信息和测量模块输出的深度值，并根据预设信息判断是否有符合预设信息的剪刀脚存在，最后根据移动控制指令将符合预设信息的剪刀脚运送至预设位置。

重要的是，根据图像识别模块有效区域占的像素点长度和宽度判断出剪刀脚所属的规格和剪刀脚所处坐标，再通过对图像信息中的景深数据进行计数，得出深度值，从而判断剪刀脚有没有叠加，最后将不同规格的剪刀脚精确移动到不同的安装区域。

通过新增标记点，实现每次的误差清零，避免累积误差的出现。并且通过深度值的采集，能够使得夹持模块实现更高概率、高效率的夹持。

与传统的剪刀脚筛分系统相比，本方案的剪刀脚视觉筛分系统可以完成对混装在一起的不同规格的剪刀脚进行筛选、分拣，并转移到指定的位置。本剪刀脚视觉筛分系统适用范广、智能化程度高并且筛分的效率高、准确率高。

进一步，还包括料盘，摄像模块至少设置有一台相机，相机垂直于料盘上方。这样设置便于摄像模块对料盘内的剪刀脚进行扫描识别，同时便于计算剪刀脚和相机之间的距离。

进一步，预设信息为正面朝上的任一规格的剪刀脚。预设信息中设置剪刀脚正面朝上，能便于挑选出的剪刀脚进行后续安装工序，而任一规格的剪刀脚的设置是为了更精确的筛选出适应键盘按键的剪刀脚。

进一步，图像信息的像素值为1024×768。选用1024×768为基础像素值是由于这个分辨率对于人的眼睛比较舒服，且显示屏幕不会抖动，并且满足此分辨率的显示器价格便宜又能达到使用需求，总体来讲节约了成本。

进一步，深度值的计算方法为d=b/tanα，其中d为深度值，b为有效区域上部的高度值，α为摄像头垂直视场角度的1/2。α采用的是摄像头垂直视场角度的1/2，是由于摄像头与所摄物品是垂直放置的，如摄像头与所摄物品水平放置，则α采用水平视场角便于计算深度值，故α如何选用可根据实际需求进行相应的调整。

进一步，移动控制指令由控制模块发出。采用控制模块发出移动指令相较于人为控制更加智能化，节省了人力成本。

进一步，特征点为在图像信息中，剪刀脚正面的像素点比剪刀脚反面像素点至少多140个。剪刀脚的正面与剪刀脚反面具有不同特征，所有显示在图像信息中形成了像素点形成了区别特征，通过判断像素点不同，从而分辨出剪刀脚的正反面。

进一步，夹持模块采用可编程智能机械手。可编程智能机械手能够根据控制模块发出的移动控制指令控制机械手进行夹持作业，而控制指令可通过操作人员编写程序发出，从而进一步加强系统自动化、智能化，并且能够提高夹持剪刀脚的精确程度，由于夹持模块需要夹持不同大小键盘所使用的剪刀脚，所以可根据需求选用可调节的夹持结构，从而适应不同规格的剪刀脚。

附图说明

图1为本发明一种剪刀脚视觉识别筛分系统实施例一的基本流程图；

图2为本发明夹持单元的正视示意图；

图3为本发明一种剪刀脚视觉识别筛分系统实施例一的数据坐标示意图；

图4为本发明一种剪刀脚视觉识别筛分系统实施例一的测量模块的测量原理图。

具体实施方式

下面通过具体实施方式进一步详细说明：

说明书附图中的标记包括：安装块1、上侧夹持气缸2、下侧夹持气缸3、支撑台4、上夹持块5、下夹持部6、长段7、短段8、下压气缸9。

实施例一

实施例如附图1、附图2、附图3以及附图4所示：一种剪刀脚视觉识别筛分系统，包括摄像模块，摄像模块用于拍摄剪刀脚图像并生成图像信息输出；摄像模块采用的摄像头能够获取标准颜色图像，还包括料盘，摄像模块是一台双目摄像机（更加方便于深度值的获取），相机垂直于料盘上方。这样设置便于图像识别模块对料盘内的剪刀脚进行扫描识别，同时便于计算剪刀脚和相机之间的距离。

图像识别模块，图像识别模块用于接收摄影模块输出的图像信息，通过标记图像的边缘为标记点，标记图像中剪刀脚的轮廓为有效区域，并以标记点为原点作平面直角坐标系，根据有效区域占据图像信息像素点的范围，计算出剪刀脚长度、宽度和坐标，并将剪刀脚的长度、宽度和坐标输出；图像识别模块还用于对图像信息中的像素点进行像素聚合，得到特征点，根据特征点的不同得出剪刀脚的正反面信息，并将剪刀脚正反面信息输出；图像识别模块选用Intel酷睿i7 12700KF，接收摄影模块输出的图像信息并进行处理，并可使用Windows10操作系统创建PC平台应用程序，此程序采用python和C++进行算法程序编写，并可开发语言识别功能识别声音，以提高操作人员远程操作的可能性；图像信息的像素值为1024×768。选用1024×768为基础像素值是由于这个分辨率对于人的眼睛比较舒服，且显示屏幕不会抖动，并且满足此分辨率的显示器价格便宜又能达到使用需求，总体来讲节约了成本；特征点为在图像信息中，剪刀脚正面的像素点比剪刀脚反面像素点至少多140个。剪刀脚的正面与剪刀脚反面具有不同特征，所有显示在图像信息中形成了像素点形成了区别特征，通过判断像素点不同，从而分辨出剪刀脚的正反面。

测量模块，测量模块用于接收摄影模块输出的图像信息，并根据图像信息的景深数据进行深度提取，计算出剪刀脚距摄像模块的深度值，并将深度值输出；景深数据又称深度图像，在三维计算中图形学中，深度图像是指从观察者的视角看去，图像所包含信息与场景物体表面距离相关的一种距离图像，假设图像深度值的变化方向（摄像机拍摄方向）与所需要描述的场景的视场方向（Z方向）相同，那么描述整个场景便比较简单，因此，深度图像也称为距离图像，测量模块选用Intel酷睿i7 12700KF，接收摄影模块输出的图像信息并根据图像信息的景深数据进行深度提取。

夹持模块，夹持模块包括移动单元和夹持单元，移动单元用于移动至标记点（在标记点处本实施例是设置有一个限位板和压力敏感元件，即移动单元移动至限位板时，压力敏感元件会实现反馈，即反馈至图像识别模块，当然在其他实施例中还增加了一个发光二极管，方便双目相机获取到标记点的信息）并接收图像识别模块输出的剪刀脚长度、宽度、坐标、正反面信息和测量模块输出的深度值，生成移动控制指令，然后移动至相应的剪刀脚所处位置，夹持单元用于在移动至相应的剪刀脚所处位置后，在接触到被夹持的剪刀脚后产生触碰信号，完成对剪刀脚边缘部位的夹持，然后移动单元根据移动控制指令将符合预设信息的剪刀脚运送至预设位置。

具体的夹持单元（如图2所示）包括安装块1、上侧夹持气缸2和下侧夹持气缸3，安装块1的前侧面设有支撑台4，支撑台4的侧面与安装块1的侧面固定，支撑台4的截面形状为下端与安装块1接触，上端远离安装块1的楔形，支撑台4的楔面设有上侧导向轨，上侧夹持气缸2固定在支撑台4的上端部，上侧夹持气缸2的活塞杆的运动方向与支撑台4的楔面平行，上侧夹持气缸2的活塞杆的下端部设有上夹持块5；安装块1上设有下夹持部6，下夹持部6包括长段7和短段8，长段7的上端与安装块1铰接，安装块1上设有用于容纳长段7移动的安装槽，长段7的下端与短段8一端固定，短段8的另一端位于上夹持块5的下方，上夹持块5与短段8之间留有夹持间隙；下侧夹持气缸3与安装块1固定，下侧夹持气缸3的活塞杆与长段7的右侧固定；下侧夹持气缸3还包括下侧排气阀，下压气缸9还包括下压泄压阀，下压泄压阀用于在下压气缸9的气压达到预设值后向下侧排气阀排气，下侧排气阀用于在受到下压气缸9的排气的力后向外排气，安装块1上方设有下压气缸9，下压气缸9的下端与安装块1的上端固定。

其中，上夹持块5的底面设有上接触块，上接触块焊接固定在上夹持块5的底面的右侧面，上接触块的底部固设有第一线圈，上接触块设有上下贯穿的通风孔，通风孔内安装有鼓风扇，所述鼓风扇在启动后产生从下至上的气流，第一线圈的中心位置露出通风孔，第一线圈与鼓风扇供电连接，短段8的左端固设有第二线圈，在长段7的铰接点与短段8的左端的连线竖直时，第一线圈与第二线圈正对，第二线圈中一直产生变化电流。

预设信息中设置剪刀脚正面朝上，能便挑选出的剪刀脚进行后续安装工序，而任一规格的剪刀脚的设置是为了更精确的筛选出适应键盘按键的剪刀脚，预设位置为安装区，通过夹持模块直接将筛选出的剪刀脚直接转移到安装区，便于提高加工和生产效率；夹持模块采用可编程智能化机械手，能够根据控制模块发出的移动控制指令控制机械手进行夹持作业，控制指令可通过编写程序发出，从而进一步加强系统自动化；由于同一键盘上有不同大小的按键，不同大小的按键所使用的剪刀脚的大小不同；还有不同大小的键盘，不同大小的键盘上的按键也大小不同，所使用的剪刀脚的大小也不同，因此在转移不同大小的剪刀脚的时候，机械手的夹持结构也有所不同，可以通过设置可调节的机械手夹持结构实现这个功能，当接收图像识别模块和测量模块输出的剪刀脚规格与上次夹持的剪刀脚规格不同时，便自动调节夹持结构，以适应另一剪刀脚的规格。

具体实施方式如下：

使用前，操作人员通过控制模块自行设置预设信息，包括正面朝上的任一规格的剪刀脚，通过送料机构将剪刀脚送到料盘，通过摄像模块进行拍摄剪刀脚图像信息并输出到图像识别模块和测量模块，之后图像识别模块通过标记图像的边缘为标记点，标记图像中剪刀脚的轮廓为有效区域，根据有效区域占据图像信息像素点的范围，计算出剪刀脚长度、宽度和坐标，并将剪刀脚的长度、宽度和坐标输出；图像识别模块还用于对图像信息中的像素点进行像素聚合，得到特征点，根据特征点的不同得出剪刀脚的正反面信息，并将剪刀脚正反面信息输出，然后测量模块根据图像信息的景深数据进行深度提取，计算出剪刀脚距摄像模块的深度值，并将深度值输出，最后夹持模块接收图像识别模块输出的剪刀脚长度、宽度、坐标、正反面信息和测量模块输出的深度值，根据预设信息判断是否有符合预设信息的剪刀脚存在，并根据移动控制指令将符合预设信息的剪刀脚运送至预设位置。

与传统的剪刀脚筛分系统相比，本方案的剪刀脚视觉筛分系统可以完成对混装在一起的不同规格的剪刀脚进行筛选、分拣，并转移到指定的位置；本剪刀脚视觉筛分系统适用范广、智能化程度高并且筛分的效率高、准确率高。

在夹持时，上接触块在图像信息的指引下，移动至相应的剪刀脚上方，此时因为精度原因，上接触块可能与剪刀脚接触或者停止在剪刀脚上方的某一位置（缘由是深度值无法达到毫米级精度）。在上接触块停止后，短段8向右作旋转运动，此时长段7的铰接点与短段8的左端的连线从竖直偏右，到竖直，再到竖直偏左，在竖直状态时，短段8的右端是处于最低的位置。就相当于短段8执行了一个往下伸，再往上捞的动作，这样更加方便对剪刀脚边缘部位的夹持。

在上述过程中，第二线圈中一直产生变化的电流，导致磁场变化。让第二线圈和第一线圈实现一个无线供电。这个过程总无线供电的功率是随着短段8的移动而增大的，这样在通风孔内形成的负压持续增大，在长段7的铰接点与短段8的左端的连线竖直时，第一线圈与第二线圈正对。即，此时，短段8是处于最低点的位置，此时负压最大，能够将剪刀脚吸附（如果是直接都压住了，此项动作就更显重要，避免剪刀脚的位移），方便后续向上运动时的夹持。与通风孔内全程负压相比，阶段性的负压，能够避免提前吸附不符合预设信息的剪刀脚。而且因误差精度原因，本方案选择的是短段8的左端距离上接触块最远的位置达到负压，能够利用短段8达到负压前的形成，对剪刀脚进行简单的姿态调整，更加便于夹持到剪刀脚的边缘。

实施例二

本实施例与实施例一的不同之处在于：本实施例中，深度值的计算方法为d=b/tanα，其中d为深度值，b为有效区域上部的高度值，α为摄像头垂直视场角度的1/2；α采用的是摄像头垂直视场角度的1/2，是由于摄像头与所摄物品是垂直放置的，如摄像头与所摄物品水平放置，则α采用水平视场角便于计算深度值，故α如何选用可根据实际需求进行相应的调整；

由于每个摄像机都有视场，焦距的长度和相机传感器的大小决定了视场角，只要知道有效区域上部的高度值，便可得出深度值；根据景深图像及高度计算原理，设计并实现了一种剪刀脚视觉识别筛分系统，可同时筛分不同规格的剪刀脚，且速度快性能好，提高了生产效率。

以上的仅是本发明的实施例，该发明不限于此实施案例涉及的领域，方案中公知的具体结构及特性等常识在此未作过多描述，所属领域普通技术人员知晓申请日或者优先权日之前发明所属技术领域所有的普通技术知识，能够获知该领域中所有的现有技术，并且具有应用该日期之前常规实验手段的能力，所属领域普通技术人员可以在本申请给出的启示下，结合自身能力完善并实施本方案，一些典型的公知结构或者公知方法不应当成为所属领域普通技术人员实施本申请的障碍。应当指出，对于本领域的技术人员来说，在不脱离本发明结构的前提下，还可以作出若干变形和改进，这些也应该视为本发明的保护范围，这些都不会影响本发明实施的效果和专利的实用性。本申请要求的保护范围应当以其权利要求的内容为准，说明书中的具体实施方式等记载可以用于解释权利要求的内容。

Claims (8)

1.一种剪刀脚视觉识别筛分系统，其特征在于，包括，

摄像模块，摄像模块用于拍摄剪刀脚图像并生成图像信息输出；

图像识别模块，图像识别模块用于接收摄影模块输出的图像信息，通过标记图像的边缘为标记点，标记图像中剪刀脚的轮廓为有效区域，并以标记点为原点作平面直角坐标系，根据有效区域占据图像信息像素点的范围，计算出剪刀脚长度、宽度和坐标，并将剪刀脚的长度、宽度和坐标输出；

图像识别模块还用于对图像信息中的像素点进行像素聚合，得到特征点，根据特征点的不同得出剪刀脚的正反面信息，并将剪刀脚正反面信息输出；

测量模块，测量模块用于接收摄影模块输出的图像信息，并根据图像信息的景深数据进行深度提取，计算出剪刀脚距摄像模块的深度值，并将深度值输出；

夹持模块，夹持模块包括移动单元和夹持单元，移动单元用于移动至标记点并接收图像识别模块输出的剪刀脚长度、宽度、坐标、正反面信息和测量模块输出的深度值，生成移动控制指令，然后移动至相应的剪刀脚所处位置，夹持单元用于在移动至相应的剪刀脚所处位置后，在接触到被夹持的剪刀脚后产生触碰信号，完成对剪刀脚边缘部位的夹持，然后移动单元根据移动控制指令将符合预设信息的剪刀脚运送至预设位置；

夹持单元包括安装块、上侧夹持气缸和下侧夹持气缸，安装块的前侧面设有支撑台，支撑台的侧面与安装块的侧面固定，支撑台的截面形状为下端与安装块接触，上端远离安装块的楔形，支撑台的楔面设有上侧导向轨，上侧夹持气缸固定在支撑台的上端部，上侧夹持气缸的活塞杆的运动方向与支撑台的楔面平行，上侧夹持气缸的活塞杆的下端部设有上夹持块；安装块上设有下夹持部，下夹持部包括长段和短段，长段的上端与安装块铰接，安装块上设有用于容纳长段移动的安装槽，长段的下端与短段一端固定，短段的另一端位于上夹持块的下方，上夹持块与短段之间留有夹持间隙；下侧夹持气缸与安装块固定，下侧夹持气缸的活塞杆与长段的右侧固定；下侧夹持气缸还包括下侧排气阀，下压气缸还包括下压泄压阀，下压泄压阀用于在下压气缸的气压达到预设值后向下侧排气阀排气，下侧排气阀用于在受到下压气缸的排气的力后向外排气，安装块上方设有下压气缸，下压气缸的下端与安装块的上端固定。

2.根据权利要求1的一种剪刀脚视觉识别筛分系统，其特征在于：还包括料盘，摄像模块至少设置有一台相机，相机垂直于料盘上方。

3.根据权利要求1的一种剪刀脚视觉识别筛分系统，其特征在于：预设信息为正面朝上的任一规格的剪刀脚。

4.根据权利要求1的一种剪刀脚视觉识别筛分系统，其特征在于：图像信息的像素值为1024×768。

5.根据权利要求1的一种剪刀脚视觉识别筛分系统，其特征在于：深度值的计算方法为d=b/tanα，其中d为深度值，b为有效区域上部的高度值，α为摄像头垂直视场角度的1/2。

6.根据权利要求1的一种剪刀脚视觉识别筛分系统，其特征在于：还包括控制模块，移动控制指令由控制模块发出。

7.根据权利要求1的一种剪刀脚视觉识别筛分系统，其特征在于：特征点为在图像信息中，剪刀脚正面的像素点比剪刀脚反面像素点至少多140个。

8.根据权利要求1的一种剪刀脚视觉识别筛分系统，其特征在于：夹持模块采用可编程智能机械手。