CN111299078A - 一种基于流水线的自动跟踪点胶方法 - Google Patents

Abstract

本发明公开了基于流水线的自动跟踪点胶方法，包括：第一、通过传感器或图像采集对来料触发图像捕捉；第二、通过至少一个图像采集装置拍摄来料的轮廓及位置；第三、基于来料的图像建立模板及图像坐标系，并通过模板匹配法匹配产品，结合形态分析法拟合出来料模型；根据五点标定法来关联图像坐标系与设备运动坐标系，确定来料的坐标和角度；第四、通过加工轨迹与来料的坐标和角度确定加工轨迹对应的实际起点；第五、点胶装置位移至实际起点，通过传感来判断来料在图像捕捉后任意时刻的位置和来料的运行速度；第六、来料进入实际起点，控制点胶装置与来料同步移动进行点胶作业；第七、来料涂胶完成，进行胶阀清洁后等待下一个来料。

Description

一种基于流水线的自动跟踪点胶方法

技术领域

本发明涉及智能制造、设备自动化、流体控制等技术领域，尤其涉及基于流水线的自动跟踪点胶方法。

背景技术

在常规的产品点胶工艺中，大部分的产品如果要进行点胶作业，基本上都需要进行以下流程：搬运上料—载具/机械定位—视觉定位—涂胶作业—搬运下料等；而该流程中，真正产生价值的，只有“涂胶作业”这一流程，其余流程都是辅助性流程，是不必要的。

目前，行业内大致有三种点胶作业方法，但他们分别各有不足。例如：

1、手工点胶：人工成本上升，精度差，完全依赖作业员的熟练度，良品率低；

2、桌面式点胶机：对治具精度要求高，人员不稳定；

3、全自动机：成本高，对于流水线前后制程有要求，灵活性差。

同时，在传统的点胶作业中，治具/载具必不可少，这就导致如需更换另一种产品进行生产，则必须停机，手工更换载具、调试轨迹等等，才能恢复生产，此步骤费时费力，而且无法满足产线小批量、多批次、多种类的产品生产场景。

发明内容

本发明的技术方案是：基于流水线的自动跟踪点胶方法，包含以下作业步骤：

·通过传感器检测来料，并触发拍摄获取来料的图像信息，也可采用实时不间断触发图像获取。

通过传感器检测来料时，当产品到达拍照位置，触发拍照。传感器包括但不限于：对射光源、反射光纤、金属接近传感器、机械微动感应器。

通过实时不间断触发图像获取时，相机图像连续实时拍照，并进行全局图像预处理分析(灰度直方图工具等)，与空料状态比对，动态监测来料是否进入视野。

·采用一个或多个相机，拍摄流水线上运动的产品，获取来料的轮廓图像和记录位置信息。一般采用2D相机或3D线激光扫描结合，通过2D画面和3D轮廓拟合出来料外形。

2D相机搭配广角镜头/远心镜头、多种类型光源等，以获取较大视野，便于捕捉较大尺寸产品。也可以采用2D相机画面区域切割方案，把单个相机视野，切割为多个独立的视野，以进行独立监控。或者把多个2D相机的多个视野区域，通过软件算法令其合并拼接为一个视野，获得一个巨大的视野，进行更大范围内的监控和捕捉。

3D线激光扫描通过使用固定式3D线激光仪，直接扫描流水线上移动的产品3D轮廓，合成生成产品轮廓图和具体位置信息。

图像获取前包括两个预备工作：

A.搭建合适的光学系统，根据来料特性和背景环境，选择合适的光源组合和安装角度，选择合适的高分辨率相机镜头，调整合适的相机参数(曝光值、增益值等等)，以获得一张亮度均匀的高质量原始图像。

B.相机镜头本身的畸变校正。

镜头畸变实际上是光学透镜固有特性(凸透镜汇聚光线、凹透镜发散光线)造成的透视失真的总称，其大致分为三种类型：枕形畸变、桶形畸变、线性畸变，这种失真对于照片的成像质量是非常不利的。而导致该失真的原因不仅有光学透镜的固有特性，还与摄像机本身的组装工艺、感光芯片的生产工艺、镜头内部多镜片的加工组装工艺等息息相关，无法通过物理方式消除，只能通过软件算法进行畸变校正。

·通过单/多模板匹配算法，同时图像结合形态学分析，几何图形(如点、线、圆弧)的拟合等等方式，将获取的图像与预先设定的多种产品特征进行匹配，以确定当前来料类型与来料的中心点坐标和旋转角度。

确定来料的数据模型

根据来料的图像信息对来料的特征建立一个或多个模板，同时能够针对模板进行预处理(选择有效区域、涂抹干扰信息、锐化处理、轮廓筛选等操作)，以保障得到的模板质量优秀。

选择有效区域是根据图像信息选择特征明显的区域；涂抹干扰信息是指祛除影响特征选择的干扰信息；锐化处理是针对图像信息上的特征进行凸显锐化；轮廓筛选是指对图像信息上的产品轮廓或特征轮廓进行优选。

模板初建后对模板和预设产品进行匹配，匹配采用了特定算法库进行图像处理，可以单模板匹配，也可以进行多模板匹配可以在同一图像中匹配多个同种产品，也可以匹配多个不同种产品，可以指定在一定角度范围内进行匹配(基于有效区域的选择)，在模板被遮挡部分下进行匹配(部分图像信息匹配)等。

在模板匹配的基础下，对来料进行形态学分析，根据来料特征拟合出特定的几何形状(如点、线、圆弧)，从而实现对来料的精确定位。

在模板匹配过程中，如果有检测到来料，但模板匹配失败，无法识别产品类型和产品位置，此时会返回上一步的图像获取动作，重新拍照后，再建模、匹配。

确定来料的中心点坐标和旋转角度

基于来料的位置图像建立图像坐标系，在图像上随机选择五个标定点，根据五点标定法来关联图像坐标系与设备运动坐标系，同时决定像素比例。将来料模型与图像坐标系结合确定当前来料在设备运动坐标系中的中心点坐标和旋转角度。

·通过已确定的产品类型自动切换产品配方并调取对应预设轨迹；根据已确定的中心坐标和旋转角度，对预设轨迹进行校正，确定轨迹起始点(即落针点)，此后移动胶阀针头进入该点上方进行等待。

在该步骤中，需要先进行模板轨迹示教，作为预备工作，可采取多种方式(包含但不限于手动示教、图像示教、DXF导入、轨迹自动识别、轨迹拼接等)，以模板图像为基础，进行模板轨迹编辑。通过已确定的中心坐标和旋转角度，建立空间变换矩阵，把当前来料模板所对应产品预设的模板轨迹带入计算，即得到校正后的符合当下来料的实际涂胶轨迹。具体的：

手动示教：通过手动操作程序界面/手持示教盒来移动胶阀针头，通过肉眼对准对应点位进行轨迹编辑。

图像示教：通过拍摄一张产品的全局图片，鼠标在图像中选取对应点位或者滑动鼠标来示教轨迹。

DXF导入：通过导入预先编辑的DXF文件(CAD编辑)，形成涂胶轨迹。

轨迹自动识别：通过产品实物图或者模拟图，采用图像自动识别以形成轨迹(比如白纸上画形状，拍照自动生成)。

轨迹拼接：对于比较大尺寸的产品，需要把多段轨迹进行合成，以形成整体轨迹。

·胶阀针头进入轨迹起始点上方进行等待，同时通过接触式或非接触传感获取来料及流水线的运行速度，根据传感反馈信息判断来料在拍摄后任意时刻的位置和来料的运动速度。

接触式速度获取：通过组合旋转编码器和滚轮，滚轮采用弹簧机构紧贴运动流水线安装，以编码器信号反馈来监控速度变化，实时比对计算旋转编码器反馈的位置信息与产品触发拍摄时记录的位置信息。

非接触式速度获取：通过非接触式传感器(例如激光/光电感应/金属感应等)，也可通过相机连续采集图像计算，来监控速度变化。

·当产品进入涂胶区域时，移动胶阀针头进入轨迹起始点，以当前产品速度与产品进行同向运动，同时根据校正后的轨迹，与产品进行叠加相对运动，控制胶阀完成涂胶作业。

此步骤进行前确保运动坐标系关联无误，同时需校正胶阀针头的运动坐标：

运动坐标系关联采用五点标定法：在图像上随机选取五个标定点，通过五点标定方法，使图像坐标系与运动坐标系建立关系，同时确定像素比例；

胶阀针头的运动坐标校正采用三点标定法：以三种不同姿态使点胶针头同时指向空间中的一点，通过该标定方法，示教针头对应的工具坐标系；

点胶开始后，结合编码器反馈速度，使运动机构与产品同向跟随运动。但如果此时来料在流水线上所剩的位移距离已不满足涂胶作业所需距离，则该产品不进行涂胶。

·当产品涂胶完成，回清洁位启动胶阀针头清洁模块，清洁完成再进行下一片来料的作业；如下一片来料因距离不足无法完成涂胶，则不进行涂胶。

本发明的优点是：

1、可以极大程度的缩减工序，摒弃传统的辅助性流程，突出“视觉定位”和“涂胶作业”流程，而且这两个流程可以同步进行，极大地提升了时间效率，在同等条件下，降低了设备复杂度，增加产能。

2、省去了多余工序步骤，只保留核心的点胶动作，不仅节省了作业事件，极大增加了产能，也契合精益生产的核心理念，生产效率大大提升。

3、可以有效克服传统生产线不能混线生产的痛点，可以同时混线多种产品进行生产，满足现代工厂个性化定制产品的趋势，满足多机种、小批次生产的灵活性。

4、可以大大提升生产线生产效率，大大提升设备复用率，使产线资产充分发挥效能。

附图说明

下面结合附图及实施例对本发明作进一步描述：

图1为自动跟踪点胶方法的工作流程图；

具体实施方式

本发明的一较佳实施例：

一种基于流水线的自动跟踪点胶方法，包含以下作业步骤：

步骤一：来料感应

通过传感器检测来料，并触发拍摄获取来料的图像信息，也可采用实时不间断触发图像获取。

传感器触发是指：当产品到达拍照位置，触发拍照。一般，传感器包括但不限于：对射光源、反射光纤、金属接近传感器、机械微动感应器。

实时不间断触是指：相机图像连续实时拍照，并进行全局图像预处理分析(灰度直方图工具等)，与空料状态比对，动态监测来料是否进入视野。

步骤二：图像获取

采用一个或多个相机，拍摄流水线上运动的产品，获取来料的轮廓图像和记录位置信息。一般采用2D相机和3D线激光扫描结合，通过2D画面和3D轮廓拟合出来料外形。

图像获取的具体过程包含两个子步骤：

A.搭建合适的光学系统，根据来料特性和背景环境，选择合适的光源组合和安装角度，选择合适的高分辨率相机镜头(本模型采用的是8mm广角镜头，以获得400*400mm的大视野范围)，调整合适的相机参数(曝光值、增益值等等)，以获得一张亮度均匀的高质量原始图像；

B.相机镜头本身的畸变校正。

本发明中提供的相机校正标定方法，大致分为两个步骤：

第一步、为标定动作，通过该步骤得到相机校正内外参数；采用九宫格标定方法，基于Halcon算法库实现，采用120mm*120mm浮法玻璃标定板，其上均匀分布7*7个圆点，每个圆点的印刷工艺精度为1um。标定过程为在相机视野中移动标定板，均匀分布9个位置，分别取相，进行计算。

第二步、为图像校正，通过第一步得出的校正参数，对获取的原始图像进行畸变校正，还原出校正后的真实的图像画面。

步骤三：图像处理

通过单/多模板匹配算法，同时图像结合形态学分析，几何图形(如点、线、圆弧)的拟合等等方式，将获取的图像与预先设定的多种产品特征进行匹配，以确定当前来料类型与来料的中心点坐标和旋转角度。

第一，建立模板并确定模板

建模及模型匹配具体分为三个子步骤：

A.建立模板，作为预备工作，先通过相机拍摄来料图像，在根据来料特征，选取一个或多个特征区域，建立模板；

B.模板匹配，在模板建立完成后，调整模板位置及姿态，以现有产品图像数据进行匹配处理，观察匹配效果，如匹配效果不理想(匹配分数达不到预设分数)，那么需要重新示教模板，或者调整模板参数(调整匹配分数或调整模板角度)，从而优化模板。

C.对于无明显特征的产品或者单纯模板匹配精度不满足要求的来料，可选择在模板匹配后，同时图像结合形态学分析，通过几何图形(如点、线、圆弧)的拟合等等方式，进一步对产品进行定位和识别。

第二，关联坐标系

基于来料的位置图像建立图像坐标系，在图像上随机选择五个标定点，根据五点标定法来关联图像坐标系与设备运动坐标系，同时决定像素比例。将来料模型与图像坐标系结合确定当前来料在设备运动坐标系中的中心点坐标和旋转角度。

步骤四：轨迹编辑

通过已确定的产品类型自动切换产品配方并调取对应预设轨迹；根据已确定的中心坐标和旋转角度，对预设轨迹进行校正，确定轨迹起始点(即落针点)，此后移动胶阀针头进入该点上方进行等待。

在该步骤中，需要先进行模板轨迹示教，作为预备工作，可采取多种方式(包含但不限于手动示教、图像示教、DXF导入、轨迹自动识别、轨迹拼接等)。

手动示教：通过手动操作程序界面/手持示教盒来移动点胶针头，通过肉眼对准对应点位进行轨迹编辑。

图像示教：通过拍摄一张产品的全局图片，鼠标在图像中选取对应点位或者滑动鼠标来示教轨迹。

DXF导入：通过导入预先编辑的DXF文件(CAD编辑)，形成涂胶轨迹。

轨迹自动识别：通过产品实物图或者模拟图，采用图像自动识别以形成轨迹(比如白纸上画形状，拍照自动生成)。

轨迹拼接：对于比较大尺寸的产品，需要把多段轨迹进行合成，以形成整体轨迹。

步骤五：设备预行

胶阀针头进入落针点上方进行等待，通过组合旋转编码器和滚轮，以编码器信号反馈来监控速度变化，实时比对计算旋转编码器反馈的位置信息与产品触发拍摄时记录的位置信息及来料的运行速度。

步骤六：跟踪点胶

当产品进入涂胶区域时，移动胶阀针头进入轨迹起始点，以当前产品速度与产品进行同向运动，同时根据校正后的轨迹，与产品进行叠加相对运动，控制胶阀完成涂胶作业。

其具体步骤包括：

第一步，五点标定，在图像上随机选取五个标定点，通过五点标定方法，使图像坐标系与运动坐标系建立关系，同时确定像素比例；

第二步，三点标定，以三种不同姿态使点胶针头同时指向空间中的一点，通过该标定方法，示教针头对应的工具坐标系；

第三步，跟随运动标定，根据第一步建立的运动坐标关系，同时结合编码器反馈速度，使运动机构与产品同向跟随运动。但如果此时来料在流水线上所剩的位移距离已不满足涂胶作业所需距离，则该产品不进行涂胶。

步骤七：跟踪点胶

当产品涂胶完成，回清洁位启动胶阀清洁模块，清洁完成再进行下一片来料的作业；无如下一片来料或下一片来料因距离不足无法完成涂胶，则不进行涂胶。

当然也可以每涂胶N片来料后在回清洁位，启动胶阀清洁模块，进行清洁胶阀针头，合理规划能够提高加工效率。

本发明实施例仅例示性说明本发明的原理及其功效，而非用于限制本发明的。任何熟悉此技术的人士皆可在不违背本发明的精神及范畴下，对上述实施例进行修饰或改变。因此，举凡所属技术领域中具有通常知识者在未脱离本发明的所揭示的精神与技术思想下所完成的一切等效修饰或改变，仍应由本发明的权利要求所涵盖。

Claims (12)

1.基于流水线的自动跟踪点胶方法，其特征在于：步骤包括：

第一、来料感应；通过传感器或图像采集对来料触发图像捕捉；

第二、图像获取；通过至少一个图像采集装置拍摄来料的轮廓及位置；

第三、图像处理；基于来料的轮廓图像建立模板，并通过模板匹配法匹配相同或相似产品；对匹配的模板结合形态分析法拟合出符合对应产品几何参数的来料模型；

基于来料的位置图像建立图像坐标系，并根据五点标定法来关联图像坐标系与设备运动坐标系；将来料模型与图像坐标系结合确定当前来料在设备运动坐标系中的坐标和角度；

第四、轨迹编辑；通过预设的加工轨迹、或手动操作轨迹对来料模型进行加工过程的模拟示教，根据来料的坐标和角度校正加工轨迹，并于点胶区内确定加工轨迹对应的实际起点；

第五、设备预行；点胶装置位移至所述实际起点；通过接触式传感或非接触式传感来判断来料在图像捕捉后任意时刻的位置和来料的运行速度；

第六、跟踪点胶：来料进入点胶区后经过实际起点，控制点胶装置与来料同步移动，同时点胶装置根据校正后的加工轨迹与来料以叠加相对运动的方式进行点胶作业；

第七、清洁胶阀：来料涂胶完成，对点胶装置进行胶阀清洁后等待下一个来料。

2.根据权利要求1所述的基于流水线的自动跟踪点胶方法，其特征在于：第二步中所述图像采集装置，或根据传感器检测来料位置来触发对来料的图像捕捉过程，或通过实时不间断拍摄来料的进行图像捕捉。

3.根据权利要求2所述的基于流水线的自动跟踪点胶方法，其特征在于：所述传感器包括但不限于：对射光源、反射光纤、金属接近传感器、机械微动感应器。

4.根据权利要求1所述的基于流水线的自动跟踪点胶方法，其特征在于：第三步所述图像处理时，确定模板的步骤包括：

A.建立模板；根据来料的轮廓图像上产品特征点，选取包含特征点的一个或多个区域作为模板特征来建立一个或多个模板；

B.模板匹配；根据模板进行匹配，若模板与产品的匹配值低于设定值时，则重新建立模板或调整模板参数；

C.模板确定；模板匹配后，基于模板和来料的轮廓图像并结合形态分析法拟合出来料模型。

5.根据权利要求1所述的基于流水线的自动跟踪点胶方法，其特征在于：第三步中根据来料图像确立模板后，对模板进行预处理包括：有效区域选择、干扰信息涂抹、锐化处理、轮廓筛选。

6.根据权利要求1所述的基于流水线的自动跟踪点胶方法，其特征在于：第三步中所述模板匹配法包括但不限于：单模板匹配法、多模板匹配法、同一图像模板匹配多个同种产品、同一图像模板匹配多个不同产品、指定角度范围内的图像模板匹配、不完整图像模板匹配。

7.根据权利要求1所述的基于流水线的自动跟踪点胶方法，其特征在于：第四步中，对来料模型进行加工轨迹的示教方式包括：手动示教、图像示教、导入示教、轨迹自动识别示教、轨迹拼接示教。

8.根据权利要求1所述的基于流水线的自动跟踪点胶方法，其特征在于：第五步中接触式传感包括：实时比对流水线上旋转编码器反馈的位置信息与来料识别时图像捕捉的来料位置信息，判断来料在图像捕捉后任意时刻的位置和来料在流水线上的运行速度。

9.根据权利要求1所述的基于流水线的自动跟踪点胶方法，其特征在于：第五步中非接触式传感包括：通过激光传感器或光电感应器或流量传感器或图像传感器中的一种或多种的组合来监控流水线速度变化。

10.根据权利要求1所述的基于流水线的自动跟踪点胶方法，其特征在于：第一步所述来料识别前，基于九宫格标定法及Halcon算法库对图像采集装置的镜头进行畸变校正。

11.根据权利要求1所述的基于流水线的自动跟踪点胶方法，其特征在于：所述图像采集装置包括：搭配广角镜头或远心镜头的2D相机、固定式3D线激光扫描仪。

12.根据权利要求1所述的基于流水线的自动跟踪点胶方法，其特征在于：第五步中点胶装置移动前，通过三点标定法示教胶阀针头对应的工具坐标系。

Images