CN111460955A - 一种自动跟踪点胶设备上的图像识别及处理系统 - Google Patents

Abstract

本发明公开了一种自动跟踪点胶设备上的图像识别及处理系统，适配于不间断送料的流水线上，通过一个或多个图像采集设备实时监控或捕捉流水线上来料的图像信息：包括：图像获取模块：通过一个或多个图像采集设备实时监控或捕捉流水线上来料的图像信息；包括：图像处理模块：基于来料的轮廓图像信息建立模板，通过模型匹配算法及形态学分析法拟合出对应产品的模板模型；基于来料的位置图像，通过五点标定法来关联图像坐标系与设备运动坐标系，并确定当前来料在设备运动坐标系中的坐标及角度；包括：轨迹编辑模块：通过预设的点胶轨迹、或手动操作轨迹对来料模型进行加工过程的模拟示教，并根据来料的坐标和角度校正点胶轨迹。

Description

一种自动跟踪点胶设备上的图像识别及处理系统

技术领域

本发明涉及智能制造、设备自动化、流体控制等技术领域，尤其涉及一种自动跟踪点胶设备上的图像识别及处理系统。

背景技术

在常规的产品点胶工艺中，大部分的产品如果要进行点胶作业，基本上都需要进行以下流程：搬运上料—载具/机械定位—视觉定位—涂胶作业—搬运下料等；而该流程中，真正产生价值的，只有“涂胶作业”这一流程，其余流程都是辅助性流程，是不必要的。

目前，行业内大致有三种点胶作业方法，但他们分别各有不足。例如：

1、手工点胶：人工成本上升，精度差，完全依赖作业员的熟练度，良品率低；

2、桌面式点胶机：对治具精度要求高，人员不稳定；

3、全自动机：成本高，对于流水线前后制程有要求，灵活性差。

同时，在传统的点胶作业中，治具/载具必不可少，这就导致如需更换另一种产品进行生产，则必须停机，手工更换载具、调试轨迹等等，才能恢复生产，此步骤费时费力，而且无法满足产线小批量、多批次、多种类的产品生产场景。

发明内容

本发明提供的一种技术方案是一种自动跟踪点胶设备上的图像识别及处理系统。

本发明的技术方案是：用于通过一个或多个特定传感器，检测流水线上产品实际到达某个位置。采用图像获取模块识别产品图像及位置，通过建模和建立坐标系来生成来料的虚拟模型及坐标点，根据预设的加工轨迹进行模拟。

具体的，图像获取模块：用于通过一个或多个广角摄像头(大视野)，全局覆盖流水线流动区域，实时监控和捕捉在流水线上流动产品的图像信息，该图像信息包括产品类型和与产品位置信息。

图像获取模块包括：2D相机控制单元和3D相机控制单元。

2D相机控制单元包括：

2D相机大视野获取，采用2D相机搭配广角镜头/远心镜头，多种类型光源等，以获取较大视野，便于捕捉较大尺寸产品；

2D相机视野切割，2D相机单相机画面区域切割方案，可以把单个相机视野，切割为多个独立的视野，以进行独立监控；

2D相机视野合并，把多个2D相机的多个视野区域，通过软件算法令其合并拼接为一个视野，获得一个巨大的视野，进行更大范围内的监控和捕捉。

3D相机控制单元包括：

3D图像采集获取，通过使用固定式3D线激光，直接扫描流水线上移动的产品3D轮廓，合成生成产品轮廓图和具体位置信息。

图像处理模块：使用但不限于单/多模板匹配算法，同时图像结合形态学分析，几何图形（如点、线、圆弧）的拟合，确定产品的类型和产品的中心点坐标和旋转角度。

具体的，图像处理模块包括：

模板建立模块单元，通过该模块可针对产品特征建立一个或多个模板，同时能够针对模板进行预处理（选择有效区域、涂抹干扰信息、锐化处理、轮廓删选等操作），以保障得到的模板质量优秀。

模板匹配算法单元：采用特定算法库进行图像处理，可以单模板匹配，也可以进行多模板匹配可以在同一图像中匹配多个同种产品，也可以匹配多个不同种产品，可以指定在一定角度范围内进行匹配，在模板被遮挡部分下进行匹配等等。

定制图像处理算法，在模板匹配的基础下，对产品进行形态学分析，根据产品特征拟合出特定的几何形状（如点、线、圆弧），从而实现对产品的精确定位。

坐标匹配单元，根据五点标定法来关联图像坐标系与设备运动坐标系；将来料模型与图像坐标系结合确定当前来料在设备运动坐标系中的中心点坐标和旋转角度。

在建立模板之前，还需要对相机进行校准，本方案中采用畸变标定，通过该标定方法实现相机畸变标定，校正相机镜头带来的枕形畸变和桶形畸变。

轨迹编辑模块：用于预编辑和示教产品的涂胶轨迹，通过预设的点胶轨迹、或手动操作轨迹对来料模型进行加工过程的模拟示教，并根据来料的坐标和角度校正点胶轨迹。

具体的，轨迹编辑模块包括：

手动示教单元，通过手动操作程序界面/手持示教盒来移动点胶针头，通过肉眼对准对应点位进行轨迹编辑。

图像示教单元，通过拍摄一张产品的全局图片，鼠标在图像中选取对应点位或者滑动鼠标来示教轨迹。

DXF导入单元，通过导入预先编辑的DXF文件(CAD编辑)，形成涂胶轨迹。

轨迹自动识别单元，通过产品实物图或者模拟图，采用图像自动识别以形成轨迹(比如白纸上画形状，拍照自动生成)。

轨迹拼接单元，对于比较大尺寸的产品，需要把多段轨迹进行合成，以形成整体轨迹。

在控制设备运动前，需要对胶阀针头的运动坐标系进行校准，通过三点标定法，选择三个标定点，示教点胶针头对应的工具坐标系。

本发明的优点是：

1、本设备无需载具即可生产作业，通过视觉识别产品类型，自动切换对应产品配方，可以实现不停机、多产品混线生产，这无疑大大提高了生产线的适应性，满足工厂多样性产品同时生产的痛点。

2、本设备可以在不改变客户现有流水线生产环境的前提下，以最低成本进行改造，使其实现自动化生产，大大提升生产线生产效率及设备复用率，使产线资产充分发挥效能。

附图说明

下面结合附图及实施例对本发明作进一步描述：

图1为图像识别及处理系统的原理框图；

图2为适用于本系统的跟踪点胶设备。

具体实施方式

本方案的一较佳实施例

图像获取

采用一个或多个相机，拍摄流水线上运动的产品，获取来料的轮廓图像和记录位置信息。一般采用2D相机和3D线激光扫描结合，通过2D画面和3D轮廓拟合出来料外形。

图像获取的具体过程包含两个子步骤：

A.搭建合适的光学系统，根据来料特性和背景环境，选择合适的光源组合和安装角度，选择合适的高分辨率相机镜头（本模型采用的是8mm广角镜头，以获得400*400mm的大视野范围），调整合适的相机参数（曝光值、增益值等等），以获得一张亮度均匀的高质量原始图像；

B.相机镜头本身的畸变校正。

本发明中提供的相机校正标定方法，大致分为两个步骤：

第一步、为标定动作，通过该步骤得到相机校正内外参数；采用九宫格标定方法，基于Halcon算法库实现，采用120mm*120mm浮法玻璃标定板，其上均匀分布7*7个圆点，每个圆点的印刷工艺精度为1um。标定过程为在相机视野中移动标定板，均匀分布9个位置，分别取相，进行计算。

第二步、为图像校正，通过第一步得出的校正参数，对获取的原始图像进行畸变校正，还原出校正后的真实的图像画面。

图像处理

通过单/多模板匹配算法，同时图像结合形态学分析，几何图形（如点、线、圆弧）的拟合等等方式，将获取的图像与预先设定的多种产品特征进行匹配，以确定当前来料类型与来料的中心点坐标和旋转角度。

第一，建立模板并确定模板

建模及模型匹配具体分为三个子步骤：

A.建立模板，作为预备工作，先通过相机拍摄来料图像，在根据来料特征，选取一个或多个特征区域，建立模板；

B.模板匹配，在模板建立完成后，调整模板位置及姿态，以现有产品图像数据进行匹配处理，观察匹配效果，如匹配效果不理想（匹配分数达不到预设分数），那么需要重新示教模板，或者调整模板参数（调整匹配分数或调整模板角度），从而优化模板。

C.对于无明显特征的产品或者单纯模板匹配精度不满足要求的来料，可选择在模板匹配后，同时图像结合形态学分析，通过几何图形（如点、线、圆弧）的拟合等等方式，进一步对产品进行定位和识别。

第二，关联坐标系

基于来料的位置图像建立图像坐标系，在图像上随机选择五个标定点，根据五点标定法来关联图像坐标系与设备运动坐标系，同时决定像素比例。将来料模型与图像坐标系结合确定当前来料在设备运动坐标系中的中心点坐标和旋转角度。

轨迹编辑

通过已确定的产品类型自动切换产品配方并调取对应预设轨迹；根据已确定的中心坐标和旋转角度，对预设轨迹进行校正，确定轨迹起始点(即落针点)，此后移动胶阀针头进入该点上方进行等待。

在该步骤中，需要先进行模板轨迹示教，作为预备工作，可采取多种方式（包含但不限于手动示教、图像示教、DXF导入、轨迹自动识别、轨迹拼接等）。

手动示教：通过手动操作程序界面/手持示教盒来移动点胶针头，通过肉眼对准对应点位进行轨迹编辑。

图像示教：通过拍摄一张产品的全局图片，鼠标在图像中选取对应点位或者滑动鼠标来示教轨迹。

DXF导入：通过导入预先编辑的DXF文件(CAD编辑)，形成涂胶轨迹。

轨迹自动识别：通过产品实物图或者模拟图，采用图像自动识别以形成轨迹(比如白纸上画形状，拍照自动生成)。

轨迹拼接：对于比较大尺寸的产品，需要把多段轨迹进行合成，以形成整体轨迹。

本发明实施例仅例示性说明本发明的原理及其功效，而非用于限制本发明的。任何熟悉此技术的人士皆可在不违背本发明的精神及范畴下，对上述实施例进行修饰或改变。因此，举凡所属技术领域中具有通常知识者在未脱离本发明的所揭示的精神与技术思想下所完成的一切等效修饰或改变，仍应由本发明的权利要求所涵盖。

Claims (10)

1.一种自动跟踪点胶设备上的图像识别及处理系统，适配于不间断送料的流水线上，其特征在于：通过一个或多个图像采集设备实时监控或捕捉流水线上来料的图像信息：

包括：图像获取模块：通过一个或多个图像采集设备实时监控或捕捉流水线上来料的图像信息；所述图像获取模块包括2D相机控制单元和3D相机控制单元；

所述图像采集设备包括：搭配广角镜头或远心镜头的2D相机、固定式3D相机光扫描仪；

包括：图像处理模块：基于来料的轮廓图像信息建立模板，通过模型匹配算法及形态学分析法拟合出对应产品的模板模型；基于来料的位置图像，通过五点标定法来关联图像坐标系与设备运动坐标系，并确定当前来料在设备运动坐标系中的坐标及角度；

所述图像处理模块包括：相机标定单元、模板建立单元、模板匹配单元、坐标匹配单元；

包括：轨迹编辑模块：通过预设的点胶轨迹、或手动操作轨迹对来料模型进行加工过程的模拟示教，并根据来料的坐标和角度校正点胶轨迹；

所述轨迹编辑模块包括：手动示教单元、图像示教单元、文件导入单元、轨迹识别单元、轨迹拼接单元。

2.根据权利要求1所述的一种自动跟踪点胶设备上的图像识别及处理系统，其特征在于：所述2D相机控制单元，通过把2D相机拍摄画面区域切割为多个独立的视野进行独立监控；或通过把多个2D相机拍摄画面合并拼接为一个视野进行大范围监控。

3.根据权利要求1所述的一种自动跟踪点胶设备上的图像识别及处理系统，其特征在于：所述3D相机控制单元，通过直接扫描流水线上移动来料的3D轮廓合成生成产品轮廓图像和位置信息。

4.根据权利要求1所述的一种自动跟踪点胶设备上的图像识别及处理系统，其特征在于：所述相机标定单元，通过畸变标定法实现相机标定，校正相机镜头带来的枕形畸变和桶形畸变。

5.根据权利要求1所述的一种自动跟踪点胶设备上的图像识别及处理系统，其特征在于：所述模板建立单元，根据来料的轮廓图像上产品特征点，选取包含特征点的一个或多个区域作为模板特征来建立一个或多个模板。

6.根据权利要求1所述的一种自动跟踪点胶设备上的图像识别及处理系统，其特征在于：所述模板匹配单元，根据模板进行匹配，若模板与产品的匹配值低于设定值时，则重新建立模板或调整模板参数；模板匹配后，基于模板和来料的轮廓图像并结合形态分析法拟合出来料模型。

7.根据权利要求1所述的一种自动跟踪点胶设备上的图像识别及处理系统，其特征在于：所述坐标匹配单元，根据五点标定法来关联图像坐标系与设备运动坐标系；将来料模型与图像坐标系结合确定当前来料在设备运动坐标系中的中心点坐标和旋转角度。

8.根据权利要求1所述的一种自动跟踪点胶设备上的图像识别及处理系统，其特征在于：所述手动示教单元，通过手动操作程序界面/手持示教盒来移动点胶针头，通过肉眼对准对应点位进行轨迹编辑。

9.根据权利要求1所述的一种自动跟踪点胶设备上的图像识别及处理系统，其特征在于：所述图像示教单元，通过当前来料的全局图像，在图像中选取对应点位或者滑动轨迹来示教。

10.根据权利要求1所述的一种自动跟踪点胶设备上的图像识别及处理系统，其特征在于：所述文件导入单元，通过导入预先编辑的文件形成涂胶轨迹；所述轨迹识别单元，通过产品实物图或者模拟图，采用图像自动识别以形成轨迹；所述轨迹拼接单元，通过导入多段轨迹进行合成，以形成整体轨迹。

Images