CN116630333A - 在线监测激光雷达光学镜片点胶质量的方法 - Google Patents

在线监测激光雷达光学镜片点胶质量的方法 Download PDF

Info

Publication number
CN116630333A
CN116630333A CN202310923737.XA CN202310923737A CN116630333A CN 116630333 A CN116630333 A CN 116630333A CN 202310923737 A CN202310923737 A CN 202310923737A CN 116630333 A CN116630333 A CN 116630333A
Authority
CN
China
Prior art keywords
glue
optical lens
area
detection
value
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202310923737.XA
Other languages
English (en)
Other versions
CN116630333B (zh
Inventor
顾恭宇
曲东升
陈辉
李长峰
罗文�
马腾
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Changzhou Mingseal Robotic Technology Co Ltd
Original Assignee
Changzhou Mingseal Robotic Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Changzhou Mingseal Robotic Technology Co Ltd filed Critical Changzhou Mingseal Robotic Technology Co Ltd
Priority to CN202310923737.XA priority Critical patent/CN116630333B/zh
Publication of CN116630333A publication Critical patent/CN116630333A/zh
Application granted granted Critical
Publication of CN116630333B publication Critical patent/CN116630333B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/28—Measuring arrangements characterised by the use of optical techniques for measuring areas
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06K—GRAPHICAL DATA READING; PRESENTATION OF DATA; RECORD CARRIERS; HANDLING RECORD CARRIERS
    • G06K17/00—Methods or arrangements for effecting co-operative working between equipments covered by two or more of main groups G06K1/00 - G06K15/00, e.g. automatic card files incorporating conveying and reading operations
    • G06K17/0022—Methods or arrangements for effecting co-operative working between equipments covered by two or more of main groups G06K1/00 - G06K15/00, e.g. automatic card files incorporating conveying and reading operations arrangements or provisious for transferring data to distant stations, e.g. from a sensing device
    • G06K17/0025—Methods or arrangements for effecting co-operative working between equipments covered by two or more of main groups G06K1/00 - G06K15/00, e.g. automatic card files incorporating conveying and reading operations arrangements or provisious for transferring data to distant stations, e.g. from a sensing device the arrangement consisting of a wireless interrogation device in combination with a device for optically marking the record carrier
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/90—Dynamic range modification of images or parts thereof
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/13—Edge detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/60—Analysis of geometric attributes
    • G06T7/62—Analysis of geometric attributes of area, perimeter, diameter or volume
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02A—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
    • Y02A90/00—Technologies having an indirect contribution to adaptation to climate change
    • Y02A90/10—Information and communication technologies [ICT] supporting adaptation to climate change, e.g. for weather forecasting or climate simulation

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Engineering & Computer Science (AREA)
  • Geometry (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Quality & Reliability (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Chemical & Material Sciences (AREA)
  • Analytical Chemistry (AREA)
  • Biochemistry (AREA)
  • General Health & Medical Sciences (AREA)
  • Immunology (AREA)
  • Pathology (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Abstract

本发明公开了一种在线监测激光雷达光学镜片点胶质量的方法，包括以下步骤：第1步骤、利用检测视觉模组中的相机对经过点胶后的光学镜片进行拍摄，得到一幅胶水与背景形成高对比度的待检测图像；第2步骤、视觉基于灰度共生矩阵的特征匹配算法实现光学镜片胶水的初定位；第3步骤、使用彩色图像分解技术和图像Blob特征分析技术提取目标胶水；第4步骤、通过算子得出胶水的像素面积值，结合标定获取的像素当量，计算胶水实际面积值；第5步骤、输出胶水实际面积值，根据MES终端系统获取的管控面积上下限判断胶水实际面积是否在接受范围之内。该光学镜片检测方法实现贴装在激光雷达镜筒的光学镜片的点胶工艺质量在线检测。

Description

在线监测激光雷达光学镜片点胶质量的方法
技术领域
本发明涉及点胶的技术领域，尤其是一种在线监测激光雷达光学镜片点胶质量的方法。
背景技术
随着汽车智能驾驶的普及，激光雷达在车辆上的应用越来越广泛，激光雷达的镜筒需要安装反射镜和透镜等光学镜片，在将光学镜片通过点胶技术固定在镜筒上时，采用人工光学检测的方式已无法适应该领域的检测需求，现今多会利用机器视觉技术进行激光雷达的反射镜和透镜的点胶质量检测。使用机器视觉技术对反射镜和透镜进行点胶质量检测时，胶水的点胶位置和点胶量会被作为工艺质量的重要指标。
对于激光雷达的反射镜点胶质量的检测，现有较多的激光雷达厂商的检测方式，通常为人工目检的方法，该人工目检方法不能在点胶设备点胶过程中进行实时的在线检测，对比实际检测值与生产管控标准值的误差，使得现场操作人员或点胶设备无法在点胶质量错误时及时做出响应，从而造成激光雷达的不良率升高。
对于激光雷达的透镜点胶质量的检测，由于当前点胶站的点胶视觉组件是垂直安装的方式，镜筒呈垂直摆放，镜筒的两个点胶槽分别位于镜筒的两侧，故当前点胶站的点胶视觉组件无法捕捉到镜筒两个侧面的点胶槽，所以需要利用下一点胶站的上料机机械手侧面的横置点胶视觉组件完成对透镜的点胶质量检测，从而实现激光雷达的透镜的点胶工艺在线检测，使现场操作人员及时捕捉点胶质量信息，调整设备状态，提高激光雷达的生产良率。
发明内容
本发明旨在至少解决现有技术中存在的技术问题之一。
为此，本发明提出一种在线监测激光雷达光学镜片点胶质量的方法，实现贴装在激光雷达镜筒的光学镜片的点胶工艺质量在线检测。
根据本发明实施例的一种在线监测激光雷达光学镜片点胶质量的方法，包括以下步骤：
第1步骤、利用检测视觉模组中的相机对经过点胶后的光学镜片进行拍摄，得到一幅胶水与背景形成高对比度的待检测图像；
第2步骤、视觉基于灰度共生矩阵的特征匹配算法实现光学镜片胶水的初定位；
第3步骤、使用彩色图像分解技术和图像Blob特征分析技术提取目标胶水；
第4步骤、通过算子得出胶水的像素面积值PArea，结合标定获取的像素当量S，计算胶水实际面积值RA，胶水的像素面积值PArea与像素当量S的乘积即为胶水实际面积值RA；
像素当量S的计算公式如下：
其中，以上公式中各个符号所表示的含义具体如下：
表示拟合的矩形轮廓对应标定板上实际矩形轮廓物理尺寸的长度；
表示拟合的矩形轮廓对应标定板上实际矩形轮廓物理尺寸的宽度；
表示视觉在图像中拟合的其中一个矩形轮廓在图像中的长度；
表示视觉在图像中拟合的其中一个矩形轮廓在图像中的宽度；
第5步骤、输出胶水实际面积值RA，根据MES终端系统获取的管控面积上下限判断胶水实际面积是否在接受范围之内。
本发明的有益效果是，采用视觉基于灰度共生矩阵的特征匹配算法初定位光学镜片胶水位置的方式可有效解决来料位置偏差问题，将实际的像素当量加入胶水像素面积中计算，可获得实际胶水面积，从而判断胶量是否满足。
根据本发明一个实施例，所述检测视觉模组中的相机为彩色相机。
根据本发明一个实施例，所述检测视觉模组还包括环形光源，所述环形光源位于所述光学镜片与所述相机的镜头之间。
根据本发明一个实施例，当检测视觉模组立式布局时，则所述镜头的轴线、所述环形光源的轴线以及所述光学镜片的轴线位于同一条竖直线上。
根据本发明一个实施例，所述检测视觉模组还包括UV光源，所述UV光源临近所述光学镜片。
根据本发明一个实施例，当检测视觉模组卧式布局时，则所述镜头的轴线、所述环形光源的轴线以及所述光学镜片的轴线位于同一条水平线上。
根据本发明一个实施例，所述环形光源为白色环形光源。
根据本发明一个实施例，所述UV光源为紫外光源。
根据本发明一个实施例，当光学镜片立式布置时，则该方法具体包括以下步骤：
第1．1步骤、移动检测视觉模组的镜头，直至镜头检测光学镜片位于图像的中间区域；
第1.2步骤、移动调焦镜头的Z轴，使得光学镜片清晰成像，并微调镜头的X轴和镜头的Y轴，使得光学镜片位于视野中间，且光学镜片上的左右两道胶水完整的呈现于视野中；
第1.3步骤、抬起UV顶伸气缸，以将UV光源抬起至工作位置，打开UV光源，调节相机曝光值和相机增益值，使光学镜片上的左右两道胶水的成像效果与其余背景形成高对比度；
第1.4步骤、基于视觉的灰度共生矩阵特征匹配算法初定位光学镜片的胶水位置；
第1.5步骤、使用彩色图像分解技术选取胶水高对比度特征图像，分解出胶水呈白色、背景呈黑色的图像，胶水特征的灰度值趋向于255，而背景的灰度值趋向于0；
第1.6步骤、使用Blob特征分析技术提取胶水特征，根据提取的胶水特征可获取胶水区域中心坐标位置，再根据坐标位置区分两道胶水的左右相对位置；
第1.7步骤、通过算子area_center（region，&area，&row，&col）得出左右两道胶水的像素面积值，即得到左道胶水像素面积值LeftPA和右道胶水像素面积值RightPA，结合标定获取的像素当量ScaleP1，计算左道胶水实际面积值LeftA和右道胶水实际面积值RightA；
第1.8步骤、输出左道胶水实际面积值LeftA和右道胶水实际面积值RightA，根据MES终端系统获取的管控面积上下限判断左道胶水实际面积值LeftA、右道胶水实际面积值RightA是否可接受范围之内。
根据本发明一个实施例，当光学镜片卧式布置时，则该方法具体包括以下步骤：
第2.1步骤、移动机械手，机械手抓取光学镜片，机械手将光学镜片移动至检测视觉模组前；
第2.2步骤、微调机械手，调节检测视觉模组的相机曝光值和光源亮度，使得光学镜片上的二维码和胶水能清晰成像；需要说明的是，此时，可以增加调节相机增益值，其目的与曝光值和光源亮度相同，都是用于调节图像整体亮度。
第2.3步骤、利用检测视觉模组扫描二维码，基于视觉的灰度共生矩阵特征匹配算法初定位光学镜片的A面胶水位置；需要说明的是，扫描二维码用于记录光学镜片位于哪一道工站，便于生产的信息智能化管理。
第2.4步骤、使用颜色检测技术提取A面胶水区域特征：当检测区域外存在胶水时，则判定为溢胶；当检测区域外不存在胶水时，则判定为不溢胶，同时对正常检测区域内的A面胶水进行胶量的判定；需要说明的是，在色彩空间中，每种不同的颜色具备独有的R值、G值和B值，以及H值（色调）、S值（饱和度）和V值（亮度），根据胶水上述的特征值，提取A面胶水区域；
第2.5步骤、通过算子area_center（region，&area，&row，&col）得出A面胶水的像素面积值areaPA，结合标定获取的像素当量ScaleP2，计算A面胶水实际面积值areaA；
第2.6步骤、机械手翻转光学镜片，基于视觉的灰度共生矩阵特征匹配算法初定位光学镜片的B面胶水位置；需要说明的是，在初定位光学镜片的B面胶水位置前不需要扫描二维码，因为一个工件上只有一个码，且该码存在于A面。
第2.7步骤、使用颜色检测技术提取B面胶水区域特征，当检测区域外存在胶水时，则判定为溢胶；当检测区域外不存在胶水时，则判定为不溢胶，同时对正常检测区域内的B面胶水进行胶量的判定；
第2.8步骤、通过算子area_center（region，&area，&row，&col）得出B面胶水的像素面积值areaPB；结合标定获取的像素当量ScaleP2，计算B面胶水实际面积值areaB；
第2.9步骤、输出A面胶水实际面积值areaA和B面胶水实际面积值areaB，根据MES终端系统获取的管控面积上下限判断A面胶水实际面积和B面胶水实际面积是否可接受范围之内。
本发明的其他特征和优点将在随后的说明书中阐述，并且，部分地从说明书中变得显而易见，或者通过实施本发明而了解。本发明的目的和其他优点在说明书以及附图中所特别指出的结构来实现和获得。
为使本发明的上述目的、特征和优点能更明显易懂，下文特举较佳实施例，并配合所附附图，作详细说明如下。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请中记载的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本发明总的流程图；
图2是实现本发明的第一种在线监测设备结构示意图；
图3是图2的在线监测流程图；
图4是针对第一种在线监测设备所施行的监测方法中的胶水特征原图；
图5是针对第一种在线监测设备所施行的监测方法中的彩色图像分解图；
图6是针对第一种在线监测设备所施行的监测方法中的检测结果图；
图1～6中的标号为：1、相机；2、镜头；3、环形光源；4、UV光源；5、光学镜片；6、第一区域；7、第二区域；8、第三区域；9、第四区域；10、第五区域；11、第六区域；12、第七区域。
图7是实现本发明的第二种在线监测设备结构示意图；
图8是图7的在线监测流程图；
图9是针对第二种在线监测设备所施行的监测方法中的胶水特征原图；
图10是针对第二种在线监测设备所施行的监测方法中的检测结果图。
图7～10中的标号为：20、相机；21、镜头；22、环形光源；23、光学镜片；13、第八区域；14、第九区域；15、第十区域；16、第十一区域；17、第十二区域；18、第十三区域；19、第十四区域。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
在本发明的描述中，需要理解的是，术语“一侧”、“另一侧”、“两侧”、“之间”、“中部”、“上端”、“下端”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。
在本发明的描述中，需要说明的是，除非另有明确的规定和限定，术语 “设置”、“连接”应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或一体地连接，可以是直接相连，也可以通过中间媒介间接相连。对于本领域的普通技术人员而言，可以具体情况理解上述术语在本发明中的具体含义。
下面参考附图具体描述本发明实施例的在线监测激光雷达光学镜片点胶质量的方法。
见图1，本发明的在线监测激光雷达光学镜片点胶质量的方法，包括以下步骤：
第1步骤、利用检测视觉模组中的相机1对经过点胶后的光学镜片5进行拍摄，得到一幅胶水与背景形成高对比度的待检测图像；
第2步骤、视觉基于灰度共生矩阵的特征匹配算法实现光学镜片5胶水的初定位，将模板的检测区域仿射变换至正确位置；
第3步骤、使用彩色图像分解技术和图像Blob特征分析技术提取目标胶水；
第4步骤、计算胶水像素面积值，根据像素当量转化成胶水实际面积：通过算子得出胶水的像素面积值PArea，结合标定获取的像素当量S，计算胶水实际面积值RA，胶水的像素面积值PArea与像素当量S的乘积即为胶水实际面积值RA；像素当量S的计算公式如下：
其中，以上公式中各个符号所表示的含义具体如下：
表示拟合的矩形轮廓对应标定板上实际矩形轮廓物理尺寸的长度；
表示拟合的矩形轮廓对应标定板上实际矩形轮廓物理尺寸的宽度；
表示视觉在图像中拟合的其中一个矩形轮廓在图像中的长度；
表示视觉在图像中拟合的其中一个矩形轮廓在图像中的宽度。
第5步骤、输出胶水实际面积值RA，根据MES终端系统获取的管控面积上下限判断胶水实际面积是否在接受范围之内，需要说明的是，其中MES终端系统获取的管控面积上下限是由客户设置的一个标准，当输出值在标准范围内，则说明当前光学镜片的点胶质量合格；当输出值不在标准范围内，则说明当前光学镜片的点胶质量不合格。
其中，检测视觉模组中的相机为彩色相机，由于胶水本身具有颜色特性，所以需要使用彩色相机才能凸显胶水颜色，进而在获取彩色图像的基础上进行相应的算法处理。检测视觉模组还包括环形光源，环形光源位于光学镜片与相机的镜头之间。环形光源为白色环形光源。
见图2～6，当检测视觉模组立式布局时，则镜头2的轴线、环形光源3的轴线以及光学镜片5的轴线位于同一条竖直线上，检测视觉模组还包括UV光源4，UV光源4临近光学镜片5，且相机1为500万彩色相机，UV光源4为375nm的紫外光源，结合白色环形光源，满足点胶定位的同时，兼顾点胶质量的检测，紫外光源能使带荧光剂的透明胶水呈现荧光反应。即，当光学镜片5立式布置时，则该方法具体包括以下步骤：
第1．1步骤、移动镜头直至检测光学镜片位于视野中央：移动检测视觉模组的镜头2，直至镜头2检测光学镜片5位于图像的中间区域；
第1.2步骤、移动调焦Z轴至图像清晰：移动调焦镜头2的Z轴，使得光学镜片5清晰成像，并微调镜头2的X轴和镜头2的Y轴，使得光学镜片5位于视野中间，且光学镜片5上的左右两道胶水完整的呈现于视野中；
第1.3步骤、抬起UV顶伸气缸，打开UV光源4，调节相机1曝光值和增益值，使胶水与背景形成高对比度：抬起UV顶伸气缸，以将UV光源抬起至工作位置，打开UV光源4，调节相机1曝光值和相机1增益值，使光学镜片5上的左右两道胶水的成像效果与其余背景形成高对比度，使用UV光源4，使带荧光剂的胶水在UV照射下产生荧光反应，拍照取图；
第1.4步骤、基于视觉的灰度共生矩阵特征匹配算法初定位光学镜片的胶水位置，操作人员可自由开启或关闭：初定位光学镜片5位置，当操作人员开启视觉基于灰度共生矩阵的特征匹配时，则可以初定位光学镜片胶水位置；需要说明的是，操作人员根据光学镜片来料位置的一致性高低，可选择是否启用基于灰度共生矩阵特征匹配的功能，若来料位置一致性高，则可选择关闭，否则需开启此功能；若关闭后，视觉只在绘制的检测区域中进行检测，且检测区域位于图像的固定位置，不跟随来料光学镜片在图像中的位置变化而变化。
第1.5步骤、视觉对RGB三色图像进行分解，分别获取R、G、B、H、S、V和Gray图像，彩色图像分解选取胶水与背景高对比特征图像：使用彩色图像分解技术选取胶水高对比度特征图像，分解出胶水呈白色、背景呈黑色的图像，胶水特征的灰度值趋向于255，而背景的灰度值趋向于0；
第1.6步骤、使用Blob特征分析技术提取胶水特征，根据提取的胶水特征可获取胶水区域中心坐标位置，再根据坐标位置区分两道胶水的左右相对位置：视觉对分解后的图像进行Blob分析，提取胶水区域，视觉根据胶水的像素坐标位置区分两道胶水的位置，并分割胶水左右位置，即提取胶水特征，通过根据像素坐标的位置特征分割，区分两道胶水的左右位置；
第1.7步骤、计算胶水实际面积：通过算子area_center（region，&area，&row，&col）得出左右两道胶水的像素面积值，即得到左道胶水像素面积值LeftPA和右道胶水像素面积值RightPA，结合标定获取的像素当量ScaleP1，计算左道胶水实际面积值LeftA和右道胶水实际面积值RightA；
左道胶水实际面积值的计算公式如下：
LeftA=LeftPA*ScaleP1（1）
右道胶水实际面积值的计算公式如下：
RightA=RightPA*ScaleP1（2）
第1.8步骤、判定胶水面积是否在公差范围内：输出左道胶水实际面积值LeftA和右道胶水实际面积值RightA，根据MES终端系统获取的管控面积上下限判断左道胶水实际面积值LeftA、右道胶水实际面积值RightA是否可接受范围之内。
该方法中的光学镜片5为反射镜，视觉基于灰度共生矩阵的特征匹配算法初定位光学镜片5胶水位置的方式可有效解决来料位置偏差问题；将实际的像素当量加入到胶水像素面积中计算，可获得实际胶水面积，从而判断胶量是否满足；配置的硬件检测视觉模组使带荧光剂的透明胶水形成高对比度清晰成像；可将原有的三通道RGB图像，分解成R、G、B和H、S、V单通道图像，以及转化成灰度Gray图像，便于选取胶水高对比图像，方便视觉算法处理。另外，需要说明的是，目前常用的是左右胶水的布局，当然并不仅仅局限于左右胶水的布局，上、下、左、右的胶水布局均可实现。
其中，图4、图5和图6为相机1获取的彩色图像经去色处理后的灰度图像。
图4中的第一区域6（原本彩色图像中的黑色区域）是背景，第二区域7（原本彩色图像中的蓝色区域）是镜筒，位于左侧的第三区域8（原本彩色图像中的绿色区域）是左道胶水，位于右侧的第四区域9（原本彩色图像中的绿色区域）是右道胶水。图5中的第五区域10（原本彩色图像中的黑色区域）是背景，位于左侧的第六区域11（原本彩色图像中的白色区域）是左道胶水，位于右侧的第七区域12（原本彩色图像中的白色区域）是右道胶水。
图6中的黑色部分是背景，位于左侧的红色部分是左道胶水，位于右侧的红色部分是右道胶水。图6中的左上角会显示相关数据：NG+具体时间，Area1=0，Area2=0，由于离线测试没有相关标定数据，检测面积结果会显示0。
见图7～10，当检测视觉模组卧式布局时，则镜头的轴线、环形光源22的轴线以及光学镜片23的轴线位于同一条水平线上，相机20为200万彩色相机，镜头21为0.4倍镜头，结合白色环形光源22，满足光学镜片23二维码扫码的同时，兼顾点胶质量的检测。即当光学镜片23卧式布置时，则该方法具体包括以下步骤：
第2.1步骤、移动机械手抓取光学镜片23移动至检测视觉模组前：移动机械手，机械手抓取光学镜片23，机械手将光学镜片23移动至检测视觉模组前；
第2.2步骤、微调机械手，调节相机曝光和光源亮度，使得光学镜片23二维码和胶水均能清晰成像，拍照取图：微调机械手，调节检测视觉模组的相机20曝光值、环形光源22亮度和相机20增益值，使得光学镜片23的二维码和胶水能清晰成像；需要说明的是，此时，可以增加调节相机增益值，其目的与曝光值和光源亮度相同，都是用于调节图像整体亮度。
第2.3步骤、扫二维码，视觉基于灰度共生矩阵的特征匹配初定位胶水位置：利用检测视觉模组扫描二维码，基于视觉的灰度共生矩阵特征匹配算法初定位光学镜片23的A面胶水位置，即当操作人员开启视觉基于灰度共生矩阵的特征匹配时，则可以初定位光学镜片23的A面胶水位置；需要说明的是，扫描二维码用于记录光学镜片23位于哪一道工站，便于生产的信息智能化管理。
第2.4步骤、视觉对图像进行颜色检测，提取胶水区域，判断是否存在溢胶：使用颜色检测技术提取A面胶水区域特征，当检测区域外存在胶水时，则判定为溢胶，并做抛料处理；当检测区域外不存在胶水时，则判定为不溢胶，同时对正常检测区域内的A面胶水进行胶量的判定；需要说明的是，在色彩空间中，每种不同的颜色具备独有的R值、G值和B值，以及H值（色调）、S值（饱和度）和V值（亮度），根据胶水上述的特征值，提取A面胶水区域。
第2.5步骤、软件将实际面积数值存在内存中以便后续使用，计算A面胶水实际面积：通过算子area_center（region，&area，&row，&col）得出A面胶水的像素面积值areaPA，结合标定获取的像素当量ScaleP2，计算A面胶水实际面积值areaA；
A面胶水实际面积值areaA的计算公式如下：
areaA=areaPA*ScaleP2（3）
第2.6步骤、视觉基于灰度共生矩阵的特征匹配初定位胶水位置，操作人员可自由开启或关闭：机械手翻转光学镜片23，基于视觉的灰度共生矩阵特征匹配算法初定位光学镜片23的B面胶水位置，即当操作人员开启视觉基于灰度共生矩阵的特征匹配时，则可以初定位光学镜片23的B面胶水位置；需要说明的是，在初定位光学镜片23的B面胶水位置前不需要扫描二维码，因为一个工件上只有一个码，且该码存在于A面。
第2.7步骤、视觉对图像进行颜色检测，提取胶水区域，判断是否存在溢胶：使用颜色检测技术提取B面胶水区域特征，当检测区域外存在胶水时，则判定为溢胶，并做抛料处理；当检测区域外不存在胶水时，则判定为不溢胶，同时对正常检测区域内的B面胶水进行胶量的判定；
第2.8步骤、计算B面胶水实际面积：通过算子area_center（region，&area，&row，&col）得出B面胶水的像素面积值areaPB；结合标定获取的像素当量ScaleP2，计算B面胶水实际面积值areaB；
B面胶水实际面积值areaB的计算公式如下：
areaB=areaPB*ScaleP2（4）
第2.9步骤、判定胶水面积是否在公差范围内：输出A面胶水实际面积值areaA和B面胶水实际面积值areaB，根据MES终端系统获取的管控面积上下限判断A面胶水实际面积和B面胶水实际面积是否可接受范围之内。
该方法中的光学镜片23为透镜，视觉基于灰度共生矩阵的特征匹配算法初定位光学镜片23胶水位置的方式可有效解决来料位置偏差问题；将实际的像素当量加入到胶水像素面积中计算，可获得实际胶水面积，从而判断胶量是否满足；根据检测区域范围，使用颜色检测方法提取目标胶水，即使用颜色检测方式，在彩色图像中选取目标颜色特征，操作简便；配置的硬件检测视觉模组可同时满足筒身二维码成像和红色胶水成像。
其中，图9和图10为相机20获取的彩色图像经去色处理后的灰度图像。
图9中的第八区域13（原本彩色图像中的藏青色区域）是镜筒，第九区域14（原本彩色图像中的红色区域）是胶水，第十区域15（原本彩色图像中的深灰色区域）是光学镜片23表面，第十一区域16（原本彩色图像中的白色区域）是机械手夹爪。
图10中的第十二区域17（原本彩色图像中的藏青色区域）是镜筒，第十三区域18（原本彩色图像中的红色区域）是胶水，第十四区域19（原本彩色图像中的白色区域）是机械手夹爪，图10中的信息主要是做一个检测结果的信息展示，包含胶水面积、胶水长度、胶水宽度，以及检测耗时、图像存储时间等。
本发明的在线监测激光雷达光学镜片点胶质量的方法，采用视觉基于灰度共生矩阵的特征匹配算法初定位光学镜片胶水位置的方式可有效解决来料位置偏差问题，将实际的像素当量加入胶水像素面积中计算，可获得实际胶水面积，从而判断胶量是否满足。
以上，仅为本发明较佳的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，根据本发明的技术方案及其发明构思加以等同替换或改变，都应涵盖在本发明的保护范围之内。

Claims (10)

1.一种在线监测激光雷达光学镜片点胶质量的方法，其特征在于，包括以下步骤：
第1步骤、利用检测视觉模组中的相机对经过点胶后的光学镜片进行拍摄，得到一幅胶水与背景形成高对比度的待检测图像；
第2步骤、视觉基于灰度共生矩阵的特征匹配算法实现光学镜片胶水的初定位；
第3步骤、使用彩色图像分解技术和图像Blob特征分析技术提取目标胶水；
第4步骤、通过算子得出胶水的像素面积值PArea，结合标定获取的像素当量S，计算胶水实际面积值RA，胶水的像素面积值PArea与像素当量S的乘积即为胶水实际面积值RA；
像素当量S的计算公式如下：
其中，以上公式中各个符号所表示的含义具体如下：
表示拟合的矩形轮廓对应标定板上实际矩形轮廓物理尺寸的长度；
表示拟合的矩形轮廓对应标定板上实际矩形轮廓物理尺寸的宽度；
表示视觉在图像中拟合的其中一个矩形轮廓在图像中的长度；
表示视觉在图像中拟合的其中一个矩形轮廓在图像中的宽度；
第5步骤、输出胶水实际面积值RA，根据MES终端系统获取的管控面积上下限判断胶水实际面积是否在接受范围之内。
2.根据权利要求1所述的在线监测激光雷达光学镜片点胶质量的方法，其特征在于：所述检测视觉模组中的相机为彩色相机。
3.根据权利要求1或2所述的在线监测激光雷达光学镜片点胶质量的方法，其特征在于：所述检测视觉模组还包括环形光源，所述环形光源位于所述光学镜片与所述相机的镜头之间。
4.根据权利要求3所述的在线监测激光雷达光学镜片点胶质量的方法，其特征在于：当检测视觉模组立式布局时，则所述镜头的轴线、所述环形光源的轴线以及所述光学镜片的轴线位于同一条竖直线上。
5.根据权利要求4所述的在线监测激光雷达光学镜片点胶质量的方法，其特征在于：所述检测视觉模组还包括UV光源，所述UV光源临近所述光学镜片。
6.根据权利要求3所述的在线监测激光雷达光学镜片点胶质量的方法，其特征在于：当检测视觉模组卧式布局时，则所述镜头的轴线、所述环形光源的轴线以及所述光学镜片的轴线位于同一条水平线上。
7.根据权利要求3所述的在线监测激光雷达光学镜片点胶质量的方法，其特征在于：所述环形光源为白色环形光源。
8.根据权利要求5所述的在线监测激光雷达光学镜片点胶质量的方法，其特征在于：所述UV光源为紫外光源。
9.根据权利要求1所述的在线监测激光雷达光学镜片点胶质量的方法，其特征在于，当光学镜片立式布置时，则该方法具体包括以下步骤：
第1．1步骤、移动检测视觉模组的镜头，直至镜头检测光学镜片位于图像的中间区域；
第1.2步骤、移动调焦镜头的Z轴，使得光学镜片清晰成像，并微调镜头的X轴和镜头的Y轴，使得光学镜片位于视野中间，且光学镜片上的左右两道胶水完整的呈现于视野中；
第1.3步骤、抬起UV顶伸气缸，以将UV光源抬起至工作位置，打开UV光源，调节相机曝光值和相机增益值，使光学镜片上的左右两道胶水的成像效果与其余背景形成高对比度；
第1.4步骤、基于视觉的灰度共生矩阵特征匹配算法初定位光学镜片的胶水位置；
第1.5步骤、使用彩色图像分解技术选取胶水高对比度特征图像，分解出胶水呈白色、背景呈黑色的图像，胶水特征的灰度值趋向于255，而背景的灰度值趋向于0；
第1.6步骤、使用Blob特征分析技术提取胶水特征，根据提取的胶水特征可获取胶水区域中心坐标位置，再根据坐标位置区分两道胶水的左右相对位置；
第1.7步骤、通过算子area_center（region，&area，&row，&col）得出左右两道胶水的像素面积值，即得到左道胶水像素面积值LeftPA和右道胶水像素面积值RightPA，结合标定获取的像素当量ScaleP1，计算左道胶水实际面积值LeftA和右道胶水实际面积值RightA；
第1.8步骤、输出左道胶水实际面积值LeftA和右道胶水实际面积值RightA，根据MES终端系统获取的管控面积上下限判断左道胶水实际面积值LeftA、右道胶水实际面积值RightA是否可接受范围之内。
10.根据权利要求1所述的在线监测激光雷达光学镜片点胶质量的方法，其特征在于，当光学镜片卧式布置时，则该方法具体包括以下步骤：
第2.1步骤、移动机械手，机械手抓取光学镜片，机械手将光学镜片移动至检测视觉模组前；
第2.2步骤、微调机械手，调节检测视觉模组的相机曝光值和光源亮度，使得光学镜片上的二维码和胶水能清晰成像；
第2.3步骤、利用检测视觉模组扫描二维码，基于视觉的灰度共生矩阵特征匹配算法初定位光学镜片的A面胶水位置；
第2.4步骤、使用颜色检测技术提取A面胶水区域特征：当检测区域外存在胶水时，则判定为溢胶；当检测区域外不存在胶水时，则判定为不溢胶，同时对正常检测区域内的A面胶水进行胶量的判定；
第2.5步骤、通过算子area_center（region，&area，&row，&col）得出A面胶水的像素面积值areaPA，结合标定获取的像素当量ScaleP2，计算A面胶水实际面积值areaA；
第2.6步骤、机械手翻转光学镜片，基于视觉的灰度共生矩阵特征匹配算法初定位光学镜片的B面胶水位置；
第2.7步骤、使用颜色检测技术提取B面胶水区域特征，当检测区域外存在胶水时，则判定为溢胶；当检测区域外不存在胶水时，则判定为不溢胶，同时对正常检测区域内的B面胶水进行胶量的判定；
第2.8步骤、通过算子area_center（region，&area，&row，&col）得出B面胶水的像素面积值areaPB；结合标定获取的像素当量ScaleP2，计算B面胶水实际面积值areaB；
第2.9步骤、输出A面胶水实际面积值areaA和B面胶水实际面积值areaB，根据MES终端系统获取的管控面积上下限判断A面胶水实际面积和B面胶水实际面积是否可接受范围之内。
CN202310923737.XA 2023-07-26 2023-07-26 在线监测激光雷达光学镜片点胶质量的方法 Active CN116630333B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310923737.XA CN116630333B (zh) 2023-07-26 2023-07-26 在线监测激光雷达光学镜片点胶质量的方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310923737.XA CN116630333B (zh) 2023-07-26 2023-07-26 在线监测激光雷达光学镜片点胶质量的方法

Publications (2)

Publication Number Publication Date
CN116630333A true CN116630333A (zh) 2023-08-22
CN116630333B CN116630333B (zh) 2023-09-29

Family

ID=87613946

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310923737.XA Active CN116630333B (zh) 2023-07-26 2023-07-26 在线监测激光雷达光学镜片点胶质量的方法

Country Status (1)

Country Link
CN (1) CN116630333B (zh)

Citations (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20100321152A1 (en) * 2006-04-10 2010-12-23 Electrolux Home Products Corporation N.V. Household appliance with fingerprint sensor
CN103644957A (zh) * 2013-12-03 2014-03-19 华中科技大学 一种基于机器视觉的点胶质量检测方法
CN108582615A (zh) * 2018-04-21 2018-09-28 丹阳市雷登智能科技有限公司 镜片模具浇注系统
CN110021011A (zh) * 2019-03-15 2019-07-16 横店集团东磁有限公司 一种检测芯片画胶面积的方法
CN110896473A (zh) * 2019-07-12 2020-03-20 研祥智能科技股份有限公司 显示界面切换功能的检测方法及系统
CN111462054A (zh) * 2020-03-18 2020-07-28 广州大学 一种点胶质量检测方法
CN211786296U (zh) * 2020-02-28 2020-10-27 南昌欧菲精密光学制品有限公司 一种透光组件、镜头模组及电子设备
CN113340909A (zh) * 2021-08-05 2021-09-03 常州铭赛机器人科技股份有限公司 一种基于机器视觉的胶线缺陷检测方法
CN114322780A (zh) * 2022-03-07 2022-04-12 常州铭赛机器人科技股份有限公司 在线监测贴装重复精度方法
CN114494117A (zh) * 2021-12-20 2022-05-13 苏州镁伽科技有限公司 器件胶水分布的检测方法、装置、存储介质及电子设备
CN115055335A (zh) * 2022-06-02 2022-09-16 中国电子科技集团公司第十一研究所 一种多功能自动封胶设备及其封胶方法
CN115661040A (zh) * 2022-09-28 2023-01-31 广州市易鸿智能装备有限公司 一种锂电池电芯涂胶的检测方法及装置、电子设备
CN116051485A (zh) * 2022-12-29 2023-05-02 深圳市识渊科技有限公司 贴片焊接质量检查方法、装置、设备及存储介质
CN219112047U (zh) * 2022-08-26 2023-06-02 上海拜安实业有限公司 实现激光雷达光源组装及点胶固定的装置
CN116297210A (zh) * 2023-04-11 2023-06-23 苏州辰瓴光学有限公司 一种柔性线路板在线检胶装置及方法

Patent Citations (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20100321152A1 (en) * 2006-04-10 2010-12-23 Electrolux Home Products Corporation N.V. Household appliance with fingerprint sensor
CN103644957A (zh) * 2013-12-03 2014-03-19 华中科技大学 一种基于机器视觉的点胶质量检测方法
CN108582615A (zh) * 2018-04-21 2018-09-28 丹阳市雷登智能科技有限公司 镜片模具浇注系统
CN110021011A (zh) * 2019-03-15 2019-07-16 横店集团东磁有限公司 一种检测芯片画胶面积的方法
CN110896473A (zh) * 2019-07-12 2020-03-20 研祥智能科技股份有限公司 显示界面切换功能的检测方法及系统
CN211786296U (zh) * 2020-02-28 2020-10-27 南昌欧菲精密光学制品有限公司 一种透光组件、镜头模组及电子设备
CN111462054A (zh) * 2020-03-18 2020-07-28 广州大学 一种点胶质量检测方法
CN113340909A (zh) * 2021-08-05 2021-09-03 常州铭赛机器人科技股份有限公司 一种基于机器视觉的胶线缺陷检测方法
CN114494117A (zh) * 2021-12-20 2022-05-13 苏州镁伽科技有限公司 器件胶水分布的检测方法、装置、存储介质及电子设备
CN114322780A (zh) * 2022-03-07 2022-04-12 常州铭赛机器人科技股份有限公司 在线监测贴装重复精度方法
CN115055335A (zh) * 2022-06-02 2022-09-16 中国电子科技集团公司第十一研究所 一种多功能自动封胶设备及其封胶方法
CN219112047U (zh) * 2022-08-26 2023-06-02 上海拜安实业有限公司 实现激光雷达光源组装及点胶固定的装置
CN115661040A (zh) * 2022-09-28 2023-01-31 广州市易鸿智能装备有限公司 一种锂电池电芯涂胶的检测方法及装置、电子设备
CN116051485A (zh) * 2022-12-29 2023-05-02 深圳市识渊科技有限公司 贴片焊接质量检查方法、装置、设备及存储介质
CN116297210A (zh) * 2023-04-11 2023-06-23 苏州辰瓴光学有限公司 一种柔性线路板在线检胶装置及方法

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
JIANHAO TAN等: "The quality detection of surface defect in dispensing dack-end based on HALCON", 《2016 INTERNATIONAL CONFERENCE ON CYBERNETICS, ROBOTICS AND CONTROL (CRC)》, pages 95 - 98 *
代海东等: "基于机器视觉的高频变压器点胶检测", 《电气应用》, vol. 38, pages 144 - 147 *
陈建魁等: "一种适于柔性RFID标签生产的微胶滴检测算法", 《中国机械工程》, vol. 26, no. 6, pages 789 - 793 *

Also Published As

Publication number Publication date
CN116630333B (zh) 2023-09-29

Similar Documents

Publication Publication Date Title
CN109752394B (zh) 一种显示屏缺陷高精度检测方法及系统
US9292915B2 (en) Digital optical comparator
AU612722B2 (en) Method and apparatus for registering color separation film
CN111284154B (zh) 一种基于图像识别的印控机盖章控制方法、装置及系统
US20040037468A1 (en) Image comparison apparatus, image comparison method, and program for causing computer to execute image comparison
KR100805486B1 (ko) 디스플레이의 다각도 계측 시스템 및 방법
CN116912233B (zh) 基于液晶显示屏的缺陷检测方法、装置、设备及存储介质
CN110443245A (zh) 一种非限制场景下的车牌区域的定位方法、装置及设备
CN110940670A (zh) 基于机器视觉的柔印标签印刷首稿检测系统及其实现方法
CN112183134A (zh) 一种快递条码的拼接及校正方法
CN113538431B (zh) 显示屏瑕疵定位方法、装置、终端设备及系统
CN116630333B (zh) 在线监测激光雷达光学镜片点胶质量的方法
CN106546196B (zh) 一种光轴实时校准方法及系统
CN112378797A (zh) 一种全自动压痕测量装置及方法
CN115079393B (zh) 一种基于10倍物镜的染色体核型分析显微拍摄装置及方法
JPH08194734A (ja) 微細パターン寸法画像計測装置
CN116256366A (zh) 一种芯片缺陷的检测方法、检测系统及存储介质
CN115798389A (zh) 显示校正参数的确定方法、装置及计算机可读存储介质
CN115479891A (zh) 基于图像识别的电路板载元器件自动检测系统和方法
CN115546141A (zh) 一种基于多维度度量的小样本Mini LED缺陷检测方法及系统
US7330580B2 (en) System and method for inspecting an LCD panel
JPH08194736A (ja) 現物照合機能を備えたｃａｄシステム
CN112839168A (zh) 一种自动调整aoi检测系统中相机成像分辨率的方法
CN112037175B (zh) 基于机器视觉的陶瓷产品表面斑点检测方法及设备
JPH1097983A (ja) 位置検出方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant