CN111344103B - 基于高光谱光学传感器的涂层区域定位方法和装置、及除胶系统 - Google Patents
基于高光谱光学传感器的涂层区域定位方法和装置、及除胶系统 Download PDFInfo
- Publication number
- CN111344103B CN111344103B CN201880067304.6A CN201880067304A CN111344103B CN 111344103 B CN111344103 B CN 111344103B CN 201880067304 A CN201880067304 A CN 201880067304A CN 111344103 B CN111344103 B CN 111344103B
- Authority
- CN
- China
- Prior art keywords
- spectral band
- image
- candidate
- hyperspectral
- optical sensor
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B23—MACHINE TOOLS; METAL-WORKING NOT OTHERWISE PROVIDED FOR
- B23K—SOLDERING OR UNSOLDERING; WELDING; CLADDING OR PLATING BY SOLDERING OR WELDING; CUTTING BY APPLYING HEAT LOCALLY, e.g. FLAME CUTTING; WORKING BY LASER BEAM
- B23K26/00—Working by laser beam, e.g. welding, cutting or boring
- B23K26/36—Removing material
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N13/00—Investigating surface or boundary effects, e.g. wetting power; Investigating diffusion effects; Analysing materials by determining surface, boundary, or diffusion effects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/60—Analysis of geometric attributes
Landscapes
- Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Chemical & Material Sciences (AREA)
- Biochemistry (AREA)
- Theoretical Computer Science (AREA)
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Geometry (AREA)
- Analytical Chemistry (AREA)
- Computer Vision & Pattern Recognition (AREA)
- General Health & Medical Sciences (AREA)
- Immunology (AREA)
- Pathology (AREA)
- Optics & Photonics (AREA)
- Plasma & Fusion (AREA)
- Mechanical Engineering (AREA)
- Investigating Or Analysing Materials By Optical Means (AREA)
Abstract
一种基于高光谱光学传感器的涂层区域定位方法,包括:接收高光谱光学传感器采集的与检材区域对应的高光谱图像,所述检材区域包括涂层区域和基底区域;提取预设谱段对应的高光谱图像的图像信息得到候选谱段图像集,所述候选谱段图像集中的候选谱段图像分别对应一预设谱段;在所述候选谱段图像集中筛选出对比度大于或等于第一阈值的候选谱段图像,在筛选的所述候选谱段图像中确定目标谱段图像;根据所述目标谱段图像确定所述涂层区域的相对位置和轮廓。此外,本发明实施例还公开了一种基于高光谱光学传感器的涂层区域定位装置及除胶系统。采用本发明,可更加准确地定位涂层区域,从而使得除胶系统除胶更加彻底。
Description
技术领域
本发明涉及计算机技术领域,特别涉及一种基于高光谱光学传感器的涂层区域定位方法和装置、及除胶系统。
背景技术
在传统技术中的消费电子行业的涂胶工艺流程中,通常在涂胶完成后会附加一道除胶的工艺,这是由于胶水本身具有的流体性造成的产品表面不应该涂胶的区域可能存在残留胶体的问题。因此在涂胶工艺后会附加除掉残余胶体的除胶工艺,通常采用的方法是通过人工方法将残留的胶水刮掉或者加入激光的方法将胶水去除掉。
在除胶工艺中最主要面临的挑战是定位残留胶水的位置,不管是人工的方法还是激光除胶的方法,确定残留胶水的位置均为除胶工作的重中之重,只要确定了残留胶水确切的位置,人工则可通过擦抹、削切或打磨的方法去除胶水,而激光除胶则可通过发射激光烧灼涂层区域的附着物的方式除胶。
定位残留胶水本质上讲,即为定位基底表面上透明或半透明的胶水区域的相对位置和轮廓。然而,在传统技术中,人工方法依赖于在荧光灯下的肉眼观察,由于胶体属于透明半透明的材质,因此,肉眼观察的方法一来准确率低,容易漏掉透明残留胶体,二来效率低下。
而传统技术中激光除胶设备也依赖于激光成像和可见光成像的拍照图片定位透明或半透明的胶体涂层区域,这也由于胶体的透明或半透明的性质而导致拍照得到的图像中透明胶体的区域的轮廓不明显,从而使得激光除胶系统无法准确地定位胶体的位置,使得除胶不够彻底。
因此,传统技术中的除胶方式中定位透明或半透明的胶体涂层区域的方式准确度较低。
发明内容
基于此,为解决现有技术中对于基底表面附着的透明或半透明的涂层区域定位的准确度较低的技术问题,特提出了一种基于高光谱光学传感器的涂层区域定位方法。
一种基于高光谱光学传感器的涂层区域定位方法,包括:
接收高光谱光学传感器采集的与检材区域对应的高光谱图像,所述检材区域包括涂层区域和基底区域;
提取预设谱段对应的高光谱图像的图像信息得到候选谱段图像集,所述候选谱段图像集中的候选谱段图像分别对应一预设谱段;
在所述候选谱段图像集中筛选出对比度大于或等于第一阈值的候选谱段图像,在筛选的所述候选谱段图像中确定目标谱段图像;
根据所述目标谱段图像确定所述涂层区域的相对位置和轮廓。
在其中一个实施例中,所述在所述候选谱段图像集中筛选出对比度大于或等于第一阈值的候选谱段图像还包括;
通过主成分分析对所述候选谱段图像集中的候选谱段图像进行降维。
在其中一个实施例中,所述提取预设谱段对应的高光谱图像的图像信息得到候选谱段图像集之后还包括:
过滤掉所述候选谱段图像集中与相邻谱段对应的候选谱段图像的相关性低于或等于第二阈值的候选谱段图像。
在其中一个实施例中,所述在筛选的所述候选谱段图像中确定目标谱段图像之后还包括:
获取所述目标谱段图像对应的谱段作为目标谱段;
所述根据所述目标谱段图像确定所述涂层区域的相对位置和轮廓之后还包括:
控制光源以所述目标谱段的光照射所述检材区域。
此外,为解决现有技术中对于基底表面附着的透明或半透明的涂层区域定位的准确度较低的技术问题,特提出了一种基于高光谱光学传感器的涂层区域定位装置。
一种基于高光谱光学传感器的涂层区域定位装置,包括:
高光谱图像获取模块,用于接收高光谱光学传感器采集的与检材区域对应的高光谱图像,所述检材区域包括涂层区域和基底区域;
谱段图像提取模块,用于提取预设谱段对应的高光谱图像的图像信息得到候选谱段图像集,所述候选谱段图像集中的候选谱段图像分别对应一预设谱段;
目标谱段图像提取模块,用于在所述候选谱段图像集中筛选出对比度大于或等于第一阈值的候选谱段图像,在筛选的所述候选谱段图像中确定目标谱段图像;
涂层区域定位模块,用于根据所述目标谱段图像确定所述涂层区域的相对位置和轮廓。
在其中一个实施例中,所述在所述候选谱段图像集中筛选出对比度大于或等于第一阈值的候选谱段图像还包括;
通过主成分分析对所述候选谱段图像集中的候选谱段图像进行降维。
在其中一个实施例中,所述提取预设谱段对应的高光谱图像的图像信息得到候选谱段图像集之后还包括:
过滤掉所述候选谱段图像集中与相邻谱段对应的候选谱段图像的相关性低于或等于第二阈值的候选谱段图像。
在其中一个实施例中,所述在筛选的所述候选谱段图像中确定目标谱段图像之后还包括:
获取所述目标谱段图像对应的谱段作为目标谱段;
所述根据所述目标谱段图像确定所述涂层区域的相对位置和轮廓之后还包括:
控制光源以所述目标谱段的光照射所述检材区域。
此外,为解决现有技术中对于除胶过程中,基底表面附着的透明或半透明的胶体的涂层区域定位的准确度较低的技术问题,特提出了一种除胶系统。
一种除胶系统,包括控制台、安装在所述控制台上的高光谱光学传感器和激光器、通过所述控制台与所述高光谱光学传感器和激光器连接的处理器;
所述高光谱光学传感器用于拍摄检材区域对应的高光谱图像,所述检材区域包括涂层区域和基底区域;
所述处理器用于接收所述高光谱光学传感器采集的高光谱图像,提取预设谱段对应的高光谱图像的图像信息得到候选谱段图像集,所述候选谱段图像集中的候选谱段图像分别对应一预设谱段;在所述候选谱段图像集中筛选出对比度大于或等于第一阈值的候选谱段图像,在筛选的所述候选谱段图像中确定目标谱段图像;根据所述目标谱段图像确定所述涂层区域的相对位置和轮廓;控制所述激光器标定所述涂层区域,激光器标定涂层区域后,即可通过对准涂层区域发射激光进行除胶;
所述激光器用于对标定涂层区域发射激光。
在其中一个实施例中,所述激光器还用于在所述检材区域中通过刻印参考痕迹标定参考位置;
所述处理器还用于在所述目标谱段图像中确定所述参考痕迹的参考位置,根据所述参考位置和所述涂层区域的相对位置控制所述激光器标定所述涂层区域。
在其中一个实施例中,所述控制台还包括驱动电机,所述处理器还用于通过所述驱动电机移动所述激光器至所述高光谱光学传感器的位置,移动后所述激光器的出光点与移动前所述高光谱光学传感器的拍摄视野中心点重合。
实施本发明实施例,将具有如下有益效果:
采用了上述基于高光谱光学传感器的涂层区域定位方法、装置及除胶系统之后,对于基底表面附着的透明或半透明的类似胶体的涂层区域,可通过高光谱感光元件拍摄高光谱图像,并从中选出对比度最高的谱段图像作为目标谱段图像来定位涂层区域的轮廓和位置。这就使得即使透明或半透明的胶体即使在可见光下观察不明显,但由于其在某些特定波长下会反馈出与基底的反射光对比度较高的反射信号,这就使得在定位涂层区域时,总是选择的能够最大程度反映涂层区域和基底差异的图像作为定位涂层区域的基础,从而使得对涂层区域定位更加准确。
将其应用到除胶领域的激光除胶系统上,则对于透明半透明的残留胶体,该除胶系统也可避免可见光下定位透明胶体不准确的弊端,而选择合适的谱段的图像数据进行定位,从而使得对于残留胶体的定位更加准确,也使得除胶系统除胶更加彻底。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
其中:
图1为一个实施例中一种除胶系统的架构图;
图2为另一个实施例中一种除胶系统的架构图;
图3为高光谱图像中像素点通道信息的频谱示意图;
图4为一个实施例中提取目标谱段图像过程的示意图;
图5为一个实施例中处理器控制激光器标定涂层区域的过程示意图;
图6为一个实施例中激光器扫描除胶过程的示意图;
图7为一个实施例基于高光谱光学传感器的涂层区域定位方法的流程图;
图8为一个实施例基于高光谱光学传感器的涂层区域定位装置的示意图;
图9为一个实施例中运行前述基于高光谱光学传感器的涂层区域定位方法的计算机系统的组成示意图。
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
为解决现有技术中对于基底表面附着的透明或半透明的涂层区域定位的准确度较低的技术问题,特别是对于传统技术中的激光除胶产品在定位基底表面附着的透明或半透明的残留胶体的涂层区域时定位不准确的技术问题,特提出了一种基于高光谱光学传感器的涂层区域定位方法、装置及应用该方法和装置的除胶系统。
本发明提出的除胶系统一种实现方式可参考如图1所示。该除胶系统包括控制台10、安装在控制台10上的高光谱光学传感器20和激光器30、通过控制台10与高光谱光学传感器和激光器连接的处理器40。
在本实施例中,参考图1所示,高光谱光学传感器20和激光器30均安装在控制台10上,高光谱光学传感器20用于拍摄高光谱图像,用于辅助定位待除胶的作为基底的产品表面上附着的透明或半透明的残留胶体的涂层区域的相对位置和轮廓,激光器30可发出激光,当激光射到残留胶体上时,由于激光产生的高温,可将胶体汽化或烧灼掉,从而完成除胶。处理器40则根据高光谱光学传感器20拍摄的高光谱图像甄别出基底上附着的透明或半透明的残留胶体的涂层区域的相对位置和轮廓,并控制激光器对该区域发射激光进行除胶。
在一个实施例中,处理器40可继承在除胶系统上,和控制台10、高光谱光学传感器20和激光器30通过结构连接,作为一个整体产品。在另一个实施例中,参考图2所示,控制台10、高光谱光学传感器20和激光器30通过结构连接,作为一个整体产品,而处理器40可作为独立的外部处理设备,通过USB接口、LAN接口、wifi接口或其他串口或并口与高光谱光学传感器20和激光器30连接,并通过相应的通信协议与高光谱光学传感器20和激光器30建立通信。
在本实施例中,高光谱光学传感器20和激光器30的固定在控制台10的上部,位置相对固定。控制台10还设有运动平台,在除胶过程中,待除胶的基底放置于运动平台上,处理器40可控制控制台10使得运动平台可在X轴和Y轴上水平移动,从而使得附着有残留胶水的基底可在水平方向上移动,而高光谱光学传感器20和激光器30的位置保持不动,这就使得可在经过高光谱光学传感器20拍摄,并由处理器40确定了基底上残留胶水的相对位置后,根据一定的坐标变换,控制运动平台移动基底至激光器的发射方向,并由激光器标定残留胶水的位置和轮廓,从而进行激光除胶。
在另一个实施例中,高光谱光学传感器20和激光器30还可设置于运动平台的活动组件上,并由驱动电机控制其移动,而待除胶的基底可放置于固定的托架平台上,位置相对不动。在经过高光谱光学传感器20拍摄,并由处理器40确定了基底上残留胶水的相对位置,并根据一定的坐标变换后,控制驱动电机在水平方向上移动激光器的位置至高光谱光学传感器的位置处,标定残留胶水的位置和轮廓,从而发射激光进行除胶。
以下介绍本发明实施例中,本系统在除胶过程中,控制台10、高光谱光学传感器20、激光器30和处理器40的工作方案。需要说明的是,除胶只是本系统的一个典型的应用场景,在其他应用场景中,对于基底表面附着的透明或半透明的涂层区域,不限于是残留胶体,也可以是贴膜、液体附着、漆类涂层、粘性涂层等。由于本发明的实质在于准确定位基底上的涂层区域,因此对于涂层区域的实质化学元素和化学成分并不做限定。
具体的,高光谱光学传感器20用于拍摄检材区域对应的高光谱图像,检材区域包括涂层区域和基底区域。
高光谱光学传感器即为基于高光谱成像技术的高光谱感光元件,例如高光谱相机、多光谱相机等。高光谱成像技术是基于非常多窄波段的影像数据技术,它将成像技术与光谱技术相结合,探测目标的二维几何空间及一维光谱信息,获取高光谱分辨率的连续、窄波段的图像数据。目前高光谱成像技术主要包括光栅分光、声光可调谐滤波分光、棱镜分光、芯片镀膜等。
高光谱图像与传统灰度图像或者RGB图像相比,对于每个像素点,则是在光谱维度上进行了细致的分割,不仅仅是传统所谓的黑、白或者R、G、B的区别,而是在光谱维度上也有N个通道,例如,参考图3所示,高光谱光学传感器拍摄的高光谱图像仍然包括N×N个像素点,其中像素点P的位置为(x,y),像素点包含的400nm-1000nm光谱信息可在光谱维度上被分为30个通道,每个通道表达的谱段宽度即为20nm。也就是说,通过高光谱设备获取到的是一个三维数据立方,不仅有图像的x,y像素信息,并且在每个像素点的光谱维度上进行展开,结果不仅可以获得图像上每个像素点的光谱数据,还可以获得任一个谱段的影像信息。
处理器40用于接收所述高光谱光学传感器采集的高光谱图像,提取预设谱段对应的高光谱图像的图像信息得到候选谱段图像集,所述候选谱段图像集中的候选谱段图像分别对应一预设谱段;在所述候选谱段图像集中筛选出对比度大于或等于第一阈值的候选谱段图像,在筛选的所述候选谱段图像中确定目标谱段图像;根据所述目标谱段图像确定所述涂层区域的相对位置和轮廓;控制所述激光器标定所述涂层区域。
如前所述,高光谱光学传感器采集的高光谱图像在光谱维度上信息量丰富,包含多个通道的信息。每个通道对应一个谱段。例如,可预先将400nm至1000nm的谱段划分为30个通道,每个通道则对应20nm的波长范围,如表1所示:
表1
通道 | 1 | 2 | 3 | …… | 30 |
谱段 | 400-420nm | 420-440nm | 440-460nm | …… | 980-1000nm |
此30个通道对应的谱段即为预设的用于对高光谱图像分析从而定位涂层区域的谱段。对于高光谱图像上任意一像素点P,其包含的信息为(x,y,F(λ)),x和y分别为该点在高光谱光学传感器上的位置信息,F(λ)则为光谱信息,而对于像素点P在谱段i的光谱信息则为(x,y,F(λi)),通过遍历图像上所有像素点的F(λi)信息,即可得到预设谱段λi对应的谱段图像Gi,这些谱段图像后续作为候选图像使用,这些谱段图像构成了候选谱段图像集,且如前所述,该候选谱段图像集中的一候选谱段图像对应一谱段λi。
在得到候选谱段图像集之后,则分别计算候选谱段图像集中的候选谱段图像Gi的对比度。候选谱段图像Gi的对比度即为图像中明暗区域最亮的白和最暗的黑之间不同亮度层级的测量,差异范围越大代表对比越大,差异范围越小代表对比越小,可通过计算韦伯对比度,Michelson对比度或均方根对比度的方法计算候选谱段图像Gi的对比度。候选谱段图像Gi的对比度能够反映出涂层区域和基底的差异性,对比度较大时,涂层区域相对于基底在该特定谱段i下可识别的轮廓和位置信息更加明显,能够更加准确地定位涂层区域;对比度较大时,涂层区域相对于基底在该特定谱段i下可识别的轮廓和位置信息更加明显,能够更加准确地定位涂层区域。
在一个实施例中,为了避免基底表面其他杂质的干扰,可在计算候选谱段图像Gi的对比度时添加滤镜,将基底表面杂质可能产生的干扰因素过滤掉。对于透明或半透明的涂层区域,其对比度与基底的对比度相比于基底表面的灰尘、斑点、纹理或其他杂质的对比度较小。可通过滤镜将区域面积较小,而与基底对比度过大的杂质区域过滤掉,单纯地计算基底与涂层区域的对比度,这样就可以使的计算得到的候选谱段图像Gi的对比度更加准确,也使得对涂层区域的定位更加准确。
在一个实施例中,对于非单一基色背景的基底,在计算候选谱段图像Gi的对比度时可预先确定基底的各个基色背景,然后分别计算各个基色背景对应的对比度。例如,某些产品表面具有花纹、图像,涂胶层则附着在产品表面的花纹和图像区域,此情况下,可通过拍照预先确定花纹和图像的区域以及各个单一基色背景,然后分别计算各个单一基色背景下的区域的对比度。这就使得即使是定位非单一基色背景的基底上的涂层区域,也不会受到基底多个背景色的干扰。
在计算得到候选谱段图像集中的候选谱段图像Gi的对比度之后,则可对候选谱段图像Gi按照对比度的大小进行筛选,筛选出对比度大于或等于第一阈值的候选谱段图像,而筛选的方式可多种多样。需要说明的是,此处出对比度大于或等于第一阈值既可以是对比度的绝对值大于或等于一预设的第一阈值的标准值,也可以是对比度的相对大小(即在整个候选谱段图像集中的对比度从大到小的排名中的排名大小)大于或等于对比度排名的第一阈值。
在一个实施例中,可遍历候选谱段图像Gi,当遍历到的候选谱段图像Gi的对比度大于预设的第一阈值时,则判定该谱段λi下的候选谱段图像Gi可用于作为定位涂层区域的目标谱段图像。遍历的方式可采用逐一遍历的方式,即可从λi开始,逐一遍历λi+1、λi+2、λi+3……,直到找到合适的谱段图像。也可采用逐n遍历的方式,即可从λi开始,逐一遍历λi+n、λi+2n、λi+3n……,直到找到合适的谱段图像。采用逐n遍历的方式速度更快,且准确度也较有保证,这是由于通常情况下,相邻谱段的候选谱段图像Gi的对比度通常变化较小,当候选谱段图像Gi的对比度明显过小时,候选谱段图像Gi+1的对比度通常也较小,可直接从λi+n跳过,从而在不影响准确度的情况下,加快了遍历的进程。
在另一个实施例中,可对计算得到的候选谱段图像Gi的对比度进行排序,可取对比度最大的候选谱段图像Gi作为目标谱段图像,也可选择排名前n(n为对比度排名的第一阈值)中的n个候选谱段图像中的一候选谱段图像作为目标谱段图像,此选择过程可参考其他信息进行筛选。
在确定了目标谱段图像之后,则处理器40可对目标谱段图像进行图像处理,提取涂层区域的边缘信息和位置信息,从而得到涂层区域的轮廓和位置信息。从而可控制激光器对相应区域进行标定。
激光器30在处理器40的信号或指令后,则可标定基底上的涂层区域的轮廓和位置,从而对相应区域发射激光进行除胶。
具体的,该定位过程可参考图4所示,在图4所示的实施例中,共预设有n个谱段λ1、λ2、λ3……、λn,其中每个谱段λi对应有相应的候选谱段图像Gi,其中,λ4对应的候选谱段图像G4的对比度从波形上可看出,对比度较大(信号强度的波形的方差较大),也可从图4中直观的看出,λ4对应的候选谱段图像G4中,涂层区域与基底的对比更加明显,涂层区域的边缘更加清晰,因此选择谱段λ4对应的候选谱段图像G4作为目标谱段图像。然后对图像G4进行边缘检测等图像处理,即可定位G4中涂层区域的轮廓和位置。
而应用到除胶的应用场景中,该涂层区域即为透明或半透明的残留胶体附着在基底表面被光照射后产生的影像,因此处理器40可根据该影像控制激光器30标定残留胶体的位置和轮廓,通过激光器对其发射激光,即可完成除胶。
在一个实施例中,提取预设谱段对应的高光谱图像的图像信息得到候选谱段图像集之后,处理器40还用于过滤掉所述候选谱段图像集中与相邻谱段对应的候选谱段图像的相关性低于或等于第二阈值的候选谱段图像。
也就是说,对于谱段λi对应的候选谱段图像Gi,分别计算Gi与其相邻的候选谱段图像Gi-1和Gi+1的相关系数,若相关性较小,则可从候选谱段图像集中过滤掉Gi,其实际意义为,若Gi与Gi-1和Gi+1的相关系数均较小,则意味着Gi与Gi-1和Gi+1的差异性较大,可能受到了噪声干扰,使得该图像Gi不适合再用于定位涂层区域的候选谱段图像。
在一个实施例中,处理器40在所述候选谱段图像集中筛选出对比度大于或等于第一阈值的候选谱段图像之前,还可通过主成分分析(Principal Component Analysis,PCA)对所述候选谱段图像集中的候选谱段图像进行降维。
主成分分析PCA又称主分量分析,旨在利用降维的思想,把多指标转化为少数几个综合指标。在统计学中,主成分分析PCA是一种简化数据集的技术。它是一个线性变换。这个变换把数据变换到一个新的坐标系统中,使得任何数据投影的第一大方差在第一个坐标(称为第一主成分)上,第二大方差在第二个坐标(第二主成分)上,依次类推。主成分分析经常用减少数据集的维数,同时保持数据集的对方差贡献最大的特征。
例如,若高光谱光学传感器采集的图像分辨率为145×145,而预设的谱段数为200,则对预设的200个谱段对应的200个候选谱段图像进行PCA降维处理。
处理过程为,首先将每一个谱段的图像Gi(145×145)转化为一个向量Gi(1×21025)。然后将200个谱段数据整合成一个新的矩阵X(200×21025)。将X(200×21025)标准化,得到新的A(200×21025),再求出相关矩阵R(200×21025),然后再计算R的200个特征值(即对比度),并由大到小排列,最后对应的排列特征向量,就完成了主成分的分析。
高光谱图像中通道数据包含的数据量较大,而通过主成分分析PCA的方法对候选谱段图像集中的候选谱段图像进行数据处理,可对海量数据进行降维,从而可减少数据处理量,快速地筛选出对比度较好的候选谱段图像作为目标谱段图像。
在一个实施例中,处理器40在筛选的所述候选谱段图像中确定目标谱段图像之后还用于获取所述目标谱段图像对应的谱段作为目标谱段。在根据所述目标谱段图像确定所述涂层区域的相对位置和轮廓之后还用于控制光源以所述目标谱段的光照射所述检材区域。
例如,参考图4所示,若处理器40通过筛选,已确定谱段λ4对应的候选谱段图像G4为目标谱段图像,则说明该基底上的涂层区域,例如残留胶体,在谱段λ4下敏感,由于产品表面的涂层通常为同一材料,因此,后续检材上的残留胶体也对谱段λ4的光敏感,因此可控制附加光源使用谱段为λ4的光照射后续的基底检材,从而可增强谱段λ4下的图像的通道信号强度,便于后续的涂层区域的定位。
在图1所示的控制台具备X轴运动平台和Y轴运动平台的一个实施例中,激光器30用于在所述检材区域中通过刻印参考痕迹标定参考位置。
处理器40还用于在目标谱段图像中确定所述参考痕迹的参考位置,根据所述参考位置和所述涂层区域的相对位置控制所述激光器标定所述涂层区域。
具体的,控制激光器30标定该区域的方法可如图5所示:
可在高光谱光学传感器拍摄检材区域之前,由激光器在检材区域的中心点刻印一个参考痕迹(例如十字印记);然后由控制台上的X轴运动平台(也可是Y轴运动平台,Y轴运动平台的换算方式与X轴运动平台的换算方式一致)使带有参考痕迹的检材区域向相机的拍摄方向运动xmm,保证除胶平面中的参考痕迹可以在高光谱相机上面清晰成像。
然后由高光谱光学传感器对检材区域拍照,处理器通过图像处理确定该参考痕迹在目标谱段图像上的相对位置(a,b),假设高光谱光学传感器的标定系数为kum/pixel,则参考痕迹对应的世界坐标是(a×k,b×k)。
若目标谱段图像中心点在图像坐标中的像素坐标是(c,d),则图像中心点的世界坐标是(c×k,d×k)。设激光器发射方向的中心点为世界坐标的零点,即(0,0)。则在世界坐标系中,图像中心点(高光谱光学传感器拍摄方向的中心)与激光器发射方向的中心点在的标定系数为:
X轴方向标定系数为x+a×k-c×k;
Y轴方向上的标定系数为:b×k-d×k。
在另一个实施例中,控制台还包括驱动电机,处理器40还用于通过所述驱动电机移动所述激光器至所述高光谱光学传感器的位置,移动后所述激光器的出光点与移动前所述高光谱光学传感器的拍摄点相同。
例如,在本实施例中,控制台上设置有圆盘或圆环状或扇形的导轨,高光谱感光元件20和激光器30均设置在该导轨上,且高光谱感光元件的拍摄方向的中心点到导轨圆心的距离与激光器发射方向中心点到导轨圆心的距离相同,夹角为a,则在高光谱感光元件拍摄了高光谱图像之后,处理器可控制驱动电机控制导轨旋转角度a,这样就使得激光器30通过转动移动到了原先高光谱感光元件20的位置,高光谱感光元件拍摄的目标谱段图像中的涂层区域的位置即为激光器标定的位置,通过一定的比例缩放等操作后,即可控制激光器30标定涂层区域和除胶。
在另一个实施例中,激光器30除胶的过程可参考图6所示,在处理器40控制激光器30标定涂层区域的轮廓和位置之后,激光器先根据位置信息标定涂层区域,然后再根据轮廓信息,在涂层区域内以来回扫描的方式对准涂层区域发射激光进行除胶,当扫描完成后,还可再重复前述的涂层区域的定位过程,对检材区域进行复检,复检之后由激光器再次对复检中确定的涂层区域进行扫描除胶,并重复这一过程直至检材区域内未发现涂层区域。在除胶的应用场景中,采用此种激光除胶方式,可精确定位到残留胶体的位置,并对残留胶体进行多次除胶和确认,可彻底去除胶体。
在一个实施例中,还提供了一种基于高光谱光学传感器的涂层区域定位方法,该方法的实现可依赖于计算机程序,该计算机程序可运行于基于冯诺依曼体系的计算机系统之上,该计算机系统可以是图1中集成在除胶系统中的处理器芯片组,也可以是图2中独立的外置的处理系统40,该处理系统40可以是个人电脑,服务器设备,服务器集群设备,笔记本电脑,掌上电脑,平板电脑,智能手机等。
具体的,如图7所示,一种基于高光谱光学传感器的涂层区域定位方法,包括:
步骤S102:接收高光谱光学传感器采集的与检材区域对应的高光谱图像,所述检材区域包括涂层区域和基底区域。
步骤S104:提取预设谱段对应的高光谱图像的图像信息得到候选谱段图像集,所述候选谱段图像集中的候选谱段图像分别对应一预设谱段。
步骤S106:在所述候选谱段图像集中筛选出对比度大于或等于第一阈值的候选谱段图像,在筛选的所述候选谱段图像中确定目标谱段图像。
步骤S108:根据所述目标谱段图像确定所述涂层区域的相对位置和轮廓。
在一个实施例中,所述在所述候选谱段图像集中筛选出对比度大于或等于第一阈值的候选谱段图像还包括;
通过主成分分析对所述候选谱段图像集中的候选谱段图像进行降维。
在一个实施例中,所述提取预设谱段对应的高光谱图像的图像信息得到候选谱段图像集之后还包括:
过滤掉所述候选谱段图像集中与相邻谱段对应的候选谱段图像的相关性低于或等于第二阈值的候选谱段图像。
在一个实施例中,所述在筛选的所述候选谱段图像中确定目标谱段图像之后还包括:
获取所述目标谱段图像对应的谱段作为目标谱段;
所述根据所述目标谱段图像确定所述涂层区域的相对位置和轮廓之后还包括:
控制光源以所述目标谱段的光照射所述检材区域。
在一个实施例中,还提供了一种基于高光谱光学传感器的涂层区域定位装置,具体的,如图8所示,包括高光谱图像获取模块102、谱段图像提取模块104、目标谱段图像提取模块106和涂层区域定位模块108,其中:
高光谱图像获取模块102,用于接收高光谱光学传感器采集的与检材区域对应的高光谱图像,所述检材区域包括涂层区域和基底区域。
谱段图像提取模块104,用于提取预设谱段对应的高光谱图像的图像信息得到候选谱段图像集,所述候选谱段图像集中的候选谱段图像分别对应一预设谱段。
目标谱段图像提取模块106,用于在所述候选谱段图像集中筛选出对比度大于或等于第一阈值的候选谱段图像,在筛选的所述候选谱段图像中确定目标谱段图像。
涂层区域定位模块108,用于根据所述目标谱段图像确定所述涂层区域的相对位置和轮廓。
在一个实施例中,目标谱段图像提取模块106还用于通过主成分分析对所述候选谱段图像集中的候选谱段图像进行降维。
在一个实施例中,目标谱段图像提取模块106还用于过滤掉所述候选谱段图像集中与相邻谱段对应的候选谱段图像的相关性低于或等于第二阈值的候选谱段图像。
在一个实施例中,如图8所示,该装置还包括目标谱段获取模块110,用于获取所述目标谱段图像对应的谱段作为目标谱段。
该装置还包括附加光源控制模块112,用于控制光源以所述目标谱段的光照射所述检材区域。
实施本发明实施例,将具有如下有益效果:
采用了上述基于高光谱光学传感器的涂层区域定位方法、装置及除胶系统之后,对于基底表面附着的透明或半透明的类似胶体的涂层区域,可通过高光谱感光元件拍摄高光谱图像,并从中选出对比度最高的谱段图像作为目标谱段图像来定位涂层区域的轮廓和位置。这就使得即使透明或半透明的胶体即使在可见光下观察不明显,但由于其在某些特定波长下会反馈出与基底的反射光对比度较高的反射信号,这就使得在定位涂层区域时,总是选择的能够最大程度反映涂层区域和基底差异的图像作为定位涂层区域的基础,从而使得对涂层区域定位更加准确。
将其应用到除胶领域的激光除胶系统上,则对于透明半透明的残留胶体,该除胶系统也可避免可见光下定位透明胶体不准确的弊端,而选择合适的谱段的图像数据进行定位,从而使得对于残留胶体的定位更加准确,也使得除胶系统除胶更加彻底。
在一个实施例中,如图9所示,图9展示了一种运行上述基于高光谱光学传感器的涂层区域定位方法的基于冯诺依曼体系的计算机系统。具体的,可包括通过系统总线连接的外部输入接口1001、处理器1002、存储器1003和输出接口1004。其中,外部输入接口1001可选的可至少包括网络接口10012和USB接口10014。存储器1003可包括外存储器10032(例如硬盘、光盘或软盘等)和内存储器10034。输出接口1004可至少包括显示屏10042等设备。
在本实施例中,本方法的运行基于计算机程序,该计算机程序的程序文件存储于前述基于冯诺依曼体系的计算机系统10的外存储器10032中,在运行时被加载到内存储器10034中,然后被编译为机器码之后传递至处理器1002中执行,从而使得基于冯诺依曼体系的计算机系统10中形成逻辑上的高光谱图像获取模块102、谱段图像提取模块104、目标谱段图像提取模块106和涂层区域定位模块108。且在上述基于高光谱光学传感器的涂层区域定位方法执行过程中,输入的参数均通过外部输入接口1001接收,并传递至存储器1003中缓存,然后输入到处理器1002中进行处理,处理的结果数据或缓存于存储器1003中进行后续地处理,或被传递至输出接口1004进行输出。
以上所揭露的仅为本发明较佳实施例而已,当然不能以此来限定本发明之权利范围,因此依本发明权利要求所作的等同变化,仍属本发明所涵盖的范围。
Claims (11)
1.一种基于高光谱光学传感器的涂层区域定位方法,其特征在于,包括:
接收高光谱光学传感器采集的与检材区域对应的高光谱图像,所述检材区域包括涂层区域和基底区域;
提取预设谱段对应的高光谱图像的图像信息得到候选谱段图像集,所述候选谱段图像集中的候选谱段图像分别对应一预设谱段;
在所述候选谱段图像集中筛选出对比度大于或等于第一阈值的候选谱段图像,在筛选的所述候选谱段图像中确定目标谱段图像;
根据所述目标谱段图像确定所述涂层区域的相对位置和轮廓。
2.根据权利要求1所述的基于高光谱光学传感器的涂层区域定位方法,其特征在于,所述在所述候选谱段图像集中筛选出对比度大于或等于第一阈值的候选谱段图像还包括;
通过主成分分析对所述候选谱段图像集中的候选谱段图像进行降维。
3.根据权利要求1所述的基于高光谱光学传感器的涂层区域定位方法,其特征在于,所述提取预设谱段对应的高光谱图像的图像信息得到候选谱段图像集之后还包括:
过滤掉所述候选谱段图像集中与相邻谱段对应的候选谱段图像的相关性低于或等于第二阈值的候选谱段图像。
4.根据权利要求1所述的基于高光谱光学传感器的涂层区域定位方法,其特征在于,所述在筛选的所述候选谱段图像中确定目标谱段图像之后还包括:
获取所述目标谱段图像对应的谱段作为目标谱段;
所述根据所述目标谱段图像确定所述涂层区域的相对位置和轮廓之后还包括:
控制光源以所述目标谱段的光照射所述检材区域。
5.一种基于高光谱光学传感器的涂层区域定位装置,其特征在于,包括:
高光谱图像获取模块,用于接收高光谱光学传感器采集的与检材区域对应的高光谱图像,所述检材区域包括涂层区域和基底区域;
谱段图像提取模块,用于提取预设谱段对应的高光谱图像的图像信息得到候选谱段图像集,所述候选谱段图像集中的候选谱段图像分别对应一预设谱段;
目标谱段图像提取模块,用于在所述候选谱段图像集中筛选出对比度大于或等于第一阈值的候选谱段图像,在筛选的所述候选谱段图像中确定目标谱段图像;
涂层区域定位模块,用于根据所述目标谱段图像确定所述涂层区域的相对位置和轮廓。
6.根据权利要求5所述的基于高光谱光学传感器的涂层区域定位装置,其特征在于,所述目标谱段图像提取模块还用于通过主成分分析对所述候选谱段图像集中的候选谱段图像进行降维。
7.根据权利要求5所述的基于高光谱光学传感器的涂层区域定位装置,其特征在于,所述目标谱段图像提取模块还用于过滤掉所述候选谱段图像集中与相邻谱段对应的候选谱段图像的相关性低于或等于第二阈值的候选谱段图像。
8.根据权利要求5所述的基于高光谱光学传感器的涂层区域定位装置,其特征在于,所述装置还包括目标谱段获取模块,用于获取所述目标谱段图像对应的谱段作为目标谱段;
所述装置还包括附加光源控制模块,用于控制光源以所述目标谱段的光照射所述检材区域。
9.一种除胶系统,其特征在于,包括控制台、安装在所述控制台上的高光谱光学传感器和激光器、通过所述控制台与所述高光谱光学传感器和激光器连接的处理器;
所述高光谱光学传感器用于拍摄检材区域对应的高光谱图像,所述检材区域包括涂层区域和基底区域;
所述处理器用于接收所述高光谱光学传感器采集的高光谱图像,提取预设谱段对应的高光谱图像的图像信息得到候选谱段图像集,所述候选谱段图像集中的候选谱段图像分别对应一预设谱段;在所述候选谱段图像集中筛选出对比度大于或等于第一阈值的候选谱段图像,在筛选的所述候选谱段图像中确定目标谱段图像;根据所述目标谱段图像确定所述涂层区域的相对位置和轮廓;控制所述激光器标定所述涂层区域;
所述激光器用于对标定胶水区域进行激光除胶。
10.根据权利要求9所述的除胶系统,其特征在于,所述激光器还用于在所述检材区域中通过刻印参考痕迹标定参考位置;
所述处理器还用于在所述目标谱段图像中确定所述参考痕迹的参考位置,根据所述参考位置和所述涂层区域的相对位置控制所述激光器标定所述涂层区域。
11.根据权利要求9所述的除胶系统,其特征在于,所述控制台还包括驱动电机,所述处理器还用于通过所述驱动电机移动所述激光器至所述高光谱光学传感器的位置,移动后所述激光器的出光点与移动前所述高光谱光学传感器的拍摄视野中心相同。
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
PCT/CN2018/111657 WO2020082264A1 (zh) | 2018-10-24 | 2018-10-24 | 基于高光谱光学传感器的涂层区域定位方法和装置、及除胶系统 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN111344103A CN111344103A (zh) | 2020-06-26 |
CN111344103B true CN111344103B (zh) | 2022-03-25 |
Family
ID=70330257
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201880067304.6A Active CN111344103B (zh) | 2018-10-24 | 2018-10-24 | 基于高光谱光学传感器的涂层区域定位方法和装置、及除胶系统 |
Country Status (2)
Country | Link |
---|---|
CN (1) | CN111344103B (zh) |
WO (1) | WO2020082264A1 (zh) |
Families Citing this family (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112362594B (zh) * | 2020-10-14 | 2022-04-22 | 华南理工大学 | 一种基于共聚焦显微高光谱成像的混合凝胶组分分布的直接检测方法 |
CN113252585B (zh) * | 2021-04-21 | 2024-02-09 | 深圳市海谱纳米光学科技有限公司 | 一种基于高光谱图像判断黄金表面覆膜的方法和装置 |
CN113959389B (zh) * | 2021-10-22 | 2024-04-26 | 深圳市二郎神视觉科技有限公司 | 涂层检测方法、装置及自动化检测系统 |
CN114152621A (zh) * | 2021-11-30 | 2022-03-08 | 联想(北京)有限公司 | 一种处理方法及处理装置、处理系统 |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102164461A (zh) * | 2011-03-09 | 2011-08-24 | 深圳市大族激光科技股份有限公司 | 一种smt行业除胶装置及其方法 |
CN102612892A (zh) * | 2012-03-02 | 2012-08-01 | 北京农业信息技术研究中心 | 小麦麦穗发芽情况识别方法 |
CN107133976A (zh) * | 2017-04-24 | 2017-09-05 | 浙江大学 | 一种获取三维高光谱信息的方法和装置 |
CN107527326A (zh) * | 2017-08-17 | 2017-12-29 | 安徽农业大学 | 一种基于高光谱成像的小麦赤霉病诊断方法 |
CN107576600A (zh) * | 2017-08-04 | 2018-01-12 | 江苏大学 | 一种抹茶粒度等级的快速检测方法 |
Family Cites Families (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20120134582A1 (en) * | 2007-01-16 | 2012-05-31 | Chemimage Corporation | System and Method for Multimodal Detection of Unknown Substances Including Explosives |
CN102411782B (zh) * | 2011-11-01 | 2013-07-03 | 哈尔滨工程大学 | 一种高光谱遥感图像三层彩色可视化方法 |
CN103170739B (zh) * | 2011-12-23 | 2015-03-18 | 雷科股份有限公司 | 激光除胶工艺 |
CN105328344B (zh) * | 2015-11-14 | 2017-07-04 | 苏州光韵达光电科技有限公司 | 一种用于球栅陈列结构pcb的激光除胶装置及方法 |
WO2017148665A1 (en) * | 2016-03-01 | 2017-09-08 | Asml Netherlands B.V. | Metrology apparatus, method of measuring a structure and lithographic apparatus |
-
2018
- 2018-10-24 WO PCT/CN2018/111657 patent/WO2020082264A1/zh active Application Filing
- 2018-10-24 CN CN201880067304.6A patent/CN111344103B/zh active Active
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102164461A (zh) * | 2011-03-09 | 2011-08-24 | 深圳市大族激光科技股份有限公司 | 一种smt行业除胶装置及其方法 |
CN102612892A (zh) * | 2012-03-02 | 2012-08-01 | 北京农业信息技术研究中心 | 小麦麦穗发芽情况识别方法 |
CN107133976A (zh) * | 2017-04-24 | 2017-09-05 | 浙江大学 | 一种获取三维高光谱信息的方法和装置 |
CN107576600A (zh) * | 2017-08-04 | 2018-01-12 | 江苏大学 | 一种抹茶粒度等级的快速检测方法 |
CN107527326A (zh) * | 2017-08-17 | 2017-12-29 | 安徽农业大学 | 一种基于高光谱成像的小麦赤霉病诊断方法 |
Also Published As
Publication number | Publication date |
---|---|
CN111344103A (zh) | 2020-06-26 |
WO2020082264A1 (zh) | 2020-04-30 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN111344103B (zh) | 基于高光谱光学传感器的涂层区域定位方法和装置、及除胶系统 | |
KR101338576B1 (ko) | 화상 해석에 의해서 결함 검사를 실시하는 결함검사장치 | |
JP4323991B2 (ja) | 分光反射率測定装置、膜厚測定装置および分光反射率測定方法 | |
US7480407B2 (en) | Surface region identification by image area segmentation | |
US20180372542A1 (en) | LED Lighting Based Multispectral Imaging System for Color Measurement | |
JP6364777B2 (ja) | 画像データ取得システム及び画像データ取得方法 | |
US7386167B2 (en) | Segmentation technique of an image | |
JP5900644B2 (ja) | 分析対象領域設定装置 | |
US8705698B2 (en) | X-ray analyzer and mapping method for an X-ray analysis | |
JP7533966B2 (ja) | 検出対象物質のスペクトル情報を抽出する方法 | |
WO2021059858A1 (ja) | 検査方法、プログラム、及び、検査システム | |
TWI498543B (zh) | 自動晶圓光學檢測裝置及檢測晶圓表面均勻性的方法 | |
JP5860970B2 (ja) | 固有画像の生成を改良するための後処理 | |
EP2966433B1 (en) | Device for setting region of interest for analysis | |
EP3846121A1 (en) | Inspection system, information processing apparatus, and carrier means | |
CN107643269A (zh) | 交叉字迹时序鉴别方法、系统及计算装置 | |
JP7306673B2 (ja) | 評価システム及び評価方法 | |
JP2021103835A (ja) | 対象物の色を数値化する方法、信号処理装置、および撮像システム | |
CN114424046B (zh) | 检查方法、记录介质以及检查系统 | |
JP7321738B2 (ja) | 画像処理装置、画像処理方法及びプログラム | |
JP2018132390A (ja) | 膜厚測定方法および膜厚測定装置 | |
US12106543B2 (en) | Method for extracting spectral information of a substance under test | |
US20240129603A1 (en) | Imaging method and program | |
US20240273801A1 (en) | Methods for virtual image compensation | |
Bhardwaj | Detection and verification of missing components in SMD using AOI techniques |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |