CN111879791A - 一种图案表面凸起特征增强的机器视觉系统及方法 - Google Patents

一种图案表面凸起特征增强的机器视觉系统及方法 Download PDF

Info

Publication number
CN111879791A
CN111879791A CN202010747928.1A CN202010747928A CN111879791A CN 111879791 A CN111879791 A CN 111879791A CN 202010747928 A CN202010747928 A CN 202010747928A CN 111879791 A CN111879791 A CN 111879791A
Authority
CN
China
Prior art keywords
led lamp
image
detected
incident
light source
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010747928.1A
Other languages
English (en)
Other versions
CN111879791B (zh
Inventor
李晨
熊浩亮
余兰林
丁一
于长斌
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Westlake University
Original Assignee
Westlake University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Westlake University filed Critical Westlake University
Priority to CN202010747928.1A priority Critical patent/CN111879791B/zh
Publication of CN111879791A publication Critical patent/CN111879791A/zh
Application granted granted Critical
Publication of CN111879791B publication Critical patent/CN111879791B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84Systems specially adapted for particular applications
    • G01N21/88Investigating the presence of flaws or contamination
    • G01N21/95Investigating the presence of flaws or contamination characterised by the material or shape of the object to be examined
    • G01N21/956Inspecting patterns on the surface of objects
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/01Arrangements or apparatus for facilitating the optical investigation
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84Systems specially adapted for particular applications
    • G01N21/88Investigating the presence of flaws or contamination
    • G01N21/8806Specially adapted optical and illumination features
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84Systems specially adapted for particular applications
    • G01N21/88Investigating the presence of flaws or contamination
    • G01N21/8851Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/01Arrangements or apparatus for facilitating the optical investigation
    • G01N2021/0106General arrangement of respective parts
    • G01N2021/0112Apparatus in one mechanical, optical or electronic block
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/01Arrangements or apparatus for facilitating the optical investigation
    • G01N2021/0181Memory or computer-assisted visual determination
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84Systems specially adapted for particular applications
    • G01N21/88Investigating the presence of flaws or contamination
    • G01N21/8806Specially adapted optical and illumination features
    • G01N2021/8812Diffuse illumination, e.g. "sky"
    • G01N2021/8816Diffuse illumination, e.g. "sky" by using multiple sources, e.g. LEDs
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84Systems specially adapted for particular applications
    • G01N21/88Investigating the presence of flaws or contamination
    • G01N21/8806Specially adapted optical and illumination features
    • G01N2021/8845Multiple wavelengths of illumination or detection
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84Systems specially adapted for particular applications
    • G01N21/88Investigating the presence of flaws or contamination
    • G01N21/8851Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
    • G01N2021/8887Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges based on image processing techniques

Abstract

本发明公开的属于视觉系统技术领域,具体为一种图案表面凸起特征增强的机器视觉系统及方法,包括图像采集装置、成像装置、第一LED灯、第二LED灯,该种图案表面凸起特征增强的机器视觉系统及方法,通过四组不同波长的入射光光源和三棱镜相机两次曝光,能够得到四幅不同入射光照方向条件下的图像,并且相互之间不存在干扰,相比于传统方式的四次分时曝光,提升了检测的效率,光源的角度高度和中心距等参数能够根据待检测表面属性进行调整,通用性强,在系统的图像处理方法中,通过计算得到的待检测表面梯度变化分布,结合图像与处理方式,能够减弱由于系统光照角度不准确以及光照不均匀引入的计算误差,从而降低系统安装的环境条件。

Description

一种图案表面凸起特征增强的机器视觉系统及方法
技术领域
本发明涉及视觉系统技术领域,具体为一种图案表面凸起特征增强的机器 视觉系统及方法。
背景技术
机器视觉技术,是一门涉及人工智能、神经生物学、心理物理学、计算机 科学、图像处理、模式识别等诸多领域的交叉学科。机器视觉主要用计算机来 模拟人的视觉功能,从客观事物的图像中提取信息,进行处理并加以理解,最 终用于实际检测、测量和控制。机器视觉技术最大的特点是速度快、信息量大、 功能多。
在一些复杂图案表面检测中,利用机器视觉技术能够检测其表面图案纹理 的差异。即通过视觉成像方式将不同的信息清晰地保存在二维图像中,利用灰 度,形态学以及不同尺度中的差异,将不同的纹理信息进行区分。
在实际应用中,上述技术的检测结果总会遇到待检测表面中凸起物质的干 扰,如灰尘,纤维,毛发,字符等。其中,在检测表面印刷图案是否正常时, 一些表面凸起的灰尘会干扰纹理检测的准确性;另外,在检测复杂纹理表面中 的字符时,凸起的字符会在成像中被复杂的纹理背景干扰。这些物质在机器视 觉采集得到的二维图像中,表现出的纹理属性与上述复杂纹理具有很大的相似 性,容易和复杂纹理信息混淆在一起。从而在一定程度上影响检测系统的误判 率,降低产品的生产良率,导致产能的下降。
发明内容
本发明的目的在于提供一种图案表面凸起特征增强的机器视觉系统及方 法,以解决上述背景技术中提出的在实际应用中,上述技术的检测结果总会遇 到待检测表面中凸起物质的干扰,如灰尘,纤维,毛发,字符等。其中,在检 测表面印刷图案是否正常时,一些表面凸起的灰尘会干扰纹理检测的准确性; 另外,在检测复杂纹理表面中的字符时,凸起的字符会在成像中被复杂的纹理 背景干扰。这些物质在机器视觉采集得到的二维图像中,表现出的纹理属性与 上述复杂纹理具有很大的相似性,容易和复杂纹理信息混淆在一起。从而在一 定程度上影响检测系统的误判率,降低产品的生产良率,导致产能的下降的问 题。
为实现上述目的,本发明提供如下技术方案:一种图案表面凸起特征增强 的机器视觉系统及方法,包括图像采集装置、成像装置、第一LED灯、第二LED 灯、第三LED灯、第四LED灯和毛玻璃,所述图像采集装置的底部通过螺丝固 定连接所述成像装置,所述图像采集装置和所述成像装置电性连接,所述成像 装置的输出端四周分别固定连接所述第一LED灯、所述第二LED灯、所述第三 LED灯和所述第四LED灯,所述第一LED灯、所述第二LED灯、所述第三LED灯 和所述第四LED灯电性串联,所述第一LED灯、所述第二LED灯、所述第三LED灯和所述第四LED灯的光源端放置有毛玻璃,所述成像装置的输入端接触有待 检测物。
优选的,所述第一LED灯、所述第二LED灯、所述第三LED灯和所述第四 LED灯分别为四个不同方向以及不同波长的均匀条状LED光源,入射角度分别为 0°、90°、180°和270°,入射波长分别为425nm、525nm、625nm以及白光光 源。
优选的,所述待检测物为具有复杂图案背景的结构。
一种图案表面凸起特征增强的机器视觉系统及方法,该图案表面凸起特征 增强的机器视觉系统的方法包括如下步骤:
S1:利用四组不同波长的入射光,分别从四个角度均匀照射待检测物10表 面,利用三棱镜相机的第一次曝光能够同时采集三组不同方向且波长各异的入 射光照条件下的待检测表面图像,然后利用第二次曝光,通过相机三通道能够 采集白光入射条件下的待检测表面的复合图像,然后利用灰度变化得到第四组 光源入射角度条件下的待检测表面的阴影变化图像,进一步,根据四组不同入 射方向条件下的待检测表面的光照强度变化分布,并结合表面反射模型计算出 物体表面变化的梯度信息,然后通过后端的图像处理技术,避免局部计算误差 的干扰,从而能够增强表面复杂图案背景与凸起物的区分特征;
S2:在系统的成像单元中,采用的三棱镜相机进行二次曝光,从而能够快 速地完成四个方向入射光源条件下的四张图像的采集,避免信息的相互的串扰, 相比传统的相机利用频闪曝光四次采集相同的图像结果;
S3:在成像单元中,采集单元采用的三棱镜相机进行两次曝光采集,同样 可以利用多通道的面阵相机,如RGB-NIR四通道相机,结合不同通道相应入射 波长得到单次曝光完成四个入射波长条件下的待检测表面光照明暗变化图像, 另外,成像镜头采用传统的小孔成像镜头的透视投影镜头,在提高检测精度的 条件下,可以考虑采用远心正交投影镜头;
S4:入射光源从四个方向0°、90°、180°和270°,并且入射波长分别 为425nm、525nm、625nm以及白光光源,同样地,在实际应用中可以根据机构 安装的便捷性,调整光源的方向,另外前端采用毛玻璃进行入射光源背景的均 匀化,同时均匀化光源可以采用具有相应波长漫射作用的亚克力板等;
S5:四组入射光源的高度h、自旋角度θ以及中心距d,可以根据待检测样 品的面积以及光照均匀的情况进行调整,具体调整结果以待检测表面图像不会 产生灰度值为255的亮度区域或者灰度为0的暗区域为标准。
与现有技术相比,本发明的有益效果是:该种图案表面凸起特征增强的机 器视觉系统及方法,通过四组不同波长的入射光光源和三棱镜相机两次曝光, 能够得到四幅不同入射光照方向条件下的图像,并且相互之间不存在干扰,相 比于传统方式的四次分时曝光,提升了检测的效率。另外,光源的角度高度和 中心距等参数能够根据待检测表面属性进行调整,增强了系统的通用性。除此 之外,在系统的图像处理方法中,通过计算得到的待检测表面梯度变化分布, 结合图像与处理方式,能够减弱由于系统光照角度不准确以及光照不均匀引入 的计算误差,从而降低系统安装的环境条件,提升了系统的通用性。
附图说明
图1为本发明正视结构示意图;
图2为本发明图像采集单元俯视示意图;
图3为本发明图像处理单元的原理流程图示意图;
图4为本发明实验结果示意图。
图中:3图像采集装置、4成像装置、5第一LED灯、6第二LED灯、7第三 LED灯、8第四LED灯、9毛玻璃、10待检测物。
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清 楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是 全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造 性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
本发明提供一种图案表面凸起特征增强的机器视觉系统及方法,增强凸起 特征,使得凸起物与周围复杂背景差异化增大,从而避免凸起物对图案差异信 息的误判或者避免凸起物识别被复杂图案背景干扰,请参阅图1-4,包括图像采 集装置3、成像装置4、第一LED灯5、第二LED灯6、第三LED灯7、第四LED 灯8和毛玻璃9;
请再次参阅图1,图像采集装置3的底部具有成像装置4,具体的,图像采 集装置3的底部通过螺丝固定连接成像装置4,图像采集装置3和成像装置4电 性连接;
请再次参阅图1,第一LED灯5、第二LED灯6、第三LED灯7和第四LED 灯8与成像装置4接触,具体的,成像装置4的输出端四周分别固定连接第一 LED灯5、第二LED灯6、第三LED灯7和第四LED灯8,第一LED灯5、第二 LED灯6、第三LED灯7和第四LED灯8电性串联,第一LED灯5、第二LED灯 6、第三LED灯7和第四LED灯8的光源端放置有毛玻璃9,成像装置4的输入端接触有待检测物10,第一LED灯5、第二LED灯6、第三LED灯7和第四LED 灯8分别为四个不同方向以及不同波长的均匀条状LED光源,入射角度分别为 0°、90°、180°和270°,入射波长分别为425nm、525nm、625nm以及白光光 源,待检测物10为具有复杂图案背景的结构;
本发明还提供一种图案表面凸起特征增强的机器视觉系统的制造方法,该 图案表面凸起特征增强的机器视觉系统的方法包括如下步骤:
S1:利用四组不同波长的入射光,分别从四个角度均匀照射待检测物10表 面,利用三棱镜相机的第一次曝光能够同时采集三组不同方向且波长各异的入 射光照条件下的待检测表面图像,然后利用第二次曝光,通过相机三通道能够 采集白光入射条件下的待检测表面的复合图像,然后利用灰度变化得到第四组 光源入射角度条件下的待检测表面的阴影变化图像,进一步,根据四组不同入 射方向条件下的待检测表面的光照强度变化分布,并结合表面反射模型计算出 物体表面变化的梯度信息,然后通过后端的图像处理技术,避免局部计算误差 的干扰,从而能够增强表面复杂图案背景与凸起物的区分特征;
S2:在系统的成像单元中,采用的三棱镜相机进行二次曝光,从而能够快 速地完成四个方向入射光源条件下的四张图像的采集,避免信息的相互的串扰, 相比传统的相机利用频闪曝光四次采集相同的图像结果;
S3:在成像单元中,采集单元采用的三棱镜相机进行两次曝光采集,同样 可以利用多通道的面阵相机,如RGB-NIR四通道相机,结合不同通道相应入射 波长得到单次曝光完成四个入射波长条件下的待检测表面光照明暗变化图像, 另外,成像镜头采用传统的小孔成像镜头的透视投影镜头,在提高检测精度的 条件下,可以考虑采用远心正交投影镜头;
S4:入射光源从四个方向0°、90°、180°和270°,并且入射波长分别 为425nm、525nm、625nm以及白光光源,同样地,在实际应用中可以根据机构 安装的便捷性,调整光源的方向,另外前端采用毛玻璃进行入射光源背景的均 匀化,同时均匀化光源可以采用具有相应波长漫射作用的亚克力板等;
S5:四组入射光源的高度h、自旋角度θ以及中心距d,可以根据待检测样 品的面积以及光照均匀的情况进行调整,具体调整结果以待检测表面图像不会 产生灰度值为255的亮度区域或者灰度为0的暗区域为标准。
图案表面凸起特征增强的机器视觉系统的制造方法,主要包括图像采集单 元和图像处理单元两个部分:
其中,图像采集单元包括:利用单目相机和成像镜头作为系统的成像单元。 在待检测样品表面上方放置四个水平方向角度各异的入射光源,水平方向角度 分别为0°、90°、180°和270°,其中每个光源距离待检测表面的距离,成 像光轴的距离以及自旋角度可以根据待检测表面属性进行调整,即通过手动调 整上述参数将整个待检测表面的全部照亮,不会产生灰度为0的暗区域或者灰 度值高于255的高亮区域,进一步为了保证入射到待检测表面光照的均匀性, 四组光源采用前置毛玻璃的方式,对光源的出射光进行均匀化。另外,四组入 射光源采用不同的入射波长,即入射波长为425nm、525nm、625nm以及白光光 源,其中三组入射光源的波长425nm、525nm、625nm、分别对应成像单元中彩色 相机采集设备的B、G、R通道,并且该彩色相机采用三棱镜进行不同光波的分 离,从而使得后端传感器能够在空间上采集不同波长的入射光,对于不同波长 光照条件下,与传统采集设备相比,不会产生不同波长光照图像的干扰,进而 实现成像单元单次曝光能够同时采集三张互不串扰的灰度图像。根据上述过程, 能够通过采集单元的一次曝光,分别得到三个不同入射方向条件下的待检测表 面的灰度图,对于白色复合光源,将相机进行第二次曝光,通过采集单元的三 个通道得到待检测表面的彩色图像,利用灰度化处理,得到第四个入射方向光 照条件下的待检测表面的灰度图,经过上述过程能够得到四个不同入射光照条 件下的待检测表面图像,然后进入图像处理单元中进行特征提取和增强;
图像处理单元包括:根据上述四张不同入射光照条件下的灰度图像,以及 四种光源的入射方向,并且结合具体反射模型计算出物体表面变化的梯度信息, 由于光源入射方向的求取会出现误差,并且光照依然存在不均匀的情况,导致 求取的梯度变化信息存在较大的误差,该误差主要是局部面型的波动,但是局 部细节如凸起物与周围图像背景的梯度变化依然存在,根据上述情况,可以将 局部面型的波动作为图像中不均匀的背景,并且相比于凸起物梯度变化,局部 面型误差的波动为低频信息,因此通过图像处理的方式能够增强凸起物与周围 背景梯度变化的特征,降低由于系统误差引起的局部面型波动特征,即将图像 分为照射分量和反射分量,通过指数变化和傅里叶变化,分割两个分量,然后 压缩照射分量和增强反射分量以及傅里叶逆变换,从而得到凸起物梯度变化细
实施例1
如图1所示,具有复杂图案背景的待检测物10的样品表面,表面存在凸 起物,如字符等,放置在成像单元与照明单元下方,成像单元由图像采集装 置3和成像装置4组成,两者可以根据待检测视野范围和分辨率选择相应的 靶面的相机和成像镜头的分辨率,照明单元由四个水平方向角度各异的均匀 条形光组成,其中四组LED光源入射角度分别为0°、90°、180°和270°, 并且每个光源距离待检测样品表面的距离h,自转角度θ以及中心距d可调, 即通过调整上述参数将整个待检测表面全部照亮,并且不会产生灰度为0的 暗区域或者灰度为255的高亮区域,另外,为了保证入射到待检测表面光照 的均匀性,光源前置毛玻璃,确保光源出射光的均匀性;
本系统需要采集四张图像然后计算出表面的梯度分布,利用传统的四次分 时曝光采集,会降低系统的采集效率,因此本系统在上述成像单元和照明单元 进行特殊设计,即在成像单元中,进一步采用三棱镜相机,利用三棱镜分离不 同光波长,使得后端传感器能够在空间上采集不同波长的入射光,即R、G、B 通道相互分离,相比于传统的工业彩色相机,不会产生采集光波长的串扰。进 一步结合照明单元,将入射光源的波长分别设计为425nm,525nm,625nm以及白 光光源,相机采集分为两次曝光,分别为:第一次曝光时,第一LED灯5、第二 LED灯6和第三LED灯7同时照亮,即同时采集得到三个不同入射方向条件下待检测表面的灰度图,并且采集通道的波长响应互不干扰,保证了图像信息的分 离性;第二次曝光,只有第四LED灯8入射,从而采集得到白色复合光波的图 像,并且利用灰度化处理,得到待检测表面的彩色图像,上述采集得到的四张 图像的结果分别为:
Figure BDA0002608985230000091
其中I1(B),I1(G),I1(R)分别表示第一次曝光时,采集得到的三张不同入射角度且不同入射波长光源条件下的图像,I2(R),I2(G),I2(B)分别表示第二次曝光时,采 集得到的白光入射的彩色图像对应的不同通道,并且进行灰度化处理。
在得到上述四张不同方向入射光照条件下的灰度图像后,利用图像处理单 元,根据反射计算模型计算表面梯度的信息,与传统计算梯度方式不同的是, 本系统为了避免传统计算梯度模型中的远场照明和远场成像的限制,通过图像 算法对梯度图像的计算进行了优化处理,如图3所示,由于实际应用安装中不 满足远场安装的条件,并且存在入射光照角度矩阵计算误差以及光源不均匀等 问题,会在梯度计算中产生较大的局部面型波动,利用后期的算法处理能够减 少这种局部面型的波动。其中整个算法模型过程如下所示:
本系统可以采用现有的光源方向标定技术(如利用光滑球体或者漫反射球 体等),求得光源方向矩阵为:
Figure BDA0002608985230000092
为了保证亮度统一性,避免四张图像中亮度不一致性,将获得的四张图进 行亮度归一化:
Figure BDA0002608985230000101
其中反射模型为:
Figure BDA0002608985230000102
k,N分别表示表面反射率和法向量。
利用最小二乘法求解上述方程,可以得到:
Figure BDA0002608985230000103
进一步,得到x,y两个方向上的梯度分布为:
(p,q)=(-(Nx/Nz),-(Ny/Nz)) (6)
本系统根据两个方向的梯度融合得到待检测表面的梯度分布图:
Figure BDA0002608985230000104
为了避免梯度变化的集中性,将上述梯度图做拉伸:
g'(x,y)=(g(x,y)-gmin)/(gmax-gmin)×255 (8)
此时,由于光照并不符合反射模型中的远场照明等问题,导致计算得到的 梯度图会出现局部波动,并不是真实的面型变化梯度,如果直接利用梯度积分 计算高度会出现问题。因此本系统没有直接利用积分得到高度特征,而是利用 梯度分布图和一些图像算法,将表面凸起的梯度变化进行增强,从而能够将凸 起物特征得到增强。
将上述图像进行对数变换,得到分量:
lng'(x,y)=lng'i(x,y)+lng'r(x,y) (9)
其中,g'i表示不同的光强分量,即梯度图中不均匀的背景,g'r表示反射分 量,即凸起物变化的梯度存在于其中。
进一步做傅里叶变化得到
Figure BDA0002608985230000111
设计滤波器H(u,v)增强g'r分量,并抑制g'i分量
Figure BDA0002608985230000112
最后经过傅里叶逆变化以及指数变化还原图像得到g”(x,y),得到凸起物梯 度增强后的图像,然后为了保证图像的对比度,进一步增强将图像进行灰度拉 伸,如公式(8)所示的方法,得到最后的凸起特征增强后的结果;
实施例2
本实施例为复杂图案背景中凸起字符的特征增强,并利用现有字符识别技 术能够很容易地对其中字符进行识别。
在复杂图案背景中凸起字符的识别,在传统的检测中,测试结果如图4(c) 所示,由于图像背景中存在表面固有的明暗变化的印刷图案,然而凸起字符的 同样也会具有明暗变化的灰度。从图中可以看出,凸起字符很难从图像中直接 观察得到,利用现有的字符识别技术很难识别其中内容。
利用本发明中的系统,首先根据待检测表面大小,调整好光源高度、自旋 角度以及中心距,将待检测表面字符均匀照亮,尤其将其边界轮廓进行照亮。 然后利用相机进行两次曝光,采集得到不同水平入射方向条件下的图像,即通 过两次曝光分别得到图4(a)和(b)两组图像,其中(a)为第一次曝光采集 的彩色图,将其进行B、G、R通道图像分割,从而得到同时曝光且在感光波长 上互不串扰的图像(a3)、(a2)和(a1),分别对应入射方向0°对应的425nm波 长的光照条件,入射方向90°对应的525nm波长的光照条件,入射方向180°对应的625nm波长的光照条件,第二次曝光得到的(b)图像为白光复合光源入射时, 相机得到的图像并进行了灰度化的处理结果。
通过上述过程得到了四个不同入射方向条件下的图像(a1)、(a2)、(a3) 和(b)然后根据四组不同光源的入射方向计算其表面梯度的分布。其中对于入 射光照的方向矩阵的求取,通过现有标定技术(如光滑小球或者漫反射小球等) 都能够计算得到,如本系统实验中,相应的光照入射角度矩阵L:
Figure BDA0002608985230000121
利用上述光照矩阵并结合公式(4)~(8)得到,待检测表面梯度分布图,如图 4(d)所示,从图中可以看到,具有复杂图案的背景已经被削弱,但是由于系 统并不满足反射模型中的远场照明等条件,并且存在入射光照角度矩阵计算误 差以及光源不均匀等问题,导致表面梯度计算出现局部的波动误差。为了避免 局部波动对后期字符识别产生的干扰,系统通过图像算法抑制背景的波动并且 将凸起的字符梯度进行增强,利用公式(9)~(11)等计算,得到凸起字符梯度增 强后的图像(e),从图中可以看出,具有复杂图案背景被较大程度上地削弱, 并且凸起字符位置处的特征被明显增强。最后利用现有的字符识别技术即可容 易地完成识别其中的字符信息,如(f)所示。
综上所述,利用本发明设计的表面复杂图案背景中凸起物检测的机器视觉 系统,利用波长各异以及三棱镜相机的特性,利用两次曝光能够得到四张不同 光照条件下的图像,相比传统视觉检测中四次分时曝光,提升了检测的效率。 另外,通过图像处理技术,能够得到待检测表面的梯度分布图,并且能够避免 实际安装不满足远场照明条件等问题引入的局部表面梯度波动,从而降低了系 统安装的环境条件,增强了系统的通用性。
虽然在上文中已经参考实施例对本发明进行了描述,然而在不脱离本发明 的范围的情况下,可以对其进行各种改进并且可以用等效物替换其中的部件。 尤其是,只要不存在结构冲突,本发明所披露的实施例中的各项特征均可通过 任意方式相互结合起来使用,在本说明书中未对这些组合的情况进行穷举性的 描述仅仅是出于省略篇幅和节约资源的考虑。因此,本发明并不局限于文中公 开的特定实施例,而是包括落入权利要求的范围内的所有技术方案。

Claims (4)

1.一种图案表面凸起特征增强的机器视觉系统,其特征在于:包括图像采集装置(3)、成像装置(4)、第一LED灯(5)、第二LED灯(6)、第三LED灯(7)、第四LED灯(8)和毛玻璃(9),所述图像采集装置(3)的底部通过螺丝固定连接所述成像装置(4),所述图像采集装置(3)和所述成像装置(4)电性连接,所述成像装置(4)的输出端四周分别固定连接所述第一LED灯(5)、所述第二LED灯(6)、所述第三LED灯(7)和所述第四LED灯(8),所述第一LED灯(5)、所述第二LED灯(6)、所述第三LED灯(7)和所述第四LED灯(8)电性串联,所述第一LED灯(5)、所述第二LED灯(6)、所述第三LED灯(7)和所述第四LED灯(8)的光源端放置有毛玻璃(9),所述成像装置(4)的输入端接触有待检测物(10)。
2.根据权利要求1所述的一种图案表面凸起特征增强的机器视觉系统,其特征在于:所述第一LED灯(5)、所述第二LED灯(6)、所述第三LED灯(7)和所述第四LED灯(8)分别为四个不同方向以及不同波长的均匀条状LED光源,入射角度分别为0°、90°、180°和270°,入射波长分别为425nm、525nm、625nm以及白光光源。
3.根据权利要求2所述的一种图案表面凸起特征增强的机器视觉系统,其特征在于:所述待检测物(10)为具有复杂图案背景的结构。
4.一种如权利要求1-3中任一项所述的图案表面凸起特征增强的机器视觉系统的方法,其特征在于:该图案表面凸起特征增强的机器视觉系统的方法包括如下步骤:
S1:利用四组不同波长的入射光,分别从四个角度均匀照射待检测物(10)表面,利用三棱镜相机的第一次曝光能够同时采集三组不同方向且波长各异的入射光照条件下的待检测表面图像,然后利用第二次曝光,通过相机三通道能够采集白光入射条件下的待检测表面的复合图像,然后利用灰度变化得到第四组光源入射角度条件下的待检测表面的阴影变化图像,进一步,根据四组不同入射方向条件下的待检测表面的光照强度变化分布,并结合表面反射模型计算出物体表面变化的梯度信息,然后通过后端的图像处理技术,避免局部计算误差的干扰,从而能够增强表面复杂图案背景与凸起物的区分特征;
S2:在系统的成像单元中,采用的三棱镜相机进行二次曝光,从而能够快速地完成四个方向入射光源条件下的四张图像的采集,避免信息的相互的串扰,相比传统的相机利用频闪曝光四次采集相同的图像结果;
S3:在成像单元中,采集单元采用的三棱镜相机进行两次曝光采集,同样可以利用多通道的面阵相机,如RGB-NIR四通道相机,结合不同通道相应入射波长得到单次曝光完成四个入射波长条件下的待检测表面光照明暗变化图像,另外,成像镜头采用传统的小孔成像镜头的透视投影镜头,在提高检测精度的条件下,可以考虑采用远心正交投影镜头;
S4:入射光源从四个方向0°、90°、180°和270°,并且入射波长分别为425nm、525nm、625nm以及白光光源,同样地,在实际应用中可以根据机构安装的便捷性,调整光源的方向,另外前端采用毛玻璃进行入射光源背景的均匀化,同时均匀化光源可以采用具有相应波长漫射作用的亚克力板等;
S5:四组入射光源的高度h、自旋角度θ以及中心距d,可以根据待检测样品的面积以及光照均匀的情况进行调整,具体调整结果以待检测表面图像不会产生灰度值为255的亮度区域或者灰度为0的暗区域为标准。
CN202010747928.1A 2020-07-30 2020-07-30 一种图案表面凸起特征增强的机器视觉系统及方法 Active CN111879791B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010747928.1A CN111879791B (zh) 2020-07-30 2020-07-30 一种图案表面凸起特征增强的机器视觉系统及方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010747928.1A CN111879791B (zh) 2020-07-30 2020-07-30 一种图案表面凸起特征增强的机器视觉系统及方法

Publications (2)

Publication Number Publication Date
CN111879791A true CN111879791A (zh) 2020-11-03
CN111879791B CN111879791B (zh) 2023-06-20

Family

ID=73201201

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010747928.1A Active CN111879791B (zh) 2020-07-30 2020-07-30 一种图案表面凸起特征增强的机器视觉系统及方法

Country Status (1)

Country Link
CN (1) CN111879791B (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113239823A (zh) * 2021-05-19 2021-08-10 山东财经大学 基于非均匀光照人脸图像增强的混合人脸成分识别方法
CN116429766A (zh) * 2023-03-23 2023-07-14 长园视觉科技(珠海)有限公司 基于多通道分离的方法、系统、装置及存储介质

Citations (25)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20030016882A1 (en) * 2001-04-25 2003-01-23 Amnis Corporation Is Attached. Method and apparatus for correcting crosstalk and spatial resolution for multichannel imaging
JP2003297888A (ja) * 2002-03-26 2003-10-17 Isoa Inc 光学的検査方法及び光学的検査システム
US20040146295A1 (en) * 2003-01-15 2004-07-29 Negevtech Ltd. System for detection of wafer defects
US6847443B1 (en) * 2002-01-17 2005-01-25 Rudolph Technologies, Inc. System and method for multi-wavelength, narrow-bandwidth detection of surface defects
US20090028461A1 (en) * 2004-02-19 2009-01-29 Nederlandse Organisatie Voor Toegepastnatuurwetenschappelijk Onderzoek Tno Imaging of buried structures
CN101726499A (zh) * 2008-10-10 2010-06-09 丰田自动车株式会社 表面检查装置
US20110018999A1 (en) * 2007-12-19 2011-01-27 Societe De Technologie Michelin Device for Evaluating the Surface of a Tire
EP2637004A1 (en) * 2010-11-11 2013-09-11 The Hong Kong Research Institute Of Textiles And Apparel Limited Multispectral imaging color measurement system and method for processing imaging signals thereof
CN103645143A (zh) * 2013-12-09 2014-03-19 广州广电运通金融电子股份有限公司 一种多光谱券类质量检测方法和系统
CN105651189A (zh) * 2016-02-03 2016-06-08 浙江大学 用于手机盖板中油墨层厚度测量的无损在线检测设备
CN106645161A (zh) * 2016-09-27 2017-05-10 凌云光技术集团有限责任公司 一种表面缺陷检测系统及方法
CN107084681A (zh) * 2017-03-15 2017-08-22 上海大学 能主动适应水环境和水下目标的主动光照视觉成像系统和方法
CN107505325A (zh) * 2017-08-18 2017-12-22 西北农林科技大学 冬枣果实的全方位品质检测方法
CN107750371A (zh) * 2015-06-30 2018-03-02 倍耐力轮胎股份公司 用于检测轮胎的表面上的缺陷的方法和设备
CN107980094A (zh) * 2017-03-31 2018-05-01 深圳配天智能技术研究院有限公司 一种视觉检测系统及方法
CN108171654A (zh) * 2017-11-20 2018-06-15 西北大学 带干扰抑制的汉字图像超分辨率重建方法
CN108956462A (zh) * 2018-05-15 2018-12-07 武汉科技大学 一种彩色相机rgb图像融合视觉检测系统及检测方法
CN108956610A (zh) * 2017-05-18 2018-12-07 南京原觉信息科技有限公司 工业视觉探伤系统及工业视觉探伤方法
CN109523541A (zh) * 2018-11-23 2019-03-26 五邑大学 一种基于视觉的金属表面细微缺陷检测方法
CN110031482A (zh) * 2019-05-05 2019-07-19 苏州天准科技股份有限公司 一种基于反射式结构光照明的玻璃瑕疵检测方法
CN209858405U (zh) * 2019-02-14 2019-12-27 惠州市聚真电路板有限公司 基于机器光学的pcb板缺陷检测系统装置
CN110703385A (zh) * 2019-11-11 2020-01-17 西湖大学 基于光散射的图案化的多模干涉耦合器、设计方法和应用
CN111007020A (zh) * 2019-12-23 2020-04-14 武汉呵尔医疗科技发展有限公司 双帧四光谱成像方法及应用
CN111007086A (zh) * 2019-11-25 2020-04-14 合肥维信诺科技有限公司 缺陷检测方法和装置、存储介质
CN111428673A (zh) * 2020-04-01 2020-07-17 天津大学前沿技术研究院有限公司 一种用于指纹增强显示的偏振矢量彩色图像融合方法

Patent Citations (26)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20030016882A1 (en) * 2001-04-25 2003-01-23 Amnis Corporation Is Attached. Method and apparatus for correcting crosstalk and spatial resolution for multichannel imaging
US6847443B1 (en) * 2002-01-17 2005-01-25 Rudolph Technologies, Inc. System and method for multi-wavelength, narrow-bandwidth detection of surface defects
JP2003297888A (ja) * 2002-03-26 2003-10-17 Isoa Inc 光学的検査方法及び光学的検査システム
US20040146295A1 (en) * 2003-01-15 2004-07-29 Negevtech Ltd. System for detection of wafer defects
US20060244958A1 (en) * 2003-01-15 2006-11-02 Negevtech Ltd. System for detection of wafer defects
US20090028461A1 (en) * 2004-02-19 2009-01-29 Nederlandse Organisatie Voor Toegepastnatuurwetenschappelijk Onderzoek Tno Imaging of buried structures
US20110018999A1 (en) * 2007-12-19 2011-01-27 Societe De Technologie Michelin Device for Evaluating the Surface of a Tire
CN101726499A (zh) * 2008-10-10 2010-06-09 丰田自动车株式会社 表面检查装置
EP2637004A1 (en) * 2010-11-11 2013-09-11 The Hong Kong Research Institute Of Textiles And Apparel Limited Multispectral imaging color measurement system and method for processing imaging signals thereof
CN103645143A (zh) * 2013-12-09 2014-03-19 广州广电运通金融电子股份有限公司 一种多光谱券类质量检测方法和系统
CN107750371A (zh) * 2015-06-30 2018-03-02 倍耐力轮胎股份公司 用于检测轮胎的表面上的缺陷的方法和设备
CN105651189A (zh) * 2016-02-03 2016-06-08 浙江大学 用于手机盖板中油墨层厚度测量的无损在线检测设备
CN106645161A (zh) * 2016-09-27 2017-05-10 凌云光技术集团有限责任公司 一种表面缺陷检测系统及方法
CN107084681A (zh) * 2017-03-15 2017-08-22 上海大学 能主动适应水环境和水下目标的主动光照视觉成像系统和方法
CN107980094A (zh) * 2017-03-31 2018-05-01 深圳配天智能技术研究院有限公司 一种视觉检测系统及方法
CN108956610A (zh) * 2017-05-18 2018-12-07 南京原觉信息科技有限公司 工业视觉探伤系统及工业视觉探伤方法
CN107505325A (zh) * 2017-08-18 2017-12-22 西北农林科技大学 冬枣果实的全方位品质检测方法
CN108171654A (zh) * 2017-11-20 2018-06-15 西北大学 带干扰抑制的汉字图像超分辨率重建方法
CN108956462A (zh) * 2018-05-15 2018-12-07 武汉科技大学 一种彩色相机rgb图像融合视觉检测系统及检测方法
CN109523541A (zh) * 2018-11-23 2019-03-26 五邑大学 一种基于视觉的金属表面细微缺陷检测方法
CN209858405U (zh) * 2019-02-14 2019-12-27 惠州市聚真电路板有限公司 基于机器光学的pcb板缺陷检测系统装置
CN110031482A (zh) * 2019-05-05 2019-07-19 苏州天准科技股份有限公司 一种基于反射式结构光照明的玻璃瑕疵检测方法
CN110703385A (zh) * 2019-11-11 2020-01-17 西湖大学 基于光散射的图案化的多模干涉耦合器、设计方法和应用
CN111007086A (zh) * 2019-11-25 2020-04-14 合肥维信诺科技有限公司 缺陷检测方法和装置、存储介质
CN111007020A (zh) * 2019-12-23 2020-04-14 武汉呵尔医疗科技发展有限公司 双帧四光谱成像方法及应用
CN111428673A (zh) * 2020-04-01 2020-07-17 天津大学前沿技术研究院有限公司 一种用于指纹增强显示的偏振矢量彩色图像融合方法

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
CHEN LI ET AL.: "Face Recognition Based on the Combination of Enhanced Local Texture Feature and DBN under Complex Illumination Conditions", JOURNAL OF INFORMATION PROCESSING SYSTEMS, vol. 14, no. 1 *
李晨: "基于机器视觉的不同属性表面中微弱缺陷的检测技术研究", 中国博士学位论文全文数据库 信息科技辑, no. 4 *
郭传鑫;李振波;乔曦;李晨;岳峻;: "基于融合显著图与GrabCut算法的水下海参图像分割", 农业机械学报, no. 1 *
高素美;智淑亚;: "基于机器视觉的香烟条包图像检测系统研究", 金陵科技学院学报, no. 02 *

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113239823A (zh) * 2021-05-19 2021-08-10 山东财经大学 基于非均匀光照人脸图像增强的混合人脸成分识别方法
CN113239823B (zh) * 2021-05-19 2023-05-26 山东财经大学 基于非均匀光照人脸图像增强的混合人脸成分识别方法
CN116429766A (zh) * 2023-03-23 2023-07-14 长园视觉科技(珠海)有限公司 基于多通道分离的方法、系统、装置及存储介质

Also Published As

Publication number Publication date
CN111879791B (zh) 2023-06-20

Similar Documents

Publication Publication Date Title
CN109523541A (zh) 一种基于视觉的金属表面细微缺陷检测方法
CN103034838B (zh) 一种基于图像特征的特种车辆仪表类型识别与标定方法
Medioni et al. Face modeling and recognition in 3-D
CN111879791A (zh) 一种图案表面凸起特征增强的机器视觉系统及方法
Ming et al. A comprehensive review of defect detection in 3C glass components
CN107194881B (zh) 一种基于光度立体的去除图像反光方法
CN111009007A (zh) 一种指部多特征全面三维重建方法
CN110740679A (zh) 用于对皮肤光泽定量估计的皮肤光泽测量
RU2716465C1 (ru) Способ оптической проверки и использующее его устройство
CN110728312B (zh) 一种基于区域自适应注意力网络的干眼症分级系统
CN112396573A (zh) 基于图像识别的面部皮肤分析方法及系统
US11620849B2 (en) Spectral imaging chip and apparatus, information processing method, fingerprint living body identification device and fingerprint module
CN104111165A (zh) 一种近眼显示光学镜头像质的评价装置
CN110346116A (zh) 一种基于图像采集的场景照度计算方法
Behera Image-processing in textiles
CN106407915A (zh) 一种基于svm的人脸特征识别方法及装置
Liu et al. Learning discriminative illumination and filters for raw material classification with optimal projections of bidirectional texture functions
Yemelyanov et al. Adaptive algorithms for two-channel polarization sensing under various polarization statistics with nonuniform distributions
CN112132803A (zh) 一种基于卷积神经网络的鸡蛋新鲜度检测方法
CN112288010A (zh) 基于网络学习的指静脉图像质量评价方法
CN107576600B (zh) 一种抹茶粒度等级的快速检测方法
CN105391998B (zh) 微光夜视仪分辨率自动检测方法和装置
CN210664378U (zh) 基于红绿色差的定制光源粗糙度检测装置
CN204202849U (zh) 一种ccd调制传递函数测量装置
CN110793472B (zh) 一种基于四元数奇异值熵指标的磨削表面粗糙度检测方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant