CN113418933B - 用于检测大尺寸物体的飞拍视觉成像检测系统及方法 - Google Patents
用于检测大尺寸物体的飞拍视觉成像检测系统及方法 Download PDFInfo
- Publication number
- CN113418933B CN113418933B CN202110967039.0A CN202110967039A CN113418933B CN 113418933 B CN113418933 B CN 113418933B CN 202110967039 A CN202110967039 A CN 202110967039A CN 113418933 B CN113418933 B CN 113418933B
- Authority
- CN
- China
- Prior art keywords
- imaging
- shooting
- unit
- detected
- imaging unit
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
- G01N21/84—Systems specially adapted for particular applications
- G01N21/88—Investigating the presence of flaws or contamination
- G01N21/95—Investigating the presence of flaws or contamination characterised by the material or shape of the object to be examined
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
- G01N21/01—Arrangements or apparatus for facilitating the optical investigation
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
- G01N21/84—Systems specially adapted for particular applications
- G01N21/88—Investigating the presence of flaws or contamination
- G01N21/8851—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/136—Segmentation; Edge detection involving thresholding
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
- G01N21/84—Systems specially adapted for particular applications
- G01N21/88—Investigating the presence of flaws or contamination
- G01N21/8851—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
- G01N2021/8887—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges based on image processing techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10004—Still image; Photographic image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
Landscapes
- Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Physics & Mathematics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Pathology (AREA)
- Immunology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- General Health & Medical Sciences (AREA)
- Biochemistry (AREA)
- Chemical & Material Sciences (AREA)
- Analytical Chemistry (AREA)
- Theoretical Computer Science (AREA)
- Health & Medical Sciences (AREA)
- Data Mining & Analysis (AREA)
- Bioinformatics & Computational Biology (AREA)
- General Engineering & Computer Science (AREA)
- Evolutionary Computation (AREA)
- Evolutionary Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Artificial Intelligence (AREA)
- Signal Processing (AREA)
- Investigating Materials By The Use Of Optical Means Adapted For Particular Applications (AREA)
Abstract
本发明涉及视觉检测领域,特别是用于检测大尺寸物体的飞拍视觉成像检测系统及方法,其中检测系统包括用于放置待测件的承载平台,与控制单元通信连接的成像单元;其特征在于:还包括与控制单元通信连接的运动单元;所述成像单元包括受频闪控制器控制的光源模块和面阵相机模块;待测件上光学检测角度兼容的待检测面对应一种成像单元的光学检测模式;所述运动单元用于带着成像单元运动,并用于将成像单元调整成对应的光学检测模式;同时还包括与控制单元通信连接的图像处理与AI算法单元。本发明让被测物体保持静态,通过控制面阵相机进行运动来实现飞拍,从而不仅解决了光学成像系统复杂化的问题,而且能够有效提升对大尺寸物体检测的效率和精确度。
Description
技术领域
本发明涉及视觉检测领域,特别涉及用于检测大尺寸物体的飞拍视觉成像检测系统及方法。
背景技术
飞拍作为一种新型高效的机器视觉技术,通过视觉系统与待测物体的相对运动,实现对待测物体的不间歇成像,大大降低了检测所消耗的时间,因此在追求快速生产节拍的行业,有广阔的应用前景。
目前飞拍技术的实现,大多通过控制待测物体的运动,而负责视觉感知的相机保持静态,从而保障全视野稳定精确的成像质量。该方式对于小尺寸零件的检测,由于节约机构视觉空间,光学设计考虑因素较为简单,在检测行业内有大量应用,如用于金属注塑件的尺寸测量技术、医疗行业内各种药品容器的检测等。
对于大尺寸件的检测,现有的飞拍技术无法实现,因此常规检测手段是采用线扫描相机来实现宽幅连续采图。对于有多个检测面的立体检测物,需要多组成像系统协同实现。如笔记本后盖,涉及到多达十几个不同空间位置的检测面,复杂的光学成像系统导致成本急剧增加,以及机构设计和系统调试的困难。有时因为空间干涉,不得不舍弃部分光路,最终影响成像和检测质量。再如符合人体工程学设计的笔记本电脑结构外观较为复杂,生产工艺会带来多种缺陷(如划伤、压伤、碰伤、砂痕印、刀线、酸印等),再者其侧边存在斜边、直边、底边、直边与棱边的过渡棱边、直边与底边的过渡棱边,弧度弯角的存在又进一步加大了检测的难度,虽然采用线扫描相机可实现大尺寸快速检测,但同时实现多空间面检测时,需配置多台线扫描相机,及配套照明光路。光学设计复杂,机构冗余,调试困难,成本极高。当测试不同类型检测物时,光学成像和机构系统需重更新设计,原有检测系统的兼容性和复用性不高。
发明内容
本发明的第一个目的是提供一种用于检测大尺寸物体的飞拍视觉成像检测系统,该系统基于飞拍技术,让被测物体保持静态,通过控制面阵相机进行运动来实现飞拍,从而不仅解决了光学成像系统复杂化的问题,而且能够有效提升对大尺寸物体的侧壁外框检测的效率和精确度。
实现本发明第一个目的的技术方案是:本发明用于检测大尺寸物体的飞拍视觉成像检测系统,包括用于放置待测件的承载平台,与控制单元通信连接的成像单元;同时还包括与控制单元通信连接的运动单元;所述成像单元包括受频闪控制器控制的光源模块和面阵相机模块;所述频闪控制器与控制单元通信连接;所述面阵相机模块与光源模块配合进行采图;所述成像单元固定设置在运动单元上;待测件上光学检测角度兼容的待检测面对应成像单元的一种光学检测模式;所述运动单元用于带着成像单元沿待检测面的延伸路径运动,并用于将成像单元调整成对应的光学检测模式;所述成像单元用于在沿待检测面的延伸路径运动时进行拍摄采图;所述控制单元用于控制运动单元的运动,用于控制成像单元拍摄采图;同时还包括与控制单元通信连接的图像处理与AI算法单元;所述图像处理与AI算法单元用于接收拍摄采图所得图片,用于对采图所得图片进行图像处理和缺陷特征提取并计算获得检测结果。
之所以采用面阵相机模块而不采用线扫描相机,是为了确保飞拍过程中能够获得被测物清晰的图片。基于本发明的技术方案是让成像单元动,而待测件不动,因此为了应满足如下关系:
成像单元的运动速度(Vs) * 成像单元的曝光时间(Ts)< 允许最长拖影单位系统精度△s;
为了防止拖影造成的图像模糊,影响最终的成像质量,要求成像单元的曝光时间较短。随着运动速度的加快,能给予曝光时间的时间越来越短。
基于此原因,本发明的技术方案做了突破设计,即采用感光单元较大的面阵相机模块,以全局曝光模式成像。同时采用高速的频闪控制器触发照明,使运动单元带动成像单元按预设路径规划快速运动的同时,在适当位置进行局部区域拍摄,保证局部区域拍摄的成像质量。同时在频闪控制器加大光源模块拍照瞬间照度的同时,让局部区域拍摄的图片亮度得到合理增强。
进一步,上述成像单元包括第一成像模块和第二成像模块;所述第一成像模块包括第一面阵相机模块和与其配合使用并受频闪控制器控制的同轴光源模块;所述第二成像模块包括第二面阵相机模块和与其配合使用并受频闪控制器控制的环形光源模块;所述第一成像模块用于对待测件的侧边进行拍摄采图;第二成像模块用于对待测件的拐角进行拍摄采图;所述光学检测模式包括第一成像模块和第二成像模块的选用,以及第一成像模块和第二成像模块的拍摄角度。
由于加工工艺(喷丸加阳极氧化或喷塑等表面处理)的影响,待测件可能为亚光面,存在微观表面纹理。当光照射在表面时,会存在一定程度的漫反射,导致成像单元接收到的反射光有限,拍摄的图片偏暗。
此外,形态各异的缺陷在不同光学方案下,呈现不同的形态和对比度。以崩边和砂坑为例,较之于基底背景,同为凹形缺陷类型,崩边偏亮沙坑偏暗。成像角度不同,缺陷与背景的对比度不同。可参见图4和图5。
基于上述原因,为了让每种缺陷都能在适当对比度的背景下呈现,并有特征化区分,本发明根据待检测面的光学角度兼容性设计多种光学检测模式。即同一种光学角度的待检测面采用一种光学检测模式。随着待测件的待测平面不同,可以根据需要增加或者减少光学检测模式。
之所以采用第一成像模块对侧边进行拍摄采图,是因为侧边有一定的倾斜角度,为保证不同坡度上的位置成像不发生畸变,同时拍摄的图片基底有较高亮度,采用方向性良好的同轴光源模块成像更好。
之所以采用第二成像模块对拐角进行拍摄采图,是因为拐角为多维立体全方位弧度,采用平面式发光的光源模块,不可避免会导致一定程度的光学死角,让拐角部不能有足够的亮度成像或被检测。而采用环形光源模块,可实现全方位光学照明,成像效果更好。
进一步,上述环形光源模块为偏振环形蓝光光源模块。由于蓝光具有很好的扩散性,对某些缺陷有着很好的表现能力。故采用偏振环形蓝光光源模块,配合拍摄角度,可实现拐角的缺陷检测与甄别。
作为具体优化设计,其具有五个光学检测模块;第一个光学检测模式为第一成像模块对待测件的长边上侧面形成拍摄角度;第二个光学检测模式为第二成像模块对待测件拐角形成拍摄角度;第三个光学检测模式为第一成像模块对待测件的短边上侧面形成拍摄角度;第四个光学检测模式为第一成像模块对待测件的短边下侧面形成拍摄角度;第五个光学检测模式为第一成像模块对待测件的长边下侧面形成拍摄角度。
当待测件水平放置在承载平台上时:
所述第一成像模块在对长边上侧面拍摄采图时,其光轴方向与水平的夹角为45°~55°;
所述第一成像模块在对短边上侧面拍摄采图时,其光轴方向与水平的夹角为40°~50°;
所述第一成像模块在对短边下侧面拍摄采图时,其光轴方向与水平的夹角为13°~23°;
所述第一成像模块在对长边下侧面拍摄采图时,其光轴方向与水平的夹角为15°~25°。
进一步,还包括用于呈现检测结果的用户界面;所述用户界面与控制单元通信连接。
进一步,上述运动单元为多自由度机械臂;所述成像单元固定设置在多自由度机械臂上,多自由度机械臂带着成像单元沿光学检测路径运动。
进一步,上述面阵相机模块为一根USB线缆连接的面阵相机模块。因为该种面阵相机模块只有一根高柔的USB数据传输线缆,减少了因成像单元的运动,而导致线缆折损和缠绕风险。
本发明的第二个目的是提供一种利用上述用于检测大尺寸物体的飞拍视觉成像检测系统进行的检测方法,该检测方法通过优化飞拍路径及图像处理,能够大大提高检测效率和检测精确度。
实现本发明第二个目的的技术方案是:本发明中利用上述用于检测大尺寸物体的飞拍视觉成像检测系统进行的检测方法,包括以下步骤:
S1、设定光学检测模式:根据待测件的待检测面的光学角度兼容设定成像单元对应的光学检测模式,光学检测模式的数量为大于等于1的整数;
S2、设定成像单元的拍摄路径:根据待检测面的分布设定成像单元的拍摄路径;
S3、采图:成像单元在运动单元带动下沿设定的拍摄路径运动;成像单元沿拍摄路径运动时按照拍摄时序节拍对待检测面进行多次连续局部区域拍摄;上一张局部区域拍摄的图片与下一张局部区域拍摄的图片存在重复区域;重复区域在成像单元的拍摄路径方向上的长度为L,其满足以下要求:L > 2*最小缺陷识别精度+运动单元的定位误差;同时,在进行局部区域拍摄时,面阵相机模块的拍摄时序节拍延迟并提前结束于受频闪控制器控制的光源模块的时序节拍;当成像单元从上一个待检测面移动至下一个待检测面时,成像单元在运动单元的调整下保持或切换至对应的光学检测模式;
S4、图像处理和计算:成像单元将每次拍摄采集的图片同步传输至图像处理与AI算法单元,图像处理与AI算法单元先对图片进行预处理,然后将图片放入数据模型进行缺陷识别、划分和统计,最终获得检测结果。
进一步,上述步骤S4中图像处理与AI算法单元接收到拍摄采集的图片后,进行如下步骤:
a、先使用图像增强与区域分割模型,祛除背景干扰,增强待识别缺陷与背景的对比度;
b、接着使用阈值分割与特征识别模型,将形态特征分明(如崩边)或大尺寸缺陷(如大的划伤)先行提取分类;对于形态特征模糊或不易识别的缺陷(如砂痕印、酸印),采用深度算法进行学习、训练、识别、分类;
c、识别分类后的缺陷将按照类型、特征、位置、置信度等多维度信息,输入到数据处理模型,进行最终的甄别、划分和统计。
利用上述变形优化设计的用于检测大尺寸物体的飞拍视觉成像检测系统进行的检测方法,包括以下步骤:
Ⅰ、设定光学检测模式:待测件包括A长边、B短边、C长边和D短边;A长边、B短边、C长边和D短边形成矩形,且A长边和B短边相交处形成AB拐角,B短边与C长边相交处形成BC拐角,C长边和D短边相交处形成CD拐角,D短边和A长边相交处形成AD拐角;
所述A长边包括角度不同的A1上侧面和A2下侧面;所述B短边包括角度不同的B1上侧面和B2下侧面;所述C长边包括角度不同的C1上侧面和C2下侧面;所述D短边包括角度不同的D1上侧面和D2下侧面;
待测件的待检测面包括A1上侧面、A2下侧面、B1上侧面、B2下侧面、C1上侧面、C2下侧面、D1上侧面、D2下侧面、AB拐角、BC拐角、CD拐角和AD拐角;
第一个光学检测模式对应A1上侧面和C1上侧面;第二个光学检测模式对应AB拐角、BC拐角、CD拐角和AD拐角;第三个光学检测模式对应B1上侧面和D1上侧面;第四个光学检测模式对应待测件的B2下侧面和D2下侧面;第五个光学检测模式对应A2下侧面和C2下侧面;
Ⅱ、设定成像单元的拍摄路径:根据待检测面的分布设定成像单元的拍摄路径如下:从A1上侧面至AB拐角,接着至B1上侧边,接着至BC拐角,接着至C1上侧边,接着至CD拐角,接着至D1上侧边,接着至AD拐角,接着至A2下侧面,接着至B2下侧面,接着至C2下侧面,接着至D2下侧面;
Ⅲ、采图:成像单元在运动单元带动下沿设定的拍摄路径运动并调整至相应的光学检测模式;成像单元沿拍摄路径运动时按照拍摄时序节拍对待检测面进行多次连续局部区域拍摄;上一张局部区域拍摄的图片与下一张局部区域拍摄的图片存在重复区域;重复区域在成像单元的拍摄路径方向上的长度为L,其满足以下要求:L > 2*最小缺陷识别精度+运动单元的定位误差;同时,在进行局部区域拍摄时,面阵相机模块的拍摄时序节拍延迟并提前结束于受频闪控制器控制的光源模块的时序节拍;
Ⅳ、图像处理和计算:成像单元将每次拍摄采集的图片同步传输至图像处理与AI算法单元,图像处理与AI算法单元先对图片进行预处理,然后将图片放入数据模型进行缺陷识别、划分和统计,最终获得检测结果。
本发明具有积极的效果:(1)本发明通过全新的飞拍设计,即能够利用飞拍对具有大尺寸、空间多角度、不同形态多检测面的大尺寸物体进行缺陷检测,而且能够大大简化机械结构,大大减小了成像系统协同的难度,同时检测效率高效。
(2)本发明稳定的检测输出,减少人力消耗的同时,实现长期高品质可靠质检;
(3)本发明通过第一成像模块和第二成像模块的组合,以及多个光学检测模式的设计,精简了机构,降低投入成本;
(4)本发明通过面阵相机模块能够在以成像单元运动为基础条件下,能够确保获得稳定的动态图像采集;
(5)本发明通过多自由度的机械臂能够实现多角度多检测面的并行检测;同时能够实现第一成像模块和第二成像模块之间的快速切换,以及拍摄角度的调整,从而为不同类型的待测件的检测提供了适配性。
附图说明
为了使本发明的内容更容易被清楚地理解,下面根据具体实施例并结合附图,对本发明作进一步详细的说明,其中
图1为本发明中用于检测大尺寸物体的飞拍视觉成像检测系统的电气连接示意图;
图2为本发明中成像单元的电气连接示意图;
图3为本发明中成像单元对待检测面进行多次连续局部区域拍摄的示意图;
图4为成像单元在不同拍摄角度下对于崩边缺陷的成像示意图;
图5为成像单元在不同拍摄角度下对于沙坑缺陷的成像示意图;
图6为本发明中待测件的结构示意图;
图7为本发明中面阵相机模块的拍摄时序节拍与受频闪控制器控制的光源模块的时序节拍的示意图。
具体实施方式
见图1、图2、图3和图7,本发明用于检测大尺寸物体的飞拍视觉成像检测系统,包括用于放置待测件的承载平台1,与控制单元2通信连接的成像单元3;还包括与控制单元2通信连接的运动单元4;所述运动单元4为多自由度机械臂;所述成像单元3包括第一成像模块31和第二成像模块32;所述第一成像模块31包括第一面阵相机模块311和与其配合使用并受频闪控制器33控制的同轴光源模块312;所述第二成像模块32包括第二面阵相机模块321和与其配合使用并受频闪控制器33控制的环形光源模块322;
所述频闪控制器33与控制单元2通信连接;所述成像单元3固定设置在运动单元4上;待测件上光学检测角度兼容的待检测面对应成像单元3的一种光学检测模式;所述运动单元4用于带着成像单元3沿待检测面的延伸路径运动,并用于将成像单元3调整成对应的光学检测模式;所述成像单元3用于在沿待检测面的延伸路径运动时进行拍摄采图;所述控制单元2用于控制运动单元4的运动,用于控制成像单元3拍摄采图;同时还包括与控制单元2通信连接的图像处理与AI算法单元5;所述图像处理与AI算法单元5用于接收拍摄采图所得图片,用于对采图所得图片进行图像处理和缺陷特征提取并计算获得检测结果。
之所以采用面阵相机模块而不采用线扫描相机,是为了确保飞拍过程中能够获得被测物清晰的图片。基于本发明的技术方案是让成像单元3动,而待测件不动,因此为了应满足如下关系:
成像单元3的运动速度(Vs) * 成像单元3的曝光时间(Ts) < 允许最长拖影单位系统精度△s;
为了防止拖影造成的图像模糊,影响最终的成像质量,要求成像单元3的曝光时间较短。随着运动速度的加快,能给予曝光时间的时间越来越短。
因此基于本发明的技术方案,做了突破设计,即采用感光单元较大的面阵相机模块,以全局曝光模式成像。同时采用高速的频闪控制器33触发照明,使运动单元4带动成像单元3按预设路径规划快速运动的同时,在适当位置进行局部区域拍摄,保证局部区域拍摄的成像质量。同时在频闪控制器33加大光源模块拍照瞬间照度的同时,让局部区域拍摄的图片亮度得到合理增强。
所述第一成像模块31用于对待测件的侧边进行拍摄采图;第二成像模块32用于对待测件的拐角进行拍摄采图;所述光学检测模式包括第一成像模块31和第二成像模块32的选用,以及第一成像模块31和第二成像模块32的拍摄角度。
由于加工工艺(喷丸加阳极氧化或喷塑等表面处理)的影响,待测件可能为亚光面,存在微观表面纹理。当光照射在表面时,会存在一定程度的漫反射,导致成像单元3接收到的反射光有限,拍摄的图片偏暗。
此外,形态各异的缺陷在不同光学方案下,呈现不同的形态和对比度。以崩边和砂坑为例,较之于基底背景,同为凹形缺陷类型,崩边偏亮沙坑偏暗。成像角度不同,缺陷与背景的对比度不同,可参见图4和图5。
基于上述原因,为了让每种缺陷都能在适当对比度的背景下呈现,并有特征化区分,本发明根据待检测面的光学角度兼容性设计多种光学检测模式。即同一种光学角度的待检测面采用一种光学检测模式。随着待测件的待测平面不同,可以根据需要增加或者减少光学检测模式。
之所以采用第一成像模块31对侧边进行拍摄采图,是因为侧边有一定的倾斜角度,为保证不同坡度上的位置成像不发生畸变,同时拍摄的图片基底有较高亮度,采用方向性良好的同轴光源模块312成像更好。
之所以采用第二成像模块32对拐角进行拍摄采图,是因为拐角为多维立体全方位弧度,采用平面式发光的光源模块,不可避免会导致一定程度的光学死角,让拐角部不能有足够的亮度成像或被检测。而采用环形光源模块322,可实现全方位光学照明,成像效果更好。
所述环形光源模块322为偏振环形蓝光光源模块。由于蓝光具有很好的扩散性,对某些缺陷有着很好的表现能力。故采用偏振环形蓝光光源模块,配合拍摄角度,可实现拐角的缺陷检测与甄别。
见图6,待测件包括A长边、B短边、C长边和D短边;A长边、B短边、C长边和D短边形成矩形,且A长边和B短边相交处形成AB拐角,B短边与C长边相交处形成BC拐角,C长边和D短边相交处形成CD拐角,D短边和A长边相交处形成AD拐角。
所述A长边包括角度不同的A1上侧面和A2下侧面;所述B短边包括角度不同的B1上侧面和B2下侧面;所述C长边包括角度不同的C1上侧面和C2下侧面;所述D短边包括角度不同的D1上侧面和D2下侧面。
待测件的待检测面包括A1上侧面、A2下侧面、B1上侧面、B2下侧面、C1上侧面、C2下侧面、D1上侧面、D2下侧面、AB拐角、BC拐角、CD拐角和AD拐角。
本发明具有五个光学检测模块;第一个光学检测模式为第一成像模块31对待测件的长边上侧面形成拍摄角度;第二个光学检测模式为第二成像模块32对待测件拐角形成拍摄角度;第三个光学检测模式为第一成像模块31对待测件的短边上侧面形成拍摄角度;第四个光学检测模式为第一成像模块31对待测件的短边下侧面形成拍摄角度;第五个光学检测模式为第一成像模块31对待测件的长边下侧面形成拍摄角度。
具体的,第一个光学检测模式对应A1上侧面和C1上侧面;第二个光学检测模式对应AB拐角、BC拐角、CD拐角和AD拐角;第三个光学检测模式对应B1上侧面和D1上侧面;第四个光学检测模式对应待测件的B2下侧面和D2下侧面;第五个光学检测模式对应A2下侧面和C2下侧面。
当待测件水平放置在承载平台1上时:
所述第一成像模块31在对A1上侧面和C1上侧面拍摄采图时,其光轴方向与水平的夹角为45°~55°;
所述第一成像模块31在对B1上侧面和D1拍摄采图时,其光轴方向与水平的夹角为40°~50°;
所述第一成像模块31在对B2下侧面和D2下侧面拍摄采图时,其光轴方向与水平的夹角为13°~23°;
所述第一成像模块31在对A2下侧面和C2下侧面拍摄采图时,其光轴方向与水平的夹角为15°~25°。
同时还包括用于呈现检测结果的用户界面6;所述用户界面6与控制单元2通信连接。
所述第一面阵相机模块311和第二面阵相机模块321为一根USB线缆连接的面阵相机模块。因为该种面阵相机模块只有一根高柔的USB数据传输线缆,减少了因成像单元的运动,而导致线缆折损和缠绕风险。
本发明中利用上述用于检测大尺寸物体的飞拍视觉成像检测系统进行的检测方法,包括以下步骤:
S1、设定光学检测模式:根据待测件的待检测面的光学角度兼容设定成像单元3对应的光学检测模式,光学检测模式为上述设置;
S2、设定成像单元3的拍摄路径:根据待检测面的分布设定成像单元3的拍摄路径,具体为:从A1上侧面至AB拐角,接着至B1上侧边,接着至BC拐角,接着至C1上侧边,接着至CD拐角,接着至D1上侧边,接着至AD拐角,接着至A2下侧面,接着至B2下侧面,接着至C2下侧面,接着至D2下侧面;
S3、采图:成像单元3在运动单元4带动下沿设定的拍摄路径运动并调整至相应的光学检测模式;成像单元3沿拍摄路径运动时按照拍摄时序节拍对待检测面进行多次连续局部区域拍摄;上一张局部区域拍摄的图片与下一张局部区域拍摄的图片存在重复区域;重复区域在成像单元3的拍摄路径方向上的长度为L,其满足以下要求:L > 2*最小缺陷识别精度+运动单元的定位误差;同时,在进行局部区域拍摄时,第一面阵相机模块311和第二面阵相机模块321的拍摄时序节拍延迟并提前结束于对应的受频闪控制器33控制的光源模块的时序节拍;当成像单元3从上一个待检测面移动至下一个待检测面时,成像单元3在运动单元4的调整下保持或切换至对应的光学检测模式;
S4、图像处理和计算:成像单元3将每次拍摄采集的图片同步传输至图像处理与AI算法单元5,图像处理与AI算法单元5先对图片进行预处理,然后将图片放入数据模型进行缺陷识别、划分和统计,最终获得检测结果。
所述步骤S4中图像处理与AI算法单元5接收到拍摄采集的图片后,进行如下步骤:
a、先使用图像增强与区域分割模型,祛除背景干扰,增强待识别缺陷与背景的对比度;
b、接着使用阈值分割与特征识别模型,将形态特征分明(如崩边)或大尺寸缺陷(如大的划伤)先行提取分类;对于形态特征模糊或不易识别的缺陷(如砂痕印、酸印),采用深度算法进行学习、训练、识别、分类;
c、识别分类后的缺陷将按照类型、特征、位置、置信度等多维度信息,输入到数据处理模型,进行最终的甄别、划分和统计。
以上所述的具体实施例,对本发明的目的、技术方案和有益效果进行了进一步详细说明,所应理解的是,以上所述仅为本发明的具体实施例而已,并不用于限制本发明,凡在本发明的精神和原则之内,所做的任何修改、等同替换、改进等,均应包含在本发明的保护范围之内。
Claims (11)
1.一种用于检测大尺寸物体的飞拍视觉成像检测系统,包括用于放置待测件的承载平台,与控制单元通信连接的成像单元;其特征在于:还包括与控制单元通信连接的运动单元;所述成像单元包括受频闪控制器控制的光源模块和面阵相机模块;所述频闪控制器与控制单元通信连接;所述面阵相机模块与光源模块配合进行采图;所述成像单元固定设置在运动单元上;待测件上光学检测角度兼容的待检测面对应成像单元的一种光学检测模式;所述运动单元用于带着成像单元沿待检测面的延伸路径运动,并用于将成像单元调整成对应的光学检测模式;所述成像单元用于在沿待检测面的延伸路径运动时进行拍摄采图;所述控制单元用于控制运动单元的运动,用于控制成像单元拍摄采图;
还包括与控制单元通信连接的图像处理与AI算法单元;所述图像处理与AI算法单元用于接收拍摄采图所得图片,用于对采图所得图片进行图像处理和缺陷特征提取并计算获得检测结果;
所述成像单元包括第一成像模块和第二成像模块;所述第一成像模块包括第一面阵相机模块和与其配合使用并受频闪控制器控制的同轴光源模块;所述第二成像模块包括第二面阵相机模块和与其配合使用并受频闪控制器控制的环形光源模块;所述第一成像模块用于对待测件的侧边进行拍摄采图;第二成像模块用于对待测件的拐角进行拍摄采图;所述光学检测模式包括第一成像模块和第二成像模块的选用,以及第一成像模块和第二成像模块的拍摄角度。
2.根据权利要求1所述的用于检测大尺寸物体的飞拍视觉成像检测系统,其特征在于:所述环形光源模块为偏振环形蓝光光源模块。
3.根据权利要求1所述的用于检测大尺寸物体的飞拍视觉成像检测系统,其特征在于:具有五个光学检测模块;第一个光学检测模式为第一成像模块对待测件的长边上侧面形成拍摄角度;第二个光学检测模式为第二成像模块对待测件拐角形成拍摄角度;第三个光学检测模式为第一成像模块对待测件的短边上侧面形成拍摄角度;第四个光学检测模式为第一成像模块对待测件的短边下侧面形成拍摄角度;第五个光学检测模式为第一成像模块对待测件的长边下侧面形成拍摄角度。
4.根据权利要求3所述的用于检测大尺寸物体的飞拍视觉成像检测系统,其特征在于:当待测件水平放置在承载平台上时:所述第一成像模块在对长边上侧面拍摄采图时,其光轴方向与水平的夹角为45°~55°;
所述第一成像模块在对短边上侧面拍摄采图时,其光轴方向与水平的夹角为40°~50°;
所述第一成像模块在对短边下侧面拍摄采图时,其光轴方向与水平的夹角为13°~23°;
所述第一成像模块在对长边下侧面拍摄采图时,其光轴方向与水平的夹角为15°~25°。
5.根据权利要求1所述的用于检测大尺寸物体的飞拍视觉成像检测系统,其特征在于:还包括用于呈现检测结果的用户界面;所述用户界面与控制单元通信连接。
6.根据权利要求1或2或3或4或5所述的用于检测大尺寸物体的飞拍视觉成像检测系统,其特征在于:所述运动单元为多自由度机械臂;所述成像单元固定设置在多自由度机械臂上,多自由度机械臂带着成像单元沿光学检测路径运动。
7.根据权利要求1或2或3或4或5所述的用于检测大尺寸物体的飞拍视觉成像检测系统,其特征在于:所述面阵相机模块为一根USB线缆连接的面阵相机模块。
8.一种利用权利要求1所述的用于检测大尺寸物体的飞拍视觉成像检测系统进行的检测方法,其特征在于包括以下步骤:
S1、设定光学检测模式:根据待测件的待检测面的光学角度兼容设定成像单元对应的光学检测模式,光学检测模式的数量为大于等于1的整数;
S2、设定成像单元的拍摄路径:根据待检测面的分布设定成像单元的拍摄路径;
S3、采图:成像单元在运动单元带动下沿设定的拍摄路径运动;成像单元沿拍摄路径运动时按照拍摄时序节拍对待检测面进行多次连续局部区域拍摄;上一张局部区域拍摄的图片与下一张局部区域拍摄的图片存在重复区域;重复区域在成像单元的拍摄路径方向上的长度为L,其满足以下要求:L > 2*最小缺陷识别精度+运动单元的定位误差;同时,在进行局部区域拍摄时,面阵相机模块的拍摄时序节拍延迟并提前结束于受频闪控制器控制的光源模块的时序节拍;当成像单元从上一个待检测面移动至下一个待检测面时,成像单元在运动单元的调整下保持或切换至对应的光学检测模式;
S4、图像处理和计算:成像单元将每次拍摄采集的图片同步传输至图像处理与AI算法单元,图像处理与AI算法单元先对图片进行预处理,然后将图片放入数据模型进行缺陷识别、划分和统计,最终获得检测结果。
9.根据权利要求8所述的检测方法,其特征在于:所述步骤S4中图像处理与AI算法单元接收到拍摄采集的图片后,进行如下步骤:
a、先使用图像增强与区域分割模型,祛除背景干扰,增强待识别缺陷与背景的对比度;
b、接着使用阈值分割与特征识别模型,将形态特征分明或大尺寸缺陷先行提取分类;对于形态特征模糊或不易识别的缺陷,采用深度算法进行学习、训练、识别、分类;
c、识别分类后的缺陷将按照类型、特征、位置、置信度,输入到数据处理模型,进行最终的甄别、划分和统计。
10.根据权利要求8或9所述的检测方法,其特征在于:所述运动单元为多自由度机械臂;所述成像单元固定设置在多自由度机械臂上,多自由度机械臂带着成像单元沿光学检测路径运动。
11.一种利用权利要求3或4所述的用于检测大尺寸物体的飞拍视觉成像检测系统进行的检测方法,其特征在于包括以下步骤:
Ⅰ、设定光学检测模式:待测件包括A长边、B短边、C长边和D短边;A长边、B短边、C长边和D短边形成矩形,且A长边和B短边相交处形成AB拐角,B短边与C长边相交处形成BC拐角,C长边和D短边相交处形成CD拐角,D短边和A长边相交处形成AD拐角;
所述A长边包括角度不同的A1上侧面和A2下侧面;所述B短边包括角度不同的B1上侧面和B2下侧面;所述C长边包括角度不同的C1上侧面和C2下侧面;所述D短边包括角度不同的D1上侧面和D2下侧面;
待测件的待检测面包括A1上侧面、A2下侧面、B1上侧面、B2下侧面、C1上侧面、C2下侧面、D1上侧面、D2下侧面、AB拐角、BC拐角、CD拐角和AD拐角;
第一个光学检测模式对应A1上侧面和C1上侧面;第二个光学检测模式对应AB拐角、BC拐角、CD拐角和AD拐角;第三个光学检测模式对应B1上侧面和D1上侧面;第四个光学检测模式对应待测件的B2下侧面和D2下侧面;第五个光学检测模式对应A2下侧面和C2下侧面;
Ⅱ、设定成像单元的拍摄路径:根据待检测面的分布设定成像单元的拍摄路径如下:从A1上侧面至AB拐角,接着至B1上侧边,接着至BC拐角,接着至C1上侧边,接着至CD拐角,接着至D1上侧边,接着至AD拐角,接着至A2下侧面,接着至B2下侧面,接着至C2下侧面,接着至D2下侧面;
Ⅲ、采图:成像单元在运动单元带动下沿设定的拍摄路径运动并调整至相应的光学检测模式;成像单元沿拍摄路径运动时按照拍摄时序节拍对待检测面进行多次连续局部区域拍摄;上一张局部区域拍摄的图片与下一张局部区域拍摄的图片存在重复区域;重复区域在成像单元的拍摄路径方向上的长度为L,其满足以下要求:L > 2*最小缺陷识别精度+运动单元的定位误差;同时,在进行局部区域拍摄时,面阵相机模块的拍摄时序节拍延迟并提前结束于受频闪控制器控制的光源模块的时序节拍;
Ⅳ、图像处理和计算:成像单元将每次拍摄采集的图片同步传输至图像处理与AI算法单元,图像处理与AI算法单元先对图片进行预处理,然后将图片放入数据模型进行缺陷识别、划分和统计,最终获得检测结果。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110967039.0A CN113418933B (zh) | 2021-08-23 | 2021-08-23 | 用于检测大尺寸物体的飞拍视觉成像检测系统及方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110967039.0A CN113418933B (zh) | 2021-08-23 | 2021-08-23 | 用于检测大尺寸物体的飞拍视觉成像检测系统及方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN113418933A CN113418933A (zh) | 2021-09-21 |
CN113418933B true CN113418933B (zh) | 2021-11-09 |
Family
ID=77719305
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202110967039.0A Active CN113418933B (zh) | 2021-08-23 | 2021-08-23 | 用于检测大尺寸物体的飞拍视觉成像检测系统及方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN113418933B (zh) |
Families Citing this family (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN114838866B (zh) * | 2022-03-25 | 2023-10-20 | 迈兴(厦门)电子有限公司 | 一种汽车涡轮增压传感器外观ai视觉检测装置 |
CN114742827B (zh) * | 2022-06-09 | 2022-09-20 | 深圳市腾盛精密装备股份有限公司 | 基于视觉传感器飞拍的胶水检测方法、装置、设备及介质 |
CN117723558A (zh) * | 2023-11-20 | 2024-03-19 | 浙江大学 | 一种用于大口径光学元件检测的新型扫描方法 |
CN117346694B (zh) * | 2023-12-04 | 2024-02-23 | 常州微亿智造科技有限公司 | 复合面型样品的检测方法、检测系统 |
Family Cites Families (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2018025659A1 (ja) * | 2016-08-05 | 2018-02-08 | ソニー株式会社 | 撮像装置、固体撮像素子、カメラモジュール、駆動制御部、および撮像方法 |
CN110018166A (zh) * | 2019-03-19 | 2019-07-16 | 深圳市派科斯科技有限公司 | 一种用于产品外观缺陷检测的设备和方法 |
CN112903694A (zh) * | 2021-01-18 | 2021-06-04 | 苏州华兴源创科技股份有限公司 | 一种飞拍检测系统及方法 |
-
2021
- 2021-08-23 CN CN202110967039.0A patent/CN113418933B/zh active Active
Also Published As
Publication number | Publication date |
---|---|
CN113418933A (zh) | 2021-09-21 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN113418933B (zh) | 用于检测大尺寸物体的飞拍视觉成像检测系统及方法 | |
CN108760765B (zh) | 一种基于侧视相机拍摄的表面损伤缺陷检测装置及方法 | |
CN201844981U (zh) | 基于机器视觉的印制线路板缺陷自动检测装置 | |
US6061086A (en) | Apparatus and method for automated visual inspection of objects | |
US7782451B2 (en) | Device for and method of inspecting surface condition having different curvatures | |
CN102374993B (zh) | 集成电路封装片三维引脚外观检测单元的检测方法 | |
CN110441323B (zh) | 产品表面的打光方法及系统 | |
CN108225798B (zh) | 基于边缘增强识别的轮胎滑移量测试系统及测试方法 | |
CN109765234A (zh) | 同时对物体正反两个表面进行光学检测的装置及方法 | |
Liu et al. | Automatic detection technology of surface defects on plastic products based on machine vision | |
CN111768363A (zh) | 基于深度学习的电路板表面缺陷检测方法及检测系统 | |
CN108344751B (zh) | 基于多通道光源的材料板形缺陷检测系统和方法 | |
CN103562673A (zh) | 三维测量装置 | |
CN111474179A (zh) | 镜片表面清洁度检测装置及方法 | |
CN108548825A (zh) | 一种基于二维光照的透明平板缺陷检测装置及方法 | |
CN102879404A (zh) | 工业结构化场景中医用胶囊缺陷自动检测的系统 | |
CN111551559A (zh) | 一种基于多目视觉系统的lcd液晶屏缺陷检测方法 | |
CN114577805A (zh) | 一种MiniLED背光面板缺陷检测方法及装置 | |
CN104655646A (zh) | 玻璃基板内部缺陷检查系统及所处高度位置的检查方法 | |
CN116256366A (zh) | 一种芯片缺陷的检测方法、检测系统及存储介质 | |
Du et al. | An automated optical inspection (AOI) platform for three-dimensional (3D) defects detection on glass micro-optical components (GMOC) | |
CN114527073A (zh) | 一种反光曲面的快速高精度外观质量检测系统及检测方法 | |
CN110044919A (zh) | 一种用于镜子表面划痕的检测装置及其检测方法 | |
CN117871406A (zh) | 自动光学检测方法及系统 | |
CN109186947A (zh) | 一种电器三维动态特性自动测试系统及方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |