CN112116576A - 基于偏振结构光成像和改进Mask R-CNN的缺陷检测方法 - Google Patents

基于偏振结构光成像和改进Mask R-CNN的缺陷检测方法 Download PDF

Info

Publication number
CN112116576A
CN112116576A CN202010991050.6A CN202010991050A CN112116576A CN 112116576 A CN112116576 A CN 112116576A CN 202010991050 A CN202010991050 A CN 202010991050A CN 112116576 A CN112116576 A CN 112116576A
Authority
CN
China
Prior art keywords
network
cnn
mask
layer
defect
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010991050.6A
Other languages
English (en)
Other versions
CN112116576B (zh
Inventor
汪诚
吴静
李彬
丁相玉
周九茹
安志斌
桂敏
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Air Force Engineering University of PLA
Original Assignee
Air Force Engineering University of PLA
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Air Force Engineering University of PLA filed Critical Air Force Engineering University of PLA
Priority to CN202010991050.6A priority Critical patent/CN112116576B/zh
Publication of CN112116576A publication Critical patent/CN112116576A/zh
Application granted granted Critical
Publication of CN112116576B publication Critical patent/CN112116576B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/8806—Specially adapted optical and illumination features
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/8851—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/23—Clustering techniques
    • G06F18/232—Non-hierarchical techniques
    • G06F18/2321—Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions
    • G06F18/23213—Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions with fixed number of clusters, e.g. K-means clustering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2415—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on parametric or probabilistic models, e.g. based on likelihood ratio or false acceptance rate versus a false rejection rate
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/8806—Specially adapted optical and illumination features
    • G01N2021/8829—Shadow projection or structured background, e.g. for deflectometry
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/8806—Specially adapted optical and illumination features
    • G01N2021/8848—Polarisation of light
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/8851—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
    • G01N2021/8887—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges based on image processing techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20016—Hierarchical, coarse-to-fine, multiscale or multiresolution image processing; Pyramid transform
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20024—Filtering details
    • G06T2207/20032—Median filtering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20092—Interactive image processing based on input by user
    • G06T2207/20104—Interactive definition of region of interest [ROI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30108—Industrial image inspection
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
    • Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
    • Y02P90/30—Computing systems specially adapted for manufacturing

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Health & Medical Sciences (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Biophysics (AREA)
  • Chemical & Material Sciences (AREA)
  • Biomedical Technology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computational Linguistics (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Probability & Statistics with Applications (AREA)
  • Pathology (AREA)
  • Evolutionary Biology (AREA)
  • Analytical Chemistry (AREA)
  • Biochemistry (AREA)
  • Immunology (AREA)
  • Signal Processing (AREA)
  • Quality & Reliability (AREA)
  • Computer Graphics (AREA)
  • Geometry (AREA)
  • Image Analysis (AREA)
  • Investigating Materials By The Use Of Optical Means Adapted For Particular Applications (AREA)

Abstract

为解决表面缺陷检测信息不完善、精度和效率不高等问题，本发明提供一种基于偏振结构光成像技术和改进Mask R‑CNN的缺陷检测方法，首先将偏振处理和结构光三维成像相结合，获取物体高清晰度的二维实物图和三维空间信息，并对二维实物图进行中值滤波处理；其次在Mask R‑CNN目标识别方法的基础上，加入K‑means算法对训练集进行聚类分析，并对原始FPN结构增加自上而下兼具侧边连接的支路，将下层高分辨率特征和上层高分辨率特征相结合生成新特征图；之后利用改进后的Mask R‑CNN网络检测出带有缺陷的图像，并对缺陷进行分类、定位、分割；最后通过数据整理获得缺陷的类型、位置、长度、宽度、深度、面积等一系列信息，做到对缺陷数据的量化，有效提高物体表面缺陷检测精度和效率。

Description

基于偏振结构光成像和改进Mask R-CNN的缺陷检测方法
技术领域
本发明涉及一种基于偏振结构光成像技术和改进Mask R-CNN的缺陷检测方法，属于图像处理技术领域。
背景技术
无损检测技术是在不损害或不影响被检测对象使用性能和内部组织的前提下，利用热、声、光、电、磁等反应的变化来对被测物体中存在的缺陷进行检测。随着产品质量要求越来越高，检测手段越来越丰富，对产品表面缺陷识别也越来越严格。结构光成像检测技术在很多方面都有应用，能够检测出产品表面缺陷的三维尺寸信息，但在三维重构过程中由于大面积耀光会影响光栅条纹的提取从而导致无法获得较为准确的深度信息，而偏振处理可以有效地起到滤除杂光的作用，提高图像的清晰度。此外，传统的人工检测方法不但效率低下，且容易产生视觉疲劳，造成误判，而基于改进Mask R-CNN深度学习的目标检测方法可以有效地提升检测速度和精度。因此研究新的光学成像检测技术来提高检测效率和检测精度是研究者努力的重要方向。
发明内容
本发明针对目前表面缺陷检测的信息不完善、精度和效率不高等问题提供一种基于偏振结构光成像技术和改进Mask R-CNN的缺陷检测方法。首先通过对反射光的偏振处理得到待测物体表面的高清晰度结构特征，获取物体表面的二维实物图和光栅条纹畸变图像，结合结构光三维成像技术的优势，做到对待测物体的高分辨率三维重构，更为准确地获取待测物品三维尺寸信息；其次利用中值滤波对二维实物图进行滤波处理后制作数据集；然后在Mask R-CNN网络基础上加入K-means算法对训练集进行聚类分析，使改进后的网络能够自动调整最适合的选取框面积，并对原始FPN结构增加自上而下兼具侧边连接的支路，将下层高分辨率特征和上层高分辨率特征相结合生成新特征图；之后利用改进Mask R-CNN网络检测出带有缺陷的图像，并对缺陷进行分类、定位、分割；最后通过数据整理获得缺陷的类型、位置、长度、宽度、深度、面积等一系列信息，做到对缺陷数据的量化。
基于以上原理，本发明的技术方案为：
所述一种基于偏振结构光成像和改进Mask R-CNN的缺陷检测方法，包括以下步骤：
步骤1：在载物台上设置好检测工位，并在检测工位上方的预定角度处放置结构光光学投射器和激光光源；在反射光角度处放置工业相机，工业相机镜头前放置偏振片；
步骤2：在检测工位上放置待测物体，首先打开激光光源照射物体表面，反射光经过偏振处理后进入工业相机，获取物体表面的二维实物图；然后关闭激光光源，利用结构光光学投射器将已知相位的光栅条纹图像投射于物体同一表面，在表面形成由被测物体表面形状所调制的光栅条纹，工业相机拍摄经过偏振处理的光栅条纹畸变图像；
步骤3：对步骤2拍摄的二维实物图进行中值滤波处理；
步骤4：获取步骤2拍摄的光栅条纹畸变图像的相位分布信息，并利用相位与物体空间坐标的关系求出物体表面的三维坐标，获得待测物体的三维空间信息；
步骤5：将步骤4中值滤波处理后的图片作为待测图片输入到已经训练好的改进Mask R-CNN网络中；所述改进的Mask R-CNN网络包括预处理模块、ResNet-101残差网络、改进的特征金字塔网络、区域候选网络；
在预处理模块中对输入图片进行尺寸调整，在确保输入的图片不失真的情况下将图片尺寸处理成2的整数次方倍数的方形尺寸，以提高语义分割的精确度；
步骤6：在Mask R-CNN网络中，采用ResNet-101残差网络对步骤5预处理后的图片进行特征提取；特征提取后采用改进的特征金字塔网络进行结构搭建，在解决网络退化的同时加入多尺度信息，实现特征多尺度的融合；最后将融合后的特征层作为有效特征层输入到区域候选网络；
步骤7：利用区域候选网络和非极大值抑制算法过滤掉一部分候选感兴趣区域，得到最终的候选感兴趣区域；有效特征层与最终的候选感兴趣区域对应的部分经过ROIAlign处理后得到局部特征层，然后再并行两个结构分支：第一个分支采用全连接层进行分类和回归预测，从而完成缺陷分类和定位；第二个分支采用Head层将ROI Align层的输出维度扩大，通过全卷积网络进行掩膜预测；
步骤8：采用语义分割模型对回归预测得到的有效特征层中的缺陷区域进行语义分割；当多个同类型缺陷存在粘连或重叠时，通过Mask语义分割将单个缺陷进行分离，并进一步统计缺陷数目，获取缺陷的几何属性。
进一步的，步骤3的中值滤波指：
对于像素点x(n)，取像素点x(n)前后N个像素点，共同组成操作像素点x(n-N)...x(n)...x(n+N)，根据公式
y(n)＝med[x(n-N)...x(n)...x(n+N)]
计算中值滤波后得到的像素点y(n)，其中med[]表示将窗口内所有数值按单调顺序排列后取中间值。
进一步的，步骤4中采用四步相移法获取步骤2拍摄的光栅条纹畸变图像的相位分布信息：
所述四步相移法指在不同时刻投影一系列具有一定相位差的光栅，将投射的相移图案每次平移π/2，平移三次；相机获取每次投影在被测物体表面的光栅条纹图像后，由拍摄的时间序列图像，求取每一点的相位差；通过分别投射四副不同相位的条纹图像，计算同一点在不同条纹投射时的相位差。
进一步的，步骤4中采用时间相位展开法获取步骤2拍摄的光栅条纹畸变图像的相位分布信息：
所述时间相位展开法指按时间先后顺序将多个不同的编码条纹图案依次向被测物体表面上投射，得到并采集相对应的光栅编码条纹图案，将光栅编码条纹图案与编码方式对照进行解码，最终实现解相位，得到图像的相位分布信息。
进一步的，步骤5中训练的改进Mask R-CNN网络过程包括以下过程：
对步骤3中的中值滤波处理后带有缺陷的图片进行数据扩充并建立原始数据集；
采用标注工具对原始数据集中每张缺陷图片的缺陷区域进行标注；
将标注好的图片数据集分为训练集、验证集、测试集；同时通过迁移学习的方法将COCO数据集上训练得到的网络参数值作为Mask R-CNN网络的初始参数；
通过加入K-means算法对Mask R-CNN进行改进，利用K-means算法对训练集目标进行聚类分析，确定与Mask R-CNN中特征层对应的初始化聚类中心：
对于Mask R-CNN网络中的特征金字塔网络，在原始特征金字塔网络的基础上增加自上而下兼具侧边连接的支路，并将下层高分辨率特征和上层高分辨率特征相结合，生成更充分融合低层位置信息和高层语义信息的新特征图，利用各层特征信息，提升缺陷检测精度；
将训练集输入到具有初始参数的改进Mask R-CNN网络中进行训练，训练完成后，利用所述验证集验证改进Mask R-CNN网络的缺陷识别结果，并相应对网络参数进行调整，最终得到用来分类、定位和分割缺陷的改进Mask R-CNN网络。
进一步的，数据扩充方法包括图片旋转、独立目标裁剪、颜色抖动、随机平移、对比度增强、锐度变化、增加高斯噪音或缩放。
进一步的，所述K-means算法流程为：假设训练集中目标样本X有n个缺陷对象，X＝{X1,X2,X3,...,Xn}，其中每个对象都具有长和宽两个维度的属性，取所有长宽的最大值与最小值，记为：(hmax，hmin，wmax，wmin)，设：
Cmin＝(hmin,wmin)
Cmax＝(hmax,wmax)
其中Cmin代表训练集中目标的最小区域，Cmax代表训练集中目标的最大区域，再利用下式确定初始化聚类中心Ci；
Figure BDA0002690956130000041
i代表第i个聚类中心，n代表聚类中心个数；采用欧式距离计算每个对象到每一个聚类中的距离：
Figure BDA0002690956130000042
其中Xi表示第i个对象，Cj表示第j个样本聚类中心，Xit表示第i个对象的第t个维度属性，Cjt表示第j个聚类中的第t个属性；依次比较每个对象到各个聚类中心的距离，将对象分配到距离最近的聚类中心的聚类簇中；重复上述操作直至聚类中心不再变化，得到最终聚类中心。
进一步的，所述ResNet-101残差网络分为5个卷积层部分，每个部分会输出不同尺寸的特征图像，利用除第一部分以外的其他4个部分生成的特征图像用来建立改进的特征金字塔网络，这个过程是一个自底向上的前馈计算；接着是一个自顶向下的特征映射的过程，使用2倍的最近邻上采样，通过横向连接过程，将上采样映射和经过1×1卷积层的相同大小的特征图像进行融合，减少通道维度；然后对每个融合结果进行3×3卷积，形成新的映射，以消除上采样的混叠效应；最后在特征图像的基础上进行0.5倍的下采样，得到新的特征图像，然后输入到区域候选网络。
进一步的，所述区域候选网络得到特征图像后，用一个3×3的滑动窗口扫描特征图像，并在每个滑动窗口中心对应原图的位置生成9种不同大小和长宽比的锚框，之后并行两个结构分支：第一个分支分为两个小分支，一个带有1×1卷积的小分支用Softmax分类器判定锚框属于前景还是背景，另一个带有1×1卷积的小分支计算边框回归偏移量dx、dy、dw和dh，用来微调锚框，其中，dx和dy分别为回归框中心点横坐标和纵坐标的偏移量，dw和dh分别为回归框宽度和高度的偏移量，最后采用Proposal层负责综合两个分支的结果，保留前景分数高的锚框，并对它们进行非极大值抑制处理，得到最终的候选区域；另一个分支采用Head层将ROI Align层的输出维度扩大，通过全卷积网络操作用于进行下一步掩膜预测。
有益效果
与现有技术相比，本发明的优点是：
本发明提供一种基于偏振结构光成像技术和改进Mask R-CNN的缺陷检测方法，将偏振结构光成像技术和改进Mask R-CNN智能识别相结合，通过对反射光的偏振处理可以得到目标的高清晰度结构特征；结合结构光三维成像技术可获取待测物体表面更为准确的三维空间信息(包括三维形貌、尺寸信息)，做到对物体表面高分辨率三维图像重构；利用中值滤波对二维实物图进行滤波处理后制作数据集，可在抑制随机噪声的同时不使边缘模糊，有效保持图像细节的位置、角度等信息；在Mask R-CNN网络基础上加入K-means算法对训练集进行聚类分析，使改进后的网络能够自动调整最适合的选取框面积，并对原始FPN结构增加自上而下兼具侧边连接的支路，将下层高分辨率特征和上层高分辨率特征相结合生成新特征图，有利于提高检测精度；利用改进Mask R-CNN网络检测出带有缺陷的图像，并对缺陷进行分类、定位、分割；结合三维空间信息和缺陷检测结果可获得缺陷的类型、位置、长度、宽度、深度、面积等一系列信息，做到对缺陷数据的量化，提高物体表面缺陷的检测精度和检测效率，有效解决目前表面缺陷检测的信息不完善、精度和效率不高等问题。
本发明的附加方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本发明的实践了解到。
附图说明
本发明的上述和/或附加的方面和优点从结合下面附图对实施例的描述中将变得明显和容易理解，其中：
图1为一种基于偏振结构光成像技术和改进Mask R-CNN的缺陷检测方法流程示意图。
具体实施方式
下面详细描述本发明的实施例，所述实施例是示例性的，旨在用于解释本发明，而不能理解为对本发明的限制。
本实施例中的基于偏振结构光成像和改进Mask R-CNN的缺陷检测方法，包括以下步骤：
步骤一：在载物台上设置好检测工位，并在检测工位上方的预定角度处放置结构光光学投射器和激光光源；在反射光角度处放置工业相机，工业相机镜头前放置偏振片；所述预定角度以适合工业相机拍摄为准。
步骤二：在检测工位上放置待测物体，首先打开激光光源照射物体表面，反射光经过偏振处理后进入工业相机，获取物体表面的二维实物图；然后关闭激光光源，利用结构光光学投射器将已知相位的光栅条纹图像投射于物体同一表面，在表面形成由被测物体表面形状所调制的光栅条纹，工业相机拍摄经过偏振处理的光栅条纹畸变图像；条纹的畸变程度取决于光学投射器与工业相机之间的相对位置和物体表面的形廓(高度)。
这里偏振处理指：反射光线进入偏振片时，偏振片对反射光具有遮蔽和透过的功能，可使纵向光或横向光一种透过、一种遮蔽，可以有效地起到滤除杂光的作用，提高图像的清晰度。
步骤三：对步骤二拍摄的二维实物图进行中值滤波处理，能够在抑制随机噪声的同时不使边缘模糊，有效保持图像细节的位置、角度等信息；
这里的中值滤波原理为：
y(n)＝med[x(n-N)...x(n)...x(n+N)]
其中，x(n-N)...x(n)...x(n+N)表示操作像素点，med[]表示将窗口内所有数值按单调顺序(从大到小或从小到大)排列后取中间值。
即对于像素点x(n)，取像素点x(n)前后N个像素点，共同组成操作像素点x(n-N)...x(n)...x(n+N)，然后根据上述公式得到中值滤波后得到的像素点y(n)。
步骤四：获取步骤二拍摄的光栅条纹畸变图像的相位分布信息，例如可采用四步相移法或时间相位展开法，再利用如三角法建立的相位与物体空间坐标的关系求出物体表面的三维坐标，从而获得待测物体更为准确的三维空间信息(包括三维形貌、尺寸信息)；
其中四步相移法就是在不同时刻投影一系列具有一定相位差的光栅，将投射的相移图案每次平移π/2，平移三次。相机获取每次投影在被测物体表面的光栅条纹图像后，由拍摄的时间序列图像，求取每一点的相位差。通过分别投射四副不同相位的条纹图像，计算同一点在不同条纹投射时的相位差。
而时间相位展开法是按时间先后顺序将多个不同的编码条纹图案依次向被测物体表面上投射，得到相对应的光栅编码条纹图案并采集，将光栅编码条纹图案与编码方式对照进行解码，最终实现解相位，得到图像的相位分布信息。
三角法是利用物距、像距、像点、基准面等之间的关系来计算物体三维坐标值(主要是高度值)的方法。根据透镜成像原理，由三角形相似可知待测物体表面的高度h公式
Figure BDA0002690956130000081
式中u、v、α是物体三维测量系统参数。其中u和v可以通过相机标定得到，α由光栅条纹图案编码及解码求解获得。h′为入射光线与相机透镜光轴交点的像点和物体表面反射的像点之间的距离，从而获得物体高度信息。
步骤五：将中值滤波处理后的图片作为待测图片输入到已经训练好的改进MaskR-CNN网络中。改进的Mask R-CNN网络包括预处理模块、ResNet-101残差网络、改进的特征金字塔网络(S-FPN)、区域候选网络(RPN)。
训练的改进Mask R-CNN网络过程包括以下步骤：
采集步骤三中的中值滤波处理后带有缺陷的图片，根据得到的缺陷图片进行数据扩充并建立原始数据集，数据扩充方法有图片旋转、独立目标裁剪、颜色抖动、随机平移、对比度增强、锐度变化、高斯噪音、缩放等；本实例中采用图片旋转、对比度增强和高斯噪声处理进行数据扩充。
采用labelme标注工具对原始数据集中每张缺陷图片的缺陷区域进行标注，对不同的缺陷类型进行命名，并生成相对应的json文件和yaml文件。
将标注好的图片数据集分为训练集、验证集、测试集，数量比例为6：2：2，同时通过迁移学习的方法将图像处理中的COCO数据集上训练得到的网络参数值作为Mask R-CNN网络的初始参数。
通过加入K-means算法对Mask R-CNN进行改进，利用K-means算法对训练集目标进行聚类分析，确定与Mask R-CNN中特征层对应的初始化聚类中心，使改进后的网络能够自适应初始化偏振结构光成像后的数据集的待提取面积，自动调整最适合的选取框面积，减少人为指定偏差造成的目标丢失。
K-means算法流程如下：假设训练集中目标样本X有n个缺陷对象，X＝{X1,X2,X3,...,Xn}，其中每个对象都具有长(h)和宽(w)两个维度的属性，取所有长宽的最大值与最小值，记为：(hmax，hmin，wmax，wmin)，设：
Cmin＝(hmin,wmin)
Cmax＝(hmax,wmax)
其中Cmin代表训练集中目标的最小区域，Cmax代表训练集中目标的最大区域，再利用下式确定本实施例中五个特征层对应的初始化聚类中心{C1,C2,C3,C4,C5}；
Figure BDA0002690956130000091
i代表第i个聚类中心，n代表聚类中心个数。采用欧式距离计算每个对象到每一个聚类中的距离：
Figure BDA0002690956130000092
其中Xi表示第i个对象，Cj表示第j个样本聚类中心，Xit表示第i个对象的第t个维度属性，Cjt表示第j个聚类中的第t个属性。依次比较每个对象到各个聚类中心的距离，将对象分配到距离最近的聚类中心的聚类簇中。重复上述操作直至聚类中心不再变化，得到最终5个聚类中心{C1,C2,C3,C4,C5}。
对于Mask R-CNN网络中的特征金字塔网络，在原始特征金字塔网络(FPN结构)的基础上增加自上而下兼具侧边连接的支路，并将下层高分辨率特征和上层高分辨率特征相结合，生成更充分融合低层位置信息和高层语义信息的新特征图，尽可能充分利用各层特征信息，提升缺陷检测精度，改进的特征金字塔网络记为S-FPN。具体本实施例中，首先利用核为3×3、步长为2的卷积对下层高分辨率特征进行尺寸缩减得到与上层高分辨率特征同分辨率的特征映射图，再利用侧边连接将得到的特征映射图与上层高分辨率特征逐像素点相加，再经过3×3、步长为1的卷积得到新的特征映射图，以上所有卷积操作的通道数都为256。
将训练集输入到具有初始参数的改进Mask R-CNN网络中进行训练，训练完成后，利用所述验证集验证改进Mask R-CNN网络的缺陷识别结果，并相应对网络参数进行调整，最终得到用来分类、定位和分割缺陷的所述改进Mask R-CNN网络。
而将中值滤波处理后的图片作为待测图片输入到已经训练好的改进Mask R-CNN网络中，具体的处理过程为：
在Mask R-CNN网络预处理模块中对图像边缘进行尺寸调整，在确保输入的图片不失真的情况下将图片尺寸处理成2的六次方倍数的方形尺寸，以提高语义分割的精确度；
然后采用ResNet-101残差网络对预处理后的图片进行特征提取；特征提取后采用改进的特征金字塔网络(S-FPN)进行结构搭建，在解决网络退化的同时加入多尺度信息，实现特征多尺度的融合。最后将融合后的特征层作为有效特征层输入到区域候选网络(RPN)。
再利用区域候选网络(RPN)和非极大值抑制算法过滤掉一部分候选感兴趣区域，得到最终的候选感兴趣区域。有效特征层与候选感兴趣区域对应的部分经过ROI Align处理后得到局部特征层，然后再并行两个结构分支：第一个分支采用全连接层进行分类和回归预测，从而完成缺陷分类和定位；第二个分支采用Head层将ROI Align层的输出维度扩大，通过全卷积网络进行掩膜预测。
最后采用语义分割模型(Mask)对回归预测在有效特征层中的缺陷区域进行语义分割。当多个同类型缺陷存在粘连或重叠时，通过Mask语义分割将单个缺陷进行分离，并进一步可统计缺陷数目，获取缺陷的几何属性(包括长度、宽度、面积、轮廓、中心等)。
本实施例中，ResNet-101残差网络为：ResNet-101残差网络分为5个卷积层部分，每个部分会输出不同尺寸的特征图像，其中第一部分因为占用巨大内存被弃用，其他4个部分生成的特征图像用来建立改进的特征金字塔网络(S-FPN)，这个过程是一个自底向上的前馈计算；接着是一个自顶向下的特征映射的过程，使用2倍的最近邻上采样，通过横向连接过程，将上采样映射和经过1×1卷积层的相同大小的特征图像进行融合，减少通道维度；然后对每个融合结果进行3×3卷积，形成新的映射，以消除上采样的混叠效应；最后在特征图像的基础上进行0.5倍的下采样，得到新的特征图像，然后输入到区域候选网络。
而本实施例中区域候选网络为：当区域候选网络得到特征图像后，用一个3×3的滑动窗口扫描特征图像，并在每个滑动窗口中心对应原图的位置生成9种不同大小和长宽比的锚框，之后并行两个结构分支：第一个分支分为两个小分支，一个带有1×1卷积的小分支用Softmax分类器判定锚框属于前景还是背景，另一个带有1×1卷积的小分支计算边框回归偏移量dx、dy、dw和dh，用来微调锚框，其中，dx和dy分别为回归框中心点横坐标和纵坐标的偏移量，dw和dh分别为回归框宽度和高度的偏移量，最后采用Proposal层负责综合两个分支的结果，保留前景分数高的锚框，并对它们进行非极大值抑制处理，得到最终的候选区域；另一个分支采用Head层将ROI Align层的输出维度扩大，通过全卷积网络操作用于进行下一步掩膜预测。
尽管上面已经示出和描述了本发明的实施例，可以理解的是，上述实施例是示例性的，不能理解为对本发明的限制，本领域的普通技术人员在不脱离本发明的原理和宗旨的情况下在本发明的范围内可以对上述实施例进行变化、修改、替换和变型。

Claims (9)

1.一种基于偏振结构光成像和改进Mask R-CNN的缺陷检测方法，其特征在于：包括以下步骤：
步骤1：在载物台上设置好检测工位，并在检测工位上方的预定角度处放置结构光光学投射器和激光光源；在反射光角度处放置工业相机，工业相机镜头前放置偏振片；
步骤2：在检测工位上放置待测物体，首先打开激光光源照射物体表面，反射光经过偏振处理后进入工业相机，获取物体表面的二维实物图；然后关闭激光光源，利用结构光光学投射器将已知相位的光栅条纹图像投射于物体同一表面，在表面形成由被测物体表面形状所调制的光栅条纹，工业相机拍摄经过偏振处理的光栅条纹畸变图像；
步骤3：对步骤2拍摄的二维实物图进行中值滤波处理；
步骤4：获取步骤2拍摄的光栅条纹畸变图像的相位分布信息，并利用相位与物体空间坐标的关系求出物体表面的三维坐标，获得待测物体的三维空间信息；
步骤5：将步骤4中值滤波处理后的图片作为待测图片输入到已经训练好的改进MaskR-CNN网络中；所述改进的Mask R-CNN网络包括预处理模块、ResNet-101残差网络、改进的特征金字塔网络、区域候选网络；
在预处理模块中对输入图片进行尺寸调整，在确保输入的图片不失真的情况下将图片尺寸处理成2的整数次方倍数的方形尺寸，以提高语义分割的精确度；
步骤6：在Mask R-CNN网络中，采用ResNet-101残差网络对步骤5预处理后的图片进行特征提取；特征提取后采用改进的特征金字塔网络进行结构搭建，在解决网络退化的同时加入多尺度信息，实现特征多尺度的融合；最后将融合后的特征层作为有效特征层输入到区域候选网络；
步骤7：利用区域候选网络和非极大值抑制算法过滤掉一部分候选感兴趣区域，得到最终的候选感兴趣区域；有效特征层与最终的候选感兴趣区域对应的部分经过ROI Align处理后得到局部特征层，然后再并行两个结构分支：第一个分支采用全连接层进行分类和回归预测，从而完成缺陷分类和定位；第二个分支采用Head层将ROI Align层的输出维度扩大，通过全卷积网络进行掩膜预测；
步骤8：采用语义分割模型对回归预测得到的有效特征层中的缺陷区域进行语义分割；当多个同类型缺陷存在粘连或重叠时，通过Mask语义分割将单个缺陷进行分离，并进一步统计缺陷数目，获取缺陷的几何属性。
2.根据权利要求1所述一种基于偏振结构光成像和改进Mask R-CNN的缺陷检测方法，其特征在于：步骤3的中值滤波指：
对于像素点x(n)，取像素点x(n)前后N个像素点，共同组成操作像素点x(n-N)...x(n)...x(n+N)，根据公式
y(n)＝med[x(n-N)...x(n)...x(n+N)]
计算中值滤波后得到的像素点y(n)，其中med[]表示将窗口内所有数值按单调顺序排列后取中间值。
3.根据权利要求1所述一种基于偏振结构光成像和改进Mask R-CNN的缺陷检测方法，其特征在于：步骤4中采用四步相移法获取步骤2拍摄的光栅条纹畸变图像的相位分布信息：
所述四步相移法指在不同时刻投影一系列具有一定相位差的光栅，将投射的相移图案每次平移π/2，平移三次；相机获取每次投影在被测物体表面的光栅条纹图像后，由拍摄的时间序列图像，求取每一点的相位差；通过分别投射四副不同相位的条纹图像，计算同一点在不同条纹投射时的相位差。
4.根据权利要求1所述一种基于偏振结构光成像和改进Mask R-CNN的缺陷检测方法，其特征在于：步骤4中采用时间相位展开法获取步骤2拍摄的光栅条纹畸变图像的相位分布信息：
所述时间相位展开法指按时间先后顺序将多个不同的编码条纹图案依次向被测物体表面上投射，得到并采集相对应的光栅编码条纹图案，将光栅编码条纹图案与编码方式对照进行解码，最终实现解相位，得到图像的相位分布信息。
5.根据权利要求1所述一种基于偏振结构光成像和改进Mask R-CNN的缺陷检测方法，其特征在于：步骤5中训练的改进Mask R-CNN网络过程包括以下过程：
对步骤3中的中值滤波处理后带有缺陷的图片进行数据扩充并建立原始数据集；
采用标注工具对原始数据集中每张缺陷图片的缺陷区域进行标注；
将标注好的图片数据集分为训练集、验证集、测试集；同时通过迁移学习的方法将COCO数据集上训练得到的网络参数值作为Mask R-CNN网络的初始参数；
通过加入K-means算法对Mask R-CNN进行改进，利用K-means算法对训练集目标进行聚类分析，确定与Mask R-CNN中特征层对应的初始化聚类中心：
对于Mask R-CNN网络中的特征金字塔网络，在原始特征金字塔网络的基础上增加自上而下兼具侧边连接的支路，并将下层高分辨率特征和上层高分辨率特征相结合，生成更充分融合低层位置信息和高层语义信息的新特征图，利用各层特征信息，提升缺陷检测精度；
将训练集输入到具有初始参数的改进Mask R-CNN网络中进行训练，训练完成后，利用所述验证集验证改进Mask R-CNN网络的缺陷识别结果，并相应对网络参数进行调整，最终得到用来分类、定位和分割缺陷的改进Mask R-CNN网络。
6.根据权利要求5所述一种基于偏振结构光成像和改进Mask R-CNN的缺陷检测方法，其特征在于：数据扩充方法包括图片旋转、独立目标裁剪、颜色抖动、随机平移、对比度增强、锐度变化、增加高斯噪音或缩放。
7.根据权利要求5所述一种基于偏振结构光成像和改进Mask R-CNN的缺陷检测方法，其特征在于：所述K-means算法流程为：假设训练集中目标样本X有n个缺陷对象，X＝{X1,X2,X3,...,Xn}，其中每个对象都具有长和宽两个维度的属性，取所有长宽的最大值与最小值，记为：(hmax，hmin，wmax，wmin)，设：
Cmin＝(hmin,wmin)
Cmax＝(hmax,wmax)
其中Cmin代表训练集中目标的最小区域，Cmax代表训练集中目标的最大区域，再利用下式确定初始化聚类中心Ci；
Figure FDA0002690956120000041
i代表第i个聚类中心，n代表聚类中心个数；采用欧式距离计算每个对象到每一个聚类中的距离：
Figure FDA0002690956120000042
其中Xi表示第i个对象，Cj表示第j个样本聚类中心，Xit表示第i个对象的第t个维度属性，Cjt表示第j个聚类中的第t个属性；依次比较每个对象到各个聚类中心的距离，将对象分配到距离最近的聚类中心的聚类簇中；重复上述操作直至聚类中心不再变化，得到最终聚类中心。
8.根据权利要求1所述一种基于偏振结构光成像和改进Mask R-CNN的缺陷检测方法，其特征在于：所述ResNet-101残差网络分为5个卷积层部分，每个部分会输出不同尺寸的特征图像，利用除第一部分以外的其他4个部分生成的特征图像用来建立改进的特征金字塔网络，这个过程是一个自底向上的前馈计算；接着是一个自顶向下的特征映射的过程，使用2倍的最近邻上采样，通过横向连接过程，将上采样映射和经过1×1卷积层的相同大小的特征图像进行融合，减少通道维度；然后对每个融合结果进行3×3卷积，形成新的映射，以消除上采样的混叠效应；最后在特征图像的基础上进行0.5倍的下采样，得到新的特征图像，然后输入到区域候选网络。
9.根据权利要求1所述一种基于偏振结构光成像和改进Mask R-CNN的缺陷检测方法，其特征在于：所述区域候选网络得到特征图像后，用一个3×3的滑动窗口扫描特征图像，并在每个滑动窗口中心对应原图的位置生成9种不同大小和长宽比的锚框，之后并行两个结构分支：第一个分支分为两个小分支，一个带有1×1卷积的小分支用Softmax分类器判定锚框属于前景还是背景，另一个带有1×1卷积的小分支计算边框回归偏移量dx、dy、dw和dh，用来微调锚框，其中，dx和dy分别为回归框中心点横坐标和纵坐标的偏移量，dw和dh分别为回归框宽度和高度的偏移量，最后采用Proposal层负责综合两个分支的结果，保留前景分数高的锚框，并对它们进行非极大值抑制处理，得到最终的候选区域；另一个分支采用Head层将ROI Align层的输出维度扩大，通过全卷积网络操作用于进行下一步掩膜预测。
CN202010991050.6A 2020-09-20 2020-09-20 基于偏振结构光成像和改进的缺陷检测方法 Active CN112116576B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010991050.6A CN112116576B (zh) 2020-09-20 2020-09-20 基于偏振结构光成像和改进的缺陷检测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010991050.6A CN112116576B (zh) 2020-09-20 2020-09-20 基于偏振结构光成像和改进的缺陷检测方法

Publications (2)

Publication Number Publication Date
CN112116576A true CN112116576A (zh) 2020-12-22
CN112116576B CN112116576B (zh) 2023-04-18

Family

ID=73800091

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010991050.6A Active CN112116576B (zh) 2020-09-20 2020-09-20 基于偏振结构光成像和改进的缺陷检测方法

Country Status (1)

Country Link
CN (1) CN112116576B (zh)

Cited By (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112881424A (zh) * 2021-01-13 2021-06-01 广东省特种设备检测研究院珠海检测院 Ai+荧光渗透小型管件表面缺陷检测及质量分级方法与系统
CN112907564A (zh) * 2021-03-18 2021-06-04 中科海拓(无锡)科技有限公司 一种基于MaskRCNN的螺母表面缺陷分割方法
CN113065569A (zh) * 2021-04-13 2021-07-02 广东省科学院智能制造研究所 基于神经网络的鱼质量估计方法及系统、装置与存储介质
CN113192013A (zh) * 2021-04-16 2021-07-30 华南师范大学 一种反光表面缺陷检测方法、系统及电子设备
CN113256576A (zh) * 2021-05-18 2021-08-13 福州大学 基于偏振成像和机器学习的光学元件自动检测系统及方法
CN113362298A (zh) * 2021-06-03 2021-09-07 长沙理工大学 一种基于vgg16深度卷积神经网络的太阳能网版缺陷检测方法
CN113658096A (zh) * 2021-07-15 2021-11-16 佛山市顺德区普瑞特机械制造有限公司 板材异常检测方法及装置
CN113781434A (zh) * 2021-09-10 2021-12-10 深圳市高川自动化技术有限公司 缺陷检测方法、装置、智能终端及计算机可读存储介质
CN114584220A (zh) * 2022-03-02 2022-06-03 厦门大学 一种基于光斑识别的非正交偏振编码方法
CN114612444A (zh) * 2022-03-16 2022-06-10 南京航空航天大学 一种基于渐进式分割网络的细微缺陷分析方法
CN115375693A (zh) * 2022-10-27 2022-11-22 浙江托普云农科技股份有限公司 农业信息采集传感器探头缺陷检测方法、系统及装置
CN117523318A (zh) * 2023-12-26 2024-02-06 宁波微科光电股份有限公司 一种抗光干扰的地铁屏蔽门异物检测方法、装置及介质

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20180330238A1 (en) * 2017-05-09 2018-11-15 Neurala, Inc. Systems and methods to enable continual, memory-bounded learning in artificial intelligence and deep learning continuously operating applications across networked compute edges
JP2018197695A (ja) * 2017-05-24 2018-12-13 株式会社カネカ 電子部品の外観検査方法及び外観検査装置
CN110223267A (zh) * 2018-03-14 2019-09-10 浙江大学山东工业技术研究院 基于高度直方图分割的耐火砖深度缺陷的识别方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20180330238A1 (en) * 2017-05-09 2018-11-15 Neurala, Inc. Systems and methods to enable continual, memory-bounded learning in artificial intelligence and deep learning continuously operating applications across networked compute edges
JP2018197695A (ja) * 2017-05-24 2018-12-13 株式会社カネカ 電子部品の外観検査方法及び外観検査装置
CN110223267A (zh) * 2018-03-14 2019-09-10 浙江大学山东工业技术研究院 基于高度直方图分割的耐火砖深度缺陷的识别方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
WEIPENG MAO ET AL.: "Object recognition and location based on mask r-cnn and structured camera", 《PREVIOUS ARTICLE IN VOLUME》 *
金颖等: "基于LabVIEW和Mask R-CNN的柱塞式制动主缸内槽表面缺陷检测", 《现代制造工程》 *

Cited By (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112881424A (zh) * 2021-01-13 2021-06-01 广东省特种设备检测研究院珠海检测院 Ai+荧光渗透小型管件表面缺陷检测及质量分级方法与系统
CN112907564A (zh) * 2021-03-18 2021-06-04 中科海拓(无锡)科技有限公司 一种基于MaskRCNN的螺母表面缺陷分割方法
CN113065569B (zh) * 2021-04-13 2023-11-24 广东省科学院智能制造研究所 基于神经网络的鱼质量估计方法及系统、装置与存储介质
CN113065569A (zh) * 2021-04-13 2021-07-02 广东省科学院智能制造研究所 基于神经网络的鱼质量估计方法及系统、装置与存储介质
CN113192013A (zh) * 2021-04-16 2021-07-30 华南师范大学 一种反光表面缺陷检测方法、系统及电子设备
CN113256576A (zh) * 2021-05-18 2021-08-13 福州大学 基于偏振成像和机器学习的光学元件自动检测系统及方法
CN113362298A (zh) * 2021-06-03 2021-09-07 长沙理工大学 一种基于vgg16深度卷积神经网络的太阳能网版缺陷检测方法
CN113658096A (zh) * 2021-07-15 2021-11-16 佛山市顺德区普瑞特机械制造有限公司 板材异常检测方法及装置
CN113781434A (zh) * 2021-09-10 2021-12-10 深圳市高川自动化技术有限公司 缺陷检测方法、装置、智能终端及计算机可读存储介质
CN114584220A (zh) * 2022-03-02 2022-06-03 厦门大学 一种基于光斑识别的非正交偏振编码方法
CN114584220B (zh) * 2022-03-02 2023-07-25 厦门大学 一种基于光斑识别的非正交偏振编码方法
CN114612444A (zh) * 2022-03-16 2022-06-10 南京航空航天大学 一种基于渐进式分割网络的细微缺陷分析方法
CN115375693A (zh) * 2022-10-27 2022-11-22 浙江托普云农科技股份有限公司 农业信息采集传感器探头缺陷检测方法、系统及装置
CN115375693B (zh) * 2022-10-27 2023-02-10 浙江托普云农科技股份有限公司 农业信息采集传感器探头缺陷检测方法、系统及装置
CN117523318A (zh) * 2023-12-26 2024-02-06 宁波微科光电股份有限公司 一种抗光干扰的地铁屏蔽门异物检测方法、装置及介质
CN117523318B (zh) * 2023-12-26 2024-04-16 宁波微科光电股份有限公司 一种抗光干扰的地铁屏蔽门异物检测方法、装置及介质

Also Published As

Publication number Publication date
CN112116576B (zh) 2023-04-18

Similar Documents

Publication Publication Date Title
CN112116576B (zh) 基于偏振结构光成像和改进的缺陷检测方法
CN109410207B (zh) 一种基于ncc特征的无人机巡线图像输电线路检测方法
CN103971404B (zh) 一种高性价比的3d实景复制装置
CN107578464A (zh) 一种基于线激光扫描的传送带工件三维轮廓测量方法
US9430865B2 (en) Real-time dynamic non-planar projection apparatus and method
CN109086675B (zh) 一种基于光场成像技术的人脸识别及攻击检测方法及其装置
CN117036641A (zh) 一种基于双目视觉的公路场景三维重建与缺陷检测方法
CN111028295A (zh) 一种基于编码结构光和双目的3d成像方法
CN106296811A (zh) 一种基于单光场相机的目标物三维重构方法
CN110189375A (zh) 一种基于单目视觉测量的图像目标识别方法
CN113406111B (zh) 一种基于结构光场视频流的缺陷检测方法和装置
KR101983586B1 (ko) 스테레오 이미지들에 관한 깊이 맵 스티칭 방법
CN104597057A (zh) 一种基于机器视觉的柱状二极管表面缺陷检测装置
KR101853269B1 (ko) 스테레오 이미지들에 관한 깊이 맵 스티칭 장치
CN108510544B (zh) 一种基于特征聚类的光条定位方法
CN115953550A (zh) 针对线结构光扫描的点云离群点剔除系统及方法
CN110378995A (zh) 一种利用投射特征进行三维空间建模的方法
CN116958419A (zh) 一种基于波前编码的双目立体视觉三维重建系统和方法
CN115330684A (zh) 基于双目视觉与线结构光的水下构筑物表观缺陷检测方法
CN110458019B (zh) 稀缺认知样本条件下的排除倒影干扰的水面目标检测方法
CN116625258A (zh) 链条间距测量系统及链条间距测量方法
CN111951339A (zh) 利用异构双目相机进行视差计算的图像处理方法
Li et al. Perspective-consistent multifocus multiview 3D reconstruction of small objects
JP6285686B2 (ja) 視差画像生成装置
CN112833821B (zh) 高密度ic焊点的微分几何立体微视觉检测系统及方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant