CN110838107B - 变角度光学视频智能检测3c透明构件缺陷的方法及装置 - Google Patents

变角度光学视频智能检测3c透明构件缺陷的方法及装置 Download PDF

Info

Publication number
CN110838107B
CN110838107B CN201911054183.4A CN201911054183A CN110838107B CN 110838107 B CN110838107 B CN 110838107B CN 201911054183 A CN201911054183 A CN 201911054183A CN 110838107 B CN110838107 B CN 110838107B
Authority
CN
China
Prior art keywords
image
frame
video
sub
transparent component
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201911054183.4A
Other languages
English (en)
Other versions
CN110838107A (zh
Inventor
张国军
张红梅
明五一
张臻
沈帆
尹玲
耿涛
卢亚
廖敦明
陈志君
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangdong Hust Industrial Technology Research Institute
Original Assignee
Guangdong Hust Industrial Technology Research Institute
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangdong Hust Industrial Technology Research Institute filed Critical Guangdong Hust Industrial Technology Research Institute
Priority to CN201911054183.4A priority Critical patent/CN110838107B/zh
Publication of CN110838107A publication Critical patent/CN110838107A/zh
Application granted granted Critical
Publication of CN110838107B publication Critical patent/CN110838107B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2411—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on the proximity to a decision surface, e.g. support vector machines
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/251—Fusion techniques of input or preprocessed data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/46—Extracting features or characteristics from the video content, e.g. video fingerprints, representative shots or key frames

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Multimedia (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Health & Medical Sciences (AREA)
  • Computational Linguistics (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Quality & Reliability (AREA)
  • Investigating Materials By The Use Of Optical Means Adapted For Particular Applications (AREA)
  • Image Analysis (AREA)

Abstract

一种变角度光学视频智能检测3C透明构件缺陷的方法及装置，包括以下步骤：对待检测的3C透明构件进行光学检测成像，得到视频图像；对视频图像进行抽取、校正和融合；再对视频图像进行深度学习，用多种异构类型的卷积神经网络对视频图像进行辨识得到初步辨识结果；最终由支持向量机SVM对多个初步辨识结果进行融合检测，获取最终的辨识结果，得到3C透明构件的缺陷类别，缺陷类别包括正常、裂纹、气泡、划痕、崩边，所述装置包括通过总线互相通信连接的光学检测模块、运动控制模块、视频处理模块、深度学习模块、辅助机械手和显示报警模块。本发明有效提高了检测精度，提升生产过程中的良品率，及时去除不合格品，提升产品质量。

Description

变角度光学视频智能检测3C透明构件缺陷的方法及装置
技术领域
本发明涉及一种3C透明构件缺陷的检测方法，具体地说是一种变角度光学视频智能检测3C透明构件缺陷的方法及装置。
背景技术
我国3C行业中，透明构件在应用不断增长，特别是随着5G技术的快速推进，对玻璃等透明材质的构件的需求不断增长，其在终端通信产品中应用越来越广泛。但是，由于3C行业的零件标准不断提升，并且透明构件检测难度大，其缺陷检测成为企业急需攻克的一个难题。当前，不少相关3C企业以人工方式的目视检测为主，自动化设备应用非常少见。但是，通过人工目测的检测，主要依靠熟练工人的工作经验，检测的标准尺度非常难以统一，并且劳动强度非常大，对视力有一定的损伤。
当前，主流的3C透明购件的缺陷检测，还主要是以人工目测的方式为主，而且，以固定角度的光学检测手段为主，其方式是利用摄像头采集静态图像，并对图像进行滤波、增强、分割后，再结合图像识别算法进行分析，并判断是否存在相对应的缺陷。但是，由于3C透明构件的特点(尺寸小、类型多、不显著)，如果仅仅依靠单一固定角度的可见光进行辨识，其缺陷检测有遗漏，精度不高。
发明内容
为了解决上述的技术问题，本发明提供了一种变角度光学视频智能检测3C透明构件缺陷的方法及装置。
为了解决上述技术问题，本发明采取以下技术方案：
变角度光学视频智能检测3C透明构件缺陷的方法，包括以下步骤：
S1，对待检测的3C透明构件进行光学检测成像，得到视频图像；
S2，对视频图像进行抽取、校正和融合；
S3，再对视频图像进行深度学习，用多种异构类型的卷积神经网络对视频图像进行辨识得到初步辨识结果；
S4，最终由支持向量机SVM对多个初步辨识结果进行融合检测，获取最终的辨识结果，得到3C透明构件的缺陷类别，缺陷类别包括正常、裂纹、气泡、划痕、崩边。
所述光学检测成像具体为：
S11，将待检测的3C透明构件放置在相机标定盘上；
S12，通过平行光源向3C透明构件照射光线，利用摄像模块获取3C透明构件的图像时，将相机标定盘的标定黑白网格一并抓取；
S13，摄像模块在获取图像时，带动摄像模块沿着预设弧形轨迹移动，在该预设弧形轨迹上移动过程中，不同位置都进行图像的获取，从而实现变角度的光学视频图像采集。
所述摄像模块进行图像获取时，沿着预设弧形轨迹移动，每停留该弧形轨迹的一个位置时，都对待检测3C透明构件进行多次图像采集，直到获取最优图像，然后才移动到另一个位置继续采集，由于是沿着弧形轨迹移动，从而每个位置的采集角度都不同，当所有的位置都采集完毕后，将采集的图像融合成一个动态角度变化下的检测视频图像。
所述相机标定盘上设有放置槽和位于放置槽外围的黑白相间的正方形网格，通过该结构的相机标定盘，对拍摄得到的视频图像进行抽取、校正、融合，具体为：
S21，获取所述摄像模块处于3C透明构件正上方角度情况下的视频帧(Frame_st)，对待检测3C透明构件按黑白相间的正方形网格的边界线分割当前所检测的区域图像，每个子图像记作Sub_image_st(i,j)，待检测3C透明构件的子图像总数为Total＝i×j个，并计算与子图像对应行列位置的黑白相间的正方形网格的像素值，存入Sub_image_st_size(i,j)中；
S22，抽取摄像模块处于待检测3C透明构件当前角度情况下的视频帧(Frame_cur)，对待检测3C透明构件按黑白相间的正方形网格的边界线分割当前所检测的区域图像，每个子图像记作Sub_image_cur(i,j)，待检测3C透明构件的子图像总数为Total＝i×j个，并计算与该子图像对应行列位置的黑白相间的正方形网格的像素值，存入Sub_image_cur_size(i,j)中；
S23，对当前角度下的每个子图像Sub_image_cur(i,j)，与正上方角度对应的子图像Sub_image_st(i,j)进行比对，计算长度(Scale_l(i,j))和宽度(Scale_w(i,j))方向的缩放因子：
Figure BDA0002256102890000031
Figure BDA0002256102890000032
上式(1)和(2)中，len()和width()函数分别为获取Sub_image_st_size(i,j)和Sub_image_cur_size(i,j)数据中的长和宽信息；
S24，对当前角度情况下的视频帧(Frame_cur)的Total个子图像，按步骤S23逐一计算对应的长度(Scale_l(i,j))和宽度(Scale_w(i,j))方向的缩放因子后，对该子图像Sub_image_cur(i,j)按照对应的缩放因子进行缩放，生成新的子图像Sub_image_newcur(i,j)；
S25，对所有新的子图像Sub_image_newcur(i,j)进行校正处理，生成当前位置的校正图像，处于子图像Sub_image_newcur(i,j)交界处的像素的RGB值按照算术平均值进行校正处理；
S26，校正完当前角度情况下的视频帧(Frame_cur)后，将校正的新帧再融合到视频图像中；
依次对除正上方角度外的所有角度拍摄的视频帧执行步骤S22～S26。
所述步骤S2中，对视频图像进行整合后，还进行以下预处理：
将融合后的视频图像分割为m个大小的60×40像素的视频，对一个视频，按时间轴上的变化，等距离分割为7个片段，记为{(Clip1,…,Clip7)1,…,(Clip1,…,Clip7)m}；
对所述的m个大小的60×40像素的视频的每个Clipi寻找1张代表性的主帧Framei，计算方法为：对当前Clipi中的所有帧，用余弦相似度方法计算值，挑选一个与所有帧余弦相似度的平均值偏离程度最大的帧，即为代表性的主帧Framei；
经过计算处理后，所述m个大小的60×40像素的视频的主帧数据集合，记为{(Frame1,…,Frame7)1,…,(Frame1,…,Frame7)m}；
对m个的所述主帧集合数据(Frame1,…,Frame7)，作为处理后的连续视频图像，再进行深度学习处理。
所述步骤S3深度学习包括以下步骤：
S31，利用第一卷积神经网络模型对所述m个视频(Frame1,…,Frame7)进行数据特征提取，计算属于不同缺陷类别的概率，记为(PA1，…，PAm)；
S32，利用第二卷积神经网络模型对所述m个视频(Frame1,…,Frame7)进行数据特征提取，计算属于不同缺陷类别的概率，记为(PB1，…，PBm)；
S33。利用支持向量机SVM融合步骤S31和步骤S32获取的数据特征，(PA1，…，PAm)和(PB1，…，PBm)作为所述支持向量机SVM的输入变量，采用以下公式(3)计算得到最终的缺陷类别：
Y＝SVM(PA1，…，PAm，PB1，…，PBm) (3)
上述公式(3)中，支持向量机选择径向基函数核作为核函数，如公式(4)所示：
Figure BDA0002256102890000041
最终计算获取当前待检测3C透明构件的缺陷类别。
所述第一卷积神经网络3D-CNN包含1个硬连线层H1、3个卷积层C2、C4和C6、2个下采样层S3和S5、1个全连接层FC和1个软回归层SR；每个3D卷积核卷积的立方体是连续7帧，每帧大小是60×40像素；所述的1个硬连线层，先对输入的视频图像进行处理，各帧分别提取五个通道的信息，分别是：灰度、x和y方向的梯度，x和y方向的光流，灰度、x和y方向的梯度前三个每帧计算，x和y方向的光流连续两帧计算，共计是33个特征；所述的3个卷积层分别通过7x7x3、7x6x3和7x4的卷积核对前层数据卷积计算获得；2个下采样层分别通过2x2和3x3池化计算获得；最后，通过1个全连接层获取128维的向量，再通过1个全连接层FC和1个软回归层SR进行连接，获取不同缺陷类别的概率。
所述的第二卷积神经网络TS-CNN包含两个卷积网络分别为空间流卷积网络和时间流卷积网络，从未进行处理过的视频图像中随机抽取1帧，通过空间流卷积网络进行处理，以及S-Softmax逻辑回归层、T-Softmax逻辑回归层，输出到S-Softmax逻辑回归层后进行融合；所述的随机抽取1帧，依次经过7x7x96、步长2、池化2x2的卷积层S1，5x5x256、步长2、池化2x2的卷积层S2，3x3x512、步长1的卷积层S3，3x3x512、步长1的卷积层S4，3x3x512、步长1、池化2x2的卷积层S5，(4096个向量的全连接层S6、2048个向量的全连接层S7和S-Softmax逻辑回归层后输出；对未进行处理过的视频图进行光流计算，获取多帧光流图像，通过时间流卷积网络进行处理，输出到T-Softmax逻辑回归层后进行融合，所述多帧光流图像，分别依次经过7x7x96、步长2、池化2x2的卷积层T1，5x5x256、步长2、池化2x2的卷积层T2，3x3x512、步长1的卷积层T3，3x3x512、步长1的卷积层T4，3x3x512、步长1、池化2x2的卷积层T5，4096个向量全连接层T6，2048个向量的全连接层T7和T-Softmax逻辑回归层后输出；最后，S-Softmax逻辑回归层数据和T-Softmax逻辑回归层数据融合后，获取不同缺陷类别的概率。
一种变角度光学视频智能检测3C透明构件缺陷的装置，所述装置包括：
工作台，工作台上设有相机标定盘，相机标定盘上设有3C透明构件放置槽以及外围的黑白相间的正方形网格；
辅助机械手，用于上料和下料操作，通过总线与计算机连接；
光学检测模块，通过总线与计算机通信连接，对放置在相机标定盘上的3C透明构件进行光学成像形成视频图像，光学检测模块与移动机构连接并设在弧形导轨上，沿着弧形导轨移动；
视频处理模块，通过总线与光学检测模块通信连接，接收光学检测模块检测得到的视频图像，对视频图像按帧实现抽取、校正、融合，获取多角度光学成像动态视频图像；
显示报警模块，通过总线与计算机通信连接，实时显示检测结果和发出警报；
运动控制模块，通过总线分别与计算机、显示报警模块、辅助机械手通信连接，
深度学习模块，通过总线与计算机通信连接，采用卷积神经网络，由独立的卷积神经网络DSP芯片实现，能通过多种异构类型的卷积神经网络，并行输入同一待检测3C透明构件的不同特性的视频数据。
所述光学检测模块包括平行光源、光学镜头、成像传感器，成像传感器与光学镜头安装连接并通过总线与计算机通信连接，平行光源设在相机标定盘上方对3C透明构件照射光线。
本发明具有以下有益效果：
1、利用弧形导轨，带动摄像模块弧形移动，从而在不同角度下进行光学成像，通过多角度光学摄像，更容易将3C透明构件的缺陷进行暴露，从而为进一步处理提供支撑；
2、多角度下的采集视频进行抽取、校正、融合后，使得3C透明构件的视频流的相关缺陷暴露更为充分；
3、基于3C透明构件的缺陷视频流的检测，将静态检测转变为动态检测，这比单一图像检测获取的信息更为丰富；
4、采用多路卷积神经网络，经过样本离线训练后，可在线自动对光学视频数据进行处理，自动提取缺陷样本的特征，完成3C透明构件高精度检测。
附图说明
图1是本发明原理的一个具体实施例的结构示意图；
图2是本发明装置的机械机构布局示意图；
图3是光学检测模块结构示意图；
图4相机标定盘与待检测3C透明构件安置示意图；
图5-1、5-2是光学检测模块检测流程图；
图6是3C透明构件检测辨识的3D-CNN卷积神经网络结构示意图；
图7是3C透明构件检测辨识的TS-CNN卷积神经网络结构示意图；
图8是SVM分类示意图。
具体实施方式
为能进一步了解本发明的特征、技术手段以及所达到的具体目的、功能，下面结合附图与具体实施方式对本发明作进一步详细描述。
如附图1-8所示，一种变角度光学视频智能检测3C透明构件缺陷的装置，所述装置包括：
工作台14，工作台14上设有相机标定盘13，相机标定盘13上设有3C透明构件放置槽以及外围的黑白相间的正方形网格，正方形网格可设为尺寸大小为3×3mm。
辅助机械手5，用于上料和下料操作，通过总线与计算机18连接；
光学检测模块1，通过总线与计算机18通信连接，对放置在相机标定盘13上的3C透明构件12进行光学成像形成视频图像，光学检测模块1与移动机构连接并设在弧形导轨上，沿着弧形导轨移动。移动机构可为步进电机和相应的滑块，或者其他类型的移动模组，能够实现带动光学检测模块沿着弧形导轨上移动即可，为公知中的移动机构。
视频处理模块3，通过总线与光学检测模块1通信连接，接收光学检测模块检测得到的视频图像，对视频图像按帧实现抽取、校正、融合，获取多角度光学成像动态视频图像。
显示报警模块6，通过总线与计算机通信连接，实时显示检测结果和发出警报。
运动控制模块2，通过总线分别与计算机、显示报警模块、辅助机械手通信连接，
深度学习模块4，通过总线与计算机通信连接，采用卷积神经网络，由独立的卷积神经网络DSP芯片实现，能通过多种异构类型的卷积神经网络，并行输入同一待检测3C透明构件的不同特性的视频数据。
辅助机械手、光学检测模块、视频处理模块、显示报警模块、运动控制模块、深度学习模块分别通过总线相互通信连接。
所述光学检测模块包括平行光源11、光学镜头15、成像传感器16，成像传感器16与光学镜头15安装连接并通过总线与计算机18通信连接，平行光源11设在相机标定盘13上方对3C透明构件12照射光线。
辅助机械手5可安装在相应的底座上，待检测3C透明构件可由人手工或者自动传送带放置在相机标定盘13内，黑白相间的正方形网格围绕在待检测3C透明构件周围。实现视频拍摄过程中将其标定黑白网格一并抓取，并通过所述光学镜头15，最终在所述成像传感器16上进行数字成像；所述的光学镜头(15)和成像传感器16组成的摄像模块通过移动机构带动移动(图中未标示)，可沿所述弧形导轨17运动，实现变角度的光学视频数据采集。
如图5所示，当所述辅助机械手5将待检测的3C透明构件12放置在所述相机标定盘13上后，发送完成信号到所述运动控制模块2，所述运动控制模块2通过CAN总线发送消息到所述计算机18，所述计算机18控制平行光源11的灯光处于打开状态，接着，所述计算机18控制控制成像传感器16进行成像，并将第一次成像结果发回所述计算机18，所述计算机18经过评估分析后，认为成像质量不高，再控制光学镜头15进行调焦，再次进行数字成像分析；经过多次采集后，所述计算机18将最优3C透明构件的成像照片通过CAN总线发回所述运动控制模块2；进一步，所述的光学镜头15和成像传感器16组成的摄像模块通过伺服电机及其驱动机构的带动下，移动到下一个位置进行数据采集；当所有的位置数据采集完成后，所述运动控制模块2将其采集的图像融合成一个动态角度变化下的检测视频数据。
当所述光学检测模块1完成当前检测任务后，所述计算机18通过CAN总线向所述运动控制模块2发出本环节检测完成信号，所述计算机18控制平行光源11的灯光处于关闭状态，所述计算机18控制光学镜头15处于用户参数设置的焦点位置；所述运动控制模块2通过CAN总线向所述辅助机械手5发出光学检测模块1待检测3C透明构件12搬离任务，所述辅助机械手5将待检测3C透明构件12从光学检测模块1搬运到待分类工作台出口，所述运动控制模块3再将该结果通知光学检测模块1。
所述的光学镜头15的放大倍数设置在2～10倍率之间；光学成像过程中，不同角度成像下，其放大倍数可以设置为相同的倍率，比如5倍，也可以设置为不同的放大倍率，比如一个设置为3倍，另外一个设置为6倍。
另外，本发明还揭示了一种变角度光学视频智能检测3C透明构件缺陷的方法，包括以下步骤：
S1，对待检测的3C透明构件进行光学检测成像，得到视频图像；
S2，对视频图像进行抽取、校正和融合；
S3，再对视频图像进行深度学习，用多种异构类型的卷积神经网络对视频图像进行辨识得到初步辨识结果；
S4，最终由支持向量机SVM对多个初步辨识结果进行融合检测，获取最终的辨识结果，得到3C透明构件的缺陷类别，缺陷类别包括正常、裂纹、气泡、划痕、崩边。
所述光学检测成像具体为：
S11，将待检测的3C透明构件放置在相机标定盘上；
S12，通过平行光源向3C透明构件照射光线，利用摄像模块获取3C透明构件的图像时，将相机标定盘的标定黑白网格一并抓取；
S13，摄像模块在获取图像时，带动摄像模块沿着预设弧形轨迹移动，在该预设弧形轨迹上移动过程中，不同位置都进行图像的获取，从而实现变角度的光学视频图像采集。
所述摄像模块进行图像获取时，沿着预设弧形轨迹移动，每停留该弧形轨迹的一个位置时，都对待检测3C透明构件进行多次图像采集，直到获取最优图像，然后才移动到另一个位置继续采集，由于是沿着弧形轨迹移动，从而每个位置的采集角度都不同，当所有的位置都采集完毕后，将采集的图像融合成一个动态角度变化下的检测视频图像。
所述相机标定盘上设有放置槽和位于放置槽外围的黑白相间的正方形网格，通过该结构的相机标定盘，对拍摄得到的视频图像进行抽取、校正、融合，具体为：
S21，获取所述摄像模块处于3C透明构件正上方角度情况下的视频帧(Frame_st)，对待检测3C透明构件按黑白相间的正方形网格的边界线分割当前所检测的区域图像，每个子图像记作Sub_image_st(i,j)，待检测3C透明构件的子图像总数为Total＝i×j个，并计算与子图像对应行列位置的黑白相间的正方形网格的像素值，存入Sub_image_st_size(i,j)中。
S22，抽取摄像模块处于待检测3C透明构件当前角度情况下的视频帧(Frame_cur)，对待检测3C透明构件按黑白相间的正方形网格的边界线分割当前所检测的区域图像，每个子图像记作Sub_image_cur(i,j)，待检测3C透明构件的子图像总数为Total＝i×j个，并计算与该子图像对应行列位置的黑白相间的正方形网格的像素值，存入Sub_image_cur_size(i,j)中。
S23，对当前角度下的每个子图像Sub_image_cur(i,j)，与正上方角度对应的子图像Sub_image_st(i,j)进行比对，计算长度(Scale_l(i,j))和宽度(Scale_w(i,j))方向的缩放因子：
Figure BDA0002256102890000101
Figure BDA0002256102890000102
上式(1)和(2)中，len()和width()函数分别为获取Sub_image_st_size(i,j)和Sub_image_cur_size(i,j)数据中的长和宽信息。
S24，对当前角度情况下的视频帧(Frame_cur)的Total个子图像，按步骤S23逐一计算对应的长度(Scale_l(i,j))和宽度(Scale_w(i,j))方向的缩放因子后，对该子图像Sub_image_cur(i,j)按照对应的缩放因子进行缩放，生成新的子图像Sub_image_newcur(i,j)。
S25，对所有新的子图像Sub_image_newcur(i,j)进行校正处理，生成当前位置的校正图像，处于子图像Sub_image_newcur(i,j)交界处的像素的RGB值按照算术平均值进行校正处理。
S26，校正完当前角度情况下的视频帧(Frame_cur)后，将校正的新帧再融合到视频图像中。
依次对除正上方角度外的所有角度拍摄的视频帧执行步骤S22～S26。
所述步骤S2中，对视频图像进行整合后，还进行以下预处理：
将融合后的视频图像分割为m个大小的60×40像素的视频，对一个视频，按时间轴上的变化，等距离分割为7个片段，记为{(Clip1,…,Clip7)1,…,(Clip1,…,Clip7)m}。
对所述的m个大小的60×40像素的视频的每个Clipi寻找1张代表性的主帧Framei，计算方法为：对当前Clipi中的所有帧，用余弦相似度方法计算值，挑选一个与所有帧余弦相似度的平均值偏离程度最大的帧，即为代表性的主帧Framei。
经过计算处理后，所述m个大小的60×40像素的视频的主帧数据集合，记为{(Frame1,…,Frame7)1,…,(Frame1,…,Frame7)m}。
对m个的所述主帧集合数据(Frame1,…,Frame7)，作为处理后的连续视频图像，再进行深度学习处理。
所述步骤S3深度学习包括以下步骤：
S31，利用第一卷积神经网络模型对所述m个视频(Frame1,…,Frame7)进行数据特征提取，计算属于不同缺陷类别的概率，记为(PA1，…，PAm)；
S32，利用第二卷积神经网络模型对所述m个视频(Frame1,…,Frame7)进行数据特征提取，计算属于不同缺陷类别的概率，记为(PB1，…，PBm)；
S33。利用支持向量机SVM融合步骤S31和步骤S32获取的数据特征，(PA1，…，PAm)和(PB1，…，PBm)作为所述支持向量机SVM的输入变量，采用以下公式(3)计算得到最终的缺陷类别：
Y＝SVM(PA1，…，PAm，PB1，…，PBm) (3)
上述公式(3)中，支持向量机选择径向基函数核作为核函数，如公式(4)所示：
Figure BDA0002256102890000111
最终计算获取当前待检测3C透明构件的缺陷类别。
所述第一卷积神经网络3D-CNN包含1个硬连线层H1、3个卷积层C2、C4和C6、2个下采样层S3和S5、1个全连接层FC和1个软回归层SR；每个3D卷积核卷积的立方体是连续7帧，每帧大小是60×40像素；所述的1个硬连线层，先对输入的视频图像进行处理，各帧分别提取五个通道的信息，分别是：灰度(组一)、x和y方向的梯度(组二和组三)，x和y方向的光流(组四和组五)，灰度、x和y方向的梯度前三个都可以每帧计算，x和y方向的光流需要连续两帧才能计算，共计是33个特征；所述的3个卷积层分别通过7x7x3、7x6x3和7x4的卷积核对前层数据卷积计算获得；2个下采样层分别通过2x2和3x3池化计算获得；最后，通过1个全连接层获取128维的向量，再通过1个全连接层FC和1个软回归层SR进行连接，获取不同缺陷类别的概率。
所述的第二卷积神经网络TS-CNN包含两个卷积网络分别为空间流卷积网络和时间流卷积网络，以及S-Softmax逻辑回归层、T-Softmax逻辑回归层，从未进行处理过的视频图像中随机抽取1帧，通过空间流卷积网络进行处理，输出到S-Softmax逻辑回归层后进行融合；所述的随机抽取1帧，依次经过7x7x96、步长2、池化2x2的卷积层S1，5x5x256、步长2、池化2x2的卷积层S2，3x3x512、步长1的卷积层S3，3x3x512、步长1的卷积层S4，3x3x512、步长1、池化2x2的卷积层S5，(4096个向量的全连接层S6、2048个向量的全连接层S7和S-Softmax逻辑回归层后输出；对未进行处理过的视频图进行光流计算，获取多帧光流图像，通过时间流卷积网络进行处理，输出到T-Softmax逻辑回归层后进行融合，所述多帧光流图像，分别依次经过7x7x96、步长2、池化2x2的卷积层T1，5x5x256、步长2、池化2x2的卷积层T2，3x3x512、步长1的卷积层T3，3x3x512、步长1的卷积层T4，3x3x512、步长1、池化2x2的卷积层T5，4096个向量全连接层T6，2048个向量的全连接层T7和T-Softmax逻辑回归层后输出；最后，S-Softmax逻辑回归层数据和T-Softmax逻辑回归层数据融合后，获取不同缺陷类别的概率，由运动控制模块2控制显示报警模块6输出相关信息，告知操作人员。
所述的深度学习模块4所依赖的样本库存在于运动控制模块2中(内部闪存芯片)，可由运动控制模块2后台更新本发明专利的各自对应的深度卷积神经网络参数；所述深度卷积神经网络的离线训练样本库可以由厂家或者用户增加样本数量。因而，3C透明构件检测可根据样本的实际情况进行增减，提升特定规格、型号的待检测透明构件的检测准确率；所述深度卷积神经网络即可以由用户在使用过程中进行训练更新，也可以选择由装置生产厂家定期更新；本发明装置支持多版本的深度卷积神经网络，可由最终用户根据实际应用场景进行自主选择。
需要说明的是，以上仅为本发明的优选实施例而已，并不用于限制本发明，尽管参照实施例对本发明进行了详细的说明，对于本领域的技术人员来说，其依然可以对前述实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换，但是凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (9)

1.变角度光学视频智能检测3C透明构件缺陷的方法，包括以下步骤：
S1，对待检测的3C透明构件进行光学检测成像，得到视频图像；
S2，对视频图像进行抽取、校正和融合；
S3，再对视频图像进行深度学习，用多种异构类型的卷积神经网络对视频图像进行辨识得到初步辨识结果；
S4，最终由支持向量机SVM对多个初步辨识结果进行融合检测，获取最终的辨识结果，得到3C透明构件的缺陷类别，缺陷类别包括正常、裂纹、气泡、划痕、崩边；
所述光学检测成像具体为：
S11，将待检测的3C透明构件放置在相机标定盘上；
S12，通过平行光源向3C透明构件照射光线，利用摄像模块获取3C透明构件的图像时，将相机标定盘的标定黑白网格一并抓取；
S13，摄像模块在获取图像时，带动摄像模块沿着预设弧形轨迹移动，在该预设弧形轨迹上移动过程中，不同位置都进行图像的获取，从而实现变角度的光学视频图像采集。
2.根据权利要求1所述的变角度光学视频智能检测3C透明构件缺陷的方法，其特征在于，所述摄像模块进行图像获取时，沿着预设弧形轨迹移动，每停留该弧形轨迹的一个位置时，都对待检测3C透明构件进行多次图像采集，直到获取最优图像，然后才移动到另一个位置继续采集，由于是沿着弧形轨迹移动，从而每个位置的采集角度都不同，当所有的位置都采集完毕后，将采集的图像融合成一个动态角度变化下的检测视频图像。
3.根据权利要求2所述的变角度光学视频智能检测3C透明构件缺陷的方法，其特征在于，所述相机标定盘上设有放置槽和位于放置槽外围的黑白相间的正方形网格，通过该结构的相机标定盘，对拍摄得到的视频图像进行抽取、校正、融合，具体为：
S21，获取所述摄像模块处于3C透明构件正上方角度情况下的视频帧(Frame_st)，对待检测3C透明构件按黑白相间的正方形网格的边界线分割当前所检测的区域图像，每个子图像记作Sub_image_st(i,j)，待检测3C透明构件的子图像总数为Total＝i×j个，并计算与子图像对应行列位置的黑白相间的正方形网格的像素值，存入Sub_image_st_size(i,j)中；
S22，抽取摄像模块处于待检测3C透明构件当前角度情况下的视频帧(Frame_cur)，对待检测3C透明构件按黑白相间的正方形网格的边界线分割当前所检测的区域图像，每个子图像记作Sub_image_cur(i,j)，待检测3C透明构件的子图像总数为Total＝i×j个，并计算与该子图像对应行列位置的黑白相间的正方形网格的像素值，存入Sub_image_cur_size(i,j)中；
S23，对当前角度下的每个子图像Sub_image_cur(i,j)，与正上方角度对应的子图像Sub_image_st(i,j)进行比对，计算长度(Scale_l(i,j))和宽度(Scale_w(i,j))方向的缩放因子：
Figure FDA0003816703950000021
Figure FDA0003816703950000022
上式(1)和(2)中，len()和width()函数分别为获取Sub_image_st_size(i,j)和Sub_image_cur_size(i,j)数据中的长和宽信息；
S24，对当前角度情况下的视频帧(Frame_cur)的Total个子图像，按步骤S23逐一计算对应的长度(Scale_l(i,j))和宽度(Scale_w(i,j))方向的缩放因子后，对该子图像Sub_image_cur(i,j)按照对应的缩放因子进行缩放，生成新的子图像Sub_image_newcur(i,j)；
S25，对所有新的子图像Sub_image_newcur(i,j)进行校正处理，生成当前位置的校正图像，处于子图像Sub_image_newcur(i,j)交界处的像素的RGB值按照算术平均值进行校正处理；
S26，校正完当前角度情况下的视频帧(Frame_cur)后，将校正的新帧再融合到视频图像中；
依次对除正上方角度外的所有角度拍摄的视频帧执行步骤S22～S26。
4.根据权利要求3所述的变角度光学视频智能检测3C透明构件缺陷的方法，其特征在于，所述步骤S2中，对视频图像进行整合后，还进行以下预处理：
将融合后的视频图像分割为m个大小的60×40像素的视频，对一个视频，按时间轴上的变化，等距离分割为7个片段，记为{(Clip1,…,Clip7)1,…,(Clip1,…,Clip7)m}；
对所述的m个大小的60×40像素的视频的每个Clipi寻找1张代表性的主帧Framei，计算方法为：对当前Clipi中的所有帧，用余弦相似度方法计算值，挑选一个与所有帧余弦相似度的平均值偏离程度最大的帧，即为代表性的主帧Framei；
经过计算处理后，所述m个大小的60×40像素的视频的主帧数据集合，记为{(Frame1,…,Frame7)1,…,(Frame1,…,Frame7)m}；
对m个的所述主帧集合数据{(Frame1,…,Frame7)1,…,(Frame1,…,Frame7)m}，作为处理后的连续视频图像，再进行深度学习处理。
5.根据权利要求4所述的变角度光学视频智能检测3C透明构件缺陷的方法，其特征在于，所述步骤S3深度学习包括以下步骤：
S31，利用第一卷积神经网络模型对所述m个视频{(Frame1,…,Frame7)1,…,(Frame1,…,Frame7)m}进行数据特征提取，计算属于不同缺陷类别的概率，记为(PA1，…，PAm)；
S32，利用第二卷积神经网络模型对所述m个视频{(Frame1,…,Frame7)1,…,(Frame1,…,Frame7)m}进行数据特征提取，计算属于不同缺陷类别的概率，记为(PB1，…，PBm)；
S33。利用支持向量机SVM融合步骤S31和步骤S32获取的数据特征，(PA1，…，PAm)和(PB1，…，PBm)作为所述支持向量机SVM的输入变量，采用以下公式(3)计算得到最终的缺陷类别：
Y＝SVM(PA1，...，PAm，PB1，...，PBm) (3)
上述公式(3)中，支持向量机选择径向基函数核作为核函数，如公式(4)所示：
Figure FDA0003816703950000041
最终计算获取当前待检测3C透明构件的缺陷类别。
6.根据权利要求5所述的变角度光学视频智能检测3C透明构件缺陷的方法，其特征在于，所述第一卷积神经网络3D-CNN包含1个硬连线层H1、3个卷积层C2、C4和C6、2个下采样层S3和S5、1个全连接层FC和1个软回归层SR；
每个3D卷积核卷积的立方体是连续7帧，每帧大小是60×40像素；
所述的1个硬连线层，先对输入的视频图像进行处理，各帧分别提取五个通道的信息，分别是：灰度、x和y方向的梯度，x和y方向的光流，灰度、x和y方向的梯度前三个每帧计算，x和y方向的光流连续两帧计算，共计是33个特征；
所述的3个卷积层分别通过7x7x3、7x6x3和7x4的卷积核对前层数据卷积计算获得；
2个下采样层分别通过2x2和3x3池化计算获得；
最后，通过1个全连接层获取128维的向量，再通过1个全连接层FC和1个软回归层SR进行连接，获取不同缺陷类别的概率。
7.根据权利要求6所述的变角度光学视频智能检测3C透明构件缺陷的方法，其特征在于，所述的第二卷积神经网络TS-CNN包含两个卷积网络分别为空间流卷积网络和时间流卷积网络,以及S-Softmax逻辑回归层、T-Softmax逻辑回归层，从未进行处理过的视频图像中随机抽取1帧，通过空间流卷积网络进行处理，输出到S-Softmax逻辑回归层后进行融合；
所述的随机抽取1帧，依次经过7x7x96、步长2、池化2x2的卷积层S1，5x5x256、步长2、池化2x2的卷积层S2，3x3x512、步长1的卷积层S3，3x3x512、步长1的卷积层S4，3x3x512、步长1、池化2x2的卷积层S5，4096个向量的全连接层S6、2048个向量的全连接层S7和S-Softmax逻辑回归层后输出；
对未进行处理过的视频图进行光流计算，获取多帧光流图像，通过时间流卷积网络进行处理，输出到T-Softmax逻辑回归层后进行融合，所述多帧光流图像，分别依次经过7x7x96、步长2、池化2x2的卷积层T1，5x5x256、步长2、池化2x2的卷积层T2，3x3x512、步长1的卷积层T3，3x3x512、步长1的卷积层T4，3x3x512、步长1、池化2x2的卷积层T5，4096个向量全连接层T6，2048个向量的全连接层T7和T-Softmax逻辑回归层后输出；
最后，S-Softmax逻辑回归层数据和T-Softmax逻辑回归层数据融合后，获取不同缺陷类别的概率。
8.一种变角度光学视频智能检测3C透明构件缺陷的装置，其特征在于，所述装置包括：
工作台，工作台上设有相机标定盘，相机标定盘上设有3C透明构件放置槽以及外围的黑白相间的正方形网格；
辅助机械手，用于上料和下料操作，通过总线与计算机连接；
光学检测模块，通过总线与计算机通信连接，对放置在相机标定盘上的3C透明构件进行光学成像形成视频图像，光学检测模块与移动机构连接并设在弧形导轨上，沿着弧形导轨移动；
视频处理模块，通过总线与光学检测模块通信连接，接收光学检测模块检测得到的视频图像，对视频图像按帧实现抽取、校正、融合，获取多角度光学成像动态视频图像；
显示报警模块，通过总线与计算机通信连接，实时显示检测结果和发出警报；
运动控制模块，通过总线分别与计算机、显示报警模块、辅助机械手通信连接，
深度学习模块，通过总线与计算机通信连接，采用卷积神经网络，由独立的卷积神经网络DSP芯片实现，能通过多种异构类型的卷积神经网络，并行输入多角度光学成像动态视频图像。
9.根据权利要求8所述的变角度光学视频智能检测3C透明构件缺陷的装置，其特征在于，所述光学检测模块包括平行光源、光学镜头、成像传感器，成像传感器与光学镜头安装连接并通过总线与计算机通信连接，平行光源设在相机标定盘上方对3C透明构件照射光线。
CN201911054183.4A 2019-10-31 2019-10-31 变角度光学视频智能检测3c透明构件缺陷的方法及装置 Active CN110838107B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201911054183.4A CN110838107B (zh) 2019-10-31 2019-10-31 变角度光学视频智能检测3c透明构件缺陷的方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911054183.4A CN110838107B (zh) 2019-10-31 2019-10-31 变角度光学视频智能检测3c透明构件缺陷的方法及装置

Publications (2)

Publication Number Publication Date
CN110838107A CN110838107A (zh) 2020-02-25
CN110838107B true CN110838107B (zh) 2023-02-17

Family

ID=69575972

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911054183.4A Active CN110838107B (zh) 2019-10-31 2019-10-31 变角度光学视频智能检测3c透明构件缺陷的方法及装置

Country Status (1)

Country Link
CN (1) CN110838107B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
IT202200011345A1 (it) 2022-05-30 2023-11-30 Sacmi Metodo e sistema per eseguire un controllo di qualità di oggetti in un apparato che produce gli oggetti in ciclo continuo

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109101976A (zh) * 2018-07-10 2018-12-28 温州大学 一种灭弧栅片表面缺陷的检测方法
CN109559302A (zh) * 2018-11-23 2019-04-02 北京市新技术应用研究所 基于卷积神经网络的管道视频缺陷检测方法
CN109570051A (zh) * 2019-01-16 2019-04-05 郑州轻工业学院 基于机器视觉、激光和声学的板栗虫眼检测装置

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10607119B2 (en) * 2017-09-06 2020-03-31 Kla-Tencor Corp. Unified neural network for defect detection and classification
KR20190073756A (ko) * 2017-12-19 2019-06-27 삼성전자주식회사 반도체 결함 분류 장치, 반도체의 결함을 분류하는 방법, 그리고 반도체 결함 분류 시스템

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109101976A (zh) * 2018-07-10 2018-12-28 温州大学 一种灭弧栅片表面缺陷的检测方法
CN109559302A (zh) * 2018-11-23 2019-04-02 北京市新技术应用研究所 基于卷积神经网络的管道视频缺陷检测方法
CN109570051A (zh) * 2019-01-16 2019-04-05 郑州轻工业学院 基于机器视觉、激光和声学的板栗虫眼检测装置

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
"Welding defect classification based on convolution neural network (CNN) and Gaussian kernel";Agus Khumaidi 等;《2017 International Seminar on Intelligent Technology and Its Applications (ISITIA)》;20171201;261-265 *
"基于深度学习的玻璃缺陷识别方法研究";瓮佳良;《中国优秀硕士学位论文全文数据库-工程科技Ⅰ辑》;20170815;第2017年卷(第8期);B015-106 *

Also Published As

Publication number Publication date
CN110838107A (zh) 2020-02-25

Similar Documents

Publication Publication Date Title
CN110827256B (zh) 透明构件缺陷的光学和热红外多级成像检测方法及装置
JP7118042B2 (ja) 距離判定システム、コンピュータ実装方法、及び、コンピュータ・プログラム製品
CN108765416B (zh) 基于快速几何对准的pcb表面缺陷检测方法及装置
CN102735695B (zh) 一种镜片瑕疵快速检测方法及装置
CN112037219B (zh) 一种基于两阶段卷积神经网络的金属表面缺陷检测方法
CN107040725B (zh) 一种图像获取装置的坐标校正方法及图像获取装置
CN104034638B (zh) 基于机器视觉的金刚线颗粒在线质检方法
CN111179250B (zh) 一种基于多任务学习的工业品缺陷检测系统
CN111179170B (zh) 一种显微血细胞图像快速全景拼接方法
CN111311487B (zh) 一种光伏组件图像的快速拼接方法及系统
CN115184359A (zh) 一种自动调参的表面缺陷检测系统与方法
US6718074B1 (en) Method and apparatus for inspection for under-resolved features in digital images
CN113344888A (zh) 一种基于联合模型的表面缺陷检测方法及装置
CN112033971A (zh) 一种视觉瑕疵检测系统及方法
CN110838107B (zh) 变角度光学视频智能检测3c透明构件缺陷的方法及装置
KR20220164124A (ko) 딥 러닝 모델에 기반하여 제품의 결함 여부를 유형별로 검사하기 위한 시스템
CN112200790A (zh) 布料缺陷检测方法、设备和介质
CN109583306B (zh) 一种基于机器视觉的纱管残留纱线检测方法
CN117309892B (zh) 一种电池蓝膜的缺陷检测方法、装置及系统和光源控制器
CN106370673A (zh) 一种镜片疵病自动检测方法
CN113077430A (zh) 基于ssd算法的激光器芯片缺陷检测及分类方法与系统
US7684610B2 (en) Rotating prism component inspection system
CN116256366A (zh) 一种芯片缺陷的检测方法、检测系统及存储介质
CN114798479A (zh) 一种裸片的筛选方法、装置、设备及存储介质
CN208623750U (zh) 智能工业相机

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant