CN109115805A - 基于超声和光学双成像的透明构件缺陷检测装置及方法 - Google Patents

基于超声和光学双成像的透明构件缺陷检测装置及方法 Download PDF

Info

Publication number
CN109115805A
CN109115805A CN201811253234.1A CN201811253234A CN109115805A CN 109115805 A CN109115805 A CN 109115805A CN 201811253234 A CN201811253234 A CN 201811253234A CN 109115805 A CN109115805 A CN 109115805A
Authority
CN
China
Prior art keywords
module
ultrasound
detection
transparent component
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201811253234.1A
Other languages
English (en)
Inventor
张国军
张红梅
明五
明五一
卢亚
张臻
尹玲
耿涛
沈帆
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangdong Hust Industrial Technology Research Institute
Original Assignee
Guangdong Hust Industrial Technology Research Institute
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangdong Hust Industrial Technology Research Institute filed Critical Guangdong Hust Industrial Technology Research Institute
Priority to CN201811253234.1A priority Critical patent/CN109115805A/zh
Publication of CN109115805A publication Critical patent/CN109115805A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/95—Investigating the presence of flaws or contamination characterised by the material or shape of the object to be examined
    • G01N21/958—Inspecting transparent materials or objects, e.g. windscreens
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N29/00—Investigating or analysing materials by the use of ultrasonic, sonic or infrasonic waves; Visualisation of the interior of objects by transmitting ultrasonic or sonic waves through the object
    • G01N29/04—Analysing solids
    • G01N29/06—Visualisation of the interior, e.g. acoustic microscopy
    • G01N29/0654—Imaging
    • G01N29/069—Defect imaging, localisation and sizing using, e.g. time of flight diffraction [TOFD], synthetic aperture focusing technique [SAFT], Amplituden-Laufzeit-Ortskurven [ALOK] technique
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N2291/00—Indexing codes associated with group G01N29/00
    • G01N2291/02—Indexing codes associated with the analysed material
    • G01N2291/023—Solids

Abstract

本发明公开了一种基于超声和光学双成像的透明构件缺陷检测装置和方法，所述装置包括超声检测模块、光学检测模块、运动控制模块、数据融合模块、多通道深度学习模块和辅助机械手，超声检测模块、光学检测模块和辅助机械手通过以太网与运动控制模块通讯连接，数据融合模块、多通道深度学习模块和运动控制模块通过以太网两两通讯连接，运动控制模块还通过总线与显示报警模块通讯连接。本发明利用超声和光学双成像检测，检测更加精确，自动化操作，提升检测效率。

Description

基于超声和光学双成像的透明构件缺陷检测装置及方法
技术领域
本发明涉及3C行业透明构件产品缺陷检测装置及方法，具体地说是一种基于超声和光学双成像的3C透明构件缺陷智能检测装置及方法。
背景技术
我国3C行业中，透明构件在应用不断增长，特别是随着5G技术的快速推进，对玻璃材质的构件在终端通信产品中得到广泛的应用。但是，由于装配质量的不断提升，对于3C透明构件的缺陷检测也越来越严格。目前，大部分还停留在依靠人工目视检测识别的阶段，人工方法劳动强度非常大，而且由于需要借助辅助光源进行检测，对工人的视力有伤害较大。另外，随着3C透明构件检测标准的不断提高，单一依靠人工存在漏检的风险。
目前，市面上的透明购件缺陷检测大部分以人工为主，少量的有自动化的检测设备，以单一光学检测手段为主，先摄像头采集图像为原始数据，再结合图像识别算法进行处理，并分析并判断是否存在缺陷。但是，由于3C透明构件尺寸小、缺陷不明显，单纯依靠常规光学原理进行检测，其识别准确率有待提升。因而，迫切需要一种的新的检测方法，通过融合多种检测手段，使得细微缺陷得到暴露，从而更容易辨识产品存在的微小质量缺陷，为企业提升产品合格率，降低制造成本。
发明内容
为解决上述技术问题，本发明提供了一种基于超声和光学双成像的透明构件缺陷检测装置和方法，提升了检测精度。
为了解决上述技术问题，本发明采取以下技术方案：
基于超声和光学双成像的透明构件缺陷检测装置，所述装置包括超声检测模块、光学检测模块、运动控制模块、数据融合模块、多通道深度学习模块和辅助机械手，超声检测模块、光学检测模块和辅助机械手通过以太网与运动控制模块通讯连接，数据融合模块、多通道深度学习模块和运动控制模块通过以太网两两通讯连接。
所述运动控制模块还通过总线与显示报警模块通讯连接。
所述超声检测模块包括可变频率超声发射器、聚焦超声探头、C扫工作台、超声检测微控制器和超声检测工作台，在超声检测工作台侧边设有X向电机和X向丝杆，X向丝杆与X向电机连接，X向丝杆上通过连接螺套装接有Y向板，该Y向板上设有Y向电机和Y向丝杆，Y向丝杆与Y向电机连接，C扫工作台通过螺母安装在Y向丝杆上，可变频率超声发射器和聚焦超声探头通过支撑杆与C扫工作台连接，X向丝杆末端设有X向定位回零传感器，Y向丝杆末端设有Y向定位回零传感器，X向电机、Y向电机、可变频率超声发射器、聚焦超声探头分别与超声检测微控制器通讯连接。
所述超声检测模块还包括吸音边框，该吸音边框设在超声检测工作台上用于围合住待检测3C透明构件。
所述光学检测模块包括光学检测工作台、LED线光源、可调角度反射凹镜、夹具、背景板、检测摄像机和光学检测微控制器，LED线光源、可调角度反射凹镜、夹具和背景板设置在光学检测工作台上，可调角度反射凹镜与步进电机连接，待检测3C透明构件放置在夹具上，光学检测工作台上设有立柱，检测摄像机通过支撑杆与立柱连接使得检测摄像机位于待检测3C透明构件上方，检测摄像机、LED线光源、步进电机分别与光学检测微控制器通讯连接。
所述LED线光源和可调角度反射凹镜分别设有两组，并且分别设在待检测3C透明构件两端的区域进行独立摄像获取照片。
一种基于超声和光学双成像的透明构件缺陷检测方法，包括以下步骤：
通过辅助机械手将待测3C透明构件输送到检测位置，利用超声检测模块和光学检测模块分别对待测3C透明构件进行超声成像和光学成像，将图像数据传送到运动控制模块；
运动控制模块将图像数据转发到数据融和模块进行预处理，再次由数据融合模块转发到多通道深度学习模块进行辨识，将识别结果再发送到运动控制模块，运动控制模块将检测数据发送到显示报警模块中。
所述方法在进行超声成像时，采用C扫描成像方法，通过配置2.25MHz、4.5MHz、9MHZ三种不同超声波频率来生成相应的超声图像，覆盖不同的种类缺陷，对检测的点按超声反射回来的信号强度大小生成255级灰度图像，通过归一化处理，强度最大的灰度为0对应黑色，强度最小的灰度为1对应白色。
所述通过数据融和模块对图像数据进行预处理，具体为：对超声检测模块的2.25MHz、4.5MHz、9MHZ三种不同超声导波频率下的超声图像两两进行布尔异或运算，并生成新的三张图像，共计六张超声检测图像；对光学检测模块检测时，对不同角度下得到的至少两张光学成像图像，通过图像融合方法形成新的单张光学图像，再分别调整3C透明构件两端的当照亮度并进行拍照，共计获取四张光学检测图像。
所述多通道深度学习模块，采用卷积神经网络DSP芯片实现，图像数据传入到该多通道深度学习模块之前，由数据融合模块对成像的六张超声检测图像和四张光学检测图像，分割为128×128尺寸的图像组，超声检测图像和光学检测图像尺寸相同，分割时相同位置的图像归为一组；分割成组后的图像，按批输入多通道深度学习模块中，每批图像为60副单张128×128尺寸的图像，进行两次卷积和池化操作后，再进行两次全连接的神经网络，输出到512维向量里，再通过软回归将512维向量输出为矢量，再将检测结果通过工业以太网总线传输到运动控制模块，最后通过显示报警模块提醒操作人员。
本发明具有以下有益效果：
1)基于多源信息融合理论，将多个通道的超声图像和光学图像进行融合检测，克服单一检测技术的缺陷；
2)采用超声发送器配置三种规格：2.25MHz、4.5MHz、9MHZ，分别生成三种超声导波频率下的超声图像，覆盖不同的种类缺陷；
3)采用可光源强度和照射角度可调整的LED线光源，通过多次拍照成像，减少待检测3C透明构件入射口处的光学干扰；
4)采用多通道的卷积神经网络，经过样本离线训练后，可在线自动对超声图像和光学图像进行融合，自动提取缺陷样本的特征，替代人工，完成3C透明构件在线、精密的检测。
附图说明
附图1为本发明装置连接原理示意图；
附图2为本发明装置的机械原理示意图；
附图3为本发明中超声检测模块的连接原理示意图；
附图4为本发明中超声检测模块的机械原理示意图；
附图5为本发明中光学检测模块的连接原理示意图；
附图6为本发明中光学检测模块的机械原理示意图；
附图7为本发明中吸音边框的结构示意图；
附图8为本发明超声成像原理示意图；
附图9为本发明多通道深度学习模块采用的网络结构示意图。
具体实施方式
为能进一步了解本发明的特征、技术手段以及所达到的具体目的、功能，下面结合附图与具体实施方式对本发明作进一步详细描述。
如附图1和2所示，本发明揭示了一种基于超声和光学双成像的透明构件缺陷检测装置，所述装置包括超声检测模块5、光学检测模块2、运动控制模块、数据融合模块、多通道深度学习模块和辅助机械手4，超声检测模块、光学检测模块和辅助机械手通过以太网与运动控制模块通讯连接，数据融合模块、多通道深度学习模块和运动控制模块通过以太网两两通讯连接，运动控制模块还通过总线与显示报警模块通讯连接。超声成像和光学成像后通过运动控制模块转发到数据融合模块进行处理后，再次由数据融合模块转发到多通道深度学习模块进行辨识，识别结果发送到运动控制模块；运动控制模块通过CAN总线与显示报警模块相连接，将最终检测数据发送显示报警模块中；辅助机械手实现上料、转运及其下料的工作，实现自动化的搬运待检测3C透明构件。
辅助机械手4安装在机械手底座13上，布置在入口11、超声检测模块5、光学检测模块2和出口12中间，待检测3C透明构件10由人工或者自动运输带(本领域常规技术，图中未标示)送至到入口11出后，由辅助机械手4从入口11搬运到超声检测模块5里的超声检测工作台3上，待超声检测模块5完成检测后，搬运到光学检测模块2里的光学检测工作台1上，等光学检测模块2完成检测后，搬运到出口12出后，由人工或者自动运输带(本领域常规技术，图中未标示)推送到下一个流程；进一步，由于超声模块检测单元和光学检测单元工作时间比辅助机械手时间要长，因此，通过节拍控制，可实现超声检测模块和光学检测模块的并行工作。
如附图3和4所示，所述超声检测模块包括可变频率超声发射器、聚焦超声探头7、C扫工作台9、超声检测微控制器和超声检测工作台5，在超声检测工作台5侧边设有X向电机14和X向丝杆15，X向丝杆与X向电机连接，X向丝杆上通过连接螺套装接有Y向板16，该Y向板16上设有Y向电机17和Y向丝杆18，Y向丝杆与Y向电机连接，C扫工作台通过螺母安装在Y向丝杆上，可变频率超声发射器和聚焦超声探头通过支撑杆与C扫工作台连接，X向丝杆15末端设有X向定位回零传感器19，Y向丝杆18末端设有Y向定位回零传感器20，X向电机、Y向电机、可变频率超声发射器、聚焦超声探头分别与超声检测微控制器通讯连接。超声检测模块还包括吸音边框8，该吸音边框设在超声检测工作台上用于围合住待检测3C透明构件。如附图7所示，该吸音边框8具有相应的电磁铁A、电磁铁B便于与超声检测微控制器连接，由吸音材料81、柔性吸音材料82交替形成。
超声发射器和聚焦超声探头在C扫工作台的带动下，对待检测3C透明构件进行平面C扫，超声检测微控制器通过CAN总线实现对C扫工作台的运动控制。利用X向电机和Y向电机带动C扫工作台在X-Y方向的行程移动，从而能够在指定的区域进行超声成像。超声检测微控制器通过I/O的隔离放大电路控制电磁铁进行动作，改变吸音边框的声学特性，从而减弱3C透明构件四周边框的超声回波对检测结果的干扰。
X向电机带动X向定位丝杆运动，实现C扫工作台的X方向定位；Y向电机带动Y向丝杆定位部件运动，实现C扫工作台的Y方向定位；利用定位回零传感器，待每片待检测3C透明构件检测完成后，重新回零位校准；C扫工作台上通过支撑杆安装可变频率超声发射器和聚焦超声探头，可变频率超声发射器和聚焦超声探头与待检测3C透明构件成垂直方向设置，与待检测3C透明构件表面接触。涂抹有超声耦合剂的待检测3C透明构件放置在超声检测工作台上，待检测构件四周安装吸音边框，减少噪声干扰。
如附图5和6所示，所述光学检测模块包括光学检测工作台1、LED线光源23、可调角度反射凹镜24、夹具21、背景板22、检测摄像机25和光学检测微控制器，LED线光源、可调角度反射凹镜、夹具和背景板设置在光学检测工作台上，可调角度反射凹镜与步进电机连接，待检测3C透明构件放置在夹具上，光学检测工作台上设有立柱，检测摄像机通过支撑杆与立柱连接使得检测摄像机位于待检测3C透明构件上方，检测摄像机、LED线光源、步进电机分别与光学检测微控制器通讯连接。LED线光源和可调角度反射凹镜分别设有两组，并且分别设在待检测3C透明构件两端的区域进行独立摄像获取照片。光学检测微控制器通过CAN总线实现对LED线光源的亮度及其可调角度反射凹镜的角度进行控制，并控制检测摄像机的拍照；进一步，LED线光源和可调角度反射凹镜配置两套，完成待检测3C透明构件的两端独立照片，实现一次装夹定位，多次拍照。
支撑杆的一端安装在立柱上，高度可调整，立柱通过螺纹连接与光学检测工作台进行刚性连接，检测摄像机安置在支撑杆的另一端上，与待检测3C透明构件垂直方向间隔40～60cm。背景板和夹具通过刚性连接安置在光学检测工作台上，待检测3C透明构件由辅助机械手放置在夹具上，待检测工件到位后，夹具自动夹紧，夹具由光学检测微控制器进行驱动。可调角度反射凹镜放置在待检测3C透明构件的两端，带动各个LED线光源独立运动，从而实现检测光源入射角度的微调。
所述的运动控制模块实现对超声检测模块和光学检测模块的并行控制，下发检测指令，并接受超声图像和光学图像；进一步，按节拍实现超声检测模块和光学检测模块的并行工作，提升检测效率；辅助机械手在运动控制模块的控制下，实现自动化的将待检测3C透明构件搬运到超声检测模块或者光学检测模块里。
所述的数据融合模块由软件实现，载体为独立的数据融合DSP芯片，将超声检测模块的超声图像和光学检测模块的光线图像进行图像的预处理；对三种不同超声导波频率下的超声图像进行布尔运算，并生成新的图像；对不同角度下的可调角度反射凹镜照明光源，合并形成新的光学图像，减少干扰。
所述的多通道深度学习模块采用多通道卷积神经网络，由独立的卷积神经网络DSP芯片实现，能通过10个通道，其中6通道超声、4通道光学，并行输入同一待检测3C透明构件的超声图像和光学图像。
所述的辅助机械手实现上料、转运及其下料的自动化工作。
所述的显示报警模块实现检测结果的显示，对于有缺陷的待检测3C透明构件，能通过声光报警提示操作人员。
一种基于超声和光学双成像的透明构件缺陷检测方法，包括以下步骤：
通过辅助机械手将待测3C透明构件输送到检测位置，利用超声检测模块和光学检测模块分别对待测3C透明构件进行超声成像和光学成像，将图像数据传送到运动控制模块；
运动控制模块将图像数据转发到数据融和模块进行预处理，再次由数据融合模块转发到多通道深度学习模块进行辨识，将识别结果再发送到运动控制模块，运动控制模块将检测数据发送到显示报警模块中。
所述方法在进行超声成像时，采用C扫描成像方法，通过配置2.25MHz、4.5MHz、9MHZ三种不同超声波频率来生成相应的超声图像，覆盖不同的种类缺陷，对检测的点按超声反射回来的信号强度大小生成255级灰度图像，通过归一化处理，强度最大的灰度为0对应黑色，强度最小的灰度为1对应白色。
所述通过数据融和模块对图像数据进行预处理，具体为：对超声检测模块的2.25MHz、4.5MHz、9MHZ三种不同超声导波频率下的超声图像两两进行布尔异或运算，并生成新的三张图像，共计六张超声检测图像；对光学检测模块检测时，对不同角度下得到的至少两张光学成像图像，通过图像融合方法形成新的单张光学图像，再分别调整3C透明构件两端的当照亮度并进行拍照，共计获取四张光学检测图像。
所述多通道深度学习模块，采用卷积神经网络DSP芯片实现，图像数据传入到该多通道深度学习模块之前，由数据融合模块对成像的六张超声检测图像和四张光学检测图像，分割为128×128尺寸的图像组，超声检测图像和光学检测图像尺寸相同，分割时相同位置的图像归为一组；分割成组后的图像，按批输入多通道深度学习模块中，每批图像为60副单张128×128尺寸的图像，进行两次卷积和池化操作后，再进行两次全连接的神经网络，输出到512维向量里，再通过软回归将512维向量输出为矢量，再将检测结果通过工业以太网总线传输到运动控制模块，最后通过显示报警模块提醒操作人员。
如附图7所示，超声检测微控制器通过I/O的隔离放大电路控制电磁铁A和电磁铁B分别进行动作，从而压缩柔性吸音材料的声学特性；对于2.25MHz、4.5MHz、9MHZ三种不同超声导波，电磁铁A和电磁铁B动作流程按以下规则执行：
(a)对于2.25MHz的超声导波，电磁铁A和电磁铁B处于原始位置，都不压缩柔性吸音材料，2.25MHz的超声导波可通过三层吸音材料和两层柔性吸音材料进行衰减，减少边界反射波的干扰。
(b)对于4.5MHz的超声导波，电磁铁A处于原始位置，不压缩柔性吸音材料，但电磁铁B向右侧运动处于，压缩柔性吸音材料，4.5MHz的超声导波可通过两层吸音材料和一层柔性吸音材料进行衰减，减少边界反射波的干扰。
(c)对于9MHz的超声导波，电磁铁A和电磁铁B都向右侧运动，都压缩柔性吸音材料，9MHz的超声导波可通过一层吸音材料进行衰减，减少边界反射波的干扰。
如附图8所示，进行3C透明构件检测时，超声导波通过耦合剂进入3C透明构件，如待检测的3C透明构件没有缺陷(表面和内部)，导波可一直传播到待检测的3C透明构件的底面。由于待检测的3C透明构件底面光滑且平行于探测面，基于超声反射原理，超声导波被底面反射而返回聚集超声探头，超声导波在待检测的3C透明构件材料中沿传播方向上的波动方程为：
pi(y,t)＝∑pi0ej(ωc-kx) (1)
式(1)中：Pi0为超声导波幅度；k为超声导波波数，且k＝w/c；ω为角频率；c为超声导波在3C透明构件材料里的传播速度。超声导波在探测面的界面反射波为：
prf(y,t)|y＝0＝∑prf0ejωt (2)
超声导波从底面反射回来的导波反射波为：
由于3C透明构件的缺陷阻抗与3C透明构件材料阻抗存在差异，超声导波遇到缺陷(在3C透明构件材料内部任意一点yi处)会有反射信号prd(y,t),
由(4)式可知，缺陷反射波比探测面反射波滞后yi/c，比底面反射波超前(yT-yi)/c。若以y＝yi为切面，则可以得到声波在材料中沿传播方向任意一点的入射波。聚集超声探头将返回的超声脉冲转变为电脉冲，经A/D转换后，将每一点所采集到的超声回波的特征量以灰度的形式表现出来，于是便得到扫描图像。
如附图9所示，多通道深度学习模块，采用卷积神经网络DSP芯片实现，在传入处理之前，由数据融合模块(4)对10通道(6通道超声、4通道光学)的检测图像，分割为128×128尺寸的图像组(10层，1通道对应1层)，超声检测图像和光学检测图像尺寸相同，分割时相同位置的图像归为一组；分割成组后的图像，按批(每批60副单张128×128尺寸的图像)输入多通道深度学习模块中。
进一步，对于128×128×10的融合图像，送入卷积网络中的A1卷积层，采用5×5窗口卷积操作后，生成124×124像素的120幅图像，再由模块中的A2池化层进行压缩处理，生成62×62像素的120幅图像，之后，进行第二次卷积操作，送入卷积网络中的A3卷积层，再次采用3×3窗口卷积操作后，生成60×60像素的240幅图像，再由卷积网络中的A4池化层进行压缩处理，生成30×30像素的240幅图像，之后，经过卷积网络的A5全连接层处理，输出4096维度的向量，进一步，经过卷积网络中的A6全连接层处理，输出128维度的向量，最后，再由卷积网络中的A7软回归层输出4维向量，表示待检测3C透明构件属于4类(正常、点状缺陷、划痕缺陷、裂纹缺陷)的概率密度分布，从而辨识待检3C透明构件是否存在缺陷，最终，再将检测结果通过工业以太网总线传输到运动控制模块，最后通过显示报警模块告知操作人员。
更进一步，多通道深度卷积神经网络的离线训练样本库可以增加样本数量。因而，检测的精度可随着样本数量的增加而有所提升；多通道深度卷积神经网络也可由用户在使用过程中进行训练更新，也可以选择由装置生产厂家定期更新。
需要说明的是，以上仅为本发明的优选实施例而已，并不用于限制本发明，尽管参照实施例对本发明进行了详细的说明，对于本领域的技术人员来说，其依然可以对前述实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换，但是凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.基于超声和光学双成像的透明构件缺陷检测装置，其特征在于，所述装置包括超声检测模块、光学检测模块、运动控制模块、数据融合模块、多通道深度学习模块和辅助机械手，超声检测模块、光学检测模块和辅助机械手通过以太网与运动控制模块通讯连接，数据融合模块、多通道深度学习模块和运动控制模块通过以太网两两通讯连接。
2.根据权利要求1所述的基于超声和光学双成像的透明构件缺陷检测装置，其特征在于，所述运动控制模块还通过总线与显示报警模块通讯连接。
3.根据权利要求2所述的基于超声和光学双成像的透明构件缺陷检测装置，其特征在于，所述超声检测模块包括可变频率超声发射器、聚焦超声探头、C扫工作台、超声检测微控制器和超声检测工作台，在超声检测工作台侧边设有X向电机和X向丝杆，X向丝杆与X向电机连接，X向丝杆上通过连接螺套装接有Y向板，该Y向板上设有Y向电机和Y向丝杆，Y向丝杆与Y向电机连接，C扫工作台通过螺母安装在Y向丝杆上，可变频率超声发射器和聚焦超声探头通过支撑杆与C扫工作台连接，X向丝杆末端设有X向定位回零传感器，Y向丝杆末端设有Y向定位回零传感器，X向电机、Y向电机、可变频率超声发射器、聚焦超声探头分别与超声检测微控制器通讯连接。
4.根据权利要求3所述的基于超声和光学双成像的透明构件缺陷检测装置，其特征在于，所述超声检测模块还包括吸音边框，该吸音边框设在超声检测工作台上用于围合住待检测3C透明构件。
5.根据权利要求4所述的基于超声和光学双成像的透明构件缺陷检测装置，其特征在于，所述光学检测模块包括光学检测工作台、LED线光源、可调角度反射凹镜、夹具、背景板、检测摄像机和光学检测微控制器，LED线光源、可调角度反射凹镜、夹具和背景板设置在光学检测工作台上，可调角度反射凹镜与步进电机连接，待检测3C透明构件放置在夹具上，光学检测工作台上设有立柱，检测摄像机通过支撑杆与立柱连接使得检测摄像机位于待检测3C透明构件上方，检测摄像机、LED线光源、步进电机分别与光学检测微控制器通讯连接。
6.根据权利要求5所述的基于超声和光学双成像的透明构件缺陷检测装置，其特征在于，所述LED线光源和可调角度反射凹镜分别设有两组，并且分别设在待检测3C透明构件两端的区域进行独立摄像获取照片。
7.一种基于超声和光学双成像的透明构件缺陷检测方法，包括以下步骤：
通过辅助机械手将待测3C透明构件输送到检测位置，利用超声检测模块和光学检测模块分别对待测3C透明构件进行超声成像和光学成像，将图像数据传送到运动控制模块；
运动控制模块将图像数据转发到数据融和模块进行预处理，再次由数据融合模块转发到多通道深度学习模块进行辨识，将识别结果再发送到运动控制模块，运动控制模块将检测数据发送到显示报警模块中。
8.根据权利要求7所述的基于超声和光学双成像的透明构件缺陷检测方法，其特征在于，所述方法在进行超声成像时，采用C扫描成像方法，通过配置2.25MHz、4.5MHz、9MHZ三种不同超声波频率来生成相应的超声图像，覆盖不同的种类缺陷，对检测的点按超声反射回来的信号强度大小生成255级灰度图像，通过归一化处理，强度最大的灰度为0对应黑色，强度最小的灰度为1对应白色。
9.根据权利要求8所述的基于超声和光学双成像的透明构件缺陷检测方法，其特征在于，所述通过数据融和模块对图像数据进行预处理，具体为：对超声检测模块的2.25MHz、4.5MHz、9MHZ三种不同超声导波频率下的超声图像两两进行布尔异或运算，并生成新的三张图像，共计六张超声检测图像；对光学检测模块检测时，对不同角度下得到的至少两张光学成像图像，通过图像融合方法形成新的单张光学图像，再分别调整3C透明构件两端的当照亮度并进行拍照，共计获取四张光学检测图像。
10.根据权利要求9所述的基于超声和光学双成像的透明构件缺陷检测方法，其特征在于，所述多通道深度学习模块，采用卷积神经网络DSP芯片实现，图像数据传入到该多通道深度学习模块之前，由数据融合模块对成像的六张超声检测图像和四张光学检测图像，分割为128×128尺寸的图像组，超声检测图像和光学检测图像尺寸相同，分割时相同位置的图像归为一组；分割成组后的图像，按批输入多通道深度学习模块中，每批图像为60副单张128×128尺寸的图像，进行两次卷积和池化操作后，再进行两次全连接的神经网络，输出到512维向量里，再通过软回归将512维向量输出为矢量，再将检测结果通过工业以太网总线传输到运动控制模块，最后通过显示报警模块提醒操作人员。
CN201811253234.1A 2018-10-25 2018-10-25 基于超声和光学双成像的透明构件缺陷检测装置及方法 Pending CN109115805A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201811253234.1A CN109115805A (zh) 2018-10-25 2018-10-25 基于超声和光学双成像的透明构件缺陷检测装置及方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201811253234.1A CN109115805A (zh) 2018-10-25 2018-10-25 基于超声和光学双成像的透明构件缺陷检测装置及方法

Publications (1)

Publication Number Publication Date
CN109115805A true CN109115805A (zh) 2019-01-01

Family

ID=64855367

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201811253234.1A Pending CN109115805A (zh) 2018-10-25 2018-10-25 基于超声和光学双成像的透明构件缺陷检测装置及方法

Country Status (1)

Country Link
CN (1) CN109115805A (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109934811A (zh) * 2019-03-08 2019-06-25 中国科学院光电技术研究所 一种基于深度学习的光学元件表面缺陷检测方法
CN110827256A (zh) * 2019-10-31 2020-02-21 广东华中科技大学工业技术研究院 透明构件缺陷的光学和热红外多级成像检测方法及装置
CN110954599A (zh) * 2019-12-23 2020-04-03 河南工业职业技术学院 一种机械零件缺陷检测方法及系统
CN112191544A (zh) * 2020-09-10 2021-01-08 沅陵县向华电子科技有限公司 一种基于机器视觉的电子元件检查方法

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN202177589U (zh) * 2011-05-20 2012-03-28 东莞市三姆森光电科技有限公司 Ito导电玻璃全自动光学检测系统
CN105092705A (zh) * 2015-08-28 2015-11-25 哈尔滨工业大学（威海） 一种钢轨缺陷的多模态信号检测方法及装置
CN107102065A (zh) * 2017-05-05 2017-08-29 常俊杰 一种多种耦合方式的超声波检测系统
WO2017207565A1 (en) * 2016-05-31 2017-12-07 Koninklijke Philips N.V. Image-based fusion of endoscopic image and ultrasound images
US20170370885A1 (en) * 2016-06-24 2017-12-28 Wyle Laboratories Inc. Micro-resolution ultrasonic nondestructive imaging method
US20180075594A1 (en) * 2016-09-14 2018-03-15 Kla-Tencor Corporation Convolutional Neural Network-based Mode Selection and Defect Classification for Image Fusion
CN107886500A (zh) * 2017-10-13 2018-04-06 北京邮电大学 一种基于机器视觉和机器学习的产品生产监控方法及系统
CN108520274A (zh) * 2018-03-27 2018-09-11 天津大学 基于图像处理及神经网络分类的高反光表面缺陷检测方法
CN209148563U (zh) * 2018-10-25 2019-07-23 广东华中科技大学工业技术研究院 一种双成像式透明构件缺陷检测装置

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN202177589U (zh) * 2011-05-20 2012-03-28 东莞市三姆森光电科技有限公司 Ito导电玻璃全自动光学检测系统
CN105092705A (zh) * 2015-08-28 2015-11-25 哈尔滨工业大学（威海） 一种钢轨缺陷的多模态信号检测方法及装置
WO2017207565A1 (en) * 2016-05-31 2017-12-07 Koninklijke Philips N.V. Image-based fusion of endoscopic image and ultrasound images
US20170370885A1 (en) * 2016-06-24 2017-12-28 Wyle Laboratories Inc. Micro-resolution ultrasonic nondestructive imaging method
US20180075594A1 (en) * 2016-09-14 2018-03-15 Kla-Tencor Corporation Convolutional Neural Network-based Mode Selection and Defect Classification for Image Fusion
CN107102065A (zh) * 2017-05-05 2017-08-29 常俊杰 一种多种耦合方式的超声波检测系统
CN107886500A (zh) * 2017-10-13 2018-04-06 北京邮电大学 一种基于机器视觉和机器学习的产品生产监控方法及系统
CN108520274A (zh) * 2018-03-27 2018-09-11 天津大学 基于图像处理及神经网络分类的高反光表面缺陷检测方法
CN209148563U (zh) * 2018-10-25 2019-07-23 广东华中科技大学工业技术研究院 一种双成像式透明构件缺陷检测装置

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109934811A (zh) * 2019-03-08 2019-06-25 中国科学院光电技术研究所 一种基于深度学习的光学元件表面缺陷检测方法
CN110827256A (zh) * 2019-10-31 2020-02-21 广东华中科技大学工业技术研究院 透明构件缺陷的光学和热红外多级成像检测方法及装置
CN110827256B (zh) * 2019-10-31 2022-04-26 广东华中科技大学工业技术研究院 透明构件缺陷的光学和热红外多级成像检测方法及装置
CN110954599A (zh) * 2019-12-23 2020-04-03 河南工业职业技术学院 一种机械零件缺陷检测方法及系统
CN112191544A (zh) * 2020-09-10 2021-01-08 沅陵县向华电子科技有限公司 一种基于机器视觉的电子元件检查方法

Similar Documents

Publication Publication Date Title
CN109115805A (zh) 基于超声和光学双成像的透明构件缺陷检测装置及方法
CN209148563U (zh) 一种双成像式透明构件缺陷检测装置
CN104792793B (zh) 光学缺陷检测方法和系统
CN103913468B (zh) 生产线上大尺寸lcd玻璃基板的多视觉缺陷检测设备及方法
US7508971B2 (en) Inspection system using coordinate measurement machine and associated method
CN211070921U (zh) 一种基于3d扫描法的仪表外观检测装置
CN110501347A (zh) 一种快速自动化光学检测系统及方法
CN110523657A (zh) 一种基于3d扫描法的仪表外观检测装置及其工作方法
JP2017129444A (ja) 超音波検査方法及び装置
CN109342561B (zh) 曲面焊件超声波检测装置及方法
CN107238955A (zh) 液晶模组屏检测系统
CN208155258U (zh) 一种手机外壳在线尺寸测量与表面缺陷检测系统
CN113607748B (zh) 透明或半透明物品的光学相干断层扫描检测系统和方法
CN209927731U (zh) 工件焊缝视觉识别设备
CN106705911A (zh) 一种热波成像膜层厚度检测系统及方法
CN104655646A (zh) 玻璃基板内部缺陷检查系统及所处高度位置的检查方法
CN206832700U (zh) 一种基于红外线测距传感器的缺陷检测装置
CN106018415A (zh) 基于显微视觉的微小零件质量检测系统
CN114354633B (zh) 一种陶瓷卫浴外观质量检测系统及检测方法
CN207779874U (zh) 一种面向有限空间基于机器视觉的不锈钢板在线检测装置
CN115770731A (zh) 一种基于激光视觉剔除不良工件的方法及系统
CN109632815A (zh) 表面缺陷在线检测系统及方法
CN116012285A (zh) 一种基于激光超声的bga焊点缺陷检测系统及检测方法
Lei et al. Automated vision inspection system for the size measurement of workpieces
CN109387460A (zh) 一种污染颗粒观察及测试装置及分析方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination