CN115290655A - 一种基于热流扩散跟踪的缺陷精准检测光热融合成像装置及方法 - Google Patents
一种基于热流扩散跟踪的缺陷精准检测光热融合成像装置及方法 Download PDFInfo
- Publication number
- CN115290655A CN115290655A CN202210823537.2A CN202210823537A CN115290655A CN 115290655 A CN115290655 A CN 115290655A CN 202210823537 A CN202210823537 A CN 202210823537A CN 115290655 A CN115290655 A CN 115290655A
- Authority
- CN
- China
- Prior art keywords
- laser
- thermal
- defect
- image
- bnc
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 230000007547 defect Effects 0.000 title claims abstract description 87
- 238000001514 detection method Methods 0.000 title claims abstract description 65
- 238000003384 imaging method Methods 0.000 title claims abstract description 60
- 230000003287 optical effect Effects 0.000 title claims abstract description 48
- 238000000034 method Methods 0.000 title claims abstract description 39
- 238000009792 diffusion process Methods 0.000 title claims abstract description 38
- 230000004927 fusion Effects 0.000 title claims abstract description 30
- 238000012360 testing method Methods 0.000 claims description 48
- 238000004891 communication Methods 0.000 claims description 16
- 239000004065 semiconductor Substances 0.000 claims description 12
- 230000008859 change Effects 0.000 claims description 9
- 230000004044 response Effects 0.000 claims description 9
- 239000013307 optical fiber Substances 0.000 claims description 5
- 230000005855 radiation Effects 0.000 claims description 5
- 238000001914 filtration Methods 0.000 claims description 4
- 230000010287 polarization Effects 0.000 claims description 4
- 230000011218 segmentation Effects 0.000 claims description 4
- 230000003068 static effect Effects 0.000 claims description 4
- 230000009466 transformation Effects 0.000 claims description 4
- 230000000007 visual effect Effects 0.000 claims description 4
- 238000001816 cooling Methods 0.000 claims description 3
- 239000000835 fiber Substances 0.000 claims description 3
- 230000001678 irradiating effect Effects 0.000 claims description 3
- 230000008569 process Effects 0.000 abstract description 8
- 230000000694 effects Effects 0.000 abstract description 7
- 239000002131 composite material Substances 0.000 abstract description 6
- 239000007769 metal material Substances 0.000 abstract description 4
- 238000005516 engineering process Methods 0.000 description 8
- 230000005284 excitation Effects 0.000 description 4
- 230000003321 amplification Effects 0.000 description 3
- 238000004422 calculation algorithm Methods 0.000 description 3
- 238000000605 extraction Methods 0.000 description 3
- 238000009659 non-destructive testing Methods 0.000 description 3
- 238000003199 nucleic acid amplification method Methods 0.000 description 3
- 238000011160 research Methods 0.000 description 3
- 238000003325 tomography Methods 0.000 description 3
- 239000000463 material Substances 0.000 description 2
- 238000005259 measurement Methods 0.000 description 2
- 238000004377 microelectronic Methods 0.000 description 2
- 239000002086 nanomaterial Substances 0.000 description 2
- 239000012720 thermal barrier coating Substances 0.000 description 2
- 229920000049 Carbon (fiber) Polymers 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000000903 blocking effect Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 239000004917 carbon fiber Substances 0.000 description 1
- 238000012512 characterization method Methods 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 230000002401 inhibitory effect Effects 0.000 description 1
- 239000002184 metal Substances 0.000 description 1
- VNWKTOKETHGBQD-UHFFFAOYSA-N methane Chemical compound C VNWKTOKETHGBQD-UHFFFAOYSA-N 0.000 description 1
- 239000012466 permeate Substances 0.000 description 1
- 239000002861 polymer material Substances 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 238000013441 quality evaluation Methods 0.000 description 1
- 238000004088 simulation Methods 0.000 description 1
- 230000007480 spreading Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
- G01N21/84—Systems specially adapted for particular applications
- G01N21/88—Investigating the presence of flaws or contamination
- G01N21/8851—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N25/00—Investigating or analyzing materials by the use of thermal means
- G01N25/72—Investigating presence of flaws
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0004—Industrial image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
- G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
- G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
- G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
- G01N21/84—Systems specially adapted for particular applications
- G01N21/88—Investigating the presence of flaws or contamination
- G01N21/8851—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
- G01N2021/8887—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges based on image processing techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10016—Video; Image sequence
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10048—Infrared image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20212—Image combination
- G06T2207/20221—Image fusion; Image merging
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Theoretical Computer Science (AREA)
- Biochemistry (AREA)
- Chemical & Material Sciences (AREA)
- Analytical Chemistry (AREA)
- Life Sciences & Earth Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Health & Medical Sciences (AREA)
- Immunology (AREA)
- Pathology (AREA)
- Quality & Reliability (AREA)
- Signal Processing (AREA)
- Multimedia (AREA)
- Investigating Or Analyzing Materials Using Thermal Means (AREA)
Abstract
本发明提出一种基于热流扩散跟踪的缺陷精准检测光热融合成像装置及方法。以解决目前红外热波成像检测过程中热流横向热扩散作用造成的缺陷检测精度低的问题,本发明提出基于热波时频特征的离散余弦‑卢卡斯卡纳德方法,该方法通过对热波特征的时频域变化过程的准确跟踪,并采用逆向重构的方法构建缺陷的平面平面尺寸。最终可以实现复合材料及金属材料等缺陷尺寸检测误差<2.5%。
Description
技术领域
本发明属于光热科学与探测技术、信号分析与特征提取、图像处理与识别技术领域,特别是涉及一种基于热流扩散跟踪的缺陷精准检测光热融合成像装置及方法。该成像装置与方法适用于航空航天、微电子及微纳结构等材料缺陷/损伤的精准无损检测与评价领域。
背景技术
红外热波成像检测技术作为一种新兴无损检测技术,具有非接触、直观、探测面积大等优势,适用于薄金属构件、复合材料构件以及高分子材料的无损检测与质量评价等方面。红外热波成像检测技术采用外部激励源对被检测试件进行主动热激励加载,热流由被检测试件表面向内部渗透,当被检测试件内部存在缺陷时,缺陷与被检测试件材料在其热物理参数上存在明显区别,进而加速或阻碍热流扩散过程。此时缺陷的阻碍作用通过热传导扩散到被检测试件表面,利用红外热像仪可以识别出被检测试件的红外辐射差异,进而实现缺陷的有效识别。热流的传播完全依靠被检测试件内部的温度梯度,由高温区域到低温区域扩散,存在对缺陷的放大检测效果,热流的横向热扩散必然导致缺陷被检测尺寸大于实际尺寸。虽然,热波成像检测方法利用热流的非均匀扩散检测手段可以实现对小尺度缺陷的放大检测,但是缺陷尺寸检测偏差大,因此,基于红外热波成像检测技术的缺陷精准检测面临较大挑战,如果在缺陷检测过程中对热流横向热扩散作用进行有效抑制成为实现缺陷精准检测的关键技术瓶颈。
在已有研究中,贵州大学魏嘉呈等提出了一种相似光流法(Likeness opticalflow,LOF)的方法,该方法可以在二维对应的热特征图像中来估计热流梯度扩散场,并利用该方法减少横向热扩散对检测精度的影响。通过仿真与试验证明了LOF方法对红外图像序列热流横向热扩撒效应起到了较好的抑制作用,同时该方法对于特定特征提取方法具有较好的特征增强效果,但是,在进行LOF迭代运算过程中,初始图像与终止图像选取并未制定严格准则,因此,在未知缺陷尺度时,获得的结果准确度无实在意义。哈尔滨工业大学王飞等对LOF方法进行优化,基于梯度变化的Horn-Schunk算法,在光流基本约束方程的基础上附加了全局平滑假设,实现了方程的完备性,通过特征提取算法提取缺陷特征,并经理论计算获取缺陷深度信息,将深度信息反馈到特征图像迭代模型中,最终实现缺陷对横向热扩散的有效抑制。但是由于Horn-Schunk算法应用的前提为图像缓慢运动(即热流扩散慢),因此,缺陷等效直径精度依然与实际缺陷直径存在较大偏差。哈尔滨商业大学卜迟武等(专利号:ZL201810891371.1)提出一种热障涂层结构脱粘缺陷脉冲飞秒激光激励红外热波检测装置与方法,在该专利中为实现热障涂层结构脱粘缺陷的精准测量,提出采用飞秒激光对试件进行主动热激励加载,缩短热流横向热扩散时间,实现缺陷尺寸的精准测量,但该方法也带来了缺陷检测信噪比低的问题,对于较小的脱粘缺陷无法识别。首都师范大学与北京维泰凯信新技术有限公司的冯立春等(专利号:ZL200510077750.X)提出一种红外热波检测层析图像的重建方法,在该专利中仅根据热流在深度方向扩散特性理论公式实现缺陷的三维重构,并未对热流的平面扩散放大作用进行考虑,因此,实现的层析成像为仅考虑深度方向的伪层析成像,获取的缺陷等效直径与实际直径偏差较大。综上,目前针对红外热波成像检测方法的研究主要集中在如何对缺陷进行三维定位,由于热流梯度扩散的特殊性,对于缺陷尺寸的精准量化表征存在较大挑战,进而导致在该方面的研究总体较少。
为了充分考虑热流梯度扩散特性进而对缺陷尺寸进行准确量化表征,本发明涉及一种基于热流扩散跟踪的缺陷精准检测光热融合成像装置与方法,该发明涉及热波干涉与衍射特性、信号分析与特征提取、光热特征融合、特征图像变化追踪及缺陷识别量化与表征等多方面内容,能够有效抑制热流横向热扩散导致的缺陷检测精度差的问题,实现针对金属材料以及复合材料缺陷平面尺寸的有效识别。
发明内容
本发明目的是为了解决现有技术中的问题,提出了一种基于热流扩散跟踪的缺陷精准检测光热融合成像装置及方法。本发明适用于航空航天、微电子及微纳结构等领域复合材料、金属材料等无损检测方面。
本发明是通过以下技术方案实现的,本发明提出一种基于热流扩散跟踪的缺陷精准检测光热融合成像装置,所述成像装置包括红外热像仪、第一BNC控制线、第二BNC控制线、第一以太网线、传导光纤、风冷制冷器、半导体制冷器、激光器、控制线、激光器电源、第三BNC控制线、函数发生器、第一USB通讯线、第四BNC控制线、锁相放大器、第五BNC控制线、数据采集卡、第二以太网线、光学相机、计算机、第二USB通讯线、运动控制器、运动控制线、二维移动台、柱透镜、第一偏振片、工程漫射体、套筒、准直镜、夹具、试件和第二偏振片;
所述的计算机设有四个信号端,计算机的其中一个信号输入端通过第一以太网线与红外热像仪的信号输出端连接,计算机的第二个信号输入端通过第二以太网线与光学相机的信号输出端连接,计算机的第三个信号输出端通过第一USB通讯线与函数发生器输入端相连接,计算机的第四个信号输出端通过第二USB通讯线与运动控制器输入端连接,红外热像仪的其中一个信号输入端通过第一BNC控制线与函数发生器输出端连接,红外热像仪的第二信号输出端通过第二BNC控制线与数据采集卡输入端连接,风冷制冷器、半导体制冷器以及激光器通过螺栓机械连接,激光器输出端通过传导光纤与准直镜相连接,柱透镜、第一偏振片、工程漫射体、套筒和准直镜通过螺纹连接在套筒上,激光器电源的信号输出端通过控制线与激光器输入端相连接,激光器电源的信号输入端通过第三BNC控制线与函数发生器信号输出端相连接,函数发生器信号输出端通过第四BNC控制线与锁相放大器信号输入端相连接,数据采集卡输出端通过第五BNC控制线与锁相放大器信号输入端相连接,运动控制器输出端通过运动控制线与二维移动台信号输入端相连接,夹具通过螺纹连接固定于二维移动台之上,夹具用于装夹试件,第二偏振片通过螺纹连接与红外热像仪相连接。
本发明提出一种基于热流扩散跟踪的缺陷精准检测光热融合成像装置的成像方法,所述成像方法具体包括:
步骤一:明确待检测试件,将试件放置于二维移动台上;
步骤二:开启基于热流扩散跟踪的缺陷精准检测光热融合成像装置;
步骤三:开启激光器电源若干分钟后,激光器、风冷制冷器以及半导体制冷器已将激光器温度控制于预设温度,此时打开激光器;
步骤四:开启红外热像仪和光学相机并对试验样件进行实时成像,并采用激光器照射试件,计算机控制运动控制器,进而调整二维移动台以确保激光束照射位置全部处于红外热像仪和光学相机视野;
步骤五:计算机控制函数发生器产生脉冲触发信号,该脉冲触发信号一路控制激光器产生固定功率的常脉冲激光,另一路控制红外热像仪按照固定频率采集试件热辐射图像,与此同时,计算机控制二维移动台及光学相机工作,其中二维移动台移动方向垂直于线激光方向,红外热像仪、激光器以及光学相机位置是相对静止的,试件随着二维移动台的某一方向匀速运动,线扫描激光作用于试场的位置固定,扫描完成后进行图像序列重构;
步骤六:重构后的图像序列等同于受到脉冲热源激励后的热图像响应,将重构的图像利用离散余弦变化获得其特征响应图像序列;
步骤七:经过离散余弦变换可以得到不同频率分量的特征图像序列,此时选取试件缺陷位置与无缺陷位置相位特征差异与不同频率对应关系曲线;
步骤八:基于两张特征图像,采用卢卡斯卡纳德方法获取图像沿x,y方向的运动速度vx,vy;
步骤九:获取最终的特征图像;
步骤十:将获取的特征图像与光学相机获取的图像进行配准融合,采用拟合方法获取原红外特征图像像素间隙之间的特征值;
步骤十一:基于获取的光热融合成像检测结果进行二值化阈值分割与连通域标记,实现缺陷的精准检测;
步骤十二:试验结束后,间隔5分钟后,关闭激光器电源、激光器、函数发生器、数据采集卡、锁相放大器、光学相机以及红外热像仪设备。
进一步地,在步骤二中,对计算机、激光器电源、数据采集卡、函数发生器和锁相放大器进行开启。
进一步地,在步骤三中,开启激光器电源2分钟,激光器温度控制于15℃。
进一步地,在步骤四中,激光器前端安置的偏振片与红外热像仪前的偏振片偏振方向一致,以此实现信号的有效滤波,激光器前端安置的工程漫射体将高斯光源转为均匀光,同时柱透镜将均匀光源转化为线激光光源。
进一步地,在步骤五中,取视场中线激光热源与其运动方向垂直的ΔPixel_x列像素,定义为用于重构的采集像素数,在扫描过程中ΔPixel_x列像素会跟随热源扫过被检测物体的表面并按照一定频率采集记录,要想使ΔPixel_x列像素能够记录到扫过的全部范围的热波信号,则需要满足下列关系式:
式中,v为二维移动台移动速度,PL为单个像素对应的实际物理位置,f为红外热像仪采集频率;
当线激光完全扫描完被检测试件后,利用如下公式进行图像序列重构,
式中,Tseqi为红外热像仪采集到的第i帧图像,Tseq1 1为重构后的第一张图像。
进一步地,在步骤六中,所述重构图像后的离散余弦变换具体为:
式中,Cu[Tseq(tn)]为重构图像后的离散余弦变换,a(u)为正交变换系数,N为重构图像帧数。
进一步地,在步骤七中,所述相位特征差异定义为,
DiPH=|PhNondefect{Cu[Tseq(tn)]}-PhDefect{Cu[Tseq(tn)]}| (4)
式中,DiPH为相位特征差异,PhNondefect为无缺陷位置相位特征均值,PhDefect为缺陷位置相位特征均值;选取DiPH峰值位置与1/2位置对应频率的相位特征图像分别为Ppeak与Ppeak/2。
进一步地,在步骤八中,获得两个方向的变化速率:
进一步地,所述最终获取的特征图像为:
Ph=Phpeak/2-Phpeak·vx-Phpeak·vy (6)。
本发明的有益效果为:
(1)本发明公开了基于热流扩散跟踪的缺陷精准检测光热融合成像方法,提出一种基于热波时频特征的离散余弦-卢卡斯卡纳德方法,该方法通过对热波特征的时频域变化过程的准确跟踪,并采用逆向重构的方法构建缺陷的平面尺寸。最终可以实现缺陷尺寸检测误差<2.5%。
(2)本发明提出了一种基于红外热像仪与单目光学相机多源多传感数据融合成像检测方法,将基于红外热波成像获取的特征图像与光学图像进行高精度融合,进而可以提高红外热波成像检测技术的缺陷检测分辨率,最终可以实现缺陷定位精度误差<0.1%。
(3)本发明公开了一种基于热流扩散跟踪的缺陷精准检测光热融合成像装置,采用锁相放大器实时监测热流调制信号与红外热像仪采集信号的实时同步,将同步延迟信息反馈给函数发生器实现信号的精准控制。
附图说明
图1是线激光扫描示意图;
图2是基于热流扩散跟踪的缺陷精准检测光热融合成像装置;
图3是检测结果示意图。
图中:1-红外热像仪、2-第一BNC控制线、3-第二BNC控制线、4-第一以太网线、5-传导光纤、6-风冷制冷器、7-半导体制冷器、8-激光器、9-控制线、10-激光器电源、11-第三BNC控制线、12-函数发生器、13-第一USB通讯线、14-第四BNC控制线、15-锁相放大器、16-第五BNC控制线、17-数据采集卡、18-第二以太网线、19-光学相机、20-计算机、21-第二USB通讯线、22-运动控制器、23-运动控制线、24-二维移动台、25-柱透镜、26-第一偏振片、27-工程漫射体、28-套筒、29-准直镜、30-夹具、31-试件、32-第二偏振片。
具体实施方式
下面将结合本发明实施例中的附图对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
本发明的目的是为了提出一种基于热流扩散跟踪的缺陷精准检测光热融合成像方法,以解决目前红外热波成像检测过程中热流横向热扩散作用造成的缺陷检测精度低的问题,本发明提出基于热波时频特征的离散余弦-卢卡斯卡纳德方法,该方法通过对热波特征的时频域变化过程的准确跟踪,并采用逆向重构的方法构建缺陷的平面平面尺寸。最终可以实现复合材料及金属材料等缺陷尺寸检测误差<2.5%。
本发明提出了基于红外热像仪与单目光学相机多源多传感融合成像检测方法,以解决目前单纯依靠红外热像仪进行检测过程中缺陷位置定位精度较低的问题。目前红外热像仪的像素普遍较低(一般常用的红外热像仪为640×512像素),而光学相机的分辨率一般较高,将基于红外热波成像获取的特征图像与光学图像进行高精度融合,进而可以提高红外热波成像检测技术的缺陷检测分辨率,最终可以实现复合材料及金属材料等缺陷定位精度误差<0.1%。
结合图1-图3,本发明提出一种基于热流扩散跟踪的缺陷精准检测光热融合成像装置,所述成像装置包括红外热像仪、第一BNC控制线、第二BNC控制线、第一以太网线、传导光纤、风冷制冷器、半导体制冷器、激光器、控制线、激光器电源、第三BNC控制线、函数发生器、第一USB通讯线、第四BNC控制线、锁相放大器、第五BNC控制线、数据采集卡、第二以太网线、光学相机、计算机、第二USB通讯线、运动控制器、运动控制线、二维移动台、柱透镜、第一偏振片、工程漫射体、套筒、准直镜、夹具、试件和第二偏振片;
所述的计算机设有四个信号端,计算机的其中一个信号输入端通过第一以太网线与红外热像仪的信号输出端连接,计算机的第二个信号输入端通过第二以太网线与光学相机的信号输出端连接,计算机的第三个信号输出端通过第一USB通讯线与函数发生器输入端相连接,计算机的第四个信号输出端通过第二USB通讯线与运动控制器输入端连接,红外热像仪的其中一个信号输入端通过第一BNC控制线与函数发生器输出端连接,红外热像仪的第二信号输出端通过第二BNC控制线与数据采集卡输入端连接,风冷制冷器、半导体制冷器以及激光器通过螺栓机械连接,激光器输出端通过传导光纤与准直镜相连接,柱透镜、第一偏振片、工程漫射体、套筒和准直镜通过螺纹连接在套筒上,激光器电源的信号输出端通过控制线与激光器输入端相连接,激光器电源的信号输入端通过第三BNC控制线与函数发生器信号输出端相连接,函数发生器信号输出端通过第四BNC控制线与锁相放大器信号输入端相连接,数据采集卡输出端通过第五BNC控制线与锁相放大器信号输入端相连接,运动控制器输出端通过运动控制线与二维移动台信号输入端相连接,夹具通过螺纹连接固定于二维移动台之上,夹具用于装夹试件,第二偏振片通过螺纹连接与红外热像仪相连接。
本发明提出一种基于热流扩散跟踪的缺陷精准检测光热融合成像装置的成像方法,所述成像方法具体包括:
步骤一:明确待检测试件,将试件放置于二维移动台上;
步骤二:开启基于热流扩散跟踪的缺陷精准检测光热融合成像装置;在步骤二中,对计算机、激光器电源、数据采集卡、函数发生器和锁相放大器进行开启。
步骤三:开启激光器电源若干分钟后,激光器、风冷制冷器以及半导体制冷器已将激光器温度控制于预设温度,此时打开激光器;在步骤三中,开启激光器电源2分钟,激光器温度控制于15℃。
步骤四:开启红外热像仪和光学相机并对试验样件进行实时成像,并采用激光器照射试件,计算机控制运动控制器,进而调整二维移动台以确保激光束照射位置全部处于红外热像仪和光学相机视野;在步骤四中,激光器前端安置的偏振片与红外热像仪前的偏振片偏振方向一致,以此实现信号的有效滤波,激光器前端安置的工程漫射体将高斯光源转为均匀光,同时柱透镜将均匀光源转化为线激光光源。
步骤五:计算机控制函数发生器产生脉冲触发信号,该脉冲触发信号一路控制激光器产生固定功率的常脉冲激光,另一路控制红外热像仪按照固定频率采集试件热辐射图像,与此同时,计算机控制二维移动台及光学相机工作,其中二维移动台移动方向垂直于线激光方向,红外热像仪、激光器以及光学相机位置是相对静止的,试件随着二维移动台的某一方向匀速运动,线扫描激光作用于试场的位置固定,如图1所示,扫描完成后进行图像序列重构;
在步骤五中,取视场中线激光热源与其运动方向垂直的ΔPixel_x列像素,定义为用于重构的采集像素数,在扫描过程中ΔPixel_x列像素会跟随热源扫过被检测物体的表面并按照一定频率采集记录,要想使ΔPixel_x列像素能够记录到扫过的全部范围的热波信号,则需要满足下列关系式:
式中,v为二维移动台移动(扫描)速度,PL为单个像素对应的实际物理位置,f为红外热像仪采集频率;
当线激光完全扫描完被检测试件后,利用如下公式进行图像序列重构,
式中,Tseqi为红外热像仪采集到的第i帧图像,Tseq1 1为重构后的第一张图像。
步骤六:重构后的图像序列等同于受到脉冲热源激励后的热图像响应,将重构的图像利用离散余弦变化获得其特征响应图像序列;
在步骤六中,所述重构图像后的离散余弦变换具体为:
式中,Cu[Tseq(tn)]为重构图像后的离散余弦变换,a(u)为正交变换系数,N为重构图像帧数。
步骤七:经过离散余弦变换可以得到不同频率分量的特征图像序列,此时选取试件缺陷位置与无缺陷位置相位特征差异与不同频率对应关系曲线;
在步骤七中,所述相位特征差异定义为,
DiPH=|PhNondefect{Cu[Tseq(tn)]}-PhDefect{Cu[Tseq(tn)]}| (4)
式中,DiPH为相位特征差异,PhNondefect为无缺陷位置相位特征均值,PhDefect为缺陷位置相位特征均值;选取DiPH峰值位置与1/2位置对应频率的相位特征图像分别为Ppeak与Ppeak/2。
步骤八:基于两张特征图像,采用卢卡斯卡纳德方法获取图像沿x,y方向的运动速度vx,vy;
在步骤八中,获得两个方向的变化速率:
步骤九:获取最终的特征图像;
所述最终获取的特征图像为:
Ph=Phpeak/2-Phpeak·vx-Phpeak·vy (6)。
步骤十:将获取的特征图像与光学相机获取的图像进行配准融合,采用拟合方法获取原红外特征图像像素间隙之间的特征值,实现像素扩容与图像分辨率的提高;
步骤十一:基于获取的光热融合成像检测结果进行二值化阈值分割与连通域标记,实现缺陷的精准检测;
步骤十二:试验结束后,间隔5分钟后,关闭激光器电源、激光器、函数发生器、数据采集卡、锁相放大器、光学相机以及红外热像仪设备。
实施例
本发明所述的计算机20设有四个信号端,计算机20的其中一个信号输入端通过第一以太网线4与红外热像仪1的信号输出端连接,计算机20的第二个信号输入端通过第二以太网线18与光学相机19的信号输出端连接,计算机20的第三个信号输出端通过第一USB通讯线13与函数发生器12输入端相连接,计算机20的第四个信号输出端通过第二USB通讯线21与运动控制器22输入端连接,红外热像仪1的其中一个信号输入端通过第一BNC控制线2与函数发生器12输出端连接,红外热像仪1的第二信号输出端通过第二BNC控制线3与数据采集卡17输入端连接,风冷制冷器6、半导体制冷器7以及激光器8通过螺栓机械连接,激光器8输出端通过传导光纤5与准直镜29相连接,柱透镜25、第一偏振片26、工程漫射体27、套筒28、准直镜29通过螺纹连接在套筒28上,激光器电源10的信号输出端通过控制线9与激光器8输入端相连接,激光器电源10的信号输入端通过第三BNC控制线11与函数发生器12信号输出端相连接,函数发生器12信号输出端通过第四BNC控制线14与锁相放大器15信号输入端相连接,数据采集卡17输出端通过第五BNC控制线16与锁相放大器15信号输入端相连接,运动控制器22输出端通过运动控制线23与二维移动台24信号输入端相连接,夹具30通过螺纹连接固定于二维移动台24之上,夹具30用于装夹试件31,第二偏振片32通过螺纹连接与红外热像仪1相连接。
根据图2所述的基于热流扩散跟踪的缺陷精准检测光热融合成像装置,本实施方式中红外热像仪1的型号为FLIR SC6520,响应波长为3.6~5.2μm,像素尺寸为320×256,最大帧频率为100Hz,光学相机像素为1920×1080像素,采用的试件31为预制平底孔模拟脱粘缺陷的碳纤维复合材料。
本发明提出一种基于热流扩散跟踪的缺陷精准检测光热融合成像装置的成像方法,所述成像方法具体包括:
步骤一:明确待检测试件31,将试件31放置于二维移动台上;
步骤二:开启基于热流扩散跟踪的缺陷精准检测光热融合成像装置,此步骤包括计算机20、激光器电源10、数据采集卡17、函数发生器12、锁相放大器15等设备的开启;
步骤三:开启激光器电源10约2分钟后,激光器风冷制冷器6以及半导体制冷器7已将激光器8温度控制于15℃,此时打开激光器8;
步骤四:开启红外热像仪1和光学相机19并对试验样件进行实时成像,并采用激光器8照射试件,计算机20控制运动控制器22,进而调整二维移动台24以确保激光束照射位置全部处于红外热像仪1和光学相机19视野,其中激光器前端安置的偏振片26与红外热像仪1前的偏振片32偏振方向一致,以此实现信号的有效滤波,激光器前端安置的工程漫射体27将高斯光源转为均匀光,同时柱透镜25将均匀光源转化为线激光光源。
步骤五:计算机20控制函数发生器12产生脉冲触发信号,该脉冲触发信号一路控制激光器8产生固定功率的常脉冲激光,另一路控制红外热像仪1按照固定频率采集试件31热辐射图像,与此同时,计算机20控制控制二维移动台24及光学相机19工作,其中二维移动台24移动方向垂直与线激光方向,红外热像仪1、激光器8以及光学相机19位置是相对静止的,试件31随着二维移动台24的某一方向匀速运动,线扫描激光作用于试场的位置固定。
取视场中线激光热源与其运动方向垂直的ΔPixel_x列像素,定义为用于重构的采集像素数,在扫描过程中ΔPixel_x列像素会跟随热源扫过被检测物体的表面并按照一定频率采集记录,要想使ΔPixel_x列像素能够记录到扫过的全部范围的热波信号,则需要满足下列关系式:
式中,v为二维移动台移动(扫描)速度,PL为单个像素对应的实际物理位置,f为红外热像仪采集频率。
当线激光完全扫描完被检测试件后,利用如下公式进行图像序列重构,
式中,Tseqi为红外热像仪1采集到的第i帧图像,Tseq1 1为重构后的第一张图像。
步骤六:重构后的图像序列等同于受到脉冲热源激励后的热图像响应,将重构的图像利用离散余弦变化获得其特征响应图像序列,
式中,Cu[Tseq(tn)]为重构图像后的离散余弦变换,a(u)为正交变换系数,N为重构图像帧数。
步骤七:经过离散余弦变换可以得到不同频率分量的特征图像序列,此时选取试件缺陷位置与无缺陷位置相位特征差异与不同频率对应关系曲线,其中相位特征差异定义为,
DiPH=|PhNondefect{Cu[Tseq(tn)]}-PhDefect{Cu[Tseq(tn)]}| (10)
式中,DiPH为相位特征差异,PhNondefect为无缺陷位置相位特征均值,PhDefect为缺陷位置相位特征均值。选取DiPH峰值位置与1/2位置对应频率的相位特征图像分别为Ppeak与Ppeak/2。
步骤八:基于两张特征图像,采用卢卡斯卡纳德方法获取图像沿x,y方向的运动速度vx,vy,其中,利用该方法可以描述两张特征图像的变换历程,进而获得两个方向的变化速率,
步骤九:最终获取的特征图像为,
Ph=Phpeak/2-Phpeak·vx-Phpeak·vy (12)
步骤十:将获取的特征图像与光学相机19获取的图像进行配准融合,采用拟合方法获取原红外特征图像像素间隙之间的特征值,实现像素扩容与图像分辨率的提高。
步骤十一:基于获取的光热融合成像检测结果进行二值化阈值分割与连通域标记,实现缺陷的精准检测。
步骤十二:试验结束后,间隔5分钟后,关闭激光器电源10、激光器8、函数发生器12、数据采集卡17、锁相放大器15、光学相机19以及红外热像仪1等设备。
对检测试件的检测结果如图3所示,其中针对三个模拟平底孔缺陷直径检测误差小于2%。
以上对本发明所提出的一种基于热流扩散跟踪的缺陷精准检测光热融合成像装置及方法进行了详细介绍,本文中应用了具体个例对本发明的原理及实施方式进行了阐述,以上实施例的说明只是用于帮助理解本发明的方法及其核心思想;同时,对于本领域的一般技术人员,依据本发明的思想,在具体实施方式及应用范围上均会有改变之处,综上所述,本说明书内容不应理解为对本发明的限制。
Claims (10)
1.一种基于热流扩散跟踪的缺陷精准检测光热融合成像装置,其特征在于,所述成像装置包括红外热像仪、第一BNC控制线、第二BNC控制线、第一以太网线、传导光纤、风冷制冷器、半导体制冷器、激光器、控制线、激光器电源、第三BNC控制线、函数发生器、第一USB通讯线、第四BNC控制线、锁相放大器、第五BNC控制线、数据采集卡、第二以太网线、光学相机、计算机、第二USB通讯线、运动控制器、运动控制线、二维移动台、柱透镜、第一偏振片、工程漫射体、套筒、准直镜、夹具、试件和第二偏振片;
所述的计算机设有四个信号端,计算机的其中一个信号输入端通过第一以太网线与红外热像仪的信号输出端连接,计算机的第二个信号输入端通过第二以太网线与光学相机的信号输出端连接,计算机的第三个信号输出端通过第一USB通讯线与函数发生器输入端相连接,计算机的第四个信号输出端通过第二USB通讯线与运动控制器输入端连接,红外热像仪的其中一个信号输入端通过第一BNC控制线与函数发生器输出端连接,红外热像仪的第二信号输出端通过第二BNC控制线与数据采集卡输入端连接,风冷制冷器、半导体制冷器以及激光器通过螺栓机械连接,激光器输出端通过传导光纤与准直镜相连接,柱透镜、第一偏振片、工程漫射体、套筒和准直镜通过螺纹连接在套筒上,激光器电源的信号输出端通过控制线与激光器输入端相连接,激光器电源的信号输入端通过第三BNC控制线与函数发生器信号输出端相连接,函数发生器信号输出端通过第四BNC控制线与锁相放大器信号输入端相连接,数据采集卡输出端通过第五BNC控制线与锁相放大器信号输入端相连接,运动控制器输出端通过运动控制线与二维移动台信号输入端相连接,夹具通过螺纹连接固定于二维移动台之上,夹具用于装夹试件,第二偏振片通过螺纹连接与红外热像仪相连接。
2.一种基于权利要求1所述的基于热流扩散跟踪的缺陷精准检测光热融合成像装置的成像方法,其特征在于,所述成像方法具体包括:
步骤一:明确待检测试件,将试件放置于二维移动台上;
步骤二:开启基于热流扩散跟踪的缺陷精准检测光热融合成像装置;
步骤三:开启激光器电源若干分钟后,激光器、风冷制冷器以及半导体制冷器已将激光器温度控制于预设温度,此时打开激光器;
步骤四:开启红外热像仪和光学相机并对试验样件进行实时成像,并采用激光器照射试件,计算机控制运动控制器,进而调整二维移动台以确保激光束照射位置全部处于红外热像仪和光学相机视野;
步骤五:计算机控制函数发生器产生脉冲触发信号,该脉冲触发信号一路控制激光器产生固定功率的常脉冲激光,另一路控制红外热像仪按照固定频率采集试件热辐射图像,与此同时,计算机控制二维移动台及光学相机工作,其中二维移动台移动方向垂直于线激光方向,红外热像仪、激光器以及光学相机位置是相对静止的,试件随着二维移动台的某一方向匀速运动,线扫描激光作用于试场的位置固定,扫描完成后进行图像序列重构;
步骤六:重构后的图像序列等同于受到脉冲热源激励后的热图像响应,将重构的图像利用离散余弦变化获得其特征响应图像序列;
步骤七:经过离散余弦变换可以得到不同频率分量的特征图像序列,此时选取试件缺陷位置与无缺陷位置相位特征差异与不同频率对应关系曲线;
步骤八:基于两张特征图像,采用卢卡斯卡纳德方法获取图像沿x,y方向的运动速度vx,vy;
步骤九:获取最终的特征图像;
步骤十:将获取的特征图像与光学相机获取的图像进行配准融合,采用拟合方法获取原红外特征图像像素间隙之间的特征值;
步骤十一:基于获取的光热融合成像检测结果进行二值化阈值分割与连通域标记,实现缺陷的精准检测;
步骤十二:试验结束后,间隔5分钟后,关闭激光器电源、激光器、函数发生器、数据采集卡、锁相放大器、光学相机以及红外热像仪设备。
3.根据权利要求2所述的成像方法,其特征在于,在步骤二中,对计算机、激光器电源、数据采集卡、函数发生器和锁相放大器进行开启。
4.根据权利要求2所述的成像方法,其特征在于,在步骤三中,开启激光器电源2分钟,激光器温度控制于15℃。
5.根据权利要求2所述的成像方法,其特征在于,在步骤四中,激光器前端安置的偏振片与红外热像仪前的偏振片偏振方向一致,以此实现信号的有效滤波,激光器前端安置的工程漫射体将高斯光源转为均匀光,同时柱透镜将均匀光源转化为线激光光源。
8.根据权利要求7所述的成像方法,其特征在于,在步骤七中,所述相位特征差异定义为,
DiPH=|PhNondefect{Cu[Tseq(tn)]}-PhDefect{Cu[Tseq(tn)]}| (4)
式中,DiPH为相位特征差异,PhNondefect为无缺陷位置相位特征均值,PhDefect为缺陷位置相位特征均值;选取DiPH峰值位置与1/2位置对应频率的相位特征图像分别为Ppeak与Ppeak/2。
10.根据权利要求9所述的成像方法,其特征在于,所述最终获取的特征图像为:
Ph=Phpeak/2-Phpeak·vx-Phpeak·vy (6)。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210823537.2A CN115290655B (zh) | 2022-07-13 | 2022-07-13 | 一种基于热流扩散跟踪的缺陷检测光热融合成像装置的成像方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210823537.2A CN115290655B (zh) | 2022-07-13 | 2022-07-13 | 一种基于热流扩散跟踪的缺陷检测光热融合成像装置的成像方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN115290655A true CN115290655A (zh) | 2022-11-04 |
CN115290655B CN115290655B (zh) | 2023-07-11 |
Family
ID=83821525
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202210823537.2A Active CN115290655B (zh) | 2022-07-13 | 2022-07-13 | 一种基于热流扩散跟踪的缺陷检测光热融合成像装置的成像方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN115290655B (zh) |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN117030733A (zh) * | 2023-07-07 | 2023-11-10 | 哈尔滨工业大学 | 一种基于fpga的多模激光激发宽光谱多源融合成像检测系统及方法 |
CN117388316A (zh) * | 2023-12-11 | 2024-01-12 | 瑞金市金联机械有限公司 | 一种铝膜气球机上的原材料缺陷检测及标记设备 |
CN117782327A (zh) * | 2023-08-01 | 2024-03-29 | 哈尔滨工业大学 | 直升机旋翼桨叶冲击损伤复合光激励皮尔森相关红外光热成像装置及其成像方法 |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103234953A (zh) * | 2013-04-16 | 2013-08-07 | 南京诺威尔光电系统有限公司 | 激光扫描热波层析成像系统与方法 |
CN106404835A (zh) * | 2016-09-13 | 2017-02-15 | 哈尔滨工业大学 | 一种红外相干热波成像系统及基于该系统的检测方法 |
CN106768367A (zh) * | 2017-02-20 | 2017-05-31 | 哈尔滨工业大学 | 一种三维红外热波成像检测系统与方法 |
CN106940332A (zh) * | 2017-03-31 | 2017-07-11 | 哈尔滨工业大学 | 一种基于相位编码调制方式的红外无损检测系统及方法 |
CN109613063A (zh) * | 2019-01-17 | 2019-04-12 | 四川大学 | 一种基于面阵脉冲激光激励检测热障涂层面的装置及方法 |
DE102019124344A1 (de) * | 2019-09-11 | 2021-03-11 | Edevis Gmbh | Verfahren und Vorrichtung für eine Überprüfung der inneren Beschaffenheit eines Prüfobjektes mittels eines aufgeprägten Wärmeflusses |
-
2022
- 2022-07-13 CN CN202210823537.2A patent/CN115290655B/zh active Active
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103234953A (zh) * | 2013-04-16 | 2013-08-07 | 南京诺威尔光电系统有限公司 | 激光扫描热波层析成像系统与方法 |
CN106404835A (zh) * | 2016-09-13 | 2017-02-15 | 哈尔滨工业大学 | 一种红外相干热波成像系统及基于该系统的检测方法 |
CN106768367A (zh) * | 2017-02-20 | 2017-05-31 | 哈尔滨工业大学 | 一种三维红外热波成像检测系统与方法 |
CN106940332A (zh) * | 2017-03-31 | 2017-07-11 | 哈尔滨工业大学 | 一种基于相位编码调制方式的红外无损检测系统及方法 |
CN109613063A (zh) * | 2019-01-17 | 2019-04-12 | 四川大学 | 一种基于面阵脉冲激光激励检测热障涂层面的装置及方法 |
DE102019124344A1 (de) * | 2019-09-11 | 2021-03-11 | Edevis Gmbh | Verfahren und Vorrichtung für eine Überprüfung der inneren Beschaffenheit eines Prüfobjektes mittels eines aufgeprägten Wärmeflusses |
Non-Patent Citations (1)
Title |
---|
王飞 等: "碳环氧蒙皮铝蜂窝夹心结构缺陷红外热波成像检测研究", 航天制造技术 * |
Cited By (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN117030733A (zh) * | 2023-07-07 | 2023-11-10 | 哈尔滨工业大学 | 一种基于fpga的多模激光激发宽光谱多源融合成像检测系统及方法 |
CN117782327A (zh) * | 2023-08-01 | 2024-03-29 | 哈尔滨工业大学 | 直升机旋翼桨叶冲击损伤复合光激励皮尔森相关红外光热成像装置及其成像方法 |
CN117782327B (zh) * | 2023-08-01 | 2024-08-13 | 哈尔滨工业大学 | 直升机旋翼桨叶冲击损伤复合光激励皮尔森相关红外光热成像方法 |
CN117388316A (zh) * | 2023-12-11 | 2024-01-12 | 瑞金市金联机械有限公司 | 一种铝膜气球机上的原材料缺陷检测及标记设备 |
CN117388316B (zh) * | 2023-12-11 | 2024-03-15 | 瑞金市金联机械有限公司 | 一种铝膜气球机上的原材料缺陷检测及标记设备 |
Also Published As
Publication number | Publication date |
---|---|
CN115290655B (zh) | 2023-07-11 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN115290655A (zh) | 一种基于热流扩散跟踪的缺陷精准检测光热融合成像装置及方法 | |
CN103926274B (zh) | 一种cfrp层板缺陷的红外热波雷达成像无损检测方法 | |
US7549789B2 (en) | Method and apparatus for thermographic nondestructive evaluation of an object | |
Lamaignère et al. | Parametric study of laser-induced surface damage density measurements: toward reproducibility | |
CN106768367A (zh) | 一种三维红外热波成像检测系统与方法 | |
Usamentiaga et al. | Automated dynamic inspection using active infrared thermography | |
CN115112636B (zh) | 一种基于相位控制阵列激光集束激励的光热三维特征重构系统和重构方法 | |
CN109164136B (zh) | 热电输运参数高通量测量系统及方法 | |
CN108519218A (zh) | 光学元件多波长激光损伤测试与分析系统 | |
CN109990985B (zh) | 一种品字型线列红外探测器调制传递函数测试方法 | |
CN107121395A (zh) | 一种光热共路干涉模块及其用于测量晶体缺陷的方法 | |
Peng et al. | Joint scanning electromagnetic thermography for industrial motor winding defect inspection and quantitative evaluation | |
CN113884538B (zh) | 大型风力机叶片内部微小缺陷的红外热像检测方法 | |
Daryabor et al. | Comparison of three thermographic post processing methods for the assessment of a repaired aluminum plate with composite patch | |
Giorleo et al. | Location and geometry of defects in composite laminates from infrared images | |
Wang et al. | Parameters impact analysis of CFRP defect detection system based on line laser scanning thermography | |
CN110596148A (zh) | 石英玻璃缺陷的非直观光学检测装置及方法 | |
CN114324390A (zh) | 一种基于连续激光源的集成电路失效定位系统及方法 | |
CN110987357B (zh) | 二维聚焦激光差分干涉仪及平板边界层密度脉动测量方法 | |
CN116228680B (zh) | 一种在役外场飞机蒙皮复合材料红外无损检测方法及系统 | |
CN117092142A (zh) | 一种空心涡轮叶片检测方法、系统及设备 | |
CN110057868A (zh) | 减背景差动式激光红外热成像无损检测系统及方法 | |
CN109900737A (zh) | 基于等效温度的光学元件弱吸收测试装置及方法 | |
Chan et al. | Nondestructive detection of defects in miniaturized multilayer ceramic capacitors using digital speckle correlation techniques | |
Loriot et al. | Snapshot imaging of postpulse transient molecular alignment revivals |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |