CN109060822B - 长脉冲红外无损检测序列图像处理方法与系统 - Google Patents

长脉冲红外无损检测序列图像处理方法与系统 Download PDF

Info

Publication number
CN109060822B
CN109060822B CN201810784258.3A CN201810784258A CN109060822B CN 109060822 B CN109060822 B CN 109060822B CN 201810784258 A CN201810784258 A CN 201810784258A CN 109060822 B CN109060822 B CN 109060822B
Authority
CN
China
Prior art keywords
image
phase
formula
infrared
pixel
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201810784258.3A
Other languages
English (en)
Other versions
CN109060822A (zh
Inventor
张东升
魏延杰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
University of Shanghai for Science and Technology
Original Assignee
University of Shanghai for Science and Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by University of Shanghai for Science and Technology filed Critical University of Shanghai for Science and Technology
Priority to CN201810784258.3A priority Critical patent/CN109060822B/zh
Publication of CN109060822A publication Critical patent/CN109060822A/zh
Application granted granted Critical
Publication of CN109060822B publication Critical patent/CN109060822B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/8851—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration by the use of more than one image, e.g. averaging, subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/8851—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
    • G01N2021/8887—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges based on image processing techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10048—Infrared image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20048—Transform domain processing
    • G06T2207/20056—Discrete and fast Fourier transform, [DFT, FFT]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging

Abstract

本发明公开了一种长脉冲红外无损检测序列图像处理方法与系统，该方法包括多项式拟合、快速傅里叶处理、像素点处理、灰度级数扩展、细节增强、数据转化、序列图处理、缺陷汇总等步骤。本发明的处理方法、装置及检测系统和方法，在复合材料无损检测与评估中十分高效，其成本仅为脉冲热加载装置的百分之一，且激励能量较高，适用于金属材料及复合材料中深度较大缺陷的检测；并且其采用普通的卤素红外灯作为光源，利用序列图像处理方法针对性的增强缺陷细节信息。本发明的图像处理方法和装置以及检测系统和方法具有经济、实用的特点。

Description

长脉冲红外无损检测序列图像处理方法与系统
技术领域
本发明属于缺陷检测技术领域，具体涉及长脉冲红外无损检测序列图像处理方法与系统，更确切地说是基于红外热成像的无损检测技术，包括序列红外图像的处理方法和装置，以及基于该装置的红外无损检测系统和方法。
背景技术
红外热成像无损检测技术是一种新型的无损检测技术，相较于传统无损检测技术(涡流、超声、X射线等)，其具有操作简单、检测效率高、单次检测面积大等优点。现已广泛应用于航空航天，工业设计，电力等领域，具有广阔的发展前景。
红外热成像无损检测技术主要包括脉冲热像法(PT，Pulse InfraredThermograph)和锁相热像法(LT,Lock-In Thermograph)两种，脉冲热像法使用大功率闪光灯对试样表面进行瞬时加热(一般持续2ms)，再用红外相机记录下试样表面的温度变化，观察不同区域的温度对比度便可以确定出缺陷位置。但脉冲热像法易受到加热不均，材料表面辐射率及试样几何形状的影响，导致所得图像对比度不明显，且能够检测到的缺陷深度较浅。锁相热像法则使用单一频率的热源对试样进行周期激励，再对采集到的红外序列图像进行后处理得到最终的相位结果。这种技术受到加热不均及材料表面的影响较小，但它需要对激励热源进行频率调制，设备较为复杂且不宜携带。
锁相热像法一次试验中只能使用固定的频率进行激励，这就要求当检测含有不同深度缺陷的试样时，要进行多次试验才能检测出所有缺陷，效率较低，不适用于实际的工业无损检测当中。而脉冲热像法所需的闪光灯激励设备为大功率闪光灯，其设备复杂、价格过于昂贵且不方便携带，限制了这种方法在无损检测领域，特别是非固定检测场地的无损检测领域中的应用。
发明内容
本发明的目的在于克服传统红外热像无损检测方法在实际检测环境中的局限性，提出一种新型的长脉冲的激励方式，并提供了与此系统相配套的新颖的序列红外图象处理方法和图像增强算法、基于该激励方式的装置，以及基于长脉冲激励的红外无损检测系统及缺陷检测方法。
为了达到上述目的，本发明所采用的方案是：
一种序列红外图像处理方法，其尤其适合与长脉冲激励的红外无损检测系统配套使用，以对长脉冲激励所得到的序列红外图像(亦称红外热图)进行处理而得到样本的缺陷信息；该方法包括以下步骤：
1、将序列红外图像中像素点的时间-热辐射信号转化至对数域上并使用最小二乘法的对数域进行多项式拟合，所述的序列红外图像可以是由红外热像仪采集得到的，而拟合所使用的多项式最高次幂可以根据实际情况来自由选择；一般来说，多项式的最高次幂为4～7最佳。转化的方法是分别对时间t及其对应的温度信号T(t)取自然对数，得到In(t)和In(T(t))，然后再按上述方法进行拟合。
2、将拟合后的数据再恢复至时间域上并进行快速傅里叶处理，以计算出频率域上的相位信号或幅值信号；恢复是对上一步拟合后的In(T(t))取自然指数来完成的。由于相位信号相比较于幅值信号更能凸显出缺陷特征，故多采用相位信号进行后续处理(亦称为相位分析)。
3、对红外热图中每个像素点重复步骤1～2，直至得到完整的相位序列图O(或幅值序列图O)。也就是说，步骤1、2是针对序列红外图像中的每个像素点(i,j)进行的处理，需要依据序列图像中像素点的个数对每个像素点(i,j)重复上述的处理操作，从而得到包含更多缺陷信息的红外相位序列图像。
4、再将相位图像O(或幅值图像O)扩展至更加精确灰度级数得到灰度相位图像O'，以便进行之后的图像增强处理，扩展可以是采用基于最大与最小像素值的线性灰度扩展；该扩展方法对于幅值和相位序列图均可以适用，但相位序列图受到的光照不均匀的影响因素较小，故能凸显出更多的缺陷信息，所以一般扩展相位序列图像。后续步骤中，以相位图像扩展为例进行说明，但这并不意味着只能进行相位图像扩展。
5、利用红外缺陷增强算法对上述步骤扩展后得到的相位图像O'进行细节增强，划分图像O'为细节层D与背景层B，针对性地增强图像细节信息，再将细节与背景融合形成新的相位图像O”；从而获得高质量的相位数据，清晰显示缺陷形状及位置，便于缺陷尺寸的定量计算。划分时可依据导向滤波的方法将图像划分为细节层与背景层，而针对性增强图像信息具体是指使用掩模图像对细节增进行乘法运算，以消除细节层噪声和突出细节信息；融合图像O”由增强后的细节层图像与背景层图像加权相加得到。
6、利用自适应伽马变换将增强后的相位图像O”转化为可在设备上显示的优选为8位数据信号的图像格式E。
7、对所有序列图像重复步骤5～6，得到图像增强后的序列图像E1、E2……、EN；由于步骤5、6是针对单个序列图像的处理，为得到最终预期的结果，因此需要依据序列图像的数量相应地重复步骤5、6以对每个序列图像均进行相应地处理。
8、针对不同深度的缺陷出现的最佳时刻不在同一张图像上这一问题，可以利用序列图中缺陷处与无缺陷处信号的差异，对缺陷信息进行汇总处理，从而可以得到一幅可以清晰的显示所有缺陷信息的图像；这是因为根据热传导理论，热波遇到缺陷时就会有一部分热能返回物体表面，从而在试样表面形成温度梯度分布，从而可以利用这种梯度差异来判别和定位缺陷。汇总处理是指选取前T张序列图像进行处理(T为设定的阈值)，确定每个像素点在这T张图像中的最小值，并把这个最小值确定为最终图像在此像素点的灰度值，对像素点进行重复处理，以确定最终的红外图像E'。
以上是本发明的序列红外图像处理方法的一般性方法，作为优选方式，其可以包括以下改进内容中的至少一个：
优选地，在步骤5的处理中，本发明利用红外缺陷增强算法将相位图像O'划分为细节层D与背景层B，低频的背景层B是具有缺陷边缘信息的平滑图像，高频的细节层D是由增强后的红外相位图像O'与背景层B相减得到，包含原始图像中尺寸较小的缺陷等细节信息。
具体来说，背景层B和细节层D分别按公式6、7求出，即细节层D和背景层B的划分是按公式6、7进行的：
Figure GDA0002662293070000031
Figure GDA0002662293070000032
其中，i和k是像素索引，Bi和Di分别为背景层图像与细节层图像位于i处的像素值，每个中心为k的窗口wk有其自己的线性函数系数ak和bk。
因为像素i会被多个中心位于k的窗口所包含，所以
Figure GDA0002662293070000033
和
Figure GDA0002662293070000034
是包含像素i的所有窗口的线性函数系数a,b的平均值，可以通过公式(8)和(9)可求出平均系数
Figure GDA0002662293070000035
和
Figure GDA0002662293070000036
Figure GDA0002662293070000037
Figure GDA0002662293070000038
式中，ak是当窗口中心位于k时的系数矩阵，
Figure GDA0002662293070000039
是红外相位图像O'在窗口wk中的平均值，|w|是窗口wk中像素的数量，σk是O'在窗口wk中的标准差。
利用
Figure GDA00026622930700000310
作为掩模与细节层图像D相乘，并引入一个增强系数λ，进而实现对D的细节增强，增强之后的图像标记为D'，再将D'与背景层B相加得到细节增强处理之后的相位图像O”，增强过程如公式(10)和(11)所示，
Figure GDA0002662293070000041
O”＝D'+B (11)
从而将细节层与背景层融合形成新的相位图像O”(i,j)。
优选地，在上述的步骤1的处理中，由于红外相机采集得到的红外热辐射原始数据噪声很大，所以要对原始热数据进行降噪重构，将采集到的每个序列红外热图中每一个像素点的温度-时间离散点信号用N阶对数多项式拟合成平滑曲线；N阶对数多项式拟合的基本形式如公式(1)所示：
In(T)＝a0+a1In(t)+a2In2(t)+……+aNInN(t) (1)
其保留了原始热辐射信号的特征，当N较小即进行低阶对数拟合时，可以看做一种低通滤波器来使用，将上式从对数域转化到时间域之后，可以得到公式(2)形式的重构热辐射信号，这里每个像素点在计算机中仅用数组记录下a0,a1,a2.......aN这N+1个系数便能得出冷却时的温度曲线，缩减了计算量，提高计算效率。
Figure GDA0002662293070000042
采用公式(1)拟合处理后，在大多数情况下得到的重建信号非常适合作为之后序列图像处理的输入数据来使用。
优选地，在上述的步骤2的处理中，为将重构之后的热辐射信号进行相位分析，即对每一个像素点的热辐射-时间拟合信号进行快速傅里叶变换(FFT)，相当于将一个三维矩阵(x,y轴代表像素坐标轴，z轴为时间轴)经过傅里叶变换由时域上的热辐射信号转换为频域上的相位信号或幅值信号，相位信号相比较于幅值信号更能凸显出缺陷特征，因为相位信号数据受到环境反射光照、试样表面辐射率变化、试样几何形状不规则、加热不均匀等因素的影响十分小，可以忽略不计，为此推荐采用相位信号进行快速傅里叶处理。相位处理时所使用的快速傅里叶变换表达式如公式(3)所示：
Figure GDA0002662293070000043
式中，T(k)为第k帧上像素点(x,y)处的温度值，n为频率离散后的序号，j为虚数单位，Rn、In对应于变换后复数的实部和虚部。
Figure GDA0002662293070000044
再按上述的公式(4)计算频率序号为n处的相位φn。
优选地，在步骤4的处理中，将步骤3所得到的相位图像通过公式(5)进行灰度级扩展，使得图像精度更高，动态灰度范围更大，
Figure GDA0002662293070000051
式中，i,j分别为像素点的横纵坐标，O(i,j)是步骤3所得到的相位图像O于像素点(i,j)处的像素值，Omax和Omin分别是相位图像中最大和最小的数据值，M是将要扩展到的灰度级位数；从而最终得到扩展后的由各个像素值O'(i,j)组成的相位图像O'的矩阵。
优选地，在上述的步骤6的处理中，利用局部自适应伽马变换将相位图像O”量化可以显示在设备上灰度图像，以进一步的增强图像和扩展有效灰度值，把公式(6)求出的背景层B设置为缓和背景，按照公式(12)计算伽马校正中的γ于像素点(i,j)处的值γ(i,j)：
Figure GDA0002662293070000052
式中，M是本步骤中扩展的灰度级数，再将相位图像O”进行均值-标准差的归一化处理，归一之后的图像矩阵记为O”'，使其位于0至1之间，处理过程如公式(13)所示：
Figure GDA0002662293070000053
其中，Vmax和Vmin分别为：
Figure GDA0002662293070000054
公式(14)中，i,j为像素点的横纵坐标，νmax和νmin分别为归一化计算的上下限，mean_I和dev_I分别是红外相位图像O”的均值和标准差。
最后通过公式(15)将归一化的O”'量化为可以在设备上显示的数据E(i,j)，E(i,j)优选为可在设备上显示的8位数据信号；E(i,j)的处理如公式(15)所示，
E(i,j)＝255·O″′(i,j)γ(i,j) (15)
优选地，在上述的步骤8的处理中，由于不同深度的缺陷会存在出现的最佳时刻不在同一张图像上的问题，为了更好地观察缺陷位置，选取前T张序列图像进行处理(T为用户设定的阈值)，确定每个像素点在这T张图像中的最小值，并把这个最小值确定为最终图像在此像素点的灰度值，并对像素点按公式(16)对前T张序列图像进行处理，确定最终的红外图像E'中像素点(i,j)的灰度值大小，得到最终图像E'：
E′(i,j)＝min(E1(i,j),E2(i,j)....Ek(i,j)..,ET(i,j)) k∈(1,T) (16)
对处理后的最终结果进行缺陷判读，根据平面标定结果测量缺陷实际尺寸及位置。
一种序列红外图像处理装置，其包括以下模块：
多项式拟合模块，用于将序列红外图像中每个像素点的时间-热辐射信号转化至对数域上并使用最小二乘法的对数域进行多项式拟合，所述的序列红外图像可以是由红外热像仪采集得到的，而拟合所使用的多项式最高次幂可以根据实际情况来自由选择；一般来说，多项式的最高次幂为4～7最佳。转化的方法是分别对时间t及其对应的温度信号T(t)取自然对数，得到In(t)和In(T(t))，然后再用最小二乘法的对数域进行多项式拟合。
快速傅里叶处理模块，用于将拟合后的数据再恢复至时间域上并进行快速傅里叶处理，以计算出频率域上的相位信号或幅值信号；恢复是对上一步拟合后的In(T(t))取自然指数来完成的。由于相位信号相比较于幅值信号更能凸显出缺陷特征，故多采用相位信号进行后续处理。
像素点处理模块，用于对红外热图O(即每个序列图像O)中每个像素点重复调用多项式拟合模块和快速傅里叶处理模块进行处理，直至得到完整的相位序列图O(或幅值序列图O)。也就是说，多项式拟合模块和快速傅里叶处理模块是针对序列红外图像中的每个像素点进行的处理，需要依据序列图像中像素点的个数对每个像素点分别调用上述模块进行重复的处理操作，从而得到包含更多缺陷信息的红外相位序列图像。
灰度级数扩展模块，用于将相位图像O(或幅值图像O)扩展至更加精确灰度级数得到灰度相位图像O'，以便进行之后的图像增强处理；扩展可以是采用基于最大与最小像素值的线性灰度扩展。该扩展方法对于幅值和相位序列图均可以适用，但相位序列图受到的光照不均匀的影响因素较小，故能凸显出更多的缺陷信息，所以一般扩展相位序列图像O。后续以相位图像扩展为例进行说明，但这并不意味着只能进行相位图像扩展。
细节增强模块，用于利用红外缺陷增强算法对上述步骤扩展后得到的相位图像O'进行细节增强，划分图像O'为细节层D与背景层B，针对性地增强图像细节信息，再将细节与背景融合形成新的相位图像O”，从而获得高质量的相位数据，清晰显示缺陷形状及位置，便于缺陷尺寸的定量计算。划分时可依据导向滤波的方法将图像划分为细节层与背景层，而针对性增强图像信息具体是指使用掩模图像对细节增进行乘法运算，以消除细节层噪声和突出细节信息；融合图像O”由增强后的细节层图像与背景层图像加权相加而得到。
转化模块，用于利用自适应伽马变换将增强后的相位图像O”转化为可在设备上显示的优选为8位数据信号的图像格式E。
序列图处理模块，用于对所有序列图像重复调用细节增加模块和转化模块进行处理，得到图像增强后的序列图像E1、E2……、EN；细节增加模块和转化模块是针对每个序列图像的处理模块，由于该图像处理方法包括若干个序列图像，为得到最终预期的结果，因此需要依据序列图像的数量相应地重复调用细节增加模块和转化模块以对每个序列图像均进行相应地处理。
缺陷汇总模块，用于针对不同深度的缺陷出现的最佳时刻不在同一张图像上这一问题，可以利用序列图中缺陷处与无缺陷处信号的差异，对缺陷信息进行汇总处理，从而可以得到一幅可以清晰的显示所有缺陷信息的图像；这是因为根据热传导理论，热波遇到缺陷时就会有一部分热能返回物体表面，从而在试样表面形成温度梯度分布，从而可以利用这种梯度差异来判别和定位缺陷。汇总处理是指选取前T张序列图像进行处理(T为设定的阈值)，确定每个像素点在这T张图像中的最小值，并把这个最小值确定为最终图像在此像素点的灰度值，对像素点进行重复处理，以确定最终的红外图像E'，E'是可以清晰的显示所有缺陷信息的图像。
以上是本发明的图像处理装置的一般性组成，作为优选方式，其还可以包括以下改进：
进一步地，在上述的多项式拟合模块中，由于红外相机采集得到的红外热辐射原始数据噪声很大，所以要对原始热数据进行降噪重构；多项式拟合模块用于将采集到的每一个像素点的温度-时间离散点信号用N阶对数多项式拟合成平滑曲线；N阶对数多项式拟合的基本形式如公式(1)所示：
In(T)＝a0+a1In(t)+a2In2(t)+……+aNInN(t) (1)
其保留了原始热辐射信号的特征，当N较小即进行低阶对数拟合时，可以看做一种低通滤波器来使用，将上式从对数域转化到时间域之后，可以得到公式(2)形式的重构热辐射信号，这里每个像素点在计算机中仅用数组记录下a0,a1,a2……aN这N+1个系数便能得出冷却时的温度曲线，缩减了计算量，提高计算效率。
Figure GDA0002662293070000071
采用公式(1)拟合处理后，在大多数情况下得到的重建信号非常适合作为之后序列图像处理的输入数据来使用。
优选地，在上述的快速傅里叶处理模块中，为将重构之后的热辐射信号进行相位分析，即对每一个像素点的热辐射-时间拟合信号进行快速傅里叶变换(FFT)，相当于将一个三维矩阵(x,y轴代表像素坐标轴，z轴为时间轴)经过傅里叶变换由时域上的热辐射信号转换为频域上的相位信号或幅值信号，而相位信号相比较于幅值信号更能凸显出缺陷特征，因为相位信号数据受到环境反射光照、试样表面辐射率变化、试样几何形状不规则、加热不均匀等因素的影响十分小，可以忽略不计，为此推荐采用相位信号进行快速傅里叶处理。快速傅里叶处理模块使用的快速傅里叶变换表达式如公式(3)所示：
Figure GDA0002662293070000081
式中，T(k)为第k帧上像素点(x,y)处的温度值，n为频率离散后的序号，j为虚数单位，Rn、In对应于变换后复数的实部和虚部。
Figure GDA0002662293070000082
再按上述的公式(4)计算频率序号为n处的相位φn。
优选地，灰度级数扩展模块，还用于将像素点处理模块所得到的相位图像通过公式(5)进行灰度级扩展，使得图像精度更高，动态灰度范围更大，式中i,j分别为像素点的横纵坐标，O(i,j)是像素点处理模块所得到的相位图像O于像素点(i,j)处的像素值，Omax和Omin分别是相位图像中最大和最小的数据值。M是将要扩展到的灰度级位数，从而最终得到扩展后的由各个像素值O'(i,j)组成的相位图像O'的矩阵。
Figure GDA0002662293070000083
优选地，细节增强模块，还用于利用红外缺陷增强算法将相位图像O'划分为细节层D与背景层B，低频的背景层B是具有缺陷边缘信息的平滑图像，高频的细节层D是由增强后的红外相位图像O'与背景层B相减得到，包含原始图像中尺寸较小的缺陷等细节信息。背景层B和细节层D分别按公式6、7求出，即细节层D和背景层B的划分是按公式6、7进行的：
Figure GDA0002662293070000084
Figure GDA0002662293070000085
其中，i和k是像素索引，Bi和Di分别为背景层图像与细节层图像位于i处的像素值，每个中心为k的窗口wk有其自己的线性函数系数ak和bk。
因为像素i会被多个中心位于k的窗口所包含，所以
Figure GDA0002662293070000086
和
Figure GDA0002662293070000087
是包含像素i的所有窗口的线性函数系数a,b的平均值，可以通过公式(8)和(9)可求出平均系数
Figure GDA0002662293070000088
和
Figure GDA0002662293070000089
Figure GDA0002662293070000091
Figure GDA0002662293070000092
式中，ak是当窗口中心位于k时的系数矩阵，
Figure GDA0002662293070000093
是红外相位图像O'在窗口wk中的平均值，|w|是窗口wk中像素的数量，σk是O'在窗口wk中的标准差。
利用
Figure GDA0002662293070000097
作为掩模与细节层图像D相乘，并引入一个增强系数λ，进而实现对D的细节增强，增强之后的图像标记为D'，再将D'与背景层B相加得到细节增强处理之后的相位图像O”，增强过程如公式(10)和(11)所示，从而将细节层与背景层融合形成新的相位图像O'(i,j)。
Figure GDA0002662293070000094
O”＝D'+B (11)
优选地，转化模块，还用于利用局部自适应伽马变换将相位图像O”量化可以显示在设备上灰度图像，以进一步的增强图像和扩展有效灰度值，把公式(6)求出的背景层B设置为缓和背景，按照公式(12)计算伽马校正中的γ于像素点(i,j)处的值γ(i,j)：
Figure GDA0002662293070000095
式中，M是本步骤中扩展的灰度级数，再将相位图像O”进行均值-标准差的归一化处理，归一之后的图像矩阵记为O”'，使其位于0至1之间，处理过程如公式(13)所示：
Figure GDA0002662293070000096
其中，νmax和νmin分别为：
Figure GDA0002662293070000098
公式(14)中，i,j为像素点的横纵坐标，νmax和νmin分别为归一化计算的上下限，mean_I和dev_I分别是红外相位图像O”的均值和标准差。
最后通过公式(15)将归一化的O”'量化为可以在设备上显示的数据，即：
E(i,j)＝255·O″′(i,j)γ(i,j) (15)
优选地，序列图处理模块，还用于对所有序列相位图像重复调用细节增强模块和转化模块进行处理，从而得到图像增强后的序列图像E1、E2……、EN。由于细节增强模块和转化模块是针对单个序列图像的处理模块，为得到最终预期的结果，需要重复调用细节增强模块和转化模块，分别对每个序列图片进行相应的处理。
优选地，缺陷汇总模块，由于不同深度的缺陷会存在出现的最佳时刻不在同一张图像上的问题，为了更好地观察缺陷位置，缺陷汇总模块还用于按公式(16)对前T张序列图像进行处理，确定最终的红外图像E'中像素点(i,j)的灰度值大小：
E′(i,j)＝min(E1(i,j),E2(i,j)....Ek(i,j)..,ET(i,j)) k∈(1,T) (16)
对处理后的最终结果(即最终的红外图像E')进行缺陷判读，根据平面标定结果测量缺陷实际尺寸及位置。
一种长脉冲红外无损检测序列图像处理系统，其尤其适用于长脉冲激励的缺陷红外无损检测，是一种红外无损检测系统；该系统包括热加载激励装置、红外热像仪和图像处理系统；所述热加载激励装置为长脉冲热加载激励装置，其可放置于距试样表面0.5m以内的位置、平行于试件表面，并且对称地放置在试件水平线中心两侧，以此保证能够对试样表面进行均匀充分的连续热加载；红外热成像仪是该检测系统的核心部件，其可以根据检测面积的大小放置于距试样表面1m～1.5m的位置进行序列采图，将所采集的试样表面温度分布序列图像传输至图像处理系统中；图像处理系统包括上述的图像处理装置以及支撑该装置运行的必要硬件和软件，例如个人计算机、单片机或是服务器等。
图像处理系统具有图像采集控制和图像处理这两大功能，对于前者，其可以控制热加载激励装置和红外热像仪的工作参数，即，设定热加载激励装置的激励时间、红外热像仪采集图像的数量和采集频率；图像处理则主要依赖于自行开发的图像处理软件(即上述的图像处理装置)对红外温度序列图像进行分析与数据处理；最后对灰度图中的温度异常区域进行缺陷判读与定量计算。
优选地，所述的脉冲热加载激励装置可以采用两个功率为800W-1500W的卤素灯，其分别放置在红外相机两侧以保证对试样表面的均匀加热；可通过程序精准控制加热时间，实现长脉冲连续激励的加载方式。最佳地，卤素灯放置于灯罩当中，灯罩口加装一组百叶窗，当加载完毕之后立即关闭百叶窗避免残余的红外辐射对检测结果的影响。
优选地，所述的红外热像仪可以选用(InSb(锑化铟)焦平面探测器，其具有以下性能参数：
Figure GDA0002662293070000111
该探测器具有采集的图像清晰，检测灵敏度高、测温精确、可靠性好等优点，非常适合红外成像无损检测领域；当然，其他类型或型号的红外热像仪亦可适用于本发明的检测系统。
优选地，所述的图像处理系统包括个人计算机(PC)和安装于PC上的图像处理装置，PC基础软、硬件条件为：内存32GB，64位Windows 7操作系统，Intel奔腾八核处理器，图像处理装置为以Windows操作系统支持的语言编程的上述序列红外图像处理装置的软件。
一种长脉冲红外无损检测序列图像处理方法，其特别适用于金属材料及复合材料中深度较大缺陷的检测，是一种红外无损检测方法；该方法包括以下步骤：
步骤1：将红外热像仪放置于检测试样正前方，例如1m～1.5m处位置，调整焦距确保试样将要检测的试样表面清晰并全部处于红外热像仪视场中心。脉冲热加载激励装置的两个卤素灯分别放置于红外热像仪的两侧以保证对试样表面的均匀加热，例如热加载激励装置被设置于距试样表面0.5m以内的位置。
步骤2：打开红外热像仪，待其指示灯亮起后，表明冷却完成，可以将信号传输至计算机中。在自主研发的红外热图处理软件中设定好激励时间，采集图像数量和采集频率，打开灯罩上的百叶窗开始对试样表面进行激励。待激励完成后立即关闭百叶窗以防止残余的红外辐射对试样表面温度的影响。红外热图处理软件按照先前设定好的采集数量与频率开始采集试样表面冷却时的红外热图。红外热图处理软件是在上述的序列红外图像处理装置上扩展的，其除了具有序列红外图像处理装置的主要或全部功能外，还包括对于热加载激励装置或红外热像仪的控制，例如开关热加载激励装置或红外热像仪，设置热加载激励装置或红外热像仪的工作方式等。
步骤3：由红外相机采集得到的红外热辐射原始数据噪声很大，所以要对原始热数据进行降噪重构，将采集到的每一个像素点的温度-时间离散点信号用N阶对数多项式拟合成平滑曲线，大多数情况下得到的重建信号非常适合作为之后序列图像处理的输入数据来使用。N阶对数多项式拟合的基本形式如公式(1)所示：
In(T)＝a0+a1In(t)+a2In2(t)+……+aNInN(t) (1)
保留了原始热辐射信号的特征，当N较小即进行低阶对数拟合时，可以看做一种低通滤波器来使用，将上式从对数域转化到时间域之后，可以得到公式(2)形式的重构热辐射信号，这里每个像素点在计算机中仅用数组记录下a0,a1,a2……aN这N+1个系数便能得出冷却时的温度曲线，缩减了计算量，提高计算效率。
Figure GDA0002662293070000121
步骤4：将重构之后的热辐射信号进行相位分析，即对每一个像素点的热辐射-时间拟合信号进行快速傅里叶变换(FFT)，相当于将一个三维矩阵(x,y轴代表像素坐标轴，z轴为时间轴)经过傅里叶变换由时域上的热辐射信号转换为频域上的相位信号或幅值信号，相位信号相比较于幅值信号更能凸显出缺陷特征，因为相位信号数据受到环境反射光照、试样表面辐射率变化、试样几何形状不规则、加热不均匀等因素的影响十分小，可以忽略不计，相位分析模块使用的快速傅里叶变换表达式如公式(3)所示：
Figure GDA0002662293070000122
式中，T(k)为第k帧上像素点(x,y)处的温度值，n为频率离散后的序号，j为虚数单位，Rn、In对应于变换后复数的实部和虚部。再按公式(4)计算频率序号为n处的相位φn。
Figure GDA0002662293070000123
步骤5：将红外热图中每个像素点对应的热辐射信号重复步骤3～4，得到包含更多缺陷信息的红外相位序列图像O。
步骤6：将步骤5所得到的相位图像通过公式(5)进行灰度级扩展，使得图像精度更高，动态灰度范围更大，式中i,j分别为像素点的横纵坐标，O(i,j)是步骤5所得到的红外相位序列图像O于像素点(i,j)处的像素值，Omax和Omin分别是相位图像中最大和最小的数据值。M是将要扩展到的灰度级位数，最终得到扩展后的相位图像O'，O'是由各个像素值O'(i,j)组成矩阵。
Figure GDA0002662293070000131
步骤7：利用红外缺陷增强算法划分相位图像O'为细节层D与背景层B，低频的背景层B是具有缺陷边缘信息的平滑图像，高频的细节层D是由增强后的红外相位图像O'与背景层B相减得到，包含原始图像中尺寸较小的缺陷等细节信息。B和D由下面的表达式求出：
Figure GDA0002662293070000132
Figure GDA0002662293070000133
其中，i和k是像素索引，Bi和Di分别为背景层图像与细节层图像位于i处的像素值，每个中心为k的窗口wk有其自己的线性函数系数ak和bk。因为像素i会被多个中心位于k的窗口所包含，所以
Figure GDA0002662293070000134
和
Figure GDA0002662293070000135
是包含像素i的所有窗口的线性函数系数a,b的平均值，通过公式(8)和(9)可求出平均系数
Figure GDA0002662293070000136
和
Figure GDA0002662293070000137
Figure GDA0002662293070000138
Figure GDA0002662293070000139
式中ak是当窗口中心位于k时的系数矩阵，
Figure GDA00026622930700001310
是红外相位图像O'在窗口wk中的平均值，|w|是窗口wk中像素的数量，σk是O'在窗口wk中的标准差。
利用
Figure GDA00026622930700001311
作为掩模与细节层图像D相乘，并引入一个增强系数λ，进而实现对D的细节增强，增强之后的图像标记为D'，再将D'与背景层B相加得到细节增强处理之后的相位图像O”，增强过程如公式(10)和(11)所示：
Figure GDA00026622930700001312
O”＝D'+B (11)
步骤8：再利用局部自适应伽马变换将相位图像O”量化可以显示在设备上灰度图像，进一步的增强图像，扩展有效灰度值，把公式(6)求出的背景层B设置为缓和背景，按照公式(12)计算伽马校正中的γ于像素点(i,j)处的值γ(i,j)：
Figure GDA0002662293070000141
其中，M是本步骤中扩展的灰度级数，再将相位图像O”进行均值-标准差的归一化处理，归一之后的图像矩阵记为O”'，使其位于0至1之间，处理过程如公式(13)所示：
Figure GDA0002662293070000142
其中，νmax和νmin分别为：
Figure GDA0002662293070000143
公式(14)中i,j为像素点的横纵坐标，νmax和νmin分别为归一化计算的上下限，mean_I和dev_I分别是红外相位图像O”的均值和标准差。最后通过公式(15)将归一化的O”'量化为可以在设备上显示的数据：
E(i,j)＝255·O″′(i,j)γ(i,j) (15)
步骤9：对所有序列相位图像重复步骤7～8，得到图像增强后的序列图像E1、E2……、EN。
步骤10：但不同深度的缺陷出现的最佳时刻不在同一张图像上的问题，为了更好地观察缺陷位置，按公式(16)对前T张序列图像进行处理，确定最终的红外图像E'中像素点(i,j)的灰度值大小：
E′(i,j)＝min(E1(i,j),E2(i,j)....Ek(i,j)..,ET(i,j)) k∈(1,T) (16)
对处理后的最终结果进行缺陷判读，即可根据平面标定结果测量缺陷实际尺寸及位置。
本发明针对传统红外热像无损检测方法在实际检测环境中的局限性，设计出一种使用方便、经济的红外无损检测系统及相应的图像处理方法。该技术是一种非接触式的光学检测方法，适用于金属材料及复合材料中孔洞缺陷、分层脱粘缺陷的定性判断和数据定量测量。本发明的方法、装置和系统，具有成本显著降低、激励能量较高、适用于金属材料及复合材料中深度较大缺陷的检测等优点，是经济、实用的序列红外图像处理方法和装置及红外无损检测系统和方法。
本发明的检测成本较低，主要原因是使用长脉冲的热激励方式进行加载，传统瞬时脉冲加载方式所使用的激励装置为氙气灯阵列，成本一般要上万元，本发明的长脉冲激励装置采用卤素灯，成本一般在一千元左右，且灯具控制装置可以自行设计，自动化控制激励时间，方便进行热加载。测试一次(包含激励、采图、图像处理、缺陷分析等)所用时间一般维持在3-5分钟之间，检测效率较高，外出作业时激励装置与红外探测仪可放入专用的防震工具箱内，PC与三脚架自行携带，单人即可完成检测任务，这是现有技术所不具备的。
本发明系提出了一种经济、实用的红外无损检测系统和方法。采用普通卤素红外灯作为光源，利用序列图像处理方法针对性的增强缺陷细节信息。本发明提出的系统和方法在复合材料无损检测与评估中十分高效，其成本仅为脉冲热加载装置的百分之一，且激励能量较高，适用于金属材料及复合材料中深度较大缺陷的检测。
附图说明
图1是长脉冲激励的红外无损检测系统的结构示意图。
图2是完整的红外热成像无损检测流程示意图。
图3是实施例一中试样的实物图。
图4a和图4b是实施例一中试样的缺陷分布情况。
图5a和图5b是实施例一中采集得到的原始红外图像。
图6a和图6b是实施例一中经过处理后得到的试样表面的缺陷分布情况。
图7a和图7b是实施例二中试样的实物图。
图8是实施例二中试样的缺陷分布情况。
图9是实施例二中采集得到的原始红外图像，即原始热图。
图10是实施例二中经过处理后得到的试样表面的缺陷分布情况。
具体实施方式
为了使本领域技术人员更好地理解本发明，从而对本发明要求保护的范围作出更清楚地限定，下面就本发明的某些具体实施例对本发明进行详细描述。需要说明的是，以下仅是本发明构思的某些具体实施方式仅是本发明的一部分实施例，其中对于相关结构的具体的直接的描述仅是为方便理解本发明，各具体特征并不当然、直接地限定本发明的实施范围，本领域技术人员在本发明构思的指导下所作的常规选择和替换，均应视为在本发明要求保护的范围内。此外，本发明所使用的公式与权利要求书和发明内容中的相同，因此在以下的描述中以公式编号予以代替。
需要说明的是，在本发明的处理方法、处理装置、处理系统以及处理方法中，O、O'、O”、O”'均是指相应的相位幅值图像，、D、B是指划分后的细节层和背景层图像，而O(i,j)、O'(i,j)、O”(i,j)、O”'(i,j)则指对应的图像于像素点(i,j)处的像素值，D(i,j)和B(i,j)则分别指细节层和背景层图像于像素点(i,j)处的像素值。
一种序列红外图像的处理方法，其尤其适合于长脉冲激励的红外无损检测系统的配套方法，以对长脉冲激励所得到的序列红外图像进行处理以获得样品的缺陷信息；该方法包括以下步骤：
1、将由红外热像仪采集得到的序列红外图像中某一像素点的时间-热辐射信号转化至对数域上并进行最小二乘法的对数域多项式拟合；其中，拟合所使用的多项式的最高次幂可以根据实际情况来自由选择，一般来说，多项式的最高次幂为4～7最佳。转化的方法是分别对时间t及其对应的温度信号T(t)取自然对数，得到In(t)和In(T(t))，然后再按上述方法进行拟合。
2、将拟合后的数据再恢复至时间域上并进行快速傅里叶处理，以计算出频率域上的相位信号或幅值信号；恢复是对上一步拟合后的In(T(t))取自然指数来完成的。一般来说，相位信号相比较于幅值信号更能凸显出缺陷特征，故多采用相位信号为例进行后续处理。
3、对红外热图(即每个序列红外图像)中的每个像素点(i,j)重复步骤1～2，直至得到完整的相位序列图O(或幅值序列图O)。也就是说，步骤1、2是针对序列红外图像中的每个像素点(i,j)进行的处理，需要依据序列图像中像素点的个数对每个像素点(i,j)重复上述的处理操作，从而得到包含更多缺陷信息的红外相位序列图像O；显然，O是包含很多像素的矩阵，而对于图像O中坐标为(i,j)的像素点的处的像素值则可用O(i,j)表示。
4、再将相位图像O(或幅值图像)扩展至更加精确灰度级数得到灰度相位图像O'，以便进行之后的图像增强处理，扩展可以是采用基于最大与最小像素值的线性灰度扩展；该扩展方法对于幅值和相位序列图均可以适用，但相位序列图受到的光照不均匀的影响因素较小，故能凸显出更多的缺陷信息，所以一般扩展相位序列图像。后续步骤中，以相位图像扩展为例进行说明，但这并不意味着只能进行相位图像扩展，可以预期的是相位图像扩展和或幅值图像扩展均是可行的。
5、利用红外缺陷增强算法对上述步骤扩展后得到的相位图像O'进行细节增强，划分图像O'为细节层D与背景层B，针对性地增强图像细节信息，再将细节与背景融合形成新的相位图像O”；从而获得高质量的相位数据，清晰显示缺陷形状及位置，便于缺陷尺寸的定量计算。划分时可依据导向滤波的方法将图像划分为细节层与背景层，而针对性增强图像信息具体是指使用掩模图像对细节增进行乘法运算，以消除细节层噪声和突出细节信息；融合的图像O”由增强后的细节层图像与背景层图像加权相加得到。
6、利用自适应伽马变换将增强后的相位图像O”转化为可在设备上显示的优选为8位数据信号的图像格式E。
7、对所有序列图像重复步骤5～6，得到图像增强后的序列图像E1、E2……、EN；由于步骤5、6是针对单个序列图像的处理，为得到最终预期的结果，因此需要依据序列图像的数量相应地重复步骤5、6以对每个序列图像均进行相应地处理。
8、针对不同深度的缺陷出现的最佳时刻不在同一张图像上这一问题，可以利用序列图中缺陷处与无缺陷处信号的差异，对缺陷信息进行汇总处理，从而可以得到一幅可以清晰的显示所有缺陷信息的图像；这是因为根据热传导理论，热波遇到缺陷时就会有一部分热能返回物体表面，从而在试样表面形成温度梯度分布，从而可以利用这种梯度差异来判别和定位缺陷。汇总处理是指选取前T张序列图像进行处理(T为设定的阈值)，确定每个像素点在这T张图像中的最小值，并把这个最小值确定为最终图像在此像素点的灰度值，对像素点进行重复处理，以确定最终的红外图像E'。
在某些较佳实施例中，该方法具体还可以包括以下内容，或以下内容中的至少一个：
在上述的步骤1的处理中，由于红外相机采集得到的红外热辐射原始数据噪声很大，所以要对原始热数据进行降噪重构，将采集到的每个序列红外热图中每一个像素点的温度-时间离散点信号用N阶对数多项式拟合成平滑曲线；N阶对数多项式拟合的基本形式如上述的公式(1)所示。
其保留了原始热辐射信号的特征，当N较小即进行低阶对数拟合时，可以看做一种低通滤波器来使用，将上式从对数域转化到时间域之后，可以得到上述的公式(2)形式的重构热辐射信号，这里每个像素点在计算机中仅用数组记录下a0,a1,a2……aN这N+1个系数便能得出冷却时的温度曲线，缩减了计算量，提高计算效率。采用公式(1)拟合处理后，在大多数情况下得到的重建信号非常适合作为之后序列图像处理的输入数据来使用。
在上述的步骤2的处理中，为将重构之后的热辐射信号进行相位分析，即对每一个像素点(i,j)的热辐射-时间拟合信号进行快速傅里叶变换(FFT)，相当于将一个三维矩阵(x,y轴代表像素坐标轴，z轴为时间轴)经过傅里叶变换由时域上的热辐射信号转换为频域上的相位信号或幅值信号，相位信号相比较于幅值信号更能凸显出缺陷特征，因为相位信号数据受到环境反射光照、试样表面辐射率变化、试样几何形状不规则、加热不均匀等因素的影响十分小，可以忽略不计，为此推荐采用相位信号进行快速傅里叶处理。相位处理时所使用的快速傅里叶变换表达式如上述的公式(3)所示，再按上述的公式(4)计算频率序号为n处的相位φn。
在步骤4的处理中，将步骤3所得到的相位图像通过上述的公式(5)进行灰度级扩展得到灰度相位图像O'，从而使得图像精度更高，动态灰度范围更大。
在步骤5的处理中，本发明利用红外缺陷增强算法将扩展后得到的灰度相位图像O'划分为细节层D与背景层B，低频的背景层B是具有缺陷边缘信息的平滑图像，高频的细节层D是由增强后的红外相位图像O'与背景层B相减得到，其包含原始图像中尺寸较小的缺陷等细节信息。灰度相位图像O'、细节层D和背景层B均为各个像素点(i,j)处的像素值所组成的像素矩阵，细节层的像素值D(i,j)是由对应的O'(i,j)与B(i,j)相减得到的。
具体来说，背景层B和细节层D分别按公式6、7求出，即细节层D和背景层B的划分是按上述的公式6、7进行的。
因为像素i会被多个中心位于k的窗口所包含，所以
Figure GDA0002662293070000181
和
Figure GDA0002662293070000182
是包含像素i的所有窗口的线性函数系数a,b的平均值，可以通过上述的公式(8)和(9)可求出平均系数
Figure GDA0002662293070000183
和
Figure GDA0002662293070000184
利用
Figure GDA0002662293070000185
作为掩模与细节层图像D相乘，并引入一个增强系数λ，进而实现对D的细节增强，增强之后的图像标记为D'，再将D'与背景层B相加得到细节增强处理之后的相位图像O”，增强过程如上述的公式(10)和(11)所示，从而将细节层与背景层融合形成新的相位图像O”。
在上述的步骤6的处理中，利用局部自适应伽马变换将相位图像O”量化可以显示在设备上灰度图像，以进一步的增强图像和扩展有效灰度值，把公式(6)求出的背景层B设置为缓和背景，按照上述的公式(12)计算伽马校正中的γ于像素点(i,j)处的值γ(i,j)，再将相位图像O”进行均值-标准差的归一化处理，归一之后的图像矩阵记为O”'，并使其位于0至1之间，像素点(i,j)处的像素值O”'(i,j)的处理过程如上述的公式(13)所示：
最后通过上述的公式(15)将归一化的O”'量化为可以在设备上显示的数据E，E优选为可在设备上显示的8位数据信号；E于像素点(i,j)处的像素值E(i,j)的处理如公式(15)所示。
在上述的步骤8的处理中，由于不同深度的缺陷会存在出现的最佳时刻不在同一张图像上的问题，为了更好地观察缺陷位置，选取前T张序列图像进行处理(T为用户设定的阈值)，确定每个像素点在这T张图像中的最小值，并把这个最小值确定为最终图像在此像素点的灰度值，并对每个像素点(i,j)按上述的公式(16)对前T张序列图像进行处理，确定最终的红外图像E'中每个像素点(i,j)的灰度值大小，得到最终图像E'，对处理后的最终结果进行缺陷判读，即可根据平面标定结果测量缺陷实际尺寸及位置。
一种序列红外图像的处理装置，其包括以下模块：
多项式拟合模块，用于将序列红外图像中每个像素点的时间-热辐射信号转化至对数域上并使用最小二乘法的对数域进行多项式拟合，所述的序列红外图像可以是由红外热像仪采集得到的，而拟合所使用的多项式最高次幂可以根据实际情况来自由选择；一般来说，多项式的最高次幂为4～7最佳。转化的方法是分别对时间t及其对应的温度信号T(t)取自然对数，得到In(t)和In(T(t))，然后再用最小二乘法的对数域进行多项式拟合。
快速傅里叶处理模块，用于将拟合后的数据再恢复至时间域上并进行快速傅里叶处理，以计算出频率域上的相位信号或幅值信号；恢复是对上一步拟合后的In(T(t))取自然指数来完成的。由于相位信号相比较于幅值信号更能凸显出缺陷特征，故多采用相位信号进行后续处理。
像素点处理模块，用于对红外热图(即每个序列红外图像)中每个像素点(i,j)重复调用多项式拟合模块和快速傅里叶处理模块进行处理，直至得到完整的相位序列图O(或幅值序列图O)。也就是说，多项式拟合模块和快速傅里叶处理模块是针对序列红外图像中的每个像素点进行的处理，需要依据序列图像中像素点的个数对每个像素点分别调用上述模块进行重复的处理操作，从而得到包含更多缺陷信息的红外相位序列图像O；O是包含很多像素的矩阵，而对于图像O中坐标为(i,j)的像素点处的像素值则可用O(i,j)表示。
灰度级数扩展模块，用于将相位图像O(或幅值图像O)扩展至更加精确灰度级数得到灰度相位图像O'，以便进行之后的图像增强处理；扩展可以是采用基于最大与最小像素值的线性灰度扩展。该扩展方法对于幅值和相位序列图均可以适用，但相位序列图受到的光照不均匀的影响因素较小，故能凸显出更多的缺陷信息，所以一般扩展相位序列图像。
细节增强模块，用于利用红外缺陷增强算法对上述步骤扩展后得到的相位图像O'进行细节增强，划分图像O'为细节层D与背景层B，针对性地增强图像细节信息后，再将细节与背景融合形成新的相位图像O”，从而获得高质量的相位数据，清晰显示缺陷形状及位置，便于缺陷尺寸的定量计算。划分时可依据导向滤波的方法将图像划分为细节层与背景层，而针对性增强图像信息具体是指使用掩模图像对细节增进行乘法运算，以消除细节层噪声和突出细节信息；融合图像由增强后的细节层图像与背景层图像加权相加而得到。
转化模块，用于利用自适应伽马变换将增强后的相位图像O”转化为可在设备上显示的优选为8位数据信号的图像格式E。
序列图处理模块，用于对所有序列图像重复调用细节增加模块和转化模块进行处理，得到图像增强后的序列图像E1、E2……、EN；细节增加模块和转化模块是针对每个序列图像的处理模块，由于该图像处理方法包括若干个序列图像，为得到最终预期的结果，因此需要依据序列图像的数量相应地重复调用细节增加模块和转化模块以对每个序列图像均进行相应地处理。
缺陷汇总模块，用于针对不同深度的缺陷出现的最佳时刻不在同一张图像上这一问题，可以利用序列图中缺陷处与无缺陷处信号的差异，对缺陷信息进行汇总处理，从而可以得到一幅可以清晰的显示所有缺陷信息的图像；这是因为根据热传导理论，热波遇到缺陷时就会有一部分热能返回物体表面，从而在试样表面形成温度梯度分布，从而可以利用这种梯度差异来判别和定位缺陷。汇总处理是指选取前T张序列图像进行处理(T为设定的阈值)，确定每个像素点在这T张图像中的最小值，并把这个最小值确定为最终图像在此像素点的灰度值，对像素点进行重复处理，以确定最终的红外图像E'，E'是可以清晰的显示所有缺陷信息的图像。
在某些较佳实施例中，所述的装置还具体包括以下改进的模块中的至少一个：
由于红外相机采集得到的红外热辐射原始数据噪声很大，所以要对原始热数据进行降噪重构；多项式拟合模块被改进为用于将采集到的每一个像素点的温度-时间离散点信号用N阶对数多项式拟合成平滑曲线；N阶对数多项式拟合的基本形式如上述的公式(1)所示：
其保留了原始热辐射信号的特征，当N较小即进行低阶对数拟合时，可以看做一种低通滤波器来使用，将上式从对数域转化到时间域之后，可以得到上述公式(2)形式的重构热辐射信号，这里每个像素点在计算机中仅用数组记录下a0,a1,a2……aN这N+1个系数便能得出冷却时的温度曲线，缩减了计算量，提高计算效率。采用公式(1)拟合处理后，在大多数情况下得到的重建信号非常适合作为之后序列图像处理的输入数据来使用。
为将重构之后的热辐射信号进行相位分析，即对每一个像素点的热辐射-时间拟合信号进行快速傅里叶变换(FFT)，相当于将一个三维矩阵(x,y轴代表像素坐标轴，z轴为时间轴)经过傅里叶变换由时域上的热辐射信号转换为频域上的相位信号或幅值信号，而相位信号相比较于幅值信号更能凸显出缺陷特征，因为相位信号数据受到环境反射光照、试样表面辐射率变化、试样几何形状不规则、加热不均匀等因素的影响十分小，可以忽略不计，为此推荐采用相位信号进行快速傅里叶处理。
快速傅里叶处理模块使用的快速傅里叶变换表达式被改进为如上述的公式(3)所示，再按上述的公式(4)计算频率序号为n处的相位φn。
灰度级数扩展模块被改进配置为用于将像素点处理模块所得到的相位图像通过上述的公式(5)进行灰度级扩展，使得图像精度更高，动态灰度范围更大。
细节增强模块被改进配置为用于利用红外缺陷增强算法将相位图像O'划分为细节层D与背景层B，低频的背景层B是具有缺陷边缘信息的平滑图像，高频的细节层D是由增强后的红外相位图像O'与背景层B相减得到，包含原始图像中尺寸较小的缺陷等细节信息。灰度相位图像O'、细节层D和背景层B均为各个像素点(i,j)处的像素值(O'(i,j)、D(i,j)和B(i,j))所组成的像素矩阵，细节层的像素值D(i,j)是由对应的O'(i,j)与B(i,j)相减得到的。
背景层B和细节层D分别按公式6、7求出，即细节层D和背景层B的划分是按上述的公式6、7进行的。因为像素i会被多个中心位于k的窗口所包含，所以
Figure GDA0002662293070000201
和
Figure GDA0002662293070000202
是包含像素i的所有窗口的线性函数系数a,b的平均值，可以通过上述的公式(8)和(9)可求出平均系数
Figure GDA0002662293070000211
和
Figure GDA0002662293070000212
利用
Figure GDA0002662293070000213
作为掩模与细节层图像D相乘，并引入一个增强系数λ，进而实现对D的细节增强，增强之后的图像标记为D'，再将D'与背景层B相加得到细节增强处理之后的相位图像O”，增强过程如上述的公式(10)和(11)所示，从而将细节层与背景层融合形成新的相位图像O'。
转化模块被改进配置为用于利用局部自适应伽马变换将相位图像O”量化可以显示在设备上灰度图像，以进一步的增强图像和扩展有效灰度值，把上述的公式(6)求出的背景层B设置为缓和背景，按照公式(12)计算伽马校正中的γ于像素点(i,j)处的值γ(i,j)，
再将相位图像O”进行均值-标准差的归一化处理，归一之后的图像矩阵记为O”'，使其位于0至1之间，处理过程如上述的公式(13)所示。最后通过上述的公式(15)将归一化的O”'量化为可以在设备上显示的数据，E优选为可在设备上显示的8位数据信号；E于像素点(i,j)处的像素值E(i,j)的处理如公式(15)所示，
序列图处理模块被改进配置为用于对所有序列相位图像重复调用细节增强模块和转化模块进行处理，从而得到图像增强后的序列图像E1、E2……、EN。由于细节增强模块和转化模块是针对单个序列图像的处理模块，为得到最终预期的结果，需要重复调用细节增强模块和转化模块，分别对每个序列图片进行相应的处理。
由于不同深度的缺陷会存在出现的最佳时刻不在同一张图像上的问题，为了更好地观察缺陷位置，缺陷汇总模块被改进配置为用于按上述的公式(16)对前T张序列图像进行处理，确定最终的红外图像E'中每个像素点(i,j)的灰度值大小E'(i,j)，得到最终图像E'；对处理后的最终结果(即最终的红外图像E')进行缺陷判读，根据平面标定结果测量缺陷实际尺寸及位置。
以上是序列红外图像的处理方法和装置，它们是对于长脉冲激励得到得的序列红外图像进行处理以得到样品的缺陷信息的方法和装置，所述的序列红外图像是指当对样品进行长脉冲激励的同时间隔连续地采集打麻将得到的具有序列顺序的红外图像。
一种长脉冲红外无损检测序列图像处理系统，其尤其适用于长脉冲激励的缺陷红外无损检测，该系统包括热加载激励装置1、红外热像仪2和图像处理系统3；所述热加载激励装置1为长脉冲热加载激励装置，其可放置于距试样表面0.5m以内的位置、平行于试件表面，并且对称地放置在试件4水平线中心两侧，以此保证能够对试样表面进行均匀充分的连续热加载；红外热成像仪2是该检测系统的核心部件，其可以根据检测面积的大小放置于距试样表面1m～1.5m的位置进行序列采图，将所采集的试样表面温度分布序列图像传输至图像处理系统3中；图像处理系统3包括上述的图像处理装置以及支撑该装置运行的必要硬件和软件，例如个人计算机、单片机或是服务器等。在图像处理系统中通过自行开发的图像处理软件对红外温度序列图像进行分析与数据处理；(即上述的图像处理装置)。最后对灰度图中的温度异常区域进行缺陷判读与定量计算，长脉冲激励的红外无损检测系统的结构示意图如图1所示，图中41为缺陷。
优选地，所述的长脉冲热加载激励装置可以采用两个功率为800W-1500W的卤素灯，其分别放置在红外相机两侧以保证对试样表面的均匀加热；可通过程序精准控制加热时间，实现长脉冲连续激励的加载方式。最佳地，卤素灯放置于灯罩当中，灯罩口加装一组百叶窗，当加载完毕之后立即关闭百叶窗避免残余的红外辐射对检测结果的影响。
优选地，所述的红外热像仪可以选用(InSb锑化铟)焦平面探测器，其具有上述的性能参数。该探测器具有采集的图像清晰，检测灵敏度高、测温精确、可靠性好等优点，非常适合红外成像无损检测领域；当然，其他类型或型号的红外热像仪亦可适用于本发明的检测系统。
优选地，所述的图像处理系统包括个人计算机(PC)和安装于PC上的图像处理装置，PC基础软、硬件条件为：内存32GB，64位Windows 7操作系统，Intel奔腾八核处理器，图像处理装置为以Windows操作系统支持的语言编程的上述序列红外图像处理装置的软件。
一种长脉冲红外无损检测序列图像处理方法，其特别适用于金属材料及复合材料中深度较大缺陷的检测，该方法包括以下步骤：
步骤1：将红外热像仪2放置于检测试样正前方，例如1m～1.5m处位置，调整焦距确保试样将要检测的试样表面清晰并全部处于红外热像仪视场中心。长脉冲热加载激励装置1的两个卤素灯分别放置于红外热像仪2的两侧以保证对试样表面的均匀加热，热加载激励装置1位于距试样表面0.5m以内的位置。
步骤2：打开中波段红外热像仪2，待其指示灯亮起后，表明冷却完成，可以将信号传输至计算机3中。在自主研发的红外热图处理软件中设定好激励时间，采集图像数量和采集频率，打开灯罩上的百叶窗开始对试样表面进行激励。待激励完成后立即关闭百叶窗以防止残余的红外辐射对试样表面温度的影响。红外热图处理软件按照先前设定好的采集数量与频率开始采集试样表面冷却时的红外热图。红外热图处理软件是在上述的序列红外图像处理装置上扩展的，其除了具有序列红外图像处理装置的全部功能外，还包括对于热加载激励装置和红外热像仪的控制，例如开关热加载激励装置或红外热像仪，设置热加载激励装置和红外热像仪的工作方式等。
步骤3：由红外相机采集得到的红外热辐射原始数据噪声很大，所以要对原始热数据进行降噪重构，将采集到的每一个像素点的温度-时间离散点信号用N阶对数多项式拟合成平滑曲线，大多数情况下得到的重建信号非常适合作为之后序列图像处理的输入数据来使用。N阶对数多项式拟合的基本形式如上述的公式(1)所示：
保留了原始热辐射信号的特征，当N较小即进行低阶对数拟合时，可以看做一种低通滤波器来使用，将上式从对数域转化到时间域之后，可以得到公式(2)形式的重构热辐射信号，这里每个像素点在计算机中仅用数组记录下a0,a1,a2……aN这N+1个系数便能得出冷却时的温度曲线，缩减了计算量，提高计算效率。
步骤4：将重构之后的热辐射信号进行相位分析，即对每一个像素点的热辐射-时间拟合信号进行快速傅里叶变换(FFT)，相当于将一个三维矩阵(x,y轴代表像素坐标轴，z轴为时间轴)经过傅里叶变换由时域上的热辐射信号转换为频域上的相位信号或幅值信号，相位信号相比较于幅值信号更能凸显出缺陷特征，因为相位信号数据受到环境反射光照、试样表面辐射率变化、试样几何形状不规则、加热不均匀等因素的影响十分小，可以忽略不计，相位分析模块使用的快速傅里叶变换表达式如上述的公式(3)所示，再按上述的公式(4)计算频率序号为n处的相位φn。
步骤5：将红外热图中每个像素点对应的热辐射信号重复步骤3～4，得到包含更多缺陷信息的红外相位序列图像O。
步骤6：将步骤5所得到的相位图像O通过上述的公式(5)进行灰度级扩展，使得图像精度更高，动态灰度范围更大，得到灰度相位图像O'，式中i,j分别为像素点的横纵坐标，O(i,j)是步骤5所得到的相位图像O于像素点(i,j)处的像素值，Omax和Omin分别是相位图像中最大和最小的数据值。M是将要扩展到的灰度级位数，最终得到扩展后的相位图像O'，其是由各像素点(i,j)所对应的像素值O'(i,j)所组成的像素矩阵。
步骤7：利用红外缺陷增强算法划分相位图像O'为细节层D与背景B，低频的背景层B是具有缺陷边缘信息的平滑图像，高频的细节层D是由增强后的红外相位图像O'与背景层B相减得到，包含原始图像中尺寸较小的缺陷等细节信息。灰度相位图像O'、细节层D和背景层B均为各个像素点(i,j)处的像素值(O'(i,j)、D(i,j)和B(i,j))所组成的像素矩阵，细节层的像素值D(i,j)是由对应的O'(i,j)与B(i,j)相减得到的。因为像素i会被多个中心位于k的窗口所包含，所以
Figure GDA0002662293070000231
和
Figure GDA0002662293070000232
是包含像素i的所有窗口的线性函数系数a,b的平均值，通过上述的公式(8)和(9)可求出平均系数
Figure GDA0002662293070000233
和
Figure GDA0002662293070000234
利用
Figure GDA0002662293070000235
作为掩模与细节层图像D相乘，并引入一个增强系数λ，进而实现对D的细节增强，增强之后的图像标记为D'，再将D'与背景层B相加得到细节增强处理之后的相位图像O”，增强过程如上述的公式(10)和(11)所示。
步骤8：再利用局部自适应伽马变换将相位图像O”量化可以显示在设备上灰度图像，进一步的增强图像，扩展有效灰度值，把公式(6)求出的背景层B设置为缓和背景，按照上述的公式(12)伽马校正中的γ于像素点(i,j)处的值γ(i,j)，γ为由γ(i,j)组成的像素矩阵，再将相位图像O”进行均值-标准差的归一化处理，归一之后的图像矩阵记为O”'，使其位于0至1之间，处理过程如上述的公式(13)所示：
最后通过上述的公式(15)将归一化的O”'量化为可以在设备上显示的数据E，E优选为可在设备上显示的8位数据信号；E于像素点(i,j)处的像素值E(i,j)的处理如公式(15)所示。
步骤9：对所有序列相位图像重复步骤7～8，得到图像增强后的序列图像E1、E2……、EN。
步骤10：但不同深度的缺陷出现的最佳时刻不在同一张图像上的问题，为了更好地观察缺陷位置，选取前T张序列图像进行处理(T为用户设定的阈值)，确定每个像素点在这T张图像中的最小值，并把这个最小值确定为最终图像在此像素点的灰度值，并对每个像素点(i,j)按上述的公式(16)对前T张序列图像进行处理，确定最终的红外图像E'中每个像素点(i,j)的灰度值大小，得到最终图像E'，E'为由E'(i,j)组成的像素矩阵，对处理后的最终结果进行缺陷判读，根据平面标定结果测量缺陷实际尺寸及位置。
对于本发明的具体实施，结合优选的实施例和附图详述如下：
实施例一
将本发明的检测方法和系统用于一背面含有孔洞型缺陷的尺寸为200×150×6mm的玻璃纤维层压板的检测，以确定其缺陷位置并定量测量背面孔洞缺陷的直径大小和所在位置。
试样的实物图如图3所示，缺陷分布情况如图4a和图4b所示，具体检测过程为：
将试样固定在于试验平台上，检测表面位于红外热像仪正前方，确保试样与红外热像仪处于同一水平高度上，红外热像仪距试样表面1.5m，激励装置到试样表面0.5m，以确保获得最佳检测结果。
打开红外图像处理软件(包括上述的序列红外图像处理装置的软件)，设定好激励时间为5s，序列图像采集数目为512张，采集频率10Hz，打开激励装置的百叶窗，开始对试样表面进行激励，待激励结束后，关闭百叶窗，并开始图像采集工作，采集得到的原始红外图像如图5所示。
采集工作完成后，利用红外无损处理方法中步骤1-10的序列图像处理方法，对试样表面的红外图像进行增强处等一系列的处理后，得到玻璃纤维层压板试样表面的缺陷分布情况如图6a和图6b所示。
在图6中进行平面标定，测量缺陷直径大小，实际数据与测量数据的结果如表1所示：
表1平面标定数据结果
缺陷 测量(mm) 设计(mm) 误差(％)
1 5.26 5 5.2
2 9.9 10 1
3 15.2 15 1.3
4 20.5 20 2.5
由此可见，本发明的检测结果与实际数据间的误差较小，说明本发明适用于复合材料的无损检测；并且，该检测过程具有经济，高效等优点。
实施例二
将本发明的检测方法和系统用于一碳纤维层压板试样的检测，试样尺寸为250×80×4mm，7a和图7b为碳纤维层压板的实物照片，盲孔的直径和深度信息详见图8，图中“D6H1.7”表示盲孔的直径为6mm，盲孔深度1.7mm，也即缺陷深度2.3mm(板厚4mm)。
根据本发明提供的方法，具体的测量过程为：
实验前用无光泽的黑色丙烯酸喷漆涂抹表面，以最大限度的吸收激励光能量，增大辐射率。
摆放好红外热像仪的位置并确保试样表面处于红外热像仪的视场中心，确保试样与红外热像仪处于同一水平高度上，红外热像仪距试样表面1.5m，激励装置到试样表面0.5m，以确保获得最佳检测结果。
打开红外图像处理软件，设定好激励时间为5s，序列图像采集数目为512张，采集频率10Hz，打开激励装置的百叶窗，开始对试样表面进行激励，待激励结束后，关闭百叶窗，并开始图像采集工作。
采集工完成后，原始热图如图9所示。再利用红外无损处理方法中步骤1-10的序列图像处理算法，对试样表面的红外图像进行增强处理等一系列的处理后，得到碳纤维层压板试样表面的缺陷分布情况如图10所示。
从图中可以清晰辨别出缺陷位置及轮廓，对图像进行标定后还可以定量计算缺陷面积；其检测过程简单高效，在复合材料等结构的无损检测与评估中有潜在的工程应用价值。

Claims (8)

1.一种序列红外图像处理方法，其特征在于，所述方法包括以下步骤：
步骤1、将序列红外图像中某一像素点的时间-热辐射信号转化至对数域上并使用最小二乘法的对数域进行多项式拟合；
步骤2、将拟合后的数据再恢复至时间域上并进行快速傅里叶处理，以计算出频率域上的相位信号或幅值信号；
步骤3、对序列图像中每个像素点重复步骤1～2，直至得到完整的相位序列图O或幅值序列图O；
步骤4、再将相位序列图O或幅值序列图O扩展至更加精确的灰度级数得到灰度相位图像O'，以便进行之后的图像增强处理；
步骤5、利用红外缺陷增强算法对上述步骤扩展后得到的灰度相位图像O'进行细节增强，划分灰度相位图像O'为细节层D与背景层B，针对性地增强图像细节信息后，再将细节与背景融合形成新的相位图像O″；以获得高质量的相位数据，清晰显示缺陷形状及位置，便于缺陷尺寸的定量计算；
步骤6、利用自适应伽马变换将增强后的相位图像O″转化为图像格式E；
步骤7、对所有的序列图像重复步骤5～6以对每个序列图像均进行相应地处理，得到图像增强后的序列图像E1、E2……、EN；
步骤8、针对不同深度的缺陷出现的最佳时刻不在同一张图像上这一问题，利用序列图中缺陷处与无缺陷处信号的差异，对缺陷信息进行汇总处理，从而可以得到一幅可以清晰的显示所有缺陷信息的最终红外图像E'；
所述方法还包括以下步骤改进的至少一个：
在所述步骤1的处理中，由于红外相机采集得到的红外热辐射原始数据噪声很大，所以要对原始热数据进行降噪重构，将采集到的每一个像素点的温度-时间离散点信号用N阶对数多项式拟合成平滑曲线；N阶对数多项式拟合的基本形式如公式(1)所示：
In(T)＝a0+a1In(t)+a2In2(t)+……+aNInN(t) (1)
式中，a0,a1,a2…aN是通过最小二乘法计算出的多项式拟合系数，N为多项式拟合的阶数；T是温度，t是时间；
其保留了原始热辐射信号的特征，当N较小即进行低阶对数拟合时，可以看做一种低通滤波器来使用，将上式从对数域转化到时间域之后，可以得到公式(2)形式的重构热辐射信号，这里每个像素点在计算机中仅用数组记录下a0,a1,a2……aN这N+1个系数便能得出冷却时的温度曲线，缩减了计算量，提高计算效率；
Figure FDA0003041341740000021
式中，a0,a1,a2…aN是通过最小二乘法计算出的多项式拟合系数，N为多项式拟合的阶数；T是温度，t是时间；
或，
在所述步骤2的处理中，为将重构之后的热辐射信号进行相位分析，即对每一个像素点的热辐射-时间拟合信号进行快速傅里叶变换，相当于将一个三维矩阵经过傅里叶变换由时域上的热辐射信号转换为频域上的相位信号或幅值信号，相位信号相比较于幅值信号更能凸显出缺陷特征，因为相位信号数据受到环境反射光照、试样表面辐射率变化、试样几何形状不规则、加热不均匀的影响十分小，可以忽略不计，采用相位信号进行快速傅里叶处理；相位分析模块使用的快速傅里叶变换表达式如公式(3)所示：
Figure FDA0003041341740000022
式中，T(k)为第k帧上像素点(x,y)处的温度值，n为频率离散后的序号，j为虚数单位，Rn、In对应于变换后复数的实部和虚部，N是序列图像的张数；
再按公式(4)计算频率序号为n处的相位φn
Figure FDA0003041341740000023
或，
在步骤4的处理中，将上述的步骤3所得到的相位序列图O通过公式(5)进行灰度级扩展，使得图像精度更高、动态灰度范围更大的灰度相位图像O'；
Figure FDA0003041341740000024
式中，i,j分别为像素点的横纵坐标，O(i,j) 是步骤3所得到的相位序列图O于像素点(i,j)处的像素值，Omax和Omin分别是相位图像中最大和最小的数据值；M是将要扩展到的灰度级位数，最终得到扩展后的灰度相位图像O'；
或，
在上述的步骤8的处理中，由于不同深度的缺陷会存在出现的最佳时刻不在同一张图像上的问题，为了更好地观察缺陷位置，按公式(16)对前T张序列图像进行处理，确定最终的红外图像E'中像素点(i,j)的灰度值大小：
E′(i,j)＝min(E1(i,j),E2(i,j)....Ek(i,j)..,ET(i,j))k∈(1,T) (16)
式中，E’(i,j)是T张序列图像经公式(16)处理后得到的红外图像E’于像素点(i,j)处的像素值；对处理后的最终结果进行缺陷判读，根据平面标定结果测量缺陷实际尺寸及位置。
2.根据权利要求1所述的序列红外图像处理方法，其特征在于，所述步骤5中的细节增强是按以下步骤进行的：
利用红外缺陷增强算法将灰度相位图像O'划分为细节层D与背景层B，低频的背景层B是具有缺陷边缘信息的平滑图像，高频的细节层D是由增强后的灰度相位图像O'与背景层B相减得到，包含原始图像中尺寸较小的缺陷细节信息；
背景层B和细节层D分别按公式(6)、公式(7)求出，即细节层D和背景层B的划分是按公式(6)、公式(7)进行的：
Figure FDA0003041341740000031
Figure FDA0003041341740000032
其中，i和k是像素索引，Oi’是灰度相位图像O'位于i处的像素值，Bi和Di分别为背景层图像与细节层图像位于i处的像素值，每个中心为k的窗口wk有其自己的线性函数系数ak和bk；
因为像素i会被多个中心位于k的窗口所包含，所以
Figure FDA0003041341740000033
和
Figure FDA0003041341740000034
是包含像素i的所有窗口的线性函数系数a,b的平均值，可以通过公式(8)和公式(9)可求出平均系数
Figure FDA0003041341740000035
和
Figure FDA0003041341740000036
Figure FDA0003041341740000037
Figure FDA0003041341740000038
式中，ak是当窗口中心位于k时的系数矩阵，wi是中心为像素i的窗口，wk是中心为像素k的窗口，ε是惩罚系数，Oi’是灰度相位图像O'位于i处的像素值，
Figure FDA0003041341740000039
是灰度相位图像O'在窗口wk中的平均值，|w|是窗口wk中像素的数量，σk是灰度相位图像O'在窗口wk中的标准差；
利用
Figure FDA00030413417400000310
作为掩模与细节层图像D相乘，并引入一个增强系数λ，进而实现对D的细节增强，增强之后的图像标记为D′，再将D′与背景层B相加得到细节增强处理之后的相位图像O″，增强过程如公式(10)和公式(11)所示，
Figure FDA0003041341740000041
O″＝D′+B (11)
从而将细节层与背景层融合形成新的灰度相位图像O′；
在上述的步骤6的处理中，利用局部自适应伽马变换将相位图像O″量化可以显示在设备上灰度图像，以进一步的增强图像和扩展有效灰度值，把公式(6)求出的背景层B设置为缓和背景，按照公式(12)计算伽马校正中的γ于像素点(i，j)处的值γ(i，j)：
Figure FDA0003041341740000042
其中，B(i，j)是背景层B于像素点(i，j)处的值，M是本步骤中扩展的灰度级数，再将相位图像O″进行均值-标准差的归一化处理，归一之后的图像矩阵记为O″′，使其位于0至1之间，处理过程如公式(13)所示：
Figure FDA0003041341740000043
其中，νmax和vmin分别为：
vmax＝mean_I+3·dev_I
vmin＝mean_I-3·dev_I
(14)
公式(13)、公式(14)中，i，j为像素点的横纵坐标，νmax和νmin分别为归一化计算的上下限，mean_l和dev_l分别是相位图像O″的均值和标准差；
最后通过公式(15)将归一化的图像矩阵O″′量化为可以在设备上显示的数据，即：
E(i，j)＝255·O″′(i，j)γ(i，j) (15)式中，E(i，j)是量化后的图像矩阵O″′于像素点(i，j)处的像素值。
3.一种用于实现根据权利要求1所述的序列红外图像处理方法的序列红外图像处理装置，其包括以下模块：
多项式拟合模块，用于将序列红外图像中每个像素点的时间-热辐射信号转化至对数域上并使用最小二乘法的对数域进行多项式拟合；
快速傅里叶处理模块，用于将拟合后的数据再恢复至时间域上并进行快速傅里叶处理，以计算出频率域上的相位信号或幅值信号；
像素点处理模块，用于对序列图像中每个像素点重复调用多项式拟合模块与快速傅里叶处理模块进行处理，直至得到完整的相位序列图O或幅值序列图O；
灰度级数扩展模块，用于将相位序列图O或幅值序列图O扩展至更加精确灰度级数得到灰度相位图像O'，以便进行之后的图像增强处理；
细节增强模块，用于利用红外缺陷增强算法对上述步骤扩展后得到的灰度相位图像O'进行细节增强，划分灰度相位图像O'为细节层D与背景层B，针对性地增强图像细节信息，再将细节与背景融合形成新的相位图像O″；以获得高质量的相位数据，清晰显示缺陷形状及位置，便于缺陷尺寸的定量计算；
转化模块，用于利用自适应伽马变换将增强后的相位图像O″转化为图像格式E；
序列图处理模块，用于对所有的序列图像重复步骤5～6以对每个序列图像均进行相应地处理，得到图像增强后的序列图像E1、E2……、EN；
缺陷汇总模块，用于针对不同深度的缺陷出现的最佳时刻不在同一张图像上这一问题，利用序列图中缺陷处与无缺陷处信号的差异，对缺陷信息进行汇总处理，从而可以得到一幅可以清晰的显示所有缺陷信息的最终红外图像E'；
所述装置还包括：
在上述的多项式拟合模块中，由于红外相机采集得到的红外热辐射原始数据噪声很大，所以要对原始热数据进行降噪重构，将采集到的每一个像素点的温度-时间离散点信号用N阶对数多项式拟合成平滑曲线；N阶对数多项式拟合的基本形式如公式(1)所示：
In(T)＝a0+a1In(t)+a2In2(t)+……+aNInN(t) (1)
式中，a0,a1,a2…aN是通过最小二乘法计算出的多项式拟合系数，N为多项式拟合的阶数；T是温度，t是时间；
其保留了原始热辐射信号的特征，当N较小即进行低阶对数拟合时，可以看做一种低通滤波器来使用，将上式从对数域转化到时间域之后，可以得到公式(2)形式的重构热辐射信号，这里每个像素点在计算机中仅用数组记录下a0,a1,a2……aN这N+1个系数便能得出冷却时的温度曲线，缩减了计算量，提高计算效率；
Figure FDA0003041341740000061
式中，a0,a1,a2…aN是通过最小二乘法计算出的多项式拟合系数，N为多项式拟合的阶数；T是温度，t是时间；
采用公式(1)拟合处理后，在大多数情况下得到的重建信号非常适合作为之后序列图像处理的输入数据来使用；
或，
在上述的快速傅里叶处理模块中，为将重构之后的热辐射信号进行相位分析，即对每一个像素点的热辐射-时间拟合信号进行快速傅里叶变换，相当于将一个三维矩阵经过傅里叶变换由时域上的热辐射信号转换为频域上的相位信号或幅值信号，相位信号相比较于幅值信号更能凸显出缺陷特征，因为相位信号数据受到环境反射光照、试样表面辐射率变化、试样几何形状不规则、加热不均匀的影响十分小，可以忽略不计，为此推荐采用相位信号进行快速傅里叶处理；相位分析模块使用的快速傅里叶变换表达式如公式(3)所示：
Figure FDA0003041341740000062
式中，T(k)为第k帧上像素点(x,y)处的温度值，n为频率离散后的序号，j为虚数单位，Rn、In对应于变换后复数的实部和虚部，N是序列图像的张数；
再按公式(4)计算频率序号为n处的相位φn
Figure FDA0003041341740000063
或，
在灰度级数扩展模块中，将像素点处理模块所得到的相位图像通过公式(5)进行灰度级扩展，使得图像精度更高，动态灰度范围更大，式中i,j分别为像素点的横纵坐标， O(i,j)是像素点处理模块所得到的相位序列图O于像素点(i,j)处的像素值，Omax和Omin分别是相位图像中最大和最小的数据值；M是将要扩展到的灰度级位数，最终得到扩展后的灰度相位图像O'；
Figure FDA0003041341740000064
或，
在缺陷汇总模块中，由于不同深度的缺陷会存在出现的最佳时刻不在同一张图像上的问题，为了更好地观察缺陷位置，按公式(16)对前T张序列图像进行处理，确定最终的红外图像E'中像素点(i,j)的灰度值大小：
E′(i,j)＝min(E1(i,j),E2(i,j)....Ek(i,j)..,ET(i,j)) k∈(1,T) (16)
式中，E’(i,j)是T张序列图像经公式(16)处理后得到的红外图像E’于像素点(i,j)处的像素值；对处理后的最终结果进行缺陷判读，根据平面标定结果测量缺陷实际尺寸及位置。
4.根据权利要求3所述的序列红外图像处理装置，其特征在于，
在所述细节增强模块中，利用红外缺陷增强算法将灰度相位图像O'划分为细节层D与背景层B，低频的背景层B是具有缺陷边缘信息的平滑图像，高频的细节层D是由增强后的灰度相位图像O'与背景层B相减得到，包含原始图像中尺寸较小的缺陷细节信息；背景层B和细节层D分别按公式(6)、公式(7)求出，即细节层D和背景层B的划分是按公式(6)、公式(7)进行的：
Figure FDA0003041341740000071
Figure FDA0003041341740000072
其中，i和k是像素索引，Oi’是灰度相位图像O'位于i处的像素值，Bi和Di分别为背景层图像与细节层图像位于i处的像素值，每个中心为k的窗口wk有其自己的线性函数系数ak和bk；
因为像素i会被多个中心位于k的窗口所包含，所以
Figure FDA0003041341740000073
和
Figure FDA0003041341740000074
是包含像素i的所有窗口的线性函数系数a,b的平均值，可以通过公式(8)和公式(9)可求出平均系数
Figure FDA0003041341740000075
和
Figure FDA0003041341740000076
Figure FDA0003041341740000077
Figure FDA0003041341740000078
式中，ak是当窗口中心位于k时的系数矩阵，wi是中心为像素i的窗口，wk是中心为像素k的窗口，ε是惩罚系数，Oi’是灰度相位图像O'位于i处的像素值，
Figure FDA0003041341740000079
是灰度相位图像O'在窗口wk中的平均值，|w|是窗口wk中像素的数量，σk是灰度相位图像O'在窗口wk中的标准差；
利用
Figure FDA0003041341740000081
作为掩模与细节层图像D相乘，并引入一个增强系数λ，进而实现对D的细节增强，增强之后的图像标记为D′，再将D′与背景层B相加得到细节增强处理之后的相位图像O″，
Figure FDA0003041341740000082
O″＝D′+B (11)
增强过程如公式(10)和公式(11)所示，从而将细节层与背景层融合形成新的灰度相位图像O′；
在转化模块中，利用局部自适应伽马变换将相位图像O″量化可以显示在设备上灰度图像，以进一步的增强图像和扩展有效灰度值，把公式(6)求出的背景层B设置为缓和背景，按照公式(12)计算伽马校正中的γ于像素点(i，j)处的值γ(i，j)：
Figure FDA0003041341740000083
其中，B(i，j)是背景层B于像素点(i，j)处的值，M是本步骤中扩展的灰度级数，再将相位图像O″进行均值-标准差的归一化处理，归一之后的图像矩阵记为O″′，使其位于0至1之间，处理过程如公式(13)所示：
Figure FDA0003041341740000084
其中，νmax和νmin分别为：
vmax＝mean_I+3·dev_I
vmin＝mean_I-3·dev_I (14)
公式(13)、公式(14)中，i，j为像素点的横纵坐标，vmax和vmin分别为归一化计算的上下限，mean_I和dev_I分别是相位图像O″的均值和标准差；
最后通过公式(15)将归一化的图像矩阵O″′量化为可以在设备上显示的数据，即：
E(i，j)＝255·O″′(i，j)γ(i，j) (15)
式中，E(i，j)是量化后的图像矩阵O″′于像素点(i，j)处的像素值。
5.一种长脉冲红外无损检测序列图像处理系统，其尤其适用于长脉冲激励的缺陷红外无损检测，该系统包括热加载激励装置、红外热像仪和图像处理系统；其特征在于，
所述热加载激励装置为长脉冲热加载激励装置，其被设置于对试样表面进行均匀充分的连续热加载；
红外热成像仪根据检测面积的大小放置于试样表面前方以进行序列采图，将所采集的试样表面温度分布序列图像传输至图像处理系统中；
图像处理系统包括如权利要求3或4所述的序列红外图像处理装置以及支撑该装置运行的硬件和软件。
6.根据权利要求5所述的系统，其特征在于，所述脉冲热加载激励装置为功率800W-1500W的卤素灯，其分别放置在红外相机两侧以保证对试样表面的均匀加热。
7.一种长脉冲红外无损检测序列图像处理方法，其特别适用于金属材料及复合材料中深度较大缺陷的检测，其特征在于，所述方法是使用如权利要求5或6所述的长脉冲红外无损检测序列图像处理系统的。
8.根据权利要求7所述的方法，其特征在于，所述方法具体包括以下步骤：
步骤1：将红外热像仪放置于检测试样正前方，调整焦距确保试样将要检测的试样表面清晰并全部处于红外热像仪视场中心，长脉冲热加载激励装置被配置为对试样表面的均匀加热；
步骤2：打开红外热像仪，待其冷却完成后，在红外热图处理软件中设定好激励时间，采集图像数量和采集频率，打开灯罩上的百叶窗开始对试样表面进行激励；待激励完成后立即关闭百叶窗以防止残余的红外辐射对试样表面温度的影响；红外热图处理软件按照先前设定好的采集数量与频率开始采集试样表面冷却时的红外热图；红外热图处理软件是在上述的序列红外图像处理装置上扩展的，其除了具有序列红外图像处理装置的主要或全部功能外，还包括对于热加载激励装置或红外热像仪的控制，包括：开关热加载激励装置或红外热像仪，或设置热加载激励装置或红外热像仪的工作方式；
步骤3：由红外相机采集得到的红外热辐射原始数据噪声很大，所以要对原始热数据进行降噪重构，将采集到的每一个像素点的温度-时间离散点信号用N阶对数多项式拟合成平滑曲线；N阶对数多项式拟合的基本形式如公式(1)所示：
In(T)＝a0+a1In(t)+a2In2(t)+……+aNInN(t) (1)
式中，a0,a1,a2…aN是通过最小二乘法计算出的多项式拟合系数，N为多项式拟合的阶数；T指的是温度数据，t是时间；
保留了原始热辐射信号的特征，当N较小即进行低阶对数拟合时，可以看做一种低通滤波器来使用，将上式从对数域转化到时间域之后，可以得到公式(2)形式的重构热辐射信号，这里每个像素点在计算机中仅用数组记录下a0,a1,a2……aN这N+1个系数便能得出冷却时的温度曲线，缩减了计算量，提高计算效率；
Figure FDA0003041341740000101
式中，a0,a1,a2…aN是通过最小二乘法计算出的多项式拟合系数，N为多项式拟合的阶数；T是温度，t是时间；
步骤4：将重构之后的热辐射信号进行相位分析，即对每一个像素点的热辐射-时间拟合信号进行快速傅里叶变换，相当于将一个三维矩阵经过傅里叶变换由时域上的热辐射信号转换为频域上的相位信号或幅值信号，相位信号相比较于幅值信号更能凸显出缺陷特征，因为相位信号数据受到环境反射光照、试样表面辐射率变化、试样几何形状不规则、加热不均匀的影响十分小，可以忽略不计，相位分析模块使用的快速傅里叶变换表达式如公式(3)所示：
Figure FDA0003041341740000102
式中，T(k)为第k帧上像素点(x,y)处的温度值，n为频率离散后的序号，j为虚数单位，Rn、In对应于变换后复数的实部和虚部，N是序列图像的张数；再按公式(4)计算频率序号为n处的相位φn；
Figure FDA0003041341740000103
步骤5：将红外热图中每个像素点对应的热辐射信号重复步骤3～4，得到包含更多缺陷信息的灰度相位序列图像O；
步骤6：将步骤5所得到的相位图像通过公式(5)进行灰度级扩展，使得图像精度更高、动态灰度范围更大的灰度相位图像O'，式中i,j分别为像素点的横纵坐标， O(i,j) 是步骤5所得到的相位序列图O于像素点(i,j)处的像素值，Omax和Omin分别是相位图像中最大和最小的数据值；M是将要扩展到的灰度级位数，最终得到扩展后的灰度相位图像O'；
Figure FDA0003041341740000104
步骤7：利用红外缺陷增强算法划分灰度相位图像O'为细节层D与背景层B，低频的背景层B是具有缺陷边缘信息的平滑图像，高频的细节层D是由增强后的灰度相位图像O'与背景层B相减得到，包含原始图像中尺寸较小的缺陷细节信息；B和D由下面的表达式求出：
Figure FDA0003041341740000111
Figure FDA0003041341740000112
其中，i和k是像素索引，Bi和Di分别为背景层图像与细节层图像位于i处的像素值，每个中心为k的窗口wk有其自己的线性函数系数ak和bk；因为像素i会被多个中心位于k的窗口所包含，所以
Figure FDA0003041341740000113
和
Figure FDA0003041341740000114
是包含像素i的所有窗口的线性函数系数a,b的平均值，通过公式(8)和公式(9)可求出平均系数
Figure FDA0003041341740000115
和
Figure FDA0003041341740000116
Figure FDA0003041341740000117
Figure FDA0003041341740000118
式中，ak是当窗口中心位于k时的系数矩阵，wi是中心为像素i的窗口，wk是中心为像素k的窗口，ε是惩罚系数，
Figure FDA0003041341740000119
是灰度相位图像O'在窗口wk中的平均值，|w|是窗口wk中像素的数量，σk是灰度相位图像O'在窗口wk中的标准差；
利用
Figure FDA00030413417400001110
作为掩模与细节层图像D相乘，并引入一个增强系数λ，进而实现对D的细节增强，增强之后的图像标记为D'，再将D'与背景层B相加得到细节增强处理之后的相位图像O″，增强过程如公式(10)和公式(11)所示：
Figure FDA00030413417400001111
O″＝D'+B (11)
步骤8：再利用局部自适应伽马变换将相位图像O″量化可以显示在设备上灰度图像，进一步的增强图像，扩展有效灰度值，把公式(6)求出的背景层B设置为缓和背景，按照公式(12)计算伽马校正中的γ于像素点(i,j)处的值γ(i,j)：
Figure FDA00030413417400001112
其中，B(i,j)是背景层B于像素点(i,j)处的值，M是本步骤中扩展的灰度级数，再将相位图像O″进行均值-标准差的归一化处理，归一之后的图像矩阵记为O″′，使其位于0至1之间，处理过程如公式(13)所示：
Figure FDA0003041341740000121
其中，νmax和vmin分别为：
vmax＝mean_I+3·dev_I
vmin＝mean_I-3·dev_I (14)
公式(13)、公式(14)中i，j为像素点的横纵坐标，νmax和νmin分别为归一化计算的上下限，mean_l和dev_l分别是相位图像O″的均值和标准差；最后通过公式(15)将归一化的O″′量化为可以在设备上显示的数据：
E(i，j)＝255·O″′(i，j)γ(i，j) (15)式中，E(i，j)是量化后的图像矩阵O″′于像素点(i，j)处的像素值；
步骤9：对所有序列相位图像重复步骤7～8，得到图像增强后的序列图像E1、E2......、EN；
步骤10：但不同深度的缺陷出现的最佳时刻不在同一张图像上的问题，为了更好地观察缺陷位置，按公式(16)对前T张序列图像进行处理，确定最终的红外图像E′中像素点(i，j)的灰度值大小E′(i，j)：
E′(i，j)＝min(E1(i，j)，E2(i，j)....Ek(i，j)..，ET(i，j)) k∈(1，T) (16)
式中，E’(i，j)是T张序列图像经公式(16)处理后得到的红外图像E’于像素点(i，j)处的像素值；
对处理后的最终结果进行缺陷判读，从而根据平面标定结果测量缺陷实际尺寸及位置。
CN201810784258.3A 2018-07-17 2018-07-17 长脉冲红外无损检测序列图像处理方法与系统 Active CN109060822B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810784258.3A CN109060822B (zh) 2018-07-17 2018-07-17 长脉冲红外无损检测序列图像处理方法与系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810784258.3A CN109060822B (zh) 2018-07-17 2018-07-17 长脉冲红外无损检测序列图像处理方法与系统

Publications (2)

Publication Number Publication Date
CN109060822A CN109060822A (zh) 2018-12-21
CN109060822B true CN109060822B (zh) 2021-06-29

Family

ID=64816921

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810784258.3A Active CN109060822B (zh) 2018-07-17 2018-07-17 长脉冲红外无损检测序列图像处理方法与系统

Country Status (1)

Country Link
CN (1) CN109060822B (zh)

Families Citing this family (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109813439B (zh) * 2019-02-02 2020-04-03 湖南大学 一种主动式红外热成像热像图序列处理方法
CN109991267A (zh) * 2019-03-25 2019-07-09 电子科技大学 一种长脉冲红外无损检测装置
CN109900741B (zh) * 2019-04-03 2020-07-07 哈尔滨商业大学 考虑脉冲热激励信号上升沿与下降沿的红外热波无损检测装置及方法
CN110246118B (zh) * 2019-05-07 2021-06-01 中国人民解放军陆军工程大学 一种缺陷深度检测方法
CN110333267A (zh) * 2019-07-01 2019-10-15 武汉科技大学 一种基于rsbss红外无损检测热成像缺陷图像处理方法及系统
CN110599415B (zh) * 2019-08-29 2023-11-10 西安电子科技大学 基于局部自适应伽马校正的图像对比度增强实现方法
CN110827278B (zh) * 2019-11-27 2023-01-20 云南电网有限责任公司电力科学研究院 一种变电站绝缘子缺陷在线检测方法及装置
CN111784740B (zh) * 2020-06-24 2022-03-22 西安电子科技大学 基于目标特性的红外图像数据转换方法
CN112782226A (zh) * 2020-12-31 2021-05-11 四川沐迪圣科技有限公司 光激励红外热成像无损检测方法、系统、存储介质及终端
CN112881427B (zh) * 2021-01-13 2023-06-13 四川宇然智荟科技有限公司 可见光和红外热成像的电子元器件缺陷检测装置及方法
CN114658493B (zh) * 2022-03-18 2022-12-23 北京航空航天大学 适用于旋转的无扭转涡轮叶片的表面图像展平方法及应用

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1932882A (zh) * 2006-10-19 2007-03-21 上海交通大学 基于目标检测的红外与可见光序列图像特征级融合方法
CN102881029A (zh) * 2012-07-19 2013-01-16 中国人民解放军第二炮兵工程大学 一种热波图像序列的压缩和重构方法
CN104359944A (zh) * 2014-11-05 2015-02-18 中国人民解放军第二炮兵工程大学 一种固定视场的红外热波脉冲相位无损检测方法
CN107490599A (zh) * 2017-09-29 2017-12-19 电子科技大学 一种铅钢多层材料脱粘缺陷周期脉冲热成像检测方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1932882A (zh) * 2006-10-19 2007-03-21 上海交通大学 基于目标检测的红外与可见光序列图像特征级融合方法
CN102881029A (zh) * 2012-07-19 2013-01-16 中国人民解放军第二炮兵工程大学 一种热波图像序列的压缩和重构方法
CN104359944A (zh) * 2014-11-05 2015-02-18 中国人民解放军第二炮兵工程大学 一种固定视场的红外热波脉冲相位无损检测方法
CN107490599A (zh) * 2017-09-29 2017-12-19 电子科技大学 一种铅钢多层材料脱粘缺陷周期脉冲热成像检测方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
红外热波无损检测技术的研究现状与进展;郑凯 等;《红外技术》;20180531;第40卷(第5期);第401-411页 *

Also Published As

Publication number Publication date
CN109060822A (zh) 2018-12-21

Similar Documents

Publication Publication Date Title
CN109060822B (zh) 长脉冲红外无损检测序列图像处理方法与系统
Wang et al. Image processing based quantitative damage evaluation in composites with long pulse thermography
US8692887B2 (en) Thermal imaging method and apparatus for evaluating coatings
US6751342B2 (en) System for generating thermographic images using thermographic signal reconstruction
US7724925B2 (en) System for generating thermographic images using thermographic signal reconstruction
TW486568B (en) Method and apparatus for quantitative nondestructive evaluation of metal airfoils using high resolution transient thermography
Aldave et al. Review of thermal imaging systems in composite defect detection
EP1203224B1 (en) Synthetic reference thermal imaging method
US8577120B1 (en) Methods and systems for characterization of an anomaly using infrared flash thermography
JP5178001B2 (ja) 絶縁塗膜の非破壊評価の装置
Usamentiaga et al. More than fifty shades of grey: Quantitative characterization of defects and interpretation using SNR and CNR
Zhao et al. A novel defect depth measurement method based on Nonlinear System Identification for pulsed thermographic inspection
Holland Thermographic signal reconstruction for vibrothermography
US20110299752A1 (en) Method for implementing depth deconvolution algorithm for enhanced thermal tomography 3d imaging
Sharath et al. Defect characterization using pulsed thermography
KR20020035105A (ko) 열 공진 촬영 방법
Usamentiaga et al. A quantitative comparison of stimulation and post-processing thermographic inspection methods applied to aeronautical carbon fibre reinforced polymer
Orazi et al. Thermographic analysis of bronze sculptures
Zhao et al. A coefficient clustering analysis for damage assessment of composites based on pulsed thermographic inspection
CN108693195B (zh) 绝缘子表面污秽程度测量方法、装置及系统
US7805251B2 (en) Two slope reference for synthetic thermal time of flight imaging
CN114324329B (zh) 光学元件强激光损伤特性的无损检测与评价方法
Li et al. Thickness measurement research using transmission step-heating thermography
Silva et al. Analyzing the influence of thermal NDT parameters on test performance
WO2002089042A1 (en) System for generating thermographic images using thermographic signal reconstruction

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant