CN109102455A - 缺陷检测方法、检测图像生成方法、系统及存储设备 - Google Patents
缺陷检测方法、检测图像生成方法、系统及存储设备 Download PDFInfo
- Publication number
- CN109102455A CN109102455A CN201810980243.4A CN201810980243A CN109102455A CN 109102455 A CN109102455 A CN 109102455A CN 201810980243 A CN201810980243 A CN 201810980243A CN 109102455 A CN109102455 A CN 109102455A
- Authority
- CN
- China
- Prior art keywords
- amplitude
- image
- max
- scanning element
- time
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 83
- 230000007547 defect Effects 0.000 title claims abstract description 81
- 238000000034 method Methods 0.000 title claims abstract description 58
- 238000007689 inspection Methods 0.000 title claims abstract description 11
- 238000003860 storage Methods 0.000 title claims abstract description 10
- 239000002131 composite material Substances 0.000 claims abstract description 92
- 238000004364 calculation method Methods 0.000 claims abstract description 9
- 230000004927 fusion Effects 0.000 claims description 29
- 230000009466 transformation Effects 0.000 claims description 14
- 238000000354 decomposition reaction Methods 0.000 claims description 13
- 238000001328 terahertz time-domain spectroscopy Methods 0.000 claims description 12
- IJGRMHOSHXDMSA-UHFFFAOYSA-N Atomic nitrogen Chemical compound N#N IJGRMHOSHXDMSA-UHFFFAOYSA-N 0.000 claims description 10
- 238000004590 computer program Methods 0.000 claims description 9
- 229910052757 nitrogen Inorganic materials 0.000 claims description 5
- 239000002023 wood Substances 0.000 claims description 2
- 239000011810 insulating material Substances 0.000 abstract description 6
- 238000009659 non-destructive testing Methods 0.000 abstract description 4
- 239000000523 sample Substances 0.000 description 55
- 238000010586 diagram Methods 0.000 description 11
- 239000013307 optical fiber Substances 0.000 description 9
- 230000003287 optical effect Effects 0.000 description 7
- 239000000463 material Substances 0.000 description 6
- 238000005516 engineering process Methods 0.000 description 5
- 238000012545 processing Methods 0.000 description 5
- 239000013598 vector Substances 0.000 description 5
- 210000001367 artery Anatomy 0.000 description 4
- 230000005540 biological transmission Effects 0.000 description 4
- 230000006870 function Effects 0.000 description 4
- 210000003462 vein Anatomy 0.000 description 4
- 150000001875 compounds Chemical class 0.000 description 3
- 238000009833 condensation Methods 0.000 description 3
- 230000005494 condensation Effects 0.000 description 3
- 238000002156 mixing Methods 0.000 description 3
- 230000005855 radiation Effects 0.000 description 3
- 238000004611 spectroscopical analysis Methods 0.000 description 3
- 239000006185 dispersion Substances 0.000 description 2
- 239000000835 fiber Substances 0.000 description 2
- 239000003365 glass fiber Substances 0.000 description 2
- 230000006872 improvement Effects 0.000 description 2
- 239000012774 insulation material Substances 0.000 description 2
- 238000005259 measurement Methods 0.000 description 2
- 230000008569 process Effects 0.000 description 2
- 238000005086 pumping Methods 0.000 description 2
- 230000035945 sensitivity Effects 0.000 description 2
- 230000003595 spectral effect Effects 0.000 description 2
- 238000001228 spectrum Methods 0.000 description 2
- 239000000126 substance Substances 0.000 description 2
- 238000010408 sweeping Methods 0.000 description 2
- 238000010521 absorption reaction Methods 0.000 description 1
- 230000003321 amplification Effects 0.000 description 1
- 239000012491 analyte Substances 0.000 description 1
- 230000015556 catabolic process Effects 0.000 description 1
- 239000012141 concentrate Substances 0.000 description 1
- 230000008878 coupling Effects 0.000 description 1
- 238000010168 coupling process Methods 0.000 description 1
- 238000005859 coupling reaction Methods 0.000 description 1
- 230000007812 deficiency Effects 0.000 description 1
- 230000002708 enhancing effect Effects 0.000 description 1
- 239000003822 epoxy resin Substances 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 239000004615 ingredient Substances 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 239000000155 melt Substances 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 238000003199 nucleic acid amplification method Methods 0.000 description 1
- 230000035515 penetration Effects 0.000 description 1
- 229920000647 polyepoxide Polymers 0.000 description 1
- 238000004080 punching Methods 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 229920002379 silicone rubber Polymers 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T1/00—General purpose image data processing
- G06T1/0007—Image acquisition
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
- G01N21/84—Systems specially adapted for particular applications
- G01N21/88—Investigating the presence of flaws or contamination
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0004—Industrial image inspection
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
- G01N21/84—Systems specially adapted for particular applications
- G01N21/88—Investigating the presence of flaws or contamination
- G01N21/8851—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
- G01N2021/8887—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges based on image processing techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20212—Image combination
- G06T2207/20221—Image fusion; Image merging
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Health & Medical Sciences (AREA)
- Biochemistry (AREA)
- Analytical Chemistry (AREA)
- Chemical & Material Sciences (AREA)
- Immunology (AREA)
- Pathology (AREA)
- Life Sciences & Earth Sciences (AREA)
- Health & Medical Sciences (AREA)
- Quality & Reliability (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Investigating Or Analysing Materials By Optical Means (AREA)
Abstract
本发明公开了一种缺陷检测方法、检测图像生成方法、系统及存储设备,所述复合材料缺陷检测方法包括:采集复合材料样品各扫描点的太赫兹时域透射脉冲;对各扫描点的太赫兹时域透射脉冲进行分析计算,生成绝缘材料样品的幅值灰度图和对应的时间灰度图;对幅值灰度图和对应的时间灰度图进行图像融合,生成绝缘材料样品的缺陷检测图像。本发明可以提高缺陷检测图像的对比度和清晰度,应用于电力复合套管绝缘材料的缺陷检测中能够快速、准确地实现对电力复合套管绝缘材料内部缺陷的无损检测。
Description
技术领域
本发明涉及太赫兹无损检测技术领域,尤其涉及一种缺陷检测方法、检测图像生成方法、系统及存储设备。
背景技术
电力绝缘材料通常为复合材料,如:电力复合套管外层为硅橡胶、内层为玻璃纤维增强的环氧树脂复合材料。传统的复合材料无损检测多采用超声波、射线等检测技术,但由于衰减和干涉过大的原因,难以对其中的微小缺陷进行检测。
太赫兹时域光谱(Terahertz time-domain spectroscopy,简称THz-TDS)技术是基于超快激光技术的远红外波段光谱测量新技术,利用物质对THz辐射的特征吸收分析物质成分、结构等信息。太赫兹波的频率范围为0.1THz到10THz,波长为0.3mm,在电磁波谱中位于微波与红外波段之间。THz-TDS技术是近年来发展较为迅速的无损检测技术,其对大多数非极性物质都呈透明性质,且具有穿透能力强、光子能量低、不构成辐射危害、可进行时间分辨的光谱测量等特性。
基于太赫兹光谱的优点,现有技术中有一种太赫兹时域光谱技术的玻璃纤维复合材料缺陷检测方法,采用透射式太赫兹时域光谱系统对复合材料进行检测,提取时域光谱数据,根据时域光谱数据计算所有样品点对应的图像灰度值,最终生成样品的灰度图,根据所述灰度图进行缺陷判别,但根据时域光谱数据计算生成的灰度图存在对比度和清晰度低下的技术问题,导致复合材料缺陷检测精度偏低、响应速度慢。
发明内容
本发明的目的在于克服现有技术中的不足,提供一种缺陷检测方法、检测图像生成方法、系统及存储设备,能够降低复合材料缺陷检测难度、提高缺陷检测图像的对比度和清晰度。
第一方面,提供了一种缺陷检测图像生成方法,所述方法包括:
采集复合材料样品各扫描点的太赫兹时域透射脉冲;
对各扫描点的太赫兹时域透射脉冲进行分析计算,生成复合材料样品的幅值灰度图和对应的时间灰度图;
对幅值灰度图和对应的时间灰度图进行图像融合,生成复合材料样品的缺陷检测图像。
结合第一方面,进一步的,生成复合材料样品的幅值灰度图的方法包括:
计算所有扫描点时域脉冲幅值中的最大值Imax和最小值Imin,其中:扫描点时域脉冲幅值是指该扫描点的太赫兹时域透射脉冲回波中的最大幅值;
根据公式(1)计算各扫描点的幅值灰度值:
Gray(Ii)=(Gmax-Gmin)×(Ii-Imin)÷(Imax-Imin)+Gmin (1)
式中:Gray(Ii)为扫描点i的幅值灰度值;Gmax为最大值Imax对应的灰度值,Gmax=255;Gmin为最小值Imin对应的灰度值,Gmin=0;Ii为扫描点i的时域脉冲幅值;
根据各扫描点的幅值灰度值生成复合材料样品的幅值灰度图像。
结合第一方面,进一步的,生成复合材料样品的幅值灰度图对应的时间灰度图的方法包括:
计算所有扫描点时域脉冲幅值中的最大值Imax和最小值Imin,以及最大值Imax的发生时间Tmax、最小值Imin的发生时间Tmin,其中:扫描点时域脉冲幅值是指该扫描点的太赫兹时域透射脉冲回波中的最大幅值;
根据公式(2)计算各扫描点的幅值灰度值对应的时间灰度值:
Gray(Ti)=(Gmax-Gmin)×(Ti-Tmax)÷(Tmin-Tmax)+Gmin (2)
式中:Gray(Ti)为扫描点i的时间灰度值;Gmax为最大值Imax对应的灰度值,Gmax=255;Gmin为最小值Imin对应的灰度值,Gmin=0;Ti为扫描点i发生时域脉冲幅值的发生时间;
根据各扫描点的幅值灰度值对应的时间灰度值生成复合材料样品的时间灰度图像。
结合第一方面,进一步的,对幅值灰度图和对应的时间灰度图进行图像融合的方法包括:
分别对幅值灰度图和对应的时间灰度图进行三层小波分解,分别获取两幅灰度图的1个低频子带和3个高频子带;
对幅值灰度图和对应的时间灰度图的低频子带进行加和平均,获得低频系数;
选择幅值灰度图的3个高频子带作为3个高频系数;
将由低频子带融合获得的低频系数和高频子带融合获得的3个高频系数进行小波逆变换,获得融合后的图像。
第二方面,提供了一种计算机可读存储介质,其上存储有计算机程序,该程序被处理器执行时实现第一方面任一项所述复合材料缺陷检测图像生成方法的步骤。
第三方面,提供了一种缺陷检测图像生成系统,包括存储器和处理器;
所述存储器用于存储指令;
所述处理器用于根据所述指令进行操作以执行第一方面任一项所述复合材料缺陷检测图像生成方法的步骤。
第四方面,提供了一种缺陷检测图像生成系统,包括:
采集模块:用于采集复合材料样品各扫描点的太赫兹时域透射脉冲;
灰度图生成模块:用于对各扫描点的太赫兹时域透射脉冲进行分析计算,生成复合材料样品的幅值灰度图和对应的时间灰度图;
图像融合模块:用于对幅值灰度图和对应的时间灰度图进行图像融合,生成复合材料样品的缺陷检测图像。
结合第四方面,进一步的,所述灰度图像生成模块包括幅值灰度图生成模块,用于根据下述方法生成复合材料样品的幅值灰度图:
计算所有扫描点时域脉冲幅值中的最大值Imax和最小值Imin,其中:扫描点时域脉冲幅值是指该扫描点的太赫兹时域透射脉冲回波中的最大幅值;
根据公式(3)计算各扫描点的幅值灰度值:
Gray(Ii)=(Gmax-Gmin)×(Ii-Imin)÷(Imax-Imin)+Gmin (3)
式中:Gray(Ii)为扫描点i的幅值灰度值;Gmax为最大值Imax对应的灰度值,Gmax=255;Gmin为最小值Imin对应的灰度值,Gmin=0;Ii为扫描点i的时域脉冲幅值;
根据各扫描点的幅值灰度值生成复合材料样品的幅值灰度图像。
结合第四方面,进一步的,所述灰度图像生成模块包括时间灰度图生成模块,用于根据下述方法生成复合材料样品的时间灰度图像:
计算所有扫描点时域脉冲幅值中的最大值Imax和最小值Imin,以及最大值Imax的发生时间Tmax、最小值Imin的发生时间Tmin,其中:扫描点时域脉冲幅值是指该扫描点的太赫兹时域透射脉冲回波中的最大幅值;
根据公式(4)计算各扫描点的幅值灰度值对应的时间灰度值:
Gray(Ti)=(Gmax-Gmin)×(Ti-Tmax)÷(Tmin-Tmax)+Gmin (4)
式中:Gray(Ti)为扫描点i的时间灰度值;Gmax为最大值Imax对应的灰度值,Gmax=255;Gmin为最小值Imin对应的灰度值,Gmin=0;Ti为扫描点i发生时域脉冲幅值的发生时间;
根据各扫描点的幅值灰度值对应的时间灰度值生成复合材料样品的时间灰度图像。
结合第四方面,进一步的,所述图像融合模块包括:
小波分解模块:用于分别对幅值灰度图和对应的时间灰度图进行三层小波分解,分别获取两幅灰度图的1个低频子带和3个高频子带;
低频子带融合模块:用于对幅值灰度图和对应的时间灰度图的低频子带进行加和平均,获得低频系数;
高频子带融合模块:用于选择幅值灰度图的3个高频子带作为3个高频系数;
小波逆变换模块:用于将由低频子带融合获得的低频系数和高频子带融合获得的3个高频系数进行小波逆变换,获得融合后的图像。
第五方面,提供了一种缺陷检测方法,所述方法包括:
采用太赫兹波对复合材料样品进行逐点扫描;
采用第一方面任一项所述复合材料缺陷检测图像生成方法获取复合材料样品的缺陷检测图像;
对缺陷检测图像进行分析判断,获取缺陷检测结果。
结合第五方面,优选的,所述太赫兹波以0.1mm/次~1mm/次的步进对复合材料样品进行逐点扫描。
结合第五方面,优选的,所述太赫兹波的频率范围是:0.02~5THz。
结合第五方面,优选的,对复合材料样品进行逐点扫描前,应将复合材料样品置于充有氮气的检测箱内,检测箱内湿度不大于4%。
第六方面,提供了一种复合材料缺陷检测系统,包括:
太赫兹时域光谱系统:用于输出太赫兹波,对复合材料样品进行逐点扫描;
第三方面或第四方面任一项所述图像生成系统:用于生成复合材料样品的缺陷检测图像;
缺陷检测结果输出模块:用于对缺陷检测图像进行分析判断,获取缺陷检测结果。
本发明提供的缺陷检测方法、检测图像生成方法、系统及存储设备,采用基于时域波形幅值和时间的灰度值成像方式,对幅值灰度图和对应的时间灰度图进行小波图像融合,可以提高缺陷检测图像的对比度和清晰度,应用于电力复合套管绝缘材料的缺陷检测中能够快速、准确地对电力复合套管绝缘材料进行内部缺陷无损检测;通过充氮气的方式在低湿度的环境中进行测量,抑制了水蒸气对太赫兹波吸收的影响,提高了信噪比,从而保证了缺陷检测的灵敏度。
附图说明
为了更清楚地说明本方实施例的技术方案,下面将对本发明实施例中所需要使用的附图作简单地介绍,显而易见地,下面所描述的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1是太赫兹时域光谱系统的结构示意图;
图2是对复合材料样品进行逐点扫描的一种扫描方式示意图;
图3是对复合材料样品进行逐点扫描的另一种扫描方式示意图;
图4是复合材料样品中某一扫描点的太赫兹波时域信号图;
图5是本发明实施例复合材料样品的外观图;
图6是本发明实施例复合材料样品的幅值灰度图;
图7是本发明实施例复合材料样品的时间灰度图;
图8是本发明实施例复合材料样品的缺陷检测图像。
具体实施方式
下面结合附图对本发明作进一步描述。以下实施例仅用于更加清楚地说明本发明的技术方案,显然,所描述的实施例仅是本发明的一部分实施例,而不是全部实施例,不能以此来限制本发明的保护范围。
在电力绝缘材料缺陷检测之前应首先搭建太赫兹时域光谱系统,如图1所示,是本发明所采用的太赫兹时域光谱系统的结构示意图,包括飞秒激光源、光纤传输系统、太赫兹辐射源、太赫兹探测器及光纤延迟系统:
飞秒激光源可以采用钛宝石飞秒激光源,中心波长为980nm,脉宽为80fs,重复频率为100MHz,输出功率为20mW,最终产生的太赫兹波的频率范围是:0.02~5THz;
光纤传输系统包括:色散预补偿模块、光纤耦合器、两路光纤分路器及光纤传输线;
太赫兹辐射源使用大孔径光电导天线模块,太赫兹辐射源的电极两端施加外置偏压交流电场;
太赫兹探测器采用小孔径光电导天线模块,太赫兹探测器的电极间的电流输出通过电流放大器进行信号放大;
光纤延迟系统采用电控光纤延迟模块,最大延迟时间约为300ps。
太赫兹时域光谱系统工作时,钛宝石飞秒激光源输出的超短飞秒脉冲首先进入由一个平行放置光栅对构成的色散预补偿模块,引入一个非常大的负啁啾,导致超短飞秒脉冲的脉冲宽度反向展宽到几十皮秒;然后通过光纤耦合器将空间光耦合入光纤传输,接着利用一个1×2光纤分路器(60:40)将光束为两部分,其中功率较大的一路为泵浦光路,功率较小的一路为探测光路:泵浦光路再引入一个1×2光纤分路器(90:10)将光束分为两路,其中:功率较小的一路用于功率监控以及脉冲宽度测量,功率较大的一路用于激发大孔径光电导天线模块产生太赫兹辐射。探测光路引入一个电控光纤延迟系统,实现0-25mm的可变光路距离时间延迟,然后进行小孔径光电导天线模块采样探测。另外,太赫兹探测器输出的信号非常弱,探测得到的电流一般在nA级,很容易湮没在噪声信号中,因此计算机需要借助锁相放大器实现信号提取。
本发明提供的复合材料缺陷检测方法是采用上述太赫兹时域光谱系统输出的太赫兹波实现的,具体方法如下:
具体方法如下:
步骤一:构建检测环境:将前述的太赫兹时域光谱系统连接于密闭的检测箱上,将待检测复合材料的样品置于检测箱内,通过充氮气的方式使检测箱内的湿度不大于4%。通过充氮气的方式在低湿度的环境中进行测量,能够抑制了水蒸气对太赫兹波吸收的影响,提高了信噪比,从而保证了缺陷检测的灵敏度。
步骤二:采集太赫兹时域透射脉冲:控制太赫兹波探头以0.1mm/次~1mm/次的步进对复合材料样品进行逐点扫描,获取各扫描点的太赫兹时域透射脉冲。
如图2和图3所示,是对复合材料样品进行逐点扫描的两种扫描方式示意图。
步骤三:生成灰度图:对各扫描点的太赫兹时域透射脉冲进行分析计算,生成复合材料样品的幅值灰度图和对应的时间灰度图。具体方法如下:
计算所有扫描点时域脉冲幅值中的最大值Imax和最小值Imin,以及最大值Imax的发生时间Tmax、最小值Imin的发生时间Tmin,其中:扫描点时域脉冲幅值是指该扫描点的太赫兹时域透射脉冲回波中的最大幅值;
根据公式(1)计算各扫描点的幅值灰度值:
Gray(Ii)=(Gmax-Gmin)×(Ii-Imin)÷(Imax-Imin)+Gmin (1)
根据公式(2)计算各扫描点的幅值灰度值对应的时间灰度值:
Gray(Ti)=(Gmax-Gmin)×(Ti-Tmax)÷(Tmin-Tmax)+Gmin (2)
式中:Gray(Ii)为扫描点i的幅值灰度值;Gray(Ti)为扫描点i的时间灰度值;Gmax为最大值Imax对应的灰度值,Gmax=255;Gmin为最小值Imin对应的灰度值,Gmin=0;如图4所示,Ii为扫描点i的时域脉冲幅值;Ti为扫描点i发生时域脉冲幅值Ii的发生时间;
最后,根据各扫描点的幅值灰度值生成复合材料样品的幅值灰度图像,根据各扫描点的幅值灰度值对应的时间灰度值生成复合材料样品的时间灰度图像。
如图5所示,是本发明实施例复合材料样品的外观图;如图6、图7所示,分别是本发明实施例复合材料样品的幅值灰度图和相对应的时间灰度图。
步骤四:图像融合:对幅值灰度图和对应的时间灰度图进行图像融合,生成复合材料样品的缺陷检测图像。如图8所示,是本发明实施例复合材料样品的缺陷检测图像,可见:融合后的图像边缘更加平滑,具有较高的清晰度,更易于缺陷的识别。
本发明采用三层小波分解和Symlets小波基的方法对幅值灰度图和对应的时间灰度图进行图像融合。选定了小波基,通过小波变换可以把图像分解为小波系数(低频子带、高频子带),反过来,有了小波系数,通过小波逆变换,可以把系数变成图像。也就是说,先把两幅灰度图通过小波变换分别分解为4个向量(矩阵),其中1个低频,3个高频,然后将两幅灰度图的低频向量取平均值得到1个新的低频向量(低频系数),选取幅值灰度图的3个高频向量作为新的高频向量(高频系数),然后把这个新的低频系数和高频系数通过小波逆变换就可以得到一幅融合图像。
图像融合的具体方法如下:
步骤401:分别对幅值灰度图(以下简称图像a)和对应的时间灰度图(以下简称图像b)进行3层小波分解,小波基选用Symlets,每副灰度图可得到3+1个子频带,其中1个低频子带(近似系数)和3个高频子带(细节系数),实现图像的小波塔型分解。图像的低频信息集中在近似系数中,决定了图像的主要轮廓,而高频信息集中在细节系数中,决定了图像的边缘。小波分解的主要作用是将融合图像分解到不同的子频带上,从而可以在不同的子频带分别进行融合处理。
步骤402:分别对两幅待融合图像的各个子频带进行融合处理,即将图像a的低频子带和图像b的低频子带进行融合、将图像a的高频子带和图像b的高频子带进行融合。
低频子带的融合规则是对幅值灰度图和对应的时间灰度图的低频子带进行加和平均,以获得低频系数。
高频子带的融合规则是直接选择幅值灰度图的3个高频子带作为3个高频系数。
步骤403:对融合后得到的小波系数进行小波逆变换,获得融合图像c,即最终的复合材料样品的缺陷检测图像。对幅值灰度图和对应的时间灰度图进行小波图像融合,可以提高缺陷检测图像的对比度和清晰度。
步骤五:缺陷检测结果判别及输出:对缺陷检测图像进行分析判断,获取缺陷检测结果。以图8为例,存在缺陷的地方明显呈现较低的灰度(白色),而且缺陷越大,缺陷处的影像越白亮,而没有缺陷的地方呈黑色。
本发明提供的复合材料缺陷检测图像生成方法,包括:
步骤A:采集复合材料样品各扫描点的太赫兹时域透射脉冲;
步骤B:对各扫描点的太赫兹时域透射脉冲进行分析计算,生成复合材料样品的幅值灰度图和对应的时间灰度图;
计算所有扫描点时域脉冲幅值中的最大值Imax和最小值Imin,以及最大值Imax的发生时间Tmax、最小值Imin的发生时间Tmin,其中:扫描点时域脉冲幅值是指该扫描点的太赫兹时域透射脉冲回波中的最大幅值;
根据公式(3)计算各扫描点的幅值灰度值:
Gray(Ii)=(Gmax-Gmin)×(Ii-Imin)÷(Imax-Imin)+Gmin (3)
根据公式(4)计算各扫描点的幅值灰度值对应的时间灰度值:
Gray(Ti)=(Gmax-Gmin)×(Ti-Tmax)÷(Tmin-Tmax)+Gmin (4)
式中:Gray(Ii)为扫描点i的幅值灰度值;Gray(Ti)为扫描点i的时间灰度值;Gmax为最大值Imax对应的灰度值,Gmax=255;Gmin为最小值Imin对应的灰度值,Gmin=0;如图4所示,Ii为扫描点i的时域脉冲幅值;Ti为扫描点i发生时域脉冲幅值Ii的发生时间;
最后,根据各扫描点的幅值灰度值生成复合材料样品的幅值灰度图像,根据各扫描点的幅值灰度值对应的时间灰度值生成复合材料样品的时间灰度图像。
步骤C:对幅值灰度图和对应的时间灰度图进行图像融合,生成复合材料样品的缺陷检测图像。图像融合的方法包括:
小波分解:分别对幅值灰度图和对应的时间灰度图进行三层小波分解,分别获取两幅灰度图的1个低频子带和3个高频子带;
低频子带融合:对幅值灰度图和对应的时间灰度图的低频子带进行加和平均,获得低频系数;
高频子带融合:选择幅值灰度图的3个高频子带作为3个高频系数;
小波逆变换:将由低频子带融合获得的低频系数和高频子带融合获得的3个高频系数进行小波逆变换,获得融合后的图像。
本发明提供的一种复合材料缺陷检测图像生成系统,包括存储器和处理器;
所述存储器用于存储指令;
所述处理器用于根据所述指令进行操作以执行前述复合材料缺陷检测图像生成方法的步骤。
本发明提供的一种复合材料缺陷检测图像生成系统,还可以是:包括采集模块、灰度图生成模块和图像融合模块。具体如下:
(a)采集模块:用于采集复合材料样品各扫描点的太赫兹时域透射脉冲;
(b)灰度图生成模块:用于对各扫描点的太赫兹时域透射脉冲进行分析计算,生成复合材料样品的幅值灰度图和对应的时间灰度图;
灰度生成模块包括:幅值灰度图生成模块和时间灰度图生成模块。
其中:幅值灰度图生成模块:用于根据下述方法生成复合材料样品的幅值灰度图:
计算所有扫描点时域脉冲幅值中的最大值Imax和最小值Imin,其中:扫描点时域脉冲幅值是指该扫描点的太赫兹时域透射脉冲回波中的最大幅值;
根据公式(5)计算各扫描点的幅值灰度值:
Gray(Ii)=(Gmax-Gmin)×(Ii-Imin)÷(Imax-Imin)+Gmin (5)
式中:Gray(Ii)为扫描点i的幅值灰度值;Gmax为最大值Imax对应的灰度值,Gmax=255;Gmin为最小值Imin对应的灰度值,Gmin=0;Ii为扫描点i的时域脉冲幅值;
根据各扫描点的幅值灰度值生成复合材料样品的幅值灰度图像。
时间灰度图生成模块,用于根据下述方法生成复合材料样品的时间灰度图像:
计算所有扫描点时域脉冲幅值中的最大值Imax和最小值Imin,以及最大值Imax的发生时间Tmax、最小值Imin的发生时间Tmin,其中:扫描点时域脉冲幅值是指该扫描点的太赫兹时域透射脉冲回波中的最大幅值;
根据公式(6)计算各扫描点的幅值灰度值对应的时间灰度值:
Gray(Ti)=(Gmax-Gmin)×(Ti-Tmax)÷(Tmin-Tmax)+Gmin (6)
式中:Gray(Ti)为扫描点i的幅值灰度值;Gmax为最大值Imax对应的灰度值,Gmax=255;Gmin为最小值Imin对应的灰度值,Gmin=0;Ti为扫描点i发生时域脉冲幅值的发生时间;
根据各扫描点的幅值灰度值对应的时间灰度值生成复合材料样品的时间灰度图像。
(c)图像融合模块:用于对幅值灰度图和对应的时间灰度图进行图像融合,生成复合材料样品的缺陷检测图像。所述图像融合模块包括:
小波分解模块:用于分别对幅值灰度图和对应的时间灰度图进行三层小波分解,分别获取两幅灰度图的1个低频子带和3个高频子带;
低频子带融合模块:用于对幅值灰度图和对应的时间灰度图的低频子带进行加和平均,获得低频系数;
高频子带融合模块:用于选择幅值灰度图的3个高频子带作为3个高频系数;
小波逆变换模块:用于将由低频子带融合获得的低频系数和高频子带融合获得的3个高频系数进行小波逆变换,获得融合后的图像。
本发明提供的复合材料缺陷检测系统,包括:
太赫兹时域光谱系统:用于输出太赫兹波,对复合材料样品进行逐点扫描;
前述任一项图像生成系统:用于生成复合材料样品的缺陷检测图像;
缺陷检测结果输出模块:用于对缺陷检测图像进行分析判断,获取缺陷检测结果。
本领域内的技术人员应明白,本申请的实施例可提供为方法、系统、或计算机程序产品。因此,本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且,本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本申请是参照根据本申请实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器,使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中,使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品,该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上,使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理,从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
以上所述仅是本发明的优选实施方式,应当指出,对于本技术领域的普通技术人员来说,在不脱离本发明技术原理的前提下,还可以做出若干改进和变形,这些改进和变形也应视为本发明的保护范围。
Claims (15)
1.一种缺陷检测图像生成方法,其特征在于,所述方法包括:
采集复合材料样品各扫描点的太赫兹时域透射脉冲;
对各扫描点的太赫兹时域透射脉冲进行分析计算,生成复合材料样品的幅值灰度图和对应的时间灰度图;
对幅值灰度图和对应的时间灰度图进行图像融合,生成复合材料样品的缺陷检测图像。
2.根据权利要求1所述的缺陷检测图像生成方法,其特征在于,生成复合材料样品的幅值灰度图的方法包括:
计算所有扫描点时域脉冲幅值中的最大值Imax和最小值Imin,其中:扫描点时域脉冲幅值是指该扫描点的太赫兹时域透射脉冲回波中的最大幅值;
根据公式(1)计算各扫描点的幅值灰度值:
Gray(Ii)=(Gmax-Gmin)×(Ii-Imin)÷(Imax-Imin)+Gmin (1)
式中:Gray(Ii)为扫描点i的幅值灰度值;Gmax为最大值Imax对应的灰度值,Gmax=255;Gmin为最小值Imin对应的灰度值,Gmin=0;Ii为扫描点i的时域脉冲幅值;
根据各扫描点的幅值灰度值生成复合材料样品的幅值灰度图像。
3.根据权利要求1所述的缺陷检测图像生成方法,其特征在于,生成复合材料样品的幅值灰度图对应的时间灰度图的方法包括:
计算所有扫描点时域脉冲幅值中的最大值Imax和最小值Imin,以及最大值Imax的发生时间Tmax、最小值Imin的发生时间Tmin,其中:扫描点时域脉冲幅值是指该扫描点的太赫兹时域透射脉冲回波中的最大幅值;
根据公式(2)计算各扫描点的幅值灰度值对应的时间灰度值:
Gray(Ti)=(Gmax-Gmin)×(Ti-Tmax)÷(Tmin-Tmax)+Gmin (2)
式中:Gray(Ti)为扫描点i的时间灰度值;Gmax为最大值Imax对应的灰度值,Gmax=255;Gmin为最小值Imin对应的灰度值,Gmin=0;Ti为扫描点i发生时域脉冲幅值的发生时间;
根据各扫描点的幅值灰度值对应的时间灰度值生成复合材料样品的时间灰度图像。
4.根据权利要求1所述的缺陷检测图像生成方法,其特征在于,对幅值灰度图和对应的时间灰度图进行图像融合的方法包括:
分别对幅值灰度图和对应的时间灰度图进行三层小波分解,分别获取两幅灰度图的1个低频子带和3个高频子带;
对幅值灰度图和对应的时间灰度图的低频子带进行加和平均,获得低频系数;
选择幅值灰度图的3个高频子带作为3个高频系数;
将由低频子带融合获得的低频系数和高频子带融合获得的3个高频系数进行小波逆变换,获得融合后的图像。
5.一种计算机可读存储介质,其上存储有计算机程序,其特征在于,该程序被处理器执行时实现权利要求1~4任一项所述方法的步骤。
6.一种缺陷检测图像生成系统,其特征在于,包括存储器和处理器;
所述存储器用于存储指令;
所述处理器用于根据所述指令进行操作以执行根据权利要求1~4任一项所述方法的步骤。
7.一种缺陷检测图像生成系统,其特征在于,包括:
采集模块:用于采集复合材料样品各扫描点的太赫兹时域透射脉冲;
灰度图生成模块:用于对各扫描点的太赫兹时域透射脉冲进行分析计算,生成复合材料样品的幅值灰度图和对应的时间灰度图;
图像融合模块:用于对幅值灰度图和对应的时间灰度图进行图像融合,生成复合材料样品的缺陷检测图像。
8.根据权利要求7所述的缺陷检测图像生成系统,其特征在于,所述灰度图像生成模块包括幅值灰度图生成模块,用于根据下述方法生成复合材料样品的幅值灰度图:
计算所有扫描点时域脉冲幅值中的最大值Imax和最小值Imin,其中:扫描点时域脉冲幅值是指该扫描点的太赫兹时域透射脉冲回波中的最大幅值;
根据公式(3)计算各扫描点的幅值灰度值:
Gray(Ii)=(Gmax-Gmin)×(Ii-Imin)÷(Imax-Imin)+Gmin (3)
式中:Gray(Ii)为扫描点i的幅值灰度值;Gmax为最大值Imax对应的灰度值,Gmax=255;Gmin为最小值Imin对应的灰度值,Gmin=0;Ii为扫描点i的时域脉冲幅值;
根据各扫描点的幅值灰度值生成复合材料样品的幅值灰度图像。
9.根据权利要求7所述的缺陷检测图像生成系统,其特征在于,所述灰度图像生成模块包括时间灰度图生成模块,用于根据下述方法生成复合材料样品的时间灰度图像:
计算所有扫描点时域脉冲幅值中的最大值Imax和最小值Imin,以及最大值Imax的发生时间Tmax、最小值Imin的发生时间Tmin,其中:扫描点时域脉冲幅值是指该扫描点的太赫兹时域透射脉冲回波中的最大幅值;
根据公式(4)计算各扫描点的幅值灰度值对应的时间灰度值:
Gray(Ti)=(Gmax-Gmin)×(Ti-Tmax)÷(Tmin-Tmax)+Gmin (4)
式中:Gray(Ti)为扫描点i的时间灰度值;Gmax为最大值Imax对应的灰度值,Gmax=255;Gmin为最小值Imin对应的灰度值,Gmin=0;Ti为扫描点i发生时域脉冲幅值的发生时间;
根据各扫描点的幅值灰度值对应的时间灰度值生成复合材料样品的时间灰度图像。
10.根据权利要求7所述的缺陷检测图像生成系统,其特征在于,所述图像融合模块包括:
小波分解模块:用于分别对幅值灰度图和对应的时间灰度图进行三层小波分解,分别获取两幅灰度图的1个低频子带和3个高频子带;
低频子带融合模块:用于对幅值灰度图和对应的时间灰度图的低频子带进行加和平均,获得低频系数;
高频子带融合模块:用于选择幅值灰度图的3个高频子带作为3个高频系数;
小波逆变换模块:用于将由低频子带融合获得的低频系数和高频子带融合获得的3个高频系数进行小波逆变换,获得融合后的图像。
11.一种缺陷检测方法,其特征在于,所述方法包括:
采用太赫兹波对复合材料样品进行逐点扫描;
采用权利要求1至4任一项所述的方法获取复合材料样品的缺陷检测图像;
对缺陷检测图像进行分析判断,获取缺陷检测结果。
12.根据权利要求11所述的缺陷检测方法,其特征在于,所述太赫兹波以0.1mm/次~1mm/次的步进对复合材料样品进行逐点扫描。
13.根据权利要求11所述的缺陷检测方法,其特征在于,所述太赫兹波的频率范围是:0.02~5THz。
14.根据权利要求11所述的缺陷检测方法,其特征在于,对复合材料样品进行逐点扫描前,应将复合材料样品置于充有氮气的检测箱内,检测箱内湿度不大于4%。
15.一种缺陷检测系统,其特征在于,包括:
太赫兹时域光谱系统:用于输出太赫兹波,对复合材料样品进行逐点扫描;
权利要求6~10任一项所述的图像生成系统:用于生成复合材料样品的缺陷检测图像;
缺陷检测结果输出模块:用于对缺陷检测图像进行分析判断,获取缺陷检测结果。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201810980243.4A CN109102455B (zh) | 2018-08-27 | 2018-08-27 | 缺陷检测方法、检测图像生成方法、系统及存储设备 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201810980243.4A CN109102455B (zh) | 2018-08-27 | 2018-08-27 | 缺陷检测方法、检测图像生成方法、系统及存储设备 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN109102455A true CN109102455A (zh) | 2018-12-28 |
CN109102455B CN109102455B (zh) | 2022-09-09 |
Family
ID=64851226
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201810980243.4A Active CN109102455B (zh) | 2018-08-27 | 2018-08-27 | 缺陷检测方法、检测图像生成方法、系统及存储设备 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN109102455B (zh) |
Cited By (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109490243A (zh) * | 2018-12-29 | 2019-03-19 | 深圳职业技术学院 | 在线监测微波冷冻干燥过程中物料外观的系统及监测方法 |
CN110288565A (zh) * | 2019-05-22 | 2019-09-27 | 国网江苏省电力有限公司电力科学研究院 | 碳纤维复合芯导线的缺陷识别方法、装置及存储介质 |
CN111257421A (zh) * | 2020-02-21 | 2020-06-09 | 河南科技大学 | 一种复合材料敲击检测结果可视化成像系统 |
JP2020144005A (ja) * | 2019-03-06 | 2020-09-10 | Jfeエンジニアリング株式会社 | 異常検出装置、異常検出システム、および異常検出方法 |
CN111950351A (zh) * | 2020-06-29 | 2020-11-17 | 北京农业智能装备技术研究中心 | 基于太赫兹和可见光的农机劳损早期诊断巡检系统 |
CN112241943A (zh) * | 2019-07-01 | 2021-01-19 | 云南电网有限责任公司玉溪供电局 | 基于微波成像技术的复合绝缘子检测方法和系统 |
CN112986757A (zh) * | 2021-02-03 | 2021-06-18 | 浙江紫电新材料有限公司 | 基于缺陷扩展速率的脂环族环氧树脂绝缘子芯棒-护套界面性能检测方法 |
CN113538405A (zh) * | 2021-07-30 | 2021-10-22 | 吉林大学 | 基于图像融合的玻璃纤维复合材料无损检测方法及系统 |
CN116990237A (zh) * | 2023-09-26 | 2023-11-03 | 国网江苏省电力有限公司电力科学研究院 | 一种适用于窄带宽的增强式大景深太赫兹收发装置 |
Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN105044016A (zh) * | 2015-06-03 | 2015-11-11 | 中国计量学院 | 太赫兹时域光谱技术的玻璃纤维复合材料缺陷检测方法 |
-
2018
- 2018-08-27 CN CN201810980243.4A patent/CN109102455B/zh active Active
Patent Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN105044016A (zh) * | 2015-06-03 | 2015-11-11 | 中国计量学院 | 太赫兹时域光谱技术的玻璃纤维复合材料缺陷检测方法 |
Cited By (13)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109490243A (zh) * | 2018-12-29 | 2019-03-19 | 深圳职业技术学院 | 在线监测微波冷冻干燥过程中物料外观的系统及监测方法 |
JP7131438B2 (ja) | 2019-03-06 | 2022-09-06 | Jfeエンジニアリング株式会社 | 異常検出装置、異常検出システム、および異常検出方法 |
JP2020144005A (ja) * | 2019-03-06 | 2020-09-10 | Jfeエンジニアリング株式会社 | 異常検出装置、異常検出システム、および異常検出方法 |
CN110288565A (zh) * | 2019-05-22 | 2019-09-27 | 国网江苏省电力有限公司电力科学研究院 | 碳纤维复合芯导线的缺陷识别方法、装置及存储介质 |
CN112241943A (zh) * | 2019-07-01 | 2021-01-19 | 云南电网有限责任公司玉溪供电局 | 基于微波成像技术的复合绝缘子检测方法和系统 |
CN111257421A (zh) * | 2020-02-21 | 2020-06-09 | 河南科技大学 | 一种复合材料敲击检测结果可视化成像系统 |
CN111950351A (zh) * | 2020-06-29 | 2020-11-17 | 北京农业智能装备技术研究中心 | 基于太赫兹和可见光的农机劳损早期诊断巡检系统 |
CN111950351B (zh) * | 2020-06-29 | 2024-03-08 | 北京农业智能装备技术研究中心 | 基于太赫兹和可见光的农机劳损早期诊断巡检系统 |
CN112986757A (zh) * | 2021-02-03 | 2021-06-18 | 浙江紫电新材料有限公司 | 基于缺陷扩展速率的脂环族环氧树脂绝缘子芯棒-护套界面性能检测方法 |
CN113538405B (zh) * | 2021-07-30 | 2023-03-31 | 吉林大学 | 基于图像融合的玻璃纤维复合材料无损检测方法及系统 |
CN113538405A (zh) * | 2021-07-30 | 2021-10-22 | 吉林大学 | 基于图像融合的玻璃纤维复合材料无损检测方法及系统 |
CN116990237A (zh) * | 2023-09-26 | 2023-11-03 | 国网江苏省电力有限公司电力科学研究院 | 一种适用于窄带宽的增强式大景深太赫兹收发装置 |
CN116990237B (zh) * | 2023-09-26 | 2023-12-12 | 国网江苏省电力有限公司电力科学研究院 | 一种适用于窄带宽的增强式大景深太赫兹收发装置 |
Also Published As
Publication number | Publication date |
---|---|
CN109102455B (zh) | 2022-09-09 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN109102455A (zh) | 缺陷检测方法、检测图像生成方法、系统及存储设备 | |
JPH10153547A (ja) | 媒体の解析処理方法 | |
RU2007148634A (ru) | Способ оценки чистоты растительных масел и устройство для его осуществления | |
JP2009058310A5 (zh) | ||
CN107219161A (zh) | 一种基于太赫兹光谱技术的玻璃纤维复合材料孔隙率的检测方法 | |
CN105044016B (zh) | 太赫兹时域光谱技术的玻璃纤维复合材料缺陷检测方法 | |
Gong et al. | Comparison of simultaneous signals obtained from a dual-field-of-view lidar and its application to noise reduction based on empirical mode decomposition | |
Bogosanovic et al. | Overview and comparison of microwave noncontact wood measurement techniques | |
CN100491970C (zh) | 以THz波为光源的红外热波检测系统 | |
CN108344711B (zh) | 一种提高太赫兹脉冲成像分辨率的方法及系统 | |
CN104568249B (zh) | 一种基于太赫兹时域光谱系统的应力测量方法 | |
CN108254336A (zh) | 一种太赫兹光谱仪 | |
US9594024B2 (en) | Method for correcting a signal backscattered by a sample and associated device | |
CN208076389U (zh) | 一种太赫兹光谱仪 | |
US20230066782A1 (en) | Computer-implemented processing of sound wave signals for non-destructive evaluation of wooden specimen | |
CN115326745A (zh) | 一种电力安全工器具的THz时域光谱的无损检测方法 | |
CN110018131A (zh) | 一种基于太赫兹时域光谱技术的软玉产地的鉴定方法 | |
CN113092402B (zh) | 一种非接触式物质太赫兹特征谱检测识别系统及方法 | |
JP6572169B2 (ja) | 成分濃度測定装置及び成分濃度測定方法 | |
Kato et al. | 3D spectroscopic computed tomography imaging using terahertz waves | |
Gut et al. | Determination of the attenuation of planar waveguides by means of detecting scattered light | |
CN219978137U (zh) | 一种基于太赫兹光谱的油浸式电力设备物理信息检测装置 | |
CN113655024B (zh) | 一种可视化太赫兹时域光谱检测装置、检测方法及应用 | |
Suzuki et al. | Air-coupled ultrasonic vertical reflection method using pulse compression and various window functions: Feasibility study | |
CN110231313B (zh) | 一种激光气体分析仪在线零点校准方法及装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |