CN110689485A - 一种应用于大型压力容器红外无损检测的sift图像拼接方法 - Google Patents
一种应用于大型压力容器红外无损检测的sift图像拼接方法 Download PDFInfo
- Publication number
- CN110689485A CN110689485A CN201910971944.6A CN201910971944A CN110689485A CN 110689485 A CN110689485 A CN 110689485A CN 201910971944 A CN201910971944 A CN 201910971944A CN 110689485 A CN110689485 A CN 110689485A
- Authority
- CN
- China
- Prior art keywords
- image
- matrix
- point
- points
- feature
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 58
- 238000009659 non-destructive testing Methods 0.000 title claims abstract description 18
- 239000011159 matrix material Substances 0.000 claims abstract description 120
- 230000009466 transformation Effects 0.000 claims abstract description 54
- 238000004422 calculation algorithm Methods 0.000 claims abstract description 35
- 238000004364 calculation method Methods 0.000 claims abstract description 22
- 230000004927 fusion Effects 0.000 claims abstract description 18
- PXFBZOLANLWPMH-UHFFFAOYSA-N 16-Epiaffinine Natural products C1C(C2=CC=CC=C2N2)=C2C(=O)CC2C(=CC)CN(C)C1C2CO PXFBZOLANLWPMH-UHFFFAOYSA-N 0.000 claims abstract description 17
- 230000000694 effects Effects 0.000 claims abstract description 10
- 238000005259 measurement Methods 0.000 claims abstract description 9
- 238000012545 processing Methods 0.000 claims abstract description 9
- 238000002474 experimental method Methods 0.000 claims abstract description 6
- 238000003331 infrared imaging Methods 0.000 claims abstract description 4
- 238000004088 simulation Methods 0.000 claims abstract description 4
- 239000013598 vector Substances 0.000 claims description 82
- 230000008859 change Effects 0.000 claims description 26
- 230000007547 defect Effects 0.000 claims description 26
- 238000006243 chemical reaction Methods 0.000 claims description 24
- 230000006870 function Effects 0.000 claims description 24
- 230000004044 response Effects 0.000 claims description 17
- 238000001514 detection method Methods 0.000 claims description 16
- 239000000203 mixture Substances 0.000 claims description 9
- 230000008569 process Effects 0.000 claims description 8
- 238000012360 testing method Methods 0.000 claims description 8
- 238000006073 displacement reaction Methods 0.000 claims description 6
- 238000002156 mixing Methods 0.000 claims description 6
- 238000010586 diagram Methods 0.000 claims description 4
- 230000007704 transition Effects 0.000 claims description 4
- 238000007476 Maximum Likelihood Methods 0.000 claims description 3
- 230000001186 cumulative effect Effects 0.000 claims description 3
- 238000009795 derivation Methods 0.000 claims description 3
- XDDAORKBJWWYJS-UHFFFAOYSA-N glyphosate Chemical compound OC(=O)CNCP(O)(O)=O XDDAORKBJWWYJS-UHFFFAOYSA-N 0.000 claims description 3
- 238000011478 gradient descent method Methods 0.000 claims description 3
- 238000012417 linear regression Methods 0.000 claims description 3
- 239000003550 marker Substances 0.000 claims description 3
- 238000012887 quadratic function Methods 0.000 claims description 3
- 230000000717 retained effect Effects 0.000 claims description 3
- 238000001931 thermography Methods 0.000 claims description 3
- 238000000638 solvent extraction Methods 0.000 description 3
- 230000001419 dependent effect Effects 0.000 description 2
- 238000003384 imaging method Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 235000015842 Hesperis Nutrition 0.000 description 1
- 235000012633 Iberis amara Nutrition 0.000 description 1
- 241000282320 Panthera leo Species 0.000 description 1
- 230000003044 adaptive effect Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 239000013064 chemical raw material Substances 0.000 description 1
- 238000001816 cooling Methods 0.000 description 1
- 230000007797 corrosion Effects 0.000 description 1
- 238000005260 corrosion Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 230000008030 elimination Effects 0.000 description 1
- 238000003379 elimination reaction Methods 0.000 description 1
- 238000004880 explosion Methods 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 238000007429 general method Methods 0.000 description 1
- 238000010438 heat treatment Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000007689 inspection Methods 0.000 description 1
- 238000009434 installation Methods 0.000 description 1
- 238000003909 pattern recognition Methods 0.000 description 1
- 238000003672 processing method Methods 0.000 description 1
- 230000000630 rising effect Effects 0.000 description 1
- 230000001052 transient effect Effects 0.000 description 1
- 238000012795 verification Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4038—Image mosaicing, e.g. composing plane images from plane sub-images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/23—Clustering techniques
- G06F18/232—Non-hierarchical techniques
- G06F18/2321—Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions
- G06F18/23213—Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions with fixed number of clusters, e.g. K-means clustering
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/02—Affine transformations
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
- G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10016—Video; Image sequence
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10048—Infrared image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20212—Image combination
- G06T2207/20221—Image fusion; Image merging
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02E—REDUCTION OF GREENHOUSE GAS [GHG] EMISSIONS, RELATED TO ENERGY GENERATION, TRANSMISSION OR DISTRIBUTION
- Y02E30/00—Energy generation of nuclear origin
- Y02E30/30—Nuclear fission reactors
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Artificial Intelligence (AREA)
- Life Sciences & Earth Sciences (AREA)
- Probability & Statistics with Applications (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Evolutionary Biology (AREA)
- Evolutionary Computation (AREA)
- General Engineering & Computer Science (AREA)
- Image Processing (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种应用于大型压力容器红外无损检测的SIFT图像拼接方法,包括以下步骤:采集红外视频流;采用红外热像仪记录构建表面温度分布得到图像序列构成红外成像视频流;视频流信号处理获得重构图像;使用PCA‑SIFT算法获得拼接图像特征描述算子;对特征点对进行以余弦值为度量的粗匹配;对获得的粗匹配点对进行RANSAC去误匹配;对图像进行仿射变换;对被测图像利用H变换矩阵进行旋转,平移,缩放操作,从而获得基准图像对应的拼接图像;对拼接图像亮度进行调整;对图像进行渐入渐出融合;仿真验证算法的拼接效果,对大型压力容器进行拼接实验;本发明在保留特征点的主要特征信息的同时减少计算复杂度,提高了程序的运行速度。
Description
技术领域
本发明属于红外检测应用以及模式识别技术领域,更具体地说,本发明涉及一种应用于大型压力容器红外无损检测的SIFT图像拼接方法。
背景技术
本发明使用对象为大型压力容器设备作为存储特殊气体或保持真空环境的特征设备,其容积通常能达到几千甚至上万立方米,在风洞试验测试、运载火箭发射、化工原料储存等领域中具有极其重要的作用。大型压力容器由于使用工况较为苛刻,往往可能会产生一系列的诸如微裂纹、疲劳裂纹、罐体腐蚀等损伤,因此具有泄漏、燃爆等事故危害性,由于高密度的试验任务,使用单位无法像其它行业那样一般都能提供设计安装资料、拆除保温层、内表面宏观检查、压力试验等基本的检验检测条件,从而需要对大型压力容器进行原味红外无损检测,获得缺陷图像反应大型压力容器具体损伤。
红外无损检测即使用红外热像仪记录试件表面或者亚表面随时间变化的温场信息,并将其转换为热图像序列-红外视频流,对其进行特征提取,获得根据温度变化向量的特征分类的多张缺陷重构图像。但红外视频流数据量巨大,运行速度缓慢,噪声干扰强,数据繁杂,处理程序较直接,提取单帧红外图像复杂,且重构图像缺陷高度依赖分类结果,成为它在此领域应用较少的原因,但比起单帧红外图像只反映了某一个时刻的温度,分布信息由红外视频流经过信号处理获得的缺陷重构图像反映了整个过程温度变化信息,因此选用缺陷重构图像能更好的反映大型压力容器缺陷温度变化特征,单幅重复图像包含的信息更加全面,同时能够提高后续缺陷识别检测准确率。
为了获得准确反映缺陷特征的重构图像需要对红外适配流的温度变化向量进行分类,不同类型表征不同的缺陷特征,选用各个类型中的代表温度变化向量构成变换矩阵,从而获得缺陷重构图像。温度变化向量的分类方法有监督和无监督两类,有监督依赖模型数据的分类结果使用有监督分类的话需要分析大量数据进行人工标记,但大型压力容器种类繁多,缺陷检测数据具有多变性,先验信息较难获取导致标记困难,而无监督分类不依赖先验数据,将所有样本自动分为不同的类别后再进行人工标记。一般的分类方法会使用简单的距离分类,如果在使用无监督分类时通过概率值对数据进行分类较一般方法的结果会含有更为丰富的数据量,由此温度变化范围向量的分类会更加的精确,从而获得准确的反映不同缺陷类型的红外重构图像。
由于大型压力容器的表面积巨大,而红外摄像机拍摄画幅有限,无法对容器只进行单次拍摄而获得整个容器的检测图像,同时单次检测成像只能获得容器部分区域检测信息,若容器有较大面积缺陷或多个缺陷时,单次检测成像结果无法反映其完整特征,从而影响对损伤类型的识别与判断。考虑到一幅完整的大型压力容器检测图像可以帮助检修人员了解损伤的具体位置,便于评估大型压力容器的安全度,提高检修效率,所以需要将大型压力容器分区进行多次红外无损检测,从而获得多幅缺陷重构图像后进行图像拼接来构建一幅大尺寸的完整缺陷重构图像。
基于特征的图像拼接方法可以利用图像之间的对应特征计算其变换模型,该方法鲁棒性强、计算量小,得到广泛应用。由Lowe等人提出的SIFT 算法是目前该领域比较流行的方法,对于大型压力容器红外重构图像拼接图像的数量较多,存在一定的旋转角度,且图像有亮度颜色差异,一般的额SIFT 拼接方法描述符维度较高导致拼接速度缓慢,获得的H矩阵可能存在不完全准确的问题,由此会导致拼接效果不理想,如不准确的完整缺陷重构图像会对缺陷的识别与定位造成影响,因此需要提高图像拼接算法的运行速度同时获取精确的H变换矩阵从而获得检测需要的完成重构图像。
发明内容
本发明的一个目的是解决至少上述问题和/或缺陷,并提供至少后面将说明的优点。
为了实现根据本发明的这些目的和其它优点,提供了一种应用于大型压力容器红外无损检测的SIFT图像拼接方法,包括:
步骤S1、采集红外视频流;采用红外热像仪记录构建表面温度分布得到图像序列构成红外成像视频流,视频流为(N,M,t)大小的三维矩阵;
步骤S2、视频流信号处理获得重构图像;
步骤S3、使用PCA-SIFT算法获得拼接图像特征描述算子;
步骤S4、对特征点对进行以余弦值为度量的粗匹配;
步骤S5、对获得的粗匹配点对进行RANSAC去误匹配;
步骤S6、使用H变换矩阵对图像进行仿射变换;对被测图像利用H变换矩阵进行旋转,平移,缩放操作,从而获得基准图像对应的拼接图像;
步骤S7、对拼接图像亮度进行调整;
步骤S8、对图像进行渐入渐出融合;
步骤S9、仿真验证算法的拼接效果,对大型压力容器进行拼接实验。
优选的是,其中,所述步骤S2视频流信号处理获得重构图像的步骤包括:
步骤S21、单帧图片向量化获得新矩阵;通过红外热成像无损检测,在大型压力容器上获得热图视频,对每一帧图像向量化即对于,每一帧图像按列取值并列后得到一帧的图像向量,并且作为矩阵的行向量,构建出一个新的矩阵U(i,j),i=1,2,...,t;j=1,2,...N×M;其中,U(:,j)代表单幅图像中每个像素点(qj,pj),qj=roundup(j/N);pj=(j-(q-1)×N)对应的温度变化向量;
步骤S22、进行K-Means初始聚类;包括以下步骤:
步骤(a)、对所有像素点对应的温度变化向量U(i,j),j=1,2,...N×M聚类为K类,聚类中心为U(:,j1),U(:,j2),......,U(:,jK);随机从U(:,j)中选取 K个温度变化向量U(:,j1′),U(:,j2′),......,U(:,jK′)作为初始均值向量,其对应的聚类每一个类型表示为P1′,P2′,...,PK′;
步骤(b)、计算U(:,j),j=1,2,...N×M与各聚类中心U(:,j1′),U(:,j2′), U(:,jl′),......,U(:,jK′)的距离,其计算公式为djl=||U(:,j)-U(:,j l′)||2,根据距离最近的均值向量确定U(:,j)的簇标记λlj=argminl∈1,2,...,K|| U(:,j)-U(:,jl′)||2,将样本划入相应的簇Cλlj=Cλlj∪{U(:,j)};
步骤(c)、更新均值向量其中|Cl|为样本簇Cl的样本总数;
步骤(d)、重复进行步骤(b)、步骤(c)直到均值向量不再改变,最终获得K类样本数据;
步骤S23、GMM强化聚类,获得分类结果;将原样本U(:,j)表示为 U(:,j)={x1,x2,...,xj},令随机隐含变量zm∈{1,2,...K}表示样本xm的高斯混合成分,其中i,m(1≤i≤K,1≤m≤j);包括以下步骤:
步骤一、对由K-means方法得到的初始分类结果的每一类,假射符合高斯分布,满足下式的概率密度函数:
利用常规的最大似然函数法尽可能求取每一类的模型参数{(φi,μi,∑i)|1≤i≤k},将得到的模型参数{(φi,μi,∑i)|1≤i≤k}作为高斯混合分布模型的初始值;这里φi是隐含变量z服从的先验分布,即混合系数,μ、∑分别是各个单高斯分布的均值;
步骤二、从原型聚类的角度来看,高斯混合聚类GMM是采用高斯分布的概率模型对原型进行刻画,簇划分为由原型对应的后验概率,其表示为:
wmi=p(zm=i|xm;φ,μ,∑)
其中,wji为隐含变量z属于类别的后验概率,其可根据贝叶斯公式计算得到:
步骤三、通过循环迭代,按下式计算并更新模型参数直至满足算法终止条件,其中,计算新混合系数的公式为:
计算新均值向量的公式为:
计算新协方差矩阵的公式为:
步骤四、利用最终得到的模型参数确定高斯混合分布,GMM聚类将样本集D划分为K个簇C={C1,C2,...CK},每个样本xj的簇标记如下公式确定:
将xj划入相应的簇:Cλm=Cλm∪{xm},得到簇划分C={C1,C2,...CK};
步骤S24、构建变换矩阵,获得红外重构图像;选择每一类概率计算值最大的温度变化向量合并构成大小为t×K的线性变化矩阵Q,判断Q的秩 rank(Q)是否为满秩,即提取到的每一类的温度变化向量是否线性独立,若矩阵Q满秩,即各类特征向量线性独立,则对Q矩阵按每一列向量进行施密特正交化得到Q′;若n=rank(Q)<K,则将矩阵Q按列分块,求取极大线性无关组,将其他的K-n个列向量逐个使用对应分类中概率值次之的向量替换,直到向量线性独立,对其进行施密特正交化,最终得到m×k维正交独立的线性变换矩阵Q′;用矩阵Q′对原二维矩阵P进行线性变换,即得到二维图像矩阵O,其中为矩阵Q的k×m维伪逆矩阵;将二维图像矩阵O再按列取值构成原图像尺寸大小的二维图像,得到K张大小为N×M的重构红外图像;这些图片都分别突出了各类缺陷信息,为方便后续图像拼接融合,选择缺陷信息与试件背景像素值差异最大的一张二维图像,即为Y(x,y);
优选的是,其中,所述步骤S3获得PCA-SIFT特征描述算子的具体步骤包括:
C(x,y,σ)=G(x,y,σ)×Y(x,y)
DOG算子即两个不同尺度的高斯核的差分,如下式所示:
O(x,y,σ)=G(x,y,kσ)-G(x,y,σ)×Y(x,y) =C(x,y,kσ)-C(x,y,σ)
步骤S32、对尺度空间特征点进行检测及定位;对于图像中的任何点,其DOG响应值可以通过直线和曲线连接,并且形成的轨迹图是图像的特征曲线,对于曲线上的极值点则表示为特征点的特征尺度,如极值点不唯一,则表明该特征点存在于多个尺度;由于DOG响应值对于边缘和噪声较为敏感,要对极值点进行三维二次函数拟合以精确定位为特征点,尺度空间函数O(x,y,σ)在局部极值点(x0,y0,σ)处的泰勒展开式如下式所示:
上式的一阶和二阶导数通过附近区域之间的差分来近似;其中X=(x,y,σ)T求导并让方程等于零,求得极值点为则对应极值点方程的值为:若则该特征点就保留下来,否则就移除,移除的则为低对比度的特征点;其中代表相对插值中心的偏移量同时,在此过程中获取特征点的精确位置,即原位置加上拟合的偏移量,以及尺度大小;
步骤S33、去除不稳定的点;于此同时DOG算子会产生较强的边缘响应,需要剔除不稳定的边缘响应点;获取特征点处的Hessian矩阵,主曲率通过一个2x2的Hessian矩阵H求出:其中H的特征值α和β代表x 和y方向的梯度,Tr(H)=Oxx+Oyy=α+β表示矩阵H对角线元素之和, Det(H)=OxxOyy-(Oxy)2=αβ表示矩阵H的行列式;假设是α较大的特征值,而是β较小的特征值,令α=rβ,则
步骤S34、确定特征点主方向;利用特征点邻域像素的梯度方向分布特性为每个特征点指定方向参数,使算子具备旋转不变性;算式如下:
其中T(x,y)为特征点的梯度,θ(x,y)为特征点的方向,C是用于每个特征点的尺度,(x,y)用于确定阶数与层数,在计算过程中,以特征点为中心的邻域窗口中对邻域进行采样,并且使用梯度方向直方图来计算邻域像素的梯度方向,邻域梯度的主方向即为梯度方向直方图的峰值,使其为特征点的方向;
步骤S35、构建特征点的特征描述符;首先将坐标轴旋转为特征点的方向,然后以特征点为中心取8×8的窗口,每一个小方格表示一个像素,以4×4 的方块以一个单位,在8个方向的梯度方向直方图,计算每个梯度方向的累加和形成一个种子点,实际计算时用16个种子点来表述特征点,因此每个特征点的特征描述符为128维;
步骤S36、使用PCA对特征描述符降维;将图像m个特征描述符x1,x2,...,xm作为样本构成一个m×128的矩阵Y并对这个m个向量计算128×128的协方差矩阵S,计算协方差矩阵S的128个特征值λ与特征向量b,根据λ的从大到小进行排序;选择前64个特征值对应的特征向量构成128×64大小的投影矩阵E;将m×128的特征描述符矩阵Y与投影矩阵E相乘获得m×64的矩阵X即降维描述符向量组成的矩阵,此时m个特征点的描述符向量均为64维。
优选的是,其中,所述步骤S5对获得的粗匹配点对进行RANSAC去误匹配的具体步骤包括:
步骤S41、设置初始参数;由参考图像与被感知图像的差异,需要根据转换模型选择合适的模型,计算各种变换参数所需的匹配点个数按计算,q为计算转换参数所需的最小匹配点个数,p为每个转换模型中参数个数;本发明需要计算的是需要6个参数的仿射变换,所以必须随机选取3个匹配点,根据下面两式计算变换参数:
其中,(x1,y1)(x2,y2)和(x3,y3)分别是基准图像的匹配点的坐标, (x′1,y′1)(x′2,y′2)和(x′3,y′3)是待匹配图像的匹配点坐标,a,b,c,d,e,f为转换模型的参数;其中a、b、c、d为尺度和旋转量,e为水平方向的位移,f为垂直方向的位移;
步骤S42、选择最佳的转换模型;在每个指定迭代次数中,选择三个随机匹配点(仿射变换中)计算转换参数,在每次迭代中,根据得到的变换参数,由下式计算变换模型:
步骤S43、剔除不符合转换模型的点;在计算变换模型参数后,对基准图像中的每一个匹配点,计算被测图像中点P与其变换模型HPe之间的距离 d(P,HPe);如果该距离小于固定的预定义阈值,则精确匹配该匹配点;否则,将删除基准图像和待拼接图像中的匹配点,阈值由经验确定;
步骤S44、迭代终止判别;在每次迭代中,计算出精确匹配的点数,如果精确匹配的点的数量超过了期望的值,或者达到了预定的最大迭代次数,算法就会停止;
步骤S46、使用BGD获得最优仿射变换矩阵;最后,根据精确匹配次数最多的转换模型,再次计算所有匹配点从而获得仿射变换H矩阵,以及能够适用于该模型的匹配点;然后使用批量梯度下降法进一步精确拟合H矩阵,设H矩阵中相应的参数为aj则对应的线性回归假设函数为其对应的损失函数为m为由RANSAC获得的内点个数,对以上函数求取偏导对每个参数a沿负梯度方向更新最小损失函数,则本发明将学习率b设为0.02从而达到快速稳定收敛;最终获得最小损失函数其对应参数构成的H矩阵也更为精准。
优选的是,其中,所述步骤S4对特征点对进行以余弦值为度量的粗匹配的具体方法为:使用最近邻算法寻找匹配点,在经过SIFT算法后获得特征点后,最近邻算法计算基于基准图像的某一特征点向量与待匹配图像的所有特征点向量夹角的余弦值c1,c2....cn,然后再寻找c1,c2....cn中的最大值ck与次大值cp,当T为设定阈值,认为对应的特征点相互匹配,对所有的特征点都进行相同计算从而获得特征点的粗匹配。
优选的是,其中,所述步骤S7对拼接图像亮度进行调整的具体方法为:先分别计算图像重叠区域的像素平均值,计算公式为:
其中Ni为重叠区域Si的像素个数,两区域整体像素的均值为:
然后求取Si区域与S2区域的像素均值与整体像素的均值的差值使用得到的差值对亮度进行调整,由于彩色图像有 RGB三个颜色通道,现以R通道为例,设MiR表示图像的R通道,则
pixel_r(x,y)=MiR(x,y)+ave-diff(i)_R
优选的是,其中,所述步骤S8对图像进行渐入渐出融合的具体方法为:设两幅待拼接的图像为M1,M2,将M1与M2在空间上进行融合,获得图像融合后的像素点M可以表示为:
其中重叠宽度决定着d1d2表示的权重值,d1+d2=1,0<d1<1,0<d2<1,其计算式表示如下:
其中xr为拼接图像重叠区域的右边界,xl为拼接图像重叠区域的左边界, xi为拼接图像当前像素点的坐标,在拼接图像的重叠区域中 d1:1→0,d2:0→1,由此可使重叠区中的像素值实现平滑过渡,消除图像的拼接缝隙,获得正确无拼接缝的完整大型压力容器红外无损检测图像。
优选的是,其中,所述步骤S9仿真验证算法的拼接效果,所使用的实验平台为Windows 8,Intel(R)Core(TM)i5-4260U CPU@1.40GHz,内存 8GB,仿真软件为MATLAB2015b。
本发明至少包括以下有益效果:
(1)本发明选用的拼接图像来自于红外视频流重构图像,图像表述的是检测需要的缺陷特征;
(2)本发明使用了特征向量余弦值大小的度量作为匹配方法,与从处理时间较一般的以欧式距离作为相似性度量的方法相比,在运行速度上有一定的提高;
(3)本发明通过使用K-Means-GMM聚类算法减小了单独使用GMM算法进行聚类的计算负荷,并且与单一的K-Means算法相比,K-Means-GMM 用比起向量距离包含了更多信息的高斯概率对温度变化向量进行划分;
(4)本发明对SIFT特征描述符进行降维,在保留特征点的主要特征信息的同时减少计算复杂度。
本发明的其它优点、目标和特征将部分通过下面的说明体现,部分还将通过对本发明的研究和实践而为本领域的技术人员所理解。
附图说明:
图1为本发明提供的一种应用于大型压力容器红外无损检测的SIFT图像拼接方法流程图;
图2为本发明视频流信号处理方法流程图;
图3为本发明中SIFT算法示意图;
图4为本发明使用的RANSAC算法示意图;
图5是本实施例中试件温度变化曲线及对应的重构图像;
图6是本实施例中SIFT算法中的图像梯度图;
图7是本实施例中SIFT生成的特征点描述算子图;
图8是本实施例中使用SIFT提取特征点后的特征点对应位置图像;
图9是本实施例中粗匹配结果图像;
图10是本实施例中RANSAC去误匹配后的图像;
图11是本实施例中使用变换矩阵得到的直接拼接图像;
图12是本实施例中亮度调整后融合图像。
具体实施方式:
下面结合附图对本发明做进一步的详细说明,以令本领域技术人员参照说明书文字能够据以实施。
应当理解,本文所使用的诸如“具有”、“包含”以及“包括”术语并不配出一个或多个其它元件或其组合的存在或添加。
如图1-4所示:本发明一种应用于大型压力容器红外无损检测的SIFT图像拼接,包括:
步骤S1、采集红外视频流;采用红外热像仪记录构建表面温度分布得到图像序列构成红外成像视频流,视频流为(N,M,t)大小的三维矩阵;
步骤S2、视频流信号处理获得重构图像;
步骤S3、使用PCA-SIFT算法获得拼接图像特征描述算子;
步骤S4、对特征点对进行以余弦值为度量的粗匹配;
步骤S5、对获得的粗匹配点对进行RANSAC去误匹配;
步骤S6、使用H变换矩阵对图像进行仿射变换;对被测图像利用H变换矩阵进行旋转,平移,缩放操作,从而获得基准图像对应的拼接图像;
步骤S7、对拼接图像亮度进行调整;
步骤S8、对图像进行渐入渐出融合;
步骤S9、仿真验证算法的拼接效果,对大型压力容器进行拼接实验。
在上述技术方案中,所述步骤S2视频流信号处理获得重构图像的步骤包括:
步骤S21、单帧图片向量化获得新矩阵;通过红外热成像无损检测,在大型压力容器上获得热图视频,对每一帧图像向量化即对于,每一帧图像按列取值并列后得到一帧的图像向量,并且作为矩阵的行向量,构建出一个新的矩阵U(i,j),i=1,2,...,t;j=1,2,...N×M;其中,U(:,j)代表单幅图像中每个像素点(qj,pj),qj=roundup(j/N);pj=(j-(q-1)×N)对应的温度变化向量;
步骤S22、进行K-Means初始聚类;包括以下步骤:
步骤(a)、对所有像素点对应的温度变化向量U(i,j),j=1,2,...N×M聚类为K类,聚类中心为U(:,j1),U(:,j2),......,U(:,jK);随机从U(:,j)中选取 K个温度变化向量U(:,j1′),U(:,j2′),......,U(:,jK′)作为初始均值向量,其对应的聚类每一个类型表示为P1′,P2′,...,PK′;
步骤(b)、计算U(:,j),j=1,2,...N×M与各聚类中心U(:,j1′),U(:,j2′), U(:,jl′),......,U(:,jK′)的距离,其计算公式为djl=||U(:,j)-U(:,j l′)||2,根据距离最近的均值向量确定U(:,j)的簇标记λlj=argminl∈1,2,...,K|| U(:,j)-U(:,jl′)||2,将样本划入相应的簇Cλlj=Cλlj∪{U(:,j)};
步骤(d)、重复进行步骤(b)、步骤(c)直到均值向量不再改变,最终获得K类样本数据;
步骤S23、GMM强化聚类,获得分类结果;将原样本U(:,j)表示为 U(:,j)={x1,x2,...,xj},令随机隐含变量zm∈{1,2,...K}表示样本xm的高斯混合成分,其中i,m(1≤i≤K,1≤m≤j);包括以下步骤:
步骤一、对由K-means方法得到的初始分类结果的每一类,假射符合高斯分布,满足下式的概率密度函数:
利用常规的最大似然函数法尽可能求取每一类的模型参数{(φi,μi,∑i)|1≤i≤k},将得到的模型参数{(φi,μi,∑i)|1≤i≤k}作为高斯混合分布模型的初始值;这里φi是隐含变量z服从的先验分布,即混合系数,μ、∑分别是各个单高斯分布的均值;
步骤二、从原型聚类的角度来看,高斯混合聚类GMM是采用高斯分布的概率模型对原型进行刻画,簇划分为由原型对应的后验概率,其表示为:
wmi=p(zm=i|xm;φ,μ,∑)
其中,wji为隐含变量z属于类别的后验概率,其可根据贝叶斯公式计算得到:
步骤三、通过循环迭代,按下式计算并更新模型参数直至满足算法终止条件,其中,计算新混合系数的公式为:
计算新均值向量的公式为:
计算新协方差矩阵的公式为:
步骤四、利用最终得到的模型参数确定高斯混合分布,GMM聚类将样本集D划分为K个簇C={C1,C2,...CK},每个样本xj的簇标记如下公式确定:
将xj划入相应的簇:Cλm=Cλm∪{xm},得到簇划分C={C1,C2,...CK};
步骤S24、构建变换矩阵,获得红外重构图像;选择每一类概率计算值最大的温度变化向量合并构成大小为t×K的线性变化矩阵Q,判断Q的秩 rank(Q)是否为满秩,即提取到的每一类的温度变化向量是否线性独立,若矩阵Q满秩,即各类特征向量线性独立,则对Q矩阵按每一列向量进行施密特正交化得到Q′;若n=rank(Q)<K,则将矩阵Q按列分块,求取极大线性无关组,将其他的K-n个列向量逐个使用对应分类中概率值次之的向量替换,直到向量线性独立,对其进行施密特正交化,最终得到m×k维正交独立的线性变换矩阵Q′;用矩阵Q′对原二维矩阵P进行线性变换,即得到二维图像矩阵O,其中为矩阵Q的k×m维伪逆矩阵;将二维图像矩阵O再按列取值构成原图像尺寸大小的二维图像,得到K张大小为N×M的重构红外图像;这些图片都分别突出了各类缺陷信息,为方便后续图像拼接融合,选择缺陷信息与试件背景像素值差异最大的一张二维图像,即为Y(x,y);
在上述技术方案中,所述步骤S3获得PCA-SIFT特征描述算子的具体步骤包括:
C(x,y,σ)=G(x,y,σ)×Y(x,y)
DOG算子即两个不同尺度的高斯核的差分,如下式所示:
O(x,y,σ)=G(x,y,kσ)-G(x,y,σ)×Y(x,y) =C(x,y,kσ)-C(x,y,σ)
步骤S32、对尺度空间特征点进行检测及定位;对于图像中的任何点,其DOG响应值可以通过直线和曲线连接,并且形成的轨迹图是图像的特征曲线,对于曲线上的极值点则表示为特征点的特征尺度,如极值点不唯一,则表明该特征点存在于多个尺度;由于DOG响应值对于边缘和噪声较为敏感,要对极值点进行三维二次函数拟合以精确定位为特征点,尺度空间函数 O(x,y,σ)在局部极值点(x0,y0,σ)处的泰勒展开式如下式所示:
上式的一阶和二阶导数通过附近区域之间的差分来近似;其中X=(x,y,σ)T求导并让方程等于零,求得极值点为则对应极值点方程的值为:若则该特征点就保留下来,否则就移除,移除的则为低对比度的特征点;其中代表相对插值中心的偏移量同时,在此过程中获取特征点的精确位置,即原位置加上拟合的偏移量,以及尺度大小;
步骤S33、去除不稳定的点;于此同时DOG算子会产生较强的边缘响应,需要剔除不稳定的边缘响应点;获取特征点处的Hessian矩阵,主曲率通过一个2x2的Hessian矩阵H求出:其中H的特征值α和β代表x 和y方向的梯度,Tr(H)=Oxx+Oyy=α+β表示矩阵H对角线元素之和, Det(H)=oxxOyy-(Oxy)2=αβ表示矩阵H的行列式;假设是α较大的特征值,而是β较小的特征值,令α=rβ,则
步骤S34、确定特征点主方向;利用特征点邻域像素的梯度方向分布特性为每个特征点指定方向参数,使算子具备旋转不变性;算式如下:
其中T(x,y)为特征点的梯度,θ(x,y)为特征点的方向,C是用于每个特征点的尺度,(x,y)用于确定阶数与层数,在计算过程中,以特征点为中心的邻域窗口中对邻域进行采样,并且使用梯度方向直方图来计算邻域像素的梯度方向,邻域梯度的主方向即为梯度方向直方图的峰值,使其为特征点的方向;
步骤S35、构建特征点的特征描述符;首先将坐标轴旋转为特征点的方向,然后以特征点为中心取8×8的窗口,每一个小方格表示一个像素,以4×4 的方块以一个单位,在8个方向的梯度方向直方图,计算每个梯度方向的累加和形成一个种子点,实际计算时用16个种子点来表述特征点,因此每个特征点的特征描述符为128维;
步骤S36、使用PCA对特征描述符降维;将图像m个特征描述符x1,x2,...,xm作为样本构成一个m×128的矩阵Y并对这个m个向量计算128×128的协方差矩阵S,计算协方差矩阵S的128个特征值λ与特征向量b,根据λ的从大到小进行排序;选择前64个特征值对应的特征向量构成128×64大小的投影矩阵 E;将m×128的特征描述符矩阵Y与投影矩阵E相乘获得m×64的矩阵X即降维描述符向量组成的矩阵,此时m个特征点的描述符向量均为64维。
在上述技术方案中,所述步骤S5对获得的粗匹配点对进行RANSAC去误匹配的具体步骤包括:
步骤S41、设置初始参数;由参考图像与被感知图像的差异,需要根据转换模型选择合适的模型,计算各种变换参数所需的匹配点个数按计算,q为计算转换参数所需的最小匹配点个数,p为每个转换模型中参数个数;本发明需要计算的是需要6个参数的仿射变换,所以必须随机选取3个匹配点,根据下面两式计算变换参数:
其中,(x1,y1)(x2,y2)和(x3,y3)分别是基准图像的匹配点的坐标, (x′1,y′1)(x′2,y′2)和(x′3,y′3)是待匹配图像的匹配点坐标,a,b,c,d,e,f为转换模型的参数;其中a、b、c、d为尺度和旋转量,e为水平方向的位移,f为垂直方向的位移;
步骤S42、选择最佳的转换模型;在每个指定迭代次数中,选择三个随机匹配点(仿射变换中)计算转换参数,在每次迭代中,根据得到的变换参数,由下式计算变换模型:
步骤S43、剔除不符合转换模型的点;在计算变换模型参数后,对基准图像中的每一个匹配点,计算被测图像中点P与其变换模型HPe之间的距离 d(P,HPe);如果该距离小于固定的预定义阈值,则精确匹配该匹配点;否则,将删除基准图像和待拼接图像中的匹配点,阈值由经验确定;
步骤S44、迭代终止判别;在每次迭代中,计算出精确匹配的点数,如果精确匹配的点的数量超过了期望的值,或者达到了预定的最大迭代次数,算法就会停止;
步骤S46、使用BGD获得最优仿射变换矩阵;最后,根据精确匹配次数最多的转换模型,再次计算所有匹配点从而获得仿射变换H矩阵,以及能够适用于该模型的匹配点,然后使用批量梯度下降法进一步精确拟合H矩阵,设H矩阵中相应的参数为aj则对应的线性回归假设函数为其对应的损失函数为m为由RANSAC获得的内点个数,对以上函数求取偏导对每个参数a沿负梯度方向更新最小损失函数,则本发明将学习率b设为0.02从而达到快速稳定收敛;最终获得最小损失函数其对应参数构成的H矩阵也更为精准。
在上述技术方案中,所述步骤S4对特征点对进行以余弦值为度量的粗匹配的具体方法为:使用最近邻算法寻找匹配点,在经过SIFT算法后获得特征点后,最近邻算法计算基于基准图像的某一特征点向量与待匹配图像的所有特征点向量夹角的余弦值c1,c2....cn,然后再寻找c1,c2....cn中的最大值ck与次大值 cp,当T为设定阈值,认为对应的特征点相互匹配,对所有的特征点都进行相同计算从而获得特征点的粗匹配。
在上述技术方案中,所述步骤S7对拼接图像亮度进行调整的具体方法为:先分别计算图像重叠区域的像素平均值,计算公式为:
其中Ni为重叠区域Si的像素个数,两区域整体像素的均值为:
pixel_r(x,y)=MiR(x,y)+ave-diff(i)_R
在上述技术方案中,所述步骤S8对图像进行渐入渐出融合的具体方法为:设两幅待拼接的图像为M1,M2,将M1与M2在空间上进行融合,获得图像融合后的像素点M可以表示为:
其中重叠宽度决定着d1d2表示的权重值,d1+d2=1,0<d1<1,0<d2<1,其计算式表示如下:
其中xr为拼接图像重叠区域的右边界,xl为拼接图像重叠区域的左边界, xi为拼接图像当前像素点的坐标,在拼接图像的重叠区域中 d1:1→0,d2:0→1,由此可使重叠区中的像素值实现平滑过渡,消除图像的拼接缝隙,获得正确无拼接缝的完整大型压力容器红外无损检测图像。
在上述技术方案中,所述步骤S9仿真验证算法的拼接效果,所使用的实验平台为Windows 8系统,处理器为Intel(R)Core(TM)i5-4260U CPU@ 1.40GHz,内存为8GB,所使用的仿真软件为MATLAB 2015b。
为了验证本发明提供的方法的拼接效果,对大型压力容器损伤试件进行拼接实验:首先由GMM-EM聚类算法得到两类温度变化曲线,抽取每一类一条曲线由温度变化曲线的变化率来判断图像类型,如图5所示,缺陷在加热阶段上升率最高,在冷却阶段下降率最高,这直接反映了缺陷区域的瞬态响应可以由此判断红色曲线为缺陷区域器,其对应的红外重构图像,作为待拼接图像i同理选择另一拍摄获得的重构图作为另一幅待拼接图像i+1。
图中标星的点表示为通过经过SIFT进行特征点的提取后去除低对比度点和去除不稳定的边缘响应点后得到的点在图像上位置,其中第一幅图搜索到47个特征点,第二幅图搜索到49个特征点,在获取特征点后,要对特征点进行特征匹配即相似性度量。本实验选用余弦值作为度量值,通过相似性的度量来得到两幅图像之间可能存在的匹配点。
表1余弦度量值与欧式距离度量值计算时间的对比
由表1可知计算向量余弦值作为相似性度量值可以提高计算时间同时也能满足功能需求,本发明背景所需要检测的压容器体积较大需要采集较多的红外视频流即重构红外图像作为拼接对像,数据量庞大,所以选用余弦值作为度量值可以提高程序的运行速度。
图9表示了通过判断近邻点余弦值的比率而选出的匹配点,在上图中连线部分表示特征点之间的匹配,存在一定错匹配,实例发明需要选用其他方法进行误匹配点消除。
图10表示了经过RANSAC进行去错配点后得到则正确匹配对的图像,在RANSAC方法从匹配点集中随机选取3个样本数据同时它们不能共线,由方程计算出单应性矩阵利用这个矩阵去检测所有的数据,得到满足这个模型的匹配点个数与代价函数,当模型最优时有最小的代价函数。从图中可以较为清晰的看到每一匹配对在图中的位置,且无明显的错配点。
表2具体变换数据以及获得的H矩阵估计值
表2为具体变换数据以及获得的H矩阵估计值,使用RANSAC对匹配点不断进行“内点”与“外点”的划分后时会通过最后采集到的内点求取H矩阵,H矩阵即为图像的仿射变换矩阵,通过H可以对相应图像进行变换以确定图像间的重叠区域,并将待融和图像放入到一幅新的空白图像中形成拼接图。需要注意的是,由于红外图像视频流数据的差异性,得到的待测图像会在亮度和色度上都存在差异,如图11所示拼接后的图像缝合线两端出现明显的明暗变化。因此,需要对图像进行亮度调整和融合。
由图12显示经过亮度调整且进行渐入渐出融合后的图像像素过渡的比较平滑在拼接边界无肉眼可见的拼接缝隙,说明拼接效果比较好
这里说明的设备数量和处理规模是用来简化本发明的说明的。对本发明的应用、修改和变化对本领域的技术人员来说是显而易见的。
尽管本发明的实施方案已公开如上,但其并不仅仅限于说明书和实施方式中所列运用,它完全可以被适用于各种适合本发明的领域,对于熟悉本领域的人员而言,可容易地实现另外的修改,因此在不背离权利要求及等同范围所限定的一般概念下,本发明并不限于特定的细节和这里示出与描述的图例。
Claims (8)
1.一种应用于大型压力容器红外无损检测的SIFT图形拼接方法,其特征在于,包括以下步骤:
步骤S1、采集红外视频流;采用红外热像仪记录构建表面温度分布得到图像序列构成红外成像视频流,视频流为(N,M,t)大小的三维矩阵;
步骤S2、视频流信号处理获得重构图像;
步骤S3、使用PCA-SIFT算法获得拼接图像特征描述算子;
步骤S4、对特征点对进行以余弦值为度量的粗匹配;
步骤S5、对获得的粗匹配点对进行RANSAC去误匹配;
步骤S6、使用H变换矩阵对图像进行仿射变换;对被测图像利用H变换矩阵进行旋转,平移,缩放操作,从而获得基准图像对应的拼接图像;
步骤S7、对拼接图像亮度进行调整;
步骤S8、对图像进行渐入渐出融合;
步骤S9、仿真验证算法的拼接效果,对大型压力容器进行拼接实验。
2.如权利要求1所述的应用于大型压力容器红外无损检测的SIFT图形拼接方法,其特征在于,所述步骤S2视频流信号处理获得重构图像的步骤包括:
步骤S21、单帧图片向量化获得新矩阵;通过红外热成像无损检测,在大型压力容器上获得热图视频,对每一帧图像向量化即对于,每一帧图像按列取值并列后得到一帧的图像向量,并且作为矩阵的行向量,构建出一个新的矩阵U(i,j),i=1,2,...,t;j=1,2,...N×M;其中,U(:,j)代表单幅图像中每个像素点(qj,pj),qj=roundup(j/N);pj=(j-(q-1)×N)对应的温度变化向量;
步骤S22、进行K-Means初始聚类;包括以下步骤:
步骤(a)、对所有像素点对应的温度变化向量U(i,j),j=1,2,...N×M聚类为K类,聚类中心为U(:,j1),U(:,j2),......,U(:,jK);随机从U(:,j)中选取K个温度变化向量U(:,j1′),U(:,j2′),......,U(:,jK′)作为初始均值向量,其对应的聚类每一个类型表示为P1′,P2′,...,PK′;
步骤(b)、计算U(:,j),j=1,2,...N×M与各聚类中心U(:,j1′),U(:,j2′),U(:,jl′),......,U(:,jK′)的距离,其计算公式为djl=||U(:,j)-U(:,j l′)||2,根据距离最近的均值向量确定U(:,j)的簇标记λlj=argminl∈1,2,...,K||U(:,j)-U(:,jl′)||2,将样本划入相应的簇Cλlj=Cλlj∪{U(:,j)};
步骤(d)、重复进行步骤(b)、步骤(c)直到均值向量不再改变,最终获得K类样本数据;
步骤S23、GMM强化聚类,获得分类结果;将原样本U(:,j)表示为U(:,j)={x1,x2,...,xj},令随机隐含变量zm∈{1,2,...K}表示样本xm的高斯混合成分,其中i,m(1≤i≤K,1≤m≤j);包括以下步骤:
步骤一、对由K-means方法得到的初始分类结果的每一类,假射符合高斯分布,满足下式的概率密度函数:
利用常规的最大似然函数法尽可能求取每一类的模型参数{(φi,μi,∑i)|1≤i≤k},将得到的模型参数{(φi,μi,∑i)|1≤i≤k}作为高斯混合分布模型的初始值;这里φi是隐含变量z服从的先验分布,即混合系数,μ、∑分别是各个单高斯分布的均值;
步骤二、从原型聚类的角度来看,高斯混合聚类GMM是采用高斯分布的概率模型对原型进行刻画,簇划分为由原型对应的后验概率,其表示为:
wmi=p(zm=i|xm;φ,μ,∑)
其中,wji为隐含变量z属于类别的后验概率,其可根据贝叶斯公式计算得到:
步骤三、通过循环迭代,按下式计算并更新模型参数直至满足算法终止条件,其中,计算新混合系数的公式为:
计算新均值向量的公式为:
计算新协方差矩阵的公式为:
步骤四、利用最终得到的模型参数确定高斯混合分布,GMM聚类将样本集D划分为K个簇C={C1,C2,...CK},每个样本xj的簇标记如下公式确定:
将xj划入相应的簇:Cλm=Cλm∪{xm},得到簇划分C={C1,C2,...CK};
步骤S24、构建变换矩阵,获得红外重构图像;选择每一类概率计算值最大的温度变化向量合并构成大小为t×K的线性变化矩阵Q,判断Q的秩rank(Q)是否为满秩,即提取到的每一类的温度变化向量是否线性独立,若矩阵Q满秩,即各类特征向量线性独立,则对Q矩阵按每一列向量进行施密特正交化得到Q′;若n=rank(Q)<K,则将矩阵Q按列分块,求取极大线性无关组,将其他的K-n个列向量逐个使用对应分类中概率值次之的向量替换,直到向量线性独立,对其进行施密特正交化,最终得到m×k维正交独立的线性变换矩阵Q′;用矩阵Q′对原二维矩阵P进行线性变换,即得到二维图像矩阵O,其中为矩阵Q的k×m维伪逆矩阵;将二维图像矩阵O再按列取值构成原图像尺寸大小的二维图像,得到K张大小为N×M的重构红外图像;这些图片都分别突出了各类缺陷信息,为方便后续图像拼接融合,选择缺陷信息与试件背景像素值差异最大的一张二维图像,即为Y(x,y)。
3.如权利要求1所述的应用于大型压力容器红外无损检测的SIFT图像拼接方法,其特征在于,所述步骤S3获得PCA-SIFT特征描述算子的具体步骤包括:
C(x,y,σ)=G(x,y,σ)×Y(x,y)
DOG算子即两个不同尺度的高斯核的差分,如下式所示:
O(x,y,σ)=G(x,y,kσ)-G(x,y,σ)×Y(x,y)
=C(x,y,kσ)-C(x,y,σ)
步骤S32、对尺度空间特征点进行检测及定位;对于图像中的任何点,其DOG响应值可以通过直线和曲线连接,并且形成的轨迹图是图像的特征曲线,对于曲线上的极值点则表示为特征点的特征尺度,如极值点不唯一,则表明该特征点存在于多个尺度;由于DOG响应值对于边缘和噪声较为敏感,要对极值点进行三维二次函数拟合以精确定位为特征点,尺度空间函数O(x,y,σ)在局部极值点(x0,y0,σ)处的泰勒展开式如下式所示:
上式的一阶和二阶导数通过附近区域之间的差分来近似;其中X=(x,y,σ)T求导并让方程等于零,求得极值点为则对应极值点方程的值为:若则该特征点就保留下来,否则就移除,移除的则为低对比度的特征点;其中代表相对插值中心的偏移量同时,在此过程中获取特征点的精确位置,即原位置加上拟合的偏移量,以及尺度大小;
步骤S33、去除不稳定的点;于此同时DOG算子会产生较强的边缘响应,需要剔除不稳定的边缘响应点;获取特征点处的Hessian矩阵,主曲率通过一个2x2的Hessian矩阵H求出:其中H的特征值α和β代表x和y方向的梯度,Tr(H)=Oxx+Oyy=α+β表示矩阵H对角线元素之和,Det(H)=OxxOyy-(Oxy)2=αβ表示矩阵H的行列式;假设是α较大的特征值,而是β较小的特征值,令α=rβ,则
步骤S34、确定特征点主方向;利用特征点邻域像素的梯度方向分布特性为每个特征点指定方向参数,使算子具备旋转不变性;算式如下:
其中T(x,y)为特征点的梯度,θ(x,y)为特征点的方向,C是用于每个特征点的尺度,(x,y)用于确定阶数与层数,在计算过程中,以特征点为中心的邻域窗口中对邻域进行采样,并且使用梯度方向直方图来计算邻域像素的梯度方向,邻域梯度的主方向即为梯度方向直方图的峰值,使其为特征点的方向;
步骤S35、构建特征点的特征描述符;首先将坐标轴旋转为特征点的方向,然后以特征点为中心取8×8的窗口,每一个小方格表示一个像素,以4×4的方块以一个单位,在8个方向的梯度方向直方图,计算每个梯度方向的累加和形成一个种子点,实际计算时用16个种子点来表述特征点,因此每个特征点的特征描述符为128维;
步骤S36、使用PCA对特征描述符降维;将图像m个特征描述符x1,x2,...,xm作为样本构成一个m×128的矩阵Y并对这个m个向量计算128×128的协方差矩阵S,计算协方差矩阵S的128个特征值λ与特征向量b,根据λ的从大到小进行排序;选择前64个特征值对应的特征向量构成128×64大小的投影矩阵E;将m×128的特征描述符矩阵Y与投影矩阵E相乘获得m×64的矩阵X即降维描述符向量组成的矩阵,此时m个特征点的描述符向量均为64维。
4.如权利要求1所述的应用于大型压力容器红外无损检测的SIFT图像拼接方法,其特征在于,所述步骤S5对获得的粗匹配点对进行RANSAC去误匹配的具体步骤包括:
步骤S41、设置初始参数;由参考图像与被感知图像的差异,需要根据转换模型选择合适的模型,计算各种变换参数所需的匹配点个数按计算,q为计算转换参数所需的最小匹配点个数,p为每个转换模型中参数个数;本发明需要计算的是需要6个参数的仿射变换,所以必须随机选取3个匹配点,根据下面两式计算变换参数:
其中,(x1,y1)(x2,y2)和(x3,y3)分别是基准图像的匹配点的坐标,(x1′,y1′)(x2′,y2′)和(x3′,y3′)是待匹配图像的匹配点坐标,a,b,c,d,e,f为转换模型的参数;其中a、b、c、d为尺度和旋转量,e为水平方向的位移,f为垂直方向的位移;
步骤S42、选择最佳的转换模型;在每个指定迭代次数中,选择三个随机匹配点(仿射变换中)计算转换参数,在每次迭代中,根据得到的变换参数,由下式计算变换模型:
步骤S43、剔除不符合转换模型的点;在计算变换模型参数后,对基准图像中的每一个匹配点,计算被测图像中点P与其变换模型HPe之间的距离d(P,HPe);如果该距离小于固定的预定义阈值,则精确匹配该匹配点;否则,将删除基准图像和待拼接图像中的匹配点,阈值由经验确定;
步骤S44、迭代终止判别;在每次迭代中,计算出精确匹配的点数,如果精确匹配的点的数量超过了期望的值,或者达到了预定的最大迭代次数,算法就会停止;
7.如权利要求1所述的应用于大型压力容器红外无损检测的SIFT图像拼接方法,其特征在于,所述步骤S8对图像进行渐入渐出融合的具体方法为:设两幅待拼接的图像为M1,M2,将M1与M2在空间上进行融合,获得图像融合后的像素点M可以表示为:
其中重叠宽度决定着d1d2表示的权重值,d1+d2=1,0<d1<1,0<d2<1,其计算式表示如下:
其中xr为拼接图像重叠区域的右边界,xl为拼接图像重叠区域的左边界,xi为拼接图像当前像素点的坐标,在拼接图像的重叠区域中d1:1→0,d2:0→1,由此可使重叠区中的像素值实现平滑过渡,消除图像的拼接缝隙,获得正确无拼接缝的完整大型压力容器红外无损检测图像。
8.如权利要求1所述的应用于大型压力容器红外无损检测的SIFT图像的拼接方法,其特征在于,所述步骤S9仿真验证算法的拼接效果,所使用的实验平台为Windows 8,Intel(R)Core(TM)i5-4260U CPU@1.40GHz,内存为8GB,仿真软件为MATLAB 2015b。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910971944.6A CN110689485B (zh) | 2019-10-14 | 2019-10-14 | 一种应用于大型压力容器红外无损检测的sift图像拼接方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910971944.6A CN110689485B (zh) | 2019-10-14 | 2019-10-14 | 一种应用于大型压力容器红外无损检测的sift图像拼接方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN110689485A true CN110689485A (zh) | 2020-01-14 |
CN110689485B CN110689485B (zh) | 2022-11-04 |
Family
ID=69112474
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201910971944.6A Active CN110689485B (zh) | 2019-10-14 | 2019-10-14 | 一种应用于大型压力容器红外无损检测的sift图像拼接方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN110689485B (zh) |
Cited By (18)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111627007A (zh) * | 2020-05-27 | 2020-09-04 | 电子科技大学 | 一种基于自优化匹配网络图像拼接的航天器缺陷检测方法 |
CN112132802A (zh) * | 2020-05-27 | 2020-12-25 | 电子科技大学 | 一种基于自学习拼接算法的航天器撞击损伤检测方法 |
CN112364902A (zh) * | 2020-10-30 | 2021-02-12 | 太原理工大学 | 一种基于自适应相似性的特征选择学习方法 |
CN112634130A (zh) * | 2020-08-24 | 2021-04-09 | 中国人民解放军陆军工程大学 | Quick-SIFT算子下无人机航拍图像拼接方法 |
CN112666219A (zh) * | 2020-12-29 | 2021-04-16 | 厦门理工学院 | 一种基于红外热成像的叶片检测方法和装置以及设备 |
CN112700424A (zh) * | 2021-01-07 | 2021-04-23 | 国网山东省电力公司电力科学研究院 | 一种变电设备带电检测红外检测质量评估方法 |
CN112819775A (zh) * | 2021-01-28 | 2021-05-18 | 中国空气动力研究与发展中心超高速空气动力研究所 | 一种航空航天复合材料损伤检测图像的分割强化方法 |
CN112949216A (zh) * | 2021-02-03 | 2021-06-11 | 中国空气动力研究与发展中心高速空气动力研究所 | 一种基于混合性能函数的在线寻峰数据处理方法 |
CN112986329A (zh) * | 2021-02-07 | 2021-06-18 | 电子科技大学 | 大尺寸非平面试件超高速撞击损伤的红外热成像检测方法 |
CN113516689A (zh) * | 2021-09-10 | 2021-10-19 | 北京理工大学 | 一种基于关联帧约束的纹影特征可视化增强方法 |
CN113658054A (zh) * | 2021-07-06 | 2021-11-16 | 北京空间机电研究所 | 一种基于温漂特征线逼近的红外图像拼接校正方法 |
CN114004913A (zh) * | 2021-12-28 | 2022-02-01 | 成都理工大学 | 一种基于柯西混合模型的tgs图像重构方法 |
CN114266703A (zh) * | 2022-03-03 | 2022-04-01 | 凯新创达(深圳)科技发展有限公司 | 一种图像拼接方法和系统 |
CN114519671A (zh) * | 2022-02-16 | 2022-05-20 | 天津中科无人机应用研究院 | 无人机遥感影像动态快速拼接方法 |
CN114742869A (zh) * | 2022-06-15 | 2022-07-12 | 西安交通大学医学院第一附属医院 | 基于图形识别的脑部神经外科配准方法及电子设备 |
CN117056686A (zh) * | 2023-08-14 | 2023-11-14 | 嘉兴市安得特种设备科技有限公司 | 一种检测压力容器表面缺陷的告警方法及系统 |
CN117329977A (zh) * | 2023-11-28 | 2024-01-02 | 中国飞机强度研究所 | 复杂工况下结构疲劳裂纹视觉特征表征与测量处理方法 |
CN117572917A (zh) * | 2024-01-17 | 2024-02-20 | 济宁市质量计量检验检测研究院(济宁半导体及显示产品质量监督检验中心、济宁市纤维质量监测中心) | 一种用于温度智能控制器的数据融合方法及系统 |
Citations (16)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20100158355A1 (en) * | 2005-04-19 | 2010-06-24 | Siemens Corporation | Fast Object Detection For Augmented Reality Systems |
WO2012058902A1 (zh) * | 2010-11-02 | 2012-05-10 | 中兴通讯股份有限公司 | 全景图合成方法及装置 |
CN102927448A (zh) * | 2012-09-25 | 2013-02-13 | 北京声迅电子股份有限公司 | 管道无损检测方法 |
WO2013109941A2 (en) * | 2012-01-19 | 2013-07-25 | Vid Scale, Inc. | Methods and systems for video delivery supporting adaption to viewing conditions |
US20140028850A1 (en) * | 2012-07-26 | 2014-01-30 | Qualcomm Incorporated | Augmentation of Tangible Objects as User Interface Controller |
US20160142644A1 (en) * | 2014-11-17 | 2016-05-19 | Industrial Technology Research Institute | Surveillance systems and image processing methods thereof |
WO2016086754A1 (zh) * | 2014-12-03 | 2016-06-09 | 中国矿业大学 | 一种大场景视频图像拼接方法 |
CN106447601A (zh) * | 2016-08-31 | 2017-02-22 | 中国科学院遥感与数字地球研究所 | 一种基于投影‑相似变换的无人机遥感影像拼接方法 |
CN107784632A (zh) * | 2016-08-26 | 2018-03-09 | 南京理工大学 | 一种基于红外热成像系统的红外全景图的生成方法 |
CN107833179A (zh) * | 2017-09-05 | 2018-03-23 | 云南电网有限责任公司昆明供电局 | 一种红外图像的快速拼接方法及系统 |
CN108537732A (zh) * | 2018-04-10 | 2018-09-14 | 福州大学 | 基于pca-sift的快速图像拼接方法 |
US20180373959A1 (en) * | 2013-04-11 | 2018-12-27 | Digimarc Corporation | Methods for object recognition and related arrangements |
CN109101867A (zh) * | 2018-06-11 | 2018-12-28 | 平安科技(深圳)有限公司 | 一种图像匹配方法、装置、计算机设备及存储介质 |
WO2019047284A1 (zh) * | 2017-09-05 | 2019-03-14 | 平安科技(深圳)有限公司 | 特征提取、全景拼接方法及其装置、设备、可读存储介质 |
WO2019134327A1 (zh) * | 2018-01-03 | 2019-07-11 | 东北大学 | 一种基于边缘检测与sift的人脸表情识别特征提取方法 |
CN110232655A (zh) * | 2019-06-13 | 2019-09-13 | 浙江工业大学 | 一种用于煤场的红外-可见光双光图像拼接与融合方法 |
-
2019
- 2019-10-14 CN CN201910971944.6A patent/CN110689485B/zh active Active
Patent Citations (17)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20100158355A1 (en) * | 2005-04-19 | 2010-06-24 | Siemens Corporation | Fast Object Detection For Augmented Reality Systems |
WO2012058902A1 (zh) * | 2010-11-02 | 2012-05-10 | 中兴通讯股份有限公司 | 全景图合成方法及装置 |
WO2013109941A2 (en) * | 2012-01-19 | 2013-07-25 | Vid Scale, Inc. | Methods and systems for video delivery supporting adaption to viewing conditions |
US20140028850A1 (en) * | 2012-07-26 | 2014-01-30 | Qualcomm Incorporated | Augmentation of Tangible Objects as User Interface Controller |
US20140028712A1 (en) * | 2012-07-26 | 2014-01-30 | Qualcomm Incorporated | Method and apparatus for controlling augmented reality |
CN102927448A (zh) * | 2012-09-25 | 2013-02-13 | 北京声迅电子股份有限公司 | 管道无损检测方法 |
US20180373959A1 (en) * | 2013-04-11 | 2018-12-27 | Digimarc Corporation | Methods for object recognition and related arrangements |
US20160142644A1 (en) * | 2014-11-17 | 2016-05-19 | Industrial Technology Research Institute | Surveillance systems and image processing methods thereof |
WO2016086754A1 (zh) * | 2014-12-03 | 2016-06-09 | 中国矿业大学 | 一种大场景视频图像拼接方法 |
CN107784632A (zh) * | 2016-08-26 | 2018-03-09 | 南京理工大学 | 一种基于红外热成像系统的红外全景图的生成方法 |
CN106447601A (zh) * | 2016-08-31 | 2017-02-22 | 中国科学院遥感与数字地球研究所 | 一种基于投影‑相似变换的无人机遥感影像拼接方法 |
CN107833179A (zh) * | 2017-09-05 | 2018-03-23 | 云南电网有限责任公司昆明供电局 | 一种红外图像的快速拼接方法及系统 |
WO2019047284A1 (zh) * | 2017-09-05 | 2019-03-14 | 平安科技(深圳)有限公司 | 特征提取、全景拼接方法及其装置、设备、可读存储介质 |
WO2019134327A1 (zh) * | 2018-01-03 | 2019-07-11 | 东北大学 | 一种基于边缘检测与sift的人脸表情识别特征提取方法 |
CN108537732A (zh) * | 2018-04-10 | 2018-09-14 | 福州大学 | 基于pca-sift的快速图像拼接方法 |
CN109101867A (zh) * | 2018-06-11 | 2018-12-28 | 平安科技(深圳)有限公司 | 一种图像匹配方法、装置、计算机设备及存储介质 |
CN110232655A (zh) * | 2019-06-13 | 2019-09-13 | 浙江工业大学 | 一种用于煤场的红外-可见光双光图像拼接与融合方法 |
Non-Patent Citations (5)
Title |
---|
NING LI ZHANG: "《An Improved PCA-SIFT Algorithm by Fuzzy K-Means for Image Matching》", 《APPLIED MECHANICS AND METERIALS》 * |
吴兵强: "《基于特征点的图像拼接与单目相机位姿测量的研究》", 《中国优秀硕士学位论文全文数据库》 * |
杨炳坤: "《一种面向图像拼接的改进PCA-SIFT算法》", 《微电子学与计算机》 * |
袁杰: "《基于SIFT的图像配准与拼接技术研究》", 《中国优秀硕士学位论文全文数据库》 * |
邓书勤: "《一种快速高精度的汽车仪表盘图像配准算法》", 《西南科技大学学报》 * |
Cited By (31)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112132802B (zh) * | 2020-05-27 | 2022-06-14 | 电子科技大学 | 一种基于自学习拼接算法的航天器撞击损伤检测方法 |
CN112132802A (zh) * | 2020-05-27 | 2020-12-25 | 电子科技大学 | 一种基于自学习拼接算法的航天器撞击损伤检测方法 |
CN111627007A (zh) * | 2020-05-27 | 2020-09-04 | 电子科技大学 | 一种基于自优化匹配网络图像拼接的航天器缺陷检测方法 |
CN111627007B (zh) * | 2020-05-27 | 2022-06-14 | 电子科技大学 | 一种基于自优化匹配网络图像拼接的航天器缺陷检测方法 |
CN112634130A (zh) * | 2020-08-24 | 2021-04-09 | 中国人民解放军陆军工程大学 | Quick-SIFT算子下无人机航拍图像拼接方法 |
CN112364902A (zh) * | 2020-10-30 | 2021-02-12 | 太原理工大学 | 一种基于自适应相似性的特征选择学习方法 |
CN112364902B (zh) * | 2020-10-30 | 2022-11-15 | 太原理工大学 | 一种基于自适应相似性的特征选择学习方法 |
CN112666219A (zh) * | 2020-12-29 | 2021-04-16 | 厦门理工学院 | 一种基于红外热成像的叶片检测方法和装置以及设备 |
CN112700424A (zh) * | 2021-01-07 | 2021-04-23 | 国网山东省电力公司电力科学研究院 | 一种变电设备带电检测红外检测质量评估方法 |
CN112700424B (zh) * | 2021-01-07 | 2022-11-11 | 国网山东省电力公司电力科学研究院 | 一种变电设备带电检测红外检测质量评估方法 |
CN112819775A (zh) * | 2021-01-28 | 2021-05-18 | 中国空气动力研究与发展中心超高速空气动力研究所 | 一种航空航天复合材料损伤检测图像的分割强化方法 |
CN112819775B (zh) * | 2021-01-28 | 2022-07-19 | 中国空气动力研究与发展中心超高速空气动力研究所 | 一种航空航天复合材料损伤检测图像的分割强化方法 |
CN112949216A (zh) * | 2021-02-03 | 2021-06-11 | 中国空气动力研究与发展中心高速空气动力研究所 | 一种基于混合性能函数的在线寻峰数据处理方法 |
CN112949216B (zh) * | 2021-02-03 | 2023-07-14 | 中国空气动力研究与发展中心高速空气动力研究所 | 一种基于混合性能函数的在线寻峰数据处理方法 |
CN112986329B (zh) * | 2021-02-07 | 2022-03-25 | 电子科技大学 | 大尺寸非平面试件超高速撞击损伤的红外热成像检测方法 |
CN112986329A (zh) * | 2021-02-07 | 2021-06-18 | 电子科技大学 | 大尺寸非平面试件超高速撞击损伤的红外热成像检测方法 |
CN113658054A (zh) * | 2021-07-06 | 2021-11-16 | 北京空间机电研究所 | 一种基于温漂特征线逼近的红外图像拼接校正方法 |
CN113658054B (zh) * | 2021-07-06 | 2024-03-29 | 北京空间机电研究所 | 一种基于温漂特征线逼近的红外图像拼接校正方法 |
CN113516689A (zh) * | 2021-09-10 | 2021-10-19 | 北京理工大学 | 一种基于关联帧约束的纹影特征可视化增强方法 |
CN114004913A (zh) * | 2021-12-28 | 2022-02-01 | 成都理工大学 | 一种基于柯西混合模型的tgs图像重构方法 |
CN114004913B (zh) * | 2021-12-28 | 2022-03-29 | 成都理工大学 | 一种基于柯西混合模型的tgs图像重构方法 |
CN114519671A (zh) * | 2022-02-16 | 2022-05-20 | 天津中科无人机应用研究院 | 无人机遥感影像动态快速拼接方法 |
CN114266703A (zh) * | 2022-03-03 | 2022-04-01 | 凯新创达(深圳)科技发展有限公司 | 一种图像拼接方法和系统 |
CN114742869B (zh) * | 2022-06-15 | 2022-08-16 | 西安交通大学医学院第一附属医院 | 基于图形识别的脑部神经外科配准方法及电子设备 |
CN114742869A (zh) * | 2022-06-15 | 2022-07-12 | 西安交通大学医学院第一附属医院 | 基于图形识别的脑部神经外科配准方法及电子设备 |
CN117056686A (zh) * | 2023-08-14 | 2023-11-14 | 嘉兴市安得特种设备科技有限公司 | 一种检测压力容器表面缺陷的告警方法及系统 |
CN117056686B (zh) * | 2023-08-14 | 2024-02-02 | 嘉兴市安得特种设备科技有限公司 | 一种检测压力容器表面缺陷的告警方法及系统 |
CN117329977A (zh) * | 2023-11-28 | 2024-01-02 | 中国飞机强度研究所 | 复杂工况下结构疲劳裂纹视觉特征表征与测量处理方法 |
CN117329977B (zh) * | 2023-11-28 | 2024-02-13 | 中国飞机强度研究所 | 复杂工况下结构疲劳裂纹视觉特征表征与测量处理方法 |
CN117572917A (zh) * | 2024-01-17 | 2024-02-20 | 济宁市质量计量检验检测研究院(济宁半导体及显示产品质量监督检验中心、济宁市纤维质量监测中心) | 一种用于温度智能控制器的数据融合方法及系统 |
CN117572917B (zh) * | 2024-01-17 | 2024-04-09 | 济宁市质量计量检验检测研究院(济宁半导体及显示产品质量监督检验中心、济宁市纤维质量监测中心) | 一种用于温度智能控制器的数据融合方法及系统 |
Also Published As
Publication number | Publication date |
---|---|
CN110689485B (zh) | 2022-11-04 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN110689485B (zh) | 一种应用于大型压力容器红外无损检测的sift图像拼接方法 | |
US9141871B2 (en) | Systems, methods, and software implementing affine-invariant feature detection implementing iterative searching of an affine space | |
Ma et al. | Robust feature matching for remote sensing image registration via locally linear transforming | |
Ma et al. | Non-rigid point set registration with robust transformation estimation under manifold regularization | |
Jiang et al. | Robust feature matching for remote sensing image registration via linear adaptive filtering | |
US6975755B1 (en) | Image processing method and apparatus | |
US7706603B2 (en) | Fast object detection for augmented reality systems | |
US8798377B2 (en) | Efficient scale-space extraction and description of interest points | |
CN106485651B (zh) | 快速鲁棒性尺度不变的图像匹配方法 | |
CN112330538B (zh) | 一种基于特征点优化提取的损伤温度重构图像拼接方法 | |
CN106991695A (zh) | 一种图像配准方法及装置 | |
Urban et al. | Finding a good feature detector-descriptor combination for the 2D keypoint-based registration of TLS point clouds | |
CN112288761B (zh) | 一种异常发热的电力设备检测方法、装置和可读存储介质 | |
Zhao et al. | Aliked: A lighter keypoint and descriptor extraction network via deformable transformation | |
Hu et al. | Matching images with multiple descriptors: An unsupervised approach for locally adaptive descriptor selection | |
CN111192194A (zh) | 一种针对幕墙建筑立面的全景图像拼接方法 | |
Morago et al. | An ensemble approach to image matching using contextual features | |
Cui et al. | Global propagation of affine invariant features for robust matching | |
Wang et al. | Mosaicshape: Stochastic region grouping with shape prior | |
Zhang et al. | Discriminative image warping with attribute flow | |
US20050053282A1 (en) | Apparatus and method for character recognition and program thereof | |
Zhao et al. | Visual homing by robust interpolation for sparse motion flow | |
Hossein-Nejad et al. | Image registration based on redundant keypoint elimination SARSIFT Algorithm and MROGH Descriptor | |
CN114399731B (zh) | 一种单粗点监督下的目标定位方法 | |
KK et al. | Visual words for 3D reconstruction and pose computation |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |