CN110232387A - 一种基于kaze-hog算法的异源图像匹配方法 - Google Patents

一种基于kaze-hog算法的异源图像匹配方法 Download PDF

Info

Publication number
CN110232387A
CN110232387A CN201910438812.7A CN201910438812A CN110232387A CN 110232387 A CN110232387 A CN 110232387A CN 201910438812 A CN201910438812 A CN 201910438812A CN 110232387 A CN110232387 A CN 110232387A
Authority
CN
China
Prior art keywords
image
pixel
kaze
gray level
hog
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201910438812.7A
Other languages
English (en)
Other versions
CN110232387B (zh
Inventor
王鑫
段林
张香梁
石爱业
吕国芳
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hohai University HHU
Original Assignee
Hohai University HHU
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hohai University HHU filed Critical Hohai University HHU
Priority to CN201910438812.7A priority Critical patent/CN110232387B/zh
Publication of CN110232387A publication Critical patent/CN110232387A/zh
Application granted granted Critical
Publication of CN110232387B publication Critical patent/CN110232387B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/22Matching criteria, e.g. proximity measures
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/40Extraction of image or video features
    • G06V10/44Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G06V10/443Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components by matching or filtering
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/40Extraction of image or video features
    • G06V10/46Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
    • G06V10/462Salient features, e.g. scale invariant feature transforms [SIFT]

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Multimedia (AREA)
  • Artificial Intelligence (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Image Processing (AREA)

Abstract

本发明公开了一种基于KAZE‑HOG算法的异源图像匹配方法,所述方法包括如下步骤:S1:对两幅待匹配的异源图像进行滤波处理,获取去噪声后的图像XA和图像XB;S2:在非线性尺度空间中,通过KAZE‑HOG算法对所述图像XA和图像XB提取KAZE‑HOG特征点,并生成KAZE‑HOG特征描述子;S3:根据所述图像XA和图像XB的KAZE‑HOG特征描述子,利用最近邻搜索算法获取匹配点;S4:将所述匹配点中的误匹配点去除,确定匹配结果。本发明中KAZE算法在尽可能保留目标边界的前提下对图像进行特征检测,之后利用HOG算法对图像几何和光学的形变都能保持很好的不变性的优点进行特征点提取,同时利用HOG算子生成36维的描述子,从而提高了算法的运算效率。

Description

一种基于KAZE-HOG算法的异源图像匹配方法
技术领域
本发明涉及图像匹配技术领域,尤其涉及一种基于KAZE-HOG算法的异源图像匹配方法。
背景技术
异源图像的匹配广泛用于卫星导航、遥感遥测、计算机视觉、模式识别、医学图像分析等情景中,尤其是在飞行器视觉导航技术领域中的应用特别常见,其匹配结果的稳定性和定位精度直接关系飞行器的飞行状态。在分析图像时,我们通常需要匹配来自不同类型的传感器所获得的图像。由于形成图像的传感器自身结构、成像原理以及空间时间等要素的影响,往往会导致异源图像之间对应区域的灰度、对比度都存在较大的差异,从而给异源图像的匹配研究工作带来了极大的困难。
由于成像时的光照、环境、角度等条件不一致,我们获取的同一物体的图像是存在差异的,在对两幅异源图像进行匹配时,往往需要先进行特征点的提取,再对特征点进行匹配。近年来,随着国内外学者对各种局部特征描述子的研究,出现了一系列经典的特征检测算法和基于它们的改进算法,并应用于图像的匹配。
加拿大教授Lowe提出了尺度不变特征变换——SIFT(Scale Invariant FeatureTransform),它通过在空间尺度中寻找极值点,然后利用直方图确定主方向,使其具有旋转不变性。但由于SIFT采用128维的描述子,使得在检测和描述过程中算法复杂度较高,算法的匹配速度慢,达不到实时的要求。Bay等人提出了快速鲁棒性尺度不变特征提取——SURF(Speed Up Robust Features)算法,该算法利用不同尺度的Hessian矩阵判别式的值生成尺度空间来检测关键点,同时在不同尺度上利用Harr小波生成64维的描述符,在整体上优于SIFT算法。但这些算法对于异源图像的匹配往往难以得到理想的匹配结果。
中国专利公告号:CN 101833672 B;公告日:2012年02月15日,公开了一种基于对象间粗大边缘拟合的异源图像匹配方法,根据可见光、红外和雷达等异源图像中对象间的粗大边缘具有可匹配的共性特点,提出了基于对象间粗大边缘的异源图像匹配的方法,现有基于边缘的匹配方法容易受到边缘局部突变点、毛刺、变形和残缺影响,采用基于道格拉斯-普克拟合的方法以去除这些影响,对保留的边缘点构建二维几何特征不变量,以此进行相似性的度量和边缘点的匹配。该发明实现了可见光、红外和雷达异源图像的匹配,但是该发明中粗大边缘拟合时阈值的大小难以确定,会影响拟合效果,进而影响匹配结果。
期刊《激光与红外》第42卷第11期中“SIFT与形状上下文结合的异源图像匹配算法”,提出了一种基于改进的尺度不变特征变换和形状上下文描述的局部多特征匹配算法。首先通过高斯差分检测算法分别提取两幅图像的特征点,针对特征点梯度方向存在反转现象,结合梯度镜像方法对特征点统计特征点邻域梯度方向信息,然后引入图像边缘特征生成形状上下文描述子,与梯度方向描述子级联成联合描述子;最后采用欧式距离和卡方距离加权的联合距离和最近邻算法对特征点进行匹配。实验结果证明,在红外图像和可见光图像匹配中,该算法相比原始SIFT算法能有效减少误匹配特征点对,达到较高的匹配精度。但是该方法对噪声敏感,且算法复杂度高,同时得到的匹配结果中误匹配的点较多。
总之,现有的异源图像匹配方法存在诸多的局限性,主要表现在:
(1)算法复杂度高,匹配难以实现实时性。
(2)一些算法对噪声敏感,从而影响生成的特征描述子,进而影响最终的匹配结果。
(3)匹配的结果往往带有大量的误匹配点,存在着难以消除或误消除的情况。
发明内容
发明目的:针对现有的异源图像匹配方法中存在着匹配算法复杂度较高导致匹配实时性不好、部分算法不支持尺度变换或旋转变换后的异源图像之间的匹配、匹配过程中提取的特征点较少以及异源图像由于两者自身在空间上的灰度值差异较大导致两者相互之间难以进行匹配的问题,本发明提出一种基于KAZE-HOG算法的异源图像匹配方法。
技术方案:为实现本发明的目的,本发明所采用的技术方案是:
一种基于KAZE-HOG算法的异源图像匹配方法,所述方法包括如下步骤:
S1:对同一目标物体的两幅待匹配的异源图像进行滤波处理,获取去噪声后的图像XA和图像XB
S2:在非线性尺度空间中,通过KAZE-HOG算法对所述图像XA和图像XB提取KAZE-HOG特征点,并生成KAZE-HOG特征描述子;
S3:根据所述图像XA和图像XB的KAZE-HOG特征描述子,利用最近邻搜索算法获取匹配点;
S4:将所述匹配点中的误匹配点删除,获取匹配结果。
进一步地讲,所述步骤S1获取去噪声后的图像XA和图像XB,具体如下:
S1.1:对同一目标物体的两幅待匹配的异源图像进行读取,获取可见光图像IA和红外图像IB
S1.2:根据双边滤波器的设计原理,设计双边滤波器bilaterFilter;
S1.3:将所述可见光图像IA和红外图像IB分别进行灰度化处理,获取灰度图像FA和灰度图像FB
S1.4:将灰度图像FA和灰度图像FB中的像素点通过所述双边滤波器bilaterFilter进行双边滤波,获取双边滤波后对应的灰度值;
S1.5:将所有所述双边滤波后对应的灰度值进行组建,获取去噪声后的图像XA和XB
进一步地讲,所述步骤S1.4获取双边滤波后对应的灰度值,具体如下:
S1.4.1:根据所述灰度图像FA和灰度图像FB中的像素点,获取像素点对应的灰度值与像素点邻域内任意八个像素点对应的灰度值共同构成的矩阵,具体为:
其中:AF为灰度图像FA中像素点对应的灰度值与其邻域内八个像素点对应的灰度值共同构成的矩阵、邻域为像素点与其周围像素共同构成的集合,BF为灰度图像FB中像素点对应的灰度值与其邻域内八个像素点对应的灰度值共同构成的矩阵、邻域为像素点与其周围像素共同构成的集合,iA为灰度图像FA中像素点的横坐标大小,jA为灰度图像FA中像素点的纵坐标大小,iB为灰度图像FB中像素点的横坐标大小,jB为灰度图像FB中像素点的纵坐标大小,f为灰度图像中像素点对应的灰度值;
S1.4.2:根据矩阵的中心点和像素点邻域内任意一个像素点,获取所述中心点和像素点邻域内任意一个像素点之间的空间距离和灰度距离,具体为:
其中:dA(iA,jA,kA,lA)为矩阵AF的中心点(iA,jA)和像素点邻域内任意一个像素点之间的空间距离、邻域为像素点与其周围像素共同构成的集合,rA(iA,jA,kA,lA)为矩阵AF的中心点(iA,jA)和像素点邻域内任意一个像素点之间的灰度距离、邻域为像素点与其周围像素共同构成的集合,dB(iB,jB,kB,lB)为矩阵BF的中心点(iB,jB)和像素点邻域内任意一个像素点之间的空间距离、邻域为像素点与其周围像素共同构成的集合,rB(iB,jB,kB,lB)为矩阵BF的中心点(iB,jB)和像素点邻域内任意一个像素点之间的灰度距离、邻域为像素点与其周围像素共同构成的集合,f(iA,jA)为灰度图像FA中像素点(iA,jA)对应的灰度值,f(iB,jB)为灰度图像FB中像素点(iB,jB)对应的灰度值,f(kA,lA)为灰度图像FA中像素点邻域内像素点(kA,lA)对应的灰度值,f(kB,lB)为灰度图像FB中像素点邻域内像素点(kB,lB)对应的灰度值,iA为灰度图像FA中像素点的横坐标大小,jA为灰度图像FA中像素点的纵坐标大小,iB为灰度图像FB中像素的横坐标大小,jB为灰度图像FB中像素点的纵坐标大小,kA为灰度图像FA中像素点邻域内像素点的横坐标大小,lA为灰度图像FA中像素点邻域内像素点的纵坐标大小,kB为灰度图像FB中像素点邻域内像素点的横坐标大小,lB为灰度图像FB中像素点邻域内像素点的纵坐标大小,a为全局方差,b为局部方差;
S1.4.3:通过所述空间距离和灰度距离,获取双边滤波权重值,具体为:
其中:wA(iA,jA,kA,lA)为双边滤波器bilaterFilter对灰度图像FA进行滤波时的双边滤波权重值,wB(iB,jB,kB,lB)为双边滤波器bilaterFilter对灰度图像FB进行滤波时的双边滤波权重值,f(iA,jA)为灰度图像FA中像素点(iA,jA)对应的灰度值,f(iB,jB)为灰度图像FB中像素点(iB,jB)对应的灰度值,f(kA,lA)为灰度图像FA中像素点邻域内像素点(kA,lA)对应的灰度值,f(kB,lB)为灰度图像FB中像素点邻域内像素点(kB,lB)对应的灰度值,iA为灰度图像FA中像素点的横坐标大小,jA为灰度图像FA中像素点的纵坐标大小,iB为灰度图像FB中像素的横坐标大小,jB为灰度图像FB中像素点的纵坐标大小,kA为灰度图像FA中像素点邻域内像素点的横坐标大小,lA为灰度图像FA中像素点邻域内像素点的纵坐标大小,kB为灰度图像FB中像素点邻域内像素点的横坐标大小,lB为灰度图像FB中像素点邻域内像素点的纵坐标大小,a为全局方差,b为局部方差;
S1.4.4:根据所述双边滤波权重值,确定所述像素点双边滤波后对应的灰度值,具体为:
其中:gA(iA,jA)为灰度图像FA中像素点(iA,jA)双边滤波后对应的灰度值,gB(iB,jB)为灰度图像FB中像素点(iB,jB)双边滤波后对应的灰度值,w(iA,jA,kA,lA)为双边滤波器bilaterFilter对灰度图像FA进行滤波时的双边滤波权重值,w(iB,jB,kB,lB)为双边滤波器bilaterFilter对灰度图像FB进行滤波时的双边滤波权重值,f(iA,jA)为灰度图像FA中像素点(iA,jA)对应的灰度值,f(iB,jB)为灰度图像FB中像素点(iB,jB)对应的灰度值,f(kA,lA)为灰度图像FA中像素点邻域内像素点(kA,lA)对应的灰度值,f(kB,lB)为灰度图像FB中像素点邻域内像素点(kB,lB)对应的灰度值,UA为灰度图像FA中像素点邻域范围的大小,UB为灰度图像FB中像素点邻域范围的大小。
进一步地讲,所述步骤S2生成KAZE-HOG特征描述子,具体如下:
S2.1:对所述图像XA和图像XB分别进行非线性扩散滤波,获取图像XA和图像XB的多层图像,构建非线性尺度空间SA和非线性尺度空间SB
S2.2:在所述非线性尺度空间SA和非线性尺度空间SB中,通过KAZE算法确定出图像XA和图像XB中的KAZE特征点;
S2.3:根据所述图像XA和图像XB中的KAZE特征点,通过HOG算法获取图像XA和图像XB中的KAZE-HOG特征点,组建数组HA和数组HB
S2.4:所述数组HA和数组HB中的KAZE-HOG特征点,通过HOG算法生成KAZE-HOG特征向量,将所述图像XA和图像XB中所有的KAZE-HOG特征向量进行拼接,生成所述KAZE-HOG特征描述子,具体为:
其中:fA为图像XA的KAZE-HOG特征描述子,fB为图像XB的KAZE-HOG特征描述子,fA,p为图像XA中的KAZE-HOG特征向量,fB,q为图像XB中的KAZE-HOG特征向量。
进一步地讲,所述步骤S2.1构建非线性尺度空间SA和非线性尺度空间SB,具体如下:
S2.1.1:构造Perona Malik扩散方程,确定扩散的传导函数,具体为:
c(x,y,t)=g(|▽Lσ(x,y,t)|)
其中:
c(x,y,t)为扩散的传导函数,▽Lσ为原始图像高斯平滑后的梯度图像,k为控制扩散级别的对比度因子;
S2.1.2:将所述扩散的传导函数引入非线性扩散滤波公式中,使非线性扩散能够适应图像XA和图像XB的局部特征,其中所述非线性扩散滤波公式,具体为:
其中:div为散度,c(x,y,t)为扩散的传导函数,▽为梯度,L为图像的亮度;
S2.1.3:根据所述扩散的传导函数,获取扩散的传导函数的离散表达式,确定图像XA多层图像的层数和图像XB多层图像的层数,其中所述扩散的传导函数的离散表达式,具体为:
其中:
Li为多层图像中的第i层图像,I为N维单位矩阵,τ为步长,m为任意大于1的整数,Al为扩散的传导函数在每一个维度的构造函数;
S2.1.4:根据所述图像XA多层图像的层数和图像XB多层图像的层数,建立非线性尺度空间模型,获取所述图像XA多层图像中层与层之间的关系、图像XB多层图像中层与层之间的关系,具体为:
其中:ti为进化时间,σi为非线性尺度空间模型中各个层之间的尺度关系,N为整个非线性尺度空间模型所包含的图像总数;
S2.1.5:根据所述图像XA多层图像中层与层之间的关系、图像XB多层图像中层与层之间的关系,将所述图像XA多层图像中的所有图层和图像XB多层图像中的所有图层在空间上均从上到下依次排列,构建所述非线性尺度空间SA和非线性尺度空间SB
进一步地讲,所述步骤S2.2通过KAZE算法确定出图像XA和图像XB中的KAZE特征点,具体如下:
S2.2.1:在所述非线性尺度空间SA和非线性尺度空间SB中,通过尺度归一化Hessian行列式计算出每层图像在各个像素点处的响应值,其中每层图像中各个像素点处响应值的计算公式,具体为:
其中:Lxx为亮度L在x方向的二阶偏导数,Lyy为亮度L在y方向的二阶偏导数,Lxy为亮度L在x和y方向上的混合二阶偏导数,σ为图像所在层的尺度系数;
S2.2.2:通过泰勒展开式分别对所述图像XA和图像XB中各个响应值进行计算,获取尺度空间坐标的解,确定出所述图像XA和图像XB中的KAZE特征点,其中所述尺度空间坐标的解,具体为:
其中:为尺度空间坐标,i为灰度图像中像素点的横坐标大小,j为灰度图像中像素点的纵坐标大小,σ为图像所在层的尺度系数。
进一步地讲,所述步骤S2.3组建数组HA和数组HB,具体如下:
S2.3.1:根据所述图像XA和图像XB中的KAZE特征点,组建二维数组KA和二维数组KB,具体为:
其中:KA为保存有图像XA中所有的KAZE特征点的坐标的二维数组,KB为保存有图像XB中所有的KAZE特征点的坐标的二维数组,(An,x,An,y)为图像XA中KAZE特征点的坐标,(Bm,x,Bm,y)为图像XB中KAZE特征点的坐标;
S2.3.2:对所述图像XA和图像XB进行归一化处理;
S2.3.3:将所述归一化处理后的图像XA和图像XB划分成细胞,并根据细胞的HOG特征信息组建子块,确定出子块中的HOG特征向量;
S2.3.4:对所述子块中的HOG特征向量做归一化处理,在所述二维数组KA和二维数组KB中,确定出所述图像XA和图像XB中的KAZE-HOG特征点,其中归一化公式,具体为:
其中:v为KAZE子块中的HOG特征向量,||v||2是v的2范数,ε是任意小的常数;
S2.3.5:通过所述图像XA和图像XB中的KAZE-HOG特征点,组建数组HA和数组HB,具体为:
其中:HA为保存有图像XA中所有的KAZE-HOG特征点的数组,HB为保存有图像XB中所有的KAZE-HOG特征点的数组,(HAp,x,HAp,y)为图像XA中KAZE-HOG特征点的坐标,(HBq,x,HBq,y)为图像XB中KAZE-HOG特征点的坐标。
进一步地讲,所述步骤S3利用最近邻搜索算法获取匹配点,具体如下:
S3.1:根据所述图像XA和图像XB的KAZE-HOG特征描述子,计算所述图像XA中任意一个KAZE-HOG特征向量分别与图像XB中的每一个KAZE-HOG特征向量之间的欧式距离;
S3.2:根据所述欧式距离,选择并标记出欧式距离最近的两个KAZE-HOG特征向量所对应的KAZE-HOG特征点,获取配对特征点;
S3.3:通过所述配对特征点,建立配对特征点映射,获取匹配点。
进一步地讲,所述步骤S4获取匹配结果,具体如下:
S4.1:根据所述匹配点,随机选择4对不共线的匹配点,计算出单应矩阵,对所述单应矩阵进行归一化处理,创建模型M,其中通过所述4个匹配点对的位置坐标解出单应矩阵中的八个未知参数,具体为:
其中:H为单应矩阵,xA为图像XA中KAZE-HOG特征点的横坐标,yA为图像XA中KAZE-HOG特征点的纵坐标,xB为图像XB中KAZE-HOG特征点的横坐标,yB为图像XA中KAZE-HOG特征点的纵坐标,σ为图像所在层的尺度系数,h11、h12、h13、h21、h22、h23、h31和h32为未知参数;
S4.2:通过所述模型M测试匹配点,并计算测试结果与模型M之间的投影误差,选择所述投影误差小于阈值时所对应的匹配点,组建内点集,其中所述投影误差,具体为:
其中:(xi,xi′)为匹配点对的齐次坐标,IN为内点集,(Hxi)1为向量Hxi的第1个分量,(Hxi)2为向量Hxi的第2个分量,(HTxi′)1为向量HTxi′的第1个分量,(HTxi′)2为向量Hxi的第2个分量;
S4.3:重复步骤S4.1-S4.2,获取W组内点集,所述W≥2;
S4.4:选择所述W组内点集中内点数目最多的内点集,由满足内点数目最多的内点集对应的单应矩阵的内点,确定出去除误匹配点后的匹配点集;
S4.5:根据所述匹配点集中各个匹配点的坐标,将图像XA和图像XB中对应的匹配点进行连接,确定所述匹配结果。
进一步地讲,所述阈值具体为:
t2=χn -1(α)2δ
其中:δ为方差,α为置信概率,χn(α)为置信概率为α的n维卡方分布。
有益效果:与现有技术相比,本发明的技术方案具有以下有益技术效果:
(1)本发明通过利用KAZE-HOG算法对异源图像进行匹配,有效地结合了KAZE算法和HOG算法的优点,且KAZE算法和HOG算法两者结合提出的KAZE-HOG算法具有鲁棒性强的特点,可以有效地克服噪声对图像的干扰,算法复杂度较低,匹配的过程具有良好的实时性,匹配结果的精确度高,其中KAZE算法在尽可能保留目标边界的前提下对图像进行特征检测,之后利用HOG算法对图像几何和光学的形变都能保持很好的不变性的优点进行特征点提取,同时利用HOG算子生成36维的描述子,从而提高了算法的运算效率;
(2)本发明利用双边滤波法对图像进行去噪预处理,可以在去除图像中噪声信息的同时,也能完好地保留图像中的边缘以及角点特征,以利于后续步骤的特征点检测和描述子生成;
(3)本发明对于粗匹配后得到的结果,利用MSAC算法将图像中的误匹配点进行剔除,不仅可以反映样本数据的数目,也可以反映样本数据之间的拟合程度,在整体上性能要优于RANSAC算法。
附图说明
图1是本发明方法的流程示意图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚,下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述。其中,所描述的实施例是本发明一部分实施例,而不是全部的实施例。因此,以下对在附图中提供的本发明的实施例的详细描述并非旨在限制要求保护的本发明的范围,而是仅仅表示本发明的选定实施例。
实施例1
参考图1,本实施例提供了一种基于KAZE-HOG算法的异源图像匹配方法,具体包括如下步骤:
步骤S1:对两幅待匹配的异源图像进行滤波处理,获取去噪声后的图像XA和图像XB。其中待匹配的两幅异源图像是对同一目标物体利用两种成像传感器分别获得的图像,在本实施例中,两幅待匹配的异源图像选择为可见光图像IA和红外图像IB,并对可见光图像IA和红外图像IB分别进行滤波处理,得到去噪声后的图像XA和图像XB,具体如下:
步骤S1.1:通过matlab对两幅待匹配的异源图像进行读取,获取可见光图像IA和红外图像IB
步骤S1.2:根据双边滤波器的设计原理,设置滤波器的参数,确定双边滤波器bilaterFilter。其中滤波器的参数包括有滤波半径r、全局方差a和局部方差b,同时在本实施例中,滤波半径r的大小选择为3,全局方差a的大小选择为3,局部方差b的大小选择为0.1。
步骤S1.3:将可见光图像IA和红外图像IB分别进行灰度化处理,获取得到灰度图像FA和灰度图像FB
步骤S1.4:将灰度图像FA和灰度图像FB通过步骤S1.2中设计的双边滤波器bilaterFilter进行双边滤波,获取得到灰度图像FA和灰度图像FB中的像素点通过双边滤波器bilaterFilter双边滤波后对应的灰度值,具体如下:
步骤S1.4.1:根据灰度图像FA和灰度图像FB中的像素点,获取像素点对应的灰度值与该像素点邻域U内任意八个像素点对应的灰度值共同构成的矩阵,具体为:
其中:AF为灰度图像FA中像素点对应的灰度值与其邻域内八个像素点对应的灰度值共同构成的矩阵、邻域为像素点与其周围像素共同构成的集合,BF为灰度图像FB中像素点对应的灰度值与其邻域内八个像素点对应的灰度值共同构成的矩阵、邻域为像素点与其周围像素共同构成的集合,iA为灰度图像FA中像素点的横坐标大小,jA为灰度图像FA中像素点的纵坐标大小,iB为灰度图像FB中像素点的横坐标大小,jB为灰度图像FB中像素点的纵坐标大小,f为灰度图像中像素点对应的灰度值。
步骤S1.4.2:根据步骤S1.4.1中矩阵的中心点和像素点邻域内任意一个像素点,获取矩阵中心点和像素点邻域U内任意一个像素点之间的空间距离和灰度距离。其中步骤S1.4.1中矩阵的中心点即为灰度图像中的像素点,具体地讲,矩阵AF的中心点为灰度图像FA中像素点对应的灰度值f(iA,jA),矩阵BF的中心点为灰度图像FB中像素点对应的灰度值f(iB,jB)。
此时矩阵AF的中心点和像素点邻域UA内任意一个像素点之间的空间距离和灰度距离、矩阵BF的中心点和像素点邻域UB内任意一个像素点之间的空间距离和灰度距离,具体为:
其中:dA(iA,jA,kA,lA)为矩阵AF的中心点(iA,jA)和像素点邻域内任意一个像素点之间的空间距离、邻域为像素点与其周围像素共同构成的集合,rA(iA,jA,kA,lA)为矩阵AF的中心点(iA,jA)和像素点邻域内任意一个像素点之间的灰度距离、邻域为像素点与其周围像素共同构成的集合,dB(iB,jB,kB,lB)为矩阵BF的中心点(iB,jB)和像素点邻域内任意一个像素点之间的空间距离、邻域为像素点与其周围像素共同构成的集合,rB(iB,jB,kB,lB)为矩阵BF的中心点(iB,jB)和像素点邻域内任意一个像素点之间的灰度距离、邻域为像素点与其周围像素共同构成的集合,f(iA,jA)为灰度图像FA中像素点(iA,jA)对应的灰度值,f(iB,jB)为灰度图像FB中像素点(iB,jB)对应的灰度值,f(kA,lA)为灰度图像FA中像素点邻域内像素点(kA,lA)对应的灰度值,f(kB,lB)为灰度图像FB中像素点邻域内像素点(kB,lB)对应的灰度值,iA为灰度图像FA中像素点的横坐标大小,jA为灰度图像FA中像素点的纵坐标大小,iB为灰度图像FB中像素的横坐标大小,jB为灰度图像FB中像素点的纵坐标大小,kA为灰度图像FA中像素点邻域内像素点的横坐标大小,lA为灰度图像FA中像素点邻域内像素点的纵坐标大小,kB为灰度图像FB中像素点邻域内像素点的横坐标大小,lB为灰度图像FB中像素点邻域内像素点的纵坐标大小,a为全局方差,b为局部方差。
步骤S1.4.3:根据矩阵AF的中心点和像素点邻域UA内任意一个像素点之间的空间距离dA(iA,jA,kA,lA)、矩阵AF的中心点和像素点邻域UA内任意一个像素点之间的灰度距离rA(iA,jA,kA,lA),获取双边滤波器bilaterFilter对灰度图像FA进行滤波时的双边滤波权重值wA(iA,jA,kA,lA)。根据矩阵BF的中心点和像素点邻域UB内任意一个像素点之间的空间距离dB(iB,jB,kB,lB)、矩阵BF的中心点和像素点邻域UB内任意一个像素点之间的灰度距离rB(iB,jB,kB,lB),获取双边滤波器bilaterFilter对灰度图像FB进行滤波时的双边滤波权重值wB(iB,jB,kB,lB)。
其中双边滤波权重值wA(iA,jA,kA,lA)和双边滤波权重值wB(iB,jB,kB,lB),具体为:
其中:wA(iA,jA,kA,lA)为双边滤波器bilaterFilter对灰度图像FA进行滤波时的双边滤波权重值,wB(iB,jB,kB,lB)为双边滤波器bilaterFilter对灰度图像FB进行滤波时的双边滤波权重值,f(iA,jA)为灰度图像FA中像素点(iA,jA)对应的灰度值,f(iB,jB)为灰度图像FB中像素点(iB,jB)对应的灰度值,f(kA,lA)为灰度图像FA中像素点邻域内像素点(kA,lA)对应的灰度值,f(kB,lB)为灰度图像FB中像素点邻域内像素点(kB,lB)对应的灰度值,iA为灰度图像FA中像素点的横坐标大小,jA为灰度图像FA中像素点的纵坐标大小,iB为灰度图像FB中像素的横坐标大小,jB为灰度图像FB中像素点的纵坐标大小,kA为灰度图像FA中像素点邻域内像素点的横坐标大小,lA为灰度图像FA中像素点邻域内像素点的纵坐标大小,kB为灰度图像FB中像素点邻域内像素点的横坐标大小,lB为灰度图像FB中像素点邻域内像素点的纵坐标大小,a为全局方差,b为局部方差。
步骤S1.4.4:根据双边滤波器bilaterFilter对灰度图像FA进行滤波时的双边滤波权重值wA(iA,jA,kA,lA),可以确定出灰度图像FA中像素点双边滤波后对应的灰度值gA(iA,jA)。根据双边滤波器bilaterFilter对灰度图像FB进行滤波时的双边滤波权重值wB(iB,jB,kB,lB),可以确定出灰度图像FB中像素点双边滤波后对应的灰度值gB(iB,jB)。
其中灰度图像FA中像素点双边滤波后对应的灰度值gA(iA,jA)、灰度图像FB中像素点双边滤波后对应的灰度值gB(iB,jB),具体为:
其中:gA(iA,jA)为灰度图像FA中像素点(iA,jA)双边滤波后对应的灰度值,gB(iB,jB)为灰度图像FB中像素点(iB,jB)双边滤波后对应的灰度值,w(iA,jA,kA,lA)为双边滤波器bilaterFilter对灰度图像FA进行滤波时的双边滤波权重值,w(iB,jB,kB,lB)为双边滤波器bilaterFilter对灰度图像FB进行滤波时的双边滤波权重值,f(iA,jA)为灰度图像FA中像素点(iA,jA)对应的灰度值,f(iB,jB)为灰度图像FB中像素点(iB,jB)对应的灰度值,f(kA,lA)为灰度图像FA中像素点邻域内像素点(kA,lA)对应的灰度值,f(kB,lB)为灰度图像FB中像素点邻域内像素点(kB,lB)对应的灰度值,UA为灰度图像FA中像素点邻域范围的大小,UB为灰度图像FB中像素点邻域范围的大小。
步骤S1.5:将灰度图像FA中所有像素点对应的灰度值f(iA,jA)进行双边滤波,也就是重复步骤S1.4.1-S1.4.4,获取双边滤波后对应的灰度值gA(iA,jA),根据双边滤波后对应的灰度值gA(iA,jA),获取去噪声后的图像XA
同样地,将灰度图像FB中所有像素点对应的灰度值f(iB,jB)进行双边滤波,也就是重复步骤S1.4.1-S1.4.4,获取双边滤波后对应的灰度值gB(iB,jB),根据双边滤波后对应的灰度值gB(iB,jB),获取去噪声后的图像XB
步骤S2:在非线性尺度空间中,通过KAZE-HOG算法对步骤S1.5中获取的去噪声后的图像XA和图像XB提取KAZE-HOG特征点,并生成KAZE-HOG特征描述子,具体如下:
步骤S2.1:对图像XA和图像XB分别进行非线性扩散滤波,获取图像XA和图像XB的多层图像。也就是说,图像XA经过非线性扩散滤波后,得到了图像XA的多层图像,具体为:
XA=XA1,XA2,XA3,...,XAN
其中:XAN为图像XA的多层图像,N为尺度空间的图像总层数。
同时图像XB也经过非线性扩散滤波后,得到了图像XB的多层图像,具体为:
XB=XB1,XB2,XB3,...,XBN
其中:XBN为图像XB的多层图像,N为尺度空间的图像总层数。
再将图像XA的多层图像XAN在空间上从上到下依次排列,构成非线性尺度空间SA,将图像XB的多层图像XBN在空间上从上到下依次排列,构成非线性尺度空间SB
在本实施例中,根据图像XA和图像XB的多层图像,构成非线性尺度空间SA和SB,具体如下:
步骤S2.1.1:构造Perona Malik扩散方程,确定扩散的传导函数,具体为:
c(x,y,t)=g(|▽Lσ(x,y,t)|)
其中:
c(x,y,t)为扩散的传导函数,▽Lσ(x,y,t)为原始图像高斯平滑后的梯度图像,k为控制扩散级别的对比度因子。
具体地讲,控制扩散级别的对比度因子k能够决定保留多少边缘信息,其值越大,保留的边缘信息越少。
在本实施例中,控制扩散级别的对比度因子k的取值是梯度图像▽Lσ(x,y,t)的直方图百分位70%的值,其中百分位70%表示整幅图像中亮度小于等于100的像素个数占整幅图像像素总数的70%。
步骤S2.1.2:将扩散的传导函数c(x,y,t)引入非线性扩散滤波公式中,使得非线性扩散能够适应图像XA和图像XB的局部特征,其中非线性扩散滤波公式,具体为:
其中:div为散度,c(x,y,t)为扩散的传导函数,▽为梯度,L为图像的亮度。
步骤S2.1.3:根据扩散的传导函数c(x,y,t),获取得到扩散的传导函数c(x,y,t)的离散化表达式,进而确定出图像XA多层图像的层数和图像XB多层图像的层数。
其中扩散的传导函数c(x,y,t)的离散化表达式,具体为:
其中:
Li为多层图像中的第i层图像,I为N维单位矩阵,τ为步长,m为任意大于1的整数,Al为扩散的传导函数在每一个维度的构造函数。
具体地讲,扩散的传导函数在每一个维度的构造函数Al,具体为:
其中:h为网格大小,N为维度,为扩散系数,N(i)为小于i的自然数。
同时每一个维度的构造函数Aij均可以变成一个对角矩阵,具体为:
B=I-τAl(Li)
其中:Al为扩散的传导函数在每一个维度的构造函数,τ为步长,I为N维单位矩阵,Li为多层图像中的第i层图像。
并且:
BLi+1=Li
其中:
Li为多层图像中的第i层图像,I为N维单位矩阵,τ为步长,m为任意大于1的整数,Al为扩散的传导函数在每一个维度的构造函数,B为对角矩阵。
具体地讲,可以通过Thomas算法获取得到多层图像中的第i+1层图像Li+1,从而可以确定出图像XA多层图像的层数和图像XB多层图像的层数。
步骤S2.1.4:根据图像XA多层图像的层数和图像XB多层图像的层数,通过SIFT尺度空间的构建,建立非线性尺度空间模型,获取非线性尺度空间模型的指数步长的系列组合,即非线性尺度空间模型的组数和层数。
其中非线性尺度空间模型中各个层之间的尺度关系,具体为:
其中:σ0为基本尺度,O为组数,o为组序号,S为组的层数,s为组的层序号。
同时整个非线性尺度空间模型所包含的图像总数,具体为:
N=O*S
其中:O为组数,S为组的层数。
为了进行非线性扩散滤波,需要将非线性尺度空间模型中的尺度关系转换到时间关系,具体为:
其中:ti为进化时间,σi为非线性尺度空间模型中各个层之间的尺度关系,N为整个非线性尺度空间模型所包含的图像总数。
步骤S2.1.5:根据步骤S2.1.4中的进化时间ti和非线性尺度空间模型,确定出非线性尺度空间模型中层与层之间的关联。具体地讲,第S-1层与第S层之间的大小关系为tN。从而确定第一层的大小和进化时间ti的大小,逐层确定剩下层的大小。
根据所有层的大小,将所有层在空间上从上到下依次排列,构成非线性尺度空间。具体地讲,非线性尺度空间SA的构建是:图像XA的多层图像XAN在空间上从上到下依次排列。非线性尺度空间SB的构建是:图像XB的多层图像XBN在空间上从上到下依次排列。
步骤S2.2:在非线性尺度空间SA中,通过KAZE算法确定出图像XA中的KAZE特征点。在非线性尺度空间SB中,通过KAZE算法确定出图像XB中的KAZE特征点。具体如下:
步骤S2.2.1:在非线性尺度空间SA和非线性尺度空间SB中,均通过尺度归一化Hessian行列式计算出每层图像在各个像素点处的响应值,其中每层图像中各个像素点处响应值的计算公式,具体为:
其中:Lxx为亮度L在x方向的二阶偏导数,Lyy为亮度L在y方向的二阶偏导数,Lxy为亮度L在x和y方向上的混合二阶偏导数,σ为图像所在层的尺度系数。
在本实施例中,在非线性尺度空间SA中,每层图像在各个像素点处的响应值记为:
LSA=LSA1(iA,jA1),LSA2(iA,jA2),...,LSAN(iA,jAN)
其中:iA为灰度图像FA中像素点的横坐标大小,jA为灰度图像FA中像素点的纵坐标大小,σ为图像所在层的尺度系数,N为尺度空间的图像总层数。
在非线性尺度空间SB中,每层图像在各个像素点处的响应值记为:
LSB=LSB1(iB,jB1),LSB2(iB,jB2),...,LSBN(iB,jBN)
其中:iB为灰度图像FB中像素点的横坐标大小,jB为灰度图像FB中像素点的纵坐标大小,σ为图像所在层的尺度系数,N为尺度空间的图像总层数。
步骤S2.2.2:通过泰勒展开式对图像XA和图像XB中各个响应值进行计算,其中能够使得泰勒展开式的导数值为0对应的像素点即为KAZE特征点。也就是说,在图像XA中的各个响应值通过泰勒展开式进行计算,其中使泰勒展开式的导数值为0的响应值对应的像素点即为KAZE特征点。同样地,在图像XB中的各个响应值通过泰勒展开式进行计算,其中使泰勒展开式的导数值为0的响应值对应的像素点即为KAZE特征点。
在本实施例中,泰勒展开式,具体为:
其中:X=(x,y,σ)T
L(X)为拉普拉斯的近似值,L为像素点处的响应值,x为灰度图像中像素点的横坐标大小,y为灰度图像中像素点的纵坐标大小,σ为图像所在层的尺度系数。
其中拉普拉斯的近似值L(X)的导数值为0时所对应的位置即为极值的位置,也就是尺度空间坐标的解,具体为:
其中:
L为像素点处的响应值,i为灰度图像中像素点的横坐标大小,x为灰度图像中像素点的横坐标大小,y为灰度图像中像素点的纵坐标大小,σ为图像所在层的尺度系数,为尺度空间坐标。
又因为:
其中:
L为像素点处的响应值,x为灰度图像中像素点的横坐标大小,y为灰度图像中像素点的纵坐标大小,σ为图像所在层的尺度系数,为尺度空间坐标。
从而能够确定尺度空间坐标的大小,具体为:
其中:为尺度空间坐标,i为灰度图像中像素点的横坐标大小,j为灰度图像中像素点的纵坐标大小,σ为图像所在层的尺度系数。
根据尺度空间坐标的大小,从而能够确定出图像XA和图像XB中所有的KAZE特征点。
步骤S2.3:根据图像XA中的KAZE特征点和图像XB中的KAZE特征点,通过HOG算法获取图像XA中所有的KAZE-HOG特征点和图像XB中所有的KAZE-HOG特征点,同时根据图像XA中所有的KAZE-HOG特征点组件数组HA,根据图像XB中所有的KAZE-HOG特征点组件数组HB,具体如下:
步骤S2.3.1:将图像XA中所有的KAZE特征点的坐标保存在二维数组KA中,将图像XB中所有的KAZE特征点的坐标保存在二维数组KB中,具体为:
其中:KA为保存有图像XA中所有的KAZE特征点的坐标的二维数组,KB为保存有图像XB中所有的KAZE特征点的坐标的二维数组,(An,x,An,y)为图像XA中KAZE特征点的坐标,(Bm,x,Bm,y)为图像XB中KAZE特征点的坐标。
步骤S2.3.2:对图像XA和图像XB均进行归一化处理,其中图像XA和图像XB的归一化处理指的是:利用图像XA和图像XB中的不变矩寻找一组参数,然后对图像XA和图像XB通过Gamma校正,使其能够消除光照变化和局部阴影等对图像XA和图像XB变换的影响,最后得到唯一的标准图像XA和图像XB的过程。
同时归一化后的图像XA和图像XB均能够有效减少对光照的敏感性,抵抗几何变换的攻击,同时也能找出图像XA和图像XB中的不变量。
步骤S2.3.3:根据归一化处理后的图像XA和图像XB,分别将归一化处理后的图像XA和图像XB划分成大小为2×2像素的相邻的细胞cell。此处的细胞cell是由若干个相邻的像素点共同组合而成,同时其中的像素点的个数由细胞的大小cellsize决定。
在本实施例中,细胞的大小cellsize,具体为:
cellsize=[2 2]
其中:cellsize为细胞的大小。
同时通过求取图像XA和图像XB的梯度方向直方图,统计每个细胞cell的梯度信息得到每个细胞cell的HOG特征信息,将大小为3×3的细胞cell组成一个子块block,其中子块block由若干个相邻的细胞cell构成,其中细胞cell的个数由每个子块中细胞的个数blocksize决定。
在本实施例中,每个子块中cell的个数blocksize,具体为:
blocksize=[3 3]
其中:blocksize为每个子块中细胞的个数。
在所有的子块block中,将含有KAZE特征点的子块block标记为KAZE子块KAZE-block,并统计出每个KAZE子块KAZE-block中的HOG特征向量,也就是,每一个KAZE子块KAZE-block内每一个细胞cell的HOG特征信息按HOG算法规则所张成的向量。
步骤S2.3.4:对每一个KAZE子块KAZE-block中的HOG特征向量做归一化处理,在本实施例中,归一化公式,具体为:
其中:v为KAZE子块中的HOG特征向量,||v||2是v的2范数,ε是任意小的常数。
将图像XA和图像XB中所有的KAZE子块KAZE-block中的HOG特征归一化后的特征向量标记为KAZE-HOG特征向量,同时分别将图像XA和图像XB中所有的KAZE特征点中得到的相同的KAZE-HOG特征向量的点进行删除,即在二维数组KA和二维数组KB中将与KAZE-HOG特征向量点的坐标相同的KAZE特征点进行删除,从而确定出图像XA和图像XB中所有的KAZE-HOG特征点。其中图像XA和图像XB中所有的KAZE-HOG特征点即为:图像XA和图像XB中所有的KAZE特征点中得到的相同的KAZE-HOG特征向量的点删除后,剩余的KAZE特征点。
步骤S2.3.5:将图像XA中的KAZE-HOG特征点和图像XB中的KAZE-HOG特征点分别存储在两个不同的数组HA和HB中,具体为:
其中:HA为保存有图像XA中所有的KAZE-HOG特征点的数组,HB为保存有图像XB中所有的KAZE-HOG特征点的数组,(HAp,x,HAp,y)为图像XA中KAZE-HOG特征点的坐标,(HBq,x,HBq,y)为图像XB中KAZE-HOG特征点的坐标。
步骤S2.4:对数组HA和数组HB中的每个KAZE-HOG特征点分别利用HOG算法生成KAZE-HOG特征向量,并分别将图像XA和图像XB中所有的KAZE-HOG特征向量进行拼接,形成图像XA与图像XB的KAZE-HOG特征描述子,具体为:
其中:fA为图像XA的KAZE-HOG特征描述子,fB为图像XB的KAZE-HOG特征描述子,fA,p为图像XA中的KAZE-HOG特征向量,fB,q为图像XB中的KAZE-HOG特征向量。
步骤S3:将图像XA中任意一个的KAZE-HOG特征向量与图像XB中所有的KAZE-HOG特征向量进行匹配,利用最近邻搜索算法获取匹配点,具体如下:
步骤S3.1:对于图像XA的KAZE-HOG特征描述子fA中的每一个KAZE-HOG特征向量,以及图像XB的KAZE-HOG描述子fB中的每一个KAZE-HOG特征向量,分别计算图像XA中的任意一个KAZE-HOG特征向量分别与图像XB中的每一个KAZE-HOG特征向量之间的欧式距离。譬如说,图像XA中的第一个KAZE-HOG特征向量fA,1分别与图像XB中所有的KAZE-HOG特征向量之间的欧式距离。
步骤S3.2:根据图像XA中的任意一个KAZE-HOG特征向量分别与图像XB中的每一个KAZE-HOG特征向量之间的欧式距离,选择并标记出其中欧式距离最近的两个特征向量所对应的KAZE-HOG特征点,并将这两个KAZE-HOG特征点作为互相匹配的两个特征点,标记为配对特征点。
同时将图像XA中所有的KAZE-HOG特征向量与图像XB中的每一个KAZE-HOG特征向量之间的欧式距离,均进行比较,选择并标记出其中图像XA中所有KAZE-HOG特征向量所对应的所有欧式距离中,最近的两个特征向量所对应的KAZE-HOG特征点,并将所有选择出的KAZE-HOG特征点作为互相匹配的特征点,均标记为配对特征点。
步骤S3.3:根据配对特征点,建立配对特征点映射,具体为:
PA→PB
其中:PA为图像XA中所有能与图像XB匹配的KAZE-HOG特征点的集合,PB为图像XB中所有能与图像XA匹配的KAZE-HOG特征点的集合。
在本实施例中,图像XA中所有能与图像XB匹配的KAZE-HOG特征点的集合PA、图像XB中所有能与图像XA匹配的KAZE-HOG特征点的集合PB,具体为:
其中:Au为图像XA中能与图像XB匹配的KAZE-HOG特征点,Bu为图像XB中能与图像XA匹配的KAZE-HOG特征点。
同时特征点映射PA→PB指的是:图像XA中所有能与图像XB匹配的KAZE-HOG特征点的集合PA的每一个KAZE-HOG特征点,与图像XB中所有能与图像XA匹配的KAZE-HOG特征点的集合PB的每一个KAZE-HOG特征点一一对应,从而能够得到u对匹配点。
其中匹配点的个数u的大小,具体为:
u≤min{p,q}
其中:u为匹配点的个数,p为图像XA中KAZE-HOG特征描述子的个数,q为图像XB中KAZE-HOG特征描述子的个数。
步骤S4:将所述匹配点中的误匹配点去除,确定匹配结果,具体如下:
步骤S4.1:在特征点映射PA→PB中随机选取不低于4对的匹配点,将其最为最小样本集,且选取的4对的匹配点,在图像XA或图像XB中的位置不能共线。同时通过确定出的最小样本集,计算出单应矩阵H,并将其记为模型M。其中单应矩阵H,具体为:
其中:H为单应矩阵,h11、h12、h13、h21、h22、h23、h31、h32和h33为未知参数。
对单应矩阵H进行归一化处理,其中令h33=1,则单应矩阵H中还剩有8个未知参数h11、h12、h13、h21、h22、h23、h31和h32。因此至少需要建立8个线性方程来求解这8个未知参数h11、h12、h13、h21、h22、h23、h31和h32
由于每一对匹配点都可以在x和y方向各建立一个方程,所以至少需要4对匹配点才能求解出单应矩阵H。其对应关系,具体为:
其中:xA为图像XA中KAZE-HOG特征点的横坐标,yA为图像XA中KAZE-HOG特征点的纵坐标,xB为图像XB中KAZE-HOG特征点的横坐标,yB为图像XA中KAZE-HOG特征点的纵坐标,σ为图像所在层的尺度系数,h11、h12、h13、h21、h22、h23、h31和h32为未知参数。
根据4对匹配点中每一对匹配点在x和y方向的对应关系,确定出未知参数h11、h12、h13、h21、h22、h23、h31和h32的大小,从而确定出模型M。
步骤S4.2:根据确定出模型M,测试特征点映射PA→PB中的除了样本集中的4对匹配点之外的其他对匹配点,将其结果均记录在同一个数据集中,并计算该数据集中所有的数据与模型M的投影误差,具体为:
其中:(xi,xi′)为匹配点对的齐次坐标,IN为内点集,(Hxi)1为向量Hxi的第1个分量,(Hxi)2为向量Hxi的第2个分量,(HTxi′)1为向量HTxi′的第1个分量,(HTxi′)2为向量Hxi的第2个分量。
当计算的误差|e|小于阈值t时,说明该对匹配点符合模型M,此时将该对匹配点加入内点集IN。反之,当计算的误差|e|不小于阈值t时,否则说明该对匹配点不属于内点集IN。其中阈值t是判断匹配点是否存在于内点集IN内的依据,具体为:
t2=χn -1(α)2δ
其中:δ为方差,α为置信概率,χn(α)为置信概率为α的n维卡方分布。
在本实施例中,置信概率为α的大小,具体为:
α=0.95
步骤S4.3:重复W次步骤S4.1-S4.2,其中W的大小不能小于2。在本实施例中,W的大小选择为20。从而可以得到20组内点集IN。
步骤S4.4:根据获取得到的20组内点集IN,从中选出一个包含内点数目最多的内点集,并将其标记为INmax。利用内点数目最多的内点集INmax,重新估计随机的4对匹配点。由此时选取出的4对匹配点构成的样本集,计算出的单应矩阵H所满足的内点,就是剔除误匹配点后的匹配点集,并将其标记为匹配点映射,具体为:
INA→INB
其中:INA为图像XA中的内点集,INB为图像XB中的内点集。
此时匹配点映射中一一对应的点便是剔除误匹配后理想的匹配结果。
步骤S4.5:根据匹配点映射中各个匹配点的坐标,可以分别在图像XA和图像XB中相应的位置处标记出来,然后将图像XA和图像XB中对应的匹配点进行连接,从而便可以显示最终得到的匹配结果。
以上示意性的对本发明及其实施方式进行了描述,该描述没有限制性,附图中所示的也只是本发明的实施方式之一,实际的结构和方法并不局限于此。所以,如果本领域的普通技术人员受其启示,在不脱离本发明创造宗旨的情况下,不经创造性的设计出与该技术方案相似的结构方式及实施例,均属于本发明的保护范围。

Claims (10)

1.一种基于KAZE-HOG算法的异源图像匹配方法,其特征在于,所述方法包括如下步骤:
S1:对同一目标物体的两幅待匹配的异源图像进行滤波处理,获取去噪声后的图像XA和图像XB
S2:在非线性尺度空间中,通过KAZE-HOG算法对所述图像XA和图像XB提取KAZE-HOG特征点,并生成KAZE-HOG特征描述子;
S3:根据所述图像XA和图像XB的KAZE-HOG特征描述子,利用最近邻搜索算法获取匹配点;
S4:将所述匹配点中的误匹配点删除,获取匹配结果。
2.根据权利要求1所述的一种基于KAZE-HOG算法的异源图像匹配方法,其特征在于,所述步骤S1获取去噪声后的图像XA和图像XB,具体如下:
S1.1:对同一目标物体的两幅待匹配的异源图像进行读取,获取可见光图像IA和红外图像IB
S1.2:根据双边滤波器的设计原理,设计双边滤波器bilaterFilter;
S1.3:将所述可见光图像IA和红外图像IB分别进行灰度化处理,获取灰度图像FA和灰度图像FB
S1.4:将灰度图像FA和灰度图像FB中的像素点通过所述双边滤波器bilaterFilter进行双边滤波,获取双边滤波后对应的灰度值;
S1.5:将所有所述双边滤波后对应的灰度值进行组建,获取去噪声后的图像XA和XB
3.根据权利要求2所述的一种基于KAZE-HOG算法的异源图像匹配方法,其特征在于,所述步骤S1.4获取双边滤波后对应的灰度值,具体如下:
S1.4.1:根据所述灰度图像FA和灰度图像FB中的像素点,获取像素点对应的灰度值与像素点邻域内任意八个像素点对应的灰度值共同构成的矩阵,具体为:
其中:AF为灰度图像FA中像素点对应的灰度值与其邻域内八个像素点对应的灰度值共同构成的矩阵、邻域为像素点与其周围像素共同构成的集合,BF为灰度图像FB中像素点对应的灰度值与其邻域内八个像素点对应的灰度值共同构成的矩阵、邻域为像素点与其周围像素共同构成的集合,iA为灰度图像FA中像素点的横坐标大小,jA为灰度图像FA中像素点的纵坐标大小,iB为灰度图像FB中像素点的横坐标大小,jB为灰度图像FB中像素点的纵坐标大小,f为灰度图像中像素点对应的灰度值;
S1.4.2:根据矩阵的中心点和像素点邻域内任意一个像素点,获取所述中心点和像素点邻域内任意一个像素点之间的空间距离和灰度距离,具体为:
其中:dA(iA,jA,kA,lA)为矩阵AF的中心点(iA,jA)和像素点邻域内任意一个像素点之间的空间距离、邻域为像素点与其周围像素共同构成的集合,rA(iA,jA,kA,lA)为矩阵AF的中心点(iA,jA)和像素点邻域内任意一个像素点之间的灰度距离、邻域为像素点与其周围像素共同构成的集合,dB(iB,jB,kB,lB)为矩阵BF的中心点(iB,jB)和像素点邻域内任意一个像素点之间的空间距离、邻域为像素点与其周围像素共同构成的集合,rB(iB,jB,kB,lB)为矩阵BF的中心点(iB,jB)和像素点邻域内任意一个像素点之间的灰度距离、邻域为像素点与其周围像素共同构成的集合,f(iA,jA)为灰度图像FA中像素点(iA,jA)对应的灰度值,f(iB,jB)为灰度图像FB中像素点(iB,jB)对应的灰度值,f(kA,lA)为灰度图像FA中像素点邻域内像素点(kA,lA)对应的灰度值,f(kB,lB)为灰度图像FB中像素点邻域内像素点(kB,lB)对应的灰度值,iA为灰度图像FA中像素点的横坐标大小,jA为灰度图像FA中像素点的纵坐标大小,iB为灰度图像FB中像素的横坐标大小,jB为灰度图像FB中像素点的纵坐标大小,kA为灰度图像FA中像素点邻域内像素点的横坐标大小,lA为灰度图像FA中像素点邻域内像素点的纵坐标大小,kB为灰度图像FB中像素点邻域内像素点的横坐标大小,lB为灰度图像FB中像素点邻域内像素点的纵坐标大小,a为全局方差,b为局部方差;
S1.4.3:通过所述空间距离和灰度距离,获取双边滤波权重值,具体为:
其中:wA(iA,jA,kA,lA)为双边滤波器bilaterFilter对灰度图像FA进行滤波时的双边滤波权重值,wB(iB,jB,kB,lB)为双边滤波器bilaterFilter对灰度图像FB进行滤波时的双边滤波权重值,f(iA,jA)为灰度图像FA中像素点(iA,jA)对应的灰度值,f(iB,jB)为灰度图像FB中像素点(iB,jB)对应的灰度值,f(kA,lA)为灰度图像FA中像素点邻域内像素点(kA,lA)对应的灰度值,f(kB,lB)为灰度图像FB中像素点邻域内像素点(kB,lB)对应的灰度值,iA为灰度图像FA中像素点的横坐标大小,jA为灰度图像FA中像素点的纵坐标大小,iB为灰度图像FB中像素的横坐标大小,jB为灰度图像FB中像素点的纵坐标大小,kA为灰度图像FA中像素点邻域内像素点的横坐标大小,lA为灰度图像FA中像素点邻域内像素点的纵坐标大小,kB为灰度图像FB中像素点邻域内像素点的横坐标大小,lB为灰度图像FB中像素点邻域内像素点的纵坐标大小,a为全局方差,b为局部方差;
S1.4.4:根据所述双边滤波权重值,确定所述像素点双边滤波后对应的灰度值,具体为:
其中:gA(iA,jA)为灰度图像FA中像素点(iA,jA)双边滤波后对应的灰度值,gB(iB,jB)为灰度图像FB中像素点(iB,jB)双边滤波后对应的灰度值,w(iA,jA,kA,lA)为双边滤波器bilaterFilter对灰度图像FA进行滤波时的双边滤波权重值,w(iB,jB,kB,lB)为双边滤波器bilaterFilter对灰度图像FB进行滤波时的双边滤波权重值,f(iA,jA)为灰度图像FA中像素点(iA,jA)对应的灰度值,f(iB,jB)为灰度图像FB中像素点(iB,jB)对应的灰度值,f(kA,lA)为灰度图像FA中像素点邻域内像素点(kA,lA)对应的灰度值,f(kB,lB)为灰度图像FB中像素点邻域内像素点(kB,lB)对应的灰度值,UA为灰度图像FA中像素点邻域范围的大小,UB为灰度图像FB中像素点邻域范围的大小。
4.根据权利要求1或2所述的一种基于KAZE-HOG算法的异源图像匹配方法,其特征在于,所述步骤S2生成KAZE-HOG特征描述子,具体如下:
S2.1:对所述图像XA和图像XB分别进行非线性扩散滤波,获取图像XA和图像XB的多层图像,构建非线性尺度空间SA和非线性尺度空间SB
S2.2:在所述非线性尺度空间SA和非线性尺度空间SB中,通过KAZE算法确定出图像XA和图像XB中的KAZE特征点;
S2.3:根据所述图像XA和图像XB中的KAZE特征点,通过HOG算法获取图像XA和图像XB中的KAZE-HOG特征点,组建数组HA和数组HB
S2.4:所述数组HA和数组HB中的KAZE-HOG特征点,通过HOG算法生成KAZE-HOG特征向量,将所述图像XA和图像XB中所有的KAZE-HOG特征向量进行拼接,生成所述KAZE-HOG特征描述子,具体为:
其中:fA为图像XA的KAZE-HOG特征描述子,fB为图像XB的KAZE-HOG特征描述子,fA,p为图像XA中的KAZE-HOG特征向量,fB,q为图像XB中的KAZE-HOG特征向量。
5.根据权利要求4所述的一种基于KAZE-HOG算法的异源图像匹配方法,其特征在于,所述步骤S2.1构建非线性尺度空间SA和非线性尺度空间SB,具体如下:
S2.1.1:构造Perona Malik扩散方程,确定扩散的传导函数,具体为:
其中:
c(x,y,t)为扩散的传导函数,为原始图像高斯平滑后的梯度图像,k为控制扩散级别的对比度因子;
S2.1.2:将所述扩散的传导函数引入非线性扩散滤波公式中,使非线性扩散能够适应图像XA和图像XB的局部特征,其中所述非线性扩散滤波公式,具体为:
其中:div为散度,c(x,y,t)为扩散的传导函数,为梯度,L为图像的亮度;
S2.1.3:根据所述扩散的传导函数,获取扩散的传导函数的离散表达式,确定图像XA多层图像的层数和图像XB多层图像的层数,其中所述扩散的传导函数的离散表达式,具体为:
其中:
Li为多层图像中的第i层图像,I为N维单位矩阵,τ为步长,m为任意大于1的整数,Al为扩散的传导函数在每一个维度的构造函数;
S2.1.4:根据所述图像XA多层图像的层数和图像XB多层图像的层数,建立非线性尺度空间模型,获取所述图像XA多层图像中层与层之间的关系、图像XB多层图像中层与层之间的关系,具体为:
其中:ti为进化时间,σi为非线性尺度空间模型中各个层之间的尺度关系,N为整个非线性尺度空间模型所包含的图像总数;
S2.1.5:根据所述图像XA多层图像中层与层之间的关系、图像XB多层图像中层与层之间的关系,将所述图像XA多层图像中的所有图层和图像XB多层图像中的所有图层在空间上均从上到下依次排列,构建所述非线性尺度空间SA和非线性尺度空间SB
6.根据权利要求4所述的一种基于KAZE-HOG算法的异源图像匹配方法,其特征在于,所述步骤S2.2通过KAZE算法确定出图像XA和图像XB中的KAZE特征点,具体如下:
S2.2.1:在所述非线性尺度空间SA和非线性尺度空间SB中,通过尺度归一化Hessian行列式计算出每层图像在各个像素点处的响应值,其中每层图像中各个像素点处响应值的计算公式,具体为:
其中:Lxx为亮度L在x方向的二阶偏导数,Lyy为亮度L在y方向的二阶偏导数,Lxy为亮度L在x和y方向上的混合二阶偏导数,σ为图像所在层的尺度系数;
S2.2.2:通过泰勒展开式分别对所述图像XA和图像XB中各个响应值进行计算,获取尺度空间坐标的解,确定出所述图像XA和图像XB中的KAZE特征点,其中所述尺度空间坐标的解,具体为:
其中:为尺度空间坐标,i为灰度图像中像素点的横坐标大小,j为灰度图像中像素点的纵坐标大小,σ为图像所在层的尺度系数。
7.根据权利要求4所述的一种基于KAZE-HOG算法的异源图像匹配方法,其特征在于,所述步骤S2.3组建数组HA和数组HB,具体如下:
S2.3.1:根据所述图像XA和图像XB中的KAZE特征点,组建二维数组KA和二维数组KB,具体为:
其中:KA为保存有图像XA中所有的KAZE特征点的坐标的二维数组,KB为保存有图像XB中所有的KAZE特征点的坐标的二维数组,(An,x,An,y)为图像XA中KAZE特征点的坐标,(Bm,x,Bm,y)为图像XB中KAZE特征点的坐标;
S2.3.2:对所述图像XA和图像XB进行归一化处理;
S2.3.3:将所述归一化处理后的图像XA和图像XB划分成细胞,并根据细胞的HOG特征信息组建子块,确定出子块中的HOG特征向量;
S2.3.4:对所述子块中的HOG特征向量做归一化处理,在所述二维数组KA和二维数组KB中,确定出所述图像XA和图像XB中的KAZE-HOG特征点,其中归一化公式,具体为:
其中:v为KAZE子块中的HOG特征向量,||v||2是v的2范数,ε是任意小的常数;
S2.3.5:通过所述图像XA和图像XB中的KAZE-HOG特征点,组建数组HA和数组HB,具体为:
其中:HA为保存有图像XA中所有的KAZE-HOG特征点的数组,HB为保存有图像XB中所有的KAZE-HOG特征点的数组,(HAp,x,HAp,y)为图像XA中KAZE-HOG特征点的坐标,(HBq,x,HBq,y)为图像XB中KAZE-HOG特征点的坐标。
8.根据权利要求4所述的一种基于KAZE-HOG算法的异源图像匹配方法,其特征在于,所述步骤S3利用最近邻搜索算法获取匹配点,具体如下:
S3.1:根据所述图像XA和图像XB的KAZE-HOG特征描述子,计算所述图像XA中任意一个KAZE-HOG特征向量分别与图像XB中的每一个KAZE-HOG特征向量之间的欧式距离;
S3.2:根据所述欧式距离,选择并标记出欧式距离最近的两个KAZE-HOG特征向量所对应的KAZE-HOG特征点,获取配对特征点;
S3.3:通过所述配对特征点,建立配对特征点映射,获取匹配点。
9.根据权利要求8所述的一种基于KAZE-HOG算法的异源图像匹配方法,其特征在于,所述步骤S4获取匹配结果,具体如下:
S4.1:根据所述匹配点,随机选择4对不共线的匹配点,计算出单应矩阵,对所述单应矩阵进行归一化处理,创建模型M,其中通过所述4个匹配点对的位置坐标解出单应矩阵中的八个未知参数,具体为:
其中:H为单应矩阵,xA为图像XA中KAZE-HOG特征点的横坐标,yA为图像XA中KAZE-HOG特征点的纵坐标,xB为图像XB中KAZE-HOG特征点的横坐标,yB为图像XB中KAZE-HOG特征点的纵坐标,σ为图像所在层的尺度系数,h11、h12、h13、h21、h22、h23、h31和h32为未知参数;
S4.2:通过所述模型M测试匹配点,并计算测试结果与模型M之间的投影误差,选择所述投影误差小于阈值时所对应的匹配点,组建内点集,其中所述投影误差,具体为:
其中:(xi,xi′)为匹配点对的齐次坐标,IN为内点集,(Hxi)1为向量Hxi的第1个分量,(Hxi)2为向量Hxi的第2个分量,(HTxi′)1为向量HTxi′的第1个分量,(HTxi′)2为向量Hxi的第2个分量;
S4.3:重复步骤S4.1-S4.2,获取W组内点集,所述W≥2;
S4.4:选择所述W组内点集中内点数目最多的内点集,由满足内点数目最多的内点集对应的单应矩阵的内点,确定出去除误匹配点后的匹配点集;
S4.5:根据所述匹配点集中各个匹配点的坐标,将图像XA和图像XB中对应的匹配点进行连接,确定所述匹配结果。
10.根据权利要求9所述的一种基于KAZE-HOG算法的异源图像匹配方法,其特征在于,所述阈值具体为:
t2=χn -1(α)2δ
其中:δ为方差,α为置信概率,χn(α)为置信概率为α的n维卡方分布。
CN201910438812.7A 2019-05-24 2019-05-24 一种基于kaze-hog算法的异源图像匹配方法 Active CN110232387B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910438812.7A CN110232387B (zh) 2019-05-24 2019-05-24 一种基于kaze-hog算法的异源图像匹配方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910438812.7A CN110232387B (zh) 2019-05-24 2019-05-24 一种基于kaze-hog算法的异源图像匹配方法

Publications (2)

Publication Number Publication Date
CN110232387A true CN110232387A (zh) 2019-09-13
CN110232387B CN110232387B (zh) 2022-08-05

Family

ID=67861590

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910438812.7A Active CN110232387B (zh) 2019-05-24 2019-05-24 一种基于kaze-hog算法的异源图像匹配方法

Country Status (1)

Country Link
CN (1) CN110232387B (zh)

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111177670A (zh) * 2019-12-17 2020-05-19 腾讯云计算(北京)有限责任公司 一种异源账号关联方法、装置、设备及存储介质
CN111242139A (zh) * 2020-01-14 2020-06-05 南京航空航天大学 一种基于点线特征的最大直方图异源图像匹配方法
CN112288761A (zh) * 2020-07-07 2021-01-29 国网江苏省电力有限公司常州供电分公司 一种异常发热的电力设备检测方法、装置和可读存储介质
CN112288758A (zh) * 2020-05-25 2021-01-29 国网江苏省电力有限公司常州供电分公司 一种电力设备红外与可见光图像配准方法
CN112861875A (zh) * 2021-01-20 2021-05-28 西南林业大学 一种用于区分不同木材产品的方法
CN113313002A (zh) * 2021-05-24 2021-08-27 清华大学 一种基于神经网络的多模态遥感影像特征提取方法
CN115359423A (zh) * 2022-08-18 2022-11-18 中国人民公安大学 基于遥感图像的区域识别方法、装置、设备及存储介质
CN117333824A (zh) * 2023-12-01 2024-01-02 中铁十九局集团第三工程有限公司 基于bim的桥梁施工安全监测方法及系统

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2011069023A2 (en) * 2009-12-02 2011-06-09 Qualcomm Incorporated Fast subspace projection of descriptor patches for image recognition
CN102509293A (zh) * 2011-11-04 2012-06-20 华北电力大学(保定) 异源图像的一致性特征检测方法
CN107437060A (zh) * 2016-05-25 2017-12-05 丰田自动车株式会社 对象识别设备、对象识别方法和程序
CN107464252A (zh) * 2017-06-30 2017-12-12 南京航空航天大学 一种基于混合特征的可见光与红外异源图像识别方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2011069023A2 (en) * 2009-12-02 2011-06-09 Qualcomm Incorporated Fast subspace projection of descriptor patches for image recognition
CN102509293A (zh) * 2011-11-04 2012-06-20 华北电力大学(保定) 异源图像的一致性特征检测方法
CN107437060A (zh) * 2016-05-25 2017-12-05 丰田自动车株式会社 对象识别设备、对象识别方法和程序
CN107464252A (zh) * 2017-06-30 2017-12-12 南京航空航天大学 一种基于混合特征的可见光与红外异源图像识别方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
吴含前等: "一种改进的A-KAZE算法在图像配准中的应用", 《东南大学学报(自然科学版)》 *

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111177670A (zh) * 2019-12-17 2020-05-19 腾讯云计算(北京)有限责任公司 一种异源账号关联方法、装置、设备及存储介质
CN111242139A (zh) * 2020-01-14 2020-06-05 南京航空航天大学 一种基于点线特征的最大直方图异源图像匹配方法
CN112288758A (zh) * 2020-05-25 2021-01-29 国网江苏省电力有限公司常州供电分公司 一种电力设备红外与可见光图像配准方法
CN112288758B (zh) * 2020-05-25 2022-08-30 国网江苏省电力有限公司常州供电分公司 一种电力设备红外与可见光图像配准方法
CN112288761A (zh) * 2020-07-07 2021-01-29 国网江苏省电力有限公司常州供电分公司 一种异常发热的电力设备检测方法、装置和可读存储介质
CN112288761B (zh) * 2020-07-07 2022-08-30 国网江苏省电力有限公司常州供电分公司 一种异常发热的电力设备检测方法、装置和可读存储介质
CN112861875A (zh) * 2021-01-20 2021-05-28 西南林业大学 一种用于区分不同木材产品的方法
CN113313002A (zh) * 2021-05-24 2021-08-27 清华大学 一种基于神经网络的多模态遥感影像特征提取方法
CN115359423A (zh) * 2022-08-18 2022-11-18 中国人民公安大学 基于遥感图像的区域识别方法、装置、设备及存储介质
CN117333824A (zh) * 2023-12-01 2024-01-02 中铁十九局集团第三工程有限公司 基于bim的桥梁施工安全监测方法及系统
CN117333824B (zh) * 2023-12-01 2024-02-13 中铁十九局集团第三工程有限公司 基于bim的桥梁施工安全监测方法及系统

Also Published As

Publication number Publication date
CN110232387B (zh) 2022-08-05

Similar Documents

Publication Publication Date Title
CN110232387A (zh) 一种基于kaze-hog算法的异源图像匹配方法
CN108334847B (zh) 一种真实场景下的基于深度学习的人脸识别方法
CN112800964B (zh) 基于多模块融合的遥感影像目标检测方法及系统
CN108334848A (zh) 一种基于生成对抗网络的微小人脸识别方法
CN105957054B (zh) 一种图像变化检测方法
CN106529538A (zh) 一种飞行器的定位方法和装置
CN106485651B (zh) 快速鲁棒性尺度不变的图像匹配方法
CN107481279A (zh) 一种单目视频深度图计算方法
CN113435282B (zh) 基于深度学习的无人机影像麦穗识别方法
CN108564085A (zh) 一种自动读取指针式仪表读数的方法
CN109902715A (zh) 一种基于上下文聚合网络的红外弱小目标检测方法
CN105160686B (zh) 一种基于改进sift算子的低空多视角遥感影像匹配方法
CN114926747A (zh) 一种基于多特征聚合与交互的遥感图像定向目标检测方法
JP2009230703A (ja) オブジェクト検出方法、オブジェクト検出装置、およびオブジェクト検出プログラム
CN104463240B (zh) 一种仪表定位方法及装置
CN110633711B (zh) 训练特征点检测器的计算机装置、方法及特征点检测方法
CN113393439A (zh) 一种基于深度学习的锻件缺陷检测方法
CN105488541A (zh) 增强现实系统中基于机器学习的自然特征点识别方法
CN113012208A (zh) 多视角遥感图像配准方法及系统
CN110110618A (zh) 一种基于pca和全局对比度的sar目标检测方法
Zhang Innovation of English teaching model based on machine learning neural network and image super resolution
CN110321869A (zh) 基于多尺度融合网络的人员检测和提取方法
CN105631849B (zh) 多边形目标的变化检测方法及装置
CN108388854A (zh) 一种基于改进fast-surf算法的定位方法
CN115205793B (zh) 基于深度学习二次确认的电力机房烟雾检测方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant