CN108537735B - 一种焦平面太赫兹成像的图像拼接方法 - Google Patents
一种焦平面太赫兹成像的图像拼接方法 Download PDFInfo
- Publication number
- CN108537735B CN108537735B CN201810336346.7A CN201810336346A CN108537735B CN 108537735 B CN108537735 B CN 108537735B CN 201810336346 A CN201810336346 A CN 201810336346A CN 108537735 B CN108537735 B CN 108537735B
- Authority
- CN
- China
- Prior art keywords
- image
- images
- focal plane
- terahertz
- frequency
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 64
- 238000003384 imaging method Methods 0.000 title claims abstract description 28
- 230000009466 transformation Effects 0.000 claims abstract description 28
- 238000012545 processing Methods 0.000 claims abstract description 22
- PXFBZOLANLWPMH-UHFFFAOYSA-N 16-Epiaffinine Natural products C1C(C2=CC=CC=C2N2)=C2C(=O)CC2C(=CC)CN(C)C1C2CO PXFBZOLANLWPMH-UHFFFAOYSA-N 0.000 claims abstract description 19
- 238000001914 filtration Methods 0.000 claims description 18
- 239000011159 matrix material Substances 0.000 claims description 13
- 230000008569 process Effects 0.000 claims description 5
- 238000010276 construction Methods 0.000 claims description 4
- 238000006073 displacement reaction Methods 0.000 claims description 4
- 238000007781 pre-processing Methods 0.000 claims description 4
- 230000003044 adaptive effect Effects 0.000 claims description 3
- 238000000354 decomposition reaction Methods 0.000 claims description 3
- 238000005259 measurement Methods 0.000 claims description 3
- 230000008030 elimination Effects 0.000 claims description 2
- 238000003379 elimination reaction Methods 0.000 claims description 2
- 238000001514 detection method Methods 0.000 abstract description 3
- 230000000694 effects Effects 0.000 description 37
- 238000010586 diagram Methods 0.000 description 10
- 230000002708 enhancing effect Effects 0.000 description 9
- 238000000605 extraction Methods 0.000 description 6
- 238000002474 experimental method Methods 0.000 description 4
- 230000002787 reinforcement Effects 0.000 description 4
- 238000005516 engineering process Methods 0.000 description 3
- 230000002194 synthesizing effect Effects 0.000 description 3
- 238000012544 monitoring process Methods 0.000 description 2
- 230000008450 motivation Effects 0.000 description 2
- 230000000737 periodic effect Effects 0.000 description 2
- 230000005855 radiation Effects 0.000 description 2
- 238000011160 research Methods 0.000 description 2
- 206010033307 Overweight Diseases 0.000 description 1
- 238000010521 absorption reaction Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 150000001875 compounds Chemical class 0.000 description 1
- 239000003814 drug Substances 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 230000004927 fusion Effects 0.000 description 1
- 230000002401 inhibitory effect Effects 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 238000013178 mathematical model Methods 0.000 description 1
- 235000020825 overweight Nutrition 0.000 description 1
- 230000035699 permeability Effects 0.000 description 1
- 238000012805 post-processing Methods 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 238000000844 transformation Methods 0.000 description 1
- 230000001052 transient effect Effects 0.000 description 1
- 238000013519 translation Methods 0.000 description 1
- 239000013598 vector Substances 0.000 description 1
- 230000004304 visual acuity Effects 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4038—Image mosaicing, e.g. composing plane images from plane sub-images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
- G06F18/2413—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on distances to training or reference patterns
- G06F18/24147—Distances to closest patterns, e.g. nearest neighbour classification
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/02—Affine transformations
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/10—Image enhancement or restoration using non-spatial domain filtering
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/20—Image enhancement or restoration using local operators
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/40—Image enhancement or restoration using histogram techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/70—Denoising; Smoothing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/46—Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
- G06V10/462—Salient features, e.g. scale invariant feature transforms [SIFT]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
- G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
- G06V10/757—Matching configurations of points or features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2200/00—Indexing scheme for image data processing or generation, in general
- G06T2200/32—Indexing scheme for image data processing or generation, in general involving image mosaicing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20024—Filtering details
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20024—Filtering details
- G06T2207/20032—Median filtering
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20048—Transform domain processing
- G06T2207/20064—Wavelet transform [DWT]
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Data Mining & Analysis (AREA)
- Multimedia (AREA)
- Artificial Intelligence (AREA)
- Evolutionary Computation (AREA)
- General Engineering & Computer Science (AREA)
- Evolutionary Biology (AREA)
- Bioinformatics & Computational Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Health & Medical Sciences (AREA)
- Computing Systems (AREA)
- Databases & Information Systems (AREA)
- General Health & Medical Sciences (AREA)
- Medical Informatics (AREA)
- Software Systems (AREA)
- Life Sciences & Earth Sciences (AREA)
- Image Processing (AREA)
Abstract
本发明公开一种焦平面太赫兹成像的图像拼接方法，涉及焦平面太赫兹探测阵列成像领域，本发明的步骤中结合傅里叶变换与巴特沃斯带阻滤波器对原始图像进行处理；在对滤波后的图像进行高频非线性增强，以及进行灰度线性图拉伸和直方图均衡化，利用权值分配法将线性拉伸和直方图均衡化处理后的图像按比例结合；最后进行仿射变换、特征点选取、特征点匹配和图像拼接；本发明解决了目前没有一种拼接方法能够较好地运用于太赫兹图像领域，导致太赫兹图像无法进行较为准确的拼接的问题。
Description
技术领域
本发明涉及焦平面太赫兹探测阵列成像领域，尤其涉及一种焦平面太赫兹成像的图像拼接方法。
技术背景
太赫兹(Terahertz)波一般指频率在0.1-10THz(波长30μm～3mm)的电磁波，介于微波与远红外之间，有低能亮性、高穿透性、瞬态性和吸水性等。这一特性使其在安防监测、医学医药、航空航天、环境监测等方面得到广泛的研究并存在巨大的应用前景。但是由于太赫兹波的波长较长，远场成像系统的分辨本领往往受到太赫兹波的衍射限制。利用太赫兹焦平面成像技术可以有效改善太赫兹成像系统的分辨率。还有其他的因素影响最后成像的质量，如太赫兹源的发射功率、太赫兹波到达样品处的光斑大小、探测器材料工艺、后端成像系统的噪声等。人们除了要克服硬件上的障碍，如太赫兹成像系统的分辨率，精度和速度的限制，还要研究图像处理算法，对图像做后期处理以改善图像质量。小阵列焦平面太赫兹探测器不能一次对尺寸较大的物体的全貌成像，需要进行多次成像，后期做拼接处理。关于太赫兹焦平面成像的图像拼接方法研究较少，因此加强对太赫兹焦平面成像的图像拼接技术的研究很有必要。
由于太赫兹辐射自身的特点，波长较长，故在利用太赫兹探测器进行图形采集时经常出现干涉条纹噪声以及衍射噪声，图像呈现出低的对比度。实验室所用的THz探测器阵列小，对尺寸较大的物体的全貌成像成为难题。因此，使用小阵列的THz探测器，后续的图像拼接就是必要步骤。
图像拼接，即是把输入的图像序列拼接合成为一幅具有更宽视角，且包含原图像序列所有信息的全景图。输入的图像序列之间可以具有平移、旋转、缩放、仿射等变换，但需要相邻图像之间具有一定的重叠区域，这样才能在相邻图像中找到对应变换关系。图像拼接的关键步骤在于图像配准，如果图像之间配准误差较大，合成的全景图将会存在明显的错位，在融合时会产生较大的重影现象，因而失去进行图像拼接的意义。图像配准包括局部配准和全局配准，局部配准是指将具有重叠区域的两幅相邻图像通过一定算法实现空间域上的对准，即是使图像之间对应的内容在同一空间坐标系下重合；全局配准是指通过一定算法消除因局部配准误差导致的全局累积误差，减小全景图失真。
图像拼接算法是目前比较成熟的技术，但是，由于太赫兹辐射自身的特点，波长较长，故在利用太赫兹探测器进行图形采集时经常出现干涉条纹噪声以及衍射噪声，图像呈现出低的对比度，如果把现有的图像配准直接运用到太赫兹图像领域，效果非常不好。
发明内容
本发明的目的在于：为解决目前没有一种拼接方法能够较好地运用于太赫兹图像领域，导致太赫兹图像无法进行较为准确的拼接的问题，本发明提供一种焦平面太赫兹成像的图像拼接方法。
本发明的技术方案如下：
一种焦平面太赫兹成像的图像拼接方法，包括如下步骤：
步骤1:对原始图像A和原始图像B分别进行相同的预处理得到图像A1和图像B1、
步骤2：以图像A1或图像B1中的任意一幅图为模板，对另一幅图进行仿射变换，得到图像A1和图像B2，或得到图像A2和图像B1。
步骤3：对步骤2得到的两幅图像分别进行特征点选取。
步骤3：对步骤2得到的两幅图像分别进行特征点选取。
步骤4：对特征点选取后的两幅图像进行特征点匹配得到特征图匹配后的两幅图像。
其中，预处理的步骤包括：
步骤1.1：对原始图像A进行傅里叶变换得到图像A1。
步骤1.2：对图像A1进行滤波得到图像A2。
步骤1.3：对图像A2进行高频非线性增强处理得到图像A3。
步骤1.4：对图像A3分别进行线性拉伸和直方图均衡化得到图像A31和图像A32。
步骤1.5：采用权值分配法对图像A31和图像A32进行结合得到图像A1。
图像B1的获得过程和步骤1.1-步骤1.5相同。
具体地，所述步骤1.2中，所述滤波采用的是巴特沃斯带阻滤波器，具体为:
D(u,v)＝[(u-M/2)2+(v-N/2)2]1/2
其中，D0为需要阻止的频率点与频率中心的距离，W为带阻滤波器的带宽，n为巴特沃斯带阻滤波器的阶数，对于大小为M×N的图像，频谱图上频率点(u,v)与频域中心的距离为D(u,v)，H(u,v)就是构建后的滤波器，用H(u,v)乘以要处理的图像数据就是处理过程，将设定好参数的滤波器结合图像的频谱图进行处理。
具体地，所述步骤1.3包括：
步骤1.3.1：构建自适应中值滤波器对图像A2进行自适应滤波得到图像A2-1。中值滤波是一种保护边缘的非线性空域滤波方法，优势在于抑制噪声的同时还能够保持图像的清晰度。
步骤1.3.2：通过二进小波变换对图像A2-1进行2层分解，提取图像A2-1的第一层高频边缘部分，对第一层高频边缘部分做非线性插值后进行高通滤波；
步骤1.3.3：对图像A2-1的第一层的小波分系数进行重构得到图像A3。
具体地，所述步骤1.5中，采用权值分配法的公式为：C＝m*A31+n*A32
其中，m+n＝1,A31是图像经过直方图均衡化之后的图像，A32是图像经过灰度线性拉伸的图像；运用迭代法求得m，n的最优值，C是A31和A31权值分配后的结果图。
具体地，所述步骤2中，仿射变换的矩阵如下所示：
其中，(x',y')为仿射变换后的图像的坐标，(x,y)为变换前的图像的坐标,
其中，Q矩阵控制缩放尺度量和旋转量，t矩阵控制水平和垂直方向上的位移量，用设计好的变换矩阵乘以待处理图像数据，得到仿射变换结果。
具体地，所述步骤3中，根据sift算法提取特征点，具体包括如下步骤：
S3.1：尺度空间的生成；
S3.2：检测尺度空间特征点；
S3.3：精确定位特征点；
S3.4：为每个特征点指定方向参数；
S3.5：特征点描述子的生成。
优选第，所述步骤4中用到的匹配算法是最近邻匹配法。
采用上述方案后，本发明的有益效果如下：
本发明中在仿射变换之前必须结合高频非线性增强与权值分配的方法进行图像增强处理，提高图像对比度；结合图像增强和图像拼接算法，实现了太赫兹灰度图像的准确拼接，有利于实现焦平面太赫兹探测器对大面积物体的扫描拼接成像。
根据本发明的一些步骤进行了实验，实验的结果为：如果没有进行步骤1.3-步骤1.5，最终的特征点选取效果如图10所示，最终特征点匹配的效果图如图11所示。在此基础上，很容易想到对图像进行增强处理，本发明的权值分配增强法在公开号为CN105139365B的发明专利“一种处理太赫兹或者红外图像的方法”中已经公开权值分配增强法，在此篇授权专利中，也是通过对太赫兹或者红外图像分别进行直方图均衡化处理和线性拉伸处理然后再根据一定的权重进行合成，此篇授权文件也是对图像进行增强，如果将此发明的方法直接用在本发明的方法中，也就是没有步骤1.3，只进行权值分配增强，最终的特征点选取效果图如图12所示，最终特征点匹配的效果图如图13所示；同样，高频非线性增强也是属于图像处理领域中常用的增强手法，将高频非线性增强的步骤单独应用到本发明的方法中，也就是没有步骤1.4和步骤1.5，最终的特征点选取效果如图14所示，最终特征点匹配的效果图如图15所示。
根据以上所述情况，本领域技术人员根本不会想到将两种增强方法结合，因为单独运用两种的方法和最初不进行增强的方法相比，效果相当甚至是更差，两者完全没有可以结合的启示和动机。而本发明同时运用了高频非线性增强和权值分配增强,达到了意向不到的技术效果，如图10和图11所示，效果远远优于两种增强单独运用的效果，因此，本发明是具有创造性的。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。通过附图所示，本发明的上述及其它目的、特征和优势将更加清晰。在全部附图中相同的附图标记指示相同的部分。并未刻意按实际尺寸等比例缩放绘制附图，重点在于示出本发明的主旨。
图1为本发明的总流程图；
图2为采集的原始图像A和原始图像B；
图3是原始图像A经过巴特沃斯带阻滤波器处理后的效果图。
图4是两幅原始图像经过巴特沃斯带阻滤波器处理后，再经过高频非线性增强处理后的效果图。
图5是图4两幅图分别经过权值分配处理之后的效果图；
图6为图像A1以图像B2为模板，作仿射变换后的效果图；
图7为对特征点选取后的效果图；
图8为特征点匹配的效果图；
图9为最终得到的拼接后的效果图。
图10为原始图像A和原始图像B没有经过步骤1.3-步骤1.5的特征点提取图像，即没有经过图像增强的特征点提取图像；
图11分别为图10中的两幅图像的匹配图像；
图12为没有经过步骤1.3后最终的特征点提取图像；
图13为图12中的两幅图的特征点匹配效果图；
图14为没有经过步骤1.4和步骤1.5后最终的特征点提取图像；
图15为图13中的两幅图的特征点匹配效果图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
在搭建焦并使用较小焦平面太赫兹探测器扫描成像系统对垫片进行连续扫描后，得到多幅图像，需要对这些图像依次两两进行拼接，本发明一种焦平面太赫兹成像的图像拼接方法，如图1所示，包括如下步骤：
步骤1:如图2所示，采集了原始图像A和原始图像B，以左边的图像作为原始图像A，以右边的图像作为原始图像B，对原始图像A和原始图像B分别进行相同的预处理得到图像A1和图像B1；其中，预处理的步骤包括：
步骤1.1：对原始图像A进行傅里叶变换得到图像A1，通过得到的傅里叶频谱图找到其噪声频点。
步骤1.2：由于搭建仪器设备的限制，采图时伴随着不可避免的噪声，若不处理，经过图像增强后，干涉条纹也会随之凸显出来，对后面的特征点提取以及特征点匹配影响很大，所以要想办法滤除干涉条纹噪声，降低其影响，增加匹配的准确率，所以，对图像A1进行滤波得到图像A2；通过观察发现，干涉条纹噪声在图像上的分布是有周期性规律的，而带阻滤波器是用来抑制距离中心一定距离的一个圆环区域的频率，可以用来消除一定频率范围的周期噪声，因此，此步骤中的滤波采用的是巴特沃斯带阻滤波器，具体为:
其中，D0为需要阻止的频率点与频率中心的距离，W为带阻滤波器的带宽，n为巴特沃斯带阻滤波器的阶数，对于大小为M×N的图像，频谱图上频率点(u,v)与频域中心的距离为D(u,v)，H(u,v)就是构建后的滤波器，用H(u,v)乘以要处理的图像数据就是处理过程，将设定好参数的滤波器结合图像的频谱图进行处理。图3为经过巴特沃斯带阻滤波器处理后的效果图。
步骤1.3：经过巴特沃斯带阻滤波器处理之后的图像，条纹噪声明显减少，同时导致图像整体的对比度下降，对图像A2进行高频非线性增强处理得到图像A3；因为后面的特征点提取和匹配需要两幅待拼接图像重合区域的特征，所以对巴特沃斯带阻滤波器处理后的数据进行高频非线性增强来提高两幅待拼接图像重合区域的对比度，处理后的效果图如图4所示；步骤1.3具体包括：
步骤1.3.1：构建自适应中值滤波器对图像A2进行自适应滤波得到图像A2-1；中值滤波是一种保护边缘的非线性空域滤波方法，优势在于抑制噪声的同时还能够保持图像的清晰度。
步骤1.3.2：通过二进小波变换对图像A2-1进行2层分解，提取图像A2-1的第一层高频边缘部分，对第一层高频边缘部分做非线性插值后进行高通滤波。
步骤1.3.3：对图像A2-1的第一层的小波分系数进行重构得到图像A3。
步骤1.4：对图像A3分别进行线性拉伸和直方图均衡化得到图像A31和图像A32；线性拉伸是在空间域内对图像进行增强的一种简单而有效的方法，不改变原图像中的像素位置，只改变像素点的灰度值，并逐点进行，和周围其他像素点无关；直方图均衡化在调整灰度级分布的策略是：将概率密度(即频数)较大的灰度级对应的间距变大，而概率密度较小的灰度级间距缩小，并使处理后的图像布满整个灰度级。
步骤1.5：采用权值分配法对图像A31和图像A32进行结合得到图像A1；过权值分配方法处理后，图像的对比度也得到很大提高，处理后的效果图如图5所示。具体地，采用权值分配法的公式为：
C＝m*A31+n*A32
其中，m+n＝1,A31是图像经过直方图均衡化之后的图像，A32是图像经过灰度线性拉伸的图像；运用迭代法求得m，n的最优值，C是A31和A31权值分配后的结果图。
图像B1的获得过程和步骤1.1-步骤1.5相同。
步骤2：以图像A1或图像B1中的任意一幅图为模板，对另一幅图进行仿射变换，得到图像A1和图像B2，或得到图像A2和图像B1；仿射变换是图像拼接中图像预处理的一部分，根据图像失真原因，建立相应的数学模型，即变换矩阵，从被污染或畸变的图象信号中提取所需要的信息，沿着使图象失真的逆过程恢复图象本来面貌。仿射变换后的效果图如图6所示，仿射变换的矩阵如下所示：
其中，(x',y')为仿射变换后的图像的坐标，(x,y)为变换前的图像的坐标,
其中，Q矩阵控制缩放尺度量和旋转量，t矩阵控制水平和垂直方向上的位移量，其中的q11和q22分别控制图像横纵坐标上放大或者缩小的倍数，q12和q21分别控制图像进行横纵方向上的剪切变形，t1,t2分别代表图像在横纵方向上的位移，用设计好的变换矩阵乘以待处理图像数据，得到仿射变换结果。
步骤3：对步骤2得到的两幅图像分别进行特征点选取，选取后的效果图如图7所示；步骤3中，根据sift算法提取特征点，sift特征不只具有尺度不变性，即使改变旋转角度，图像亮度或拍摄视角，仍然能够得到好的检测效果，sift算法具体包括如下步骤：
S3.1：尺度空间的生成；
S3.2：检测尺度空间特征点；
S3.3：精确定位特征点；
S3.4：为每个特征点指定方向参数；
S3.5：特征点描述子的生成。
步骤4：对特征点选取后的两幅图像进行特征点匹配得到特征图匹配后的两幅图像；步骤4：对特征点选取后的两幅图像进行特征点匹配，特征匹配后的效果图如图8所示；采用的匹配算法是最近邻匹配法，即利用特征向量的欧氏距离作为两幅图像关键点的相似性度量。
步骤5：根据匹配特征点对步骤4得到的两幅图像进行拼接，最终拼接后的效果图如图9所示。
本发明中，由于焦平面太赫兹成像的特性，原始图像A和原始图像B是灰度图，特征不明显，直接对原图像拼接，会导致拼接效果不佳甚至失败，在仿射变换之前必须结合高频非线性增强与权值分配的方法进行图像增强处理，提高图像对比度；结合图像增强和图像拼接算法，实现了太赫兹灰度图像的准确拼接，有利于实现焦平面太赫兹探测器对大面积物体的扫描拼接成像。
根据本发明的一些步骤进行了实验，实验的结果为：如果没有进行步骤1.3-步骤1.5，最终的特征点选取效果如图10所示，最终特征点匹配的效果图如图11所示。在此基础上，很容易想到对图像进行增强处理，本发明的权值分配增强法在公开号为CN105139365B的发明专利“一种处理太赫兹或者红外图像的方法”中已经公开权值分配增强法，在此篇授权专利中，也是通过对太赫兹或者红外图像分别进行直方图均衡化处理和线性拉伸处理然后再根据一定的权重进行合成，此篇授权文件也是对图像进行增强，如果将此发明的方法直接用在本发明的方法中，也就是没有步骤1.3，只进行权值分配增强，最终的特征点选取效果图如图12所示，最终特征点匹配的效果图如图13所示；同样，高频非线性增强也是属于图像处理领域中常用的增强手法，将高频非线性增强的步骤单独应用到本发明的方法中，也就是没有步骤1.4和步骤1.5，最终的特征点选取效果如图14所示，最终特征点匹配的效果图如图15所示。
根据以上所述情况，本领域技术人员根本不会想到将两种增强方法结合，因为单独运用两种的方法和最初不进行增强的方法相比，效果相当甚至是更差，两者完全没有可以结合的启示和动机。而本发明同时运用了高频非线性增强和权值分配增强,达到了意向不到的技术效果，如图10和图11所示，效果远远优于两种增强单独运用的效果，因此，本发明是具有创造性的。
以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何属于本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到的变化或替换，都应涵盖在本发明的保护范围之内。
Claims (5)
1.一种焦平面太赫兹成像的图像拼接方法，其特征在于，包括如下步骤：
步骤1:对原始图像A和原始图像B分别进行相同的预处理得到图像A1和图像B1；
步骤2：以图像A1或图像B1中的任意一幅图为模板，对另一幅图进行仿射变换，得到图像A1和图像B2，或得到图像A2和图像B1；
步骤3：对步骤2得到的两幅图像分别进行特征点选取；
步骤4：对特征点选取后的两幅图像进行特征点匹配得到特征图匹配后的两幅图像；
步骤5：对特征点匹配后的两幅图像进行拼接；
其中，预处理的步骤包括：
步骤1.1：对原始图像A进行傅里叶变换得到图像A1；
步骤1.2：对图像A1进行滤波得到图像A2；
步骤1.3：对图像A2进行高频非线性增强处理得到图像A3；
步骤1.4：对图像A3分别进行线性拉伸和直方图均衡化得到图像A31和图像A32；
步骤1.5：采用权值分配法对图像A31和图像A32进行结合得到图像A1；
图像B1的获得过程和步骤1.1-步骤1.5相同；
其中，步骤1.2具体包括：所述滤波采用的是巴特沃斯带阻滤波器，具体为:
D(u,v)＝[(u-M/2)2+(v-N/2)2]1/2
其中，D0为需要阻止的频率点与频率中心的距离，W为带阻滤波器的带宽，n为巴特沃斯带阻滤波器的阶数，对于大小为M×N的图像，频谱图上频率点(u,v)与频域中心的距离为D(u,v)，H(u,v)就是构建后的滤波器，用H(u,v)乘以要处理的图像数据就是处理过程，将设定好参数的滤波器结合图像的频谱图进行处理；
其中，步骤1.3具体包括：
步骤1.3.1：构建自适应中值滤波器对图像A2进行自适应滤波得到图像A2-1；中值滤波是一种保护边缘的非线性空域滤波方法，优势在于抑制噪声的同时还能够保持图像的清晰度；
步骤1.3.2：通过二进小波变换对图像A2-1进行2层分解，提取图像A2-1的第一层高频边缘部分，对其做非线性插值后进行高通滤波；
步骤1.3.3：对图像A2-1的第一层的小波分系数进行重构得到图像A3。
2.根据权利要求1所述的一种焦平面太赫兹成像的图像拼接方法，其特征在于，所述步骤1.5中，采用权值分配法的公式为：
C＝m*A31+n*A32
其中，m+n＝1,A31是图像经过直方图均衡化之后的图像，A32是图像经过灰度线性拉伸的图像；运用迭代法求得m，n的最优值，C是A31和A31权值分配后的结果图。
3.根据权利要求1所述的一种焦平面太赫兹成像的图像拼接方法，其特征在于，所述步骤2中，仿射变换的矩阵如下所示：
其中，(x',y')为仿射变换后的图像的坐标，(x,y)为变换前的图像的坐标,
其中，Q矩阵控制缩放尺度量和旋转量，t矩阵控制水平和垂直方向上的位移量，用设计好的变换矩阵乘以待处理图像数据，得到仿射变换结果。
4.根据权利要求1所述的一种焦平面太赫兹成像的图像拼接方法，其特征在于，所述步骤3中，根据sift算法提取特征点，具体包括如下步骤：
S3.1：尺度空间的生成；
S3.2：检测尺度空间特征点；
S3.3：精确定位特征点；
S3.4：为每个特征点指定方向参数；
S3.5：特征点描述子的生成。
5.根据权利要求1所述的一种焦平面太赫兹成像的图像拼接方法，其特征在于，所述步骤4中用到的匹配算法是最近邻匹配法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201810336346.7A CN108537735B (zh) | 2018-04-16 | 2018-04-16 | 一种焦平面太赫兹成像的图像拼接方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201810336346.7A CN108537735B (zh) | 2018-04-16 | 2018-04-16 | 一种焦平面太赫兹成像的图像拼接方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN108537735A CN108537735A (zh) | 2018-09-14 |
| CN108537735B true CN108537735B (zh) | 2021-08-03 |
Family
ID=63480707
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201810336346.7A Active CN108537735B (zh) | 2018-04-16 | 2018-04-16 | 一种焦平面太赫兹成像的图像拼接方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN108537735B (zh) |
Families Citing this family (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109993174B (zh) * | 2018-12-25 | 2021-01-05 | 华中科技大学 | 一种基于噪声抑制的空中目标检测方法及系统 |
| CN110322422B (zh) * | 2019-04-16 | 2021-08-06 | 山东省科学院自动化研究所 | 一种提高太赫兹连续波扫描成像质量的方法 |
| CN110544261B (zh) * | 2019-09-04 | 2023-08-29 | 东北大学 | 一种基于图像处理的高炉风口喷煤状态检测方法 |
| CN111539967B (zh) * | 2020-04-24 | 2023-03-28 | 电子科技大学 | 一种焦平面太赫兹成像中干涉条纹区域识别与处理方法及系统 |
| CN111986098B (zh) * | 2020-05-14 | 2024-04-30 | 南京航空航天大学 | 一种含固定背景的被动式太赫兹图像增强方法 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102681023A (zh) * | 2012-04-19 | 2012-09-19 | 首都师范大学 | 一种太赫兹波成像系统 |
| CN104574301A (zh) * | 2014-12-25 | 2015-04-29 | 深圳市一体太赫兹科技有限公司 | 一种太赫兹图像重构方法及系统 |
| CN105139365A (zh) * | 2015-08-17 | 2015-12-09 | 电子科技大学 | 一种处理太赫兹或者红外图像的方法 |
| CN105551009A (zh) * | 2015-12-17 | 2016-05-04 | 哈尔滨工业大学 | 一种基于连续太赫兹共焦扫描偏振成像的图像融合方法 |
| CN106546997A (zh) * | 2016-10-18 | 2017-03-29 | 电子科技大学 | 一种大视场高分辨率室温太赫兹实时探测成像系统 |
Family Cites Families (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US7933027B1 (en) * | 2008-06-27 | 2011-04-26 | The United States Of America As Represented By The Administrator Of National Aeronautics And Space Administration | Processing waveform-based NDE |
| CN104240208A (zh) * | 2014-09-30 | 2014-12-24 | 成都市晶林科技有限公司 | 非制冷红外焦平面探测器图像细节增强方法 |
| CN104517270A (zh) * | 2014-12-25 | 2015-04-15 | 深圳市一体太赫兹科技有限公司 | 一种太赫兹图像处理方法及系统 |
| CN107481205B (zh) * | 2017-08-23 | 2020-06-09 | 电子科技大学 | 一种太赫兹图像条纹噪声处理方法及系统 |
-
2018
- 2018-04-16 CN CN201810336346.7A patent/CN108537735B/zh active Active
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102681023A (zh) * | 2012-04-19 | 2012-09-19 | 首都师范大学 | 一种太赫兹波成像系统 |
| CN104574301A (zh) * | 2014-12-25 | 2015-04-29 | 深圳市一体太赫兹科技有限公司 | 一种太赫兹图像重构方法及系统 |
| CN105139365A (zh) * | 2015-08-17 | 2015-12-09 | 电子科技大学 | 一种处理太赫兹或者红外图像的方法 |
| CN105551009A (zh) * | 2015-12-17 | 2016-05-04 | 哈尔滨工业大学 | 一种基于连续太赫兹共焦扫描偏振成像的图像融合方法 |
| CN106546997A (zh) * | 2016-10-18 | 2017-03-29 | 电子科技大学 | 一种大视场高分辨率室温太赫兹实时探测成像系统 |
Non-Patent Citations (2)
| Title |
|---|
| 基于单尺度Retinex的可控手指静脉图像拼接算法;林剑 等;《中国医疗设备》;20171125;第32卷(第11期);55-60 * |
| 连续太赫兹波图像去噪与对比度增强研究;陈霖;《中国优秀硕士学位论文全文数据库 信息科技辑》;20160115(第01期);I138-613 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN108537735A (zh) | 2018-09-14 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN108537735B (zh) | 一种焦平面太赫兹成像的图像拼接方法 | |
| CN108492274B (zh) | 一种长波红外偏振特征提取与融合的图像增强方法 | |
| Liu et al. | Image fusion with convolutional sparse representation | |
| Mao et al. | Intriguing findings of frequency selection for image deblurring | |
| Lv et al. | Space moving target detection and tracking method in complex background | |
| CN112184604B (zh) | 一种基于图像融合的彩色图像增强方法 | |
| CN110503620B (zh) | 一种基于傅立叶频谱提取的图像融合方法 | |
| Adu et al. | Image fusion based on visual salient features and the cross-contrast | |
| CN112150386A (zh) | 基于对比度均值的sar图像相干斑非局部平均抑制方法 | |
| Zhu et al. | Low-light image enhancement network with decomposition and adaptive information fusion | |
| Pandey et al. | A novel technique for non-overlapping image mosaicing based on pyramid method | |
| CN110852947B (zh) | 一种基于边缘锐化的红外图像超分辨方法 | |
| Li et al. | Image mosaic and hybrid fusion algorithm based on pyramid decomposition | |
| Panguluri et al. | Efficient DWT based fusion algorithm for improving contrast and edge preservation | |
| Deshmukh et al. | A comparative study of different image fusion techniques for tone-mapped images | |
| CN113658317B (zh) | 电子显微镜连拍图像处理方法和装置 | |
| Ye et al. | On linear and nonlinear processing of underwater, ground, aerial and satellite images | |
| Hassanpour | Image zooming using non-linear partial differential equation | |
| Bhutto et al. | Scaling of color fusion in stitching images | |
| Babu et al. | Efficient brightness adaptive deep-sea image stitching using biorthogonal multi-wavelet transform and harris algorithm | |
| Gaber et al. | Performance evaluation of infrared image enhancement techniques | |
| Gang et al. | A study on NSCT based super-resolution reconstruction for infrared image | |
| Zhijian et al. | Infrared image super-resolution method based on dual-branch deep neural network | |
| Hu et al. | An infrared dim and small target image preprocessing algorithm based on improved bilateral filtering | |
| Chen et al. | Super-resolution reconstruction for underwater imaging |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |