CN109886883A - 实时偏振透雾成像图像增强处理方法 - Google Patents
实时偏振透雾成像图像增强处理方法 Download PDFInfo
- Publication number
- CN109886883A CN109886883A CN201910054461.XA CN201910054461A CN109886883A CN 109886883 A CN109886883 A CN 109886883A CN 201910054461 A CN201910054461 A CN 201910054461A CN 109886883 A CN109886883 A CN 109886883A
- Authority
- CN
- China
- Prior art keywords
- image
- polarization
- real
- fog
- camera
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 230000010287 polarization Effects 0.000 title claims abstract description 115
- 238000003384 imaging method Methods 0.000 title claims abstract description 51
- 238000003672 processing method Methods 0.000 title claims abstract description 17
- 238000012545 processing Methods 0.000 claims abstract description 22
- 230000000007 visual effect Effects 0.000 claims abstract description 20
- 230000002708 enhancing effect Effects 0.000 claims abstract description 17
- 238000000034 method Methods 0.000 claims description 65
- 230000008569 process Effects 0.000 claims description 22
- 230000003287 optical effect Effects 0.000 claims description 19
- 230000006870 function Effects 0.000 claims description 13
- 238000013507 mapping Methods 0.000 claims description 9
- 230000010365 information processing Effects 0.000 claims description 7
- 238000005286 illumination Methods 0.000 claims description 5
- 230000005855 radiation Effects 0.000 claims description 5
- 238000007476 Maximum Likelihood Methods 0.000 claims description 4
- 210000001747 pupil Anatomy 0.000 claims description 4
- 230000001133 acceleration Effects 0.000 claims description 3
- 239000000284 extract Substances 0.000 claims description 3
- 238000003491 array Methods 0.000 claims description 2
- 238000010845 search algorithm Methods 0.000 claims description 2
- 238000000926 separation method Methods 0.000 claims 1
- 238000005516 engineering process Methods 0.000 abstract description 7
- 230000000694 effects Effects 0.000 description 17
- HPTJABJPZMULFH-UHFFFAOYSA-N 12-[(Cyclohexylcarbamoyl)amino]dodecanoic acid Chemical compound OC(=O)CCCCCCCCCCCNC(=O)NC1CCCCC1 HPTJABJPZMULFH-UHFFFAOYSA-N 0.000 description 11
- 238000001514 detection method Methods 0.000 description 10
- 239000011159 matrix material Substances 0.000 description 6
- 230000015572 biosynthetic process Effects 0.000 description 4
- 238000003786 synthesis reaction Methods 0.000 description 4
- 230000009466 transformation Effects 0.000 description 4
- 239000013598 vector Substances 0.000 description 4
- 230000008901 benefit Effects 0.000 description 3
- 238000004364 calculation method Methods 0.000 description 3
- 238000010586 diagram Methods 0.000 description 3
- 235000013399 edible fruits Nutrition 0.000 description 3
- 239000000203 mixture Substances 0.000 description 3
- 241000208340 Araliaceae Species 0.000 description 2
- 235000005035 Panax pseudoginseng ssp. pseudoginseng Nutrition 0.000 description 2
- 235000003140 Panax quinquefolius Nutrition 0.000 description 2
- 230000003044 adaptive effect Effects 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 238000002474 experimental method Methods 0.000 description 2
- 238000000605 extraction Methods 0.000 description 2
- 230000004927 fusion Effects 0.000 description 2
- 235000008434 ginseng Nutrition 0.000 description 2
- 230000006872 improvement Effects 0.000 description 2
- 238000005259 measurement Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000007500 overflow downdraw method Methods 0.000 description 2
- 238000012360 testing method Methods 0.000 description 2
- 230000009471 action Effects 0.000 description 1
- 238000012512 characterization method Methods 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 230000001186 cumulative effect Effects 0.000 description 1
- 239000004744 fabric Substances 0.000 description 1
- 239000003500 flue dust Substances 0.000 description 1
- 238000007499 fusion processing Methods 0.000 description 1
- 230000005764 inhibitory process Effects 0.000 description 1
- 238000007689 inspection Methods 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 230000001678 irradiating effect Effects 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 238000006386 neutralization reaction Methods 0.000 description 1
- 230000000149 penetrating effect Effects 0.000 description 1
- 238000000746 purification Methods 0.000 description 1
- 238000011897 real-time detection Methods 0.000 description 1
- 238000004064 recycling Methods 0.000 description 1
- 230000001360 synchronised effect Effects 0.000 description 1
- 230000002194 synthesizing effect Effects 0.000 description 1
- 230000001960 triggered effect Effects 0.000 description 1
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 1
Landscapes
- Image Processing (AREA)
Abstract
实时偏振透雾成像图像增强处理方法，涉及光电成像技术领域，解决目前的偏振透雾成像技术存在的图像部分区域过曝，造成图像视觉效果受限以及图像细节信息较少、图像层次感较差、实时性较差等问题，包括获取偏振分量图像，对获得的偏振分量图像进行实时配准，采用先映射后合并的方式对实时配准后的偏振分量图像进行融合，获得偏振合成图像以及采用基于双线性插值的限制对比度自适应直方图均衡算法对偏振合成图像进行可视化增强处理的步骤。通过实施本发明的偏振图像去雾增强处理算法以及偏振透雾成像系统可实时获取高对比度、高清晰度图像信息且不损失空间分辨率，获得的重建图像细节丰富，图像层次感较强。
Description
技术领域
本发明涉及光电成像技术领域，具体涉及一种实时偏振透雾成像图像增强处理方法。
背景技术
偏振透雾成像技术是在获取目标偏振信息的基础上，利用所得到的信息进行目标重构增强的过程，该方法在凸显目标细节增强识别能力、减小大气效应提升探测分辨率、反演材料信息获取目标表面特性等方面具有传统成像系统所无法比拟的诸多优势，对于伪装、隐身目标及虚假目标的探测特别适合，此外在烟尘、浓雾、浑浊水体等光学特性较为复杂的场景下能够提升成像设备的探测视距和图像的对比度。
传统的偏振成像系统主要是依靠光学检偏器的无规则机械转动来实现对背景的共模抑制，实时性较差，限制了其在特殊应用场景下的实时探测性能。目前已发展出多种偏振成像探测技术，它们可根据实现年代、技术方案、核心器件等不同分为五类：机械旋转偏振光学元件，分振幅型偏振成像装置，液晶可调滤光片型偏振成像装置，分孔径型偏振成像装置，分焦平面型和通道调制型偏振成像装置。
目前基于上述偏振成像探测技术的偏振透雾成像技术虽然能够实现对不同场景的去雾成像，但是仍存在图像部分区域过曝，造成重建图像视觉效果受限以及图像细节信息较少、图像层次感较差等问题。
发明内容
本发明为解决目前的偏振透雾成像技术存在的图像部分区域过曝，造成图像视觉效果受限以及图像细节信息较少、图像层次感较差、实时性较差等问题，提供一种实时偏振透雾成像图像增强处理方法。
步骤一、获取偏振图像；采用偏振透雾成像系统获得不同偏振分量图像；
步骤二、对步骤一获得的偏振分量图像进行实时配准；
步骤三、采用先映射后合并的方式对步骤二实时配准后的偏振分量图像进行融合，获得偏振合成图像；具体过程为：
步骤三一、建立输入结构体和输出结构体，每个相机的每个像素均对应一个输入结构体和输出结构体，并将所有相机上的所有像素数据信息赋值到输入结构体数据集中；
步骤三二、在映射过程中，偏振图像被初始化为若干个线程，每个线程执行两个功能，分别是将每个输入结构体的索引信息映射到对应输出结构体的索引信息中和将每个输入结构体的数值信息直接复制到对应的输出结构体中，映射后得到输出结构体数据集；
步骤三三、在合并过程中，采用输出结构体数据集将具有相同输出索引的数据进行合并，并初始化若干个用于计算偏振合成图像的线程，利用最大似然估计方法计算每个像素的物方辐射值；输出偏振合成图像。
本发明具有以下有益效果：
一、本发明提出了一种实时偏振透雾成像图像增强处理方法，在本发明的处理方法中，首先基于斯托克斯(Stokes)矢量模型获取不同偏振分量的偏振图像，然后采用基于计算统一设备架构(Compute Unified Device Architecture，CUDA)的图像快速配准算法，实现了不同偏振分量的偏振图像的实时配准，最后基于“映射-合并”框架的图像高速融合方法实现了对配准后的偏振图像的融合和基于双线性插值的限制对比度自适应直方图均衡算法实现了对偏振合成图像的可视化增强处理。通过本发明所述的方法以及偏振透雾成像系统可实时获取高对比度、高清晰度图像信息且不损失空间分辨率，获得的图像细节丰富，图像层次感较强。
二、本发明所述的方法能够有效去除雾霾对图像的影响，提高图像对比度，展现了更多的图像细节信息，细节信息更加丰富；
三、本发明所述的方法不仅能够对近处景物有效去除雾霾，对远处景物去雾的效果更加优于传统偏振去雾算法，图像层次感更强；
四、本发明所述的方法在去除场景中雾霾的基础上，能够有效地避免天空空白图像过曝光的情况，极大地提升图像的视觉效果。
五、本发明所述的方法可应用于大气成像以及水下浑浊环境成像时的图像处理，处理后的图像清晰度高，提高了应用效率。
附图说明
图1为本发明所述的实时偏振透雾成像图像增强处理方法的流程图；
图2为探测器空间与物方空间的像素匹配示意图；
图3为CUDA并行图像合成原理图；
图4为采用本发明所述的实时偏振透雾成像图像增强处理方法的效果图；其中，图4a、图4b、图4c和图4d分别为探测器获取的偏振方向为0°、45°、90°、135°的偏振方位角图像，图4e为最小光强图像，图4f为最大光强图像，图4g为总光强图像，图4h为采用现有Y.Y.Schechner算法处理的效果图，图4i为采用本发明的方法处理后的效果图；
图5中的(a)、(b)和(c)分别为图4g、图4h和图4i的灰度直方图，(d)、(e)和(f)分别为图4g、图4h和图4i的RGB三通道像素强度统计值示意图；
图6中，图6a和图6d为不同场景的总强度图像；图6b和图6e由现有Y.Y.Schechner方法获得的检测效果图，图6c和图6e为采用本发明的方法获得的检测效果图。
具体实施方式
具体实施方式一、结合图1至图3说明本实施方式，实时偏振透雾成像图像增强处理方法，该方法包括以下步骤：
步骤一、基于Stokes的偏振图像获取；即：获取相机在同一视场下对同一目标拍摄获得不同的偏振分量图像；
步骤二、采用CUDA图像快速配准算法对偏振图像进行实时配准；
步骤三、采用基于“映射-合并”框架的图像高速融合方法对配准后的偏振图像进行融合，得到偏振合成图像；
步骤四、采用基于双线性插值的限制对比度自适应直方图均衡算法对偏振合成图像进行可视化增强处理。
本实施方式中，相机可采用四个光学参数相同且共光轴的相机，四个相机呈双层立体排布，每层有两个并列排布的相机，同时为获得具有不同偏振分量的偏振图像，在每一个相机的镜头内部均集成一个检偏器，并且四个检偏器与入射光偏振方向的夹角不同，例如，四个检偏器与入射光偏振方向的夹角分别为0°、45°、90°和135°。本实施例中的相机能够在不损失空间分辨率的情况下实时获取四幅不同的偏振图像(即偏振方位角图像)，无需旋转检偏器，不会引入机械抖动。
本实施方式所述的步骤一中，基于Stokes矩阵获取相机在同一视场下对同一目标拍摄获得的具有不同偏振分量的偏振图像。Stokes矩阵S＝[S0,S1,S2,S3]T是国际上常用的描述光波偏振态的方法，其中S0代表光波辐射的总强度，S1代表水平与垂直偏振方向光波的强度差值，S2代表与水平夹角成45°的两个线偏振光波强度差值，S3代表右旋偏振光和左旋偏振光的强度差值。假设从成像系统出射的光束的Stokes参量Sout能够表示为入射光束的Stokes参量Sin的线性组合，可以使用穆勒(Mueller)矩阵描述成像系统中各偏振元件对入射光束偏振态的改变，出射光束的Stokes参量Sout表述为：
Sout＝M·Sin (1)
其中，M是一个4×4阶Mueller矩阵，通常用来衡量光与物质相互作用对入射光偏振态的影响。当一束光照射并穿过某检偏器件时，通过检偏器件的作用入射光与出射光之间的偏振态产生了变化，用Mueller矩阵表示，以此类推，若光束依次通过若干个级联的检偏器件时，只要知道这些器件的特性和光束的偏振特性，就可以计算得到出射光的特性，设光束依次通过了L个检偏器件，则总的作用效果表示为:
M＝MLML-1…M2M1 (2)
其中，ML表示第L个光学元件对入射光作用的Mueller矩阵。
在自然条件下，圆偏振分量很难被探测器响应，因此只需要获得前三个线偏振分量S0、S1、S2即可，获取S0、S1、S2的一般实现方式是在相机前安装线偏振片，并通过旋转偏振片的方式获得若干幅偏振度不同的方位角图像。因此只需测出光线通过不同偏振方向的光强I0°、I45°、I90°、I135°，再利用(3)式求得来自目标光波的Stokes矩阵的三个线性分量S0、S1、S2，描述光波的偏振状态表达式如下：
在测量得到偏振光分量信息后，需要将该信息进行可视化增强处理，表示方法是偏振度图像P或偏振角图像θ。偏振度(Degree of Polarization,DoP)可以由Stokes矢量计算得到。实际探测的偏振度是线偏振度(Degree of Linear Polarization，DoLP)，计算公式为：
在偏振透雾成像中所需要的光强最大图像Imax与光强最小图像Imin利用(5)式求得：
其中，Imax和Imin为在利用偏振透雾成像物理模型进行偏振成像时，获取的两幅偏振态正交的偏振图像，Imin为大气光强度最小的偏振图像，Imax为大气光强度最大的偏振图像，基于Imax和Imin可计算得到目标辐射光LObject。
本实施方式所述的步骤二中，采用基于CUDA的图像快速配准算法对偏振图像进行实时配准。具体过程为：
将基于CUDA的图像拼接算法执行的过程分为Host/CPU端和Device/GPU端两部分，其中CPU主要负责算法逻辑与控制，GPU主要负责并行计算与浮点运算等。其中，CUDA并行计算过程包括两个层次的并行：一是线程网络(Grid)中的线程块(Block)间并行，二是线程块中的线程(Thread)间并行，这种高效的多线程并行数据处理模式使得面对计算量巨大、复杂度极高的任务时可以更加高效地利用GPU强大的并行计算资源。
基于CUDA的偏振图像实时配准算法执行步骤为：首先利用尺度不变特征变换(Scale-invariant feature transform，SIFT)并行加速算法从偏振图像中提取特征信息，生成特征描述向量，然后利用基于层次聚类树(The Hierarchical ClusteringTree)的最近邻搜索算法获得初始匹配特征点对，得到初始匹配特征点对集合，最后结合概率模型和IPROSAC算法对初步匹配特征点对集合进行提取和空间变换模型参数估计。
图像特征提取过程通过具有亚像素标定精度的四维标定平台对相邻相机成像重叠区域进行预标定，确定图像特征检测提取的空间范围，采用基于CUDA的SIFT方法提出成像重叠区域图像特征点，该过程包括构造尺度空间、检测提取特征点、确定特征点主方向、生成特征描述向量四个步骤。
图像特征匹配过程采用基于层次聚类树的图像特征匹配方法，直接从输入数据中随机地选取聚类中心点，这样的方法在建立多棵树时更加简单高效，同时可以很好地保持树间的相互独立性。在搜索阶段，基于CUDA平台并行加速搜索策略，从而大大提升了搜索效率，优势在于不需要多次迭代获取聚类中心。
图像配准空间变换模型参数估计过程通过调整合成默认查找表中的相机对准参数，以及允许对假定的相机放大率进行微小修改，来使这些特征点对相互匹配。对特征的质量设置一些阈值，以限制潜在组合的数量。通过将相机的指向变化限制在一度内(明显大于机械公差允许的范围)来限制允许的搜索空间。使用提纯后的特征点对计算图像间的几何变换关系，并将这些匹配点映射到物方空间中。
本实施方式所述的步骤三中，采用基于“映射-合并”框架的图像高速融合方法对配准后的偏振图像进行融合，得到偏振合成图像。
偏振图像配准融合过程需要偏振成像系统每个相机的内部模型参数和外部模型参数。内部模型参数定义每个相机的焦距和光学径向失真，每个相机需要一组固有模型参数；外部模型参数定义每个相机的相对位置和指向。两种几何模型的组合定义了将像素从其相对探测器空间投影到全局物体空间所需的变换关系。
通过每个相机的校准和图像配准确定相机模型参数。一旦获得这些模型参数，就可以认为它们在一段时间内保持稳定。通过使用基于相机模型的方法，将每个像素从其在探测器空间中的相对位置(x，y)投影到物方空间中的绝对位置这个绝对位置由归一化的球坐标构成。然后使用方位等距投影，将球形空间映射成可以均匀离散化的平面空间，使物方空间中的像素处于笛卡尔坐标(θx，θy)中。
由于两个空间之间分辨率和旋转不匹配以及两个或多个相机之间的潜在重叠，多个相机像素可能指向物方空间的同一像素，如图2所示。
将每个输出像素处的最终辐射度计算为所有输入像素值的加权混合，每个输入像素的权重是其相对照度rk和曝光时间tk的乘积。物方空间中的场景辐照度I(θx，θy)可以从输入像素值集合vk的加权叠加的最大似然估计量来计算：
通过更新正演模型参数，这种基于相机模型的策略可以灵活地适应不同尺度图像投影，并且非常适合基于计算统一设备架构(Compute Unified Device Architecture，CUDA)并行图像合成的实现。CUDA加速图像合成的实现分为两个主要的GPU内核函数：一个用于空间几何映射变换(简称映射)，一个用于像素内数据合并(简称合并)，如图3所示。彩色图像的配准类似于单色图像的配准，可以通过分别处理每个RGB通道来解决。每个颜色通道的坐标转换是相同的，所以“映射”函数应该只执行一次，而“合并”函数应该为每个颜色通道独立执行。
在执行“映射”、“合并”内核前先建立两个结构体，即输入结构体和输出结构体。将相机中像素的相对坐标(x，y)、相机序号cam#、像素值v、相对照度r、曝光时间t组成一个输入结构体；将物方空间坐标(θx，θy)、像素值v、相对照度r、曝光时间t组成一个输出结构体。每个相机的每个像素均对应一个输入结构体和一个输出结构体，并且将所有相机上的所有像素数据信息赋值到输入结构体数据集中。
在“映射”内核中，一个宽度为W1像素和高度为H1像素的偏振图像被初始化为W1×H1个线程。每个线程执行两个功能：将每个输入结构体的索引信息(x,y,cam#)映射到对应输出结构体的索引信息(θx，θy)中；将每个输入结构体的数值信息(v,r,t)直接复制到的对应的输出结构体中。几何映射变换方法使用每个相机的内外参数，其可以通过事先校准和应用图像配准技术来获得，对于刚性相机阵列系统，这些参数可以被认为在一段时间内保持不变。所有相机模型参数都预先加载到GPU全局内存，且所有的线程都可以访问。
“合并”操作使用“映射”阶段得到的输出结构体数据集将具有相同输出索引的数据合并到一起。由于搜索相同索引的分类操作非常耗时且本质上与并行对立，所以改为使用原子累加进行操作，当多个线程尝试同时更新同一内存空间时，这些操作将被序列化。在“合并”内核中，初始化W2×H2个线程，其中W2、H2分别是合成偏振图像的宽度和高度。每个线程计算对应合成偏振图像的像素，最终每个像素(θx，θy)的物方辐射值由公式(6)中的最大似然估计方法得到。获得物方辐射值后，输出偏振合成图像。
本实施方式所述的步骤四中，采用基于双线性插值的限制对比度自适应直方图均衡算法对偏振合成图像进行可视化增强处理。在步骤三中获得的偏振合成图像的整体质量相对于原始图像得到了提升、对比度得到了增强，为进一步改善图像局部地区的细节信息，例如图像中天空出现过曝光的情况，本实施采用基于双线性插值的限制对比度自适应直方图均衡(Contrast Limited Adaptive histgram equalization，CLAHE)算法对偏振合成图像进行可视化增强处理。
CLAHE算法的基本思想是通过增强局部区域的对比度，从而增强图像细节的可视性，整个过程是一个递归的过程。CLAHE算法的核心是在计算转化函数之前通过对直方图进行剪裁的方式来限制对比度的增强。CLAHE算法首先将图像分成若干个子区域，依次分别计算每个子区域图像的直方图，并使用一个参数用来限制预定义的数值。由于CLAHE算法的计算复杂度较高，采用双线性插值的方法对CLAHE算法进行了一定程度的简化，进而提升算法的执行效率且能取得较好的效果。
基于双线性插值的CLAHE算法具体实现步骤如下：
A：将偏振合成图像分成若干个区域块，在每个区域块中根据一定的输出直方图分布单独进行对比度增强处理，局部对比度增强的计算公式为：
x′i,j＝mi,j+k(xi,j-mi,j) (7)
其中xi,j，x′i,j表示变换前后像素的灰度值，为窗W内像素的平均灰度值，m、n为像素值，k的表达式为：
其中，k'为比例系数，为整幅图像的噪声方差，为窗W内的灰度方差。
B：对偏振合成图像进行局部对比度增强后，相邻区域间的伪影比较严重，此时需要用双线性插值法将相邻区域块拼接起来，以有效消除伪影。假设函数f(x)与函数上已知的4个点的值K11＝(x1,y1)，K12＝(x1,y2)，K21＝(x2,y1)，K22＝(x2,y2)，在函数f(x)上点H＝(x,y)可以通过线性差值求出。
首先，在x方向上进行线性差值，得到，
然后，在y方向上进行线性差值，得到，
实验测试表明，首先，本实施方式所述的实时偏振透雾成像图像增强处理方法能够有效去除雾霾对图像的影响，提高图像对比度，展现了更多的图像细节信息，细节信息更加丰富；其次，偏振图像去雾增强处理算法不仅能够对近处景物有效去除雾霾，对远处景物去雾的效果更加优于传统偏振去雾算法，图像层次感更强；最后，在去除场景中雾霾的基础上，能够有效地避免天空空白图像过曝的情况，极大地提升图像的视觉效果。
具体实施方式二、本实施方式为具体实施方式一所述的方法的成像系统，该成像系统包括相机单元和图像信息处理单元，其中相机单元包括四个光学参数相同且共光轴的相机和四个偏振方向不同的检偏器，四个相机呈双层立体排布，四个检偏器分别集成在对应的四个相机的镜头内部，且四个相机的输出端与图像信息处理单元的输入端连接；图像信息处理单元获取四个相机拍摄的同一视场下同一目标的四幅偏振图像，并利用偏振图像去雾增强处理算法对四幅偏振图像进行处理，得到目标的去雾增强图像。
本实施方式中，相机单元包括四个采用双层立体排布形式的相机，每层有两个并列排布的相机，并且四个相机的光学参数一致，所有相机均拍摄同一视场下的同一目标；相机单元还包括四个检偏器，每一个相机的镜头内部均集成一个检偏器，并且四个检偏器与入射光偏振方向的夹角不同，例如，四个检偏器与入射光偏振方向的夹角分别为0°、45°、90°和135°。本实施例中的相机单元能够在不损失空间分辨率的情况下实时获取四幅不同的偏振图像，无需旋转检偏器，不会引入机械抖动。
本实施方式中，采用现有标定方法对四相机进行精度标定，即，通过采用基于发光经纬仪的标定平台完成四相机阵列的共光轴标定，标定过程中，通过控制二维导轨的直线运动，首先将发光经纬仪的出瞳分别与四相机的入瞳对准，然后点亮十字丝并分别调节四相机的光轴指向，将十字丝分别成像在四相机探测器的靶面中心，完成四相机光轴的秒级高精度标定，满足后续图像配准要求。为了实现四相机同步曝光触发采集图像，相机具有外触发功能，采用TTL电平，具有trigger IN和OUT接口，用同一个触发信号触发多台相机，即第一台相机使能trigger OUT，其他相机使能trigger IN，从而实现多相机的同步拍摄。
相机单元中的四个相机在同一视场下对同一目标进行同步拍摄，图像信息处理单元获取四个相机拍摄的四幅偏振图像，并利用偏振图像去雾增强处理算法对获取的四幅偏振图像进行处理，得到目标的去雾增强图像。本实施例中图像信息处理单元所采用的偏振图像去雾增强处理算法的实现方法，可以参照上述的偏振图像去雾增强处理算法中描述的实现方法，此处不再赘述。
具体实施方式三、结合图4至图6说明本实施方式，本实施方式为具体实施方式一所述的实时偏振透雾成像图像增强处理方法的实施例：
实验测试环境：采用的计算机硬件及软件环境分别为：处理器(CPU)为处理器为Intel Core i7-4790K，内存为32GB，系统类型Windows 7(64位)，开发环境为MATLABR2017b。
通过四相机共光轴实时偏振透雾成像系统所拍摄的图像如图4所示。
在图4中，首先用现有Y.Y.Schechner等人提出的偏振去雾算法对场景进行处理，处理结果如图4h所示。与原始图像相比，经Y.Y.Schechner算法处理后的图像从视觉上明显得到提升，场景中近处与远处的雾霾都得到一定去除，图像对比度提高，但该算法使天空出现过曝情况，造成图像视觉效果受限。图4i为采用本实施方式一所述的方法处理的结果。
首先，采用具体实施方式一所述的方法能够有效去除雾霾对图像的影响，提高图像对比度。其次，不仅能够对近处景物有效去除雾霾，对远处景物也能体现一定去雾效果，体现出图像层次感。此外，对比图4h和图4i，本发明的方法能够有效避免天空区域过曝的情况，并且细节信息更加丰富。
结合图5说明本实施方式，图5为图4g、图4h和图4i的灰度直方图，灰度直方图能够更加直观的表征去雾霾前后图像特征的变化。由图中度值分布情况明显可得，经本发明的方法处理后的图像灰度直方图分布不再像雾霾天气情况下的强度图像灰度值仅集中于后半段而是整体变宽均匀分布，说明本发明的方法处理所得图像能够有效去除雾霾散射效果，提升了图像对比度，展现了更多的图像细节信息。图5中的(d)、(e)和(f)分别为图4g、图4h和图4i的RGB三通道像素强度统计值，对比发现(f)中像素分布优于原始强度图像，同时相对于传统偏振成像方法也有明显提升，图像的动态范围增大，层次感增强。
结合图6说明本实施方式，为了验证本发明所述的方法的有效性，选取不同的场景进行去雾霾处理，如图6所示。与现有Y.Y.Schechner所提出的偏振去雾算法相比，本发明所述的方法在去除场景中雾霾的基础上，能够有效地避免天空空白图像过曝的情况，极大地提升图像的视觉效果。同时本方法不仅能对近处景物有去雾效果，增强图像细节信息，对远处物体去雾的效果更加优于传统偏振去雾算法，图像层次感更强。
为了对偏振图像去雾增强算法进行客观评价，如表1所示，表1为不同场景去雾结果的客观评价参数。其中，平均梯度用于表征图像的相对清晰度，反映了图像细节微弱反差的变化速率。边缘强度，实质上是边缘点梯度的幅值。对比度指的是一幅图像中明暗差异的测量，差异范围越大代表对比越大，差异范围越小代表对比越小。总体看来，经本发明所述的方法处理后图像的质量显著提升。如对比度较原始强度图像普遍提升了10倍左右，平均梯度提升了4倍，边缘强度提升了3倍左右。说明经本发明所述的方法处理后，图像质量在图像对比度和图像细节的改善、以及清晰度方面有显著提升，且与图像主观评价和分析结果一致。
表1
以上所述实施例仅表达了本发明的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变形和改进，这些都属于本发明的保护范围。因此，本发明专利的保护范围应以所附权利要求为准。
Claims (8)
1.实时偏振透雾成像图像增强处理方法，其特征是，该方法由以下步骤实现：
步骤一、获取偏振图像；采用偏振透雾成像系统获得不同偏振分量图像；
步骤二、对步骤一获得的偏振分量图像进行实时配准；
步骤三、采用先映射后合并的方式对步骤二实时配准后的偏振分量图像进行融合，获得偏振合成图像；具体过程为：
步骤三一、建立输入结构体和输出结构体，每个相机的每个像素均对应一个输入结构体和输出结构体，并将所有相机上的所有像素数据信息赋值到输入结构体数据集中；
步骤三二、在映射过程中，偏振图像被初始化为若干个线程，每个线程执行两个功能，分别是将每个输入结构体的索引信息映射到对应输出结构体的索引信息中和将每个输入结构体的数值信息直接复制到对应的输出结构体中，映射后得到输出结构体数据集；
步骤三三、在合并过程中，采用输出结构体数据集将具有相同输出索引的数据进行合并，并初始化若干个用于计算偏振合成图像的线程，利用最大似然估计方法计算每个像素的物方辐射值；输出偏振合成图像。
2.根据权利要求1所述的实时偏振透雾成像图像增强处理方法，其特征在于，还包括步骤四，采用基于双线性插值的限制对比度自适应直方图均衡算法对步骤三获得的偏振合成图像进行可视化增强处理。
3.根据权利要求2所述的实时偏振透雾成像图像增强处理方法，其特征在于，步骤四的具体过程为：
步骤四一、将偏振合成图像分成若干个区域块，在每个区域块中根据输出直方图分布单独进行对比度增强处理；
步骤四二、利用双线性插值法将对比度增强处理后的偏振合成图像中的相邻区域块进行拼接。
4.根据权利要求1所述的实时偏振透雾成像图像增强处理方法，其特征在于，步骤二中进行实时配准的具体过程为：
利用尺度不变特征变换并行加速算法从偏振图像中提取特征信息，生成特征描述向量；
利用基于层次聚类树的最近邻搜索算法获得初始匹配特征点对，得到初始匹配特征点对集合；
结合概率模型和IPROSAC算法对初始匹配特征点对集合进行提取和空间变换模型参数估计。
5.根据权利要求1所述的实时偏振透雾成像图像增强处理方法，其特征在于，所述输入结构体包括相机中像素的相对坐标、相机序号、像素值、相对照度和曝光时间；输出结构体包括物方空间中的坐标、像素值、相对照度和曝光时间。
6.根据权利要求1所述的实时偏振透雾成像图像增强处理方法，其特征在于，步骤一中，所述偏振透雾成像系统包括相机单元和图像信息处理单元；所述相机单元包括四个光学参数相同且共光轴的相机和四个偏振方向不同的检偏器，四个相机呈双层立体排布，四个检偏器分别集成在对应的四个相机的镜头内部，且四个相机的输出端与图像信息处理单元的输入端连接；图像信息处理单元获取四个相机拍摄的同一视场下同一目标的四幅不同偏振方位角图像并进行处理。
7.根据权利要求6所述的实时偏振透雾成像图像增强处理方法，其特征在于，所述相机单元在使用之前，先进行精度标定，具体标定过程为：
采用基于发光经纬仪的标定平台完成四相机阵列的共光轴标定，标定过程中，通过控制二维导轨的直线运动，首先将发光经纬仪的出瞳分别与四相机的入瞳对准，然后点亮十字丝并分别调节四相机的光轴指向，将十字丝分别成像在四相机探测器的靶面中心，完成四相机光轴的秒级高精度标定。
8.根据权利要求6所述的实时偏振透雾成像图像增强处理方法，其特征在于，所述四个检偏器与入射光偏振方向夹角分别为0°、45°、90°和135°。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910054461.XA CN109886883A (zh) | 2019-01-21 | 2019-01-21 | 实时偏振透雾成像图像增强处理方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910054461.XA CN109886883A (zh) | 2019-01-21 | 2019-01-21 | 实时偏振透雾成像图像增强处理方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN109886883A true CN109886883A (zh) | 2019-06-14 |
Family
ID=66926407
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201910054461.XA Pending CN109886883A (zh) | 2019-01-21 | 2019-01-21 | 实时偏振透雾成像图像增强处理方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN109886883A (zh) |
Cited By (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110929691A (zh) * | 2019-12-11 | 2020-03-27 | 中国科学院长春光学精密机械与物理研究所 | 一种冰层检测方法、装置、设备及可读存储介质 |
| CN112767267A (zh) * | 2021-01-11 | 2021-05-07 | 北京航空航天大学 | 基于仿真偏振带雾场景数据集的图像去雾方法 |
| CN113902633A (zh) * | 2021-09-24 | 2022-01-07 | 中国科学院西安光学精密机械研究所 | 一种基于偏振信息的海面搜救目标强化方法 |
| CN114937067A (zh) * | 2022-06-14 | 2022-08-23 | 陕西师范大学 | 分孔径偏振相机的图像配准方法 |
| CN115035210A (zh) * | 2022-08-10 | 2022-09-09 | 天津恒宇医疗科技有限公司 | 基于偏振多参量融合的ps-oct可视度提升方法及系统 |
| CN116309203A (zh) * | 2023-05-19 | 2023-06-23 | 中国人民解放军国防科技大学 | 一种偏振视觉自适应增强的无人平台运动估计方法和装置 |
| CN117805852A (zh) * | 2024-02-26 | 2024-04-02 | 天津市天开海洋科技有限公司 | 一种基于虚拟照明调制实现水下散射抑制的偏振成像方法 |
| CN118118749A (zh) * | 2024-03-01 | 2024-05-31 | 北京新视纪科技有限公司 | 一种基于关联成像的复眼相机及其像质增强方法 |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106033599A (zh) * | 2015-03-20 | 2016-10-19 | 南京理工大学 | 基于偏振成像的可见光增强方法 |
| US20180005012A1 (en) * | 2014-01-22 | 2018-01-04 | Polaris Sensor Technologies, Inc. | Polarization-Based Detection and Mapping Method and System |
| CN108449554A (zh) * | 2018-04-02 | 2018-08-24 | 北京理工大学 | 一种基于SoC的多源图像配准融合加速系统及控制方法 |
-
2019
- 2019-01-21 CN CN201910054461.XA patent/CN109886883A/zh active Pending
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20180005012A1 (en) * | 2014-01-22 | 2018-01-04 | Polaris Sensor Technologies, Inc. | Polarization-Based Detection and Mapping Method and System |
| CN106033599A (zh) * | 2015-03-20 | 2016-10-19 | 南京理工大学 | 基于偏振成像的可见光增强方法 |
| CN108449554A (zh) * | 2018-04-02 | 2018-08-24 | 北京理工大学 | 一种基于SoC的多源图像配准融合加速系统及控制方法 |
Non-Patent Citations (4)
| Title |
|---|
| QIAN GONG等: "Model-based multiscale gigapixel image formation pipeline on GPU", 《IEEE TRANSACTIONS ON COMPUTATIONAL IMAGING》 * |
| XINHUA WANG等: "Real-Time Vision through Haze Based on Polarization Imaging", 《APPLIED SCIENCES》 * |
| 李欣 等: "彩色偏振成像目标-背景对比度增强方法研究", 《激光与光电子学进展》 * |
| 王新华 等: "多探测器拼接成像系统实时图像配准", 《中国光学》 * |
Cited By (13)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110929691A (zh) * | 2019-12-11 | 2020-03-27 | 中国科学院长春光学精密机械与物理研究所 | 一种冰层检测方法、装置、设备及可读存储介质 |
| CN110929691B (zh) * | 2019-12-11 | 2022-12-06 | 中国科学院长春光学精密机械与物理研究所 | 一种冰层检测方法、装置、设备及可读存储介质 |
| CN112767267B (zh) * | 2021-01-11 | 2022-09-27 | 北京航空航天大学 | 基于仿真偏振带雾场景数据集的图像去雾方法 |
| CN112767267A (zh) * | 2021-01-11 | 2021-05-07 | 北京航空航天大学 | 基于仿真偏振带雾场景数据集的图像去雾方法 |
| CN113902633B (zh) * | 2021-09-24 | 2023-08-18 | 中国科学院西安光学精密机械研究所 | 一种基于偏振信息的海面搜救目标强化方法 |
| CN113902633A (zh) * | 2021-09-24 | 2022-01-07 | 中国科学院西安光学精密机械研究所 | 一种基于偏振信息的海面搜救目标强化方法 |
| CN114937067A (zh) * | 2022-06-14 | 2022-08-23 | 陕西师范大学 | 分孔径偏振相机的图像配准方法 |
| CN114937067B (zh) * | 2022-06-14 | 2023-01-31 | 陕西师范大学 | 分孔径偏振相机的图像配准方法 |
| CN115035210A (zh) * | 2022-08-10 | 2022-09-09 | 天津恒宇医疗科技有限公司 | 基于偏振多参量融合的ps-oct可视度提升方法及系统 |
| CN116309203A (zh) * | 2023-05-19 | 2023-06-23 | 中国人民解放军国防科技大学 | 一种偏振视觉自适应增强的无人平台运动估计方法和装置 |
| CN117805852A (zh) * | 2024-02-26 | 2024-04-02 | 天津市天开海洋科技有限公司 | 一种基于虚拟照明调制实现水下散射抑制的偏振成像方法 |
| CN117805852B (zh) * | 2024-02-26 | 2024-05-10 | 天津市天开海洋科技有限公司 | 一种基于虚拟照明调制实现水下散射抑制的偏振成像方法 |
| CN118118749A (zh) * | 2024-03-01 | 2024-05-31 | 北京新视纪科技有限公司 | 一种基于关联成像的复眼相机及其像质增强方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109886883A (zh) | 实时偏振透雾成像图像增强处理方法 | |
| WO2022042049A1 (zh) | 图像融合方法、图像融合模型的训练方法和装置 | |
| CN104683767B (zh) | 透雾图像生成方法及装置 | |
| CN101422035B (zh) | 光源推定装置、光源推定系统与光源推定方法以及图像高分辨率化装置与图像高分辨率化方法 | |
| CN110428366A (zh) | 图像处理方法和装置、电子设备、计算机可读存储介质 | |
| CN111062905A (zh) | 一种基于显著图增强的红外和可见光融合方法 | |
| JP2022509034A (ja) | ニューラルネットワークを使用した輝点除去 | |
| CN102901489B (zh) | 路面积水积冰检测方法及装置 | |
| CN112288663A (zh) | 一种红外与可见光图像融合方法及系统 | |
| CN110334635A (zh) | 主体追踪方法、装置、电子设备和计算机可读存储介质 | |
| CN106851092B (zh) | 一种红外视频拼接方法和装置 | |
| CN110189375A (zh) | 一种基于单目视觉测量的图像目标识别方法 | |
| CN110163807B (zh) | 一种基于期望亮通道的低照度图像增强方法 | |
| CN109215053A (zh) | 一种无人机航拍视频中含暂停状态的运动车辆检测方法 | |
| CN113160053B (zh) | 一种基于位姿信息的水下视频图像复原与拼接方法 | |
| CN110276831A (zh) | 三维模型的建构方法和装置、设备、计算机可读存储介质 | |
| Swami et al. | Candy: Conditional adversarial networks based fully end-to-end system for single image haze removal | |
| CN111428673B (zh) | 一种用于指纹增强显示的偏振矢量彩色图像融合方法 | |
| Huang et al. | Enhancing object detection in the dark using U-Net based restoration module | |
| CN110378934A (zh) | 主体检测方法、装置、电子设备和计算机可读存储介质 | |
| Al-Zubaidy et al. | Removal of atmospheric particles in poor visibility outdoor images | |
| CN117011181A (zh) | 一种分类引导的无人机成像浓雾去除方法 | |
| CN113487516B (zh) | 一种图像数据的去雾处理方法 | |
| Liu et al. | Research on lane line segmentation algorithm based on deeplabv3 | |
| CN112907454B (zh) | 获取图像的方法、装置、计算机设备和存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20190614 |