CN108053382A - 一种视觉特性去雾稳像探测系统 - Google Patents
一种视觉特性去雾稳像探测系统 Download PDFInfo
- Publication number
- CN108053382A CN108053382A CN201711422363.4A CN201711422363A CN108053382A CN 108053382 A CN108053382 A CN 108053382A CN 201711422363 A CN201711422363 A CN 201711422363A CN 108053382 A CN108053382 A CN 108053382A
- Authority
- CN
- China
- Prior art keywords
- image
- target
- pixel
- surely
- flyback
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 80
- 230000000007 visual effect Effects 0.000 title claims abstract description 33
- 238000012937 correction Methods 0.000 claims abstract description 69
- 230000002708 enhancing effect Effects 0.000 claims abstract description 63
- 230000006870 function Effects 0.000 claims abstract description 32
- 238000004458 analytical method Methods 0.000 claims abstract description 24
- 230000006641 stabilisation Effects 0.000 claims abstract description 10
- 230000010354 integration Effects 0.000 claims abstract description 9
- 238000011105 stabilization Methods 0.000 claims abstract description 8
- 238000001914 filtration Methods 0.000 claims description 82
- 238000000034 method Methods 0.000 claims description 69
- 238000004364 calculation method Methods 0.000 claims description 26
- 238000004891 communication Methods 0.000 claims description 25
- 230000008878 coupling Effects 0.000 claims description 25
- 238000010168 coupling process Methods 0.000 claims description 25
- 238000005859 coupling reaction Methods 0.000 claims description 25
- 230000033001 locomotion Effects 0.000 claims description 25
- 230000001839 systemic circulation Effects 0.000 claims description 24
- NJPPVKZQTLUDBO-UHFFFAOYSA-N novaluron Chemical compound C1=C(Cl)C(OC(F)(F)C(OC(F)(F)F)F)=CC=C1NC(=O)NC(=O)C1=C(F)C=CC=C1F NJPPVKZQTLUDBO-UHFFFAOYSA-N 0.000 claims description 22
- 230000008569 process Effects 0.000 claims description 22
- 238000006073 displacement reaction Methods 0.000 claims description 20
- 230000011218 segmentation Effects 0.000 claims description 20
- 239000002184 metal Substances 0.000 claims description 17
- 230000002457 bidirectional effect Effects 0.000 claims description 15
- 230000004087 circulation Effects 0.000 claims description 12
- 238000012545 processing Methods 0.000 claims description 12
- 230000009466 transformation Effects 0.000 claims description 12
- 238000006243 chemical reaction Methods 0.000 claims description 10
- 238000012360 testing method Methods 0.000 claims description 10
- 230000007774 longterm Effects 0.000 claims description 9
- 230000005540 biological transmission Effects 0.000 claims description 8
- 239000000203 mixture Substances 0.000 claims description 8
- 230000000877 morphologic effect Effects 0.000 claims description 8
- 230000003287 optical effect Effects 0.000 claims description 8
- 230000000694 effects Effects 0.000 claims description 7
- 238000012549 training Methods 0.000 claims description 7
- 230000008859 change Effects 0.000 claims description 6
- 238000013461 design Methods 0.000 claims description 6
- 235000013399 edible fruits Nutrition 0.000 claims description 6
- 238000001228 spectrum Methods 0.000 claims description 6
- 230000003247 decreasing effect Effects 0.000 claims description 5
- 230000005611 electricity Effects 0.000 claims description 5
- 238000009434 installation Methods 0.000 claims description 5
- 239000011159 matrix material Substances 0.000 claims description 5
- 238000013519 translation Methods 0.000 claims description 5
- 239000003595 mist Substances 0.000 claims description 4
- 230000000750 progressive effect Effects 0.000 claims description 4
- 238000012216 screening Methods 0.000 claims description 4
- 230000009471 action Effects 0.000 claims description 3
- 230000004069 differentiation Effects 0.000 claims description 3
- 230000004438 eyesight Effects 0.000 claims description 3
- 230000004927 fusion Effects 0.000 claims description 3
- 239000003292 glue Substances 0.000 claims description 3
- 238000007781 pre-processing Methods 0.000 claims description 3
- 230000004044 response Effects 0.000 claims description 3
- 239000003086 colorant Substances 0.000 claims 2
- 108091006146 Channels Proteins 0.000 description 26
- 238000005070 sampling Methods 0.000 description 8
- 238000005516 engineering process Methods 0.000 description 5
- 239000000284 extract Substances 0.000 description 5
- 230000003321 amplification Effects 0.000 description 3
- 238000000605 extraction Methods 0.000 description 3
- 230000001965 increasing effect Effects 0.000 description 3
- 238000003199 nucleic acid amplification method Methods 0.000 description 3
- PXFBZOLANLWPMH-UHFFFAOYSA-N 16-Epiaffinine Natural products C1C(C2=CC=CC=C2N2)=C2C(=O)CC2C(=CC)CN(C)C1C2CO PXFBZOLANLWPMH-UHFFFAOYSA-N 0.000 description 2
- 230000008901 benefit Effects 0.000 description 2
- 230000015572 biosynthetic process Effects 0.000 description 2
- 238000005352 clarification Methods 0.000 description 2
- 238000005259 measurement Methods 0.000 description 2
- 238000011160 research Methods 0.000 description 2
- 230000008054 signal transmission Effects 0.000 description 2
- 240000002853 Nelumbo nucifera Species 0.000 description 1
- 235000006508 Nelumbo nucifera Nutrition 0.000 description 1
- 235000006510 Nelumbo pentapetala Nutrition 0.000 description 1
- 230000004308 accommodation Effects 0.000 description 1
- 239000000919 ceramic Substances 0.000 description 1
- 229940112822 chewing gum Drugs 0.000 description 1
- 235000015218 chewing gum Nutrition 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 230000007812 deficiency Effects 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 238000013100 final test Methods 0.000 description 1
- 238000011478 gradient descent method Methods 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 238000007689 inspection Methods 0.000 description 1
- 230000005389 magnetism Effects 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 239000000155 melt Substances 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 230000002085 persistent effect Effects 0.000 description 1
- 238000011084 recovery Methods 0.000 description 1
- 238000012106 screening analysis Methods 0.000 description 1
- 230000035807 sensation Effects 0.000 description 1
- 230000003595 spectral effect Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 238000003786 synthesis reaction Methods 0.000 description 1
- 238000004804 winding Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/73—Deblurring; Sharpening
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
- G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2200/00—Indexing scheme for image data processing or generation, in general
- G06T2200/28—Indexing scheme for image data processing or generation, in general involving image processing hardware
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10016—Video; Image sequence
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Multimedia (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Image Processing (AREA)
Abstract
本发明涉及一种视觉特性去雾稳像探测系统，包含以下模块及功能：(1)图像数据输入至雾霾特性分析及增强模块后，通过计算输出得到增强图像和校正参数1；(2)增强图像输入至基于多级参数反馈控制目标探测系统模块，该模块通过检测识别解算出需探测目标的位置，输出目标偏移量和校正参数2；(3)稳像偏移量计算模块将稳像偏移量输出至稳像回扫一体化控制平台；(4)稳像回扫一体化控制平台根据稳像偏移量完成图像稳像功能，并根据校正参数1和校正参数2调整传感器积分时间。本系统实现了基于视觉特性分析的去雾增强、光电机械一体化稳像、检测与跟踪等功能，很好的达到了探测系统清、稳、准的目标，能够嵌入到不同类型的目标探测系统中。
Description
技术领域
本发明涉及一种视觉特性去雾稳像探测系统，属于自动化控制与电子信息学科交叉的领域。
背景技术
目标跟踪是指给出视频某一帧图像中目标的位置，然后算法连续计算出后续帧中目标位置的任务。目前主流测目标跟踪算法之一是基于目标检测的方法，检测常用的方法有帧间差分、背景差分及运动分割等。帧间差分利用帧间的变化实现检测，常用方法有两帧或三帧差分方法。背景差分法使用背景图或通过模型重构背景，与当前帧差分得到运动目标区域，常用方法为混合高斯模型背景建模方法。运动分割方法主要使用光流提取运动矢量，并进行分割。对于帧间差分方法，在运动目标位移较小时，帧间差分无法分割出目标。帧间差分方法无法应对背景同时运动的问题，无法将背景与目标隔离。背景差分方法都无法应对背景运动问题，在背景持续运动时，背景差分方法无法成功构建背景模型，使得差分无法进行。运动分割方法的缺陷在于：光流的计算中会包含较多的噪声，在进行光流的分割时难以将噪声与目标准确地区分开来，导致算法的误警率较高。
在现代机载光电平台中，目标跟踪系统也具有非常重要的作用。传统机载光电平台不具备目标跟踪系统，由人工手动控制光电吊舱的运动，来追踪目标，对目标进行持续观察。现代机载光电平台中，智能目标跟踪系统负责连续给出选定的目标的位置信息，以即时调整光电吊舱的方位、俯仰角度，使目标始终处于视频画面中心，便于使用者观察。现有目标跟踪系统一般先将视频数据传回本地高性能计算机或服务器，然后再进行目标跟踪处理，最后将结果回传。这种处理方式视频数据传输难度大、对硬件计算能力要求高，不能满足实时目标跟踪的要求。现有的一些机载目标跟踪系统通常难以同时处理一路以上图像数据，不满足实时性要求，或在满足实时性要求的情况下，不能保证良好的目标跟踪质量。
此外由于光电吊舱装载在飞行器上，而飞行器飞行过程中受到的风阻力矩、大载荷机动导致的姿态变化、基座发动机造成的振动都会使吊舱中光学仪器的视轴偏离预期的空间惯性指向，从而使光电侦察设备中的光学系统产生抖动，影响成像的清晰度和视觉效果。为了减弱这些影响，必须使用一套稳定系统，采用视轴稳定技术，将载荷中光学系统的视轴与载机的运动和振动相隔离，使视轴保持在固定的惯性空间指向。
另外针对雾霾天气环境的特点，在目标跟踪过程中容易由于雾霾影响其特征而导致跟踪失败，所以如何对雾霾图像的恢复处理和图像增强，也是目前的研究重点。雾霾对大气中不同波段的光传导有不同程度的阻碍衰减作用，在可见光波段，雾霾对近蓝光波段的衰减程度要高于近红光波段，因此对可见光的数字成像带来了不同程度的色偏。现有的处理图像色偏的方法有图像白平衡方法，具体手段有灰度世界法、白点检测法、色温补偿法。灰度世界法假设若图像是在经典光源下拍摄的，其均值就应该等于灰色；若这幅图是在非经典光源下拍摄的，那么均值就会大于或者小于灰色值，而该均值对于灰色的偏离程度则反映了未知光源相对于已知光源的特性。白点检测法基于图像中存在白点或白色区域的假设，根据白色区域的色偏在色彩变换空间下进行修正，但对于雾霾情况常会误将景物最远部分检测为白点，导致色偏误检。色温补偿法是假设图像在特定的常见场景下拍摄的，比如日光、阴天、阴影、室内、钨丝灯、白炽灯、荧光灯、闪光灯等等，对每种场景预设特定的色温补偿参数在变换域下对图像颜色进行修正，但对于雾霾由于成因和浓度不确定，该方法通常不涵盖。这几种方法都没有针对雾霾这种光传导特性做出专门的处理，处理后的图像存在或多或少的失真，影响进一步的增强处理。
发明内容
本发明技术解决问题：克服现有技术的不足，提供一种视觉特性去雾稳像探测系统，在高性能多核DSP芯片上实现，是一种集成了去雾增强、图像稳像、目标检测与跟踪等功能的综合任务执行平台系统，能够方便的运用到各种目标探测解决方案中。
本发明技术解决方案：一种视觉特性去雾稳像探测系统，包括：雾霾特性分析及增强模块、基于多级参数反馈控制的目标探测系统模块、稳像偏移量计算模块和稳像回扫一体化控制平台；
系统输入为前端传感器采集的原始图像数据，原始图像数据首先输入至雾霾特性分析及增强模块，雾霾特性分析及增强模块对图像数据进行滤波器计算，完成在线去雾霾色偏自修正的上下界支撑图像增强，得到去雾增强后的图像传输给基于多级参数反馈控制的目标探测系统模块；另外雾霾特性分析及增强模块根据原始图像和去雾增强后的图像计算均方差信噪比，作为校正参数1输入给稳像回扫一体化控制平台；
基于多级参数反馈控制的目标探测系统模块，首先由带通滤波目标检测子模块对去雾增强后的图像预处理后计算得到峰值信噪比，作为校正参数2输入给稳像回扫一体化控制平台，再进行多次带通滤波得到带通滤波结果，之后对带通滤波结果进行分割，对分割结果进行形态学处理，剔除噪声影响点对形态学处理后的结果进行聚类，对聚类结果根据已知特性筛选出检测结果，输出至目标跟踪子模块；目标跟踪功能是根据接收包含检测结果的图像数据进行目标跟踪运算，采用的算法是基于校正参数的前馈组合决策视觉目标跟踪算法，能够自动解算图像中指定目标的位置偏移量，利用数据通信模块输出给外部上位机，实现对目标的长期稳定跟踪。
稳像偏移量计算模块主要功能是对输入的相邻两帧图像进行预处理后，得到灰度图像，使用相位相关法进行配准，对全局运动状况进行估计，计算得到整体的环境偏移分量。该环境偏移分量的产生是由于外界环境对图像稳像回扫一体化控制平台的各种抖动影响，所造成的相邻两帧图像出现的偏移量，因此将其作为稳像偏移量输出给控制平台。
稳像回扫一体化控制平台，一方面是利用输入的校正参数1和校正参数2，计算得到传感器回扫时间偏移量，在信噪比较小的情况下增加回扫时间，提高目标的信噪比。通过控制万向铰链对传感器进行回扫控制，即在主要运动方向中插入固定步长的反方向回扫动作，从而延长传感器对同一像素的积分时间，有效提高目标信噪比。另一方面是根据稳像偏移量计算模块的稳像偏移量输出，转换成模拟电信号叠加上音圈电机的驱动信号上引起反射镜转动，通过控制反射镜的转角调整成像的视轴位移，完成传感器的位移调整，保证传感器采集的图像稳定，实现对目标的长期稳定跟踪监视。
1.雾霾特性分析及增强模块如图2所示，其结构包括色偏估计器、上下界支撑去雾增强滤波器和校正增强器三部分：
针对雾霾影响的成像图像，利用色偏估计器构建去雾模型，具体解算过程如下：
(1)首先统计图像中心以长宽各四分之三所包含的区域的各像素点颜色通道的亮度幂次方值。设某像素点为(i,j)，则其颜色通道的亮度幂次方值表示为：
(2)采取八倍降采样并线性求和，得到R、G、B颜色通道分量的累计值：
(3)根据受雾霾影响的图像先验知识，假定有雾霾的图像区域呈现偏黄，会导致R颜色通道分量和G颜色通道的高亮区域高于蓝色通道的高亮区域，这种情况下SR和SG高于SB，则以B颜色通道分量的累计值作为基准值，计算其他颜色通道分量与其的比值，最终得到含雾霾图像的色偏修正估计值。用该值对图像进行均衡化校正后，输出至上下界支撑去雾增强滤波器。
上下界支撑去雾增强滤波器采用上下界保边滤波估计器，建立一种上下界支撑估计计算模型，对输入图像分别计算上界值和下界值的双向迭代保边滤波，得到上支撑曲面和下支撑曲面，作为上下界保边滤波估计值，具体解算过程如下：
(1)首先计算估计图像中的上界，使用双向迭代滤波器BRF(*)计算图像I1的保边平滑后的结果，定义为R′,其中R′＝BRF(I1)；
(2)取R′和I1中的对应像素的较大值，记作RU，对RU做双向迭代滤波，得到上界BU；
(3)取R′和I1中的对应像素的较小值，记作RL，对RL做双向迭代滤波，得到下界BL；
(4)设定裕量常数矩阵λ0*E，E为全一矩阵，λ0为裕量常数，定义图像像素值范围为0到255的整数；计算上界支撑曲面为BU+E构成的面SU；计算下界为支撑曲面为BU-E构成的面SL；
其中迭代保边滤波器记作BRF(I1)，其中I1为输入图像，计算步骤为：
(1)启动垂直方向大循环第1行到第M行，令每一行的第一个中间量F1(1,j)像素值等于输入图像I1(1,j)第一个像素值，其中j为图像像素纵坐标；
(2)内嵌正向循环执行，每一行第1个像素到第M-1个像素逐个递增计算中间量,计算F1(i+1,j)的值：
F1(i+1,j)＝α*I1(i+1,j)+(1-α)*F1(i,j)
(3)内嵌反向循环执行，每一行的第M个像素到第2个像素逐个递减计算中间量F1(i-1,j)的值，其中i为图像像素横坐标，计算：
F1(i-1,j)＝α*I1(i-1,j)+(1-α)*F1(i,j)
(4)结束垂直方向大循环j迭代，启动水平方向大循环，逐列计算第1列到第M列，令每一列的第一个中间量F1(i,1)像素值等于输入图像I1(i,1)第一个像素值；
(5)内嵌正向循环执行，每一列的第1个像素到第N-1个像素逐个递增计算中间量F1(i,j+1)的值：
F1(i,j+1)＝α*I1(i,j+1)+(1-α)*F1(i,j)
(6)内嵌反向循环执行每一列的第N个像素到第2个像素逐个递减计算中间量F1(i,j-1)：
F1(i,j-1)＝α*I1(i,j-1)+(1-α)*F1(i,j)
(7)结束水平方向大循环i迭代，得到第一级对输入图像I1滤波结果中间量F1；
(8)启动垂直方向大循环，逐列计算第1列到第M列，令每一行的第一个新的中间量F2(1,j)像素值等于输入图像I1(1,j)第一个像素值：
F2(1,j)＝I1(1,j)
(9)内嵌正向循环执行，每一行的第1个像素到第M-1个像素逐个递增计算中间量F2(i+1,j)：
F2(i+1,j)＝β*I1(i+1,j)+(1-β)*F2(i,j)
(10)内嵌反向循环执行，每一行的第M个像素到第2个像素逐个递增计算中间量F2(i-1,j)：
F2(i-1,j)＝β*I1(i-1,j)+(1-β)*F2(i,j)
(11)结束垂直方向大循环，启动水平方向大循环，逐列计算第1列到第M列，令每一列的第一个中间量F2(i,1)像素值等于输入图像I1(i,1)第一个像素值；
(12)内嵌正向循环执行，每一列的第1个像素到第N-1个像素逐个递增计算中间量F1(i,j+1)，计算：
β＝γ*exp(μ*abs(F1(i,j+1)-F1(i,j)))
F2(i,j+1)＝β*I1(i,j+1)+(1-β)*F2(i,j)
(13)内嵌反向循环执行，每一列的第N个像素到第2个像素逐个递增计算中间量F1(i,j-1)，其中i为图像像素横坐标，j为图像像素纵坐标，计算：
β＝γ*exp(μ*abs(F1(i,j)-F1(i,j-1)))
F2(i-1,j)＝β*I(i,j-1)+(1-β)*F2(i,j)
(14)结束水平方向大循环i迭代,得到第二级对输入图像I1滤波结果中间量结果F2；
(15)最终输出BRF(I1)＝F2；
其中α和γ和μ为调节滤波平滑和保边力度的系数，其中0＜α＜1。
通过上述步骤计算得到的上下界支撑曲面作为上下界估计值输出至校正增强器中中。校正增强器包含帧间参数稳定器和裕量常数均衡化校正器，帧间参数稳定滤波器根据滤波估计器的上下界保边滤波估计值和裕量常数均衡化校正器得到的调节参数，得到稳定连续变化的帧间调节参数：
(1)首先分别处理图像的红绿蓝三色通道，红色通道各像素亮度值乘以色偏修正值T1，绿色通道各像素亮度值乘以色偏修正值T2；
(2)色彩修正后的三通道各个像素值减去下界支撑曲面对应值，除以上界支撑曲面与下界支撑曲面的差，得到根据上下界支撑拉伸后的图像；
(3)拉伸后得到的新的图像直方图95％的灰阶范围上限值T3和下限值T4均衡化至0到255，对均衡化后的图像做平均，得到平均值T5，各像素值减去平均值再加128，截取图像值为0到255之间的整数，均衡化过程的变换向量为T3、T4、T5；
(4)得到单一帧图像的增强的修正参数组合T1、T2、T3、T4、T5；
(5)再利用该参数对连续帧图像计算修正参数组合T1、T2、T3、T4、T5滤波，对相邻两次的对应值做低通迭代滤波，即可得到稳定连续变化的帧间调节参数；
(6)将该参数代入到均衡化各通道亮度修正过程中，将图像像素值从上下界范围拉伸到图像输出的值域范围，完成在线去雾霾色偏自修正的上下界支撑图像增强得到增强后的图像I2；
(7)根据原始图像和增强图像计算均方差信噪比。原始图像为I0，增强后的图像为I2，由于增强图像可以对原图中的噪声进行放大，并与原始图像所有像素点灰度分布基本一致，所以可以根据原始图像和增强图像计算彩色图像的均方差信噪比：
其中i、m为图像像素横坐标，j、n为图像像素纵坐标，把λ1作为校正参数1输入给稳像回扫一体化控制平台。
2.基于多级参数反馈控制的目标探测系统模块如图3所示，其结构包含两个子模块，一个是带通滤波显著性目标检测子模块，另一个是目标跟踪子模块。
带通滤波显著性目标检测子模块使用基于图像带通滤波的显著目标检测方法，具体解算步骤如下：
(1)对去雾增强后图像进行预处理，将所述原始图像进行灰度化，得到灰度图像，再将图像变倍到设定尺寸，并进行浮点转换；
(2)利用所得到的浮点图像计算峰值信噪比，作为校正参数2输入给稳像回扫一体化控制平台；
(3)对浮点图像使用IIR滤波器进行正反两次滤波操作，并分别对水平方向及竖直方向进行，得到带通滤波结果；
(4)对带通滤波结果使用固定阈值进行二值分割；
(5)对所述分割结果进行形态学处理，剔除噪声影响点；
(6)使用广度优先算法对形态学处理后的结果进行聚类，逐行扫描图像，将未被分类的且分割结果为1的点作为种子点，使用4邻域区域生长法进行广度优先搜索聚类，将聚类点标记为已分类点，并继续扫描，最终得到聚类结果；
(7)对聚类结果依据目标先验知识进行筛选，在筛选处理中，依据已知的特性进行筛选，并得到检测结果，输入给目标跟踪子模块。
所述步骤(1)中，如果所述图像为彩色图像，先进行灰度化，得到灰度图像，再将图像变倍到设定尺寸，并进行浮点转换，得到浮点图像。
所述步骤(2)中，对浮点图像计算峰值信噪比，设灰度图像为I3，经过浮点转换后浮点图像设为I4，则峰值信噪比计算公式为：
其中i、m为图像像素横坐标，j、n为图像像素纵坐标，MAXI3表示在灰度图像所有像素点中灰度最大值。
所述步骤(3)中，使用数字IIR滤波器进行带通滤波，带通滤波器由两个低通滤波器差分得到，数字IIR低通滤波器由正反两次滤波操作构成，并分别对水平方向及竖直方向进行。对浮点图像进行第一次带通滤波后再对滤波结果进行第二次带通滤波，得到带通滤波结果。第一次带通滤波参数a的值分别为0.6与0.2，第二次带通滤波参数a的值分别为0.3与0.1，可根据实际应用场景进行调整。
所述步骤(4)中使用固定阈值进行二值分割。固定阈值为1.0，可根据实际应用场景进行调整。
所述步骤(6)，使用广度优先算法进行聚类，逐行扫描图像，将未被分类的且分割结果为1的点作为种子点，使用4邻域区域生长法进行广度优先搜索聚类，将聚类点标记为已分类点，并继续扫描，最终得到聚类结果。
所述步骤(7)中，已知的特性包括：目标大小、目标长宽比，所述已知的特性可根据实际应用场景进行调整。
其模块的主要功能是使用基于图像带通滤波的显著目标检测方法，将去雾增强后图像中的显著目标检测出来，得到检测结果，作为目标跟踪子模块的输入量。
目标跟踪子模块包含数据通信和目标跟踪解算两部分。
(1)数据通信部分包括串口通信芯片、FPGA芯片中实现的数据通信程序和DSP芯片中实现的数据通信程序，串口通信芯片完成单端信号与差分信号之前的转换，将FPGA发出的单端信号转为差分信号发送，或将收到的差分信号转为单端信号传输给FPGA，FPGA中实现的数据通信程序有两个功能，一是与系统外部的串口通信，包括解析接收到的指令和编码发送输出信息，二是FPGA与DSP之间的高速数据交互，包括图像数据的实时传输和目标跟踪结果的传输。
(2)目标跟踪解算部分包括多核DSP芯片及其中实现的目标跟踪程序，根据从雾霾特性分析及增强模块接收到的增强图像数据和指令信息进行目标跟踪运算，自动解算图像中指定目标的位置偏移量，传输给数据通信输出；为实时完成指令响应、数据通信与目标跟踪等工作，多核DSP芯片上同时运行着目标跟踪及系统控制两个子任务，其中0～K-1核完成目标跟踪任务，最后一个K核完成系统控制任务，所述目标跟踪算法采用基于红外与可见光图像的组合决策视觉目标跟踪算法，针对可见光图像与红外图像分别构建决策模型，判定所采集的样本是目标或是背景，解算目标位置，单一模型判断错误造成跟踪失败的概率较大，采用两个决策模型进行组合决策能够大幅降低跟踪失败的概率，实现稳定准确的目标跟踪，针对多核DSP芯片具有多个独立内核的结构特点，对需要同时运行的不同任务并行优化，实现了稳定准确的实时目标跟踪，目标跟踪的结果为偏移量输出。
所述基于红外与可见光图像的组合决策视觉目标跟踪算法步骤如下：
(1)根据目标初始位置，及初始红外图像数据与可见光图像数据，采集初始红外图像数据与可见光图像数据中的目标图像块作为正负训练样本，提取样本特征，分别构建决策模型Dv、Dir；
(2)接收到新一帧的红外图像数据与可见光图像数据后，从目标在上一帧中位置周围采集候选样本，利用决策模型判断候选样本是否为目标，确定新一帧中目标位置；
(3)根据损失函数确定哪一决策模型给出的结果为最优决策结果，组合两个决策模型的判别结果，得到最终输出结果，并利用最优结果修正给出次优结果的决策模型，消除产生次优结果的决策模型中的错误信息，使产生次优结果的决策模型能够在后续目标跟踪过程中给出更准确的目标跟踪结果，提升算法鲁棒性。
上述所述步骤(1)～(3)进一步实现如下：
1)在提取样本特征时，将样本图像块分割成不重叠的小区域，分别根据梯度方向统计区域内像素点处的梯度幅值，组成一个27位的原始特征向量L，之后采用下式计算标准化算子，然后对L进行标准化处理，得到的标准化算子J(i,j)：
J(i,j)＝(||L(i,j)||2+||L(i+1,j)||2+||L(i-1,j)||2+||L(i,j+1)||2+||L(i,j-1)||2)2
其中L(i,j)为点(i,j)的图像区域特征向量，采用以下公式进行标准化处理，得到最终的特征向量O(i,j)，每一个图像块的特征向量共同组成目标的特征表示矩阵ψ：
O(i,j)＝max(ξ,L(i,j)/J(i,j))
其中ξ为一个截取项，用于消除特征矩阵中值过大的噪声项，使得提取到的图像特征能够更鲁棒的表示目标；
2)采集初始目标图像块，采用缩放、旋转、平移、翻转、仿射变换方式，生成一批目标图像正样本，记为Tp，同时在图像的背景区域随机提取一些与目标图像重合较少或者不重合的图像块，作为负样本Tn；利用多种变换得到的正样本进行训练，极大的增强了决策模型对相应变换的鲁棒性；
3)在新一帧图像中，从目标上一帧位置周围随机采样，得到一批候选样本，均匀采样得到一批候选样本，共同组成候选目标样本，随机采样可以增加跟踪算法对于目标随机快速运动的鲁棒性，均匀采样可保证目标向任意方向运动后，仍能够被准确的捕捉到；
4)针对可见光图像和红外图像，分别构建决策模型Dv、Dir：
其中θv、θir为模型参数，κ为样本的特征。每一帧中，计算得到两个结果，分别记为Rv，Rir：
根据损失函数确定哪一决策给出的结果为最优决策结果，作为输出，同时用最优决策结果去修正产生次优结果的决策模型，使产生次有结果的决策模型在后续帧中能有更好的表现；每个决策结果在后续每帧中，都能够计算得到一个损失函数为提升判断的准确性，采用累积损失函数，判断最优决策结果：
其中为模型D的损失函数，这里D∈Dv,Dir，D*为最优决策模型，Δn为累积损失函数的时间长度；在目标跟踪过程中，组合两个决策模型的决策结果，选择其中最优结果作为输出，并利用最优结果，修正更新次优决策模型，纠正次优决策模型运行过程中引用的错误信息，两个决策模型相互协作、互相修正，实现稳定准确的目标跟踪。
(1)根据目标初始位置，及初始红外与可见光图像数据，采集正负训练样本，提取样本特征，分别构建决策模型Dv、Dir；
(2)接收到新一帧的图像数据后，从目标在上一帧中位置周围采集候选样本，使用决策模型判断样本是否目标，确定新一帧中目标位置；
(3)组合两个决策模型的判别结果，得到最终输出结果，并利用最优结果修正给出次优结果的决策模型，提升算法鲁棒性。
3.稳像偏移量计算模块是为控制平台提供一个稳像偏移量，其值是利用相邻帧图像配准后得到的全局偏移分量计算得出的，具体实现如下：
(1)对输入的相邻两帧图像，分别设为fn和fn+1，对其进行预处理，得到灰度图像：
(2)对相邻的两幅灰度图像进行傅里叶变换：
(3)计算两幅图像傅里叶变换的互功率谱；
(4)对互功率谱进行傅里叶反变换，即可在(x0,y0)点得到一个尖峰。只需找到这个尖峰，即可得到两幅图像间粗匹配的结果。将此作为图像整体的偏移分量；
尖峰值说明是两幅图像配准所有结果中响应最大的结果，出现在(x0,y0)处是因为fn+1图像是fn图像平移(x0,y0)得到的。这个平移量的产生是由于外界环境对图像稳像回扫一体化控制平台的各种抖动影响，所造成的相邻两帧图像出现的偏移量，因此将其作为稳像偏移量输出给控制平台。
4.稳像回扫一体化控制平台如图4所示，控制平台的输入是雾霾特性分析及增强模块计算的校正参数1、基于多级参数反馈控制的目标探测系统模块计算的校正参数2、稳像偏移量计算模块计算的稳定偏移量。稳像回扫一体化控制平台结构包括反射镜；线圈与永磁体组成的驱动部分；转角反馈部分；十字形连接件、金属轴、T形连接件、梯形连接件组成的万向铰链；基座及连接螺钉组成的框架部分。装置基座将固连在光电吊舱上，万向铰链包括十字形连接件、金属轴和两个T形连接件和两个梯形连接件，其中十字形连接件通过其中一轴上的圆柱与两个T形连接件相连，金属轴分别穿过十字连接件和梯形连接件上的孔，组成万向铰链；使用螺钉将梯形连接件与基座相连，同时T形连接件与反射镜背面的机械接口胶合，使万向铰链分别连接基座与反射镜，反射镜可以通过绕万向铰链的两轴做扭转运动完成相对于基座的任意方向转动；安装完成后定义万向铰链两正交轴分别为光电吊舱稳像回扫一体化控制装置X轴与Y轴；驱动部分包括四台摆动音圈电机及音圈电机驱动器，音圈电机由线圈与永磁体组成，永磁体穿过线圈，线圈通电时产生磁场，使永磁体在磁场中受力摆动，进而带动反射镜偏转；音圈电机两两一组，每组音圈电机呈对称布置，对称平面垂直于反射镜平面且过反射镜中点，两组音圈电机连线均与光电吊舱稳像回扫一体化控制平台的X轴夹角22.5°；安装时其线圈部分与基座通过螺钉相连，永磁体与反射镜胶合；转角反馈部分由四台位移传感器与底座胶合于音圈电机永磁体正下方；装置工作时，每组音圈电机中的两台电机摆动方向相反，两组音圈电机可以同时控制反射镜以两个夹22.5°角的轴转动，在万向铰链的约束下，反射镜的旋转中心始终保持在一点，即装置十字形连接件的中心，反射镜的转角测量由转角反馈部分的位移传感器完成，通过测量四台音圈电机永磁体下端到基座平面的相对距离，从而得到四个永磁体上端与反射镜的固连点的位置，解算得到反射镜的实时转角，完成反射镜的稳相控制。还包括环形轴套与紧固螺钉，用于完成万向铰链部分的金属轴的轴向定位，环形轴套安装于金属轴两端，通过螺钉紧固于金属轴上，装置工作时，轴套和紧固螺钉将保证金属轴不脱出。
在动态工作过程中，一方面利用输入的校正参数1和校正参数2，计算得到传感器回扫时间偏移量，在信噪比越小的情况下回扫时间偏移量越长。设校正系数1为λ1，校正系数2为λ2，则具体计算形式为：
其中ε为线性融合系数，其值大小为0.5，Δt为传感器回扫时间偏移增加量。设t0为上一个状态传感器回扫时间偏移量，则当前状态下传感器回扫的时间偏移量t为：
t＝(1+Δt)t0
根据所求得的时间偏移量t，通过控制万向铰链的两正交轴相对于基座X轴与Y轴的相对运动方向，完成对传感器进行回扫控制。即在主要运动方向中插入固定步长的反方向回扫动作，回扫固定步长为10个像素，每次回扫动作持续时间即为时间偏移量t，从而延长传感器对同一像素的积分时间，有效提高目标信噪比。
动态工作中的另一个方面是根据稳像偏移量计算模块的稳像偏移量输出(e0,q0)，e0、q0分别代表图像水平方向和垂直方向上的位移量。将其转换成模拟电信号叠加上音圈电机的驱动信号上引起反射镜转动，通过控制反射镜的转角调整成像的视轴位移，完成传感器的位移调整，保证传感器采集的图像稳定。
在这两个功能的综合控制下，即可实现整个稳像系统对目标的长期稳定跟踪监视。
本发明与现有技术相比的优点在于：
(1)本发明实现了基于视觉特性分析的去雾增强、光电机械一体化稳像、检测与跟踪等功能，很好的达到了探测系统清、稳、准的目标，能够嵌入到不同类型的目标探测系统中。与现有技术相比，现有技术无法在受雾霾影响或外部抖动的情况下保持一定精度的检测跟踪目标的效果。本发明的优点是首次在一个综合平台上集成了去雾增强、图像稳像、检测与跟踪等众多功能，其中包含多项自主研发技术。这是由于本发明的技术方案中采用了雾霾特性分析及增强模块、基于多级参数反馈控制的目标探测系统模块、稳像偏移量计算模块、稳像回扫一体化控制平台等多模块搭建，形成一个功能性广、普适性强、精确率高的一体化系统；
(2)本发明中雾霾特性分析及增强模块采用基于雾霾色偏自修正的上下界支撑图像增强方法，该方法利用独创的双向迭代滤波器估计上下界支撑曲面，利用上下界曲面对图像进行去雾霾增强处理，实现对输入雾霾图像的在线增强。对比现有去雾霾增强方法，解决了黄色雾霾下处理后图像严重偏色问题，解决了现有单一的去雾方法没有增强效果的问题，改善了连续视频图像去雾霾增强稳定和实时的问题，综合提高了图像增强方法的工程应用价值。
(3)本发明中基于多级参数反馈控制的目标探测系统模块采用基于红外与可见光图像的组合决策视觉目标跟踪算法，基于红外与可见光图像，构建了两个决策模型，来进行目标跟踪。通过组合决策确定最终目标跟踪结果。红外图像与可见光图像在不同场景中有各自的优势和劣势，通过组合决策，算法能够在丰富的场景中准确的跟踪目标，同时每一帧运算过程中，可以利用最优结果修正产生次优结果的决策模型，使算法在运行过程中具有良好的鲁棒性，能够稳定准确的进行目标跟踪。
(4)本发明中稳像偏移量计算模块采用基于帧间匹配的方法，有效结合了运动分割及先匹配后差分的方法，解决了传统帧间差分方法无法应对动态背景的问题，其匹配精度高，且在处理点时排除了前景上的特征点，使得计算得到的变换模型是真实可靠的背景变换模型。
(5)本发明中稳像回扫一体化控制平台采用音圈电机驱动反射镜，较以压电陶瓷为驱动方式的稳像系统转角更大，并且结构较为简单，较一般二维电调视轴稳定系统重量显著减轻，音圈电机采用非均布布置，使得采用同种电机时反射镜绕装置Y轴的转角增大，最大转角为10°。
附图说明
图1为本发明系统组成框图；
图2为本发明中雾霾特性分析及增强模块结构图；
图3为本发明中基于多级参数反馈控制的目标探测系统模块结构图；
图4为本发明中稳像回扫一体化控制平台结构图；
图5为本发明利用雾霾特性分析及增强模块去雾增强后的效果图；(a)原始有雾图像(b)上界估计值，(c)下界估计值，(d)去雾霾增强输出；
图6为本发明中带通滤波显著性目标检测子模块的流程图；
图7为本发明中目标跟踪子模块的流程图；
图8为本发明利用基于多级参数反馈控制的目标探测系统模块对目标检测跟踪的效果图；
图9为本发明稳像偏移量计算模块对输入图像配准的效果图；(a)原始图像(b)配准图像；
图10为本发明中稳像回扫一体化控制平台的结构图。
具体实施方式
如图1所示，本发明系统输入为前端传感器采集的图像数据，图像数据首先输入至雾霾特性分析及增强模块。雾霾特性分析及增强模块使用色偏估计器，针对雾霾影响的成像图像，构建去雾的色偏估计模型对雾霾影响情况进行色偏估计，得到修正估计值。用该值对图像进行均衡化校正，输出至上下界支撑去雾增强滤波器。该滤波器采用上下界保边滤波估计器，对输入的校正图像计算上界值和下界值的双向迭代保边滤波，根据滤波结果对图像深化校正，再利用帧间参数稳定滤波器进行平滑处理，最终得到去雾增强后色彩自然、全局亮度均衡的图像输出，传输给基于多级参数反馈控制的目标探测系统模块。另外根据原始图像和增强图像计算均方差信噪比，作为校正参数1输入给稳像回扫一体化控制平台。
系统中的基于多级参数反馈控制的目标探测系统模块包含两部分，一个是带通滤波显著性目标检测子模块，另一个是目标跟踪子模块。带通滤波目标检测子模块对增强后的图像预处理后计算得到峰值信噪比，再进行多次带通滤波，作为校正参数2输入给稳像回扫一体化控制平台。此外对带通滤波结果使用阈值分割、形态学处理和聚类等一系列处理，根据已知特性筛选出检测结果，输出至目标跟踪子模块。目标跟踪子模块根据前后反馈融合多种特征的多级自学习算法，自动解算图像中指定目标的位置偏移量，并传输给数据通信模块输出给上位机，完成对目标的长期稳定跟踪。
稳像偏移量计算模块对图像进行预处理后，再将图像转换为灰度图像，利用相位相关法进行配准，计算整体偏移量，作为稳像偏移量输出至稳像回扫一体化控制平台。
稳像回扫一体化控制平台一方面利用输入的校正参数1和校正参数2，计算得到传感器回扫时间偏移量，在信噪比越小的情况下回扫时间偏移量越长，延长传感器对同一像素的采集和积分次数，有效解决图像模糊问题。另一方面根据稳像偏移量实时调节传感器位移，克服因外部抖动造成的光轴聚像模糊问题。这两方面综合即可实现稳定图像功能，保证对目标的长期稳定跟踪。
如图5所示，这是对一幅原始有雾图像I0，通过计算估计值后对图像实现增强效果。雾霾特性分析及增强模块主要包括色偏估计器、上下界支撑去雾增强滤波器和校正增强器三部分：
针对雾霾影响的成像图像，利用色偏估计构建去雾模型：
(1)首先统计图像中心以长宽各四分之三所包含的区域的各像素点颜色通道的亮度幂次方值。设某像素点为(i,j)，则其颜色通道的亮度幂次方值表示为：
CR(i,j)k CG(i,j)k CB(i,j)k
其中CR(i,j)、CG(i,j)、CB(i,j)分别表示该像素点在R、G、B颜色通道的亮度值，k表示幂次方值；
(2)采取八倍降采样并线性求和，得到R、G、B颜色通道分量的累计值：
其中SR、SG、SB分别表示该像素点在R、G、B颜色通道的累计值，He和Wi分别表示图像的高和宽；
(3)根据受雾霾影响的图像先验知识，假定有雾霾的图像区域呈现偏黄，会导致R颜色通道分量和G颜色通道的高亮区域高于蓝色通道的高亮区域，这种情况下SR和SG高于SB，则以B颜色通道分量的累计值作为基准值，计算其他颜色通道分量与其的比值，最终得到含雾霾图像的色偏修正估计值。用该值对图像进行均衡化校正后，设均衡化校正后的图像表示为I1，输出至上下界支撑去雾增强滤波器。
上下界支撑去雾增强滤波器采用上下界保边滤波估计器，建立一种上下界支撑估计计算模型，对输入图像I1分别计算上界值和下界值的双向迭代保边滤波，得到上支撑曲面和下支撑曲面，作为上下界保边滤波估计值，具体解算过程如下：
(1)首先计算估计图像中的上界，使用双向迭代滤波器BRF(*)计算图像I1的保边平滑后的结果，定义为R′,其中R′＝BRF(I1)；
(2)取R′和I1中的对应像素的较大值，记作RU，对RU做双向迭代滤波，得到上界BU；
(3)取R′和I1中的对应像素的较小值，记作RL，对RL做双向迭代滤波，得到下界BL；
(4)设定裕量常数矩阵λ0*E，E为全一矩阵，λ0为裕量常数，定义图像像素值范围为0到255的整数；计算上界支撑曲面为BU+E构成的面SU；计算下界为支撑曲面为BU-E构成的面SL；
其中迭代保边滤波器记作BRF(I1)，其中I1为输入图像，计算步骤为：
(1)启动垂直方向大循环第1行到第M行，令每一行的第一个中间量F1(1,j)像素值等于输入图像I1(1,j)第一个像素值，其中j为图像像素纵坐标；
(2)内嵌正向循环执行，每一行第1个像素到第M-1个像素逐个递增计算中间量,计算F1(i+1,j)的值，其中i为图像像素横坐标，j为图像像素纵坐标：
F1(i+1,j)＝α*I1(i+1,j)+(1-α)*F1(i,j)
(3)内嵌反向循环执行，每一行的第M个像素到第2个像素逐个递减计算中间量F1(i-1,j)的值，其中i为图像像素横坐标，j为图像像素纵坐标，计算
F1(i-1,j)＝α*I1(i-1,j)+(1-α)*F1(i,j)
(4)结束垂直方向大循环j迭代，启动水平方向大循环，逐列计算第1列到第M列，令每一列的第一个中间量F1(i,1)像素值等于输入图像I1(i,1)第一个像素值，其中i为图像像素横坐标；
(5)内嵌正向循环执行，每一列的第1个像素到第N-1个像素逐个递增计算中间量F1(i,j+1)的值，其中i为图像像素横坐标，j为图像像素纵坐标：
F1(i,j+1)＝α*I1(i,j+1)+(1-α)*F1(i,j)
(6)内嵌反向循环执行每一列的第N个像素到第2个像素逐个递减计算中间量F1(i,j-1)，其中其中i为图像像素横坐标，j为图像像素纵坐标：
F1(i,j-1)＝α*I1(i,j-1)+(1-α)*F1(i,j)
(7)结束水平方向大循环i迭代，得到第一级对输入图像I1滤波结果中间量F1；
(8)启动垂直方向大循环，逐列计算第1列到第M列，令每一行的第一个新的中间量F2(1,j)像素值等于输入图像I1(1,j)第一个像素值，其中j为图像像素纵坐标：
F2(1,j)＝I1(1,j)
(9)内嵌正向循环执行，每一行的第1个像素到第M-1个像素逐个递增计算中间量F2(i+1,j)，其中i为图像像素横坐标，j为图像像素纵坐标：
F2(i+1,j)＝β*I1(i+1,j)+(1-β)*F2(i,j)
(10)内嵌反向循环执行，每一行的第M个像素到第2个像素逐个递增计算中间量F2(i-1,j)，其中i为图像像素横坐标，j为图像像素纵坐标：
F2(i-1,j)＝β*I1(i-1,j)+(1-β)*F2(i,j)
(11)结束垂直方向大循环，启动水平方向大循环，逐列计算第1列到第M列，令每一列的第一个中间量F2(i,1)像素值等于输入图像I1(i,1)第一个像素值，其中i为图像像素横坐标；
(12)内嵌正向循环执行，每一列的第1个像素到第N-1个像素逐个递增计算中间量F1(i,j+1)，其中i为图像像素横坐标，j为图像像素纵坐标，计算：
β＝γ*exp(μ*abs(F1(i,j+1)-F1(i,j)))
F2(i,j+1)＝β*I1(i,j+1)+(1-β)*F2(i,j)
(13)内嵌反向循环执行，每一列的第N个像素到第2个像素逐个递增计算中间量F1(i,j-1)，其中i为图像像素横坐标，j为图像像素纵坐标，计算：
β＝γ*exp(μ*abs(F1(i,j)-F1(i,j-1)))
F2(i-1,j)＝β*I(i,j-1)+(1-β)*F2(i,j)
(14)结束水平方向大循环i迭代,得到第二级对输入图像I1滤波结果中间量结果F2；
(15)最终输出BRF(I1)＝F2；
其中α和γ和μ为调节滤波平滑和保边力度的系数，其中0＜α＜1。
校正增强器包含帧间参数稳定器和裕量常数均衡化校正器，帧间参数稳定滤波器根据滤波估计器的上下界保边滤波估计值和裕量常数均衡化校正器得到的调节参数，得到稳定连续变化的帧间调节参数：
(1)首先分别处理图像的红绿蓝三色通道，红色通道各像素亮度值乘以色偏修正值T1，绿色通道各像素亮度值乘以色偏修正值T2；
(2)色彩修正后的三通道各个像素值减去下界支撑曲面对应值，除以上界支撑曲面与下界支撑曲面的差，得到根据上下界支撑拉伸后的图像；
(3)拉伸后得到的新的图像直方图95％的灰阶范围上限值T3和下限值T4均衡化至0到255，对均衡化后的图像做平均，得到平均值T5，各像素值减去平均值再加128，截取图像值为0到255之间的整数，均衡化过程的变换向量为T3、T4、T5；
(4)得到单一帧图像的增强的修正参数组合T1、T2、T3、T4、T5；
(5)再利用该参数对连续帧图像计算修正参数组合T1、T2、T3、T4、T5滤波，对相邻两次的对应值做低通迭代滤波，即可得到稳定连续变化的帧间调节参数；
(6)将该参数代入到均衡化各通道亮度修正过程中，将图像像素值从上下界范围拉伸到图像输出的值域范围，完成在线去雾霾色偏自修正的上下界支撑图像增强，得到增强后的图像I2。
(7)根据原始图像和增强图像计算均方差信噪比。原始图像为I0，增强后的图像为I2，由于增强图像在对原图细节增强的同时，也对原图中的噪声进行了放大，并与原始图像所有像素点灰度分布基本一致，所以可以根据原始图像和增强图像计算彩色图像的均方差信噪比：
其中i、m为图像像素横坐标，j、n为图像像素纵坐标。把λ1作为校正参数1输入给稳像回扫一体化控制平台。
如图6、7所示，分别对应基于多级参数反馈控制的目标探测系统模块中的带通滤波显著性目标检测子模块、目标跟踪子模块的流程图。基于多级参数反馈控制的目标探测系统模块主要分两个主体步骤，第一是使用带通滤波显著性目标检测子模块对图像进行目标检测，得到若干个检测结果，再使用目标跟踪子模块实现在基于DSP+FPGA的硬件平台上对目标进行长期稳定的跟踪。
如图6所示，带通滤波显著性目标检测子模块的具体实施步骤如下：
(1)对输入的图像I2进行预处理。对彩色进行灰度化，得到灰度图像I3，降采样至320x180，并将灰度图像进行浮点转换，得到浮点图像I4。
(2)利用所得到的浮点图像计算峰值信噪比，峰值信噪比计算公式为：
其中i、m为图像像素横坐标，j、n为图像像素纵坐标，MAXI3表示在灰度图像所有像素点中灰度最大值。
λ2作为校正参数2输入给稳像回扫一体化控制平台；
(3)对浮点图像使用IIR滤波器进行多次带通滤波。本发明使用IIR滤波器进行带通滤波。该带通滤波器由两个低通滤波器差分得到。
数字IIR低通滤波器由正反两次滤波操作构成，并分别对水平方向及竖直方向进行，正向滤波递推公式如下：
x′g＝(1-a)x′g-1+axg
式中xg是第g点像素灰度值，x′g是第g点的正向滤波结果，a为滤波参数。
反向滤波递推公式如下：
x″g＝(1-a)x″g+1+ax′g
对浮点图像进行第一次带通滤波后再对滤波结果进行第二次带通滤波，得到带通滤波结果。逐行进行水平方向低通滤波操作后，逐列进行竖直方向低通滤波操作。
两个滤波器具有不同的滤波参数，使两个滤波器低通滤波的截止频率不同，在分别对图像滤波后作差，得到带通滤波结果。
FBP＝|b×(FH-FL)|
式中，FH是截止频率较高的低通滤波器滤波结果，FL是截止频率较低的低通滤波器滤波结果，这里较高指的是相对FL较高，这里较低指的是相对FL较高，FBP是带通滤波器输出，b为放大因子。
在本发明中，对增强后的图像I2进行一次带通滤波，再对滤波结果进一步进行带通滤波得到最终视觉显著性图I5。
第一次带通滤波过程中，两个低通滤波器的参数a分别为0.6与0.2，放大因子b为50，得到结果后对结果再进行一次带通滤波，滤波参数分别为0.3与0.1，放大因子b为1，得到显著性分布，参数可根据实际需求调整。
(4)对带通滤波结果进行分割，使用固定阈值进行二值分割，得到分割结果I6：
式中t为阈值，阈值通过实验及经验被定为1.0，可根据实际需求调整。
(5)对使用的图像使用开运算操作，用于滤除尺度较小的噪声影响。
(6)对分割结果进行聚类，使用广度优先算法进行聚类。逐行扫描图像，将未被分类的且分割结果为1的点作为种子点，使用4邻域区域生长法进行广度优先搜索聚类，将聚类点标记为已分类点，并继续扫描，得到各目标的中心坐标与外边框。
(7)对步骤(6)得到的各目标依据目标先验知识进行筛选。在筛选处理中，依据已知的特性，例如：目标大小、目标长宽比等进行筛选，并输出最终的检测结果。本发明实施例中，使用了如下先验知识：目标尺寸大于5x5；目标尺寸小于60x60；目标长度大于20时，长宽比应小于4。
依据这三条对结果进行筛选分析，将不符合条件的目标筛除，得到最终的检测结果I7，先验信息可根据实际需求调整。
其模块的主要功能是使用基于图像带通滤波的显著目标检测方法，将去雾增强后图像中的显著目标检测出来，得到检测结果I7，作为目标跟踪子模块的输入量。
如图7所示，目标跟踪子模块包含数据通信和目标跟踪解算两部分。
(1)数据通信部分包括串口通信芯片、FPGA芯片中实现的数据通信程序和DSP芯片中实现的数据通信程序，串口通信芯片完成单端信号与差分信号之前的转换，将FPGA发出的单端信号转为差分信号发送，或将收到的差分信号转为单端信号传输给FPGA，FPGA中实现的数据通信程序有两个功能，一是与系统外部的串口通信，包括解析接收到的指令和编码发送输出信息，二是FPGA与DSP之间的高速数据交互，包括图像数据的实时传输和目标跟踪结果的传输。
(2)目标跟踪解算部分包括多核DSP芯片及其中实现的目标跟踪程序，根据从带通滤波显著性目标检测子模块得到的检测图像结果I7和指令信息进行目标跟踪运算，自动解算图像中指定目标的位置偏移量，并传输给数据通信输出；为实时完成指令响应、数据通信与目标跟踪等工作，多核DSP芯片上同时运行着目标跟踪及系统控制两个子任务，其中0～K-1核完成目标跟踪任务，最后一个K核完成系统控制任务，所述目标跟踪算法采用基于红外与可见光图像的组合决策视觉目标跟踪算法，针对可见光图像与红外图像分别构建决策模型，判定所采集的样本是目标或是背景，解算目标位置，单一模型判断错误造成跟踪失败的概率较大，采用两个决策模型进行组合决策能够大幅降低跟踪失败的概率，实现稳定准确的目标跟踪，针对多核DSP芯片具有多个独立内核的结构特点，对需要同时运行的不同任务并行优化，实现了稳定准确的实时目标跟踪，目标跟踪的结果为偏移量输出。
所述基于红外与可见光图像的组合决策视觉目标跟踪算法步骤如下：
(1)根据接收到的红外图像和可见光图像，分别构建组合决策的每个基本跟踪器。首先根据以下公式提取目标图像的梯度特征：
Gx＝I7(x+1,y)-I7(x-1,y)
Gy＝I7(x,y+1)-I7(x,y-1)
其中Gx、Gy分别是位置(x,y)处在x方向和y方向上的梯度幅值，I7表示输入图像。
接下来根据Gx、Gy计算每个像素点处的梯度幅值和方向，将图像分割为互不重叠的4*4的小块区域，在每个区域内分别将每个像素点处的梯度幅值按方向累加统计至不同的区间。本发明中采用方向的9区间以及18方向的区间。如采用9方向的区间时，将梯度幅值按方向统计入(0°～40°，40°～80°，320°～0°)等区间。每个图像块的9区间统计结果与18区间统计结果共同组成一个27位的原始特征向量L，之后采用下式计算标准化算子，然后对L进行标准化处理，得到的标准化算子J(i,j)：
J(i,j)＝(||L(i,j)||2+||L(i+1,j)||2+||L(i-1,j)||2+||L(i,j+1)||2+||L(i,j-1)||2)2
其中L(i,j)为点(i,j)的图像区域特征向量，采用以下公式进行标准化处理，得到最终的特征向量O(i,j)，每一个图像块的特征向量共同组成目标的特征表示矩阵ψ：
O(i,j)＝max(ξ,L(i,j)/J(i,j))
其中ξ为一个截取项，本发明中值为0.5，用于消除特征矩阵中值过大的噪声项，使得提取到的图像特征能够更鲁棒的表示目标；
(2)采集初始目标图像块，采用缩放、旋转、平移、翻转、仿射变换方式，生成一批目标图像正样本，记为Tp，同时在图像的背景区域随机提取一些与目标图像重合较少或者不重合的图像块，作为负样本Tn，通过与目标图像进行标准化互相关运算，得到其与目标的相似度，即为负样本的标签值。进行标准化互相关时，首先将样本图像缩放至16*16像素大小，然后计算1如下：
其中T代表初始目标图像样本，Tn代表任意一个负样本，⊙代表两个样本逐像素相乘并加和。Conf为计算得到此负样本与目标的相似度。
利用步骤(1)中所述的方法提取每一个样本的特征及其标签，训练决策模型，得到一组权值向量，训练过程采用随机梯度下降法。
决策模型的判别方程为：
hθ(κ)＝g(θTκ)
其中κ为样本的特征，θ为训练得到的权值向量，g使用如下函数，可使计算得到的取值在[0，1]的区间里，当h大于某一阈值Tconf时，样本被判断为目标，否则样本被视为背景。
(3)在新的一帧图像，从目标上一帧位置周围随机采样，得到一批样本，均匀采样得到一批样本，共同组成候选目标样本。随机采样可以增加跟踪算法对于目标随机快速运动的鲁棒性，均匀采样可保证目标向任意方向运动后，仍能够被准确的捕捉到。随机采样采用正态分布函数，分别以目标的上下左右边界的x、y坐标值为中心，随机产生候选样本的坐标值。均匀采用以目标初始位置为中心，步长为2像素，滑窗提取候选样本。得到候选样本后，提取样本特征，根据决策模型判断其是背景还是目标。若同时有多个目标，则根据结果位置进行聚类，删去偏差较大的候选样本，将位置相似的候选样本根据可信度做加权平均，得到最终目标位置。
(4)最后，得到新的目标位置后，用(1)中所述方法得到一批正样本和负样本，提取特征，并用(2)中所述的训练方法对决策模型进行更新，以保持算法对目标外观变化的鲁棒性。
(5)针对可见光图像和红外图像，根据(1)至(4)中所述分别构建决策模型Dv、Dir，其中下标v代表可见光图像，ir代表红外图像。
针对可见光图像和红外图像，分别构建决策模型Dv、Dir：
其中θv、θir为模型参数，κ为样本的特征。每一帧中，计算得到两个结果，分别记为Rv，Rir：
根据损失函数确定哪一决策给出的结果为最优决策结果，作为输出，同时用最优决策结果去修正产生次优结果的决策模型，使产生次有结果的决策模型在后续帧中能有更好的表现；每个决策结果在后续每帧中，都能够计算得到一个损失函数为提升判断的准确性，采用累积损失函数，判断最优决策结果：
其中为模型D的损失函数，这里D∈Dv,Dir，D*为最优决策模型，Δn为累积损失函数的时间长度；在目标跟踪过程中，组合两个决策模型的决策结果，选择其中最优结果作为输出，并利用最优结果，修正更新次优决策模型，纠正次优决策模型运行过程中引用的错误信息，两个决策模型相互协作、互相修正，实现稳定准确的目标跟踪。
系统具体运行包括以下步骤：
(1)系统上电后，完成DSP芯片的初始化，启动目标跟踪任务，准备进行目标位置解算。
(2)目标跟踪任务处于非跟踪状态时，任务处于空闲状态。接收到上位机发出的目标跟踪指令后，转至(3)(指令路径：上位机发出，至数据通信模块，至DSP核7的通信控制任务，至DSP核0的目标跟踪任务进行执行)。
(3)从来自上位机的指令信息流中提取目标初始坐标信息R0，触发DSP内部的增强内存直接访问(EDMA)数据传输机制。从来自从带通滤波显著性目标检测子模块得到的检测图像数据流中提取初始目标区域Pv、Pir。
(4)使用初始目标区域中的图像数据，初始化基于红外与可见光图像的组合决策视觉目标跟踪算法。针对红外与可见光图像，分别构建决策模型Dv、Dir。其中核0进行基于可见光图像的决策模型Dv的相关运算，核1进行基于红外图像的决策模型Dir的相关运算，核2-6为核0-1上算法的运行提供并行支持。包括初始正负样本Tp、Tn的采集、每个样本的特征提取，以及后续步骤中样本分类。
(5)第n帧图像到来时，在上一帧的跟踪结果Rn-1周围采集候选样本，提取每个样本的特征，使用决策模型判断其是否为目标。得到两个决策器的输出结果Rv与Rir。
(6)使用累积损失函数确定最优决策结果，作为最终输出Rn。同时在最终结果邻域内提取样本，对决策模型进行更新，提升鲁棒性。
(7)系统下电，实时目标跟踪任务结束。
目标跟踪模块中DSP上运行的通信控制任务的步骤为：
(1)系统上电，核0完成DSP芯片初始化后，启动核7，开始运行通信控制任务；
(2)当没有指令到来时，系统控制任务处于空闲状态。接收到来自上位机的指令后，对指令进行解析，将有效信息传递给核0进行具体执行。开始目标跟踪后，核7从数据通信模块实时搬运来从带通滤波显著性目标检测子模块得到的检测图像数据，供目标跟踪任务使用；
(3)系统下电，通信控制任务结束。
所述目标跟踪系统的部分实验结果如图8所示，图8中第一行为可见光图像中的实验结果，可以看出在目标被局部遮挡时，仍能保持稳定目标跟踪。图8中第二和第三行为红外图像中的实验结果，可以看出在目标发生形变时，仍能保持稳定目标跟踪，目标被完全遮挡又重新出现时，能够重新找回目标，继续进行目标跟踪。
如图9所示，(a)是输入的原始图像I0，(b)是原始图像配准后的结果I8。这是稳像偏移量计算模块通过相邻帧图像计算全局偏移分量后，利用该值对相邻两帧图像配准的结果，从而为控制平台提供一个稳像偏移量。稳像偏移量计算模块的具体实施过程如下：
(1)对输入的相邻两帧图像，分别设为fn和fn+1，对其进行预处理，得到灰度图像：
其中f′n、f′n+1为灰度化后的图像；
(2)对相邻的两幅灰度图像进行傅里叶变换：
其中Fn、Fn+1为傅里叶变换后的图像，u、v是傅里叶变换后的坐标系中的坐标；
(3)计算两幅图像傅里叶变换的互功率谱；
Fn+1＝exp(-2jπ(u×x0+v×y0))Fn
其中是Fn+1的共轭，x0、y0表示图像中的横坐标和纵坐标，M、N表示图像横坐标最大值和纵坐标最大值，即图像的长和高。
(4)对互功率谱进行傅里叶反变换，即可在(x0,y0)点得到一个尖峰。只需找到这个尖峰，即可得到两幅图像间粗匹配的结果。将此作为图像整体的偏移分量；
尖峰值说明是两幅图像配准所有结果中响应最大的结果，出现在(x0,y0)处是因为fn+1图像是fn图像平移(x0,y0)得到的。这个平移量的产生是由于外界环境对图像稳像回扫一体化控制平台的各种抖动影响，所造成的相邻两帧图像出现的偏移量，因此将其作为稳像偏移量输出给控制平台。
如图10所示，稳像回扫一体化控制平台包括：反射镜；线圈与永磁体组成的驱动部分；转角反馈部分；十字形连接件、金属轴、T形连接件、梯形连接件组成的万向铰链；基座及连接螺钉组成的框架部分。1为反射镜，2为音圈电机线圈，3为音圈电机永磁体，4为激光位移传感器，5为十字形连接件，6为金属轴，7为T形连接件，8为梯形连接件，9为基座，10为环形轴套，11为第一紧固螺钉，12为第二紧固螺钉。
基座9将固连在光电吊舱上，万向铰链包括十字形连接件5、金属轴6和两个T形连接件7和两个梯形连接件8，其中十字形连接件5通过其中一轴上的圆柱与两个T形连接件相连7，金属轴6分别穿过十字连接件5和梯形连接件8上的孔，组成万向铰链；使用螺钉13将梯形连接件8与基座9相连，同时T形连接件7与反射镜1背面的机械接口胶合，使万向铰链分别连接基座9与反射镜1，反射镜1可以通过绕万向铰链的两轴做扭转运动完成相对于基座9的任意方向转动；安装完成后定义万向铰链两正交轴分别为光电吊舱稳像回扫一体化控制装置X轴与Y轴；驱动部分包括四台摆动音圈电机及音圈电机驱动器，音圈电机由线圈2与永磁体3组成，永磁体3穿过线圈2，线圈2通电时产生磁场，使永磁体3在磁场中受力摆动，进而带动反射镜1偏转；音圈电机两两一组，每组音圈电机呈对称布置，对称平面垂直于反射镜1平面且过反射镜1中点，两组音圈电机连线均与光电吊舱稳像回扫一体化控制平台的X轴夹角22.5°；安装时其线圈2部分与基座9通过第二螺钉12相连，永磁体3与反射镜1胶合；转角反馈部分由四台位移传感器4与底座胶合于音圈电机永磁体3正下方；装置工作时，每组音圈电机中的两台电机摆动方向相反，两组音圈电机可以同时控制反射镜1以两个夹45°角的轴转动，在万向铰链的约束下，反射镜1的旋转中心始终保持在一点，即装置十字形连接件5的中心，反射镜1的转角测量由转角反馈部分的位移传感器4完成，通过测量四台音圈电机永磁体3下端到基座9平面的相对距离，从而得到四个永磁体3上端与反射镜1的固连点的位置，解算得到反射镜1的实时转角，完成反射镜1的稳相控制。还包括环形轴套10与第一紧固螺钉11，用于完成万向铰链部分的金属轴6的轴向定位，环形轴套10安装于金属轴6两端，通过第一紧螺钉11紧固于金属轴6上，工作时，环形轴套10和第一紧固螺钉11将保证金属轴6不脱出。
在动态工作过程中，一方面利用输入的校正参数1和校正参数2，计算得到传感器回扫时间偏移量，在信噪比越小的情况下回扫时间偏移量越长。设校正系数1为λ1，校正系数2为λ2，则具体计算形式为：
其中ε为线性融合系数，其值大小为0.5，Δt为传感器回扫时间偏移增加量。设t0为上一个状态传感器回扫时间偏移量，则当前状态下传感器回扫的时间偏移量t为：
t＝(1+Δt)t0
根据所求得的时间偏移量t，通过控制万向铰链的两正交轴相对于基座9的X轴与Y轴的相对运动方向，完成对传感器进行回扫控制。即在主要运动方向中插入固定步长的反方向回扫动作，回扫固定步长为10个像素，每次回扫动作持续时间即为时间偏移量t，从而延长传感器对同一像素的积分时间，有效提高目标信噪比。
动态工作中的另一个方面是根据稳像偏移量计算模块的稳像偏移量输出(e0,q0)，e0、q0分别代表图像水平方向和垂直方向上的位移量。将其转换成模拟电信号叠加上音圈电机线圈2的驱动信号上引起反射镜1转动，通过控制反射镜1的转角调整成像的视轴位移，完成传感器的位移调整，保证传感器采集的图像稳定。
在这两个功能的综合控制下，即可实现整个稳像回扫一体化控制平台对目标的长期稳定跟踪监视。
至此即完成整个视觉特性去雾稳像探测系统所有模块的实施过程，实现了集成去雾增强、图像稳像、目标检测与跟踪等功能的综合任务执行平台系统。
提供以上实施例仅仅是为了描述本发明的目的，而并非要限制本发明的范围。本发明的范围由所附权利要求限定。不脱离本发明的精神和原理而做出的各种等同替换和修改，均应涵盖在本发明的范围之内。
Claims (17)
1.一种视觉特性去雾稳像探测系统，其特征在于：包括雾霾特性分析及增强模块、基于多级参数反馈控制的目标探测系统模块、稳像偏移量计算模块和稳像回扫一体化控制平台；
前端传感器采集的原始图像数据，其中原始图像数据包括红外和可见光图像数据，首先输入至雾霾特性分析及增强模块，雾霾特性分析及增强模块对原始图像数据进行滤波器计算，完成在线去雾霾色偏自修正的上下界支撑图像增强，得到去雾增强后的图像，并传输给基于多级参数反馈控制的目标探测系统模块；同时雾霾特性分析及增强模块还根据原始图像和去雾增强后的图像计算均方差信噪比，作为校正参数1输入给稳像回扫一体化控制平台；
基于多级参数反馈控制的目标探测系统模块，包括带通滤波目标检测子模块目标跟踪子模块和；带通滤波目标检测子模块对去雾增强后的图像预处理后计算得到峰值信噪比，作为校正参数2输入给稳像回扫一体化控制平台，再进行多次带通滤波得到带通滤波结果，之后对带通滤波结果进行分割，对分割结果进行形态学处理，剔除噪声影响点对形态学处理后的结果进行聚类，对聚类结果根据已知特性筛选出检测结果，输出至目标跟踪子模块；目标跟踪子模块，采用基于校正参数的前馈组合决策视觉目标跟踪算法根据接收包含检测结果的图像数据进行目标跟踪运算，自动解算图像中指定目标的位置偏移量，再输出给外部上位机，实现对目标的长期稳定跟踪；
稳像偏移量计算模块，对输入的相邻两帧图像进行预处理后，得到灰度图像，使用相位相关法进行配准，对全局运动状况进行估计，计算得到整体的环境偏移分量；该环境偏移分量的产生是由于外界环境对图像稳像回扫一体化控制平台的各种抖动影响，所造成的相邻两帧图像出现的偏移量，因此将其作为稳像偏移量输出给控制平台；
稳像回扫一体化控制平台，一方面是利用输入的校正参数1和校正参数2，计算得到传感器回扫时间偏移量，在信噪比较小的情况下增加回扫时间，提高目标的信噪比，通过控制万向铰链对传感器进行回扫控制，即在主要运动方向中插入固定步长的反方向回扫动作，从而延长传感器对同一像素的积分时间，有效提高目标信噪比；另一方面根据稳像偏移量计算模块的稳像偏移量输出，转换成模拟电信号叠加上音圈电机的驱动信号上引起反射镜转动，通过控制反射镜的转角调整成像的视轴位移，完成传感器的位移调整，保证传感器采集的原始图像稳定，实现对目标的长期稳定跟踪监视。
2.根据权利要求1所述的视觉特性去雾稳像探测系统，其特征在于：所述雾霾特性分析及增强模块包括色偏估计器、上下界支撑去雾增强滤波器和校正增强器三部分；
所述色偏估计器针对雾霾影响的成像图像，利用色偏估计构建去雾模型，计算出色偏估计值后对原始图像均衡化校正后，传输给上下界支撑去雾增强滤波器；
所述上下界支撑去雾增强滤波器，对均衡化校正后的图像采用上下界保边滤波估计器，建立一种上下界支撑估计计算模型，对输入图像分别计算上界值和下界值的双向迭代保边滤波，得到上支撑曲面和下支撑曲面，作为上下界保边滤波估计值传输给校正增强器；
所述校正增强器包含帧间参数稳定器和裕量常数均衡化校正器，帧间参数稳定滤波器根据上下界支撑去雾增强滤波器的上下界保边滤波估计值和裕量常数均衡化校正器得到的调节参数，得到稳定连续变化的帧间调节参数。
3.根据权利要求2所述的视觉特性去雾稳像探测系统，其特征在于：所述色偏估计器具体实现如下：
(1)接收原始图像数据I0，统计图像中心区域的各像素点颜色通道的亮度幂次方值；
(2)采取八倍降采样并线性求和，得到红色R、绿色G、蓝色B颜色通道分量的累计值；
(3)根据受雾霾影响的图像先验知识，假定有雾霾的图像区域呈现偏黄，会导致R颜色通道分量和G颜色通道的高亮区域高于蓝色通道的高亮区域，此时SR和SG高于SB，则以B颜色通道分量的累计值作为基准值，计算其他颜色通道分量与其的比值，最终得到含雾霾图像的色偏修正估计值，用该值对图像进行均衡化校正后，设均衡化校正后的图像表示为I1，输出至上下界支撑去雾增强滤波器。
4.根据权利要求3所述的视觉特性去雾稳像探测系统，其特征在于：所述步骤(1)中，图像中心区域为图像长宽各四分之三所包含的范围。
5.根据权利要求2所述的视觉特性去雾稳像探测系统，其特征在于：所述上下界支撑去雾增强滤波器具体实现如下：
(1)首先计算估计图像中的上界，使用双向迭代滤波器BRF(*)计算图像I1的保边平滑后的结果，定义为R′,其中R′＝BRF(I1)；
(2)取R′和I1中的对应像素的较大值，记作RU，对RU做双向迭代滤波，得到上界BU；
(3)取R′和I1中的对应像素的较小值，记作RL，对RL做双向迭代滤波，得到下界BL；
(4)设定裕量常数矩阵λ0*E，E为全一矩阵，λ0为裕量常数，定义图像像素值范围为0到255的整数；计算上界支撑曲面为BU+E构成的面SU；计算下界为支撑曲面为BU-E构成的面SL。
6.根据权利要求5所述的视觉特性去雾稳像探测系统，其特征在于：所述的双向迭代保边滤波BRF(*)具体计算步骤为：
(1)启动垂直方向大循环第1行到第M行，令每一行的第一个中间量F1(1,j)像素值等于输入图像I1(1,j)第一个像素值，其中j为图像像素纵坐标；
(2)内嵌正向循环执行，每一行第1个像素到第M-1个像素逐个递增计算中间量,计算F1(i+1,j)的值，其中i为图像像素横坐标：
F1(i+1,j)＝α*I1(i+1,j)+(1-α)*F1(i,j)
(3)内嵌反向循环执行，每一行的第M个像素到第2个像素逐个递减计算中间量F1(i-1,j)的值，计算：
F1(i-1,j)＝α*I1(i-1,j)+(1-α)*F1(i,j)
(4)结束垂直方向大循环j迭代，启动水平方向大循环，逐列计算第1列到第M列，令每一列的第一个中间量F1(i,1)像素值等于输入图像I1(i,1)第一个像素值；
(5)内嵌正向循环执行，每一列的第1个像素到第N-1个像素逐个递增计算中间量F1(i,j+1)的值：
F1(i,j+1)＝α*I1(i,j+1)+(1-α)*F1(i,j)
(6)内嵌反向循环执行每一列的第N个像素到第2个像素逐个递减计算中间量F1(i,j-1)：
F1(i,j-1)＝α*I1(i,j-1)+(1-α)*F1(i,j)
(7)结束水平方向大循环i迭代，得到第一级对输入图像I1滤波结果中间量F1；
(8)启动垂直方向大循环，逐列计算第1列到第M列，令每一行的第一个新的中间量F2(1,j)像素值等于输入图像I1(1,j)第一个像素值：
F2(1,j)＝I1(1,j)
(9)内嵌正向循环执行，每一行的第1个像素到第M-1个像素逐个递增计算中间量F2(i+1,j)：
F2(i+1,j)＝β*I1(i+1,j)+(1-β)*F2(i,j)
(10)内嵌反向循环执行，每一行的第M个像素到第2个像素逐个递增计算中间量F2(i-1,j)：
F2(i-1,j)＝β*I1(i-1,j)+(1-β)*F2(i,j)
(11)结束垂直方向大循环，启动水平方向大循环，逐列计算第1列到第M列，令每一列的第一个中间量F2(i,1)像素值等于输入图像I1(i,1)第一个像素值；
(12)内嵌正向循环执行，每一列的第1个像素到第N-1个像素逐个递增计算中间量F1(i,j+1)，计算：
β＝γ*exp(μ*abs(F1(i,j+1)-F1(i,j)))
F2(i,j+1)＝β*I1(i,j+1)+(1-β)*F2(i,j)
(13)内嵌反向循环执行，每一列的第N个像素到第2个像素逐个递增计算中间量F1(i,j-1)，计算：
β＝γ*exp(μ*abs(F1(i,j)-F1(i,j-1)))
F2(i-1,j)＝β*I(i,j-1)+(1-β)*F2(i,j)
(14)结束水平方向大循环i迭代,得到第二级对输入图像I1滤波结果中间量结果F2；
(15)最终输出BRF(I1)＝F2；
其中α和γ和μ为调节滤波平滑和保边力度的系数，其中0＜α＜1。
7.根据权利要求2所述的视觉特性去雾稳像探测系统，其特征在于：所述校正增强器具体实现如下：
(1)首先分别处理图像的红绿蓝三色通道，红色通道各像素亮度值乘以色偏修正值T1，绿色通道各像素亮度值乘以色偏修正值T2；
(2)色彩修正后的三通道各个像素值减去下界支撑曲面对应值，除以上界支撑曲面与下界支撑曲面的差，得到根据上下界支撑拉伸后的图像；
(3)拉伸后得到的新的图像直方图95％的灰阶范围上限值T3和下限值T4均衡化至0到255，对均衡化后的图像做平均，得到平均值T5，各像素值减去平均值再加128，截取图像值为0到255之间的整数，均衡化过程的变换向量为T3、T4、T5；
(4)得到单一帧图像的增强的修正参数组合T1、T2、T3、T4、T5；
(5)再利用该参数对连续帧图像计算修正参数组合T1、T2、T3、T4、T5滤波，对相邻两次的对应值做低通迭代滤波，即得到稳定连续变化的帧间调节参数；
(6)将步骤(5)得到的帧间调节参数代入到均衡化各通道亮度修正过程中，将图像像素值从上下界范围拉伸到图像输出的值域范围，完成在线去雾霾色偏自修正的上下界支撑图像增强，得到增强后的图像I2；
(7)根据原始图像和增强图像计算均方差信噪比，作为校正参数1；
经过校正增强器输出的增强图像数据输出至基于多级参数反馈控制的目标探测系统模块，校正参数1输出至稳像回扫一体化控制平台。
8.根据权利要求1所述的视觉特性去雾稳像探测系统，其特征在于：所述带通滤波显著性目标检测子模块使用基于图像带通滤波的显著目标检测方法，具体实现如下：
(1)对去雾增强后图像I2进行预处理，将所述图像进行灰度化，得到灰度图像I3，再将图像变倍到设定尺寸，并进行浮点转换；
(2)利用所得到的浮点图像I4计算峰值信噪比，作为校正参数2；
(3)对浮点图像使用IIR滤波器进行正反两次滤波操作，并分别对水平方向及竖直方向进行，得到带通滤波结果，得到视觉显著性图I5；
(4)对带通滤波结果使用固定阈值进行二值分割，分割结果为I6；
(5)对所述分割结果进行形态学处理，剔除噪声点影响；
(6)使用广度优先算法对形态学处理后的结果进行聚类，逐行扫描图像，将未被分类的且分割结果为1的点作为种子点，使用4邻域区域生长法进行广度优先搜索聚类，将聚类点标记为已分类点，并继续扫描，最终得到聚类结果；
(7)对聚类结果依据目标先验知识进行筛选，在筛选处理中，依据已知的特性进行筛选，并得到检测结果I7，输入给目标跟踪子模块。
9.根据权利要求8所述的视觉特性去雾稳像探测系统，其特征在于：所述步骤(1)中，如果所述图像为彩色图像，先进行灰度化，得到灰度图像，再将图像变倍到设定尺寸，并进行浮点转换，得到浮点图像。
10.根据权利要求8所述的视觉特性去雾稳像探测系统，其特征在于：在步骤(4)中，所使用固定阈值为1.0。
11.根据权利要求1所述的视觉特性去雾稳像探测系统，其特征在于：所述目标跟踪子模块包括数据通信和目标跟踪解算两部分，具体实现如下：
(1)数据通信部分包括串口通信芯片、FPGA芯片中实现的数据通信程序，FPGA中实现的数据通信程序有两个功能，一是与系统外部的串口通信，包括解析接收到的指令和编码发送输出信息，二是FPGA与DSP之间的高速数据交互，包括图像数据的实时传输和目标跟踪结果的传输；
(2)目标跟踪解算部分包括多核DSP芯片及其中实现的目标跟踪程序，目标跟踪解算部分根据从雾霾特性分析及增强模块输出的增强图像数据和指令信息进行目标跟踪运算，能够自动解算图像中指定目标的位置，并传输给数据通信输出；为实时完成指令响应、数据通信与目标跟踪工作；将多核DSP芯片上的工作分割为目标跟踪及系统控制两个任务，其中0～K-1核完成目标跟踪任务，最后一个K核完成系统控制任务，所述目标跟踪算法采用基于红外与可见光图像的组合决策视觉目标跟踪算法，针对可见光图像与红外图像分别构建决策模型，判定所采集的样本是目标或是背景，解算目标位置，单一模型判断错误造成跟踪失败的概率较大，采用两个决策模型进行组合决策能够大幅降低跟踪失败的概率，实现稳定准确的目标跟踪，针对多核DSP芯片具有多个独立内核的结构特点，对需要同时运行的不同任务并行优化，实现了稳定准确的实时目标跟踪，目标跟踪的结果为偏移量输出。
12.根据权利要求11所述的视觉特性去雾稳像探测系统，其特征在于：所述基于红外与可见光图像的组合决策视觉目标跟踪算法具体实现步骤如下：
(1)根据目标初始位置，及初始红外图像数据与可见光图像数据，采集初始红外图像数据与可见光图像数据中的目标图像块作为正负训练样本，提取样本特征，分别构建决策模型Dv、Dir；
(2)接收到新一帧的红外图像数据与可见光图像数据后，从目标在上一帧中位置周围采集候选样本，利用决策模型判断候选样本是否为目标，确定新一帧中目标位置；
(3)根据损失函数确定哪一决策模型给出的结果为最优决策结果，组合两个决策模型的判别结果，得到最终输出结果，并利用最优结果修正给出次优结果的决策模型，消除产生次优结果的决策模型中的错误信息，使产生次优结果的决策模型能够在后续目标跟踪过程中给出更准确的目标跟踪结果，提升鲁棒性。
13.根据权利要求1所述的视觉特性去雾稳像探测系统，其特征在于：所述稳像偏移量计算模块具体实现如下：
(1)对输入的相邻两帧图像，分别设为fn和fn+1，对其进行预处理，得到灰度图像；
(2)对相邻的两幅灰度图像进行傅里叶变换；
(3)计算两幅图像傅里叶变换的互功率谱；
(4)对互功率谱进行傅里叶反变换，在(x0,y0)点得到一个尖峰，找到所述尖峰，即得到两幅图像间粗匹配的结果，将此作为图像整体的偏移分量；
尖峰值说明是两幅图像配准所有结果中响应最大的结果，出现在(x0,y0)处是因为fn+1图像是fn图像平移(x0,y0)得到的，所述平移量的产生是由于外界环境对图像稳像回扫一体化控制平台的各种抖动影响，所造成的相邻两帧图像出现的偏移量，因此将偏移量作为稳像偏移量输出给控制平台。
14.根据权利要求1所述的视觉特性去雾稳像探测系统，其特征在于：所述稳像回扫一体化控制平台的输入是雾霾特性分析及增强模块计算的校正参数1、基于多级参数反馈控制的目标探测系统模块计算的校正参数2、稳像偏移量计算模块计算的稳定偏移量；所述控制平台包括反射镜部分、线圈与永磁体组成的驱动部分、转角反馈部分、万向铰链部分和基座部分：稳像回扫一体化控制平台的基座将固连在光电吊舱上，万向铰链包括十字形连接件、金属轴和两个T形连接件和两个梯形连接件，其中十字形连接件通过其中一轴上的圆柱与两个T形连接件相连，金属轴分别穿过十字连接件和梯形连接件上的孔，组成万向铰链；使用螺钉将梯形连接件与基座相连，同时T形连接件与反射镜背面的机械接口胶合，使万向铰链分别连接基座与反射镜，反射镜可以通过绕万向铰链的两轴做扭转运动完成相对于基座的任意方向转动；驱动部分包括四台摆动音圈电机及音圈电机驱动器，音圈电机由线圈与永磁体组成，永磁体穿过线圈，线圈通电时产生磁场，使永磁体在磁场中受力摆动，进而带动反射镜偏转；音圈电机两两一组，每组音圈电机呈对称布置，对称平面垂直于反射镜平面且过反射镜中点，两组音圈电机连线均与装置X轴夹角为θ；安装时其线圈部分与基座通过螺钉相连，永磁体与反射镜胶合；转角反馈部分由四台位移传感器与底座胶合于音圈电机永磁体正下方；
在动态工作过程中，一方面利用输入的校正参数1和校正参数2，计算得到传感器回扫时间偏移量，在信噪比越小的情况下回扫时间偏移量越长。设校正系数1为λ1，校正系数2为λ2，则具体计算形式为：
<mrow>
<mi>&Delta;</mi>
<mi>t</mi>
<mo>=</mo>
<mfrac>
<msup>
<mi>e</mi>
<mrow>
<msub>
<mi>&epsiv;&lambda;</mi>
<mn>1</mn>
</msub>
<mo>+</mo>
<mrow>
<mo>(</mo>
<mn>1</mn>
<mo>-</mo>
<mi>&epsiv;</mi>
<mo>)</mo>
</mrow>
<msub>
<mi>&lambda;</mi>
<mn>2</mn>
</msub>
</mrow>
</msup>
<mrow>
<msup>
<mi>e</mi>
<mrow>
<msub>
<mi>&epsiv;&lambda;</mi>
<mn>1</mn>
</msub>
<mo>+</mo>
<mrow>
<mo>(</mo>
<mn>1</mn>
<mo>-</mo>
<mi>&epsiv;</mi>
<mo>)</mo>
</mrow>
<msub>
<mi>&lambda;</mi>
<mn>2</mn>
</msub>
</mrow>
</msup>
<mo>+</mo>
<mn>1</mn>
</mrow>
</mfrac>
</mrow>
其中ε为线性融合系数，其值大小为0.5，Δt为传感器回扫时间偏移增加量，设t0为上一个状态传感器回扫时间偏移量，则当前状态下传感器回扫的时间偏移量t为：
t＝(1+Δt)t0
根据所求得的时间偏移量t，通过控制万向铰链的两正交轴相对于基座的相对运动方向，完成对传感器进行回扫控制，即在主要运动方向中插入固定步长的反方向回扫动作，每次回扫动作持续时间即为时间偏移量t，从而延长传感器对同一像素的积分时间，有效提高目标信噪比；
另一个方面是根据稳像偏移量计算模块的稳像偏移量输出(e0,q0)，转换成模拟电信号叠加上音圈电机的驱动信号上引起反射镜转动，通过控制反射镜的转角调整成像的视轴位移，完成传感器的位移调整，保证传感器采集的图像稳定，e0、q0分别代表图像水平方向和垂直方向上的位移量；
在这两个功能的综合控制下，即实现整个稳像系统对目标的长期稳定跟踪监视。
15.根据权利要求14所述的视觉特性去雾稳像探测系统，其特征在于：所述的稳像回扫一体化控制平台中，万向铰链两正交轴分别为光电吊舱稳像回扫一体化控制装置X轴与Y轴。
16.根据权利要求14所述的视觉特性去雾稳像探测系统，其特征在于：所述的稳像回扫一体化控制平台中，两组音圈电机连线均与整个平台中X轴夹角为22.5°。
17.根据权利要求14所述的视觉特性去雾稳像探测系统，其特征在于：所述的稳像回扫一体化控制平台中，回扫控制中的反方向回扫固定步长为10个像素。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201711422363.4A CN108053382B (zh) | 2017-12-25 | 2017-12-25 | 一种视觉特性去雾稳像探测系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201711422363.4A CN108053382B (zh) | 2017-12-25 | 2017-12-25 | 一种视觉特性去雾稳像探测系统 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN108053382A true CN108053382A (zh) | 2018-05-18 |
| CN108053382B CN108053382B (zh) | 2019-04-16 |
Family
ID=62131159
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201711422363.4A Active CN108053382B (zh) | 2017-12-25 | 2017-12-25 | 一种视觉特性去雾稳像探测系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN108053382B (zh) |
Cited By (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109359654A (zh) * | 2018-09-18 | 2019-02-19 | 北京工商大学 | 基于频率调谐全局显著度和深度学习的图像分割方法及系统 |
| CN110687939A (zh) * | 2019-09-05 | 2020-01-14 | 中国航空工业集团公司洛阳电光设备研究所 | 基于斜坡递增法的扫描控制方法 |
| CN111369478A (zh) * | 2020-03-04 | 2020-07-03 | 腾讯科技（深圳）有限公司 | 人脸图像增强方法、装置、计算机设备和存储介质 |
| CN111554080A (zh) * | 2020-07-13 | 2020-08-18 | 成都纵横自动化技术股份有限公司 | 一种光电吊舱数据采集系统 |
| CN112577970A (zh) * | 2019-09-30 | 2021-03-30 | 深圳中科飞测科技股份有限公司 | 一种检测方法、检测设备的对准方法以及检测设备 |
| CN113269704A (zh) * | 2021-06-29 | 2021-08-17 | 南昌航空大学 | 一种红外与可见光图像融合方法 |
| CN114913096A (zh) * | 2022-06-10 | 2022-08-16 | 中国科学院长春光学精密机械与物理研究所 | 一种特征初始化的非均匀校正方法及其系统 |
| CN117474801A (zh) * | 2023-10-30 | 2024-01-30 | 安徽大学 | 一种融合时空频信息的非均匀遥感视频影像去雾方法 |
| CN117914450A (zh) * | 2024-03-19 | 2024-04-19 | 西安德悦电子信息技术有限公司 | 基于云端控制的发电机组实时数据传输策略优化方法 |
Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102982513A (zh) * | 2012-12-04 | 2013-03-20 | 电子科技大学 | 一种基于纹理的自适应图像去雾方法 |
| CN103400135A (zh) * | 2013-07-29 | 2013-11-20 | 沈玉琴 | 一种在恶劣天气条件下交通事件清晰检测的视频信号预处理方法 |
| CN103902972A (zh) * | 2014-03-21 | 2014-07-02 | 哈尔滨工程大学 | 一种水面移动平台视觉系统图像分析处理方法 |
| CN104217404A (zh) * | 2014-08-27 | 2014-12-17 | 华南农业大学 | 雾霾天视频图像清晰化处理方法及其装置 |
| CN105303532A (zh) * | 2015-10-21 | 2016-02-03 | 北京工业大学 | 一种小波域Retinex图像去雾方法 |
| US9355439B1 (en) * | 2014-07-02 | 2016-05-31 | The United States Of America As Represented By The Secretary Of The Navy | Joint contrast enhancement and turbulence mitigation method |
| CN105976330A (zh) * | 2016-04-27 | 2016-09-28 | 大连理工大学 | 一种嵌入式雾天实时视频稳像方法 |
| CN106709893A (zh) * | 2016-12-28 | 2017-05-24 | 西北大学 | 一种全天时雾霾图像清晰化恢复方法 |
-
2017
- 2017-12-25 CN CN201711422363.4A patent/CN108053382B/zh active Active
Patent Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102982513A (zh) * | 2012-12-04 | 2013-03-20 | 电子科技大学 | 一种基于纹理的自适应图像去雾方法 |
| CN103400135A (zh) * | 2013-07-29 | 2013-11-20 | 沈玉琴 | 一种在恶劣天气条件下交通事件清晰检测的视频信号预处理方法 |
| CN103902972A (zh) * | 2014-03-21 | 2014-07-02 | 哈尔滨工程大学 | 一种水面移动平台视觉系统图像分析处理方法 |
| US9355439B1 (en) * | 2014-07-02 | 2016-05-31 | The United States Of America As Represented By The Secretary Of The Navy | Joint contrast enhancement and turbulence mitigation method |
| CN104217404A (zh) * | 2014-08-27 | 2014-12-17 | 华南农业大学 | 雾霾天视频图像清晰化处理方法及其装置 |
| CN105303532A (zh) * | 2015-10-21 | 2016-02-03 | 北京工业大学 | 一种小波域Retinex图像去雾方法 |
| CN105976330A (zh) * | 2016-04-27 | 2016-09-28 | 大连理工大学 | 一种嵌入式雾天实时视频稳像方法 |
| CN106709893A (zh) * | 2016-12-28 | 2017-05-24 | 西北大学 | 一种全天时雾霾图像清晰化恢复方法 |
Non-Patent Citations (2)
| Title |
|---|
| LIU BO ET AL: "Inland River Image Defogging Based on Optimized Contrast Enhancement", 《IEEE》 * |
| 刘佳佳 等: "基于最小二乘法B样条曲线的视频去雾研究", 《常熟理工学院学报（自然科学）》 * |
Cited By (15)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109359654A (zh) * | 2018-09-18 | 2019-02-19 | 北京工商大学 | 基于频率调谐全局显著度和深度学习的图像分割方法及系统 |
| CN109359654B (zh) * | 2018-09-18 | 2021-02-12 | 北京工商大学 | 基于频率调谐全局显著度和深度学习的图像分割方法及系统 |
| CN110687939A (zh) * | 2019-09-05 | 2020-01-14 | 中国航空工业集团公司洛阳电光设备研究所 | 基于斜坡递增法的扫描控制方法 |
| CN112577970A (zh) * | 2019-09-30 | 2021-03-30 | 深圳中科飞测科技股份有限公司 | 一种检测方法、检测设备的对准方法以及检测设备 |
| CN111369478B (zh) * | 2020-03-04 | 2023-03-21 | 腾讯科技（深圳）有限公司 | 人脸图像增强方法、装置、计算机设备和存储介质 |
| CN111369478A (zh) * | 2020-03-04 | 2020-07-03 | 腾讯科技（深圳）有限公司 | 人脸图像增强方法、装置、计算机设备和存储介质 |
| CN111554080A (zh) * | 2020-07-13 | 2020-08-18 | 成都纵横自动化技术股份有限公司 | 一种光电吊舱数据采集系统 |
| CN113269704B (zh) * | 2021-06-29 | 2022-07-29 | 南昌航空大学 | 一种红外与可见光图像融合方法 |
| CN113269704A (zh) * | 2021-06-29 | 2021-08-17 | 南昌航空大学 | 一种红外与可见光图像融合方法 |
| CN114913096A (zh) * | 2022-06-10 | 2022-08-16 | 中国科学院长春光学精密机械与物理研究所 | 一种特征初始化的非均匀校正方法及其系统 |
| CN114913096B (zh) * | 2022-06-10 | 2024-04-23 | 中国科学院长春光学精密机械与物理研究所 | 一种特征初始化的非均匀校正方法及其系统 |
| CN117474801A (zh) * | 2023-10-30 | 2024-01-30 | 安徽大学 | 一种融合时空频信息的非均匀遥感视频影像去雾方法 |
| CN117474801B (zh) * | 2023-10-30 | 2024-05-07 | 安徽大学 | 一种融合时空频信息的非均匀遥感视频影像去雾方法 |
| CN117914450A (zh) * | 2024-03-19 | 2024-04-19 | 西安德悦电子信息技术有限公司 | 基于云端控制的发电机组实时数据传输策略优化方法 |
| CN117914450B (zh) * | 2024-03-19 | 2024-05-14 | 西安德悦电子信息技术有限公司 | 基于云端控制的发电机组实时数据传输策略优化方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN108053382B (zh) | 2019-04-16 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN108053382B (zh) | 一种视觉特性去雾稳像探测系统 | |
| CN106056053B (zh) | 基于骨骼特征点提取的人体姿势识别方法 | |
| CN111583136A (zh) | 一种救援场景下自主移动平台同时定位与建图方法 | |
| Li et al. | ADTrack: Target-aware dual filter learning for real-time anti-dark UAV tracking | |
| US8922674B2 (en) | Method and system for facilitating color balance synchronization between a plurality of video cameras and for obtaining object tracking between two or more video cameras | |
| CN109034184B (zh) | 一种基于深度学习的均压环检测识别方法 | |
| CN112651262B (zh) | 一种基于自适应行人对齐的跨模态行人重识别方法 | |
| CN108229587A (zh) | 一种基于飞行器悬停状态的输电杆塔自主扫描方法 | |
| CN108182381B (zh) | 基于快速Adaboost训练算法的自动扶梯乘客检测方法 | |
| CN110443247A (zh) | 一种无人机地面运动小目标实时检测系统及方法 | |
| CN111199556A (zh) | 基于摄像头的室内行人检测和跟踪方法 | |
| CN110458877A (zh) | 基于仿生视觉的红外与可见光信息融合的导航方法 | |
| CN113486697B (zh) | 基于空基多模态图像融合的森林烟火监测方法 | |
| CN112395972B (zh) | 一种基于无人机图像处理的电力系统绝缘子串识别方法 | |
| CN112949452B (zh) | 一种基于多任务共享网络的机器人弱光环境抓取检测方法 | |
| US11361534B2 (en) | Method for glass detection in real scenes | |
| CN110472566A (zh) | 一种高精度的模糊人脸识别方法与系统 | |
| CN111488766A (zh) | 目标检测方法和装置 | |
| CN109101926A (zh) | 基于卷积神经网络的空中目标检测方法 | |
| Zhang et al. | An optical flow based moving objects detection algorithm for the UAV | |
| Li et al. | Weak moving object detection in optical remote sensing video with motion-drive fusion network | |
| CN113298177B (zh) | 夜间图像着色方法、装置、介质和设备 | |
| CN102592125A (zh) | 基于标准差特征的运动目标检测方法 | |
| CN111160115B (zh) | 一种基于孪生双流3d卷积神经网络的视频行人再识别方法 | |
| CN107346421A (zh) | 一种基于颜色不变性的视频烟雾检测方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |