CN109509155A - 基于滚动时域粒子群优化的视频去雾方法 - Google Patents
基于滚动时域粒子群优化的视频去雾方法 Download PDFInfo
- Publication number
- CN109509155A CN109509155A CN201811255864.2A CN201811255864A CN109509155A CN 109509155 A CN109509155 A CN 109509155A CN 201811255864 A CN201811255864 A CN 201811255864A CN 109509155 A CN109509155 A CN 109509155A
- Authority
- CN
- China
- Prior art keywords
- image
- defogging
- mist elimination
- parameter
- value
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 35
- 239000002245 particle Substances 0.000 title claims abstract description 27
- 238000005096 rolling process Methods 0.000 title claims abstract description 17
- 238000005457 optimization Methods 0.000 claims abstract description 25
- 238000011156 evaluation Methods 0.000 claims abstract description 7
- 239000003595 mist Substances 0.000 claims description 59
- 230000008030 elimination Effects 0.000 claims description 55
- 238000003379 elimination reaction Methods 0.000 claims description 55
- 230000006870 function Effects 0.000 claims description 4
- 230000015572 biosynthetic process Effects 0.000 claims description 2
- 238000004364 calculation method Methods 0.000 claims description 2
- 239000000725 suspension Substances 0.000 claims description 2
- 238000003786 synthesis reaction Methods 0.000 claims description 2
- 230000000694 effects Effects 0.000 abstract description 8
- 230000003044 adaptive effect Effects 0.000 abstract description 3
- 230000007613 environmental effect Effects 0.000 abstract description 3
- 238000001303 quality assessment method Methods 0.000 description 3
- 238000013441 quality evaluation Methods 0.000 description 2
- 238000012544 monitoring process Methods 0.000 description 1
Classifications
-
- G06T5/73—
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/004—Artificial life, i.e. computing arrangements simulating life
- G06N3/006—Artificial life, i.e. computing arrangements simulating life based on simulated virtual individual or collective life forms, e.g. social simulations or particle swarm optimisation [PSO]
-
- G06T5/90—
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10016—Video; Image sequence
Abstract
本发明为基于滚动时域粒子群优化的视频去雾方法，包括：1.为了构造出具有极值的综合指标，以便用于评估出最佳处理效果的图像，采用综合隶属度法结合有效细节强度、结构信息和色度信息熵三个特征对去雾效果进行综合评估。2.采用粒子群优化算法得到图像评估指标最大值对应的去雾参数，该参数即为当前最佳去雾参数。3.基于周期和事件驱动对去雾参数进行混合滚动时域优化，以使去雾参数最优值随场景或环境变化而自适应调节。4.采用非线性叠加方法对去雾后图像进行亮度调整。本发明在保证视频去雾实时性的同时，可根据场景或环境的变化自适应优化去雾参数，使去雾效果达到最佳。
Description
(一)技术领域
本发明涉及一种对参数进行滚动优化的视频去雾方法。
(二)背景技术
70年代出现了滚动时域优化(Receding Horizon Optimization)预测控制，也称为模型预测控制。该控制方法以滚动窗口技术为主要思想，采取基于周期和事件驱动的混合调度策略，主要应用于工业过程控制和公共系统的动态调度。
相对于图像去雾，视频去雾对去雾的实时性提出了更高的要求：在视频去雾中，为了保持视频的帧率，视频图像的处理速度需控制在40ms以内。现有的视频监控去雾往往应用于固定场景，容易找到场景中固定的参考物体和固定的整体大气光参数位置；而无人机拍摄的视频中，由于拍摄的位置和场景不断移动，环境参数亦不断变化，以往针对固定场景的单幅图像的去雾方法不能达到最佳效果。本发明将粒子群优化算法与滚动时域优化相结合，提出了一种新的无人机视频去雾方法。
(三)发明内容
本发明将粒子群优化算法与滚动时域优化相结合，提出了一种新的无人机视频去雾方法，该方法可随场景的变化自适应优化去雾参数，使去雾效果达到最佳。
基于滚动时域粒子群优化的视频去雾方法包括如下步骤：
1.选取第一帧待去雾图像。
2.在估计大气环境光时输入n个可调参数ρi(i＝1,2,…,n)，且ρi∈(0.8,2.0)，分别针对n个ρi计算得到n个去雾图像。
3.对n个去雾图像进行图像评估。
4.采用粒子群优化算法得到图像评估指标最大值Qmax对应的参数ρg，该参数即为该帧图像最佳去雾参数，其所对应的去雾图像为最佳去雾图像。
5.对该最佳去雾图像进行亮度调整。
6.视频中所有待去雾图像是否处理完毕？若是，则结束去雾流程；若否，则继续步骤7。
7.选取下一帧待去雾图像，若该图像与前一次进行参数优化的图像帧数间隔小于25，则采用已由步骤4计算得到的前一帧去雾优化参数ρg计算该帧对应的去雾图像；若图像帧数间隔大于25但小于200，则继续步骤8；若图像帧数间隔大于或等于200，则返回步骤2重新计算该帧待去雾图像的最佳去雾参数ρg及对应的最佳去雾图像。
8.若相比于前一帧待去雾图像，该图像场景未发生跳转、环境也未发生较大改变，则继续采用已由步骤4计算得到的前一帧的参数ρg计算该帧对应的去雾图像；若该图像场景发生了跳转或者环境发生了较大的改变，则返回步骤2重新计算该帧待去雾图像的最佳去雾参数ρg及对应的最佳去雾图像。
9.转至步骤5。
本发明提出的视频去雾方法流程如图1所示。
本发明采用的技术方案：
1.所述步骤2中去雾图像计算方法为：
其中Fi(x)为无雾图像，H(x)为有雾图像，Li(x)为采用参数ρi估计的大气环境光，A0为全局大气光，Li(x)、A0的表达式分别为：
Li(x)＝min(min(ρimav,0.95)Mave(x),M(x)) (2)
式(2)-(3)中：M(x)为粗略估算的暗通道，ρi(i＝1,2,…,n)为可调节参数，mav∈[0,1]为M(x)中所有元素的均值，Mave(x)表示有雾图像的暗通道经过均值滤波的结果，Hc(x)为观察到的有雾图像的RGB颜色，c代表图像的RGB颜色通道之一。
2.为了构造出具有极值的综合指标，以便用于评估出最佳处理效果的图像，所述步骤3中的图像综合评估函数为：
Q＝(Lvalid)α(C)β(Scolor)γ (4)
其中，Lvalid为有效细节强度，C为结构信息，Scolor为色度信息熵，α、β、γ表示不同指标在综合评价中的权重，这里α＝β＝1，γ＝1.5。
3.所述步骤4中的粒子群优化算法为：
由n个粒子组成一个群落，在可调参数ρ的取值范围(0.8,2.0)内，由随机函数产生粒子ρi以及粒子速度vi；记第t个粒子迄今为止找到的最佳值为ρt，而整个粒子群搜索到的最佳值是个体极值中最好的，记录该值为ρg；通过个体和整体的最佳值更新另一个群落的个体粒子速度，表示为：
vi＝ωvi+c1r1(ρt-ρi)+c2r2(ρg-ρi) (5)
其中ω为惯性因子，其值为非负，c1、c2为学习因子，r1、r2为随机数；由于评估指标Q的计算比较耗时，为了提高去雾速度，本发明设定最大迭代次数作为循环中止条件。
4.所述步骤5中去雾后图像的亮度调整采用非线性叠加方法：
T(x)＝I(x)+k(1-I(x))I(x) (6)
其中k为调整系数，I(x)为原始图像，T(x)为亮度调整后的图像。
5.所述步骤8中图像场景的跳转或环境的改变采用如下方法判别：比较该图像的灰度图像像素均值和前一帧待去雾图像的像素均值，当像素均值变化超过设定值，则认为场景发生了跳转或者环境发生了较大的改变。
本发明将粒子群优化算法与滚动时域优化相结合，使无人机视频去雾可随场景或环境变化自适应优化去雾参数，不仅能使去雾效果达到最佳，也保证了视频去雾的实时性。
(四)附图说明
图1为本发明提出的视频去雾方法流程。
图2(a)为第80帧视频图像的待去雾图像和去雾图像，去雾参数最优值ρ＝1.32。
图2(b)为第150帧视频图像的待去雾图像和去雾图像，去雾参数最优值ρ＝1.49。
图2(c)为第340帧视频图像的待去雾图像和去雾图像，去雾参数最优值ρ＝1.48。
图2(d)为第620帧视频图像的待去雾图像和去雾图像，去雾参数最优值ρ＝1.49。
图2(e)为第916帧视频图像的待去雾图像和去雾图像，去雾参数最优值ρ＝1.42。
图2(f)为第1082帧视频图像的待去雾图像和去雾图像，去雾参数最优值ρ＝1.46。
图2(g)为第1217帧视频图像的待去雾图像和去雾图像，去雾参数最优值ρ＝1.53。
图2(h)为第2225帧视频图像的待去雾图像和去雾图像，去雾参数最优值ρ＝1.60。
图2(a)-图2(h)中：左图为待去雾视频图像，右图为采用本发明方法优化去雾参数ρ后计算得到的去雾视频图像。
图2(a)-图2(h)中采用本发明方法针对不同视频图像计算得到了不同的去雾参数ρ的最优值。
(五)具体实施方式
下面结合附图通过具体实施方式对本发明作进一步说明，但本发明的保护范围并不限于此。
实施中采用基于周期和事件驱动的混合滚动时域优化(如图1所示)：当采用基于周期的滚动时域优化时，图像间隔帧数为200帧；当采用基于事件驱动的滚动时域优化时，需同时满足场景发生变化和与上次优化的图像帧数间隔为25的两个条件。粒子群优化过程中：种群数目n＝3，迭代次数m＝4。亮度调整时，调整系数k＝7。
图2所示为航拍视频的去雾。图2(a)-图2(h)中左图为待去雾图像，右图为已去雾的清晰图像。随着无人机的飞行，场景和雾的浓度均发生变化，因此采用本发明计算出的去雾参数ρ的最优值也不同。
表1为本发明与固定ρ值方法去雾效果评估的对比。
表1.本发明滚动粒子群优化ρ值与固定ρ值去雾效果评估的对比
表1中：每一帧的第一行数据为待去雾图像的质量评估参数；第二行为采用文献[1]算法固定ρ值进行去雾，所得到的去雾图像质量评估参数；第三行为采用本发明的滚动粒子群优化后的ρ值进行去雾，所得到的去雾图像质量评估参数。
由表1可知，采用本发明的滚动粒子群优化后的ρ值进行去雾，所得到的去雾图像综合质量评估指标优于固定ρ值的文献[1]算法。
参考文献：
[1]南栋,毕笃彦,马时平等.基于分类学习的去雾后图像质量评价算法[J].自动化学报,2016,42(2):270-278.
Claims (6)
1.基于滚动时域粒子群优化的视频去雾方法，包括如下步骤：
(1)选取第一帧待去雾图像；
(2)在估计大气环境光时输入n个可调参数ρi(i＝1,2,…,n)，且ρi∈(0.8,2.0)，分别针对n个ρi计算得到n个去雾图像；
(3)对n个去雾图像进行图像评估；
(4)采用粒子群优化算法得到图像评估指标最大值Qmax对应的参数ρg，该参数即为该帧图像最佳去雾参数，其所对应的去雾图像为最佳去雾图像；
(5)对该最佳去雾图像进行亮度调整；
(6)视频中所有待去雾图像是否处理完毕？若是，则结束去雾流程，若否，则继续步骤7；
(7)选取下一帧待去雾图像，若该图像与前一次进行参数优化的图像帧数间隔小于25，则采用已由步骤4计算得到的前一帧去雾优化参数ρg计算该帧对应的去雾图像，若图像帧数间隔大于25但小于200，则继续步骤8，若图像帧数间隔大于或等于200，则返回步骤2重新计算该帧待去雾图像的最佳去雾参数ρg及对应的最佳去雾图像；
(8)若相比于前一帧待去雾图像，该图像场景未发生跳转、环境也未发生较大改变，则继续采用已由步骤4计算得到的前一帧的参数ρg计算该帧对应的去雾图像，若该图像场景发生了跳转或者环境发生了较大的改变，则返回步骤2重新计算该帧待去雾图像的最佳去雾参数ρg及对应的最佳去雾图像；
9.转至步骤5。
2.根据权利1所述视频去雾方法，其特征在于：所述步骤(2)中的去雾图像计算方法为：
其中Fi(x)为无雾图像，H(x)为有雾图像，Li(x)为采用参数ρi估计的大气环境光，A0为全局大气光，Li(x)、A0的表达式分别为：
Li(x)＝min(min(ρimav,0.95)Mave(x),M(x)) (2)
式(2)-(3)中：M(x)为粗略估算的暗通道，ρi(i＝1,2,…,n)为可调节参数，mav∈[0,1]为M(x)中所有元素的均值，Mave(x)表示有雾图像的暗通道经过均值滤波的结果，Hc(x)为观察到的有雾图像的RGB颜色，c代表图像的RGB颜色通道之一。
3.根据权利1所述视频去雾方法，其特征在于：所述步骤(3)中的图像综合评估函数为：
Q＝(Lvalid)α(C)β(Scolor)γ (4)
其中，Lvalid为有效细节强度，C为结构信息，Scolor为色度信息熵，α、β、γ表示不同指标在综合评价中的权重，这里α＝β＝1，γ＝1.5。
4.根据权利1所述视频去雾方法，其特征在于：所述步骤(4)中的粒子群优化算法为：
由n个粒子组成一个群落，在可调参数ρ的取值范围(0.8,2.0)内，由随机函数产生粒子ρi以及粒子速度vi；记第t个粒子迄今为止找到的最佳值为ρt，而整个粒子群搜索到的最佳值是个体极值中最好的，记录该值为ρg；通过个体和整体的最佳值更新另一个群落的个体粒子速度，表示为：
vi＝ωvi+c1r1(ρt-ρi)+c2r2(ρg-ρi) (5)
其中ω为惯性因子，其值为非负，c1、c2为学习因子，r1、r2为随机数；由于评估指标Q的计算比较耗时，为了提高去雾速度，本发明设定最大迭代次数作为循环中止条件。
5.根据权利1所述视频去雾方法，其特征在于：所述步骤(5)中去雾后图像的亮度调整采用非线性叠加方法：
T(x)＝I(x)+k(1-I(x))I(x) (6)
其中k为调整系数，I(x)为原始图像，T(x)为亮度调整后的图像。
6.根据权利1所述视频去雾方法，其特征在于：所述步骤(8)中图像场景的跳转或环境的改变采用如下方法判别：比较该图像的灰度图像像素均值和前一帧待去雾图像的像素均值，当像素均值变化超过设定值，则认为场景发生了跳转或者环境发生了较大的改变。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201811255864.2A CN109509155B (zh) | 2018-12-17 | 2018-12-17 | 基于滚动时域粒子群优化的视频去雾方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201811255864.2A CN109509155B (zh) | 2018-12-17 | 2018-12-17 | 基于滚动时域粒子群优化的视频去雾方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN109509155A true CN109509155A (zh) | 2019-03-22 |
| CN109509155B CN109509155B (zh) | 2021-10-15 |
Family
ID=65746048
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201811255864.2A Active CN109509155B (zh) | 2018-12-17 | 2018-12-17 | 基于滚动时域粒子群优化的视频去雾方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN109509155B (zh) |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102611828A (zh) * | 2012-01-11 | 2012-07-25 | 四川大学 | 一种雾天连续视频图像实时性增强处理系统 |
| CN104680494A (zh) * | 2015-03-14 | 2015-06-03 | 西安电子科技大学 | 基于人工加雾的最佳雾图复原方法 |
| CN104915933A (zh) * | 2015-06-01 | 2015-09-16 | 长安大学 | 一种基于apso-bp耦合算法的雾天图像增强方法 |
| CN106780384A (zh) * | 2016-12-15 | 2017-05-31 | 上海交通大学 | 一种适用冷光源腹腔影像参数自适应的实时去烟雾方法 |
| CN108717686A (zh) * | 2018-04-04 | 2018-10-30 | 华南理工大学 | 一种基于暗通道先验的实时视频去雾方法 |
-
2018
- 2018-12-17 CN CN201811255864.2A patent/CN109509155B/zh active Active
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102611828A (zh) * | 2012-01-11 | 2012-07-25 | 四川大学 | 一种雾天连续视频图像实时性增强处理系统 |
| CN104680494A (zh) * | 2015-03-14 | 2015-06-03 | 西安电子科技大学 | 基于人工加雾的最佳雾图复原方法 |
| CN104915933A (zh) * | 2015-06-01 | 2015-09-16 | 长安大学 | 一种基于apso-bp耦合算法的雾天图像增强方法 |
| CN106780384A (zh) * | 2016-12-15 | 2017-05-31 | 上海交通大学 | 一种适用冷光源腹腔影像参数自适应的实时去烟雾方法 |
| CN108717686A (zh) * | 2018-04-04 | 2018-10-30 | 华南理工大学 | 一种基于暗通道先验的实时视频去雾方法 |
Non-Patent Citations (6)
| Title |
|---|
| CHENGYAN WANG 等: "PSO-based Parameters Selection for the Bilateral Filter in Image Denoising", 《ACM》 * |
| 刘倩 等: "基于单幅图像的快速去雾算法", 《第25届中国控制与决策会议论文集》 * |
| 南栋 等: "基于分类学习的去雾后图像质量评价算法", 《自动化学报》 * |
| 张霓 等: "基于压缩感知的快速SIFT准稠密匹配算法", 《浙江工业大学学报》 * |
| 李大鹏 等: "图像去雾的无参考客观质量评测方法", 《中国图象图形学报》 * |
| 李帅 等: "基于逐层搜索法与快速导向滤波的图像去雾算法", 《青岛大学学报（自然科学版）》 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN109509155B (zh) | 2021-10-15 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US11195258B2 (en) | Device and method for automatic image enhancement in vehicles | |
| CN102202163B (zh) | 一种监控视频的自适应增强方法及其装置 | |
| CN103747213B (zh) | 一种基于运动目标的交通监控视频实时去雾方法 | |
| CN104867121B (zh) | 基于暗原色先验和Retinex理论的图像快速去雾法 | |
| CN109977774B (zh) | 一种基于自适应卷积的快速目标检测方法 | |
| US8903130B1 (en) | Virtual camera operator | |
| CN110738309A (zh) | Ddnn的训练方法和基于ddnn的多视角目标识别方法和系统 | |
| Gao et al. | AQ360: UAV-aided air quality monitoring by 360-degree aerial panoramic images in urban areas | |
| CN110514298A (zh) | 一种基于地基云图的太阳辐照强度计算方法 | |
| CN110288550A (zh) | 基于先验知识引导条件生成对抗网络的单张图像去雾方法 | |
| CN103065285A (zh) | 图像数据的去雾方法及装置 | |
| CN108564538A (zh) | 一种基于环境光差异的图像去雾霾方法及系统 | |
| CN103065284A (zh) | 图像数据的去雾方法及装置 | |
| CN103226809B (zh) | 图像除雾装置和图像除雾方法 | |
| CN102088539A (zh) | 一种预拍照画质评价方法和系统 | |
| CN108345835A (zh) | 一种基于仿复眼感知的目标识别方法 | |
| CN104282013B (zh) | 一种用于前景目标检测的图像处理方法及装置 | |
| CN111028187A (zh) | 一种光线自适应的机载双光图像侦察装置及方法 | |
| CN109509155A (zh) | 基于滚动时域粒子群优化的视频去雾方法 | |
| CN106127813A (zh) | 基于视觉感知能量的监控视频运动片段分割方法 | |
| CN104915933A (zh) | 一种基于apso-bp耦合算法的雾天图像增强方法 | |
| CN111598812B (zh) | 一种基于rgb和hsv双颜色空间的图像去雾方法 | |
| CN110490053B (zh) | 一种基于三目摄像头深度估计的人脸属性识别方法 | |
| CN109978858B (zh) | 一种基于前景检测的双框架缩略图像质量评价方法 | |
| CN112001968B (zh) | 相机定位方法及装置、存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| EE01 | Entry into force of recordation of patent licensing contract | ||
| EE01 | Entry into force of recordation of patent licensing contract |
Application publication date: 20190322 Assignee: Hangzhou Yuanyi Information Technology Development Co.,Ltd. Assignor: JIANG University OF TECHNOLOGY Contract record no.: X2023980040095 Denomination of invention: A Video Defogging Method Based on Rolling Time Domain Particle Swarm Optimization Granted publication date: 20211015 License type: Common License Record date: 20230821 |
|
| EE01 | Entry into force of recordation of patent licensing contract | ||
| EE01 | Entry into force of recordation of patent licensing contract |
Application publication date: 20190322 Assignee: Hangzhou Youshu Cloud Travel Information Technology Co.,Ltd. Assignor: JIANG University OF TECHNOLOGY Contract record no.: X2023980054817 Denomination of invention: Video dehazing method based on rolling time-domain particle swarm optimization Granted publication date: 20211015 License type: Common License Record date: 20240102 Application publication date: 20190322 Assignee: Hangzhou Tianyin Computer System Engineering Co.,Ltd. Assignor: JIANG University OF TECHNOLOGY Contract record no.: X2023980054814 Denomination of invention: Video dehazing method based on rolling time-domain particle swarm optimization Granted publication date: 20211015 License type: Common License Record date: 20240102 |
|
| EE01 | Entry into force of recordation of patent licensing contract | ||
| EE01 | Entry into force of recordation of patent licensing contract |
Application publication date: 20190322 Assignee: HANGZHOU YONGGUAN NETWORK TECHNOLOGY CO.,LTD. Assignor: JIANG University OF TECHNOLOGY Contract record no.: X2024980000361 Denomination of invention: Video dehazing method based on rolling time-domain particle swarm optimization Granted publication date: 20211015 License type: Common License Record date: 20240109 |