CN111091500B - 点光源多散射模型图像复原方法 - Google Patents
点光源多散射模型图像复原方法 Download PDFInfo
- Publication number
- CN111091500B CN111091500B CN201811237981.6A CN201811237981A CN111091500B CN 111091500 B CN111091500 B CN 111091500B CN 201811237981 A CN201811237981 A CN 201811237981A CN 111091500 B CN111091500 B CN 111091500B
- Authority
- CN
- China
- Prior art keywords
- image
- scattering
- apsf
- point
- multiple scattering
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 31
- 230000000694 effects Effects 0.000 claims abstract description 23
- 238000003384 imaging method Methods 0.000 claims abstract description 13
- 238000009792 diffusion process Methods 0.000 claims abstract description 10
- 238000004364 calculation method Methods 0.000 claims abstract description 6
- 239000002245 particle Substances 0.000 claims abstract description 6
- 230000003287 optical effect Effects 0.000 claims description 11
- 230000015556 catabolic process Effects 0.000 claims description 6
- 238000006731 degradation reaction Methods 0.000 claims description 6
- 230000000007 visual effect Effects 0.000 claims description 5
- 238000011084 recovery Methods 0.000 claims description 4
- NAWXUBYGYWOOIX-SFHVURJKSA-N (2s)-2-[[4-[2-(2,4-diaminoquinazolin-6-yl)ethyl]benzoyl]amino]-4-methylidenepentanedioic acid Chemical compound C1=CC2=NC(N)=NC(N)=C2C=C1CCC1=CC=C(C(=O)N[C@@H](CC(=C)C(O)=O)C(O)=O)C=C1 NAWXUBYGYWOOIX-SFHVURJKSA-N 0.000 claims 1
- 238000005286 illumination Methods 0.000 abstract description 8
- 230000002401 inhibitory effect Effects 0.000 abstract description 2
- 238000002834 transmittance Methods 0.000 abstract description 2
- 230000006870 function Effects 0.000 description 5
- 238000011156 evaluation Methods 0.000 description 3
- 238000010276 construction Methods 0.000 description 1
- 230000004313 glare Effects 0.000 description 1
- 239000008187 granular material Substances 0.000 description 1
- 125000001475 halogen functional group Chemical group 0.000 description 1
- 238000001303 quality assessment method Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/73—Deblurring; Sharpening
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
Landscapes
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Image Processing (AREA)
Abstract
涉及一种基于多散射理论的点光源多散射模型图像复原方法。目前常用于图像去雾的大气散射模型中，忽略了相邻光源散射后到达相机传感器对成像质量的影响，使夜间或暗照度图像去雾效果不理想，尤其对于夜间图像。因此，我们根据光线成像的多散射理论提出了一种新的图像复原模型。在该模型中，我们不再考虑大气光，也不需要计算精准的透射率，只是把图像中的每个像素都是看成是点光源，利用大气点扩散函数模拟像素点光源照到颗粒产生的多散射，通过抑制多散射提高图像复原的质量。本复原结果不论对低照度、夜间雾霾图像以及夜间车载视频的复原更加清晰，细节更丰富，颜色更自然，尤其是对于夜间图像，且计算速度快。
Description
技术领域
本文涉及一种基于多散射理论的点光源多散射模型图像复原方法，该方法不论对低照度、夜间雾霾图像以及夜间车载视频的复原更加清晰，细节更丰富，颜色更自然，尤其是对于夜间图像，且计算速度快。
背景技术
图像在拍摄过程中经常会受到恶劣的天气条件影响而使图像的质量下降，比如雾霾天气对光线的衰减，夜晚拍摄时光照较弱等这些问题都会使成像受到干扰，降低图像质量。所以对图像复原方法的研究有着重要的实际意义。
通常天气条件对图像拍摄的影响主要在于空气中的颗粒对光线传播的衰减和散射。而雾霾等恶劣天气会使空气中颗粒增多，增大，从而更加严重的影响了成像结果。很多图像去雾算法通过使用大气散射模型来复原图像，这些去雾算法先利用先验知识估计参数，然后根据模型复原图像。这类算法对于白天雾霾中的图像复原效果不错，但从光线成像的原理上分析，该模型并没有完全考虑到图像降质的所有因素。对于夜间图像，利用大气散射模型复原效果并不理想，原因在于该模型中认为太阳光代表白天的大气光，空气中颗粒的散射作用与太阳光相比可忽略不计；而夜间的大气光则是由星、月和灯组成的环境光，颗粒散射作用与这样微弱的环境光相比，对成像的影响就不可忽略了。
该方法通过分析光线成像原理和多散射理论，提出了一种新的图像复原模型。首先分析了雾霾图像降质的原因，并利用大气点扩散函数模拟多散射以消除其影响，从而得到清晰的复原图像。相比一般的图像复原或增强算法，该模型一方面对图像清晰度恢复的更好，细节更丰富，另一方面普适性强，可对白天、夜间雾霾图像、弱照度图像获得比较理想的复原图。
发明内容
本文的目的是解决传统的去雾算法在夜间和低照度等恶劣天气下去雾效果不佳的问题，为此设计了一种新的图像复原方法。为此，本文采用如下的技术方案。
一种基于点光源多散射模型的图像复原方法，包括下列步骤：
1.首先利用广义高斯分布来逼近大气点扩散函数(APSF)；
2.利用步骤1计算的大气点扩散函数，模拟多散射图像；
3.将原图与多散射图像作差，得到细节图像，并利用APSF模板与原图反卷积，得到消除多散射影响的粗估计图；
到消除多散射影响的粗估计图；
4.步骤3中得到的细节图像和粗估计图像相加，得到复原图像。
本文具有如下的技术效果：
1.算法运行时间快。本文没有采用大气散射去雾模型，去掉了大量的模型构建运算时间，程序简洁，运行时间比传统算法更快。
2.通过本文的方法复原的图像更加清晰，细节更丰富，颜色更自然，尤其是对于夜间图像。
附图说明
图1：本文的图像复原方法流程图。
图2：模拟多散射过程说明图。
图3：低照度图像复原结果对比图。3-1原图，3-2其它方法的结果，3-3该方法的结果。
图4：夜间雾霾图像复原结果对比图。4-1原图，4-2其它方法的结果，4-3该方法的结果。
图5：夜间车载视频复原结果对比图。5-1原图，5-2其它方法的结果，5-3该方法的结果。
具体实施方式
本文的流程如图1所示，该方法首先利用广义高斯分布来逼近APSF，然后确定各个像素点对应的散射参数q和光学厚度T，确定每个点对应的APSF模板，并根据多散射理论，计算出多散射图像来模拟多散射的影响，再将多散射图与原图作差得出细节图像，细节图像含有大量的细节和边缘信息，最后用APSF与原图反卷积，获得粗估计的复原图像，与细节图像相加，得到最后的复原图像。下面结合附图，对本文技术方案的具体实施过程加以说明。
1.大气点扩散函数(APSF)的计算
目前常用于图像去雾的大气散射模型如下式所示：
I(x)＝J(x)t(x)+A(1-t(x))
没有考虑成像视野中各发光物体的多散射而产生的相互影响，大气中颗粒越多，该影响会越严重，会导致各光源在成像平面上的光线相互叠加，从而在图像上形成光晕，因此我们提出了一个新的点光源多散射模型，尝试通过抑制多散射，来恢复图像的细节，从而提高图像质量；
首先利用广义高斯分布来逼近APSF：
其中k是系数，这里我们设置为1，q是散射参数，代表不同天气情况下空气对光的散射效果，通常空气可见度越差，q值越小；T是光学厚度，光学厚度不同，光的扩散效果也不同，一般在同一幅图像中q值是不变的；图像中每个像素点的光学厚度T与场景距离有关，由于每个点的场景距离并不相同，因此APSF卷积模板应该也是随着T的变化而变化，即图中每个像素点都应该有与之相对应的APSF模板。T的计算可以根据下式来估计得出，为了提高运算效率，我们实际只计算了T＝1，2和4时对应的APSF模板，其他情况，我们做近似处理；
t(x)即透射率，由于这里只需要近似出三个T值，所以根据暗通道先验算法，粗略估计出t(x)的值即可，并不需要计算出精准的透射率，大大节省了运算时间；
2.模拟多散射图像
我们把降质图I表示为物体本身反射的光I0与其多散射Im影响相加的结果：
I＝I0+Im
并用下式描述多散射Im：
其中，T(φ)表示光学厚度，APSFT(φ)表示不同光学厚度下的大气点扩散函数模板，每个点的多散射效果Im(x，y)就是I0在Ω邻域内所有点对应的APSFT(φ)之和，这里Ω设为25*25，不包括I0(x，y)本身，Im的具体计算过程以图2为例，假设原图I0中a、b、c三个像素对应的3x3的APSF模板分别为A、B、C，模板权值如图所示，它们对像素点x的影响如图中所表示，灰度值与其对应的模板相乘，得新的模板并依照原图中的位置关系相加，以此类推，遍历所有像素，就得到模拟的多散射图像Im。由于此时APSF模板较大，按照公式(8)计算后的值可能会超过图像显示的最大值255，所以我们设置一个系数λ(一般取值0.02～0.06)来作为限制。由于清晰图I0未知，所以我们用降质图I来代替I0以近似估计Im：
是根据I得到的多散射图的估计值，透射率的优化。
3.获得细节图像
再确定了多散射图像后，将原图与多散射图像相减后，得到细节图像I′：
4.复原图象
为了根据光的线性叠加性，点光源因多散射产生的光晕可以看成是相互叠加的结果，即可以通过下式计算得到：
I＝I0*APSF
其中，I0表示物体本身反射出的光。每个点光源与APSF模板卷积后，得到对应的点扩散结果，各个点扩散结果相互叠加得到最终的成像结果I，这一过程可以表示为卷积的形式；然后我们对I使用25*25大小的APSF模板进行反卷积后，就可以获得消除多散射的粗估计值
加上细节信息I′，就得到细节增强后的图像J，
复原后的图像如图3，4，5所示。通过主观比较发现，我们的算法在保证了图像细节和清晰度的同时，对光源炫光的抑制以及色彩的恢复都有不错的效果。这是因为本文算法是应用反卷积消除多散射的影响获得了更多的细节信息，因此当低照度图复原后，有效抑制了光晕扩散的同时并不会使图像过增强。
表1 图像复原客观质量评价
如表1所示，我们还使用了可视边缘r和过饱和度比σ来作为客观评价参数，并分别测试了其它算法和我们算法的低照度以及夜间雾霾图像复原结果，对于可视边缘r，测试数据越大则图像恢复的细节信息越多，效果越好，而过饱和度比σ表示图中颜色失真
如表1所示，我们还使用了可视边缘r和过饱和度比σ来作为客观评价参数，并测试了一些图像，从表中可以看出，本文算法的客观评价更好。
因为本文的夜间算法没有采用大气散射模型，在运算速度上得到了很大的提升。对于一张大小为540*360的图像，在运行环境为windows10操作系统，i5-6300QHCPU@2.30GHz处理器，8G内存，GTX960m显卡，本文算法的运行时间为0.649秒。
本文提出一种点光源多散射模型图像复原方法。通过与现有主流算法的主客观比较和分析，所提方法的去雾效果具有噪声低和色彩恢复度高的优点，尤其是在夜间图像和低照度图像上复原效果很好，丰富了细节且运行时间快。
Claims (1)
1.一种基于多散射理论的图像复原方法，所述方法包括以下步骤：
A.大气点扩散函数(APSF)的计算
图像去雾的大气散射模型如公式(1)所示：
I(X)＝J(X)t(X)+A(1-t(X)) (1)
其中I(X)为拍摄到的降质图像，J(X)为复原图，A为大气光，t(X)为透射率；该模型对白天图像去雾有不错的效果，但对夜间图像去雾复原效果很差，这是由于该模型没有考虑成像视野中各发光物体的多散射产生的相互影响，大气中颗粒越多，该影响会越严重，会导致各光源在成像平面上的光线相互叠加，从而在图像上形成光晕；因此我们提出了一个新的点光源多散射模型，利用大气点扩散函数(APSF)来模拟多散射，再通过抑制多散射来恢复图像的细节，从而提高图像质量；
首先利用广义高斯分布来逼近APSF：
其中k是系数，这里我们设置为1，q是散射参数，代表不同天气情况下空气对光的散射效果，空气可见度越差，q值越小；T是光学厚度，光学厚度不同，光的扩散效果也不同，在同一幅图像中q值是不变的；图像中每个像素点的光学厚度T与场景距离有关，由于每个点的场景距离并不相同，因此APSF卷积模板也是随着T的变化而变化，即图中每个像素点都有与之相对应的APSF模板；T的计算可以根据公式(3)来估计得出，为了提高运算效率，我们实际只计算了T＝1，2和4时对应的APSF模板；
t(X)即公式(1)中的透射率，由于这里只需要近似出三个T(X)值，所以根据暗通道先验算法，粗略估计出t(X)的值即可，并不需要计算出精准的透射率；
B.模拟多散射
我们把降质图I表示为物体本身反射的光I0与其多散射Im影响相加的结果，如公式(4)，并用公式(5)描述多散射Im：
I＝I0+Im (4)
其中，T(φ)表示光学厚度，APSFT(φ)表示不同光学厚度下的大气点扩散函数模板，每个点的多散射效果Im(x，y)就是I0在Ω邻域内所有点对应的APSFT(φ)之和，这里Ω设为25*25，不包括I0(x，y)本身，由于此时APSF模板较大，按照公式(3)计算后的值会超过图像显示的最大值255，所以我们设置一个系数λ：取值0.02～0.06来作为限制；
C.获得细节图像
由于物体本身反射的光形成的图像I0，即清晰图I0未知，所以我们用降质图I来代替I0以近似估计Im，如公式(6)：
是根据I得到的多散射图的估计值；
由于是根据I估计得到的，所以并不能得到清晰的图像I0，但用式(7)得到的图像I′含有许多边缘和细节信息：
D.复原图像
根据光的线性叠加性，点光源因多散射产生的光晕可以看成是相互叠加的结果，即可以通过(8)计算得到：
I＝I0*APSF (8)
其中，I0表示物体本身反射出的光；每个点光源与APSF模板卷积后，得到对应的点扩散结果，各个点扩散结果相互叠加得到最终的成像结果I，这一过程可以表示为卷积的形式；然后我们通过公式(9)对I使用25*25大小的APSF模板进行反卷积后，就可以获得消除多散射的粗估计值加上细节信息I′，就得到细节增强后的图像J，如公式(10)
。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201811237981.6A CN111091500B (zh) | 2018-10-24 | 2018-10-24 | 点光源多散射模型图像复原方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201811237981.6A CN111091500B (zh) | 2018-10-24 | 2018-10-24 | 点光源多散射模型图像复原方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN111091500A CN111091500A (zh) | 2020-05-01 |
| CN111091500B true CN111091500B (zh) | 2024-03-12 |
Family
ID=70391527
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201811237981.6A Active CN111091500B (zh) | 2018-10-24 | 2018-10-24 | 点光源多散射模型图像复原方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111091500B (zh) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111882496A (zh) * | 2020-07-06 | 2020-11-03 | 苏州加乘科技有限公司 | 一种基于递归神经网络的夜间图像去雾方法 |
Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102254306A (zh) * | 2011-07-14 | 2011-11-23 | 北京邮电大学 | 一种基于图像简化分层模型的实时图像去雾方法 |
| CN102436643A (zh) * | 2011-11-02 | 2012-05-02 | 浙江大学 | 面向大气散射邻近效应的图像去雾方法 |
| CN103065288A (zh) * | 2013-01-21 | 2013-04-24 | 信帧电子技术（北京）有限公司 | 图像去雾方法及装置 |
| CN103914813A (zh) * | 2014-04-10 | 2014-07-09 | 西安电子科技大学 | 彩色雾霾图像去雾与光照补偿的复原方法 |
| CN104091306A (zh) * | 2014-04-30 | 2014-10-08 | 武汉博睿达信息技术有限公司 | 一种基于数学形态学和多分辨率融合的图像去雾方法 |
| CN105913387A (zh) * | 2016-04-01 | 2016-08-31 | 浙江大学 | 基于Angstrom指数的可见光及近红外多波段遥感图像去雾方法 |
| CN106651939A (zh) * | 2016-09-14 | 2017-05-10 | 天津工业大学 | 基于大气散射原理构建模型检测夜间交通视频多景深车灯的方法 |
| CN107784636A (zh) * | 2017-09-29 | 2018-03-09 | 中国科学院长春光学精密机械与物理研究所 | 一种远距离海上可见光图像去雾处理方法 |
Family Cites Families (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US8885962B1 (en) * | 2012-07-23 | 2014-11-11 | Lockheed Martin Corporation | Realtime long range imaging scatter reduction |
| KR102104403B1 (ko) * | 2013-05-28 | 2020-04-28 | 한화테크윈 주식회사 | 단일영상 내의 안개 제거 방법 및 장치 |
-
2018
- 2018-10-24 CN CN201811237981.6A patent/CN111091500B/zh active Active
Patent Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102254306A (zh) * | 2011-07-14 | 2011-11-23 | 北京邮电大学 | 一种基于图像简化分层模型的实时图像去雾方法 |
| CN102436643A (zh) * | 2011-11-02 | 2012-05-02 | 浙江大学 | 面向大气散射邻近效应的图像去雾方法 |
| CN103065288A (zh) * | 2013-01-21 | 2013-04-24 | 信帧电子技术（北京）有限公司 | 图像去雾方法及装置 |
| CN103914813A (zh) * | 2014-04-10 | 2014-07-09 | 西安电子科技大学 | 彩色雾霾图像去雾与光照补偿的复原方法 |
| CN104091306A (zh) * | 2014-04-30 | 2014-10-08 | 武汉博睿达信息技术有限公司 | 一种基于数学形态学和多分辨率融合的图像去雾方法 |
| CN105913387A (zh) * | 2016-04-01 | 2016-08-31 | 浙江大学 | 基于Angstrom指数的可见光及近红外多波段遥感图像去雾方法 |
| CN106651939A (zh) * | 2016-09-14 | 2017-05-10 | 天津工业大学 | 基于大气散射原理构建模型检测夜间交通视频多景深车灯的方法 |
| CN107784636A (zh) * | 2017-09-29 | 2018-03-09 | 中国科学院长春光学精密机械与物理研究所 | 一种远距离海上可见光图像去雾处理方法 |
Non-Patent Citations (5)
| Title |
|---|
| Jing Zhang等.Nighttime haze removal based on a new imaging model.2014 IEEE International Conference on Image Processing (ICIP).2015,第4557-4561页. * |
| Kaiming He等.Single Image Haze Removal Using Dark Channel Prior .IEEE transactions on pattern analysis and machine intelligence.2010,第33卷第2341-2353页. * |
| Rui Wang等.Haze removal based on multiple scattering model with superpixel algorithm .Signal Processing.2016,第127卷第24-36页. * |
| 汤春明等.单幅夜间弱照度雾霾图像的复原算法.计算机辅助设计与图形学学报.2018,第30卷(第3期),第459-467页. * |
| 王睿 ; 李蕊 ; 廉小亲 ; .基于大气多散射模型和超像素分割的图像去雾.光子学报.2016,第45卷(第04期),第124-130页. * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN111091500A (zh) | 2020-05-01 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110232666B (zh) | 基于暗原色先验的地下管道图像快速去雾方法 | |
| Tang et al. | Investigating haze-relevant features in a learning framework for image dehazing | |
| CN106910175B (zh) | 一种基于深度学习的单幅图像去雾算法 | |
| Tao et al. | Low-light image enhancement using CNN and bright channel prior | |
| CN108229525B (zh) | 神经网络训练及图像处理方法、装置、电子设备和存储介质 | |
| CN108734670B (zh) | 单幅夜间弱照度雾霾图像的复原方法 | |
| TWI514323B (zh) | 基於混合暗通道先驗的影像除霧方法及其系統 | |
| CN102930514B (zh) | 基于大气物理散射模型的快速图像去雾方法 | |
| CN112734650B (zh) | 一种基于虚拟多曝光融合的不均匀光照图像增强方法 | |
| CN107292830B (zh) | 低照度图像增强及评价方法 | |
| CN110135434B (zh) | 基于颜色线模型的水下图像质量提升方法 | |
| CN110544213A (zh) | 一种基于全局和局部特征融合的图像去雾方法 | |
| KR20140140163A (ko) | 사용자 제어가 가능한 거듭제곱근 연산자를 이용한 안개영상 개선 장치 | |
| Wang et al. | Variational single nighttime image haze removal with a gray haze-line prior | |
| CN104272347A (zh) | 去除包含在静止图像中的雾的图像处理装置及其方法 | |
| TW201435806A (zh) | 影像還原方法 | |
| CN108765323A (zh) | 一种基于改进暗通道与图像融合的柔性去雾方法 | |
| CN116823628A (zh) | 一种图像处理方法和图像处理装置 | |
| CN111091500B (zh) | 点光源多散射模型图像复原方法 | |
| KR20140137832A (ko) | 전달률 하한치를 이용한 안개영상 개선 장치 | |
| CN110852971B (zh) | 基于暗原色先验和Retinex的视频去雾方法及存储介质 | |
| CN112825189B (zh) | 一种图像去雾方法及相关设备 | |
| Kim et al. | Enhancement of image degraded by fog using cost function based on human visual model | |
| KR20180075753A (ko) | 휘도-색차신호 색좌표계에서 안개/야간 영상의 가시성 향상을 위한 영상 시스템 | |
| Roy et al. | Modeling of Haze image as Ill-posed inverse problem & its solution |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |