CN111640082A - 一种基于高斯混合模型与暗通道理论的水下图像恢复方法 - Google Patents

一种基于高斯混合模型与暗通道理论的水下图像恢复方法 Download PDF

Info

Publication number
CN111640082A
CN111640082A CN202010517431.0A CN202010517431A CN111640082A CN 111640082 A CN111640082 A CN 111640082A CN 202010517431 A CN202010517431 A CN 202010517431A CN 111640082 A CN111640082 A CN 111640082A
Authority
CN
China
Prior art keywords
image
background
distribution
value
model
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010517431.0A
Other languages
English (en)
Other versions
CN111640082B (zh
Inventor
胡凯
张彦雯
刘佳
刘卿卿
刘云平
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nanjing University of Information Science and Technology
Original Assignee
Nanjing University of Information Science and Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nanjing University of Information Science and Technology filed Critical Nanjing University of Information Science and Technology
Priority to CN202010517431.0A priority Critical patent/CN111640082B/zh
Publication of CN111640082A publication Critical patent/CN111640082A/zh
Application granted granted Critical
Publication of CN111640082B publication Critical patent/CN111640082B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/73—Deblurring; Sharpening
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/90—Determination of colour characteristics
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02A—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
    • Y02A90/00—Technologies having an indirect contribution to adaptation to climate change
    • Y02A90/30—Assessment of water resources

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于高斯混合模型与暗通道理论的水下图像恢复方法，包括以下步骤：步骤（1）：首先利用高斯混合模型对水下图像中的水体后景进行目标提取；步骤（2）：然后利用工程化快速估计模块解决运动相机拍摄动态背景的问题，以及减少计算量的工程化问题；步骤（3）：最后利用暗通道还原模块对水下图像进行恢复。本发明基于高斯混合模型区分水体背景，准确计算出每个通道的大气光值，然后用暗通道理论还原图片并进行输出，从而达到最优的效果，提高了水下图像还原的质量。

Description

一种基于高斯混合模型与暗通道理论的水下图像恢复方法
技术领域
本发明涉及一种水下机器人的图像恢复方法，具体涉及一种基于高斯混合模型与暗通道理论的水下图像恢复方法。
背景技术
水下机器人是开发海洋资源的重要工具，而视觉是其重要的感知手段之一。但水下图像在获取的时候，由于光在水下传播过程中，受到了水体对不同波长光的不同吸收强度作用影响、以及水中悬浮物质对光的散射作用影响，从而导致了严重的降质，因此十分需要对水下图像进行恢复工作。
在现有的水下图像恢复方法中，基于暗通道理论的一系列算法，由于其具有良好的物理学基础，以及较好的还原效果，受到了广泛的认可。但是，该理论存在一个问题，就是在使用其进行还原时，它的一个重要参数大气光值的计算方式为：取其暗通道图像灰度值最大的0.1％的像素点对应于原输入图像的像素位置的每个通道的灰度值的平均值，从而计算出每个通道的大气光值。而在水下机器人在水下作业时，非水体背景的亮度高于水体背景部分的情况出现概率很大，例如常见的鱼肚、以及水下机器人的主动光源带来的近景对象的过度曝光。
如果需要把这种问题区分掉，那么就需要主动寻找水体部分的区域，那么就需要寻找前景(例如鱼等移动目标)和后景(水体或者礁石)，然后在后景中寻找大气光值。但是水体在视频中往往动态变化，波光粼粼的，是一种动态背景，在动态背景的寻找中，基于高斯混合模型的算法是一种经典的算法，它可以有效的在视频中区分前景和背景，这样就可以把背景区分开来后，计算出每个通道的大气光值。
同时，在应用高斯混合模型的时候，存在两个条件，一是它是适合固定相机拍摄动态背景的条件下使用，二是它对计算量要求比较高。水下机器人在巡游的过程中，不是一个固定状态，而且水下机器人的计算量一般比较小，所以必须要解决运动相机拍摄动态背景的问题，以及减少计算量这两个工程化问题。
因此，以上问题亟需解决。
发明内容
本发明要解决的技术问题是提供一种基于高斯混合模型与暗通道理论的水下图像恢复方法，基于高斯混合模型区分水体背景，准确计算出每个通道的大气光值，然后用暗通道理论还原图片并进行输出，从而达到最优的效果，提高了水下图像还原的质量。
为解决上述技术问题，本发明采取如下技术方案：本发明的一种基于高斯混合模型与暗通道理论的水下图像恢复方法，其创新点在于包括以下步骤：
步骤(1)：首先利用高斯混合模型对水下图像中的水体后景进行目标提取；
步骤(2)：然后利用工程化快速估计模块解决运动相机拍摄动态背景的问题，以及减少计算量的工程化问题；
步骤(3)：最后利用暗通道还原模块对水下图像进行恢复。
优选的，在上述步骤(1)中，高斯混合模型判断水体前后景是基于像素样本统计信息的背景表示方法，利用像素在较长时间内大量样本值的概率密度统计信息来表示背景，然后使用统计差分进行目标像素判断，并对复杂动态背景进行建模。
优选的，在上述步骤(1)中，水下图像的每一个像素点按不同权值的多个高斯分布叠加来建模，每种高斯分布对应一个产生像素点所呈现颜色的状态，各个高斯分布的权值和分布参数随时间更新；当处理彩色图像时，假定图像像素点红R、绿G、蓝B三色通道相互独立并具有相同的方差；
对于随机变量x的观测数据集{x1，x2，...，xN}，xt＝(Rt，Gt，Bt)为t时刻像素的样本，其中t＝1～N，则单个采样点xt服从的混合高斯分布概率密度函数为：
Figure BDA0002530680890000031
Figure BDA0002530680890000032
Figure BDA0002530680890000033
其中，k为高斯分布的数量，i＝1～k；η(xt，μ(i，t)，τ(i，t))为第t时刻的第i个高斯分布的参数，μ(i，t)为其均值，τ(i，t)为其协方差矩阵，
Figure BDA0002530680890000034
为其方差，I为三维单位矩阵，w(i，t)为第t时刻的第i个高斯分布的权重。
优选的，在上述步骤(1)中，高斯混合模型进行目标提取的具体流程为：(1.1)每个新像素值xt与当前k个模型按公式(4)进行比较，直至找到匹配新像素值的分布模型，即同该分布模型的均值偏差在2.5个σ以内；
|xt-μ(i，t-1)|≤2.5σ (4)
(1.2)当匹配的分布模型符合后景要求时，则该像素点属于后景；否则属于前景；
(1.3)将每个分布模型的权值按公式(5)进行更新，然后将每个分布模型的权重进行归一化；
w(k，t)＝(1-α)*w(k，t-1)+α*M(k，t) (5)
其中，α是学习速率；对于匹配的分布模型设定M(k，t)＝1，否则M(k，t)＝0；(1.4)未匹配的分布模型的均值μ与标准差σ不变，而匹配分布模型的参数根据以下公式进行更新；
ρ＝α*η(xt|(μk，σk)) (6)
μt＝(1-ρ)*μt-1+ρ*xt (7)
Figure BDA0002530680890000041
(1.5)上述步骤(1.1)中没有匹配到任何分布模型的，则权重最小的分布模型被替换，即该分布模型的均值为当前像素值，标准差为初始较大值，权重为较小值；
(1.6)每个分布模型根据w/α2为标准，按降序排列，即权重大且标准差小的分布模型排列靠前；
(1.7)选择上述步骤(1.6)中前B个分布模型作为后景，且B满足公式：
Figure BDA0002530680890000042
其中，B为满足
Figure BDA0002530680890000043
的最小高斯分布的个数，T为后景在分布模型中的比例阈值，表示在视频中背景出现的概率；
当T取值过小时，则只有极少数的分布模型满足后景条件，高斯混合模型将降为单高斯模型；当T取值较大时，则有更多的分布模型模拟后景模型，对动态背景的适应性也较强；如果当前像素点与B个分布模型中至少有一个匹配，则该像素点被判为后景AreaB的像素之一，否则判为前景AreaF的像素之一；最后所有的像素点构成后景AreaB和前景AreaF。
优选的，在上述步骤(2)中，工程化快速估计模块解决运动相机拍摄动态背景的具体流程为：
(2.1.1)首先控制水下机器人每隔一段时间悬浮在水中，相机朝上拍摄，并保证画面中大多数为水体；
(2.1.2)连续拍摄MM张图片，并按照上述步骤(1)得到MM个后景AreaB(mmi)，其中mmi＝1～MM；
(2.1.3)取MM个后景AreaB(mmi)中的交集部分作为最终的后景AreaB，并保存后景AreaB中的红绿蓝三通道的平均值
Figure BDA0002530680890000044
Figure BDA0002530680890000051
其中，tt表示第tt帧，c表示通道，由红绿蓝三个通道构成；Rave表示后景AreaB中的红色通道平均值；Gave表示AreaB中的绿色通道平均值；Bave表示AreaB中的蓝色通道平均值。
优选的，在上述步骤(2)中，工程化快速估计模块减少计算量的具体流程为：
(2.2.1)计算每帧图像中后景AreaB中的红绿蓝三通道的平均值
Figure BDA00025306808900000511
此时tt为当前帧now的值，故将公式(10)改为：
Figure BDA0002530680890000052
(2.2.2)将每个
Figure BDA0002530680890000053
与上一帧做比较，如果红绿蓝三通道的所有偏差与
Figure BDA0002530680890000054
的比例都小于阈值T1，即
Figure BDA0002530680890000055
则将
Figure BDA0002530680890000056
作为Ac输出，带入到上述步骤(3)中对水下图像进行恢复；
如果红绿蓝三通道中出现至少有一个通道存在偏差与
Figure BDA0002530680890000057
的比例大于等于T1，则将
Figure BDA0002530680890000058
作为Ac输出；
(2.2.3)如果出现连续有T2帧图像存在至少一个通道偏差与
Figure BDA0002530680890000059
的比例均大于等于T1帧图像，则重新根据公式(10)计算出新的
Figure BDA00025306808900000510
优选的，在上述步骤(3)中，通过亮暗通道的差值得到景深图，具体为：(3.1)水下图像由于光散射和水质吸收的问题容易导致发生图像退化的现象，一种是图像对比度的下降，一种是对比度的降低；而经典DCP算法的雾化模型为：
I(x)＝J(x)t(x)+A(1-t(x)) (13)
其中，I(x)为水下失真图像，是已知图像；J(x)为水下真实图像，是待求解的图像；t(x)为透射率；A为水体背景估计；
水下图像的退化和空气中图像的退化是相似的；
(3.2)根据下列公式定义暗通道；
Jdark(x)＝miny∈Ω(x)(minc∈(r，g，b)Jc(y)) (14)
其中，Jdark(x)表示暗通道图像，为一个单通道图像，且其值为标量；x＝[m,n]T表示图像中的像素坐标向量，m和n是像素坐标值；Jc(y)表示原图像中每个通道的图像，且其值为标量；c表示图像红绿蓝的三通道，Ω(x)表示以像素x为中心的一个窗口；y＝[m,n]T表示小窗口Ω(x)中的像素坐标向量；
(3.3)根据公式(13)和上述步骤(2)获得的Ac，得到公式：
Figure BDA0002530680890000061
其中，Ic(x)和Jc(x)分别表示已知图像和待解图像的c通道；
(3.4)设定透射率为定值
Figure BDA0002530680890000062
且公式(15)两边取最小值，则得到公式：
Figure BDA0002530680890000063
其中，y表示小窗口Ω(x)中的像素，用于与原有的整副图的x做区别；
(3.5)根据暗通道先验理论，暗通道图像近似为0，即
Figure BDA0002530680890000064
(3.6)将公式(17)代入公式(16)中，得到公式：
Figure BDA0002530680890000065
(3.7)为防止去雾太过彻底，恢复出的景物不自然，故引入景深因子参数w，得到公式：
Figure BDA0002530680890000066
其中，w取0.95；
(3.8)根据公式(20)进行图像恢复；
Figure BDA0002530680890000071
其中t0是为了防止透射率过小，导致增强的图像过于亮；max(t(x),t0)取其括号内多个值中最大的值。
本发明的有益效果：本发明基于机器视觉，通过结合了高斯混合模型与暗通道理论的各自优点，形成了混合的水下图像恢复算法，有效地提高了水下图像恢复的性能，解决了高斯混合模型工程化中的运动相机拍摄动态背景的问题，减少了高斯混合模型工程化中的计算量。
附图说明
为了更清晰地说明本发明实施例中的技术方案，下面将对实施例中所需要使用的附图简单地介绍，显而易见地，下面描述中的附图仅仅是本发明中记载的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明一种基于高斯混合模型与暗通道理论的水下图像恢复方法的流程图。
具体实施方式
下面将通过具体实施方式对本发明的技术方案进行清楚、完整地描述。
本发明的一种基于高斯混合模型与暗通道理论的水下图像恢复方法，包括以下步骤：
步骤(1)：首先利用高斯混合模型对水下图像中的水体后景进行目标提取；
在上述步骤中，高斯混合模型判断水体前后景是基于像素样本统计信息的背景表示方法，利用像素在较长时间内大量样本值的概率密度等统计信息(如模式数量、每个模式的均值和标准差)来表示背景，然后使用统计差分(如3σ原则)进行目标像素判断，并对复杂动态背景进行建模，计算量大。
在混合高斯背景模型中，认为像素之间的颜色信息互不相关，对各像素点的处理都是相互独立的。对于水下图像中的每一个像素点，其值在序列图像中的变化可看作是不断产生像素值的随机过程，即用高斯分布来描述每个像素点的颜色呈现规律(单模态(单峰)，多模态(多峰))。
在上述步骤中，对于多峰高斯分布模型，水下图像的每一个像素点按不同权值的多个高斯分布叠加来建模，每种高斯分布对应一个产生像素点所呈现颜色的状态，各个高斯分布的权值和分布参数随时间更新；当处理彩色图像时，假定图像像素点红R、绿G、蓝B三色通道相互独立并具有相同的方差；
对于随机变量x的观测数据集{x1,x2,…,xN},xt＝(Rt,Gt,Bt)为t时刻像素的样本，其中t＝1～N，则单个采样点xt服从的混合高斯分布概率密度函数为：
Figure BDA0002530680890000081
Figure BDA0002530680890000082
Figure BDA0002530680890000083
其中，k为高斯分布的数量，i＝1～k；η(xt，μ(i,t)，τ(i,t))为第t时刻的第i个高斯分布的参数，μ(i,t)为其均值，τ(i,t)为其协方差矩阵，
Figure BDA0002530680890000084
为其方差，I为三维单位矩阵，w(i,t)为第t时刻的第i个高斯分布的权重。
在本实施例中，x即为水下机器人拍摄的图像，其中，水下机器人采用的是美国SeaBotix公司的LBV150-4型有缆水下机器人，配有一个100米有缆传输的控制电脑，其相机的分辨率采用的是800*600分辨率，彩色相机，30帧/s，即x是800*600的分辨率，30帧每秒。由于机器人内存较大，且为有缆返回信息到带有GPU的控制电脑，每次处理的最大的时间为1分钟，所以N＝60秒*30帧＝1800帧；采用5组高斯分布进行处理，即K＝5。
需要说明的是，一开始5组高斯分布的参数η(xt，μ(i,t)，τ(i,t))都是由第一张图片设定的，在施行的过程中，再不断改变的。一开始的平均值μ(i，t)均是第一张图片的像素值，方差
Figure BDA0002530680890000091
默认第一次时设置为36个像素值，因此其协方差矩阵τ(i，t)即为：
Figure BDA0002530680890000092
其详细的算法流程为：
(1.1)每个新像素值xt与当前k个模型按公式(4)进行比较，直至找到匹配新像素值的分布模型，即同该分布模型的均值偏差在2.5个σ以内；
|xt-μ(i，t-1)|≤2.5σ (4)
(1.2)当匹配的分布模型符合后景要求时，则该像素点属于后景；否则属于前景；
(1.3)将每个分布模型的权值按公式(5)进行更新，然后将每个分布模型的权重进行归一化；
w(k，t)＝(1-α)*w(k，t-1)+α*M(k，t) (5)
其中，α是学习速率；对于匹配的分布模型设定M(k，t)＝1，否则M(k，t)＝0；
本实施例中，学习速率α被设置为0.01；
(1.4)未匹配的分布模型的均值μ与标准差σ不变，而匹配分布模型的参数根据以下公式进行更新；
ρ＝α*η(xt|(μk，σk)) (6)
μx＝(1-ρ)*μt-1+ρ*xt (7)
Figure BDA0002530680890000093
(1.5)上述步骤(1.1)中没有匹配到任何分布模型的，则权重最小的分布模型被替换，即该分布模型的均值为当前像素值，标准差为初始较大值，权重为较小值；
(1.6)每个分布模型根据w/α2为标准，按降序排列，即权重大且标准差小的分布模型排列靠前；
(1.7)选择上述步骤(1.6)中前B个分布模型作为后景，且B满足公式：
Figure BDA0002530680890000101
其中，B为满足
Figure BDA0002530680890000102
的最小高斯分布的个数，T为后景在分布模型中的比例阈值，表示在视频中背景出现的概率；
当T取值过小时，则只有极少数的分布模型满足后景条件，高斯混合模型将降为单高斯模型；当T取值较大时，则有更多的分布模型模拟后景模型，对动态背景的适应性也较强；如果当前像素点与B个分布模型中至少有一个匹配，则该像素点被判为后景AreaB的像素之一，否则判为前景AreaF的像素之一；最后所有的像素点构成后景AreaB和前景AreaF。
在本实施例中，B被设置为2，T被设置为75％；它们之间存在互相影响的关系，判断过程中，为或关系。
步骤(2)：然后利用工程化快速估计模块解决运动相机拍摄动态背景的问题，以及减少计算量的工程化问题；
在上述步骤中，工程化快速估计模块解决运动相机拍摄动态背景的具体流程为：
(2.1.1)首先控制水下机器人每隔一段时间悬浮在水中，相机朝上拍摄，并保证画面中大多数为水体；
(2.1.2)考虑到水下环境水体运动的原因，水下机器人会出现抖动，所以连续拍摄MM张图片，并按照上述步骤(1)得到MM个后景AreaB(mmi)，其中mmi＝1～MM；
(2.1.3)取MM个后景AreaB(mmi)中的交集部分作为最终的后景AreaB，并保存后景AreaB中的红绿蓝三通道的平均值
Figure BDA0002530680890000111
Figure BDA0002530680890000112
其中，tt表示第tt帧，c表示通道，由红绿蓝三个通道构成；Rave表示后景AreaB中的红色通道平均值；Gave表示AreaB中的绿色通道平均值；Bave表示AreaB中的蓝色通道平均值。
在本实施例中，连续拍摄的MM值为设置为3；所以AreaB是由连续3张图片计算出的AreaB(1)、AreaB(2)、AreaB(3)交并而成，然后在AreaB的3个红绿蓝通道中各自取平均值，获得
Figure BDA0002530680890000113
在上述步骤中，一旦AreaB确定后，不会每帧图像都重新利用高斯混合模型进行计算，因为这样非常消耗计算量，但是又需要快速大致估计出后景由于运动带来的变化；因此工程化快速估计模块减少计算量的具体流程为：
(2.2.1)计算每帧图像中后景AreaB中的红绿蓝三通道的平均值
Figure BDA0002530680890000114
此时tt为当前帧now的值，故将公式(10)改为：
Figure BDA0002530680890000115
(2.2.2)将每个
Figure BDA0002530680890000116
与上一帧做比较，如果红绿蓝三通道的所有偏差与
Figure BDA0002530680890000117
的比例都小于阈值T1，即
Figure BDA0002530680890000118
则将
Figure BDA0002530680890000119
作为Ac输出，带入到上述步骤(3)中对水下图像进行恢复；
如果红绿蓝三通道中出现至少有一个通道存在偏差与
Figure BDA00025306808900001110
的比例大于等于T1，则将
Figure BDA00025306808900001111
作为Ac输出；
(2.2.3)如果出现连续有T2帧图像存在至少一个通道偏差与
Figure BDA00025306808900001112
的比例均大于等于T1帧图像，则重新根据公式(10)计算出新的
Figure BDA00025306808900001113
在本实施例中，T1被设置为10％，T2被设置为3。
步骤(3)：最后利用暗通道还原模块对水下图像进行恢复。其中，计算景深图的任务为通过亮暗通道的差值得到景深图，具体为：
(3.1)水下图像由于光散射和水质吸收的问题容易导致发生图像退化的现象，一种是图像对比度的下降，一种是对比度的降低；而经典DCP算法的雾化模型为：
I(x)＝J(x)t(x)+A(1-t(x)) (13)
其中，I(x)为水下失真图像，是已知图像；J(x)为水下真实图像，是待求解的图像；t(x)为透射率；A为水体背景估计；
水下图像的退化和空气中图像的退化是相似的；
(3.2)根据下列公式定义暗通道；
Jdark(x)＝miny∈Ω(x)(minc∈(r，g，b)Jc(y)) (14)
其中，Jdark(x)表示暗通道图像，为一个单通道图像，且其值为标量；x＝[m,n]T表示图像中的像素坐标向量，m和n是像素坐标值；Jc(y)表示原图像中每个通道的图像，且其值为标量；c表示图像红绿蓝的三通道，Ω(x)表示以像素x为中心的一个窗口；y＝[m,n]T表示小窗口Ω(x)中的像素坐标向量；
(3.3)根据公式(13)和上述步骤(2)获得的Ac，得到公式：
Figure BDA0002530680890000121
其中，Ic(x)和Jc(x)分别表示已知图像和待解图像的c通道；
(3.4)设定透射率为定值
Figure BDA0002530680890000124
且公式(15)两边取最小值，则得到公式：
Figure BDA0002530680890000122
其中，y表示小窗口Ω(x)中的像素，用于与原有的整副图的x做区别；
(3.5)根据暗通道先验理论，暗通道图像近似为0，即
Figure BDA0002530680890000123
(3.6)将公式(17)代入公式(16)中，得到公式：
Figure BDA0002530680890000131
(3.7)为防止去雾太过彻底，恢复出的景物不自然，故引入景深因子参数w，得到公式：
Figure BDA0002530680890000132
其中，w取0.95；
(3.8)根据公式(20)进行图像恢复；
Figure BDA0002530680890000133
其中t0是为了防止透射率过小，导致增强的图像过于亮；max(t(x),t0)取其括号内多个值中最大的值。
在本实施例中，t0被设置为0.1。
本发明的有益效果：本发明基于机器视觉，通过结合了高斯混合模型与暗通道理论的各自优点，形成了混合的水下图像恢复算法，有效地提高了水下图像恢复的性能，解决了高斯混合模型工程化中的运动相机拍摄动态背景的问题，减少了高斯混合模型工程化中的计算量。
上面所述的实施例仅仅是本发明的优选实施方式进行描述，并非对本发明的构思和范围进行限定，在不脱离本发明设计构思的前提下，本领域中普通工程技术人员对本发明的技术方案作出的各种变型和改进均应落入本发明的保护范围，本发明的请求保护的技术内容，已经全部记载在技术要求书中。

Claims (7)

1.一种基于高斯混合模型与暗通道理论的水下图像恢复方法，其特征在于包括以下步骤：
步骤(1)：首先利用高斯混合模型对水下图像中的水体后景进行目标提取；
步骤(2)：然后利用工程化快速估计模块解决运动相机拍摄动态背景的问题，以及减少计算量的工程化问题；
步骤(3)：最后利用暗通道还原模块对水下图像进行恢复。
2.根据权利要求1所述的一种基于高斯混合模型与暗通道理论的水下图像恢复方法，其特征在于：在上述步骤(1)中，高斯混合模型判断水体前后景是基于像素样本统计信息的背景表示方法，利用像素在较长时间内大量样本值的概率密度统计信息来表示背景，然后使用统计差分进行目标像素判断，并对复杂动态背景进行建模。
3.根据权利要求2所述的一种基于高斯混合模型与暗通道理论的水下图像恢复方法，其特征在于：在上述步骤(1)中，水下图像的每一个像素点按不同权值的多个高斯分布叠加来建模，每种高斯分布对应一个产生像素点所呈现颜色的状态，各个高斯分布的权值和分布参数随时间更新；当处理彩色图像时，假定图像像素点红R、绿G、蓝B三色通道相互独立并具有相同的方差；
对于随机变量x的观测数据集{x1,x2,…,xN},xt＝(Rt,Gt,Bt)为t时刻像素的样本，其中t＝1～N，则单个采样点xt服从的混合高斯分布概率密度函数为：
Figure FDA0002530680880000011
Figure FDA0002530680880000012
Figure FDA0002530680880000013
其中，k为高斯分布的数量，i＝1～k；η(xt，μ(i,t)，τ(i,t))为第t时刻的第i个高斯分布的参数，μ(i,t)为其均值，τ(i,t)为其协方差矩阵，
Figure FDA0002530680880000014
为其方差，I为三维单位矩阵，w(i,t)为第t时刻的第i个高斯分布的权重。
4.根据权利要求3所述的一种基于高斯混合模型与暗通道理论的水下图像恢复方法，其特征在于：在上述步骤(1)中，高斯混合模型进行目标提取的具体流程为：
(1.1)每个新像素值xt与当前k个模型按公式(4)进行比较，直至找到匹配新像素值的分布模型，即同该分布模型的均值偏差在2.5个σ以内；
|xt-μ(i,t-1)|≤2.5σ (4)
(1.2)当匹配的分布模型符合后景要求时，则该像素点属于后景；否则属于前景；
(1.3)将每个分布模型的权值按公式(5)进行更新，然后将每个分布模型的权重进行归一化；
w(k,t)＝(1-α)*w(k,t-1)+α*M(k,t) (5)其中，α是学习速率；对于匹配的分布模型设定M(k,t)＝1，否则M(k,t)＝0；
(1.4)未匹配的分布模型的均值μ与标准差σ不变，而匹配分布模型的参数根据以下公式进行更新；
ρ＝α*η(xt|(μk,σk)) (6)
μt＝(1-ρ)*μt-1+ρ*xt (7)
Figure FDA0002530680880000021
(1.5)上述步骤(1.1)中没有匹配到任何分布模型的，则权重最小的分布模型被替换，即该分布模型的均值为当前像素值，标准差为初始较大值，权重为较小值；
(1.6)每个分布模型根据w/α2为标准，按降序排列，即权重大且标准差小的分布模型排列靠前；
(1.7)选择上述步骤(1.6)中前B个分布模型作为后景，且B满足公式：
Figure FDA0002530680880000031
其中，B为满足
Figure FDA0002530680880000032
的最小高斯分布的个数，T为后景在分布模型中的比例阈值，表示在视频中背景出现的概率；
当T取值过小时，则只有极少数的分布模型满足后景条件，高斯混合模型将降为单高斯模型；当T取值较大时，则有更多的分布模型模拟后景模型，对动态背景的适应性也较强；如果当前像素点与B个分布模型中至少有一个匹配，则该像素点被判为后景AreaB的像素之一，否则判为前景AreaF的像素之一；最后所有的像素点构成后景AreaB和前景AreaF。
5.根据权利要求1所述的一种基于高斯混合模型与暗通道理论的水下图像恢复方法，其特征在于：在上述步骤(2)中，工程化快速估计模块解决运动相机拍摄动态背景的具体流程为：
(2.1.1)首先控制水下机器人每隔一段时间悬浮在水中，相机朝上拍摄，并保证画面中大多数为水体；
(2.1.2)连续拍摄MM张图片，并按照上述步骤(1)得到MM个后景AreaB(mmi)，其中mmi＝1～MM；
(2.1.3)取MM个后景AreaB(mmi)中的交集部分作为最终的后景AreaB，并保存后景AreaB中的红绿蓝三通道的平均值
Figure FDA0002530680880000033
Figure FDA0002530680880000034
其中，tt表示第tt帧，c表示通道，由红绿蓝三个通道构成；Rave表示后景AreaB中的红色通道平均值；Gave表示AreaB中的绿色通道平均值；Bave表示AreaB中的蓝色通道平均值。
6.根据权利要求1所述的一种基于高斯混合模型与暗通道理论的水下图像恢复方法，其特征在于：在上述步骤(2)中，工程化快速估计模块减少计算量的具体流程为：
(2.2.1)计算每帧图像中后景AreaB中的红绿蓝三通道的平均值
Figure FDA0002530680880000041
此时tt为当前帧now的值，故将公式(10)改为：
Figure FDA0002530680880000042
(2.2.2)将每个
Figure FDA0002530680880000043
与上一帧做比较，如果红绿蓝三通道的所有偏差与
Figure FDA0002530680880000044
的比例都小于阈值T1，即
Figure FDA0002530680880000045
则将
Figure FDA0002530680880000046
作为Ac输出，带入到上述步骤(3)中对水下图像进行恢复；
如果红绿蓝三通道中出现至少有一个通道存在偏差与
Figure FDA0002530680880000047
的比例大于等于T1，则将
Figure FDA0002530680880000048
作为Ac输出；
(2.2.3)如果出现连续有T2帧图像存在至少一个通道偏差与
Figure FDA0002530680880000049
的比例均大于等于T1帧图像，则重新根据公式(10)计算出新的
Figure FDA00025306808800000410
7.根据权利要求1所述的一种基于高斯混合模型与暗通道理论的水下图像恢复方法，其特征在于：在上述步骤(3)中，通过亮暗通道的差值得到景深图，具体为：
(3.1)水下图像由于光散射和水质吸收的问题容易导致发生图像退化的现象，一种是图像对比度的下降，一种是对比度的降低；而经典DCP算法的雾化模型为：
I(x)＝J(x)t(x)+A(1-t(x)) (13)
其中，I(x)为水下失真图像，是已知图像；J(x)为水下真实图像，是待求解的图像；t(x)为透射率；A为水体背景估计；
水下图像的退化和空气中图像的退化是相似的；
(3.2)根据下列公式定义暗通道；
Jdark(x)＝miny∈Ω(x)(minc∈(r,g,b)Jc(y)) (14)
其中，Jdark(x)表示暗通道图像，为一个单通道图像，且其值为标量；x＝[m,n]T表示图像中的像素坐标向量，m和n是像素坐标值；Jc(y)表示原图像中每个通道的图像，且其值为标量；c表示图像红绿蓝的三通道，Ω(x)表示以像素x为中心的一个窗口；y＝[m,n]T表示小窗口Ω(x)中的像素坐标向量；
(3.3)根据公式(13)和上述步骤(2)获得的Ac，得到公式：
Figure FDA0002530680880000051
其中，Ic(x)和Jc(x)分别表示已知图像和待解图像的c通道；
(3.4)设定透射率为定值
Figure FDA0002530680880000052
且公式(15)两边取最小值，则得到公式：
Figure FDA0002530680880000053
其中，y表示小窗口Ω(x)中的像素，用于与原有的整副图的x做区别；
(3.5)根据暗通道先验理论，暗通道图像近似为0，即
Figure FDA0002530680880000054
(3.6)将公式(17)代入公式(16)中，得到公式：
Figure FDA0002530680880000055
(3.7)为防止去雾太过彻底，恢复出的景物不自然，故引入景深因子参数w，得到公式：
Figure FDA0002530680880000056
其中，w取0.95；
(3.8)根据公式(20)进行图像恢复；
Figure FDA0002530680880000057
其中t0是为了防止透射率过小，导致增强的图像过于亮；max(t(x),t0)取其括号内多个值中最大的值。
CN202010517431.0A 2020-06-09 2020-06-09 一种基于高斯混合模型与暗通道理论的水下图像恢复方法 Active CN111640082B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010517431.0A CN111640082B (zh) 2020-06-09 2020-06-09 一种基于高斯混合模型与暗通道理论的水下图像恢复方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010517431.0A CN111640082B (zh) 2020-06-09 2020-06-09 一种基于高斯混合模型与暗通道理论的水下图像恢复方法

Publications (2)

Publication Number Publication Date
CN111640082A true CN111640082A (zh) 2020-09-08
CN111640082B CN111640082B (zh) 2023-04-07

Family

ID=72329901

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010517431.0A Active CN111640082B (zh) 2020-06-09 2020-06-09 一种基于高斯混合模型与暗通道理论的水下图像恢复方法

Country Status (1)

Country Link
CN (1) CN111640082B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113362375A (zh) * 2021-06-16 2021-09-07 江铃汽车股份有限公司 用于车辆的运动目标检测方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20140133750A1 (en) * 2012-11-12 2014-05-15 FMV Innovations, LLC Method for improving images captured underwater
CN107527325A (zh) * 2017-08-15 2017-12-29 青岛海人机器人科技有限公司 一种基于暗通道优先的单目水下视觉增强方法
CN108765342A (zh) * 2018-05-30 2018-11-06 河海大学常州校区 一种基于改进暗通道的水下图像复原方法
CN110853070A (zh) * 2019-11-11 2020-02-28 山东科技大学 基于显著性与Grabcut的水下海参图像分割方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20140133750A1 (en) * 2012-11-12 2014-05-15 FMV Innovations, LLC Method for improving images captured underwater
CN107527325A (zh) * 2017-08-15 2017-12-29 青岛海人机器人科技有限公司 一种基于暗通道优先的单目水下视觉增强方法
CN108765342A (zh) * 2018-05-30 2018-11-06 河海大学常州校区 一种基于改进暗通道的水下图像复原方法
CN110853070A (zh) * 2019-11-11 2020-02-28 山东科技大学 基于显著性与Grabcut的水下海参图像分割方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
汤忠强等: "基于改进DCP算法的水下机器人视觉增强", 《机器人》 *

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113362375A (zh) * 2021-06-16 2021-09-07 江铃汽车股份有限公司 用于车辆的运动目标检测方法

Also Published As

Publication number Publication date
CN111640082B (zh) 2023-04-07

Similar Documents

Publication Publication Date Title
CN112288658B (zh) 一种基于多残差联合学习的水下图像增强方法
Golts et al. Unsupervised single image dehazing using dark channel prior loss
CN107945204B (zh) 一种基于生成对抗网络的像素级人像抠图方法
US8280165B2 (en) System and method for segmenting foreground and background in a video
CN110288550B (zh) 基于先验知识引导条件生成对抗网络的单张图像去雾方法
JP2004348732A (ja) シーンの背景を表現する背景画像を適応的に更新する方法
CN105118027A (zh) 一种图像的去雾方法
CN114037938B (zh) 一种基于NFL-Net的低照度目标检测方法
CN113724155A (zh) 用于自监督单目深度估计的自提升学习方法、装置及设备
CN114627269A (zh) 一种基于深度学习目标检测的虚拟现实安防监控平台
CN111640082B (zh) 一种基于高斯混合模型与暗通道理论的水下图像恢复方法
CN114549297A (zh) 一种基于不确定分析的无监督单目深度估计方法
CN111667511B (zh) 一种在动态视频中提取背景的方法、装置和系统
CN112966777A (zh) 一种基于人机交互的半自动标注方法及系统
CN115018729B (zh) 一种面向内容的白盒图像增强方法
CN113902044B (zh) 一种基于轻量级yolov3的图像目标提取方法
CN112215766B (zh) 一种图像复原与图像增强相融合的图像去雾方法及其卷积网络
Yu et al. Single image dehazing based on the fusion of multi-branch and attention mechanism
CN114170445B (zh) 一种适于消防灭火机器人的室内烟雾环境图像匹配方法
US20230281823A1 (en) Method and electronic device for on-device lifestyle recommendations
CN114748872B (zh) 一种基于信息融合的游戏渲染更新方法
CN111882495B (zh) 一种基于自定义模糊逻辑与gan的图像高光处理方法
CN112862715B (zh) 一种实时且可控的尺度空间滤波方法
US20240104702A1 (en) Method for image defogging based on dark channel prior
CN111292263B (zh) 一种基于颜色校正和去模糊的图像增强方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant