CN108259708A - 有雾视频处理方法及计算机可读存储介质 - Google Patents

有雾视频处理方法及计算机可读存储介质 Download PDF

Info

Publication number
CN108259708A
CN108259708A CN201810045911.4A CN201810045911A CN108259708A CN 108259708 A CN108259708 A CN 108259708A CN 201810045911 A CN201810045911 A CN 201810045911A CN 108259708 A CN108259708 A CN 108259708A
Authority
CN
China
Prior art keywords
video frame
dark channel
channel diagram
matrix
frame
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201810045911.4A
Other languages
English (en)
Other versions
CN108259708B (zh
Inventor
薛明
张润田
李振平
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Communication and information center of emergency management department
Original Assignee
COMMUNICATION INFORMATION CENTER OF STATE ADMINISTRATION OF WORK SAFETY
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by COMMUNICATION INFORMATION CENTER OF STATE ADMINISTRATION OF WORK SAFETY filed Critical COMMUNICATION INFORMATION CENTER OF STATE ADMINISTRATION OF WORK SAFETY
Priority to CN201810045911.4A priority Critical patent/CN108259708B/zh
Publication of CN108259708A publication Critical patent/CN108259708A/zh
Application granted granted Critical
Publication of CN108259708B publication Critical patent/CN108259708B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/14—Picture signal circuitry for video frequency region
    • H04N5/21—Circuitry for suppressing or minimising disturbance, e.g. moiré or halo
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/64—Circuits for processing colour signals
    • H04N9/646—Circuits for processing colour signals for image enhancement, e.g. vertical detail restoration, cross-colour elimination, contour correction, chrominance trapping filters

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Image Analysis (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

本发明公开了一种有雾视频处理方法及计算机可读存储介质。所述方法包括以下步骤：步骤一，获取视频帧，计算所获取的当前视频帧的暗通道图；步骤二，判断存储在缓存介质中的历史视频帧的暗通道图的数量是否大于预设阈值，如果存储在缓存介质中的历史视频帧的暗通道图的数量大于所述预设阈值，转至步骤三；如果存储在缓存介质中的历史视频帧的暗通道图的数量小于所述预设阈值，则以所述当前视频帧的暗通道图作为重建图，转至步骤四；步骤三，对所述当前视频帧的暗通道图和存储在缓存介质中的历史视频帧的暗通道图进行在线主成分分析，得到重建图；步骤四，基于重建图，计算所述当前视频帧的传输图。利用本发明能够对有雾视频进行去雾处理。

Description

有雾视频处理方法及计算机可读存储介质
技术领域
本发明涉及一种有雾视频处理方法及计算机可读存储介质。
背景技术
雾天条件下，采集设备获取的图像会出现对比度下降、颜色失真等现象，造成细节信息的缺失，直接限制和接影响了视频监控、遥感导航等信息系统效用的发挥，降低后续图像分析方法的稳定性。随着计算机视觉应用的日益广泛和计算机技术发展与成熟，图像去雾技术逐渐受到了全世界研究人员的关注。图像去雾技术是指通过一定的方法和手段，去除天气因素对图像质量的影响，恢复有效的图像细节信息，获得效果较好的高质量图像的过程。
目前，基于物理模型的图像去雾方法，通常建立图像退化模型
I＝JT+A(1-T)
其中，I为输入的待去雾图像，J为去雾后的图像，A为大气光(Air Light)，T为传输图(Transmission Map)。去雾问题可转化为已知I，分别估计A和T，进而获得J或其近似值的过程。在获得大气光A之后，需要对T进行估计。T是一个与图像大小尺寸相同的矩阵，当A确定后，T的取值由雾浓度确定。如果使用暗通道D刻画雾浓度，T的计算公式为
其中λ∈(0,1]为常数。
关于暗通道，以RGB彩色图像为例，取图像各像素点三个通道的最小值称为暗通道，计算公式为
目前，关于视频中估计T的方法包括两类：第一类方法是直接估计每一视频帧的传输图，即将每一视频帧当作单幅图像逐帧独立处理，估计其传输图。申请号为201210125321.5、201410153491.3、201410271513.6和201310189056.1的中国专利申请分别公开了四种视频帧图像去雾方法，其将当前视频帧作为单幅图像处理，属于上述第一类方法。第二类方法是只独立估计初始时刻的传输图，后续时刻的传输图利用视频帧之间的关系进行处理。以上两类方法的处理结果基本相同，但第一类方法较为耗时，而第二类方法的效率较高。
具体来讲，第二类方法主要采用马尔科夫场(Markov Field)建立视频空间-时间域的连续性约束。第二类方法可通过两种具体方法实现：第一种方法是使用引导滤波计算初步的传输图，通过光流建立的误差图建立前后时刻传输图之间的时域空马尔科夫场，实现传输图的改善与更新。但是，由于需要计算初步的传输图和光流，导致第一种方法的处理效率较低；第二种方法是建立灰度值先验(Intensity Value Prior)，认为雾浓度越浓，图像灰度值越大，雾浓度图通过暗通道图刻画，基于此，通过MRF建立图像像素值与当前和临近时刻暗通道(雾浓度图)之间的关系，通过雾浓度图计算传输图。第二种方法在除雾处理准确性和效率方面都取得了不错的效果，但实际是通过图像帧的连续性间接建立起了雾浓度的连续性，并未直接考虑雾浓度在时空域上的连续关系。
此外，申请号为201510056025.8的中国专利申请公开了一种监控视频的实时去雾方法，使用与待处理视频帧最相似的过去时刻视频帧传输图作为计算结果。但是，该方法需要存储过去的所有传输图并进行匹配搜索计算，复杂度较高。申请号为201510990786.0的中国专利申请公开了一种应用于视频监控系统的实时视频去雾方法，将当前帧图像与前一帧图像进行实时比对分析，得到当前帧图像中的透射率共用区域和透射率待求区域，对共用区域直接使用上一帧的结果，对待求区域重新计算。但是，该方法减少了视频传输图的计算量，当共用区域较小时，计算量仍然较大。
综上，已有的有雾视频处理方法大多是将视频帧看作单幅图像进行独立处理，或是通过视频图像的连续性建模，没有充分挖掘雾浓度的时空特性，且计算流程相对更为复杂。
发明内容
有鉴于此，本发明提出一种有雾视频处理方法及计算机可读存储介质，对于有雾视频图像，能够建立视频帧之间雾浓度图(暗通道)的直接表示关系，优化传输图计算流程，从而在更短的处理时间内提供更为贴近实际的传输图估计结果。
根据本发明的一个方面，本发明的有雾视频处理方法包括以下步骤：
步骤一，获取视频帧，计算所获取的当前视频帧的暗通道图；
步骤二，判断存储在缓存介质中的历史视频帧的暗通道图的数量是否大于预设阈值，如果存储在缓存介质中的历史视频帧的暗通道图的数量大于所述预设阈值，转至步骤三；如果存储在缓存介质中的历史视频帧的暗通道图的数量小于所述预设阈值，则以所述当前视频帧的暗通道图作为重建图，转至步骤四；
步骤三，对所述当前视频帧的暗通道图和存储在缓存介质中的历史视频帧的暗通道图进行在线主成分分析，得到重建图；
步骤四，基于重建图，计算所述当前视频帧的传输图。
根据本发明的方法，优选地，步骤三中，对所述当前视频帧的暗通道图和存储在缓存介质中的历史视频帧的暗通道图进行在线主成分分析包括：将所述当前视频帧的暗通道图和存储在缓存介质中的历史视频帧的暗通道图列向量化并联立，计算和更新均值矩阵、基矩阵、特征值矩阵和遗忘因子。
根据本发明的方法，优选地，如果存储在缓存介质中的历史视频帧的暗通道图的数量大于所述预设阈值，所述方法还包括将步骤三的重建图存储至所述缓存介质，作为下一帧的历史视频帧的暗通道图；如果存储在缓存介质中的历史视频帧的暗通道图的数量小于所述预设阈值，所述方法还包括将步骤一的当前视频帧的暗通道图存储至所述缓存介质，作为下一帧的历史视频帧的暗通道图。
根据本发明的方法，优选地，在步骤一之前，所述方法还包括对前n帧视频帧进行缓存预处理步骤，该缓存预处理步骤包括：计算前n帧视频帧中各个视频帧的暗通道图，将计算结果存储在缓存介质中，作为下一帧的历史视频帧的暗通道图。
根据本发明的方法，优选地，该缓存预处理步骤具体包括：预先设定自然数n，读入前n帧视频帧I1,I2,...In，各帧大小为k×m，按照如下公式计算前n帧视频帧中各个视频帧的暗通道图：
其中，表示第i彩色视频帧I的红(r)、绿(g)和蓝(b)通道图像；min()表示求矩阵各个位置红(r)、绿(g)和蓝(b)三个通道值中最小值的函数；
将各个视频帧的计算结果转化为列向量形式，组成矩阵D，表示为Dn＝[D1,D2,...Dn](k×m)×n，将计算结果矩阵D存储在缓存介质中，作为下一帧的历史视频帧的暗通道图。
根据本发明的方法，优选地，将第n+1帧视频帧作为步骤一所述的当前视频帧，并按照如下方式执行步骤三：
以均值矩阵Mn、基矩阵Bn、特征值矩阵Σn、遗忘因子fn∈(0,1]和表示系数Cn为初始化参数，其中，Mn大小为(k×m)×1；先对Dn各列分别进行均值滤波，再对滤波结果求行方向的均值矩阵Mn；对Dn进行奇异值分解获得Σn，计算公式为：
[Bn,Σn,V]＝svd(Dn) (3)
Cn＝B′n×(Dn-Mn) (4)
其中，V表示奇异值分解出来的除了Mn和Bn之外的另一个矩阵，B′n表示Bn的转置矩阵；median()表示均值滤波函数，svd()表示奇异值分解，遗忘因子fn∈(0,1]由人工设定；
按照公式(5)计算历史视频帧的暗通道图的重建图Rn+1：
Rn+1＝Mn+Bn×Cn (5)
按照公式(1)计算第n+1帧视频帧的暗通道图Dn+1，并将Dn+1加入至矩阵D的第n+1列，表示为Dn+1＝[D1,D2,...Dn,Dn+1](k×m)×(n+1)；基于当前视频帧的暗通道图和/或历史视频帧的暗通道图，使用K-L变换更新均值矩阵Mn、基矩阵Bn、特征值矩阵Σn和遗忘因子fn∈(0,1]，从而获得当前视频帧的均值矩阵Mn+1、基矩阵Bn+1、特征值矩阵Σn+1和遗忘因子fn+1；采用如下处理模式之一进行计算：
(1)采用单幅处理模式时，将当前视频帧的暗通道图Dn+1作为输入；
(2)采用分批处理模式时，将矩阵Dn+1作为输入；
以D统一表示Dn+1和Dn+1，大小为p×q，计算过程如下：
构建过渡矩阵Pn，Sn：
计算Mn+1、Bn+1、Σn+1和fn+1：
fn+1＝floor(fn+1×(1+q)) (12)
其中，qr()表示正交三角分解，floor()表示向下取整操作；表示正交三角分解得到的正交矩阵，表示正交三角分解得到的非奇异上三角矩阵，Un表示对奇异值分解得到的正交矩阵；
按照公式(13)计算当前视频帧的暗通道图的重建图
其中，B′n+1表示Bn+1的转置矩阵；
如果Bn+1的列数大于预先设定的τb，则分别截取Mn+1、Bn+1和Σn+1的前τb列作为公式(13)中相应参数Mn+1、Bn+1和Σn+1的输入值，否则直接将Mn+1、Bn+1和Σn+1作为公式(13)中相应参数Mn+1、Bn+1和Σn+1的输入值；其中，所述预先设定的τb的值为2～10。
根据本发明的方法，优选地，在步骤四中，将第n+1帧视频帧作为步骤一所述的当前视频帧，按照公式(14)计算当前视频帧的传输图Tn+1：
其中，λ为映射常数；An+1表示当前视频帧的大气光值。
根据本发明的方法，优选地，所述方法还包括根据预设条件对所述缓存介质进行更新；其中，所述预设条件包括：如果所述缓存介质中存储的历史视频帧的暗通道图的数量大于n，将所述缓存介质中距离当前时刻最远的历史视频帧的暗通道图清空；所述预设条件还包括：如果所述缓存介质中存储的历史视频帧的暗通道图变化差异过大或满足周期性条件，将所述缓存介质清空。
根据本发明的方法，优选地，采用以下各种方法中的至少一种方法对所述缓存介质进行更新：
①如果所述缓存介质中存储的历史视频帧的暗通道图大于n，则将Dn+1的第一个列清空，同时调整Dn+1的大小，Dn+1＝[D2,...Dn，Dn+1](k×m)×n，列数由n+1变为n；
②如果Dn+1的最后一列与前一列的相对偏差则将Dn+1清空，不再存储任何时刻的暗通道图；
③每间隔tp帧对缓存介质进行清空操作，将Dn+1清空，不再存储任何时刻的暗通道图。
根据本发明的另一个方面，本发明提供一种计算机可读存储介质，其上存储有计算机指令，计算机的处理器执行所述计算机指令时实现如上所述任一项方法中的步骤。
本发明采用暗通道图刻画各帧雾浓度，通过在线主成分学习实现各帧暗通道的重建和更新，利用重建改善后的暗通道图计算传输图，能够从雾浓度本身特性出发估计传输图，去雾效果更佳，降低了将各视频帧作为单幅图像独立计算传输图带来的时间与计算量冗余，计算效率高。
附图说明
图1为本发明一个实施例的有雾视频处理方法的流程框图。
图2为本发明另一实施例的有雾视频处理方法的流程框图。
图3为传输图计算方法的示意图。图3a为第一类方法；图3b为第二类方法；图3c为本发明的方法。
图4和图5是利用本发明实施例的方法对有雾视频测试数据集合部分帧的有雾视频图像、重建图、传输图及去雾结果图的比较结果。
其中，图4a-1～图4d-1分别表示第29帧的有雾视频图像、重建图、传输图、去雾结果图；图5a-2～图5d-2分别表示第192帧的有雾视频图像、重建图、传输图、去雾结果图；图5a-3～图5d-3分别表示第449帧的有雾视频图像、重建图、传输图、去雾结果图；图5a-4～图5d-4分别表示第643帧的有雾视频图像、重建图、传输图、去雾结果图。
其中，图5a-1～图5d-1分别表示第69帧的有雾视频图像、重建图、传输图、去雾结果图；图5a-2～图5d-2分别表示第259帧的有雾视频图像、重建图、传输图、去雾结果图；图5a-3～图5d-3分别表示第844帧的有雾视频图像、重建图、传输图、去雾结果图；图5a-4～图5d-4分别表示第1355帧的有雾视频图像、重建图、传输图、去雾结果图。
图6为传统方法计算的暗通道图与本发明方法计算的传输图及其去雾后的图像的比较效果图。
其中，图6a为有雾彩色视频第97帧图像，图6b为第一类方法计算的暗通道图，图6c为本发明重建计算的暗通道图，图6d为第一类方法(不重建)计算的传输图，图6e为本发明方法计算的传输图，图6f为第一类方法(不重建)计算的去雾结果，图6g为本发明方法计算的去雾结果。
具体实施方式
下面结合具体实施例对本发明作进一步的说明，但本发明的保护范围并不限于此。
K-L变换也可以称之为Karhunen-Loeve变换，在本领域具有通常的含义。
通常，在本领域可做以下假设：视频帧之间及的雾浓度变化是连续的；新视频帧的雾浓度与历史近邻视频帧的雾浓度存在表示关系，例如可以被其基向量线性表示。基于上述假设，本发明的有雾视频处理方法以有雾视频的各视频帧为输入，使用暗通道图刻画雾浓度，通过在线主成分分析学习实现各帧暗通道的重建和更新，利用重建图计算传输图。以下对本发明的方法进行详细描述。
图1示出了本发明的有雾视频处理方法的流程框图，包括以下步骤：
步骤一，获取视频帧，计算所获取的当前视频帧的暗通道图；
步骤二，判断存储在缓存介质中的历史视频帧的暗通道图的数量是否大于预设阈值，如果存储在缓存介质中的历史视频帧的暗通道图的数量大于所述预设阈值，转至步骤三；如果存储在缓存介质中的历史视频帧的暗通道图的数量小于所述预设阈值，则以所述当前视频帧的暗通道图作为重建图，转至步骤四；
步骤三，对所述当前视频帧的暗通道图和存储在缓存介质中的历史视频帧的暗通道图进行在线主成分分析，得到重建图；
步骤四，基于重建图，计算所述当前视频帧的传输图。
在本发明中，所述的预设阈值可以为3～10；优选地，所述预设阈值为3～8；更优选地，将所述预设阈值设为5。
本发明的上述方案采用暗通道图刻画各帧雾浓度，通过在线主成分分析学习实现各帧暗通道的重建和更新，利用重建改善后的暗通道图计算传输图，能够从雾浓度本身特性出发估计传输图，因而去雾效果佳。在优选实施例中，通过合理设置阈值，能够降低将各视频帧作为单幅图像独立计算传输图带来的时间与计算量冗余，计算处理效率高。
在本发明中，所述在线主成分分析包括将所述当前视频帧的暗通道图和存储在缓存介质中的历史视频帧的暗通道图列向量化并联立，计算和更新均值矩阵、基矩阵、特征值矩阵和遗忘因子。通过在线主成分分析，对当前视频帧和历史视频帧的暗通道图进行学习和更新，得到当前视频帧的重建图，基于此可计算得到其传输图。
根据本发明的方法，优选地，如果存储在缓存介质中的历史视频帧的暗通道图的数量大于所述预设阈值，所述方法还包括将步骤三的重建图存储至所述缓存介质，作为下一帧的历史视频帧的暗通道图；如果存储在缓存介质中的历史视频帧的暗通道图的数量小于所述预设阈值，所述方法还包括将步骤一的当前视频帧的暗通道图存储至所述缓存介质，作为下一帧的历史视频帧的暗通道图。
在本发明中，如果存储在缓存介质中的历史视频帧的暗通道图的数量大于所述预设阈值，则将步骤三的重建图存储至缓存介质，作为下一帧的历史视频帧的暗通道图；如果存储在缓存介质中的历史视频帧的暗通道图的数量小于所述预设阈值，则将所述步骤一的当前视频帧的暗通道图存储至缓存介质。也就是说，针对每一个视频帧计算出的暗通道图，如果存储在缓存介质中的历史视频帧的暗通道图数量小于所述预设阈值，直接将计算出的暗通道图保存至缓存介质，反之，如果存储在缓存介质中的历史视频帧的暗通道图数量大于所述预设阈值，则需利用在线主成分分析实施重建，将重建图保存至缓存介质，缓存介质中的内容作为下一视频帧的历史视频帧的暗通道图。
在本发明中，需要预先对所述有雾视频的前n帧视频帧进行缓存预处理，参见图2，具体处理为：计算前n帧视频帧中各个视频帧的暗通道图，将计算结果转化为矩阵形式，作为缓存初始值存储在缓存介质中，作为下一帧的历史视频帧的暗通道图。然后据此计算前n帧视频帧的传输图，其中n可以为2～10；优选地，n为3～8；更优选地，n为5。本发明按照预先设定的历史近邻帧暗通道图的数量初始化缓存，该段视频帧直接使用暗通道值计算传输图。
在本发明的一种实施方式中，所述的缓存预处理包括：预先设定自然数n，读入前n帧视频帧I1,I2,...In，各帧大小为k×m，按照如下公式计算前n帧视频帧中各个视频帧的暗通道图：
其中，表示第i彩色视频帧I的红(r)、绿(g)和蓝(b)通道图像；min()表示求矩阵各个位置红(r)、绿(g)和蓝(b)三个通道值中最小值的函数；
将各个视频帧的计算结果转化为列向量形式，组成矩阵D，表示为Dn＝[D1,D2,...Dn](k×m)×n，将计算结果矩阵D存储在缓存介质中，作为下一帧的历史视频帧的暗通道图。
然后，将第n+1帧视频帧作为步骤一所述的当前视频帧，并按照如下方式执行所述的步骤三：
以均值矩阵Mn、基矩阵Bn、特征值矩阵Σn、遗忘因子fn∈(0,1]和表示系数Cn为初始化参数，其中，Mn大小为(k×m)×1；先对Dn各列分别进行均值滤波，再对滤波结果求行方向的均值矩阵Mn；对Dn进行奇异值分解获得Σn，计算公式为：
[Bn,Σn,V]＝svd(Dn) (3)
Cn＝B′n×(Dn-Mn) (4)
其中，V表示奇异值分解出来的除了Mn和Bn之外的另一个矩阵，B′n×表示Bn的转置矩阵；median()表示均值滤波函数，svd()表示奇异值分解，遗忘因子fn∈(0,1]由人工设定。
然后计算历史视频帧的暗通道图的重建图Rn+1和/或当前视频帧的暗通道图的重建图下面逐一进行介绍。
<重建图Rn+1>
按照公式(5)计算历史视频帧的暗通道图的重建图Rn+1：
Rn+1＝Mn+Bn×Cn (5)。
<重建图>
按照公式(1)计算第n+1帧视频帧的暗通道图Dn+1，并将Dn+1加入至矩阵D的第n+1列，表示为Dn+1＝[D1,D2,...Dn,Dn+1](k×m)×(n+1)；基于当前视频帧的暗通道图和/或历史视频帧的暗通道图，使用K-L(Karhunen-Loeve)变换更新均值矩阵Mn、基矩阵Bn、特征值矩阵Σn和遗忘因子fn∈(0,1]，从而获得当前视频帧的均值矩阵Mn+1、基矩阵Bn+1、特征值矩阵Σn+1和遗忘因子fn+1；采用如下处理模式之一进行计算：
(1)采用单幅处理模式时，将当前视频帧的暗通道图Dn+1作为输入；
(2)采用分批处理模式时，将矩阵Dn+1作为输入；
以D统一表示Dn+1和Dn+1，大小为p×q，计算过程如下：
构建过渡矩阵Pn，Sn：
计算Mn+1、Bn+1、Σn+1和fn+1：
fn+1＝floor(fn+1×(1+q)) (12)
其中，qr()表示正交三角分解，floor()表示向下取整操作；表示正交三角分解得到的正交矩阵，表示正交三角分解得到的非奇异上三角矩阵，Un表示对奇异值分解得到的正交矩阵；
按照公式(13)计算当前视频帧的暗通道图的重建图
其中，B′n+1表示Bn+1的转置矩阵。
如果Bn+1的列数大于预先设定的τb，则分别截取Mn+1、Bn+1和Σn+1的前τb列作为公式(13)中相应参数Mn+1、Bn+1和Σn+1的输入值，否则直接将Mn+1、Bn+1和Σn+1作为公式(13)中相应参数Mn+1、Bn+1和Σn+1的输入值；其中，所述预先设定的τb的值为2～10，例如3～8。
在本发明的步骤四中，将第n+1帧视频帧作为步骤一所述的当前视频帧，按照公式(14)计算当前视频帧的传输图Tn+1：
其中，λ为映射常数；An+1表示大气光值。
在本发明中，还需要对所述缓存介质进行更新，参见图2，可选择性地采用以下规则进行更新：如果缓存介质中存储的历史视频帧的暗通道图的数量大于n，将缓存介质中距离当前时刻最远的历史视频帧的暗通道图清空；或者如果缓存介质中存储的历史视频帧的暗通道图变化差异过大或满足周期性条件，将缓存介质清空。
在本发明的具体实施例中，可采用以下各种方法中的至少一种方法对所述缓存介质进行更新：
①如果缓存中存储的暗通道图数量大于n，将Dn+1的第一个列清空，同时调整Dn+1的大小，Dn+1＝[D2,...Dn，Dn+1](k×m)×n，列数由n+1变为n；
②如果Dn+1的最后一列与前一列的相对偏差将Dn+1清空，不再存储任何时刻的暗通道图；
③每间隔tp帧对缓存进行清空操作，将Dn+1清空，不再存储任何时刻的暗通道图。
以上给出了有雾视频传输图的计算过程，基于图像帧之间雾浓度连续变化的假设，使用历史近邻视频帧的雾浓度线性表征当前视频帧的雾浓度，从而实现雾浓度的时间域在线更新，在更短的处理时间内提供更为贴近实际的传输图估计结果。
基于本发明的上述方法，本发明还提供一种计算机可读存储介质，其上存储有计算机指令，当计算机的处理器执行所述计算机指令时，可实现本发明的上述部分或全部处理步骤。本发明的计算机可读存储介质可选用市面上已有的类型和品牌，可采用非易失性或易失性存储介质、云储存等，对它们的功能和工作原理在此不再赘述。
基于本发明的上述方法，本发明还提供一种有雾视频传输图计算装置，所述装置包括处理器、存储介质以及存储在所述存储介质中的计算机流程，当所述处理器执行所述计算机流程时，执行本发明的上述部分或全部处理步骤。其中，所述的处理器和存储介质可以采用现有的那些，例如常规处理器、服务器、云处理器，以及非易失性或易失性存储介质、云储存等，对它们的功能和工作原理在此不再赘述。
实施例1
采用如下步骤进行有雾视频处理：
步骤一，获取视频帧，计算所获取的当前视频帧的暗通道图；
步骤二，判断存储在缓存介质中的历史视频帧的暗通道图的数量是否大于预设阈值5，如果存储在缓存介质中的历史视频帧的暗通道图的数量大于所述预设阈值5，转至步骤三；如果存储在缓存介质中的历史视频帧的暗通道图的数量小于所述预设阈值5，则以所述当前视频帧的暗通道图作为重建图，转至步骤四；
步骤三，对所述当前视频帧的暗通道图和存储在缓存介质中的历史视频帧的暗通道图进行在线主成分分析，得到重建图；
步骤四，基于重建图，计算所述当前视频帧的传输图。
本实施例的目的在于给出传统计算方法与本发明的有雾视频传输图计算方法的差异对比。这里，将传统的独立计算传输图的方法称为第一类方法，将传统的利用视频帧之间关系计算传输图的方法称为第二类方法。参考图3，其中图3a、3b和3c分别展示了第一类方法、第二类方法和本发明的方法在计算传输图过程中基于的视频帧情况。可以看到，第一类方法是直接使用当前视频帧计算传输图，第二类方法考虑了前一帧视频帧的传输图，来计算当前视频帧计算传输图，而本发明的方法考虑了更多的历史视频帧的传输图，来计算当前视频帧计算传输图。
由于本发明利用了历史雾浓度的估计结果，当前时刻视频图像的传输图效率也更高。而且，由于本发明利用了临近多个时刻的雾浓度估计结果，准确性较单帧估计更优。整体来看，图3中的图3a、3b和3c所展示的，第二类方法优于第一类方法，本发明的方法优于第二类方法。
实施例2
本实施例的目的在于给出传统计算方法与本发明的有雾视频传输图计算方法的去雾效果对比。图4和图5分别是利用本发明实施例的方法对公共真实有雾视频测试数据集合的两个典型有雾视频“Cross”和“Hazeroad”部分帧有雾图像、重建图、计算的传输图及去雾结果。这些图较为直观地体现出了本发明方法的传输图的计算结果和去雾效果，经过去雾后的图像的对比度更高，内容更容易被人眼辨识。
对有雾视频进行处理时，首先读入例如有雾视频“Cross”视频帧的各通道像素值，然后按照本发明方法的步骤进行处理。
以下给出本实施例计算过程中涉及的相关参数设置：
计算各帧图像的暗通道图Dn＝[D1,D2,...Dn](k×m)×n，建立重建结果矩阵其中设置n＝5，k＝640，m＝480。对Dn进行奇异值分解获得Mn,Σn,Cn，使用半径为20个像素的方框滤波器，将图像与滤波器进行卷积获得均值图像，遗忘因子fn人工设定为1。
按照公式(1)计算第n+1帧的暗通道图初始值Dn+1，并将Dn+1加入至Dn的第n+1列，在实现过程中，可以定义长度为n+1的双端队列数据结构，每个队列元素为大小(k×m)×1的暗通道图向量，将对暗通道矩阵Dn的存储和输出处理转化为队列的推(push)和拉(pull)操作。此时，队列的长度为n+1。
对于K-L变换的实现，本实施例分为两步，首先按照公式(6)构建过渡矩阵Pn，Sn，然后再按照公式(8)～(12)计算Mn+1，Bn+1，Σn+1和fn+1，其中设置τb＝3。按照公式(14)计算传输图时，设置λ＝0.7。
对于缓存的更新，本实施例采用队列的拉(pull)操作清空Dn+1中距离当前时刻最远的暗通道图，且每隔tp＝1000帧清空缓存。
实施例3
图6为传统方法计算的暗通道图与利用本发明的在线主成分分析重建结果计算的传输图及其进行去雾后的视频图像结果，其中，图6(f)为利用第一类方法(不重建)计算的去雾结果，图6(g)为本发明方法计算的去雾结果，将图6(f)与图6(g)进行对比，即较为直观地体现出了本发明的方法对去雾效果的影响，利用本发明的方法，在局部区域(例如图6(f)与图6(g)的矩形方框所示区域)能恢复出更清晰的图像细节。
实施例4
表1给出了本发明与传统的视频去雾方法在三段人工合成有雾视频测试视频的处理结果量化对比，量化评价指标使用去雾结果与原始视频均方差作为评价指标。均方差值越小越好，处理速度值越大越好。这里人工合成视频采用在原始视频(认为不含雾)三个通道中加入白色制作而成。可以看到，本发明实施例的方法取得了更小的均方差值，准确性更高。测试环境为Intel(R)Core(TM)i7-4790CPU@3.60Ghz，4.00GB内存。
表1
A1 A2 A3 本发明
花 0.0224 0.0133 0.0034 0.0033
草坪 0.0084 0.0201 0.0166 0.0018
路 0.0042 0.0048 0.0092 0.0032
平均值 0.0202 0.0285 0.0097 0.0028
A1参考如下文献：孟等，计算机视频IEEE国际会议，第617-624页，2013年(Meng,G.,et al.,IEEE International Conference on Computer Vision(ICCV),617-624,2013)。
A2参考如下文献：Kim等，视频通信和图象表达杂志，第24卷第3期，第410-425页，2013年(Kim,J.H.,Jang,,et al.,J.Vis.Commun.Image Represent.,24(3),410-425,2013)。
A3参考如下文献：蔡等，第17届多媒体环太平洋会议，第315-325页，2016年(Cai,B.,et al.,17th Pacific-Rim Conference on Multimedia,315-325,2016)。
本发明并不限于上述实施方式，在不背离本发明的实质内容的情况下，本领域技术人员可以想到的任何变形、改进、替换均落入本发明的范围。

Claims (10)

1.一种有雾视频处理方法，其特征在于，所述方法包括以下步骤：
步骤一，获取视频帧，计算所获取的当前视频帧的暗通道图；
步骤二，判断存储在缓存介质中的历史视频帧的暗通道图的数量是否大于预设阈值，如果存储在缓存介质中的历史视频帧的暗通道图的数量大于所述预设阈值，转至步骤三；如果存储在缓存介质中的历史视频帧的暗通道图的数量小于所述预设阈值，则以当前视频帧的暗通道图作为重建图，转至步骤四；
步骤三，对当前视频帧的暗通道图和存储在缓存介质中的历史视频帧的暗通道图进行在线主成分分析，得到重建图；
步骤四，基于重建图，计算当前视频帧的传输图。
2.根据权利要求1所述的方法，其特征在于，步骤三中，对当前视频帧的暗通道图和存储在缓存介质中的历史视频帧的暗通道图进行在线主成分分析包括：将当前视频帧的暗通道图和存储在缓存介质中的历史视频帧的暗通道图列向量化并联立，计算和更新均值矩阵、基矩阵、特征值矩阵和遗忘因子。
3.根据权利要求1所述的方法，其特征在于：
如果存储在缓存介质中的历史视频帧的暗通道图的数量大于所述预设阈值，所述方法还包括将步骤三的重建图存储至缓存介质，作为下一帧的历史视频帧的暗通道图；
如果存储在缓存介质中的历史视频帧的暗通道图的数量小于所述预设阈值，所述方法还包括将步骤一的当前视频帧的暗通道图存储至缓存介质，作为下一帧的历史视频帧的暗通道图。
4.根据权利要求1所述的方法，其特征在于，在步骤一之前，所述方法还包括对前n帧视频帧进行缓存预处理步骤，该缓存预处理步骤包括：计算前n帧视频帧中各个视频帧的暗通道图，将计算结果存储在缓存介质中，作为下一帧的历史视频帧的暗通道图。
5.根据权利要求4所述的方法，其特征在于，该缓存预处理步骤具体包括：预先设定自然数n，读入前n帧视频帧I1,I2,...In，各帧大小为k×m，按照如下公式计算前n帧视频帧中各个视频帧的暗通道图：
其中，表示第i彩色视频帧I的红(r)、绿(g)和蓝(b)通道图像；min()表示求矩阵各个位置红(r)、绿(g)和蓝(b)三个通道值中最小值的函数；
将各个视频帧的计算结果转化为列向量形式，组成矩阵D，表示为Dn＝[D1,D2,...Dn](k×m)×n，将计算结果矩阵D存储在缓存介质中，作为下一帧的历史视频帧的暗通道图。
6.根据权利要求5所述的方法，其特征在于，将第n+1帧视频帧作为步骤一所述的当前视频帧，并按照如下方式执行步骤三：
以均值矩阵Mn、基矩阵Bn、特征值矩阵Σn、遗忘因子fn∈(0,1]和表示系数Cn为初始化参数，其中，Mn大小为(k×m)×1；先对Dn各列分别进行均值滤波，再对滤波结果求行方向的均值矩阵Mn；对Dn进行奇异值分解获得Σn，计算公式为：
[Bn,Σn,V]＝svd(Dn) (3)
Cn＝B′n×(Dn-Mn) (4)
其中，V表示奇异值分解出来的除了Mn和Bn之外的另一个矩阵，
B′n表示Bn的转置矩阵；median()表示均值滤波函数，svd()表示奇异值分解，遗忘因子fn∈(0,1]由人工设定；
按照公式(5)计算历史视频帧的暗通道图的重建图Rn+1：
Rn+1＝Mn+Bn×Cn (5)
按照公式(1)计算第n+1帧视频帧的暗通道图Dn+1，并将Dn+1加入至矩阵D的第n+1列，表示为Dn+1＝[D1,D2,...Dn,Dn+1](k×m)×(n+1)；基于当前视频帧的暗通道图和/或历史视频帧的暗通道图，使用K-L变换更新均值矩阵Mn、基矩阵Bn、特征值矩阵Σn和遗忘因子fn∈(0,1]，从而获得当前视频帧的均值矩阵Mn+1、基矩阵Bn+1、特征值矩阵Σn+1和遗忘因子fn+1；采用如下处理模式之一进行计算：
(1)采用单幅处理模式时，将当前视频帧的暗通道图Dn+1作为输入；
(2)采用分批处理模式时，将矩阵Dn+1作为输入；
以D统一表示Dn+1和Dn+1，大小为p×q，计算过程如下：
构建过渡矩阵Pn，Sn：
计算Mn+1、Bn+1、Σn+1和fn+1：
fn+1＝floor(fn+1×(1+q)) (12)
其中，qr()表示正交三角分解，floor()表示向下取整操作；表示正交三角分解得到的正交矩阵，表示正交三角分解得到的非奇异上三角矩阵，Un表示对奇异值分解得到的正交矩阵；
按照公式(13)计算当前视频帧的暗通道图的重建图
其中，B′n+1表示Bn+1的转置矩阵；
如果Bn+1的列数大于预先设定的τb，则分别截取Mn+1、Bn+1和Σn+1的前τb列作为公式(13)中相应参数Mn+1、Bn+1和Σn+1的输入值，否则直接将Mn+1、Bn+1和Σn+1作为公式(13)中相应参数Mn+1、Bn+1和Σn+1的输入值；其中，所述预先设定的τb的值为2～10。
7.根据权利要求6所述的方法，其特征在于：在步骤四中，将第n+1帧视频帧作为步骤一所述的当前视频帧，按照公式(14)计算当前视频帧的传输图Tn+1：
其中，λ为映射常数；An+1表示当前视频帧的大气光值。
8.根据权利要求7所述的方法，其特征在于，所述方法还包括根据预设条件对所述缓存介质进行更新；其中，所述预设条件包括：如果所述缓存介质中存储的历史视频帧的暗通道图的数量大于n，将所述缓存介质中距离当前时刻最远的历史视频帧的暗通道图清空；所述预设条件还包括：如果所述缓存介质中存储的历史视频帧的暗通道图变化差异过大或满足周期性条件，将所述缓存介质清空。
9.根据权利要求8所述的方法，其特征在于，采用以下各种方法中的至少一种方法对所述缓存介质进行更新：
①如果所述缓存介质中存储的历史视频帧的暗通道图大于n，则将Dn+1的第一个列清空，同时调整Dn+1的大小，Dn+1＝[D2,...Dn，Dn+1](k×m)×n，列数由n+1变为n；
②如果Dn+1的最后一列与前一列的相对偏差则将Dn+1清空，不再存储任何时刻的暗通道图；
③每间隔tp帧对缓存介质进行清空操作，将Dn+1清空，不再存储任何时刻的暗通道图。
10.一种计算机可读存储介质，其上存储有计算机指令，其特征在于，计算机的处理器执行所述计算机指令时实现如权利要求1～9中任一项所述的方法中的步骤。
CN201810045911.4A 2018-01-17 2018-01-17 有雾视频处理方法及计算机可读存储介质 Active CN108259708B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810045911.4A CN108259708B (zh) 2018-01-17 2018-01-17 有雾视频处理方法及计算机可读存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810045911.4A CN108259708B (zh) 2018-01-17 2018-01-17 有雾视频处理方法及计算机可读存储介质

Publications (2)

Publication Number Publication Date
CN108259708A true CN108259708A (zh) 2018-07-06
CN108259708B CN108259708B (zh) 2020-05-12

Family

ID=62726520

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810045911.4A Active CN108259708B (zh) 2018-01-17 2018-01-17 有雾视频处理方法及计算机可读存储介质

Country Status (1)

Country Link
CN (1) CN108259708B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110782432A (zh) * 2019-10-15 2020-02-11 智洋创新科技股份有限公司 图像监拍装置自动除雾的方法

Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101290680A (zh) * 2008-05-20 2008-10-22 西安理工大学 基于直方图均衡化过校正恢复的雾天视频图像清晰化方法
CN102611828A (zh) * 2012-01-11 2012-07-25 四川大学 一种雾天连续视频图像实时性增强处理系统
WO2013018101A1 (en) * 2011-08-03 2013-02-07 Indian Institute Of Technology, Kharagpur Method and system for removal of fog, mist or haze from images and videos
CN103347171A (zh) * 2013-06-27 2013-10-09 河海大学常州校区 基于dsp的雾天视频处理系统及方法
CN104077750A (zh) * 2014-06-18 2014-10-01 深圳市金立通信设备有限公司 一种图像的处理方法
CN104272347A (zh) * 2012-05-03 2015-01-07 Sk电信有限公司 去除包含在静止图像中的雾的图像处理装置及其方法
CN104506755A (zh) * 2015-01-13 2015-04-08 武汉烽火众智数字技术有限责任公司 基于fpga的高清视频实时自动化去雾方法
CN104754185A (zh) * 2015-04-10 2015-07-01 四川理工学院 一种视频图像处理方法
CN104751421A (zh) * 2015-03-10 2015-07-01 西安理工大学 一种在fpga上实现的图像去雾方法
CN105488769A (zh) * 2015-12-08 2016-04-13 中国航空工业集团公司西安航空计算技术研究所 一种实时视频去雾方法
CN107360344A (zh) * 2017-06-27 2017-11-17 西安电子科技大学 监控视频快速去雾方法

Patent Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101290680A (zh) * 2008-05-20 2008-10-22 西安理工大学 基于直方图均衡化过校正恢复的雾天视频图像清晰化方法
WO2013018101A1 (en) * 2011-08-03 2013-02-07 Indian Institute Of Technology, Kharagpur Method and system for removal of fog, mist or haze from images and videos
CN102611828A (zh) * 2012-01-11 2012-07-25 四川大学 一种雾天连续视频图像实时性增强处理系统
CN104272347A (zh) * 2012-05-03 2015-01-07 Sk电信有限公司 去除包含在静止图像中的雾的图像处理装置及其方法
CN103347171A (zh) * 2013-06-27 2013-10-09 河海大学常州校区 基于dsp的雾天视频处理系统及方法
CN104077750A (zh) * 2014-06-18 2014-10-01 深圳市金立通信设备有限公司 一种图像的处理方法
CN104506755A (zh) * 2015-01-13 2015-04-08 武汉烽火众智数字技术有限责任公司 基于fpga的高清视频实时自动化去雾方法
CN104751421A (zh) * 2015-03-10 2015-07-01 西安理工大学 一种在fpga上实现的图像去雾方法
CN104754185A (zh) * 2015-04-10 2015-07-01 四川理工学院 一种视频图像处理方法
CN105488769A (zh) * 2015-12-08 2016-04-13 中国航空工业集团公司西安航空计算技术研究所 一种实时视频去雾方法
CN107360344A (zh) * 2017-06-27 2017-11-17 西安电子科技大学 监控视频快速去雾方法

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110782432A (zh) * 2019-10-15 2020-02-11 智洋创新科技股份有限公司 图像监拍装置自动除雾的方法
CN110782432B (zh) * 2019-10-15 2022-10-04 智洋创新科技股份有限公司 图像监拍装置自动除雾的方法

Also Published As

Publication number Publication date
CN108259708B (zh) 2020-05-12

Similar Documents

Publication Publication Date Title
Deng et al. Wavelet domain style transfer for an effective perception-distortion tradeoff in single image super-resolution
WO2020248471A1 (zh) 一种基于集聚交叉熵损失函数的序列识别方法
CN106204499B (zh) 基于卷积神经网络的单幅图像去雨方法
CN104217404A (zh) 雾霾天视频图像清晰化处理方法及其装置
CN105913392A (zh) 复杂环境下退化图像综合质量提升方法
CN105631807A (zh) 基于稀疏域选取的单帧图像超分辨重建方法
CN113420794B (zh) 一种基于深度学习的二值化Faster R-CNN柑橘病虫害识别方法
CN110717921B (zh) 改进型编码解码结构的全卷积神经网络语义分割方法
CN113592018B (zh) 基于残差密集网络和梯度损失的红外光与可见光图像融合方法
Prost et al. Learning local regularization for variational image restoration
Ren et al. Deep video dehazing
Pan et al. FDPPGAN: remote sensing image fusion based on deep perceptual patchGAN
CN113160286A (zh) 一种基于卷积神经网络的近红外和可见光图像融合方法
Wang et al. Learning a multi-level guided residual network for single image deraining
CN109871790B (zh) 一种基于混合神经网络模型的视频去色方法
CN107993198A (zh) 优化对比度增强的图像去雾方法及系统
Huang et al. Infrared image super-resolution via heterogeneous convolutional WGAN
Zhang et al. Deep joint neural model for single image haze removal and color correction
CN108259708A (zh) 有雾视频处理方法及计算机可读存储介质
Li et al. FastLLVE: Real-Time Low-Light Video Enhancement with Intensity-Aware Look-Up Table
Yang et al. Detail-aware near infrared and visible fusion with multi-order hyper-Laplacian priors
Luo et al. A fast denoising fusion network using internal and external priors
CN110796716A (zh) 一种基于多重残差网络和正则化迁移学习的图像着色方法
Zhang et al. Single image dehazing via reinforcement learning
Zhang et al. 3D geometrical total variation regularized low-rank matrix factorization for hyperspectral image denoising

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CP01 Change in the name or title of a patent holder
CP01 Change in the name or title of a patent holder

Address after: 100013 Room 601, Anxin building, 4, nine, Hepingli, Dongcheng District, Beijing.

Patentee after: Communication and information center of emergency management department

Address before: 100013 Room 601, Anxin building, 4, nine, Hepingli, Dongcheng District, Beijing.

Patentee before: COMMUNICATION & INFORMATION CENTER OF STATE ADMINISTRATION OF WORK SAFETY