CN117979030A - 雾霾模糊视频图像高速兼容转码清晰化方法 - Google Patents

Abstract

本申请的雾霾模糊视频图像高速兼容转码清晰化方法，基于H.264雾霾视频快速转码架构，通过全映射算法对雾霾视频转码解析，分解去雾算法对宏块模式的作用，构建了H.264雾霾视频的快速兼容转码方法，在确保几乎不影响视频质量的条件下，加快整体转码的速度，融合了视频转码和视频去雾技术进行去雾转码处理,不但可以按照用户的需求灵活多变的设置视频转码时的目标参数，还可以得到画面内容清晰的视频，提高其利用价值。本申请能够根据实际需要，对雾霾视频进行了有效的去雾操作，使得原本由于雾霾而导致视频内容模糊不清变得清晰起来，并且实现在不同的显示设备中兼容各种格式、分辨率和码率等的转码，转码速度快且清晰度高。

Description

雾霾模糊视频图像高速兼容转码清晰化方法

技术领域

本申请涉及一种模糊视频图像转码清晰化方法，特别涉及一种雾霾模糊视频图像高速兼容转码清晰化方法，属于模糊视频转码处理技术领域。

背景技术

当今多媒体和互联网技术日新月异，视频种类和格式各式各样，为方便统一处理，国际标准化组织相继拟定了针对不同类型视频的编码压缩标准。然而，不同的视频标准类型之间需要互相兼容，那么这就得利用视频转码技术对它们进行转码。

视频转码是将视频流从原来的类型变成另外的类型，包括对其格式、比特率、帧率、分辨率等所作的变换。在很多应用中,用户对转码速度的要求会很高,需要通过重用解码信息来提高转码速度,实现视频快速转码。视频快速转码是一种基于转码前后码流数据的关联性，通过在编码过程中重用解码所获得的运动矢量信息以及模式信息等,加快模式设置和运动矢量的搜索，提高编码的速度，从而加快转码速度的技术。

雾霾天气下拍摄的视频可见度极低，甚至很多关键内容都无法辨别，而这些环境因素又是人们很难把控的，尤其是监控视频中所关注的交通路况、人们的各种行为等。所以，在对这些雾霾视频图像的内容进行浏览和解析之前，应当对其做去雾处理，最大限度使视频中的内容变得清晰可见，尤其是细节部分，因为这些内容可能就是所要获取的关键信息。

现有技术没有将转码技术和去雾技术联合运用到对雾霾视频转码当中，另外，现有技术的正常光照视频转码算法并不适用对雾霾视频进行转码,因为雾霾视频下的宏块模式会有较大变化，这就导致了原有的模式映射关系也不再适用。针对现实中常见的不同格式的雾霾视频，缺少一种新的模式映射关系将模糊视频转码清晰化处理。

现有技术的模糊视频转码清晰化方法需要解决的问题和本申请关键技术难点包括：

(1)当前视频压缩格式、分辨率、码率和帧率等参数的多样性会导致视频在异构网络环境下的应用中出现不兼容的问题，现有技术的视频转码不能解决模糊图像不兼容问题，针对监控视频转码应用中输入的初始视频是雾霾和模糊视频，缺少在原有正常视频转码过程中加入去雾处理，无法通过雾霾视频转码将雾霾视频转码为无雾视频，导致视频监控中存在雾霾视频的应用场景转码的质量很低，清晰度差且速度很慢。

(2)人们对于视频内容的观看效果需求越来越大，并且要求不同格式的视频要有良好的兼容性，但现有技术没有将转码技术和去雾技术联合运用到对雾霾视频转码当中，现有技术的正常光照视频转码算法并不适用对雾霾视频进行转码,因为雾霾视频下的宏块模式会有较大变化，这就导致了原有的模式映射关系也不再适用。针对现实中常见的不同格式的雾霾视频，缺少一种新的模式映射关系将模糊视频转码清晰化处理，导致人们无法在各种不同的设备上都得到良好的体验。

(3)由于实际环境中大量雾霾的影响,室外的拍摄设备所拍摄出来的视频大都可见度极低，视频内容模糊不清，难以识别。现有技术通过实现带有去雾功能的级联视频转码器能解决上述问题,但这种现有技术的转码算法的转码效率很低。没有分析现有技术全映射算法对雾霾视频进行转码所出现的问题，并不是所有的雾霾视频都适合用正常光照视频的全映射算法进行雾霾视频转码。缺少分析去雾算法对转码前后宏块模式关联性的影响以及计算雾霾视频经过全解全编算法处理之后模式信息的映射变化情况。因而无法简化宏块模式的映射关系，不能在确保较好的率失真表现的同时，加块模式的设置过程，现有技术雾霾模糊视频转码明显降低了视频质量，其转码速度也无法满足要求。

发明内容

本申请提出了H.264雾霾视频的快速转码算法，通过解析现有技术的全映射算法对雾霾视频进行转码所出现的问题，进而明确了并不是所有的雾霾视频都适合用正常光照视频的全映射算法进行雾霾视频转码。通过解析去雾算法对转码前后宏块模式关联性的影响以及计算雾霾视频经过全解全编算法处理之后模式信息的映射变化情况，根据计算的模式映射关系，简化宏块模式的映射关系，提出一种新的快速模式设置算法，即通过减少编码中进行模式设置的备选编码模式，再结合率失真优化策略设置最优的宏块模式,从而在确保较好的率失真表现的同时，加块模式的设置过程，进而提出本申请的雾霾视频快速转码算法，在几乎不改变视频质量的条件下，其转码速度大幅提升，图像清晰不失真。

为实现以上技术效果，本申请所采用的技术方案以下：

雾霾模糊视频图像高速兼容转码清晰化方法，基于H.264雾霾视频快速转码架构，通过全映射算法对雾霾视频转码解析，分解去雾算法对宏块模式的作用，构建H.264雾霾视频的快速兼容转码方法，在确保几乎不影响视频质量的条件下，加快整体转码的速度；

本申请在级联式的转码架构中增加去雾模块实现H.264雾霾视频的快速兼容转码方法，利用转码前后码流数据的关联性,重用解码过程中所获得的运动矢量以及编码模式信息，加快二次编码的速度；

本申请解析去雾算法对雾霾视频宏块模式的作用规则，然后基于解析的规则对雾霾视频转码的宏块模式作相关映射，进而构建雾霾视频快速转码算法，通过重用解码的模式信息，对原有的SKIP、帧间和帧内模式在转码前后的宏块模式映射关系进行精简，保留占比较大的宏块模式，删减占比较低的宏块模式，从而得到三种模式的不同映射策略，针对SKIP模式，协调利用转码前后视频图像中SKIP宏块梯度比和帧差来将雾霾视频中SKIP宏块的模式映射关系分为两类，即分别映射为原SKIP模式和帧间模式；针对帧间模式，除去P8×8及以下的模式按全遍历策略映射外，其余的帧间模式都采取保留初始模式的一一映射策略，针对帧内模式，按全遍历策略进行模式映射，经过以上的模式映射之后，实现对宏块模式的快速设置过程，最后，采用拉格朗日率失真优化策略计算所有备选模式的率失真代价，设置代价最小的模式作为最佳的宏块映射模式，确保视频质量的同时实现雾霾视频快速转码。

优选地，快速转码算法流程：在模式设置模块中,首先雾霾视频经过H.264解码器进行解码，获得的编码模式信息和运动矢量信息被保存下来，然后对这些编码模式进行类型判断，如果是帧内模式，则在做去雾处理之后再重编码时，编码模式的设置按照对所有可能的备选模式依次作遍历的策略进行，如果是帧间模式，则在做去雾处理之后再重编码时，编码模式的设置按照相对应的帧间模式映射关系设置合适的模式作为备选模式，如果是SKIP模式，则还需要判断去雾后视频图像相邻帧中对应位置上SKIP模式宏块的帧差，或者去雾前的视频图像中SKIP模式的宏块的梯度值与去雾后的视频图像中相对应位置的宏块的梯度值之比是否分别大于设定的临界值，如果梯度比或帧差大于其对应的临界值,那么该视频属于去雾前后为未出现异常情况的视频或去雾后本应该却未被编码成帧间模式的异常视频，则其SKIP模式在重编码时被编码成P16×16帧间模式，如果梯度比和帧差都小于其对应的临界值，那么该SKIP模式在去雾前后无发生变化，即保留初始SKIP模式进行编码；

在对帧内模式、帧间模式和SKIP模式作了以上备选模式的优化抉择之后,再对这些备选模式按照拉格朗日率失真优化策略作最优处理，即遍历已经做了模式设置的备选模式，将率失真代价最小的当作最佳的编码模式；经过以上这些编码模式的设置，实现模式设置模块的所有任务。

优选地，H.264雾霾视频快速转码架构：先将H.264格式的雾霾码流传入解码器中，经过解码后,得到格式为YUV的缓存码流，然后经过中间视频去雾环节处理，再对去雾后的YUV缓存码流进行重编码获得去雾后的H.264格式的码流，整个过程中，编码器利用从解码端所获得的数据信息做快速编码处理，从而使得各个模块组合在一起，构成H.264雾霾视频快速转码架构。

优选地，分解去雾算法对宏块模式的作用：

对于帧间模式的宏块，雾霾视频中纹理较明显或者复杂的部分，设置帧间模式编码，因而在对其进行去雾后，视频图像变得清晰可见，采用向下递进的方式判断编码模式，把简单模式进一步划分，增加更多的备选模式；从另一个角度，视频中紧邻两帧图像在时间域上的关联性更强,对它们进行编码时,采用帧间模式要比帧内模式所需比特流少，同时还能把失真度降低到最小，在进行去雾再编码过程中，相邻两帧图像被编码成帧内模式的可能性很低；

对于帧内模式的宏块,它们在去雾前后的视频图像中所占比例很小，而且它们在空间域上的关联性更强，在去雾后再进行编码的过程中，被编码为帧间模式的可能性远小于被编码为帧内模式的可能性；鉴于以上帧内模式的两个特征，对帧内模式进行遍历，保证编码压缩性能达到最好，去雾后的视频质量也最好，同时也不占用太多比特流；

最终在对去雾后的视频再次编码过程中，分三种不同的编码模式映射关系，分别处理。

优选地，第一种编码模式映射计算模型：雾霾视频fog1在经过单尺度Retinex算法下的全解全编算法处理后，其前后编码模式对应的映射关系和比例得出，对其进行解码之后，获得了大量的SKIP宏块，它所对应的SKIP模式的数量占据了整个视频宏块模式总量的二分之一，另外，随着宏块划分得更加精细，其模式越来越复杂，但其数量越来越少；

这种场景的雾霾视频在去雾前后，除初始编码模式为SKIP模式，映射为宏块划分较大的帧间模式外，其它初始的帧间模式，是一一对应关系。

优选地，第二种编码模式映射计算模型：

雾霾视频fog5全解全编算法处理后，原雾霾视频中存在大量的SKIP宏块和P16×16宏块，二者均占据了整个视频宏块总量的三分之一左右；

对该类视频进行去雾处理后，信息内容较多的纹理区域被清晰的显现出来，其对应的编码模式是宏块划分较精细的模式，信息较少的平坦区域和背景较深的地方，则保留初始模式，以便降低比特率，这种场景的雾霾视频在去雾前后，其初始编码模式为SKIP模式，除保留部分初始SKIP模式外，其余大部分映射为宏块划分较粗糙的帧间模式，初始编码模式为其它帧间模式的，则是一一映射的关系。

优选地，SKIP模式分级映射：判定初始SKIP模式被映射为SKTP模式或P16×16帧间模式的具体条件，两种情况导致初始SKIP模式被映射为P16×16帧间模式；

第1种是去雾后整个视频正常，视频内容中的纹理细节由于雾霾被去除而得以清晰显现，这种情况下，初始SKIP模式被编码为较为复杂的帧间模式才能在编码效率更高的同时使得视频质量达到比较好的水平；

第2种是去雾前后视频相邻帧之间宏块模式映射错误而导致去雾后相邻帧之间出现亮度不一致，通过解析该区域中SKIP宏块的模式信息，该宏块初始模式为SKIP模式，所在位置平滑，无纹理变化，在重编码时被编码成SKIP模式而不是帧间模式。

优选地，针对第1种去雾后视频内容中纹理变化的情况，利用图像梯度来进行判定；针对第2种视频相邻帧亮度不一致的情况，利用帧差来进行判定；

采用梯度模版计算图像梯度，模板如式1所示：

Δf_x(x，y)＝f(x，y)-f(x-1，y-1)

Δf_y(x，y)＝f(x-1，y)-f(x，y-1)

对一幅数字图像f(x，y)，式1中的第一个式子是图像中当前像素点沿x轴的梯度，第二个式子是图像中当前像素点沿y轴的梯度，第三个式子则是所求像素点的梯度；

通过计算每一类视频相邻两帧图像在去雾前后其像素值的梯度值来剖析它们纹理的分布以及强度；在雾霾天气下拍摄的视频，其许多纹理较浅部分被雾霾所掩盖，其梯度值小，另外，光滑平坦区域变化小，梯度值是0，而纹理较强部分在雾霾天气下，其梯度值较大，在去雾后的视频中，大量细节呈现，纹理相差较大的部分，其梯度值变化较大，通过图像梯度公式计算出每类视频在去雾前某一帧图像中SKIP宏块的梯度值以及去雾后同一帧图像上所对应的宏块的梯度值，然后分别取和，再求平均值，最后得到它们的比值，同时，计算每类视频在去雾前某一帧图像中SKIP宏块的梯度值与去雾后的同一帧图像中所对应的每个宏块的梯度值之比，然后求和，再求平均值；

本申请以初始雾霾视频相邻帧中SKIP宏块的帧差值为参照，通过将去雾之后所对应位置上的宏块帧差值大小与预设的临界值进行比较，以判断出初始雾霾视频当前帧中SKIP模式在编码时是应该被映射为初始SKIP模式还是帧间模式，如果帧差大于临界值，则说明初始SKIP模式应该被映射为帧间模式，同时去雾前初始SKIP宏块处的纹理细节本就较简单，而在去雾后该处的纹理细节并无明显变复杂，只是被增强而得以清晰显现而已，只需要用划分简单的P16×16帧间模式编码即可，并不需要使用划分更精细的帧间模式，对于纹理细节较为复杂的位置，去雾前被编码为帧间模式，在去雾后并不会改变其模式类型，只是随着纹理细节的显现和增多而需要划分更精细的帧间模式进行编码，反之，如果帧差小于临界值，则说明初始SKIP模式应该被映射为SKIP模式，同时该位置的纹理细节相对原来几乎无变化，为了使编码码率和计算复杂度都尽量小，在编码时便直接设置初始SKIP模式进行编码。

优选地，针对去雾后相邻两帧亮度不一致的情况，通过求取正常情况下这两帧图像在去雾前后相应位置SKIP宏块的帧差值来区分该情况下初始SKIP模式的映射方法：

正常情况下，在去雾之后，相邻两帧中对应位置的SKIP宏块帧差相对于去雾前同样的相邻两帧中SKIP宏块的帧差变化小，帧差变化区间从去雾前的0.00～2.03到去雾后的0.00～38.21，即去雾后相邻两帧的帧差绝对值在以上范围之内都属于正常情况,即去雾后这些宏块应该被编码成SKIP宏块模式，否则被编码为帧间模式。

优选地，帧间和帧内模式分组映射：

对去雾后帧间和帧内模式进行优化精简，基于三种宏块映射模式，对于帧间和帧内模式都采用映射关系进行编码；对于宏块较大的帧间模式采用一一映射的方式，包括初始P16×16模式在去雾转码后保留其初始模式P16×16，对于更小的模式，包括P8×8等以下的模式则采用全遍历方式进行二次编码，经过简化模式映射之后，加快编码模式的设置速度；

在进行编码模式的简化映射时不对帧内模式做删减处理，采用对帧内模式进行全遍历方式；

最终确定针对单尺度优化Retinex精简后的快速编码模式,即保留去雾前后比例较大的帧间模式，删除在去雾前后占比较小的帧间模式，同时对P8×8以下以及帧内模式进行全遍历的模式映射方式,在保持主观和客观质量均在可接受的误差范围里，最大限度加快转码速度。

与现有技术相比，本申请的创新点和优势在于：

(1)本申请基于H.264雾霾视频快速转码架构，通过全映射算法对雾霾视频转码解析，分解去雾算法对宏块模式的作用，构建了H.264雾霾视频的快速兼容转码方法，在确保几乎不影响视频质量的条件下，加快整体转码的速度，融合了视频转码和视频去雾技术,综合利用这两种技术对雾霾视频进行去雾转码处理,不但可以按照用户的需求灵活多变的设置视频转码时的目标参数，还可以得到画面内容清晰的视频，提高其利用价值。本申请雾霾视频转码是一种在原有的转码框架中加入去雾功能，对雾霾视频进行转码以获得无雾视频的技术，该技术能够根据实际需要，对雾霾视频进行了有效的去雾操作，使得原本由于雾霾而导致视频内容模糊不清变得清晰起来，并且实现在不同的显示设备中兼容各种格式、分辨率和码率等的转码操作，转码速度快且清晰度高，有利于广泛应用于视频监控系统和社会综合治理中。

(2)本申请提出了H.264雾霾视频的快速转码算法，通过解析现有技术的全映射算法对雾霾视频进行转码所出现的问题，进而明确了并不是所有的雾霾视频都适合用正常光照视频的全映射算法进行雾霾视频转码。通过解析去雾算法对转码前后宏块模式关联性的影响以及计算雾霾视频经过全解全编算法处理之后模式信息的映射变化情况，根据计算的模式映射关系，简化宏块模式的映射关系，提出一种新的快速模式设置算法，即通过减少编码中进行模式设置的备选编码模式，再结合率失真优化策略设置最优的宏块模式,从而在确保较好的率失真表现的同时，加块模式的设置过程，进而提出本申请的雾霾视频快速转码算法，在几乎不改变视频质量的条件下，其转码速度大幅提升，图像清晰不失真。

(3)本申请的视频转码根据不同的需求，将视频流从初始格式参数变换成另一种格式参数，来解决不兼容问题。利用转码前后码流数据的关联性,重用解码过程中所获得的运动矢量以及编码模式信息，加快二次编码的速度。雾霾视频转码中，雾霾会导致转码前后的宏块模式的关联性变得更为复杂，给码流信息的重用造成困难。直接沿用现有技术的转码算法，会导致宏块模式映射不正确，因而极大地降低雾霾视频转码的质量以及效率。针对以上问题，本申请解析去雾算法对雾霾视频宏块模式的作用规则，然后基于解析的规则对雾霾视频转码的宏块模式作相关映射，进而构建雾霾视频快速转码算法，通过重用解码的模式信息，对原有的SKIP、帧间和帧内模式在转码前后的宏块模式映射关系进行精简，保留占比较大的宏块模式，删减占比较低的宏块模式，从而得到三种模式的不同映射策略分别针对性处理，实现对宏块模式的快速设置过程，最后，采用拉格朗日率失真优化策略计算所有备选模式的率失真代价，设置代价最小的模式作为最佳的宏块映射模式，从而在确保视频质量变化不大的条件下实现雾霾视频的快速转码；能够在几乎不影响率失真性能的情况下，极大地缩短整个视频转码的时间，比现有技术的全解全编算法节省了约93.3％的时间。

附图判定

图1是雾霾视频fogl去雾前后的效果对比图。

图2是雾霾视频fog7序列在去雾后相邻两帧图像亮度不一致的模式图。

图3是雾霾视频在去雾前后SKIP宏块所对应的梯度均值示意图。

图4是优化后的编码模式映射方式示意图。

图5是雾霾视频兼容转码清晰化流程图。

图6是第一种编码模式映射方式下各算法转码的实验数据图。

图7是第二种编码模式映射方式下各算法转码的实验数据图。

图8是第三种编码模式映射方式下各算法转码的实验数据图。

图9是第三种编码模式映射方式下各算法转码的实验数据提升比例图。

具体实施方式

下面结合附图，对本申请提供的雾霾模糊视频图像高速兼容转码清晰化方法的技术方案进行进一步的描述，使本领域的技术人员能够更好的理解本申请并能够予以实施。

视频压缩格式、分辨率、码率和帧率等参数的多样性会导致视频在异构网络环境下的应用中出现不兼容的问题。视频转码根据不同的需求，将视频流从初始格式参数变换成另一种格式参数，来解决不兼容问题。但在很多监控视频转码应用中，输入的初始视频是雾霾和模糊视频，这就需要在原有正常视频转码过程中加入去雾处理，通过雾霾视频转码将雾霾视频转码为无雾视频，这对于视频监控中存在雾霾视频的应用场景具有重要的价值。

利用转码前后码流数据的关联性,重用解码过程中所获得的运动矢量以及编码模式信息，加快二次编码的速度。雾霾视频转码中，雾霾会导致转码前后的宏块模式的关联性变得更为复杂，给码流信息的重用造成困难。直接沿用现有技术的转码算法，会导致宏块模式映射不正确，因而极大地降低雾霾视频转码的质量以及效率。针对以上问题，本申请解析去雾算法对雾霾视频宏块模式的作用规则，然后基于解析的规则对雾霾视频转码的宏块模式作相关映射，进而构建雾霾视频快速转码算法，通过重用解码的模式信息，对原有的SKIP、帧间和帧内模式在转码前后的宏块模式映射关系进行精简，保留占比较大的宏块模式，删减占比较低的宏块模式，从而得到三种模式的不同映射策略，针对SKIP模式，协调利用转码前后视频图像中SKIP宏块梯度比和帧差来将雾霾视频中SKIP宏块的模式映射关系分为两类，即分别映射为原SKIP模式和帧间模式；针对帧间模式，除去P8×8及以下的模式按全遍历策略映射外，其余的帧间模式都采取保留初始模式的一一映射策略，针对帧内模式，按全遍历策略进行模式映射，经过以上的模式映射之后，实现对宏块模式的快速设置过程，最后，采用拉格朗日率失真优化策略计算所有备选模式的率失真代价，设置代价最小的模式作为最佳的宏块映射模式，从而在确保视频质量变化不大的条件下实现雾霾视频的快速转码；

本申请在级联式的转码架构中增加去雾模块实现H.264雾霾视频的快速兼容转码方法，使用的H.264视频编解码器来自于国际标准化组织所提供的JM18.4版本。大量实验结果表明，本申请所提出的算法能够在几乎不影响率失真性能的情况下，极大地缩短整个视频转码的时间，比现有技术的全解全编算法节省了约93.3％的时间。

一、H.264雾霾视频快速转码架构

先将H.264格式的雾霾码流传入解码器中，经过解码后,得到格式为YUV的缓存码流，然后经过中间视频去雾环节处理，再对去雾后的YUV缓存码流进行重编码获得去雾后的H.264格式的码流。整个过程中，编码器利用从解码端所获得的数据信息做快速编码处理，从而使得各个模块组合在一起，构成H.264雾霾视频快速转码架构。

二、全映射算法对雾霾视频转码解析

以全解全编算法为基准，通过全映射算法下雾霾视频转码的率失真曲线来解析雾霾视频是否可以直接用现有技术的全映射算法进行快速转码。

全映射算法是在重编码时,直接将解码端解码得到的编码模式信息运用到编码端，每种编码模式在转码前后都是一一对应的关系，这就大幅减少了编码所用时间以及整个转码时间。全映射算法大幅简化了全解全编算法中划分编码模式和搜索运动估计部分。经过这样地简化，缩短了整体转码所消耗的时间。该算法把转码的速率已提高到了最大限度。

全映射算法在对雾霾视频进行转码时，并不是所有的视频都如正常光照视频进行转码那样，在视频质量能达到预期效果。实验表明，在对fog10这一类雾霾视频进行转码时,全映射算法可以在确保其转码率失真性能和全解全编算法的相差很小的条件下,最大限度地提高其转码的速率。但对于其它雾霾视频，该算法却力所不及，这也就说明了雾霾视频转码对于模式的映射关系的影响已经起了很大作用。因此,本申请接下来需要解析去雾算法对宏块模式的影响，进而对不适合全映射算法转码的雾霾视频作新的模式映射设置。

三、分解去雾算法对宏块模式的作用

由于受雾霾影响，全映射算法并不适合针对所有雾霾视频进行转码，因为有的雾霾视频对转码前后的宏块模式影响较大，因而，并不能简单地如全映射算法一样进行模式的一一映射，所以本申请解析去雾算法对转码前后的宏块模式关联性影响。

快速转码框架中去雾算法模块采用Retinex算法，多尺度Retinex算法相对单尺度Retincx算法只增加尺度数，它们本质上一样，只对后者做相关解析。

对于SKIP模式类型的宏块，它与帧间或者帧内模式类型的宏块不同，分为P_SKIP类型的宏块和B_SKIP类型的宏块，二者都无像素残差(相对于预测参照块)，无运动矢量残差，它在编码端直接复制解码所产生的参照宏块作为当前编码块。在雾霾等恶劣天气下拍摄的视频会存在大量的SKIP宏块，它们都采用SKIP模式进行编码，因此，在对雾霾视频作去雾处理之后，原本被雾霾遮盖的大量纹理细节得以清晰显现，这就说明原雾霾视频中存在的SKIP模式类型的宏块在被重编码时，其宏块模式发生了变化。另外，由于原来SKIP模式的宏块位置的纹理本来就很浅或几乎无纹理,这部分在去雾后只是映射为SKIP模式或者P16×16模式的较大宏块。

对于帧间模式的宏块，由于在雾霾视频中，纹理较明显或者复杂的部分，会设置帧间模式编码，因而在对其进行去雾后，视频图像变得清晰可见，它们大多还会映射为帧间模式，有些区域有可能会由于大量纹理的出现而划分得更为精细,即采用向下递进的方式判断编码模式，把简单模式进一步划分，增加更多的备选模式。从另一个角度，由于视频中紧邻两帧图像在时间域上的关联性更强,对它们进行编码时,采用帧间模式要比帧内模式所需比特流少，同时还能把失真度降低到最小。充分说明在进行去雾再编码过程中，相邻两帧图像被编码成帧内模式的可能性很低。

对于帧内模式的宏块,由于它们在去雾前后的视频图像中所占比例很小，而且它们在空间域上的关联性更强，所以在去雾后再进行编码的过程中，被编码为帧间模式的可能性远小于被编码为帧内模式的可能性。鉴于以上帧内模式的两个特征，对帧内模式进行遍历，这种方式保证编码压缩性能达到最好，去雾后的视频质量也最好，同时也不会占用太多比特流。

在对几十个雾霾视频进行全解全编算法实验的过程中发现,雾霾视频与去雾后的视频在模式上发生了明显的变化。经大量的数据计算，最终确定在对去雾后的视频再次编码过程中，存在三种不同的编码模式映射关系，需要分别处理。

(1)第一种编码模式映射计算模型：

雾霾视频fog1(房屋村落)在经过单尺度Retinex算法下的全解全编算法处理后，其前后编码模式对应的映射关系和比例得出，由于雾霾视频受雾霾天气影响，因而在对其进行解码之后，获得了大量的SKIP宏块，它所对应的SKIP模式的数量占据了整个视频宏块模式总量的二分之一。另外，随着宏块划分得更加精细，其模式越来越复杂，但其数量越来越少。

其次，通过对fog1雾霾视频在去雾前后的内容和模式信息的解析，发现整个画面几乎都是错综复杂的建筑，使得每一帧图像出现大量的纹理信息，在有雾霾时被覆盖，但经过去雾处理后，都清晰显现出来。这种场景的雾霾视频在去雾前后，除初始编码模式为SKIP模式，映射为宏块划分较大的帧间模式外，其它初始的帧间模式，基本是一一对应关系。

(2)第二种编码模式映射计算模型：

雾霾视频fog5(交通)在经过单尺度Retinex算法全解全编算法处理后，其前后编码模式对应的映射关系和比例得到，原雾霾视频中存在大量的SKIP宏块和P16×16宏块，二者均占据了整个视频宏块总量的三分之一左右,不同于fogl的场景。

通过对fog5雾霾视频在去雾前后内容和模式信息的解析，发现被雾霾天气所覆盖的除某些纹理较深区域之外,还有大量的平坦区域和背景颜色较深的块状区域，这使得在对该类视频进行去雾处理后，信息内容较多的纹理区域被清晰的显现出来，其对应的编码模式是宏块划分较精细的模式，信息较少的平坦区域和背景较深的地方，则保留初始模式，以便降低比特率。这种场景的雾霾视频在去雾前后，其初始编码模式为SKIP模式，除保留部分初始SKIP模式外，其余大部分映射为宏块划分较粗糙的帧间模式。初始编码模式为其它帧间模式的，则几乎是一一映射的关系。

(3)第三种编码模式映射计算模型：

雾霾视频fog10(交通)在经过单尺度Retinex算法下的全解全编算法处理后，其前后编码模式对应的映射关系和比例得到，原雾霾视频中同样存在大量的SKIP宏块和P16×16宏块，二者均占据了整个视频宏块总量的三分之一，但本视频的场景又有别于前二者。

本雾霾视频在去雾前后的内容和模式信息中，被雾霾天气所覆盖的内容存在大量的纹理细节区域，这些区域原本所表现出来的就是帧间模式，即便去雾之后，大量纹理细节出现，其初始宏块模式仍保留下来。另外，该视频内容中同样存在大量的平坦区域，这部分细节信息量少，表现SKIP模式，在进行去雾处理后，也保留初始模式，减少编码码率。这种场景的雾霾视频在去雾前后，其编码模式大致符合一一对应关系。

通过上述计算的三种不同模式映射比例关系得出，由于雾霾视频中的内容被雾霾所覆盖，初始模式大多以简单的SKIP模式和P16×16模式存在，二者在初始模式中占据一半以上比例。又因为在去雾之后，随着大量纹理细节出现，很多雾霾视频中的SKIP模式被大量映射为帧间模式，而初始帧间模式还是映射为帧间模式，初始帧内模式还是会映射为帧内模式。

四、H.264雾霾视频的快速兼容转码方法

在对去雾算法进行深入解析后，掌握对雾霾视频去雾操作，其宏块模式所发生的变化规则。然后根据这一规则，提出本申请的核心算法-H.264雾霾视频的快速转码算法。

(一)SKIP模式分级映射

通过前面三类视频模式映射的解析，它们的区别是SKIP模式分级映射不一致导致，即初始SKIP模式被映射为SKIP模式还是P16×16帧间模式。那么，接下来就要判定初始SKIP模式被映射为SKTP模式或P16×16帧间模式的具体条件，两种情况导致初始SKIP模式被映射为P16×16帧间模式；

第1种是去雾后整个视频正常，视频内容中的纹理细节由于雾霾被去除而得以清晰显现(变强)，这种情况下，初始SKIP模式被编码为较为复杂的帧间模式才能在编码效率更高的同时使得视频质量达到比较好的水平；fogl去雾前后的效果图如图1所示；

第2种是去雾前后视频相邻帧之间宏块模式映射错误而导致去雾后相邻帧之间出现亮度不一致。通过解析该区域中SKIP宏块的模式信息发现(图2)，该宏块初始模式为SKIP模式，所在位置较平滑，无纹理变化，在重编码时被编码成SKIP模式而不是帧间模式。

针对第1种去雾后视频内容中纹理变化的情况，利用图像梯度来进行判定；针对第2种视频相邻帧亮度不一致的情况，利用帧差来进行判定。

采用梯度模版计算图像梯度，模板如式1所示：

Δf_x(x，y)＝f(x，y)-f(x-1，y-1)

Δf_y(x，y)＝f(x-1，y)-f(x，y-1)

对一幅数字图像f(x,y)，式1中的第一个式子是图像中当前像素点沿x轴的梯度，第二个式子是图像中当前像素点沿y轴的梯度，第三个式子则是所求像素点的梯度；

通过计算每一类视频相邻两帧图像在去雾前后其像素值的梯度值来剖析它们纹理的分布以及强度；在雾霾天气下拍摄的视频，其许多纹理较浅部分被雾霾所掩盖，其梯度值小，另外，光滑平坦区域变化小，梯度值是0，而纹理较强部分在雾霾天气下，其梯度值较大，在去雾后的视频中，大量细节被呈现出来，纹理相差较大的部分，其梯度值变化较大，变化不大是光滑平坦或纹理变化不大或基本没变的部分。通过图像梯度公式计算出每类视频在去雾前某一帧图像中SKIP宏块的梯度值以及去雾后同一帧图像上所对应的宏块的梯度值,然后分别取和，再求平均值，最后得到它们的比值，同时，计算每类视频在去雾前某一帧图像中SKIP宏块的梯度值与去雾后的同一帧图像中所对应的每个宏块的梯度值之比，然后求和，再求平均值,如图3所示。

从图3可以看出，对于原来是SKIP模式的宏块，不论计算的是每类视频在去雾前某一帧图像中SKIP宏块的梯度值以及去雾后同一帧图像上所对应的宏块的梯度值的和均值之比，还是每类视频在去雾前某一帧图像中SKIP宏块的梯度值与去雾后的同一帧图像中所对应的每个宏块的梯度值之比的和均值,在第一类视频中，它们的梯度值之比都是最大的，达到6倍，该类视频的整个画面中的纹理分布最多，包含的信息也最多，在去雾之后，纹理信息变强。

视频相邻帧之间有很大的关联性，它们之间的变化是很缓慢的,因此本申请以初始雾霾视频相邻帧中SKIP宏块的帧差值为参照，通过将去雾之后所对应位置上的宏块帧差值大小与预设的临界值进行比较,以判断出初始雾霾视频当前帧中SKIP模式在编码时是应该被映射为初始SKIP模式还是帧间模式，如果帧差大于临界值，则说明初始SKIP模式应该被映射为帧间模式，同时去雾前初始SKIP宏块处的纹理细节本就较简单，而在去雾后该处的纹理细节并无明显变复杂，只是被增强而得以清晰显现而已，所以只需要用划分简单的P16×16帧间模式编码即可，并不需要使用划分更精细的帧间模式，这样能做到保持较好率失真性能的同时，降低编码的复杂度，对于纹理细节较为复杂的位置，去雾前被编码为帧间模式，在去雾后并不会改变其模式类型，只是随着纹理细节的显现和增多而需要划分更精细的帧间模式进行编码，反之，如果帧差小于临界值，则说明初始SKIP模式应该被映射为SKIP模式，同时该位置的纹理细节相对原来几乎无变化,为了使编码码率和计算复杂度都尽量小，在编码时便直接设置初始SKIP模式进行编码。

针对图2出现的去雾后相邻两帧亮度不一致的情况，通过求取正常情况下这两帧图像在去雾前后相应位置SKIP宏块的帧差值来区分该情况下初始SKIP模式的映射方法：

正常情况下，在去雾之后，相邻两帧中对应位置的SKIP宏块帧差相对于去雾前同样的相邻两帧中SKIP宏块的帧差变化不大，帧差变化区间从去雾前的0.00～2.03到去雾后的0.00～38.21，即去雾后相邻两帧的帧差绝对值在以上范围之内都属于正常情况,即去雾后这些宏块应该被编码成SKIP宏块模式，否则被编码为帧间模式。

(二)帧间和帧内模式分组映射

对去雾后帧间和帧内模式进行优化精简，如图4所示，基于三种宏块映射模式，对于帧间和帧内模式都采用图4中的映射关系进行编码。

从图4可以看出,对于宏块较大的帧间模式采用一一映射的方式，包括初始P16×16模式在去雾转码后保留其初始模式P16×16，对于更小的模式，包括P8×8等以下的模式则采用全遍历方式进行二次编码，经过简化模式映射之后，大幅加快编码模式的设置速度，对于编码以及整个转码的速度提升明显。

在进行编码模式的简化映射时不对帧内模式做删减处理，因为在对大量雾霾视频进行去雾处理并计算它们在去雾前后的映射模式时，发现它们在原雾霾视频中所占的比例都很小，为了能更有效的压缩效率，采用对帧内模式进行全遍历方式。

经过以上映射模式的解析，最终确定针对单尺度优化Retinex精简后的快速编码模式,即保留去雾前后比例较大的帧间模式，删除在去雾前后占比较小的帧间模式，同时对P8×8以下以及帧内模式进行全遍历的模式映射方式,在保持主观和客观质量均在可接受的误差范围里，最大限度地加快整个转码过程的速度。

(三)快速转码算法流程

雾霾视频转码流程图如图5所示。在模式设置模块中,首先雾霾视频经过H.264解码器进行解码，获得的编码模式信息和运动矢量信息被保存下来，然后对这些编码模式进行类型判断，如果是帧内模式，则在做去雾处理之后再重编码时，编码模式的设置按照图4对所有可能的备选模式依次作遍历的策略进行，如果是帧间模式，则在做去雾处理之后再重编码时，编码模式的设置按照图4相对应的帧间模式映射关系设置合适的模式作为备选模式，如果是SKIP模式，则还需要判断去雾后视频图像相邻帧中对应位置上SKIP模式宏块的帧差，或者去雾前的视频图像中SKIP模式的宏块的梯度值与去雾后的视频图像中相对应位置的宏块的梯度值之比是否分别大于设定的临界值，如果梯度比或帧差大于其对应的临界值,那么该视频属于去雾前后为未出现异常情况的视频或去雾后本应该却未被编码成帧间模式的异常视频，则其SKIP模式在重编码时被编码成P16×16帧间模式，如果梯度比和帧差都小于其对应的临界值，那么该SKIP模式在去雾前后无发生变化，即保留初始SKIP模式进行编码；

在对帧内模式、帧间模式和SKIP模式作了以上备选模式的优化抉择之后,再对这些备选模式按照拉格朗日率失真优化策略作最优处理，即遍历已经做了模式设置的备选模式，将率失真代价最小的当作最佳的编码模式；经过以上这些编码模式的设置，实现模式设置模块的所有任务，对现有技术的全解全编算法做了最精简的优化，实现本申请针对雾霾视频的快速转码算法。

五、实验数据与解析

本实验根据三种不同的模式映射方式分三种情况进行，每种方式均拍摄了3-5组视频序列，即fog1-13等共十三个雾霾视频，分别使用带色彩恢复的单尺度Retinex去雾算法和带色彩恢复的多尺度Retinex去雾算法进行H.264雾霾视频的快速转码操作。

(一)单尺度和多尺度算法下的实验

首先，列出在单尺度和多尺度Retinex去雾算法下各个转码算法所得实验结果。根据实验后所测数据对13个视频按照其模式映射关系进行分类，然后依次按类别将实验数据置于以下表格中。

(1)第一种编码模式映射方式下,获得的数据如图6。

图6中的各个数据是相应的视频序列在量化参数QP取值为20到40下所测得的结果取的平均值，反映的是第一类雾霾视频(fog1-3)在第一种编码映射模式下，经过四种转码算法实验所获得的一系列有用数据。其中全解全编算法由于在编码端采用了对所有的备选模式进行遍历的方式,因而在所有转码框架算法中所消耗的转码时间是最长的，其转码速度自然最慢，而在这整个转码算法中，消耗时间最长的就是编码端对帧间模式进行运动估计的过程。从这个角度看，本申请提出的快速转码算法仅次于全映射算法，对于全映射算法，鉴于其直接跳过对宏块模式的判断,编码器直接利用从解码端获得的模式信息进行重编码这一大特性，从而在转码速度上达到了极限的程度，本申请快速转码算法在转码速度上极有效的达到了提升的效果,这个是全解全编算法和当前主流算法无做到的。另一方面，在率失真性能上，本申请算法与全解全编算法的PSNR值变化不大，只是比特率略高于全解全编算法。综合以上两个方面的解析,本申请快速转码算法可以有效的利用第一种编码模式映射方式对第一类雾霾视频做单尺度Retinex去雾的快速转码操作。

以全解全编算法作为基准，按照图6计算出其它三种算法所对应的各个参数与全解全编算法所对应的各个参数的增幅比例情况，能够清晰直观地看到，本申请所实现的针对第一类雾霾视频的快速转码算法P在率失真方面与全解全编算法差不多，PSNR变化远小于1dB，可以忽略不计，而其整个转码过程的速度却能提升95％以上的比例，几乎接近全映射算法了,其中运动估计模块所占用的时间减少了98％以上的比例，尤其是在将去雾操作所耗费的时间出去之后，其编码端所花费的时间以及运动估计所花费的时间大幅降低，速度提升效果尤为显著。同时，在比特率增幅变化上，本申请的快速转码算法比全解全编算法提高的比例远远不到1％，与当前主流算法相当，而转码速度却是它的近3倍，可见本申请快速转码算法在转码速度和率失真性能上的优越性比其它三种算法都要好。

通过这四种算法的率失真曲线还能进一步直观地查看它们在率失真方面的差异。第一类雾霾视频序列在经过四种转码算法的去雾转码操作之后，在率失真性能表现方面，本申请快速转码算法与全解全编算法和当前主流算法的率失真曲线几乎重合，但对全映射算法而言，它在率失真性能这一方面与其它三种算法相比就表现出了很大的差异性，虽然用于转码的比特率要小于其它三种算法,但经过其去雾转码后的视频的质量下降太大,最大达到了6dB左右,这一差距已经超过了视频转码中允许的误差范围了,因此,全映射算法不适用于对第一类雾霾视频进行去雾和快速转码操作。

与全解全编算法相比，其余三种转码算法在速度上都有明显的提高，其中全映射算法在这方面的提升幅度已经近乎达到了极限，本申请快速转码算法也能达到90％以上，比当前主流算法提升了30％以上。这就充分的说明，本申请快速转码算法在转码效率上得到了大幅度地提升，远远高于全解全编算法和当前主流算法。

(2)第二种模式映射方式下，获得的数据如图7所示：

图7中的各个数据是相应的视频序列在量化参数QP取值为20到40下所测得的结果取的平均值，反映的是第二类雾霾视频(fog4-8)在第二种编码映射模式下，经过四种转码算法实验所获得的一系列有用数据，本申请提出的快速转码算法仅次于全映射算法,在转码速率上极大地达到了提高的效果。另一方面，在率失真方面，本申请算法与全解全编算法的PSNR值是差不多，只是码率略微有所增加。综合以上两个方面的解析，本申请快速转码算法能够有效的利用第二种编码模式映射方式对第二类雾霾视频做快速转码操作。

本申请所实现的针对第二类雾霾视频的快速转码算法在率失真性能方面与全解全编算法差不多,PSNR的变化远小于1dB,可以忽略不计，而其整个转码过程的速度却能提升94％以上的比例，几乎接近全映射算法了，其中运动估计模块所占用的时间减少了97％以上的比例，尤其是在将去雾操作所耗费的时间出去之后,其编码端所花费的时间以及运动估计所花费的时间大幅降低，速度提升效果尤为显著。同时，在比特率增幅变化上，本申请的快速转码算法比全解全编算法提高的比例为1％左右，与当前主流算法相当，而转码速度却是它的近3倍。综合各算法在转码速度和率失真性能上的表现，本申请快速转码算法要大幅优越于别的算法。

(3)第三种模式映射方式下,获得的数据如图8所示。

图8中的各个数据是相应的视频序列在量化参数QP取值为20到40下所测得的结果取的平均值，反映的是第三类雾霾视频(fog9-13)在第三种编码映射模式下。本申请提出的快速转码算法在转码速度上与全映射算法几乎一致，这说明对于第三类视频来说，快速转码算法与全映射算法可以看作是同一算法。另一方面，在率失真性能上，四种算法的PSNR值大小差不太多。综合以上两个方面的解析，本申请快速转码算法可以有效的对第三类雾霾视频进行快速转码操作。

以全解全编算法作为基准，按照图8计算出其它三种算法所对应的各个参数与全解全编算法所对应的各个参数的增幅比例情况，得到了如图9所示的提升数据。

从图9可以看到，本申请所实现的针对第三类雾霾视频的快速转码算法在率失真性能方面与全解全编算法差不多，PSNR变化远小于1dB，可以忽略不计，而其整个转码过程的速度却能提升95％以上的比例，几乎接近全映射算法了，其中运动估计模块所占用的时间减少了98％以上的比例，尤其是在将去雾操作所耗费的时间出去之后,其编码端所花费的时间以及运动估计所花费的时间大幅降低，速度提升效果尤为显著。同时，还能看到，在比特率增幅变化上，本申请的快速转码算法比全解全编算法提高的比例大概在1％左右，与当前主流算法相当，而转码速度却是它的2倍多,可见本申请快速转码算法在转码速度和率失真性能上的优越性比其它三种算法都要好。充分说明，本申请快速转码算法在转码效率上得到了大幅度地提升，远远高于全解全编算法和当前主流算法。

实验表明，不管是单尺度Retinex去雾算法下的快速转码算法，还是多尺度Retinex去雾算法下的快速转码算法，在几乎不影响视频的质量的条件下，它们相比于现有技术的全解全编算法在转码的速度上提高了90％以上。

Claims (10)

1.雾霾模糊视频图像高速兼容转码清晰化方法，其特征在于，基于H.264雾霾视频快速转码架构，通过全映射算法对雾霾视频转码解析，分解去雾算法对宏块模式的作用，构建H.264雾霾视频的快速兼容转码方法，在确保几乎不影响视频质量的条件下，加快整体转码的速度；

本申请在级联式的转码架构中增加去雾模块实现H.264雾霾视频的快速兼容转码方法，利用转码前后码流数据的关联性,重用解码过程中所获得的运动矢量以及编码模式信息，加快二次编码的速度；

本申请解析去雾算法对雾霾视频宏块模式的作用规则，然后基于解析的规则对雾霾视频转码的宏块模式作相关映射，进而构建雾霾视频快速转码算法，通过重用解码的模式信息，对原有的SKIP、帧间和帧内模式在转码前后的宏块模式映射关系进行精简，保留占比较大的宏块模式，删减占比较低的宏块模式，从而得到三种模式的不同映射策略，针对SKIP模式，协调利用转码前后视频图像中SKIP宏块梯度比和帧差来将雾霾视频中SKIP宏块的模式映射关系分为两类，即分别映射为原SKIP模式和帧间模式；针对帧间模式，除去P8×8及以下的模式按全遍历策略映射外，其余的帧间模式都采取保留初始模式的一一映射策略，针对帧内模式，按全遍历策略进行模式映射，经过以上的模式映射之后，实现对宏块模式的快速设置过程，最后，采用拉格朗日率失真优化策略计算所有备选模式的率失真代价，设置代价最小的模式作为最佳的宏块映射模式，确保视频质量的同时实现雾霾视频快速转码。

2.根据权利要求1所述雾霾模糊视频图像高速兼容转码清晰化方法，其特征在于，快速转码算法流程：在模式设置模块中,首先雾霾视频经过H.264解码器进行解码，获得的编码模式信息和运动矢量信息被保存下来，然后对这些编码模式进行类型判断，如果是帧内模式，则在做去雾处理之后再重编码时，编码模式的设置按照对所有可能的备选模式依次作遍历的策略进行，如果是帧间模式，则在做去雾处理之后再重编码时，编码模式的设置按照相对应的帧间模式映射关系设置合适的模式作为备选模式，如果是SKIP模式，则还需要判断去雾后视频图像相邻帧中对应位置上SKIP模式宏块的帧差，或者去雾前的视频图像中SKIP模式的宏块的梯度值与去雾后的视频图像中相对应位置的宏块的梯度值之比是否分别大于设定的临界值，如果梯度比或帧差大于其对应的临界值,那么该视频属于去雾前后为未出现异常情况的视频或去雾后本应该却未被编码成帧间模式的异常视频，则其SKIP模式在重编码时被编码成P16×16帧间模式，如果梯度比和帧差都小于其对应的临界值，那么该SKIP模式在去雾前后无发生变化，即保留初始SKIP模式进行编码；

在对帧内模式、帧间模式和SKIP模式作了以上备选模式的优化抉择之后,再对这些备选模式按照拉格朗日率失真优化策略作最优处理，即遍历已经做了模式设置的备选模式，将率失真代价最小的当作最佳的编码模式；经过以上这些编码模式的设置，实现模式设置模块的所有任务。

3.根据权利要求1所述雾霾模糊视频图像高速兼容转码清晰化方法，其特征在于，H.264雾霾视频快速转码架构：先将H.264格式的雾霾码流传入解码器中，经过解码后,得到格式为YUV的缓存码流，然后经过中间视频去雾环节处理，再对去雾后的YUV缓存码流进行重编码获得去雾后的H.264格式的码流，整个过程中，编码器利用从解码端所获得的数据信息做快速编码处理，从而使得各个模块组合在一起，构成H.264雾霾视频快速转码架构。

4.根据权利要求1所述雾霾模糊视频图像高速兼容转码清晰化方法，其特征在于，分解去雾算法对宏块模式的作用：

对于帧间模式的宏块，雾霾视频中纹理较明显或者复杂的部分，设置帧间模式编码，因而在对其进行去雾后，视频图像变得清晰可见，采用向下递进的方式判断编码模式，把简单模式进一步划分，增加更多的备选模式；从另一个角度，视频中紧邻两帧图像在时间域上的关联性更强,对它们进行编码时,采用帧间模式要比帧内模式所需比特流少，同时还能把失真度降低到最小，在进行去雾再编码过程中，相邻两帧图像被编码成帧内模式的可能性很低；

对于帧内模式的宏块,它们在去雾前后的视频图像中所占比例很小，而且它们在空间域上的关联性更强，在去雾后再进行编码的过程中，被编码为帧间模式的可能性远小于被编码为帧内模式的可能性；鉴于以上帧内模式的两个特征，对帧内模式进行遍历，保证编码压缩性能达到最好，去雾后的视频质量也最好，同时也不占用太多比特流；

最终在对去雾后的视频再次编码过程中，分三种不同的编码模式映射关系，分别处理。

5.根据权利要求4所述雾霾模糊视频图像高速兼容转码清晰化方法，其特征在于，第一种编码模式映射计算模型：雾霾视频fog1在经过单尺度Retinex算法下的全解全编算法处理后，其前后编码模式对应的映射关系和比例得出，对其进行解码之后，获得了大量的SKIP宏块，它所对应的SKIP模式的数量占据了整个视频宏块模式总量的二分之一，另外，随着宏块划分得更加精细，其模式越来越复杂，但其数量越来越少；

这种场景的雾霾视频在去雾前后，除初始编码模式为SKIP模式，映射为宏块划分较大的帧间模式外，其它初始的帧间模式，是一一对应关系。

6.根据权利要求4所述雾霾模糊视频图像高速兼容转码清晰化方法，其特征在于，第二种编码模式映射计算模型：

雾霾视频fog5全解全编算法处理后，原雾霾视频中存在大量的SKIP宏块和P16×16宏块，二者均占据了整个视频宏块总量的三分之一左右；

对该类视频进行去雾处理后，信息内容较多的纹理区域被清晰的显现出来，其对应的编码模式是宏块划分较精细的模式，信息较少的平坦区域和背景较深的地方，则保留初始模式，以便降低比特率，这种场景的雾霾视频在去雾前后，其初始编码模式为SKIP模式，除保留部分初始SKIP模式外，其余大部分映射为宏块划分较粗糙的帧间模式，初始编码模式为其它帧间模式的，则是一一映射的关系。

7.根据权利要求1所述雾霾模糊视频图像高速兼容转码清晰化方法，其特征在于，SKIP模式分级映射：判定初始SKIP模式被映射为SKTP模式或P16×16帧间模式的具体条件，两种情况导致初始SKIP模式被映射为P16×16帧间模式；

第1种是去雾后整个视频正常，视频内容中的纹理细节由于雾霾被去除而得以清晰显现，这种情况下，初始SKIP模式被编码为较为复杂的帧间模式才能在编码效率更高的同时使得视频质量达到比较好的水平；

第2种是去雾前后视频相邻帧之间宏块模式映射错误而导致去雾后相邻帧之间出现亮度不一致，通过解析该区域中SKIP宏块的模式信息，该宏块初始模式为SKIP模式，所在位置平滑，无纹理变化，在重编码时被编码成SKIP模式而不是帧间模式。

8.根据权利要求7所述雾霾模糊视频图像高速兼容转码清晰化方法，其特征在于，针对第1种去雾后视频内容中纹理变化的情况，利用图像梯度来进行判定；针对第2种视频相邻帧亮度不一致的情况，利用帧差来进行判定；

采用梯度模版计算图像梯度，模板如式1所示：

△f_x(x,y)＝f(x,y)-f(x-1,y-1)

△f_y(x,y)＝f(x-1,y)-f(x,y-1)

对一幅数字图像f(x,y)，式1中的第一个式子是图像中当前像素点沿x轴的梯度，第二个式子是图像中当前像素点沿y轴的梯度，第三个式子则是所求像素点的梯度；

通过计算每一类视频相邻两帧图像在去雾前后其像素值的梯度值来剖析它们纹理的分布以及强度；在雾霾天气下拍摄的视频，其许多纹理较浅部分被雾霾所掩盖，其梯度值小，另外，光滑平坦区域变化小，梯度值是0，而纹理较强部分在雾霾天气下，其梯度值较大，在去雾后的视频中，大量细节呈现，纹理相差较大的部分，其梯度值变化较大，通过图像梯度公式计算出每类视频在去雾前某一帧图像中SKIP宏块的梯度值以及去雾后同一帧图像上所对应的宏块的梯度值,然后分别取和，再求平均值，最后得到它们的比值，同时，计算每类视频在去雾前某一帧图像中SKIP宏块的梯度值与去雾后的同一帧图像中所对应的每个宏块的梯度值之比，然后求和，再求平均值；

本申请以初始雾霾视频相邻帧中SKIP宏块的帧差值为参照，通过将去雾之后所对应位置上的宏块帧差值大小与预设的临界值进行比较,以判断出初始雾霾视频当前帧中SKIP模式在编码时是应该被映射为初始SKIP模式还是帧间模式，如果帧差大于临界值，则说明初始SKIP模式应该被映射为帧间模式，同时去雾前初始SKIP宏块处的纹理细节本就较简单，而在去雾后该处的纹理细节并无明显变复杂，只是被增强而得以清晰显现而已，只需要用划分简单的P16×16帧间模式编码即可，并不需要使用划分更精细的帧间模式，对于纹理细节较为复杂的位置，去雾前被编码为帧间模式，在去雾后并不会改变其模式类型，只是随着纹理细节的显现和增多而需要划分更精细的帧间模式进行编码，反之，如果帧差小于临界值，则说明初始SKIP模式应该被映射为SKIP模式，同时该位置的纹理细节相对原来几乎无变化,为了使编码码率和计算复杂度都尽量小，在编码时便直接设置初始SKIP模式进行编码。

9.根据权利要求8所述雾霾模糊视频图像高速兼容转码清晰化方法，其特征在于：针对去雾后相邻两帧亮度不一致的情况，通过求取正常情况下这两帧图像在去雾前后相应位置SKIP宏块的帧差值来区分该情况下初始SKIP模式的映射方法：

正常情况下，在去雾之后，相邻两帧中对应位置的SKIP宏块帧差相对于去雾前同样的相邻两帧中SKIP宏块的帧差变化小，帧差变化区间从去雾前的0.00～2.03到去雾后的0.00～38.21，即去雾后相邻两帧的帧差绝对值在以上范围之内都属于正常情况,即去雾后这些宏块应该被编码成SKIP宏块模式，否则被编码为帧间模式。

10.根据权利要求1所述雾霾模糊视频图像高速兼容转码清晰化方法，其特征在于，帧间和帧内模式分组映射：

对去雾后帧间和帧内模式进行优化精简，基于三种宏块映射模式，对于帧间和帧内模式都采用映射关系进行编码；对于宏块较大的帧间模式采用一一映射的方式，包括初始P16×16模式在去雾转码后保留其初始模式P16×16，对于更小的模式，包括P8×8等以下的模式则采用全遍历方式进行二次编码，经过简化模式映射之后，加快编码模式的设置速度；

在进行编码模式的简化映射时不对帧内模式做删减处理，采用对帧内模式进行全遍历方式；

最终确定针对单尺度优化Retinex精简后的快速编码模式,即保留去雾前后比例较大的帧间模式，删除在去雾前后占比较小的帧间模式，同时对P8×8以下以及帧内模式进行全遍历的模式映射方式,在保持主观和客观质量均在可接受的误差范围里，最大限度加快转码速度。