CN111127362A

CN111127362A - 基于图像增强的视频除尘方法、系统、装置及可存储介质

Info

Publication number: CN111127362A
Application number: CN201911354386.5A
Authority: CN
Inventors: 林珏
Original assignee: Nanjing Sushengtian Information Technology Co Ltd
Current assignee: Nanjing Sushengtian Information Technology Co Ltd
Priority date: 2019-12-25
Filing date: 2019-12-25
Publication date: 2020-05-08

Abstract

本申请公开了一种基于图像增强的视频除尘方法、系统、装置及可存储介质，采用暗原色先验规律，对近景和远景的除尘图像均能够实现比较良好的针对性除尘，与现有的对比度拉伸和直方图均等方法相比，可以较好的将肉眼看不清，看不见的信息恢复出来，增加了图像的细节信息和结构信息，利用改进的降噪用滤波器使得降噪前后图像的有用细节变化不大，并没有明显的模糊，很大程度上保留了图像边缘。

Description

基于图像增强的视频除尘方法、系统、装置及可存储介质

技术领域

本申请涉及图像处理技术领域，尤其涉及一种基于图像增强的视频除尘方法、系统、装置及可存储介质。

背景技术

智能交通、视频监控和目标识别等现有的视觉系统，在天气不好的情况下或者是视频采集硬件端镜头有灰尘的情况下，所得到的拍摄图像会存在着严重的退化，甚至会影响拍摄结论。

现有的环境中，对拍摄监控影响比较大的回程主要是空气中的颗粒，包括工业排放物，燃烧烟尘、土壤扬尘等，其次还包括一些气体类的颗粒，也就是所谓的雾气。

灰尘对于交通安全方面的影响也是比较大的：浓雾天气有时甚至造成数十辆车辆的恶性连环相撞事故，造成数十人伤亡，给人民的生命财产造成了严重的损失。如果能将破雾算法与目标检测结合有效的结合在一起，并将这一成果应用于特定场景的视频监控之中，必将对于智能交通调度、监控、人员管理带来极大的帮助。如果将这一成果应用于车载视频中，那么驾驶员就可以清晰的知道道路前方的运行状况，如果前方已经发生事故，驾驶员就可以及时采取措施，直接避免再次碰撞。然而，在现有技术中还缺少对于除尘这块的视频图像有效的处理方案。

发明内容

为了解决上述技术问题，本申请实施例提供一种基于图像增强的视频除尘方法、系统、装置及可存储介质。

本申请实施例第一方面提供了一种基于图像增强的视频除尘方法，可包括：

获取视频图像数据，选取所需除尘的图像数据；

建立包含视频采集环境的大气散射模型和环境光模型的图像物理模型；

获取视频拍摄端的透射率函数，形成修正函数，将图像物理模型中的图像数据进行修正；

对所述修正之后的图像数据进行降噪处理。

进一步地，所述建立包含视频采集环境的大气散射模型和环境光模型的图像物理模型包括：

基于暗原色先验规律建立大气散射模型，将所获得图像数据作为输出，将环境中实际光强亮度作为参数，加入至模型中，形成模型函数。

进一步地，所述获取视频拍摄端的透射率函数，形成修正函数，将图像物理模型中的图像数据进行修正包括：

基于暗原色先验规律对当前图像数据环境的透射率进行建模，引入修正因子，修正因子与透射率的函数成线性关系；

获取拍摄时段的全局大气光的估计值，并与透射率一同对图像物理模型的参数进行修正，并将低照度条件下的图像反转得到修正的图像数据。

进一步地，所述对所述修正之后的图像数据进行降噪处理包括：

对原始的图像数据的三通道进行筛选，获取边缘信息更多且噪声更少的通道，将该通道作为联合双边滤波器的细节图像，对增强后的图像做降噪处理。

本申请实施例第二方面提供了一种基于图像增强的视频除尘系统，包括：

图像采集单元，用于获取视频图像数据，选取所需除尘的图像数据；

模型建立单元，用于建立包含视频采集环境的大气散射模型和环境光模型的图像物理模型；

修正模型单元，用于获取视频拍摄端的透射率函数，形成修正函数，将图像物理模型中的图像数据进行修正；

降噪输出单元，用于对所述修正之后的图像数据进行降噪处理。

进一步地，所述模型建立单元具体包括：

进一步地，所述修正模型单元具体包括：

进一步地，所述降噪输出单元具体包括：

第三方面，本申请实施例提供了一种除尘装置，包括存储器和处理器，所述存储器上存储有计算机可执行指令，所述处理器运行所述存储器上的计算机可执行指令时实现第一方面的方法。

第四方面，本申请实施例提供了一种计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时，实现上述第一方面的方法。

在本申请中，采用暗原色先验规律，对近景和远景的除尘图像均能够实现比较良好的针对性除尘，与现有的对比度拉伸和直方图均等方法相比，可以较好的将肉眼看不清，看不见的信息恢复出来，增加了图像的细节信息和结构信息，利用改进的降噪用滤波器使得降噪前后图像的有用细节变化不大，并没有明显的模糊，很大程度上保留了图像边缘。该技术能够在智能驾驶、地铁自动巡检等多个领域进行应用，提高驾驶安全性和巡检可靠性。

附图说明

为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是本申请实施例提供的方法流程图；

图2是本申请实施例提供的系统结构图；

图3是本申请实施例的除尘装置示意图。

具体实施方式

下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

应当理解，当在本说明书和所附权利要求书中使用时，术语“包括”和“包含”指示所描述特征、整体、步骤、操作、元素和/或组件的存在，但并不排除一个或多个其它特征、整体、步骤、操作、元素、组件和/或其集合的存在或添加。

还应当理解，在此本申请说明书中所使用的术语仅仅是出于描述特定实施例的目的而并不意在限制本申请。如在本申请说明书和所附权利要求书中所使用的那样，除非上下文清楚地指明其它情况，否则单数形式的“一”、“一个”及“该”意在包括复数形式。

还应当进一步理解，在本申请说明书和所附权利要求书中使用的术语“和/或”是指相关联列出的项中的一个或多个的任何组合以及所有可能组合，并且包括这些组合。

如在本说明书和所附权利要求书中所使用的那样，术语“如果”可以依据上下文被解释为“当...时”或“一旦”或“响应于确定”或“响应于检测到”。类似地，短语“如果确定”或“如果检测到[所描述条件或事件]”可以依据上下文被解释为意指“一旦确定”或“响应于确定”或“一旦检测到[所描述条件或事件]”或“响应于检测到[所描述条件或事件]”。

参见图1，是本申请所述的基于图像增强的视频除尘方法流程图，具体地，包括：

101：获取视频图像数据，选取所需除尘的图像数据。

可以理解的是，所针对的图像数据，可以是通过硬件拍摄端进行拍摄或者录入。这里所采集的图像景物距离均在可见视野之内，且考虑到算法的复杂度以及现实场景下的内容，设定视野范围内的天气状态不随空间改变而改变，即微粒的类型和密度分布在空间近似稳定，具有相对的不变性。

102：建立包含视频采集环境的大气散射模型和环境光模型的图像物理模型。

可以理解的是，本步骤中在建立模型之前，引入暗原色先验规律：在不包括天空的绝大部分局部区域，总会存在一些称之为“dark pixels”的像素，至少有一个颜色通道具备很低的强度值，该区域光强度的最小值是个很小的数。

对于图像J，定义

J^c代表J的某一个颜色通道，r,g,b代表三色通道，，Ω(x)是以x为中心的一块方形区域。

除了天空方位，J^dark的强度总是很低并且趋近于0。如果J是户外的无尘图像，把J^dark称为J的暗原色，并且把以上观察得出的经验性规律称为暗原色先验。

本申请中所建立的物理模型可以表示为I(x)＝J(x)t(x)+A(1-t(x))，其中，x表示图像上的点的坐标，I(x)表示观察到的图像，即雾天情况下拍摄到的图像；t(x)是一个标量，表示沿光线的传播率，也称为透射率，即没有被散射吸收而到达图像采集设备的那部分光线；A表示大气光的颜色，在不考虑波长影响的条件下，大气光对整个图像是一个常量，与像素点的位置无关；J(x)表示场景点的实际亮度，即有待复原的无尘图像，也就是最终目标。

作为一个具体的实施例，对于大气光A，在暗通道图中选取前0.1％最亮的像素点，设有N个，记录它们的位置。在原始输入图像对应位置的N个像素点中，分别求得红色，绿色，蓝色分量的最大值。它们就组合形了全局大气光A。需要注意的是，A也有三个不同的颜色通道，并且三者不一定具有相同的值。

103：获取视频拍摄端的透射率函数，形成修正函数，将图像物理模型中的图像数据进行修正。

可以理解的是，本申请中透射率t可表示为t(x)＝e^-βd(x)，是大气的散射系数，该式表明景物光线是随着景物深度d按指数衰减的。

在视频数据中，一般情况下透射率在局部区域是可以当做不变的，即可视为常数，因此在本申请中，为了提高算法的运算效率，将透射率t的初步估计值

其中，

是规格化了的图

的暗原色，直接提供了透射信息。在天空区域中

时，

符合实际情况的透射率，能较好地同时处理包含或者不包含天空的区域。

本实施例中，引入常数ω(0＜ω≤1)进行修正，

ω的值根据具体情况而定，其范围限制在0<ω≤1。

需要保留的灰尘越多，ω取值越小；需要保留的灰尘越少，ω的取值越大，当ω＝1时，不额外保留任何灰尘成分。至此，透射率的估计值t(x)已经得到。

基于上述

求得t(x)和A后，将这两个值带入就可以得到待求的无尘图像J(x)。

在分别获得了透射率t(x)和全局大气光A的估计值的基础上，将低照度条件下的图像反转：I^c(x)＝255-L^c(x)，其结果与白天室外有雾天气下获取的图像非常相似，其中，c表示R，G，B三个颜色通道，x表示图像坐标点，L^c(x)表示输入的低照度图像，I^c(x)表示反转之后的图像，这里可以将低照度图像的增强问题转化为对应的有尘图像的去尘问题。

104：对原始的图像数据的三通道进行筛选，获取边缘信息更多且噪声更少的通道，将该通道作为联合双边滤波器的细节图像，对增强后的图像做降噪处理。

在极低照度条件下获取到的图像，蓝色通道比红绿通道含有相对更高的噪声水平，而同时，绿色分量对应的图像含有相对更低的噪声水平，这是由于COMS及CCD传感器都采用Bayer图像格式，在Bayer格式中，绿色分量所占的比重比蓝、红分量都要多。也就是说，图像采集设备获取的绿色分量的信息比另外两种分量都要多，而且人类视觉系统对绿色分量相对更加敏感。

因此，在本实施例中，将它作为联合双边滤波器的细节图像(以G表示)，并采用这个改进后的联合双边滤波器对增强后的图像做降噪处理。

本申请实施例还提供了一种基于图像增强的视频除尘系统，该系统用于执行前述任一项上述分类方法。具体地，参见图2，图2是本申请实施例提供的一种除尘系统的示意框图。本实施例的装置包括：图像采集单元310、模型建立单元320、修正模型单元330、降噪输出单元340。

图像采集单元310，用于获取视频图像数据，选取所需除尘的图像数据。

模型建立单元320，用于建立包含视频采集环境的大气散射模型和环境光模型的图像物理模型。

修正模型单元330，用于获取视频拍摄端的透射率函数，形成修正函数，将图像物理模型中的图像数据进行修正。

降噪输出单元340，用于对修正之后的图像数据进行降噪处理。

上述图像采集单元310获取视频图像数据，选取所需除尘的图像数据，所针对的图像数据，可以是通过硬件拍摄端进行拍摄或者录入。这里所采集的图像景物距离均在可见视野之内，且考虑到算法的复杂度以及现实场景下的内容，设定视野范围内的天气状态不随空间改变而改变，即微粒的类型和密度分布在空间近似稳定，具有相对的不变性。

上述模型建立单元320基于暗原色先验规律建立大气散射模型，将所获得图像数据作为输出，将环境中实际光强亮度作为参数，加入至模型中，形成模型函数。

上述修正模型单元320基于暗原色先验规律对当前图像数据环境的透射率进行建模，引入修正因子，修正因子与透射率的函数成线性关系；

上述降噪输出单元330具体包括：对原始的图像数据的三通道进行筛选，获取边缘信息更多且噪声更少的通道，将该通道作为联合双边滤波器的细节图像，对增强后的图像做降噪处理。在极低照度条件下获取到的图像，蓝色通道比红绿通道含有相对更高的噪声水平，而同时，绿色分量对应的图像含有相对更低的噪声水平，这是由于COMS及CCD传感器都采用Bayer图像格式，在Bayer格式中，绿色分量所占的比重比蓝、红分量都要多。也就是说，图像采集设备获取的绿色分量的信息比另外两种分量都要多，而且人类视觉系统对绿色分量相对更加敏感。因此，在本单元中，将绿通道作为联合双边滤波器的细节图像(以G表示)，并采用这个改进后的联合双边滤波器对增强后的图像做降噪处理。

图3是本申请实施例提供的一种识别设备的结构示意图。该对象检测设备4000包括处理器41，还可以包括输入装置42、输出装置43和存储器44。该输入装置42、输出装置43、存储器44和处理器41之间通过总线相互连接。

存储器包括但不限于是随机存储记忆体(random access memory，RAM)、只读存储器(read至only memory，ROM)、可擦除可编程只读存储器(erasable programmable readonly memory，EPROM)、或便携式只读存储器(compact disc read至only memory，CD至ROM)，该存储器用于相关指令及数据。

输入装置用于输入数据和/或信号，以及输出装置用于输出数据和/或信号。输出装置和输入装置可以是独立的器件，也可以是一个整体的器件。

处理器可以包括是一个或多个处理器，例如包括一个或多个中央处理器(centralprocessing unit，CPU)，在处理器是一个CPU的情况下，该CPU可以是单核CPU，也可以是多核CPU。处理器还可以包括一个或多个专用处理器，专用处理器可以包括GPU、FPGA等，用于进行加速处理。

存储器用于存储网络设备的程序代码和数据。

处理器用于调用该存储器中的程序代码和数据，执行上述方法实施例中的步骤。具体可参见方法实施例中的描述，在此不再赘述。

可以理解的是，图3仅仅示出了对象检测设备的简化设计。在实际应用中，动作识别装置还可以分别包含必要的其他元件，包含但不限于任意数量的输入/输出装置、处理器、控制器、存储器等，而所有可以实现本申请实施例的动作识别装置都在本申请的保护范围之内。

所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统、装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。

在本申请所提供的几个实施例中，应该理解到，所揭露的系统、装置和方法，可以通过其它的方式实现。例如，该单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如，多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。所显示或讨论的相互之间的耦合、或直接耦合、或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。

作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。

在上述实施例中，可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用软件实现时，可以全部或部分地以计算机程序产品的形式实现。该计算机程序产品包括一个或多个计算机指令。在计算机上加载和执行该计算机程序指令时，全部或部分地产生按照本申请实施例的流程或功能。该计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。该计算机指令可以存储在计算机可读存储介质中，或者通过该计算机可读存储介质进行传输。该计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线(例如同轴电缆、光纤、数字用户线(digital subscriber line，DSL))或无线(例如红外、无线、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输。该计算机可读存储介质可以是计算机能够存取的任何可用介质或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。该可用介质可以是只读存储器(read至onlymemory，ROM)，或随机存储存储器(random access memory，RAM)，或磁性介质，例如，软盘、硬盘、磁带、磁碟、或光介质，例如，数字通用光盘(digital versatile disc，DVD)、或者半导体介质，例如，固态硬盘(solid state disk，SSD)等。

以上详细描述了本发明的优选实施方式，但是本发明并不限于上述实施方式中的具体细节，在本发明的技术构思范围内，可以对本发明的技术方案进行多种等同变换(如数量、形状、位置等)，这些等同变换均属于本发明的保护。

Claims

1.一种基于图像增强的视频除尘方法，其特征在于，包括：

获取视频图像数据，选取所需除尘的图像数据；

对所述修正之后的图像数据进行降噪处理。

2.根据权利要求1所述的基于图像增强的视频除尘方法，其特征在于，

所述建立包含视频采集环境的大气散射模型和环境光模型的图像物理模型包括：

3.根据权利要求2所述的基于图像增强的视频除尘方法，其特征在于，

所述获取视频拍摄端的透射率函数，形成修正函数，将图像物理模型中的图像数据进行修正包括：

4.根据权利要求3所述的基于图像增强的视频除尘方法，其特征在于，

所述对所述修正之后的图像数据进行降噪处理包括：

5.一种基于图像增强的视频除尘系统，其特征在于，包括：

6.根据权利要求5所述的基于图像增强的视频除尘系统，其特征在于，

所述模型建立单元具体包括：

7.根据权利要求6所述的基于图像增强的视频除尘系统，其特征在于，

所述修正模型单元具体包括：

8.根据权利要求7所述的基于图像增强的视频除尘方法，其特征在于，

所述降噪输出单元具体包括：

9.一种除尘装置，其特征在于，包括存储器和处理器，所述存储器上存储有计算机可执行指令，所述处理器运行所述存储器上的计算机可执行指令时实现权利要求1-4任意一项所述的方法。

10.一种计算机可读存储介质，其特征在于，其上存储有计算机程序，该计算机程序被处理器执行时，实现上述权利要求1-4任意一项所述的方法。