CN107025636B

CN107025636B - 结合深度信息的图像去雾方法及装置和电子装置

Info

Publication number: CN107025636B
Application number: CN201710138691.5A
Authority: CN
Inventors: 曾元清
Original assignee: Guangdong Oppo Mobile Telecommunications Corp Ltd
Current assignee: Guangdong Oppo Mobile Telecommunications Corp Ltd
Priority date: 2017-03-09
Filing date: 2017-03-09
Publication date: 2020-03-17
Anticipated expiration: 2037-03-09
Also published as: CN107025636A

Abstract

本发明公开了一种结合深度信息的图像去雾方法，用于处理电子装置采集的场景数据。所述场景数据包括场景主图像。图像去雾方法包括以下步骤：根据场景数据获取场景的深度信息；处理场景主图像和深度信息以划分天空区域和非天空区域；对天空区域和非天空区域分别进行不同程度的去雾处理。本发明还公开了一种结合深度信息的图像去雾装置和电子装置。本发明实施方式的结合深度信息的图像去雾方法、图像去雾装置和电子装置对有雾图像中的天空区域和非天空区域进行划分进行不同程度的去雾处理，能够有效去除图像中的雾/霾，并保留天空区域的信息，使得去雾处理后的图像呈现更真实自然的效果。

Description

结合深度信息的图像去雾方法及装置和电子装置

技术领域

本发明涉及图像处理技术，尤其涉及一种结合深度信息的图像去雾方法及装置和电子装置。

背景技术

对包含有天空区域的有雾图像，采用暗原色先验去雾方法对整幅有雾图像进行去雾处理，天空区域由于去雾强度过大，会产生异常偏黄偏暗的问题，去雾处理后的图像的视觉观感较差。

发明内容

本发明的实施例提供了一种结合深度信息的图像去雾方法及装置和电子装置。

本发明实施方式的图像去雾方法，用于处理电子装置采集的场景数据，所述场景数据包括场景主图像，所述图像去雾方法包括以下步骤：

根据所述场景数据获取场景的深度信息；

处理所述场景主图像和所述深度信息以划分天空区域和非天空区域；和

对所述天空区域和所述非天空区域分别进行不同程度的去雾处理。

本发明实施方式的图像去雾装置，用于处理电子装置采集的场景数据，所述场景数据包括场景主图像，所述图像去雾装置包括获取模块、划分模块和去雾模块。所述获取模块用于根据所述场景数据获取场景的深度信息；所述划分模块用于处理所述场景主图像和所述深度信息以划分天空区域和非天空区域；所述去雾模块用于对所述天空区域和所述非天空区域分别进行不同程度的去雾处理。

本发明实施方式的电子装置包括成像装置和上述的图像去雾装置。所述图像去雾装置和所述电子装置电连接。

本发明实施方式的结合深度信息的图像去雾方法、图像去雾装置和电子装置对有雾图像中的天空区域和非天空区域进行划分进行不同程度的去雾处理，能够有效去除图像中的雾/霾，并保留天空区域的信息，使得去雾处理后的图像呈现更真实自然的效果。

本发明的附加方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本发明的实践了解到。

附图说明

本发明的上述和/或附加的方面和优点从结合下面附图对实施方式的描述中将变得明显和容易理解，其中：

图1是本发明实施方式的结合深度信息的图像去雾方法的流程示意图；

图2是本发明实施方式的电子装置的功能模块示意图；

图3是本发明实施方式的图像去雾方法的状态示意图；

图4是本发明实施方式的图像去雾方法的状态示意图；

图5是本发明某些实施方式的图像去雾方法的流程示意图；

图6是本发明某些实施方式的电子装置的功能模块示意图；

图7是本发明某些实施方式的图像去雾方法的流程示意图；

图8是本发明某些实施方式的电子装置的功能模块示意图；

图9是本发明某些实施方式的图像去雾方法的流程示意图；

图10是本发明某些实施方式的电子装置的功能模块示意图；

图11是本发明某些实施方式的图像去雾方法的流程示意图；

图12是本发明某些实施方式的划分模块的功能模块示意图；

图13是本发明某些实施方式的图像去雾方法的状态示意图；

图14是本发明某些实施方式的图像去雾方法的流程示意图；和

图15是本发明某些实施方式的去雾模块的功能模块示意图。

具体实施方式

下面详细描述本发明的实施方式，所述实施方式的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施方式是示例性的，仅用于解释本发明，而不能理解为对本发明的限制。

请一并参阅图1至2，本发明实施方式的结合深度信息的图像去雾方法，用于处理电子装置100采集的场景数据。所述场景数据包括场景主图像。所述图像去雾方法包括以下步骤：

S12：根据所述场景数据获取场景的深度信息；

S14：处理所述场景主图像和所述深度信息以划分天空区域和非天空区域；和

S16：对所述天空区域和所述非天空区域分别进行不同程度的去雾处理。

本发明实施方式的图像去雾方法可以由本发明实施方式的图像去雾装置10实现。本发明实施方式的图像去雾装置10包括获取模块12、划分模块14和去雾模块16。步骤S12可以由获取模块12实现，步骤S14可以由划分模块14实现，步骤S16可以由去雾模块16实现。

也即是说，获取模块12用于根据所述场景数据获取场景的深度信息；划分模块14用于处理所述场景主图像和所述深度信息以划分天空区域和非天空区域；去雾模块16用于对所述天空区域和所述非天空区域分别进行不同程度的去雾处理。

本发明实施方式的图像去雾装置10可以应用于本发明实施方式的电子装置100。也即是说，本发明实施方式的电子装置100包括本发明实施方式的图像去雾装置10,。当然，本发明实施方式的电子装置100还包括成像装置20。其中，图像去雾装置10和成像装置20电连接。

在某些实施方式中，电子装置100包括手机、平板电脑、笔记本电脑、智能手表、智能手环、智能头盔、智能眼镜等，在此不作任何限制。在本发明的具体实施例中，电子装置100为手机。

请一并参阅图3至4，可以理解，有雾图像一般采用基于暗原色先验的去雾方法对整幅有雾图像进行去雾处理。当有雾图像中包含天空区域时，由于天空区域亮度较高，暗原色强度值一般也很高，因此，利用暗原色先验去雾方法对整幅有雾图像进行处理会导致天空区域的去雾强度过大，使得处理后的无雾图像异常偏黄偏暗(如图3所示)，去雾效果不自然。本发明实施方式的图像去雾方法首先利用场景的深度信息对当前场景进行天空区域和非天空区域的划分，再对天空区域和非天空区域进行不同程度的去雾处理。如此，在有效去除有雾图像中的雾/霾的同时能够较好地保留天空区域的信息，使得去雾处理后的图像呈现更加真实自然的效果。

请参阅图5，在某些实施方式中，图像去雾方法在步骤S12根据所述场景数据获取场景的深度信息的步骤前还包括以下步骤：

S11：判断所述场景主图像是否为带雾图像；和

在所述场景主图像为带雾图像时进入步骤S12根据所述场景数据获取场景的深度信息的步骤。

请参阅图6，在某些实施方式中，图像去雾装置10还包括判断模块11。步骤S11可以由判断模块11实现。

也即是说，判断模块11用于判断所述场景主图像是否为带雾图像。获取模块12还用于在所述场景主图像为带雾图像时根据所述场景数据获取场景的深度信息。

可以理解，若场景主图像是在无雾天气状态下拍摄的，那么场景主图像无需进行去雾处理。若场景主图像是在有雾天气状态下拍摄的，则场景主图像为带雾图像，带雾的场景主图像中许多场景的细节会模糊甚至丢失，因此需要进行去雾处理以得到清晰的去雾图像。

请参阅图7，在某些实施方式中，步骤S12根据所述场景数据获取场景的深度信息包括以下子步骤：

S121：处理所述深度图像以获取所述场景的深度信息。

请参阅图8，在某些实施方式中，获取模块12包括第一处理单元121。步骤S121可以由第一处理单元121实现。

也即是说，第一处理单元121用于处理所述深度图像以获取所述场景的深度信息。

可以理解，场景数据包括与场景主图像对应的深度图像。其中，场景主图像为RGB彩色图像，深度图像包含当前场景中景物、建筑、天空等人或物体的深度信息。由于场景主图像的色彩信息与深度图像的深度信息是一一对应的关系，因此，可以根据深度图像获取到场景主图像的图像深度信息。

在某些实施方式中，成像装置20包括深度摄像头。深度摄像头可用来获取深度图像。其中，深度摄像头包括基于结构光深度测距的深度摄像头和基于TOF测距的深度摄像头。

具体地，基于结构光深度测距的深度摄像头包括摄像头和投射器。投射器将一定模式的光结构投射到当前待拍摄的场景中，在场景中的各个人或物体表面形成由该场景中的人或物体调制后的光条三维图像，再通过摄像头探测上述的光条三维图像即可获得光条二维畸变图像。光条的畸变程度取决于投射器与摄像头之间的相对位置以及当前待拍摄的场景中各个人或物体的表面形廓或高度。由于深度摄像头中的摄像头和投射器之间的相对位置是一定的，因此，由畸变的二维光条图像坐标便可重现场景中各个人或物体的表面三维轮廓，从而可以获取图像深度信息。结构光深度测距具有较高的分辨率和测量精度，可以提升获取的图像深度信息的精确度。

基于TOF(time of flight)测距的深度摄像头是通过传感器记录从发光单元发出的调制红外光发射到物体，再从物体反射回来的相位变化，在一个波长的范围内根据光速，可以实时的获取整个场景的深度距离。当前待拍摄的场景中各个人或物体所处的深度位置不一样，因此调制红外光从发出到接收所用时间是不同的，如此，便可获取场景的图像深度信息。基于TOF深度测距的深度摄像头计算图像深度信息时不受被摄物表面的灰度和特征的影响，且可以快速地计算图像深度信息，具有很高的实时性。

请参阅图9，在某些实施方式中，步骤S12根据所述场景数据获取场景的深度信息包括以下子步骤：

S122：处理所述场景主图像和所述场景副图像以获取所述场景的深度信息。

请参阅图10，在某些实施方式中，获取模块12包括第二处理单元122。步骤S122可以由第二处理单元122实现。

也即是说，第二处理单元122用于处理所述场景主图像和所述场景副图像以获取所述场景的深度信息。

可以理解，深度信息可以通过双目立体视觉测距的方法进行获取，此时场景数据包括场景主图像和场景副图像。其中，场景主图像和场景副图像均为RGB彩色图像。双目立体视觉测距是运用两个规格相同的摄像头对同一场景从不同位置成像以获得场景的立体图像对，再通过算法匹配出立体图像对的相应像点，从而计算出视差。最后采用基于三角测量的方法恢复深度信息。如此，通过对场景主图像和场景副图像这一立体图像对进行匹配便可获得当前场景的图像深度信息。

在某些实施方式中，成像装置20包括主摄像头和副摄像头。

可以理解，采用双目立体视觉测距方法获取深度信息时，需利用两个摄像头进行成像。场景主图像可由主摄像头拍摄得到，场景副图像可由副摄像头拍摄得到。其中，主摄像头和副摄像头的规格相同。如此，根据主摄像头和副摄像头拍摄得到的立体图像对获取当前场景的图像深度信息。

请参阅图11，在某些实施方式中，步骤S14处理所述场景主图像和所述深度信息以划分天空区域和非天空区域包括以下子步骤：

S141：处理所述场景主图像和所述深度信息以获取所述场景主图像的每个像素点的亮度值和深度值；

S142：比较每个所述像素点的亮度值与预设亮度值的大小；

S143：比较每个所述像素点的深度值与预设深度值的大小；

S144：将所述亮度值大于所述预设亮度值且所述深度值大于所述预设深度值的所有所述像素点归并为天空区域；和

S145：确定所述场景主图像中除天空区域外的区域为所述非天空区域。

请参阅图12，在某些实施方式中，划分模块14包括获取单元141、第一比较单元142、第二比较单元143、归并单元144和确定单元145。步骤S141可以由获取单元141实现，步骤S142可以由第一比较单元142实现，步骤S143可以由第二比较单元143实现，步骤S144可以由归并单元144实现，步骤S145可以由确定单元145实现。

也即是说，获取单元141用于处理所述场景主图像和所述深度信息以获取所述场景主图像的每个像素点的亮度值和深度值；第一比较单元142用于比较每个所述像素点的亮度值与预设亮度值的大小；第二比较单元143用于比较每个所述像素点的深度值与预设深度值的大小；归并单元144用于将所述亮度值大于所述预设亮度值且所述深度值大于所述预设深度值的所有所述像素点归并为天空区域；确定单元145用于确定所述场景主图像中除天空区域外的区域为所述非天空区域。

请参阅图13，可以理解，拍摄的场景中的天空区域的亮度一般比场景中的其他物体如建筑物等的亮度高，且天空区域一般距离成像装置20的距离较远，相对于场景中的其他物体，天空区域对应的深度较深。如此，根据先验知识设定划分天空区域与非天空区域的界限参数即预设亮度值和预设深度值，根据场景主图像及场景主图像对应的深度信息对场景主图像中的各个像素点的亮度值和深度值进行计算。随后，分别对各个像素点的亮度值和深度值与预设亮度值和预设深度值进行比较。若像素点的亮度值大于预设亮度值且深度值大于预设深度值则表明该像素点可能对应于天空区域的位置。如此，将所有亮度值大于预设亮度值且深度值大于预设深度值的像素点归并为天空区域，并将场景主图像中除天空区域外的其他区域归并为非天空区域。

请参阅图14，在某些实施方式中，步骤S16对所述天空区域和所述非天空区域分别进行不同程度的去雾处理包括以下子步骤：

S161：处理所述场景主图像以计算所述天空区域的第一大气透射率和所述非天空区域的第二大气透射率；和

S162：根据所述第一大气透射率和所述第二大气透射率分别对所述天空区域和所述非天空区域进行去雾处理。

请参阅图15，在某些实施方式中，去雾模块16包括计算单元161和去雾单元162。步骤S161可以由计算单元161实现，步骤S162可以由去雾单元162实现。

也即是说，计算单元161用于处理所述场景主图像以计算所述天空区域的第一大气透射率和所述非天空区域的第二大气透射率；去雾单元162用于根据所述第一大气透射率和所述第二大气透射率分别对所述天空区域和所述非天空区域进行去雾处理。

具体地，带有雾/霾的场景主图像的结构方程为：I(x)＝J(x)+A[1-t(x)]，其中，I(x)为场景主图像，J(x)为去雾图像，A为全场景范围内的大气光值，代表整幅场景主图像中最亮的像素点的强度值即灰度值。大气光值A指的是场景主图像中灰度值最大的点，因此，可根据场景主图像的R、G、B数据获得各个像素点的灰度值Y，即Y＝0.299·R+0.587·G+0144·B，并从所有灰度值Y中找出最大的Y值，该Y值即为大气光值A的取值。随后，可根据大气光值A分别计算天空区域第一透射率t₁(x)和非天空区域的非天空区域的第二透射率t₂(x)。大气透射率为

其中，J^c表示场景主图像中每个彩色通道，Ω(x)表示以像素x为中心的窗口，

的取值范围为[0,1]，用于表征去雾强度的大小，且

的取值越大则去雾强度越强，去雾程度越明显。因此，将天空区域的第一大气透射率设为

将非天空区域的第二大气透射率设为

的取值小于

的取值。最后，在I(x)、t(x)及A已知的条件下根据大气散射模型I(x)＝J(x)+A[1-t(x)]计算出J(x)即可得到去雾图像。

如此，对于天空区域进行程度较小的去雾处理，对于非天空区域进行程度较大的去雾处理，使得去雾处理后的图像呈现更加真实自然的效果。

电子装置100还包括壳体、存储器、电路板和电源电路。其中，电路板安置在壳体围成的空间内部，处理器和存储器设置在电路板上；电源电路用于为电子装置100的各个电路或器件供电；存储器用于存储可执行程序代码；图像去雾装置10通过读取存储器中存储的可执行程序代码来运行与可执行程序代码对应的程序以实现上述的本发明任一实施方式的图像去雾方法。

在本说明书的描述中，参考术语“一个实施方式”、“一些实施方式”、“示意性实施方式”、“示例”、“具体示例”、或“一些示例”等的描述意指结合所述实施方式或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施方式或示例中。在本说明书中，对上述术语的示意性表述不一定指的是相同的实施方式或示例。而且，描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施方式或示例中以合适的方式结合。

流程图中或在此以其他方式描述的任何过程或方法描述可以被理解为，表示包括一个或更多个用于实现特定逻辑功能或过程的步骤的可执行指令的代码的模块、片段或部分，并且本发明的优选实施方式的范围包括另外的实现，其中可以不按所示出或讨论的顺序，包括根据所涉及的功能按基本同时的方式或按相反的顺序，来执行功能，这应被本发明的实施例所属技术领域的技术人员所理解。

在流程图中表示或在此以其他方式描述的逻辑和/或步骤，例如，可以被认为是用于实现逻辑功能的可执行指令的定序列表，可以具体实现在任何计算机可读介质中，以供指令执行系统、装置或设备(如基于计算机的系统、包括处理器的系统或其他可以从指令执行系统、装置或设备取指令并执行指令的系统)使用，或结合这些指令执行系统、装置或设备而使用。就本说明书而言，"计算机可读介质"可以是任何可以包含、存储、通信、传播或传输程序以供指令执行系统、装置或设备或结合这些指令执行系统、装置或设备而使用的装置。计算机可读介质的更具体的示例(非穷尽性列表)包括以下：具有一个或多个布线的电连接部(电子装置)，便携式计算机盘盒(磁装置)，随机存取存储器(RAM)，只读存储器(ROM)，可擦除可编辑只读存储器(EPROM或闪速存储器)，光纤装置，以及便携式光盘只读存储器(CDROM)。另外，计算机可读介质甚至可以是可在其上打印所述程序的纸或其他合适的介质，因为可以例如通过对纸或其他介质进行光学扫描，接着进行编辑、解译或必要时以其他合适方式进行处理来以电子方式获得所述程序，然后将其存储在计算机存储器中。

应当理解，本发明的各部分可以用硬件、软件、固件或它们的组合来实现。在上述实施方式中，多个步骤或方法可以用存储在存储器中且由合适的指令执行系统执行的软件或固件来实现。例如，如果用硬件来实现，和在另一实施方式中一样，可用本领域公知的下列技术中的任一项或他们的组合来实现：具有用于对数据信号实现逻辑功能的逻辑门电路的离散逻辑电路，具有合适的组合逻辑门电路的专用集成电路，可编程门阵列(PGA)，现场可编程门阵列(FPGA)等。

本技术领域的普通技术人员可以理解实现上述实施例方法携带的全部或部分步骤是可以通过程序来指令相关的硬件完成，所述的程序可以存储于一种计算机可读存储介质中，该程序在执行时，包括方法实施例的步骤之一或其组合。

此外，在本发明各个实施例中的各功能单元可以集成在一个处理模块中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个模块中。上述集成的模块既可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。所述集成的模块如果以软件功能模块的形式实现并作为独立的产品销售或使用时，也可以存储在一个计算机可读取存储介质中。

上述提到的存储介质可以是只读存储器，磁盘或光盘等。尽管上面已经示出和描述了本发明的实施方式，可以理解的是，上述实施方式是示例性的，不能理解为对本发明的限制，本领域的普通技术人员在本发明的范围内可以对上述实施方式进行变化、修改、替换和变型。

Claims

1.一种结合深度信息的图像去雾方法，用于处理电子装置采集的场景数据，其特征在于，所述场景数据包括场景主图像及与所述场景主图像对应的深度图像，所述深度图像由深度摄像头获取，所述深度摄像头包括基于结构光深度测距的深度摄像头或基于TOF测距的深度摄像头；所述图像去雾方法包括以下步骤：

处理所述深度图像以获取场景的深度信息；

处理所述场景主图像和所述深度信息以划分天空区域和非天空区域；

所述处理所述场景主图像和所述深度信息以划分天空区域和非天空区域，包括：

处理所述场景主图像和所述深度信息以获取所述场景主图像的每个像素点的亮度值和深度值；

比较每个所述像素点的亮度值与预设亮度值的大小；

比较每个所述像素点的深度值与预设深度值的大小；

将所述亮度值大于所述预设亮度值且所述深度值大于所述预设深度值的所有所述像素点归并为天空区域；和

确定所述场景主图像中除天空区域外的区域为所述非天空区域；

对所述天空区域和所述非天空区域分别进行不同程度的去雾处理，所述天空区域的去雾程度小于所述非天空区域的去雾程度。

2.如权利要求1所述的图像去雾方法，其特征在于，所述图像去雾方法在获取场景的深度信息的步骤前还包括以下步骤：

判断所述场景主图像是否为带雾图像；和

在所述场景主图像为带雾图像时进入获取场景的深度信息的步骤。

3.如权利要求1所述的图像去雾方法，其特征在于，所述对所述天空区域和所述非天空区域分别进行不同程度的去雾处理的步骤包括以下子步骤：

处理所述场景主图像以计算所述天空区域的第一大气透射率和所述非天空区域的第二大气透射率；和

根据所述第一大气透射率和所述第二大气透射率分别对所述天空区域和所述非天空区域进行去雾处理。

4.一种结合深度信息的图像去雾装置，用于处理电子装置采集的场景数据，其特征在于，所述场景数据包括场景主图像及与所述场景主图像对应的深度图像，所述深度图像由深度摄像头获取，所述深度摄像头包括基于结构光深度测距的深度摄像头或基于TOF测距的深度摄像头；所述图像去雾装置包括：

获取模块，所述获取模块用于处理所述深度图像以获取场景的深度信息；

划分模块，所述划分模块用于处理所述场景主图像和所述深度信息以划分天空区域和非天空区域；

所述划分模块包括：

获取单元，所述获取单元用于处理所述场景主图像和所述深度信息以获取所述场景主图像的每个像素点的亮度值和深度值；

第一比较单元，所述第一比较单元用于比较每个所述像素点的亮度值与预设亮度值的大小；

第二比较单元，所述第二比较单元用于比较每个所述像素点的深度值与预设深度值的大小；

归并单元，所述归并单元用于将所述亮度值大于所述预设亮度值且所述深度值大于所述预设深度值的所有所述像素点归并为天空区域；和

确定单元，所述确定单元用于确定所述场景主图像中除天空区域外的区域为所述非天空区域；

去雾模块，所述去雾模块用于对所述天空区域和所述非天空区域分别进行不同程度的去雾处理，所述天空区域的去雾程度小于所述非天空区域的去雾程度。

5.如权利要求4所述的图像去雾装置，其特征在于，所述图像去雾装置还包括：

判断模块，所述判断模块用于判断所述场景主图像是否为带雾图像；和

所述获取模块还用于在所述场景主图像为带雾图像时进入获取场景的深度信息的步骤。

6.如权利要求4所述的图像去雾装置，其特征在于，所述去雾模块包括：

计算单元，所述计算单元用于处理所述场景主图像以计算所述天空区域的第一大气透射率和所述非天空区域的第二大气透射率；和

去雾单元，所述去雾单元用于根据所述第一大气透射率和所述第二大气透射率分别对所述天空区域和所述非天空区域进行去雾处理。

7.一种电子装置，其特征在于，所述电子装置包括：

成像装置；和

如权利要求4至6任意一项所述的图像去雾装置，所述图像去雾装置与所述成像装置电连接。