CN107277299B - 图像处理方法、装置、移动终端及计算机可读存储介质 - Google Patents

图像处理方法、装置、移动终端及计算机可读存储介质 Download PDF

Info

Publication number
CN107277299B
CN107277299B CN201710626257.1A CN201710626257A CN107277299B CN 107277299 B CN107277299 B CN 107277299B CN 201710626257 A CN201710626257 A CN 201710626257A CN 107277299 B CN107277299 B CN 107277299B
Authority
CN
China
Prior art keywords
image
defogging
depth
field information
visibility
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201710626257.1A
Other languages
English (en)
Other versions
CN107277299A (zh
Inventor
袁全
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangdong Oppo Mobile Telecommunications Corp Ltd
Original Assignee
Guangdong Oppo Mobile Telecommunications Corp Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangdong Oppo Mobile Telecommunications Corp Ltd filed Critical Guangdong Oppo Mobile Telecommunications Corp Ltd
Priority to CN201710626257.1A priority Critical patent/CN107277299B/zh
Publication of CN107277299A publication Critical patent/CN107277299A/zh
Application granted granted Critical
Publication of CN107277299B publication Critical patent/CN107277299B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/14Picture signal circuitry for video frequency region
    • H04N5/21Circuitry for suppressing or minimising disturbance, e.g. moiré or halo

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Studio Devices (AREA)
  • Traffic Control Systems (AREA)
  • Image Processing (AREA)

Abstract

本申请实施例涉及一种图像处理方法、装置、移动终端及计算机可读存储介质。上述方法,包括:通过第一摄像头采集图像,并通过第二摄像头获取所述图像的第一景深信息;根据所述第一景深信息确定所述图像的雾浓度;根据所述雾深度计算能见度;当所述能见度小于预设阈值时,根据所述雾浓度计算去雾参数,并根据所述去雾参数对所述图像进行去雾处理。上述图像处理方法、装置、移动终端及计算机可读存储介质,可以有效去除采集的图像中的雾,使在有雾天气记录的行车驾驶的视频图像更加清晰。

Description

图像处理方法、装置、移动终端及计算机可读存储介质
技术领域
本申请涉及计算机技术领域,特别是涉及一种图像处理方法、装置、移动终端及计算机可读存储介质。
背景技术
在驾车行驶的过程中,司机通常通过移动终端,例如智能手机、行车记录仪等记录汽车行驶全过程的视频图像及声音。而在有雾天气时,移动终端上的成像装置由于受到空气中悬浮颗粒的影响,容易导致采集图像的颜色、纹理等特征受到严重的衰弱,采集的图像整体的色调会趋于灰白化,致使移动终端记录的汽车行驶的视频图像不清晰。
发明内容
本申请实施例提供一种图像处理方法、装置、移动终端及计算机可读存储介质,可以有效去除采集的图像中的雾,使在有雾天气记录的汽车行驶的视频图像更加清晰。
一种图像处理方法,包括:
通过第一摄像头采集图像,并通过第二摄像头获取所述图像的第一景深信息;
根据所述第一景深信息确定所述图像的雾浓度;
根据所述雾深度计算能见度;
当所述能见度小于预设阈值时,根据所述雾浓度计算去雾参数,并根据所述去雾参数对所述图像进行去雾处理。
在其中一个实施例中,所述根据所述第一景深信息确定所述图像的雾浓度,包括:
求取所述图像的暗通道图像;
根据所述第一景深信息对所述暗通道图像进行区域划分;
对划分后的各个区域进行平滑滤波处理,并根据滤波处理后的暗通道图像确定所述图像的雾浓度。
在其中一个实施例中,所述根据所述去雾参数对所述图像进行去雾处理,包括:
检测所述图像中是否包含运动物体;
若包含,则提取所述图像中的运动物体区域,并对所述运动物体区域进行去雾处理。
在其中一个实施例中,所述对所述运动物体区域进行去雾处理,包括:
通过所述第二摄像头获取所述运动物体区域的第二景深信息;
选取与所述第二景深信息匹配的修正因子;
根据所述修正因子调整所述去雾参数,并根据调整后的去雾参数对所述运动物体区域进行去雾处理。
在其中一个实施例中,所述方法,还包括:
确定所述能见度落入的能见度范围区间;
获取与所述能见度范围区间匹配的视线距离;
获取当前的移动速度,若所述移动速度大于预设的与所述视线距离对应的标准速度,则发出警示。
一种图像处理装置,包括:
采集模块,用于通过第一摄像头采集图像,并通过第二摄像头获取所述图像的第一景深信息;
第一确定模块,用于根据所述第一景深信息确定所述图像的雾浓度;
计算模块,用于根据所述雾深度计算能见度;
去雾模块,用于当所述能见度小于预设阈值时,根据所述雾浓度计算去雾参数,并根据所述去雾参数对所述图像进行去雾处理。
在其中一个实施例中,所述第一确定模块,包括:
求取单元,用于求取所述图像的暗通道图像;
划分单元,用于根据所述第一景深信息对所述暗通道图像进行区域划分;
滤波单元,用于对划分后的各个区域进行平滑滤波处理,并根据滤波处理后的暗通道图像确定所述图像的雾浓度。
在其中一个实施例中,所述去雾模块,包括:
检测单元,用于检测所述图像中是否包含运动物体;
去雾单元,用于若所述图像中包含运动物体,则提取所述图像中的运动物体区域,并对所述运动物体区域进行去雾处理;
所述去雾单元,包括:
获取子单元,用于通过所述第二摄像头获取所述运动物体区域的第二景深信息;
选取子单元,用于选取与所述第二景深信息匹配的修正因子;
调整子单元,用于根据所述修正因子调整所述去雾参数,并根据调整后的去雾参数对所述运动物体区域进行去雾处理。
在其中一个实施例中,所述装置还包括:
第二确定模块,用于确定所述能见度落入的能见度范围区间;
距离获取模块,用于获取与所述能见度范围区间匹配的视线距离;
警示模块,用于获取当前的移动速度,若所述移动速度大于预设的与所述视线距离对应的标准速度,则发出警示。
一种移动终端,包括存储器,处理器及存储在存储器上并可在处理器上运行的计算机程序,所述处理器执行所述程序时实现如上所述的方法。
一种计算机可读存储介质,其上存储有计算机程序,所述计算机程序被处理器执行时实现如上所述的方法。
上述图像处理方法、装置、移动终端及计算机可读存储介质,通过第一摄像头采集图像,并通过第二摄像头获取图像的第一景深信息,根据第一景深信息确定图像的雾浓度,并计算能见度,当能见度小于预设阈值时,根据雾浓度计算去雾参数并进行去雾,能根据不同的雾浓度对采集的图像进行不同程度的去雾处理,可以有效去除采集的图像中的雾,使在有雾天气记录的行车驾驶的视频图像更加清晰。
附图说明
图1为一个实施例中图像处理方法的应用场景图;
图2为一个实施例中移动终端的框图;
图3为一个实施例中图像处理方法的流程示意图;
图4为一个实施例中确定图像的雾浓度的流程示意图;
图5为一个实施例中对当前的移动速度进行警示的流程示意图;
图6为一个实施例中图像处理装置的框图;
图7为一个实施例中第一确定模块的框图;
图8为另一个实施例中图像处理装置的框图;
图9为一个实施例中图像处理电路的示意图。
具体实施方式
为了使本申请的目的、技术方案及优点更加清楚明白,以下结合附图及实施例,对本申请进行进一步详细说明。应当理解,此处所描述的具体实施例仅用以解释本申请,并不用于限定本申请。
可以理解,本申请所使用的术语“第一”、“第二”等可在本文中用于描述各种元件,但这些元件不受这些术语限制。这些术语仅用于将第一个元件与另一个元件区分。举例来说,在不脱离本申请的范围的情况下,可以将第一客户端称为第二客户端,且类似地,可将第二客户端称为第一客户端。第一客户端和第二客户端两者都是客户端,但其不是同一客户端。
图1为一个实施例中图像处理方法的应用场景图。如图1所示,移动终端10可通过摄像头102对行车时的车前场景20进行拍摄记录,其中,摄像头102中可包括第一摄像头及第二摄像头。移动终端10通过第一摄像头采集车前场景20的图像,并通过第二摄像头获取采集的图像的第一景深信息。移动终端10可根据第一景深信息确定采集的图像的雾浓度,并根据雾浓度计算车前场景20的能见度。当车前场景20的能见度小于预设阈值时,移动终端10根据雾浓度计算去雾参数,并根据去雾参数对图像进行去雾处理。
图2为一个实施例中移动终端10的框图。如图2所示,该移动终端10包括通过系统总线连接的处理器、非易失性存储介质、内存储器和网络接口、显示屏和输入装置。其中,移动终端10的非易失性存储介质存储有操作系统及计算机可执行指令,该计算机可执行指令被处理器执行时以实现本申请实施例中提供的一种图像处理方法。该处理器用于提供计算和控制能力,支撑整个移动终端10的运行。移动终端10中的内存储器为非易失性存储介质中的计算机可读指令的运行提供环境。网络接口用于与服务器进行网络通信。移动终端10的显示屏可以是液晶显示屏或者电子墨水显示屏等,输入装置可以是显示屏上覆盖的触摸层,也可以是移动终端10外壳上设置的按键、轨迹球或触控板,也可以是外接的键盘、触控板或鼠标等。该移动终端10可以是手机、平板电脑或者个人数字助理或穿戴式设备等。本领域技术人员可以理解,图2中示出的结构,仅仅是与本申请方案相关的部分结构的框图,并不构成对本申请方案所应用于其上的移动终端10的限定,具体的移动终端10可以包括比图中所示更多或更少的部件,或者组合某些部件,或者具有不同的部件布置。
如图3所示,在一个实施例中,提供一种图像处理方法,包括以下步骤:
步骤310,通过第一摄像头采集图像,并通过第二摄像头获取图像的第一景深信息。
移动终端可在背面设置有两个摄像头,包括第一摄像头及第二摄像头,第一摄像头及第二摄像头可设置在同一水平线上,水平左右排列,也可设置在同一竖直线上,竖直上下排列。在本实施例中,第一摄像头及第二摄像头可以是不同像素的摄像头,其中,第一摄像头可以是像素较高的摄像头,主要用于成像,第二摄像头可以是像素较低的辅助景深摄像头,用于获取采集的图像的景深信息。移动终端可通过第一摄像头连续采集多帧车前场景的图像,生成记录行车驾驶的视频,并通过摄像头获取采集的每一帧图像的第一景深信息,其中,第一景深信息可以理解为图像中的每个物体到移动终端的距离,也即物距信息。移动终端可通过第二摄像头获取采集的图像中的每个像素点的第一景深信息,进一步地,可计算图像中各个像素点的平均景深信息,并将该平均景深信息作为图像的第一景深信息。
步骤320,根据第一景深信息确定图像的雾浓度。
移动终端可根据采集的图像的每个像素点的第一景深信息估计图像的雾浓度,景深信息与雾浓度可满足如式(1)所示的关系:
F(x)=1-e-βd(x) (1);
其中,F(x)表示雾浓度,x表示图像中某一像素点的空间位置,β表示大气的散射系数,d(x)表示景深,雾浓度F(x)与景深d(x)成指数关系,雾浓度F(x)随着景深d(x)的增加而成指数增加。移动终端可检测图像中是否存在景深信息突变的像素点,从而判断图像的雾浓度是否分布均匀。可计算图像中相邻的两个像素点的第一景深信息之间的差值,若该差值大于第一数值,则可判定第一景深信息之间的差值大于第一数值的两个像素点存在景深信息突变,说明图像中的雾浓度分布不均匀。若图像的雾浓度分布均匀,移动终端可直接确定图像的雾浓度,若图像的雾浓度分布不均匀,可根据各个像素点的第一景深信息对图像进行区域划分,并分别确定各个区域的雾浓度,可将各个区域的雾浓度的平均值确定为图像的雾浓度。
步骤330,根据雾深度计算能见度。
能见度,是反映大气透明度的一个指标,一般定义为具有正常视力的人在当前的天气条件下还能够看清楚目标轮廓的最大距离。能见度和当前的天气情况密切相关,当出现降雨、雾、霾、沙尘暴等天气情况时,大气透明度较低,因此能见度较差。移动终端可根据确定的雾浓度计算当前的车前场景的能见度,可建立大气的散射系数与能见度信息的关系式(2):
Figure BDA0001362886590000061
其中,L表示能见度信息,则根据式(1)及式(2),可建立雾浓度与能见度的关系如式(3)所示:
Figure BDA0001362886590000062
移动终端可将图像的第一景深信息及雾浓度代入式(3)中,可计算得到当前的车前场景的能见度。
步骤340,当能见度小于预设阈值时,根据雾浓度计算去雾参数,并根据去雾参数对图像进行去雾处理。
移动终端得到当前车前场景的能见度后,可判断能见度是否小于预设阈值,若不小于预设阈值,则可认为车前场景为无雾场景,第一摄像头采集的图像为清晰图像,不需要对采集的图像进行去雾处理,其中,第一阈值可根据实际需求进行设定,例如1000m(米)、1200m等。若能见度小于预设阈值,可对图像进行去雾处理,根据当前车前场景的能见度决定是否对图像进行去雾处理,可减少计算处理量,减少移动终端的功耗,减轻中央处理器的压力。
移动终端可根据去雾算法对采集的图像进行去雾处理,其中,去雾算法可包括基于图像增强的去雾算法及基于图像复原的去雾算法,基于图像增强的去雾算法可包括基于RetineX理论的去雾算法、基于直方图均衡化的去雾算法等,基于图像复原的去雾算法可包括基于大气散射模型的去雾算法等。在本实施例中,移动终端可通过暗原色先验算法对含雾图像进行去雾处理,其中,暗原色先验算法属于一种基于图像复原的去雾算法。暗原色先验算法中采用大气散射模型对含雾图像进行描述,该大气散射模型可如式(4)所示:
I(x)=J(x)t(x)+A(1-t(x)) (4);
其中,I(x)表示需要进行去雾处理的含雾图像,J(x)表示对含雾图像进行去雾处理后得到的无雾图像,t(x)表示透射率,A表示大气光值。在本实施例中,去雾参数可包括图像的大气光值、透射率等。
在暗原色先验算法中,对于无雾图像,某些像素在RGB(红、绿、蓝颜色空间)三个通道总会存在至少一个颜色通道具有很低的值,该颜色通道的值接近于零。因此,对于任意图像,其暗通道图像可如式(5)所示:
Figure BDA0001362886590000071
其中,Jdark(x)表示暗通道图像,Jc(y)表示颜色通道的值,Ω(x)表示以像素x为中心的一个窗口。
移动终端可根据式(5)求取采集的图像的暗通道图像,并根据该暗通道图像获取图像的大气光值。进一步地,移动终端可在采集的图像的暗通道图像中,获取各个像素点的亮度,并按照亮度对像素点进行排序,再按照亮度从大到小提取暗通道图像中预设比例的像素点,其中,预设比例可根据实际需求进行设定,例如0.1%、0.2%等,提取暗通道图像中亮度最大的前0.1%或0.2%的像素点。再在采集的图像中,确定与提取的像素点对应的位置的亮度值,将其中具有最高亮度值的像素点的亮度值作为大气光值。
移动终端可根据雾浓度计算图像的透射率,在一个实施例中,雾浓度与透射率的关系可如式(6)所示:
F(x)=1-t(x) (6);
根据式(6),可计算得到图像的透射率,并将透射率与大气光值代入式(4),将采集的图像作为I(x),即可求取得到去雾处理后的图像。进一步地,移动终端可直接根据本次计算得到的透射率及大气光值,处理后续采集的预设数量的图像,无需每帧图像重新计算透射率及大气光值,加快视频的去雾处理速度,并减轻中央处理器的压力。例如,移动终端可每隔100帧图像计算一次图像的去雾参数,根据当前图像计算的透射率及大气光值等去雾参数对后续采集的99帧图像进行去雾处理。
上述图像处理方法,通过第一摄像头采集图像,并通过第二摄像头获取图像的第一景深信息,根据第一景深信息确定图像的雾浓度,并计算能见度,当能见度小于预设阈值时,根据雾浓度计算去雾参数并进行去雾,能根据不同的雾浓度对采集的图像进行不同程度的去雾处理,可以有效去除采集的图像中的雾,使在有雾天气记录的行车驾驶的视频图像更加清晰。
如图4所示,在一个实施例中,步骤320根据第一景深信息确定图像的雾浓度,包括以下步骤:
步骤402,求取图像的暗通道图像。
移动终端可根据式(5)求取采集的图像的暗通道图像,并根据暗通道图像估计图像的雾浓度,暗通道图像为采集的图像中每个像素点在R、G、B三个通道中的最小值,可作为图像的雾浓度的估计图。
步骤404,根据第一景深信息对暗通道图像进行区域划分。
移动终端可检测图像中是否存在景深信息突变的像素点,从而判断图像的雾浓度是否分布均匀。通过第二摄像头获取图像中各个像素点的第一景深信息后,可分别计算图像中相邻的两个像素点的第一景深信息d(x1)与d(x2)之间的差值,若该差值大于第一数值,则可判定第一景深信息之间的差值大于第一数值的两个像素点存在景深信息突变,说明图像中存在前景与背景,前景与背景的雾浓度分布不均匀,可能存在大的跳变。例如,采集的图像中包含树木和高楼,其中,树木为前景,高楼为背景,树木中包含了一些细节,比如树叶、树枝等,从树叶、树枝等到高楼的景深信息变化特别大,则树木与高楼的雾浓度差异较大。
若图像的雾浓度分布不均匀,则可根据图像中各个像素点的第一景深信息对暗通道图像进行区域划分,将第一景深信息较相近的像素点划分为同一区域,例如,根据第一景深信息将暗通道图像划分为前景区域及背景区域,但不限于此,也可分为三个、四个区域等,主要由各个像素点的第一景深信息决定。
步骤406,对划分后的各个区域进行平滑滤波处理,并根据滤波处理后的暗通道图像确定图像的雾浓度。
移动终端可对暗通道图像中,划分后的各个区域进行平滑滤波处理,在一个实施例中,可对各个区域进行中值滤波处理,能够保留暗通道图像中的出现景深信息突变的边界信息。中值滤波是一种非线性平滑技术,可将该区域中任意像素点的值用该像素点所在的窗口内各个像素点的值的中值代替,让该像素点周围的值接近真实值。
移动终端可在暗通道图像中定义预设大小的窗口,预设大小可为N*N大小,其中,N为奇数,例如,N可为41、61等,但不限于此。根据预设大小的窗口,对暗通道图像中的各个区域进行中值滤波处理,可提取区域中在窗口内的各个像素点的值,并将提取的各个像素点的值按大小顺序进行排列,生成一个数列,可获取位于该数列中间位置的值,即为窗口包含的各个像素点的值的中值。移动终端可将位于定义的预设大小的窗口中心的像素点的值替换为计算得到的该窗口的中值,完成中值滤波。可重复多次在同一区域内定义不同位置的窗口进行中值滤波处理。移动终端可根据进行中值滤波的暗通道图像估计各个区域的雾浓度,并可将各个区域的雾浓度的平均值确定为图像的雾浓度。
在本实施例中,可根据第一景深信息对采集的图像的暗通道图像进行区域划分,对划分后的各个区域进行平滑滤波处理,并确定图像的雾浓度,可使估计的雾浓度更为准确,有效提高去雾效果,使去雾后的图像更清晰。
在一个实施例中,步骤根据去雾参数对图像进行去雾处理,包括:检测图像中是否包含运动物体,若包含,则提取图像中的运动物体区域,并对运动物体区域进行去雾处理。
移动终端通过第一摄像头采集多帧车前场景的图像,并通过第二摄像头获取每一帧图像中各个像素点的第一景深信息。可计算相邻两帧图像中对应位置的像素点的第一景深信息之间的差值,当图像中存在与上一帧图像的第一景深信息之间的差值大于第二数值的像素点时,则可判断图像中包含运动物体。移动终端可提取图像中与上一帧图像的第一景深信息之间的差值大于第二数值的所有像素点,并将提取的像素点作为运动物体区域,优先对运动物体区域进行去雾处理。
在一个实施例中,步骤对运动物体区域进行去雾处理,包括以下步骤:
(1)通过第二摄像头获取运动物体区域的第二景深信息。
移动终端可通过第二摄像头获取运动物体区域中各个像素点的第一景深信息,并计算运动物体区域的所有像素点的平均景深信息,可将该平均景深信息作为运动物体区域的第二景深信息。
(2)选取与第二景深信息匹配的修正因子。
当采集的图像中包含运动物体时,可提取图像中的运动物体区域,并可对运动物体区域进行程度更强的去雾处理,保证采集的图像中运动物体的清晰。可引入修正因子对计算的图像的透射率等去雾参数进行调整,建立修正因子与景深信息范围的对应关系,不同的景深范围可对应不同的修正因子,其中,修正因子可为大于0且小于或等于1的值,当景深范围越大时,对应的修正因子越小,景深范围越小时,对应的修正因子越大。移动终端获取图像中的运动物体区域的第二景深信息后,可确定第二景深信息落入的景深范围,并选取与该落入的景深范围匹配的修正因子。
(3)根据修正因子调整去雾参数,并根据调整后的去雾参数对运动物体区域进行去雾处理。
移动终端可根据式(7),利用修正因子对透射率进行调整:
t'=W*t (7);
其中,W表示修正因子,t表示图像的透射率,t'表示调整后的透射率。当运动物体区域的第二景深信息越大时,说明运动物体距离移动终端越远,选取的修正因子越小,调整后的透射率越小,去雾程度越强;当运动物体区域的第二景深信息越小时,说明运动物体距离移动终端越近,选取的修正因子越大,调整后的透射率较大,去雾程度较弱。
在一个实施例中,移动终端也可在检测到图像中包含运动物体时,仅对图像中的运动物体区域进行去雾,当图像中不包含运动物体时,则不对图像进行去雾处理,可减少去雾处理操作,节省资源消耗,减轻中央处理器的压力。
在本实施例中,当检测到图像中包含运动物体时,可根据运动物体区域的第二景深信息选取修正因子对透射率进行调整,可使图像中的运动物体区域更加清晰,去雾效果更好。
如图5所示,在一个实施例中,上述图像处理方法,还包括以下步骤:
步骤502,确定能见度落入的能见度范围区间。
可预先划分多个能见度范围区间,例如,划分的能见度范围区间可包括小于100m、100~200m、200~500m、500~1000m及1000~2000m等。
步骤504,获取与能见度范围区间匹配的视线距离。
针对各个能见度范围区间,可分别对应有不同的视线距离,该视线距离指的是在对应的能见度范围区间下,车辆行驶的可视距离,进一步地,视线距离与能见度信息可具备线性回归关系。例如,能见度范围区间小于100m、100~200m、200~500m、500~1000m及1000~2000m,分别对应的视线距离为小于20m、20~50m、50~150m、150~250m及250~520m等。移动终端计算当前的车前场景的能见度后,可确定能见度落入的能见度范围区间,并获取与该落入的能见度范围区间对应的视线距离。
步骤506,获取当前的移动速度,若移动速度大于预设的与视线距离对应的标准速度,则发出警示。
不同的视线距离可预先设定有对应的标准速度,标准速度指的是对应视线距离下推荐的安全行车速度,当行车驾驶的速度不超过标准速度时,可保证用户的行车安全,当视线距离越小时,标准速度越小,当视线距离越大时,标准速度越大。例如,当能见度信息小于100m时,视线距离小于20m,则对应的标准速度为40公里/小时,当能见度信息在100~200m之间时,视线距离在20~50m之间,对应的标准速度为60公里/小时等。移动终端可通过陀螺仪等传感器获取当前的移动速度,并将移动速度与获取的视线距离对应的标准速度进行比较,若当前的移动速度大于该标准速度,则可发出警示,对用户进行提醒,其中,警示的方式可包括发出警报声、画面亮起红光、弹框提示等中的一种或多种,但不限于此。
在本实施例中,可根据当前的能见度信息对车辆的移动速度进行提醒,保证用户在雾天时的行车驾驶安全。
如图6所示,在一个实施例中,提供一种图像处理装置600,包括采集模块610、第一确定模块620、计算模块630及去雾模块640。
采集模块610,用于通过第一摄像头采集图像,并通过第二摄像头获取图像的第一景深信息。
第一确定模块620,用于根据第一景深信息确定图像的雾浓度。
计算模块630,用于根据雾深度计算能见度。
去雾模块640,用于当能见度小于预设阈值时,根据雾浓度计算去雾参数,并根据去雾参数对图像进行去雾处理。
上述图像处理装置,通过第一摄像头采集图像,并通过第二摄像头获取图像的第一景深信息,根据第一景深信息确定图像的雾浓度,并计算能见度,当能见度小于预设阈值时,根据雾浓度计算去雾参数并进行去雾,能根据不同的雾浓度对采集的图像进行不同程度的去雾处理,可以有效去除采集的图像中的雾,使在有雾天气记录的行车驾驶的视频图像更加清晰。
如图7所示,在一个实施例中,第一确定模块620,包括求取单元622、划分单元624及滤波单元626。
求取单元622,用于求取图像的暗通道图像。
划分单元624,用于根据第一景深信息对暗通道图像进行区域划分。
滤波单元626,用于对划分后的各个区域进行平滑滤波处理,并根据滤波处理后的暗通道图像确定图像的雾浓度。
在本实施例中,可根据第一景深信息对采集的图像的暗通道图像进行区域划分,对划分后的各个区域进行平滑滤波处理,并确定图像的雾浓度,可使估计的雾浓度更为准确,有效提高去雾效果,使去雾后的图像更清晰。
如图8所示,在一个实施例中,去雾模块640,包括检测单元及去雾单元。
检测单元,用于检测图像中是否包含运动物体。
去雾单元,用于若图像中包含运动物体,则提取图像中的运动物体区域,并对运动物体区域进行去雾处理。
在一个实施例中,去雾单元,包括获取子单元、选取子单元及调整子单元。
获取子单元,用于通过第二摄像头获取运动物体区域的第二景深信息。
选取子单元,用于选取与第二景深信息匹配的修正因子。
调整子单元,用于根据修正因子调整所述去雾参数,并根据调整后的去雾参数对运动物体区域进行去雾处理。
在本实施例中,当检测到图像中包含运动物体时,可根据运动物体区域的第二景深信息选取修正因子对透射率进行调整,可使图像中的运动物体区域更加清晰,去雾效果更好。
如图8所示,在一个实施例中,上述图像处理装置600,除了包括采集模块610、第一确定模块620、计算模块630及去雾模块640,还包括第二确定模块650、距离获取模块660及警示模块670。
第二确定模块650,用于确定能见度落入的能见度范围区间。
距离获取模块660,用于获取与能见度范围区间匹配的视线距离。
警示模块670,用于获取当前的移动速度,若移动速度大于预设的与视线距离对应的标准速度,则发出警示。
在本实施例中,可根据当前的能见度信息对车辆的移动速度进行提醒,保证用户在雾天时的行车驾驶安全。
上述图像处理装置中各个模块的划分仅用于举例说明,在其他实施例中,可将推荐信息生成装置按照需要划分为不同的模块,以完成上述推荐信息生成装置的全部或部分功能。
本申请实施例还提供一种移动终端。上述移动终端中包括图像处理电路,图像处理电路可以利用硬件和/或软件组件实现,可包括定义ISP(Image Signal Processing,图像信号处理)管线的各种处理单元。图9为一个实施例中图像处理电路的示意图。如图9所示,为便于说明,仅示出与本申请实施例相关的图像处理技术的各个方面。
如图9所示,图像处理电路包括ISP处理器940和控制逻辑器950。成像设备910捕捉的图像数据首先由ISP处理器940处理,ISP处理器940对图像数据进行分析以捕捉可用于确定和/或成像设备910的一个或多个控制参数的图像统计信息。成像设备910可包括具有一个或多个透镜912和图像传感器914的照相机。图像传感器914可包括色彩滤镜阵列(如Bayer滤镜),图像传感器914可获取用图像传感器914的每个成像像素捕捉的光强度和波长信息,并提供可由ISP处理器940处理的一组原始图像数据。传感器920可基于传感器920接口类型把原始图像数据提供给ISP处理器940。传感器920接口可以利用SMIA(StandardMobile Imaging Architecture,标准移动成像架构)接口、其它串行或并行照相机接口、或上述接口的组合。
ISP处理器940按多种格式逐个像素地处理原始图像数据。例如,每个图像像素可具有8、10、12或14比特的位深度,ISP处理器940可对原始图像数据进行一个或多个图像处理操作、收集关于图像数据的统计信息。其中,图像处理操作可按相同或不同的位深度精度进行。
ISP处理器940还可从图像存储器930接收像素数据。例如,从传感器920接口将原始像素数据发送给图像存储器930,图像存储器930中的原始像素数据再提供给ISP处理器940以供处理。图像存储器930可为存储器装置的一部分、存储设备、或电子设备内的独立的专用存储器,并可包括DMA(Direct Memory Access,直接直接存储器存取)特征。
当接收到来自传感器920接口或来自图像存储器930的原始图像数据时,ISP处理器940可进行一个或多个图像处理操作,如时域滤波。处理后的图像数据可发送给图像存储器930,以便在被显示之前进行另外的处理。ISP处理器940还可从图像存储器930接收处理数据,对上述处理数据进行原始域中以及RGB和YCbCr颜色空间中的图像数据处理。处理后的图像数据可输出给显示器980,以供用户观看和/或由图形引擎或GPU(GraphicsProcessing Unit,图形处理器)进一步处理。此外,ISP处理器940的输出还可发送给图像存储器930,且显示器980可从图像存储器930读取图像数据。在一个实施例中,图像存储器930可被配置为实现一个或多个帧缓冲器。此外,ISP处理器940的输出可发送给编码器/解码器970,以便编码/解码图像数据。编码的图像数据可被保存,并在显示与显示器980设备上之前解压缩。
ISP处理器940处理图像数据的步骤包括:对图像数据进行VFE(Video Front End,视频前端)处理和CPP(Camera Post Processing,摄像头后处理)处理。对图像数据的VFE处理可包括修正图像数据的对比度或亮度、修改以数字方式记录的光照状态数据、对图像数据进行补偿处理(如白平衡,自动增益控制,γ校正等)、对图像数据进行滤波处理等。对图像数据的CPP处理可包括对图像进行缩放、向每个路径提供预览帧和记录帧。其中,CPP可使用不同的编解码器来处理预览帧和记录帧。
ISP处理器940处理后的图像数据可发送给去雾模块960,以便在被显示之前对图像进行去雾处理。去雾模块960可根据图像的第一景深信息确定图像的雾浓度,根据雾浓度计算能见度,当能见度小于预设阈值时,根据雾浓度计算去雾参数,并根据去雾参数对图像进行去雾处理等。其中,去雾模块960可为移动终端中CPU(Central Processing Unit,中央处理器)、GPU或协处理器等。去雾模块960将图像数据进行去雾处理后,可将去雾处理后的图像数据发送给编码器/解码器970,以便编码/解码图像数据。编码的图像数据可被保存,并在显示与显示器980设备上之前解压缩。可以理解的是,去雾模块960处理后的图像数据可以不经过编码器/解码器970,直接发给显示器980进行显示。ISP处理器940处理后的图像数据还可以先经过编码器/解码器970处理,然后再经过去雾模块960进行处理。上述编码器/解码器可为移动终端中CPU、GPU或协处理器等。
ISP处理器940确定的统计数据可发送给控制逻辑器950单元。例如,统计数据可包括自动曝光、自动白平衡、自动聚焦、闪烁检测、黑电平补偿、透镜912阴影校正等图像传感器914统计信息。控制逻辑器950可包括执行一个或多个例程(如固件)的处理器和/或微控制器,一个或多个例程可根据接收的统计数据,确定成像设备910的控制参数以及ISP处理器940的控制参数。例如,控制参数可包括传感器920控制参数(例如增益、曝光控制的积分时间)、照相机闪光控制参数、透镜912控制参数(例如聚焦或变焦用焦距)、或这些参数的组合。ISP控制参数可包括用于自动白平衡和颜色调整(例如,在RGB处理期间)的增益水平和色彩校正矩阵,以及透镜912阴影校正参数。
在本实施例中,运用图9中的图像处理技术可实现上述的图像处理方法。
在一个实施例中,提供一种计算机可读存储介质,其上存储有计算机程序,该计算机程序被处理器执行时实现上述图像处理方法。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程,是可以通过计算机程序来指令相关的硬件来完成,所述的程序可存储于一非易失性计算机可读取存储介质中,该程序在执行时,可包括如上述各方法的实施例的流程。其中,所述的存储介质可为磁碟、光盘、只读存储记忆体(Read-Only Memory,ROM)等。
以上所述实施例的各技术特征可以进行任意的组合,为使描述简洁,未对上述实施例中的各个技术特征所有可能的组合都进行描述,然而,只要这些技术特征的组合不存在矛盾,都应当认为是本说明书记载的范围。
以上所述实施例仅表达了本申请的几种实施方式,其描述较为具体和详细,但并不能因此而理解为对发明专利范围的限制。应当指出的是,对于本领域的普通技术人员来说,在不脱离本申请构思的前提下,还可以做出若干变形和改进,这些都属于本申请的保护范围。因此,本申请专利的保护范围应以所附权利要求为准。

Claims (6)

1.一种图像处理方法,其特征在于,包括:
通过第一摄像头采集图像,并通过第二摄像头获取所述图像的第一景深信息;
求取所述图像的暗通道图像;若所述暗通道图像中的相邻两个像素点之间的差值大于第一数值,则所述暗通道图像的雾浓度分布不均匀;
根据所述第一景深信息,判断所述雾浓度是否分布均匀;
若不均匀,则根据所述第一景深信息对所述暗通道图像进行区域划分;
对划分后的各个区域进行平滑滤波处理,并根据滤波处理后的暗通道图像确定所述图像的雾浓度,将所述各区域的雾浓度的平均值作为所述图像的雾浓度;
若否,则所述暗通道图像的雾浓度分布均匀,根据所述第一景深信息确定所述图像的雾浓度;
根据所述雾浓度计算能见度;
当所述能见度小于预设阈值时,根据所述雾浓度计算去雾参数,并
检测所述图像中是否包含运动物体;
若包含,则提取所述图像中的运动物体区域,并对所述运动物体区域进行去雾处理;
通过所述第二摄像头获取运动物体区域的第二景深信息;
选取与所述第二景深信息匹配的修正因子;
根据所述修正因子调整所述去雾参数,并根据调整后的去雾参数对所述运动物体区域进行去雾处理。
2.根据权利要求1所述的方法,其特征在于,所述方法,还包括:
确定所述能见度落入的能见度范围区间;
获取与所述能见度范围区间匹配的视线距离;
获取当前的移动速度,若所述移动速度大于预设的与所述视线距离对应的标准速度,则发出警示。
3.一种图像处理装置,其特征在于,包括:
采集模块,用于通过第一摄像头采集图像,并通过第二摄像头获取所述图像的第一景深信息;
第一确定模块,用于根据所述第一景深信息确定所述图像的雾浓度;
计算模块,用于根据所述雾浓度计算能见度;
去雾模块,用于当所述能见度小于预设阈值时,根据所述雾浓度计算去雾参数,并根据所述去雾参数对所述图像进行去雾处理;
所述第一确定模块,包括:
求取单元,用于求取所述图像的暗通道图像;
划分单元,用于根据所述第一景深信息对所述暗通道图像进行区域划分;
滤波单元,用于对划分后的各个区域进行平滑滤波处理,并根据滤波处理后的暗通道图像确定所述图像的雾浓度,将所述各区域的雾浓度的平均值作为所述图像的雾浓度;
所述去雾模块,包括:
检测单元,用于检测所述图像中是否包含运动物体;
去雾单元,用于若所述图像中包含运动物体,则提取所述图像中的运动物体区域,并对所述运动物体区域进行去雾处理;
获取子单元,用于通过所述第二摄像头获取所述运动物体区域的第二景深信息;
选取子单元,用于选取与所述第二景深信息匹配的修正因子;
调整子单元,用于根据所述修正因子调整所述去雾参数,并根据调整后的去雾参数对所述运动物体区域进行去雾处理。
4.根据权利要求3所述的装置,其特征在于,所述装置还包括:
第二确定模块,用于确定所述能见度落入的能见度范围区间;
距离获取模块,用于获取与所述能见度范围区间匹配的视线距离;
警示模块,用于获取当前的移动速度,若所述移动速度大于预设的与所述视线距离对应的标准速度,则发出警示。
5.一种移动终端,包括存储器,处理器及存储在存储器上并可在处理器上运行的计算机程序,所述处理器执行所述程序时实现如权利要求1至2任一所述的方法。
6.一种计算机可读存储介质,其上存储有计算机程序,其特征在于,所述计算机程序被处理器执行时实现如权利要求1至2任一所述的方法。
CN201710626257.1A 2017-07-27 2017-07-27 图像处理方法、装置、移动终端及计算机可读存储介质 Active CN107277299B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201710626257.1A CN107277299B (zh) 2017-07-27 2017-07-27 图像处理方法、装置、移动终端及计算机可读存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710626257.1A CN107277299B (zh) 2017-07-27 2017-07-27 图像处理方法、装置、移动终端及计算机可读存储介质

Publications (2)

Publication Number Publication Date
CN107277299A CN107277299A (zh) 2017-10-20
CN107277299B true CN107277299B (zh) 2020-08-18

Family

ID=60074628

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710626257.1A Active CN107277299B (zh) 2017-07-27 2017-07-27 图像处理方法、装置、移动终端及计算机可读存储介质

Country Status (1)

Country Link
CN (1) CN107277299B (zh)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107730531A (zh) * 2017-10-26 2018-02-23 张斌 运动图像分层处理系统和方法
CN107808137A (zh) * 2017-10-31 2018-03-16 广东欧珀移动通信有限公司 图像处理方法、装置、电子设备及计算机可读存储介质
CN110796610A (zh) * 2019-09-29 2020-02-14 百度在线网络技术(北京)有限公司 图像的去雾方法、装置、设备以及存储介质
CN111899309A (zh) * 2020-07-31 2020-11-06 上海眼控科技股份有限公司 上坡雾检测方法、装置、计算机设备和可读存储介质
CN113419257A (zh) * 2021-06-29 2021-09-21 深圳市路卓科技有限公司 定位校准方法、装置、终端设备、存储介质及程序产品

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103257247A (zh) * 2012-02-17 2013-08-21 安徽理工大学 基于能见度仪的汽车超速报警系统
CN103747213A (zh) * 2014-01-15 2014-04-23 北京工业大学 一种基于运动目标的交通监控视频实时去雾方法
CN105282421A (zh) * 2014-07-16 2016-01-27 宇龙计算机通信科技(深圳)有限公司 一种去雾图像获取方法、装置及终端

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3862613B2 (ja) * 2002-06-05 2006-12-27 キヤノン株式会社 画像処理装置及び画像処理方法並びにコンピュータプログラム
CN104809707B (zh) * 2015-04-28 2017-05-31 西南科技大学 一种单幅雾天图像能见度估计方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103257247A (zh) * 2012-02-17 2013-08-21 安徽理工大学 基于能见度仪的汽车超速报警系统
CN103747213A (zh) * 2014-01-15 2014-04-23 北京工业大学 一种基于运动目标的交通监控视频实时去雾方法
CN105282421A (zh) * 2014-07-16 2016-01-27 宇龙计算机通信科技(深圳)有限公司 一种去雾图像获取方法、装置及终端

Also Published As

Publication number Publication date
CN107277299A (zh) 2017-10-20

Similar Documents

Publication Publication Date Title
CN107277299B (zh) 图像处理方法、装置、移动终端及计算机可读存储介质
CN107424198B (zh) 图像处理方法、装置、移动终端及计算机可读存储介质
CN107493432B (zh) 图像处理方法、装置、移动终端及计算机可读存储介质
CN107451969B (zh) 图像处理方法、装置、移动终端及计算机可读存储介质
CN107424133B (zh) 图像去雾方法、装置、计算机可存储介质和移动终端
CN110473185B (zh) 图像处理方法和装置、电子设备、计算机可读存储介质
CN109005364B (zh) 成像控制方法、装置、电子设备以及计算机可读存储介质
CN113766125B (zh) 对焦方法和装置、电子设备、计算机可读存储介质
WO2019109805A1 (zh) 图像处理方法和装置
CN108419028B (zh) 图像处理方法、装置、计算机可读存储介质和电子设备
CN107481186B (zh) 图像处理方法、装置、计算机可读存储介质和计算机设备
CN107317967B (zh) 图像处理方法、装置、移动终端及计算机可读存储介质
CN107862658B (zh) 图像处理方法、装置、计算机可读存储介质和电子设备
CN110121031B (zh) 图像采集方法和装置、电子设备、计算机可读存储介质
CN109712177B (zh) 图像处理方法、装置、电子设备和计算机可读存储介质
CN107704798B (zh) 图像虚化方法、装置、计算机可读存储介质和计算机设备
CN107563979B (zh) 图像处理方法、装置、计算机可读存储介质和计算机设备
CN107622497B (zh) 图像裁剪方法、装置、计算机可读存储介质和计算机设备
CN109089046A (zh) 图像降噪方法、装置、计算机可读存储介质及电子设备
CN107454319B (zh) 图像处理方法、装置、移动终端及计算机可读存储介质
CN107341782B (zh) 图像处理方法、装置、计算机设备和计算机可读存储介质
CN108259754B (zh) 图像处理方法及装置、计算机可读存储介质和计算机设备
CN107563329B (zh) 图像处理方法、装置、计算机可读存储介质和移动终端
CN107454335B (zh) 图像处理方法、装置、计算机可读存储介质和移动终端
CN107194901B (zh) 图像处理方法、装置、计算机设备和计算机可读存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
CB02 Change of applicant information
CB02 Change of applicant information

Address after: Changan town in Guangdong province Dongguan 523860 usha Beach Road No. 18

Applicant after: GUANGDONG OPPO MOBILE TELECOMMUNICATIONS Corp.,Ltd.

Address before: Changan town in Guangdong province Dongguan 523860 usha Beach Road No. 18

Applicant before: GUANGDONG OPPO MOBILE TELECOMMUNICATIONS Corp.,Ltd.

GR01 Patent grant
GR01 Patent grant