CN107454319A - 图像处理方法、装置、移动终端及计算机可读存储介质 - Google Patents
图像处理方法、装置、移动终端及计算机可读存储介质 Download PDFInfo
- Publication number
- CN107454319A CN107454319A CN201710626245.9A CN201710626245A CN107454319A CN 107454319 A CN107454319 A CN 107454319A CN 201710626245 A CN201710626245 A CN 201710626245A CN 107454319 A CN107454319 A CN 107454319A
- Authority
- CN
- China
- Prior art keywords
- image
- information
- visibility
- defogging
- depth
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000003672 processing method Methods 0.000 title claims abstract description 18
- 238000012545 processing Methods 0.000 claims abstract description 80
- 238000000034 method Methods 0.000 claims abstract description 21
- 238000001514 detection method Methods 0.000 claims description 9
- 238000004590 computer program Methods 0.000 claims description 6
- 239000003595 mist Substances 0.000 abstract description 22
- 238000003384 imaging method Methods 0.000 description 11
- 238000004422 calculation algorithm Methods 0.000 description 10
- 238000010586 diagram Methods 0.000 description 10
- 241000736199 Paeonia Species 0.000 description 5
- 235000006484 Paeonia officinalis Nutrition 0.000 description 5
- 238000012937 correction Methods 0.000 description 4
- 230000000694 effects Effects 0.000 description 4
- 238000000605 extraction Methods 0.000 description 4
- 210000000746 body region Anatomy 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000013507 mapping Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 238000012805 post-processing Methods 0.000 description 2
- 240000007594 Oryza sativa Species 0.000 description 1
- 235000007164 Oryza sativa Nutrition 0.000 description 1
- 230000009471 action Effects 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 239000000872 buffer Substances 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 230000006837 decompression Effects 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 238000012417 linear regression Methods 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 230000008569 process Effects 0.000 description 1
- 235000009566 rice Nutrition 0.000 description 1
- 238000001228 spectrum Methods 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/80—Camera processing pipelines; Components thereof
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/73—Deblurring; Sharpening
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/80—Camera processing pipelines; Components thereof
- H04N23/81—Camera processing pipelines; Components thereof for suppressing or minimising disturbance in the image signal generation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10004—Still image; Photographic image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10024—Color image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30248—Vehicle exterior or interior
- G06T2207/30252—Vehicle exterior; Vicinity of vehicle
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Studio Devices (AREA)
- Image Processing (AREA)
Abstract
本发明实施例涉及一种图像处理方法、装置、移动终端及计算机可读存储介质。上述方法，包括：每隔预设时间采集能见度信息；通过第一摄像头采集图像，并通过第二摄像头获取所述图像的第一景深信息；根据所述能见度信息及第一景深信息计算所述图像的透射率；根据所述透射率对所述图像进行去雾处理。上述图像处理方法、装置、移动终端及计算机可读存储介质，可以有效去除采集的图像中的雾，使在有雾天气记录的汽车行驶的视频图像更加清晰。
Description
技术领域
本发明涉及计算机技术领域，特别是涉及一种图像处理方法、装置、移动终端及计算机可读存储介质。
背景技术
在驾车行驶的过程中，司机通常通过移动终端，例如智能手机、行车记录仪等记录汽车行驶全过程的视频图像及声音。而在有雾天气时，移动终端上的成像装置由于受到空气中悬浮颗粒的影响，容易导致采集图像的颜色、纹理等特征受到严重的衰弱，采集的图像整体的色调会趋于灰白化，致使移动终端记录的汽车行驶的视频图像不清晰。
发明内容
本发明实施例提供一种图像处理方法、装置、移动终端及计算机可读存储介质，可以有效去除采集的图像中的雾，使在有雾天气记录的汽车行驶的视频图像更加清晰。
一种图像处理方法，包括：
每隔预设时间采集能见度信息；
通过第一摄像头采集图像，并通过第二摄像头获取所述图像的第一景深信息；
根据所述能见度信息及第一景深信息计算所述图像的透射率；
根据所述透射率对所述图像进行去雾处理。
在其中一个实施例中，所述每隔预设时间采集能见度信息，包括：
获取当前的位置信息；
向服务器发送包含所述位置信息的采集请求；
接收所述服务器返回的能见度信息，所述能见度信息由所述服务器根据所述采集请求获取所述位置信息，根据所述位置信息查找匹配的能见度仪，并从所述能见度仪中获得。
在其中一个实施例中，所述根据所述透射率对所述图像进行去雾处理，包括：
检测所述图像中是否包含运动物体；
若包含，则提取所述图像中的运动物体区域，并对所述运动物体区域进行去雾处理。
在其中一个实施例中，所述对所述运动物体区域进行去雾处理，包括：
通过所述第二摄像头获取所述运动物体区域的第二景深信息；
选取与所述第二景深信息匹配的修正因子；
根据所述修正因子调整所述透射率，并根据调整后的透射率对所述运动物体区域进行去雾处理。
在其中一个实施例中，所述方法还包括：
确定所述能见度信息落入的能见度范围区间；
获取与所述能见度范围区间匹配的视线距离；
获取当前的移动速度，若所述移动速度大于预设的与所述视线距离对应的标准速度，则发出警示。
一种图像处理装置，包括：
能见度采集模块，用于每隔预设时间采集能见度信息；
图像采集模块，用于通过第一摄像头采集图像，并通过第二摄像头获取所述图像的第一景深信息；
计算模块，用于根据所述能见度信息及第一景深信息计算所述图像的透射率；
去雾模块，用于根据所述透射率对所述图像进行去雾处理。
在其中一个实施例中，所述能见度采集模块，包括：
位置获取单元，用于获取当前的位置信息；
发送单元，用于向服务器发送包含所述位置信息的采集请求；
接收单元，用于接收所述服务器返回的能见度信息，所述能见度信息由所述服务器根据所述采集请求获取所述位置信息，根据所述位置信息查找匹配的能见度仪，并从所述能见度仪中获得。
在其中一个实施例中，所述去雾模块，包括：
检测单元，用于检测所述图像中是否包含运动物体；
去雾单元，用于若所述图像中包含运动物体，则提取所述图像中的运动物体区域，并对所述运动物体区域进行去雾处理；
所述去雾单元，包括：
景深获取子单元，用于通过所述第二摄像头获取所述运动物体区域的第二景深信息；
选取子单元，用于选取与所述第二景深信息匹配的修正因子；
调整子单元，用于根据所述修正因子调整所述透射率，并根据调整后的透射率对所述运动物体区域进行去雾处理。
在其中一个实施例中，所述装置还包括：
确定模块，用于确定所述能见度信息落入的能见度范围区间；
距离获取模块，用于获取与所述能见度范围区间匹配的视线距离；
警示模块，用于获取当前的移动速度，若所述移动速度大于预设的与所述视线距离对应的标准速度，则发出警示。
一种移动终端，包括存储器，处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如上所述的方法。
一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现如上所述的方法。
上述图像处理方法、装置、移动终端及计算机可读存储介质，每隔预设时间采集能见度信息，通过第一摄像头采集图像，并根据采集的能见度信息及通过第二摄像头获取的第一景深信息计算图像的透射率，能根据当前的能见度信息对采集的图像进行不同程度的去雾处理，可以有效去除采集的图像中的雾，使在有雾天气记录的汽车行驶的视频图像更加清晰。
附图说明
图1为一个实施例中图像处理方法的应用场景图；
图2为一个实施例中移动终端的框图；
图3为一个实施例中图像处理方法的流程示意图；
图4为一个实施例中对图像中的运动物体区域进行去雾处理的流程示意图；
图5为一个实施例中对当前的移动速度进行警示的流程示意图；
图6为一个实施例中图像处理装置的框图；
图7为一个实施例中去雾模块的框图；
图8为一个实施例中去雾单元的框图；
图9为一个实施例中图像处理电路的示意图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本发明，并不用于限定本发明。
可以理解，本发明所使用的术语“第一”、“第二”等可在本文中用于描述各种元件，但这些元件不受这些术语限制。这些术语仅用于将第一个元件与另一个元件区分。举例来说，在不脱离本发明的范围的情况下，可以将第一客户端称为第二客户端，且类似地，可将第二客户端称为第一客户端。第一客户端和第二客户端两者都是客户端，但其不是同一客户端。
图1为一个实施例中图像处理方法的应用场景图。如图1所示，移动终端10可通过摄像头102对行车时的车前场景20进行拍摄记录，其中，摄像头102中可包括第一摄像头及第二摄像头。移动终端10每隔预设时间采集能见度信息，通过第一摄像头采集车前场景20的图像，并通过第二摄像头获取采集的图像的第一景深信息。移动终端根据采集的能见度信息及第一景深信息计算该图像的透射率，可根据该透射率对图像进行去雾处理。
图2为一个实施例中移动终端10的框图。如图2所示，该移动终端10包括通过系统总线连接的处理器、非易失性存储介质、内存储器和网络接口、显示屏和输入装置。其中，移动终端10的非易失性存储介质存储有操作系统及计算机可执行指令，该计算机可执行指令被处理器执行时以实现本发明实施例中提供的一种图像处理方法。该处理器用于提供计算和控制能力，支撑整个移动终端10的运行。移动终端10中的内存储器为非易失性存储介质中的计算机可读指令的运行提供环境。网络接口用于与服务器进行网络通信。移动终端10的显示屏可以是液晶显示屏或者电子墨水显示屏等，输入装置可以是显示屏上覆盖的触摸层，也可以是移动终端10外壳上设置的按键、轨迹球或触控板，也可以是外接的键盘、触控板或鼠标等。该移动终端10可以是手机、平板电脑或者个人数字助理或穿戴式设备等。本领域技术人员可以理解，图2中示出的结构，仅仅是与本申请方案相关的部分结构的框图，并不构成对本申请方案所应用于其上的移动终端10的限定，具体的移动终端10可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。
如图3所示，一个实施例中，提供一种图像处理方法，包括以下步骤：
步骤310，每隔预设时间采集能见度信息。
能见度，是反映大气透明度的一个指标，一般定义为具有正常视力的人在当前的天气条件下还能够看清楚目标轮廓的最大距离。能见度和当前的天气情况密切相关，当出现降雨、雾、霾、沙尘暴等天气情况时，大气透明度较低，因此能见度较差。当用户进行行车驾驶时，可通过移动终端实时采集车前场景的图像，生成记录行车驾驶的视频。移动终端可每隔预设时间采集当前的能见度信息，其中，预设时间可以是预先设定的一个固定值，例如30分钟、15分钟等。进一步地，预设时间也可根据移动终端的位置信息变化及天气情况进行调整，当用户开启移动终端的摄像头采集车前场景的图像时，移动终端可通过GPS(GlobalPositioning System，全球定位系统)实时获取移动终端当前所处的位置信息，并根据天气插件查找与位置信息匹配的天气情况，当天气情况为晴时，预设时间可调为较长的时间，当天气为雾霾天气时，可将预设时间调为较短的时间。
步骤320，通过第一摄像头采集图像，并通过第二摄像头获取图像的第一景深信息。
移动终端可在背面设置有两个摄像头，包括第一摄像头及第二摄像头，第一摄像头及第二摄像头可设置在同一水平线上，水平左右排列，也可设置在同一竖直线上，竖直上下排列。在本实施例中，第一摄像头及第二摄像头可以是不同像素的摄像头，其中，第一摄像头可以是像素较高的摄像头，主要用于成像，第二摄像头可以是像素较低的辅助景深摄像头，用于获取采集的图像的景深信息。移动终端可通过第一摄像头连续采集多帧车前场景的图像，生成记录行车驾驶的视频，并通过摄像头获取采集的每一帧图像的第一景深信息，其中，第一景深信息可以理解为图像中的每个物体到移动终端的距离，也即物距信息。进一步地，移动终端可通过第二摄像头获取采集的图像中的每个像素点的景深信息，并计算图像的平均景深信息，将该平均景深信息作为图像的第一景深信息。
步骤330，根据能见度信息及第一景深信息计算图像的透射率。
移动终端采集能见度信息后，可判断能见度信息是否小于第一阈值，若不小于第一阈值，则可认为车前场景为无雾场景，第一摄像头采集的图像为清晰图像，不需要对采集的图像进行去雾处理，其中，第一阈值可根据实际需求进行设定，例如2000m(米)、1800m等。若采集的当前的能见度信息小于第一阈值，则可认为车前场景为含雾场景，第一摄像头采集的图像为含雾图像，需要对采集的图像进行去雾处理。
移动终端可根据去雾算法对采集的图像进行去雾处理，其中，去雾算法可包括基于图像增强的去雾算法及基于图像复原的去雾算法，基于图像增强的去雾算法可包括基于RetineX理论的去雾算法、基于直方图均衡化的去雾算法等，基于图像复原的去雾算法可包括基于大气散射模型的去雾算法等。在本实施例中，移动终端可通过暗原色先验算法对含雾图像进行去雾处理，其中，暗原色先验算法属于一种基于图像复原的去雾算法。暗原色先验算法中采用大气散射模型对含雾图像进行描述，该大气散射模型可如式(1)所示：
I(x)＝J(x)t(x)+A(1-t(x)) (1)；
其中，I(x)表示需要进行去雾处理的含雾图像，J(x)表示对含雾图像进行去雾处理后得到的无雾图像，x表示图像中某一像素的空间位置，t(x)表示透射率，A表示大气光值。
在本实施例中，采用计算透射率的方式可如式(2)所示：
t(x)＝e-βd(x) (2)；
其中，β表示大气的散射系数，d(x)表示景深信息，透射率与景深信息具备负指数关系，景深信息越大时，透射率越小，景深信息越小时，透射率越大。可建立大气的散射系数与能见度信息的关系式(3)：
其中，L表示能见度信息，则根据式(2)及式(3)，可建立能见度信息与透射率的关系式如式(4)所示：
移动终端可将采集的当前的能见度信息及第一景深信息代入式(4)，计算得到图像的透射率，其中，能见度信息越大时，说明雾浓度越小，透射率越大，去雾程度越弱，能见度信息越小时，说明雾浓度越大，透射率越小，去雾程度越强。相较于传统的根据大气光值求取透射率的方式，利用能见度信息及景深信息计算透射率更为快速直接，且可针对不同的能见度对图像进行不同程度的去雾处理，去雾效果更好。
步骤340，根据透射率对图像进行去雾处理。
在暗原色先验算法中，对于无雾图像，某些像素在RGB三个通道总会存在至少一个颜色通道具有很低的值，该颜色通道的值接近于零。因此，对于任意图像，其暗通道图像可如式(5)所示：
其中，Jdark(x)表示暗通道图像，Jc(y)表示颜色通道的值，Ω(x)表示以像素x为中心的一个窗口。
移动终端可根据式(5)求取采集的图像的暗通道图像，并根据该暗通道图像获取大气光值。进一步地，移动终端可在采集的图像的暗通道图像中，获取各个像素点的亮度，并按照亮度对像素点进行排序，再按照亮度从大到小提取暗通道图像中预设比例的像素点，其中，预设比例可根据实际需求进行设定，例如0.1％、0.2％等，提取暗通道图像中亮度最大的前0.1％或0.2％的像素点。再在采集的图像中，确定与提取的像素点对应的位置的亮度值，将其中具有最高亮度值的像素点的亮度值作为大气光值。
移动终端计算得到采集的图像的透射率及大气光值后，可将透射率及大气光值代入式(1)，并将采集的图像作为I(x)，即可求取得到去雾处理后的图像。进一步地，在本次获取能见度信息至下一次获取能见度信息的预设时间内，能见度信息不发生变化，移动终端可直接根据计算得到的透射率及大气光值，处理后续采集的多帧图像，无需每帧图像重新计算透射率及大气光值，加快视频的去雾处理速度，并减轻中央处理器的压力。
上述图像处理方法，每隔预设时间采集能见度信息，通过第一摄像头采集图像，并根据采集的能见度信息及通过第二摄像头获取的第一景深信息计算图像的透射率，能根据当前的能见度信息对采集的图像进行不同程度的去雾处理，可以有效去除采集的图像中的雾，使在有雾天气记录的汽车行驶的视频图像更加清晰。
在一个实施例中，步骤310每隔预设时间采集能见度信息，包括：获取当前的位置信息，向服务器发送包含位置信息的采集请求，接收服务器返回的能见度信息。
移动终端可通过GPS、LBS(Location Based Service，基于移动位置服务)等实时获取当前的位置信息，位置信息可包括所处的地理位置名称、经纬度信息等。当需要采集能见度信息时，移动终端可读取当前的位置信息，并向服务器发送包含该位置信息的采集请求。服务器接收采集请求，可根据采集请求获取移动终端的位置信息。可在服务器中预先存储有能见度仪与位置信息的对应关系表，服务器在该对应关系表中，可查找到与移动终端的位置信息匹配的能见度仪的标识，并根据该匹配的能见度仪的标识建立与该能见度仪的通信，从该能见度仪中获取能见度信息，其中，能见度仪的标识可以是能见度仪的MAC(Media Access Control，介质访问控制层)地址，或是能见度仪编号等具备唯一标识作用的信息。
在一个实施例中，各个能见度仪也可定时向服务器上传能见度信息，服务器上存储有各个能见度仪的实时能见度信息。当服务器接收到采集请求后，根据采集请求获取移动终端的位置信息，并查找到与该位置信息匹配的能见度仪后，可直接读取与该匹配的能见度仪对应的最新存储的能见度信息，例如，直接读取该匹配的能见度仪存储时间最晚的能见度信息等。
在本实施例中，可每隔预设时间采集当前的能见度信息，方便根据当前的能见度信息计算采集的图像的透射率，根据能见度信息对采集的图像进行不同程度的去雾处理，可以有效去除采集的图像中的雾，使在有雾天气记录的行车驾驶的视频图像更加清晰。
在一个实施例中，步骤340根据透射率对图像进行去雾处理，包括：检测图像中是否包含运动物体，若包含，则提取图像中的运动物体区域，并对运动物体区域进行去雾处理。
移动终端通过第一摄像头采集多帧车前场景的图像，并通过第二摄像头获取每一帧图像中各个像素点的景深信息。可计算相邻两帧图像中对应位置的像素点的景深信息之间的差值，当图像中存在与上一帧图像的景深信息之间的差值大于第二阈值的像素点时，则可判断图像中包含运动物体。移动终端可提取图像中与上一帧图像的景深信息之间的差值大于第二阈值的所有像素点，并将提取的像素点作为运动物体区域，优先对运动物体区域进行去雾处理。
如图4所示，在一个实施例中，步骤对运动物体区域进行去雾处理，包括以下步骤：
步骤402，通过第二摄像头获取运动物体区域的第二景深信息。
移动终端可通过第二摄像头获取运动物体区域中各个像素点的景深信息，并计算运动物体区域的所有像素点的平均景深信息，可将该平均景深信息作为运动物体区域的第二景深信息。
步骤404，选取与第二景深信息匹配的修正因子。
当采集的图像中包含运动物体时，可提取图像中的运动物体区域，并可对运动物体区域进行程度更强的去雾处理，保证采集的图像中运动物体的清晰。可引入修正因子对计算的图像的透射率进行调整，建立修正因子与景深信息范围的对应关系，不同的景深范围可对应不同的修正因子，其中，修正因子可为大于0且小于或等于1的值，当景深范围越大时，对应的修正因子越小，景深范围越小时，对应的修正因子越大。移动终端获取图像中的运动物体区域的第二景深信息后，可确定第二景深信息落入的景深范围，并选取与该落入的景深范围匹配的修正因子。
步骤406，根据修正因子调整透射率，并根据调整后的透射率对运动物体区域进行去雾处理。
移动终端可根据式(6)，利用修正因子对透射率进行调整：
t'＝W*t (6)；
其中，W表示修正因子，t表示图像的透射率，t'表示调整后的透射率。当运动物体区域的第二景深信息越大时，说明运动物体距离移动终端越远，选取的修正因子越小，调整后的透射率越小，去雾程度越强；当运动物体区域的第二景深信息越小时，说明运动物体距离移动终端越近，选取的修正因子越大，调整后的透射率较大，去雾程度较弱。
在一个实施例中，移动终端也可在检测到图像中包含运动物体时，仅对图像中的运动物体区域进行去雾，当图像中不包含运动物体时，则不对图像进行去雾处理，可减少去雾处理操作，节省资源消耗，减轻中央处理器的压力。
在本实施例中，当检测到图像中包含运动物体时，可根据运动物体区域的第二景深信息选取修正因子对透射率进行调整，可使图像中的运动物体区域更加清晰，去雾效果更好。
如图5所示，在一个实施例中，上述图像处理方法，还包括以下步骤：
步骤502，确定能见度信息落入的能见度范围区间。
可预先划分多个能见度范围区间，例如，划分的能见度范围区间可包括小于100m、100～200m、200～500m、500～1000m及1000～2000m等。
步骤504，获取与能见度范围区间匹配的视线距离。
针对各个能见度范围区间，可分别对应有不同的视线距离，该视线距离指的是在对应的能见度范围区间下，车辆行驶的可视距离，进一步地，视线距离与能见度信息可具备线性回归关系。例如，能见度范围区间小于100m、100～200m、200～500m、500～1000m及1000～2000m，分别对应的视线距离为小于20m、20～50m、50～150m、150～250m及250～520m等。移动终端采集当前的能见度信息后，可确定采集的能见度信息落入的能见度范围区间，并获取与该落入的能见度范围区间对应的视线距离。
步骤506，获取当前的移动速度，若移动速度大于预设的与视线距离对应的标准速度，则发出警示。
不同的视线距离可预先设定有对应的标准速度，标准速度指的是对应视线距离下推荐的安全行车速度，当行车驾驶的速度不超过标准速度时，可保证用户的行车安全，当视线距离越小时，标准速度越小，当视线距离越大时，标准速度越大。例如，当能见度信息小于100m时，视线距离小于20m，则对应的标准速度为40公里/小时，当能见度信息在100～200m之间时，视线距离在20～50m之间，对应的标准速度为60公里/小时等。移动终端可通过陀螺仪等传感器获取当前的移动速度，并将移动速度与获取的视线距离对应的标准速度进行比较，若当前的移动速度大于该标准速度，则可发出警示，对用户进行提醒，其中，警示的方式可包括发出警报声、画面亮起红光、弹框提示等中的一种或多种，但不限于此。
在本实施例中，可根据当前的能见度信息对车辆的移动速度进行提醒，保证用户在雾天时的行车驾驶安全。
如图6所示，在一个实施例中，提供一种图像处理装置600，包括能见度采集模块610、图像采集模块620、计算模块630及去雾模块640。
能见度采集模块610，用于每隔预设时间采集能见度信息。
图像采集模块620，用于通过第一摄像头采集图像，并通过第二摄像头获取图像的第一景深信息。
计算模块630，用于根据能见度信息及第一景深信息计算图像的透射率。
去雾模块640，用于根据透射率对图像进行去雾处理。
上述图像处理装置，每隔预设时间采集能见度信息，通过第一摄像头采集图像，并根据采集的能见度信息及通过第二摄像头获取的第一景深信息计算图像的透射率，能根据当前的能见度信息对采集的图像进行不同程度的去雾处理，可以有效去除采集的图像中的雾，使在有雾天气记录的汽车行驶的视频图像更加清晰。
在一个实施例中，能见度采集模块610，包括位置获取单元、发送单元及接收单元。
位置获取单元，用于获取当前的位置信息。
发送单元，用于向服务器发送包含位置信息的采集请求。
接收单元，用于接收服务器返回的能见度信息，能见度信息由服务器根据采集请求获取位置信息，根据位置信息查找匹配的能见度仪，并从能见度仪中获得。
在本实施例中，可每隔预设时间采集当前的能见度信息，方便根据当前的能见度信息计算采集的图像的透射率，根据能见度信息对采集的图像进行不同程度的去雾处理，可以有效去除采集的图像中的雾，使在有雾天气记录的行车驾驶的视频图像更加清晰。
如图7所示，在一个实施例中，去雾模块640，包括检测单元642及去雾单元644。
检测单元642，用于检测图像中是否包含运动物体。
去雾单元644，用于若图像中包含运动物体，则提取图像中的运动物体区域，并对运动物体区域进行去雾处理。
如图8所示，在一个实施例中，去雾单元644，包括景深获取子单元802、选取子单元804及调整子单元806。
景深获取子单元802，用于通过第二摄像头获取运动物体区域的第二景深信息。
选取子单元804，用于选取与第二景深信息匹配的修正因子。
调整子单元806，用于根据修正因子调整透射率，并根据调整后的透射率对运动物体区域进行去雾处理。
在本实施例中，当检测到图像中包含运动物体时，可根据运动物体区域的第二景深信息选取修正因子对透射率进行调整，可使图像中的运动物体区域更加清晰，去雾效果更好。
在一个实施例中，上述图像处理装置600，除了包括能见度采集模块610、图像采集模块620、计算模块630及去雾模块640，还包括确定模块、距离获取模块及警示模块。
确定模块，用于确定能见度信息落入的能见度范围区间。
距离获取模块，用于获取与能见度范围区间匹配的视线距离。
警示模块，用于获取当前的移动速度，若移动速度大于预设的与视线距离对应的标准速度，则发出警示。
在本实施例中，可根据当前的能见度信息对车辆的移动速度进行提醒，保证用户在雾天时的行车驾驶安全。
上述图像处理装置中各个模块的划分仅用于举例说明，在其他实施例中，可将推荐信息生成装置按照需要划分为不同的模块，以完成上述推荐信息生成装置的全部或部分功能。
本发明实施例还提供一种移动终端。上述移动终端中包括图像处理电路，图像处理电路可以利用硬件和/或软件组件实现，可包括定义ISP(Image Signal Processing，图像信号处理)管线的各种处理单元。图9为一个实施例中图像处理电路的示意图。如图9所示，为便于说明，仅示出与本发明实施例相关的图像处理技术的各个方面。
如图9所示，图像处理电路包括ISP处理器940和控制逻辑器950。成像设备910捕捉的图像数据首先由ISP处理器940处理，ISP处理器940对图像数据进行分析以捕捉可用于确定和/或成像设备910的一个或多个控制参数的图像统计信息。成像设备910可包括具有一个或多个透镜912和图像传感器914的照相机。图像传感器914可包括色彩滤镜阵列(如Bayer滤镜)，图像传感器914可获取用图像传感器914的每个成像像素捕捉的光强度和波长信息，并提供可由ISP处理器940处理的一组原始图像数据。传感器920可基于传感器920接口类型把原始图像数据提供给ISP处理器940。传感器920接口可以利用SMIA(StandardMobile Imaging Architecture，标准移动成像架构)接口、其它串行或并行照相机接口、或上述接口的组合。
ISP处理器940按多种格式逐个像素地处理原始图像数据。例如，每个图像像素可具有8、10、12或14比特的位深度，ISP处理器940可对原始图像数据进行一个或多个图像处理操作、收集关于图像数据的统计信息。其中，图像处理操作可按相同或不同的位深度精度进行。
ISP处理器940还可从图像存储器930接收像素数据。例如，从传感器920接口将原始像素数据发送给图像存储器930，图像存储器930中的原始像素数据再提供给ISP处理器940以供处理。图像存储器930可为存储器装置的一部分、存储设备、或电子设备内的独立的专用存储器，并可包括DMA(Direct Memory Access，直接直接存储器存取)特征。
当接收到来自传感器920接口或来自图像存储器930的原始图像数据时，ISP处理器940可进行一个或多个图像处理操作，如时域滤波。处理后的图像数据可发送给图像存储器930，以便在被显示之前进行另外的处理。ISP处理器940还可从图像存储器930接收处理数据，对上述处理数据进行原始域中以及RGB和YCbCr颜色空间中的图像数据处理。处理后的图像数据可输出给显示器980，以供用户观看和/或由图形引擎或GPU(GraphicsProcessing Unit，图形处理器)进一步处理。此外，ISP处理器940的输出还可发送给图像存储器930，且显示器980可从图像存储器930读取图像数据。在一个实施例中，图像存储器930可被配置为实现一个或多个帧缓冲器。此外，ISP处理器940的输出可发送给编码器/解码器970，以便编码/解码图像数据。编码的图像数据可被保存，并在显示与显示器980设备上之前解压缩。
ISP处理器940处理图像数据的步骤包括：对图像数据进行VFE(Video Front End，视频前端)处理和CPP(Camera Post Processing，摄像头后处理)处理。对图像数据的VFE处理可包括修正图像数据的对比度或亮度、修改以数字方式记录的光照状态数据、对图像数据进行补偿处理(如白平衡，自动增益控制，γ校正等)、对图像数据进行滤波处理等。对图像数据的CPP处理可包括对图像进行缩放、向每个路径提供预览帧和记录帧。其中，CPP可使用不同的编解码器来处理预览帧和记录帧。
ISP处理器940处理后的图像数据可发送给去雾模块960，以便在被显示之前对图像进行去雾处理。去雾模块960可根据能见度信息及第一景深信息计算图像的透射率，并根据透射率对图像进行去雾处理等。其中，去雾模块960可为移动终端中CPU(CentralProcessing Unit，中央处理器)、GPU或协处理器等。去雾模块960将图像数据进行去雾处理后，可将去雾处理后的图像数据发送给编码器/解码器970，以便编码/解码图像数据。编码的图像数据可被保存，并在显示与显示器980设备上之前解压缩。可以理解的是，去雾模块960处理后的图像数据可以不经过编码器/解码器970，直接发给显示器980进行显示。ISP处理器940处理后的图像数据还可以先经过编码器/解码器970处理，然后再经过去雾模块960进行处理。上述编码器/解码器可为移动终端中CPU、GPU或协处理器等。
ISP处理器940确定的统计数据可发送给控制逻辑器950单元。例如，统计数据可包括自动曝光、自动白平衡、自动聚焦、闪烁检测、黑电平补偿、透镜912阴影校正等图像传感器914统计信息。控制逻辑器950可包括执行一个或多个例程(如固件)的处理器和/或微控制器，一个或多个例程可根据接收的统计数据，确定成像设备910的控制参数以及ISP处理器940的控制参数。例如，控制参数可包括传感器920控制参数(例如增益、曝光控制的积分时间)、照相机闪光控制参数、透镜912控制参数(例如聚焦或变焦用焦距)、或这些参数的组合。ISP控制参数可包括用于自动白平衡和颜色调整(例如，在RGB处理期间)的增益水平和色彩校正矩阵，以及透镜912阴影校正参数。
在本实施例中，运用图9中的图像处理技术可实现上述的图像处理方法。
在一个实施例中，提供一种计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现上述图像处理方法。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的程序可存储于一非易失性计算机可读取存储介质中，该程序在执行时，可包括如上述各方法的实施例的流程。其中，所述的存储介质可为磁碟、光盘、只读存储记忆体(Read-Only Memory，ROM)等。
以上所述实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。
以上所述实施例仅表达了本发明的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变形和改进，这些都属于本发明的保护范围。因此，本发明专利的保护范围应以所附权利要求为准。
Claims (11)
1.一种图像处理方法，其特征在于，包括：
每隔预设时间采集能见度信息；
通过第一摄像头采集图像，并通过第二摄像头获取所述图像的第一景深信息；
根据所述能见度信息及第一景深信息计算所述图像的透射率；
根据所述透射率对所述图像进行去雾处理。
2.根据权利要求1所述的方法，其特征在于，所述每隔预设时间采集能见度信息，包括：
获取当前的位置信息；
向服务器发送包含所述位置信息的采集请求；
接收所述服务器返回的能见度信息，所述能见度信息由所述服务器根据所述采集请求获取所述位置信息，根据所述位置信息查找匹配的能见度仪，并从所述能见度仪中获得。
3.根据权利要求1所述的方法，其特征在于，所述根据所述透射率对所述图像进行去雾处理，包括：
检测所述图像中是否包含运动物体；
若包含，则提取所述图像中的运动物体区域，并对所述运动物体区域进行去雾处理。
4.根据权利要求3所述的方法，其特征在于，所述对所述运动物体区域进行去雾处理，包括：
通过所述第二摄像头获取所述运动物体区域的第二景深信息；
选取与所述第二景深信息匹配的修正因子；
根据所述修正因子调整所述透射率，并根据调整后的透射率对所述运动物体区域进行去雾处理。
5.根据权利要求1至4任一所述的方法，其特征在于，所述方法还包括：
确定所述能见度信息落入的能见度范围区间；
获取与所述能见度范围区间匹配的视线距离；
获取当前的移动速度，若所述移动速度大于预设的与所述视线距离对应的标准速度，则发出警示。
6.一种图像处理装置，其特征在于，包括：
能见度采集模块，用于每隔预设时间采集能见度信息；
图像采集模块，用于通过第一摄像头采集图像，并通过第二摄像头获取所述图像的第一景深信息；
计算模块，用于根据所述能见度信息及第一景深信息计算所述图像的透射率；
去雾模块，用于根据所述透射率对所述图像进行去雾处理。
7.根据权利要求6所述的装置，其特征在于，所述能见度采集模块，包括：
位置获取单元，用于获取当前的位置信息；
发送单元，用于向服务器发送包含所述位置信息的采集请求；
接收单元，用于接收所述服务器返回的能见度信息，所述能见度信息由所述服务器根据所述采集请求获取所述位置信息，根据所述位置信息查找匹配的能见度仪，并从所述能见度仪中获得。
8.根据权利要求6所述的装置，其特征在于，所述去雾模块，包括：
检测单元，用于检测所述图像中是否包含运动物体；
去雾单元，用于若所述图像中包含运动物体，则提取所述图像中的运动物体区域，并对所述运动物体区域进行去雾处理；
所述去雾单元，包括：
景深获取子单元，用于通过所述第二摄像头获取所述运动物体区域的第二景深信息；
选取子单元，用于选取与所述第二景深信息匹配的修正因子；
调整子单元，用于根据所述修正因子调整所述透射率，并根据调整后的透射率对所述运动物体区域进行去雾处理。
9.根据权利要求6至8任一所述的装置，其特征在于，所述装置还包括：
确定模块，用于确定所述能见度信息落入的能见度范围区间；
距离获取模块，用于获取与所述能见度范围区间匹配的视线距离；
警示模块，用于获取当前的移动速度，若所述移动速度大于预设的与所述视线距离对应的标准速度，则发出警示。
10.一种移动终端，包括存储器，处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如权利要求1至5任一所述的方法。
11.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至5任一所述的方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201710626245.9A CN107454319B (zh) | 2017-07-27 | 2017-07-27 | 图像处理方法、装置、移动终端及计算机可读存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201710626245.9A CN107454319B (zh) | 2017-07-27 | 2017-07-27 | 图像处理方法、装置、移动终端及计算机可读存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN107454319A true CN107454319A (zh) | 2017-12-08 |
| CN107454319B CN107454319B (zh) | 2019-12-27 |
Family
ID=60489746
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201710626245.9A Expired - Fee Related CN107454319B (zh) | 2017-07-27 | 2017-07-27 | 图像处理方法、装置、移动终端及计算机可读存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN107454319B (zh) |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109383289A (zh) * | 2018-10-19 | 2019-02-26 | 湖北亿咖通科技有限公司 | 汽车限速控制方法、装置、电子设备及可读存储介质 |
| CN110111281A (zh) * | 2019-05-08 | 2019-08-09 | 北京市商汤科技开发有限公司 | 图像处理方法及装置、电子设备和存储介质 |
| CN111899309A (zh) * | 2020-07-31 | 2020-11-06 | 上海眼控科技股份有限公司 | 上坡雾检测方法、装置、计算机设备和可读存储介质 |
| CN112035583A (zh) * | 2020-08-24 | 2020-12-04 | 浙江商汤科技开发有限公司 | 定位更新方法、装置和系统、移动设备控制方法及装置 |
Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2002168936A (ja) * | 2000-12-01 | 2002-06-14 | Mitsubishi Electric Corp | 波源検出装置及び波源検出方法 |
| CN103971337A (zh) * | 2014-04-29 | 2014-08-06 | 杭州电子科技大学 | 一种利用大气传输特征的红外图像去雾霾方法 |
| CN105261018A (zh) * | 2015-10-14 | 2016-01-20 | 山东交通学院 | 基于光学模型和暗原色先验理论的能见度检测方法 |
| CN105282421A (zh) * | 2014-07-16 | 2016-01-27 | 宇龙计算机通信科技(深圳)有限公司 | 一种去雾图像获取方法、装置及终端 |
| CN105809647A (zh) * | 2016-03-31 | 2016-07-27 | 北京奇虎科技有限公司 | 一种自动去雾拍照方法、装置和设备 |
| US9654761B1 (en) * | 2013-03-15 | 2017-05-16 | Google Inc. | Computer vision algorithm for capturing and refocusing imagery |
| CN106934349A (zh) * | 2017-02-17 | 2017-07-07 | 深圳市明天科创科技有限公司 | 双摄像头成像及虹膜采集识别一体化设备 |
-
2017
- 2017-07-27 CN CN201710626245.9A patent/CN107454319B/zh not_active Expired - Fee Related
Patent Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2002168936A (ja) * | 2000-12-01 | 2002-06-14 | Mitsubishi Electric Corp | 波源検出装置及び波源検出方法 |
| US9654761B1 (en) * | 2013-03-15 | 2017-05-16 | Google Inc. | Computer vision algorithm for capturing and refocusing imagery |
| CN103971337A (zh) * | 2014-04-29 | 2014-08-06 | 杭州电子科技大学 | 一种利用大气传输特征的红外图像去雾霾方法 |
| CN105282421A (zh) * | 2014-07-16 | 2016-01-27 | 宇龙计算机通信科技(深圳)有限公司 | 一种去雾图像获取方法、装置及终端 |
| CN105261018A (zh) * | 2015-10-14 | 2016-01-20 | 山东交通学院 | 基于光学模型和暗原色先验理论的能见度检测方法 |
| CN105809647A (zh) * | 2016-03-31 | 2016-07-27 | 北京奇虎科技有限公司 | 一种自动去雾拍照方法、装置和设备 |
| CN106934349A (zh) * | 2017-02-17 | 2017-07-07 | 深圳市明天科创科技有限公司 | 双摄像头成像及虹膜采集识别一体化设备 |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109383289A (zh) * | 2018-10-19 | 2019-02-26 | 湖北亿咖通科技有限公司 | 汽车限速控制方法、装置、电子设备及可读存储介质 |
| CN110111281A (zh) * | 2019-05-08 | 2019-08-09 | 北京市商汤科技开发有限公司 | 图像处理方法及装置、电子设备和存储介质 |
| CN111899309A (zh) * | 2020-07-31 | 2020-11-06 | 上海眼控科技股份有限公司 | 上坡雾检测方法、装置、计算机设备和可读存储介质 |
| CN112035583A (zh) * | 2020-08-24 | 2020-12-04 | 浙江商汤科技开发有限公司 | 定位更新方法、装置和系统、移动设备控制方法及装置 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN107454319B (zh) | 2019-12-27 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN107424133B (zh) | 图像去雾方法、装置、计算机可存储介质和移动终端 | |
| CN108055452A (zh) | 图像处理方法、装置及设备 | |
| CN107493432A (zh) | 图像处理方法、装置、移动终端及计算机可读存储介质 | |
| CN107277299A (zh) | 图像处理方法、装置、移动终端及计算机可读存储介质 | |
| CN107481186B (zh) | 图像处理方法、装置、计算机可读存储介质和计算机设备 | |
| CN107454319A (zh) | 图像处理方法、装置、移动终端及计算机可读存储介质 | |
| CN107704798B (zh) | 图像虚化方法、装置、计算机可读存储介质和计算机设备 | |
| CN110121031B (zh) | 图像采集方法和装置、电子设备、计算机可读存储介质 | |
| CN109167930A (zh) | 图像显示方法、装置、电子设备和计算机可读存储介质 | |
| CN107622497B (zh) | 图像裁剪方法、装置、计算机可读存储介质和计算机设备 | |
| CN107197152A (zh) | 对焦方法、装置、计算机可读存储介质和移动终端 | |
| CN109712177A (zh) | 图像处理方法、装置、电子设备和计算机可读存储介质 | |
| CN110264420A (zh) | 基于多帧图像的图像处理方法和装置 | |
| CN108053438A (zh) | 景深获取方法、装置及设备 | |
| CN107317967A (zh) | 图像处理方法、装置、移动终端及计算机可读存储介质 | |
| CN105989583B (zh) | 一种图像去雾方法 | |
| CN107464225B (zh) | 图像处理方法、装置、计算机可读存储介质和移动终端 | |
| CN107277369B (zh) | 图像处理方法、装置、计算机可读存储介质和计算机设备 | |
| CN107317969A (zh) | 图像去雾方法、装置、计算机可存储介质和移动终端 | |
| CN107454317B (zh) | 图像处理方法、装置、计算机可读存储介质和计算机设备 | |
| CN107454318B (zh) | 图像处理方法、装置、移动终端及计算机可读存储介质 | |
| CN107392870B (zh) | 图像处理方法、装置、移动终端及计算机可读存储介质 | |
| CN107230373A (zh) | 信息推荐方法、装置、计算机可读存储介质和移动终端 | |
| CN107295261A (zh) | 图像去雾处理方法、装置、存储介质和移动终端 | |
| CN107424134A (zh) | 图像处理方法、装置、计算机可读存储介质和计算机设备 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| CB02 | Change of applicant information |
Address after: Changan town in Guangdong province Dongguan 523860 usha Beach Road No. 18 Applicant after: GUANGDONG OPPO MOBILE TELECOMMUNICATIONS Corp.,Ltd. Address before: Changan town in Guangdong province Dongguan 523860 usha Beach Road No. 18 Applicant before: GUANGDONG OPPO MOBILE TELECOMMUNICATIONS Corp.,Ltd. |
|
| CB02 | Change of applicant information | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20191227 |
|
| CF01 | Termination of patent right due to non-payment of annual fee |