CN107872608B - 图像采集设备及图像处理方法 - Google Patents

图像采集设备及图像处理方法 Download PDF

Info

Publication number
CN107872608B
CN107872608B CN201610851427.1A CN201610851427A CN107872608B CN 107872608 B CN107872608 B CN 107872608B CN 201610851427 A CN201610851427 A CN 201610851427A CN 107872608 B CN107872608 B CN 107872608B
Authority
CN
China
Prior art keywords
image
fog
haze
penetrating
lens
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201610851427.1A
Other languages
English (en)
Other versions
CN107872608A (zh
Inventor
朱力于
徐鹏
周彬彬
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Huawei Technologies Co Ltd
Original Assignee
Huawei Technologies Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Huawei Technologies Co Ltd filed Critical Huawei Technologies Co Ltd
Priority to CN201610851427.1A priority Critical patent/CN107872608B/zh
Priority to PCT/CN2017/098303 priority patent/WO2018054189A1/zh
Priority to EP17852258.7A priority patent/EP3468167A4/en
Publication of CN107872608A publication Critical patent/CN107872608A/zh
Priority to US16/361,024 priority patent/US10911644B2/en
Application granted granted Critical
Publication of CN107872608B publication Critical patent/CN107872608B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B13/00—Optical objectives specially designed for the purposes specified below
    • G02B13/16—Optical objectives specially designed for the purposes specified below for use in conjunction with image converters or intensifiers, or for use with projectors, e.g. objectives for projection TV
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B15/00—Optical objectives with means for varying the magnification
    • G02B15/02—Optical objectives with means for varying the magnification by changing, adding, or subtracting a part of the objective, e.g. convertible objective
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/90—Dynamic range modification of images or parts thereof
    • G06T5/92—Dynamic range modification of images or parts thereof based on global image properties
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/40—Analysis of texture
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/40—Circuit details for pick-up tubes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50—Constructional details
    • H04N23/55—Optical parts specially adapted for electronic image sensors; Mounting thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/64—Computer-aided capture of images, e.g. transfer from script file into camera, check of taken image quality, advice or proposal for image composition or decision on when to take image
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/75—Circuitry for compensating brightness variation in the scene by influencing optical camera components
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H04N23/81—Camera processing pipelines; Components thereof for suppressing or minimising disturbance in the image signal generation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20172—Image enhancement details
    • G06T2207/20208—High dynamic range [HDR] image processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30168—Image quality inspection

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Optics & Photonics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Quality & Reliability (AREA)
  • Studio Devices (AREA)
  • Image Processing (AREA)

Abstract

本申请提供了一种图像处理方法及图像采集设备，计算第一图像的雾霾强度，在所述第一图像的雾霾强度大于第一门限值的情况下，发出控制信息，所述控制信息用于控制透雾光学部件移入镜头，因为透雾光学部件能够提高光学成像的品质，因此，移入透雾光学部件的镜头具备光学透雾的功能，可见，在第一图像的雾霾强度大于第一门限值的情况下，即开启光学透雾功能，从而改善在雾霾环境下获得的图像的质量。

Description

图像采集设备及图像处理方法
技术领域
本发明涉及信号处理领域，更具体的说，涉及一种图像采集设备及图像处理方法。
背景技术
图像采集设备的原理是将目标物体发射或反射的光，在成像器件上进行光电转换后成像。当大气中的气溶胶或者固态粒子密度较大时，会对传播路径中的光束形成一系列的阻挡、散射、折射等作用，使能够进入镜头的有效光线减少以及降质，最终影响到成像的质量。
因此，图像采集设备在雾霾天气下采集到的图像的质量不高，例如通常具有色彩黯淡、画面模糊、对比度较低、重要目标的细节容易被淹没在雾气中无法察觉等问题。
发明内容
有鉴于此，本发明提供一种图像采集设备及图像处理方法，目的在于解决雾霾导致的图像质量下降的问题。
为解决上述技术问题，本发明采用了如下技术方案：
本申请的第一方面提供了一种图像处理方法，包括以下步骤：计算第一图像的雾霾强度，在所述第一图像的雾霾强度大于第一门限值的情况下，发出控制信息，所述控制信息用于控制透雾光学部件移入镜头。其中，雾霾强度用于表示雾霾对图像的清晰度的影响程度。因为透雾光学部件能够提高光学成像的品质，因此，移入透雾光学部件的镜头具备光学透雾的功能，可见，在第一图像的雾霾强度大于第一门限值的情况下，即开启光学透雾功能，从而改善在雾霾环境下获得的图像的质量。
本申请的第二方面提供了一种图像采集设备，包括：镜头、透雾光学部件、图像信号处理器和中央处理单元。其中，所述透雾光学部件通过驱动部件与所述中央处理单元连接。所述图像信号处理器用于计算第一图像的雾霾强度，并在所述第一图像的雾霾强度大于第一门限值的情况下，发出控制信息。所述中央处理单元用于依据所述控制信息，通过控制所述驱动部件将所述透雾光学部件移入所述镜头。所述图像采集装置具有自动开启光学透雾的功能。
在一个实现方式中，还包括：通过移入所述透雾光学部件的镜头获取第二图像，在依据所述第二图像中的多个子区域的大气光的均值与实际大气光的比值确定的所述第二图像的雾霾强度大于第二门限值的情况下，对所述第二图像进行对比度增强处理。也就是说，在开启光学透雾功能的情况下，如果图像的雾霾强度还不满足条件，则使用数字图像处理算法对于图像进行进一步的处理，从而进一步改善在雾霾环境下获得的图像的质量。
在一个实现方式中，所述第二图像的雾霾强度的计算过程具体包括：将目标图像中最大的RGB值设为实际大气光A，将得到的所有X的均值与实际大气光A的比值作为所述第二图像的雾霾强度。其中，所述目标图像和X的获取过程包括：将所述第二图像作为初始的当前图像，并循环执行以下过程，直到得到所述目标图像，所述目标图像为尺寸等于或小于所述预设尺寸的当前图像：将当前图像分成N个子区域，对于每个子区域，计算该子区域的亮度均值与亮度均方差的差值，得到X，从N个子区域的X中选择最大值Xmax，将得到Xmax的子区域作为当前图像。与现有的暗通道算法得到雾霾强度相比，依据所述第二图像中的多个子区域的大气光的均值与实际大气光的比值确定的雾霾强度的方法，能适用于使用透雾光学部件得到的图像，具有更高的准确性。
在一个实现方式中，在计算第一图像的雾霾强度之前，还包括：使用未移入所述透雾光学部件的镜头获取第三图像，在所述第三图像的雾霾强度大于第三门限值的情况下，通过对所述第三图像进行对比度增强处理，得到所述第一图像。在开启光学透雾之前，先对图像进行对比度增强，在对比度增强的效果不好的情况下，再开启光学透雾，目的在于，使用透雾光学部件只能得到灰度图像，而非彩色图像，所以，为了兼顾图像的清晰度和色彩，在对比度增强处理效果不好的情况下，再开启光学透雾功能。
本申请的第三方面提供了另一种图像处理方法，包括以下步骤：计算依据所述图像中的多个子区域的大气光的均值与实际大气光的比值确定的图像的雾霾强度，在所述图像的雾霾强度不大于门限值的情况下，发出控制信息，所述控制信息用于控制透雾光学部件从镜头中移出，未移出所述透雾光学部件的镜头用于获取所述图像。可见，在图像的雾霾强度不大于门限值的情况下，则关闭光学透雾功能，能够得到彩色图像。
本申请的第四方面提供了一种图像采集设备，包括：镜头、透雾光学部件、图像信号处理器和中央处理单元。其中，所述透雾光学部件通过驱动部件与所述中央处理单元连接。所述图像信号处理器用于计算图像的雾霾强度，在所述图像的雾霾强度不大于阈值的情况下，发出控制信息。所述中央处理单元用于依据所述控制信息，通过控制所述驱动部件将所述透雾光学部件移出所述镜头。
在一个实现方式中，还包括：在所述图像的雾霾强度大于所述门限值的情况下，对所述图像进行对比度增强处理。
在一个实现方式中，所述透雾光学部件包括：
透雾镜头或者光学滤波片。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。
图1为本申请实施例公开的一种图像采集设备的结构示意图；
图2为本申请实施例公开的一种图像处理方法的流程图；
图3为本申请实施例公开的计算经过光学透雾后的图像的雾霾强度的流程图；
图4为本申请实施例公开的又一种图像处理方法的流程图；
图5为本申请实施例公开的关闭光学透雾的流程图；
图6为本申请实施例公开的当前的状态机选择图像处理的流程图；
图7为本申请实施例公开的在状态机为【不实施任何透雾方案】的情况下的处理流程图；
图8为本申请实施例公开的在状态机为【数字透雾】的情况下的处理流程图；
图9为本申请实施例公开的在状态机为【数字透雾+光学透雾】的情况下的处理流程图；
图10为本申请实施例公开的状态机的切换示意图。
具体实施方式
本发明提供了一种图像采集设备，具体的，图像采集设备可以为终端的一部分，如：可以为设置在手机上的图像采集单元。图像采集设备也可以为一些独立的设备，如：视频监控设备。
本申请的目的在于降低在雾霾环境对于图像质量的影响。
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
图1为本申请实施例提供的图像采集设备，包括：镜头、透雾光学部件、图像传感器、图像信号处理器(Image Signal Processer，ISP)和中央处理单元(CentralProcessing Unit，CPU)。其中，镜头用于捕获待采集目标发射或反射的光，图像传感器用于将光成像。透雾光学部件(包括透雾镜头或光学滤波片)用于改变光学成像的品质，从而达到降低雾霾对图像质量的影响。透雾光学部件通过驱动部件与中央处理单元连接。中央处理单元依据图像信号处理器的控制信息，通过控制驱动部件将透雾光学部件移入或移出镜头。
图1所示的图像采集设备，通过透雾光学部件、图像信号处理器和中央处理单元对图像传感器形成的图像进行透雾处理。所述透雾处理是指，通过技术手段减轻雾霾对于图像的质量的影响，即提升在雾霾条件下获取的图像的质量。
为了便于描述，本申请实施例中，将透雾处理分为以下几种类型：
光学透雾：是指通过使用透雾光学部件(包括透雾镜头或光学滤波片)改变光学成像的品质，从而达到去除雾霾对于成像的影响，实现透雾效果。
数字透雾：是指对图像传感器形成的图像进行对比度增强处理，以增强图像的对比度。数字透雾算法可以参见现有对比度增强算法，例如，计算当前图像中的每个像素点的局部雾霾强度，根据每个像素点的局部雾霾程度进行局部对比度增强。
本申请的实施例中，雾霾强度用于表示雾霾对图像的清晰度的影响程度，雾霾强度越大，表示雾霾对图像的清晰度的影响越高，即图像因雾霾影响而越不清晰，雾霾强度越小，表示雾霾对图像的清晰度的影响越小。
图2为图像采集设备进行透雾处理的流程，包括以下步骤：
S201：图像信号处理器通过未移入透雾光学部件的镜头获取图像。
S202：图像信号处理器判断S201中获取的图像的雾霾强度是否大于第一门限值，如果是，执行S203，如果否，则结束。
S203：图像信号处理器发出移入透雾光学部件控制信息。
S204：中央处理单元依据移入透雾光学部件控制信息，通过驱动部件将透雾光学部件移入镜头。
将透雾光学部件移入镜头后，使得镜头具备了光学透雾的功能，即开启了光学透雾功能，使用移入光学部件的镜头得到的图像，即为经过光学透雾的图像。进一步的，可以再对经过光学透雾的图像进行数字透雾。即图2中还可以包括以下步骤：
S205：图像信号处理器计算通过移入透雾光学部件的镜头获取的图像的雾霾强度。
具体地，如图3所示，S205计算经过光学透雾后的图像的雾霾强度的流程包括以下步骤：
S301:判断当前图像(首次执行S301的情况下，当前图像为经过光学透雾后的图像)的尺寸是否小于预设尺寸，如果是，执行S302，如果否，执行S306。
S302：将当前图像分成N个子区域。
S303：对于每个子区域，计算该子区域的亮度均值与亮度均方差的差值，得到X。
S304：从N个子区域的X中选择最大值Xmax。
S305：将得到Xmax的子区域(记为Bmax)作为当前图像，返回执行S301。
S306：将当前图像中最大的RGB值设为实际大气光A。
S307：将得到的所有X的均值与大气光A作为雾霾强度。
利用图3所示的流程计算出光学透雾后的图像的雾霾强度，与暗通道的方式相比，准确性更高。
S206：图像信号处理器判断S205中计算出的雾霾强度是否大于第二门限值，如果是，执行S207，如果否，则结束。
S207：图像信号处理器对通过移入透雾光学部件的镜头获取的图像进行对比度增强处理。
从图2所示的流程可以看出，图1所示的图像采集设备可以对图像进行光学透雾，可选的，在光学透雾的效果不好的情况下，再对光学透雾后的图像进行数字透雾。
图1中的图像采集设备进行透雾处理的又一种流程如图4所示，与图2所示的流程的区别在于，图4中，先对图像进行数字透雾，在数字透雾的效果不好的情况下，再开启光学透雾。图4中包括以下步骤：
S401：图像信号处理器通过未移入透雾光学部件的镜头获取图像。
S402：图像信号处理器判断S401中获取的图像的雾霾强度是否大于第三门限值，如果是，执行S403，如果否，则结束。
本实施例中，使用现有的暗通道算法计算图像的雾霾强度，这里不再赘述。
S403：图像信号处理器对S401中获取的图像进行对比度增强处理。
S404：图像信号处理器计算对比度增强后的图像的雾霾强度。
S405：图像信号处理器判断S404得到的图像的雾霾强度是否大于第一门限值，如果是，执行S406，如果否，则结束。
需要说明的是，本实施例中的第一门限值，可能与图2所示的流程中的第一门限值不同。
S406：图像信号处理器发出移入透雾光学部件的控制信息。
S407：中央处理单元依据移入透雾光学部件控制信息，通过驱动部件将透雾光学部件移入镜头，以开启光学透雾。通过移入透雾光学部件的镜头获取的图像，即通过光学透雾的图像。
S408：图像信号处理器在获取光学透雾的图像后，再对光学透雾后的图像进行对比度增强处理，得到经过光学透雾和数字透雾的图像。
从图4所示的过程先对图像进行数字透雾，在数字透雾的效果不好的情况下，再开启光学透雾。目的在于，如果数字透雾能够使得图像的雾霾强度满足要求，则无需开启光学透雾。又因为透雾镜头只能得到灰度图像，所以，先进行数字透雾，再依据数字透雾后的图像的雾霾强度决定是否开启光学透雾，能够兼顾图像的质量和色彩。
图2以及图4所示的流程说明了开启光学透雾的过程，图5给出了在光学透雾开启的情况下，关闭光学透雾的流程：
S501：图像信号处理器通过移入透雾光学部件的镜头获取图像，得到经过光学透雾后的图像。
S502：图像信号处理器使用图3所示的方法计算得到S501中获取的图像的雾霾强度。
S503：图像信号处理器判断雾霾强度是否不大于第二门限值，如果是，执行S504，如果否，执行S506。
S504：图像信号处理器发出移出透雾光学部件的控制信息。
S505：中央处理单元依据移出透雾光学部件的控制信息，通过驱动部件将透雾光学部件从镜头中移出，以关闭光学透雾。
S506：图像信号处理器对S501中获取的图像进行对比度增强处理。
图5与图2所示的流程相比，图5中，在光学透雾后的图像的雾霾强度不大于第二门限值的情况下，为了保持图像的色彩，则关闭光学透雾。
需要说明的是，S503中，在雾霾强度大于第二门限值的情况下，则执行S506对经过光学透雾的图像进行光学透雾，这与图2中在S207判定为是的情况相同。图2中，在S207判定为否的情况下，结束流程，而图5中，则从镜头中移出透雾光学部件，也就是关闭光学透雾功能。因此，S504～S505可以作为S207判定为否的情况下执行的步骤。
需要强调的是，图2或图4中，流程的初始状态均为未开启光学透雾，即流程的第一步均为“图像信号处理器通过未移入透雾光学部件的镜头获取图像”。在图5中，流程的初始状态为已开启光学透雾，即流程的第一步均为“图像信号处理器通过移入透雾光学部件的镜头获取图像，得到经过光学透雾后的图像”。而在实际应用中，图1所示的图像采集设备在开机后，可能开启或未开启光学透雾的状态。也可能为开启或未开启数字透雾的状态，因此，本申请实施例中，采用设置状态机的方式，使得图2、图4及图5所示的透雾流程与图像采集设备的当前透雾状态(透雾开启或关闭)相适应。
具体地，在图像信号处理器中，预先设置以下几种状态机：【不实施任何透雾方案】、【数字透雾】和【数字透雾+光学透雾】，每种状态机均具有各自的透雾处理流程。
其中，不实施任何透雾方案是指不对图像进行透雾处理。
图6所示为图1中所示的图像信号处理器依据当前的状态机选择图像处理的流程，包括以下步骤：
确定当前的状态机。如果当前的状态机为【不实施任何透雾方案】，则进入图7所示的流程。如果当前的状态机为【数字透雾】，则进入图8所示的流程。如果当前的状态机为【数字透雾+光学透雾】，则进入图9所示的流程。
需要说明的是，图6所示的流程可以发生在图1所示的图像采集设备启动之后，也就是说，图6所示的流程适用于图像采集设备启动后，保持关机前的状态机的情况。当然，图1所示的图像采集设备也可以在启动后即默认进入上述的任何一种状态机，之后执行在当前状态机下的透雾流程。
如图7所示，在状态机为【不实施任何透雾方案】的情况下，图像信号处理器的处理流程包括以下步骤：
S701：通过未移入透雾光学部件的镜头获取图像。
S702：使用暗通道算法计算图像的雾霾强度。
S703：判断雾霾强度是否大于第一阈值，如果是，执行S704，如果否，重复执行图7所示的过程，或者结束流程。
S704：将状态机从【不实施任何透雾方案】切换到【数字透雾】。
如图8所示，在状态机为【数字透雾】的情况下，图像信号处理器的处理流程包括以下步骤：
S801：通过未移入透雾光学部件的镜头获取图像。
S802：使用暗通道算法计算图像的雾霾强度。
S803:判断雾霾强度是否大于第一阈值，如果否，执行S804，如果是，执行S805。
S804：将状态机从【数字透雾】切换到【不实施任何透雾方案】。
S805：使用预先设置的数字透雾算法对图像进行数字透雾处理。
具体地，可以预先设置多种强度的数字透雾算法，依据图像的雾霾程度选择相应的数字透雾算法。例如，可以在图像实验室中，通过暗通道透雾强度预判算法计算当前所对应的雾霾程度X，然后手动调整数字透雾的强度Y，使当前透雾效果最佳。反复循序，测得多组雾霾强度与数字透雾透雾强度的数据。通过线性非线性拟合工具(例如1stopt)对数据进行仿真模拟分析，找到两者之间的规律。这样就可以通过公式或者通过查表来确定雾霾强度与数字透雾的强度两者之间的关系。
S806：计算经过数字透雾处理后的图像的雾霾强度。
S807：判断经过数字透雾处理后的图像的雾霾强度是否大于第二阈值，如果是，执行S808，否则，重复执行图8所示的流程，或者结束处理流程。
S808：将状态机从【数字透雾】切换到【数字透雾+光学透雾】。
S809：向中央处理单元发送指示【数字透雾+光学透雾】状态机的指令。
需要说明的是，中央处理单元接收到指令后，控制驱动部件将透雾镜头或光学滤波片移入镜头中。
从图8可以看出，S801～S803、S805～S809实现的功能与图4实现的功能相同。图8中的“第一阈值”相当于图4中的“第三门限值”，“第二阈值”相当于图4中的“第一门限值”。
如图9所示，在状态机为【数字透雾+光学透雾】的情况下，图像信号处理器的处理流程包括以下步骤：
S901：通过移入透雾光学部件的镜头获取图像，得到经过光学透雾后的图像。
S902：计算经过光学透雾后的图像的雾霾强度。具体计算方法可以参见图3所示。
S903：判断经过光学透雾后的图像的雾霾强度是否大于第三阈值(相当于图2中的第二门限值)，如果否，执行S904，如果是，执行S905。
S904：将状态机从【数字透雾+光学透雾】切换到【数字透雾】，并向中央处理单元发出控制信息(例如指示【数字透雾】状态机的指令)，控制透雾光学部件从镜头中移出。
S905：使用预先设置的数字透雾算法对经过光学透雾后的图像进行数字透雾处理。
可以看出，图9所示的流程能够实现S205～S207以及图5所示的功能。
如图10所示，图7～图9给出了图像采集设备在【不实施任何透雾方案】、【数字透雾】和【数字透雾+光学透雾】这三种状态机之间的切换。即图像采集设备依据图像的雾霾强度与阈值(门限值)的关系，能够在不同的透雾处理方式之间进行切换。
需要说明的是，在图7～图9中，不包括从状态机【不实施任何透雾方案】切换到【数字透雾+光学透雾】或者【光学透雾】的过程，原因在于，光学透雾通过透雾镜头或光学滤波片实现，因此，光学透雾后的图像为非彩色图像，即通过对图像色彩的限制，换取透雾效果。所以，本申请的实施例为了兼顾图像的色彩和透雾效果，没有包括从状态机【不实施任何透雾方案】切换到【数字透雾+光学透雾】或者【光学透雾】的过程。
当然，如果仅从透雾效果考虑，本申请的实施例中也可以包括从状态机【不实施任何透雾方案】切换到【数字透雾+光学透雾】或者【光学透雾】的过程(例如图2所示)。
在上述实施例中，各个阈值(门限值)的设置过程如下：
确定第一阈值(第三门限值)：在图像实验室，通过雾霾模拟装置来模拟不同强度的雾霾。将透雾方案在【不实施任何透雾方案】和【数字透雾】相互切换时，发现对画面的视觉效果影响不大时，此时的雾霾强度可暂定为第一阈值。
确定第二阈值(第一门限值)：在图像实验室，通过雾霾模拟装置来模拟不同强度的雾霾。将透雾方案从【数字透雾】切换至【数字透雾+光学透雾】时，发现对画面的视觉效果影响不大时，此时的雾霾强度可暂定为第二阈值。
确定第三阈值(第二门限值)：在图像实验室，通过雾霾模拟装置来模拟不同强度的雾霾。将透雾方案从【数字透雾+光学透雾】切换至【数字透雾】时，发现对画面的视觉效果影响不大时，此时的雾霾强度可暂定为第三阈值。
由于以上确定过程是通过肉眼视觉来判定，主观性太强导致其具有不稳定性和不可靠性，因此可通过多人同时判定来减小其随机度与差错率。且该阈值的设定是基于实验室仿真模拟环境，实验室环境与雾霾天气真实环境存在差异，后期可在实际场景中经过多轮测试，对阈值进行微调。

Claims (6)

1.一种图像处理方法，其特征在于，包括：
计算第一图像的雾霾强度；
在所述第一图像的雾霾强度大于第一门限值的情况下，发出控制信息，所述控制信息用于控制透雾光学部件移入镜头；
还包括：
通过移入所述透雾光学部件的镜头获取第二图像；
在所述第二图像的雾霾强度大于第二门限值的情况下，对所述第二图像进行对比度增强处理，所述第二图像的雾霾强度依据所述第二图像中的多个子区域的大气光的均值与实际大气光的比值确定；
所述第二图像的雾霾强度的计算过程包括：
将目标图像中最大的RGB值设为实际大气光A；
将得到的所有X的均值与实际大气光A的比值作为所述第二图像的雾霾强度；
其中，所述目标图像和X的获取过程包括：
将所述第二图像作为初始的当前图像，并循环执行以下过程，直到得到所述目标图像，所述目标图像为尺寸等于或小于预设尺寸的当前图像：将当前图像分成N个子区域，对于每个子区域，计算该子区域的亮度均值与亮度均方差的差值，得到X，从N个子区域的X中选择最大值Xmax，将得到Xmax的子区域作为当前图像。
2.根据权利要求1所述的方法，其特征在于，在所述计算第一图像的雾霾强度之前，还包括：
使用未移入所述透雾光学部件的镜头获取第三图像；
在所述第三图像的雾霾强度大于第三门限值的情况下，通过对所述第三图像进行对比度增强处理，得到所述第一图像。
3.根据权利要求1所述的方法，其特征在于，所述透雾光学部件包括：
透雾镜头或者光学滤波片。
4.一种图像采集设备，其特征在于，包括：
镜头、透雾光学部件、图像信号处理器和中央处理单元；
所述透雾光学部件通过驱动部件与所述中央处理单元连接；
所述图像信号处理器用于计算第一图像的雾霾强度，并在所述第一图像的雾霾强度大于第一门限值的情况下，发出控制信息；
所述中央处理单元用于依据所述控制信息，通过控制所述驱动部件将所述透雾光学部件移入所述镜头；
所述图像信号处理器还用于：
在通过移入所述透雾光学部件的镜头获取的第二图像的雾霾强度大于第二门限值的情况下，对所述第二图像进行对比度增强处理，所述第二图像的雾霾强度依据所述第二图像中的多个子区域的大气光的均值与实际大气光的比值确定；
所述图像信号处理器还用于：
将目标图像中最大的RGB值设为实际大气光A；
将得到的所有X的均值与实际大气光A的比值作为所述第二图像的雾霾强度；
其中，所述目标图像和X的获取过程包括：
将所述第二图像作为初始的当前图像，并循环执行以下过程，直到得到所述目标图像，所述目标图像为尺寸等于或小于预设尺寸的当前图像：将当前图像分成N个子区域，对于每个子区域，计算该子区域的亮度均值与亮度均方差的差值，得到X，从N个子区域的X中选择最大值Xmax，将得到Xmax的子区域作为当前图像。
5.根据权利要求4所述的设备，其特征在于，所述图像信号处理器还用于：
在所述计算第一图像的雾霾强度之前，在使用未移入所述透雾光学部件的镜头获取的第三图像的雾霾强度大于第二门限值的情况下，通过对所述第三图像进行对比度增强处理，得到所述第一图像。
6.根据权利要求4所述的设备，其特征在于，所述透雾光学部件包括：
透雾镜头或者光学滤波片。
CN201610851427.1A 2016-09-26 2016-09-26 图像采集设备及图像处理方法 Active CN107872608B (zh)

Priority Applications (4)

Application Number Priority Date Filing Date Title
CN201610851427.1A CN107872608B (zh) 2016-09-26 2016-09-26 图像采集设备及图像处理方法
PCT/CN2017/098303 WO2018054189A1 (zh) 2016-09-26 2017-08-21 图像采集设备及图像处理方法
EP17852258.7A EP3468167A4 (en) 2016-09-26 2017-08-21 IMAGE CAPTURE DEVICE AND IMAGE PROCESSING METHOD
US16/361,024 US10911644B2 (en) 2016-09-26 2019-03-21 Device and method for improving image quality

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201610851427.1A CN107872608B (zh) 2016-09-26 2016-09-26 图像采集设备及图像处理方法

Publications (2)

Publication Number Publication Date
CN107872608A CN107872608A (zh) 2018-04-03
CN107872608B true CN107872608B (zh) 2021-01-12

Family

ID=61690163

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201610851427.1A Active CN107872608B (zh) 2016-09-26 2016-09-26 图像采集设备及图像处理方法

Country Status (4)

Country Link
US (1) US10911644B2 (zh)
EP (1) EP3468167A4 (zh)
CN (1) CN107872608B (zh)
WO (1) WO2018054189A1 (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI674804B (zh) * 2018-03-15 2019-10-11 國立交通大學 視訊除霧處理裝置及方法
WO2023028769A1 (zh) * 2021-08-30 2023-03-09 Oppo广东移动通信有限公司 成像模组、成像系统、图像处理方法及终端
CN114565519A (zh) * 2022-01-13 2022-05-31 深圳市文立科技有限公司 一种图像透雾方法、装置和存储介质

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104702920A (zh) * 2015-04-01 2015-06-10 无锡桑尼安科技有限公司 基于cmos图像采集对电能表进行自动抄表的方法
CN104732223A (zh) * 2015-04-08 2015-06-24 孔涛 横越实线并道的不规范车辆检测方法
CN104732700A (zh) * 2015-04-02 2015-06-24 无锡桑尼安科技有限公司 基于空中航拍的火情报警系统
CN104766307A (zh) * 2015-03-13 2015-07-08 青岛海信电器股份有限公司 一种图像处理的方法及设备
CN105306875A (zh) * 2014-05-28 2016-02-03 天津兴远达科技有限公司 一种具有方向识别功能的智能监控设备

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6912321B2 (en) * 2002-03-22 2005-06-28 Eastman Kodak Company Method of compensating a digital image for the effects of flare light
US20110043603A1 (en) * 2006-01-18 2011-02-24 Technion Research & Development Foundation Ltd. System And Method For Dehazing
JP4784452B2 (ja) * 2006-09-12 2011-10-05 株式会社デンソー 車載霧判定装置
JP4241834B2 (ja) * 2007-01-11 2009-03-18 株式会社デンソー 車載霧判定装置
US8284276B2 (en) * 2009-01-08 2012-10-09 Panasonic Corporation Zoom lens system, imaging device and camera
CN103152548A (zh) * 2011-12-06 2013-06-12 洛阳汇丰金鑫信息技术有限公司 环境自适应透雾成像设备
JP6284408B2 (ja) * 2014-04-03 2018-02-28 オリンパス株式会社 画像処理装置、撮像装置、判定方法、駆動方法、撮像方法およびプログラム
RU2658874C1 (ru) * 2014-06-12 2018-06-25 ЭЙЗО Корпорайшн Устройство удаления тумана и способ формирования изображений
SG11201801781RA (en) * 2015-09-18 2018-04-27 Hitachi Int Electric Inc Image-processing device
KR101713684B1 (ko) * 2016-09-21 2017-03-08 주식회사 에스카 시정상태의 변화에 강인한 복합 필터링 방식의 감시카메라 및 그것이 적용된 영상감시시스템

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105306875A (zh) * 2014-05-28 2016-02-03 天津兴远达科技有限公司 一种具有方向识别功能的智能监控设备
CN104766307A (zh) * 2015-03-13 2015-07-08 青岛海信电器股份有限公司 一种图像处理的方法及设备
CN104702920A (zh) * 2015-04-01 2015-06-10 无锡桑尼安科技有限公司 基于cmos图像采集对电能表进行自动抄表的方法
CN104732700A (zh) * 2015-04-02 2015-06-24 无锡桑尼安科技有限公司 基于空中航拍的火情报警系统
CN104732223A (zh) * 2015-04-08 2015-06-24 孔涛 横越实线并道的不规范车辆检测方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
三种雾透技术分析;姚静;《安防知识网》;20151216;第3-4页 *
姚静.三种雾透技术分析.《安防知识网》.2015,1-5页. *

Also Published As

Publication number Publication date
CN107872608A (zh) 2018-04-03
WO2018054189A1 (zh) 2018-03-29
EP3468167A1 (en) 2019-04-10
US10911644B2 (en) 2021-02-02
EP3468167A4 (en) 2019-06-19
US20190222722A1 (en) 2019-07-18

Similar Documents

Publication Publication Date Title
KR101926490B1 (ko) 이미지 처리 장치 및 방법
US8885091B2 (en) Imaging device and distance information detecting method
EP3896643A1 (en) Image processing apparatus and control method thereof
CN107872608B (zh) 图像采集设备及图像处理方法
CN107358593B (zh) 成像方法和装置
US20120320239A1 (en) Image processing device and image processing method
CN104539939A (zh) 一种基于移动终端的镜头清洁检测方法及检测系统
CN104038666B (zh) 一种视频遮挡检测方法和装置
EP3654236A2 (en) Information processing apparatus, control method of information processing apparatus, storage medium, and imaging system
KR20190122807A (ko) 비디오 콘텐츠에서의 광학적 흐름 및 센서 입력 기반의 배경 감산
US20120300035A1 (en) Electronic camera
JP6531542B2 (ja) 画像処理システム、画像処理装置、撮像装置、画像処理方法、プログラムおよび記録媒体
JP2012168936A (ja) 動画処理装置及び動画処理方法
TW202004660A (zh) 基於前景影像的背景虛化方法與電子裝置
CN106325695A (zh) 一种终端的智能显示方法、装置及终端
CN112770042A (zh) 图像处理方法及装置、计算机可读介质、无线通信终端
CN106033597A (zh) 图像去雾的方法和设备
TWI528163B (zh) 省電監控系統及方法
US20160306159A1 (en) Microscopic image controller device for a microscope, microscope, and microscoping method
US9094581B2 (en) Imaging device and distance information detecting method
KR101491963B1 (ko) 모바일 단말의 아웃 포커싱 영상 통화 방법 및 장치
CN101753854A (zh) 图像通讯方法及使用其的电子装置
KR101737260B1 (ko) 영상간 피사계 심도 차이에서 깊이를 추출하는 카메라 시스템 및 그 동작 방법
CN113706402A (zh) 神经网络训练方法、装置及电子设备
CN108932847B (zh) 一种采集信号灯图像的方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant