CN111583125B - 图像处理装置、图像处理方法及计算机可读存储介质 - Google Patents

图像处理装置、图像处理方法及计算机可读存储介质 Download PDF

Info

Publication number
CN111583125B
CN111583125B CN202010092314.4A CN202010092314A CN111583125B CN 111583125 B CN111583125 B CN 111583125B CN 202010092314 A CN202010092314 A CN 202010092314A CN 111583125 B CN111583125 B CN 111583125B
Authority
CN
China
Prior art keywords
image
captured image
pixel
component
range
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010092314.4A
Other languages
English (en)
Other versions
CN111583125A (zh
Inventor
伊藤靖浩
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Inc filed Critical Canon Inc
Publication of CN111583125A publication Critical patent/CN111583125A/zh
Application granted granted Critical
Publication of CN111583125B publication Critical patent/CN111583125B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/73—Deblurring; Sharpening
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/20—Image enhancement or restoration using local operators
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/70—Denoising; Smoothing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/90—Determination of colour characteristics
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04847—Interaction techniques to control parameter settings, e.g. interaction with sliders or dials
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00—Indexing scheme for image data processing or generation, in general
    • G06T2200/24—Indexing scheme for image data processing or generation, in general involving graphical user interfaces [GUIs]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20092—Interactive image processing based on input by user
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20224—Image subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30181—Earth observation
    • G06T2207/30192—Weather; Meteorology

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Processing (AREA)
  • Investigating Or Analysing Materials By Optical Means (AREA)
  • Studio Devices (AREA)

Abstract

本发明公开一种图像处理装置、图像处理方法及计算机可读存储介质。图像处理装置包括：第一获取单元，被配置为获取根据对拍摄图像的用户操作而指定的大气的透射率的范围；以及生成单元，被配置为基于所述范围生成抑制了大气中的微粒成分对所述拍摄图像的影响的校正图像。

Description

图像处理装置、图像处理方法及计算机可读存储介质
技术领域
本发明涉及一种图像处理装置、图像处理方法和非暂时性计算机可读存储介质，尤其涉及一种用于提高由于大气中的微粒成分的影响而使可视性降低的拍摄图像的质量的技术。
背景技术
在监视照相机等领域中，由于存在于照相机与被摄体之间的微粒成分(例如，雾)而导致可视性下降，拍摄图像的质量变差。作为校正可视性由于诸如雾等微粒成分而下降的所拍摄图像的技术(雾/霾去除技术)，US-2011-0188775已被提出。在US-2011-0188775中，针对各个关注像素计算关注像素周围预定范围中的RGB通道内的最小值，并利用最小值图像来校正对比度以提高可视性。在US-2016-0328832中，基于输入视频中的直方图来确定用于去除雾/霾的参数。
在US-2011-0188775中描述的技术中，对于整个图像，唯一保持执行图像处理时的参数。然而，有时优选在将雾/霾去除技术应用于相对短距离的被摄体的情况与将该技术应用于长距离的被摄体的情况之间改变参数。如果使用针对长距离被摄体的参数执行处理，则对于短距离被摄体的效果可能会变得过强，并且图像可能会变得不自然。在US-2016-0328832中描述的技术中，基于整个图像中的直方图来确定参数，从而不能根据用户的指定来确定参数。
发明内容
本发明的目的在于提供一种能够在包括大气中的微粒成分的影响的拍摄图像中调整抑制该影响的范围、并调整效果的强度的技术。
根据本发明的第一方面，提供了一种图像处理装置，包括：第一获取单元，被配置为获取根据对拍摄图像的用户操作而指定的大气的透射率的范围；以及生成单元，被配置为基于所述范围生成抑制了大气中的微粒成分对所述拍摄图像的影响的校正图像。
根据本发明的第二方面，提供了一种图像处理方法，包括：获取根据对拍摄图像的用户操作而指定的大气的透射率的范围；以及基于所述范围生成抑制了大气中的微粒成分对所述拍摄图像的影响的校正图像。
根据本发明的第三方面，提供了一种存储计算机程序的非暂时性计算机可读存储介质，所述计算机程序用于促使计算机用作：第一获取单元，被配置为获取根据对拍摄图像的用户操作而指定的大气的透射率的范围；以及生成单元，被配置为基于所述范围生成抑制了大气中的微粒成分对所述拍摄图像的影响的校正图像。
根据以下参照附图对示例性实施方式的详细描述，本发明的其他特征将变得清楚。
附图说明
图1是示出图像处理装置的硬件构成的示例的框图；
图2是示出图像处理装置100的功能构成的示例的框图；
图3是示出处理单元202的功能构成的示例的框图；
图4是图像处理装置100的整体处理的流程图；
图5是示出步骤S404中的处理的细节的流程图；
图6是用于说明步骤S502的图；
图7是示出步骤S501中的处理的细节的流程图；
图8是示出步骤S503中的处理的细节的流程图；
图9是示出步骤S504中的处理的细节的流程图；
图10A至图10D是示出滤波处理的细节的图；
图11是示出步骤S505中的处理的细节的流程图；
图12是示出步骤S506中的处理的细节的流程图；
图13是示出GUI的显示示例的图；
图14是图像处理装置100的整体处理的流程图；
图15是示出步骤S1402中的处理的细节的流程图；以及
图16是示出步骤S1502中的处理的细节的流程图。
具体实施方式
在下文中，将参考附图详细描述实施方式。注意，以下实施方式并非旨在限制要求保护的发明的范围。在实施方式中描述了多个特征，但是并不限制为要求所有这些特征的发明，可以适当地组合多个这样的特征。此外，在附图中，相同的附图标记被赋予相同或相似的配置，并且省略其重复描述。
[第一实施方式]
<第一实施方式的概述>
首先，将总体上描述第一实施方式。在该实施方式中，与没有大量产生微粒成分的场景相比，产生大量诸如雾等微粒成分的场景的拍摄图像(包含大气中的微粒成分的影响的拍摄图像)的对比度低。这是因为，当光通过大气时，其被微粒成分散射。已知两种类型的光散射。一种是米氏散射(Mie scattering)，其是由诸如尘土、灰尘或水蒸气等与光的波长相比较大的粒子引起的。米氏散射的发生与光的波长无关。当发生米氏散射时，远处的被摄体的对比度下降，并且该物体看起来是白色的。另一种是瑞利散射(Rayleighscattering)，其是由诸如大气分子等与光的波长相比较小的粒子引起的。在瑞利散射中，较短波长的光被散射得更多。
在该实施方式中，执行去除处理以抑制大气中的微粒成分对拍摄图像的影响。该去除处理称为雾/霾去除、霾去除等。在本实施方式中，根据用户操作来在场景中设置抑制微粒成分的影响的距离范围。基于设定的距离范围，将米氏散射成分和瑞利散射成分估计为拍摄图像的微粒成分。估计的米氏散射成分和瑞利散射成分被分别抑制并重新构成，从而获得其中微粒成分的影响被抑制的拍摄图像。
更具体地，针对拍摄的图像(对比度被散射光降低的图像)估计大气光成分，该大气光成分是被大气散射的光成分。在该实施方式中，假定拍摄图像是RGB图像(具有R、G和B平面的拍摄图像)，其中各个像素的像素值包括R、G和B成分的3个像素值。然后，针对拍摄图像的各个颜色的平面，获得以关注像素为中心的图像区域中的较低像素值的集合(RGB较低像素值图像)，以及整个平面中的较低像素值的集合(较低像素值图像)。利用改变除等于距离范围的像素值范围之外的较低像素值图像和RGB较低像素值图像的值的结果，来估计两种类型的散射成分，即米氏散射成分和瑞利散射成分。最后，合成这些散射成分。
<图像处理装置的构成示例>
接下来，将参照图1的框图描述根据本实施方式的图像处理装置的硬件构成的示例。如图1所示，根据本实施方式的图像处理装置100包括CPU 101、RAM 102、ROM 103、HDD(硬盘驱动器)I/F(接口)104、HDD 105、输入I/F 106、输出I/F 107和系统总线108。
CPU 101利用存储在RAM 102和ROM 103中的计算机程序和数据来执行各种处理。通过这些处理，CPU 101控制整个图像处理装置100的操作，并执行或控制在以下描述中由图像处理装置100执行的各个处理。
RAM 102具有用于存储从ROM 103和HDD 105加载的计算机程序和数据以及经由输入I/F 106从外部存储器109和摄像单元111接收的数据的区域。此外，RAM 102具有当CPU101执行各种处理时使用的工作区域。以这种方式，RAM 102可以适当地提供各种区域。ROM103存储图像处理装置100的设置数据、启动程序等。
HDD I/F 104是诸如串行ATA(SATA)的接口，并且用于将用作二次存储设备的HDD105连接到系统总线108。CPU 101经由HDD I/F 104从/向HDD 105读取/写入信息。
HDD 105是大容量信息存储设备的示例。HDD 105保存OS(操作系统)以及用于使CPU 101执行或控制在以下描述中由图像处理装置100执行的各个处理的计算机程序和数据。保存在HDD 105中的数据包括在以下描述中被图像处理装置100视为已知信息的信息。在CPU 101的控制下，保存在HDD 105中的计算机程序和数据经由HDD I/F 104适当地加载到RAM 102，并由CPU 101处理。注意，二次存储设备不限于HDD 105，可以是诸如光盘驱动器等存储设备。
输入I/F 106是诸如USB或IEEE1394的串行总线接口。图像处理装置100经由输入I/F 106连接到操作单元112、外部存储器109和摄像单元111。
操作单元112包括诸如键盘、鼠标和触摸面板屏的用户界面。用户可以操作操作单元112以经由输入I/F 106将各种指令输入到CPU 101。
外部存储器109是诸如硬盘驱动器、存储卡、CF卡，SD卡或USB存储器之类的存储介质，可以保存由图像处理装置100处理的数据。CPU 101可以经由输入I/F 106从/向外部存储器109读取/写入信息。
摄像单元111拍摄运动图像或静止图像，并将运动图像或静止图像的每一帧的图像输出为拍摄图像。CPU 101经由输入I/F 106获得从摄像单元111输出的拍摄图像，并将所获得的拍摄图像存储在RAM 102或HDD 105中。
输出I/F 107是诸如DVI或HDMI的视频输出接口。图像处理装置100经由输出I/F107连接到显示单元210。显示单元210具有液晶屏、触摸面板屏等，并可以将CPU 101的处理结果显示为图像、字符等。
系统总线108是用于各种数据的传送路径。所有CPU 101、RAM 102、ROM 103、HDDI/F 104、输入I/F 106和输出I/F 107均经由系统总线108相互连接。
注意，根据本实施方式的图像处理装置的构成不限于图1所示的构成。例如，摄像单元111和图像处理装置100可以一体化。在这种情况下，与摄像单元111一体化的图像处理装置100用作例如配备有照相机的智能手机或数字照相机等具有摄像功能的计算机装置。
图2是示出图像处理装置100的功能构成的示例的框图。图3是示出图2中的处理单元202的功能构成的示例的框图。除了被称为存储单元的功能单元以外的功能单元(执行功能单元)将被描述为处理的主要组成部分。然而，实际上，执行功能单元的功能是通过CPU101执行用于使CPU 101实施执行功能单元的功能的计算机程序执行来实施的。在图2和图3中被称为存储单元的功能单元可以通过诸如RAM 102、ROM 103、HDD 105和外部存储器109之类的存储设备来实施。注意，图2和图3中所示的功能单元可以通过硬件来实施。
<图像处理装置100的整体处理>
将参照图4的流程图描述由图像处理装置100执行的、用以生成并输出抑制了拍摄图像中的“大气中的微粒成分的影响”的拍摄图像的处理。
在步骤S401中，获取单元201获取从摄像单元111发送的拍摄图像，并将所获取的拍摄图像存储在存储单元204中。注意，拍摄图像的获取源不限于特定的获取源。
在步骤S402中，处理单元202使显示单元110显示步骤S401中获取的拍摄图像和用于指定抑制了微粒成分的影响的距离范围的GUI(图形用户界面)。
图13示出了GUI的显示示例。GUI 1301包括：滑动条1302，其用于指定抑制微粒成分的影响的距离范围的一端(处理开始距离)；以及滑动条1303，其用于指定另一端(处理结束距离)。
已知处理开始距离和处理结束距离几乎与透射率分布成反比。即，随着距离变长，透射率变低，而随着距离变短，透射率变高。因此，将抑制了微粒成分的影响的距离范围内的最短距离(透射率上限t_th_max)指定为处理开始距离。将抑制了微粒成分的影响的距离范围内的最长距离(透射率下限t_th_min)指定为处理结束距离。
滑块1302a定位在滑动条1302上。用户可以操作操作单元112以在滑动条1302上左右移动滑块1302a。当滑块1302a更靠近滑动条1302的左端时，将较小的值设置为t_th_max，而随着其更靠近右端，将较大的值设置为t_th_max。
滑块1303a位于滑动条1303上。用户可以操作操作单元112以在滑动条1303上左右移动滑块1303a。当滑块1303a更靠近滑动条1303的左端时，将较小的值设置为t_th_min，而随着其更靠近右端，将较大的值设置为t_th_min。
在步骤S403中，处理单元202接受用户操作操作单元112以左右移动滑块1302a和1303a的操作输入。假设用户操作操作单元112并输入指令以完成t_th_max和t_th_min的设置。根据该输入，处理单元202在存储单元316中存储与滑块1302a的当前位置相对应的t_th_max和与滑块1303a的当前位置相对应的t_th_min。
注意，用于设置抑制微粒成分的影响的距离范围的一端和另一端的方法不限于特定方法。例如，GUI的构成不限于图13所示的构成，并且GUI可以允许直接输入t_th_max和t_th_min的各个值。可替代地，例如，可以通过语音输入来设置距离范围的一端和另一端。
在步骤S404中，处理单元202执行雾/霾去除处理，作为用于抑制微粒成分对步骤S401中存储在存储单元204中的拍摄图像的影响的处理。然后，处理单元202将经过雾/霾去除处理的拍摄图像存储在存储单元205中。稍后将描述步骤S404中的处理的细节。
在步骤S405中，输出单元203经由HDD I/F 104将步骤S404中存储在存储单元205中的拍摄图像输出到HDD 105，并且拍摄图像被保存在HDD 105中。经过雾/霾去除处理的拍摄图像的输出目的地不限于HDD 105。
<雾/霾去除处理：步骤S404>
将参照图5的流程图说明步骤S404中的雾/霾去除处理的细节。注意，雾/霾去除处理可以被视为用于去除微粒成分的影响的处理或用于抑制微粒成分的影响的处理。
在步骤S501中，计算单元301基于存储在存储单元204中的拍摄图像来估计作为被大气散射的光成分的大气光成分。计算单元301将估计的大气光成分存储在存储单元309中。稍后将描述步骤S501中的处理的细节。
在步骤S502中，计算单元302从存储在存储单元204中的拍摄图像生成较低像素图像，并将所生成的较低像素图像存储在存储单元310中。稍后将描述步骤S502中的处理细节。
在步骤S503中，校正处理单元304获得存储在存储单元309中的大气光成分、存储在存储单元310中的较低像素图像以及存储在存储单元316中的t_th_max和t_th_min来作为第一校正信息。校正处理单元304通过使用第一校正信息校正存储在存储单元204中的拍摄图像来生成校正图像(基于较低像素图像的校正图像)。然后，校正处理单元304将所生成的校正图像存储在存储单元312中。稍后将描述步骤S503中的处理的细节。
在步骤S504中，校正处理单元305获得存储在存储单元204中的拍摄图像、存储在存储单元309中的大气光成分以及存储在存储单元316中的t_th_max和t_th_min作为第二校正信息。校正处理单元305通过使用第二校正信息校正存储在存储单元204中的拍摄图像，来生成校正图像(基于RGB较低像素图像的校正图像)。校正处理单元305将所生成的校正图像存储在存储单元313中。稍后将描述步骤S504中的处理的细节。
在步骤S505中，计算单元306通过使用存储在存储单元204中的拍摄图像和存储在存储单元312中的校正图像来生成与存储在存储单元204中的拍摄图像的米氏散射成分等同的米氏散射成分图像。计算单元306将所生成的米氏散射成分图像存储在存储单元314中。稍后将描述计算步骤S505中的处理的细节。
在步骤S506中，计算单元307通过使用存储在存储单元204中的拍摄图像、存储在存储单元313中的校正图像以及存储在存储单元314中的米氏散射成分图像，来生成与拍摄图像的瑞利散射成分等同的瑞利散射成分图像。计算单元307将所生成的瑞利散射成分图像存储在存储单元315中。稍后将描述步骤S506中的处理的细节。
在步骤S507中，合成处理单元308通过使用存储在存储单元313中的校正图像、存储在存储单元314中的米氏散射成分图像以及存储在存储单元315中的瑞利散射成分图像执行图像合成来生成合成图像。合成处理单元308将生成的合成图像作为已经受去除处理的拍摄图像存储在存储单元205中。
<大气光成分的估计：步骤S501>
将参照图7的流程图描述步骤S501中的大气光成分估计处理的细节。在大气光成分估计处理中，指定拍摄图像(RGB)的亮度图像(Y图像)中的最大亮度值，并且将各自具有等于或大于最大亮度值的99％的亮度值的像素的位置指定为基准像素位置候选。通过鲁棒估计处理从基准像素位置候选中确定要被参考以估计大气光的像素位置(基准像素位置)。基于拍摄图像中基准像素位置的像素值来估计大气光成分。
在步骤S701中，计算单元301获得存储在存储单元204中的拍摄图像。在步骤S702中，计算单元301将在步骤S701中获得的拍摄图像转换为亮度图像。该转换采用例如一般的RGB-Y颜色转换等式。
在步骤S703中，计算单元301在通过步骤S702中的转换所获得的亮度图像中指定最大亮度值。然后，计算单元301将各自具有等于或大于最大亮度值的指定比率(在本实施方式中为99％)的亮度值的像素的位置指定为基准像素位置候选。尽管在本实施方式中将“各自具有等于或大于最大亮度值的99％的亮度值的像素的位置”指定为基准像素位置候选，但是可以使用“99％”以外的数值。
在步骤S704中，计算单元301使用诸如RANSAC的鲁棒估计来确定要参考的基准像素位置，以从步骤S703中指定的基准像素位置候选来估计大气光成分。这是因为期望要选择作为大气光的像素位置首先是天空部分的像素位置，并且期望从要选择的像素位置的候选中排除图像中除了天空以外的高亮度部分。通常，除了天空以外的高亮度部分占图像的比率低，并且高亮度部分的亮度倾向于与天空颜色不同。因此，执行鲁棒估计以将高亮度部分视为异常值并将其排除。此时，也可以限制像素位置的数量，以免出现以下情况：当图像中的天空颜色逐渐转换时，即使是单个天空也具有不同的像素值，并且如果参照的像素过多，则即使是颜色改变的天空部分也要进行估计。
在步骤S705中，计算单元301选择步骤S704中确定的基准像素位置之一作为选择的基准像素位置。在步骤S705中，例如，从步骤S704中确定的基准像素位置中，选择最接近拍摄图像/亮度图像的左上角的基准像素位置作为选择的基准像素位置。计算单元301将稍后使用的变量SR、SG和SB初始化为0。
在步骤S706中，计算单元301获得所拍摄图像中的所选基准像素位置的像素值R、G和B，并计算SR＝SR+R，SG＝SG+G和SB＝SB+B。SR是目前为止选择为所选基准像素位置的基准像素位置处的R成分的像素值的总和。SG是目前为止被选择为所选基准像素位置的基准像素位置处的G成分的像素值的总和。SB是到目前为止被选择为所选基准像素位置的基准像素位置处的B成分的像素值的总和。
在步骤S707中，计算单元301确定步骤S704中确定的所有基准像素位置是否都被选择为所选基准像素位置。如果计算单元301确定步骤S704中确定的所有基准像素位置都被选择为所选基准像素位置，则处理进入步骤S709。如果计算单元301确定步骤S704中确定的基准像素位置中还剩下未被选择为所选基准像素位置的基准像素位置，则处理进入步骤S708。
在步骤S708中，计算单元301从步骤S704中确定的基准像素位置中选择未被选择的基准像素位置之一作为所选基准像素位置。例如，在步骤S708中，计算单元301选择与先前选择的基准像素位置右侧相邻的基准像素位置作为所选基准像素位置。如果先前选择的基准像素位置的右侧没有相邻的基准像素位置，则计算单元301选择较先前选择的基准像素位置位于图像向下方向上的基准像素位置中的最上方且最靠近左端的基准像素位置，作为所选基准像素位置。之后，处理进入步骤S706。
在步骤S709中，计算单元301根据等式(1)和(2)、使用上述处理中获得的SR、SG和SB来计算较低像素图像的大气光成分ARGB和大气光成分值AY。
ARGB＝(SR/n，SG/n，SB/n)...(1)
AY＝(SR/n+SG/n+SB/n)/3...(2)
其中，n是在步骤S704中确定的基准像素位置的总数。注意，等式(1)和(2)仅是示例，可以使用其他等式来计算较低像素图像的大气光成分ARGB和大气光成分值AY。例如，SR/n、SG/n和SB/n中的最小值可以用作AY，而不是使用等式(2)。
计算单元301在存储单元309中存储根据等式(1)计算的大气光成分值ARGB和根据等式(2)计算的较低像素图像的大气光成分值AY。
<较低像素图像的生成：步骤S502>
将通过例示图6来描述步骤S502中的较低像素图像生成处理的细节。图6的左侧是示出由拍摄图像中的关注像素P5和关注像素P5周围的8个像素P1至P4和P6至P9构成的图像区域的视图。像素Pm(m＝1至9)的像素值将被称为(Rm、Gm、Bm)。假设像素P1至P9的R、G和B像素值具有以下关系：R5>B3>R2>...>R4>B1>G9>G7。
图6的右侧是示出在与拍摄图像的尺寸相同(纵向和横向的像素数量与拍摄图像相同)的较低像素图像中与关注像素P5相对应的位置处的像素T1以及像素T1周围的像素的视图。此时，如等式(3)所示，通过除像素P1至P9的R、G和B像素值中的最低像素值G7之外的3个较低像素值R4、B1和G9的加权平均值来计算像素T1的像素值T1。
T1＝(2×R4+4×B1+2×G9)/8...(3)
由于不是采用最小值而是采用加权平均值，因此可以抑制传感器噪声对较低像素图像的强烈影响。即，与采用最小值的情况相比，可以抑制处理后的图像中生成受到传感器噪声强烈影响的像素。
该处理可以确定较低像素图像中与拍摄图像中的关注像素P5相对应的像素T1的像素值。将拍摄图像中的各个像素设置为关注像素P5，并且执行上述处理。可以确定较低像素图像中与拍摄图像中的各个像素相对应的像素的像素值，因此可以生成较低像素图像。
注意，等式(3)是用于确定较低像素图像中的像素值的计算等式的示例，可以使用另一计算等式确定较低像素图像中的像素值。例如，从第二最低像素值起的4个较低像素值的平均值可以被计算为像素值T1。在该实施方式中，与关注像素相邻的8个像素被用作关注像素周围的像素，但是周围像素不限于8个像素。例如，周围像素可以是总共24个像素，包括8个像素周围的16个像素，或者更多的像素可以用作周围像素。
<基于较低像素图像生成校正图像：步骤S503>
将参考图8的流程图描述步骤S503中的处理的细节。在步骤S801中，校正处理单元304获得存储在存储单元309中的大气光成分AY、存储在存储单元310中的较低像素图像以及存储在存储单元316中的t_th_max和t_th_min。
在步骤S802中，校正处理单元304通过使用步骤S801中获得的大气光成分AY对步骤S801中获得的较低像素图像进行校正来生成校正后的较低像素图像。根据例如等式(4)，使用大气光成分AY来校正较低像素图像：
lower_A＝Tin_lower/AY...(4)
其中，Tin_lower是在步骤S801中获得的较低像素图像，lower_A是通过使用步骤S801中获得的大气光成分AY对在步骤S801中获得的较低像素图像进行校正而生成的校正后的较低像素图像。等式(4)表示通过将较低像素图像Tin_lower中的各个像素的像素值除以AY而获得的图像用作校正后的较低像素图像lower_A。
在步骤S803中，校正处理单元304从步骤S802中生成的校正后的较低像素图像lower_A中生成透射率分布Tlower。令lower_A(x，y)为校正后的较低像素图像lower_A中的像素位置(x，y)的像素值，根据以下等式(5)计算对应于透射率分布Tlower中的像素位置(x，y)的值tlower(x，y)：
tlower(x，y)＝1.0-ω(lower_A(x，y))...(5)
其中，ω为调整系数，例如为0.9。ω是为了避免在仅由诸如雾等微粒散射的光形成目标像素的透射光时透射率变为0、微粒去除处理后的像素值变为0这一情况而设定的值。ω可以不是以上所述的0.9。可以通过对所有x和y值执行等式(5)的计算来确定透射率分布tlower中与所有x和y值对应的值。
在步骤S804中，校正处理单元304通过使用存储在存储单元204中的拍摄图像以及在步骤S801中获得的t_th_max和t_th_min来使步骤S803中获得的透射率分布tlower成形(校正)。
这是因为透射率分布需要符合诸如拍摄图像中包括的结构之类的被摄体形状，并且处理范围被限制为由t_th_max和t_th_min定义的距离范围。另外，这是因为通过直至步骤S803为止的处理，透射率分布仅包括拍摄图像中的粗略的被摄体形状信息，需要精确地分离被摄体形状。更具体地说，使用已知的边缘保持滤波器(edge-preserving filter)。
对于未包括在由t_th_max和t_th_min定义的距离范围内的像素的区域，不执行用于抑制微粒的影响的处理。在与拍摄图像的像素位置(x，y)对应的tlower(x，y)值中，满足tlower(x，y)>t_th_max或tlower(x，y)<t_th_min的tlower(x，y)值被更新为“1”(表示非透射的值)。即，将与拍摄图像的像素位置(x，y)相对应的tlower(x，y)值中与距离范围的外侧相对应的值更新为“1”。
在该实施方式中，在滤波处理之后，使用t_th_max和t_th_min来校正透射率分布。然而，可以在使用t_th_max和t_th_min校正了透射率分布之后执行滤波处理。
在步骤S805中，校正处理单元304通过使用步骤S804中成形的透射率分布tlower和在步骤S801中获得的大气光成分AY对存储在存储单元204中的拍摄图像进行校正来生成校正图像。根据等式(6)执行该校正。也就是说，作为校正图像Jlower中的像素位置(x，y)的像素值的Jlower(x，y)由下式给出：
Jlower(x，y)＝(I(x，y)-AY)/max(t0，tlower(x，y))+AY...(6)
其中，I(x，y)是存储在存储单元204中的拍摄图像I中的像素位置(x，y)处的像素值，max(A，B)在A>B的情况下是输出A的函数，在B＜A的情况下是输出B的函数，并且t0是调整系数，例如为0.1。t0是为了防止当tlower为过小的值时Jlower值根据I的微小差异(即摄像时的散粒噪声等)而极大地变化的情况而设定的值。t0不必是上面提到的0.1。
在步骤S806中，校正处理单元304将步骤S805中生成的校正图像Jlower存储在存储单元312中。该处理可以基于较低像素图像创建校正了微粒成分的影响的图像。
<基于RGB较低像素图像的校正图像的生成：步骤S504>
将参照图9的流程图描述步骤S504中的处理的细节。在步骤S901中，校正处理单元305获得存储在存储单元204中的拍摄图像、存储在存储单元309中的大气光成分ARGB以及存储在存储单元316中的t_th_max和t_th_min。
在步骤S902中，校正处理单元305使用大气光成分ARGB校正拍摄图像的各个R、G和B平面。根据等式(7)执行该校正。即，作为RGB较低像素图像RGB_A中的c平面中的像素位置(x，y)的像素值的RGB_A(x，y，c)由下式给出：
RGB_A(x，y，c)＝Tin_RGB(x，y，c)/ARGB...(7)
其中Tin_RGB(x，y，c)是拍摄图像中c(c＝R，G，B)平面中像素位置(x，y)的像素值。
校正处理单元305通过对RGB较低像素图像RGB_A执行滤波处理来生成RGB较低像素值图像patch_RGB_A。将参照图10A至10D描述对RGB较低像素图像RGB_A执行的滤波处理的细节。
图10A示出RGB较低像素值图像patch_RGB_A中的关注像素T3及其周围像素。下面将说明用于确定关注像素T3的像素值T3的滤波处理。对RGB较低像素值图像patch_RGB_A中的各个像素执行稍后描述的滤波处理，以确定RGB较低像素值图像patch_RGB_A的各个像素的像素值。图10B至图10D分别示出了RGB较低像素图像RGB_A的R、G和B平面。
在图10B中，T3R表示RGB较低像素图像RGB_A的R平面中与关注像素T3对应的像素。在属于以像素T3R为中心的5像素×5像素的图像区域的25个像素中，R1至R4分别是最小像素值的像素、倒数第二小像素值的像素、倒数第三小像素值的像素以及倒数第四小像素值的像素。即，满足R4＞R3＞R2＞R1。
在图10C中，T3G表示RGB较低像素图像RGB_A的G平面中与关注像素T3相对应的像素。在属于以像素T3G为中心的5像素×5像素的图像区域的25个像素中，G1至G4分别是最小像素值的像素、倒数第二小像素值的像素、倒数第三小像素值的像素以及倒数第四小像素值的像素。即，满足G4＞G3＞G2＞G1。
在图10D中，T3B表示RGB较低像素图像RGB_A的B平面中与关注像素T3对应的像素。在属于以像素T3B为中心的5像素×5像素的图像区域的25个像素中，B1至B4分别是最小像素值的像素、倒数第二小像素值的像素、倒数第三小像素值的像素以及倒数第四小像素值的像素。即，满足B4＞B3＞B2＞B1。
在这种情况下，根据等式(8A)至(8C)计算像素T3的R成分的像素值TR、像素T3的G成分的像素值TG和像素T3的B成分的像素值TB：
TR＝(2×R2+4×R3+2×R4)/8...(8A)
TG＝(2×G2+4×G3+2×G4)/8...(8B)
TB＝(2×B2+4×B3+2×B4)/8...(8C)
与较低像素图像不同，仅使用相应颜色平面内的像素值来计算TR、TG和TB中的各个。与RGB较低像素图像不同，对于较低像素图像，将关注像素周围的所有平面的像素作为目标，并且很可能从所有R、G和B平面的像素中采用要使用的像素。对于RGB低位像素图像，仅从各个颜色平面采用像素。该差异使得可以考虑光的散射波长的影响。
再次参照图9，在步骤S903中，校正处理单元305从步骤S902中生成的RGB较低像素值图像patch_RGB_A生成透射率分布tRGB。令patch_RGB_A(x，y，c)为RGB较低像素值图像patch_RGB_A的c平面中的像素位置(x，y)的像素值。然后，根据等式(9)计算与透射率分布tRGB中的c平面中的像素值(x，y)相对应的值tRGB(x，y，c)：
tRGB(x，y，c)＝1.0-ω(patch_RGB_A(x，y，c))...(9)
可以通过对所有x、y和c执行等式(9)的计算来确定与所有x、y和c相对应的透射率分布tRGB中的值。在步骤S904中，校正处理单元305通过将类似于步骤S804的处理应用于透射率分布tRGB的各个颜色平面，来使针对各个颜色平面的透射率分布tRGB成形(校正)。
在步骤S905中，校正处理单元305通过使用在步骤S904中成形的透射率分布tRGB和在步骤S901中获得的大气光成分ARGB校正存储在存储单元204中的拍摄图像，从而生成校正图像。根据等式(10)执行该校正。即，作为校正图像JRGB的c平面中的像素位置(x，y)处的像素值的JRGB(x，y，c)由下式给出：
JRGB(x，y，c)＝(I(x，y，c)-ARGB)/max(t0，tRGB(x，y，c))+ARGB...(10)
其中，I(x，y，c)是存储在存储单元204中的拍摄图像I的c平面中的像素位置(x，y)处的像素值，t0是调整系数，例如是0.1。t0是为了防止当tRGB为过小的值时JRGB值根据I的微小差异(即摄像时的散粒噪声等)而极大地变化的情况而设定的值。t0不必是上面提到的0.1。
在步骤S906中，校正处理单元305将在步骤S905中生成的校正图像JRGB存储在存储单元313中。该处理可以基于RGB较低像素图像创建校正了微粒成分的影响的图像。
<米氏散射(Mie Scattering)成分的计算：步骤S505>
将参考图11的流程图描述步骤S505中的处理的细节。在步骤S1101中，计算单元306获得存储在存储单元204中的拍摄图像和存储在存储单元312中的校正图像。在步骤S1102中，计算单元306通过使用步骤S1101中获得的拍摄图像I和校正图像Jlower进行等式(11)给出的算术处理，生成与拍摄图像I的米氏散射成分等同的米氏散射成分图像M：
If I(x，y，c)-Jlower(x，y，c)≥0，M(x，y，c)＝I(x，y，c)-Jlower(x，y，c)
If I(x，y，c)-Jlower(x，y，c)<0，M(x，y，c)＝0...(11)
其中，M(x，y，c)是在米氏散射成分图像M的c平面中的像素位置(x，y)处的像素值。通过对所有x、y和c依据等式(11)执行算术处理来确定与米氏散射成分图像M中的所有x、y和c对应的值(像素值)。在步骤S1103中，计算单元306将在步骤S1102中生成的米氏散射成分图像M存储在存储单元314中。
<瑞利散射(Rayleigh Scattering)成分的计算：步骤S506>
将参照图12的流程图描述步骤S506中的处理的细节。在步骤S1201中，计算单元307获得存储在存储单元204中的拍摄图像、存储在存储单元313中的校正图像以及存储在存储单元314中的米氏散射成分图像。
在步骤S1202中，计算单元307通过使用拍摄图像I、校正图像JRGB和步骤S1201中获得的米氏散射成分图像M进行等式(12)给出的算术处理，来生成与拍摄图像I的瑞利散射成分等同的瑞利散射成分图像R：
If I(x，y，c)-JRGB(x，y，c)-M(x，y，c)≥0，R(x，y，c)＝I(x，y，c)-JRGB(x，y，c)-M(x，y，c)
If I(x，y，c)-JRGB(x，y，c)-M(x，y，c)<0，R(x，y，c)＝0...(12)
其中，R(x，y，c)是瑞利散射成分图像R的c平面中的像素位置(x，y)处的像素值。通过对所有x，y和c依据等式(12)执行算术处理，来确定与瑞利散射成分图像R中的所有x、y和c相对应的值(像素值)。在步骤S1203中，计算单元307将在步骤S1202中生成的瑞利散射成分图像R存储在存储单元315中。
<合成处理：步骤S507>
将描述步骤S507中的处理的细节。根据等式(13)计算合成图像Jout的c平面中的像素位置(x，y)处的像素值Jout(x，y，c)：
Jout(x，y，c)＝JRGB(x，y，c)+m·M(x，y，c)+r·R(x，y，c)...(13)
其中，m是米氏散射强度系数，r是瑞利散射强度系数。在该实施方式中，期望m和r取0和1之间的值，例如m＝0.1，r＝0.5，但是也可以取其他值。此时，如果m＝0且r＝0，则也可以生成仅专于提高对比度而不考虑颜色的图像。通过在任意改变m和r值的同时合成图像，可以控制光的散射影响的比率。通过对所有x、y和c依据等式(13)进行算术处理来确定与合成图像Jout中的所有x、y和c相对应的值(像素值)。
如上所述，根据本实施方式，当执行抑制拍摄图像中的微粒成分的影响的处理时，可以估计作为大气中的散射成分的米氏散射成分和瑞利散射成分。这些成分可以按任意比例合成，以在考虑传感器噪声的同时，生成提高了可视性以及受微粒成分的影响而降低的对比度的图像。
[第二实施方式]
<第二实施方式的概述>
首先，将总体上描述第二实施方式。在本实施方式中，被确定为在拍摄图像中形成天空区域的低透射率的像素的比率被用作确定雾/霾去除处理参数的标准。第二实施方式与第一实施方式的不同之处在于：将天空区域的确定添加到雾/霾去除处理中，并且当确定天空区域小时，改变用于去除微粒成分的影响的参数，并进行去除处理。下面将描述与第一实施方式的区别，并且除非另有说明，否则第二实施方式与第一实施方式相似。
<图像处理装置100的整体处理>
将参照图14的流程图描述由图像处理装置100执行的用以生成并输出抑制了“大气中的微粒成分的影响”的拍摄图像的处理。
在步骤S1401中，获取单元201获取从摄像单元111发送的拍摄图像，并将所获取的拍摄图像存储在存储单元204中。在步骤S1402中，处理单元202执行去除处理，作为用于抑制微粒成分对步骤S1401中存储在存储单元204中的拍摄图像的影响的处理。然后，处理单元202将经过微粒去除处理的拍摄图像存储在存储单元205中。稍后将描述步骤S1402中的处理的细节。在步骤S1403中，输出单元203将在步骤S1402中存储在存储单元205中的拍摄图像经由HDD I/F 104输出到HDD 105，并且拍摄图像被保存在HDD 105中。
<微粒去除处理>
将参照图15的流程图说明步骤S1402中的雾/霾去除处理的细节。第二实施方式与第一实施方式的不同之处在于计算大气光成分和确定天空区域。该处理对应于步骤S1502。
在步骤S1502中，计算单元301确定存储在存储单元204中的拍摄图像是否包含大的天空区域。如果计算单元301确定天空区域小，则其改变用于计算大气光成分的参数，使用改变后的参数获得(估计)大气光成分，并将获得的大气光成分存储在存储单元309中。稍后将描述步骤S1502中的处理的细节。
<天空区域的确定和大气光成分的计算：步骤S1502>
将参照图16的流程图描述步骤S1502中的处理的细节。在步骤S1603中，计算单元301对构成步骤S702中通过转换获得的亮度图像的像素中的各自具有高于阈值的亮度值的像素(构成天空区域的像素)的数量进行计数。
在步骤S1604中，计算单元301确定“在步骤S1603中计数的像素数”与亮度图像的像素总数的比率是否等于或大于阈值(例如，20％)。如果计算单元301确定“在步骤S1603中计数的像素数”与亮度图像的像素总数的比率等于或高于阈值，则其确定拍摄图像是在室外拍摄的图像。如果计算单元301确定“在步骤S1603中计数的像素数”与亮度图像的像素总数的比率小于阈值，则其确定拍摄的图像是在室内拍摄的图像。
如果计算单元301确定拍摄图像是在室内拍摄的图像，则其将92％设置为步骤S703中使用的指定比率。相反，如果计算单元301确定拍摄图像是在室外拍摄的图像，则将99％设置为步骤S703中使用的指定比率。
在该实施方式中，基于亮度图像中各自具有等于或高于阈值的像素值的像素的数量，来确定室内拍摄的图像和室外拍摄的图像中的哪一个是拍摄图像。然而，确定室内拍摄的图像和室外拍摄的图像中的哪一个是拍摄图像的方法不限于特定方法。例如，如果“亮度图像的上半区域中各自具有等于或大于阈值的像素值的像素的数量”与亮度图像的像素的总数的比率等于或大于阈值，则确定所拍摄的图像是在室外拍摄的图像；如果该比率低于阈值，则确定拍摄的图像是在室内拍摄的图像。
在该实施方式中，根据室内拍摄的图像和室外拍摄的图像中的哪一个是拍摄图像来改变指定比率。然而，要改变的参数不限于指定比率，还可以代替指定比率或除指定比率之外还改变诸如在确定透射率分布时使用的系数ω等其他参数。
如上所述，根据本实施方式，可以根据室内拍摄的图像和室外拍摄的图像中的哪一个是拍摄图像来改变用于抑制微粒成分的影响的参数，然后可以进行处理。
在该实施方式中，确定室内场景或室外场景中的哪一个是拍摄所拍摄图像的场景。然而，可以从更多类型的场景中确定场景，并且可以根据所确定的场景来设置(控制)参数。
[第三实施方式]
在以上描述中使用的数值和等式用于进行详细说明，不旨在将上述实施方式限制为所使用的数值和等式。可以适当地组合和使用上述实施方式中的一些或全部。可以选择性地使用一些或所有上述实施方式。
其他实施方式
本发明的实施方式还可以通过如下的方法来实现，即，通过网络或者各种存储介质将执行上述实施方式的功能的软件(程序)提供给系统或装置，该系统或装置的计算机或是中央处理单元(CPU)、微处理单元(MPU)读出并执行程序的方法。
虽然参照示例性实施方式描述了本发明，但是应当理解，本发明并不限于所公开的示例性实施方式。应当对下列权利要求的范围赋予最宽的解释，以使其涵盖所有这些变型例以及等同的结构及功能。

Claims (19)

1.一种图像处理装置，包括：
第一获取单元，被配置为获取根据对拍摄图像的用户操作而指定的大气的透射率的范围；
第二获取单元，被配置为基于所述拍摄图像的亮度值来指定所述拍摄图像中要被参照的多个像素位置，并基于针对各个颜色的所述多个像素位置处的像素值的总和来获取作为被大气散射的光成分的大气光成分；以及
生成单元，被配置为基于所述范围、大气光成分、以及米氏散射成分和瑞利散射成分，生成抑制了大气中的微粒成分对所述拍摄图像的影响的校正图像。
2.根据权利要求1所述的装置，其中，所述生成单元通过基于所述大气光成分和所述范围来校正所述拍摄图像，生成多个校正图像，基于所述校正图像和所述拍摄图像来估计所述拍摄图像的米氏散射成分和瑞利散射成分，并基于所估计的米氏散射成分和瑞利散射成分生成所述校正图像。
3.根据权利要求2所述的装置，其中，所述生成单元基于所述拍摄图像中的关注像素和针对各个颜色的所述关注像素周围的像素的像素值中的多个较低像素值而获取第一图像的关注像素的像素值，基于所述第一图像校正透射率分布，以使所述透射率分布中所述范围的外侧没有透射，并通过基于校正后的透射率分布和所述大气光成分校正所述拍摄图像来生成第一校正图像。
4.根据权利要求3所述的装置，其中，所述生成单元基于所述大气光成分校正所述拍摄图像中各个颜色的平面，基于所述校正平面中的关注像素和针对各个所述校正平面的关注像素周围的像素的像素值中的多个较低像素值而获取第二图像的关注像素的校正平面的像素值，基于所述第二图像校正透射率分布，以使所述透射率分布中所述范围的外侧没有透射，并通过基于校正后的透射率分布和所述大气光成分校正所述拍摄图像来生成第二校正图像。
5.根据权利要求4所述的装置，其中，所述生成单元基于所述拍摄图像和所述第一校正图像生成作为与所述拍摄图像中的米氏散射成分等同的图像的米氏散射成分图像。
6.根据权利要求5所述的装置，其中，所述生成单元基于所述拍摄图像、所述第二校正图像以及所述米氏散射成分图像，生成作为与所述拍摄图像中的瑞利散射成分等同的图像的瑞利散射成分图像。
7.根据权利要求6所述的装置，其中，所述生成单元生成所述第二校正图像、所述米氏散射成分图像以及所述瑞利散射成分图像的合成图像，作为抑制了大气中的所述微粒成分对所述拍摄图像的影响的所述校正图像。
8.根据权利要求1所述的装置，其中，所述拍摄图像是出现所述微粒成分的场景的拍摄图像。
9.根据权利要求1所述的装置，还包括被配置为基于所述拍摄图像的亮度值确定所述拍摄图像是室内拍摄的图像还是室外拍摄的图像、并基于所述确定的结果控制所述生成单元的参数的单元。
10.根据权利要求1所述的装置，其中，所述第一获取单元根据用户操作接受经受校正处理的距离范围，并根据所述距离范围获取所述透射率的范围。
11.根据权利要求10所述的装置，还包括：被配置为显示能够调整所述距离范围的图形用户界面的显示单元，
其中，所述第一获取单元经由所述图形用户界面接受所述用户操作。
12.根据权利要求11所述的装置，其中，所述图形用户界面能够指定经受处理的最短距离和最长距离。
13.根据权利要求1所述的装置，其中，所述生成单元基于所述拍摄图像生成透射率分布，基于所述范围校正所述透射率分布，并利用校正后的透射率分布生成所述校正图像。
14.根据权利要求10所述的装置，其中，所述生成单元生成所述校正图像，以在未包含在所述距离范围中的像素的区域中不执行校正处理。
15.根据权利要求13所述的装置，其中，所述透射率分布是与所述拍摄图像中的距离对应的分布。
16.根据权利要求1所述的装置，还包括被配置为确定所述拍摄图像中的天空区域的确定单元，
其中，所述第二获取单元利用所述天空区域的像素值计算所述大气光成分。
17.根据权利要求11所述的装置，其中，所述图形用户界面是滑动条。
18.一种图像处理方法，包括：
获取根据对拍摄图像的用户操作而指定的大气的透射率的范围；
基于所述拍摄图像的亮度值来指定所述拍摄图像中要被参照的多个像素位置，并基于针对各个颜色的所述多个像素位置处的像素值的总和来获取作为被大气散射的光成分的大气光成分；以及
基于所述范围、大气光成分、以及米氏散射成分和瑞利散射成分，生成抑制了大气中的微粒成分对所述拍摄图像的影响的校正图像。
19.一种存储计算机程序的非暂时性计算机可读存储介质，所述计算机程序用于促使计算机用作：
第一获取单元，被配置为获取根据对拍摄图像的用户操作而指定的大气的透射率的范围；
第二获取单元，被配置为基于所述拍摄图像的亮度值来指定所述拍摄图像中要被参照的多个像素位置，并基于针对各个颜色的所述多个像素位置处的像素值的总和来获取作为被大气散射的光成分的大气光成分；以及
生成单元，被配置为基于所述范围、大气光成分、以及米氏散射成分和瑞利散射成分，生成抑制了大气中的微粒成分对所述拍摄图像的影响的校正图像。
CN202010092314.4A 2019-02-18 2020-02-14 图像处理装置、图像处理方法及计算机可读存储介质 Active CN111583125B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2019-026670 2019-02-18
JP2019026670A JP7227785B2 (ja) 2019-02-18 2019-02-18 画像処理装置、画像処理方法およびコンピュータプログラム

Publications (2)

Publication Number Publication Date
CN111583125A CN111583125A (zh) 2020-08-25
CN111583125B true CN111583125B (zh) 2023-10-13

Family

ID=72042260

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010092314.4A Active CN111583125B (zh) 2019-02-18 2020-02-14 图像处理装置、图像处理方法及计算机可读存储介质

Country Status (3)

Country Link
US (2) US11334966B2 (zh)
JP (1) JP7227785B2 (zh)
CN (1) CN111583125B (zh)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2016126750A (ja) * 2014-12-26 2016-07-11 株式会社リコー 画像処理システム、画像処理装置、撮像装置、画像処理方法、プログラムおよび記録媒体
JP2017037357A (ja) * 2015-08-06 2017-02-16 株式会社リコー 画像処理装置、プログラムおよび記録媒体
CN106485670A (zh) * 2015-09-01 2017-03-08 佳能株式会社 图像处理设备及图像处理方法
CN107330870A (zh) * 2017-06-28 2017-11-07 北京航空航天大学 一种基于场景光辐射准确估计的浓雾去除方法

Family Cites Families (26)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3379324B2 (ja) * 1996-02-08 2003-02-24 トヨタ自動車株式会社 移動体検知方法及び装置
US6711280B2 (en) * 2001-05-25 2004-03-23 Oscar M. Stafsudd Method and apparatus for intelligent ranging via image subtraction
US7057721B2 (en) * 2002-01-10 2006-06-06 Chemimage Corporation Wide field method for detecting pathogenic microorganisms
US7423674B2 (en) * 2003-12-08 2008-09-09 Nikon Corporation Electronic camera having color adjustment function and program therefor
JP4729568B2 (ja) * 2004-06-30 2011-07-20 コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ 非演色色空間を介して変換されたビデオコンテンツからの周囲光のためのドミナントカラーの抽出
US8289372B2 (en) * 2006-10-16 2012-10-16 Flir Systems Ab Method for displaying a thermal image in an IR camera and an IR camera
CA2617119A1 (en) * 2008-01-08 2009-07-08 Pci Geomatics Enterprises Inc. Service oriented architecture for earth observation image processing
CN102362221B (zh) * 2009-03-24 2014-08-06 Nec显示器解决方案株式会社 图像产生装置的防尘结构和投影显示装置
US9091637B2 (en) * 2009-12-04 2015-07-28 Duke University Smart fiber optic sensors systems and methods for quantitative optical spectroscopy
TWI423166B (zh) * 2009-12-04 2014-01-11 Huper Lab Co Ltd 判斷輸入影像是否為霧化影像之方法、判斷輸入影像的霧級數之方法及霧化影像濾清方法
US8340461B2 (en) 2010-02-01 2012-12-25 Microsoft Corporation Single image haze removal using dark channel priors
US20120213436A1 (en) 2011-02-18 2012-08-23 Hexagon Technology Center Gmbh Fast Image Enhancement and Three-Dimensional Depth Calculation
JP5782838B2 (ja) * 2011-05-27 2015-09-24 富士ゼロックス株式会社 画像処理装置及び画像処理プログラム
US8582915B2 (en) * 2011-06-27 2013-11-12 Wuxi Jinnang Technology Development Ltd. Image enhancement for challenging lighting conditions
US8970691B2 (en) * 2011-08-26 2015-03-03 Microsoft Technology Licensing, Llc Removal of rayleigh scattering from images
US8492448B2 (en) * 2011-10-07 2013-07-23 Corning Incorporated Systems and methods for performing photoreactions using light-diffusing optical fiber
US9736433B2 (en) * 2013-05-17 2017-08-15 The Boeing Company Systems and methods for detection of clear air turbulence
KR101470831B1 (ko) * 2013-05-28 2014-12-10 전남대학교산학협력단 사용자 제어가 가능한 거듭제곱근 연산자를 이용한 안개영상 개선 장치
JP2015132953A (ja) 2014-01-10 2015-07-23 キヤノン株式会社 画像処理装置およびその方法
JP6528447B2 (ja) * 2014-02-25 2019-06-12 株式会社リコー 視差演算システム及び距離測定装置
WO2016159884A1 (en) * 2015-03-30 2016-10-06 Agency For Science, Technology And Research Method and device for image haze removal
KR102390918B1 (ko) 2015-05-08 2022-04-26 한화테크윈 주식회사 안개 제거 시스템
JP6635799B2 (ja) * 2016-01-20 2020-01-29 キヤノン株式会社 画像処理装置、画像処理方法及びプログラム
JP6818463B2 (ja) 2016-08-08 2021-01-20 キヤノン株式会社 画像処理装置、画像処理方法及びプログラム
US10217240B2 (en) * 2017-01-23 2019-02-26 Autonomous Fusion, Inc. Method and system to determine distance to an object in an image
US11165966B2 (en) 2018-09-19 2021-11-02 Canon Kabushiki Kaisha Image capturing apparatus, method of controlling image capturing apparatus, and storage medium

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2016126750A (ja) * 2014-12-26 2016-07-11 株式会社リコー 画像処理システム、画像処理装置、撮像装置、画像処理方法、プログラムおよび記録媒体
JP2017037357A (ja) * 2015-08-06 2017-02-16 株式会社リコー 画像処理装置、プログラムおよび記録媒体
CN106485670A (zh) * 2015-09-01 2017-03-08 佳能株式会社 图像处理设备及图像处理方法
CN107330870A (zh) * 2017-06-28 2017-11-07 北京航空航天大学 一种基于场景光辐射准确估计的浓雾去除方法

Also Published As

Publication number Publication date
JP2020134273A (ja) 2020-08-31
US11995799B2 (en) 2024-05-28
CN111583125A (zh) 2020-08-25
US11334966B2 (en) 2022-05-17
US20200265556A1 (en) 2020-08-20
JP7227785B2 (ja) 2023-02-22
US20220237745A1 (en) 2022-07-28

Similar Documents

Publication Publication Date Title
JP6635799B2 (ja) 画像処理装置、画像処理方法及びプログラム
JP5980294B2 (ja) データ処理装置、撮像装置、およびデータ処理方法
JP6282095B2 (ja) 画像処理装置、画像処理方法およびプログラム。
JP6579868B2 (ja) 画像処理装置、撮像装置、画像処理方法およびプログラム
WO2019109805A1 (zh) 图像处理方法和装置
JP6818463B2 (ja) 画像処理装置、画像処理方法及びプログラム
US20160269636A1 (en) Image processing apparatus, image processing method, and storage medium
US10708505B2 (en) Image processing apparatus, method, and storage medium
JP2015082768A (ja) 画像処理装置及び画像処理方法、プログラム、記憶媒体
WO2015156149A1 (ja) 画像処理装置および画像処理方法
US20160078598A1 (en) Image processor and image processing method
JP2015213299A (ja) 画像処理装置および画像処理方法
US10262444B2 (en) Image processing apparatus, image processing method, and non-transitory computer-readable storage medium for creating a composite image by using a plurality of input images
JP2017050857A (ja) 画像処理装置、画像処理方法およびプログラム
CN111583125B (zh) 图像处理装置、图像处理方法及计算机可读存储介质
US11972546B2 (en) Image processing apparatus and image processing method
JP6938282B2 (ja) 画像処理装置、画像処理方法及びプログラム
JP2019213164A (ja) 画像処理装置、画像処理方法
JP7005338B2 (ja) 情報処理装置及びその制御方法及びプログラム
JP6762779B2 (ja) 画像処理装置、撮像装置、画像処理方法、及びプログラム
CN111935391B (zh) 图像处理装置及其控制方法和计算机可读存储介质
JP6494388B2 (ja) 画像処理装置、画像処理方法、及びプログラム
JP6494817B2 (ja) 画像処理装置、画像処理方法およびプログラム。
JP2015118611A (ja) 画像処理装置、画像処理方法およびプログラム
JP2022069197A (ja) 画像処理装置及びその制御方法及びプログラム

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant