CN111935391B - 图像处理装置及其控制方法和计算机可读存储介质 - Google Patents

图像处理装置及其控制方法和计算机可读存储介质 Download PDF

Info

Publication number
CN111935391B
CN111935391B CN202010329292.9A CN202010329292A CN111935391B CN 111935391 B CN111935391 B CN 111935391B CN 202010329292 A CN202010329292 A CN 202010329292A CN 111935391 B CN111935391 B CN 111935391B
Authority
CN
China
Prior art keywords
image
image processing
parameter
unit
setting
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010329292.9A
Other languages
English (en)
Other versions
CN111935391A (zh
Inventor
伊藤靖浩
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Inc filed Critical Canon Inc
Publication of CN111935391A publication Critical patent/CN111935391A/zh
Application granted granted Critical
Publication of CN111935391B publication Critical patent/CN111935391B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/73—Deblurring; Sharpening
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/90—Dynamic range modification of images or parts thereof
    • G06T5/94—Dynamic range modification of images or parts thereof based on local image properties, e.g. for local contrast enhancement
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H04N23/81—Camera processing pipelines; Components thereof for suppressing or minimising disturbance in the image signal generation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20172—Image enhancement details
    • G06T2207/20204—Removing film grain; Adding simulated film grain
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30232—Surveillance

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Processing (AREA)
  • Facsimile Image Signal Circuits (AREA)
  • Studio Devices (AREA)

Abstract

本发明提供图像处理装置及其控制方法和计算机可读存储介质。所述图像处理装置包括：第一设置单元，其基于图像数据来设置用于去除微粒成分的影响的处理的第一参数；第一图像处理单元，其基于所述第一参数来进行微粒去除处理；第二设置单元，其设置第二参数；第二图像处理单元，其基于所述第二参数来进行微粒去除处理；第三设置单元，其设置要使用所述第一图像处理单元的区域、以及要使用所述第二图像处理单元的区域；以及生成单元，其通过将来自所述第一图像处理单元的结果和来自所述第二图像处理单元的结果应用于相应的设置区域来生成图像数据。

Description

图像处理装置及其控制方法和计算机可读存储介质
技术领域
本发明涉及图像处理装置及其控制方法和非暂时性计算机可读存储介质。
背景技术
在监视照相机等的领域中，由于在照相机与被摄体之间存在的微粒成分(例如，雾)所造成的可见性降低而导致的拍摄图像的图像质量的劣化是个问题。提出了US-2011-0188775(以下称为文献1)作为用于校正由于雾等导致的可见性降低的图像的技术(雾/霾去除技术)。在文献1中，通过针对各个目标像素计算该目标像素周围预定范围内的R、G和B通道的最小值、并使用最小值图像校正对比度，来改善可见性。此外，在US-2016-0328832(下文中称为文献2)中，根据输入图像计算直方图，并且基于直方图的似然度和峰度(kurtosis)来确定用于雾/霾去除处理的参数。
在文献1公开的技术中，针对整个图像唯一地保持在图像处理期间使用的参数。然而，存在如下情况：在将雾/霾去除技术应用于相对近距离处的被摄体的情况与将雾/霾去除技术应用于远距离处的被摄体的情况之间，最好改变参数。这里，存在如下可能性：如果使用针对远距离处的被摄体的参数对近距离处的被摄体进行处理，则由于对近距离处的被摄体的处理效果太强，图像将会不自然。
此外，在文献2公开的技术中，基于整个图像的直方图确定参数。因此，即使用户想要改善图像中的特定对象(例如，人物(person))的可见性，也会执行处理以改善整个图像的可见性，并且尤其不会改善存在于雾较浓的位置处的人物的可见性。此外，存在如下可能性：如果试图改善存在于雾较浓的位置处的人物的可见性，则由于将雾/霾去除处理过度地应用于已经确保可见性的人物，图像将会不自然。
发明内容
本发明提供了如下技术：根据拍摄场景的状况和期望改善可见性的对象，来去除图像中的雾和霾的影响。
根据本发明的第一方面，提供了一种图像处理装置，其对通过由摄像单元进行的摄像而获得的图像数据进行处理，所述图像处理装置包括：第一设置单元，其被构造为，基于所述图像数据来设置用于进行去除微粒成分的影响的处理的第一参数；第一图像处理单元，其被构造为，基于所述第一设置单元设置的所述第一参数来进行微粒去除处理；第二设置单元，其被构造为，设置不同于所述第一参数的第二参数；第二图像处理单元，其被构造为，基于所述第二设置单元设置的所述第二参数来进行微粒去除处理；第三设置单元，其被构造为，设置要使用所述第一图像处理单元的区域、以及要使用所述第二图像处理单元的区域；以及生成单元，其被构造为，通过将来自所述第一图像处理单元的结果和来自所述第二图像处理单元的结果应用于由所述第三设置单元设置的相应区域来生成去除了微粒的影响的图像数据。
根据本发明的第二方面，提供了一种图像处理装置的控制方法，所述图像处理装置对通过由摄像单元进行的摄像而获得的图像数据进行处理，所述控制方法包括：第一设置步骤，基于所述图像数据来设置用于进行去除微粒成分的影响的处理的第一参数；第一图像处理步骤，基于所述第一设置步骤中设置的所述第一参数来进行微粒去除处理；第二设置步骤，设置不同于所述第一参数的第二参数；第二图像处理步骤，基于所述第二设置步骤中设置的所述第二参数来进行微粒去除处理；第三设置步骤，设置要使用所述第一图像处理步骤的区域、以及要使用所述第二图像处理步骤的区域；以及生成步骤，通过将来自所述第一图像处理步骤的结果和来自所述第二图像处理步骤的结果应用于所述第三设置步骤设置的相应区域来生成去除了微粒的影响的图像数据。
根据本发明的第三方面，提供了一种非暂时性计算机可读存储介质，其存储用于执行图像处理装置的控制方法的计算机可执行的程序，所述图像处理装置对通过由摄像单元进行的摄像而获得的图像数据进行处理，所述控制方法包括：第一设置步骤，基于所述图像数据来设置用于进行去除微粒成分的影响的处理的第一参数；第一图像处理步骤，基于所述第一设置步骤中设置的所述第一参数来进行微粒去除处理；第二设置步骤，设置不同于所述第一参数的第二参数；第二图像处理步骤，基于所述第二设置步骤中设置的所述第二参数来进行微粒去除处理；第三设置步骤，设置要使用所述第一图像处理步骤的区域、以及要使用所述第二图像处理步骤的区域；以及生成步骤，通过将来自所述第一图像处理步骤的结果和来自所述第二图像处理步骤的结果应用于所述第三设置步骤设置的相应区域来生成去除了微粒的影响的图像数据。
根据本发明，根据拍摄场景的状况和期望改善可见性的对象，来去除图像中的雾和霾的影响。
通过(参照附图)对示例性实施例的以下描述，本发明的其他特征将变得清楚。
附图说明
图1是实施例中的图像处理装置的构造框图。
图2是实施例中描述的图像处理装置的功能框图。
图3是示出实施例中描述的微粒去除处理单元的内部构造的图。
图4是示出根据实施例的图像处理装置中的处理的流程图。
图5是示出根据实施例的微粒去除处理的流程图。
图6A和图6B是示出根据实施例的下位像素(lower-pixel)图像生成的处理的示意图。
图7是示出根据实施例的气辉估计处理的流程图。
图8是示出根据实施例的下位像素校正图像生成处理的流程图。
图9是示出根据实施例的用于生成RGB下位像素值校正图像的处理的流程图。
图10A至图10D是示出根据实施例的RGB下位像素图像生成处理中的滤波处理的示意图。
图11是示出根据实施例的米氏散射成分生成处理的流程图。
图12是示出根据实施例的瑞利散射成分生成处理的流程图。
具体实施方式
下文中将参照附图详细描述实施例。请注意，以下实施例并不意图限制本发明的范围。在实施例中描述了多个特征，但是本发明并不限于需要所有这些特征，并且多个这些特征可以被适当组合。此外，在附图中，向相同或相似的构造赋予相同的附图标记，并且省略其冗余描述。
概要
在本实施例中，首先，对在生成诸如雾的微粒成分(以下称为微粒)的状况下拍摄的输入图像，进行去除微粒成分的影响的处理。接下来，通过进行诸如人物检测的对象检测处理，从已经去除了微粒成分的影响的图像中提取诸如人物的对象。当生成微粒去除图像时，通过基于该提取结果来改变输入图像中的米氏散射成分与瑞利散射成分之间的比率，创建微粒成分的影响的表现被改变的图像。通过组合这些图像，获得对象具有较高可见性的图像。
根据实施例的设备构造
图1是本实施例适用的图像处理装置100的构造框图。根据本实施例的图像处理装置100包括CPU 101、RAM 102、ROM 103、HDD接口(I/F)104、HDD 105、输入I/F 106、输出I/F107和系统总线108。CPU 101是进行以下描述的构成单元的整体控制的处理器。RAM 102是用作CPU 101的主存储器和工作区域的存储器。ROM 103是存储各种参数和用于控制图像处理装置100中的处理的程序的存储器。
HDD I/F 104是例如符合串行ATA(SATA)标准等的接口，并且将用作二级存储装置的HDD 105连接到系统总线108。CPU 101可以经由HDD I/F 104从HDD 105读取数据并将数据写入HDD 105。此外，CPU 101可以将存储在HDD 105中的数据加载到RAM 102中，并且可以类似地将RAM 102中加载的数据存储到HDD 105。此外，CPU 101可以将加载到RAM 102中的数据视为程序来执行该数据。注意，二级存储装置可以是HDD之外的存储设备，诸如光盘驱动器。输入I/F 106是例如符合USB标准、IEEE1394标准等的串行总线接口。
图像处理装置100经由输入I/F 106连接到外部存储器109和摄像单元111。CPU101可以经由输入I/F 106从外部存储器109和摄像单元111获得拍摄的图像数据。输出I/F107是例如符合DVI标准、HDMI(注册商标)标准等的视频输出接口。图像处理装置100经由输出I/F 107连接到显示单元110。CPU 101可以通过经由输出I/F 107将图像输出到显示单元110而在显示单元110上显示图像。
系统总线108是用于各种类型的数据的传输路径，并且图像处理装置100中的构成单元经由系统总线108彼此连接。
外部存储器109是诸如硬盘、存储卡、CF卡、SD卡或USB存储器的存储介质，并且可以存储诸如由图像处理装置100处理的图像数据的数据。
显示单元110是诸如显示器的显示装置，并且可以显示由图像处理装置100等处理的图像。
摄像单元111是使用图像传感器来接收被摄体的光学图像并将所获得的光学图像输出为数字图像数据的照相机。在根据本实施例的图像处理装置100中，摄像单元111通过摄像来获得由于通过微粒(诸如雾)生成的散射光而降低了对比度的图像数据，并且图像处理装置100通过进行以下描述的图像处理来生成减小了微粒影响的图像。
操作单元112例如由诸如鼠标和/或键盘的一个或更多个输入设备构成，并且用于指定稍后描述的雾/霾去除范围。
图2是实施例中描述的图像处理装置的功能框图。如图2所示，根据实施例的图像处理装置包括输入图像数据获得单元201、微粒去除处理单元202、微粒去除图像数据输出单元203、输入图像数据存储单元204、微粒去除图像数据存储单元205和对象提取处理单元206。对象提取处理单元206由已知的人物检测技术、已知的面部检测技术等构成。对象提取处理单元206对输入图像进行人物形状、人脸等的检测，并将与人物形状、人脸等相对应的区域存储在对象检测结果存储单元207中作为检测结果。注意，尽管图2中所示的处理单元可以通过CPU 101将存储在ROM 103中的程序加载到RAM 102中并执行该程序来实现，但是一些处理单元可以通过硬件来实现。
图3是示出实施例中的微粒去除处理单元202的内部构造的图。微粒去除处理单元202包括气辉计算单元301、下位像素图像计算单元302、基于下位像素图像的校正处理单元304(以下称为校正处理单元304)和基于RGB下位像素图像的校正处理单元305(以下称为校正处理单元305)。微粒去除处理单元202还包括用于控制散射成分的米氏散射成分计算单元306和瑞利散射成分计算单元307、以及合成单元308。此外，微粒去除处理单元202包括气辉数据存储单元309、下位像素图像数据存储单元310、下位像素校正数据存储单元312和RGB下位像素校正数据存储单元313，作为用于这些各种类型的处理的数据的存储位置。微粒去除处理单元202包括用于控制散射成分的米氏散射成分数据存储单元314和瑞利散射成分数据存储单元315。此外，微粒去除处理单元202包括确定微粒去除处理的处理范围的图像处理范围数据存储单元316。
尽管通过CPU 101执行在用作数据保持区域的ROM 103、HDD 105和RAM 102中保持的程序来实现这些构成块，但是根据需要，可以通过硬件来实现一些构成块。
整体处理流程
将使用图2中的框图和图4中的流程图来描述根据实施例的图像处理装置100中的处理流程。
在步骤S401中，CPU 101控制输入图像数据获得单元201，并使输入图像数据获得单元201获得通过摄像单元111的摄像而获得的图像数据，并将图像数据存储在输入图像数据存储单元204中。
在步骤S402中，CPU 101设置用于对输入图像数据进行用于去除微粒成分的处理的参数。
在步骤S403中，CPU 101基于在步骤S402中设置的参数，进行用于去除微粒影响的处理(稍后详细描述)。
在步骤S404中，CPU 101通过使用已知的对象检测处理，对在步骤S403中经过微粒去除处理的图像进行对象检测。在此，要检测的对象是用户想要改善其可见性的对象。例如，如果用户想要改善人物的可见性，则CPU 101通过应用已知的人物检测处理在图像数据中提取人物。CPU 101用矩形围住从提取中得到的人物区域的周围区域，并将该人物区域以矩形区域的位置信息的形式存储在对象检测结果存储单元207中。注意，虽然在本实施例中，对象检测结果是矩形区域，但是对象检测结果的形状没有特别限制，并且对象检测结果可以具有矩形形状以外的形状。注意，例如，在对象检测结果不是矩形区域的情况下，对于各个像素，确定该像素是否是检测到对象的像素即可。
在步骤S405中，CPU 101将经过去除微粒影响的处理的图像与对象检测结果进行比较，确定在图像数据中的哪个区域中检测到对象，并根据确定结果改变处理。具体地，CPU101针对与图像数据中的已确定检测到对象的区域相对应的像素，转移到步骤S408中的处理，并且针对与已确定未检测到对象的区域相对应的像素，转移到步骤S406中的处理。
在步骤S406中，CPU 101设置用于在随后的步骤S407中要执行的微粒去除处理的参数，使得针对未检测到对象的区域进一步提高对象检测精度。具体地，设置参数使得提高微粒去除效果。例如，设置参数，使得与在用于第一次迭代的参数中相比，在用于第二次迭代的参数中，后述的米氏散射强度系数m和后述的瑞利散射强度系数r较小。尤其是对于m，可以考虑将用于第二次迭代的参数中的m设置为较小，将用于第二次迭代的参数中的m设置为零等。
在步骤S407中，CPU 101基于针对微粒去除处理的第二次迭代的在步骤S406中设置的参数，再次进行微粒去除处理。在此处理的图像数据不是经过步骤S403中的处理的图像数据，而是在步骤S401中获得的原始输入图像数据。
然后，在步骤S408中，CPU 101将在步骤S405中已确定检测到对象的、作为使用第一参数的处理的结果的图像，与作为在步骤S407中进行的使用第二参数的处理的结果的图像组合。具体地，对于作为在步骤S405中已经确定检测到对象的区域的检测区域(像素)，使用作为使用第一参数的处理的结果的图像，而对于非检测区域，使用作为使用第二参数的处理的结果的图像，来生成一个输出图像。
以这种方式，基于对象检测结果来设置区域，并且对于各个区域，生成经过具有不同效果的微粒成分去除处理的图像。
去除微粒影响的处理流程
这里，将使用图2和图3中的处理框图和图5中的流程图，详细描述图4的步骤S403和S407中的微粒去除处理。注意，步骤S403和步骤S407的不同之处在于用于处理的参数不同。
在步骤S501中，下位像素图像计算单元302根据存储在输入图像数据存储单元204中的输入图像数据计算下位像素图像(稍后详细描述)，并将下位像素图像存储在下位像素图像数据存储单元310中。
在步骤S502中，气辉计算单元301使用存储在输入图像数据存储单元204中的输入图像数据和存储在下位像素图像数据存储单元310中的下位像素图像数据来计算气辉成分(稍后将详细描述)。然后，气辉计算单元301将计算出的气辉数据存储在气辉数据存储单元309中。
在步骤S503中，基于下位像素图像的校正处理单元304读取存储在气辉数据存储单元309中的气辉数据和存储在下位像素图像数据存储单元310中的下位像素图像数据。此外，校正处理单元304还读取存储在图像处理范围数据存储单元316中的图像处理范围数据。然后，校正处理单元304对存储在输入图像数据存储单元204中的输入图像数据进行校正(稍后详细描述)。校正处理单元304将校正后的图像数据存储在下位像素校正数据存储单元312中。
在步骤S504中，基于RGB下位像素图像的校正处理单元305读取存储在气辉数据存储单元309中的气辉数据、存储在输入图像数据存储单元204中的输入图像以及存储在图像处理范围数据存储单元316中的图像处理范围数据。然后，该校正处理单元305对输入图像数据进行校正(稍后详细描述)。校正处理单元305将校正后的图像数据存储在RGB下位像素校正数据存储单元313中。
在步骤S505中，米氏散射成分计算单元306读取存储在输入图像数据存储单元204中的输入图像数据和存储在下位像素校正数据存储单元312中的下位像素校正图像数据。然后，米氏散射成分计算单元306计算米氏散射成分(稍后详细描述)。米氏散射成分计算单元306将计算出的米氏散射成分数据存储在米氏散射成分数据存储单元314中。
在步骤S506中，瑞利散射成分计算单元307读取存储在输入图像数据存储单元204中的输入图像数据。此外，瑞利散射成分计算单元307还读取存储在下位像素校正数据存储单元312中的下位像素校正图像数据和存储在RGB下位像素校正数据存储单元313中的RGB下位像素值校正图像数据。然后，瑞利散射成分计算单元307计算瑞利散射成分(稍后详细描述)，并将计算出的瑞利散射成分存储在瑞利散射成分数据存储单元315中。
在步骤S507中，合成单元308读取存储在RGB下位像素校正数据存储单元313中的RGB下位像素值校正图像数据。此外，合成单元308读取存储在米氏散射成分数据存储单元314中的米氏散射成分数据、以及存储在瑞利散射成分数据存储单元315中的瑞利散射成分数据。随后，合成单元308进行图像合成(稍后详细描述)，并将合成图像数据存储在微粒去除图像数据存储单元205中。
作为上述处理的结果，完成了步骤S403中的微粒去除处理。
气辉估计
接下来，将描述步骤S502中的气辉计算处理。气辉计算单元301首先将输入图像从RGB图像转换为亮度图像(Y图像)。接下来，气辉计算单元301根据作为转换结果而获得的Y图像生成直方图，将与前1％相对应的值设置为阈值，并且进行鲁棒估计处理，以从像素值大于或等于阈值的像素的位置中确定用于估计气辉的像素。此外，气辉计算单元301基于所确定的像素的像素值来估计气辉。
下面，将参照图7中的流程图来描述实施例中的气辉计算单元301的细节。
在步骤S701中，气辉计算单元301从输入图像数据存储单元204中读取输入图像数据。
在步骤S702中，气辉计算单元301将读取的输入图像数据从RGB图像转换为Y图像。在此，可以应用用于从RGB到Y的颜色转换的常规公式作为转换公式。
在步骤S703中，气辉计算单元301根据在步骤S702中通过转换获得的Y图像(亮度图像)，生成用于进行气辉估计的气辉位置信息的候选(以下称为像素位置候选)。具体地，气辉计算单元301计算所读取的Y图像的直方图，将与距最大值的前1％相对应的值设置为阈值，并且将具有大于或等于阈值的值的像素的位置确定为基准像素位置候选。注意，尽管在本实施例中将前1％设置为阈值，但是实施例不限于此，并且可以采用不同的百分比。
在步骤S704中，气辉计算单元301确定用于实际计算气辉的基准像素位置信息(以下称为像素位置)。具体地，气辉计算单元301基于在步骤S703中确定的像素位置候选，使用基于候选的鲁棒估计(诸如RANSAC方法)来生成气辉位置信息。这是因为自然期望将与天空部分相对应的像素位置作为要选择为气辉的像素位置，并且期望从像素位置候选中排除图像中的天空以外的高亮度部分。通常，天空以外的高亮度部分在图像中占很小的比例，并且趋于具有与天空的颜色不同的亮度。因此，进行鲁棒估计，其中可以将天空以外的高亮度部分视为离群值并排除在外。此外，在该处理中也可以限制像素位置的数量。这是为了避免以下状况：在诸如图像中的天空的颜色具有等级的情况下，图像中的同一天空包括不同的像素值，因此，如果过多像素被参照，则甚至颜色变化的天空部分也要经过估计。
在步骤S705中，为了计算气辉，气辉计算单元301从在步骤S704中确定的像素位置当中，确定首先要从中提取气辉成分的像素位置。这样做，将在步骤S704中确定的像素位置当中的、按光栅扫描顺序的第一像素位置(例如，最左上的像素位置)确定为首先要从中提取气辉成分的像素位置即可。
在步骤S706中，气辉计算单元301将在步骤S705中初始确定的或在步骤S708中确定的基准像素位置的像素值(R、G、B)逐个颜色地相加，并将结果保持在RAM 102等中。
在步骤S707中，气辉计算单元301确定是否已经针对在步骤S704中确定的所有像素位置进行了搜索。如果确定已经针对所有像素位置进行搜索，则气辉计算单元301使处理进入步骤S709，而如果确定未完成搜索，则使处理进入步骤S708。
在步骤S708中，气辉计算单元301将在步骤S704中确定的像素位置移动到下一位置。具体地，在步骤S704中确定的像素位置当中，设置按光栅扫描顺序最接近当前正在参照的像素位置的像素位置。
在步骤S709中，气辉计算单元301通过对在步骤S706中相加并保持在RAM 102等中的相加像素值进行平均，来计算气辉成分。具体地，气辉计算单元301基于以下公式计算气辉成分ARGB。
ARGB＝(ΣAR/n,ΣAG/n,ΣAB/n) (1)
AY＝(ΣAR/n+ΣAG/n+ΣAB/n)/3 (2)
在此，AR、AG、AB和AY分别指示R通道、G通道、B通道和下位像素图像的气辉成分值。此外，n指示在步骤S704中确定的基准像素的总数，并且Σ指示在步骤S704中确定的像素的值的总和。注意，这里给出的公式(1)和(2)仅是示例，并且在实施例中可以使用不同的公式作为气辉估计的计算公式。例如，可以用ΣAR/n、ΣAG/n和ΣAB/n中的最小值替换公式(2)。
可以如上所述估计气辉成分。气辉计算单元301将估计的气辉成分存储在气辉数据存储单元309中。
下位像素图像的创建
接下来，将使用图6A和图6B描述由下位像素图像计算单元302在步骤S501中进行的下位像素图像生成处理。如图6A所示，以输入图像中的给定目标像素P5为中心的外围像素被表示为像素P1至P4和像素P6至P9。此外，像素P1至P9的R、G和B成分值被表达为P1(R1、G1、B1)至P9(R9、G9、B9)。
此外，假设按照R5>B3>R2>…>R4>B1>G9>G7的顺序对这些成分值进行排序。这里，当目标像素P5的下位像素被定义为T1时(如图6B所示)，T1是除最下位成分值G7之外的三个较下位排序成分值的加权平均值，如公式(3)所示。通过采用加权平均值而不是最小值，可以防止下位像素图像被传感器噪声严重影响的状况。即，与采用最小值的情况相比，可以抑制在处理后的图像中生成被传感器噪声严重影响的像素的状况。
T1＝(2×R4+4×B1+2×G9)/8 (3)
下位像素图像计算单元302通过对所有像素进行上述处理来生成下位像素图像。此外，下位像素图像计算单元302将所生成的下位像素图像存储在下位像素图像数据存储单元310中。注意，上述计算方法是用于计算下位像素图像的计算公式的示例，并且在执行该计算公式后无需进行计算。例如，可以通过对从第二到最下位像素的四个较下位排序像素进行平均来进行计算。此外，在本实施例中，虽然通过参照位于目标像素一个像素的距离处的外围像素来生成下位像素，但是当然可以通过参照位于两个像素的距离处的外围像素来计算下位像素，或者可以参照更远距离处的外围像素。应当理解的是，图6A和图6B仅是示例。
基于下位像素图像的校正图像的生成
接下来，将参照图8中的流程图描述由校正处理单元304进行的、基于下位像素图像的校正图像生成处理(图5中的步骤S503)。
在步骤S801中，校正处理单元304从气辉数据存储单元309、下位像素图像数据存储单元310和输入图像数据存储单元204中读取气辉数据、下位像素图像和输入图像。
在步骤S802中，校正处理单元304通过使用气辉数据校正下位像素图像，来计算校正后的下位像素图像lower_A。具体地，校正处理单元304根据以下公式(4)，基于气辉数据来校正下位像素图像。
lower_A＝Tin lower/AY (4)
这里，Tin lower指示在步骤S501中生成的下位像素图像。
在步骤S803中，校正处理单元304基于在步骤S802中计算出的校正后的下位像素图像lower_A来生成透射率分布tlower(x，y)。具体地，将以下公式应用于在步骤S802中生成的lower_A(x，y)。
tlower＝1.0-ω×lower_A(x,y) (5)
在此，ω是用于调整的系数，并且例如是“0.9”。此外，x和y是图像中的水平方向坐标和垂直方向坐标。系数ω是为了防止如下状况而提供的值：在像素的透射光仅由通过微粒(诸如雾的微粒)散射的光构成的情况下，由于透射率为0而导致经过微粒去除处理的目标像素的值等于0，并且系数ω不需要为如上所述的“0.9”。
在步骤S804中，校正处理单元304根据输入图像和从UI输入的图像处理范围数据，对在步骤S803中生成的透射率分布进行整形。进行该整形是因为透射率分布tlower(x，y)需要匹配被摄体的形状，诸如包括在摄像数据中的结构，并且为了将处理范围限制为通过UI指定的透射率分布范围。在直到步骤S803的处理中，透射率分布t(x，y)仅包括摄像数据中的关于近似被摄体形状的信息。因此，进行该整形是因为需要精确地分离被摄体形状。具体地，使用已知的边缘保留滤波器(如在文献“Guided Image Filtering,”Kaiming He,JianSun,and Xiaoou Tang,in ECCV 2010(Oral)中所公开)即可。
接下来，采取措施使得不对使用UI指定的透射率分布范围之外的像素部分进行用于去除微粒影响的处理。对于通过UI指定的超过t_th_max的值和低于t_th_min的值，将tlower(x，y)＝1代入透射率分布tlower(x，y)。
注意，尽管在本实施例中在滤波处理之后应用通过UI设置的值，但是当然也可以首先应用通过UI设置的值。
在步骤S805中，校正处理单元304根据AY和透射率分布tlower(x，y)计算基于下位像素图像的校正图像。具体地，基于下面的公式(6)进行该处理。
Figure BDA0002464369440000141
这里，Jlower是基于下位像素图像的校正图像，I是输入图像，并且t0是用于调整的系数，并且t0例如是“0.1”。在此，t0是为了防止如下状况而提供的值：在tlower为非常小的值的情况下，由于与输入图像I的微小差异(诸如摄像期间的拍摄噪声)而导致Jlower的值大幅波动，并且t0不需要为如上所述的“0.1”。此外，max()是返回括号内排列的一组数值的最大值的函数。
在步骤S806中，校正处理单元304将在步骤S805中计算出的下位像素校正图像Jlower存储在下位像素校正数据存储单元312中。
通过进行上述处理，可以创建基于下位像素图像并且校正了微粒成分的影响的图像。
基于RGB下位像素值图像的校正图像的生成
接下来，将参照图9的流程图描述由基于RGB下位像素图像的校正处理单元305进行的校正图像生成处理(图5中的步骤S504)。
在步骤S901中，校正处理单元305从输入图像数据存储单元204中读取输入图像，并从气辉数据存储单元309中读取气辉数据。
在步骤S902中，校正处理单元305通过使用气辉数据对平面R、G和B中的各个平面的输入图像进行校正(滤波处理)，来计算使用气辉校正的RGB下位像素值图像patch_RGB_A。
首先，校正处理单元305根据下面的公式(7)，通过使用气辉数据校正RGB下位像素值图像，来计算使用气辉校正的RGB下位像素图像patch_RGB_A。
RGB_A(x,y,c)＝Tin RGB(x,y,c)/ARGB (7)
这里，Tin RGB指示校正之前的RGB下位像素值图像数据，而RGB_A指示校正后的RGB下位像素值图像数据。此外，x和y指示图像中的水平方向坐标和垂直方向坐标，并且c指示色平面(为R、G或B)。
接下来，校正处理单元305通过对先前计算的RGB_A进行滤波处理来计算使用气辉校正的RGB下位像素图像patch_RGB_A。在步骤S903之后的处理中，针对所有计算使用patch_RGB_A作为使用气辉校正的RGB下位像素图像。
这里，将参照图10A至图10D描述本处理中的滤波处理的细节。
在图10A至图10D中，示出了对给定目标像素T3进行滤波处理的过程作为示意图。图10A示出了RGB_A。在图10B至图10D中，示出了将图10A分离到平面R、G和B中。T3指示在滤波中要处理的目标像素，T3R、T3G和T3B分别指示平面R、G和B中目标像素T3的成分值。此外，图10B至图10D中的R1至R4、G1至G4以及B1至B4分别指示平面R、G和B中的从距目标像素5×5像素的范围内的最小值起计数的四个值，并且按较大值的顺序将像素值排序为R4>R3>R2>R1。G成分的G1至G4和B成分的B1至B4具有相同的含义。
在对校正后的RGB下位像素值图像数据RGB_A进行滤波处理的情况下，以目标像素T3为中心的5×5像素范围内的平面R、G和B的下位像素针对各颜色而不同，如图10B至图10D所示。因此，根据下面的公式(8)计算如图10B所示的针对R通道的下位像素滤波处理结果T3R。
T3R＝(2×R2+4×R3+2×R4)/8 (8)
类似地，通过将G2、G3和G4代入上面的公式(8)而获得的结果将是在计算G通道的最小值T3G的情况下的结果。这同样适用于B通道的最小值T3B。与下位像素图像的区别在于，对于这些值，采用与目标像素的平面相同的平面的像素值。下位像素图像与RGB下位像素图像不同，并且使用目标像素周围的所有平面的像素来进行计算。因此，可以采用来自平面R、G和B中的任一个的像素，但是在RGB下位像素值的情况下，仅从同一平面采用像素。由于该差异，可以考虑散射光的波长的影响。
随后，通过将该处理应用于RGB_A的所有像素，来计算使用气辉校正的RGB下位像素值图像patch_RGB_A。
在步骤S903中，校正处理单元305基于在步骤S902中计算出的使用气辉校正的RGB下位像素值图像，来创建透射率分布tRGB(x，y，c)。将以下公式应用于在步骤S902中生成的patch_RGB_A。
tRGB＝1.0-ω×patch_RGB_A(x,y,c) (9)
在此，ω是用于调整的系数，并且例如是0.9。系数ω是为了防止如下状况而提供的值：在像素的透射光仅由通过微粒(诸如雾的微粒)散射的光构成的情况下，由于透射率为0而导致经过微粒去除处理的目标像素的值等于0，并且系数ω不需要为如上所述的0.9。
在步骤S904中，校正处理单元305根据输入图像对在步骤S903中生成的透射率分布进行整形，并确保不对通过UI指定的透射率分布范围以外的部分进行处理。具体过程与步骤S804中的过程相同，但是在RGB下位像素值图像的情况下，针对透射率分布tRGB(x，y，c)的各个色平面进行步骤S804中的处理。
在步骤S905中，校正处理单元305根据气辉ARGB和透射率分布tRGB(x，y，c)，基于RGB下位像素值图像计算校正图像。具体地，基于下面的公式(10)进行该处理。
Figure BDA0002464369440000171
在此，JRGB是基于RGB下位像素值图像的校正图像，并且I是输入图像。此外，t0是用于调整的系数，并且例如是0.1。在此，t0是为了防止如下状况而提供的值：在tRGB为非常小的值的情况下，由于与输入图像I的微小差异(诸如摄像期间的拍摄噪声)而导致JRGB的值大幅波动，并且t0不需要为如上所述的0.1。
在步骤S906中，校正处理单元305将在步骤S905中计算出的JRGB存储在RGB下位像素校正数据存储单元313中。
通过进行上述处理，可以创建通过校正RGB下位像素值图像而获得的图像。
米氏散射成分的计算
接下来，将参照图11中的流程图描述由米氏散射成分计算单元306进行的、根据下位像素校正图像数据和输入图像来计算源于米氏散射的光散射成分的处理(步骤S505)。
在步骤S1101中，米氏散射成分计算单元306从下位像素校正数据存储单元312中读取下位像素校正数据，并从输入图像数据存储单元204中读取输入图像。
在步骤S1102中，米氏散射成分计算单元306针对图像中的各个像素减去像素值以提取米氏散射成分。具体地，米氏散射成分计算单元306根据以下公式(11)计算米氏散射成分图像。
·当I(x,y,c)-Jlower(x,y,c)≥0时：
M(x,y,c)＝I(x,y,c)-Jlower(x,y,c)
·当I(x,y,c)-Jlower(x,y,c)<0时：
M(x,y,c)＝0 (11)
在此，M(x，y，c)是米氏散射成分图像。通过该计算可以从图像中提取出米氏散射成分。
在步骤S1103中，米氏散射成分计算单元306将在步骤S1102中计算出的米氏散射成分图像存储在米氏散射成分数据存储单元314中。
通过进行如上所述的处理，可以计算图像中的米氏散射成分。
瑞利散射成分的计算
接下来，将参照图12中的流程图描述由瑞利散射成分计算单元307进行的用于计算瑞利散射成分的处理(步骤S506)。
在步骤S1201中，瑞利散射成分计算单元307从RGB下位像素校正数据存储单元313中读取RGB下位像素值校正图像数据，从米氏散射成分数据存储单元314中读取米氏散射成分图像，并从输入图像数据存储单元204中读取输入图像。
在步骤S1202中，瑞利散射成分计算单元307针对图像中的各个像素减去像素值，以获得瑞利散射成分图像。具体地，根据下面的公式(12)进行计算。
·当I(x,y,c)-JRGB(x,y,c)-M(x,y,c)≥0时：
R(x,y,c)＝I(x,y,c)-JRGB(x,y,c)-M(x,y,c)
·当I(x,y,c)-JRGB(x,y,c)-M(x,y,c)<0时：
R(x,y,c)＝0 (12)
在此，R(x，y，c)是瑞利散射成分图像。通过该计算可以从图像中提取瑞利散射成分。
在步骤S1203中，瑞利散射成分计算单元307将在步骤S1202中计算出的瑞利散射成分图像存储在瑞利散射成分数据存储单元315中。
通过进行如上所述的处理，可以计算图像中的瑞利散射成分。
合成处理
接下来，将描述合成单元308的合成处理(步骤S507)。
合成单元308根据下面的公式13计算合成图像Jout(x，y，c)。
Jout(x,y,c)＝JRGB(x,y,c)+m M(x,y,c)+r R(x,y,c) (13)
在此，m是米氏散射强度系数，并且r是瑞利散射强度系数。在本实施例中，期望在第一参数和第二参数的各个中系数取0与1之间的值，但是当然可以使用其他值。
根据本发明，如上所述，当进行用于去除图像中的微粒成分的影响的处理时，可以基于对象检测结果来改变去除处理的效果。因此，可以获得对象具有较高可见性的图像。
例如，如果将人物设置为要检测的目标(对象)，则可以获得该人物特有的、去除了微粒成分的影响的图像。
注意，与去除微粒有关的上述构造可以在以数字照相机为代表的摄像装置中实现。例如，可以将构造实现为用于以人物作为雾中的被摄体来进行摄像的摄像模式。在这种情况下，将图1中的摄像单元111作为图像处理装置100的构造的一部分包括在内即可。
注意，关于上述处理单元中的对象提取处理单元206、微粒去除处理单元等，可以使用已经经过机器学习的预训练模型代替这些单元来进行处理。在这种情况下，例如，准备用于处理单元的输入数据和输出数据的多种组合作为学习数据。通过机器学习从多个学习数据中获取知识，并且生成如下预训练模型，该预训练模型基于所获取的知识输出与输入数据相对应的输出数据作为结果。例如，可以通过使用神经网络模型来构造预训练模型。此外，预训练模型通过与CPU、GPU等协同操作来进行处理单元的处理，作为用于进行与处理单元的处理等同的处理的程序。注意，在进行预定处理之后，可以根据需要更新上述预训练模型。
其他实施例
还可以通过读出并执行记录在存储介质(也可更完整地称为“非临时性计算机可读存储介质”)上的计算机可执行指令(例如，一个或更多个程序)以执行上述实施例中的一个或更多个的功能、并且/或者包括用于执行上述实施例中的一个或更多个的功能的一个或更多个电路(例如，专用集成电路(ASIC))的系统或装置的计算机，来实现本发明的实施例，并且，可以利用通过由所述系统或装置的所述计算机例如读出并执行来自所述存储介质的所述计算机可执行指令以执行上述实施例中的一个或更多个的功能、并且/或者控制所述一个或更多个电路执行上述实施例中的一个或更多个的功能的方法，来实现本发明的实施例。所述计算机可以包括一个或更多个处理器(例如，中央处理单元(CPU)，微处理单元(MPU))，并且可以包括分开的计算机或分开的处理器的网络，以读出并执行所述计算机可执行指令。所述计算机可执行指令可以例如从网络或所述存储介质被提供给计算机。所述存储介质可以包括例如硬盘、随机存取存储器(RAM)、只读存储器(ROM)、分布式计算系统的存储器、光盘(诸如压缩光盘(CD)、数字通用光盘(DVD)或蓝光光盘(BD)TM)、闪存设备以及存储卡等中的一个或更多个。
本发明的实施例还可以通过如下的方法来实现，即，通过网络或者各种存储介质将执行上述实施例的功能的软件(程序)提供给系统或装置，该系统或装置的计算机或是中央处理单元(CPU)、微处理单元(MPU)读出并执行程序的方法。
虽然参照示例性实施例对本发明进行了描述，但是应当理解，本发明并不限于所公开的示例性实施例。应当对所附权利要求的范围给予最宽的解释，以使其涵盖所有这些变型例以及等同的结构和功能。

Claims (9)

1.一种图像处理装置，其对通过由摄像单元进行的摄像而获得的图像数据进行处理，所述图像处理装置包括：
第一设置单元，其被构造为，基于所述图像数据来设置用于进行去除微粒成分的影响的处理的第一参数；
第一图像处理单元，其被构造为，基于所述第一设置单元设置的所述第一参数来进行微粒去除处理；
第二设置单元，其被构造为，设置不同于所述第一参数的第二参数；
第二图像处理单元，其被构造为，基于所述第二设置单元设置的所述第二参数来进行微粒去除处理；
第三设置单元，其被构造为，设置要使用所述第一图像处理单元的区域、以及要使用所述第二图像处理单元的区域；以及
生成单元，其被构造为，通过将来自所述第一图像处理单元的结果和来自所述第二图像处理单元的结果应用于由所述第三设置单元设置的相应区域来生成去除了微粒的影响的图像数据，
其中，所述第一图像处理单元和所述第二图像处理单元进行米氏散射成分的计算和瑞利散射成分的计算，并且通过生成使用了计算出的米氏散射成分和瑞利散射成分的合成图像，来进行微粒去除处理，
其中，所述第一参数和所述第二参数包括米氏散射强度系数和瑞利散射强度系数，所述米氏散射强度系数和所述瑞利散射强度系数分别指示在所述合成图像的生成中所述米氏散射成分的贡献和所述瑞利散射成分的贡献，并且
与在所述第一参数中相比，在所述第二参数中，所述米氏散射强度系数和所述瑞利散射强度系数具有更小的值，
其中，所述第二参数是与所述第一参数相比，更大程度地去除微粒成分的参数，并且
所述第三设置单元包括：
检测单元，其被构造为，从所述第一图像处理单元获得的图像数据中，检测待检测对象；以及
确定单元，其被构造为，确定所述检测单元检测到对象的区域、以及所述检测单元未检测到对象的区域，并且将未检测到对象的区域设置为所述第二图像处理单元的处理目标。
2.根据权利要求1所述的图像处理装置，
其中，所述生成单元通过针对由所述确定单元确定的检测到对象的区域选择由所述第一图像处理单元获得的图像数据，并针对由所述确定单元确定的未检测到对象的区域选择由所述第二图像处理单元获得的图像数据，来生成合成图像。
3.根据权利要求1所述的图像处理装置，所述图像处理装置还包括所述摄像单元。
4.一种图像处理装置的控制方法，所述图像处理装置对通过由摄像单元进行的摄像而获得的图像数据进行处理，所述控制方法包括：
第一设置步骤，基于所述图像数据来设置用于进行去除微粒成分的影响的处理的第一参数；
第一图像处理步骤，基于所述第一设置步骤中设置的所述第一参数来进行微粒去除处理；
第二设置步骤，设置不同于所述第一参数的第二参数；
第二图像处理步骤，基于所述第二设置步骤中设置的所述第二参数来进行微粒去除处理；
第三设置步骤，设置要使用所述第一图像处理步骤的区域、以及要使用所述第二图像处理步骤的区域；以及
生成步骤，通过将来自所述第一图像处理步骤的结果和来自所述第二图像处理步骤的结果应用于所述第三设置步骤设置的相应区域来生成去除了微粒的影响的图像数据，
其中，所述第一图像处理步骤和所述第二图像处理步骤进行米氏散射成分的计算和瑞利散射成分的计算，并且通过生成使用了计算出的米氏散射成分和瑞利散射成分的合成图像，来进行微粒去除处理，
其中，所述第一参数和所述第二参数包括米氏散射强度系数和瑞利散射强度系数，所述米氏散射强度系数和所述瑞利散射强度系数分别指示在所述合成图像的生成中所述米氏散射成分的贡献和所述瑞利散射成分的贡献，并且
与在所述第一参数中相比，在所述第二参数中，所述米氏散射强度系数和所述瑞利散射强度系数具有更小的值，
其中，所述第二参数是与所述第一参数相比，更大程度地去除微粒成分的参数，并且
所述第三设置步骤包括：
检测步骤，从在所述第一图像处理步骤中获得的图像数据中，检测待检测对象；以及
确定步骤，确定在所述检测步骤中检测到对象的区域、以及在所述检测步骤中未检测到对象的区域，并且将未检测到对象的区域设置为所述第二图像处理步骤的处理目标。
5.根据权利要求4所述的控制方法，
其中，所述生成步骤通过针对在所述确定步骤中确定的检测到对象的区域选择在所述第一图像处理步骤中获得的图像数据，并针对在所述确定步骤中确定的未检测到对象的区域选择在所述第二图像处理步骤中获得的图像数据，来生成合成图像。
6.根据权利要求4所述的控制方法，所述控制方法还包括使用所述摄像单元拍摄图像。
7.一种非暂时性计算机可读存储介质，其存储用于执行图像处理装置的控制方法的计算机可执行的程序，所述图像处理装置对通过由摄像单元进行的摄像而获得的图像数据进行处理，所述控制方法包括：
第一设置步骤，基于所述图像数据来设置用于进行去除微粒成分的影响的处理的第一参数；
第一图像处理步骤，基于所述第一设置步骤中设置的所述第一参数来进行微粒去除处理；
第二设置步骤，设置不同于所述第一参数的第二参数；
第二图像处理步骤，基于所述第二设置步骤中设置的所述第二参数来进行微粒去除处理；
第三设置步骤，设置要使用所述第一图像处理步骤的区域、以及要使用所述第二图像处理步骤的区域；以及
生成步骤，通过将来自所述第一图像处理步骤的结果和来自所述第二图像处理步骤的结果应用于所述第三设置步骤设置的相应区域来生成去除了微粒的影响的图像数据，
其中，所述第一图像处理步骤和所述第二图像处理步骤进行米氏散射成分的计算和瑞利散射成分的计算，并且通过生成使用了计算出的米氏散射成分和瑞利散射成分的合成图像，来进行微粒去除处理，
其中，所述第一参数和所述第二参数包括米氏散射强度系数和瑞利散射强度系数，所述米氏散射强度系数和所述瑞利散射强度系数分别指示在所述合成图像的生成中所述米氏散射成分的贡献和所述瑞利散射成分的贡献，并且
与在所述第一参数中相比，在所述第二参数中，所述米氏散射强度系数和所述瑞利散射强度系数具有更小的值，
其中，所述第二参数是与所述第一参数相比，更大程度地去除微粒成分的参数，并且
所述第三设置步骤包括：
检测步骤，从在所述第一图像处理步骤中获得的图像数据中，检测待检测对象；以及
确定步骤，确定在所述检测步骤中检测到对象的区域、以及在所述检测步骤中未检测到对象的区域，并且将未检测到对象的区域设置为所述第二图像处理步骤的处理目标。
8.根据权利要求7所述的非暂时性计算机可读存储介质，
其中，所述生成步骤通过针对在所述确定步骤中确定的检测到对象的区域选择在所述第一图像处理步骤中获得的图像数据，并针对在所述确定步骤中确定的未检测到对象的区域选择在所述第二图像处理步骤中获得的图像数据，来生成合成图像。
9.根据权利要求7所述的非暂时性计算机可读存储介质，所述控制方法还包括使用所述摄像单元拍摄图像。
CN202010329292.9A 2019-04-25 2020-04-23 图像处理装置及其控制方法和计算机可读存储介质 Active CN111935391B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2019-084427 2019-04-25
JP2019084427A JP7421273B2 (ja) 2019-04-25 2019-04-25 画像処理装置及びその制御方法及びプログラム

Publications (2)

Publication Number Publication Date
CN111935391A CN111935391A (zh) 2020-11-13
CN111935391B true CN111935391B (zh) 2022-10-21

Family

ID=72921543

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010329292.9A Active CN111935391B (zh) 2019-04-25 2020-04-23 图像处理装置及其控制方法和计算机可读存储介质

Country Status (3)

Country Link
US (2) US11636576B2 (zh)
JP (1) JP7421273B2 (zh)
CN (1) CN111935391B (zh)

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003139707A (ja) * 2001-11-05 2003-05-14 Japan Science & Technology Corp 単一波長レーザ誘起蛍光法による大気中二酸化窒素濃度測定方法及びそれを利用した二酸化窒素濃度測定装置
CN103201615A (zh) * 2010-11-05 2013-07-10 株式会社咀嚼机能研究所 拍摄装置以及由该拍摄装置拍摄的图像的图像处理方法以及图像拍摄系统
CN104272347A (zh) * 2012-05-03 2015-01-07 Sk电信有限公司 去除包含在静止图像中的雾的图像处理装置及其方法
CN104755906A (zh) * 2012-11-08 2015-07-01 索尼公司 微粒分取装置和分取微粒的方法
CN106462953A (zh) * 2014-06-12 2017-02-22 Eizo株式会社 图像处理系统及计算机可读记录介质
CN108174113A (zh) * 2016-12-06 2018-06-15 佳能株式会社 图像处理装置

Family Cites Families (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6411305B1 (en) * 1999-05-07 2002-06-25 Picsurf, Inc. Image magnification and selective image sharpening system and method
US7724980B1 (en) * 2006-07-24 2010-05-25 Adobe Systems Incorporated System and method for selective sharpening of images
US8340461B2 (en) 2010-02-01 2012-12-25 Microsoft Corporation Single image haze removal using dark channel priors
CN102637293B (zh) 2011-02-12 2015-02-25 株式会社日立制作所 运动图像处理装置及运动图像处理方法
KR101901184B1 (ko) * 2012-09-20 2018-09-21 삼성전자주식회사 깊이 영상을 사용한 컬러 영상 처리 장치 및 방법
US9659237B2 (en) * 2012-10-05 2017-05-23 Micro Usa, Inc. Imaging through aerosol obscurants
JP6249638B2 (ja) 2013-05-28 2017-12-20 キヤノン株式会社 画像処理装置、画像処理方法及びプログラム
WO2015005196A1 (ja) 2013-07-09 2015-01-15 株式会社日立国際電気 画像処理装置及び画像処理方法
CN104346774B (zh) 2013-07-29 2018-04-03 诺基亚技术有限公司 用于图像增强的方法和装置
JP6282095B2 (ja) * 2013-11-27 2018-02-21 キヤノン株式会社 画像処理装置、画像処理方法およびプログラム。
JP2016173777A (ja) 2015-03-18 2016-09-29 株式会社 日立産業制御ソリューションズ 画像処理装置
KR102390918B1 (ko) 2015-05-08 2022-04-26 한화테크윈 주식회사 안개 제거 시스템
JP6635799B2 (ja) * 2016-01-20 2020-01-29 キヤノン株式会社 画像処理装置、画像処理方法及びプログラム
JP6818463B2 (ja) 2016-08-08 2021-01-20 キヤノン株式会社 画像処理装置、画像処理方法及びプログラム
US10269098B2 (en) * 2016-11-01 2019-04-23 Chun Ming Tsang Systems and methods for removing haze in digital photos
JPWO2019064825A1 (ja) 2017-09-27 2020-12-03 ソニー株式会社 情報処理装置と情報処理方法および制御装置と画像処理装置

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003139707A (ja) * 2001-11-05 2003-05-14 Japan Science & Technology Corp 単一波長レーザ誘起蛍光法による大気中二酸化窒素濃度測定方法及びそれを利用した二酸化窒素濃度測定装置
CN103201615A (zh) * 2010-11-05 2013-07-10 株式会社咀嚼机能研究所 拍摄装置以及由该拍摄装置拍摄的图像的图像处理方法以及图像拍摄系统
CN104272347A (zh) * 2012-05-03 2015-01-07 Sk电信有限公司 去除包含在静止图像中的雾的图像处理装置及其方法
CN104755906A (zh) * 2012-11-08 2015-07-01 索尼公司 微粒分取装置和分取微粒的方法
CN106462953A (zh) * 2014-06-12 2017-02-22 Eizo株式会社 图像处理系统及计算机可读记录介质
CN108174113A (zh) * 2016-12-06 2018-06-15 佳能株式会社 图像处理装置

Also Published As

Publication number Publication date
JP2020181399A (ja) 2020-11-05
US20200342575A1 (en) 2020-10-29
US20230274398A1 (en) 2023-08-31
JP7421273B2 (ja) 2024-01-24
US11636576B2 (en) 2023-04-25
CN111935391A (zh) 2020-11-13

Similar Documents

Publication Publication Date Title
JP6635799B2 (ja) 画像処理装置、画像処理方法及びプログラム
US10719730B2 (en) Image processing apparatus, image processing method, and non-transitory storage medium
JP6579868B2 (ja) 画像処理装置、撮像装置、画像処理方法およびプログラム
JP6818463B2 (ja) 画像処理装置、画像処理方法及びプログラム
JP6833415B2 (ja) 画像処理装置、画像処理方法、及びプログラム
TWI518635B (zh) 影像修復方法及使用該方法的影像處理裝置
US10839529B2 (en) Image processing apparatus and image processing method, and storage medium
US11301974B2 (en) Image processing apparatus, image processing method, image capturing apparatus, and storage medium
US11074742B2 (en) Image processing apparatus, image processing method, and storage medium
JP2014232938A (ja) 画像処理装置、画像処理方法及びプログラム
CN110290310B (zh) 从图像信号中减少阶梯伪像的图像处理装置
CN111935391B (zh) 图像处理装置及其控制方法和计算机可读存储介质
JP6661268B2 (ja) 画像処理装置、画像処理方法及びプログラム
JP2022069197A (ja) 画像処理装置及びその制御方法及びプログラム
JP6494817B2 (ja) 画像処理装置、画像処理方法およびプログラム。
JP7227785B2 (ja) 画像処理装置、画像処理方法およびコンピュータプログラム
JP6314281B1 (ja) 画像処理方法及び前景領域取得方法
JP6324192B2 (ja) 画像処理装置、撮像装置、画像処理方法及びプログラム

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant