CN107682594A - 图像处理装置、摄像装置、图像处理方法和存储介质 - Google Patents

图像处理装置、摄像装置、图像处理方法和存储介质 Download PDF

Info

Publication number
CN107682594A
CN107682594A CN201710622934.2A CN201710622934A CN107682594A CN 107682594 A CN107682594 A CN 107682594A CN 201710622934 A CN201710622934 A CN 201710622934A CN 107682594 A CN107682594 A CN 107682594A
Authority
CN
China
Prior art keywords
brightness
image processing
correction coefficient
processing apparatus
regional area
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201710622934.2A
Other languages
English (en)
Inventor
铃木博
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Olympus Corp
Original Assignee
Olympus Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Olympus Corp filed Critical Olympus Corp
Publication of CN107682594A publication Critical patent/CN107682594A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/32—Determination of transform parameters for the alignment of images, i.e. image registration using correlation-based methods
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50—Constructional details
    • H04N23/55—Optical parts specially adapted for electronic image sensors; Mounting thereof
    • G06T5/94—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/40—Image enhancement or restoration by the use of histogram techniques
    • G06T5/70—
    • G06T5/73—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/40—Analysis of texture
    • G06T7/41—Analysis of texture based on statistical description of texture
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/71—Circuitry for evaluating the brightness variation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/75—Circuitry for compensating brightness variation in the scene by influencing optical camera components
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/64—Circuits for processing colour signals
    • H04N9/646—Circuits for processing colour signals for image enhancement, e.g. vertical detail restoration, cross-colour elimination, contour correction, chrominance trapping filters
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20004—Adaptive image processing
    • G06T2207/20012—Locally adaptive
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20172—Image enhancement details
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20172—Image enhancement details
    • G06T2207/20204—Removing film grain; Adding simulated film grain
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20172—Image enhancement details
    • G06T2207/20208—High dynamic range [HDR] image processing

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Probability & Statistics with Applications (AREA)
  • Facsimile Image Signal Circuits (AREA)
  • Image Processing (AREA)
  • Studio Devices (AREA)

Abstract

提供图像处理装置、摄像装置、图像处理方法和存储介质。图像处理装置具有：劣化度估计部，其按照所述图像数据的每个局部区域估计所述劣化度；统计信息计算部，其根据所述图像数据的每个所述局部区域的统计信息，至少计算所述图像数据的亮度分布中的高亮度部的亮度；校正系数计算部，其根据由所述劣化度估计部估计出的每个所述局部区域的所述劣化度计算校正系数，该校正系数用于进行抑制所述高亮度部的亮度的变动、并且使所述高亮度部以外的亮度向低亮度侧偏移的对比度校正；以及对比度校正部，其根据由所述校正系数计算部计算出的所述校正系数，按照所述图像数据的每个所述局部区域进行对比度校正。

Description

图像处理装置、摄像装置、图像处理方法和存储介质
技术领域
本发明涉及对例如由于霞、霭或雾等的影响而使对比度或色彩等画质受损的图像进行校正的图像处理装置、摄像装置、图像处理方法和存储有图像处理程序的存储介质。
背景技术
有时由于大气中产生的霞、霭、雾等的影响而使图像的对比度或色彩等画质受损。例如，有时在室外拍摄远方的山等的风景照片。在该拍摄中，当远方的山上出现霞时，所拍摄的图像的画质受损。由于该画质的劣化，针对远方的山的视觉辨认性降低。
作为解决这种问题的技术，例如存在日本特开2013-058202号公报的技术。在该日本特开2013-058202号公报所提出的雾(霞)去除方法中，使用暗原色先验这样的事前信息进行与雾的浓淡对应的对比度校正。
日本特开2013-058202号公报等中使用的暗原色先验是R、G、B通道的像素值中的最小值。该暗原色先验表示对应的像素的高亮度、且低彩度的程度。使用这种暗原色先验是基于如下假设：不存在霞的影响的室外图像是彩色的，至少一个颜色通道的像素值较小。因此，在单纯使用暗原色先验的方法中，图像内的高亮度、且低彩度的区域全部视为霞的浓度较高的区域。因此，例如在图像中包含白色建筑物时，有时进行过度的对比度校正。该情况下，生成与期待不同的图像。
发明内容
本发明是鉴于所述情况而完成的，其目的在于，提供能够进行每个局部区域的适当的对比度校正的图像处理装置、摄像装置、图像处理方法和存储有图像处理程序的存储介质。
为了实现所述目的，本发明的第1方式的图像处理装置根据图像数据的画质的劣化度对所述图像数据进行校正，其中，所述图像处理装置具有：劣化度估计部，其按照所述图像数据的每个局部区域估计所述劣化度；统计信息计算部，其根据所述图像数据的每个所述局部区域的统计信息，至少计算所述图像数据的亮度分布中的高亮度部的亮度；校正系数计算部，其根据由所述劣化度估计部估计出的每个所述局部区域的所述劣化度计算校正系数，该校正系数用于进行抑制所述高亮度部的亮度的变动、并且使所述高亮度部以外的亮度向低亮度侧偏移的对比度校正；以及对比度校正部，其根据由所述校正系数计算部计算出的所述校正系数，按照所述图像数据的每个所述局部区域进行对比度校正。
为了实现所述目的，本发明的第2方式的摄像装置具有：摄像元件，其对被摄体进行摄像，生成与所述被摄体相关的影像信号；图像处理部，其对所述影像信号实施图像处理，生成图像数据；以及第1方式所述的图像处理装置。
为了实现所述目的，本发明的第3方式的图像处理方法根据图像数据的画质的劣化度对所述图像数据进行校正，其中，所述图像处理方法具有以下步骤：按照所述图像数据的每个局部区域估计所述劣化度；根据所述图像数据的每个所述局部区域的统计信息，至少计算所述图像数据的亮度分布中的高亮度部的亮度；根据所述估计出的每个所述局部区域的所述劣化度计算校正系数，该校正系数用于进行抑制所述高亮度部的亮度的变动、并且使所述高亮度部以外的亮度向低亮度侧偏移的对比度校正；以及根据所述计算出的所述校正系数，按照所述图像数据的每个所述局部区域进行对比度校正。
为了实现所述目的，本发明的第4方式的计算机可读取的存储介质存储有用于根据图像数据的画质的劣化度对所述图像数据进行校正的图像处理程序，其中，所述图像处理程序使计算机执行以下步骤：按照所述图像数据的每个局部区域估计所述劣化度；根据所述图像数据的每个所述局部区域的统计信息，至少计算所述图像数据的亮度分布中的高亮度部的亮度；根据所述估计出的每个所述局部区域的所述劣化度计算校正系数，该校正系数用于进行抑制所述高亮度部的亮度的变动、并且使所述高亮度部以外的亮度向低亮度侧偏移的对比度校正；以及根据所述计算出的所述校正系数，按照所述图像数据的每个所述局部区域进行对比度校正。
附图说明
图1是示出作为本发明的各实施方式的图像处理装置的应用例的摄像装置的结构的框图。
图2是示出第1实施方式中的霞校正部的结构的框图。
图3A是用于说明用于根据输入图像估计霞成分的方法的图。
图3B是示出估计出的霞成分的图像数据的图。
图4是用于说明亮度直方图的生成方法的图。
图5是示出用于生成亮度直方图的一例的高斯函数的图。
图6A是示出用于说明直方图拉伸的拉伸前的直方图的图。
图6B是示出用于说明直方图拉伸的校正系数的图。
图6C是示出用于说明直方图拉伸的拉伸后的直方图的图。
图7A是示出霞成分的值较大的情况下的拉伸前的直方图的图。
图7B是示出霞成分的值较大的情况下的校正系数的图。
图7C是示出霞成分的值较大的情况下的拉伸后的直方图的图。
图8A是示出霞成分的值较小的情况下的拉伸前的直方图的图。
图8B是示出霞成分的值较小的情况下的校正系数的图。
图8C是示出霞成分的值较小的情况下的拉伸后的直方图的图。
图9是示出摄像装置的拍摄动作的流程图。
图10是示出霞校正处理的流程图。
图11A是示出对比度校正之前的图像的图。
图11B是示出对比度校正之后的图像的图。
图12是示出第2实施方式中的霞校正部的结构的框图。
具体实施方式
下面，参照附图对本发明的实施方式进行说明。
[第1实施方式]
首先，参照附图对本发明的第1实施方式进行说明。图1是示出作为本发明的各实施方式的图像处理装置的应用例的摄像装置的结构的框图。在图1中，粗实线表示影像信号流，细实线表示控制信号流，虚线表示其他信号流。
摄像装置1具有透镜系统100、摄像传感器102、自动对焦用马达(AF马达)103、A/D转换器104、缓存105、测光评价部106、透镜控制部107、图像处理部108、霞校正部109、压缩部110、输出部111、控制部112、外部接口部113。
透镜系统100包括对焦透镜和光圈101等。透镜系统100使来自被摄体的光像在摄像传感器102上成像。对焦透镜沿着光轴移动，由此对透镜系统100的焦点状态进行调整。光圈101进行开闭，由此对入射到摄像传感器102的光线的量进行限制。
AF马达103由透镜控制部107来控制，对透镜系统100的对焦透镜进行驱动。
摄像传感器102设置在透镜系统100的光轴上。摄像传感器102接收来自透镜系统100的光像，生成RGB的模拟影像信号。A/D转换器104将从摄像传感器102输出的模拟影像信号转换为数字影像信号。
缓存105例如是SDRAM，暂时存储从A/D转换器104转送的数字影像信号等各种信号。
测光评价部106根据基于由摄像传感器102得到的数字影像信号得到的测光评价值，设定透镜系统100的光圈101的开口量和从摄像传感器102输出的模拟影像信号的输出电平等。
透镜控制部107包括CPU和ASIC，根据控制部112的控制，对AF马达103进行控制。
图像处理部108对缓存105中存储的数字影像信号进行公知的插值处理、WB校正处理、噪声降低处理等图像处理，将图像处理后的数字影像信号作为图像数据进行输出。
霞校正部109对从图像处理部108转送的图像数据中的例如由于霞的影响而使对比度降低的区域进行对比度校正。霞校正部109在后面详细说明。
压缩部110对从霞校正部109转送的图像数据进行公知的压缩处理、例如JPEG方式等的静态图像压缩或MPEG方式等的动态图像压缩。并且，压缩部110还进行压缩图像数据的再现用的解压缩。
输出部111根据由霞校正部109进行对比度校正后的图像数据，向未图示的显示部输出影像并进行显示，并且，向未图示的记录介质(例如存储卡)输出由压缩部110压缩后的图像数据并进行记录。
控制部112包括CPU和ASIC，分别对测光评价部106、透镜控制部107、图像处理部108、霞校正部109、压缩部110、输出部111进行控制。
外部接口部113是电源开关、快门按钮或用于进行拍摄时的各种模式的切换等的接口。
接着，对霞校正部109进行说明。图2是示出第1实施方式中的霞校正部109的结构的框图。在该图中，粗实线表示数字影像信号流，细实线表示控制信号流，虚线表示其他信号流。
霞校正部109具有霞成分估计部200、局部直方图生成部201、统计信息计算部202、校正系数计算部203、对比度校正部204。它们由CPU等硬件或软件或其组合构成，由控制部112来控制。
作为劣化度估计部的霞成分估计部200估计从图像处理部108转送的图像数据的每个像素的劣化度。这里，劣化度是指图像数据中的、使对比度或色彩这样的画质劣化的要因存在的程度。作为使画质劣化的要因，例如，除了霞、雾、霭、烟这样的现象以外，还举出逆光或光斑这样的拍摄时的特有现象。下面，设劣化度为“霞成分存在的程度”继续进行说明。但是，以下的说明也能够应用于由于霞以外的其他现象而使画质劣化的情况。
根据霞为高亮度且低彩度、即低对比度或低颜色再现这样的特征，进行霞成分的估计。即，高亮度、且低彩度的程度较高的像素被估计为霞成分。
图3A是用于说明用于根据输入图像I估计霞成分Hz的方法的图。并且，图3B是示出估计出的霞成分Hz的图像数据的图。霞成分估计部200根据从图像处理部108转送的输入图像I中的位于坐标(x,y)的像素的R值、G值、B值，进行霞成分Hz(x,y)的估计。这里，当设坐标(x,y)处的R值、G值、B值分别为Ir、Ig、Ib时，根据以下的式(1)来估计霞成分Hz(x,y)。如图3A所示，例如按照每1个像素对输入图像I进行扫描，并且依次进行式(1)所示的估计。由此，得到图3B所示的霞成分的图像。
Hz(x,y)＝min(Ir,Ig,Ib) (1)
在高亮度、且低彩度的区域(图像中霞较多的区域)中，R值、G值、B值相等且较大，所以，式(1)的Hz增大。另一方面，在低亮度或高彩度的区域(图像中霞较少的区域)中，R值、G值、B值中的某个值较小，所以，式(1)的Hz(x,y)减小。这样，霞成分Hz(x,y)具有如下特征：场景中的霞的浓度越浓，则成为越大的值，霞的浓度越淡，则成为越小的值。
这里，为了确保利用式(1)估计出的霞成分的空间连续性，也可以对利用式(1)计算出的霞成分应用双边滤波等低通滤波处理。通过应用低通滤波处理，能够排除噪声的影响。并且，霞成分不限于通过式(1)进行计算。即，只要是表示高亮度、且低彩度的程度的指标，则能够用作霞成分。例如，还能够使用局部对比度值、边缘强度、被摄体距离等作为霞成分。
局部直方图生成部201根据从图像处理部108转送的图像数据生成每个局部区域的亮度直方图。这里，将对象的局部区域内的像素值视为亮度值，对其频度逐一进行计数，由此进行一般的直方图生成。与此相对，在本实施方式中，根据局部区域内的基准像素和附近像素的像素值的值，对针对附近像素的像素值的计数值进行加权。针对附近像素的像素值的计数值例如取0.0～1.0的范围的值。
下面，对亮度直方图的生成方法进行具体说明。图4是用于说明亮度直方图的生成方法的图。在本实施方式中，基准像素与附近像素的像素值的差分越大，则计数值越小。例如，使用图5所示的高斯函数计算这种计数值。
对亮度直方图的生成方法进行具体说明。例如，基准像素设定在图4所示的输入图像数据I中的局部区域R的中心位置。局部区域R例如是7×7像素的区域。设基准像素B例如具有像素(亮度)值(120)。并且，设局部区域R内的第2行第2列的像素即附近像素N1例如具有像素(亮度)值(130)。并且，设局部区域R内的第6行第6列的像素即附近像素N2例如具有像素(亮度)值(50)。基准像素B与附近像素N1的像素值的差的绝对值为10，基准像素B与附近像素N2的像素值的差的绝对值为70。因此，针对附近像素N1的计数值接近1.0(在图5的例子中为0.95)，针对附近像素N2的计数值接近0.0。
这样计算直方图是因为，估计为具有与基准像素的像素值之间的差分较大的像素值的附近像素属于与基准像素不同的区域(不同的被摄体)的可能性较高，具有与基准像素的像素值之间的差分较小的像素值的附近像素属于与基准像素相同的区域(相同的被摄体)的可能性较高。即，通过减小具有与基准像素的像素值之间的差分较大的像素值的附近像素的计数，生成将重点放置在基准像素所属的区域内的局部直方图。
这里，计数值不是必须根据基准像素与附近像素的像素值的差分来决定。例如，计数值也可以根据基准像素与附近像素的彩度值的差分或霞成分的差分来决定。
并且，计数值不是必须通过高斯函数进行计算。即，只要决定为基准像素与附近像素的各种值的差分越大、则计数值越小即可。因此，例如，在计数值的决定中也可以使用查找表或折线近似的表。
并且，也可以对基准像素与附近像素的各种值的差分和阈值进行比较，在阈值以上的情况下，减少附近像素的计数值(例如成为0.0)。
进而，局部直方图生成部201不是必须对像素值的频度进行计数。例如，局部直方图生成部201也可以分别对R值、G值、B值进行计数。并且，例如，局部直方图生成部201也可以将G值作为亮度值进行计数。
统计信息计算部202计算基于从局部直方图生成部201转送的亮度直方图的统计信息的代表亮度。代表亮度例如是亮度直方图的有效亮度范围的低亮度部的亮度、高亮度部的亮度、中间亮度部的亮度。低亮度部的亮度例如是有效亮度范围的最小亮度。高亮度部的亮度例如是有效亮度范围的最大亮度。中间亮度部的亮度例如是重心亮度。最小亮度是根据亮度直方图生成的累积直方图中、累积频度为最大值的5％的亮度。最大亮度是根据亮度直方图生成的累积直方图中、累积频度为最大值的95％的亮度。重心亮度是根据亮度直方图生成的累积直方图中、累积频度为最大值的50％的亮度。与最小亮度、最大亮度、重心亮度对应的累积频度的百分比即5％、50％、95％也可以任意变更。进而，中间亮度部的亮度设为累积直方图中的重心亮度，但是，重心亮度不是必须根据累积频度进行计算。例如，中间亮度部的亮度也可以是亮度直方图的最大频度、中间值、平均值的亮度。
校正系数计算部203根据从霞成分估计部200转送的霞成分和从统计信息计算部202转送的统计信息，计算用于对局部区域内的对比度进行校正的校正系数。例如，当通过直方图拉伸来进行对比度校正时，校正系数计算部203利用统计信息中的重心亮度和最大亮度，计算直方图拉伸用的系数。这里，直方图拉伸是通过扩大直方图的有效亮度范围来强调对比度的处理。
图6A、图6B、图6C是用于说明本实施方式中的直方图拉伸的图。这里，图6A是示出拉伸前的直方图的图。并且，图6B是示出由校正系数计算部203计算出的校正系数的图。并且，图6C是示出拉伸后的直方图的图。
在图6A所示的直方图中，最小亮度用hist_min表示，最大亮度用hist_max表示，重心亮度用hist_cent表示。本实施方式的校正系数计算部203例如计算用于实施保持最大亮度hist_max、并且将重心亮度hist_cent扩大到目标重心亮度tar_cent的线性转换的校正系数。当设图6B所示的线性转换式中的斜率为c_a、线性转换式中的切片为c_b时，c_a和c_b例如用以下的式(2)表示。根据式(2)对图6A所示的直方图进行拉伸。拉伸后的直方图如图6C所示。
这里，图6B所示的线性转换式中的横轴的Yin表示输入图像的亮度数据，纵轴的Yout表示输出图像(对比度校正后)的亮度数据。并且，式(2)所示的目标重心亮度tar_cent是比根据累积直方图计算出的原来的重心亮度hist_cent小的值，例如根据霞成分的值，利用以下的式(3)进行计算。
tar_cent(x,y)＝hist_cent(x,y)-A·Hz(x,y)/Hzmax (3)
这里，式(3)的Hz(x,y)表示坐标(x,y)处的霞成分的值，Hzmax表示针对图像整体的霞成分的最大值。并且，A表示规定的调整参数。作为霞成分的最大值Hzmax，也可以不是根据图像计算出的最大值，而使用规定的固定值。并且，上式(3)由线性式构成，但是，不限于该结构，也可以由非线性式构成。
图7A、图7B、图7C分别示出霞成分的值较大的情况下的拉伸前的直方图、校正系数、拉伸后的直方图。并且，图8A、图8B、图8C分别示出霞成分的值较小的情况下的拉伸前的直方图、校正系数、拉伸后的直方图。
根据式(3)可知，霞成分的值越大，则目标重心亮度tar_cent越向更低亮度侧偏移。即，使用式(3)的线性转换的结果是，局部区域的亮度直方图保持有效亮度范围的最大亮度，并且，霞成分的值越大，则越向低亮度侧拉伸。在图像中霞的浓度较高的区域内，局部直方图在较窄的有效亮度范围内向高亮度侧偏移的可能性较高。因此，在霞的浓度较高的局部区域中，以使得图7C所示的重心亮度向低亮度侧偏移的方式进行直方图拉伸，由此，改善了该局部区域中的对比度。另一方面，在霞成分的值较小的情况下，目标重心亮度与原来的重心亮度之差较小，所以，如图8C所示，几乎不进行直方图拉伸。其结果，抑制了亮度的变动。
在使用现有技术的霞图像的模型式的方法中，根据霞成分的值的大小，减去大气光的值。因此，即使是不存在霞的区域，例如如果在该区域内存在白色被摄体，也会应用较大的校正。其结果，白色被摄体的亮度大幅降低。与此相对，在本实施方式的方法中，通过利用重心亮度的直方图拉伸，保持直方图的最大亮度。因此，在局部区域内相对位于高亮度侧的白色被摄体的亮度的变动减小。
这里，在所述例子中，计算保持直方图的最大亮度hist_max、并且使重心亮度hist_cent成为目标重心亮度tar_cent的校正系数。但是，校正系数的计算方法不限于该结构。例如，也可以针对直方图的最大亮度设定目标最大亮度tar_max，通过使用该最大亮度tar_max的式(2)的运算来计算校正系数。该情况下，优选从hist_max到tar_max的变动量相对小于从hist_cent到tar_cent的变动量。目标最大亮度tar_max也可以高于最大亮度hist_max。
并且，在所述例子中，在直方图拉伸中使用线性转换式，但是不限于此。在直方图拉伸中也可以使用非线性转换式或基于折线近似的表。进而，在所述例子中，使用穿过最大亮度和重心亮度双方的转换式，但是，只要是通过最大亮度、并且使最大亮度以外的亮度部向低亮度侧偏移的转换式即可，转换式不是必须是通过最大亮度和重心亮度双方的转换式。并且，转换式也可以是通过最大亮度、重心亮度、最小亮度的转换式。此时，例如，也可以针对直方图的最小亮度设定作为目标的最小亮度，通过使用该目标最小亮度的运算来计算校正系数。最小亮度向低亮度侧偏移，所以，目标最小亮度小于最小亮度。
并且，在所述例子中，通过直方图拉伸来进行对比度校正，但是不限于此。例如，即使通过直方图平坦化来进行对比度校正，也能够应用本实施方式的技术。
对比度校正部204针对从图像处理部108转送的输入图像，根据从校正系数计算部203转送的校正系数进行对比度校正。式(4)示出对比度校正的运算式。
Yout＝(1.0-st)·Yin+st·Yt
Yt＝c_a·Yin+c_b (4)
这里，如上所述，Yin表示输入图像的亮度数据(像素值)，Yout表示对比度校正后的亮度数据(像素值)。并且，st是表示针对图像整体的校正强度的系数，在0.0～1.0的范围内适当设定。st的值越大，则应用越强的对比度校正。进而，Yt是使用从校正系数计算部203输出的校正系数计算出的校正后的目标亮度数据。如式(4)所示，对比度校正后的亮度Yout成为根据校正强度st的大小对输入亮度Yin和目标亮度Yt进行合成而得到的值。
接着，对本实施方式的摄像装置的拍摄动作进行说明。图9是示出摄像装置1的拍摄动作的流程图。另外，这里对拍摄动作进行说明，但是，在拍摄前的实时取景显示时等也可以应用以下说明的霞校正的处理。
例如，通过用户对快门按钮的操作，开始进行图9的处理。当经由外部接口部113检测到快门按钮的操作后，在步骤S1中，控制部112根据由测光评价部106计算出的曝光时间，开始进行摄像传感器102的摄像动作。此时，摄像传感器102接收来自透镜系统100的光像，输出模拟影像信号。A/D转换器104将由摄像传感器102得到的模拟影像信号转换为数字影像信号，将该数字影像信号转送到缓存105。控制部112将转送到缓存105的数字影像信号输入到图像处理部108。
在步骤S2中，图像处理部108对所取得的数字影像信号进行公知的插值处理、WB校正处理、噪声降低处理等图像处理，生成图像数据，将该图像数据转送到缓存105。控制部112将转送到缓存105的图像数据输入到霞校正部109。
在步骤S3中，霞校正部109对通过图像处理部108的图像处理而得到的图像数据进行霞校正处理，将霞校正处理后的图像数据转送到缓存105。霞校正处理在后面详细说明。
在步骤S4中，控制部112进行图像数据的输出处理。即，控制部112将转送到缓存105的图像数据转送到压缩部110。压缩部110对由霞校正部109进行霞校正处理后的图像数据进行JPEG压缩或MPEG压缩等压缩处理。然后，控制部112对由压缩部110压缩后的图像数据附加包含拍摄日期和拍摄条件等的头信息，生成图像文件。然后，控制部112经由输出部111将图像文件记录在存储卡等中。并且，控制部112将转送到缓存105的图像数据经由输出部111转送到显示部。接收该图像数据，显示部显示基于图像数据的图像。然后，图9的处理结束。
图10是示出霞校正处理的流程图。在步骤S11中，霞成分估计部200估计输入图像数据的各像素的霞成分。然后，霞成分估计部200将估计出的霞成分转送到局部直方图生成部201和对比度校正部204。
在步骤S12中，局部直方图生成部201生成每个局部区域的直方图。如上所述，在生成直方图时，根据局部区域内的基准像素及其附近像素的像素值(亮度值)的差分，对针对附近像素的像素值的计数值进行加权。在生成直方图后，局部直方图生成部201将所生成的亮度直方图转送到统计信息计算部202。
在步骤S13中，统计信息计算部202根据每个局部区域的直方图，计算统计信息。如上所述，统计信息例如是有效亮度范围的最小亮度和最大亮度、以及重心亮度。然后，统计信息计算部202将计算出的统计信息转送到校正系数计算部203。
在步骤S14中，校正系数计算部203根据霞成分估计部200中估计出的霞成分和统计信息计算部202中计算出的统计信息，根据式(2)、(3)设定校正系数c_a、c_b。然后，校正系数计算部203将校正系数c_a、c_b转送到对比度校正部204。
在步骤S15中，对比度校正部204根据从校正系数计算部203转送的校正系数c_a、c_b，进行针对输入图像数据的对比度校正。由此，图10的处理结束。
图11A和图11B是比较并示出对比度校正前后的图像的图。图11A是示出对比度校正前的输入图像的图。图11B是示出对比度校正后的图像的图。在本实施方式的对比度校正中，根据霞成分进行保持高亮度侧的对比度校正，所以，仅去除霞的区域，能够避免对高亮度被摄体即河的区域实施过度的对比度校正。
如以上说明的那样，在第1实施方式中，估计输入图像数据的霞成分，根据估计出的霞成分计算对比度校正用的校正系数，以使得保留输入图像数据的高亮度侧，使其他部分的对比度变化。由此，能够防止对不是霞的高亮度白色被摄体实施过度的对比度校正，并且，能够仅去除霞。即，高亮度白色被摄体的亮度值大致相同、并且是高亮度的可能性较高，所以，通过保留高亮度侧的对比度校正，降低了损失高亮度被摄体的对比度的可能性。其结果，能够得到改善了视觉辨认性的高品质的图像。这种效果不限于图像的记录时，例如在对比度AF或被摄体的识别处理时也能够得到这种效果。
[第2实施方式]
接着，参照附图对本发明的第2实施方式进行说明。这里，在以下的说明中，对与第1实施方式不同的部分进行说明，省略相同部分的说明。
图12示出第2实施方式的霞校正部109的结构图。霞校正部109代替局部直方图生成部201和统计信息计算部202而具有局部最小最大计算部205和加权平均计算部206。
从图像处理部108对局部最小最大计算部205转送输入图像数据，并且，从霞成分估计部200对局部最小最大计算部205转送霞成分。局部最小最大计算部205按照每个局部区域扫描输入图像数据的像素值，计算每个局部区域的最小亮度和最大亮度。然后，局部最小最大计算部205将最小亮度和最大亮度转送到校正系数计算部203。在计算最小亮度和最大亮度时，局部最小最大计算部205将与基准像素之间的像素值的差分较大的附近像素从扫描对象中除外，以使得能够从基准像素所属的区域中检测最小亮度和最大亮度。另外，局部最小最大计算部205也可以构成为，不将像素值的差分较大的附近像素从扫描对象中除外，例如从利用低通滤波器等去除了噪声后的像素值中搜索最小亮度、最大亮度。
从图像处理部108向加权平均计算部206转送输入图像数据。加权平均计算部206通过施加以局部区域的基准像素为基准的加权平均滤波器，计算针对局部区域的代表亮度。该加权平均滤波器例如是使针对与基准像素之间的像素值的差分较大的近像素的权重变小的滤波器。然后，加权平均计算部206将计算出的代表亮度转送到校正系数计算部203。
校正系数计算部203的结构基本上与第1实施方式中说明的结构相同。但是，在第2实施方式中，作为式(2)中使用的最大亮度，使用由局部最小最大计算部205计算出的最大亮度，作为重心亮度，使用由加权平均计算部206计算出的代表亮度。
在以上说明的本实施方式中，即使不计算直方图，也能够发挥与第1实施方式相同的效果。
以上根据实施方式说明了本发明，但是，本发明不限于上述实施方式，当然能够在本发明的主旨的范围内进行各种变形和应用。例如，在所述实施方式中，针对输入图像数据的全部像素计算校正系数。但是，例如，也可以根据缩小调整尺寸后的输入图像数据计算校正系数。通过根据缩小调整尺寸后的输入图像数据计算校正系数，能够期待减轻处理负荷和避免噪声影响的效果。
并且，上述实施方式的各处理也可以作为能够由作为计算机的控制部112执行的程序进行存储。除此之外，可以存储在磁盘、光盘、半导体存储器等外部存储装置的存储介质中进行发布。而且，控制部112读入该外部存储装置的存储介质中存储的程序，通过该读入的程序对动作进行控制，由此能够执行上述处理。
进而，在上述实施方式中包含各种阶段的发明，通过所公开的多个结构要件的适当组合，能够提取各种发明。例如，在即使从实施方式所示的全部结构要件中删除若干个结构要件也能够解决上述课题并得到上述效果的情况下，删除了该结构要件的结构也能够作为发明来提取。

Claims (20)

1.一种图像处理装置，其根据图像数据的画质的劣化度对所述图像数据进行校正，其中，所述图像处理装置具有：
劣化度估计部，其按照所述图像数据的每个局部区域估计所述劣化度；
统计信息计算部，其根据所述图像数据的每个所述局部区域的统计信息，至少计算所述图像数据的亮度分布中的高亮度部的亮度；
校正系数计算部，其根据由所述劣化度估计部估计出的每个所述局部区域的所述劣化度计算校正系数，该校正系数用于进行抑制所述高亮度部的亮度的变动、并且使所述高亮度部以外的亮度向低亮度侧偏移的对比度校正；以及
对比度校正部，其根据由所述校正系数计算部计算出的所述校正系数，按照所述图像数据的每个所述局部区域进行对比度校正。
2.根据权利要求1所述的图像处理装置，其中，
所述统计信息计算部还根据每个所述局部区域的统计信息，计算所述图像数据的亮度分布中的中间亮度部，
所述校正系数计算部根据所述高亮度部的亮度和所述中间亮度部的亮度，计算所述校正系数。
3.根据权利要求2所述的图像处理装置，其中，
所述校正系数计算部计算所述校正系数，使得所述中间亮度部的亮度成为目标亮度。
4.根据权利要求3所述的图像处理装置，其中，
所述校正系数计算部根据所述劣化度设定所述目标亮度。
5.根据权利要求4所述的图像处理装置，其中，
所述校正系数计算部设定随着所述劣化度的增大而值减小的所述目标亮度。
6.根据权利要求3～5中的任意一项所述的图像处理装置，其中，
所述目标亮度的值小于所述中间亮度部的亮度的值。
7.根据权利要求1所述的图像处理装置，其中，
所述统计信息计算部还根据每个所述局部区域的统计信息，计算所述图像数据的亮度分布中的中间亮度部和低亮度部，
所述校正系数计算部根据所述高亮度部的亮度、所述中间亮度部的亮度和所述低亮度部，计算所述校正系数。
8.根据权利要求7所述的图像处理装置，其中，
所述校正系数计算部计算所述校正系数，使得所述中间亮度部的亮度成为第1目标亮度，所述低亮度部的亮度成为第2目标亮度。
9.根据权利要求8所述的图像处理装置，其中，
所述校正系数计算部根据所述劣化度设定所述第1目标亮度、第2目标亮度。
10.根据权利要求9所述的图像处理装置，其中，
所述校正系数计算部设定随着所述劣化度的增大而值减小的所述第1目标亮度、第2目标亮度。
11.根据权利要求8～10中的任意一项所述的图像处理装置，其中，
所述第1目标亮度的值小于所述中间亮度部的亮度的值，所述第2目标亮度的值小于所述低亮度部的亮度的值。
12.根据权利要求2所述的图像处理装置，其中，
所述统计信息计算部根据每个所述局部区域的亮度直方图，至少计算所述高亮度部和所述中间亮度部。
13.根据权利要求12所述的图像处理装置，其中，
所述高亮度部是在所述亮度直方图的有效亮度范围内比所述中间亮度部高的亮度。
14.根据权利要求13所述的图像处理装置，其中，
所述中间亮度部是所述亮度直方图的有效亮度范围内的重心亮度。
15.根据权利要求13所述的图像处理装置，其中，
所述中间亮度部是所述亮度直方图的有效亮度范围内的最大频度的亮度。
16.根据权利要求13所述的图像处理装置，其中，
所述中间亮度部是所述亮度直方图的有效亮度范围内的中间值或平均值。
17.根据权利要求2所述的图像处理装置，其中，
所述统计信息计算部根据每个所述局部区域的加权平均，计算所述中间亮度部。
18.一种摄像装置，其具有：
摄像元件，其对被摄体进行摄像，生成与所述被摄体相关的影像信号；
图像处理部，其对所述影像信号实施图像处理，生成图像数据；以及
权利要求1所述的图像处理装置。
19.一种图像处理方法，其根据图像数据的画质的劣化度对所述图像数据进行校正，其中，所述图像处理方法具有以下步骤：
按照所述图像数据的每个局部区域估计所述劣化度；
根据所述图像数据的每个所述局部区域的统计信息，至少计算所述图像数据的亮度分布中的高亮度部的亮度；
根据所估计出的每个所述局部区域的所述劣化度计算校正系数，该校正系数用于进行抑制所述高亮度部的亮度的变动、并且使所述高亮度部以外的亮度向低亮度侧偏移的对比度校正；以及
根据所计算出的所述校正系数，按照所述图像数据的每个所述局部区域进行对比度校正。
20.一种计算机可读取的存储介质，其存储有用于根据图像数据的画质的劣化度对所述图像数据进行校正的图像处理程序，其中，所述图像处理程序使计算机执行以下步骤：
按照所述图像数据的每个局部区域估计所述劣化度；
根据所述图像数据的每个所述局部区域的统计信息，至少计算所述图像数据的亮度分布中的高亮度部的亮度；
根据所估计出的每个所述局部区域的所述劣化度计算校正系数，该校正系数用于进行抑制所述高亮度部的亮度的变动、并且使所述高亮度部以外的亮度向低亮度侧偏移的对比度校正；以及
根据所计算出的所述校正系数，按照所述图像数据的每个所述局部区域进行对比度校正。
CN201710622934.2A 2016-08-01 2017-07-27 图像处理装置、摄像装置、图像处理方法和存储介质 Pending CN107682594A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2016151328A JP6720012B2 (ja) 2016-08-01 2016-08-01 画像処理装置、撮像装置、画像処理方法及び画像処理プログラム
JP2016-151328 2016-08-01

Publications (1)

Publication Number Publication Date
CN107682594A true CN107682594A (zh) 2018-02-09

Family

ID=61009935

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710622934.2A Pending CN107682594A (zh) 2016-08-01 2017-07-27 图像处理装置、摄像装置、图像处理方法和存储介质

Country Status (3)

Country Link
US (1) US10672134B2 (zh)
JP (1) JP6720012B2 (zh)
CN (1) CN107682594A (zh)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109829860A (zh) * 2018-12-26 2019-05-31 武汉高德智感科技有限公司 全图与局部相结合的图像线性动态范围压缩方法及系统
CN111798534A (zh) * 2020-07-17 2020-10-20 沈阳先进医疗设备技术孵化中心有限公司 图像重建方法、装置、控制台设备及ct系统
CN111937380A (zh) * 2018-04-03 2020-11-13 爱信精机株式会社 图像处理装置
CN112019762A (zh) * 2020-07-23 2020-12-01 北京迈格威科技有限公司 视频处理方法及装置、存储介质及电子设备
CN114630090A (zh) * 2020-12-11 2022-06-14 夏普株式会社 图像处理装置以及图像处理方法
TWI801029B (zh) * 2021-12-09 2023-05-01 財團法人國家實驗研究院 地理資訊動態顯示方法及地理資訊動態顯示系統

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10058393B2 (en) 2015-10-21 2018-08-28 P Tech, Llc Systems and methods for navigation and visualization
CN109360169B (zh) * 2018-10-24 2021-08-10 西南交通大学 一种单幅图像去雨除雾的信号处理方法
TWI719645B (zh) * 2019-09-20 2021-02-21 瑞昱半導體股份有限公司 影像處理電路與相關的影像處理方法
JP7458752B2 (ja) * 2019-11-19 2024-04-01 キヤノン株式会社 画像処理装置、画像処理方法、及びプログラム
CN113015006B (zh) * 2020-06-04 2022-10-14 海信视像科技股份有限公司 显示设备及显示方法
CN115439494B (zh) * 2022-11-08 2023-01-31 山东大拇指喷雾设备有限公司 用于喷雾机质检的喷雾图像处理方法

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101114442A (zh) * 2006-07-28 2008-01-30 创世纪微芯片公司 视频窗检测器
CN101178875A (zh) * 2006-11-10 2008-05-14 精工爱普生株式会社 图像显示控制装置
US20100246967A1 (en) * 2008-09-17 2010-09-30 Takamasa Ando Image processing device, imaging device, evaluation device, image processing method, and optical system evaluation method
US20120301034A1 (en) * 2011-05-25 2012-11-29 Fuji Xerox Co., Ltd. Image processing apparatus, image processing method, and computer readable medium
WO2015156041A1 (ja) * 2014-04-07 2015-10-15 オリンパス株式会社 画像処理装置及び方法、一時的にコンピュータにより読み取り可能な画像処理プログラムを記憶する記録媒体、撮像装置

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4111697B2 (ja) 2001-08-29 2008-07-02 株式会社リコー 画像輝度補正装置、画像読取装置、画像形成装置及びプログラム
US8369646B2 (en) * 2006-05-17 2013-02-05 Sony Corporation Image correction circuit, image correction method and image display
CN102999883B (zh) 2011-09-08 2016-03-02 富士通株式会社 图像去雾方法和系统

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101114442A (zh) * 2006-07-28 2008-01-30 创世纪微芯片公司 视频窗检测器
CN101178875A (zh) * 2006-11-10 2008-05-14 精工爱普生株式会社 图像显示控制装置
US20100246967A1 (en) * 2008-09-17 2010-09-30 Takamasa Ando Image processing device, imaging device, evaluation device, image processing method, and optical system evaluation method
US20120301034A1 (en) * 2011-05-25 2012-11-29 Fuji Xerox Co., Ltd. Image processing apparatus, image processing method, and computer readable medium
WO2015156041A1 (ja) * 2014-04-07 2015-10-15 オリンパス株式会社 画像処理装置及び方法、一時的にコンピュータにより読み取り可能な画像処理プログラムを記憶する記録媒体、撮像装置

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111937380A (zh) * 2018-04-03 2020-11-13 爱信精机株式会社 图像处理装置
CN111937380B (zh) * 2018-04-03 2022-07-01 株式会社爱信 图像处理装置
CN109829860A (zh) * 2018-12-26 2019-05-31 武汉高德智感科技有限公司 全图与局部相结合的图像线性动态范围压缩方法及系统
CN111798534A (zh) * 2020-07-17 2020-10-20 沈阳先进医疗设备技术孵化中心有限公司 图像重建方法、装置、控制台设备及ct系统
CN111798534B (zh) * 2020-07-17 2024-03-08 东软医疗系统股份有限公司 图像重建方法、装置、控制台设备及ct系统
CN112019762A (zh) * 2020-07-23 2020-12-01 北京迈格威科技有限公司 视频处理方法及装置、存储介质及电子设备
CN114630090A (zh) * 2020-12-11 2022-06-14 夏普株式会社 图像处理装置以及图像处理方法
TWI801029B (zh) * 2021-12-09 2023-05-01 財團法人國家實驗研究院 地理資訊動態顯示方法及地理資訊動態顯示系統

Also Published As

Publication number Publication date
US10672134B2 (en) 2020-06-02
JP2018022232A (ja) 2018-02-08
US20180033154A1 (en) 2018-02-01
JP6720012B2 (ja) 2020-07-08

Similar Documents

Publication Publication Date Title
CN107682594A (zh) 图像处理装置、摄像装置、图像处理方法和存储介质
JP6020199B2 (ja) 画像処理装置、方法、及びプログラム、並びに撮像装置
US8982232B2 (en) Image processing apparatus and image processing method
US8970722B2 (en) Image processing apparatus and method of controlling the same
JP4803284B2 (ja) 画像処理装置、及び画像処理プログラム
JP5574792B2 (ja) 撮影装置
JP6559229B2 (ja) 画像処理装置、撮像装置、画像処理方法及び画像処理装置の画像処理プログラムを記憶した記憶媒体
JP4810473B2 (ja) 画像処理装置および画像処理プログラム
JP2008124625A (ja) 撮像装置
CN101661615A (zh) 对对象图像实施灰度修正的图像处理装置
CN111612725B (zh) 一种基于可见光图像对比度增强的图像融合方法
JP5781372B2 (ja) 画像処理装置及び撮像装置
JP4639037B2 (ja) 画像処理方法および装置
JP5468930B2 (ja) 画像処理装置及び画像処理プログラム
CN114862698A (zh) 一种基于通道引导的真实过曝光图像校正方法与装置
JP2015201731A (ja) 画像処理装置及び方法、画像処理プログラム、撮像装置
KR101650050B1 (ko) 화상 처리 장치, 방법, 및 프로그램
JP2011171842A (ja) 画像処理装置及び画像処理プログラム
JP3817635B2 (ja) カラ−画像処理装置および処理方法
JP6324235B2 (ja) 画像処理装置および画像処理方法
JP5159647B2 (ja) 画像処理装置及び画像処理方法
JP2006166030A (ja) 色雑音低減手法およびカラー撮像装置
JP2015213276A (ja) 画像処理装置および画像処理方法
JP2003256773A (ja) 文書画像処理装置、撮像装置及び文書画像処理プログラム
JP2013081235A (ja) 画像処理装置及び画像処理方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20180209

WD01 Invention patent application deemed withdrawn after publication