CN106464816A - 图像处理设备及其图像处理方法 - Google Patents

图像处理设备及其图像处理方法 Download PDF

Info

Publication number
CN106464816A
CN106464816A CN201580025593.XA CN201580025593A CN106464816A CN 106464816 A CN106464816 A CN 106464816A CN 201580025593 A CN201580025593 A CN 201580025593A CN 106464816 A CN106464816 A CN 106464816A
Authority
CN
China
Prior art keywords
area
image
pixel
color
image processing
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201580025593.XA
Other languages
English (en)
Other versions
CN106464816B (zh
Inventor
北岛光太郎
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Inc filed Critical Canon Inc
Publication of CN106464816A publication Critical patent/CN106464816A/zh
Application granted granted Critical
Publication of CN106464816B publication Critical patent/CN106464816B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/77—Circuits for processing the brightness signal and the chrominance signal relative to each other, e.g. adjusting the phase of the brightness signal relative to the colour signal, correcting differential gain or differential phase
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B7/00—Control of exposure by setting shutters, diaphragms or filters, separately or conjointly
    • G03B7/08—Control effected solely on the basis of the response, to the intensity of the light received by the camera, of a built-in light-sensitive device
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/70—Denoising; Smoothing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/90—Dynamic range modification of images or parts thereof
    • G06T5/94—Dynamic range modification of images or parts thereof based on local image properties, e.g. for local contrast enhancement
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/10—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths
    • H04N23/12—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths with one sensor only
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H04N23/84—Camera processing pipelines; Components thereof for processing colour signals
    • H04N23/88—Camera processing pipelines; Components thereof for processing colour signals for colour balance, e.g. white-balance circuits or colour temperature control
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B7/00—Control of exposure by setting shutters, diaphragms or filters, separately or conjointly
    • G03B7/28—Circuitry to measure or to take account of the object contrast
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Image Processing (AREA)
  • Exposure Control For Cameras (AREA)
  • Color Television Image Signal Generators (AREA)
  • Studio Devices (AREA)

Abstract

公开了一种图像处理设备及其控制方法，其中该图像处理设备及其控制方法可以对图像中的像素的明度进行校正。通过向图像应用平滑化来估计拍摄图像时的环境光的反射特性。通过计算用于基于环境光的反射特性对像素的明度进行校正的校正值、并且将该校正值与像素相加，来对像素的明度进行校正。可以在抑制噪声的放大和被摄体的细节丢失的情况下，对明度进行校正。

Description

图像处理设备及其图像处理方法
技术领域
本发明涉及图像处理设备及其控制方法，并且特别涉及用于校正图像的明度的技术。
背景技术
已知有通过利用来自虚拟光源的光照射图像中的被摄体来校正明度的传统技术(“重新照亮”)(日本特开2010-135996)。该技术使得可以使环境光所产生的诸如阴影等的暗区域变得明亮，从而能够校正图像，以使得可以识别出例如被遮挡阴影中所存在的被摄体。
例如，在针对面部区域进行重新照亮的情况下，提取出亮度比面部区域整体的平均亮度低的区域作为阴影区域，并且提高阴影区域的明度，结果可以在不会影响其它区域的明度的情况下抑制面部区域中的阴影。
日本特开2010-135996所公开的方法通过增加增益来提高阴影区域的明度。然而，增益的增加除放大了信号成分外，还放大了噪声成分，这导致校正后的区域的S/N比下降。日本特开2010-135996应用噪声降低滤波器来抑制S/N比的下降，但噪声降低处理是平滑化的应用，这可能导致图像的细节丢失。
发明内容
在有鉴于传统技术的这些问题进行实现的情况下，本发明提供能够在抑制噪声放大和被摄体细节丢失的情况下、校正像素的明度的图像处理设备及其控制方法。
根据本发明的一个方面，提供一种图像处理设备，用于对图像中的像素的明度进行校正，所述图像处理设备包括：估计部件，用于估计拍摄所述图像时的环境光的反射特性；计算部件，用于计算基于所述环境光的反射特性来对所述像素的明度进行校正的校正值；以及校正部件，用于通过将所述校正值与所述像素相加来对所述像素的明度进行校正，其中，所述估计部件通过向所述图像应用平滑化来估计所述环境光的反射特性。
根据本发明的另一方面，提供一种摄像设备，包括：根据本发明的图像处理设备；以及拍摄部件，用于拍摄所述图像。
根据本发明的又一方面，提供一种图像处理设备，包括：计算部件，用于计算用于校正对象图像中的第一区域的明度的校正值；确定部件，用于确定所述计算部件在计算所述校正值时所参考的处于所述对象图像中的第二区域；以及校正部件，用于对所述第一区域的明度进行校正，其中，所述确定部件基于所述第一区域的颜色信息来确定所述第二区域，所述计算部件基于所述第二区域的颜色信息来计算针对所述第一区域内的多个颜色的各颜色信号的多个校正值，以及所述校正部件通过基于所述计算部件所计算出的多个校正值校正所述第一区域内的多个颜色的各颜色信号，来校正所述第一区域的明度。
根据本发明的还一方面，提供一种图像处理设备，包括：校正部件，用于校正对象图像中的第一区域的明度；以及确定部件，用于确定所述校正部件校正所述第一区域的明度时所参考的处于所述对象图像中的第二区域，其中，所述校正部件在校正所述第一区域的明度时，使所述第一区域的颜色信息接近所述第二区域的颜色信息。
根据本发明的还一方面，提供一种图像处理方法，用于对图像中的像素的明度进行校正，所述图像处理方法包括以下步骤：估计步骤，用于估计拍摄所述图像时的环境光的反射特性；计算步骤，用于计算基于所述环境光的反射特性来校正所述像素的明度进行校正的校正值；以及校正步骤，用于通过将所述校正值与所述像素相加来对所述像素的明度进行校正，其中，所述估计步骤通过向所述图像应用平滑化来估计所述环境光的反射特性。
根据本发明的还一方面，提供一种图像处理方法，包括以下步骤：计算步骤，用于计算用于校正对象图像中的第一区域的明度的校正值；确定步骤，用于确定所述计算步骤中计算所述校正值时所参考的处于所述对象图像中的第二区域；以及校正步骤，用于校正所述第一区域的明度，其中，所述确定步骤基于所述第一区域的颜色信息来确定所述第二区域，所述计算步骤基于所述第二区域的颜色信息来计算针对所述第一区域内的多个颜色的各颜色信号的多个校正值，以及所述校正步骤通过基于所述计算步骤中所计算出的多个校正值校正所述第一区域内的多个颜色的各颜色信号，来校正所述第一区域的明度。
根据本发明的还一方面，提供一种图像处理方法，包括以下步骤：校正步骤，用于校正对象图像中的第一区域的明度；以及确定步骤，用于确定所述校正步骤校正所述第一区域的明度时所参考的处于所述对象图像中的第二区域，其中，所述校正步骤在校正所述第一区域的明度时，使所述第一区域的颜色信息接近所述第二区域的颜色信息。
通过以下(参考附图)对典型实施例的说明，本发明的其它特征将变得明显。
附图说明
图1是示出根据本发明的数字照相机的结构的框图。
图2是示出根据本发明的图像处理单元的结构的框图。
图3是示出根据本发明的第一实施例的光源特性提取单元所进行的处理的流程图。
图4A和4B是示出根据本发明实施例的被摄体的示例的图。
图5A和5B是示出根据本发明的第一实施例的用于添加虚拟光源的处理的流程图。
图6是示出根据本发明的第一实施例的重新照亮处理单元的结构的框图。
图7A和7B是示出根据本发明的被摄体和虚拟光源之间的关系的图。
图8A和8B是示出根据本发明的第二实施例的用于添加虚拟光源的处理的流程图。
图9是示出根据本发明的第二实施例的重新照亮处理单元的结构的框图。
具体实施方式
现在将根据附图来详细说明本发明的典型实施例。注意，以下实施例说明了应用数字照相机作为根据本发明的图像处理设备的示例。注意，“数字照相机”是指具有使用光电转换装置的摄像功能的电子装置，因而包括诸如蜂窝电话、视频游戏装置和个人计算机等的具有照相机(或者可以使用照相机)的任何电子装置。然而，摄像功能不是本发明所必须的，并且根据本发明的图像处理设备可以用在能够处理图像的任何电子装置中。
第一实施例
图1是示出根据本发明的第一实施例的数字照相机100的结构的示例的框图。
在图1中，透镜组101与包括调焦透镜的变焦镜头相对应。在透镜组101和摄像单元103之间设置具有光圈功能的快门102。摄像单元103具有用于将透镜组101在图像面上所形成的光学图像转换成以像素为单位的电气信号的诸如CCD/CMOS图像传感器等的图像传感器。A/D转换器104将摄像单元103所输出的模拟信号转换成数字信号(图像数据)。
图像处理单元105对从A/D转换器104输出的图像数据进行各种图像处理，诸如颜色插值(去马赛克)、白平衡调整、γ校正、边缘增强、噪声降低和颜色校正等。图像存储器106临时存储图像数据。存储器控制单元107控制图像存储器106的读取/写入。D/A转换器108将图像数据转换成模拟信号。显示单元109具有诸如LCD或有机EL显示器等的显示装置，并且显示各种GUI、实时取景图像和从记录介质112读出并重放的图像等。编解码单元110使用用于将数据记录在记录介质中的预定方法来对图像存储器106中所存储的图像数据进行编码，对图像文件中所包含的编码图像数据进行解码以例如显示该数据，等等。
接口(I/F)111使作为诸如半导体存储卡或卡型硬盘等的可移除介质的记录介质112机械且电气地连接至数字照相机100。系统控制单元50例如可以是诸如CPU或MPU等的可编程处理器。系统控制单元50通过执行例如非易失性存储器121或内部非易失性存储器中所记录的程序并且控制这些程序所需的块和电路等来实现数字照相机100的功能。重新照亮处理单元114对拍摄图像执行重新照亮处理。
操作单元120是使用户向数字照相机100输入各种指示所经由的按钮和开关等合并的单元。
非易失性存储器121是可以以电气方式记录和擦除的存储器，并且例如可以是EEPROM等。非易失性存储器121存储各种配置值、GUI数据，并且在系统控制单元50是MPU或CPU等的情况下，存储系统控制单元50要执行的程序。
系统存储器122用于加载系统控制单元50的操作用的常数和变量、以及从非易失性存储器121读出的程序等。
接着，将说明数字照相机100在拍摄图像时所进行的操作。
例如，摄像单元103在快门102打开时，使用图像传感器来对透镜组101形成在图像面上的被摄体图像进行光电转换，并且将转换得到的图像作为模拟图像信号输出至A/D转换器104。A/D转换器104将从摄像单元103输出的模拟图像信号转换成数字图像信号(图像数据)并且将该数字图像信号输出至图像处理单元105。
图像处理单元105对来自A/D转换器104的图像数据或来自存储器控制单元107的图像数据执行各种图像处理，诸如颜色插值(去马赛克)、γ校正、边缘增强、噪声降低和颜色校正等。
另一方面，图像处理单元105使用所拍摄到的图像数据来进行与亮度和对比度等有关的预定计算处理，并且系统控制单元50基于通过这些计算所获得的结果来进行调焦控制和曝光控制。这样，根据本实施例的数字照相机100执行通过镜头(TTL)自动调焦(AF)处理和自动曝光(AE)处理等。图像处理单元105还使用所拍摄到的图像数据来执行自动白平衡(AWB)调整。
经由存储器控制单元107将从图像处理单元105输出的图像数据写入图像存储器106。图像存储器106存储从摄像单元103输出的图像数据和显示单元109中的显示所用的图像数据等。
另一方面，D/A转换器108将图像存储器106中所存储的图像显示所用的数据转换成模拟信号，并且将该模拟信号供给至显示单元109。显示单元109基于来自D/A转换器108的模拟信号来执行作为LCD等的显示装置中的显示。
编解码单元110基于诸如JPEG或MPEG等的标准来对记录到图像存储器106中的图像数据进行编码。系统控制单元50形成编码后的图像数据被分配到预定头部等的图像文件，并且将该文件经由接口111记录到记录介质112中。
注意，在当前的数字照相机中，显示单元109通常通过在拍摄待机状态下拍摄动画并且将所拍摄到的动画连续地显示在显示单元109中，来用作电子取景器(EVF)。在这种情况下，使快门102保持打开，并且使用所谓的摄像单元103的电子快门来按例如30帧/秒执行拍摄。
然后，在半按下操作单元120中所包括的快门按钮的情况下，执行上述的AF和AE控制；然后，在全按下快门按钮的情况下，执行用于实际拍摄图像的处理以拍摄记录所用的静止图像，并且将该静止图像记录到记录介质112中。在使用动画拍摄按钮等作出拍摄动画的指示的情况下，开始向记录介质12的动画的记录。
图2是示出图像处理单元105的功能结构的示例的框图。
将从图1所示的A/D转换器104输出的图像数据输入至亮度/颜色信号生成单元200。该图像数据具有针对图像传感器中所设置的颜色滤波器中的各颜色成分的值。在使用典型的拜耳原色滤波器阵列的情况下，图像数据包括R像素、G像素和B像素的数据。
亮度/颜色信号生成单元200对这种图像数据进行去马赛克处理，针对各像素生成颜色信号R、G和B，并且还根据这些颜色信号生成亮度信号Y。亮度/颜色信号生成单元200将所生成的颜色信号R、G和B输出至白平衡(WB)放大单元203，并且将亮度信号Y输出至边缘增强处理单元201。
边缘增强处理单元201对亮度信号Y执行边缘增强处理，并且将处理后的信号输出至亮度伽玛处理单元202。亮度伽玛处理单元202对亮度信号Y执行伽玛校正，并且将校正后的亮度信号Y输出至图像存储器106。
基于系统控制单元50通过后面将说明的处理所计算出的白平衡增益值，WB放大单元203通过向颜色信号R、G和B应用增益来调整这些颜色信号R、G和B的白平衡。颜色转换处理单元204通过针对颜色信号R、G和B的矩阵处理而转换成期望的颜色平衡。颜色伽玛处理单元205对颜色信号R、G和B执行伽玛校正。色差信号生成单元206根据颜色信号R、G和B生成色差信号R-Y和B-Y，并且将所生成的信号输出至图像存储器106。
输出至图像存储器106的亮度信号以及色差信号R-Y和B-Y由编解码单元110进行编码，并且最终被记录到记录介质112中。
颜色转换处理单元204输出的颜色信号R、G和B还被输入至光源特性提取单元207。光源特性提取单元207提取环境光源下的被摄体的反射特性信息作为光源特性信息，并且将该光源特性信息记录在系统存储器122中。
将使用图3的流程图来说明光源特性提取单元207所进行的操作。以像素为单位提取光源特性。
在S301中，光源特性提取单元207根据处理对象像素的颜色信号R、G和B生成亮度(L)信号、色相(H)信号和饱和度(S)信号。
在S302中，光源特性提取单元207判断处理对象像素是否在预定特征区域、例如面部检测单元113所检测到的面部区域(图4A的401)内，在像素不在该区域内的情况下结束该处理，并且在像素在该区域内的情况下使处理进入S303。
在S303中，光源特性提取单元207判断处理对象像素的颜色是否与特定颜色匹配。这里，由于预定特征区域是面部区域，因此判断像素是否在定义预定肤色范围的颜色空间范围内。图4B示出CrCb(或UV)颜色空间所定义的肤色区域410的示例。注意，在S303中所进行的判断中，可以使用HS坐标系，或者如图4B所示，可以使用能够根据颜色信号R、G和B转换成的其它颜色空间坐标系。
在S303中判断为处理对象像素的颜色在颜色空间的预定范围内的情况下，光源特性提取单元207使处理进入S304，而在判断为颜色不在预定范围内的情况下，针对该处理对象像素的处理结束。在图4A所示的图像的示例中，在处理了肤色区域410内的像素403和404的情况下，光源特性提取单元207使处理进入S304；在处理了不在肤色区域410内的像素402的情况下，处理结束。
在S304中，光源特性提取单元207基于处理对象像素的亮度信号值是否大于或等于预定值来判断该亮度信号值是否与预定的高亮度值匹配。S304是用于提取如下的被摄体区域的处理，其中，强的环境光正落在该被摄体区域上。在图4A所示的图像的示例中作为高亮度像素的像素403是处理对象像素的情况下，光源特性提取单元207使处理进入S305；在由于阴影等的影响因而亮度低的像素404是处理对象像素的情况下，该处理结束。
在S305中，光源特性提取单元207以颜色成分为单位来对满足S302～S304的所有条件的处理对象像素的颜色信号R、G和B进行积分。积分结果为(Rt,Gt,Bt)。
在S306中，光源特性提取单元207对积分后的像素的数量进行计数(+1)。计数数量为N。
以上说明了光源特性提取单元207的处理。通过该处理，可以提取出被摄体的特定区域中的如下像素区域的信息，其中该像素区域具有特定颜色并且由于环境光正落在该像素区域上因而具有高亮度，诸如图4A的403等。
以上说明了例如顺次处理拍摄图像的整体或其预定部分中的像素的情况。然而，例如，可以对诸如面部区域等的特定被摄体区域中的像素执行光源特性提取处理。在这种情况下，不需要S302的判断。
接着，将说明针对从图像处理单元105输出的图像所执行的重新照亮处理。在本实施例中，重新照亮处理由重新照亮处理单元114使用系统控制单元50所计算出的控制参数来执行。因此，首先，将使用图5A所示的流程图来说明用于计算并设置重新照亮处理中所使用的控制参数的处理。
在S501中，系统控制单元50经由操作单元120从用户接受用以执行重新照亮处理的指示。具体地，系统控制单元50接受经由操作单元120所进行的通过菜单(未示出)选择执行重新照亮处理的用户操作。除用以执行重新照亮处理的指示外，系统控制单元50例如还接受经由菜单画面所指定的重新照亮处理的参数。
为了简化本实施例的说明，假定用户输入虚拟光源的位置和光源的强度(α)作为重新照亮参数(可以使用从预先设置的选择项中选择参数的方法)。假定虚拟光源垂直地照射被摄体面，则确定虚拟光源的位置还确定了虚拟光源的光照最强的位置(中心照射位置)。
图7A示意性示出虚拟光源位置和中心照射位置的示例。图7A示出虚拟光源701具有照射范围703和中心照射位置702的状态。假定虚拟光源仅影响照射范围703。
返回图5A，在S502中，系统控制单元50计算特定颜色的高光反射特性(Rs,Gs,Bs)。特定颜色的高光反射特性是拍摄时所反射的环境光被被摄体的具有特定颜色的部分反射的高光部分(高亮度部分)的RGB平均值。在本实施例中，光源特性提取单元207得出被摄体的区域中具有肤色且具有高亮度的像素的积分值(Rt,Gt,Bt)。这是因为，反射物体颜色的扩散反射成分在低亮度区域中占主导，而高光(高亮度)区域包含扩散反射成分和用于反映环境光源颜色的镜面反射成分这两者。
系统控制单元50将光源特性提取单元207所计算出的积分值(Rt,Gt,Bt)除以S306中所计算出的计数数量N，并且计算出环境光对肤色区域光照强的高光部分的颜色(Rs,Gs,Bs)作为肤色高光反射特性。
在S503中，系统控制单元50生成用于将照射的虚拟光源的颜色转换并表示为摄像期间的环境光的颜色的增益(系数)，并且在重新照亮处理单元114中设置该增益。按照用户期望来设置虚拟光源的颜色增益(Rv-Gain,Bv-Gain)，并且在虚拟光源和环境光源是相同颜色的情况下，颜色增益如下所述：
Rv-Gain＝1
Bv-Gain＝1
在S504中，系统控制单元50指示重新照亮处理单元114执行重新照亮处理。
接着，将说明重新照亮处理单元114的结构及其所进行的操作的示例。
图6是示出重新照亮处理单元114的结构的框图。
图6所示的RGB信号转换单元601将从图像存储器106输入的亮度和色差信号(Y,B-Y,R-Y)转换成颜色信号(R,G,B)。去伽玛(degamma)处理单元602执行去伽玛处理(亮度伽玛处理单元202和颜色伽玛处理单元205所进行的处理的逆处理)。
虚拟光源处理单元603将虚拟光源所提供的照亮效果添加至图像。平滑化处理单元604向去伽玛处理单元602所输出的颜色信号(R,G,B)应用平滑化并且将平滑化后的信号输出至虚拟光源处理单元603。色相/饱和度转换单元605将去伽玛处理单元602所输出的RGB信号转换成色相和饱和度信号(H,S)。
伽玛处理单元606对虚拟光源处理单元603所输出的颜色信号(R、G和B)执行伽玛校正。亮度/色差信号生成单元607将伽玛校正后的颜色信号(R,G,B)转换成亮度和色差信号(Y,B-Y,R-Y)，并且将这些信号输出至图像存储器106。
接着，将说明重新照亮处理单元114所进行的操作。
重新照亮处理单元114读出记录到图像存储器106中的亮度/色差信号(Y,B-Y,R-Y)，并且将这些信号作为输入。RGB信号转换单元601将所输入的亮度/色差信号(Y,B-Y,R-Y)转换成RGB信号并且将这些信号输出至去伽玛处理单元602。
去伽玛处理单元602通过执行具有与图像处理单元105的伽玛处理单元所应用的伽玛特性相逆的特性的处理来将信号转换成线性数据。将线性转换后的RGB信号输出至虚拟光源处理单元603、平滑化处理单元604和色相/饱和度转换单元605。注意，去伽玛处理单元602可以设置在RGB信号转换单元601的前级并且执行去伽玛处理。例如，可以向Y信号应用相对于亮度伽玛处理单元202的逆处理，可以在使色差信号R-Y和B-Y恢复为RGB信号之后向色差信号R-Y和B-Y应用相对于颜色伽玛处理单元205的逆处理，并且可以将这些信号重新转换成色差信号R-Y和B-Y并输入至RGB信号转换单元601。
在平滑化处理单元604中，处理对象像素的去伽玛处理后的RGB格式的颜色信号(Rt,Gt,Bt)中的各颜色成分被该像素和周围像素的颜色信号值之间的平均值替换。例如，针对各颜色成分来计算以处理对象像素为中心的3×3像素区域中的九个像素的平均值，并且将这些平均值作为平滑化后的处理对象像素的颜色成分值。注意，该方法仅是平滑化的一个示例，并且可以使用任何期望方法。将平滑化处理单元604平滑化后的颜色信号(Ra,Ga,Ba)输出至虚拟光源处理单元603。通过应用平滑化所获得的颜色信号(Ra,Ga,Ba)表示处理对象像素附近的环境光反射特性。
色相/饱和度转换单元605将所输入的去伽玛处理后的RGB格式的颜色信号(Rt,Gt,Bt)转换成色相(H)和饱和度(S)，并且将转换后的色相(H)信号和饱和度(S)信号输出至虚拟光源处理单元603。
将使用图5B的流程图来说明虚拟光源处理单元603所执行的虚拟光源处理的详情。虚拟光源处理是用于将虚拟光源所提供的重新照亮效果添加至输入图像的处理。
虚拟光源处理单元603针对输入图像中的各像素执行图5B所示的虚拟光源处理。
在S510中，虚拟光源处理单元603判断处理对象像素是否位于虚拟光源的照射范围内。在图7A所示的示例中，虚拟光源处理单元603判断处理对象像素是否位于虚拟光源701的照射范围703内的中心照射位置702处。例如，可以通过采用中心照射位置702和虚拟光源701的位置作为参数并且使用预定函数得出图像中的照射范围703、然后将该范围与处理对象像素的图像坐标进行比较，来执行该判断。注意，虚拟光源701的位置可以是固定的或者可以是可变的，并且可以根据虚拟光源的类型等而使用不同的函数。此外，光束扩散的方式等可以由用户设置为可变的。
虚拟光源处理单元603在判断为处理对象像素位于虚拟光源的照射范围内的情况下，使处理进入S511，并且在判断为处理对象像素没有位于虚拟光源的照射范围内的情况下，在不添加重新照亮效果的状态下结束该处理。
在S511中，虚拟光源处理单元603判断处理对象像素的颜色是否与特定颜色匹配。这里，假定特定颜色是人的肤色，并且虚拟光源处理单元603判断处理对象像素的颜色是否在预先存储的与肤色相对应的颜色空间的区域内。该判断可以通过将像素值转换成定义特定颜色的颜色空间坐标系来执行。
如上所述，在本实施例中，利用如图4B所示的CrCb(或UV)颜色空间来定义肤色区域410；然而，可以利用其它颜色空间坐标系来定义该区域。这里，使用色相/饱和度转换单元605所生成的具有相同相位的色相信号(H)和饱和度信号(S)来执行判断，因而假定虚拟光源处理单元603判断处理对象像素的色相信号和饱和度信号是否在肤色区域内。虚拟光源处理单元603在判断为处理对象像素的颜色在肤色区域内(与特定颜色匹配)的情况下，使处理进入S512，并且在判断为处理对象像素的颜色不在肤色区域内的情况下，使处理进入S513。
在S512和S513中，虚拟光源处理单元603确定通过处理对象像素反射虚拟光源的光(虚拟光)所产生的颜色(Rv,Gv,Bv)。该反射颜色还表现数字照相机100的传感器谱特性和图像处理特性。
在S512中，虚拟光源处理单元603计算虚拟光的被特定颜色(肤色)被摄体反射的虚拟光反射颜色(Rv,Gv,Bv)。如下所述，可以通过将S512中所计算出的肤色高光反射特性(Rs,Gs,Bs)乘以S502中所设置的虚拟光源颜色增益(Rv-Gain,Bv-Gain)来计算虚拟光反射颜色(Rv,Gv,Bv)。
Rv＝Rv-Gain*Rs
Gv＝Gs
Bv＝Bv-Gain*Bs
另一方面，在S513中，虚拟光源处理单元603计算虚拟光被并非特定颜色的被摄体所反射的虚拟光反射颜色(Rv,Gv,Bv)。如下所述，可以通过将平滑化处理单元604(图6)所计算出的颜色信号(Ra,Ga,Ba)乘以S502中所设置的虚拟光源颜色增益(Rv-Gain,Bv-Gain)来计算虚拟光反射颜色(Rv,Gv,Bv)。
Rv＝Rv-Gain*Ra
Gv＝Ga
Bv＝Bv-Gain*Ba
在S514中，虚拟光源处理单元603计算处理对象像素和虚拟光源之间的距离D。在本实施例中，如图7B所示，例如，计算出虚拟光源701的中心照射位置702和处理对象像素704之间的距离作为距离D，距离D可以是使用像素之间的间距作为单位的值。
在S515中，虚拟光源处理单元603向处理对象像素添加重新照亮效果。具体地，按照基于虚拟光源照射增益(α)和S514中所计算出的距离D的权重来将S512或S513中所计算出的虚拟光反射颜色(Rv,Gv,Bv)与处理对象像素(Rt,Gt,Bt)相加。
在本实施例中，通过以下公式来计算虚拟光源所照射的处理对象像素(Rout,Gout,Bout)的各成分。
Rout＝Rt+α×(1/D^2)×Rv
Gout＝Gt+α×(1/D^2)×Gv
Bout＝Bt+α×(1/D^2)×Bv
这里，虚拟光源照射增益是0<α<1。
可以通过对各像素执行上述处理来添加重新照亮效果。
返回图6，将从虚拟光源处理单元603输出的处理对象像素(Rout,Gout,Bout)输入至伽玛处理单元606。伽玛处理单元606向处理对象像素(Rout,Gout,Bout)应用伽玛校正并且输出具有校正后的值的像素(R'out,G'out,B'out)。亮度/色差信号生成单元607根据处理对象像素(R'out,G'out,B'out)生成亮度信号(Y)和色差信号(R-Y,B-Y)，并且输出所生成的信号。
系统控制单元50在存储器控制单元107的控制下将重新照亮处理单元114所输出的亮度信号和色差信号累积在图像存储器106中，然后使用编解码单元110来对这些信号进行压缩/编码。然后，系统控制单元50将压缩/编码后的图像数据转换成预定文件格式，并且将该文件经由I/F 111记录在记录介质112中。
如上所述，在本实施例中，通过向图像空间或颜色空间内处理对象像素附近所存在的多个像素应用平滑化来估计实际环境光的反射特性(反射颜色)。然后，基于所估计的环境光反射特性(反射颜色)来估计虚拟光反射颜色(Rv,Gv,Bv)。然后，通过将所估计的虚拟光反射颜色(Rv,Gv,Bv)作为明度校正值与处理对象像素(Rt,Gt,Bt)相加，来添加重新照亮效果。因此，与通过向处理对象像素(Rt,Gt,Bt)的值应用增益来放大该值的情况相比，可以在抑制噪声成分的增加的同时添加重新照亮效果。
针对特别不希望由于重新照亮效果而导致色相改变的颜色的区域，基于该颜色的高光部分的反射特性(Rs,Gs,Bs)来执行相加。因此，在向虚拟光源赋予与环境光源相同的颜色的情况下，可以实现添加了环境光的照射的效果，并且可以抑制重新照亮后的区域的色相发生改变。
通常，由于图像传感器的暗区域特性，因而诸如阴影等的暗区域具有与高光区域不同的色相。在添加重新照亮效果以使这种暗区域变明亮的情况下，向暗区域的像素值应用正的增益来单纯放大暗区域，这将会在通过重新照亮效果而变明亮的区域和原本明亮的区域之间产生色相差异，而这两种区域本来意图是相同颜色。然而，在本实施例中，在要使给定颜色的像素变明亮的情况下，使用从具有相同颜色的高光区域获得的反射特性来对像素值进行相加，从而可以在维持相同色相的情况下增加明度。
尽管本实施例说明了提取肤色高光部分并且基于所提取的肤色来预测虚拟光源的反射颜色，但所提取的区域不限于肤色部分。可以使用任何区域，只要该结构基于环境光以不同方式落入的区域来预测虚拟光的反射即可。例如，可以添加除肤色以外的颜色作为条件。该结构可以如下：除肤色外，还添加人的头发的黑色区域等。
尽管本实施例说明了肤色是特征颜色的情况以便于理解本发明，但可以使用被摄体的任何期望的特征颜色。特征颜色可以是被摄体中所占的百分比高的颜色，或者可以是基于被摄体的类型的颜色。结构可以如下：用户指定特征颜色。可以针对任何给定的特征颜色得出环境光反射特性。此外，特征颜色不限于单个颜色，并且在针对多个特征颜色各自得出了环境光反射特性的情况下，可以执行上述处理。
根据相同颜色的高光部分所估计的虚拟光的反射颜色在根据与应用了重新照亮处理的处理对象像素有关的区域进行估计的情况下更加精确。因此，可以采用如下结构：例如在处理对象像素是肤色的情况下，使用根据处理对象像素附近的或处理对象像素所属于的肤色区域内的高光部分或者相同被摄体区域中所存在的相同颜色的高光部分等而估计出的值。如此，结构可以如下：在图像中存在多个单独特定颜色区域的情况下，基于各区域的高光部分来估计虚拟光反射颜色然后保持该虚拟光反射颜色，然后基于处理对象像素的坐标来选择要使用的虚拟光反射颜色。在这种情况下，可以使用最近的计算值，或者可以使用在同一被摄体区域内所计算出的值。
注意，这样假定了使像素变明亮的重新照亮效果，因而虚拟光源照射增益α被描述为正的值；然而，还可以添加使像素变暗的重新照亮效果。在这种情况下，光源特性提取单元207从暗区域中而非高反射的部分中提取反射特性，并且将虚拟光源照射增益α设置为负的值。
另外，尽管本实施例说明了使以中心照射位置为中心的圆形区域内的所有像素均经受虚拟光源的影响以便于本发明的说明和理解，但结构也可以如下：仅使满足特定条件的像素经受虚拟光源的影响。例如，面部检测单元113可以提取人的面部区域，并且在照射范围703中，可以仅使面部区域经受虚拟光源的影响。可选地，可以使用数字照相机100所测量到的诸如散焦量等的被摄体的距离信息，并且在照射范围703中，可以仅使与预定距离内所存在的被摄体相对应的像素经受虚拟光源的影响。
另外，用于对相加值进行加权的距离D不限于如本实施例所述的从中心照射位置起直到相加对象像素为止的图像中的距离，并且可以使用其它期望距离。例如，可以获得数字照相机和被摄体的三维位置，并且可以计算这两者之间的三维距离。
最后，尽管说明了按与距离D的平方成反比的权重来添加虚拟光源的效果的示例，但距离D和权重之间的关系不限于此。例如，权重可以与距离D成反比、或者权重可以根据高斯分布而改变等。
第二实施例
接着，将说明本发明的第二实施例。尽管第一实施例说明了根据单个拍摄图像来估计虚拟光反射颜色，但第二实施例说明使用多个拍摄图像来进行估计。如此，以下将仅说明与第一实施例有所不同的、重新照亮处理单元114的内部结构和系统控制单元50所进行的操作。
图8A是示出根据本实施例的系统控制单元50在拍摄图像时所进行的操作的流程图。在图8A的S801中，系统控制单元50判断拍摄模式。假定用户可以通过对操作单元120进行操作来使拍摄模式在应用重新照亮的拍摄模式和正常拍摄模式之间切换。系统控制单元50在设置了应用重新照亮的拍摄模式的情况下使处理进入S802，并且在设置了其它拍摄模式(这里为正常模式)的情况下使处理进入S806。在S806中，系统控制单元50经由正常模式来拍摄单个图像(即，按适当曝光拍摄图像)并且结束该处理。
在S802中，系统控制单元50首先拍摄过度曝光图像。例如，按高曝光条件来拍摄诸如图4A中的像素404等的被摄体的阴影区域，使得像素404处于适当曝光。因而，存在更明亮的区域403将发生饱和(高光溢出)的可能性。
在S803中，系统控制单元50将所拍摄到的过度曝光图像记录到图像存储器106中。
在S804中，系统控制单元50按适当曝光拍摄图像。“适当曝光”是指主被摄体(在图4A的示例中为被摄体的面部中的明亮区域403)处于合适明度的曝光。注意，可以从适当曝光的拍摄起执行S802～S804的处理。如在生成HDR合成图像时通常所考虑的那样，可以以被摄体没有移动以及被摄体的明度没有明显改变等的方式在短的时间段内连续拍摄两个图像。
在S805中，系统控制单元50通过将曝光不同的两个拍摄图像顺次地供给至图像处理单元105，来生成所谓的HDR合成图像。该合成图像与表示环境光反射特性的信息相对应。图像处理单元105的功能结构和基本处理操作与第一实施例相同，因而将省略针对该功能结构和基本处理操作的重复说明，其中说明关注于作为本实施例的特征的由光源特性提取单元207所进行的处理操作。
例如，系统控制单元50在不将第二个拍摄图像记录到系统存储器122中的情况下将该图像供给至图像处理单元105，然后将记录到系统存储器122中的第一个拍摄图像供给至图像处理单元105。在重新照亮模式中，光源特性提取单元207通过将所供给的多个图像进行合成来生成单个合成图像。
具体地，光源特性提取单元207通过在按适当曝光拍摄到的图像中的诸如存在图4A所示的像素404的区域等的暗区域中替换为按过度曝光所拍摄到的图像中的像素，来生成单个合成图像。此时，如果替换所使用的像素是过度曝光的，则将该像素转换成与适当曝光相对应的明度。这样所获得的合成图像是阴影所产生的暗区域较少的图像。图像处理单元105将合成图像记录到图像存储器106中。
注意，在S802～S804中，可以在改变过度曝光的程度的情况下拍摄多个图像，然后可以在生成合成图像时使用多个过度曝光图像中的适当曝光的像素。
接着，将说明根据本实施例的重新照亮处理单元114'的结构及其所进行的操作。图9是示出根据本实施例的重新照亮处理单元114'的功能结构的示例的图。向与第一实施例相同的功能块赋予与图6相同的附图标记，并且将省略针对这些功能块的说明。接着将说明在使用图5A所述的控制参数计算和设置处理之后由重新照亮处理单元114'所进行的操作。
在重新照亮处理单元114'中，将按适当曝光拍摄到的图像输入至RGB信号转换单元601，并且将光源特性提取单元207所生成的合成图像输入至平滑化处理单元902。注意，平滑化处理单元902对如下像素应用平滑化，并且将平滑化后的像素信号(Rc,Gc,Bc)输出至虚拟光源处理单元901，其中该像素位于与从去伽玛处理单元602接收到的并且由虚拟光源处理单元901进行处理后的处理对象像素相同的图像坐标处。平滑化的详情与第一实施例相同。
虚拟光源处理单元901向从去伽玛处理单元602输入的按适当曝光拍摄到的拍摄图像信号添加重新照亮效果。将使用图8B所示的流程图来说明虚拟光源处理单元901所进行的操作。
在S810中，以与第一实施例中的S510的处理相同的方式，虚拟光源处理单元901判断处理对象像素是否位于虚拟光源的照射范围内。虚拟光源处理单元901在判断为处理对象像素位于虚拟光源的照射范围内的情况下，使处理进入S811，并且在判断为处理对象像素没有位于虚拟光源的照射范围内的情况下，在不添加重新照亮效果的状态下结束该处理。
在S811中，虚拟光源处理单元901计算虚拟光反射颜色(Rv,Gv,Bv)。如下所述，可以通过将平滑化处理单元902根据合成图像所计算出的颜色信号(Rc,Gc,Bc)乘以S502中所设置的虚拟光源颜色增益(Rv-Gain,Bv-Gain)来计算虚拟光反射颜色(Rv,Gv,Bv)。
Rv＝Rv-Gain*Rc
Gv＝Gc
Bv＝Bv-Gain*Bc
在S812中，虚拟光源处理单元901计算虚拟光源和处理对象像素之间的距离D。这可以与第一实施例中的S514的处理相同。
在S813中，虚拟光源处理单元901向处理对象像素添加重新照亮效果。具体地，将S811中所计算出的虚拟光反射颜色(Rv,Gv,Bv)按基于虚拟光源照射增益(α)和S812中所计算出的距离D的权重来与处理对象像素(Rt,Gt,Bt)相加。
同样在本实施例中，通过以下的公式来计算虚拟光源所照射的处理对象像素(Rout,Gout,Bout)的各成分。
Rout＝Rt+α×(1/D^2)×Rv
Gout＝Gt+α×(1/D^2)×Gv
Bout＝Bt+α×(1/D^2)×Bv
这里，虚拟光源照射增益是0<α<1。
可以通过对各像素执行上述处理来添加重新照亮效果。
由虚拟光源处理单元901添加了重新照亮效果的像素信号由伽玛处理单元606进行伽玛处理，由亮度/色差信号生成单元607转换成亮度/色差信号，并且被输出。
如至此所述，本实施例提供如下结构：使用利用过度曝光图像的像素对适当曝光图像的暗区域的像素进行合成的图像来计算虚拟光反射颜色(Rv,Gv,Bv)。因此，在要向适当曝光图像的暗区域中的像素添加重新照亮效果的情况下，即使在不使用根据相同颜色的高光部分所估计出的虚拟光反射颜色的情况下，也可以抑制添加了重新照亮效果之后的颜色不同于原本明亮的区域的颜色。
此外，与第一实施例相同，可以在不会增加噪声的情况下添加重新照亮效果。
尽管本实施例说明了仅在设置了应用重新照亮的拍摄模式的情况下拍摄过度曝光图像，但结构可以如下：与拍摄模式无关地按适当曝光和过度曝光这两者拍摄图像，并且将这些图像记录到记录介质中。
注意，对于经过重新照亮处理的图像，可以发现是否存在按过度曝光拍摄到的图像，并且在存在这种图像的情况下可以使用第二实施例的方法，而在不存在这种图像的情况下可以执行第一实施例的方法。在这种情况下，例如，通过将重新照亮处理单元114作为软件实现、或者通过使用能够动态地重新配置的可编程逻辑阵列，来动态地执行这两个方法。当然，可以单独设置重新照亮处理单元114和114'。
其它实施例
还可以通过读出并执行记录在存储介质(还可被更完整地称为“非瞬态计算机可读存储介质”)上的计算机可执行指令(例如，一个或多个程序)以进行本发明的上述实施例中的一个或多个的功能以及/或者包括用于进行上述实施例中的一个或多个的功能的一个或多个电路(例如，专用集成电路(ASIC))的系统或设备的计算机和通过下面的方法来实现本发明的实施例，其中，该系统或设备的计算机通过例如从存储介质读出并执行计算机可执行指令以进行上述实施例中的一个或多个的功能以及/或者控制该一个或多个电路以进行上述实施例中的一个或多个的功能来进行上述方法。该计算机可以包括一个或多个处理器(例如，中央处理单元(CPU)、微处理单元(MPU))，并且可以包括单独计算机或单独计算机处理器的网络，以读出并执行计算机可执行指令。例如可以从网络或存储介质将这些计算机可执行指令提供至计算机。该存储介质可以包括例如硬盘、随机存取存储器(RAM)、只读存储器(ROM)、分布式计算机系统的存储器、光盘(诸如致密盘(CD)、数字多功能盘(DVD)或蓝光盘(BD)TM等)、闪速存储装置和存储卡等中的一个或多个。
尽管已经参考典型实施例说明了本发明，但是应该理解，本发明不限于所公开的典型实施例。所附权利要求书的范围符合最宽的解释，以包含所有这类修改、等同结构和功能。
本申请要求2014年6月18日提交的日本专利申请2014-125755的优先权，在此通过引用包含其全部内容。

Claims (29)

1.一种图像处理设备，用于对图像中的像素的明度进行校正，所述图像处理设备包括：
估计部件，用于估计拍摄所述图像时的环境光的反射特性；
计算部件，用于计算基于所述环境光的反射特性来对所述像素的明度进行校正的校正值；以及
校正部件，用于通过将所述校正值与所述像素相加来对所述像素的明度进行校正，
其中，所述估计部件通过向所述图像应用平滑化来估计所述环境光的反射特性。
2.根据权利要求1所述的图像处理设备，其中，
所述估计部件通过向所述像素周围所存在的多个像素应用平滑化，来估计所述环境光的反射特性。
3.根据权利要求1或2所述的图像处理设备，其中，
所述估计部件通过向与所述像素相同的特征区域中所存在的多个像素应用平滑化，来估计所述环境光的反射特性。
4.根据权利要求1至3中任一项所述的图像处理设备，其中，
在所述像素的颜色在由颜色空间预先确定的特定颜色的区域内的情况下，所述估计部件通过向所述图像的像素中的、具有所述特定颜色的区域内所包括的颜色的多个像素应用平滑化，来估计所述环境光的反射特性。
5.根据权利要求4所述的图像处理设备，其中，
在所述像素的颜色在所述特定颜色的区域内的情况下，所述估计部件通过向所述图像的像素中的、具有所述特定颜色的区域内所包括的颜色并且明度等于或大于预定明度的多个像素应用平滑化，来估计所述环境光的反射特性。
6.根据权利要求1至3中任一项所述的图像处理设备，其中，
所述估计部件使用合成图像来估计所述环境光的反射特性，其中在所述合成图像中，所述图像的像素中的、明度小于或等于预定明度的像素被按相对于所述图像的过度曝光所拍摄到的图像中的相应像素所替换。
7.根据权利要求1至6中任一项所述的图像处理设备，其中，
所述环境光的反射特性表示所述环境光的反射光的颜色。
8.根据权利要求1至7中任一项所述的图像处理设备，其中，
所述估计部件针对所述图像的各颜色成分应用平滑化，以及
所述校正部件针对各所述颜色成分计算所述校正值。
9.根据权利要求1至8中任一项所述的图像处理设备，其中，
所述校正部件仅对所述图像中的存在于特定区域中的像素执行校正。
10.根据权利要求9所述的图像处理设备，其中，
所述特定区域是来自预定的虚拟光源的光所照射的范围。
11.根据权利要求10所述的图像处理设备，其中，
在所述虚拟光源的颜色与所述环境光的颜色不同的情况下，所述计算部件通过基于所述虚拟光源的颜色对所述环境光的反射特性进行转换，来计算所述校正值。
12.根据权利要求10或11所述的图像处理设备，其中，
所述计算部件基于相对于所述虚拟光源的中心照射位置的距离，来改变应用于所述像素的所述校正值。
13.一种摄像设备，包括：
根据权利要求1至12中任一项所述的图像处理设备；以及
拍摄部件，用于拍摄所述图像。
14.一种图像处理设备，包括：
计算部件，用于计算用于校正对象图像中的第一区域的明度的校正值；
确定部件，用于确定所述计算部件在计算所述校正值时所参考的处于所述对象图像中的第二区域；以及
校正部件，用于对所述第一区域的明度进行校正，
其中，所述确定部件基于所述第一区域的颜色信息来确定所述第二区域，
所述计算部件基于所述第二区域的颜色信息来计算针对所述第一区域内的多个颜色的各颜色信号的多个校正值，以及
所述校正部件通过基于所述计算部件所计算出的多个校正值校正所述第一区域内的多个颜色的各颜色信号，来校正所述第一区域的明度。
15.根据权利要求14所述的图像处理设备，其中，
所述校正部件通过将所述计算单元所计算出的多个校正值与所述第一区域内的多个颜色的各颜色信号相加，来校正所述第一区域的明度。
16.根据权利要求14所述的图像处理设备，其中，还包括：
设置部件，用于在所述对象图像中设置所述校正部件要进行校正的校正对象区域，
其中，所述第一区域处于所述校正对象区域内，以及
所述计算部件基于所述设置部件所设置的校正对象区域的中心位置和所述第一区域的中心位置之间的差，来计算所述多个校正值。
17.根据权利要求14所述的图像处理设备，其中，
所述计算部件针对各颜色对所述第二区域内的颜色信号进行平均，并且基于平均化后的各颜色信号来计算所述多个校正值。
18.根据权利要求14所述的图像处理设备，其中，
在所述第一区域存在于特定颜色的区域中的情况下，所述确定部件从所述特定颜色的区域中确定所述第二区域。
19.根据权利要求18所述的图像处理设备，其中，
在所述第一区域存在于所述特定颜色的区域中的情况下，所述确定部件从所述特定颜色的区域中确定亮度值大于或等于预定值的区域作为所述第二区域。
20.根据权利要求19所述的图像处理设备，其中，
在所述第一区域不存在于所述特定颜色的区域中的情况下，所述确定部件将所述第一区域周围的区域确定作为所述第二区域。
21.根据权利要求16所述的图像处理设备，其中，
所述校正部件以利用来自虚拟光源的光照射所述对象图像中所存在的被摄体的方式，来校正所述校正对象区域的明度。
22.根据权利要求21所述的图像处理设备，其中，
所述计算部件基于来自所述虚拟光源的光的色温来计算所述多个校正值。
23.一种图像处理设备，包括：
校正部件，用于校正对象图像中的第一区域的明度；以及
确定部件，用于确定所述校正部件校正所述第一区域的明度时所参考的处于所述对象图像中的第二区域，
其中，所述校正部件在校正所述第一区域的明度时，使所述第一区域的颜色信息接近所述第二区域的颜色信息。
24.一种图像处理方法，用于对图像中的像素的明度进行校正，所述图像处理方法包括以下步骤：
估计步骤，用于估计拍摄所述图像时的环境光的反射特性；
计算步骤，用于计算基于所述环境光的反射特性来对所述像素的明度进行校正的校正值；以及
校正步骤，用于通过将所述校正值与所述像素相加来对所述像素的明度进行校正，
其中，所述估计步骤通过向所述图像应用平滑化来估计所述环境光的反射特性。
25.一种图像处理方法，包括以下步骤：
计算步骤，用于计算用于校正对象图像中的第一区域的明度的校正值；
确定步骤，用于确定所述计算步骤中计算所述校正值时所参考的处于所述对象图像中的第二区域；以及
校正步骤，用于校正所述第一区域的明度，
其中，所述确定步骤基于所述第一区域的颜色信息来确定所述第二区域，
所述计算步骤基于所述第二区域的颜色信息来计算针对所述第一区域内的多个颜色的各颜色信号的多个校正值，以及
所述校正步骤通过基于所述计算步骤中所计算出的多个校正值校正所述第一区域内的多个颜色的各颜色信号，来校正所述第一区域的明度。
26.一种图像处理方法，包括以下步骤：
校正步骤，用于校正对象图像中的第一区域的明度；以及
确定步骤，用于确定所述校正步骤校正所述第一区域的明度时所参考的处于所述对象图像中的第二区域，
其中，所述校正步骤在校正所述第一区域的明度时，使所述第一区域的颜色信息接近所述第二区域的颜色信息。
27.一种程序，用于使计算机用作根据权利要求1所述的图像处理设备的各部件。
28.一种程序，用于使计算机用作根据权利要求14所述的图像处理设备的各部件。
29.一种程序，用于使计算机用作根据权利要求23所述的图像处理设备的各部件。
CN201580025593.XA 2014-06-18 2015-06-08 图像处理设备、摄像设备和图像处理方法 Active CN106464816B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2014125755A JP6423625B2 (ja) 2014-06-18 2014-06-18 画像処理装置および画像処理方法
JP2014-125755 2014-06-18
PCT/JP2015/067103 WO2015194488A1 (en) 2014-06-18 2015-06-08 Image processing apparatus and image processing method thereof

Publications (2)

Publication Number Publication Date
CN106464816A true CN106464816A (zh) 2017-02-22
CN106464816B CN106464816B (zh) 2021-09-21

Family

ID=54935475

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201580025593.XA Active CN106464816B (zh) 2014-06-18 2015-06-08 图像处理设备、摄像设备和图像处理方法

Country Status (5)

Country Link
US (2) US10063826B2 (zh)
EP (1) EP3158729B1 (zh)
JP (1) JP6423625B2 (zh)
CN (1) CN106464816B (zh)
WO (1) WO2015194488A1 (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109639960A (zh) * 2017-10-05 2019-04-16 卡西欧计算机株式会社 图像处理装置、图像处理方法及记录介质
CN113676715A (zh) * 2021-08-23 2021-11-19 展讯半导体(南京)有限公司 图像处理方法及装置
WO2022007787A1 (zh) * 2020-07-07 2022-01-13 广州虎牙科技有限公司 图像处理方法、装置、设备和介质

Families Citing this family (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6423625B2 (ja) 2014-06-18 2018-11-14 キヤノン株式会社 画像処理装置および画像処理方法
JP6407643B2 (ja) * 2014-09-19 2018-10-17 キヤノンメディカルシステムズ株式会社 画像処理装置、画像処理システム及び画像処理方法
KR102507567B1 (ko) 2015-06-09 2023-03-09 삼성전자주식회사 이미지를 처리하는 전자 장치 및 그 제어 방법
JP6666735B2 (ja) * 2016-02-02 2020-03-18 キヤノン株式会社 画像処理装置、撮像装置、画像処理装置の制御方法及びプログラム
JP2017138927A (ja) * 2016-02-05 2017-08-10 キヤノン株式会社 画像処理装置、撮像装置およびそれらの制御方法、それらのプログラム
JP6786850B2 (ja) * 2016-04-07 2020-11-18 富士ゼロックス株式会社 画像処理装置、画像処理方法、画像処理システムおよびプログラム
JP6742231B2 (ja) * 2016-12-09 2020-08-19 キヤノン株式会社 画像処理装置及び方法、及び撮像装置
JP6917796B2 (ja) * 2017-06-14 2021-08-11 キヤノン株式会社 画像処理装置、撮像装置、画像処理方法、及びプログラム
US11120555B2 (en) * 2017-08-23 2021-09-14 Sony Corporation Image processor, image processing method, program, and remote communication system
EP3680853A4 (en) * 2017-09-11 2020-11-04 Guangdong Oppo Mobile Telecommunications Corp., Ltd. IMAGE PROCESSING PROCESS AND DEVICE, ELECTRONIC DEVICE AND COMPUTER READABLE INFORMATION MEDIA
JP7277158B2 (ja) * 2018-02-21 2023-05-18 キヤノン株式会社 設定装置及び方法、プログラム、記憶媒体
JP6701299B2 (ja) * 2018-10-19 2020-05-27 キヤノン株式会社 画像処理装置および画像処理方法
CN111541840B (zh) * 2019-02-06 2022-03-22 佳能株式会社 确定照明效果候选的信息处理设备、方法及存储介质
CN112304292B (zh) * 2019-07-25 2023-07-28 富泰华工业（深圳）有限公司 基于单色光的物体检测方法及检测系统
JP2021033163A (ja) * 2019-08-28 2021-03-01 キヤノン株式会社 撮像装置及びその制御方法
TWI754863B (zh) * 2019-11-29 2022-02-11 聯陽半導體股份有限公司 影像擷取裝置及方法
JP7116767B2 (ja) * 2020-11-09 2022-08-10 キヤノン株式会社 画像処理装置およびその方法
JP2023041497A (ja) * 2021-09-13 2023-03-24 キヤノン株式会社 画像処理装置、撮像装置、制御方法、及びプログラム

Citations (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1087614A2 (en) * 1999-09-22 2001-03-28 Nec Corporation Apparatus and method for automatic color correction
JP2004021388A (ja) * 2002-06-13 2004-01-22 Nippon Hoso Kyokai <Nhk> 画像処理装置及びそれを備えた撮影システム
US20060062435A1 (en) * 2004-09-21 2006-03-23 Fuji Photo Film Co., Ltd. Image processing device, image processing method and image processing program
CN1910613A (zh) * 2004-01-27 2007-02-07 精工爱普生株式会社 图像中的人物候选区域抽取方法及人物候选区域抽取系统、人物候选区域抽取程序、以及人物像的上下判定方法、上下判定系统、上下判定程序
CN1928889A (zh) * 2005-09-07 2007-03-14 株式会社东芝 图像处理装置和方法
CN101206761A (zh) * 2006-12-22 2008-06-25 佳能株式会社 图像处理设备及其方法
CN101223551A (zh) * 2005-09-01 2008-07-16 奥林巴斯株式会社 图像处理装置及图像处理程序
CN101389039A (zh) * 2007-09-11 2009-03-18 佳能株式会社 图像处理设备和图像处理方法以及摄像设备
CN101472188A (zh) * 2007-12-27 2009-07-01 佳能株式会社 白平衡控制装置和白平衡控制方法
CN101489051A (zh) * 2008-01-17 2009-07-22 佳能株式会社 图像处理设备和图像处理方法以及摄像设备
CN101594453A (zh) * 2008-05-30 2009-12-02 精工爱普生株式会社 图像处理装置、图像处理方法、图像处理程序及打印装置
CN101753814A (zh) * 2008-12-03 2010-06-23 奥林巴斯映像株式会社 摄像装置、照明处理装置以及照明处理方法
CN102289785A (zh) * 2010-06-18 2011-12-21 卡西欧计算机株式会社 图像处理装置以及图像处理方法
CN103081485A (zh) * 2010-08-30 2013-05-01 夏普株式会社 立体图像生成方法、立体图像生成装置和具备该装置的显示装置

Family Cites Families (29)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3514945B2 (ja) * 1997-05-26 2004-04-05 株式会社ソニー・コンピュータエンタテインメント 画像作成方法および画像作成装置
JP4275344B2 (ja) * 2002-01-22 2009-06-10 富士フイルム株式会社 撮像装置、撮像方法、及びプログラム
US6844881B1 (en) * 2002-03-29 2005-01-18 Apple Computer, Inc. Method and apparatus for improved color correction
EP1517563A4 (en) * 2002-10-11 2007-01-03 Seiko Epson Corp AUTOMATIC ADJUSTMENT OF PICTURE QUALITY ACCORDING TO THE TYPE OF LIGHT SOURCE
JP4151387B2 (ja) * 2002-11-15 2008-09-17 セイコーエプソン株式会社 被写体の明るさに応じた画質の自動調整
JP4171354B2 (ja) * 2003-06-17 2008-10-22 三菱電機株式会社 カラー画像処理装置及び方法
JP4217643B2 (ja) * 2004-03-18 2009-02-04 キヤノン株式会社 画像濃度補正方法及び画像濃度補正システム
JP4424216B2 (ja) * 2004-03-30 2010-03-03 セイコーエプソン株式会社 画像処理装置、画像処理方法、および、画像処理プログラム
US7936919B2 (en) * 2005-01-18 2011-05-03 Fujifilm Corporation Correction of color balance of face images depending upon whether image is color or monochrome
JP3996630B2 (ja) * 2005-01-19 2007-10-24 松下電器産業株式会社 画像変換方法、テクスチャマッピング方法、画像変換装置、サーバークライアントシステム、画像変換プログラム、影認識方法および影認識装置
JP4685864B2 (ja) * 2005-03-31 2011-05-18 パナソニック株式会社 画像処理方法、表示画像処理方法、画像処理装置、画像処理プログラム、およびその画像処理装置を含む集積回路
JP4519708B2 (ja) * 2005-05-11 2010-08-04 富士フイルム株式会社 撮影装置および方法並びにプログラム
WO2007007788A1 (ja) * 2005-07-13 2007-01-18 Nec Corporation 色補正方法および色補正装置
JP4962224B2 (ja) * 2007-08-31 2012-06-27 セイコーエプソン株式会社 画像処理装置、画像処理方法およびコンピュータプログラム
EP2058764B1 (en) * 2007-11-07 2017-09-06 Canon Kabushiki Kaisha Image processing apparatus and image processing method
KR20090088715A (ko) * 2008-02-15 2009-08-20 삼성전자주식회사 무선 광 통신 시스템을 위한 망 설계 방법
JP2009290661A (ja) * 2008-05-30 2009-12-10 Seiko Epson Corp 画像処理装置、画像処理方法、画像処理プログラムおよび印刷装置
JP2010003118A (ja) * 2008-06-20 2010-01-07 Seiko Epson Corp 画像処理装置、画像処理方法および画像処理プログラム
JP5187241B2 (ja) * 2009-02-16 2013-04-24 株式会社リコー 撮像装置及び撮像方法
JP2011124919A (ja) * 2009-12-14 2011-06-23 Canon Inc 画像処理装置及び画像処理方法
JP4948591B2 (ja) 2009-12-25 2012-06-06 キヤノン株式会社 画像処理装置、画像処理方法及びプログラム
EP2590136A1 (en) * 2010-06-30 2013-05-08 Nec Corporation Color image processing method, color image processing device, and color image processing program
EP2631743B1 (en) * 2012-02-24 2018-05-02 BlackBerry Limited Handheld device with notification message viewing
US8964089B2 (en) * 2012-05-09 2015-02-24 Canon Kabushiki Kaisha Systems and methods for simulated preview for preferred image exposure
JP2013235537A (ja) * 2012-05-11 2013-11-21 Nikon Corp 画像作成装置、画像作成プログラム、及び記録媒体
US9129188B2 (en) * 2012-06-22 2015-09-08 Canon Kabushiki Kaisha Image processing apparatus and control method thereof
JP6044909B2 (ja) 2012-12-27 2016-12-14 パナソニックＩｐマネジメント株式会社 画像処理装置及び画像処理方法
JP2014180305A (ja) * 2013-03-18 2014-09-29 Funai Electric Co Ltd 情報端末装置
JP6423625B2 (ja) 2014-06-18 2018-11-14 キヤノン株式会社 画像処理装置および画像処理方法

Patent Citations (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1087614A2 (en) * 1999-09-22 2001-03-28 Nec Corporation Apparatus and method for automatic color correction
JP2004021388A (ja) * 2002-06-13 2004-01-22 Nippon Hoso Kyokai <Nhk> 画像処理装置及びそれを備えた撮影システム
CN1910613A (zh) * 2004-01-27 2007-02-07 精工爱普生株式会社 图像中的人物候选区域抽取方法及人物候选区域抽取系统、人物候选区域抽取程序、以及人物像的上下判定方法、上下判定系统、上下判定程序
US20060062435A1 (en) * 2004-09-21 2006-03-23 Fuji Photo Film Co., Ltd. Image processing device, image processing method and image processing program
CN101223551A (zh) * 2005-09-01 2008-07-16 奥林巴斯株式会社 图像处理装置及图像处理程序
CN1928889A (zh) * 2005-09-07 2007-03-14 株式会社东芝 图像处理装置和方法
CN101206761A (zh) * 2006-12-22 2008-06-25 佳能株式会社 图像处理设备及其方法
CN101389039A (zh) * 2007-09-11 2009-03-18 佳能株式会社 图像处理设备和图像处理方法以及摄像设备
CN101472188A (zh) * 2007-12-27 2009-07-01 佳能株式会社 白平衡控制装置和白平衡控制方法
CN101489051A (zh) * 2008-01-17 2009-07-22 佳能株式会社 图像处理设备和图像处理方法以及摄像设备
CN101594453A (zh) * 2008-05-30 2009-12-02 精工爱普生株式会社 图像处理装置、图像处理方法、图像处理程序及打印装置
CN101753814A (zh) * 2008-12-03 2010-06-23 奥林巴斯映像株式会社 摄像装置、照明处理装置以及照明处理方法
CN102289785A (zh) * 2010-06-18 2011-12-21 卡西欧计算机株式会社 图像处理装置以及图像处理方法
CN103081485A (zh) * 2010-08-30 2013-05-01 夏普株式会社 立体图像生成方法、立体图像生成装置和具备该装置的显示装置

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109639960A (zh) * 2017-10-05 2019-04-16 卡西欧计算机株式会社 图像处理装置、图像处理方法及记录介质
CN109639960B (zh) * 2017-10-05 2020-12-29 卡西欧计算机株式会社 图像处理装置、图像处理方法及记录介质
WO2022007787A1 (zh) * 2020-07-07 2022-01-13 广州虎牙科技有限公司 图像处理方法、装置、设备和介质
CN113676715A (zh) * 2021-08-23 2021-11-19 展讯半导体(南京)有限公司 图像处理方法及装置

Also Published As

Publication number Publication date
CN106464816B (zh) 2021-09-21
EP3158729B1 (en) 2019-09-18
JP6423625B2 (ja) 2018-11-14
US20180332263A1 (en) 2018-11-15
US20170019651A1 (en) 2017-01-19
EP3158729A1 (en) 2017-04-26
EP3158729A4 (en) 2018-03-07
WO2015194488A1 (en) 2015-12-23
US10063826B2 (en) 2018-08-28
US10574961B2 (en) 2020-02-25
JP2016005203A (ja) 2016-01-12

Similar Documents

Publication Publication Date Title
CN106464816A (zh) 图像处理设备及其图像处理方法
KR101102150B1 (ko) 화상 처리 방법, 및 화상 처리 장치
CN106358030B (zh) 图像处理装置和图像处理方法
CN104702824B (zh) 摄像装置及摄像装置的控制方法
US10861136B2 (en) Image processing apparatus, image processing method, and storage medium
US10070052B2 (en) Image capturing apparatus, image processing apparatus, and control methods thereof
JP6006543B2 (ja) 画像処理装置および画像処理方法
JP6833415B2 (ja) 画像処理装置、画像処理方法、及びプログラム
US9961319B2 (en) Image processing apparatus and control method thereof
US9191573B2 (en) Image capturing apparatus for determining an exposure condition by calculating aphotmetric value for each object region and method of controlling the same
US10863103B2 (en) Setting apparatus, setting method, and storage medium
JP5956844B2 (ja) 画像処理装置およびその制御方法
JP6900395B2 (ja) 画像処理装置、撮像装置、画像処理方法、画像処理プログラム、および記録媒体
US11069031B2 (en) Image processing apparatus, control method for image processing apparatus, image pickup apparatus, and non-transitory computer-readable storage medium to control reflected color components of input image
JP6827782B2 (ja) 画像処理装置、撮像装置、画像処理方法、画像処理プログラム、および記録媒体
JP2010041607A (ja) 撮像装置、その制御方法及びプログラム
CN114143420A (zh) 双传感器摄像系统及其隐私保护摄像方法
JP4077217B2 (ja) 自動露出制御装置及びそのプログラム
JP6701299B2 (ja) 画像処理装置および画像処理方法
JP7446080B2 (ja) 画像処理装置、撮像装置、制御方法、プログラム及び撮像システム
US11696044B2 (en) Image capturing apparatus, control method, and storage medium
JP6663246B2 (ja) 画像処理装置、撮像装置およびこれらの制御方法ならびにプログラム
JP6561432B2 (ja) 露出演算装置、露出制御装置及びカメラ
JP2008035547A (ja) 信号処理システム

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant