CN111095913B - 图像处理装置和处理方法、摄像装置、摄像方法、存储介质 - Google Patents

图像处理装置和处理方法、摄像装置、摄像方法、存储介质 Download PDF

Info

Publication number
CN111095913B
CN111095913B CN201880059216.1A CN201880059216A CN111095913B CN 111095913 B CN111095913 B CN 111095913B CN 201880059216 A CN201880059216 A CN 201880059216A CN 111095913 B CN111095913 B CN 111095913B
Authority
CN
China
Prior art keywords
white balance
region
relationship information
captured image
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201880059216.1A
Other languages
English (en)
Other versions
CN111095913A (zh
Inventor
西尾祐也
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujifilm Corp
Original Assignee
Fujifilm Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujifilm Corp filed Critical Fujifilm Corp
Publication of CN111095913A publication Critical patent/CN111095913A/zh
Application granted granted Critical
Publication of CN111095913B publication Critical patent/CN111095913B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/741—Circuitry for compensating brightness variation in the scene by increasing the dynamic range of the image compared to the dynamic range of the electronic image sensors
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B7/00—Control of exposure by setting shutters, diaphragms or filters, separately or conjointly
    • G03B7/08—Control effected solely on the basis of the response, to the intensity of the light received by the camera, of a built-in light-sensitive device
    • G03B7/091—Digital circuits
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/63—Control of cameras or camera modules by using electronic viewfinders
    • H04N23/631—Graphical user interfaces [GUI] specially adapted for controlling image capture or setting capture parameters
    • H04N23/632—Graphical user interfaces [GUI] specially adapted for controlling image capture or setting capture parameters for displaying or modifying preview images prior to image capturing, e.g. variety of image resolutions or capturing parameters
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/667—Camera operation mode switching, e.g. between still and video, sport and normal or high- and low-resolution modes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/71—Circuitry for evaluating the brightness variation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/73—Circuitry for compensating brightness variation in the scene by influencing the exposure time
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/74—Circuitry for compensating brightness variation in the scene by influencing the scene brightness using illuminating means
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H04N23/84—Camera processing pipelines; Components thereof for processing colour signals
    • H04N23/88—Camera processing pipelines; Components thereof for processing colour signals for colour balance, e.g. white-balance circuits or colour temperature control
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/64—Circuits for processing colour signals
    • H04N9/73—Colour balance circuits, e.g. white balance circuits or colour temperature control

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Color Television Image Signal Generators (AREA)
  • Studio Devices (AREA)
  • Processing Of Color Television Signals (AREA)
  • Image Processing (AREA)

Abstract

本发明的目的在于，提供一种能够确定用于进行符合用户的拍摄意图的动态范围放大处理的优先区域的图像处理装置、摄像装置、图像处理方法、摄像方法及程序。图像处理装置(31)具备：图像获取部(301)；区域分割部(305)，将拍摄图像分割成多个区域；第1白平衡关系信息计算部(307)，根据多个区域各自的像素值来计算第1白平衡关系信息；第2白平衡关系信息获取部(309)，获取用户对拍摄图像设定的第2白平衡关系信息；优先区域确定部(311)，确定根据优先区域的光亮度来设定对拍摄图像进行的动态范围放大处理的条件的优先区域。

Description

图像处理装置和处理方法、摄像装置、摄像方法、存储介质
技术领域
本发明涉及一种图像处理装置、摄像装置、图像处理方法、摄像方法及存储介质，尤其涉及一种进行动态范围放大处理时的技术。
背景技术
若通过数码相机等获取针对宽动态范围的被摄体的拍摄图像，则有时会产生高光部分的曝光过度或阴影部分的曝光不足。
作为将被摄体所具有的动态范围更宽地呈现在拍摄图像中的方法之一，有动态范围放大处理。在此，动态范围放大处理为如下处理：以低于适当曝光的曝光进行曝光，以在高光侧的输入信号中减少饱和的像素，并通过将使阴影侧的曝光不足或高光侧的曝光过度减少的色调曲线施加于输入信号而使输出信号的亮度适当。一直以来，提出了与动态范围放大处理相关的技术。
例如，专利文献1中记载了一种技术，其在估计到色彩层次瓦解的区域中存在预定的被摄体的情况下，提高该色彩层次瓦解的区域的校正度。具体而言，在专利文献1中记载的技术中，从图像信号检测是否存在色彩层次瓦解的区域，并使用与拍摄场景相关的信息(拍摄时的时间带信息、天气信息、色彩层次瓦解的区域的图像内的位置或面积或形状信息、或图像内的被摄体的移动信息)来估计是否存在被摄体，进行了输入输出特性的控制。
并且，例如在专利文献2中，记载了一种技术，其目的在于，自动判别拍摄场景来设定适当的动态范围。具体而言，专利文献2中记载了如下技术：根据每个区域的光亮度值的最大值与饱和预测光亮度值的差分和光亮度值超出饱和预测光亮度值的区域数来确定动态范围。
以往技术文献
专利文献
专利文献1：日本特开2016-173777号公报
专利文献2：日本特开2009-017229号公报
发明内容
发明要解决的技术课题
在此，即使为相同场景(相同被摄体及相同视角)，欲关注拍摄图像的高光侧和阴影侧中的哪一侧而主要使哪个区域具有色彩层次有时也根据用户(摄影者或图像处理装置的使用者)而不同。例如，即使为相同场景，即有欲使阴影侧的区域具有更多的色彩层次的用户，也有欲使高光侧的区域具有更多的色彩层次的用户。即，各用户以不同的拍摄意图进行拍摄或图像处理。
然而，在专利文献1中记载的技术中，使用与拍摄场景相关的信息估计是否存在被摄体来控制了校正度，从而用户未根据主动设定的信息来控制校正度，因此有可能发生用户的拍摄意图未反映到校正度中的情况。
在专利文献2中记载的技术中，根据每个区域的光亮度值的最大值与饱和预测光亮度值的差分和光亮度值超出饱和预测光亮度值的区域数来确定了动态范围，从而并不是基于用户主动设定的信息的控制，即为自动判别控制，因此会发生用户的拍摄意图未反映到动态范围的确定中的情况。
本发明是鉴于这种情况而完成的，其目的在于，提供一种能够确定用于进行符合用户的拍摄意图的动态范围放大处理的优先区域的图像处理装置、摄像装置、图像处理方法、摄像方法及程序。
用于解决技术课题的手段
为了实现上述目的，作为本发明的一方式的图像处理装置具备：图像获取部，获取拍摄被摄体而得的拍摄图像；区域分割部，根据拍摄图像的亮度信息将拍摄图像分割成多个区域；第1白平衡关系信息计算部，对由区域分割部分割的多个区域中的每一个区域计算第1白平衡关系信息；第2白平衡关系信息获取部，获取用户对拍摄图像设定的第2白平衡关系信息；及优先区域确定部，确定根据优先区域的光亮度来设定对拍摄图像进行的动态范围放大处理的条件的优先区域，优先区域根据第1白平衡关系信息和第2白平衡关系信息来确定。
根据本方式，可通过第1白平衡关系信息计算部对由区域分割部分割的多个区域中的每一个区域计算第1白平衡关系信息，通过第2白平衡关系信息获取部来获取用户对拍摄图像设定的第2白平衡关系信息。并且，根据本方式，可通过优先区域确定部确定根据优先区域的光亮度来设定对拍摄图像进行的动态范围放大处理的条件的优先区域，所述优先区域根据第1白平衡关系信息和第2白平衡关系信息来确定。由此，本方式确定与用户主动设定的白平衡对应的动态范围放大处理的优先区域，因此能够确定能够实现反映用户的拍摄意图的动态范围放大处理的优先区域。
优选优先区域确定部将第1白平衡关系信息与第2白平衡关系信息的差分小的区域确定为优先区域。
根据本方式，可将第1白平衡关系信息与第2白平衡关系信息的差分小的区域确定为优先区域。
优选区域分割部将拍摄图像至少分割成高光区域及阴影区域，在高光区域中的第1白平衡关系信息与第2白平衡关系信息的差分小于阴影区域的差分的情况下，优先区域确定部将高光区域确定为优先区域，在阴影区域的差分小于高光区域的差分的情况下，优先区域确定部将阴影区域确定为优先区域。
根据本方式，可将拍摄图像至少分割成高光区域及阴影区域，对高光区域及阴影区域计算第1白平衡关系信息与第2白平衡关系信息的差分，并将具有小的差分的区域确定为优先区域。
优选还具备：色调曲线确定部，根据优先区域来确定色调曲线。
根据本方式，可通过色调曲线确定部根据优先区域来确定色调曲线。
优选色调曲线确定部确定使优先区域的光亮度适当的色调曲线。
根据本方式，可通过色调曲线确定部来确定使优先区域的光亮度适当的色调曲线。
优选图像处理装置还具备：区块分割部，将拍摄图像分为多个区块，区域分割部根据多个区块各自的亮度信息以区块单位分割成多个区域。
根据本方式，可通过区块分割部将拍摄图像分为多个区块，并通过区域分割部根据多个区块各自的亮度信息以区块单位分割成多个区域。
优选第1白平衡关系信息计算部使位于多个区域的各边界的区块的参考权重低于不位于各边界的区块来计算第1白平衡关系信息。
根据本方式，可通过第1白平衡关系信息计算部使位于多个区域的各边界的区块的参考权重低于不位于各边界的区块来计算第1白平衡关系信息。
优选图像处理装置还具备：白平衡处理部，对拍摄图像进行白平衡校正处理。
根据本方式，可通过白平衡处理部进行白平衡校正处理。
优选白平衡处理部根据第2白平衡关系信息对拍摄图像进行白平衡校正处理。
根据本方式，可通过白平衡处理部根据第2白平衡关系信息对拍摄图像进行白平衡校正处理。
优选白平衡处理部根据第2白平衡关系信息对多个区域中的优先区域进行白平衡校正处理，并根据第1白平衡关系信息对多个区域中的除优先区域以外的区域进行白平衡校正处理。
根据本方式，可通过白平衡处理部根据第2白平衡关系信息对多个区域中的优先区域进行白平衡校正处理，并根据第1白平衡关系信息对多个区域中的除优先区域以外的区域进行白平衡校正处理。
优选白平衡处理部针对构成拍摄图像的每个像素进行白平衡校正处理。
根据本方式，可通过白平衡处理部针对构成拍摄图像的每个像素进行白平衡校正处理。
优选白平衡处理部根据第1白平衡关系信息及第2白平衡关系信息中的任一个对构成拍摄图像的每个像素进行白平衡校正处理。
根据本方式，可通过白平衡处理部根据第1白平衡关系信息及第2白平衡关系信息中的任一个对构成拍摄图像的每个像素进行白平衡校正处理。
优选第1白平衡关系信息及第2白平衡关系信息为表示白平衡校正量、色温信息或光源的色调的信息。
根据本方式，第1白平衡关系信息及第2白平衡关系信息为表示白平衡校正量、色温信息或光源的色调的信息。
作为本发明的另一方式的摄像装置搭载有上述图像处理装置，具备：曝光调整部，根据优先区域来调整曝光。
根据本方式，通过曝光调整部根据优先区域来调整曝光。
优选在优先区域位于比阈值更靠高光侧的情况下，曝光调整部根据拍摄图像的曝光过度像素来控制曝光，在优先区域位于阈值以下的阴影侧的情况下，曝光调整部根据拍摄图像的曝光不足像素来控制曝光。
根据本方式，可通过曝光调整部在优先区域位于比阈值更靠高光侧的情况下根据拍摄图像的曝光过度像素来控制曝光，在优先区域位于阈值以下的阴影侧的情况下根据拍摄图像的曝光不足像素来控制曝光。
作为本发明的另一方式的图像处理方法包括如下步骤：图像获取步骤，获取拍摄被摄体而得的拍摄图像；区域分割步骤，根据拍摄图像的亮度信息将拍摄图像分割成多个区域；第1白平衡关系信息计算步骤，对在区域分割步骤中分割的多个区域中的每一个区域计算第1白平衡关系信息；第2白平衡关系信息获取步骤，获取用户对拍摄图像设定的第2白平衡关系信息；及优先区域确定步骤，确定根据优先区域的光亮度来设定对拍摄图像进行的动态范围放大处理的条件的优先区域，优先区域根据第1白平衡关系信息和第2白平衡关系信息来确定。
作为本发明的另一方式的摄像方法包括如下步骤：图像获取步骤，获取拍摄被摄体而得的拍摄图像；区域分割步骤，根据拍摄图像的亮度信息将拍摄图像分割成多个区域；第1白平衡关系信息计算步骤，对在区域分割步骤中分割的多个区域中的每一个区域计算第1白平衡关系信息；第2白平衡关系信息获取步骤，获取用户对拍摄图像设定的第2白平衡关系信息；优先区域确定步骤，确定根据优先区域的光亮度来设定对拍摄图像进行的动态范围放大处理的条件的优先区域，优先区域根据第1白平衡关系信息和第2白平衡关系信息来确定；及曝光调整步骤，根据优先区域来调整曝光。
作为本发明的另一方式的存储介质，存储有程序，该程序使计算机执行包括如下步骤的图像处理方法：图像获取步骤，获取拍摄被摄体而得的拍摄图像；区域分割步骤，根据拍摄图像的亮度信息将拍摄图像分割成多个区域；第1白平衡关系信息计算步骤，对在区域分割步骤中分割的多个区域中的每一个区域计算第1白平衡关系信息；第2白平衡关系信息获取步骤，获取用户对拍摄图像设定的第2白平衡关系信息；及优先区域确定步骤，确定根据优先区域的光亮度来设定对拍摄图像进行的动态范围放大处理的条件的优先区域，优先区域根据第1白平衡关系信息和第2白平衡关系信息来确定。
作为本发明的另一方式的存储介质，存储有程序，该程序使计算机执行包括如下步骤的摄像方法：
图像获取步骤，获取拍摄被摄体而得的拍摄图像；区域分割步骤，根据拍摄图像的亮度信息将拍摄图像分割成多个区域；第1白平衡关系信息计算步骤，对在区域分割步骤中分割的多个区域中的每一个区域计算第1白平衡关系信息；第2白平衡关系信息获取步骤，获取用户对拍摄图像设定的第2白平衡关系信息；优先区域确定步骤，确定根据优先区域的光亮度来设定对拍摄图像进行的动态范围放大处理的条件的优先区域，优先区域根据第1白平衡关系信息和第2白平衡关系信息来确定；及曝光调整步骤，根据优先区域来调整曝光。
发明效果
根据本发明，可对由区域分割部分割的多个区域中的每一个区域计算第1白平衡关系信息，获取用户对拍摄图像设定的第2白平衡关系信息，确定根据优先区域的光亮度来设定对拍摄图像进行的动态范围放大处理的条件的优先区域，所述优先区域根据第1白平衡关系信息和第2白平衡关系信息来确定。由此，本发明可确定与用户主动设定的白平衡对应的动态范围放大处理的优先区域，因此能够确定能够执行适当反映用户的拍摄意图的动态范围放大处理的优先区域。
附图说明
图1是数码相机的正面立体图。
图2是数码相机的背面立体图。
图3是表示数码相机的控制处理系统的框图。
图4是表示图像处理部的功能块的图。
图5是表示图像处理部的动作流程的图。
图6是表示拍摄图像的图。
图7是概念性地表示拍摄图像的区域分割的图。
图8是概念性地表示正常曝光和欠曝光中的被摄体光量与传感器信号之间的关系的图。
图9是对噪声极限进行说明的图。
图10是对根据色调曲线来校正输出信号的情况进行说明的图。
图11是表示色调曲线的图。
图12是表示色调曲线的图。
图13是表示构成图像处理部及系统控制部的功能块的图。
图14是表示数码相机的动作流程的图。
图15是表示图像处理部的功能块的图。
图16是表示数码相机的动作流程的图。
图17是表示白平衡校正量的一例的图。
图18是表示构成图像处理部的功能块的图。
图19是表示数码相机的动作流程的图。
图20是表示色调曲线的例子的图。
图21是表示色调曲线的例子的图。
图22是表示智能手机的外观的图。
图23是表示图22所示的智能手机的结构的框图。
具体实施方式
以下，参考附图对本发明的图像处理装置、摄像装置、图像处理方法、摄像方法及程序的优选实施方式进行说明。在以下说明中，主要对搭载于摄像装置的图像处理装置及摄像装置进行说明，但本发明的适用范围并不限定于此。例如，本发明的图像处理装置还能够搭载于计算机。
图1是本发明的摄像装置即数码相机2的正面立体图。图2是数码相机2的背面立体图。
数码相机2具备相机主体3和安装在相机主体3的前表面的透镜镜筒4。透镜镜筒4及相机主体3可以设置成一体，也可以作为镜头可换式相机设置成能够装卸。
相机主体3的前表面上除透镜镜筒4以外还设置有闪光灯发光部5，相机主体3的上表面上设置有快门按钮6及电源开关7。快门按钮6为受理来自用户的摄像指示的摄像指示部，由具有在半按时开启的S1开关和在全按时开启的S2开关的两段触按式开关构成。电源开关7为从用户受理数码相机2的电源的接通及断开的切换指示的电源切换部。
相机主体3的背面上设置有由液晶面板等构成的显示部8和由用户直接操作的操作部9。显示部8在摄像待机状态下显示即时预览图像(实时取景图像)来发挥电子取景器的功能，在播放拍摄图像或存储器存储图像时发挥播放图像显示部的功能。
操作部9由模式切换开关、十字键、执行键等任意的操作器件构成。例如，模式切换开关在切换数码相机2的动作模式时由用户操作。作为数码相机2的动作模式，有用于拍摄被摄体来获得拍摄图像的拍摄模式(自动拍摄模式、手动拍摄模式及连拍模式等)、播放显示图像的播放模式等。
自动拍摄模式为使用自动进行调焦的自动聚焦(AF：Auto Focus)功能、自动设定光圈值及快门速度的自动曝光(AE：Auto Exposure)功能等的模式，手动拍摄模式为用户能够使用操作部9来适当设定调焦、光圈值及快门速度等的模式。
另一方面，十字键及执行键在将菜单画面或设定画面显示于显示部8、或移动显示于菜单画面或设定画面内的光标、或确定数码相机2的各种设定的情况下由用户操作。
相机主体3的底部(省略图示)设置有装填外部存储器10的存储器插槽和开闭该存储器插槽的开口的装填盖。外部存储器10以能够装卸的方式设置于相机主体3，若安装到相机主体3，则与设置于相机主体3的存储控制部33电连接。外部存储器10通常能够由卡式闪存等半导体存储器构成，但并无特别限定，能够将磁性介质等任意的存储方式的存储介质用作外部存储器10。
图3是表示数码相机2的控制处理系统的框图。
被摄体光通过设置于透镜镜筒4的镜头部12和设置于相机主体3的机械快门20，被成像元件21(摄像部)接收。镜头部12由包括成像透镜(透镜组)及光圈的摄像光学系统构成。成像元件21为接收被摄体像并生成摄像信号(图像数据)的元件，具有RGB(红绿蓝)等滤色器和将光学像转换成电信号的CCD(Charge Coupled Device，电荷耦合器件)或CMOS(Complementary Metal Oxide Semiconductor，互补金属氧化物半导体)等图像传感器。从成像元件21输出的图像数据在进程处理部22中通过AGC(Automatic Gain Control，自动增益控制)电路等实施进程处理，之后通过AD(Analog Digital，模拟数字)转换部23将模拟形式的图像数据转换成数字形式的图像数据。经数字化的图像数据保存于主存储器24中。
主存储器24为临时存储图像数据的区域，由DRAM(Dynamic Random AccessMemory，动态随机存取存储器)等构成。由图像处理部31读出从AD转换部23发送过来并存储于主存储器24中的图像数据，所述图像处理部31由系统控制部25控制。图像处理部31将成像元件21生成的图像数据用作输入图像数据，进行白平衡校正、伽马校正处理及去马赛克处理等各种图像处理，并将图像处理后的图像数据再次保存于主存储器24中。
由显示控制部35及压缩扩展部32读出在图像处理部31中实施图像处理并保存于主存储器24中的图像数据。显示控制部35控制显示部8，并将从主存储器24读出的图像数据显示于显示部8。如此，从成像元件21输出且在图像处理部31中经图像处理的图像数据作为摄像确认图像(后浏览图像)显示于显示部8。
另一方面，压缩扩展部32进行从主存储器24读出的图像数据的压缩处理来创建JPEG(Joint Photographic Experts Group，联合图像专家组)或TIFF(Tagged Image FileFormat，标记图像文件格式)等任意的压缩形式的图像数据。压缩处理后的图像数据通过控制向外部存储器10的数据存储处理及从外部存储器10的数据读出处理的存储控制部33存储于外部存储器10中。摄像信息以任意的格式附加于图像数据中，例如能够采用Exif(Exchangeable image file format，可交换图像文件格式)形式。
在播放保存于外部存储器10中的图像数据的播放模式中，保存于外部存储器10中的图像数据被由系统控制部25控制的存储控制部33读出，并通过压缩扩展部32实施扩展处理之后保存于主存储器24中。并且，以与拍摄图像的确认显示相同的顺序通过显示控制部35从主存储器24读出图像数据，并在显示部8中播放显示图像数据。
若以第1阶段按下(半按)快门按钮6，则数码相机2的AF处理功能对半按时读入的与AF区域对应的图像数据的高频成分的绝对值进行积算，并将该积算的值(AF评价值)输出至系统控制部25。
若以第1阶段按下(半按)快门按钮6，则AE检测功能对与整个画面对应的数字信号进行积算或对在画面中央部和周边部进行不同的加权的图像数据进行积算，并将该积算值输出至系统控制部25。
如上所述，系统控制部25控制主存储器24、图像处理部31及存储控制部33，但还控制数码相机2中的其他各部(AF处理功能及AE检测功能)。
例如，若在自动拍摄模式下半按快门按钮6，则系统控制部25经由透镜驱动部27将镜头部12的聚焦透镜从至近侧移动至无限远侧，并且使AF处理功能动作而从AF处理功能获取各透镜位置处的AF评价值。并且，搜索AF评价值变最大的对焦位置，并将聚焦透镜移动至该对焦位置，由此进行针对被摄体(主要被摄体)的调焦。并且，若在自动拍摄模式下半按快门按钮6，则系统控制部25使AE检测功能动作，根据从AE检测功能输入的积算值计算被摄体光亮度(摄像Ev值)，并根据该摄像Ev值按照程序图确定光圈的光圈值及快门速度(机械快门20和/或成像元件21的电荷蓄积时间)，若全按快门按钮6，则根据所确定的光圈值来控制光圈，并且根据所确定的快门速度经由快门驱动部26来控制机械快门20，并且经由未图示的成像元件驱动部控制成像元件21中的电荷蓄积时间。
并且，系统控制部25控制闪光灯发光部5来控制闪光的发光及不发光。本例的闪光灯发光部5例如具有发出白色闪光的疝气管和在疝气管与发光窗之间插拔的1或2个以上的滤色器，系统控制部25通过调整疝气管的发光时间来调整闪光的发光量，通过插拔滤色器来调整闪光的发光颜色。另外，闪光灯发光部5也可以代替疝气管而使用红色(R)、绿色(G)及蓝色(B)的发光二极管，此时，能够根据流经RGB的发光二极管的电流量来调整发光量，并且能够通过调整RGB的发光二极管的发光量的比率来发出任意颜色的闪光。
而且，系统控制部25控制电源控制部28来检测电源29中是否安装电池、电池的种类、电池余量等。并且，系统控制部25控制构成图像处理部31的各种处理部。
而且，系统控制部25获取来自包括快门按钮6、电源开关7及操作部9的用户界面36的操作信号，进行与操作信号对应的各种处理及器件控制。并且，系统控制部25根据从电源开关7接收的电源接通断开信号来控制电源控制部28，控制电源29的接通及断开。
在系统控制部25中进行的各种处理及器件控制所需的程序及数据类存储于控制存储器30中。系统控制部25能够根据需要读出存储于控制存储器30中的程序及数据类，并且能够将新程序及数据类保存于控制存储器30中。
[第1实施方式]
接着，对本发明的第1实施方式的图像处理部(图像处理装置)31进行说明。图4是表示本实施方式的图像处理部31的功能块的图。
图像处理部31具备图像获取部301、区块分割部303、区域分割部305、第1白平衡关系信息计算部307、第2白平衡关系信息获取部309及优先区域确定部311。
图像获取部301获取拍摄被摄体而得的拍摄图像。具体而言，图像获取部301读出并获取存储于主存储器24中的经图像处理的拍摄图像或未经图像处理的拍摄图像。并且，图像获取部301获取记录用拍摄图像或即时预览图像(确认用拍摄图像)。
区块分割部303将由图像获取部301获取的拍摄图像分为多个区块。例如，区块分割部303将拍摄图像按拍摄图像的纵向分割成16个部分、按横向分割成16个部分来分割成256个区块。另外，区块分割部303并不是图像处理部31中必不可少的结构，也可以不将拍摄图像分割成区块来进行后续处理。
区域分割部305根据拍摄图像的亮度信息将拍摄图像分割成多个区域。即，区域分割部305按拍摄图像的像素、按区块或按预定的区域获取亮度信息，并根据所获取的亮度信息将拍摄图像分割成多个区域。例如，在区块分割部303将拍摄图像分割成多个区块的情况下，根据多个区块各自的光亮度(亮度信息)以区块单位将拍摄图像分割成多个区域。并且，例如，在将拍摄图像区域分割成高光区域和阴影区域的情况下，区域分割部305根据阈值将拍摄图像分割成高光区域和阴影区域。另外，作为亮度信息，也可以使用明度而不使用光亮度。而且，区域分割部305例如也可以将拍摄图像分割成3个不同的区域而不是分割成高光区域及阴影区域这2个区域。并且，区域分割部305将区块分割部303分割的多个区块分割到多个区域，但也可以存在不属于任何区域的区块。此时，在后续处理中不考虑与不属于任何区域的区块相关的信息。
第1白平衡关系信息计算部307对由区域分割部305分割的多个区域中的每一个区域计算第1白平衡关系信息。具体而言，第1白平衡关系信息计算部307使用公知的自动白平衡运算法根据由区域分割部305分割的拍摄图像的多个区域各自的像素值来计算第1白平衡关系信息。例如，第1白平衡关系信息计算部307计算阴影区域的第1白平衡关系信息及高光区域的第1白平衡关系信息。在此，公知的自动白平衡运算法只要可计算与各区域的像素值对应的白平衡关系信息则并无特别限定。并且，第1白平衡关系信息根据构成拍摄图像的像素值来确定，并不反映用户的拍摄意图。
在拍摄图像被区块分割部303分割成区块的情况下，第1白平衡关系信息计算部307对由区块构成的区域计算第1白平衡关系信息。此时，第1白平衡关系信息计算部307使位于多个区域的各边界的区块的参考权重低于不位于各边界的区块来计算第1白平衡关系信息。例如，第1白平衡关系信息计算部307将位于多个区域的各边界的区块的参考权重设为0.5，将不位于各边界的区块的参考权重设为1。在此，位于区域的边界的区块是指，构成边界的区块或位于距边界2个或3个区块宽度的区块。
第2白平衡关系信息获取部309获取用户对拍摄图像设定的第2白平衡关系信息。数码相机2的用户在拍摄时识别拍摄环境并经由操作部9选择或设定如可充分反映自己的拍摄意图的白平衡校正处理。反映用户的拍摄意图的情况例如为用户选择“晴天”“背阴”“日光色荧光灯”“中性白色荧光灯”“白色荧光灯”“暖光色灯”等校正量固定的白平衡模式的情况、用户从与色温对应的白平衡的候选中进行选择的情况、用户自定义设定校正量的情况或用户对“自动白平衡”、“水下”进行校正量的微调的情况等。另一方面，如用户不进行微调的“自动白平衡”及“水下”那样，与用户的拍摄意图无关地由拍摄的图像确定的白平衡关系信息不会成为第2白平衡关系信息。在此，“水下”为以水下的使用为前提的自动白平衡，校正量不固定。
另外，第1白平衡关系信息及第2白平衡关系信息只要是表示白平衡校正处理的条件的信息则并无特别限定。例如，第1白平衡关系信息及第2白平衡关系信息为表示白平衡校正量、色温信息或光源的色调的信息。
优先区域确定部311根据第1白平衡关系信息和第2白平衡关系信息来确定优先区域。在此，优先区域是指，根据优先区域的光亮度来设定对拍摄图像进行的动态范围放大处理的条件的区域。即，优先区域是指，用户欲根据第1白平衡关系信息和第2白平衡关系信息在拍摄图像中适当呈现的区域。
例如，在区域分割部305中将拍摄图像分割成高光区域和阴影区域这2个区域的情况下，优先区域确定部311将2个区域中第1白平衡关系信息与第2白平衡关系信息的差分小的区域作为优先区域。具体而言，在高光区域中的第1白平衡关系信息与第2白平衡关系信息的差分小于阴影区域的情况下，优先区域确定部311将高光区域作为优先区域。另一方面，在阴影区域中的第1白平衡关系信息与第2白平衡关系信息的差分小于高光区域的情况下，优先区域确定部311将阴影区域作为优先区域。
接着，对本实施方式的图像处理装置的动作流程进行说明。图5是表示图像处理部31的动作流程的图。
首先，通过图像获取部301获取拍摄图像(步骤S101：图像获取步骤)。图6中，示出了由图像获取部301获取的拍摄图像401。拍摄图像401中有作为主要被摄体的人402，并且在晴天的室外进行了拍摄。
接着，通过区块分割部303将拍摄图像分割成256个(纵向分割成16个×横向分割成16个)区块，并通过区域分割部305来计算各区块的光亮度Yi(i＝0至255)(步骤S102)。另外，通过区域分割部305进行的各区块的光亮度Yi的计算例如通过下式进行。另外，Ri、Gi及Bi为各区块中的R像素、G像素及B像素的平均像素值。
[数式1]
Yi＝0.3Ri+0.6Gi+0.1Bi
之后，通过区域分割部305根据整个拍摄图像的平均光亮度Yave和光亮度Yi将区块分为高光区域和阴影区域(步骤S103：区域分割步骤)。
图7是概念性地表示拍摄图像401的区域分割的图。在图7中，通过区域分割部305将图6所示的拍摄图像401分割成高光区域(晴朗)403和阴影区域(背阴)404。具体而言，区域分割部305通过下式计算拍摄图像401的整个图像的平均光亮度Yave，比较区块平均Yi和整体的平均Yave，将Yi大于Yave的区块归类为高光区域，将Yi小于Yave的区块归类为阴影区域。
[数式2]
Figure GDA0002998842830000131
之后，第1白平衡关系信息计算部307使用公知的自动白平衡(AWB)运算法根据高光区域及阴影区域各自的像素值来计算每个区域的白平衡校正量(高光区域的白平衡校正量WBhl、阴影区域的白平衡校正量WBsh)(步骤S104：第1白平衡关系信息计算步骤)。
例如，第1白平衡关系信息计算部307计算高光区域及阴影区域的与G像素、R像素及B像素的增益相关的量。另外，将针对高光区域计算出的GNGhl、GNRhl及GNBhl称为高光区域的白平衡校正量WBhl，将针对阴影区域计算出的GNGsh、GNRsh及GNBsh称为阴影区域的白平衡校正量WBsh。
接着，第2白平衡关系信息获取部309获取由用户设定的第2白平衡关系信息即WBset(步骤S105：第2白平衡关系信息获取步骤)。例如，在用户选择“晴天”的白平衡模式的情况下，第2白平衡关系信息获取部309获取“晴天”的白平衡关系信息。在此，WBset例如为“晴天”的白平衡的模式的校正量即与G像素、R像素及B像素的增益相关的量GNGset、GNRset及GNBset。
并且，通过优先区域确定部311根据第2白平衡关系信息获取部309获取的WBset和第1白平衡关系信息计算部307计算出的WBhl及WBsh来确定优先区域(步骤S106：优先区域确定步骤)。具体而言，优先区域确定部311比较白平衡校正量WBhl及WBsh与用户选择的白平衡校正量WBset。例如，优先区域确定部311将R增益与B增益之比GNB/GNR用作比较指标分别对高光区域及阴影区域如下式那样计算GNB/GNR与WBset的差分。
[数式3]
Dhl＝|GNBhl/GNRhl-GNBset/GNRset|
Dsh＝|GNBsh/GNRsh-GNBset/GNRset|
另外，利用上式的确定方法为以将GNG作为固定值并仅使GNR和GNB变动来进行白平衡的调整的方式为前提的情况的例子，确定方法并不限定于此。例如，可以计算WBhl和WBset的R增益彼此的差分的绝对值DFRhl、G增益彼此的差分的绝对值DFGhl及B增益彼此的差分的绝对值DFBhl，以相同方式还对WBsh和WBset计算各增益彼此的差分的绝对值DFRsh、DFGsh及DFBsh，并使用这些差分绝对值进行比较。具体而言，可将比较DFRhl+DFGhl+DFBhl和DFRsh+DFGsh+DFBsh的方法视为一个例子。
并且，接着，优先区域确定部311在Dhl≤Dsh的情况下将高光区域设为优先区域，在Dhl＞Dsh的情况下将阴影区域设为优先区域。
在上述实施方式中，系统控制部25及图像处理部31之类的执行各种处理的处理部(processing unit)的硬件结构为如下所示的各种处理器(processor)。各种处理器中包括执行软件(程序)来发挥各种处理部的功能的常用的处理器即CPU(Central ProcessingUnit，中央处理器)、FPGA(Field Prog rammable Gate Array，现场可编程门阵列)等能够在制造之后变更电路结构的处理器即可编程逻辑器件(Programmable Logic Device：PLD)、具有ASIC(Application Specific Integrated Circuit，专用集成电路)等为了执行特定的处理而专门设计的电路结构的处理器即专用电路等。
1个处理部可以由这些各种处理器中的1个构成，也可以由相同种类或不同种类的2个以上的处理器(例如，多个FPGA或CPU和FPGA的组合)构成。并且，也可以由1个处理器构成多个处理部。作为由1个处理器构成多个处理部的例子，第1，如以客户端或服务器等计算机为代表有如下方式：由1个以上的CPU和软件的组合构成1个处理器，并由该处理器发挥多个处理部的功能。第2，如以片上系统(System On Chip：SoC)等为代表有如下方式：使用由1个IC(Integrated Circuit，集成电路)芯片来实现包括多个处理部的系统整体的功能的处理器。如此，各种处理部使用1个以上的上述各种处理器来构成为硬件结构。
而且，更具体而言，这些各种处理器的硬件结构为组合半导体元件等电路元件而成的电路(circuitry)。
上述的各结构及功能能够通过任意的硬件、软件或两者的组合来适当实现。例如，也能够对使计算机执行上述处理步骤(处理顺序)的程序、记录有这种程序的计算机可读取的记录介质(非暂时性记录介质)或能够安装这种程序的计算机适用本发明。
＜动态范围放大处理＞
接着，对利用优先区域进行的动态范围放大处理进行说明。
首先，对动态范围放大处理中的曝光控制进行说明。用户在拍摄图像中重视高光侧(高光区域)的情况下，即在欲使高光侧具有色彩层次以使色彩呈现变丰富的情况下，在拍摄时以增加曝光的降低程度来减少高光侧的曝光过度的像素的方式进行拍摄。
图8是概念性地表示正常曝光和欠曝光中的被摄体光量与传感器信号之间的关系的图。如图8所示，与在正常曝光下进行拍摄的情况相比，在欠曝光下拍摄拍摄图像的情况下，在高光侧也能够使传感器信号的输出具有色彩层次。具体而言，在被摄体光量A1至A2的范围内，在正常曝光下达到饱和极限的像素通过在欠曝光下进行拍摄而具有色彩层次。即，能够在被摄体光量A1至A2的范围内放大动态范围。另外，在此，动态范围是指，能够识别的信号的最小值与最大值的比率。
然而，若增加曝光的降低程度，则会发生传感器无读取阴影区域的信号的情况或输入信号的电平达到噪声极限而导致无法区分噪声和被摄体的信号的情况。在这种情况下，即使欲适用色调曲线来提升阴影区域的信号，也会导致曝光不足。
图9是对噪声极限进行说明的图，示出了相对于被摄体光量的信号量。在图9所示的情况下，通过欠曝光来进行了拍摄，且信号量在被摄体光量B1至B2的范围内为噪声极限以下。在这种情况下，与被摄体光量B1至B2对应的信号量会曝光不足，即使在信号处理中施加增益，也难以具有色彩层次。因此，在通过欠曝光获取的拍摄图像中，会发生阴影区域的像素曝光不足的情况。
接着，对动态范围放大处理中的色调曲线的适用进行说明。
图10是对根据色调曲线来校正输出信号的情况进行说明的图。在图10所示的情况下，通过以减少阴影区域的曝光不足和高光区域的曝光过度的方式将色调曲线施加于输入信号，进行动态范围放大处理而获得了适当亮度的输出信号。即，在阴影区域中进行了如提升输出信号的值的校正，并在高光区域中进行了如降低输出信号的值的校正。
通过改变色调曲线的形状，能够控制被摄体光量的具有色彩层次的范围。例如，在如逆光场景那样阴影区域与高光区域的对比度比大的情况下，输出图像的印象根据使哪个光亮度范围的色彩层次变丰富而大有不同。因此，为了反映用户的拍摄意图，需要根据用户欲使色彩层次变丰富的光亮度的范围来确定色调曲线。
图11及图12是表示色调曲线的图，示出了输出所输入的信号时的色调曲线。在图11中，示出了在阴影侧具有色彩层次的色调曲线。即，以阴影侧的输入值C1至C2的色彩层次变丰富的方式设计了色调曲线。并且，在图12中，示出了在高光侧具有色彩层次的色调曲线。即，以高光侧的输入值D1至D2的色彩层次变丰富的方式设计了色调曲线。如此，在阴影侧具有色彩层次的情况和在高光侧具有色彩层次的情况的色调曲线的形状不同，用户根据优先区域来选择具有适当的形状的色调曲线，由此能够获得反映拍摄意图的拍摄图像。
在以下说明中，对所确定的优先区域的利用进行说明。在第2实施方式中，对根据优先区域来进行曝光控制的情况进行说明。在第3实施方式中，对根据优先区域来进行白平衡校正处理的情况进行说明。并且，在第4实施方式中，对根据优先区域来确定色调曲线的情况进行说明。
[第2实施方式]
对本发明的第2实施方式的数码相机2进行说明。图13是表示构成本实施方式的数码相机2的图像处理部31及系统控制部25的功能块的图。
本实施方式的数码相机2中搭载的图像处理部31具备图像获取部301、区块分割部303、区域分割部305、第1白平衡关系信息计算部307、第2白平衡关系信息获取部309及优先区域确定部311。并且，本实施方式的数码相机2中搭载的系统控制部25具备曝光调整部313。另外，对已在图4中进行说明的部分标注相同的符号并省略说明。
图像获取部301从主存储器24获取即时预览图像。在本实施方式中，根据即时预览图像来确定优先区域。即，对图像获取部301获取的即时预览图像进行在第1实施方式中说明的处理来确定优先区域。
曝光调整部313根据优先区域来调整曝光。即，曝光调整部313根据优先区域来控制快门速度、光圈和/或成像元件的ISO灵敏度，调整曝光。具体而言，在优先区域位于比阈值更靠高光侧的情况下，曝光调整部313根据拍摄图像的曝光过度像素来控制曝光。并且，在优先区域位于阈值以下的阴影侧的情况下，曝光调整部313根据拍摄图像的曝光不足像素来控制曝光。
图14是表示本实施方式的数码相机2的动作流程的图。
首先，数码相机2获取即时预览图像(步骤S201：图像获取步骤)。即，数码相机2的图像处理部31的图像获取部301从主存储器24获取即时预览图像。之后，区块分割部303将所获取的即时预览图像分为256个(纵向分为16个×横向分为16个)区块来按区块计算光亮度Yi(i＝0至255)(步骤S202)。
接着，区域分割部305根据整个即时预览图像的平均光亮度Yave和Yi将各区块分为高光区域和阴影区域(步骤S203：区域分割步骤)。
之后，使用公知的自动白平衡(AWB)运算法根据各区域的像素信息来计算每个区域的高光区域的白平衡校正量WBhl及阴影区域的白平衡校正量WBsh(步骤S204：第1白平衡关系信息计算步骤)。
并且，第2白平衡关系信息获取部309获取用户(摄影者)选择的白平衡关系信息即WBset(步骤S205：第2白平衡关系信息获取步骤)。
接着，优先区域确定部311根据WBset、WBhl及WBsh来确定优先区域(步骤S206：优先区域确定步骤)。
之后，曝光调整部313判定优先区域是否在高光侧(步骤S207)。例如，曝光调整部313根据阈值来判定优先区域是否在高光侧。
并且，在优先区域在高光侧的情况下，曝光调整部313进行高光优先曝光控制(曝光过度抑制控制)(步骤S208：曝光调整步骤)。即，若将包括于高光区域中的区块的R值、G值及B值的最大值设为V(max)，则曝光调整部313将曝光控制成抑制V(max)达到传感器的饱和极限值。曝光调整部313根据程序图确定灵敏度、光圈、快门速度。另外，V(max)设成了区块的最大值(每个区块的平均值的最大值)，但并不限定于此。例如，V(max)也可以为高光区域内的所有像素的最大值。并且，V(max)的极限并不限定于饱和极限值，例如也可以为饱和极限值的90％的值。
另一方面，在优先区域不在高光侧的情况下，即优先区域在阴影侧的情况下，曝光调整部313进行阴影优先曝光控制(曝光不足抑制控制)(步骤S209：曝光调整步骤)。即，若将包括于阴影区域中的区块的R值、G值及B值的最小值设为V(min)，则曝光调整部313将曝光控制成抑制V(min)小于传感器的噪声极限值。另外，V(min)设成了区块的最小值(每个区块的平均值的最小值)，但并不限定于此。例如，V(min)也可以为阴影区域内的所有像素的最小值。并且，V(min)的极限并不限定于噪声极限值，例如也可以为零或噪声极限值的110％的值。
[第3实施方式]
接着，对本发明的第3实施方式的图像处理部31进行说明。
图15是表示本实施方式的图像处理部31的功能块的图。
数码相机2具备图像获取部301、区块分割部303、区域分割部305、第1白平衡关系信息计算部307、第2白平衡关系信息获取部309、优先区域确定部311及白平衡处理部317。另外，对已在图4中进行说明的部分标注相同的符号并省略说明。
白平衡处理部317对拍摄图像进行白平衡校正处理。白平衡处理部317根据使用公知的运算法根据拍摄图像的像素值计算出的白平衡关系信息(第1白平衡关系信息)和/或用户设定的白平衡关系信息(第2白平衡关系信息)对拍摄图像进行白平衡校正处理。
并且，例如白平衡处理部317也可以根据第2白平衡关系信息对多个区域中的优先区域进行白平衡校正处理，并根据第1白平衡关系信息对多个区域中的除优先区域以外的区域进行白平衡校正处理。并且，白平衡处理部317也可以以第1白平衡关系信息及第2白平衡关系信息中的任一个对构成拍摄图像的每个像素进行白平衡校正处理。
图16是表示搭载本实施方式的图像处理部31的数码相机2的动作流程的图。
首先，数码相机2获取即时预览图像(步骤S301)。之后，区块分割部303将所获取的即时预览图像分为256个(纵向分为16个×横向分为16个)区块来按区块计算光亮度Yi(i＝0至255)(步骤S302)。
接着，区域分割部305根据整个即时预览图像的平均光亮度Yave和Yi将各区块分为高光区域和阴影区域(步骤S303)。
之后，使用自动白平衡(AWB)运算法根据各区域的像素信息计算高光区域的白平衡校正量WBhl和阴影区域的白平衡校正量WBsh(步骤S304)。
并且，第2白平衡关系信息获取部309获取用户(摄影者)选择的白平衡关系信息即WBset(步骤S305)。
接着，优先区域确定部311根据WBset、WBhl及WBsh来确定优先区域(步骤S306)。
接着，数码相机2进行曝光控制来拍摄拍摄图像(步骤S307)。关于数码相机2进行的曝光控制，可以进行在第2实施方式中进行说明的曝光控制，也可以适用公知的曝光控制的技术。
之后，白平衡处理部317对所获取的拍摄图像进行白平衡校正处理。白平衡处理部317计算高光区域及阴影区域各自的代表光亮度(步骤S308)，并根据该代表光亮度来进行白平衡校正处理(步骤S309)。
图17是表示与光亮度Y对应的白平衡(WB)校正量的一例的图。在图17所示的例子中，白平衡处理部317将包括于各区域中的区块或像素的平均光亮度设为Yhl、Ysh，将图像内的每个像素的光亮度设为YPj[j＝0～像素数-1]，如下计算适用于各像素的白平衡校正量WBPj[j＝0～像素数-1]。
[数式4]
WBPj＝WBsh(YPj≤Ysh)
Figure GDA0002998842830000201
WBPj＝WBhl(YPj≥Yhl)
代表光亮度的计算方法只要源于高光区域及阴影区域则无特别限定。代表光亮度并不限于平均光亮度，也可以为各区域的中央值、阴影区域的最大值及高光区域的最小值。代表光亮度可以根据实际的拍摄图像来计算，也可以根据在确定优先区域时的临时曝光的值中反映临时曝光与正式曝光的曝光的差异的值来计算。并且，在优先区域为高光区域时将WBhl、为阴影区域时将WBsh分别替换成WBset进行计算。
[第4实施方式]
接着，对本发明的第4实施方式的图像处理部31进行说明。
图18是表示构成本实施方式的图像处理部31的功能块的图。
数码相机2具备图像获取部301、区块分割部303、区域分割部305、第1白平衡关系信息计算部307、第2白平衡关系信息获取部309、优先区域确定部311及色调曲线确定部315。另外，对已在图4中进行说明的部分标注相同的符号并省略说明。
色调曲线确定部315根据优先区域来确定色调曲线。例如，色调曲线确定部315确定使优先区域的光亮度适当的色调曲线。具体而言，色调曲线确定部315将色调曲线确定成在优先区域具有的光亮度的范围(优先光亮度范围)内使色彩层次变丰富。优先光亮度范围可以为优先区域内的平均值或中央值等单个值。并且，优先光亮度范围也可以为优先区域内的光亮度的最小值至最大值的范围的确定方法或根据优先区域内的光亮度值的直方图确定的方法(例如构成直方图的所有数据的80％的范围)等。
图19是表示搭载本实施方式的图像处理装置的数码相机2的动作流程的图。
首先，数码相机2获取即时预览图像(步骤S401)。之后，区块分割部303将所获取的即时预览图像分为256个(纵向分为16个×横向分为16个)区块来按区块计算光亮度Yi(i＝0至255)(步骤S402)。
接着，区域分割部305根据整个即时预览图像的平均光亮度Yave和Yi将各区块分为高光区域和阴影区域(步骤S403)。
之后，使用自动白平衡(AWB)运算法根据各区域的像素信息计算高光区域的白平衡校正量WBhl和阴影区域的白平衡校正量WBsh(步骤S404)。
并且，第2白平衡关系信息获取部309获取用户(摄影者)选择的白平衡关系信息即WBset(步骤S405)。
接着，优先区域确定部311根据由用户选择的WBset、WBhl及WBsh来确定优先区域(步骤S406)。
接着，数码相机2进行曝光控制来拍摄拍摄图像(步骤S407)。关于数码相机2进行的曝光控制，可以进行在第2实施方式中进行说明的曝光控制，也可以适用公知的曝光控制的技术。
并且，通过图像处理部31对拍摄图像进行白平衡(WB)校正处理(步骤S408)。可以进行如在第3实施方式中说明的白平衡校正处理，也可以进行除此之外的白平衡校正处理。在此，除此之外的白平衡校正处理例如可以直接适用用户选择的白平衡校正量，也可以分别对高光区域和阴影区域适用不同的白平衡校正量。在以下说明中，将白平衡校正处理后的RGB值设为(R(1),G(1),B(1))。
之后，图像处理部31进行伽马校正处理(步骤S409)。例如，在符合sRGB的标准的情况下，若将(R(1),G(1),B(1))除以数据最大值Vbit(14bit时为16383)并进行标准化而得的值设为(r(1),g(1),b(1))，则图像处理部31使用下式计算γ校正后的RGB值(R(2),G(2),B(2))。
[数式5]
Figure GDA0002998842830000211
并且，图像处理部31以与R(2)相同的方式还对G(2),B(2)进行处理。
接着，图像处理部31通过下式将伽马校正后的RGB值转换为光亮度。
[数式6]
Y(2)＝0.3R(2)+0.6G(2)+0.1B(2)
接着，色调曲线确定部315根据优先区域来确定优先光亮度范围(步骤S410)。例如色调曲线确定部315将包括于优先区域(高光区域或阴影区域)中的区块的光亮度Y(2)的最大值设为Y(2)max、将最小值设为Y(2)min并进行计算，将优先光亮度范围确定为Y(2)min至Y(2)max。
并且，色调曲线确定部315根据优先光亮度范围来确定色调曲线。图20及图21是表示色调曲线的例子的图。在优先光亮度范围为Y(2)min至Y(2)max的范围的情况下，选择或新创建如曲线在Y(2)min至Y(2)max内变陡峭(如图20)的色调曲线。在将优先光亮度范围确定为优先区域的平均光亮度等单个代表光亮度Y(2)center的情况下，选择或新创建如曲线在Y(2)center附近变陡峭(如图21)的色调曲线。
＜智能手机的结构＞
图22是表示智能手机101的外观的图。图22所示的智能手机101具有平板状的壳体102，在壳体102的其中一个面上具备作为显示部的显示面板121和作为输入部的操作面板122形成为一体的显示输入部120。并且，该壳体102具备扬声器131、麦克风132、操作部140及相机部141。另外，壳体102的结构并不限定于此，例如可以采用显示部和输入部独立的结构，也可以采用折叠结构或具有滑动机构的结构。
图23是表示图22所示的智能手机101的结构的框图。如图23所示，作为智能手机的主要构成要件，具备无线通信部110、显示输入部120、通话部130、操作部140、相机部141、存储部150、外部输入输出部160、GPS(Global Positioning System，全球定位系统)接收部170、动作传感器部180、电源部190及主控制部100。并且，作为智能手机101的主要功能，具备进行经由基站装置和移动通信网的移动无线通信的无线通信功能。
无线通信部110根据主控制部100的指示对容纳于移动通信网中的基站装置进行无线通信。使用该无线通信来进行声音数据、图像数据等各种文件数据、电子邮件数据等的收发和网页数据或流数据等的接收。
显示输入部120为通过主控制部100的控制显示图像(静态图像及动态图像)或字符信息等而向用户可视地传递信息并检测用户对所显示的信息的操作的所谓触摸面板，其具备显示面板121和操作面板122。
显示面板121将LCD(Liquid Crystal Display，液晶显示器)、OELD(OrganicElectro-Luminescence Display，有机电致发光显示器)等用作显示器件。操作面板122为载置成能够视觉辨认显示于显示面板121的显示面上的图像且检测由用户的手指或触控笔操作的坐标的器件。若通过用户的手指或触控笔操作该器件，则将由操作产生的检测信号输出至主控制部100。接着，主控制部100根据接收到的检测信号来检测显示面板121上的操作位置(坐标)。
如图22所示，作为本发明的数码相机2的一实施方式而例示的智能手机101的显示面板121和操作面板122形成为一体而构成显示输入部120，但操作面板122配置成完全覆盖显示面板121。在采用该配置的情况下，操作面板122也可以具备针对除显示面板121以外的区域也检测用户操作的功能。换言之，操作面板122也可以具备针对重叠于显示面板121的重叠部分的检测区域(以下，称为“显示区域”)和针对除此之外的不重叠于显示面板121的外缘部分的检测区域(以下，称为“非显示区域”)。
另外，也可以使显示区域的大小与显示面板121的大小完全一致，但并不一定要使两者一致。并且，操作面板122可以具备外缘部分和除此之外的内侧部分这2个感应区域。而且，外缘部分的宽度可根据壳体102的大小等来适当设计。而且，作为在操作面板122中采用的位置检测方式，可举出矩阵开关方式、电阻膜方式、表面弹性波方式、红外线方式、电磁感应方式、静电电容方式等，能够采用任一方式。
通话部130具备扬声器131和麦克风132，并且将通过麦克风132输入的用户的声音转换成能够在主控制部100中处理的声音数据并输出至主控制部100，对通过无线通信部110或外部输入输出部160接收的声音数据进行解码而从扬声器131输出。并且，如图22所示，例如能够将扬声器131搭载于与设置有显示输入部120的面相同的面上，并将麦克风132搭载于壳体102的侧面。
操作部140为使用键开关等的硬件键，其受理来自用户的指示。例如，如图22所示，操作部140为搭载于智能手机101的壳体102的侧面、在用手指等按下时开启、在松开手指时利用弹簧等的恢复力成为关闭状态的按钮式开关。
存储部150存储主控制部100的控制程序或控制数据、应用软件、将通信对象的名称或电话号码等建立对应关系的地址数据、所收发的电子邮件的数据、利用网页浏览器下载的网页数据或下载的内容数据，并且临时存储流数据等。并且，存储部150由智能手机内置的内部存储部151和具有能够装卸的外部存储器用插槽的外部存储部152构成。另外，构成存储部150的各内部存储部151和外部存储部152使用闪存类型(flash memory type)、硬盘类型(hard disk type)、微型多媒体卡类型(multimedia card micro type)、卡类型的存储器(例如，MicroSD(注册商标)存储器等)、RAM(Random Access Memory，随机存取存储器)、ROM(Read Only Memory，只读存储器)等存储介质来实现。
外部输入输出部160发挥其与连结于智能手机101的所有外部设备之间的接口的作用，其用于通过通信等(例如，通用串行总线(USB)、IEEE1394等)或网络(例如，互联网、无线LAN、蓝牙(Bluetooth)(注册商标)、RFID(Radio Frequency Identification，射频识别)、红外线通信(Infrared Data Association：IrDA)(注册商标)、UWB(Ultra Wideband，超宽带)(注册商标)、紫蜂(ZigBee)(注册商标)等)与其他外部设备直接或间接地连接。
作为连结于智能手机101的外部设备，例如有有线/无线头戴式耳机、有线/无线外部充电器、有线/无线数据端口、经由卡槽连接的存储器卡(Memory card)或SIM(Subscriber Identity Module，用户识别模块)/UIM(User Identity Module，用户身份模块)卡、经由音频/视频I/O(Input/Output，输入/输出)端子连接的外部音频/视频设备、无线连接的外部音频/视频设备、有线/无线连接的智能手机、有线/无线连接的个人计算机、有线/无线连接的PDA、有线/无线连接的耳机等。外部输入输出部160也可以将从这种外部设备传送过来的数据传递至智能手机101的内部的各构成要件或将智能手机101的内部的数据传送至外部设备。
GPS接收部170根据主控制部100的指示而接收从GPS卫星ST1～STn发送的GPS信号，执行基于所接收的多个GPS信号的测位运算处理，检测包括智能手机101的纬度、经度及高度的位置。在能够从无线通信部110或外部输入输出部160(例如，无线LAN)获取位置信息的情况下，GPS接收部170还能够使用该位置信息来检测位置。
动作传感器部180例如具备三轴加速度传感器等，并且根据主控制部100的指示来检测智能手机101的物理动向。通过检测智能手机101的物理动向，可检测智能手机101的移动方向或加速度。该检测结果输出至主控制部100。
电源部190根据主控制部100的指示向智能手机101的各部供给蓄积在电池(未图示)中的电力。
主控制部100具备微处理器，并且根据存储于存储部150中的控制程序或控制数据而动作，并统一控制智能手机101的各部。并且，主控制部100具备为了通过无线通信部110进行声音通信或数据通信而控制通信系统的各部的移动通信控制功能和应用处理功能。
应用处理功能是通过主控制部100根据存储于存储部150中的应用软件而动作来实现的。作为应用处理功能，例如有控制外部输入输出部160与对象设备进行数据通信的红外线通信功能或进行电子邮件的收发的电子邮件功能、浏览网页的网页浏览器功能等。
并且，主控制部100具备根据接收数据或下载的流数据等图像数据(静态图像或动态图像的数据)将影像显示于显示输入部120等的图像处理功能。图像处理功能是指，主控制部100对上述图像数据进行解码并对该解码结果施以图像处理而将图像显示于显示输入部120的功能。
而且，主控制部100执行针对显示面板121的显示控制和检测通过操作部140、操作面板122的用户操作的操作检测控制。
主控制部100通过执行显示控制来显示用于启动应用软件的图标或滚动条等软件键或显示用于撰写电子邮件的窗口。另外，滚动条是指，用于针对无法容纳于显示面板121的显示区域内的大图像等受理移动图像的显示部分的指示的软件键。
并且，主控制部100通过执行操作检测控制来检测通过操作部140的用户操作，或者通过操作面板122受理针对上述图标的操作或针对上述窗口的输入栏的字符串的输入，或者受理通过滚动条的显示图像的滚动请求。
而且，主控制部100具备如下触摸面板控制功能：通过执行操作检测控制来判定针对操作面板122的操作位置是重叠于显示面板121的重叠部分(显示区域)还是除此之外的不重叠于显示面板121的外缘部分(非显示区域)，并控制操作面板122的感应区域或软件键的显示位置。
并且，主控制部100还能够检测针对操作面板122的手势操作，并根据检测出的手势操作来执行预先设定的功能。手势操作不是指以往的单纯的触摸操作，而是指用手指等描绘轨迹、同时指定多个位置或组合这些而对多个位置中至少1个位置描绘轨迹的操作。
相机部141为使用CMOS等成像元件而进行电子拍摄的数码相机。并且，相机部141能够在主控制部100的控制下将通过拍摄而得的图像数据例如转换成JPEG等经压缩的图像数据，存储于存储部150中，并通过外部输入输出部160或无线通信部110输出。如图22所示，在智能手机101中，相机部141搭载于与显示输入部120相同的面上，但相机部141的搭载位置并不限于此，也可以搭载于显示输入部120的背面，或者也可以搭载多个相机部141。另外，在搭载有多个相机部141的情况下，可以切换用于拍摄的相机部141来单独进行拍摄，或者也可以同时使用多个相机部141进行拍摄。
并且，相机部141能够利用于智能手机101的各种功能。例如，能够将由相机部141获取的图像显示于显示面板121或将相机部141的图像用作操作面板122的操作输入之一。并且，在GPS接收部170检测位置时，还能够参考来自相机部141的图像来检测位置。而且，还能够参考来自相机部141的图像在不使用三轴加速度传感器的情况下或同时使用三轴加速度传感器来判断智能手机101的相机部141的光轴方向或判断当前的使用环境。当然，还能够在应用软件内利用来自相机部141的图像。
此外，还能够对静态图像或动态图像的图像数据附加由GPS接收部170获取的位置信息、由麦克风132获取的声音信息(也可以通过主控制部等进行声音文本转换而成为文本信息)、由动作传感器部180获取的姿势信息等并存储于存储部150中，并通过外部输入输出部160或无线通信部110输出。
上述的图像处理部31及系统控制部25例如能够由主控制部100实现。
作为本发明的一方式的图像处理装置具备：图像获取部，获取拍摄被摄体而得的拍摄图像；区域分割部，根据拍摄图像的亮度信息将拍摄图像分割成多个区域；第1白平衡关系信息计算部，对由区域分割部分割的多个区域中的每一个区域计算第1白平衡关系信息；第2白平衡关系信息获取部，获取用户对拍摄图像设定的第2白平衡关系信息；及优先区域确定部，确定根据优先区域的光亮度来设定对拍摄图像进行的动态范围放大处理的条件的优先区域，优先区域根据第1白平衡关系信息和第2白平衡关系信息来确定。
根据本方式，可通过第1白平衡关系信息计算部对由区域分割部分割的多个区域中的每一个区域计算第1白平衡关系信息，通过第2白平衡关系信息获取部来获取用户对拍摄图像设定的第2白平衡关系信息。并且，根据本方式，可通过优先区域确定部确定根据优先区域的光亮度来设定对拍摄图像进行的动态范围放大处理的条件的优先区域，所述优先区域根据第1白平衡关系信息和第2白平衡关系信息来确定。由此，本方式确定与用户主动设定的白平衡对应的动态范围放大处理的优先区域，因此能够确定能够实现反映用户的拍摄意图的动态范围放大处理的优先区域。
优选优先区域确定部将第1白平衡关系信息与第2白平衡关系信息的差分小的区域确定为优先区域。
根据本方式，可将第1白平衡关系信息与第2白平衡关系信息的差分小的区域确定为优先区域，因此可确定符合用户的拍摄意图的优先区域。
优选区域分割部将拍摄图像至少分割成高光区域及阴影区域，在高光区域中的第1白平衡关系信息与第2白平衡关系信息的差分小于阴影区域的差分的情况下，优先区域确定部将高光区域确定为优先区域，在阴影区域的差分小于高光区域的差分的情况下，优先区域确定部将阴影区域确定为优先区域。
根据本方式，可将拍摄图像至少分割成高光区域及阴影区域，对高光区域及阴影区域计算第1白平衡关系信息与第2白平衡关系信息的差分，并将具有小的差分的区域确定为优先区域。由此，本方式可确定符合用户的拍摄意图的优先区域。
优选还具备：色调曲线确定部，根据优先区域来确定色调曲线。
根据本方式，可通过色调曲线确定部根据优先区域来确定色调曲线，因此能够根据反映用户的拍摄意图的色调曲线来执行动态范围放大处理。
优选色调曲线确定部确定使优先区域的光亮度适当的色调曲线。
根据本方式，可通过色调曲线确定部确定使优先区域的光亮度适当的色调曲线，因此可进行能够适当呈现用户打算优先拍摄的区域的光亮度的动态范围放大处理。
优选图像处理装置还具备：区块分割部，将拍摄图像分为多个区块，区域分割部根据多个区块各自的亮度信息以区块单位分割成多个区域。
根据本方式，可通过区块分割部将拍摄图像分为多个区块，并通过区域分割部根据多个区块各自的亮度信息以区块单位分割成多个区域。由此，本方式能够确定以区块构成的优先区域。
优选第1白平衡关系信息计算部使位于多个区域的各边界的区块的参考权重低于不位于各边界的区块来计算第1白平衡关系信息。
根据本方式，可通过第1白平衡关系信息计算部使位于多个区域的各边界的区块的参考权重低于不位于各边界的区块来计算第1白平衡关系信息。由此，本方式降低了位于各区域的具有适当值的可能性低的区域的边界的区块的参考权重，因此能够更适当地计算第1白平衡关系信息。
优选图像处理装置还具备：白平衡处理部，对拍摄图像进行白平衡校正处理。
根据本方式，可通过白平衡处理部进行白平衡校正处理，因此可执行与反映用户的拍摄意图的优先区域对应的白平衡校正处理。
优选白平衡处理部根据第2白平衡关系信息对拍摄图像进行白平衡校正处理。
根据本方式，可通过白平衡处理部根据第2白平衡关系信息对拍摄图像进行白平衡校正处理，因此可对拍摄图像执行与用户的拍摄意图对应的白平衡校正处理。
优选白平衡处理部根据第2白平衡关系信息对多个区域中的优先区域进行白平衡校正处理，并根据第1白平衡关系信息对多个区域中的除优先区域以外的区域进行白平衡校正处理。
根据本方式，可通过白平衡处理部根据第2白平衡关系信息对多个区域中的优先区域进行白平衡校正处理，并根据第1白平衡关系信息对多个区域中的除优先区域以外的区域进行白平衡校正处理。由此，本方式可对优先区域进行反映用户的拍摄意图的白平衡校正处理，对除优先区域以外的区域进行基于像素值的白平衡校正处理。即，在本方式中可对优先区域进行用户自行设定的白平衡校正处理，对除优先区域以外的区域根据区域的像素值来进行白平衡校正处理。因此，例如在本方式中，即使按区域照射不同的光源，也可在各区域中适当地进行白平衡校正处理。
优选白平衡处理部针对构成拍摄图像的每个像素进行白平衡校正处理。
根据本方式，可通过白平衡处理部针对构成拍摄图像的每个像素进行白平衡校正处理，因此可按像素执行适当的白平衡校正处理。
优选白平衡处理部根据第1白平衡关系信息及第2白平衡关系信息中的任一个对构成拍摄图像的每个像素进行白平衡校正处理。
根据本方式，可通过白平衡处理部根据第1白平衡关系信息及第2白平衡关系信息中的任一个对构成拍摄图像的每个像素进行白平衡校正处理，因此可按像素执行适当的白平衡校正处理。
优选第1白平衡关系信息及第2白平衡关系信息为表示白平衡校正量、色温信息或光源的色调的信息。
根据本方式，第1白平衡关系信息及第2白平衡关系信息为表示白平衡校正量、色温信息或光源的色调的信息，因此能够进行适当反映用户的拍摄意图的白平衡校正处理。
作为本发明的另一方式的摄像装置搭载有上述图像处理装置，具备：曝光调整部，根据优先区域来调整曝光。
根据本方式，可通过曝光调整部根据优先区域来调整曝光，因此能够进行反映用户的拍摄意图的曝光控制。
优选在优先区域位于比阈值更靠高光侧的情况下，曝光调整部根据拍摄图像的曝光过度像素来控制曝光，在优先区域位于阈值以下的阴影侧的情况下，曝光调整部根据拍摄图像的曝光不足像素来控制曝光。
根据本方式，可通过曝光调整部在优先区域位于比阈值更靠高光侧的情况下根据拍摄图像的曝光过度像素来控制曝光，在优先区域位于阈值以下的阴影侧的情况下根据拍摄图像的曝光不足像素来控制曝光。由此，本方式可在用户的拍摄意图在高光侧的情况下及用户的拍摄意图在阴影侧的情况下适当控制曝光来获取拍摄图像。
作为本发明的另一方式的图像处理方法包括如下步骤：图像获取步骤，获取拍摄被摄体而得的拍摄图像；区域分割步骤，根据拍摄图像的亮度信息将拍摄图像分割成多个区域；第1白平衡关系信息计算步骤，对在区域分割步骤中分割的多个区域中的每一个区域计算第1白平衡关系信息；第2白平衡关系信息获取步骤，获取用户对拍摄图像设定的第2白平衡关系信息；及优先区域确定步骤，确定根据优先区域的光亮度来设定对拍摄图像进行的动态范围放大处理的条件的优先区域，优先区域根据第1白平衡关系信息和第2白平衡关系信息来确定。
作为本发明的另一方式的摄像方法包括如下步骤：图像获取步骤，获取拍摄被摄体而得的拍摄图像；区域分割步骤，根据拍摄图像的亮度信息将拍摄图像分割成多个区域；第1白平衡关系信息计算步骤，对在区域分割步骤中分割的多个区域中的每一个区域计算第1白平衡关系信息；第2白平衡关系信息获取步骤，获取用户对拍摄图像设定的第2白平衡关系信息；优先区域确定步骤，确定根据优先区域的光亮度来设定对拍摄图像进行的动态范围放大处理的条件的优先区域，优先区域根据第1白平衡关系信息和第2白平衡关系信息来确定；及曝光调整步骤，根据优先区域来调整曝光。
作为本发明的另一方式的程序使计算机执行包括如下步骤的图像处理方法：图像获取步骤，获取拍摄被摄体而得的拍摄图像；区域分割步骤，根据拍摄图像的亮度信息将拍摄图像分割成多个区域；第1白平衡关系信息计算步骤，对在区域分割步骤中分割的多个区域中的每一个区域计算第1白平衡关系信息；第2白平衡关系信息获取步骤，获取用户对拍摄图像设定的第2白平衡关系信息；及优先区域确定步骤，确定根据优先区域的光亮度来设定对拍摄图像进行的动态范围放大处理的条件的优先区域，优先区域根据第1白平衡关系信息和第2白平衡关系信息来确定。
作为本发明的另一方式的程序使计算机执行包括如下步骤的摄像方法：
图像获取步骤，获取拍摄被摄体而得的拍摄图像；区域分割步骤，根据拍摄图像的亮度信息将拍摄图像分割成多个区域；第1白平衡关系信息计算步骤，对在区域分割步骤中分割的多个区域中的每一个区域计算第1白平衡关系信息；第2白平衡关系信息获取步骤，获取用户对拍摄图像设定的第2白平衡关系信息；优先区域确定步骤，确定根据优先区域的光亮度来设定对拍摄图像进行的动态范围放大处理的条件的优先区域，优先区域根据第1白平衡关系信息和第2白平衡关系信息来确定；及曝光调整步骤，根据优先区域来调整曝光。
根据上述记载，能够掌握以下附记项1所述的图像处理装置。
[附记项1]
一种图像处理装置，其具备：
图像获取处理器，获取拍摄被摄体而得的拍摄图像；
区域分割处理器，根据拍摄图像的亮度信息将拍摄图像分割成多个区域；
第1白平衡关系信息计算处理器，对由区域分割处理器分割的多个区域中的每一个区域计算第1白平衡关系信息；
第2白平衡关系信息获取处理器，获取用户对拍摄图像设定的第2白平衡关系信息；及
优先区域确定处理器，确定根据优先区域的光亮度来设定对拍摄图像进行的动态范围放大处理的条件的优先区域，优先区域根据第1白平衡关系信息和第2白平衡关系信息来确定。
以上，对本发明的例子进行了说明，但本发明并不限定于上述实施方式，能够在不脱离本发明的精神的范围内进行各种变形是不言而喻的。
符号说明
2-数码相机，3-相机主体，4-透镜镜筒，5-闪光发光部，6-快门按钮，7-电源开关，8-显示部，9-操作部，10-外部存储器，12-镜头部，20-机械快门，21-成像元件，22-进程处理部，23-AD转换部，24-主存储器，25-系统控制部，26-快门驱动部，27-透镜驱动部，28-电源控制部，29-电源，30-控制存储器，31-图像处理部，32-压缩扩展部，33-存储控制部，35-显示控制部，36-用户界面，100-主控制部，101-智能手机，102-壳体，110-无线通信部，12-显示输入部，121-显示面板，122-操作面板，130-通话部，131-扬声器，132-麦克风，140-操作部，141-相机部，150-存储部，151-内部存储部，152-外部存储部，160-外部输入输出部，170-GPS接收部，180-动作传感器部，190-电源部，301-图像获取部，303-区块分割部，305-区域分割部，307-第1白平衡关系信息计算部，309-第2白平衡关系信息获取部，311-优先区域确定部，313-曝光调整部，315-色调曲线确定部，317-白平衡处理部，401-拍摄图像，402-人，403-高光区域，404-阴影区域，步骤S101～步骤S106-第1实施方式的图像处理工序，步骤S201～步骤S209-第2实施方式的图像处理工序及摄像工序，步骤S301～步骤S309-第3实施方式的图像处理工序及摄像工序，步骤S401～步骤S410-第4实施方式的图像处理工序及摄像工序。

Claims (17)

1.一种图像处理装置，其具备：
图像获取部，获取拍摄被摄体而得的拍摄图像；
区域分割部，根据所述拍摄图像的亮度信息将所述拍摄图像分割成多个区域；
第1白平衡关系信息计算部，对由所述区域分割部分割的所述多个区域中的每一个区域计算第1白平衡关系信息；
第2白平衡关系信息获取部，获取用户对所述拍摄图像设定的第2白平衡关系信息；及
优先区域确定部，确定优先区域，所述优先区域的光亮度用于设定对所述拍摄图像进行动态范围放大处理的条件，所述优先区域根据所述第1白平衡关系信息和所述第2白平衡关系信息来确定，
所述优先区域确定部将所述第1白平衡关系信息与所述第2白平衡关系信息的差分小的所述区域确定为所述优先区域，
所述区域分割部将所述拍摄图像至少分割成高光区域及阴影区域，
在所述高光区域中的所述第1白平衡关系信息与所述第2白平衡关系信息的差分小于所述阴影区域的所述差分的情况下，所述优先区域确定部将所述高光区域确定为所述优先区域，在所述阴影区域的所述差分小于所述高光区域的所述差分的情况下，所述优先区域确定部将所述阴影区域确定为所述优先区域。
2.根据权利要求1所述的图像处理装置，其还具备：
色调曲线确定部，根据所述优先区域来确定色调曲线。
3.根据权利要求2所述的图像处理装置，其中，
所述色调曲线确定部确定使所述优先区域的光亮度适当的所述色调曲线。
4.根据权利要求1所述的图像处理装置，其还具备：
区块分割部，将所述拍摄图像分为多个区块，
所述区域分割部根据所述多个区块各自的所述亮度信息以所述区块单位分割成所述多个区域。
5.根据权利要求4所述的图像处理装置，其中，
所述第1白平衡关系信息计算部使位于所述多个区域的各边界的所述区块的参考权重低于不位于所述各边界的所述区块来计算所述第1白平衡关系信息。
6.根据权利要求1所述的图像处理装置，其还具备：
白平衡处理部，对所述拍摄图像进行白平衡校正处理。
7.根据权利要求6所述的图像处理装置，其中，
所述白平衡处理部根据所述第2白平衡关系信息对所述拍摄图像进行白平衡校正处理。
8.根据权利要求6所述的图像处理装置，其中，
所述白平衡处理部根据所述第2白平衡关系信息对所述多个区域中的所述优先区域进行白平衡校正处理，并根据所述第1白平衡关系信息对所述多个区域中的除所述优先区域以外的区域进行白平衡校正处理。
9.根据权利要求6所述的图像处理装置，其中，
所述白平衡处理部针对构成所述拍摄图像的每个像素进行白平衡校正处理。
10.根据权利要求9所述的图像处理装置，其中，
所述白平衡处理部根据所述第1白平衡关系信息及所述第2白平衡关系信息中的任一个对构成所述拍摄图像的每个像素进行白平衡校正处理。
11.根据权利要求1所述的图像处理装置，其中，
所述第1白平衡关系信息及所述第2白平衡关系信息为表示白平衡校正量、色温信息或光源的色调的信息。
12.一种摄像装置，其搭载有权利要求1至11中任一项所述的图像处理装置，具备：
曝光调整部，根据所述优先区域来调整曝光。
13.根据权利要求12所述的摄像装置，其中，
在所述优先区域位于比阈值更靠高光侧的情况下，所述曝光调整部根据所述拍摄图像的曝光过度像素来控制所述曝光，在所述优先区域位于阈值以下的阴影侧的情况下，所述曝光调整部根据所述拍摄图像的曝光不足像素来控制所述曝光。
14.一种图像处理方法，其包括如下步骤：
图像获取步骤，获取拍摄被摄体而得的拍摄图像；
区域分割步骤，根据所述拍摄图像的亮度信息将所述拍摄图像分割成多个区域；
第1白平衡关系信息计算步骤，对在所述区域分割步骤中分割的所述多个区域中的每一个区域计算第1白平衡关系信息；
第2白平衡关系信息获取步骤，获取用户对所述拍摄图像设定的第2白平衡关系信息；及
优先区域确定步骤，确定优先区域，所述优先区域的光亮度用于设定对所述拍摄图像进行动态范围放大处理的条件，所述优先区域根据所述第1白平衡关系信息和所述第2白平衡关系信息来确定，
所述优先区域确定步骤将所述第1白平衡关系信息与所述第2白平衡关系信息的差分小的所述区域确定为所述优先区域，
所述区域分割步骤将所述拍摄图像至少分割成高光区域及阴影区域，
在所述高光区域中的所述第1白平衡关系信息与所述第2白平衡关系信息的差分小于所述阴影区域的所述差分的情况下，所述优先区域确定步骤将所述高光区域确定为所述优先区域，在所述阴影区域的所述差分小于所述高光区域的所述差分的情况下，所述优先区域确定步骤将所述阴影区域确定为所述优先区域。
15.一种摄像方法，其包括如下步骤：
图像获取步骤，获取拍摄被摄体而得的拍摄图像；
区域分割步骤，根据所述拍摄图像的亮度信息将所述拍摄图像分割成多个区域；
第1白平衡关系信息计算步骤，对在所述区域分割步骤中分割的所述多个区域中的每一个区域计算第1白平衡关系信息；
第2白平衡关系信息获取步骤，获取用户对所述拍摄图像设定的第2白平衡关系信息；
优先区域确定步骤，确定优先区域，所述优先区域的光亮度用于设定对所述拍摄图像进行动态范围放大处理的条件，所述优先区域根据所述第1白平衡关系信息和所述第2白平衡关系信息来确定；及
曝光调整步骤，根据所述优先区域来调整曝光，
所述优先区域确定步骤将所述第1白平衡关系信息与所述第2白平衡关系信息的差分小的所述区域确定为所述优先区域，
所述区域分割步骤将所述拍摄图像至少分割成高光区域及阴影区域，
在所述高光区域中的所述第1白平衡关系信息与所述第2白平衡关系信息的差分小于所述阴影区域的所述差分的情况下，所述优先区域确定步骤将所述高光区域确定为所述优先区域，在所述阴影区域的所述差分小于所述高光区域的所述差分的情况下，所述优先区域确定步骤将所述阴影区域确定为所述优先区域。
16.一种计算机可读取的存储介质,存储有程序，该程序使计算机执行包括如下步骤的图像处理方法：
图像获取步骤，获取拍摄被摄体而得的拍摄图像；
区域分割步骤，根据所述拍摄图像的亮度信息将所述拍摄图像分割成多个区域；
第1白平衡关系信息计算步骤，对在所述区域分割步骤中分割的所述多个区域中的每一个区域计算第1白平衡关系信息；
第2白平衡关系信息获取步骤，获取用户对所述拍摄图像设定的第2白平衡关系信息；及
优先区域确定步骤，确定优先区域，所述优先区域的光亮度用于设定对所述拍摄图像进行动态范围放大处理的条件，所述优先区域根据所述第1白平衡关系信息和所述第2白平衡关系信息来确定，
所述优先区域确定步骤将所述第1白平衡关系信息与所述第2白平衡关系信息的差分小的所述区域确定为所述优先区域，
所述区域分割步骤将所述拍摄图像至少分割成高光区域及阴影区域，
在所述高光区域中的所述第1白平衡关系信息与所述第2白平衡关系信息的差分小于所述阴影区域的所述差分的情况下，所述优先区域确定步骤将所述高光区域确定为所述优先区域，在所述阴影区域的所述差分小于所述高光区域的所述差分的情况下，所述优先区域确定步骤将所述阴影区域确定为所述优先区域。
17.一种计算机可读取的存储介质,存储有程序，该程序使计算机执行包括如下步骤的摄像方法：
图像获取步骤，获取拍摄被摄体而得的拍摄图像；
区域分割步骤，根据所述拍摄图像的亮度信息将所述拍摄图像分割成多个区域；
第1白平衡关系信息计算步骤，对在所述区域分割步骤中分割的所述多个区域中的每一个区域计算第1白平衡关系信息；
第2白平衡关系信息获取步骤，获取用户对所述拍摄图像设定的第2白平衡关系信息；
优先区域确定步骤，确定优先区域，所述优先区域的光亮度用于设定对所述拍摄图像进行动态范围放大处理的条件，所述优先区域根据所述第1白平衡关系信息和所述第2白平衡关系信息来确定；及
曝光调整步骤，根据所述优先区域来调整曝光，
所述优先区域确定步骤将所述第1白平衡关系信息与所述第2白平衡关系信息的差分小的所述区域确定为所述优先区域，
所述区域分割步骤将所述拍摄图像至少分割成高光区域及阴影区域，
在所述高光区域中的所述第1白平衡关系信息与所述第2白平衡关系信息的差分小于所述阴影区域的所述差分的情况下，所述优先区域确定步骤将所述高光区域确定为所述优先区域，在所述阴影区域的所述差分小于所述高光区域的所述差分的情况下，所述优先区域确定步骤将所述阴影区域确定为所述优先区域。
CN201880059216.1A 2017-09-29 2018-06-22 图像处理装置和处理方法、摄像装置、摄像方法、存储介质 Active CN111095913B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2017-190537 2017-09-29
JP2017190537 2017-09-29
PCT/JP2018/023832 WO2019064753A1 (ja) 2017-09-29 2018-06-22 画像処理装置、撮像装置、画像処理方法、撮像方法、およびプログラム

Publications (2)

Publication Number Publication Date
CN111095913A CN111095913A (zh) 2020-05-01
CN111095913B true CN111095913B (zh) 2021-07-06

Family

ID=65901711

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201880059216.1A Active CN111095913B (zh) 2017-09-29 2018-06-22 图像处理装置和处理方法、摄像装置、摄像方法、存储介质

Country Status (4)

Country Link
US (1) US11032484B2 (zh)
JP (1) JP6921972B2 (zh)
CN (1) CN111095913B (zh)
WO (1) WO2019064753A1 (zh)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11928799B2 (en) * 2020-06-29 2024-03-12 Samsung Electronics Co., Ltd. Electronic device and controlling method of electronic device
CN112153303B (zh) * 2020-09-28 2021-09-21 广州虎牙科技有限公司 一种视觉数据处理方法、装置、图像处理设备和存储介质
CN113132799B (zh) * 2021-03-30 2022-08-23 腾讯科技（深圳）有限公司 视频播放处理方法及装置、电子设备、存储介质
CN117082362B (zh) * 2023-08-25 2024-05-28 山东中清智能科技股份有限公司 一种水下成像方法和设备

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003264739A (ja) * 2002-03-07 2003-09-19 Olympus Optical Co Ltd デジタルカメラ
JP2006050085A (ja) * 2004-08-02 2006-02-16 Fuji Photo Film Co Ltd 画像処理装置及び撮像装置
CN102469243A (zh) * 2010-11-04 2012-05-23 卡西欧计算机株式会社 能白平衡调整的摄像装置
CN105306916A (zh) * 2014-05-30 2016-02-03 佳能株式会社 执行白平衡控制的图像拾取装置及其控制方法
CN106165409A (zh) * 2014-03-31 2016-11-23 富士胶片株式会社 图像处理装置、摄像装置、图像处理方法及程序

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3820497B2 (ja) * 1999-01-25 2006-09-13 富士写真フイルム株式会社 撮像装置及び自動露出制御の補正処理方法
JP2006115249A (ja) * 2004-10-15 2006-04-27 Pentax Corp 露出装置
JP4914300B2 (ja) 2007-07-04 2012-04-11 富士フイルム株式会社 撮像装置及び撮像制御方法
JP5321163B2 (ja) * 2009-03-12 2013-10-23 株式会社リコー 撮像装置及び撮像方法
KR102145201B1 (ko) * 2013-08-12 2020-08-18 삼성전자주식회사 이미지의 동적 범위 향상을 위한 방법 및 장치
JP2016173777A (ja) 2015-03-18 2016-09-29 株式会社 日立産業制御ソリューションズ 画像処理装置
JP6521776B2 (ja) * 2015-07-13 2019-05-29 オリンパス株式会社 画像処理装置、画像処理方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003264739A (ja) * 2002-03-07 2003-09-19 Olympus Optical Co Ltd デジタルカメラ
JP2006050085A (ja) * 2004-08-02 2006-02-16 Fuji Photo Film Co Ltd 画像処理装置及び撮像装置
CN102469243A (zh) * 2010-11-04 2012-05-23 卡西欧计算机株式会社 能白平衡调整的摄像装置
CN106165409A (zh) * 2014-03-31 2016-11-23 富士胶片株式会社 图像处理装置、摄像装置、图像处理方法及程序
CN105306916A (zh) * 2014-05-30 2016-02-03 佳能株式会社 执行白平衡控制的图像拾取装置及其控制方法

Also Published As

Publication number Publication date
WO2019064753A1 (ja) 2019-04-04
US20200204723A1 (en) 2020-06-25
CN111095913A (zh) 2020-05-01
JPWO2019064753A1 (ja) 2020-11-05
JP6921972B2 (ja) 2021-08-18
US11032484B2 (en) 2021-06-08

Similar Documents

Publication Publication Date Title
US10027938B2 (en) Image processing device, imaging device, image processing method, and image processing program
US10165243B2 (en) Image processing device, imaging device, image processing method, and program
US8749653B2 (en) Apparatus and method of blurring background of image in digital image processing device
CN111095913B (zh) 图像处理装置和处理方法、摄像装置、摄像方法、存储介质
US10298899B2 (en) Image processing device, imaging device, image processing method, and program
US10021361B2 (en) Image processing device, imaging device, image processing method, and program
JP2018006912A (ja) 撮像装置、画像処理装置及びそれらの制御方法、プログラム
JP6810299B2 (ja) 画像処理装置、方法、及びプログラム並びに撮像装置
US11032483B2 (en) Imaging apparatus, imaging method, and program
US8934042B2 (en) Candidate image presenting method using thumbnail image and image signal processing device and imaging device performing the same
JP2016144006A (ja) 画像処理装置、撮像装置、画像処理方法、プログラム及び記録媒体
JP6941744B2 (ja) 画像処理装置、撮影装置、画像処理方法及び画像処理プログラム
US20230410260A1 (en) Method and apparatus for processing image
JP6703787B2 (ja) 撮像装置及びその制御方法、プログラム、記憶媒体

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant