CN108886608B - 白平衡调整装置、其工作方法和计算机可读取介质 - Google Patents
白平衡调整装置、其工作方法和计算机可读取介质 Download PDFInfo
- Publication number
- CN108886608B CN108886608B CN201780022084.0A CN201780022084A CN108886608B CN 108886608 B CN108886608 B CN 108886608B CN 201780022084 A CN201780022084 A CN 201780022084A CN 108886608 B CN108886608 B CN 108886608B
- Authority
- CN
- China
- Prior art keywords
- auxiliary light
- priority
- emission
- light source
- white balance
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims description 23
- 238000001514 detection method Methods 0.000 claims description 13
- 239000013598 vector Substances 0.000 claims description 13
- 230000007717 exclusion Effects 0.000 claims description 5
- 238000011017 operating method Methods 0.000 abstract 1
- 238000012545 processing Methods 0.000 description 36
- 230000000694 effects Effects 0.000 description 25
- 238000003384 imaging method Methods 0.000 description 23
- 238000010586 diagram Methods 0.000 description 18
- 238000012986 modification Methods 0.000 description 18
- 230000004048 modification Effects 0.000 description 18
- 238000009826 distribution Methods 0.000 description 12
- 238000005286 illumination Methods 0.000 description 12
- 230000006870 function Effects 0.000 description 9
- 238000004891 communication Methods 0.000 description 8
- 230000003287 optical effect Effects 0.000 description 6
- 230000008569 process Effects 0.000 description 6
- 238000006243 chemical reaction Methods 0.000 description 5
- 230000009467 reduction Effects 0.000 description 5
- 238000012790 confirmation Methods 0.000 description 4
- 238000012935 Averaging Methods 0.000 description 3
- 230000012447 hatching Effects 0.000 description 3
- 241000167854 Bourreria succulenta Species 0.000 description 2
- 235000019693 cherries Nutrition 0.000 description 2
- 230000001678 irradiating effect Effects 0.000 description 2
- 238000005192 partition Methods 0.000 description 2
- 239000004065 semiconductor Substances 0.000 description 2
- 230000004397 blinking Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 238000007906 compression Methods 0.000 description 1
- 230000006835 compression Effects 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 238000012805 post-processing Methods 0.000 description 1
- 238000007781 pre-processing Methods 0.000 description 1
- 238000003860 storage Methods 0.000 description 1
- 230000001360 synchronised effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/90—Dynamic range modification of images or parts thereof
- G06T5/94—Dynamic range modification of images or parts thereof based on local image properties, e.g. for local contrast enhancement
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/90—Determination of colour characteristics
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/97—Determining parameters from multiple pictures
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/56—Cameras or camera modules comprising electronic image sensors; Control thereof provided with illuminating means
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/61—Control of cameras or camera modules based on recognised objects
- H04N23/611—Control of cameras or camera modules based on recognised objects where the recognised objects include parts of the human body
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/70—Circuitry for compensating brightness variation in the scene
- H04N23/71—Circuitry for evaluating the brightness variation
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/70—Circuitry for compensating brightness variation in the scene
- H04N23/74—Circuitry for compensating brightness variation in the scene by influencing the scene brightness using illuminating means
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/80—Camera processing pipelines; Components thereof
- H04N23/84—Camera processing pipelines; Components thereof for processing colour signals
- H04N23/88—Camera processing pipelines; Components thereof for processing colour signals for colour balance, e.g. white-balance circuits or colour temperature control
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20004—Adaptive image processing
- G06T2207/20012—Locally adaptive
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20021—Dividing image into blocks, subimages or windows
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30196—Human being; Person
- G06T2207/30201—Face
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Color Television Image Signal Generators (AREA)
- Processing Of Color Television Signals (AREA)
Abstract
本发明提供一种在多闪光摄影时主被摄体变成适宜的色调的白平衡调整装置及其工作方法和非暂时性的计算机可读取介质。由非发光图像获取部(53a)获取多个闪光灯装置(12)、(13)为非发光状态的非发光图像(60)。由发光图像获取部(53b)获取多个闪光灯装置(12)、(13)为独立发光状态的预发光图像(61)、(62)。由闪光照射区域确定部(54)根据非发光图像(60)及各发光图像(61)、(62)的多个分割区域(65)的信号值的差分而确定闪光照射区域(67)、(68)。优先闪光灯装置选择部(55)选择作为WB(白平衡)调整对象的优先闪光灯装置。WB调整部(56)根据被选择的优先闪光灯装置的照射区域的信号值进行WB调整。
Description
技术领域
本发明涉及一种将使用多个辅助光源进行摄影时的白平衡进行调整的白平衡调整装置及其工作方法和非暂时性的计算机可读取介质。
背景技术
人类的视觉具有色彩的恒定性。因此,与电灯、荧光灯、太阳光等环境光的差异无关,而能够感知被摄体所具有的本来的颜色。相对于此,基于数码相机等摄像装置的图像直接受到环境光的影响。因此,摄像装置具有校正环境光的影响而色彩转换成对人来讲自然的图像的白平衡调整功能。
例如,在使用闪光灯装置作为辅助光源并通过摄像装置而被摄影的图像中,主被摄体上被照射环境光与闪光灯的混合光。并且,背景受闪光灯的影响少,以环境光为主。
在通常的闪光摄影时的自动白平衡调整中,例如,如日本特开2010-193048号公报中所记载,计算环境光与闪光灯的比率(以下,称为混合光比率),并根据混合光比率调整白平衡。在基于一个闪光灯的单灯闪光摄影时,有闪光灯强烈地照射到主被摄体的倾向。因此,根据闪光灯强烈地照射的部位的混合光比率进行自动白平衡调整,由此主被摄体成为适宜的色调。
发明内容
发明要解决的技术课题
然而,在使用了多个辅助光源例如多个闪光灯装置的摄影中,多数情况下,闪光灯强烈地照射到的部位不会成为主被摄体。例如,在存在将闪光灯照射到主被摄体的闪光灯装置和将闪光灯照射到背景的闪光灯装置的多个辅助光源的情况下,有时使照射到背景的闪光灯装置强烈地发光。该情况下,若根据闪光灯强烈地照射到的部位的混合光比率进行自动白平衡调整,则导致变成重视了背景的色调,主被摄体的色调变差。
本发明鉴于上述情况,其目的在于提供一种在基于多个辅助光源的摄影时主被摄体成为适宜的色调的白平衡调整装置及其工作方法和非暂时性的计算机可读取介质。
用于解决技术课题的手段
为了实现上述目的,本发明的白平衡调整装置具备非发光图像获取部、发光图像获取部、辅助光照射区域确定部、优先辅助光源选择部、白平衡调整值计算部及白平衡调整部。非发光图像获取部将多个辅助光源设为非发光状态而拍摄被摄体而获取非发光图像。发光图像获取部将多个辅助光源设为独立发光状态而分别拍摄被摄体而获取各辅助光源的发光图像。辅助光照射区域确定部将非发光图像及各发光图像分割成多个分割区域,并根据独立发光状态与非发光状态的各分割区域的信号值的差分,确定基于各辅助光源的辅助光所照射到的辅助光照射区域。优先辅助光源选择部在各辅助光源中选择作为白平衡调整对象的优先辅助光源。白平衡调整值计算部根据基于被选择的优先辅助光源的辅助光所照射到的优先辅助光照射区域的信号值,进行白平衡调整值的计算。白平衡调整部进行基于白平衡调整值的调整。
优选优先辅助光源选择部具有脸部区域检测部和优先辅助光源确定部。脸部区域检测部从非发光图像或发光图像中检测脸部区域。优先辅助光源确定部确定由脸部区域检测部检测出的脸部区域在哪一个辅助光照射区域,并将与脸部区域所在的辅助光照射区域对应的辅助光源确定为优先辅助光源。
优选优先辅助光源选择部具有优先辅助光源确定部,该优先辅助光源确定部根据预先存储的基于辅助光源的光源颜色信息而确定优先辅助光源。优先辅助光源确定部根据预先存储的基于辅助光的光源颜色信息、从非发光图像获取的基于环境光的光源颜色信息及辅助光照射区域的非发光时的像素信息,设定色彩空间中的判定范围。在基于发光图像的像素信息位于判定范围内的情况下,将与辅助光照射区域对应的辅助光源确定为优先辅助光源。
优选优先辅助光源根据非发光时信号值平均、辅助光源发光时信号值平均预测值及发光时信号值平均进行判定。基于辅助光的光源颜色信息是表示色彩空间中的辅助光的颜色的坐标。基于环境光的光源颜色信息是根据非发光图像求出并表示色彩空间中的环境光的颜色的坐标。辅助光照射区域的非发光时的像素信息是根据非发光图像求出并表示色彩空间中的辅助光照射区域的非发光时信号值平均的坐标。优先辅助光源确定部根据发光图像而计算色彩空间中的辅助光照射区域的信号值平均即发光时信号值平均。而且,计算辅助光的光源颜色信息与环境光的光源颜色信息的差值即差分矢量,在非发光时信号值平均的坐标上将差分矢量进行相加,从而求出辅助光源发光时信号值平均预测值。
优选在将非发光时信号值平均及辅助光源发光时的信号值平均预测值作为两端而包括的判定范围内存在发光时信号值平均的情况下,优先辅助光源确定部判定为优先辅助光源。
优选优先辅助光源选择部具有空间频率计算部和优先辅助光源确定部。空间频率计算部计算非发光图像中的基于各辅助光源的辅助光照射区域的空间频率。在基于各辅助光源的辅助光照射区域的空间频率为恒定值以下的情况下,优先辅助光源确定部从优先辅助光源的选择对象中排除与空间频率为恒定值以下的辅助光照射区域对应的辅助光源,并将因排除而残留的辅助光源设为优先辅助光源。
优选白平衡调整值计算部计算预测了将优先辅助光源以正式发光时的发光量发光时的优先辅助光照射区域的信号值的正式发光时优先辅助光信号预测值,并根据正式发光时优先辅助光信号预测值及优先辅助光照射区域的非发光时的信号值,计算白平衡调整值。
优选白平衡调整部获取将多个辅助光源设为以正式发光时发光量发光的状态而拍摄了被摄体的正式发光图像,并对正式发光图像进行基于白平衡调整值的白平衡调整。
本发明的白平衡调整装置的工作方法具有非发光图像获取步骤、发光图像获取步骤、辅助光照射区域确定步骤、优先辅助光源选择步骤、白平衡调整值计算步骤及白平衡调整步骤。并且,本发明的储存用于进行白平衡调整的、能够由计算机执行的程序的非暂时性的计算机可读取介质也使计算机执行上述各步骤。非发光图像获取步骤将多个辅助光源设为非发光状态而拍摄被摄体而获取非发光图像。发光图像获取步骤将多个辅助光源设为独立发光状态而分别拍摄被摄体而获取各辅助光源的发光图像。辅助光照射区域确定步骤将非发光图像及各发光图像分割成多个分割区域,并根据独立发光状态与非发光状态的各分割区域的信号值的差分,确定基于各辅助光源的辅助光所照射到的辅助光照射区域。优先辅助光源选择步骤在各辅助光源中选择作为白平衡调整对象的优先辅助光源。白平衡调整值计算步骤根据基于被选择的优先辅助光源的辅助光所照射到的优先辅助光照射区域的信号值,进行白平衡调整值的计算。白平衡调整步骤进行基于白平衡调整值的白平衡调整。
发明效果
根据本发明,能够提供一种在基于多个辅助光源的摄影时主被摄体成为适宜的色调的白平衡调整装置及其工作方法和非暂时性的计算机可读取介质。
附图说明
图1是表示应用了本发明的白平衡调整装置的一实施方式的整体摄影系统的立体图,表示点亮相机的闪光灯发光部而对预发光图像进行摄影的状态。
图2是相机及闪光灯装置的功能框图。
图3是主控制部及数字信号处理部中的功能框图。
图4是表示使用了多个闪光灯装置的摄影中的WB调整的流程图。
图5是表示确定闪光照射区域的说明图。
图6是表示选择优先闪光灯装置的说明图。
图7是表示点亮第2闪光灯装置而对摄影预发光图像进行摄影的状态的整体立体图。
图8是表示具有第2实施方式中的特殊效果滤镜的闪光灯装置的侧视图。
图9是表示第2实施方式的优先闪光灯装置选择部的功能框图。
图10是表示第2实施方式中的WB调整的流程图。
图11是表示在坐标轴上具有R/G、B/G的色彩空间中的环境光的光源颜色信息、闪光的光源颜色信息及差分矢量的线图。
图12是表示在坐标轴上具有R/G、B/G的色彩空间中的各闪光照射区域的非发光时信号值平均、照射了没有特殊效果滤镜的状态的闪光时的信号值平均预测值的线图。
图13是表示根据在坐标轴上具有R/G、B/G的色彩空间的判定范围H1内的预发光时的信号值平均的有无来判定是否为装配有特殊效果滤镜的闪光灯装置的线图。
图14是表示变形例1中的判定范围H2的线图。
图15是表示变形例2中的判定范围H3的线图。
图16是表示变形例3中的判定范围H4的线图。
图17是表示变形例4中的判定范围H5的线图。
图18是表示变形例5中的判定范围H6的线图。
图19是表示第3实施方式中的优先闪光灯装置选择部的功能框图。
图20是表示第3实施方式中的WB调整的流程图。
图21是表示第4实施方式中的优先闪光灯装置选择部的功能框图。
图22是表示第4实施方式中的WB调整的流程图。
图23是表示第4实施方式中的优先闪光灯装置的选择输入步骤的优先闪光灯装置确定画面的主视图。
图24是表示第4实施方式中的优先闪光灯装置确定步骤的优先闪光灯装置确定画面的主视图。
具体实施方式
[第1实施方式]
图1是应用了本发明的白平衡(以下,称为WB)调整装置的一实施方式的摄影系统10的整体结构图。摄影系统10使用多个闪光灯装置12、13作为辅助光源,例如在摄影工作室9中被使用。摄影系统10具有数码相机(以下,简称为相机)11及闪光灯装置12、13。相机11内置有包括闪光灯发光部14(参考图2)的闪光灯装置12。内置的闪光灯装置12在摄影系统10中作为第1辅助光源发挥功能。闪光灯装置13与相机11另行设置,在摄影系统10中,作为第2辅助光源发挥功能。
在摄影系统10中进行多照明摄影的情况下,通过相机11对第1辅助光源(第1闪光灯装置12)、第2辅助光源(第2闪光灯装置13)发送控制信号而控制点亮时刻。第1闪光灯装置12朝向被摄体5中的主被摄体6而照射闪光灯,第2闪光灯装置13将闪光灯照射到被摄体5中的配置于主被摄体6背后的背景屏幕7。另外,在本实施方式中,作为第1辅助光源而使用内置于相机11中的闪光灯装置12,但这与第2辅助光源同样地,可以是与相机11独立设置的闪光灯装置或装卸自如地装配于相机11而成为一体化的闪光灯装置。
如图2所示,相机11及闪光灯装置13具备无线通信I/F(interface:接口)15、16,并能够在相机11与闪光灯装置13之间进行无线通信。另外,也可以是有线通信来代替无线通信。
闪光灯装置13除了无线通信I/F16以外,还具备闪光灯控制部17及闪光灯发光部18。闪光灯装置13通过无线通信I/F16而接收从相机11发送的光量调节信号。闪光灯控制部17控制闪光灯发光部18,根据光量调节信号使闪光灯发光部18点亮。闪光灯发光部18的点亮是发光时间为微秒级的闪光灯发光。相机11的闪光灯装置12的闪光灯发光部14也相同。
相机11具备透镜镜筒21、操作开关22及背面显示部23等。透镜镜筒21设置在相机主体11a(参考图1)的前面,并具有摄影光学系统25或光圈26。
操作开关22在相机主体11a的上部或背面等设置有多个。操作开关22接收电源的接通或断开、释放操作及用于各种设定的输入操作。背面显示部23设置在相机主体11a的背面,并显示通过各种摄影模式而获取的图像或实时取景图像及用于进行各种设定的菜单画面。该背面显示部23的表面设置有触摸面板24。触摸面板24通过触摸面板控制部38而被控制,将通过触摸操作而被输入的命令信号发送到主控制部29。
在摄影光学系统25及光圈26的背后,沿摄影光学系统25的光轴LA依次配置快门27及成像元件28。成像元件28例如为具有RGB(Red(红)、Green(绿)、Blue(蓝))方式的滤色器的单板彩色摄像方式的CMOS(Complement ary metal-oxide-semiconductor:互补性金属氧化物半导体)型图像传感器。成像元件28通过摄影光学系统25而拍摄成像于成像面上的被摄体图像,并输出摄像信号。
成像元件28具备噪声消除电路、自动增益控制器、A/D(模拟/数字)转换电路等信号处理电路(均未图示)。噪声消除电路对摄像信号实施噪声消除处理。自动增益控制器将摄像信号的电平放大为最佳值。A/D转换电路将摄像信号转换为数字信号,并从成像元件28输出。
成像元件28、主控制部29及闪光灯控制部30连接于总线33上。闪光灯控制部30与闪光灯发光部14一同构成相机11内置的闪光灯装置12。除此以外,总线33上连接有存储器控制部34、数字信号处理部35、介质控制部36、背面显示控制部37及触摸面板控制部38。
存储器控制部34上连接有SDRAM(Synchronous Dynamic Random Access Memory:同步动态随机存取存储器)等临时存储用存储器39。存储器控制部34使从成像元件28输出的数字摄像信号即图像数据输入到存储器39而存储。并且,存储器控制部34将存储在存储器39中的图像数据输出到数字信号处理部35。
数字信号处理部35对从存储器39输入的图像数据实施矩阵运算、去马赛克处理、WB调整、γ校正、亮度/色差转换、调整大小处理及压缩处理等公知的图像处理。
介质控制部36控制对记录介质40的图像数据的记录及读出。记录介质40例如为内置了闪光灯存储器的存储卡。介质控制部36将通过数字信号处理部35而被压缩的图像数据以规定的文件形式记录于记录介质40。
背面显示控制部37控制对背面显示部23的图像显示。具体而言,背面显示控制部37根据由数字信号处理部35生成的图像数据,生成遵照NTSC(Nati onal TelevisionSystem Committee:国家电视系统委员会)标准等的视频信号,并输出到背面显示部23。
主控制部29控制相机11的摄影处理。具体而言,根据释放操作,经由快门驱动部41而控制快门27。与快门27的动作同步,对成像元件28的驱动进行控制。相机11能够设定各种摄影模式。主控制部29根据被设定的摄影模式控制光圈26的光圈值、快门27的曝光时间等,能够进行各种摄影模式的摄影。
在本实施方式中的相机11中,除了通常的各种摄影模式以外,还具备多照明摄影模式。多照明摄影模式在使用了多个辅助光源进行摄影时而被选择。该多照明摄影模式中,对在WB调整中优先的辅助光源即优先闪光灯装置进行确定,根据该所确定的优先闪光灯装置的闪光即优先闪光(优先辅助光)而计算WB调整值。然后,使用所算出的WB调整值,对通过正式发光时的图像即正式发光图像的摄影而得到的正式发光信号值进行WB调整。另外,也可以在确定优先闪光灯装置之后或获取正式发光信号之后以及其他任何时刻进行WB调整值的计算。
为了确定优先闪光灯装置,主控制部29具有优先闪光灯装置选择功能。若选择多照明摄影模式,则在摄影正式发光图像之前进行优先闪光灯装置选择处理。本实施方式中在优先闪光灯装置选择处理中,从成像元件28的摄影范围内的2个闪光灯装置12、13中选择应优先的1个闪光灯装置。
如图3所示,在多照明摄影模式中,主控制部29作为照明控制部52、图像获取部53、作为辅助光照射区域确定部的闪光照射区域确定部(辅助光照射区域确定部)54及作为优先辅助光源选择部的优先闪光灯装置选择部55发挥功能。这些各部的构建是通过启动存储在相机11的非易失性存储器(未图示)中的工作程序45而进行的。同样地,数字信号处理部35作为WB调整部56发挥功能,并根据WB调整值进行WB调整。
图像获取部53具有非发光图像获取部53a和发光图像获取部53b。优先闪光灯装置选择部55具有脸部区域检测部57和优先闪光灯装置确定部58。并且,WB调整部56具有WB调整值计算部59。
图4是表示多照明摄影模式中的WB调整的流程图。首先,在非发光信号值获取步骤S11中,通过成像元件28及图像获取部53的非发光图像获取部53a,在各闪光灯装置12、13为非发光的状态下,拍摄被摄体5(参考图1)的图像即非发光图像60(参考图5的(2))。根据该非发光图像60获取非发光信号值。
并且,在预发光信号值获取步骤S12中,通过成像元件28及发光图像获取部53b,在使各闪光灯装置12、13独立发光的状态(独立发光状态,参考图1及图7)下,拍摄被摄体5的图像即预发光图像61、62(参考图5的(1)),并根据这些预发光图像61、62而获取发光信号值。该情况下,照明控制部52经由闪光灯控制部30或无线通信I/F15而控制闪光灯装置12、13的点亮时刻及光量。发光图像获取部53b使闪光灯装置12、13选择性地点亮,从而获取独立照射了各闪光的被摄体的图像即预发光图像61、62。
图1示出在工作室摄影中使第1闪光灯装置12点亮的状态。第1闪光灯装置12设定为对站在背景屏幕7前面的主被摄体6照射闪光灯。该状态下,第1闪光发光时的预发光图像即第1预发光图像61(参考图5的(1))被拍摄。
图7示出使第2闪光灯装置13点亮的状态。第2闪光灯装置13设定为对存在于主被摄体6的背面的背景屏幕7例如从右侧上方照射第2闪光。该状态下,第2闪光发光时的预发光图像即第2预发光图像62(参考图5的(1))被拍摄。
图4中,在闪光照射区域确定步骤S13中,由闪光照射区域确定部54来确定来自各闪光灯装置12、13的各闪光所照射到的闪光照射区域。
图5是表示闪光照射区域确定步骤S13中的闪光照射区域确定部54的闪光照射区域确定处理的说明图。在闪光照射区域确定处理中,使用非发光图像60和预发光图像61、62来制作闪光照射区域确定图像63、64。
首先,将非发光图像60和预发光图像61、62分割成例如8×8的矩形状的分割区域65。分割区域65是以相同的分区分割了非发光图像60和预发光图像61、62的分割区域。分区数量或分区形状并不限定于图示例,可以适当地进行变更。接着,由从第1预发光图像61求出的各分割区域65的亮度值Ya减去从非发光图像60求出的各分割区域65的亮度值Y0,从而对每一个分割区域65求出差分。在该差分大于其他分割区域65的差分的情况下,将该差分大的分割区域65的集合确定为第1闪光照射区域67。
当获取非发光图像60和第1预发光图像61时,在摄影各图像60、61时,使曝光一致(使曝光相同)而进行摄影。或者,也可以代替使曝光一致,而根据摄影各图像60、61时的曝光差分,相对于非发光图像60及第1预发光图像61中的一方的亮度值而校正另一方的亮度值,通过信号处理而校正曝光差分。
同样地,根据从第2闪光灯装置13的第2预发光图像62求出的各分割区域65的亮度值Yb和从非发光图像60求出的各分割区域65的亮度值Y0,对每一个分割区域65求出差分,将该差分大于其他分割区域65的差分的分割区域65的集合确定为第2闪光照射区域68。该情况下,也进行当获取两个图像60、62时使曝光一致的预处理,或者根据摄影两个图像60、62时的曝光差分进行相对于两个图像60、62中的一方的亮度值而校正另一方的亮度值的后处理。
关于亮度值Ya、Yb、Y0,例如使用各分割区域内的各像素的信号值R、G、B,例如根据下式的亮度转换公式而计算各像素的亮度值。
Y=0.3R+0.6G+0.1B
接着,计算将以上述亮度转换公式算出的各分割区域内的各像素的亮度值进行了平均的亮度值平均。另外,只要是可以代表各分割区域的明度的值即可,所使用的值并不限定于上述亮度值,例如可以使用HSV色彩空间的明度V或Lab色彩空间的明度L等。
在第1预发光图像61中,主被摄体6位于中央,来自第1闪光灯装置12的闪光(第1闪光)主要照射到该主被摄体6。因此,在闪光照射区域确定图像63中,如用阴影线来表示,基于第1闪光的闪光照射区域(第1闪光照射区域)67被确定。
在第2闪光灯装置13的第2预发光图像62中,以与第1闪光照射区域67的确定相同的方式确定基于第2闪光灯装置13的闪光照射区域(第2闪光照射区域)68。在第2预发光图像62中,如图7所示,由于第2闪光照射到背景屏幕7,因此,在闪光照射区域确定图像64中,如用阴影线来表示,第2闪光照射区域68被确定。
图4中,在优先闪光灯装置选择步骤S14中,由优先闪光灯装置选择部55在各闪光灯装置12、13中选择作为WB调整对象的优先闪光灯装置。优先闪光灯装置选择步骤S14包括基于脸部区域检测部57的脸部区域检测步骤S15和基于优先闪光灯装置确定部58的优先闪光灯装置确定步骤S16。
图6是表示优先闪光灯装置选择步骤S14中的优先闪光灯装置选择部55的优先闪光灯装置选择处理的说明图。首先,如图6的(5)所示,脸部区域检测部57从第1预发光图像61中检测人物的脸部区域71(脸部区域检测步骤S15)。在脸部区域71的检测中,优选使用比求出闪光照射区域67、68时所使用的分割区域65尺寸小的分割区域(增加分割数量而比分割区域65细的分割区域)。另外,也可以从非发光图像60或第2预发光图像62中检测脸部区域71。
在优先闪光灯装置确定部58中,确定由脸部区域检测部57检测出的脸部区域71在哪一个闪光照射区域67、68,将存在脸部区域71的闪光照射区域确定为优先闪光照射区域。更具体而言,根据相例如对于图像表示彼此的位置的坐标,求出所检测出的脸部区域71在第1闪光照射区域67,还是在第2闪光照射区域68。而且,在脸部区域71存在于第1闪光照射区域67的情况下,将第1闪光的发光源即第1闪光灯装置12自动确定为在WB调整中应优先的闪光灯装置(优先闪光灯装置确定步骤S16)。
脸部区域71根据表示人物肤色的区域进行检测。除此以外,脸部区域71的检测也可以利用基于眼睛、鼻子、嘴等的形状识别的方法、基于组合肤色区域和形状识别的方法及其他各种脸部识别方法。
在本实施方式中,能够自动检测脸部区域71而确定优先闪光灯装置。
在图6的(4)所示的被摄体图像69中,根据各闪光照射区域67、68的亮度值平均,例如亮度值越高,将阴影线密度显示得越高。根据该显示判断为如下:在被摄体图像69中,相对于包括主被摄体6的第1闪光照射区域67,背景屏幕7为主的第2闪光照射区域68的亮度高。如此,在第2闪光照射区域68的亮度高的情况下,在以往的多照明摄影模式中的自动WB处理中,导致根据亮度高的第2闪光照射区域68的像素进行WB调整。从而,由于根据背景屏幕7的像素进行WB调整,因此导致主被摄体6偏离原来的色调。
相对于此,在第1实施方式中,如图6的(5)所示,在优先闪光灯装置确定步骤S16中,通过自动检测主被摄体6而选择第1闪光灯装置12作为优先闪光灯装置。而且,根据包括主被摄体6的第1闪光照射区域67而求出WB调整值。通过使用该WB调整值进行WB调整,能够将主被摄体6设为适宜的色调。
在数字信号处理部35的WB调整部56中进行WB处理。WB调整部56的WB调整值计算部59执行图4所示的WB调整值计算步骤S17,从而求出WB调整值。
如下执行WB调整值计算步骤S17。首先,若将只有优先闪光发光时的被分割成i×j个块(分割区域65,该例中i、j=1~8)的亮度值的分布设为Ypre(i,j),将只有环境光的闪光非发光时的亮度值的分布设为Y0(i,j),则用下式来求出通过优先闪光而增加的亮度值的分布ΔYpre(i,j)。
ΔYpre(i,j)=Ypre(i,j)-Y0(i,j)
在进行实际摄影的正式发光时,以用于求出闪光照射区域的独立发光即预发光时的K倍发光量进行发光,从而进行摄影。另外,倍率K根据相机的调光结果或用户的设定而确定。该情况下,用下式求出正式发光时被预测为仅通过优先闪光而增加的亮度值的分布ΔYexp(i,j)。
ΔYexp(i,j)=K×ΔYpre(i,j)
在假定为只有预发光时的K倍发光量的正式发光时的优先闪光所照射到的情况下,用下式求出被预测的亮度值的分布(正式发光时优先辅助光信号预测值)Yexp(i,j)。另外,实际上,其他闪光灯也照射到,但作为所带来的影响少而排除在外。
Yexp(i,j)=ΔYexp(i,j)+Y0(i,j)=K×ΔYpre(i,j)+Y0(i,j)
分别根据亮度值的各分布Yexp(i,j)、Y0(i,j),将对优先闪光所照射到的区域内的值进行平均等处理而算出的代表值设为Yexp#type、Y0#type,则在优先闪光所照射到的区域中的亮度中,可以用下式求出表示闪光的比例的α。
α=(Yexp#type-Y0#type)/Yexp#type
另外,Y0#type相当于优先辅助光照射区域的非发光时的信号值。
若将环境光的WB调整值设为G0,将只有记录在相机内的闪光发光时的WB调整值设为Gfl,则可以用下式求出所要求的WB调整值Gwb。
Gwb=(Gfl-G0)×α+G0
在正式发光时,通过在使第1闪光灯装置12、第2闪光灯装置13双方发光的状态下拍摄被摄体5而获取正式发光图像。在WB调整部56中,如图4所示进行WB调整步骤S18,通过对正式发光图像的信号值R、G、B乘以WB调整值Gwb而调整WB。由此,光源色被取消。另外,WB调整值Gwb并不限定于上述方法,而可以用各种方法求出。
在本实施方式中,根据主被摄体6自动确定优先闪光灯装置,并根据优先闪光灯装置进行WB调整,因此在基于多个闪光进行摄影时,能够将主被摄体6设为适宜的色调。
在上述实施方式中,以优先闪光灯装置为1个的情况为例进行了说明,但存在多个被判定为优先闪光灯装置的闪光灯装置的情况下,如下求出WB调整值Gwb。
例如优先闪光灯装置为2个的情况下,首先,将使第1优先闪光及第2优先闪光分别独立发光时的被分割成i×j个块的亮度值的分布分别设为Ypre1(i,j)、Ypre2(i,j),将非发光时(即,只有环境光)的亮度值的分布设为Y0(i,j),则可以分别用下式求出通过第1、第2优先闪光而增加的亮度值的分布ΔYpre1(i,j)、ΔYpre2(i,j)。
ΔYpre1(i,j)=Ypre1(i,j)-Y0(i,j)
ΔYpre2(i,j)=Ypre2(i,j)-Y0(i,j)
被预测为正式发光时仅通过第1优先闪光及第2优先闪光而增加的亮度值的分布ΔYexp(i,j)成为如同下式。另外,K1根据第1优先闪光的(正式发光时发光量)/(预发光时发光量)求出,K2根据第2优先闪光的(正式发光时发光量)/(预发光时发光量)求出。
ΔYexp(i,j)=K1×ΔYpre1(i,j)+K2×ΔYpre2(i,j)
根据所求出的增加量的亮度值的分布ΔYexp(i,j),以下,以与优先闪光灯装置为1个的情况相同的方式,分别根据被预测的亮度值的分布Yexp(i,j)、Y0(i,j),将优先闪光所照射到的区域的代表值设为Yexp#type、Y0#ty pe,则在优先闪光照射区域中的亮度中,计算表示优先闪光的比例的α等,从而最终求出WB调整值Gwb。根据该WB调整值Gwb,如上所述进行WB调整。
用脸部区域检测部57从非发光图像或发光图像中检测脸部区域,将与存在脸部区域的闪光照射区域对应的闪光灯装置确定为优先闪光灯装置,因此能够使主被摄体6即人物的脸部设成适宜的色调。
[第2实施方式]
如图8所示,在工作室摄影中,将特殊效果滤镜80装配于闪光灯装置13的照射表面,有时在背景上投影颜色或图样进行摄影。在工作室摄影中,多数情况下,根据季节或活动等进行纪念摄影,为了成为与各季节或活动等对应的背景颜色而使用特殊效果滤镜80。例如4月开学时进行开学纪念摄影的情况下,为了想像盛开的樱花而使用使背景成为粉色的特殊效果滤镜80或如樱花花瓣散落一样的特殊效果滤镜80。基于这种特殊效果滤镜80的工作室摄影中的优先闪光灯装置通过去除该背景用闪光灯装置而能够自动选择。另外,以下各实施方式中,对与第1实施方式相同的构成部件标注相同的符号,并省略重复的说明。
如图9所示,在第2实施方式中,优先闪光灯装置选择部81具有计算环境光的坐标的环境光坐标计算部82、闪光记录部83、差分矢量计算部84、计算闪光照射区域的非发光时的信号值平均的非发光时信号值平均计算部85、计算闪光照射区域的预发光时的信号值平均的预发光时信号值平均计算部86、信号值平均预测值计算部87及特殊效果用途闪光判别部88。优先闪光灯装置选择部81识别出是基于特殊效果滤镜80的闪光,并从优先闪光灯装置中排除使用了该特殊效果滤镜80的发出闪光的闪光灯装置,选择残留的闪光灯装置作为优先闪光灯装置。
图10是表示第2实施方式中的处理顺序的流程图。另外,非发光信号值获取步骤S11、预发光信号值获取步骤S12、闪光照射区域确定步骤S13、WB调整值计算步骤S17及WB调整步骤S18为与上述第1实施方式相同的处理,只有优先闪光灯装置选择步骤S21不同。优先闪光灯装置选择步骤S21包括根据图像信息的判定而确定优先闪光灯装置的优先闪光灯装置确定步骤S22。
在优先闪光灯装置确定步骤S22中,首先,如图11所示,由环境光坐标计算部82根据非发光图像的信号值而计算例如在坐标轴上具有R/G、B/G的色彩空间中的、表示环境光的光源颜色信息的A点的光源坐标(R0/G0,B0/G0)。
接着,预先算出相同的色彩空间中的表示闪光的光源颜色信息的B点的光源坐标(Rf/Gf,Bf/Gf),并由闪光记录部83存储于非易失性存储器等中。接着,由差分矢量计算部84根据A点的坐标(R0/G0,B0/G0)及B点的坐标(Rf/Gf,Bf/Gf)计算作为其差值的矢量C。矢量C输出到信号值平均预测值计算部87。
接着,如图12所示,由非发光时信号值平均计算部85计算各闪光照射区域的非发光时的信号值平均R1、G1、B1(相当于辅助光照射区域的非发光时的像素信息),并计算色彩空间中的D点的坐标(R1/G1,B1/G1)。D点的坐标(R1/G1,B1/G1)输出到信号值平均预测值计算部87及特殊效果用途闪光判别部88。
接着,由信号值平均预测值计算部87根据下式而计算色彩空间中的E点的坐标(R2/G2,B2/G2),该坐标表示在相同的闪光照射区域没有特殊效果滤镜80且也没有环境光的状态下,仅照射闪光时的信号值平均预测值R2、G2、B2。在此,预测值R2、G2、B2相当于辅助光源发光时的信号值平均预测值。
(R2/G2,B2/G2)=(R1/G1,B1/G1)+C
接着,由预发光时信号值平均计算部86求出预发光图像的闪光照射区域中的信号值平均Rpre、Gpre、Bpre(相当于根据发光图像的像素信息),如图13所示,计算表示该预发光时的信号值平均Rpre、Gpre、Bpre的、色彩空间中的F点的坐标(Rpre/Gpre,Bpre/Gpre)。F点的坐标(Rpre/Gpre,Bpre/Gpr e)被输出到特殊效果用途闪光判别部88。
接着,由特殊效果用途闪光判别部88根据F点的坐标(Rpre/Gpre,Bpre/Gpre)而判定是否为具有特殊效果滤镜80的闪光。将用非发光时信号值平均坐标(R1/G1,B1/G1)来表示的D点和用闪光发光时信号值平均预测值坐标(R2/G2,B2/G2)来表示的E点设为对角线的两端的矩形的判定范围H1内存在F点的坐标(Rpre/Gpre,Bpre/Gpre)的情况下,特殊效果用途闪光判别部88判定为没有特殊效果滤镜80的通常的闪光(色温:5000~6000K)。相反地,在判定范围H1内不存在F点的坐标(Rpre/Gpre,Bpre/Gpre)的情况下,判定为装配有特殊效果滤镜80的闪光灯装置。从而,在装配有特殊效果滤镜80的闪光灯装置的情况下,该闪光灯装置从优先闪光灯装置中被排除。由此,判定为所残留的闪光灯装置是优先闪光灯装置。
另外,存在多个被判定为是优先闪光灯装置的闪光灯装置的情况下,例如将闪光照射区域的亮度值平均高的一方的闪光灯装置被确定为优先闪光灯装置。并且,也可以将用户的光量设定比率大的一方确定为优先闪光灯装置。进而,也可以将多个闪光灯装置确定为优先闪光灯装置来代替如上所述选择任一方。
从优先闪光灯装置中排除使用了特殊效果滤镜80的发出闪光的闪光灯装置,并选择所残留的闪光灯装置作为优先闪光灯装置,因此使用了多使用于背景照明中的特殊效果滤镜80的发出闪光的闪光灯装置从优先闪光灯装置中被排除,对人物等主被摄体6发出闪光的闪光灯装置作为优先闪光灯装置而被选择。从而,能够将主被摄体6设为适宜的色调。
[变形例1]
在上述第2实施方式中,如图13所示,使用了矩形判定范围H1,但在图14所示的变形例1中使用在与连接D点与E点的线段正交的方向上以宽度h被规定的矩形的判定范围H2。宽度h例如使用线段DE的长度的30%的长度。具体而言,宽度h被设定为WB性能变得最佳的值。
[变形例2]
并且,在图15所示的变形例2中,使用的是相对于连接D点与E点的线段,以D点为基准,以规定角度θ分开的扇形(fan-shaped)的判定范围H3。角度θ被设定为WB性能变得最佳的值。
[变形例3~5]
相对于图13所示的判定范围H1,在图16所示的变形例3中使用判定范围H4,该判定范围H4通过在矢量C的长度上乘以缩小率β(β<1)而使长度比矢量C短。同样地,相对于图14所示的变形例1的判定范围H2,在图17所示的变形例4中使用判定范围H5,该判定范围H5通过在线段DE的长度上乘以缩小率β而使长度比线段DE短。同样地,相对于图15所示的变形例2的判定范围H3,在图18所示的变形例5中使用扇形的判定范围H6,该判定范围H6通过在线段DE的长度上乘以缩小率β而使长度比线段DE短。
由下式求出缩小率β。
β=(Ypre-Y0)/Ypre
另外,Ypre是闪光照射区域的预发光时的亮度值平均,Y0是相同的闪光照射区域的非发光时的亮度值平均。另外,优选使用在β上例如乘以1.2的值β1(即,β×1.2),从而使缩小率β具有余裕。
如上述变形例1~5,使判定范围H2~H6比图13所示的判定范围H1窄,由此能够更严格地判定是否为装配有特殊效果滤镜80的闪光灯装置。
另外,在第2实施方式中,在将非发光时信号值平均及闪光发光时的信号值平均预测值作为两端而包括的范围内存在发光时的信号值平均的情况下判定为优先闪光灯装置,但并不限定于该判定方法。例如也可以根据预先存储的基于闪光的像素信息而确定优先闪光灯装置。
[第3实施方式]
如图19所示,在第3实施方式中,作为优先辅助光源选择部的优先闪光灯装置选择部90具有空间频率计算部91和优先闪光灯装置确定部92,根据用空间频率计算部91算出的空间频率,用优先闪光灯装置确定部92来判定是否为照射背景的闪光灯装置。
图20是表示第3实施方式中的处理顺序的流程图。另外,非发光信号值获取步骤S11、预发光信号值获取步骤S12、闪光照射区域确定步骤S13、WB调整值计算步骤S17及WB调整步骤S18为与上述第1实施方式相同的处理,只有优先闪光灯装置选择步骤S31不同。
在优先闪光灯装置选择步骤S31中,首先,由空间频率计算部91进行空间频率计算步骤S32。在空间频率计算步骤S32中,计算基于非发光图像60中的各闪光灯装置12、13的闪光照射区域67、68的空间频率。接着,由优先闪光灯装置确定部92进行优先闪光灯装置确定步骤S33。在优先闪光灯装置确定步骤S33中,在所算出的基于各闪光灯装置12、13的闪光照射区域67、68的空间频率为恒定值以下的情况下,从优先闪光灯装置的选择对象中排除与具有恒定值以下的空间频率的闪光照射区域对应的闪光灯装置。背景屏幕7多数由素色屏幕构成,空间频率多数成为恒定值以下。从而,在本例中与照射到背景屏幕7的闪光照射区域68对应的闪光灯装置13被排除,将与因该排除而残留的闪光照射区域67对应的闪光灯装置12确定为优先闪光灯装置。由此,选择闪光灯装置12作为优先闪光灯装置。另外,在存在多个因排除而残留的闪光灯装置的情况下,闪光照射区域中的亮度值平均高的闪光灯装置确定为优先闪光灯装置。并且,也可以将所残留的多个闪光灯装置全部确定为优先闪光灯装置来代替仅确定1个优先闪光灯装置。
从优先闪光灯装置的选择对象中排除与空间频率为恒定值以下的闪光照射区域对应的闪光灯装置,并将因排除而残留的闪光灯装置确定为优先闪光灯装置,因此照射背景屏幕7的闪光灯装置从优先闪光灯装置的选择对象中可靠地被排除,照射主被摄体6的闪光灯装置作为优先闪光灯装置而被选择。从而,能够将主被摄体6设为适宜的色调。
[第4实施方式]
上述各实施方式中自动确定了优先闪光灯装置,取而代之,在图21~图24所示的第4实施方式中,能够选择手动设定优先闪光灯装置的手动设定模式,并由用户来选择优先闪光灯装置。如图21所示,在手动设定模式中,由主控制部29的优先闪光灯装置选择部93经由背面显示控制部37而控制背面显示部23。
图22是表示第4实施方式中的处理顺序的流程图。另外,非发光信号值获取步骤S11、WB调整值计算步骤S17及WB调整步骤S18是与上述第1实施方式相同的处理,只有优先闪光灯装置选择步骤S41不同。优先闪光灯装置选择步骤S41具有优先闪光灯装置选择输入步骤S42、优先闪光灯装置确定步骤S43、优先闪光的发光图像获取步骤S44及优先闪光照射区域确定步骤S45。
在优先闪光灯装置选择输入步骤S42中,如图23所示,在背面显示部23上显示有优先闪光灯装置确定画面94。在优先闪光灯装置确定画面94显示有画面的标题94a、各闪光灯装置12、13的选择按钮94b、94c或引导句94d。从选择按钮94b、94c中选择优先闪光灯装置。使用触摸面板24来进行选择。例如在各闪光灯装置12、13中,将闪光灯装置12作为优先闪光灯装置进行选择的情况下,通过用手指95触摸选择按钮94b而进行选择。即,触摸面板24相当于输入优先闪光灯装置的选择命令的选择输入部。
若触摸选择按钮94b、94c,则图24所示的优先闪光灯装置确定画面96显示于背面显示部23,进行优先闪光灯装置确定步骤S43。在优先闪光灯装置确定画面96显示标题96a、选择按钮94b、94c、确认按钮96b、96c或引导句96d。在优先闪光灯装置确定画面96中,为了显示所选择的内容而在选择按钮94b、94c中被选择的一方(图24中为选择按钮94b)变成闪烁显示。该状态下,用手指95触摸确认按钮96b、96c中的表示是(YES)的确认按钮96b,由此被选择的闪光灯装置12被确定为优先闪光灯装置。
另外,使用触摸面板24来选择及确定优先闪光灯装置,但优先闪光灯装置的确定方法并不限定于此,例如可以通过使用操作开关22或者使用语音输入选择及确定优先闪光灯装置。
若优先闪光灯装置被确定,则如图22所示,进行优先闪光的发光图像获取步骤S44。该步骤S44中,在由发光图像获取部53b仅使优先闪光灯装置(该例中为闪光灯装置12)发光的状态(参考图1)下,拍摄被摄体5的图像即预发光图像61(参考图5的(1)),并根据该预发光图像61获取发光信号值。
在优先闪光照射区域确定步骤S45中,如图5所示,使用非发光图像60和预发光图像61来制作闪光照射区域确定图像63。首先,将非发光图像60和预发光图像61分割成例如8×8的矩形状分割区域65。接着,由从第1预发光图像61求出的各分割区域65的亮度值Ya减去从非发光图像60求出的各分割区域65的亮度值Y0,从而对每一个分割区域65求出差分。在该差分大于其他分割区域65的差分的情况下,将该差分高的分割区域65的集合确定为第1闪光照射区域(优先闪光照射区域)67。
以下,根据优先闪光照射区域的信号值进行WB调整值计算步骤S17,在W B调整步骤S18中,使用WB调整值来调整WB。
为了使用户选择优先闪光灯装置,不进行脸部区域检测和信号值平均的计算或空间频率的计算等复杂的处理,便能够简单地确定优先闪光灯装置。
在上述各实施方式中,非发光图像获取部53a、发光图像获取部53b、闪光照射区域确定部(辅助光照射区域确定部)54、优先闪光灯装置选择部(优先辅助光源选择部)55、81、90、93、WB调整值计算部59、WB调整部56、脸部区域检测部57、优先闪光灯装置确定部(优先辅助光源确定部)58、92、空间频率计算部91的执行各种处理的处理部(processing unit)的硬件结构为如下所示的各种处理器(processor)。各种处理器中包括执行软件(程序)而作为各种处理部发挥功能的通用的处理器即CPU(Central Processing Uni t:中央处理器)或FPGA(Field Programmable Gate Array:现场可编程门阵列)等在制造之后能够变更电路结构的处理器即可编程逻辑器件(Programmab le Logic Device:PLD),还包括ASIC(Application Specific Integrated C ircuit:专用集成电路)等具有为了执行特定的处理而专门设计的电路结构的处理器即专用电路等。
1个处理部可以通过这些各种处理器中的1个而构成,也可以通过相同种类或不同种类的2个以上的处理器的组合(例如多个FPGA或CPU与FPGA的组合)而构成。并且,也可以通过1个处理器构成多个处理部。作为由1个处理器构成多个处理部的例子,第一,有如下形式:通过1个以上的CPU和软件的组合而构成1个处理器,该处理器作为多个处理部而发挥功能。第二,有如下形式:如以系统晶片(System On Chip:SoC)等为代表,使用通过1个IC(Integrated Circuit:集成电路)芯片来实现包括多个处理部的整个系统的功能的处理器。如此,各种处理部使用1个以上的上述各种处理器作为硬件结构。
而且,更具体而言,这些各种处理器的硬件结构是将半导体元件等电路元件进行了组合的电路(circuitry)。
根据以上说明,能够掌握以下附录中所示出的发明。
[附录1]
一种白平衡调整装置,其具备:
非发光图像获取处理器,将多个辅助光源设为非发光状态而拍摄被摄体而获取非发光图像;
发光图像获取处理器,将多个所述辅助光源设为独立发光状态而分别拍摄所述被摄体而获取各所述辅助光源的发光图像;
辅助光照射区域确定处理器,将所述非发光图像及各所述发光图像分割成多个分割区域,并根据所述独立发光状态与所述非发光状态的各分割区域的信号值的差分,确定基于各所述辅助光源的辅助光所照射到的辅助光照射区域;
优先辅助光源选择处理器,在各所述辅助光源中选择作为白平衡调整对象的优先辅助光源;
白平衡调整值计算处理器,根据基于被选择的所述优先辅助光源的辅助光所照射到的优先辅助光照射区域的信号值,进行白平衡调整值的计算;及
白平衡调整处理器,进行基于所述白平衡调整值的调整。
本发明并不限定于上述各实施方式或变形例,只要不脱离本发明的主旨便可以采用各种结构是理所当然的。例如,也能够适当地组合上述各实施方式或变形例。
本发明除了相机11以外,还能够适用于移动电话、智能手机等的摄像装置中。
符号说明
5-被摄体,6-主被摄体,7-背景屏幕,9-摄影工作室,10-摄影系统,11-数码相机(相机),11a-相机主体,12-第1闪光灯装置(辅助光源),13-第2闪光灯装置(辅助光源),14-闪光灯发光部,15、16-无线通信I/F,17-闪光灯控制部,18-闪光灯发光部,21-透镜镜筒,22-操作开关,23-背面显示部,24-触摸面板,25-摄影光学系统,26-光圈,27-快门,28-成像元件,29-主控制部,30-闪光灯控制部,33-总线,34-存储器控制部,35-数字信号处理部,36-介质控制部,37-背面显示控制部,38-触摸面板控制部,39-存储器,40-记录介质,41-快门驱动部,45-工作程序,52-照明控制部,53-图像获取部,53a-非发光图像获取部,53b-发光图像获取部,54-闪光照射区域确定部,55-优先闪光灯装置选择部(优先辅助光源选择部),56-WB调整部(白平衡调整部),57-脸部区域检测部,58-优先闪光灯装置确定部(优先辅助光源确定部),59-WB调整值计算部(白平衡调整值计算部),60-非发光图像,61、62-第1、第2预发光图像,63、64-闪光照射区域确定图像,65-分割区域,67-第1闪光照射区域,68-第2闪光照射区域,69-被摄体图像,71-脸部区域,80-特殊效果滤镜,81-优先闪光灯装置选择部(优先辅助光源选择部),82-环境光坐标计算部,83-闪光记录部,84-差分矢量计算部,85-非发光时信号值平均计算部,86-预发光时信号值平均计算部,87-信号值平均预测值计算部,88-特殊效果用途闪光判别部,90-优先闪光灯装置选择部(优先辅助光源选择部),91-空间频率计算部,92-优先闪光灯装置确定部(优先辅助光源确定部),93-优先闪光灯装置选择部(优先辅助光源选择部),94-优先闪光灯装置确定画面,94a-标题,94b、94c-选择按钮,94d-引导句,95-手指,96-优先闪光灯装置确定画面,96a-标题,96b、96c-确认按钮,96d-引导句,A-环境光的光源坐标,B-闪光的光源坐标,C-矢量,D-闪光照射区域的非发光时信号值平均,DE-线段,E-闪光照射区域的只有闪光灯发光时的信号值平均预测值,H1~H6-判定范围,LA-光轴,S11-非发光信号值获取步骤,S12-预发光信号值获取步骤,S13-闪光照射区域确定步骤(辅助光照射区域确定步骤),S14-优先闪光灯装置选择步骤(优先辅助光源选择步骤),S15-脸部区域检测步骤,S16-优先闪光灯装置确定步骤,S17-WB调整值计算步骤(白平衡调整值计算步骤),S18-WB调整步骤(白平衡调整步骤),S21、S31、S41-优先闪光灯装置选择步骤(优先辅助光源选择步骤),S22-优先闪光灯装置确定步骤,S32-空间频率计算步骤,S33-优先闪光灯装置确定步骤,S42-优先闪光灯装置选择输入步骤,S43-优先闪光灯装置确定步骤,S44-优先闪光发光图像获取步骤,S45-优先闪光照射区域确定步骤,h-宽度,β-缩小率,θ-角度。
Claims (11)
1.一种白平衡调整装置,其具备:
非发光图像获取处理器,将多个辅助光源设为非发光状态而拍摄被摄体,并获取非发光图像;
发光图像获取处理器,将多个所述辅助光源设为独立发光状态而分别拍摄所述被摄体,并分别获取所述被摄体的发光图像;
辅助光照射区域确定处理器,将所述非发光图像及各所述发光图像分割成多个分割区域,并根据所述独立发光状态与所述非发光状态的各分割区域的信号值的差分,确定基于各所述辅助光源的辅助光所照射到的辅助光照射区域;
优先辅助光源选择处理器,在各所述辅助光源中选择作为白平衡调整对象的优先辅助光源;
白平衡调整值计算处理器,根据基于被选择的所述优先辅助光源的辅助光所照射到的优先辅助光照射区域的信号值,进行白平衡调整值的计算;及
白平衡调整处理器,进行基于所述白平衡调整值的调整。
2.根据权利要求1所述的白平衡调整装置,其中,
所述优先辅助光源选择处理器具有:
脸部区域检测部,从所述非发光图像或所述发光图像中检测脸部区域;及
优先辅助光源确定部,确定由所述脸部区域检测部检测出的所述脸部区域在哪一个所述辅助光照射区域,并将与所述脸部区域所在的所述辅助光照射区域对应的所述辅助光源确定为所述优先辅助光源。
3.根据权利要求1所述的白平衡调整装置,其中,
所述优先辅助光源选择处理器具有:
优先辅助光源确定部,根据预先存储的基于所述辅助光源的光源颜色信息而确定所述优先辅助光源。
4.根据权利要求3所述的白平衡调整装置,其中,
所述优先辅助光源确定部,根据预先存储的基于所述辅助光的光源颜色信息、从所述非发光图像获取的基于环境光的光源颜色信息及所述辅助光照射区域的非发光时的像素信息,设定色彩空间中的判定范围,
在基于所述发光图像的像素信息位于所述判定范围内的情况下,将与所述辅助光照射区域对应的所述辅助光源设为优先辅助光源。
5.根据权利要求4所述的白平衡调整装置,其中,
基于所述辅助光的光源颜色信息是表示色彩空间中的所述辅助光的颜色的坐标,
基于所述环境光的光源颜色信息是根据所述非发光图像求出并表示色彩空间中的所述环境光的颜色的坐标,
所述辅助光照射区域的非发光时的像素信息是根据所述非发光图像求出并表示色彩空间中的所述辅助光照射区域的非发光时信号值平均的坐标,
所述优先辅助光源确定部计算所述辅助光的坐标与所述环境光的坐标的差即差分矢量,
在所述非发光时信号值平均的坐标上将所述差分矢量进行相加,从而求出所述辅助光源发光时的信号值平均预测值,
根据所述发光图像,计算所述色彩空间中的所述辅助光照射区域的信号值平均即发光时信号值平均,
根据所述非发光时信号值平均、所述辅助光源发光时的信号值平均预测值及发光时信号值平均,判定优先辅助光源。
6.根据权利要求5所述的白平衡调整装置,其中,
在将所述非发光时信号值平均及所述辅助光源发光时信号值平均预测值作为两端而包括的所述判定范围内存在所述发光时信号值平均的情况下,所述优先辅助光源确定部将与所述辅助光照射区域对应的所述辅助光源判定为所述优先辅助光源。
7.根据权利要求1所述的白平衡调整装置,其中,
所述优先辅助光源选择处理器具有:
空间频率计算部,计算所述非发光图像中的基于各所述辅助光源的所述辅助光照射区域的空间频率;及
优先辅助光源确定部,在基于各所述辅助光源的所述辅助光照射区域的空间频率为恒定值以下的情况下,从所述优先辅助光源的选择对象中排除与空间频率为恒定值以下的所述辅助光照射区域对应的所述辅助光源,并将因排除而残留的所述辅助光源确定为所述优先辅助光源。
8.根据权利要求1至7中任一项所述的白平衡调整装置,其中,
所述白平衡调整值计算处理器计算预测了在将所述优先辅助光源以正式发光时的发光量发光时的所述优先辅助光照射区域的信号值的正式发光时优先辅助光信号预测值,并根据所述正式发光时优先辅助光信号预测值及所述优先辅助光照射区域的非发光时的信号值,计算白平衡调整值。
9.根据权利要求1至7中任一项所述的白平衡调整装置,其中,
所述白平衡调整处理器获取将多个所述辅助光源设为以正式发光时的发光量发光的状态而拍摄了所述被摄体的正式发光图像,并对所述正式发光图像进行基于所述白平衡调整值的白平衡调整。
10.一种白平衡调整装置的工作方法,其具有:
非发光图像获取步骤,将多个辅助光源设为非发光状态而拍摄被摄体,并获取非发光图像;
发光图像获取步骤,将多个所述辅助光源设为独立发光状态而分别拍摄所述被摄体,并分别获取所述被摄体的发光图像;
辅助光照射区域确定步骤,将所述非发光图像及各所述发光图像分割成多个分割区域,并根据所述独立发光状态与所述非发光状态的各分割区域的信号值的差分,确定基于各所述辅助光源的辅助光所照射到的辅助光照射区域;
优先辅助光源选择步骤,在各所述辅助光源中选择作为白平衡调整对象的优先辅助光源;
白平衡调整值计算步骤,根据基于被选择的所述优先辅助光源的辅助光所照射到的优先辅助光照射区域的信号值,进行白平衡调整值的计算;及
白平衡调整步骤,进行基于所述白平衡调整值的调整。
11.一种非暂时性的计算机可读取介质,储存用于进行白平衡调整的、能够由计算机执行的程序,能够由所述计算机执行的程序使计算机执行以下步骤:
非发光图像获取步骤,将多个辅助光源设为非发光状态而拍摄被摄体,并获取非发光图像;
发光图像获取步骤,将多个所述辅助光源设为独立发光状态而分别拍摄所述被摄体,并分别获取所述被摄体的发光图像;
辅助光照射区域确定步骤,将所述非发光图像及各所述发光图像分割成多个分割区域,并根据所述独立发光状态与所述非发光状态的各分割区域的信号值的差分,确定基于各所述辅助光源的辅助光所照射到的辅助光照射区域;
优先辅助光源选择步骤,在各所述辅助光源中选择作为白平衡调整对象的优先辅助光源;
白平衡调整值计算步骤,根据基于被选择的所述优先辅助光源的辅助光所照射到的优先辅助光照射区域的信号值,进行白平衡调整值的计算;及
白平衡调整步骤,进行基于所述白平衡调整值的调整。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2016-073268 | 2016-03-31 | ||
JP2016073268 | 2016-03-31 | ||
PCT/JP2017/006233 WO2017169286A1 (ja) | 2016-03-31 | 2017-02-20 | ホワイトバランス調整装置及びその作動方法並びに作動プログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
CN108886608A CN108886608A (zh) | 2018-11-23 |
CN108886608B true CN108886608B (zh) | 2020-10-16 |
Family
ID=59963171
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201780022084.0A Active CN108886608B (zh) | 2016-03-31 | 2017-02-20 | 白平衡调整装置、其工作方法和计算机可读取介质 |
Country Status (4)
Country | Link |
---|---|
US (1) | US10499028B2 (zh) |
JP (1) | JP6533335B2 (zh) |
CN (1) | CN108886608B (zh) |
WO (1) | WO2017169286A1 (zh) |
Families Citing this family (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP7129196B2 (ja) * | 2018-04-04 | 2022-09-01 | キヤノン株式会社 | 撮像装置及びその制御方法並びにプログラム |
CN110392245B (zh) * | 2018-04-20 | 2021-07-16 | 瑞昱半导体股份有限公司 | 基于肤色信息的白平衡校正方法及其图像处理装置 |
Family Cites Families (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR100643774B1 (ko) * | 2005-03-09 | 2006-11-10 | 삼성전자주식회사 | 발광다이오드 광원의 온도 및 발광레벨을 감안하여 화이트밸런스를 조정하는 영상투사장치 및 그의 화이트밸런스 조정방법 |
JP2007110576A (ja) * | 2005-10-17 | 2007-04-26 | Fujifilm Corp | 被写体像データの色補正装置およびその制御方法 |
US7590344B2 (en) * | 2006-02-28 | 2009-09-15 | Microsoft Corp. | Adaptive processing for images captured with flash |
JP5532621B2 (ja) * | 2009-02-17 | 2014-06-25 | 株式会社ニコン | 電子カメラ及び画像処理プログラム |
JP5791274B2 (ja) * | 2010-12-20 | 2015-10-07 | キヤノン株式会社 | 画像処理装置、方法及びプログラム |
JP2013017083A (ja) * | 2011-07-05 | 2013-01-24 | Canon Inc | 撮像装置 |
JP6049343B2 (ja) * | 2012-08-01 | 2016-12-21 | キヤノン株式会社 | 画像処理装置、画像処理方法及びプログラム |
KR101917650B1 (ko) * | 2012-08-03 | 2019-01-29 | 삼성전자 주식회사 | 이미지 처리 방법 및 장치 |
-
2017
- 2017-02-20 CN CN201780022084.0A patent/CN108886608B/zh active Active
- 2017-02-20 WO PCT/JP2017/006233 patent/WO2017169286A1/ja active Application Filing
- 2017-02-20 JP JP2018508574A patent/JP6533335B2/ja active Active
-
2018
- 2018-09-28 US US16/145,995 patent/US10499028B2/en active Active
Also Published As
Publication number | Publication date |
---|---|
US20190037190A1 (en) | 2019-01-31 |
JPWO2017169286A1 (ja) | 2018-12-13 |
US10499028B2 (en) | 2019-12-03 |
CN108886608A (zh) | 2018-11-23 |
JP6533335B2 (ja) | 2019-06-19 |
WO2017169286A1 (ja) | 2017-10-05 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
RU2565343C2 (ru) | Устройство формирования изображений и способ управления | |
JP5610762B2 (ja) | 撮像装置及び制御方法 | |
JP5917258B2 (ja) | 画像処理装置及び画像処理方法 | |
JP5968944B2 (ja) | 内視鏡システム、プロセッサ装置、光源装置、内視鏡システムの作動方法、プロセッサ装置の作動方法、光源装置の作動方法 | |
US20140071338A1 (en) | Method and apparatus for controlling flash | |
TWI625588B (zh) | Camera control device | |
CN108604046B (zh) | 摄影支持装置及其工作方法 | |
JP6210775B2 (ja) | 撮像装置、撮像方法及び撮像プログラム | |
JP6641181B2 (ja) | 画像処理装置および撮像装置、それらの制御方法ならびにプログラム | |
JP5804856B2 (ja) | 画像処理装置、画像処理方法及びプログラム | |
JP4500229B2 (ja) | 撮影装置 | |
CN108886608B (zh) | 白平衡调整装置、其工作方法和计算机可读取介质 | |
CN109076199B (zh) | 白平衡调整装置及其工作方法和非临时性的计算机可读介质 | |
JP2015034850A (ja) | 撮影装置および撮影方法 | |
WO2016158376A1 (ja) | 画像処理装置 | |
JP2015064456A (ja) | 撮影装置用照明装置、撮影装置、および撮影装置用照明光制御方法 | |
JP2014219602A (ja) | 撮影装置 | |
JP2015154220A (ja) | 照明コントロール装置 | |
JP7278764B2 (ja) | 撮像装置、電子機器、撮像装置の制御方法およびプログラム | |
JP5765599B2 (ja) | 撮像装置、画像処理方法及びプログラム | |
TWI594630B (zh) | Night photography system and its method | |
JP6523908B2 (ja) | コード読取装置、コード読取方法、およびプログラム | |
JP2007020103A (ja) | 撮影装置 | |
JP6423669B2 (ja) | 撮像装置及びその制御方法 | |
JP2014150471A (ja) | 撮像装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |