CN106797453A - 图像处理装置、摄像装置、图像处理方法以及图像处理程序 - Google Patents

图像处理装置、摄像装置、图像处理方法以及图像处理程序 Download PDF

Info

Publication number
CN106797453A
CN106797453A CN201580033987.XA CN201580033987A CN106797453A CN 106797453 A CN106797453 A CN 106797453A CN 201580033987 A CN201580033987 A CN 201580033987A CN 106797453 A CN106797453 A CN 106797453A
Authority
CN
China
Prior art keywords
image
flash
image pickup
region
pickup signal
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201580033987.XA
Other languages
English (en)
Other versions
CN106797453B (zh
Inventor
藤原慎也
斋藤太郎
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujifilm Corp
Original Assignee
Fujifilm Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujifilm Corp filed Critical Fujifilm Corp
Publication of CN106797453A publication Critical patent/CN106797453A/zh
Application granted granted Critical
Publication of CN106797453B publication Critical patent/CN106797453B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/64—Circuits for processing colour signals
    • H04N9/73—Colour balance circuits, e.g. white balance circuits or colour temperature control
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/46—Colour picture communication systems
    • H04N1/56—Processing of colour picture signals
    • H04N1/60—Colour correction or control
    • H04N1/6083—Colour correction or control controlled by factors external to the apparatus
    • H04N1/6086—Colour correction or control controlled by factors external to the apparatus by scene illuminant, i.e. conditions at the time of picture capture, e.g. flash, optical filter used, evening, cloud, daylight, artificial lighting, white point measurement, colour temperature
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/46—Colour picture communication systems
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/46—Colour picture communication systems
    • H04N1/56—Processing of colour picture signals
    • H04N1/60—Colour correction or control
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/46—Colour picture communication systems
    • H04N1/56—Processing of colour picture signals
    • H04N1/60—Colour correction or control
    • H04N1/62—Retouching, i.e. modification of isolated colours only or in isolated picture areas only
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/10—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/71—Circuitry for evaluating the brightness variation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/74—Circuitry for compensating brightness variation in the scene by influencing the scene brightness using illuminating means
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/743—Bracketing, i.e. taking a series of images with varying exposure conditions
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/76—Circuitry for compensating brightness variation in the scene by influencing the image signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H04N23/84—Camera processing pipelines; Components thereof for processing colour signals
    • H04N23/88—Camera processing pipelines; Components thereof for processing colour signals for colour balance, e.g. white-balance circuits or colour temperature control
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10141—Special mode during image acquisition
    • G06T2207/10152—Varying illumination
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Color Television Image Signal Generators (AREA)
  • Processing Of Color Television Signals (AREA)

Abstract

本发明提供一种提高对实施主曝光的图像进行自动白平衡校正的性能(可靠性)的图像处理装置、摄像装置、图像处理方法以及图像处理程序。本发明的优选方式所涉及的图像处理装置具备：第1图像获取部(321)，其分别获取表示闪光发射图像的第1摄像信号和表示非闪光发射图像的第2摄像信号；第2图像获取部(322)，其获取第3摄像信号，第3摄像信号表示所获取的第1摄像信号与第2摄像信号的差分；第3图像获取部(323)，其获取第4摄像信号，第4摄像信号将所获取的第3摄像信号乘以闪光用白平衡增益而得，闪光用白平衡增益去除了由于闪光的颜色导致的影响；颜色信号获取部(325)，其根据所获取的第4摄像信号获取表示摄像画面内的各区域的第1颜色的颜色信号；第1白平衡增益计算部(326)，其按照每一个区域计算白平衡增益，白平衡增益将表示实施主曝光的图像的摄像信号的各区域中的第2颜色的颜色信号校正为表示相同区域的第1颜色的颜色信号。

Description

图像处理装置、摄像装置、图像处理方法以及图像处理程序
技术领域
本发明涉及一种图像处理装置、摄像装置、图像处理方法以及图像处理程序，尤其涉及一种应用于白平衡校正的技术。
背景技术
数码相机的自动白平衡(AWB)校正方法通常有如下方法：根据“摄像信号的颜色分布”或“场景的明度”等信息确定场景的光源种类，根据适合所确定的光源种类的白平衡(WB)增益(消除光源的颜色的WB增益)对摄像信号进行白平衡校正。但是，在实际的摄影场景中包含有“树绿”或“人的皮肤”等“物体颜色”，“物体颜色”阻碍光源种类的推断。
例如，“在太阳光下拍摄的人的皮肤”和“钨光的颜色(在钨光下拍摄的无彩色的物体颜色)”呈类似的颜色分布，很难判别光源种类。
为了解决该课题并提高AWB性能，推断“物体颜色＝被摄体本来的颜色”很重要。
以往，提出了如下数字摄影装置：为了能够重放改变照明环境的图像，获取相当于消除了照明环境的影响的图像数据的物体颜色分量数据，将任意的照明分量数据与所获取的物体颜色分量数据合成(专利文献1、2)。
关于上述物体颜色分量数据的获取，利用差分图像数据(只受闪光的影响的图像数据)和闪光光谱数据获取实质上相当于被摄体上的各位置(各像素)中的光谱反射率的物体颜色分量数据，所述差分图像数据表示在打开闪光的照明环境下拍摄的第1图像数据与在关闭闪光的照明环境下拍摄的第2图像数据的差分。
并且，若获取物体颜色分量数据，则接着根据物体颜色分量数据和第2图像数据生成表示不包含闪光的照明环境的影响的照明分量数据。该照明分量数据在重放成为物体颜色分量数据的基础的图像时使用，但通过将任意的照明分量数据与物体颜色分量数据合成，能够重放改变照明环境的图像。
以往技术文献
专利文献
专利文献1：日本特开2001-78202号公报
专利文献2：日本特开2001-08224号公报
发明内容
发明要解决的技术课题
专利文献1、2所记载的发明的特征在于，生成物体颜色分量数据，或者生成物体颜色分量数据以及照明分量数据，并保存所生成的物体颜色分量数据或物体颜色分量数据以及照明分量数据。然后，通过保存物体颜色分量数据，能够轻松地修正基于照明环境的图像的色彩。
即，希望在摄影时的气氛下重放图像的情况下，将相互成对地生成、保存的物体颜色分量数据和照明分量数据进行合成，希望读入其他图像的照明环境的影响来重放的情况下，将物体颜色分量数据与在其他照明环境中获得的照明分量数据进行合成，从而能够重放改变照明环境的图像。
然而，专利文献1、2所记载的发明的特征在于，为了能够重放改变照明环境的图像，获取相当于消除了照明环境的影响的图像数据的物体颜色分量数据，并不以提高AWB校正的性能(提高可靠性)为目的。
并且，在专利文献1、2中，虽然记载了通过将物体颜色分量数据与照明分量数据进行合成，能够重放摄影时的气氛或者任意改变照明环境的图像的内容，但是并没有记载进行对例如关闭闪光的照明环境下拍摄的第2图像数据的AWB校正(即，物体颜色使白色物体看起来发白的图像的校正)的内容。
本发明的目的在于，提供一种能够通过判别实施主曝光的图像内的“被摄体本来的颜色”来提高对实施主曝光的图像进行自动白平衡校正的性能(可靠性)的图像处理装置、摄像装置、图像处理方法以及图像处理程序。
本发明的另一目的在于，提供一种能够通过找出实施主曝光的图像中所含的“无彩色的物体”来提高光源推断的准确性并提高对实施主曝光的图像进行自动白平衡校正的性能(场景韧性)的图像处理装置、摄像装置、图像处理方法以及图像处理程序。
用于解决技术课题的手段
为了实现上述目的，本发明的一个方式所涉及的图像处理装置具备：第1图像获取部，其分别获取第1摄像信号和第2摄像信号，第1摄像信号表示发射闪光来拍摄的闪光发射图像，第2摄像信号表示不发射闪光而拍摄的非闪光发射图像；第2图像获取部，其获取第3摄像信号，第3摄像信号表示所获取的第1摄像信号与第2摄像信号的差分；第3图像获取部，其获取第4摄像信号，第4摄像信号将所获取的第3摄像信号乘以闪光用白平衡增益而得，闪光用白平衡增益去除了由于闪光的颜色导致的影响；颜色信号获取部，其根据所获取的第4摄像信号获取表示摄像画面内的各区域的第1颜色的颜色信号；以及第1白平衡增益计算部，其按照每一个区域计算白平衡增益，白平衡增益将表示实施主曝光的图像的摄像信号的各区域中的第2颜色的颜色信号校正为表示相同区域的第1颜色的颜色信号。
根据本发明的一个方式，分别获取表示闪光发射图像的第1摄像信号和表示非闪光发射图像的第2摄像信号，根据所获取的第1摄像信号与第2摄像信号的差分获取只受闪光的影响的(只将闪光设为光源的)第3摄像信号。所获取的第3摄像信号乘以闪光用白平衡增益而获得第4摄像信号，闪光用白平衡增益去除了由于闪光的颜色导致的影响。该第4摄像信号是与实施主曝光的图像内的“被摄体本来的颜色”(物体颜色)对应的信号。然后，按照每一个区域计算第1白平衡增益，第1白平衡增益将表示实施主曝光的图像的摄像信号的各区域的第2颜色的颜色信号校正为表示第4摄像信号的对应的区域的第1颜色(物体颜色)的颜色信号。由此，能够按照每一个区域计算用于将表示实施主曝光的图像的摄像信号的各区域的第2颜色的颜色信号校正为表示被摄体本来的颜色即第1颜色的颜色信号的适当的第1白平衡增益。
在本发明的另一方式所涉及的图像处理装置中，优选具备第1白平衡校正部，第1白平衡校正部根据通过第1白平衡增益计算部计算出的每一个区域的白平衡增益，按照每一个区域对实施主曝光的图像的摄像信号进行白平衡校正。由此，能够通过适于每一个区域的第1白平衡增益对实施主曝光的图像的摄像信号进行白平衡校正，尤其对混杂有多个光源种类的场景的图像有效。
在本发明的另一其他方式所涉及的图像处理装置中，优选具备第2白平衡增益计算部，第2白平衡增益计算部根据通过第1白平衡增益计算部计算出的每一个区域的白平衡增益计算相对于整个区域的第2白平衡增益。根据每一个区域的第1白平衡增益计算出的相对于整个区域的第2白平衡增益的白平衡增益的可靠性(计算白平衡增益作为适当值的概率)提高，尤其在光源种类为1种的情况下，或者在1种光源种类的颜色主导的情况下有效。
在本发明的另一其他方式所涉及的图像处理装置中，优选第2白平衡增益计算部对通过第1白平衡增益计算部计算出的每一个区域的第1白平衡增益进行加权平均来计算相对于整个区域的第2白平衡增益。由此，能够进一步提高所计算的白平衡增益的可靠性。
在本发明的另一其他方式所涉及的图像处理装置中，优选第2白平衡增益计算部在对每一个区域的第1白平衡增益进行加权平均时，按照通过颜色信号获取部获取的颜色信号所表示的各区域的第1颜色的彩度，越是彩度低的颜色的区域，越增高权重。对于使无彩色的物体颜色成为无彩色的白平衡校正来说，彩度低的颜色的区域的被摄体是比有彩色的被摄体更应该强调的被摄体，能够进一步提高所计算的白平衡增益的可靠性。
在本发明的另一其他方式所涉及的图像处理装置中，优选具备亮度计算部，亮度计算部根据第2图像获取部所获取的第3摄像信号分别计算摄像画面内的各区域的亮度值，第2白平衡增益计算部在对每一个区域的第1白平衡增益进行加权平均时，根据亮度计算部计算出的每一个区域的亮度值降低亮度值低的区域的权重。由于闪光无法充分到达亮度值低的区域，因此对亮度值低的第1区域计算的第1白平衡增益的可靠性变低。因此，在对每一个区域的第1白平衡增益进行加权平均时，降低对亮度值低的第1区域计算的第1白平衡增益的权重，由此提高所计算的白平衡增益的可靠性。另外，也可以将对亮度值低的第1区域计算的第1白平衡增益的权重设为零，并从白平衡增益的计算中排除。
在本发明的另一其他方式所涉及的图像处理装置中，优选具备亮度计算部，亮度计算部根据第1图像获取部所获取的第1摄像信号或第2图像获取部所获取的第3摄像信号分别计算摄像画面内的各区域的亮度值，第2白平衡增益计算部在对每一个区域的第1白平衡增益进行加权平均时，根据亮度计算部计算出的每一个区域的亮度值降低亮度值比判别第1摄像信号的饱和的阈值高的区域的权重。亮度值比判别饱和的阈值高的区域(亮度值非常高的区域)存在摄像信号因闪光而饱和(过白)的可能性，对这种区域计算的第1白平衡增益的可靠性低。因此，对每一个区域的第1白平衡增益进行加权平均时，降低对亮度值非常高的区域计算的第1白平衡的权重，由此提高所计算的白平衡增益的可靠性。
在本发明的另一其他方式所涉及的图像处理装置中，优选具备第2白平衡校正部，第2白平衡校正部根据通过第2白平衡增益计算部计算出的相对于整个区域的第2白平衡增益对实施主曝光的图像的摄像信号进行白平衡校正。由此，能够通过适于整个区域的第2白平衡增益对实施主曝光的图像的摄像信号进行白平衡校正。
在本发明的另一其他方式所涉及的图像处理装置中，优选具备：判别部，其判别闪光是否到达被摄体；以及控制部，其只有在通过判别部判别为闪光已到达被摄体时，使第1白平衡增益计算部执行每一个区域的白平衡增益的计算。由于在闪光未到达被摄体的情况下，无法判别被摄体本来的颜色(物体颜色)，因此优选本处理在闪光到达被摄体的情况下进行。另外，在检测被摄体距离且检测出的被摄体距离超过闪光的最大到达距离的情况下，或者在表示第1摄像信号与第2摄像信号的差分的只受闪光的影响的第3摄像信号为零或大致零的情况下，能够判别为闪光未到达被摄体。
在本发明的另一其他方式所涉及的图像处理装置中，优选具备判别部，判别部根据第2图像获取部所获取的第3摄像信号按照每一个区域判别闪光是否到达，第1白平衡增益计算部只有对通过判别部判别为闪光已到达的区域计算每一个区域的第1白平衡增益。这是因为，从闪光未到达的区域无法检测该区域的第1颜色(物体颜色)，从而第1白平衡增益也无法计算。
本发明的另一其他方式所涉及的摄像装置具备：闪光发射部；摄像部，其对从闪光发射部接收闪光发射的闪光发射图像以及未接收闪光发射的非闪光发射图像进行拍摄，并输出表示闪光发射图像以及非闪光发射图像的摄像信号；以及上述的图像处理装置，第1图像获取部将从摄像部输出的表示闪光发射图像以及非闪光发射图像的摄像信号分别作为第1摄像信号以及第2摄像信号获取。
本发明的另一其他方式所涉及的图像处理方法包括如下步骤：分别获取第1摄像信号和第2摄像信号，第1摄像信号表示发射闪光来拍摄的闪光发射图像，第2摄像信号表示不发射闪光而拍摄的非闪光发射图像；获取第3摄像信号，第3摄像信号表示所获取的第1摄像信号与第2摄像信号的差分；获取第4摄像信号，第4摄像信号将所获取的第3摄像信号乘以闪光用白平衡增益而得，闪光用白平衡增益去除了由于闪光的颜色导致的影响；根据所获取的第4摄像信号获取表示摄像画面内的各区域的第1颜色的颜色信号；以及按照每一个区域计算第1白平衡增益，第1白平衡增益将表示实施主曝光的图像的摄像信号的各区域中的第2颜色的颜色信号校正为表示相同区域的第1颜色的颜色信号。
本发明的另一其他方式所涉及的图像处理程序使计算机执行如下步骤：分别获取第1摄像信号和第2摄像信号，第1摄像信号表示发射闪光来拍摄的闪光发射图像，第2摄像信号表示不发射闪光而拍摄的非闪光发射图像；获取第3摄像信号，第3摄像信号表示所获取的第1摄像信号与第2摄像信号的差分；获取第4摄像信号，第4摄像信号将所获取的第3摄像信号乘以闪光用白平衡增益而得，闪光用白平衡增益去除了由于闪光的颜色导致的影响；根据所获取的第4摄像信号获取表示摄像画面内的各区域的第1颜色的颜色信号；以及按照每一个区域计算第1白平衡增益，第1白平衡增益将表示实施主曝光的图像的摄像信号的各区域的第2颜色的颜色信号校正为表示相同区域中的第1颜色的颜色信号。
并且，本发明的另一其他方式所涉及的图像处理装置具备：图像获取部，其获取摄像信号，摄像信号表示发射闪光来拍摄的闪光发射图像；以及无彩色区域提取部，其根据所获取的摄像信号和表示闪光的颜色的颜色信号从摄像信号中提取颜色与闪光的颜色相同的区域作为无彩色区域。
左右自动白平衡校正的性能(场景韧性)的重要点是光源种类的推断的准确度，只要能够正确地推断光源种类，则能够轻松地进行对该光源种类的颜色校正(白平衡校正)。
但是，在实际的摄影场景中包含有“树绿”或“人的皮肤”等“物体颜色”，“物体颜色”阻碍光源种类的推断。例如，“在太阳光下拍摄的人的皮肤”和“钨光的颜色(在钨光下拍摄的无彩色的物体的颜色)”呈类似的颜色分布，很难判别光源种类。
由此，为了准确地推断光源种类，如何从“摄像信号的颜色分布”找出“没有物体颜色的影响的部分”(＝“无彩色的物体”)很重要。
根据本发明的另一其他方式，获取表示闪光发射图像的摄像信号，从所获取的摄像信号中提取颜色与闪光的颜色相同的区域作为无彩色区域。在此，由于已知闪光的颜色，因此能够从表示闪光发射图像的摄像信号中提取颜色与闪光的颜色相同的区域。并且，在被摄体本来的颜色(物体颜色)为白色或灰色的无彩色的情况下，若向无彩色的被摄体照射闪光，则无彩色的被摄体成为闪光的颜色。因此，从表示闪光发射图像的摄像信号中提取颜色与闪光的颜色相同的区域的处理就成了提取无彩色区域的处理。
在本发明的另一其他方式所涉及的图像处理装置中，优选发射闪光来拍摄的闪光发射图像是以将曝光时间设为闪光的发射时间以下的快门速度拍摄的图像。通过以闪光的发射时间以下的高速的快门速度拍摄闪光发射图像，能够不易受到环境光的影响，从而能够更加准确地提取无彩色区域。
在本发明的另一其他方式所涉及的图像处理装置中，优选在将2以上的整数设为n时，图像获取部从表示依次发射n种发光量的闪光来拍摄的n个闪光发射图像的第1摄像信号中获取第n摄像信号，无彩色区域提取部关于第1摄像信号至第n摄像信号分别提取限制在特定的亮度范围内且颜色与闪光的颜色相同的区域，并将所提取的区域的满足OR条件的区域提取为无彩色区域，特定的亮度范围去除了高亮度部分和低亮度部分。
若闪光发射图像的一部分由于被摄体的距离而过白，或者闪光无法到达，则有时无法准确地判定无彩色区域。因此，根据本发明的另一其他方式，从表示发光量不同的n张闪光发射图像的第1摄像信号中获取第n摄像信号，从第1摄像信号至第n摄像信号中分别提取高限制在特定的亮度范围内且颜色与闪光的颜色相同的区域，并将所提取的区域的满足OR条件的区域提取为无彩色区域，其中，该特定的亮度范围去除了亮度部分和低亮度部分，因此即使在由于被摄体距离而使闪光发射图像中包含有过白部分或闪光无法到达的部分的情况下，通过从“无彩色区域”正确地排除这些部分，并且设定分别从闪光的发光量不同的闪光发射图像提取的“无彩色区域”的OR条件，能够在更广的被摄体距离的范围内提取“无彩色区域”。
在本发明的另一其他方式所涉及的图像处理装置中，优选在将2以上的整数设为n时，图像获取部从表示依次发射n种颜色的闪光来拍摄的n张闪光发射图像的第1摄像信号中获取第n摄像信号，无彩色区域提取部关于第1摄像信号至第n摄像信号分别提取颜色与n种颜色的闪光的颜色相同的区域，并将所提取的区域的满足AND条件的区域提取为无彩色区域。
在单色闪光下，无法区别到底是闪光发射图像的颜色被照射闪光而成为与闪光的颜色相同的颜色，还是被摄体本来的颜色(物体颜色)成为与闪光的颜色相同的颜色。因此，根据本发明的另一其他方式，从表示闪光的颜色不同的n张闪光发射图像的第1摄像信号中获取第n摄像信号，从第1摄像信号至第n摄像信号中分别提取颜色与n种颜色的闪光的颜色相同的区域，并将所提取的区域的满足AND条件的区域提取为无彩色区域，因此能够不受物体颜色的影响而高精度地提取无彩色区域。
在本发明的另一其他方式所涉及的图像处理装置中，具备：白平衡增益获取部，其提取与通过无彩色区域提取部从实施主曝光的图像的摄像信号中提取的无彩色区域对应的区域，并将所提取的区域的颜色设为光源色，获取与光源色对应的白平衡增益；以及白平衡校正部，其根据所获取的白平衡增益对实施主曝光的图像的摄像信号进行白平衡校正。
根据本发明的另一其他方式，从实施主曝光的图像的摄像信号中提取与无彩色区域对应的区域，并将所提取的区域的颜色设为光源色。即，由于提取了物体颜色为无彩色的无彩色区域，因此在该区域带有颜色的情况下，能够认为该颜色因光源色产生。而且，如果可以确定光源色(光源种类)，则能够获取与光源色对应的最佳的白平衡增益，从而能够根据所获取的白平衡增益对实施主曝光的图像的摄像信号进行白平衡校正。
在本发明的另一其他方式所涉及的图像处理装置中，优选具备：判别部，其判别闪光是否到达被摄体；以及控制部，其只有在通过判别部判别为闪光已到达被摄体时，使无彩色区域提取部执行无彩色区域的提取。在闪光未到达被摄体的情况下，很难提取无彩色区域，因此优选在闪光到达被摄体的情况下进行。
本发明的另一其他方式所涉及的摄像装置具备：闪光发射部；摄像部，其从闪光发射部发射或非发射闪光来拍摄闪光发射图像或非闪光发射图像，并输出表示闪光发射图像或非闪光发射图像的摄像信号；以及上述的图像处理装置，图像获取部获取从摄像部输出的表示闪光发射图像的摄像信号。
本发明的另一其他方式所涉及的图像处理方法包括如下步骤：获取摄像信号，摄像信号表示发射闪光来拍摄的闪光发射图像；以及根据所获取的摄像信号和表示闪光的颜色的颜色信号，从摄像信号中提取颜色与闪光的颜色相同的区域作为无彩色区域。
本发明的另一其他方式所涉及的图像处理程序使计算机执行如下步骤：获取摄像信号，摄像信号表示发射闪光来拍摄的闪光发射图像；以及根据所获取的摄像信号和表示闪光的颜色的颜色信号，从摄像信号中提取颜色与闪光的颜色相同的区域作为无彩色区域。
发明效果
根据本发明，利用闪光获取实施主曝光的图像内的被摄体本来的颜色(表示物体颜色的第1颜色)，按照每一个区域计算白平衡增益，该白平衡增益将表示实施主曝光的图像的摄像信号的各区域的颜色(第2颜色)的颜色信号校正为表示相同区域的第1颜色的颜色信号，因此能够按照每一个区域计算用于将表示实施主曝光的图像的摄像信号的各区域的第2颜色的颜色信号校正为表示被摄体本来的颜色即第1颜色的颜色信号的适当的第1白平衡增益。
附图说明
图1是相当于本发明所涉及的摄像装置的数码相机的正面立体图。
图2是图1所示的数码相机的背面立体图。
图3是表示图1所示的数码相机的控制处理系统的框图。
图4是与本表示发明的第1实施方式的图像处理装置对应的图像处理部的框图。
图5是表示单板式彩色成像元件中使用的基色系拜耳排列的图。
图6是表示单板式彩色成像元件中使用的X-Trans(注册商标)排列的图。
图7是表示图6所示的X-Trans排列的基本排列图案的图。
图8是表示与第1实施方式对应的图像处理方法的流程图。
图9是表示进行多区域WB校正的第1WB校正部的处理步骤的流程图。
图10是与表示本发明的第2实施方式的图像处理装置对应的图像处理部的框图。
图11是表示进行AWB校正的图像处理部的处理步骤的流程图。
图12是表示图10所示的第2WB增益计算部的另一实施方式的第2WB增益计算部的框图。
图13是包含表示图10所示的第2WB增益计算部的另一其他实施方式的第2WB增益计算部的框图。
图14是与表示本发明的第3实施方式的图像处理装置对应的图像处理部的主要部分框图。
图15是与表示本发明的第4实施方式的图像处理装置对应的图像处理部的主要部分框图。
图16是与表示本发明的第5实施方式的图像处理装置对应的图像处理部的框图。
图17是与图16所示的第5实施方式对应的流程图。
图18是表示从以氙气管为光源的闪光发射部发射的闪光的发射时间与发射强度的关系的图表。
图19是示出表示本发明的第6实施方式的图像处理方法中的处理步骤的流程图。
图20是示出表示本发明的第7实施方式的图像处理方法中的处理步骤的流程图。
图21是与本发明所涉及的图像处理装置对应的图像处理部的框图。
图22是表示本发明所涉及的图像处理方法的实施方式的流程图。
图23是与表示本发明的第8实施方式的图像处理装置对应的图像处理部的框图。
图24是与表示本发明的第9实施方式的图像处理装置对应的图像处理部的主要部分框图。
图25是作为摄像装置的实施方式的智能手机的外观图。
图26是表示图25所示的智能手机500的结构的框图。
具体实施方式
参照附图，对本发明的实施方式进行说明。在以下实施方式中，对将本发明应用于数码相机(摄像装置)的例子进行说明。其中，在除了数码相机以外的图像处理装置、摄像装置、图像处理方法以及图像处理程序中也能够应用本发明。
图1是数码相机2的正面立体图。图2是数码相机2的背面立体图。
数码相机2具备相机主体3和安装于相机主体3的前面的透镜镜筒4。透镜镜筒4以及相机主体3可以一体地设置，也可以作为透镜更换式相机拆装自如地设置。
在相机主体3的前面除了设置有透镜镜筒4之外，还设置有闪光发射部5，在相机主体3的上面设置有快门按钮6以及电源开关7。快门按钮6是接收来自用户的摄影指示的摄影指示部，由具有半按时接通的S1开关和全按时接通的S2开关的二级行程开关构成。电源开关7是从用户接收数码相机2的电源的接通以及断开的切换指示的电源切换部。
在相机主体3的背面设置有：由液晶面板等构成的显示部8；以及通过用户直接操作的操作部9。显示部8在摄影待机状态下显示即时预览图像(实时取景图像)来作为电子取景器发挥功能，在摄影图像或存储器存储图像的重放时，作为重放图像显示部发挥功能。
操作部9由模式切换开关、十字键、执行键等任意的操作设备构成。例如，模式切换开关在切换数码相机2的动作模式时通过用户操作。作为数码相机2的动作模式，有用于拍摄被摄体来获得摄影图像的摄影模式(自动摄影模式、手动摄影模式以及连拍模式等)、将图像重放显示的重放模式等。
自动摄影模式是使用自动进行调焦的自动聚焦(AF：Auto Focus)功能、自动设定光圈值以及快门速度的自动曝光(AE：Auto Exposure)功能等的模式，手动摄影模式是能够由用户使用操作部9适当第设定调焦、光圈值以及快门速度等的模式。
另一方面，十字键以及执行键在显示部8显示菜单画面或设定画面、或者移动显示在菜单画面或设定画面内的光标、或者确定数码相机2的各种设定的情况下，通过用户操作。
在相机主体3的底部(省略图示)设置有：装载外部存储器10的存储器插槽；以及开闭该存储器插槽的开口的装载盖。外部存储器10拆装自如地设置于相机主体3，若安装于相机主体3，则与设置在相机主体3的存储控制部33电连接。外部存储器10一般能够由卡型闪存器等半导体存储器构成，但是并无特别限定，能够将磁介质等任意存储方式的存储介质用作外部存储器10。
图3是表示数码相机2的控制处理系统的框图。
被摄体光通过设置于透镜镜筒4的透镜部12和设置于相机主体3的机械快门20，并通过成像元件21(摄像部)受光。透镜部12由包含摄影透镜(透镜组)以及光圈的摄影光学系统构成。成像元件21是接收被摄体像而生成摄像信号(图像数据)的元件，具有RGB(红绿蓝)等滤色器以及将光学图像转换为电信号的CCD(Charge Coupled Device)或CMOS(Complementary Metal Oxide Semiconductor)等图像传感器。从成像元件21输出的图像数据在进程处理部22中通过AGC(Automatic Gain Control)电路等实施进程处理之后，模拟形式的图像数据通过AD(Analog Digital)转换部23转换为数字形式的图像数据。数字化的图像数据保存于主存储器24中。
主存储器24是暂时存储图像数据的区域，由DRAM(Dynamic Random AccessMemory)等构成。从AD转换部23发送来且蓄存在主存储器24中的图像数据通过由系统控制部25控制的图像处理部31读出。图像处理部31将成像元件21所生成的图像数据用作输入图像数据，进行白平衡校正、伽马校正处理以及去马赛克处理等各种图像处理，将图像处理后的图像数据再次保存在主存储器24中。
在图像处理部31中实施图像处理而保存在主存储器24中的图像数据通过显示控制部35以及压缩扩展部32读出。显示控制部35控制显示部8，使从主存储器24读出的图像数据显示于显示部8。如此，从成像元件21输出并在图像处理部31中接受图像处理的图像数据作为摄影确认图像(后预览)显示于显示部8。
另一方面，压缩扩展部32进行从主存储器24读出的图像数据的压缩处理，制作JPEG(Joint Photographic Experts Group)或TIFF(Tagged Image File Format)等任意压缩形式的图像数据。压缩处理后的图像数据通过存储控制部33存储于外部存储器10中，存储控制部33对向外部存储器10存储数据的处理以及从外部存储器10读出数据的处理进行控制。另外，在将图像数据等数据类存储于外部存储器10中的情况下，存储控制部33根据从时钟设备34获取的日期时间信息向该数据类附加编辑日期时间信息(更新日期时间信息)等摄影信息或其他相关信息。该摄影信息以任意格式附加于图像数据，例如能够采用Exif(Exchangeable image file format)形式。
在重放外部存储器10中保存的图像数据的重放模式中，外部存储器10中保存的图像数据通过由系统控制部25控制的存储控制部33读出，并通过压缩扩展部32实施扩展处理之后，保存在主存储器24中。然后，以与摄影图像的确认显示相同的步骤，通过显示控制部35从主存储器24读出图像数据，在显示部8中重放显示图像数据。
AF处理部37当有快门按钮6的第1阶段的按下(半按)时，对与半按时读入的AF区域对应的图像数据的高频分量的绝对值进行积算，并将该积算出的值(AF评价值)输出至系统控制部25。
AE检测部38当有快门按钮6的第1阶段的按下(半按)时，对与整个画面对应的数字信号进行积算，或者对在画面中央部和周边部实施不同的权重的图像数据进行积算，并将该积算值输出至系统控制部25。
如上所述，系统控制部25对主存储器24、图像处理部31以及存储控制部33进行控制，但对数码相机2中的其他各部(AF处理部37、AE检测部38)也进行控制。
例如，在自动摄影模式时，若半按快门按钮6，则系统控制部25经由透镜驱动部27使透镜部12的聚焦透镜从最近位置向无限远侧移动，并且使AF处理部37动作，从AF处理部37获取各透镜位置中的AF评价值。然后，检索AF评价值最大的对焦位置，使聚焦透镜向该对焦位置移动，由此进行对被摄体(主要被摄体)的调焦。并且，在自动摄影模式时，若半按快门按钮6，则系统控制部25使AE检测部38动作，根据从AE检测部38输入的积算值计算被摄体亮度(摄影Ev值)，根据该摄影Ev值按照程序线图确定光圈的光圈值以及快门速度(机械快门20和/或成像元件21的电荷蓄积时间)，若全按快门按钮6，则根据已确定的光圈值控制光圈，并且根据已确定的快门速度经由快门驱动部26控制机械快门20，并且经由未图示的成像元件驱动部对成像元件21中的电荷蓄积时间进行控制。
并且，系统控制部25控制闪光发射部5来控制闪光的发射以及非发射。本例的闪光发射部5例如具有：发射白色闪光的氙气管；以及在氙气管与发射窗口之间取出放入的1个或2个以上的滤色器，系统控制部25通过调整氙气管的发射时间来调整闪光的发光量，通过取出放入滤色器来调整闪光的发射颜色。另外，闪光发射部5可以使用红(R)、绿(G)、蓝(B)发光二极管来代替氙气管，在该情况下，利用流向RGB发光二极管的电流量调整发光量，并且调整RGB发光二极管的发光量的比率，从而能够发射任意颜色的闪光。
而且，系统控制部25对电源控制部28进行控制来进行电源29中的电池安装的有无、电池的种类、电池剩余量的检测等。并且，系统控制部25获取在时钟设备34中计数的日期时间信息并用于各种处理。并且，系统控制部25对构成图像处理部31的各种处理部进行控制。
另外，系统控制部25获取来自包含快门按钮6、电源开关7以及操作部9的用户接口36的操作信号，进行与操作信号相应的各种处理以及设备控制。并且，系统控制部25根据从电源开关7接收的电源接通断开信号控制电源控制部28，对电源29的接通以及断开进行控制。
在系统控制部25中进行的各种处理以及设备控制所需的程序或数据类存储在控制存储器30中。系统控制部25能够根据需要读出控制存储器30中存储的程序或数据类，并且能够将新的程序或数据类保存在控制存储器30中。例如，系统控制部25能够将已设定的白平衡模式(以下，称作“WB模式”)的种类或白平衡增益(以下，称作“WB增益”)等条件数据写入控制存储器30中。并且，系统控制部25能够控制显示控制部35，使从各部获取的各种信息显示于显示部8。另外，系统控制部25能够按照用户经由用户接口36输入的操作信号改变显示于显示部8的各种信息。
[第1实施方式]
接着，对图3所示的图像处理部31的详细内容进行说明。
图4是与表示本发明的第1实施方式的图像处理装置对应的图像处理部的框图，尤其示出了进行白平衡校正的图像处理部。
首先，具备图4所示的第1实施方式的图像处理部311的数码相机2从闪光发射部5连续获取表示发射闪光来拍摄的闪光发射图像的图像数据(第1摄像信号)和表示不发射闪光而拍摄的非闪光发射图像的图像数据(第2摄像信号)，并将第1摄像信号以及第2摄像信号暂时保存在主存储器24中。另外，数码相机2连续拍摄(连拍)非闪光发射图像和闪光发射图像，第1摄像信号和第2摄像信号实际上是表示拍摄同一场景而得的摄像信号。并且，暂时保存在主存储器24的第1摄像信号以及第2摄像信号是图像处理之前的马赛克数据(RAW数据：马赛克状的红(R)、绿(G)、蓝(B)的颜色数据)。
图4所示的图像处理部311示出了图3所示的图像处理部31的第1实施方式，主要由第1图像获取部321、第2图像获取部322、第3图像获取部323、颜色信号获取部325、第1WB增益计算部326以及第1WB校正部327构成。
第1图像获取部321从主存储器24读出(获取)与保存在主存储器24中的闪光发射图像以及非闪光发射图像对应的第1摄像信号以及第2摄像信号，并将所获取的第1摄像信号以及第2摄像信号输出至第2图像获取部322。
第2图像获取部322从第1摄像信号减去第2摄像信号，获取表示第1摄像信号与第2摄像信号的差分的第3摄像信号(即，只受闪光的影响的第3摄像信号)，并将所获取的第3摄像信号输出至第3图像获取部323。
在第3图像获取部323相加闪光用WB增益324，第3图像获取部323将只受闪光的影响的第3摄像信号乘以闪光用WB增益324，获取去除了由于闪光的颜色导致的影响的第4图像信号。另外，闪光用WB增益324是用于去除由于闪光的颜色导致的影响的WB增益，是根据从闪光发射部5发射的闪光的颜色(光谱分布)确定的、用于将与闪光的颜色对应的RGB的颜色数据(第3摄像信号)设为白(灰色)的颜色数据(第4摄像信号)的RGB每一个颜色的增益。并且，闪光用WB增益324预先存储在控制存储器30中，第3图像获取部323从控制存储器30获取闪光用WB增益324。并且，通过第3图像获取部323从只受闪光的影响的第3摄像信号生成的、去除了由于闪光的颜色导致的影响的第4图像信号是与通过闪光发射或非闪光发射拍摄的图像内的“被摄体本来的颜色”(物体颜色)对应的信号。
颜色信号获取部325根据通过第3图像获取部323生成的表示物体颜色的第4摄像信号获取表示摄像画面内的各区域1～n的颜色(第1颜色)的颜色信号，并将表示各区域1～n的第1颜色的颜色信号Color1～n输出至第1WB增益计算部326。
在此，对摄像画面内的各区域以及表示各区域中的第1颜色的颜色信号进行说明。
现在，在成像元件21具有在单板式彩色成像元件中最广泛使用的滤色器的颜色排列即基色系拜耳排列的情况下，如图5所示，绿色(G)像素呈棋盘式格纹状配置，红色(R)、蓝色(B)以线序方式配置。该拜耳排列的基本排列图案P1具有2×2的像素尺寸，具有拜耳排列的滤色器的成像元件的基本排列图案P1分别在成像元件的水平方向以及垂直方向上重复配置。并且，在基本排列图案P1内包含有RGB所有颜色的像素。
因此，在为具有拜耳排列的滤色器的成像元件的情况下，作为与摄像信号对应的摄像画面内的各区域，优选由2×2像素划分的区域。
并且，在将区域内(2×2像素内)的1个R像素的信号设为SR1，将2个G像素的信号的平均值设为SG1，将1个B像素的信号设为SB1时，作为表示各区域的颜色的颜色信号Color，能够用这些RGB信号的比、即SR1/SG1以及SB1/SG1表示。另外，在本例中，将表示各区域的颜色的颜色信号Color设为RGB信号的比、即SR1/SG1以及SB1/SG1，但是并不限定于此，只要是能够确定区域的颜色的信息，则可以为任意一个。
并且，在成像元件21具有图6以及图7所示的X-Trans(注册商标)排列的情况下，作为摄像画面内的各区域，优选由6×6像素划分的区域，或者由3×3像素划分的区域。
如图6所示，X-Trans排列的滤色器的基本排列图案P2具有6×6的图像尺寸。并且，如图7所示，基本排列图案P2还能够理解成被实线框包围的3×3像素的A排列和被虚线框包围的3×3像素的B排列在水平方向以及垂直方向上交替排列而成的排列。
由于在基本排列图案P2或A排列以及B排列内包含RGB所有颜色的像素，因此能够将与基本排列图案P2对应的6×6像素或与A排列以及B排列对应的3×3像素设为摄像画面内的各区域。
并且，摄像画面内的各区域并不限定于与成像元件的滤色器的基本排列图案的图像尺寸对应的区域，也可以将1个像素作为最小区域。在该情况下，马赛克数据的1个像素的数据为RGB中的1个颜色数据，并不包含确定最小区域(1个像素)的颜色的RGB所有颜色数据。因此，通过对周边的颜色数据进行插值来生成不足的颜色数据，并使用所生成的颜色数据确定最小区域的颜色。
而且，作为摄像画面内的各区域，例如也可以将1个画面分割成16×16像素尺寸的区域，使用这些分割的区域。
返回图4，第1WB增益计算部326输入表示通过颜色信号获取部325获取的各区域1～n的第1颜色的颜色信号Color1～n。并且，第1WB增益计算部326从主存储器24获取主曝光的摄像信号。作为经主曝光的摄像信号，可以考虑第1摄像信号以及第2摄像信号中的一个摄像信号，或者另行拍摄同一场景而获得的摄像信号。
第1WB增益计算部326根据表示每一个区域的物体颜色(第1颜色)的颜色信号Color1～n和表示主曝光的摄像信号的每一个区域的颜色(第2颜色)的颜色信号(RGB信号的比，即SR2/SG2、SB2/SG2)，按照每一个区域计算用于将表示主曝光的摄像信号的各区域的第2颜色的颜色信号校正为表示相同区域的第1颜色的颜色信号的WB增益1～n。即，第1WB增益计算部326利用下式计算WB增益1～n。
[式1]
每一个区域的WB增益1～n＝(表示每一个区域的第1颜色的颜色信号Color1～n)÷(表示每一个区域的第2颜色的颜色信号)
更详细地说明的话，在将表示每一个区域的第1颜色(物体颜色)的颜色信号Color1～n中的RG信号的比设为SR1/SG1，将BG信号的比设为SB1/SG1，将表示主曝光的摄像信号的各区域的第2颜色的颜色信号中的RG信号设为SR2/SG2，将BG信号的比设为SB2/SG2时，能够分别利用下式计算WB增益1～n中的相对于R信号的WB增益R1～n以及相对于B信号的WB增益B1～n。
[式2]
R1～n＝(每一个区域的SR1/SG1)÷(每一个区域的SR2/SG2)
B1～n＝(每一个区域的SB1/SG1)÷(每一个区域的SB2/SG2)
在此，上述WB增益R1～n、B1～n是将相对于主曝光的摄像信号(RGB信号)中的G信号的增益设为1时的RB信号的增益。因此，在将G信号的增益设为X时，RB信号的增益使WB增益R1～n、B1～n成为X倍。
图8是表示与第1实施方式对应的图像处理方法的流程图，尤其示出了获取每一个区域的WB增益的处理步骤。
在图8中，第1图像获取部321(图4)获取暂时保持在主存储器24中的表示闪光发射图像的“第1摄像信号”和表示非闪光发射图像的“第2摄像信号”(步骤S10、S12)。
第2图像获取部322根据在步骤S10、S12中获取的“第1摄像信号”和“第2图像信号”从第1摄像信号减去第2摄像信号，获取表示第1摄像信号与第2摄像信号的差分的“第3摄像信号”(步骤S14)。该“第3摄像信号”是只受闪光的影响的摄像信号，是未受闪光以外的其他照明环境的影响的摄像信号。
接着，第3图像获取部323将只受闪光的影响的“第3摄像信号”乘以“闪光用WB增益”，获取去除了由于闪光的颜色导致的影响的“第4图像信号”(步骤S16)。去除了由于闪光的颜色导致的影响的“第4图像信号”成为与闪光发射或非闪光发射拍摄的图像内的“被摄体本来的颜色”(物体颜色)对应的信号。
接着，颜色信号获取部325根据表示物体颜色的“第4摄像信号”获取表示摄像画面内的各区域1～n的颜色(第1颜色)的颜色信号“Color 1”～“Color n”(步骤S18)。
将确定摄像画面内的各区域1～n中的1个区域的参数m设为1(步骤S20)。
接着，第1WB增益计算部326求出表示主曝光的摄像信号的区域m的颜色的颜色信号，获取将所求出的颜色信号校正为表示该区域m的物体颜色的颜色信号“Color m”的WB增益“WB增益m”(步骤S22)。该“WB增益m”能够利用前述的[式1]算式计算。
接着，将参数m以1单位增量(步骤S24)，判别增量了的参数m是否大于区域的总数n(m＞n)(步骤S26)。在参数m为n以下的情况(“否”的情况)下，过渡到步骤S22，进行与参数m对应的区域的“WB增益m”。
在获取所有区域的“WB增益1”～“WB增益n”，且参数m大于区域的总数n的情况(m＞n)(“是”的情况)下，结束获取每一个区域的“WB增益1”～“WB增益n”的本处理。
[多区域WB校正]
图4所示的第1WB校正部327输入主曝光的摄像信号和通过第1WB增益计算部326计算出的“WB增益1”～“WB增益n”，将主曝光的摄像信号的各区域的摄像信号乘以与每一个区域对应的“WB增益m”，按照每一个区域进行白平衡校正(多区域WB校正)。
图9是表示进行多区域WB校正的第1WB校正部327的处理步骤的流程图。
第1WB校正部327获取保存在主存储器24中的主曝光的摄像信号(步骤S30)。
接着，将确定摄像画面内的各区域1～n中的1个区域的参数m设为1(步骤S32)。
接着，第1WB校正部327获取主曝光的摄像信号中的“区域m”的摄像信号，将“区域m”的摄像信号乘以与该“区域m”对应地计算出的“WB增益m”，进行白平衡校正(步骤S34)。
接着，将参数m以1单位增量(步骤S36)，判别增量了的参数m是否大于区域的总数n(m＞n)(步骤S38)。在参数m为n以下的情况(“否”的情况)下，过渡到步骤S34，与上述相同地将与参数m对应的区域的摄像信号通过与该区域对应地计算出的“WB增益m”进行校正。
在结束经主曝光的摄像信号的所有区域的白平衡校正，且参数m大于区域的总数n的情况(m＞n)(“是”的情况)下，结束按照每一个区域进行白平衡校正的本处理。另外，实施了白平衡校正的主曝光的摄像信号输出至进行伽马校正处理以及去马赛克处理等的后段的图像处理部。
[第2实施方式]
图10是与表示本发明的第2实施方式的图像处理装置对应的图像处理部的框图，尤其示出了进行白平衡校正的图像处理部。另外，对与图4所示的第1实施方式共同的部分标注同一符号，省略其详细说明。
第1实施方式进行“多区域WB校正”，而第2实施方式的不同点在于，使用单一WB增益(以下，称作“AWB增益”)对主曝光的摄像信号进行白平衡校正。
如图10所示，第2实施方式的图像处理部312与第1实施方式的图像处理部311相比，不同点在于追加了第2WB增益计算部330，并且设置第2WB校正部332来代替第1WB校正部327。
第2WB增益计算部330输入通过第1WB增益计算部326计算出的每一个区域的“WB增益1”～“WB增益n”，根据这些“WB增益1”～“WB增益n”计算单一“AWB增益”。
即，第2WB增益计算部330根据每一个区域的“WB增益1”～“WB增益n”计算这些“WB增益1”～“WB增益n”的代表值，即“AWB增益”。作为“WB增益1”～“WB增益n”的代表值，可以考虑“WB增益1”～“WB增益n”的平均值、中间值、最频值等。
第2WB校正部332输入主曝光的摄像信号和通过第2WB增益计算部330计算出的“AWB增益”，将主曝光的摄像信号乘以“AWB增益”，进行自动白平衡校正(AWB校正)。
[AWB校正]
图11是表示进行AWB校正的图像处理部312的处理步骤的流程图，主要示出了第2WB增益计算部330和第2WB校正部332的处理。
如图11所示，第2WB增益计算部330根据通过第1WB增益计算部326计算出的每一个区域的“WB增益1”～“WB增益n”计算这些“WB增益1”～“WB增益n”的代表值，即“AWB增益”(步骤S40)。
第2WB校正部332从主存储器24获取主曝光的摄像信号(步骤S42)，将所获取的主曝光的摄像信号乘以通过步骤S40计算出的“AWB增益”，由此进行主曝光的摄像信号的白平衡校正(步骤S44)。另外，实施了白平衡校正的主曝光的摄像信号输出至进行伽马校正处理以及去马赛克处理等的后段的图像处理部。
＜第2WB增益计算部的另一实施方式＞
图12是表示图10所示的第2WB增益计算部330的另一实施方式的第2WB增益计算部330A的框图。
如图12所示，第2WB增益计算部330A由彩度检测部334和加权平均计算部336构成。
彩度检测部334根据从颜色信号获取部325输出的表示各区域1～n的第1颜色(物体颜色)的颜色信号Color1～n按照每一个区域计算权重系数W1～Wn。在此，关于通过彩度检测部334计算的权重系数W1～Wn，越是彩度低的颜色的区域(越是接近无彩色的区域)，越高地设定权重。即，对与颜色信号Color1～n对应的各区域中的无彩色(灰色)的区域的权重系数最高，在颜色空间(例如，由SR1/SG1轴和SB1/SG1构成的颜色空间)上，越是与灰色之间的距离远的区域，越减小权重。
加权平均计算部336根据通过第1WB增益计算部326计算出的每一个区域的WB增益1～n和通过彩度检测部计算出的每一个区域的权重系数W1～Wn计算WB增益1～n的加权平均值，并将计算出的加权平均值作为AWB增益输出至第2WB校正部332。
彩度低的区域的颜色是接近无彩色(灰色)的颜色，是在计算将拍摄到的图像内的灰色的物体颜色校正为灰色的WB增益的基础上，应该强调的区域的颜色。而且，利用这种加权平均计算AWB增益，从而能够提高AWB增益的可靠性。
＜第2WB增益计算部的另一其他实施方式＞
图13是包含表示图10所示的第2WB增益计算部330的另一其他实施方式的第2WB增益计算部330B的框图。
在图13中，亮度计算部338根据只受闪光的影响的第3摄像信号计算每一个区域的亮度值Y1～Yn。在将各区域的RGB信号设为SR、SG、SB时，通过下式计算每一个区域的亮度值Y。
[式3]
Y＝0.3SR+0.6SG+0.1SB
并且，也可以将在上述亮度值Y的计算中发挥作用最大的G信号SG用作每一个区域的亮度值。
第2WB增益计算部330B根据通过第1WB增益计算部326计算出的每一个区域的WB增益1～n和通过亮度计算部338计算出的每一个区域的亮度值Y1～Yn计算WB增益1～n的加权平均值，并将计算出的加权平均值作为AWB增益输出至第2WB校正部332(图10)。
第2WB增益计算部330B在计算WB增益1～n的加权平均值时，降低亮度值低的区域的权重。这是因为，闪光无法充分到达亮度值低的区域，对这种区域求出的物体颜色(即，根据物体颜色计算的WB增益)的可靠性低。
并且，第2WB增益计算部330B在计算WB增益1～n的加权平均值时，降低亮度值非常高的区域(亮度值比判别表示闪光发射图像的第1摄像信号的饱和的阈值高的区域)的权重。这是因为，亮度值非常高的区域存在第1摄像信号相比于闪光饱和(过白)的可能性，对这种区域计算的第1白平衡增益的可靠性低。另外，在用8位(0～255)表示所计算的亮度值的情况下，能够将上述阈值设为250左右。并且，并不限定于根据第3摄像信号计算亮度值的情况，也可以根据第1摄像信号计算每一个区域的亮度值，在该情况下，能够更加准确地判断第1摄像信号是否饱和。
[第3实施方式]
图14是与表示本发明的第3实施方式的图像处理装置对应的图像处理部的主要部分框图。
在图4以及图10所示的第1实施方式以及第2实施方式中，无论闪光是否适当地到达被摄体，都通过第1WB增益计算部326计算摄像画面内的每一个区域的WB增益，但是在图14所示的第3实施方式中，判别闪光是否到达被摄体，且只有在判别为闪光已到达被摄体时，执行基于第1WB增益计算部326A的每一个区域的WB增益的计算。并且，若判别为闪光未到达被摄体，则进行通常的白平衡校正。
在图14中，判别部333判别从闪光发射部5发射的闪光是否到达被摄体(主要被摄体)。就该判别而言，求出被摄体距离，对该被摄体距离与根据闪光发射部5的闪光指数、闪光摄影时的F值以及ISO(国际标准化组织)灵敏度求出的闪光到达距离进行比较，在被摄体距离超过闪光到达距离时，判别为闪光未到达被摄体。另外，能够根据通过AF处理向对焦位置移动的透镜(聚焦透镜)的位置求出被摄体距离。并且，能够另外设置进行三角测距等的测距部，并使用通过测距部测距的被摄体距离。
控制部335使第1WB增益计算部326A以及WB校正部337中的任一个进行动作，若从判别部333输入闪光已到达被摄体的判别结果，则使第1WB增益计算部326A进行动作，若从判别部333输入闪光未到达被摄体的判别结果，则使WB校正部337进行动作。
若第1WB增益计算部326A被控制部335设定为可进行动作，则如上所述，根据表示每一个区域的物体颜色的颜色信号Color1～n和表示主曝光的摄像信号的每一个区域的颜色的颜色信号，按照每一个区域计算WB增益1～n。然后，根据计算出的WB增益1～n以与第1实施方式或第2实施方式相同的方式进行白平衡校正。
另一方面，若WB校正部337被控制部335设定为可进行动作，则根据白平衡校正之前的摄像信号确定AWB增益，将白平衡校正之前的摄像信号乘以确定的AWB增益，由此进行白平衡校正。在此，作为AWB增益的确定方法，可以考虑如下等各种公知的方法：根据白平衡校正之前的摄像信号求出RGB信号的比，根据所求出的比确定光源种类，从预先按照每一个光源种类存储有适当的AWB增益的存储部读出与已确定的光源种类对应的AWB增益的方法；以及以白平衡校正之后的RGB信号的比成为1:1:1的方式确定AWB增益的方法。
另外，判别部333根据被摄体距离和闪光到达距离判别闪光是否到达被摄体，但是并不限定于此，也可以通过根据只以闪光为光源的第3摄像信号计算出的亮度值是否为为了判别闪光是否到达被摄体而设定的阈值以上来进行判别。作为该情况的阈值，能够使用在被摄体位于最大的闪光到达距离的情况下获得的根据第3摄像信号计算出的亮度值。
[第4实施方式]
图15是与表示本发明的第4实施方式的图像处理装置对应的图像处理部的主要部分框图。
在图14所示的第3实施方式中，只有在判别为闪光到达被摄体时，执行基于第1WB增益计算部326A的每一个区域的WB增益的计算，但是在图15所示的第4实施方式中，判别闪光是否到达摄像画面内的每一个区域，且只有对判别为闪光已到达的区域执行基于第1WB增益计算部326B的WB增益的计算。
在图15中，判别部333A根据只以闪光为光源的第3摄像信号计算每一个区域的亮度值，通过计算出的亮度值是否为为了判别闪光是否到达被摄体而设定的阈值以上，来判别闪光是否到达每一个区域。作为该情况的阈值，能够使用在被摄体位于最大的闪光到达距离的情况下获得的根据第3摄像信号(被摄体的区域的第3摄像信号)计算出的亮度值。
判别部333A将按照每一个区域判别的闪光到达的判别结果输出至第1WB增益计算部326B。
第1WB增益计算部326B根据表示每一个区域的物体颜色的颜色信号Color1～n和表示主曝光的摄像信号的每一个区域的颜色的颜色信号按照每一个区域计算WB增益1～n，但是根据从判别部333A获得的每一个区域的闪光到达的判别结果，只对获得了闪光已到达被摄体的判别结果的区域进行对该区域的WB增益。根据这样计算出的每一个区域的WB增益以与第2实施方式相同的方式计算AWB增益，进行白平衡校正。
在使用图13说明的第2WB增益计算部的另一其他实施方式中，在计算WB增益1～n的加权平均值(AWB增益)时，降低了亮度值低的区域的权重，但是根据第4实施方式，由于对闪光未到达的区域未计算WB增益，因此实际上与将闪光未到达的区域(亮度值低的区域)的权重设为零来计算AWB增益的情况相同。
[第5实施方式]
图16是与表示本发明的第5实施方式的图像处理装置对应的图像处理部的框图，尤其示出了进行白平衡校正的图像处理部的主要部分。
首先，具备图16所示的第5实施方式的图像处理部411的数码相机2获取表示从闪光发射部5发射闪光来拍摄的闪光发射图像的图像数据(摄像信号)，并将摄像信号暂时保存在主存储器24中。另外，暂时保存在主存储器24中的摄像信号是图像处理之前的马赛克数据(RAW数据：马赛克状的RGB的数据)。
图16所示的图像处理部411表示图3所示的图像处理部31的第5实施方式，主要由图像获取部421、颜色信号获取部422以及无彩色区域提取部423构成。
图像获取部421从主存储器24读出(获取)与保存在主存储器24中的闪光发射图像对应的摄像信号，并将所获取的摄像信号输出至颜色信号获取部422。
颜色信号获取部422根据所输入的摄像信号获取表示摄像画面内的各区域1～n的颜色的颜色信号Color1～n，并将所获取的颜色信号Color1～n输出至无彩色区域提取部423。在此，关于摄像画面内的各区域以及表示各区域的颜色的颜色信号，引用第1实施方式中的说明，省略其详细的说明。
关于无彩色区域提取部423的其他输入，可以提供获得表示从闪光发射部5发射的闪光的颜色的闪光的颜色信息424，无彩色区域提取部423根据表示各区域1～n的颜色的颜色信号Color1～n和表示闪光的颜色的颜色信息424提取具有与闪光发射的颜色相同的颜色的区域(erea)作为无彩色区域，并输出表示无彩色区域的信息(无彩色区域信息426)。
即，在某一区域的物体颜色为无彩色(灰色)的情况下，若闪光与该区域接触，则该区域的颜色成为闪光的颜色。因此，通过从闪光发射图像的各区域中提取与闪光的颜色相同的颜色的区域，能够提取物体颜色为无彩色的区域(无彩色区域)。
在此，表示闪光的颜色信息424例如能够设为用RGB信号表示闪光的颜色时的RGB信号的比，即Rref/Gref、Bref/Gref。并且，闪光的颜色信息424预先存储在控制存储器30中，无彩色区域提取部423从控制存储器30(图3)获取闪光的颜色信息424。在闪光发射部外置于相机的情况下，能够在没有环境光的状态下对白色或灰色的图表进行闪光发射，根据通过闪光发射获得的RGB信号的比检测表示外置的闪光发射部的闪光的颜色的颜色信号。
并且，作为通过无彩色区域提取部423提取无彩色区域的方法，例如可以考虑如下方法：根据下式计算表示某一区域m的颜色的颜色信号Color m(Rm/Gm、Bm/Gm)和表示闪光的颜色的颜色信息424(Rref/Gref、Bref/Gref)在R/G轴、B/G轴的颜色空间上的差分距离L，
[式4]
当计算出的差分距离L满足[式4]所示的不等式时，将该区域m设为无彩色区域。即，只要差分距离L在0.1以内，则能够判断为无彩色。
并且，作为通过无彩色区域提取部423提取无彩色区域的其他方法，可以考虑如下方法：对表示区域m的颜色的Color m(Rm/Gm、Bm/Gm)与表示闪光的颜色的颜色信息424(Rref/Gref、Bref/Gref)进行比较，当满足下式时，将该区域m设为无彩色区域。
[式5]
0.9×Rref/Gref≤Rm/Gm≤1.1×Rref/Gref
并且，
0.9×Bref/Gref≤Bm/Gm≤1.1×Bref/Gref
提取物体颜色为无彩色的无彩色区域这一步骤在进行将无彩色区域的图像再现为无彩色的白平衡校正方面很重要。
并且，优选将检测被摄体的明度(被摄体亮度)的被摄体亮度检测部和只有在检测出的被摄体亮度低于阈值时，使无彩色区域提取部423进行无彩色区域的提取的控制部进一步设置在图像处理部411。作为阈值，能够设为进行在黑暗的地方自动发射闪光的低亮度自动发射时的亮度值的最大值、或进行日光闪光(还称作“白天闪光”)摄影时的被摄体亮度的最小值。
在被摄体亮度过高的情况下，闪光发射图像强烈地受到环境光的影响，无法高精度地提取无彩色区域。因此，优选只有在被摄体亮度低于阈值时，进行无彩色区域的提取(在被摄体亮度高于阈值时，不进行无彩色区域的提取)。
图17是与图16所示的第5实施方式对应的流程图，尤其示出了提取摄像图像内的被摄体的物体颜色为无彩色的区域(无彩色区域)的处理步骤。
在图17中，图像获取部421从主存储器24获取表示发射闪光来拍摄的闪光发射图像的“摄像信号”(步骤S50)。在该情况下，优选以高速的快门速度拍摄闪光发射图像。即，这是为了通过以高速的快门速度拍摄闪光发射图像来使闪光发射图像尽可能不受环境光的影响(使闪光发射图像接近只以闪光为光源的图像)。
图18是表示从以氙气管为光源的闪光发射部5发射的闪光的发射时间与发射强度的关系的图表。
如图18所示，闪光的发射时间最大为1/500(秒)左右，在短时间内结束发射。并且，闪光的发射时间根据被摄体亮度、被摄体距离以及向氙气管供电的主电容器的容量等而发生改变，但是大致为1/1000～1/500(秒)左右。
因此，拍摄闪光发射图像时的快门速度优选为1/500(秒)以下。另外，若将快门速度设为比闪光的发射时间大幅快，则产生闪光的渐晕(本来的闪光摄像所需的闪光不足)，因此优选拍摄闪光发射图像时的快门速度为闪光的发射时间以下，接近闪光的发射时间。
接着，无彩色区域提取部423根据示出表示闪光发射图像的摄像信号的每一个区域的颜色的颜色信号Color1～n和表示闪光的颜色的颜色信息424，提取具有与闪光发射的颜色相同的颜色的区域(area)作为无彩色区域(步骤S52)。
[第6实施方式]
图19是示出表示本发明的第6实施方式的图像处理方法中的处理步骤的流程图。另外，第6实施方式的图像处理部的结构与图16所示的第5实施方式的图像处理部411的结构大致相同，因此参照图16以及图19对第6实施方式的图像处理方法进行说明。
首先，具备第6实施方式的图像处理部411的数码相机2从闪光发射部5依次发射多种(将2以上的整数设为n时为n种)发光量的闪光，从表示n张闪光发射图像的第1摄像信号中连续拍摄(获取)第n摄像信号，并将第1摄像信号～第n摄像信号暂时保存在主存储器24中。
在此，闪光发射部5按照来自系统控制部25的指示使氙气管的发射时间和/或流向氙气管的电流量发生改变，调整闪光的发光量。并且，数码相机2例如以如下方式自动确定多种发光量：以适当曝光时的Ev值(Exposure value)为基准，成为Ev值在-2.0Ev～+2.0Ev的范围内按照1.0Ev的步进或者0.5Ev的步进发生变化的发光量。
在图19中，图像获取部421从主存储器24获取表示闪光的发光量不同的n张闪光发射图像的第1摄像信号至第n摄像信号(步骤S60)。
接着，将确定第1摄像信号至第n摄像信号中的任一摄像信号的参数m设为1(步骤S62)。
接着，无彩色区域提取部423从“第m摄像信号”中提取与闪光的颜色一致的颜色的区域，将所提取的区域设为“第m无彩色区域(候补)”(步骤S64)。以与第5实施方式相同的方法进行该无彩色区域的提取。
接着，无彩色区域提取部423从所提取的“第m无彩色区域(候补)”中提取限制在特定的亮度范围内的区域，将所提取的区域设为“第m无彩色区域(确定)”(步骤S66)。在此，特定的亮度范围是去除了高亮度部分和低亮度部分的亮度范围。例如，能够设为通过闪光的发光量改变Ev值时的Ev值的步进幅度左右的范围。这是为了在闪光下由于被摄体距离发生过白或者闪光未到达而无法准确地判定“无彩色区域”的情况下，正确地排除过白部分或闪光未到达的部分的“无彩色区域(候补)”。
接着，将参数m以1单位增量(步骤S68)，判别增量了的参数m是否大于闪光发射图像的张数n(m＞n)(步骤S70)。在参数m为n以下的情况(“否”的情况)下，过渡到步骤S64，以与上述相同的方式从与参数m对应的“第m摄像信号”中提取“第m无彩色区域(确定)”(步骤S64～S70)。
另一方面，结束对所有(n张)闪光发射图像的“无彩色区域(确定)”的提取，在参数m大于闪光发射图像的张数n的情况(m＞n)(“是”的情况)下，过渡到步骤S72。
在步骤S72中，无彩色区域提取部423设定经步骤S64～S70的处理获取的“第1无彩色区域(确定)”～“第n无彩色区域(确定)”的OR条件(逻辑和)，将满足OR条件的区域设为“无彩色区域”。
根据第6实施方式，即使在由于被摄体距离在闪光发射图像中包含过白部分或闪光未到达的部分的情况下，也能够通过从“无彩色区域”正确地排除这些部分，并设定分别从闪光的发光量不同的闪光发射图像中提取的“无彩色区域”的OR条件，在更广的被摄体距离的范围内提取“无彩色区域”。
[第7实施方式]
图20是示出表示本发明的第7实施方式的图像处理方法中的处理步骤的流程图。另外，第7实施方式的图像处理部的结构与图16所示的第5实施方式的图像处理部411的结构大致相同，因此参照图16以及图20对第7实施方式的图像处理方法进行说明。
首先，具备第7实施方式的图像处理部411的数码相机2从闪光发射部5依次发射多种(将2以上的整数设为n时为n种)颜色的闪光，从表示n张闪光发射图像的第1摄像信号中连续拍摄(获取)第n摄像信号，并将第1摄像信号～第n摄像信号暂时保存在主存储器24中。
在此，闪光发射部5按照来自系统控制部25的指示在氙气管与发射窗口之间取出放入1个或2个以上的滤色器，调整闪光的发射颜色。
在图20中，图像获取部421从主存储器24获取表示闪光的发射颜色不同的n张闪光发射图像的第1摄像信号至第n摄像信号(步骤S80)。
接着，将确定第1摄像信号至第n摄像信号中的任一摄像信号的参数m设为1(步骤S82)。
接着，无彩色区域提取部423从“第m摄像信号”中提取与闪光的颜色一致的颜色的区域，将所提取的区域设为“第m无彩色区域(候补)”(步骤S84)。以与第5实施方式相同的方式进行该无彩色区域的提取。
接着，将参数m以1单位增量(步骤S86)，判别增量了的参数m是否大于闪光发射图像的张数n(m＞n)(步骤S88)。在参数m为n以下的情况(“否”的情况)下，过渡到步骤S84，以与上述相同的方法从与参数m对应的“第m摄像信号”中提取“第m无彩色区域(候补)”(步骤S84～S88)。
另一方面，结束对所有(n张)闪光发射图像的“无彩色区域(候补)”的提取，在参数m大于闪光发射图像的张数n的情况(m＞n)(“是”的情况)下，过渡到步骤S90。
在步骤S90中，无彩色区域提取部423设定经步骤S84～S88的处理获取的“第1无彩色区域(候补)”～“第n无彩色区域(候补)”的AND条件(逻辑与)，将满足AND条件的区域设为“无彩色区域(确定)”。
在单色闪光下，无法区别到底是闪光发射图像的颜色被照射闪光而成为与闪光的颜色相同的颜色，还是被摄体本来的颜色(物体颜色)成为与闪光的颜色相同的颜色。根据第7实施方式，从表示闪光的颜色不同的n张闪光发射图像的第1摄像信号中获取第n摄像信号，从第1摄像信号至第n摄像信号中分别提取颜色与n种颜色的闪光相同的区域，并将所提取的区域的满足AND条件的区域提取为无彩色区域，因此能够不受物体颜色的影响而高精度地提取无彩色区域。
[AWB校正的另一实施方式]
接着，说明根据如上所述那样提取的表示“无彩色区域”的无彩色区域信息426(图16)对主曝光的摄像信号进行白平衡校正的AWB校正。
图21是与本发明所涉及的图像处理装置对应的图像处理部的框图，尤其示出了进行白平衡校正的图像处理部31的主要部分。
图21所示的图像处理部412主要由摄像信号提取部430、WB增益获取部432以及WB校正部434构成。
摄像信号提取部430输入保存在主存储器24中的主曝光的摄像信号和从图16所示的图像处理部411的无彩色区域提取部423输出的无彩色区域信息426。在此，主曝光的摄像信号是如下摄像信号中的任一摄像信号：表示与在无彩色区域的提取中使用的闪光发射图像的摄像信号；以及表示拍摄与在无彩色区域的提取中使用的闪光发射图像的被摄体相同的被摄体的闪光发射图像或非闪光发射图像的摄像信号。
摄像信号提取部430根据无彩色区域信息426从主曝光的摄像信号中提取无彩色区域的摄像信号，并将所提取的摄像信号输出至WB增益获取部432。另外，无彩色区域的摄像信号是无彩色区域的物体颜色为无彩色的摄像信号，但是为与1个或多个光源种类(环境光、闪光)的颜色对应的摄像信号。
WB增益获取部432根据从摄像信号提取部430输入的无彩色区域的摄像信号将与无彩色区域对应的区域的颜色作为光源色获取与该光源色对应的WB增益(AWB增益)。
具体而言，根据无彩色区域的摄像信号获取表示无彩色区域的颜色的颜色信号(R/G、B/G)，并根据获取的颜色信号确定光源种类。作为光源种类，有太阳光(晴朗、阴凉)、荧光灯、钨灯等，若确定光源种类，则从按照每一个光源种类预先存储有最佳AWB增益的存储部读出(获取)与已确定的光源种类对应的AWB增益。根据本实施方式，能够根据无彩色区域的颜色准确地进行光源种类的推断，因此能够获取适当的AWB增益。
并且，能够根据无彩色区域的摄像信号获取表示无彩色区域的颜色的颜色信号(R/G、B/G)，并计算用于将所获取的颜色信号校正为无彩色(灰色)的颜色信号的AWB增益。在该情况下，能够将R/G＝1、B/G＝1用作灰色的颜色信号。另外，获取AWB增益的方法并不限定于上述例子，只要是根据与无彩色区域对应的区域的颜色获取AWB增益的方法，也可以是任一方法。
WB校正部434将从主存储器24获取的主曝光的摄像信号乘以从WB增益获取部432输入的AWB增益，进行主曝光的摄像信号的白平衡校正。通过WB校正部434实施白平衡校正的主曝光的摄像信号输出至进行伽马校正处理以及去马赛克处理等的后段的图像处理部。
图22是表示本发明所涉及的图像处理方法的实施方式的流程图，尤其示出了从摄像图像提取无彩色区域进行白平衡校正的处理步骤。
在图22中，从无彩色区域提取部423(图16)获取物体颜色为无彩色的“无彩色区域”(表示无彩色区域的无彩色区域信息426)(步骤S100)。
接着，数码相机2对与对应于提取了无彩色区域的闪光发射图像的场景相同的场景实施主曝光，获取“主曝光的摄像信号”(步骤S102)。主曝光的摄像可以是非闪光发射的摄像或闪光发射的摄像中的任一摄像。并且，也可以省略步骤S102的主曝光的摄像动作，将与提取了无彩色区域的闪光发射图像对应的摄像信号获取为“主曝光的摄像信号”。
接着，摄像信号提取部430(图21)提取“主曝光的摄像信号”中的无彩色区域的摄像信号，将所提取的摄像信号所表示的颜色设为“光源色”(步骤S104)。
WB增益获取部432获取将所提取的摄像信号所表示的“光源色”消除的(将光源色所表示的颜色信号设为灰色的颜色信号)AWB增益(步骤S106)。另外，在进行使光源种类的色泽反映的白平衡校正的情况下，优选代替灰色的颜色信号，将如下坐标所表示的颜色信号用作目标的颜色信号，计算AWB增益，该坐标从R/G轴、B/G轴的颜色空间上的灰色的颜色信号的坐标(1，1)朝向表示无彩色区域的颜色的颜色信号(表示光源种类的颜色的颜色信号)的坐标稍微偏离。
接着，WB校正部434利用在步骤S106中获取的“AWB增益”对在步骤S102中获取的“主曝光的摄像信号”进行校正(步骤S108)。
由此，能够将物体颜色为无彩色的被摄体像作为无彩色的被摄体像进行拍摄(白平衡校正)。
[第8实施方式]
图23是与表示本发明的第8实施方式的图像处理装置对应的图像处理部的框图，尤其示出了无彩色区域提取部的另一实施方式。
在图23中，被摄体亮度检测部440检测被摄体的明度(被摄体亮度)，能够使用AE检测部38(图3)。该被摄体亮度检测部440对在无彩色区域的提取中使用的摄像信号的获取(拍摄)时的被摄体亮度进行检测。
控制部442按照通过被摄体亮度检测部440检测出的被摄体亮度输出使无彩色区域提取部423A有效/无效的使能信号，只有在检测出的被摄体亮度低于阈值时，输出使无彩色区域提取部423A有效(进行动作)的使能信号。在此，作为阈值，能够设为进行在黑暗的地方自动发射闪光的低亮度自动发射时的亮度值的最大值、或进行日光闪光(还称作“白天闪光”)摄影时的被摄体亮度的最小值。
无彩色区域提取部423A输入示出表示闪光发射图像的摄像信号的每一个区域的颜色的颜色信号Color1～n、表示闪光的颜色的颜色信息424以及来自控制部442的使能信号，只有在输入了使无彩色区域提取部423A进行动作的使能信号时，根据颜色信号Color1～n和表示闪光的颜色的颜色信息424提取具有与闪光发射的颜色相同的颜色的区域(area)作为无彩色区域。相反，无彩色区域提取部423A在被摄体亮度高且从控制部442输入了使无彩色区域提取部423A不进行动作的使能信号时，不进行无彩色区域的提取处理。
在被摄体亮度过高的情况下，闪光发射图像强烈地受到环境光的影响，无法高精度地提取无彩色区域。因此，只有在被摄体亮度低于阈值时，进行无彩色区域的提取，在被摄体亮度高于阈值时，不进行无彩色区域的提取。
[第9实施方式]
图24是与表示本发明的第9实施方式的图像处理装置对应的图像处理部的主要部分框图。
在图24所示的第9实施方式中，判别闪光是否到达被摄体，只有在判别为闪光到达被摄体时，通过无彩色区域提取部423B执行无彩色区域的提取，若判别为闪光未到达被摄体，则进行通常的白平衡校正。
在图24中，判别部444判别从闪光发射部5发射的闪光是否到达被摄体。就该判别而言，求出被摄体距离，对该被摄体距离与根据闪光发射部5的闪光指数、闪光摄影时的F值以及ISO灵敏度求出的闪光到达距离进行比较，在被摄体距离超过闪光到达距离的情况下，判别为闪光未到达被摄体。另外，能够根据通过AF处理移动至对焦位置的透镜(聚焦透镜)的位置求出被摄体距离。并且，能够另外设置进行三角测距等的测距部，使用通过测距部测距的被摄体距离。
控制部446使无彩色区域提取部423B以及WB校正部448中的任一个进行动作，若从判别部444输入闪光已到达被摄体的判别结果，则使无彩色区域提取部423B进行动作，若从判别部444输入闪光未到达被摄体的判别结果，则使WB校正部448进行动作。
若无彩色区域提取部423B被控制部446设定为进行动作，则根据颜色信号Color1～n和表示闪光的颜色的颜色信息424提取具有与闪光发射的颜色相同的颜色的区域(area)作为无彩色区域。
另一方面，若WB校正部448被控制部446设定为进行动作，则根据白平衡校正之前的摄像信号确定AWB增益，将白平衡校正之前的摄像信号乘以已确定的AWB增益，由此进行白平衡校正。在此，作为AWB增益的确定方法，可以考虑如下等各种公知的方法：根据白平衡校正之前的摄像信号求出RGB信号的比，根据所求出的比确定光源种类，从按照每一个光源种类预先存储有适当的AWB增益的存储部读出与所确定的光源种类对应的AWB增益的方法；以及以白平衡校正之后的RGB信号的比成为1:1:1的方式确定AWB增益的方法。
另外，判别部444根据被摄体距离和闪光到达距离判别闪光是否到达被摄体，但并不限定于此，也可以通过闪光发射图像与非闪光发射图像的差分图像的亮度值是否为为了判别闪光是否到达被摄体的而设定的阈值以上来进行判别。作为此时的阈值，能够使用在被摄体位于最大的闪光到达距离时获得的差分图像的亮度值。
并且，在上述第1实施方式至第9实施方式中，对在数码相机中实施作为本发明的范围的各种图像处理的例子进行了说明，但是也可以由以与数码相机不同的计算机或服务器等为代表的其他装置实施这些这些处理的一部分或全部。
例如，在计算机中加工图像数据时，可以向设置于计算机的图像处理装置输入表示闪光发射图像和非闪光发射图像等的图像数据，对所输入的图像数据进行使用这些图像数据的图像处理。并且，在服务器具备图像处理装置的情况下，例如可以从数码相机或计算机向服务器发送表示闪光发射图像和非闪光发射图像等的图像数据，在服务器的图像处理装置中对已接收的图像数据进行使用这些图像数据的图像处理，向发送源发送、提供图像处理后的图像数据。
并且，能够应用本发明的方式并不限定于数码相机，除了能够应用于以摄像为主要功能的相机类以外，还能够应用于除了具备摄像功能之外还具有摄像以外的其他功能(通话功能、通信功能、其他计算机功能)的移动设备类。作为能够应用本发明的另一方式，例如可以举出具有相机功能的移动电话或智能手机、PDA(Personal DigitalAssistants)、便携式游戏机。以下，对能够应用本发明的智能手机的一例进行说明。
＜智能手机的结构＞
图25是表示作为摄像装置的实施方式的智能手机500的外观的图。
图25所示的智能手机500具有平板状的框体502，且在框体502的一个面具备由作为显示部的显示面板521、作为输入部的操作面板522一体构成的显示输入部520。并且，框体502具备扬声器531、麦克风532、操作部540以及相机部541。另外，框体502的结构并不限定于此，例如还能够采用显示部和输入部独立的结构，或者采用具有折叠结构或滑动机构的结构。
图26是表示图25所示的智能手机500的结构的框图。如图26所示，作为智能手机500的主要构成要件，具备无线通信部510、显示输入部520、通话部530、操作部540、相机部541、存储部550、外部输入输出部560、GPS(Global Positioning System)接收部570、动作传感器部580、电源部590以及主控制部501。并且，作为智能手机500的主要功能，具备经由基站装置BS和移动通信网NW进行移动无线通信的无线通信功能。
无线通信部510按照主控制部501的指示对容纳于移动通信网NW的基站装置BS进行无线通信。使用该无线通信进行语音数据、图像数据等的各种文件数据、电子邮件数据等的收发以及Web数据或流数据等的接收。
显示输入部520是所谓的触控面板，其通过主控制部501的控制来显示图像(静止画以及动画)或文字信息等，并以视觉形式向用户传递信息，并且检测用户对所显示的信息进行的操作，具备显示面板521和操作面板522。在欣赏所生成的3D图像时，优选显示面板521是3D显示面板。
显示面板521将LCD(Liquid Crystal Display)、OELD(Organic Electro-Luminescence Display)等用作显示设备。
操作面板522是将显示于显示面板521的显示面上的图像以能够辨认的方式载置且检测由用户的手指或尖笔操作的一个或多个坐标的设备。若通过用户的手指或尖笔操作该设备，则将由操作而产生的检测信号输出至主控制部501。接着，主控制部501根据所接收的检测信号检测显示面板521上的操作位置(坐标)。
如图25所示，智能手机500的显示面板521和操作面板522一体地构成了显示输入部520，但是成为如操作面板522完全覆盖显示面板521的配置。在采用该配置的情况下，操作面板522对显示面板521以外的区域也可以具备检测用户操作的功能。换言之，操作面板522也可以具备如下检测区域：对与显示面板521重叠的重叠部分的检测区域(以下，称作显示区域)；以及对除此以外的与显示面板521不重叠的外缘部分的检测区域(以下，称作非显示区域)。
另外，虽然可以使显示区域的大小和显示面板521的大小完全一致，但是不必一定使两者一致。并且，操作面板522也可以具备外缘部分和除此以外的内侧部分这两个感应区域。而且，外缘部分的宽度根据框体502的大小等适当地设计。另外，作为在操作面板522中采用的位置检测方式，可以举出矩阵开关方式、电阻膜方式、表面弹性波方式、红外线方式、电磁感应方式、静电电容方式等，也能够采用任一方式。
通话部530具备扬声器531和麦克风532，其将通过麦克风532输入的用户的语音转换成可由主控制部501处理的语音数据并输出至主控制部501，或者将通过无线通信部510或外部输入输出部560接收的语音数据进行解码并从扬声器531输出。并且，如图25所示，例如能够将扬声器531以及麦克风532搭载于与设置有显示输入部520的面相同的面。
操作部540为使用按键开关等的硬键，其接收来自用户的指示。例如，操作部540是如下按键式开关：搭载于智能手机500的框体502的显示部的下部、下侧面，当用手指等按下时开启，当拿开手指时，通过弹簧等的复原力成为关闭状态。
存储部550存储主控制部501的控制程序或控制数据、将通信对象的名称和电话号码等建立对应关联的地址数据、所收发的电子邮件的数据、通过Web浏览下载的Web数据或下载的内容数据，并且暂时存储流数据等。并且，存储部550由智能手机内置的内部存储部551和具有拆装自如的外部存储器插槽的外部存储部552构成。另外，构成存储部550的各个内部存储部551和外部存储部552利用闪存器类型(flash memory type)、硬盘类型(harddisk type)、微型多媒体卡类型(multimedia card micro type)、卡类型的存储器(例如，Micro SD(注册商标)存储器等)、RAM(Random Access Memory)、ROM(Read Only Memory)等储存介质来实现。
外部输入输出部560发挥与连结于智能手机500的所有外部设备的接口的作用，用于通过通信等(例如，通用串行总线(USB)、IEEE1394等)或网络(例如，互联网、无线LAN、蓝牙(Bluetooth)(注册商标)、RFID(Radio Frequency Identification)、红外线通信(Infrared Data Association：IrDA)(注册商标)、UWB(Ultra Wideband)(注册商标)、紫蜂(ZigBee)(注册商标)等)直接或间接地与其他外部设备连接。
作为与智能手机500连结的外部设备，例如有如下：有线/无线头戴式耳机、有线/无线外部充电器、有线/无线数据端口、经由卡插槽连接的存储卡(Memory card)或SIM(Subscriber Identity Module)/UIM(User Identity Module)卡、经由音频/视频I/O(Input/Output)端子连接的外部音频/视频设备、无线连接的外部音频/视频设备、有线/无线连接的智能手机、有线/无线连接的个人计算机、有线/无线连接的PDA、有线/无线连接的耳机等。外部输入输出部能够将从这种外部设备输送来的数据传递给智能手机500的内部的各构成要件，或者使智能手机500的内部的数据输送至外部设备。
GPS接收部570按照主控制部501的指示接收从GPS卫星ST1～STn发送的GPS信号，执行基于所接收的多个GPS信号的测位运算处理，检测由该智能手机500的纬度、经度、高度构成的位置。GPS接收部570在能够从无线通信部510或外部输入输出部560(例如，无线LAN)获取位置信息时，还能够利用该位置信息检测位置。
动作传感器部580例如具备三轴加速度传感器等，按照主控制部501的指示检测智能手机500的物理移动。通过检测智能手机500的物理移动，可以检测智能手机500的移动方向或加速度。该检测结果被输出至主控制部501。
电源部590按照主控制部501的指示向智能手机500的各部供给蓄存于电池(未图示)的电力。
主控制部501具备微处理器，按照存储部550所存储的控制程序或控制数据动作，集中控制智能手机500的各部。并且，主控制部501为了通过无线通信部510进行语音通信或数据通信，具备控制通信系统的各部的移动通信控制功能和应用处理功能。
应用处理功能通过由主控制部501按照存储部550所存储的应用软件动作来实现。作为应用处理功能，例如有控制外部输入输出部560而与对象设备进行数据通信的红外线通信功能或进行电子邮件的收发的电子邮件功能、阅览Web的Web浏览功能等。
并且，主控制部501具备根据接收数据或所下载的流数据等图像数据(静止画或动画数据)将影像显示于显示输入部520等的图像处理功能。图像处理功能是指主控制部501对上述图像数据进行解码并对该解码结果实施图像处理而将图像显示于显示输入部520的功能。
而且，主控制部501执行对显示面板521的显示控制以及检测用户通过操作部540、操作面板522进行的操作的操作检测控制。
通过显示控制的执行，主控制部501显示用于启动应用软件的图标或滚动条等软键，或者显示用于制作电子邮件的窗口。另外，滚动条是指针对无法完全收纳于显示面板521的显示区域的大图像等，用于接收使图像的显示部分移动的指示的软键。
并且，通过操作检测控制的执行，主控制部501检测用户通过操作部540进行的操作，或者通过操作面板522接收对上述图标的操作或对上述窗口的输入栏的字符串的输入，或者接收通过滚动条的显示图像的滚动要求。
而且，通过操作检测控制的执行，主控制部501具备如下触控面板控制功能：判定对操作面板522的操作位置是与显示面板521重叠的重叠部分(显示区域)，还是除此以外的与显示面板521不重叠的外缘部分(非显示区域)，从而对操作面板522的感应区域或软键的显示位置进行控制。
并且，主控制部501还能够检测对操作面板522的手势操作，并根据检测出的手势操作执行预先设定的功能。手势操作并不是指以往单纯的触摸操作，而是指通过手指等描绘轨迹或同时指定多个位置，或者组合这些动作，从多个位置对至少一个描绘出轨迹的操作。
相机部541为使用CMOS(Complementary Metal Oxide Semiconductor)或CCD(Charge-Coupled Device)等成像元件进行电子拍摄的数码相机。能够将前述的数码相机2应用于该相机部541。
并且，相机部541能够通过主控制部501的控制将通过摄影获得的图像数据例如转换为JPEG(Joint Photographic Experts Group)等压缩的图像数据，并记录于存储部550，或者通过外部输入输出部560或无线通信部510输出。如图25所示，在智能手机500中，相机部541搭载于与显示输入部520相同的面，但是相机部541的搭载位置并不限于此，可以搭载于显示输入部520的背面，或者也可以搭载多个相机部541。另外，在搭载多个相机部541的情况下，还能够替换供摄影的相机部541而单独进行拍摄，或者同时使用多个相机部541进行拍摄。
并且，相机部541能够用于智能手机500的各种功能。例如，能够在显示面板521显示由相机部541获取的图像，或者将相机部541的图像用作操作面板522的操作输入的一种。并且，在GPS接收部570检测位置时，还能够参照来自相机部541的图像检测位置。而且，还能够参照来自相机部541的图像，不使用三轴加速度传感器，或者并用三轴加速度传感器，来判断智能手机500的相机部541的光轴方向或当前的使用环境。当然，还能够在应用软件内利用来自相机部541的图像。
[其他]
本发明包含通过安装于通用的计算机使该计算机作为图像处理装置发挥功能的图像处理程序、记录有该图像处理程序的计算机可读取的非暂时性记录介质以及安装有图像处理程序的计算机(图像处理装置)。
在为作为图像处理装置发挥功能的计算机的情况下，经由数码相机、存储卡或通信线路获取表示闪光发射图像、非闪光发射图像等的图像处理之前的RAW数据。
并且，本发明并不限定于上述实施方式，在不脱离本发明的精神的范围内，能够进行各种变形，这是不言而喻的。
符号说明
2-数码相机，4-透镜镜筒，5-闪光发射部，6-快门按钮，7-电源开关，8-显示部，9-操作部，10-外部存储器，12-透镜部，21-成像元件，24-主存储器，25-系统控制部，26-快门驱动部，27-透镜驱动部，30-控制存储器，31、311、312、411、412-图像处理部，36-用户接口，321-第1图像获取部，322-第2图像获取部，323-第3图像获取部，324-闪光用WB增益，325、422-颜色信号获取部，326、326A、326B-第1WB增益计算部，327-第1WB校正部，330、330A、330B-第2WB增益计算部，332-第2WB校正部，333、333A、444-判别部，334-彩度检测部，335、442、446-控制部，336-加权平均计算部，337、434、448-WB校正部，338-亮度计算部，421-图像获取部，423、423A，423B-无彩色区域提取部，424-闪光的颜色信息，426-无彩色区域信息，430-摄像信号提取部，432-WB增益获取部，440-被摄体亮度检测部，500-智能手机，541-相机部。

Claims (24)

1.一种图像处理装置，其具备：
第1图像获取部，其分别获取第1摄像信号和第2摄像信号，所述第1摄像信号表示发射闪光来拍摄的闪光发射图像，所述第2摄像信号表示不发射闪光而拍摄的非闪光发射图像；
第2图像获取部，其获取第3摄像信号，所述第3摄像信号表示所述获取的第1摄像信号与第2摄像信号的差分；
第3图像获取部，其获取第4摄像信号，所述第4摄像信号将所述获取的第3摄像信号乘以闪光用白平衡增益而得，所述闪光用白平衡增益去除了由于所述闪光的颜色导致的影响；
颜色信号获取部，其根据所述获取的第4摄像信号获取表示摄像画面内的各区域的第1颜色的颜色信号；以及
第1白平衡增益计算部，其按照每一个区域计算白平衡增益，所述白平衡增益将表示实施主曝光的图像的摄像信号的各区域中的第2颜色的颜色信号校正为表示相同区域的所述第1颜色的颜色信号。
2.根据权利要求1所述的图像处理装置，
所述图像处理装置具备白平衡校正部，所述白平衡校正部根据通过所述第1白平衡增益计算部计算出的每一个区域的白平衡增益，按照每一个区域对所述实施主曝光的图像的摄像信号进行白平衡校正。
3.根据权利要求1所述的图像处理装置，
所述图像处理装置具备第2白平衡增益计算部，所述第2白平衡增益计算部根据通过所述第1白平衡增益计算部计算出的每一个区域的白平衡增益计算相对于整个区域的白平衡增益。
4.根据权利要求3所述的图像处理装置，其中，
所述第2白平衡增益计算部对通过所述第1白平衡增益计算部计算出的每一个区域的白平衡增益进行加权平均来计算相对于整个区域的白平衡增益。
5.根据权利要求4所述的图像处理装置，其中，
所述第2白平衡增益计算部在对每一个区域的白平衡增益进行加权平均时，按照通过所述颜色信号获取部获取的颜色信号所表示的各区域的第1颜色的彩度，越是彩度低的颜色的区域，越增高权重。
6.根据权利要求4或5所述的图像处理装置，
所述图像处理装置具备亮度计算部，所述亮度计算部根据所述第2图像获取部所获取的第3摄像信号分别计算摄像画面内的各区域的亮度值，
所述第2白平衡增益计算部在对每一个区域的白平衡增益进行加权平均时，根据所述亮度计算部计算出的每一个区域的亮度值降低亮度值低的区域的权重。
7.根据权利要求4至6中任一项所述的图像处理装置，
所述图像处理装置具备亮度计算部，所述亮度计算部根据所述第1图像获取部所获取的第1摄像信号或所述第2图像获取部所获取的第3摄像信号分别计算摄像画面内的各区域的亮度值，
所述第2白平衡增益计算部在对每一个区域的白平衡增益进行加权平均时，根据所述亮度计算部计算出的每一个区域的亮度值降低亮度值比判别所述第1摄像信号的饱和的阈值高的区域的权重。
8.根据权利要求3至7中任一项所述的图像处理装置，
所述图像处理装置具备白平衡校正部，所述白平衡校正部根据通过所述第2白平衡增益计算部计算出的相对于整个区域的白平衡增益对所述实施主曝光的图像的摄像信号进行白平衡校正。
9.根据权利要求1至8中任一项所述的图像处理装置，其具备：
判别部，其判别闪光是否到达被摄体；以及
控制部，其只有在通过所述判别部判别为闪光已到达被摄体时，使所述第1白平衡增益计算部执行每一个区域的白平衡增益的计算。
10.根据权利要求1至8中任一项所述的图像处理装置，
所述图像处理装置具备判别部，所述判别部根据所述第2图像获取部所获取的第3摄像信号按照每一个区域判别闪光是否到达，
所述第1白平衡增益计算部只有对通过所述判别部判别为闪光已到达的区域计算每一个区域的白平衡增益。
11.一种摄像装置，其具备：
闪光发射部；
摄像部，其对从所述闪光发射部接收闪光发射的闪光发射图像以及未接收闪光发射的非闪光发射图像进行拍摄，并输出表示所述闪光发射图像以及非闪光发射图像的摄像信号；以及
权利要求1至10中任一项所述的图像处理装置，
所述第1图像获取部将从所述摄像部输出的表示所述闪光发射图像以及非闪光发射图像的摄像信号分别作为所述第1摄像信号以及所述第2摄像信号获取。
12.一种图像处理方法，其包括如下步骤：
分别获取第1摄像信号和第2摄像信号，所述第1摄像信号表示发射闪光来拍摄的闪光发射图像，所述第2摄像信号表示不发射闪光而拍摄的非闪光发射图像；
获取第3摄像信号，所述第3摄像信号表示所述获取的所述第1摄像信号与所述第2摄像信号的差分；
获取第4摄像信号，所述第4摄像信号将所述获取的第3摄像信号乘以闪光用白平衡增益而得，所述闪光用白平衡增益去除了由于所述闪光的颜色导致的影响；
根据所述获取的第4摄像信号获取表示摄像画面内的各区域的第1颜色的颜色信号；以及
按照每一个区域计算白平衡增益，所述白平衡增益将表示实施主曝光的图像的摄像信号的各区域中的第2颜色的颜色信号校正为表示相同区域的所述第1颜色的颜色信号。
13.一种图像处理程序，其使计算机执行如下步骤：
分别获取第1摄像信号和第2摄像信号，所述第1摄像信号表示发射闪光来拍摄的闪光发射图像，所述第2摄像信号表示不发射闪光而拍摄的非闪光发射图像；
获取第3摄像信号，所述第3摄像信号表示所述获取的所述第1摄像信号与所述第2摄像信号的差分；
获取第4摄像信号，所述第4摄像信号将所述获取的第3摄像信号乘以闪光用白平衡增益而得，所述闪光用白平衡增益去除了由于所述闪光的颜色导致的影响；
根据所述获取的第4摄像信号获取表示摄像画面内的各区域的第1颜色的颜色信号；以及
按照每一个区域计算白平衡增益，所述白平衡增益将表示实施主曝光的图像的摄像信号的各区域中的第2颜色的颜色信号校正为表示相同区域的所述第1颜色的颜色信号。
14.一种图像处理装置，其具备：
图像获取部，其获取摄像信号，所述摄像信号表示发射闪光来拍摄的闪光发射图像；以及
无彩色区域提取部，其根据所述获取的摄像信号和表示所述闪光的颜色的颜色信号从所述摄像信号中提取颜色与所述闪光的颜色相同的区域作为无彩色区域。
15.根据权利要求14所述的图像处理装置，其中，
所述发射闪光来拍摄的闪光发射图像是以将曝光时间设为所述闪光的发射时间以下的快门速度拍摄的图像。
16.根据权利要求14或15所述的图像处理装置，其中，
在将2以上的整数设为n时，所述图像获取部从表示依次发射n种发光量的闪光来拍摄的n张闪光发射图像的第1摄像信号中获取第n摄像信号，
所述无彩色区域提取部关于所述第1摄像信号至第n摄像信号分别提取限制在特定的亮度范围内且颜色与所述闪光的颜色相同的区域，并将所提取的区域的满足OR条件的区域提取为无彩色区域，所述特定的亮度范围去除了高亮度部分和低亮度部分。
17.根据权利要求14或15所述的图像处理装置，其中，
在将2以上的整数设为n时，所述图像获取部从表示依次发射n种颜色的闪光来拍摄的n张闪光发射图像的第1摄像信号中获取第n摄像信号，
所述无彩色区域提取部关于所述第1摄像信号至第n摄像信号分别提取颜色与所述n种颜色的闪光的颜色相同的区域，并将所提取的区域的满足AND条件的区域提取为无彩色区域。
18.根据权利要求14至17中任一项所述的图像处理装置，其具备：
白平衡增益获取部，其提取与通过所述无彩色区域提取部从实施主曝光的图像的摄像信号中提取的无彩色区域对应的区域，并将所提取的区域的颜色设为光源色，获取与该光源色对应的白平衡增益；以及
白平衡校正部，其根据所述获取的白平衡增益对所述实施主曝光的图像的摄像信号进行白平衡校正。
19.根据权利要求14至18中任一项所述的图像处理装置，其具备：
判别部，其判别闪光是否到达被摄体；以及
控制部，其只有在通过所述判别部判别为闪光已到达被摄体时，使所述无彩色区域提取部执行无彩色区域的提取。
20.一种摄像装置，其具备：
闪光发射部；
摄像部，其从所述闪光发射部发射或非发射闪光来拍摄闪光发射图像或非闪光发射图像，并输出表示所述闪光发射图像或非闪光发射图像的摄像信号；以及
权利要求14至19中任一项所述的图像处理装置，
所述图像获取部获取从所述摄像部输出的表示所述闪光发射图像的摄像信号。
21.一种图像处理方法，其包括如下步骤：
获取摄像信号，所述摄像信号表示发射闪光来拍摄的闪光发射图像；以及
根据所述获取的摄像信号和表示所述闪光的颜色的颜色信号，从所述摄像信号中提取颜色与所述闪光的颜色相同的区域作为无彩色区域。
22.一种图像处理程序，其使计算机执行如下步骤：
获取摄像信号，所述摄像信号表示发射闪光来拍摄的闪光发射图像；以及
根据所述获取的摄像信号和表示所述闪光的颜色的颜色信号，从所述摄像信号中提取颜色与所述闪光的颜色相同的区域作为无彩色区域。
23.一种计算机可读取的非暂时性记录介质，其记录有权利要求13所述的图像处理程序。
24.一种计算机可读取的非暂时性记录介质，其记录有权利要求22所述的图像处理程序。
CN201580033987.XA 2014-07-08 2015-04-27 图像处理装置、摄像装置、图像处理方法以及图像处理程序 Active CN106797453B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2014140429 2014-07-08
JP2014-140429 2014-07-08
PCT/JP2015/062695 WO2016006304A1 (ja) 2014-07-08 2015-04-27 画像処理装置、撮像装置、画像処理方法及び画像処理プログラム

Publications (2)

Publication Number Publication Date
CN106797453A true CN106797453A (zh) 2017-05-31
CN106797453B CN106797453B (zh) 2018-12-07

Family

ID=55063949

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201580033987.XA Active CN106797453B (zh) 2014-07-08 2015-04-27 图像处理装置、摄像装置、图像处理方法以及图像处理程序

Country Status (4)

Country Link
US (1) US10027938B2 (zh)
JP (1) JP6302554B2 (zh)
CN (1) CN106797453B (zh)
WO (1) WO2016006304A1 (zh)

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107438162A (zh) * 2017-07-31 2017-12-05 努比亚技术有限公司 一种拍摄参数的调整方法及装置
CN107920242A (zh) * 2017-12-28 2018-04-17 努比亚技术有限公司 一种自动白平衡的优化方法、终端及计算机可读存储介质
CN108024062A (zh) * 2017-12-13 2018-05-11 联想(北京)有限公司 图像处理方法及图像处理装置
CN108093233A (zh) * 2017-12-28 2018-05-29 努比亚技术有限公司 一种图像处理方法、终端及计算机可读存储介质
CN109151427A (zh) * 2017-06-28 2019-01-04 佳能株式会社 信息处理装置、信息处理系统、信息处理方法及存储介质
CN109922325A (zh) * 2017-12-01 2019-06-21 佳能株式会社 图像处理设备及其控制方法
CN110290371A (zh) * 2018-03-19 2019-09-27 株式会社东芝 图像信号处理装置及图像处理电路
CN111868624A (zh) * 2018-03-30 2020-10-30 富士胶片株式会社 图像曝光装置、图像曝光方法及程序

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6274931B2 (ja) * 2014-03-19 2018-02-07 オリンパス株式会社 マルチエリアホワイトバランス制御装置、マルチエリアホワイトバランス制御方法、マルチエリアホワイトバランス制御プログラム、マルチエリアホワイトバランス制御プログラムを記録したコンピュータ、マルチエリアホワイトバランス画像処理装置、マルチエリアホワイトバランス画像処理方法、マルチエリアホワイトバランス画像処理プログラム、マルチエリアホワイトバランス画像処理プログラムを記録したコンピュータ及びマルチエリアホワイトバランス画像処理装置を備えた撮像装置
JP6563751B2 (ja) * 2015-09-09 2019-08-21 三星電子株式会社Ｓａｍｓｕｎｇ Ｅｌｅｃｔｒｏｎｉｃｓ Ｃｏ．，Ｌｔｄ． 画像処理装置及び画像処理方法
JP6533336B2 (ja) * 2016-03-31 2019-06-19 富士フイルム株式会社 ホワイトバランス調整装置及びその作動方法並びに作動プログラム
US10264167B2 (en) * 2016-08-10 2019-04-16 Panasonic Intellectual Property Management Co., Ltd. Imaging apparatus
JP6873679B2 (ja) * 2016-12-14 2021-05-19 キヤノン株式会社 撮像装置、撮像装置の制御方法及びプログラム
JP6778602B2 (ja) * 2016-12-14 2020-11-04 三星電子株式会社Ｓａｍｓｕｎｇ Ｅｌｅｃｔｒｏｎｉｃｓ Ｃｏ．，Ｌｔｄ． 撮像装置、画像データ生成方法および画像データ生成プログラム
JP7037346B2 (ja) * 2017-03-10 2022-03-16 キヤノン株式会社 画像処理装置及び画像処理方法、プログラム、記憶媒体
EP3847613A1 (en) * 2018-09-09 2021-07-14 Viewnetic Ltd. Inspection system for use in monitoring plants in plant growth areas
KR20230068826A (ko) * 2021-11-11 2023-05-18 에스케이하이닉스 주식회사 이미지 센싱 시스템

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1503575A (zh) * 2002-11-19 2004-06-09 奥林巴斯株式会社 白色平衡处理装置、白色平衡处理方法及数字照相机
US20100194919A1 (en) * 2008-05-14 2010-08-05 Yasunori Ishii Imaging apparatus and imaging method
CN102065310A (zh) * 2009-11-17 2011-05-18 卡西欧计算机株式会社 摄像装置和摄像处理方法
CN102377943A (zh) * 2010-08-18 2012-03-14 卡西欧计算机株式会社 摄像装置以及摄像方法

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001008224A (ja) 1999-06-23 2001-01-12 Minolta Co Ltd 画像保存装置、画像再生装置、画像保存方法、画像再生方法および記録媒体
JP3551854B2 (ja) * 1999-09-01 2004-08-11 ミノルタ株式会社 デジタル撮影装置、画像データ処理装置、デジタル撮影方法および記録媒体
US7394488B2 (en) * 2003-10-30 2008-07-01 Hewlett-Packard Development Company, L.P. System and method for dual white balance compensation of images
US7423674B2 (en) * 2003-12-08 2008-09-09 Nikon Corporation Electronic camera having color adjustment function and program therefor
JP2006042168A (ja) * 2004-07-29 2006-02-09 Canon Inc 撮像装置及びホワイトバランス制御値算出方法
JP4714516B2 (ja) * 2005-07-08 2011-06-29 Ｈｏｙａ株式会社 撮像装置
JP5064312B2 (ja) * 2007-08-06 2012-10-31 パナソニック株式会社 ホワイトバランス調整装置、撮像装置、ホワイトバランス調整方法、プログラムおよび集積回路
US8040391B2 (en) * 2007-08-06 2011-10-18 Panasonic Corporation White balance adjustment device, image capture device, white balance adjustment method, storage medium, and integrated circuit
JP5214485B2 (ja) * 2009-02-12 2013-06-19 オリンパス株式会社 画像撮像装置、画像処理方法、および画像処理プログラム
JP5225137B2 (ja) * 2009-02-16 2013-07-03 キヤノン株式会社 撮像装置、画像処理方法及びプログラム
US8717454B2 (en) * 2009-12-24 2014-05-06 Samsung Electronics Co., Ltd. Image pickup apparatus and image pickup method for adjusting white balance to account for flash and external light sources
CN102469243B (zh) * 2010-11-04 2014-12-17 卡西欧计算机株式会社 能白平衡调整的摄像装置
US9420197B2 (en) * 2012-12-26 2016-08-16 Samsung Electronics Co., Ltd. Imaging device, imaging method and imaging program
JP5849150B1 (ja) * 2014-12-25 2016-01-27 アキュートロジック株式会社 撮像方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1503575A (zh) * 2002-11-19 2004-06-09 奥林巴斯株式会社 白色平衡处理装置、白色平衡处理方法及数字照相机
US20100194919A1 (en) * 2008-05-14 2010-08-05 Yasunori Ishii Imaging apparatus and imaging method
CN102065310A (zh) * 2009-11-17 2011-05-18 卡西欧计算机株式会社 摄像装置和摄像处理方法
CN102377943A (zh) * 2010-08-18 2012-03-14 卡西欧计算机株式会社 摄像装置以及摄像方法

Cited By (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109151427A (zh) * 2017-06-28 2019-01-04 佳能株式会社 信息处理装置、信息处理系统、信息处理方法及存储介质
US11943547B2 (en) 2017-06-28 2024-03-26 Canon Kabushiki Kaisha Information processing apparatus that illuminates a printed image during capture when embedded information is to be processed, information processing system, information processing method, and storage medium
US11533461B2 (en) 2017-06-28 2022-12-20 Canon Kabushiki Kaisha Information processing apparatus with a light that illuminates more actively while capturing a printed image when embedded additional information is to be processed, information processing system, information processing method, and storage medium
CN109151427B (zh) * 2017-06-28 2021-02-12 佳能株式会社 信息处理装置、信息处理系统、信息处理方法及存储介质
CN107438162B (zh) * 2017-07-31 2020-07-07 努比亚技术有限公司 一种拍摄参数的调整方法及装置
CN107438162A (zh) * 2017-07-31 2017-12-05 努比亚技术有限公司 一种拍摄参数的调整方法及装置
CN109922325A (zh) * 2017-12-01 2019-06-21 佳能株式会社 图像处理设备及其控制方法
CN109922325B (zh) * 2017-12-01 2021-11-16 佳能株式会社 图像处理设备及其控制方法和计算机可读存储介质
CN108024062A (zh) * 2017-12-13 2018-05-11 联想(北京)有限公司 图像处理方法及图像处理装置
CN107920242B (zh) * 2017-12-28 2019-08-16 努比亚技术有限公司 一种自动白平衡的优化方法、终端及计算机可读存储介质
CN108093233A (zh) * 2017-12-28 2018-05-29 努比亚技术有限公司 一种图像处理方法、终端及计算机可读存储介质
CN107920242A (zh) * 2017-12-28 2018-04-17 努比亚技术有限公司 一种自动白平衡的优化方法、终端及计算机可读存储介质
CN110290371A (zh) * 2018-03-19 2019-09-27 株式会社东芝 图像信号处理装置及图像处理电路
CN111868624A (zh) * 2018-03-30 2020-10-30 富士胶片株式会社 图像曝光装置、图像曝光方法及程序
CN111868624B (zh) * 2018-03-30 2022-04-26 富士胶片株式会社 图像曝光装置、图像曝光方法及记录介质
US11361412B2 (en) 2018-03-30 2022-06-14 Fujifilm Corporation Image exposure device, image exposure method, and program

Also Published As

Publication number Publication date
US10027938B2 (en) 2018-07-17
JPWO2016006304A1 (ja) 2017-04-27
CN106797453B (zh) 2018-12-07
JP6302554B2 (ja) 2018-03-28
WO2016006304A1 (ja) 2016-01-14
US20170094241A1 (en) 2017-03-30

Similar Documents

Publication Publication Date Title
CN106797453B (zh) 图像处理装置、摄像装置、图像处理方法以及图像处理程序
CN107431760B (zh) 摄像装置、摄像装置的图像处理方法以及存储介质
CN105609035B (zh) 图像显示装置及方法
CN101489051B (zh) 图像处理设备和图像处理方法以及摄像设备
JP6302555B2 (ja) 画像処理装置、撮像装置、画像処理方法及びプログラム
CN106664366B (zh) 图像处理装置、摄像装置以及图像处理方法
CN106134189B (zh) 图像处理装置、摄像装置、图像处理方法及程序
CN106165409B (zh) 图像处理装置、摄像装置、图像处理方法及程序
CN105009563B (zh) 复原滤波器生成装置和方法、图像处理装置、摄像装置、复原滤波器生成程序以及记录介质
CN106358030B (zh) 图像处理装置和图像处理方法
WO2016088293A1 (en) Imaging device, apparatus, and imaging method
CN105940673B (zh) 图像处理装置及图像处理方法
CN111095913B (zh) 图像处理装置和处理方法、摄像装置、摄像方法、存储介质
WO2019208155A1 (ja) 画像処理装置、方法、及びプログラム並びに撮像装置
JP4635201B2 (ja) 端末装置
CN117135293B (zh) 图像处理方法和电子设备
CN109845241A (zh) 摄像装置、摄像方法及程序
CN104144286A (zh) 拍摄装置和拍摄方法
CN110073656A (zh) 图像处理装置、摄像装置、图像处理方法及图像处理程序
CN116668838B (zh) 图像处理方法与电子设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant