JP2010226365A - ホワイトバランス処理装置、ホワイトバランス処理方法およびホワイトバランス処理プログラム - Google Patents
ホワイトバランス処理装置、ホワイトバランス処理方法およびホワイトバランス処理プログラム Download PDFInfo
- Publication number
- JP2010226365A JP2010226365A JP2009070665A JP2009070665A JP2010226365A JP 2010226365 A JP2010226365 A JP 2010226365A JP 2009070665 A JP2009070665 A JP 2009070665A JP 2009070665 A JP2009070665 A JP 2009070665A JP 2010226365 A JP2010226365 A JP 2010226365A
- Authority
- JP
- Japan
- Prior art keywords
- white balance
- image data
- determination range
- color space
- model
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Abstract
【課題】撮像画像に基づいた画像の色再現性を向上させることを課題とする。
【解決手段】撮像画像に基づいた生画像データD1に撮像機種を含む撮像条件情報I1が添付された生画像ファイルF1を取得し、前記撮像条件情報I1から前記撮像画像の撮像機種を特定し、特定した撮像機種に基づいて、該撮像機種に応じた色空間において、前記生画像ファイルF1に基づいた画像データD2のホワイトバランスを判定するためのホワイトバランス判定範囲R1を表す情報を取得し、取得した情報で表されるホワイトバランス判定範囲R1に含まれる前記画像データD2由来の色に基づいて前記画像データD2のホワイトバランスを調整する。
【選択図】図1
【解決手段】撮像画像に基づいた生画像データD1に撮像機種を含む撮像条件情報I1が添付された生画像ファイルF1を取得し、前記撮像条件情報I1から前記撮像画像の撮像機種を特定し、特定した撮像機種に基づいて、該撮像機種に応じた色空間において、前記生画像ファイルF1に基づいた画像データD2のホワイトバランスを判定するためのホワイトバランス判定範囲R1を表す情報を取得し、取得した情報で表されるホワイトバランス判定範囲R1に含まれる前記画像データD2由来の色に基づいて前記画像データD2のホワイトバランスを調整する。
【選択図】図1
Description
本発明は、撮像画像に基づいた画像データのホワイトバランスを調整する技術に関する。
デジタルスチルカメラ等の画像入力装置には、撮像画像を表すRAW画像データ(生画像データ)を生成し、撮像条件を表すヘッダー情報を添付して、RAW画像ファイルを生成するものがある。このRAW画像データに基づいた画像データに対して、ホワイトバランスを調整する処理が行われている。
特許文献1記載のホワイトバランス制御方法は、画像を複数のブロックに分割し、各ブロックの色信号を表す色空間座標をホワイトバランス判定空間座標に変換し、ホワイトバランス判定空間内に光源推定領域と高彩度判定領域とを設定し、光源推定領域におけるホワイトバランス判定空間座標の分布に基づいて光源の種類を推定した後、該推定された光源の種類と高彩度判定領域におけるホワイトバランス判定空間座標の分布とに基づいて光源の種類を決定し、決定された光源の種類に基づいてホワイトバランス制御情報を算出している。光源推定領域は、撮像機種とは無関係にR/G−B/G平面上で直線により区切られた領域とされている。高彩度判定領域は、撮像機種とは無関係にR/G−B/G平面上で矩形状の領域とされている。
特許文献2記載のホワイトバランス調整方法は、(B−G)−(R−G)平面上に白検出範囲を設定し、白検出範囲内にある画素を検出し、検出した画素の各色の画像データを色毎に積算し、得られる色毎の積算値に基づいて2色のゲイン値を算出し、ホワイトバランスを調整する。白検出範囲は、撮像機種とは無関係にB−G_min≦B−G≦B−G_maxかつR−G_min≦R−G≦R−G_maxを満たす矩形状の領域とされている。
特許文献3記載のホワイトバランス調整装置は、B/G−R/G平面上に白検出枠を設定し、この白検出枠を通過した信号Rw,Gw,Bwを積分し、積分された信号Rs,Gs,Bsからホワイトバランスのゲインを算出している。白検出枠のB/Gは、α以上β以下の範囲とされている。白検出枠のR/Bの下限は、α≦B/G≦γの場合にR+2B=εGを満たす直線とされ、γ<B/G≦βの場合に2R+B=2ηGを満たす直線とされている。白検出枠の上限は、α≦B/G≦δの場合にR+2B=ζGを満たす直線とされ、δ<B/G≦βの場合に2R+B=2θGを満たす直線とされている。白検出枠の範囲は、撮像機種とは無関係に設定されている。
画像入力装置で生成されるRAW画像データ及びデモザイク処理後の画像データは、撮像素子の特性等に応じて異なる機器依存色空間で表される。特許文献1〜3記載の技術は、撮像機種の違いが考慮されていないため、画像の色再現性が適切でないことがある。また、撮像機種に応じた機器依存色空間で画像データのホワイトバランスを判定するための空間を設定する場合、複数の線分で囲まれた領域を設定しても、画像の色再現性が適切でないことがある。
以上を鑑み、本発明は、撮像画像に基づいた画像の色再現性を向上させることを目的としている。
上記目的を達成するため、本発明は、撮像画像に基づいた生画像データに撮像機種を含む撮像条件情報が添付された生画像ファイルを取得し、前記撮像条件情報から前記撮像画像の撮像機種を特定し、特定した撮像機種に基づいて、該撮像機種に応じた色空間において、前記生画像ファイルに基づいた画像データのホワイトバランスを判定するためのホワイトバランス判定範囲を表す情報を取得し、取得した情報で表されるホワイトバランス判定範囲に含まれる前記画像データ由来の色に基づいて前記画像データのホワイトバランスを調整することを特徴とする。
すなわち、撮像機種に応じた色空間においてホワイトバランスを判定するための空間を表す情報が取得され、該情報で表されるホワイトバランス判定範囲に含まれる画像データ由来の色に基づいて画像データのホワイトバランスが調整される。これにより、撮像機種に応じて画像データのホワイトバランスが調整される。従って、本発明によると、撮像画像に基づいた画像の色再現性を向上させることができる。
すなわち、撮像機種に応じた色空間においてホワイトバランスを判定するための空間を表す情報が取得され、該情報で表されるホワイトバランス判定範囲に含まれる画像データ由来の色に基づいて画像データのホワイトバランスが調整される。これにより、撮像機種に応じて画像データのホワイトバランスが調整される。従って、本発明によると、撮像画像に基づいた画像の色再現性を向上させることができる。
ところで、上述したホワイトバランス調整は、画像入力装置で生成された画像データを取得したコンピューター(画像出力装置を含む)、画像入力装置自体、等で実行可能である。
生画像ファイルに基づいた画像データには、生画像データにデモザイク処理を行った画像データ、該画像データにγ(ガンマ)補正等の補正を行った画像データ、生画像データ、等が含まれる。
ホワイトバランス判定範囲は、撮像機種に応じた色空間に対応する空間であればよく、色空間が同じになる場合には異なる撮像機種で同じ空間とされてもよい。また、ホワイトバランス判定範囲は、撮像機種に応じた色空間毎に、撮像時の光源の条件等に応じて複数設けられてもよい。
画像データ由来の色には、ホワイトバランス判定範囲に含まれる色を有する画素の平均の色、画像を分割した領域のうちホワイトバランス判定範囲に含まれる色を有する領域の平均の色、各画素を輝度等の明るさに応じて区分した区分のうちホワイトバランス判定範囲に含まれる色を有する区分の平均の色、等が含まれる。
画像データ由来の色に基づいてホワイトバランスを調整することには、画像を分割した領域毎に画素の色情報を積算した色情報(平均した色情報を含む)に基づいた調整、輝度等の明るさに応じて区分された区分毎に画素の色情報を積算した色情報に基づいた調整、画素毎の色情報に基づいた調整、等が含まれる。
生画像ファイルに基づいた画像データには、生画像データにデモザイク処理を行った画像データ、該画像データにγ(ガンマ)補正等の補正を行った画像データ、生画像データ、等が含まれる。
ホワイトバランス判定範囲は、撮像機種に応じた色空間に対応する空間であればよく、色空間が同じになる場合には異なる撮像機種で同じ空間とされてもよい。また、ホワイトバランス判定範囲は、撮像機種に応じた色空間毎に、撮像時の光源の条件等に応じて複数設けられてもよい。
画像データ由来の色には、ホワイトバランス判定範囲に含まれる色を有する画素の平均の色、画像を分割した領域のうちホワイトバランス判定範囲に含まれる色を有する領域の平均の色、各画素を輝度等の明るさに応じて区分した区分のうちホワイトバランス判定範囲に含まれる色を有する区分の平均の色、等が含まれる。
画像データ由来の色に基づいてホワイトバランスを調整することには、画像を分割した領域毎に画素の色情報を積算した色情報(平均した色情報を含む)に基づいた調整、輝度等の明るさに応じて区分された区分毎に画素の色情報を積算した色情報に基づいた調整、画素毎の色情報に基づいた調整、等が含まれる。
ホワイトバランス判定範囲を表す情報の取得は、機種に依存しない共通色空間で画像のホワイトバランスを判定するための元ホワイトバランス判定範囲であって黒体放射軌跡に基づいた元ホワイトバランス判定範囲を表す情報を前記撮像機種に応じた色空間へ変換することによってもよい。この元ホワイトバランス判定範囲は、前記共通色空間上で黒体放射軌跡から一定距離内の空間とされていてもよい。これにより、画像の色再現性がさらに向上する。ここで、前記共通色空間は、UCS色度座標で表される空間であってもよい。UCS色度座標には、国際照明委員会(CIE)で規定されたCIE 1960 UCS色度座標、CIE 1976 UCS色度座標、が含まれる。また、黒体放射軌跡から一定距離内とされた元ホワイトバランス判定範囲を表す情報には、元ホワイトバランス判定範囲内の離散的な複数の点を表す座標の集合が含まれる。
また、前記共通色空間を前記撮像機種に応じた色空間へ変換するための変換手段を用いて前記元ホワイトバランス判定範囲を表す情報を前記撮像機種に応じた色空間へ変換し、前記変換手段を用いて、前記画像データを前記撮像機種に応じた色空間から機器独立色空間へ変換してもよい。これにより、機器独立色空間で表される画像データを効率よく生成することができる。
さらに、前記画像データのホワイトバランスを調整した後に調整後の画像データを前記撮像機種に応じた色空間から機器独立色空間へ変換してもよい。これにより、撮像機種に応じてホワイトバランス調整が行われた機器独立色空間の画像データを生成することができる。
上述した発明は、生画像ファイル取得手段と機種特定手段と判定範囲取得手段とホワイトバランス調整手段とを備えるホワイトバランス処理装置、該装置を備えるシステム、生画像ファイル取得工程と機種特定工程と判定範囲取得工程とホワイトバランス調整工程とを備えるホワイトバランス処理方法、生画像ファイル取得機能と機種特定機能と判定範囲取得機能とホワイトバランス調整機能とをコンピューターに実現させるホワイトバランス処理プログラム、該プログラムを記録したコンピューター読み取り可能な媒体、等に適用可能である。
(1)第一の実施形態:
図1に示すように、本発明の第一の実施形態に係るホワイトバランス処理装置1は、同図に示す各部U1〜U16を備えている。ホワイトバランス処理装置1は、RAW画像ファイル(生画像ファイル)F1を取得してRAW画像データ(生画像データ)D1の現像処理を行い、ホワイトバランスを調整した画像データD6を生成する。このホワイトバランス処理装置1は、例えば、図2に示すコンピューターシステムに実現される。
図1に示すように、本発明の第一の実施形態に係るホワイトバランス処理装置1は、同図に示す各部U1〜U16を備えている。ホワイトバランス処理装置1は、RAW画像ファイル(生画像ファイル)F1を取得してRAW画像データ(生画像データ)D1の現像処理を行い、ホワイトバランスを調整した画像データD6を生成する。このホワイトバランス処理装置1は、例えば、図2に示すコンピューターシステムに実現される。
図2に示すコンピューターシステムは、画像処理装置であるパーソナルコンピューター(PC)100と、画像入力装置であるデジタルスチルカメラ(DSC)200とから構成されている。本実施形態のホワイトバランス処理装置1はPC100であり、本実施形態のホワイトバランス処理方法はPC100で実施される。むろん、本発明のホワイトバランス処理装置は、DSCであってもよいし、PCとDSCの両方に含まれてもよく、互いに協働するPCとDSCとのシステムであってもよい。画像処理装置は、印刷装置、表示装置、等の画像出力装置を用いてもよいし、ネットワーク接続した複数のコンピューターを用いてもよい。画像入力装置は、ビデオカメラ等を用いてもよい。また、コンピューターシステムは、画像処理装置と画像入力装置とが一体化された装置を用いてもよい。
PC100では、CPU(Central Processing Unit)111、半導体メモリー112,113、記憶装置114、入力装置115、出力装置116、インターフェイス(I/F)117〜119、ディスクドライブ120、等がバス101に接続されて互いに情報を入出力可能とされている。CPU111は、ROM(Read Only Memory)112に書き込まれたプログラムに従ってRAM(Random Access Memory)113をワークエリアとして使用しながらPC全体の動作を制御する。
記憶装置114は、オペレーティングシステム(OS)、アプリケーションプログラム(APL)、機器独立RGB色空間と撮像機種に応じた機器依存RGB色空間とを変換するための色変換マトリクスMRGB、YUV色空間と機器独立RGB色空間とを変換するための色変換マトリクスMYUVRGB、CIE 1960 UCS色度座標で表される元ホワイトバランス判定範囲RU1を表す情報、各種閾値、等を記憶している。記憶装置114を構成するメモリーには、ハードディスク(磁気ディスク)、不揮発性半導体メモリー、等を用いることができる。
本実施形態のAPLには、ホワイトバランス処理装置の各部U1〜U8,U11〜U15に対応した部分を有するホワイトバランス処理プログラムが含まれている。むろん、OSにホワイトバランス処理プログラムが含まれてもよい。色変換マトリクスMRGBは、撮像機種毎に用意されている。色変換マトリクスMYUVRGBは、撮像機種に依存しない情報である。元ホワイトバランス判定範囲を表す情報は、画像を区分した区分毎の色情報をホワイトバランス調整に用いるか否かを判定するための空間をUCS色度座標で表す情報である。図4に示すように、元ホワイトバランス判定範囲RU1は、UCS色度座標上で色温度2800〜8000Kの範囲を含む黒体放射軌跡LU1に沿った領域とされている。元ホワイトバランス判定範囲RU1は、機器依存RGB色空間のR/G−B/G平面上に変換されて使用される。該R/G−B/G平面上のホワイトバランス判定範囲R1は、色温度2800〜8000Kの範囲を含む黒体放射軌跡L1に沿った領域とされる。
本実施形態のAPLには、ホワイトバランス処理装置の各部U1〜U8,U11〜U15に対応した部分を有するホワイトバランス処理プログラムが含まれている。むろん、OSにホワイトバランス処理プログラムが含まれてもよい。色変換マトリクスMRGBは、撮像機種毎に用意されている。色変換マトリクスMYUVRGBは、撮像機種に依存しない情報である。元ホワイトバランス判定範囲を表す情報は、画像を区分した区分毎の色情報をホワイトバランス調整に用いるか否かを判定するための空間をUCS色度座標で表す情報である。図4に示すように、元ホワイトバランス判定範囲RU1は、UCS色度座標上で色温度2800〜8000Kの範囲を含む黒体放射軌跡LU1に沿った領域とされている。元ホワイトバランス判定範囲RU1は、機器依存RGB色空間のR/G−B/G平面上に変換されて使用される。該R/G−B/G平面上のホワイトバランス判定範囲R1は、色温度2800〜8000Kの範囲を含む黒体放射軌跡L1に沿った領域とされる。
入力装置115は、キーボードやマウス(ポインティングデバイス)といった操作入力装置等で構成することができる。出力装置116は、ディスプレイやプリンターといった画像出力装置等で構成することができる。通信I/F117は、PC100をネットワーク接続するためのインターフェイスである。I/F118は、画像入力装置に対して情報を入出力するためのインターフェイスであり、DSCのI/F214等に接続される。カードI/F119のスロットには、不揮発性半導体メモリーを用いたメモリーカードM1を着脱可能に挿入することができる。ディスクドライブは、CD−ROM(Compact Disk Read Only Memory)等のコンピューター読み取り可能な記録媒体M2を着脱可能に挿入することができる。ホワイトバランス処理プログラムは、該プログラムを記録した記録媒体M2からPC100にインストールされてもよいし、該プログラムを記録したサーバーコンピューターからネットワークを介して記憶装置114にダウンロードされてもよい。
DSC200は、光学系の各部201〜205と制御系の各部211〜215を備えている。
光学系には、レンズ201を駆動して焦点(ピント)の位置や焦点距離を調整するレンズ駆動部202、レンズ駆動部202の動作を制御するレンズ駆動制御部203、レンズ201を介して受光面に入力された光をアナログの電気信号に変換する撮像素子204、撮像素子204から出力されたアナログ信号をデジタル信号に変換するアナログ/デジタル(A/D)変換回路205、等が設けられている。撮像素子204は、例えば単板方式のCCD(Charge Coupled Device)を用いて構成される。この場合、撮像素子204の受光面側には、画素毎に所定の要素色(例えば、R,G,B)のうち一色を配置したカラーフィルターが設けられる。
光学系には、レンズ201を駆動して焦点(ピント)の位置や焦点距離を調整するレンズ駆動部202、レンズ駆動部202の動作を制御するレンズ駆動制御部203、レンズ201を介して受光面に入力された光をアナログの電気信号に変換する撮像素子204、撮像素子204から出力されたアナログ信号をデジタル信号に変換するアナログ/デジタル(A/D)変換回路205、等が設けられている。撮像素子204は、例えば単板方式のCCD(Charge Coupled Device)を用いて構成される。この場合、撮像素子204の受光面側には、画素毎に所定の要素色(例えば、R,G,B)のうち一色を配置したカラーフィルターが設けられる。
制御系の各部211〜215並びにレンズ駆動制御部203及びA/D変換回路205は、バス210に接続され、互いに情報を入出力可能とされている。制御部211は、CPU、ROM、RAM、タイマー、等を有し、ROMに書き込まれたプログラムに従ってRAMをワークエリアとして使用しながらDSC全体の動作を制御する。操作部212は、押しボタンスイッチといった複数のスイッチ等で構成することができる。表示部213は、液晶ディスプレイ、発光ダイオード、等で構成することができる。I/F214は、画像処理装置に対して情報を入出力するためのインターフェイスである。カードI/F215のスロットには、メモリーカードM1を着脱可能に挿入することができる。
図1に示すホワイトバランス処理装置1は、上述したハードウェアとソフトウェアとが協働して構築される。本実施形態のホワイトバランス処理装置1は、U1〜U5,U11〜U13に対応するプログラムがRAW現像モジュールを構成し、U6〜U8,U14,U15に対応するプログラムが一つの自動補正モジュールMD1を構成している。RAW現像モジュールは、RAW画像ファイルF1を取得して機器依存RGB色空間の画像データD2を生成する機能、及び、ホワイトバランス調整用の調整パラメータを受け取って画像圧縮可能な画像データD5を生成する機能をコンピューターに実現させる。以下、ホワイトバランス処理装置の各部を説明する。
RAW画像ファイル取得部U1は、図3(a)に例示するようなRAW画像ファイルF1を取得する。本実施形態のRAW画像ファイルF1は、撮像画像に基づいたRAW画像データD1に撮像条件を表すヘッダー情報(撮像条件情報)I1が添付されたデータ構造とされている。RAW画像データD1は、画素PI1毎にR,G,Bのいずれかの色情報I3を階調値として有するベイヤデータとする。ヘッダー情報I1は、撮像機種を表す機種情報I2、絞りF値、シャッタースピードTv、ISO感度、等の撮像条件を表す情報を有している。RAW画像ファイルには、Exif(Exchangeable image file format)2.2規格(Exifは社団法人電子情報技術産業協会の登録商標)に従ったフォーマットのファイル等を用いることができる。
以上より、RAW画像ファイル取得部U1は、生画像ファイル取得手段を構成し、生画像ファイル取得工程及び生画像ファイル取得機能に対応している。
以上より、RAW画像ファイル取得部U1は、生画像ファイル取得手段を構成し、生画像ファイル取得工程及び生画像ファイル取得機能に対応している。
ヘッダー取得部U2は、RAW画像ファイルF1から機種情報I2等を含むヘッダー情報I1を取得する。これにより、ヘッダー情報I1から撮像画像の撮像機種が特定される。
以上より、ヘッダー取得部U2は、機種特定手段を構成し、機種特定工程及び機種特定機能に対応している。
以上より、ヘッダー取得部U2は、機種特定手段を構成し、機種特定工程及び機種特定機能に対応している。
判定範囲取得部U3は、機種情報I2に応じたRGB色空間(所定の色空間)においてRAW画像ファイルF1に基づいた画像データD2のホワイトバランスを判定するためのホワイトバランス判定範囲を表す情報を取得する。図4の右側には、機器依存RGB色空間のR/G−B/G平面においてホワイトバランス判定範囲R1が例示されている。ここで、R/GはRGB色空間のG成分に対するR成分の比を表し、B/GはRGB色空間のG成分に対するB成分の比を表している。本実施形態では、図4の左側に例示するCIE 1960 UCS色度座標上の元ホワイトバランス判定範囲RU1を機器依存RGB色空間に変換して機種別のホワイトバランス判定範囲R1を生成している。ここで、横軸はu軸、縦軸はv軸である。元ホワイトバランス判定範囲RU1は、UCS色度座標上で画像のホワイトバランスを判定するための空間であり、黒体放射軌跡LU1に基づいた空間である。従って、元ホワイトバランス判定範囲RU1は、撮像機種とは無関係な共通のホワイトバランス判定範囲とされている。
図4の黒体放射軌跡LU1,L1上には、タングステン(色温度約2800K)の座標P1、蛍光灯(色温度約3800〜4500K)の座標P2、太陽光(色温度約5200〜5500K)の座標P3、曇天(色温度約6500K)の座標P4、晴天日陰(色温度約7500〜8000K)の座標P5を示している。図4の右側に示すように、屋内光源であるタングステンの座標P1と蛍光灯の座標P2は、屋外光源である太陽光の座標P3や曇天の座標P4や晴天日陰の座標P5よりもB/Gが大きく、すなわち、青側とされている。
本実施形態の元ホワイトバランス判定範囲RU1は、UCS色度座標において、2800〜8000Kを含む色温度Tmin〜Tmax(K)の範囲内で黒体放射軌跡LU1から一定距離d1内の空間とされている。図4では、色温度Tminの境界部を直線LU2で示し、色温度Tmaxの境界部を直線LU3で示し、黒体放射軌跡LU1からu軸側の境界部を曲線LU4で示し、黒体放射軌跡LU1からv軸側の境界部を曲線LU5で示している。黒体放射軌跡LU1から離れた色度座標u,vの色温度(相関色温度)は、JIS Z8725:1999(光源の分布温度及び色温度・相関色温度の測定方法)にも規定されるように、色度座標u,vの点から黒体放射軌跡LU1に垂線を下ろしたときの交点の色温度である。直線LU2,LU3は、黒体放射軌跡LU1と直交する等色温度線としている。曲線LU4,LU5は、該曲線LU4,LU5上の任意の点から黒体放射軌跡LU1に垂線を下ろしたときの交点までの距離d1が一定となる曲線としている。距離d1は、様々な設定とすることができ、例えばCIE 1960 UCS色度座標上で0.01〜0.1程度とすることができる。
元ホワイトバランス判定範囲RU1を表す情報は、処理の都合上、元ホワイトバランス判定範囲RU1内で離散的に配列した複数の点を表す座標の集合としている。例えば、色温度Tmin〜Tmax内で境界部の色温度Tmin,Tmaxを含む色温度をTm(m=1,2,…,M。Mは3以上の整数)、曲線LU4〜LU5の範囲内でu軸側をマイナスとして境界部の距離d1,−d1を含む黒体放射軌跡LU1からの距離をdn(n=1,2,…,N。Nは3以上の整数)とする。この場合、Tmとdnの各組み合わせに対応するそれぞれの点Pmnの色度座標umn,vmnの集合を元ホワイトバランス判定範囲RU1の情報とすることができる。このような元ホワイトバランス判定範囲を表す情報IR1が図1の判定情報記憶部U9に記憶されている。
むろん、元ホワイトバランス判定範囲RU1を表す情報は、UCS色度座標上で元ホワイトバランス判定範囲の境界部を表す複数の座標の集合等でもよい。
むろん、元ホワイトバランス判定範囲RU1を表す情報は、UCS色度座標上で元ホワイトバランス判定範囲の境界部を表す複数の座標の集合等でもよい。
判定情報記憶部U9は、記憶装置114、記録媒体M1,M2、サーバーコンピューター、等に該当する。判定情報記憶部U9は、元ホワイトバランス判定範囲RU1や画像データの色空間を変換するための色変換マトリクスも記憶している。例えば、機器独立RGB色空間から撮像機種に応じた機器依存RGB色空間へ変換するための色変換マトリクスMRGBは、機器独立RGB色空間内の座標(R,G,B)を機器依存RGB色空間内の座標(Rd,Gd,Bd)に色変換するための3×3行列の情報である。
色変換マトリクスMRGBは、機種毎に用意され、判定情報記憶部U9に記憶される。
また、YUV色空間から機器独立RGB色空間へ変換するための色変換マトリクスMYUVRGBは、YUV色空間内の座標(Y,u,v)を機器独立RGB色空間内の座標(R,G,B)に色変換するための3×3行列の情報である。
UCS色度座標を機器依存RGB色空間に変換するためには、色変換マトリクスM1=MRGB・MYUVRGBを利用すればよい。本実施形態の判定範囲取得部U3は、判定情報記憶部U9から元ホワイトバランス判定範囲の情報IR1及び色変換マトリクスを取得し、該色変換マトリクスを用いて元ホワイトバランス判定範囲RU1を表す情報IR1を撮像機種に応じたRGB色空間へ変換してホワイトバランス判定範囲R1を表す情報を取得する。この判定範囲取得部U3は、判定範囲取得手段を構成し、判定範囲取得工程及び判定範囲取得機能に対応している。また、色変換マトリクスM1は、UCS色度座標を撮像機種に応じた色空間へ変換するための変換手段を構成し、変換工程及び変換機能に対応している。
RAWデコード部U4は、RAW画像ファイルF1に対してRAW画像データD1のデコード処理を行い、RAW画像データD1を得る。デモザイク部U5は、RAW画像データD1の各画素PI1に色情報を補うデモザイク処理を行い、図3(b)に示すように画素PI1毎にR,G,Bの色情報I4を階調値として有する画像データD2を生成する。この画像データD2は、機器依存RGB色空間で表され撮像画像に基づいた画像データであり、ホワイトバランス調整の対象となる画像データとなる。本実施形態では、U4,U5の各部が画像変換手段を構成し、画像変換工程及び画像変換機能に対応している。
区分別ゲイン値算出部U6は、画像データD2の各画素PI1の輝度Yを求め、図5に示すように各画素PI1を輝度Yの大きさに並べ、並べた順に画素PI1を同数ずつ区分し、輝度区分R21毎にホワイトバランスのゲイン値R/G,B/Gを算出する。
区分別ゲイン値算出部U6は、画像データD2の各画素PI1の輝度Yを求め、図5に示すように各画素PI1を輝度Yの大きさに並べ、並べた順に画素PI1を同数ずつ区分し、輝度区分R21毎にホワイトバランスのゲイン値R/G,B/Gを算出する。
区分別ゲイン値算出部U6は、元ホワイトバランス判定範囲の色変換に使用した色変換マトリクスM1を用いて、画像データD2を撮像機種に応じたRGB色空間から機器独立色空間であるYUV色空間へ変換する。ここで、RAW現像モジュールが機器依存RGB色空間の画像データD2を生成する仕様であるため、YUV色空間への色変換が必要となる。
機器依存RGB色空間の画像データD2から輝度Yを算出するためには、各画素PI1の色情報Rd,Gd,Bdを色変換マトリクスM1の逆行列M1 -1で変換すればよい。そこで、区分別ゲイン値算出部U6は、逆行列M1 -1を利用して各画素PI1の輝度Yを計算し、各画素PI1を順に並べる。
機器依存RGB色空間の画像データD2から輝度Yを算出するためには、各画素PI1の色情報Rd,Gd,Bdを色変換マトリクスM1の逆行列M1 -1で変換すればよい。そこで、区分別ゲイン値算出部U6は、逆行列M1 -1を利用して各画素PI1の輝度Yを計算し、各画素PI1を順に並べる。
図5は、各画素PI1が順に並べられた様子をヒストグラムで例示している。図5の上段では、輝度Yの大きさの順に画素PI1を同数ずつ区分し、各輝度区分R21に対して輝度Yの小さい区分から大きい区分へ順に通し番号i=1〜6を付している。この場合、区分別ゲイン値算出部U6は、輝度区分1〜6のそれぞれについてホワイトバランスのゲイン値R/G,B/Gを算出する。本実施形態のゲイン値R/G,B/Gは、各輝度区分R21内の各画素PI1のゲイン値R/G,B/Gの相加平均値としているが、同ゲイン値R/G,B/Gの総和、相乗平均値、等としてもよい。ゲイン値R/G,B/Gは、画像データD2中の画素の色情報I4に基づいた輝度区分R21毎の色情報である。
区分抽出部U7は、複数の輝度区分R21からホワイトバランス調整に用いる輝度区分R22を抽出する。
図5の下段は、ホワイトバランス調整に用いる輝度区分R22を抽出する様子を模式的に示している。本実施形態の区分抽出部U7は、輝度区分R21のうちゲイン値R/G,B/Gがホワイトバランス判定範囲R1に含まれる輝度区分R22を抽出する。図5の下段に示す抽出結果I5は、抽出された輝度区分R22に丸印が付されている。
調整パラメータ決定部U8は、抽出された輝度区分R22のゲイン値R/G,B/Gに基づいて、ホワイトバランス調整用の調整パラメータPr,Pbを決定する。調整パラメータPr,Pbは、輝度区分R22のゲイン値R/G,B/Gの相加平均値等とされる。従って、調整パラメータPr,Pbは、画像データD2の各画素PI1を明るさに応じて区分した区分のうちホワイトバランス判定範囲R1に含まれる画像データD2由来の色を表している。なお、輝度区分R22が抽出されなかった場合には、ホワイトバランス調整が行われないよう、調整パラメータを例えばPr=Pb=1に設定する。
調整実行部U11は、調整パラメータPr,Pbに基づいて画像データD2のホワイトバランスを調整する。すなわち、ホワイトバランスの調整は、撮像機種に応じたホワイトバランス判定範囲R1に含まれる画像データD2由来の色に基づいて行われる。本実施形態の調整実行部U11は、調整パラメータPr,Pbで表される色を無彩色に変換するように画像データD2のホワイトバランスを調整する。
調整実行部U11は、調整パラメータPr,Pbに基づいて画像データD2のホワイトバランスを調整する。すなわち、ホワイトバランスの調整は、撮像機種に応じたホワイトバランス判定範囲R1に含まれる画像データD2由来の色に基づいて行われる。本実施形態の調整実行部U11は、調整パラメータPr,Pbで表される色を無彩色に変換するように画像データD2のホワイトバランスを調整する。
機器独立色空間変換部U12は、元ホワイトバランス判定範囲の色変換に使用した色変換マトリクスMRGBを用いて、ホワイトバランス調整後の画像データD3を撮像機種に応じたRGB色空間からsRGB色空間等の機器独立RGB色空間へ変換する。画像データD3を機器依存RGB色空間から機器独立RGB色空間へ変換するためには、画像データD3の各画素の色情報を色変換マトリクスMRGBの逆行列MRGB -1で変換すればよい。そこで、機器独立色空間変換部U12は、逆行列MRGB -1を利用して機器独立RGB色空間で表される画像データD3を精製する。
本実施形態では、U4〜U8,U11,U12の各部がホワイトバランス調整手段を構成し、ホワイトバランス調整工程及びホワイトバランス調整機能に対応している。
本実施形態では、U4〜U8,U11,U12の各部がホワイトバランス調整手段を構成し、ホワイトバランス調整工程及びホワイトバランス調整機能に対応している。
γ補正部U13は、色空間変換後の画像データD4に対して、画像出力装置の出力特性の下で適切な明るさの階調となるようにγ補正を行う。画像圧縮部U14は、γ補正後の画像データD5をJPEG(Joint Photographic Experts Group)形式等の所定の画像形式に圧縮する。画像出力部U15は、圧縮後の画像データD6を画像記憶部U16に記憶したり画像出力装置へ出力したりする。画像記憶部U16は、記憶装置114、記録媒体M1,M2、サーバーコンピューター、等に該当する。
なお、画像データD1〜D6は、いずれも撮像画像に基づいた画像データといえる。従って、本発明によるホワイトバランス調整は、RAW画像データD1、機器依存色空間でγ補正された画像データ、機器依存色空間で圧縮された画像データ、のいずれに適用されてもよい。
なお、画像データD1〜D6は、いずれも撮像画像に基づいた画像データといえる。従って、本発明によるホワイトバランス調整は、RAW画像データD1、機器依存色空間でγ補正された画像データ、機器依存色空間で圧縮された画像データ、のいずれに適用されてもよい。
図6は、PC100のCPU111によって行われるホワイトバランス処理を例示している。図6に示す処理は、OSの存在下でホワイトバランス処理プログラムが起動されているときに行われる。以下、本ホワイトバランス処理装置1の動作、作用及び効果を説明する。
図6に示す処理を開始すると、カードI/F119に接続されたメモリーカードM1等からRAW画像ファイルF1を取得する(ステップS102。以下、「ステップ」の記載を省略)。むろん、記憶装置114、記録媒体M2、サーバーコンピューター、等からRAW画像ファイルを取得してもよい。S104では、RAW画像ファイルF1からヘッダー情報I1を取得し、このヘッダー情報I1から機種情報I2を取得する。これにより、撮像画像の撮像機種が特定される。S106では、機種情報I2に基づいて、記憶装置114等からYUV色空間を撮像機種に応じたRGB色空間に変換するための色変換マトリクスM1=MRGB・MYUVRGBを取得する。S108では、記憶装置114等から元ホワイトバランス判定範囲RU1を表す情報を取得する。S110では、元ホワイトバランス判定範囲RU1を表す複数の点Pmnの色度座標umn,vmnを色変換マトリクスM1の要素に掛け合わせて撮像機種に応じたRGB色空間へ変換し、機種別のR/G−B/G平面においてホワイトバランス判定範囲R1を表す複数の点の座標(Rmn,Bmn)を求める。
Rmn=(r12umn+r13vmn)/(r22umn+r23vmn) …(3)
Bmn=(r32umn+r33vmn)/(r22umn+r23vmn) …(4)
以上の処理により、元ホワイトバランス判定範囲RU1を表す情報からホワイトバランス判定範囲R1を表す情報を取得することができる。
Rmn=(r12umn+r13vmn)/(r22umn+r23vmn) …(3)
Bmn=(r32umn+r33vmn)/(r22umn+r23vmn) …(4)
以上の処理により、元ホワイトバランス判定範囲RU1を表す情報からホワイトバランス判定範囲R1を表す情報を取得することができる。
S112では、デコード処理によりRAW画像ファイルF1からRAW画像データD1を取得する。S114では、RAW画像データD1に対してデモザイク処理を行い、画素PI1毎にR,G,Bの色情報I4を有する画像データD2を取得する。S116では、色変換マトリクスM1(変換手段)を用いて画像データD2の画素PI1毎に輝度Yを求める。具体的には、R,G,Bの色情報を逆行列M1 -1に掛け合わせて輝度Yを算出する。
Y=s11R+s12G+s13B …(5)
輝度算出の際に元ホワイトバランス判定範囲の色変換に使用した色変換マトリクスM1を用いるので、機器独立色空間で表される画像データを効率よく生成することができる。
Y=s11R+s12G+s13B …(5)
輝度算出の際に元ホワイトバランス判定範囲の色変換に使用した色変換マトリクスM1を用いるので、機器独立色空間で表される画像データを効率よく生成することができる。
S118では、図5に示すように各画素PI1を輝度Yの大きさ順に画素PI1を同数ずつ区分し、輝度区分R21毎にホワイトバランスのゲイン値R/G,B/Gを算出する。本実施形態では、輝度区分iの各画素PI1のゲイン値R/Gを相加平均した値(Riとする)を輝度区分iのゲイン値R/Gとし、輝度区分iの各画素PI1のゲイン値B/Gを相加平均した値(Biとする)を輝度区分iのゲイン値B/Gとしている。
S120では、複数の輝度区分R21のうち、ゲイン値Ri,Biがホワイトバランス判定範囲R1に含まれる輝度区分R22を抽出する。輝度区分R22が抽出された場合、S122では、抽出された輝度区分R22のゲイン値Ri,Biを平均して調整パラメータPr,Pbとする。輝度区分R22が抽出されなかった場合、例えばPr=Pb=1とする。S124では、調整パラメータPr,Pbで表される色を無彩色に変換するように、すなわち、画像全体としてRGBの各色成分の座標が(Pr×G,G,Pb×G)で表される色を座標(G,G,G)に変換するように、画像データD2のホワイトバランスを調整する。例えば、画像データD2の各色成分R,G,Bの相加平均をAr,Ag,Abとすると、ホワイトバランス調整後に画像データD3の各色成分R,G,Bの相加平均がAr/Pr,Ag,Ab/Pbとなるように画像データD2を調整すればよい。各画素PI1の色成分R,G,Bの変換は、単純に色成分R,Bに1/Pr,1/Pbを乗じる変換、色成分R,G,Bに対する調整パラメータPr,Pbに応じた係数のγ変換、等を採用することができる。
以上の処理により、ホワイトバランスの調整は、撮像機種に応じたホワイトバランス判定範囲R1に含まれる画像データD2由来の色を無彩色に変換するように行われる。
なお、S124では、露出の調整をしてもよい。
以上の処理により、ホワイトバランスの調整は、撮像機種に応じたホワイトバランス判定範囲R1に含まれる画像データD2由来の色を無彩色に変換するように行われる。
なお、S124では、露出の調整をしてもよい。
S126では、色変換マトリクスMRGBを用いて画像データD3を機器依存RGB色空間から機器独立RGB色空間へ変換する。具体的には、画像データD3における各画素のR,G,Bの色情報を3×3の逆行列MRGB -1に掛け合わせる。これにより、撮像機種に応じてホワイトバランス調整が行われた機器独立色空間の画像データを生成することができる。変換後の画像データD4は、S128でγ補正が行われる。γ補正後の画像データD5は、S130で所定の画像形式に圧縮される。そして、PC100は、S132で圧縮後の画像データD6を記憶装置114等に記憶したり画像出力装置へ出力したりして、処理を終了する。
以上説明したように、撮像画像に基づいた画像データのホワイトバランスは、撮像機種に応じた色空間のホワイトバランス判定範囲に含まれる画像データ由来の色に基づいて調整される。これにより、撮像機種に応じて画像データのホワイトバランスが調整される。
また、ホワイトバランス判定範囲は、複数の線分で囲まれた領域ではなく、よりきめ細やかな境界を有する領域とされている。さらに、ホワイトバランス判定範囲は、UCS色度座標上で黒体放射軌跡に基づいた元ホワイトバランス判定範囲から変換された機器依存色空間で表される領域とされている。
従って、本実施形態のホワイトバランス処理装置1、ホワイトバランス処理方法及びホワイトバランス処理プログラムは、撮像画像に基づいた画像の色再現性を向上させることができる。
また、ホワイトバランス判定範囲は、複数の線分で囲まれた領域ではなく、よりきめ細やかな境界を有する領域とされている。さらに、ホワイトバランス判定範囲は、UCS色度座標上で黒体放射軌跡に基づいた元ホワイトバランス判定範囲から変換された機器依存色空間で表される領域とされている。
従って、本実施形態のホワイトバランス処理装置1、ホワイトバランス処理方法及びホワイトバランス処理プログラムは、撮像画像に基づいた画像の色再現性を向上させることができる。
さらに、撮像機種に応じた色変換マトリクスMRGBが用意されているため、ホワイトバランスを調整するため撮像機種毎に色票を撮像してホワイトバランス調整用の調整パラメータを決める必要が無い。従って、画像の色再現性を容易に向上させることができる。
(2)第二の実施形態:
図7は、第二の実施形態に係るホワイトバランス処理装置が行うホワイトバランス処理を例示している。本実施形態のホワイトバランス処理装置は、元ホワイトバランス判定範囲を用いずに機種情報に応じたホワイトバランス判定範囲を取得する。図7のフロー中に示したように、記憶装置114には、機種情報I2とホワイトバランス判定範囲R1を表す情報IR2とを撮像機種毎に対応づけた機種毎範囲情報T1が記憶され、元ホワイトバランス判定範囲を表す情報が記憶されていなくてもよい。それ以外のホワイトバランス処理装置のブロック構成は、第一の実施形態と同様とすることができる。また、本実施形態のS102〜S104,S112〜S132の処理も、第一の実施形態と同様とすることができる。
図7は、第二の実施形態に係るホワイトバランス処理装置が行うホワイトバランス処理を例示している。本実施形態のホワイトバランス処理装置は、元ホワイトバランス判定範囲を用いずに機種情報に応じたホワイトバランス判定範囲を取得する。図7のフロー中に示したように、記憶装置114には、機種情報I2とホワイトバランス判定範囲R1を表す情報IR2とを撮像機種毎に対応づけた機種毎範囲情報T1が記憶され、元ホワイトバランス判定範囲を表す情報が記憶されていなくてもよい。それ以外のホワイトバランス処理装置のブロック構成は、第一の実施形態と同様とすることができる。また、本実施形態のS102〜S104,S112〜S132の処理も、第一の実施形態と同様とすることができる。
本実施形態では、S104で機種情報I2を取得して撮像機種を特定した後、機種毎範囲情報T1から当該取得した機種情報I2に対応するホワイトバランス判定範囲を表す情報IR2を取得する。この情報IR2は、撮像機種に応じたRGB色空間においてRAW画像ファイルF1に基づいた画像データD2のホワイトバランスを判定するための空間を表している。その後、デコード処理とデモザイク処理を行い(S112〜S114)、画像データD2のホワイトバランスを調整する(S116〜S124)。これにより、撮像機種に応じて画像データのホワイトバランスが調整される。従って、本実施形態も、撮像画像に基づいた画像の色再現性を向上させる効果が得られる。
(3)第三の実施形態:
図8は、撮像機種に応じた色空間毎に撮像時の光源の条件に応じたホワイトバランス判定範囲R2,R3を用いてホワイトバランスを調整する第三の実施形態を示している。本実施形態のホワイトバランス処理装置は、画像データD2の被写体輝度Bvに基づいて撮像時の光源の条件を判定し、判定した光源の条件と画像データD2中の画素PI1の色情報とに基づいて画像データD2のホワイトバランスを調整する。被写体輝度Bvは、ヘッダー情報I1に含まれる絞りF値、シャッタースピードTv、及び、ISO感度を用いて算出することができる。
Av=2 log2(F) …(6)
Tv'=−log2(Tv) …(7)
Sv=log2(ISO/3.125) …(8)
Bv=Av+Tv'−Sv …(9)
被写体輝度が高い場合、撮像時の光源は通常、太陽光、晴天日陰、曇天、等の屋外の光源となる。一方、被写体輝度が低い場合、撮像時の光源は通常、タングステン、蛍光灯、等の屋内の光源となる。そこで、ホワイトバランス処理装置は、被写体輝度Bvと閾値THBvとを対比し、被写体輝度Bvが比較的高い場合に撮像時の光源の条件を屋外光源と判定する一方、被写体輝度Bvが比較的低い場合に撮像時の光源の条件を屋内光源と判定する。なお、閾値THBvは屋外の光源の輝度と屋内の光源の輝度との間の輝度になるように設定している。閾値THBvは、複数設けられてもよい。むろん、個々の光源の種類を判別するための閾値を複数用意し、撮像時の光源の条件として個々の光源の種類を判定するようにしてもよい。また、被写体輝度に対する閾値は、輝度区分の明るさ、画像中の領域の位置、等に応じて変わる閾値でもよい。
図8は、撮像機種に応じた色空間毎に撮像時の光源の条件に応じたホワイトバランス判定範囲R2,R3を用いてホワイトバランスを調整する第三の実施形態を示している。本実施形態のホワイトバランス処理装置は、画像データD2の被写体輝度Bvに基づいて撮像時の光源の条件を判定し、判定した光源の条件と画像データD2中の画素PI1の色情報とに基づいて画像データD2のホワイトバランスを調整する。被写体輝度Bvは、ヘッダー情報I1に含まれる絞りF値、シャッタースピードTv、及び、ISO感度を用いて算出することができる。
Av=2 log2(F) …(6)
Tv'=−log2(Tv) …(7)
Sv=log2(ISO/3.125) …(8)
Bv=Av+Tv'−Sv …(9)
被写体輝度が高い場合、撮像時の光源は通常、太陽光、晴天日陰、曇天、等の屋外の光源となる。一方、被写体輝度が低い場合、撮像時の光源は通常、タングステン、蛍光灯、等の屋内の光源となる。そこで、ホワイトバランス処理装置は、被写体輝度Bvと閾値THBvとを対比し、被写体輝度Bvが比較的高い場合に撮像時の光源の条件を屋外光源と判定する一方、被写体輝度Bvが比較的低い場合に撮像時の光源の条件を屋内光源と判定する。なお、閾値THBvは屋外の光源の輝度と屋内の光源の輝度との間の輝度になるように設定している。閾値THBvは、複数設けられてもよい。むろん、個々の光源の種類を判別するための閾値を複数用意し、撮像時の光源の条件として個々の光源の種類を判定するようにしてもよい。また、被写体輝度に対する閾値は、輝度区分の明るさ、画像中の領域の位置、等に応じて変わる閾値でもよい。
図8に示すように、屋内光源であるタングステンの座標P1と蛍光灯の座標P2は、屋外光源である太陽光の座標P3や曇天の座標P4や晴天日陰の座標P5よりも色温度の低い位置とされている。そこで、蛍光灯の座標P2と太陽光の座標P3との間に等色温度線LU7を設定し、等色温度線LU7から色温度の高い領域を屋外光源用元ホワイトバランス判定範囲RU2とし、等色温度線LU7から色温度の低い領域を屋内光源用元ホワイトバランス判定範囲RU3とする。両元ホワイトバランス判定範囲RU2,RU3を合わせた形状は、第一の実施形態の元ホワイトバランス判定範囲RU1の形状としてある。むろん、条件別元ホワイトバランス判定範囲RU2,RU3の形状は、一例に過ぎず、一部が互いに重なる形状としてもよい。
次に、図6を利用して本実施形態のホワイトバランス処理装置の動作を説明する。S102でRAW画像ファイルF1を取得すると、S104でRAW画像ファイルF1から、機種情報I2、絞りF値、シャッタースピードTv、ISO感度、等を含むヘッダー情報I1を取得し、S106でYUV色空間を機器依存RGB色空間に変換するための色変換マトリクスM1を取得する。S108では、まず、上記式(9)に従って、絞りF値、シャッタースピードTv及びISO感度から被写体輝度Bvを算出する。Bv≧THBv(又はBv>THBv)の場合、撮像時の光源の条件を屋外光源と判定し、記憶装置114等から屋外光源用元ホワイトバランス判定範囲RU2を表す情報を取得する。一方、Bv<THBv(又はBv≦THBv)の場合、撮像時の光源の条件を屋内光源と判定し、記憶装置114等から屋内光源用元ホワイトバランス判定範囲RU3を表す情報を取得する。
S110では、元ホワイトバランス判定範囲RU2又はRU3を表す複数の点Pmnの色度座標umn,vmnを色変換マトリクスM1の要素に掛け合わせて撮像機種に応じたRGB色空間へ変換し、機種別のR/G−B/G平面においてホワイトバランス判定範囲R2又はR3を表す複数の点の座標(Rmn,Bmn)を求める。むろん、ホワイトバランス判定範囲R2,R3を表す情報を撮像機種毎に用意して記憶装置114等に記憶させておき、撮像機種に対応するホワイトバランス判定範囲R2又はR3を表す情報を機種毎範囲情報から取得するようにしてもよい。
S110では、元ホワイトバランス判定範囲RU2又はRU3を表す複数の点Pmnの色度座標umn,vmnを色変換マトリクスM1の要素に掛け合わせて撮像機種に応じたRGB色空間へ変換し、機種別のR/G−B/G平面においてホワイトバランス判定範囲R2又はR3を表す複数の点の座標(Rmn,Bmn)を求める。むろん、ホワイトバランス判定範囲R2,R3を表す情報を撮像機種毎に用意して記憶装置114等に記憶させておき、撮像機種に対応するホワイトバランス判定範囲R2又はR3を表す情報を機種毎範囲情報から取得するようにしてもよい。
その後、デコード処理とデモザイク処理を行い(S112〜S114)、画素毎に輝度Yを算出して輝度区分i毎にゲイン値Ri,Biを算出し(S116〜S118)、ホワイトバランス判定範囲R2又はR3内の輝度区分iを抽出し(S120)、抽出した輝度区分iのゲイン値Ri,Biを平均して調整パラメータPr,Pbとし(S122)、画像データD2のホワイトバランスを調整する(S124)。これにより、撮像機種に応じて画像データのホワイトバランスが調整される。これにより、屋外判定時には不適切な色温度の領域(RU3)の色が除外され、屋内判定時には不適切な色温度の領域(RU2)が除外される。従って、被写体に合った光源の条件で画像データのホワイトバランスが調整され、画像の色再現性がさらに向上する。
(4)その他変形例:
本発明のホワイトバランス処理装置は、様々な構成が可能である。例えば、ホワイトバランス処理装置の各部は、一部又は全部がASIC(Application Specific Integrated Circuit)等のハードウェアで構成されてもよい。
上述したホワイトバランス処理の各ステップの順番は、適宜、変更可能である。例えば、S112のデコード処理やS114のデモザイク処理は、S102〜S110の間で行ってもよい。
撮像条件を表す撮像条件情報は、ヘッダー情報のみならず、生画像ファイルのフッター情報等でもよい。
画像データのホワイトバランスの調整は、RGB色空間で行うのみならず、CMY(シアン、マゼンタ、イエロー)色空間等の他の空間で行ってもよい。
元ホワイトバランス判定範囲を表す色度座標は、CIE 1976 UCS色度座標等の他の座標であってもよい。
本発明のホワイトバランス処理装置は、様々な構成が可能である。例えば、ホワイトバランス処理装置の各部は、一部又は全部がASIC(Application Specific Integrated Circuit)等のハードウェアで構成されてもよい。
上述したホワイトバランス処理の各ステップの順番は、適宜、変更可能である。例えば、S112のデコード処理やS114のデモザイク処理は、S102〜S110の間で行ってもよい。
撮像条件を表す撮像条件情報は、ヘッダー情報のみならず、生画像ファイルのフッター情報等でもよい。
画像データのホワイトバランスの調整は、RGB色空間で行うのみならず、CMY(シアン、マゼンタ、イエロー)色空間等の他の空間で行ってもよい。
元ホワイトバランス判定範囲を表す色度座標は、CIE 1976 UCS色度座標等の他の座標であってもよい。
ホワイトバランス判定範囲は、輝度等の明るさに応じて範囲の変わる領域とされてもよい。
ホワイトバランス判定範囲内に含まれるか否かの判定を行うS118のゲイン値の算出は、画像を分割した領域毎に行ってもよいし、明度等の明るさに応じて区分した区分毎に行ってもよい。
S120の区分の抽出は、撮像時の光源の条件等に応じた抽出とされてもよい。
ホワイトバランス判定範囲内に含まれるか否かの判定を行うS118のゲイン値の算出は、画像を分割した領域毎に行ってもよいし、明度等の明るさに応じて区分した区分毎に行ってもよい。
S120の区分の抽出は、撮像時の光源の条件等に応じた抽出とされてもよい。
なお、本発明は、上述した実施例や変形例に限られず、上述した実施例及び変形例の中で開示した各構成を相互に置換したり組み合わせを変更したりした構成、公知技術並びに上述した実施例及び変形例の中で開示した各構成を相互に置換したり組み合わせを変更したりした構成、等も含まれる。
1…ホワイトバランス処理装置、100…パーソナルコンピューター、200…デジタルスチルカメラ、D1…RAW画像データ(生画像データ)、D2〜D6…画像データ、F1…RAW画像ファイル(生画像ファイル)、I1…ヘッダー情報(撮像条件情報)、I2…機種情報、I3,I4…色情報、I5…抽出結果、L1,LU1…黒体放射軌跡、PI1…画素、R1〜R3…ホワイトバランス判定範囲、R21,R22…輝度区分、RU1〜RU3…元ホワイトバランス判定範囲。
Claims (9)
- 撮像画像に基づいた生画像データに撮像機種を含む撮像条件情報が添付された生画像ファイルを取得する生画像ファイル取得手段と、
前記撮像条件情報から前記撮像画像の撮像機種を特定する機種特定手段と、
特定された撮像機種に基づいて、該撮像機種に応じた色空間において、前記生画像ファイルに基づいた画像データのホワイトバランスを判定するためのホワイトバランス判定範囲を表す情報を取得する判定範囲取得手段と、
取得された情報で表されるホワイトバランス判定範囲に含まれる前記画像データ由来の色に基づいて前記画像データのホワイトバランスを調整するホワイトバランス調整手段とを備えることを特徴とするホワイトバランス処理装置。 - 前記判定範囲取得手段は、機種に依存しない共通色空間で画像のホワイトバランスを判定するための元ホワイトバランス判定範囲であって黒体放射軌跡に基づいた元ホワイトバランス判定範囲を表す情報を前記撮像機種に応じた色空間へ変換して前記ホワイトバランス判定範囲を表す情報を取得することを特徴とする請求項1に記載のホワイトバランス処理装置。
- 前記判定範囲取得手段は、前記共通色空間を前記撮像機種に応じた色空間へ変換するための変換手段を用いて前記元ホワイトバランス判定範囲を表す情報を前記撮像機種に応じた色空間へ変換し、
前記ホワイトバランス調整手段は、前記変換手段を用いて、前記画像データを前記撮像機種に応じた色空間から機器独立色空間へ変換することを特徴とする請求項2に記載のホワイトバランス処理装置。 - 前記元ホワイトバランス判定範囲は、前記共通色空間上で黒体放射軌跡から一定距離内の空間とされていることを特徴とする請求項2又は請求項3に記載のホワイトバランス処理装置。
- 前記ホワイトバランス調整手段は、前記画像データのホワイトバランスを調整した後に調整後の画像データを前記撮像機種に応じた色空間から機器独立色空間へ変換することを特徴とする請求項1〜請求項4のいずれか一項に記載のホワイトバランス処理装置。
- 前記ホワイトバランス調整手段は、前記生画像データを前記撮像機種に応じた色空間で表された前記画像データに変換する画像変換手段を有し、前記撮像機種に応じた色空間で表された前記ホワイトバランス判定範囲に含まれる前記画像データ由来の色を無彩色に変換するように前記画像データのホワイトバランスを調整することを特徴とする請求項1〜請求項5のいずれか一項に記載のホワイトバランス処理装置。
- 前記共通色空間は、UCS色度座標で表される空間であることを特徴とする請求項2〜請求項4のいずれか一項に記載のホワイトバランス処理装置。
- 撮像画像に基づいた生画像データに撮像機種を含む撮像条件情報が添付された生画像ファイルを取得する生画像ファイル取得工程と、
前記撮像条件情報から前記撮像画像の撮像機種を特定する機種特定工程と、
特定された撮像機種に基づいて、該撮像機種に応じた色空間において、前記生画像ファイルに基づいた画像データのホワイトバランスを判定するためのホワイトバランス判定範囲を表す情報を取得する判定範囲取得工程と、
取得された情報で表されるホワイトバランス判定範囲に含まれる前記画像データ由来の色に基づいて前記画像データのホワイトバランスを調整するホワイトバランス調整工程とを備えることを特徴とするホワイトバランス処理方法。 - 撮像画像に基づいた生画像データに撮像機種を含む撮像条件情報が添付された生画像ファイルを取得する生画像ファイル取得機能と、
前記撮像条件情報から前記撮像画像の撮像機種を特定する機種特定機能と、
特定された撮像機種に基づいて、該撮像機種に応じた色空間において、前記生画像ファイルに基づいた画像データのホワイトバランスを判定するためのホワイトバランス判定範囲を表す情報を取得する判定範囲取得機能と、
取得された情報で表されるホワイトバランス判定範囲に含まれる前記画像データ由来の色に基づいて前記画像データのホワイトバランスを調整するホワイトバランス調整機能とをコンピューターに実現させることを特徴とするホワイトバランス処理プログラム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2009070665A JP2010226365A (ja) | 2009-03-23 | 2009-03-23 | ホワイトバランス処理装置、ホワイトバランス処理方法およびホワイトバランス処理プログラム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2009070665A JP2010226365A (ja) | 2009-03-23 | 2009-03-23 | ホワイトバランス処理装置、ホワイトバランス処理方法およびホワイトバランス処理プログラム |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2010226365A true JP2010226365A (ja) | 2010-10-07 |
Family
ID=43043086
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2009070665A Pending JP2010226365A (ja) | 2009-03-23 | 2009-03-23 | ホワイトバランス処理装置、ホワイトバランス処理方法およびホワイトバランス処理プログラム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2010226365A (ja) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP2431987A2 (en) | 2010-09-17 | 2012-03-21 | Makita Corporation | Variable speed switch and electric power tool with the variable speed switch mounted thereto |
US9307211B2 (en) | 2012-06-13 | 2016-04-05 | Fujifilm Corporation | Image processing system, transmitting-side device and receiving-side device |
-
2009
- 2009-03-23 JP JP2009070665A patent/JP2010226365A/ja active Pending
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP2431987A2 (en) | 2010-09-17 | 2012-03-21 | Makita Corporation | Variable speed switch and electric power tool with the variable speed switch mounted thereto |
US9307211B2 (en) | 2012-06-13 | 2016-04-05 | Fujifilm Corporation | Image processing system, transmitting-side device and receiving-side device |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US8363131B2 (en) | Apparatus and method for local contrast enhanced tone mapping | |
US7375848B2 (en) | Output image adjustment method, apparatus and computer program product for graphics files | |
US7945109B2 (en) | Image processing based on object information | |
JP4854748B2 (ja) | 現像サーバおよび現像方法 | |
KR20120118383A (ko) | 이미지 보정 장치 및 이를 이용하는 이미지 처리 장치와 그 방법들 | |
US9407889B2 (en) | Image processing apparatus and image processing method for white balance control | |
US20070047803A1 (en) | Image processing device with automatic white balance | |
JP4529888B2 (ja) | 画像処理装置、画像処理方法及び画像処理プログラム | |
EP1432237B1 (en) | Image processing device, electronic camera, and image processing program | |
US9426437B2 (en) | Image processor performing noise reduction processing, imaging apparatus equipped with the same, and image processing method for performing noise reduction processing | |
US8502881B2 (en) | Image processing apparatus, image processing method, and electronic camera | |
JP2010226364A (ja) | ホワイトバランス処理装置、ホワイトバランス処理方法およびホワイトバランス処理プログラム | |
US20210360214A1 (en) | Image processing apparatus, image processing method, and storage medium | |
US9906740B2 (en) | Image processing apparatus, image processing method, and medium for noise reduction | |
US7146040B2 (en) | Automatic white balance technique | |
US20110310264A1 (en) | Candidate image presenting method using thumbnail image and image signal processing device and imaging device performing the same | |
JP4752421B2 (ja) | 画像レタッチ方法、画像レタッチ装置及び画像レタッチプログラム | |
US7397968B2 (en) | System and method for tone composition | |
JP2009037625A (ja) | 被写体情報を用いた画像処理 | |
US20110249140A1 (en) | Electronic camera | |
JP2010226365A (ja) | ホワイトバランス処理装置、ホワイトバランス処理方法およびホワイトバランス処理プログラム | |
JP4320225B2 (ja) | 画像データに対する画像処理 | |
CN109447925B (zh) | 图像处理方法和装置、存储介质、电子设备 | |
JP2011040975A (ja) | 画像処理装置、撮像装置、画像処理方法、及びプログラム | |
JP2009239772A (ja) | 撮像装置、画像処理装置、および画像処理方法、並びにプログラム |