JP2005175975A - 画像処理装置 - Google Patents

Abstract

【課題】 いつでもホワイトバランスを任意に設定することができ、被写体の色にもよらず、従来のレンズ前に装着する色温度変換フィルタや色補正フィルタの感覚でホワイトバランスを決定することで、露出には影響しないようにする画像処理装置を提供する。
【解決手段】光学像を電気信号に変換する撮像素子と、撮像素子からの信号を画像信号として出力させるための手段と、画像信号をデジタル化された画像データに変換する手段と、画像データを圧縮して記録媒体に記憶手段と、画像データを表示する表示手段と、撮影された画像データを蓄積手段から読み出し、読み出した画像データのホワイトバランス処理を行なうホワイトバランス調整手段とを備え、ホワイトバランス調整手段は、表示された前記画像データとともに設定画面を表示し、設定画面においてホワイトバランスを色温度方向に可変する第１の調整モードと、色温度方向に垂直方向に可変する第２の調整モードとを有し、ホワイトバランスをあらかじめ設定されている値以外に変更できるようにする。
【選択図】 図１

Description

本発明は、デジタルカメラの画像処理に係り、特にマニュアルでホワイトバランス補正を設定できるデジタルカメラに適用されるホワイトバランス補正技術に関する。

ホワイトバランスをユーザーがカメラのＧＵＩを利用してプリセットされていないホワイトバランス値を画像に合わせて設定することを可能とする撮像装置が提案されている（特許文献１を参照）
特開２００２−１８５９７２号公報

しかしながら,従来例においては、ホワイトバランスを画像から判断するために、画像に無彩色に近い被写体が無ければ、判断がつかなかった。また、白と思われるところを選択してホワイトバランスをかけてしまうと、ホワイトバランスをかけすぎてしまい、光源による雰囲気を失ってしまう。

更に、ＲＧＢの比を任意に変更してしまうと、輝度まで変わってしまい、撮影した直後にしかホワイトバランスの調整ができず、ＣＦ等のメモリに格納された画像に対してホワイトバランスを設定しなおすことができなかった。

本発明は、このような問題点を解決するためのもので、いつでもホワイトバランスを任意に設定することができ、被写体の色にもよらず、従来のレンズ前に装着する色温度変換フィルタや色補正フィルタの感覚でホワイトバランスを決定することで、露出には影響しないようにする画像処理装置を提供することを目的とする。

上記課題を解決するために、請求項１に係るデジタルカメラの画像処理装置は、光学像を電気信号に変換する撮像素子と、前記撮像素子からの信号を画像信号として出力させるための手段と、前記画像信号をデジタル化された画像データに変換する手段と、前記画像データを圧縮して記録媒体に記憶手段と、前記画像データを表示する表示手段と、予め撮影された前記画像データを前記蓄積手段から読み出し、読み出した画像データのホワイトバランス処理を行なうホワイトバランス調整手段とを有し、前記ホワイトバランス調整手段は、表示された前記画像データとともに設定画面を表示し、前期設定画面においてホワイトバランスを色温度方向に可変する第１の調整モードと、色温度方向に垂直方向に可変する第２の調整モードとを有し、ホワイトバランスをあらかじめ設定されている値以外に変更できることを特徴としている。

また、請求項２に示すように、前記ホワイトバランス調整手段におけるホワイトバランスの補正量を操作者が指定するための手段として、前記画像データを表示する手段における補正量指定のためのGUI（グラフィックユーザーインターフェース）を用いて表示されることを特徴とし、操作者が輝度変化をさせずにホワイトバランスのみをどちらの方向に変更すればよいかをわかりやすくすることを特徴とする。

また、本発明によれば、請求項３に示すように、前記ホワイトバランス調整手段に現在のホワイトバランスの設定の状態を示すための２次元の色空間を表示させるための表示手段を有し、現在のホワイトバランスの状況を画像からだけでなく、判断することが可能になることを特徴とする。

また、請求項４に示すように、前記２次元の色空間として、YCbCrのCb、Cr、L*a*ｂ*のa*、ｂ*、色度図のｘ、ｙ等であり、操作者が画像からではなく、色空間上の白の位置を変更することによってホワイトバランスを調整することが可能なことを特徴とし、操作者が、２次元の色空間からホワイトバランスをどちらの方向に変化させれば良いかを色的に判断することができる。

また、請求項５に示すように、前記２次元の色空間上に黒体輻射軌跡等の色温度にそった曲線が描かれていることを特徴とし、画像をデイライトからどれだけずらせばよいかのシフト量を色空間的に判断することができる。

また、請求項６、７に示すように、前記ホワイトバランス調整手段において、白とみなす色の範囲を決定する手段とその位置を示す手段を前記２次元の色空間上に表示することを特徴とし、その範囲の画像の部分の輝度を変えて表示させることによって、ホワイトバランスを変更した結果、意図した方向にシフトでき、更に画像に反映させた結果として確認できることを特徴とする。

本発明に係るデジタルカメラの画像処理によれば、現在のホワイトバランスの状況を把握した上で、２次元の色空間上で、ホワイトバランスの係数を変更して設定できるために、輝度変化も起こさず、撮影者の意図どおりのホワイトバランスをかけることが可能になる。

また、画像に白が無い場合でも、色温度軸と現状のホワイトバランスの設定値の関係が表示されるために、用意にホワイトバランスを適正な方向にシフトできる。

また、撮影済みの画像データに関しても、カメラで、ホワイトバランスを設定しなおし、新たなｊｐｅｇ画像をその場で作り出せることができる。

以下に本発明の実施例について説明する。

以下に、本発明の第１の実施例を図１〜図１１に基づき説明する。

図１は、本発明の実施形態に係るデジタルカメラのブロック図であり、撮影レンズ１を通ってきた光は、赤外カットフィルタ２、光学ＬＰＦ３を通過し撮像素子４（以下ＣＣＤと呼ぶ）に結像する。

ＣＣＤ４の受光面にはフォトダイオードによるセンサが平面的に配置されており、各センサに対して、１色のカラー、例えば、R（赤）・G(緑)・B（青）の原色カラーフィルタが所定の配列で配置されている。なお、この撮像素子を複数枚用いて、各撮像素子に対して１色を割り当てる形態でも可能である。

ＣＣＤ４に結像された光は、各センサにおいて,入射光量に応じた量の電荷に変換される。タイミングジェネレータ１６が発生させる信号は、水平駆動用ドライバ１７と垂直駆動用ドライバ１８に供給され、ＣＣＤ４を駆動し、センサに蓄積した電荷を伝送し、順次電圧信号に変換される。変換された電圧信号は、相関二重サンプリング５（以下ＣＤＳと呼ぶ）でサンプリングされ、Ａ／Ｄ変換器６でデジタル信号に変換される。

デジタル信号に変換された画像データは、ＩＣ７に入力され、ホワイトバランスのためのデータを算出するためのＷＢ回路７ａに入り、８のメモリ１にいったん格納される。

メモリ１（８）に格納されたデータは、再びＩＣ７に入力され、この実施例の場合、４つの画像処理を施される。

まず、デジタル信号に変換された画像データは、そのままロスレス圧縮（可逆圧縮）をかけるロスレス圧縮回路７ｄにおいてロスレス圧縮されたＲＡＷデータに変換されＣＰＵバス１０に送り出される。

また、デジタル信号に変換された画像データは、例えば図１０のようにＲＡＷデータをブロック内平均し、そこから間引くことによってダウンサンプリングされ、元の画像サイズより小さいサムネイル画像に変換されるためにＲＡＷサムネイル回路７ｃで間引き処理され、ＣＰＵバス１０に送られる。

また、デジタル信号に変換された画像データは、そのままではＲＧＢ３プレーンのそろった画像にはなっていないため、色補間等を施すために、画像処理７ｂで画像処理を施され、ＬＣＤ１２に表示するための表示用の間引き処理されたサムネイル画像にされて、ＣＰＵバス１０に送られる。
最後に、ｊｐｅｇ圧縮するための画像処理回路７ｂにおいてYCbCrに変換された画像データは、９のメモリ２において、ラスタブロック変換されて、ｊｐｅｇ圧縮回路７ｅでｊｐｅｇ圧縮をされて、ＣＰＵバス１０に送られる。

ここで、７ｂで行わる画像処理をさらに詳しく説明をする。

図２に７ｂにおける画像処理の概要をブロック図を用いて説明をする。

メモリ１（８）から入力された画像データは、あらかじめ、ホワイトバランスを計算するためにＷＢ回路７ｂで算出されたデータに基づいてＣＰＵ１５で計算されたホワイトバランス係数をホワイトバランス７ｂ１においてかけられる。若しくは、前記入力された画像データは、設定されているホワイトバランス（例えばデイライト、タングステン、蛍光灯等）の係数をホワイトバランス７ｂ１においてかけられる。

ホワイトバランスがとられた画像データは、色補間を施すために７ｂ２で色補間され、図８に示す様にＲＧＢが格子状に配列されたパターンのデータから、ＲＧＢ３プレーンが作り出される。

次に、ＲＧＢ３プレーンそろった画像データは、マスキング処理回路７ｂ３において、例えば、３×３のマトリクス演算（式１）等で色の最適化を行われ、ガンマ変換回路７ｂ４でガンマ変換を施される。

R’ ＝ｍ11xR + ｍ12xG + m13xB
G’ ＝ｍ21xR + ｍ22xG + m23xB （１）
B’ ＝ｍ31xR + ｍ32xG + m33xB
最後に、ガンマ変換された画像データは、ｊｐｅｇ圧縮されるためにＲＧＢ信号からYCbCrという輝度と色差成分の信号に変換される。

もう一方では、ガンマ変換された画像データは、図９のように、色補間されたＲＧＢ３プレーンに２次元のＬＰＦ（例えば図９のように５×５の２次元ＬＰＦ）をかけたうえで得られる画像を更に間引くことでＬＣＤ表示用サムネイル画像に変換される。

ＣＰＵバス１０の送られた、４つの画像データ、ロスレス圧縮データ・ＲＡＷサムネイルデータ・ＬＣＤ表示用サムネイルデータ・ｊｐｅｇデータはそれぞれ、１１のメモリ３に格納され、各々のファイル形式に変換される。

そのうち、ＬＣＤ表示用サムネイルデータは、再び、ＣＰＵバス１０に送られ、ＩＣ７の中のビデオエンコーダ回路７ｆに送られ、ＬＣＤ１２に表示される。

また、ロスレス圧縮データや、ｊｐｅｇデータはＩ／Ｆ回路１３に送られ、記憶媒体１４に格納される。

これらの一連の動作をCPU１５のレリーズスイッチ１９を一度押されることによって行われる。

次に,本発明の主旨である実際に撮影された画像のホワイトバランスを調整する方法を説明する。

ホワイトバランス確認スイッチ２０を押すと図３（ａ）と図３（ｂ）との画像を交互に表示する。

図３（ａ）は撮影された画像のＬＣＤ表示用サムネイル画像であり、画像の中には、小窓がスーパーインポーズされている。図３（ａ）に示されるＬＣＤ表示用サムネイル画像にスーパーインポーズされた表示は、例えば、横軸に、Cb軸、縦軸にCr軸を持つ色差の色空間を示す。

また、Cb、Cr軸に書かれているカーブは、黒体輻射軌跡３０をプロットしたもので,ホワイトバランスをデイライト（日昼光）例えば５０００ケルビンで撮影した場合を示している。

つまり、Cb、Cr軸の原点が無彩色を示しており、そこでホワイトバランスが合う場合がデイライト（日昼光）下で白を撮影したことを意味している。

また、Cb、Cr軸の中心付近にある丸印３１は、この範囲のデータを白として認識するという範囲を示している。

そこで、この丸印の範囲内にある画像部分が図３（ｂ）で明るさが図３（ａ）と変わって表示され、また、所定の時間後に図３（ａ）に戻り、これを繰り返す。これらの表示によって、撮影された被写体に対して,ホワイトバランスが、どのくらい一致したか判断することができる。また、ホワイトバランス係数は、色温度ごとに、あらかじめ設定されたテーブルを持つことが可能である。

このとき, 例えばホワイトバランスを緑（G）を固定したまま,赤（R）と青（B）の割合を可変することによって、輝度変化をなくすことができる。

そこで、この場合、Cb、Cr軸を例に示したが,例えば、図６の様に、L*a*ｂ*のa*軸、ｂ*軸であったり、図７の様に色度図のｘ、ｙとすることによって、その中に、黒体輻射軌跡３０を示すことでも可能である。また、色空間を示す座標を色で示すこともGUI（グラフィッカルユーザーインターフェース）で可能である。

その場合、図５、図６、図７の様な配置に色が塗られることによって、ホワイトバランスをどちらにシフトすればよいかを操作者がイメージしやすくなる。

次に、ホワイトバランスシフトボタン２１を押すことによって、図４（ａ）のように、Cb軸Cr軸を示す小窓の他に、色温度軸に沿って（赤⇔青方向）ホワイトバランスを可変することが可能なホワイトバランスシフトの調整モードと、色温度軸に対して垂直方向（緑⇔紫方向）にホワイトバランスを可変することが可能なホワイトバランスシフトの調整モードが表示される。

そこで、水平方向ボタン２２を押しながら、ダイヤル２４をまわすと、色温度軸に沿ってホワイトバランスをシフトさせる表示がずれる。

また、Cb、Cr軸の中心にあった丸印３１も合わせてシフトした方向にずれる。これによって、自分がどちらの方向にどれだけずらしたのかが、視覚的にわかりやすくなる。

その結果、ＬＣＤに表示されているサムネイル画像は、ホワイトバランスをかけなおすために、変更される。

例えば、前記作成されているＲＡＷサムネイルデータを用いて、撮影時と異なる設定されたホワイトバランス係数をかけて画像処理を施し、再びＬＣＤに表示する。

また、同様に、垂直方向ボタン２３を押しながらダイヤル２４をまわすと、色温度軸に垂直方向にホワイトバランスをシフトさせる表示がずれる。

同様に、LCDに表示されているサムネイル画像は、ホワイトバランスをかけなおすために、変更される。

このときも、例えばホワイトバランスを緑（G）を固定したまま、赤（R）と青（B）をともに可変させ、緑（G）と紫（RとB）の割合を可変することによって、輝度変化をなくすことができる。

この結果、かけたホワイトバランスが良好ならば、設定ボタン２５を押すことによってこのホワイトバランスシフトの量をＣＰＵに記憶し、常に、ホワイトバランスに所定の量のシフトをさせることを可能とする。

また、ホワイトバランスシフトを設定し、OKボタン２６を押すと、撮影後の記録媒体１４に記録された画像の場合、ロスレス圧縮データとｊｐｅｇ画像が同時に記録されている場合に限って、設定された画像のホワイトバランスをかけなおした画像をロスレス圧縮データから画像処理を行い、異なるホワイトバランスのｊｐｅｇ画像を作成し、記録媒体１４に格納することが可能である。

次に,本発明の実施例を図１１のフローチャートに基づいて説明する。

まず、Ｓ１でカメラがレリーズされるまで待機する。レリーズスイッチがＯＮになった場合、撮像素子によって露光を行いセンサに画像を蓄積する（Ｓ２）。

そして、蓄積された信号を撮像素子から読み出し、Ａ／Ｄ変換を行われた画像信号は、デジタルデータとしてＩＣ７に送られる（Ｓ３）。

デジタル化された画像データは、一度ホワイトバランスのデータを演算し（Ｓ４）、メモリ１（８）に格納される（Ｓ５）。

Ｓ４で計算されたホワイトバランス係数、もしくは、あらかじめ設定されているプリセットホワイトバランス係数をＩＣ７のホワイトバランスブロックに設定し（Ｓ６）、メモリ１に格納されている画像データをＩＣ７に対して読み出しする（Ｓ７）。

ＩＣ７に入力された画像データは、上記で説明したように、4つの画像処理が施され、それぞれロスレスのＲＡＷデータ、ＲＡＷのサムネイルデータ、ＪＰＥＧデータ、ＬＣＤサムネイルデータに変換され、１１のメモリ３に格納される（Ｓ８）。

なお、本実施の形態では撮像素子からの画像信号を記録するＲＡＷ形式として、ロスレス（可逆）圧縮した画像データを用いたが、全く圧縮しないデータであってもよい。また、他にＲＡＷデータは、撮像素子から得られた、Ａ／Ｄ変換を施した画像信号に、少なくともホワイトバランス処理を施していないもの、撮像素子から得られた、Ａ／Ｄ変換を施した画像信号に輝度信号と色信号に分ける色分離処理をしていないもの、あるいは、カラープレーンデータからの色補間処理をしていないものであっても良い。

作成された画像データのうち、ＬＣＤサムネイル画像だけはＬＣＤに表示するために、ＩＣ７に読み出され、ＬＣＤに表示される（Ｓ９）。

次に、１１のメモリ３に格納された画像データに所定のヘッダーデータをつけてＪＰＥＧ画像ファイルや、ＴＩＦＦファイルとして作成し（Ｓ１０）、記録媒体に格納する（Ｓ１１）。

表示されたＬＣＤサムネイル画像に対して、ホワイトバランス確認スイッチ２０が押されたか否かを判断し（Ｓ１３）、押されている場合は、ＬＣＤサムネイル画像のＲＧＢをYCbCrに変換し、白域内の色を選択して、元画像と選択された色域の異なる明るさのデータ（白からグレーの階調を示した無彩色データ）とを交互に点滅して表示する（Ｓ１４）。

白域を変更された場合（Ｓ１５）、もう一度Ｓ１４に戻り白域を選択しなおすことを行う。

ホワイトバランス確認スイッチ２０がもう一度押されたならば（Ｓ１６）、白域選択された画像の点滅を終了し、元画像のみを表示する（Ｓ１７）。

もし、レリーズスイッチ１９が押されたことを確認したら（Ｓ１８）、即座にＬＣＤを消し、撮影シーケンスに入る。

次に、ホワイトバランスシフトボタンが押された場合（Ｓ１９）、ホワイトバランスシフト用のＧＵＩを表示する（Ｓ２１）。ホワイトバランスシフトボタンも押されなかった場合、ＬＣＤ画像を表示したまま、レリーズ信号が来るのを待機する（Ｓ２０）。

ホワイトバランスシフトダイヤルが、色温度軸に沿った場合（水平方向ボタン２２を押しながら）あるいは、色温度軸に垂直方向に（垂直方向ボタン２３を押しながら）まわされた場合（Ｓ２２）、ダイヤルを回された量に応じてホワイトバランスシフト量を計算し、ホワイトバランス係数を出しなおす（Ｓ２４）。

計算されたホワイトバランス係数をＲＡＷサムネイルにかけて再現象を行い、ＬＣＤに再表示する（Ｓ２５）。

ホワイトバランス設定ボタン２５が押された場合（Ｓ２６）、シフトされたホワイトバランス係数をＩＣ７のホワイトバランスブロックに設定する（Ｓ２７）。

ホワイトバランスOKボタン２６が押された場合（Ｓ２８）、画像データそして格納してあるロスレス圧縮された画像を、解凍し、８のメモリ１に送り出し、新しく設定されたホワイトバランス係数で再現像し、ＪＰＥＧファイルに格納する（Ｓ２９）。

ホワイトバランスシフトボタンがもう一度押された場合（Ｓ３０）、ホワイトバランスシフト用のＧＵＩを消し（Ｓ３１）、再表示されたサムネイル画像のみを表示し、レリーズ信号を待つ。

上記の、動作を繰り返すことによって、ユーザーは好みのホワイトバランスをカメラに設定されているパラメータやオートホワイトバランスで決定されるホワイトバランス以外に設定し、好みの画像を作成することができるようになる。

本発明に係る実施例１のデジタルカメラのブロック図である。 図１の一部で画像処理に関するブロックの詳細のブロック図である 本発明に係る実施例１のGUIにおけるホワイトバランスの表示方法を示す図である。 本発明に係る実施例１のGUIにおけるホワイトバランスの変更方法を示す図である。 本発明に係る実施例１のGUIにおけるホワイトバランスの状態を示す図である（表示方法１）。 本発明に係る実施例１のGUIにおけるホワイトバランスの状態を示す図である（表示方法２）。 本発明に係る実施例１のGUIにおけるホワイトバランスの状態を示す図である（表示方法３）。 本発明に係る実施例１のデジタルカメラの画像処理の補間方法を示す概念図である。 本発明に係る実施例１のデジタルカメラの画像処理の間引き方法を示す概念図である。 本発明に係る実施例１のデジタルカメラの画像処理の間引き方法を示す概念図 本発明に係る実施例１のデジタルカメラの画像処理のフローチャートである。

符号の説明

４ 撮像素子
７ 画像処理ＩＣ
８ メモリ１
１２ ＬＣＤ（表示手段）
１４ 記録媒体
１５ ＣＰＵ
３０ 黒体輻射軌跡
３１ 白域の表示

Claims (9)

1. 光学像を電気信号に変換する撮像素子と、前記撮像素子からの信号を画像信号として出力させるための手段と、前記画像信号をデジタル化された画像データに変換する手段と、前記画像データを圧縮して記録媒体に記憶手段と、前記画像データを表示する表示手段と、撮影された前記画像データを前記蓄積手段から読み出し、読み出した画像データのホワイトバランス処理を行なうホワイトバランス調整手段とを有し、
   前記ホワイトバランス調整手段は、表示された前記画像データとともに設定画面を表示し、前期設定画面においてホワイトバランスを色温度方向に可変する第１の調整モードと、色温度方向に垂直方向に可変する第２の調整モードとを有し、ホワイトバランスをあらかじめ設定されている値以外に変更できることを特徴とする画像処理装置。
2. 前記ホワイトバランス調整手段におけるホワイトバランスの補正量を操作者が指定するための手段として、前記画像データを表示する手段における補正量指定のためのグラフィッカルユーザーインターフェースを用いて表示されることを特徴とする請求項１記載の画像処理装置。
3. 前記ホワイトバランス調整手段に現在のホワイトバランスの設定の状態を示すための２次元の色空間を表示させる表示手段を有することを特徴とする請求項１記載の画像処理装置。
4. 前記２次元の色空間として、YCbCrのCbCr、L*a*ｂ*のa*ｂ*、色度図のｘｙ等であり、操作者が画像からではなく、色空間上の白の位置を変更することによってホワイトバランスを調整することが可能なことを特徴とする請求項１記載の画像処理。
5. 前記２次元の色空間上に黒体輻射軌跡等の色温度にそった曲線が描かれていることを特徴とする請求項１記載の画像処理装置。
6. 前記ホワイトバランス調整手段において、白とみなす色の範囲を決定する白範囲決定手段とを有し、前記白範囲の位置を前記表示手段における前記２次元の色空間上に表示することを特徴とする請求項１記載の画像処理装置。
7. 前記白範囲決定手段によって、範囲内にあたる色が存在した場合、前記ホワイトバランス処理された画像データの値を可変して表示する場合と、元の値を表示する場合を繰り返し、デジタルデータのどの場所が白とみなされたかを示すことができることを特徴とする請求項１記載の画像処理装置。
8. 前記ホワイトバランス調整手段において、輝度成分を最も多く含む要素のゲインを固定し、他の要素のゲインを可変することによって、ホワイトバランスをとることを特徴とする請求項１記載の画像処理装置。
9. 前記ホワイトバランス調整手段は、前記画像データの輝度信号あるいは、輝度成分を最も多く含む信号を固定して、前記輝度信号あるいは、前記輝度成分を最も多く含む信号以外の他の色信号を可変する事を特徴とする請求項１記載の画像処理装置。

Images