JP2010021908A - 画像処理装置、画像処理方法および画像処理プログラム - Google Patents

Abstract

【課題】ユーザーの指示に応じたホワイトバランス調整を行う場合であっても処理に時間がかかることなく、かつ、ユーザーの指示に応じたホワイトバランス調整を適切に行えるようにする。
【解決手段】第１ＷＢ回路１０４１によりホワイトバランス調整されたＲａｗデータから、デモザイク回路１０４２により、３原色データを形成し、これをバッファメモリ１０４３に一時記憶する。操作部１２１を通じて受け付けたユーザーからの指示入力（調整指示）に応じたホワイトバランス調整を行う場合には、バッファメモリ１０４３に一時記憶したデモザイク処理された３原色データに対してホワイトバランス調整を行う。
【選択図】図１

Description

この発明は、デモザイク処理（同時化処理）される前の未現像の画像データであるＲａｗデータを処理することが可能な装置、当該装置で用いられる方法、プログラムに関する。

撮像素子から出力されたそのままの信号であるいわゆるＲａｗデータ（Ｒａｗ画像データ）を、例えばパーソナルコンピュータなどのＲａｗ現像装置によってユーザーが現像調整を行いながら現像するＲａｗ現像がその利便性から近年注目を集めている。

Ｒａｗ現像装置においては、例えば、図１２に示すように、Ｒａｗデータと、当該Ｒａｗデータを所定の範囲毎に検波（積分解析）することにより得られるパラメータとがＷＢ（White Balance）回路１に供給される。

そして、Ｒａｗデータは、ＷＢ回路１において、撮影時の光源に左右されることなく、元々の白い画像部分は白い画像部分として表現できるように、検波により得られたパラメータに応じて色のバランスの調整がなされた後、デモザイク処理部２に供給される。

デモザイク処理部２では、これに供給されたＲａｗデータから、画素毎にＲ（赤）、Ｇ（緑）、Ｂ（青）の３色の３原色データを形成する。すなわち、Ｒａｗデータは、撮像素子の色フィルタに応じて画素毎にＲ（赤）、Ｇ（緑）、Ｂ（青）の１色のデータが割り当てられた状態の未現像のデータである。

このため、デモザイク処理部２において、デモザイク処理を行うことによって、画素毎に不足している色の色信号（原色信号）を補い、画像を適切に形成するための３原色信号を形成している。

そして、デモザイク処理部２において形成された３原色信号は、解像度変換部３において、記録や再生に適した解像度に変換され、ＹＣ信号（輝度信号（Ｙ）と色差信号（Ｃｂ、、Ｃｒ））に変換された後、圧縮処理部４に供給される。

圧縮処理部４は、これに供給されたＹＣ信号を表示処理部５に供給すると共に、当該ＹＣ信号を所定のデータ圧縮方式にしたがってデータ圧縮することによって、記録用画像データを形成し、これを記録媒体に記録することができるようにしている。

一方、圧縮処理部４からデータ圧縮前のＹＣ信号の供給を受けた表示処理部５は、当該ＹＣ信号から表示部６の表示画面に画像を表示する表示用の画像信号を形成し、これを表示部６に供給する。

これにより、表示部６の表示画面には、供給されたＲａｗデータを現像処理することにより形成した画像データに応じた画像が表示される。

そして、Ｒａｗ現像処理においては、ユーザーは様々な現像パラメータをＲａｗ現像装置に指定することによって、その現像パラメータに対応した結果画像を得ることができる。しかし、Ｒａｗ現像処理においては、ユーザーは現像パラメータの追い込み作業を繰り返し行うことによって、目的や好みに合った画像を形成する。

このため、例えば、ホワイトバランスを調整しようとすれば、図１２を用いて説明したように、ＷＢ調整回路１〜表示部６までの各部における処理が繰り返し行われることになる。

すなわち、図１３に示すように、Ｒａｗデータの現像処理を行う場合には、まず、現像対象のＲａｗデータに対してホワイトバランス処理を実行する（ステップＳ１）。そして、ホワイトバランス処理後のＲａｗデータに対して、デモザイク処理等を行い（ステップＳ２）、デモザイク処理等がされた画像データに応じた画像を表示する（ステップＳ３）。

この後、表示された画像を確認したユーザーから、例えば、ホワイトバランスに関する調整指示を受け付ける（ステップＳ４）。そして、ホワイトバランスに関する調整指示を受け付けたか否かを判断する（ステップＳ５）。

ステップＳ５の判断処理において、調整指示を受け付けたと判断した場合には、ステップＳ１からの処理を繰り返すようにし、受け付けた調整指示に応じたホワイトバランス処理を行って、処理後の画像を再表示する。

ステップＳ５の判断処理において、調整指示を受け付けていないと判断した場合には、終了指示を受け付けたか否かを判断する（ステップＳ６）。ステップＳ６の判断処理において、終了指示を受け付けていないと判断したときには、ステップＳ４からの処理を繰り返し、ユーザーから調整指示を受け付ける。

また、ステップＳ６の判断処理において、終了指示を受け付けたと判断したときには、ユーザーの調整指示に応じてホワイトバランス処理され、デモザイク処理等がされて形成された画像データを圧縮処理して記録媒体に記録する（ステップＳ７）。そして、Ｒａｗデータの現像処理が終了する。

このように、現像処理された画像データによる画像に対して、再度調整を施すためには、また始めから一連の現像処理を行わなければならず、処理の負荷が大きく、また、処理に時間もかかっていた。

このため、Ｒａｗデータの現像処理の高速化を目的として、後に記す特許文献１には、中間現像画像を持つようにするものが提案されている。この手法は、例えば、現像処理が、工程１〜工程３の３つの工程からなっている場合に、Ｒａｗ画像データＲｄに対して工程１、工程２からなるステージ１の処理が終了した段階の途中結果画像を中間現像画像Ｃｄとして保持するようにし、工程３からなるステージ２を実行し、結果画像Ｄｄを形成した後においても（現像完了後においても）、中間現像画像Ｃｄを保持しておくようにする。

そして、次回のユーザー指定現像パラメータがその中間現像画像を生成する上で必要なパラメータと差分がない場合に、すなわち、ステージ１の工程１と工程２とを実行する必要がない場合に、中間現像画像Ｃｄを用いてステージ２の工程３だけをパラメータを変えて実行し、繰り返し現像を行えるようにすることにより現像処理の高速化を実現しようとするものである。これによってユーザーが中間現像画像以降の現像処理に対する現像パラメータの変更に対しては、高いパフォーマンスを提供することができる。

なお、上述した特許文献１は、以下に示す通りである。
特開２００５−３４１５５１号公報

ところで、ユーザーは状況に応じて様々な現像パラメータを調整するが、一般的に調整する頻度が高いとされているのがホワイトバランス調整である。通常、ホワイトバランス調整はＲａｗデータに対して直接行われる処理である。

例えば、デモザイク処理では、Ｒａｗデータに対して適切なホワイトバランス調整が行われていないと、適切な色を再生できるように、Ｒ（赤）、Ｇ（緑）、Ｂ（青）の３原色信号を適切に得ることができなくなってしまう。そこで、図１２、図１３を用いて説明したように、従来からホワイトバランス調整は、デモザイク処理される前のＲａｗデータに対して行うようにされている。

したがって、特許文献１に記載の技術のように、中間現像画像を保持するようにしても、ホワイトバランス調整を行う場合には、結局、デモザイク処理をも含めた一連の現像処理の全部を繰り返し行う必要が生じる。

このため、Ｒａｗデータを現像処理する場合であって、ユーザーの指示に応じたホワイトバランス調整を繰り返し行う場合にも、現像処理の高速化を実現することが望まれている。

また、ホワイトバランス調整には、現像処理された画像の目的とする部分（画像エリア）がグレーになるように、画像全体のホワイトバランスを調整するいわゆるグレー点補正も含まれる。

当該グレー点補正を行う場合には、目的とする画像エリア内を検波して、Ｒ（赤）信号、Ｂ（青）信号の調整量を特定する処理を行わなければならない。このため、グレー点補正を行う場合にも、処理の高速化を実現すると共に、より自然で適切なホワイトバランス調整を行えるようにすることが望まれている。

以上のことに鑑み、この発明は、ユーザーの指示に応じたホワイトバランス調整を行う場合であっても処理に時間がかかることなく、かつ、ユーザーの指示に応じたホワイトバランス調整を適切に行えることを目的とする。

上記課題を解決するため、請求項１に記載の発明の画像処理装置は、
未現像状態の画像データであるＲａｗデータに対して、当該Ｒａｗデータを検波することにより得られたパラメータに基づいて、ホワイトバランス調整を行う第１の調整手段と、
前記第１の調整手段によりホワイトバランスが調整されたＲａｗデータから、画像を形成する画素毎に、Ｒ（赤）、Ｇ（緑）、Ｂ（青）の３原色データを形成するデモザイク処理手段と、
前記デモザイク処理手段により形成された３原色データを一時記憶する一時記憶手段と、
ユーザーからのホワイトバランス調整に関する指示入力を受け付ける受付手段と、
前記受付手段を通じて、ホワイトバランス調整に関する前記指示入力を受け付けた場合に、前記一時記憶手段に記憶保持されている前記３原色データに対して、前記指示入力に応じたホワイトバランス調整を行う第２の調整手段と
を備えたものである。

この請求項１に記載の発明の画像処理装置によれば、第１の調整手段によりホワイトバランス調整されたＲａｗデータから、デモザイク処理手段により、Ｒ（赤）、Ｇ（緑）、Ｂ（青）の３原色データが形成され、この３原色データが一時記憶手段に記憶保持される。

そして、受付手段を通じて受け付けたユーザーからの指示入力に応じたホワイトバランス調整を行う場合には、一時記憶手段に記憶保持された３原色データに対して、ホワイトバランス調整が行われる。

これにより、ユーザーからの指示入力に応じてホワイトバランス調整を繰り返し行う場合であっても、第１の調整手段によるホワイトバランス調整とデモザイク処理手段によるデモザイク処理とを繰り返し行うことはないので、処理に時間がかかることなく、かつ、ユーザーの指示に応じたホワイトバランス調整を適切に行うことができるようにされる。

また、請求項２に記載の発明の画像処理装置は、請求項１に記載の画像処理装置であって、
前記デモザイク処理手段により形成された前記３原色データに応じた画像を表示する表示手段を備え、
前記第２の調整手段は、
前記受付手段を通じて、前記表示手段に表示された画像上において、目的とするエリアの指示入力を受け付けた場合に、前記一時記憶手段に記憶保持されている前記３原色データの当該エリア内の３原色データを検波し、Ｒ（赤）原色データとＢ（青）原色データの調整量を算出する調整量算出手段と、
前記調整量算出手段により算出されたＲ（赤）原色データとＢ（青）原色データの調整量に基づいて、前記一時記憶手段に記憶保持されている前記３原色データに対してグレー点補正を行うグレー点補正手段と
を備える。

この請求項２に記載の画像処理装置によれば、第２の調整手段は、調整量算出手段とグレー点補正手段とを備えたものであり、ユーザーの指示に応じてグレー点補正することができるものである。

これにより、ユーザーの指示に応じてグレー点補正する場合であっても、第１の調整手段によるホワイトバランス調整やデモザイク処理手段によるデモザイク処理を繰り返し行うことはないので、処理に時間がかかることなく、かつ、ユーザーの指示に応じたホワイトバランス調整の１つであるグレー点補正を適切に行うことができるようにされる。

また、請求項３に記載の発明の画像処理装置は、請求項２に記載の画像処理装置であって、
前記調整量算出手段は、輝度が最小値（０％）の時と、輝度が最大値（１００％）の時には、Ｒ（赤）原色データとＢ（青）原色データの前記調整量を値「１」とし、グレー点補正を行わないものである。

この請求項３に記載の発明の画像処理装置によれば、輝度が最小値（０％）の時（全黒時）と、輝度が最大値（１００％）の時（全白時）には、Ｒ（赤）原色データとＢ（青）原色データの調整を行わないようにして、グレー点補正をしないようにする。

これにより、不必要なホワイトバランス調整を行わないようにして、全黒および全白が変化することを防止し、低輝度時および高輝度時の不具合を解消することができるようにされる。

また、ユーザーの指示に応じてグレー点補正する場合であっても、第１の調整手段によるホワイトバランス調整やデモザイク処理手段によるデモザイク処理を繰り返し行うことはないので、処理に時間がかかることなく、かつ、ユーザーの指示に応じたホワイトバランス調整の１つであるグレー点補正をより適切に行うことができるようにされる。

また、請求項４に記載の発明の画像処理装置は、請求項２に記載の画像処理装置であって、
前記調整量算出手段は、輝度が最小値（０％）〜第１の値までの区間と、輝度が前記第１の値より大きな第２の値〜最大値（１００％）までの区間においては、Ｒ（赤）原色データとＢ（青）原色データの前記調整量を、輝度に応じた値にするものである。

この請求項４に記載の発明の画像処理装置によれば、輝度が最小値（０％）から明るくなる方向に一定区間（輝度が最小値（０％）〜第１の値までの区間）と、輝度が最大値から暗くなる方向に一定区間（第２の値〜最大値（１００％）までの区間）においては、輝度に応じて、Ｒ（赤）原色データとＢ（青）原色データの調整量が調整される。

これにより、所定の低輝度区間と所定の高輝度区間とにおいては、輝度に応じてＲ（赤）原色データとＢ（青）原色データの調整量が調整されるので、所定の低輝度区間と所定の高輝度区間とにおいてもより適切にグレー点補正することができるようにされる。

したがって、ユーザーの指示に応じてグレー点補正する場合であっても、第１の調整手段によるホワイトバランス調整やデモザイク処理手段によるデモザイク処理を繰り返し行うことはないので、処理に時間がかかることなく、かつ、ユーザーの指示に応じたホワイトバランス調整の１つであるグレー点補正をより適切に行うことができるようにされる。

ユーザーの指示に応じてホワイトバランス調整を繰り返し行う場合であっても、処理に時間がかかることなく、かつ、ユーザーの指示に応じたホワイトバランス調整を適切に行うことができる。

以下、図を参照しながら、この発明による装置、方法、プログラムの一実施の形態について説明する。この発明は、被写体の画像を撮影する撮像装置や、Ｒａｗデータの現像機能を備えた画像表示装置などの種々の画像処理装置に適用可能なものである。

以下においては、まず、この発明をデジタルスチルカメラやデジタルビデオカメラなどの撮像装置に適用した場合を例にして説明する。この後、この発明を画像表示装置に適用した場合についても説明する。

［第１の実施の形態］
図１は、この発明の一実施の形態が適用された第１の実施の形態の撮像装置１００の構成例を説明するためのブロック図である。

図１に示すように、第１の実施の形態の撮像装置１００は、撮像素子部１０１、前処理回路１０２、検波回路１０３、画像処理部１０４、解像度変換部１０５、圧縮処理部１０６、表示処理部１０７、表示部１０８を備えている。

画像処理部１０４は、詳しくは後述するが、第１ホワイトバランス回路（以下、第１ＷＢ回路と略称する。）１０４１、デモザイク回路１０４２、バッファメモリ１０４３、第２ホワイトバランス回路（以下、第２ＷＢ回路と略称する。）１０４４からなっている。

また、撮像装置１００は、制御部１１０、操作部１２１、縮小Ｒａｗ画像生成部１２２、Ｒａｗ画像ファイル生成部１２３、伸張処理部１２４、記録／再生部１２５、記録媒体１２６、外部インターフェース（以下、外部Ｉ／Ｆと略称する。）１２７、入出力端子１２８を備えている。

制御部１１０は、この第１の実施の形態の撮像装置１００の各部を制御するものである。制御部１１０は、図１に示すように、ＣＰＵ（Central Processing Unit）１１１、ＲＯＭ（Read Only Memory）１１２、ＲＡＭ（Random Access Memory）１１３、不揮発性メモリ１１４がＣＰＵバス１１５を通じて接続されて構成されたマイクロコンピュータである。

ここで、ＣＰＵ１１１は、後述するＲＯＭ１１２に記憶保持されている種々のプログラムを読み出して実行し、各部に供給する制御信号を形成して出力したり、各部から送信されてくるデータを処理したりする。

ＲＯＭ１１２は、上述したように、ＣＰＵ１１１によって実行される種々のプログラムや、処理に必要になる種々のデータを記憶保持するものである。ＲＡＭ１１３は、種々の処理において、主に作業領域として用いられるものである。

また、不揮発性メモリ１１４は、電源が落とされても保持しておくべき情報、例えば、ユーザーが設定した種々のパラメータや機能追加のために新たに提供されたプログラムなどを記憶保持するものである。なお、不揮発性メモリ１１４としては、例えば、ＥＥＰＲＯＭ（Electrically Erasable and Programmable ROM）やフラッシュメモリなどが用いられる。

また、制御部１１０に接続された操作部１２１は、シャッターキーやメニューキー、その他の種々の調整キーや設定キーを備え、ユーザーからの操作入力を受け付けて、これを電気信号に変換し、制御部１１０に供給することができるものである。

これにより、制御部１１０は、操作部１２１を通じて受け付けたユーザーからの操作入力に応じて各部を制御し、ユーザーの操作入力に応じた処理を行うことができるようにしている。

次に、この第１の実施の形態の撮像装置１００の動作について説明する。撮像素子部１０１は、図示しないが、光学ブロックや撮像素子、これらのドライブ回路を備えたものである。

ここで、光学ブロックは、レンズ、フォーカス機構、シャッター機構、絞り機構などからなり、被写体の画像を撮像素子の結像面に対して適切に結像させるようにする部分である。また、撮像素子は、ＣＣＤ（Charge Coupled Device）イメージセンサやＣＭＯＳ（Complementary Metal Oxide Semiconductor）イメージセンサなどである。

そして、撮像素子部１０１は、制御部１１０の制御に応じて被写体の画像を取り込んで、これを撮像素子に対して供給し、当該撮像素子の結像面に画像を結像させる。撮像素子は、自己の結像面に結像された画像（光の像）を光電変換して出力するものである。すなわち、撮像素子は、制御部１１０の制御に応じたタイミングで被写体の画像を電気信号として取り込んで、これを前処理回路１０２に供給する。

前処理回路１０２は、これに供給された電気信号の画像情報に対して、ＣＤＳ（Correlated Double Sampling）処理を行って、Ｓ／Ｎ比を良好に保つようにするとともに、ＡＧＣ（Automatic Gain Control）処理を行って、利得を制御する。

そして、前処理回路１０２は、利得制御後の画像情報をＡ／Ｄ（Analog/Digital）変換して、デジタル信号とされたＲａｗデータを形成する。このＲａｗデータは、検波回路１０３に供給される。

このように、Ｒａｗデータ（Ｒａｗ画像データ）は、撮像装置の撮像素子から得られた電気信号である被写体の画像情報をデジタル化したものであり、現像処理前の未現像の状態の画像データを意味する。

なお、現像処理は、後述もするが、Ｒａｗデータに対して、ホワイトバランス調整処理、デモザイク処理などの一連の画像処理を行って、画素毎に３原色信号であるＲ（赤）、Ｇ（緑）、Ｂ（青）の３チャンネルの濃淡レベルを持つフレーム画像データを形成するものである。そして、現像処理を行うことによって、Ｒａｗデータから最終的にユーザーが視認可能な画像を再現できる画像データが形成される。

次に、検波回路１０３は、これに供給されたＲａｗデータに基づいて、露出調整のためのパラメータやホワイトバランス調整のためのパラメータなど、後段で行う種々の画像処理のための現像パラメータの集まり（現像パラメータ群）Ｐｍを生成する。

そして、検波回路１０３は、生成した現像パラメータ群ＰｍとＲａｗデータとを、画像処理部１０４の第１ＷＢ回路１０４１と制御部１１０とに供給する。なお、検波回路１０３で生成された現像パラメータ群Ｐｍと、撮像素子部１０１を通じて取り込まれた被写体画像のＲａｗデータとを、制御部１１０を通じて第１ＷＢ回路１０４１に供給するように構成することも可能である。

第１ＷＢ回路１０４１は、供給されたＲａｗデータに対して、供給された現像パラメータ群Ｐｍを用いたホワイトバランス調整を実行する。これにより、デモザイク処理を高品位に行うことが可能なようにホワイトバランス調整されたＲａｗデータが形成される。

このように、第１ＷＢ回路１０４１は、Ｒａｗデータに対して、Ｒａｗデータを検波することにより得たパラメータに応じたホワイトバランス調整、すなわち、撮影時の状態に応じたホワイトバランス調整を行うものである。

そして、第１ＷＢ回路１０４１において撮影時の状態に応じたホワイトバランス調整されたＲａｗデータは、デモザイク回路１０４２に供給される。

デモザイク回路１０４２は、撮像素子で用いられている色フィルタに応じて、画素毎に１色の色データ（色信号）からなるＲａｗデータから、画素毎に必要となる色信号の全部、すなわち、Ｒ（赤）、Ｇ（緑）、Ｂ（青）の３原色データ（３原色信号）を形成する処理を行う。

なお、以下において、Ｒ（赤）原色信号はＲ（赤）信号あるいはＲ（赤）データと記載する。同様に、Ｇ（緑）原色信号はＧ（緑）信号あるいはＧ（緑）データと記載し、Ｂ（青）原色信号はＢ（青）信号あるいはＢ（青）データと記載する。

デモザイク回路１０４２で形成された３原色データは、画像処理部１０４内のバッファメモリ１０４３に供給されて一時記憶されるとともに、第２ＷＢ回路１０４４にも供給される。

第２ＷＢ回路１０４４は、操作部１２１を介して入力され、制御部１１０を通じて供給されるユーザーからのホワイトバランスについての調整指示に基づいて、デモザイク回路１０４２で形成された３原色データに対してホワイトバランス調整を行う。

このように、第２ＷＢ回路１０４４は、デモザイク回路１０４２で形成された３原色データに対して、ユーザーからの調整指示に応じたホワイトバランス調整を行うものである。

なお、詳しくは後述するが、撮像装置１００においては、操作部１２１を通じて繰り返しユーザーからの調整指示を受け付けることができるようにしている。この場合、第２ＷＢ回路１０４は、ユーザーからの調整指示に応じて、バッファメモリ１０４３の３原色データに対して、繰り返しホワイトバランス調整を施すことができるようにしている。

そして、第２ＷＢ回路１０４４において処理された３原色データは、解像度変換部１０５に供給される。解像度変換部１０５は、これに供給された３原色データに対して、アパーチャ補正処理、ガンマ（γ）補正処理、輝度データ（Ｙ）と色データ（Ｃｂ、Ｃｒ）への変換処理（Ｙ／Ｃ変換処理）、色収差補正処理、解像度変換処理を行う。

解像度変換部１０５において、所定の解像度とされた輝度データ（Ｙ）と色データ（Ｃｂ、Ｃｒ）とは、圧縮処理部１０６に供給される。圧縮処理部１０６は、これに供給された輝度データ（Ｙ）と色データ（Ｃｂ、Ｃｒ）とを表示処理部１０７に供給する。

また、圧縮処理部１０６は、当該輝度データ（Ｙ）と色データ（Ｃｂ、Ｃｒ）とを所定のデータ圧縮方式にしたがってデータ圧縮することにより、記録用画像データＳ１を形成して制御部１１０に供給する。

表示処理部１０７は、圧縮処理部１０６を介して供給された解像度変換部１０５からの輝度データ（Ｙ）と色データ（Ｃｂ、Ｃｒ）とから、表示部１０８の表示画面に画像を表示するための画像信号を形成し、これを表示部１０８に供給する。

表示部１０８は、ＬＣＤ（Liquid Crystal Display）、有機ＥＬパネル（Organic Electroluminescence Panel）、ＣＲＴ（Cathode Ray Tube）などの表示素子を備え、表示処理部１０７からの画像信号の供給を受けて、これに応じた画像を自己の表示素子の表示画面に表示する。

また、上述したように、検波回路からのＲａｗデータと現像パラメータ群Ｐｍとは、制御部１１０に供給される。これらＲａｗデータと現像パラメータ群Ｐｍとは、制御部１１０を通じてＲａｗ画像ファイル生成部１２３に供給される。さらに、当該Ｒａｗ画像ファイル生成部１２３には、制御部１１０の例えば不揮発性メモリ１１４などに記憶保持されている撮影時に用いた種々のパラメータも供給される。

また、検波回路１０３からのＲａｗデータは縮小Ｒａｗ画像生成部１２２にも供給される。縮小Ｒａｗ画像生成部１２２は、これに供給されたＲａｗデータを間引き処理するなどして、縮小画像サイズ（いわゆるサムネイルサイズ）の画像を形成する縮小ＲａｗデータＳｎを形成し、出力する。縮小Ｒａｗ画像生成部１２２において形成された縮小ＲａｗデータＳｎは、Ｒａｗ画像ファイル生成部１２３に供給される。

これにより、Ｒａｗ画像ファイル生成部１２３には、検波回路１０３からのＲａｗデータと現像パラメータ群Ｐｍ、撮影時の種々のパラメータ、縮小Ｒａｗ画像生成部１２２で形成された縮小Ｒａｗデータが供給される。そして、Ｒａｗ画像ファイル生成部１２３は、供給された種々のデータを用いて、記録用のＲａｗファイルＲ−ｆを形成する。

図２は、Ｒａｗ画像ファイル生成部１２３において形成されるＲａｗファイルＲ−ｆのレイアウトの一例を説明するための図である。図２に示すように、この例のＲａｗファイルＲ−ｆは、メイン画像ＩＦＤ（Image File Directory）、カメラ撮影情報、ＩＦＤ１などからなるメイン画像についてのＩＦＤ情報を有する。

また、サムネイル画像データであるセット再生用ＪＰＥＧ（Join Photographic Experts Group）データと、機種情報や暗号化などのオリジナルフォーマット仕様などからなる平文部メーカーノートＩＦＤ情報とを有する。

また、カメラ制御モードなどＥｘｉｆ（Exchangeable Image File Format）に規定されていない必要情報からなるメーカーノートＩＦＤ情報を有する。

さらに、撮影時に用いた種々のパラメータとして、撮影時を再現する画像処理に必要な種々のパラメータからなるパラメータテーブルを有している。また、撮影時の合焦位置情報、撮影時の背景位置情報、撮影時の顔位置情報、撮影時の逆光位置情報、撮影時の飽和位置情報、撮影時の光軸中心位置情報などの情報を有する。

そして、子画像用のＩＤＦ情報、縮小Ｒａｗデータを有するとともに、メインの画像情報であるＲａｗデータを有する構成となっている。この図２に示したレイアウトのＲａｗファイルＲ−ｆが、Ｒａｗ画像ファイル生成部１２３において形成され、これが記録／再生部１２５に供給される。

なお、図２に示したＲａｗファイルのレイアウトは一例であり、この他にもさらに詳細な情報を持たせるようにするなどのことももちろん可能である。

そして、記録／再生部１２５には、上述したように、Ｒａｗ画像ファイル生成部１２３で形成された記録用のＲａｗファイルＲ−ｆや、圧縮処理部１０６でデータ圧縮された記録用の画像データＳ１が供給される。

記録／再生部１２５は、制御部１１０の制御に応じて、記録用のＲａｗファイルＲ−ｆや記録用の画像データＳ１を記録媒体１２６に記録する。記録媒体１２６は、ハードディスク、ＤＶＤ（Digital Versatile Disc）等の光ディスク、ＭＤ（Mini Disc（登録商標））等の光磁気ディスク、半導体メモリを用いたいわゆるメモリカードなどである。

なお、これらの各種の記録媒体には、対応するドライブ回路を介して、種々のデータが記録される。しかし、図１においては説明を簡単にするため、記録媒体のドライブ回路については省略した。また、この第１の実施の形態の撮像装置１００において、記録媒体１２６は、例えば、メモリカードである。

また、記録／再生部１２５は、制御部１１０の制御に応じて、記録媒体１２６に記録されている記録用の画像データＳ１を読み出すこともできる。記録／再生部１２５により記録媒体１２６から読み出された画像データＳ１は、伸張処理部１２４に供給される。

伸張処理部１２４は、供給されたデータ圧縮されている記録用データＳ１を伸張処理することによりデータ圧縮前の画像データＳを復元し、これを制御部１１０を通じて表示処理部１０７に供給する。これにより、記録媒体１２６に記憶保持されているデータ圧縮された画像データＳ１に応じた画像を、表示部１０８の表示画面に表示することができる。

また、記録／再生部１２５は、制御部１１０の制御に応じて、記録媒体１２６に記録されている記録用のＲａｗファイルＲ−ｆを読み出すこともできる。記録／再生部１２５により記録媒体１２６から読み出されたＲａｗファイルＲ−ｆは、ＲＡＭ１１３が作業領域として用いられ、制御部１１０において各データが分離されて、そのそれぞれを利用することができるようにされる。

そして、Ｒａｗデータと現像パラメータ群Ｐｍとは、制御部１１０から画像処理部１０４の第１ＷＢ回路１０４１に供給される。これにより、上述もしたように、第１ＷＢ回路１０４１、デモザイク回路１０４２、第２ＷＢ回路１０４４、解像度変換部１０５により一連の現像処理が行われる。

この後、現像処理後の輝度データ（Ｙ）、色データ（Ｃｂ、Ｃｒ）は、圧縮処理部１０６を介して表示処理部１０７に供給され、読み出されたＲａｗデータによる画像が、表示部１０８の表示素子の表示画面に表示される。これにより、記録媒体１２６に記憶保持されているＲａｗデータに応じた画像を、表示部１０８の表示画面に表示することができる。

また、この第１の実施の形態の撮像装置１００は、入出力端子１２８を通じて、例えばパーソナルコンピュータなどの外部機器に接続することができるようになっている。そして、制御部１１０の制御により、記録媒体１２６に記録されているＲａｗデータ等を外部Ｉ／Ｆ１２７、入出力端子を介して、外部機器に送信して外部機器の記録媒体にバックアップしたりすることができるようになっている。

また、外部機器からのデータやプログラムの提供を入出力端子１２８、外部Ｉ／Ｆ１２７を通じて制御部１１０が受け付けて、これを記録／再生部１２５を介して記録媒体１２６に記録したり、不揮発性メモリ１１４に記録したりすることができるようになっている。

このように、この第１の実施の形態の撮像装置１００は、撮像素子部１０１を通じて取り込んだ被写体の画像を表示部１０８の表示画面に表示して確認しながら撮影を行うことができるものである。

そして、この第１の実施の形態の撮像装置１００は、操作部１２１のシャッターキーの押下タイミングで取り込んだ被写体の画像について、現像処理前のＲａｗデータとして記録媒体に記録することができるものである。

また、この第１の実施の形態の撮像装置１００は、Ｒａｗデータとともに、現像処理後の画像データであって、所定の方式でデータ圧縮された画像データをも記録媒体に記録することができるものである。

そして、上述したように、この実施の形態の撮像装置１００は、記録媒体１２６に記録されたＲａｗデータを読み出して、現像処理を施し、現像処理後の画像データに応じた画像を表示部１０８の表示画面に表示することができる。

この場合、ユーザーは、表示画像を確認しながら、繰り返しホワイトバランス調整を行うことができる。しかし、撮像装置１００において、撮影時のパラメータに応じたホワイトバランス調整やデモザイク処理が繰り返し行われることは無い。

すなわち、撮像装置１００においては、デモザイク処理されて形成された３原色データがバッファメモリ１０４３に記憶保持されている。このバッファメモリに記憶保持されている３原色データに対して、ユーザーの指示に応じたホワイトバランス調整を繰り返し行うことにより、第１ＷＢ回路１０４１、デモザイク回路１０４２の処理を省略することができるようにしている。

［ユーザー指示に応じたホワイトバランス調整処理］
このように、撮影することにより得たＲａｗデータを現像処理して表示するとともに、ユーザーからの調整指示に応じてホワイトバランス調整を繰り返し行う場合について説明する。

操作部１２１を通じてユーザーが所定の操作を行うことにより、Ｒａｗファイルに格納されているセット再生用ＪＰＥＧデータによるサムネイル画像の一覧表示を行うことができるようにされる。もちろん、Ｒａｗファイルに格納されている縮小Ｒａｗデータを現像処理して、サムネイル画像の一覧表示を行うようにすることもできる。

そして、ユーザーが、操作部１２１を通じて、当該サムネイル画像の一覧表示の中から、目的とする画像を選択すると、当該サムネイルを形成したＪＰＥＧデータを含むＲａｗファイルが記録媒体１２６から読み出される。

読み出されたＲａｗファイルは、ＲＡＭ１１３に一時記憶され、各データに分離された後、Ｒａｗデータと現像パラメータ群Ｐｍなどの必要なデータが抽出され、これらが画像処理部１０４の第１ＷＢ回路１０４１に供給される。

そして、上述したように、第１ＷＢ回路１０４１〜解像度変換部１０５の機能により現像処理された後の画像データから表示処理部１０７により表示用の画像信号が形成される。この表示用の画像信号が表示部１０８に供給されて、読み出された当該Ｒａｗデータによる画像が表示部１０８の表示画面に表示される。

この後、ユーザーは、操作部１２１を通じホワイトバランス調整を行うようにするための所定の操作を行うと、制御部１１０は、ホワイトバランス調整用の表示を表示部１０８の表示画面に表示する。

すなわち、制御部１１０は、表示処理部１０７に必要な表示情報を供給するとともに、表示処理部１０７を制御して、ホワイトバランス調整用の表示を表示部１０７の表示画面
に表示する。

図３は、この第１の実施の形態の撮像装置１００において、ユーザー指示に応じたホワイトバランス調整を行う場合の調整画面の一例について説明するための図である。この第１の実施の形態の撮像装置１００の場合には、表示されている画像に対して、色温度の調整バー８１と調整スライダ８１Ｓ、演色性の調整バー８２と調整スライダ８２Ｓ、エリア指定アイコン８４、グレー点アイコン８４が表示される。

そして、操作部１２１の例えば上矢印キーと下矢印キーとを用いることによって、画面上に表示された色温度、演色性、エリア指定の内のいずれかを選択することができるようにしている。そして、決定キーを押下操作することにより、調整対象を決定することができる。

そして、色温度の調整を選択して決定した場合には、左右の矢印キーを用いて、色温度の調整バー８１上において調整スライダ８１Ｓを左右に移動させることにより、表示されている画像に対して色温度の調整を行うことができる。

この場合、操作部１２１を通じて入力された調整指示は、制御部１１０を通じて第２ＷＢ回路１０４４に供給される。そして、第２ＷＢ回路１０４４は、バッファメモリ１０４３に記憶保持されているデモザイク処理済みの画像データ（３原色データ）に対して、ユーザーからの調整指示に応じて色温度の調整を行う。

色温度の調整後の画像データは、上述もしたように、解像度変換部１０５で処理された後、圧縮処理部１０６を介して表示処理部１０７に供給され、ここで表示用の画像信号にされて表示部１０８に供給される。これにより、ユーザーの指示に応じて色温度が調整された画像が表示部１０８の表示画面に表示される。

そして、色温度の調整指示を繰り返し行うことにより、表示されている画像について、バッファメモリ１０４３の画像データを用いて繰り返し、色温度の調整を行うことができるようにされる。

同様に、演色性の調整を選択して決定すると、左右の矢印キーを用いて、演色性の調整バー８２上において調整スライダ８２Ｓを左右に移動させることにより、表示されている画像に対して演色性の調整を行うことができるようにされる。

この場合にも、操作部１２１を通じて入力された調整指示は、制御部１１０を通じて第２ＷＢ回路１０４４に供給される。そして、第２ＷＢ回路１０４４は、バッファメモリ１０４３に記憶保持されているデモザイク処理済みの画像データに対して、ユーザーからの調整指示に応じて演色性の調整を行う。

演色性の調整後の画像データは、上述もしたように、解像度変換部１０５で処理された後、圧縮処理部１０６を介して表示処理部１０７に供給され、ここで表示用の画像信号にされて表示部１０８に供給される。これにより、ユーザーの指示に応じて演色性が調整された画像が表示部１０８の表示画面に表示される。

そして、演色性の調整指示を繰り返し行うことにより、表示されている画像について、バッファメモリ１０４３の画像データを用いて繰り返し、演色性の調整を行うことができるようにされる。

さらに、グレー点補正を行うために、エリア指定アイコン８２を選択して決定すると、画像上にエリア指定のためのカーソルが表示される。ユーザーは、操作部１２１の上下左右の矢印キーを用いてカーソルを表示されている画像上の目的とする位置に移動させる。

そして、決定キーをも用いて対角線の両端を指示することにより、図３において指定エリアＡｒが示すように、表示された画像上の目的とする位置に目的とする大きさのエリアを指定する。

すなわち、表示された画像上において、カーソルの移動と位置の決定とを行うことにより、目的とするエリアの対角線の両端を指定するおとにより、表示された画像上の目的とする位置に目的とする大きさのエリアを指定することができるようにされる。

グレー点補正は、表示された画像において、本来、グレーや白などの色が少ない部分を指定して、当該指定部分をグレーにするように当該画像全体の色調を調整するものである。そして、表示画像上に指定する当該指定エリアは、本来、グレーや白などとして表現されるべき部分を指定するものである。

この後、例えば、操作部１２１の上下左右の矢印キーを用いて、カーソルをグレー点アイコン８４に位置付け、決定キーを押下操作することにより、制御部１２１は、第２ＷＢ回路１０４４に対してグレー点補正を実行するように指示を出す。

この場合、第２ＷＢ回路１０４４は、バッファメモリ１４３に記憶保持されている３原色データであって、ユーザーによって指定された指定エリアＡｒ内の３原色データの状態を解析し、この解析結果に基づいて、画像全体に対してグレー点補正を行う。

図４、図５は、グレー点補正の具体例について説明するための図である。図４において太枠内の４画素×４画素の範囲がユーザーによって指定された指定エリアＡｒであるとする。この場合、指定エリアＡｒ内のＲ（赤）信号、Ｇ（緑）信号、Ｂ（青）信号のそれぞれの平均値を求め、Ｇ信号に対するＲ信号の比と、Ｇ信号に対するＢ信号の比を求める。

そして、Ｇ信号に対するＲ信号の比に対して調整値Ｒｇａｉｎを掛け算した結果が値「１」になるように調整値Ｒｇａｉｎを定める。同様に、Ｇ信号に対するＢ信号の比に対して調整値Ｂｇａｉｎを掛け算した結果が値「１」になるように調整値Ｂｇａｉｎを定める。そして、求めた調整値Ｒｇａｉｎ、Ｂｇａｉｎによって、ホワイトバランス調整を行うことにより、グレー点補正を行う。

すなわち、調整値Ｒｇａｉｎは、図５（１）式に示すように、値「１」をＧ信号に対するＲ信号の比で割り算することにより求めることができる。図５（１）において、Ｎｕｍ（Ｒ）、Ｎｕｍ（Ｇ）は、指定エリアＡｒ内の画素数である。そして、（ΣＲ／Ｎｕｍ（Ｒ））は、Ｒ信号の平均値を、（ΣＧ／Ｎｕｍ（Ｇ））は、Ｇ信号の平均値を示している。

また、調整値Ｂｇａｉｎは、図５（２）式に示すように、値「１」をＧ信号に対するＢ信号の比で割り算することにより求めることができる。図５（２）において、Ｎｕｍ（Ｂ）、Ｎｕｍ（Ｇ）は、指定エリアＡｒ内の画素数である。そして、（ΣＢ／Ｎｕｍ（Ｂ））は、Ｂ信号の平均値を、（ΣＧ／Ｎｕｍ（Ｇ））は、Ｇ信号の平均値を示している。

そして、指定エリアＡｒ内のＲ信号の平均がＧ信号の２倍あり、グレーより赤かったとすると、調整値Ｒｇａｉｎは、１／２（２分の１）となる。この調整値Ｒｇａｉｎに基づいて、第２ＷＢ回路１０４４が、バッファメモリ１０４３内の画像データに対してユーザーホワイトバランス調整を行う。つまり、ユーザーホワイトバランス調整後のＲ信号は、ユーザーホワイトバランス調整前のＲ信号を１／２倍（２分の１倍）することにより求めることができる。Ｂ信号についても、同様の処理を行う。

このようにして、第２ＷＢ回路１０４４は、指定エリアＡｒ内の３原色信号に基づいて、Ｒ信号についての調整値Ｒｇａｉｎと、Ｂ信号についての調整値Ｂｇａｉｎとを求め、これらに基づいて、目的とする画像を構成する各画素のＲ信号とＢ信号を補正する。これにより、指定エリアＡｒ内がグレーになるように、画像全体に対してホワイトバランス調整を行うことができるようにされる。

また、このグレー点補正についても、指定エリアＡｒの位置や大きさを順次に変更することにより、繰り返し、グレー点補正を行うことができる。

このように、この第１の実施の形態の撮像装置１００は、記録媒体１２６に記憶保持したＲａｗデータを読み出して、現像処理を行うことにより再生することができるものである。

この場合に、デモザイク処理後の画像データをバッファメモリ１０４３に一時記憶させておくことにより、デモザイク処理後の画像データに対して、ユーザーの指示に応じたホワイトバランス調整（ユーザーホワイトバランス調整）を繰り返し行うことができるようにしている。

なお、ここでは、矩形内検波例として簡単な単純平均測光法を用いる場合を説明したが、これに限るものではない。例えば、中心重点測光法やスポット測光法や顔重点測光法などの種々のホワイトバランス測光手法を用いることも可能である。

また、ここでは、平均処理例として総和（色信号のレベルの総和）／数（指定エリアの画素数）という単純平均を用いるようにしたが、これに限るものではない。いわゆるイプシロンフィルタを用いた平均など、種々の平均処理を用いることができる。

従って、ここでは、図５を用いて説明した計算式にしたがって、Ｒ（赤）信号の調整値とＢ（青）信号の調整値とを求めるようにしたが、これに限るものではない。例えば、重み付けを用いたり、撮像素子等の特性に応じた調整を行うようにしたりするなど、種々の条件を加味した計算式により、より適した調整値を求めるようにすることが可能である。

［Ｒａｗデータの現像処理の全体構成］
次に、この第１の実施の形態の撮像装置１００において行われる、ユーザー指示に応じたホワイトバランス調整処理をも含むＲａｗデータの現像処理の全体構成について説明する。図６は、この第１の実施の形態の撮像装置１００において、記録媒体１２６に記憶保持されているＲａｗデータの現像処理について説明するためのフローチャートである。

撮像装置１００においては、操作部１２１を通じて所定の操作を行うことにより、制御部１１０が表示処理部１０７を制御し、表示部１０８の表示画面に、当該撮像装置１００において実行可能な処理の一覧リストであるメニューを表示する。

そして、当該メニューの選択項目の中から操作部１２１を通じてＲａｗデータの現像処理を選択すると、制御部１１０は、図６に示したフローチャートの処理を実行する。

すると、制御部１１０は、記録媒体１２６に記憶保持されている多数のＲａｗファイルのそれぞれからセット用ＪＰＥＧデータ（サムネイルデータ）を読み出して一覧表示を行い、目的とするＲａｗデータの選択を受け付けるようにする（ステップＳ１０１）。なお、Ｒａｗファイルは、図２を用いて説明したレイアウトのものである。

そして、表示されたサムネイル画像の中から、操作部１２１を通じて目的とするサムネイル画像が選択されると、制御部１１０は選択されたサムネイル画像が格納されているＲａｗファイルを特定する。そして、特定したＲａｗファイルを読み出し、当該ＲａｗファイルからＲａｗデータと撮影時に取得した現像パラメータ群とを取得して、第１ＷＢ回路１０４１に供給する。

第１ＷＢ回路１０４１は、これに供給されたＲａｗデータに対して、同じく供給された現像パラメータ群Ｐｍを用いたホワイトバランス調整（撮影時ＷＢ調整）を行う（ステップＳ１０２）。撮影時ＷＢ処理されたＲａｗデータは、デモザイク回路１０４２に供給される。

デモザイク回路１０４２は、これに供給されたＲａｗデータについてデモザイク処理を実行し、画像を構成する画素毎にＲ（赤）信号、Ｇ（緑）信号、Ｂ（青）信号の３原色データを形成して、これをバッファメモリ１０４３に記録する（ステップＳ１０３）。また、デモザイク処理後の３原色データは、デモザイク回路１０５から第２ＷＢ回路１０４４を通じて解像度変換部１０５に供給される。

解像度変換部１０５は、これに供給された３原色データに対して、種々の補正処理やＹ／Ｃ変換処理及び解像度変換処理を行う。そして、解像度変換部１０５は、処理後の画像データを圧縮処理部１０６を通じて表示処理部１０７に供給し、デモザイク後の画像データによる画像を、表示部１０８の表示画面に表示する（ステップＳ１０４）。

そして、制御部１１０は、図３を用いて説明したように、調整バーや調整スライダ、必要なアイコン等を表示し、ユーザーからのホワイトバランス調整指示を受け付ける（ステップＳ１０５）。

この後、制御部１１０は、ホワイトバランスについての調整指示を受け付けたか否かを判断する（ステップＳ１０６）。ステップＳ１０６の判断処理において、ホワイトバランス調整についての調整指示を受け付けたと判断したときには、制御部１１０は、ユーザーの指示に応じたホワイトバランス調整を行う（ステップＳ１０７）。

具体的にステップＳ１０７の処理は、制御部１１０が、第２ＷＢ回路１０４４を制御して、バッファメモリ１０４３に一時記憶されているデモザイク処理後の画像データ（３原色データ）についてユーザーの指示に応じたホワイトバランス調整を行う。

第２ＷＢ回路１０４４において、ユーザーの調整指示に応じてホワイトバランス調整された画像データ（３原色データ）は、上述もしたように解像度変換部１０５で処理され、圧縮処理部１０６を通じて表示処理部１０７に供給される。これにより、ユーザーの調整指示に応じてホワイトバランス調整された画像データによる画像が表示部１０８の表示画面に表示される（ステップＳ１０８）。

この後、制御部１１０は、ステップＳ１０５からの処理を繰り返し、ユーザーからの指示に応じたホワイトバランス調整を繰り返し行うことができるようにされる。

一方、ステップＳ１０６の判断処理において、ホワイトバランス調整についての調整指示を受け付けていないと判断したときには、制御部１１０は、ユーザーからホワイトバランス調整の終了指示を受け付けたか否かを判断する（ステップＳ１０９）。

ステップＳ１０９の判断処理において、終了指示を受け付けていないと判断したときには、ステップＳ１０５からの処理を繰り返し、ユーザーからの指示に応じたホワイトバランス調整を行うことができるようにされる。

ステップＳ１０９の判断処理において、終了指示を受け付けたと判断したときには、制御部１１０は、ユーザーの調整指示に応じたホワイトバランス調整後であって、データ圧縮された画像データを記録媒体１２６に記録する（ステップＳ１１０）。

このステップＳ１１０の処理は、制御部１１０が、圧縮処理部１０６と記録／再生部１２５とを制御することにより実行される。ステップＳ１１０の処理の後、この図６に示す処理は終了する。

［ユーザー指示に応じたホワイトバランス調整の詳細について］
次に、図６のステップＳ１０７において実行されるユーザーからの調整指示に応じたホワイトバランス調整の詳細について説明する。図７は、図６に示したステップＳ１０７において実行されるユーザーからの調整指示に応じたホワイトバランス調整を説明するためのフローチャートである。

図７に示すように、制御部１１０は、まず、図６に示したステップＳ１０５で受け付けたユーザーからの調整指示が色温度の調整指示か否かを判断する（ステップＳ７０１）。

ステップＳ７０１の判断処理において、ユーザーからの調整指示が色温度の調整指示であると判断した場合、制御部１１０は、第２ＷＢ回路１０４４を制御し、バッファメモリ１０４３の画像データに対してユーザーからの指示に応じた色温度の調整を行う（ステップＳ７０２）。このステップＳ７０２の処理の後、制御部１１０は、この図７に示す処理を終了して、図６に示したステップＳ１０８からの処理を行う。

ステップＳ７０１の判断処理において、ユーザーからの調整指示が色温度の調整指示ではないと判断したときには、制御部１１０は、図６に示したステップＳ１０５で受け付けたユーザーからの調整指示が演色性の調整指示か否かを判断する（ステップＳ７０３）。

ステップＳ７０３の判断処理において、ユーザーからの調整指示が演色性の調整指示であると判断したときには、制御部１１０は、第２ＷＢ回路１０４４を制御し、バッファメモリ１０４３の画像データに対してユーザーからの調整指示に応じた演色性の調整を行う（ステップＳ７０４）。このステップＳ７０４の処理の後、制御部１１０は、この図７に示す処理を終了して、図６に示したステップＳ１０８からの処理を行う。

ステップＳ７０３の判断処理において、ユーザーからの調整指示が演色性の調整指示ではないと判断したときには、制御部１１０は、図６に示したステップＳ１０５で受け付けたユーザーからの調整指示は、エリア指定及びグレー点補正の調整指示であると判断する。

そして、この場合には、制御部１１０は、第２ＷＢ回路１０４４を制御し、バッファメモリ１０４３の画像データに基づいて、ユーザーによって指定された指定エリアＡｒ内の画像データを検波する（ステップＳ７０５）。

このステップＳ７０５の処理は、図３〜図５を用いて説明したように、ユーザーによって指定された指定エリア内のＧ（緑）信号に対するＲ（赤）信号の比と、Ｇ（緑）信号に対するＢ（Ｂ）信号の比とを求める。そして、これらの比を用い図５の計算式にしたがって、Ｒ（赤）信号についての調整値Ｒｇａｉｎと、Ｂ（青）信号についての調整値Ｂｇａｉｎを求める処理である。

そして、ステップＳ７０５において求めたＲ（赤）信号についての調整値Ｒｇａｉｎと、Ｂ（青）信号についての調整値Ｂｇａｉｎとを用い、画像を形成する画素毎にＲ（赤）信号とＢ（青）信号とを調整してグレー点補正を行う（ステップＳ７０６）。このステップＳ７０６の処理の後、制御部１１０は、この図７に示す処理を終了して、図６に示したステップＳ１０８からの処理を行う。

このように、この第１の実施の形態の撮像装置１００においては、撮影することにより得たＲａｗデータの現像処理を行うことができる。そして、現像処理は、撮影時ホワイトバランス調整とデモザイク処理については１回だけ行い、その結果の画像データをバッファメモリ１０４３に記憶保持しておく。

これにより、ユーザーからの調整指示に応じたホワイトバランス調整については、バッファメモリ１０４３に記憶保持されている画像データに対して繰り返し行うことができる。したがって、ユーザーからの調整指示に応じたホワイトバランス調整を繰り返し行う場合であっても、撮影時ホワイトバランス調整とデモザイク処理とについては繰り返し行う必要はないので、迅速に現像処理を行うことができる。

もちろん、撮影時ホワイトバランス調整もデモザイク前のＲａｗデータに対して行われるので、高品位な現像処理が実現できる。

［変形例１］
ところで、上述した撮像装置１００においては、ユーザーの指示に応じた指定エリアＡｒ内を検波することにより求められたＲ（赤）信号についての調整値（Ｒｇａｉｎ）とＢ（青）信号についての調整値（Ｂｇａｉｎ）を用いてグレー点補正を行った。しかし、Ｒｇａｉｎ、Ｂｇａｉｎだけでなく、さらに輝度値をも考慮して、より適切にグレー点補正を行うようにすることもできる。

すなわち、輝度が０％（パーセント）である部分は、複雑な色の表現は存在せずいわゆる全黒の状態である。また、輝度が１００％（パーセント）である部分も、複雑な色の表現は存在せず、全黒とは逆のいわゆる全白の状態である。

そして、輝度が０％（パーセント）である部分、及び、輝度が１００％（パーセント）である部分は、全黒、全白となるように、通常、予め補正処理されている。このため、これら全黒の部分や全白の部分において、グレー点補正を行ってしまうと、全黒や全白が正しく表現できなくなってしまう。

そこで、輝度が０％である部分と、輝度が１００％である部分とについては、調整値であるＲｇａｉｎ、Ｂｇａｉｎに応じたグレー点補正は行わず、調整値を値「１」として、実質的な調整は行わないようにする。その他の部分については、調整値であるＲｇａｉｎ、Ｂｇａｉｎに応じたグレー点補正を行う。

このようにすることにより、全黒や全白である部分に対して、不必要なグレー点補正を行うことも無いので、現像対象の画像に対してより適切にグレー点補正を行って、自然な色合いの画像を形成することができる。

［変形例２］
さらに、輝度が０％近傍となる部分では、調整値であるＲｇａｉｎ、Ｂｇａｉｎに応じたグレー点補正を行った場合に、調整値が大きすぎるなどするために、適切なグレー点補正ができない場合があると考えられる。

同様に、輝度が１００％近傍となる部分でも、調整値であるＲｇａｉｎ、Ｂｇａｉｎに応じたグレー点補正を行った場合に、調整値が大きすぎるなどするために、適切なグレー点補正ができない場合があると考えられる。

そこで、輝度が０％近傍の部分と、輝度が１００％近傍の部分とにおいては、輝度に応じて、調整値であるＲｇａｉｎ、Ｂｇａｉｎをさらに調整して用いるようにする。

図８は、輝度に応じてグレー点補正を行うようにする場合の、輝度変調矩形内（指定エリア内）検波の概要について説明するための図である。図８に示すように、輝度が０％〜Ｌ％の区間においては、調整値を、値「１」（１倍）から値「Ｒｇｉａｎ」、「Ｂｇａｉｎ」倍までの間において、徐々に変化させるようにする。

また、図８に示すように、輝度がＨ％〜１００％の区間においては、調整値を、値「Ｒｇｉａｎ」、「Ｂｇａｉｎ」倍から値「１」（１倍）までの間において、徐々に変化させるようにする。

ここで、Ｌ％が予め決められる第１の値であり、Ｈ％が予め決められる値であって、第１の値よりも大きな第２の値である。また、第１の値の具体例としては、例えば、５％、１０％、１５％、２０％などの値であり、第２の値としては、８０％、８５％、９０％、９５％などの値である。もちろん、ユーザーの指示に応じて１％単位などの任意の単位で細かく調整できるようにすることも可能である。

そして、画像を構成する各画素において、その画素の輝度が、輝度が０％〜Ｌ％の区間と、輝度がＨ％〜１００％の区間とにおいては、調整値「Ｒｇｉａｎ」、「Ｂｇａｉｎ」をそのまま用いることなく、輝度に応じて調整した値を用いるようにする。

具体的には、輝度が０％〜Ｌ％の区間と、輝度がＨ％〜１００％の区間とにおいては、調整値「Ｒｇｉａｎ」、「Ｂｇａｉｎ」を基準値として用い、それぞれの区間において線形に変化するように定めればよい。

このように、輝度が０％〜Ｌ％の区間と、輝度がＨ％〜１００％の区間とにおいては、Ｒ（赤）信号とＢ（青）信号とについての調整値を輝度に応じて変化させることにより、必要以上に大きな調整値や必要以上に小さな調整値で調整を行うことを防止することができる。

これにより、目的とする画像について、より適切にグレー点補正を行い、画像の色彩をより自然なものとして再現することができる。

なお、画像を構成する画素の輝度は、当該画素の３原色信号のそれぞれを用い、例えば、以下に示す（１）式により求めるようにすればよい。すなわち、
輝度Ｙ＝０．３０Ｒ＋０．５９Ｇ＋０．１１Ｂ …（１）
により求めることができる。ここで、Ｒ、Ｇ、Ｂのそれぞれは、Ｒ（赤）信号、Ｇ（緑）信号、Ｂ（青）信号のそれぞれのレベル値を意味している。

また、簡便的には、Ｇ（緑）信号を輝度信号とみなし、Ｇ（緑）信号のレベル値に基づいて、Ｒ（赤）信号に対する調整値と、Ｂ（青）信号に対する調整値とを求めるようにしてもよい。

［変形例１、２の場合のグレー点補正処理について］
図９は、上述した変形例１、２のグレー点補正を含む、ユーザーホワイトバランス調整について説明するためのフローチャートである。この図９に示すフローチャートの処理もまた、図６に示したステップＳ１０７において実行されるものである。

そして、図９のフローチャートの処理は、ステップＳ７０５Ｘ、ステップＳ７０６Ｘで行われる処理を除けば、図７に示したフローチャートの処理と同様に行われるものである。このため、図９においては、図７に示したフローチャートの処理と同様に行われる部分には同じ参照符号を付し、その部分の説明については重複するので省略することとする。

図９に示した処理において、グレー点補正を行うことが指示された場合に実行されるステップＳ７０５Ｘにおいては、図８のステップＳ７０５の処理と同様に、まず、指定エリアＡｒ内の３原色信号に基づいて、調整値Ｒｇａｉｎ、Ｂｇａｉｎが求められる。さらに、ステップＳ７０５Ｘにおいては、輝度値に応じて、調整値Ｒｇａｉｎ、Ｂｇａｉｎが変調するようにされる。

具体的には、変形例１の場合には、輝度が０％と、１００％の時には、調整値は値「１」とされる。また、変形例２の場合には、輝度が０％〜Ｌ％の区間と、輝度がＨ％〜１００％の区間とにおいては、Ｒ（赤）信号とＢ（青）信号とについての調整値を輝度に応じて変化させる。

より具体的に説明すれば、変形例２の場合、調整対象の画素の輝度が０％〜Ｌ％の区間にあるときに、用いる調整値は、以下の（２）式により求めることができる。すなわち、
用いる調整値＝調整値Ｒｇａｉｎ、Ｂｇａｉｎ×（輝度（％）／Ｌ％）…（２）
となる。

また、変形例２の場合、調整対象の画素の輝度がＨ％〜１００％の区間にあるときに、用いる調整値は、以下の（３）式により求めることができる。すなわち、
用いる調整値＝調整値Ｒｇａｉｎ、Ｂｇａｉｎ×（（１００％−輝度（％））／（１００％−Ｈ％））…（３）
となる。

なお、変形例２の場合においても、輝度が０％のときと、輝度が１００％のときにおいては、用いる調整値は、値「１」にする。これ以外の場合には、上述した（２）式、（３）式により用いる調整値を線形に変換させる。

そして、図９のステップＳ７０６Ｘにおいては、まず、調整対象の画素の輝度を求める。そして、求めた輝度が、０％〜Ｌ％の区間にあるか、Ｈ％〜１００％の区間にあるか、それ以外かに応じて、Ｒ（赤）信号とＢ（青）信号に対する調整値が異なるようにされる。

すなわち、調整対象の画素の輝度が、０％以上Ｌ％以下の時には上記の（２）式により求めた調整値が用いられる。また、調整対象の画素の輝度が、Ｌ％より大きく、Ｈ％より小さいときには調整値Ｒｇａｉｎ、Ｂｇａｉｎがそのまま用いられる。また、調整対象の画素の輝度が、Ｈ％以上１００％以下の時には上記の（３）式により求めた調整値が用いられる。

このようにして、調整対象の画素の輝度値をも考慮して、グレー点補正のための調整値を調整して用いることにより、不自然な調整を極力行わないようにして、自然な色合いの画像となるように、グレー点補正を行うようにすることができる。

なお、図８を用いて説明したように、この第１の実施の形態の第２の変形例の場合、調整対象の画素の輝度が、０％〜Ｌ％の区間と、Ｈ％〜１００％の区間とにおいては、線形に調整値を変化させる場合を例にして説明したが、これに限るものではない。

色彩の再現性、撮像素子や表示素子の特性、あるいは、ユーザーの好みなどの種々の条件に基づいて、種々の条件を考慮して、０％〜Ｌ％の区間と、Ｈ％〜１００％の区間とにおいては、２次関数や３次関数によって定義されるような関係に従って、輝度に応じた調整値を求めるようにしてもよい。

また、輝度に応じた調整値を、ユーザーの好みに応じて変化するように、輝度が０％〜Ｌ％の区間と輝度がＨ％〜１００％の区間とのそれぞれにおいて、ユーザーによってその変化の状態を調整できるようにしてもよい。

［第２の実施の形態］
次に、この発明の一実施の形態が適用された第２の実施の形態の画像処理装置について説明する。この第２の実施の形態の画像処理装置２００は、撮像機能は備えず、Ｒａｗデータの提供を受けて、これを処理する機能を備えたものである。具体的には、例えば、画像データの専用処理装置、あるいは、パーソナルコンピュータなどの種々のデータの処理が可能な情報処理装置として実現されるものである。

図１０は、この発明の一実施の形態が適用された第２の実施の形態の画像処理装置２００の構成例を説明するためのブロック図である。

図１０に示すように、第２の実施の形態の画像処理装置２００は、圧縮／伸張部２０１、画像処理部２０２、解像度変換部２０３、表示処理部２０４、表示部２０５、ハードディスクドライブ（以下、ＨＤＤと略称する。）２０６を備えている。

画像処理部２０２は、第１ホワイトバランス回路（以下、第１ＷＢ回路と略称する。）２０２１、デモザイク回路２０２２、バッファメモリ２０２３、第２ホワイトバランス回路（以下、第２ＷＢ回路と略称する。）２０２４を備えたものである。

また、画像処理装置２００は、制御部２１０、操作部２２１、メディアドライブ２２２、外部インターフェース（以下、外部Ｉ／Ｆと略称する。）２２３、入出力端子２２４、通信インターフェース（以下、通信Ｉ／Ｆという。）２２５、送受信アンテナ２２６を備えている。

制御部２１０は、画像処理装置２００の各部を制御するものであり、図１０に示すように、ＣＰＵ２１１、ＲＯＭ２１２、ＲＡＭ２１３、不揮発性メモリ２４４がＣＰＵバス２１５を通じて接続されて構成されたマイクロコンピュータである。

ここで、ＣＰＵ２１１は、後述するＲＯＭ２１２に記憶保持されている種々のプログラムを読み出して実行し、各部に供給する制御信号を形成して出力したり、各部から送信されてくるデータを処理したりする。

ＲＯＭ２１２は、上述したように、ＣＰＵ２１１によって実行される種々のプログラムや、処理に必要になるデータを記憶保持するものである。ＲＡＭ２１３は、種々の処理において、主に作業領域として用いられるものである。

また、不揮発性メモリ２１４は、電源が落とされても保持しておくべき情報、例えば、ユーザーが設定するようにした種々のパラメータや機能追加のために新たに提供されたプログラムなどを記憶保持するものである。なお、不揮発性メモリ２１４としては、例えば、ＥＥＰＲＯＭやフラッシュメモリなどが用いられる。

また、制御部２１０に接続された操作部１２１は、数字キー、上下左右の矢印キー、その他種々のファクションキーなどを備え、ユーザーからの操作入力を受け付けて、これを電気信号に変換し、制御部２１０に供給することができるものである。

また、この第２の実施の形態の画像処理装置２００において、操作部２２１は、例えばいわゆるマウスなどと呼ばれるポインティングデバイスなど、種々の形態のポインティングデバイスをも含んでいるものである。

これにより、制御部２１０は、操作部２２１を通じて受け付けたユーザーからの操作入力に応じて各部を制御し、ユーザーの操作入力に応じた処理を行うことができるようにしている。

そして、図１０に示した画像処理装置２００において、圧縮／伸張部２０１は、図１に示した撮像装置１００の圧縮処理部１０６と伸張処理部１２４との機能を合わせ持つようにしたものである。

また、図１０に示した画像処理装置２００において、画像処理部２０２は、図１に示した撮像装置１００の画像処理部１０４と同様に構成されるものである。

すなわち、画像処理装置２００の第１ＷＢ回路２０２１は、撮像装置１００の第１ＷＢ回路１０４１と同様に構成されたものである。また、画像処理装置２００のデモザイク回路２０２２は、撮像装置１００のデモザイク回路１０４１と同様に構成されたものである。

また、画像処理装置２００のバッファメモリ２０２３は、撮像装置１００のバッファメモリ１０４３と同様に構成されたものである。また、画像処理装置２００の第２ＷＢ回路２０２４は、撮像装置１００の第２ＷＢ回路１０４４と同様に構成されたものである。

また、画像処理装置２００の解像度変換部２０３は、撮像装置１００の解像度変換部１０６と同様に構成されたものである。また、画像処理装置２００の表示処理部２０４は、撮像装置１００の表示処理部１０７と同様に構成されたものである。

また、画像処理装置２００の表示部２０５は、撮像装置１００の表示部１０８と同様に構成されたものである。なお、画像処理装置２００は、画像データの例えば専用処理装置として実現されるものであるので、撮像装置１００の表示部１０８よりも大画面、高性能の表示部を備えるようにすることが可能である。

そして、画像処理装置２００において、ＨＤＤ２０６は、ハードディスクを備え、制御部２１０の制御に応じてハードディスクから目的とするデータを読み出したり、当該ハードディスクに対してデータを記録したりすることができるものである。

また、画像処理装置２００において、メディアドライブ２２２は、カードメモリ用のものである。すなわち、メディアドライブ２２２に対しては、カードメモリが着脱可能にされている。そして、メディアドライブ２２２は、これに装着されたカードメモリからデータを読み出したり、当該カードメモリに対してデータを書き込んだりするものである。

なお、画像処理装置２００において、メディアドライブ２２２は、カードメモリ用のものとして説明したが、これに限るものではない。メディアドライブ２２２は、例えば、ＤＶＤやＣＤなどの光ディスク用のものとして構成したり、ＭＤ（登録商標）等の光磁気ディスク用のものとして構成したりするなど、種々の記録媒体用のものとして構成することももちろん可能である。

また、画像処理装置２００において、外部インターフェース（以下、外部Ｉ／Ｆという。）２２３、入出力端２２４は、当該画像処理装置２００に対して、例えば撮像装置などの外部機器を接続するためのものである。

また、画像処理装置２００において、通信インターフェース（以下、通信Ｉ／Ｆという。）２２５、送受信アンテナ２２６は、通信機能を備えた外部機器との間で、種々のデータの送受信を行うためのものである。

そして、画像処理装置２００の制御部２１０は、外部Ｉ／Ｆ２２３、入出力端２２４を通じて接続された外部機器から画像データ等を取得し、これをＨＤＤ２０６のハードディスクやメディアドライブ２２２に装着されたカードメモリ等に記録することができる。

また、画像処理装置２００の制御部は、外部Ｉ／Ｆ２２３、入出力端２２４を通じて接続された外部機器に対して、ＨＤＤ２０６のハードディスクやメディアドライブ２２２に装着されたカードメモリに記録されている画像データ等を送信することもできる。

同様に、画像処理装置２００の制御部２１０は、通信Ｉ／Ｆ２２５、送受信アンテナ２２６を通じて外部機器からの画像データ等を受信し、これをＨＤＤ２０６のハードディスクやメディアドライブ２２２に装着されたカードメモリ等に記録することができる。

また、画像処理装置２００の制御部は、通信Ｉ／Ｆ２２５、送受信アンテナ２２６を通じて外部機器に対して、ＨＤＤ２０６のハードディスクやメディアドライブ２２２に装着されたカードメモリ等に記録されている画像データ等を送信することもできる。

そして、この第２の実施の形態の画像処理装置２００においては、例えば、図２に示したレイアウトのＲａｗファイルが記録されたカードメモリがメディアドライブ２２２に装着された場合に、そのＲａｗデータの現像処理を行うことができる。

もちろん、外部Ｉ／Ｆ２２３及び入出力端２２４を通じて外部機器から取得し、ＨＤＤ２０６のハードディスクやメディアドライブ２２２に接続されたカードメモリに記録されたＲａｗファイルのＲａｗデータの現像処理も行うことができる。

また、通信Ｉ／Ｆ２２５及び送受信アンテナ２２６を通じて外部機器から取得し、ＨＤＤ２０６のハードディスクやメディアドライブ２２２に接続されたカードメモリに記録されたＲａｗファイルのＲａｗデータの現像処理も行うことができる。

［Ｒａｗデータの現像処理の概要］
ここで、画像処理装置２００において行われるＲａｗデータの現像処理の概要について説明する。

詳しくは後述するが、ＨＤＤ２０６のハードディスクやメディアドライブ２２２に装着されたカードメモリに記録されているＲａｗファイルの中から、操作部２２１を通じてユーザーにより現像対象のＲａｗデータが選択されると現像処理が実行される。

この場合、制御部２１０は、目的とするＲａｗデータと現像パラメータ群Ｐｍとを記録先の記録媒体から読み出し、これらを画像処理部２０２の第１ＷＢ回路２０２１に供給する。

第１ＷＢ回路２０２１は、供給されたＲａｗデータに対して、供給された現像パラメータ群Ｐｍを用いたホワイトバランス調整を実行する。このように、第１ＷＢ回路２０２１は、Ｒａｗデータを検波することにより得られた現像パラメータ群Ｐｍに応じたホワイトバランス調整を行うものである。

そして、第１ＷＢ回路２０２１でホワイトバランス調整されたＲａｗデータは、デモザイク回路２０２２に供給され、ここでデモザイク処理（同時化処理）が施される。この結果、デモザイク回路２０２２において、画像を構成する画素毎に、３原色データ（３原色信号）が形成され、これがバッファメモリ２０２３に一時記憶されるとともに、第２ＷＢ回路２０２４を通じて解像度変換部２０３に供給される。

解像度変換部２０３は、これに供給された３原色データに対して、アパーチャ補正処理、ガンマ（γ）補正処理、輝度データ（Ｙ）と色データ（Ｃｂ、Ｃｒ）への変換処理（Ｙ／Ｃ変換処理）、色収差補正処理、解像度変換処理を行う。解像度変換部１０５において、所定の解像度とされた輝度データ（Ｙ）と色データ（Ｃｂ、Ｃｒ）は表示処理部２０４に供給される。

表示処理部２０４は、解像度変換部２０３からの輝度データ（Ｙ）と色データ（Ｃｂ、Ｃｒ）とから、表示部２０５の表示画面に画像を表示するための画像信号を形成し、これを表示部２０５に供給する。表示部２０５は、表示処理部２０４からの画像信号の供給を受けて、これに応じた画像を自己の表示素子の表示画面に表示する。

この後、制御部２１０は操作部２２１を通じて、表示部２０５の表示画面に表示された画像を確認したユーザーからのホワイトバランス調整に関する調整指示を受け付けるようにする。

制御部２１０は、ユーザーからの当該調整指示を受け付けると、これを第２ＷＢ回路２０２４に供給し、ユーザーの調整指示に応じたホワイトバランス調整を行うように制御する。

この場合、第２ＷＢ回路２０２４は、バッファメモリ２０２３に記憶保持されている３原色データに対して、ユーザー調整指示に応じたホワイトバランス調整を行い、処理後の３原色データを解像度変換部２０３に供給する。

そして、上述したように、解像度変換部２０３においてＹＣ変換等の処理がなされるとともに、所定の解像度に変換されたＹＣデータ（輝度データ（Ｙ）と色データ（Ｃｂ、Ｃｒ））が、表示処理部２０４で処理され、表示部２０５に供給される。

これにより、ユーザーの調整指示に応じてホワイトバランス調整された画像データによる画像を表示部２０５の表示画面に表示することができる。ユーザーは、表示画像を確認し、ホワイトバランス調整についての調整指示を入力することにより、第２ＷＢ回路２０２４の機能により、ユーザーの調整指示に応じたホワイトバランス調整を繰り返し行うことができる。

このように、この第２の実施の形態の画像処理装置２００もまた、Ｒａｗデータの現像処理を行うことができるものである。そして、画像処理装置２００もまた、デモザイク処理後の３原色データをバッファメモリに保持しておくことによって、ユーザーの調整指示に応じたホワイトバランス調整を行う場合であっても、繰り返しデモザイク処理等を行うこともない。

したがって、ユーザーからの調整指示に応じたホワイトバランス調整を繰り返し行うようにした場合であっても、画像処理装置２００にかかる負荷が増大したり、現像処理に時間がかかったりすることもないようにされる。

［Ｒａｗデータの現像処理の詳細］
図１１は、この第２の実施の形態の画像処理装置２００において、目的とする画像のＲａｗデータを選択して現像処理を行うとともに、ユーザー指示に応じたホワイトバランス調整をも行えるようにする場合の調整画面の一例について説明するための図である。

この第２の実施の形態の画像処理装置２００においても、操作部２２１を通じて所定の操作を行うことにより、制御部２１０が表示処理部２０４を制御し、画像処理装置２００において実行可能な処理の一覧メニューを表示部２０５の表示画面に表示する。

ユーザーは、操作部２２１を通じて、表示された一覧メニューの中からＲａｗデータの現像処理を行うようにする項目を選択するとともに、Ｒａｗファイルの格納先のメディア（記録媒体）を指定する。すると、制御部２１０は、表示処理部２０４を制御し、図１１に示すように、表示部２０５の表示画面の左側に、まず、一覧表示ウィンドウ２０５１を表示する。

この一覧表示ウィンドウ２０５１は、指示されたメディアに記録保持されているＲａｗファイルの格納先であるフォルダ名の指定欄と、指定されたフォルダに格納されているＲａｗファイルのサムネイル画像の一覧表示欄とを有するものである。

そして、ユーザーが操作部２１１を通じてフォルダ名の指定欄に目的とするフォルダ名を入力する。すると、制御部２１０は、当該フォルダに格納されている各Ｒａｗファイルのセット再生用ＪＰＥＧデータ等のサムネイル画像データを読み出し、これを表示処理部２０４に供給してサムネイル画像の一覧表示を行う。

この後、ユーザーは、操作部２２１を通じて、現像したいＲａｗデータに対応するサムネイル画像を選択する。すると、制御部２１０は、選択されたサムネイル画像に対応するＲａｗファイルを特定し、特定したＲａｗファイルから現像対象のＲａｗデータと現像パラメータＰｍとを読み出して、画像処理部２０２の第１ＷＢ回路２０２１に供給する。

これにより、上述もしたように、画像処理部２０２の各部、解像度変換部２０３、表示処理部２０４、表示部２０５が機能して、図１１に示すように、表示部２０５の表示画面の中央の調整画像領域２０５２に、選択され現像処理された画像が表示される。

また、このとき、制御部２１０は、表示処理部２０４を制御し、表示画面の右側に、調整入力ウィンドウ２０５３を表示し、ユーザーからのホワイトバランス調整についての調整指示の入力を受け付けるようにする。

この例の場合、調整入力ウィンドウ２０５３は、ユーザーによって既に設定されている調整指示を撮影時に戻すためのアイコン５３１と、設定されている調整指示が存在する場合に、これを呼び出すためのアイコン５３２と、新たに入力した調整指示を保存するためのアイコン５３３とを備えている。

また、ホワイトバランス調整に関する調整指示を入力するための表示として、色温度の調整バー５３４と調整スライダ５３４Ｓ、演色性の調整バー５３５と調整スライダ５３５Ｓ、エリア指定アイコン５３６、グレー点アイコン５３７が表示される。

そして、ユーザーは、操作部２２１を通じて、表示画面２０５Ｇ上に表示された色温度、演色性、エリア指定の内のいずれかを選択する。そして、色温度の調整を選択した場合には、左右の矢印キー等を用いて、色温度の調整バー５３４上において調整スライダ５３４Ｓを左右に移動させることにより、表示されている画像に対して色温度の調整を行うことができるようにされる。

この場合、操作部２２１を通じて入力された調整指示は、制御部２１０を通じて第２ＷＢ回路２０２４に供給される。そして、第２ＷＢ回路２０２４は、バッファメモリ２０２３に記憶保持されているデモザイク処理済みの画像データに対して、ユーザーからの調整指示に応じて色温度の調整を行う。

色温度の調整後の画像データは、上述もしたように、解像度変換部２０３で処理された後、表示処理部２０４に供給され、ここで表示用の画像信号にされて表示部２０５に供給される。これにより、ユーザーの指示に応じて色温度が調整された画像が表示部２０５の表示画面に表示される。

そして、色温度の調整指示を繰り返し行うことにより、表示されている画像について、バッファメモリ２０２３の画像データを用いて繰り返し、色温度の調整を行うことができるようにされる。

同様に、演色性の調整を選択し、左右の矢印キー等を用いて、演色性の調整バー５３５上において調整スライダ５３５Ｓを左右に移動させることにより、表示されている画像に対して演色性の調整を行うことができるようにされる。

この場合にも、操作部２２１を通じて入力された調整指示は、制御部２１０を通じて第２ＷＢ回路２０２４に供給される。そして、第２ＷＢ回路２０２４は、バッファメモリ２０２３に記憶保持されているデモザイク処理済みの画像データに対して、ユーザーからの調整指示に応じて演色性の調整を行う。

演色性の調整後の画像データは、上述もしたように、解像度変換部２０３で処理された後、表示処理部２０４に供給され、ここで表示用の画像信号にされて表示部２０５に供給される。これにより、ユーザーの指示に応じて演色性が調整された画像が表示部２０５の表示画面に表示される。

そして、演色性の調整指示を繰り返し行うことにより、表示されている画像について、バッファメモリ２０２３の画像データを用いて繰り返し、演色性の調整を行うことができるようにされる。

さらに、グレー点補正を行うために、エリア指定アイコン５３６を選択すると、画像上にエリア指定のためのカーソルが表示される。ユーザーは、操作部２２１を通じてカーソルを表示されている画像上の目的とする位置に移動させる。

そして、例えば決定キーをも用いて対角線の両端を指示することにより、図１１において指定エリアＡｒが示すように、表示された画像上の目的とする位置に目的とする大きさの指定エリアＡｒを指定する。

すなわち、表示された画像上において、カーソルの移動と位置の決定とを行い、目的とするエリアの対角線の両端を指定するおとにより、表示された画像上の目的とする位置に目的とする大きさの指定エリアＡｒを指定することができるようにされる。

この後、例えば、操作部２２１を通じて、カーソルをグレー点アイコン５３７に位置付け、決定キーを押下操作することにより、制御部２２０は、第２ＷＢ回路２０２４に対してグレー点補正を実行するように指示を出す。

この場合、第２ＷＢ回路２０２４は、ユーザーによって指定された指定エリアＡｒ内の３原色データの状態を解析し、この解析結果に基づいて、画像全体に対してグレー点補正を行う。

そして、指定エリアＡｒの位置や大きさの変更を繰り返し行うことにより、表示されている画像について、バッファメモリ２０２３の画像データを用いて繰り返し、グレー点補正を行うことができるようにされる。

また、グレー点補正を行う場合には、上述した第１の実施の形態の撮像装置１００の場合と同様に、第２ＷＢ回路２０２４において、Ｒ（赤）信号に対する調整値Ｒｇａｉｎ、Ｂ（青）信号に対する調整値Ｂｇａｉｎとを求め、これに応じて補正を行う。

もちろん、上述した第１の実施の形態の撮像装置１００の場合と同様に、画像の各画素の輝度をも考慮し、輝度が０％である部分と、輝度が１００％である部分とについては、調整値であるＲｇａｉｎ、Ｂｇａｉｎに応じたグレー点補正は行わず、調整値を値「１」として、実質的な調整は行わないようにしてもよい。その他の部分については、調整値であるＲｇａｉｎ、Ｂｇａｉｎに応じたグレー点補正を行うようにすればよい。

また、第１の実施の形態において、図８を用いて説明したように、輝度が０％〜Ｌ％の区間と、輝度がＨ％〜１００％の区間とにおいては、調整値「Ｒｇｉａｎ」、「Ｂｇａｉｎ」をそのまま用いることなく、輝度に応じて調整した値を用いるようにする。その他の部分については、調整値であるＲｇａｉｎ、Ｂｇａｉｎに応じたグレー点補正を行うようにすればよい。

このように、この第２の実施の形態の画像処理装置２００においても、第１の実施の形態の撮像装置１００の場合と同様に、制御部２１０において図６を用いて説明した処理を実行する。これにより、Ｒａｗデータの現像処理に応じて、バッファメモリ２０２３に保持されたデモザイク処理後の画像データに対して、ユーザーの調整指示に応じたホワイトバランス調整を繰り返し行うことができる。

また、画像処理装置２００において、図６に示した処理を実行する場合であっても、図６のステップＳ１０７においては、図７に示した処理と、図９に示した処理のいずれをも実行することができる。

また、上述した第２の実施の形態においても、第１の実施の形態の場合と同様に、矩形内検波例として簡単な単純平均測光法を用いるものとして説明したが、これに限るものではない。例えば、中心重点測光法やスポット測光法や顔重点測光法などの種々のホワイトバランス測光手法を用いることも可能である。

また、平均処理例としては第１の実施の形態の場合と同様に、総和（色信号のレベルの総和）／数（指定エリアの画素数）という単純平均を用いることができる。しかし、これに限るものではない。いわゆるイプシロンフィルタを用いた平均など、種々の平均処理を用いることもできる。

また、この第２の実施の形態においても、図５を用いて説明した計算式にしたがって、Ｒ（赤）信号の調整値とＢ（青）信号の調整値とを求めるものとして説明したが、これに限るものではない。例えば、重み付けを用いたり、撮影に持ちられた撮像装置に関する情報を取得し、当該撮像装置の撮像素子等の特性に応じた調整を行うようにしたりするなど、種々の条件等を加味した計算式により、より適した調整値を求めるようにすることが可能である。

［その他］
なお、上述した第１、第２の実施の形態においては、バッファメモリ１０４３、２０２３へのデータの書き込みや読み出しは、図１、図１０に示したように、デモザイク回路１０４２、２０２２を介して行うように表現した。しかし、これに限るものではない。

ユーザーの調整指示に応じたホワイトバランス調整を行う場合には、第２ＷＢ回路１０４４、２０２４が直接にバッファメモリ１０４３、２０２３から読み出すことができるように構成することももちろん可能である。

また、バッファメモリ１０４３、２０２３を画像処理部１０４、２０２内に設けるのではなく、制御部１１０、２１０などの別の場所も受けられたＲＡＭなどのメモリを用いるようにすることも可能である。

また、上述した第１、第２の実施の形態において、グレー点補正を行う場合には、画像上において、グレーにすべき指定エリアＡｒを矩形範囲として指示するようにした。しかし、指定エリアＡｒは、矩形のエリアに限るものではない。例えば、円形のエリアとして設定したり、その他の種々の形状のエリアとして指定したりすることも可能である。

また、上述した実施の形態においては、Ｒａｗデータは、いわゆるベイヤー配列（Ｇ市松配列）の単板のカラーフィルタを用いた撮像素子を通じて取得するようにしたものである。しかしこれに限るものではない。

例えば、近年用いられるようになってきているいわゆるクリアビッド（Clearvid）配列のカラーフィルタを用いた撮像素子を通じて取得したＲａｗデータを現像する場合にもこの発明を適用することができる。

また、Ｒ、Ｇ、Ｂのいわゆる３板のカラーフィルタを用いた撮像素子を通じて取得したＲａｗデータを現像する場合であっても、この発明を用いるようにすることができる。すなわち、ユーザーによる調整指示に応じたホワイトバランス調整については、撮影時の検波パラメータに従ったホワイトバランス調整を行って、画像を形成する画素毎にＲ、Ｇ、Ｂの３原色信号を生成してこれを保持し、当該保持した３原色信号に対して、ユーザーからの調整指示に応じたホワイトバランス調整を行うようにすればよい。

また、上述した第１、第２の実施の形態においては、デモザイク処理後の３原色信号に対して、ユーザーの調整指示に応じたホワイトバランス調整を行う場合について説明した。しかしこれに限るものではない。デモザイク処理後の３原色信号に対して、例えば、輝度調整やシャープネス調整などの適宜の画像調整を行うようにしてもよい。

また、上述した実施の形態においては、ユーザーの調整指示に応じたホワイトバランス調整後の画像データを、所定の記録媒体に記録するものとして説明した。この場合に、記録するか否かを選択するようにしたり、既に記録されている画像データと置き換えるようにしたりするなどの適宜の保存処理を行うようにすることももちろん可能である。

なお、上述した実施の形態においては、第１ＷＢ回路１０４１、２０２１が、第１の調整手段としての機能を実現し、デモザイク回路１０４２、２０２２が、デモザイク処理手段としての機能を実現している。

また、バッファメモリ１０４３、２０２３が、一時記憶手段としての機能を実現し、第２ＷＢ回路１０４４、２０２４が、第２の調整手段としての機能を実現している。

また、第２ＷＢ回路１０４４、２０２４内に、調整量算出手段としての機能と、グレー点補正手段としての機能とが設けられる。

また、撮像素子部１０１が撮像素子を備えるものであり、前処理回路１０２が、Ｒａｗデータを形成する形成手段としての機能を実現している。

［方法の発明としての実現性について］
なお、上述した第１、第２の実施の形態において、画像処理部１０４、２０２内の第１ＷＢ回路１０４１、２０２１、デモザイク回路１０４２、２０２２、バッファメモリ１０４３、２０２３、第２ＷＢ回路１０４４、２０２４の各部で行われる処理のそれぞれ（各部について行われる処理のそれぞれ）は、この発明による方法における対応する各工程の処理に該当する。

より具体的には、図６、図７、図９のフローチャートに示した処理は、この発明よる方法が適用されたものである。したがって、この発明の方法についても、実現可能である。

［プログラムの発明としての実現性について］
また、上述した第１、２の実施の形態において、画像処理部１０４、２０２内の第１ＷＢ回路１０４１、２０２１、デモザイク回路１０４２、２０２２、第２ＷＢ回路１０４４、２０２４の各部で行われる処理のそれぞれは、例えばマイクロコンピュータの構成とされた制御部１１０、２１０で実行されるプログラムによってその機能を実現することができる。

より具体的には、図６、図７、図８のフローチャートに示した処理は、この発明よるプログラムが適用されたものである。したがって、この発明のプログラムについても、実現可能である。

したがって、図６、図７、図８のフローチャートに示した処理を行うプログラムを形成し、これをインターネットなどの通信網や種々の記録媒体を介して配布し、パーソナルコンピュータなどの情報処理装置などに追加搭載することも可能である。

この発明の一実施の形態が適用された第１の実施の形態の撮像装置１００の構成例を説明するためのブロック図である。 Ｒａｗ画像ファイル生成部１２３において形成されるＲａｗファイルのレイアウトの一例を説明するための図である。 撮像装置１００において、ユーザー指示に応じたホワイトバランス調整を行う場合の調整画面の一例について説明するための図である。 グレー点補正の具体例について説明するための図である。 グレー点補正の具体例について説明するための図である。 Ｒａｗデータの現像処理について説明するためのフローチャートである。 図６に示したステップＳ１０７において実行されるユーザーからの調整指示に応じたホワイトバランス調整処理を説明するためのフローチャートである。 輝度に応じてグレー点補正を行うようにする場合の、輝度変調矩形内（指定エリア内）検波の概要について説明するための図である。 図６に示したステップＳ１０７において実行されるユーザーからの調整指示に応じたホワイトバランス調整処理の他の例を説明するためのフローチャートである。 この発明の一実施の形態が適用された第２の実施の形態の画像処理装置２００の構成例を説明するためのブロック図である。 画像処理装置２００において、ユーザー指示に応じたホワイトバランス調整を行う場合の調整画面の一例について説明するための図である。 Ｒａｗデータの現像処理を行う装置の従来の構成例を説明するためのブロック図である。 Ｒａｗデータの現像処理の従来例を説明するためのフローチャートである。

符号の説明

１００…撮像装置、１０１…撮像素子部、１０２…前処理回路、１０３…検波回路、１０４…画像処理部、１０５…解像度変換部、１０６…圧縮処理部、１０７…表示処理部、１０８…表示部、１１０…制御部、１１１…ＣＰＵ、１１２…ＲＯＭ、１１３…ＲＡＭ、１１４…不揮発性メモリ、１１５…ＣＰＵバス、１２１…操作部、１２２…縮小Ｒａｗ画像生成部、１２３…Ｒａｗ画像ファイル生成部、１２４…伸張処理部、１２５…記録／再生部、１２６…記録媒体、１２７…外部Ｉ／Ｆ、１２８…入出力端子、１０４１…第１ＷＢ回路、１０４２…デモザイク回路、１０４３…バッファメモリ、１０４４第２ＷＢ回路

Claims (13)

1. 未現像状態の画像データであるＲａｗデータに対して、当該Ｒａｗデータを検波することにより得られたパラメータに基づいて、ホワイトバランス調整を行う第１の調整手段と、
   前記第１の調整手段によりホワイトバランスが調整されたＲａｗデータから、画像を形成する画素毎に、Ｒ（赤）、Ｇ（緑）、Ｂ（青）の３原色データを形成するデモザイク処理手段と、
   前記デモザイク処理手段により形成された３原色データを一時記憶する一時記憶手段と、
   ユーザーからのホワイトバランス調整に関する指示入力を受け付ける受付手段と、
   前記受付手段を通じて、ホワイトバランス調整に関する前記指示入力を受け付けた場合に、前記一時記憶手段に記憶保持されている前記３原色データに対して、前記指示入力に応じたホワイトバランス調整を行う第２の調整手段と
   を備えた画像処理装置。
2. 請求項１に記載の画像処理装置であって、
   前記デモザイク処理手段により形成された前記３原色データに応じた画像を表示する表示手段を備え、
   前記第２の調整手段は、
   前記受付手段を通じて、前記表示手段に表示された画像上において、目的とするエリアの指示入力を受け付けた場合に、前記一時記憶手段に記憶保持されている前記３原色データの当該エリア内の３原色データを検波し、Ｒ（赤）原色データとＢ（青）原色データの調整量を算出する調整量算出手段と、
   前記調整量算出手段により算出されたＲ（赤）原色データとＢ（青）原色データの調整量に基づいて、前記一時記憶手段に記憶保持されている前記３原色データに対してグレー点補正を行うグレー点補正手段と
   を備える画像処理装置。
3. 請求項２に記載の画像処理装置であって、
   前記調整量算出手段は、輝度が最小値（０％）の時と、輝度が最大値（１００％）の時には、Ｒ（赤）原色データとＢ（青）原色データの前記調整量を値「１」とし、グレー点補正を行わない画像処理装置。
4. 請求項２に記載の画像処理装置であって、
   前記調整量算出手段は、輝度が最小値（０％）〜第１の値までの区間と、輝度が前記第１の値より大きな第２の値〜最大値（１００％）までの区間においては、Ｒ（赤）原色データとＢ（青）原色データの前記調整量を、輝度に応じた値にする画像処理装置。
5. 請求項１、請求項２、請求項３または請求項４に記載の画像処理装置であって、
   被写体の画像を電気信号として取り込む撮像素子と、
   前記撮像素子から出力される前記電気信号から前記Ｒａｗデータを形成する形成手段と
   を備え、撮像装置として機能する画像処理装置。
6. 未現像状態の画像データであるＲａｗデータに対して、当該Ｒａｗデータを検波することにより得られたパラメータに基づき、ホワイトバランス調整を行う第１の調整工程と、
   前記第１の調整工程においてホワイトバランスが調整されたＲａｗデータから、画像を形成する画素毎に、Ｒ（赤）、Ｇ（緑）、Ｂ（青）の３原色データを形成するデモザイク処理工程と、
   前記デモザイク処理工程において形成した前記３原色データを一時記憶手段に記録する一時記録工程と、
   ユーザーからのホワイトバランス調整に関する指示入力を受け付ける受付工程と、
   前記受付工程においてホワイトバランス調整に関する前記指示入力を受け付けた場合に、前記一時記憶手段に記録した前記３原色データに対して、前記指示入力に応じたホワイトバランス調整を行う第２の調整工程と
   を有する画像処理方法。
7. 請求項６に記載の画像処理方法であって、
   前記デモザイク処理工程において形成した前記３原色データに応じた画像を表示手段に表示する表示工程を有し、
   前記第２の調整工程においては、
   前記受付工程において、前記表示手段に表示された画像上における目的とするエリアの指示入力を受け付けた場合に、前記一時記憶手段に記憶保持されている前記３原色データの当該エリア内の３原色データを検波し、Ｒ（赤）原色データとＢ（青）原色データの調整量を算出する調整量算出工程と、
   前記調整量算出工程において算出したＲ（赤）原色データとＢ（青）原色データの調整量に基づいて、前記一時記憶手段に記憶保持されている前記３原色データに対してグレー点補正を行うグレー点補正工程と
   を実行する画像処理方法。
8. 請求項７に記載の画像処理方法であって、
   前記調整量算出工程においては、輝度が最小値（０％）の時と、輝度が最大値（１００％）の時には、Ｒ（赤）原色データとＢ（青）原色データの前記調整量を値「１」とし、グレー点補正を行わない画像処理方法。
9. 請求項７に記載の画像処理方法であって、
   前記調整量算出工程においては、輝度値が最小値（０％）〜第１の値までの区間と、輝度値が前記第１の値より大きな第２の値〜最大値（１００％）までの区間においては、Ｒ（赤）原色データとＢ（青）原色データの前記調整量を、輝度値に応じた値にする画像処理方法。
10. 未現像状態の画像データであるＲａｗデータに対して、当該Ｒａｗデータを検波することにより得られたパラメータに基づき、ホワイトバランス調整を行う第１の調整ステップと、
    前記第１の調整ステップにおいてホワイトバランスが調整されたＲａｗデータから、画像を形成する画素毎に、Ｒ（赤）、Ｇ（緑）、Ｂ（青）の３原色データを形成するデモザイク処理ステップと、
    前記デモザイク処理ステップにおいて形成した前記３原色データを一時記憶手段に記録する一時記録ステップと、
    ユーザーからのホワイトバランス調整に関する指示入力を、指示入力受付手段を通じて受け付ける受付ステップと、
    前記受付ステップにおいてホワイトバランス調整に関する前記指示入力を受け付けた場合に、前記一時記憶手段に記録した前記３原色データに対して、前記指示入力に応じたホワイトバランス調整を行う第２の調整ステップと
    を画像処理装置に搭載されたコンピュータが実行するコンピュータ読み取り可能な画像処理プログラム。
11. 請求項１０に記載の画像処理プログラムであって、
    前記デモザイク処理ステップにおいて形成した前記３原色データに応じた画像を表示手段に表示する表示ステップを有し、
    前記第２の調整ステップにおいては、
    前記受付ステップにおいて、前記表示手段に表示された画像上における目的とするエリアの指示入力を受け付けた場合に、前記一時記憶手段に記憶保持されている前記３原色データの当該エリア内の３原色データを検波し、Ｒ（赤）原色データとＢ（青）原色データの調整量を算出する調整量算出ステップと、
    前記調整量算出ステップにおいて算出したＲ（赤）原色データとＢ（青）原色データの調整量に基づいて、前記一時記憶手段に記憶保持されている前記３原色データに対してグレー点補正を行うグレー点補正ステップと
    を実行するようにした画像処理プログラム。
12. 請求項１１に記載の画像処理プログラムであって、
    前記調整量算出ステップにおいては、輝度が最小値（０％）の時と、輝度が最大値（１００％）の時には、Ｒ（赤）原色データとＢ（青）原色データの前記調整量を値「１」とし、グレー点補正を行わない画像処理プログラム。
13. 請求項７に記載の画像処理プログラムであって、
    前記調整量算出ステップにおいては、輝度値が最小値（０％）〜第１の値までの区間と、輝度値が前記第１の値より大きな第２の値〜最大値（１００％）までの区間においては、Ｒ（赤）原色データとＢ（青）原色データの前記調整量を、輝度値に応じた値にする画像処理プログラム。

Images