JP2009118538A - 撮像装置及び撮像装置における撮像結果の処理方法 - Google Patents

Abstract

【課題】本発明は、撮像装置及び撮像装置における撮像結果の処理方法に関し、例えば電子スチルカメラに適用して、画質の劣化を有効に回避して手軽かつ柔軟に画質を補正することができるようにする。
【解決手段】本発明は、３次元ルックアップテーブル３３を設け、この３次元ルックアップテーブル３３により撮像結果Ｙ２、Ｃｂ２、Ｃｒ２を補正する。
【選択図】 図１

Description

本発明は、撮像装置及び撮像装置における撮像結果の処理方法に関し、例えば電子スチルカメラに適用することができる。本発明は、３次元ルックアップテーブルを設け、この３次元ルックアップテーブルにより撮像結果を補正することにより、画質の劣化を有効に回避して手軽かつ柔軟に画質を補正することができるようにする。

従来、電子スチルカメラでは、撮影環境、ユーザーの嗜好等に広く対応することができるように、カラーモードの選択により種々に画質を設定できるものが提供されている。

すなわちこの種の電子スチルカメラでは、撮像素子より得られる画像データをオートホワイトバランス調整、階調補正、彩度補正した後、ＤＣＦ（Design rule for Camera File Format）に準拠したフォーマットにより記録媒体であるメモリカードに記録する。カラーモードによる画質の設定では、これら階調補正、彩度補正の設定が切り換えられる。

ここで階調補正は、赤色、緑色、青色による画像データの階調を非線形関数により補正する処理である。階調補正は、例えば画質の明るさ感、コントラスト感を操作して、撮像結果のコントラストを見た目に近づけるため等に適用され、例えば特開２００４−１０４４６４号公報等に補正に係る種々の構成が提案されている。カラーモードにより画質を設定する場合、階調補正は、この非線形関数を定義するパラメータが切り換えられる。

これに対して彩度補正は、赤色、緑色、青色による画像データを輝度信号及び色差信号による画像データに変換した後に、色差信号による色差平面上で、この輝度信号及び色差信号による画像データを一次変換する処理である。彩度補正は、例えば印象的な画質にするために彩度を上げたり、階調潰れを防ぐために彩度を下げたりする、色味調整、彩度調整に適用される。カラーモードにより画質を切り換える場合、彩度補正は、この一次変換処理を定義するパラメータが切り換えられる。

このため電子スチルカメラでは、これら階調補正、彩度補正に係る２種類のパラメータが、撮影環境、ユーザーの嗜好に応じて複数種類記録されて用意され、撮影時におけるカラーモードの選択により対応するパラメータが設定される。

しかしながらこのように階調補正、彩度補正により画質を調整する処理にあっては、実用上、未だ不十分な問題がある。

すなわちこのように色差平面上における一次変換により彩度補正する場合、明度も変化し、これにより画質が劣化する問題がある。この問題は、彩度を強調すると、その分、明度も上昇することにより顕在化する。これは色差信号の信号レベルを変化させても、輝度信号にあっては変化しないものの、このような色差信号の変化を人間の知覚に近い表色系であるＬ＊ａ＊ｂ＊信号により見た場合、色差信号の信号レベルの変化により明度Ｌ＊が変化することにより発生する問題である。これにより彩度補正によって色差信号の利得を増大させると、彩度の高い低明度の部分で明度Ｌ＊が上昇し、撮像結果の立体感が失われる。

この問題を解決する１つの方法として、赤色信号、緑色信号、青色信号による画像データの３×３のマトリックス演算により彩度補正する方法も考えられるが、この方法でも明度の変化を完全には防止できない。

また階調補正、彩度補正は、色空間全体を変換する処理であり、色空間の限られた一部のみを調整することが困難であり、これにより柔軟に画質を補正できない問題もある。これにより赤色領域の色味を調節すると、肌色が不自然になったり、黄色領域の色味を操作すると、その影響が緑色領域に現れたりし、結局、代表色各色の調整操作が相互に影響を及ぼしあい、代表色の全てを最適に調整できない。

また色空間では、飽和しやすい色と、飽和しにくい色とがあるにもかかわらず、階調補正、彩度補正による処理では、これらを考慮して処理できないことにより、色の飽和による画質劣化が発生し易い問題もある。

これらの問題のうち柔軟性に係る問題を解決する１つの方法として、彩度補正に供する色空間を複数に分割してそれぞれ処理する方法も提案されているが、この方法によっても、例えば赤色と肌色、黄色と緑色等の色相が近い色については、実際上、相互の影響を防止できない。

しかしてこれらの問題は、カラーモードにより画質を調整する場合に限らず、電子スチルカメラで、ガンマ補正等の階調補正と彩度補正とを実行する際に必ず発生する。

これらの問題点を一挙に解決する方法として、撮像結果をファイルにより記録して保持した後、コンピュータにダウンロードして編集処理する方法もあるが、この方法の場合、作業が煩雑であり、全てのユーザーが手軽に利用できない欠点がある。

特開２００４−１０４４６４号公報 特開２００２−０１６８１８号公報 特開２００２−０３４０５１号公報

本発明は以上の点を考慮してなされたもので、画質の劣化を有効に回避して手軽かつ柔軟に画質を補正することができる撮像装置及び撮像装置における撮像結果の処理方法を提案しようとするものである。

かかる課題を解決するため請求項１の発明は、撮像装置に適用して、撮像面に形成された光学像の撮像結果を出力する撮像素子と、前記撮像面に前記光学像を形成するレンズと、前記撮像結果を３次元ルックアップテーブルにより色調整する画像処理部と、前記画像処理部により処理された前記撮像結果を記録媒体に記録する記録部と、前記３次元ルックアップテーブルに補正用のデータをセットする制御部を有し、前記制御部は、他の撮像装置で撮影された撮像結果を目標値に設定して前記補正用のデータを生成して前記３次元ルックアップテーブルにセットする。

また請求項６の発明は、撮像装置における撮像結果の処理方法に適用して、他の撮像装置で撮影された撮像結果を目標値に設定して補正用のデータを生成して３次元ルックアップテーブルにセットするステップと、撮像素子より得られる撮像結果を前記３次元ルックアップテーブルにより色調整する色調整のステップを有する。

請求項１、又は請求項６の構成によれば、明度のみ、彩度のみを補正することができ、これにより明度の変化を防止して彩度を補正し、さらには代表色各色の調整操作が相互に影響を及ぼし合わないようにして、代表色の全てを最適に調整することができ、また別途、コンピュータ等を用いないでも画質を補正することができ、これらにより画質の劣化を有効に回避して手軽かつ柔軟に画質を補正することができる。

本発明によれば、画質の劣化を有効に回避して手軽かつ柔軟に画質を補正することができる。

本発明の実施例１に係る電子スチルカメラの３次元ルックアップテーブルブロックを示すブロック図である。 本発明の実施例１に係る電子スチルカメラを示す斜視図である。 図２の電子スチルカメラにおけるメニュー画面を示す平面図である。 本発明の実施例１に係る電子スチルカメラを示すブロック図である。 図２の電子スチルカメラにおける画質補正の説明に供する略線図である。 図１の３次元ルックアップテーブルブロックに係る格子点の説明に供する略線図である。 図６の格子点と参照格子点、オフセットとの関係を示す略線図である。 図３の格子点と入力データとの関係を示す略線図である。 図１の３次元ルックアップテーブルブロックの補正用のデータの生成に係る解析処理を示すフローチャートである。 図１の３次元ルックアップテーブルブロックの補正用のデータの生成に係る変換処理を示すフローチャートである。 本発明の実施例２に係る電子スチルカメラにおけるメニュー画面を示す平面図である。 図１１のメニュー画面に係る一連の処理手順を示すフローチャートである。 本発明の実施例３に係る電子スチルカメラを示すブロック図である。 図１３の電子スチルカメラの動作の説明に供する特性曲線図である。 本発明の実施例４に係る電子スチルカメラを示すブロック図である。 図１５の電子スチルカメラの動作の説明に供する特性曲線図である。 本発明の実施例６に係る電子スチルカメラを示すブロック図である。 本発明の実施例７に係る電子スチルカメラを示すブロック図である。 本発明の実施例９に係る電子スチルカメラに適用される３次元ルックアップテーブルブロックを示すブロック図である。 本発明の実施例１０に係る電子スチルカメラに適用される３次元ルックアップテーブルブロックを示すブロック図である。 本発明の実施例１２に係る電子スチルカメラの動作の説明に供する特性曲線図である。 記録媒体への記録が色信号による画像データの場合の動作の説明に供する特性曲線図である。 本発明の実施例１４に係る電子スチルカメラに適用される３次元ルックアップテーブルブロックを示すブロック図である。 図２３の３次元ルックアップテーブルブロックにおける色差信号の入力側の３次元ルックアップテーブルの特性を示す特性曲線図である。 図２３の３次元ルックアップテーブルブロックにおける色差信号の出力側の３次元ルックアップテーブルの特性を示す特性曲線図である。 図２３の３次元ルックアップテーブルブロックにおける輝度信号の入力側の３次元ルックアップテーブルの特性を示す特性曲線図である。 図２３の３次元ルックアップテーブルブロックにおける輝度信号の出力側の３次元ルックアップテーブルの特性を示す特性曲線図である。 本発明の実施例１５に係る電子スチルカメラに適用される３次元ルックアップテーブルブロックを示すブロック図である。 本発明の実施例１７に係る電子スチルカメラに適用される３次元ルックアップテーブルブロックを示すブロック図である。 本発明の実施例１８に係る電子スチルカメラに適用される３次元ルックアップテーブルブロックを示すブロック図である。 Ｌ＊ａ＊ｂ＊色空間上で補正用のデータを生成する場合の解析処理を示すフローチャートである。 Ｌ＊ａ＊ｂ＊色空間上で補正用のデータを生成する場合の変換処理を示すフローチャートである。 ＣＩＥＣＡＭ０２ Ｊａｂ色空間上で補正用のデータを生成する場合の解析処理を示すフローチャートである。 ＣＩＥＣＡＭ０２ Ｊａｂ色空間上で補正用のデータを生成する場合の変換処理を示すフローチャートである。

以下、適宜図面を参照しながら本発明の実施例を詳述する。

（１）実施例の構成
図２は、本発明の実施例１に係る電子スチルカメラを示す斜視図である。この電子スチルカメラ１は、薄板形状による長方形形状により形成され、表面側にレンズ等が設けられる。また電子スチルカメラ１は、この図２で見て取られる背面側に撮像結果をモニタする液晶表示部２が設けられ、この液晶表示部２の表示画面にタッチパネル３が設けられ、これにより液晶表示部２に表示されたメニューをタッチパネル３の操作により選択できるように形成される。また電子スチルカメラ１は、この液晶表示部２の側方に押圧操作可能な回転操作子４、各種方向、決定の操作子５が設けられ、側面にスライドスイッチ６が設けられ、これらの操作子４〜６の操作によってもメニュー選択等の操作を受け付けることができるように構成される。

図３は、タッチパネル３、各種操作子４〜６の操作に係るカラーモードの選択メニューの表示を示す平面図である。ここでカラーモードは、撮影環境、ユーザーの嗜好に対応する画質補正モードである。この電子スチルカメラ１では、画質補正モード（カラーモード）、ＩＳＯ感度、フラッシュ、解像度に係るメニューが表示され、このメニューの選択によりそれぞれ対応するサブメニューが表示される。ここで図３は、画質補正モードのメニューが選択された場合を示すものであり、カラーモードに係るポートレイト、Ｖｉｖｉｄ（電球）、Ｖｉｖｉｄ（曇天）、Ｖｉｖｉｄ（晴天）、フィルム調等のサブメニューが表示されている。電子スチルカメラ１では、これらカラーモードにかかるサブメニューの選択により所望するカラーモードを選択できるように設定されている。これにより単にホワイトバランス調整等により画質を補正する場合等に比して、一段と細かく画質を調整できるようにユーザーインターフェースが構成される。

図４は、本発明の実施例１に係る電子スチルカメラを示すブロック図である。この電子スチルカメラ１において、撮像素子１２は、例えば原色系のカラーフィルタが設けられた撮像素子であり、図示しないレンズにより撮像面に形成された光学像の撮像結果を出力する。電子スチルカメラ１は、この撮像素子１２からの出力信号を相関二重サンプリング処理等した後、アナログディジタル変換処理して原色色信号による画像データを生成し、この画像データをデモザイク処理部１３に入力する。

デモザイク処理部１３は、この画像データの補間演算処理により、撮像素子１２に設けられたカラーフィルタに対応する撮像結果の空間位相を補正し出力する。リニアマトリックス部１４は、デモザイク処理部１３から出力される画像データの演算処理により、この画像データの色純度を増大させて出力する。オートホワイトバランス調整部（ＡＷＢ）１５は、リニアマトリックス部１４の出力データをオートホワイトバランス調整して出力し、ガンマ補正部（γ補正）１６は、このオートホワイトバランス調整部１５の出力データをガンマ補正して出力する。

ＹＣＣ変換部１７は、このガンマ補正部１６から出力される原色色信号による画像データ（Ｒ１、Ｇ１、Ｂ１）を次式の演算処理により、輝度信号及び色差信号による画像データ（Ｙ１、Ｃｂ１、Ｃｒ１）に変換する。

色差マトリックス１８は、次式の演算処理により、この輝度信号及び色差信号による画像データ（Ｙ１、Ｃｂ１、Ｃｒ１）のうちの色差信号による画像データ（Ｃｂ１、Ｃｒ１）をマトリックス演算処理して彩度補正処理を実行し、処理結果による画像データ（Ｃｂ２、Ｃｒ２）を出力する。但し、ここでＲ１１、Ｒ１２、Ｒ２１、Ｒ２２は、彩度補正処理の変換係数である。

３次元ルックアップテーブルブロック（３Ｄ−ＬＵＴブロック）１９は、色差マトリックス１８から出力される色差信号による画像データ（Ｃｂ２、Ｃｒ２）、ＹＣＣ変換部１７から出力される輝度信号による画像データＹ１を補正して出力し、画像記録部２０は、この３次元ルックアップテーブルブロック１９から出力される画像データＤ３をメモリカード等の記録媒体に記録する。これにより３次元ルックアップテーブルブロック１９に入力される画像データ（Ｙ２、Ｃｂ２、Ｃｒ２）において、輝度信号Ｙ２は、以下の関係式により表されることになる。

液晶表示部２は、この３次元ルックアップテーブルブロック１９から出力される画像データによりモニタ用の画像を表示する。

コントローラ２１は、この電子スチルカメラ１全体の動作を制御する制御手段であり、メモリ２２に記録された処理プログラムの実行により、タッチパネル３、各種操作子４〜６の操作に応動して全体の動作を切り換える。この一連の処理において、コントローラ２１は、ユーザーによりカラーモードが選択されると、このカラーモードの選択に対応するようにメモリ２２に記録された補正用のデータを３次元ルックアップテーブルブロック１９にセットする。ここでメモリ２２は、このコントローラ２１の処理プログラム、この電子スチルカメラ１に実装されたカラーモードに対応する複数種類の補正用データを保持する。またこのように補正用のデータを３次元ルックアップテーブルブロック１９にセットすると、液晶表示部２の表示を切り換えてセットの完了をユーザーに通知する。なおこれにより、この実施例において、３次元ルックアップテーブルブロック１９に係る処理プログラムは、事前のインストールにより提供されるように設定されているものの、これに代えてインターネット等のネットワークを介したダウンロードにより提供するようにしてもよく、また光ディスク、磁気ディスク、メモリカード等の記録媒体に記録して提供してもよい。

図１は、この３次元ルックアップテーブルブロック１９を関連する構成と共に示すブロック図である。この３次元ルックアップテーブルブロック１９は、図５に示すように、色空間における入力画像データ（Ｙ２、Ｃｂ２、Ｃｒ２）を補正ベクトルにより補正して目標値による画像データＤ３を出力する。３次元ルックアップテーブルブロック１９は、図６に示すように、入力画像データ（Ｙ２、Ｃｂ２、Ｃｒ２）により定義される色空間にマトリックス状に格子点が設定され、この格子点に設定された補正ベクトルがコントローラ２１の制御によりカラーモードに応じて設定される。３次元ルックアップテーブルブロック１９は、図７及び図８に示すように、入力画像データ（Ｙ２、Ｃｂ２、Ｃｒ２）によるサンプリング点の周囲の８個の格子点に設定された補正ベクトルにより、入力画像データ（Ｙ２、Ｃｂ２、Ｃｒ２）のサンプリング値に対応する補正ベクトルを生成し、この補正ベクトルによりこの入力画像データ（Ｙ２、Ｃｂ２、Ｃｒ２）のサンプリング値を補正する。この実施例では、この入力画像データ（Ｙ２、Ｃｂ２、Ｃｒ２）によるサンプリング点の周囲の８個の格子点のうちで、最もサンプリング値が小さい側の格子点を参照格子点ｇ１と定義する。

しかして３次元ルックアップテーブルブロック１９において、エリア判定部３１は、入力画像データ（Ｙ２、Ｃｂ２、Ｃｒ２）のサンプリング値の判定により、入力画像データの参照格子点ｇ１を検出する（図７）。また入力画像データ（Ｙ２、Ｃｂ２、Ｃｒ２）のサンプリング値について、この参照格子点ｇ１からのオフセットｐを検出する。なおここでこのオフセットｐは、入力画像データ（Ｙ２、Ｃｂ２、Ｃｒ２）のサンプリング値と、参照格子点ｇ１との偏差である。

具体的に、この実施例では、ｍビットによる入力画像データ（Ｙ２、Ｃｂ２、Ｃｒ２）による色空間に対して、２ｎ＋１ （ｎ＜ｍ）個の均等配置により各軸方向に格子点が設定され、エリア判定部３１は、次式により示すように、各入力画像データ（Ｙ２、Ｃｂ２、Ｃｒ２）の上位側ｎビットの値により参照格子点ｇ１を検出し、下位側ｍ−ｎビットの値によりオフセットｐを検出する。

アドレスデコーダ３２は、このエリア判定部３１で検出される参照格子点ｇ１の情報により、入力画像データ（Ｙ２、Ｃｂ２、Ｃｒ２）を囲む周囲８個の格子点について、３次元ルックアップテーブル（３Ｄ−ＬＵＴ）３３に記録されたこれら８個の格子点に係る補正データのアクセスに必要なアドレスを順次生成して出力する。なおここでこの８個の格子点ｇ１〜ｇ８にあっては、参照格子点ｇ１＝（ｘ、ｙ、ｚ）のとき、以下の式により表される。

３次元ルックアップテーブル３３は、これによりアドレスデコーダ３２から出力されるアドレスデータに応じて、入力画像データ（Ｙ２、Ｃｂ２、Ｃｒ２）を囲む周囲８個の格子点に設定された補正ベクトルＧ１〜Ｇ８を順次出力する。

補間係数算出部３４は、エリア判定部３１で検出されたオフセット値ｐにより、次式の演算処理を実行し、これにより入力画像データ（Ｙ２、Ｃｂ２、Ｃｒ２）を囲む周囲８個の格子点に設定された補正ベクトルＧ１〜Ｇ８から入力画像データ（Ｙ２、Ｃｂ２、Ｃｒ２）の補正データを生成する補間係数ｋ＝（ｋｘ、ｋｙ、ｋｚ）を算出する。但しこの（７）式におけるｎは、（５）式について上述したｍ−ｎである。

補間計算部３５は、補間係数算出部３４で計算された補間係数ｋ＝（ｋｘ、ｋｙ、ｋｚ）により、３次元ルックアップテーブル３３から出力される補正ベクトルＧ１〜Ｇ８を補間演算処理し、これにより入力画像データ（Ｙ２、Ｃｂ２、Ｃｒ２）の補正ベクトルＶを生成する。この実施例においては、この補間演算処理に、トライリニア補間処理が適用され、これにより次式の演算処理により補正ベクトルＶを生成する。

ここでＳ、Ｐは、次式により求められる。

加算部３６は、次式の演算処理により、この補正ベクトルＶを元の入力画像データ（Ｙ２、Ｃｂ２、Ｃｒ２）に加算し、出力画像データＤ３（Ｙ３、Ｃｂ３、Ｃｒ３）を出力する。これらによりこの実施例において、色差マトリックス１８及び３次元ルックアップテーブルブロック１９は、３次元ルックアップテーブル３３により撮像結果を色調整する画像処理部を構成する。

図９及び図１０は、３次元ルックアップテーブル３３に設定する各格子点の補正ベクトルの生成処理手順を示すフローチャートである。電子スチルカメラ１では、事前にコンピュータによりこの処理手順を実行することにより、各格子点の補正ベクトルが計算され、この補正ベクトルがメモリ２２に格納される。この補正ベクトルの生成処理手順では、図９に示す解析処理と、図１０に示す変換処理とにより構成される。

ここで解析処理は、補正の前後における色の対応関係を解析する処理であり、この処理手順を開始すると、コンピュータは、ステップＳＰ１からステップＳＰ２に移り、所定の光源により照明してカラーチャートを撮影した画像データを取得する。ここでこのカラーチャートには、例えばMacbeth Color Checker, Macbeth Color Checker SG, Digital Camera Color Checker 等の反射チャートが適用される。また光源には、Ｄ６５光源が適用されて、この電子スチルカメラ１における各カラーモードの撮影条件が再現される。また撮影にはこの実施例に係る電子スチルカメラ１が適用され、画像データには、ＹＣＣ変換部１７から出力される画像データ（Ｙ１、Ｃｂ１、Ｃｒ１）が適用される。これによりこの実施例では、補正に供する各色の撮像結果を取得する。

続いてコンピュータは、ステップＳＰ３において、このチャートの撮像結果から、サンプリング点を取得する。ここでサンプリング点は、必要に応じて色空間の変換に供する関数を用いた演算処理により、Ｌ＊ａ＊ｂ＊色空間、ｓＹＣＣ色空間、又はＣＩＥＣＡＭ等の任意の色空間で検出される。

続いてコンピュータは、ステップＳＰ４に移り、ステップＳＰ３で取得したサンプリング点の色域を、抽出に用いた色空間上で、ドロネー四面体の集合に分割する。ここでこの分割は、同一平面上に存在しない４個のサンプリング点を通る球の内部に、他のサンプリング点が存在しないようにサンプリング点を選択して、この４個のサンプリング点を頂点とした四面体を順次設定していくことにより実行される。なおこの分割方法によれば、サンプリング値の並び方の先験知識を用いずに、ドロネー四面体に重なり、隙間ができないようにして色域をほぼ安定して分割することができる。

なお例外的に、４個のサンプリング点を通る球の内部には他のサンプリング点が存在しないようにして、この球面上に他のサンプリング点が１つ以上存在する場合、この球面上に存在するサンプリング点については、ドロネー四面体による分割は不定となる。これによりこの場合には、サンプリング値にランダムな微小揺らぎεを加えて、サンプリング点を球面上からずらして分割する。

続いてコンピュータは、ステップＳＰ５に移る。ここでコンピュータは、各サンプリング点について、変換後の目標色の設定を受け付け、各サンプリング値に対応する目標色の情報を設定する。なおここでこの目標色の設定は、設計目標である基準の撮像装置でカラーチャートを撮影した撮影結果からパッチの色を抽出して実行される。なおこの目標色の設定にあっては、オペレータの指示により受け付けるようにしてもよい。

これによりコンピュータは、この電子スチルカメラ１による撮像結果と所望する色味、階調に設定された撮像装置による撮像結果との対比により、続く図１０に示す変換処理により３次元ルックアップテーブル３３に設定する補正用のデータを生成する。

すなわちコンピュータは、変換処理を開始すると、ステップＳＰ１１からステップＳＰ１２に移り、３次元ルックアップテーブル３３に設定される各格子点に相当する色の値（入力値：xp，yp，zp）を、ステップＳＰ３におけるサンプリング値の検出に供した色空間により入力する。

続いてコンピュータは、ステップＳＰ１３に移り、ここでステップＳＰ１２で検出した各格子点の色の値（xp，yp，zp）毎に、各格子点の色がステップＳＰ４で設定したドロネー四面体の何れに属するかを探索する。ここで探索するドロネー四面体は、この色の値（xp，yp，zp）を内包するドロネー四面体であり、この内包するドロネー四面体が存在しない場合には、この色の値（xp，yp，zp）の変換に適した面を持つドロネー四面体である。

なおこのドロネー四面体の探索には、四面体の頂点（x0，y0，z0）、（x1，y1，z1）、（x2，y2，z2）、（x3，y3，z3）が入力値（xp，yp，zp）に対して次式の関係を満たすドロネー四面体を検索することにより実行される。

但し、α、β、γは、次式により表される。

ここでこのように内包されるドロネー四面体が検出された格子点について、コンピュータは、ステップＳＰ１３からステップＳＰ１４に移り、次式の演算処理を実行することにより、検出したドロネー四面体の各頂点のサンプリング値と入力値との関係により、格子点の補間係数を計算する。ここでこの補間係数は、続くステップＳＰ１５において格子点における補正ベクトルの演算に供する重み係数であり、この（１３）式では、α、β、γである。

続いてコンピュータは、ステップＳＰ１５において、ステップＳＰ１４で求めた補間係数を用いた線型補間により、対応するドロネー四面体の各頂点のサンプリング点について、ステップＳＰ５で設定された色情報より、格子点の目標値（xt，yt，zt）を計算する。

また続くステップＳＰ１６において、この計算した目標値（xt，yt，zt）から元の入力値（xp，yp，zp）を減算し、これにより補正ベクトルＶを計算する。これによりコンピュータは、ステップＳＰ１３で対応するドロネー四面体を検出することができた格子点について、ステップＳＰ１７に移ってこの処理手順を終了する。

これに対して内包するドロネー四面体が検出されない格子点について、コンピュータは、ステップＳＰ１３からステップＳＰ１８に移り、入力値（xp，yp，zp）の変換に適したドロネー四面体の面を検出する。ここでコンピュータは、入力値に係る色域の中心と、入力値（xp，yp，zp）とを結ぶ直線と交差し、かつこの色域の境界となる面を、各ドロネー四面体から検出する。具体的に、ドロネー四面体の各面を張る３つの頂点（x1，y1，z1）、（x2，y2，z2）、（x3，y3，z3）に対して、次式の関係式を満足する面を検出し、この検出した面から最も入力値（xp，yp，zp）に距離が近い面を検出する。なおここで、（xorg，yorg，zorg）は、色域の中央を表す座標である。

続いてコンピュータは、ステップＳＰ１９において、ステップＳＰ１８で検出した面の頂点座標（x1，y1，z1），（x2，y2，z2），（x3，y3，z3）を用いて、（１３）式の演算処理を実行することにより、格子点に係る補間係数α、β、γを計算する。

また続くステップＳＰ２０において、ステップＳＰ１９で求めた補間係数α、β、γと（１５）式の演算処理により求めたパラメータηを用いた次式の演算処理による補間演算処理を実行し、これによりこの面を形成する頂点に設定された色情報により、格子点の目標値（xt，yt，zt）を計算する。

このようにしてドロネー四面体の面により格子点の目標値を計算した場合にあっても、コンピュータは、続いてステップＳＰ１６に移り、ここで格子点の補正ベクトルを計算して処理を終了する。

この処理により図６について上述した各格子点の補正ベクトルがカラーモード毎にそれぞれ計算され、この計算された補正ベクトルのデータがメモリ２２に記録される。またこのメモリ２２に記録された補正ベクトルのデータがユーザーにより選択されたカラーモードにより３次元ルックアップテーブル３３にセットされる。

しかしてこの実施例では、色差マトリックス１８により彩度補正の処理が実行されることにより、この色差マトリックス１８により補正する分、ステップＳＰ５における目標値の設定、又はステップＳＰ１６における演算結果が補正されて補正ベクトルが計算される。またこの色差マトリックス１８による彩度補正により明度が変化しないように、ステップＳＰ５における目標値が設定される。なおこの場合に、ＹＣＣ変換部１７から出力される色差信号による画像データ（Ｃｂ１、Ｃｒ１）に代えて、色差マトリックス１８から出力される色差信号による画像データ（Ｃｂ２、Ｃｒ２）により図９及び図１０の処理を実行し、これにより色差マトリックス１８により補正する分、補正ベクトルの値を補正して補正ベクトルを生成するようにしてもよい。

（２）実施例の動作
以上の構成において、この電子スチルカメラ１では（図４）、撮像素子１２から得られる撮像結果による画像データがリニアマトリックス、オートホワイトバランス、ガンマ補正等の処理を受けた後、ＹＣＣ変換部１７により輝度信号及び色差信号による画像データ（Ｙ１、Ｃｂ１、Ｃｒ１）に変換される。またこれらのうち色差信号の画像データ（Ｃｂ１、Ｃｒ１）の彩度が色差マトリックス１８により補正されて輝度信号及び色差信による画像データ（Ｙ２、Ｃｂ２、Ｃｒ２）が生成され、この輝度信号及び色差信号による画像データ（Ｙ２、Ｃｂ２、Ｃｒ２）の色相及び階調が、３次元ルックアップテーブルブロック１９により補正された後、記録媒体２０に記録され、また液晶表示部２により表示される。

この３次元ルックアップテーブルブロック１９における色相、階調の補正において（図１）、輝度信号及び色差信号による画像データ（Ｙ２、Ｃｂ２、Ｃｒ２）は、この画像データ（Ｙ２、Ｃｂ２、Ｃｒ２）の３つの成分に対応する３次元ルックアップテーブル３３により色相、階調が補正される。ここでこのように画像データ（Ｙ２、Ｃｂ２、Ｃｒ２）の３つの成分に対応する３次元ルックアップテーブル３３により色相、階調を補正する場合にあっては、明度のみ、彩度のみを補正することができる。また色差マトリックス１８による彩度補正により変化した明度、彩度を変化させることなく補正することもできる。これによりこの実施例では、色差マトリックス１８による処理も含めた全体として、彩度補正による明度の変化を防止することができ、その分、画質の劣化を有効に回避して画質を補正することができる。

またこのような３次元ルックアップテーブル３３による色相、階調の補正にあっては、この３次元ルックアップテーブル３３に設定するデータにより、色空間の限られた一部のみを調整することが可能であり、これにより代表色各色の調整操作が相互に影響を及ぼし合わないようにして、代表色の全てを最適に調整することができる。また色相が近接している場合であっても、他の色に影響を及ぼさないようにして、所望する色を最適に調整することができる。また飽和しやすい色と、飽和しにくい色とを考慮した処理も可能となる。これにより画質の劣化を有効に回避して柔軟に画質を補正することができる。

またこのような補正を内蔵の３次元ルックアップテーブル３３により実行することにより、わざわざ記録媒体に撮像結果を記録してコンピュータにより処理しなくても所望する画質により撮像結果を得ることができ、これにより手軽に画質を補正することができる。これらによりこの実施例では、画質の劣化を有効に回避して手軽かつ柔軟に画質を補正することができる。

この電子スチルカメラ１では、撮影環境、ユーザーの嗜好に対応する画質補正モードが複数種類設けられており、３次元ルックアップテーブル３３に設定する補正用のデータである補正ベクトルのデータが、各画質補正モードに対応する複数種類、メモリ２２に格納されている。またユーザーの操作に応動して液晶表示部２にカラーモードのメニューが表示され（図３）、ユーザーによるメニューの選択により、対応する補正用のデータが３次元ルックアップテーブル３３にセットされる。これによりこの電子スチルカメラ１では、この３次元ルックアップテーブル３３にセットされた補正用のデータにより、画像データのサンプリング値が補正されて、ユーザーの所望する画質により出力される。

これにより電子スチルカメラ１では、撮影環境、ユーザーの嗜好に応じて種々に画質を切り換えることができ、その分、使い勝手を向上することができる。なおこの画質の切り換えにあっては、併せてアドレスデコーダ３２の変換パラメータを切り換え、これにより画質補正モード毎に色空間への割り当てを変化させるようにしてもよい。

すなわちこの電子スチルカメラ１では、補正対象の画像データ（Ｙ２、Ｃｂ２、Ｃｒ２）が取り得る色空間上のサンプリング点に対して、所定サンプリング点毎に格子点が定義され、各格子点に係る補正用のデータが３次元ルックアップテーブル３３にセットされる（図５〜図８）。画像データ（Ｙ２、Ｃｂ２、Ｃｒ２）は、エリア判定部３１によりこの格子点による何れの区分の何れの箇所に存在するか参照格子点ｇ１及びオフセットｐが検出される。またこの参照格子点ｇ１を基準にした３次元ルックアップテーブル３３のアクセスにより、画像データ（Ｙ２、Ｃｂ２、Ｃｒ２）のサンプリング点を囲む格子点について補正用のデータＧ１〜Ｇ8が検出され、またオフセットｐによりこの補正用のデータＧ１〜Ｇ8による補間演算処理の補間係数が補間係数算出部３４により計算される。またこの補間係数を用いた補間演算処理により、画像データ（Ｙ２、Ｃｂ２、Ｃｒ２）のサンプリングに係る補正ベクトルＶが計算され、この補正ベクトルＶにより画像データ（Ｙ２、Ｃｂ２、Ｃｒ２）の彩度、明度が補正される。

これによりこの電子スチルカメラ１では、３次元ルックアップテーブル３３により補正量が求められて入力画像データが補正される。しかして３次元ルックアップテーブル３３を用いた画像データの補正にあっては、３次元ルックアップテーブル３３から直接、出力値を出力することも可能ではあるが、この実施例により３次元ルックアップテーブル３３により補正量を出力して画像データを補正する場合にあっては、出力値を直接出力する場合に比して、３次元ルックアップテーブルの構成を小型化することができる。

しかしてこのようにして３次元ルックアップテーブル３３にセットされる補正用のデータは、カラーチャートによる基準の画像を基準の照明によりこの電子スチルカメラ１で撮像して得られる画像データをサンプリングし、このサンプリング結果によるサンプリング値を頂点としたドロネー四面体の設定により、この撮像結果による色空間がドロネー四面体により分割され、各ドロネー四面体の頂点位置のサンプリング値に対して目標色が設定される。さらにこのドロネー四面体による色空間に格子点のサンプリング点が設定されて、ドロネー四面体の頂点に設定された目標色の補間演算処理により、各格子点の目標色が設定される。電子スチルカメラ１では、この格子点の目標色により各格子点の補正用のデータが生成されてメモリ２２に格納される。電子スチルカメラ１では、このようにして設定されるドロネー四面体の頂点位置に係る目標色が、設計目標である基準の撮像装置でカラーチャートを撮影した撮影結果からパッチの色を抽出して設定され、この電子スチルカメラ１による撮像結果と基準の撮像装置による撮像結果との対比により補正用データが生成され、これにより簡易かつ確実に所望する画質に調整可能に３次元ルックアップテーブル３３の補正用データを生成することができる。

（３）実施例の効果
以上の構成によれば、画像処理部に３次元ルックアップテーブルを設け、この３次元ルックアップテーブルにより撮像結果を補正することにより、画質の劣化を有効に回避して手軽かつ柔軟に画質を補正することができる。

またこの３次元ルックアップテーブルにセットする補正用のデータを複数種類用意し、ユーザーからの指示に応じて選択的に３次元ルックアップテーブルにセットすることにより、簡易な操作により画質の補正を種々に切り換えることができる。

また画質補正のモードのメニューを複数種類、表示部に表示してユーザーの選択を受け付け、このユーザーによる選択に応じて３次元ルックアップテーブルに補正用のデータをセットすることにより、知識の乏しいユーザーにあっても、簡易かつ確実に所望する画質により撮像結果を補正することができる。

図１１は、この実施例に係る電子スチルカメラにおけるカラーモードの設定画面を示す平面図である。この実施例に係る電子スチルカメラでは、このカラーモードの設定画面により画質補正の設定を受け付け、３次元ルックアップテーブルに補正用のデータを設定する。なおこの実施例では、このカラーモードの設定に係る一連の処理が異なる点を除いて、実施例１について上述した電子スチルカメラ１と同一に構成されることにより、以下の説明においては、実施例１について上述した図１、図４の構成を流用して説明する。

ここでこの設定画面は、初期状態において、実施例１（図３）について上述したと同様に、画質補正モード（カラーモード）、ＩＳＯ感度、フラッシュ、解像度に係るメニューが表示され、このメニューの選択によりそれぞれ対応するサブメニューが表示される。具体的に画質補正モードのメニューが選択されると、カラーモードに係るポートレイト、Ｖｉｖｉｄ（電球）、Ｖｉｖｉｄ（曇天）、Ｖｉｖｉｄ（晴天）、フィルム調等のサブメニューが表示される。

この実施例では、これら一連のメニューの操作において、ユーザーにより中間調による画質の補正が指示された場合、カラーモードに係る複数のメニューの選択を受け付け、この複数のメニューによる画質の中間調となるように、撮像結果の画質を補正する。

すなわち図１２は、この画質設定の処理に係るコントローラ２１の処理手順を示すフローチャートである。コントローラ２１は、このようにしてカラーモードに係る複数のサブメニューを表示すると、この処理手順を開始してステップＳＰ２１からステップＳＰ２２に移り、ここで第１のカラーモードの選択を受け付け、続くステップＳＰ２３において、第２のカラーモードの選択を受け付ける。これによりコントローラ２１は、中間調の基準となる２つのカラーモードの入力を受け付ける。

続いてコントローラ２１は、ステップＳＰ２４に移り、中間調の入力受け付け画面を表示する。ここでこの実施例では、上述した各種カラーモードのサブメニューの右側に、両端を第１及び第２のカラーモードに設定したバーＢを表示し（図１１）、さらにこのバーＢの上にカーソルＫを表示する。またこのカーソルＫをユーザーによるタッチパネル３等の操作により可動させ、このバーＢにおけるカーソルＫの位置により中間調の設定を受け付ける。しかしてコントローラ２１は、このバーＢにおけるカーソルＫの位置が、一方の側のカラーモードに近づくと、この近づいた側のカラーモードに近づくように中間調を設定する。

これによりコントローラ２１は、ユーザーにより決定の操作が得られると、このバーＢの長さに対するカーソルＫが内分値により、第１及び第２のカラーモードに係る重み付け係数ｋを生成する。また続くステップＳＰ２６において、第１及び第２のカラーモードに係る補正用のデータをメモリ２２から順次ロードしてレジスタに記録し、このレジスタに記録した補正用データを用いて次式の演算処理を実行することにより、この２つのカラーモードに係る補正用データＬ１、Ｌ２の補間演算処理により、中間調の補正用データＬＯを生成する。

コントローラ２１は、続くステップＳＰ２７において、このようにして生成した中間調の補正用データＬＯを３次元ルックアップテーブル３３にセットした後、液晶表示部２の表示を切り換えて設定の完了をユーザーに通知し、ステップＳＰ２８に移ってこの処理手順を終了する。

なおこのようにして生成した中間調の補正用データを記録して保持し、この中間調の補正用データによる画質補正モードを、他の中間調の設定基準等に利用するようにしてもよい。

この実施例においては、メモリ２２に記録された複数種類の補正用のデータの補間演算処理により、補間演算による補正用のデータを生成し、補正用のデータに代えて、この補間演算による補正用のデータを３次元ルックアップテーブルにセットすることにより、事前に設定された画質補正のモードを基準にして細かく画質補正を調整することができ、その分、簡易な操作により柔軟に画質を補正することができる。またこの補間演算による補正用のデータの利用により、画質補正モードのバリエーションを増大させる等の種々の利便を図ることができる。またメモリ２２に記録する補正用データの種類に対して多くの画質補正モードを確保することができ、これにより補正用データの記録に供するメモリ空間を低減することができる。

また基準となる画質補正モードを表示部に表示して中間調の設定を受け付けることにより、知識の乏しいユーザーにあっても、簡易かつ確実に所望する中間調を設定することができる。

図１３は、本発明の実施例３に係る電子スチルカメラを示すブロック図である。この電子スチルカメラ４１において、実施例１、実施例２について上述した電子スチルカメラと同一の構成は、対応する符号を付して示し、重複した説明は省略する。この電子スチルカメラ４１は、撮像時に検出可能な撮影時の条件に従って、画質補正モードを自動的に選択する。

この電子スチルカメラ４１において、レンズ４２は、モータ４３の駆動によりフォーカスレンズを光軸方向に可動し、これによりこのモータ４３の駆動によりフォーカスを調整して撮像素子１２の撮像面に光学像を形成する。

信号処理部４４は、実施例１について上述したデモザイク処理部１３からガンマ補正部１６までの構成であり、撮像素子１２より得られる撮像結果を画像データに変換した後、この画像データを処理して出力する。この一連の処理において、信号処理部４４は、撮像結果の高域信号レベルを検出してフォーカス調整用の情報を取得し、このフォーカス調整用の情報を中央処理ユニット（ＣＰＵ）４５に通知する。またこのフォーカス調整用の情報によりジャストフォーカスしていると判断される領域を検出し、この領域における輝度レベルの分布を中央処理ユニット４５に通知する。

３次元ルックアップテーブル処理部（３Ｄ−ＬＵＴ）４６は、実施例１について上述したＹＣＣ変換部１７から３次元ルックアップテーブルブロック１９までの構成であり、画像データの色彩、明度を補正して出力する。また中央処理ユニット４５の制御によりこの色彩、明度の補正に供する３次元ルックアップテーブルのデータを更新する。

中央処理ユニット４５は、信号処理部４４、３次元ルックアップテーブル処理部４６の制御に係るコントローラであり、制御マイクロコンピュータ（制御マイコン）４８の指示により、これら信号処理部４４、３次元ルックアップテーブル処理部４６の動作を制御し、さらには３次元ルックアップテーブル処理部４６の補正用データを生成する。また信号処理部４４から出力されるフォーカス調整用の情報、輝度レベルの分布の情報を制御マイクロコンピュータ４８に通知する。

モータドライバ４７は、制御マイクロコンピュータ４８の制御によりモータ４３を駆動する。制御マイクロコンピュータ４８は、この電子スチルカメラ１全体の動作を制御するコントローラであり、操作子等の操作に応動して各部の動作を制御する。この制御において、制御マイクロコンピュータ４８は、中央処理ユニット４５を介してフォーカス調整用の情報を信号処理部４４から取得し、いわゆる山登り法によりモータドライバ４７を駆動してレンズ４２をオートフォーカス制御する。またこのオートフォーカス制御により、現在のフォーカス位置を検出する。

また中央処理ユニット４５を介して、信号処理部４４で検出されるジャストフォーカスしていると判断される領域の輝度レベルの分布の情報を取得し、現在のフォーカス位置によりこの輝度レベルの分布を判定して画質補正のモードを選択する。

すなわち図１４に示すように、現在のフォーカス位置が遠距離の場合であって、ジャストフォーカスしていると判断される領域の輝度レベルが一定値以上の場合、さらには現在のフォーカス位置が近距離の場合であって、ジャストフォーカスしていると判断される領域の輝度レベルが高い場合、風景を撮影している可能性が高いと判断され、これにより画質補正モードを風景撮影のモード（Ｖｉｖｉｄ）に設定する。

これに対して現在のフォーカス位置が近距離の場合であって、ジャストフォーカスしていると判断される領域の輝度レベルが中程度の場合、人物を撮影している可能性が高いと判断され、これによりが画質補正のモードを人物撮影のモード（Ｐｏｒｔｒａｉｔ）に設定する。これに対してジャストフォーカスしていると判断される領域の輝度レベルが低い場合、夜間の撮影である可能性が高いと判断され、これにより画質補正のモードを夜間撮影のモード（Ｎｉｇｈｔ ｍｏｄｅ）に設定する。なおこのような画質モードの判定にあっては、パターンマッチング法を適用することができる。

しかして制御マイクロコンピュータ４８は、この判定による画質補正モードによる３次元ルックアップテーブル処理部４６の設定を中央処理ユニット４５に指示する。なおこの場合に、実施例１又は実施例２について上述した何れかの設定手法を適用することができる。また実用上十分に適切に画質補正モードを設定できる場合には、オートフォーカス調整用の情報だけで画質補正モードを設定するようにしてもよい。

この実施例によれば、撮像時に検出可能な撮影時の条件の１つであるオートフォーカス調整による現在のフォーカス位置に応じて３次元ルックアップテーブルの補正用データを切り換えることにより、一段と手軽に、撮影の条件に応じて適切に画質補正することができるようにして、上述の実施例と同様の効果を得ることができる。

図１５は、本発明の実施例４に係る電子スチルカメラを示すブロック図である。この電子スチルカメラ５１において、実施例１、実施例２、実施例３について上述した電子スチルカメラと同一の構成は、対応する符号を付して示し、重複した説明は省略する。この電子スチルカメラ４１は、撮像時にのみ検出可能な撮影時の条件の１つであるオートホワイトバランス調整前の撮像結果による色温度に基づいて画質補正モードを自動的に選択する。

すなわちこの電子スチルカメラ５１において、信号処理部５４は、実施例１について上述したデモザイク処理部１３からガンマ補正部１６までの構成であり、撮像素子１２より得られる撮像結果を画像データに変換した後、この画像データを処理して出力する。この一連の処理において、信号処理部５４は、オートホワイトバランス調整に係る各色信号の利得の情報を中央処理ユニット５５に通知する。

中央処理ユニット５５は、信号処理部５４、３次元ルックアップテーブル処理部４６の制御に係るコントローラであり、図示しない制御マイクロコンピュータの指示により、これら信号処理部５４、３次元ルックアップテーブル処理部４６の動作を制御する。この一連の制御において、中央処理ユニット５５は、信号処理部５４から通知されるオートホワイトバランス調整に係る各色信号の利得を判定し、これにより被写体の色温度を検出する。またこの色温度検出結果により、３次元ルックアップテーブル処理部４６の補正用データを更新する。

すなわち図１６に示すように、晴天による撮影、曇天による撮影、電球による撮影では、被写体の色温度が微妙に異なり、これにより人物の肌色等にあっては、見た目が異なってしまう。これによりこの実施例では、検出した色温度により画質補正モードを選択し、この選択した画質補正モードに対応するように３次元ルックアップテーブル処理部４６に補正用データをセットする。なおこの場合に、実施例１又は実施例２について上述した何れかの設定手法を適用することができる。

この実施例によれば、撮像時に検出可能な撮影時の条件の１つである色温度に応じて３次元ルックアップテーブルの補正用データを切り換えることにより、一段と手軽に、撮影の条件に応じて適切に画質補正することができるようにして、上述の実施例と同様の効果を得ることができる。

この実施例では、実施例３、実施例４について上述した撮像結果に係る組み合わせにより画質補正モードを切り換える。なおこの実施例に係る電子スチルカメラは、この組み合わせに係る構成を除いて、実施例３、実施例４について上述した電子スチルカメラと同一に構成される。

すなわちこの実施例において、電子スチルカメラは、メモリ２２に格納した複数種類の補正用データのそれぞれ対応する画質補正モードＭ１〜Ｍｎについて、現在のフォーカス位置、輝度レベル、撮像結果の色温度を判定する基準パターンが設けられる。またこの基準パターンを用いたパターンマッチングにより、撮像結果より得られる現在のフォーカス位置、ジャストフォーカスしていると判断される領域の輝度レベル、撮像結果の色温度を判定し、それぞれ各画質補正モードＭ１〜Ｍｎの重み付け係数ｋ１〜ｋｎを生成する。

この電子スチルカメラは、次式により示すように、この重み付け係数ｋ１〜ｋｎを用いて各画質補正モードＭ１〜Ｍｎの補正用データＬ１〜Ｌｎを重み付け加算し、これにより補間演算処理による補正用のデータＬ０を生成する。この電子スチルカメラは、この補間演算処理による補正用のデータＬ０が３次元ルックアップテーブルにセットされる。

この実施例においては、各画質補正モードによるパターンマッチングにより、撮像時に検出可能な撮影時の条件を判定して補正用のデータを生成することにより、さらに一段と適切に画質補正することができるようにして、上述の実施例と同様の効果を得ることができる。

図１７は、本発明の実施例６に係る電子スチルカメラを示すブロック図である。この電子スチルカメラ６１において、上述の実施例に係る電子スチルカメラと同一の構成は、対応する符号を付して示し、重複した説明は省略する。この電子スチルカメラ６１は、３次元ルックアップテーブルブロック６９が、ＹＣＣ変換部１７の前段に設けられる点を除いて、実施例１〜５について上述した電子スチルカメラと同一に構成される。これによりこの実施例では、色差マトリックス１８による彩度補正の前段の、原色色信号による画像データの段階で、３次元ルックアップテーブルにより画質を補正する。

この実施例のように、色差マトリックス１８による彩度補正の前段において、さらには原色色信号による画像データの段階で、３次元ルックアップテーブルにより画質を補正するようにしても、上述の各実施例と同様の効果を得ることができる。

図１８は、本発明の実施例７に係る電子スチルカメラを示すブロック図である。この電子スチルカメラ７１において、上述の実施例に係る電子スチルカメラと同一の構成は、対応する符号を付して示し、重複した説明は省略する。この電子スチルカメラ７１は、γ補正部１６、色差マトリックス部１８、ＹＣＣ変換部１７が省略され（図４）、３次元ルックアップテーブルブロック７９のみでこれら省略した各部の処理と、彩度補正、階調補正の処理とを実行する。この実施例に係る電子スチルカメラは、この３次元ルックアップテーブルブロック７９に係る構成が異なる点を除いて、実施例１〜５について上述した電子スチルカメラと同一に構成される。

この実施例のように、３次元ルックアップテーブルのみにより彩度調整、階調調整し、さらに原色色信号による画像データを輝度信号及び色差信号による画像データに変換する等しても、上述の各実施例と同様の効果を得ることができる。またこのように３次元ルックアップテーブルのみにより彩度、階調調整し、さらに原色色信号による画像データを輝度信号及び色差信号による画像データに変換すること等により、全体構成を簡略化して、上述の各実施例と同様の効果を得ることができる。

この実施例においては、実施例１〜実施例７の構成において、所定の基準ベクトルによる補正用のデータＬ１をメモリ２２に記録して保持し、次式により示すように、この補正用のデータＬ１を利得ｋにより乗算して補正用のデータＬ０を生成し、この補正用のデータＬ０を３次元ルックアップテーブル３３に格納する。この実施例では、この利得ｋの制御により画質を調整する。なおこのような利得ｋの制御による画質を調整にあっては、上述の実施例１〜７について上述した画質調整方法と組み合わせて使用するようにしてもよい。

この実施例のように、基準の補正用データを重み付け係数により補正して３次元ルックアップテーブル３３に格納するようにして、この重み付け係数の可変により画質を調整することにより、補正用のデータに係るメモリの容量を低減して、さらには色補正量を効率よく調整できるようにして、上述の実施例と同様の効果を得ることができる。

図１９は、本発明の実施例９に係る電子スチルカメラに適用される３次元ルックアップテーブルブロックを示すブロック図である。この実施例に係る電子スチルカメラは、実施例１〜７について上述した電子スチルカメラの構成において、この３次元ルックアップテーブルブロック８９が適用される。

この３次元ルックアップテーブルブロック８９は、補間計算部３５から出力される補正ベクトルＶを重み付け処理して加算部３６に出力する乗算部８９Ａ、この加算部３６の出力値を重み付け処理して出力する乗算部８９Ｃが設けられ、実施例１〜７について上述した３次元ルックアップテーブル３３への補正用データのセットに代えて、又は３次元ルックアップテーブル３３への補正用データのセットに加えて、これら乗算部８９Ａ、８９Ｃへの重み付け係数の設定により、画質を調整する。

具体的に、この電子スチルカメラでは、次式により示すように、乗算部８９Ａにより補正ベクトルＶを重み付け係数ｋにより重み付けして加算部３６により入力画像データに加算し、これにより画質を補正する。また乗算部８９Ｃにより重み付けして利得が増大した分、乗算部８９Ｃによる重み付けにより利得を低下させる。

なおこの場合に、ビット精度が問題にならない場合には、乗算部８９Ｃを省略するようにしてもよい。また入力画像データ側に乗算回路８９Ｂを設け、乗算部８９Ａによる重み付けの処理に代えて、又は乗算部８９Ａによる重み付けの処理に加えて、この乗算部８９Ｂにより重み付けの処理を実行するようにしてもよい。なおこのように乗算部８９Ａによる重み付けの処理に代えて、入力画像データ側に設けた乗算部８９Ｂにより重み付けの処理を実行する場合にあっては、間接的に、３次元ルックアップテーブル３３の出力値を重み付け係数により重み付けして出力することになる。なおこの画質の調整にあっても、上述の実施例１〜８について上述した画質調整方法と組み合わせて使用するようにしてもよい。

この実施例によれば、３次元ルックアップテーブルの出力値を重み付け係数により重み付けして出力するようにして、この重み付け係数の可変により画質を調整することにより、補正用のデータに係るメモリの容量を低減して、さらには色補正量を効率よく調整できるようにして、上述の実施例と同様の効果を得ることができる。

図２０は、本発明の実施例１０に係る電子スチルカメラに適用される３次元ルックアップテーブルブロックを示すブロック図である。この実施例に係る電子スチルカメラは、実施例１〜７について上述した電子スチルカメラの構成において、この３次元ルックアップテーブルブロック９９が設けられる。

ここでこの３次元ルックアップテーブルブロック９９は、３次元ルックアップテーブル９３から直接出力値（Ｙ３、Ｃｂ３、Ｃｒ３）を出力するように構成され、またこの構成に対応するように、３次元ルックアップテーブル９３に補正用のデータがセットされる。なおこの実施例では、このように３次元ルックアップテーブル９３から直接出力値（Ｙ３、Ｃｂ３、Ｃｒ３）を出力するように構成されている点を除いて、実施例１〜７について上述した電子スチルカメラと同一に構成される。

この実施例のように、３次元ルックアップテーブル９３から直接出力値を出力するように構成しても、上述の実施例と同様の効果を得ることができる。

この実施例では、上述の実施例１〜１０の構成において、３次元ルックアップテーブル及び又は３次元ルックアップテーブルブロックを複数個有し、これら複数個の出力値を合成して画像データを出力する。この実施例では、この出力値の合成を重み付け係数を用いた重み付け加算により実行し、この重み係数の制御により画質を調整する。

この実施例のように複数系統の３次元ルックアップテーブルの出力値の直接の、又は間接の合成により色調整するようにして、この出力値の合成に係る重み係数の制御により撮像結果の画質を調整するようにしても、上述の実施例と同様の効果を得ることができる。

この実施例に係る電子スチルカメラでは、記録媒体２０への記録に係るフォーマットによる色空間の範囲外についても、撮像結果を処理できるように、３次元ルックアップテーブルが作成される。なおこの実施例では、この３次元ルックアップテーブルに係る構成が異なる点を除いて、実施例１〜１１の電子スチルカメラと同一に構成される。

またこのように構成して３次元ルックアップテーブルは、次式の関係式により示されるように、色差信号による画像データＣｂ、Ｃｒの最大値Ｃｍａｘによりクリッピング処理する。これにより３次元ルックアップテーブルは、一方の色差信号がクリッピング処理されると、他方の色差信号もクリッピング処理するようにして色相が変化しないようにし、出力フォーマットにより定義される色空間の範囲より飛び出す入力画像データについては、色相が変化しないようにクリッピング処理する。

これによりこの電子スチルカメラでは、図２１に示すように、色相の変化を防止して、入力画像データを記録媒体２０への記録に係る色空間に変換して記録媒体２０に記録する。

なおこのような範囲外の色空間に係る処理にあっては、記録媒体への記録が色信号による画像データの場合にも広く適用することができる。

すなわちこの場合、原色色信号による撮像結果の入力画像データを、マトリックス演算部により処理してｓＲＧＢ色域内にマッピングした後、３次元ルックアップテーブルブロックに入力する。また３次元ルックアップテーブルにセットする補正用のデータは、この実施例による電子スチルカメラの撮像結果より求められる各格子点のＲＧＢ値をＬ＊ａ＊ｂ＊値に変換し、Ｌ＊ａ＊ｂ＊空間で求めた任意のガマットマッピング処理後のＲＧＢ値を参考に作成する。

これによりこの場合、図２２に示すように、ＲＧＢ値による色相の変化を防止して、ＲＧＢ色空間における各サンプリング点が空間中央に変位するように入力画像データのサンプリング値を補正する。

なおこのような出力フォーマットに対応するように色空間の範囲を補正する処理にあっては、画像データの種々の出力に広く適用することができ、例えば液晶表示部２で表示可能な色空間により出力画像データを制限する場合等にも広く適用することができる。

この実施例によれば、記録媒体に記録する記録フォーマットにより定義される色空間の範囲より飛び出す撮像結果については、色相が変化しないようにクリッピングして出力することにより、後処理の際の飽和による色相の変化を有効に回避できるようにして、上述の実施例と同様の効果を得ることができる。

この実施例に係る電子スチルカメラでは、３次元ルックアップテーブルの処理に係る３つの軸を異なる分解能に設定する。なおこの実施例では、この３次元ルックアップテーブルに係る構成が異なる点を除いて、実施例１〜１２の電子スチルカメラと同一に構成される。

すなわちこの実施例においては、３次元ルックアップテーブルの設定に係る格子点の数が、各軸方向に、それぞれ（２ｐ＋１、２ｑ＋１、２ｒ＋１）に設定される。またこの設定に対応するように補正用データが生成され、エリア判定部３１、補間係数算出部３４では、（５）〜（７）式による演算処理に代えて、次式による演算処理により入力画像データを処理し、また補正用データを補間演算処理する。

この実施例によれば、３次元ルックアップテーブルの処理に係る３つの軸を異なる分解能に設定することにより、軸毎に分解能を最適化して３次元ルックアップテーブルの規模を縮小し、補正用データを保持するメモリの容量を低減することができ、さらには上述の実施例と同様の効果を得ることができる。

図２３は、本発明の実施例１４に係る電子スチルカメラに適用される３次元ルックアップテーブルブロックを、関連する構成と共に示すブロック図である。この実施例に係る電子スチルカメラでは、この３次元ルックアップテーブルブロックの前後に、色空間変換用のルックアップテーブル１９Ａ及び１９Ｂが設けられる点を除いて、実施例１〜１３の電子スチルカメラと同一に構成される。

この電子スチルカメラでは、このルックアップテーブル１９Ａ及び１９Ｂにより入力画像データの色空間を変換し、３次元ルックアップテーブルブロック１９による処理精度を向上する。

ここでルックアップテーブル１９Ａ及び１９Ｂは、入出力特性が逆特性となるように設定され、これによりこの電子スチルカメラでは、空間変換時に生じる歪みによる精度低下が防止される。

この実施例では、このルックアップテーブル１９Ａ及び１９Ｂによる色空間の変換処理に、１次元の変換処理が適用される。ここで入力側のルックアップテーブル１９Ａは、続く３次元ルックアップテーブルブロック１９に係る格子点の設定が、高い精度による画質補正が求められる部位で密となるように、非線型の入出力特性により入力画像データを処理して出力する。なおここでこの高い精度による画質補正が求められる部位は、例えば無彩色、記憶色である。

具体的に、この入力側のルックアップテーブル１９Ａは、輝度信号及び色差信号による入力画像データが処理対象の場合、図２４に示すように、色差信号については、無彩軸近辺では傾きが大きく、高彩度になるにつれ傾きが緩やかになる入出力特性に設定される。またこの高彩度側にて、曲線が収束する入力値が任意に設定され、これにより続く３次元ルックアップテーブルブロック１９で処理する空間範囲が制御される。なお入力値の範囲が出力値の範囲よりも広い場合には、出力値の範囲で入力値を正規化し、これにより処理精度を向上する。

なお図２５に示す特性は、この図２４に示す特性に対する逆特性であり、出力側のルックアップテーブル１９Ｂの色差信号に係る入出力特性である。

これに対して輝度信号について、入力側のルックアップテーブル１９Ａは、図２６に示すように、肌色等の重要色付近と、高輝度部分とで傾きが大きくなるように入出力特性が設定される。なおこのように高輝度部分で傾きを大きくするのは、ダイナミックレンジを拡大するためである。

なお図２７に示す特性は、この図２６に示す特性に対する逆特性であり、出力側のルックアップテーブル１９Ｂの輝度信号に係る入出力特性である。

この実施例によれば、ルックアップテーブルによる処理の前後で、色空間を変換するようにして、この色空間の変換を１次元の処理により実行することにより、３次元ルックアップテーブルによる処理の精度を向上するようにして、上述の実施例と同様の効果を得ることができる。すなわちこの場合、格子点が密となる無彩色、記憶色を細かく色調整して画質補正の精度を向上することができる。

図２８は、図２３との対比により本発明の実施例１５に係る電子スチルカメラに適用される３次元ルックアップテーブルブロックを、関連する構成と共に示すブロック図である。この実施例に係る電子スチルカメラでは、この３次元ルックアップテーブルブロックの前後の構成が異なる点を除いて、実施例１４の電子スチルカメラと同一に構成される。

この電子スチルカメラでは、３次元ルックアップテーブルブロックの前後に、１次元の色空間変換処理に係るルックアップテーブル１９Ａ及び１９Ｂに代えて、２次元の変換処理に係る色空間変換処理に係るルックアップテーブル１９Ｃ及び１９Ｄが設けられ、このルックアップテーブル１９Ｃ及び１９Ｄにより色差信号が補正される。

また３次元ルックアップテーブルブロック１９の入出力段、色差信号に係る系統に、それぞれオフセット部１９Ｅ〜１９Ｈが設けられ、これにより３次元ルックアップテーブルブロック１９に入力する色差信号に係る画像データにバイアスを与え、また３次元ルックアップテーブルブロック１９から出力される色差信号に係る画像データからこのバイアスを除去する。

これによりこの実施例では、色相に関して、高い精度による画質補正が求められる部位で３次元ルックアップテーブルブロック１９に係る格子点の設定が密となるように、入力画像データの色空間を変換し、その分、実施例１４に比して３次元ルックアップテーブルブロック１９による処理精度を向上する。なおこの構成において、輝度信号について、１次元の色空間変換処理を適用してもよい。

この実施例によれば、ルックアップテーブルによる処理の前後で、色空間を変換するようにして、この色空間の変換を２次元の処理により実行することにより、３次元ルックアップテーブルによる処理の精度を一段と向上するようにして、上述の実施例と同様の効果を得ることができる。

この実施例に係る電子スチルカメラでは、図２３に示す構成において、１次元のルックアップテーブル１９Ａ及び１９Ｂに代えて、３次元のルックアップテーブルが設けられ、これによりルックアップテーブルによる処理の前後で、色空間を変換するようにして、この色空間の変換を３次元の処理により実行する。

またこの色空間の変換では、原色色信号による画像データを処理対象に設定して、入力側でＲＧＢ色空間からＬ＊ａ＊ｂ＊色空間への色空間変換処理を実行し、出力側では、この入力側の逆変換処理、又はＬ＊ａ＊ｂ＊色空間からＹＣＣ色空間への変換処理を実行する。またこれにより３次元ルックアップテーブルブロック１９では、Ｌ＊ａ＊ｂ＊色空間に係る補正用データが設定されて、彩度補正等の処理を実行する。

この実施例によれば、ルックアップテーブルによる処理の前後で、色空間を変換するようにして、この色空間の変換を３次元の処理により実行することにより、３次元ルックアップテーブルによる処理の精度を一段と向上するようにして、上述の実施例と同様の効果を得ることができる。

図２９は、図１との対比により本発明の実施例１７に係る電子スチルカメラに適用される３次元ルックアップテーブルブロックを示すブロック図である。この実施例に係る電子スチルカメラでは、この３次元ルックアップテーブルブロックが適用される点を除いて、実施例１〜１６の電子スチルカメラと同一に構成される。

ここでこの３次元ルックアップテーブルブロック１０９は、エリア判定部３１、アドレスデコーダ３２に代えて、エリア検出部１０９Ａ、エリア判定部１０９Ｂ、アドレスデコーダ１０９Ｃが設けられる。ここでエリア検出部１０９Ａは、入力画像データ（Ｙ２、Ｃｂ２、Ｃｒ２）におけるサンプリング値の判定により、入力画像データ（Ｙ２、Ｃｂ２、Ｃｒ２）による色空間に設定された複数の領域のうちの、特定の領域にこの入力画像データ（Ｙ２、Ｃｂ２、Ｃｒ２）のサンプリング値が存在する場合を検出する。

ここでこの特定の領域にあっては、高い精度による画質補正が求められる領域であり、例えば肌色、緑色等の記憶色を含む記憶色近傍の領域である。

エリア判定部１０９Ｂは、入力画像データ（Ｙ２、Ｃｂ２、Ｃｒ２）のサンプリング値の判定により、入力画像データの参照格子点ｇ１、オフセットｐを検出する。この処理においてエリア判定部１０９Ｂは、エリア検出部１０９Ａにより、入力画像データ（Ｙ２、Ｃｂ２、Ｃｒ２）のサンプリング値が色空間上の特定の領域に存在する場合にのみ、参照格子点ｇ１、オフセットｐを検出して出力する。

このエリア検出部１０９Ａ、エリア判定部１０９Ｂに対応して、３次元ルックアップテーブル３３は、補正用のデータに係る色空間が、エリア検出部１０９Ａにおける領域分割に対応して領域分割され、エリア検出部１０９Ａの検出に係る特定領域に限って、それぞれ対応する補正用のデータが記録される。またこのように特定領域に限った分、高い分解能による補正用のデータが記録される。これにより３次元ルックアップテーブルブロック１０９は、記憶色に係る特定領域についてのみ、補正ベクトルＶを生成して入力画像データの画質を補正し、これによりこの実施例では、画質補正の精度を一段と向上する。

また画質補正モードに応じて３次元ルックアップテーブル３３の補正用データが切り換えられると共に、アドレスデコーダ３２の変換パラメータが切り換えられ、これにより画質補正モード毎に色空間への割り当てが切り換えられ、これによっても画質補正の精度を一段と向上する。なおこの場合に、エリア検出部１０９Ａにおいて検出する領域の切り換えにより、入力画像データにおける色空間を分割する領域数を切り換え、これにより補正モード毎に色空間への割り当てを切り換えるようにしてもよい。

この実施例によれば、３次元ルックアップテーブルに係る色空間を複数の領域に分割して、各領域で３次元ルックアップテーブルによる処理を切り換えることにより、記憶色等の特定領域について調整精度を向上することができる。これにより一段と細かく画質を調整できるようにして、上述の実施例と同様の効果を得ることができる。

図３０は、図１との対比により本発明の実施例１８に係る電子スチルカメラに適用される３次元ルックアップテーブルブロックの周辺構成を示すブロック図である。この実施例に係る電子スチルカメラでは、この３次元ルックアップテーブルブロック１９の周辺構成が異なる点を除いて、実施例１〜１７の電子スチルカメラと同一に構成される。

ここでこの電子スチルカメラ１では、外部インターフェース（外部Ｉ／Ｆ）１２２に接続されるメモリカード等の記録媒体を介して、他の撮像装置、パーソナルコンピュータ等で作成された３次元ルックアップテーブル３３の補正用のデータを取得し、メモリ２２に記録する。またこの外部インターフェース１２２を介して取得した補正用のデータをユーザーによる操作に応動して３次元ルックアップテーブル３３にセットする。これによりこの電子スチルカメラ１では、他の装置による画像補正の条件を再現することができるように構成される。

またこれとは逆に、メモリ２２に記録した補正用のデータをコンピュータ等により編集可能に、さらに他の撮像装置にセット可能に、外部インターフェース１２２を介して記録媒体に記録する。

この実施例によれば、外部インターフェースを介して他の撮像装置による補正用のデータを取得して３次元ルックアップテーブルにセットすることにより、他の装置による画像補正の条件を再現することができ、これによりユーザーによる使い勝手を向上して上述の実施例と同様の効果を得ることができる。

この実施例に係る電子スチルカメラは、例えばメモリカード等を介して、他の撮像装置で記録された撮像結果を取得し、この撮像結果により３次元ルックアップテーブルにセットする補正用データを生成する。これによりこの電子スチルカメラは、他の撮像装置における画質補正の処理をエミューションし、ユーザーによる使い勝手を向上する。

具体的に、この実施例に係る電子スチルカメラは、このエミューションに係る処理を実行可能に、全体の動作を制御するコントローラ等が構成される点を除いて、実施例１〜１７の電子スチルカメラと同一に構成される。

ここでこの電子スチルカメラに係るコントローラは、この他の撮像装置と同一の撮影条件により同一のカラーチャートを撮影し、これらの２つの撮像結果を用いて図９及び図１０の処理手順を実行して補正用のデータを生成する。なおこの処理において、他の撮像装置による撮像結果にあっては、各格子点における目標色に設定される。

これによりこの電子スチルカメラでは、他の撮像装置により実施される画質補正を再現可能に、３次元ルックアップテーブルの補正用データを生成する。

この実施例によれば、他の撮像装置で記録された撮像結果を取得して３次元ルックアップテーブルにセットする補正用データを生成することにより、この他の撮像装置における画質補正の処理をエミューションすることができ、これによりユーザーによる使い勝手を向上して上述の実施例と同様の効果を得ることができる。

なお上述の実施例においては、ＹＣＣ色空間により３次元ルックアップテーブルの補正用データを生成する場合について述べたが、本発明はこれに限らず、Ｌ＊ａ＊ｂ＊色空間、ＣＩＥＣＡＭ０２ Ｊａｂ色空間上で設計するようにしてもよい。なお図３１〜図３４は、それぞれ図９及び図１０との対比により、Ｌ＊ａ＊ｂ＊色空間、ＣＩＥＣＡＭ０２ Ｊａｂ色空間上で補正用データを生成する処理手順を示すフローチャートである。これらの処理においては、図９及び図１０の対応する処理ステップと符号を対応付けて示すように、補正用データの生成に供する色空間に対応するように、サンプリング値を変換して処理することにより、上述の実施例と同様に、簡易かつ確実に補正用データを生成することができる。

また上述の実施例においては、電子スチルカメラにより静止画による撮像結果を取得する場合について述べたが、本発明はこれに限らず、電子スチルカメラやビデオカメラにより動画による撮像結果を取得する場合にも広く適用することができる。なおこの場合に、実施例８、実施例９等について上述した３次元ルックアップテーブルの処理結果に係る重み付け係数を徐々に変化させるようにして、時間軸方向で画像補正を変化させるようにしてもよい。

また上述の実施例においては、撮像結果をリアルタイムにより処理する場合について述べたが、本発明はこれに限らず、撮像結果をいわゆるＲＡＷデータにより記録媒体に記録して保持し、後日、上述の各実施例に対応する処理により画質を調整するようにしてもよい。なおこの場合に、撮像結果を取得する際にのみ検出可能な撮影時の条件についてもＲＡＷデータに記録するようにして保持し、後日、ＲＡＷデータに対して実施例３、実施例４と同様の処理を実行するようにしてもよい。

また上述の実施例においては、単に画質補正した撮像結果を記録媒体に記録する場合について述べたが、本発明はこれに限らず、画質補正に使用した補正用のデータを特定する情報を併せて記録し、以降の処理に利用できるようにしてもよい。

また上述の実施例においては、本発明を電子スチルカメラに適用した場合について述べたが、本発明はこれに限らず、ビデオカメラ、カメラ付き携帯電話等、種々の形態による撮像装置に広く適用することができる。

本発明は、撮像装置及び撮像装置における撮像結果の処理方法に関し、例えば電子スチルカメラに適用することができる。

１、４１、５１、６１、７１……電子スチルカメラ、２……液晶表示部、１２……撮像素子、１８……色差マトリックス、１９、６９、７９、８９、９９、１０９……３次元ルックアップテーブルブロック、２１……コントローラ、２２……メモリ、３３……３次元ルックアップテーブル、４４、５４……信号処理部、４６、９３、１０９Ｃ……３次元ルックアップテーブル処理部、１９Ａ〜１９Ｄ……ルックアップテーブル

Claims (6)

1. 撮像面に形成された光学像の撮像結果を出力する撮像素子と、
   前記撮像面に前記光学像を形成するレンズと、
   前記撮像結果を３次元ルックアップテーブルにより色調整する画像処理部と、
   前記画像処理部により処理された前記撮像結果を記録媒体に記録する記録部と、
   前記３次元ルックアップテーブルに補正用のデータをセットする制御部を有し、
   前記制御部は、
   他の撮像装置で撮影された撮像結果を目標値に設定して前記補正用のデータを生成して前記３次元ルックアップテーブルにセットする
   撮像装置。
2. 前記画像処理部は、
   前記３次元ルックアップテーブルにセットする補正用のデータの設定により、
   前記記録媒体に記録する記録フォーマットにより定義される色空間の範囲より飛び出す 前記撮像結果については、色相が変化しないようにクリッピングして出力する
   請求項１に記載の撮像装置。
3. 前記３次元ルックアップテーブルは、
   各次元の分解能が異なるように設定された
   請求項１に記載の撮像装置。
4. 前記画像処理部は、
   前記３次元ルックアップテーブルの出力値を重み付け係数により重み付けして出力し、
   前記撮像装置は、
   前記重み付け係数の制御により前記撮像結果の画質を調整する制御部を有する
   請求項１に記載の撮像装置。
5. 前記３次元ルックアップテーブルにセットする補正用のデータを重み付け係数により重み付けして前記３次元ルックアップテーブルにセットする制御部を有し、
   前記制御部は、
   前記重み付け係数の制御により前記撮像結果の画質を調整する
   請求項１に記載の撮像装置。
6. 撮像装置における撮像結果の処理方法において、
   他の撮像装置で撮影された撮像結果を目標値に設定して補正用のデータを生成して３次元ルックアップテーブルにセットするステップと、
   撮像素子より得られる撮像結果を前記３次元ルックアップテーブルにより色調整する色調整のステップを有する
   撮像装置における撮像結果の処理方法。
   

Images