JP2012074951A - 撮像装置および画像処理方法 - Google Patents

Abstract

【課題】水中で撮影された画像データに対して、水深の深さに応じた適切な色補正を行う。
【解決手段】撮像装置は、撮像素子１０２で受光した被写体光を光電変換することによって画像データを生成する撮像部１０２、１０３、１０４と、画像データから色情報を取得する色情報取得部１１８と、画像データが水中での撮像によって生成されたか否かを判定する判定部１１８と、水中で撮像された画像データの色補正を行う際の基準となる水中用基準色バランス特性を設定する水中用基準色バランス特性設定部１１８と、画像データが水中での撮像によって生成されたと判定された場合に、色情報取得部によって取得された色情報、および、水中用基準色バランス特性に基づいて、水中用色補正データを算出する水中用色補正データ算出部１１８と、水中用色補正データに基づいて、水中での撮像によって生成された画像データの色補正を行う色補正部１０７１とを備える。
【選択図】図１

Description

本発明は、水中での撮像によって得られる画像データを色補正する技術に関する。

従来、通常の光源色軌跡とは別に、水中用の光源色軌跡を用意しておき、水中で撮影された画像から得られる色情報と、水中用光源色軌跡とに基づいて、画像の撮像状況下における光源色を算出して、ホワイトバランス補正を行う技術が知られている（特許文献１参照）。

特開２００８−１７１９８号公報

しかしながら、水中では、水深が深くなるほど、太陽光等の水上からの自然光の赤色成分が減衰するという特性がある。従って、白色点を白く合わせるために、従来の技術を用いて、水深が深い位置で撮影された画像を、水中用光源色軌跡に基づいたホワイトバランス補正を行うと、赤色が強調された不自然な写真となるという問題が生じる。

本発明は、水中で撮影された画像データに対して、水深の深さに応じた適切な色補正を行う技術を提供することを目的とする。

本発明のある態様に係る撮像装置は、撮像素子で受光した被写体光を光電変換することによって画像データを生成する撮像部と、前記画像データから色情報を取得する色情報取得部と、前記画像データが水中での撮像によって生成されたか、陸上での撮像によって生成されたかを判定する判定部と、水中で撮像された画像データの色補正を行う際の色補正基準となる水中用色バランス基準を設定する水中用色バランス基準設定部と、前記判定部によって前記画像データが水中での撮像によって生成されたと判定された場合に、前記色情報取得部によって取得された色情報、および、前記水中用色バランス基準に基づいて、水中用色補正データを算出する水中用色補正データ算出部と、前記水中用色補正データ算出部によって算出された水中用色補正データに基づいて、前記水中での撮像によって生成された画像データの色補正を行う色補正部と、を備える。

本発明の別の態様に係る画像処理方法は、画像データを入力するステップと、前記入力した画像データから色情報を取得するステップと、前記画像データが水中での撮像によって生成されたか、陸上での撮像によって生成されたかを判定するステップと、水中で撮像された画像データの色補正を行う際の色補正基準となる水中用色バランス基準を設定するステップと、前記画像データが水中での撮像によって生成されたと判定された場合に、前記取得した色情報、および、前記水中用色バランス基準に基づいて、水中用色補正データを算出するステップと、前記算出した水中用色補正データに基づいて、前記水中での撮像によって生成された画像データの色補正を行うステップと、を備える。

本発明によれば、水中で撮影された画像データに対して、水深の深さに応じた適切な色補正を行うことができる。

第１の実施形態における撮像装置であるデジタルスチルカメラの構成を示すブロック図である。 オートホワイトバランス処理時に、ＡＷＢ処理部によって行われる処理内容を示すフローチャートである。 図３（ａ）は、ＳＤＲＡＭから読み込んだ画像データを示す図であり、図３（ｂ）は、画像データを分割するための評価ブロックを示す図である。また、図３（ｃ）は、画像データを複数の評価ブロックにより分割した図である。 図４（ａ）〜（ｃ）は、画像データの各評価ブロック領域ごとに、Ｒ、Ｇ、Ｂそれぞれの画素値の平均値を算出した結果を示す図である。 図５（ａ）は、各評価ブロック領域ごとにＷＢ評価値を算出した状態を示す図であり、図５（ｂ）は、ＷＢ評価値を、横軸をＲ／Ｇ、縦軸をＢ／Ｇとする色空間座標にマッピングした図である。 ホワイトバランスゲイン算出処理の詳細な内容を示すフローチャートである。 図７（ａ）は、横軸をＲ／Ｇ、縦軸をＢ／Ｇとする色空間座標に設定されたホワイトバランス判定用エリアを示す図、図７（ｂ）は、ホワイトバランス判定用エリアが設定された色空間座標上に、ＷＢ評価値をマッピングした図、図７（ｃ）は、各ホワイトバランス判定用エリア内に存在するＷＢ評価値のカウント結果の一例を示す図である。 図８（ａ）は、横軸をＲ／Ｇ、縦軸をＢ／Ｇとする色空間座標上において、白色に対する赤、青、緑、マゼンタ、イエロー、シアンの相対的な位置関係を示す図、図８（ｂ）は、水中において、水深と各色の透過率との関係を示す図、図８（ｃ）は、図８（ｂ）に示す各色の透過率の減衰特性に基づいて、横軸をＲ／Ｇ、縦軸をＢ／Ｇとする色空間座標上に、水中用の白色点軌跡を示した図である。 図９（ａ）は、水中で水深が５ｍの位置において、白色に対する赤、青、緑、マゼンタ、イエロー、シアンの相対的な位置関係を示す図であり、図９（ｂ）は、水中で水深が２０ｍの位置において、白色に対する赤、青、緑、マゼンタ、イエロー、シアンの相対的な位置関係を示す図である。 水中で撮像された画像データに対して、ＡＷＢ処理部によって行われるホワイトバランスゲイン算出処理の詳細な内容を示すフローチャートである。 図１１（ａ）は、横軸をＲ／Ｇ、縦軸をＢ／Ｇとする色空間座標上に設定された水中エリアの一例を示す図、図１１（ｂ）は、横軸をＲ／Ｇ、縦軸をＢ／Ｇとする色空間座標上に設定された水中用ホワイトバランスゲイン軌跡の一例を示す図である。 図１２（ａ）は、水中用ホワイトバランスゲイン軌跡の設定範囲を示す図であり、図１２（ｂ）は、水中エリア内に存在するＷＢ評価値の重心位置から、水中用ホワイトバランスゲイン軌跡上の位置を求める方法を表した図である。 図１３（ａ）は、水深が浅い場合、図１３（ｂ）は、水深が比較的深いが画像内の青色領域の面積が少ない場合、図１３（ｃ）は、水深が比較的深く、かつ、画像内の青色領域の面積が多い場合において、ホワイトバランスゲインを算出する方法をそれぞれ示す図である。 第２の実施形態における撮像装置において、ＡＷＢ処理部によって行われる処理内容を示すフローチャートである。

−第１の実施形態−
図１は、第１の実施形態における撮像装置であるデジタルスチルカメラの構成を示すブロック図である。図１に示すデジタルスチルカメラは、カメラ本体１と交換式レンズ２から構成される。

交換式レンズ２は、レンズ１０１０と、Ｆｌａｓｈメモリ１０１１と、マイクロコンピュータ１０１２と、ドライバ１０１３と、絞り１０１４と、を有している。交換式レンズ２は、Ｉ／Ｆ９９９を介して、カメラ本体１と通信可能に接続されている。

カメラ本体１は、メカシャッター１０１と、撮像素子１０２と、アナログ処理部１０３と、アナログ/デジタル変換部１０４（以下、Ａ/Ｄ変換部１０４）と、バス１０５と、ＳＤＲＡＭ１０６と、画像処理部１０７と、ＡＥ処理部１０８と、ＡＦ処理部１０９と、画像圧縮伸長部１１０と、メモリインターフェース１１１（以下、メモリＩ/Ｆ１１１）と、記録媒体１１２と、ＬＣＤドライバ１１３と、ＬＣＤ１１４と、マイクロコンピュータ１１５と、操作部１１６と、Ｆｌａｓｈメモリ１１７と、ＡＷＢ処理部１１８とを有している。

レンズ１０１０は、被写体の光学像を撮像素子１０２に集光させる。レンズ１０１０は、単焦点レンズであってもよいし、ズームレンズであってもよい。

マイクロコンピュータ１０１２は、Ｉ／Ｆ９９９、Ｆｌａｓｈメモリ１０１１、および、ドライバ１０１３と接続されていて、Ｆｌａｓｈメモリ１０１１に記憶されている情報の読み込み・書き込みを行うとともに、ドライバ１０１３を制御する。マイクロコンピュータ１０１２は、さらに、Ｉ／Ｆ９９９を介して、マイクロコンピュータ１１５と通信することができ、レンズの焦点距離情報などをマイクロコンピュータ１１５へ送信し、また、マイクロコンピュータ１１５から絞り値等の情報を受信する。

ドライバ１０１３は、マイクロコンピュータ１０１２の指示を受けて、レンズ１０１０を駆動させて、焦点距離やフォーカス位置の変更を行うとともに、絞り１０１４を駆動する。絞り１０１４は、レンズ１０１０の近傍に設けられ、被写体の光量を調節する。

メカシャッター１０１は、マイクロコンピュータ１１５の指示を受けて駆動し、撮像素子１０２に被写体を露光する時間を制御する。

撮像素子１０２は、各画素を構成するフォトダイオードの前面に、ベイヤー配列のカラーフィルタが配置された撮像素子である。ベイヤー配列は、水平方向にＲ画素とＧ（Ｇｒ）画素が交互に配置されたラインと、Ｇ（Ｇｂ）画素とＢ画素が交互に配置されたラインとを有し、さらにその２つのラインを垂直方向にも交互に配置することで構成されている。この撮像素子１０２は、レンズ１０１０により集光された光を、画素を構成するフォトダイオードで受光して光電変換することで、光の量を電荷量としてアナログ処理部１０３へ出力する。なお、撮像素子１０２は、ＣＭＯＳ方式のものでもＣＣＤ方式のものでも良い。

アナログ処理部１０３は、撮像素子１０２から読み出された電気信号（アナログ画像信号）に対し、リセットノイズ等を低減した上で波形整形を行い、さらに目的の明るさとなるように、ゲインアップを行う。Ａ/Ｄ変換部１０４は、アナログ処理部１０３から出力されたアナログ画像信号をデジタル画像信号（以後、画像データという）に変換する。

なお、撮像素子１０２、アナログ処理部１０３、および、Ａ/Ｄ変換部１０４をまとめて撮像部と呼ぶことができる。

バス１０５は、デジタルカメラ内部で発生した各種データをデジタルカメラ内の各部に転送するための転送路である。バス１０５は、Ａ/Ｄ変換部１０４と、ＳＤＲＡＭ１０６と、画像処理部１０７と、ＡＥ処理部１０８と、ＡＦ処理部１０９と、画像圧縮伸長部１１０と、メモリＩ/Ｆ１１１と、ＬＣＤドライバ１１３と、マイクロコンピュータ１１５と、ＡＷＢ処理部１１８に接続されている。

Ａ/Ｄ変換部１０４から出力される画像データは、バス１０５を介して一旦ＳＤＲＡＭ１０６に記憶される。ＳＤＲＡＭ１０６は、Ａ/Ｄ変換部１０４において得られた画像データや、画像処理部１０７、画像圧縮伸長部１１０において処理された画像データ等の各種データが一時的に記憶される記憶部である。

画像処理部１０７は、ホワイトバランス補正部１０７１（以下、ＷＢ補正部１０７１）、同時化処理部１０７２、色再現処理部１０７３、および、ノイズ低減処理部１０７４（以下、ＮＲ処理部１０７４）を含み、ＳＤＲＡＭ１０６から読み出した画像データに対して様々な画像処理を施す。ＷＢ補正部１０７１は、ＡＷＢ処理部１１８で算出されるホワイトバランスゲインに基づいて、画像データのホワイトバランスを補正する処理を行う。同時化処理部１０７２は、ベイヤー配列による画像データから、１画素あたりＲ、Ｇ、Ｂの情報からなる画像データへ同時化する処理を行う。色再現処理部１０７３は、画像の色味を変化させる色再現処理を行い、ＮＲ処理部１０７４は、ノイズを低減する処理を行う。ノイズ低減処理後の画像データは、ＳＤＲＡＭ１０６に記憶される。

ＡＥ処理部１０８は、画像データから被写体輝度を算出する。被写体輝度を算出するためのデータは、専用の測光センサの出力であってもよい。ＡＦ処理部１０９は、画像データから高周波成分の信号を取り出し、ＡＦ（Auto Focus）積算処理により、合焦評価値を取得する。

ＡＷＢ処理部１１８は、画像の撮像状況下における光源に応じて自動的にホワイトバランスを調整するオートホワイトバランス処理時に、ホワイトバランスゲインを算出する。特に、ＡＷＢ処理部１１８は、陸上撮像時には、陸上撮像時のホワイトバランスゲインを算出し、水中撮像時には、水中撮像時のホワイトバランスゲイン（水中用色補正データ）を算出する。

画像圧縮伸長部１１０は、静止画像データの記録時には、ＳＤＲＡＭ１０６から画像データを読み出し、読み出した画像データをＪＰＥＧ圧縮方式に従って圧縮して、圧縮したＪＰＥＧ画像データを、ＳＤＲＡＭ１０６に一旦記憶する。マイクロコンピュータ１１５は、ＳＤＲＡＭ１０６に記憶されたＪＰＥＧ画像データに対して、ＪＰＥＧファイルを構成するために必要なＪＰＥＧヘッダを付加してＪＰＥＧファイルを作成し、作成したＪＰＥＧファイルを、メモリＩ/Ｆ１１１を介して記録媒体１１２に記録する。

画像圧縮伸長部１１０は、また、動画データの記録時には、ＳＤＲＡＭ１０６から動画データを読み出し、読み出した動画データを、例えば、Ｈ．２６４方式に従って圧縮して、圧縮した動画データをＳＤＲＡＭ１０６に一旦記憶する。画像圧縮伸長部１１０は、さらに、マイクロコンピュータ１１５からの指令に基づいて、圧縮データを展開（伸長）する処理を行う。

記録媒体１１２は、例えばカメラ本体１に着脱可能なメモリカードからなる記録媒体であるが、これに限定されるものではない。

ＬＣＤドライバ１１３は、ＬＣＤ１１４に画像を表示させる。画像の表示には、撮影直後の画像データを短時間だけ表示するレックビュー表示、記録媒体１１２に記録されたＪＰＥＧファイルの再生表示、および、ライブビュー表示等の動画の表示が含まれる。記録媒体１１２に記録された圧縮データを再生する場合、画像圧縮伸長部１１０は、記録媒体１１２に記録されている圧縮データを読み出して展開（伸長）処理を施した上で、展開したデータを一旦ＳＤＲＡＭ１０６に記憶させる。ＬＣＤドライバ１１３は、伸張されたデータをＳＤＲＡＭ１０６から読み出し、読み出したデータを映像信号へ変換した後でＬＣＤ１１４へ出力して表示を行う。

制御部としての機能を有するマイクロコンピュータ１１５は、デジタルカメラ本体１の各種シーケンスを統括的に制御する。マイクロコンピュータ１１５には、操作部１１６およびＦｌａｓｈメモリ１１７が接続されている。

操作部１１６は、電源ボタン、レリーズボタン、各種入力キー等の操作部材である。ユーザによって、操作部１１６の何れかの操作部材が操作されることにより、マイクロコンピュータ１１５は、ユーザの操作に応じた各種シーケンスを実行する。電源ボタンは、当該デジタルカメラの電源のオン／オフ指示を行うための操作部材である。電源ボタンが押されると、当該デジタルカメラの電源がオンとなる。再度、電源ボタンが押されると、当該デジタルカメラの電源はオフとなる。レリーズボタンは、ファーストレリーズスイッチとセカンドレリーズスイッチの２段スイッチを有して構成されている。レリーズボタンが半押しされて、ファーストレリーズスイッチがオンされた場合に、マイクロコンピュータ１１５は、ＡＥ処理やＡＦ処理等の撮影準備シーケンスを行う。また、レリーズボタンが全押しされて、セカンドレリーズスイッチがオンされた場合に、マイクロコンピュータ１１５は、撮影シーケンスを実行して撮影を行う。

Ｆｌａｓｈメモリ１１７は、様々な光源のプリセットホワイトバランスゲイン、後述する水中エリアの設定値や水中用ホワイトバランスゲイン軌跡の設定値、ローパスフィルタ係数、デジタルカメラの動作に必要な各種パラメータ、デジタルスチルカメラを特定するための製造番号などを記憶している。また、Ｆｌａｓｈメモリ１１７は、マイクロコンピュータ１１５にて実行する各種プログラムも記憶している。マイクロコンピュータ１１５は、Ｆｌａｓｈメモリ１１７に記憶されているプログラムに従い、またＦｌａｓｈメモリ１１７から各種シーケンスに必要なパラメータを読み込み、各処理を実行する。

図２は、オートホワイトバランス処理時に、ＡＷＢ処理部１１８によって行われる処理内容を示すフローチャートである。ステップＳ１０では、ＳＤＲＡＭ１０６から画像データ（ＲＡＷデータ）を読み込む。

ステップＳ２０では、画像データを複数の評価ブロックに分割するための評価ブロック設定値をＦｌａｓｈメモリ１１７から読み込み、読み込んだ評価ブロック設定値に基づいて評価ブロックを設定する。そして、ステップＳ１０で読み込んだ画像データを複数の評価ブロックで分割する。

図３（ａ）は、ＳＤＲＡＭ１０６から読み込んだ画像データ３０を示す図であり、図３（ｂ）は、画像データを分割するための評価ブロック３１を示す図である。また、図３（ｃ）は、画像データ３０を複数の評価ブロック３１により分割した図である。

ステップＳ３０では、ホワイトバランス評価値（以下、ＷＢ評価値と呼ぶ）を算出する。このため、まず、画像データの各評価ブロック領域ごとに、Ｒ、Ｇ、Ｂそれぞれの画素値の平均値を算出する。

図４（ａ）〜（ｃ）は、画像データの各評価ブロック領域ごとに、Ｒ、Ｇ、Ｂそれぞれの画素値の平均値を算出した結果を示す図である。

続いて、各評価ブロック領域ごとに、ＷＢ評価値を算出する。ある評価ブロック領域における、Ｒ、Ｇ、Ｂの画素値の平均値をそれぞれＲ＿ａｖｅ、Ｇ＿ａｖｅ、Ｂ＿ａｖｅとすると、ＷＢ評価値は、Ｒ＿ａｖｅ／Ｇ＿ａｖｅ、Ｂ＿ａｖｅ／Ｇ＿ａｖｅとなる。図５（ａ）は、各評価ブロック領域ごとにＷＢ評価値を算出した状態を示す図である。

ステップＳ４０では、ステップＳ３０で算出したＷＢ評価値を、横軸をＲ／Ｇ、縦軸をＢ／Ｇとする色空間座標にマッピングする。図５（ｂ）は、各評価ブロック領域のＷＢ評価値を、横軸をＲ／Ｇ、縦軸をＢ／Ｇとする色空間座標にマッピングした図である。

なお、ホワイトバランスゲインを算出するための色空間座標は、横軸をＲ／Ｇ、縦軸をＢ／Ｇとする座標に限定されることはない。例えば、輝度信号をＹとしたときに、横軸を色差（Ｒ−Ｙ）、縦軸を色差（Ｂ−Ｙ）とする色空間座標を用いることもできる。輝度信号Ｙは、次式（１）により表される。
Ｙ＝0.299×Ｒ＋0.587×Ｇ＋0.114×Ｂ （１）

ステップＳ５０では、ホワイトバランスゲインを算出する。本実施形態における撮像装置では、画像データが水中での撮像によって生成された場合と、陸上での撮像によって生成された場合とで、異なる方法を用いてホワイトバランスゲインを算出する。陸上での撮像によって画像データが生成された場合のホワイトバランスゲイン算出処理については、図６に示すフローチャートを用いて説明する。また、水中での撮像によって画像データが生成された場合のホワイトバランスゲイン算出処理については、図１０に示すフローチャートを用いて説明する。

図６に示すフローチャートのステップＳ６００では、各光源のプリセットホワイトバランスゲインをＦｌａｓｈメモリ１１７から読み込む。各光源とは、例えば、日陰、曇天、晴天、夕日、電球である。

ステップＳ６１０では、ステップＳ６００で読み込んだホワイトバランスゲインを、Ｒ／Ｇ値、Ｂ／Ｇ値に変換する。

ステップＳ６２０では、ホワイトバランス判定用エリア設定値をＦｌａｓｈメモリ１１７から読み込む。

ステップＳ６３０では、ステップＳ６１０で求めた各光源のプリセットホワイトバランスゲインのＲ／Ｇ値、Ｂ／Ｇ値と、ステップＳ６２０で読み込んだホワイトバランス判定用エリア設定値とから、横軸をＲ／Ｇ、縦軸をＢ／Ｇとする色空間座標上に、ホワイトバランス判定用エリアを設定する。すなわち、各光源のプリセットホワイトバランスゲインのＲ／Ｇ値、Ｂ／Ｇ値で定められる位置を中心とする所定範囲をホワイトバランス判定用エリアとして設定する。

図７（ａ）は、横軸をＲ／Ｇ、縦軸をＢ／Ｇとする色空間座標に設定されたホワイトバランス判定用エリアを示す図である。図７（ａ）に示す例では、ホワイトバランス判定用エリアとして、日陰エリア７１、曇天エリア７２、晴天エリア７３、夕日エリア７４、電球エリア７５を示している。なお、横軸をＲ／Ｇ、縦軸をＢ／Ｇとする色空間座標上において、各光源のプリセットホワイトバランスゲイン位置を結ぶ曲線７７は、黒体軌跡と呼ばれる。

ステップＳ６４０では、図２に示すフローチャートのステップ４０で求めた、色空間座標へのマッピングデータ（ＷＢ評価値）を取得し、取得したデータを色空間座標上にマッピングする。

図７（ｂ）は、ホワイトバランス判定用エリアが設定された色空間座標上に、ＷＢ評価値をマッピングした図である。

ステップＳ６５０では、各ホワイトバランス判定用エリア７１〜７５内に存在するＷＢ評価値をカウントする。図７（ｃ）は、各ホワイトバランス判定用エリア７１〜７５内に存在するＷＢ評価値のカウント結果の一例を示す図である。

ステップＳ６６０では、ステップＳ６５０のカウント結果に基づいて、最もＷＢ評価値の数が多いホワイトバランス判定用エリアを特定し、特定したエリア内に存在するＷＢ評価値の平均値、すなわち、Ｒ／Ｇ、Ｂ／Ｇの平均値を算出する。

ステップＳ６７０では、ステップＳ６６０で算出したＲ／Ｇ、Ｂ／Ｇの平均値の逆数Ｇ／Ｒ、Ｇ／Ｂをホワイトバランスゲインとして算出する。この後、画像処理部１０７内のＷＢ補正部１０７１は、算出されたホワイトバランスゲインに基づいて、画像データのホワイトバランスを補正する処理を行う。

続いて、水中での撮像によって得られる画像データに対するホワイトバランス補正について説明する。

図８（ａ）は、横軸をＲ／Ｇ、縦軸をＢ／Ｇとする色空間座標上において、白色（Ｗ）に対する赤（Ｒ）、青（Ｂ）、緑（Ｇ）、マゼンタ（Ｍｇ）、イエロー（Ｙｅ）、シアン（Ｃｙ）の相対的な位置関係を示す図である。陸上で撮像された画像データに対するホワイトバランス補正では、図７（ａ）に示すように、黒体軌跡上の各光源に応じたプリセットホワイトバランス位置に白色点を合わせることにより、正しく色再現することができる。

しかしながら、水中では、一般的に水深が深くなるほど、光が海水に吸収されて青っぽい色味となる。図８（ｂ）は、水中において、水深と各色の透過率との関係を示す図である。図８（ｂ）に示すように、水中では、各色によって、水深に応じた透過率の減衰特性が異なり、水深が深くなると、初めに赤色が減衰していく。

図８（ｃ）は、図８（ｂ）に示す各色の透過率の減衰特性に基づいて、横軸をＲ／Ｇ、縦軸をＢ／Ｇとする色空間座標上に、水中用の白色点軌跡８０を示した図である。図８（ｃ）に示すように、水中用の白色点軌跡８０は、陸上の白色点軌跡である黒体軌跡７７とは異なる軌跡となる。この水中用の白色点軌跡８０に基づいてホワイトバランス補正を行えば、白色点を白く合わせることができる。しかしながら、水中の場合、図８（ｂ）に示す減衰特性により、白色点だけでなく、全体の色味分布が大きく変化する。

図９（ａ）は、水深が５ｍの位置で撮像された画像データに対して、白色点軌跡８０に基づいてホワイトバランス補正を行った場合に、白色に対する赤、青、緑、マゼンタ、イエロー、シアンの相対的な位置関係を示す図である。この場合、図８（ｂ）を用いて説明したように、他の色に比べて、赤色成分が少なくなる。

図９（ｂ）は、水深が２０ｍの位置で撮像された画像データに対して、白色点軌跡８０に基づいてホワイトバランス補正を行った場合に、白色に対する赤、青、緑、マゼンタ、イエロー、シアンの相対的な位置関係を示す図である。この場合、他の色に対して、赤色成分が極端に少なくなり、また、マゼンタ成分やイエロー成分も少なくなる。

従って、水中で撮像された画像データに対して、単に白色点を白く合わせるだけのホワイトバランス補正を行っても、赤色が不自然に強調された写真となったり、青みがなくなって水中らしい写真ではなくなったりする。

以上のことから、水深の浅い青かぶりの少ないシーンでは、比較的水中の白色点軌跡に近いホワイトバランスゲインを選択することで、最適な色再現を実現することが重要である。また、水深の深い青かぶりの多いシーンでは、水中の白色点軌跡とは異なる位置のホワイトバランスゲインを選択することで、無理に色味の強調をすることなく、自然な青みのある水中写真を得るようにすることが重要である。第１の実施形態における撮像装置では、水中で撮像された画像に対して、水深に応じた適切な色補正を行う。

なお、本実施形態において、水中で撮像された画像データに対して行うホワイトバランス補正処理は、単に白色点を白く合わせるだけの処理ではないため、例えば、色バランス補正処理または色補正処理という呼び方が適切かもしれないが、便宜上、ホワイトバランス補正処理と呼ぶ。従って、水中で撮像された画像データに対してホワイトバランス補正処理を行う際に用いる色補正データも、一般的な呼び方であるホワイトバランスゲインと呼ぶ。

図１０は、水中で撮像された画像データに対して、ＡＷＢ処理部１１８によって行われるホワイトバランスゲイン算出処理の詳細な内容を示すフローチャートである。ＡＷＢ処理部１１８は、処理対象の画像データが水中で撮像された画像データであると判定した場合に、図１０に示すフローチャートの処理を行う。例えば、ホワイトバランスの設定モードが水中モードに設定されている場合には、処理対象の画像データが水中で撮像された画像データであると判定する。ただし、処理対象の画像データが水中で撮像された画像データであるか否かを判定する方法は、上述した判定方法に限定されることはなく、例えば、撮像装置に設けられた水深計の計測結果に基づいて判定することもできる。

ステップＳ１０００では、各光源のプリセットホワイトバランスゲインをＦｌａｓｈメモリ１１７から読み込む。この処理は、図６に示すフローチャートのステップＳ６００の処理と同じである。

ステップＳ１０１０では、ステップＳ１０００で読み込んだホワイトバランスゲインを、Ｒ／Ｇ値、Ｂ／Ｇ値に変換する。この処理は、図６に示すフローチャートのステップＳ６１０の処理に対応している。

ステップＳ１０２０では、水中ホワイトバランスゲインを算出するための水中エリアの設定値をＦｌａｓｈメモリ１１７から読み込む。

ステップＳ１０３０では、ステップＳ１０２０で読み込んだ設定値に基づいて、横軸をＲ／Ｇ、縦軸をＢ／Ｇとする色空間座標上に、水中エリアを設定する。

図１１（ａ）は、横軸をＲ／Ｇ、縦軸をＢ／Ｇとする色空間座標上に設定された水中エリア１１０の一例を示す図である。

ステップＳ１０４０では、図２に示すフローチャートのステップ４０で求めた、色空間座標へのマッピングデータ（ＷＢ評価値）を取得し、取得したデータを色空間座標上にマッピングする（図１１（ａ）参照）。

ステップＳ１０５０では、水中エリア１１０内に存在するＷＢ評価値の重心位置を算出する。

ステップＳ１０６０では、水中用ホワイトバランスゲイン軌跡の設定値をＦｌａｓｈメモリ１１７から読み込み、読み込んだ設定値に基づいて、横軸をＲ／Ｇ、縦軸をＢ／Ｇとする色空間座標上に水中用ホワイトバランスゲイン軌跡（水中用色バランス基準）を設定する。この水中用ホワイトバランスゲイン軌跡は、水中で撮像された画像データの色補正を行う際の色補正基準となる。

図１１（ｂ）は、横軸をＲ／Ｇ、縦軸をＢ／Ｇとする色空間座標上に設定された水中用ホワイトバランスゲイン軌跡１１１の一例を示す図である。この水中用ホワイトバランスゲイン軌跡１１１は、白色を基準として定めた従来のホワイトバランスゲイン軌跡８０（図８（ｃ）参照）とは異なり、水深に応じた適切な画像を得るために定めたものである。水中用ホワイトバランスゲイン軌跡１１１は、Ｒ／Ｇ軸に対しては黒体軌跡より低く、Ｂ／Ｇ軸に対しては、日陰の色温度として想定している色温度と夕日の色温度として想定している色温度のとの間に設定する（図１２（ａ）参照）。

ステップＳ１０７０では、ステップＳ１０５０で算出した重心位置から、水中用ホワイトバランスゲイン軌跡上の位置を求める。ここでは、ステップＳ１０５０で算出した重心位置から、水中用ホワイトバランスゲイン軌跡を表す線に対して垂線を引き、垂線と水中用ホワイトバランスゲイン軌跡を表す線との交点を求める。

図１２（ｂ）は、水中エリア１１０内に存在するＷＢ評価値の重心位置１１５から、水中用ホワイトバランスゲイン軌跡１１１上の位置を求める方法を表した図である。重心位置１１５から水中用ホワイトバランスゲイン軌跡１１１に対して垂線１１６を引き、垂線１１６と水中用ホワイトバランスゲイン軌跡１１１との交点１１７を求める。

ステップＳ１０８０では、ステップＳ１０７０で求めた位置の座標Ｒ／Ｇ、Ｂ／Ｇの逆数Ｇ／Ｒ、Ｇ／Ｂをホワイトバランスゲインとして算出する。この後、画像処理部１０７内のＷＢ補正部１０７１は、算出されたホワイトバランスゲインに基づいて、画像データのホワイトバランスを補正する処理（色補正処理）を行う。

上述した方法によれば、水深の深さに応じた適切なホワイトバランスゲインを算出することができる。このことを、図１３を用いて説明する。

図１３（ａ）は、水深が浅い場合、図１３（ｂ）は、水深が比較的深いが画像内の青色領域の面積が少ない場合、図１３（ｃ）は、水深が比較的深く、かつ、画像内の青色領域の面積が多い場合において、ホワイトバランスゲインを算出する方法をそれぞれ示す図である。

水深が浅い場合には、図１３（ａ）に示すように、ステップＳ１０７０で求められる水中用ホワイトバランスゲイン軌跡上の点は、黒体軌跡と近い位置となる。すなわち、陸上の場合と同様に、白色点を白くするホワイトバランス補正によって、白色および白色以外の色の色味を正確に再現することができる。

図１３（ｂ）に示すように、水深が比較的深いが画像内の青色領域の面積が少ない場合、ステップＳ１０７０で求められる水中用ホワイトバランスゲイン軌跡上の点は、ＷＢ評価値の分布に近い位置となり、画像の色味分布に近いホワイトバランスゲインを算出することができる。一方、図１３（ｃ）に示すように、水深が比較的深く、かつ、画像内の青色領域の面積が多い場合には、青色以外の色味を無理に強調せずに、青みを生かした画像とするためのホワイトバランスゲインを算出することができる。

以上、第１の実施形態における撮像装置によれば、画像データから色情報を取得するとともに、水中で撮像された画像データの色補正を行う際の色補正基準となる水中用色バランス基準を設定する。そして、画像データが水中での撮像によって生成されたと判定した場合に、取得した色情報、および、水中用色バランス基準に基づいて、水中用色補正データを算出し、算出した水中用色補正データに基づいて、水中での撮像によって生成された画像データの色補正を行う。これにより、水中で撮像された画像データに対して、水深に応じた適切な色補正を行うことができ、色彩豊かな水中写真を得ることができる。

−第２の実施形態−
第２の実施形態における撮像装置では、陸上で撮像された画像データに対してホワイトバランス補正を行う際に算出するホワイトバランスゲイン（陸上用ホワイトバランスゲイン）と、水中で撮像された画像データに対してホワイトバランス補正を行う際に算出するホワイトバランスゲイン（水中用ホワイトバランスゲイン）とに基づいて、最終的なホワイトバランスゲインを算出する。

図１４は、第２の実施形態における撮像装置において、ＡＷＢ処理部１１８によって行われる処理内容を示すフローチャートである。

ステップＳ１４００では、陸上用ホワイトバランスゲインの算出処理を行う。具体的には、図６に示すフローチャートのステップＳ６００からステップＳ６７０までの処理を行う。

ステップＳ１４１０では、水中用ホワイトバランスゲインの算出処理を行う。具体的には、図１０に示すフローチャートのステップＳ１０００からステップＳ１０８０までの処理を行う。

ステップＳ１４２０では、横軸をＲ／Ｇ、縦軸をＢ／Ｇとする色空間座標上においてマッピングされたＷＢ評価値のうち、水中エリア１１０（図１１参照）内に存在するＷＢ評価値の比率を算出する。

ステップＳ１４３０では、陸上用ホワイトバランスゲインおよび水中用ホワイトバランスゲインと、ステップＳ１４２０で算出した比率とに基づいて、最終的なホワイトバランスゲインを算出する。具体的には、ステップＳ１４２０で算出した比率が大きいほど、水中用ホワイトバランスゲインの重みが大きくなるように、陸上用ホワイトバランスゲインと水中用ホワイトバランスゲインとを重み付け合成して、最終的なホワイトバランスゲインを算出する。また、ステップＳ１４２０で算出した比率が小さいほど、陸上用ホワイトバランスゲインの重みが大きくなるように、陸上用ホワイトバランスゲインと水中用ホワイトバランスゲインとを重み付け合成して、最終的なホワイトバランスゲインを算出する。

この後、画像処理部１０７内のＷＢ補正部１０７１は、算出されたホワイトバランスゲインに基づいて、画像データのホワイトバランスを補正する処理（色補正処理）を行う。

以上、第２の実施形態における撮像装置によれば、水中用色補正データとともに陸上用ホワイトバランス補正データを算出し、画像データから取得した色情報と、水中用色補正データおよび陸上用ホワイトバランス補正データとに基づいて、最終的な色補正データを算出する。そして、画像データが水中での撮像によって生成されたものであるかに関係なく、最終的な色補正データに基づいて、画像データの色補正を行う。これにより、陸上から水中へ、または、水中から陸上へと撮像場所を変更した場合でも、陸上用ホワイトバランスゲインと水中用色補正データとをシームレスに切り替えることができる。

なお、上述した第１〜第２の実施形態の説明では、撮像装置が行う処理としてハードウェアによる処理を前提としていたが、このような構成に限定される必要はない。例えば、別途ソフトウェアにて処理する構成も可能である。この場合、コンピュータは、ＣＰＵ、ＲＡＭ等の主記憶装置、上記処理の全て或いは一部を実現させるためのプログラムが記憶されたコンピュータ読み取り可能な記憶媒体を備えている。ここでは、このプログラムを色補正プログラムと呼ぶ。そして、ＣＰＵが上記記憶媒体に記憶されている色補正プログラムを読み出して、情報の加工・演算処理を実行することにより、上述の撮像装置と同様の処理を実現させる。

ここで、コンピュータ読み取り可能な記録媒体とは、磁気ディスク、光磁気ディスク、ＣＤ−ＲＯＭ、ＤＶＤ−ＲＯＭ、半導体メモリ等をいう。また、この色補正プログラムを通信回線によってコンピュータに配信し、この配信を受けたコンピュータが当該色補正プログラムを実行するようにしても良い。

本発明は、上述した第１〜第２の実施形態に限定されるものではなく、本発明の要旨を逸脱しない範囲内で様々な変形や応用が可能である。例えば、上述した実施形態では、水中用ホワイトバランスゲイン軌跡の設定値をＦｌａｓｈメモリ１１７に予め記憶させておき、Ｆｌａｓｈメモリ１１７に記憶されている水中用ホワイトバランスゲイン軌跡の設定値に基づいて、水中用ホワイトバランスゲイン軌跡を設定した。しかし、図１１（ｂ）に示す水中用ホワイトバランスゲイン軌跡を示す直線１１１が基準座標軸となるような座標データをＦｌａｓｈメモリ１１７に記憶させておき、Ｆｌａｓｈメモリ１１７に記憶されている座標データに基づいて、水中用ホワイトバランスゲイン軌跡を設定するようにしてもよい。また、画像データの色情報と、水中用ホワイトバランスゲインとの関係を定めたテーブルデータをＦｌａｓｈメモリ１１７に記憶させておき、Ｆｌａｓｈメモリ１１７に記憶されているテーブルデータおよび画像データの色情報に基づいて、水中用ホワイトバランスゲインを算出するようにしてもよい。この方法によれば、図１０のステップＳ１０５０で算出されるＷＢ評価値の重心位置から、テーブルデータを参照することによって、水中用ホワイトバランスゲインを算出することができる。

水中で撮像された画像データの色補正を行う際の色補正基準となる水中用ホワイトバランスゲイン軌跡（水中用色バランス基準）は、図１１（ｂ）の直線１１１で示されるものに限定されることはない。ただし、図１２（ａ）を用いて説明したように、Ｒ／Ｇ軸に対しては黒体軌跡より低く、Ｂ／Ｇ軸に対しては、日陰の色温度として想定している色温度と夕日の色温度として想定している色温度のとの間に設定する必要がある。

１０２…撮像素子
１０３…アナログ処理部
１０４…Ａ／Ｄ変換部
１１７…Ｆｌａｓｈメモリ（記憶部）
１１８…ＡＷＢ処理部（色情報取得部、判定部、水中用色補正データ算出部、陸上用ホワイトバランス補正データ算出部、最終色補正データ算出部）
１０７１…ＷＢ補正部（色補正部）

Claims (8)

1. 撮像素子で受光した被写体光を光電変換することによって画像データを生成する撮像部と、
   前記画像データから色情報を取得する色情報取得部と、
   前記画像データが水中での撮像によって生成されたか、陸上での撮像によって生成されたかを判定する判定部と、
   水中で撮像された画像データの色補正を行う際の色補正基準となる水中用色バランス基準を設定する水中用色バランス基準設定部と、
   前記判定部によって前記画像データが水中での撮像によって生成されたと判定された場合に、前記色情報取得部によって取得された色情報、および、前記水中用色バランス基準に基づいて、水中用色補正データを算出する水中用色補正データ算出部と、
   前記水中用色補正データ算出部によって算出された水中用色補正データに基づいて、前記水中での撮像によって生成された画像データの色補正を行う色補正部と、
   を備えることを特徴とする撮像装置。
2. 前記判定部によって前記画像データが陸上での撮像によって生成されたと判定された場合に、前記色情報取得部によって取得された色情報、および、陸上で撮像された画像データのホワイトバランス補正を行う際の基準となるホワイトバランス基準に基づいて、陸上用ホワイトバランス補正データを算出する陸上用ホワイトバランス補正データ算出部をさらに備え、
   前記色補正部は、前記陸上用ホワイトバランス補正データに基づいて、陸上での撮像によって生成された画像データのホワイトバランス補正を行う、
   ことを特徴とする請求項１に記載の撮像装置。
3. 前記水中用色バランス基準を示すデータを記憶する記憶部をさらに備え、
   前記水中用色バランス基準設定部は、前記記憶部に記憶されているデータに基づいて、前記水中用色バランス基準を設定する、
   ことを特徴とする請求項１または請求項２に記載の撮像装置。
4. 前記水中用色バランス基準を基準座標軸とする座標データを記憶する記憶部をさらに備え、
   前記水中用色バランス基準設定部は、前記記憶部に記憶されている座標データに基づいて、前記水中用色バランス基準を設定する、
   ことを特徴とする請求項１または請求項２に記載の撮像装置。
5. 画像データの色情報と前記水中用色補正データとの関係を定めたテーブルデータを記憶する記憶部をさらに備え、
   前記水中用色補正データ算出部は、前記色情報取得部によって取得された色情報、および、前記記憶部に記憶されているテーブルデータに基づいて、前記水中用色補正データを算出する、
   ことを特徴とする請求項１または請求項２に記載の撮像装置。
6. 前記水中用色補正データ算出部によって算出される水中用色補正データは、所定の色バランス範囲内にあることを特徴とする請求項１から請求項５に記載の撮像装置。
7. 前記色情報取得部によって取得された色情報、前記水中用色補正データ、および、前記陸上用ホワイトバランス補正データに基づいて、最終的な色補正データを算出する最終色補正データ算出部をさらに備え、
   前記色補正部は、前記画像データが水中での撮像によって生成されたものか陸上での撮像によって生成されたものであるかに関係なく、前記最終色補正データ算出部によって算出された最終的な色補正データに基づいて、画像データの色補正を行う、
   ことを特徴とする請求項２に記載の撮像装置。
8. 画像データを入力するステップと、
   前記入力した画像データから色情報を取得するステップと、
   前記画像データが水中での撮像によって生成されたか、陸上での撮像によって生成されたかを判定するステップと、
   水中で撮像された画像データの色補正を行う際の色補正基準となる水中用色バランス基準を設定するステップと、
   前記画像データが水中での撮像によって生成されたと判定された場合に、前記取得した色情報、および、前記水中用色バランス基準に基づいて、水中用色補正データを算出するステップと、
   前記算出した水中用色補正データに基づいて、前記水中での撮像によって生成された画像データの色補正を行うステップと、
   を備えることを特徴とする画像処理方法。