JP2017126920A - 撮像装置 - Google Patents

Abstract

【課題】通常の信号処理では、ＲＧＢ信号のうちのいずれかが飽和することによる色曲がりが発生するという課題があった。
【解決手段】信号処理時のダイナミックレンジを最終出力におけるダイナミックレンジよりも大きく確保して撮像し、最終出力のダイナミックレンジで表現できる範囲に色信号をマッピングした後に、最終出力のダイナミックレンジに換算する処理を行う。
【選択図】図５

Description

本発明は、撮像装置に関する。

撮像装置は被写体等を撮像素子により撮像した撮像信号から得られるＲＧＢ信号に対し、ゲイン、ホワイトバランス補正、色調補正などの信号処理を行って出力する。その際、撮像素子の出力、もしくは信号処理途中においてＲＧＢ信号のうちのいずれかが飽和してしまうと、色相が本来の状態からずれてしまう「色曲がり」と呼ばれる現象が発生する。例えば、Ｒ＞Ｇ＞Ｂの関係にあるオレンジ色の被写体を撮像している場合、露光量を多くしていくとＲが最初に飽和する。Ｒ信号がちょうど飽和した状態からさらに露光量を多くしていくとＲは飽和したままＧ信号とＢ信号が増加するため、色相は本来の状態よりも黄色側にずれていく。

このように色曲がりの現象が発生すると、撮像装置により得られる画像が実際の見た目とは異なってしまい、得られる画像として望ましくないことがある。特に、近年注目されているハイダイナミックレンジ技術においては、高輝度部を二―などによって圧縮せずに、輝度に対してリニアなまま表示することから、飽和の前後で信号の傾きが急激に変わってしまい、色曲がりがより顕著に発生する。

上記のような課題を解決するために、飽和した画素の画素値を周囲の画素から補間することで色曲がりの発生そのものを抑制する方法が提案されている（特許文献１）。

特開２００４−５６９４号公報

しかしながら、特許文献１に記載の方法では飽和した画素を周囲の画素から推定するため、処理が複雑であるという課題がある。また、飽和している領域が広いと飽和を含まない画素に隣接している画素から順に推定を繰り返し行う必要があるため、推定精度が低いという課題がある。 また、色曲がりを目立たなくするためのアプローチとして、高輝度部などに限定して彩度を抑制する「色消し」と呼ばれる処理がよく知られている。しかし、輝度に対してリニアに表示する場合に発生する顕著な色曲がりに対しては彩度を大きく落とす必要があり、色の階調性が低下してしまう弊害もある。

本発明は、上記の問題点を鑑みてなされたものであり、色曲がりを抑制した画像を得られる撮像装置を提供することを目的とする。

上記の目的を達成するために、本発明に係る撮像装置は、
最終出力となる第一のダイナミックレンジよりも広い第二のダイナミックレンジで撮像するダイナミックレンジ拡張撮像手段と、
前記ダイナミックレンジ拡張撮像手段により得られた信号を第一の輝度信号と第一の色信号に分離する信号分離手段と、
前記第一の色信号を前記第一のダイナミックレンジで表せる色信号領域にマッピングする色信号マッピング手段と、
前記色信号マッピング手段により得られた第二の色信号と第一の輝度信号を合成した合成信号を第一のダイナミックレンジに換算した信号に変換するダイナミックレンジ換算手段を備えることを特徴とする。

本発明に係る撮像装置によれば、飽和による色曲がりの発生を抑制し、特に高輝度部における色再現性を向上することが出来る。

本発明の実施形態におけるデジタルビデオカメラ１００の外観図である。 本発明の実施形態におけるデジタルビデオカメラ１００の構成を示すブロック図である。 本発明の実施形態における色曲がり抑制処理の信号処理パラメータ決定のフローチャートである。 本発明の実施形態におけるガンマ補正カーブを示す図である。 本発明の実施形態における画像処理部２４の構成を示すブロック図である。 本発明の実施形態における各枠で評価値からダイナミックレンジ制御を判断するフローチャートである。 本発明の実施形態における各枠でのダイナミックレンジ制御の判断から画像全体でのダイナミックレンジ拡大縮小の制御を行うフローチャートである。 本発明の実施形態における各枠でのダイナミックレンジ制御の判断を行うための表である。 本発明の実施形態における色マッピング部で彩度抑圧される入力例を示す図である。 本発明の実施形態における色マッピング部で無彩色にマッピングされる入力例を示す図である。

以下、本発明を実施するための形態を図面に基づいて説明する。

＜第１の実施形態＞
図１は本発明の撮像装置の第１の実施形態であるデジタルビデオカメラ１００を示す外観図である。

図１において、表示部２８は画像や各種情報を表示する表示部である。録画スイッチ６１は撮影指示を行うための操作部である。モード切替スイッチ６０は各種モードを切り替えるための操作部である。コネクタ１１２は接続ケーブルとデジタルビデオカメラ１００とのコネクタである。操作部７０はユーザーからの各種操作を受け付ける各種ボタン、十字キー等の操作部材より成る操作部である。

７２は電源スイッチであり、電源オン、電源オフを切り替える。記録媒体２００はメモリカードやハードディスク等の記録媒体である。記録媒体スロット２０１は記録媒体２００を格納するためのスロットである。記録媒体スロット２０１に格納された記録媒体２００は、デジタルビデオカメラ１００との通信が可能となる。

図２は本実施形態のデジタルビデオカメラ１００の内部構成を示すブロック図である。

図２において、撮影レンズ１０３はズームレンズ、フォーカスレンズを含むレンズ群であり、被写体像を結像させる。絞り１０１は光量調整に使用する絞りである。ＮＤ１０４は減光用に使用するＮＤである。撮像部２２は光学像を電気信号に変換するＣＣＤやＣＭＯＳ素子等で構成される撮像素子である。また、撮像部２２には電子シャッターによる蓄積の制御や、アナログゲイン、読み出し速度の変更などの機能も備える。

Ａ／Ｄ変換器２３は、アナログ信号をデジタル信号に変換する。Ａ／Ｄ変換器２３は、撮像部２２から出力されるアナログ信号をデジタル信号に変換するために用いられる。バリア１０２は、デジタルビデオカメラ１００の、撮影レンズ１０３を含む撮像系を覆うことにより、撮影レンズ１０３、絞り１０１、撮像部２２を含む撮像系の汚れや破損を防止する。

画像処理部２４は、Ａ／Ｄ変換器２３からのデータ、又は、メモリ制御部１５からのデータに対し所定の画素補間、縮小といったリサイズ処理や色変換処理、ガンマ補正、デジタルゲインの付加等の処理を行う。また、撮像した画像データを用いて所定の演算処理が行われ、演算結果をシステム制御部５０に送信する。送信された演算結果に基づいてシステム制御部５０が露出制御、測距制御をホワイトバランス制御等行う。これにより、ＴＴＬ（スルー・ザ・レンズ）方式のＡＦ（オートフォーカス）処理、ＡＥ（自動露出）処理、ＡＷＢ（オートホワイトバランス）処理等が行われる。

Ａ／Ｄ変換器２３からの出力データは、画像処理部２４及びメモリ制御部１５を介して、或いは、メモリ制御部１５を介してメモリ３２に直接書き込まれる。メモリ３２は、撮像部２２によって撮像されＡ／Ｄ変換器２３によりデジタルデータに変換された画像データや、表示部２８に表示するための画像データを格納する。メモリ３２は、所定時間の動画像および音声を格納するのに十分な記憶容量を備えている。また、メモリ３２は画像表示用のメモリ（ビデオメモリ）を兼ねている。

Ｄ／Ａ変換器１３は、メモリ３２に格納されている画像表示用のデータをアナログ信号に変換して表示部２８に供給する。こうして、メモリ３２に書き込まれた表示用の画像データはＤ／Ａ変換器１３を介して表示部２８により表示される。表示部２８は、ＬＣＤ等の表示器上に、Ｄ／Ａ変換器１３からのアナログ信号に応じた表示を行う。Ａ／Ｄ変換器２３によって一度Ａ／Ｄ変換されメモリ３２に蓄積されたデジタル信号をＤ／Ａ変換器１３においてアナログ変換し、表示部２８に逐次転送して表示することで、電子ビューファインダとして機能し、スルー画像表示を行うことができる。

不揮発性メモリ５６は、電気的に消去・記録可能なメモリであり、例えばＥＥＰＲＯＭが用いられる。不揮発性メモリ５６には、システム制御部５０の動作用の定数、プログラム等が記憶される。ここでいう、プログラムとは、本実施形態にて後述する各種フローチャートを実行するためのプログラムのことである。

システム制御部５０は、デジタルビデオカメラ１００全体を制御する。前述した不揮発性メモリ５６に記録されたプログラムを実行することで、後述する本実施形態の各処理を実現する。５２はシステムメモリであり、ＲＡＭが用いられる。システムメモリ５２には、システム制御部５０の動作用の定数、変数、不揮発性メモリ５６から読み出したプログラム等を展開する。また、システム制御部５０はメモリ３２、Ｄ／Ａ変換器１３、表示部２８等を制御することにより表示制御も行う。

システムタイマー５３は各種制御に用いる時間や、内蔵された時計の時間を計測する計時部である。モード切替スイッチ６０、録画スイッチ６１、操作部７０はシステム制御部５０に各種の動作指示を入力するための操作手段である。

モード切替スイッチ６０は、システム制御部５０の動作モードを、動画記録モード、静止画記録モード、再生モード等のいずれかに切り替える。動画記録モードや静止画記録モードに含まれるモードとして、オート撮影モード、オートシーン判別モード、マニュアルモード、撮影シーン別の撮影設定となる各種シーンモード、プログラムＡＥモード、カスタムモード等がある。モード切替スイッチ６０で、動画撮影モードに含まれるこれらのモードのいずれかに直接切り替えられる。あるいは、モード切り替えスイッチ６０で動画撮影モードに一旦切り換えた後に、動画撮影モードに含まれるこれらのモードのいずれかに、他の操作部材を用いて切り替えるようにしてもよい。録画スイッチ６１は撮影待機状態と撮影状態を切り替える。システム制御部５０は、録画スイッチ６１により、撮像部２２からの信号読み出しから記録媒体２００への動画データの書き込みまでの一連の動作を開始する。

操作部７０の各操作部材は、表示部２８に表示される種々の機能アイコンを選択操作することなどにより、場面ごとに適宜機能が割り当てられ、各種機能ボタンとして作用する。機能ボタンとしては、例えば終了ボタン、戻るボタン、画像送りボタン、ジャンプボタン、絞込みボタン、属性変更ボタン等がある。例えば、メニューボタンが押されると各種の設定可能なメニュー画面が表示部２８に表示される。利用者は、表示部２８に表示されたメニュー画面と、上下左右４方向の十字キーやＳＥＴボタンを用いて直感的に各種設定を行うことができる。

電源制御部８０は、電池検出回路、ＤＣ−ＤＣコンバータ、通電するブロックを切り替えるスイッチ回路等により構成され、電池の装着の有無、電池の種類、電池残量の検出を行う。また、電源制御部８０は、その検出結果及びシステム制御部５０の指示に基づいてＤＣ−ＤＣコンバータを制御し、必要な電圧を必要な期間、記録媒体２００を含む各部へ供給する。

電源部３０は、アルカリ電池やリチウム電池等の一次電池やＮｉＣｄ電池やＮｉＭＨ電池、Ｌｉイオン電池等の二次電池、ＡＣアダプター等からなる。記録媒体Ｉ／Ｆ１８は、メモリカードやハードディスク等の記録媒体２００とのインターフェースである。記録媒体２００は、撮影された画像を記録するためのメモリカード等の記録媒体であり、半導体メモリや磁気ディスク等から構成される。

次に画像処理部２４について図を参照しながらさらに詳細に説明する。

図５は第１の実施形態の画像処理部２４の概略的な内部構成を示すブロック図である。なお、画像処理部２４は、システム制御部５０から、例えば絞り値やＮＤ情報、シャッター速度などの露出パラメータを含めたカメラ内部のあらゆるデータを取得可能となされている。

図５において、ゲイン制御部３０１は、Ａ／Ｄ変換器２３からの映像信号、又は、メモリ制御部１５からの映像信号に対し、所定のデジタルゲインの付加などを行う。ＷＢ制御部３０２は、後述する色評価値取得部３０８が取得した映像の色情報から、Ｒ（赤色），Ｇ（緑色），Ｂ（青色）の信号のうち、Ｒ信号に対するゲイン、Ｂ信号に対するゲインを制御して映像全体の色味を変更する。

ガンマ補正部３０３は、複数のガンマ特性のうち、後述する撮影モードに応じて選択（設定）されたガンマ特性を使用して、Ｒ，Ｇ，Ｂの入力値（入力コード値）を、ガンマ補正カーブに応じた出力値（出力コード値）に変換するようなガンマ補正処理を行う。ガンマ補正部３０３におけるガンマ補正は、Ｒ，Ｇ，Ｂの入力値をガンマ補正カーブに応じた出力値に変換することで映像信号における明るさ（輝度の成分）について階調補正を行うような処理である。ガンマ補正部３０３で設定されているガンマ特性の情報は、後述する白抽出制御部３１１へ送られる。

色変換部３０４は、ＲＧＢ信号を、輝度信号Ｙと色差信号Ｒ−Ｙ，Ｂ−Ｙに変換する。以下、輝度信号Ｙと色差信号Ｒ−Ｙ，Ｂ−Ｙをそれぞれ区別しない場合には輝度色差信号と表記する。ノイズリダクション部３０５は、映像信号に対して空間フィルタをかけることで映像を平滑化してノイズ成分を低減する。輪郭強調部３０６は、映像中の周波数成分を抽出して輪郭部を検出し、その輪郭部を強調する。色補正部３０７は、色差信号Ｒ−Ｙ，Ｂ−Ｙにゲインをかけることで映像の彩度を変更する。

色マッピング部３０７は、色差信号の彩度を圧縮する処理を行う。彩度圧縮の度合いは輝度信号やＲＧＢ信号を参照する事で画素ごとに適応的に決定する事ができる。

ダイナミックレンジ換算部３０８は、入力ダイナミックレンジにおける輝度色差信号から最終ダイナミックレンジにおける輝度色差信号を取り出し、最終ダイナミックレンジにおける輝度色差信号に変換する。また、入力ダイナミックレンジにおける輝度色差信号のうち最終ダイナミックレンジに収まらない輝度色差信号については最終ダイナミックレンジにおける輝度色差信号の上限でクリップする。

色評価値取得部３０９は、１フレームの映像全体を複数のメッシュ枠に分割し、各メッシュ枠を評価枠として、各評価枠の映像領域毎に輝度信号Ｙと色差信号Ｒ−Ｙ，Ｂ−Ｙのそれぞれの平均値を取得する。

図４は色評価値取得部３０９が例えば１フレームの映像全体に対して設定する評価枠を説明するための図である。

図４に示すように、色評価値取得部３０９は、映像全体を例えば８×８の６４個のメッシュに分割し、各メッシュ枠を色の評価枠とする。図４の各評価枠は、Ｈ１〜Ｈ８で表される水平ライン方向の番号と、Ｖ１〜Ｖ８で表される垂直ライン方向の番号とで示される。色評価値取得部３０９は、各評価枠の映像領域毎に、輝度信号Ｙと色差信号Ｒ−Ｙ，Ｂ−Ｙからなる輝度色差信号を取得する。

色評価値取得部３０９は、（Ｈ１，Ｖ１）の評価枠の映像領域から輝度色差信号の取得処理をスタートして水平ライン方向に走査し、Ｈ８まできたならば、垂直ライン方向に１ライン分ずらして（Ｈ１，Ｖ２）の評価枠から同様に水平ライン方向の走査を行う。そして、色評価値取得部３０９は、（Ｖ８，Ｈ８）の評価枠まで走査を行って、６４枠の全ての評価枠の各映像領域から輝度色差信号を取得する。色評価値取得部３０９は、前述のように評価枠の映像領域毎に求めた輝度信号Ｙと色差信号Ｒ−Ｙ，Ｂ−Ｙのそれぞれの平均値が、略々白色と思われる領域として抽出するために設けられた閾値範囲内であるか否か判定する。以下の説明では、略々白色と思われる領域を「白らしい領域」と表記する。色評価値取得部３０９は、閾値範囲内であり白らしい領域と判定された評価枠の色差信号Ｒ−Ｙ，Ｂ−Ｙの積算値を白らしい領域と判定された評価枠数で割った値を、色評価値として求める。

ここで、色評価値取得部３０９には、白抽出制御部３１１から、白らしい領域として抽出するための、輝度信号Ｙと色差信号Ｒ−Ｙ，Ｂ−Ｙのそれぞれの閾値範囲の情報が送られている。

白抽出制御部３１１は、白らしい領域として抽出するための輝度信号Ｙと色差信号Ｒ−Ｙ，Ｂ−Ｙのそれぞれの閾値範囲を、ガンマ補正部３０３で用いられているガンマ特性の情報に基づいて決定している。白抽出制御部３１１は、ガンマ特性に基づいて決定した輝度信号Ｙと色差信号Ｒ−Ｙ，Ｂ−Ｙのそれぞれの閾値範囲の情報を、色評価値取得部３０９へ送る。色評価値取得部３０９で求められた色評価値は、ＷＢ制御部３０２へ送られる。ＷＢ制御部３０２は、色評価値取得部３０９から供給された色評価値に基づいて、前述した白らしい領域と判定された映像領域の色が目標の無彩色の白色となるように、ＷＢゲインを調整するＷＢ補正処理を行う。

次に本発明の実施形態におけるガンマ補正カーブについて図４を参照しながら説明する。

最終ガンマ補正カーブ４０１はＤ％のダイナミックレンジを持ち、入力Ｄ％で出力１０９％となる。カーブの特性は任意のものでよく、本実施例では入力をｘとしたときに、最終ガンマ補正カーブ４０１の出力をＧ（ｘ）と表すこととする。ここで、入力ｘはホワイトバランス制御部３０２後の出力とする。最終出力ガンマ補正カーブは撮像装置の最終的な出力での特性であり、ダイナミックレンジ換算部３０８から出力される信号の特性を表している。

また、信号処理ガンマ補正カーブ４０２は最終ガンマ補正カーブ４０１よりも大きいダイナミックレンジを持ち、本実施例においてはＤ‘％のダイナミックレンジを持つこととする。ガンマ補正カーブ４０２のカーブの特性はガンマ補正カーブ４０１のカーブによらず任意のものでよいが、本実施例では入力Ｄ％まではガンマ補正カーブ４０１の出力を圧縮し、入力Ｄ％以降はそのままの数式を使ってＤ’％まで引いたものとする。さらに出力の圧縮度合いは入力Ｄ‘％で出力１０９％になる量とする。その際、入力をｘ、入力ｘにおけるガンマ補正カーブ４０１の出力をＧ（ｘ）、入力ｘにおけるガンマ補正カーブ４０２の出力をＧ‘（ｘ）とすると、

と表せる。信号処理ガンマ補正カーブは信号処理途中での特性を表しており、ガンマ補正部３０３で適用される。

次に本発明の実施形態の各ブロックで適用するパラメータ決定動作について、図３のフローチャートを参照しながら説明する。

ステップＳ１０１では、ダイナミックレンジ拡張による色曲がり抑制処理が有効であるかどうかを判定する。これは例えば、カメラの設定で色曲がり抑制処理が有効であるかどうかをユーザが指定できるようにしておき、その設定値を参照する事により行う。色曲がり抑制処理が有効である場合、ステップＳ１０２に進み、そうでない場合はステップＳ１０７に進む。

ステップＳ１０２では、信号処理ダイナミックレンジを決定する。信号処理ダイナミックレンジは最終ダイナミックレンジよりも大きければよく、カメラによりあらかじめ決められた固定値を用いてもよいし、ユーザが任意に設定できるようにしてもよい。本実施例では、最終ダイナミックレンジをＤ％、信号処理ダイナミックレンジをＤ‘％の固定値とした場合について説明する事とする。

ステップＳ１０３では、露出制御に使用する目標輝度値の決定を行う。ここではステップＳ１０２によって決定された信号処理ダイナミックレンジの大きさに基づいて、特定の被写体輝度値を目標輝度値にするための補正量を算出する。本実施例においては、信号処理ダイナミックレンジがＤ‘％であり最終ダイナミックレンジＤ％のＤ’／Ｄ倍であることから、目標輝度値はその逆数のＤ／Ｄ‘倍を入力ダイナミックレンジＤ％の目標輝度値に乗じた値となる。

ステップＳ１０４では、ガンマ補正部３０３で適用するガンマ補正カーブの決定を行う。ガンマ補正カーブはステップＳ１０２において決定した入力ダイナミックレンジの大きさに基づいて決定する。例として、最終ダイナミックレンジにおけるガンマ補正カーブの出力を一律に圧縮したガンマ補正カーブを適用することが考えられる。その場合、色曲がり抑制処理が有効な場合のガンマ補正カーブＧ‘（ｘ）は次式により表される。

本実施例では、最終ダイナミックレンジにおけるガンマ補正カーブに定数を乗じてガンマ補正カーブとしたが、信号処理ダイナミックレンジにおける入力をすべて出力コードに変換出来るのであれば、どのようなガンマ補正カーブを用いてもよい。

ステップＳ１０５では、色マッピング処理の方法を決定する。ここで色マッピング処理とは、信号処理ダイナミックレンジで表現できる色空間内に位置しているが、最終ダイナミックレンジで表現できる色空間よりも外に位置している色を最終ダイナミックレンジで表現できる色空間内にマッピングする処理をいう。この処理については後述する。

ステップＳ１０６では、ダイナミックレンジ換算パラメータを決定する。本実施例では、ステップＳ１０４においてガンマ補正カーブを最終ダイナミックレンジにおけるガンマ補正カーブの出力を一律に圧縮したガンマ補正カーブに決定している。そのため、最終ダイナミックレンジであるＤ％でちょうど輝度が飽和するようにＲＧＢ信号にかけるゲインを算出する。ＲＧＢ信号にかけるゲインをαとすると、αは次式により表される。

本実施例では、ステップＳ１０４で決定したガンマ補正カーブが最終ダイナミックレンジにおけるガンマ補正カーブの出力を一律に圧縮した場合について説明した。一方、ステップＳ１０４で決定したガンマ補正カーブと最終ダイナミックレンジのガンマ補正カーブが非線形な関係を有している場合は、ステップＳ１０６で決定するダイナミックレンジ換算パラメータも非線形なパラメータとなる。その際は、数式をパラメータとして用いてもよいし、１次元のルックアップテーブルを用いてもよい。

ステップＳ１０１からステップＳ１０６までで決定したパラメータを画像処理部２４の各ブロックに適用する事で色曲がり抑制処理を行うことが出来る。

ステップＳ１０７からステップＳ１０９は通常撮影のためのパラメータ決定フローである。ステップＳ１０７では通常撮影用のダイナミックレンジ決定を行う。本実施例においてはＤ％の固定とする。

ステップＳ１０８では、通常撮影用露出制御における目標輝度値決定を行う。本実施例においては、ダイナミックレンジＤ％を確保できるように目標輝度値を決定する。

ステップＳ１０９では、通常撮影用ガンマ補正カーブを決定する。本実施例においては、図４のガンマ補正カーブ４０１に決定する。通常撮影の場合には、色マッピング部３０７とダイナミックレンジ換算部３０８では何も行わず、輪郭強調部３０６の出力がそのまま出力される。

＜色マッピング処理＞
色マッピング処理とステップＳ１０５で決定する色マッピング処理パラメータについて詳細に説明する。

まず、色マッピング処理について説明する。図９はある画素におけるＲＧＢ信号と輝度信号Ｙを表しており、これまでと同様にＧ‘（Ｄ）は最終ダイナミックレンジの最大の入力における信号処理ガンマ補正カーブ４０２の出力を表している。また、Ｇ’（Ｄ‘）は信号処理ダイナミックレンジの最大の入力における信号処理ガンマ補正カーブ４０２の出力を表している。

色マッピング部３０７に図９のようにＲＧＢの最大値がＧ‘（Ｄ）を超えており、かつ輝度信号ＹがＧ’（Ｄ）よりも小さい信号が入力された場合、色マッピング処理として色相と輝度信号Ｙを維持したまま、ＲＧＢの最大値をＧ‘（Ｄ）に移すという方法が考えられる。例えば、色相としてＵＶ空間の角度を用いて、それと輝度信号Ｙを維持して新たなＲＧＢ信号を算出する事が可能である。また、ＵＶ空間の角度に限らず、例えばＬａｂ空間の色相などを用いてもよい。また、ＲＧＢの最大値の移動先はＧ‘（Ｄ）に限らずＧ’（Ｄ）よりも小さければ、最終ダイナミックレンジに換算後でも色マッピング部に入力された色相を維持する事ができる。さらには、色曲がりを許容してＲＧＢの最大値の移動先をＧ‘（Ｄ）よりも大きくしてもよい。このように、ＲＧＢの最大値の移動先はステップＳ１０５で決定すべきパラメータである。これは撮像装置により固定値が設定されていてもよいし、ユーザが任意の値を設定でき、その設定値を用いてもよい。

次に、図１０のように輝度信号Ｙが最終ダイナミックレンジ出力の最大値であるＧ‘（Ｄ）を超えている場合であるが、輝度信号Ｙを維持したまま、Ｒ＝Ｇ＝Ｂ＝Ｙとなるようにマッピングを行う。ＲＧＢ信号と輝度信号ＹはすべてＧ’（Ｄ）を超えることとなるが、ダイナミックレンジ換算部３０８で換算後にＧ‘（Ｄ’）でクリップされる。

以上、実施例１では信号処理途中でのダイナミックレンジを最終ダイナミックレンジよりも多く確保しておき、色マッピング処理とダイナミックレンジ換算処理を行い、最終ダイナミックレンジ相当の信号を出力する方法について説明した。本実施例によれば、ＲＧＢ信号のいずれかがセンサ及び信号処理途中で飽和する事による色曲がりを抑制する効果を有する。

＜第２の実施形態＞
実施例１では、信号処理途中でのダイナミックレンジは固定である場合について説明した。本実施例では、信号処理途中でのダイナミックレンジをシーンに応じて適応的に制御することにより、色曲がりとＳ／Ｎ比が好適な画像を得る方法について説明する。システム構成は図１、図２に示す実施例１の場合と同様である。また、実施例１と重複する部分については説明を省略する。

＜枠ごとのダイナミックレンジ制御ラベル付け＞
本実施例では、まず色評価値取得部３０９で取得される評価値から各枠にラベル付けを行う。このフローについて図６のフローチャートを参照しながら説明する。

ステップＳ２０１では、色評価値取得部３０９から色評価値を取得する。色評価値は前述しているようにホワイトバランス制御後のＲＧＢ信号である。

ステップＳ２０２では、ステップＳ２０１で取得したＲＧＢ信号から輝度信号Ｙを算出する。ここで算出する輝度信号Ｙは信号処理ガンマ補正カーブ４０１を適用した後の輝度信号Ｙである。そのため、ＲＧＢ信号に信号処理ガンマ補正カーブ４０１を適用し、それによって得られたＲＧＢ信号にＲＧＢ信号から輝度信号Ｙに変換するための係数を掛けることで算出できる。Ｙを算出するための数式は、ＲＧＢからＹへと変換するための係数ｒ、ｇ、ｂを用いて例えば以下のように表せる。

ここで、ｒ、ｇ、ｂは例えばＢＴ．７０９などで規定されている係数を用いる。これらの処理はシステム制御部５０上でソフトウェアにより算出してもよいし、色評価値取得部３０９に算出のためのハードウェアを用意し、それを用いてもよい。

ステップＳ２０３では、ガンマ補正カーブ４０１適用後のＲＧＢ信号の最大値を算出する。このＲＧＢ信号の最大値もステップＳ２０２と同様にガンマ補正カーブ４０１を適用した後のＲＧＢ信号から最大値を求める。
ステップＳ２０４では、ステップＳ２０２とステップＳ２０３で算出した輝度信号ＹとＲＧＢ信号の最大値に基づいて枠にラベル付けを行う。ラベル付けは図８の表を参照して、以下の４パターンのいずれかを行う。
輝度信号ＹがＧ（Ｄ）以上であり、かつＲＧＢの最大値がＧ（Ｄ‘）以上の場合、Ａとラベル付けする。
輝度信号ＹがＧ（Ｄ）以上であり、かつＲＧＢの最大値がＧ（Ｄ‘）未満の場合、Ｂとラベル付けする。
輝度信号ＹがＧ（Ｄ）未満であり、かつＲＧＢの最大値がＧ（Ｄ‘）以上の場合、Ｃとラベル付けする。
輝度信号ＹがＧ（Ｄ）未満であり、かつＲＧＢの最大値がＧ（Ｄ‘）以上の場合、Ｄとラベル付けする。

これらのラベルの意味づけについて説明する。

まず、Ａとラベル付けされるとき、輝度信号ＹがＧ（Ｄ）以上であることから最終ダイナミックレンジにおいては白とびする事が分かる。また、ＲＧＢ信号の最大値がＧ（Ｄ‘）以上であることから飽和による色曲がりが起きていることも分かる。しかし、最終的に白とびさせればよいので、注目している枠としてはダイナミックレンジをこれ以上拡張する必要はない。ただし、ＲＧＢ信号では飽和は起きていることから、この枠はダイナミックレンジ制御の判定に使わない。 次にＢとラベル付けされるときはＡとラベル付けされる場合と同様に最終ダイナミックレンジにおいては白とびすることが分かる。一方、ＲＧＢの最大値がＧ（Ｄ’）未満であることから飽和による色曲がりも起きていないことになる。そのため、信号処理ダイナミックレンジを縮小しても最終結果には影響がなく、ダイナミックレンジを縮小可能ということになる。

Ｄとラベル付けされる場合もＲＧＢの飽和による色曲がりが発生していないため、信号処理ダイナミックレンジを縮小可能となる。

しかし、Ｃとラベル付けされる場合は、ＹがＧ（３）未満であるため最終ダイナミックレンジにおいて白飛びせず、かつＲＧＢの最大値が信号処理段階で飽和しているため、色曲がりが発生しそれが最終出力に影響を与える状態である。そのため、信号処理ダイナミックレンジを拡張する必要があると言える。

以上により、色評価値取得部３０９で色評価値を得られる枠ごとに信号処理ダイナミックレンジを制御するためのラベル付けを行うことが出来る。

＜枠ごとのラベル付け結果を用いたダイナミックレンジ制御＞
次に、枠ごとにラベル付けされた結果を用いてダイナミックレンジを制御する方法について図７のフローチャートを参照しながら説明する。

ステップＳ３０１では、全枠のうちＣとラベル付けされた枠の割合を算出し、それが第一の所定の値、例えば２０％以上のときにステップＳ３０４に進み、そうでなければステップＳ３０２に進む。第一の所定の値はどのような値であってもよい。

ステップＳ３０２では、Ｃとラベル付けされた枠の割合が第二の所定の値以下かつＢまたはＤとラベル付けされたの割合が第三の所定の値以上である場合にステップＳ３０３に進み、そうでない場合は処理を終了する。前記第二の所定の値は例えば１０％、前記第三の所定の値は例えば２０％などとすればよいが、どのような値であってもよい。

ステップＳ３０３では、ダイナミックレンジ縮小した新たなダイナミックレンジを決定する処理を行う。最初に新たなダイナミックレンジを決定する必要があるが、固定値で所定の値ずつダイナミックレンジを縮小してもよいし、ＲＧＢの最大値が最も大きい枠でＲＧＢの最大値がちょうど飽和するようにダイナミックレンジを縮小してもよい。また、その他の方法で新たなダイナミックレンジを決定してもよい。。次に、信号処理ガンマ補正カーブ
ステップＳ３０４では、ダイナミックレンジ拡張のためのパラメータ算出処理を行う。最初に新たなダイナミックレンジを決定する必要があるが、例えば固定値で所定の値だけダイナミックレンジを広げるなどすればよい。また、その他の方法で新たなダイナミックレンジを決定してもよい。

以上のようにダイナミックレンジ制御を行った後、図３のフローチャートに則って信号処理パラメータを決定する。そして、色評価値取得部３０９から新たな色評価値を取得し、枠ごとのラベル付けとダイナミックレンジ制御を繰り返すことでダイナミックレンジ制御を継続的に行う。

以上、本実施例では枠ごとに取得した色評価値に基づいて枠にラベル付けを行い、そのラベル付けの結果を用いてダイナミックレンジ制御を行うとともに信号処理パラメータを変更する例について説明した。本実施例によれば、信号処理ダイナミックレンジ不足による色曲がり発生と信号処理ダイナミックレンジ過多によるＳ／Ｎ低下のバランスをとることが出来、好適な信号処理ダイナミックレンジに設定する事が出来る。

以上、第１の実施形態および第２の実施形態を通じて、本発明をその好適な実施形態に基づいて詳述してきたが、本発明はこれら特定の実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の様々な形態も本発明に含まれる。上述の実施形態の一部を適宜組み合わせてもよい。

また、上述の実施形態の機能を実現するソフトウェアのプログラムを、記録媒体から直接、或いは有線／無線通信を用いてプログラムを実行可能なコンピュータを有するシステム又は装置に供給し、そのプログラムを実行する場合も本発明に含む。従って、本発明の機能処理をコンピュータで実現するために、該コンピュータに供給、インストールされるプログラムコード自体も本発明を実現するものである。つまり、本発明の機能処理を実現するためのコンピュータプログラム自体も本発明に含まれる。その場合、プログラムの機能を有していれば、オブジェクトコード、インタプリタにより実行されるプログラム、ＯＳに供給するスクリプトデータ等、プログラムの形態を問わない。

プログラムを供給するための記録媒体としては、例えば、ハードディスク、磁気テープ等の磁気記録媒体、光／光磁気記憶媒体、不揮発性の半導体メモリでもよい。

また、プログラムの供給方法としては、コンピュータネットワーク上のサーバに本発明を形成するコンピュータプログラムを記憶し、接続のあったクライアントコンピュータはがコンピュータプログラムをダウンロードしてプログラムするような方法も考えられる。

１３ Ｄ／Ａ変換器、１５ メモリ制御部、１８ 記録媒体Ｉ／Ｆ、２２ 撮像部、
２３ Ａ／Ｄ変換器、２４ 画像処理部、２８ 表示部、３０ 電源部、３２ メモリ、
５０ システム制御部、５２ システムメモリ、５３ システムタイマー、
５６ 不揮発性メモリ、６０ モード切替スイッチ、６１ 録画スイッチ、
７０ 操作部、７２ 電源スイッチ、８０ 電源制御部、
１００ デジタルビデオカメラ、１０１ 絞り、１０２ バリア、１０３ 撮像レンズ、
１０４ ＮＤフィルタ、１１２ コネクタ、２００ 記録媒体、３０１ ゲイン制御部、
３０２ ホワイトバランス制御部、３０３ ガンマ補正部、
３０４ 輝度色差信号生成部、３０５ ノイズリダクション部、３０６ 輪郭強調部、
３０７ 色マッピング部、３０８ ダイナミックレンジ換算部、
３０９ 色評価値取得部、３１０ 白抽出制御部、４０１ 最終ガンマ補正カーブ、
４０２ 信号処理ガンマ補正カーブ、
ステップＳ１０１ ダイナミックレンジ拡張処理有効判定ステップ、
ステップＳ１０２ 入力ダイナミックレンジ決定ステップ、
ステップＳ１０３ 露出制御決定ステップ、
ステップＳ１０４ ガンマ補正カーブ決定ステップ、
ステップＳ１０５ 色マッピング処理決定ステップ、
ステップＳ１０６ ダイナミックレンジ換算パラメータ決定ステップ、
ステップＳ１０７ 通常撮影用ダイナミックレンジ決定ステップ、
ステップＳ１０８ 通常露出制御決定ステップ、
ステップＳ１０９ 通常撮影用ガンマ補正カーブ決定ステップ、
ステップＳ２０１ 色評価値取得ステップ、
ステップＳ２０２ 輝度信号Ｙ算出ステップ、
ステップＳ２０３ ＲＧＢ信号の最大値算出ステップ、
ステップＳ２０４ 枠へのラベル付けステップ、
ステップＳ３０１ 枠のラベル付け割合判定ステップ１、
ステップＳ３０２ 枠のラベル付け割合判定ステップ２、
ステップＳ３０３ ダイナミックレンジ縮小ステップ、
ステップＳ３０４ ダイナミックレンジ拡張ステップ

Claims (11)

1. 被写体を撮像し、それに応じて複数の信号を出力するセンサを備え、
   最終出力となる第一のダイナミックレンジよりも広い第二のダイナミックレンジで撮像するダイナミックレンジ拡張撮像手段と、
   前記ダイナミックレンジ拡張撮像手段により得られた第一の輝度信号と第一の色信号に分離する信号分離手段と、
   前記第一の色信号を前記第一のダイナミックレンジで表せる色信号領域にマッピングする色信号マッピング手段と、
   前記色信号マッピング手段により得られた第二の色信号と第一の輝度信号を合成した合成信号を第一のダイナミックレンジに換算した信号に変換するダイナミックレンジ換算手段を備えることを特徴とする撮像装置。
2. 前記ダイナミックレンジ拡張撮像手段は前記第一のダイナミックレンジに対応した前記第一の露出パラメータよりも露光量を小さくした前記第二の露出パラメータで撮像し、高輝度側のダイナミックレンジを拡張することを特徴とする請求項１に記載の撮像装置。
3. 前記露出パラメータは絞り、シャッタースピード、ＮＤフィルタ、撮像装置から制御可能な照明装置のいずれかを含むことを特徴とする請求項１に記載の撮像装置。
4. 前記色信号マッピング手段は前記輝度信号が第一のダイナミックレンジを超えていない場合に色信号の彩度を抑圧し、輝度信号が第一のダイナミックレンジの最大値を超えているときに無彩色とすることを特徴とする請求項１に記載の撮像装置。
5. 前記ダイナミックレンジ換算手段は、第二の色信号と第一の輝度信号を合成した合成信号が第一のダイナミックレンジの最大値で出力最大となるように合成信号にゲインを加え、第一のダイナミックレンジの最大値を超えている領域は出力最大でクリップすることを特徴とする請求項１に記載の撮像装置。
6. 被写体を撮像し、それに応じて複数の信号を得る撮像手段と、
   前記撮像手段により得られた前記複数の信号を第一の輝度信号と第一の色信号に分離する信号分離手段を備え、
   前記第一の輝度信号のうち高輝度側の一部を除外した第二の輝度信号と前記第一の色信号から出力信号を生成する出力信号生成手段を備えることを特徴とする撮像装置において、
   前記撮像手段により得られる複数の信号から算出される輝度に係る輝度評価値を算出する輝度評価値算出手段と、
   前記撮像手段により得られる複数の信号の最大値に係る最大値評価値を算出する最大値評価値算出手段と、
   前記輝度評価値と前記最大値評価値から前記撮像手段により得られる複数の信号のダイナミックレンジの大きさを制御するダイナミックレンジ制御手段を持つことを特徴とする撮像装置。
7. 前記ダイナミックレンジ制御手段は、絞り、シャッタースピード、ＮＤフィルタ、撮像装置から制御可能な照明装置のいずれか１つ以上を制御して露光量を調節することによりダイナミックレンジを制御することを特徴とする請求項６に記載の撮像装置。
8. 前記輝度評価値算出手段は画像を複数の領域に分割した各領域で輝度評価値を算出することを特徴とする請求項６に記載の撮像装置。
9. 前記最大値評価値算出手段は画像を複数の領域に分割した各領域で最大値評価値を算出することを特徴とする請求項６に記載の撮像装置。
10. 前記ダイナミックレンジ制御手段は前記輝度評価値が第二の輝度信号において取り得る最大の輝度値に係る輝度評価値より小さく、かつ前記最大値評価値が飽和している領域の占める割合を算出し、その割合が所定の値を超えるときにダイナミックレンジを拡張することを特徴とする請求項６に記載の撮像装置。
11. 前記ダイナミックレンジ制御手段は前記最大値評価値が飽和していない領域の占める割合を算出し、その割合が所定の値を超えるときにダイナミックレンジを縮小することを特徴とする請求項６に記載の撮像装置。