JP2009207092A - 撮影装置及びその設定方法 - Google Patents

Abstract

【課題】 撮影された画像の被写体が、空が写りこんだ逆光状態の被写体でも、中央のみが明るい被写体でも、適切なニー設定を行う。
【解決手段】 撮影により得られた画像における主被写体の領域の輝度信号レベルの代表値と、主被写体の周辺にある複数の周辺領域の輝度信号レベルの代表値と、を取得し（ステップＳ３０１）、取得された複数の周辺領域の代表値と主被写体の領域の代表値の相対値をそれぞれ算出し（ステップＳ３０２）、算出された複数の相対値に基づいて画像処理に含まれるニー処理の強度を設定する（ステップＳ３０７）。
【選択図】 図３

Description

本発明は、ビデオカメラやデジタルカメラなどの撮影装置に関するものであり、特に輝度レベル信号の階調補正に関する。

従来より、ビデオカメラやデジタルカメラなどの撮影装置は、ＣＣＤやＣＭＯＳなどの撮像素子を使って、画像信号を得ている。このような撮像素子は、黒レベルから白レベルまでを表現する階調表現の範囲が狭く、実際の被写体の画像の階調範囲を十分に表現できない。そのうえ、画像信号をデジタル化して、記録する方式では、この階調範囲が、デジタル信号の表現範囲内へと、さらに制限されることになる。この問題を解決するため、従来から、画像信号の高輝度領域の階調を圧縮することで、全体に表現できる階調範囲を広げるニー処理が、広く行われている。

図５を用いて、ニー処理の入出力特性及び階調範囲を説明する。図で、横軸は入力信号の値を示しており、縦軸は、ニー処理後の出力信号の値を示している。各直線はニー処理を変更した場合の入出力特性を示している。ニー処理を行わない場合、ａの直線の状態であり、入力信号値と出力信号値は、同じ値となっている。すなわち、入力信号値Ｉａの範囲は、出力信号値Ｏａの範囲に等しい。ニー処理を行った場合、入出力特性は、直線ａから直線ｂや直線ｃへと移行する。直線ｂの特性の状態の場合、入力信号値がＩｂまでの場合は、ニー処理を行わない場合と同様に、入力信号値と出力信号値は、同じ値となっている。これに対し、ニー処理を行った場合、入力信号値がＩｂ以上の高輝度領域では、出力信号値の階調が圧縮され、全体の特性としては、入力信号値０からＩａの範囲が、出力信号値０からＯｂの範囲内に圧縮される。同様に、ｃの直線の場合、Ｉｃ以上の高輝度領域では、出力信号値の階調が圧縮されて、全体の特性として、入力信号値０からＩａの範囲が、出力信号値０からＩｃの範囲に圧縮される。

この様に、ニー処理を加えることで、入力信号を圧縮し、実質的に表現できる階調範囲を広げている。ここで、各特性中の折れ線の始点、ｋｂ及びｋｃをニーポイント、ニーポイント以上の直線の傾きをニースロープと呼んでいる。一般に、ニー処理を強めるという場合、ニーポイントを下げる、またはニースロープを平坦に向けるという処理を行う。

この様なニー処理を行うことで、逆光状態の被写体や、高輝度物体の写りこんだ画像に対する階調範囲の補正が行われている。また、被写体の画像の状態によって、補正量すなわちニー強度を設定することが行われている。例えば、特許文献１には、複数の測光領域の検出結果から、ニー強度を設定する方法が、開示されている。また、特許文献２には、全画面の平均輝度信号と中央部の輝度信号から、ニー強度を設定する方法が、開示されている。
特開平０３−２０４２８１号 特開平０３−２８５４７０号

しかしながら、特許文献１に示された方法では、空などの周辺部分の輝度が高い場合は、有効に検出できるが、中央部の被写体のみ輝度が高く、周辺が暗い場合は、検出できなかった。また、特許文献２では、全画面の平均輝度と中央の輝度の差のみに基づきニー処理を決めているため、空などの周辺部分と中央部分の被写体が同時に輝度が高い場合、適切なニー処理を行うことができなかった。

上記課題を解決するために、本発明によれば、撮影手段の撮影により得られた画像における主被写体の領域の輝度信号レベルの代表値と、前記主被写体の周辺にある複数の周辺領域の輝度信号レベルの代表値と、を取得する取得手段と、前記取得手段により取得された複数の周辺領域の代表値と前記主被写体の領域の代表値の相対値をそれぞれ算出する算出手段と、前記算出手段により算出された複数の相対値に基づいて前記画像処理に含まれるニー処理の強度を設定する設定手段と、前記設定手段により設定された強度で前記撮影により得られた画像に対してニー処理を行うニー処理手段と、を有する。

本発明によれば、撮影された画像の被写体が、空が写りこんだ逆光状態の被写体でも、中央のみが明るい被写体でも、適切なニー設定が行える。

（第１の実施形態）
図１から図３を用いて、本発明による第１の実施形態を説明する。

図１は、本実施形態の撮影装置（デジタルビデオカメラ、デジタルスチルカメラ等）の概略構成を示す。図で、１０１は撮影レンズ、１０２はＣＣＤやＣＭＯＳなどの撮像素子、１０３はカメラ信号処理部である。撮影レンズ１０１で撮影された画像は、撮像素子１０２により電気信号に変換され、カメラ信号処理部１０３で必要な信号処理を加えられ、画像信号として出力される。カメラ信号処理部１０３は、１０４のゲインコントロール回路、１０５のニー処理回路、１０６のガンマ処理回路などから構成される。

ゲインコントロール回路１０４は、露出制御部１０８の制御に応じて撮像素子１０２からの画像信号に対して適切なゲイン調整を行い、後段の画像処理ブロックへと出力する。ニー処理回路１０５は、図５に示したニー特性に基づき、画像信号に対してニー処理を行う。ガンマ処理回路１０６は、ニー処理された画像信号に対して予め保持しておいたガンマテーブルに基づき、階調補正を行う。ガンマ処理回路からの出力信号は、圧縮符号化等の処理がされ、不図示の記録媒体に記録される。また、出力信号を不図示の表示パネルに表示させることで、記録媒体に記録させていない期間においても表示パネルをＥＶＦ（電子ビューファインダー）として利用することができる。

１０７の領域抽出部では、後述するように、画面に所定の領域枠を設定し、その領域内の輝度信号レベルを検出する。１０８の露出制御部は、領域抽出部１０７の検出結果から、ゲインコントールや、絞りを調整することで、露出制御を行う。１０９は、ニー制御回路であり、領域抽出部１０７の検出結果から、ニーの強度を設定する。

本実施形態において、画面の所定の領域は、図２の様に設定される。図で、Ａ枠２０１は画像の中央部分の領域であり、主に主被写体が存在する領域に相当する。Ｂ枠２０２は、画面の上部であり、空などの輝度が高い画像である場合が多い。Ｃ枠２０３は、画像の周辺部である。領域抽出部１０７は、各枠単位に輝度信号レベルを積分し、その平均レベルを代表値として、求める。

露出制御部１０８は、中央部分のＡ枠の検出結果に重点を置いて、ゲインコントールや、絞りを調整する。しかしながら、撮影状態によっては、空が写りこんで逆光状態となり、主被写体が暗くなってしまったり、逆に劇場などで中央の被写体のみにスポットライトが当たって、中央のみが明るい場合もある。ニー制御回路１０９は、このような被写体の状態を検出して、ニー強度を設定して、このような被写体の高輝度部分を補正する。

この手順の詳細を、図３のフローチャートで説明する。まず、ステップＳ３０１で、領域抽出部１０７が、図２の各枠の平均輝度レベルを代表値として取得する。以下、簡単のために、各枠の代表値（平均輝度レベル）をａ，ｂ，ｃとする。次に、ステップＳ３０２で、ニー制御部１０９は、中央領域のＡ枠２０１を元として、各周辺領域の枠、Ｂ枠及びＣ枠の平均輝度レベルの相対値を算出する。本実施形態では、差分絶対値｜ｂ−ａ｜及び｜ｃ−ａ｜の値を求める。

次にステップＳ３０３で、ニー制御部１０９は、求めた各差分絶対値について、所定の重み付けを行う。すなわち、それぞれの差分絶対値に対して、重み付け値Ｗｂａ、Ｗｃａを掛けて、Ｗｂａ・｜ｂ−ａ｜、Ｗｃａ・｜ｃ−ａ｜を求める。

次に、ステップＳ３０４で、重み付けされた絶対値から、最大値を求めて評価値とする。そして、ステップＳ３０５で、この最大値と所定の閾値（ｔｈ値）と比較する。

最大値がｔｈ値以下である場合、ニー処理は行わないのでステップＳ３０６でニー処理解除を行う。最大値がｔｈ値以上の場合、最大値に応じたニー設定を行う。ここで、例えば、最大値がｔｈ値の１倍以上で、２倍以下ならば、ニーポイントを図５のｋｂとし、またニースロープを図５のｋｂとｂとを結ぶ直線の傾きのようにすることで弱いニー特性を設定する。一方、最大値がｔｈ値の２倍を超えるならば、ニーポイントを図５のｋｃとし、またニースロープを図５のｋｃとｃとを結ぶ直線の傾きのようにすることで強いニー特性を設定する。すなわち、最大値を区間分けしてニー強度と対応づけすることで、最大値から、一意的にニー特性を設定する。なお、以上の設定で利用するための各種情報は、ニー制御部１０９が有する図示しないメモリに予め記憶されている。

以上の処理は、本撮影及び記録の際にのみ実行されるようにしても、記録は行わずに撮影した画像を図示しない表示部にリアルタイムに表示しているときにも実行されるようにしてもよい。

本実施形態では、ニー処理が必要かどうかの演算の際に、中央領域のＡ枠２０１の輝度レベルと、各周辺枠２０２及び２０３の輝度レベルの差分絶対値を求めた。これは、空が写りこんだ逆光状態の被写体と、中央のみが明るい被写体では、いずれもその差が大きくなるからである。更に絶対値にすることで、空が写りこんだ逆光状態も、中央のみが明るい被写体でも、正の値となり比較がし易くなる。この結果、ニー処理が必要かどうかは、ステップＳ３０４の最大値を求めるだけの簡単な判断でよい。

また、絶対値を求める代わりに、差分値に対して、二乗演算を行っても同等の結果が得られる。

なお、各枠に与える所定の重みは、設定された枠の大きさ、撮像素子の特性、撮影時の露出制御の設定などから決定すればよい。

（第２の実施形態）
次に、第２の実施形態を説明する。第２の実施形態の撮影装置の構成は、図１に示した第１の実施形態と同等である。また、画面の所定の領域は、図２と同様に設定されている。

第２の実施形態での、ニー設定の手順の詳細を、図４のフローチャートで説明する。まず、ステップＳ４０１で、領域抽出部１０７が、図２の各枠の平均輝度レベルを代表値として取得する。以下、簡単のために、各枠の代表値（平均輝度レベル）をａ，ｂ，ｃとする。次に、ステップＳ４０２で、ニー制御部１０９は、中央領域のＡ枠２０１を元として、各周辺領域の枠、Ｂ枠及びＣ枠の平均輝度レベルの相対値として比率を算出する。この際、Ａ枠の値を分母とした比率だけでなく、その逆数も求める。すなわち、ｂ／ａ、ｃ／ａの値を求めると共に、ａ／ｂ、ａ／ｃも計算しておく。

次にステップＳ４０３で、ニー制御部１０９は、求めた各比率について、所定の重み付けを行う。すなわち、それぞれの比率について、重み付け値Ｗｂａ、Ｗｃａ、Ｗａｂ、Ｗａｃを掛けて、Ｗｂａ・ｂ／ａ、Ｗｃａ・ｃ／ａ、Ｗｂａ・ｂ／ａ、Ｗｃａ・ｃ／ａを求める。

次に、ステップＳ４０４で、重み付けされた比率から、最大値となる比率（最大比率）を求めて評価値とする。そして、ステップＳ４０５で、この最大比率と所定の閾値（ｔｈ値）と比較する。

最大比率がｔｈ値以下である場合、ニー処理は行わないのでステップＳ４０６でニー処理解除を行う。最大比率がｔｈ値以上の場合、最大比率に応じたニー設定を行う。ここで、例えば、最大比率がｔｈ値の１倍以上で、２倍以下ならば、ニーポイントを図５のｋｂとし、またまたニースロープを図５のｋｂとｂとを結ぶ直線の傾きのようにすることで弱いニー特性を設定する。一方、最大比率がｔｈ値の２倍を超えるならば、ニーポイントを図５ののｋｃとし、またニースロープを図５のｋｃとｃとを結ぶ直線の傾きのようにすることで強いニー特性を設定する。すなわち、最大比率を区間分けしてニー強度と対応づけすることで、最大比率から、一意的にニー特性を設定する。

本実施形態では、ニー処理が必要かどうかの演算の際に、中央領域のＡ枠２０１の輝度レベルと、各周辺枠２０２及び２０３の輝度レベルの比率を算出し、さらにＡ枠の値を分母とした比率だけでなく、その逆数も求めた。これは、空が写りこんだ逆光状態の被写体では、ｂ／ａが大きく１を超える値となる一方、中央のみが明るい被写体ではｂ／ａは１以下の値となり、逆にａ／ｂが１を超える値となるためである。すなわち、枠間の比率を求める際、逆数側の比率も求めることで、空が写りこんだ逆光状態も、中央のみが明るい被写体でも、１以上の比率が現れることになる。この結果、ニー処理が必要かどうかは、ステップＳ４０４の最大比率を求めるだけの簡単な判断でよい。さらに、ニー強度を設定する際、比率は１以上の値となっているので、条件判断や、ニー強度との対応付けが行い易くなっている。

なお、各枠に与える所定の重みは、設定された枠の大きさ、撮像素子の特性、撮影時の露出制御の設定などから決定すればよい。

以上説明した様に、本実施形態によれば、画像を中央領域と、複数の周辺領域に分割し、各周辺領域の輝度信号レベルと、中央領域の輝度信号レベルとで、それぞれ所定の演算処理を行った後、演算結果から代表値を決定した。そして、その代表値によって、ニー強度を設定することで、空が写りこんだ逆光状態の被写体でも、中央のみが明るい被写体でも、適切なニー設定が行える。

また、実施形態の説明上、図２の様に、画面を３つの領域に分割した場合で説明したが、さらに細かく領域を分割することも可能である。この場合、求める差分絶対値の数は増えるが、最大値からニー設定を行うことは、同様に行える。

また、実施形態の説明上、露出制御とニー制御のための領域抽出部１０５は共通のものとしたが、それぞれ独立した領域抽出を行い、独立した枠設定で、制御を行うことも可能である。

（他の実施形態）
上記実施形態では、１画面のうちの中央領域を、主被写体の領域として、周辺領域との差分等を求めたが、本発明はこれに限るものではない。すなわち、主被写体領域をユーザの指定により画面内で移動させて決めた領域にしてもよいし、例えば顔検出機能を有する撮像装置であれば、自動検出した顔領域を、主被写体の領域としてもよい。

また、上記実施形態では、ニー設定を行う場合に、最大値の大きさに応じて強度を変更するようにしたが、この強度変更の区切りを領域毎に変更してもよい。例えば、判定された最大値が空に相当するＢ枠についての最大値であれば、最大値がｔｈ値の２倍を超える場合に、ニーポイントを図５のｋｃに関する強いニー特性を設定する。一方、判定された最大値が主被写体の横側に相当するＣ枠についての最大値でれば最大値がｔｈ値の３倍を超える場合に、ニーポイントを図５のｋｃに関する強いニー特性を設定する。このようにすることで、空の写り込みによる逆光の場合に、より高輝度の階調を抑えた画像を得ることができる。また、上記倍率の関係を逆にすれば、より中央被写体のみが明るい場合に、より高輝度の階調を抑えた画像を得ることができる。

また、本発明は１つの撮像装置において達成されるものと限るものではなく、撮影装置とパーソナルコンピュータ（ＰＣ）により構成された、撮影システムにおいても適用可能なものである。このシステムの場合、例えば、撮像制御に関するブロックは撮像装置が有するとして、領域抽出部、ニー制御部、及びニー処理部を画像転送先のＰＣが有する構成がある。

本発明の実施形態における撮像装置の構成を示す図である。 画面上の領域枠を示す図である。 第１の実施形態におけるニー設定処理の手順を示すフローチャートである。 第２の実施形態におけるニー設定処理の手順を示すフローチャートである。 ニー処理の入出力特性を示す図である。

符号の説明

１０５ ニー処理回路
１０６ ガンマ処理回路
１０７ 領域抽出部
１０８ 露出制御部
１０９ ニー制御部

Claims (9)

1. 撮影手段の撮影により得られた画像における主被写体の領域の輝度信号レベルの代表値と、前記主被写体の周辺にある複数の周辺領域の輝度信号レベルの代表値と、を取得する取得手段と、
   前記取得手段により取得された複数の周辺領域の代表値と前記主被写体の領域の代表値の相対値をそれぞれ算出する算出手段と、
   前記算出手段により算出された複数の相対値に基づいて前記画像処理に含まれるニー処理の強度を設定する設定手段と、
   前記設定手段により設定された強度で前記撮影により得られた画像に対してニー処理を行うニー処理手段と、
   を有することを特徴とする撮影装置。
2. 前記算出手段は、前記相対値として、各周辺領域の代表値と前記主被写体の領域の代表値との差分絶対値を算出することを特徴とする請求項１に記載の撮影装置。
3. 前記算出手段は、前記相対値として、各周辺領域の代表値と前記主被写体の領域の代表値との差分値に対して二乗演算を行った値を算出することを特徴とする請求項１に記載の撮影装置。
4. 前記算出手段は、前記相対値として、各周辺領域の代表値と前記主被写体の領域の代表値との比率であることを特徴とする請求項１に記載の撮影装置。
5. 前記算出手段は、前記比率の逆数をさらに算出することを特徴とする請求項４に記載の撮影装置。
6. 前記設定手段は、前記算出手段により算出された複数の相対値のうち最大の相対値に対応したニー強度を設定することを特徴とする請求項１〜５のいずれかに記載の撮影装置。
7. 前記算出手段は、算出した複数の相対値のそれぞれについて各周辺領域に対応した重み付けを行うことにより、前記設定手段で用いるべき相対値を算出することを特徴とする請求項１〜６のいずれかに記載の撮影装置。
8. 前記主被写体の領域は、１つの画面の画像のうちの中央領域であることを特徴とする請求項１に記載の撮影装置。
9. 撮影手段の撮影により得られた画像における主被写体の領域の輝度信号レベルの代表値と、前記主被写体の周辺にある複数の周辺領域の輝度信号レベルの代表値と、を取得する取得工程と、
   前記取得工程により取得された複数の周辺領域の代表値と前記主被写体の領域の代表値の相対値をそれぞれ算出する算出工程と、
   前記算出工程により算出された複数の相対値に基づいて前記画像処理に含まれるニー処理の強度を設定する設定工程と、
   前記設定工程により設定された強度で前記撮影により得られた画像に対してニー処理を行うニー処理工程と、
   を有することを特徴とする撮影装置の設定方法。

Images