JP2009135670A - 撮像装置及びその制御方法 - Google Patents

Abstract

【課題】 手ぶれ信号と手ぶれ信号に基づき算出されるリミットシャッタースピードを算出して、そのシャッタースピードと、外光輝度に基づき適正となる撮影感度を決定する撮像装置がある。しかしながら、手ぶれのみを考慮してゲインの制御が行われるので、被写体のぶれの目立つ画像が撮影されることがあった。
【解決手段】 画像間の差分により動き量を検出する動き量検出手段と、手ぶれ量を検出する手ぶれ量検出手段と、撮影画像に対してゲイン制御を行うゲイン制御手段と、前記手ぶれ量と、前記動き量と該手ぶれ量の差分から算出される被写体ぶれ量と、前記撮影画像の明るさに基づき前記ゲイン制御における最大ゲイン値を設定する制御手段と、を有することを特徴とする。
【選択図】 図３

Description

本発明は、撮像装置及びその制御方法に関し、更に詳しくは、被写体の動き量を検出することが可能な撮像装置の撮像制御に関する。

従来、手ぶれの度合いをレンズの焦点距離により求める撮像装置がある。具体的には、シャッタースピードを１／焦点距離、に設定して撮影を行うことで、手ぶれを防止しようとしている（特許文献１参照）。

しかし、手ぶれは、撮影条件や、撮影者個人でそのぶれ具合が異なるため、焦点距離にのみ依存して手ぶれを防止するのは難しいという問題がある。

そこで、手ぶれ信号と手ぶれ信号に基づき算出されるリミットシャッタースピードを算出して、そのシャッタースピードと、外光輝度に基づき適正となる撮影感度を決定する撮像装置がある（特許文献２参照）。
特開２００２−１４８６７０号公報 特開２００６−１０６４８９号公報

撮影する時には、手ぶれに加えて被写体ぶれも発生し、手ぶれと被写体ぶれとでは、それぞれのぶれを抑えるために必要となるゲインの調整量が異なる。

しかしながら、上記特許文献２に開示の発明では、手ぶれのみを考慮してゲインの制御が行われるので、被写体のぶれの目立つ画像が撮影されることがあった。

そこで、本発明は、手ぶれ及び被写体のぶれを検出することが可能な撮像装置において、検出結果に応じた最適なゲイン制御を行うことを目的とする。

上記目的を達成するために、本発明の撮像装置は、画像間の差分により動き量を検出する動き量検出手段と、手ぶれ量を検出する手ぶれ量検出手段と、撮影画像に対してゲイン制御を行うゲイン制御手段と、前記手ぶれ量と、前記動き量と該手ぶれ量の差分から算出される被写体ぶれ量と、前記撮影画像の明るさに基づき前記ゲイン制御における最大ゲイン値を設定する制御手段と、を有することを特徴とする。

上記目的を達成するために、本発明の撮像装置の制御方法は、画像間の差分により動き量を検出する動き量検出工程と、手ぶれ量を検出する手ぶれ量検出工程と、撮影画像に対してゲイン制御を行うゲイン制御工程と、前記手ぶれ量と、前記動き量と該手ぶれ量の差分から算出される被写体ぶれ量と、前記撮影画像の明るさに基づき前記ゲイン制御における最大ゲイン値を設定する制御工程と、を有することを特徴とする。

本発明によれば、発生しているぶれの種類と撮影シーンの明るさに応じて、最大ゲインアップ量を設定するので、ぶれがなく、且つ、過大なゲインアップによる画質の低下のない高画質な画像が撮影可能である。

以下、本発明に係る一実施形態について図面を参照して詳細に説明する。
なお、以下に説明する実施形態は、本発明を実現するための一例であり、本発明が適用される装置の構成や各種条件によって適宜修正又は変更されるべきものであり、本発明は以下の実施形態に限定されるものではない。

＜第１の実施形態＞
図１は、本発明の第１の実施形態に係る撮像装置１００の構成を示すブロック図である。
図１において、１０１は撮像レンズユニットであり、撮像レンズユニット１０１は不図示の絞り機構、シャッター機構及び、光学シフト式手ぶれ補正レンズを内蔵している。１０２はフォーカスレンズである。

１１０は、撮像レンズユニット１０１及びフォーカスレンズ１０２を制御するレンズ駆動回路であり、レンズ駆動回路１１０はフォーカスレンズの位置を変えることによりフォーカスを調節する。

１０３は撮像レンズユニット１０１を通過した被写体像の光束を光電変換し電気信号に変換する撮像素子である。１０４は撮像素子１０３から出力されたアナログ信号出力にクランプ処理、ゲイン処理等を行いデジタル信号に変換するＣＤＳ回路及びＡＤ変換器（アナログ／デジタル変換器）である。
１１１は撮像素子１０３及びＣＤＳ回路及びＡＤ変換器１０４を制御する撮像部駆動回路である。

１０５はＣＤＳ回路及びＡＤ変換器１０４にて変換されたデジタル信号から顔領域の検出を行う顔検出回路である。顔検出回路１０５による顔検出結果は、後述のシステム制御部１２１に送られる。なお、本実施形態においては、顔検出を前提に話を進めるが、ここで検出する対象は被写体（身体も含めた）でもよい。なお、顔検出及び被写体検出のための手法としては公知の手法を用いることとする。

１０７は信号処理部であり、デジタル信号に対し、デジタルゲインアップ（撮影感度）処理、ホワイトバランス処理、画素補間処理、色信号処理、輝度信号処理、拡大縮小等の信号処理を行う。信号処理部１０７で信号処理された画像データは、画像メモリ１０６に記憶される。

１１２は画像比較回路であり、信号処理部１０７に接続されており、信号処理された画像データ及び、画像メモリに記憶された画像データなどの任意の画像データ間で比較を行うことで、被写体の動き検出を行う。画像比較回路１１２による動き検出方法については後述する。なお、画像比較回路１１２は、画像データの全エリアまたは、１部のエリアの画像を比較することも可能な構成となっている。

画像メモリ１０６に記録された画像データは、システム制御部１２１、或いは、直接記録回路１０８を介して取り外し可能な記録媒体１０９に記録したり、表示回路１１３に送られ表示装置１１４で画像表示したりする。

信号処理回部１０７は、システム制御部１２１の指示により、画像メモリ１０６に記憶された画像データを入力し、信号処理を行う事も可能である。

１１５は加速度センサであり、撮像装置の微小な動きを検出することが可能である。本発明においては、手ぶれ量検出手段として使用される。加速度センサ１１５から出力された加速度信号は、ＡＭＰ（増幅器）１１６で増幅され、Ａ／Ｄ変換器１１７でデジタル加速度信号に変換される。なお、システム制御部１２１で、デジタル加速度信号を積分することにより、ぶれ速度を算出することも可能である。

システム制御部１２１は、信号処理部１０７での画像処理結果を用い、測光処理を行い撮影画像の明るさ、及び、ホワイトバランス係数の算出を行う。

なお、測光処理は入力される光信号の強さと、絞り、ゲイン量から撮像装置に入力されている光量を判定することで行われる。ホワイトバランス係数は、信号処理部７に入力されたデジタル画像信号のＲ，Ｇ，Ｂ比により算出される。さらに、測光処理の結果や、算出されたホワイトバランス係数から光源を判定することも可能である。

システム制御部１２１は、撮影レンズ１０１内の絞り及びシャッターを制御することにより自動露出制御を行う。また、システム制御部１２１は、撮影レンズ１０１内の光学シフトレンズを制御することにより手ぶれ補正制御、及び、フォーカスレンズ１０２の制御を行いオートフォーカス（ＡＦ）を行う。

１１４はＬＣＤ等の表示装置であり、撮像した画像データを逐次表示することにより電子ビューファインダ（ＥＶＦ）としても使用できる。

システム制御部１２１に接続されたＲＡＭ１２０には表示装置１１４に表示する画像データを記憶しており、その画像データは表示回路１１３を介し表示装置１１４に表示される。画像メモリ１０６は、撮像した静止画像や動画像を格納し、所定枚数の静止画像や所定時間分の動画像を格納するのに十分な容量の記憶量を備えている。この画像メモリ１０６はシステム制御部１２１の作業領域としても使用することも可能である。

１０８はメモリカードやハードディスク等の記憶媒体１０９とのインターフェースである記録Ｉ／Ｆである。

システム制御部１２１を制御するための定数、変数、プログラム等は、ＲＡＭ１２０、及び、ＲＯＭ１２２に記憶している。撮影操作としては、ＳＷ１（１１８）が押されることでＡＦ等が行われ構図が決定され、ＳＷ２（１１９）が押されることにより記録媒体１０９への記録動作が開始される。

次に、図２を用いて画像比較回路１１２による、動き検出方法について模式的に説明する。
３０１と３０２は連続的に撮影された被写体である人物を含む画像データである。

ここで、画像３０１を現在、撮影処理されている画像で、画像３０２を直近に撮影された画像とする。

画像３０１と画像３０２の比較を行っても、人物が移動していないため、これらの画像間の差分は０となり、画像に動きが無い状態であることがわかる。

３０３と３０４も上記の画像と同様に、連続的に撮影された被写体である人物を含む画像データである。画像３０３と画像３０４を比較すると、人物が移動した状態であるため、３０３と３０４の差分は０とならず差分が生じる。このように画像間で差分がある場合は動きがある状態であるといえる。

ここで、画像の全エリア及び一部のエリアの画像をずらして比較することにより、画像全体がぶれているのか、被写体が移動しているかを判断することが可能となる。

具体的な方法としては、画像３０３を移動させて画像３０４との差分がなくなるところまで移動させる。本図においては、画像３０３をｄ分だけ移動させると差分が０になる。
つまり、画像３０４は画像３０３をｄ分だけ移動させた画像だということがわかる。

なお、本実施形態においては、説明を簡単にするために、画像の移動を水平方向に限定して説明しているが、これに限られるわけでなく、実際の画像比較においては、垂直方向への移動も加味する必要がある。こうすることで、画像間の動き量を検出することができる。

なお、ここで比較している画像の撮影間隔は、測光処理を行う間隔にあわせてもよいし、測光処理数回に１回の割合で、時間間隔が開き過ぎない程度に設定されていればよい。

本実施形態においては、模式的に説明しているため差分値が０となるが、実写画像では差分値は完全に０となることはほとんどなく、所定の閾値や相対的な差分値の比較を用いることで画像の相関関係を求め、それからぶれ量および移動量を算出することになる。

図３を用い本実施形態の動作フローについて説明する。

撮像装置の電源がＯＮされて、撮像処理が開始されるとステップＳ２０１から始まる処理を始める。

ステップＳ２０１にて、画像比較回路１１２は現在、撮影処理されている画像と直近に撮影された画像を比較し動き検出を行う。

ステップＳ２０１にて、被写体の動きが検出されない場合は、システム制御部１２１は、ＲＡＭ２０に動き無しを意味する動きコード（例えば１）を記憶して、処理をステップＳ２０２へ進める。ここで、ＲＡＭ１２０に記憶されるコードは、撮影シーンの動きの状態に関するコードである。

ステップＳ２０１にて、被写体の動きが検出された場合は、システム制御部１２１は処理をステップＳ２０７に進め、手ぶれの判定と被写体ぶれの判定を行う。

具体的には、加速度センサ１１５の出力値に基づき手ぶれ量を算出し、システム制御部１２１は、ステップＳ２０１にて画像比較回路１１２が検出した動き量と手ぶれ量との差分から被写体ぶれ量を算出する。

ステップＳ２０７にて、システム制御部１２１が、手ぶれ有り、被写体ぶれ有り、と判定した場合は処理をステップＳ２０８に進め、ＲＡＭ１２０に手ぶれ有り、被写体ぶれ有りを意味する動きコード（例えば２）を記憶して、処理をステップＳ２０２へ進める。

ステップＳ２０７にて、システム制御部１２１が、手ぶれ無し、被写体ぶれ有り、と判定した場合は処理をステップＳ２０９に進め、ＲＡＭ１２０に手ぶれ無し、被写体ぶれ有りを意味する動きコード（例えば３）を記憶して、処理をステップＳ２０２へ進める。

ステップＳ２０７にて、システム制御部１２１が、手ぶれ有り、被写体ぶれ無し、と判定した場合は処理をステップＳ２０８に進め、ＲＡＭ１２０に手ぶれ有り、被写体ぶれ無しを意味する動きコード（例えば４）を記憶して、処理をステップＳ２０２へ進める。

ステップＳ２０２では、顔検出回路１０５は、現在撮影されている画像から顔領域の検出を行う。ここで行う、顔領域の検出手法は、公知の手法を用いるものとする。

ステップＳ２０３では、システム制御部１２１は、現在撮影されている画像に対して、測光処理及びホワイトバランス処理を行う。

ステップＳ２０４では、システム制御部１２１が算出した撮影画像の明るさと、ＲＡＭ１２０に記憶されている動きコードに基づき、最大ゲインアップ量を決定する。

ステップＳ２０４での、最大ゲインアップ量を決定する方法について、図４を用いて説明する。

図４は、撮影シーンの明るさとぶれ量の関係を示した図である。
同図において、線より上の領域は設定されているゲイン値において、発生するぶれを吸収しきれず撮影画像がぶれてしまう領域で、線より下の領域は、発生するぶれを吸収できるので撮影画像がぶれない領域である。

４０１は最小ゲイン値を設定した場合の、撮影画像がぶれることなく撮影できる領域の境界を示しており、４０１より下の領域においては、ぶれは発生せず、４０１より上の領域においては、ぶれが発生することになる。

４０２は最大ゲイン値を設定した場合の、撮影画像がぶれることなく撮影できる領域の境界線を示しており、４０２より下の領域においては、ぶれは発生せず、４０２より上の領域においては、ぶれが発生することになる。

絞り値を一定とした場合、撮影シーンが明るくなると、シャッタースピードが早く設定されるため、よりぶれに強くなる。このため、右上がりの線分になる。

４０３は手ぶれ量を示した線分であり、手ぶれ量は明るさに因らず一定である為、傾きのない直線になる。そして、４０３より上の領域においては、ぶれが発生し、４０３より下の領域ではぶれは発生しない。

４０４は被写体ぶれ量を示した線分であり、被写体ぶれ量は、屋内（暗い撮影シーン）では屋外（明るいシーン）に比べて少なく、屋外では被写体ぶれ量は大きくなる。

そして、４０４より上の領域においては、ぶれが発生し、４０４より下の領域ではぶれは発生しない。
４０５は、手ぶれ量と被写体ぶれ量の合計ぶれ量（動き量）を示した図である。

ここで、４０２と４０５の関係から、最大ゲイン値で撮影を行う４０２の場合は、手ぶれも被写体ぶれも吸収して、ぶれのない撮影をすることができるが、過大なゲインが掛かるため、撮影画像の画質が低下してしまう。

そこで、動きコードが１（手ぶれ無し、被写体ぶれ無し）であった場合は、ステップＳ２０４にて、システム制御部１２１は、ゲインアップの制限を行わずに、処理をステップＳ２０５に進める。

動きコードが２（手ぶれ有り、被写体ぶれ有り）であった場合は、ステップＳ２０４にてシステム制御部１２１は、図４におけるＡ点より左（暗い）側では、動き量に応じたゲイン値を最大ゲイン値を設定する。
また、所定の明るさ（Ａ点）より右（明るい）側では、ステップＳ２０２にて顔領域が検出されているので、発生するノイズができるだけ少なくなるように最小ゲイン値を最大ゲイン値として設定する。

動きコードが３（手ぶれ無し、被写体ぶれ有り）であった場合は、ステップＳ２０４にてシステム制御部１２１は、図４におけるＢ点より左（暗い）側では、動き量に応じたゲイン値を最大ゲイン値として設定する。

また、Ｂ点より右（明るい）側では、ステップＳ２０２にて顔領域が検出されているので、発生するノイズができるだけ少なくなるように最小ゲイン値を最大ゲイン値として設定する。

動きコードが４（手ぶれ有り、被写体ぶれ無し）であった場合は、ステップＳ２０４にてシステム制御部１２１は、図４におけるＣ点より左（暗い）側では、動き量に応じたゲイン値を最大ゲイン値として設定する。

また、Ｂ点より右（明るい）側では、ステップＳ２０２にて顔領域が検出されているので、発生するノイズができるだけ少なくなるように最小ゲイン値を最大ゲイン値として設定する。

なお、本実施形態においては、顔検出が成功しているため、できるだけゲインアップ量を抑えるように最小ゲイン値を最大ゲイン値として設定している。

しかし、顔検出ができなかった時には、これに限られるわけでなく、最大ゲイン値から最小ゲイン値の間の所定のゲイン値を適宜、最大ゲイン値として設定するようにしてもよい。その時には、動き量に応じてゲイン値を設定する領域はより短くなる（点Ａ，Ｂ，Ｃが左に移動する）。

こうすることで、過大なゲインが掛かることがなくなるため、ゲインアップによる撮影画像の画質の低下を抑えることが可能になる。
なお、撮像信号のゲイン制御については、ＣＤＳ回路及びＡＤ変換器１０４にてアナログ的に行う場合と、信号処理部１０７にてデジタル的に行うことが可能である。

ステップＳ２０５では、絞り値，シャッタースピード、及びステップＳ２０４で設定された範囲内でゲイン値を決定し自動露出制御を行う。

ステップＳ２０６では、システム制御部１２１は、ＳＷ２（１１９）が押されていれば場合は、撮影を行い、ＳＷ２（１１９）が押されていない場合は、ステップＳ２０１からの処理を繰り返す。

以上説明したように、本実施形態では、撮影画像において、発生しているぶれの種類と撮影シーンの明るさに応じて、最大ゲイン値を設定しているので、過大なゲインが掛かることによる、撮影画像の画質の低下を抑えることができる。

本発明の第１の実施形態に係る撮像装置の構成を示すブロック図である。 本発明の第１の実施形態における、画像比較回路による動き検出方法について模式的に説明した図である。 本発明の第１の実施形態における動作フローを示した図である。 本発明の第１の実施形態における撮影シーンの明るさとぶれ量の関係を示した図である。

符号の説明

１００ 撮像装置
１０１ 撮影レンズユニット
１０２ フォーカスレンズ
１０３ 撮像素子
１０４ ＣＤＳ回路／ＡＤ変換器
１０５ 顔検出回路
１０６ 画像メモリ
１０７ 信号処理部
１０８ 記録回路
１０９ 記憶媒体
１１０ レンズ駆動回路
１１１ 撮像部駆動回路
１１２ 画像比較回路
１１３ 表示回路
１１４ 表示装置
１１５ 加速度センサ
１１６ ＡＭＰ
１１７ ＡＤ変換器
１１８ ＳＷ１
１１９ ＳＷ２
１２０ ＲＡＭ
１２１ システム制御部
１２２ ＲＯＭ

Claims (5)

1. 画像間の差分により動き量を検出する動き量検出手段と、
   手ぶれ量を検出する手ぶれ量検出手段と、
   撮影画像に対してゲイン制御を行うゲイン制御手段と、
   前記手ぶれ量と、前記動き量と該手ぶれ量の差分から算出される被写体ぶれ量と、前記撮影画像の明るさに基づき前記ゲイン制御における最大ゲイン値を設定する制御手段と、を有することを特徴とする撮像装置。
2. 前記制御手段は、前記撮影画像が所定の明るさよりも暗い場合は、前記手ぶれ量と、前記動き量と該手ぶれ量の差分から算出される被写体ぶれ量に基づき前記ゲイン制御における最大ゲイン値を設定し、前記撮影画像が所定の明るさよりも明るい場合は、所定のゲイン値を前記ゲイン制御における最大ゲイン値として設定することを特徴とする請求項１に記載の撮像装置。
3. 前記撮影画像から顔領域の検出を行う顔検出手段を更に備え、
   前記顔検出手段にて、顔領域の検出できた時は、前記撮影画像が所定の明るさより暗い場合は、動き量に応じたゲイン値を最大ゲイン値として設定し、
   該撮影画像が所定の明るさよりも明るい場合は、前記ゲイン制御手段が設定できる最小ゲイン値を最大ゲイン値として設定することを特徴とする請求項１に記載の撮像装置。
4. 前記撮影画像から顔領域の検出を行う顔検出手段を更に備え、
   前記顔検出手段にて、顔領域の検出できなかった時は、前記撮影画像が所定の明るさより暗い場合は、動き量に応じたゲイン値を最大ゲイン値として設定し、
   該撮影画像が所定の明るさよりも明るい場合は、前記ゲイン制御手段が設定できる最大ゲイン値から最小ゲイン値の間のゲイン値を最大ゲイン値として設定することを特徴とする請求項１に記載の撮像装置。
5. 画像間の差分により動き量を検出する動き量検出工程と、
   手ぶれ量を検出する手ぶれ量検出工程と、
   撮影画像に対してゲイン制御を行うゲイン制御工程と、
   前記手ぶれ量と、前記動き量と該手ぶれ量の差分から算出される被写体ぶれ量と、前記撮影画像の明るさに基づき前記ゲイン制御における最大ゲイン値を設定する制御工程と、を有することを特徴とする撮像装置の制御方法。

Images