JP2011172266A - 撮像装置、撮像方法および撮像プログラム - Google Patents

Abstract

【課題】手振れや画振れを精度良く検出して、手振れや画振れのない状態の画像を記録できるようにする。
【解決手段】最初に、グローバル動きベクトルを用いて大まかな画振れの程度を判断する。ある程度、画振れが収束したと判断された後に、画像フレーム間の差分値を用いて、より詳細に画振れの程度が判断する。そして、画振れがないと判断されたら、記録撮影を行う。これにより、手振れや画振れのないタイミングで、確実に、撮影を行うことができる。
【選択図】 図４

Description

本発明は、デジタルカメラ等の撮像装置、撮像方法および撮像プログラムに関する。

近年、パーソナルコンピュータの目覚しい普及やその使い勝手の良さから、従来の銀塩フィルムを用いたカメラに代わって、ＣＣＤ（Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ）等の撮像素子を用いたデジタルカメラが急速に普及している。このようなデジタルカメラで、被写体像を撮影する場合、撮影者は、カメラを動かして画角を決め、手振れがないようにカメラを押さえ、シャッターキーを操作して撮影を行っている。

ところが、撮影者が画角を決め、カメラをしっかり固定したつもりでも、撮影時にカメラが動いてしまい、手振れが発生してしまうことがある。そこで、このような手振れの影響を抑制するために、例えば特許文献１に示されるように、デジタルカメラに手振れ補正機能を搭載したものが登場してきている。

しかしながら、手振れ補正機能を実現するためには、特許文献１に記載されているように、手振れを補正するための余分なメモリ領域が必要になる。

また、被写体が人間等である場合には、撮影者は、画角を決めた後、これから撮影することを声により合図して、静止を促している。ところが、静止を促した後に、被写体となる人間が動いてしまい、画振れが発生することがある。このような画振れは、従来の手振れ補正だけでは、補正することは難しい。

そこで、手振れや被写体振れが発生していないタイミングを検出し、手振れや画振れが発生していないタイミングで記録撮影を行えるようにすることが考えられる。

特開平６−３５０８９５号公報

上述のように、手振れや画振れが発生していないタイミングで記録撮影を行えるようにするためには、手振れや画振れが精度よく検出できることが望まれる。手振れの検出としては、例えば特許文献１に示されるように、動きベクトルを用いることが知られている。ところが、動きベクトルは、カメラを動かしている場合の大まかな手振れは検出できるが、被写体の動きを精度よく検出することは難しい。

そこで、本発明は、上述の課題を鑑みてなされたものであり、画振れを精度良く検出して、画振れのない状態の画像を記録できるようにした撮像装置、撮像方法および撮像プログラムを提供することを目的とする。

本発明は、上記の課題を解決するために、以下の事項を提案している。
（１）本発明は、画振れの検出機能を備えた撮像装置であって、画振れの有無を検出する第１の画振れ検出手段と、前記第１の画振れ検出手段とは異なる方法で画振れの有無を検出する第２の画振れ検出手段と、前記第１の画振れ検出手段により画振れの有無を判断し、画振れが収束したと判断したときに、次の段階で、前記第２の画振れ検出手段により画振れの有無を判断する判断手段と、を備えることを特徴とする撮像装置を提案している。

（２）本発明は、（１）の撮像装置について、前記第２の画振れ検出手段は、前記第１の画振れ検出手段より画振れ検出の精度が高いことを特徴とする撮像装置を提案している。

（３）本発明は、（１）の撮像装置について、前記第１の画振れ検出手段は、手振れに起因する画振れ成分と被写体の動きに起因する画振れ成分のうち、手振れに起因する画振れ成分を検出し、前記第２の画振れ検出手段は、手振れに起因する画振れ成分と被写体の動きに起因する画振れ成分とを区別せずに検出することを特徴とする撮像装置を提案している。

（４）本発明は、（１）の撮像装置について、前記第１の画振れ検出手段は、動きベクトルを検出して画振れの有無を判断することを特徴とする撮像装置を提案している。

（５）本発明は、（１）の撮像装置について、前記第２の画振れ検出手段は、連続する２つの画像フレーム間の差分値により画振れの有無を判断することを特徴とする撮像装置を提案している。

（６）本発明は、（３）の撮像装置について、さらに、画像フレーム内の高周波成分を検出する高周波成分検出手段を備え、前記判断手段は、前記高周波成分が基準値よりも低下している画像フレームは評価対象から除いて、前記連続する２つの画像フレーム間の差分値により画振れの有無を判断することを特徴とする撮像装置を提案している。

（７）本発明は、（３）又は（４）の撮像装置について、前記判断手段は、初期に判断された画像フレーム間の差分値が徐々に小さくなっていき、ある程度小さくなったときに、画振れがないと判断することを特徴とする撮像装置を提案している。

（８）本発明は、（１）から（５）の撮像装置について、前記判断手段により画振れがないと判断された場合に、自動的に撮影記録を行うことを特徴とする撮像装置を提案している。

（９）本発明は、（１）から（５）の撮像装置について、前記判断手段により画振れがあると判断されている間は、撮影記録を禁止する又は撮影指示の際に警告することを特徴とする撮像装置を提案している。

（１０）本発明は、（３）の撮像装置について、前記判断手段は、初期に連続する２つの画像フレーム間の差分値を基準値として設定し、以降、前記基準値が新たに算出された画像フレーム間の差分値よりも小さい場合には、前記新たに算出された画像フレーム間の差分値より前記基準値を更新し、この基準値の更新回数が所定以上になった場合に、画振れが少なくなった状態であると判断することを特徴とする撮像装置を提案している。

（１１）本発明は、画振れの検出機能を備えた撮像装置であって、連続する２つの画像フレーム間の差分値を算出する差分値算出手段と、画像フレーム内の高周波成分を検出する高周波成分検出手段と、前記高周波成分が基準値よりも低下している画像フレームは評価対象から除いて、前記連続する２つの画像フレーム間の差分値により画振れの有無を判断する判断手段と、を備えることを特徴とする撮像装置を提案している。

（１２）本発明は、画振れの検出機能を備えた撮像装置であって、連続する２つの画像フレーム間の差分値を算出する差分値算出手段と、初期に判断された画像フレーム間の差分値が徐々に小さくなっていき、ある程度小さくなったときに、画振れがないと判断する判断手段と、を備えることを特徴とする撮像装置を提案している。

（１３）本発明は、手振れや被写体の動きに起因する画振れの検出機能を有する撮像方法であって、画振れの有無を検出する第１のステップと、前記第１のステップにより画振れの有無を判断し、画振れが収束したと判断したときに、次の段階で、前記第１のステップとは異なる方法で画振れの有無を判断する第２のステップと、を備えたことを特徴とする撮像方法を提案している。

（１４）本発明は、手振れや被写体の動きに起因する画振れの検出機能を有する撮像プログラムであって、コンピュータに、画振れの有無を検出する第１のステップと、前記第１のステップにより画振れの有無を判断し、画振れが収束したと判断したときに、次の段階で、前記第１のステップとは異なる方法で画振れの有無を判断する第２のステップと、を実行させるための撮像プログラムを提案している。

本発明によれば、大まかな画振れの程度を判断し、ある程度、画振れが収束したと判断された後に、より詳細に画振れの程度が判断し、画振れがないと判断された場合に、記録撮影を行うようにすることで、精度よく、画振れのないタイミングを検出できるという効果がある。そして、画振れのないタイミングで撮影を行うことで、画振れのない画像を撮影することができるという効果がある。

本発明に係る撮像装置の外観構成図である。 本発明に係る撮像装置の電気的構成図である。 本発明に係る撮像装置の説明に用いる機能ブロック図である。 本発明に係る撮像装置の説明に用いるフローチャートである。 本発明に係る撮像装置の説明に用いるフローチャートである。

以下、本発明の実施形態について、図面を参照しながら説明する。
なお、本実施形態における構成要素は適宜、既存の構成要素等との置き換えが可能であり、また、他の既存の構成要素との組み合わせを含む様々なバリエーションが可能である。したがって、本実施形態の記載をもって、特許請求の範囲に記載された発明の内容を限定するものではない。

図１は、本実施形態に係る撮像装置（デジタルカメラ１）の外観構成を示すものであり、図１（ａ）はその正面図、図１（ｂ）はその背面図を示している。撮像装置（デジタルカメラ１）は、図１に示すように、その正面側にストロボ発光部１１と撮像レンズ（レンズ群）１２とを備えている。

また、撮像装置（デジタルカメラ１）の背面には、図１（ｂ）に示すように、モードダイヤル１３と、液晶モニタ画面１４と、カーソルキー１５と、ＳＥＴキー１６と、望遠撮影時に用いられるズームキー（Ｗｉｄｅボタン１７−１、Ｔｅｌｅボタン１７−２）１７と、撮影モード選択キー２０等とが設けられている。

さらに、撮像装置（デジタルカメラ１）の上面には、図１（ａ）及び図１（ｂ）に示すように、シャッターキー１８と、電源ボタン１９等とが設けられ、図示しない撮像装置（デジタルカメラ１）の側面には、パーソナルコンピュータやモデム等の外部装置をＵＳＢケーブルで接続する場合に用いられるＵＳＢ（Ｕｎｉｖｅｒｓａｌ Ｓｅｒｉａｌ Ｂｕｓ）端子の接続部や、メモリカード等を挿入するスロット等が設けられている。

図２は、本実施形態に係る撮像装置（デジタルカメラ１）の内部の電気的構成を示すものである。
本実施形態に係る撮像装置は、図２に示すように、撮像レンズ２２と、レンズ駆動ブロック２３と、絞り兼用シャッター２４と、ＣＣＤ撮像素子２１と、ＴＧ（Ｔｉｍｉｎｇ Ｇｅｎｅｒａｔｏｒ）２６と、ユニット回路（ＣＤＳ／ＡＧＣ／ＡＤ）２７と、ＤＲＡＭ（Ｄｙｎａｍｉｃ Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）２８と、メモリ２９と、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ ｕｎｉｔ）３０と、画像表示部３１と、キー入力部３２と、外部通信Ｉ／Ｆ（Ｉｎｔｅｒｆａｃｅ）３３と、ストロボ駆動部３４と、ストロボ発光部３５と、カードＩ／Ｆ（Ｉｎｔｅｒｆａｃｅ）３６と、を備えており、カードＩ／Ｆ３６には、図示しないデジタルカメラ１本体のカードスロットにメモリカード４０が着脱可能に接続される。

撮像レンズ２２は、フォーカスレンズ、ズームレンズを含み、レンズ駆動ブロック２３が接続されている。このレンズ駆動ブロック２３は、図示しないフォーカスレンズ、ズームレンズをそれぞれ撮像面と平行な光軸方向に駆動させるフォーカスモータ及びズームモータと、ＣＰＵ３０からの制御信号にしたがってフォーカスモータ及びズームモータをそれぞれ駆動させるフォーカスドライバ及びズームモータドライバから構成されている。

絞り兼用シャッター２４は、図示しない駆動回路を含み、この駆動回路はＣＰＵ３０から送られてくる制御信号にしたがって絞り兼用シャッターを動作させる。なお、この絞り兼用シャッター２４は、絞りとシャッターとして機能する。

ＣＣＤ撮像素子２１は、撮像レンズ２２及び絞り兼用シャッター２４を介して投影された被写体の光を電気信号に変換し、撮像信号としてユニット回路（ＣＤＳ／ＡＧＣ／ＡＤ）２７に出力する。また、ＣＣＤ撮像素子２１は、ＴＧ２６によって生成された所定周波数のタイミング信号にしたがって駆動する。なお、ＴＧ２６にはユニット回路（ＣＤＳ／ＡＧＣ／ＡＤ）２７が接続されている。

ユニット回路（ＣＤＳ／ＡＧＣ／ＡＤ）２７は、ＣＣＤ撮像素子２１から出力される撮像信号を相関二重サンプリングして保持するＣＤＳ（Ｃｏｒｒｅｌａｔｅｄ Ｄｏｕｂｌｅ Ｓａｍｐｌｉｎｇ）回路、そのサンプリング後の撮像信号の自動利得調整を行うＡＧＣ（Ａｕｔｏｍａｔｉｃ Ｇａｉｎ Ｃｏｎｔｒｏｌ）回路、その自動利得調整後のアナログの撮像信号をデジタル信号に変換するＡ／Ｄ変換器から構成されており、ＣＣＤ撮像素子２１の撮像信号は、ユニット回路（ＣＤＳ／ＡＧＣ／ＡＤ）２７を経てデジタル信号としてＣＰＵ３０に送られる。

ＣＰＵ３０は、ユニット回路（ＣＤＳ／ＡＧＣ／ＡＤ）２７から送られてきた画像データの画像処理（画素補間処理、ガンマ補正、輝度色差信号の生成、ホワイトバランス処理、露出補正処理等）、振れ補正処理、画像データの圧縮・伸張（例えば、ＪＰＥＧ形式の圧縮・伸張）の処理等を行う機能を有するとともに、デジタルカメラ１の各部を制御プログラムにしたがって制御するワンチップマイコンである。

ＤＲＡＭ２８は、ＣＣＤ撮像素子２１によって撮像された後、ＣＰＵ３０に送られてきた画像データを一時記憶するバッファメモリとして使用されるとともに、ＣＰＵ３０のワーキングメモリとしても使用される。

画像表示部３１は、カラーＬＣＤ（Ｌｉｑｕｉｄ Ｃｒｙｓｔａｌ Ｄｉｓｐｌａｙ）とその駆動回路とを含み、撮影待機状態にあるときには、ＣＣＤ撮像素子２１によって撮像された被写体をスルー画像として表示し、記録画像の再生時には、メモリカード４０から読み出され、伸張された記録画像を表示させる。

キー入力部３２は、モードダイヤル１３、カーソルキー１５、ＳＥＴキー１６、ズームキー１７、シャッターキー１８、電源ボタン１９、撮影モード選択キー２０（図１（ａ）及び図１（ｂ）参照）等の複数の作キーを含み、ユーザのキー操作に応じた操作信号をＣＰＵ３０に出力する。

外部通信Ｉ／Ｆ３３は、外部の電子機器（例えば、パーソナルコンピュータ）との間でデータの入出力を行うものであり、ＵＳＢ規格、ＩＥＥＥ１３９４規格などの各種インターフェース規格による入出力を可能としており、これらの規格によるデータ入出力が可能なパソコンなどの電子機器と接続可能となっている。また、ＩｒＤＡ規格による赤外線通信、Ｂｌｕｅｔｏｏｔｈ規格による無線通信により外部の電子機器と画像データの入出力を可能としているものでもよい。

ストロボ駆動部３４は、ＣＰＵ３０の制御信号にしたがって、ストロボ発光部３５を閃光駆動させ、ストロボ発光部３５は、これによりストロボを閃光させる。ＣＰＵ３０は、図示しない測光回路により、撮影シーンが暗いか否かを判断し、撮影シーンが暗いと判断し、かつ、撮影を行う場合（シャッターキーの押下時）には、ストロボ駆動部３４に制御信号を出力する。

メモリ２９は、ＣＰＵ３０によるデジタルカメラ１の各部の制御に必要なプログラム及び各部の制御に必要なデータを記録格納しており、ＣＰＵ３０は、このプログラムにしたがって処理を実行する。

上述の撮像装置（デジタルカメラ１）において、シャッターキー１８（キー入力部３２に含まれる）が操作されると、撮像レンズ２２及び絞り兼用シャッター２４を介して投影された被写体像光がＣＣＤ撮像素子２１に取り込まれ、ＣＣＤ撮像素子２１でこの画像が電気信号に変換され、撮像信号としてユニット回路（ＣＤＳ／ＡＧＣ／ＡＤ）２７に出力される。そして、ＣＰＵ３０により、ユニット回路（ＣＤＳ／ＡＧＣ／ＡＤ）２７から送られてきた画像データに対して、画像処理が行われ、ＪＰＥＧ等により圧縮されて、メモリカード４０に記録される。

ここで、撮影者が撮像装置で撮影を行う際に、カメラが動いてしまったり、被写体が動いたりすると、手振れや画振れにより撮影画像にボケが生じてしまう。そこで、本実施形態では、手振れや画振れを検出し、手振れや画振れが収束したら、撮影記録が行えるようにしている。このように、手振れや画振れが収束してから、撮影記録が行えるようにするための動作について、以下に説明する。

図３は、本実施形態において、手振れや画振れを検出して、撮影記録のタイミングを制御するための機能を実現するための構成を示す機能ブロック図である。なお、この機能ブロック図は、ＣＰＵ３０を使ってソフトウェアにより実現することが可能である。

図３に示すように、本実施形態においては、第１の画振れ検出部１０１と、第２の画振れ検出部１０２と、判断部１０３とが設けられている。第１の画振れ検出部１０１及び第２の画振れ検出部１０２は、共に画像データから画振れを検出するものであるが、検出速度や検出精度が異なっている。さらに、本実施形態では、画像フレーム内の高周波成分を検出する高周波検出部１０５が設けられている。なお、高周波検出部１０５の働きについては後に説明する。

第１の画振れ検出部１０１は、撮影の初期段階で、大まかな画振れの発生の程度を検出するものである。つまり、撮影を行う際に、撮影者は、デジタルカメラ１を大きく動かして画角を決め、画角が決まったら、デジタルカメラ１を静止させるようにして、撮影を行う。したがって、撮影の初期段階では、大まかな画振れを検出し、デジタルカメラ１がある程度静止させた状態になったことを検出する必要がある。第１の画振れ検出部１０１は、このような撮影の初期段階の手振れを検出している。第１の画振れ検出部１０１としては、高い検出精度は要求されないが、大きな画振れを高速に検出できることが要求される。

これに対して、第２の画振れ検出部１０２は、ある程度手振れが収束した後に、細かい画振れを検出するものである。つまり、撮影者は、画角が決めた後に、デジタルカメラ１を静止させて、撮影を行う。しかしながら、ここで、デジタルカメラ１が僅かに動いてしまったり、被写体が動いてしまったりすることがある。第２の画振れ検出部１０２は、撮影者が画角を決めた後にデジタルカメラ１を静止させている間に、手振れや画振れの発生の程度を高い精度で検出するものである。第２の画振れ検出部１０２としては、大まかな手振れを検出できることは要求されないが、精度の高い検出が要求される。

判断部１０３は、最初に、第１の画振れ検出部１０１からの検出出力に基づいて、大まかな画振れの程度を判断し、ある程度、画振れが収束したと判断された後に、第２の画振れ検出部１０２からの検出出力により、より詳細に画振れの程度が判断し、画振れがないと判断されたら、手振れや画振れのないことを示す信号を撮影記録処理部１０４に送り、撮影記録を行うようにしている。

このように、本実施形態では、大まかな画振れを高速で検出できる第１の画振れ検出部１０１と、精度の高い画振れを検出できる第２の画振れ検出部１０２との２つの画振れ検出部が設けられており、最初に、第１の画振れ検出部１０１からの検出出力に基づいて、大まかな画振れの程度を判断し、ある程度、画振れが収束したと判断された後に、第２の画振れ検出部１０２からの検出出力により、より詳細に画振れの程度が判断し、画振れがないと判断されたら、記録撮影を行うようにしている。これにより、手振れや画振れのないタイミングで、確実に、撮影を行うことができる。

なお、撮影記録処理部１０４は、判断部１０３から、手振れや画振れのないことを示す信号が送られてきたら、自動的に、記録撮影を行うように制御してもよい。また、判断部１０３から、手振れや画振れのないことを示す信号が送られてこなければ、撮影を禁止するように制御してもよい。また、判断部１０３から、手振れや画振れのないことを示す信号により撮影タイミングを判断し、撮影指示のときに、警告を発生させるようにしてもよい。

次に、第１及び第２の画振れ検出部１０１及び１０２について説明する。

第１の画振れ検出部１０１は、上述のように、大まかな画振れを検出して、デジタルカメラ１が静止された状態になったことを判断するものである。デジタルカメラ１が静止された状態は、画角全体の動きが小さくなった状態であり、これは、グローバル動きベクトルにより求めることができる。

つまり、画像フレームＦ_ｎ−１内のある１点に注目し、その点が次の画像フレームＦ_ｎのどこに移動するかを求めれば、その点についての動きベクトルを求めることができる。しかしながら、被写体には背景部分と動いている部分とがあり、動いている部分の動きベクトルでは、全体の動きを判断できない。例えば、手振れ方向と逆方向に被写体が動いたような場合には、手振れが生じているにも係わらず、動きベクトルは非常に小さい値になってしまうことが考えられるからである。

そこで、本実施形態では、画像フレームからＮ個（Ｎは十分に大きい整数）の特徴点を抽出し、Ｎ個の動きベクトルを求め、サポート数を計算し、最もサポート数の大きい動きベクトルをグローバル動きベクトルとし、このグローバル動きベクトルが小さくなったら、デジタルカメラ１が静止された状態になったと判断するようにしている。

ここで、サポート数は、１つの動きベクトルに対して、その動きベクトルと同様な動きベクトルの数がいくつあるかを示すものである。すなわち、ある１つの動きベクトルをＭＶ_ａとし、残りの動きベクトルをＭＶ_ｉ（ｉは０〜Ｎの整数）とし、Ｄを定数とすると、サポート数は、｜ＭＶ_ａ−ＭＶ_ｉ｜＜Ｄを満たす個数として計算できる。

背景の部分の動きベクトルは、全体の動きを反映しているので、同様な値となる動きベクトルが多くあり、サポート数が大きくなる。これに対して、動いている被写体の部分の動きベクトルは、全体の動きとは異なるので、サポート数が小さくなる。このことから、サポート数が大きい動きベクトルは、グローバル動きベクトルを示すことになる。

一方、第２の画振れ検出部１０２は、前述したように、ある程度手振れが収束した後に、細かい画振れを検出するものである。このような細かい画振れは、画像フレーム間の差分値により検出できる。

つまり、画像フレームＦ_ｎのある座標をＦ_ｎ（ｘ，ｙ）とすると、画像フレーム間の差分値は、Σ｜Ｆ_ｎ（ｘ，ｙ）−Ｆ_ｎ−１（ｘ，ｙ）｜（Σは、全画素の累積値）として計算することができる。画振れが発生すると、この画像フレーム間の差分値が大きくなり、画振れがなくなれば、画像フレーム間の差分値は０に近い値になる。

そこで、本実施形態では、画像フレームＦ_ｎと画像フレームＦ_ｎ−１との画像フレーム間の差分値を求め、画像フレーム間の差分値が小さくなったら、画振れがない状態であると判断するようにしている。

しかしながら、実際は、ランダムノイズの影響等により、画像フレーム間の差分値が０になることはない。また、画像フレーム間の差分値は、撮影環境や露光条件、ゲイン等により変化するので、閾値を一律に決定することはできない。そこで、本実施形態では、初期に判断された画像フレーム間の差分値が徐々に小さくなっていき、ある程度小さくなったら、画振れがないと判断するようにしている。

つまり、初期段階の最初の画像フレームで、画像フレーム間の差分値を求め、この画像フレーム間の差分値を基準値Ａとして登録する。そして、それ以降の画像フレームで検出された画像フレーム間の差分値と基準値Ａとを比較していく。ここで、以降の画像フレーム間の差分値が基準値Ａよりも小さくなった場合、その画像フレームでは、基準値Ａを求めたときの画像フレームよりも、画振れが小さくなったと判断できる。

この場合、そのとき求められた画像フレーム間の差分値で、基準値Ａを更新し、同様の処理を複数回繰り返していく。これにより、画像フレーム間の差分値が徐々に小さくなり、ある程度小さくなったことが判断できる。そして、基準値Ａの更新回数が所定以上になったら、画振れが少ない状態であると判断する。

ところが、この条件だけでは、被写体振れの大きさを正しく評価できない場合がある。例えば、画像フレーム間で被写体が大きく動いてボケてしまった画像や、一様に真っ暗な画像などでは、画像フレーム間の差分値の信頼性は低い。

そこで、本実施形態では、画像フレーム内の高周波成分を検出する高周波検出部１０５が設けられている。すなわち、高周波検出部１０５により、画像フレーム内の高周波成分が検出され、高周波成分が基準値より小さい画像フレームは、画像フレーム間の差分値による画振れの評価の対象から外されるようになっている。

つまり、初期段階で最初の画像フレームから高周波成分を計算し、その値をもとに高周波成分の基準値Ｂを設定する。次回以降、画像フレーム内で高周波成分を求め、求められた高周波成分と基準値Ｂとを比較していく。そして、求められた高周波成分が基準値Ｂよりも小さい画像フレームでは、画面がボケているとして、画像フレーム間の差分値による画振れの評価の対象から外すようする。

このように、第２の画振れ検出部１０２は、画像フレーム間の差分値と画像フレーム内の高周波成分との２つを用いて、画振れを判断している。つまり、前述したように更新されていく画像フレーム間の差分値の基準値をＡとし、初期段階で設定される高周波成分の基準値をＢとしたときに、以下の２つの条件を両方とも満足したかどうかを判断している。

条件（１）：画像フレーム間の差分値が基準値Ａより小さい。
条件（２）：画像フレーム内の高周波成分が基準値Ｂより大きい。

図４は、上述の処理を行うためのフローチャートである。
図４において、撮像された１画像フレームの画像が出力され（ステップＳ１）、グローバル動きベクトル（ＧＭＶ）の検出処理が行われる（ステップＳ２）。グローバル動きベクトル（ＧＭＶ）の検出処理では、Ｎ個の特徴点を抽出し、Ｎ個の動きベクトルを求め、サポート数を計算し、最もサポート数の高い動きベクトルをグローバル動きベクトル（ＧＭＶ）とする処理が行われる。なお、グローバル動きベクトル（ＧＭＶ）の検出処理フローについては、後に説明する。

グローバル動きベクトル（ＧＭＶ）が検出されたら、このグローバル動きベクトル（ＧＭＶ）を評価して、グローバル動きベクトル（ＧＭＶ）が十分に小さいかどうかが判断される（ステップＳ３）。

撮影者が画角を決めているような場合には、デジタルカメラ１が静止されていないため、グローバル動きベクトル（ＧＭＶ）は大きな値となる。つまり、グローバル動きベクトル（ＧＭＶ）が大きければ（ステップＳ３の「Ｎｏ」の場合）、次の画像フレームに処理が移され（ステップＳ４）、ステップＳ２にリターンされ、グローバル動きベクトル（ＧＭＶ）の検出処理が続けられる。

撮影者が画角を決め、デジタルカメラ１を静止させると、グローバル動きベクトル（ＧＭＶ）は小さな値となる。つまり、ステップＳ３で、グローバル動きベクトル（ＧＭＶ）が十分に小さければ（ステップＳ３の「Ｙｅｓ」の場合）、画像フレーム間の差分値が求められ、この画像フレーム間の差分値が基準値Ａとされる（ステップＳ５）。画像フレーム間の差分値は、前述したように、Σ｜Ｆ_ｎ（ｘ，ｙ）−Ｆ_ｎ−１（ｘ，ｙ）｜として計算される。そして、画像フレーム内の高周波成分が求められ、この画像フレーム内の高周波成分が基準値Ｂとされる（ステップＳ６）。

次の画像フレームの画像が出力され（ステップＳ７）、その画像フレームで、画像フレーム間の差分値が求められ（ステップＳ８）、画像フレーム内の高周波成分が求められる（ステップＳ９）。そして、画像フレーム間の差分値が基準値Ａよりも小さく、かつ、画像フレーム内の高周波成分が基準値Ｂより大きいかどうかが判断される（ステップＳ１０）。

画像フレーム間の差分値が基準値Ａより大きい、又は、画像フレーム内の高周波成分が基準値Ｂより小さい場合（ステップＳ１０の「Ｎｏ」の場合）には、画像フレーム間の差分値が許容値より大きいかどうかが判断され（ステップＳ１１）、画像フレーム間の差分値が許容値より大きくなければ（ステップＳ１１の「Ｎｏ」の場合）、ステップＳ７にリターンされる。

手振れが収まらない場合や被写体の画振れが生じているような場合には、画像フレーム間の差分値が基準値Ａより大きくなる。また、画面がボケてきた場合には、画像フレーム内の高周波成分が基準値Ｂより小さくなる。よって、これらの場合には、ステップＳ１０の判断結果が「Ｎｏ」となり、ステップＳ７〜ステップＳ１１の処理が繰り返し実行される。

また、撮影者が一度決めた画角を外して、デジタルカメラ１を大きく動かすような場合がある。この場合には、ステップＳ１１で、画像フレーム間の差分値が許容値より大きいと判断されることになる。したがって、このような場合（ステップＳ１１の「Ｙｅｓ」の場合）には、ステップＳ４で、次の画像フレームに処理が移され、ステップＳ２リターンされる。

手振れや画振れが生じていない場合には、画像フレーム間の差分値が基準値Ａより小さくなる。また、画面がボケていなければ、画像フレーム内の高周波成分が基準値Ｂより大きくなる。よって、これらの場合には、ステップＳ１０の判断結果が「Ｙｅｓ」となる。

ステップＳ１０で、画像フレーム間の差分値が基準値Ａより小さく、かつ、画像フレーム内の高周波成分が基準値Ｂより大きい場合（ステップＳ１０の「Ｙｅｓ」の場合）には、基準値Ａが今回の画像フレーム間の差分値で更新される（ステップＳ１２）。そして、更新回数が所定回数に達したかどうかが判断され（ステップＳ１３）、更新回数が所定回数に達していなければ（ステップＳ１３の「Ｎｏ」の場合）、ステップＳ７にリターンされる。

このように、最初の画像フレーム間の差分値を基準値Ａとし、以降の画像フレーム間の差分値と基準値Ａとを比較していき、以降の画像フレーム間の差分値が基準値Ａよりも小さくなった場合、そのとき求められた画像フレーム間の差分値で、基準値Ａを更新し、それ以降、同様の処理を複数回繰り返していくことで、画像フレーム間の差分値が徐々に小さくなることを検出していくことができる。

ステップＳ１３で、更新回数が所定回数に達した場合（ステップＳ１３の「Ｙｅｓ」の場合）には、手振れや画振れがないと判断される（ステップＳ１４）。

図５は、図４におけるステップＳ２のグローバル動きベクトルの検出処理を示すフローチャートである。

図５において、画像フレームＦ_ｎ−１からＮ個の特徴点が抽出され（ステップＳ１０１）、それに連続する画像フレームＦ_ｎとを比較して、各特徴点がどこに移動したかが追跡される（ステップＳ１０２）。これにより、動きベクトルが求められる（ステップＳ１０３）。

Ｎ回の処理が繰り返されたかどうかが判断され（ステップＳ１０４）、Ｎ回繰り返していなければ（ステップＳ１０４のＮｏの場合）、次の位置の特徴点に処理が移されて（ステップＳ１０５）、ステップＳ１０１にリターンされ、同様の処理が繰り返される。これにより、Ｎ個各点の動きベクトルが求められる。Ｎ個の全てのブロックについて動きベクトルが求められると、ステップＳ１０４で、Ｎ回の処理が繰り返されたと判断される。

ステップＳ１０４で、Ｎ回の処理が繰り返されたと判断された場合（ステップＳ１０４の「Ｙｅｓ」の場合）、サポート数の基準値Ｃが初期値（例えば０）に設定される（ステップＳ１０６）。そして、１つの動きベクトルについてのサポート数が計算される（ステップＳ１０７）。ここで、前述したように、サポート数は、｜ＭＶ_ａ−ＭＶ_ｉ｜＜Ｄを満たす個数として計算できる。

サポート数が求められたら、求められたサポート数がサポート数の基準値Ｃより大きいかどうかが判断される（ステップＳ１０８）。

ステップＳ１０８で、今回求められたサポート数が基準値Ｃより大きければ（ステップＳ１０８で「Ｙｅｓ」の場合）、サポート数の基準値Ｃが今回のサポート数により更新され（ステップＳ１０９）、Ｎ回の処理が繰り返されたかどうかが判断される（ステップＳ１１０）。ステップＳ１０８で、サポート数が基準値Ｃより小さければ（ステップＳ１０８で「Ｎｏ」の場合）、サポート数の基準値Ｃはそのままで、Ｎ回の処理が繰り返されたかどうかが判断される（ステップＳ１１０）。

ステップＳ１１０で、Ｎ回の処理が繰り返されていなければ（ステップＳ１１０で「Ｎｏ」の場合）、次の位置の動きベクトルに処理が移され（ステップＳ１１１）、ステップＳ１０７にリターンされ、同様の処理が繰り返される。これらの処理が繰り返されることで、サポート数の基準値Ｃがそれまでのサポート数の最大値に更新されていく。

ステップＳ１１０で、Ｎ回の処理が繰り返されたと判断されたら（ステップＳ１１０で「Ｙｅｓ」の場合）、サポート数の基準値Ｃから、それまでのサポート数の最大値が判断され、サポート数が最大となる動きベクトルから、グローバル動きベクトル（ＧＭＶ）が求められる（ステップＳ１１２）。

以上説明したように、本実施形態では、最初に、グローバル動きベクトルを用いて大まかな画振れの程度を判断し、ある程度、画振れが収束したと判断された後に、画像フレーム間の差分値を用いて、より詳細に画振れの程度が判断し、画振れがないと判断されたら、記録撮影を行うようにしている。これにより、手振れや画振れのないタイミングで、確実に、撮影を行うことができる。

なお、本実施形態では、動きベクトルの検出を行っているが、ＭＰＥＧなどの動画のリアルタイム圧縮記録手段を備えたデジタルカメラなどにおいては、動画圧縮の際に動きベクトルを検出しているので、この動画圧縮の際に検出された動きベクトルを用いて画振れの検出を行うようにしてもよく、この場合には、専用の動きベクトル検出処理を実行する必要がなくなるので、処理効率や処理速度を向上させることができる。

また、本実施形態では、画像の高周波成分を検出しているが、オートフォーカス（ＡＦ）機能を備えたデジタルカメラなどにおいては、オートフォーカス処理の際に検出されるコントラスト情報を利用して高周波成分を検出するようにしてもよい。また、オートフォーカスの動作中に第１の画振れ検出部による画振れ検出を行い、オートフォーカスの動作が完了した後に第２の画振れ検出部による画振れ検出を行うようにしてもよい。

また、自動露出（ＡＥ）機能を備えたデジタルカメラなどにおいては、自動露出の動作中に第１の画振れ検出部による画振れ検出を行い、自動露出の動作が完了した後に第２の画振れ検出部による画振れ検出を行うようにしてもよい。

また、ソースとなるプログラムは、フレキシブルディスク、光磁気ディスク、ＲＯＭ、ＣＤ−ＲＯＭ等の可搬媒体等のコンピュータ読み取り可能な記録媒体で提供される。また、ソースとなるプログラムは、コンピュータシステムから、伝送媒体を介して、あるいは、伝送媒体中の伝送波により他のコンピュータシステムに伝送されてもよい。ここで、プログラムを伝送する「伝送媒体」は、インターネット等のネットワーク（通信網）や電話回線等の通信回線（通信線）のように情報を伝送する機能を有する媒体のことをいう。また、ソースとなるプログラムは、前述した機能の一部を実現するためのものであっても良い。さらに、前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるもの、いわゆる差分ファイル（差分プログラム）であっても良い。

また、本実施形態における構成要素は適宜、既存の構成要素等との置き換えが可能であり、また、他の既存の構成要素との組み合わせを含む様々なバリエーションが可能である。したがって、本実施形態の記載をもって、特許請求の範囲に記載された発明の内容を限定するものではない。

１・・・デジタルカメラ、１１・・・ストロボ発光部、１３・・・モードダイヤル、１４・・・液晶モニタ画面、１５・・・カーソルキー、１６・・・ＳＥＴキー、１７・・・ズームキー、１８・・・シャッターキー、１９・・・電源ボタン、２０・・・撮影モード選択キー、２１・・・ＣＣＤ撮像素子、２２・・・撮像レンズ、２３・・・レンズ駆動ブロック、２４・・・絞り兼用シャッター、２７・・・ユニット回路（ＣＤＳ／ＡＧＣ／ＡＤ）、２８・・・ＤＲＡＭ、２９・・・メモリ、３０・・・ＣＰＵ、３１・・・画像表示部、３２・・・キー入力部、３３・・・外部通信Ｉ／Ｆ、３４・・・ストロボ駆動部、３５・・・ストロボ発光部、３６・・・カードＩ／Ｆ、４０・・・メモリカード、１０１・・・第１の画振れ検出部、１０２・・・第２の画振れ検出部、１０３・・・判断部、１０４・・・撮影記録処理部

Claims (14)

1. 画振れの検出機能を備えた撮像装置であって、
   画振れの有無を検出する第１の画振れ検出手段と、
   前記第１の画振れ検出手段とは異なる方法で画振れの有無を検出する第２の画振れ検出手段と、
   前記第１の画振れ検出手段により画振れの有無を判断し、画振れが収束したと判断したときに、次の段階で、前記第２の画振れ検出手段により画振れの有無を判断する判断手段と、
   を備えることを特徴とする撮像装置。
2. 前記第２の画振れ検出手段は、前記第１の画振れ検出手段より画振れ検出の精度が高いことを特徴とする請求項１に記載の撮像装置。
3. 前記第１の画振れ検出手段は、手振れに起因する画振れ成分と被写体の動きに起因する画振れ成分のうち、手振れに起因する画振れ成分を検出し、
   前記第２の画振れ検出手段は、手振れに起因する画振れ成分と被写体の動きに起因する画振れ成分とを区別せずに検出することを特徴とする請求項１に記載の撮像装置。
4. 前記第１の画振れ検出手段は、動きベクトルを検出して画振れの有無を判断することを特徴とする請求項１に記載の撮像装置。
5. 前記第２の画振れ検出手段は、連続する２つの画像フレーム間の差分値により画振れの有無を判断することを特徴とする請求項１に記載の撮像装置。
6. さらに、画像フレーム内の高周波成分を検出する高周波成分検出手段を備え、
   前記判断手段は、前記高周波成分が基準値よりも低下している画像フレームは評価対象から除いて、前記連続する２つの画像フレーム間の差分値により画振れの有無を判断することを特徴とする請求項３に記載の撮像装置。
7. 前記判断手段は、初期に判断された画像フレーム間の差分値が徐々に小さくなっていき、ある程度小さくなったときに、画振れがないと判断することを特徴とする請求項３又は４に記載の撮像装置。
8. 前記判断手段により画振れがないと判断された場合に、自動的に撮影記録を行うことを特徴とする請求項１から５のいずれかに記載の撮像装置。
9. 前記判断手段により画振れがあると判断されている間は、撮影記録を禁止する又は撮影指示の際に警告することを特徴とする請求項１から５のいずれかに記載の撮像装置。
10. 前記判断手段は、初期に連続する２つの画像フレーム間の差分値を基準値として設定し、以降、前記基準値が新たに算出された画像フレーム間の差分値よりも小さい場合には、前記新たに算出された画像フレーム間の差分値より前記基準値を更新し、この基準値の更新回数が所定以上になった場合に、画振れが少なくなった状態であると判断することを特徴とする請求項３に記載の撮像装置。
11. 画振れの検出機能を備えた撮像装置であって、
    連続する２つの画像フレーム間の差分値を算出する差分値算出手段と、
    画像フレーム内の高周波成分を検出する高周波成分検出手段と、
    前記高周波成分が基準値よりも低下している画像フレームは評価対象から除いて、前記連続する２つの画像フレーム間の差分値により画振れの有無を判断する判断手段と、
    を備えることを特徴とする撮像装置。
12. 画振れの検出機能を備えた撮像装置であって、
    連続する２つの画像フレーム間の差分値を算出する差分値算出手段と、
    初期に判断された画像フレーム間の差分値が徐々に小さくなっていき、ある程度小さくなったときに、画振れがないと判断する判断手段と、
    を備えることを特徴とする撮像装置。
13. 手振れや被写体の動きに起因する画振れの検出機能を有する撮像方法であって、
    画振れの有無を検出する第１のステップと、
    前記第１のステップにより画振れの有無を判断し、画振れが収束したと判断したときに、次の段階で、前記第１のステップとは異なる方法で画振れの有無を判断する第２のステップと、
    を備えたことを特徴とする撮像方法。
14. 手振れや被写体の動きに起因する画振れの検出機能を有する撮像プログラムであって、
    コンピュータに、
    画振れの有無を検出する第１のステップと、
    前記第１のステップにより画振れの有無を判断し、画振れが収束したと判断したときに、次の段階で、前記第１のステップとは異なる方法で画振れの有無を判断する第２のステップと、
    を実行させるための撮像プログラム。

Images