JP2009267834A - 撮像装置 - Google Patents

Abstract

【課題】被写体の移動速度或いは撮像装置の角速度が一定でなくとも確実に被写体ぶれの無いような流し撮りを行うことができる撮像装置を提供すること。
【解決手段】現フレームにおける画像上での主要被写体の動きベクトルＣ_ｉと先行フレームにおける画像上での主要被写体の動きベクトルＣ_ｉ−１との差分を現フレームにおける画像上での主要被写体の加速度として求める。この加速度と現フレームにおける画像上での主要被写体の動きベクトルＣ_ｉとから後行フレームにおける画像上での主要被写体の動きベクトルを予測する。
【選択図】図３

Description

本発明は、特別な技量がなくとも流し撮りを行うことが可能な撮像装置に関する。

撮影技術のうち、移動する被写体に追従するように撮像装置の向きを変えて撮影する技術を流し撮りと呼ぶ。この流し撮りにより、移動する被写体をぶれなく捉えるとともに、背景を流れるようにぼかして、移動する被写体のスピード感を強調する画像を撮影することが可能となる。

一般に、流し撮りを行うためには、撮影者が被写体の動きに合わせて手動で撮像装置の向きを変化させる必要がある。また、シャッタレリーズ操作を行って露光を行っている最中にも、撮影者は、被写体の動きに合わせて手動で撮像装置の向きを変化させる必要がある。したがって、流し撮りを成功させ、被写体のぶれの無い画像を得るためには、撮影者に高度な技術が必要となる。

ここで、撮影者の技量に依らずに流し撮りを行えるようにするための提案が例えば特許文献１においてなされている。この特許文献１の提案は、被写体の画像中での移動速度を演算するとともに撮像装置（より詳しくは撮像素子）の角速度を測定し、被写体の画像中での移動速度と撮像装置の角速度との差が０となるように光学補正を行うことで、露光時における被写体の画像中での移動量を０とするものである。
特開２００７−９６８２８号公報

ここで、特許文献１では、光学補正を行って撮影した画像中の被写体が何らかの理由でぶれていてもそのぶれを補正する手段について特に言及されていない。また、特許文献１の手法は、露光中の被写体の移動速度と撮像装置の角速度とが一定であるとみなして光学補正を行っている。しかしながら、実際には、露光中の被写体の移動速度や撮像装置の角速度は一定であるとは限らない。露光中に被写体の移動速度や撮像装置の角速度が変化してしまうと光学補正の際に補正量の演算に誤差が生じるおそれがある。

本発明は、上記の事情に鑑みてなされたもので、被写体の移動速度或いは撮像装置の角速度が一定でなくとも確実に被写体ぶれの無いような流し撮りを行うことができる撮像装置を提供することを目的とする。

上記の目的を達成するために、本発明の第１の形態の撮像装置は、受光面を有し、光学系を介して前記受光面に結像された像に基づく画像を生成する撮像手段と、前記画像内の主要被写体を検出する主要被写体検出手段と、所定のタイミングにおいて前記撮像手段で生成された画像における主要被写体と前記所定のタイミングに先行するタイミングにおいて前記撮像手段で生成された画像における主要被写体との間のずれ量を検出するずれ量検出手段と、前記検出されたずれ量の時間変化量に基づき、前記所定のタイミングにおいて前記撮像手段で生成された画像における主要被写体と前記所定のタイミングに後行するタイミングにおいて前記撮像手段で生成される画像における前記主要被写体との間でのずれ量を予測するずれ量予測手段と、前記予測されたずれ量を相殺するように前記光学系をシフトさせる光学補正手段とを具備することを特徴とする。

本発明によれば、被写体の移動速度或いは撮像装置の角速度が一定でなくとも確実に被写体ぶれの無いような流し撮りを行うことができる撮像装置を提供することができる。

以下、図面を参照して本発明の実施形態を説明する。
［第１の実施形態］
図１は、本発明の第１の実施形態に係る撮像装置の構成を示すブロック図である。図１に示す撮像装置は、撮影光学系１０１と、補正光学系１０２と、撮像素子１０３と、アナログ処理部１０４と、画像メモリ１０５と、主要被写体検出部１０６と、ずれ量検出部１０７と、ずれ量予測部１０８と、ジャイロセンサ１０９と、光学補正量演算部１１０と、光学補正部１１１と、画像処理部１１２と、ディスプレイ１１３と、圧縮伸張部１１４と、メモリカード１１５と、ＣＰＵ１１６と、操作スイッチ１１７とを有している。

撮影光学系１０１は、図示しない被写体からの光を撮像素子１０３の受光面上に結像させる。補正光学系１０２は、撮影光学系１０１の光軸に垂直な平面内を移動可能に構成されている。この補正光学系１０２は、露光時に移動される。補正光学系１０２を移動させることにより、露光時において撮像素子１０３の受光面上に結像される被写体像のぶれが補正される。

撮像素子１０３は、被写体像が結像される受光面を有し、この受光面上に結像した被写体像を電気信号（画像信号）に変換する。アナログ処理部１０４は、撮像素子１０３において得られた画像信号に対して種々のアナログ処理を行った後で、アナログ処理後の画像信号をデジタルの画像信号（画像データ）に変換する。画像メモリ１０５は、アナログ処理部１０４で得られた画像データを記憶する。ここで、画像メモリ１０５は、少なくとも２フレームの画像データを記憶できるだけの容量を有している。この２フレームの画像データは、所定のタイミングである現フレームにおいて得られる画像データと現フレームに対して時間的に先行する先行フレームにおいて得られる画像データである。

主要被写体検出部１０６は、画像メモリ１０５に記憶されている２フレームの画像データにおける主要被写体の位置をそれぞれ検出する。主要被写体の位置検出は、画像データ中の高周波成分（輪郭成分）を検出する等の周知の手法を用いることが可能である。

ずれ量検出部１０７は、先行フレームの画像データと現フレームの画像データにおける主要被写体の動きベクトル（主要被写体のずれ量とずれ方向）を算出する。単位時間（例えば１フレーム間隔）毎の動きベクトルを順次求めていくことにより、各フレームにおける主要被写体の移動速度を求めることができる。ずれ量予測部１０８は、ずれ量検出部１０７で検出された動きベクトルの時間変化量、即ち各フレームにおける主要被写体の加速度から、現フレームと現フレームに対して時間的に後行する後行フレームとの間の被写体の動きベクトルを予測する。

ジャイロセンサ１０９は、撮像装置の角速度を検出する。ここで検出される角速度は手振れ補正の際に用いられる。光学補正量演算部１１０は、手ぶれ補正時若しくは流し撮りモード時の被写体像ぶれを補正するためのシフト量としての補正ベクトルを演算する。光学補正部１１１は、光学補正量演算部１１０で算出された補正ベクトルに応じて補正光学系１０２を撮影光学系１０１の光軸に垂直な平面内でシフトさせる光学補正を行う。

画像処理部１１２は、画像メモリ１０５に記憶されている画像データに種々の画像処理を施す。ディスプレイ１１３は、画像処理部１１２において処理された画像データに基づいて画像表示を行う。圧縮伸張部１１４は、画像処理部１１２において処理された画像データを圧縮する。記録手段としてのメモリカード１１５には、圧縮伸張部１１４で圧縮された画像データが記録される。

ＣＰＵ１１６は、撮像装置の全体の動作を制御する。このＣＰＵ１１６は、ユーザによって操作スイッチ１１７の操作がなされた場合に、その操作内容に応じた各種の処理を実行する。また、ＣＰＵ１１６は、記録制御手段としての機能も有している。即ち、ＣＰＵ１１６は、画像メモリ１０５に記憶されている画像データにおける主要被写体が像ぶれしているかを判定し、被写体像ぶれが許容できないレベルの場合には、画像データをメモリカード１１５に記録せず、被写体像ぶれが許容できるレベルとなった時点で画像データをメモリカード１１５に記録させるように制御する。

以下、図１の撮像装置の動作について説明する。図２は、図１の撮像装置による流し撮りモード時の撮影動作について示したフローチャートである。なお、流し撮りモードは、例えばユーザによる操作スイッチ１１７の操作がなされた場合に設定される。また、所定期間、ジャイロセンサ１０９で検出される角速度が一定であった場合に、自動的に流し撮りモードに設定されるようにしても良い。

流し撮りモード中に、ユーザによる操作スイッチ１１７の操作によってシャッタレリーズがなされた場合、ＣＰＵ１１６は、図示しないシャッタを開放して撮像素子１０３の露光を実行する（ステップＳ１）。撮像素子１０３を介して得られる画像データは画像メモリ１０５に記憶される（ステップＳ２）。露光の終了後、ＣＰＵ１１６は、先行フレームの画像データが既に画像メモリ１０５に記憶されているかを判定する（ステップＳ３）。ステップＳ３の判定において、先行フレームの画像データが画像メモリ１０５に記憶されていない場合には、処理がステップＳ１に戻る。この場合に、ＣＰＵ１１６は、次の露光を実行する。

また、ステップＳ３の判定において、先行フレームの画像データが既に画像メモリ１０５に記憶されている場合に、ＣＰＵ１１６は、画像メモリ１０５から現フレームと先行フレームとの２フレームの画像データを読み出して主要被写体検出部１０６に送り、ずれ量予測部１０８による被写体の動き予測を実行させる（ステップＳ４）。この動き予測の詳細については後述する。

ステップＳ４において、動き予測を実行させた後、ＣＰＵ１１６は、動き予測の際に算出される画像上での主要被写体の動きベクトルＣ_ｉ（添え字ｉは自然数）が所定の閾値以下であるか否かを判定する（ステップＳ５）。ステップＳ５の判定において、主要被写体の動きベクトルＣ_ｉが閾値を超えている場合には画像上での被写体像ぶれが許容できないレベルである。この場合、ＣＰＵ１１６は、光学補正量演算部１１０に、補正ベクトルｄ_ｉ＋１を演算させる（ステップＳ６）。その後、ＣＰＵ１１６は、光学補正部１１１により光学補正を実行させる（ステップＳ７）。

また、ステップＳ５の判定において、主要被写体の動きベクトルＣ_ｉが閾値以下となった場合には画像上での被写体像ぶれが許容レベルとなっている。この場合に、ＣＰＵ１１６は、撮像素子１０３を介して得られる画像を画像処理部１１２、圧縮伸張部１１４で処理した後、メモリカードに記録する（ステップＳ８）。その後にＣＰＵ１１６は、図２の処理を終了させる。

ここで、本実施形態における動きの予測について説明する。本実施形態の例では、初回と２回目以降とで異なる手法に基づいて予測を行う。

図３（ａ）は初回のずれ量予測の手法及びその後の補正ベクトル演算の手法について示した図である。ここで、図３（ａ）における時刻Ｔ_ｉ−１が上述の現フレームに対応している。また、時刻Ｔ_ｉが先行フレームに対応している。さらに、時刻Ｔ_ｉ＋１が後行フレームに対応している。また、図３（ａ）において、ａ_ｉ−１は時刻Ｔ_ｉ−１の時点での主要被写体の動きベクトルである。ｂ_ｉ−１は時刻Ｔ_ｉ−１の時点での撮像装置の動きベクトルである。Ｃ_ｉは時刻Ｔ_ｉの時点での画像上での主要被写体の動きベクトルである。

初回の動き予測は、２フレームの画像が画像メモリ１０５に格納された時点で行うことができる。まず、時刻Ｔ_ｉの時点での画像上での主要被写体の動きベクトルＣ_ｉを算出する。この動きベクトルＣ_ｉは、時刻Ｔ_ｉ−１において得られた画像における主要被写体と時刻Ｔ_ｉにおいて得られた画像における主要被写体とのずれ（ずれ量及びずれ方向）として算出できる。この画像上の動きベクトルＣ_ｉは、主要被写体と撮像装置の相対速度ベクトル、即ちａ_ｉ−１−ｂ_ｉ−１に等しくなる。

動きベクトルＣ_ｉを算出した後、動き予測を行う。初回は、主要被写体及び撮像装置が共に等速度運動をしていると考えて予測を行う。即ち、時刻Ｔ_ｉ−１、時刻Ｔ_ｉ、時刻Ｔ_ｉ＋１の間で、画像上での被写体の動きベクトルが変わらないと考える。したがって、予測される動きベクトルＣ_ｉ＋１はＣ_ｉ＋１＝Ｃ_ｉとなる。このような予測を行うことにより、画像上の被写体が時刻Ｔ_ｉ＋１の時点で図３（ａ）のＡ位置に移動すると予測される。

光学補正は、現フレームから後行フレームまでの間の画像上での主要被写体の移動を０とすれば良い。したがって、光学補正を行うための補正ベクトル（シフト量及びシフト方向）ｄ_ｉ＋１は、動きベクトルＣ_ｉ＋１の逆ベクトルとなる。即ち、初回の光学補正時に算出される補正ベクトルｄ_ｉ＋１は、
ｄ_ｉ＋１＝−Ｃ_ｉ （式１）
となる。時刻Ｔ_ｉから時刻Ｔ_ｉ＋１までに補正ベクトルｄ_ｉ＋１の分だけ補正光学系１０２のシフトを行う。この場合、時刻Ｔ_ｉから時刻Ｔ_ｉ＋１までに主要被写体又は撮像装置の速度が変わらなければ、時刻Ｔ_ｉ＋１において算出される画像上での被写体の動きベクトルが０となる。ただし、この初回の予測では、図３（ｂ）に示すような被写体の速度が時間的に変化する場合には、正しい予測結果を得ることができない。

図３（ｃ）は２回目以後の動き予測の手法及びその後の補正ベクトル演算の手法について示した図である。２回目以後は、画像上での主要被写体の動きベクトルの時間変化に基づいて動き予測を行う。ここで、図３（ｃ）は図３（ａ）の１フレーム後の状態を示している。即ち、図３（ｃ）の時刻Ｔ_ｉ−１が先行フレームに対応し、図３（ｃ）の時刻Ｔ_ｉが現フレームに対応し、図３（ｃ）のＴ_ｉ＋１が後行フレームに対応している。

まず、図３（ｃ）の時刻Ｔ_ｉ−１と時刻Ｔ_ｉとの間の画像上での主要被写体の動きベクトルＣ_ｉを算出する。ここで、図３（ｃ）の例では、時刻Ｔ_ｉ−１の時点で主要被写体の動きベクトルがａ_ｉ−１に、撮像装置の動きベクトルがｂ_ｉ−１に変化している。また、時刻Ｔ_ｉの時点で行われた光学補正によってｄ_ｉだけ補正光学系１０２をシフトさせている。この結果、画像上での主要被写体の移動速度が変化しており、動きベクトルＣ_ｉが０になっていない。

本実施形態の２回目以後の予測では、主要被写体又は撮像装置の加速度が一定であると考えて後行フレームにおける画像上での主要被写体の移動速度を算出する。ここで、画像上での主要被写体の加速度は、画像上での主要被写体の移動速度の時間変化量、即ち時刻Ｔ_ｉにおける画像上での主要被写体の動きベクトルＣ_ｉと時刻Ｔ_ｉ−１における画像上での主要被写体の動きベクトルＣ_ｉ−１との差として求めることが可能である。なお、本実施形態の２回目のように、時刻Ｔ_ｉ−１では光学補正が行われず、時刻Ｔ_ｉでは光学補正が行われた場合には、加速度α_ｉは、
α_ｉ＝(Ｃ_ｉ−ｄ_ｉ)−Ｃ_ｉ−１
となる。

このようにして加速度α_ｉを求めることにより、時刻Ｔ_ｉ＋１における画像上での主要被写体の移動速度を示す動きベクトルＣ_ｉ＋１は、
Ｃ_ｉ＋１＝（Ｃ_ｉ−ｄ_ｉ）＋α_ｉ＝（Ｃ_ｉ−ｄ_ｉ）＋｛（Ｃ_ｉ−ｄ_ｉ）−Ｃ_ｉ−１｝
＝−Ｃ_ｉ−１＋２×（Ｃ_ｉ−ｄ_ｉ）
と予測することができる。このような予測を行うことにより、画像上の被写体が時刻Ｔ_ｉ＋１の時点で図３（ｃ）のＢ位置に移動すると予測される。したがって、時刻Ｔ_ｉ＋１における補正ベクトルｄ_ｉ＋１は、
ｄ_ｉ＋１＝−Ｃ_ｉ＋１＝Ｃ_ｉ−１−２×（Ｃ_ｉ−ｄ_ｉ） （式２）
となる。このような予測に基づいて補正を行うことにより、主要被写体又は撮像装置の速度が変化しても正しく被写体像ぶれを補正することができる。

なお、３回目以後の予測においては、先行フレームに対応した時刻における画像上の主要被写体の動きベクトルＣ_ｉ−１が、光学補正がなされた状態での動きベクトルを示し、主要被写体と撮像装置との相対速度のみを示すものではなくなる。この場合には、前フレームにおける光学補正の影響を除去するために、時刻Ｔ_ｉ＋１における補正ベクトルｄ_ｉ＋１を、
ｄ_ｉ＋１＝（Ｃ_ｉ−１−ｄ_ｉ−１）−２×（Ｃ_ｉ−ｄ_ｉ） （式３）
より求める。

図４は、上述したような考え方に基づく補正ベクトル演算処理について示したフローチャートである。補正ベクトル演算処理において、光学補正量演算部１１０は、先行フレームにおいて光学補正を実施したか否かを判定する（ステップＳ１１）。ステップＳ１１の判定において、先行フレームにおいて光学補正を実施していない場合、例えば初回の補正時や先行フレームにおいて被写体像ぶれがなかった場合に、光学補正量演算部１１０は、補正ベクトルｄ_ｉ＋１を（式１）により算出する（ステップＳ１２）。

また、ステップＳ１１の判定において、先行フレームにおいて光学補正を実施していた場合に、光学補正量演算部１１０は、先行フレームの画像上の被写体の動きベクトルＣ_ｉ−１が光学補正を行わなかったフレームの動きベクトルであるか否かを判定する（ステップＳ１３）。ステップＳ１３の判定において、動きベクトルＣ_ｉ−１が光学補正を行わなかったフレームの動きベクトルである場合に、光学補正量演算部１１０は、補正ベクトルｄ_ｉ＋１を（式２）により算出する（ステップＳ１４）。一方、ステップＳ１３の判定において、動きベクトルＣ_ｉ−１が光学補正を行わなかったフレームの動きベクトルでない場合に、光学補正量演算部１１０は、補正ベクトルｄ_ｉ＋１を（式３）により算出する（ステップＳ１５）。

以上説明したように、本実施形態によれば、主要被写体又は撮像装置の加速度が微小時間内で一定であれば、従来よりも高精度に主要被写体の動き予測を行うことができる。

また、本実施形態では、画像上での主要被写体の動きベクトルを評価し、該主要被写体の動きベクトルが閾値となるまで画像の記録を行わない。したがって、失敗写真が撮影される可能性を低減することができる。

ここで、上述した例では、２回目以後の予測の際に加速度を用いた予測を行っているが、１回目の予測の際に加速度を用いた予測を行うようにしても良い。

［第２の実施形態］
次に本発明の第２の実施形態について説明する。第２の実施形態は、予め主要被写体の候補の画像をテンプレートとして記憶させておくことで、主要被写体の誤検出を防止するものである。

図５は、第２の実施形態における主要被写体検出部及びずれ量検出部の構成を示すブロック図である。なお、第２の実施形態において、主要被写体検出部及びずれ量検出部以外の構成は第１の実施形態と同様である。

第２の実施形態における主要被写体検出部１０６は、パターンマッチング部１０６ａと、テンプレート記憶部１０６ｂとを有している。

パターンマッチング部１０６ａは、画像メモリ１０５から入力されてくる画像とテンプレート記憶部１０６ｂに記憶されているテンプレート画像とのパターンマッチングを行うことにより、画像メモリ１０５から入力されてくる画像中の主要被写体を検出する。標準画像記憶手段としての機能を有するテンプレート記憶部１０６ｂは、主要被写体の候補となりうるテンプレート画像（例えば、人の顔等）を記憶している。

ずれ量検出部１０７は、被写体動き算出部１０７ａと、先行フレーム被写体位置記憶部１０７ｂとを有している。被写体動き算出部１０７ａは、先行フレームにおける主要被写体と現フレームにおける主要被写体との間のずれ量を算出する。先行フレーム被写体位置記憶部１０７ｂは、パターンマッチング部１０６ａにおいて検出される主要被写体の位置を逐次記憶していく。

以下、図５の撮像装置の動作について説明する。先行フレームｉ−１の画像データが画像メモリ１０５に記憶されると、この画像データは主要被写体検出部１０６のパターンマッチング部１０６ａに送られる。パターンマッチング部１０６ａは、図６に示すように、テンプレート記憶部１０６ｂに記憶されているテンプレート画像２０１と、先行フレームｉ−１の画像データとのテンプレートマッチングを行い、主要被写体の位置Ｐ（ｘ_ｉ−１，ｙ_ｉ−１）を検出する。その後、パターンマッチング部１０６ａは、検出した主要被写体の位置Ｐ（ｘ_ｉ−１，ｙ_ｉ−１）をずれ量検出部１０７の先行フレーム被写体位置記憶部１０７ｂに記憶させる。

先行フレームｉ−１に続く現フレームｉの画像データが画像メモリ１０５に記憶されると、この画像データは主要被写体検出部１０６のパターンマッチング部１０６ａに送られる。パターンマッチング部１０６ａは、図６に示すように、テンプレート記憶部１０６ｂに記憶されているテンプレート画像２０１と、現フレームｉの画像データとのテンプレートマッチングを行い、主要被写体の位置Ｐ（ｘ_ｉ，ｙ_ｉ）を検出する。その後、パターンマッチング部１０６ａは、検出した主要被写体の位置Ｐ（ｘ_ｉ，ｙ_ｉ）をずれ量検出部１０７の被写体動き算出部１０７ａに送る。被写体動き算出部１０７ａは、先行フレームの被写体位置Ｐ（ｘ_ｉ−１，ｙ_ｉ−１）を読み出し、この読み出した被写体位置Ｐ（ｘ_ｉ−１，ｙ_ｉ−１）とパターンマッチング部１０６ａから送られてきた現フレームにおける主要被写体の位置Ｐ（ｘ_ｉ，ｙ_ｉ）との差から現フレームｉの時点での画像上での主要被写体の動きベクトルＣ（ｘ_ｉ−ｘ_ｉ−１，ｙ_ｉ−ｙ_ｉ−１）を算出する。動きベクトルの算出後、被写体動き算出部１０７ａは、算出した動きベクトルＣをずれ量予測部１０８に送る。その後の動き予測は第１の実施形態と同様にして行われる。

また、パターンマッチング部１０６ａによって検出された現フレームにおける主要被写体の位置Ｐ（ｘ_ｉ，ｙ_ｉ）は先行フレーム被写体位置記憶部１０７ｂにも送られている。動きベクトルの算出後、先行フレーム被写体位置記憶部１０７ｂに記憶されている主要被写体の位置が主要被写体の位置Ｐ（ｘ_ｉ，ｙ_ｉ）に上書きされる。

以上説明したように、第２の実施形態によれば、予め主要被写体の候補となる画像をテンプレート画像として記憶しておくことにより、主要被写体の誤検出の可能性を低減することが可能である。

［第３の実施形態］
次に本発明の第３の実施形態について説明する。第３の実施形態は、画像内の高周波成分を主要被写体として検出する点については第１の実施形態と同様である。第３の実施形態は、ずれ量検出部の構成を動画圧縮の回路と兼用できるようにしたものである。

図７は、第３の実施形態におけるずれ量検出部及び圧縮伸長部の構成を示すブロック図である。なお、第３の実施形態においては、主要被写体検出部１０６を省略できる。

第３の実施形態におけるずれ量検出部１０７は、被写体動き算出部１０７ａと、ＤＣＴ部１０７ｃと、先行フレーム記憶部１０７ｄと、ブロック動き算出部１０７ｅとを有している。また、圧縮伸張部１１４は、量子化部１１４ａと、可変長符号化部１１４ｂと、逆量子化部１１４ｃと、逆ＤＣＴ部１１４ｄとを有している。

ここで、本実施形態においては、ＤＣＴ部１０７ｃ、先行フレーム記憶部１０７ｄ、ブロック動き算出部１０７ｅがずれ量検出部１０７と圧縮伸張部１１４とで兼用される。ＤＣＴ部１０７ｃ、先行フレーム記憶部１０７ｄ、ブロック動き算出部１０７ｅをずれ量検出部１０７と圧縮伸張部１１４の何れで使用するかはスイッチ１０７ｆ、スイッチ１０７ｇによって切り替える。

以下、図７の撮像装置の動作について説明する。
流し撮り時のずれ量算出の際には、スイッチ１０７ｆを閉、スイッチ１０７ｇを開とする。この状態で、画像メモリ１０５からの現フレームｉの画像データはＤＣＴ部１０７ｃに入力される。ＤＣＴ部１０７ｃは、入力された画像データを所定画素数毎のブロック（一般には８画素×８画素）に分割し、分割した各ブロックの画像データに離散コサイン変換（ＤＣＴ）を施してその結果を量子化部１１４ａに出力する。量子化部１１４ａは、ＤＣＴされた画像データを所定の量子化行列に従って量子化する。その後、量子化した画像データを逆量子化部１１４ｃに送る。

逆量子化部１１４ｃは、量子化された画像データを逆量子化して量子化前の画像データを復元する。その後、逆ＤＣＴ部１１４ｄは、逆量子化部１１４ｃによって復元された量子化前の画像データに、逆ＤＣＴを施してＤＣＴ前の画像データを復元する。そして、逆ＤＣＴ部１１４ｄは、復元したＤＣＴ前の画像データを先行フレーム記憶部１０７ｄに記憶させる。

現フレームｉに続く後行フレームｉ＋１の画像データも現フレームｉのときと同様にして逆ＤＣＴが施される。２フレームの画像データが揃った時点でブロック動き算出部１０７ｅは、図８に示すように、現フレームｉと後行フレームｉ＋１のブロック毎の動きベクトルを算出する。その後、被写体動き算出部１０７ａは、ＤＣＴ部１０７ｃにおけるＤＣＴの結果から空間周波数が高いブロックを主要被写体の存在するブロックとして抽出し、該ブロックの動きベクトルをブロック動き算出部１０７ｅで算出されたブロック毎の動きベクトルから求める。主要被写体の動きベクトルの算出後、被写体動き算出部１０７ａは、算出した動きベクトルＣをずれ量予測部１０８に送る。その後の動き予測は第１の実施形態と同様にして行われる。

また、動画圧縮時には、スイッチ１０７ｆを開、スイッチ１０７ｇを閉とする。この状態で、画像メモリ１０５からの現フレームｉの画像データはＤＣＴ部１０７ｃに入力される。ＤＣＴ部１０７ｃは、入力された画像データを所定画素数毎のブロック（一般には８画素×８画素）に分割し、分割した各ブロックの画像データに離散コサイン変換（ＤＣＴ）を施してその結果を量子化部１１４ａに出力する。量子化部１１４ａは、ＤＣＴされた画像データを所定の量子化行列に従って量子化する。その後、量子化した画像データを可変長符号化部１１４ｂと逆量子化部１１４ｃに送る。可変長符号化部１１４ｂは、量子化部１１４ａから送られてきた画像データを、ハフマン符号化等の可変長符号化を用いて圧縮する。

また、逆量子化部１１４ｃは、量子化された画像データを逆量子化して量子化前の画像データを復元する。その後、逆ＤＣＴ部１１４ｄは、逆量子化部１１４ｃによって復元された量子化前の画像データに、逆ＤＣＴを施してＤＣＴ前の画像データを復元する。そして、逆ＤＣＴ部１１４ｄは、復元したＤＣＴ前の画像データを先行フレーム記憶部１０７ｄに記憶させる。

現フレームｉに続く後行フレームｉ＋１の画像データの圧縮時には、後行フレームｉ＋１の画像データと先行フレーム記憶部１０７ｄに記憶された現フレームｉの画像データとの差分がＤＣＴ部１０７ｃに入力される。ＤＣＴ部１０７ｃは、この差分データに対してＤＣＴを施す。その後は、この差分データに対して、量子化、可変長符号化が施される。

以上説明したように、第３の実施形態によれば、主要被写体検出部と動画の圧縮部とを共用することが可能である。したがって、動画圧縮回路を持つデジタルカメラにおいては、少ない回路リソースで流し撮り時の被写体ぶれを軽減することが可能である。

ここで、一般に、流し撮り時に流れている背景は水平方向の高い空間周波数成分を殆ど持たないので、水平方向の空間周波数成分のみに着目して主要被写体の検出を行っても良い。

以上実施形態に基づいて本発明を説明したが、本発明は上述した実施形態に限定されるものではなく、本発明の要旨の範囲内で種々の変形や応用が可能なことは勿論である。

さらに、上記した実施形態には種々の段階の発明が含まれており、開示される複数の構成要件の適当な組合せにより種々の発明が抽出され得る。例えば、実施形態に示される全構成要件からいくつかの構成要件が削除されても、上述したような課題を解決でき、上述したような効果が得られる場合には、この構成要件が削除された構成も発明として抽出され得る。

本発明の第１の実施形態に係る撮像装置の構成を示すブロック図である。 図１の撮像装置による流し撮りモード時の撮影動作について示したフローチャートである。 ずれ量予測及び光学補正について説明するための図である。 補正ベクトル演算処理について示したフローチャートである。 本発明の第２の実施形態における主要被写体検出部及びずれ量検出部の構成を示すブロック図である。 第２の実施形態における主要被写体検出について示した図である。 本発明の第３の実施形態におけるずれ量検出部及び圧縮伸長部の構成を示すブロック図である。 第３の実施形態における主要被写体検出について示した図である。

符号の説明

１０１…撮影光学系、１０２…補正光学系、１０３…撮像素子、１０４…アナログ処理部、１０５…画像メモリ、１０６…主要被写体検出部、１０７…ずれ量検出部、１０８…ずれ量予測部、１０９…ジャイロセンサ、１１０…光学補正量演算部、１１１…光学補正部、１１２…画像処理部、１１３…ディスプレイ、１１４…圧縮伸張部、１１５…メモリカード、１１６…ＣＰＵ、１１７…操作スイッチ

Claims (7)

1. 受光面を有し、光学系を介して前記受光面に結像された像に基づく画像を生成する撮像手段と、
   前記画像内の主要被写体を検出する主要被写体検出手段と、
   所定のタイミングにおいて前記撮像手段で生成された画像における主要被写体と前記所定のタイミングに先行するタイミングにおいて前記撮像手段で生成された画像における主要被写体との間のずれ量を検出するずれ量検出手段と、
   前記検出されたずれ量の時間変化量に基づき、前記所定のタイミングにおいて前記撮像手段で生成された画像における主要被写体と前記所定のタイミングに後行するタイミングにおいて前記撮像手段で生成される画像における前記主要被写体との間でのずれ量を予測するずれ量予測手段と、
   前記予測されたずれ量を相殺するように前記光学系をシフトさせる光学補正手段と、
   を具備することを特徴とする撮像装置。
2. 前記ずれ量検出手段により検出されたずれ量が閾値以下になるまで、前記ずれ量予測手段による前記予測と前記光学補正手段による前記光学系のシフトとを実行させるように制御する制御手段をさらに具備することを特徴とする請求項１に記載の撮像装置。
3. 前記撮像手段で生成された画像を記録する記録手段と、
   前記ずれ量検出手段により検出されたずれ量が前記閾値を超えている間は、前記記録手段への画像の記録を停止し、前記ずれ量検出手段により検出されたずれ量が前記閾値以下となったときに前記記録手段に画像を記録するように制御する記録制御手段と、
   をさらに具備することを特徴とする請求項２に記載の撮像装置。
4. 前記ずれ量予測手段は、前記ずれ量検出手段で検出されたずれ量の時間変化量と前記所定のタイミングにおけるずれ量とから、前記ずれ量を予測することを特徴とする請求項１乃至３の何れか１項に記載の撮像装置。
5. 前記主要被写体検出手段は、
   前記主要被写体の標準画像を記憶する標準画像記憶手段と、
   前記主要被写体の標準画像を用いて前記画像における主要被写体の位置を検出する主要被写体位置検出手段と、
   を有することを特徴とする請求項１乃至４の何れか１項に記載の撮像装置。
6. 前記主要被写体検出手段は、
   前記画像を複数のブロックに分割し、分割したブロック毎の空間周波数を算出する空間周波数算出手段と、
   前記算出した空間周波数の中で最も高い空間周波数を有するブロックを前記主要被写体と予測する主要被写体予測手段と、
   を有し、
   前記ずれ量検出手段は、前記所定のタイミングにおいて前記撮像手段で生成された画像の中で前記主要被写体として検出されたブロックと前記所定のタイミングに先行するタイミングにおいて前記撮像手段で生成された画像の中で前記主要被写体として検出されたブロックとの位置の時間変化量から、前記ずれ量の時間変化量を求めることを特徴とする請求項１乃至４の何れか１項に記載の撮像装置。
7. 前記ずれ量検出手段において算出されたずれ量に基づいて前記撮像手段で生成された画像を圧縮する動画圧縮手段をさらに具備することを特徴とする請求項１乃至４、６の何れか１項に記載の撮像装置。

Images