JP2007201774A - 移動方向検出装置、および撮像装置 - Google Patents

Abstract

【課題】被写体の移動方向を検出すること。
【解決手段】制御回路５は、レンズ駆動回路３を制御して、撮影レンズ２に内蔵される手ぶれ補正光学系を同一直線上の異なる向きに移動させて撮像素子上における被写体の位置を移動させる。そして、このときに撮像した画像に基づいて、画像内に存在する被写体の移動方向を検出する。
【選択図】図１

Description

本発明は、移動方向検出装置、および移動方向検出装置を搭載した撮像装置に関する。

次のような画像処理装置が特許文献１によって知られている。この画像処理装置は、異なる時間に撮像された複数フレームの画像に対してパターンマッチング処理を行い、移動する被写体像の動きベクトルを算出する。そして算出した動きベクトルを用いて、画像内の被写体像の移動方向を判定する。

特開平９−１９０５３４号公報

しかしながら、従来の画像処理装置においては、異なる時間に撮像された複数フレームの画像に基づいて動きベクトルを算出するため、画像内の被写体像の動き方によっては、移動方向を正確に判定することができない可能性があるという問題が生じていた。

本発明は、被写体像を撮像する撮像素子と、被写体像を撮像素子上で移動させる移動手段と、移動手段で被写体像を撮像素子上で移動させながら、撮像素子で撮像する制御手段と、制御手段で制御されて撮像素子で撮像された被写体像に基づいて、被写体の移動方向を検出する検出手段とを備えることを特徴とする。
このとき、被写体像を撮像素子上で異なる方向に交互に３回以上の奇数回動かすことが好ましい。
また、撮像素子上での被写体像の移動に伴う、被写体像の変化に基づいて被写体の移動方向を検出することが好ましく、このために、被写体像の明るさ分布に基づいて被写体の移動方向を検出してもよく、明るさが異なる複数の領域を含む被写体像に対して、複数の領域のそれぞれの面積を算出し、算出した各領域の面積に基づいて被写体の移動方向を検出してもよい。
さらに、垂直方向および水平方向の少なくともいずれか一方に撮像素子上で被写体像を移動させてもよく、手ぶれ補正光学系または撮像素子を駆動させて撮像素子上で被写体像を移動させるようにしてもよい。
このとき、撮像時の手ぶれ量を検出し、検出した手ぶれ量を加味して手ぶれ補正光学系または撮像素子の駆動量を決定することが好ましい。

本発明によれば、画像内の被写体の動き方に関わらず、被写体の移動方向を正確に判定することができる。

図１は、本実施の形態における移動方向検出装置として撮像装置（カメラ）を用いた場合の一実施の形態の構成を示すブロック図である。撮像装置１００は、撮像素子１と、撮影レンズ２と、レンズ駆動回路３と、制御回路５と、操作部材７と、撮像素子駆動回路８と、信号処理回路９と、データ処理回路１０と、圧縮／伸張回路１１と、モニタ１３と、表示制御回路１４と、測光回路１５と、振れ検出センサ１６とを有し、さらに記録媒体１２が設けられている。記録媒体１２は、メモリカード、小型ハードディスク、ＤＶＤなどの光ディスクなどで構成される。記録媒体１２は、撮像装置１００に内蔵されるものであっても、着脱可能に装着されるものであってもよい。また、撮像装置１００の外部に設けられるものであってもよい。その場合、記録媒体１２と撮像装置１００とは有線または無線で電気的に接続される。

撮影レンズ２は撮影光学系を構成する複数枚数のレンズ群で構成され、撮像素子１の撮像面上に被写体像を結像させる。撮影レンズ２は不図示のフォーカスレンズを含み、レンズ駆動回路３がフォーカスレンズを光軸方向に進退駆動することにより、撮影レンズ２のフォーカス調節が行われる。また、撮影レンズ２は不図示のズームレンズを含み、レンズ駆動回路３がズームレンズを光軸方向に進退駆動することにより、撮影レンズ２のズーム調節が行われる。レンズ駆動回路３は、制御回路５から出力されるレンズ駆動指令に応じてレンズ駆動信号を発生し、発生したレンズ駆動信号で不図示のレンズ駆動機構を駆動することにより、各レンズを移動させる。

撮像素子１は、静止画像の単写撮像とともに、静止画像の連続撮像、および動画像の撮像が可能である。撮像素子１は、例えばＣＣＤ撮像素子あるいはＣＭＯＳ型撮像素子などによって構成される。

撮像素子駆動回路８は、制御回路５から出力される指令に応じて所定タイミングの駆動信号を発生し、発生した駆動信号を撮像素子１へ供給する。撮像素子１は、供給された駆動信号によって電荷蓄積（撮像）や蓄積電荷の読み出しが制御される。制御回路５は、測光回路１５による被写体の測光データを用いて被写界の明るさの情報を求め、この明るさの情報に基づいて撮像素子１の電荷蓄積時間、撮影レンズ２の絞り、および撮像素子１より出力される画像信号の増幅度などを決定する。なお、被写界の明るさの情報は、撮像素子１から出力される信号から求める構成としてもよい。この場合には、撮像素子１が測光回路１５の機能を司る。

撮像素子１から読み出された画像信号は、信号処理回路９へ入力される。信号処理回路９は、制御回路５からの指令に応じて入力信号に対する増幅、直流再生、Ａ／Ｄ変換、ホワイトバランス、およびガンマ変換等の信号処理を施し、信号処理後のデータを画像データとしてデータ処理回路１０へ出力する。

データ処理回路１０は、制御回路５からの指令に応じて、信号処理回路９より出力された画像データを圧縮／伸張回路１１に出力するとともに、モニタ１３に再生画像を表示させるために必要な解像度変換（画素数変換）処理を画像データに施し、解像度変換処理後の画像データを表示制御回路１４へ出力する。なお、データ処理回路１０は、電子ズーム処理を行う際には、入力される画像データに対して解像度（画素数）変換処理を施して、圧縮／伸張回路１１および表示制御回路１４へそれぞれ出力する。

表示制御回路１４は、制御回路５からの指令に応じて、データ処理回路１０から入力される画像データに所定の信号処理を施してモニタ１３へ出力する。表示制御回路１４はさらに、上記画像データに撮影メニュー、カーソルなどのオーバーレイ画像データを重畳する処理を行う。これにより、オーバーレイ画像が重畳された被写体画像がモニタ１３に表示される。

圧縮/伸張回路１１は、制御回路５からの指令に応じて、データ処理回路１０から入力される画像データに所定の形式で圧縮処理を施し、圧縮後のデータを記録媒体１２へ記録する。撮影時に記録媒体１２へ画像データを記録する場合、記録する画像データに対応する再生画像がモニタ１３に表示される。なお、操作部材７で画像データの非圧縮での記録が指示された場合、圧縮／伸張回路１１は圧縮処理を行わず、記録媒体１２への記録が行われる。この場合にも、モニタ１３には記録する画像データに対応する再生画像が表示される。

また、本撮像装置１００は、記録媒体１２に記録されている画像データによる再生画像をモニタ１３に表示する（再生モード）ことも可能に構成される。この場合の圧縮/伸張回路１１は、制御回路５からの指令に応じて記録媒体１２に記録されている画像データを読み出し、読み出しデータに対して復号化処理を施した上で復号化後のデータをデータ処理回路１０へ送る。再生時にデータ処理回路１０が復号化データに解像度変換処理を施して表示制御回路１４へ出力することにより、再生画像がモニタ１３に表示される。なお、記録媒体１２に記録されている非圧縮の画像データが読み出された場合には、圧縮処理の逆処理である復号化処理は行われない。圧縮／伸張回路１１は、可逆圧縮（いわゆるロスレス符号化）を行うことも可能な構成となっている。

操作部材７はレリーズ釦を含み、操作内容に応じた操作信号を制御回路５へ出力する。制御回路５は、レリーズ釦の半押し操作に基づくレリーズ操作信号が操作部材７から入力されると、撮像素子１から読み出される画像信号の中で、撮像画面内にあらかじめ設定されているフォーカス検出領域に対応する信号を用いて周知のコントラスト方式のＡＦ（オートフォーカス）動作を行う。

具体的には、信号処理回路９によって信号処理された画像データのうち、フォーカス検出領域に対応するデータについての高周波数成分の積算値（いわゆる焦点評価値）を最大にするように、レンズ駆動指令（フォーカス調節信号）をレンズ駆動回路３へ送る。焦点評価値を最大にするフォーカスレンズの位置は、撮像素子１によって撮像される被写体像のエッジのぼけをなくし、画像のコントラストを最大にする（尖鋭度を高める）合焦位置である。なお、上記コントラスト方式のＡＦ動作に加えて、周知の瞳分割方式による位相差ＡＦ動作を行うように構成してもよい。

操作部材７はズーム操作部材も含む。制御回路５は、ズーム操作に基づくズーム操作信号が操作部材７から入力されると上述したレンズ駆動指令を発生し、レンズ駆動回路３にズームレンズを進退駆動させる。これにより、撮像素子１の撮像面上に結像される被写体像が拡大もしくは縮小し、光学的にズーム調節される。

制御回路５はさらに、ズーム操作に基づくズーム操作信号が操作部材７から入力されるとデータ処理回路１０へ指令を出力し、画像データに対する解像度変換処理の変換比率を操作信号に応じて変化させる。これにより、モニタ１３に表示される画像が拡大もしくは縮小し、電気的にズーム調節される（電子ズーム）。解像度変換比率は電子ズーム倍率に対応する。データ処理回路１０が電子ズーム倍率を高める方向に変換比率を変える場合、再生画像の一部が拡大されてモニタ１３に表示される（拡大率が上がる反面、再生画像の表示範囲は狭くなる）。反対に、データ処理回路１０が電子ズーム倍率を低くする方向に変換比率を変える場合、モニタ１３に表示される再生画像の拡大率が下がる反面、再生画像の表示範囲は広くなる。撮像素子１による撮影モードに設定されている場合、モニタ１３に表示されている画像に対応する撮影画像データを記録媒体１２に記録することができる。

振れ検出センサ１６は、例えば角速度センサ、ジャイロセンサ等で構成され、本撮像装置１００の筐体内に設けられ、筐体の振れを直交する２方向について検出する。振れセンサ１６は、操作部材７のレリーズ釦の操作に基づいて、筐体に振れが発生したときにこれを検知し、直交する２方向の振れ量データを制御回路５に出力する。制御回路５は、筐体の振れに伴う撮像素子１の撮像面上に結像される被写体像の移動が打ち消されるように、撮影レンズ２に内蔵される手ぶれ補正光学系を、レンズ駆動回路３を介して駆動する。これによって手ぶれ補正が実現される。

次に、撮像装置１００が撮影モードに設定されている場合に行うスルー画撮影動作と静止画本撮影動作と動画本撮影動作について説明する。スルー画撮影は、静止画本撮影の前段階として行われる予備撮影であり、静止画本撮影は、レリーズ釦の全押し操作信号（撮影指示）に応じて行われる撮影である。また、動画本撮影動作は、ＲＥＣ釦の操作信号（撮影、記録指示）に応じて行われる撮影である。

＜スルー画撮影動作＞
本実施形態の撮像装置１００は、静止画本撮影動作を行う際に、操作部材７からレリーズ釦の半押し操作に基づく半押し操作信号が制御回路５へ入力されると、上述したＡＦ動作を伴ったスルー画撮影動作を行う。スルー画撮影動作は、所定のフレームレートで繰り返し行われており、レリーズ釦の半押し操作中、スルー画撮影動作と並行して、上述したＡＦ動作が行われ、撮影されたスルー画像がモニタ１３に表示される。

制御回路５は、撮像素子駆動回路８へ指示を送り、スルー画撮影動作を実行するための駆動信号を出力させる。撮像素子１は、スルー画撮影動作のための駆動信号を受けて、例えば、３０フレーム／秒の高フレームレートで蓄積電荷を連続的に出力する。スルー画撮影用の露出条件は測光回路１５による測光データに基づいて決定される。信号処理回路９は、入力された信号に上述した信号処理を施すとともに、撮像素子１上において近傍に位置する同色画素(単板カラーの撮像素子の場合)の信号を加算し、後述する静止画本撮影時に比べて低解像度（低画素数）の映像信号としてデータ処理回路１０へ出力する。

データ処理回路１０が解像度変換処理を施した画像データを表示制御回路１４へ出力することにより、スルー画像がモニタ１３に表示される。これにより、撮影者は、これから本撮影しようとする被写界の状態をモニタ１３の画面で観察することができる。すなわち、スルー画撮影動作においては、撮像動作と表示動作が並行して行われる。

＜静止画本撮影動作＞
スルー画撮影動作に続いてレリーズ釦が全押し操作されると、全押し操作信号が制御回路５へ入力される。撮像装置１００は、全押し操作信号に応じて静止画本撮影動作を開始する。

制御回路５は、操作部材７（レリーズ釦）からの全押し操作信号を検出すると撮像素子駆動回路８へ指示を送り、本撮影動作を実行するための駆動信号を出力させる。撮像素子１は、静止画本撮影動作のための駆動信号を受けて、露出演算結果に基づく本撮影用の電荷蓄積を行って蓄積電荷を出力する。本撮影用の露出条件は、直近のスルー画データの信号値から得られる被写界の明るさ情報に基づいて決定される。信号処理回路９は入力された信号に上述した信号処理を施し、スルー画撮影時に比べて高解像度（高画素数）の画像データとしてデータ処理回路１０へ出力する。

データ処理回路１０が解像度変換処理を施した画像データを表示制御回路１４へ出力することにより、静止画本撮影画像がモニタ１３に表示される。また、圧縮／伸張回路１１によって圧縮処理された画像データが記録媒体１２へ記録される。

＜動画本撮影動作＞
次に動画本撮影動作について説明する。動画本撮影動作は、撮像素子１により撮影された動画像をモニタ１３に表示しつつ記録媒体１２に記録を行う撮影動作である。この動画本撮影動作は、操作部材７の一部であり、動画像の撮影を指示するＲＥＣ釦の操作がなされている間実行される。制御回路５は、操作部材７の一部を構成するＲＥＣ釦の押圧操作がなされると、前述の自動合焦動作を連続的に行うとともに、撮像素子１による動画本撮影動作を実行する。

なお、この場合の自動合焦動作は、画面内を移動する特定被写体に合焦動作が行われるように、特定被写体の追尾を行いつつ自動合焦動作を行うものであっても、所定の撮影距離の物体に常に合焦するように制御されるものであってもよい。また、特に合焦動作を行わず、操作部材７の一部を構成するフォーカス操作部材(焦点調整部材)のマニュアル操作によって、撮影者の意図によって合焦状態を変化させるものであってもよい。

制御回路５は、ＲＥＣ釦の押圧操作を検出すると、撮像素子駆動回路８に対して、動画本撮影動作を実行する駆動信号を出力するように指示する。撮像素子１は、動画本撮影動作のための駆動信号を受けて、例えば、３０フレーム／秒の高フレームレートで映像信号を連続的に出力する。このようにして撮像素子１から出力された映像信号は、信号処理回路９およびデータ処理回路１０で所定の処理が施された後、表示制御回路１４を介して順次モニタ１３に供給されるとともに、圧縮／伸張回路１１を介して記録媒体１２に記録される。

なお、操作部材７の操作によって記録媒体１２への非圧縮状態での記録が指示されている場合には、圧縮/伸張回路１１での圧縮処理は行われず、記録媒体１２への記録が行われる。また、記録媒体１２への記録動作を行うにあたり、操作部材７の操作により圧縮率を変更可能な構成としてもよい。

さらに、記録媒体１２には、上述の自動合焦動作において取得した撮影距離情報を、動画像を構成する複数の静止画フレームの各々に対応付けて、画像データとともに記録する。撮影者は、モニタ１３に表示された動画像を目視することにより、これから撮影される被写界の状態を確認するとともに、記録媒体１２に記録される画像を確認することができる。記録媒体１２に記録される動画像の１フレームの画素数は、モニタ１３の画素数より大きい。従って、本実施形態においては、モニタ１３への動画像の表示を行うに際して、モニタ１３の画素数に合わせるように解像度(画素数)の変換処理がデータ処理回路１０で行われる。

本実施の形態における撮像装置１００においては、制御回路５は、上述したスルー画撮影動作により撮影されるスルー画、静止画本撮影動作により撮影される静止画、および動画本撮影動作により撮影される動画のそれぞれを画像処理して、それぞれの画像内に写っている被写体の移動方向を検出する。すなわち、撮像素子１で結像された被写体像の実空間上での移動方向を検出する。なお、この検出処理は、スルー画、静止画、および動画の全ての撮像時において同様に行うことができるため、ここではスルー画撮影動作により撮影されるスルー画内の被写体の移動方向を検出する方法について詳細に説明し、静止画、動画の場合の処理については説明を省略する。

制御回路５は、スルー画撮影において、撮像素子１の電子シャッタが露光状態にあるときに、撮影レンズ２中に内蔵される手ぶれ補正光学系を同一直線上の異なる向きに所定の移動速度で移動させるようにレンズ駆動回路３を制御して画像を撮像（撮影）する。すなわち、手ぶれ補正光学系を同一直線上の異なる向きに所定の移動速度で移動させながらスルー画を撮像する。これによって、手ぶれ補正光学系の移動に伴って、撮像素子上の被写体像の位置を動かすことができる。

例えば、図２（Ａ）に示すように、被写界２ａ内を移動方向検出対象である被写体２ｂが上下に往復運動している場合を考える。なお、ここでは、説明の簡略化のため、被写界２ａ内の背景の色が白であり、被写体２ｂが黒い物体である場合について説明する。この場合、撮像素子１の電子シャッタが露光状態のときに撮像素子１の撮像面には電荷が蓄積されるので、被写体２ｂが被写界２ａ内を下方向へ移動している間に撮像装置１００を固定して撮像を行うと、図２（Ｂ）に示すようなぶれた画像が得られる。ここで、被写体２ｂのぶれ量２ｃは、電子シャッタが露光状態の間に被写体２ｂが被写界２ａ内で移動した量に相当する。

制御回路５は、この図２（Ａ）から図２（Ｂ）の間、すなわち電子シャッタが露光状態である間、手ぶれ補正光学系を上方向→下方向→上方向の順番に３回移動させて、被写体２ｂの像の撮像素子１の撮像面上における結像位置を上下方向に移動（シフト）させる。すなわち、手ぶれ補正光学系を上下方向に３回移動させて、撮像素子上で被写体２ｂの像を上下方向に３回移動させる。

例えば、被写体２ｂが被写界２ａ内を下方向へ移動しているときに手ぶれ補正光学系を上方向に移動させている間は、被写体２ｂの移動方向と手ぶれ補正光学系の移動方向が逆となる。このため、この間に撮像した画像のぶれ量は、図２（Ｂ）に示した手ぶれ補正光学系を移動させずに画像を撮像した場合のぶれ量２ｃよりも大きくなる。すなわち、このときに撮像される画像内において、被写体２ｂのぶれ量に相当する領域の面積は、図２（Ｂ）に示したぶれ量２ｃに相当する領域の面積よりも大きくなる。また、撮像される画像内におけるぶれ量に相当する領域の画像の明るさは、図２（Ｂ）に示したぶれ量２ｃに相当する領域の画像の明るさに比べて明るくなる。

一方、手ぶれ補正光学系を下方向に移動させている間は、被写体２ｂの移動方向と手ぶれ補正光学系の移動方向は同一となる。このため、この間に撮像した画像のぶれ量は、図２（Ｂ）に示したぶれ量２ｃよりも小さくなる。すなわち、このときに撮像される画像内において、被写体２ｂのぶれ量に相当する領域の面積は、図２（Ｂ）に示したぶれ量２ｃに相当する領域の面積よりも小さくなる。また、撮像される画像内におけるぶれ量に相当する領域の画像の明るさは、図２（Ｂ）に示したぶれ量２ｃに相当する領域の画像の明るさに比べて暗くなる。

図３は、被写界２ａ内を被写体２ｂが上下に往復運動している場合に、電子シャッタが露光状態である間、手ぶれ補正光学系を上方向→下方向→上方向の順番に３回移動させて撮像した画像の具体例を示す図である。なお、図３（Ａ）は、被写界２ａ内を被写体２ｂが上から下に向けて下方向に移動している場合に撮像した画像の具体例を示す図であり、図３（Ｂ）は、被写界２ａ内を被写体２ｂが下から上に向けて上方向に移動している場合に撮像した画像の具体例を示す図である。

図３（Ａ）に示す例では、まず、手ぶれ補正光学系を上方向に移動させたときに被写体２ｂのぶれに伴って領域３ａが撮像され、次に手ぶれ補正光学系を下方向に移動させたときに被写体２ｂのぶれに伴って領域３ｂが撮像され、再度、手ぶれ補正光学系を上方向に移動させたときに被写体２ｂのぶれに伴って領域３ｃが撮像されている。また、この図３（Ａ）においては、領域内の色が画像の明るさを表しており、色が濃い領域は明るさが暗い領域、色が薄い領域は明るさが明るい領域をそれぞれ示している。すなわち、領域３ａおよび３ｃは明るさが明るい領域であり、領域３ｂは明るさが暗い領域であることを示している。

一方、図３（Ｂ）に示す例では、まず、手ぶれ補正光学系を上方向に移動させたときに被写体２ｂのぶれに伴って領域３ｆが撮像され、次に手ぶれ補正光学系を下方向に移動させたときに被写体２ｂのぶれに伴って領域３ｅが撮像され、再度、手ぶれ補正光学系を上方向に移動させたときに被写体２ｂのぶれに伴って領域３ｄが撮像されている。この図３（Ｂ）においても、図３（Ａ）の場合と同様に、領域内の色で画像の明るさを表している。すなわち、領域３ｅは明るさが明るい領域であり、領域３ｄおよび領域ｆは明るさが暗い領域であることを示している。

このように、被写界２ａ内を被写体２ｂが上下に往復運動している場合に、電子シャッタが露光状態である間、手ぶれ補正光学系を上方向→下方向→上方向の順番に３回移動させて撮像した画像においては、被写体２ｂの移動方向によって明るい領域と暗い領域の並び順（配列）が異なる。制御回路５は、このことを加味して、手ぶれ補正光学系を上方向→下方向→上方向の順番に３回移動させて撮像した画像の明るさ分布に基づいて、被写界２ａ内に存在する被写体２ｂの移動方向を検出する。

すなわち、制御回路５は、手ぶれ補正光学系を上方向→下方向→上方向の順番に３回移動させて撮像した画像を画像処理して、上述した明るい領域と暗い領域の並び順を判定する。その結果、画像の上部から明るい領域→暗い領域→明るい領域の順に並んでいる場合には、その画像内に写っている被写体２ｂは被写界２ａ内を上から下へ移動している、すなわち下方向へ移動していると判定する。これに対して、画像の上部から暗い領域→明るい領域→暗い領域の順に並んでいる場合には、その画像内に写っている被写体２ｂは被写界２ａ内を下から上へ移動している、すなわち上方向へ移動していると判定する。

なお、ここでは画像内における明るい領域と暗い領域の並び順に基づいて被写体２ｂの移動方向を判定するようにして、手ぶれ補正光学系を移動させたことに伴う移動方向の検出対象である被写体の画像の変化に基づいて、被写体の実空間上での移動方向を検出するようにした。しかし、上述したように、被写体２ｂの移動方向によって画像内における明るい領域と暗い領域の面積も異なることから、この面積を用いて被写体２ｂの移動方向を判定することも可能である。また、物体が移動していない場合には、撮像した画像には物体の移動に伴う明るい領域、暗い領域はあらわれない。

以上の処理によって制御回路５は、被写界２ａ内を上方向、または下方向に移動している被写体２ｂの移動方向を検出することができる。なお、上述した説明では、制御回路５は、手ぶれ補正光学系を上方向→下方向→上方向の順番に３回移動させる例について説明したが、下方向→上方向→下方向の順番に３回移動させてもよい。この場合、図３（Ａ）および（Ｂ）における暗い領域と明るい領域の並び順が逆になるので、制御回路５はその点を加味して被写体２ｂの移動方向を検出すればよい。

また、上述した処理において、手ぶれ補正光学系を上方向→下方向→上方向（または下方向→上方向→下方向）の順番に３回移動させるのは以下の理由による。すなわち、手ぶれ補正光学系を上方向または下方向へ１回だけ移動させただけでは、単なる被写体２ｂのぼけ画像が撮像されるだけで被写体２ｂがどの方向へ移動しているのかを検出できない。

また、手ぶれ補正光学系を上方向→下方向（または下方向→上方向）の順に２回移動させた場合には、図４に示すように、被写体２ｂが下方向に向かって移動しているときに撮像される画像（図４（Ａ））と、被写体２ｂが上方向に向かって移動しているときに撮像される画像（図４（Ｂ））との間で、暗い領域と明るい領域との順番が同一になり、制御回路５は被写体２ｂがいずれの方向に移動しているかを検出できないためである。

なお、上述した説明では、制御回路５は、手ぶれ補正光学系を上方向→下方向→上方向の順番に３回移動させて、被写界２ａ内を上下に往復運動している被写体２ｂの移動方向を検出する場合の処理について説明したが、被写体２ｂがその他の方向に移動している場合であっても同様に処理することができる。

例えば、被写体２ｂが斜め方向に移動している場合には、上述した処理によって、被写体２ｂが上方向または下方向のいずれの方向に移動成分を有しているかを検出することができ、さらに上述した暗い領域と明るい領域とが連続する方向を判定することで、その移動方向を判定することができる。すなわち、被写体２ｂの移動方向が下方向で、暗い領域と明るい領域とが被写界２ａの水平方向に対して４５度の角度をなして連続している場合には、被写体２ｂは、被写界２ａ内で水平方向に対して４５度下向きに移動していると検出することができる。

なお、被写体２ｂが被写界２ａ内で水平方向（左右方向）に移動している場合には、手ぶれ補正光学系を上方向→下方向→上方向の順番に３回移動させて画像を撮像しても、手ぶれ補正光学系をそれぞれの方向に移動させて撮像した画像内で被写体２ｂのぶれ量に相当する領域に明るさの変化は発生しない。よって、被写体２ｂの左右の移動方向も検出できるように、手ぶれ補正光学系を右方向→左方向→右方向（または左方向→右方向→左方向）の順番に３回移動させて撮像した画像も用いて上述した処理を行うようにしてもよい。これによって、被写界２ａ内を左方向または右後方に移動している被写体２ｂの移動方向も検出することができる。

このように、手ぶれ補正光学系を上下方向、左右方向の直行する２方向にそれぞれに各３回ずつ移動させた画像を用いることによって、被写界２ａ内で移動する被写体２ｂの移動方向を精度高く検出することが可能となる。

また、本実施の形態では、上述したように手ぶれ補正光学系を上下方向、左右方向の直行する２方向に動かしながら画像を撮像し、撮像された画像における被写体２ｂのぼけ量に相当する領域の明るさに応じて被写体２ｂの移動方向を検出するようにした。しかし、この場合、撮像中に使用者の手ぶれが発生した場合には、その手ぶれによるぶれ量が被写体２ｂのぼけ量に影響してしまう。これによって、被写体２ｂのぼけ量に相当する領域の明るさに応じて被写体２ｂの移動方向を検出する際に、移動方向を誤検出してしまう可能性がある。

よって、本実施の形態では、制御回路５は、使用者の手ぶれの影響を除去して正確に被写体２ｂの移動方向を検出するために、次のように処理する。制御回路５は、まず、振れ検出センサ１６からの出力に基づいて手ぶれの量を検出する。そして、検出した手ぶれの量に基づいて、手ぶれ補正光学系を上方向→下方向→上方向と動かすに当たって、それぞれの方向に動かしたときに撮像画像上に発生する被写体２ｂのぶれ量が等しくなるように、手ぶれ補正光学系の移動量を制御する。

移動方向を検出するために手ぶれ補正光学系を上下方向に動かし、さらに手ぶれ補正光学系を上方向に移動させるような手ぶれが発生した場合には、手ぶれ補正光学系は上方向に移動方向を検出するための所定量移動し、それに加え手ぶれ補正のための移動も行う。また、下方向には下方向へ移動方向を検出するための移動量から手ぶれ補正のための上方向の移動量を引いた分だけ移動する。例えば、移動方向の検出のために上下方向にそれぞれ２だけ移動する設定になっていた場合に、手ぶれ補正として上方向に１だけ移動する必要があるとすると、上方向には移動方向検出のための移動量２に手ぶれ補正の移動量１を加えた３だけ移動する。下方向へは移動方向検出のための移動量２に手ぶれ補正の上方向への移動量１を減算し、下方向に１だけ移動する。これによって、撮影中に手ぶれが発生した場合であっても、その影響を排除して正確に被写体２ｂの移動方向を検出することができる。

以上説明した処理によって、被写界２ａ内に存在する被写体２ｂの移動方向が検出されると、制御回路５は、データ処理回路１０を制御して、被写体２ｂの移動方向に応じて、撮像される画像にブラー処理を施す。すなわち、データ処理回路１０は、制御回路５からの指示に基づいて画像に対してブラー処理を施す。ブラー処理とは、画像に流し撮りと同様のぼかし効果を付加するもので、被写体の移動する方向とは逆方向に尾を引くようなブラー効果を付加するものである。

図５は、ブラー処理を行うデータ処理回路１０の具体例である。入力Ｄは、３／４倍されて、同じ画素位置のフレームメモリの出力データの１／４倍されたデータと加算されてフレームメモリに書き込まれる。例えば、入力Ｄとして１６レベルの画像データが入力されると、ＳＷはＥ端子が選択されて、出力Ｇとして１６が出力される。このとき、フレームメモリには１６ｘ３／４＝１２が書き込まれる。次のフレームにおいては、フレームメモリ端子Ｆの出力は１２になる。このとき、ＳＷはＦ端子を選択して出力Ｇとして１２が出力される。このとき、入力Ｄは０なので、フレームメモリには、１２ｘ１／４＝３が書き込まれ、次のフレームでフレームメモリから３が読み出される。

以下、順次同様のＩＩＲフィルタ処理が行われ、ブラー効果が付加される。ブラー効果は、移動する被写体の移動量が大きいほど、長い期間にわたって、大きく付加されることが好ましい。このためには、上述の３／４の値を小さくすればよい。このような演算処理は、入力データに対する乗算処理の乗算係数を順次小さくしていくなど、他の手法によっても実現できる。また、ハードウェアのみならず、ソフトウェアを用いて行うものであってもよい。

このようなブラー効果の付加は、移動する被写体の移動方向を検出したスルー画像あるいは動画像に対して行われるものであっても、スルー画像に引き続いて行われる本撮影静止画像に対して行われるものであってもよい。この場合には、スルー画像を用いて検出された被写体２ｂの移動方向に基づいて、本撮影静止画像にブラー効果の付加が行われる。また、上述のブラー効果のような移動する被写体２ｂの移動方向に応じた画像処理を、外部の装置で行うために、抽出された移動方向を本撮影画像データに関連付けて、記録媒体１２に記録するようにしてもよい。

図６は、本実施の形態における撮像装置１００の処理を示すフローチャートである。図６に示す処理は、上述したスルー画撮影動作、静止画本撮影動作、および動画本撮影動作のいずれかが開始されると起動するプログラムとして、制御回路５によって実行される。

ステップＳ１０において、使用者によってレリーズ釦が操作され、画像の撮影が指示されたか否かを判断する。その後、ステップＳ２０へ進み、振れ検出センサ１６からの出力に基づいて、手ぶれが発生しているか否かを判断する。手ぶれが発生していないと判断した場合には、後述するステップＳ４０へ進む。これに対して、手ぶれが発生していると判断した場合には、ステップＳ３０へ進む。ステップＳ３０では、上述したように、手ぶれ補正量を考慮して、手ぶれ補正光学系の移動量を決定する。その後、ステップＳ４０へ進む。

ステップＳ４０では、上述したように、電子シャッタが露光状態である間、手ぶれ補正光学系を上方向→下方向→上方向の順番に３回移動させて画像を撮像する。その後、ステップＳ５０へ進み、手ぶれ補正光学系を上方向→下方向→上方向の順番に３回移動させて撮像した画像を画像処理して、上述した明るい領域と暗い領域の並び順を判定し、その判定結果に応じて被写体２ｂの移動方向を検出する。その後、ステップＳ６０へ進む。

ステップＳ６０では、判定した被写体２ｂの移動方向に応じて、上述したように画像にブラー処理を施して、被写体２ｂの移動する方向とは逆方向に尾を引くようなブラー効果を付加する。その後、ステップＳ７０へ進み、ブラー効果を付加した後の画像をモニタ１３へ出力して表示し、同時に記録媒体１２へ出力して記録する。その後、ステップＳ８０へ進む。

ステップＳ８０では、使用者によって撮像装置１００の電源がオフされたか否かを判断する。電源がオフされていないと判断した場合には、ステップＳ１０へ戻って処理を繰り返す。これに対して電源がオフされたと判断した場合には、処理を終了する。

以上説明した本実施の形態によれば、以下のような作用効果を得ることができる。
（１）手ぶれ補正光学系を上下方向、左右方向の直行する２方向にそれぞれに各３回ずつ移動させて撮像した画像に基づいて、被写体２ｂの移動方向を検出するようにした。これによって、このようにして撮像した画像においては、被写体２ｂの移動方向によって画像内の明るい領域と暗い領域の並び順（配列）が異なることを加味して、精度高く被写体の２ｂの移動方向を検出することができる。

（２）振れ検出センサ１６からの出力に基づいて手ぶれの量を検出し、検出した手ぶれの量に基づいて、被写体２ｂの移動方向検出するに当たっての手ぶれ補正光学系の移動量を制御するようにした。これによって、撮影中に手ぶれが発生した場合であっても、その影響を排除して正確に被写体２ｂの移動方向を検出することができる。

（３）被写体２ｂの移動方向に応じて、撮像される画像にブラー処理を施すようにした。これによって、被写体２ｂの移動方向に応じた視覚効果を自動的に付加することができる。

―変形例―
なお、上述した実施の形態の撮像装置は、以下のように変形することもできる。
（１）上述した実施の形態では、手ぶれ補正光学系を上下方向、左右方向の直行する２方向にそれぞれに各３回ずつ移動させる例について説明した。しかしこれに限定されず、手ぶれ補正光学系の動かす回数はそれぞれの方向に５回以上の奇数回としてもよい。例えば、手ぶれ補正光学系を上→下→上→下→上と５回動かした場合も、上述した３回の場合と同様に被写体２ｂの移動方向によって画像内の明るい領域と暗い領域の並び順が異なることから、この並び順に基づいて被写体２ｂの移動方向を検出することができる。なお、偶数回の場合は、上述した２回の場合と同様に、被写体２ｂの移動方向が異なっても画像内の明るい領域と暗い領域の並び順が同一となるため、被写体２ｂの移動方向を検出することはできない。

（２）上述した実施の形態では、被写体２ｂの像の撮像素子１の撮像面上における結像位置を移動させるために、制御回路５はレンズ駆動回路３を制御して撮影レンズ２を動かす（駆動させる）例について説明した。しかしこれに限定されず、被写体２ｂの像の撮像素子１の撮像面上における結像位置を移動させるために、撮像素子１を駆動させてもよい。

（３）上述した実施の形態では、被写界２ａ内の背景の色が白であり、被写体２ｂが黒い物体である場合に、手ぶれ補正光学系を移動させながら撮像した画像内の明るい領域と暗い領域の並び順を判定して被写体２ｂの移動方向を検出する例について説明した。しかしこれに限定されず、被写界２ａおよび被写体２ｂがその他の色である場合でも、被写体２ｂの移動方向を検出することができる。例えば、被写界２ａ内の背景の色が黒であり、被写体２ｂが白い物体である場合には、図３（Ａ）および図３（Ｂ）に示した画像は、明るい領域と暗い領域とが入れ替わった画像が撮像される。

よって、この場合には、画像の上部から暗い領域→明るい領域→暗い領域の順に並んでいる場合には、その画像内に写っている被写体２ｂは被写界２ａ内を上から下へ移動していると判定する。これに対して、画像の上部から明るい領域→暗い領域→明るい領域の順に並んでいる場合には、その画像内に写っている被写体２ｂは被写界２ａ内を下から上へ移動していると判定すればよい。

（４）上述した実施の形態では、手ぶれ補正光学系は、撮影レンズ２に内蔵されているものである例について説明したが、これに限定されず、撮影レンズ２に内蔵されているものでなくてもよい。

（５）上述した実施の形態では、移動方向検出装置として撮像装置（カメラ）を用いた場合について説明した。しかしこれに限定されず、カメラ付き携帯電話など、他の画像撮影機能を備えた装置に適用することも可能である。

なお、本発明の特徴的な機能を損なわない限り、本発明は、上述した実施の形態における構成に何ら限定されない。

移動方向検出装置として撮像装置（カメラ）を用いた場合の一実施の形態の構成を示すブロック図である。 被写界２ａ内を被写体２ｂが上下に往復運動している場合に撮像した画像の具体例を示す図である。 被写界２ａ内を被写体２ｂが上下に往復運動している場合に、手ぶれ補正光学系を上方向→下方向→上方向の順番に３回移動させて撮像した画像の具体例を示す図である。 被写界２ａ内を被写体２ｂが上下に往復運動している場合に、手ぶれ補正光学系を上方向→下方向の順番に２回移動させて撮像した画像の具体例を示す図である。 ブラー処理を行うデータ処理回路１０の具体例である。 撮像装置１００の処理を示すフローチャート図である。

符号の説明

１００ 撮像装置、１ 撮像素子、２ 撮影レンズ、３ レンズ駆動回路、５ 制御回路、７ 操作部材、８ 撮像素子駆動回路、９ 信号処理回路、１０ データ処理回路、１１ 圧縮／伸張回路、１２ 記録媒体、１３ モニタ、１４ 表示制御回路、１５ 測光回路、１６ 振れ検出センサ

Claims (9)

1. 被写体像を撮像する撮像素子と、
   前記被写体像を前記撮像素子上で移動させる移動手段と、
   前記移動手段で前記被写体像を前記撮像素子上で移動させながら、前記撮像素子で撮像する制御手段と、
   前記制御手段で制御されて前記撮像素子で撮像された前記被写体像に基づいて、被写体の移動方向を検出する検出手段とを備えることを特徴とする移動方向検出装置。
2. 請求項１に記載の移動方向検出装置において、
   前記制御手段は、前記被写体像を前記撮像素子上で異なる方向に交互に３回以上の奇数回移動させるように前記移動手段を制御することを特徴とする移動方向検出装置。
3. 請求項１または２に記載の移動方向検出装置において、
   前記検出手段は、前記撮像素子上での前記被写体像の移動に伴う、前記被写体像の変化に基づいて、前記被写体の移動方向を検出することを特徴とする移動方向検出装置。
4. 請求項３に記載の移動方向検出装置において、
   前記検出手段は、前記被写体像の明るさ分布に基づいて前記被写体の移動方向を検出することを特徴とする移動方向検出装置。
5. 請求項３に記載の移動方向検出装置において、
   前記被写体像は、明るさが異なる複数の領域を含み、
   前記検出手段は、前記複数の領域のそれぞれの面積を算出し、算出した各領域の面積に基づいて、前記被写体の移動方向を検出することを特徴とする移動方向検出装置。
6. 請求項１〜５のいずれか一項に記載の移動方向検出装置において、
   前記制御手段は、前記撮像素子に対して垂直方向および水平方向の少なくともいずれか一方に前記撮像素子上で前記被写体像を移動させるように前記移動手段を制御することを特徴とする移動方向検出装置。
7. 請求項１〜６のいずれか一項に記載の移動方向検出装置において、
   前記移動手段は、手ぶれ補正光学系または撮像素子を駆動させて前記撮像素子上で被写体像を移動させることを特徴とする移動方向検出装置。
8. 請求項７に記載の移動方向検出装置において、
   撮像時の手ぶれ量を検出する手ぶれ量検出手段をさらに備え、
   前記移動手段は、前記手ぶれ量検出手段で検出した手ぶれ量を加味して前記手ぶれ補正光学系または前記撮像素子の駆動量を決定することを特徴とする移動方向検出装置。
9. 請求項１〜８のいずれか一項に記載の移動方向検出装置を搭載した撮像装置。

Images