JP2008160547A - 動き検出装置及び方法並びに撮像装置 - Google Patents

Abstract

【課題】撮像装置において、ジャイロセンサ等を用いることなく精度よく手ぶれ検出を行う。
【解決手段】ローリングシャッタにて露光を行うＣＭＯＳイメージセンサを用い、検出対象画像の前後のフレーム画像である第１及び第２参照画像を参照する。前記検出対象画像と各参照画像を垂直方向に領域分割して、前記検出対象画像と各参照画像間における、各分割領域内の画像の動きを垂直分割領域ごとに検出する。手ぶれに由来する画像の動きは画像全体に対して同じ動きである一方、垂直位置が異なれば露光時間は異なるため、垂直分割領域ごとに検出される画像の動きは、異なるサンプリングポイント（サンプリング時刻）における画像の動きとなる。手ぶれ軌跡は、検出した３以上の動き情報から推定される。
【選択図】図５

Description

本発明は、画像上の動きを検出する動き検出装置及び動き検出方法並びにそれを利用した撮像装置に関する。本発明は、特に、手ぶれ検出センサを用いることなく画像データから動き検出を行う技術に関する。

ジャイロセンサ等の手ぶれ検出センサを用いて静止画撮影中の手ぶれ状態を表す手ぶれ情報を作成し、手ぶれ情報に基づく画像復元フィルタを用いて手ぶれのない復元画像を生成する技術が既に提案されている（下記特許文献１参照）。このような手ぶれ補正は、復元式の手ぶれ補正と呼ばれるが、手ぶれを検出するために手ぶれ検出センサを必要とするが故に撮像装置のコストアップを招く。

手ぶれ検出センサを用いることなく手ぶれを検出するべく、検出対象画像の前後に第１及び第２参照画像を撮影し、画像間の動き情報から手ぶれを検出することも考えられる。

この検出手法について説明する。図１４は、ＣＣＤ（Charge Coupled Devices）イメージセンサを用いた撮像装置の撮影風景を表している。図１４において、符号３００は、検出対象画像の撮影タイミング近辺において、撮像装置に加わった手ぶれの軌跡を表す。この手ぶれに起因して、撮影領域内に収まる被写体は時々刻々と変化する。

図１４において、符号３０１が付された矩形領域は、第１参照画像の露光が開始されるタイミングにおける撮影領域を表し、符号３０２が付された矩形領域は、検出対象画像の露光が開始されるタイミングにおける撮影領域を表し、符号３０３が付された矩形領域は、第２参照画像の露光が開始されるタイミングにおける撮影領域を表し、符号３０４が付された矩形領域は、第２参照画像の次のフレーム画像の露光が開始されるタイミングにおける撮影領域を表す。

図１５の曲線３１０は、撮影領域の垂直位置の時間変化を表す。ＣＣＤを用いた場合、同一画像内の各画素の露光期間は同一であるため、隣接するフレーム間の画像対比に基づき動き検出を行う場合、隣接するフレーム間の平均的な動きが検出されることになる。図１６に示す如く、検出される動きは同じ時刻の動きとして検出され、連続する３枚の画像からは、２つのサンプリングポイントにおける動きが検出されることになる（即ち、２つのサンプリング時刻における動きが検出されることになる）。

曲線３１０の例の場合、点３１１と点３１２との間の垂直位置差分が第１参照画像−検出対象画像間の垂直方向の動きとして検出され（図１５ではゼロ）、点３１２と点３１３との間の垂直方向差分Δが検出対象画像−第２参照画像間の垂直方向の動きとして検出される。検出対象画像の露光期間中の手ぶれ軌跡は、点３１１から点３１２に向かうベクトルに対応する第１参照画像−検出対象画像間の動きベクトルと、点３１２から点３１３に向かうベクトルに対応する検出対象画像−第２参照画像間の動きベクトルと、に基づいて推定されることになる。

この結果、検出対象画像の露光期間中における真の手ぶれ軌跡は、図１７の符号３２１のように表されるのに対して、実際に推定される手ぶれ軌跡は、符号３２２のようになってしまう。これは、手ぶれの動きが複雑であるのに対して、手ぶれ軌跡を推定するための動き情報が２つしかないことに起因している。

特開２００６−１２９２３６号公報 特開２００６−２４３９７４号公報

手ぶれ周期がフレーム周期よりも十分に長い場合や、同一方向に等速（或いは等加速）の手ぶれが加わる場合は、上述のような手法を採用しても問題は少ないが、手ぶれ周期がフレーム周期に近く且つ手ぶれの動きが複雑である場合は、上述の如く、露光期間中の手ぶれ軌跡を正確に推定することができない。高精度に手ぶれ軌跡を推定するためには、検出対象画像に対する高精度の動き検出が必要である。

そこで本発明は、ジャイロセンサ等を用いることなく、精度よく動き検出を行うことのできる動き検出装置及び動き検出方法を提供することを目的とする。また、本発明は、その動き検出装置を利用した撮像装置を提供することを目的とする。

上記目的を達成するために本発明に係る動き検出装置は、異なる水平ライン間で露光タイミングを異ならせつつ撮影を行う撮像素子の出力に基づき、その撮影によって得られる検出対象画像に対する動き検出を行う動き検出装置であって、前記検出対象画像の前後の撮影によって得られる各画像を参照画像とし、前記検出対象画像と各参照画像を垂直方向に領域分割して、前記検出対象画像と各参照画像間における、各分割領域内の画像の動きを領域動きとして検出する領域動き検出手段を備え、各領域動きに基づいて前記検出対象画像に対する動き検出を行うことを特徴とする。

これにより、従来に比べて動き検出のサンプリング数を増やすことができ、この結果、精度の高い動き検出を行うことが可能となる。

具体的には例えば、当該動き検出装置は、各領域動きを前記検出対象画像の全体に対する互いに異なる時刻の動きと捉えることにより、前記検出対象画像に対する動き検出を行う。

また例えば、当該動き検出装置に、時系列で並べた各領域動きを表すデータに対して時間方向の高域強調処理を施すことにより各領域動きを補正する補正手段を更に設けるとよい。

これにより、動き検出の更なる精度向上を期待できる。

また例えば、前記検出対象画像と各参照画像に対する垂直方向の領域分割数に応じて、前記高域強調処理の特性は変更される。

また例えば、時系列で並べた各領域動きは、前記検出対象画像に含まれるぶれの軌跡を表す。

また、上記目的を達成するために本発明に係る撮像装置は、前記動き検出装置による動き検出結果に基づいて前記検出対象画像に含まれるぶれの軌跡を推定するぶれ軌跡推定手段と、推定した前記ぶれの軌跡に基づいて前記検出対象画像における前記ぶれを低減した復元画像を生成する復元手段と、を備えたことを特徴とする。

また、上記目的を達成するために本発明に係る動き検出方法は、異なる水平ライン間で露光タイミングが異ならせつつ撮影を行う撮像素子の出力に基づき、その撮影によって得られる検出対象画像に対する動き検出を行う動き検出方法であって、前記検出対象画像の前後の撮影によって得られる各画像を参照画像とし、前記検出対象画像と各参照画像を垂直方向に領域分割して、前記検出対象画像と各参照画像間における、各分割領域内の画像の動きを領域動きとして検出し、各領域動きに基づいて前記検出対象画像に対する動き検出を行うことを特徴とする。

本発明によれば、ジャイロセンサ等を用いることなく、精度よく動き検出を行うことのできる動き検出装置及び動き検出方法を提供可能となる。

本発明の意義ないし効果は、以下に示す実施の形態の説明により更に明らかとなろう。ただし、以下の実施の形態は、あくまでも本発明の一つの実施形態であって、本発明ないし各構成要件の用語の意義は、以下の実施の形態に記載されたものに制限されるものではない。

以下、本発明の実施の形態につき、図面を参照して具体的に説明する。参照される各図において、同一の部分には同一の符号を付し、同一の部分に関する重複する説明を原則として省略する。

図１は、本発明の実施の形態に係る撮像装置１の全体ブロック図である。撮像装置１は、動画及び静止画を撮影可能なデジタルビデオカメラである。但し、撮像装置１は、静止画のみを撮影可能なデジタルスチルカメラであってもよい。

撮像装置１は、撮像部１１と、ＡＦＥ（Analog Front End）１２と、映像信号処理部１３と、マイク１４と、音声信号処理部１５と、圧縮処理部１６と、内部メモリの一例としてのＳＤＲＡＭ（Synchronous Dynamic Random Access Memory）１７と、メモリカード（記憶手段）１８と、伸張処理部１９と、映像出力回路２０と、音声出力回路２１と、ＴＧ（タイミングジェネレータ）２２と、ＣＰＵ（Central Processing Unit）２３と、バス２４と、バス２５と、操作部２６と、表示部２７と、スピーカ２８と、を備えている。操作部２６は、録画ボタン２６ａ、シャッタボタン２６ｂ及び操作キー２６ｃ等を有している。撮像装置１内の各部位は、バス２４又は２５を介して、各部位間の信号（データ）のやり取りを行う。

まず、撮像装置１及び撮像装置１を構成する各部位の、基本的な機能について説明する。

ＴＧ２２は、撮像装置１全体における各動作のタイミングを制御するためのタイミング制御信号を生成し、生成したタイミング制御信号を撮像装置１内の各部に与える。具体的には、タイミング制御信号は、撮像部１１、映像信号処理部１３、音声信号処理部１５、圧縮処理部１６、伸張処理部１９及びＣＰＵ２３に与えられる。タイミング制御信号は、垂直同期信号Ｖｓｙｎｃと水平同期信号Ｈｓｙｎｃを含む。

ＣＰＵ２３は、撮像装置１内の各部の動作を統括的に制御する。操作部２６は、ユーザによる操作を受け付ける。操作部２６に与えられた操作内容は、ＣＰＵ２３に伝達される。ＳＤＲＡＭ１７は、フレームメモリとして機能する。撮像装置１内の各部は、必要に応じ、信号処理時に一時的に各種のデータ（デジタル信号）をＳＤＲＡＭ１７に記録する。

メモリカード１８は、外部記録媒体であり、例えば、ＳＤ（Secure Digital）メモリカードである。尚、本実施形態では外部記録媒体としてメモリカード１８を例示しているが、外部記録媒体を、１または複数のランダムアクセス可能な記録媒体（半導体メモリ、メモリカード、光ディスク、磁気ディスク等）で構成することができる。

図２は、図１の撮像部１１の内部構成図である。撮像部１１にカラーフィルタなどを用いることにより、撮像装置１は、撮影によってカラー画像を生成可能なように構成されている。

撮像部１１は、光学系３５と、絞り３２と、撮像素子３３と、ドライバ３４を有している。光学系３５は、ズームレンズ３０及びフォーカスレンズ３１を含む複数枚のレンズを備えて構成される。ズームレンズ３０及びフォーカスレンズ３１は光軸方向に移動可能である。ドライバ３４は、ＣＰＵ２３からの制御信号に基づいて、ズームレンズ３０及びフォーカスレンズ３１の移動を制御し、光学系３５のズーム倍率や焦点距離を制御する。また、ドライバ３４は、ＣＰＵ２３からの制御信号に基づいて絞り３２の開度（開口部の大きさ）を制御する。

被写体からの入射光は、光学系３５を構成する各レンズ及び絞り３２を介して、撮像素子３３に入射する。光学系３５を構成する各レンズは、被写体の光学像を撮像素子３３上に結像させる。ＴＧ２２は、上記タイミング制御信号に同期した、撮像素子３３を駆動するための駆動パルスを生成し、該駆動パルスを撮像素子３３に与える。

撮像素子３３は、例えば、ＸＹアドレス走査型のＣＭＯＳ（Complementary Metal Oxide Semiconductor）イメージセンサである。ＣＭＯＳを形成可能な半導体基板上に、マトリクス状に二次元配列された複数の画素と、垂直走査回路、水平走査回路及び画素信号出力回路等を形成することによって、ＣＭＯＳイメージセンサが形成される。撮像素子３３において、二次元配列された複数の画素によって撮像面が形成され、撮像面は複数の水平ラインと複数の垂直ラインを有する。

撮像素子３３は、電子シャッタ機能を備えており、所謂ローリングシャッタによって各画素の露光を実施する。ローリングシャッタでは、撮像面の各画素が露光されるタイミング（時刻）が水平ラインごとに垂直方向において異なる。つまり、撮像面における異なる水平ライン間で露光タイミングが異なる。

撮像素子３３は、光学系３５及び絞り３２を介して入射した光学像を光電変換し、該光電変換によって得られた電気信号を後段のＡＦＥ１２に順次出力する。より具体的には、各撮影において、撮像面の各画素は露光時間に応じた電荷量の信号電荷を蓄える。各画素は、蓄えた信号電荷の電荷量に比例した大きさを有する電気信号を後段のＡＦＥ１２に順次出力する。光学系３５に入射する光学像が同じであり且つ絞り３２の開口量が同じである場合、撮像素子３３（各画素）からの電気信号の大きさ（強度）は上記露光時間に比例して増大する。

図３を参照し、ローリングシャッタについて説明を加える。図３（ａ）に示す如く、撮像素子３３の撮像面が第１〜第ｎ水平ラインから形成され（ｎは２以上の整数）、第１、第２、・・・、第（ｎ−１）及び第ｎ水平ラインの順番で垂直方向に各水平ラインが並んでいるものとする。

図３（ｂ）は、或る１枚の画像を撮影する際の各水平ラインの露光タイミングを表している。Ｔ_Siは、第ｉ水平ラインに属する各画素の露光開始タイミングを表し、Ｔ_Eiは、第ｉ水平ラインに属する各画素の露光終了タイミングを表している（ここで、ｉは、１〜ｎの間の各整数をとる）。各画素の露光期間の長さは同じである。即ち、タイミングＴ_S1−Ｔ_E1間の時間長さ、タイミングＴ_S2−Ｔ_E2間の時間長さ、・・・、及びタイミングＴ_Sn−Ｔ_En間の時間長さは、同じである。但し、第ｉ水平ラインの露光開始タイミング（及び露光終了タイミング）に対して、第（ｉ＋１）水平ラインのそれは所定時間だけ遅れる（ここで、ｉは、１〜（ｎ−１）の間の各整数をとる）。

図１の各部位の説明に戻る。ＡＦＥ１２は、撮像部１１（撮像素子３３）から出力されるアナログ信号を増幅し、増幅されたアナログ信号をデジタル信号に変換する。ＡＦＥ１２は、このデジタル信号を、順次、映像信号処理部１３に出力する。

映像信号処理部１３は、ＡＦＥ１２の出力信号に基づいて、撮像部１１によって撮影された画像（以下、「撮影画像」または「フレーム画像」ともいう）を表す映像信号を生成する。映像信号は、撮影画像の輝度を表す輝度信号Ｙと、撮影画像の色を表す色差信号Ｕ及びＶと、から構成される。映像信号処理部１３にて生成された映像信号は、圧縮処理部１６と映像出力回路２０に送られる。

尚、映像信号処理部１３は、撮影画像中のフォーカス検出領域内のコントラスト量に応じたＡＦ評価値及び撮影画像の明るさに応じたＡＥ評価値を検出し、それらをＣＰＵ２３に伝達する。ＣＰＵ２３は、ＡＦ評価値に応じて図２のドライバ３４を介してフォーカスレンズ３１の位置を調節することにより、被写体の光学像を撮像素子３３上に結像させる。また、ＣＰＵ２３は、ＡＥ評価値に応じて図２のドライバ３４を介して絞り３２の開度（及び必要に応じてＡＦＥ１２における信号増幅の増幅度）を調節することにより、受光量（画像の明るさ）を制御する。

マイク１４は、外部から与えられた音声（音）を、アナログの電気信号に変換して出力する。音声信号処理部１５は、マイク１４から出力される電気信号（音声アナログ信号）をデジタル信号に変換する。この変換によって得られたデジタル信号は、マイク１４に対して入力された音声を表す音声信号として圧縮処理部１６に送られる。

圧縮処理部１６は、映像信号処理部１３からの映像信号を、所定の圧縮方式を用いて圧縮する。動画または静止画撮影時において、圧縮された映像信号はメモリカード１８に送られ、メモリカード１８に記録される。また、圧縮処理部１６は、音声信号処理部１５からの音声信号を、所定の圧縮方式を用いて圧縮する。動画撮影時において、映像信号処理部１３からの映像信号と音声信号処理部１５からの音声信号は、圧縮処理部１６にて時間的に互いに関連付けられつつ圧縮され、圧縮後のそれらはメモリカード１８に記録される。

撮像装置１の動作モードには、動画または静止画の撮影が可能な撮影モードと、メモリカード１８に格納された動画または静止画を表示部２７に再生表示する再生モードと、が含まれる。操作キー２６ｃに対する操作に応じて、各モード間の遷移は実施される。録画ボタン２６ａに対する操作に従って動画撮影の開始又は終了が実施される。また、シャッタボタン２６ｂに対する操作に従って静止画撮影が実施される。

再生モードにおいて、ユーザが操作キー２６ｃに所定の操作を施すと、メモリカード１８に記録された動画または静止画を表す圧縮された映像信号は、伸張処理部１９に送られる。伸張処理部１９は、受け取った映像信号を伸張して映像出力回路２０に送る。また、撮影モードにおいては、通常、動画または静止画を撮影及び記録しているか否かに拘らず、映像信号処理１３による映像信号の生成が逐次行われており、その映像信号は映像出力回路２０に送られる。

映像出力回路２０は、与えられたデジタルの映像信号を表示部２７で表示可能な形式の映像信号（例えば、アナログの映像信号）に変換して出力する。表示部２７は、液晶ディスプレイなどの表示装置であり、映像出力回路２０から出力された映像信号に応じた画像を表示する。

また、再生モードにおいて動画を再生する際、メモリカード１８に記録された動画に対応する圧縮された音声信号も、伸張処理部１９に送られる。伸張処理部１９は、受け取った音声信号を伸張して音声出力回路２１に送る。音声出力回路２１は、与えられたデジタルの音声信号をスピーカ２８にて出力可能な形式の音声信号（例えば、アナログの音声信号）に変換してスピーカ２８に出力する。スピーカ２８は、音声出力回路２１からの音声信号を音声（音）として外部に出力する。

各撮影画像の露光期間において、撮像装置１には手ぶれが加わりうる。撮像装置１は、隣接する画像間の比較に基づいて、手ぶれに由来する画像上のぶれの軌跡を検出する機能を備える。更に、この検出結果に基づいて、ぶれが含まれる撮影画像からぶれを除去した画像を復元する機能を備える。以下、これらの機能について詳細に説明する。

撮影モードにおいて、所定のフレーム周期（例えば、１／６０秒）にて順次撮影が行われ、各フレームにおいて１枚のフレーム画像（撮影画像）が得られる。今、或るフレーム画像を、手ぶれ検出の対象となる画像と捉えて、「検出対象画像」と呼ぶことにする。検出対象画像は、手ぶれ検出結果に基づく画像復元の対象にもなるため、それを復元対象画像と呼ぶこともできる。そして、検出対象画像が得られるフレームの１つ前のフレームにおけるフレーム画像を「第１参照画像」と呼び、検出対象画像が得られるフレームの１つ後のフレームにおけるフレーム画像を「第２参照画像」と呼ぶ。

時系列で並ぶ複数のフレーム画像によって動画が形成されるが、動画を形成する何れのフレーム画像も検出対象画像となりうる。或る１つの静止画も、所定のフレーム周期で順次撮影されるフレーム画像の何れかに過ぎない。従って、シャッタボタン２６ｂの押下に応じてメモリカード１８に記録されることになる静止画も、検出対象画像となりうる。以下の説明では、或る１つの検出対象画像に着目する。

尚、本実施形態の説明文において、「手ぶれ」及び「ぶれ」という文言を用いるが、手ぶれにのみ着目した場合、手ぶれとぶれは同義と考えることができる。手ぶれにのみ着目した場合、ぶれは、手ぶれに由来するぶれである。

［動き検出手法の原理説明］
まず、本実施形態の動き検出手法の原理について説明する。ローリングシャッタにて露光を実施した場合、画像内の垂直方向に対して露光期間の開始時刻（及び終了時刻）が同一時刻とならず、露光期間は垂直方向の上から下に向かうにつれて遅れる。従って、隣接するフレーム画像間の対比に基づき動き検出を行う場合、垂直方向に異なる位置で動き検出を行うと、動き検出のサンプリングポイント（サンプリング時刻）が異なってくる。つまり、隣接するフレーム画像間において、或る垂直位置に対して検出した動きと、それと異なる垂直位置に対して検出した動きとでは、検出される動きの時刻が異なる。

図４は、２つの垂直位置に対して動き検出を行う場合の例を表している。この場合、検出対象画像に対する動き検出のサンプリングポイント（サンプリング時刻）は合計４つとなる。手ぶれに由来する画像の動きは、画像全体に対して同じ動きであるため、動き検出のサンプリング時刻が同じであれば、画像内のどの領域の画素信号を参照しても同じ動きが検出される。このため、検出対象画像並びに第１及び第２参照画像を垂直方向に領域分割し、分割された各領域における動き検出結果に基づけば、手ぶれの軌跡を３以上のサンプリングポイントにて推定することが可能となる。

垂直方向の領域分割数（後述するＭの値）は任意であり、領域分割数を増加させればさせるほど、動き検出のサンプリングポイントが増大してより細かな動き検出を実現可能となる。図５は、各画像を垂直方向に４分割した場合の例を示している。サンプリングポイントの個数は、動き検出の時間方向のサンプリング数（或いは解像度）と呼ぶこともでき、このサンプリング数を増やすことにより、手ぶれのように画像上均一な動きに対してより正確な検出が可能となる。

［検出及び復元の構成］
次に、手ぶれ検出及び画像復元を実現する構成について具体的に説明する。図６に、手ぶれ検出及び画像復元に関与する部位のブロック図を示す。図６における動き検出部５１及び手ぶれ軌跡推定部５２は、図１の映像信号処理部１３または映像信号処理部１３に接続された図示されない検出処理部に設けられる。図６における画像劣化関数算出部５３及び画像復元フィルタ係数算出部５４は、図１のＣＰＵ２３によって実現される。図６におけるフィルタリング部５５及びリンギング除去部５６は、図１の映像信号処理部１３に設けられる。

動き検出部５１は、隣接するフレーム画像間の動きを検出する。各フレーム画像は、垂直方向にＭ分割して捉えられる。このため、各フレーム画像は、Ｍ個の垂直分割領域に分割して考えられる。Ｍは、２以上の整数である。

図７に、各フレーム画像の分割の様子を示す。フレーム画像の原点Ｏを基準として、各垂直分割領域をＡＲ［ｊ］にて表す。ここで、ｊは、１≦ｊ≦Ｍを満たす各整数をとる。ｊが同じ垂直分割領域ＡＲ［ｊ］は、同一の水平ライン上の画素から構成される。例えば、図３の第１〜第３水平ラインを形成する各画素の画素信号によって、垂直分割領域ＡＲ［１］内の各画素の画素信号は表され、第４〜第６水平ラインを形成する各画素の画素信号によって、垂直分割領域ＡＲ［２］内の各画素の画素信号は表され、・・・、第（ｎ−２）〜第ｎ水平ラインを形成する各画素の画素信号によって、垂直分割領域ＡＲ［Ｍ］内の各画素の画素信号は表される。

動き検出部５１は、例えば、公知の画像マッチング法（例えば、ブロックマッチング法や代表点マッチング法）を用い、隣接するフレーム画像間において映像信号を対比することにより、隣接するフレーム画像間における動きベクトルを垂直分割領域ＡＲ［ｊ］ごとに検出する。垂直分割領域ＡＲ［ｊ］ごとに検出された動きベクトルを、特に、領域動きベクトルという。或る垂直分割領域ＡＲ［ｊ］についての領域動きベクトルは、隣接するフレーム画像間における、当該垂直分割領域ＡＲ［ｊ］内の画像の動きの大きさ及び向きを特定する。

或る垂直分割領域についての領域動きベクトルを算出する際、当該垂直分割領域内の全ての画素の画素信号に基づいて当該領域動きベクトルを算出するようにしても良いが、当該垂直分割領域内の一部の画素の画素信号のみに基づいて当該領域動きベクトルを算出するようにしても良い。

尚、図８に示す如く、各フレーム画像を垂直方向にＭ分割且つ水平方向にＮ分割して、（Ｍ×Ｎ）個の分割領域ごとに動きベクトルを算出し、同一の水平ラインについての動きベクトルを平均化することによって得られる平均ベクトルを上記の領域動きベクトルとして取り扱うようにしても構わない。

図９は、撮像部１１による撮影の風景を表している。図９において、符号１００は、検出対象画像の撮影タイミング近辺において、撮像装置１に加わった手ぶれの軌跡を表す。この手ぶれに起因して、撮像部１１の撮影領域内に収まる被写体は時々刻々と変化する。

図９において、符号１０１が付された矩形領域は、第１参照画像の露光が開始されるタイミング（即ち、第１参照画像の第１水平ラインの露光開始タイミング）における撮像部１１の撮影領域を表し、符号１０２が付された矩形領域は、検出対象画像の露光が開始されるタイミング（即ち、検出対象画像の第１水平ラインの露光開始タイミング）における撮像部１１の撮影領域を表し、符号１０３が付された矩形領域は、第２参照画像の露光が開始されるタイミング（即ち、第２参照画像の第１水平ラインの露光開始タイミング）における撮像部１１の撮影領域を表し、符号１０４が付された矩形領域は、第２参照画像の次のフレーム画像の露光が開始されるタイミングにおける撮像部１１の撮影領域を表す。

図１０に示す如く、第１参照画像の露光が開始されるタイミング（即ち、第１参照画像の第１水平ラインの露光開始タイミング）をＴ_Aで表し、検出対象画像の露光が開始されるタイミング（即ち、検出対象画像の第１水平ラインの露光開始タイミング）をＴ_Bで表し、第２参照画像の露光が開始されるタイミング（即ち、第２参照画像の第１水平ラインの露光開始タイミング）をＴ_Cで表す。

今、垂直方向の領域分割数が３であるとする（即ち、Ｍ＝３）。図１１に、検出される領域動きベクトルの例を示す。図１１において、符号１２１、１２２及び１２３は、それぞれ、第１参照画像と検出対象画像間における垂直分割領域ＡＲ［１］、ＡＲ［２］及びＡＲ［３］についての領域動きベクトルを表し、符号１３１、１３２及び１３３は、それぞれ、検出対象画像と第２参照画像間における垂直分割領域ＡＲ［１］、ＡＲ［２］及びＡＲ［３］についての領域動きベクトルを表す。

第１参照画像と検出対象画像間に関して手ぶれに由来する画像の動きを考えた場合、撮像素子の各画素の露光タイミングが全て同じであれば、３つの領域動きベクトルは、同じになる。但し、図２の撮像素子３３は、上述したようにローリングシャッタにて各画素の露光を行うため、図１１に示す如く、３つの領域動きベクトル１２１〜１２３は異なるベクトルとなりうる。検出対象画像と第２参照画像間についても同様である。このような現象は、図９に示す例のように、フレーム周期が手ぶれ周期に近い場合、或いは、フレーム周期が手ぶれ周期よりも長い場合に顕著となる。

このような場合に、仮に、領域動きベクトル１２１〜１２３の平均ベクトルと領域動きベクトル１３１〜１３３の平均ベクトルとから検出対象画像の手ぶれ軌跡を推定するようにすれば、ＣＣＤを用いた従来手法と同様、検出対象画像の露光期間中における手ぶれ軌跡を正確に推定することができなくなる。検出対象画像の露光期間中における動き検出のサンプリングポイントが２つになるからである。本実施形態では、ローリングシャッタの露光特性を生かし、このサンプリングポイントを３以上とする（Ｍ＝３の場合、サンプリングポイントは６となる）。

第１参照画像と検出対象画像間についての領域動きベクトル、及び、検出対象画像と第２参照画像間についての領域動きベクトルは、領域動き情報として図６の手ぶれ軌跡推定部５２に伝達される。手ぶれ軌跡推定部５２は、領域動き情報に基づいて、検出対象画像の露光期間中において撮像装置１に加わった手ぶれの軌跡を推定する。実際には、この手ぶれに由来する、検出対象画像に含まれるぶれ（画像上のぶれ）の軌跡を推定する。

推定されるぶれは２次元量であるが、ぶれの軌跡の垂直成分に着目して詳細な説明を行う。

図１２を参照する。図１２（ａ）において、横軸は時間であり、縦軸は実空間における撮像部１１の撮影領域の垂直位置を表す。曲線１５０は、検出対象画像の撮影タイミング近辺における該撮影領域の垂直位置の時間変化を表す。タイミングＴ_A、Ｔ_B及びＴ_Cは、図１０のそれらと同じものである。タイミングＴ_Aiは、第１参照画像の垂直分割領域ＡＲ［ｉ］に対応する画素の平均露光タイミングを表し、タイミングＴ_Biは、検出対象画像の垂直分割領域ＡＲ［ｉ］に対応する画素の平均露光タイミングを表し、タイミングＴ_Ciは、第２参照画像の垂直分割領域ＡＲ［ｉ］に対応する画素の平均露光タイミングを表す（ここで、ｉ＝１、２、３）。

図１２（ａ）において、点１６１、１６２、１７１、１７２及び１８１は、夫々、タイミングＴ_A1、Ｔ_A2、Ｔ_B1、Ｔ_B2及びＴ_C1における曲線１５０上の点である。図１１の領域動きベクトル１２１の垂直成分は、点１６１と点１７１との間の垂直位置の差に応じた値をとることになる。同様に、図１１の領域動きベクトル１２２の垂直成分は、点１６２と点１７２との間の垂直位置の差に応じた値をとることになる。同様に、図１１の領域動きベクトル１３１の垂直成分は、点１７１と点１８１との間の垂直位置の差に応じた値をとることになる。他の領域動きベクトルについても同様である。

図１１の領域動きベクトル１２１は、タイミングＴ_A1−Ｔ_B1間における画像の動きの大きさ及び向きを表しているのであるから、領域動きベクトル１２１の垂直成分から、タイミングＴ_A1−Ｔ_B1間の画像の垂直方向の平均的な動きの速度及び向きを算出可能である。他のタイミング間についても同様である。尚、時間を考慮する必要があるものの、動きの速度と動きの大きさ（動き量）は互いに置換して考えることが可能な概念である。以下の説明では、速度に着目することとする。

図１２（ｂ）に、図１１の領域動きベクトル１２１〜１２３及び１３１〜１３３から算出される画像の垂直方向の動きの速度（動きの向きも含む）を示す。図１２（ｂ）において、横軸は時間を表し、縦軸はその動きの速度を表す。図１２（ｂ）において、横軸に合致する線２００上の点は、速度がゼロであることを表し、縦軸の上方向は上方向の画像の動きに対応し、縦軸の下方向は下方向の画像の動きに対応する。

図１２（ｂ）において、
点２０１は、図１１の領域動きベクトル１２１の垂直成分から算出される、タイミングＴ_A1−Ｔ_B1間の垂直方向の画像の平均的な動きの速度及び向きを表し、
点２０２は、図１１の領域動きベクトル１２２の垂直成分から算出される、タイミングＴ_A2−Ｔ_B2間の垂直方向の画像の平均的な動きの速度及び向きを表し、
点２０３は、図１１の領域動きベクトル１２３の垂直成分から算出される、タイミングＴ_A3−Ｔ_B3間の垂直方向の画像の平均的な動きの速度及び向きを表し、
点２１１は、図１１の領域動きベクトル１３１の垂直成分から算出される、タイミングＴ_B1−Ｔ_C1間の垂直方向の画像の平均的な動きの速度及び向きを表し、
点２１２は、図１１の領域動きベクトル１３２の垂直成分から算出される、タイミングＴ_B2−Ｔ_C2間の垂直方向の画像の平均的な動きの速度及び向きを表し、
点２１３は、図１１の領域動きベクトル１３３の垂直成分から算出される、タイミングＴ_B3−Ｔ_C3間の垂直方向の画像の平均的な動きの速度及び向きを表す。

図１２（ｃ）における実線の曲線２３０は、手ぶれ軌跡推定部５２によって推定される、検出対象画像の露光期間中における、画像上の垂直方向の手ぶれ軌跡（手ぶれ軌跡の垂直成分）を表す。図１２（ｂ）の点２０２を起点として、点２０２−２０３間の動きによる垂直位置変化（今の例の場合、下方向への比較的大きな変化）、点２０３−２１１間の動きによる垂直位置変化（今の例の場合、下方向への比較的小さな変化）、及び、点２１１−２１２間の動きによる垂直位置変化（今の例の場合、概ね変化なし）を繋ぎ合わせることにより、曲線２３０が描かれる。

図１２（ｃ）において、破線の曲線２３１は、検出対象画像の露光期間中における、画像上の垂直方向の真の手ぶれ軌跡（真の手ぶれ軌跡の垂直成分）を表す。時間方向のサンプリング数を増やしたことにより、曲線２３０に対応する推定手ぶれ軌跡が曲線２３１に対応する真の手ぶれ軌跡に概ね一致していることが分かる。

垂直成分に着目して手ぶれ軌跡の推定手法を説明したが、水平成分に関しても同様の推定が行われる。これにより、図６の手ぶれ軌跡推定部５２は、手ぶれに由来する、検出対象画像に含まれるぶれ（画像上のぶれ）の軌跡を推定する。このぶれの軌跡を表す情報は、手ぶれ軌跡情報として画像劣化関数算出部５３に送られる。

推定されるぶれの軌跡は、点広がり関数（Point Spread Function；以下、ＰＳＦと呼ぶ）として表現することが可能である。理想的な点像が撮像装置１のぶれによって画像上で描く軌跡にあわせて重み付けがなされたオペレータ或るいは空間フィルタは、ＰＳＦと呼ばれ、手ぶれの数学モデルとして一般的に使用される。

検出対象画像を、ぶれを含む劣化画像と考えた場合、ＰＳＦは、画像劣化関数と解釈される。図６の画像劣化関数算出部５３は、手ぶれ軌跡情報から、画像劣化関数としてのＰＳＦを算出する。

ＰＳＦから、検出対象画像に含まれるぼけを除去するための画像復元フィルタを生成することが可能である。本実施形態では、画像復元フィルタ自体はフィルタリング部５５に実装されており、図６の画像復元フィルタ係数算出部５４がＰＳＦに基づいて画像復元フィルタのフィルタ係数を算出する。算出されたフィルタ係数は、フィルタリング部５５に実装された画像復元フィルタのフィルタ係数として用いられる。

図６のフィルタリング部５５は、この画像復元フィルタを用いて検出対象画像をフィルタリングすることにより、検出対象画像に含まれるぶれを除去或いは低減したフィルタリング画像を生成する。フィルタリング画像には、フィルタリングに伴うリンギングが含まれうるため、これをリンギング除去部５６で除去する。

即ち、リンギング除去部５６は、フィルタリング画像と検出対象画像とを加重平均することにより、復元画像を生成する。例えば、加重平均は、画素ごとに行われ、画素ごとの加重平均の比率は、検出対象画像の各画素のエッジ強度に応じて定められる。生成された復元画像は、検出対象画像に含まれるぶれが除去或いは低減され且つフィルタリングに伴うリンギングが除去或いは低減された画像となる。但し、フィルタリング部５５にて生成されるフィルタリング画像をそのまま復元画像として取り扱うことも可能である。この場合、リンギング除去部５６は省略される。

尚、ぶれの軌跡からＰＳＦを算出する手法、ＰＳＦから画像復元フィルタを生成する手法（ＰＳＦから画像復元フィルタのフィルタ係数を算出する手法）、画像復元フィルタを用いて劣化画像（検出対象画像）に含まれるぼけを除去したフィルタリング画像を生成する手法、フィルタリング画像に含まれうるリンギングを除去する手法は、全て公知であるため、詳細な説明を割愛する。それらの手法として、例えば上記特許文献１に記載の手法を用いればよい。

また、上述の手法によって推定される手ぶれ軌跡は、検出対象画像の中央領域に対する手ぶれ軌跡に相当する。画像の垂直位置が異なれば露光タイミングが異なるため、垂直位置が異なれば露光期間中の手ぶれ軌跡は厳密には異なる。しかしながら、本実施形態では、この厳密性を無視したことによる影響は軽微であるとして、中央領域に対する手ぶれ軌跡を推定し、これを検出対象画像の全体領域に適用するようにしている。

［高域強調処理の適用］
上述の如く、ローリングシャッタを用い、各画像を垂直方向に領域分割することにより、動き検出のサンプリング数を増やして動き検出の精度を向上させることができる。しかしながら、動き検出に用いる隣接フレーム間の時間間隔が従来と比べて短くなるわけではないため、推定される手ぶれ軌跡は、時間的な平均化処理（換言すれば、高域減衰処理またはローパスフィルタ処理）が加わったような手ぶれ軌跡となる。例えば、図１２（ｂ）の点２０１に対応する検出された動き速度は、領域分割数に応じて短縮化された微小区間における動き速度ではなく、あくまで、タイミングＴ_A1−Ｔ_B1間の平均的な動き速度となるからである（この平均時間は、隣接フレーム間の時間間隔に従うことになる）。

そこで、この平均化によって減衰した高域成分を補償すべく、領域動き情報から算出される動きデータに対して時間方向の高域強調処理を施すようにするとよい。そして、この高域強調処理後の動きデータを用いて、検出対象画像のぶれ（画像上のぶれ）の軌跡を推定するようにする。この高域強調処理を行うハイパスフィルタ（補正手段）は、例えば、動き検出部５１と手ぶれ軌跡推定部５２の間、または、手ぶれ軌跡推定部５２の内部に設けられる。動きデータは、画像上における、各タイミングの画像の動きの速度を表す。

図１３を参照して、この高域強調処理に対応する数値例を説明する。説明の簡略化上、垂直方向の動きにのみ着目する。図１３（ａ）に、この数値例における各数値を示し、図１３（ｂ）に、この数値例に対応するグラフを示す。各フレーム画像を垂直方向に５等分し、時刻０．０〜時刻５．０の間に第１参照画像が露光され、時刻５．０〜時刻１０．０の間に検出対象画像が露光され、時刻１０．０〜時刻１５．０の間に第２参照画像が露光されたとする。

図１３（ａ）において、第２列目に記載された各数値は、各時刻における撮影領域の垂直位置を表し、第３列目に記載された各数値は、各時刻における真の動き速度を表し、第４列目に記載された各数値は、領域動き情報から検出される各時刻における動き速度（以下、検出動き速度という）を表す。

時刻差「１」を単位時間として考える。例えば、時刻０．０−１．０間における真の動き速度（換言すれば、真の動き量）は、時刻０．０−１．０間の垂直位置の差分によって表される。一方、領域動き情報から算出される時刻０．０−５．０間の検出動き速度は、時刻０．０−５．０間の垂直位置の差分に１／５を乗じた値（＝２．２）となる。

垂直位置の差分によって算出される時刻０．０−１．０間の真の動き速度は、時刻０．０−１．０間の平均の動き速度である。従って、その動き速度を、時刻０．５における動き速度として解釈するのが妥当であるとも考えられるが、便宜上、単位時間の半分だけ遅らせて、それを時刻１．０における動き速度として考える。これに伴い、時刻０．０−５．０間の検出動き速度も単位時間の半分だけ遅らせて、それを時刻３．０における検出動き速度として考える。

図１３（ｂ）において、実線の折れ線２５１は、撮影領域の垂直位置をプロットしたものであり、破線の折れ線２５２は、真の動き速度をプロットしたものであり、実線の折れ線２５３は、検出動き速度をプロットしたものである。図１３（ｂ）における横軸は、時刻を表す。そして、時系列で並べた検出動き速度に対して時間方向の高域強調処理を施すことによって、実線且つ太線の折れ線２５４が描かれる。折れ線２５４は、折れ線２５３よりも、真の動き速度に対応する折れ線２５２に類似していることが分かる。

この類似性を最適化するためには、高域強調処理の特性、すなわちハイパスフィルタのフィルタ特性を最適化する必要があり、高域強調処理の特性は、フレーム周期と動き検出のサンプリング間隔とを考慮して適切に設定されるべきである。即ち、高域強調処理の特性（周波数応答特性）は、垂直方向の領域分割数Ｍに応じて適切に変更されるべきである。

＜＜変形等＞＞
上述の実施形態の変形例または注釈事項として、以下に、注釈１〜注釈４を記す。各注釈に記載した内容は、矛盾なき限り、任意に組み合わせることが可能である。

［注釈１］
上述した説明文中に示した具体的な数値は、単なる例示であって、当然の如く、それらを様々な数値に変更することができる。

［注釈２］
図６の各部位が有効に機能するタイミングは任意である。検出対象画像並びに第１及び第２参照画像の各画像データさえあれば、どのタイミングでも領域動き情報の算出を介して復元画像を生成可能だからである。

例えば、以下のような処理手順が採用可能である。撮影モードにおいて領域動き情報又は手ぶれ軌跡情報だけを作成して、それを図１のメモリカード１８に格納しておき、再生モードにおいて復元画像生成指示があった時に、格納された領域動き情報又は手ぶれ軌跡情報に基づいて検出対象画像から復元画像を生成する。

［注釈３］
図１の撮像装置１は、ハードウェア、或いは、ハードウェアとソフトウェアの組み合わせによって実現可能である。特に、図６に示される各部位の機能は、ハードウェア、ソフトウェア、またはハードウェアとソフトウェアの組み合わせによって実現可能であり、また、それらの各機能を撮像装置１の外部装置（不図示）にて実現することも可能である。

ソフトウェアを用いて撮像装置１を構成する場合、ソフトウェアにて実現される部位についてのブロック図は、その部位の機能ブロック図を表すことになる。また、図６に示される各部位にて実現される機能の全部または一部を、プログラムとして記述し、該プログラムをプログラム実行装置（例えばコンピュータ）上で実行することによって、その機能の全部または一部を実現するようにしてもよい。

［注釈４］
上述の実施形態において、図６の動き検出部５１は、領域動き検出手段として機能し、復元画像を生成する復元手段は、画像劣化関数算出部５３、画像復元フィルタ係数算出部５４、フィルタリング５５及びリンギング除去部５６から形成される。

本発明の実施形態に係る撮像装置の全体ブロック図である。 図１の撮像部の内部構成図である。 図２の撮像素子によるローリングシャッタを説明するための図である。 本発明の実施形態に係る動き検出処理の原理を表す概念図である。 本発明の実施形態に係る動き検出処理の原理を表す概念図である。 図１の撮像装置に実装される、手ぶれ検出及び画像復元に関与する部位のブロック図である。 図６の動き検出部によって定義される、各フレーム画像の分割の様子を示す図である。 図７に示される分割手法の変形例を示す図である。 図１の撮像部による撮影の風景を表す図であり、手ぶれに由来して撮影領域が変化していく様子を示す図である。 検出対象画像並びに第１及び第２参照画像の各露光タイミングを示す図である。 検出対象画像に関して算出される各領域動きベクトルを示す図である。 検出対象画像の撮影タイミング近辺における撮影領域の垂直位置を表す図（ａ）と、各領域動きベクトルから算出される各タイミングの垂直方向の動き速度を表す図（ｂ）と、時系列で並ぶ動き速度に基づいて推定される手ぶれ軌跡を表す図（ｃ）である。 検出された動きデータに対して時間方向の高域強調処理を施すことによる意義を説明するための図である。 従来の撮像装置による撮影の風景を表す図であり、手ぶれに由来して撮影領域が変化していく様子を示す図である。 図１４に示される撮影領域の変化に対応する、撮影領域の垂直位置の時間変化を表す図である。 従来の撮像装置による動き検出のサンプリングポイントを示す図である。 従来の撮像装置にて推定される手ぶれ軌跡と、真の手ぶれ軌跡と、を示す図である。

符号の説明

１ 撮像装置
１１ 撮像部
１３ 映像信号処理部
２３ ＣＰＵ
５１ 動き検出部
５２ 手ぶれ軌跡推定部
５３ 画像劣化関数算出部
５４ 画像復元フィルタ係数算出部
５５ フィルタリング部
５６ リンギング除去部

Claims (7)

1. 異なる水平ライン間で露光タイミングを異ならせつつ撮影を行う撮像素子の出力に基づき、その撮影によって得られる検出対象画像に対する動き検出を行う動き検出装置であって、
   前記検出対象画像の前後の撮影によって得られる各画像を参照画像とし、
   前記検出対象画像と各参照画像を垂直方向に領域分割して、前記検出対象画像と各参照画像間における、各分割領域内の画像の動きを領域動きとして検出する領域動き検出手段を備え、
   各領域動きに基づいて前記検出対象画像に対する動き検出を行う
   ことを特徴とする動き検出装置。
2. 各領域動きを前記検出対象画像の全体に対する互いに異なる時刻の動きと捉えることにより、前記検出対象画像に対する動き検出を行う
   ことを特徴とする請求項１に記載の動き検出装置。
3. 時系列で並べた各領域動きを表すデータに対して時間方向の高域強調処理を施すことにより各領域動きを補正する補正手段を更に備えた
   ことを特徴とする請求項２に記載の動き検出装置。
4. 前記検出対象画像と各参照画像に対する垂直方向の領域分割数に応じて、前記高域強調処理の特性は変更される
   ことを特徴とする請求項３に記載の動き検出装置。
5. 時系列で並べた各領域動きは、前記検出対象画像に含まれるぶれの軌跡を表す
   ことを特徴とする請求項１〜請求項４の何れかに記載の動き検出装置。
6. 請求項１〜請求項５の何れかに記載の動き検出装置による動き検出結果に基づいて前記検出対象画像に含まれるぶれの軌跡を推定するぶれ軌跡推定手段と、
   推定した前記ぶれの軌跡に基づいて前記検出対象画像における前記ぶれを低減した復元画像を生成する復元手段と、を備えた
   ことを特徴とする撮像装置。
7. 異なる水平ライン間で露光タイミングが異ならせつつ撮影を行う撮像素子の出力に基づき、その撮影によって得られる検出対象画像に対する動き検出を行う動き検出方法であって、
   前記検出対象画像の前後の撮影によって得られる各画像を参照画像とし、
   前記検出対象画像と各参照画像を垂直方向に領域分割して、前記検出対象画像と各参照画像間における、各分割領域内の画像の動きを領域動きとして検出し、
   各領域動きを前記検出対象画像の全体に対する互いに異なる時刻の動きと捉えることにより、前記検出対象画像に対する動き検出を行う
   ことを特徴とする動き検出方法。