JP2009033479A - 手ぶれ補正装置 - Google Patents

Abstract

【課題】奥行方向へのぶれを精度良く判定する。
【解決手段】処理を開始すると（ステップＳ１）、ｎ枚目の画像情報を取得し（ステップＳ２）、続けてｎ＋１枚目の画像情報を取得する（ステップＳ３）。次に、ステップＳ３で取得したｎ枚目の画像情報で示される画像内の複数の検出箇所に関して、ｎ枚目の画像情報とｎ＋１枚目の画像情報とを比較する（ステップＳ４）。さらに、ステップＳ４における比較結果に基づいて、画像内の複数の検出箇所における局所的な動きベクトルを検出し、基準位置座標と変換座標を求める（ステップＳ５）。そして、ステップＳ５での基準位置座標と変換座標とから、上記のようにして変換行列を算出する（ステップＳ６）。 最後に、ステップＳ６における変換行列の算出結果に基づいて、被写体の奥行方向の前後移動を判定する（ステップＳ７）。
【選択図】図１０

Description

本発明は、手ぶれ補正装置に関し、特に、撮影装置のぶれなどに起因する被写体の撮影装置に対する相対的な奥行方向への移動があるか否かを判定する技術、および、その奥行方向への移動判定技術を用いて撮影された画像情報を補正する技術に関する。

通常、カメラなどの撮影装置により被写体を撮影する際には、その撮影装置を人が手で支えて撮影を行っている。そのため、被写体を撮影する際には、所謂「手ぶれ」などによる撮影画像の品質低下という問題が常に存在している。このような問題を解決するために、従来では、三脚などで撮影装置を固定支持して撮影する方法の他に、振動ジャイロや角速度センサなどを利用し光学系や撮像素子を駆動制御することによってぶれの撮影への影響を低減させる技術が開示されている。また、下記特許文献１や特許文献２などにおいては、同一の被写体に対して時間的に前後して撮影された撮影画像のデータを、ソフトウェア上で電子的に比較処理することにより、撮影時に生じたぶれの方向を検出し補正する、いわゆる電子式と呼ばれるぶれ方向の検出方法および手ぶれ補正技術が開示されている。

特開平７−１７７４１９号公報 特開平５−１１０９３１号公報

ところが、例えば上記従来の電子式手ぶれ検出、補正技術では、ぶれの方向の検出において、上下あるいは左右という被写体の二次元方向へのぶれのみの検出しかしていない。しかしながら、実際には、上記の二次元方向へのぶれに加えて、撮影装置に対する奥行方向へのぶれも存在する。すなわち、従来の電子式手ぶれ検出・補正技術では、その奥行方向へのぶれも考慮に入れたぶれの検出や画像の補正を行っていない、という問題がある。特に、技術の進歩により撮影装置の小型、軽量化が図られたため撮影装置を片手で簡単に保持して撮影することが可能になり、従来の両手で支えて撮影するカメラと比べて手ぶれも発生しやすくなっている。

とりわけ、カメラ付携帯電話機や、液晶表示モニターなどを一体化して備えたデジタルカメラなどにおける撮影時には、従来のファインダーを覗くタイプのカメラと比べて奥行方向の手ぶれの発生が顕著になる。その理由は、従来型のカメラとカメラ付携帯電話などでは、その撮影装置の保持方法など撮影体勢が大きく異なるためである。

すなわち、従来のカメラでは、ファインダーを覗いて撮影する必要があるため、比較的身体の近くでカメラを保持した体勢で撮影する。従って、撮影装置も安定しやすく、奥行方向への手ぶれは比較的発生しにくい。一方、一般的には腕を伸ばし身体から撮影装置を離して保持するというカメラ付携帯電話などの撮影体勢では、その伸ばした腕が前後にぶれやすく、奥行方向への手ぶれも比較的発生しやすいという問題がある。

本発明は、奥行き方向の移動を精度良く判定することを目的とする。

本発明は、撮影時の被写体の奥行方向の前後移動を、画像内の局所的な動きベクトルに基づいて、変換行列を算出し、算出した変換行列から奥行き移動を判定させる判定する機能を備えた奥行方向移動判定装置を提供する。

上記構成を備えた本発明の奥行方向移動判定装置により、従来行っていた上下左右という二次元方向への被写体のぶれのみならず、撮影時に発生する奥行方向への前後移動のぶれを判定することが可能になる。また、その判定を利用した本発明の手ぶれ補正システムにより撮影装置の奥行方向へのぶれにより発生した撮影画像のぶれを、上下左右方向のぶれではなく、奥行方向へのぶれとしてその方向を正しく検出することができる。また、その正確なぶれ方向の検出に基づいて、撮影画像に対する正確な補正をすることが可能になる。

以下に、本発明の実施の形態について図面を参照しながら説明を行う。尚、本発明は、これら実施の形態に限定されるものではなく、その要旨を逸脱しない範囲において、様々な変形例を含むものである。

図１及び図２は、本実施の形態によるカメラ付き携帯電話機の構成例を示す図である。図１、図２に示すように、本実施の形態による携帯電話機１は、ネットワークＮＴに対する接続を行うアンテナを含む無線通信部３と、例えばテレビ受信部と、カメラ７と、操作部１５と、ＬＣＤ表示部１７と、全体の制御を行う制御部（ＣＰＵ）２１と、レジスタなどの記憶部２５と、入力映像信号を信号処理する映像信号処理部２７と、を有している。さらに、奥行方向移動判定装置５１が設けられている。奥行方向移動判定装置５１の詳細な構成については後述する。以下の説明では、携帯電話機に関しての撮像機能に着目して説明するため、撮像装置との用語を使用する。

図５は、カメラによる撮影に際して生じる撮影装置の「ぶれ」の方向について説明するための原理図である。尚、図５（Ａ）は、被写体１０１と撮影装置１０３とを上方から見た図である。また図５（Ｂ）は、被写体１０１と撮影装置１０３とを側面から見た図である。まず、図５（Ａ）の矢印αで示すように、撮影装置１０３は被写体１０１に対して、左右方向へぶれる可能性が高い。一方、図５（Ｂ）の矢印βで示すように、撮影装置１０３は、被写体１０１に対して上下方向へもぶれる可能性がある。しかしながら、撮影装置１０３は、これらの、左右又は上下方向に関するぶれのみならず、図５（Ａ）および（Ｂ）の矢印γで示すように、被写体１０１に対して奥行方向の前後（前後方向）にぶれる可能性もある。本願では、この点にポイントをおいている。

図６は、上記撮影装置のぶれにより生じる撮影画像におけるぶれの一例を示す図である。尚、図６は、例えば動画像撮影において時間軸上で近傍にある個々のフレーム（コマ）画像を重ね合わせた様子を示す図である。図６に示すように、例えば図５の矢印αで示すように撮影装置が左右方向へぶれている場合、図６のαに示すように、その撮影画像１７内で、本来実線で示す位置１０５に撮影されるべき被写体が、前後のフレームにおいてそれぞれ破線１０５ｂ・１０５ａで示すように、左右の位置にぶれてしまう。同様に、図５の矢印βで示す上下方向のぶれがある場合、図６のβで示すような被写体１０５の上下のぶれ（１０５ｃ・１０５ｄ）が発生する。さらに、図５の矢印γで示す三次元方向の前後移動のぶれがある場合、図６のγで示すように、二次元の撮影画像内では被写体像１０５の拡大縮小１０５ｅという形でぶれが撮影される。従って、これを動画像として再生すると、被写体がぶれて動くため、見づらい再生（動）画像になってしまう。

そこで、従来の手ぶれ補正システムにおける手ぶれの方向判定装置では、図５の矢印αや矢印βに示すような上下左右でのぶれの方向を検出している。そして、その検出結果に基づいて、図６のα、βで示すような手ぶれ撮影画像に対する補正を行っている。しかしながら、本実施の形態による奥行方向移動判定装置では、従来のα、βで示すような手ぶれ撮影画像に対する補正のみならず、矢印γで示すような三次元の奥行方向に関する前後のぶれについても、その手ぶれの方向を正確に判定する点を特徴としている。それにより従来では手ぶれの方向を正確に検出できず補正が困難であった図２のγで示すような撮影画像に関しても正確な手ぶれ補正を行うことが可能となる。

以下、より具体的な実施例について図面を参照しながら説明を行う。

＜実施例１の構成＞
図３は、本実施例による奥行方向移動判定装置の一構成例を示す機能ブロック図である。図３に示すように、本実施例による奥行方向移動判定装置５１は、画像情報取得部５５と、動きベクトル検出部５７と、変換行列算出部６１と、移動判定部６５と、を有している。

尚、以下に記載する本実施例による機能は、実際には、ハードウェア、ソフトウェア、又は、ハードウェアとびソフトウェアとの両方により実現することができる。より具体的には、コンピュータを利用するものであれば、ＣＰＵ（中央演算処理装置）やメモリ、バス、ハードディスクや不揮発性メモリなどの記憶装置、ＣＤ−ＲＯＭやＤＶＤ−ＲＯＭなどの記憶メディア、それらメディアの読取ドライブ、各種通信や印刷機器用の送受信ポート、その他の周辺装置などのハードウェア構成部や、それらハードウェアを制御するためのドライバプログラムやその他アプリケーションプログラム、情報入力に利用されるインターフェースなどが挙げられる。具体的には、メモリ上に展開されたプログラムを順次実行することで、メモリ上のデータや、インターフェースを介して入力されるデータの加工、蓄積、出力などにより各部の機能が実現される。

図４を参照して、本実施例による奥行方向移動判定器を備えた撮像装置のハードウェア構成の一例について説明する。以下、図３の機能ブロック図と、図４のハードウェア構成例とを参照しながら、本実施例による奥行方向移動判定機能及びそれを実現するための構成の一例について説明する。

画像情報取得部５５は、画像情報を取得する機能を有する。画像情報には、ＣＣＤイメージセンサ３３やＣＭＯＳイメージセンサ（３３）などの光電変換素子やカラーフィルターなどを利用し取得された、画素単位のＲＧＢ値やＹＵＶ値などの数値で表される画像情報などが挙げられる。尚、この画像情報取得部５５で取得される画像情報は、同一の被写体に対して時間遷移にともなって複数枚分だけ取得される必要がある。その理由は、後述する動きベクトルを検出する際に、時間的にずれた複数枚分の画像情報が必要になるためである。ここで、「同一の被写体に対して時間遷移にともなって取得された複数の画像情報」とは、図７に示すように、例えば、動画像の撮影の場合には、その動画像を構成する時間（ｔ）的に連続した（あるいは非連続でも良い）フレーム（コマ）に相当する複数の画像情報１０５、１０５ｆ、１０５ｇが挙げられる。

一方、静止画像であれば、静止画の撮影を行った被写体について、その直後にも同様に撮影することで複数の画像情報を取得する方法を用いることができる。このように時間遷移に応じて同一被写体に対する連続（または所定の間隔で非連続の場合も含む）の画像情報を比較することにより、後述するように動きベクトルを検出することが可能になる。

また、上記の画像情報は符号化された情報であり、復号化されることで画像を表示可能な情報であっても良い。その場合には、動画像であればフラクタル符号化などを利用して単独で符号化された画像情報であっても良いし、時間的に前の画像情報及び／又は後ろの画像情報を参照するフレーム間予測を利用して符号化された画像情報であっても良い。

この「画像情報取得部」による画像の取得処理は、例えば、図４に示すレンズ３１を通った被写体からの光が画素単位に相当するＣＣＤ素子の集合体であるＣＣＤイメージセンサ３３によって光電変換され、変換された電荷の量に応じてＡ／Ｄ変換器３５によって画像情報を示すデジタルデータが生成され取得する方法が挙げられる。そして、このように取得された画像情報が、一時記憶メモリ４１や記憶装置４５内の所定のアドレスの記憶領域に、例えばフレーム番号と対応して記憶される。ここで、フレーム番号とは、画像情報取得の時間経過に応じて割り振られる番号であり、画像情報が動画像情報であれば再生順番を示す情報となる。また、画像情報が静止画像であれば、例えば連続撮影の撮影順を示す情報となる。このように、画像情報とフレーム番号と、を対応させて所定のアドレスに記憶することにより、後述するように、ＣＰＵの演算処理等によって動きベクトルの検出を行う際に、時間的に前後した画像情報を比較して、動きの検出処理を行うことが可能になる。

動きベクトル検出部５７は、画像情報取得部５５において取得される複数枚の画像情報に基づいて、画像内の複数の検出箇所における局所的な動きベクトルを検出する機能を有する。図８は、この動きベクトルの検出の一例について説明するための図である。図８（Ａ）や図８（Ｂ）に示すように、画像情報取得部で取得される画像情報１７は、例えば分割領域を指定するためのサイズ情報や位置情報などによって、その内部が領域画定線２０３・２０５によって仕切られる所定の格子状領域２０１として分割されている。尚、本実施例では、この格子状領域のうち、図９に示す所定の５箇所２３１・２３３・２３５・２３７・２４１を検出対象箇所とし、それぞれの検出箇所における局所的な動きベクトル２３１ｎ、…、２４１ｎを検出する処理例について説明する。もちろん、上記格子状領域（あるいは格子状以外の形状の領域）の全てを検出箇所として、それぞれにおける局所的な動きベクトルを検出して処理を行っても良い。

図８（Ａ）の画像情報１の画像１７において、領域画定線２０３・２０５によって仕切られた斜線で示す格子状領域２０１は、上記所定の５箇所の検出箇所のうちの１つであるとする。そして、この検出箇所２０１における局所的な動きベクトルの検出は、例えば以下のような処理により行われる。すなわち、この検出箇所２０１内の被写体画像が、時間的にその次以降のフレームである図８（Ｂ）の画像情報２の画像においてどの位置に移動しているかを判断する。その判断のために、例えばブロックマッチングなどの画像マッチング処理技術を利用することができる。ブロックマッチングでは、まず図８（Ｂ）の画像情報２の画像２１５内から、上記検出箇所２０１と同じ位置のブロックを中心として周囲所定個のブロック群で構成される探索範囲２１５を定める。そして、この探索範囲２１５の中から、画素値やその分布情報などを利用して、図８（Ａ）の検索箇所２０１内の被写体画像と最も近似しているブロック、例えば２１１を検出する。

そして、その移動量を水平、垂直成分として、検出箇所２０１における局所的な動きベクトル２０１ｎ（点Ｐ１を基点とし点Ｐ２に至るベクトル）が検出される、というように処理を行う。そして、動きベクトルを算出するために用いた基準位置座標Ｐ１を(x,y)とし、動きベクトルを算出するために用いた基準位置座標Ｐ１(x,y)と動きベクトルを足し合わせた座標Ｐ２を(x’, y’)（以降では、変換座標と呼ぶ。）を求める。

そして、その他の検出箇所についても、基準位置座標Ｐ１と変換座標Ｐ２とを関連づけて、後述する変換行列算出部において、左右上下方向の移動方向情報と、回転方向情報と、奥行き方向情報と、を算出することにより、奥行方向移動判定装置において、被写体の奥行方向への移動を判定することができる。尚、５箇所のサンプル検出箇所がある場合には、基準位置座標Ｐ１と変換座標Ｐ２との関連付けされた関連ペアが５つ存在することになる。

変換行列算出部６１で変換行列を算出するためには、最低でも３つの関連ペアが必要となるが、一般的にはサンプル箇所が多いほど、変換行列算出部６１から算出される上下左右方向の推定移動位置情報と、奥行き方向の移動推定情報と、に関する精度が良くなる。

変換行列算出部６１は、動きベクトル検出部５７における検出結果に基づいて、上下左右方向の移動位置情報と、奥行き方向の推定情報と、を算出する機能を有する。

以下に、算出する方法の一例を示す。

動きベクトル検出部５７で検出した基準位置座標(x,y)と変換座標(x’, y’)とは、２次元の座標上では上記（１）式のように表すことができる。上下左右方向へ移動は、(dx,dy)が(０,０)以外の値を示している。ｓは、スケール要素を持つ変数であり、奥行き方向の移動は、ｓ＞１であれば、被写体へ近づく方向で、ｓ＜１であれば被写体から遠ざかる方向へ移動していることになる。θは画像の回転角を示すことになる。

動きベクトル検出部５７で検出した基準位置座標(x,y)と変換座標(x’, y’)とで関連付けされたデータを使用して、最小二乗法やＭ推定法を用いることで、式（１）におけるs、(dx,dy)とθの値とを算出することができる。

移動判定部６５は、変換行列算出部６１での算出結果に基づいて、被写体の奥行方向の前後移動を判定する機能を有する。尚、「被写体の奥行方向への前後移動」とは、撮影装置と被写体とが、奥行方向に相対的に前後移動することを指す。したがって、被写体だけではなく撮影装置が前後に移動する場合も含むものである。

移動判定部６５では、変換行列算出部６１で算出したｓの値が、所定の閾値Ａ以上であるか、或いは、Ｂ以下であれば、奥行き方向の前後移動が行われていると判定する。

このようにしてなされた動きの方向の判定結果を利用して、例えば撮影装置の表示部に「カメラが前後方向にぶれています」などの警告メッセージを表示するとユーザにとってわかりやすい。より具体的には、例えば１／３０秒ごとに上記の判定処理を行い、１秒間における３０回の判定うち最も多く判定されたぶれの方向に関する警告を表示する、などの例が挙げられる。奥行き方向に関する移動距離自体又は移動距離大きさに応じて異なるマーク表示を行ったり、グラフ表示を行うようにすることで、移動に関する目安をユーザに提供することも可能である。また、奥行き方向に関する移動に応じて、メカニカルにその移動を補正する機構を設けることで、撮影時の奥行き方向のぶれを低減することも可能である。

次に、上記実施例1の処理の流れについて説明する。図１０は、本実施例による奥行方向移動判定装置における処理の流れの一例を示すフローチャート図である。この図に示すように、まず、処理を開始すると（ステップＳ１）、ｎ枚目の画像情報を取得し（ステップＳ２）、続けてｎ＋１枚目の画像情報を取得する（ステップＳ３）。次に、ステップＳ３で取得したｎ枚目の画像情報で示される画像内の複数の検出箇所に関して、ｎ枚目の画像情報とｎ＋１枚目の画像情報とを比較する（ステップＳ４）。さらに、ステップＳ４における比較結果に基づいて、画像内の複数の検出箇所における局所的な動きベクトルを検出し、基準位置座標と変換座標を求める（ステップＳ５）。そして、ステップＳ５での基準位置座標と変換座標とから、上記のようにして変換行列を算出する（ステップＳ６）。

最後に、ステップＳ６における変換行列の算出結果に基づいて、被写体の奥行方向の前後移動を判定し（ステップＳ７）、その判定結果に基づいて、例えば撮影装置のぶれの方向を警告したり、画像の補正をメカニカルに又は画像処理により行ったり、あるいは、画像分類用のインデックスを付与したりすることができる。

＜実施例１の効果の簡単な説明＞
以上のように、本実施例の奥行方向移動判定装置によって、奥行方向への前後移動のぶれを判定することが可能になる。また、その判定結果から、例えば撮影装置のぶれの方向についての警告メッセージを表示することができるようになる。
また、後述するように、本発明の手ぶれ補正システムに組み込まれることで、撮影装置の奥行方向へのぶれにより発生した撮影画像のぶれを、上下左右方向のぶれではなく奥行方向へのぶれとしてその方向を正しく認識し、その正確なずれの方向に応じた補正することが可能になる。あるいは、動画の動きの方向による分類用インデックスを付与することもできるようになる。

以上の説明は本発明の好適な実施の形態の例証であり、本発明の範囲はこれに限定されることはない。なお、本発明は、上記の実施例に何ら限定されるものではなく、本発明の技術的範囲に属する限り種々の形態を採り得ることはいうまでもない。また、応用に関しても同様である。また、手ぶれ補正装置を有すればどんな機器にも適用できる。例えば、デジタルカメラ、デジタルビデオカメラ、携帯電話装置、ＰＤＡ等の携帯情報端末、映像編集装置、パソコン等の情報処理装置にも適用可能である。

尚、本発明は、装置またはシステムとして実現できるのみでなく、方法としても実現可能である。また、このような発明の一部をソフトウェアとして構成することができることもできる。さらに、そのようなソフトウェアをコンピュータに実行させるために用いるソフトウェア製品、及び同製品を記録媒体に固定した記録媒体も、当然にこの発明の技術的な範囲に含まれる。

本発明の一実施の形態による携帯電話機の正面図である。 図１の携帯電話機の内部構成例を示す機能ブロック図である。 本実施の形態による奥行方向移動判定装置の一構成例を示す機能ブロック図である。 実施の形態による奥行方向移動判定器を備えた撮像装置のハードウェア構成の一例について説明する。 カメラによる撮影に際して生じる撮影装置の「ぶれ」の方向について説明するための図 撮影装置のぶれにより生じる撮影画像でのぶれの一例を表す図である。 撮影動画像でのぶれの一例を表す図である。 動きベクトルの検出の一例について説明するための図である。 所定の５箇所を検出対象箇所とし、それぞれの検出箇所における局所的な動きベクトルを検出する処理の様子を示す図である。 奥行方向移動判定装置における処理の流れの一例を表すフローチャート図である。

符号の説明

５１…奥行方向移動判定装置、５５…画像情報取得部、５７…動きベクトル検出部、６１…変換行列算出部、６５…移動判定部。

Claims (9)

1. 画像情報を取得する画像情報取得部と、
   前記画像情報取得部において取得される複数の画像情報に基づいて、ある検出箇所における局所的な動きベクトルを検出する動きベクトル検出部と、
   前記動きベクトル検出部における検出結果に基づいて、変換行列を算出する変換行列算出部と、
   該変換行列算出部での変換行列の算出結果に基づいて、被写体の奥行方向の前後移動を判定する移動判定部と
   を有することを特徴とする奥行方向移動判定装置。
2. 画像情報を取得する画像情報取得部と、
   前記画像情報取得部において取得される複数の画像情報に基づいて、画像内の複数の検出箇所における局所的な動きベクトルを検出する動きベクトル検出部と、
   前記動きベクトル検出部での検出結果に基づいて、変換行列を算出する変換行列算出部と、
   該変換行列算出部での変換行列の算出結果に基づいて、被写体の奥行方向の前後移動を判定する移動判定部と
   を有する奥行方向移動判定装置。
3. 請求項１又は２に記載の奥行方向移動判定装置を有することを特徴とする手ぶれ補正装置。
4. 請求項３に記載の手ぶれ補正装置を有することを特徴とする電子機器。
5. デジタルカメラ又はデジタルビデオカメラであることを特徴とする請求項４に記載の電子機器。
6. カメラ付き無線通信端末またはカメラ付き携帯情報端末であることを特徴とする請求項４に記載の電子機器。
7. 画像情報を取得する画像情報取得ステップと、
   前記画像情報取得部にて取得される複数枚の画像情報に基づいて、画像内の複数の検出箇所における局所的な動きベクトルを検出する動きベクトル検出ステップと、
   前記動きベクトル検出ステップでの検出結果に基づいて、変換行列を算出する変換行列算出ステップと、
   変換行列算出ステップでの算出結果に基づいて、被写体の奥行方向の前後移動を判定する移動判定ステップと
   を有する奥行方向移動判定方法。
8. 請求項７に記載のステップをコンピュータに実行させるためのプログラム。
9. 請求項８に記載のプログラムを記録するコンピュータ読み取り可能な記録媒体。

Images