JP2007259104A

JP2007259104A - ２画面間の移動ベクトル算出方法及びその装置

Info

Publication number: JP2007259104A
Application number: JP2006081170A
Authority: JP
Inventors: Hiroshi Iwabuchi; 浩志岩淵
Original assignee: Fujifilm Corp
Current assignee: Fujifilm Corp
Priority date: 2006-03-23
Filing date: 2006-03-23
Publication date: 2007-10-04

Abstract

【課題】精度の高い２画面間の移動ベクトルを少ない演算量で算出する。
【解決手段】第１画面と第２画面の夫々の画像を同一複数領域に分割し、各分割領域夫々の中から基準画像をブロック２で切り出して各基準画像を評価し、評価値が最上位となる１個の基準画像が存在する分割領域の移動ベクトルｋ―７を算出し、この移動ベクトルｋ―７を第１画面に対する第２画面の移動ベクトルとする。
【選択図】図２

Description

本発明は、手振れ等の移動ベクトル（移動量及び移動方向）を検出する２画面間の移動ベクトル算出方法及びその装置に関する。

例えば、動画撮影機能を有するデジタルスチルカメラやデジタルビデオカメラ等を手に持ち動画を撮影する場合、カメラを持つ手が振れると、あるフレームの画像中に映っている静止物画像の位置が次フレームの画面では移動してしまい、見づらい動画になってしまう。そこで、あるフレームの画像に対して次フレームの画像の移動ベクトルを検出し、画像が揺れない様に手ぶれ補正を行うことが行われている。

図５は、手振れ補正を行うときの移動ベクトルを検出する原理を示す説明図である。図５（ａ）に図示する例では、１画面を４分割し、各分割領域で以下の処理を行う。

Ｎフレーム目の画像１中の所定アドレスで示されるブロック２―１内の画像を基準画像とし、図５（ｂ）に示す（Ｎ＋１）フレーム目の画像３中の同一所定アドレスで示されるブロック４―１によって切り出された画像が基準画像と同一であれば、この分割領域内の画像１に対して同一分割領域内の画像３は振れていないことになる。

しかし、手振れが発生していれば、ブロック２―１内の基準画像とブロック４―１で切り出された画像は一致しない。そこで、画像３中のブロック４―１を、４―１ａ，４―１ｂ，４―１ｃ，…と、Ｘ方向（水平方向），Ｙ方向（垂直方向）にずらしながら、各ブロック４―１ａ，４―１ｂ，４―１ｃ，…内の夫々の画像を基準画像と比較し、基準画像と最も相関性が高い比較画像を切り出したブロック位置を求める。

図５（ｂ）に示す例で、ブロック２―１の基準画像に対し最も相関性が高い比較画像がブロック４―１ｃで切り出されたとすると、この分割領域における画像１に対する画像３の差は「Ｋ―１」となる。このＫ―１が分割領域における２画面間の移動ベクトルとなる。

図示する例では、４つの分割領域毎の移動ベクトルＫ―１，Ｋ―２，Ｋ―３，Ｋ―４が求まり、この４つの移動ベクトルの平均値Ｋを求めれば、これが２画面間の移動ベクトルとなる。従って、画像１を表示した次に、画像３を移動ベクトルＫだけ同方向に移動させて表示すれば、手振れの無い画像を表示することができる。

尚、手振れ補正に関連する従来技術として、下記特許文献１，２等がある。

特開２００３―３３１２９２号公報特開２００４―１４６９９５号公報

各分割領域毎の移動ベクトルを算出する場合、基準画像と比較画像の相関性を求める演算を行う。即ち、基準画像と比較画像の１画素１画素の画素データを比較し、各画素データ間の差分を求める。そして、ブロック内総画素について前記差分の総和（積算値）を算出する。この積算値を、比較画像を切り出すブロックを移動させる毎に求め、各ブロック位置における積算値のうち、最小値を示すブロック位置が、当該分割領域における手振れ先のブロック位置として決定される。

比較画像を切り出すブロックの移動は１画素単位または数画素単位となるため、１つの分割領域に対して演算量は非常に膨大となる。しかも、図示する例では、この演算を４つの分割領域毎に行うため更に演算負荷が増大し、次のフレーム画像が取り込まれる前に２画面間の移動ベクトルを算出するのに高性能，高コストの演算処理装置が必要になってしまうという問題がある。

本発明の目的は、精度の高い２画面間の移動ベクトルを少ない演算量で高速に算出することができる２画面間の移動ベクトル算出方法及びその装置を提供することにある。

本発明の２画面間の移動ベクトル算出方法及びその装置は、第１画面と第２画面の夫々の画像を同一複数領域に分割し、各分割領域夫々の中から基準画像を切り出して各基準画像を評価し、評価値が最上位となる１個の基準画像が存在する分割領域の移動ベクトルを算出し、該移動ベクトルを前記第１画面に対する前記第２画面の移動ベクトルとすること特徴とする。

本発明の２画面間の移動ベクトル算出方法及びその装置は、第１画面と第２画面の夫々の画像を同一複数領域に分割し、各分割領域夫々の中から基準画像を切り出して各基準画像を評価し、評価値が上位となる複数個の基準画像が存在する分割領域毎の移動ベクトルを算出し、該分割領域毎の前記移動ベクトルから前記第１画面に対する前記第２画面の移動ベクトルを算出すること特徴とする。

本発明の２画面間の移動ベクトル算出方法及びその装置における前記評価値は、基準画像のダイナミックレンジ評価値，シャープネス評価値，空間周波数評価値のいずれか１つまたは複数の組み合わせで算出することを特徴とする。

本発明の２画面間の移動ベクトル算出方法及びその装置では、基準画像のダイナミックレンジが小さいとき前記ダイナミック評価値が低いことを特徴とする。

本発明の２画面間の移動ベクトル算出方法及びその装置では、基準画像のシャープネスが小さいとき前記シャープネス評価値が低いことを特徴とする。

本発明の２画面間の移動ベクトル算出方法及びその装置では、基準画像の空間周波数が単一周波数に集中しているとき、または高周波側に集中しているとき、または低周波側に集中しているとき、前記空間周波数評価値が低いことを特徴とする。

本発明によれば、画面を複数分割領域に分割し、各分割領域内の基準画像を評価し、評価の高い基準画像に対応する分割領域の移動ベクトルを求め、この移動ベクトルを２画面間の移動ベクトルとするため、演算負荷が小さくて済み、また、評価値の高い基準画像を用いているため、２画面間の移動ベクトルの算出精度も高くなる。

以下、本発明の一実施形態について、図面を参照して説明する。

図１は、本発明の一実施形態に係る２画面間の移動ベクトル算出装置を搭載した動画撮影機能付デジタルスチルカメラの要部構成図である。図示しない固体撮像素子から出力された画像データは、フレームメモリ１０に格納され、各種画像処理が施された後に画像圧縮回路１１により圧縮され、記録メディア１２に格納される。

画像圧縮回路１１が画像データの圧縮処理を行うときフレームメモリ１０の格納画像が切り出されるが、このとき、２画面間の移動ベクトル算出装置が算出した移動ベクトルが用いられ、手振れ補正された圧縮画像データが記録メディア１２に格納される。

２画面間の移動ベクトル算出装置は、固体撮像素子から出力された画像データを取り込み間引き処理する前処理部２１と、前処理部２１で間引き処理され生成された縮小画像データを保存する２つのメモリ２２，２３と、２つのメモリ２２，２３の一方を前処理部２１に切替接続するスイッチ２４とを備える。

この移動ベクトル算出装置は更に、基準画像切出回路２６と、比較画像切出回路２７と、基準画像切出回路２６及び比較画像切出回路２７とメモリ２２，２３との間に設けられメモリ２２，２３の一方を基準画像切出回路２６に接続したときメモリ２２，２３の他方を比較画像切出回路２７に接続する接続切替回路２８と、両切出回路２６，２７の出力画像データを比較して相関性の演算処理等を行い２画面間の移動ベクトルを求め画像圧縮回路１１に出力する比較演算処理部２９とを備える。

斯かる２画面間の移動ベクトル算出装置では、Ｎフレーム目の画像データ，Ｎ＋１フレーム目の画像データ，Ｎ＋２フレーム目の画像データ，……が次々と入力してくる。前処理部２１は、各フレームの画像データを次々と間引き処理し縮小画像データを生成して出力し、スイッチ２４はフレーム切替信号によって切り替え制御される。

これにより、Ｎフレーム目の縮小画像データがメモリ２２に格納され、Ｎ＋１フレーム目の縮小画像データがメモリ２３に格納されると、メモリ２２の格納画像データ（今回の基準画像データ）に対するメモリ２３の格納画像データ（今回の比較画像データ）の移動ベクトルが後述する様にして算出される。

次にＮ＋２フレーム目の縮小画像データがメモリ２２に上書きされると、メモリ２３の格納画像データ（Ｎ＋１フレーム目の縮小画像データ：次回の基準画像データ）に対するメモリ２２の格納画像データ（次回の比較画像データ）の移動ベクトルが後述する様にして算出され、以後、同様の処理が繰り返される。

この様に、移動ベクトルを算出する場合、比較演算処理部２９の処理負荷の軽減と処理速度の高速化を図るために縮小画像データを用いて行うのが好ましいが、縮小画像データを用いずに固体撮像素子から出力される画像データをそのまま用いることも可能である。

接続切換回路２８は、フレーム切替信号により、基準画像とする方の縮小画像データを格納したメモリ２２，２３の一方を選択して基準画像切出回路２６に接続し、メモリ２２，２３の他方を比較画像切出回路２７に接続する。

本実施形態では、図２（ａ）に示す様に、１画面を４行４列の計１６個の探索範囲（分割領域）５に分割して２画面間の移動ベクトルを算出するが、１６個の探索範囲５の夫々の移動ベクトルを算出し平均値を求めると、演算負荷が膨大となり短時間に２画面間の移動ベクトルを算出することが困難になる。

このため、１６個のうちの１つの探索範囲５を選択し、この１つの探索範囲５、例えば第２行第３列目の探索範囲における移動ベクトルｋ―７を算出し、この移動ベクトルｋ―７を、２画面間の移動ベクトルとする。

そこで、基準画像切出回路２６は、最初に、１６個の探索範囲５の各基準画像を各ブロック２によって切り出し、比較演算処理部２９に出力する。比較演算処理部２９は、１６個の基準画像を後述する様な判断基準によって解析し、最も２画面間の移動ベクトルを求めるのに相応しい基準画像を決定する。そして、この基準画像の探索範囲がどの場所の分割領域であるかを比較画像切出回路２７に通知する。

比較画像切出回路２７は、通知された分割領域の中から、基準画像が切り出されたブロックと同一大きさのブロックによって比較画像（今の場合、Ｎ＋１フレームの縮小画像データとする。）を切り出し、比較演算処理部２９に出力する。

比較演算処理部２９は、切出回路２６，２７から取り込んだ両画像を１画素単位に比較して各画素毎のデータ差分、例えば、輝度の差分、色差の差分、原色系フィルタの場合はＲＧＢ色毎の差分、補色系フィルタの場合は補色毎の差分等のいずれか１つまたは複数の組み合わせを求め、各差分のブロック内総画素の積算値を算出し、自身内の内部メモリ（図示せず）に保存しておく。

積算値が算出された後、比較演算処理部２９は比較画像切出回路２７に移動指令を出力する。これにより、比較画像切出ブロックが当該探索範囲内で次位置に移動し（縮小画像データを用いているため、移動は、縮小画像上の１画素単位となる。）、次の比較画像が切り出され、比較演算処理部２９はこの比較画像と基準画像との比較演算を行い、各画素の差分の上記積算値を同様にして求める。

以下同様にして、次々と当該探索範囲（上記の例では、第２行第３列の分割領域５）内の比較画像を切り出し、各比較画像毎の積算値を求め、各積算値（この値が大きいほど不一致量が大きなる。）のうちの最小値（相関性の最高値）を求める。

そして、積算値が最小値を示す比較画像を切り出したブロックのアドレスと、基準画像を切り出したブロックのアドレスの差（移動量，移動方向）を求め、図２（ｂ）に示す様に、移動ベクトルｋ―７として算出する。そして、この移動ベクトルｋ―７を、２画面間の移動ベクトルＫとして画像圧縮回路１１に出力する。

図３は、比較演算処理部２９が１６個の探索範囲ｉ（ｉ＝１〜１６）の基準画像を解析しその中から１つの探索範囲を決定する処理手順を示すフローチャートである。

先ず、変数ｉ＝１とし（ステップＳ１）、基準画像ｉを取り込む（ステップＳ２）。例えば、図２（ａ）で第１行第１列の探索範囲をｉ＝１，第１行第２列の探索範囲をｉ＝２，…，第４行第４列の探索範囲をｉ＝１６としておく。

次のステップＳ３では、基準画像ｉの評価処理を行う。図４は、基準画像ｉの評価処理の詳細手順を示すフローチャートである。

基準画像ｉの評価処理では、先ず、ステップＳ３１で、基準画像ｉのダイナミックレンジＤｉを評価する。ダイナミックレンジＤｉは、例えば、基準画像ｉ中の最高輝度値と最低輝度値との差として求める。

ダイナミックレンジが大きい画像は明暗差の大きい画像である。このため、ダイナミックレンジの大きい基準画像に対して相関性の高い（不一致量が小さい）比較画像を検出するのは容易である。

しかし、ダイナミックレンジの小さい画像は、例えば、壁などの様に明暗の変化が乏しいノッペリとした画像であり、基準画像と比較画像を比較しても相関性が高いのか低いのか良く分からない画像といえる。即ち、ダイナミックレンジの小さい画像は、２画面間の移動ベクトルを算出するには信頼性が低いといえる。

次のステップＳ３２では、基準画像ｉのシャープネスＳｉを評価する。シャープネスＳｉは、隣接画素間の差分（微分）として求めることができ、差分が大きいほど評価値Ｓｉが大きくなる。

シャープネスが大きい画像は、例えば、画像中のエッヂが明確な画像であるため、この基準画像に対して相関性の高い（不一致量が小さい）比較画像の位置を検出するのは容易である。

しかし、シャープネスが小さい画像は、輪郭が不鮮明な画像であるため、相関性が高いのか低いのか良く分からない画像といえる。即ち、シャープネスの小さい画像は、２画面間の移動ベクトルを算出するには信頼性が低いといえる。

次のステップＳ３３では、基準画像ｉの空間周波数Ｆｉを評価する。空間周波数は、例えば、ＦＦＴ（高速フーリエ変換），ＤＣＴ（離散コサイン変換），直交変換，カルーネン・レーベ変換，アダマール変換等で求めることができる。

基準画像ｉ中に、強い繰り返し模様が存在すると、空間周波数分布で１つの周波数にピーク（大きな値）が現れる。この場合、比較画像を切り出すブロックのずらし量が繰り返し模様の周期に一致してしまうと、上記積算値の極小値が周期的に発生することになり（これは、移動ベクトルとなりえる候補が多数存在することを示す。）、２画面間の移動ベクトル算出の信頼性を低下させることになる。

また、空間周波数が高周波側に集中している場合にも、繰り返し模様が基準画像ｉ中に存在していることを示し、比較画像を切り出すブロックのずらし量に対して不一致量の極小値が周期的に発生することを意味する。即ち、空間周波数が高周波側に集中している画像は、２画面間の移動ベクトルを算出するには信頼性の低い画像といえる。

また、空間周波数が低周波側に集中している場合は、比較画像を切り出すブロックのずらし量に対する相関性の変化量（不一致量の変化量）が小さくなり、不一致量の最小値を求める精度が低下してしまう。即ち、２画面間の移動ベクトルを算出するには、信頼性の低い画像といえる。

次のステップＳ３４では、ダイナミックレンジＤｉ，シャープネスＳｉ，空間周波数Ｆｉに基づき、総合評価値Ｔｉを算出する。総合評価値Ｔｉは、Ｄｉ，Ｓｉ，Ｆｉの一次結合式で求めても、積値で求めても良い。

基準画像ｉの総合評価値Ｔｉが求まると、次に、図３のステップＳ４に進み、ｉ＝１６であるか否かを判定する。ｉ＝１６でない場合には、ステップＳ５でｉ＝ｉ＋１として上記のステップＳ２に戻る。これにより、図２（ａ）に示す１６個の探索範囲ｉ（ｉ＝１〜１６）の基準画像ｉに対する総合評価値Ｔｉが算出される。

１６個の探索範囲ｉの基準画像ｉに対する夫々の総合評価値Ｔｉが算出された後は、ステップＳ４からステップＳ６に進み、総合評価値Ｔｉが最大となる基準画像ｉを決定する。

例えば、図２（ａ）に示す第２行第３列の基準画像ｉがステップＳ６で決定された場合、この探索範囲ｉが比較画像切出回路２７に通知される（ステップＳ７）。以後、第２行第３列の分割領域（探索範囲）について移動ベクトルｋ―７が算出され、この移動ベクトルｋ―７が２画面間の移動ベクトルとして画像圧縮回路１１に出力される。

以上述べた様に、本実施形態によれば、２画面間の移動ベクトルを算出するのに最も信頼性の高い基準画像を選択し、この基準画像が存在する分割領域に対してだけ演算処理により移動ベクトルを求めるため、２画面間の移動ベクトルを算出する演算量が大幅に削減され、短時間且つ高精度に２画面間の移動ベクトルを低コストの演算処理装置で算出することが可能となる。

尚、上述した実施形態では、１画面を１６分割した例で説明したが、分割数はこれに限るものではないことはいうまでもない。また、上述した実施形態では、総合評価値が最も高い１つの分割領域だけを選択したが、総合評価値が上位複数個の分割領域を選択して各々の移動ベクトルを算出し、各移動ベクトルの平均値を、また、各移動ベクトルの多数決を取り所要範囲内で同一方向となる多数側の移動ベクトルの平均値を、２画面間の移動ベクトルとしても良い。これらの場合でも、分割領域全てで演算を行うより演算量の削減を図ることができ、しかも、２画面間の移動ベクトルの精度が更に向上することになる。

本発明に係る２画面間の移動ベクトル算出方法及びその装置は、少ない演算量で精度の高い移動ベクトルを短時間に算出することができるため、動画撮影機能をもったデジタルスチルカメラやデジタルビデオカメラ等に適用すると有用である。

本発明の一実施形態に係る２画面間の移動ベクトル算出装置を搭載した動画撮影機能付デジタルスチルカメラの要部構成図である。本発明の一実施形態に係る２画面間の移動ベクトル算出方法で用いる画面分割例を示す図である。図１に示す比較演算処理部が実行する移動ベクトル算出処理手順を示すフローチャートである。図３に示す基準画像の評価処理手順の詳細を示すフローチャートである。２画面間の移動ベクトル算出原理の説明図である。

符号の説明

１０フレームメモリ
１１画像圧縮回路
２２，２３縮小画像格納用のメモリ
２６基準画像切出回路
２７比較画像切出回路
２８接続切換回路
２９比較演算処理部

Claims

第１画面と第２画面の夫々の画像を同一複数領域に分割し、各分割領域夫々の中から基準画像を切り出して各基準画像を評価し、評価値が最上位となる１個の基準画像が存在する分割領域の移動ベクトルを算出し、該移動ベクトルを前記第１画面に対する前記第２画面の移動ベクトルとすること特徴とする２画面間の移動ベクトル算出方法。
第１画面と第２画面の夫々の画像を同一複数領域に分割し、各分割領域夫々の中から基準画像を切り出して各基準画像を評価し、評価値が上位となる複数個の基準画像が存在する分割領域毎の移動ベクトルを算出し、該分割領域毎の前記移動ベクトルから前記第１画面に対する前記第２画面の移動ベクトルを算出すること特徴とする２画面間の移動ベクトル算出方法。
前記評価値は、基準画像のダイナミックレンジ評価値，シャープネス評価値，空間周波数評価値のいずれか１つまたは複数の組み合わせで算出することを特徴とする請求項１または請求項２に記載の２画面間の移動ベクトル算出方法。
基準画像のダイナミックレンジが小さいとき前記ダイナミック評価値が低いことを特徴とする請求項３に記載の２画面間の移動ベクトル算出方法。
基準画像のシャープネスが小さいとき前記シャープネス評価値が低いことを特徴とする請求項３に記載の２画面間の移動ベクトル算出方法。
基準画像の空間周波数が単一周波数に集中しているとき、または高周波側に集中しているとき、または低周波側に集中しているとき、前記空間周波数評価値が低いことを特徴とする請求項３に記載の２画面間の移動ベクトル算出方法。
第１画面と第２画面の夫々の画像を同一複数領域に分割し各分割領域夫々の中から基準画像を切り出して各基準画像を評価する手段と、評価値が最上位となる１個の基準画像が存在する分割領域の移動ベクトルを算出し該移動ベクトルを前記第１画面に対する前記第２画面の移動ベクトルとする手段とを備えること特徴とする２画面間の移動ベクトル算出装置。
第１画面と第２画面の夫々の画像を同一複数領域に分割し各分割領域夫々の中から基準画像を切り出して各基準画像を評価する手段と、評価値が上位となる複数個の基準画像が存在する分割領域毎の移動ベクトルを算出し該分割領域毎の前記移動ベクトルから前記第１画面に対する前記第２画面の移動ベクトルを算出する手段とを備えること特徴とする２画面間の移動ベクトル算出装置。
前記評価値は、基準画像のダイナミックレンジ評価値，シャープネス評価値，空間周波数評価値のいずれか１つまたは複数の組み合わせで算出することを特徴とする請求項７または請求項８に記載の２画面間の移動ベクトル算出装置。
基準画像のダイナミックレンジが小さいとき前記ダイナミック評価値が低いことを特徴とする請求項９に記載の２画面間の移動ベクトル算出装置。
基準画像のシャープネスが小さいとき前記シャープネス評価値が低いことを特徴とする請求項９に記載の２画面間の移動ベクトル算出装置。
基準画像の空間周波数が単一周波数に集中しているとき、または高周波側に集中しているとき、または低周波側に集中しているとき、前記空間周波数評価値が低いことを特徴とする請求項９に記載の２画面間の移動ベクトル算出装置。