JP2007279800A - 動きベクトル検出装置、動きベクトル検出方法、手ぶれ補正装置、手ぶれ補正方法、手ぶれ補正プログラム、及び手ぶれ補正装置を備えた動画像表示装置 - Google Patents
動きベクトル検出装置、動きベクトル検出方法、手ぶれ補正装置、手ぶれ補正方法、手ぶれ補正プログラム、及び手ぶれ補正装置を備えた動画像表示装置 Download PDFInfo
- Publication number
- JP2007279800A JP2007279800A JP2006101666A JP2006101666A JP2007279800A JP 2007279800 A JP2007279800 A JP 2007279800A JP 2006101666 A JP2006101666 A JP 2006101666A JP 2006101666 A JP2006101666 A JP 2006101666A JP 2007279800 A JP2007279800 A JP 2007279800A
- Authority
- JP
- Japan
- Prior art keywords
- motion vector
- frame image
- correlation
- correlation value
- camera shake
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Withdrawn
Links
Images
Landscapes
- Controls And Circuits For Display Device (AREA)
- Image Analysis (AREA)
- Liquid Crystal Display Device Control (AREA)
- Control Of Indicators Other Than Cathode Ray Tubes (AREA)
- Studio Devices (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
Abstract
【課題】動きベクトルの誤差が動画像処理へ与える影響を少なくする。
【解決手段】動画像から時系列順に前後する２つのフレーム画像である参照フレーム画像
と探索フレーム画像を取得するフレーム画像取得手段と、参照フレーム画像と探索フレー
ム画像の画像間の相関値を算出する相関値算出手段と、相関値に基づいて、参照フレーム
画像を基準とする探索フレーム画像の画像全体の動きを示す動きベクトルを算出する動き
ベクトル算出手段とを備え、動きベクトル算出手段は相関値算出手段が算出した相関値の
うち最も相関が強い相関値と２番目に相関が強い相関値との差の絶対値が所定の閾値Ａよ
りも小さい場合に時系列順で一つ前の前記フレーム画像の動きベクトルを探索フレーム画
像の前記動きベクトルとし、相関値のうち最も相関が強い相関値が相関の強さを示す所定
の閾値Ｂよりも相関が弱い場合に探索フレーム画像の動きベクトルを算出しない。
【選択図】図１
【解決手段】動画像から時系列順に前後する２つのフレーム画像である参照フレーム画像
と探索フレーム画像を取得するフレーム画像取得手段と、参照フレーム画像と探索フレー
ム画像の画像間の相関値を算出する相関値算出手段と、相関値に基づいて、参照フレーム
画像を基準とする探索フレーム画像の画像全体の動きを示す動きベクトルを算出する動き
ベクトル算出手段とを備え、動きベクトル算出手段は相関値算出手段が算出した相関値の
うち最も相関が強い相関値と２番目に相関が強い相関値との差の絶対値が所定の閾値Ａよ
りも小さい場合に時系列順で一つ前の前記フレーム画像の動きベクトルを探索フレーム画
像の前記動きベクトルとし、相関値のうち最も相関が強い相関値が相関の強さを示す所定
の閾値Ｂよりも相関が弱い場合に探索フレーム画像の動きベクトルを算出しない。
【選択図】図１
Description
本発明は、動画像からフレーム画像を取得し、取得したフレーム画像の動きベクトルを
検出する動きベクトル検出装置、動きベクトル検出方法と、検出された動きベクトルを用
いる、手ぶれ補正装置、手ぶれ補正方法、手ぶれ補正プログラム、及び手ぶれ補正装置を
備えた動画像表示装置に関する。
検出する動きベクトル検出装置、動きベクトル検出方法と、検出された動きベクトルを用
いる、手ぶれ補正装置、手ぶれ補正方法、手ぶれ補正プログラム、及び手ぶれ補正装置を
備えた動画像表示装置に関する。
従来、手ぶれ補正、動画像の圧縮などで重要な技術である動きベクトルの検出は、代表
点マッチング法、ブロックマッチング法など画素の相関値を用いる方法が用いられてきた
（例えば、特許文献１）。特許文献１の動きベクトル検出装置は、前記動画像を構成する
フレーム画像の一つである探索フレーム画像の、当該探索フレーム画像に先行又は後続す
る参照フレーム画像を基準とする動きベクトルを、当該両フレーム間の画素の相関により
求めている。
点マッチング法、ブロックマッチング法など画素の相関値を用いる方法が用いられてきた
（例えば、特許文献１）。特許文献１の動きベクトル検出装置は、前記動画像を構成する
フレーム画像の一つである探索フレーム画像の、当該探索フレーム画像に先行又は後続す
る参照フレーム画像を基準とする動きベクトルを、当該両フレーム間の画素の相関により
求めている。
代表点マッチング法、ブロックマッチング法のいずれの方法も画素値の相関を用いて動
きベクトルを検出しているため、画像の内容や動きによっては、検出された動きベクトル
の誤差が大きくなってしまう場合がある。動きベクトルの誤差が大きくなると、手ぶれ補
正、動画像の圧縮など動きベクトルを用いる動画像処理に誤差の影響を与えてしまい、効
果を十分に出すことができなくなるという問題があった。
きベクトルを検出しているため、画像の内容や動きによっては、検出された動きベクトル
の誤差が大きくなってしまう場合がある。動きベクトルの誤差が大きくなると、手ぶれ補
正、動画像の圧縮など動きベクトルを用いる動画像処理に誤差の影響を与えてしまい、効
果を十分に出すことができなくなるという問題があった。
本発明は、このような従来の課題に着目してなされたもので、その目的は、動きベクト
ルの誤差が動きベクトルを用いる動画像処理へ与える影響を少なくすることができる動き
ベクトル検出装置、動きベクトル検出方法、手ぶれ補正装置、手ぶれ補正方法、手ぶれ補
正プログラム、及び手ぶれ補正装置を備えた動画像表示装置を提供することにある。
ルの誤差が動きベクトルを用いる動画像処理へ与える影響を少なくすることができる動き
ベクトル検出装置、動きベクトル検出方法、手ぶれ補正装置、手ぶれ補正方法、手ぶれ補
正プログラム、及び手ぶれ補正装置を備えた動画像表示装置を提供することにある。
本発明に係る動きベクトル検出装置は、上記課題を解決すべく、基本的に、動画像から
時系列順に前後する２つのフレーム画像である参照フレーム画像と探索フレーム画像を取
得するフレーム画像取得手段と、前記参照フレーム画像と前記探索フレーム画像の画像間
の相関値を算出する相関値算出手段と、前記相関値に基づいて、前記参照フレーム画像を
基準とする前記探索フレーム画像の画像全体の動きを示す動きベクトルを算出する動きベ
クトル算出手段と、を備え、前記動きベクトル算出手段は、前記相関値算出手段が算出し
た前記相関値のうち最も相関が強い前記相関値と２番目に相関が強い前記相関値との差の
絶対値が所定の閾値Ａよりも小さい場合に、時系列順で一つ前の前記フレーム画像の前記
動きベクトルを前記探索フレーム画像の前記動きベクトルとし、前記相関値のうち最も相
関が強い前記相関値が相関の強さを示す所定の閾値Ｂよりも相関が弱い場合に、前記探索
フレーム画像の動きベクトルを算出しないことを要旨とする。
時系列順に前後する２つのフレーム画像である参照フレーム画像と探索フレーム画像を取
得するフレーム画像取得手段と、前記参照フレーム画像と前記探索フレーム画像の画像間
の相関値を算出する相関値算出手段と、前記相関値に基づいて、前記参照フレーム画像を
基準とする前記探索フレーム画像の画像全体の動きを示す動きベクトルを算出する動きベ
クトル算出手段と、を備え、前記動きベクトル算出手段は、前記相関値算出手段が算出し
た前記相関値のうち最も相関が強い前記相関値と２番目に相関が強い前記相関値との差の
絶対値が所定の閾値Ａよりも小さい場合に、時系列順で一つ前の前記フレーム画像の前記
動きベクトルを前記探索フレーム画像の前記動きベクトルとし、前記相関値のうち最も相
関が強い前記相関値が相関の強さを示す所定の閾値Ｂよりも相関が弱い場合に、前記探索
フレーム画像の動きベクトルを算出しないことを要旨とする。
本発明に係る動きベクトル検出装置によれば、動きベクトル算出手段は、フレーム画像
取得手段が取得した参照フレーム画像と探索フレーム画像から相関値算出手段が算出した
画像間の相関値に基づいて探索フレーム画像の動きベクトルを算出する。相関値算出手段
が算出した相関値のうち最も相関が強い相関値と２番目に相関が強い相関値の差の絶対値
が所定の閾値Ａより小さければ、時系列順で前のフレーム画像の動きベクトルを探索フレ
ーム画像の動きベクトルとする。また、相関値算出手段が算出した相関値のうち最も相関
が強い相関値が相関の強さを示す所定の閾値Ｂより相関が弱ければ、探索フレーム画像の
相関値を算出しない。
取得手段が取得した参照フレーム画像と探索フレーム画像から相関値算出手段が算出した
画像間の相関値に基づいて探索フレーム画像の動きベクトルを算出する。相関値算出手段
が算出した相関値のうち最も相関が強い相関値と２番目に相関が強い相関値の差の絶対値
が所定の閾値Ａより小さければ、時系列順で前のフレーム画像の動きベクトルを探索フレ
ーム画像の動きベクトルとする。また、相関値算出手段が算出した相関値のうち最も相関
が強い相関値が相関の強さを示す所定の閾値Ｂより相関が弱ければ、探索フレーム画像の
相関値を算出しない。
最も相関の強い相関値と２番目に相関の強い相関値の差の絶対値が小さいときは、動画
像の内容の変化は少ないが、相関値に基づいて算出された動きベクトルの誤差が大きくな
る可能性が高い。しかし、強い相関値が２つあるので、動画像の内容の変化が少ないと考
えられ、相関値に基づいて算出された動きベクトルよりも時系列順で前のフレームの動き
ベクトルを使うほうが誤差が少ない。そのため、時系列順で前のフレームの動きベクトル
を使うことにより、より誤差が少ない動きベクトルを使うことができる。
像の内容の変化は少ないが、相関値に基づいて算出された動きベクトルの誤差が大きくな
る可能性が高い。しかし、強い相関値が２つあるので、動画像の内容の変化が少ないと考
えられ、相関値に基づいて算出された動きベクトルよりも時系列順で前のフレームの動き
ベクトルを使うほうが誤差が少ない。そのため、時系列順で前のフレームの動きベクトル
を使うことにより、より誤差が少ない動きベクトルを使うことができる。
また、最も相関の強い相関値の相関が弱い場合は、相関値に基づいて算出された動きベ
クトルに誤差が含まれている可能性が高い。そのため、動きベクトルの誤差が大きくなる
最も相関の強い相関値の相関が弱い場合は、動きベクトルを算出しないようにし、誤差が
多く含まれている動きベクトルが使われないようにすることができる。また、次に誤差が
大きい、最も相関が強い相関値と２番目に相関が強い相関値の差の絶対値が小さいときは
、時系列順で前のフレームの動きベクトルを使用することで誤差の少ない動きベクトルを
代わりに使うことができる。
クトルに誤差が含まれている可能性が高い。そのため、動きベクトルの誤差が大きくなる
最も相関の強い相関値の相関が弱い場合は、動きベクトルを算出しないようにし、誤差が
多く含まれている動きベクトルが使われないようにすることができる。また、次に誤差が
大きい、最も相関が強い相関値と２番目に相関が強い相関値の差の絶対値が小さいときは
、時系列順で前のフレームの動きベクトルを使用することで誤差の少ない動きベクトルを
代わりに使うことができる。
また、上記した本発明の動きベクトル検出装置では、前記相関値算出手段は、前記参照
フレーム画像と前記探索フレーム画像の相対位置を所定の範囲内で変え、各位置において
、所定の画素ブロックの画素データの輝度値の差の平均値である差分平均値を前記相関値
とする。
フレーム画像と前記探索フレーム画像の相対位置を所定の範囲内で変え、各位置において
、所定の画素ブロックの画素データの輝度値の差の平均値である差分平均値を前記相関値
とする。
こうすれば、画素ブロックを用いたブロックマッチング法で参照フレーム画像と探索フ
レーム画像の相関値、及び動きベクトルを算出することができる。そのため、簡単に、ブ
ロックマッチング法を利用していた従来の動きベクトル検出装置を本発明の動きベクトル
検出装置に置き換えることができる。
レーム画像の相関値、及び動きベクトルを算出することができる。そのため、簡単に、ブ
ロックマッチング法を利用していた従来の動きベクトル検出装置を本発明の動きベクトル
検出装置に置き換えることができる。
また、上記した本発明の手ぶれ補正装置に対応する手ぶれ補正方法は、動画像から時系
列順に前後する２つのフレーム画像である参照フレーム画像と探索フレーム画像を取得す
るフレーム画像取得工程と、前記参照フレーム画像と前記探索フレーム画像の画像間の相
関値を算出する相関値算出工程と、前記相関値に基づいて、前記参照フレーム画像を基準
とする前記探索フレーム画像の画像全体の動きを示す動きベクトルを算出する動きベクト
ル算出工程と、を備え、前記動きベクトル算出工程は、前記相関値算出工程が算出した前
記相関値のうち最も相関が強い前記相関値と２番目に相関が強い前記相関値との差の絶対
値が所定の閾値Ａより小さい場合に、時系列順で一つ前の前記フレーム画像の前記動きベ
クトルを前記探索フレーム画像の前記動きベクトルとし、前記相関値のうち最も相関が強
い前記相関値が相関の強さを示す所定の閾値Ｂよりも相関が弱い場合に、前記探索フレー
ム画像の動きベクトルを算出しないことを要旨とする。
列順に前後する２つのフレーム画像である参照フレーム画像と探索フレーム画像を取得す
るフレーム画像取得工程と、前記参照フレーム画像と前記探索フレーム画像の画像間の相
関値を算出する相関値算出工程と、前記相関値に基づいて、前記参照フレーム画像を基準
とする前記探索フレーム画像の画像全体の動きを示す動きベクトルを算出する動きベクト
ル算出工程と、を備え、前記動きベクトル算出工程は、前記相関値算出工程が算出した前
記相関値のうち最も相関が強い前記相関値と２番目に相関が強い前記相関値との差の絶対
値が所定の閾値Ａより小さい場合に、時系列順で一つ前の前記フレーム画像の前記動きベ
クトルを前記探索フレーム画像の前記動きベクトルとし、前記相関値のうち最も相関が強
い前記相関値が相関の強さを示す所定の閾値Ｂよりも相関が弱い場合に、前記探索フレー
ム画像の動きベクトルを算出しないことを要旨とする。
こうすれば、本発明の動きベクトル検出装置と同等の効果が得られる。
また、本発明に係る手ぶれ補正装置は、上記課題を解決すべく、基本的に、上記した動
きベクトル検出装置と、前記動きベクトルに基づいて、前記探索フレーム画像の手ぶれを
補正する手ぶれ補正手段と、を備え、前記手ぶれ補正手段は、前記動きベクトル算出手段
が前記動きベクトルを算出しない場合は、前記手ぶれの補正を行わないことを要旨とする
。
きベクトル検出装置と、前記動きベクトルに基づいて、前記探索フレーム画像の手ぶれを
補正する手ぶれ補正手段と、を備え、前記手ぶれ補正手段は、前記動きベクトル算出手段
が前記動きベクトルを算出しない場合は、前記手ぶれの補正を行わないことを要旨とする
。
こうすれば、相関値算出手段が算出した相関値のうち相関が最も強い相関の相関値が相
関を示す所定の閾値Ｂよりも相関が弱い場合、すなわち、動きベクトルの誤差が最も大き
い場合は、誤差の影響を少なくするために手ぶれの補正をしないようにできる。また、相
関値算出工程が算出した相関値のうち最も相関が強い相関値と２番目に相関が強い相関値
との差の絶対値が所定の閾値Ａより小さい場合には、誤差が少ない前のフレームの動きベ
クトルを用いて手ぶれの補正をすることができる。
関を示す所定の閾値Ｂよりも相関が弱い場合、すなわち、動きベクトルの誤差が最も大き
い場合は、誤差の影響を少なくするために手ぶれの補正をしないようにできる。また、相
関値算出工程が算出した相関値のうち最も相関が強い相関値と２番目に相関が強い相関値
との差の絶対値が所定の閾値Ａより小さい場合には、誤差が少ない前のフレームの動きベ
クトルを用いて手ぶれの補正をすることができる。
また、上記した手ぶれ補正装置に対応する手ぶれ補正方法及び手ぶれ補正プログラムは
、上記した動きベクトル検出方法と、前記動きベクトルに基づいて、前記探索フレーム画
像の手ぶれを補正する手ぶれ補正工程と、を備え、前記手ぶれ補正工程は、前記動きベク
トル算出工程が前記動きベクトルを算出しない場合は、前記手ぶれの補正を行わないこと
を要旨とする。
、上記した動きベクトル検出方法と、前記動きベクトルに基づいて、前記探索フレーム画
像の手ぶれを補正する手ぶれ補正工程と、を備え、前記手ぶれ補正工程は、前記動きベク
トル算出工程が前記動きベクトルを算出しない場合は、前記手ぶれの補正を行わないこと
を要旨とする。
こうすれば、本発明の手ぶれ補正装置と同等の効果が得られる。
また、本発明に係る動画像表示装置は、上記した手ぶれ補正装置を備える。こうすれば
、動きベクトルの誤差の影響を少なくして手ぶれを補正した動画像を表示することができ
る。
、動きベクトルの誤差の影響を少なくして手ぶれを補正した動画像を表示することができ
る。
以下、本発明を具体化した実施例について図面を用いて説明する。
図１は、手ぶれ補正装置１００の構成概略を説明する説明図である。実施例１の手ぶれ
補正装置１００は、動きベクトル検出装置９０、及び手ぶれを補正する画像補正手段１４
０から構成される。動きベクトル検出装置９０は、フレーム画像取得手段１１０、相関値
算出手段１２０、動きベクトル算出手段１３０から構成され、入力機器２００から動画像
を取得し、フレーム画像の動きベクトルを算出する。また、画像補正手段１４０は、動き
ベクトル算出手段１３０が算出した動きベクトルに基づいてフレーム画像取得手段１１０
が取得したフレーム画像の手ぶれを補正して出力機器２１０に出力する。
補正装置１００は、動きベクトル検出装置９０、及び手ぶれを補正する画像補正手段１４
０から構成される。動きベクトル検出装置９０は、フレーム画像取得手段１１０、相関値
算出手段１２０、動きベクトル算出手段１３０から構成され、入力機器２００から動画像
を取得し、フレーム画像の動きベクトルを算出する。また、画像補正手段１４０は、動き
ベクトル算出手段１３０が算出した動きベクトルに基づいてフレーム画像取得手段１１０
が取得したフレーム画像の手ぶれを補正して出力機器２１０に出力する。
入力機器２００としては、ビデオ、デジタルビデオカメラ（ＤＶＣ）、放送、及び動画
像を保管する動画像データベース（ＤＢ）など動画像を出力することができる機器を用い
ることができる。また、入力機器２００として動画像が格納されたハードディスク、メモ
リカードなどの記憶媒体を用いても良い。
像を保管する動画像データベース（ＤＢ）など動画像を出力することができる機器を用い
ることができる。また、入力機器２００として動画像が格納されたハードディスク、メモ
リカードなどの記憶媒体を用いても良い。
フレーム画像取得手段１１０は、入力機器２００から出力された動画像からフレーム画
像Ｆ（ｎ）（ｎは時系列順を示す整数）を順次取得する。
像Ｆ（ｎ）（ｎは時系列順を示す整数）を順次取得する。
相関値算出手段１２０は、フレーム画像取得手段１１０が取得したフレーム画像Ｆ（ｎ
−１）とＦ（ｎ）の画像全体の動きを表す画像間の相関値を算出する。
−１）とＦ（ｎ）の画像全体の動きを表す画像間の相関値を算出する。
動きベクトル算出手段１３０は、相関値算出手段１２０が算出した相関値に基づいて、
フレーム画像Ｆ（ｎ）の画像全体の動きを示す動きベクトルＶ（ｎ）を算出する。
フレーム画像Ｆ（ｎ）の画像全体の動きを示す動きベクトルＶ（ｎ）を算出する。
画像補正手段１４０は、動きベクトルＶ（ｎ）を用いて、フレーム画像Ｆ（ｎ）の手ぶ
れを補正した補正フレーム画像ＨＦＧ（ｎ）を生成し、出力機器２１０に出力する。
れを補正した補正フレーム画像ＨＦＧ（ｎ）を生成し、出力機器２１０に出力する。
出力機器２１０としては、ＣＲＴ、プロジェクタ、テレビなどを用いることができる。
また、ネットワークを介して補正フレーム画像ＨＦＧ（ｎ）を配信しても良い。また、出
力機器２１０として、ハードディスク、ＤＶＤ−ＲＯＭなどの記憶媒体を用い、補正フレ
ーム画像ＨＦＧ（ｎ）を記録しても良い。
また、ネットワークを介して補正フレーム画像ＨＦＧ（ｎ）を配信しても良い。また、出
力機器２１０として、ハードディスク、ＤＶＤ−ＲＯＭなどの記憶媒体を用い、補正フレ
ーム画像ＨＦＧ（ｎ）を記録しても良い。
以上の構成の手ぶれ補正装置１００は、上記の各部における処理をソフトウェアプログ
ラムで実現し、その処理プログラムである手ぶれ補正プログラムをインストールしたコン
ピュータにより構成される。このコンピュータ（図示なし）は、ＣＰＵ，ＲＯＭ，ＲＡＭ
，ハードディスク、インターフェース等を備え、キーボード、ディスプレイ等と接続され
た一般的な計算機である。このコンピュータのＲＯＭには手ぶれ補正プログラムが記憶さ
れ、ＣＰＵが手ぶれ補正プログラムを実行することにより、手ぶれ補正装置１００として
機能する。以下に、このコンピュータでＣＰＵにより実行される上記各部の処理について
、図２のフローチャートを用いて説明する。
ラムで実現し、その処理プログラムである手ぶれ補正プログラムをインストールしたコン
ピュータにより構成される。このコンピュータ（図示なし）は、ＣＰＵ，ＲＯＭ，ＲＡＭ
，ハードディスク、インターフェース等を備え、キーボード、ディスプレイ等と接続され
た一般的な計算機である。このコンピュータのＲＯＭには手ぶれ補正プログラムが記憶さ
れ、ＣＰＵが手ぶれ補正プログラムを実行することにより、手ぶれ補正装置１００として
機能する。以下に、このコンピュータでＣＰＵにより実行される上記各部の処理について
、図２のフローチャートを用いて説明する。
処理を開始すると、フレーム画像取得手段１１０は、入力機器２００からフレーム画像
Ｆ（ｎ）を取得する（ステップＳ１００）。
Ｆ（ｎ）を取得する（ステップＳ１００）。
次に、相関値算出手段１２０は、フレーム画像取得手段１１０が取得したフレーム画像
Ｆ（ｎ−１）（参照フレーム画像）とＦ（ｎ）（探索フレーム画像）の画像間の相関値を
算出する（ステップＳ１１０）。ここで、相関値の算出方法を、図３の相関値の算出方法
を説明するための説明図を用いて説明する。
Ｆ（ｎ−１）（参照フレーム画像）とＦ（ｎ）（探索フレーム画像）の画像間の相関値を
算出する（ステップＳ１１０）。ここで、相関値の算出方法を、図３の相関値の算出方法
を説明するための説明図を用いて説明する。
まず、フレーム画像Ｆ（ｎ−１）とＦ（ｎ）を画素数ＳＸ，ＳＹだけずらした位置に重
ねる。そして、フレーム画像のＦ（ｎ−１）に画素ブロックＢ（ＳＸ，ＳＹ）を置く。画
素ブロックＢ（ＳＸ，ＳＹ）は、縦Ｎ画素、横Ｍ画素の予め決められた大きさの四角形の
領域を示す。このときの、画素ブロックＢ（ＳＸ，ＳＹ）の左下の座標は、フレーム画像
Ｆ（ｎ−１）の座標では（ｘ０、ｙ０）であり、フレーム画像Ｆ（ｎ）の座標では、（ｘ
１、ｙ１）である。また、フレーム画像Ｆ（ｎ−１）とＦ（ｎ）はＳＸ，ＳＹだけずれて
いるので、（ｘ１、ｙ１）＝（ｘ０−ＳＸ，ｙ０＋ＳＹ）となる。
ねる。そして、フレーム画像のＦ（ｎ−１）に画素ブロックＢ（ＳＸ，ＳＹ）を置く。画
素ブロックＢ（ＳＸ，ＳＹ）は、縦Ｎ画素、横Ｍ画素の予め決められた大きさの四角形の
領域を示す。このときの、画素ブロックＢ（ＳＸ，ＳＹ）の左下の座標は、フレーム画像
Ｆ（ｎ−１）の座標では（ｘ０、ｙ０）であり、フレーム画像Ｆ（ｎ）の座標では、（ｘ
１、ｙ１）である。また、フレーム画像Ｆ（ｎ−１）とＦ（ｎ）はＳＸ，ＳＹだけずれて
いるので、（ｘ１、ｙ１）＝（ｘ０−ＳＸ，ｙ０＋ＳＹ）となる。
このときのフレーム画像Ｆ（ｎ−１）とＦ（ｎ）の画像間の相関値Ｄ（ＳＸ，ＳＹ）は
、式（１）のように、画素ブロックＢ（ＳＸ，ＳＹ）の中の輝度値の差の平均値（差分平
均値）で算出できる。
、式（１）のように、画素ブロックＢ（ＳＸ，ＳＹ）の中の輝度値の差の平均値（差分平
均値）で算出できる。
Ｐ１（ｘ，ｙ）：フレーム画像Ｆ（ｎ）の座標（ｘ，ｙ）の輝度値
Ｎ ：画素ブロックの縦の画素数
Ｍ ：画素ブロックの横の画素数
（ｘ０，ｙ０）：フレーム画像Ｆ（ｎ−１）の中の画素ブロックの左下の座標
（ｘ１，ｙ１）：フレーム画像Ｆ（ｎ）の中の画素ブロックの左下の座標
ここで、動きベクトルの検出範囲を水平方向が±ＴＸ、垂直方向±ＴＹとすると、相関
値算出手段１２０は、動きベクトルの検出範囲内でＳＸ，ＳＹを１画素ずつ変更した、（
２×ＴＸ＋１）×（２×ＴＹ＋１）個の相関値Ｄ（ＳＸ，ＳＹ）（−ＴＸ≦ＳＸ≦ＴＸ，
−ＴＹ≦ＳＹ≦ＴＹ）を算出する。このように算出した相関値Ｄ（ＳＸ，ＳＹ）は、画素
ブロックＢ（ＳＸ，ＳＹ）の中のフレーム画像Ｆ（ｎ−１）とＦ（ｎ）の画像が似ている
（相関が強い）ほど小さくなり、フレーム画像Ｆ（ｎ−１）とＦ（ｎ）の画像が似ていな
い（相関が弱い）ほど大きくなる。
値算出手段１２０は、動きベクトルの検出範囲内でＳＸ，ＳＹを１画素ずつ変更した、（
２×ＴＸ＋１）×（２×ＴＹ＋１）個の相関値Ｄ（ＳＸ，ＳＹ）（−ＴＸ≦ＳＸ≦ＴＸ，
−ＴＹ≦ＳＹ≦ＴＹ）を算出する。このように算出した相関値Ｄ（ＳＸ，ＳＹ）は、画素
ブロックＢ（ＳＸ，ＳＹ）の中のフレーム画像Ｆ（ｎ−１）とＦ（ｎ）の画像が似ている
（相関が強い）ほど小さくなり、フレーム画像Ｆ（ｎ−１）とＦ（ｎ）の画像が似ていな
い（相関が弱い）ほど大きくなる。
次に、動きベクトル算出手段１３０は、相関値Ｄ（ＳＸ，ＳＹ）を用いて、フレーム画
像Ｆ（ｎ）の画像全体の動きを示す動きベクトルＶ（ｎ）を算出する（ステップＳ１２０
）。ここで、図４のフレーム画像Ｆ（ｎ）及び動きベクトルＶ（ｎ）を説明するための説
明図を用いて動きベクトルＶ（ｎ）について説明する。
像Ｆ（ｎ）の画像全体の動きを示す動きベクトルＶ（ｎ）を算出する（ステップＳ１２０
）。ここで、図４のフレーム画像Ｆ（ｎ）及び動きベクトルＶ（ｎ）を説明するための説
明図を用いて動きベクトルＶ（ｎ）について説明する。
図４（上側）は、フレーム画像取得手段１１０により取得された時系列順１番目のフレ
ーム画像Ｆ（１）と、２番目、３番目のフレーム画像Ｆ（２），Ｆ（３）の例を示してい
る。また、図４は、画像の中に写っている家が左下方向に移動している例である。
ーム画像Ｆ（１）と、２番目、３番目のフレーム画像Ｆ（２），Ｆ（３）の例を示してい
る。また、図４は、画像の中に写っている家が左下方向に移動している例である。
手ぶれ補正装置１００は、フレーム画像Ｆ（ｎ）から所定の大きさの画像を手ぶれによ
る画像の揺れを軽減する位置で切り出すことで、手ぶれを補正した補正フレーム画像ＨＦ
Ｇ（ｎ）を生成する。補正フレーム画像ＨＦＧ（ｎ）のデフォルトの切り出し位置は、そ
れぞれ図４に破線で示したフレーム画像ＦＫ（１）〜ＦＫ（３）となる。ここで、フレー
ム画像ＦＫ（ｎ）は、図４に示したように、フレーム画像Ｆ（ｎ）に対して所定の補正限
界値Ｓｍａｘ（Ｘ方向ではＳｘｍａｘ、Ｙ方向ではＳｙｍａｘ）だけ画面サイズが小さい
画像になる。所定の補正限界値Ｓｍａｘ（Ｘ成分はＳｘｍａｘ，Ｙ成分はＳｙｍａｘ）は
、実施例１では、予め手ぶれ補正プログラムにデフォルトで所定の値が設定されているも
のとする。
る画像の揺れを軽減する位置で切り出すことで、手ぶれを補正した補正フレーム画像ＨＦ
Ｇ（ｎ）を生成する。補正フレーム画像ＨＦＧ（ｎ）のデフォルトの切り出し位置は、そ
れぞれ図４に破線で示したフレーム画像ＦＫ（１）〜ＦＫ（３）となる。ここで、フレー
ム画像ＦＫ（ｎ）は、図４に示したように、フレーム画像Ｆ（ｎ）に対して所定の補正限
界値Ｓｍａｘ（Ｘ方向ではＳｘｍａｘ、Ｙ方向ではＳｙｍａｘ）だけ画面サイズが小さい
画像になる。所定の補正限界値Ｓｍａｘ（Ｘ成分はＳｘｍａｘ，Ｙ成分はＳｙｍａｘ）は
、実施例１では、予め手ぶれ補正プログラムにデフォルトで所定の値が設定されているも
のとする。
同じく図４（下側）に、フレーム画像Ｆ（１）〜Ｆ（３）に映っている物体が同じ位置
になるように配置したフレーム画像Ｆ（１）〜Ｆ（３），ＦＫ（１）〜ＦＫ（３）を示し
た。このように配置したときのフレーム画像ＦＫ（ｎ）の相対位置の差が動きベクトルで
ある。すなわち、動きベクトルＶ（２）はフレーム画像ＦＫ（２）とＦＫ（１）の相対位
置の差であり、動きベクトルＶ（３）はフレーム画像ＦＫ（３）とフレーム画像ＦＫ（２
）の相対位置の差である。また、図４の例では、フレーム画像Ｆ（１）の前のフレームは
ないので、動きベクトルＶ（１）は０になる。
になるように配置したフレーム画像Ｆ（１）〜Ｆ（３），ＦＫ（１）〜ＦＫ（３）を示し
た。このように配置したときのフレーム画像ＦＫ（ｎ）の相対位置の差が動きベクトルで
ある。すなわち、動きベクトルＶ（２）はフレーム画像ＦＫ（２）とＦＫ（１）の相対位
置の差であり、動きベクトルＶ（３）はフレーム画像ＦＫ（３）とフレーム画像ＦＫ（２
）の相対位置の差である。また、図４の例では、フレーム画像Ｆ（１）の前のフレームは
ないので、動きベクトルＶ（１）は０になる。
この相対位置が、図３のフレーム画像Ｆ（ｎ−１）とＦ（ｎ）を重ねる位置を示す（Ｓ
Ｘ，ＳＹ）に相当する。図４（下側）のように映っている物体が同じ位置になるように配
置する相対位置を（Ｘ１，Ｙ１）とすると、このときの相関値Ｄ（Ｘ１，Ｙ１）は、画素
ブロックＢ（Ｘ１，Ｙ１）の中の画像が最も似ており、相関も最も強くなる。したがって
、相関値算出手段１２０が算出した相関値Ｄ（ＳＸ，ＳＹ）のうち、最も相関が強くなる
（Ｘ１，Ｙ１）が、動きベクトルＶ（ｎ）になる。
Ｘ，ＳＹ）に相当する。図４（下側）のように映っている物体が同じ位置になるように配
置する相対位置を（Ｘ１，Ｙ１）とすると、このときの相関値Ｄ（Ｘ１，Ｙ１）は、画素
ブロックＢ（Ｘ１，Ｙ１）の中の画像が最も似ており、相関も最も強くなる。したがって
、相関値算出手段１２０が算出した相関値Ｄ（ＳＸ，ＳＹ）のうち、最も相関が強くなる
（Ｘ１，Ｙ１）が、動きベクトルＶ（ｎ）になる。
次に、動きベクトル算出手段１３０は、相関値Ｄ（ＳＸ，ＳＹ）のうち、最も相関が強
い相関値Ｄ（Ｘ１，Ｙ１）と２番目に相関が強い相関値Ｄ（Ｘ２、Ｙ２）の差の絶対値（
｜Ｄ（Ｘ１，Ｙ１）−Ｄ（Ｘ２，Ｙ２）｜）が所定の閾値Ａより小さいかどうかを調べる
（ステップＳ１３０）。（｜Ｄ（Ｘ１，Ｙ１）−Ｄ（Ｘ２，Ｙ２）｜）が所定の閾値Ａよ
り小さい場合（ステップＳ１３０：ＹＥＳ）は、前のフレームで算出した動きベクトルＶ
（ｎ−１）を動きベクトルＶ（ｎ）とする（ステップＳ１４０）。
い相関値Ｄ（Ｘ１，Ｙ１）と２番目に相関が強い相関値Ｄ（Ｘ２、Ｙ２）の差の絶対値（
｜Ｄ（Ｘ１，Ｙ１）−Ｄ（Ｘ２，Ｙ２）｜）が所定の閾値Ａより小さいかどうかを調べる
（ステップＳ１３０）。（｜Ｄ（Ｘ１，Ｙ１）−Ｄ（Ｘ２，Ｙ２）｜）が所定の閾値Ａよ
り小さい場合（ステップＳ１３０：ＹＥＳ）は、前のフレームで算出した動きベクトルＶ
（ｎ−１）を動きベクトルＶ（ｎ）とする（ステップＳ１４０）。
（｜Ｄ（Ｘ１，Ｙ１）−Ｄ（Ｘ２，Ｙ２）｜）が小さいときは、画像の似ている箇所が
２箇所以上あるため、相関値Ｄ（ＳＸ，ＳＹ）から算出された動きベクトルＶ（ｎ）の誤
差は大きくなる。しかし、相関の高い箇所があるので、フレーム画像Ｆ（ｎ−１）とＦ（
ｎ）で画像の内容の差は大きくない。また、画像の内容の差が少ないので、前のフレーム
画像Ｆ（ｎ−１）から画像全体の動きの変化も少ない。したがって、前のフレームの動き
ベクトルＶ（ｎ−１）をフレーム画像Ｆ（ｎ）の動きベクトルＶ（ｎ）とすることで、相
関値Ｄ（ＳＸ，ＳＹ）から直接算出された動きベクトルよりは、誤差の少ない動きベクト
ルＶ（ｎ）を算出することができる。また、所定の閾値Ａは、手ぶれを補正する動画像の
内容に応じて手ぶれ補正装置１００の利用者が設定する。例えば、実施例１では、最大の
相関値の５％とする。
２箇所以上あるため、相関値Ｄ（ＳＸ，ＳＹ）から算出された動きベクトルＶ（ｎ）の誤
差は大きくなる。しかし、相関の高い箇所があるので、フレーム画像Ｆ（ｎ−１）とＦ（
ｎ）で画像の内容の差は大きくない。また、画像の内容の差が少ないので、前のフレーム
画像Ｆ（ｎ−１）から画像全体の動きの変化も少ない。したがって、前のフレームの動き
ベクトルＶ（ｎ−１）をフレーム画像Ｆ（ｎ）の動きベクトルＶ（ｎ）とすることで、相
関値Ｄ（ＳＸ，ＳＹ）から直接算出された動きベクトルよりは、誤差の少ない動きベクト
ルＶ（ｎ）を算出することができる。また、所定の閾値Ａは、手ぶれを補正する動画像の
内容に応じて手ぶれ補正装置１００の利用者が設定する。例えば、実施例１では、最大の
相関値の５％とする。
次に、相関値Ｄ（ＳＸ，ＳＹ）のうち、最も相関が強い相関値Ｄ（Ｘ１，Ｙ１）と２番
目に相関が強い相関値Ｄ（Ｘ２、Ｙ２）の差の絶対値（｜Ｄ（Ｘ１，Ｙ１）−Ｄ（Ｘ２−
Ｙ２）｜）が所定の閾値Ａ以上の場合（ステップＳ１３０：ＮＯ）は、相関が最も強い相
関値Ｄ（Ｘ１，Ｙ１）が所定の閾値Ｂよりも小さいかどうかを調べる（ステップＳ１５０
）。相関が最も強い相関値Ｄ（Ｘ１，Ｙ１）が所定の閾値Ｂよりも小さい場合（ステップ
Ｓ１５０：ＹＥＳ）は、動きベクトル算出手段１３０によりフレーム画像Ｆ（ｎ）の動き
ベクトルＶ（ｎ）を無効にする（ステップＳ１６０）。一方、相関が最も強い相関値Ｄ（
Ｘ１，Ｙ１）が所定の閾値Ｂよりも小さくない場合（ステップＳ１５０：ＮＯ）は、ステ
ップＳ１７０に進む。
目に相関が強い相関値Ｄ（Ｘ２、Ｙ２）の差の絶対値（｜Ｄ（Ｘ１，Ｙ１）−Ｄ（Ｘ２−
Ｙ２）｜）が所定の閾値Ａ以上の場合（ステップＳ１３０：ＮＯ）は、相関が最も強い相
関値Ｄ（Ｘ１，Ｙ１）が所定の閾値Ｂよりも小さいかどうかを調べる（ステップＳ１５０
）。相関が最も強い相関値Ｄ（Ｘ１，Ｙ１）が所定の閾値Ｂよりも小さい場合（ステップ
Ｓ１５０：ＹＥＳ）は、動きベクトル算出手段１３０によりフレーム画像Ｆ（ｎ）の動き
ベクトルＶ（ｎ）を無効にする（ステップＳ１６０）。一方、相関が最も強い相関値Ｄ（
Ｘ１，Ｙ１）が所定の閾値Ｂよりも小さくない場合（ステップＳ１５０：ＮＯ）は、ステ
ップＳ１７０に進む。
相関値Ｄ（ＳＸ，ＳＹ）は、画像全体の動きよりも、画像の内容の変化の影響を強く受
けていると、最も相関が強い相関値Ｄ（Ｘ１，Ｙ１）が小さくなる。そのため、相関値Ｄ
（Ｘ１，Ｙ１）を所定の閾値Ｂと比較し、所定の閾値Ｂよりも小さい場合は、相関値Ｄ（
ＳＸ，ＳＹ）による動きベクトルの算出が誤差が多くなりすぎて無理であると判断し、動
きベクトル算出手段１３０は動きベクトルの算出を中止、すなわち、動きベクトルＶ（ｎ
）を無効にする。こうすることで、動きベクトルの誤差が大きくなる場合に、誤差の大き
い動きベクトルＶ（ｎ）が使われることを防ぐことができる。また、所定の閾値Ｂは、手
ぶれを補正する動画像の内容に応じて手ぶれ補正装置１００の利用者が設定する。例えば
、実施例１では、最大の相関値の５％とする。
けていると、最も相関が強い相関値Ｄ（Ｘ１，Ｙ１）が小さくなる。そのため、相関値Ｄ
（Ｘ１，Ｙ１）を所定の閾値Ｂと比較し、所定の閾値Ｂよりも小さい場合は、相関値Ｄ（
ＳＸ，ＳＹ）による動きベクトルの算出が誤差が多くなりすぎて無理であると判断し、動
きベクトル算出手段１３０は動きベクトルの算出を中止、すなわち、動きベクトルＶ（ｎ
）を無効にする。こうすることで、動きベクトルの誤差が大きくなる場合に、誤差の大き
い動きベクトルＶ（ｎ）が使われることを防ぐことができる。また、所定の閾値Ｂは、手
ぶれを補正する動画像の内容に応じて手ぶれ補正装置１００の利用者が設定する。例えば
、実施例１では、最大の相関値の５％とする。
次に、画像補正手段１４０は、フレーム画像Ｆ（ｎ）の手ぶれの補正を行うための補正
量を示す補正位置ベクトルＳ（ｎ）を算出し、補正位置ベクトルＳ（ｎ）を用いて手ぶれ
の補正をした補正フレーム画像ＨＦＧ（ｎ）を生成する（ステップＳ１７０）。
量を示す補正位置ベクトルＳ（ｎ）を算出し、補正位置ベクトルＳ（ｎ）を用いて手ぶれ
の補正をした補正フレーム画像ＨＦＧ（ｎ）を生成する（ステップＳ１７０）。
図５は、画像補正手段１４０による手ぶれの補正を説明するための説明図である。図５
を用いて、図４で説明したフレーム画像Ｆ（２），Ｆ（３）の手ぶれの補正方法を説明す
る。補正位置ベクトルＳ（２），Ｓ（３）は、フレーム画像Ｆ（２），Ｆ（３）から補正
フレーム画像ＨＦＧ（２），ＨＦＧ（３）を切り取る位置を示すベクトルであり、デフォ
ルトの補正フレーム画像と同じ位置にあるフレーム画像ＦＫ（２），ＦＫ（３）からの相
対位置で表される。
を用いて、図４で説明したフレーム画像Ｆ（２），Ｆ（３）の手ぶれの補正方法を説明す
る。補正位置ベクトルＳ（２），Ｓ（３）は、フレーム画像Ｆ（２），Ｆ（３）から補正
フレーム画像ＨＦＧ（２），ＨＦＧ（３）を切り取る位置を示すベクトルであり、デフォ
ルトの補正フレーム画像と同じ位置にあるフレーム画像ＦＫ（２），ＦＫ（３）からの相
対位置で表される。
ここで、補正位置ベクトルＳ（２），Ｓ（３）を動きベクトルＶ（２），Ｖ（３）の向
きを反対方向に変えたベクトルとすれば、切り出される補正フレーム画像ＨＦＧ（２），
ＨＦＧ（３）の中に映っている家の位置は変わらなくなり、手ぶれの補正ができたことに
なる。
きを反対方向に変えたベクトルとすれば、切り出される補正フレーム画像ＨＦＧ（２），
ＨＦＧ（３）の中に映っている家の位置は変わらなくなり、手ぶれの補正ができたことに
なる。
そして、画像補正手段１４０は、フレーム画像Ｆ（ｎ）を補正位置ベクトルＳ（ｎ）で
示す位置で切り取り補正フレーム画像ＨＦＧ（ｎ）を生成する。
示す位置で切り取り補正フレーム画像ＨＦＧ（ｎ）を生成する。
また、動きベクトル算出手段１３０により、動きベクトルＶ（ｎ）が無効にされている
ときは、補正位置ベクトルＳ（ｎ）を０として、手ぶれの補正をしないようにする。
ときは、補正位置ベクトルＳ（ｎ）を０として、手ぶれの補正をしないようにする。
次に、補正フレーム画像ＨＦＧ（ｎ）を出力機器２１０に出力する（ステップＳ１８０
）。このようにしてフレーム画像Ｆ（ｎ）の手ぶれの補正が終了すると、次にフレーム画
像Ｆ（ｎ）が動画像の終わりかどうかを調べる（ステップＳ１９０）。フレーム画像Ｆ（
ｎ）が動画像の終わりである場合（ステップＳ１９０：ＹＥＳ）は、手ぶれ補正プログラ
ムを終了する。
）。このようにしてフレーム画像Ｆ（ｎ）の手ぶれの補正が終了すると、次にフレーム画
像Ｆ（ｎ）が動画像の終わりかどうかを調べる（ステップＳ１９０）。フレーム画像Ｆ（
ｎ）が動画像の終わりである場合（ステップＳ１９０：ＹＥＳ）は、手ぶれ補正プログラ
ムを終了する。
フレーム画像Ｆ（ｎ）が動画像の終わりでない場合（ステップＳ１９０：ＮＯ）は、フ
レーム画像Ｆ（ｎ＋１）の手ぶれを補正するために、ｎに１を足して、ステップＳ１００
に戻る。こうして、フレーム画像Ｆ（ｎ）の手ぶれの補正が１フレームづつ、時系列順に
進められる。
レーム画像Ｆ（ｎ＋１）の手ぶれを補正するために、ｎに１を足して、ステップＳ１００
に戻る。こうして、フレーム画像Ｆ（ｎ）の手ぶれの補正が１フレームづつ、時系列順に
進められる。
このように実施例１の手ぶれ補正装置１００では、最も強い相関値Ｄ（Ｘ１，Ｙ１）と
２番目の強い相関値Ｄ（Ｘ２，Ｙ２）の差が少ないときは、誤差がより少ない一つ前のフ
レームの動きベクトルＶ（ｎ−１）を用いて手ぶれを補正することで、精度の高い手ぶれ
の補正ができる。また、最も強い相関値Ｄ（Ｘ１，Ｙ１）の値が小さく動きベクトルＶ（
ｎ）の誤差が多くなる可能性が高い場合は、動きベクトルＶ（ｎ）を用いた手ぶれの補正
を休止し、動きベクトルＶ（ｎ）の誤差による手ぶれの補正のミスを防止することができ
る。
２番目の強い相関値Ｄ（Ｘ２，Ｙ２）の差が少ないときは、誤差がより少ない一つ前のフ
レームの動きベクトルＶ（ｎ−１）を用いて手ぶれを補正することで、精度の高い手ぶれ
の補正ができる。また、最も強い相関値Ｄ（Ｘ１，Ｙ１）の値が小さく動きベクトルＶ（
ｎ）の誤差が多くなる可能性が高い場合は、動きベクトルＶ（ｎ）を用いた手ぶれの補正
を休止し、動きベクトルＶ（ｎ）の誤差による手ぶれの補正のミスを防止することができ
る。
以下、実施例１における手ぶれ補正装置に関する変形例を記載する。
（変形例１）
ＣＰＵ，ＲＯＭ，ＲＡＭを搭載したプロジェクタなどの動画像表示装置に手ぶれ補正装
置を備えても良い。動画像表示装置のＲＯＭに実施例１の手ぶれ補正プログラムを格納し
、動画像表示装置のＣＰＵで手ぶれ補正プログラムを実行させることにより、動画像表示
装置を手ぶれ補正装置として機能させる。こうすれば、動画像を精度良く手ぶれの補正を
して表示することができる。
（変形例１）
ＣＰＵ，ＲＯＭ，ＲＡＭを搭載したプロジェクタなどの動画像表示装置に手ぶれ補正装
置を備えても良い。動画像表示装置のＲＯＭに実施例１の手ぶれ補正プログラムを格納し
、動画像表示装置のＣＰＵで手ぶれ補正プログラムを実行させることにより、動画像表示
装置を手ぶれ補正装置として機能させる。こうすれば、動画像を精度良く手ぶれの補正を
して表示することができる。
９０…動きベクトル検出装置、１００…手ぶれ補正装置、１１０…フレーム画像取得手
段、１２０…相関値算出手段、１３０…動きベクトル算出手段、１４０…画像補正手段、
２００…入力機器、２１０…出力機器、Ｆ（ｎ）…フレーム画像、ＦＫ（ｎ）…フレーム
画像、Ｖ（ｎ）…動きベクトル、Ｓ（ｎ）…補正位置ベクトル、ＨＦＧ（ｎ）…補正フレ
ーム画像。
段、１２０…相関値算出手段、１３０…動きベクトル算出手段、１４０…画像補正手段、
２００…入力機器、２１０…出力機器、Ｆ（ｎ）…フレーム画像、ＦＫ（ｎ）…フレーム
画像、Ｖ（ｎ）…動きベクトル、Ｓ（ｎ）…補正位置ベクトル、ＨＦＧ（ｎ）…補正フレ
ーム画像。
Claims (7)
- 動画像から時系列順に前後する２つのフレーム画像である参照フレーム画像と探索フレ
ーム画像を取得するフレーム画像取得手段と、
前記参照フレーム画像と前記探索フレーム画像の画像間の相関値を算出する相関値算出
手段と、
前記相関値に基づいて、前記参照フレーム画像を基準とする前記探索フレーム画像の画
像全体の動きを示す動きベクトルを算出する動きベクトル算出手段と、を備え、
前記動きベクトル算出手段は、前記相関値算出手段が算出した前記相関値のうち最も相
関が強い前記相関値と２番目に相関が強い前記相関値との差の絶対値が所定の閾値Ａより
も小さい場合に、時系列順で一つ前の前記フレーム画像の前記動きベクトルを前記探索フ
レーム画像の前記動きベクトルとし、前記相関値のうち最も相関が強い前記相関値が相関
の強さを示す所定の閾値Ｂよりも相関が弱い場合に、前記探索フレーム画像の動きベクト
ルを算出しないことを特徴とする動きベクトル検出装置。 - 請求項１に記載の動きベクトル検出装置であって、
前記相関値算出手段は、前記参照フレーム画像と前記探索フレーム画像の相対位置を所
定の範囲内で変え、各位置において、所定の画素ブロックの画素データの輝度値の差の平
均値である差分平均値を前記相関値とすることを特徴とする動きベクトル検出装置。 - 動画像から時系列順に前後する２つのフレーム画像である参照フレーム画像と探索フレ
ーム画像を取得するフレーム画像取得工程と、
前記参照フレーム画像と前記探索フレーム画像の画像間の相関値を算出する相関値算出
工程と、
前記相関値に基づいて、前記参照フレーム画像を基準とする前記探索フレーム画像の画
像全体の動きを示す動きベクトルを算出する動きベクトル算出工程と、を備え、
前記動きベクトル算出工程は、前記相関値算出工程が算出した前記相関値のうち最も相
関が強い前記相関値と２番目に相関が強い前記相関値との差の絶対値が所定の閾値Ａより
小さい場合に、時系列順で一つ前の前記フレーム画像の前記動きベクトルを前記探索フレ
ーム画像の前記動きベクトルとし、前記相関値のうち最も相関が強い前記相関値が相関の
強さを示す所定の閾値Ｂよりも相関が弱い場合に、前記探索フレーム画像の動きベクトル
を算出しないことを特徴とする動きベクトル検出方法。 - 請求項１に記載の動きベクトル検出装置と、
前記動きベクトルに基づいて、前記探索フレーム画像の手ぶれを補正する手ぶれ補正手
段と、を備え、
前記手ぶれ補正手段は、前記動きベクトル算出手段が前記動きベクトルを算出しない場
合は、前記手ぶれの補正を行わないことを特徴とする手ぶれ補正装置。 - 請求項３に記載の動きベクトル検出方法と、
前記動きベクトルに基づいて、前記探索フレーム画像の手ぶれを補正する手ぶれ補正工
程と、を備え、
前記手ぶれ補正工程は、前記動きベクトル算出工程が前記動きベクトルを算出しない場
合は、前記手ぶれの補正を行わないことを特徴とする手ぶれ補正方法。 - 請求項５に記載の手ぶれ補正方法をコンピュータに実行させることを特徴とする手ぶれ
補正プログラム。 - 請求項４に記載の手ぶれ補正装置を備えた動画像表示装置。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2006101666A JP2007279800A (ja) | 2006-04-03 | 2006-04-03 | 動きベクトル検出装置、動きベクトル検出方法、手ぶれ補正装置、手ぶれ補正方法、手ぶれ補正プログラム、及び手ぶれ補正装置を備えた動画像表示装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2006101666A JP2007279800A (ja) | 2006-04-03 | 2006-04-03 | 動きベクトル検出装置、動きベクトル検出方法、手ぶれ補正装置、手ぶれ補正方法、手ぶれ補正プログラム、及び手ぶれ補正装置を備えた動画像表示装置 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JP2007279800A true JP2007279800A (ja) | 2007-10-25 |
Family
ID=38681214
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2006101666A Withdrawn JP2007279800A (ja) | 2006-04-03 | 2006-04-03 | 動きベクトル検出装置、動きベクトル検出方法、手ぶれ補正装置、手ぶれ補正方法、手ぶれ補正プログラム、及び手ぶれ補正装置を備えた動画像表示装置 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP2007279800A (ja) |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2011118057A (ja) * | 2009-12-01 | 2011-06-16 | Canon Inc | 画像形成装置、画像形成方法及びプログラム |
| CN101866602B (zh) * | 2009-04-16 | 2013-03-27 | 联发科技股份有限公司 | 用于平板显示器的显示控制装置及平板显示装置 |
| KR101384437B1 (ko) * | 2008-07-16 | 2014-04-14 | 소니 일렉트로닉스 인코포레이티드 | 움직임 추정을 위해 반복 탐색 결과를 세분화하는 시스템 및 방법, 움직임 추정 시스템 및 기록 매체 |
| WO2017208718A1 (ja) * | 2016-06-02 | 2017-12-07 | ソニー株式会社 | 表示制御装置及び表示制御方法、表示装置、並びに移動体装置 |
Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH02157980A (ja) * | 1988-12-09 | 1990-06-18 | Matsushita Electric Ind Co Ltd | 画像の動きベクトル検出装置及び揺れ補正装置 |
| JPH06284329A (ja) * | 1992-02-03 | 1994-10-07 | Sanyo Electric Co Ltd | 動きベクトル検出回路 |
| JPH0738800A (ja) * | 1993-06-28 | 1995-02-07 | Sanyo Electric Co Ltd | 手振れ補正装置を有するビデオカメラ |
| JP2000078450A (ja) * | 1998-09-02 | 2000-03-14 | Canon Inc | 撮像装置、再生装置及び撮像記録再生装置 |
| JP2000222587A (ja) * | 1999-01-27 | 2000-08-11 | Matsushita Electric Ind Co Ltd | 直交変換―ドメインブロックマッチングを用いる動き推定 |
| JP2003078807A (ja) * | 2001-08-31 | 2003-03-14 | Sony Corp | 動きベクトル検出装置および方法、手振れ補正装置および方法、並びに撮像装置 |
| JP2005260481A (ja) * | 2004-03-10 | 2005-09-22 | Olympus Corp | 動きベクトル検出装置及びその検出方法並びにカメラ |
-
2006
- 2006-04-03 JP JP2006101666A patent/JP2007279800A/ja not_active Withdrawn
Patent Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH02157980A (ja) * | 1988-12-09 | 1990-06-18 | Matsushita Electric Ind Co Ltd | 画像の動きベクトル検出装置及び揺れ補正装置 |
| JPH06284329A (ja) * | 1992-02-03 | 1994-10-07 | Sanyo Electric Co Ltd | 動きベクトル検出回路 |
| JPH0738800A (ja) * | 1993-06-28 | 1995-02-07 | Sanyo Electric Co Ltd | 手振れ補正装置を有するビデオカメラ |
| JP2000078450A (ja) * | 1998-09-02 | 2000-03-14 | Canon Inc | 撮像装置、再生装置及び撮像記録再生装置 |
| JP2000222587A (ja) * | 1999-01-27 | 2000-08-11 | Matsushita Electric Ind Co Ltd | 直交変換―ドメインブロックマッチングを用いる動き推定 |
| JP2003078807A (ja) * | 2001-08-31 | 2003-03-14 | Sony Corp | 動きベクトル検出装置および方法、手振れ補正装置および方法、並びに撮像装置 |
| JP2005260481A (ja) * | 2004-03-10 | 2005-09-22 | Olympus Corp | 動きベクトル検出装置及びその検出方法並びにカメラ |
Cited By (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR101384437B1 (ko) * | 2008-07-16 | 2014-04-14 | 소니 일렉트로닉스 인코포레이티드 | 움직임 추정을 위해 반복 탐색 결과를 세분화하는 시스템 및 방법, 움직임 추정 시스템 및 기록 매체 |
| KR101448440B1 (ko) | 2008-07-16 | 2014-10-13 | 소니 주식회사 | 움직임 추정을 위해 반복 탐색 결과를 세분화하는 시스템 및 방법, 움직임 추정 시스템 및 기록 매체 |
| CN101866602B (zh) * | 2009-04-16 | 2013-03-27 | 联发科技股份有限公司 | 用于平板显示器的显示控制装置及平板显示装置 |
| JP2011118057A (ja) * | 2009-12-01 | 2011-06-16 | Canon Inc | 画像形成装置、画像形成方法及びプログラム |
| WO2017208718A1 (ja) * | 2016-06-02 | 2017-12-07 | ソニー株式会社 | 表示制御装置及び表示制御方法、表示装置、並びに移動体装置 |
| US10757380B2 (en) | 2016-06-02 | 2020-08-25 | Sony Corporation | Display control device, display control method, display device, and mobile device to control display of media content in a mobile object |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US20080180535A1 (en) | Motion Vector Calculation Method and Hand-Movement Correction Device, Imaging Device and Moving Picture Generation Device | |
| KR102141290B1 (ko) | 화상 처리 장치, 화상 처리 방법, 화상 처리 프로그램 및 기억 매체 | |
| JP6570296B2 (ja) | 画像処理装置、画像処理方法およびプログラム | |
| JP2007226643A (ja) | 画像処理装置 | |
| JP2010200179A (ja) | 画像処理装置、画像処理方法、画像処理プログラムおよび画像処理プログラムが格納されたプログラム記憶媒体 | |
| TW201537981A (zh) | 圖像處理裝置、圖像處理方法、圖像處理程式及記錄媒體 | |
| JP2008217526A (ja) | 画像処理装置、画像処理プログラム及び画像処理方法 | |
| US20190005323A1 (en) | Information processing apparatus for tracking processing | |
| JP5751254B2 (ja) | 画像処理システム、画像処理方法および画像処理プログラム | |
| JP2007279800A (ja) | 動きベクトル検出装置、動きベクトル検出方法、手ぶれ補正装置、手ぶれ補正方法、手ぶれ補正プログラム、及び手ぶれ補正装置を備えた動画像表示装置 | |
| JP4872508B2 (ja) | 画像処理装置および画像処理方法、並びにプログラム | |
| JP6282133B2 (ja) | 撮像装置、その制御方法、および制御プログラム | |
| US7522189B2 (en) | Automatic stabilization control apparatus, automatic stabilization control method, and computer readable recording medium having automatic stabilization control program recorded thereon | |
| JP5820716B2 (ja) | 画像処理装置、画像処理方法、コンピュータプログラム、記録媒体、立体画像表示装置 | |
| JP4482933B2 (ja) | 動きベクトル検出装置、画像表示装置、画像撮像装置、動きベクトル検出方法、プログラムおよび記録媒体 | |
| JP5928465B2 (ja) | 劣化復元システム、劣化復元方法およびプログラム | |
| JP2016201037A (ja) | 画像処理装置、画像処理方法及びプログラム | |
| JP2006215657A (ja) | 動きベクトル検出方法、動きベクトル検出装置、動きベクトル検出プログラム及びプログラム記録媒体 | |
| JP2012068842A (ja) | 動きベクトル検出装置、動きベクトル検出方法、および、動きベクトル検出プログラム | |
| CN115511919B (zh) | 视频处理方法、图像检测方法以及装置 | |
| JP3969151B2 (ja) | 画像表示装置、画像処理方法、プログラム及び情報記憶媒体 | |
| JP4727621B2 (ja) | 動画像ブレ検出装置、動画像ブレ補正装置、動画像ブレ検出方法、動画像ブレ補正方法、および電子式撮像装置 | |
| US11983855B2 (en) | Image processing apparatus, image processing method, and program | |
| US11729361B2 (en) | Projection apparatus | |
| US20240013361A1 (en) | Image processing device and method for image processing |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20090402 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20110217 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20110301 |
|
| A761 | Written withdrawal of application |
Free format text: JAPANESE INTERMEDIATE CODE: A761 Effective date: 20110428 |