JP2003078807A - 動きベクトル検出装置および方法、手振れ補正装置および方法、並びに撮像装置 - Google Patents
動きベクトル検出装置および方法、手振れ補正装置および方法、並びに撮像装置Info
- Publication number
- JP2003078807A JP2003078807A JP2001264381A JP2001264381A JP2003078807A JP 2003078807 A JP2003078807 A JP 2003078807A JP 2001264381 A JP2001264381 A JP 2001264381A JP 2001264381 A JP2001264381 A JP 2001264381A JP 2003078807 A JP2003078807 A JP 2003078807A
- Authority
- JP
- Japan
- Prior art keywords
- motion vector
- value
- reliability
- detected
- correlation value
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Landscapes
- Image Analysis (AREA)
- Adjustment Of Camera Lenses (AREA)
- Studio Devices (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
Abstract
(57)【要約】
【課題】 縞模様の画像から検出されるような動きベク
トルを無効とし、手振れ補正用の動きベクトルの信頼性
を高いものとする。 【解決手段】 前フィールドの代表点と現フィールドの
画素値の差分の絶対値が検出領域毎に積分され、累積加
算回路２６によって積分値が生成され、積分値の最小値
から動きベクトルが検出される。信頼性判別回路３２に
よって、動きベクトルの信頼性を判定し、信頼性が低い
と判定したものを無効とする。動きベクトル決定回路３
３は、信頼性の高い動きベクトルを使用して画面全体の
動きベクトルを決定する。積分値の分布の中で複数の極
値を検出し、最小極値と、少なくとも２番目に小さい極
値が近いレベルであることを検出した場合に、検出され
た動きベクトルの信頼性が低いと判定する。それによっ
て、動きベクトルとして検出される最小極値に対してレ
ベルが近い極値が存在することによる誤動作が防止され
る。
トルを無効とし、手振れ補正用の動きベクトルの信頼性
を高いものとする。 【解決手段】 前フィールドの代表点と現フィールドの
画素値の差分の絶対値が検出領域毎に積分され、累積加
算回路２６によって積分値が生成され、積分値の最小値
から動きベクトルが検出される。信頼性判別回路３２に
よって、動きベクトルの信頼性を判定し、信頼性が低い
と判定したものを無効とする。動きベクトル決定回路３
３は、信頼性の高い動きベクトルを使用して画面全体の
動きベクトルを決定する。積分値の分布の中で複数の極
値を検出し、最小極値と、少なくとも２番目に小さい極
値が近いレベルであることを検出した場合に、検出され
た動きベクトルの信頼性が低いと判定する。それによっ
て、動きベクトルとして検出される最小極値に対してレ
ベルが近い極値が存在することによる誤動作が防止され
る。
Description
【０００１】
【発明の属する技術分野】この発明は、例えば手振れに
よる動きベクトルを検出する動きベクトル検出装置およ
び方法、手振れ補正装置および方法、並びに撮像装置に
関する。
よる動きベクトルを検出する動きベクトル検出装置およ
び方法、手振れ補正装置および方法、並びに撮像装置に
関する。
【０００２】
【従来の技術】カメラ一体型撮像装置により被写体を撮
影する時に、手振れによって撮像画像が揺れる問題があ
り、これを補正するために、動きベクトルを検出し、撮
像画像の揺れを補正する手振れ補正が行なわれている。
動きベクトルは、前のフィールド（またはフレーム）と
現在のフィールド（またはフレーム）間の相関を検出す
ることで求められる。手振れ補正による動きは、画面全
体の動きであり、画面全体の動きベクトルが検出され
る。
影する時に、手振れによって撮像画像が揺れる問題があ
り、これを補正するために、動きベクトルを検出し、撮
像画像の揺れを補正する手振れ補正が行なわれている。
動きベクトルは、前のフィールド（またはフレーム）と
現在のフィールド（またはフレーム）間の相関を検出す
ることで求められる。手振れ補正による動きは、画面全
体の動きであり、画面全体の動きベクトルが検出され
る。
【０００３】従来の動きベクトル検出装置は、前フィー
ルドに設定された代表点と現フィールドにおける画素の
輝度レベルの相関を演算することで動きベクトルを検出
していた。例えば代表点と現フィールドのサーチ範囲内
の複数の画素の値のフィールド差の絶対値を演算し、１
フィールドまたは１検出領域に関して差の絶対値を積分
し、積分値の最小値の位置から動きベクトルを検出して
いた。さらに、検出された動きベクトルが手振れを反映
したものであるかどうかの信頼性を判断し、信頼性が低
い、すなわち、動きベクトルが手振れを反映したもので
ないと判断される場合では、検出された動きベクトルを
無効として扱っていた。従来、動きベクトルの信頼性
は、積分値の最小値、平均値、勾配等に基づいて判別し
ていた。
ルドに設定された代表点と現フィールドにおける画素の
輝度レベルの相関を演算することで動きベクトルを検出
していた。例えば代表点と現フィールドのサーチ範囲内
の複数の画素の値のフィールド差の絶対値を演算し、１
フィールドまたは１検出領域に関して差の絶対値を積分
し、積分値の最小値の位置から動きベクトルを検出して
いた。さらに、検出された動きベクトルが手振れを反映
したものであるかどうかの信頼性を判断し、信頼性が低
い、すなわち、動きベクトルが手振れを反映したもので
ないと判断される場合では、検出された動きベクトルを
無効として扱っていた。従来、動きベクトルの信頼性
は、積分値の最小値、平均値、勾配等に基づいて判別し
ていた。
【０００４】
【発明が解決しようとする課題】しかしながら、撮影画
像が縞模様の場合に、手振れを検出すると、本来の手振
れではない動きベクトルを検出する場合がある。この本
来の手振れと異なった動きベクトルは、信頼性判別で無
効としなければならないが、従来の信頼性の判別方法
は、縞模様の信号の場合に検出された動きベクトルを排
除することが難しかった。
像が縞模様の場合に、手振れを検出すると、本来の手振
れではない動きベクトルを検出する場合がある。この本
来の手振れと異なった動きベクトルは、信頼性判別で無
効としなければならないが、従来の信頼性の判別方法
は、縞模様の信号の場合に検出された動きベクトルを排
除することが難しかった。
【０００５】したがって、この発明の目的は、かかる問
題点を解決し、縞模様を撮像した時の本来の手振れとは
異なった動きベクトルを排除することができる動きベク
トル検出装置および方法、手振れ補正装置および方法、
並びに撮像装置を提供することにある。
題点を解決し、縞模様を撮像した時の本来の手振れとは
異なった動きベクトルを排除することができる動きベク
トル検出装置および方法、手振れ補正装置および方法、
並びに撮像装置を提供することにある。
【０００６】
【課題を解決するための手段】上述した課題を解決する
ために、請求項１の発明は、撮像装置の手振れにより生
じる動きベクトルを入力映像信号から検出する動きベク
トル検出装置において、時間的に前のフィールドまたは
フレームから複数の代表点を抽出して記憶する代表点記
憶手段と、現在のフィールドまたはフレームに代表点の
それぞれと同一の位置の画素を含む複数の領域を設定
し、各領域内の複数の画素と代表点との相関値を演算す
る相関値演算手段と、相関値演算手段からの相関値を所
定の範囲で積分する積分手段と、積分手段からの相関値
の積分値に基づいて動きベクトルを検出する動きベクト
ル検出手段とを備え、積分値の極値が複数存在すること
を検出し、極値の１番目のものと、少なくとも２番目の
極値が近いレベルであることを検出した場合に、動きベ
クトル検出手段によって検出された動きベクトルの信頼
性が低いと判定する動きベクトル検出装置。請求項２の
発明は、このような信頼性の判定を行う動きベクトル検
出方法である。
ために、請求項１の発明は、撮像装置の手振れにより生
じる動きベクトルを入力映像信号から検出する動きベク
トル検出装置において、時間的に前のフィールドまたは
フレームから複数の代表点を抽出して記憶する代表点記
憶手段と、現在のフィールドまたはフレームに代表点の
それぞれと同一の位置の画素を含む複数の領域を設定
し、各領域内の複数の画素と代表点との相関値を演算す
る相関値演算手段と、相関値演算手段からの相関値を所
定の範囲で積分する積分手段と、積分手段からの相関値
の積分値に基づいて動きベクトルを検出する動きベクト
ル検出手段とを備え、積分値の極値が複数存在すること
を検出し、極値の１番目のものと、少なくとも２番目の
極値が近いレベルであることを検出した場合に、動きベ
クトル検出手段によって検出された動きベクトルの信頼
性が低いと判定する動きベクトル検出装置。請求項２の
発明は、このような信頼性の判定を行う動きベクトル検
出方法である。
【０００７】請求項３の発明は、撮像装置の手振れによ
り生じる動きベクトルを入力映像信号から検出し、検出
された動きベクトルによって手振れを補正する手振れ補
正装置において、時間的に前のフィールドまたはフレー
ムから複数の代表点を抽出して記憶する代表点記憶手段
と、現在のフィールドまたはフレームに代表点のそれぞ
れと同一の位置の画素を含む複数の領域を設定し、各領
域内の複数の画素と代表点との相関値を演算する相関値
演算手段と、相関値演算手段からの相関値を所定の範囲
で積分する積分手段と、積分手段からの相関値の積分値
に基づいて動きベクトルを検出する動きベクトル検出手
段と、積分手段からの相関値の積分値に基づいて検出さ
れた動きベクトルの信頼性を判定する信頼性判定手段
と、信頼性判定手段の出力に基づいて、画面全体の動き
ベクトルを決定する動きベクトル決定手段とを備え、信
頼性判定手段は、積分値の極値が複数存在することを検
出し、極値の１番目のものと、少なくとも２番目の極値
が近いレベルであることを検出した場合に、動きベクト
ルを信頼性が低いと判定するようになされ、動きベクト
ル決定手段で求められた信頼性が高い動きベクトルに基
づいて、手振れを補正する手振れ補正装置である。請求
項４の発明は、動きベクトル決定手段で求められた信頼
性が高い動きベクトルに基づいて、手振れを補正する手
振れ補正方法である。
り生じる動きベクトルを入力映像信号から検出し、検出
された動きベクトルによって手振れを補正する手振れ補
正装置において、時間的に前のフィールドまたはフレー
ムから複数の代表点を抽出して記憶する代表点記憶手段
と、現在のフィールドまたはフレームに代表点のそれぞ
れと同一の位置の画素を含む複数の領域を設定し、各領
域内の複数の画素と代表点との相関値を演算する相関値
演算手段と、相関値演算手段からの相関値を所定の範囲
で積分する積分手段と、積分手段からの相関値の積分値
に基づいて動きベクトルを検出する動きベクトル検出手
段と、積分手段からの相関値の積分値に基づいて検出さ
れた動きベクトルの信頼性を判定する信頼性判定手段
と、信頼性判定手段の出力に基づいて、画面全体の動き
ベクトルを決定する動きベクトル決定手段とを備え、信
頼性判定手段は、積分値の極値が複数存在することを検
出し、極値の１番目のものと、少なくとも２番目の極値
が近いレベルであることを検出した場合に、動きベクト
ルを信頼性が低いと判定するようになされ、動きベクト
ル決定手段で求められた信頼性が高い動きベクトルに基
づいて、手振れを補正する手振れ補正装置である。請求
項４の発明は、動きベクトル決定手段で求められた信頼
性が高い動きベクトルに基づいて、手振れを補正する手
振れ補正方法である。
【０００８】請求項５の発明は、撮像装置の手振れによ
り生じる動きベクトルを入力映像信号から検出し、検出
された動きベクトルによって手振れを補正する手振れ補
正装置を備えた撮像装置において、手振れ補正装置は、
時間的に前のフィールドまたはフレームから複数の代表
点を抽出して記憶する代表点記憶手段と、現在のフィー
ルドまたはフレームに代表点のそれぞれと同一の位置の
画素を含む複数の領域を設定し、各領域内の複数の画素
と代表点との相関値を演算する相関値演算手段と、相関
値演算手段からの相関値を所定の範囲で積分する積分手
段と、積分手段からの相関値の積分値に基づいて動きベ
クトルを検出する動きベクトル検出手段と、積分手段か
らの相関値の積分値に基づいて検出された動きベクトル
の信頼性を判定する信頼性判定手段と、信頼性判定手段
の出力に基づいて、画面全体の動きベクトルを決定する
動きベクトル決定手段とを備え、信頼性判定手段は、積
分値の極値が複数存在することを検出し、極値の１番目
のものと、少なくとも２番目の極値が近いレベルである
ことを検出した場合に、動きベクトルを信頼性が低いと
判定するようになされ、動きベクトル決定手段で求めら
れた動きベクトルに基づいて、手振れを補正する構成と
された撮像装置である。
り生じる動きベクトルを入力映像信号から検出し、検出
された動きベクトルによって手振れを補正する手振れ補
正装置を備えた撮像装置において、手振れ補正装置は、
時間的に前のフィールドまたはフレームから複数の代表
点を抽出して記憶する代表点記憶手段と、現在のフィー
ルドまたはフレームに代表点のそれぞれと同一の位置の
画素を含む複数の領域を設定し、各領域内の複数の画素
と代表点との相関値を演算する相関値演算手段と、相関
値演算手段からの相関値を所定の範囲で積分する積分手
段と、積分手段からの相関値の積分値に基づいて動きベ
クトルを検出する動きベクトル検出手段と、積分手段か
らの相関値の積分値に基づいて検出された動きベクトル
の信頼性を判定する信頼性判定手段と、信頼性判定手段
の出力に基づいて、画面全体の動きベクトルを決定する
動きベクトル決定手段とを備え、信頼性判定手段は、積
分値の極値が複数存在することを検出し、極値の１番目
のものと、少なくとも２番目の極値が近いレベルである
ことを検出した場合に、動きベクトルを信頼性が低いと
判定するようになされ、動きベクトル決定手段で求めら
れた動きベクトルに基づいて、手振れを補正する構成と
された撮像装置である。
【０００９】この発明では、積分値の極値が複数存在す
ることを検出し、極値の一番目のものと、少なくとも２
番目に小さい極値が近いレベルであることを検出した場
合には、縞模様の画像によって積分値が生成されたもの
と推定し、その場合では、検出された動きベクトルを信
頼性が低いと判定する。したがって、信頼性の低い動き
ベクトルを用いて手振れ補正をすることを回避できる。
ることを検出し、極値の一番目のものと、少なくとも２
番目に小さい極値が近いレベルであることを検出した場
合には、縞模様の画像によって積分値が生成されたもの
と推定し、その場合では、検出された動きベクトルを信
頼性が低いと判定する。したがって、信頼性の低い動き
ベクトルを用いて手振れ補正をすることを回避できる。
【００１０】
【発明の実施の形態】以下、この発明の一実施形態につ
いて図面を参照して説明する。この発明の理解を容易と
するために、手振れ補正装置の一例を説明する。図１
は、かかる手振れ補正装置を示し、参照符号１は、手振
れ補正の対象となるディジタル映像信号の入力端子であ
る。入力映像信号は、撮像装置により撮像されたもので
ある。入力映像信号が動きベクトル検出装置２およびフ
ィールドメモリ４に供給される。動きベクトル検出装置
２が動きベクトルを検出し、検出した動きベクトルの信
頼性を判断し、信頼性の高い動きベクトルから画面全体
の動きベクトルを検出する。動きベクトル検出装置２で
検出された動きベクトルが補正制御部３に供給される。
いて図面を参照して説明する。この発明の理解を容易と
するために、手振れ補正装置の一例を説明する。図１
は、かかる手振れ補正装置を示し、参照符号１は、手振
れ補正の対象となるディジタル映像信号の入力端子であ
る。入力映像信号は、撮像装置により撮像されたもので
ある。入力映像信号が動きベクトル検出装置２およびフ
ィールドメモリ４に供給される。動きベクトル検出装置
２が動きベクトルを検出し、検出した動きベクトルの信
頼性を判断し、信頼性の高い動きベクトルから画面全体
の動きベクトルを検出する。動きベクトル検出装置２で
検出された動きベクトルが補正制御部３に供給される。
【００１１】補正制御部３は、検出された動きベクトル
に基づいた手振れ補正を行う。補正制御部３からの動き
ベクトルがフィールドメモリ４に供給される。フィール
ドメモリ４には、撮像部からの入力映像信号（ディジタ
ル）が蓄積されている。例えば撮像部は、出力画像領域
より大きな領域とされ、それによって生じた余剰エリア
を使用して手振れ補正を行うようにされている。フィー
ルドメモリ４には、かかる余剰エリアを含む画像が蓄積
され、動きベクトルに基づいて出力画像領域として切り
出す位置を変更することによって手振れを補正してい
る。フィールドメモリ４は、手振れ補正の内で、整数画
素単位の補正を行う。すなわち、手振れと逆の方向に画
像をシフトする処理がなさる。このシフトの処理を行う
時に、余剰エリアを利用することによって画像の欠落を
生じないようになされる。撮像部の読み出しを制御した
り、撮像した画像を拡大してフィールドメモリ４に蓄積
しても良い。
に基づいた手振れ補正を行う。補正制御部３からの動き
ベクトルがフィールドメモリ４に供給される。フィール
ドメモリ４には、撮像部からの入力映像信号（ディジタ
ル）が蓄積されている。例えば撮像部は、出力画像領域
より大きな領域とされ、それによって生じた余剰エリア
を使用して手振れ補正を行うようにされている。フィー
ルドメモリ４には、かかる余剰エリアを含む画像が蓄積
され、動きベクトルに基づいて出力画像領域として切り
出す位置を変更することによって手振れを補正してい
る。フィールドメモリ４は、手振れ補正の内で、整数画
素単位の補正を行う。すなわち、手振れと逆の方向に画
像をシフトする処理がなさる。このシフトの処理を行う
時に、余剰エリアを利用することによって画像の欠落を
生じないようになされる。撮像部の読み出しを制御した
り、撮像した画像を拡大してフィールドメモリ４に蓄積
しても良い。
【００１２】フィールドメモリ４から読み出された映像
信号が補間部５に供給される。補間部５では、補正制御
部３で求められた動きベクトルに基づく補正量のうち
で、整数画素以下の補正量が補間によって補正される。
補間は、整数画素以下の補正量に応じた重み付け加算で
実現される。水平方向の動きベクトルの成分が例えば
０．５画素であれば、隣接する２画素の平均値によって
水平方向に０．５画素ずれた画像が生成される。垂直方
向に関しても同様の補間がなされる。
信号が補間部５に供給される。補間部５では、補正制御
部３で求められた動きベクトルに基づく補正量のうち
で、整数画素以下の補正量が補間によって補正される。
補間は、整数画素以下の補正量に応じた重み付け加算で
実現される。水平方向の動きベクトルの成分が例えば
０．５画素であれば、隣接する２画素の平均値によって
水平方向に０．５画素ずれた画像が生成される。垂直方
向に関しても同様の補間がなされる。
【００１３】なお、本説明では、１フィールドを１画面
として扱うが、１フレームを１画面として扱うようにし
ても良い。また、映像信号は、インターレース信号およ
びノンインターレース信号の何れでも良い。さらに、こ
の発明は、カラー映像信号の手振れ補正に対しても適用
できる。但し、動きベクトルは、輝度信号を使用して検
出され、手振れ補正が輝度信号およびカラーコンポーネ
ント信号の両者に施される。
として扱うが、１フレームを１画面として扱うようにし
ても良い。また、映像信号は、インターレース信号およ
びノンインターレース信号の何れでも良い。さらに、こ
の発明は、カラー映像信号の手振れ補正に対しても適用
できる。但し、動きベクトルは、輝度信号を使用して検
出され、手振れ補正が輝度信号およびカラーコンポーネ
ント信号の両者に施される。
【００１４】動きベクトル検出装置２では、代表点マッ
チング法によって動きベクトルを検出する。代表点マッ
チング法は、前フィールドに代表点を設定し、現フィー
ルドのサーチ範囲の画素の輝度レベルと前フィールドの
代表点の輝度レベルとを比較し、サーチ範囲の画素のう
ち代表点の画素に最も近い画素から動きベクトルを検出
する方法である。
チング法によって動きベクトルを検出する。代表点マッ
チング法は、前フィールドに代表点を設定し、現フィー
ルドのサーチ範囲の画素の輝度レベルと前フィールドの
代表点の輝度レベルとを比較し、サーチ範囲の画素のう
ち代表点の画素に最も近い画素から動きベクトルを検出
する方法である。
【００１５】図２は、代表点マッチング法による動きベ
クトル検出方法を示すものである。現フィールドに複数
の画素からなるサーチ範囲ＳＲｎが設定される。サーチ
範囲ＳＲｎと同一位置で、同一の大きさの前フィールド
の領域ＳＲn-1 の例えば中心位置の画素の値が代表点Ｓ
t-1（Ｘｋ，Ｙｋ）とされる。代表点Ｓt-1（Ｘｋ，Ｙ
ｋ）と 、サーチ範囲ＳＲｎ内の複数の画素との輝度レ
ベルの差の絶対値が演算される。サーチ範囲で発生した
差の絶対値が相関値である。１フィールド内には、複数
のサーチ範囲が設定され、各サーチ範囲で求められた相
関値が１フィールドにわたって積分されることによっ
て、相関値の積分値が形成される。この積分値から動き
ベクトルが検出される。
クトル検出方法を示すものである。現フィールドに複数
の画素からなるサーチ範囲ＳＲｎが設定される。サーチ
範囲ＳＲｎと同一位置で、同一の大きさの前フィールド
の領域ＳＲn-1 の例えば中心位置の画素の値が代表点Ｓ
t-1（Ｘｋ，Ｙｋ）とされる。代表点Ｓt-1（Ｘｋ，Ｙ
ｋ）と 、サーチ範囲ＳＲｎ内の複数の画素との輝度レ
ベルの差の絶対値が演算される。サーチ範囲で発生した
差の絶対値が相関値である。１フィールド内には、複数
のサーチ範囲が設定され、各サーチ範囲で求められた相
関値が１フィールドにわたって積分されることによっ
て、相関値の積分値が形成される。この積分値から動き
ベクトルが検出される。
【００１６】このように、輝度レベルの相関を表す相関
値は、代表点の輝度レベルとサーチ範囲ＳＲｎの各画素
の輝度レベルの差の絶対値であり、相関が高い場合で
は、相関値が小さくなる関係にある。相関値としては、
差の自乗を使用しても良い。相関値が積分された積分値
から動きベクトルが検出される。サーチ範囲ＳＲｎを相
関値の積分値とした場合、積分値が最小の位置ａが検出
される。代表点の位置と検出された位置ａとの偏移から
動きベクトルＭｖが検出される。
値は、代表点の輝度レベルとサーチ範囲ＳＲｎの各画素
の輝度レベルの差の絶対値であり、相関が高い場合で
は、相関値が小さくなる関係にある。相関値としては、
差の自乗を使用しても良い。相関値が積分された積分値
から動きベクトルが検出される。サーチ範囲ＳＲｎを相
関値の積分値とした場合、積分値が最小の位置ａが検出
される。代表点の位置と検出された位置ａとの偏移から
動きベクトルＭｖが検出される。
【００１７】撮影時の手振れにより発生する画像の揺れ
は、画面全体の揺れであり、手振れ補正は、フィールド
メモリ４を使用して画面全体を手振れで発生した動きベ
クトルと逆の方向にシフトする処理である。画面全体の
動きベクトルを求める方法の一例についてより具体的に
説明する。
は、画面全体の揺れであり、手振れ補正は、フィールド
メモリ４を使用して画面全体を手振れで発生した動きベ
クトルと逆の方向にシフトする処理である。画面全体の
動きベクトルを求める方法の一例についてより具体的に
説明する。
【００１８】図３は、撮像された１画面に設定される検
出領域の例である。各フィールド（各画面）をほぼ４分
割した各分割領域に検出領域Ｄ０，Ｄ１，Ｄ２，Ｄ３が
設定される。各検出領域の動きベクトルが求められ、各
検出領域の動きベクトルの中で信頼性の高いものを使用
して画面全体の動きベクトルが求められる。
出領域の例である。各フィールド（各画面）をほぼ４分
割した各分割領域に検出領域Ｄ０，Ｄ１，Ｄ２，Ｄ３が
設定される。各検出領域の動きベクトルが求められ、各
検出領域の動きベクトルの中で信頼性の高いものを使用
して画面全体の動きベクトルが求められる。
【００１９】図４は、検出領域Ｄｉ（ｉ＝０，１，２，
３）の一例を詳細に示す。前フィールドの検出領域に
は、複数例えば水平方向に８個、垂直方向に６個の合計
４８個の代表点が含まれる。各代表点に対応する空間的
位置に、代表点と同数のサーチ範囲ＳＲｎ（ｎ＝０〜４
７）が現フィールドに設定される。サーチ範囲は、水平
方向の位置が（０，１，２，・・・，Ｘ）とされ、垂直
方向の位置が（０，１，２，・・・，Ｙ）とされる。こ
の両方の位置によって、各画素の位置が規定される。代
表点の位置は、例えばサーチ範囲と同一位置の領域の中
心位置である。そして、代表点の位置に対する偏移ｘ、
偏移ｙが規定される。代表点と同一位置では、偏移ｘお
よびｙが共に０である。
３）の一例を詳細に示す。前フィールドの検出領域に
は、複数例えば水平方向に８個、垂直方向に６個の合計
４８個の代表点が含まれる。各代表点に対応する空間的
位置に、代表点と同数のサーチ範囲ＳＲｎ（ｎ＝０〜４
７）が現フィールドに設定される。サーチ範囲は、水平
方向の位置が（０，１，２，・・・，Ｘ）とされ、垂直
方向の位置が（０，１，２，・・・，Ｙ）とされる。こ
の両方の位置によって、各画素の位置が規定される。代
表点の位置は、例えばサーチ範囲と同一位置の領域の中
心位置である。そして、代表点の位置に対する偏移ｘ、
偏移ｙが規定される。代表点と同一位置では、偏移ｘお
よびｙが共に０である。
【００２０】検出領域Ｄｉのそれぞれにおいて、各サー
チ範囲で、各画素毎に相関値例えば代表点と各画素の差
の絶対値が求められる。相関値が検出領域毎に積分さ
れ、相関値の積分値（以下、適宜検出領域の積分値と称
する）からその検出領域の動きベクトルが求められる。
図５は、相関値の積分値を求める方法を示す。図５で
は、１つの検出領域内にＺ＋１個のサーチ範囲ＳＲ０〜
ＳＲｚが含まれる例である。
チ範囲で、各画素毎に相関値例えば代表点と各画素の差
の絶対値が求められる。相関値が検出領域毎に積分さ
れ、相関値の積分値（以下、適宜検出領域の積分値と称
する）からその検出領域の動きベクトルが求められる。
図５は、相関値の積分値を求める方法を示す。図５で
は、１つの検出領域内にＺ＋１個のサーチ範囲ＳＲ０〜
ＳＲｚが含まれる例である。
【００２１】図５の最上段には、サーチ範囲ＳＲ０で求
められた相関値が示されている。各画素の位置に対応し
て相関値が発生するので、各相関値の位置が示されてい
る。他のサーチ範囲の相関値も、同様に各画素の位置で
発生する。そして、検出領域内の全てのサーチ範囲の相
関値の中で、同じ位置のものが加算されることによっ
て、相関値の積分値ＳＲｄが求められる。例えば（０，
０，０）の位置の相関値、（０，０，１）の位置き相関
値、・・・、（０，０，Ｚ）の位置の相関値が合計され
た値が相関値の積分値ＳＲｄの（０，０）の位置の成分
である。
められた相関値が示されている。各画素の位置に対応し
て相関値が発生するので、各相関値の位置が示されてい
る。他のサーチ範囲の相関値も、同様に各画素の位置で
発生する。そして、検出領域内の全てのサーチ範囲の相
関値の中で、同じ位置のものが加算されることによっ
て、相関値の積分値ＳＲｄが求められる。例えば（０，
０，０）の位置の相関値、（０，０，１）の位置き相関
値、・・・、（０，０，Ｚ）の位置の相関値が合計され
た値が相関値の積分値ＳＲｄの（０，０）の位置の成分
である。
【００２２】図６は、このようにして求められた１つの
検出領域の相関値の積分値を３次元（偏移ｘおよびｙと
相関値の大きさ）で表すものである。図６において、積
分値が最小となる位置ａから動きベクトルを検出する。
すなわち、位置ａに対応する偏移ｘおよびｙの値をその
検出領域の相関値積分値の最小値とする。なお、上述し
たように、１つの検出領域内に複数のサーチ範囲を持つ
ことによって、検出精度の低下を防止することができ
る。さらに、１つの検出領域内に設定される複数のサー
チ範囲が互いにオーバーラップ部分を持つようにしても
良い。
検出領域の相関値の積分値を３次元（偏移ｘおよびｙと
相関値の大きさ）で表すものである。図６において、積
分値が最小となる位置ａから動きベクトルを検出する。
すなわち、位置ａに対応する偏移ｘおよびｙの値をその
検出領域の相関値積分値の最小値とする。なお、上述し
たように、１つの検出領域内に複数のサーチ範囲を持つ
ことによって、検出精度の低下を防止することができ
る。さらに、１つの検出領域内に設定される複数のサー
チ範囲が互いにオーバーラップ部分を持つようにしても
良い。
【００２３】図７は、動きベクトル検出装置２における
動きベクトル検出部２０の一例の構成を示す。入力端子
２１から映像信号が入力され、フィルタ処理回路２２に
供給される。フィルタ処理回路２２によって動き検出に
不要な周波数成分を除去する。フィルタ処理回路２２の
出力信号が代表点記憶回路２３および減算器２４の一方
の入力端子に供給される。減算器２４の他方の入力端子
には、代表点記憶回路２３からの代表点の値が供給され
る。
動きベクトル検出部２０の一例の構成を示す。入力端子
２１から映像信号が入力され、フィルタ処理回路２２に
供給される。フィルタ処理回路２２によって動き検出に
不要な周波数成分を除去する。フィルタ処理回路２２の
出力信号が代表点記憶回路２３および減算器２４の一方
の入力端子に供給される。減算器２４の他方の入力端子
には、代表点記憶回路２３からの代表点の値が供給され
る。
【００２４】代表点記憶回路２３によって、サーチ範囲
に対応する２次元領域の中心位置の画素の値が代表点と
して記憶される。例えば、代表点記憶回路２３は、現フ
ィールドの代表点を選択的に記憶するメモリと、前フィ
ールドの代表点を保持するメモリとから構成される。代
表点記憶回路２３から減算器２４の他方の入力端子に対
しては、前フィールドの代表点の値が供給される。
に対応する２次元領域の中心位置の画素の値が代表点と
して記憶される。例えば、代表点記憶回路２３は、現フ
ィールドの代表点を選択的に記憶するメモリと、前フィ
ールドの代表点を保持するメモリとから構成される。代
表点記憶回路２３から減算器２４の他方の入力端子に対
しては、前フィールドの代表点の値が供給される。
【００２５】減算器２４では、代表点からサーチ範囲内
の各画素値が減算される。減算器２４からの差のデータ
が絶対値変換回路２５に供給され、差の絶対値に変換さ
れる。差の絶対値が相関値である。相関値が累積加算回
路２６に供給され、図５を参照して説明したように、検
出領域に含まれる全ての相関値が積分される。累積加算
回路２６によって、１検出領域の相関値の積分値が得ら
れる。
の各画素値が減算される。減算器２４からの差のデータ
が絶対値変換回路２５に供給され、差の絶対値に変換さ
れる。差の絶対値が相関値である。相関値が累積加算回
路２６に供給され、図５を参照して説明したように、検
出領域に含まれる全ての相関値が積分される。累積加算
回路２６によって、１検出領域の相関値の積分値が得ら
れる。
【００２６】累積加算回路２６からの相関値の積分値が
動きベクトル発生回路２７に供給される。動きベクトル
発生回路２７では、積分値の最小値を検出し、その偏移
ｘおよびｙから動きベクトルを検出し、出力する。出力
される動きベクトルは、１つの検出領域で検出されたも
のである。
動きベクトル発生回路２７に供給される。動きベクトル
発生回路２７では、積分値の最小値を検出し、その偏移
ｘおよびｙから動きベクトルを検出し、出力する。出力
される動きベクトルは、１つの検出領域で検出されたも
のである。
【００２７】図８は、動きベクトル検出装置２の構成の
一例を示す。動きベクトル検出装置２の内の動きベクト
ル検出部２０については、図７と対応する部分に同一符
号を付してその説明は、重複を避けるために省略する。
動きベクトル検出装置２は、動きベクトル検出部２０の
他に、ベクトル特徴検出回路３１、信頼性判別回路３２
およびベクトル検出回路３３によって構成される。動き
ベクトル検出部２０の累算加算回路２６から出力される
相関値の積分値が動きベクトル発生回路２７と共に、ベ
クトル特徴検出回路３１に供給される。
一例を示す。動きベクトル検出装置２の内の動きベクト
ル検出部２０については、図７と対応する部分に同一符
号を付してその説明は、重複を避けるために省略する。
動きベクトル検出装置２は、動きベクトル検出部２０の
他に、ベクトル特徴検出回路３１、信頼性判別回路３２
およびベクトル検出回路３３によって構成される。動き
ベクトル検出部２０の累算加算回路２６から出力される
相関値の積分値が動きベクトル発生回路２７と共に、ベ
クトル特徴検出回路３１に供給される。
【００２８】ベクトル特徴検出回路３１は、図６に示す
最小値の点ａの周辺の特徴、相関値積分値の特徴を検出
する回路である。ベクトル特徴検出回路３１で検出され
た特徴が信頼性判別回路３２に供給される。信頼性判別
回路３２は、検出された特徴に基づいて信頼性の程度を
示す信頼性情報を生成し、信頼性情報をベクトル決定回
路３３に供給する。ベクトル決定回路３３では、信頼性
情報を使用して信頼性の高い動きベクトルを決定する。
動きベクトル決定回路３３は、信頼性情報と各検出領域
の動きベクトルとを使用して画面全体の動きベクトルを
決定し、決定された動きベクトルを出力する。
最小値の点ａの周辺の特徴、相関値積分値の特徴を検出
する回路である。ベクトル特徴検出回路３１で検出され
た特徴が信頼性判別回路３２に供給される。信頼性判別
回路３２は、検出された特徴に基づいて信頼性の程度を
示す信頼性情報を生成し、信頼性情報をベクトル決定回
路３３に供給する。ベクトル決定回路３３では、信頼性
情報を使用して信頼性の高い動きベクトルを決定する。
動きベクトル決定回路３３は、信頼性情報と各検出領域
の動きベクトルとを使用して画面全体の動きベクトルを
決定し、決定された動きベクトルを出力する。
【００２９】図３を参照して説明したように、１画面に
４個の検出領域Ｄ１〜Ｄ４を設定している。動きベクト
ル検出部２０では、Ｄ１から順に各検出領域の動きベク
トルを検出し、ベクトル決定回路３３には、検出領域Ｄ
１、Ｄ２、Ｄ３、Ｄ４の順で、検出された動きベクトル
と各検出領域の信頼性情報とが供給される。なお、各検
出領域の動きベクトルを並列的に求めても良い。また、
動きベクトル検出装置２の全体または一部の機能をソフ
トウェア処理で実現しても良い。
４個の検出領域Ｄ１〜Ｄ４を設定している。動きベクト
ル検出部２０では、Ｄ１から順に各検出領域の動きベク
トルを検出し、ベクトル決定回路３３には、検出領域Ｄ
１、Ｄ２、Ｄ３、Ｄ４の順で、検出された動きベクトル
と各検出領域の信頼性情報とが供給される。なお、各検
出領域の動きベクトルを並列的に求めても良い。また、
動きベクトル検出装置２の全体または一部の機能をソフ
トウェア処理で実現しても良い。
【００３０】ベクトル決定回路３３では、４個の検出領
域でそれぞれ求められた動きベクトルと信頼性の情報か
ら画面全体の動きベクトルを検出する。このアルゴリズ
ムは、種々のものが可能である。単純な例としては、最
も信頼性が高いと判別された動きベクトルが画面全体の
動きベクトルとして選択される。他の例としては、信頼
性の高い動きベクトルが複数あった場合に、それらの平
均値を画面全体の動きベクトルとして採用する。これら
以外の方法も可能である。
域でそれぞれ求められた動きベクトルと信頼性の情報か
ら画面全体の動きベクトルを検出する。このアルゴリズ
ムは、種々のものが可能である。単純な例としては、最
も信頼性が高いと判別された動きベクトルが画面全体の
動きベクトルとして選択される。他の例としては、信頼
性の高い動きベクトルが複数あった場合に、それらの平
均値を画面全体の動きベクトルとして採用する。これら
以外の方法も可能である。
【００３１】信頼性判別回路３２は、動きベクトル検出
部２０から出力される動きベクトルが本来の手振れによ
る動きベクトルと異なることがあるために設けられてい
る。従来では、最小値、積分値の平均値に基づいて信頼
性が判別されていた。
部２０から出力される動きベクトルが本来の手振れによ
る動きベクトルと異なることがあるために設けられてい
る。従来では、最小値、積分値の平均値に基づいて信頼
性が判別されていた。
【００３２】図９において、参照符号４１は、通常の被
写体の偏移に対する積分値の変化を示し、４１ａｖがそ
の平均値を示す。積分値の分布は、図６に示すように、
３次元分布であるが、図９では、簡単のため１つの偏移
（例えばＸまたはＹ）に沿ったレベル変化が示されてい
る。参照符号４２は、移動物体が画面に進入した場合の
積分値の変化を示す。この場合では、極値のレベルが通
常の場合のものに比して大きくなる。参照符号４３は、
低コントラスト時の積分値の変化を示す。低コントラス
ト時では、平均値が小さくなる。これらの場合に検出さ
れた動きベクトルは、手振れを正確に反映しないことが
多いので、信頼性が低いものと判別される。
写体の偏移に対する積分値の変化を示し、４１ａｖがそ
の平均値を示す。積分値の分布は、図６に示すように、
３次元分布であるが、図９では、簡単のため１つの偏移
（例えばＸまたはＹ）に沿ったレベル変化が示されてい
る。参照符号４２は、移動物体が画面に進入した場合の
積分値の変化を示す。この場合では、極値のレベルが通
常の場合のものに比して大きくなる。参照符号４３は、
低コントラスト時の積分値の変化を示す。低コントラス
ト時では、平均値が小さくなる。これらの場合に検出さ
れた動きベクトルは、手振れを正確に反映しないことが
多いので、信頼性が低いものと判別される。
【００３３】縞模様でない被写体の場合では、図６およ
び図１０に示すように、偏移に対する相関値の積分値の
レベル分布は、１つの極値のみ存在するか、たとえ複数
の極値が存在しても図１１に示すようにそれらのレベル
は、最小の極値と大きく異なっている。これらの場合で
は、従来の信頼性判定の方法を検出された動きベクトル
に対して適用することができる。
び図１０に示すように、偏移に対する相関値の積分値の
レベル分布は、１つの極値のみ存在するか、たとえ複数
の極値が存在しても図１１に示すようにそれらのレベル
は、最小の極値と大きく異なっている。これらの場合で
は、従来の信頼性判定の方法を検出された動きベクトル
に対して適用することができる。
【００３４】しかしながら、検出領域内の被写体の輝度
レベルが２値的な縞模様の場合では、図１２に示すよう
に、積分値の分布として、複数の極値（図１２では、位
置ａおよびｂ）が存在する場合が多く、レベルが比較的
近い極値が存在する。また、図１３に示すように、レベ
ルが比較的近い複数の極値が存在する場合もある。その
ため、本来の動きベクトルを点ｂの位置から検出すべき
であるにもかかわらず、レベルが最小の極値の位置ａか
ら動きベクトルが検出される。この動きベクトルは、本
来の手振れベクトルとは異なるものである。
レベルが２値的な縞模様の場合では、図１２に示すよう
に、積分値の分布として、複数の極値（図１２では、位
置ａおよびｂ）が存在する場合が多く、レベルが比較的
近い極値が存在する。また、図１３に示すように、レベ
ルが比較的近い複数の極値が存在する場合もある。その
ため、本来の動きベクトルを点ｂの位置から検出すべき
であるにもかかわらず、レベルが最小の極値の位置ａか
ら動きベクトルが検出される。この動きベクトルは、本
来の手振れベクトルとは異なるものである。
【００３５】被写体が縞模様である場合では、積分値の
最小値のレベルや、平均値に基づく従来の信頼性の判別
構成では、本来手振れ動きベクトルとは異なったものが
有効な動きベクトルとして扱われ、その結果、手振れ補
正時に不自然な手振れ補正がなされる問題があった。
最小値のレベルや、平均値に基づく従来の信頼性の判別
構成では、本来手振れ動きベクトルとは異なったものが
有効な動きベクトルとして扱われ、その結果、手振れ補
正時に不自然な手振れ補正がなされる問題があった。
【００３６】この発明は、検出領域に縞模様が存在する
場合においても、信頼性を判別できるようにするもので
ある。すなわち、積分値の分布の中で複数の極値を検出
し、最も積分値が小さい極値を最小（１番目の）極値と
し、それ以外の極値と比較することによって、最小極値
と、少なくとも２番目に小さい極値が近いレベルである
ことを検出した場合に、検出された動きベクトルの信頼
性が低いと判定するものである。これは、動きベクトル
として検出される最小極値に対してレベルが近い極値が
存在することによる誤動作を防止するためである。但
し、信頼性判別回路がこの発明による信頼性判別の方法
と共に、従来の最小値のレベル、平均値等の特徴を使用
した信頼性の判別を併用するようにしても良い。
場合においても、信頼性を判別できるようにするもので
ある。すなわち、積分値の分布の中で複数の極値を検出
し、最も積分値が小さい極値を最小（１番目の）極値と
し、それ以外の極値と比較することによって、最小極値
と、少なくとも２番目に小さい極値が近いレベルである
ことを検出した場合に、検出された動きベクトルの信頼
性が低いと判定するものである。これは、動きベクトル
として検出される最小極値に対してレベルが近い極値が
存在することによる誤動作を防止するためである。但
し、信頼性判別回路がこの発明による信頼性判別の方法
と共に、従来の最小値のレベル、平均値等の特徴を使用
した信頼性の判別を併用するようにしても良い。
【００３７】最小極値と全ての極値を比較するのが１つ
の方法である。他の方法は、２番目に積分値が小さい点
（第２極値）だけを最小極値と比較する方法である。第
２極値以外に、極値の積分値に関する情報が無くても、
充分に判別を行うことができる。このように、全ての極
値ではなく、二つの極値しか扱わなければ、回路規模を
抑えることができる。
の方法である。他の方法は、２番目に積分値が小さい点
（第２極値）だけを最小極値と比較する方法である。第
２極値以外に、極値の積分値に関する情報が無くても、
充分に判別を行うことができる。このように、全ての極
値ではなく、二つの極値しか扱わなければ、回路規模を
抑えることができる。
【００３８】そこで、図１２に示したように、偏移−相
関値のグラフにおいて、複数の極値が存在する場合、最
小極値と第２極値（２番目に小さい値）を用いて、次式
に示す判別式を満たす場合に信頼性がないと判定され
る。ＡＢＳ（ ）は、絶対値を意味する。
関値のグラフにおいて、複数の極値が存在する場合、最
小極値と第２極値（２番目に小さい値）を用いて、次式
に示す判別式を満たす場合に信頼性がないと判定され
る。ＡＢＳ（ ）は、絶対値を意味する。
【００３９】第２極値／最小極値 ≦しきい値
【００４０】または、ＡＢＳ（第２極値−最小極値）≦
しきい値
しきい値
【００４１】存在する極値を全て用いる場合では、次式
によって信頼性が判定される。Σは、最小極値以外に存
在する全ての極値の数の総和を意味する。
によって信頼性が判定される。Σは、最小極値以外に存
在する全ての極値の数の総和を意味する。
【００４２】ΣＡＢＳ（極値−最小極値）／最小極値以
外の全極値の数≦しきい値
外の全極値の数≦しきい値
【００４３】一実施形態では、ベクトル特徴検出回路３
１において、積分値の分布に存在する複数の極値の位置
と、極値のレベルを検出する。検出された極値の位置と
レベルの情報が信頼性判別回路３２に供給され、信頼性
判別回路３２が上述した判別式に基づいて動きベクトル
の信頼性を判別する。信頼性の有無の情報がベクトル決
定回路３３に供給され、ベクトル決定回路３３は、例え
ば４個の検出領域のそれぞれで検出され、且つ信頼性が
高いと判別された動きベクトルのみを使用して画面全体
の動きベクトルを決定する。
１において、積分値の分布に存在する複数の極値の位置
と、極値のレベルを検出する。検出された極値の位置と
レベルの情報が信頼性判別回路３２に供給され、信頼性
判別回路３２が上述した判別式に基づいて動きベクトル
の信頼性を判別する。信頼性の有無の情報がベクトル決
定回路３３に供給され、ベクトル決定回路３３は、例え
ば４個の検出領域のそれぞれで検出され、且つ信頼性が
高いと判別された動きベクトルのみを使用して画面全体
の動きベクトルを決定する。
【００４４】この発明は、上述したこの発明の一実施形
態等に限定されるものでは無く、この発明の要旨を逸脱
しない範囲内で様々な変形や応用が可能である。例えば
極値のレベルは、０からのレベルに限らず、積分値の最
大値（例えば８ビットデータの場合の２５５）との差に
よって規定しても良い。
態等に限定されるものでは無く、この発明の要旨を逸脱
しない範囲内で様々な変形や応用が可能である。例えば
極値のレベルは、０からのレベルに限らず、積分値の最
大値（例えば８ビットデータの場合の２５５）との差に
よって規定しても良い。
【００４５】
【発明の効果】この発明では、輝度レベルが２値的な被
写体例えば縞模様の被写体を撮影した場合では、積分値
の分布において、複数の極値が発生し、しかも、１番目
のものと少なくとも２番目のものとが近いレベルとなる
ことに着目し、そのような場合では、検出された動きベ
クトルの信頼性を低いものと判定する。この信頼性判定
処理によって、画面全体の動きベクトルを決定する場合
に、信頼性の低い動きベクトルを排除することができ、
手振れ補正時に不自然な補正をする等の誤動作を防止す
ることができる。
写体例えば縞模様の被写体を撮影した場合では、積分値
の分布において、複数の極値が発生し、しかも、１番目
のものと少なくとも２番目のものとが近いレベルとなる
ことに着目し、そのような場合では、検出された動きベ
クトルの信頼性を低いものと判定する。この信頼性判定
処理によって、画面全体の動きベクトルを決定する場合
に、信頼性の低い動きベクトルを排除することができ、
手振れ補正時に不自然な補正をする等の誤動作を防止す
ることができる。
【図面の簡単な説明】
【図１】手振れ補正装置の一例を示すブロック図であ
る。
る。
【図２】動きベクトル検出方法の説明に用いる略線図で
ある。
ある。
【図３】動きベクトル検出のための検出領域を示す略線
図である。
図である。
【図４】動きベクトル検出のための代表点とサーチ範囲
の関係を示す略線図である。
の関係を示す略線図である。
【図５】相関値の積分値を説明するための略線図であ
る。
る。
【図６】相関値の積分値を３次元的に示す略線図であ
る。
る。
【図７】動きベクトル検出部の一例のブロック図であ
る。
る。
【図８】動きベクトル検出装置の一例のブロック図であ
る。
る。
【図９】偏移−積分値の例を示す略線図である。
【図１０】通常の被写体から求められた偏移−積分値の
例を示す略線図である。
例を示す略線図である。
【図１１】通常の被写体から求められた偏移−積分値の
例を示す略線図である。
例を示す略線図である。
【図１２】縞模様のような２値的な被写体から求められ
た偏移−積分値の例を示す略線図である。
た偏移−積分値の例を示す略線図である。
【図１３】縞模様のような２値的な被写体から求められ
た偏移−積分値の例を示す略線図である。
た偏移−積分値の例を示す略線図である。
２・・・動きベクトル検出装置、３・・・補正制御部、
４・・・フィールドメモリ、３１・・・ベクトル特徴検
出回路、３２・・・信頼性判別回路、３３・・・動きベ
クトル決定回路
４・・・フィールドメモリ、３１・・・ベクトル特徴検
出回路、３２・・・信頼性判別回路、３３・・・動きベ
クトル決定回路
フロントページの続き
(51)Int.Cl.7 識別記号 ＦＩ テーマコート゛(参考）
Ｈ０４Ｎ 7/24 Ｈ０４Ｎ 7/13 Ｚ
Claims (5)
- 【請求項１】 撮像装置の手振れにより生じる動きベク
トルを入力映像信号から検出する動きベクトル検出装置
において、 時間的に前のフィールドまたはフレームから複数の代表
点を抽出して記憶する代表点記憶手段と、 現在のフィールドまたはフレームに上記代表点のそれぞ
れと同一の位置の画素を含む複数の領域を設定し、各領
域内の複数の画素と上記代表点との相関値を演算する相
関値演算手段と、 上記相関値演算手段からの相関値を所定の範囲で積分す
る積分手段と、 上記積分手段からの相関値の積分値に基づいて動きベク
トルを検出する動きベクトル検出手段とを備え、 上記積分値の極値が複数存在することを検出し、上記極
値の１番目のものと、少なくとも２番目の極値が近いレ
ベルであることを検出した場合に、上記動きベクトル検
出手段によって検出された動きベクトルの信頼性が低い
と判定する動きベクトル検出装置。 - 【請求項２】 撮像装置の手振れにより生じる動きベク
トルを入力映像信号から検出する動きベクトル検出方法
において、 時間的に前のフィールドまたはフレームから複数の代表
点を抽出して記憶する代表点記憶ステップと、 現在のフィールドまたはフレームに上記代表点のそれぞ
れと同一の位置の画素を含む複数の領域を設定し、各領
域内の複数の画素と上記代表点との相関値を演算する相
関値演算ステップと、 演算された上記相関値を所定の範囲で積分する積分ステ
ップと、 求められた相関値の積分値に基づいて動きベクトルを検
出する動きベクトル検出ステップとからなり、 上記積分値の極値が複数存在することを検出し、上記極
値の１番目のものと、少なくとも２番目の極値が近いレ
ベルであることを検出した場合に、上記動きベクトル検
出ステップによって検出された動きベクトルの信頼性が
低いと判定する動きベクトル検出方法。 - 【請求項３】 撮像装置の手振れにより生じる動きベク
トルを入力映像信号から検出し、検出された動きベクト
ルによって手振れを補正する手振れ補正装置において、 時間的に前のフィールドまたはフレームから複数の代表
点を抽出して記憶する代表点記憶手段と、 現在のフィールドまたはフレームに上記代表点のそれぞ
れと同一の位置の画素を含む複数の領域を設定し、各領
域内の複数の画素と上記代表点との相関値を演算する相
関値演算手段と、 上記相関値演算手段からの相関値を所定の範囲で積分す
る積分手段と、 上記積分手段からの相関値の積分値に基づいて動きベク
トルを検出する動きベクトル検出手段と、 上記積分手段からの相関値の積分値に基づいて検出され
た動きベクトルの信頼性を判定する信頼性判定手段と、 上記信頼性判定手段の出力に基づいて、画面全体の動き
ベクトルを決定する動きベクトル決定手段とを備え、 上記信頼性判定手段は、上記積分値の極値が複数存在す
ることを検出し、上記極値の１番目のものと、少なくと
も２番目の極値が近いレベルであることを検出した場合
に、動きベクトルを信頼性が低いと判定するようになさ
れ、 上記動きベクトル決定手段で求められた信頼性が高い動
きベクトルに基づいて、手振れを補正する手振れ補正装
置。 - 【請求項４】 撮像装置の手振れにより生じる動きベク
トルを入力映像信号から検出し、検出された動きベクト
ルによって手振れを補正する手振れ補正方法において、 時間的に前のフィールドまたはフレームから複数の代表
点を抽出して記憶する代表点記憶ステップと、 現在のフィールドまたはフレームに上記代表点のそれぞ
れと同一の位置の画素を含む複数の領域を設定し、各領
域内の複数の画素と上記代表点との相関値を演算する相
関値演算ステップと、 演算された上記相関値を所定の範囲で積分する積分ステ
ップと、 求められた相関値の積分値に基づいて動きベクトルを検
出する動きベクトル検出ステップと、 演算された上記相関値の積分値に基づいて検出された動
きベクトルの信頼性を判定する信頼性判定ステップと、 上記信頼性判定ステップの判定結果に基づいて、画面全
体の動きベクトルを決定する動きベクトル決定ステップ
とからなり、 上記信頼性判定ステップでは、上記積分値の極値が複数
存在することを検出し、上記極値の１番目のものと、少
なくとも２番目の極値が近いレベルであることを検出し
た場合に、動きベクトルを信頼性が低いと判定するよう
になされ、 上記動きベクトル決定ステップで求められた信頼性が高
い動きベクトルに基づいて、手振れを補正する手振れ補
正方法。 - 【請求項５】 撮像装置の手振れにより生じる動きベク
トルを入力映像信号から検出し、検出された動きベクト
ルによって手振れを補正する手振れ補正装置を備えた撮
像装置において、 上記手振れ補正装置は、 時間的に前のフィールドまたはフレームから複数の代表
点を抽出して記憶する代表点記憶手段と、 現在のフィールドまたはフレームに上記代表点のそれぞ
れと同一の位置の画素を含む複数の領域を設定し、各領
域内の複数の画素と上記代表点との相関値を演算する相
関値演算手段と、 上記相関値演算手段からの相関値を所定の範囲で積分す
る積分手段と、 上記積分手段からの相関値の積分値に基づいて動きベク
トルを検出する動きベクトル検出手段と、 上記積分手段からの相関値の積分値に基づいて検出され
た動きベクトルの信頼性を判定する信頼性判定手段と、 上記信頼性判定手段の出力に基づいて、画面全体の動き
ベクトルを決定する動きベクトル決定手段とを備え、 上記信頼性判定手段は、上記積分値の極値が複数存在す
ることを検出し、上記極値の１番目のものと、少なくと
も２番目の極値が近いレベルであることを検出した場合
に、動きベクトルを信頼性が低いと判定するようになさ
れ、 上記動きベクトル決定手段で求められた信頼性が高い動
きベクトルに基づいて、手振れを補正するように構成さ
れた撮像装置。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2001264381A JP4639555B2 (ja) | 2001-08-31 | 2001-08-31 | 動きベクトル検出装置および方法、手振れ補正装置および方法、並びに撮像装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2001264381A JP4639555B2 (ja) | 2001-08-31 | 2001-08-31 | 動きベクトル検出装置および方法、手振れ補正装置および方法、並びに撮像装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2003078807A true JP2003078807A (ja) | 2003-03-14 |
| JP4639555B2 JP4639555B2 (ja) | 2011-02-23 |
Family
ID=19090987
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2001264381A Expired - Fee Related JP4639555B2 (ja) | 2001-08-31 | 2001-08-31 | 動きベクトル検出装置および方法、手振れ補正装置および方法、並びに撮像装置 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP4639555B2 (ja) |
Cited By (21)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2005160015A (ja) * | 2003-11-07 | 2005-06-16 | Sony Corp | 画像処理装置および方法、並びにプログラム |
| JP2005228303A (ja) * | 2004-01-14 | 2005-08-25 | Matsushita Electric Ind Co Ltd | 動きベクトル検出装置 |
| WO2005084036A1 (ja) * | 2004-03-01 | 2005-09-09 | Sony Corporation | 動きベクトル検出装置、および動きベクトル検出方法、並びにコンピュータ・プログラム |
| JP2005250561A (ja) * | 2004-03-01 | 2005-09-15 | Sony Corp | 動きベクトル検出装置、および動きベクトル検出方法、並びにコンピュータ・プログラム |
| JP2005252360A (ja) * | 2004-03-01 | 2005-09-15 | Sony Corp | 動きベクトル検出装置、および動きベクトル検出方法、並びにコンピュータ・プログラム |
| WO2006075394A1 (ja) * | 2005-01-14 | 2006-07-20 | Morhpo, Inc. | 動きベクトル演算方法とこの方法を用いた手ぶれ補正装置、撮像装置、並びに動画生成装置 |
| CN1312911C (zh) * | 2003-07-15 | 2007-04-25 | 索尼株式会社 | 摄像装置和摄像方法 |
| WO2007075037A1 (en) * | 2005-12-27 | 2007-07-05 | Mtekvision Co., Ltd. | Apparatus for detecting and correcting motion by hand in moving pictures |
| JP2007279800A (ja) * | 2006-04-03 | 2007-10-25 | Seiko Epson Corp | 動きベクトル検出装置、動きベクトル検出方法、手ぶれ補正装置、手ぶれ補正方法、手ぶれ補正プログラム、及び手ぶれ補正装置を備えた動画像表示装置 |
| EP2075756A1 (en) | 2007-12-29 | 2009-07-01 | Morpho Inc. | Block-based image blending for camera shake compensation |
| JP2009219082A (ja) * | 2008-03-13 | 2009-09-24 | Sony Corp | 画像処理装置および画像処理方法 |
| JP2009267716A (ja) * | 2008-04-24 | 2009-11-12 | Kyocera Corp | 動きベクトル検出装置およびその方法、並びに撮像装置 |
| US7742690B2 (en) | 2005-04-07 | 2010-06-22 | Sony Corporation | Imaging apparatus and method for processing imaging results |
| US7773819B2 (en) | 2006-02-24 | 2010-08-10 | Morpho, Inc. | Image processing apparatus |
| US7817185B2 (en) | 2006-06-14 | 2010-10-19 | Sony Corporation | Image processing device, image processing method, image pickup device, and image pickup method for superimposing a plurality of pictures on each other |
| JP2011508517A (ja) * | 2007-12-20 | 2011-03-10 | インテグレーテッド・デバイス・テクノロジー・インコーポレーテッド | 適応探索範囲を用いた動き推定 |
| WO2011111289A1 (ja) * | 2010-03-10 | 2011-09-15 | パナソニック株式会社 | 画像揺れ補正装置 |
| US8189078B2 (en) | 2007-07-25 | 2012-05-29 | Ricoh Company, Ltd. | Imaging apparatus |
| US8537283B2 (en) | 2010-04-15 | 2013-09-17 | Qualcomm Incorporated | High definition frame rate conversion |
| US8649437B2 (en) | 2007-12-20 | 2014-02-11 | Qualcomm Incorporated | Image interpolation with halo reduction |
| CN115174807A (zh) * | 2022-06-28 | 2022-10-11 | 上海艾为电子技术股份有限公司 | 防抖检测方法、装置、终端设备和可读存储介质 |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH06217187A (ja) * | 1992-10-14 | 1994-08-05 | Mitsubishi Electric Corp | 撮像装置，動きベクトル検出装置及び画像揺れ補正装置 |
| JP2000032331A (ja) * | 1998-07-13 | 2000-01-28 | Kawasaki Steel Corp | 自動露光制御装置 |
-
2001
- 2001-08-31 JP JP2001264381A patent/JP4639555B2/ja not_active Expired - Fee Related
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH06217187A (ja) * | 1992-10-14 | 1994-08-05 | Mitsubishi Electric Corp | 撮像装置，動きベクトル検出装置及び画像揺れ補正装置 |
| JP2000032331A (ja) * | 1998-07-13 | 2000-01-28 | Kawasaki Steel Corp | 自動露光制御装置 |
Cited By (36)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN1312911C (zh) * | 2003-07-15 | 2007-04-25 | 索尼株式会社 | 摄像装置和摄像方法 |
| JP2005160015A (ja) * | 2003-11-07 | 2005-06-16 | Sony Corp | 画像処理装置および方法、並びにプログラム |
| JP4539152B2 (ja) * | 2003-11-07 | 2010-09-08 | ソニー株式会社 | 画像処理装置および方法、並びにプログラム |
| JP2005228303A (ja) * | 2004-01-14 | 2005-08-25 | Matsushita Electric Ind Co Ltd | 動きベクトル検出装置 |
| JP4671696B2 (ja) * | 2004-01-14 | 2011-04-20 | パナソニック株式会社 | 動きベクトル検出装置 |
| WO2005084036A1 (ja) * | 2004-03-01 | 2005-09-09 | Sony Corporation | 動きベクトル検出装置、および動きベクトル検出方法、並びにコンピュータ・プログラム |
| JP2005250561A (ja) * | 2004-03-01 | 2005-09-15 | Sony Corp | 動きベクトル検出装置、および動きベクトル検出方法、並びにコンピュータ・プログラム |
| JP2005252360A (ja) * | 2004-03-01 | 2005-09-15 | Sony Corp | 動きベクトル検出装置、および動きベクトル検出方法、並びにコンピュータ・プログラム |
| JP4622264B2 (ja) * | 2004-03-01 | 2011-02-02 | ソニー株式会社 | 動きベクトル検出装置、および動きベクトル検出方法、並びにコンピュータ・プログラム |
| KR101098394B1 (ko) | 2004-03-01 | 2011-12-26 | 소니 가부시키가이샤 | 움직임 벡터 검출 장치 및 움직임 벡터 검출 방법 |
| JP4622265B2 (ja) * | 2004-03-01 | 2011-02-02 | ソニー株式会社 | 動きベクトル検出装置、および動きベクトル検出方法、並びにプログラム |
| US8064522B2 (en) | 2004-03-01 | 2011-11-22 | Sony Corporation | Motion-vector detecting device, motion-vector detecting method, and computer program |
| WO2006075394A1 (ja) * | 2005-01-14 | 2006-07-20 | Morhpo, Inc. | 動きベクトル演算方法とこの方法を用いた手ぶれ補正装置、撮像装置、並びに動画生成装置 |
| US7847823B2 (en) | 2005-01-14 | 2010-12-07 | Morpho, Inc. | Motion vector calculation method and hand-movement correction device, imaging device and moving picture generation device |
| US7742690B2 (en) | 2005-04-07 | 2010-06-22 | Sony Corporation | Imaging apparatus and method for processing imaging results |
| WO2007075037A1 (en) * | 2005-12-27 | 2007-07-05 | Mtekvision Co., Ltd. | Apparatus for detecting and correcting motion by hand in moving pictures |
| US7773819B2 (en) | 2006-02-24 | 2010-08-10 | Morpho, Inc. | Image processing apparatus |
| JP2007279800A (ja) * | 2006-04-03 | 2007-10-25 | Seiko Epson Corp | 動きベクトル検出装置、動きベクトル検出方法、手ぶれ補正装置、手ぶれ補正方法、手ぶれ補正プログラム、及び手ぶれ補正装置を備えた動画像表示装置 |
| US7817185B2 (en) | 2006-06-14 | 2010-10-19 | Sony Corporation | Image processing device, image processing method, image pickup device, and image pickup method for superimposing a plurality of pictures on each other |
| US8189078B2 (en) | 2007-07-25 | 2012-05-29 | Ricoh Company, Ltd. | Imaging apparatus |
| JP2011508517A (ja) * | 2007-12-20 | 2011-03-10 | インテグレーテッド・デバイス・テクノロジー・インコーポレーテッド | 適応探索範囲を用いた動き推定 |
| US8649437B2 (en) | 2007-12-20 | 2014-02-11 | Qualcomm Incorporated | Image interpolation with halo reduction |
| KR101540138B1 (ko) * | 2007-12-20 | 2015-07-28 | 퀄컴 인코포레이티드 | 적응적 조사영역을 갖는 모션추정 장치 및 방법 |
| EP2075756A1 (en) | 2007-12-29 | 2009-07-01 | Morpho Inc. | Block-based image blending for camera shake compensation |
| US8682098B2 (en) | 2007-12-29 | 2014-03-25 | Morpho, Inc. | Image data processing method and image processing apparatus |
| JP4623111B2 (ja) * | 2008-03-13 | 2011-02-02 | ソニー株式会社 | 画像処理装置、画像処理方法及びプログラム |
| US8611424B2 (en) | 2008-03-13 | 2013-12-17 | Sony Corporation | Image processing apparatus and image processing method |
| JP2009219082A (ja) * | 2008-03-13 | 2009-09-24 | Sony Corp | 画像処理装置および画像処理方法 |
| JP2009267716A (ja) * | 2008-04-24 | 2009-11-12 | Kyocera Corp | 動きベクトル検出装置およびその方法、並びに撮像装置 |
| US8730333B2 (en) | 2010-01-21 | 2014-05-20 | Panasonic Corporation | Image stabilization system |
| JP2011188332A (ja) * | 2010-03-10 | 2011-09-22 | Panasonic Corp | 画像揺れ補正装置 |
| WO2011111289A1 (ja) * | 2010-03-10 | 2011-09-15 | パナソニック株式会社 | 画像揺れ補正装置 |
| CN102792673A (zh) * | 2010-03-10 | 2012-11-21 | 松下电器产业株式会社 | 图像模糊补偿装置 |
| CN102792673B (zh) * | 2010-03-10 | 2015-07-08 | 松下电器产业株式会社 | 图像模糊补偿装置 |
| US8537283B2 (en) | 2010-04-15 | 2013-09-17 | Qualcomm Incorporated | High definition frame rate conversion |
| CN115174807A (zh) * | 2022-06-28 | 2022-10-11 | 上海艾为电子技术股份有限公司 | 防抖检测方法、装置、终端设备和可读存储介质 |
Also Published As
| Publication number | Publication date |
|---|---|
| JP4639555B2 (ja) | 2011-02-23 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP4639555B2 (ja) | 動きベクトル検出装置および方法、手振れ補正装置および方法、並びに撮像装置 | |
| US8509481B2 (en) | Image processing apparatus, image processing method, imaging apparatus | |
| JP2940762B2 (ja) | 手振れ補正装置を有するビデオカメラ | |
| JP4958756B2 (ja) | 撮像装置及びその制御方法及びプログラム | |
| KR101652658B1 (ko) | 화상 처리 장치, 화상 처리 방법, 화상 처리 프로그램 및 기록 매체 | |
| JP2902966B2 (ja) | 手振れ補正装置およびそれを用いたビデオカメラ | |
| US8085986B2 (en) | Image processing apparatus and method for processing images more naturally and sharply | |
| JP2010183386A (ja) | 画像処理装置、画像処理方法および撮像装置 | |
| KR19990031401A (ko) | 비트 플레인 정합을 이용한 입력영상의 움직임 보정을 통한 영상안정화 장치 및 그에 따른 영상 안정화방법 | |
| JP3866957B2 (ja) | 画像合成装置 | |
| EP2456191A2 (en) | Image processing apparatus, image processing method and computer readable information recording medium | |
| KR20180102639A (ko) | 화상 처리 장치, 화상 처리 방법, 화상 처리 프로그램 및 기억 매체 | |
| JPH09163217A (ja) | カメラ映像の動きベクトル検出装置および動きベクトル検出方法 | |
| JP2007281555A (ja) | 撮像装置 | |
| JP2006311058A (ja) | 動きベクトル検出回路及びその検出方法並びに手ブレ補正装置 | |
| JP2679778B2 (ja) | 画像の動き検出装置 | |
| JP2003078808A (ja) | 動きベクトル検出装置および方法、手振れ補正装置および方法、並びに撮像装置 | |
| JP3534551B2 (ja) | 動き検出装置 | |
| JP2008113163A (ja) | 欠陥画素補正回路、それを用いた画像処理システムおよび欠陥画素補正方法 | |
| JP2005130159A (ja) | 撮像装置および撮像装置の手振れ補正方法 | |
| JP4052348B2 (ja) | 画像処理装置、及び画像処理方法 | |
| JP3639640B2 (ja) | 動きベクトル検出装置 | |
| JPH06217188A (ja) | 画像動きベクトル検出装置及びビデオカメラ | |
| JP2009065283A (ja) | 画像ぶれ補正装置 | |
| JP3213492B2 (ja) | 手振れ補正装置およびそれを用いたビデオカメラ |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20080707 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20100428 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20100608 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20100805 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20101102 |
|
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20101115 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20131210 Year of fee payment: 3 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20100805 |
|
| LAPS | Cancellation because of no payment of annual fees |