JP2001024932A - 画像入力装置及び画像入力方法 - Google Patents

Abstract

(57)【要約】 【課題】 装置の動きによる手ぶれと、動画像圧縮時に
検出される手ぶれベクトルとによって様々な撮影状況下
でも効果的に手ぶれ補正を行う。 【解決手段】 被写体を撮像し得られた画像情報を圧縮
して記録する画像入力装置において、画像情報を取得す
る撮像手段１１と、画像入力装置の動きを検出する動き
検出手段１４と、動きを画像ぶれ量に変換する変換手段
１５と、画像ぶれ量を基に画像情報を補正する補正手段
１３と、画像情報を圧縮する画像圧縮手段１７と、画像
情報を記録するデータ記録手段１８と、画像情報から動
き予測を行っているマクロブロックの動きベクトルを検
出し動きベクトルから手ぶれベクトルを算出する手ぶれ
ベクトル算出手段１９とを具備し、手ぶれベクトルに従
い変換手段の画像ぶれ量の見直しを行う事を特徴とする
画像入力装置。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、画像入力装置及び
画像入力方法に関する。

【０００２】

【従来の技術】ビデオカメラなどの画像入力装置は、ビ
デオテープレコーダ（ＶＴＲ）などの画像記録装置、あ
るいはパソコンなどとともに一般家庭にも広く普及して
いる。この様な画像入力装置には、ピントの自動調節の
為のオートフォーカス機能、また、ぶれの少ない画像を
撮影、記録する為の手ぶれ補正機能が搭載されているも
のが多い。これらの機能のうちの、手ぶれ補正機能を実
現するための技術は、手ぶれの検出方法と補正方法から
成っている。手ぶれの検出方法としては、ビデオカメラ
などの画像入力装置自体に加えられた動きを加速度セン
サなどの手ぶれセンサによって検出するもの、複数フレ
ームの画像信号から画像ぶれ量を計算するものなどに分
類できる。また、手ぶれの補正方法としては、検出され
た手ぶれに合わせて、レンズの向きや可変プリズムの向
きを機械的に制御するもの、撮影された画像信号をメモ
リに一旦記憶し、検出された手ぶれから撮像素子上の移
動量に相当する画像ぶれ量を計算し、メモリに記憶され
た画像信号の読み出し位置を変更するもの、画像ぶれ量
に合わせて撮像素子から信号を読み出すタイミングを制
御して、撮影された信号の一部分を読み出すものなどに
分類できる。

【０００３】手ぶれ補正機能は、このように分類される
手ぶれの検出方法と補正方法を、例えば図７のように組
み合わす事によって実現されている。図７の場合、動き
センサからの出力を光学機構制御部に送り、この出力に
合わせてレンズの向きや可変プリズムの向きを機械的に
制御し、手ぶれを補正している。他方、近年の画像入力
装置においては、これまでの様にアナログ信号処理、記
録を行ってきたアナログタイプに加えて、撮影された画
像信号をデジタルデータに変換してデジタル信号処理、
記録を行うデジタルタイプが広く利用され始めている。
このデジタルタイプが注目を集めている理由としては、
解像度や色再現性などの画質や、音質の良さに加えて、
各種デジタルインタフェースを利用した情報交換や伝送
の速さ、動画像圧縮技術を用いた記録効率の良さ、パソ
コンなどとの親和性による画像信号の加工や編集作業の
容易さ、あるいは小型軽量化された装置サイズなどがあ
る。上記のようなデジタルタイプの画像入力装置では、
動画像圧縮において動きベクトルを利用しているものが
ある。この場合、撮影中に手ぶれが発生すると、この手
ぶれに伴い全体的な動きベクトルが発生し、画質の低下
の要因となる。つまり、手ぶれが、画像を構成する全て
のブロックに対する動きベクトルとして検知されてしま
う可能性が存在するのである。安価で小型軽量の携帯型
画像入力装置、特に低ビットレートの動画像圧縮を行う
画像入力装置の場合には、さらに手ぶれによる画質の劣
化の影響が大きい。その為、ぶれの少ない画像を撮影、
記録するための手ぶれ補正機能を備えていることが重要
となる。

【０００４】

【発明が解決しようとする課題】しかし、現在の手ぶれ
補正機能には、いくつか問題が存在する。例えば、画像
入力装置の光学系の仕様、被写体との距離、さらに撮像
素子の画素数、サイズなどとの兼ね合いによっては、画
像入力装置の動きの大きさに対する画像ぶれ量の大きさ
の割合が変化する事がある。この場合は、適切な手ぶれ
補正が行われない可能性がある。図８は、撮像素子部の
出力を３フレーム取り出した場合であるが、図８（ａ）
の遠景撮影と図８（ｂ）の近景撮影では、同じ手ぶれ量
でも近景撮影の方が画像ぶれ量への影響が大きくなる。
このため、予め把握していた関係に基づいてのみ画像の
切り出しなどの補正処理を行うと手ぶれ補正の効果が低
減してしまう。本発明は、かかる点に鑑み、装置の動き
を検出する手段と、動画像圧縮の過程で検出される動き
ベクトルを利用して手ぶれベクトルを検出する手段とを
有し、様々な撮影状況下で効果的な手ぶれ補正を行う事
を目的とする。

【０００５】

【課題を解決するための手段】そこで本発明は、被写体
を撮像し得られた画像情報を圧縮して記録する画像入力
装置において、画像情報を取得する撮像手段と、画像入
力装置の動きを検出する動き検出手段と、動き検出手段
で検出された動きを画像ぶれ量に変換する変換手段と、
変換手段で得られた画像ぶれ量を基に撮像手段で取得し
た画像情報を補正する補正手段と、補正手段で補正され
た画像情報を圧縮する画像圧縮手段と、画像圧縮手段で
圧縮された画像情報を記録するデータ記録手段と、画像
圧縮手段で圧縮された画像情報から動き予測を行ってい
るマクロブロックの動きベクトルを検出し動きベクトル
から手ぶれベクトルを算出する手ぶれベクトル算出手段
とを具備し、手ぶれベクトル算出手段で算出された手ぶ
れベクトルに従い変換手段の画像ぶれ量の見直しを行う
事を特徴とする画像入力装置を提供する。この画像入力
装置の手ぶれベクトル算出手段は、所定の値より小さい
動きベクトルを含むマクロブロックの数が所定の数より
多かった場合に手ぶれベクトルを算出しても良い。この
画像入力装置の所定の値は、フレームレートまたはズー
ム倍率の少なくとも一方を用いて決定されても良い。

【０００６】また本発明は、被写体を撮像し得られた画
像情報を圧縮して記録する画像入力装置における画像入
力方法において、画像情報を取得する画像情報取得ステ
ップと、画像入力装置の動きを検出する検出ステップ
と、検出ステップで検出された動きを画像ぶれ量に変換
する変換ステップと、変換ステップで変換された画像ぶ
れ量を基に画像情報取得ステップで取得した画像情報を
補正する補正ステップと、補正ステップで補正された画
像情報を圧縮する圧縮ステップと、圧縮ステップで圧縮
された画像情報を記録するデータ記録ステップと、圧縮
ステップで圧縮された画像情報から動き予測を行ってい
るマクロブロックを検出するマクロブロック検出ステッ
プと、マクロブロック検出ステップで検出されたマクロ
ブロックから動きベクトルを検出する動きベクトル検出
ステップと、動きベクトル検出ステップで検出された動
きベクトルから手ぶれベクトルを算出する算出ステップ
と、算出ステップで算出された手ぶれベクトルに従い変
換ステップにおける画像ぶれ量の見直しを行う見直しス
テップとを具備する事を特徴とする画像入力方法を提供
する。

【０００７】

【発明の実施の形態】以下に、本発明の実施形態を図面
を参照しつつ詳細に説明するが、本発明はこれらの実施
形態に限定されるものではない。本発明の一実施形態に
ついて説明する。本実施形態では、装置の動きを検出す
る手ぶれセンサから得られるデータと、画像圧縮部にお
いて得られる動きベクトルを用いて、手ぶれ補正を行
う。この実施形態の画像入力装置の構成を図１に示す。
図１ではまず、画像入力部１１（撮像手段）で動画像が
撮像され、輝度色差信号等の画像信号に信号処理され
て、動画像処理ブロック１２の手ぶれ補正部１３に送ら
れる。また、装置の動きを検出する速度センサ等から成
る手ぶれセンサ１４（動き検出手段）からの手ぶれセン
サデータは、動画像処理ブロック１２の手ぶれ変換部１
５（変換手段）に送られる。手ぶれ変換部１５では手ぶ
れ変換テーブル部１６の手ぶれ変換テーブルを参照し、
手ぶれセンサデータが画像ぶれ量に変換される。ここ
で、手ぶれセンサ１４の出力を、手ぶれ変換テーブルを
用いて画像ぶれ量に変換する方法を、図２を用いて詳し
く説明する。図２（ａ）では、手ぶれセンサ１４におい
て得られる出力の水平方向Ｘの積分値を基準値Ｘ_Ｒｅｆ
を中心に５段階に量子化している。また、図２（ｂ）で
は、垂直方向Ｙの積分値を、基準値Ｙ_Ｒｅｆを中心に５
段階に量子化している。なお、ここでは手ぶれセンサ１
４の出力の積分値に対して線形に量子化を行っている
が、手ぶれセンサ１４の動きの大きさと実際の画像ぶれ
量の関係に合わせて非線形な量子化を行ってもよい。

【０００８】図２（ｃ）は、量子化された手ぶれセンサ
１４の出力（Ｘ_ｎ、Ｙ_ｎ）に対する画像ぶれ量（Ｓ
ｘ_ｎ、Ｓｙ_ｎ）を予め記憶している変換テーブルの例で
ある。例えば、この変換テーブルを用いると、手ぶれセ
ンサ１４の出力が（Ｘ_０、Ｙ_０）のときは、画像ぶれ量
（Ｓｘ_０、Ｓｙ_０）が得られる。なお、このときの画像
ぶれ量（Ｓｘ_０、Ｓｙ_０）を（０、０）とすれば、手ぶ
れセンサ１４の出力が（Ｘ _０、Ｙ_０）のときは手ぶれの
影響がないことを表現できる。また、図２（ｄ）の例の
ように、手ぶれセンサ１４の出力（Ｘ_ｎ、Ｙ_ｎ）の絶対
値に対する画像ぶれ量（Ｓｘ_ｎ、Ｓｙ_ｎ）を変換テーブ
ルとして予め記憶しておき、手ぶれセンサ１４の出力の
符号に画像ぶれ量の符号を合わせるようにすれば、記憶
しておくべきデータを半分近くとする事もできる。この
様に手ぶれ変換部１５で得られた画像ぶれ量は手ぶれ補
正部１３（補正手段）に送られ、画像信号の読み出し位
置を制御する等の手ぶれ補正を行う。手ぶれ補正された
画像信号は画像圧縮部１７（画像圧縮手段）に送られ、
各フレームごとに圧縮される。画像圧縮部１７では、入
力された画像信号の各フレーム毎に、フレーム内のみで
圧縮を行うＩピクチャ、順方向のみの動き予測を行い圧
縮するＰピクチャ、順方向、もしくは逆方向の動き予測
を行い圧縮するＢピクチャに分類して圧縮される。これ
らのピクチャは図３のようにＩピクチャ３１とＰピクチ
ャ３２の間にいくつかのＢピクチャ３３を挟む形で並ん
でいる。

【０００９】Ｐピクチャ３２については、フレーム中の
全てのマクロブロックを用いずに一部のマクロブロック
で動き予測を行い、圧縮しても良い。また、Ｂピクチャ
３３については、各マクロブロックにおいて、順方向の
み、逆方向のみ、またはこれら両方向の動き予測を行い
圧縮する。なお、各マクロブロックは、動き予測を行う
場合は補償後の差分データ、また用いない場合は、各マ
クロブロックのデータそのものに対してＤＣＴ及び量子
化を行いデータ圧縮されている。手ぶれベクトル処理部
１９（手ぶれベクトル算出手段）では、この動き予測を
行った際に用いる動きベクトルから、手ぶれが原因であ
ると思われる手ぶれベクトルを抽出する。この手ぶれベ
クトルは手ぶれセンサ１４からの出力では、取り去れな
かった、残留手ぶれ成分であるといえる。本実施形態で
は、この手ぶれベクトルを抽出する方法として、全ての
フレーム中のマクロブロックの中から、動き予測を行っ
ているマクロブロックのみを用いて、そのマクロブロッ
クの動きベクトルから手ぶれベクトルを求める。手ぶれ
ベクトルは、手ぶれという性質からある一定以下の大き
さとなる事が知られている。

【００１０】そこで、ある一定以上の大きさの動きベク
トルは手ぶれによるものではないとして、手ぶれベクト
ルを求める演算から除外する。この、手ぶれベクトル処
理部１９で行われる、ある一定以上の大きさの動きベク
トルを除外する処理を図４のフローチャートで説明す
る。これは、１フレーム内のＮ個の全マクロブロックを
検索していくものである。まず、Ｓ１１でマクロブロッ
クの番号ｉと、動きベクトルを含むマクロブロックの中
で、その動きベクトルが手ぶれによるものであるとみな
されるものの数Ｍとをそれぞれ初期化する。次に、Ｓ１
２でこのマクロブロックが動き予測を行っているかどう
かを判断する。動き予測を行っていない場合は、Ｓ１３
でｉに１を加え、動き予測を行っている場合はＳ１４
で、動きベクトルＱ（ｉ）を読み込む。さらにＳ１５
で、 Ｑ（ｉ）の大きさが手ぶれによるものであるとみ
なせる範囲であるかどうかを、閾値Ｔｈとの比較により
判断する。手ぶれによるものであるとみなされる範囲外
であった場合は、Ｓ１３でｉに１を加え、手ぶれによる
ものであるとみなされる範囲内であった場合は、Ｓ１６
でマクロブロックの動きベクトルを格納する配列ＭＶ
（Ｍ）に格納する。さらに、Ｓ１７でＭに１を加え、Ｓ
１３でｉに１を加え、Ｓ１８でｉがＮより小さければ、
Ｓ１２に戻り、ｉがＮと等しくなれば処理を終了する。

【００１１】以上により、ある一定以上の大きさの動き
ベクトルを除外した後、手ぶれによるものであるとみな
される動きベクトルＭＶ（Ｍ）と、その数Ｍを手ぶれ変
換部１５に出力する。次に、手ぶれ変換部１５では、手
ぶれによるものであるとみなされる動きベクトルの数Ｍ
を、閾値Ｔｕと比較し、Ｍ＜Ｔｕとなる場合は、手ぶれ
のデータを得るのに不十分であるとして、手ぶれのデー
タを求めない。つまり、得られたＭＶ（Ｍ）がまばらに
しか存在しなかった場合に手ぶれ補正を行ってしまう
と、大きな誤差が発生する可能性がある為である。さら
に、Ｍ≧Ｔｕであっても、手ぶれによるものであるとみ
なされる動きベクトルが画面上の一部に偏在するような
場合は、手ぶれではなく被写体の動きである可能性があ
る。従ってこの場合には、これらの動きベクトルが手ぶ
れによるものでないとして除外しても良い。この処理を
図５を用いて示す。まず、図５に示すように画面をＸ、
Ｙ、Ｚ、Ｗの４ブロックに分割する。手ぶれによるもの
であるとみなされる動きベクトルの総数はＭである為、
平均的にはこれら４ブロックでそれぞれ、手ぶれによる
ものであるとみなされる動きベクトルの数はＭ／４とな
る。そこで、例えばその倍以上、つまりＭ／２以上の手
ぶれによるものであるとみなされる動きベクトルが１つ
のブロックに存在している場合に、偏在していると判断
する。つまり、手ぶれによるものであるとみなされる動
きベクトルの数が最も多いブロックの動きベクトル数を
Ｐとすると、 Ｐ≧Ｍ／２ となったら、手ぶれベクトルを算出しない。

【００１２】以上により、Ｍ≧Ｔｕであり、残留手ぶれ
成分が偏在していないと判断された場合には、手ぶれに
よるものであるとみなされる動きベクトルＭＶ（Ｍ）
に、メディアンフィルタ、単純平均、マクロブロックの
画面上の位置による重みづけ平均等を行い、手ぶれベク
トルを算出する。そして、この手ぶれベクトルに基づい
て手ぶれ変換テーブルを、現在のものから他のものへと
切り替える事により画像ぶれ量の適切な見直しを行うこ
とが出来る為、精度の良い手ぶれ補正が可能となる。手
ぶれ変換テーブルとしては、ある手ぶれに対し、図２
（ｃ）とは大きさの異なる画像ぶれ量を与えるもの、非
線型な画像ぶれ量を与えるもの等、複数種類のテーブル
を用意すれば良い。なお、 図４においては、動きベク
トルＱ（ｉ）の大きさが手ぶれによるものとみなせる範
囲であるかどうかを判断する為の閾値Ｔｈは、例えば次
のように定めても良い。実際の手ぶれの大きさは、ズー
ム機能付きのカメラであれば、フレームレート及びズー
ム倍率等によって変化する。まずフレームレートについ
て図６を用いて説明する。フレームレートが１５ｆｐｓ
である場合と、３０ｆｐｓである場合を考えると、図６
においてフレームＡの次のフレームは、前者はフレーム
Ｃ、後者はフレームＢとなる。フレームＡからの１／１
５秒間に、大きさｈの手ぶれが発生したとすると、１５
ｆｐｓの場合はフレームＣで大きさｈの手ぶれが発生し
た事になる。また、３０ｆｐｓの場合は１５ｆｐｓの半
分の時間である為に、平均値を取るとフレームＢで大き
さｈ／２の手ぶれが発生した事になる。

【００１３】このように、フレームレートが２倍になる
と、実際の手ぶれの大きさは平均的には約半分となる。
即ち手ぶれの大きさはフレームレートに反比例する事が
わかる。また、ズームに関しては、図８で示したよう
に、被写体との距離等によって手ぶれの影響が異なり、
ズーム倍率が大きくなるほど手ぶれの影響が大きくな
る。即ち手ぶれの大きさはズーム倍率に比例する事が分
る。これらの要因を考慮すると Ｔｈ＝Ｃ×Ｚｍ／Ｆｒ のように定める事により、フレームレート及び、ズーム
倍率に応じた閾値を設定する事が出来る。ただし、ここ
でＣは定数、Ｚｍはズーム倍率、Ｆｒはフレームレート
である。

【００１４】

【発明の効果】以上により、装置の動きを検出する手段
と、動画像圧縮の過程で検出される動きベクトルを利用
して手ぶれベクトルを検出する手段とを有し、それぞれ
の手ぶれ検出手段の長所を活かす事によって、様々な撮
影状況下でも効果的な手ぶれ補正を行う事が出来る。

【図面の簡単な説明】

【図１】 本発明の一実施形態の画像入力装置のブロッ
ク図。

【図２】 （ａ）、（ｂ）、（ｃ）、（ｄ）とも変換テ
ーブルを説明する図。

【図３】 Ｉピクチャ、Ｐピクチャ、Ｂピクチャの並び
の例を説明する図。

【図４】 本発明の一実施形態の動きベクトルを選択す
るフローチャート。

【図５】 画面を４分割した例を説明する図。

【図６】 ２種類のフレームレートを説明する図。

【図７】 従来の手ぶれの検出方法と補正方法の組み合
わせの例を説明する図。

【図８】 同じ手ぶれに対する遠景撮影と近景撮影の画
像ぶれ量を比較する図。

【符号の説明】

１１…画像入力部 １２…動画像処理ブロック １３…手ぶれ補正部 １４…手ぶれセンサ １５…手ぶれ変換部 １６…手ぶれ変換テーブル部 １７…画像圧縮部 １８…データ記録部 １９…手ぶれベクトル処理部 ３１…Ｉピクチャ ３２…Ｐピクチャ ３３…Ｂピクチャ

───────────────────────────────────────────────────── フロントページの続き (72)発明者 梅田 昌文 神奈川県横浜市磯子区新杉田町８番地 株 式会社東芝横浜事業所内 Ｆターム(参考） 5C022 AA11 AB28 AB36 AB55 AB66 AC00 AC69 CA00

Claims (4)

【特許請求の範囲】
1. 【請求項１】 被写体を撮像し得られた画像情報を圧縮
   して記録する画像入力装置において、前記画像情報を取
   得する撮像手段と、前記画像入力装置の動きを検出する
   動き検出手段と、前記動き検出手段で検出された前記動
   きを画像ぶれ量に変換する変換手段と、前記変換手段で
   得られた前記画像ぶれ量を基に前記撮像手段で取得した
   前記画像情報を補正する補正手段と、前記補正手段で補
   正された前記画像情報を圧縮する画像圧縮手段と、前記
   画像圧縮手段で圧縮された前記画像情報を記録するデー
   タ記録手段と、前記画像圧縮手段で圧縮された前記画像
   情報から動き予測を行っているマクロブロックの動きベ
   クトルを検出し前記動きベクトルから手ぶれベクトルを
   算出する手ぶれベクトル算出手段とを具備し、前記手ぶ
   れベクトル算出手段で算出された前記手ぶれベクトルに
   従い前記変換手段の前記画像ぶれ量の見直しを行う事を
   特徴とする画像入力装置。
2. 【請求項２】 前記手ぶれベクトル算出手段は、所定の
   値より小さい前記動きベクトルを含む前記マクロブロッ
   クの数が所定の数より多かった場合に前記手ぶれベクト
   ルを算出するものである事を特徴とする請求項１記載の
   画像入力装置。
3. 【請求項３】 前記所定の値は、フレームレートまたは
   ズーム倍率の少なくとも一方を用いて決定される事を特
   徴とする請求項２記載の画像入力装置。
4. 【請求項４】 被写体を撮像し得られた画像情報を圧縮
   して記録する画像入力装置における画像入力方法におい
   て、前記画像情報を取得する画像情報取得ステップと、
   前記画像入力装置の動きを検出する検出ステップと、前
   記検出ステップで検出された前記動きを画像ぶれ量に変
   換する変換ステップと、前記変換ステップで変換された
   前記画像ぶれ量を基に前記画像情報取得ステップで取得
   した前記画像情報を補正する補正ステップと、前記補正
   ステップで補正された前記画像情報を圧縮する圧縮ステ
   ップと、前記圧縮ステップで圧縮された前記画像情報を
   記録するデータ記録ステップと、前記圧縮ステップで圧
   縮された前記画像情報から動き予測を行っているマクロ
   ブロックを検出するマクロブロック検出ステップと、前
   記マクロブロック検出ステップで検出された前記マクロ
   ブロックから動きベクトルを検出する動きベクトル検出
   ステップと、前記動きベクトル検出ステップで検出され
   た前記動きベクトルから手ぶれベクトルを算出する算出
   ステップと、前記算出ステップで算出された前記手ぶれ
   ベクトルに従い前記変換ステップにおける画像ぶれ量の
   見直しを行う見直しステップとを具備する事を特徴とす
   る画像入力方法。