JP2008283302A - 動画像処理装置及び動画像処理方法 - Google Patents

Abstract

【課題】データ転送量やハードウェアの規模を低減してコストや消費電力を抑えることができるとともに、大きな画質劣化が生じないようにする。
【解決手段】動き検出部１０１でブロック動き情報とＳＡＤ値を取得して、手ブレ検出部１０６でブロック動き情報を用いて手ブレベクトルを検出する。そして、符号化モード選択部１０４でブロック動き情報、ＳＡＤ値及び手ブレベクトルを用いて符号化モードを選択し、さらに動きベクトルを出力する。選択した符号化モードと動きベクトルで動画像の圧縮符号化を行うようにして、データ転送量やハードウェアの規模を低減してコストや消費電力を抑えることができるとともに、大きな画質劣化が生じないようにする。
【選択図】図１

Description

本発明は動画像処理装置、動画像処理方法、プログラム及び記録媒体に関し、特に、画像処理装置に接続されるフレームメモリとのデータ転送方法に用いて好適な技術に関する。

近年、高能率動画像符号化方式として、ＪＶＴにおいてＨ．２６４（ITU-T Rec.H.264｜ISO/IEC 14496-10 AVC）符号化方式が標準化された。Ｈ．２６４符号化方式は、静止画像符号化方式として知られるＪＰＥＧや動画像符号化方式として知られるＭＰＥＧ−２或いはＭＰＥＧ−４（version2）と同様に、画像情報をデジタルとして取り扱っている符号化方式である。動画像符号化方式においては、特に効率の高い情報の伝送、及び蓄積を目的としており、フレーム間（時間方向）の冗長情報を削減したり、フレーム内（空間方向）の画素がもつ冗長情報の冗長性を削減したりするハイブリット符号化を用いて圧縮を行っている。

時間方向の冗長情報を削減する手法として、動画像符号化方式では動き補償と呼ばれる手法を共通に用いている。動き補償では、現在対象としているフレームに対して時間的に前後する参照フレーム間を用いて、ブロック単位の相関を評価し、最も相関が高い座標を動きベクトルとして表現し、フレーム間の差分を計算して符号化する。通常、参照フレームはフレームメモリに保存されているため、動き補償の処理を行うブロックに応じてフレームメモリからフレームデータが随時読み出される。

一方、近年、撮像装置において手ブレ補正機能の重要性が高まっている。デジタル画像処理にて手ブレ補正を行う場合には、フレーム全体の動きを検出する必要があり、動画像符号化方式で用いられている動き補償と同様に時間的に前後するフレームとの動きを検出する必要がある。そのためには、動画像符号化方式で行う動き補償の処理と同様にフレームメモリからフレームデータを読み出す必要がある。

また、動画像特有のノイズを除去するために、動く物体を検出しフレーム内で検出結果に応じてフィルタの強度を調整することが知られている。このため、動く物体を検出するためにフレーム内をブロックに分割し、各々のブロックに対して動き検出と同様の動作を行う必要がある。

さらに、近年の動画像符号化手段では、例えば、イントラ・インター判定などの符号化モードの判定も考慮しなければならないのが現状である。

一方、例えば特許文献１では、手ブレ検出手段で得られたブロック単位の動き情報を用いて動画像符号化手段の動き検出手段の処理を省略することにより、回路規模の削減を試みようとしている。具体的には、手ブレ検出手段によって得られたブロック毎の動き情報（以後、動きベクトル）を用いて動画像符号化手段において動き補償を行う際に、手ブレ補正を行うことにより生じるブロック境界のずれを、動きベクトルを重み付けして新たに動き補償用動きベクトルを計算する。これにより、ハードウェアの規模を低減してコストや消費電力が大きくなってしまう問題点を解決しようとしている。

特開平９−１３０７４８号公報

一方、近年では、フレームサイズのハイビジョン化が製品の価値として重要となっている。しかしながら、高解像度であるため、画像処理ブロックとフレームメモリとの間のデータ転送量が莫大な量となってしまうという問題点があった。

また、処理のリアルタイム性が要求される製品では、ハードウェアを実装することが困難である。そこで、ハードウェアを実装しないでリアルタイム性を保持するためには、データバスのバス幅の増加や駆動周波数を高速化すればよいが、このようにするとコストや消費電力が大きくなってしまう。これは、民生機器においては特に大きな問題であった。

特許文献１では、前述したように、動画像符号化手段内の動き補償の処理を手ブレ検出手段と共有化するため、重み付け計算を行って動き補償で用いる動きベクトルを計算している。これにより、データ転送量やハードウェアの規模を抑えることができるが、計算した動きベクトルは本来の動き補償で用いるべき動きベクトルとは異なるため、動画像符号化手段によって大きな画質劣化が生じてしまうという問題点があった。

本発明は前述の問題点に鑑み、データ転送量やハードウェアの規模を抑えることができるとともに、大きな画質劣化が生じないようにすることを目的としている。

本発明の動画像処理装置は、フレーム間の動きベクトルを検出して予測符号化を行う動画像処理装置であって、処理対象フレームをブロックに分割し、参照フレームからブロック単位でブロック動き情報及びフレーム相関指標を取得する動き検出手段と、前記動き検出手段によって取得されたブロック動き情報を用いて前記処理対象フレームの全体の動きを検出し、手ブレベクトルを検出する手ブレ検出手段と、前記手ブレ検出手段によって検出された手ブレベクトルを用いて、前記処理対象フレームを手ブレ補正する手ブレ補正手段と、ブロック毎に前記フレーム相関指標を用いて、複数のブロック動き情報から１つを選択し動きベクトルを算出する動きベクトル算出手段と、前記動きベクトル算出手段によって得られた動きベクトルを用いて、前記手ブレ補正手段によって得られた画像データを符号化する動画像符号化手段とを有することを特徴とする。

本発明の動画像処理方法は、フレーム間の動きベクトルを検出して予測符号化を行う動画像処理方法であって、処理対象フレームをブロックに分割し、参照フレームからブロック単位でブロック動き情報及びフレーム相関指標を取得する動き検出工程と、前記動き検出工程において取得したブロック動き情報を用いて前記処理対象フレームの全体の動きを検出し、手ブレベクトルを検出する手ブレ検出工程と、前記手ブレ検出工程において検出した手ブレベクトルを用いて、前記処理対象フレームを手ブレ補正する手ブレ補正工程と、ブロック毎に前記フレーム相関指標を用いて、複数のブロック動き情報から１つを選択し動きベクトルを算出する動きベクトル算出工程と、前記動きベクトル算出工程において得た動きベクトルを用いて、前記手ブレ補正工程において得た画像データを符号化する動画像符号化工程とを有することを特徴とする。

本発明のプログラムは、フレーム間の動きベクトルを検出して予測符号化を行うようにコンピュータに実行させるプログラムであって、処理対象フレームをブロックに分割し、参照フレームからブロック単位でブロック動き情報及びフレーム相関指標を取得する動き検出工程と、前記動き検出工程において取得したブロック動き情報を用いて前記処理対象フレームの全体の動きを検出し、手ブレベクトルを検出する手ブレ検出工程と、前記手ブレ検出工程において検出した手ブレベクトルを用いて、前記処理対象フレームを手ブレ補正する手ブレ補正工程と、ブロック毎に前記フレーム相関指標を用いて、複数のブロック動き情報から１つを選択し動きベクトルを算出する動きベクトル算出工程と、前記動きベクトル算出工程において得た動きベクトルを用いて、前記手ブレ補正工程において得た画像データを符号化する動画像符号化工程とをコンピュータに実行させることを特徴とする。

本発明の記録媒体は、前記に記載のプログラムを記録したことを特徴とする。

本発明によれば、ブロック動き情報を用いて手ブレベクトルを検出し、前記検出した手ブレベクトルを用いて処理対象フレームの手ブレ補正を行うとともに、フレーム相関指標を用いて動きベクトルを算出するようにした。これにより、データ転送量やハードウェアの規模を低減してコストや消費電力を抑えることができるとともに、大きな画質劣化が生じないようにすることができる。

（第１の実施形態）
以下、本発明の実施形態について図面を参照しながら説明する。
図１は、本実施形態における動画像処理装置の機能構成例を示すブロック図である。
図１において、１０１は動き検出部、１０２は画面内適応フィルタ変更部、１０３は手ブレ補正部、１０４は符号化モード選択部、１０５は動画像符号化部、１０６は手ブレ検出部、１０７はフレームメモリである。フレームメモリ１０７には、フレームデータ（Ｔ１）１０８、フレームデータ（Ｔ２）１０９、手ブレ補正後フレームデータ（Ｔ１'）１１０、手ブレ補正後フレームデータ（Ｔ２'）１１１の４つのフレームデータが保存される。

フレームデータ（Ｔ２）１０９は、処理フレームの入力された画像データ、フレームデータ（Ｔ１）１０８は動き検出する為の直前のフレームの画像データである。通常は１フレーム前の画像だが、この限りではなく数フレーム先でもよい。手ブレ補正後フレームデータ（Ｔ２'）１１１は、フレームデータ（Ｔ２）１０９を手ブレ補正し、動画像符号化部１０５で符号化処理と局所復号化処理をしてフレームメモリ１０７に記憶した画像である。

手ブレ補正後フレームデータ（Ｔ１'）１１０は、フレームデータ（Ｔ１）を手ブレ補正し、動画像符号化部１０５で符号化処理と局所復号化処理をしてフレームメモリ１０７に記憶した画像である。なお、手ブレ補正後フレームデータ（Ｔ１'）１１０及び手ブレ補正後フレームデータ（Ｔ２'）１１１はともに、手ブレ補正部１０３において、入力されたフレームから手ブレベクトルを用いて一部を切り出されたフレームデータである。

フレームメモリ１０７内のフレームデータ（Ｔ１）１０８とフレームデータ（Ｔ２）１０９は動き検出部１０１に読出されフレーム間相関が評価され、ブロック単位でブロック動き情報（動きベクトル）が算出される。動きベクトルは画面内適応フィルタ変更部１０２、符号化モード選択部１０４、手ブレ検出部１０６にそれぞれに入力される。

動き検出部１０１は、図４で示すように、検出対象フレーム５００内のブロック５０２をラスタ・スキャン方向に順次移動させ、動きベクトルを探索する。動きベクトルを探索する範囲は、矩形５０１で示される範囲であり、ブロック５０２とともに移動する。なお、動きベクトルを探索する方法は従来から多くの提案がなされているが、ブロック単位で動きベクトルを算出する方法であればどのような方法でもよい。

例えば、フル・サーチと呼ばれる探索方法を用いた場合、探索範囲である矩形５０１内のすべての画素に対して、ブロック単位でフレーム間相関を示す指標値としてＳＡＤ（Sum of Absolute Difference）値を算出する。そして、最も小さいＳＡＤ値を示した画素の位置を動きベクトルとして選択する。同様の処理を検出対象フレーム５００のすべてのブロック５０２に対して繰り返し行うことにより、各ブロックに対応する動きベクトル及びＳＡＤ値がそれぞれ出力される。動き検出部１０１は前記ＳＡＤ等のフレーム相関指標を符号化モード選択部１０４に出力する。

図３は、図４の矩形５０１に対応し、動き検出部１０１がフレームメモリ１０７から読み出す画像データのブロック関係を示している。図４のブロック５０２に対応する処理対象ブロックが縦横それぞれ１６画素の時、動き検出の範囲を水平・垂直方向に−３２から３１画素（±２ブロック）とすれば、必要とする画素数は図３の様に縦横それぞれ８０画素（１６画素×５ブロック）となる。

この時、処理対象ブロックがラスタ・スキャン方向に移動する毎に、５つのブロック分（図３のハッチング部分）データがフレームメモリ１０７から新たに読み出される。
すなわち、１ブロックの動き検出を行う毎に５ブロック分のデータがフレームメモリ１０７から読出され、フレーム全体では１つのフレームの動き検出処理を行うために、約５フレーム分のデータをフレームメモリ１０７から読み出す必要がある事になる。ここでは、ブロックを１６画素、動き検出の範囲を水平・垂直方向に−３２から３１画素で説明したが、この限りではない。

手ブレ検出部１０６では、フレームデータ（Ｔ２）１０９のフレームデータ（Ｔ１）１０８に対するフレーム全体の動きを算出し、手ブレ量である手ブレベクトルを求める。求めた手ブレベクトルは符号化モード選択部１０４、画面内適応フィルタ変更部１０２、手ブレ補正部１０３に出力する。

図５には、動き検出部１０１から入力される動きベクトルの発生頻度の統計を示す。ブロック毎の動きベクトル値の発生回数をＺ軸として表現した図を示す。
水平動きベクトル値をｘとし、垂直動きベクトルをｙとし、ブロック単位の動きベクトルをＢＭＶ（ｘ，ｙ）と表現すれば、図５で示す例では、最も発生回数が多いのはＢＭＶ（−１，−１）である。この場合、手ブレ検出部１０６ではＢＭＶ（−１，−１）を手ブレベクトルＧＭＶ（−１，−１）として出力する。

一方、画面内適応フィルタ変更部１０２では、動き検出部１０１で得されたブロック毎の動き情報と手ブレ検出部１０６で得られた手ブレベクトルとに応じてフィルタの特性を変更しフィルタ処理をして手ブレ補正部１０３に出力する。フィルタの種類や特性については限定される事無く必要に応じて様々なフィルタを用いることができる。例えば、図１１で示すように、フレーム１２００内の領域１２１０の複数のブロックにおいて所定閾値以上の動きを検出した場合には、当該領域にのみエッジ強調フィルタを用いる。これによりさらに高画質化を図ることが可能である。

手ブレ補正部１０３は、画面内適応フィルタ変更部１０２から入力された画像を手ブレ検出部１０６から入力された手ブレベクトルで示される画素分だけ位置をずらした画像を符号化対象フレームとして動画像符号化部１０５へ出力する。図６にその様子を示す。図６では手ブレベクトルＧＭＶ（−１，−１）の場合の画像の切出し位置を示している。ベクトルはｘ、ｙ共に−１なので画像左上にそれぞれ１画素ずらして切出している。手ブレ補正は、入力される画像からその一部を切出す事で手ブレによる影響のない画像を出力する為、入力画像サイズに対して出力される画像サイズは小さくなる。

符号化モード選択部１０４は、入力されるフレーム相関指標、手ブレベクトル、ブロック動き情報に応じて、符号化モードと動きベクトルを動画像符号化部１０５に出力する。動画像符号化部１０５で適用すべき符号化モードを選択し、そのモードがインター符号化モード（フレーム間符号化モード）の場合には動きベクトルを算出して合わせて出力する。

ここで、入力画像である手ブレ補正前と補正後及び動き補償後のそれぞれのブロックの位置関係とベクトルの関係について説明する。この状況を説明した図を図７に示す。
図７に示すように、手ブレ補正前（入力画像）のブロック位置８０１と、手ブレベクトルにより手ブレ補正された後のブロック位置８０２と、動きベクトルにより動き補償された後のブロック位置８０３とは、位置が異なっている。

同様にベクトルについても、次の関係がある。
動き検出部１０１の出力であるブロック動き情報ＭＶ（ｘ、ｙ）は、手ブレ検出部１０６の出力である手ブレベクトルＧＭＶ（ｘ、ｙ）と符号化モード選択部１０４の出力である動きベクトルＢＭＶ（ｘ、ｙ）を合わせた関係となる。動画像符号化部１０５ではインターモード時の動き補償には動きベクトルＢＭＶ（ｘ、ｙ）を用いる事になる。
また、動き検出部１０１で検出したブロック単位の動き情報をそのまま適用できない。その理由について図８を用いて説明する。

手ブレ補正前のブロックが手ブレベクトルＧＭＶ（ｘ，ｙ）によって、図８のブロック９０５の位置に移動する。この移動に場合によっては、ブロック９０５はブロックＡ〜Ｄ（９０１〜９０４）と重なり合う事が発生する。特許文献１では、ブロックＡ〜Ｄ（９０１〜９０４）のそれぞれに対応する動きベクトルＭＶａ（ｘ，ｙ）〜ＭＶｄ（ｘ，ｙ）を重み付け加算した後に平均化した値をブロック９０５の動きベクトルとしていた。本実施形態においては、動き検出部１０１で算出したブロックＡ〜Ｄ（９０１〜９０４）のそれぞれのフレーム相関指標であるＳＡＤ値のうち、最も小さいＳＡＤ値を示すブロックの動きベクトルを動き補償用の動きベクトルとする。

図９は、特許文献１及び本実施形態における動画像符号化部１０５に入力されるフレームのＳＡＤ値を示す図である。１０通りのシーケンスに対して測定を行い、すべてのシーケンスに対して本実施形態では小さいＳＡＤ値が得られている。すなわち、本実施形態では動画像符号化部１０５での画質劣化をより少なくすることができる。

図１０は、本実施形態における符号化モード選択部１０４による処理手順の一例を示すフローチャートである。
ステップＳ１１００では、動き検出部１０１で算出した図８で示すような求めるブロックと重なり合う４つのブロックのＳＡＤ値を比較し、最小のＳＡＤ値をもつブロックを選択し、ステップＳ１１０１へ進む。ステップＳ１１０１では、選択したブロックのＳＡＤ値、つまり４つのブロックのＳＡＤ値の最小値をSADinter変数に代入しステップＳ１１０２へ進む。

次に、ステップＳ１１０２では、手ブレ検出部１０６から入力される手ブレベクトルに基づいてフレームのアクティビティを算出し、ACTintra変数に代入しステップＳ１１０３へ進む。ステップＳ１１０３では、求めたSADinterとACTintraとを比較し、ACTintraがSADinterより小さいか否かを判定する。

この判定の結果、ACTintraの方が小さい場合には、ステップＳ１１０４へ進み、イントラ符号化モードを選択し、処理を終了する。一方、ステップＳ１１０３の判定の結果、ACTintraの方が大きい場合には、ステップＳ１１０５へ進み、インター符号化モードを選択する。さらに動き補償用の動きベクトルとしてステップＳ１１０１で選択したブロックに対応する動きベクトルを選択してステップＳ１１０６へ進む。

ステップ１１０６では、ブロック動き情報ＭＶ（ｘ、ｙ）から手ブレベクトルＧＭＶ（ｘ、ｙ）を減算して、演算処理によって動き補償に用いる動きベクトルＢＭＶ（ｘ、ｙ）を求め終了する。前述の様に、符号化モード選択部１０４は、符号化モード選択手段とブロック動き情報選択手段と動きベクトル算出手段を有している事になる。

そして、動画像符号化部１０５では、イントラ・インター判定により符号化モード選択部１０４で選択された符号化モードでこれらの情報を用いて動画像の予測符号化を行う。このように一連のフレームが圧縮符号化される。

図２は、動画像符号化部１０５の詳細を示すブロック図である。
１０５は動画像符号化部であり、２０１は減算器、２０２は動き補償部、２０３は選択部、２０４は逆直交量子化部、２０５は直交量子化部、２０６は可変長符号化部より構成されている。１０７はフレームメモリであり、再構成フレーム１１１（局所復号画像）を記憶し、補償データ１１０として読出される。

手ブレ補正部１０３からの入力画像は減算器２０１、選択部２０３にそれぞれ入力される。動き補償部２０２は、符号化モード選択部１０４からの動きベクトル情報に基づいてフレームメモリ１０７から補償データ１１０を読出し対応する画像を減算器２０１に出力する。減算器２０１では、入力画像と動き補償部２０２からの動き補償された画像との差分をとり選択部２０３に出力する。

選択部２０３は符号化モード選択部１０４から入力される符号化モードに応じて入力画像と減算器２０１からの画像を選択し直交量子化部２０５に出力する。イントラ符号化モードであれば入力画像を選択、インター符号化モードであれば減算器２０１の出力を選択する。直交量子化部２０５では選択部２０３から入力された画像を直交変換しその後量子化処理して可変長符号化部２０６と逆直交量子化部２０４に出力する。

可変長符号化部２０６では入力された画像データを可変長符号化して符号化データとして出力する。逆直交量子化部２０４では、直交量子化部２０５からの画像データを直交量子化部２０５の処理と逆の処理である逆量子化処理、逆直交変換処理をして再構成フレーム１１１（局所符号化画像）としてフレームメモリ１０７に記憶保存する。

以上のように本実施形態においては、手ブレ検出部１０６でブロック動き情報を用いて手ブレベクトルを検出し、符号化モード選択部１０４でブロック動き情報、フレーム相関指標であるＳＡＤ値及び手ブレベクトルを用いて符号化モードを選択するようにした。これにより、データ転送量やハードウェアの規模を低減してコストや消費電力を抑えることができるとともに、大きな画質劣化が生じないようにすることができる。

また、動き検出部１０１で取得したブロック動き情報を用いてフレーム内のノイズ除去フィルタのフィルタ特性を適応的に変化させるため、動く物体を考慮した高性能なノイズ除去フィルタを実現できる。さらには、動画像符号化部１０５で用いる動きベクトルを、フレーム相関指標（ＳＡＤ）に応じて、ブロック動き情報から１つを選択する構成により、動画像符号化部１０５で符号化する際に生じる画質劣化をさらに低減できる。これにより、符号化処理部で動き補償の為に再度動きベクトルを検出する必要がなくなり、データ転送量やハードウェアの規模を低減してコストや消費電力を抑えることができる。

（本発明に係る他の実施形態）
本発明の目的は前述した実施例の機能を実現するソフトウェアのプログラムコードを記録した記録媒体を、システムあるいは装置に供給し、そのシステムあるいは装置のコンピュータ（ＣＰＵまたはＭＰＵ）が記録媒体に格納されたプログラムコードを読み出し実行することによっても、達成されることは言うまでもない。この場合、記録媒体から読み出されたプログラムコード自体が前述した実施形態の機能を実現することとなり、そのプログラムコードを記憶したコンピュータ読み取り可能な記録媒体は本発明を構成することになる。

プログラムコードを供給するための記録媒体としては、例えば、フレキシブルディスク、ハードディスク、光ディスク、光磁気ディスク、ＣＤ−ＲＯＭ、ＣＤ−Ｒ、磁気テープ、不揮発性のメモリカード、ＲＯＭ、ＤＶＤなどを用いることができる。

また、コンピュータが読み出したプログラムコードを実行することにより、前述した実施形態の機能が実現される。さらに、そのプログラムコードの指示に基づき、コンピュータ上で稼動しているOperating System（ＯＳ）などが実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれることは言うまでもない。

さらに、記録媒体から読み出されたプログラムコードが、コンピュータに挿入された機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに書きこまれる。その後、そのプログラムコードの指示に基づき、その機能拡張ボードや機能拡張ユニットに備わるＣＰＵなどが実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれることは言うまでもない。

その他、プログラムの供給方法としては、クライアントコンピュータのブラウザを用いてインターネットのホームページに接続する方法がある。そして、前記ホームページから本発明のコンピュータプログラムそのもの、もしくは圧縮され自動インストール機能を含むファイルをハードディスク等の記録媒体にダウンロードすることによっても供給できる。

また、本発明のプログラムを構成するプログラムコードを複数のファイルに分割し、それぞれのファイルを異なるホームページからダウンロードすることによっても実現可能である。つまり、本発明の機能処理をコンピュータで実現するためのプログラムファイルを複数のユーザに対してダウンロードさせるＷＷＷサーバも、本発明に含まれるものである。

また、その他の方法として、本発明のプログラムを暗号化してＣＤ−ＲＯＭ等の記録媒体に格納してユーザに配布し、所定の条件をクリアしたユーザに対し、インターネットを介してホームページから暗号化を解く鍵情報をダウンロードさせる。そして、その鍵情報を使用することにより暗号化されたプログラムを実行してコンピュータにインストールさせて実現することも可能である。

本発明の実施形態における動画像処理装置の機能構成例を示すブロック図である。 動画像符号化手段の内部構成例を示すブロック図である。 動き検出部がフレームメモリから読み出すブロックを示す図である。 本発明の実施形態において、動き検出部で検出する検出対象ブロックの位置を示す図である。 本発明の実施形態において、動きベクトルの発生頻度の統計を示す図である。 手ブレ補正を示す図である。 手ブレ補正及びフレームの前後でブロック位置が異なっていることを示す図である。 手ブレ補正の前後でブロック位置が異なっていることを示す図である。 本発明の実施形態と従来技術とのＳＡＤ値の比較結果を示す図である。 本発明の実施形態における符号化モード選択部による処理手順の一例を示すフローチャートである。 本発明の実施形態において、画面内適応フィルタの処理を示す図である。

符号の説明

１０１ 動き検出部
１０２ 画面内適応フィルタ変更部
１０３ 手ブレ補正部
１０４ 符号化モード選択部
１０５ 動画像符号化部
１０６ 手ブレ検出部
１０７ フレームメモリ
１０８ フレームデータ（Ｔ１）
１０９ フレームデータ（Ｔ２）
１１０ 手ブレ補正後フレームデータ（Ｔ１'）
１１１ 手ブレ補正後フレームデータ（Ｔ２'）

Claims (10)

1. フレーム間の動きベクトルを検出して予測符号化を行う動画像処理装置であって、
   処理対象フレームをブロックに分割し、参照フレームからブロック単位でブロック動き情報及びフレーム相関指標を取得する動き検出手段と、
   前記動き検出手段によって取得されたブロック動き情報を用いて前記処理対象フレームの全体の動きを検出し、手ブレベクトルを検出する手ブレ検出手段と、
   前記手ブレ検出手段によって検出された手ブレベクトルを用いて、前記処理対象フレームを手ブレ補正する手ブレ補正手段と、
   ブロック毎に前記フレーム相関指標を用いて、複数のブロック動き情報から１つを選択し動きベクトルを算出する動きベクトル算出手段と、
   前記動きベクトル算出手段によって得られた動きベクトルを用いて、前記手ブレ補正手段によって得られた画像データを符号化する動画像符号化手段とを有することを特徴とする動画像処理装置。
2. 前記動き検出手段によって取得されたブロック動き情報に応じて、フレーム内におけるノイズ除去フィルタのフィルタ特性を変更する適応フィルタ変更手段を有することを特徴とする請求項１に記載の動画像処理装置。
3. 前記動きベクトル算出手段は、少なくとも前記ブロック動き情報と手ブレベクトルとから演算処理により動きベクトルを求めることを特徴とする請求項１に記載の動画像処理装置。
4. さらに、少なくとも前記手ブレベクトル及びフレーム相関指標を用いてイントラかインターの判定を行う符号化モード選択手段を有することを特徴とする請求項１乃至３の何れか１項に記載の動画像処理装置。
5. フレーム間の動きベクトルを検出して予測符号化を行う動画像処理方法であって、
   処理対象フレームをブロックに分割し、参照フレームからブロック単位でブロック動き情報及びフレーム相関指標を取得する動き検出工程と、
   前記動き検出工程において取得したブロック動き情報を用いて前記処理対象フレームの全体の動きを検出し、手ブレベクトルを検出する手ブレ検出工程と、
   前記手ブレ検出工程において検出した手ブレベクトルを用いて、前記処理対象フレームを手ブレ補正する手ブレ補正工程と、
   ブロック毎に前記フレーム相関指標を用いて、複数のブロック動き情報から１つを選択し動きベクトルを算出する動きベクトル算出工程と、
   前記動きベクトル算出工程において得た動きベクトルを用いて、前記手ブレ補正工程において得た画像データを符号化する動画像符号化工程とを有することを特徴とする動画像処理方法。
6. 前記動き検出工程において取得したブロック動き情報に応じて、フレーム内におけるノイズ除去フィルタのフィルタ特性を変更する適応フィルタ工程を有することを特徴とする請求項５に記載の動画像処理方法。
7. 前記動きベクトル算出工程においては、少なくとも前記ブロック動き情報と手ブレベクトルとから演算処理により動きベクトルを求めることを特徴とする請求項５に記載の動画像処理方法。
8. さらに、少なくとも前記手ブレベクトル及びフレーム相関指標を用いてイントラかインターの判定を行う符号化モード選択工程を有することを特徴とする請求項５乃至７の何れか１項に記載の動画像処理方法。
9. フレーム間の動きベクトルを検出して予測符号化を行うようにコンピュータに実行させるプログラムであって、
   処理対象フレームをブロックに分割し、参照フレームからブロック単位でブロック動き情報及びフレーム相関指標を取得する動き検出工程と、
   前記動き検出工程において取得したブロック動き情報を用いて前記処理対象フレームの全体の動きを検出し、手ブレベクトルを検出する手ブレ検出工程と、
   前記手ブレ検出工程において検出した手ブレベクトルを用いて、前記処理対象フレームを手ブレ補正する手ブレ補正工程と、
   ブロック毎に前記フレーム相関指標を用いて、複数のブロック動き情報から１つを選択し動きベクトルを算出する動きベクトル算出工程と、
   前記動きベクトル算出工程において得た動きベクトルを用いて、前記手ブレ補正工程において得た画像データを符号化する動画像符号化工程とをコンピュータに実行させることを特徴とするプログラム。
10. 請求項９に記載のプログラムを記録したことを特徴とするコンピュータ読み取り可能な記録媒体。

Images