JP2006166061A

JP2006166061A - 動きベクトル検出方法

Info

Publication number: JP2006166061A
Application number: JP2004355043A
Authority: JP
Inventors: Koji Mori; 浩二森; Mitsuru Hashimoto; 充橋本
Original assignee: Sharp Corp
Current assignee: Sharp Corp
Priority date: 2004-12-08
Filing date: 2004-12-08
Publication date: 2006-06-22

Abstract

【課題】インターレースプログレッシブ変換処理における動きベクトル検出方法において、演算処理量を低減する。
【解決手段】候補ベクトル生成部１０２より出力される候補ベクトル１１３が指し示す参照ブロック１と参照ブロック２とのフィールド間の差分絶対値和（ＳＡＤ）を計算し、演算結果１１２の中から、ＳＡＤの最小値が判定され、その判定結果１１４をもとに、現在処理中のブロックの動きベクトル１１５が決定される。１フィールド画像内では動きベクトル１１５をメモリ１０４に保存し、現在処理中のブロックとの相関が高い周辺ブロックに関する検出済み動きベクトルを候補ベクトルとすることにより、全探索方式に比べ、動きベクトル検出のための演算処理量を低減することができる。
【選択図】図１

Description

本発明は、動きベクトル検出方法に関し、特に、動き補償型IP変換処理において、動きベクトルを検出する際、検出精度を低減させることなく演算量を削減する動きベクトル検出方法に関する。

動きベクトルを検出する技術としては、動画像をディジタル化し圧縮符号化するMPEG方式などの技術において、動き補償を行うための動きベクトルを検出する方法として、ブロックマッチングによる動きベクトル検出方法が一般的である。動き補償型IP変換処理における動きベクトル検出も、MPEG方式などにおける動きベクトル検出方法と同様な手法で実現できる。

一般的な動きベクトル検出方法である、ブロックマッチングによる全探索手法について、図面を参照しつつ説明を行う。図５（ａ）、（ｂ）は、一般的な従来の動きベクトル検出方法を示す概念図であり、現フレーム（５０１）の予測対象ブロック（５０３）の動きベクトル（５０６）（図５（ｂ））を、既に符号化済みの前フレーム（５００）情報（図５（ａ））を用いてブロックマッチング方法によって検出する全探索手法の概要を示す図である。図５（ａ）、（ｂ）に示すように、予測対象ブロック（５０３）の動きベクトル（５０６）は、前フレーム（５００）上の同位置のブロック（５０７）を中心に一定の探索範囲（５０２）内に含まれる参照ブロック（５０４）と予測対象ブロック（５０３）とのマッチングによって検出される。

図４は、上記のような一般的な動きベクトル検出処理装置の構成例を示す機能ブロック図である。図４に示すように、探索範囲内の全て、あるいは、いくつかのブロックを参照する候補ベクトル（４１３）で示す、前フレームの参照ブロックと現フレームの予測対象ブロックとの各画素の差分絶対値和（以下「SAD」と称する。）をSAD演算部（４００）において順次計算する。そして、この探索範囲内でSADが最小となるブロックをSAD最小値検出部（４０１）で検出し、この判定結果（４１４）をもとに、動きベクトル決定部（４０３）において動きベクトル（４１５）を決定する。かかる探索範囲内の全てのブロックについて各画素の差分を計算し、参照ブロックを決定する方法は全探索手法と呼ばれ、最も精度良く参照ブロックを検出することができる方法である。

また、動き補償予測と変換符号化を組合せた動画像符号化方法において、インターレース信号を符号化したビットストリームを復号する画像復号方法おいて、復号された符号化動きベクトルの内、所定の範囲内の符号化ピクチャにおける動きベクトルを、１フレーム差の動き量となるように動きベクトルの換算を行って候補ベクトルとして絞り込み、候補ベクトルを用いて評価値判定を行い、評価値が最小となる候補ベクトルを動き補償を用いたＩＰ変換における動き量として選定し、動き量を基に動き補償補間信号を作成した上で、評価値に基づいてフィールド内補間信号とこの動き補償補間信号とを加算し、補間前の復号画像と合併出力する技術がある（特許文献１参照）。

特願平11-258518号公報

しかしながら、ブロックマッチングによる全探索手法を用いた動きベクトル検出方法は、探索範囲内で動きベクトルを表す最小単位で参照ブロックの位置を移動させ、それぞれの位置に対するSADを計算するため、精度良い動きベクトルを検出することができる確率は高くなるが、それに伴い動きベクトルを検出するための演算処理量が増大し、演算の回路規模や処理時間も大きくなるという問題があった。
本発明は、動きベクトル検出方法において、演算処理量を低減することを目的とする。

本発明の動きベクトル検出方法は、フィールド画像をブロックに分割し、所定の探索エリア内でブロックマッチングを行うことで、ブロック毎に動きベクトル検出を行い、その動きベクトルに応じ、インターレース・プログレッシブ変換処理を行う、動き補償型IP変換処理方法、及び、装置の動きベクトル検出方法において、現在処理中のブロックの動きベクトルを検出する際、現在ブロックの周辺のブロックの検出済み動きベクトルを検索候補とすることを特徴とする。

また、現在処理中のブロックの動きベクトルを検出処理する際に、現在ブロックの周辺のブロックの検出済み動きベクトルを探索候補として、例えば、現在処理中のブロックの周辺８ブロックの内、最新の検出処理済みブロック２箇所を探索候補とすることを特徴とする。検出済みの動きベクトルを探索候補として利用するため、動きベクトルを検出するための演算処理量を削減することができる。

本発明による動きベクトル検出技術によれば、候補ベクトルとして処理済みブロックの動きベクトルを利用するため、全探索方式に比べ、動きベクトルを検出するための演算処理量を低減することができるという利点がある。また、現在処理中ブロックの周囲のうち、直前に処理された数ブロックに限定して動きベクトル検出結果を利用することで、動きベクトルの検出精度を低下させることなく、更なる処理の削減が実現できる。

以下、本発明の一実施の形態による動きベクトル検出方法について図面を参照しつつ説明を行う。図２（ａ）から（ｃ）までは、本実施の形態による動きベクトル検出処理の概念を示す図である。図２（ａ）から（ｃ）までに示すように、本実施の形態による動き補償型IP変換処理は、例えば、インターレース画像であるフィールドｎ画像（２０２）と、その２フィールド期間離れたフィールドｎ−２画像（２００）との間に、フィールドｎ−１画像（２０１）を補間するものであり、その補間フィールド画像を生成する際に動きベクトルを使用する。以下、本実施の形態による動きベクトル検出方法について図面を参照しつつ説明を行う。図２（ａ）から（ｃ）までにおいて、補間対象であるフィールドｎ−１画像（２０１）を生成するために、１フィールド画像を例えばＭ×Ｎ（Ｍ、Ｎとも２以上の整数であり、一般的には３以上の整数）の画素ブロック（２０７）に分割し、例えば、通常の走査線方式と同様に画面左上から右下に向けてブロック単位で処理を行う。補間フィールド画像（フィールドｎ−１：２０１）を生成する過程において、現在処理中のブロック（２０４）に対し、候補ベクトル（２０６）に参照される１フィールド前の画像（フィールドｎ−２画像：２００）の参照ブロック１（２０３）と、１フィールド後の画像（フィールドｎ画像：２０２）の参照ブロック２（２０５）との差分をとる。この差分は、参照ブロック１（２０３）と参照ブロック２（２０５）とのそれぞれの画素の差分絶対値和（SAD）として計算される。全ての候補ベクトルについてSADを計算し、その最小値を示すベクトルが現在処理中ブロックの動きベクトルとして決定される。

上記の過程について、図１に示す動きベクトル検出処理に関する構成例を示す機能ブロック図に基づいて説明を行う。
図１において、SAD演算部（１００）には、補間フィールド画像に対する１フィールド前の画像データ（１１０）と１フィールド後の画像データ（１１１）とが入力される。ＳＡＤ演算部（１００）は、候補ベクトル生成部（１０２）より出力される候補ベクトル（１１３）が指し示す参照ブロック１（２０３）と参照ブロック２（２０５）との間のＳＡＤを計算する。候補ベクトルの全てに対して同様の演算を行い、これら演算結果（１１２）の中から、SAD最小値判定部（１０１）によりSADの最小値が判定され、その判定結果（１１４）をもとに、動きベクトル決定部（１０３）において、候補ベクトル生成部１０２により生成された候補ベクトル（１１３）の中から現在処理中のブロックの動きベクトル（１１５）が決定される。

図３は、本実施の形態による候補ベクトルとするブロックをどのように決めるかを説明する図である。補間フィールドを生成するための処理が進み、１フィールド画像内では、現在処理中のブロック（３０２）の周辺に、現在処理中のブロック（３０２）との相関が高い、既に動きベクトルが検出された周辺８ブロック（３０３）が存在する。

図１の構成において、動きベクトル（１１５）をメモリ（１０４）に保存しておくことで、次期処理ブロックでの処理に、周辺ブロックなどの既検出ベクトル（１１６）を候補ベクトルとして利用することができる。このように、現在処理中のブロックとの相関が高い周辺ブロックに関する検出済み動きベクトルを候補ベクトルとすることにより、全探索方式に比べ、動きベクトル検出のための演算処理量を低減することができる。

尚、次期処理とは、例えば、メモリに保存する時点を起点とすると、次のブロックの処理のことであり、現在ブロック処理している時点を起点とすると、メモリに保存するのは前ブロック処理になる。

尚、周辺ブロック（３０３）の中で、現在処理ブロック（３０２）の右隣に位置するブロック、または、直下、右下、左下に位置する３つのブロックは、１フィールド前の補間フィールド画像を生成する時に処理されたブロックであり、未処理であるため候補ベクトルとしてはこのブロックのものは用いることができない。これに対して、現在処理中のブロック（３０２）との相関が高い周辺８ブロック（３０３）のうちで、直前に処理された２つのブロック（３０４、３０５）は、現在処理ブロックと関連性が特に高く、これらに限定して動きベクトル検出結果を利用することにより、動きベクトルの検出精度をそれほど低下させることなく、更なる処理の削減が実現できる。

以上に説明したように、本実施の形態による動きベクトル検出技術によれば、候補ベクトルとして処理済みブロックの動きベクトルを利用するため、従来の全探索方式に比べ、動きベクトルを検出するための演算処理量を低減することができる。また、現在処理中ブロックの周囲ブロック例えば周囲８ブロックのうち、例えば最後に処理された２つのブロックに限定して動きベクトル検出結果を利用することで、動きベクトルの検出精度を低下させることなく、更なる処理の削減が実現できる。尚、上記の例では、最後に処理された２つのブロックに限定して動きベクトル検出結果を利用する場合について説明したが、２つのブロックに限定するものではない。

本発明は、動画像をディジタル化し圧縮符号化するMPEG方式などの技術において、動き補償を行うための技術に利用できる。

本発明の一実施の形態による動きベクトル検出処理に関連するブロック図である。本実施の形態による動きベクトル検出処理の概念を示す図である。本実施の形態による候補ベクトルに関する概念図である。一般的な動きベクトル検出処理に関連するブロック図である。一般的な動きベクトル検出方法を示す図である。

符号の説明

１００…ＳＡＤ演算部、１０１…ＳＡＤ最小値判定部、１０２…候補ベクトル生成部、１０３…動きベクトル決定部、２００…フィールドｎ−２画像、２０１…フィールドｎ−１画像、２０２…フィールドｎ画像、２０３…参照ブロック１、２０４…現在処理ブロック、２０５…参照ブロック２、２０６…候補ベクトル、２０７…画素ブロック、５００…前フレーム、５０１…現在フレーム。

Claims

フィールド画像を複数のブロックに分割し、所定の探索エリア内でブロックマッチングを行うことにより、ブロック毎に動き補償を行うための動きベクトル検出を行い、該動きベクトルに応じてインターレース・プログレッシブ（以下、IPと称する。）変換処理を行う動きベクトル検出方法において、
現在処理中のブロックの動きベクトルを検出する際に、同じフィールド内の検出済み動きベクトルを検索候補とすることを特徴とする動きベクトル検出方法。
現在処理中のブロックの動きベクトルを検出する際に、現在ブロックの周辺のブロックの動きベクトルを検索候補とすることを特徴とする請求項１に記載の動きベクトル検出方法。
現在処理中のブロックの動きベクトルを検出処理する際に、現在ブロックの周辺のブロックの検出済み動きベクトルを探索候補として、現在処理中のブロックの周辺ブロックのうちの最新の検出処理済みブロックを探索候補とすることを特徴とする請求項１又は２に記載の動きベクトル検出方法。
フィールド画像を複数のブロックに分割し、所定の探索エリア内でブロックマッチングを行うことにより、ブロック毎に動き補償を行うための動きベクトル検出を行い、該動きベクトルに応じてインターレース・プログレッシブ変換処理を行う動きベクトル検出方法において、
第１のフィールド画像と第２のフィールド画像との間に、前記第１のフィールドと前記第２のフィールドとの間の第３のフィールドにおける第３のフィールド画像を補間により生成する際に、
フィールド画像を複数の画素ブロックに分割し、ブロック単位で符号化処理を行っていく過程で、前記第３のフィールド画像における現在処理中のブロックに対し、候補ベクトルに参照される第１のフィールドの画像の第１参照ブロックと、第２のフィールド画像の第２参照ブロックと、の差分絶対値和をとるステップと、
全ての候補ベクトルに関して上記差分絶対値和を計算し、その最小値を示すベクトルを前記第３のフィールド画像における前記現在処理中ブロックの動きベクトルとして決定するステップと、を有し、
現在処理中のブロックの動きベクトルを検出する際に、同じフィールド内の検出済み動きベクトルを検索候補とすることを特徴とする動きベクトル検出方法。
請求項１から４までのいずれか１項に記載のステップをコンピュータに実行させるためのプログラム。
フィールド画像を複数のブロックに分割し、所定の探索エリア内でブロックマッチングを行うことにより、ブロック毎に動き補償を行うための動きベクトル検出を行い、該動きベクトルに応じてインターレース・プログレッシブ変換処理を行う動きベクトル検出装置であって、
候補ベクトルを生成する候補ベクトル生成部と、
補間フィールド画像に対する１フィールド前の画像データと１フィールド後の画像データとが入力され、前記候補ベクトル生成部より出力される動きベクトルが始点及び終点として指し示す第１参照ブロックと第２参照ブロックの間の差分絶対値和を計算する差分絶対値和演算部と、
前記候補ベクトル生成部により生成された候補ベクトルに対して前記差分絶対値演算部により演算された演算結果を入力し差分絶対値和の最小値を求める差分絶対値和最小値判定部と、
該差分絶対値和最小値判定部の判定結果に基づいて、前記候補ベクトル生成部から出力される候補ベクトルの中から現在処理中のブロックの動きベクトルを決定する動きベクトル決定部と、
同じフィールドにおいて既に決定された既検出の動きベクトルを記憶するメモリと、
該メモリに記憶された既検出の動きベクトルを同じフィールド内における次のブロックの処理における候補ベクトルとして前記候補ベクトル生成部に対して出力することを特徴とする動きベクトル検出装置。