JP2006512029A - セグメントベース動き推定 - Google Patents

Abstract

セグメント画像（１００）の各セグメント（Ｓ１１〜Ｓ１４）に対応する動きベクトルを確定するセグメントベース動き推定方法は、各セグメント（Ｓ１１〜Ｓ１４）に対して動きベクトル候補の集合を作成し、このセグメント画像（１００）をピクセルブロック（ｂ１１〜ｂ８８）のグリッドに分割し、セグメント（Ｓ１１〜Ｓ１４）とセグメント画像におけるピクセルブロック（ｂ１１〜ｂ８８）の位置とに基づいて各ブロック（ｂ１１〜ｂ８８）に属する動きベクトル候補を確定し、これらの確定された動きベクトル候補及び更なる画像（１０２）のピクセル値に基づいて各ブロック（ｂ１１〜ｂ８８）に対応する部分的マッチ誤差を算出し、これらの部分的マッチ誤差を合成して各セグメントにつきいくつかのマッチ誤差を算出し、これらマッチ誤差に基づいて各動きベクトル候補の集合から動きベクトル候補を選択し、これらの選択された動きベクトル候補を各セグメント（Ｓ１１〜Ｓ１４）に対応する動きベクトルとして指定する工程を有する。

Description

本発明はセグメント画像の各セグメントに対応する動きベクトルを推定するためのセグメントベース動き推定方法に関する。

本発明は更にセグメント画像の各セグメントに対応する動きベクトルを推定する動き推定部に関する。

本発明は更に入力画像をセグメント画像にセグメント化するセグメント部及びセグメント画像の各セグメントに対応する動きベクトルを推定する動き推定部を有する画像処理装置に関する。

セグメントベース動き推定は、例えば２Ｄから３Ｄへのコンテンツ変換、ビデオ符号化、スキャンレート変換、セキュリティ対策上オブジェクト追跡、画質改善などの各種ビデオ処理アルゴリズムにおける重要な処理ステップを構成する。現在の動き推定アルゴリズムのほとんどがブロックベースであるのに対し、セグメントベースの動き推定では動きベクトルが高いピクセル精度で算出されうるためより正確な推定が可能である。例えばビデオフレームなどの画像のセグメント画像において、セグメントベース動き推定は以下のように実行される。まず各セグメントについて動きベクトル候補を選択し、各セグメントに対応するいくつかの動きベクトル候補それぞれのマッチ誤差を算出することによって当該セグメントに対する各動きベクトル候補を評価し、この評価に基づいて各セグメントそれぞれに対応する最適な動きベクトル候補を選択する。

セグメントは任意の形状及び大きさを有することが可能であるため、上述のようなアルゴリズムを直接適用した場合、メモリ帯域幅が効率的に利用されない。典型的には考慮対象とされるセグメントが属する境界ボックスのピクセル値がメモリからアクセスされる。この場合境界ボックス内のピクセル値のすべてがこの考慮対象とされるセグメントを構成するとは限らないためメモリ帯域幅が効率的に利用されないこととなる。

そこで本発明は上記序文に記載される方法であって、比較的効率的なメモリ帯域幅の利用に基づく方法を提供することを目的とする。

上記目的を達成するために、本発明による方法は、
各セグメントに対して動きベクトル候補の集合を作成し、
セグメント画像をピクセルブロックのグリッドに分割し、
前記セグメントと前記セグメント画像における前記ピクセルブロックの位置とに基づいて前記動きベクトル候補のなかから各ブロックに属する動きベクトル候補を確定し、
前記確定された動きベクトル候補及び更なる画像のピクセル値に基づいて各ブロックに対応する部分的マッチ誤差を算出し、
前記部分的マッチ誤差を合成して各セグメントにつきいくつかのマッチ誤差を算出し、
前記マッチ誤差に基づいて各動きベクトル候補の集合から動きベクトル候補を選択し、
前記選択された動きベクトル候補を各セグメントに対応する動きベクトルとして指定する工程を有する。

本発明の重要な特徴のひとつは、セグメント画像にブロックのグリッドがオーバーレイされ、ブロックごとに効率的な動き推定が実行されるという点である。ブロックごとの動き推定が実行された後、このブロックごとの推定結果を累算することによってセグメントごとの推定結果が算出される。したがってメモリアクセス及び部分的マッチ誤差の算出はブロックベースで行われる。これらによりセグメントベース動き推定アルゴリズムが容易に実施されうる。また、本発明の方法によると、大規模な並行処理が可能であるという利点もある。すなわちセグメント画像はいくかのブロック群に分割されうるため、各ブロック群におけるブロックの処理は並行に実施されうる。よってこの方法においては多くの並行処理手段（ＶＬＩＷやＡＳＩＣなど）が適用されうる。

また本発明の更なる実施形態による方法は、
前記セグメントと前記セグメント画像における前記ピクセルブロックの位置とに基づいて、前記ブロックのうちの複数のセグメントと重複するブロックの各々を複数のピクセル群に分離し、
前記セグメントと前記セグメント画像における前記ピクセル群の位置とに基づいて、前記動きベクトル候補のなかから前記ピクセル群に属する動きベクトル候補を確定し、
前記確定された動きベクトル候補及び更なる画像のピクセル値に基づいて前記ピクセル群に対応する更なる部分的マッチ誤差を算出し、
前記部分的マッチ誤差及び前記更なる部分的マッチ誤差を合成して各セグメントにつきいくつかのマッチ誤差を算出する工程を更に有する。

あるブロックが複数のセグメントと重複する場合、このブロックはいくつかのピクセル群に分離される。このピクセル群の数はこのブロックが重複するセグメントの数に相当する。そして各ピクセル群についてそれぞれ対応する部分的マッチ誤差が算出される。例えばあるブロックが４つのセグメントと重複する場合、４つのピクセル群が確定される。そしてこれら４つのピクセル群のそれぞれについてその対応動きベクトル候補が評価される。したがってこのブロックに対して４つの部分的マッチ誤差が算出されることとなる。その後これら４つの部分的マッチ誤差は対応するセグメントに属する部分的マッチ誤差と累積される。本実施形態によると、より正確な評価結果が得られるという効果が得られる。

また本発明の方法の更なる実施形態によると、前記動きベクトル候補のなかから前記ブロックに属する動きベクトル候補を確定する処理は、前記セグメント画像における前記セグメントと前記ブロックとの重複量に依存する。本実施形態によると、あるブロックについて評価される動きベクトル候補の数は当該ブロックが重複するセグメントの数と直線的な関係を有さない。例えばあるブロックが２つのセグメントと重複し、これら各セグメントにはそれぞれ５つの動きベクトル候補が備わっているとすると、最大で１０の動きベクトル候補がこのブロックについて評価されうる。しかし例えばこのブロックと一方のセグメントとの重複量が比較的小さい（例えばブロック内のピクセル全体の１０％未満など）場合、このブロックについて当該セグメントの動きベクトル候補に対する評価は省略されうる。すなわちこのブロックに付いては当該ブロックと比較的広領域にわたって重複する他方のセグメントの動きベクトル候補（この例では５つ存在）が評価されることとなる。この評価においては２つの異なるアプローチが適用されうる。まず第１アプローチとしては、このブロックにおける全てのピクセル（すなわち他方のセグメントに属するピクセルを含む）についてこれら動きベクトル候補が評価される。第２のアプローチとしては、このブロックにおける対応ピクセル群についてのみ（すなわち他方のセグメントに属するピクセルを含まない）これら動きベクトル候補が評価される。本実施形態によると算出処理工程の数が他の実施形態に比べて削減されうる。

また本発明の方法の一実施形態によると、前記部分的マッチ誤差のうちの少なくとも１つはセグメント画像のピクセル値と前記更なる画像の対応ピクセル値との差の和に相当する。好適にはこの部分的マッチ誤差はＳＡＤ（Sum of Absolute Difference：差分絶対和）に相当する。なお、ピクセル値は輝度値や色値などを表す。このようなマッチ誤差はローバスト性を備え、比較的少ない演算処理によって算出されうるという利点を有する。

また、好適には前記ピクセルブロックは８×８ピクセル又は１６×１６ピクセルから構成される。このフォーマットは最も一般的に適用されるフォーマットである。したがって市販のハードウェアとの互換性が実現される。

また本発明の更なる実施形態による方法は、前記セグメント画像と共に１つの拡張画像を構成する更にセグメント化された画像における第１セグメントに割り当てられた第１動きベクトル、及び前記更にセグメント化された画像における更なるセグメントであって前記第１セグメントと共に前記拡張画像における１つのセグメントを構成する更なるセグメントに対応付けられる特定動きベクトルに基づいて、最終動きベクトルを確定し、前記拡張画像における１つのセグメントに前記最終動きベクトルを対応付ける工程を更に有する。

すなわち本実施形態による方法においては、いくつかのサブ画像（すなわち拡張画像の各部分）の処理結果を合成する一種のポスト処理が実施される。また別の観点からみると、ある拡張画像がいくつかの帯状ブロック群やタイル状ブロック群に分けられ、各サブセグメントに対応する中間動きベクトルが確定される。その後これらの中間動きベクトルは当該拡張画像の各セグメントに対応する適正な動きベクトルを確定するために適用される。本実施形態によると、メモリ帯域幅が更に効率的に利用されうる。

また、好適には前記第１セグメントのサイズが前記更なるセグメントのサイズよりも大きい場合は前記第１動きベクトルが前記最終動きベクトルとして指定され、前記更なるセグメントのサイズが前記第１セグメントのサイズよりも大きい場合は前記特定動きベクトルが前記最終動きベクトルとして指定される。また別の実施例によると、この最終動きベクトルはこれら２つの動きベクトル（すなわち第１動きベクトル及び特定動きベクトル）の平均を算出することによって確定されうる。また、好適にはこの平均は第１セグメントのサイズと更なるセグメントのサイズとに基づく加重平均に相当する。

また、本発明は本願の序文に記載されるような動き推定部で、メモリ帯域幅の効率利用を可能にする動き推定部を提供することを更なる目的とする。

上記目的を達成するために、本発明による動き推定部は、
各セグメントに対応する動きベクトル候補の集合を作成する作成部、
前記セグメント画像をピクセルブロックのグリッドに分割する分割部、
前記セグメント及び前記セグメント画像における前記ピクセルブロックの位置に基づいて前記動きベクトルのうち前記ブロックに属する動きベクトル候補を確定する確定部、
前記確定された動きベクトル候補と更なる画像のピクセル値に基づいて前記ブロックに対応する部分的マッチ誤差を算出する算出部、
前記部分的マッチ誤差を合成して各セグメントにつきいくつかのマッチ誤差を算出する合成部、
前記マッチ誤差に基づいて各動きベクトル候補の集合から動きベクトル候補を選択する選択部、及び
前記選択された動きベクトル候補を各セグメントに対応する動きベクトルとして指定する指定部を有する。

また、本発明は本願の序文に記載されるような画像処理装置で、メモリ帯域幅の効率利用を可能にする動き推定部を具備する画像処理装置を提供することを更なる目的とする。

上記目的を達成するために、本発明による画像処理装置における動き推定部は請求項１記載の方法を実行するように構成される。本発明の一実施形態による画像処理装置は、動きベクトルに基づいて制御される処理手段を有する。この処理手段は以下の各種画像処理のうちの１又は複数を支持しうる。

−ビデオ圧縮、すなわち符号化／復号化処理（例えばＭＰＥＧ規格に基づくもの）
−デインタレース処理：インタレース処理は奇数又は偶数画像線を交互に送信するための一般的なビデオ放送処理である。デインタレース処理は縦の解像度をもとに修復する処理に相当する（すなわち各画像について奇数及び偶数線を同時アクセス可能にする）
−画像レート変換処理：連続オリジナル入力画像からより大きな連続出力画像を算出する処理。すなわち出力画像が２つのオリジナル入力画像の間に時間的に挿入される。

−時間的ノイズ削減処理。これは空間処理を含むことが可能で、その結果時空間ノイズの削減が実現されうる。

この画像処理装置は随意に出力画像を表示するディスプレイ部を具備しうる。この画像処理装置はテレビ、セットトップボックス、ＶＣＲプレーヤ、衛星チューナ、ＤＶＤプレーヤ／レコーダなどに相当しうる。

なお、本発明による方法の変形例や変更例は上記動き推定部の変形例や変更例に対応しうる。

また、本発明による方法、動き推定部、及び画像処理装置の上記及びその他の特徴は、本発明の実施例の説明と、添付図面の参照とによって明らかになるであろう。

図１は２つの連続するセグメント画像１００及び１０２を概略的に示す。このうちの第１画像１００は４つのセグメントＳ１１、Ｓ１２、Ｓ１３、及びＳ１４から構成される。また第２画像１０２も４つのセグメントＳ２１、Ｓ２２、Ｓ２３、及びＳ２４から構成される。ここで第１画像１００のセグメントＳ１１は第２画像１０２のセグメントＳ２１に対応する。第１画像１００のセグメントＳ１２は第２画像１０２のセグメントＳ２２に対応する。第１画像１００のセグメントＳ１３は第２画像１０２のセグメントＳ２３に対応する。第１画像１００のセグメントＳ１４は第２画像１０２のセグメントＳ２４に対応する。これら各セグメントは動き（例えば撮像されるシーンにおけるオブジェクトに対するカメラの動きなど）に応じて画像座標システムに対して変動する。これらの変動は動き推定によって推定されうる。すなわちセグメントＳ１１、Ｓ１２、Ｓ１３、Ｓ１４とセグメントＳ２１、Ｓ２２、Ｓ２３、Ｓ２４との関係を表す動きベクトルＭＶ（１）、ＭＶ（２）、ＭＶ（３）、及びＭＶ（４）が推定される。この動き推定は各セグメントに対する動きベクトル候補ＣＭＶ（ｓ，ｃ）の評価に基づく。なお、ここでｓはセグメントを表し、ｃはセグメントごとの候補を表す。セグメントの各動きベクトル候補ＣＭＶ（ｓ，ｃ）についてマッチ誤差ＭＥ（ｓ，ｃ）が算出される。そして各セグメントにおいてマッチ誤差が最も低い動きベクトル候補が選択される。この選択された動きベクトルが対応セグメントの動きベクトルＭＶ（ｓ）として指定される。

本発明によるマッチ誤差ＭＥ（ｓ，ｃ）の算出は幾つかの部分的マッチ誤差ＭＥ（ｓ，ｃ，ｂ）の算出に基づく。セグメント画像は等寸法の複数ブロックに分割される。これら各ブロックについて、当該ブロックが画像におけるどのセグメントと重複するかが確認される。この重複に基づいて適正な動きベクトル候補が選択される。そしてこれら動きベクトル候補及び当該ブロックの座標に基づいて第２画像１０２における対応ピクセル値がアクセスされ、当該ブロックにおけるピクセル値と比較される。これによってブロックごとに（例えば行走査方式又は列走査方式に基づいて）部分的マッチ誤差ＭＥ（ｓ，ｃ，ｂ）が算出される。また、随意に並行処理が適用され、複数のマッチ誤差ＭＥ（ｓ，ｃ，ｂ）が同時に算出される。これら部分的マッチ誤差ＭＥ（ｓ，ｃ，ｂ）は以下の式（１）に示されるようにセグメントごとに累積される。

なお、これらのブロックのうちの一部は１つのセグメント内に含まれる。例えばブロックｂ１１、ｂ１２、ｂ１３、ｂ２１、ｂ２２、ｂ２３、ｂ３１、ｂ３２、ｂ３３、及びｂ４１はセグメントＳ１１内に含まれる。この場合これらのブロックの部分的マッチ誤差ＭＥ（ｓ，ｃ，ｂ）はセグメントＳ１１に対応することが明らかである。しかしブロックによっては複数のセグメントに対応するものもある。例えばブロックｂ１４の一部はセグメントＳ１１内に位置し、その別の部分はセグメントＳ１２内に位置する。このようなブロックを対処する方法としては様々なアプローチがある。以下にこれらのアプローチの例を説明する。
まず第１アプローチとしては、複数のセグメントと重複する各ブロックをそれぞれ複数のピクセル群に分離する方法がある。図２は図１の詳細部を示す。具体的にはこの図はブロックｂ２４を示す。ここで示されるようにブロックｂ２４はセグメントＳ１１に対応する第１ピクセル群２０２及びセグメントＳ１２に対応する第２ピクセル群２０４から構成される。この場合第１ピクセル群２０２についてはセグメントＳ１１の動きベクトル候補が評価され、第２ピクセル群２０４についてはセグメントＳ１２の動きベクトル候補が評価される必要がある。なお、セグメントＳ１１の動きベクトル候補のいくつかはセグメントＳ１２の動きベクトル候補と一致することも考えられる。しかしこれら各動きベクトル候補の集合が相互に異なる可能性も高い。したがって第１ピクセル群２０２については、いくつかの部分的マッチ誤差ＭＥ（Ｓ１１，ｃ，ｂ２４（１））が算出され、第２ピクセル群２０４については、いくつかの部分的マッチ誤差ＭＥ（Ｓ１２，ｃ，ｂ２４（２））が算出される。ここではブロックｂ２４における第１ピクセル群２０２がｂ２４（１）として表され、ブロックｂ２４における第２ピクセル群２０４がｂ２４（２）として表される。セグメントＳ１１の各動きベクトル候補のマッチ誤差は、以下の式（２）に示されるようにセグメントＳ１１に完全にあるいは部分的に属するブロックの部分的マッチ誤差を累積することによって算出される。

このように部分的マッチ誤差を累積することによって、各動きベクトル候補に対応するマッチ誤差が確定される。そしてマッチ誤差が最も低い動きベクトル候補ＭＶ（Ｓ１１，ｃ）がセグメントＳ１１の動きベクトルＭＶ（Ｓ１１）として選択される。

また、第２アプローチとしては、複数のセグメントと重複する各ブロックをそれぞれ複数のピクセル群に分離するが、あるピクセル群に含まれるピクセルの数が所定の閾値を下回る場合当該ピクセル群については部分的マッチ誤差を算出しない方法がある。この閾値としては例えばブロック内のピクセル数の１／２又は１／４に相当する値が設定されうる。具体的には図１に示される例において閾値がブロック内のピクセル数の１／４に等しい値に相当する場合、セグメントＳ１１の各動きベクトル候補のマッチ誤差の算出に当たってブロックｂ４４及びｂ５２は考慮されないこととなる。なお、所定閾値を上回るピクセル数を有するピクセル群については上述のようにその部分的マッチ誤差が算出され、累積される。

また、第３アプローチによると、各ブロックに属する動きベクトル候補の確定はセグメント画像内におけるセグメントとブロックの重複量に基づく。すなわちある特定のブロックが複数のセグメントと重複する場合、この特定ブロックと最も大きく重複しているセグメントの動きベクトル候補とこの特定ブロック内の全てのピクセルに基づいて部分的マッチ誤差が算出される。具体的には図１の例においてセグメントＳ１１の動きベクトル候補のマッチ誤差を算出する場合、ブロックｂ１４、ｂ２４、及びｂ３４は完全にセグメントＳ１１の動きベクトル候補の評価に利用される。また随意に最も大きい重複量が所定の閾値を上回るか否かが確認されうる。これは特定ブロックが３つ以上のセグメントと重複する場合などに重要となりうる。ここで最も大きい重複量が所定の閾値を上回らない場合、当該ブロックについては部分的マッチ誤差が算出されないように設定しうる。

第４アプローチにおいては、複数のセグメントと重複するブロックについては全く部分的マッチ誤差が算出されない。すなわちこれらのブロックは動きベクトル候補の評価において利用されないこととなる。具体的には図１の例においてセグメントＳ１１の動きベクトル候補のマッチ誤差を算出するに当たってはブロックｂ１１、ｂ１２、ｂ１３、ｂ２１、ｂ２２、ｂ２３、ｂ３１、ｂ３２、ｂ３３及びｂ４１のみが利用されることとなる。

なお、図１は２つのセグメント画像１００及び１０２を示すが、実は一方の画像がセグメント化されていればよい。すなわち他方の画像はセグメントされる必要はない。これは本発明の方法によって実現される好適な特徴の１つである。これは本発明の方法では、実際の算出はブロックベースで行われていて、ブロックをピクセル群に分離するという随意的工程は１つのセグメント画像のセグメントだけに基づいて実行されるためである。

図３は本発明の一実施形態による動き推定部３００を概略的に示す。この動き推定部３００には入力コネクタ３１６を介してピクセル値などの画像が供給され、入力コネクタ３１８を介して画像ごとのマスクや画像ごとのセグメントの輪郭の記述などのセグメント化データが供給される。動き推定部３００は出力コネクタ３２０においてセグメントごとの動きベクトルを提供する。図１の説明で講じられるように、動き推定部３００は動くベクトルを推定するように構成される。この動き推定部３００は以下の構成要素を有する。

−セグメント画像における各セグメントに対応する動きベクトル候補の集合を作成する作成部３１４。

−このセグメント画像をピクセルブロックのグリッドに分割する分割部３０４。この分割部３０４はメモリ部３０２から考慮対象とされるピクセルブロックに属するピクセル値にアクセスするように構成される。また、この分割部３０４は座標を確定するように構成され、動き推定部３００における他の構成部に対してこの確定された座標に基づくピクセル値のアクセスを委ねることも可能である。なお、メモリ部３０２は動き推定部３００の一部を構成しうるが、画像処理装置における他の構成部と共用されうる。例えばこのメモリ部３０２は動き推定部３００によって制御される画像処理部５０４やセグメント化部５０２などと共用されうる。

−セグメント及びセグメント画像におけるブロックの位置に基づいて各ブロックに属する動きベクトル候補を確定する確定部３０６。

−確定された動きベクトル候補と更なる画像のピクセル値に基づいて各ブロックに対応する部分的マッチ誤差を算出する算出部３０８。

−これら部分的マッチ誤差を合成して各セグメントにつきいくつかのマッチ誤差を算出する合成部３１０。

−これらマッチ誤差に基づいて各動きベクトル候補の集合から動きベクトル候補を選択し、これら選択された動きベクトル候補を各セグメントに対応する動きベクトルとして指定する選択部３１２。

以下において動き推定部３００の動作を説明する（図１も参照）。なお、ここでは画像１００が４つのセグメントＳ１１−Ｓ１４に分割（セグメント化）されていて、初期段階においては各セグメントにつき１つの動きベクトル候補が提供されると仮定する。これらの動けベクトル候補ＣＭＶ（＊，＊）は作成部３１４によって作成され確定部０６に供給される。

分割部３０４はメモリ部３０２にアクセスして左上から右下へ（すなわちブロックｂ１１からｂ８８へ）と進む走査方式に従って画像１００のピクセル値をブロックごとにアクセスする。分割部３０４は各ブロック（例えばブロックｂ１１）に対応する座標（ｘ，ｙ）を確定部３０６に供給する。確定部３０６は各ピクセルブロックについてその座標とセグメントの位置に基づいて動きベクトル候補のうちのどれが当該ブロックに属するかを確定する。

第１ブロックｂ１１は完全に第１セグメントＳ１１と重複する。したがってこのブロックｂ１１の部分マッチ誤差を算出する際は、セグメントＳ１１の動きベクトル候補ＣＭＶ（Ｓ１１，Ｃ１）だけが算出部３０８に供給される。この動きベクトル候補ＣＭＶ（Ｓ１１，Ｃ１）とブロックｂ１１の座標に基づいて算出部３０８は更なる画像１０２のピクセル値にアクセスするように構成される。こうしてこのブロックｂ１１に対応する部分的マッチ誤差ＭＥ（Ｓ１１，Ｃ１，ｂ１１）が算出され、これが合成部３１０に供給される。なお、ブロックｂ１２及びｂ１３についても上記と同様な処理ステップが実施され、これによりそれぞれ部分的マッチ誤差ＭＥ（Ｓ１１，Ｃ１，ｂ１２）及びＭＥ（Ｓ１１，Ｃ１，ｂ１３）が得られる。

４番目のブロックｂ１４は部分的にセグメントＳ１１と重複し、且つ部分的にセグメントＳ１２とも重複する。したがってここでは算出部３０８に２つの動きベクトル候補ＣＭＶ（Ｓ１１，Ｃ１）及びＣＭＶ（Ｓ１２，Ｃ１）が供給される。この算出部３０８は以下の要素に基づいて更なる画像１０２のピクセル値にアクセスするように構成される。

−動きベクトル候補ＣＭＶ（Ｓ１１，Ｃ１）及びＣＭＶ（Ｓ１２，Ｃ１）、
−セグメント化データ、及び
−ブロックｂ１４の座標。
次にブロックｂ１４の２つのピクセル群ｂ１４（１）とｂ１４（２）とのそれぞれに対応する２つの部分的マッチ誤差ＭＥ（Ｓ１１，Ｃ１，ｂ１４（１））とＭＥ（，Ｃ１Ｓ１２，ｂ１４（２））とが算出され、合成部３１０に供給される。

上述のような処理ステップが全てのブロックに対して同様に実施される。こうして全ての部分的マッチ誤差が算出されると、セグメントごとのマッチ誤差が確定されうる。なお、部分的マッチ誤差の算出及び合成は並列的に実行されることも可能であることは明らかである。

次に各セグメントについて、新たな動きベクトル候補が生成される。好適には、これらの新たな動きベクトル候補は他のセグメントの動きベクトル候補の集合から派生する。そしてこれらの新たな動きベクトル候補についてもそれぞれマッチ誤差が算出される。そして全ての動きベクトル候補のマッチ誤差が算出されると、選択部３１２が各セグメントについてマッチ誤差が最も低い動きベクトル候補を選択する。

なお、上記の実施例では動きベクトル候補の生成及び評価が交互に実施されるが、また別に例では、この動きベクトル候補の生成及び評価が前後に実行されうる。すなわちまず全ての動きベクトル候補が生成された後にこれらが評価されることも可能である。また、まず動きベクトル候補の第１部分が生成され、これらが評価された後更に動きベクトル候補の第２部分が生成され評価されるような構成も可能である。

また上記実施例では特定のブロックの処理において１重複セグメントにつき１つの動きベクトル候補のみが評価され、その後継ぎのブロックが処理される。これに対して、また別の実施例では、特定のブロックに対応しうる全ての動きベクトル候補が評価された後に、次のブロックに対応しうる全ての動きベクトルを評価することも可能である。

なお、作成部３１４、分割部３０４、確定部３０６、算出部３０８、合成部３１０、及び選択部３１２は１つのプロセッサによって実現されうる。通常これらの機能はソフトウェアプログラムによる制御に基づいて実行される。このソフトウェアプログラムは実行されるに当たって通常ＲＡＭなどのメモリにロードされここから実行される。このプログラムは例えばＲＯＭ，ハードディスク、又は磁気／光学記憶域などの背景メモリなどからロードされるか、あるいはインターネットなどのネットワークを介してロードされうる。また随意に特定用途向け集積回路が上記の機能を提供しうる。

なお、上記実施例においては、行ごとの走査に基づいて動きベクトルの推定処理が実施されるが、本発明はこのような実施例に限定されず、例えばこの処理はいくつかの行に対して並行に実施可能である。なお、典型的には画像を１度処理した後、再度処理が繰り返される。この場合好適には繰り返される処理は前回の走査方式とは異なる方式で行われる。例えば、行ごと、列ごと、ジグザグ方式などと各種異なる走査方式で処理が繰り返されうる。この処理は所定回数繰り返された後、又は収束が得られた時点で停止される。

なお、画像全体に対してこのような処理を繰り返すことによって適正な処理結果が得られるが、メモリ帯域幅の有効利用の観点からすると、各セグメントの動きベクトルを推定する処理を、サブセグメントごとの中間動きベクトルを推定するサブプロセスに分離し、続いてこれらサブプロセスの処理結果を合成するポスト処理工程を実施することが好適である。図４は図１のセグメント画像のうちの１つであるセグメント画像１００を４つのサブ画像４０１−４０４に分割した状態を示す。ここで第１サブ画像４０１はブロックｂ１１−ｂ２８に対応する。第２サブ画像４０１はブロックｂ３１−ｂ４８に対応する。第３サブ画像４０１はブロックｂ５１−ｂ６８に対応する。第４サブ画像４０１はブロックｂ７１−ｂ８８に対応する。第１サブ画像４０１は第１部分（すなわち図１におけるセグメントＳ１１のサブセグメントＳ１１１）及び第２部分（すなわち図１におけるセグメントＳ１２のサブセグトＳ１２１）と重複する。第２サブ画像４０２は第１部分（すなわち図１におけるセグメントＳ１１のサブセグメントＳ１１２）、第２部分（すなわち図１におけるセグメントＳ１２のサブセグトＳ１２２）、第３部分（すなわち図１におけるセグメントＳ１３のサブセグメントＳ１３２）及び第４部分（すなわち図１におけるセグメントＳ１４のサブセグメントＳ１４２）と重複する。第３サブ画像４０３は第１部分（すなわち図１におけるセグメントＳ１３のサブセグメントＳ１３３）及び第２部分（すなわち図１におけるセグメントＳ１４のサブセグトＳ１４３）と重複する。第４サブ画像４０４は第１部分（すなわち図１におけるセグメントＳ１３のサブセグメントＳ１３４）及び第２部分（すなわち図１におけるセグメントＳ１４のサブセグトＳ１４４）と重複する。

まず各サブセグメントＳ１１１〜Ｓ１４４についてそれぞれ初期動きベクトルＭＶ（Ｓ１１１）〜ＭＶ（Ｓ１４４）が推定される。この処理はサブ画像ごとに上記図１〜３の説明と同様な手順で実施される。なお初期動きベクトルＭＶ（Ｓ１１１）〜ＭＶ（Ｓ１４４）の推定は逐次的、すなわちあるサブ画像から次のサブ画像へと処理が順次実施されうる。しかし、より好適にはこれら初期動きベクトルＭＶ（Ｓ１１１）〜ＭＶ（Ｓ１４４）の推定は並行に実施される。これらの初期動きベクトルＭＶ（Ｓ１１１）〜ＭＶ（Ｓ１４４）が推定された後は、セグメント画像１００の各セグメントＳ１１〜Ｓ１４に対応する最終動きベクトルＭＶ（Ｓ１１）〜ＭＶ（Ｓ１４）が確定されうる。具体的には例えばセグメントＳ１２の最終動きベクトルＭＶ（Ｓ１２）はサブセグメントＳ１２１に対して確定された第１動きベクトルＭＶ（Ｓ１２１）及びサブセグメントＳ１２２に対して確定された第２動きベクトルＭＶ（Ｓ１２２）に基づいて確定される。なお、多くの場合これら第１動きベクトルＭＶ（Ｓ１２１）と第２動きベクトルＭＶ（Ｓ１２２）は同等である。この場合セグメントＳ１２に対応する最終動きベクトルＭＶ（Ｓ１２）を確定するのは比較的簡単である（すなわち一方又は他方を選択すればよい）。なお、第１動きベクトルＭＶ（Ｓ１２１）と第２動きベクトルＭＶ（Ｓ１２２）とが相互一致しない場合、セグメントＳ１２と最も大きく重複するサブセグメントに対応する初期動きベクトルを選択することが好適である。この例においては、サブセグメントＳ１２１の大きさがサブセグメントＳ１２２よりも大きいため、第１動きベクトルＭＶ（Ｓ１２１）がセグメントＳ１２の最終動きベクトルＭＶ（Ｓ１２）として確定される。

次に以下において３つのサブセグメントＳ１３２、Ｓ１３３、及びＳ１３４と重複するセグメントＳ１３に対応する最終動きベクトルＭＶ（Ｓ１３）を確定する処理手順について説明する。まず各サブセグメントＳ１３２、Ｓ１３３、及びＳ１３４それぞれのセグメントＳ１３との重複量が確定される。これはセグメントの輪郭部分とこの輪郭と交差するサブ画像４０２、４０３、４０４の境界とによってそれぞれ定義される各領域内に位置するピクセルの数を数えることによって実行される。この例ではサブセグメントＳ１３２の重複量は比較的小さい。よってこれに対応する初期動きベクトルＭＶ（Ｓ１３２）はセグメントＳ１３の最終動きベクトルＭＶ（Ｓ１３）の算出においては考慮されない。なお、セグメントＳ１３の最終動きベクトルＭＶ（Ｓ１３）はそれぞれサブセグメントＳ１３３とＳ１３４とに対して確定された初期動きベクトルＭＶ（Ｓ１３３）とＭＶ（Ｓ１３４）との加重平均に基づいて確定される。ここで適用される加重係数はそれぞれのサブセグメントＳ１３３及びＳ１３４のセグメントＳ１３との重複量に依存する。

図５は本発明による画像処理装置を概略的に示す。この画像処理装置は以下の構成要素を有する。

−入力画像をセグメント画像にセグメント化するためのセグメント化部５０２。このセグメント化部５０２は入力画像に対応する信号を受信するように構成される。この信号はアンテナやケーブルなどを介して受信される放送信号や、ＶＣＲ（Video Cassette Recorder）、ＤＶＤ（Digital Versatile Disk）などの記憶装置からの信号に相当しうる。この信号は入力コネクタ５１０に供給される。

−図３の説明において講じられるセグメントベース動き推定部５０８。

−動き推定部５０８によって制御される画像処理部５０４。この画像処理部５０４は例えばビデオ圧縮、デインタレース処理、画像レート変換、及び時間的ノイズ削減処理などの画像処理のうちの１又は複数を支持しうる。

−画像処理部５０４の出力画像を表示するためのディスプレイ部５０６。

この画像処理装置５００は例えばテレビなどに相当しうる。また、画像処理装置５００はディスプレイ部５０６を有さず、出力画像をディスプレイ部５０６を有する他の装置に供給しうる。この場合画像処理装置５００は例えばセットトップボックス、衛星チューナ、ＶＣＲプレーヤ、ＤＶＤプレーヤ／レコーダなどに相当しうる。また、随意に画像処理装置５００はハードディスクや取外し可能メディア（例えば光学ディスク）への記録手段などといった記憶手段を具備しうる。また画像処理装置５００は撮影スタジオや放送局などで適用されるシステムに相当しうる。

なお、上記説明における各実施例は本発明を非限定的に例示するのであって、同業者であれば本発明の範囲を逸脱することなくこれらの実施例から各種変形例を構想することが可能であろう。また請求項における「有する」という表現は、当該請求項に記載される以外の構成要素やステップ工程の存在を否定する意味合いは含まない。本発明はいくつかの構成要素からなるハードウェア及び適正にプログラミングされたコンピュータによって実現されうる。なお、複数の手段を有するデバイスに係る請求項においてこれらの手段のいくつかが同一のハードウェア要素によって実現されることも可能である。

２つの連続するセグメント画像を概略的に示す図である。 図１の詳細部を示す図である。 本発明の一実施形態による動き推定部を概略的に示す図である。 図１のセグメント画像のうちの一方のセグメント画像とこのセグメント画像を構成する４つサブ画像を概略的に示す図である。 本発明による画像処理装置を概略的に示す図である。

Claims (14)

1. セグメント画像の各セグメントに対応する動きベクトルを確定するセグメントベース動き推定方法であって、
   各セグメントに対して動きベクトル候補の集合を作成し、
   前記セグメント画像をピクセルブロックのグリッドに分割し、
   前記セグメントと前記セグメント画像における前記ピクセルブロックの位置とに基づいて前記動きベクトル候補のなかから前記ブロックに属する動きベクトル候補を確定し、
   前記確定された動きベクトル候補及び更なる画像のピクセル値に基づいて前記ブロックに対応する部分的マッチ誤差を算出し、
   前記部分的マッチ誤差を合成して各セグメントにつきいくつかのマッチ誤差を算出し、
   前記マッチ誤差に基づいて各動きベクトル候補の集合から動きベクトル候補を選択し、
   前記選択された動きベクトル候補を各セグメントに対応する動きベクトルとして指定する工程を有することを特徴とする方法。
2. 前記セグメントと前記セグメント画像における前記ピクセルブロックの位置とに基づいて、前記ブロックのうち複数のセグメントと重複するブロックの各々を複数のピクセル群に分離し、
   前記セグメントと前記セグメント画像における前記ピクセル群の位置とに基づいて、前記動きベクトル候補のなかから前記ピクセル群に属する動きベクトル候補を確定し、
   前記確定された動きベクトル候補及び更なる画像のピクセル値に基づいて前記ピクセル群に対応する更なる部分的マッチ誤差を算出し、
   前記部分的マッチ誤差及び前記更なる部分的マッチ誤差を合成して各セグメントにつきいくつかのマッチ誤差を算出する工程を更に有することを特徴とする請求項１記載の方法。
3. 前記動きベクトル候補のなかから前記ブロックに属する動きベクトル候補を確定する工程は、前記セグメント画像における前記セグメントと前記ブロックとの重複量に依存することを特徴とする請求項１記載の方法。
4. 前記部分的マッチ誤差のうちの少なくとも１つは前記セグメント画像のピクセル値と前記更なる画像のピクセル値との差の和に相当することを特徴とする請求項１記載の方法。
5. 前記ピクセルブロックのうちの少なくとも１つは８×８ピクセル又は１６×１６ピクセルから構成されることを特徴とする請求項１記載の方法。
6. 前記セグメント画像と共に１つの拡張画像を構成する更にセグメント化された画像における第１セグメントに割り当てられた第１動きベクトル、及び前記更にセグメント化された画像における更なるセグメントであって前記第１セグメントと共に前記拡張画像における１つのセグメントを構成するような更なるセグメントに対応付けられる特定動きベクトルに基づいて、最終動きベクトルを確定し、
   前記拡張画像における１つのセグメントに前記最終動きベクトルを対応付ける工程を更に有することを特徴とする請求項１記載の方法。
7. 前記第１セグメントのサイズが前記更なるセグメントのサイズよりも大きい場合は前記第１動きベクトルが前記最終動きベクトルとして指定され、
   前記更なるセグメントのサイズが前記第１セグメントのサイズよりも大きい場合は前記特定動きベクトルが前記最終動きベクトルとして指定されることを特徴とする請求項６記載の方法。
8. セグメント画像の各セグメントに対応する動きベクトルを推定する動き推定部であって、
   各セグメントに対応する動きベクトル候補の集合を作成する作成部、
   前記セグメント画像をピクセルブロックのグリッドに分割する分割部、
   前記セグメント及び前記セグメント画像における前記ピクセルブロックの位置に基づいて前記動きベクトルのうち前記ブロックに属する動きベクトル候補を確定する確定部、
   前記確定された動きベクトル候補と更なる画像のピクセル値に基づいて前記ブロックに対応する部分的マッチ誤差を算出する算出部、
   前記部分的マッチ誤差を合成して各セグメントにつきいくつかのマッチ誤差を算出する合成部、
   前記マッチ誤差に基づいて各動きベクトル候補の集合から動きベクトル候補を選択する選択部、及び
   前記選択された動きベクトル候補を各セグメントに対応する動きベクトルとして指定する指定部を有することを特徴とする動き推定部。
9. 入力画像をセグメント画像にセグメント化するセグメント化部、及び
   前記セグメント画像の各セグメントに対応する動きベクトルを推定する請求項８記載の動き推定部５０８を有することを特徴とする画像処理装置。
10. 前記動きベクトルに基づいて制御される処理手段を更に有することを特徴とする請求項９記載の画像処理装置。
11. 前記処理手段はビデオ圧縮を実行するように構成されることを特徴とする請求項１０記載の画像処理装置。
12. 前記処理手段はデインタレース処理を実行するように構成されることを特徴とする請求項１０記載の画像処理装置。
13. 前記処理手段は画像レート変換を実行するように構成されることを特徴とする請求項１０記載の画像処理装置。
14. テレビに相当することを特徴とする請求項９記載の画像処理装置。

Images