JP2008521325A - ビデオ処理システムに基づく動き推定の待ち時間の低減 - Google Patents

ビデオ処理システムに基づく動き推定の待ち時間の低減 Download PDF

Info

Publication number
JP2008521325A
JP2008521325A JP2007542425A JP2007542425A JP2008521325A JP 2008521325 A JP2008521325 A JP 2008521325A JP 2007542425 A JP2007542425 A JP 2007542425A JP 2007542425 A JP2007542425 A JP 2007542425A JP 2008521325 A JP2008521325 A JP 2008521325A
Authority
JP
Japan
Prior art keywords
image processing
image
scan
motion estimation
processing stage
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
JP2007542425A
Other languages
English (en)
Inventor
ベリク,アレクサンダル
セトゥラマン,ラマナサン
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Koninklijke Philips NV
Original Assignee
Koninklijke Philips NV
Koninklijke Philips Electronics NV
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Koninklijke Philips NV, Koninklijke Philips Electronics NV filed Critical Koninklijke Philips NV
Publication of JP2008521325A publication Critical patent/JP2008521325A/ja
Withdrawn legal-status Critical Current

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/42Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation
    • H04N19/436Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation using parallelised computational arrangements
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/01Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51Motion estimation or motion compensation
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51Motion estimation or motion compensation
    • H04N19/533Motion estimation using multistep search, e.g. 2D-log search or one-at-a-time search [OTS]
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/14Picture signal circuitry for video frequency region
    • H04N5/144Movement detection
    • H04N5/145Movement estimation
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/01Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level
    • H04N7/0117Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level involving conversion of the spatial resolution of the incoming video signal
    • H04N7/012Conversion between an interlaced and a progressive signal
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/01Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level
    • H04N7/0135Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level involving interpolation processes
    • H04N7/014Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level involving interpolation processes involving the use of motion vectors

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Graphics (AREA)
  • Computing Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Television Systems (AREA)

Abstract

画像処理システムの連続する画像処理段階でビデオ画像に対し動き推定を実行する方法及びシステムが開示される。実施例によると、第1の動き推定走査は、第1の動き推定器を用い、第1の画像処理段階において第1の方向に実行される。また第2の動き推定走査は、第1の動き推定器を用い、第1の処理段階において第2の方向に実行される。第1の動き推定走査は、第2の動き推定器を用い、第2の画像処理段階において第2の方向に実行される。また第2の動き推定走査は、第2の動き推定器を用い、第2の処理段階において第1の方向に実行される。第2の動き推定器は、第1の動き推定器の第2の動き推定走査が終了する前に、第2の動き推定器の第1の動き推定走査を開始し得るので、待ち時間が低減される。

Description

本発明は、一般にビデオ処理の分野に関する。より詳細には、本発明は、複数の動き推定走査を実行することにより、ビデオ処理システムの動き推定動作の待ち時間を不利に増加することなく、ビデオ画面、例えばテレビジョン画面に表示された画像の品質を向上することに関する。
テレビジョン市場では、動き推定は表示画像の品質の向上に関与し、動き推定の品質は有意に重要であることが知られている。他のビデオアプリケーションでは、動き推定は2つの主要ビデオアプリケーションであるインターレース解除及びピクチャーアップコンバージョンの一部として用いられる。また、時空間雑音低減及び鮮明度向上を有するビデオアプリケーションはまた、動き推定の使用の恩恵を受ける。
従来、1つの動き推定器だけが、両方のアプリケーションに用いられていた。つまりインターレース解除はオンザフライで実行され、直後にピクチャーレートアップコンバージョンが続けられた。また、今日のテレビジョン画面はより大きく且つより明るいので、アーティファクトがより見え易くなっている。アーティファクトの影響を低減する絶え間ない努力の中で、研究者らはより高度なアルゴリズムを考え出した。標準的な例は、非特許文献1に開示されたインターレース解除アルゴリズムに基づく新しい2D一般サンプリング理論(GST)、及び非特許文献2に開示されたハロ低減ピクチャーレートアップコンバージョンアルゴリズムである。これらのアルゴリズムは、既存の動きベクトルに基づきより良好な結果を提供する。つまり、これらのアルゴリズムは、既に利用可能な動きベクトル場を消費するだけである。従って、これらのアルゴリズムは、消費する動きベクトル場の品質に大きく依存する。
動きベクトル場の品質を向上するある方法は、入力画像対当たりの動きベクトル走査数を増大することによる。走査数が大きいほど、良好な画像品質が示される。例えば第1のパスは画面の上から下へ及び第2のパスは画面の下から上へ向かう2つの連続する動き推定パスにおいて走査方向を変えることは、同様に興味深い選択と思われる。なぜなら走査方向の変更は、2つの異なる方向からの動きベクトル場の収束を可能にするからである。複数走査、走査方向の交代、及び2つの走査形式(蛇行形式、及び伝統的形式、上から下へ及び左から右へ)の効果は、非特許文献3において実験的に分析された。非特許文献3は、参照されることにより本願明細書に組み込まれる。
実験は、図1に図示されるように、5個のプログレッシブシーケンス(自転車101、サブテキスト102、BBCドラムテキスト103、テニス104、及びシェーカー105)に対し、6個の動きベクトル候補を用いて行われた。計算された動きベクトル場の品質は、文献で広く用いられる標準である修正平均二乗誤差(MMSE)を用いて測定された。実験の結論は、動き推定走査数の増大が、動きベクトル場のより良好な品質を可能にすることであった。しかしながら、2回目又は3回目の走査の後、MMSE曲線は飽和し、そして更に多くの走査は有意に良好な画像品質を示さない。また、走査方向の交代は、特に異なるシーケンスの場合には、動きベクトル場のより速い収束を助ける。これらの結論は、図2に示される。図2は、シーケンスであるシェーカー105のMMSEを示し、異なる数の動き推定パスに対し、及び交代及び走査の蛇行形式の使用の異なる組み合わせをプロットする。
しかしながら、動き推定走査が多いほど、例えば別個の音声再生システムが用いられ及び追加メモリーが画像をバッファリングするために提供されるリップシンク損失を生じ得るビデオ処理システムの待ち時間は大きい。
動きベクトル場の高水準の品質を維持するため、2つの方向を交代する走査が、インターレース解除側及びアップコンバーター側の両方で実行されるべきである。図3は、インターレース解除側301及び303、並びにアップコンバージョン側305及び307において実行される動き推定走査を図示する。単一の動き推定器は、4回の走査を実行する。第1の走査は上から下へ向かう。また第2の走査は下から上へ向かう。図3に図示されたように、1つの走査を実行するために必要な時間を1Tとすると、この動作を実行するために必要な時間は4Tである。第2の走査が実行されると、インターレース解除フレームの生成が開始し得る。これは、約t=1Tにおいて起こる。アップコンバートされたフレームの生成は、約t=3Tにおいて開始する。残念ながら、この方法は、ビデオ処理システム内で非常に多くの不要な待ち時間を生成する。
図3に図示された知られている方法では、最後のアップコンバージョン動き推定走査は、下から上へ実行される。画素は上から下へディスプレイ装置に表示されるべきなので、これは非常に不便である。この不便を克服するため、アップコンバーターは、1回のみの下向きの走査、又は3回の走査、つまり下向き、上向き、下向きを実行するべきである。しかしながら1回のみの走査は品質を損ない、3回の走査は待ち時間及び所要バッファリング容量を増大し得る。従って、ビデオ画像処理システムの待ち時間を必要以上に増大することなく、複数の動き推定走査を実行する新たな方法が必要とされる。
従って、ビデオ処理システムの待ち時間を必要以上に増大することなく、複数の動き推定走査を実行する改善された方法及びシステムは、有利である。
シウフ、ハーン(C.Ciuhu、G.de.Haan)、ア・トゥー・ディメンショナル・ジェネラライズド・サンプリング・セオリー・アンド・アプリケーション・トゥー・デインターレーシング(A two dimensional generalised sampling theory and application to de−interlacing)、プロシーディングス・オブ・ブイ・シー・アイ・ピー(Proceedings of VCIP)、写真・光学計測技術者協会(SPIE)、2004年1月、p.700−711 ウィッテルブルード、ハーン、ロダー(R.B.Wittebrood、G.de.Haan、R.Lodder)、トラッキング・オクルージョン・イン・スキャン・レート・コンバージョン・システムズ(Tackling occlusion in scan rate conversion systems)、ダイジェスト・オブ・ザ・アイ・シー・シー・イー・03(Digest of the ICCE‘03)、2003年6月、p.344−45 ベリック、ハーン、ミルベーゲン、セザラマン(A. Beric、G.de.Haan、J.van.Meerbergen、R.Sethuraman)、トワード・アン・エフィシェント・ハイ・クオリティ・ピクチャ・レート・アップコンバーター(Towards an efficient high quality picture rate up−converter)、プロシーディングス・オブ・ザ・アイ・イー・イー・イー・インターナショナル・コンファレンス・オン・イメージ・プロセッシング(Proceedings of the IEEE International Conference on Image Processing)、2003年9月、CD
従って、本発明は、望ましくは以上に確認された従来技術の欠陥及び不利点の1つ以上を個々に又は如何なる組み合わせでも、緩和、軽減又は除去することを目的とする。また本発明は、請求項によると、ビデオ処理システムの待ち時間を必定以上に増大することなく、複数の動き推定走査をインターレース解除側及びアップコンバーター側において、ビデオ処理システムに実行させるシステム、方法及びコンピューター可読媒体を提供することにより、少なくとも上述の問題を解決する。
本発明による解決策の概略は、インターレース解除側及びアップコンバーター側において別個の動き推定を用いることであり、より詳細には、第1のアップコンバーターの走査の方向を変化し、第1のアップコンバーターの走査が第2のインターレース解除の走査が実行されている間に開始し得るようにし、従ってビデオ画像処理システムの待ち時間を低減する。
本発明のある態様によると、画像処理システム内の連続する画像処理段階でビデオ画像フレームに対し動き推定を実行する方法が提供される。前記方法は:第1の画像処理段階における第1の動き推定走査を第1の方向に実行する段階;前記第1の処理段階における第2の動き推定走査を第2の方向に実行する段階;第2の画像処理段階における第1の動き推定走査を前記第2の方向に実行する段階;及び前記第2の画像処理段階における第2の動き推定走査を前記第1の方向に実行する段階、を有する。
本発明の別の態様によると、画像フレームを処理するシステムが提供される。前記システムは:前記画像フレームを処理する第1の画像プロセッサー;第1の動き推定器は先ず前記フレームを第1の方向に走査しそして次に前記フレームを第2の方向に走査する、前記第1の画像プロセッサーと接続された第1の動き推定器;前記フレームを処理する前記第1の画像プロセッサーの出力と接続された第2の画像プロセッサー;及び第2の動き推定器は先ず前記フレームを前記第2の方向に走査しそして次に前記フレームを前記第1の方向に走査する、前記第2の画像プロセッサーと接続された第2の動き推定器、を有し、前記手段は互いに機能するよう接続されている。
本発明の更なる態様によると、コンピューター可読媒体が提供される。前記コンピューター可読媒体は、コンピューターによる処理のためのコンピュータープログラムを有する。
コンピュータープログラムは、画像処理システム内の連続する画像処理段階でビデオ画像フレームに対し動き推定を実行するコード部分を有する。前記方法は:第1の画像処理段階における第1の動き推定走査を第1の方向に実行する段階;前記第1の処理段階における第2の動き推定走査を第2の方向に実行する段階;第2の画像処理段階における第1の動き推定走査を前記第2の方向に実行する段階;及び前記第2の画像処理段階における第2の動き推定走査を前記第1の方向に実行する段階、を有する。
本発明は、結果として生じる信号の品質を損なうことなく、全体のシステム待ち時間及び所要のフレームバッファーメモリー容量を小さくするという、従来技術に勝る利点を有する。
本発明のこれら及び他の態様、特徴及び利点は、図を参照し与えられる実施例の以下の詳細な説明から明らかであろう。
以下の記載は、ビデオ画像処理システム、及び特にインターレース解除とアップコンバージョンとの両方のために複数の動き推定を利用するビデオ画像処理システムに適用可能な本発明の実施例に焦点を合わせる。しかしながら、本発明が当該用途に限定されず、時空間雑音低減及び鮮鋭度向上のような両方とも動き推定の使用から恩恵を受け得る多くの他のビデオアプリケーションに適用され得ることが理解されるだろう。
図4には、本発明の実施例が図示される。図4は、複数の段を有する画像処理システム400のブロック図である。画像信号402は、第1の段401へ供給される。第1の段401は、ビデオデコーダー413と空間雑音低減ユニット415とを有し、信号をフレームに復号しフレームバッファ(示されない)に格納する。フレームは次に、第2の段403による処理のために選択される。第2の段403は、インターレース解除プロセッサー417と時空間雑音低減ユニット419とを有する。動き推定器421は、インターレース解除プロセッサー417と動作可能なよう接続され、以下により詳細に記載されるようにインターレース解除プロセッサー417により処理される各フレームに対し、動き推定走査を実行する。インターレース解除プロセッサーの出力は、第3の段と接続される。第3の段は、空間スケーリング及び鮮鋭度向上ユニットを有する。第3の段405は、フレームが第4の段407へ送出される前に、フレームを拡大縮小し及び鋭くする。第4の段407は、画像信号のフレームをアップコンバートするアップコンバーティング処理423を有する。動き推定器425は、アップコンバーティングプロセッサー423と動作可能なよう接続され、以下により詳細に記載されるようにアップコンバーティングプロセッサー423により処理される各フレームに対し、動き推定走査を実行する。本発明のある実施例によると、各動き推定器421、425は、フレーム毎に少なくとも2回の走査を実行する。アップコンバーティングプロセッサーの出力は次に、フレームがディスプレイ装置411へ送出される前に、フレームを正しいディスプレイ解像度に適合させるシーラー409へ送出され得る。
図5は、本発明に用いられ得るアップコンバージョンモジュールを図示する。フレームメモリーM1及びM2は、ピクチャー入力レートf1から出力レートf2へ周波数変換するため、及び遅延画像を提供するために、それぞれ用いられる。
図6は、アップコンバーティングプロセッサー407により用いられる2レベルのキャッシング方法を図示する。フレームメモリーM1及びM2、同様にL1キャッシュに格納されたデータは、圧縮形式である。一方、L0キャッシュに格納されたデータは、非圧縮形式である。データ解凍ブロック(DEC/IDCT)は、データストリームを復号化し及び逆離散コサイン変換を求める動作を実行する。時間アップコンバージョンを実行するために、2フレームのデータが必要である。レベル1(L1)キャッシュは、検索領域の高さである、画像の5個のブロックラインを保持する。一方、全検索領域は、レベル0(L0)キャッシュに格納される。フレームメモリーM1及びM2と、動き推定器/補償器(ME/MC)との間のデータトラヒックは、データ解凍ブロック(DEC/IDCT)がL0キャッシュの近くに置かれる場合に最小化される。
本発明の第1の実施例では、4回の走査の全ては、図3に図示された方向に実行される。当該実施例では、2つの動き推定器421、425は、第1の動き推定器がインターレース解除段の2回の走査を実行し、及び第2の動き推定器がアップコンバーター段の2回の走査を実行する。
本発明の別の実施例によると、画像処理システム400の動作は、図7を参照してより詳細に記載される。図7は、本発明のある実施例による、インターレース解除プロセッサー403及びアップコンバーティングプロセッサー407において実行される動き推定走査を図示する。本発明の当該実施例では、2つの動き推定走査は、動き推定器毎に反対方向に実行される。先ず、動き推定器405は、選択されたフレームに対し、矢印701により示される第1の方向に動き推定走査を実行する。動き推定器は次に、矢印703により示されるもう一方の方向に第2の走査を実行する。本発明によると、動き推定器405による第2の走査が開始すると、(アップコンバージョン処理のための)第2の動き推定器409による第1の動き推定走査は、矢印705により示されるように、動き推定器405により実行された第1の走査とは反対方向に開始する。従って、第1のアップコンバージョン動き推定器は、第2のインターレース解除動き推定が終了する前に開始する。最後に、第2の動き推定器409は、矢印707により示されるように第1の走査と反対方向に第2の走査を実行する。本発明の当該実施例では、第1のインターレース解除動き推定走査は上から下へ向かい、第2のインターレース解除動き推定走査は下から上へ向かう。更に、第1のアップコンバージョン動き推定走査は下から上へ向かい、第2のアップコンバージョン動き推定走査は上から下へ向かう。
図3に図示された知られているシステムにおけるように、第2のインターレース解除走査が進行している時、インターレース解除されたフレームの生成は、約t=1Tにおいて開始する。しかしながら、図7に図示されたように、第1のアップコンバージョン動き推定走査は、第1のアップコンバージョン動き推定走査の方向を反転することにより、第2のインターレース解除走査の開始後の短時間期間(δ)に開始し得る。時間δは、推定器の検索ウインドウ又は検索領域の垂直方向の寸法(高さ)に依存する。標準的に、検索領域の高さは5ブロックである(1ブロックは8×8画素の領域として定められる)。標準品位(SD)解像度では、フレームの高さは72ブロックである。従って、δ=5/72T≒7%Tである。従って、インターレース解除及びアップコンバージョンの両方で2つの動き推定走査を異なる方向に利用する画像処理システムの遅延時間は、最終的な信号の品質を損なうことなく93%Tだけ減少される。
本発明は、画像処理システムに対し、いくつかの更なる有益な効果を有する。第一に、アップコンバージョンに必要なバッファーメモリー(フレームメモリー)の容量は、約1フレームメモリー(720×576×2バイト/画素≒6.3Mビット)だけ減少される。更に、第2のアップコンバージョン動き推定走査は、上から下へ生成される。結果として、アップコンバートされたフレームに属する画素は、上から下へ生成される。この事実により、これらの画素は、ディスプレイ装置411に直ちに表示され得る。
上述のように、アップコンバーターの第1の動き推定走査の方向を反転する本発明は、生成される信号の品質を損なうことなく、他の知られているシステムに勝る多くの利点を有する。第一に、全体のシステム待ち時間は小さくなり、一方で所要のフレーム(バッファー)メモリー容量は低減される。更に、最後の動き推定走査及びアップコンバートされたフレームは、上から下へ生成される。つまり、生成された画素は画面に直ちに表示され得る。
本発明は、ハードウェア、ソフトウェア、ファームウェア又はこれらの如何なる組み合わせ有する如何なる適切な形式でも実施され得る。しかしながら、望ましくは、本発明は、1つ以上のデータプロセッサー及び/又はデジタル信号プロセッサーで動作するコンピューターソフトウェアとして実施される。本発明の実施例の要素及び構成要素は、物理的に、機能的に及び論理的に如何なる適切な方法で実施されて良い。実際に、機能は、単一ユニット、複数ユニット又は他の機能ユニットの一部として実施されて良い。このように、本発明は、単一ユニットに実施されて良く、又は異なるユニット及びプロセッサー間に物理的及び機能的に分配されて良い。 本発明は特定の実施例を参照して以上に記載されたが、これら実施例は本発明を本願明細書に記載された特定の形式に限定するものではない。むしろ本発明は特許請求の範囲によってのみ限定され、以上の特定の実施例以外の実施例、例えば上述と異なる画像処理段階が、請求項の範囲内で同等に可能である。
請求項では、「有する」の語は、他の要素又は段階の存在を排除しない。更に、複数の手段、要素又は方法の段階は個々に挙げられたが、例えば単一ユニット又はプロセッサーにより実施されて良い。更に、個々の特徴は異なる請求項に包含されるが、これらは場合によっては有利に結合されて良く、また異なる請求項に包含されるものは、特徴の組み合わせが可能でない及び/又は有利でないことを示唆しない。更に、単数表記は複数を排除しない。「1つの」、「第1の」「第2の」等の表記は複数を除外しない。請求項中の参照符号は、単に例を明確化するために設けられ、請求項の範囲を如何様にも制限すると見なされるべきではない。
動きベクトル場の品質を評価する際に用いられる一連のシーケンスを図示する。 異なる数の動き推定パスに対しプロットされた、シェーカーシーケンスのMMSEを図示する。 知られている方法による、インターレース解除側及びアップコンバーター側において実行される動き推定走査を図示する。 本発明のある実施例によるビデオ処理システムのいくつかの構成要素を図示する。 本発明のある実施例によるアップコンバーターのブロック図を図示する。 本発明で用いられる2レベルキャッシング方法のブロック図を示す。 本発明のある実施例による、インターレース解除側及びアップコンバーター側において実行される動き推定走査を図示する。

Claims (16)

  1. 方法であって、画像処理システム内の連続する画像処理段階でビデオ画像に対し動き推定を実行し、前記方法は:
    第1の画像処理段階における第1の動き推定走査で、第1の走査動作を第1の走査方向に実行する段階;
    前記第1の画像処理段階における第2の動き推定走査で、前記第1の走査動作を第2の走査方向に実行する段階;
    第2の画像処理段階における第1の動き推定走査で、第2の走査動作を第1の走査方向に実行する段階;及び
    前記第2の画像処理段階における第2の動き推定走査で、前記第2の走査動作を第2の走査方向に実行する段階、を有する動き推定実行方法。
  2. 前記第1の画像処理段階における前記第1の走査動作の前記第1の走査方向は、前記第2の画像処理段階における前記第1の走査動作の前記第1の走査方向と反対であり、及び
    前記第1の画像処理段階における前記第1の走査動作の前記第2の走査方向は、前記第2の画像処理段階における前記第2の走査動作の前記第2の走査方向と反対である、請求項1記載の方法。
  3. 前記第1の画像処理段階における前記第1の走査動作の前記第1の走査方向は、前記第2の画像処理段階における前記第2の走査動作の前記第1の走査方向と同一の走査方向であり、及び
    前記第1の画像処理段階における前記第1の走査動作の前記第2の走査方向は、前記第2の画像処理段階における前記第2の走査動作の前記第2の走査方向と同一の走査方向であり、及び
    前記第1の画像処理段階は第1の動き推定器を用い、及び前記第2の画像処理段階は第2の動き推定器を用いる、請求項1記載の方法。
  4. 前記第1の画像処理段階における前記第1の走査動作の前記第1の走査方向は、画像の上から下へであり、及び前記第1の画像処理段階における前記第1の走査動作の前記第2の走査方向は画像の下から上へであり、並びに
    前記第2の画像処理段階における前記第2の走査動作の前記第1の走査方向は、画像の下から上へであり、前記第2の画像処理段階における前記第2の走査動作の前記第2の走査方向は、画像の上から下へである、請求項1記載の方法。
  5. 前記第1の画像処理段階は、インターレース解除に相当する、請求項1記載の方法。
  6. 前記第2の画像処理段階は、アップコンバージョンに相当する、請求項1又は5記載の方法。
  7. 前記第1の画像処理段階の前記動き推定走査は、第1の動き推定器により実行され、及び前記第2の画像処理段階の前記動き推定走査は、第2の動き推定器により実行される、請求項1記載の方法。
  8. 前記第2の画像処理段階における前記第1の動き推定走査は、前記第1の画像処理段階の前記第2の動き推定走査の終了前に開始する、請求項1記載の方法。
  9. 画像処理システムであって、画像を処理し、前記システムは:
    前記画像を処理する第1の画像プロセッサー;
    第1の動き推定器は先ず前記画像を第1の走査方向に走査しそして次に前記画像を第2の走査方向に走査する、前記第1の画像プロセッサーと接続された第1の動き推定器;
    前記第1の画像プロセッサーの出力と接続された、画像を処理する第2の画像プロセッサー;
    第2の動き推定器は前記画像を2つの異なる走査方向に連続して走査するよう構成される、前記第2の画像プロセッサーと接続された第2の動き推定器、を有し、前記画像プロセッサー及び動き推定器は互いに機能するように接続される、画像処理システム。
  10. 前記第2の動き推定器は、先ず前記画像を前記第1の走査方向に走査し、そして次に前記画像を前記第2の走査方向に走査する、請求項9記載のシステム。
  11. 前記第2の動き推定器は、先ず前記画像を前記第2の走査方向に走査し、そして次に前記画像を前記第1の走査方向に走査する、請求項9記載のシステム。
  12. 前記第1の走査方向は前記画像の上から下へであり、及び前記第2の走査方向は前記画像の下から上へである、請求項9又は11記載のシステム。
  13. 前記第1の画像プロセッサーは、インターレース解除を実行するよう構成される、請求項9記載のシステム。
  14. 前記第2の画像プロセッサーは、アップコンバージョンを実行するよう構成される、請求項9又は13記載のシステム。
  15. 第2の動き推定器は、前記第1の動き推定器の前記第2の動き推定走査が終了する前に、前記第2の動き推定器の第1の動き推定走査を開始するよう構成される、請求項9記載のシステム。
  16. コンピューター可読媒体であって、前記コンピューター可読媒体にコンピュータープログラムが実施され、前記コンピュータープログラムは、画像処理システム内の連続する画像処理段階でビデオ画像に対し動き推定を実行し、コンピューターによる処理用であり、前記コンピュータープログラムはコード部分を有し、前記コード部分は:
    第1の画像処理段階における第1の動き推定走査で、第1の走査動作を第1の走査方向に実行する段階;
    前記第1の画像処理段階における第2の動き推定走査で、前記第1の走査動作を第2の走査方向に実行する段階;
    第2の画像処理段階における第1の動き推定走査で、第2の走査動作を第1の走査方向に実行する段階;及び
    前記第2の画像処理段階における第2の動き推定走査で、前記第2の走査動作を第2の走査方向に実行する段階、を有する、コンピューター可読媒体。
JP2007542425A 2004-11-22 2005-11-17 ビデオ処理システムに基づく動き推定の待ち時間の低減 Withdrawn JP2008521325A (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
EP04105952 2004-11-22
PCT/IB2005/053798 WO2006067644A1 (en) 2004-11-22 2005-11-17 Reducing the latency of a motion estimation based video processing system

Publications (1)

Publication Number Publication Date
JP2008521325A true JP2008521325A (ja) 2008-06-19

Family

ID=36149057

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2007542425A Withdrawn JP2008521325A (ja) 2004-11-22 2005-11-17 ビデオ処理システムに基づく動き推定の待ち時間の低減

Country Status (6)

Country Link
US (1) US20090079874A1 (ja)
EP (1) EP1817907A1 (ja)
JP (1) JP2008521325A (ja)
KR (1) KR20070090208A (ja)
CN (1) CN101061710A (ja)
WO (1) WO2006067644A1 (ja)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI446327B (zh) * 2007-04-17 2014-07-21 Novatek Microelectronics Corp 用於顯示裝置之影像處理方法及其相關裝置
US8184696B1 (en) * 2007-09-11 2012-05-22 Xilinx, Inc. Method and apparatus for an adaptive systolic array structure

Family Cites Families (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4276480A (en) * 1979-09-28 1981-06-30 Accuray Corporation Sensor position independent material property determination using radiant energy
NL8802998A (nl) * 1988-12-07 1990-07-02 Philips Nv Beeldweergeefinrichting met aftastrichtingsomzetting.
US5627597A (en) * 1994-09-12 1997-05-06 Philips Electronics North America Corporation Device and method for interlacing a video signal having an integral number of scan lines in each field
US5661525A (en) * 1995-03-27 1997-08-26 Lucent Technologies Inc. Method and apparatus for converting an interlaced video frame sequence into a progressively-scanned sequence
GB2311184A (en) * 1996-03-13 1997-09-17 Innovision Plc Motion vector field error estimation
IT1313382B1 (it) * 1999-03-18 2002-07-23 St Microelectronics Srl Stima del moto ricorsiva spazio temporale con sottocampionamento ad 1/2 di macroblocco e ad 1/4 di pixel
US6831946B1 (en) * 1999-11-08 2004-12-14 Lg Electronics Inc. Device and method for coding image
US6224216B1 (en) * 2000-02-18 2001-05-01 Infocus Corporation System and method employing LED light sources for a projection display
KR100739281B1 (ko) * 2000-02-21 2007-07-12 주식회사 팬택앤큐리텔 움직임 추정 방법 및 장치
EP1430725B1 (en) * 2001-09-07 2006-06-14 Koninklijke Philips Electronics N.V. Image processor and image display apparatus provided with such image processor
FR2831382B1 (fr) * 2001-10-19 2008-12-26 Valeo Vision Dispositif d'eclairage ou de signalisation a diodes electroluminescentes
US6999514B2 (en) * 2001-10-26 2006-02-14 Selliah Rathnam Motion compensation with subblock scanning
TW571119B (en) * 2001-12-20 2004-01-11 Delta Electronics Inc Image projection device with integrated semiconductor light emitting element light source
KR100400018B1 (ko) * 2001-12-29 2003-09-29 삼성전자주식회사 톱니파 제거 장치 및 방법
KR100477647B1 (ko) * 2002-06-01 2005-03-23 삼성전자주식회사 영상의 움직임 보정 장치 및 방법
JP4271502B2 (ja) * 2002-06-26 2009-06-03 オセ−テクノロジーズ・ベー・ヴエー 印刷装置およびその制御方法
KR100556848B1 (ko) * 2003-05-13 2006-03-10 엘지전자 주식회사 디지털 워터마킹을 이용한 동영상 부호화/복호화 장치 및방법
US8660182B2 (en) * 2003-06-09 2014-02-25 Nvidia Corporation MPEG motion estimation based on dual start points

Also Published As

Publication number Publication date
EP1817907A1 (en) 2007-08-15
US20090079874A1 (en) 2009-03-26
WO2006067644A1 (en) 2006-06-29
KR20070090208A (ko) 2007-09-05
CN101061710A (zh) 2007-10-24

Similar Documents

Publication Publication Date Title
US6385248B1 (en) Methods and apparatus for processing luminance and chrominance image data
US7116828B2 (en) Integrated video decoding system with spatial/temporal video processing
US8817876B2 (en) Video bitstream transcoding method and apparatus
US8218638B2 (en) Method and system for optical flow based motion vector estimation for picture rate up-conversion
US8654853B2 (en) Method and apparatus for MPEG-2 to VC-1 video transcoding
US7903739B2 (en) Method and apparatus for VC-1 to MPEG-2 video transcoding
US20140205005A1 (en) Method and apparatus for mpeg-2 to h.264 video transcoding
US8494058B2 (en) Video/image processing apparatus with motion estimation sharing, and related method and machine readable medium
US6256045B1 (en) Device and method for processing picture in MPEG decoder
US20170006307A1 (en) Apparatus for dynamically adjusting video decoding complexity, and associated method
US6148032A (en) Methods and apparatus for reducing the cost of video decoders
US20060067403A1 (en) Information processing device and information processing method
JP2002523947A (ja) Mpegデータの復号化および走査変換の遂行に要するバッファメモリの量を減少させる方法および装置
JP2008521325A (ja) ビデオ処理システムに基づく動き推定の待ち時間の低減
JP2007537653A (ja) インターレース符号化フレームからプログレッシブフレームを生成するためのデバイス
JP2014078891A (ja) 画像処理装置、画像処理方法
US8767831B2 (en) Method and system for motion compensated picture rate up-conversion using information extracted from a compressed video stream
US6907077B2 (en) Variable resolution decoder
US8031266B2 (en) Method and apparatus for video decoding and de-interlacing
JP2000175199A (ja) 画像処理装置及び方法、並びに提供媒体
WO2010023782A1 (ja) 画像表示装置、録画再生装置、及び画像処理方法
JP2004516761A (ja) フレーム種別依存の低複雑性のビデオ復号化方法
JP2002305746A (ja) 画像復号処理装置および画像復号処理方法
KR100425136B1 (ko) 비디오 디코딩 시스템
JP2003299036A (ja) 映像復号装置、映像復号方法、プログラム、および媒体

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20081114

A761 Written withdrawal of application

Free format text: JAPANESE INTERMEDIATE CODE: A761

Effective date: 20090130