JP2008543207A - マルチパスビデオ復号方法および装置 - Google Patents
マルチパスビデオ復号方法および装置 Download PDFInfo
- Publication number
- JP2008543207A JP2008543207A JP2008514277A JP2008514277A JP2008543207A JP 2008543207 A JP2008543207 A JP 2008543207A JP 2008514277 A JP2008514277 A JP 2008514277A JP 2008514277 A JP2008514277 A JP 2008514277A JP 2008543207 A JP2008543207 A JP 2008543207A
- Authority
- JP
- Japan
- Prior art keywords
- decoding
- image
- decoded
- video decoder
- macroblock
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims description 22
- 230000000750 progressive effect Effects 0.000 claims abstract description 10
- 238000001514 detection method Methods 0.000 claims description 8
- 238000004590 computer program Methods 0.000 claims description 3
- 239000013598 vector Substances 0.000 description 13
- 230000006870 function Effects 0.000 description 8
- NVKGJHAQGWCWDI-UHFFFAOYSA-N 4-[4-amino-2-(trifluoromethyl)phenyl]-3-(trifluoromethyl)aniline Chemical compound FC(F)(F)C1=CC(N)=CC=C1C1=CC=C(N)C=C1C(F)(F)F NVKGJHAQGWCWDI-UHFFFAOYSA-N 0.000 description 2
- 230000001133 acceleration Effects 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- GPMGOOOEIGPKGS-UHFFFAOYSA-N 3,5-bis(trimethylsilyl)benzoic acid Chemical compound C[Si](C)(C)C1=CC(C(O)=O)=CC([Si](C)(C)C)=C1 GPMGOOOEIGPKGS-UHFFFAOYSA-N 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 230000021615 conjugation Effects 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
- H04N19/103—Selection of coding mode or of prediction mode
- H04N19/112—Selection of coding mode or of prediction mode according to a given display mode, e.g. for interlaced or progressive display mode
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
- H04N19/157—Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
- H04N19/16—Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter for a given display mode, e.g. for interlaced or progressive display mode
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/189—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding
- H04N19/192—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding the adaptation method, adaptation tool or adaptation type being iterative or recursive
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/44—Decoders specially adapted therefor, e.g. video decoders which are asymmetric with respect to the encoder
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
- Compression, Expansion, Code Conversion, And Decoders (AREA)
- Color Television Systems (AREA)
Abstract
本発明は、コード化された画像が、プログレッシブおよびインターレースでコード化されたマクロブロックを含む可能性が高い、ビデオ信号の画像(P)に対応するビットストリーム(BS)を復号するためビデオデコーダ(DEC)に関し、前記デコーダは、プログレッシブでコード化されたマクロブロックを復号するための復号ユニット(DEU)を含む。本発明に係るビデオデコーダは、前記復号ユニットを複数回作動させて、単一画像を復号し、前記復号ユニット内の前記画像の各パスで、リードおよび/またはライトストライドを構成するための、復号構成ユニット(DCU)を含む、
Description
本発明は、コード化された画像が、プログレッシブおよびインターレースでコード化されたマクロブロックを含む可能性が高い、ビデオ信号の画像に対応するビットストリームを復号するためのビデオデコーダに関する。特に、本発明は、プログレッシブでコード化されたマクロブロックを復号するための復号ユニットを含むデコーダに関する。
“情報技術―オーディオビジュアルオブジェクトのコード化―パート2:ビジュアル、補正1:ビジュアル拡張(Information Technology-Coding of audio-visual objects-Part2: Visual, Amendment 1: Visual extensions)”、ISO/IEC 14496−2:1999/Amd.1:2000,ISO/IEC JTV 1/SC 29/WG 11 N 3056に示されるように、MPEG−4規格は、様々なエンコーダおよびデコーダ間での相互運用性を可能にする、ビデオビットストリームの構文法を定義している。規格は、多くのビデオツールを述べているが、これらの全てを実施することは、ほとんどの応用において、複雑すぎるものとなり得る。利用可能なツールの選択およびエンコーダ/デコーダの複雑さにおいて、より高い柔軟性を提示するために、規格は、さらにプロファイルを定義しており、プロファイルは、特定のツールに限定された構文のサブセットである。
例えば、シンプルプロファイル(SP:Simple Profile)は、全ビットストリームシンタックスのサブセットであり、MPEG技術において、IおよびP−VOPと、AC/DC予測と、マクロブロックごとに1または4つの動きベクトルと、無制限の動きベクトルと、プログレッシブ画像用の半画素動き補償と、を含む。アドバンスドシンプルプロファイル(ASP:Advanced Simple Profile)は、SPシンタックスのスーパーセットであり、SPコード化ツールを含み、B−VOPと、グローバル動き補償と、インターレース画像と、半画素動き補償で使用されるものとは補間フィルタが異なる1/4画素動き補償と、インターレース画像の処理に専用の他のツールと、を加える。
米国特許出願第2001/0016010号の文献は、デジタルテレビジョンにおけるインターレーススキャンシーケンスのダウン変換のための、デジタル動画を受信するための装置を開示している。前記装置は、フィールドベースおよびフレームベースのコード化ブロックを復号するために設計されている。実際に、この文献は、ASPで定義されるように、フィールドコード化されたマクロブロックの直接復号を可能にする機能が備えられたデコーダを開示している。
それでもなお、インターレース化は、MPEG−4規格における2つの低レベルプロセス、動き補償および逆直接コサイン変換(以下、DCT)を変更する。CPUリソースまたはパワーリソースが限られているいくつかの装置では、ハードウェア加速された機能を使用して、復号動作のいくつかを継続することが、たとえハードウェア加速された装置が準拠したやり方での復号動作を行なうことが可能でないとしても、有利な場合がある。これは、結果として復号誤りを発生し、復号誤りは、インターレース画像におけるインターレースマクロブロックの場合、特に不利である。
よって、本発明の目的は、ビデオデコーダ、特に、プログレッシブ画像およびプログレッシブマクロブロックを復号するための復号ユニットを使用し、インターレース画像の復号に関する不利な誤りを最小限にする、SPタイプのビデオデコーダを提供することである。
このために、前記復号ユニットを複数回作動して、単一画像を復号し、前記復号ユニット内の前記画像の各パスで、リードおよび/またはライトストライドを構成するための復号構成ユニットを含むビデオデコーダが提供される。
これにより、プログレッシブ画像を処理可能な復号ユニットによる、擬似ASPデコーダが提供され、MPEG−4のケースでは、MPEG−4 SP加速機能による、擬似ASPデコーダが提供される。
より有利には、復号された画像は、メモリに格納される。
1つの実施形態においては、前記復号構成ユニットは、復号された画像内の欠落マクロブロックを検出し、このような検出を、前記復号ユニットの構成に使用するための欠落マクロブロック検出モジュールを含む。
1つの実施例においては、ストライド構成は、前記ストライドを2倍にすることで、各パスで変更される。
1つの実施例においては、フル画像が、各パスで復号される。
より有利には、前のパスの間に復号されたマクロブロックは、続くパスでは不変のままとされる。
1つの実施例においては、復号できないか、まだ復号されていないマクロブロックは、ダミーブロックで埋められる。
1つの実施形態においては、前記復号構成ユニットは、ビットストリームから復号または推測されたフラグが、前記画像がインターレースであることを示す値に設定されている場合、画像ベースで作動される。
本発明は、また、コード化された画像が、プログレッシブおよびインターレースでコード化されたマクロブロックを含む可能性が高い、ビデオ信号の画像内のビットストリームを復号するための方法に関し、前記方法は、プログレッシブでコード化されたマクロブロックを復号するための復号ステップを含む。前記方法は、前記復号ステップを複数回作動して、単一画像を復号し、前記復号ステップによって、前記画像の各パスで、リードおよび/またはライトストライドを構成する、復号構成ステップを含むことを特徴とする。
1つの実施形態においては、復号された画像は、メモリに格納される。
1つの実施形態においては、前記復号構成ステップは、復号された画像内の欠落マクロブロックを検出し、このような検出を、前記復号ステップの構成に使用するための欠落マクロブロック検出を含む。
1つの実施形態においては、ストライド構成は、前記ストライドを2倍にすることで、各パスで変更される。
1つの実施形態においては、フル画像が、各パスで復号される。
1つの実施形態においては、前のパスの間に復号されたマクロブロックは、続くパスでは不変のままとされる。
1つの実施形態においては、復号できないか、まだ復号されていないマクロブロックは、ダミーブロックで埋められる。
1つの実施形態においては、前記復号構成ステップは、ビットストリームから復号または推測されたフラグが、前記画像がインターレースであることを示す値に設定されている場合、画像ベースで作動される。
本発明は、また、コンピュータプログラム製品に関し、コンピュータプログラム製品は、前記プログラムがプロセッサによって実行された際に、上述の復号方法を実施するためのプログラム命令を備える。
本発明は、また、本発明に係るビデオデコーダを含む携帯装置に関する。
本発明は、上述のビデオデコーダが有利に実施される携帯電話において、MPEG−4およびDivXストリームなどのビデオ規格の再生に適用を見出す。
本発明の追加の目的、特徴および利点は、以下の詳細な説明を読むことにより、また添付の図面を参照して、明らかとなるであろう。
以下の説明では、当業者に周知の機能または構成は、不用な詳細において本発明を曖昧にするため、詳細には述べないものとする。
コード化においてインターレース画像が用いられる場合、逆DCTは、テクスチャ情報と共に各マクロブロック向けのビットストリーム内に含まれるdct_typeと呼ばれる構文要素で規定されるように、フレームDCTまたはフィールドDCTのいずれかとすることができる。特定のマクロブロックに対して、dct_typeフラグが0に設定されると、マクロブロックは、フレームコード化され、輝度データのDCT係数が、2フィールドからのラインで交互に構成される8×8ブロックを符号化する。このモードは、図1に示されている。2つのフィールドTFおよびBFが、それぞれ、斜線部分と空白部分とで現されている。図1は、フレームDCTコード化後のインターレースマクロブロックMBの8×8ブロックB1,B2,B3,B4のフレーム構造を示している。
特定のマクロブロックに対して、dct_typeフラグが1に設定されると、マクロブロックは、フィールドコード化され、8×8ブロックが1フィールドのみのデータで構成されるように、輝度データのDCT係数が形成される。このモードは、図2に示されている。図2は、フィールドDCTコード化後のインターレースマクロブロックMBの8×8ブロックB1’,B2’,B3’,B4’のフレーム構造を示している。典型的な逆DCTでは、輝度ブロックB1’B2’,B3’およびB4’は、次いで、フレームマクロブロックへと逆に置換し戻す必要がある。ここで、一般に、特定のマクロブロックに対してフィールドDCTが選択されたとしても、クロミナンステクスチャは、なおもフレームDCTによってコード化されることが想起される。
動き補償は、また、各マクロブロックに対して、フレームベースまたはフィールドベースのいずれかとすることができる。この特徴は、PおよびS−VOP(またはスプライト(Sprite)−VOP)でのマクロブロックにおいて、非グローバル動き補償(GMC:global motion compensation)マクロブロックに対して、field_predictionと呼ばれる構文要素によって規定されている。事実上、グローバル動き補償は、インターレース画像においては常にフレームベースであることに留意すべきである。
field_predictionフラグが0に設定された場合、ノンインターレースの場合と同様に、非GMC動き補償が行われる。これは、1−MVモードでの16×16ブロックに適用される単一の動き補償ベクトル、または4−MVモードでの8×8ブロックに適用される4つの動きベクトルのいずれかで行うことができる。クロミナンス動きベクトルは、常に、輝度動きベクトルから推測される。field_predictionフラグが1に設定された場合、各フィールドに1つずつ、各フィールドの16×8ブロックに適用される、2つの動きベクトルによって、非GMCブロックが予測される。フィールドDCTのケースでのように、予測されたブロックは、動き補償の後に、フレームマクロブロックに置換し戻されなければならない。
さらに、フィールドベース予測は、4:2:0インターレースカラーフォーマットにおける1つのフィールドにのみ対応する、2つのうち1つのクロマラインの置換によって、結果としてクロミナンスブロックに対して8×4予測を生じ得る。
符号化の間、非GMCマクロブロックでは、フレームおよびフィールドDCTならびにフレームおよびフィールド動き予測を、互いに独立して適用することができる。表1は、GMCマクロブロックを除いたASPストリームのI−、P−およびS−VOPにおいて生じ得る、異なる組合せをまとめている。
図3は、ビットストリームBSを、ビデオ信号の画像Pに復号するためのビデオデコーダDECを概略的に表している。ビットストリームは、プログレッシブおよびインターレースでコード化されたマクロブロックを含む可能性が高い。デコーダDECは、プログレッシブでコード化されたマクロブロックを復号するための復号ユニットDEUを含んでいる。これは、MPEG−4シンプルプロファイル(Simple Profile)復号機能向けのケースであり、この機能は、フレームベース8×8逆DCTのみを再構築し、輝度チャンネルに対して16×16または8×8フレームベースブロックを、クロミナンスのチャンネルに対して8×8ブロックを、動き補償することができる。
タイプ7および8(図1を参照)のマクロブロックの動き補償は、本発明に係るビデオデコーダで実施されるような復号ユニットDEUにとっては特に問題であり、それは、図4に示されるように、この動き補償がフィールドベースであり、輝度チャンネルに対して2つの16×8フィールド画素LTFおよびLBFを置き換え、各クロミナンスチャンネルに対して2つの8×4フィールド画素CTFおよびCCFを置き換える必要があるからである。同様に、タイプ2,4および6のマクロブロックは、直接サポートされず、それは、フィールドベースの逆DCT動作が要求されるからである。
本発明に係るビデオデコーダは、復号ユニットDEUのリードおよびライトストライドR/W STRを利用することが可能な復号構成ユニットDCUを含む。本発明に係る構成ユニットDCUは、個別のフィールドで構成された画素を読み書きすることを可能にする。
輝度画素に対するリード動作のストライドを単純に2倍にすることによって、フレームベース表現でのデータを再構築(書き込み)しながら、復号ユニットに、基準テクスチャからの1フィールドのみに対応する1つおきのラインを読ませることが可能である。その8×8動き補償能力を用いて、図1の右側に示されるように、フレームデータの8×8ブロックを直接再構築すること、および図2の右側に示されるように、フィールドデータの8×8ブロックを直接再構築することが、次いで可能となる。よって、復号ユニットDEUの変化する構成は、タイプ3,4,5,6の輝度およびクロミナンスについて、およびタイプ7および8では輝度のみについての、動き予測の必要性をカバーすることが可能である。
ライトストライドを変えることにより、フレームベースのやり方ではラインごと、またはフィールドベースのやり方では1つ置きのラインのいずれかでデータを書き込むことによって、画像を再構築することができる。これは、復号ユニットDEUが、フィールドを再インターレース化することを可能にする。
復号ユニットの構成におけるこのような変化は、マクロブロックの長方形ブロックの冒頭でのみ、行うことができる。各マクロブロック向けのリードおよび/またはライト動作に対するストライド値R/W STRを変えることは可能でない。
よって、復号構成ユニットDCUは、復号ユニットを、単一画像に対して複数回作動させ、各パスでストライド構成を変化させながら、マルチパスで画像を復号する。これは特に、先行するパスで使用されるストライド構成によって復号できない1つまたはいくつかのマクロブロックタイプを復号することを可能にする。
各パスにおいて、単一のメモリMEM領域で、フル画像P[1]またはP[2]が復号され、ハードウェアが予期する規則的なデータフローに追従する。前のパスの間に復号されたマクロブロックは不変のままとされ、復号できないマクロブロックおよびまだ復号されていないマクロブロックは、ダミーブロックで埋められる。
表1の全てのタイプは、いくつかのリード/ライトストライド組合せに関連しており、全てのマクロブロックは、同じ組合せを共有するマクロブロックが同一パスの間に再構築されるように、再編成することができる。専用の処理ユニットPRUを用いて、いくつかの処理をサポートし、例えば、各フィールドに対して別個の動き補償ベクトルを有するタイプ7および8のマクロブロックを処理する。このような専用処理ユニットは、どのタイプのマクロブロックを復号すべきかに依存して、使用されるか、または使用されない。
図5に示すように、第1のパスFPは、フル画像サイズを復号するが、現在のリード/ライトストライドでは復号できないものについては、斜線ブロックで表されたダミーブロックを残す。第2のSPおよび第3のTPパスは、異なるストライドによって他のマクロブロックを処理するが、前に再構築されたマクロブロックを、メイン画像Pにおいて不変のままにする。よって、各パスは、同じメモリ領域でフル画像Pを復号する。各パスにおいて、ストライドは、復号ユニットDEUに正しい情報を渡して前に復号されたマクロブロックを画像メモリ領域で不変のままとしながら、新しいタイプのマクロブロックを復号できるように変更される。これは例えば、前に復号されたデータを変えずに単に再コピーする、動きベクトルを渡すことで行われる。
有利な実施形態において、画像Pは、プロセスの最後にある様々なメモリ位置からマクロブロックを再配列することを必要とせずに、単一のメモリ領域内でプログレッシブに再構築され、それは、既に復号されたマクロブロックは、復号された画像内でそれぞれの位置に残され、現在のマクロブロックは、画像P内でのそれらの最終位置で復号されるからである。フィールドコード化情報を再構築する場合、各フィールドに対して個別のパスが使用され、復号ユニットDEUによって復号された各マクロブロックの画素が、縦に配置された一対のマクロブロックを横断して、単一のフィールドを埋める。
2パス復号の例が、以下に示される。
第1のパスは、フレームベースの予測およびフレームDCTに焦点を合わせる。リードおよびライトストライドは、よって、フレームベースの表現向けに設定される。これは、シンプルプロファイル(Simple Profile)復号ユニット加速を用いて、以下のタイプによりフル画像を再構築する。
・タイプ1:イントラフレームマクロブロック。
・タイプ3および5:フレームテクスチャによるフレーム予測マクロブロック。
・タイプ4および6:マクロブロックのフレームベース動き補償部分のみ、フィールドテクスチャがビットストリームに存在する場合であっても、フィールドテクスチャを加えない。
・タイプ7:フレームテクスチャマクロブロックによるフィールド予測が、2つのインスタンスの復号を用いて、専用の処理ユニットPRUで再構築され、ここで、1つでなく2つのマクロブロックが復号され、第1のマクロブロックは、1−MVモードで上端のフィールド動きベクトルによって復号され、第2のマクロブロックは、下端のフィールド動きベクトルによって復号される。完了すると、第1のマクロブロックは、無関係の下端のフィールドと共に、正しい上端のフィールドの画素を保持し、第2のマクロブロックは、無関係の上端のフィールドと共に、正しい下端のフィールド画素を保持する。第2のパスも、後に、マルチインスタンスを再組み立てし、正しいタイプ7マクロブロックを形成する。
・タイプ8:2つのマクロブロックインスタンスを用いて、フィールドベース動き補償のみが行われる。第2のパスも、後に、これらを再組み立てする。
・他のタイプ:低コスト動作を用いて、まだ復号できないマクロブロックの空いたスペースが埋められる。
・タイプ1:イントラフレームマクロブロック。
・タイプ3および5:フレームテクスチャによるフレーム予測マクロブロック。
・タイプ4および6:マクロブロックのフレームベース動き補償部分のみ、フィールドテクスチャがビットストリームに存在する場合であっても、フィールドテクスチャを加えない。
・タイプ7:フレームテクスチャマクロブロックによるフィールド予測が、2つのインスタンスの復号を用いて、専用の処理ユニットPRUで再構築され、ここで、1つでなく2つのマクロブロックが復号され、第1のマクロブロックは、1−MVモードで上端のフィールド動きベクトルによって復号され、第2のマクロブロックは、下端のフィールド動きベクトルによって復号される。完了すると、第1のマクロブロックは、無関係の下端のフィールドと共に、正しい上端のフィールドの画素を保持し、第2のマクロブロックは、無関係の上端のフィールドと共に、正しい下端のフィールド画素を保持する。第2のパスも、後に、マルチインスタンスを再組み立てし、正しいタイプ7マクロブロックを形成する。
・タイプ8:2つのマクロブロックインスタンスを用いて、フィールドベース動き補償のみが行われる。第2のパスも、後に、これらを再組み立てする。
・他のタイプ:低コスト動作を用いて、まだ復号できないマクロブロックの空いたスペースが埋められる。
この時点で、いくつかのマクロブロックインスタンスにおけるフィールドベース動き予測を含む全ての動き予測が行われている。
第2のパスは、フィールドベースのリード/ライトストライドを使用し、また、上端のフィールドに対して1つ、下端のフィールドに対して1つの2つのサブパスを使用してもよい。参照画像は、第1のパスで再構築された画像に設定され、これにより、復号ユニットは、既に復号されたブロックを変更せずに再コピーできる。全ての動き予測が既に行われているため、アンカー画像はもはや参照されない。
・タイプ1,3および5:前のマクロブロックが、復号ユニットによって、十分な動きベクトルで、DCTテクスチャを加えずに、4−MVモードを用いて単に再コピーされる。
・タイプ2:フィールドINTRAマクロブロックが、復号ユニットDEUによって再構築される。
・タイプ4および6:フィールドDCTテクスチャが、第1のパスの間に形成された予測に加えられる。
・タイプ7:マクロブロックが、フィールドベース動き補償を用いて、それぞれのインスタンスから再インターレース化される。
・タイプ8:マクロブロックが、タイプ7マクロブロックのように再組み立てされ、フィールドベースDCTが、動き予測に加えられる。
・タイプ1,3および5:前のマクロブロックが、復号ユニットによって、十分な動きベクトルで、DCTテクスチャを加えずに、4−MVモードを用いて単に再コピーされる。
・タイプ2:フィールドINTRAマクロブロックが、復号ユニットDEUによって再構築される。
・タイプ4および6:フィールドDCTテクスチャが、第1のパスの間に形成された予測に加えられる。
・タイプ7:マクロブロックが、フィールドベース動き補償を用いて、それぞれのインスタンスから再インターレース化される。
・タイプ8:マクロブロックが、タイプ7マクロブロックのように再組み立てされ、フィールドベースDCTが、動き予測に加えられる。
この第2のパスの最後に、最終的な正しくインターレース化された画像が得られている。
マクロブロックを一度に、すなわちマクロブロックごとに4つの8×8ブロックを処理し、フィールドベースモードでライトストライドを2倍にして、マクロブロックを書き込むやり方で、復号ユニットが設計されている場合、ハードウェアが、16×32サイズの領域を埋める可能性が高い。このサイズは、図6に示されるように、インターレースマクロブロック対MBPを横断して16×32画素を占有するフレーム構造内で、フィールドとして書かれた4つの8×8ブロックTFMBおよびBTMBに対応する。従って、インターレース情報の再構築を、各フィールドTFおよびBFに1つずつ、2つのサブパスに分割することが必要であり、復号ユニットによって復号された各マクロブロックTFMBおよびBFMBが、縦に配置された2つのマクロブロックMBPにおいて、上端または下端フィールドTFおよびBFを実際に埋めるように、データが再合成される。前の説明の第2のステップは、実際に、2つのサブステップで構成されてもよく、各ステップは、画像全体に対して単一のフィールドを復号する動作を保持する。再インターレース化の間に、復号ユニットによって復号された各マクロブロックは、フィールドベースストライドで書き込まれた場合、マクロブロック対を横断して単一のフィールドを埋める。
本発明は、携帯電話のような携帯装置でのビデオ信号の処理に、特に関連がある。MPEG−4またはDivXストリームを、よって、SP復号ユニットを再使用することによって処理し、ASPストリームを復号することができる。
本発明は、上述の実施形態に限定されず、添付の特許請求の範囲で定義されるように、本発明の要旨および範囲から逸脱せずに、変形および修正が可能であることを理解すべきである。これに関して、以下に結びの注釈が示される。
ハードウェアまたはソフトウェアの単一のアイテムが、いくつかの機能を実行できるという条件で、ハードウェアまたはソフトウェアあるいはその両方のアイテムによって、本発明に係る方法の機能を実施する数多くの方法がある。ハードウェアまたはソフトウェアあるいはその両方のアイテムの組立品が、機能を実行し、これにより、本発明に係る処理の方法を修正することなしに、単一の機能を形成することは、除外されない。
前記ハードウェアまたはソフトウェアアイテムは、有線の電子回路を用いるか、またはそれぞれ適切にプログラムされた集積回路を用いるなど、いくつかのやり方で実施することができる。
以下の特許請求の範囲におけるどの参照符号も、請求項を限定するものとは解釈されない。動詞“含む”または“備える”およびその活用形の使用は、いずれかの請求項で定義されるもの以外のどのようなステップまたは要素の存在も除外しないことが明らかである。要素またはステップに先行する冠詞“a”または“an”は、複数のこのような要素またはステップの存在を除外しない。
Claims (18)
- ビデオ信号の画像に対応するビットストリームを復号するためのビデオデコーダであって、
コード化された画像は、プログレッシブおよびインターレースでコード化されたマクロブロックを含む可能性が高く、
当該ビデオデコーダは、プログレッシブでコード化されたマクロブロックを復号するための復号ユニットを含んでいるとともに、
当該ビデオデコーダは、前記復号ユニットを複数回作動させて、単一画像を復号するとともに、前記復号ユニット内の前記画像の各パスで、リードおよび/またはライトストライドを構成するための、復号構成ユニットを含む、ことを特徴とするビデオデコーダ。 - 前記ビデオデコーダは、復号された画像を格納するためのメモリを含む、ことを特徴とする請求項1に記載のビデオデコーダ。
- 前記復号構成ユニットは、復号された画像内の欠落マクロブロックを検出し、このような検出を、前記復号ユニットの構成に使用するための欠落マクロブロック検出モジュールを含む、ことを特徴とする請求項1又は請求項2に記載のビデオデコーダ。
- ストライド構成は、前記ストライドを2倍にすることにより、各パスで変更される、ことを特徴とする請求項1乃至請求項3のいずれかに記載のビデオデコーダ。
- フル画像が、各パスで復号される、ことを特徴とする請求項1乃至請求項4のいずれかに記載のビデオデコーダ。
- 前のパスの間に復号されたマクロブロックは、続くパスでは不変のままとされる、ことを特徴とする請求項1乃至請求項5のいずれかに記載のビデオデコーダ。
- 復号できないか、まだ復号されていないマクロブロックは、ダミーブロックで埋められる、ことを特徴とする請求項1乃至請求項6のいずれかに記載のビデオデコーダ。
- 前記復号構成ユニットは、前記ビットストリームから復号または推測されたフラグが、前記画像がインターレースであることを示す値に設定されている場合、画像ベースで作動される、ことを特徴とする請求項1乃至請求項7のいずれかに記載のビデオデコーダ。
- コード化された画像が、プログレッシブおよびインターレースでコード化されたマクロブロックを含む可能性が高い、ビデオ信号の画像内のビットストリームを復号するための方法であって、
プログレッシブでコード化されたマクロブロックを復号するための復号ステップを含むとともに、
前記復号ステップを複数回作動させて、単一画像を復号し、前記復号ステップによって、前記画像の各パスで、リードおよび/またはライトストライドを構成する、復号構成ステップを含む、
ことを特徴とする方法。 - 復号された画像は、メモリに格納される、ことを特徴とする請求項9に記載の方法。
- 前記復号構成ステップは、復号された画像内の欠落マクロブロックを検出し、このような検出を、前記復号ステップの構成に使用するための、欠落マクロブロック検出ステップを含む、ことを特徴とする請求項9又は請求項10に記載の方法。
- 前記ストライド構成は、前記ストライドを2倍にすることにより、各パスで変更される、ことを特徴とする請求項9乃至請求項11のいずれかに記載の方法。
- フル画像が、各パスで復号される、ことを特徴とする請求項9乃至請求項12のいずれかに記載の方法。
- 前のパスの間に復号されたマクロブロックは、続くパスでは不変のままとされる、ことを特徴とする請求項9乃至請求項13のいずれかに記載の方法。
- 復号できないか、まだ復号されていないマクロブロックは、ダミーブロックで埋められる、ことを特徴とする請求項9乃至請求項14のいずれかに記載の方法。
- 前記復号構成ステップは、前記ビットストリームから復号または推測されたフラグが、前記画像がインターレースであることを示す値に設定されている場合、画像ベースで作動される、ことを特徴とする請求項9乃至請求項15のいずれかに記載の方法。
- コンピュータプログラム製品であって、前記プログラムがプロセッサによって実行された際に、請求項9乃至請求項16のいずれかに記載の復号方法を実施するためのプログラム命令を備える、ことを特徴とするコンピュータプログラム製品。
- 請求項1乃至請求項8のいずれかに記載のビデオデコーダを含む携帯装置。
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
EP05300440 | 2005-06-01 | ||
PCT/IB2006/051706 WO2006129266A2 (en) | 2005-06-01 | 2006-05-30 | Multiple pass video decoding method and device |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2008543207A true JP2008543207A (ja) | 2008-11-27 |
Family
ID=37482045
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2008514277A Pending JP2008543207A (ja) | 2005-06-01 | 2006-05-30 | マルチパスビデオ復号方法および装置 |
Country Status (7)
Country | Link |
---|---|
US (1) | US8520741B2 (ja) |
EP (1) | EP1894414B1 (ja) |
JP (1) | JP2008543207A (ja) |
CN (1) | CN101189879B (ja) |
AT (1) | ATE416569T1 (ja) |
DE (1) | DE602006004046D1 (ja) |
WO (1) | WO2006129266A2 (ja) |
Families Citing this family (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US9055306B2 (en) * | 2006-08-31 | 2015-06-09 | Ati Technologies Ulc | Parallel decoding method and system for highly compressed data |
US8675730B2 (en) * | 2009-07-13 | 2014-03-18 | Nvidia Corporation | Macroblock grouping in a destination video frame to improve video reconstruction performance |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH07184214A (ja) * | 1993-10-29 | 1995-07-21 | Sgs Thomson Microelectron Sa | 画像処理システム |
JPH08280022A (ja) * | 1994-11-25 | 1996-10-22 | Philips Electron Nv | 符号化ビデオ信号の復号化方法及び装置 |
JPH08294115A (ja) * | 1995-03-14 | 1996-11-05 | Sgs Thomson Microelectron Sa | Mpeg復号化器及びその復号化方法 |
JPH09172601A (ja) * | 1995-07-31 | 1997-06-30 | Samsung Electron Co Ltd | 動画像復号器におけるフレームメモリ及びsdramに1フレームの画像信号を記録する方法 |
JP2000032472A (ja) * | 1998-06-23 | 2000-01-28 | St Microelectronics | 画像復号化方法および画像処理装置 |
Family Cites Families (20)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US5187575A (en) * | 1989-12-29 | 1993-02-16 | Massachusetts Institute Of Technology | Source adaptive television system |
US5455629A (en) * | 1991-02-27 | 1995-10-03 | Rca Thomson Licensing Corporation | Apparatus for concealing errors in a digital video processing system |
JP2977104B2 (ja) * | 1991-07-26 | 1999-11-10 | ソニー株式会社 | 動画像データエンコード方法および装置、並びに動画像データデコード方法および装置 |
JP3315766B2 (ja) * | 1992-09-07 | 2002-08-19 | 富士通株式会社 | 画像データ符号化方法、その方法を用いた画像データ符号化装置、画像データ復元方法、その方法を用いた画像データ復元装置、シーン変化検出方法、その方法を用いたシーン変化検出装置、シーン変化記録装置、及び画像データのシーン変化記録・再生装置 |
US7075991B1 (en) * | 1993-01-18 | 2006-07-11 | Sony Corporation | Apparatus for encoding and decoding header data in picture signal transmission |
KR0176134B1 (ko) * | 1995-10-25 | 1999-05-01 | 김광호 | 압축 부호화 비디오 데이타 재생방법 |
US5818533A (en) * | 1996-08-08 | 1998-10-06 | Lsi Logic Corporation | Method and apparatus for decoding B frames in video codecs with minimal memory |
US5990958A (en) * | 1997-06-17 | 1999-11-23 | National Semiconductor Corporation | Apparatus and method for MPEG video decompression |
US6141456A (en) * | 1997-12-31 | 2000-10-31 | Hitachi America, Ltd. | Methods and apparatus for combining downsampling and inverse discrete cosine transform operations |
US7058290B1 (en) * | 1999-10-30 | 2006-06-06 | Lg Electronics Inc. | Method for supporting a still picture of data stream recorded in a disk recording medium |
US20010016010A1 (en) | 2000-01-27 | 2001-08-23 | Lg Electronics Inc. | Apparatus for receiving digital moving picture |
KR100370076B1 (ko) * | 2000-07-27 | 2003-01-30 | 엘지전자 주식회사 | 다운 컨버젼 기능을 갖는 비디오 디코더 및 비디오 신호를디코딩 하는 방법 |
US6504872B1 (en) * | 2000-07-28 | 2003-01-07 | Zenith Electronics Corporation | Down-conversion decoder for interlaced video |
US7215708B2 (en) * | 2001-05-22 | 2007-05-08 | Koninklijke Philips Electronics N.V. | Resolution downscaling of video images |
US7003035B2 (en) * | 2002-01-25 | 2006-02-21 | Microsoft Corporation | Video coding methods and apparatuses |
SG140441A1 (en) * | 2003-03-17 | 2008-03-28 | St Microelectronics Asia | Decoder and method of decoding using pseudo two pass decoding and one pass encoding |
JP2004328634A (ja) | 2003-04-28 | 2004-11-18 | Sony Corp | 画像復号化装置及び方法 |
US7139002B2 (en) * | 2003-08-01 | 2006-11-21 | Microsoft Corporation | Bandwidth-efficient processing of video images |
US20050262276A1 (en) * | 2004-05-13 | 2005-11-24 | Ittiam Systamc (P) Ltd. | Design method for implementing high memory algorithm on low internal memory processor using a direct memory access (DMA) engine |
US8254455B2 (en) * | 2007-06-30 | 2012-08-28 | Microsoft Corporation | Computing collocated macroblock information for direct mode macroblocks |
-
2006
- 2006-05-30 DE DE602006004046T patent/DE602006004046D1/de active Active
- 2006-05-30 US US11/916,192 patent/US8520741B2/en not_active Expired - Fee Related
- 2006-05-30 CN CN200680019349.3A patent/CN101189879B/zh not_active Expired - Fee Related
- 2006-05-30 AT AT06745036T patent/ATE416569T1/de not_active IP Right Cessation
- 2006-05-30 WO PCT/IB2006/051706 patent/WO2006129266A2/en not_active Application Discontinuation
- 2006-05-30 JP JP2008514277A patent/JP2008543207A/ja active Pending
- 2006-05-30 EP EP06745036A patent/EP1894414B1/en active Active
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH07184214A (ja) * | 1993-10-29 | 1995-07-21 | Sgs Thomson Microelectron Sa | 画像処理システム |
JPH08280022A (ja) * | 1994-11-25 | 1996-10-22 | Philips Electron Nv | 符号化ビデオ信号の復号化方法及び装置 |
JPH08294115A (ja) * | 1995-03-14 | 1996-11-05 | Sgs Thomson Microelectron Sa | Mpeg復号化器及びその復号化方法 |
JPH09172601A (ja) * | 1995-07-31 | 1997-06-30 | Samsung Electron Co Ltd | 動画像復号器におけるフレームメモリ及びsdramに1フレームの画像信号を記録する方法 |
JP2000032472A (ja) * | 1998-06-23 | 2000-01-28 | St Microelectronics | 画像復号化方法および画像処理装置 |
Also Published As
Publication number | Publication date |
---|---|
DE602006004046D1 (de) | 2009-01-15 |
ATE416569T1 (de) | 2008-12-15 |
EP1894414B1 (en) | 2008-12-03 |
WO2006129266A3 (en) | 2007-06-21 |
US20100135414A1 (en) | 2010-06-03 |
CN101189879B (zh) | 2010-11-24 |
US8520741B2 (en) | 2013-08-27 |
EP1894414A2 (en) | 2008-03-05 |
CN101189879A (zh) | 2008-05-28 |
WO2006129266A2 (en) | 2006-12-07 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US20200252650A1 (en) | Video processing method for blocking in-loop filtering from being applied to at least one boundary in reconstructed frame and associated video processing apparatus | |
US10306236B2 (en) | Image coding device and image decoding device | |
JP4703449B2 (ja) | 符号化方法 | |
KR20030014704A (ko) | 움직임 보상을 위한 보간 | |
CN101455088B (zh) | 运动图像解码装置 | |
WO1993013626A1 (en) | Image data coding method, image data decoding method, image data coding device, image data decoding device, and image recording medium | |
JP2011250400A (ja) | 動画像符号化装置及び動画像符号化方法 | |
US20190037223A1 (en) | Method and Apparatus of Multiple Pass Video Processing Systems | |
US20120195381A1 (en) | Image processing apparatus and method for processing image | |
JP2008543207A (ja) | マルチパスビデオ復号方法および装置 | |
US8520738B2 (en) | Video decoder with hybrid reference texture | |
JP2009081781A (ja) | 動き補償装置及び動き補償方法 | |
US20180124376A1 (en) | Video decoding device and image display device | |
JP2008543154A (ja) | 順次走査及びインタレース走査方式で符号化されたマクロブロックのマルティプルインスタンスビデオデコーダ | |
US20050025240A1 (en) | Method for performing predictive picture decoding | |
Regunathan et al. | Quality and compression: the proposed smpte video compression standard vc-1 | |
JPH10178643A (ja) | 信号圧縮装置 | |
JP5136546B2 (ja) | 動画像ストリーム加工装置及び該装置を備えた動画像再生装置並びに方法とプログラム | |
KR20020070634A (ko) | 비디오 디스플레이 디바이스 위에 정지 화상을 디스플레이하는 방법 및 디바이스 | |
JP2005244382A (ja) | サムネイル画像生成装置 | |
JP2012235293A (ja) | 動画像符号化装置 | |
JP2012235294A (ja) | 動画像復号化装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20110318 |
|
A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20110809 |