JP2007525067A - 低複雑性空間スケーラブル符号化のための方法および装置 - Google Patents

低複雑性空間スケーラブル符号化のための方法および装置 Download PDF

Info

Publication number
JP2007525067A
JP2007525067A JP2006517458A JP2006517458A JP2007525067A JP 2007525067 A JP2007525067 A JP 2007525067A JP 2006517458 A JP2006517458 A JP 2006517458A JP 2006517458 A JP2006517458 A JP 2006517458A JP 2007525067 A JP2007525067 A JP 2007525067A
Authority
JP
Japan
Prior art keywords
encoder
resolution
standard
high resolution
scalable
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2006517458A
Other languages
English (en)
Inventor
マクドナルド ボイス,ジル
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Thomson Licensing SAS
Original Assignee
Thomson Licensing SAS
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Thomson Licensing SAS filed Critical Thomson Licensing SAS
Publication of JP2007525067A publication Critical patent/JP2007525067A/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04BTRANSMISSION
    • H04B1/00Details of transmission systems, not covered by a single one of groups H04B3/00 - H04B13/00; Details of transmission systems not characterised by the medium used for transmission
    • H04B1/66Details of transmission systems, not covered by a single one of groups H04B3/00 - H04B13/00; Details of transmission systems not characterised by the medium used for transmission for reducing bandwidth of signals; for improving efficiency of transmission
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/12Selection from among a plurality of transforms or standards, e.g. selection between discrete cosine transform [DCT] and sub-band transform or selection between H.263 and H.264
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/157Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
    • H04N19/159Prediction type, e.g. intra-frame, inter-frame or bidirectional frame prediction
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/172Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a picture, frame or field
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/174Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a slice, e.g. a line of blocks or a group of blocks
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/20Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using video object coding
    • H04N19/29Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using video object coding involving scalability at the object level, e.g. video object layer [VOL]
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
    • H04N19/33Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability in the spatial domain
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/44Decoders specially adapted therefor, e.g. video decoders which are asymmetric with respect to the encoder
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51Motion estimation or motion compensation
    • H04N19/577Motion compensation with bidirectional frame interpolation, i.e. using B-pictures
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding

Landscapes

  • Engineering & Computer Science (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Physics & Mathematics (AREA)
  • Discrete Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

ビデオ・エンコーダ(300)および方法を開示する。高解像度ビデオ画像を受信し、圧縮された高解像度スケーラブル・ビットストリームと標準解像度ビットストリームを供給するエンコーダは、標準解像度エンコーダ(312)と、標準解像度エンコーダに結合され、受信した高解像度シーケンスを表す信号と、受信して標準解像度にしたシーケンスを表す信号とを選択する選択器(346)と、選択器に結合され、高解像度スケーラブル
ビットストリームを発生する高解像度エンコーダ(348)と、を具える。

Description

本発明はビデオ・エンコーダ/デコーダ(CODEC)に関し、特に空間スケーラブル(spatial scalable)符号化/復号化用の装置および方法に関する。
現在、放送ビデオ・サービス・プロバイダはMPEG‐2を使用し、標準精細度(SD)のビデオ番組を送信する。今後は、JVT/H.264/MPEG・AVC(「JVT」)規格を使用する高精細度(HD)への移行が予想される。MPEG‐2のSD番組と、同じ番組のJVT・HDバージョンとの同時放送は、スケーラブル・アプローチよりも多くの帯域幅を要するが、スケーラブル・エンコーダ/デコーダは、ノン‐スケーラブル(non‐scalable)エンコーダ/デコーダよりもコンピュータ的に著しく複雑である。
MPEG‐2とMPEG‐4規格のスケーラビリティ・プロファイルにおいて、多数の異なるスケーラビリティ(SNRスケーラビリティ、空間スケーラビリティ、時間スケーラビリティ、微粒子スケーラビリティなど)の方法が広く研究され、標準化されている。しかしながら、スケーラブル・エンコーダ/デコーダを実行する際、かなり複雑性が増大するので、実際には、スケーラブル符号化は広く採用されていない。
空間スケーラブル・エンコーダ/デコーダでは、ノン・スケーラブル高解像度エンコーダ/デコーダに存在するものに加えて、高解像度のスケーラブル・エンコーダ/デコーダが機能性を提供することが求められる。MPEG‐2空間スケーラブル・エンコーダでは、予測を標準解像度の参照画像から行うかそれとも高解像度の参照画像から行うかを判断する。MPEG‐2空間スケーラブル・デコーダは、標準解像度の画像からも、あるいは高解像度の画像からも、予測できる。MPEG‐2空間スケーラブル・エンコーダ/デコーダによって、2組の参照画像ストアが(1組は標準解像度の画像に、別の1組は高解像度の画像に)使用される。
従って、同一番組のSDバージョンとHDバージョンを限られた帯域幅の接続でサポートできる、複雑性の低い空間スケーラブル・エンコーダ/デコーダが必要である。
(発明の概要)
これらの従来技術の欠点および不利な点は、複雑性の低い空間スケーラブル符号化のための装置および方法によって解決される。
高解像度ビデオを受信し、圧縮した高解像度スケーラブル・ビットストリームと標準解像度ビットストリームを発生するエンコーダは、標準解像度エンコーダ(312)と、標準解像度エンコーダに結合され、受信した高解像度シーケンスを表す信号と受信した標準解像度シーケンスを表す信号とを選択する選択器(346)と、選択器に結合され、高解像度スケーラブル・ビットストリームを供給する高解像度エンコーダ(348)と、を具える。
本発明のこれらのおよびその他の態様、特徴および利点は、添付の図面に関連して読まれる実施例についての以下の説明から明らかとなる。
開示する本発明の実施例は、複雑性の低い、低コストの空間スケーラブル符号化/復号化の方法と装置を提供する。以下の説明で、エンコーダとデコーダは、簡略のため、集合的にCODECと称されるが、方法と装置の実施例は、符号化のみ、復号化のみ、あるいは符号化と復号化の両方を行うことができる。
本発明の原理による、複雑性の低い空間スケーラブルCODECは、ノン‐スケーラブル(non‐scalable)エンコーダ/デコーダ・ブロックを利用する。本文中および図面で、「通常/標準」という用語は、複雑性の比較的高いスケーラブルな要素/特徴と対照的に、ノン‐スケーラブル(non‐scalable)な要素/特徴を指すが、必ずしも従来の要素を意味しない。
本発明のこの実施例で、イントラ符号化画像(Iピクチャ)は、空間スケーラビリティの技術によりスケーラブルに符号化され、ノン‐イントラ符号化画像(PピクチャとBピクチャ)はノン‐スケーラブルに符号化される。高解像度の入力画像は、ダウンサンプリングされ、標準解像度の画像を形成し、標準解像度の画像は、ノン‐スケーラブル・エンコーダ/デコーダで符号化され復号化される。復号化された画像はアップサンプリングされ、入力高解像度画像から差し引かれる。次に、高解像度画像とアップサンプリングされた画像との差が、ノン‐スケーラブル・エンコーダで符号化される。デコーダの終端で、ノン‐スケーラブル・デコーダを使用し、I符号化された標準解像度の画像のみが復号化され、アップサンプリングされ、復号化された高解像度の差信号に加えられ、高解像度の出力画像を形成する。I符号化されない高解像度画像は、ノン・スケーラブルに復号化される。
従って、本発明のこの実施例で、空間スケーラブル符号化/復号化は、Iピクチャ(イントラ符号化画像)またはIスライスについてのみ実行される。スケーラブル符号化により、イントラ符号化画像(Iピクチャ)のサイマルキャストに比較して、著しい符号化能率の利点が得られるが、インター符号化画像(BおよびPピクチャ)のために得られる利点は少ない。Iピクチャにのみスケーラビリティの技術を使用することにより、符号化能率の利点の多くを保持しながらも、空間スケーラブル・エンコーダとデコーダの複雑性をかなり低減させることができる。
本発明の原理により、スケーラビリティ可能なビデオ・エンコーダとデコーダのモジュールは必要とされない。代りに、このシステムでは、追加的機能ブロックと連係して、ノン‐スケーラブル高解像度エンコーダとデコーダとを使用することができる。標準解像度および高解像度エンコーダ/デコーダは、MPEG‐2、MPEG‐4、またはH.264といったビデオ画像圧縮規格に従う。例えば、標準解像度エンコーダ/デコーダは、規格に従うMPEG‐2メイン・プロファイル(Main Profile)であり、高解像度のエンコーダ/デコーダは、規格に従うH.264エンコーダおよびデコーダである。当業者に明らかなように、他の組合せも考慮される。
本発明の原理を説明する。本文中に明記されていないが、本発明の原理を具現化し且つその技術思想と範囲内に含まれる、種々の構成を創案できる
ここに記載の実例はすべて、教示を目的とし、当該技術推進のために発明者より寄せられる本発明の原理とコンセプトを読者が理解するのを助ける意図のものであり、特定した実例および条件に制限されないものと解釈すべきである。
ここに記載する本発明の原理、態様、実施例はすべて、本発明の構造上および機能上同等のものを包含する意図のものである。加えて、このような同等物には、現在知られている同等物、将来開発される同等物(構造に関りなく、同じ機能を実行するあらゆる要素)が含まれる。
従って、ここに示したブロック図は、本発明の原理を具現化する例示的回路の概念図を表すことが当業者に理解される。同様に、フローチャート、流れ図、状態遷移図、擬似コードなどは、コンピュータで読み出されるメディア内に表され且つコンピュータまたはプロセッサで実行される種々のプロセスを(そのようなコンピュータまたはプロセッサが明示されていると否とに関りなく)表す。
図示する種々の要素の機能は、専用のハードウェア、および該当するソフトウェアを実行できるハードウェアを使用して供給される。これらの機能は、プロセッサによって供給されるとき、単一の専用プロセッサによって、単一の共有プロセッサによって、あるいは複数の個々のプロセッサ(そのうち幾つかは、共有される)によって、供給される。更に、「プロセッサ」または「コントローラ」という用語は、ソフトウェアを実行できるハードウェアのみを指すのではなく、ディジタル信号プロセッサ(DSP)、ハードウェア、ソフトウェアを記憶する読出し専用メモリ(ROM)、ランダムアクセス・メモリ(RAM)、および非揮発性記憶装置も含まれる。
他のハードウェア(従来の、または注文による)も含まれる。同様に、図に示すスイッチは概念的なものにすぎない。それらの機能は、プログラム・ロジックの動作により、専用のロジックにより、プログラム・コントロールと専用ロジックの相互作用により、あるいは手動により実行され、その特定の技術は、文脈から明確に理解されるように、実施者によって選択可能である。
本発明の特許請求の範囲において、特定の機能を実行する手段として表される要素は、その機能を実行する方法を包含し、例えば、a)その機能を実行する回路要素の組合せ、あるいはb)その機能を実行するためにソフトウェアを実行して該当する回路と組み合わされる、ファームウェア、マイクロコードなど、あらゆる形態のソフトウェアが含まれる。そのような特許請求の範囲で限定される本発明は、記載される種々の手段が組み合わされて、特許請求の範囲で要求するように統合されることに存する。出願人はそのような機能を供給できる如何なる手段をも、特許請求の範囲に示されるものと同等のものと見なす。
図1に、2つの層をサポートする標準複雑性(standard‐complexity)空間スケーラブル・エンコーダを全体として参照番号100で示す。エンコーダ100はダウンサンプラ110を具える。ダウンサンプラ110は、高解像度入力ビデオ・シーケンスを受信する。ダウンサンプラ110は、標準解像度ノン‐スケーラブル(通常)・エンコーダ112に結合され、エンコーダ112は、標準解像度フレーム・ストア(記憶装置)114に結合される。標準解像度ノン‐スケーラブル(通常)・エンコーダ112は標準解像度ビットストリームを出力し、更に、標準解像度ノン‐スケーラブル(通常)・デコーダ120に結合される。
標準解像度ノン‐スケーラブル(通常)・デコーダ120はアップサンプラ130に結合され、アップサンプラ130はスケーラブル高解像度エンコーダ140に結合される。スケーラブル高解像度エンコーダ140は高解像度入力ビデオ・シーケンスを受信し、高解像度フレーム・ストア150に結合され、高解像度スケーラブル・ビットストリームを出力する。
従って、高解像度入力ビデオ・シーケンスは、標準複雑性エンコーダ100で受信され、ダウンサンプリングされ、標準解像度ビデオ・シーケンスを形成する。標準解像度ビデオ・シーケンスは、ノン‐スケーラブル標準解像度ビデオ圧縮エンコーダで符号化され、標準解像度ビットストリームを形成する。標準解像度ビットストリームは、ノン‐スケーラブル標準解像度ビデオ圧縮デコーダで復号化される。この機能はエンコーダの内部で実行される。復号化された標準解像度シーケンスはアップサンプリングされ、スケーラブル高解像度エンコーダへの2つの入力のうちの1つとして供給される。スケーラブル高解像度エンコーダはそのビデオ画像を復号化し、高解像度スケーラブル・ビットストリームを形成する。
図2に、2つの層をサポートする標準複雑性空間スケーラブル・デコーダを全体として参照番号200で示す。空間スケーラブル・デコーダ200は標準解像度デコーダ260を具え、デコーダ260(標準解像度フレーム・ストア262に結合される)は、標準解像度ビットストリームを受信し、標準解像度ビデオ・シーケンスを出力する。標準解像度デコーダ260は更に、アップサンプラ270に結合され、アップサンプラ270は、スケーラブル高解像度デコーダ280に結合される。
スケーラブル高解像度デコーダ280は更に、高解像度フレーム・ストア290に結合される。スケーラブル高解像度デコーダ280は、高解像度スケーラブル・ビットストリームを受信し、高解像度ビデオ・シーケンスを出力する。
従って、高解像度スケーラブル・ビットストリームと標準解像度ビットストリームの両方が標準複雑性デコーダ200で受信される。標準解像度ビットストリームは、標準解像度フレーム・ストアを利用するノン‐スケーラブル標準解像度ビデオ圧縮デコーダで復号化される。復号化された標準解像度のビデオ画像はアップサンプリングされてから、高解像度スケーラブル・デコーダに入力される。高解像度スケーラブル・デコーダは、1組の高解像度フレーム・ストアを利用して、高解像度出力ビデオ・シーケンスを形成する。
図3に、2つの層をサポートする低複雑性の空間スケーラブル・エンコーダを、全体として参照番号300で示す。エンコーダ300はダウンサンプラ310を具え、高解像度入力ビデオ・シーケンスを受信する。ダウンサンプラ310は標準解像度ノン‐スケーラブル・エンコーダ312に結合され、エンコーダ312は標準解像度のフレーム・ストア314に結合される。標準解像度エンコーダ312は標準解像度のビットストリームを出力し、更に、標準解像度ノン‐スケーラブル・イントラ・デコーダ322に結合される。
ノン‐スケーラブル標準解像度イントラ・デコーダ322はアップサンプラ330に結合され、アップサンプラ330は、第1の加算装置342の反転入力および第2の加算装置344の非反転入力に結合される。第1の加算装置342は、高解像度入力ビデオ・シーケンスを受信する非反転入力を有し、そして選択器346に結合される出力を有する。選択器346は、高解像度入力ビデオ・シーケンスを受信する入力を有すると共に標準解像度ノン‐スケーラブル・エンコーダ312からIスライス/Iピクチャの指標を受信する第3の入力を有する。選択器346はノン‐スケーラブル高解像度エンコーダ348に結合される。ノン‐スケーラブル高解像度エンコーダ348は、高解像度スケーラブル・ビットストリームを出力し、加算装置344の非反転入力に結合される。ノン‐スケーラブル高解像度エンコーダ348は更にフレーム・ストア350に結合される。フレーム・ストア350は加算装置344の出力に結合される。
従って、低複雑性の空間エンコーダの実施例300は、高解像度入力ビデオ・シーケンスを受信する。このシーケンスはダウンサンプリングされ、標準解像度ビデオ・シーケンスを生じる。標準解像度ビデオ・シーケンスは、ノン‐スケーラブル標準解像度エンコーダで符号化されて、標準解像度のビットストリームを形成する。イントラ符号化された画像(Iピクチャ)は、ノン‐スケーラブル標準解像度デコーダで復号化される。あるいは、この機能はエンコーダ自体の内部の補助的機能として実行される。復号化された標準解像度のIピクチャは、アップサンプリングされ、そして入力ビデオ画像から差し引かれる。オプションとして、オフセット値(例えば、128)がこの差に加えられ、[0、255]の範囲内に画素値を維持する。これらの差分画像は次に、ノン‐スケーラブル高解像度ビデオ圧縮エンコーダに入力される。復号化されアップサンプリングされた標準解像度のIピクチャは、オプションのオフセットと共に、符号化された高解像度の差信号に加えられてから、高解像度フレーム・ストアに記憶される。これにより、その後のPピクチャおよびBピクチャのノン‐スケーラブル符号化に正確な参照画像が使用される。ノン‐Iピクチャ(PピクチャとBピクチャ)については、入力ビデオ・シーケンスの画像は、ノン‐スケーラブル高解像度ビデオ・エンコーダに入力され、ノン‐スケーラブルに符号化される。
図4に、2つの層をサポートする、低複雑性の空間スケーラブル・デコーダを全体として参照番号400で示す。低複雑性空間スケーラブル・デコーダ400は、Iピクチャ検出器/選択器464を具え、標準解像度のビットストリームを受信し、このビットストリームは標準解像度のイントラ・デコーダ466に結合される。標準解像度イントラ・デコーダ466はアップサンプラ470に結合され、アップサンプラ470は加算装置484の第1の非反転入力に結合される。標準解像度イントラ・デコーダ466は更に、選択器486の第1の入力に結合され、イントラ符号化用の指標を選択器486に供給する。
低複雑性の空間スケーラブル・デコーダ400は更に、ノン‐スケーラブル高解像度デコーダ482を具え、高解像度スケーラブル・ビットストリームを受信する。高解像度デコーダ482は、加算装置484の第2の非反転入力と、選択器486の第2の入力と、高解像度フレーム・ストア490に結合される。加算装置484は、選択器486の第3の入力に結合される出力を有する。選択器486は、高解像度ビデオ・シーケンスを出力し、高解像度フレーム・ストア490に結合される。
従って、低複雑性空間スケーラブル・デコーダの実施例400はIピクチャ選択器/検出器を具え、受信した標準解像度のビットストリームを検索し、ノン(非)Iピクチャの符号化されたデータをすべて除去する。ビットストリーム内の画像開始コードを検索し、ピクチャ・ヘッダから画像符号化のタイプを復号化することにより、Iピクチャのデータが識別され、ノン‐スケーラブル標準解像度イントラ・デコーダはそのIピクチャ・データを復号化する。このような、イントラ画像(Iピクチャ)のみのデコーダは、フル・ビデオ圧縮デコーダよりも複雑性がかなり低く、標準解像度の参照フレーム・ストアを必要としない。復号化された標準解像度のイントラ画像はアップサンプリングされる。
高解像度のスケーラブル・ビットストリームは、ノン‐スケーラブル高解像度デコーダに入力される。ノン‐Iピクチャに対して、その出力が出力高解像度ビデオ・シーケンスとして選択される。Iピクチャに対して、その復号化された高解像度の出力は、復号化されアップサンプリングされた標準解像度のIピクチャに加えられ、このIピクチャは選択されて、高解像度の出力ビデオ・シーケンスを形成する。スケーラブルIピクチャに対して、ノン‐スケーラブル高解像度デコーダの出力ではなくむしろ、高解像度ビデオ画像の出力が参照フレーム・ストアに記憶される。
このブロック図で、ノン‐スケーラブル高解像度デコーダと標準解像度イントラ・デコーダは別個に示されているが、1個の多機能デコーダで両機能を実行することもできる。一般に、イントラ復号化は、インター復号化よりもずっと複雑性が低いので、汎用プロセッサを使用すれば、高解像度のIピクチャの復号化に必要とされる期間中に、標準解像度のIピクチャの復号化と高解像度のIピクチャの復号化とを両方実行できる。
H.264ビデオ符号化規格で、同一画像内の個々のスライスは異なるタイプの予測で符号化される。1つの画像にはIスライスとPスライスの両方が含まれる。本発明で、もし高解像度と標準解像度の符号化の両方にH.264が使用されると、スケーラビリティは、IピクチャよりむしろIスライスについて実行され、アップサンプリングされた標準解像度画像のIスライスに対応するマクロブロックもIスライスとして符号化することが要求される。この実施例で、Iピクチャ検出器/選択器はIスライス検出器/選択器となる。
もし、MPEG‐2、または同一画像内のすべてのスライスが同じタイプの予測で符号化されることを要求する別の符号化規格が標準解像度の層に使用され、H.264が高解像度の層に使用されるときは、スケーラビリティを適用すべきか否かの選択は、標準解像度の層に使用される画像符号化のタイプに依存する。たとえ、対応するMPEG‐2標準解像度の層がIピクチャでなくても、Iスライスが高解像度H.264層において符号化されるが、スケーラビリティは適用されない。
当業者に知られるように、アップサンプラとダウンサンプラの機能に、双一次補間、マルチ‐タップ補間、デシメーション(decimation)フィルタなど、種々の方法を使用することができる。
例えば、高解像度ビデオ・シーケンス画像が16:9のアスペクト比を、標準解像度シーケンス画像が4:3のアスペクト比を有するなら、高解像度ビデオ・シーケンス画像には、標準解像度ビデオ・シーケンス画像で表されないデータを含んでいる。その場合、アップサンプリング機能は、標準解像度の画像内に存在する画素に対応しない画素について、アップサンプリング機能はゼロ値に設定される。
本発明のこれらのおよび他の特徴および利点は、本文における教示に基づいて当業者に容易に確かめられる。本発明の原理は種々の形態のハードウェア、ソフトウェア、ファームウェア、特殊目的のプロセッサ、またはそれらを組み合わせて実行できる。
本発明の原理は、ハードウェアとソフトウェアを組み合わせて実行されるのが最も好ましい。更に、ソフトウェアは、プログラム記録装置上で具現化されるアプリケーション・プログラムとして実行されるのが好ましい。アプリケーション・プログラムは、適当なアーキテクチャから成るマシンにアップロードされ、マシンで実行される。マシンは、中央処理装置(CPU)、ランダムアクセス・メモリ(RAM)、および入力/出力(I/O)インタフェースのようなハードウェアを有するコンピュータ・プラットフォーム上で実行される。コンピュータ・プラットフォームにはオペレーティング・システムとマイクロインストラクション・コードも含まれる。本文中に記述する種々のプロセスおよび機能は、マイクロインストラクション・コードの一部、またはアプリケーション・プログラムの一部、あるいはそれらの組合せであり、これらはCPUで実行される。それに加え、データ記録装置およびプリンタのような、他の種々の周辺装置もコンピュータ・プラットフォームに接続される。
添付する図面に描かれるシステムの構成部品および方法は、ソフトウェアで実行されるのが好ましく、システム構成部品間またはプロセスの機能ブロック間の実際の接続は、本発明がプログラムされる仕方により異なる。本文中の教示を与えられれば、当業者は本発明のこれらのおよび同様な実施または構成を考えることができる。
本発明は図面に関して記述されているが、本発明はこれらの実施例に限定されず、本発明の範囲または技術思想から逸脱することなく、種々の変更および修正が当業者によって実行される。このような変更および修正はすべて特許請求の範囲に記載の本発明の範囲内に含められる意図のものである。
複雑性の比較的高い空間スケーラブル・エンコーダのブロック図である。 複雑性の比較的高い空間スケーラブル・デコーダのブロック図である。 本発明の原理による低複雑性空間スケーラブル・エンコーダのブロック図。 本発明の原理による低複雑性空間スケーラブル・デコーダのブロック図。

Claims (12)

  1. 高解像度のビデオ・シーケンスを受信し、標準解像度のビットストリームおよび高解像度のスケーラブル・ビットストリームを供給する空間スケーラブル・ビデオ・エンコーダ(300)であって、
    受信したシーケンスに応答する、標準解像度のエンコーダ(312)と、
    標準解像度エンコーダ(312)に結合され、受信した高解像度シーケンスを表す信号と、受信して標準解像度にしたシーケンスを表す信号とを選択する選択器(346)と、
    選択器(346)に結合され、高解像度スケーラブル・ビットストリームを供給する高解像度エンコーダ(348)と、から成る、前記空間スケーラブル・ビデオ・エンコーダ(300)。
  2. 標準解像度エンコーダ(312)に結合され、受信したビデオ・シーケンスに応答する標準解像度イントラ(intra)デコーダ(322)を更に具える、請求項1記載のエンコーダ。
  3. 高解像度エンコーダがノン‐スケーラブルである、請求項1記載のエンコーダ。
  4. 標準解像度エンコーダに結合される、Iピクチャの指標(indicator)とIスライスの指標のうち少なくとも1つを具える、請求項1記載のエンコーダ。
  5. 標準解像度エンコーダがノン‐スケーラブルである、請求項1記載のエンコーダ。
  6. 標準解像度エンコーダに結合されるダウンサンプラ(310)と、
    標準解像度イントラ・エンコーダに結合されるアップサンプラ(330)と、を更に具える、請求項2記載のエンコーダ。
  7. 標準解像度エンコーダ(312)に結合される、標準解像度フレーム・ストア(314)を更に具える、請求項1記載のエンコーダ。
  8. 標準解像度イントラ・デコーダと選択器との間に結合される加算装置(342)を更に具える、請求項2記載のエンコーダ。
  9. 高解像度エンコーダに結合される高解像度フレーム・ストア(350)を更に具える、請求項1記載のエンコーダ。
  10. 高解像度エンコーダに結合される高解像度フレーム・ストア(350)と、
    標準解像度イントラ・デコーダ(322)と高解像度フレーム・ストア(350)との間に結合される加算装置(344)と、を更に具える、請求項2記載のエンコーダ。
  11. 高解像度ビデオ画像を受信するステップと、
    受信した画像を標準解像度にダウンサンプリングするステップと、
    標準解像度画像がIピクチャとして符号化されるかどうかを表示するステップと、
    標準解像度画像を符号化するステップと、
    符号化標準解像度画像を符号化標準解像度ビットストリーム内に出力するステップと、
    符号化された標準解像度のIピクチャを、符号化された標準解像度のビットストリームから復号化するステップと、
    復号化された標準解像度のIピクチャをアップサンプリングするステップと、
    復号化されてアップサンプリングされた標準解像度のIピクチャを高解像度ビデオ画像から差し引き、差分画像を形成するステップと、
    Iピクチャの存在が表示されると、それに応答し、受信した高解像度ビデオ画像と差分画像とを選択するステップと、
    選択した画像を高解像度で符号化するステップと、から成る、符号化された空間スケーラブル・ビデオ・データを発生する符号化方法。
  12. 高解像度ビデオ画像を、それがIピクチャとして表示されなければ記憶するステップと、
    アップサンプリングしたIピクチャと差分画像を加算し高解像度Iピクチャを形成するステップと、
    高解像度のIピクチャを記憶するステップと、
    記憶した少なくとも1つの画像を検索して選択した画像を、それがIピクチャとして表示されなければ高解像度で符号化するステップと、から成る請求項11記載の符号化方法。
JP2006517458A 2003-06-19 2004-06-17 低複雑性空間スケーラブル符号化のための方法および装置 Pending JP2007525067A (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US47973403P 2003-06-19 2003-06-19
PCT/US2004/019682 WO2004114672A1 (en) 2003-06-19 2004-06-17 Method and apparatus for low-complexity spatial scalable encoding

Publications (1)

Publication Number Publication Date
JP2007525067A true JP2007525067A (ja) 2007-08-30

Family

ID=33539212

Family Applications (2)

Application Number Title Priority Date Filing Date
JP2006517458A Pending JP2007525067A (ja) 2003-06-19 2004-06-17 低複雑性空間スケーラブル符号化のための方法および装置
JP2006517402A Pending JP2007524280A (ja) 2003-06-19 2004-06-17 低複雑性空間スケーラブル復号化のための方法および装置

Family Applications After (1)

Application Number Title Priority Date Filing Date
JP2006517402A Pending JP2007524280A (ja) 2003-06-19 2004-06-17 低複雑性空間スケーラブル復号化のための方法および装置

Country Status (7)

Country Link
US (1) US20060146931A1 (ja)
EP (2) EP1634460B1 (ja)
JP (2) JP2007525067A (ja)
KR (2) KR101047541B1 (ja)
CN (2) CN100505879C (ja)
BR (2) BRPI0411540A (ja)
WO (2) WO2004114672A1 (ja)

Families Citing this family (29)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20050076019A (ko) * 2004-01-19 2005-07-26 삼성전자주식회사 스케일러블 부호화에 기반한 비트스트림의 적응적 부호화및/또는 복호화 방법, 및 이를 구현하기 위한프로그램이 기록된 기록 매체
WO2006075269A1 (en) * 2005-01-11 2006-07-20 Koninklijke Philips Electronics N.V. Scalable encoding/decoding of audio signals
US8780957B2 (en) 2005-01-14 2014-07-15 Qualcomm Incorporated Optimal weights for MMSE space-time equalizer of multicode CDMA system
TW200704200A (en) 2005-03-10 2007-01-16 Qualcomm Inc Content classification for multimedia processing
JP2008536451A (ja) 2005-04-14 2008-09-04 トムソン ライセンシング 空間スケーラブルビデオ符号化及び復号化向けスライス適応型動きベクトル符号化のための方法及び装置
US9113147B2 (en) * 2005-09-27 2015-08-18 Qualcomm Incorporated Scalability techniques based on content information
US8948260B2 (en) 2005-10-17 2015-02-03 Qualcomm Incorporated Adaptive GOP structure in video streaming
US8654848B2 (en) 2005-10-17 2014-02-18 Qualcomm Incorporated Method and apparatus for shot detection in video streaming
US9131164B2 (en) 2006-04-04 2015-09-08 Qualcomm Incorporated Preprocessor method and apparatus
US8155454B2 (en) * 2006-07-20 2012-04-10 Qualcomm Incorporated Method and apparatus for encoder assisted post-processing
US8253752B2 (en) * 2006-07-20 2012-08-28 Qualcomm Incorporated Method and apparatus for encoder assisted pre-processing
US8493834B2 (en) * 2006-08-28 2013-07-23 Qualcomm Incorporated Content-adaptive multimedia coding and physical layer modulation
US20100002761A1 (en) * 2006-10-16 2010-01-07 Thomson Licensing Method for using a network abstract layer unit to signal an instantaneous decoding refresh during a video operation
EP2092748A4 (en) 2006-12-14 2011-01-05 Thomson Licensing METHOD AND DEVICE FOR CODING AND / OR DECODING VIDEO DATA USING EXPANSION LAYER RESTRICTION FOR SOFTENCE SCALINGABILITY
EP1933564A1 (en) * 2006-12-14 2008-06-18 Thomson Licensing Method and apparatus for encoding and/or decoding video data using adaptive prediction order for spatial and bit depth prediction
EP1933565A1 (en) * 2006-12-14 2008-06-18 THOMSON Licensing Method and apparatus for encoding and/or decoding bit depth scalable video data using adaptive enhancement layer prediction
GB2445008B (en) * 2006-12-20 2008-12-31 Sony Comp Entertainment Europe Image compression and/or decompression
WO2008083521A1 (en) * 2007-01-10 2008-07-17 Thomson Licensing Video encoding method and video decoding method for enabling bit depth scalability
EP2120456B1 (en) * 2007-02-21 2013-10-16 NEC Corporation Dynamic picture stream processing device, dynamic picture reproducing device with the same and its method, and program
EP2193661A4 (en) 2007-06-27 2011-10-19 Thomson Licensing METHOD AND APPARATUS FOR ENCODING AND / OR DECODING VIDEO DATA USING RESIDUAL PREDICTION OF IMPROVING LAYER FOR SCALABILITY OF BINARY DEPTH
EP2051527A1 (en) 2007-10-15 2009-04-22 Thomson Licensing Enhancement layer residual prediction for bit depth scalability using hierarchical LUTs
KR100961443B1 (ko) * 2007-12-19 2010-06-09 한국전자통신연구원 방송 서비스의 가용도 개선을 위한 계층적 전송/수신 장치및 그 방법
US9479786B2 (en) * 2008-09-26 2016-10-25 Dolby Laboratories Licensing Corporation Complexity allocation for video and image coding applications
FR2940491B1 (fr) 2008-12-23 2011-03-18 Thales Sa Systeme de procede interactif pour la transmission sur un reseau bas debit d'images clefs selectionnees dans un flux video
JP5262879B2 (ja) * 2009-03-18 2013-08-14 株式会社Jvcケンウッド 再符号化装置および再符号化方法
WO2012169096A1 (ja) * 2011-06-08 2012-12-13 パナソニック株式会社 映像表示装置及び映像処理装置
EP2865177B1 (en) * 2012-06-25 2018-10-03 Huawei Technologies Co., Ltd. Method for signaling a gradual temporal layer access picture
KR102268597B1 (ko) 2013-11-18 2021-06-23 한화테크윈 주식회사 영상 처리 장치 및 방법
CN106162180A (zh) * 2016-06-30 2016-11-23 北京奇艺世纪科技有限公司 一种图像编解码方法及装置

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0622289A (ja) * 1992-06-30 1994-01-28 Hitachi Ltd 多解像度画像信号符号化装置及び復号装置
JPH10257502A (ja) * 1997-03-17 1998-09-25 Matsushita Electric Ind Co Ltd 階層画像符号化方法、階層画像多重化方法、階層画像復号方法及び装置

Family Cites Families (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5270813A (en) * 1992-07-02 1993-12-14 At&T Bell Laboratories Spatially scalable video coding facilitating the derivation of variable-resolution images
US5614952A (en) * 1994-10-11 1997-03-25 Hitachi America, Ltd. Digital video decoder for decoding digital high definition and/or digital standard definition television signals
CA2126467A1 (en) * 1993-07-13 1995-01-14 Barin Geoffry Haskell Scalable encoding and decoding of high-resolution progressive video
US5821986A (en) * 1994-11-03 1998-10-13 Picturetel Corporation Method and apparatus for visual communications in a scalable network environment
US5619256A (en) * 1995-05-26 1997-04-08 Lucent Technologies Inc. Digital 3D/stereoscopic video compression technique utilizing disparity and motion compensated predictions
JP3844844B2 (ja) 1997-06-06 2006-11-15 富士通株式会社 動画像符号化装置及び動画像符号化方法
US6061400A (en) * 1997-11-20 2000-05-09 Hitachi America Ltd. Methods and apparatus for detecting scene conditions likely to cause prediction errors in reduced resolution video decoders and for using the detected information
US6587505B1 (en) * 1998-08-31 2003-07-01 Canon Kabushiki Kaisha Image processing apparatus and method
JP2001094982A (ja) 1999-09-20 2001-04-06 Nippon Telegr & Teleph Corp <Ntt> 階層的画像符号化方法及びその装置と、その方法の実現に用いられるプログラム記録媒体と、階層的画像復号方法及びその装置と、その方法の実現に用いられるプログラム記録媒体
US6639943B1 (en) * 1999-11-23 2003-10-28 Koninklijke Philips Electronics N.V. Hybrid temporal-SNR fine granular scalability video coding
US6771703B1 (en) * 2000-06-30 2004-08-03 Emc Corporation Efficient scaling of nonscalable MPEG-2 Video
US20020037046A1 (en) * 2000-09-22 2002-03-28 Philips Electronics North America Corporation Totally embedded FGS video coding with motion compensation
EP1352526B1 (en) * 2000-11-23 2006-06-14 Koninklijke Philips Electronics N.V. Video decoding method and corresponding decoder
US7421127B2 (en) * 2001-10-26 2008-09-02 Koninklijke Philips Electronics N.V. Spatial scalable compression scheme using spatial sharpness enhancement techniques
JP2005506815A (ja) * 2001-10-26 2005-03-03 コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ 空間拡張可能圧縮のための方法及び装置
KR20040054744A (ko) * 2001-10-26 2004-06-25 코닌클리케 필립스 일렉트로닉스 엔.브이. 적응 콘텐트 필터링을 사용하는 공간 스케일가능 압축 체계

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0622289A (ja) * 1992-06-30 1994-01-28 Hitachi Ltd 多解像度画像信号符号化装置及び復号装置
JPH10257502A (ja) * 1997-03-17 1998-09-25 Matsushita Electric Ind Co Ltd 階層画像符号化方法、階層画像多重化方法、階層画像復号方法及び装置

Also Published As

Publication number Publication date
CN100505879C (zh) 2009-06-24
EP1634461A2 (en) 2006-03-15
KR101047541B1 (ko) 2011-07-08
WO2004114671A3 (en) 2005-04-14
EP1634460A1 (en) 2006-03-15
US20060146931A1 (en) 2006-07-06
KR101046912B1 (ko) 2011-07-07
CN100553332C (zh) 2009-10-21
KR20060025554A (ko) 2006-03-21
BRPI0411540A (pt) 2006-08-01
BRPI0411655A (pt) 2006-08-08
CN1810036A (zh) 2006-07-26
CN1810035A (zh) 2006-07-26
EP1634460B1 (en) 2014-08-06
JP2007524280A (ja) 2007-08-23
WO2004114672A1 (en) 2004-12-29
KR20060024417A (ko) 2006-03-16
WO2004114671A2 (en) 2004-12-29

Similar Documents

Publication Publication Date Title
JP2007525067A (ja) 低複雑性空間スケーラブル符号化のための方法および装置
KR101277355B1 (ko) 복잡도 스케일러블 비디오 인코딩 및 디코딩을 위한 방법및 장치
JP6701409B2 (ja) 符号化装置、復号装置、符号化方法、復号方法、及びプログラム
JP5542786B2 (ja) 複雑度スケーラブルなビデオデコーダの方法及び装置
JP5232796B2 (ja) 適応エンハンスメントレイヤ予測を使用したビット深度スケーラブルなビデオデータを符号化及び/又は復号化する方法及び装置
JP5036826B2 (ja) ビット深度スケーラビリティのためのエンハンスメントレイヤの残差予測を使用したビデオデータを符号化及び/又は復号化する方法及び装置
JP2009525637A (ja) ビデオ符号化器及びビデオ復号化器における削減分解能更新モード及び計算量スケーラビリティのための条件付き予測の方法及び装置
JP2008536451A (ja) 空間スケーラブルビデオ符号化及び復号化向けスライス適応型動きベクトル符号化のための方法及び装置
CN113545037B (zh) 对已编码图片进行解码的方法、装置、可读存储介质和计算机设备
KR100963424B1 (ko) 스케일러블 영상 복호화기 및 그 제어 방법
US20060193384A1 (en) Method and apparatus for low-complexity spatial scalable decoding
JP2016511592A (ja) ピクチャ・ブロックのコーディング方法および復号方法、対応する装置、およびデータストリーム
JP2023065565A (ja) 符号化映像ストリームを復号する方法、装置、及びコンピュータプログラム
JP6635197B2 (ja) 映像符号化装置、映像符号化方法およびプログラム
MXPA05013803A (en) Method and apparatus for low-complexity spatial scalable decoding

Legal Events

Date Code Title Description
A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20070613

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20070613

RD05 Notification of revocation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7425

Effective date: 20080318

RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20080415

RD02 Notification of acceptance of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7422

Effective date: 20090916

RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20090929

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20100629

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20100929

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20110329