JP2013153523A - 拡張されたビデオストリームを復号するための方法および装置 - Google Patents

拡張されたビデオストリームを復号するための方法および装置 Download PDF

Info

Publication number
JP2013153523A
JP2013153523A JP2013076263A JP2013076263A JP2013153523A JP 2013153523 A JP2013153523 A JP 2013153523A JP 2013076263 A JP2013076263 A JP 2013076263A JP 2013076263 A JP2013076263 A JP 2013076263A JP 2013153523 A JP2013153523 A JP 2013153523A
Authority
JP
Japan
Prior art keywords
video
enhancement layer
layer
access unit
syntax structure
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2013076263A
Other languages
English (en)
Other versions
JP5748234B2 (ja
Inventor
A Narasimhan Mandayam
エイ． ナラシマン、マンダヤム
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Arris Technology Inc
Original Assignee
Arris Technology Inc
General Instrument Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Arris Technology Inc, General Instrument Corp filed Critical Arris Technology Inc
Publication of JP2013153523A publication Critical patent/JP2013153523A/ja
Application granted granted Critical
Publication of JP5748234B2 publication Critical patent/JP5748234B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/24—Systems for the transmission of television signals using pulse code modulation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/127—Prioritisation of hardware or computational resources
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/146—Data rate or code amount at the encoder output
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/187—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a scalable video layer
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/42—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation
    • H04N19/423—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation characterised by memory arrangements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/44—Decoders specially adapted therefor, e.g. video decoders which are asymmetric with respect to the encoder
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/2343—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
    • H04N21/234327—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements by decomposing into layers, e.g. base layer and one or more enhancement layers
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/44004—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving video buffer management, e.g. video decoder buffer or video display buffer
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/83—Generation or processing of protective or descriptive data associated with content; Content structuring
    • H04N21/845—Structuring of content, e.g. decomposing content into time segments
    • H04N21/8451—Structuring of content, e.g. decomposing content into time segments using Advanced Video Coding [AVC]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/24—Systems for the transmission of television signals using pulse code modulation
    • H04N7/52—Systems for transmission of a pulse code modulated video signal with one or more other pulse code modulated signals, e.g. an audio signal or a synchronizing signal

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computing Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Television Systems (AREA)

Abstract

【課題】Ｈ．２６４／ＡＶＣ標準規格においてもＭＰＥＧ−２システム標準規格において、基本層および拡張層アクセスユニットがどのように再アセンブルされるかについて規定すること。
【解決手段】拡張層プログラムストリームに区切シンタックス構造を挿入することによって、拡張層プログラムストリームのアクセスユニットを区切る。
【選択図】図６Ｂ

Description

本発明は、拡張ビデオストリームを復号するための方法および装置に関する。
図面の図１を参照する。ビデオエンコーダ１０は、カメラなどのソースから、生ビデオデータ（通常、ＳＭＰＴＥ−２９２Ｍにおいて規定されたＨＤ−ＳＤＩフォーマットである）を受信する。ビデオエンコーダは、ＨＤ−ＳＤＩデータを利用してビデオ・エレメンタリストリームを生成するとともに、ビデオ・エレメンタリストリームをビデオパケット化器１４に供給する。ビデオパケット化器１４は、様々な長さのパケットから構成されたビデオパケット化エレメンタリストリーム（ＰＥＳ）を生成する。通常、ビデオＰＥＳの各パケットは、１つ以上のビデオフレームを含んでいる。同様に、オーディオエンコーダ（図示せず）は、例えば、マイクロホンから生オーディオデータを受信して、オーディオパケット化器にオーディオ・エレメンタリストリームを供給し、オーディオパケット化器は、様々な長さのパケットから構成されたオーディオＰＥＳを生成する。
ビデオおよびオーディオパケット化器はトランスポートストリーム・マルチプレクサ１８にビデオおよびオーディオＰＥＳを供給する。トランスポートストリーム・マルチプレクサ１８は、ビデオＰＥＳおよびオーディオＰＥＳにそれぞれ異なるプログラム識別子（ＰＩＤ）を割り当て、ビデオおよびオーディオＰＥＳの可変長パケットを、ＰＥＳのＰＩＤを含むヘッダとＰＥＳビデオ（またはオーディオ）データを含むペイロードとを各々有する、固定長のＭＰＥＧ−２・トランスポートストリーム（ＴＳ）パケットに編成する。
トランスポートストリーム・マルチプレクサによって出力されるシングルプログラム・トランスポートストリーム（ＳＰＴＳ）は、プログラム・マルチプレクサ２２に供給される場合がある。プログラム・マルチプレクサ２２は、ＳＰＴＳを他のプログラムを運ぶ他のトランスポートストリームと結合し、マルチプログラム・トランスポートストリーム（ＭＰＴＳ）を生成する。ＭＰＴＳはチャネルを通じて受信器に送信され、受信器において、プログラム・デマルチプレクサ２６は選択されたＳＰＴＳをＭＰＴＳから分離し、それをトランスポートストリーム・デマルチプレクサ３０に供給する。トランスポートストリーム・マルチプレクサによって出力されるＳＰＴＳは、最初に他のトランスポートストリームと結合してＭＰＴＳを生成することなく、トランスポートストリーム・デマルチプレクサに直接送信される場合もあるが、しかしいずれの場合においても、トランスポートストリーム・デマルチプレクサは、選択されたＳＰＴＳのトランスポートストリーム・パケットを受信して、それらをＰＩＤに基づき分離し、トランスポートストリーム・パケットを分解（ｄｅｐａｃｋｅｔｉｚｅ）してＰＥＳパケットを再生成し、いわゆるビデオ・システムターゲットデコーダ（Ｔ−ＳＴＤ）３４にビデオＰＥＳを宛て、オーディオＴ−ＳＴＤ３８にオーディオＰＥＳを宛てることが当業者には認められる。本出願の主題はビデオビットストリームの復号に関するので、オーディオデコーダについてさらには説明しない。
ビデオＴ−ＳＴＤ３４は、システムターゲットデコーダ・バッファ４０およびビデオデコーダ４２を備える。ＳＴＤバッファ４０は、トランスポート・バッファＴｂ、多重化バッファＭｂ、およびエレメンタリストリーム・バッファＥｂに機能的に等しい。トランスポート・バッファＴｂは、可変ビットレートでビデオＰＥＳを受信し、一定なビットレートで多重化バッファＭｂにデータを出力する。多重化バッファＭｂは、ビデオＰＥＳを分解し、符号化されたビットストリームを一定なビットレートでエレメンタリストリーム・バッファＥｂに供給する。エレメンタリストリーム・バッファ（デコーダ・バッファまたは符号化ピクチャ・バッファ（ＣＰＢ）と呼ばれることがある）は、ＣＢＲビットストリームを受信すると、画像を復号するために、ピクチャ復号時間にビデオデコーダによってビットがすべて直ちに除去されるまで、それらのビットを保持する。
デコーダが適切に動作するには、デコーダ・バッファがオーバフロー（ビットが失われ、ピクチャの復号は不可能）やアンダーフロー（デコーダにビットが足りず、適切な時間でピクチャを復号することは不可能）を起こさないことが重要である。デコーダ・バッファに対するビットの供給は、ビデオエンコーダ１０からビットストリームを受信する、圧縮データバッファ（ＣＤＢ）４６によって制御される。ビデオエンコーダは、ＣＤＢが満たされるのに応じたレートで、ＣＤＢにビットを供給する。ＣＤＢは一定なレートでビデオパケット化器１４にビットを供給し、多重化バッファはその同じレートでデコーダ・バッファにビットを供給するので、したがって、ＣＤＢが満たされることは、デコーダ・バッファが満たされることを反映している。ＣＤＢのオーバフロー／アンダーフローを防止するようにＣＤＢに対するビットの供給を調節することによって、デコーダ・バッファのアンダーフロー／オーバフローが回避される。
エンコーダの動作を支配するビデオ圧縮標準規格は、ＣＤＢが仮定的な基準デコーダのデコーダ・バッファより大きくないと指定する場合がある。
ＭＰＥＧ−２トランスポートストリームは、エラーの生じがちなチャネルを通じた符号化ビデオの送達に広く用いられている。また、ＭＰＥＧ−２システム層は、エラーのない環境においてプログラムストリーム（ＰＳ）による符号化ビデオの送信を行う。図１には、ビデオＰＥＳについて、ビデオＴ−ＳＴＤ３４に対するトランスポートストリームとしての送達に代わる、ビデオＰ−ＳＴＤ５０に対するプログラムストリームとしての送信を示す。
ビデオエンコーダ１０によって生成されたビットストリームは、ＩＳＯ／ＩＥＣ１４４９６−１０（ＭＰＥＧ−４、パート１０）ＡＶＣ（Ａｄｖａｎｃｅｄ Ｖｉｄｅｏ Ｃｏｄｉｎｇ）により指定されるビデオ圧縮標準規格に準拠する場合がある（一般にＨ．２６４／ＡＶＣと呼ばれる）。Ｈ．２６４／ＡＶＣは、フレームまたはフィールドの集合語として、ピクチャを用いる。Ｈ．２６４／ＡＶＣでは、アクセスユニットを１組のネットワーク抽象化層（ＮＡＬ）ユニットとして定義し、アクセスユニットの復号によって復号されたピクチャが常に生じると指定される。ＡＶＣエンコーダによって生成されるアクセスユニットのＮＡＬユニットは、ピクチャ情報を含むビデオ符号化層（ＶＣＬ）ユニットであるか、クローズドキャプションおよびタイミングなど他の情報を含む非ＶＣＬユニットである。
Ｈ．２６４／ＡＶＣの補遺Ｇでは、スケーラブル・ビデオ符号化またはＳＶＣとして知られているＨ．２６４／ＡＶＣの拡張について規定されている。ＳＶＣはＡＶＣ基本層にスケーラビリティの拡張を提供し、このスケーラビリティには、空間のスケーラビリティ、時間のスケーラビリティ、ＳＮＲのスケーラビリティ、およびビット深度のスケーラビリティが含まれる。ＳＶＣエンコーダは、Ｈ．２６４／ＡＶＣ−コンフォーマント基本層を生成し、その基本層に１つ以上の拡張層によって拡張を追加することが期待される。ＳＶＣの特定の実装において用いられる各種のスケーラビリティは、それ自身の拡張層を利用することができる。例えば、生ビデオデータが１９２０×１０８８ピクセルのフレームから構成された１０８０ＨＤとして知られるフォーマットである場合、基本層は、７０４×４８０ピクセルのピクチャとして復号可能なアクセスユニットから構成されたサブビットストリームによって運ばれるのに対し、拡張層は、基本層アクセスユニットを拡張層アクセスユニットと組み合わせることによって、適切なデコーダが１９２０×１０８８ピクセルのピクチャを提示することを可能とするアクセスユニットから構成されたサブビットストリームによって運ばれる。
基本層および１つ以上の拡張層の両方を復号する性能を有するデコーダを本明細書ではＳＶＣデコーダと呼び、拡張層を認識可能でなく、基本層アクセスユニットのみを復号可能、したがってＳＶＣ性能を有していないデコーダを、本明細書ではＡＶＣデコーダと呼ぶ。
ＳＶＣエンコーダによって生成されるアクセスユニットは、上述の基本層ＮＡＬユニット（簡便のためＡＶＣ−ＮＡＬユニットと呼ばれる場合がある）のみならず、ＳＶＣ−ＶＣＬ−ＮＡＬユニットおよびＳＶＣ−非ＶＣＬ−ＮＡＬユニット。図２には、ＳＶＣ標準規格によって規定されるようなＳＶＣアクセスユニットにおける、ＡＶＣ−ＮＡＬユニットおよびＳＶＣ−ＮＡＬユニットのシーケンスを示す。エンコーダが、例えば、２つの拡張層を生成する場合、２つの拡張層における非ＶＣＬ−ＮＡＬユニットは図２に示すシーケンスの隣接したブロック、すなわち、ＡＶＣ非ＶＣＬ−ＮＡＬユニットおよびＡＶＣ−ＶＣＬ−ＮＡＬユニットを含むブロック間にあり、２つの拡張層におけるＳＶＣ−ＶＣＬ−ＮＡＬユニットはＡＶＣ−ＶＣＬ−ＮＡＬユニットを含むブロックの後のシーケンスの隣接したブロックにある。
アクセスユニットから基本層ＮＡＬユニットを抽出するＳＶＣデコーダは、ＡＶＣ非ＶＣＬ−ＮＡＬユニットおよびＡＶＣ−ＶＣＬ−ＮＡＬユニットのみを選択する。
Ｈ．２６４／ＡＶＣでは、５ビットのパラメータであるｎａｌユニット型（ｎａｌ＿ｕｎｉｔ＿ｔｙｐｅ）、すなわち、ＮＵＴが指定される。Ｈ．２６４／ＡＶＣの下では、ＡＶＣ−ＮＡＬユニットはすべて、１〜１３の範囲のＮＵＴ値を有する。ＳＶＣでは、ＮＵＴ値１４，２０，１５が追加される。しかしながら、５または１に等しいＮＵＴを有するＮＡＬユニットの直前の１４に等しいＮＵＴを有するＮＡＬユニットは、それらのＮＡＬユニット（非ＶＣＬ−ＮＡＬユニットである）がＡＶＣとの互換性を有し、ＡＶＣデコーダによって復号可能であるように、基本層スライスのシグナリングを行う。
図３を参照すると、ＳＶＣエンコーダ１０’は、基本層と、例えば、２つの拡張層ＥＮＨ１，ＥＮＨ２とを運ぶ、ユニタリ・ビットストリームを生成する。その性能に応じて、デコーダは、基本層のみを、または基本層および拡張層ＥＮＨ１を、または基本層ならびに拡張層ＥＮＨ１，ＥＮＨ２の両方を受信すること、および復号することを期待する。ＳＶＣ用のＭＰＥＧ−２システム標準規格およびユースケースの下では、エンコーダは、３つのビットストリーム（それぞれ基本層のみを、基本層および拡張層ＥＮＨ１を、基本層ならびに拡張層ＥＮＨ１，ＥＮＨ２の両方を、運ぶビットストリーム）を提供することはできず、デコーダの復号可能なビットストリームがいずれであっても、デコーダにビットストリームを選択させることはできない。エンコーダは、別個のビットストリームにより基本層アクセスユニットと各拡張層の一部とを提供する必要がある。ＮＡＬ分離器４８を用いて、ＮＡＬユニットのＮＵＴ値に基づきユニタリ・ビットストリームを３つのサブビットストリームへと分離することによって、原理的には、ＭＰＥＧ−２システム標準規格に準拠することが可能である。１つのサブビットストリームは基本層ＮＡＬユニットを運ぶ、他の２つのサブビットストリームはそれぞれ、２つの拡張層用のＮＡＬユニットを運ぶ。３つのサブビットストリームは、それぞれのビデオパケット化器（一般に１４で表す）に渡され、ビデオパケット化器はそれぞれのビデオＰＥＳを生成する。３つのビデオＰＥＳは、３つのパケット化器の出力を一緒に多重化する目的で、ＳＶＣ−Ｔ−ＳＴＤに含まれたバッファにＴ−ＳＴＤバッファ均等物を含む、トランスポートストリーム・マルチプレクサ１８に供給される。マルチプレクサ１８は、３つのＰＥＳに異なるＰＩＤを割り当てて、３つの層を運ぶトランスポートストリームを出力する。
米国特許出願公開第２００７／０２３０５６４号明細書
図１に示すビデオＴ−ＳＴＤ３４は、基本層および拡張層アクセスユニットを再アセンブルし、ＳＶＣデコーダによって復号可能な完全なＳＶＣアクセスユニットを生成する性能を提供しないので、図３に示すトランスポートストリーム・マルチプレクサ１８’によって生成されるトランスポートストリームによって運ばれるビットストリームを復号することは不可能である。Ｈ．２６４／ＡＶＣ標準規格においてもＭＰＥＧ−２システム標準規格においても、基本層および拡張層アクセスユニットがどのように再アセンブルされるかについて規定されてない。したがって、図３に示すアーキテクチャには、従来、実用的な用途が欠けていた。
開示の主題の第１の態様では、基本層ビデオアクセスユニットと拡張層ビデオアクセスユニットとから構成された拡張ビデオストリームを復号する方法において、各アクセスユニットは複数のシンタックス構造を含む方法、が提供される。この方法は、基本層アクセスユニットのシンタックス構造を基本層バッファに渡す工程と、拡張層アクセスユニットのシンタックス構造を拡張層バッファに渡す工程と、基本層バッファに渡されたシンタックス構造を所定のシーケンスにより出力する工程と、拡張層バッファに渡されたシンタックス構造を所定のシーケンスにより出力する工程と、基本層バッファおよび拡張層バッファによってそれぞれ出力されるシンタックス構造のシーケンスを再結合して、基本層シンタックス構造および拡張層シンタックス構造を所定のシーケンスで含む、完全な拡張アクセスユニットを形成する工程と、を含む。
開示の主題の第２の態様では、拡張されたビデオ信号を生成する方法が提供される。この方法は、基本層ビデオアクセスユニットと拡張層ビデオアクセスユニットとから構成されたユニタリ・ビットストリームを受信する工程と、ユニタリ・ビットストリームから基本層プログラムストリームおよび拡張層プログラムストリームを分離する工程と、拡張層プログラムストリームに区切シンタックス構造を挿入する工程と、を含む。
開示の主題の第３の態様では、拡張されたビデオ信号を生成する方法が提供される。この方法は、基本層ビデオアクセスユニットと拡張層ビデオアクセスユニットとから構成されたユニタリ・ビットストリームを受信する工程であって、各拡張層アクセスユニットはビデオ層シンタックス構造および非ビデオ層シンタックス構造を含む工程と、ユニタリ・ビットストリームから基本層プログラムストリームおよび拡張層プログラムストリームを分離する工程と、拡張層アクセスユニットの非ビデオ層シンタックス構造を基本層プログラムストリームに含める工程であって、それによって、拡張されたビデオ信号は、拡張層アクセスユニットの非ビデオ層シンタックス構造を含む基本層コンポーネントと、拡張層アクセスユニットのビデオ層シンタックス構造を含む拡張層コンポーネントとを含む工程と、を含む。
開示の主題の第４の態様では、拡張ビデオストリームの一連の基本層アクセスユニットを運ぶ基本層プログラムストリームと、該拡張ビデオストリームの一連の拡張層アクセスユニットを運ぶ１つ以上の拡張層プログラムストリームとを復号するための復号装置が提供される。各アクセスユニットは複数のシンタックス構造を含み、復号装置は、基本層プログラムストリームを受信して、各基本層アクセスユニットのシンタックス構造を所定のシーケンスにより出力するように接続されている基本層バッファと、拡張層プログラムストリームを受信して、各拡張層アクセスユニットのシンタックス構造を所定のシーケンスにより出力するように接続されている拡張層バッファと、基本層バッファおよび拡張層バッファによってそれぞれ出力されるシンタックス構造を受信して、基本層シンタックス構造および拡張層シンタックス構造を所定のシーケンスで含む、完全な拡張アクセスユニットを形成するように接続されている再アセンブリ機能部と、を備える。
開示の主題の第５の態様では、拡張されたビデオ信号を生成するための装置が提供される。この装置は、基本層アクセスユニットと拡張層アクセスユニットとから構成されたユニタリ・ビットストリームを受信するための入力を有し、ユニタリ・ビットストリームから基本層プログラムストリームおよび拡張層プログラムストリームを分離するための分離器と、拡張層プログラムストリームに区切シンタックス構造を挿入するための挿入器と、を備える。
開示の主題の第６の態様では、拡張されたビデオ信号を生成するための装置が提供される。この装置は、基本層アクセスユニットと拡張層アクセスユニットとから構成されたユニタリ・ビットストリームを受信するための入力を有し、各拡張層アクセスユニットはビデオ層シンタックス構造および非ビデオ層シンタックス構造を含む。この装置は、さらに、ユニタリ・ビットストリームから基本層プログラムストリームおよび拡張層プログラムストリームを分離するためと、拡張層アクセスユニットの非ビデオ層シンタックス構造を基本層プログラムストリームに含め、それによって、拡張されたビデオ信号は、拡張層アクセスユニットの非ビデオ層シンタックス構造を含む基本層コンポーネントと、拡張層アクセスユニットのビデオ層シンタックス構造を含む拡張層コンポーネントとを含むための分離器と、を備える。
開示の主題の第７の態様では、基本層アクセスユニットおよび拡張層アクセスユニットを運ぶ拡張ビデオストリームを受信するための入力を有するコンピュータによって実行されたときに１つの方法によってビデオストリームを処理するソフトウェアを含むコンピュータ可読媒体において、各アクセスユニットは複数のシンタックス構造を含む、コンピュータ可読媒体を提供する。この方法は、基本層アクセスユニットのシンタックス構造を基本層バッファに渡す工程と、拡張層アクセスユニットのシンタックス構造を拡張層バッファに渡す工程と、基本層バッファに渡されたシンタックス構造を所定のシーケンスにより出力する工程と、拡張層バッファに渡されたシンタックス構造を所定のシーケンスにより出力する工程と、基本層バッファおよび拡張層バッファによってそれぞれ出力されるシンタックス構造のシーケンスを再結合して、基本層シンタックス構造および拡張層シンタックス構造を所定のシーケンスで含む、完全な拡張アクセスユニットを形成する工程と、を含む。
開示の主題の第８の態様では、基本層アクセスユニットと拡張層アクセスユニットとから構成されたユニタリ・ビットストリームを受信するための入力を有するコンピュータによって実行されたときに１つの方法によってビデオストリームを処理するソフトウェアを含むコンピュータ可読媒体を提供する。この方法は、ユニタリ・ビットストリームから基本層プログラムストリームおよび拡張層プログラムストリームを分離する工程と、拡張層プログラムストリームに区切シンタックス構造を挿入する工程と、を含む。
開示の主題の第９の態様では、基本層アクセスユニットと拡張層アクセスユニットとから構成されたユニタリ・ビットストリームを受信するための入力を有するコンピュータによって実行されたときに１つの方法によってビデオストリームを処理するソフトウェアを含むコンピュータ可読媒体において、各拡張層アクセスユニットはビデオ層シンタックス構造および非ビデオ層シンタックス構造を含むコンピュータ可読媒体を提供する。この方法は、ユニタリ・ビットストリームから基本層プログラムストリームおよび拡張層プログラムストリームを分離する工程と、拡張層アクセスユニットの非ビデオ層シンタックス構造を基本層プログラムストリームに含める工程であって、それによって、拡張されたビデオ信号は、拡張層アクセスユニットの非ビデオ層シンタックス構造を含む基本層コンポーネントと、拡張層アクセスユニットのビデオ層シンタックス構造を含む拡張層コンポーネントとを含む工程と、を含む。
プレゼンテーション用の圧縮ビデオマテリアルを供給するための第１のシステムのアーキテクチャの概略ブロック図。 基本層および１つの拡張層を有するＳＶＣアクセスユニットの構造を示す図。 復号およびプレゼンテーション用の圧縮したＳＶＣビデオマテリアルの送信用のアーキテクチャおよびユースケースの概略ブロック図。 プレゼンテーション用の圧縮ビデオマテリアルを供給するための第２のシステムのアーキテクチャの概略ブロック図。 プレゼンテーション用の圧縮ビデオマテリアルを供給するための第３のシステムのアーキテクチャの概略ブロック図。 図５に示すシステムにおける様々な点で生成されたデータユニットの構造を示す図。 図５に示すシステムにおける様々な点で生成されたデータユニットの構造を示す図。 図５に示すシステムにおける様々な点で生成されたデータユニットの構造を示す図。 図４および図５に関連して記載した処理の一部を実装するために用いられ得るコンピュータの概略ブロック図。
図４に示すＳＶＣエンコーダ１０’は、基本層と１つの拡張層とを運ぶビットストリームを生成する。ＮＡＬ分離器５２は、このビットストリームを、基本層ＮＡＬユニットおよび拡張層ＮＡＬユニットをそれぞれ運ぶ２つのサブビットストリームに分け、この２つのサブビットストリームは、基本層ビデオパケット化器１４０および拡張層ビデオパケット化器１４１に渡される。図３に関連して記載したように、２つのパケット化器はそれぞれビデオＰＥＳを生成する。トランスポートストリーム・マルチプレクサ５４は、２つのＰＥＳに異なるＰＩＤを割り当てて、２つの層を運ぶトランスポートストリームを出力する。トランスポートストリーム・マルチプレクサ５４は、ＳＶＣ−Ｔ−ＳＴＤモデルに準拠するＴ−ＳＴＤバッファを含む。トランスポートストリームは、ＳＰＴＳとしてトランスポートストリーム・デマルチプレクサ５６に対し直接送信されるか、他のトランスポートストリームと多重化され、プログラム・デマルチプレクサ（図示せず）を介してトランスポートストリーム・デマルチプレクサ５６に対しＭＰＴＳの一部として供給される。
従来のように、トランスポートストリーム・デマルチプレクサ５６は、ＰＩＤに基づきトランスポートストリーム・パケットを分離し、トランスポートストリーム・パケットを分解してＰＥＳパケットを再生成する。このようにして、トランスポートストリーム・デマルチプレクサは、基本層ＰＥＳおよび拡張層ＰＥＳの両方や１つ以上のオーディオＰＥＳを出力する。図４に示すように、基本層ＰＥＳおよび拡張層ＰＥＳは、ビデオＴ−ＳＴＤ６０に対し供給される。ビデオＴ−ＳＴＤ６０は、基本層Ｔ−ＳＴＤバッファ６４および拡張層Ｔ−ＳＴＤバッファ６８を含む。基本層Ｔ−ＳＴＤバッファ６４は、図１に示したＴ−ＳＴＤバッファ４０と同様、トランスポート・バッファＴｂ０および多重化バッファＭｂ０を含む。多重化バッファは、エレメンタリストリーム・バッファセグメントＥＳｂ０に対し、基本層アクセスユニット（ＡＶＣ非ＶＣＬ−ＮＡＬユニットおよびＡＶＣ−ＶＣＬ−ＮＡＬユニット）を含む符号化ビットストリームを出力する。バッファセグメントＥＳｂ０のサイズは、Ｈ．２６４／ＡＶＣ標準規格において規定されているエレメンタリストリーム・バッファＥｂのサイズを超えてはならない。
また、拡張層Ｔ−ＳＴＤバッファ６８は、トランスポート・バッファＴｂ１、多重化バッファＭｂ１、およびエレメンタリストリーム・バッファセグメントＥＳｂ１も含む。多重化バッファＭｂ０と同様、バッファＭｂ１は、拡張層アクセスユニット（ＳＶＣ−非ＶＣＬ−ＮＡＬユニットおよびＳＶＣ−ＶＣＬ−ＮＡＬユニット）を含む符号化ビットストリームを出力し、この符号化ビットストリームは、基本層アクセスユニットと適切に組み合わされると、Ｈ．２６４の補遺Ｇにより規定されているようなＳＶＣアクセスユニットを生成する。
バッファセグメントＥＳｂ０，ＥＳｂ１の結合したサイズは、基本層および１つの拡張層を有するプログラムを復号するＳＶＣデコーダ用のＨ．２６４／ＡＶＣ標準規格の補遺Ｇにおいて規定されているエレメンタリストリーム・バッファＥｂのサイズを超えてはならない。しかしながら、許可される総バッファサイズは、バッファセグメントＥＳｂ０のサイズがＡＶＣデコーダ用のＨ．２６４／ＡＶＣ標準規格において規定されているエレメンタリストリーム・バッファＥｂのサイズを超えない限り、デコーダの性能を最適化するようにバッファセグメント間に割り当てられてよい。
トランスポートストリーム・デマルチプレクサ５６によって受信されるアクセスユニットのＮＡＬユニットは、アクセスユニットを復号するために必要な順序になっていない場合もあることが、当業者には認められる。エレメンタリストリーム・バッファセグメント（多重化バッファによって提供される符号化ビットストリームを受信する）は、各アクセスユニットのＮＡＬユニットが復号に適切な順序により出力されることを保証する。再アセンブリ機能部Ｒｅ−Ａは、２つのＴ−ＳＴＤバッファによってそれぞれ出力されるＡＶＣおよびＳＶＣ−ＮＡＬユニットを受信し、それらのＮＡＬユニットを適切なシーケンスにより結合して、図２に示すＳＶＣアクセスユニット構造を再作成する。再アセンブリ機能部は、それぞれの適切な時間で復号を行うために、ＳＶＣデコーダにＳＶＣアクセスユニットを供給する。このようにして、Ｔ−ＳＴＤ６０は、ＳＶＣによってサポートされる拡張を含むピクチャを出力することが可能である。
バッファ管理（すなわち、トランスポート・バッファ、多重化バッファ、および結合したエレメンタリストリーム・バッファセグメントのサイズや、バッファ間の転送レート）は、従来のＭＰＥＧ−２のＴ−ＳＴＤにおけるのと同じである。データは、従来のＭＰＥＧ−２のＴ−ＳＴＤモデルにおける多重化バッファからのデータの出力用に指定されたレートでエレメンタリストリーム・バッファセグメントに入り、所与のＳＶＣアクセスユニットの基本層ＮＡＬユニットおよび拡張層ＮＡＬユニットの両方が、それぞれのエレメンタリストリーム・バッファセグメントに存在した後、即座に再アセンブリ機能部に対し転送され、そこで結合されて、即座にＳＶＣデコーダに対し転送される。したがって、エレメンタリストリーム・バッファセグメントおよび再アセンブリ機能部は、多重化バッファとＳＶＣデコーダとの間のレイテンシを生じない。
トランスポートストリーム・マルチプレクサ５４によって出力されるトランスポートストリームは、トランスポートストリーム・デマルチプレクサ３０を介してＡＶＣ−Ｔ−ＳＴＤ３４’にも供給される場合がある。トランスポートストリーム・マルチプレクサ３０は、基本層ＰＥＳをトランスポートストリームから分離し、基本層ＰＥＳをＴ−ＳＴＤ３４’に供給する。拡張層ＰＥＳがＴ−ＳＴＤ３４’に対して供給されないので、Ｔ−ＳＴＤ３４’は、基本層アクセスユニットの復号に不要なＮＡＬユニットを処理することが必要となることによる負担を受けない。
ここで図５を参照すると、別の実施形態では、ＳＶＣエンコーダ１０’によって生成されたビットストリームは基本層および２つの拡張層ＥＮＨ１，ＥＮＨ２を運ぶ。ＮＡＬ分離器５２は、ＮＡＬユニットのＮＵＴ値に基づきビットストリームを３つのサブビットストリームに分離するが、図４の場合と異なり、基本層ビットストリームは、ＡＶＣ−ＮＡＬユニットだけでなく、ＳＶＣ−非ＶＣＬ−ＮＡＬユニット（上述のように、ＡＶＣに対する互換性を有するＮＡＬユニットを含む）も含む。ＮＡＬ分離器によって生成される基本層ビットストリームは、図６Ａに示す構造を有する。２つの各拡張層サブビットストリームは各々、それぞれのＳＶＣアクセスユニット用のＳＶＣ−ＶＣＬ−ＮＡＬユニットを含む。また、ＮＡＬ分離器は、図６Ｂに示すように、各拡張層サブビットストリームの各アクセスユニットの開始部に、ＳＶＣ区切（ｄｅｌｉｍ）ＮＡＬユニットを挿入する。ＳＶＣ区切ＮＡＬユニットは非常に小さくすることができ、２３または２４など、予約済みのＮＵＴ値を有する。このＳＶＣ区切ＮＡＬユニットは、ＭＰＥＧ−２のシステム標準規格によって定められるように、アクセスユニットデリミタに加え、９に等しいＮＵＴを有する。
３つのサブビットストリームがそれぞれパケット化器１４０，１４１，１４２に供給され、パケット化器は、それぞれＰＥＳを生成し、そのＰＥＳをトランスポートストリーム・マルチプレクサ７２に供給する。トランスポートストリーム・マルチプレクサ７２（ＳＶＣ−Ｔ−ＳＴＤモデルに準拠するバッファを含む）は、この３つのＰＥＳに対し異なるＰＩＤを割り当て、３つの層を運ぶ１つのトランスポートストリームを出力する。基本層ＰＥＳは、基本層アクセスユニットを復号するのに必要なＡＶＣ−ＮＡＬユニットを全て含むことが認められる。
トランスポートストリーム・マルチプレクサ７２によって生成されたトランスポートストリームは、トランスポートストリーム復号機能部７４に対し供給される。トランスポートストリーム復号機能部は、トランスポートストリーム・デマルチプレクサ７６を含み、トランスポートストリーム・デマルチプレクサ７６は、ＰＩＤに基づき基本層ＰＥＳおよび２つの拡張層ＰＥＳを分離して、それぞれのＴ−ＳＴＤバッファ８０，８１，８２に対しそれらを供給する。各Ｔ−ＳＴＤバッファは、トランスポート・バッファＴｂ、多重化バッファＭｂ、およびエレメンタリストリーム・バッファセグメントＥＳｂを含む。バッファセグメントＥＳｂ０，ＥＳｂ１，ＥＳｂ２の結合したサイズは、基本層および２つの拡張層を有するプログラムを復号するＳＶＣデコーダ用のＨ．２６４／ＡＶＣ標準規格の補遺Ｇにおいて規定されているエレメンタリストリーム・バッファＥｂのサイズを超えてはならない。しかしながら、許可される総バッファサイズは、バッファセグメントＥＳｂ０，ＥＳｂ１の結合したサイズが、基本層および１つの拡張層を有するプログラムを復号するＳＶＣデコーダ用のＨ．２６４／ＡＶＣ標準規格の補遺Ｇにおいて規定されているエレメンタリストリーム・バッファＥｂのサイズを超えず、バッファセグメントＥＳｂ０のサイズが、ＡＶＣデコーダ用のＨ．２６４／ＡＶＣ標準規格において規定されているエレメンタリストリーム・バッファＥｂのサイズを超えない限り、デコーダの性能を最適化するようにバッファセグメント間に割り当てられてよい。
各Ｔ−ＳＴＤバッファは、図４に関連して記載したのと同様にして受信したビットストリームを、バッファＤＲＢ０が図６Ａに示す構造を有するアクセスユニットを出力し、バッファＤＲＢ１およびＤＲＢ２が各々図６Ｂに示す構造を有するアクセスユニットを出力するように、処理する。バッファ構造の出力は、図６Ｃに示す各アクセスユニットについてのＮＡＬユニットのシーケンスを生成するように、再アセンブリ機能部Ｒｅ−Ａによって連結される。再アセンブリ機能部の出力は、図４に関連して記載したように、エレメンタリストリーム・バッファに渡される。
図５には、図４に関連して記載したように、マルチプレクサ５４によって出力されるトランスポートストリームがトランスポートストリーム・デマルチプレクサ３０を介してＡＶＣ−Ｔ−ＳＴＤ３４’に供給され得ることを示す。
また、図５には、エラーのない媒体を通じて、プログラムストリーム復号機能部９０に供給されている３つのビデオＰＥＳを示す。基本層ＰＥＳが基本層ＡＶＣ−Ｐ−ＳＴＤ（バッファおよびデコーダを含む）に対し供給されるのに対し、基本層ＰＥＳおよび２つの拡張層ＰＥＳ（ＥＮＨ１，ＥＮＨ２）は、プログラムストリーム・マルチプレクサに対し供給される。プログラムストリーム・マルチプレクサは、ＳＶＣ−Ｐ−ＳＴＤモデルに準拠するバッファを備える。プログラムストリーム・マルチプレクサは、基本層ＰＥＳおよび拡張層ＰＥＳ（ＥＮＨ１）をＳＶＣデコーダ９１に供給する。これは、基本層ＰＥＳおよび拡張層ＰＥＳからＰＥＳヘッダを除去し、エレメンタリストリーム・バッファセグメントＥＳｂ０に基本層ビットストリームを宛て、エレメンタリストリーム・バッファセグメントＥＳｂ１に拡張層ＥＮＨ１ビットストリームを宛てる、プログラムストリーム・デマルチプレクサを含む。バッファセグメントＥＳｂ０，ＥＳｂ１の出力は、再アセンブリ機能部に渡される。バッファセグメントＥＳｂ０，ＥＳｂ１のサイズは、バッファ８０，８１におけるエレメンタリストリーム・バッファセグメントのサイズと同様に変化し得る。ＳＶＣデコーダ９１の動作は、したがって、プログラムストリームに関してはバッファ８０，８１の動作に相当し、トランスポートストリームに関しては再アセンブリ機能部に相当する。
プログラムストリーム・マルチプレクサは、基本層ＰＥＳと２つの拡張層ＰＥＳ（ＥＮＨ１，ＥＮＨ２）とをＳＶＣデコーダ９２に供給する。ＳＶＣデコーダ９２はデコーダ９１と同様であるが、Ｔ−ＳＴＤバッファ８２におけるエレメンタリストリーム・バッファに対応するエレメンタリストリーム・バッファセグメントＥＳｂ２だけ増大している。プログラムストリーム復号機能部９０は、したがって、基本層のみを、または基本層および拡張層ＥＮＨ１を、または基本層ならびに拡張層ＥＮＨ１および拡張層ＥＮＨ２の両方を、復号することが可能である。
図４に示した実施形態および図５に示した実施形態の両方において、利用可能なバッファサイズは、補遺Ｇを含むＨ．２６４／ＡＶＣ標準規格における制限に基づき、エンコーダによって生成されるビットストリームの様々な層に対し、必要に応じて動的に割り当てられてよい。このようにして様々な層に対するバッファサイズの動的で柔軟な割当を可能とすることによって、デコーダは、例えば、アクセスユニットの複雑さに基づき、基本層に対するバッファサイズの割当を減少させるとともに、拡張層のうちの１つ以上に対するバッファサイズの割当を増加させて、適切な復号を行うことができる。
ＳＶＣ区切ＮＡＬユニットは、トランスポートストリーム・デマルチプレクサ７６によって容易に検出され、ＳＶＣ−ＶＣＬ−ＮＡＬユニットの分離を容易にする。ＳＶＣ区切ＮＡＬユニットは、デコーダによって認識されず、したがって、拡張層アクセスユニットの復号に影響を与えない。
図４に関連して記載したように、ＮＡＬ分離器は、基本層ＰＥＳが図２に示すアクセスユニット構造のＡＶＣ−ＮＡＬユニットのみを含み、拡張層ＰＥＳがＳＶＣ−ＮＡＬユニットを全て含むように、ＳＶＣ−非ＶＣＬ−ＮＡＬユニットおよびＳＶＣ−ＶＣＬ−ＮＡＬユニットの両方をＳＶＣアクセスユニットから分離することができる。一方、図５の場合には、ＮＡＬ分離器は、基本層ＰＥＳがＳＶＣ−非ＶＣＬ−ＮＡＬユニットを含むように、ＡＶＣ−ＮＡＬユニットによってＳＶＣ−非ＶＣＬ−ＮＡＬユニットをグループ化する。この手法によって、基本層ＰＥＳを送信するのに必要な帯域幅はわずかに増大するが、図２に示すＳＶＣアクセスユニット構造に対する考察から、基本層ＰＥＳにＳＶＣ−非ＶＣＬ−ＮＡＬユニットを含めることで、基本層ＰＥＳおよび拡張層ＰＥＳにそれぞれ含まれるＮＡＬユニットの単純な連結によってＳＶＣアクセスユニットの再アセンブリを行うことが可能であることが認められる。他の場合には、再アセンブリバッファではデータの構文解析（パース）が必要となり、処理にレイテンシおよび複雑さが加わる。ＳＶＣアクセスユニットの再アセンブリが単純であるため、基本層ＰＥＳを送信するのにわずかに大きな帯域幅が必要であるという小さな不利は相殺される。
図６を参照すると、図４または図５に示したＮＡＬ分離器およびパケット化器、図４に示したトランスポートストリーム・デマルチプレクサ５６およびビデオＴ−ＳＴＤ６０、または図５に示したプログラムストリームまたはトランスポートストリームの復号機能部は、一般に従来のアーキテクチャにより構成された、１つ以上のプロセッサ１６１、ランダムアクセスメモリ１６２、リードオンリメモリ１６３、Ｉ／Ｏデバイス１６４（ビットストリームの送受信のための適切なアダプタを含む）、ユーザ・インタフェース１６５、ＣＤ−ＲＯＭドライブ１６６、およびハードディスクドライブ１６７を備える、コンピュータを用いて実装できる。このコンピュータは、ハードディスクドライブ１６７またはＣＤ−ＲＯＭ１６８などコンピュータ可読媒体に記憶され、実行のためにランダムアクセスメモリ１６２へロードされるプログラムによって、動作する。このプログラムは、コンピュータが、入力アダプタを介して含まれる特定の入力信号を運ぶビットストリームを受信するとき、コンピュータが適切なバッファにメモリを割り当てるとともに他の適切な資源を利用し、図４および５に関連して記載した様々な動作を実行するように機能して、特定の出力信号を運ぶビットストリームを出力アダプタを介して送信する命令から構成されている。
１つまたは２つの拡張層に関連してスケーラブルなビデオストリームについて記載したが、Ｈ．２６４／ＡＶＣに対する補遺Ｇでは７つまでの拡張層が可能であることが、当業者には認められる。また、スケーラブルなビデオに関して拡張層について記載したが、ＡＶＣ基本層に対する他の種類の拡張も可能であることも認められる。
添付の特許請求の範囲では、Ｈ．２６４／ＡＶＣに関する参照文献において用いられる用語（シンタックス構造など）も用いているが、それは読手の簡便のためのものであり、Ｈ．２６４／ＡＶＣに記載されている特定のビデオ符号化に依存した方法、装置、およびコンピュータ可読媒体に、特許請求の範囲を限定することを意図したものではない。

Claims (10)

  1. 拡張されたビデオ信号を生成する方法であって、前記方法は、
    基本層ビデオアクセスユニットと拡張層ビデオアクセスユニットとから構成されたユニタリ・ビットストリームを受信する工程と、
    ユニタリ・ビットストリームから基本層プログラムストリームおよび拡張層プログラムストリームを分離する工程と、
    前記拡張層プログラムストリームに区切シンタックス構造を挿入することによって、前記拡張層プログラムストリームのアクセスユニットを区切る工程と
    を有する方法。
  2. 拡張されたビデオ信号を生成する方法であって、前記方法は、
    基本層ビデオアクセスユニットと拡張層ビデオアクセスユニットとから構成されたユニタリ・ビットストリームを受信する工程であって、各拡張層アクセスユニットはビデオ層シンタックス構造および非ビデオ層シンタックス構造を含む工程と、
    ユニタリ・ビットストリームから基本層プログラムストリームおよび拡張層プログラムストリームを分離する工程と、
    前記拡張層アクセスユニットの非ビデオ層シンタックス構造を前記基本層プログラムストリームに含める工程であって、それによって、拡張されたビデオ信号は、前記拡張層アクセスユニットの非ビデオ層シンタックス構造を含む基本層コンポーネントと、前記拡張層アクセスユニットのビデオ層シンタックス構造を含む拡張層コンポーネントとを含む工程と
    を有し、
    前記拡張層コンポーネントは、前記拡張層アクセスユニットの非ビデオ層シンタックス構造を含まない、方法。
  3. 多重化トランスポートストリームの一連の基本層アクセスユニットを運ぶ基本層プログラムストリームと、前記多重化トランスポートストリームの一連の拡張層アクセスユニットを運ぶ１つ以上の拡張層プログラムストリームとを復号するための復号装置において、各アクセスユニットは複数のシンタックス構造を含み、各拡張層は、ビデオ層シンタックス構造と非ビデオ層シンタックス構造とを含み、前記復号装置は、
    前記基本層プログラムストリームと前記非ビデオ層シンタックス構造とを受信するように接続され、各基本層アクセスユニットのシンタックス構造と前記非ビデオ層シンタックス構造とを所定のシーケンスにより出力するように構成されている基本層バッファと、
    前記拡張層プログラムストリームと前記ビデオ層シンタックス構造とを受信するように、かつ各拡張層アクセスユニットの前記ビデオ層シンタックス構造を所定のシーケンスにより出力するように接続されている拡張層バッファと、
    前記基本層バッファおよび前記拡張層バッファによってそれぞれ出力されるシンタックス構造を受信して、基本層シンタックス構造および拡張層シンタックス構造を所定のシーケンスで含む、完全な拡張アクセスユニットを形成するように接続されている再アセンブリ機能部と
    を備え、
    前記非ビデオ層シンタックス構造は、前記拡張層バッファによって受信されない、復号装置。
  4. 前記復号装置はさらに、完全な拡張アクセスユニットを受信するように接続されているビデオデコーダを備え、
    前記ビデオデコーダは、拡張アクセスユニットを復号してビデオ表現ユニットを形成するように動作する、
    請求項３に記載の復号装置。
  5. 前記基本層プログラムストリームと前記拡張層プログラムストリームは、トランスポートストリームによりカプセル化されており、
    前記復号装置は、トランスポートストリームを受信するための、かつ基本層プログラムストリームと拡張層プログラムストリームとを分離して出力するためのトランスポートストリーム・デマルチプレクサを備える、
    請求項３に記載の復号装置。
  6. 各拡張層アクセスユニットに含まれるシンタックス構造は、ビデオ符号化層拡張層アクセスユニットを含み、
    トランスポートストリームによりカプセル化された前記拡張層プログラムストリームの各拡張層アクセスユニットは、前記拡張層アクセスユニットに含まれるビデオ符号化層アクセスユニットの境界を示す区切シンタックス構造を運び、
    前記トランスポートストリーム・デマルチプレクサは、前記区切シンタックス構造に基づきトランスポートストリームから前記拡張層アクセスユニットを抽出する、
    請求項５に記載の復号装置。
  7. 拡張されたビデオ信号を生成するための装置であって、前記装置は、
    基本層アクセスユニットと拡張層アクセスユニットとを有するユニタリ・ビットストリームを受信するための入力アダプタに通信可能に接続された少なくとも１つのプロセッサを備え、
    前記少なくとも１つのプロセッサは、前記ユニタリ・ビットストリームから基本層プログラムストリームおよび拡張層プログラムストリームを分離するための分離器を提供するように構成され、
    前記少なくとも１つのプロセッサはさらに、前記拡張層プログラムストリームのアクセスユニットを区切るために、前記拡張層プログラムストリームに区切シンタックス構造を挿入するための挿入器を提供するように構成される装置。
  8. 拡張されたビデオ信号を生成するための装置であって、前記装置は、
    基本層アクセスユニットと拡張層アクセスユニットとを有するユニタリ・ビットストリームを受信するための入力アダプタに通信可能に接続された少なくとも１つのプロセッサを備え、各拡張層アクセスユニットは、ビデオ層シンタックス構造および非ビデオ層シンタックス構造を含み、
    前記少なくとも１つのプロセッサは、分離器を提供するように構成され、
    前記分離器は、前記ユニタリ・ビットストリームから基本層プログラムストリームおよび拡張層プログラムストリームを分離し、前記拡張層アクセスユニットの非ビデオ層シンタックス構造を、前記基本層プログラムストリームに含め、それによって、拡張されたビデオ信号は、前記拡張層アクセスユニットの非ビデオ層シンタックス構造を含む基本層コンポーネントと、前記拡張層アクセスユニットのビデオ層シンタックス構造を含む拡張層コンポーネントとを含み、それによって前記拡張層コンポーネントは、前記拡張層アクセスユニットの非ビデオシンタックス構造を含まない、装置。
  9. 基本層アクセスユニットと拡張層アクセスユニットとを有するユニタリ・ビットストリームを受信するための入力を有するコンピュータによって実行されたときに１つの方法によってビデオストリームを処理するソフトウェアを含む固定されたコンピュータ可読媒体において、前記方法は、
    前記ユニタリ・ビットストリームから基本層プログラムストリームおよび拡張層プログラムストリームを分離する工程と、
    拡張層プログラムストリームに区切シンタックス構造を挿入することによって、前記拡張層プログラムストリームのアクセスユニットを区切る工程と
    を有する、コンピュータ可読媒体。
  10. 基本層アクセスユニットと拡張層アクセスユニットとから構成されたユニタリ・ビットストリームを受信するための入力を有するコンピュータによって実行されたときに１つの方法によってビデオストリームを処理するソフトウェアを含むコンピュータ可読媒体において、各拡張層アクセスユニットはビデオ層シンタックス構造および非ビデオ層シンタックス構造を含み、前記方法は、
    前記ユニタリ・ビットストリームから基本層プログラムストリームおよび拡張層プログラムストリームを分離する工程と、
    拡張層アクセスユニットの非ビデオ層シンタックス構造を基本層プログラムストリームに含める工程であって、それによって、拡張されたビデオ信号は、前記拡張層アクセスユニットの非ビデオ層シンタックス構造を含む基本層コンポーネントと、前記拡張層アクセスユニットのビデオ層シンタックス構造を含む拡張層コンポーネントとを含み、前記拡張層コンポーネントは、前記拡張層アクセスユニットの非ビデオシンタックス構造を含まない工程と
    を有する、コンピュータ可読媒体。
JP2013076263A 2008-03-06 2013-04-01 拡張されたビデオストリームを復号するための方法および装置 Active JP5748234B2 (ja)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
US3437008P 2008-03-06 2008-03-06
US61/034,370 2008-03-06
US12/395,056 2009-02-27
US12/395,056 US8369415B2 (en) 2008-03-06 2009-02-27 Method and apparatus for decoding an enhanced video stream

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
JP2010548941A Division JP5238827B2 (ja) 2008-03-06 2009-03-04 拡張されたビデオストリームを復号するための方法および装置

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2015095098A Division JP6040282B2 (ja) 2008-03-06 2015-05-07 拡張されたビデオストリームを復号するための方法および装置

Publications (2)

Publication Number Publication Date
JP2013153523A true JP2013153523A (ja) 2013-08-08
JP5748234B2 JP5748234B2 (ja) 2015-07-15

Family

ID=41053556

Family Applications (3)

Application Number Title Priority Date Filing Date
JP2010548941A Active JP5238827B2 (ja) 2008-03-06 2009-03-04 拡張されたビデオストリームを復号するための方法および装置
JP2013076263A Active JP5748234B2 (ja) 2008-03-06 2013-04-01 拡張されたビデオストリームを復号するための方法および装置
JP2015095098A Active JP6040282B2 (ja) 2008-03-06 2015-05-07 拡張されたビデオストリームを復号するための方法および装置

Family Applications Before (1)

Application Number Title Priority Date Filing Date
JP2010548941A Active JP5238827B2 (ja) 2008-03-06 2009-03-04 拡張されたビデオストリームを復号するための方法および装置

Family Applications After (1)

Application Number Title Priority Date Filing Date
JP2015095098A Active JP6040282B2 (ja) 2008-03-06 2015-05-07 拡張されたビデオストリームを復号するための方法および装置

Country Status (7)

Country Link
US (1) US8369415B2 (ja)
EP (2) EP2253070B1 (ja)
JP (3) JP5238827B2 (ja)
KR (2) KR101501333B1 (ja)
CN (3) CN104202600B (ja)
ES (1) ES2530218T3 (ja)
WO (1) WO2009111519A1 (ja)

Families Citing this family (27)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9167246B2 (en) 2008-03-06 2015-10-20 Arris Technology, Inc. Method and apparatus for decoding an enhanced video stream
US8300705B2 (en) * 2008-12-08 2012-10-30 Electronics And Telecommunications Research Institute Method for generating and processing hierarchical PES packet for digital satellite broadcasting based on SVC video
KR101216329B1 (ko) * 2009-12-16 2012-12-27 한국전자통신연구원 복수 계층 영상의 품질 측정 방법 및 시스템
WO2011084913A2 (en) 2010-01-06 2011-07-14 Dolby Laboratories Licensing Corporation Complexity-adaptive scalable decoding and streaming for multi-layered video systems
WO2011097755A1 (zh) * 2010-02-11 2011-08-18 上海贝尔股份有限公司 基于svc的e-mbms流传输方法和设备
KR20110124161A (ko) * 2010-05-10 2011-11-16 삼성전자주식회사 계층 부호화 영상의 송수신 방법 및 장치
US8705616B2 (en) 2010-06-11 2014-04-22 Microsoft Corporation Parallel multiple bitrate video encoding to reduce latency and dependences between groups of pictures
JP2012095053A (ja) * 2010-10-26 2012-05-17 Toshiba Corp ストリーム伝送システム、送信装置、受信装置、ストリーム伝送方法及びプログラム
US9591318B2 (en) * 2011-09-16 2017-03-07 Microsoft Technology Licensing, Llc Multi-layer encoding and decoding
US11089343B2 (en) 2012-01-11 2021-08-10 Microsoft Technology Licensing, Llc Capability advertisement, configuration and control for video coding and decoding
KR20130085987A (ko) * 2012-01-20 2013-07-30 한국전자통신연구원 이종망 네트워크에서 미디어 프래그먼트 유닛으로 나누어진 액세스 유닛을 가지는 미디어 데이터를 전송하는 방법
AU2013243822B2 (en) * 2012-04-06 2016-06-23 Vidyo, Inc. Level signaling for layered video coding
JP5979948B2 (ja) * 2012-04-11 2016-08-31 キヤノン株式会社 画像データ送信装置及び画像データ受信装置
JP5979949B2 (ja) 2012-04-11 2016-08-31 キヤノン株式会社 画像データ送信装置及び画像データ受信装置
CN103533404B (zh) * 2012-07-04 2016-12-21 扬智电子科技(上海)有限公司 数字广播电视的接收方法
US9154785B2 (en) * 2012-10-08 2015-10-06 Qualcomm Incorporated Sub-bitstream applicability to nested SEI messages in video coding
US20140301436A1 (en) * 2013-04-05 2014-10-09 Qualcomm Incorporated Cross-layer alignment in multi-layer video coding
US10063868B2 (en) 2013-04-08 2018-08-28 Arris Enterprises Llc Signaling for addition or removal of layers in video coding
WO2015009693A1 (en) * 2013-07-15 2015-01-22 Sony Corporation Layer based hrd buffer management for scalable hevc
KR102416235B1 (ko) 2013-07-15 2022-07-05 지이 비디오 컴프레션, 엘엘씨 다계층식 비디오 코딩에서의 저지연 개념
CN103338410B (zh) * 2013-07-19 2016-05-11 西安电子科技大学 多路径并行传输下基于svc的实时流媒体重组算法
US10291922B2 (en) 2013-10-28 2019-05-14 Arris Enterprises Llc Method and apparatus for decoding an enhanced video stream
CA2949823C (en) 2014-05-21 2020-12-08 Arris Enterprises Llc Individual buffer management in transport of scalable video
US10205949B2 (en) 2014-05-21 2019-02-12 Arris Enterprises Llc Signaling for addition or removal of layers in scalable video
CN107925776B (zh) * 2015-08-25 2021-06-08 索尼公司 发送装置、发送方法、接收装置和接收方法
GB2598255B (en) 2016-02-17 2022-07-27 V Nova Int Ltd Physical adapter, signal processing equipment, methods and computer programs
JP7178907B2 (ja) * 2017-02-03 2022-11-28 ソニーグループ株式会社 送信装置、送信方法、受信装置および受信方法

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20050180512A1 (en) * 2004-01-16 2005-08-18 Narasimhan Mandayam A. Method and apparatus for determining timing information from a bit stream
JP2007006298A (ja) * 2005-06-27 2007-01-11 Hitachi Ltd 映像信号伝送方法、及び映像処理装置
US20070230564A1 (en) * 2006-03-29 2007-10-04 Qualcomm Incorporated Video processing with scalability

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5852565A (en) * 1996-01-30 1998-12-22 Demografx Temporal and resolution layering in advanced television
KR20060123362A (ko) * 2003-12-22 2006-12-01 코닌클리케 필립스 일렉트로닉스 엔.브이. 계층화된 비디오에 대한 디스크 할당／스케줄링
US20050201471A1 (en) * 2004-02-13 2005-09-15 Nokia Corporation Picture decoding method
US7852353B1 (en) * 2005-03-31 2010-12-14 Apple Inc. Encoding a transparency (alpha) channel in a video bitstream
US20060227871A1 (en) * 2005-03-31 2006-10-12 Madhukar Budagavi Video thumbnail method
KR100763181B1 (ko) * 2005-04-19 2007-10-05 삼성전자주식회사 기초계층과 향상계층의 데이터를 바탕으로 예측 정보를코딩하여 코딩율을 향상시키는 방법 및 장치
WO2007080223A1 (en) * 2006-01-10 2007-07-19 Nokia Corporation Buffering of decoded reference pictures
CN101390399B (zh) * 2006-01-11 2010-12-01 诺基亚公司 可伸缩视频编码中的图片的后向兼容聚合
US8767836B2 (en) 2006-03-27 2014-07-01 Nokia Corporation Picture delimiter in scalable video coding
JP4660408B2 (ja) * 2006-03-27 2011-03-30 三洋電機株式会社 符号化方法
US20080095228A1 (en) * 2006-10-20 2008-04-24 Nokia Corporation System and method for providing picture output indications in video coding
US8467449B2 (en) * 2007-01-08 2013-06-18 Qualcomm Incorporated CAVLC enhancements for SVC CGS enhancement layer coding
JP2009010649A (ja) * 2007-06-27 2009-01-15 Sharp Corp スケーラブルビデオストリーム復号装置およびスケーラブルビデオストリーム生成装置

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20050180512A1 (en) * 2004-01-16 2005-08-18 Narasimhan Mandayam A. Method and apparatus for determining timing information from a bit stream
JP2007006298A (ja) * 2005-06-27 2007-01-11 Hitachi Ltd 映像信号伝送方法、及び映像処理装置
US20070230564A1 (en) * 2006-03-29 2007-10-04 Qualcomm Incorporated Video processing with scalability

Also Published As

Publication number Publication date
EP2253070A4 (en) 2011-07-27
JP5748234B2 (ja) 2015-07-15
CN104967869A (zh) 2015-10-07
ES2530218T3 (es) 2015-02-27
US20090225870A1 (en) 2009-09-10
KR101303480B1 (ko) 2013-09-05
EP2253070B1 (en) 2015-01-21
CN101960726B (zh) 2015-07-01
CN101960726A (zh) 2011-01-26
EP2253070A1 (en) 2010-11-24
JP5238827B2 (ja) 2013-07-17
KR20120125655A (ko) 2012-11-16
EP2899972B1 (en) 2021-12-08
KR101501333B1 (ko) 2015-03-11
JP2015144493A (ja) 2015-08-06
CN104202600A (zh) 2014-12-10
EP2899972A1 (en) 2015-07-29
JP2011514080A (ja) 2011-04-28
US8369415B2 (en) 2013-02-05
WO2009111519A1 (en) 2009-09-11
CN104967869B (zh) 2018-06-05
KR20100119002A (ko) 2010-11-08
CN104202600B (zh) 2018-05-15
JP6040282B2 (ja) 2016-12-07

Similar Documents

Publication Publication Date Title
JP6040282B2 (ja) 拡張されたビデオストリームを復号するための方法および装置
US11722702B2 (en) Method and apparatus for decoding an enhanced video stream
KR102003925B1 (ko) 스케일러빌리티 및 뷰 정보를 제공하는 스트리밍 서비스를 위한 방법 및 장치
US20040066846A1 (en) Data processing system for stereoscopic 3-dimensional video based on MPEG-4 and method thereof
JP7200329B2 (ja) 送信方法、受信方法、送信装置及び受信装置
JP7067653B2 (ja) 復号装置
US10291922B2 (en) Method and apparatus for decoding an enhanced video stream
CN113747209A (zh) 多路ts流节目的重组方法及装置
JP7306527B2 (ja) 復号装置

Legal Events

Date Code Title Description
A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20140217

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20140401

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20140701

A602 Written permission of extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A602

Effective date: 20140704

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20141001

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20150407

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20150507

R150 Certificate of patent or registration of utility model

Ref document number: 5748234

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313113

S531 Written request for registration of change of domicile

Free format text: JAPANESE INTERMEDIATE CODE: R313531

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250