JP2015526023A - クリーンランダムアクセス(cra)ピクチャに基づくストリーミング適合化 - Google Patents

クリーンランダムアクセス(cra)ピクチャに基づくストリーミング適合化 Download PDF

Info

Publication number
JP2015526023A
JP2015526023A JP2015520277A JP2015520277A JP2015526023A JP 2015526023 A JP2015526023 A JP 2015526023A JP 2015520277 A JP2015520277 A JP 2015520277A JP 2015520277 A JP2015520277 A JP 2015520277A JP 2015526023 A JP2015526023 A JP 2015526023A
Authority
JP
Japan
Prior art keywords
flag
picture
video decoder
cra
video
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2015520277A
Other languages
English (en)
Other versions
JP6092382B2 (ja
JP2015526023A5 (ja
Inventor
ワン、イェ−クイ
チェン、イン
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Qualcomm Inc
Original Assignee
Qualcomm Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Qualcomm Inc filed Critical Qualcomm Inc
Publication of JP2015526023A publication Critical patent/JP2015526023A/ja
Publication of JP2015526023A5 publication Critical patent/JP2015526023A5/ja
Application granted granted Critical
Publication of JP6092382B2 publication Critical patent/JP6092382B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/44Decoders specially adapted therefor, e.g. video decoders which are asymmetric with respect to the encoder
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/172Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a picture, frame or field
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/177Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a group of pictures [GOP]
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/42Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/46Embedding additional information in the video signal during the compression process
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51Motion estimation or motion compensation
    • H04N19/513Processing of motion vectors
    • H04N19/517Processing of motion vectors by encoding
    • H04N19/52Processing of motion vectors by encoding by predictive encoding
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/593Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial prediction techniques
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/23424Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving splicing one content stream with another content stream, e.g. for inserting or substituting an advertisement
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/60Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client 
    • H04N21/63Control signaling related to video distribution between client, server and network components; Network processes for video distribution between server and clients or between remote clients, e.g. transmitting basic layer and enhancement layers over different transmission paths, setting up a peer-to-peer communication via Internet between remote STB's; Communication protocols; Addressing
    • H04N21/633Control signals issued by server directed to the network components or client
    • H04N21/6332Control signals issued by server directed to the network components or client directed to client
    • H04N21/6336Control signals issued by server directed to the network components or client directed to client directed to decoder
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/60Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client 
    • H04N21/63Control signaling related to video distribution between client, server and network components; Network processes for video distribution between server and clients or between remote clients, e.g. transmitting basic layer and enhancement layers over different transmission paths, setting up a peer-to-peer communication via Internet between remote STB's; Communication protocols; Addressing
    • H04N21/647Control signaling between network components and server or clients; Network processes for video distribution between server and clients, e.g. controlling the quality of the video stream, by dropping packets, protecting content from unauthorised alteration within the network, monitoring of network load, bridging between two different networks, e.g. between IP and wireless
    • H04N21/64746Control signals issued by the network directed to the server or the client
    • H04N21/64753Control signals issued by the network directed to the server or the client directed to the client
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/142Detection of scene cut or scene change
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/162User input
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/85Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Computer Security & Cryptography (AREA)
  • Business, Economics & Management (AREA)
  • Marketing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Processing Of Color Television Signals (AREA)

Abstract

映像データを処理するためのシステム、方法、及びデバイスが開示される。幾つかのシステム例、方法例、及びデバイス例は、映像復号器において外部のインディケーションを受信する。システム例、方法例、及びデバイス例は、外部のインディケーションに基づいてクリーンランダムアクセス(CRA)ピクチャをブロークンリンクアクセス(BLA)ピクチャとして取り扱う。

Description

[0001]本出願は、米国仮特許出願第61/665,667号(出願日:2012年6月28日)の利益を主張するものであり、それの内容全体が、引用によってここに組み入れられている。
[0002]本開示は、概して、映像データを処理することに関するものである。本開示は、より具体的には、圧縮された映像ストリームにおいてランダムアクセスをサポートするための技法に関するものである。
[0003]デジタル映像能力を広範なデバイス内に組み入れることができ、デジタルテレビと、デジタル直接放送システムと、無線放送システムと、パーソナルデジタルアシスタント(PDA)と、ラップトップ又はデスクトップコンピュータと、ダフレットコンピュータと、電子書籍リーダーと、デジタルカメラと、デジタル記録デバイスと、デジタルメディアプレーヤーと、ビデオゲームプレイ装置と、ビデオゲームコンソールと、セルラー又は衛星無線電話、いわゆる“スマートフォン”と、ビデオ会議装置と、ビデオストリーミングデバイスと、トランスコーダと、ルータ又はその他のネットワークデバイスと、等を含む。デジタル映像デバイスは、映像圧縮技法、例えば、MPEG−2、MPEG−4、ITU−T H.263、ITU−T H.264/MPEG−4、Part10、アドバンストビデオコーディング(Advanced Video Coding(AVC))、現在策定中の高効率映像コーディング(High Efficiency Video Coding(HEVC)規格によって定義される規格、オープン映像圧縮フォーマット、例えば、VP8、及び該規格の拡張版、技法、又はフォーマットにおいて説明されるそれら、を実装する。映像デバイスは、該映像圧縮技法を実装することによってより効率的にデジタル映像情報を送信、受信、符号化、復号、及び/又は格納することができる。
[0004]映像圧縮技法は、映像シーケンスに固有の冗長性を低減又は除去するための空間(イントラピクチャ)予測及び/又は時間(インターピクチャ)予測を行う。ブロックに基づく映像コーディングでは、映像スライス(すなわち、映像ピクチャ又は映像ピクチャの一部分)を映像ブロックに分割することができ、それらは、ツリーブロック、コーディングユニット(CU)及び/又はコーディングノードと呼ぶこともできる。ピクチャのイントラコーディングされた(I)スライス内の映像ブロックは、同じピクチャ内の近隣ブロック内の基準サンプルに関して空間予測を用いて符号化される。ピクチャのインターコーディングされた(P又はB)スライス内の映像ブロックは、同じピクチャ内の近隣ブロック内の基準サンプルに関する空間予測又はその他の基準ピクチャ内の基準サンプルに関する時間予測を使用することができる。ピクチャは、フレームと呼ぶことができ、基準ピクチャは、基準フレームと呼ぶことができる。
[0005]空間予測又は時間予測の結果、コーディングされるべきブロックに関する予測ブロックが得られる。残差データは、コーディングされるべきオリジナルのブロックと予測ブロックとの間のピクセル差分を表す。インターコーディングされたブロックは、予測ブロックを形成する基準サンプルのブロックを指し示す動きベクトル、及びコーディングされたブロックと予測ブロックとの間の差分を示す残差データにより符号化される。イントラコーディングされたブロックは、イントラコーディングモード及び残差データにより符号化される。さらなる圧縮のために、残差データは、ピクセル領域から変換領域に変換することができ、その結果残差変換係数が得られ、次にそれらを量子化することができる。量子化された変換係数は、最初は二次元アレイで配列され、変換係数の一次元ベクトルを生成するために走査することができ、及びさらなる圧縮を達成するためにエントロピーコーディングを適用することができる。
[0006]一例においては、本開示の技法は、外部のインディケーション(external indication)に基づいてクリーンランダムアクセス(clean random access(CRA))ピクチャをブロークンリンクアクセス(broken link access(BLA))ピクチャとして取り扱うことに関するものである。例えば、映像復号器又はその他のデバイスは、外部のインディケーションを受信することができる。これで、映像復号器は、外部のインディケーションに基づいてCRAピクチャをBLAピクチャとして取り扱うことができる。幾つかの例では、CRAピクチャに関してフラグが定義され、外部のインディケーションは、映像復号器においてフラグが設定されるべきかどうかを示す。従って、映像復号器は、外部のインディケーションに基づいてフラグを設定することができる。復号器又は幾つかの内部機能、例えば、外部インディケーション処理ユニット又は予測モジュール、がフラグを検査することができる。一例では、予測モジュールは、外部のインディケーションに基づいてCRAピクチャをBLAピクチャとして取り扱うことができる。例えば、復号器は、フラグに基づいてCRAピクチャをBLAピクチャとして取り扱うことができる。
[0007]一例では、本開示は、映像データを処理する方法について説明し、映像復号器において外部のインディケーションを受信することと、外部のインディケーションに基づいてクリーンランダムアクセス(CRA)ピクチャをブロークンリンクアクセス(BLA)として取り扱うことと、を含む。
[0008]他の例では、本開示は、映像データを処理するための映像復号器について説明し、映像復号器において外部のインディケーションを受信し及び外部のインディケーションに基づいてクリーンランダムアクセス(CRA)ピクチャをブロークンリンクアクセス(BLA)ピクチャとして取り扱うように構成されたプロセッサを含む。
[0009]他の例では、本開示は、映像データを処理するための映像復号器について説明し、映像復号器において外部のインディケーションを受信ための手段と、外部のインディケーションに基づいてクリーンランダムアクセス(CRA)ピクチャをブロークンリンクアクセス(BLA)ピクチャとして取り扱うための手段と、を含む。
[0010]他の例では、本開示は、コンピュータによって読み取り可能な記憶媒体について説明する。コンピュータによって読み取り可能な記憶媒体は、実行された時点で、映像復号器において外部のインディケーションを受信し及び外部のインディケーションに基づいてクリーンランダムアクセス(CRA)をブロークンリンクアクセス(BLA)として取り扱うことをデバイスの1つ以上のプロセッサに行わせる命令を格納する。
[0011]1つ以上の例の詳細が、添付図及び以下の説明において示される。それらの説明と図面から、及び請求項から、その他の特徴、目的、及び利点が明らかになるであろう。
[0012]本開示において説明される技法を利用することができる映像符号化及び復号システム例を示したブロック図である。 [0013]本開示において説明される技法を実装することができる映像符号器例を示したブロック図である。 [0014]本開示において説明される技法を実装することができる映像復号器例を示したブロック図である。 [0015]ネットワークの一部を形成するデバイスの組例を示したブロック図である。 [0016]本開示において説明される1つ以上の例による方法例を示したフローチャートである。 [0017]本開示において説明される1つ以上の例による方法例を示したフローチャートである。 [0018]本開示において説明される1つ以上の例による方法例を示したフローチャートである。 [0019]外部のインディケーションを送信する第1のデバイスの典型的な動作及び外部のインディケーションを受信する第2のデバイスの応答動作を示したフローチャートである。
[0020]本開示は、クリーンランダムアクセス(CRA)ピクチャに基づくストリーミング適合化に関する技法について説明する。様々な改良された映像コーディング設計が説明されており、それらは、CRAピクチャ、ランダムアクセスポイント(RAP)ピクチャ前のピクチャの出力、及びピクチャタイミング情報のシグナリングに基づくストリーミング適合化に関連することができる。
[0021]幾つかの映像コーディング規格の簡単な背景が最初に説明される。映像コーディング規格は、ITU−H.261、ISO/IEC MPEG−1 Visual、ITU−T H.264(ISO/IEC MPEG−4 AVCとも呼ばれる)を含み、スケーラブル映像コーディング(SVC)と、マルチビュー映像コーディング(MVC)拡張とを含む。
[0022]さらに、ITU−Tビデオコーディングエキスパーツグループ(VCEG)及びISO/IECモーションピクチャエキスパーツグループ(MPEG)の映像コーディングに関する共同作業チーム(JCT−VC)によって現在策定中の新しい映像コーディング規格、すなわち、高効率映像コーディング(High Efficiency Video Coding(HEVC)、が存在する。HEVCのワーキングドラフト(WD)は、以後HEVC WD7と呼ばれ、http://phenix.int-evry.fr/jct/doc_end_user/documents/9_Geneva/wg11/JCTVC-I1003-v5.zipから入手可能であり、ここにおける引用によってそれ全体が組み入れられている。
[0023]HEVCのそれよりも最近のワーキングドラフト(WD)は、以後HEVC WD9と呼ばれており、http://phenix.int-evry.fr/jct/doc_end_user/documents/9_Geneva/wg11/JCTVC-I1003-v10.zipから入手可能であり、ここにおける引用によってそれ全体が組み入れられている。
[0024]一例では、本開示の技法は、外部のインディケーションに基づいてクリーンランダムアクセス(CRA)ピクチャをブロークンリンクアクセス(BLA)ピクチャとして取り扱うことに関するものである。例えば、映像復号器又はその他のデバイスは、外部のインディケーションを受信することができる。映像復号器は、外部のインディケーションに基づいてCRAピクチャをBLAピクチャとして取り扱うことができる。幾つかの例では、CRAに関してフラグが定義され、外部のインディケーションは、映像復号器においてフラグが設定されるべきかどうかを示す。従って、映像復号器は、外部のインディケーションに基づいてフラグを設定することができる。復号器又は幾つかの内部機能、例えば、外部インディケーション処理ユニット又は予測モジュールが、フラグを検査することができる。一例では、予測モジュールは、外部のインディケーションに基づいてCRAピクチャをBLAピクチャとして取り扱うことができる。例えば、復号器は、フラグに基づいてCRAピクチャをBLAピクチャとして取り扱うことができる。
[0025]他の例では、CRAピクチャに関してフラグが定義され、復号器又はその他のデバイスは、フラグが設定されるべきであることを示す外部のインディケーションを受信することができる。復号器又はその他のデバイスは、外部のインディケーションに基づいてフラグを設定することができる。復号器は、フラグを検査することができる。フラグが設定されているときには、復号器は、CRAピクチャをBLAピクチャとして取り扱うことができる。
[0026]ランダムアクセスは、映像ビットストリーム内における第1のコーディングされたピクチャでないコーディングされたピクチャから始める映像ビットストリームの復号を意味する。ビットストリームへのランダムアクセスは、多くの映像アプリケーション、例えば、放送及びストリーミング、例えば、ユーザが異なるチャネル間で切り換わるために、映像の特定の部分にジャンプする、又は(例えば、ビットレート、フレームレート、空間解像度、等の)ストリーム適合化のために異なるビットストリームに切り換わる、において必要である。この特徴は、ランダムアクセスピクチャ又はランダムアクセスポイントを、多くの場合は定期的な間隔で、ビットストリーム内に挿入することによって可能にすることができる。
[0027]ビットストリームスプライシングは、2つ以上のビットストリーム又はそれらの一部分の連結を意味する。例えば、スライシングされたビットストリームを生成するために、第1のビットストリームを第2のビットストリームに、おそらくそれらのビットストリームのうちの1つ又は両方をある程度修正することによって添付することができる。第2のビットストリーム内の第1のコーディングされたピクチャは、スプライシングポイントとも呼ばれる。従って、スライシングされたビットストリーム内のスプライシングポイントに後続するピクチャは、第2のビットストリームから発生し、スライシングされたビットストリーム内のスプライシングポイントに先行するピクチャは、第1のビットストリームから発生する。
[0028]ビットストリームスプライサ(splicer)は、ビットストリームのスプライシングを行うことができる。ビットストリームスプライサは、しばしば、符号器よりも複雑度が低く、精巧度が低く及び/又はインテリジェント度が低い。例えば、それらは、エントロピー復号及び符号化能力を装備することができない。ビットスプライサは、ここにおいて説明されるいずれかのデバイス内に組み入れることができ、コーディングデバイス又はネットワークデバイスを含む。
[0029]ビットストリーム切り換えは、適合的ストリーミング環境において使用することができる。ビットストリームへの切り換えにおけるある一定のピクチャでのビットストリーム切り換え動作は、実効的には、スプライシングポイントがビットストリーム切り換えポイント、すなわち、ビットストリームへの切り換えにおける第1のピクチャ、であるビットストリームスプライシング動作である。
[0030]AVC又はHEVCにおいて規定される瞬間的復号リフレッシュ(IDR)ピクチャをランダムアクセスのために使用することができる。しかしながら、復号順序でIDRピクチャに後続するピクチャは、IDRピクチャの以前に復号されたピクチャは基準として使用することができず、ランダムアクセスに関してIDRピクチャに依存するビットストリームは、大幅により低いコーディング効率を有する可能性がある。
[0031]コーディング効率を向上させるために、HEVCでは、復号順序ではCRAピクチャに後続し、出力順序ではそれに先行するピクチャがCRAピクチャよりも前に復号されたピクチャを基準として使用するのを可能にするためにクリーンランダム(CRA)ピクチャの概念が導入された。復号順序ではCRAピクチャに後続するが出力順序ではCRAピクチャに先行するピクチャは、CRAピクチャと関連付けられたリーディング(leading)ピクチャ(又は、CRAピクチャのリーディングピクチャ)と呼ばれる。CRAピクチャのリーディングピクチャは、現在のCRAピクチャより前のIDR又はCRAピクチャから復号が開始した場合は正確に復号可能である。しかしながら、CRAピクチャのリーディングピクチャは、CRAピクチャからのランダムアクセスが生じたときには正確に復号できない。従って、復号器は、典型的には、ランダムアクセス復号中にリーディングピクチャを廃棄する。復号がどこから開始するかに依存して利用可能でないことがある基準ピクチャからの誤り伝播を防止するために、復号順序及び出力順序の両方においてCRAピクチャに後続するすべてのピクチャが、(リーディングピクチャを含む)復号順序又は出力順序のいずれかにおいてCRAピクチャに先行するピクチャを基準として使用しないものとする。
[0032]HEVCでは、CRAピクチャの導入後に、CRAピクチャの概念に基づいてブロークンリンクアクセス(BLA)ピクチャの概念がさらに導入された。BLAピクチャは、典型的には、CRAピクチャの位置においてのビットストリームのスライシングから発生し、スプライシングされたビットストリーム内において、スプライシングポイントCRAピクチャは、BLAピクチャに変更することができる。IDRピクチャ、CRAピクチャ及びBLAピクチャは、総称して、ランダムアクセスポイント(RAP)ピクチャと呼ばれる。
[0033]BLAピクチャとCRAピクチャの間の1つの相違点は、次の通りである。CRAピクチャに関しては、関連付けられたリーディングピクチャは、復号が復号順序においてCRAピクチャよりも前のRAPピクチャから開始する場合は正確に復号可能である。CRAピクチャは、CRAピクチャからのランダムアクセスが生じたときには正確に復号できない。例えば、復号がCRAピクチャから開始したとき、換言すると、CRAピクチャがビットストリーム内の第1のピクチャであるとき。BLAピクチャに関しては、関連付けられたリーディングピクチャは、復号が復号順序においてBLAピクチャよりも前のRAPピクチャから開始したときでさえも、すべての場合において正確に復号可能でない。
[0034]特定のCRA又はBLAピクチャに関して、関連付けられたリーディングピクチャの一部は、CRA又はBLAピクチャがビットストリーム内の第1のピクチャであるときでさえも正確に復号可能である。これらのリーディングピクチャは、復号可能リーディングピクチャ(DLP)と呼ばれ、その他のリーディングピクチャは、復号不能リーディングピクチャ(NLP)又はランダムアクセス復号可能リーディング(RADL)ピクチャと呼ばれる。NLPは、廃棄用タグ付き(TFD)ピクチャ又はランダムアクセススキッピングリーディング(RASL)ピクチャとも呼ばれる。
[0035]幾つの場合は、幾つかの既存の方法には次のような問題が生じる可能性がある。(1)CRAピクチャに基づくストリーミング適合化では、BLAピクチャへのCRAピクチャの変更は、典型的には、メディアサーバ又は中間的ネットワーク要素、例えば、メディア−アウエア(media−aware)ネットワーク要素(MANE)又は、典型的には複雑度がより低く、精巧度がより低く及び/又はインテリジェント度がより低いことが好ましく、ビットストリームを変更することがまったくできないメディアーアンアウエア(media−unaware)ネットワーク要素、例えば、HTTPキャッシュ又はウェブプロキシ、MANE、によって行う必要がある。(2)復号順序においてIDR又はBLAピクチャよりも前のピクチャの出力は、no_output_of_prior_pics_flagを用いることむによってある程度制御することができる。no_output_of_prior_pics_flagが“1”に設定されているか又は1に等しいと推論されるときには、復号順序においてIDR又はBLAピクチャよりも前に復号されたピクチャは、出力/表示されずにIDR又はBLAピクチャの復号後にすべて廃棄される。しかしながら、時には、それらのピクチャをより多く表示することがより良いユーザ経験を提供することができる。現在では、該状況においてより多くのピクチャを出力/表示するのを可能にする方法は存在していない。(3)DLPピクチャは出力することが許容される。それらの出力順序又は出力時間は関連付けられたRAPピクチャよりも早いため、RAPピクチャからランダムアクセスするときの最も早い提示時間は、RAPピクチャが入っているアクセスユニットを単に検査するだけでは知ることができない。しかしながら、RAPピクチャからランダムアクセスするときには、システムは、そのRAPピクチャがユーザからのランダムアクセス要求に適合するかどうかを調べるために最も早い再生開始を推測するのを試みるべきである。
[0036]本開示では、概して上記の問題のうちの1つ以上に対処する又は上記の問題のうちの1つ以上を改良することができる幾つかの技法が説明される。受信されたか推論されたかにかかわらず、該メッセージを取り扱う幾つかの異なる方法が可能である。幾つかの例が以下において説明される。これらは、(1)CRAピクチャをBLAピクチャとして取り扱う、(2)CRAピクチャをBLAピクチャに変更する、及び(3)CRAピクチャを、ビットストリームを開始するCRAピクチャとして取り扱う、を含む。
[0037]一例では、復号器は、CRAピクチャをBLAピクチャとして取り扱うことができる。復号器は、外部の手段によってそのように指示されたときにCRAピクチャがBLAピクチャとして取り扱われるように構成することができる。該外部のインディケーションは、サーバ又は中間的ネットワーク要素を通じて、復号器側の機能によって、復号器に渡される上述されるメッセージ(幾つかのCRAピクチャがBLAピクチャとして取り扱われるべきである)であることができる。
[0038]より具体的には、復号プロセスは、次のように変更することができる。各CRAピクチャと関連付けることができる別個の変数を使用することができる。例えば、変数HandleCraAsBlaFlagが各CRAピクチャと関連付けられる。換言すると、各CRAピクチャは、それと関連付けられたHandleCraAsBlaFlag変数(フラグとも呼ばれる)を有することができる。幾つかのCRAピクチャに関するHandleCraAsBlaFlagの値は、外部の手段によって指定することができる。特定のCRAピクチャに関するHandleCraAsBlaFlagの値が外部の手段によって指定されないときは、それは、“0”に設定することができる(例えば、CRAピクチャのHandleCraAsBlaFlagは、デフォルト時は“0”であり、値“0”は、CRAピクチャがBLAピクチャとして取り扱われないことを指示する)。該例において、“1”の値は、CRAピクチャがBLAピクチャとして取り扱われることを示すことができる。その他の例では、逆も真であり、“1”の値は、CRAピクチャがBLAピクチャとして取り扱われないことを指示することができ、“0”の値は、CRAピクチャがBLAピクチャとして取り扱われることを指示することができる。
[0039]次の例は、HandleCraAsBlaFlagがデフォルト時の“0”であり、CRAピクチャがBLAピクチャとして取り扱われないように指示する場合及び“1”の値であり、CRAピクチャがBLAピクチャとして取り扱われるように指示する場合を仮定する。各々のコーディングされたスライスNALユニットを復号するときに(構文解析を含む)、HandleCraAsBlaFlagが“1”に等しく、例えば、CRAピクチャをBLAピクチャとして取り扱い、nal_unit_typeがCRAピクチャを示す(例えば、HEVC WD7により値が“4”又は“5”に等しい)場合は、次が当てはまる。すなわち、(1)BLAピクチャであることを示すためにnal_unit_typeの値が変更される(例えば、HEVC WD7により値が2だけ増加される)、(2)no_output_of_prior_pics_flagの値が1に設定される、(3)復号順序で前ピクチャがRAPピクチャであり、現在のスライスのrap_pic_idが前ピクチャのrap_pic_idに等しい場合は、次が当てはまる。最初に、復号順序で次のピクチャがRAPピクチャでない場合は、現在のスライスのrap_pic_idの値は、復号順序で前ピクチャのrap_pic_idと異なるように変更されるが、依然として構文要素の許容された値範囲内にある。次に、そうでない場合(復号順序で次のピクチャがRAPピクチャである場合)は、現在のピクチャのrap_pic_idの値は、復号順序で前ピクチャ及び次のピクチャの両方のrap_pic_idと異なる値に変更されるが、依然として構文要素の許容された値範囲内にある。
[0040]代替として、CRAピクチャをBLAピクチャに変更時には、復号器は、次を行うことができる。ピクチャタイミングSEIメッセージが存在し、DPB内の全ピクチャに関するDPB出力時間が現在のDPB出力時間よりも小さい場合は、no_output_of_prior_pics_flagの値は1に設定される。そうでない場合は、no_output_of_prior_pics_flagの値は“0”に設定される。
[0041]幾つかの例では、HandleCraAsBlaFlagは第1のフラグであることができ、no_output_of_prior_pics_flagは第2のフラグであることができる。幾つかの例では、no_output_of_prior_pics_flagは、コンテキスト変数であることができる。
[0042]HEVC WD7に対する上記の変更を行うことで、ビットストリーム内の第1のピクチャであるCRAピクチャ及び関連付けられたTFDピクチャに関する特別な復号プロセスをさらに取り除くことが可能である。この場合は、ビットストリームがCRAピクチャで始まるときには、値が外部の手段(存在する場合)によって指定されるかどうかにかかわらず、ビットストリーム開始CRAピクチャに関してHandleCraAsBlaFlagの値を“1”に設定し、上記の変更された復号プロセスを適用することによって、ビットストリーム内の第1のCRAピクチャはBLAピクチャとして取り扱われるべきである。
[0043]代替として、各々のコーディングされたスライスNALユニットを復号するときに(構文解析を含む)、現在のピクチャがビットストリーム内の第1のピクチャであり、nal_unit_typeがCRAピクチャを示す(例えば、値がHEVC WD7により“4”又は“5”に等しい)場合は、次が当てはまることができる。BLAピクチャであることを示すためにnal_unit_typeの値が変更される(例えば、HEVC WD5に従い値が2だけ増加される)。この例では、no_output_of_prior_pics_flag及びrap_pic_idの値を変更する必要がない。代替として、HandleCraAsBlaFlagの値を、ビットストリーム内の構文要素、例えば、スライスヘッダ又は新しいSEIメッセージ内に含めることができる新しい構文要素、によって示すことができる。
[0044]一例は、CRAピクチャに基づくストリーミング適合化に関する。該例では、BLAピクチャをCRAピクチャに変更するためにサーバ又は中間的ネットワーク要素に依存する代わりに、サーバ又は中間的ネットワーク要素は、復号器側(すなわち、クライアント)に送信されるべきメッセージを生成することができる。メッセージは、例えば、あるCRAピクチャでビットストリーム切り換え動作が生じていること及びCRAピクチャがBLAピクチャとして取り扱われるべきであることを復号器に通知することができる。HTTPを通じてのダイナミックアダプティブストリーミング(DASH)に関しては、復号器側も、ストリームデータを要求するために使用したユニフォームリソースロケーター(URL)の変更及び変更されたURLと関連付けられたメディアデータの受信を通じてそれ自体によって該メッセージを推論することができる。
[0045]他の例では、CRAピクチャは、ピクチャタイミングSEIメッセージが存在している場合は、DPB内の全ピクチャに関するDPB出力時間が現在のピクチャのDPB出力時間よりも小さくなるような形で変更することができる。no_output_of_prior_pics_flagの値は、1に設定することができる。その他の場合は、no_output_of_prior_pics_flagの値は、“0”に設定することができる。
[0046]図1は、本開示において説明される技法を利用することができる映像符号化及び復号システム例10を示したブロック図である。図1において示されるように、システム10は、行先デバイス14によってのちに復号されることになる符号化された映像データを生成するソースデバイス12を含む。ここにおいて説明される技法は、概して、外部のインディケーションに基づいてCRAピクチャをBLAピクチャとして取り扱うことに関するものである。従って、これらの技法は、概して、行先デバイス14に適用することができ、それは、概して、外部のインディケーションを受信することができ、及び、該外部のインディケーションに応答して、行先デバイス内で処理されるときに行先デバイスで受信されたCRAピクチャをBLAピクチャとして取り扱うことができる。しかしながら、幾つかの例では、ソースデバイス12又は他のネットワークデバイス、例えば、MANE、は、行先デバイスで受信されたCRAピクチャをBLAピクチャとして取り扱うことを行先デバイス14に行わせる外部のインディケーションを行先デバイス14に提供することができる。
[0047]ソースデバイス12及び行先デバイス14は、広範なデバイスを備えることができ、デスクトップコンピュータ、ノートブック(すなわち、ラップトップ)コンピュータ、タブレットコンピュータ、セットトップボックス、電話ハンドセット、例えば、いわゆる“スマート”フォン、いわゆる“スマート”パッド、テレビ、カメラ、表示装置、デジタルメディアプレーヤー、ビデオゲームコンソール、ビデオストリーミングデバイス、等を含む。幾つかの例では、ソースデバイス12及び行先デバイス14は、無線通信のために装備することができる。
[0048]行先デバイス14は、リンク16を介して復号されるべき符号化された映像データを受信することができる。リンク16は、符号化された映像データをソースデバイス12から行先デバイス14に移動させることが可能なタイプの媒体又はデバイスを備えることができる。一例では、リンク16は、ソースデバイス12が符号化された映像データをリアルタイムで直接行先デバイス14に送信するのを可能にする通信媒体を備えることができる。変調器は、通信規格、例えば、無線通信プロトコル、により符号化された映像データを変調することができ、及び行先デバイス14に送信することができる。通信媒体は、無線又は有線の通信媒体、例えば、無線周波数(RF)スペクトル又は1つ以上の物理的送信ライン、を備えることができる。通信媒体は、パケットに基づくネットワーク、例えば、ローカルエリアネットワーク、ワイドエリアネットワーク、又はグローバルネットワーク、例えば、インターネット、の一部を形成することができる。通信媒体は、ルータ、スイッチ、基地局、又はソースデバイス12から行先デバイス14への通信を容易にするのに役立つことができるその他のあらゆる装置を含むことができる。
[0049]代替として、符号化されたデータは、出力インタフェース22から記憶デバイス32に出力することができる。同様に、入力インタフェースは、記憶デバイス32から符号化されたデータにアクセスすることができる。記憶デバイス36は、様々な分散された又はローカルでアクセスされるデータ記憶媒体、例えば、ハードドライブ、ブルーレイ(登録商標)ディスク、DVD、CD−ROM、フラッシュメモリ、揮発性又は非揮発性メモリ、又は符号化された映像データを格納するためのその他の適切なデジタル記憶媒体を含むことができる。さらなる例では、記憶デバイス36は、ソースデバイス12によって生成された符号化された映像データを保持することができるファイルサーバ又は他の中間的な記憶デバイスに対応することができる。行先デバイス14は、ストリーミング又はダウンロードを介して記憶デバイス36から格納された映像データにアクセスすることができる。ファイルサーバは、符号化された映像データを格納すること及び符号化された映像データを行先デバイス14に送信することが可能なあらゆるタイプのサーバであることができる。ファイルサーバ例は、(例えば、ウェブサイトのための)ウェブサーバと、FTPサーバと、ネットワーク接続記憶(NAS)デバイスと、ローカルディスクドライブと、を含む。行先デバイス14は、インターネット接続を含む標準的なデータ接続を通じて符号化された映像データにアクセスすることができる。これは、ファイルサーバに格納された符号化された映像データにアクセスするのに適する無線チャネル(例えば、Wi−Fi接続)、有線接続(例えば、DSL、ケーブルモデム、等)、又は両方の組み合わせを含むことができる。記憶デバイス36からの符号化された映像データの送信は、ストリーミング送信、ダウンロード送信、又は両方の組み合わせであることができる。
[0050]本開示の技法は、無線の用途またはセッティングには必ずしも限定されない。それらの技法は、映像コーディングに適用することができ、様々なマルチメディア用途、例えば、オーバー・ザ・エアテレビ放送、ケーブルテレビ送信、衛星テレビ送信、例えば、インターネットを介してのストリーミング映像送信、データ記憶媒体への格納のためのデジタル映像の符号化、データ記憶媒体に格納されたデジタル映像の復号、又はその他の用途をサポートする。幾つかの例では、システム10は、映像ストリーミング、映像再生、映像放送、及び/又は映像テレフォニー、等の用途をサポートするために1方向又は2方向の映像送信をサポートするように構成することができる。
[0051]図1の例では、ソースデバイス12は、映像ソース18と、映像符号器20と、出力インタフェース22と、を含む。幾つかの場合は、出力インタフェース22は、変調器/復調器(モデム)及び/又は送信機を含むことができる。ソースデバイス12において、映像ソース18は、ソース、例えば、映像キャプチャデバイス、を含むことができる。例えば、ビデオカメラ、以前にキャプチャされた映像が入った映像アーカイブ、映像コンテンツプロバイダからの映像を受信するための映像フィードインタフェース、及び/又は、コンピュータグラフィックスデータをソース映像として生成するためのコンピュータグラフィックスシステム、又は該ソースの組み合わせ、を含むことができる。一例として、映像ソース18がビデオカメラである場合は、ソースデバイス12及び行先デバイス14は、いわゆるカメラフォン又はビデオフォンであることができる。しかしながら、本開示において説明される技法は、映像コーディング全般に適用可能であり、無線及び/又は有線用途に適用することができる。
[0052]映像符号器20は、キャプチャされた、予めキャプチャされた、又はコンピュータによって生成された映像を符号化することができる。符号化された映像データは、ソースデバイス12の出力インタフェース22を介して行先デバイス14に直接送信することができる。代替として、符号化された映像データは、復号及び/又は再生のために行先デバイス14又はその他のデバイスによってのちにアクセスするために記憶媒体36に格納することもできる。その他の例では、これらの両方とも実行することができる。
[0053]行先デバイス14は、入力インタフェース28と、映像復号器30と、表示装置32と、を含む。幾つかの場合は、入力インタフェース28は、受信機及び/又はモデムを含むことができる。行先デバイス14の入力インタフェース28は、リンク16を通じて符号化された映像データを受信する。符号化された映像データは、リンク16を通じて通信されるか、又は記憶デバイス36で提供され、映像データを復号する際の映像復号器、例えば、映像復号器30、による使用のために映像符号器20によって生成された様々な構文要素を含むことができる。該構文要素は、通信媒体で送信された符号化された映像データとともに含めること、記憶媒体に格納すること、又はファイルサーバに格納することができる。
[0054]一例では、映像復号器30又はその他のデバイスは、外部のインディケーションを受信することができる。映像復号器30は、外部のインディケーションに基づいてクリーンランダムアクセス(CRA)ピクチャをブロークンリンクアクセス(BLA)ピクチャとして取り扱うことができる。幾つかの例では、外部のインディケーションは、映像復号器においてフラグが設定されるべきかどうかを指示する。従って、映像復号器30は、外部のインディケーションに基づいてフラグを設定することができる。映像復号器30又は何らかの内部機能、例えば、外部インディケーション処理ユニット72又は予測モジュール81、がフラグを検査することができる。一例では、予測モジュール81は、フラグに基づいてCRAピクチャがBLAピクチャとして取り扱わられるべきであることを指示する外部のインディケーションに基づいてCRAピクチャをBLAピクチャとして取り扱うことができる。
[0055]他の例では、映像復号器30又は他のデバイスは、フラグが設定されるべきであることを指示する外部のインディケーションを受信することができる。次に、映像復号器30又は他のデバイスは、外部のインディケーションに基づいてフラグを設定することができる。次に、復号器30がフラグを検査することができる。フラグが設定されているときに、映像復号器30は、CRAピクチャをBLAピクチャとして取り扱う。
[0056]表示装置32は、行先デバイス14と一体化することができ又は外部に存在することができる。幾つかの例では、行先デバイス14は、一体化された表示装置を含むことができ及び外部の表示装置とインタフェースするように構成することもできる。その他の例では、行先デバイス14は、表示装置であることができる。概して、表示装置32は、復号された映像データをユーザに表示し、様々な表示装置、例えば、液晶ディスプレイ(LCD)、プラズマディスプレイ、有機発光ダイオード(OLED)ディスプレイ、又は他のタイプの表示装置、のうちのいずれかを備えることができる。
[0057]映像符号器20及び映像復号器30は、映像圧縮規格、例えば、現在策定中の高効率映像コーディング(HEVC)規格、により動作することができ、及び、HEVCテストモデル(HM)に準拠することができる。2012年6月27日現在において、HEVCの最近のドラフトを、http://wg11.sc29.org/jct/doc_end_user/current_document.php?id=5885/JCTVC-I1003-v5から入手可能であり、ここにおける引用によってその内容全体が組み入れられている。代替として、映像符号器20及び映像復号器30は、その他の独占規格又は工業規格、例えば、ITU−T H.264規格、代替でMPEG−4、Part10、Advanced Video Coding(AVC)と呼ばれる、又は該規格の拡張版により動作することができる。しかしながら、本開示の技法は、いずれの特定のコーディング規格又は技法にも制限されない。映像圧縮規格のその他の例は、MPEG−2、ITU−T H.263、及びオープンの形式、例えば、VP8、を含む。
[0058]図1には示されていないが、幾つかの態様では、映像符号器20及び映像復号器30は、各々、音声符号器及び復号器と一体化することができ、及び、共通のデータストリーム又は別々のデータストリーム内の音声及び映像の両方の符号化を取り扱うための該当するMUX−DEMUXユニット、又はその他のハードウェア及びソフトウェアを含むことができる。該当する場合は、幾つかの例では、MUX−DEMUXユニットは、ITU H.223マルチプレクサプロトコル、又はその他のプロトコル、例えば、ユーザデータグラムプロトコル(UDP)に準拠することができる。
[0059]映像符号器20及び映像復号器30は、各々、様々な適切な符号器回路、例えば、1つ以上のマイクロプロセッサ、デジタル信号プロセッサ(DSP)、特定用途向け集積回路(ASIC)、フィールドプログラマブルゲートアレイ(FPGA)、ディスクリートロジック、ソフトウェア、ハードウェア、ファームウェア又はそれらのあらゆる組み合わせのうちのいずれかとして実装することができる。技法がソフトウェア内において部分的に実装されるときには、デバイスは、ソフトウェアに関する命令を適切な、非一時的なコンピュータによって読み取り可能な記憶媒体に格納することができ及び本開示の技法を実行するために1つ以上のプロセッサを用いてハードウェア内で命令を実行することができる。映像符号器20及び映像復号器30の各々は、1つ以上の符号器又は復号器に含めることができ、それらのいずれも、各々のデバイスにおいて結合された符号器/復号器(CODEC)の一部として一体化することができる。
[0060]JCT−VCは、HEVC規格の策定作業中である。HEVC標準化努力は、HEVCテストモデル(HM)と呼ばれる映像コーディングデバイスの進化中のモデルに基づく。HMは、例えば、ITU−T H.264/AVCによる既存のデバイスと比較して幾つかの追加の映像コーディングデバイス能力を仮定している。例えば、H.264は、9つのイントラ予測符号化モードを提供する一方で、HMは、33ものイントラ予測符号化モードを提供することができる。
[0061]概して、HMのワーキングモデルでは、映像フレーム又はピクチャは、コーディングツリーブロックのシーケンス又はルマサンプルとクロマサンプルの両方を含む最大コーディングユニット(LCU)に分割することができると記述している。ツリーブロックは、H.264規格のマクロブロックと同様の目的を有することができる。スライスは、コーディング順序で連続する幾つかのツリーブロックを含む。映像フレーム又はピクチャは、1つ以上のスライスに分割することができる。各ツリーブロックは、四分木によりコーディングユニット(CU)に分割することができる。例えば、ツリーブロックは、四分木のルートノードとして、4つの子ノードに分割することができ、各子ノードは、親ノードであることができ、他の4つの子ノードに分割することができる。最終的な、分割されない子ノードは、四分木の葉ノードとして、コーディングノード、すなわち、コーディングされた映像ブロックを備える。コーディングされたビットストリームと関連付けられた構文データは、ツリーブロックを分割することができる最大回数を定義することができ、及び、コーディングノードの最小サイズを定義することもできる。
[0062]CUは、コーディングノードと、そのコーディングノードと関連付けられた予測ユニット(PU)及び変換ユニット(U)を含む。CUのサイズは、コーディングノードのサイズに対応し、形状は正方形でなければならない。CUのサイズは、8×8ピクセルからツリーブロックのサイズまでの範囲であることができ、最大サイズは64×64ピクセル以上である。各CUには、1つ以上のPU及び1つ以上のTUが入っている。CUと関連付けられた構文データは、例えば、1つ以上のPUへのCUの分割を記述することができる。分割モードは、CUがスキップ又は直接モード符号化されるか、イントラ予測モード符号化されるか、又はインター予測モード符号化されるかの間で異なることができる。PUは、形状が非正方形に分割することができる。CUと関連付けられた構文データは、例えば、四分木による1つ以上のTUへのCUの分割も記述することができる。TUの形状は、正方形であっても非正方形であってもよい。
[0063]HEVC規格は、TUによる変形を考慮しており、異なるCUごとに異なることができる。TUは、典型的には、分割されたLCUに関して定義される所定のCU内のPUのサイズに基づいてサイズが設定されるが、常にそうであるわけではない。TUは、典型的には、PUと同じサイズであるか又はそれよりも小さい。幾つかの例では、CUに対応する残差サンプルは、“残差四分木(RQT)”と呼ばれる四分木構造を用いてより小さいユニットに細分割することができる。RQTの葉ノードは、変換ユニット(TU)と呼ぶことができる。TUと関連付けられたピクセル差分値は、変換係数を生成するために変換することができ、それらは量子化することができる。
[0064]概して、PUは、予測プロセスに関連するデータを含む。例えば、PUがイントラモード符号化されるときには、PUは、PUに関するイントラ予測モードを記述するデータを含むことができる。他の例として、PUがインターモード符号化されるときには、PUは、PUに関する動きベクトルを定義するデータを含むことができる。PUに関する動きベクトルを定義するデータは、例えば、動きベクトルの水平成分、動きベクトルの垂直成分、動きベクトルに関する分解能(例えば、1/4ピクセル精度又は1/8ピクセル精度)、動きベクトルが指し示す基準ピクチャ、及び/又は動きベクトルに関する基準ピクチャリスト(例えば、リスト0、リスト1、又はリストC)を記述することができる。
[0065]概して、TUは、変換プロセス及び量子化プロセスのために使用される。1つ以上のPUを有する所定のCUは、1つ以上の変換ユニット(TU)も含むことができる。予測後、映像符号器20は、PUに対応する残差値を計算することができる。残差値は、ピクセル差分値を備え、それらは、エントロピーコーディングのためのシリアライズされた(serialized)変換係数を生成するために変換係数に変換し、量子化し、及びTUを用いて走査することができる。本開示は、典型的に、CUのコーディングノードを意味するために用語“映像ブロック”を使用する。幾つかの特定の事例では、本開示は、コーディングノード、PU及びTUを含むツリーブロック、すなわち、LCU、又はCUを意味するために用語“映像ブロック”を使用することもある。
[0066]映像シーケンスは、典型的には、一連の映像フレーム又はピクチャを含む。ピクチャのグループ(GOP)は、概して、映像ピクチャのうちの一連の1つ以上を備える。GOPは、GOP内に含まれるピクチャ数を記述する構文データをGOPのヘッダ、1つ以上のピクチャのヘッダ、又はその他の場所において含むことができる。ピクチャの各スライスは、各々のスライスに関する符号化モードを記述するスライス構文データを含むことができる。映像符号器20は、典型的には、映像データを符号化するために個々の映像スライス内の映像ブロックに対して動作する。映像ブロックは、CU内のコーディングノードに対応することができる。映像ブロックは、固定された又は可変のサイズを有することができ、及び、指定されたコーディング規格によりサイズが異なることができる。
[0067]一例として、HMは、様々なPUサイズの予測をサポートする。特定のCUのサイズが2N×2Nであると仮定すると、HMは、2N×2N又はN×NのPUサイズでのイントラ予測、及び2N×2N、2N×N、N×2N、又はN×Nの対称的PUサイズでのインター予測をサポートする。HMは、2N×nU、2N×nD、nL×2N、及びnR×2NのPUサイズでのインター予測に関する非対称的な分割もサポートする。非対称的な分割では、CUの1方の方向が分割されず、他方の方向が25%及び75%に分割される。25%の分割に対応するCUの部分は、“n”によって示され、“上(Up)”、“下(Down)”、“左(Left)”、又は“右(Right)”の表示文字によって後続される。従って、例えば、“2N×nU”は、水平に分割され、最上部が2N×0.5N PU、最下部が2N×1.5N PUである2N×2N CUを意味する。
[0068]本開示においては、“N×N”及び“N by N”は、垂直及び水平の寸法に関するブロックのピクチャ寸法を意味するために互換可能な形で使用することができ、例えば、16×16ピクセル又は16 by 16ピクセル。概して、16×16ブロックは、垂直方向に16ピクセル(y=16)及び水平方向に16ピクセル(x=16)を有することになる。同様に、N×Nブロックは、概して、垂直方向にNのピクセル及び水平方向にNのピクセルを有し、ここで、Nは、負でない整数値を表す。ブロック内のピクセルは、行及び列で配列することができる。さらに、ブロックは、水平方向と垂直方向で必ずしも同じピクセル数を有する必要がない。例えば、ブロックは、N×Mピクセルを備えることができ、ここで、Mは必ずしもNと等しくない。
[0069]CUのPUを用いたイントラ予測又はインター予測コーディングに引き続き、映像符号器20は、CUのTUに関する残差データを計算することができる。PUは、空間領域(ピクセル領域とも呼ばれる)においてピクセルデータを備えることができ、及び、TUは、変換、例えば、離散コサイン変換(DCT)、整数変換、ウェーブレット変換、又は概念的に類似する変換を残差映像データに適用後に変換領域において係数を備えることができる。残差データは、符号化されないピクチャのピクセルとPUに対応する予測値との間のピクセル差分に対応することができる。映像符号器20は、CUに関する残差データを含むTUを形成することができ、次に、CUに関する変換係数を生成するためにTUを変換することができる。
[0070]変換係数を生成するための変換に引き続き、映像符号器20は、それらの変換係数の量子化を行うことができる。量子化は、概して、係数を表すために使用されるデータ量を低減させ、さらなる圧縮を提供するために変換係数が量子化されるプロセスを意味する。量子化プロセスは、係数の一部又は全部と関連付けられたビット深度を低減させることができる。例えば、量子化中にnビット値が切り捨てられてmビット値になり、ここで、nはmよりも大きい。
[0071]幾つかの例では、映像符号器20は、エントロピー符号化することができるシリアライズされたベクトルを生成するために量子化された変換係数を走査するために予め定義された走査順序を利用することができる。その他の例では、映像符号器20は、適応型走査を行うことができる。一次元ベクトルを形成するために量子化された変換係数を走査後は、映像符号器20は、例えば、コンテキスト適応型可変長コーディング(CAVLC)、コンテキスト適応型バイナリ算術コーディング(CABAC)、構文に基づくコンテキスト適応型バイナリ算術コーディング(SBAC)、確率間隔パーティショニングエントロピー(PIPE)コーディング又は他のエントロピー符号化法により一次元ベクトルをエントロピー符号化することができる。映像符号器20は、映像データを復号する際に映像復号器30によって使用するための符号化された映像データと関連付けられた構文要素もエントロピー符号化することができる。
[0072]CABACを行うために、映像符号器20は、コンテキストモデル内のコンテキストを送信されるべきシンボルに割り当てることができる。コンテキストは、例えば、シンボルの近隣値がゼロでないかどうかに関連することができる。CAVLCを行うために、映像符号器20は、送信されるべきシンボルに関する可変長コードを選択することができる。VLCにおけるコードワードは、相対的により短いコードがより確率の高いシンボルに対応し、より長いコードがより確率の低いシンボルに対応するような形で構築することができる。このように、VLCの使用は、例えば、送信されるべき各シンボルに関して等しい長さのコードワードを使用することと比較してビットの節約を達成することができる。確率決定は、シンボルに割り当てられたコンテキストに基づくことができる。
[0073]本開示により、ソースデバイス12(又はおそらく図1に示されていない他の中間的なデバイス)は、行先デバイス14において受信されたCRAピクチャをBLAピクチャとして取り扱うことを行先デバイス14に行わせる外部のインディケーション34を行先デバイス14に提供することができる。例えば、ソースデバイス12(又はおそらく図1に示されていない他の中間的なデバイス)は、ユーザによって変更が行われている(例えば、異なる解像度又は品質の映像の要求、又は切断されたリンクが生じることがある)と決定することができる。例えば、解像度の変更又は切断リンクが生じた場合は、これは、受信デバイスに格納されている以前のピクチャ情報が入って来たビットストリームを復号する上で有効でないことがあるため、CRAピクチャはBLAピクチャとして取り扱われるべきであることを意味する。
[0074]図2は、本開示において説明される技法を実装することができる映像符号器例20を示したブロック図である。上述されるように、ここにおいて説明される技法は、概して、行先デバイス14において受信された外部のインディケーションに基づいてCRAピクチャをBLAピクチャとして取り扱うことに関するものである。しかしながら、幾つかの例では、ソースデバイス12又は他のネットワークデバイス、例えば、MANE、は、行先デバイス14において受信されたCRAピクチャをBLAピクチャとして取り扱うことを行先デバイス14に行わせる外部のインディケーションを行先デバイス14に提供することができる。
[0075]映像符号器20は、映像スライス内において映像ブロックのイントラコーディング及びインターコーディングを行うことができる。イントラコーディングは、所定の映像フレーム又はピクチャ内の映像の空間的冗長性を低減させる又は除去するために空間予測に依存する。インターコーディングは、映像シーケンスの隣接するフレーム又はピクチャ内の映像の時間的冗長性を低減させる又は除去するために時間予測に依存する。イントラモード(Iモード(登録商標))は、幾つかの空間に基づく圧縮モードのうちのいずれかを意味することができる。インターモード、例えば、単方向予測(Pモード)又は両方向予測(Bモード)は、幾つかの時間に基づく圧縮モードのうちのいずれかを意味することができる。
[0076]図2の例において、映像符号器20は、分割モジュール35と、予測モジュール41と、フィルタモジュール63と、基準ピクチャメモリ64と、加算器50と、変換モジュール52と、量子化モジュール54と、エントロピー符号化モジュール56と、を含む。予測モジュール41は、動き推定モジュール42と、動き補償モジュール44と、イントラ予測モジュール46と、を含む。映像ブロック再構築に関して、映像符号器20は、逆量子化モジュール58、逆変換モジュール60、及び加算器62も含む。フィルタモジュール63は、1つ以上のループフィルタ、例えば、デブロッキングフィルタ、アダプティブループフィルタ(ALF)、及びサンプルアダプティブオフセット(SAO)フィルタ、を表すことが意図される。図2では、フィルタモジュール63は、インループフィルタとして示されているが、その他の構成では、フィルタモジュール63は、ポストループフィルタとして実装することができる。
[0077]ソースデバイス12又は他のネットワークデバイス、例えば、MANE、は、行先デバイス14において受信されたCRAピクチャをBLAピクチャとして取り扱うことを行先デバイス14に行わせる外部のインディケーション34を行先デバイス14に提供することができる。例えば、外部のインディケーション34は、概して行先デバイス14の外部に存在し、概してビットストリームの一部として送信されず、予測モジュール41によって生成することができ、それは、ビットストリームの状態に関連するインディケーションへのアクセスを有することができる。しかしながら、これは一例であるにすぎず、ソースデバイス12内、又はソースデバイス12の外部のその他のデバイス内のその他のユニット又はモジュールも、外部のインディケーションを生成することができる。
[0078]図2に示されるように、映像符号器20は、映像データを受信し、分割モジュール35は、データを映像ブロックに分割する。この分割は、スライス、タイル、又はその他のより大きいユニットへの分割、及び、LCU及びCUの四分木構造による映像ブロック分割、を含むこともできる。映像符号器20は、概して、符号化されるべき映像スライス内の映像ブロックを符号化するコンポーネントを例示する。スライスは、複数の映像ブロック(及びおそらくタイルと呼ばれる映像ブロックの組)に分割することができる。予測モジュール41は、誤り結果(例えば、コーディングレート及び歪みのレベル)に基づいて現在の映像ブロックに関する複数の可能なコーディングモードのうちの1つ、例えば、複数のイントラコーディングモードのうちの1つ又は複数のインターコーディングモードのうちの1つ、を選択することができる。予測モジュール41は、結果的に得られたイントラ又はインターコーディングされたブロックを、残差ブロックデータを生成するために加算器50に及び基準ピクチャとしての使用ための符号化されたブロックを再構築するために加算器62に提供することができる。
[0079]予測モジュール41内のイントラ予測モジュール46は、空間的圧縮を提供するためにコーディングされるべき現在のブロックと同じフレーム又はスライス内の1つ以上の近隣ブロックに関して現在の映像ブロックのイントラ予測コーディングを行うことができる。予測モジュール41内の動き推定モジュール42及び動き補償モジュール44は、時間的圧縮を提供するために1つ以上の基準ピクチャ内の1つ以上の予測ブロックに関して現在の映像ブロックのインター予測コーディングを行う。
[0080]動き推定モジュール42は、映像シーケンスに関する予め決定されたパターンに従って映像スライスに関するインター予測モードを決定するように構成することができる。予め決定されたパターンは、シーケンス内の映像スライスをPスライス、Bスライス又はGPBスライスとして指定することができる。動き推定モジュール42及び動き補償モジュール44は、高度に一体化することができるが、概念上の目的のために別々に示されている。動き推定は、動き推定モジュール42によって行われ、映像ブロックに関する動きを推定する動きベクトルを生成するプロセスである。動きベクトルは、例えば、基準ピクチャ内の予測ブロックに対する現在の映像フレーム又はピクチャ内の映像ブロックのPUの変位を示すことができる。
[0081]予測ブロックは、ピクセル差分の点でコーディングされるべき映像ブロックのPUに密接にマッチングすることが判明しているブロックであり、差分絶対値和(SAD)、差分二乗和(SSD)、又はその他の差分メトリックによって決定することができる。幾つかの例では、映像符号器20は、基準ピクチャメモリ64に格納された基準ピクチャの整数未満のピクセル位置に関する値を計算することができる。例えば、映像符号器20は、基準ピクチャの1/4ピクセル位置、1/8ピクセル位置、又はその他の分数のピクセル位置の値を内挿することができる。従って、動き推定モジュール42は、完全ピクセル位置及び分数ピクセル位置に関する動き探索を行い、分数のピクセル精度を有する動きベクトルを出力することができる。
[0082]動き推定モジュール42は、インターコーディングされたスライス内の映像ブロックのPUの位置を基準ピクチャの予測ブロックの位置と比較することによってそのPUに関する動きベクトルを計算する。基準ピクチャは、第1の基準ピクチャリスト(リスト0)又は2の基準ピクチャリスト(リスト1)から選択することができ、それらの各々は、基準ピクチャメモリ64に格納された1つ以上の基準ピクチャを識別する。動き推定モジュール42は、計算された動きベクトルをエントロピー符号化モジュール56及び動き補償モジュール44に送信する。
[0083]動き補償は、動き補償モジュール44によって行われ、動き推定によって決定された動きベクトルに基づいて予測ブロックをフェッチ又は生成し、サブピクチャ精度で内挿を行うことを含む。現在の映像ブロックのPUに関する動きベクトルを受信した時点で、動き補償モジュール44は、基準ピクチャリストのうちの1つにおいて動きベクトルが指し示す予測ブロックの位置を突き止めることができる。映像符号器20は、コーディング中の現在の映像ブロックのピクセル値から予測ブロックのピクチャ値を減じることによって残差映像ブロックを形成し、ピクセル差分値を形成する。ピクセル残差値は、ブロックに関する残差データを形成し、ルマ及びクロマ差分成分の両方を含むことができる。加算器50は、この減算動作を行うコンポーネント又はコンポーネント(複数)を表す。動き補償モジュール44は、映像スライスの映像ブロックを復号する際に映像復号器30によって使用するために映像ブロック及び映像スライスと関連付けられた構文要素を生成することもできる。
[0084]イントラ予測モジュール46は、上述されるように、動き推定モジュール42及び動き補償モジュール44によって行われるインター予測の代替として、現在のブロックをイントラ予測することができる。特に、イントラ予測モジュール46は、現在のブロックを符号化するために使用すべきイントラ予測モードを決定することができる。幾つかの例では、イントラ予測モジュール46は、例えば、別々の符号化パス(encoding pass)中に、様々なイントラ予測モードを用いて現在のブロックを符号化することができ、及び、イントラ予測モジュール46(又は、幾つかの例では、モード選択モジュール40)は、使用すべき適当なイントラ予測モードを試験されたモードから選択することができる。例えば、イントラ予測モジュール46は、様々な試験されたイントラ予測モードに関するレート−歪み解析を用いてレート−歪み値を計算すること、及び、試験されたモードの中で最良のレート−歪み特性を有するイントラ予測モードを選択することができる。レート−歪み解析は、概して、符号化されたブロックを生成するために符号化されたブロックとオリジナルの符号化されないブロックとの間の歪み(又は誤り)の量、及び符号化されたブロックを生成するために使用されるビットレート(すなわち、ビット数)を決定する。イントラ予測モジュール46は、いずれのイントラ予測モードがブロックに関する最良のレート−歪み値を呈するかを決定するために様々な符号化されたブロックに関する歪み及びレートから比率を計算することができる。
[0085]いずれの場合も、ブロックに関するイントラ予測モードを選択後は、イントラ予測モジュール46は、ブロックに関する選択されたイントラ予測モードを示す情報をエントロピーコーディングモジュール56に提供することができる。エントロピーコーディングモジュール56は、本開示の技法により選択されたイントラ予測モードを示す情報を符号化することができる。映像符号器20は、送信されたビットストリーム内に構成データを含めることができる。構成データは、複数のイントラ予測モードインデックステーブル及び複数の修正されたイントラ予測モードインデックステーブル(コードワードマッピングテーブルとも呼ばれる)、様々なブロックに関するコンテキクストを符号化する定義、最も可能性の高いイントラ予測モードのインディケーション、イントラ予測モードインデックステーブル、及び各コンテキストに関して使用すべき修正されたイントラ予測モードインデックステーブルを含むことができる。
[0086]予測モジュール41がインター予測又はイントラ予測のいずれかを介して現在の映像ブロックに関する予測ブロックを生成後は、映像符号器20は、現在の映像ブロックから予測ブロックを減じることによって残差映像ブロックを形成する。残差ブロック内の残差映像データは、1つ以上のTU内に含めることができ及び変換モジュール52に適用することができる。変換モジュール52は、変換、例えば、離散コサイン変換(DCT)又は概念的に類似の変換、を用いて残差映像データを残差変換係数に変換する。変換モジュール52は、残差映像データをピクセル領域から変換領域、例えば、周波数領域、に変換することができる。
[0087]変換モジュール52は、その結果得られた変換係数を量子化モジュール54に送信することができる。量子化モジュール54は、ビットレートをさらに低減させるために変換係数を量子化する。量子化プロセスは、係数の一部又は全部と関連付けられたビット深度を低減させることができる。量子化度は、量子化パラメータを調整することによって変更することができる。幾つかの例では、量子化モジュール54は、量子化された変換係数を含む行列の走査を行うことができる。代替として、エントロピー符号化モジュール56は、走査を行うことができる。
[0088]量子化に引き続き、エントロピー符号化モジュール56は、量子化された変換係数をエントロピー符号化する。例えば、エントロピー符号化モジュール56は、コンテキスト適応型可変長コーディング(CAVLC)、コンテキスト適応型バイナリ算術コーディング(CABAC)、構文に基づくコンテキスト適応型バイナリ算術コーディング(SBAC)、確率間隔分割エントロピー(PIPE)コーディング、又はその他のエントロピー符号化法又は技法を実行することができる。エントロピー符号化モジュール56によるエントロピー符号化に引き続き、符号化されたビットストリームは、映像復号器30に送信すること、又は、映像復号器30によるのちの送信又は取り出しのためにアーカイブに保存することができる。エントロピー符号化モジュール56は、コーディング中の現在の映像スライスに関する動きベクトル及びその他の構文要素をエントロピー符号化することもできる。
[0089]逆量子化モジュール58及び逆変換モジュール60は、基準ピクチャの基準ブロックとしてののちの使用のためにピクセル領域において残差ブロックを再構築するために逆量子化及び逆変換をそれぞれ適用する。動き補償モジュール44は、基準ピクチャリストのうちの1つ内の基準ピクチャのうちの1つの予測ブロックに残差ブロックを加えることによって基準ブロックを計算することができる。動き補償モジュール44は、動き推定における使用のために整数未満のピクセル値を計算するために1つ以上の内挿フィルタを再構築された残差ブロックに適用することもできる。加算器62は、基準ピクチャメモリ64での格納のための基準ブロックを生成するために動き補償モジュール44によって生成された動き補償された予測ブロックに再構築された残差ブロックを加える。基準ブロックは、後続する映像フレーム又はピクチャ内のブロックをインター予測するための基準ブロックとして動き推定モジュール42及び動き補償モジュール44によって使用することができる。
[0090]図2の映像符号器20は、ここにおいて説明されるように、クリーンランダムアクセス(CRA)ピクチャがブロークンリンクアクセス(BRA)ピクチャとして取り扱われるべきであることをシグナリングするように構成することができる映像符号器の例を表す。
[0091]図3は、ネットワークエンティティ29、例えば、MANE又は何らかのその他の外部デバイス(示されていない)によって生成することができる外部のインディケーション70に基づいてCRAをBLAとして取り扱うことに概して関する本開示の技法を実装することができる映像復号器例30を示したブロック図である。一例では、映像復号器30は、フラグ74が設定されるべきであることを指示する外部のインディケーション70を受信する。外部のインディケーション70は、映像復号器30によって受信される。その他の例では、外部のインディケーション70は、映像復号器30の外部で受信及び処理することができる。外部インディケーション処理ユニット72は、外部のインディケーションに基づいてフラグ74を設定する。次に、フラグが予測モジュール81に渡される。示される例では、外部インディケーション処理ユニット72は、映像復号器30の外部に存在し及び別々であることができる。映像復号器30において、予測モジュール(81)は、フラグを検査し、フラグが設定されているときには、1つのクリーンランダムアクセス(CRA)ピクチャをブロークンリンクアクセス(BLA)ピクチャとして取り扱う。
[0092]幾つかの例では、フラグのデフォルト値は“0”であり、フラグの設定値は“1”である。その他の例では、その逆も真であり、フラグのデフォルト値が“1”であり、フラグの設定値が“0”である。換言すると、フラグは、アクティブハイ(“1”)又はアクティブロー(“0”)であることができる。
[0093]幾つかの例では、コーディングされたスライスネットワーク抽象層(NAL)ユニットを復号するときに、第1のフラグが設定されている場合は、予測モジュール81は、NALユニットのNALユニットタイプを変更することができる。コーディングされたスライスネットワーク抽象層(NAL)ユニットを復号するときに、第1のフラグが設定されている場合は、予測モジュール81は、第2のフラグの値を変更することができる。第2のフラグは、no_output_of_prior_picsフラグであることができる。さらに、コーディングされたスライスネットワーク抽象層(NAL)ユニットを復号するときに、第1のフラグが設定されている場合は、予測モジュールは、第2のフラグの値を“1”に設定することができる。
[0094]一例では、現在のピクチャがCRAピクチャであるとき、及び、CRAピクチャがBLAピクチャとして取り扱われるべきであることを指示する変数を設定するために何らかの外部のインディケーションが入手可能であるときには(例えば、HandleCraAsBlaFlag)、変数(例えば、HandleCraAsBlaFlag)は、外部の手段によって提供される値に設定することができる。その他の場合は、変数(例えば、HandleCraAsBlaFlag)の値は、CRAピクチャがBRAピクチャとして取り扱われるべきでないことを指示するために設定することができる。例えば、CRAピクチャがBRAピクチャとして取り扱われるべきであることを指示するためにHandleCraAsBlaFlagを“1”に設定し、及び、CRAピクチャがBRAピクチャとして取り扱われるべきでないことを指示するためにHandleCraAsBlaFlagを“0”に設定することができる。
[0095]ここでは外部のインディケーションの幾つかの例が説明されるが、これらは、包括的なリストであることは意図されないことが注目されるべきである。数多くの可能な外部のインディケーションを使用可能である。
[0096]幾つかの例では、現在のピクチャがCRAピクチャであり、CRAピクチャがBLAピクチャとして取り扱われるべきであることを指示する変数(例えば、HandleCraAsBlaFlag)が“1”に等しいときには、“1”は、CRAピクチャがBLAピクチャとして取り扱われるべきであることを指示し、no_output_of_prior_pics_flagの値を“1”に設定することができ、及び、各々のコーディングされたスライスセグメントNALユニットに関する構文解析及び復号プロセス中に次が適用される。
[0097]一例では、no_output_of_prior_pics_flagは、復号ピクチャバッファ内の以前に復号されたピクチャがIDR又はBLAピクチャの復号後にどのように取り扱われるかを指定する。一例では、IDR又はBLAピクチャがビットストリーム内の第1のピクチャであるときには、no_output_of_prior_pics_flagの値は、復号プロセスに対して何の影響も有さない。IDR又はBLAピクチャがビットストリーム内の第1のピクチャでなく、アクティブシーケンスパラメータセットから導き出されたpic_width_in_luma_samples又はpic_height_in_luma_samples又はsps_max_dec_pic_buffering[sps_max_max_temporal_layers_minus1]の値が、前ピクチャに関してアクティブなシーケンスパラメータセットから導き出されたpic_width_in_luma_samples又はpic_height_in_luma_samples又はsps_max_dec_pic_buffering[sps_max_max_temporal_layers_minus1]の値と異なるときには、no_output_of_prior_pics_flagの実際値にかかわらず、“1”に等しいno_output_of_prior_pics_flagを復号器によって推論することができる(ただし、すべきでない)。
[0098]図3の例では、映像復号器30は、エントロピー復号モジュール80と、予測モジュール81と、逆量子化モジュール86と、逆変換モジュール88と、加算器90と、フィルタモジュール91と、基準ピクチャメモリ92と、を含む。予測モジュール81は、動き補償モジュール82と、イントラ予測モジュール84と、を含む。映像復号器30は、幾つかの例では、図2からの映像符号器20に関して説明される符号化パスと概して相互的な復号パスを行うことができる。
[0099]復号プロセス中には、映像復号器30は、符号化された映像スライスの映像ブロックを表す符号化された映像ビットストリーム及び関連付けられた構文要素を映像符号器20から受信する。映像復号器30は、符号化された映像ビットストリームをネットワークエンティティ29から受信することができる。ネットワークエンティティ29は、例えば、上述される技法のうちの1つ以上を実装するように構成されたサーバ、MANE、映像エディタ/スプライサ、又はその他の該デバイスであることができる。上述されるように、本開示において説明される技法の一部は、ネットワークエンティティ29が符号化された映像ビットストリームを映像復号器30に送信する前にネットワークエンティティ29によって実装することができる。幾つかの映像復号システムでは、ネットワークエンティティ29及び映像復号器30は、別個のデバイスの一部であることができ、その他の例では、ネットワークエンティティ29に関して説明される機能は、映像復号器30を備える同じデバイスによって実行することができる。
[0100]上述されるように、MANEであることができるネットワークデバイス、例えば、ネットワークエンティティ29、は、行先デバイス14で受信されたCRAピクチャをBLAピクチャとして取り扱うことを行先デバイス14に行わせる外部のインディケーション34を行先デバイスに提供することができる。例えば、外部のインディケーション34は、概して行先デバイス14の外部にあり、概してビットストリームの一部として送信されず、予測モジュール41によって生成することができ、それは、ビットストリームの状態に関連するインディケーションへのアクセスを有することができる。しかしながら、これは一例であるにすぎず、ソースデバイス12内のその他のユニット又はモジュール、又はソースデバイス12の外部のその他のデバイスも外部のインディケーションを生成することができる。
[0101]映像復号器30のエントロピー復号モジュール80は、量子化された係数、動きベクトル、及びその他の構文要素を生成するためにビットストリームをエントロピー復号する。エントロピー復号モジュール80は、動きベクトル及びその他の構文要素を予測モジュール81に転送する。映像復号器30は、映像スライスレベル及び/又は映像ブロックレベルで構文要素を受信することができる。
[0102]映像スライスがイントラコーディングされた(I)スライスとしてコーディングされるときには、予測モジュール81のイントラ予測モジュール84は、シグナリングされたイントラ予測モード及び現在のフレーム又はピクチャの以前に復号されたブロックからのデータに基づいて現在の映像スライスの映像ブロックに関する予測データを生成することができる。映像フレームがインターコーディングされた(すなわち、B、P又はGPB)スライスとしてコーディングされるときには、予測モジュール81の動き補償モジュール82は、動きベクトル及びエントロピー復号モジュール80から受信されたその他の構文要素に基づいて現在の映像スライスの映像ブロックに関する予測ブロックを生成する。予測ブロックは、基準ピクチャリストのうちの1つ内の基準ピクチャのうちの1つから生成することができる。映像復号器30は、基準ピクチャメモリ92に格納された基準ピクチャに基づいてデフォルト構築技法を用いて基準フレームリスト、リスト0及びリスト1、を構築することができる。
[0103]動き補償モジュール82は、動きベクトル及びその他の構文要素を構文解析することによって現在の映像スライスの映像ブロックに関する予測情報を決定し、復号中の現在の映像ブロックに関する予測ブロックを生成するために予測情報を使用する。例えば、動き補償モジュール82は、映像スライス、インター予測スライスタイプ(例えば、Bスライス、Pスライス、又はGPBスライス)の映像ブロックをコーディングするために使用される予測モード(例えば、イントラ又はインター予測)を決定するために受信された構文要素の一部を使用することができる。さらに、動き補償モジュール82は、スライスに関する基準ピクチャリストのうちの1つ以上に関する構築情報、スライスの各々のインター符号化された映像ブロックに関する動きベクトル、スライスの各々のインターコーディングされた映像ブロックに関するインター予測状態、及び現在の映像スライス内の映像ブロックを復号するためのその他の情報を使用することができる。
[0104]動き補償モジュール82は、内挿フィルタに基づいて内挿を行うこともできる。動き補償モジュール82は、基準ブロックの整数未満のピクチャに関する内挿値を計算するために映像ブロックの符号化中に映像符号器20によって使用される内挿フィルタを使用することができる。この場合は、動き補償モジュール82は、受信された構文要素から映像符号器20によって使用される内挿フィルタを決定すること及び内挿フィルタを使用することができる。
[0105]逆量子化モジュール86は、ビットストリーム内で提供され、エントロピー復号モジュール80によって復号された量子化された変換係数を逆量子化する、すなわち、量子化解除する。逆量子化プロセスは、量子化度、そして同様に、適用されるべき逆量子化度、を決定するために映像スライス内の各映像ブロックに関して映像符号器20によって計算された量子化パラメータを使用することを含むことができる。逆変換モジュール88は、ピクセル領域において残差ブロックを生成するために逆変換、例えば、逆DCT、逆整数変換、又は概念的に類似する逆変換プロセスを変換係数に適用する。
[0106]動き補償モジュール82が動きベクトル及びそのたの構文要素に基づいて現在の映像ブロックに関する予測ブロックを生成した後は、映像復号器30は、逆変換モジュール88からの残差ブロックを、動き補償モジュール82によって生成された対応する予測ブロックと加算することによって復号された映像ブロックを形成する。加算器90は、この加算動作を行うコンポーネント又はコンポーネント(複数)を表す。希望される場合は、ピクセル遷移を平滑化するか、又は映像品質を向上するために(コーディングループ内又はコーディングループ後の)ループフィルタを使用することもできる。フィルタモジュール91は、1つ以上のループフィルタ、例えば、デブロッキングフィルタ、アダプティブループフィルタ(ALF)、及びサンプルアダプティブオフセット(SAO)フィルタ、を表すことが意図される。図3では、フィルタモジュール91は、インループフィルタとして示されているが、その他の構成では、フィルタモジュール91は、ポストループフィルタとして実装することができる。所定のフレーム又はピクチャ内の復号された映像ブロックは、基準ピクチャメモリ92に格納され、それは、後続する動き補償のために使用される基準ピクチャを格納する。基準ピクチャメモリ92は、表示装置、例えば、図1の表示装置32、でののちの提示のために復号された映像も格納する。
[0107]図3の映像復号器30は、ここにおいて説明されるように、1つのクリーンランダムアクセス(CRA)ピクチャをブロークンリンクアクセス(BRA)ピクチャとして取り扱うように構成された映像復号器の例を表す。
[0108]図4は、ネットワーク100の一部を形成するデバイスの組例を示すブロック図である。この例では、ネットワーク100は、ルーティングデバイス104A、104B(ルーティングデバイス104)と、トランスコーディングデバイス106と、を含む。ルーティングデバイス104及びトランスコーディングデバイス106は、ネットワーク100の一部を形成することができる少数のデバイスを表すことが意図される。その他のネットワークデバイス、例えば、スイッチ、ハブ、ゲートウェイ、ファイアウォール、ブリッジ、及びその他の該デバイス、もネットワーク100内に含めることができる。さらに、サーバデバイス102とクライアントデバイス108との間のネットワーク経路に沿って追加のネットワークデバイスを提供することができる。幾つかの例では、サーバデバイス102は、ソースデバイス12(図1)に対応することができ、クライアントデバイス108は、行先デバイス14(図1)に対応することができる。従って、サーバデバイス102は、概して、CRAピクチャをBLAピクチャとして取り扱う外部のインディケーションを受信しない。しかしながら、サーバ102は、行先デバイスにおいて受信されたCRAピクチャをBLAピクチャとして取り扱うことをクライアントデバイス108に行わせる外部のインディケーション34をクライアントデバイス108に提供することができる。同様に、ルーティングデバイス104A、104B(ルーティングデバイス104)及びトランスコーディングデバイス106は、概して、CRAをBLAピクチャとして取り扱うことの外部のインディケーションは受信しないが、行先デバイスにおいて受信されたCRAピクチャをBLAピクチャとして取り扱うことをクライアントデバイス108に行わせる外部のインディケーション34をクライアントデバイス108に提供することができる。ここにおいて説明される幾つかの例は、次のもの、すなわち、ネットワークデバイス、サーバ、MANE、ハイパーテキスト転送プロトコル(HTTP)キャッシュ、又はウェブプロキシのうちの1つ以上を含むことができる。
[0109]幾つかの例では、クライアントデバイス108は、ビットストリームのビットレートの変更が生じていることを示すメッセージを受信後にフラグを設定することができる。従って、クライアントデバイスは、ビットレートの変更に基づいてフラグを設定することができる。幾つかの例では、クライアントデバイス108内の復号器は、コーディングされたスライスNALユニットを復号することができる。クライアントデバイス108内の復号器内の予測モジュールは、NALユニットタイプを識別するために各々のコーディングされたスライスNALユニットを構文解析することができる。さらに、予測モジュールは、NALユニットタイプに基づいてコーディングされたスライスNALユニットを復号することができる。
[0110]概して、ルーティングデバイス104は、ネットワーク100を通じてネットワークデータをやり取りするために1つ以上のルーティングプロトコルを実装する。幾つかの例では、ルーティングデバイス104は、プロキシ又はキャッシュ動作を行うように構成することができる。従って、幾つかの例では、ルーティングデバイス104は、プロキシデバイスと呼ぶことができる。概して、ルーティングデバイス104は、ネットワーク100を通じてルートを見つけるためにルーティングプロトコルを実行する。該ルーティングプロトコルを実行することによって、ルーティングデバイス104Bは、それ自体からルーティングデバイス104Aを介してサーバデバイス102までのネットワークルートを見つけることができる。
[0111]本開示の技法は、ネットワークデバイス、例えば、ルーティングデバイス104及びトランスコーディングデバイス106、によって実装することができるが、クライアントデバイス108によって実装することもできる。このように、ルーティングデバイス104、トランスコーディングデバイス106、及びクライアントデバイス108は、本開示の技法を実行するように構成されたデバイスの例を代表し、本開示の請求項の部分で述べられる技法を含む。さらに、図1のデバイス及び図2に示される符号器及び図3に示される復号器も、本開示の技法を実行するように構成されたデバイスの例を代表し、本開示の請求項の部分で述べられる技法を含む。
[0112]図5は、本開示において説明される1つ以上の例による方法例を示したフローチャートである。一例では、映像復号器30又はその他のデバイスは、外部のインディケーションを受信する(500)。次に、映像復号器30は、外部のインディケーションに基づいてクリーンランダムアクセス(CRA)ピクチャをブロークンリンクアクセス(BLA)として取り扱う(502)。幾つかの例では、外部のインディケーションは、映像復号器においてフラグが設定されるべきであるかどうかを指示する。従って、映像復号器は、図6に関してより詳細に説明されるように、外部のインディケーションに基づいてフラグを設定することができる。復号器又は何らかの内部機能、例えば、外部インディケーション処理ユニット又は予測モジュールは、フラグを検査することができる。一例では、予測モジュールは、フラグに基づいてCRAピクチャがBLAピクチャとして取り扱われるべきであることを指示する外部のインディケーションに基づいてCRAピクチャをBLAピクチャとして取り扱うことができる。
[0113]図6は、本開示において説明される1つ以上の例による他の方法例を示したフローチャートである。示される例では、映像復号器30は、フラグ74が設定されるべきであることを示す外部のインディケーション70を受信する(600)。示される例では、外部のインディケーション70は、映像復号器30によって受信される。その他の例では、外部のインディケーション70は、映像復号器30の外部で受信及び処理することができる。
[0114]外部インディケーション処理ユニット72は、外部のインディケーションに基づいて第1のフラグ74を設定する(602)。次に、第1のフラグは、予測モジュール81に渡される。示される例では、外部インディケーション処理ユニット72は、映像復号器30内に存在する。その他の例では、外部インディケーション処理ユニット72は、映像復号器30の外部に存在し、切り離すことができる。
[0115]復号器30において、予測モジュール81は、フラグを検査し、フラグが設定されているときには、クリーンランダムアクセス(CRA)ピクチャをブロークンリンクアクセス(BLA)ピクチャとして取り扱う(604)。一例では、コーディングされたスライスネットワーク抽象化層(NAL)ユニットを復号するときに、第1のフラグが“1”に等しく、コーディングされたスライスNALユニットのNALユニットタイプがCRAピクチャを指示する(例えば、HEVC WD7に準じて値が“4”又は“5”に等しい)場合は、外部インディケーション処理ユニット72又は映像復号器30内のその他のユニットは、BLAピクチャを指示するためにNALユニットタイプの値を変更する(例えば、HEVC WD7に準じてNALユニットタイプの値を2だけ増加させる)。さらに、予測モジュール81は、第2のフラグの値を1に設定する。復号順序で前ピクチャがRAPピクチャであり、現在のスライスのrap_pic_idが前ピクチャのrap_pic_idに等しい場合は、次が当てはまる。復号順序で次のピクチャがRAPピクチャでない場合は、現在のスライスのrap_pic_idの値を復号順序で前ピクチャのrap_pic_idと異なるように変更する。その他の場合は、現在のスライスのrap_pic_idの値は、復号順序で前ピクチャ及び次のピクチャの両方のrap_pic_idと異なる値に変更される。
[0116]他の例では、映像復号器30において、予測モジュール81又は映像復号器30内の他のユニットは、コーディングされたスライスNALユニットを復号する。第1のフラグが“1”に等しく、コーディングされたスライスNALユニットのNALユニットタイプがCRAピクチャを指示する(例えば、HEVC WD7に準じて値が“4”又は“5”に等しい)場合は、予測モジュール(又はその他のユニット)は、BLAピクチャを指示するためにNALユニットタイプの値を変更する(例えば、HEVC WD7に準じてNALユニットタイプの値を2だけ増加させる)。さらに、ピクチャタイミングSEIメッセージが存在しており、DPB内のすべてのピクチャに関するDPB出力時間が現在のピクチャのDPB出力時間より小さい場合は、予測モジュール81又はその他のユニットは、第2のフラグの値を1に設定する。他方、第2のフラグの値が“0”に設定されている場合で、復号順序で前ピクチャがRAPピクチャであり、現在のスライスのrap_pic_idが前ピクチャのrap_pic_idに等しい場合は、次が当てはまる。復号順序で次のピクチャがRAPピクチャでない場合は、予測モジュール81又はその他のユニットは、現在のスライスのrap_pic_idの値を復号順序で前ピクチャのrap_pic_idと異なるように変更する。その他の場合は、予測モジュール又はその他のユニットのrap_pic_idの値は、復号順序で前ピクチャ及び次のピクチャの両方のrap_pic_idと異なる値に現在のピクチャを変更する。
[0117]図7は、本開示において説明される1つ以上の例による方法例を示したフローチャートである。デバイス、例えば、ネットワークデバイス、例えば、MANE、は、CRAピクチャを含むビットストリームを受信する(700)。ネットワークデバイスは、CRAピクチャがBLAピクチャとして取り扱われるべきであると決定する(702)。例えば、ネットワークデバイスは、復号順序でIDR又はBLAピクチャよりも前の復号されたピクチャが出力及び/又は表示されずにIDR又はBLAピクチャの復号後にすべて廃棄されるときにより多くのピクチャの出力及び/又は表示を可能にするためにCRAピクチャがBLAピクチャとして取り扱われるべきであると決定することができる。時には、それらのピクチャをより多く表示することは、より良いユーザ経験を提供することができる。従って、ネットワークデバイスは、CRAピクチャ及びCRAピクチャがBLAピクチャに変換されるべきであることを指示する外部のインディケーションを送信する(704)。
[0118]図8は、外部のインディケーションを送信する第1のデバイスの典型的な動作及び外部インディケーションを受信する第2のデバイスの応答動作を示したフローチャートである。ソースデバイス、例えば、ネットワークデバイス、例えば、MANE、は、CRAピクチャを含むビットストリームを受信する(800)。ネットワークデバイスは、CRAピクチャがBLAピクチャとして取り扱われるべきであると決定する(802)。従って、ネットワークデバイスは、CRAピクチャ及びCRAピクチャがBLAピクチャに変換されるべきであることを指示する外部のインディケーションを送信する(804)。映像復号器30は、CRAピクチャ及びCRAピクチャがBLAピクチャに変換されるべきであることを指示する外部のインディケーション70を受信する(806)。
[0119]外部インディケーション処理ユニット72は、外部のインディケーションに基づいてフラグ74を設定する(808)。次に、フラグは、予測モジュール81に渡すことができる。一例では、外部インディケーション処理ユニット72は、映像復号器30内に存在する。その他の例では、外部インディケーション処理ユニット72は、映像復号器30の外部に存在し、別々であることができる。復号器30において、予測モジュール81は、フラグを検査し、フラグが設定されているときには、CRAピクチャをBLAピクチャとして取り扱う(810)。
[0120]図8の例では、外部のインディケーションが受信されていることを示すためにフラグが使用される。その他の例では、図5と同様に、映像復号器30又はその他のデバイスは、外部のインディケーションを受信し、次に、外部のインディケーションに基づいてCRAピクチャをBLAピクチャとして取り扱う。
[0121]一例では、復号器は、復号器側における1つの機能としてCRAピクチャをBLAピクチャに変更する。該メッセージを受信又は推論する際に、復号器側の1つの機能は、コーディングされたピクチャが復号のために復号器に送信される前に、識別されたCRAピクチャをビットストリームのBLAピクチャに変更することを行うことができる。
[0122]CRAピクチャは、BLAピクチャに変更することができる。各々のコーディングされたスライスNALユニットに関して、nal_unit_typeがCRAピクチャを示す、例えば、値がHEVC WD7に準じて“4”又は“5”に等しい場合は、次が当てはまる。(1)BLAピクチャを示すためにnal_unit_typeの値が変更される、例えば、値が2だけ増加される、(2)no_output_of_prior_pics_flagの値が1に設定される、(3)復号順序で前ピクチャがRAPピクチャであり、現在のスライスのrap_pic_idが前ピクチャのrap_pic_idに等しい場合は、次が当てはまる。すなわち、(a)復号順序で次のピクチャがRAPピクチャでない場合は、現在のスライスのrap_pic_idの値が復号順序で前ピクチャのrap_pic_idと異なるように変更されるが、依然として構文要素の許容値範囲内にある、又は(b)その他の場合(復号順序で次のピクチャがRAPピクチャである場合)は、現在のピクチャのrap_pic_idの値は、復号順序で前ピクチャ及び次のピクチャの両方のrap_pic_idと異なる値に変更されるが、依然として構文要素の許容値範囲内にある。
[0123]今度は、ビットストリームを開始させるCRAピクチャとしてCRAを取り扱うことが説明される。上述されるように、特定のCRAピクチャがBLAピクチャとして取り扱われるべきであることを指示するインディケーションは、特定のCRAピクチャをビットストリーム内の第1のピクチャであるCRAピクチャとして取り扱われるべきであることを指示するインディケーションに変更すること又は該インディケーションとして解釈することができ、ただし、以下において説明される変更がHEVCドラフト仕様に対して行われる。
[0124]一例では、変数CraIsFirstPicFlagが各CRAピクチャと関連付けられる。幾つかのCRAピクチャに関するCraIsFirstPicFlagの値は、外部の手段によって指定することができる。CRAがビットストリーム内の最初のピクチャである場合は、CRAピクチャに関するCraIsFirstPicFlagの値は、外部のインディケーション(存在する場合)によって示される値にかかわらず、1に設定される。そうでない場合は、CRAピクチャに関するCraIsFirstPicFlagの値が外部の手段によって指定されないときには、それは“0”に設定される。
[0125]各々のコーディングされたスライスNALユニットを復号するときに(構文解析を含む)、CraIsFirstPicFlagが“1”に等しく、nal_unit_typeが“4”又は“5”に等しい場合は、no_output_of_prior_pics_flagの値を1に設定することができる。復号順序で前ピクチャがRAPピクチャであり、現在のスライスのrap_pic_idが前ピクチャのrap_pic_idに等しい場合で、復号順序で次のピクチャがRAPピクチャでない場合は、現在のスライスのrap_pic_idの値は、復号順序で前ピクチャのrap_pic_idと異なるように変更されるが、依然としても構文要素の許容値範囲内である。そうでない(復号順序で次のピクチャがRAPピクチャである)場合は、現在のスライスのrap_pic_idの値は、復号順序で前ピクチャ及び次のピクチャの両方のrap_pic_idと異なる値に変更されるが、依然として構文要素の許容値範囲内である。
[0126]代替として、no_output_of_prior_pics_flagの値を1に設定する代わりに、予測モジュール81は、ピクチャタイミングSEIメッセージが存在しており、DPB内の全ピクチャに関するDPB出力時間が現在のピクチャのDPB出力時間よりも小さい場合は、no_output_of_prior_pics_flagの値を1に設定することができる。そうでない場合は、no_output_of_prior_pics_flagの値は“0”に設定される。
[0127]その他の例では、廃棄タグ付き(TFD)ピクチャに関するピクチャ順序カウントの様々な定義を、HEVC WD9又は同規格のその他のワーキングドラフトから変更することができる。従って、以下において提供される定義は、同規格と異なることができる。これらの定義は、ここにおいて説明される幾つかの例又はすべての例には適用することができない。
[0128]幾つかの例では、コーディングされた映像シーケンスは、復号順序で、1に等しいCraIsFirstPicFlagを有することができるCRAアクセスユニット、IDRアクセスユニット又はBLAアクセスユニットを含み、後続するIDR又はBLAアクセスユニットまでの(これらは含まない)すべての後続するアクセスユニットを含むゼロ以上の非IDR及び非BLAアクセスユニットによって後続される。
[0129]幾つかの例では、ピクチャ順序カウントは、各々のコーディングされたピクチャと関連付けることができる変数であり、次のコーディングされたピクチャのうちの1つに関して出力順序でピクチャ位置が増加するのに応じて増加する値を有する。すなわち、(1)復号順序で前IDRピクチャ(存在する場合)、(2)復号順序で前BLAピクチャ(存在する場合)、及び(3)復号順序で前CRAピクチャ(存在する場合)、及び幾つかの例では、前CRAピクチャが1に等しいCraIsFirstPicFlagを有する場合。
[0130]幾つかの例では、上記のコーディングされたピクチャのうちの2つ以上が存在する場合は、ピクチャ順序カウントは、復号順序で該コーディングされたピクチャのうちの最後に関するものである。廃棄タグ付き(TFD)ピクチャ:各スライスが2に等しいnal_unit_typeを有するコーディングされたピクチャ;TFDピクチャは、復号順序で前CRAピクチャ又はBLAピクチャと関連付けられ、出力順序で関連付けられたピクチャに先行する;関連付けられたピクチャがBLAピクチャであるとき、又は、関連付けられたピクチャが1に等しいCraIsFirstPicFlagを有することができるCRAピクチャであるときには、TFDピクチャは、正確に復号することができず、出力されない。
[0131]幾つかの例では、no_output_of_prior_pics_flagの意味論は、no_output_of_prior_pics_flagが、復号ピクチャバッファ内の以前復号されたピクチャが“1”に等しいCraIsFirstPicFlagを有するCRAピクチャ又はIDRピクチャ又はBLAピクチャの復号後にどのように取り扱われるかを指定するように変更することができる。
[0132]幾つかの例では、“1”に等しいCraIsFirstPicFlagを有するCRAピクチャ又はIDRピクチャ又はBLAピクチャがビットストリーム内の最初のピクチャであるときには、no_output_of_prior_pics_flagの値は、復号プロセスに対して影響を有さない。“1”に等しいCraIsFirstPicFlagを有するCRAピクチャ又はIDRピクチャ又はBLAピクチャがビットストリーム内の最初のピクチャでなく、アクティブシーケンスパラメータセットから導き出されたpic_width_in_luma_samples又はpic_height_in_luma_samples又はsps_max_dec_pic_buffering[sps_max_temporal_layers_minus1]の値が、前ピクチャに関してアクティブなシーケンスパラメータセットから導き出されたsps_max_dec_pic_buffering[sps_max_temporal_layers_minus1]の値と異なるときには、no_output_of_prior_pics_flagの実際値にかかわらず、“1”に等しいno_output_of_prior_pics_flagを復号器によって推論することができる(ただし、すべきでない)。
[0133]幾つかの例では、HEVC WD7の小項8.1における次の変更を行うことができる。例えば、次のように変更する。すなわち、ビットストリーム内の最初のコーディングされたピクチャがCRAピクチャであり、現在のピクチャがCRAピクチャと関連付けられたTFDピクチャである場合、又は、復号順序で現在のピクチャに先行する前RAPピクチャがBLAピクチャであり、現在のピクチャがBLAピクチャと関連付けられたTFDピクチャである場合は、PicOutoutFlagが“0”に設定され、小項8.3.3において規定される入手不能な基準ピクチャを生成するための復号プロセスが呼び出される(ピクチャの1つのスライスに関して呼び出す必要があるだけである)、を、CRAピクチャが1に等しいCraIsFirstPicFlagを有し、現在のピクチャがCRAピクチャと関連付けられたTFDピクチャである場合、又は、復号順序で現在のピクチャに先行する前RAPピクチャがBLAピクチャであり、現在のピクチャがBLAピクチャと関連付けられたTFDピクチャである場合は、PicOutoutFlagが“0”に設定され、小項8.3.3において規定される入手不能な基準ピクチャを生成するための復号プロセスが呼び出される(ピクチャの1つのスライスに関して呼び出す必要があるだけである)、に変更する。
[0134]幾つかの例では、HEVC WD7の小項8.3.1において次に関する変更を行うことができる。例えば、現在のピクチャはCRAピクチャであり、ビットストリーム内の最初のコーディングされたピクチャである、を、現在のピクチャは、1に等しいCraIsFirstPicFlagを有するCRAピクチャである、に変更する。
[0135]幾つかの例では、HEVC WD7の小項8.3.1内の次に関する変更を行うことができる。例えば、現在のピクチャがIDR又はBLAピクチャである場合、又はビットストリーム内の最初のコーディングされたピクチャがCRAピクチャであり、現在のピクチャがビットストリーム内の最初のコーディングされたピクチャである場合は、PicOrderCntMsbは、“0”に設定される。そうでない場合は、PicOrderCntMsbは、次の擬似コードによって指定されるように導き出される、を、現在のピクチャがIDR又はBLAピクチャであり、1に等しいCraIsFirstPicFlagを有するCRAピクチャである場合は、PicOrderCntMsbは、“0”に設定される。そうでない場合は、PicOrderCntMsbは、次の擬似コードによって指定されるように導き出される、に、変更する。
[0136]幾つかの例では、HEVC WD7の小項8.3.2内の次に関する変更を行うことができる。例えば、注4−基準ピクチャセットに含まれているが、復号ピクチャバッファ内に存在しない1つ以上の基準ピクチャが存在することができる。“基準ピクチャなし”に等しいRefPicSetStFoll又はRefPicSetLtFoll内のエントリは無視されるべきである。次の2つの条件のうちのいずれが真でないかぎり、“基準ピクチャなし”に等しいRefPicSetStCurrBefore、RefPicSetStCurrAfter及びRefPicSetLtCurr内の各エントリに関して意図されないピクチャ損失が推論されるべきである。すなわち、a)ビットストリーム内の最初のコーディングされたピクチャはCRAピクチャであり、現在のコーディングされたピクチャは、ビットストリーム内の最初のコーディングされたピクチャと関連付けられたTFDピクチャである、b)復号順序で現在のコーディングされたピクチャに先行する前RAPピクチャは、BLAピクチャと関連付けられたTFDピクチャである、を、注4−基準ピクチャセットに含まれているが、復号ピクチャバッファ内に存在しない1つ以上の基準ピクチャが存在することができる。“基準ピクチャなし”に等しいRefPicSetStFoll又はRefPicSetLtFoll内のエントリは無視されるべきである。復号順序で現在のコーディングされたピクチャに先行する前RAPピクチャが、“1”に等しいCraIsFirstPicFlagを有するCRAピクチャ又はBLAピクチャであり、現在のコーディングされたピクチャが前RAPピクチャと関連付けられたTFDピクチャでないかぎり、“基準ピクチャなし”に等しいRefPicSetStCurrBefore、RefPicSetStCurrAfter及びRefPicSetLtCurr内の各エントリに関して意図されないピクチャ損失が推論されるべきである。
[0137]幾つかの例では、HEVC WD7の小項8.3.2内の次に関する変更を行うことができる。例えば、次の2つの条件のうちのいずれが真でないかぎり、“基準ピクチャなし”に等しいエントリはRefPicSetStCurrBefore、RefPicSetStCurrAfter及びRefPicSetLtCurr内に存在しないものとする。すなわち、a)ビットストリーム内の最初のコーディングされたピクチャはCRAピクチャであり、現在のコーディングされたピクチャは、ビットストリーム内の最初のコーディングされたピクチャと関連付けられたTFDピクチャである、b)復号順序で現在のコーディングされたピクチャに先行する前RAPピクチャは、BLAピクチャであり、現在のコーディングされたピクチャは、BLAピクチャと関連付けられたTFDピクチャである、を、復号順序で現在のコーディングされたピクチャに先行する前RAPピクチャが、“1”に等しいCraIsFirstPicFlagを有するCRAピクチャであり、現在のコーディングされたピクチャが前RAPピクチャと関連付けられたTFDピクチャでないかぎり、“基準ピクチャなし”に等しいエントリはRefPicSetStCurrBefore、RefPicSetStCurrAfter及びRefPicSetLtCurr内に存在しないものとする。
[0138]幾つかの例では、HEVC WD7の小項8.3.3.1における最初の3つの段落の変更を次のように行うことができる。すなわち、このプロセスはコーディングされたピクチャごとに1回呼び出され、小項8.3.2において規定されるように基準ピクチャに関する復号プロセスの呼び出し後は、復号順序で現在のコーディングされたピクチャに先行する前RAPピクチャが、“1”に等しいCraIsFirstPicFlagを有するCRAピクチャ又はBLAピクチャであり、現在のコーディングされたピクチャが前記RAPピクチャと関連付けられたTFDピクチャであるとき。注1−ビットストリームの初めのCRAピクチャと関連付けられたTFDピクチャに関する又はBLAピクチャと関連付けられたTFDピクチャに関する復号プロセスのここにおける仕様全体は、該ピクチャの許容される構文コンテンツに関する制約事項を規定することを目的として含められているにすぎない。実際の復号器では、ビットストリームの初めのCRAピクチャと関連付けられたTFDピクチャ又はBLAピクチャと関連付けられたTFDピクチャは、出力に関しては規定されておらず、出力に関して規定されるその他のピクチャの復号プロセスに対しては影響を有さないため、単に無視することができる(ビットストリームから取り除いて廃棄することができる)。復号順序で現在のコーディングされたピクチャに先行する前RAPピクチャが、“1”に等しいCraIsFirstPicFlagを有するCRAピクチャ又はBLAピクチャであり、現在のコーディングされたピクチャが前記RAPピクチャと関連付けられたTFDピクチャであるときには、次が当てはまる。
[0139]幾つかの例では、HEVC WD7の小項C.4内の次のことに関する変更を行うことができる。例えば、注1−この制約事項は、関連付けられたRAPピクチャが、CRAピクチャである場合及びそのCRAピクチャが、ビットストリーム内の最初コーディングされたピクチャでない場合のTFDピクチャの復号可能性を保証するものである、を、注1−この制約事項は、関連付けられたRAPピクチャが、CRAピクチャである場合及びそのCRAピクチャが、“0”に等しいCraIsFirstPicFlagを有する場合の復号可能性を保証するものである、に変更する。
[0140]幾つかの例では、HEVC WD7の小項C.3.1内の第3の段落に関する変更を次のように行うことができる。すなわち、現在のピクチャが、“1”に等しいCraIsFirstPicFlagを有するCRAピクチャ又はIDR又はBLAピクチャである場合は、次が当てはまる。“1”に等しいCraIsFirstPicFlagを有するCRAピクチャ又はIDR又はBLAピクチャが、復号されたピクチャでなく、及びアクティブシーケンスパラメータセットから導き出されたあらゆるiの可能な値に関するpic_width_in_luma_samples又はpic_height_in_luma_samples又はsps_max_dec_pic_buffering[i]の値が、前ピクチャに関してアクティブであったシーケンスパラメータセットからそれぞれ導き出されたpic_width_in_luma_samples又はpic_height_in_luma_samples又はsps_max_dec_pic_buffering[i]の値と異なるときには、no_output_of_prior_pics_flagの実際値にかかわらず、“1”に等しいno_output_of_prior_pics_flagは、HRDによって1に等しいと推論される。注1−復号器実装は、pic_width_in_luma_samples、pic_height_in_luma_samples、又はsps_max_dec_pic_buffering[i]の変更に関してHRDよりも優雅に(gracefully)ピクチャ又はDPBサイズの変更を取り扱うことを試みるべきである。no_output_of_prior_pics_flagが“1”に等しい又は1に等しいと推論されるときには、DPB内のすべてのピクチャ格納バッファが、入っているピクチャが出力されずに空にされ、DPBが満杯であるかどうか(DBP fullness)が“0”に設定される。
[0141]幾つかの例では、HEVC WD7の小項C.5.2全体に関する変更を次のように行うことができる。すなわち、現在のピクチャの復号前(ただし、現在のピクチャの第1のスライスのスライスヘッダを構文解析後)にDPBからピクチャを取り除くことは、現在のピクチャが入ったアクセスユニットの第1の復号ユニットがCPBから取り除かれた瞬間に行われ、次のように進行する。小項8.3.2において規定される基準ピクチャセットに関する復号プロセスが呼び出される。現在のピクチャが、“1”に等しいCraIsFirstPicFlagを有するCRAピクチャ又はIDR又はBLAピクチャである場合は、次が当てはまる。“1”に等しいCraIsFirstPicFlagを有するCRAピクチャ又はIDR又はBLAピクチャが復号された第1のピクチャでなく、及びアクティブシーケンスパラメータセットから導き出されたあらゆるiの可能な値に関するpic_width_in_luma_samples又はpic_height_in_luma_samples又はsps_max_dec_pic_buffering[i]の値が、前ピクチャに関してアクティブであったシーケンスパラメータセットからそれぞれ導き出されたpic_width_in_luma_samples又はpic_height_in_luma_samples又はsps_max_dec_pic_buffering[i]の値と異なるときには、no_output_of_prior_pics_flagの実際値にかかわらず、“1”に等しいno_output_of_prior_pics_flagは、HRDによって1に等しいと推論される。注−復号器実装は、pic_width_in_luma_samples、pic_height_in_luma_samples、又はsps_max_dec_pic_buffering[i]の変更に関してHRDよりも優雅にピクチャ又はDPBサイズの変更を取り扱うことを試みるべきである。no_output_of_prior_pics_flagが“1”に等しい又は1に等しいと推論されるときには、DPB内のすべてのピクチャ格納バッファが、入っているピクチャが出力されずに空にされ、DPBが満杯であるかどうか(DBP fullness)が“0”に設定される。そう
でないときには、“出力のために必要なし”及び“参照のために未使用”と表示されるピクチャが入ったピクチャ格納バッファが(出力されずに)空にされる。次の条件のうちの1つ以上が真であるときには、現在の復号されたピクチャを格納するための空のピクチャ格納バッファが存在するまで、小項5.2.1において規定される“バンピング”(bumping)プロセスが繰り返し呼び出される。“出力のために必要”と表示されるDPB内のピクチャ数は、sps_num_reorder_pics[temporal_id]よりも大きい。現在のピクチャのtemporal_id以下であるtemporal_idを有するDPB内のピクチャ数は、sps_max_dec_pic_buffering[temporal_id]に等しい。
[0142]幾つかの例では、現在のピクチャが、no_output_of_prior_pics_flagが“1”に等しくない及び1に等しいと推論されない“1”に等しいCraIsFirstPicFlagを有するCRAピクチャ又はIDR又はBLAピクチャであるときには、次の2つのステップが実行される。すなわち、“出力のために必要なし”又は“参照のための未使用”と表示されるピクチャが入ったピクチャ格納バッファが(出力されずに)空にされる。DPB内のすべての空でないピクチャ格納バッファが、小項C.5.2.1において規定される“バンピング”プロセスを繰り返し呼び出すことによって空にされる。
[0143]幾つかの例は、“バンピング”プロセスを含むことができる。“バンピング”プロセスは、次の場合に呼び出すことができる。すなわち、(1)小項C.5.2において規定されるように、現在のピクチャが、“1”に等しいCraIsFirstPicFlagを有するCRAピクチャ又はIDR又はBLAピクチャであり、no_output_of_prior_pics_flagが“1”に等しくなく、及び1に等しいと推論されない、(2)小項C.5.2において規定されるように、“出力のために必要”と表示されるDPB内のピクチャ数が、sps_num_reorder_pics[temporal_id]よりも大きい、及び(3)小項C.5.2において規定されるように、現在のピクチャのtemporal_id以下であるtemporal_idを有するDPB内のピクチャ数が、sps_max_dec_pic_buffering[temporal_id]と等しい。
[0144]“バンピング”プロセスは、次の順序が設定されたステップを含むことができる。すなわち、(1)最初に出力されるピクチャが、“出力のために必要”と表示されるDPB内の全ピクチャのPicOrderCntValの最小値を有するそれとして選択される、(2)そのピクチャに関するアクティブシーケンスパラメータセットにおいて指定されるクロッピング(cropping)長方形を用いてそのピクチャがクロッピングされ、クロッピングされたピクチャが出力され、そのピクチャに“出力のために必要なし”という表示がされる、(3)クロッピングされて出力されたピクチャを含んでいたピクチャ格納バッファが“参照のために未使用”と表示されたピクチャを含んでいる場合は、ピクチャ格納バッファが空にされる。
[0145]幾つかの例では、HEVCドラフト仕様が上記のように変更されることで、BLAピクチャをサポートするためのすべてのテキストをさらに取り除くことが可能である。
[0146]今度は、ピクチャの改良された出力について説明される。一例では、no_output_of_prior_pics_flagがoutput_all_prior_pics_flagに変更され、“1”に等しいこのフラグが、no_output_of_prior_pics_flagが“0”に等しいときと同等の意味を有することが提案される。さらに、このフラグが“0”に等しいときには、出力/表示のために使用することができる以前のピクチャの数は、num_output_picsとしてシグナリングされる。num_output_picsは、u(v)としてシグナリングすることができ、この構文要素は、0乃至MaxDpbSize(この値を除く)の範囲内にある。出力/表示されるべきnum_out_picsは、BLA又はIDRピクチャのほうにより近い表示順序を有し及び第1のビットストリーム内にあるピクチャである。num_out_picsは、出力する必要がないリーディングピクチャ(leading picture)の数に関連することができる。
[0147]代替として、num_output_picsは、ue(v)としてシグナリングすることができる。代替として、no_output_of_prior_pics_flag、output_all_prior_pics_flag、又はnum_output_picsはシグナリングされず、num_prior_discard_picsがu(v)又はue(v)として直接シグナリングされ、num_prior_discard_picsは、0乃至MaxDpbSize(この値を除く)の範囲内にある。それは、廃棄されるべき以前のピクチャの数を示す。廃棄されるべき(従って、表示されない)num_prior_discard_picsは、BLA又はIDRピクチャからより遠い表示順序を有し及び第1のビットストリーム内にあるピクチャである。
[0148]代替として、表示されていない第1のビットストリーム内のすべてのピクチャを表示するために要求される、第1のビットストリーム内のフレーム数の点での、追加メモリを示すためにスプライシング中にSEIメッセージを追加することができる。
[0149]今度は、ピクチャタイミングのシグナリングについて説明される。異なるタイミング情報、例えば、最も早い提示時間(すなわち、最も早いDPB出力時間)及び1つのBLA又はCRAピクチャと関連付けられたすべてのTFDピクチャの最小のピクチャ順序カウント値、のうちの1つ以上の指示をビットストリーム内に含めることができる。情報は、スライスヘッダ及びSEIメッセージ(例えば、リカバリポイントSEIメッセージ又はバッファリング期間メッセージ又はピクチャタイミングSEIメッセージ)のうちの1つ以上の中に含めることができる。情報をシグナリングするためにRAPピクチャのスライスヘッダ又はRAPピクチャと関連付けられたSEIメッセージ内に次の構文要素のうちの1つ以上を含めることができる。すなわち、(1)delta_earliest_presentation_time、RAPピクチャがビットストリーム内の第1のピクチャである(すなわち、RAPピクチャと関連付けられたすべてのDLPの最も早いDPB出力時間)ときのRAPピクチャのDPB出力時間とピクチャの最も早い出力時間との差を示し、単位は、HEVC WD7の付属書Cにおいて規定されるクロックの刻み。この構文要素は、u(v)コーディングすることができ、及び、構文要素を表すために使用されるビット数は、cpb_removal_delay_length_minus+1ビットである。値“0”は、RAPピクチャが、関連付けられたDLPを有さないことを示す、(2)delta_earliest_poc、RAPピクチャがビットストリーム内の第1のピクチャである(すなわち、RAPピクチャと関連付けられたすべてのDLPの最小の最も早いPicOrderCntVal値)ときのRAPピクチャのPicOrderCntVal値とピクチャの最小のPicOrderCntVal値との間の差を示す。この構文要素は、ue(v)コーディングすることができ、値範囲は、0乃至MaxPicOrderCntLsb/2−1であることができる。
[0150]1つ以上の例において、説明される機能は、ハードウェア、ソフトウェア、ファームウェア、又はそれらのあらゆる組み合わせにおいて実装することができる。ソフトウェアにおいて実装される場合は、それらの機能は、コンピュータによって読み取り可能な媒体において1つ以上の命令又はコードとして格納又は送信すること及びハードウェアに基づく処理ユニットによって実行することができる。コンピュータによって読み取り可能な媒体は、コンピュータによって読み取り可能な記憶媒体を含むことができ、それは、有形な媒体、例えば、データ記憶媒体、又は、例えば、通信プロトコルにより、1つの場所から他へのコンピュータプログラムの転送を容易にするあらゆる媒体を含む通信媒体、に対応する。このように、コンピュータによって読み取り可能な媒体は、概して、(1)非一時的である有形なコンピュータによって読み取り可能な記憶媒体又は(2)通信媒体、例えば、信号又は搬送波、に対応することができる。データ記憶媒体は、本開示において説明される技法の実装のために命令、コード及び/又はデータ構造を取り出すために1つ以上のコンピュータ又は1つ以上のプロセッサによってアクセスすることができるあらゆる利用可能な媒体であることができる。コンピュータプログラム製品は、コンピュータによって読み取り可能な媒体を含むことができる。
[0151]幾つかの例では、メッセージ又は構文要素は、次のうちの1つを含む。すなわち、(1)delta_earliest_presentation_time、BRAピクチャとして取り扱われる1つ以上のCRAと関連付けられた時間差を示す、又は、(2)delta_earliest_poc、BRAピクチャとして取り扱われる1つ以上のCRAと関連付けられたピクチャ順序値の差を示す。
[0152]さらにその他の例では、本開示は、格納されたデータ構造を備えるコンピュータによって読み取り可能な媒体を企図し、データ構造は、本開示に一致する符号化されたビットストリームを含む。特に、データ構造は、ここにおいて説明されるNALユニット設計を含むことができる。
[0153]一例においては、CRAピクチャは、BRAピクチャとして取り扱うことができる。映像復号器30は、ネットワーク抽象化層(NAL)タイプの値を変更し、以前のピクチャの出力を制御する値を設定し、及び、次のピクチャと関連付けられたピクチャ識別(ID)値を変更することができる。映像復号器30は、切り換え動作を示すための構文要素を受信することができる。圧縮されたビットストリーム及び切り換え動作の一部である構文要素又はメッセージは、1つ以上のCRAピクチャをBRAピクチャとして取り扱うように復号器に命令する。これで、復号器は、構文要素に部分的に基づいてビットストリームを復号することができる。
[0154]一例では、映像符号器20は、切り換え動作を示すための構文要素又はメッセージを生成することができる。切り換え動作は、1つ以上のCRAピクチャをBRAピクチャとして取り扱うように復号器に命令する。映像符号器20は、圧縮されたビットストリームの一部として構文要素を復号デバイスに送信することができる。
[0155]一例により、及び制限することなしに、該コンピュータによって読み取り可能な記憶媒体は、希望されるプログラムコードを命令又はデータ構造の形態で格納するために使用することができ及びコンピュータによってアクセス可能であるRAM、ROM、EEPROM、CD−ROM又はその他の光学ディスク記憶装置、磁気ディスク記憶装置、又はその他の磁気記憶デバイス、フラッシュメモリ、又はその他のいずれかの媒体を備えることができる。さらに、どのような接続も、コンピュータによって読み取り可能な媒体であると適切に呼ばれる。例えば、命令が、同軸ケーブル、光ファイバケーブル、より対線、デジタル加入者ライン(DSL)、又は無線技術、例えば、赤外線、無線、及びマイクロ波、を用いてウェブサイト、サーバ、又はその他の遠隔ソースから送信される場合は、該同軸ケーブル、光ファイバケーブル、より対線、DSL、又は無線技術、例えば赤外線、無線、及びマイクロ波、は、媒体の定義の中に含まれる。しかしながら、コンピュータによって読み取り可能な記憶媒体およびデータ記憶媒体は、コネクション、搬送波、信号、又はその他の遷移媒体は含まず、代わりに、非一時的な、有形の記憶媒体を対象とすることが理解されるべきである。ここにおいて用いられるときのディスク(disk及びdisc)は、コンパクトディスク(CD)(disc)と、レーザディスク(disc)と、光ディスク(disc)と、デジタルバーサタイルディスク(DVD)(disc)と、フロッピー(登録商標)ディスク(disk)と、Blu−ray(登録商標)ディスク(disc)と、を含み、ここで、diskは、通常は磁気的にデータを複製し、discは、レーザを用いて光学的にデータを複製する。上記の組み合わせも、コンピュータによって読み取り可能な媒体の適用範囲内に含められるべきである。
[0156]命令は、1つ以上のプロセッサ、例えば、1つ以上のデジタル信号プロセッサ(DSP)、汎用マイクロプロセッサ、特定用途向け集積回路(ASIC)、フィールドプログラマブルロジックアレイ(FPGA)、又はその他の同等の集積又はディスクリート論理回路によって実行することができる。従って、ここにおいて用いられる場合の用語“プロセッサ”は、上記の構造又はここにおいて説明される技法の実装に適するあらゆるその他の構造のうちのいずれかを意味することができる。さらに、幾つかの態様では、ここにおいて説明される機能は、符号化および復号のために構成された専用のハードウェア及び/又はソフトウェアモジュール内において提供されること、又は組み合わされたコーデック内に組み入れることができる。さらに、技法は、1つ以上の回路又は論理素子内に完全に実装することが可能である。
[0193]本開示の技法は、無線ハンドセット、集積回路(IC)又は一組のIC(例えば、チップセット)を含む非常に様々なデバイス又は装置内に実装することができる。本開示では、開示される技法を実施するように構成されたデバイスの機能上の態様を強調するために様々なコンポーネント、モジュール、又はユニットが説明されるが、異なるハードウェアユニットによる実現は必ずしも要求しない。むしろ、上述されるように、様々なユニットは、適切なソフトウェア及び/又はファームウェアと関係させて、コーデックハードウェアユニット内において結合させること又は上述されるように1つ以上のプロセッサを含む相互運用的なハードウェアユニットの集合によって提供することができる。
[0158]様々な例が説明されている。これらの及びその他の例は、以下の請求項の範囲内である。
[0158]様々な例が説明されている。これらの及びその他の例は、以下の請求項の範囲内である。
以下に、本願出願の当初の特許請求の範囲に記載された発明を付記する。
[C1]
映像データを処理する方法であって、
映像復号器において外部のインディケーションを受信することと、
前記外部のインディケーションに基づいてクリーンランダムアクセス(CRA)ピクチャをブロークンリンクアクセス(BLA)ピクチャとして取り扱うことと、を備える、方法。
[C2]
前記外部のインディケーションは、前記映像復号器においてフラグが設定されるべきかどうかを示し、
前記外部のインディケーションに基づいて前記フラグを設定することと、
前記フラグを検査することと、をさらに備え、
前記外部のインディケーションに基づいて前記CRAピクチャをBLAピクチャとして取り扱うことは、前記フラグに基づいて前記CRAピクチャをBLAピクチャとして取り扱うことを備えるC1に記載の方法。
[C3]
前記フラグは、前記CRAと関連付けられるC2に記載の方法。
[C4]
前記フラグのデフォルト値は、“0”であり、前記フラグの設定値は、“1”であるC2に記載の方法。
[C5]
コーディングされたスライスネットワーク抽象化層(NAL)ユニットを復号時に、前記フラグが設定されている場合は、前記NALユニットのNALユニットタイプを変更することをさらに備えるC2に記載の方法。
[C6]
前記フラグは、第1のフラグを備え、前記方法は、前記コーディングされたスライスネットワーク抽象化層(NAL)ユニットを復号時に、前記第1のフラグが設定されている場合は、第2のフラグの値を変更することをさらに備え、前記第2のフラグは、以前のピクチャの前記出力を制御するC5に記載の方法。
[C7]
前記フラグは、第1のフラグを備え、前記方法は、前記コーディングされたスライスネットワーク抽象化層(NAL)ユニットを復号時に、前記第1のフラグが設定されている場合は、第2のフラグの前記値を1に設定することをさらに備えるC5に記載の方法。
[C8]
コーディングされたスライスNALユニットを復号することは、NALユニットタイプを識別するために各々のコーディングされたスライスNALユニットを構文解析することを含むC5に記載の方法。
[C9]
前記フラグは、第1のフラグを備え、コーディングされたスライスネットワーク抽象化層(NAL)ユニットを復号時に、前記第1のフラグが1に等しく、コーディングされたスライスNALユニットのNALユニットタイプがCRAピクチャを示す場合は、
BLAピクチャを示すために前記NALユニットタイプの前記値を変更するC8に記載の方法。
[C10]
前記フラグを設定することは、ビットストリームのビットレート及び空間解像度のうちの少なくとも1つの変更が生じている旨のメッセージを受信することと、前記ビットレート及び空間解像度のうちの少なくとも1つの前記変更に基づいて前記フラグを設定することと、を備えるC2に記載の方法。
[C11]
前記フラグは、HandleCraAsBlaFlagを備えるC2に記載の方法。
[C12]
前記フラグは、第1のフラグと、第2のフラグと、を備え、
前記第2のフラグは、no_output_of_prior_pictures_flagを備え、前記第2のフラグは、コンテキスト変数も備えるC2に記載の方法。
[C13]
映像データを処理するための映像復号器であって、
映像復号器において外部のインディケーションを受信し、及び
前記外部のインディケーションに基づいてクリーンランダムアクセス(CRA)ピクチャをブロークンリンクアクセス(BLA)ピクチャとして取り扱うように構成されたプロセッサを備える、映像復号器。
[C14]
前記外部のインディケーションは、前記映像復号器においてフラグが設定されるべきかどうかを示し、前記プロセッサは、
前記外部のインディケーションに基づいて前記フラグを設定し、及び
前記フラグを検査するようにさらに構成され、
前記外部のインディケーションに基づいて前記CRAピクチャをBLAピクチャとして取り扱うことは、前記フラグに基づいて前記CRAピクチャをBLAピクチャとして取り扱うことを備えるC13に記載の映像復号器。
[C15]
前記フラグは、前記CRAピクチャと関連付けられるC14に記載の映像復号器。
[C16]
前記フラグが設定されるべきであることを示す外部のインディケーションを受信し、及び
前記外部のインディケーションに基づいて前記フラグを設定するようにさらに構成されるC14に記載の映像復号器。
[C17]
前記フラグのデフォルト値は、“0”であり、前記フラグの設定値は、“1”であるC14に記載の映像復号器。
[C18]
コーディングされたスライスネットワーク抽象化層(NAL)ユニットを復号時に、前記フラグが設定されている場合は、前記NALユニットのNALユニットタイプを変更するようにさらに構成されるC14に記載の映像復号器。
[C19]
前記フラグは、第1のフラグを備え、前記映像復号器は、前記コーディングされたスライスネットワーク抽象化層(NAL)ユニットを復号時に、前記フラグが設定されている場合は、第2のフラグの値を変更するようにさらに構成されるC18に記載の映像復号器。
[C20]
前記フラグは、第1のフラグを備え、前記映像復号器は、前記コーディングされたスライスネットワーク抽象化層(NAL)ユニットを復号時に、前記フラグが設定されている場合は、第2のフラグの前記値を1に設定することをさらに備えるC18に記載の映像復号器。
[C21]
コーディングされたスライスNALユニットを復号するようにさらに構成され、前記NALユニットタイプを識別するために各々のコーディングされたスライスNALユニットを構文解析することを含むC18に記載の映像復号器。
[C22]
前記フラグは、第1のフラグを備え、コーディングされたスライスネットワーク抽象化層(NAL)ユニットを復号時に、前記第1のフラグが1に等しく、コーディングされたスライスNALユニットのNALユニットタイプがCRAピクチャを示す場合は、
BLAピクチャを示すために前記NALユニットタイプの前記値を変更するC21に記載の映像復号器。
[C23]
前記フラグを設定することは、ビットストリームのビットレート及び空間解像度のうちの少なくとも1つの変更が生じている旨のメッセージを受信することと、前記ビットレート及び空間解像度のうちの少なくとも1つの前記変更に基づいて前記フラグを設定することと、を備えるC14に記載の映像復号器。
[C24]
前記フラグは、HandleCraAsBlaFlagを備えるC14に記載の映像復号器。
[C25]
前記フラグは、第1のフラグと、第2のフラグと、を備え、
前記第2のフラグは、no_output_of_prior_pictures_flagを備え、前記第2のフラグは、コンテキスト変数を備えるC14に記載の映像復号器。
[C26]
映像データを処理するための映像復号器であって、
映像復号器において外部のインディケーションを受信するための手段と、
前記外部のインディケーションに基づいてクリーンランダムアクセス(CRA)ピクチャをブロークンリンクアクセス(BLA)ピクチャとして取り扱うための手段と、を備える、映像復号器。
[C27]
前記外部のインディケーションは、前記映像復号器においてフラグが設定されるべきかどうかを示し、前記映像復号器は、
前記外部のインディケーションに基づいて前記フラグを設定するための手段と、
前記フラグを検査するための手段と、をさらに備え、
前記外部のインディケーションに基づいて前記CRAピクチャをBLAピクチャとして取り扱うことは、前記フラグに基づいて前記CRAピクチャをBLAピクチャとして取り扱うことを備えるC26に記載の映像復号器。
[C28]
前記フラグは、前記CRAピクチャと関連付けられるC27に記載の映像復号器。
[C29]
前記フラグのデフォルト値は、“0”であり、前記フラグの設定値は、“1”であるC27に記載の映像復号器。
[C30]
コーディングされたスライスネットワーク抽象化層(NAL)ユニットを復号時に、前記フラグが設定されている場合は、前記NALユニットのNALユニットタイプを変更するための手段をさらに備えるC27に記載の映像復号器。
[C31]
前記フラグは、第1のフラグを備え、前記映像復号器は、前記コーディングされたスライスネットワーク抽象化層(NAL)ユニットを復号時に、前記フラグが設定されている場合は、第2のフラグの前記値を変更するための手段をさらに備えるC30に記載の映像復号器。
[C32]
前記フラグは、第1のフラグを備え、前記映像復号器は、前記コーディングされたスライスネットワーク抽象化層(NAL)ユニットを復号時に、前記フラグが設定されている場合は、第2のフラグの前記値を1に設定するための手段をさらに備えるC30に記載の映像復号器。
[C33]
コーディングされたスライスNALユニットを復号することは、NALユニットタイプを識別するために各々のコーディングされたスライスNALユニットを構文解析することを含むC30に記載の映像復号器。
[C34]
前記フラグは、第1のフラグを備え、コーディングされたスライスネットワーク抽象化層(NAL)ユニットを復号時に、前記第1のフラグが1に等しく、コーディングされたスライスNALユニットのNALユニットタイプがCRAピクチャを示す場合は、
BLAピクチャを示すために前記NALユニットタイプの前記値を変更するC33に記載の映像復号器。
[C35]
前記フラグを設定することは、ビットストリームのビットレートの変更が生じている旨のメッセージを受信することと、前記ビットレートの前記変更に基づいて前記フラグを設定することと、をさらに備えるC27に記載の映像復号器。
[C36]
前記フラグは、HandleCraAsBlaFlagを備えるC27に記載の映像復号器。
[C37]
前記フラグは、第1のフラグと、第2のフラグと、を備え、
前記第2のフラグは、no_output_of_prior_pictures_flagを備え、前記第2のフラグは、コンテキスト変数を備えるC27に記載の映像復号器。
[C38]
コンピュータによって読み取り可能な記憶媒体であって、実行されたときに、
映像復号器において外部のインディケーションを受信し、及び
前記外部のインディケーションに基づいてクリーンランダムアクセス(CRA)ピクチャをブロークンリンクアクセス(BLA)ピクチャとして取り扱うことをデバイスの1つ以上のプロセッサに行わせる命令を格納している、コンピュータによって読み取り可能な記憶媒体。
[C39]
前記外部のインディケーションは、前記映像復号器においてフラグが設定されるべきかどうかを示し、前記命令は、実行されたときに、
前記外部のインディケーションに基づいて前記フラグを設定し、及び
前記フラグを検査することをデバイスの前記1つ以上のプロセッサに行わせ、前記外部のインディケーションに基づいて前記CRAピクチャをBLAピクチャとして取り扱うことは、前記フラグに基づいて前記CRAピクチャをBLAピクチャとして取り扱うことを備えるC38に記載のコンピュータによって読み取り可能な記憶媒体。
[C40]
前記フラグは、前記CRAピクチャと関連付けられるC39に記載のコンピュータによって読み取り可能な記憶媒体。
[C41]
前記フラグが設定されるべきであることを示す外部のインディケーションを受信し、及び
前記外部のインディケーションに基づいて前記フラグを設定することを前記1つ以上のプロセッサに行わせるようにさらに構成されるC39に記載のコンピュータによって読み取り可能な記憶媒体。
[C42]
コーディングされたスライスネットワーク抽象化層(NAL)ユニットを復号時に、前記フラグが設定されている場合は、前記NALユニットのNALユニットタイプを変更することを前記1つ以上のプロセッサに行わせるようにさらに構成されるC39に記載のコンピュータによって読み取り可能な記憶媒体。
[C43]
前記フラグは、第1のフラグを備え、前記コンピュータによって読み取り可能な記憶媒体は、前記コーディングされたスライスネットワーク抽象化層(NAL)ユニットを復号時に、前記第1のフラグが設定されている場合は、第2のフラグの前記値を変更することを前記1つ以上のプロセッサに行わせるようにさらに構成されるC42に記載のコンピュータによって読み取り可能な記憶媒体。
[C44]
前記フラグは、第1のフラグを備え、前記コンピュータによって読み取り可能な記憶媒体は、前記コーディングされたスライスネットワーク抽象化層(NAL)ユニットを復号時に、前記フラグが設定されている場合は、第2のフラグの前記値を1に設定することを前記1つ以上のプロセッサに行わせるようにさらに構成されるC42に記載のコンピュータによって読み取り可能な記憶媒体。
[C45]
コーディングされたスライスNALユニットを復号することを前記1つ以上のプロセッサに行わせるようにさらに構成され、前記NALユニットタイプを識別するために各々のコーディングされたスライスNALユニットを構文解析することを含むC42に記載のコンピュータによって読み取り可能な記憶媒体。

Claims (45)

  1. 映像データを処理する方法であって、
    映像復号器において外部のインディケーションを受信することと、
    前記外部のインディケーションに基づいてクリーンランダムアクセス(CRA)ピクチャをブロークンリンクアクセス(BLA)ピクチャとして取り扱うことと、を備える、方法。
  2. 前記外部のインディケーションは、前記映像復号器においてフラグが設定されるべきかどうかを示し、
    前記外部のインディケーションに基づいて前記フラグを設定することと、
    前記フラグを検査することと、をさらに備え、
    前記外部のインディケーションに基づいて前記CRAピクチャをBLAピクチャとして取り扱うことは、前記フラグに基づいて前記CRAピクチャをBLAピクチャとして取り扱うことを備える請求項1に記載の方法。
  3. 前記フラグは、前記CRAと関連付けられる請求項2に記載の方法。
  4. 前記フラグのデフォルト値は、“0”であり、前記フラグの設定値は、“1”である請求項2に記載の方法。
  5. コーディングされたスライスネットワーク抽象化層(NAL)ユニットを復号時に、前記フラグが設定されている場合は、前記NALユニットのNALユニットタイプを変更することをさらに備える請求項2に記載の方法。
  6. 前記フラグは、第1のフラグを備え、前記方法は、前記コーディングされたスライスネットワーク抽象化層(NAL)ユニットを復号時に、前記第1のフラグが設定されている場合は、第2のフラグの値を変更することをさらに備え、前記第2のフラグは、以前のピクチャの前記出力を制御する請求項5に記載の方法。
  7. 前記フラグは、第1のフラグを備え、前記方法は、前記コーディングされたスライスネットワーク抽象化層(NAL)ユニットを復号時に、前記第1のフラグが設定されている場合は、第2のフラグの前記値を1に設定することをさらに備える請求項5に記載の方法。
  8. コーディングされたスライスNALユニットを復号することは、NALユニットタイプを識別するために各々のコーディングされたスライスNALユニットを構文解析することを含む請求項5に記載の方法。
  9. 前記フラグは、第1のフラグを備え、コーディングされたスライスネットワーク抽象化層(NAL)ユニットを復号時に、前記第1のフラグが1に等しく、コーディングされたスライスNALユニットのNALユニットタイプがCRAピクチャを示す場合は、
    BLAピクチャを示すために前記NALユニットタイプの前記値を変更する請求項8に記載の方法。
  10. 前記フラグを設定することは、ビットストリームのビットレート及び空間解像度のうちの少なくとも1つの変更が生じている旨のメッセージを受信することと、前記ビットレート及び空間解像度のうちの少なくとも1つの前記変更に基づいて前記フラグを設定することと、を備える請求項2に記載の方法。
  11. 前記フラグは、HandleCraAsBlaFlagを備える請求項2に記載の方法。
  12. 前記フラグは、第1のフラグと、第2のフラグと、を備え、
    前記第2のフラグは、no_output_of_prior_pictures_flagを備え、前記第2のフラグは、コンテキスト変数も備える請求項2に記載の方法。
  13. 映像データを処理するための映像復号器であって、
    映像復号器において外部のインディケーションを受信し、及び
    前記外部のインディケーションに基づいてクリーンランダムアクセス(CRA)ピクチャをブロークンリンクアクセス(BLA)ピクチャとして取り扱うように構成されたプロセッサを備える、映像復号器。
  14. 前記外部のインディケーションは、前記映像復号器においてフラグが設定されるべきかどうかを示し、前記プロセッサは、
    前記外部のインディケーションに基づいて前記フラグを設定し、及び
    前記フラグを検査するようにさらに構成され、
    前記外部のインディケーションに基づいて前記CRAピクチャをBLAピクチャとして取り扱うことは、前記フラグに基づいて前記CRAピクチャをBLAピクチャとして取り扱うことを備える請求項13に記載の映像復号器。
  15. 前記フラグは、前記CRAピクチャと関連付けられる請求項14に記載の映像復号器。
  16. 前記フラグが設定されるべきであることを示す外部のインディケーションを受信し、及び
    前記外部のインディケーションに基づいて前記フラグを設定するようにさらに構成される請求項14に記載の映像復号器。
  17. 前記フラグのデフォルト値は、“0”であり、前記フラグの設定値は、“1”である請求項14に記載の映像復号器。
  18. コーディングされたスライスネットワーク抽象化層(NAL)ユニットを復号時に、前記フラグが設定されている場合は、前記NALユニットのNALユニットタイプを変更するようにさらに構成される請求項14に記載の映像復号器。
  19. 前記フラグは、第1のフラグを備え、前記映像復号器は、前記コーディングされたスライスネットワーク抽象化層(NAL)ユニットを復号時に、前記フラグが設定されている場合は、第2のフラグの値を変更するようにさらに構成される請求項18に記載の映像復号器。
  20. 前記フラグは、第1のフラグを備え、前記映像復号器は、前記コーディングされたスライスネットワーク抽象化層(NAL)ユニットを復号時に、前記フラグが設定されている場合は、第2のフラグの前記値を1に設定することをさらに備える請求項18に記載の映像復号器。
  21. コーディングされたスライスNALユニットを復号するようにさらに構成され、前記NALユニットタイプを識別するために各々のコーディングされたスライスNALユニットを構文解析することを含む請求項18に記載の映像復号器。
  22. 前記フラグは、第1のフラグを備え、コーディングされたスライスネットワーク抽象化層(NAL)ユニットを復号時に、前記第1のフラグが1に等しく、コーディングされたスライスNALユニットのNALユニットタイプがCRAピクチャを示す場合は、
    BLAピクチャを示すために前記NALユニットタイプの前記値を変更する請求項21に記載の映像復号器。
  23. 前記フラグを設定することは、ビットストリームのビットレート及び空間解像度のうちの少なくとも1つの変更が生じている旨のメッセージを受信することと、前記ビットレート及び空間解像度のうちの少なくとも1つの前記変更に基づいて前記フラグを設定することと、を備える請求項14に記載の映像復号器。
  24. 前記フラグは、HandleCraAsBlaFlagを備える請求項14に記載の映像復号器。
  25. 前記フラグは、第1のフラグと、第2のフラグと、を備え、
    前記第2のフラグは、no_output_of_prior_pictures_flagを備え、前記第2のフラグは、コンテキスト変数を備える請求項14に記載の映像復号器。
  26. 映像データを処理するための映像復号器であって、
    映像復号器において外部のインディケーションを受信するための手段と、
    前記外部のインディケーションに基づいてクリーンランダムアクセス(CRA)ピクチャをブロークンリンクアクセス(BLA)ピクチャとして取り扱うための手段と、を備える、映像復号器。
  27. 前記外部のインディケーションは、前記映像復号器においてフラグが設定されるべきかどうかを示し、前記映像復号器は、
    前記外部のインディケーションに基づいて前記フラグを設定するための手段と、
    前記フラグを検査するための手段と、をさらに備え、
    前記外部のインディケーションに基づいて前記CRAピクチャをBLAピクチャとして取り扱うことは、前記フラグに基づいて前記CRAピクチャをBLAピクチャとして取り扱うことを備える請求項26に記載の映像復号器。
  28. 前記フラグは、前記CRAピクチャと関連付けられる請求項27に記載の映像復号器。
  29. 前記フラグのデフォルト値は、“0”であり、前記フラグの設定値は、“1”である請求項27に記載の映像復号器。
  30. コーディングされたスライスネットワーク抽象化層(NAL)ユニットを復号時に、前記フラグが設定されている場合は、前記NALユニットのNALユニットタイプを変更するための手段をさらに備える請求項27に記載の映像復号器。
  31. 前記フラグは、第1のフラグを備え、前記映像復号器は、前記コーディングされたスライスネットワーク抽象化層(NAL)ユニットを復号時に、前記フラグが設定されている場合は、第2のフラグの前記値を変更するための手段をさらに備える請求項30に記載の映像復号器。
  32. 前記フラグは、第1のフラグを備え、前記映像復号器は、前記コーディングされたスライスネットワーク抽象化層(NAL)ユニットを復号時に、前記フラグが設定されている場合は、第2のフラグの前記値を1に設定するための手段をさらに備える請求項30に記載の映像復号器。
  33. コーディングされたスライスNALユニットを復号することは、NALユニットタイプを識別するために各々のコーディングされたスライスNALユニットを構文解析することを含む請求項30に記載の映像復号器。
  34. 前記フラグは、第1のフラグを備え、コーディングされたスライスネットワーク抽象化層(NAL)ユニットを復号時に、前記第1のフラグが1に等しく、コーディングされたスライスNALユニットのNALユニットタイプがCRAピクチャを示す場合は、
    BLAピクチャを示すために前記NALユニットタイプの前記値を変更する請求項33に記載の映像復号器。
  35. 前記フラグを設定することは、ビットストリームのビットレートの変更が生じている旨のメッセージを受信することと、前記ビットレートの前記変更に基づいて前記フラグを設定することと、をさらに備える請求項27に記載の映像復号器。
  36. 前記フラグは、HandleCraAsBlaFlagを備える請求項27に記載の映像復号器。
  37. 前記フラグは、第1のフラグと、第2のフラグと、を備え、
    前記第2のフラグは、no_output_of_prior_pictures_flagを備え、前記第2のフラグは、コンテキスト変数を備える請求項27に記載の映像復号器。
  38. コンピュータによって読み取り可能な記憶媒体であって、実行されたときに、
    映像復号器において外部のインディケーションを受信し、及び
    前記外部のインディケーションに基づいてクリーンランダムアクセス(CRA)ピクチャをブロークンリンクアクセス(BLA)ピクチャとして取り扱うことをデバイスの1つ以上のプロセッサに行わせる命令を格納している、コンピュータによって読み取り可能な記憶媒体。
  39. 前記外部のインディケーションは、前記映像復号器においてフラグが設定されるべきかどうかを示し、前記命令は、実行されたときに、
    前記外部のインディケーションに基づいて前記フラグを設定し、及び
    前記フラグを検査することをデバイスの前記1つ以上のプロセッサに行わせ、前記外部のインディケーションに基づいて前記CRAピクチャをBLAピクチャとして取り扱うことは、前記フラグに基づいて前記CRAピクチャをBLAピクチャとして取り扱うことを備える請求項38に記載のコンピュータによって読み取り可能な記憶媒体。
  40. 前記フラグは、前記CRAピクチャと関連付けられる請求項39に記載のコンピュータによって読み取り可能な記憶媒体。
  41. 前記フラグが設定されるべきであることを示す外部のインディケーションを受信し、及び
    前記外部のインディケーションに基づいて前記フラグを設定することを前記1つ以上のプロセッサに行わせるようにさらに構成される請求項39に記載のコンピュータによって読み取り可能な記憶媒体。
  42. コーディングされたスライスネットワーク抽象化層(NAL)ユニットを復号時に、前記フラグが設定されている場合は、前記NALユニットのNALユニットタイプを変更することを前記1つ以上のプロセッサに行わせるようにさらに構成される請求項39に記載のコンピュータによって読み取り可能な記憶媒体。
  43. 前記フラグは、第1のフラグを備え、前記コンピュータによって読み取り可能な記憶媒体は、前記コーディングされたスライスネットワーク抽象化層(NAL)ユニットを復号時に、前記第1のフラグが設定されている場合は、第2のフラグの前記値を変更することを前記1つ以上のプロセッサに行わせるようにさらに構成される請求項42に記載のコンピュータによって読み取り可能な記憶媒体。
  44. 前記フラグは、第1のフラグを備え、前記コンピュータによって読み取り可能な記憶媒体は、前記コーディングされたスライスネットワーク抽象化層(NAL)ユニットを復号時に、前記フラグが設定されている場合は、第2のフラグの前記値を1に設定することを前記1つ以上のプロセッサに行わせるようにさらに構成される請求項42に記載のコンピュータによって読み取り可能な記憶媒体。
  45. コーディングされたスライスNALユニットを復号することを前記1つ以上のプロセッサに行わせるようにさらに構成され、前記NALユニットタイプを識別するために各々のコーディングされたスライスNALユニットを構文解析することを含む請求項42に記載のコンピュータによって読み取り可能な記憶媒体。
JP2015520277A 2012-06-28 2013-06-17 クリーンランダムアクセス(cra)ピクチャに基づくストリーミング適合化 Active JP6092382B2 (ja)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US201261665667P 2012-06-28 2012-06-28
US61/665,667 2012-06-28
US13/773,060 2013-02-21
US13/773,060 US9225978B2 (en) 2012-06-28 2013-02-21 Streaming adaption based on clean random access (CRA) pictures
PCT/US2013/046152 WO2014004150A1 (en) 2012-06-28 2013-06-17 Streaming adaption based on clean random access (cra) pictures

Publications (3)

Publication Number Publication Date
JP2015526023A true JP2015526023A (ja) 2015-09-07
JP2015526023A5 JP2015526023A5 (ja) 2016-07-21
JP6092382B2 JP6092382B2 (ja) 2017-03-08

Family

ID=49778156

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2015520277A Active JP6092382B2 (ja) 2012-06-28 2013-06-17 クリーンランダムアクセス(cra)ピクチャに基づくストリーミング適合化

Country Status (24)

Country Link
US (2) US9225978B2 (ja)
EP (1) EP2868105B1 (ja)
JP (1) JP6092382B2 (ja)
KR (2) KR101687500B1 (ja)
CN (1) CN104429081B (ja)
AU (1) AU2013280889B2 (ja)
BR (1) BR112014032029B1 (ja)
CA (1) CA2875521C (ja)
DK (1) DK2868105T3 (ja)
ES (1) ES2810202T3 (ja)
HK (1) HK1204180A1 (ja)
HU (1) HUE049616T2 (ja)
IL (1) IL235913A (ja)
MX (1) MX341252B (ja)
MY (1) MY180438A (ja)
PH (1) PH12014502841A1 (ja)
PL (1) PL2868105T3 (ja)
PT (1) PT2868105T (ja)
RU (1) RU2617995C2 (ja)
SG (1) SG11201408110RA (ja)
SI (1) SI2868105T1 (ja)
TW (2) TWI590651B (ja)
UA (1) UA119432C2 (ja)
WO (1) WO2014004150A1 (ja)

Families Citing this family (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
MX2014000048A (es) 2011-07-02 2014-04-30 Samsung Electronics Co Ltd Metodo y aparato para multiplexar y desmultiplexar datos de video para identificar el estado de reproduccion de los datos de video.
US9225978B2 (en) 2012-06-28 2015-12-29 Qualcomm Incorporated Streaming adaption based on clean random access (CRA) pictures
US20140003520A1 (en) * 2012-07-02 2014-01-02 Cisco Technology, Inc. Differentiating Decodable and Non-Decodable Pictures After RAP Pictures
JP5891975B2 (ja) * 2012-07-02 2016-03-23 富士通株式会社 動画像符号化装置、動画像復号装置、動画像符号化方法および動画像復号方法
JP2014039252A (ja) * 2012-08-10 2014-02-27 Panasonic Corp 画像復号方法および画像復号装置
KR20140043239A (ko) * 2012-09-27 2014-04-08 한국전자통신연구원 계층간 전환을 이용한 영상 부호화/복호화 방법 및 그 장치
US9402076B2 (en) * 2013-01-07 2016-07-26 Qualcomm Incorporated Video buffering operations for random access in video coding
GB2519745B (en) * 2013-10-22 2018-04-18 Canon Kk Method of processing disordered frame portion data units
US10116576B2 (en) * 2015-10-19 2018-10-30 Samsung Electronics Co., Ltd. Methods and apparatus for random access of HEVC bitstream for MMT
MX2021011012A (es) 2019-03-11 2021-11-12 Huawei Tech Co Ltd Un codificador, un decodificador y métodos correspondientes.
EP3957067A4 (en) * 2019-05-06 2022-06-22 Huawei Technologies Co., Ltd. OUTPUT OF PREVIOUS FRAMES FOR FRAMES FROM A NEW VIDEO SEQUENCE ENCODED IN A VIDEO CODING
US11109041B2 (en) * 2019-05-16 2021-08-31 Tencent America LLC Method and apparatus for video coding
JP2022538889A (ja) * 2019-07-03 2022-09-06 華為技術有限公司 参照ピクチャリスト内の参照ピクチャの種類
US20220103847A1 (en) * 2020-09-29 2022-03-31 Lemon Inc. Dependent random access point indication in video bitstreams

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009521880A (ja) * 2005-12-22 2009-06-04 ヴィドヨ,インコーポレーテッド スケーラブルなビデオ符号化を用いて、またスケーラブルなテレビ会議サーバを複合してテレビ会議を行うためのシステムおよび方法
JP2010507974A (ja) * 2006-10-24 2010-03-11 トムソン ライセンシング 多視点映像符号化のための画像の管理

Family Cites Families (27)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6151443A (en) 1997-05-16 2000-11-21 Indigita Corporation Digital video and data recorder
US20030209375A1 (en) 1999-01-25 2003-11-13 Zip Charge Corporation Electrical vehicle energy supply system, electrical vehicle battery, electrical vehicle battery charging apparatus, battery supply apparatus, and electrical vehicle battery management system
DE60332175D1 (de) * 2002-01-22 2010-05-27 Microsoft Corp Verfahren und System zur Verhinderung von Startkode-Emulation und Stopfdaten
US7149247B2 (en) * 2002-01-22 2006-12-12 Microsoft Corporation Methods and systems for encoding and decoding video data to enable random access and splicing
CA2492751C (en) * 2002-07-16 2012-06-12 Nokia Corporation A method for random access and gradual picture refresh in video coding
US8175154B2 (en) * 2003-06-03 2012-05-08 General Instrument Corporation Method for restructuring a group of pictures to provide for random access into the group of pictures
US7924921B2 (en) * 2003-09-07 2011-04-12 Microsoft Corporation Signaling coding and display options in entry point headers
WO2006003814A1 (ja) 2004-07-01 2006-01-12 Mitsubishi Denki Kabushiki Kaisha ランダムアクセス可能な映像情報記録媒体、及び記録方法、及び再生装置及び再生方法
JP4527677B2 (ja) * 2006-03-15 2010-08-18 富士通株式会社 動画像符号化方法、動画像符号化装置、動画像符号化プログラム
WO2007114612A1 (en) 2006-03-30 2007-10-11 Lg Electronics Inc. A method and apparatus for decoding/encoding a video signal
US20080159407A1 (en) 2006-12-28 2008-07-03 Yang Nick Y Mechanism for a parallel processing in-loop deblock filter
JP5227875B2 (ja) * 2009-04-06 2013-07-03 株式会社日立製作所 動画像符号化装置
US20120106634A1 (en) 2009-04-21 2012-05-03 Lg Electronics Inc. Method and apparatus for processing multi-view video signal
US8270807B2 (en) * 2009-07-13 2012-09-18 Panasonic Corporation Recording medium, playback device, and integrated circuit
TW201210325A (en) * 2010-07-21 2012-03-01 Nokia Corp Method and apparatus for indicating switching points in a streaming session
US20120246295A1 (en) * 2011-03-25 2012-09-27 Xvd Technology Holdings Limited Real Time Distribution of Layered Communication Using Publish-Subscribe Data-Centric Middleware
US9516379B2 (en) * 2011-03-08 2016-12-06 Qualcomm Incorporated Buffer management in video codecs
US9706227B2 (en) 2011-03-10 2017-07-11 Qualcomm Incorporated Video coding techniques for coding dependent pictures after random access
KR20140057533A (ko) * 2011-07-15 2014-05-13 텔레폰악티에볼라겟엘엠에릭슨(펍) 랜덤 액세스 픽처를 청정하게 하기 위해 가장 낮은 계층 식별을 할당하기 위한 인코더 및 방법
US9131245B2 (en) * 2011-09-23 2015-09-08 Qualcomm Incorporated Reference picture list construction for video coding
US20150063463A1 (en) * 2012-04-15 2015-03-05 Samsung Electronics Co., Ltd. Method and device for coding multi-layer video, and method and device for decoding multi-layer video
US9532055B2 (en) * 2012-04-16 2016-12-27 Microsoft Technology Licensing, Llc Constraints and unit types to simplify video random access
CN104380746A (zh) * 2012-04-23 2015-02-25 三星电子株式会社 多视点视频编码方法和装置以及多视点视频解码方法和装置
CN107087205B (zh) * 2012-06-12 2020-04-14 Lg 电子株式会社 图像解码方法及使用其的装置
WO2014003379A1 (ko) * 2012-06-24 2014-01-03 엘지전자 주식회사 영상 디코딩 방법 및 이를 이용하는 장치
US9225978B2 (en) 2012-06-28 2015-12-29 Qualcomm Incorporated Streaming adaption based on clean random access (CRA) pictures
US20140092976A1 (en) * 2012-09-30 2014-04-03 Sharp Laboratories Of America, Inc. System for signaling idr and bla pictures

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009521880A (ja) * 2005-12-22 2009-06-04 ヴィドヨ,インコーポレーテッド スケーラブルなビデオ符号化を用いて、またスケーラブルなテレビ会議サーバを複合してテレビ会議を行うためのシステムおよび方法
JP2010507974A (ja) * 2006-10-24 2010-03-11 トムソン ライセンシング 多視点映像符号化のための画像の管理

Non-Patent Citations (6)

* Cited by examiner, † Cited by third party
Title
JPN5015007988; Gary J. Sullivan: 'CRA pictures with broken links' Joint Collaborative Team on Video Coding (JCT-VC) of ITU-T SG16 WP3 and ISO/IEC JTC1/SC29/WG11 9th M JCTVC-I0404 (rev.1), 20120507 *
JPN5015007989; Rickard Sjoberg, et al.: 'Pre-Published Version- Overview of HEVC High-Level Syntax and Reference Picture Management' IEEE TRANSACTIONS ON CIRCUITS AND SYSTEMS FOR VIDEO TECHNOLOGY vol.22, no.12, 20120413, pp.1858-1870 *
JPN5015007990; Ye-Kui Wang, et al.: 'AHG9: On RAP pictures' Joint Collaborative Team on Video Coding (JCT-VC) of ITU-T SG 16 WP 3 and ISO/IEC JTC 1/SC 29/WG 11 JCTVC-J0107, 20120703 *
JPN5015007991; Ye-Kui Wang, et al.: 'AHG9: On CRA and BLA pictures' Joint Collaborative Team on Video Coding (JCT-VC) of ITU-T SG 16 WP 3 and ISO/IEC JTC 1/SC 29/WG 11 JCTVC-K0122, 20121001 *
JPN5015007992; Kimihiko Kazui, et al.: 'AHG9: New high-level syntax for simple HEVC stream editing' Joint Collaborative Team on Video Coding (JCT-VC) of ITU-T SG16 WP3 and ISO/IEC JTC1/SC29/WG11 10th JCTVC-J0137, 20120712 *
JPN6016031525; Benjamin Bross, et al.: 'High efficiency video coding (HEVC) text specification draft 7' Joint Collaborative Team on Video Coding (JCT-VC) of ITU-T SG16 WP3 and ISO/IEC JTC1/SC29/WG11 9th M JCTVC-I1003_d4, 20120612, pp.1,38,79,80,230,233,234,241 *

Also Published As

Publication number Publication date
AU2013280889B2 (en) 2016-12-08
EP2868105A1 (en) 2015-05-06
BR112014032029A2 (pt) 2017-06-27
WO2014004150A1 (en) 2014-01-03
US10123030B2 (en) 2018-11-06
CA2875521A1 (en) 2014-01-03
BR112014032029B1 (pt) 2023-04-11
JP6092382B2 (ja) 2017-03-08
IL235913A0 (en) 2015-01-29
US9225978B2 (en) 2015-12-29
DK2868105T3 (da) 2020-06-29
HUE049616T2 (hu) 2020-09-28
KR101958073B1 (ko) 2019-03-13
MY180438A (en) 2020-11-28
AU2013280889A1 (en) 2015-01-15
UA119432C2 (uk) 2019-06-25
SG11201408110RA (en) 2015-01-29
US20160112712A1 (en) 2016-04-21
HK1204180A1 (en) 2015-11-06
TWI489877B (zh) 2015-06-21
PT2868105T (pt) 2020-08-05
CN104429081A (zh) 2015-03-18
TW201526615A (zh) 2015-07-01
RU2015102616A (ru) 2016-08-20
CN104429081B (zh) 2018-08-28
RU2617995C2 (ru) 2017-05-02
MX341252B (es) 2016-08-09
PL2868105T3 (pl) 2020-11-16
KR101687500B1 (ko) 2016-12-19
TWI590651B (zh) 2017-07-01
CA2875521C (en) 2017-10-10
ES2810202T3 (es) 2021-03-08
IL235913A (en) 2016-08-31
PH12014502841B1 (en) 2015-02-09
MX2014015361A (es) 2015-03-05
PH12014502841A1 (en) 2015-02-09
US20140003536A1 (en) 2014-01-02
KR20160145211A (ko) 2016-12-19
KR20150036123A (ko) 2015-04-07
EP2868105B1 (en) 2020-05-06
TW201412126A (zh) 2014-03-16
SI2868105T1 (sl) 2020-09-30

Similar Documents

Publication Publication Date Title
JP6092382B2 (ja) クリーンランダムアクセス(cra)ピクチャに基づくストリーミング適合化
JP6664959B2 (ja) リンク破損ピクチャを有するビデオシーケンス中の参照ピクチャのマーキング
JP6177905B2 (ja) 映像コーディングに関する長期基準ピクチャのシグナリング
JP6545623B2 (ja) ビデオコード化における低遅延バッファリングモデル
JP6235026B2 (ja) 誤り耐性のある復号単位関連付け
JP6239732B2 (ja) Irapアクセスユニットおよびビットストリーム切替えおよびスプライシング
JP6009569B2 (ja) 参照ピクチャシグナリングおよび復号ピクチャバッファ管理
JP6169723B2 (ja) ビデオコーディングにおけるランダムアクセスのためのビデオバッファリング動作
US20160165237A1 (en) Random access with advanced decoded picture buffer (dpb) management in video coding
JP6321002B2 (ja) 固定長コード化されたビデオパラメータセット(vps)idを有する補足強化情報(sei)メッセージ
JP2015517278A5 (ja)

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20160531

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20160531

A871 Explanation of circumstances concerning accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A871

Effective date: 20160531

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20160802

A975 Report on accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A971005

Effective date: 20160810

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20160823

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20170110

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20170208

R150 Certificate of patent or registration of utility model

Ref document number: 6092382

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250