JP2017522766A - 従属ランダムアクセスポイントピクチャ - Google Patents

従属ランダムアクセスポイントピクチャ Download PDF

Info

Publication number
JP2017522766A
JP2017522766A JP2016568603A JP2016568603A JP2017522766A JP 2017522766 A JP2017522766 A JP 2017522766A JP 2016568603 A JP2016568603 A JP 2016568603A JP 2016568603 A JP2016568603 A JP 2016568603A JP 2017522766 A JP2017522766 A JP 2017522766A
Authority
JP
Japan
Prior art keywords
picture
drap
irap
decoder
random access
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2016568603A
Other languages
English (en)
Other versions
JP6546197B2 (ja
Inventor
マルティン ペッテルソン,
マルティン ペッテルソン,
ヨナタン サムエルソン,
ヨナタン サムエルソン,
リカルド シェーベリ,
リカルド シェーベリ,
ヤコブ ストレム,
ヤコブ ストレム,
ルオヤン ユー,
ルオヤン ユー,
Original Assignee
テレフオンアクチーボラゲット エルエム エリクソン(パブル)
テレフオンアクチーボラゲット エルエム エリクソン(パブル)
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by テレフオンアクチーボラゲット エルエム エリクソン(パブル), テレフオンアクチーボラゲット エルエム エリクソン(パブル) filed Critical テレフオンアクチーボラゲット エルエム エリクソン(パブル)
Publication of JP2017522766A publication Critical patent/JP2017522766A/ja
Application granted granted Critical
Publication of JP6546197B2 publication Critical patent/JP6546197B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51Motion estimation or motion compensation
    • H04N19/58Motion compensation with long-term prediction, i.e. the reference frame for a current frame not being the temporally closest one
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103Selection of coding mode or of prediction mode
    • H04N19/107Selection of coding mode or of prediction mode between spatial and temporal predictive coding, e.g. picture refresh
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/132Sampling, masking or truncation of coding units, e.g. adaptive resampling, frame skipping, frame interpolation or high-frequency transform coefficient masking
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
    • H04N19/31Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability in the temporal domain
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/44Decoders specially adapted therefor, e.g. video decoders which are asymmetric with respect to the encoder
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/593Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial prediction techniques
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

本実施形態は、ランダムアクセスオペレーションのために利用できるけれどもIRAPピクチャに比べてより低いビットコストで符号化された形で表すことができる、ビデオビットストリームの中の新しいタイプのランダムアクセスポイントを導入する。このランダムアクセスポイントは、IRAPピクチャおよび/または、復号順序に従って前のDRAPピクチャを、そのDRAPピクチャのための唯一の参照ピクチャとして用いて符号化され、かつ復号される従属ランダムアクセスポイント(DRAP)ピクチャである。そのDRAPピクチャは、参照のために使うことができるトレーリングピクチャとして符号化され、ビデオビットストリーム中のランダムアクセスポイントを構成している。【選択図】図21

Description

本実施形態は一般に、ビデオ符号化および復号化と、特に、そのようなビデオ符号化および復号化の間に従属ランダムアクセスポイントを導入し、使用することとに関連している。
インターネット、放送ネットワークおよび移動通信ネットワーク上で送信されるビデオデータの量は年ごとに増大している。この傾向は、高品質のビデオおよびテレビおよび他のビデオサービスを見る一層柔軟な方法に対する需要増のほか、Netflix、Hulu、およびYouTube(登録商標)のような並はずれた(OTT)サービスの使用の増大によっても押し進められる。
ビデオへのますます高まるビットレート需要に応じるために、優れたビデオ圧縮を持つことが重要である。最近、JCT-VCはMPEGと協力して、先行するAVC/H.264と比べて、同じ品質のためのビットレートを効率的に半分にカットする高効率ビデオ符号化(HEVC)バージョン1ビデオコーデックを開発した。
H.265とも称されるHEVCは、時間的および空間的な予測の両方を利用するブロックベースのビデオコーデックである。空間的な予測は、現在のピクチャの中からイントラ(I)予測を使って達成される。イントラ符号化ブロックだけから成るピクチャはIピクチャと称される。時間的な予測は、単方向予測とも呼ばれるインター予測(P)、または双方向予測とも呼ばれる双方向インター予測(B)をブロックレベルで用いて達成される。インター予測においては、予測は、一つの以前に復号されたピクチャから行われる。双方向インター予測においては、予測は、以前に復号された同じピクチャまたは以前に復号された二つの異なるピクチャのいずれかを参照できる二つの予測の組み合わせから行われる。以前に復号されたピクチャ(複数)は、現在のピクチャの前に復号されて、表示時(出力順序)においては現在のピクチャの前または後に来てよい。少なくとも一つのインター符号化ブロック(ただし双方向インター符号化ブロックではない)を含んでいるピクチャは Pピクチャと呼ばれる。少なくとも一つの双方向インター符号化ブロックを含んでいるピクチャは、Bピクチャと呼ばれる。PピクチャとBピクチャはまたイントラ符号化されたブロックを含むことができる。典型的なブロックでは、イントラ符号化は一般にインター符号化と比較してビットコストが非常に高価であり、一般に双方向予測符号化よりも高価である。
瞬時復号リフレッシュ(instantaneous decoding refresh:IDR)ピクチャは、後続のピクチャがそのIDRピクチャに先行するピクチャを参照できないIピクチャである。クリーンランダムアクセス(CRA)ピクチャは、ランダムアクセススキップトリーディング(RASL)ピクチャが、復号順序でそのCRAピクチャに後続するピクチャを参照することを可能にし、表示または出力順序でそのCRAピクチャに先行するI-ピクチャである。復号がCRAピクチャで開始される場合、CRAピクチャがランダムアクセスのための利用されるときには、RASLピクチャが、予測のために利用できない可能性のあるCRAピクチャに先行するピクチャから予測することを許されているため、RASLピクチャはドロップされなければならない。中断(broken)リンクアクセス(BLA)ピクチャは、ビットストリームの中の接合ポイントを示すために使われるI-ピクチャである。ビットストリーム接合操作は、第一のビットストリーム内のCRAピクチャのピクチャタイプをBLAピクチャへ変更し、そのストリームをその他のビットストリーム内の適切な位置で連結することによって実行できる。
イントラランダムアクセスポイント(IRAP)ピクチャは、IDR、CRAまたはBLAのうちのどれかひとつであってよい。すべてのIRAPピクチャは、復号順序および出力順序の両方においてIRAPに後続するピクチャが、復号順序でIRAPピクチャに先行するどのようなピクチャも参照しないことを保証する。ビットストリームの最初のピクチャはIRAPピクチャでなければならないが、多くの他のIRAPピクチャがビットストリームにわたってあってもよい。例えばテレビを見始めるときやひとつのテレビチャネルから別のチャネルに切り換えるときに、IRAPピクチャは、ビデオビットストリームに合わせる(tune in)可能性をもたらす。IRAPピクチャはまた、例えば、ビデオプレーヤのコントロールバーを使って再生位置を移動することによってビデオクリップの中でシークするために使用することができる。さらに、ビデオビットストリームの中にエラーまたは欠損がある場合に、IRAPピクチャはビデオのリフレッシュを提供する。
ビデオシーケンスは、一般に、IRAPピクチャの間の固定された最大のピクチャ距離を使って圧縮される。IRAPの頻度がより高くなれば、チャネル切替えはより速くなり、ビデオクリップの中でのシークの細分性が高くなる。これはIRAPピクチャのビットコストに対して釣り合いが取れている。共通のIRAPピクチャ間隔は0.5〜1.0秒の間で変わる。
IRAPピクチャと、PピクチャおよびBピクチャなどの時間的予測ピクチャとの違いを見る一つの方法は、IRPAピクチャは独立した静止画のようであり、一方、時間的予測ピクチャは前のピクチャに対する従属差分(dependent delta)ピクチャであることである。
図1はビデオシーケンスの一例を示し、そこにおいて最初のピクチャがIRAPピクチャであり、後続のピクチャがPピクチャである。上段は、ビットストリームの中で送信されるものを示し、下段は、復号されたピクチャがどのように見えるかを示す。見てのとおり、Pピクチャが差分ピクチャである一方、IRAPピクチャは完全なピクチャを伝達する。IRAPピクチャが時間的なピクチャ予測を使わないので、その圧縮サイズは対応する時間的予測ピクチャより通常何倍も大きい。
実際の符号化されたシーケンスを見ることによって、Pピクチャに比べてどのくらい多くのビットがIRAPピクチャに使われるかの指標を得ることができる。JCT-VC標準化グループによって提供されるHEVCコーデックのための共通条件ビットストリームを見よう。最初のピクチャを除いたすべてのIRAPピクチャを二つのセットのシーケンスのためのPピクチャに変換することによって達成可能なビットレートの節約の推定が表1および表2で報告される。例として、表1は、IRAPピクチャとして最初のピクチャだけを持つKimonoテストシーケンスを符号化することが、毎秒ひとつのIRAPピクチャを使用して符号化された同じシーケンスに比べて、10.5%低いビットレートをもたらすことを示す。
従って、効率的なビデオ符号化および復号化、特に、ランダムアクセスポイントの数とそのようなランダムアクセスポイントのビットコストとの間のバランスを取るそのようなビデオ符号化および復号化に対するニーズがある。
効率的なビデオ符号化および復号化を提供することが一般的な目的である。
ビデオビットストリーム内の新しいタイプのランダムアクセスポイントを提供することが具体的な目的である。
これらの目的および他の目的はここに開示された実施形態によって達成されている。
実施形態の一側面は、ビデオビットストリームのイントラランダムアクセスポイント(IRAP)ピクチャを復号することを含むビデオビットストリームを復号するための方法に関する。この方法はまた、ビデオビットストリームの従属ランダムアクセスポイント(DRAP)ピクチャを、そのビデオビットストリーム中のIRAPピクチャおよび/または、復号順序に従って前のDRAPピクチャを、そのDRAPピクチャのための唯一の参照ピクチャとして用いて符号化することを含む。DRAPピクチャは、参照のために使うことができるトレーリングピクチャとして符号化され、ビデオビットストリーム中のランダムアクセスポイントを構成している。
実施形態に関する一側面は、ビデオビットストリームを復号するためのデコーダを定義する。そのデコーダはビデオビットストリームのIRAPピクチャを復号するよう構成される。そのデコーダはまた、ビデオビットストリームのDRAPピクチャを、そのビデオビットストリーム中のIRAPピクチャおよび/または、復号順序に従って前のDRAPピクチャを、そのDRAPピクチャのための唯一の参照ピクチャとして用いて符号化するよう構成される。DRAPピクチャは、参照のために使うことができるトレーリングピクチャとして符号化され、ビデオビットストリーム中のランダムアクセスポイントを構成している。
この実施形態に関する他の側面は、ビデオビットストリームを復号し、ビデオビットストリームのIRAPピクチャを復号するためのIRAPデコーダを含むデコーダを定義する。そのデコーダはまた、ビデオビットストリームのDRAPピクチャを、そのビデオビットストリーム中のIRAPピクチャおよび/または、復号順序に従って前のDRAPピクチャを、そのDRAPピクチャのための唯一の参照ピクチャとして用いて復号するためのDRAPデコーダを含む。DRAPピクチャは、参照のために使うことができるトレーリングピクチャとして符号化され、ビデオビットストリーム中のランダムアクセスポイントを構成している。
実施形態の他の側面はビデオストリームを符号化するための方法に関する。その方法は、ビデオストリームのIRAPピクチャを符号化すること、および、そのストリームのDRAPピクチャを、そのビデオストリームの中のIRAPピクチャおよび/または、復号順序に従って前のDRAPピクチャを、そのDRAPピクチャのための唯一の参照ピクチャとして用いて符号化することを含む。DRAPピクチャは、参照のために使うことができるトレーリングピクチャとして符号化され、ビデオストリームの符号化済みピクチャのビデオビットストリーム中のランダムアクセスポイントを構成している。
実施形態の関する一側面は、ビデオストリームを符号化するためのエンコーダを定義する。そのエンコーダは、ビデオストリームのIRAPピクチャを符号化するよう構成される。そのエンコーダはまた、ビデオストリームのDRAPピクチャを、そのビデオストリーム中のIRAPピクチャおよび/または、復号順序に従って前のDRAPピクチャを、そのDRAPピクチャのための唯一の参照ピクチャとして用いて符号化するよう構成される。DRAPピクチャは、参照のために使うことができるトレーリングピクチャとして符号化され、ビデオストリームの符号化済みピクチャのビデオビットストリーム中のランダムアクセスポイントを構成している。
実施形態に関する他の側面はビデオストリームを符号化するためのエンコーダに関する。このエンコーダはビデオストリームのIRAPピクチャを符号化するためのIRAPエンコーダを含む。そのエンコーダはまた、ビデオストリームのDRAPピクチャを、そのビデオストリーム中のIRAPピクチャおよび/または、復号順序に従って前のDRAPピクチャを、そのDRAPピクチャのための唯一の参照ピクチャとして用いて符号化するためのDRAPエンコーダを含む。DRAPピクチャは、参照のために使うことができるトレーリングピクチャとして符号化され、ビデオストリームの符号化済みピクチャのビデオビットストリーム中のランダムアクセスポイントを構成している。
実施形態のさらなる側面は、プロセッサによって実行された際に、ビデオビットストリームのIRAPピクチャをプロセッサに復号させる命令を含むコンピュータプログラムに関する。そのプロセッサはまた、ビデオビットストリームのDRAPピクチャを、そのビデオビットストリーム中のIRAPピクチャおよび/または、復号順序に従って前のDRAPピクチャを、そのDRAPピクチャのための唯一の参照ピクチャとして用いて復号させる。DRAPピクチャは、参照のために使うことができるトレーリングピクチャとして符号化され、ビデオビットストリーム中のランダムアクセスポイントを構成している。
実施形態のさらに他の側面は、プロセッサによって実行された際に、ビデオストリームのIRAPピクチャをプロセッサに符号化させる命令を含むコンピュータプログラムに関する。そのプロセッサはまた、ビデオストリームのDRAPピクチャを、そのビデオストリーム中のIRAPピクチャおよび/または、復号順序に従って前のDRAPピクチャを、そのDRAPピクチャのための唯一の参照ピクチャとして用いて符号化させられる。DRAPピクチャは、参照のために使うことができるトレーリングピクチャとして符号化され、ビデオストリームの符号化済みピクチャのビデオビットストリーム中のランダムアクセスポイントを構成している。
この実施形態に関連する側面は、上記実施形態に従うコンピュータプログラムを含む担体を定義する。この担体は、電子信号、光信号、電磁信号、磁気信号、電気信号、電波信号、マイクロ波信号、またはコンピュータ可読記憶媒体のうちのひとつである。
本実施形態は、ランダムアクセスオペレーションを行うために利用できる、ビデオビットストリーム中の新しいタイプのランダムアクセスポイント(RAP)ピクチャを提供する。このRAPピクチャは、それが、前のIRAPピクチャおよび/または前のDRAPピクチャを唯一の参照ピクチャとして用いて符号化され、また復号されることを意味している従属RAP(DRAP)ピクチャである。結果として、このDRAPピクチャはIRAPピクチャに比べて著しく低いビットコストで表されることができるが、それでも、ビデオビットストリーム中のRAPを構成している。
実施形態は、そのさらなる目的および利点とともに、添付の図面と併せた以下の説明を参照することによって最もよく理解されるであろう。
図1は最初のIRAPピクチャおよび後続のPピクチャを伴うビデオシーケンスの例を説明する。 図2は実施形態に従ってビデオビットストリームを復号するための方法を説明しているフローチャートである。 図3は、図2中で示された方法の追加的なオプションのステップを説明しているフローチャートである。 図4は、図2中で示された方法の追加的なオプションのステップを説明しているフローチャートである。 図3は、図2中で示された方法の追加的なオプションのステップを説明しているフローチャートである。 図3は、図5中で示された方法の追加的なオプションのステップを説明しているフローチャートである。 図3は、図2中で示された方法の追加的なオプションのステップを説明しているフローチャートである。 図3は、図2中で示された方法の追加的なオプションのステップを説明しているフローチャートである。 図9は、現在のHEVCバージョン1仕様を用いるランダムアクセス構成を概略的に説明している。 図10は、従来のIRAPアプローチを用いる画面コンテンツの符号化の例を説明している。 図11は、実施形態に従ってDRAPピクチャを用いるランダムアクセスアプローチを概略的に説明している。 図12は、他の実施形態に従ってDRAPピクチャを用いるランダムアクセスアプローチを概略的に説明している。 図13は、実施形態に従ってDRAPピクチャを用いる画面コンテンツの符号化の例を説明している。 図14は、他の実施形態に従ってDRAPピクチャを用いる画面コンテンツの符号化の例を説明している。 図15は、更なる実施形態に従ってDRAPピクチャを用いるランダムアクセスアプローチを概略的に説明している。 図16A−図16Cは、DRAPピクチャおよびIRAPピクチャを用いる周期的ランダムアクセスの例を説明している。 図17は、実施形態に従うサーバの実装の概略ブロック図である。 図18は、図7中で示された方法の追加的なオプションのステップを説明しているフローチャートである。 図19は、図7中で示された方法の追加的なオプションのステップを説明しているフローチャートである。 図20は、図7中で示された方法の追加的なオプションのステップを説明しているフローチャートである。 図21は、ランダムアクセスオペレーションのためのDRAPピクチャを用いる実施形態を説明するフローチャートである。 図22は、ビデオビットストリームを復号する実施形態をより詳細に説明するフローチャートである。 図23は、実施形態に従う、ビデオストリームを符号化する方法を説明するフローチャートである。 図24は、図23中で示された方法の追加的なオプションのステップを説明しているフローチャートである。 図25は、図23中で示された方法の追加的なオプションのステップを説明しているフローチャートである。 図26は、図23中で示された方法の追加的なオプションのステップを説明しているフローチャートである。 図27は、図26中で示された方法の追加的なオプションのステップを説明しているフローチャートである。 図28は、図23中で示された方法の追加的なオプションのステップを説明しているフローチャートである。 実施形態に従うエンコーダおよびデコーダの概略図である。 図30は、実施形態に従うデコーダの概略ブロック図である。 図31は、他の実施形態に従うデコーダの概略ブロック図である。 図32は、さらなる実施形態に従うデコーダの概略ブロック図である。 図33は、実施形態に従うエンコーダの概略ブロック図である。 図34は、他の実施形態に従うエンコーダの概略ブロック図である。 図35は、さらなる実施形態に従うエンコーダの概略ブロック図である。 図36は、実施形態に従うコンピュータプログラムの実装を概略的に説明している。
図面を通して、同じ参照番号は同じまたは対応する要素に用いられる。
本実施形態は一般に、ビデオ符号化および復号化に関し、特に、そのようなビデオ符号化および復号化の間に従属ランダムアクセスポイントを導入し、使用することに関する。
本実施形態はビデオ符号化および復号化内でランダムアクセスポイント(RAP)についての新しい概念を導入する。実施形態のRAPピクチャは、ビデオビットストリームにおけるRAPポイントとして従来使われるIRAPピクチャとは異なる。IRAPピクチャは独立して復号可能であり、すなわち、いかなる参照ピクチャも使わない。実施形態のRAPは従属ランダムアクセスポイント(DRAP)ピクチャという形の従属RAPである。それゆえ、実施形態のDRAPピクチャは独立して復号可能でなく、すなわちDRAPピクチャは少なくともひとつの参照ピクチャを用いるけれども、それでも、ビデオビットストリームの中のRAPを構成している。DRAPピクチャは、IRAPピクチャに比べて著しく少ないビットを使って符号化でき、表すことができる。それゆえ、実施形態のDRAPピクチャは、ビデオビットストリームの全体のビットコストを下げるために使うことができ、あるいは、全体のビットコストを増大させることなくビデオビットストリーム内のRAPの総数を増大させるために使うことができる。
DRAPピクチャは、それがどの参照ピクチャを使うことができるかにおいてさらに多くの制限を受けるという点で、DRAPピクチャは他の非IRAPピクチャと異なる。これらの制限は、DRAPピクチャがランダムアクセスオペレーションのために使われることを可能にする。ランダムアクセスオペレーションは、ビデオビットストリームのはじめからではなく復号が開始される場合である。代わりに、ランダムアクセスポイントとして特定されたポイントで、ビデオビットストリーム内のある位置で復号は開始される。ランダムアクセスオペレーションの例はすなわち、テレビを見はじめるか、またはひとつのテレビチャネルから別のものに切り換えるときに、放送されたテレビストリームの中にチャネルを合わせることを含む。
図2は、実施形態に従う、ビデオビットストリームを復号するための方法を説明するフローチャートである。この方法は、ステップS1においてビデオビットストリームのIRAPピクチャを復号することを含む。この方法は、それから、ビデオビットストリームのDRAPピクチャを、そのビデオビットストリーム中のIRAPピクチャおよび/または、復号順序に従って前のDRAPピクチャを、そのDRAPピクチャのための唯一の参照ピクチャとして用いて復号することを含むステップS2に続く。ステップS2において復号されたDRAPピクチャは、参照のために使うことができるトレーリングピクチャとして符号化される。DRAPピクチャはビデオビットストリームの中のランダムアクセスポイントを構成している。
ステップS1において復号されたIRAPピクチャは、ステップS2においてDRAPピクチャを復号するときに参照ピクチャとして用いることができ、それゆえ、復号順序に従ってビデオビットストリームの中の先行IRAPピクチャである。IRAPピクチャはすなわちどのような参照ピクチャもなしに独立して復号される。
ステップS2において復号されたDRAPピクチャは、IRAPピクチャと明らかに著しく異なり、少なくともひとつの参照ピクチャを持っている。この少なくともひとつの参照ピクチャは、ビデオビットストリームの中の、ステップS1において復号されたようなIRAPピクチャおよび/または、復号順序に従って前のDRAPピクチャのいずれかである。前のDRAPピクチャはそれから、復号順序に従ってIRAPピクチャと現在のDRAPピクチャとの間に置かれる。DRAPピクチャは、参照ピクチャとして、この又はこれらのピクチャを使うことしかできず、従ってビデオビットストリームの中の他のいかなるピクチャも参照することができない。
一実施形態では、ステップS2は、DRAPピクチャを、復号順序に従ってビデオビットストリームの中の最も近い先行するIRAPピクチャのみをDRAPピクチャのための唯一の参照ピクチャとして用いて復号することを含む。この実施形態では、DRAPピクチャは、復号順序に従ってビデオビットストリームの中で最も近い先行するIRAPピクチャを参照することだけよく、ステップS2においてDRAPピクチャのブロックを復号するときには、参照ピクチャとしてこの特定のIRAPピクチャを使うだけでよい。
DRAPピクチャは、最も近い先行するIRAPピクチャへの単一の参照表示を有する時間的予測ピクチャとして符号化されてよい。これは、DRAPピクチャがPピクチャとみなされ得ることを意味しているけれども、それがビデオビットストリームの中のRAPを構成するのに対してPピクチャがそのようなRAPを構成することができないという重要な相違がある。別の例では、DRAPピクチャはBピクチャとみなされ得る。そのような場合には、それは、最も近い先行IRAPピクチャへの唯一の参照の代わりに、同じ最も近い先行IRAPピクチャへの二つの参照を使うブロックを含むことがある。
DRAPピクチャを復号するときに参照ピクチャとして使われたIRAPピクチャは、好ましくはビデオビットストリームの中の、復号順序に従って最も近い先行するIRAPピクチャである。しかしながら、ここにさらに説明されるように、代替の実施形態において、参照ピクチャとしてDRAPピクチャによって使われたIRAPピクチャは、必ずしもビデオビットストリームにおいて最も近い先行IRAPピクチャである必要がないけれども、ビデオビットストリームの中の、復号順序に従って先行するIRAPピクチャであってよい。
別の実施形態では、ステップS2は、復号順序に従って最も近い先行するDRAPピクチャをDRAPピクチャのための唯一の参照ピクチャとして使っているDRAPピクチャを復号することを含む。この実施形態では、DRAPピクチャは、他のDRAPピクチャを参照することだけができ、この、他のDRAPピクチャは、復号順序に従ってビデオビットストリームの中の最も近い先行DRAPピクチャである。
この特定の実施形態では、他のDRAPピクチャは、前のDRAPピクチャまたはIRAPピクチャを順に参照してよい。それゆえ、ビデオビットストリームの中の、復号順序に従ってIRAPピクチャに後続する最初のDRAPピクチャは、そのIRAPピクチャを参照し、復号順序に従って二番目のDRAPピクチャは最初のDRAPピクチャを参照するなどする。
DRAPピクチャは、DRAPピクチャがPピクチャ(一回の参照)またはBピクチャ(二回の参照)のどちらと同様に復号されるかに従って、先行DRAPへの一回の参照または二回の参照を含んでよい。
さらなる実施形態では、ステップS2は、DRAPピクチャを、復号順序に従って最も近い先行IRAPピクチャおよび復号順序に従って最も近い先行DRAPピクチャを、そのDRAPピクチャのための唯一の参照ピクチャとして用いて復号することを含む。この実施形態では、DRAPピクチャは二つの異なるピクチャを参照することができる。しかしながら、これら二つの異なるピクチャは、最も近い先行IRAPピクチャおよびDRAPピクチャである。
図3は、図2に示した方法の追加的なオプションのステップを説明するフローチャートである。この方法は、ステップS10で開始され、それは、DRAPピクチャの参照ピクチャセット(RPS)からIRAPピクチャの識別子(ID)を検索することを含む。DRAPピクチャのRPSは、短期参照ピクチャまたは長期参照ピクチャとしてIRAPピクチャを示す。
方法はそれからステップS1に続き、そこではステップS10においてRPSから検索された識別子によって識別されるIRAPピクチャが復号され、それによりDRAPピクチャのために参照ピクチャとして使われる。DRAPピクチャはそれから、唯一の参照ピクチャとしてステップS1において復号されたIRAPピクチャを用いてステップS2において復号される。
代替の実施形態では、図2のステップS1は図3のステップS10に先がけて実行される。そのような場合に、IRAPピクチャは復号済みピクチャバッファ(DPB)中で復号されて、記憶される。そして、DRAPピクチャのRPSは、IRAPピクチャの識別子を検索するために解析される。従ってこの識別子は、すでに復号されたIRAPピクチャが短期参照ピクチャまたは長期参照ピクチャとしてDPBの中に記憶されたままとされ、DRAPピクチャのブロックを復号するときに参照ピクチャとして使われるべきであることを示す。
それゆえ、この実施形態では、IRAPピクチャは唯一の参照ピクチャであり、従ってDRAPピクチャのRPSの中で示される。IRAPピクチャは、復号されたIRAPピクチャが、復号済みピクチャバッファ(DPB)中にどのくらいの時間記憶され続けるべきであるかに従って、いわゆる短期参照ピクチャまたは長期参照ピクチャとして示され得る。
ステップS2において復号されたDRAPピクチャは、上述したように、ビデオビットストリームの中のRAPを構成している。それゆえ、DRAPピクチャはビデオビットストリームの中のRAPとして使用でき、ビデオビットストリームの中のランダムアクセスオペレーションを実行するために使用でき、すなわち、DRAPピクチャにおいてランダムアクセスオペレーションを実行することが可能である。ステップS1において復号されたIRAPピクチャがまた、ビデオビットストリームの中のRAPでもあることに注意してほしい。IRAPピクチャによって提供されたRAPは、しかしながら、IRAPピクチャがビデオビットストリームの中のいかなる他のピクチャの参照もなしに復号できることを意味している独立したRAPである。これは、DRAPピクチャによって提供されたRAPと明らかに著しく異なって、DRAPピクチャがビデオビットストリームの中の前のIRAPおよび/またはDRAPピクチャを参照することを意味している従属RAPであり、従って、唯一の参照ピクチャとして前のIRAPおよび/またはDRAPピクチャを使って復号される。
DRAPピクチャはビデオビットストリームの中のランダムアクセスポイントを構成している。これは、ランダムアクセスオペレーションが、ビデオビットストリームにおけるDRAPピクチャに対応している位置で起こり得ることを意味している。しかしながら、DRAPピクチャは従属RAPピクチャである。これは、DRAPピクチャが、DRAPピクチャのための唯一の参照ピクチャとしてIRAPピクチャおよび/または前のDRAPピクチャを用いて復号されることを意味している。これは、ランダムアクセスオペレーションを実行するために、IRAPピクチャおよび/または前のDRAPピクチャも復号される必要があることを意味している。しかしながら、IRAPピクチャおよび/または前のDRAPピクチャと現在のDRAPピクチャとの中間の他のいかなるピクチャも、ランダムアクセスオペレーションを実行するために復号される必要がない。それゆえ、特定の実施形態において、DRAPピクチャは、IRAPピクチャおよび/または前のDRAPピクチャと共に、ビデオビットストリームの中のランダムアクセスポイントを構成している。
DRAPピクチャは、参照のために使うことのできるトレーリングピクチャとして符号化される。それゆえ、HEVCにおいて、DRAPピクチャはいわゆるTRAIL_Rピクチャである。トレーリングピクチャは、出力順序で、関連するRAPピクチャに続くピクチャである。関連するRAPピクチャは、復号順序で最も近い先行RAPピクチャである。TRAIL_Rは、参照のために使うことのできるトレーリングピクチャと定義される。それゆえ、ビデオビットストリームの中の復号順序でDRAPピクチャに後続するピクチャはDRAPピクチャを参照でき、復号のあいだDRAPピクチャを参照ピクチャとして利用する。
従って、トレーリングピクチャは、IRAPピクチャとしてマークされないピクチャである。それは、復号順序ではIRAPピクチャに後続し、従ってIRAPピクチャのトレーリングピクチャである。HEVC規格において、トレーリングピクチャはまた、出力順序でIRAPピクチャに後続する。
TRAIL_Rピクチャは、HEVCにおいては、値1のネットワーク抽象層(NAL)タイプによって表示される。それゆえ、実施形態においては、DRAPピクチャは、DRAPピクチャの符号化済みビデオデータを含むNALユニットのNALユニットヘッダの中の値1のNALタイプを含む。
特定の実施形態において、DRAPピクチャは、参照のために使うことができるトレーリングピクチャとして符号化され、ビデオビットストリーム中の最下位層に属する。それゆえ、この実施形態において、DRAPピクチャは、0に等しい時間的な識別子パラメータ(時間的idすなわちTemporalId)の値を持っている。0の時間的idは、DRAPピクチャが最下位層に属していて、ビデオビットストリームの中の他のピクチャによって、それらの時間的idと関係なく参照として使うことができることを意味している。
図4は、様々な実施形態に従って図2中で示された方法の追加的なオプションのステップを説明しているフローチャートである。この方法は図2中のステップS2から続いている。次のステップS20は、出力順序および復号順序でDRAPピクチャに後続するビデオビットストリームの少なくともひとつの非RAPピクチャを復号することを含む。その少なくともひとつの非RAPピクチャは、ビデオビットストリームの中の復号順序でDRAPピクチャに先行しているいかなる非RAPピクチャも参照ピクチャとして使わない。
従って、DRAPピクチャに後続する非RAPピクチャは、DRAPピクチャのための参照として使われるIRAPピクチャおよび/または前のDRAPピクチャを潜在的には除いて、復号順序でDRAPピクチャに先行しているいかなるピクチャも参照しない。これは、復号順序でDRAPピクチャに先行しているどの非RAPピクチャも、出力順序および復号順序でDRAPピクチャに後続しているどのような非RAPピクチャのための参照ピクチャとして使われないことを意味している。
それゆえ、DRAPピクチャをまたぐ予測は禁止されている。DRAPピクチャに後続する非RAPピクチャは、DRAPピクチャに先行するいかなる非RAPピクチャ、またはDRAPピクチャと関連づけられたIRAPピクチャに先行するいかなるピクチャも予測のために使ってはならない。DRAPピクチャと関連づけられるIRAPピクチャは、復号順序で最も近い先行するIRAPピクチャである。
特定の実施形態では、出力順序および復号順序でDRAPピクチャに後続するピクチャは、出力順序および復号順序でDRAPピクチャに後続するピクチャがDRAPピクチャと関連づけられたIRAPピクチャを参照ピクチャとして使うことができることを例外として、復号順序でDRAPピクチャに先行するいかなるピクチャも参照ピクチャとして使うことができない。
別の特定の実施形態では、出力順序および復号順序でDRAPピクチャに後続しているピクチャは、後続するDRAPピクチャがIRAPピクチャを参照ピクチャとして使用できることを例外として、復号順序でDRAPピクチャに先行するいかなるピクチャも参照ピクチャとして使用できない。
さらなる特定の実施形態では、出力順序および復号順序でDRAPに後続するピクチャは、さらに、DRAPピクチャに関連付けられた(すなわちDRAPピクチャの復号時に参照ピクチャとして使用される)IRAPピクチャに復号順序で先行するいかなるRAPピクチャも使うことはできない。
これら三つの実施形態では、代わりに、前のDRAPピクチャまたは前のIRAPピクチャ(いずれも復号順序で最も近い)への参照を可能としても良い。代わりに、これら三つの実施形態では、前のIRAPピクチャおよび前のDRAP(もしあれば)の両方への参照を可能としても良い。
DRAPピクチャをまたぐ予測におけるこの制限は、ビデオビットストリームの中のRAPとしてのDRAPピクチャの効率的な使用を可能にする。予測がDRAPピクチャをまたいで許されるとするなら、DRAPピクチャがランダムアクセスオペレーションにおけるRAPとして使われた場合には、復号順序でDRAPピクチャに先行しているいかなる参照ピクチャもDPBの中で使用できない可能性があるので、復号順序および出力順序でDRAPピクチャに後続する非RAPピクチャは正確に復号されない可能性がある。
以下の二つのステップS21およびS22は出力実施形態と関連している。ステップS21は、復号されたDRAPピクチャを出力することを含む。それに続くステップS22は、非RAPピクチャを出力することを含む。
ステップS21とS22とにおいて出力されたピクチャは、出力順序に従って出力されるが、それは復号順序とは違っていてもよい。ランダムアクセスオペレーションにおいて、復号はIRAPピクチャで開始され(S1)、それから、ランダムアクセスオペレーションのためのRAPを構成しているDRAPピクチャ(S2)に続く。復号はそれから後続の非RAPピクチャに続く(S20)。ランダムアクセスオペレーションに続いて出力される最初のピクチャは、好ましくはDRAPピクチャであり(S21)、それから出力順序で非RAPピクチャ(S22)である。
それゆえ、好適な実施形態では、DRAPピクチャのための参照ピクチャとして使われたIRAPピクチャは、望ましくは出力されない。HEVCにおいて、これは、IRAPピクチャの出力フラグを、それが出力されるべきでないことを示すために、0に設定することによって示すことができる。代わりに、デコーダは、DRAPピクチャに先行しているピクチャの出力フラグの値が0であることを推定することができ、それによりDRAPピクチャでランダムアクセスオペレーションを実施するときにそのような先行ピクチャが出力されることを防止する。ピクチャの出力を抑制する他の方法を非HEVCビデオのために使うことができる。
ステップS21およびS22におけるピクチャの出力は、通常は表示のための出力を含む。しかしながら、代わりに、出力は、表示以外の他の目的のための出力を指すこともあり得る。非限定的な例には、変換のための出力、記憶のための出力、ビデオ分析、例えば監視用途のための出力などを含む。
図5は、図2に示した方法の追加的なオプションのステップを説明するフローチャートである。この方法は、ステップS30で開始され、そこではDRAPピクチャを用いてビデオビットストリームの中へのランダムアクセスオペレーションを実行することを含んでいる。この方法はステップS1に続き、そこでは関連づけられたIRAPピクチャは復号され、それにより、ステップS2においてDRAPピクチャを復号するときに参照として使用可能である。
ビデオビットストリームの中のRAPとしてDRAPピクチャを使って実行されたランダムアクセスオペレーションは、様々な実施形態に従う可能性がある。ランダムアクセスは、RAPでビデオビットストリームの復号を開始するデコーダの能力を当てにする。RAPは、トリックモードオペレーションと集合的に称される、局所的に記憶されたビデオビットストリームの中のシーク、早送り、早戻しのオペレーションを可能にする。ビデオのオンデマンドストリーミングにおいて、サーバは、シーク要求に対して、要求されたシークオペレーションの行先に最も近いRAPから始まるデータを送信することで応答することができる。異なるビットレートのビデオビットストリームの間で切り替えることは、送信されたビットレートを期待されるネットワークスループットと一致させるために、そしてネットワーク内の輻輳を避けるために、インターネットのためのユニキャストストリーミングで一般的に用いられる方法である。RAPで別のビデオビットストリームに切り換えることが可能である。さらにRAPは、ブロードキャストまたはマルチキャストへチャンネルを合わせること(tune in)を可能にし、チャネル切替えを可能にする。さらにRAPは、ソースシーケンスにおけるシーンのカットへの応答として、またはRAP更新要求への応答として符号化できる。
実施形態においては、DRAPピクチャでのランダムアクセス動作は、IRAPピクチャおよび/または前のDRAPピクチャ、すなわちDRAPピクチャが従属するピクチャをデコードし、続いて IRAPピクチャとDRAPピクチャとの間にある他のピクチャをデコードすることなくDRAPピクチャをデコードする。
図6は、図5に示した方法の追加的なオプションのステップを説明するフローチャートである。この方法は図2中のステップS2から続いている。次のステップS40は、出力順序でDRAPピクチャに先行しておりかつ復号済みピクチャバッファの中にある各ピクチャのそれぞれのピクチャ出力フラグの値がゼロに等しいと推定することを含む。
それゆえ、DRAPピクチャでビデオビットストリームの中でランダムアクセスオペレーションを実行することは、望ましくは、出力順序でDRAPピクチャに先行する、DRAPピクチャの復号の間は復号済みピクチャバッファにまだ存在しているいかなるピクチャの出力も防止することに関連づけられる。これは、HEVCの実施形態において、ステップS1で復号されたIRAPピクチャを含むこれらの先行ピクチャのためのそれぞれのピクチャ出力フラグが0に等しいと推定することによって達成される。
図2のステップS2におけるIRAPピクチャの復号は、好ましくは、ビデオ復号化の分野の中で良く知られたイントラモードに従って実行される。これは、技術的には一般に復号ユニット(CU)または予測ユニット(PU)、またはより一般的にピクセルまたはサンプルのブロックと呼ばれるIRAPピクチャのブロックが、各々イントラモードに従って復号されて、各ピクセルまたはサンプルが、輝度値と二つのクロミナンス値、または赤値、緑値、青値などの少なくとも一つのピクセル値またはサンプル値を持つ復号済みブロックを形成することを意味する。
DRAPピクチャは、唯一の参照ピクチャとしてIRAPピクチャおよび/または先行するDRAPピクチャを用いて図2のステップS2において復号される。これは、DRAPピクチャがインターモードに従って復号されることを意味している。これは、DRAPピクチャのブロックが、Pブロック、Bブロック、またはIブロックという形である可能性があることを意味している。
特定の実施形態では、DRAPピクチャは、DRAPピクチャのための唯一の参照ピクチャとしてIRAPピクチャおよび/またはDRAPピクチャを用いてスキップブロックとして、またはイントラブロックとして、望ましくはDRAPピクチャのための唯一の参照ピクチャとしてIRAPピクチャを用いてスキップブロックとして、またはイントラブロックとして、DRAPピクチャのブロックを復号することで、復号される。
スキップブロックは、ブロックが、IRAPピクチャおよび/または先行するDRAPピクチャを唯一の参照ピクチャとして用いてスキップモードに従って符号化されることを意味している。これは、スキップブロックのためのサンプル値またはピクセル値が、参照ピクチャの中に配列されたブロックからいかなる動き補償もなしに複製されることを意味している。従って、DRAPピクチャのブロックに対するスキップモードとイントラモードの組み合わせは、DRAPピクチャを符号化し、復号する効率的な方法である。
それゆえ、変更がされていないか、または最も近い先行するIRAPなどの参照ピクチャに対する所定の最小の差分よりも多くの変更がされていないDRAPピクチャのそれらのブロックは、好ましくはスキップブロックとして符号化され、かつ復号され、その一方、変更された、または参照ピクチャに対する所定の最小の差分よりも多くの変更がされたDRAPピクチャのブロックは、イントラブロックとして符号化され、かつ復号される。
別の実施形態では、DRAPピクチャのブロックは、IRAPの中に配列されたブロックが、他のIRAPピクチャの中に配列されたそれぞれのブロックと同じか或いは所定の閾値よりも大きな差がないならば、復号順序に従って先行するビデオストリームの最も近いIRAPピクチャを前記DRAPピクチャのための唯一の参照ピクチャとして用いて、スキップブロックとして符号化され、さもなければ、DRAPピクチャのブロックをイントラブロックとして符号化する。この、他のIRAPピクチャは、復号順序に従ってビデオストリームの中でIRAPピクチャに先行し、好ましくはIRAPピクチャを符号化することに先行して符号化される最も近い先行するIRAPピクチャである。
実施形態では、DRAPピクチャのブロックは、IRAPの中に配列されたブロックが、他のIRAPピクチャの中に配列されたそれぞれのブロックと同じか、或いは、他のIRAPピクチャの中、および復号順序に従って他のIRAPピクチャとIRAPピクチャとの間にある中間ピクチャの中に配列されたそれぞれブロックと所定の閾値よりも大きな差がないならば、復号順序に従って先行するビデオストリームの最も近いIRAPピクチャを前記DRAPピクチャのための唯一の参照ピクチャとして用いて、スキップブロックとして符号化され、さもなければ、DRAPピクチャのブロックをイントラブロックとして符号化する。
この特定の実施形態では、連続する復号のあいだ、参照されたIRAPピクチャが失われても他のIRAPピクチャが正確に復号されるならば、他のIRAPピクチャと参照されたIRAPピクチャとの間で変化がないビデオストリームの部分は、失われた参照されたIRAPピクチャを再構成するときに、最新の復号済みピクチャからスキップブロックを複製することで正確に隠されるだろう。他のIRAPピクチャと参照されたIRAPピクチャとの間で変更されたビデオストリームの部分は、DRAPピクチャの中のイントラブロックによりリフレッシュされる。
イントラモードに従うブロックの復号すなわちイントラブロックの復号は、望ましくは、ITU-TH.265シリーズH:視聴覚およびマルチメディアシステム、視聴覚サービスのインフラストラクチャ−動くビデオの符号化、高効率ビデオ符号化、のセクション8.4イントラ予測モードにおいて符号化された符号化ユニットのための復号処理、において記述されたように実行される。インターモードに従うブロックの復号すなわちスキップブロックのようなインターブロックの復号は、望ましくは、ITU-TH.265シリーズH:視聴覚およびマルチメディアシステム、視聴覚サービスのインフラストラクチャ−動くビデオの符号化、高効率ビデオ符号化、のセクション8.5インター予測モードにおいて符号化された符号化ニットのための復号処理、において記述されたように実行される。スキップブロックの復号すなわち1に等しいスキップフラグの値を有するブロックの復号は特に、ITU-TH.265シリーズH:視聴覚およびマルチメディアシステム、視聴覚サービスのインフラストラクチャ−動くビデオの符号化、高効率ビデオ符号化、のセクション8.5.4.1概要、に説明されている。
HEVCにおいて、スキップモードは、残余のデータがスキップされることを除いて新しいマージモードに類似している。マージモードは、四つの空間の候補のうちのひとつ、ひとつの時間的な候補、およびゼロモーション候補のうちの一つから動きパラメータを選ぶ。それゆえ、スキップブロックは、望ましくは、HEVCにおけるスキップモードに従って、選択されたゼロモーション候補により復号される。
DRAPピクチャは、ビデオストリームの中のIRAPピクチャおよび/または前のDRAPピクチャを、そのDRAPピクチャのための唯一の参照ピクチャとして用いて復号される。これは、DRAPピクチャのブロックの実際の復号が、参照ピクチャとしてIRAPピクチャおよび/または前のDRAPピクチャを使うだけであることを意味している。
実施形態において、DRAPピクチャの参照ピクチャセット(RPS)は、IRAPピクチャおよび/または前のDRAPピクチャを含むだけである。これは、この第一の実施形態においては、DRAPピクチャすなわちIRAPピクチャおよび/または前のDRAPピクチャのブロックを復号するときに、DRAPピクチャのRPSが、参照ピクチャとして用いられるそのピクチャまたはそれらのピクチャの識別子を含むだけであろうということを意味している。
別の実施形態では、DRAPピクチャのRPSは、IRAPピクチャおよび/または前のDRAPピクチャを含むことがあり、さらには、ビデオビットストリームの中の復号順序に従って前の他のピクチャを含むことがある。しかし、RPSが他のピクチャを含むかもしれなくても、この実施形態においても、DRAPピクチャの実際の復号は、たとえRPSが他のピクチャを含んでいるとしても、IRAPピクチャおよび/または前のDRAPピクチャだけをDRAPピクチャのための参照ピクチャとして使って実行される。
HEVC、および、参照ピクチャセットを使っている他のビデオ符号化規格において、参照ピクチャとしてピクチャを使うことは、RPSのいわゆるCurrリストすなわちRefPicSetStCurrBefore、RefPicSetStCurrAfter、またはRefPicSetLtCurrの中に識別子を持つことに対応する。これは、DRAPピクチャが、望ましくは、そのRPSのCurrリストの中のIRAPピクチャおよび/または前のDRAPピクチャの識別子を持つだけであることを意味している。DRAPピクチャを復号するときに参照ピクチャとして使うことができない他の前のピクチャの識別子は、DRAPピクチャのRPSのFollリストすなわちPocStFollまたはPocLtFollにおいてRPSにまだ存在することがある。
DRAPピクチャは、様々な実施形態によればビデオビットストリームの中のDRAPピクチャとして示され得る。図7は、DRAPピクチャとしてビデオビットストリームの中のピクチャを示す一例を説明しているフローチャートである。
この方法は、ステップS50において、そのDRAPピクチャを、そのDRAPピクチャに関連づけられた補足的拡張情報(supplemental enhancement information:SEI)メッセージに基づいたひとつのDRAPピクチャとして特定することを含む。この方法はそれから図2におけるステップS1に続く。
一例では、SEIメッセージは、ピクチャがDRAPピクチャであり、従ってビデオビットストリームの中のRAPとして用いることができることを示している関連ピクチャと共に送られる。それゆえ、ビデオビットストリームの中のSEIメッセージの配置は、SEIメッセージがどのピクチャに付属しているかを示す。
一実施形態では、SEIメッセージは空のことがあり、デコーダ、ネットワークエレメント、またはビデオビットストリームに作用するすべてのエンティティに、SEIメッセージと関連づけられたピクチャがDRAPピクチャであることを示すために使われることもある。
そしてSEIメッセージは以下の形であってもよい。
他の一実施形態において、SEIメッセージは空でないけれども、以下でさらに説明される付加情報を含むこともある。
図8は、ビデオビットストリームの中のピクチャをDRAPピクチャとして示す別の例を説明しているフローチャートである。
この方法は、ステップS60において、DRAPピクチャを、そのDRAPピクチャに関連づけられ、かつビデオビットストリームのNALユニットヘッダに含まれたピクチャタイプ識別子に基づいてひとつのDRAPピクチャとして特定することを含む。
それゆえ、この実施形態では、NALユニットタイプの少なくともひとつの値はDRAPピクチャを示すための専用である。これは、DRAPピクチャの符号化されたビデオデータを搬送しているNALユニットが、DRAPピクチャのための専用の値がセットされたNALユニットヘッダの中にNALユニットタイプパラメータの値を持つことを意味している。非制限的な例として、NALユニットタイプ=24を、DRAPピクチャを示すために利用することができる。
ランダムアクセスは、現在のHEVCバージョン1仕様を用いて周期的な間隔で符号化されたIRAPピクチャを持つことにより達成される。図9は、8番目のピクチャごとの周期的なIRAPピクチャを持つHEVCのためのランダムアクセス構成を示す。 一般に、IRAPピクチャはブロードキャストされるコンテンツのためにおよそ0.5-2秒ごとに挿入される。これは、30Hzのシーケンスに対して、およそ15から60ピクチャごとがIRAPピクチャであることを意味している。図9中のダークグレイのピクチャはIRAPピクチャであり、白色のピクチャはPピクチャまたはBピクチャである。
ビデオが時間と共にそれほどアップデートされない画面コンテンツまたは他の一般のコンテンツに対して従来のランダムアクセスアプローチを使うと、図10のようなに見えるかもしれない。図10に示す簡素化された例では、IDRピクチャは3番目ごとのピクチャに挿入されている。説明目的のために、ブロックはまた、それらがより正常な解像度でHEVCで符号化されたビデオにとってそうであるであろうよりずっと大きい。この例におけるPピクチャはそれらのそれぞれの前のピクチャを参照する。すべてのIDRピクチャについて、ピクチャ中の各ブロックのイントラ符号化によりビデオは即座にリフレッシュされる。図10において、イントラブロックはダークグレイでマークされて、インターブロックはグレイ(これらのいくつかはまたイントラブロックであってもよい)であり、白色のブロックはスキップブロックである。
画面共有および画面モニタリングなどの特定の画面コンテンツサービスはますますポピュラーになりつつある。画面コンテンツは一般のビデオ符号化の符号化に対してとは異なる要求をビデオ符号化に課す。通常の画面コンテンツは、シャープなエッジを持つウインドウ、グラフィクスおよびテキスト、別個の色を含み、長い期間更新されないビデオピクチャのエリアを持つ傾向がある。HEVCバージョン1の開発の間、画面コンテンツ符号化(SCC)の特殊な特性は明示的に対処されなかった。従って、JCT-VCは現在SCCを明示的にターゲットとしているHEVCへの拡張に関して作業している。
ここで、以下では、様々な実施形態がより詳細にさらに説明されるであろう。
実施形態1-IRAPのみを参照するDRAP
本発明の第一の実施形態では、新しい従属RAP(DRAP)ピクチャが導入される。このタイプのDRAPピクチャはDRAP1と称される。DRAP1ピクチャの中のブロックは前のIRAPピクチャを参照することしかできない。他のピクチャへの参照は許されない。図11において予測パターンが説明されており、そこでは、ダークグレイのピクチャがIRAPピクチャであり、中間のグレイのピクチャがDRAP1ピクチャであり、白色のピクチャがPピクチャまたはBピクチャである。DRAP1ピクチャはIRAPピクチャを参照することしかできない。
出力順序でDRAP1ピクチャに後続するピクチャは、他の後続するDRAP1が、参照のために関連づけられたIRAPピクチャを使うこともできることを例外として、出力順序または復号順序でDRAP1ピクチャに先行するどのようなピクチャも参照のために使わない。
DRAP1ピクチャを復号するために、前の参照されたIRAPピクチャが復号される必要がある。DRAP1ピクチャの中のすべてのブロックをイントラコーディングを使って符号化する必要がないことにより、多くのビットレートを節約することができる。それでも、ランダムアクセスのあるレベルは、前のIRAPピクチャを参照しさえすればよいことによって達成できる。
参照されたIRAPピクチャは、IRAPピクチャへの距離に従って、RPSの中の短期ピクチャまたは長期ピクチャとして示されることがあり、IRAPピクチャは、DRAP1ピクチャのRPSの中に示される。
実施形態2−他のDRAPまたはIRAPを参照するDRAP
本発明の第二の実施形態ではDRAPピクチャの別のバージョンが導入され、ここではDRAP2と示される。DRAP2ピクチャの中のブロックは前のIRAPピクチャまたは前のDRAP2ピクチャを参照することしかできない。他のピクチャの参照は許されない。予測パターンは、図12(各DRAP2ピクチャからIRAPピクチャへの可能な参照は省略する)において説明される。ダークグレイのピクチャはIRAPピクチャであり、中間グレイのピクチャはDRAP2ピクチャであり、白色のピクチャはPピクチャまたはBピクチャである。DRAP2ピクチャは前のDRAP2ピクチャまたは前のIRAPピクチャを参照するだけでよい。
出力順序でDRAP2ピクチャに後続するピクチャは、他の後続するDRAP2が、参照のために関連づけられたIRAPピクチャまたは関連づけられたDRAP2ピクチャを使うこともできることを例外として、出力順序または復号順序でDRAP2ピクチャに先行するどのようなピクチャも参照のために使わない。
DRAP2ピクチャを復号するために、後ろが先行するIRAPピクチャとなっている前の参照済みDRAP2ピクチャが復号される必要がある。参照のために前のDRAP2ピクチャを使用可能であることにより、DRAP参照の間の距離はより短く、DRAP1ピクチャについてより、ビットレートを節約することができる。それでも、ランダムアクセスのあるレベルは、前のIRAPピクチャの後ろの、前のDRAP2ピクチャを参照しさえすればよいことによって達成できる。
実施形態1および2における従属的ランダムアクセスアプローチを用いることからどのくらい得ることができるかを理解するために、三回のシミュレーションが、JCT-VC HEVC v1およびJCT-VC HEVC SCCの開発の間に使われたテストシーケンスを用いて、JCT-VC HEVC画面コンテンツ符号化(SCC)標準化活動のランダムアクセステスト設定を使って行われた。ランダムアクセステスト設定は階層的Bピクチャを使う。第一のアンカーシミュレーションにおいて、CRAピクチャが、32ピクチャごとに挿入された。 第二のシミュレーションにおいては、実施形態1の中の最初のIDRピクチャのみを参照するPピクチャが32ピクチャごとに挿入された。第三のシミュレーションでは、実施形態2をエミュレートして、前のPピクチャのみを参照する、または最初のGOPの場合には最初のIDRピクチャのみを参照するPピクチャが32ピクチャごとに挿入された。
三通りのシミュレーションすべてについて、設定テストファイルは、オリジナルの8つのピクチャのGOP構造が4回繰り返された32ピクチャのGOP構造を使うよう変更された。実施形態1のシミュレーションを実施するために、最初のIDRピクチャはRPSの中に長期ピクチャとして示され、復号済みピクチャバッファの中に保持された。実施形態2を実施するために、GOPの最初のピクチャ(最初のGOPのための最初のIDRまたは他のGOPのための前のPピクチャのどちらか)は、次のGOPの最初のピクチャのための参照として使われるRPSの後ろに追加された。
三つのケースの間で公正な比較をするために、32番目ごとのピクチャが、CRA、DRAP1(最初のIDRを参照しているPピクチャ)、またはDRAP2(前のDRAP2/IDRを参照しているPピクチャ)であることを唯一の差異として持つ、正確に同じGOP構造が使われた。
下の表3および表4は、JCT-VC HEVC v1およびJCT-VC SCCテストシーケンスについて、CRAアンカーと、実施形態1(DRAP1)および実施形態2(DRAP2)との間の輝度ビヨンテガールト(Bjontegaard)デルタ(BD Y)レートを示す。
利得は一般に、画面コンテンツ固有シーケンス(SlideEditing、sc_desktop、sc_web_browsing、sc_map、Basketball_Screen、MissionControlClip2、およびMissionControlClip3)については、一般のコンテンツシーケンスについてよりも高いことに注目できる。JCT-VC SCCテストセットにおける画面コンテンツシーケンスは一般に、ポップアップウインドウおよびたくさん移動されるウインドウを持つ比較的アクティブなコンテンツを有している。長期間にわたってあまり起こらないシナリオでは、利得はかなり高いであろう。
実施形態3−イントラブロックまたはスキップブロックを用いるのみのDRAP
本発明の第三の実施形態では、上述した実施形態のどれにおいても説明されたように、イントラ符号化されたか、または、参照されたピクチャを用いてスキップとして符号化されたブロックだけを許すための制限がDRAPピクチャに設定される。
この実施形態のひとつのバージョンでは、DRAPピクチャの中のスキップとして符号化されるブロックに対して、参照されたIRAPまたはDRAPの後のすべての先行ピクチャの中のすべての対応するブロックが同一でなければならないという制限が追加される。これは、参照されたIRAPピクチャが、そのIRAPピクチャを参照するブロックのために以前に復号されたピクチャを複製することによって失われるなら、デコーダがよい隠蔽をすることの助けになるであろう。
この実施形態では、ビットレートはたぶん実施形態1または実施形態2における解決策に比べてより高くなるであろうけれども、ビットストリームのエラーロバスト性は高められる。イントラブロックまたはスキップブロックだけを含んでいるDRAPピクチャによって参照されたピクチャ(IRAPまたはDRAP)が失われるなら、参照されたピクチャに先行しているピクチャが正しく復号された場合にのみ、DRAPピクチャは、失われたブロックを以前に復号されたピクチャから複製することによって正しく復号される可能性が高い。これは動きのない場面を持つ画面コンテンツシナリオにおいてに特にあてはまる。
イントラまたはスキップだけが許されるDRAP1ランダムアクセスアプローチを用いる画面コンテンツ符号化の例が図13に示される。この例におけるPピクチャは前のピクチャを参照する。ピクチャが最後のIDRピクチャ以来変わっているDRAP1ピクチャの中のブロックに対しては、イントラコーディングが実行される。ビデオが変わっていないDRAP1ピクチャの中のブロックはスキップされる。図13中ではイントラブロックはダークグレイに、インターブロック(これらのいくつかはまたイントラブロックであってよい)はグレイにマークされ、白色のブロックはスキップされたブロックである。
イントラまたはスキップだけが許されるDRAP2ランダムアクセスアプローチを用いる画面コンテンツ符号化の例が図14に示される。この例におけるPピクチャは前のピクチャを参照する。最後のDRAP2ピクチャ以来(最初のDRAP2ピクチャのためのIDRピクチャ以来)ピクチャが変化したDRAP2ピクチャの中のブロックに対してはイントラコーディングが実行される。ビデオが変化しなかったDRAP2ピクチャの中のブロックはスキップされる。図14中ではイントラブロックはダークグレイに、インターブロック(これらのいくつかはまたイントラブロックである可能性がある)はグレイにマークされ、白色のブロックはスキップされたブロックである。
DRAPが、イントラおよびスキップだけを使って符号化される場合、DRAPピクチャの復号の間、動き補償およびサブピクセル補間を行う必要がないために、DRAPピクチャでランダムアクセスを実行するための計算の複雑性は低減する。
さらに、イントラブロックまたはスキップブロックだけを使うDRAPピクチャでランダムアクセスを実行する場合、参照された前のIRAPピクチャまたは他のDRAPピクチャは、完全に復号される必要があるわけではない。現在のDRAPピクチャの中のイントラブロックと一致している参照されたピクチャの中のブロックは、現在のDRAPピクチャを復号するときに必要でなく、参照されたピクチャを復号するときに無視し得る。
実施形態4−前のDRAP/IRAPが参照される場合に、ランダムアクセス(RA)オペレーションの中を除いて、前のピクチャを参照するDRAP
本発明の第四の実施形態では別のDRAPピクチャタイプが導入され、ここではDRAP3と称される。DRAP3ピクチャはDRAP1またはDRAP2ピクチャと同様に振る舞うけれども、DRAP3ピクチャの中のブロックは、イントラ符号化されるか、または参照として前のピクチャを用いてスキップされるかのいずれかであってよく、かつ、このピクチャの対応するブロックは前のDRAP3またはIRAPピクチャの中の配列されたブロックと同一でなければならないという追加の制約を持つ。従って、完全な復号では、前のピクチャへの参照を用いて、最後のIRAPピクチャ以来変わっていないブロックに対して、正常なスキップを直接的に行える。早送り再生においてのようなランダムアクセスオペレーションの場合、DRAP3ピクチャの参照されたピクチャが、前に復号されたDRAP3またはIRAPピクチャと交換される。
図15は、DRAP3ピクチャを用いたランダムアクセスアプローチの例を説明する。ダークグレイのピクチャはIRAPピクチャであり、中間グレイのピクチャはDRAP3ピクチャであり、白色のピクチャはPピクチャまたはBピクチャである。完全な復号モードでは、前のピクチャはスキップの符号化のための参照として使われる。ランダムアクセス復号モードでは、代わりに前のDRAP3またはIRAPピクチャがスキップの符号化のための参照として使われる。
この実施形態の利点は、デコーダが、ランダムアクセスオペレーションを実行するためにそれがDRAP3ピクチャを使う可能性があることを知っている場合に限って、デコーダは、前のDRAP3およびIRAPピクチャを記憶する必要があることである。
この実施形態ではスキップは前のピクチャを参照すべきであることを説明する。しかしながら、ある符号化設定では、例えば階層的なBピクチャを使うときに、DRAP3ピクチャがスキップのために別の前のピクチャを参照することがより自然であるかもしれない。これは、参照されたブロックが前のDRAP3またはIRAPピクチャの中の対応するブロックと同一である限りまたうまくいくであろう。
実施形態5−IRAPおよびDRAPの異なる周期性を用いることができる
上述の実施形態におけるDRAP1、DRAP2、またはDRAP3ピクチャは、最初のIDRピクチャに後続するすべてのIRAPピクチャを置換する必要があるわけではない。IRAPピクチャを使っている完全なランダムアクセスは、DRAPピクチャに対してよりも粗い間隔で要求され得る。すなわちIRAPピクチャは、DRAPピクチャより低頻度の周期性で挿入され得る。図16A−図16Cは、従属ランダムアクセスが、DRAP1、DRAP2、またはDRAP3ピクチャを使って8番目ごとのピクチャに提供され、完全ランダムアクセスが、IDRピクチャを使って24番目ごとのピクチャに提供される例を示す。 より現実的な場合では、DRAP1、DRAP2、またはDRAP3ピクチャは約1-2秒ごとに、IRAPピクチャは10-60秒ごとに挿入されればよい。図16A−図16Cでは、従属ランダムアクセスは、DRAP1(図16A)、DRAP2(図16B)、またはDRAP3(図16C)ピクチャを提供することによって8番目ごとのピクチャに提供される。IRAPピクチャは24番目ごとのピクチャに挿入されて完全ランダムアクセスを提供するけれども、追加のビットレートのペナルティを伴う。 ダークグレイのピクチャはIRAPピクチャであり、中間グレイのピクチャはDRAPピクチャであり、白色のピクチャはPピクチャまたはBピクチャである。
ビデオ素材を記録し、記憶することがしばしば重要な、画面共有と監視のシナリオなどにおいては、DRAPピクチャは有益であるかもしれない。短い周期性を持つDRAPピクチャおよびより長い周期性を持つIRAPピクチャを使って、例えばDRAPピクチャは毎秒、IRAPピクチャは60秒ごとに、記憶されたビデオを容易に検索できると同時に、ビットレートを低減することができる。さらに、これらのサービスのためのビデオリンクはいつもエラーを免れるわけではない可能性がある。イントラブロックまたはスキップブロックだけを持つDRAPピクチャを使うことは、いかなるランダムアクセスポイントも持たないのに比べて、ストリームのエラーロバスト性を増大させる。
実施形態6−DRAPを、NALユニットヘッダの中にそれ自身のピクチャタイプとして示す。
本発明の第6実施形態では、前述の実施形態のどれにおいてでも定義されたように、DRAPピクチャが、HEVCまたは別のビデオ符号化規格におけるそれ自身のピクチャタイプにより定義される。DRAPピクチャタイプは、nal_unit_typeのためのそれ自身の値を使って、ビデオビットストリームのNALユニットヘッダの中に示される。下の表5は、NALユニットタイプコードおよび現在のHEVC勧告のNALユニットタイプクラステーブルをどのように修正してDRAPnal_unit_typeを含めることができたかを示す。
実施形態7
本発明の一実施形態では、実施形態1-6のどれにおいてでも定義されるように、DRAPピクチャに付随するデータが、デコーダ、ネットワークエレメントまたはビデオビットストリームに作用するすべてのエンティティに、DRAPを復号するために必要なのはどのIRAPピクチャかを示す。
デコーダは、以下の順序づけられたステップによってランダムアクセスを実行するためにこの実施形態を用いることができる。
1. デコーダはDRAPピクチャに付随するデータを復号し、IRAPピクチャへの指示を導き出す。
2. IRAPピクチャを構成している圧縮データを検索するために、デコーダはIRAPピクチャへの指示を利用する。
3. デコーダはIRAPピクチャを復号する。
4. デコーダはDRAPピクチャを復号し、それを出力する。
5. デコーダは、復号順序および出力順序でDRAPに続いているピクチャを復号し、それらのピクチャを出力する。
エンコーダは、以下の順序づけられたステップでこの実施形態を用いることができる。
1. エンコーダはIRAPピクチャを符号化し、将来の参照のために復号済みピクチャバッファにIRAPピクチャを記憶する。
2. エンコーダは、IRAPピクチャだけを参照するピクチャを符号化し、そのピクチャをDRAPピクチャとしてマークする。エンコーダはまたIRAPピクチャへの指示を作成し、この指示を符号化する。
3. エンコーダは、IRAPピクチャ、DRAPピクチャ、および復号順序および出力順序の両方でDRAPピクチャに後続するピクチャへの参照を許すことのみによって、復号順序および出力順序でDRAPピクチャに後続するピクチャを符号化する。
実施形態2、4、および5のどれにおいてもそうであるようにDRAPピクチャが定義されるこの実施形態のひとつのバージョンでは、DRAPピクチャに付随するデータは、DRAPピクチャを復号するために必要なIRAPピクチャおよび前のDRAPピクチャをデコーダに示す。
実施形態8
本発明の一実施形態では、IRAPピクチャに付随するデータは、ビットストリームに作用するデコーダ、ネットワークエレメント、またはすべてのエンティティに、実施形態1−6のどれにおいてでも定義されたように、IRAPピクチャに従属するDRAPピクチャを示す。
デコーダは、以下の順序づけられたステップによってランダムアクセスを実行するためにこの実施形態を用いることができる。
1. デコーダは現在のDRAPピクチャに付随するデータを復号し、現在のDRAPピクチャの復号のために必要であるIRAPピクチャおよびDRAPピクチャへの指示を導き出す。
2. デコーダはIRAPおよびDRAPピクチャへの指示を用いて、IRAPおよびDRAPピクチャを構成している圧縮データを検索する。
3. デコーダは、ステップ1で指示されたIRAPピクチャおよびDRAPピクチャを復号する。
4. デコーダは現在のDRAPピクチャを復号し、それを出力する。
5. デコーダは、復号順序および出力順序で現在のDRAPに続いているピクチャを復号し、それらのピクチャを出力する。
エンコーダは、以下の順序づけられたステップでこの実施形態を用いることができる。
1. エンコーダはIRAPピクチャおよび少なくとも一つのDRAPピクチャを符号化し、将来の参照のために復号済みピクチャバッファにそれらを記憶する。
2. エンコーダは、IRAPピクチャおよび少なくともひとつのDRAPピクチャのみを参照する現在のDRAPピクチャを符号化し、この現在のDRAPピクチャをDRAPピクチャとしてマークする。エンコーダはまたIRAPピクチャおよび少なくともひとつのDRAPピクチャへの表示を作成し、これらの表示を符号化する。
3. エンコーダは、IRAPピクチャ、少なくともひとつのDRAPピクチャ、現在のDRAPピクチャおよび復号順序および出力順序の両方で現在のDRAPピクチャに後続するピクチャへの参照を許すことのみによって、復号順序および出力順序で現在のDRAPピクチャに後続するピクチャを符号化する。
実施形態9
本発明の実施形態では、IRAPピクチャおよびそれに従属するDRAPピクチャを復号することによって、デコーダは早送りを実行する。
本実施形態の他のバージョンでは、デコーダは、IRAPピクチャおよびそれに従属するDRAPピクチャを復号することによって他のトリックプレイ操作を実行する。これらのトリックプレイは、巻き戻し、前方ジャンプ、後方ジャンプおよびポジションへの移動を含む。
実施形態10
本発明の一実施形態では、HEVC仕様では代替仮想参照デコーダ(alternative hypothetical reference decoder:HRD)パラメータとしても知られている代替バッファパラメータがビデオビットストリームにおいて提供される。
これらの代替バッファパラメータは、エンコーダが、バッファオーバーフローおよび/またはアンダーランを防止するために、復号の開始前にどのくらいのビデオビットストリームをバッファすべきかをデコーダに対して表示することよって示される。
エンコーダは、以下の順序づけられたステップでこの実施形態を用いることができる。
1. エンコーダはDRAPピクチャを符号化する。
2. エンコーダは、関連付けられたIRAPおよびDRAPピクチャが、IRAPピクチャの前のピクチャおよびIRAPピクチャとDRAPピクチャとの間のピクチャがビットストリームから除去された刈り込み済みビットストリームに存在するならば、バッファ状態を計算する。
3. エンコーダは、ビデオビットストリームの中で、ビデオビットストリームがステップS2に従って刈り込まれているならば、ランダムアクセスでどのくらいのデータをバッファするかをデコーダに示すバッファスパラメータを示す。
デコーダは、以下の順序づけられたステップでこの実施形態を用いることができる。
1. ストリーム内のランダムアクセスがデコーダにより行われる。ランダムクセスポイントは、IRAPピクチャおよびDRAPピクチャを含む従属ランダムアクセスポイント(DRAP)である。
2. デコーダは、ランダムアクセスがIRAPピクチャおよびDRAPピクチャを用いて行われる場合に、バッファオーバフローおよび/またはアンダーランを避けるために、復号を開始する前にどれくらいのデータをバッファするかを示す代替バッファパラメータをビデオビットストリームから受信する。
3. デコーダは受信した代替バッファパラメータにより指定されたようにデータをバッファする。
4. デコーダは、代替バッファパラメータにより指定された量のデータを受信した後でビデオデータの復号を開始する。
実施形態11
本発明の実施形態では、サーバ(図17参照)が、IRAPピクチャを抽出し、それがデコーダによって出力されないようIRAPピクチャにマークし、IRAPピクチャ、後続のDRAPピクチャおよび後続のピクチャ(s)をクライアントに送信する。
実施形態12−SEIメッセージの例
本発明の実施形態では、実施形態1から6までのどれにおいてでも説明されたDRAPピクチャの存在および制限が、SEIメッセージを使って示される。この実施形態では、特定のDRAPnal_unit_typeは必要でない。DRAPピクチャは、実施形態1-6のどれにおいてでも示された制限によってPピクチャのように符号化される。
SEIメッセージは、ピクチャが上記の実施形態のどれにおいてでも説明された制限を持つDRAPピクチャであることを示すまたは特定する、関連付けられたピクチャと共に送信される。
SEIの例1
SEIメッセージはたとえばこのように構造化できる。
このSEIメッセージは空であり、デコーダ、ネットワークエレメント、またはビデオビットストリームに作用するすべてのエンティティに、SEIメッセージと関連づけられたピクチャがDRAPピクチャであり、かつこのDRAPピクチャをまたぐ予測が行われないであろうことを示すために使われる。
DRAPピクチャが予測のために使用する可能性のあるIRAPピクチャは、復号順序でDRAPピクチャに対して最も近い前のIRAPピクチャである。
DRAPピクチャは、それらが時間的id 0を持つTRAIL_Rピクチャでなければならないよう制限される可能性がある。トレーリングピクチャは、関連づけられたRAPピクチャに出力順序で後続するピクチャである。TRAIL_Rは、参照のために使うことのできるトレーリングピクチャと定義される。0の時間的idは、ピクチャが最下位層に属していて、かつ、それらの時間的idと関係なく他のピクチャにより参照として使うことができることを意味している。
他の実施形態の例では、SEIメッセージは必ずしも空ではない。そのような様々な実施形態の例が、図18−20を参照してさらにここで今から説明される。
SEIの例2
SEIメッセージの他のバージョンがこのように構造化できる。
図18は、図7に示した方法の追加的なオプションのステップを説明するフローチャートである。この方法は図7中のステップS50から続いている。次のステップS70は、SEIメッセージから中断リンクフラグ(broken link frag)を検索することを含む。この方法は、IRAPピクチャで復号を開始することで生成されたピクチャが、DRAPピクチャに先行する復号されたピクチャが表示されるべきでない範囲への不適当な視覚的アーティファクトを含む可能性があるかどうかを判定することをさらに含む。
特定の実施形態では、この判定はステップS71において、中断リンクフラグが1に等しいか調査することを含む。その値が1に等しければ、この方法はステップS72へと続き、それは、IRAPピクチャで復号を開始することで生成されたピクチャが、DRAPピクチャに先行する復号されたピクチャが表示されるべきでない範囲への不適当な視覚的アーティファクトを含む可能性があることを判定することを含む。
従属RAP表示SEIメッセージは、デコーダが、その従属RAP表示SEIメッセージに関連付けられたピクチャ、および出力順序でそれに後続するピクチャの正確な復号を行うために、ビデオビットストリームのどの部分がデコードされる必要があるかを判定することを支援する。
従属RAP表示SEIメッセージに関連付けられたピクチャはDRAPピクチャと呼ばれる。DRAPピクチャは、参照のためにその関連付けられたIRAPピクチャを用いることができるが、参照のために他のいかなるピクチャも用いない。
DRAPピクチャでランダムアクセスを実行する場合には、pic_output_flagの値は、出力順序でDRAPピクチャに先行するすべてのピクチャについて0に等しいと推定されるべきである。出力順序でDRAPピクチャに先行している復号されたピクチャは、復号済みピクチャバッファ内で利用できないピクチャへの参照を含む可能性がある。
出力順序でDRAP1ピクチャに後続するピクチャは、他の後続するDRAPが、参照のために関連づけられたIRAPピクチャを使うこともできることを例外として、出力順序または復号順序でDRAPピクチャに先行するどのようなピクチャも参照のために使わない。
broken_link_flagは従属RAP表示SEIメッセージの位置のNALユニットストリーム内の破損したリンクの存在または不在を示し、さらに次のように意味を割り当てられる:
- broken_link_flagが1に等しいならば、前のIRAPアクセスユニットの位置で復号処理を開始することによって作成されたピクチャは、従属RAP表示と関連づけられたアクセスユニットに先行する復号されたピクチャが表示されるべきでない範囲に不適当な視覚的アーティファクトを含む可能性がある。
- さもなければ(broken_link_flagは0に等しい)、視覚的アーティファクトのいかなる潜在的な存在についても表示は与えられない。
この例では、DRAPピクチャと関連づけられたIRAPピクチャへの参照インジケータは、SEIメッセージの中では明示的に示されないけれども、RPSから、または他の方法によって得られる可能性がある。
SEIの例3
SEIメッセージの他のバージョンはこのように構造化できる。
図19は、図7に示した方法の追加的なオプションのステップを説明するフローチャートである。この方法は図7中のステップS50から続いている。次のステップS80は、SEIメッセージからスキップまたはイントラブロックのみフラグ(only skip or intra blocks flag)を検索することを含む。この方法はまた、スキップまたはイントラブロックのみフラグの値に基づいて、DRAPピクチャが、イントラ符号化ブロックまたはスキップフラグが1にセットされたスキップブロックのみを含むか判定することを含む。
特定の実施形態では、この判定はステップS81においてスキップまたはイントラブロックのみフラグの値が1に等しいか調査することを含む。値が1に等しいならば、この方法はステップS82に続き、そこには、DRAPピクチャが、イントラ符号化ブロックまたはスキップフラグが1にセットされたスキップブロックのみを含むと判定することを含む。
SEIメッセージは、上に示したようにスキップまたはイントラブロックのみフラグ、または、スキップまたはイントラブロックのみフラグと前述した中断リンクフラグとの両方を含むことがある。
broken_link_flagは、存在しているならば、SEI例2においてのように定義される。
only_skip_or_intra_blocks_flagは、DRAPピクチャが、イントラ符号化ブロックまたはcu_skip_flagが1にセットされたブロックのみを含むかを以下に従って表示する:
- only_skip_or_intra_blocks_flagが1に等しいならば、DRAPピクチャは、イントラ符号化ブロックまたはcu_skip_flagが1にセットされたブロックのどちらかを含むだけである。
- さもなければ、only_skip_or_intra_blocks_flagが0に等しいならば、DRAPピクチャは、イントラ符号化ブロックまたはcu_skip_flagが1にセットされたブロック以外のブロックを含む可能性がある。
SEIの例4
SEIメッセージの他のバージョンはこのように構造化できる。
図20は、図7に示した方法の追加的なオプションのステップを説明するフローチャートである。この方法は図7中のステップS50から続いている。次のステップS90は、SEIメッセージから参照ピクチャデルタ識別子を検索することを含む。この方法はさらに、参照ピクチャデルタ識別子が0より大きいならば、ステップS92において、IRAPピクチャのピクチャオーダーカウント(POC)値を、DRAPピクチャのPOC値および参照ピクチャデルタ識別子に基づいて計算することを含む。この方法はまた、ステップS93において、参照ピクチャデルタ識別子が0より大きいならば、計算したPOC値に基づいてIRAPピクチャを特定し、参照ピクチャデルタ識別子が0に等しいならば、ビデオビットストリームの中の最も近い先行IRAPピクチャとしてIRAPピクチャを特定することを含む。
特定の実施形態では、この方法はまたステップS91において参照ピクチャデルタ識別子の値を調査することを含む。値が0とは違うならば、方法は、DRAPピクチャのために参照ピクチャとして使われたIRAPピクチャのPOC値が計算されるステップS92に続く(好適にはPOC(IRAP)=POC(DRAP)-(reference_irap_picture_poc_delta_idc_minus1+1)に等しい)。この方法はそれから、IRAPピクチャが、計算したPOC値に基づいて特定されるステップS43に続く。
しかし、ステップS91での調査が、参照ピクチャデルタ識別子の値が0に等しいと結論するならば、この方法は直接、ビデオビットストリームの中の最も近い先行IRAPピクチャとしてIRAPピクチャを特定することを含むステップS93に続く。それゆえ、この場合にはPOC値の計算は必要でない。
これらの例において、IRAPピクチャのPOC値は、IRAPピクチャが復号順序および出力順序でDRAPピクチャに先行するので、常にDRAPピクチャのPOC値より小さいであろう。これは、参照ピクチャデルタ識別子が0になるか、または正の整数になるであろうということを意味している。
SEIメッセージは、上述したように、パラメータ参照ピクチャデルタ識別子または、中断リンクフラグおよび/または、スキップまたはイントラブロックのみフラグと一緒に参照ピクチャデルタ識別子を含むことができる。
従属RAP表示SEIメッセージは、デコーダが、その従属RAP表示SEIメッセージに関連付けられたピクチャおよび出力順序でそれに後続するピクチャの正確な復号を行うために、ビデオビットストリームのどの部分が復号される必要があるかを判定することを支援する。
従属RAP表示SEIメッセージに関連付けられたピクチャはDRAPピクチャと呼ばれる。DRAPピクチャは、参照のためにその関連付けられたIRAPピクチャを用いることができるが、参照のために他のいかなるピクチャも用いない。
DRAPピクチャでランダムアクセスを実行する場合には、pic_output_flagの値は、出力順序でDRAPピクチャに先行するすべてのピクチャについて0に等しいと推定されるべきである。出力順序でDRAPピクチャに先行している復号されたピクチャは、復号済みピクチャバッファ内で利用できないピクチャへの参照を含む可能性がある。
出力順序でDRAP1ピクチャに後続するピクチャは、他の後続するDRAPが、参照のために関連づけられたIRAPピクチャを使うこともできることを例外として、出力順序または復号順序でDRAPピクチャに先行するどのようなピクチャも参照のために使わない。
broken_link_flagは、存在する場合、SEI例2においてのように定義される。
only_skip_or_intra_blocks_flagは、存在する場合、SEI例3においてのように定義される。
referenced_irap_picture_poc_delta_idc_minus1は、DRAPピクチャのPOCとDRAPピクチャによって参照されたIRAPピクチャのPOCとの差引く1を示す。
SEIの例5
SEIメッセージのさらに他のバージョンではこのように構造化できる。
これらのバージョンは上記に類似しているけれども、この場合に、referenced_irap_picture_poc_delta_idcの値が0より大きいならば、IRAPピクチャのPOC値はPOC(IRAP)=POC(DRAP) - reference_irap_picture_poc_delta_idcとしてステップS42において計算されている。
従属RAP表示SEIメッセージは、デコーダが、従属RAP表示SEIメッセージに関連付けられたピクチャおよび出力順序でそれに後続するピクチャの正確な復号を行うために、ビデオビットストリームのどの部分が復号される必要があるかを判定することを支援する。
従属RAP表示SEIメッセージに関連付けられたピクチャはDRAPピクチャと呼ばれる。DRAPピクチャは、それの関連付けられたIRAPピクチャを参照のために用いることができるが、他のいかなるピクチャも参照のために用いない。
DRAPピクチャでランダムアクセスを実行する場合には、pic_output_flagの値は、出力順序でDRAPピクチャに先行するすべてのピクチャについて0に等しいと推定されるべきである。出力順序でDRAPピクチャに先行している復号されたピクチャは、復号済みピクチャバッファ内で利用できないピクチャへの参照を含む可能性がある。
出力順序でDRAP1ピクチャに後続するピクチャは、他の後続するDRAPが、参照のために関連づけられたIRAPピクチャを使うこともできることを例外として、出力順序または復号順序でDRAPピクチャに先行するいかなるピクチャも参照のために使わない。
Broken_link_flagは、存在する場合、SEI例2においてのように定義される。
only_skip_or_intra_blocks_flagは、存在する場合、SEI例3においてのように定義される。
referenced_irap_picture_poc_delta_idcは、ゼロより大きい場合には、DRAPピクチャのPOCとDRAPピクチャによって参照されたIRAPピクチャのPOCとの差を示す。referenced_irap_picture_poc_delta_idcが0と等しい場合には、DRAPは参照のために前のIRAPピクチャを使っている。
理解されるように、IRAPピクチャへの参照は、二つの異なる方法(デルタidcを用いる明示的な参照により、あるいは、前のIRAPピクチャが参照のために使われることを伝えることにより)で記述できる。明示的な参照を常に使うわけではない理由は、IRAPおよび潜在的にはDRAPがどのみちシステム層で示されるシステムアプリケーションに関しては、POC値を得ることが少し面倒である可能性があることである。さらに、参照を明示的に示さないことによって数ビットの節約になる。
SEIの例6
SEIメッセージのさらに他のバージョンはこのように構造化できる。
従属RAP表示SEIメッセージは、デコーダが、その従属RAP表示SEIメッセージに関連付けられたピクチャおよび出力順序でそれに後続するピクチャの正確な復号を行うために、ビデオビットストリームのどの部分が復号される必要があるかを判定することを支援する。
従属RAP表示SEIメッセージに関連付けられたピクチャはDRAPピクチャと呼ばれる。DRAPピクチャは、参照のためにその関連付けられたIRAPピクチャを用いることができるが、参照のために他のいかなるピクチャも用いない。
DRAPピクチャでランダムアクセスを実行する場合には、pic_output_flagの値は、出力順序でDRAPピクチャに先行するすべてのピクチャについて0に等しいと推定されるべきである。出力順序でDRAPピクチャに先行している復号されたピクチャは、復号済みピクチャバッファ内で利用できないピクチャへの参照を含む可能性がある。
出力順序でDRAP1ピクチャに後続するピクチャは、他の後続するDRAPが、参照のために関連づけられたIRAPピクチャを使うこともできることを例外として、出力順序または復号順序でDRAPピクチャに先行するどのようなピクチャも参照のために使わない。
broken_link_flagは、存在する場合、SEI例2においてのように定義される。
only_skip_or_intra_blocks_flagは、存在する場合、SEI例3においてのように定義される。
referenced_irap_picture_poc_lsbは、DRAPピクチャによって参照されたIRAPピクチャのPOC最下位ビット(lsb)を示す。
IRAPピクチャのPOC値は、パラメータreferenced_rap_picture_poc_lsbに基づいて計算され、それにより、DRAPピクチャのための参照ピクチャとして使われるIRAPピクチャを特定できる。
パラメータreferenced_rap_picture_poc_lsbに基づいたIRAPピクチャのPOC値の計算の仕方のより多くの情報が、ITU-TH.265シリーズH: 視聴覚およびマルチメディアサービス、視聴覚サービスのインフラストラクチャ−動きビデオの符号化、高効率ビデオ符号化のセクション8.3.2 参照ピクチャセットの復号処理、に見いだせる。
SEIの例7
SEIメッセージのさらに他のバージョンはこのように構造化できる。
従属RAP表示SEIメッセージは、デコーダが、その従属RAP表示SEIメッセージに関連付けられたピクチャおよび出力順序でそれに後続するピクチャの正確な復号を行うために、ビデオビットストリームのどの部分が復号される必要があるかを判定することを支援する。
従属RAP表示SEIメッセージに関連付けられたピクチャはDRAPピクチャと呼ばれる。DRAPピクチャは、参照のためにその関連付けられたIRAPピクチャを用いることができるが、参照のために他のいかなるピクチャも用いない。

DRAPピクチャでランダムアクセスを実行する場合には、pic_output_flagの値は、出力順序でDRAPピクチャに先行するすべてのピクチャについて0に等しいと推定されるべきである。出力順序でDRAPピクチャに先行している復号されたピクチャは、復号済みピクチャバッファ内で利用できないピクチャへの参照を含む可能性がある。
出力順序でDRAP1ピクチャに後続するピクチャは、他の後続するDRAPが、参照のために関連づけられたIRAPピクチャを使うこともできることを例外として、出力順序または復号順序でDRAPピクチャに先行するいかなるピクチャも参照のために使わない。
broken_link_flagは、存在する場合、SEI例2においてのように定義される。
only_skip_or_intra_blocks_flagは、存在する場合、SEI例3においてのように定義される。
implicitly_reference_previous_irap_picture_flagは、従属RAP表示SEIメッセージと関連づけられたDRAPピクチャによって前のIRAPピクチャが参照されるかどうかを以下に従って示す:
- implicitly_reference_previous_irap_picture_flagが1に等しいならば、DRAPピクチャは、従属RAP表示SEIメッセージにおいてこのIRAPピクチャを明示的に参照せずに前のIRAPピクチャを参照している。
- さもなければ、implicitly_reference_previous_irap_picture_flagが0に等しいならば、DRAPピクチャによって参照されたIRAPピクチャのための参照インジケータが、従属RAP表示SEIメッセージにおいて明示的に示される。
referenced_irap_picture_poc_lsbは、DRAPピクチャによって参照されたIRAPピクチャのPOC最下位バイトを示す。
先行IRAPピクチャ黙示的参照フラグ(implicitly reference previous IRAP picture flag)を用いるこの実施形態の例は、代わりに、パラメータreferenced_irap_picture_poc_lsb、またはreferenced_irap_picture_poc_delta_idc_minus1、またはreferenced_irap_picture_poc_delta_idcと共に用いることができる。
SEIの例8
SEIメッセージのさらに他のバージョンはこのように構造化できる。
従属RAP表示SEIメッセージは、デコーダが、その従属RAP表示SEIメッセージに関連付けられたピクチャおよび出力順序でそれに後続するピクチャの正確な復号を行うために、ビデオビットストリームのどの部分が復号される必要があるかを判定することを支援する。
従属RAP表示SEIメッセージに関連付けられたピクチャはDRAPピクチャと呼ばれる。DRAPピクチャは、関連付けられたIRAPピクチャまたは関連付けられたDRAPピクチャを参照のために用いることができるが、参照のために他のいかなるピクチャも用いない。
DRAPピクチャでランダムアクセスを実行する場合には、pic_output_flagの値は、出力順序でDRAPピクチャに先行するすべてのピクチャについて0に等しいと推定されるべきである。出力順序でDRAPピクチャに先行している復号されたピクチャは、復号済みピクチャバッファ内で利用できないピクチャへの参照を含む可能性がある。
出力順序でDRAPピクチャに後続するピクチャは、他の後続するDRAPピクチャが、参照のために関連づけられたIRAPピクチャまたは関連付けられたDRAPピクチャを使うこともできることを例外として、出力順序または復号順序でDRAPピクチャに先行するいかなるピクチャも参照のために使わない。
broken_link_flagは、存在する場合、SEI例2においてのように定義される。
only_skip_or_intra_blocks_flagは、存在する場合、SEI例3においてのように定義される。
reference_dependent_rap_flagは、従属RAP表示SEIメッセージに関連付けられたピクチャが、IRAPピクチャまたは別のDRAPピクチャを参照しているかを、以下に従って示す:
- reference_dependent_rap_flagが1に等しいならば、従属RAP表示SEIメッセージに関連付けられたピクチャは、別のDRAPピクチャを参照している。
- reference_dependent_rap_flagが0に等しいならば、従属RAP表示SEIメッセージに関連付けられたピクチャは、IRAPピクチャを参照している。
nbr_pictures_in_reference_chain_minus1は、従属RAP表示SEIメッセージと関連づけられたDRAPピクチャからIRAPピクチャまでの参照のチェーンを通してリンクされるピクチャ数引く1を示す。 reference_dependent_rap_flagが1と等しい場合に限って、この変数はセットされる。
reference_picture_poc_delta_idcは、ゼロより大きい場合には、従属RAP表示SEIメッセージと関連づけられたDRAPピクチャのPOCと、従属RAP表示SEIメッセージと関連づけられたピクチャからIRAPピクチャまでの参照ピクチャのチェーンの中の参照ピクチャのPOCとの差を示す。 reference_picture_poc_deltaが0と等しい場合には、DRAPピクチャは、前のIRAPピクチャと参照のための前の他のDRAPピクチャの最新のものを使っている。
参照従属RAPフラグ(reference dependent RAP flag)および参照チェーンの中のピクチャ数(the number of pictures in reference chain)を使っているこの実施形態例は、代わりに、referenced_irap_picture_poc_delta_idcに代えてパラメータreferenced_irap_picture_poc_delta_idc_minus1またはreferenced_irap_picture_poc_lsbと一緒に使われてもよい。
この実施形態の一側面は、ビデオビットストリームの復号のための方法に関連し、以下のステップを含む(図21参照):
- イントラランダムアクセスポイント(IRAP)ピクチャを復号し、
- IRAPピクチャにのみ従属するインターピクチャを復号し、そのインターピクチャは従属ランダムアクセスポイント(DRAP)と呼ばれ、
- DRAPピクチャを用いてランダムアクセスオペレーションを実行する。
一実施形態では、方法はさらに以下を含む:
- 前のDRAPピクチャに従属する追加のDRAPピクチャを復号し、
- 追加のDRAPピクチャを用いてランダムアクセスオペレーションを実行する。
一実施形態では、DRAPピクチャは、継続的な復号では別の前のピクチャを参照し、ランダムアクセスオペレーションでは前のIRAPまたはDRAPピクチャを参照し、両方の参照が同じ復号されたDRAPピクチャを結果として生じる。
一実施形態では、DRAPピクチャはイントラまたはスキップ符号化ブロックのみを含んでもよい。
一実施形態では、ビットストリームの中に、DRAPピクチャはIRAPピクチャより高頻度に存在してもよい。
一実施形態では、DRAPピクチャは、DRAPピクチャによってビットストリームの中で示されるピクチャタイプ識別子を割り当てられてもよい。
一実施形態では、DRAPピクチャに付随するデータは、DRAPピクチャを復号するために必要なIRAPピクチャをデコーダに示してもよい。
一実施形態では、DRAPピクチャに付随するデータは、追加のDRAPピクチャを復号するために必要なIRAPピクチャおよびDRAPピクチャをデコーダに示してもよい。
一実施形態では、DRAPピクチャに付随するデータは、IRAPピクチャに従属するDRAPピクチャをデコーダに示してもよい。
一実施形態では、ランダムアクセスオペレーションは、トリックプレイであってよく、トリックプレイは、早送り、巻き戻し、前方ジャンプ、後方ジャンプ、ポジショへの移動のうちの任意のものである。
一実施形態では、DRAPピクチャに付随するデータは、DRAPピクチャの位置での中断リンクの存在または不在を示してもよい。
一実施形態では、DRAPピクチャに付随するデータは、DRAPピクチャがイントラおよびスキップ符号化ブロックのみを含むかを示してもよい。
一実施形態では、データは、補足的拡張層(SEI)メッセージ、シーケンスパラメータセット(SPS)、ピクチャパラメータセット(PPS)またはビデオスライスヘッダで示されてもよい。
図22は、前述した実施形態1(実線)、2、7、および8(破線)をより詳細に説明するフローチャートである。この方法は第一のDRAPピクチャを受信することを含む。この方法はオプションで、ピクチャオーダータイプデータまたはSEIメッセージなどの付随データを受信することを含む。この方法はオプションで、現在のDRAPピクチャが、前のIRAPピクチャまたは前のDRAPピクチャのどちらを参照しているかを判定することを含む。後者の場合に、参照されたDRAPピクチャを取得することにより、方法は継続する。このループは、IRAPピクチャを参照する現在のDRAPピクチャに達するまで実行される。この方法はそれから、IRAPピクチャを得て、IRAPピクチャを復号することを含む。次のオプションのステップは、以前に復号されたIRAPまたはDRAPピクチャが、第一のステップにおいて受け取られた第一のDRAPピクチャによって参照されるかどうかを判定することを含む。もしされていなければ、以前に復号されたIRAPまたはDRAPピクチャを参照しているDRAPピクチャを復号することによって、方法は継続する。このループは、以前に復号されたIRAPまたはDRAPピクチャが第一のDRAPピクチャによって参照されるまで実行される。そのような場合には、第一のDRAPピクチャは復号されて、ランダムアクセスオペレーションのために使われる。
IRAPピクチャは、一般に周期的な方法で使われ、符号化されたビデオにランダムアクセスおよびエラーロバスト性を与える。一般的なビデオコンテンツでは、ビットレートという意味において、IRAPピクチャは通常、Pピクチャを符号化するよりおよそ3-5倍高くなり、Bピクチャを符号化するよりおよそ5-10倍高くなる。
IRAPピクチャを0.5から1.0秒ごとに挿入するとかなりのビットが掛かる。表1および表2に示したように、ビットコストは変化し、一般的にはSlideEditingのような動かないコンテンツのためよりも高い。画像の多くの部分がめったに更新されないシーケンス(たとえば何かの画面コンテンツ)では、PピクチャおよびBピクチャが一般的には多くのスキップブロックを含むので、IRAPピクチャとPピクチャおよびBピクチャとの間の比率はさらに大きい。
非常に静的なコンテンツを有することが多いビデオサービスには、画面共有および監視ビデオを含む。画面共有は、たとえば、個人の間のライブ通信ツールとして利用されることがあり、あるいは、サーバのような他のコンピュータを監視するために設定されることがある。これらすべてのサービスで、ビデオ素材を記録し、格納することがしばしば重要である。そして格納したビデオ素材は、好適にはランダムアクセスオペレーションを用いて検索することが容易であるべきである。同時に、帯域幅の利用の制限および格納スペースの節約の両方のために、ビデオのビットレートを最低限に維持することが重要である。
提案された解決策は、IRAPピクチャのランダムアクセスおよびエラーロバストの性質をほぼ同じに維持しながら、一般的なコンテンツの符号化ならびに画面コンテンツ符号化においてRAPピクチャで費やされる多くのビットを減らすことを目的とする。これは、ここでは従属ランダムアクセスポイント(DRAP)ピクチャと呼ばれる新しいピクチャタイプの導入により成されている。DRAPピクチャはたとえば、Pピクチャ(前のIRAPピクチャのみ(ある実施形態では他のDRAPピクチャも)を参照できる)である。
DRAPピクチャは、ビデオビットストリームの全体のビットコストを下げるためにIRAPピクチャのいくつかを置き替えることができる。代わりに、同じビットレートを前提として、ランダムアクセスポイントをより高頻度で配置できる。DRAPピクチャ上のランダムアクセスは、先行するIRAPを最初に復号し、それからDRAPピクチャを復号することによって行われる。
ランダムアクセスは、参照されたIRAPピクチャ(および関連があるなら照されたDRAPピクチャ)は、DRAPピクチャの復号の前に復号されなければならないという制約と共にDRAPピクチャに提供される。DRAPピクチャはたとえば、ランダムアクセスのためのビットレートのオーバーヘッドを最低限に維持すると同時に、ビデオによる早送りのために非常に役立つ。
別の好適な制約はDRAPピクチャをまたぐ予測が禁止されるべきということである。DRAPピクチャに後続する非RAPピクチャは、DRAPピクチャに先行するいかなる非RAPピクチャも予測のために使ってはならない。この制約のひとつの代替的な定式化は、復号順序および出力順序の両方でDRAPピクチャに後続する非RAPピクチャは、復号順序でDRAPピクチャに先行するいかなる非RAPピクチャも参照のために使うことはない、ということである。
本発明の一実施形態では、エラーロバスト性を改善するために、イントラまたはスキップブロックのどちらかのみがDRAPピクチャに許される。
HEVCでは、AVC/H.264と同様、Recovery Point(復帰点)SEIと呼ばれるSEIメッセージがある。復帰点SEIメッセージは、デコーダがランダムアクセスを開始した後またはエンコーダがビットストリームにおいて中断リンクを示した後に、復号処理が表示のために受入れ可能なピクチャをいつ作り出すかの決定においてデコーダを支援する。復帰点SEIメッセージと関連付けられたピクチャで復号処理が復号順序で開始されたとき、このSEIメッセージに記述された復帰点のピクチャ、または出力順序でそれに続く復号されたピクチャの全ては、コンテンツのなかで正しいか或いはほぼ正しいと表示される。
復帰点SEIメッセージはDRAPピクチャの機能性を実現するために使うことはできない。復帰点SEIメッセージがIRAPピクチャと共に送信されたなら、復号順序でそれに後続するすべてのピクチャはDRAPピクチャまでに復号し終えねばならず、それは望ましくない。そして、DRAPメッセージは復号順序で復帰点SEIメッセージに先行する何物にも従属を表示できないので、復帰点SEIメッセージはDRAPピクチャと共に送信できない。
一側面によれば、ビットストリームを符号化するための方法が提供される。その方法では、IRAPピクチャが符号化され、IRAPピクチャにのみ従属するインターピクチャが符号化され、そのインターピクチャは従属ランダムアクセスポイント(DRAP)ピクチャと呼ばれる。
他の一側面によれば、ビデオビットストリームを復号するための方法が提供される。その方法では、イントラランダムアクセスポイント(IRAP)ピクチャが復号され、IRAPピクチャにのみ従属するインターピクチャが復号され、そのインターピクチャは従属ランダムアクセスポイント(DRAP)ピクチャと呼ばれ、DRAPピクチャはランダムアクセスオペレーションを遂行するために用いられる。
図23は、ビデオストリームを符号化するための方法を説明するフローチャートである。この方法は、ステップS100においてビデオストリームのIRAPピクチャを復号することを含む。その方法はまた、ステップS101において、ビデオストリームのDRAPピクチャを、そのビデオストリーム中のIRAPピクチャおよび/または、復号順序に従って前のDRAPピクチャを、そのDRAPピクチャのための唯一の参照ピクチャとして用いて符号化することを含む。DRAPピクチャは、参照のために使うことのできるトレーリングピクチャとしてステップS101において符号化される。DRAPピクチャはビデオストリームの符号化されたピクチャのビデオビットストリームの中のRAPを構成する。
一実施形態では、DRAPピクチャは、ステップS101において、参照のために使うことができるトレーリングピクチャとして(すなわちTRAIL_Rピクチャとして)符号化され、ビデオビットストリーム中の最下位層に属する(すなわち時間的ID=0を持つ)。
一実施形態では、ステップS101は、DRAPピクチャを、復号順序に従ってビデオストリームの中の最も近い先行するIRAPピクチャをDRAPピクチャのための唯一の参照ピクチャとして用いて復号することを含む。
他の実施形態では、ステップS101は、DRAPピクチャを、復号順序に従ってビデオストリームの中の最も近い先行するDRAPピクチャをDRAPピクチャのための唯一の参照ピクチャとして用いて復号することを含む。
更なる一実施形態では、ステップS101は、DRAPピクチャを、復号順序に従ってビデオストリームの中の最も近い先行するIRAPピクチャおよびDRAPピクチャをDRAPピクチャのための唯一の参照ピクチャとして用いて復号することを含む。
復号順序は、ビデオビットストリームの中のピクチャがデコーダにより復号される順序を特定する。この順序はビデオストリームのピクチャがエンコーダにより符号化されるのと同じ順序である。それゆえ、復号順序は符号化またはコード化順序とも呼ばれる。
図24は、図23に示した方法の追加的なオプションのステップを説明するフローチャートである。この方法はステップS101から続いている。次のステップS101は、出力順序および復号順序ではDRAPピクチャに後続するビデオストリームの少なくともひとつの非RAPピクチャを符号化することを含む。少なくとも一つの非RAPピクチャはステップS101において、符号化順序でDRAPピクチャに先行するビデオストリームのどのような非RAPピクチャも、その少なくともひとつの非RAPピクチャのための参照ピクチャとして使うことなく符号化される。それにより、ステップS101において符号化されたDRAPピクチャをまたぐ参照は、場合により、非RAPピクチャが、ステップS100で符号化されたIRAPピクチャを参照ピクチャとして、および/または、前のDRAPピクチャすなわちステップS100で符号化されたIRAPピクチャとステップS101で符号化されたDRAPピクチャとの間にあるDRAPピクチャを参照ピクチャとして用いることができることを例外として、好ましくは防止される。
特定の実施形態では、ステップS101は、DRAPピクチャのブロックを、IRAPピクチャおよび/または前のDRAPピクチャをDRAPピクチャのための唯一の参照ピクチャとして用いるスキップブロックとして、またはイントラブロックとして符号化することを含む。
図25は、図23に示した方法の追加的なオプションのステップを説明するフローチャートである。この方法はステップS101から続いている。次のステップS120は、DRAPピクチャのRPSにIRAPピクチャの識別子を含ませることを含む。RPSは、短期参照ピクチャまたは長期参照ピクチャとしてIRAPピクチャを示す。
図26は、図23に示した方法の追加的なオプションのステップを説明するフローチャートである。この方法はステップS100から続いている。次のステップS130は、DRAPピクチャを、DRAPピクチャをDRAPピクチャとして特定するSEIメッセージと関連付けることを含む。
SEIメッセージは空のSEIメッセージであるか、または様々なSEIメッセージの例との関連で以前に説明したパラメータのいずれかを含むことができる。
図27は、SEIメッセージが空でない場合にこの方法に含ませることができる追加的なオプションのステップを説明するフローチャートである。
一実施形態では、この方法は、ステップS140において、IRAPピクチャで復号を開始することで生成されたピクチャが、DRAPピクチャに先行する復号されたピクチャが表示されるべきでない範囲に不適当な視覚的アーティファクトを含む可能性があるかどうかを判定することに基づいて、中断リンクフラグの値をセットすることをさらに含む。この方法はまた、ステップS143において、中断リンクフラグをSEIメッセージに含ませることを含む。
代わりにあるいは追加的に、この方法は、ステップS141において、DRAPピクチャを符号化することが、イントラ符号化ブロックまたはスキップフラグが1にセットされたスキップブロックのみとしてDRAPピクチャのブロックを符号化することを含むかどうかに基づいて、スキップまたはイントラブロックのみフラグの値をセットすることを含む。この方法はまた、ステップS143において、スキップまたはイントラブロックのみフラグをSEIメッセージに含ませることを含む。
代わりにまたは追加的に、この方法は、ステップS142において、IRAPピクチャがビデオストリームの中の最も近い先行するIRAPピクチャと異なるならば、IRAPピクチャのPOC値とDRAPピクチャのPOC値との差に基づいて参照ピクチャデルタ識別子の値をセットすることを含む。このステップS142は、代わりに、IRAPピクチャがビデオストリームの中の最も近い先行するIRAPピクチャであるならば、参照ピクチャデルタ識別子の値をゼロにセットすることを含む。この方法はまた、ステップS143において、参照デルタ識別子をSEIメッセージに含ませることを含む。
代替の実施形態では、ステップS142は、DRAPピクチャを符号化するときに、参照ピクチャとして用いられるIRAPピクチャのPOCのLSBに等しいパラメータの値をセットすることを含む。この方法はまた、ステップS143において、パラメータをSEIメッセージに含ませることを含む。
この方法はまた、値をセットすること、および、ここで前述したパラメータimplicitly_reference_previous_irap_picture_flagまたはreference_dependent_rap_flagおよび nbr_pictures_in_reference_chain_minus1を含ませることを含む。
図28は、DRAPピクチャを示す他の実施形態を説明しているフローチャートである。この方法は図23中のステップS101から続いている。次のステップS150は、DRAPピクチャに関連付けられたピクチャタイプ識別子を、ビデオビットストリームのNALユニットヘッダに含ませることを含む。ピクチャタイプ識別子は、DRAPピクチャをDRAPピクチャとして識別する。
それゆえ、符号化されたDRAPピクチャまたは少なくともその一部は、好ましくは、NALユニットに含まれたピクチャがDRAPピクチャであることを示す値を持つピクチャタイプ識別子を含む。
この実施形態の一側面は、ビデオビットストリームの符号化のための方法に関連し、以下のステップを含む:
- IRAPピクチャを符号化し、
- IRAPピクチャのみに従属するインターピクチャを符号化し、そのインターピクチャは従属ランダムアクセスポイント(DRAP)と呼ばれる。
一実施形態では、方法はさらに以下を含む:
- 前のDRAPピクチャに従属する追加のDRAPピクチャを符号化する。
一実施形態では、DRAPピクチャは、前のIRAPピクチャもしくはDRAPピクチャ、または他の前のピクチャのいずれかを参照でき、両方の参照が同じ復号されたDRAPピクチャを結果として生じるような方法で符号化される。
一実施形態では、DRAPピクチャはイントラまたはスキップ符号化ブロックのどちらかだけを含んでもよい。
一実施形態では、ビットストリームの中に、DRAPピクチャはIRAPピクチャより高頻度に存在してもよい。
一実施形態では、DRAPピクチャは、DRAPピクチャによってビットストリームの中で示されるピクチャタイプ識別子を割り当てられてもよい。
一実施形態では、DRAPピクチャに付随するデータは、DRAPピクチャを復号するために必要なIRAPピクチャをデコーダに示してもよい。
一実施形態では、DRAPピクチャに付随するデータは、追加のDRAPピクチャを復号するために必要なIRAPピクチャおよびDRAPピクチャをデコーダに示してもよい。
一実施形態では、DRAPピクチャに付随するデータは、IRAPピクチャに従属するDRAPピクチャをデコーダに示してもよい。
一実施形態では、DRAPピクチャに付随するデータは、DRAPピクチャの位置での中断リンクの存在または不在を示してもよい。
一実施形態では、DRAPピクチャに付随するデータは、DRAPピクチャがイントラおよびスキップ符号化ブロックのみを含むかを示してもよい。
一実施形態では、データは、補足的拡張層(supplementary enhancement layer : SEI)メッセージ、シーケンスパラメータセット(SPS)、ピクチャパラメータセット(PPS)またはビデオスライスヘッダで示されてもよい。
実施形態の一側面はビデオストリームを符号化するための方法に関する。この方法では、IRAPピクチャは符号化され、IRAPピクチャのみに従属するインターピクチャが符号化される。インターピクチャは従属ランダムアクセスポイント(DRAP)ピクチャと呼ばれる。
実施形態の一側面によれば、ビットストリームを符号化するためのエンコーダ200が提供される(図29参照)。エンコーダ200は、IRAPピクチャを符号化し、IRAPピクチャにのみ従属するインターピクチャを符号化するよう構成された処理手段を含み、そのインターピクチャは従属ランダムアクセスポイント(DRAP)ピクチャと呼ばれる。
実施形態の一側面によれば、ビットストリームを復号するためのデコーダ100が提供される。デコーダ100は、イントラランダムアクセスポイント(IRAP)ピクチャを復号し、IRAPピクチャにのみ従属するインターピクチャを復号するよう構成された処理手段を含み、そのインターピクチャは従属ランダムアクセスポイント(DRAP)ピクチャと呼ばれ、DRAPピクチャはランダムアクセスオペレーションを遂行するために用いられる。
エンコーダ200およびデコーダ100それぞれにおいて、処理手段はプロセッサおよびメモリを含み、メモリはさらに、プロセッサにより実行された際に、ここで説明した方法を実施するよう構成される命令を含む。
エンコーダ200は、符号化されたビットストリームを、たとえばSEIメッセージにより例示される制御情報と共に送信するための出力ユニットを含んでよく、デコーダ100は、ビットストリームおよび制御情報を受信するための入力ユニットを含む。
エンコーダ200およびデコーダ100はそれぞれ、ユーザ端末やネットワーク、ノードなどのデバイスの中に置くことができる。ユーザ端末はたとえばビデオカメラ、携帯電話、またはタブレットであってよい。
例示の実施形態が与えられる命令を様々な形で提供してよいことが理解されるべきである。
本実施形態は、HEVC復号化及び符号化、すなわちHEVC仕様または規格に従う復号、およびHEVC仕様または規格に準拠したビデオデータからビデオビットストリームへの符号化に関連した使用に特に適している。HEVC仕様または規格は、HEVCバージョン1とその後のバージョンを含むHEVC仕様の任意のバージョン、および、画面コンテンツの拡張、マルチビュー拡張およびスケーラブル拡張に関連するようなHEVC仕様の任意の拡張を含む。
当業者は、ここで実施形態を説明するためのベースとしてHEVCが使用されていたとしても、この実施形態は、AVC/H.264、H.263、MPEG-4、VP8およびVP9を含む時間的予測符号化を用いる他のビデオ符号化規格に対しても同様に良好に動作する。
ここで説明したIRAPピクチャは、イントラランダムアクセスポイントピクチャ、すなわち、ランダムアクセスポイントピクチャを構成し、それによってランダムアクセスポイントピクチャとして使用でき、空間(すなわちイントラ)予測を用いて符号化および復号化され、それによりイントラ符号化ブロックのみを含むピクチャを構成する。前述したように、HEVC仕様によればIRAPピクチャはIDRピクチャ、CRAピクチャまたはBLAピクチャの形でよい。上述したような他のビデオ符号化規格では、キーピクチャあるいはキーフレームなど他の特定のピクチャタイプ名が、イントラランダムアクセスポイントピクチャを定義するために使用されることがある。しかしながら、そのような他の特定のピクチャタイプはまた、そのような他のビデオ符号化規格のためにそれらがランダムアクセスポイントを構成し、それによってランダムアクセスポイントとして使用でき、空間的すなわちイントラ予測のみを用いて符号化され復号される限り、ここで使用されるIRAPピクチャの表現に包含されるとみなされる。ビデオ符号化においては、ビデオストリームのピクチャはフレームとよばれることがある。
実施形態の他の側面はビデオビットストリームを復号するためのデコーダに関する。そのデコーダはビデオビットストリームのIRAPピクチャを復号するよう構成される。そのデコーダはまた、ビデオビットストリームのDRAPピクチャを、そのビデオビットストリーム中のIRAPピクチャおよび/または、復号順序に従って前のDRAPピクチャを、そのDRAPピクチャのための唯一の参照ピクチャとして用いて符号化するよう構成される。そのDRAPピクチャは、参照のために使うことができるトレーリングピクチャとして符号化され、DRAPピクチャはビデオビットストリーム中のランダムアクセスポイントを構成している。
実施形態では、DRAPピクチャはビデオビットストリームの最下層に属する。
一実施形態では、デコーダは、DRAPピクチャを、復号順序に従ってビデオビットストリームの中の最も近い先行するIRAPピクチャをDRAPピクチャのための唯一の参照ピクチャとして用いて復号するよう構成される。
一実施形態では、デコーダは、出力順序および復号順序でDRAPピクチャに後続するビデオビットストリームの少なくともひとつの非RAPピクチャを復号するよう構成される。その少なくともひとつの非RAPピクチャは、ビデオビットストリームの中の復号順序でDRAPピクチャに先行しているいかなる非RAPピクチャも参照ピクチャとして使わない。
一実施形態では、デコーダは、復号されたDRAPピクチャを出力し、DRAPピクチャに後続する復号された非RAPピクチャを出力するよう構成される。特定の一実施形態では、デコーダはさらに、DRAPピクチャの復号のあいだ参照ピクチャとして使用されるIRAPピクチャを出力しないよう構成される。
一実施形態では、デコーダは、ビデオビットストリームの中へのDRAPピクチャを用いるランダムアクセスオペレーションを実行するよう構成される。
特定の一実施形態では、デコーダは、出力順序でDRAPピクチャに先行しておりかつ復号済みピクチャバッファの中にある各ピクチャのそれぞれのピクチャ出力フラグの値がゼロに等しいと推定するよう構成される。
一実施形態では、デコーダは、DRAPピクチャのブロックを、IRAPピクチャおよび/または前のDRAPピクチャをDRAPピクチャのための唯一の参照ピクチャとして用いるスキップブロックとして、またはイントラブロックとして復号するよう構成される。
一実施形態では、デコーダは、DRAPピクチャの参照ピクチャセットからIRAPピクチャの識別子を検索するよう構成される。参照ピクチャセットは、短期参照ピクチャまたは長期参照ピクチャとしてIRAPピクチャを示す。
一実施形態では、デコーダは、DRAPピクチャと関連付けられたSEIメッセージに基づいて、DRAPピクチャをDRAPピクチャとして識別するよう構成される。
特定の一実施形態では、デコーダは、SEIメッセージから中断リンクフラグを検索するよう構成される。デコーダはまた、中断リンクフラグの値に基づいて、IRAPピクチャで復号を開始することで生成されたピクチャが、DRAPピクチャに先行する復号されたピクチャが表示されるべきでない範囲への不適当な視覚的アーティファクトを含む可能性があるかどうかを判定するよう構成される。
他の特定の実施形態では、デコーダは、代わりにまたは追加的に、SEIメッセージからスキップまたはイントラブロックのみフラグを検索するよう構成される。デコーダはまた、スキップまたはイントラブロックのみフラグの値に基づいて、DRAPピクチャが、イントラ符号化ブロックまたはスキップフラグが1にセットされたスキップブロックのどちらかだけを含むか判定するよう構成される。
更なる特定の実施形態では、デコーダは、代わりにまたは追加的に、SEIメッセージから参照ピクチャデルタ識別子を検索するよう構成される。デコーダはまた、参照ピクチャデルタ識別子がゼロより大きいならば、IRAPピクチャのPOC値を、DRAPピクチャのPOC値および参照ピクチャデルタ識別子に基づいて計算するよう構成される。デコーダはさらに、参照ピクチャデルタ識別子がゼロより大きいならば、計算したPOC値に基づいてIRAPピクチャを特定するよう構成される。代わりに、デコーダは、参照ピクチャデルタ識別子がゼロに等しいならば、ビデオビットストリームの中の最も近い先行するIRAPピクチャとしてIRAPピクチャを特定するよう構成される。
一実施形態では、デコーダは、DRAPピクチャを、そのDRAPピクチャに関連づけられ、かつビデオビットストリームのNALユニットヘッダに含まれたたピクチャタイプ識別子に基づいてひとつのDRAPピクチャとして特定するよう構成される。
ここで説明した方法及びデバイスは様々なやり方で結合し、また再配置することができることは理解されるであろう。
例えば、実施形態はハードウエアまたは適切な処理回路により実行するためのソフトウェア、またはそれらの組み合わせで実現することができる。
ここで説明したステップ、機能、手続、モジュールおよび/またはブロックは、汎用電子回路および特定用途向け回路の両方を含む離散回路または集積回路技術など、どのような従来の技術を用いたハードウエアででも実施できる。
特定の例は、一つ以上の適切に構成されたデジタル信号プロセッサや、たとえば専門の機能を遂行するために相互接続した離散論理ゲートや、特定用途向け集積回路(ASICs)など、他の公知の電子回路を含む。
図30は、実施形態に従うデコーダ110の詳細なハードウエア実装を説明する。一実施形態では、デコーダ110は、IRAPピクチャを復号するよう構成されたIRAPデコーダ111を含む。デコーダ110は、DRAPピクチャを復号するよう構成されたDRAPデコーダ112を含む。
図30において、デコーダ110は、別々のIRAPデコーダ111とDRAPデコーダ112とを含むとして説明されている。代替的な実装では、デコーダ110は、ピクチャが、IRAPピクチャであるかDRAPピクチャであるか又は非RAPピクチャであるかに関わらず、ビデオビットストリームのピクチャに作用し、復号する単一の復号ユニットを含んでよい。
デコーダ110は好ましくはまた、一般には、ビデオストリームの中のピクチャの符号化ビデオデータを搬送しているNALユニットおよび、ピクチャパラメータセット(PPS)、シーケンスパラメータセット(SPS)およびビデオパラメータセット(VPS)のようなビデオビットストリームに関連する他の制御データを搬送するNALユニットのシーケンスの形で、ビデオビットストリームを受信するよう構成された入力ユニット113を含む。
デコーダ110は好ましくは、デコーダ110によって、そして特にIRAPデコーダ111およびDRAPデコーダ112によって復号されたピクチャを出力するよう構成された出力ユニット114をさらに含む。出力ユニット114は、ビデオストリームの表示のために、ディスプレイまたはスクリーンに復号されたピクチャを出力するよう構成される。代わりに、出力ユニット114は、ビデオストリームを変換するよう構成されたトランスコーダに、または復号されたピクチャの記憶のためのメモリに、復号されたピクチャを出力することができる。
入力ユニット113は、特にビデオビットストリームの無線受信のための受信機またはトランシーバとして実施できる。代わりに、入力ユニット113は、特にビデオビットストリームの有線受信のための汎用入力または入力ポートの形で可能である。それに従って、出力ユニット114は、送信機またはトランシーバまたは汎用出力または出力ポートとして実施できる。
デコーダ110は好ましくはまた、IRAPデコーダ111またはDRAPデコーダ112により生成された復号済みピクチャを一時的に格納するよう構成された復号済みピクチャバッファ(DPB)115を含む。復号済みピクチャは好ましくはDPB115に格納されてビデオビットストリームの中の後続するピクチャを復号する際に参照ピクチャとして用いられ、かつ/またはピクチャが出力順序に従って出力されるまで格納される。
入力ユニット113は好ましくは、IRAPデコーダ111およびDRAPデコーダ112に接続され、受信したピクチャを復号のためにそこへと送信する。IRAPデコーダ111およびDRAPデコーダ112は、復号済みピクチャをDPB115に格納するためにDPB115に接続され、DRAPデコーダ112は、現在のDRAPピクチャを復号している間、以前に復号したIRAPピクチャおよび/またはDRAPピクチャにアクセスできる。出力ユニット114は好ましくはDPB115に接続され、復号済みピクチャをDPB115から出力順序に従って出力する。
代わりに、ここで説明した少なくともいくつかのステップ、機能、手続、モジュールおよび/またはブロックは、少なくとも一つのプロセッサまたは処理ユニットなどの適切な処理回路により実行されるコンピュータプログラムなどのソフトウェアで実現できる。
処理回路の例は、ひとつ以上のマイクロプロセッサ、ひとつ以上の信号処理プロセッサ(DSP)、ひとつ以上の中央処理装置(CPU)、ビデオアクセラレーションハードウェア、および/またはひとつ以上のフィールドプログラマブルゲートアレイ(FPGA)またはひとつ以上のプログラマブルロジックコントローラ(PLC)などのすべての適当なプログラマブルロジック回路含むけれども、それらに限定されない。
提案された技術が実施されるどのような従来のデバイスまたはユニットの一般の処理能力でも再利用することが可能であるかもしれないことも理解されるべきである。例えば、既存のソフトウェアの再プログラミングによって、または新しいソフトウェアコンポーネントを追加することによって既存のソフトウェアを再利用することも可能であるかもしれない。
特定の例では、デコーダ120(図31参照)は、プロセッサ121および、プロセッサ121により実行可能な命令を含むメモリ122を含む。プロセッサ121はIRAPピクチャを復号し、かつDRAPピクチャを復号するよう機能する。
一実施形態では、デコーダ120はまた、ビデオビットストリームを受信し、復号したピクチャを出力するよう構成された入出力(I/O)ユニット123を含む。
デコーダ120のメモリ122は、好ましくは、復号したピクチャを格納し、アクセスするために、プロセッサ121により用いられるDPBを含む。
特定の実施形態では、プロセッサ121は、メモリ122に格納された命令を実行している際に、上述した作用を遂行するよう機能する。それによって、プロセッサ121はメモリ122と相互接続され、正常なソフトウェア実行を可能としている。
図36は、プロセッサ310、関連メモリ320、および通信回路330を含むユーザ機器(UE)300の例を説明する概略ブロック図である。
この特定の例では、ここで説明した少なくともいくつからのステップ、機能、手続、モジュールおよび/またはブロックがコンピュータプログラム340に実装され、それはひとつ以上のプロセッサ310を含む処理回路による実行のためにメモリ320にロードされる。プロセッサ310およびメモリ320は互いに相互接続されて通常のソフトウェア実行を可能にしている。通信回路330はまた、プロセッサ310および/またはメモリ320と相互接続されて、ビデオビットストリームおよび復号済みピクチャの入力および/または出力を可能にしている。
ユーザ機器300はビデオビットストリームを受信でき、処理できる任意のデバイスまたは装置であり得る。例えば、ユーザ機器300は、ラップトップ、スマートフォン、タブレット、セットトップボックスなどの据え置き型または携帯型のコンピュータであり得る。
用語「プロセッサ」は、特定の処理、判断または計算タスクを遂行するために、プログラムコードまたはコンピュータプログラム命令を実行できる任意のシステムまたはデバイスとして一般的な意味に解釈されるべきである。
そのため一つ以上のプロセッサを含む処理回路は、コンピュータプログラムを実行している際に、ここで説明したもののように、明確に定義された処理タスクを遂行するよう構成される。
処理回路は上述したステップ、機能、手続およびまたはブロックを実行するためだけの専用である必要はなく、他のタスクも実行してよい。
一実施形態では、コンピュータプログラム340は、プロセッサ310によって実行された際にプロセッサ310にビデオビットストリームのIRAPピクチャを復号させる命令を含む。プロセッサ310はまた、DRAPピクチャのための唯一の参照ピクチャとして、IRAPピクチャおよび/または、復号順序に従ってビデオビットストリームの中の前のDRAPピクチャを用いてビデオビットストリームのDRAPピクチャを復号させる。そのDRAPピクチャは、参照のために使うことができるトレーリングピクチャとして符号化され、ビデオビットストリーム中のランダムアクセスポイントを構成している。
提案された技術はまたコンピュータプログラム340を含む担体350を提供する。この担体350は、電子信号、光信号、電磁信号、磁気信号、電気信号、電波信号、マイクロ波信号、またはコンピュータ可読記憶媒体350のうちのひとつである。
例として、ソフトウェアまたはコンピュータプログラム340は、コンピュータプログラム製品として実現でき、それは通常コンピュータ可読媒体340に担持され、あるいは格納される。コンピュータ可読媒体350は、読み出し専用メモリ(ROM)、ランダムアクセスメモリ(RAM)、コンパクトディスク(CD)、デジタル多用途ディスク(DVD)、ブルーレイディスク、ユニバーサルシリアルバス(USB)メモリ、ハードディスクドライブ(HDD)ストレージデバイス、フラッシュメモリ(登録商標)、磁気テープ、または他の任意の従来のメモリデバイスを含むがそれらに限定されない一つ以上のリムーバブルまたはリムーバブルでないメモリデバイスを含むことができる。したがって、図36においてユーザ機器300によりそのプロセッサ310による実行のために表されたコンピュータプログラム340は、コンピュータまたは均等な処理デバイスの動作メモリにロードされ得る。
それゆえ、ここで表されたフロー図または図は、一つ以上のプロセッサにより実行された際に、コンピュータフロー図または図と見なされる。対応するデコーダは機能モジュールのグループとして定義されてよく、そこでは各ステップは機能モジュールに対応するプロセッサにより実行される。この場合には、機能モジュールはプロセッサで実行されるコンピュータプログラムとして実装される。そのため、デコーダは代わりに機能モジュールのグループとして定義してよく、そこでは機能モジュールは少なくとも一つのプロセッサで実行されるコンピュータプログラムとして実装される。
それにより、メモリに常駐するコンピュータプログラムは、プロセッサにより実行された際にここで説明したステップおよび/またはタスクの少なくとも一部を実行するよう構成された適切な機能モジュールとしてまとめられる。そのような機能モジュールの例が図32に説明されている。
図32は、機能モジュールを有するデコーダ130の概略ブロック図である。デコーダ130は、ビデオビットストリームのIRAPピクチャを復号するためのIRAPデコーダ131を含む。デコーダ130はまた、ビデオビットストリームのDRAPピクチャを、そのビデオビットストリーム中のIRAPピクチャおよび/または、復号順序に従って前のDRAPピクチャを、そのDRAPピクチャのための唯一の参照ピクチャとして用いて復号するDRAPデコーダ132を含む。そのDRAPピクチャは、参照のために使うことができるトレーリングピクチャとして符号化され、ビデオビットストリーム中のランダムアクセスポイントを構成している。
実施形態の更なる側面はビデオストリームを符号化するためのエンコーダに関する。エンコーダは、ビデオストリームのIRAPピクチャを符号化するよう構成される。エンコーダはまた、ビデオストリームのDRAPピクチャを、そのビデオストリーム中のIRAPピクチャおよび/または、復号順序に従って前のDRAPピクチャを、そのDRAPピクチャのための唯一の参照ピクチャとして用いて符号化するよう構成される。そのDRAPピクチャは、参照のために使うことができるトレーリングピクチャとして符号化され、ビデオストリームの符号化済みピクチャのビデオビットストリーム中のランダムアクセスポイントを構成している。
一実施形態において、DRAPピクチャは、参照のために使うことができるトレーリングピクチャとして符号化され、ビデオストリーム中の最下位層に属する。
一実施形態では、エンコーダは、DRAPピクチャを、復号順序に従ってビデオストリームの中の最も近い先行するIRAPピクチャをDRAPピクチャのための唯一の参照ピクチャとして用いて符号化するよう構成される。
一実施形態では、エンコーダは、出力順序および復号順序でDRAPピクチャに後続するビデオストリームの少なくともひとつの非RAPピクチャを符号化するよう構成される。その少なくともひとつの非RAPピクチャは、ビデオストリームの中の復号順序でDRAPピクチャに先行しているいかなる非RAPピクチャも参照ピクチャとして使わない。
一実施形態では、エンコーダは、DRAPピクチャのブロックを、IRAPピクチャおよび/または前のDRAPピクチャをDRAPピクチャのための唯一の参照ピクチャとして用いるスキップブロックとして、またはイントラブロックとして符号化するよう構成される。
一実施形態では、エンコーダは、DRAPピクチャの参照ピクチャセットにIRAPピクチャの識別子を含ませるよう構成される。参照ピクチャセットは、短期参照ピクチャまたは長期参照ピクチャとしてIRAPピクチャを示す。
一実施形態では、エンコーダは、DRAPピクチャを、DRAPピクチャをDRAPピクチャとして特定するSEIメッセージと関連付けるよう構成される。
特定の実施形態では、エンコーダは、IRAPピクチャで復号を開始することで生成されたピクチャが、DRAPピクチャに先行する復号されたピクチャが表示されるべきでない範囲に不適当な視覚的アーティファクトを含む可能性があるかどうかを判定することに基づいて、中断リンクフラグの値をセットするよう構成される。エンコーダはまた中断リンクフラグをSEIメッセージに含ませるように構成される。
他の特定の実施形態では、エンコーダは、代わりにまたは追加的に、DRAPピクチャを符号化することが、イントラ符号化ブロックまたはスキップフラグが1にセットされたスキップブロックのみとしてDRAPピクチャのブロックを符号化することを含むかどうかに基づいて、スキップまたはイントラブロックのみフラグの値をセットすることを含む。エンコーダはまた、スキップまたはイントラブロックのみフラグをSEIメッセージに含ませるように構成される。
更なる特定の実施形態では、エンコーダは、代わりにまたは追加的に、IRAPピクチャがビデオストリームの中の最も近い先行するIRAPピクチャと異なるならば、IRAPピクチャのPOC値とDRAPピクチャのPOC値との差に基づいて参照ピクチャデルタ識別子の値をセットするよう構成される。エンコーダはまた、IRAPピクチャがビデオストリームの中の最も近い先行するIRAPピクチャであるならば、参照ピクチャデルタ識別子の値をゼロにセットするよう構成される。エンコーダはまた参照ピクチャデルタ識別子をSEIメッセージに含ませるように構成される。
一実施形態では、エンコーダは、DRAPピクチャに関連付けられたピクチャタイプ識別子を、ビデオビットストリームのNALユニットヘッダに含ませるよう構成される。ピクチャタイプ識別子は、DRAPピクチャをDRAPピクチャとして識別する。
図33は、実施形態に従うエンコーダ210の詳細なハードウエア実装を説明する。一実施形態では、エンコーダ210は、IRAPピクチャを符号化するよう構成されたIRAPエンコーダ211を含む。エンコーダ210は、DRAPピクチャを符号化するよう構成されたDRAPエンコーダ212を含む。
図33において、エンコーダ210は、別々のIRAPエンコーダ211とDRAPエンコーダ212とを含むとして説明されている。代替的な実装では、エンコーダ210は、ピクチャが、IRAPピクチャであるかDRAPピクチャであるか又は非RAPピクチャであるかに関わらず、ビデオストリームのピクチャに作用し、符号化する単一の符号化ユニットを含んでよい。
エンコーダ210は好ましくはまた、ビデオストリームを受信するよう構成された入力ユニット213を含む。エンコーダ210は好ましくはさらに、一般には、ビデオストリームの中のピクチャの符号化ビデオデータを搬送しているNALユニットおよびビデオビットストリームに関連する他の制御データを搬送するNALユニットのシーケンスの形で、ビデオビットストリームを出力するよう構成された出力ユニット214を含む。
入力ユニット213は、受信機またはトランシーバまたは汎用入力または入力ートとして実施できる。それに従って、出力ユニット214は、送信機またはトランシーバまたは汎用出力または出力ポートとして実施できる。
エンコーダ210は好ましくはまた、ビデオビットストリームの符号化の間、復号された、または再構成されたピクチャを一時的に格納するよう構成されたDPB215を含む。
入力ユニット213は好ましくは、IRAPエンコーダ211およびDRAPデコーダ212に接続され、受信したピクチャを符号化のためにそこへと送信する。IRAPエンコーダ211およびDRAPエンコーダ212は、復号された、または再構成されたピクチャをDPB115に格納するために、DPB115に接続される。出力ユニット214は好ましくは、IRAPエンコーダ211およびDRAPデコーダ212に接続され、符号化したピクチャのビデオビットストリームを出力する。
特定の例では、エンコーダ220(図34参照)は、プロセッサ221および、プロセッサ221により実行可能な命令を含むメモリ222を含む。プロセッサ221はIRAPピクチャを符号化し、かつDRAPピクチャを符号化するよう機能する。
一実施形態では、エンコーダ220はまた、ビデオストリームを受信し、ビデオビットストリームを出力するよう構成された入出力(I/O)ユニット223を含む。
エンコーダ220のメモリ222は、好ましくは、復号済みまたは再構成済みピクチャを格納するために、プロセッサ221により用いられるDPBを含む。
特定の実施形態では、プロセッサ121は、メモリ222に格納された命令を実行している際に、上述した作用を遂行するよう機能する。それによって、プロセッサ221はメモリ222と相互接続され、正常なソフトウェア実行を可能としている。
一実施形態では、図36に示したユーザ機器300は、ビデオストリームを受信でき、処理できる任意のデバイスまたは装置であり得る。例えば、ユーザ機器300は、ラップトップ、スマートフォン、タブレット、ビデオカメラなどの据え置き型または携帯型のコンピュータであり得る。
一実施形態では、図36に示したコンピュータプログラム340は、プロセッサ310によって実行された際にプロセッサ310にビデオストリームのIRAPピクチャを符号化させる命令を含む。プロセッサ310はまた、ビデオストリームのDRAPピクチャを、そのビデオストリーム中のIRAPピクチャおよび/または、復号順序に従って前のDRAPピクチャを、そのDRAPピクチャのための唯一の参照ピクチャとして用いて符号化させられる。そのDRAPピクチャは、参照のために使うことができるトレーリングピクチャとして符号化され、ビデオビットストリーム中のランダムアクセスポイントを構成している。
図35は、機能モジュールを有するエンコーダ230の概略ブロック図である。エンコーダ230は、ビデオストリームのIRAPピクチャを符号化するためのIRAPエンコーダ231を含む。そのエンコーダ230はまた、ビデオストリームのDRAPピクチャを、そのビデオストリーム中のIRAPピクチャおよび/または、復号順序に従って前のDRAPピクチャを、そのDRAPピクチャのための唯一の参照ピクチャとして用いて符号化するためのDRAPエンコーダ232を含む。そのDRAPピクチャは、参照のために使うことができるトレーリングピクチャとして符号化され、ビデオビットストリーム中のランダムアクセスポイントを構成している。
提案した解決策の利点は、ランダムアクセスをサポートするビットストリームを符号化する際に、IRAP(IDR、CRAまたはBLA)ピクチャの一部の代わりにDRAPピクチャを使用することにより、多くの帯域幅を節約でき、すなわちより高い全体的な品質得られることである。
画面共有および監視シナリオのために、短い周期性を持つDRAPピクチャおよびより長い周期性を持つIRAPピクチャを使って、例えばDRAPピクチャは毎秒、IRAPピクチャは60秒ごとに、記憶されたビデオが容易に検索されることができると同時に、ビットレートを低減することができる。さらに、これらのサービスのためのビデオリンクはいつもエラーがないわけではない可能性がある。イントラブロックまたはスキップブロックだけを持つDRAPピクチャを使うことは、どのようなランダムアクセスポイントも持たないのに比べて、ストリームのエラーロバスト性を増大させる。
上述した実施形態は本発明のいくつかの説明的なサンプルとして理解されるべきである。本発明の範囲から離れることなく、補実施形態に様々な修正、組み合わせおよび変更が行えることが当業者により理解されるであろう。特に、相異なる実施形態における異なる部分の解決策が技術的に可能な他の構成に組み合わせられる。本発明の範囲は、しかしながら添付の特許請求の範囲により定義される。

Claims (44)

  1. ビデオビットストリームを復号するための方法であって、
    前記ビデオビットストリームのイントラランダムアクセスポイント(IRAP)ピクチャを復号すること(S1)と、
    前記ビデオビットストリームの中の前記IRAPピクチャおよび/または復号順序に従って前のDRAPピクチャを、前記DRAPピクチャの唯一の参照ピクチャとして用いて前記ビデオビットストリームの従属ランダムアクセスポイント(DRAP)ピクチャを復号すること(S2)であって、前記DRAPピクチャは、参照のために利用できるトレーリングピクチャとして符号化され、前記DRAPピクチャは前記ビデオビットストリームの中のランダムアクセスポイントを構成することとを含む方法。
  2. 請求項1に記載の方法であって、前記DRAPピクチャを復号すること(S2)は、前記ビデオビットストリームの中の前記復号順序に従って最も近い先行するIRAPピクチャを前記DRAPピクチャのための前記唯一の参照ピクチャとして用いて前記DRAPピクチャを復号すること(S2)を含む方法。
  3. 請求項1または2に記載の方法であって、前記DRAPピクチャを、前記DRAPピクチャに関連づけられた補足的拡張情報(SEI)メッセージに基づいたDRAPピクチャとして特定すること(S50)をさらに含む方法。
  4. 請求項1または2に記載の方法であって、前記DRAPピクチャを、前記DRAPピクチャに関連づけられ、かつ前記ビデオビットストリームのネットワーク抽象化層(NAL)ユニットヘッダに含まれたピクチャタイプ識別子に基づいたDRAPピクチャとして特定すること(S60)をさらに含む方法。
  5. 請求項1乃至4のいずれか一項に記載の方法であって、出力順序および復号順序で前記DRAPピクチャに後続する前記ビデオビットストリームの少なくとも一つの非ランダムアクセスポイント(非RAP)ピクチャを復号すること(S20)をさらに含み、前記少なくとも一つの非RAPピクチャは、前記ビデオビットストリームの中の復号順序で前記DRAPピクチャに先行するいかなる非RAPピクチャも参照ピクチャとして利用しない、方法。
  6. 請求項5に記載の方法であって、さらに、
    前記復号されたDRAPピクチャを出力すること(S21)と、
    前記少なくとも一つの復号された非RAPピクチャを出力することとを含む方法。
  7. 請求項1乃至6のいずれか一項に記載の方法であって、前記DRAPピクチャを用いて前記ビデオビットストリームの中へのランダムアクセスオペレーションを実行すること(S30)をさらに含む方法。
  8. 請求項7に記載の方法であって、出力順序で前記DRAPピクチャに先行しておりかつ復号済みピクチャバッファ(115)の中にある各ピクチャのそれぞれのピクチャ出力フラグの値がゼロに等しいと推定することをさらに含む方法。
  9. 請求項1乃至8のいずれか一項に記載の方法であって、前記DRAPピクチャを復号すること(S2)は、前記DRAPピクチャのための前記唯一の参照ピクチャとして前記IRAPピクチャおよび/または前記前のDRAPピクチャを用いてスキップブロックとして、または、イントラブロックとして前記DRAPピクチャのブロックを復号すること(S2)を含む、方法。
  10. 請求項1乃至9のいずれか一項に記載の方法であって、前記DRAPピクチャの参照ピクチャセットから前記IRAPピクチャの識別子を検索すること(S10)をさらに含み、前記参照ピクチャセットは前記IRAPピクチャを短期参照ピクチャまたは長期参照ピクチャとして示す、方法。
  11. ビデオストリームを符号化するための方法であって、
    前記ビデオストリームのイントラランダムアクセスポイント(IRAP)ピクチャを符号化すること(S100)と、
    前記ビデオストリームの中の前記IRAPピクチャおよび/または復号順序に従って前のDRAPピクチャを、前記DRAPピクチャの唯一の参照ピクチャとして用いて前記ビデオストリームの従属ランダムアクセスポイント(DRAP)ピクチャを符号化すること(S101)であって、前記DRAPピクチャは、参照のために利用できるトレーリングピクチャとして符号化され、前記DRAPピクチャは前記ビデオストリームの符号化されたピクチャのビデオビットストリームの中のランダムアクセスポイントを構成することとを含む方法。
  12. 請求項11に記載の方法であって、前記DRAPピクチャを符号化すること(S101)は、前記ビデオストリームの中の前記復号順序に従って最も近い先行するIRAPピクチャを前記DRAPピクチャのための前記唯一の参照ピクチャとして用いて前記DRAPピクチャを符号化すること(S101)を含む方法。
  13. 請求項11または12に記載の方法であって、前記DRAPピクチャを、前記DRAPピクチャをDRAPピクチャとして特定する補足的拡張情報(SEI)メッセージに関連づけること(S130)をさらに含む方法。
  14. 請求項11または12に記載の方法であって、前記DRAPピクチャに関連付けられたピクチャタイプ識別子を、前記ビデオビットストリームのネットワーク抽象化層(NAL)ユニットヘッダに含ませること(140)をさらに含み、前記ピクチャタイプ識別子は前記DRAPピクチャをDRAPピクチャとして特定する、方法。
  15. 請求項11乃至14のいずれか一項に記載の方法であって、出力順序および復号順序で前記DRAPピクチャに後続する前記ビデオストリームの少なくとも一つの非ランダムアクセスポイント(非RAP)ピクチャを符号化すること(S110)をさらに含み、前記少なくとも一つの非RAPピクチャは、前記ビデオストリームの中の復号順序で前記DRAPピクチャに先行するいかなる非RAPピクチャも参照ピクチャとして利用しない、方法。
  16. 請求項11乃至15のいずれか一項に記載の方法であって、前記DRAPピクチャを符号化すること(S101)は、前記DRAPピクチャのための前記唯一の参照ピクチャとして前記IRAPピクチャおよび/または前記前のDRAPピクチャを用いてスキップブロックとして、または、イントラブロックとして前記DRAPピクチャのブロックを符号化すること(S101)を含む、方法。
  17. 請求項11乃至16のいずれか一項に記載の方法であって、前記DRAPピクチャの参照ピクチャセットに、前記IRAPピクチャの識別子を含ませること(S120)をさらに含み、前記参照ピクチャセットは前記IRAPピクチャを短期参照ピクチャまたは長期参照ピクチャとして示す、方法。
  18. 請求項1乃至17のいずれか一項に記載の方法であって、前記DRAPピクチャは前記ビデオビットストリームの最下位層に属する、方法。
  19. ビデオビットストリームを復号するためのデコーダ(100,110,120)であって、
    前記デコーダ(100,110,120)は、前記ビデオビットストリームのイントラランダムアクセスポイント(IRAP)ピクチャを復号するよう構成され、
    前記デコーダ(100,110,120)は、前記ビデオビットストリームの中の前記IRAPピクチャおよび/または復号順序に従って前のDRAPピクチャを、前記DRAPピクチャの唯一の参照ピクチャとして用いて前記ビデオビットストリームの従属ランダムアクセスポイント(DRAP)ピクチャを復号するよう構成され、前記DRAPピクチャは、参照のために利用できるトレーリングピクチャとして符号化され、前記DRAPピクチャは前記ビデオビットストリームの中のランダムアクセスポイントを構成するデコーダ。
  20. 請求項19に記載のデコーダであって、前記デコーダ(100,110,120)は、ビデオビットストリームの中の復号順序に従って最も近い先行するIRAPピクチャを前記DRAPピクチャのための前記唯一の参照ピクチャとして用いて前記DRAPピクチャを復号するよう構成されるデコーダ。
  21. 請求項19または20に記載のデコーダであって、前記デコーダ(100,110,120)は、前記DRAPピクチャを、前記DRAPピクチャに関連づけられた補足的拡張情報(SEI)メッセージに基づいたDRAPピクチャとして特定するよう構成されるデコーダ。
  22. 請求項19または20に記載のデコーダであって、前記デコーダ(100,110,120)は、前記DRAPピクチャを、前記DRAPピクチャに関連づけられ、かつ前記ビデオビットストリームのネットワーク抽象化層(NAL)ユニットヘッダに含まれたピクチャタイプ識別子に基づいたDRAPピクチャとして特定するよう構成されるデコーダ。
  23. 請求項19乃至22のいずれか一項に記載のデコーダであって、前記デコーダ(100,110,120)は、出力順序および復号順序で前記DRAPピクチャに後続する前記ビデオビットストリームの少なくとも一つの非ランダムアクセスポイント(非RAP)ピクチャを復号するよう構成され、前記少なくとも一つの非RAPピクチャは、前記ビデオビットストリームの中の復号順序で前記DRAPピクチャに先行するいかなる非RAPピクチャも参照ピクチャとして利用しない、デコーダ。
  24. 請求項23に記載のデコーダであって、
    前記デコーダ(100,110,120)は、前記復号されたDRAPピクチャを出力するよう構成され、
    前記デコーダ(100,110,120)は、前記少なくとも一つの復号された非RAPピクチャを出力するよう構成されるデコーダ。
  25. 請求項19乃至24のいずれか一項に記載のデコーダであって、前記デコーダ(100,110,120)は、前記DRAPピクチャを用いて前記ビデオビットストリームの中へのランダムアクセスオペレーションを実行するよう構成されるデコーダ。
  26. 請求項25に記載のデコーダであって、前記デコーダ(100,110,120)は、出力順序で前記DRAPピクチャに先行しておりかつ復号済みピクチャバッファ(115)の中にある各ピクチャのそれぞれのピクチャ出力フラグの値がゼロに等しいと推定するよう構成されるデコーダ。
  27. 請求項19乃至26のいずれか一項に記載のデコーダであって、前記デコーダ(100,110,120)は、前記DRAPピクチャのための前記唯一の参照ピクチャとして前記IRAPピクチャおよび/または前記前のDRAPピクチャを用いてスキップブロックとして、または、イントラブロックとして前記DRAPピクチャのブロックを復号するよう構成されるデコーダ。
  28. 請求項19乃至27のいずれか一項に記載のデコーダであって、前記デコーダ(100,110,120)は、前記DRAPピクチャの参照ピクチャセットから前記IRAPピクチャの識別子を検索するよう構成され、前記参照ピクチャセットは前記IRAPピクチャを短期参照ピクチャまたは長期参照ピクチャとして示す、デコーダ。
  29. 請求項19乃至28のいずれか一項に記載のデコーダであって、
    前記IRAPピクチャを復号するよう構成されたIRAPデコーダ(111)と、
    前記DRAPピクチャを復号するよう構成されたDRAPデコーダ(112)とを含むデコーダ。
  30. 請求項19乃至28のいずれか一項に記載のデコーダであって、
    プロセッサ(121)と、
    前記プロセッサ(121)により実行可能な命令を含むメモリ(122)とを含み、
    前記プロセッサ(121)は、前記IRAPピクチャを復号するよう機能し、
    前記プロセッサ(121)は、前記DRAPピクチャを復号するよう機能する、デコーダ。
  31. ビデオビットストリームを復号するためのデコーダ(130)であって、
    前記ビデオビットストリームのイントラランダムアクセスポイント(IRAP)ピクチャを復号するためのIRAPデコーダ(131)と、
    前記ビデオビットストリームの中の前記IRAPピクチャおよび/または復号順序に従って前のDRAPピクチャを、前記DRAPピクチャの唯一の参照ピクチャとして用いて前記ビデオビットストリームの従属ランダムアクセスポイント(DRAP)ピクチャを復号するためのDRAPデコーダ(132)とを含み、前記DRAPピクチャは、参照のために利用できるトレーリングピクチャとして符号化され、前記DRAPピクチャは前記ビデオビットストリームの中のランダムアクセスポイントを構成する、デコーダ。
  32. ビデオストリームを符号化するためのエンコーダ(200,210,220)であって、
    前記エンコーダ(200,210,220)は、前記ビデオストリームのイントラランダムアクセスポイント(IRAP)ピクチャを符号化するよう構成され、
    前記エンコーダ(200,210,220)は、前記ビデオストリームの中の前記IRAPピクチャおよび/または復号順序に従って前のDRAPピクチャを、前記DRAPピクチャの唯一の参照ピクチャとして用いて前記ビデオストリームの従属ランダムアクセスポイント(DRAP)ピクチャを符号化するよう構成され、前記DRAPピクチャは、参照のために利用できるトレーリングピクチャとして符号化され、前記DRAPピクチャは前記ビデオストリームの符号化されたピクチャのビデオビットストリームの中のランダムアクセスポイントを構成する、エンコーダ。
  33. 請求項32に記載のエンコーダであって、前記エンコーダ(200,210,220)は、ビデオストリームの中の前記復号順序に従って最も近い先行するIRAPピクチャを前記DRAPピクチャのための前記唯一の参照ピクチャとして用いて前記DRAPピクチャを符号化するよう構成されるエンコーダ。
  34. 請求項32または33に記載のエンコーダであって、前記エンコーダ(200,210,220)は、前記DRAPピクチャを、前記DRAPピクチャをDRAPピクチャとして特定する補足的拡張情報(SEI)メッセージに関連づけるよう構成されるエンコーダ。
  35. 請求項32または33に記載のエンコーダであって、前記エンコーダ(200,210,220)は、前記DRAPピクチャに関連付けられたピクチャタイプ識別子を、前記ビデオビットストリームのネットワーク抽象化層(NAL)ユニットヘッダに含ませるよう構成され、前記ピクチャタイプ識別子は前記DRAPピクチャをDRAPピクチャとして特定する、エンコーダ。
  36. 請求項32乃至35のいずれか一項に記載のエンコーダであって、前記エンコーダ(200,210,220)は、出力順序および復号順序で前記DRAPピクチャに後続する前記ビデオストリームの少なくとも一つの非ランダムアクセスポイント(非RAP)ピクチャを符号化するよう構成され、前記少なくとも一つの非RAPピクチャは、前記ビデオストリームの中の復号順序で前記DRAPピクチャに先行するいかなる非RAPピクチャも参照ピクチャとして利用しない、エンコーダ。
  37. 請求項32乃至36のいずれか一項に記載のエンコーダであって、前記エンコーダ(200,210,220)は、前記DRAPピクチャのための前記唯一の参照ピクチャとして前記IRAPピクチャおよび/または前記前のDRAPピクチャを用いてスキップブロックとして、または、イントラブロックとして前記DRAPピクチャのブロックを符号化するよう構成されるエンコーダ。
  38. 請求項32乃至37のいずれか一項に記載のエンコーダであって、前記エンコーダ(200,210,220)は、前記DRAPピクチャの参照ピクチャセットに前記IRAPピクチャの識別子を含ませるよう構成され、前記参照ピクチャセットは前記IRAPピクチャを短期参照ピクチャまたは長期参照ピクチャとして示すエンコーダ。
  39. 請求項32乃至38のいずれか一項に記載のエンコーダであって、
    前記IRAPピクチャを符号化するよう構成されたIRAPエンコーダ(211)と、
    前記DRAPピクチャを符号化するよう構成されたDRAPデコーダ(212)とを含むエンコーダ。
  40. 請求項32乃至38のいずれか一項に記載のエンコーダであって、
    プロセッサ(221)と、
    前記プロセッサ(221)により実行可能な命令を含むメモリ(222)とを含み、
    前記プロセッサ(221)は、前記IRAPピクチャを符号化するよう機能し、
    前記プロセッサ(221)は、前記DRAPピクチャを符号化するよう機能する、エンコーダ。
  41. ビデオストリームを符号化するためのエンコーダ(230)であって、
    前記ビデオストリームのイントラランダムアクセスポイント(IRAP)ピクチャを符号化するためのIRAPエンコーダ(231)と、
    前記ビデオストリームの中の前記IRAPピクチャおよび/または復号順序に従って前のDRAPピクチャを、前記DRAPピクチャの唯一の参照ピクチャとして用いて前記ビデオストリームの従属ランダムアクセスポイント(DRAP)ピクチャを符号化するためのDRAPエンコーダ(232)とを含み、前記DRAPピクチャは、参照のために利用できるトレーリングピクチャとして符号化され、前記DRAPピクチャは前記ビデオストリームの符号化されたピクチャのビデオビットストリームの中のランダムアクセスポイントを構成する、エンコーダ。
  42. 命令を含むコンピュータプログラム(340)であって、前記命令は、プロセッサ(310)により実行された際に前記プロセッサ(310)に、
    ビデオビットストリームのイントラランダムアクセスポイント(IRAP)ピクチャを復号させ、
    前記ビデオビットストリームの中の前記IRAPピクチャおよび/または復号順序に従って前のDRAPピクチャを、前記DRAPピクチャの唯一の参照ピクチャとして用いて前記ビデオビットストリームの従属ランダムアクセスポイント(DRAP)ピクチャを復号させ、前記DRAPピクチャは、参照のために利用できるトレーリングピクチャとして符号化され、前記DRAPピクチャは前記ビデオビットストリームの中のランダムアクセスポイントを構成する、コンピュータプログラム。
  43. 命令を含むコンピュータプログラム(340)であって、前記命令は、プロセッサ(310)により実行された際に前記プロセッサ(310)に、
    ビデオストリームのイントラランダムアクセスポイント(IRAP)ピクチャを符号化させ、
    前記ビデオストリームの中の前記IRAPピクチャおよび/または復号順序に従って前のDRAPピクチャを、前記DRAPピクチャの唯一の参照ピクチャとして用いて前記ビデオストリームの従属ランダムアクセスポイント(DRAP)ピクチャを符号化させ、前記DRAPピクチャは、参照のために利用できるトレーリングピクチャとして符号化され、前記DRAPピクチャは前記ビデオストリームの符号化されたピクチャのビデオビットストリームの中のランダムアクセスポイントを構成する、コンピュータプログラム。
  44. 請求項42または43に記載のコンピュータプログラム(340)を含む担体(350)であって、前記担体(350)は、電子信号、光信号、電磁信号、磁気信号、電気信号、電波信号、マイクロ波信号、またはコンピュータ可読記憶媒体のうちのひとつである、担体。
JP2016568603A 2014-06-18 2015-04-13 従属ランダムアクセスポイントピクチャ Active JP6546197B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US201462013624P 2014-06-18 2014-06-18
US62/013,624 2014-06-18
PCT/EP2015/057974 WO2015192990A1 (en) 2014-06-18 2015-04-13 Dependent random access point pictures

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2019114899A Division JP2019195203A (ja) 2014-06-18 2019-06-20 従属ランダムアクセスポイントピクチャ

Publications (2)

Publication Number Publication Date
JP2017522766A true JP2017522766A (ja) 2017-08-10
JP6546197B2 JP6546197B2 (ja) 2019-07-17

Family

ID=52991708

Family Applications (2)

Application Number Title Priority Date Filing Date
JP2016568603A Active JP6546197B2 (ja) 2014-06-18 2015-04-13 従属ランダムアクセスポイントピクチャ
JP2019114899A Pending JP2019195203A (ja) 2014-06-18 2019-06-20 従属ランダムアクセスポイントピクチャ

Family Applications After (1)

Application Number Title Priority Date Filing Date
JP2019114899A Pending JP2019195203A (ja) 2014-06-18 2019-06-20 従属ランダムアクセスポイントピクチャ

Country Status (7)

Country Link
US (4) US10484711B2 (ja)
EP (2) EP3962089A1 (ja)
JP (2) JP6546197B2 (ja)
KR (1) KR101895176B1 (ja)
AR (1) AR100736A1 (ja)
TW (1) TWI581620B (ja)
WO (1) WO2015192990A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2022056419A (ja) * 2020-09-29 2022-04-08 レモン インコーポレイテッド ビデオビットストリームにおける従属ランダムアクセスポイント指示のための構文

Families Citing this family (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106470341B (zh) * 2015-08-17 2020-10-02 恩智浦美国有限公司 媒体显示系统
US11252429B2 (en) * 2018-04-27 2022-02-15 Ati Technologies Ulc Low-latency consumption of an encoded video bitstream
CN111372085B (zh) * 2018-12-25 2021-07-09 厦门星宸科技有限公司 影像解码装置与方法
TWI799682B (zh) * 2019-02-01 2023-04-21 弗勞恩霍夫爾協會 允許逐子圖像或逐區域隨機存取之視訊編碼解碼器及使用它之視訊合成技術
JP2022527555A (ja) * 2019-04-03 2022-06-02 ホアウェイ・テクノロジーズ・カンパニー・リミテッド エンコーダ、デコーダ、および対応する方法
CN114270868A (zh) * 2019-05-16 2022-04-01 诺基亚技术有限公司 用于在视频编码中处理随机访问图片的装置、方法和计算机程序
US11539957B2 (en) * 2019-06-20 2022-12-27 Tencent America LLC Layered random access with reference picture resampling
US11843772B2 (en) 2019-12-06 2023-12-12 Ati Technologies Ulc Video encode pre-analysis bit budgeting based on context and features
US11070829B2 (en) 2019-12-16 2021-07-20 Ati Technologies Ulc Reducing latency in wireless virtual and augmented reality systems
JP2023526955A (ja) * 2020-05-22 2023-06-26 ジーイー ビデオ コンプレッション エルエルシー ビデオエンコーダ、ビデオデコーダ、符号化及び復号のための方法、並びに高度なビデオ符号化概念を実現するためのビデオデータストリーム
JP2024500549A (ja) * 2020-12-28 2024-01-09 北京字節跳動網絡技術有限公司 映像コーディングにおけるクロスランダムアクセスポイント信号通知
US11888913B2 (en) * 2021-04-28 2024-01-30 Lemon Inc. External stream representation properties
CN114615549B (zh) * 2022-05-11 2022-09-20 北京搜狐新动力信息技术有限公司 流媒体seek方法、客户端、存储介质和移动设备

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20100177776A1 (en) * 2009-01-09 2010-07-15 Microsoft Corporation Recovering from dropped frames in real-time transmission of video over ip networks

Family Cites Families (31)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6115420A (en) * 1997-03-14 2000-09-05 Microsoft Corporation Digital video signal encoder and encoding method
WO2002037859A2 (en) 2000-11-03 2002-05-10 Compression Science Video data compression system
US6993078B2 (en) 2002-03-28 2006-01-31 International Business Machines Corporation Macroblock coding technique with biasing towards skip macroblock coding
WO2006003814A1 (ja) 2004-07-01 2006-01-12 Mitsubishi Denki Kabushiki Kaisha ランダムアクセス可能な映像情報記録媒体、及び記録方法、及び再生装置及び再生方法
US8291448B2 (en) * 2004-09-15 2012-10-16 Nokia Corporation Providing zapping streams to broadcast receivers
KR100718351B1 (ko) * 2005-09-28 2007-05-14 주식회사 팬택 동영상 파일의 요약 재생 시스템 및 이를 탑재한 이동통신단말기
US8582663B2 (en) * 2006-08-08 2013-11-12 Core Wireless Licensing S.A.R.L. Method, device, and system for multiplexing of video streams
WO2008061164A2 (en) 2006-11-14 2008-05-22 Qualcomm Incorporated Systems and methods for channel switching
US20100232520A1 (en) * 2007-11-05 2010-09-16 Zhenyu Wu Scalable video coding method for fast channel change and increased error relilience
CN101938456B (zh) * 2009-06-30 2014-03-12 华为技术有限公司 一种减小媒体延迟的方法、设备及系统
US9706227B2 (en) * 2011-03-10 2017-07-11 Qualcomm Incorporated Video coding techniques for coding dependent pictures after random access
US10034018B2 (en) * 2011-09-23 2018-07-24 Velos Media, Llc Decoded picture buffer management
WO2013172667A1 (en) * 2012-05-17 2013-11-21 Samsung Electronics Co., Ltd. Recording medium, reproducing device for performing trick play for data of the recording medium, and method thereof
CN104335585B (zh) 2012-06-24 2019-02-19 Lg 电子株式会社 图像解码方法和使用其的装置
US9591303B2 (en) * 2012-06-28 2017-03-07 Qualcomm Incorporated Random access and signaling of long-term reference pictures in video coding
JP6050488B2 (ja) * 2012-07-06 2016-12-21 サムスン エレクトロニクス カンパニー リミテッド ランダムアクセスのためのマルチレイヤビデオ符号化方法及びその装置、並びにランダムアクセスのためのマルチレイヤビデオ復号化方法及びその装置
WO2014051409A1 (ko) 2012-09-28 2014-04-03 삼성전자 주식회사 참조 픽처 정보를 이용한 병렬 처리 비디오 부호화 방법 및 장치, 병렬 처리 비디오 복호화 방법 및 장치
WO2014058177A1 (ko) 2012-10-08 2014-04-17 삼성전자 주식회사 멀티 레이어 비디오 부호화 방법 및 장치, 멀티 레이어 비디오 복호화 방법 및 장치
KR102270788B1 (ko) * 2013-01-10 2021-06-29 삼성전자주식회사 멀티 레이어 비디오 부호화 방법 및 장치, 멀티 레이어 비디오 복호화 방법 및 장치
WO2014168463A1 (ko) * 2013-04-12 2014-10-16 삼성전자 주식회사 랜덤 엑세스를 위한 멀티 레이어 비디오 부호화 방법 및 그 장치, 랜덤 엑세스를 위한 멀티 레이어 비디오 복호화 방법 및 그 장치
US10003815B2 (en) * 2013-06-03 2018-06-19 Qualcomm Incorporated Hypothetical reference decoder model and conformance for cross-layer random access skipped pictures
KR101728285B1 (ko) * 2013-06-12 2017-04-18 미쓰비시덴키 가부시키가이샤 화상 부호화 장치, 화상 부호화 방법, 화상 복호 장치, 화상 복호 방법 및 기억 매체
JP6352383B2 (ja) 2013-07-14 2018-07-04 シャープ株式会社 復号方法及び復号装置
BR112016003135B1 (pt) * 2013-08-22 2023-03-07 Sony Corporation Dispositivos de codificação, de transmissão, de decodificação e de recepção, e, métodos de codificação e de decodificação
KR102246545B1 (ko) * 2013-10-12 2021-04-30 삼성전자주식회사 멀티 레이어 비디오 부호화 방법 및 장치, 멀티 레이어 비디오 복호화 방법 및 장치
WO2015052943A1 (en) * 2013-10-13 2015-04-16 Sharp Kabushiki Kaisha Signaling parameters in vps extension and dpb operation
US10284858B2 (en) * 2013-10-15 2019-05-07 Qualcomm Incorporated Support of multi-mode extraction for multi-layer video codecs
CN104754341B (zh) * 2013-12-31 2019-02-26 华为技术有限公司 一种视频数据编码、解码的方法和装置
US10560710B2 (en) * 2014-01-03 2020-02-11 Qualcomm Incorporated Method for coding recovery point supplemental enhancement information (SEI) messages and region refresh information SEI messages in multi-layer coding
WO2015115644A1 (ja) 2014-02-03 2015-08-06 三菱電機株式会社 画像符号化装置、画像復号装置、符号化ストリーム変換装置、画像符号化方法、及び画像復号方法
US9807406B2 (en) * 2014-03-17 2017-10-31 Qualcomm Incorporated Picture flushing and decoded picture buffer parameter inference for multi-layer bitstreams

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20100177776A1 (en) * 2009-01-09 2010-07-15 Microsoft Corporation Recovering from dropped frames in real-time transmission of video over ip networks

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
RICKARD SJOBERG ERICSSON RESEARCH FAROGATAN 6 16480 STOCKHOLM: "RExt HLS: Picture referencing across CRA pictures[online]", JCTVC-Q JCTVC-Q0116_V2, JPN6018002406, ISSN: 0003892031 *

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2022056419A (ja) * 2020-09-29 2022-04-08 レモン インコーポレイテッド ビデオビットストリームにおける従属ランダムアクセスポイント指示のための構文
JP2022056418A (ja) * 2020-09-29 2022-04-08 レモン インコーポレイテッド ビデオストリームにおける従属ランダムアクセスポイント指示
JP2022056417A (ja) * 2020-09-29 2022-04-08 レモン インコーポレイテッド マルチレイヤービデオストリームのための補足向上情報
JP7332663B2 (ja) 2020-09-29 2023-08-23 レモン インコーポレイテッド ビデオビットストリームにおける従属ランダムアクセスポイント指示のための構文
JP7332662B2 (ja) 2020-09-29 2023-08-23 レモン インコーポレイテッド マルチレイヤービデオストリームのための補足向上情報
US11770498B2 (en) 2020-09-29 2023-09-26 Lemon Inc. Supplemental enhancement information for multi-layer video streams
JP7433280B2 (ja) 2020-09-29 2024-02-19 レモン インコーポレイテッド ビデオストリームにおける従属ランダムアクセスポイント指示
US11962936B2 (en) 2020-09-29 2024-04-16 Lemon Inc. Syntax for dependent random access point indication in video bitstreams

Also Published As

Publication number Publication date
TW201608877A (zh) 2016-03-01
KR101895176B1 (ko) 2018-09-04
TWI581620B (zh) 2017-05-01
KR20170030521A (ko) 2017-03-17
EP3962089A1 (en) 2022-03-02
EP3158752B1 (en) 2021-08-04
US11395000B2 (en) 2022-07-19
JP6546197B2 (ja) 2019-07-17
US20160219301A1 (en) 2016-07-28
JP2019195203A (ja) 2019-11-07
EP3158752A1 (en) 2017-04-26
AR100736A1 (es) 2016-10-26
US20220303574A1 (en) 2022-09-22
US20210112271A1 (en) 2021-04-15
WO2015192990A1 (en) 2015-12-23
US10484711B2 (en) 2019-11-19
US20200059666A1 (en) 2020-02-20
US11997313B2 (en) 2024-05-28

Similar Documents

Publication Publication Date Title
JP2019195203A (ja) 従属ランダムアクセスポイントピクチャ
KR102117723B1 (ko) 비디오 랜덤 액세스를 간단하게 하기 위한 제한사항 및 유닛 타입
RU2613738C2 (ru) Сигнализация информации состояния для буфера декодированных картинок и списков опорных картинок
TWI571113B (zh) 視訊位元流中之隨機存取
US9832463B2 (en) Robust encoding and decoding of pictures in video
KR101944565B1 (ko) 비디오 인코딩 및 디코딩시의 레이턴시 저감 기법
US20160029019A1 (en) Reference picture set signaling and restriction on an electronic device
JP7359873B2 (ja) エンコーダ、デコーダ、及び対応する方法
US8805098B2 (en) Inter reference picture set signaling and prediction on an electronic device
EP2642764B1 (en) Transcoding a video stream to facilitate accurate display
CN111182308A (zh) 视频解码方法、装置、计算机设备及存储介质
US9979964B2 (en) Image processing method and image processing apparatus
WO2018223353A1 (zh) 视频编码方法、视频解码方法及相关装置
CN117136544A (zh) 视频流式传输中的参数集指示的方法

Legal Events

Date Code Title Description
A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20171114

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20180126

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20180416

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20181005

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20181203

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20190527

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20190620

R150 Certificate of patent or registration of utility model

Ref document number: 6546197

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250