JP2017525175A - ビデオにおけるピクチャのロバストな符号化および復号化 - Google Patents

ビデオにおけるピクチャのロバストな符号化および復号化 Download PDF

Info

Publication number
JP2017525175A
JP2017525175A JP2016568428A JP2016568428A JP2017525175A JP 2017525175 A JP2017525175 A JP 2017525175A JP 2016568428 A JP2016568428 A JP 2016568428A JP 2016568428 A JP2016568428 A JP 2016568428A JP 2017525175 A JP2017525175 A JP 2017525175A
Authority
JP
Japan
Prior art keywords
picture
drap
irap
block
encoder
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2016568428A
Other languages
English (en)
Other versions
JP6348188B2 (ja
Inventor
マルティン ペッタション,
マルティン ペッタション,
ヨナタン サムエルション,
ヨナタン サムエルション,
リカード スイェベルイ,
リカード スイェベルイ,
ヤコブ ストレム,
ヤコブ ストレム,
ルオヤン ユー,
ルオヤン ユー,
Original Assignee
テレフオンアクチーボラゲット エルエム エリクソン(パブル)
テレフオンアクチーボラゲット エルエム エリクソン(パブル)
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by テレフオンアクチーボラゲット エルエム エリクソン(パブル), テレフオンアクチーボラゲット エルエム エリクソン(パブル) filed Critical テレフオンアクチーボラゲット エルエム エリクソン(パブル)
Publication of JP2017525175A publication Critical patent/JP2017525175A/ja
Application granted granted Critical
Publication of JP6348188B2 publication Critical patent/JP6348188B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103Selection of coding mode or of prediction mode
    • H04N19/107Selection of coding mode or of prediction mode between spatial and temporal predictive coding, e.g. picture refresh
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/132Sampling, masking or truncation of coding units, e.g. adaptive resampling, frame skipping, frame interpolation or high-frequency transform coefficient masking
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
    • H04N19/31Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability in the temporal domain
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/44Decoders specially adapted therefor, e.g. video decoders which are asymmetric with respect to the encoder
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51Motion estimation or motion compensation
    • H04N19/58Motion compensation with long-term prediction, i.e. the reference frame for a current frame not being the temporally closest one
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/593Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial prediction techniques
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards

Abstract

本実施形態は、ランダムアクセスオペレーションのために使用することができるが、IRAPピクチャと比較して低いビットコストで符号化される形式を表すことが可能な、新しいタイプのランダムアクセスポイントを導入する。ランダムアクセスポイントは、IRAPピクチャおよび/またはビデオビットストリームにおいて復号化の順序に従って前のDRAP(依存性ランダムアクセスポイント)ピクチャを、DRAPピクチャに得る独占的な参照ピクチャとして用いて、時間的予想ピクチャとして符号化および復号化されるDRAPピクチャである。DRAPピクチャは、ビデオビットストリームにおいてランダムアクセスポイントを構成する。【選択図】図11

Description

本実施形態は、一般的には、ビデオ符号化および復号化に関し、特に、そのようなビデオ符号化および復号化の間で依存性ランダムアクセスポイントを導入し使用することに関する。
インターネット、ブロードキャストネットワーク、およびモバイルネットワークを介して送信されるビデオデータの量は、年々増加している。この傾向は、Netflix,、Hulu、およびYouTube等のover-the-top(OTT)サービスの利用、並びに、高品質のビデオおよびよりフレキシブルなTV観覧方法および他のビデオサービスに対する要求の増加により押し上げられている。
ビデオに対する増加するビットレートの要求を維持するために、有効なビデオ圧縮を有することが重要である。近年、MPEGと協力するJCT-VCは、その前身のAVC/H.264と比較して、同じ品質に対して半分のビットレートを効率的にカットする、高効率ビデオ符号化(HEVC(high efficiency video coding))バージョン1を開発した。
H.265とも参照されるHEVCは、ブロックベースのビデオ符号化であり、時間的および空間的な予想を両方利用する。空間的な予想は、現在のピクチャ内からのイントラ(I)予想を用いて達成される。イントラ符号化ブロックだけで構成されるピクチャは、I-ピクチャと参照される。時間的な予想は、ブロックレベルにおいて、ユニプレディクティブ予想とも参照されるインター予想(P)、または、バイプレディクティブ予想とも参照される双方向インター予想(B)を用いて達成される。インター予想において、予想は、単一の先に復号化されたピクチャから実施される。双方向予想において、予想は、同じ先に復号化されたピクチャまたは2つの異なる先に復号化されたピクチャのいずれかを参照し得る2つの予想の組み合わせから実施される。先に復号化されたピクチャは、現在のピクチャの前に復号化され、表示時間(出力順序)において現在のピクチャの前または後に現れ得る。少なくとも一つのインター符号化ブロックを含むが、双方向符号化インターブロックを含まないピクチャは、P-ピクチャと参照される。少なくとも一つの双方向インターブロックを含むピクチャは、B-ピクチャと参照される。P-ピクチャとB-ピクチャの両方は、イントラ符号化ブロックも含み得る。典型的なブロックに対しては、イントラ符号化は、バイプレディクティブ符号化より一般的にコストがかかるインター符号化に比べて、一般的にビットコストがかなりかかる。
瞬間復号更新(instantaneous decoding refresh(IDR))ピクチャは、次のピクチャがIDRピクチャの前にピクチャを参照しないI-ピクチャである。クリーンランダムアクセス(clean random access(CRA))ピクチャは、I-ピクチャであり、ランダムアクセススキップリーディング(RASL)ピクチャに、復号化の順序でCRAピクチャに続き、出力の順序でディスプレイにおけるDRAピクチャに先行するピクチャを参照することを許容する。CRAピクチャで復号化を開始する場合、CRAピクチャがランダムアクセスのために使用される場合に、RASLピクチャは、予想に対して利用可能とならなくてもよいCRAピクチャに先行するピクチャから予想されることが許容されるので、RASLピクチャは、外されなければならない。ブロークンリンクアクセス(Broken link access (BLA))ピクチャは、ビットストリームにおいて、接続(splicing)ポイントを示すために使用されるI-ピクチャである。ビットストリーム接続オペレーションは、最初のビットストリームにおけるCRAピクチャのピクチャタイプをBLAピクチャに変更し、他のビットストリームにおける好適な位置においてストリームを連結することにより実施することができる。
イントラランダムアクセスポイント(IRAP)ピクチャは、IDR、CRA、またはBLAピクチャのいずれかであり得る。全てのIRAPピクチャは、復号化および出力の順序の両方においてIRAPに続くピクチャは、復号化の順序においてIRAPピクチャの前のあらゆるピクチャを参照しないことを保証する。ビットストリームの最初のピクチャは、IRAPピクチャである必要があるが、ビットストリームに渡って多くの他のIRAPピクチャが存在し得る。IRAPピクチャは、例えば、TVを観るときや一つのTVチャネルから別のチャネルに切り替えるときに、ビデオストリームへアクセスするための可能性を提供する。IRAPピクチャはまた、例えばビデオプレーヤーのコントロールバーを用いてプレイ位置を動かすことにより、ビデオクリップを探すためにも使用され得る。さらに、IRAPピクチャは、ビデオビットストリームにおいて誤りや損失がある場合に、ビデオのリフレッシュ(更新)を提供する。
スクリーン共有およびスクリーンモニタリング等の特定のスクリーンコンテンツサービスは、人気が高まっている。スクリーンコンテンツは、ビデオ符号化において、一般的なビデオコンテンツの場合よりも、異なる要求を生む。スクリーンコンテンツは、典型的には、鋭いエッジのウィンドウ、グラフィックスとテキスト、特徴のある色を含み、長い時間間隔に対して更新されないビデオピクチャのエリアを有する傾向にある。
図1は、ウィンドウを有する典型的なスクリーンコンテンツシーンを示す。この特定のスクリーンに対して、背景と、ブラウザウィンドウとコマンドラインウィンドウ等のいくつかのウィンドウは、ほとんど変更はない。ここで、左上におけるビデオウィンドウと左下のMatlabシミュレーションは、どのピクチャにおいても変化し得る。
HEVCバージョン1の開発に当たり、スクリーンコンテンツの符号化の特別な特徴は、明示的には示されていない。したがって、JCT-VCは、明示的にスクリーンコンテンツの符号化をターゲットとしたHEVCの拡張に現在取り組んでいる。
エラー耐性は、周期的に挿入されたIRAPピクチャを用いて、上述のように強化される。低遅延のビデオシナリオに対しては、ある時間に1つまたはいくつかのブロックの、周期的なイントラブロック更新を共通に用いることができ、周期的な手法において、イントラブロック符号化を用いてビデオイメージのブロック毎にリフレッシュを行う。徐々に、ビデオイメージの全てのブロックがイントラリフレッシュされる。しかしながら、動きを有するビデオに対しては、イントラブロックは、同じ時間に全てが更新されないため、エラーが長い時間間隔に渡って伝搬する可能性がある。
HEVCおよびその前身においては、符号化されたピクチャは、スライスに分割され、各スライスは、一つ以上の符号木ユニット(coding tree units(CTUs))を含み得る。各スライスは、他のスライスから独立して符号化される。スライスツールの主たる利点は、並列な符号化と復号化であるが、当該ツールは、エラーがスライスの境界に渡って伝搬しないため、いくらかのエラー耐性のレベルも引き起こす。
スクリーンコンテンツシナリオにおいて、周期的なIRAPと周期的なイントラブロック更新の両者に係る問題は、ブロックが変更したかどうかにかかわらず、最後のリフレッシュまで全てのブロックがリフレッシュされることである。長い時間間隔に対して更新されない部分を有する、スクリーンコンテンツ等のビデオに対しては、符号化のこの手法は、イントラ符号化が典型的にはビットコストに関してかなりコストが掛かるので、ビットに関してコストを掛ける必要はない。
周期的なイントラブロック更新に関する別の問題は、ある時間においてほんのわずかなブロックのみが更新されるので、動きを有するビデオにおいて発生するエラーが、時間に渡って伝搬し得ることである。
一般的には、効率的なビデオ符号化および符号化を提供することを目的とする。
特に、ビデオビットストリームにおいける新しいタイプのランダムアクセスポイントを提供することを目的とする。
これらの目的および他の目的が、本開示の実施形態により達成される。
実施形態の観点は、ビデオビットストリームのイントラランダムアクセスポイント(IRAP)ピクチャを復号化することを含む、ビデオビットストリームの復号化のための方法に関する。方法はまた、IRAPピクチャおよび/またはビデオビットストリームにおいて復号化の順序に従って前のDRAPピクチャを、依存性ランダムアクセスポイント(DRAP)ピクチャに対する独占的な参照ピクチャとして用いて、時間的予想ピクチャとしてビデオビットストリームのDRAPを復号化することを含む。DRAPピクチャは、ビデオビットストリームにおいて、ランダムアクセスポイントを構成する。
実施形態の関連する観点は、ビットストリームを復号化するための復号器を定義する。復号器は、ビデオビットストリームのIRAPピクチャを復号化するように構成される。復号器はまた、IRAPピクチャおよび/またはビデオビットストリームにおいて復号化の順序に従って前のDRAPピクチャをDRAPピクチャに対する独占的な参照ピクチャとして用いて、時間的予想ピクチャとしてビデオビットストリームのDRAPを復号化するように構成される。DRAPピクチャは、ビデオビットストリームにおいて、ランダムアクセスポイントを構成する。
本実施形態の別の関連する観点は、ビデオビットストリームを復号化し、ビデオビットストリームのIRAPピクチャを復号化するためのIRAP復号器を含む復号器を定義する。復号器はまた、IRAPピクチャおよび/またはビデオビットストリームにおいて復号化の順序に従って前のDRAPピクチャを、DRAPピクチャに対する独占的な参照ピクチャとして用いて、時間的予想ピクチャとしてビデオビットストリームのDRAPを復号化するためのDRAP復号器を有する。DRAPピクチャは、ビデオビットストリームにおいて、ランダムアクセスポイントを構成する。
実施形態の別の観点は、ビデオビットストリームを符号化するための方法に関する。方法は、ビデオストリームのIRAPピクチャを符号化すること、および、IRAPピクチャおよび/またはビデオビットストリームにおいて復号化の順序に従って前のDRAPピクチャを、DRAPピクチャに対する独占的な参照ピクチャとして用いて、時間的予想ピクチャとしてビデオビットストリームのDRAPを符号化することを含む。DRAPピクチャは、ビデオストリームの符号化されたピクチャのビデオビットストリームにおけるランダムアクセスポイントを構成する。
実施形態の関連する観点は、ビットストリームを符号化するための符号器を定義する。符号器は、ビットストリームのIRAPピクチャを符号化するように構成される。符号器はまた、IRAPピクチャおよび/またはビデオビットストリームにおいて復号化の順序に従って前のDRAPピクチャを、DRAPピクチャに対する独占的な参照ピクチャとして用いて、時間的予想ピクチャとしてビデオビットストリームのDRAPを符号化するように構成される。DRAPピクチャは、ビデオストリームの符号化されたピクチャのビデオビットストリームにおいて、ランダムアクセスポイントを構成する。
実施系態の別の関連する観点は、ビットストリームを符号化するための符号器を定義する。符号器は、ビデオストリームのIRAPピクチャを符号化するための符号器を有する。符号器はまた、IRAPピクチャおよび/またはビデオビットストリームにおいて復号化の順序に従って前のDRAPピクチャを、DRAPピクチャに対する独占的な参照ピクチャとして用いて、時間的予想ピクチャとしてビデオビットストリームのDRAPを符号化するためのDRAP符号器を有する。DRAPピクチャは、ビデオストリームの符号化されたピクチャのビデオビットストリームにおいて、ランダムアクセスポイントを構成する。
実施形態の更なる観点は、プロセッサにより実行された場合に、当該プロセッサに、ビデオビットストリームのIRAPピクチャを復号化させるための命令を含むコンピュータプログラムに関する。また、プロセッサに、IRAPピクチャおよび/またはビデオビットストリームにおいて復号化の順序に従って前のDRAPピクチャを、DRAPピクチャに対する独占的な参照ピクチャとして用いて、時間的予想ピクチャとしてビデオビットストリームのDRAPを復号化させる。DRAPピクチャは、ビデオビットストリームにおいて、ランダムアクセスポイントを構成する。
実施形態の更なる別の観点は、プロセッサにより実行された場合に、プロセッサに、ビデオストリームのIRAPピクチャを符号化させる命令を含むコンピュータプログラムに関する。また、プロセッサに、IRAPピクチャおよび/またはビデオビットストリームにおいて復号化の順序に従って前のDRAPピクチャをDRAPピクチャに対する独占的な参照ピクチャとして用いて、時間的予想ピクチャとしてビデオビットストリームのDRAPを復号化させる。DRAPピクチャは、ビデオストリームの符号化されたピクチャのビデオビットストリームにおいて、ランダムアクセスポイントを構成する。
実施形態の関連する観点は、上記に従うコンピュータプログラムを有するキャリアを定義する。キャリアは、電子信号、光学信号、電磁気信号、磁気信号、電気信号、無線信号、マイクロ波信号、またはコンピュータ読み取り可能な記憶媒体のうちのいずれかである。
本実施形態は、ランダムアクセスオペレーションを実行するために使用されるビデオビットストリームにおける新しいタイプのランダムアクセスポイント(RAP)を提供する。RAPピクチャは、依存性RAP(DRAP)ピクチャであり、前のIRAPピクチャおよび/または前のDRAPピクチャを独占的な参照ピクチャとして使用して符号化および復号化される時間的予想ピクチャであることを示す。結果として、DRAPピクチャは、IRAPピクチャと比較して顕著に低いビットコストにおいて表されるが、それでも、ビデオビットストリームにおいてRAPを構成する。
実施形態は、その目的と利点を伴い、付属の図面と共に以下の説明を参照して最も良く理解され得る。
図1は、典型的なスクリーンコンテンツの例を示す。 図2は、実施形態に従う、ビデオビットストリームを復号化するため方法を示すフローチャートである。 図3は、図2に示す方法の、追加的、オプション的なステップを示すフローチャートである。 図4は、図2に示す方法の、追加的、オプション的なステップを示すフローチャートである。 図5は、実施形態に従うビデオストリームを符号化するための方法を示すフローチャートである。 図6は、図5に示す方法の、追加的、オプション的なステップを示すフローチャートである。 図7は、図5に示す方法の、追加的、オプション的なステップを示すフローチャートである。 図8は、図5に示す方法の、追加的、オプション的なステップを示すフローチャートである。 図9は、図5に示す方法の、追加的、オプション的なステップを示すフローチャートである。 図10は、実施形態に従うビットストリームを符号化するための処理を説明するフローチャートである。 図11は、実施形態に従うDRAPピクチャを用いた符号化パターンの例を示す。 図12は、別の実施形態に従うDRAPピクチャを用いた符号化パターンの例を示す。 図13は、実施形態に従う、アーチファクトなしで損失したIRAPピクチャを隠ぺいする例を示す。 図14は、典型的なスクリーンコンテンツとビデオピクチャの3つのスライスへの分割の例を示す。 図15は、実施形態の強調される構成要素を示すブロック図である。 図16は、実施形態に従う符号器と復号器の概略図である。 図17は、実施形態に従う復号器の概略ブロック図である。 図18は、別の実施形態に従う復号器の概略ブロック図である。 図19は、更なる実施形態に従う復号器の概略ブロック図である。 図20は、実施形態に従う符号器の概略ブロック図である。 図21は、別の実施形態に従う符号器の概略ブロック図である。 図22は、更なる実施形態に従う符号器の概略ブロック図である。 図23は、実施形態に従うコンピュータプログラム実装を概略的に示す。
図面を通して、同様または対応する要素に対しては、同じ参照番号が用いられる。
本実施形態は、一般的には、ビデオ符号化および復号化に関し、特に、そのようなビデオ符号化および復号化の間に依存型ランダムアクセスポイントを導入して用いることに関する。
実施形態は、ビデオ符号化および復号化内において、ランダムアクセスポイント(RAPs)に関して新しいコンセプトを導入する。実施形態のRAPピクチャは、ビデオストリームにおいて従来RAPとして使用されているIRAPピクチャとは異なる。IRAPピクチャは、独立して復号化可能である。すなわち、あらゆる参照ピクチャを必要としない。実施形態のRAPは、依存性ランダムアクセスポイント(DRAP(dependent random access point))ピクチャの形式の依存性のRAPである。したがって、実施形態のDRAPピクチャは、独立して復号可能ではない。すなわち、DRAPピクチャは、少なくとも一つの参照ピクチャを用いる。しかし、ビデオビデオビットストリーム内にRAPを構成する。DRAPピクチャは、符号化され、IRAPピクチャと比較してかなり少ないビットを用いて表される。したがって、実施形態のDRAPピクチャは、ビットストリームの全体のビットコストを低減させるために使用され、または、全体のビットコストを増加させることなくビットストリームにおけるRAPの総数を増加させるために使用され得る。
DRAPピクチャは、どの参照ピクチャが使用できるかがかなり限定されているという点で、他の非IRAPピクチャとは異なる。これらの限定により、DRAPピクチャは、ランダムアクセスオペレーションに対して使用されることが可能となる。ランダムアクセスオペレーションは、復号化がビデオビットストリームの最初ではないところから開始される場合である。代わりに、復号化は、ランダムアクセスポイントとして識別されたポイントにおけるビデオビットストリーム内のある場所において開始される。ランダムアクセスオペレーションの例は、ブロードキャストされたTVストリームにチューニングすること、すなわち、TVを観ることを開始することまたはあるTVチャネルを別のチャネルに切り替える場合を含む。
図2は、実施形態にしたがうビットストリームにおけるピクチャを復号化するための方法を示すフローチャートである。方法は、ステップS1において、ビデオビットストリームのIRAPピクチャを復号化することを含む。方法はステップS2へ続き、IRAPピクチャおよび/またはビデオビットストリームにおいて復号化の順序に従って前のDRAPピクチャを、DRAPピクチャに対する独占的な(唯一の/sole)参照ピクチャとして用いて、時間的予想ピクチャとしてビデオビットストリームのDRAPを復号化することを含む。ステップS2において復号化されたDRAPピクチャは、ビデオビットストリームにおけるランダムアクセスポイントを構成する。
ステップS2において復号化されたDRAPピクチャは、時間的予想ピクチャである。これは、時間的予想を用いて復号化されることを示す。すなわち、DRAPピクチャは、予想ベースとして少なくとも一つの参照ピクチャを用いて復号化され、ここで少なくとも一つの参照ピクチャは、復号化の順序においてDRAPピクチャに先行する。したがって、復号化の順序に関して、DRAPピクチャと少なくとも一つの参照ピクチャとの間に時間的な距離が存在する。
これは、ステップS1において復号化されたIRAPピクチャと明らかに対照的である。IRAPピクチャは、独立的に復号化可能なピクチャであり、それにより、IRAPピクチャを復号化するためにあらゆる参照ピクチャを使用しない。したがって、IRAPピクチャは、相応に、イントラ予想または空間予想ピクチャと見なされる。これは、IRAPピクチャのブロック、すなわちイントラブロックは、同じIRAPピクチャ内で既に復号化されたブロックを用いて復号化されることを示す。
ステップS2において、上述したように、復号化されたDRAPピクチャは、ビデオビットストリームにおいてRAPを構成する。したがって、DRAPピクチャにおいてランダムアクセスオペレーションを実行することが可能である。なお、S1において復号化されたIRAPピクチャはまた、ビデオビットストリームにおけるRAPであることに注意されたい。しかしながら、IRAPピクチャにより提供されたRAPは、IRAPピクチャがビデオビットストリームにおけるあらゆる他のピクチャを参照せずに復号化することが可能であることを示す、独立的なRAPである。これは、DRAPピクチャにより提供されるRAPと明らかに対照的である。それは依存的なRAPであり、DRAPピクチャがビデオビットストリームにおいて前のIRAPおよび/またはDRAPピクチャを参照し、よって、独占的な参照ピクチャとしてそのような前のIRAPおよび/またはDRAPピクチャを用いて復号化されることを示す。
DRAPピクチャを伴うランダムアクセスオペレーションは、実施形態では、IRAPピクチャおよび/または前のDRAPピクチャ、すなわち、DRAPピクチャが依存するピクチャを復号化し、続いて、IRAPピクチャとDRAPピクチャの間のあらゆる他のピクチャを復号化せずに、DRAPピクチャを復号化することを含む。
S1において復号化されたIRAPピクチャは、ステップS2においてDRAPピクチャを復号化する際に参照ピクチャとして使用され、それにより、復号化の順序にしたがって、ビデオビットストリームにおける先のIRAPピクチャとなる。特定の実施形態では、先のIRAPピクチャは、ビデオビットストリームにおける復号化の順序にしたがって、最も近く先行する(closest preceding)IRAPピクチャである。IRAPピクチャは、独立してすなわち、あらゆる参照ピクチャなしに、復号化される。
ステップS2で復号化されたDRAPピクチャは、明らかに対照的に、少なくとも一つの参照ピクチャを有する。この少なくとも一つの参照ピクチャは、ステップS1において復号化されるようなIRAPピクチャおよび/または ビデオビットストリームにおける復号化の順序に従って前のDRAPピクチャのいずれかである。そして、前のDRAPピクチャは、復号化の順序に従って、IRAPピクチャと、現在のDRAPピクチャとの間に位置する。DRAPピクチャは、参照ピクチャとしてこれまたはこれらのピクチャのみを使用し得る。したがって、ビデオビットストリームにおけるあらゆる他のピクチャを参照しない。
実施形態において、ステップS2は、ビデオビットストリームにおいて、復号化の順序に従って最も近く先行するIRAPピクチャのみを、DRAPピクチャに対する独占的な参照ピクチャとして使用して復号化することを含む。本実施形態では、DRAPピクチャは、復号化の順序に従ってビデオビットストリームにおいて最も近く先行するIRAPピクチャのみを参照することができ、ステップS2においてDRAPピクチャのブロックを復号化する際に参照ピクチャとしてこの特定のIRAPピクチャのみを使用することができる。
DRAPピクチャは、最も近く先行するIRAPピクチャに対する単一の参照の表示を有する時間的予想ピクチャとして符号化され得る。これは、DRAPピクチャは、P-ピクチャと見なされることを意味するが、P-ピクチャはRAPを構成することができないのに対し、ビデオビットストリームにおいてRAPを含むという重要な違いがある。別の例では、DRAPピクチャはB-ピクチャと見なされ得る。そのようなケースでは、それは、最も近く先行するIRAPピクチャに対する一つだけの参照の代わりに、同じ最も近く先行するIRAPに対する2つの参照を使用するブロックを含み得る。
DRAPピクチャを復号化する際に参照ピクチャとして使用されるIRAPピクチャは、好ましくは、ビデオビットストリームにおいて復号化の順序に従って、最も近い先のIRAPピクチャである。しかしながら、別の実施形態では、DRAPピクチャにより参照ピクチャとして使用されるIRAPピクチャは、ビデオビットストリームにおいて最も近く先行するIRAPピクチャである必要はないが、ビデオビットストリームにおいて復号化の順序に従って、先行するIRAPピクチャであり得る。
別の実施形態において、ステップS2は、ビデオビットストリームにおいて、復号化の順序に従って最も近く先行するIRAPピクチャのみを、DRAPピクチャに対する独占的な参照ピクチャとして使用して復号化することを含む。本実施形態では、DRAPピクチャは、別のDRAPピクチャを参照することのみができ、この別のDRAPピクチャは、復号化の順序に従ってビデオビットストリームにおいて最も近く先行するDRAPピクチャである。
この特定の例では、別のDRAPピクチャは、順に、前のDRAPピクチャまたはIRAPピクチャを参照し得る。したがって、ビデオビットストリームにおいて復号化の順序に従ってIRAPピクチャに続く最初のDRAPピクチャは、IRAPピクチャを参照し、復号化の順序に従って2番目のDRAPピクチャは、最初のDRAPピクチャを参照し、以降同様である。
DRAPピクチャは、DRAPピクチャがP-ピクチャ(単一の参照)またはB-ピクチャ(2つのピクチャ)と同様に復号化されるかどうかに依存して、先のDRAPピクチャに対して、単一の参照または2つの参照を含み得る。
更なる実施形態において、ステップS2は、復号化の順序に従って最も近く先行するIRAPピクチャと、復号化の順序に従って最も近い先のDRAPピクチャを、DRAPピクチャに対する独占的な参照ピクチャとして使用して復号化することを含む。本実施形態において、DRAPピクチャは、2つの異なるピクチャを参照し得る。しかしながら、これら2つの異なるピクチャは、最も近く先行するIRAPおよびDRAPピクチャである。
図2のステップS1におけるIRAPピクチャの復号化は、好ましくは、ビデオ復号化の分野でよく知られているイントラモードに従って実施される。これは、典型的には、従来では符号化ユニット(CUs)または予想ユニット(PUs)として参照されるIRAPピクチャのブロック、またはより一般的には、画素またはサンプルのブロックが復号化されたブロックを形成するために、イントラモードに従って復号化されることを意味する。ここで、各画素または各サンプルは、輝度値または2つのクロミナンス値、または、赤、緑、青の値等の一つの画素またはサンプル値を有する。
図2のステップS2において、DRAPピクチャは、IRAPピクチャおよび/またはDRAPピクチャを、DRAPピクチャに対する独占的な参照ピクチャとして用いて、復号化される。これは、DRAPピクチャが、イントラモードに従って復号化されることを意味する。これは、DRAPピクチャのブロックが、P-ブロック、B-ブロック、I-ブロックの形式であり得ることを意味する。
特定の実施形態では、DRAPピクチャは、IRAPピクチャおよび/またはDRAPピクチャを、DRAPピクチャに対する独占的な参照ピクチャとして用いて、DRAPピクチャのブロックを復号化することにより、スキップブロックとして復号化される。好ましくは、DRAPピクチャは、DRAPピクチャに対する独占的な参照ピクチャとしてIRAPピクチャを用いてスキップブロックとして、またはイントラブロックとして復号化される。
スキップブロックは、ブロックがスキップモードに従って、IRAPピクチャおよび/または独占的な参照ピクチャとして先のDRAPピクチャを用いて符号化されることを示す。これは、スキップブロックに対するサンプル値または画素値が、あらゆる動き補償なしに、参照ピクチャにおいて並置されたブロックからコピーされることを意味する。スキップモードとDRAPピクチャのブロックに対するイントラモードとの組み合わせは、DRAPピクチャの符号化および復号化の効率的な手法となる。
したがって、変化していない、または、先のIRAPピクチャ等の参照ピクチャに関して定義された最小の差異以上に変化していないそれらDRAPピクチャのブロックは、好ましくは、スキップブロックとして符号化および復号化される。ここで、変化していない、または参照ピクチャに関して定義された最小の参照以上に変化していないそれらDRAPピクチャのブロックが、イントラブロックとして符号化および復号化される。
別の実施形態では、DRAPピクチャのブロックは、IRAPピクチャにおいて配置されたブロックが別のIRAPピクチャにおいて配置されたブロックと一致または所定の閾値より変化しない場合に、DRAPピクチャに対する独占的な参照ピクチャとしてのIRAPピクチャを用いてスキップブロックとして符号化され、それ以外の場合は、イントラブロックとして符号化される。別のIRAPピクチャは、復号化の順序に従ってビデオストリームにおいて先立ち、好ましくは、IRAPピクチャを符号化するより先に符号化される最も近く先行する先のIRAPピクチャである。特定の実施形態では、DRAPピクチャのブロックは、IRAPピクチャにおいて並置されたブロックが、別のIRAPピクチャ、および、復号化の順序に従って別のIRAPピクチャとIRAPピクチャとの間に存在する中間のピクチャにおいて並置されたブロックと一致または所定の閾値より変化しない場合に、DRAPピクチャに対する独占的な参照ピクチャとしてのIRAPピクチャを用いてスキップブロックとして符号化され、それ以外の場合は、イントラブロックとして符号化される。
イントラモードに従ったブロックの復号化、すなわち、イントラブロックの復号化は、、ITU-T H.265シリーズH:Audiovisual and multimedia systems, Infra structure of audiovisual services - Coding of moving video, High efficiency video codingの、セクション8.4 Decoding process for coding units coded in intra prediction modeに規定されるように実行されることが好ましい。インターモードに従ったブロックの復号化、すなわち、インターブロックの復号化は、ITU-T H.265シリーズH:Audiovisual and multimedia systems, Infra structure of audiovisual services - Coding of moving video, High efficiency video codingの、セクション8.5 Decoding process for coding units coded in inter prediction modeに規定されるように実行されることが好ましい。スキップブロック、すなわち、スキップフラグが1に等しい値を有するブロックの復号化は、特に、ITU-T H.265シリーズH:Audiovisual and multimedia systems, Infra structure of audiovisual services - Coding of moving video, High efficiency video codingの、8.5.4.1 Generalに記載されている。
HEVCでは、スキップモードは、残りのデータがスキップされる例外を伴う新しいマージモードと同様である。マージモードは、4つの空間の候補、一つの時間的候補、およびゼロの動きの候補から、動きのパラメータを選択する。したがって、スキップされたブロックは、好ましくは、選択されたゼロの動きの候補を伴い、HEVCにおけるスキップモードに従って復号化される。
DRAPピクチャは、DRAPピクチャに対して独占的な参照ピクチャとして、IRAPピクチャおよび/またはビデオビットストリームにおいて前のDRAPピクチャを用いて復号化される。これは、DRAPピクチャのブロックの実際の復号化は、参照ピクチャとして、IRAPピクチャおよび/または前のDRAPピクチャのみを用いることを意味する。
実施形態では、DRAPピクチャの参照ピクチャセット(RPS)は、IRAPピクチャおよび/または前のDRAPピクチャのみを含む。これは、DRAPピクチャのRPSは、本実施形態では、DRAPピクチャのブロックを復号化する際の参照ピクチャとして使用され得るピクチャ、すなわち、IRAPピクチャおよび/またはDRAPピクチャの識別子を含むことを意味する。
別の実施形態では、DRAPピクチャのRPSは、IRAPピクチャおよび/または前のDRAPピクチャを含み、追加的に、ビットストリームにおいて復号化の順序に従って他の前のピクチャを含み得る。しかしながら、DRAPピクチャの実際の復号化はまた、本実施形態では、RPAが他のピクチャを含み得む場合であっても、参照ピクチャとして、IRAPピクチャおよび/または前のDRAPピクチャのみを用いて実行される。
参照ピクチャセットを用いるHEVCおよび他のビデオ符号化規格において、参照ピクチャとしてのピクチャを用いることは、いわゆるRPSのいわゆる、Currリスト、すなわち、RefPicSetStCurrBefore、 RefPicSetStCurrAfter、またはRefPicSetLtCurrにおける識別子を有することに対応する。これは、DRAPピクチャが、好ましくは、IRAPピクチャの識別子および/またはそのRPSのCurrリストにおける前のDRAPピクチャのみを含むことを意味する。DRAPピクチャを復号化する際に参照ピクチャとして使用することができない他の前のピクチャの識別子は、DRAPピクチャのRPSのFollリスト、すなわち、PocStFollまたはPocLtFollにおいて、RPSにおいてまだ存在し得る。
ビデオストリームのピクチャは、一つまたは、複数すなわち少なくとも二つ、のスライスを含み得る。スライスは、ほとんどの部分において、同じピクチャ内の他のスライスから独立して復号化される。したがって、スライスは、スライスの境界に渡って予想がなされないという点で、自己充足(sefl-contained)と見なすことができる。
特定の実施形態では、図2のステップS2で復号化されたDRAPピクチャは、複数のスライスを有する。そのようなケースでは、DRAPピクチャの復号化は、図3のフローチャートに示すように行われ得る。方法は、図2におけるステップS1から続く。次のステップS10は、イントラブロックとしてDRAPピクチャにおいて少なくとも一つのスライスのブロックを復号化することを含む。ステップS11はそれに応じて、IRAPピクチャおよび/または前のDRAPピクチャを、DRAPピクチャに対する独占的な参照ピクチャとして用いて、スキップブロックとしてDRAPピクチャの少なくとも一つのスライスのブロックを復号化することを含む。ステップS10とS11は、好ましくはスライスがそれぞれ独立して復号化可能であることから、あらゆる順序で、または、少なくとも部分的に並列に実行することができる。
このアプローチの利点は、イントラブロックのみを有するDRAPピクチャは、スライスの符号化されたビデオデータを含むワーク抽象化層(network abstraction layer(NAL))ユニットのNALユニットヘッダにおいて、イントラスライス(I-スライス)としてシグナリングされることができることである。これにより、ビデオビットストリームにおけるイントラブロックの位置を識別することが容易となる。
図4は、図2に示す方法の、追加的、オプション的なステップを示すフローチャートである。方法は、図2におけるステップS2から続く。次のステップS20は、出力の順序および復号化の順序でDRAPピクチャに続くビデオビットストリームの少なくとも一つの非RAPピクチャを復号化することを含む。少なくとも一つの非RAPピクチャは、参照ピクチャとしてビデオビットストリームにおける復号化の順序においてDRAPピクチャに先行するあらゆる非RAPピクチャを使用しない。
したがって、DRAPピクチャに続く非RAPピクチャは、IRAPピクチャおよび/またはDRAPピクチャに対する参照として使用される前のDRAPピクチャを潜在的に除外して、復号化の順序においてDRAPピクチャに先行するあらゆるピクチャを参照しない。これは、復号化の順序においてDRAPピクチャに先行する非RAPピクチャのいずれも、出力の順序および復号化の順序においてDRAPピクチャに続くあらゆる非RAPピクチャに対する参照ピクチャとして使用されないことを意味する。
したがって、DRAPピクチャに渡る予想は禁止される。DRAPピクチャに続く非RAPピクチャは、予想のためにDRAPピクチャに先行するあらゆる非RAPピクチャを使用してはいけない。
特定の実施形態では、出力の順序および復号化の順序でDRAPピクチャに続くピクチャは、続くDRAPピクチャが参照ピクチャとしてIRAPピクチャを使用し得ることを除いて、参照ピクチャとして復号化の順序でDRAPピクチャに先行するあらゆるピクチャを使用しなくてもよい。
DRAPピクチャに渡る予想についてのこの制限により、ビデオビットストリームにおけるRAPとしてDRAPピクチャを効率的に使用することができる。予想がDRAPピクチャに渡って許容される場合、復号化および出力の順序においてDRAPピクチャに続く非RAPピクチャは、復号化の順序でDRAPピクチャに先行するあらゆる参照ピクチャがDPBにおいて利用可能でないことから、正しく復号化されない可能性がある。
図5は、ビットストリームにおけるピクチャを符号化するための方法を示すフローチャートである。方法は、ステップS30において、ビデオビットストリームのIRAPピクチャを符号化することを含む。方法はまた、ステップS31において、IRAPピクチャおよび/またはビデオビットストリームにおいて復号化の順序に従って前のDRAPピクチャをDRAPピクチャに対する独占的な参照ピクチャとして用いて、時間的予想ピクチャとしてビデオビットストリームのDRAPを符号化することを含む。DRAPピクチャは、ビデオストリームの符号化されたピクチャのビデオビットストリームにおいて、ランダムアクセスポイントを構成する。
復号化の順序は、復号器により復号化されるビデオビットストリームのピクチャの順序を特定する。この順序は、ビデオストリームのピクチャが符号器により符号化される順序と同じである。したがって、復号化の順序は、符号化(コーディング、coding)または符号化(エンコーディング、encoding)の順序としても参照され得る。
実施形態において、ステップS31は、ビデオビットストリームにおいて、復号化の順序に従って最も近く先行するIRAPピクチャを、DRAPピクチャに対する独占的な参照ピクチャとして使用して符号化することを含む。
実施形態において、ステップS31は、ビデオビットストリームにおいて、復号化の順序に従って最も近く先行するDRAPピクチャを、DRAPピクチャに対する独占的な参照ピクチャとして使用して符号化することを含む。
更なる実施形態において、ステップS31は、ビデオビットストリームにおいて、復号化の順序に従って最も近く先行するDRAPピクチャを、DRAPピクチャに対する独占的な参照ピクチャとして使用してDRAPピクチャを符号化することを含む。
特定の実施形態では、ステップS31は、IRAPピクチャおよび/または前のDRAPピクチャを、DRAPピクチャに対する独占的な参照ピクチャとして用いて、スキップブロックとしてDRAPピクチャのブロックを符号化すること、または、イントラブロックとして符号化することを含む。
図6は、図5における復号化ステップS31の実施形態をより詳細に示すフローチャートである。この実施形態では、DRAPピクチャは、複数のスライスに分割され、そのうち少なくとも一つは、I-スライスとして符号化され、そのうち少なくとも一つは、スキップモードを用いて符号化される。方法は、図5におけるステップS30から続く。次のステップS40は、イントラブロックとしてDRAPピクチャにおいて少なくとも一つのスライスのブロックを符号化することを含む。ステップS41は、IRAPピクチャおよび/または前のDRAPピクチャを、DRAPピクチャに対する独占的な参照ピクチャとして用いて、スキップブロックとしてDRAPピクチャにおける少なくとも一つのスライスのブロックを符号化することを含む。ステップS40とS41は、好ましくはスライスがそれぞれ独立して符号化可能であることから、あらゆる順序で、または、少なくとも部分的に並列に実行することができる。
図7は、実施形態に従って、図5に示す方法の、追加的、オプション的なステップを示すフローチャートである。方法は、図5におけるステップS30から続く。続くステップS50は、復号化の順序に従って、IRAPピクチャとDRAPピクチャの間に存在する中間のピクチャを符号化することを含む。
S50で符号化されたこれらの中間のピクチャは、好ましくは、非RAPピクチャ、または、非RAPおよびDRAPピクチャである。非RAPピクチャは、好ましくは、インターモードを用いて、P-ピクチャまたはB-ピクチャとして符号化される。これは、中間のピクチャは、ステップS50における符号化の間に、ビットストリームにおける復号化の順序に従って、一つ以上前の参照ピクチャを使用することを意味する。なお、S50で符号化されたこれらの中間のピクチャは、しかしながら、好ましくは、復号化の順序に従ってステップS30で符号化されたIRAPピクチャに先行するあらゆる参照ピクチャを使用しなくてもよい。したがって、RASLピクチャとして符号化されるあらゆる中間のピクチャは可能性として例外に、IRAPピクチャに渡る予想は、好ましくは禁止される。
従って、ステップS50で符号化された1番目の中間のピクチャは、好ましくは、独占的な参照ピクチャとしてS30で符号化されたIRAPピクチャを用いる。ステップS50で符号化された2番目の中間のピクチャは、好ましくは、参照ピクチャとしてIRAPピクチャおよび/または1番目の中間のピクチャを用いる。
方法は図5におけるステップS31につづき、ここで、DRAPピクチャは、IRAPピクチャおよび/または前のDRAPピクチャを、DRAPピクチャに対する独占的な参照ピクチャとして用いて、時間的な予想ピクチャとして符号化される。これは、ビデオビットストリームは、好ましくは、複数の中間のピクチャ(好ましくは非RAPピクチャ)により続くIRAPピクチャそしてDRAPピクチャを含むことを意味する。ビデオビットストリームは、好ましくは、追加的に、ビデオストリームのピクチャが2番目のIRAPとして符号化されるまで、複数の続く非RAPピクチャおよびその後の2番目のDRAPピクチャ等を含む。
図8は、図5に示す方法の、追加的、オプション的なステップを示すフローチャートである。方法は、ステップS31から続く。次のステップS60は、出力の順序および復号化の順序でDRAPピクチャに続くビデオビットストリームの少なくとも一つの非RAPピクチャを符号化することを含む。少なくとも一つの非RAPピクチャは、ステップS60において、非RAPピクチャに対する参照ピクチャとして復号化の順序においてDRAPピクチャに先行するビデオストリームのあらゆる非RAPピクチャを、非RAPピクチャに対する独占的なピクチャとして用いずに符号化される。したがって、ステップS31で符号化されたDRAPピクチャを渡る参照は、非RAPピクチャが、参照ピクチャとしてステップS30で符号化されるIRAPピクチャおよび/または前のDRAPピクチャ、すなわち、ステップ30で符号化されたIRAPピクチャと参照ピクチャとしてS31において符号化されたDRAPピクチャの間に存在するDRAPピクチャを用い得るという例外を場合により伴い、好ましくは禁止される。
実施形態では、図5のステップS31は、中間のピクチャにおいて各並置されたブロックと一致または所定の閾値より変わらない場合に、DRAPピクチャに対する独占的な参照ピクチャとしての(ステップS30で符号化された)IRAPピクチャを用いてスキップブロックとして符号化され、それ以外の場合は、DRAPピクチャのブロックはイントラブロックとして符号化される。
したがって、本実施形態において、DRAPピクチャにおけるブロックは、復号化の順序に従って、IRAPピクチャまでの前の中間ピクチャにおいて併置されるブロックが全て同じ、または少なくとも実質的に同じであり、すなわち、所定の閾値よりそれぞれが異ならない場合、スキップモードを用いて符号化されることで十分である。
並置されるブロックは、現在のピクチャにおけるブロックとしてのピクチャ内の同じ位置にある、復号化の順序に従って前のピクチャにおけるブロックである。一般的に、ブロックの位置は、ピクチャの左上の角を原点とする座標システムにおいて、ブロックの左上の角の画素またサンプル位置または座標により定義される。現在のピクチャにおけるブロックおよび前のピクチャにおける配置されたブロックは、好ましくは、画素またはサンプルの数に関して、同じサイズを有する。
DRAPピクチャにおけるブロックが中間のピクチャおよびIRAPピクチャにおける並置されたブロックと一致または十分に位置するかどうかを検証するために、様々な技術を使用することができる。第1のアプローチは、ブロックにおける画素またはサンプル値と、配置されるブロックにおける各画素またはサンプル値を単に比較することである。
例えばこれは、下式により実行され得る。
ここで、p(i,j)は、DRAPピクチャにおけるブロックのピクセル値またはサンプル値を表し、q(i,j)は、中間のピクチャまたはIRAPピクチャにおける並置されるブロックのピクセル値またはサンプル値を表す。この例では、ブロックおよいb並置されるブロックは共に、m×nのピクセルまたはサンプルのサイズを有する。2つのブロックが同一である場合、合計はゼロとなる。合計が、定義される閾値Tと等しいかそれ以下である場合、二つのブロックは十分に一致すると見なされる。したがって、復号化の順序に従って、DRAPピクチャとIRAPピクチャの間に位置する各中間のピクチャおよびIRAPピクチャに対して、合計がTより小さい場合、好ましくはゼロに等しい場合、ブロックはスキップブロックとして符号化され、それ以外では、ブロックはイントラブロックとして符号化される。
直接の画素またはサンプルのマッチングに代えて、ハッシュベースの比較も配置され得る。ハッシュベースの比較では、各ハッシュ値は、DRAPピクチャにおけるブロックおよび、前の中間のピクチャまたはIRAPピクチャにおける並置されたブロックに対して算出される。ハッシュ値は、典型的には、入力としてブロックの画素値またはサンプル値を伴って、従来のハッシュアルゴリズムを用いて算出される。もし二つのブロックに対する2つのハッシュ値が同じ場合、ブロックは、同一または実質的に同一と見なされる。直接の画素またはサンプルのマッチングと比較してハッシュ値を用いる利点は、比較が一般的に速いことである。
IRAPピクチャがイントラブロックとして符号化されるため、あらゆるブロックに対して並置されるブロックは中間のピクチャにおいて変更されることが保証されることから、このアプローチにより、エラー耐性が増加する。IRAPピクチャが消失した場合、復号器は、IRAPピクチャに対する最新の復号化されたピクチャの隠ぺいを行おうと試みようとする。最新の復号化されたピクチャとIRAPピクチャとの間でピクチャの一部が変更された場合、および上記に定義したようなスキップブロックの限定的な使用が適用されない場合、復号化されたDRAPピクチャは、ある程度の伝搬エラーを含み得る。
したがって、参照されるIRAPピクチャは損失(消失)していないが、DRAPピクチャの前の中間のピクチャが正しく復号化された場合、IRAPピクチャから静的なビデオストリームの部分は、最新に復号化されたピクチャからのスキップブロックをコピーすることにより、正しく隠ぺいされ得る。IRAPピクチャまで変更されているビデオストリームの部分は、DRAPピクチャにおけるイントラブロックによりリフレッシュされる。
別の実施形態では、IRAPに並置されたブロックが別のIRAPピクチャにおける各並置されたブロックと一致または所定の閾値より異ならない場合、復号化の順序に従って、ビデオストリームの最も近く先行するIRAPピクチャをDRAPピクチャに対する独占的な参照ピクチャとして使用し、DRAPピクチャのブロックはスキップブロックとして符号化され、それ以外の場合は、DRAPピクチャのブロックは、イントラブロックとして符号化される。別のIRAPピクチャは、復号化の順序に従ってビデオストリームにおいて先立ち、好ましくは、IRAPピクチャを符号化するより先に符号化される最も近い先のIRAPピクチャである。
特定の実施形態では、IRAPに並置されたブロックが別のIRAPピクチャ、および、復号化の順序に従って別のIRAPピクチャとIRAPピクチャの間に存在する中間のピクチャにおける各並置されたブロックと一致または所定の閾値より異ならない場合、DRAPピクチャのブロックは、復号化の順序に従って、ビデオストリームの最も近い先のピクチャをDRAPピクチャに対する独占的な参照ピクチャとして使用して、スキップブロックとして符号化され、それ以外の場合は、イントラブロックとしてDRAPピクチャのブロックを符号化する。
特定の実施形態では、連続する復号化の間、リフレッシュされたIRAPピクチャは損失されないが、別のIRAPピクチャが復号化に成功した場合、別のIRAPピクチャと参照されたIRAPピクチャとの間で固定であるビデオストリームの部分は、損失した参照されたIRAPピクチャを再構築する場合にスキップブロックを最新の復号化されたピクチャからコピーすることにより正しく隠ぺいされる。別のIRAPピクチャと参照されたIRAPピクチャとの間で変更されているビデオストリームの部分は、DRAPピクチャにおけるイントラブロックによりリフレッシュされる。
図9は、図5に示す方法の、追加的、オプション的なステップを示すフローチャートである。方法は、ステップS31から続く。次のステップS70は、DRAPピクチャの参照ピクチャセット(RPS)においてIRAPピクチャの識別子(ID)を含めることを含む。RPSは、ショートタームの参照ピクチャかロングタームの参照ピクチャとしてのIRAPピクチャをシグナリングする。
したがって、本実施形態では、IRAPピクチャは、DRAPピクチャに対して独占的な参照ピクチャであり、それによりDRAPピクチャのRPSにおいてシグナリングされる。IRAPピクチャは、復号化されたIRAPピクチャがどれくらい長く復号化ピクチャバッファ(DPB)に保存され続けるべきかに依存して、いわゆる、ショートタームの参照ピクチャかロングタームの参照ピクチャとしてシグナリングされ得る。
実施形態では、ビデオストリームを符号化することは、図5における線L1により示される第1の周期的な間隔でビデオストリームのIRAPピクチャの符号化を実行することを含む。方法はまた、図5における線L2により示される、第1の周期的な感覚より短い第2の周期的な間隔でビデオストリームのDRAPピクチャの符号化を実行することを含む。
したがって、ビデオストリームの符号化の間、ピクチャは、第1の周期でステップS30でIRAPピクチャとして符号化され、他のピクチャは、第2の周期で、すなわち、IRAPピクチャとしてのピクチャの符号化より頻繁に、ステップS31でDRAPピクチャとして符号化される。
例えば、一般的なビデオコンテンツに対して、伝統的に、IRAPピクチャは0.5から1毎に挿入される。実施形態によれば、そのようなIRAPピクチャの多くは、ビデオビットストリームに対する全体のビットコストを低減させるために、代わりにDRAPピクチャとして符号化される。例えば、IRAPピクチャは、10から60秒ごとに代わりに挿入され、DRAPピクチャは、0.5から1秒ごとに挿入される。
符号化されたビデオにおける周期的なIRAPピクチャは、いくつかの理由、例えばチャネル切り替えおよびトリックプレイ(早送り、巻き戻し、逆行ジャンプ、前方ジャンプ、位置への移動)のためのランダムアクセスオペレーションを提供するため、およびエラーの場合の符号化されたビデオのリフレッシュのために、使用され得る。
スクリーンコンテンツ等の、長い時間間隔でビデオの一部のみが更新されるビデオコンテンツに対しては、周期的な手法でIRAPピクチャを挿入することは、圧縮の効率性の観点から不必要にコストが高くなり得る。
典型的なビデオコンテンツに対しては、IRAPピクチャは、ビットレートに関して、P-ピクチャとして符号化するより3-5倍程度のコストがかかり、B-ピクチャとして符号化するより5-10倍程度のコストがかかる。スクリーンのある程度の部分がまれに更新されるので十分であり得る、スクリーンコンテンツの符号化に対しては、IRAP-ピクチャと、P-ピクチャおよびB-ピクチャの間の割合は、P-ピクチャおよびB-ピクチャが典型的には多くのスキップブロックを含むため、典型的には、より大きい。IRAPピクチャを伴うビデオのリフレッシュのプロセスは、したがって、このシナリオに対してはビットの観点から相対的にかなりコストがかかる。
以下の実施形態では、全体のビットレートを低減させながら同時にIRAPピクチャのエラー耐性特性をある程度維持するビデオストリームを符号化する方法を説明する。ビデオストリームはまた、ランダムアクセスオペレーションが、ビットビットストリームにおけるIRAPピクチャの間隔より頻繁な間隔で実行可能であるように、符号化される。
ここで、以下に、様々な実施形態をより詳細に説明する。
[実施形態1]
本発明の第1の実施形態では、ビデオストリームは、少なくとも一つのIRAPピクチャと、前のIRAPピクチャだけを参照し得るP-ピクチャを伴って符号化される。この制約を伴うP-ピクチャは、以下、DRAPピクチャまたはリフレッシュP-ピクチャと参照される。
図11は、DRAPピクチャに対する符号化パターンの例を示す。IRAPピクチャは、24番目のピクチャごとに挿入され、DRAPピクチャは、8番目のピクチャごとに挿入される。濃い灰色のピクチャは、IRAPピクチャであり、中間の灰色のピクチャは、DRAPピクチャであり、白色のピクチャは、従来の方式で符号化されたP-ピクチャまたはB-ピクチャである。
DRAPピクチャと参照されたIRAPピクチャの間の距離に依存して、ショートタームのピクチャの参照またはロングタームのピクチャの参照のいずれかとして、IRAPピクチャに対する参照が符号化されることが可能である。
図10は、1番目の実施形態に従う、ビットストリームを符号化するための処理を説明するフローチャートである。当該処理は、ビデオビットストリームの始まりにおいて、IRAPピクチャを符号化することにより開始する。そして、(図においてリフレッシュP-ピクチャを示す)DRAPピクチャおよび他の時間的予想ピクチャは、GOP(group of picture)に対してビデオビットストリームにおいて符号化される。GOPは、ビデオ符号化において良く知られた用語であり、IRAPピクチャで始まるビデオストリームにおいて連続するピクチャのグループを記述する。DRAPピクチャは、以下の実施形態4に従って、周期的な間隔で挿入され得る。各新しいGOPは、IRAPピクチャで開始する。
したがって、DRAPピクチャとして次のピクチャを符号化するかどうかの決定がなされる。もし決定されれば、DRAPピクチャは、前に符号化されたIRAPピクチャまたは前に符号化されたDRAPピクチャだけをリフレッシュして符号化される。次のピクチャがDRAPとして符号化されなかった場合、時間的予想ピクチャ、すなわち非RAP、P-ピクチャまたはB-ピクチャとしてそれを符号化するかどうかの決定がなされる。もし決定されれば、ピクチャは、そのような他の時間的予想ピクチャとして符号化される。もしビデオストリームの最後に到達した場合、方法は終了する。そうでなければ、GOPの最後に到達したかどうかがチェックされる。最後に到達していれば、方法は、Pピクチャを符号化することにより続く。最後に到達していなければ、方法は、次のピクチャが、他の時間的予想ピクチャのDRAPピクチャとして符号化されるかどうかをチェックすることにより、戻る。
[実施形態2]
実施形態では、符号化されたDRAPピクチャは、前に符号化されたIRAPピクチャまたは別の前に符号化されたDRAPピクチャのいずれかを参照し得る。DRAPピクチャが別のDRAPピクチャを参照する場合、DRAPピクチャを復号化するために、IRAPピクチャに戻る依存性チェインにおける全てのピクチャが復号化される必要がある。前に復号化されたDRAPを参照し得るDRAPピクチャに対する符号化パターンが、図12に示される。濃い灰色のピクチャは、IRAPピクチャであり、中間の灰色のピクチャは、DRAPピクチャであり、白色のピクチャは、従来の方式で符号化されたP-ピクチャまたはB-ピクチャである。
DRAPピクチャと参照されたIRAPピクチャまたは前のDRAPピクチャの間の距離に依存して、ショートタームのピクチャの参照またはロングタームのピクチャの参照のいずれかとして、IRAPピクチャまたは前のDRAPピクチャに対する参照が符号化されることが可能である。
[実施形態3]
実施形態において、符号器は、イントラブロックまたはスキップブロックだけを伴ってDRAPピクチャを符号化する。ここで、DRAPピクチャは、前に符号化されたIRAPピクチャまたは前に符号化されたDRAPピクチャのいずれかを参照する。
本実施形態の一つのバージョンにおいて、DRAPピクチャにおけるブロックは、前に符号化されたIRAPピクチャにおける並置されるブロックが、DRAPピクチャまでのIRAPピクチャの後に符号化された全てのピクチャにおける並置されたブロックと一致するならば、スキップブロックとして符号化されることで十分であり得る。並置されるブロックは、現在のピクチャにおけるブロックと同じ画素位置にある、前のピクチャにおけるブロックである。もし中間のピクチャにおいて全ての並置されたブロックがIRAPピクチャにおける並置されたブロックと一致するならば、ブロックはイントラブロックとして符号化されなければならない。
したがって、符号化器は、符号化され参照されたIRAPピクチャまで、並置されたブロックが変化したかどうかを追跡し続ける必要がある。特定のブロックが符号化され参照されたIRAPピクチャまで変化したかどうかをチェックするために、直接的な画素マッチングまたはハッシュベースの比較方法が配置され得る。ハッシュベースの比較では、比較される2つのブロックのそれぞれに対して、ハッシュ値が従来のハッシュアルゴリズムを用いて算出される。もし2つのブロックに対する2つのハッシュ値が同じ場合、ブロックが正確にマッチする可能性は、100%に近い。直接の画素のマッチングと比較してハッシュ値を用いる利点は、検索が早く行われることである。
参照されたIRAPピクチャが損失するがIRAPピクチャの前のピクチャが正しく復号化された場合、IRAPピクチャまでの静止しているビデオの部分は、最新に復号化されたピクチャからスキップブロックをコピーすることにより、正しく隠ぺいされ得る。IRAPピクチャまで変更されているビデオの部分は、イントラブロックによりリフレッシュされる。これは、図13に示される。
もしIRAPが損失した場合、スキップは、ビデオが静的の場所にのみなされることから、DRAPにおいてアーチファクト無しにビデオを隠ぺいすることができる大きなチャンスである。イントラブロックは、濃い灰色で示され、インターブロックは、灰色で示され(これらのいくつかはイントラブロックでもあり得る)、白のブロックはスキップされたブロックである。
[実施形態4]
本発明の実施形態において、ビデオストリームは、周期的な手法で、IRAPピクチャとDRAPピクチャの両方を伴って符号化される。DRAPピクチャは、IRAPピクチャより、より頻繁に符号化される。例えば、DRAPピクチャは、ビデオビットストリームにおいて、1-2秒ごとに挿入され、IRAPピクチャは10-30秒ごとに挿入され得る。
[実施形態5]
本発明の実施形態において、DRAPピクチャを用いて符号化されるビデオ画像は、スライスに分割され、少なくとも一つのスライスは、イントラ符号化されたブロックを含み、少なくとも一つの他のスライスは、スキップとして符号化される少なくとも一つのブロックを含む。
図14は、ビデオ画像をイントラ符号化されたスライスと、インター符号化されたスライスへ分割することを示す。参照されたIRAPまたはDRAPピクチャまで変化がない、ときに最も大きい符号ユニット(LCUs)として参照される符号木ユニット(CTUs)は、イントラとして符号化される。参照されたIRAPまたはDRAPピクチャまで変化してないCTUsは、スキップとして符号化される。図14の左の部分は、典型的なスクリーンコンテンツを示す。図14の右の部分では、ビデオ画像またはピクチャは、第1のタイルにおける2つのイントラスライスおよびインタースライス、および、第2のタイルにおける1つのインタースライス、に分割されている。灰色のブロックは、イントラ符号化されたCTUsであり、白いブロックは、スキップとして符号化されたCTUsである。
このアプローチの利点は、イントラブロックのみを伴うスライスは、NALユニットのヘッダにおいて、イントラスライスとしてシグナリングされ、それにより、ビデオビットストリームにおけるイントラブロックの位置を識別することがより容易になる。
このアプローチを伴う欠点は、スライスが、典型的には64×64画素のHEVCにおける最も大きい符号ユニットである、CTUsに分割されることである。DRAPピクチャにおけるイントラ符号化されたブロックは、このケースでは、CTUよりも優れた精度を有さない。加えて、イントラフレーム予想は、スライスの境界に渡って行われず、スライスの構成は、ビデオストリームにおいてシグナリングされなければならず、その両方により、典型的にはビットレートにおいて若干の増加が導かれる。
[実施形態6]
本発明の実施形態において、DRAPピクチャは、ランダムアクセスポイントオペレーションを許容するために、ビデオビットストリームにおいて符号化される。ランダムアクセスポイントとして、DRAPピクチャを復号化して使用するために、参照されたIRAPまたはDRAPピクチャは最初に復号化される必要がある。
DRAPピクチャの位置において実施可能なランダムアクセスオペレーションは、それに限定されないが、トリックプレイ(早送り、巻き戻し、逆行ジャンプ、前方ジャンプ、位置への移動)およびチャネル切り替えを含む。
本発明の一つのバージョンでは、イントラまたはスキップブロックだけがDRAPピクチャにおいて使用され得るという制限は、DRAPピクチャがランダムアクセスに対して使用される場合に適用される。DRAPピクチャにおいてランダムアクセスを実行するための計算の複雑性は、動き補償およびサブ画素補間がDRAPピクチャを復号化する間に必要ないから、DRAPピクチャがイントラおよびスキップのみを用いて符号化される場合に低減する。
[実施形態7]
本発明の実施形態では、ピクチャがDRAPピクチャであることを識別するために、復号器は、ピクチャはIRAPピクチャのみを参照するか、ピクチャは前に識別されたDRAPピクチャのみを参照するかをチェックする。
本実施形態の別のバージョンでは、ピクチャがDRAPピクチャであることを識別するために、復号器は、ピクチャはイントラ符号化されたブロックまたはIRAPピクチャを参照するスキップで符号化されたブロックか、DRAPピクチャとして前に識別されたピクチャのみを有するかどうかをチェックする。
[実施形態8]
本発明の別の実施形態では、DRAPピクチャは、実施形態6と同様に、ビデオビットストリームにおけるRAPピクチャとして使用されるが、クローズド(closed)符号器/復号器のシステムにおいて使用される。符号器および復号器は、どの間隔にDRAPピクチャが配置されるべきかについて共通に把握することができる。そして復号器は、前もってDRAPピクチャの位置を把握する。
提案する解決策のアイディアは、符号化されたビデオビットストリームにおける特定の間隔において、P-ピクチャ等の時間的予想ピクチャを用いてビデオをリフレッシュすることである。これらのP-ピクチャは、リフレッシュP-ピクチャまたはDRAP(依存性ランダムアクセスポイント)ピクチャとしてリフレッシュされる。DRAPピクチャは、前にIRAPピクチャのみを参照するという制約を有する。一つの実施形態において、DRAPピクチャは、別のピクチャも参照し得る。
本発明の実施形態において、イントラブロックまたはスキップブロックのみが、DRAPピクチャを符号化するために使用される。スキップブロックは、現在のブロックの変化が、前の参照されたIRAPピクチャまたはDRAPピクチャまで発生しない場合にのみ使用され得る。イントラ符号化されたブロックは、したがって、最後のIRAPピクチャまたはDRAPピクチャまで変化しないDRAPピクチャの部分に対して使用されなければならない。
本発明の追加的な実施形態では、DRAPピクチャは、ランダムアクセスオペレーションのために使用されるために符号化される。ここで、復号器は、ビデオビットストリームにおけるDRAPピクチャを検出する為に、様々な方法を使用する。
IRAPピクチャは、典型的には、圧縮の効率性の観点では、予想符号化ピクチャより、符号化するために、何倍か多くのコストがかかる。IRAPピクチャを伴う利点は、それらは前のピクチャに依存しないことであり、ゆえに、前のピクチャにおけるエラーがある場合に、ビデオをリフレッシュする。我々の解決策では、イントラ符号化ピクチャからのエラー耐性の特性と、予想符号化されたピクチャの低ビットレートの要求は、組み合わされる。
前に復号化されたIRAPピクチャまたはDRAPピクチャにおけるブロックと一致しているブロックをスキップすることのみで、中間のP-ピクチャまたはB-ピクチャからのエラーが伝搬しないことが保証される。IRAPピクチャは、全てのブロックをイントラとして符号化し、DRAPピクチャと比較して大ビットレートオーバーヘッドを創出する。
実施形態の別の利点は、参照されたIRAPピクチャが最初に復号化された場合に、DRAPピクチャがランダムアクセスオペレーションのために使用され得ることである。
実施形態は、スクリーンコンテンツ等の時間に渡ってあまり変わらないコンテンツに対して、特に有益である。
実施形態では、ビデオビットストリームにおけるピクチャを符号化する方法が提供される。方法は、
- IRAPピクチャを符号化することと、
- 中間のピクチャを符号化することと、
- 前記IRAPピクチャにのみ依存する時間的予想ピクチャを符号化すること、を含み、前記時間予想ピクチャは、DRAPピクチャとして参照される。
実施形態において、方法はまた、前記1番目のDRAPピクチャにのみ依存する追加的な時間的予想ピクチャを符号化することとも含み、前記追加的な時間的予想ピクチャは、DRAPピクチャとしても参照される。
実施形態では、DRAPピクチャはイントラブロックまたはスキップブロックを用いてのみ符号化される。
実施形態では、DRAPピクチャは、周期的な間隔で挿入され、当該間隔は、ビデオビットストリームにおけるIRAPピクチャの間隔と等しいか、それより短い。
実施形態において、DRAPピクチャのイントラ符号化されたブロックは、少なくとも一つのイントラスライスに符号化され、同じピクチャの少なくとも一つのスキップブロックは、少なくとも一つのインタースライスに符号化される。
実施形態では、ビデオビットストリームにおけるピクチャを復号化する方法が提供される。方法は、
- ランダムアクセスオペレーションのためにDRAPピクチャを使用する復号器と、
- イントラブロックまたはスキップ符号化されたブロックで構成されるのみであることを検出することにより、DRAPピクチャがランダムアクセスのために使用することができることを決定する復号器と、を有する。
実施形態では、ビデオビットストリームにおけるピクチャを復号化する方法が提供される。方法は、
- ランダムアクセスオペレーションのためにDRAPピクチャを使用する復号器と、
- IRAPピクチャを参照するのみであることを検出することにより、DRAPピクチャがランダムアクセスのために使用することができることを決定する復号器と、を有する。
実施形態では、ビデオビットストリームにおけるピクチャを復号化する復号器に対する方法が提供され、当該復号器は、符号器とのクローズドシステムにおけるものである。方法は、
- ビデオビットストリームを復号化し、
- ランダムアクセスオペレーションのためにDRAPピクチャを使用する復号器と、
- 所定の間隔を用いてその位置を検出することにより、DRAPピクチャがランダムアクセスのために使用することができることを決定する復号器と、を有する。
実施形態では、符号器は、ブロックが参照されたIRAPピクチャにおける並置されたブロックおよび参照されたIRAPピクチャとDRAPピクチャの間のピクチャにおける並置されたブロックと一致するならば、スキップ符号化を伴ってブロックを符号化する。
実施形態では、DRAPピクチャにおけるブロックが並置されたブロックと一致するかのチェックが、ハッシュアルゴリズムを用いて実行される。
IRAPピクチャは、ランダムアクセスおよび符号化されたビデオに対するエラー耐性を提供するために、周期的な手法で共通に使用される。一般的なビデオコンテンツに対しては、IRAPピクチャは、ビットレートに関して、典型的に、P-ピクチャとして符号化するより3-5倍程度のコストがかかり、B-ピクチャとして符号化するより5-10倍程度のコストがかかる。
0.5から1.0秒ごとにIRAPピクチャを挿入することは、ほんの数ビットのコストがかかる。いくつかスクリーンコンテンツ等の、画像の大部分がほとんどこうしんされないシーケンスに対しては、IRAP-ピクチャと、P-ピクチャおよびB-ピクチャの間の割合は、P-ピクチャおよびB-ピクチャ典型的には多くのスキップブロックを含み、典型的には大きい。
かなり静的なコンテンツを頻繁に有するビデオサービスは、スクリーン共有と監視ビデオを含む。スクリーン共有は、例えば、人々の間のライブコミュニケーションとして使用され得る。または、サーバのような他のコンピュータをモニタするために設定される。全てのこれらのサービスに対して、ビデオマテリアルを記録し保存することに、しばしば関心がもたれる。保存されたビデオマテリアルは、好ましくは、ランダムアクセスオペレーションを用いて簡単に検索されるべきである。同時に、帯域幅の使用を制限し、記憶スペースを確保するために、最小にビデオビットレートを維持することに関心がもたれる。
提案される解決策は、同じランダムアクセスおよびIRAPピクチャのエラー耐性特性を維持しながら、スクリーンコンテンツ符号化(SCC)並びに一般的コンテンツ符号化におけるIRAPピクチャにおいて費やされる大量のビットを減らすことを目的とする。これは、新しいピクチャのタイプを導入することによりなされ、それはここでは依存性ランダムアクセスポイント(DRAP)ピクチャと呼ばれる。DRAPピクチャは、前のIRAPピクチャだけを(およびいくつかの実施形態では他のDRAPピクチャも)参照し得るP-ピクチャである。
DRAPピクチャは、ビットストリームの全体のビットコストを削減するために、いくつかのIRAPピクチャを置き換えることができる。また、ランダムアクセスポイントは、同じビットレートが与えられてより頻繁におかれることが可能である。DRAPピクチャにおけるランダムアクセスは、先行するIRAPピクチャを第1に復号化し、それからDRAPピクチャを復号化することによりなされる。
ランダムアクセスは、参照されるIRAPピクチャ(および、もし関連すれば参照されたDRAPピクチャ)はDRAPピクチャを復号化する前に復号化されなければならないという制約を伴うDRAPに対して提供される。DRAPピクチャは、同時にランダムアクセスを提供するためのビットレートオーバーヘッドを最小に維持されるので、例えば、ビデオに渡る早送りに対してかなり有益である。
別の推奨の制約は、DRAPを渡る予想が禁止されるということである。DRAPピクチャに続く非RAPピクチャは、予想のためにDRAPピクチャにに先行するあらゆる非RAPピクチャを使用してはいけない。この制約の一つの代替的な形式は、復号化と出力の両方の順序において、DRAPピクチャに続く非RAPピクチャは、符号化の順序においてDRAPピクチャに先行する参照のためのあらゆる非RAPピクチャを使用しなくてもよいということである。
本発明の実施形態では、イントラブロックまたはスキップブロックが、改良したエラー耐性を提供するために、DRAPピクチャに対して許容される。
HEVC並びにAVC/H.264において、補助的強化情報(supplemental enhancement information(SEI))メッセージが存在し、これはリカバリポイントSEIと呼ばれる。リカバリポイントSEIメッセージは、ランダムアクセスを開始した後、または、符号器がビットストリームにおいて破壊されたリンクを示した後に、復号化処理がいつディスプレイに対して容認されるピクチャを提供するかを決定する際に、復号器を支援する。復号化処理がリカバリポイントSEIメッセージに関連付けられた復号化の順序で、ピクチャに対して開始された場合、このSEIメッセージにおいて特定された出力の順序におけるリカバリポイントにおける、またはそれに続く、全ての復号化されたピクチャは、コンテンツにおいて正しいか、略正しいかが示される。
リカバリポイントSEIメッセージは、DRAPピクチャの機能性を実現化するために使用されることはできない。もしリカバリポイントSEIメッセージが、IRAPピクチャと共に送信された場合、復号化の順序においてそれに続く全てのピクチャは、DRAPピクチャまで復号化されなければならず、それは望ましくない。そして、リカバリポイントSEIメッセージは、DRAPピクチャと共に送信されることはできない。なぜならば、復号化の順序においてリカバリポイントSEIメッセージに先行する全てへの依存を示すことができないからである。
第1の観点によれば、ビデオビットストリームを符号化するための方法が提供される。方法において、イントラランダムアクセスポイント(IRAP)ピクチャが符号化され、IRAPピクチャにのみ依存するインターピクチャが符号化される。ここで、インターピクチャは、依存性ランダムアクセスポイント(DRAP)ピクチャとも参照される。
第2の観点によれば、ビデオビットストリームを復号化するための方法が提供される。方法において、イントラランダムアクセスポイント(IRAP)ピクチャが復号化され、IRAPピクチャにのみ依存するインターピクチャが復号化される。ここで、インターピクチャは、依存性ランダムアクセスポイント(DRAP)ピクチャとも参照され、DRAPピクチャは、ランダムアクセスオペレーションを実行するために使用される。
第3の観点によれば、図16を参照して、ビデオビットストリームを符号化するための符号器200が提供される。符号器200は、イントラランダムアクセスポイント(IRAP)ピクチャを符号化し、IRAPピクチャにのみ依存するインターピクチャが符号化するように構成された処理手段を有し、ここで、インターピクチャは、依存性ランダムアクセスポイント(DRAP)ピクチャとも参照される。
第4の観点によれば、図16を参照して、ビデオビットストリームを復号化するための復号器100が提供される。復号器100は、イントラランダムアクセスポイント(IRAP)ピクチャを復号化し、IRAPピクチャにのみ依存するインターピクチャを復号化するように構成された処理手段を有し、ここで、インターピクチャは、依存性ランダムアクセスポイント(DRAP)ピクチャとも参照され、DRAPピクチャは、ランダムアクセスオペレーションを実行するために使用される。
符号器200と復号器100のそれぞれにおいて、処理手段は、プロセッサとメモリを有し、メモリは、プロセッサにより実行された場合に、以下に説明する方法を実行するように構成された命令を含む。
符号器200は、出力部を有し、これは、符号化されたビデオビットストリームを、例えばSEIメッセージにより例示される制御情報とともに送信する。復号器100は、入力部を有し、これは、ビデオビットストリームと制御情報を受信する。
符号器200と復号器100はそれぞれ、ユーザ端末またはネットワークノード等の装置において配置され得る。ユーザ端末は、例えば、ビデオカメラ、携帯電話、またはタブレットである。
図15は、発明の、強調される構成要素を示すブロック図である。ビデオ符号器200は、ネットワークを介して送信され、ビデオ復号器100により復号化されることが可能なビデオビットストリームを創出する。ビデオ符号器200は、DRAPピクチャが挿入されるべきなのはどのピクチャ位置であるかを決定するリフレッシュP-ピクチャ又はDRAPの選択器201を有する。ビデオ符号器200はまた、DRAPピクチャを符号化し、実施形態3に従う並置ブロック整合器203を含み得るリフレッシュP-ピクチャ又はDRAPの符号化部202を有する。ビデオ復号器100は、実施形態7に従うリフレッシュP-ピクチャ又はDRAPの検出器101を有し得る。DRAPピクチャは、ランダムアクセスポイント選択器102または隠ぺい(concealment)部103を伴って使用され得る。ランダムアクセスポイント選択器102は、どのランダムアクセスポイントがランダムアクセスオペレーションに対して利用可能かを決定する。リフレッシュP-ピクチャ又はDRAPの検出器101は、利用可能なランダムアクセスポイントのセットに追加されるDRAPピクチャを伴うランダムアクセス選択器を提供し得る。ビデオビットストリームにおいてエラーが発生する場合、P-ピクチャがDRAPピクチャであるという知識が、エラーを隠ぺいする際に隠ぺい部103を支援し得る。
例示的な実施形態は、いくつかの手法において与えられる命令に対して提供され得ることが理解されるべきである。
実施形態の更なる観点は、ビデオビットストリームのピクチャを復号化するための復号器に関する。復号器は、ビデオビットストリームのIRAPピクチャを復号化するように構成される。復号器はまた、IRAPピクチャおよび/またはビデオビットストリームにおいて復号化の順序に従って前のDRAPピクチャをDRAPピクチャに対する独占的な参照ピクチャとして用いて、時間的予想ピクチャとしてビデオビットストリームのDRAPを復号化するように構成される。DRAPピクチャは、ビデオビットストリームにおいて、ランダムアクセスポイントを構成する。
実施形態において、復号器は、ビデオビットストリームにおいて、復号化の順序に従って最も近く先行するIRAPピクチャのみを、DRAPピクチャに対する独占的な参照ピクチャとして使用して復号化するように構成される。
実施形態では、復号器は、IRAPピクチャおよび/または前のDRAPピクチャを、DRAPピクチャに対する独占的な参照ピクチャとして用いて、スキップブロックとしてDRAPピクチャのブロックを復号化する、または、イントラブロックとして復号化するように構成される。
特定の実施形態において、復号器は、イントラブロックとしてDRAPピクチャにおいて少なくとも一つのスライスのブロックを復号化するように構成される。復号器はまた、DRAPピクチャに対する独占的な参照ピクチャとして、IRAPピクチャおよび/または前のDRAPピクチャを用いて、スキップブロックとしてDRAPピクチャの少なくとも一つのスライスのブロックを復号化するように構成される。
実施形態では、復号器は、出力の順序および復号化の順序でDRAPピクチャに続くビデオビットストリームの少なくとも一つの非RAPピクチャを復号化するように構成される。少なくとも一つの非RAPピクチャは、参照ピクチャとしてビデオビットストリームにおける復号化の順序においてDRAPピクチャに先行するあらゆる非RAPピクチャを使用しない。
実施形態のさらに別の観点は、ビットストリームにおけるピクチャを符号化するための符号器に関連する。符号器は、ビデオビットストリームのIRAPピクチャを符号化するように構成される。符号器はまた、IRAPピクチャおよび/またはビデオビットストリームにおいて復号化の順序に従って前のDRAPピクチャを、DRAPピクチャに対する独占的な参照ピクチャとして用いて、時間的予想ピクチャとしてビデオビットストリームのDRAPを符号化するように構成される。DRAPピクチャは、ビデオストリームの符号化されたピクチャのビットビデオストリームにおいて、ランダムアクセスポイントを構成する。
実施形態において、符号器は、ビデオビットストリームにおいて、復号化の順序に従って最も近く先行するIRAPピクチャを、DRAPピクチャに対する独占的な参照ピクチャとして使用して符号化するように構成される。
実施形態では、符号器は、IRAPピクチャおよび/または前のDRAPピクチャを、DRAPピクチャに対する独占的な参照ピクチャとして用いて、スキップブロックとしてDRAPピクチャのブロックを符号化する、または、イントラブロックとして符号化するように構成される。
特定の実施形態では、符号器は、イントラブロックとしてDRAPピクチャにおいて少なくとも一つのスライスのブロックを符号化するように構成される。符号器はまた、DRAPピクチャに対する独占的な参照ピクチャとして、IRAPピクチャおよび/または前のDRAPピクチャを用いて、スキップブロックとしてDRAPピクチャの少なくとも一つのスライスのブロックを符号化するように構成される。
実施形態において、符号器は、復号化の順序に従って、IRAPピクチャとDRAPピクチャの間に存在する中間のピクチャを符号化するように構成される。
実施形態では、符号器は、中間のピクチャにおける各並置されたブロックと一致または所定の閾値より変わらない場合に、DRAPピクチャに対する独占的な参照ピクチャとしてのIRAPピクチャを用いて、DRAPピクチャのブロックをスキップブロックとして符号化し、それ以外の場合は、DRAPピクチャのブロックをイントラブロックとして符号化するように構成される。
別の実施形態では、符号器は、IRAPピクチャにおける並置されたピクチャが別のIRAPピクチャにおける並置されたブロックと一致または所定の閾値より変わらない場合に、DRAPピクチャに対する独占的な参照ピクチャとして、復号化の順序に従って最も近く先行するIRAPピクチャを用いて、DRAPピクチャのブロックをスキップブロックとして符号化し、それ以外の場合は、DRAPピクチャのブロックをイントラブロックとして符号化するように構成される。別のIRAPピクチャは、復号化の順序において、IRAPピクチャに先行する前のIRAPピクチャである。
更なる別の実施形態では、符号器は、IRAPピクチャにおける並置されたブロックが、別のIRAPピクチャ、および、復号化の順序に従って別のIRAPピクチャとIRAPピクチャとの間に存在する中間のピクチャにおける各並置されたブロックと一致または所定の閾値より変わらない場合に、DRAPピクチャに対する独占的な参照ピクチャとして、復号化の順序に従って最も近く先行するIRAPピクチャを用いて、DRAPピクチャのブロックをスキップブロックとして符号化し、それ以外の場合は、DRAPピクチャのブロックをイントラブロックとして符号化するように構成される。別のIRAPピクチャは、復号化の順序において、IRAPピクチャに先行する前のIRAPピクチャである。
実施形態において、符号器は、出力の順序および復号化の順序で、DRAPピクチャに続くビデオビットストリームの少なくとも一つの非RAPピクチャを符号化するように構成される。少なくとも一つの非RAPピクチャは、参照ピクチャとしてビデオビットストリームにおける復号化の順序においてDRAPピクチャに先行するあらゆる非RAPピクチャを使用しない。
実施形態では、符号器は、DRAPピクチャの参照ピクチャセットにおけるIRAPピクチャの識別子を含むように構成される。参照ピクチャセットは、ショートタームの参照ピクチャかロングタームの参照ピクチャとしてのIRAPピクチャをシグナリングする。
実施形態では、符号器は、第1の周期的な間隔でビデオストリームのIRAPの符号化を実行し、第1の周期的な間隔よいも短い第2の周期的な間隔でビデオストリームのDRAPピクチャの符号化を実行するように構成される。
ここに説明する方法および装置は、あらゆる手法において組み合わされ、再構成され得ることが理解されるだろう。
例えば、実施形態は、ハードウェアにおいて実装され得るが、適切な処理回路による実行に対して、ソフトウェアにおいて実装され、それらの組み合わせでもあり得る。
ここに説明するステップ、機能、手順、モジュール、および/またはブロックは、あらゆる従来の技術、例えば、汎用の電子回路または特定用途の回路の両方を含む、離散または集積回路の技術、を用いて、ハードウェアに実装され得る。
特定の例は、一つ以上の適切に構成されたデジタル信号プロセッサおよび他の既知の電子回路、例えば、特別な機能を実行するために相互接続された離散ロジックゲート、または特定用途向け集積回路(ASICs)、を含む。
図17は、実施形態に従う復号器110の特定のハードウェア実装を示す。実施形態において、復号器110は、IRAPピクチャを復号化するように構成されたIRAP復号器111を有する。復号器110はまた、DRAPピクチャを復号化するように構成されたDRAP復号器112を有する。
図17において、復号器110は、個別のIRAP復号器111とDRAP復号器112を有するように示されている。他の実装では、復号器110は、ピクチャがIRAPピクチャかDRAPピクチャか非RAPピクチャかにかかわらず、ビデオビットストリームのピクチャに対して動作して復号化する、単一の復号化部を有してもよい。
復号器110は、好ましくは、ピクチャパラメータセット(PSS)、シーケンスパラメータセット(SPS)、およびビデオパラメータセット(VPS)等のビデオビットストリームに関連する他の制御データを運ぶ一連のNALユニットの形態で、ビデオビットストリームを受信するように構成された入力部113も有する。
復号器110は、さらに、復号器110、特にIRAP復号器111とDRAP復号器112により復号化されたピクチャを出力する出力部114を有する。出力部114は、好ましくは、ディスプレイまたはビデオストリームのディスプレイに対するスクリーンに、復号化されたピクチャを出力するように構成される。また、出力部114は、ビデオストリームをコード変換するように構成されたコード変換器、または、復号化されたピクチャの保存のためのメモリに、復号化されたピクチャを出力し得る。
入力部113は、特にビデオビットストリームの無線受信のために、受信器または送受信器として構成され得る。また、入力部113は、特にビデオビットストリームの有線受信のために、一般的な入力または入力ポートの形態であり得る。これに対応して、出力部114は、送信器、送受信器、一般的な出力または出力ポートとして実装され得る。
復号器110は、好ましくは、IRAP復号器111またはDRAP復号器112により生成された復号化されたピクチャを一時的に保存するように構成された復号化ピクチャバッファ(DPB)115も有する。復号化されたピクチャは、好ましくは、DPB115に保存され、ビデオビットストリームにおいて連続するピクチャを復号化する際に参照ピクチャとして使用され、および/または、出力の順序に従って出力されるべきピクチャまで保存され得る。
入力部113は、受信したピクチャを復号化のために転送するために、好ましくは、IRAP復号器111およびDRAP復号器112と接続される。IRAP復号器111とDRAP復号器112は、復号化されたピクチャをDPB115に保存するために、DPB115に接続され、DRAP復号器112は、現在のDRAPピクチャを復号化している間、前に復号化されたIRAPピクチャおよび/またはDRAPピクチャにアクセスし得る。出力部114は、好ましくは、出力の順序に従ってDBP115から復号化されたピクチャを出力するために、DBP115に接続される。
図20は、実施形態に従う符号器210の対応するハードウェア実装を示す。実施形態において、符号器210は、IRAPピクチャを符号化するように構成されたIRAP符号化器211を有する。符号器210はまた、DRAPピクチャを符号化するように構成されたDRAP符号器212を有する。
図20において、復号器210は、個別のIRAP符号器211とDRAP符号器212を有するように示されている。他の実装では、符号器210は、ピクチャがIRAPピクチャかDRAPピクチャか非RAPピクチャかにかかわらず、ビデオビットストリームのピクチャに対して動作して符号化する、単一の符号化部を有してもよい。
符号器210は、好ましくは、ビデオストリームを受信するように構成された入力部213も有する。符号器210は、ビデオビットストリームを出力するように構成された出力部214を有する。出力部214は、典型的には、ビデオビットストリームにおけるピクチャの符号化されたビデオデータを運ぶNALユニットと、ビデオビットストリームに関連する他の制御データを運ぶNALユニットの一連の形態である。
入力部213は、受信器、送受信器、一般的な入力または入力ポートとして実装され得る。これに対応して、出力部214は、送信器、送受信器、一般的な出力または出力ポートとして実装され得る。
符号器210は、好ましくは、ビデオビットストリームの符号化の間に生成された、復号化または再構成されたピクチャを一時的に保存するために構成されたDBP215を有する。
入力部213は、受信したピクチャを符号化のために転送するために、好ましくは、IRAP符号器211およびDRAP復号器212と接続される。IRAP符号器211とDRAP復号器212は、復号化または再構成されたピクチャをDBP115において保存するために、DPB215に接続される。出力部214は、好ましくは、符号化されたピクチャのビデオビットストリームを出力するためのIRAP符号器211およびDRAP復号器212に接続される。
また、説明するステップ、機能、手順、モジュール、および/またはブロックの少なくともいくつかは、一つ以上のプロセッサまたは処理ユニット等の適切な処理回路による実行のためのコンピュータプログラム等のソフトウェアに実装され得る。
処理回路の例は、限定されないが、一つ以上のマイクロプロセッサ、一つ以上のデジタル信号プロセッサ(DSPs)、一つ以上の中央処理ユニット(CPUs)、ビデオ加速(acceleration)ハードウェア、および/または一つ以上のフィールド・プログラマブル・ゲート・アレイ(FPGA)または一つ以上のプログラマブル・ロジック・コントローラ(PLC)等の好適なプログラマブル論理回路を含む。
提案される技術が実装されるあらゆる従来の装置またはユニットの一般的な処理機能を再利用することが可能であることも理解されるべきである。例えば、現存のソフトウェアと再プログラミングすることにより、または、新しいソフトウェア構成を追加することにより、現存のソフトウェアを再利用することが可能であり得る。
特定の例では、復号器120(図18参照)は、プロセッサ121、および、プロセッサ121により実行可能な命令を含むメモリ122を有する。プロセッサ121は、IRAPピクチャを復号化し、DRAPピクチャを復号化するように動作する。
実施形態において、復号器120は、ビデオビットストリームを受信し、復号化されたピクチャを出力するように構成された入力/出力(I/O)部123も有する。
復号器120のメモリ122は、復号化されたピクチャを保存し、アクセスするために、好ましくは、プロセッサ121により使用されるDPBを有する。
特定の実施形態では、プロセッサ121は、上記に説明した動作を実行するために、メモリ122に保存される命令を実行する際に動作する。よって、プロセッサ121は、規定のソフトウェアの実行を可能とするために、メモリ122に相互接続される。
対応する特定の例では、符号器220(図21参照)は、プロセッサ221、および、プロセッサ221により実行可能な命令を含むメモリ222を有する。プロセッサ221は、IRAPピクチャを符号化し、DRAPピクチャを符号化するように動作する。
実施形態において、符号器220は、ビデオストリームを受信し、ビデオビットストリームを出力するように構成された入力/出力(I/O)部223も有する。
符号器220のメモリ222は、復号化または再構成されたピクチャを保存するために、好ましくは、プロセッサ221により使用されるDPBを有する。
特定の実施形態では、プロセッサ121は、上記に説明した動作を実行するために、メモリ222に保存される命令を実行する際に動作する。よって、プロセッサ221は、規定(normal)のソフトウェアの実行を可能とするために、メモリ222に相互接続される。
図23は、プロセッサ310、付随するメモリ320、および通信回路330を含む、ユーザ装置(UE)300の例を示す概略的なブロック図である。
この特定の例では、ここに説明するステップ、機能、手順、モジュール、および/またはブロックの少なくともいくつかがコンピュータプログラム340に実装され、それは、一つ以上のプロセッサ310を含む処理回路による実行のためにメモリ320に対してロードされる。プロセッサ310とメモリ320は、規定のソフトウェアの実行を可能にするために、それぞれ相互接続される。通信回路330も、ビデオビットストリームおよび復号化されたピクチャの入力および/または出力、または、ビデオストリームおよびビデオビットストリームの入力および/または出力を可能にするために、それぞれ、プロセッサ310および/またはメモリ320に相互接続される。
実施形態では、ユーザ装置300は、ビデオビットストリームを受信して処理することができるあらゆるデバイスまたは装置であり得る。例えば、ユーザ装置300は、ラップトップ、スマートフォン、タブレット、セットトップボックス等の、固定的か可搬的のいずれかのコンピュータであり得る。別の実施形態では、ユーザ装置300は、ビデオストリームを受信し処理することができるあらゆるデバイスまたは装置であり得る。例えば、ユーザ装置300は、ラップトップ、スマートフォン、カメラ、ビデオカメラ等の固定的か可搬的のいずれかのコンピュータであり得る。
「プロセッサ」という用語は、特定の処理を実行するためのプログラムうコードまたはコンピュータプログラムの命令を実行、判定、またはタスクを演算することが可能なあらゆるシステムまたは装置として、一般的な意味で解釈される。
したがって、一つ以上のプロセッサを含む処理回路は、コンピュータプログラムを実行する際に、説明するような良く定義された処理タスクを実行するように構成される。
処理回路は、上記に説明したステップ、機能、手順、および/またはブロックを実行するために専用である必要はなく、他のタスクを実行可能であってもよい。
実施形態において、コンピュータプログラム340は、プロセッサ310により実行された場合に、プロセッサ310にビデオビットストリームのIRAPピクチャを復号化させる命令を含む。また、プロセッサ310に、IRAPピクチャおよび/またはビデオビットストリームにおいて復号化の順序に従って前のDRAPピクチャを、DRAPピクチャに対する独占的な参照ピクチャとして用いて、時間的予想ピクチャとしてビデオビットストリームのDRAPを復号化させる。DRAPピクチャは、ビデオビットストリームにおいて、ランダムアクセスポイントを構成する。
別の実施形態では、コンピュータプログラム340は、プロセッサ310により実行された場合に、プロセッサ310に、ビデオストリームのIRAPピクチャを符号化させる命令を含む。また、プロセッサ310に、IRAPピクチャおよび/またはビデオビットストリームにおいて復号化の順序に従って前のDRAPピクチャをDRAPピクチャに対する独占的な参照ピクチャとして用いて、時間的予想ピクチャとしてビデオビットストリームのDRAPを復号化させる。DRAPピクチャは、ビデオビットストリームにおいて、ランダムアクセスポイントを構成する。
提案する技術はまた、コンピュータプログラム340を含むキャリア350を提供する。キャリア350は、電子信号、光信号、電磁気信号、磁気信号、電気信号、無線信号、マイクロ波信号、コンピュータ読み取り可能な記憶媒体350のいずれかである。
例として、ソフトウェアまたはコンピュータプログラム340は、コンピュータプログラム製品として実現され、それは、通常は、運ばれるか、好ましくは非揮発性のコンピュータ読み取り可能な記憶媒体350であるコンピュータ読み取り可能な媒体340に保存される。コンピュータ読み取り可能な媒体350は、これらに限定されないが、ROM(Read-Only Memory)、RAM(Random Access Memory)、CD(Compact Disc)、DVD(Digital Versatile Disc)、ブルーレイディスク、USB(Universal Serial Bus)メモリ、HDD(Hard Disk Drive)記憶装置、フラッシュメモリ、磁気テープ、他のあらゆる従来のメモリ装置を含む、一つ以上の取り外し可能または取り外し不可能な目織装置を含み得る。したがって、コンピュータプログラム340は、プロセッサ310による実行のために、図23におけるユーザ装置300により表される、コンピュータまたは同等の処理装置の動作メモリにロードされ得る。
フロー図またはここに示した図表は、ゆえに、一つ以上のプロセッサにより実行された場合に、コンピュータフロー図または図表としてみなされ得る。対応する復号器または符号器は、ゆえに、機能モジュールのグループとして定義され得る。ここで、プロセッサにより実行される各工程は、機能モジュールに対応する。このケースでは、機能モジュールは、プロセッサ上で動作するコンピュータプログラムとして実装される。ゆえに、復号器または符号器は、代替的に、機能モジュールのグループとして定義され得る。ここで、機能モジュールは、少なくとも一つのプロセッサ上で動作するコンピュータプログラムとして実装される。
したがって、メモリに属するコンピュータプログラムは、プロセッサにより実行された場合に、説明した工程および/またはタスクの少なくとも一部を実行するように構成された適切な機能モジュールのグループとして組織され得る。そのような機能モジュールの例が、図19と図22に示される。
図19は、機能モジュールを有する復号器130の概略図である。復号器130は、ビデオビットストリームのIRAPピクチャを復号化するためのIRAP復号器131を有する。復号器130はまた、IRAPピクチャおよび/またはビデオビットストリームにおいて復号化の順序に従って前のDRAPピクチャを、DRAPピクチャに対する独占的な参照ピクチャとして用いて、時間的予想ピクチャとしてビデオビットストリームのDRAPを復号化するためのDRAP復号器132を有する。DRAPピクチャは、ビデオビットストリームにおいて、ランダムアクセスポイントを構成する。
図22は、機能モジュールを有する符号器230の概略図である。符号器230は、ビデオビットストリームのIRAPピクチャを符号化するためのIRAP符号器231を有する。符号器230はまた、IRAPピクチャおよび/またはビデオビットストリームにおいて復号化の順序に従って前のDRAPピクチャを、DRAPピクチャに対する独占的な参照ピクチャとして用いて、時間的予想ピクチャとしてビデオビットストリームのDRAPを符号化するためのDRAP符号器232を有する。DRAPピクチャは、ビデオストリームの符号化されたピクチャのビデオビットストリームにおいて、ランダムアクセスポイントを構成する。
実施形態を説明するためにHEVCが使用されたが、当業者であれば、実施形態は、AVC/H.264、H.263、MPEG-4、VP8およびVP9を含む時間的予想符号化を用いた他のビデオ符号化に対しても同様に適切に機能することを理解するだろう。
説明したようなIRAPピクチャは、イントラランダムアクセスポイントピクチャ、すなわち構成するピクチャ、を構成し、それによりランダムアクセスポイントとして使用されることが可能となる。また、それは、空間、すなわちイントラ、予想を用いて符号化および符号化され、それにより、イントラ符号化されたブロックだけを有する。先に述べたように、HEVCの仕様に従って、IRAPピクチャは、IDRピクチャ、CRAピクチャ、またはBLAピクチャの形態であり得る。上述した他のビデオ符号化の規格において、キーピクチャまたはキーフレーム等、イントラランダムアクセスポイントピクチャとして定義するために、他の特定のピクチャタイプの名称が使用され得る。しかしながら、そのような他のビデオ符号化の規格に対しては、そのような他の特定のピクチャタイプも、それらが構成する限りはここで使用したようなIRAPピクチャの表現の範囲内としてみなされ、それにより、ランダムアクセスポイントとして使用され、空間またはイントラ予想だけを用いて符号化または復号化される。ビデオ符号化では、ビデオストリームのピクチャは、ときにフレームと参照される。
上記に説明した実施形態は、本発明のいくつかの説明的な例として理解されるべきである。本発明の範囲を逸脱しない限り、様々な改良、組み合わせ、および、変更が、実施形態に対してなされ得ることを、当業者は理解するだろう。特に、異なる実施形態における異なる部分の解決策も、技術的に可能であれば、他の構成に結合され得る。しかしながら、本発明の範囲は、付随の請求項により定義される。

Claims (39)

  1. ビデオビットストリームにおいてピクチャを復号化する方法であって、
    前記ビデオビットストリームのイントラランダムアクセスポイント(IRAP)ピクチャを復号化すること(S1)と、
    前記ビデオビットストリームの依存性ランダムアクセスポイント(DRAP)ピクチャを、前記IRAPピクチャおよび/または復号化の順序に従って前記ビデオビットストリームにおいて前のDRAPピクチャを前記DRAPピクチャに対する独占的な参照ピクチャとして用いて、時間的予想ピクチャとして復号化すること(S1)、を含み、前記DRAPピクチャは、前記ビデオビットストリームにおいてランダムアクセスポイントを構成する、ことを特徴とする方法。
  2. 前記DRAPピクチャを復号化すること(S2)は、前記復号化の順序に従って前記ビデオビットストリームにおいて最も近く先行するIRAPピクチャを、前記DRAPピクチャに対する前記独占的な参照ピクチャとして用いて、前記DRAPピクチャを復号化すること(S2)を含む、ことを特徴とする請求項1に記載の方法。
  3. 前記DRAPピクチャを復号化すること(S2)は、前記IRAPピクチャおよび/または前記前のDRAPピクチャを、前記DRAPピクチャに対する前記独占的な参照ピクチャとして用いて、前記DRAPピクチャをスキップブロックとして復号化すること、または、イントラブロックとして復号化すること、を含む、ことを特徴とする請求項1または2に記載の方法。
  4. 前記DRAPピクチャを復号化すること(S2)は、
    前記DRAPピクチャにおける少なくとも一つのスライスのブロックをイントラブロックとして復号化すること(S10)と、
    前記IRAPピクチャおよび/または前記前のDRAPピクチャを、前記DRAPピクチャに対する前記独占的な参照ピクチャとして用いて、前記DRAPピクチャにおける少なくとも一つのスライスのブロックをスキップブロックとして復号化すること(S11)を含む、ことを特徴とする請求項3に記載の方法。
  5. 出力の順序および復号化の順序において、前記DRAPピクチャに続く、前記ビデオビットストリームの少なくとも一つの非ランダムアクセスポイント(非RAP)を復号化すること(S20)を更に含み、前記少なくとも一つの非RAPピクチャは、復号化の順序で前記ビデオビットストリームにおいて先行するあらゆる非RAPピクチャを参照ピクチャとして用いない、ことを特徴とする請求項1から4のいずれか1項に記載の方法。
  6. ビデオストリームにおいてピクチャを符号化する方法であって、
    前記ビデオストリームのイントラランダムアクセスポイント(IRAP)ピクチャを符号化すること(S30)と、
    前記ビデオストリームの依存性ランダムアクセスポイント(DRAP)ピクチャを、前記IRAPピクチャおよび/または復号化の順序に従って前記ビデオストリームにおいて前のDRAPピクチャを、DRAPピクチャに対する独占的な参照ピクチャとして用いて、時間的予想ピクチャとして符号化すること(S31)、を含み、前記DRAPピクチャは、前記ビデオストリームの符号化されたピクチャのビデオビットストリームにおいてランダムアクセスポイントを構成する、ことを特徴とする方法。
  7. 前記DRAPピクチャを符号化すること(S31)は、前記復号化の順序に従って前記ビデオビットストリームにおいて最も近く先行するIRAPピクチャを、前記DRAPピクチャに対する前記独占的な参照ピクチャとして用いて前記DRAPピクチャを符号化すること(S31)を含む、ことを特徴とする請求項6に記載の方法。
  8. 前記DRAPピクチャを符号化すること(S31)は、前記IRAPピクチャおよび/または前記前のDRAPピクチャを前記DRAPピクチャに対する前記独占的な参照ピクチャとして用いて、前記DRAPピクチャをスキップブロックとして符号化すること、または、イントラブロックとして符号化することを含む、ことを特徴とする請求項6または7に記載の方法。
  9. 前記DRAPピクチャを符号化すること(S31)は、
    前記DRAPピクチャにおいて少なくとも一つのスライスのブロックをイントラブロックとして符号化すること(S40)と、
    前記IRAPピクチャおよび/または前記前のDRAPピクチャを、前記DRAPピクチャに対する前記独占的な参照ピクチャとして用いて、前記DRAPピクチャにおける少なくとも一つのスライスのブロックをスキップブロックとして符号化すること(S41)を含む、ことを特徴とする請求項8に記載の方法。
  10. 前記復号化の順序に従って、前記IRAPピクチャと前記DRAPピクチャの間に存在する中間のピクチャを符号化すること(S50)を更に含む、ことを特徴とする請求項6から9のいずれか1項に記載の方法。
  11. 前記DRAPピクチャを符号化すること(S31)は、前記IRAPピクチャにおいて並置されたブロックが中間のピクチャにおける各並置されたブロックと一致または所定の閾値より変わらない場合に、前記DRAPピクチャに対する前記独占的な参照ピクチャとして前記IRAPピクチャを用いて、前記DRAPピクチャのブロックをスキップブロックとして符号化し、それ以外の場合は、前記DRAPピクチャの前記ブロックをイントラブロックとして符号化する、ことを特徴とする請求項8または9に記載の方法。
  12. 前記DRAPピクチャを符号化すること(S31)は、前記IRAPピクチャにおいて並置されたブロックが、前記IRAPピクチャに先行する別のIRAPピクチャにおいて、または前記別のIRAPピクチャと前記IRAPピクチャの間の中間のピクチャにおいて、各並置されたブロックと一致または所定の閾値より変わらない場合に、前記DRAPピクチャに対する前記独占的な参照ピクチャとして前記IRAPピクチャを用いて、前記DRAPピクチャのブロックをスキップブロックとして符号化し、それ以外の場合は、前記DRAPピクチャの前記ブロックをイントラブロックとして符号化する、ことを特徴とする請求項8から10のいずれか1項に記載の方法。
  13. 出力の順序および復号化の順序において、前記DRAPピクチャに続く、前記ビデオストリームの少なくとも一つの非ランダムアクセスポイント(非RAP)を符号化すること(S50)を更に含み、前記少なくとも一つの非RAPピクチャは、復号化の順序で前記ビデオストリームにおいて先行するあらゆる非RAPピクチャを参照ピクチャとして用いない、ことを特徴とする請求項6から12のいずれか1項に記載の方法。
  14. 前記DRAPピクチャの参照ピクチャセットにおいて前記IRAPピクチャの識別子を含めること(S60)を更に含み、前記参照ピクチャセットは、前記IRAPピクチャをショートタームの参照ピクチャまたはロングタームの参照ピクチャとしてシグナリングする、ことを特徴とする請求項6から13のいずれか1項に記載の方法。
  15. さらに、
    第1の周期的な間隔で前記ビデオストリームのIRAPピクチャの符号化を実行すること(S30 )と、
    前記第1の周期的な間隔よりも短い第2の周期的な間隔で前記ビデオストリームのDRAPピクチャの符号化を実行すること(S31)を含む、ことを特徴とする請求項6から14のいずれか1項に記載の方法。
  16. ビデオビットストリームにおけるピクチャを復号化するための復号器(100、110、120)であって、
    前記復号器(100、110、120)は、前記ビデオビットストリームのイントラランダムアクセスポイント(IRAP)ピクチャを復号化するように構成され、
    前記復号器(100、110、120)は、前記ビデオビットストリームの依存性ランダムアクセスポイント(DRAP)ピクチャを、前記IRAPピクチャおよび/または復号化の順序に従って前記ビデオビットストリームにおいて前のDRAPピクチャを前記DRAPピクチャに対する独占的な参照ピクチャとして用いて、前記ビデオビットストリームにおける時間的予想ピクチャとして復号化ように構成され、前記DRAPピクチャは、前記ビデオビットストリームにおいてランダムアクセスポイントを構成する、ことを特徴とする復号器。
  17. 前記復号器(100、110、120)は、前記復号化の順序に従って前記ビデオビットストリームにおいて最も近く先行するIRAPピクチャを、前記DRAPピクチャに対する前記独占的な参照ピクチャとして用いて前記DRAPピクチャを復号化するように構成される、ことを特徴とする請求項16に記載の復号器。
  18. 復号器(100、110、120)は、前記IRAPピクチャおよび/または前記前のDRAPピクチャを、前記DRAPピクチャに対する前記独占的な参照ピクチャとして用いて、前記DRAPピクチャをスキップブロックとして復号化すること、または、イントラブロックとして復号化するように構成される、ことを特徴とする請求項16または17に記載の復号器。
  19. 前記復号器(100、110、120)は、前記DRAPピクチャにおいて少なくとも一つのスライスのブロックをイントラブロックとして復号化するように構成され、
    前記復号器(100、110、120)は、前記IRAPピクチャおよび/または前記前のDRAPピクチャを、前記DRAPピクチャに対する前記独占的な参照ピクチャとして用いて、前記DRAPピクチャにおける少なくとも一つのスライスのブロックをスキップブロックとして復号化するように構成される、ことを特徴とする請求項18に記載の復号器。
  20. 前記復号器(100、110、120)は、出力の順序および復号化の順序において、前記DRAPピクチャに続く、前記ビデオビットストリームの少なくとも一つの非ランダムアクセスポイント(非RAP)を復号化するように構成され、前記少なくとも一つの非RAPピクチャは、復号化の順序で前記ビデオビットストリームにおいて先行するあらゆる非RAPピクチャを参照ピクチャとして用いない、ことを特徴とする請求項16から19のいずれか1項に記載の復号器。
  21. 前記復号器は、
    前記IRAPピクチャを復号化するように構成されるIRAP復号器(111)と、
    前記DRAPピクチャを復号化するように構成されるDRAP復号器(112)と、
    を有することを特徴とする請求項16から20のいずれか1項に記載の復号器。
  22. 前記復号器は、
    プロセッサ(121)と、
    前記プロセッサ(121)により実行可能な命令を含むメモリ(122)と、を有し、
    前記プロセッサ(121)は、前記IRAPピクチャを復号化するように動作し、
    前記プロセッサ(121)は、前記DRAPピクチャを復号化するように動作する、ことを特徴とする請求項16から20のいずれか1項に記載の復号器。
  23. ビデオビットストリームを復号化するための復号器(130)であって、
    前記ビデオビットストリームのイントラランダムアクセスポイント(IRAP)ピクチャを復号化するためのIRAP復号器(131)と、
    前記ビデオビットストリームの依存性ランダムアクセスポイント(DRAP)ピクチャを、前記IRAPピクチャおよび/または復号化の順序に従って前記ビデオビットストリームにおいて前のDRAPピクチャを、前記DRAPピクチャに対する独占的な参照ピクチャとして用いて、時間的予想ピクチャとして復号化するためのDRAP復号器(132)を含み、
    前記DRAPピクチャは、前記ビデオビットストリームにおいてランダムアクセスポイントを構成する、ことを特徴とする復号器。
  24. ビデオストリームにおけるピクチャを符号化するための符号器(200、210、220)であって、
    前記符号器(200、210、220)は、前記ビデオストリームのイントラランダムアクセスポイント(IRAP)ピクチャを符号化するように構成され、、
    前記符号器(200、210、220)は、前記ビデオストリームの依存性ランダムアクセスポイント(DRAP)ピクチャを、前記IRAPピクチャおよび/または復号化の順序に従って前記ビデオストリームにおいて前のDRAPピクチャを前記DRAPピクチャに対する独占的な参照ピクチャとして用いて、時間的予想ピクチャとして符号化するように構成され、
    前記DRAPピクチャは、前記ビデオストリームの符号化されたピクチャのビデオビットストリームにおいてランダムアクセスポイントを構成する、ことを特徴とする符号器。
  25. 前記符号器(200、210、220)は、前記復号化の順序に従って前記ビデオビットストリームにおいて最も近く先行するIRAPピクチャを、前記DRAPピクチャに対する前記独占的な参照ピクチャとして用いて、前記DRAPピクチャを符号化するように構成される、ことを特徴とする請求項24に記載の符号器。
  26. 前記符号器(200、210、220)は、前記IRAPピクチャおよび/または前記前のDRAPピクチャを、前記DRAPピクチャに対する前記独占的な参照ピクチャとして用いて、前記DRAPピクチャをスキップブロックとして復号化し、または、イントラブロックとして復号化するように構成される、ことを特徴とする請求項24または25に記載の符号器。
  27. 前記符号器(200、210、220)は、前記DRAPピクチャにおいて少なくとも一つのスライスのブロックをイントラブロックとして符号化するように構成され、
    前記符号器(200、210、220)は、前記IRAPピクチャおよび/または前記前のDRAPピクチャを、前記DRAPピクチャに対する前記独占的な参照ピクチャとして用いて、前記DRAPピクチャにおける少なくとも一つのスライスのブロックをスキップブロックとして符号化するように構成される、ことを特徴とする請求項26に記載の符号器。
  28. 前記符号器(200、210、220)は、前記復号化の順序に従って、前記IRAPピクチャと前記DRAPピクチャの間に存在する中間のピクチャを符号化するように構成される、ことを特徴とする請求項24から27のいずれか1項に記載の符号器。
  29. 前記符号器(200、210、220)は、前記IRAPピクチャにおいて並置されたブロックが中間のピクチャにおける各並置されたブロックと一致または所定の閾値より変わらない場合に、前記DRAPピクチャに対する前記独占的な参照ピクチャとして前記IRAPピクチャを用いて、前記DRAPピクチャのブロックをスキップブロックとして符号化し、それ以外の場合は、前記DRAPピクチャの前記ブロックをイントラブロックとして符号化するように構成される、ことを特徴とする請求項26または27に記載の符号器。
  30. 前記符号器(200、210、220)は、前記IRAPピクチャにおいて並置されたブロックが、前記IRAPピクチャに先行する別のIRAPピクチャにおいて、または前記別のIRAPピクチャと前記IRAPピクチャの間の中間のピクチャにおいて、各並置されたブロックと一致または所定の閾値より変わらない場合に、前記DRAPピクチャに対する前記独占的な参照ピクチャとして前記IRAPピクチャを用いて、前記DRAPピクチャのブロックをスキップブロックとして符号化し、それ以外の場合は、前記DRAPピクチャの前記ブロックをイントラブロックとして符号化するように構成される、ことを特徴とする請求項26から28のいずれか1項に記載の符号器。
  31. 前記符号器(200、210、220)は、出力の順序および復号化の順序において、前記DRAPピクチャに続く、前記ビデオビットストリームの少なくとも一つの非ランダムアクセスポイント(非RAP)を復号化するように構成され、前記少なくとも一つの非RAPピクチャは、復号化の順序で前記ビデオビットストリームにおいて先行するあらゆる非RAPピクチャを参照ピクチャとして用いない、ことを特徴とする請求項24から30のいずれか1項に記載の符号器。
  32. 前記符号器(200、210、220)は、前記DRAPピクチャの参照ピクチャセットにおいて前記IRAPピクチャの識別子を含めるように構成され、前記参照ピクチャセットは、前記IRAPピクチャをショートタームの参照ピクチャまたはロングタームの参照ピクチャとしてシグナリングする、ことを特徴とする請求項24から31のいずれか1項に記載の方法。
  33. 前記符号器(200、210、220)は、第1の周期的な間隔で前記ビデオストリームのIRAPピクチャの符号化を実行し、
    前記符号器(200、210、220)は、前記第1の周期的な間隔よりも短い第2の周期的な間隔で前記ビデオストリームのDRAPピクチャの符号化を実行するように構成される、ことを特徴とする請求項24から32のいずれか1項に記載の方法。
  34. 前記IRAPピクチャを符号化するように構成されるIRAP符号器(211)と、
    前記DRAPピクチャを符号化するように構成されるDRAP符号器(212)と、
    を有することを特徴とする請求項24から33のいずれか1項に記載の符号器。
  35. 前記符号器は、
    プロセッサ(221)と、
    前記プロセッサ(221)により実行可能な命令を含むメモリ(222)と、を有し、
    前記プロセッサ(221)は、前記IRAPピクチャを符号化するように動作し、
    前記プロセッサ(221)は、前記DRAPピクチャを符号化するように動作する、ことを特徴とする請求項24から33のいずれか1項に記載の符号器。
  36. ビデオストリームを符号化するための符号器(230)であって、
    前記ビデオストリームのイントラランダムアクセスポイント(IRAP)ピクチャを符号化するためのIRAP符号器(231)と、
    前記ビデオストリームの依存性ランダムアクセスポイント(DRAP)ピクチャを、前記IRAPピクチャおよび/または復号化の順序に従って前記ビデオストリームにおいて前のDRAPピクチャを前記DRAPピクチャに対する独占的な参照ピクチャとして用いて、時間的予想ピクチャとして符号化するためのDRAP符号器(232)、を有し、
    前記DRAPピクチャは、前記ビデオストリームの符号化されたピクチャのビデオビットストリームにおいてランダムアクセスポイントを構成する、ことを特徴とする符号器。
  37. コンピュータプログラム(340)であって、プロセッサ(310)により実行された場合に、当該プロセッサ(310)に、
    ビデオビットストリームのイントラランダムアクセスポイント(IRAP)ピクチャを復号化させ、
    前記ビデオビットストリームの依存性ランダムアクセスポイント(DRAP)ピクチャを、前記IRAPピクチャおよび/または復号化の順序に従って前記ビデオビットストリームにおいて前のDRAPピクチャを前記DRAPピクチャに対する独占的な参照ピクチャとして用いて、時間的予想ピクチャとして復号化させ、
    前記DRAPピクチャは、前記ビデオビットストリームにおいてランダムアクセスポイントを構成する、ことを特徴とするコンピュータプログラム。
  38. コンピュータプログラム(340)であって、プロセッサ(310)により実行された場合に、当該プロセッサ(310)に、
    ビデオストリームのイントラランダムアクセスポイント(IRAP)ピクチャを符号化させ、
    前記ビデオストリームの依存性ランダムアクセスポイント(DRAP)ピクチャを、前記IRAPピクチャおよび/または復号化の順序に従って前記ビデオストリームにおいて前のDRAPピクチャを前記DRAPピクチャに対する独占的な参照ピクチャとして用いて、時間的予想ピクチャとして符号化させ、
    前記DRAPピクチャは、前記ビデオストリームの符号化されたピクチャのビデオビットストリームにおいてランダムアクセスポイントを構成する、ことを特徴とするコンピュータプログラム。
  39. 請求項37または38に記載のコンピュータプログラム(340)を含むキャリア(350)であって、前記キャリア(350)は、電子信号、光信号、電磁気信号、磁気信号、電気信号、無線信号、マイクロ波信号、コンピュータ読み取り可能な記憶媒体のいずれかあることを特徴とするキャリア(350)。
JP2016568428A 2014-06-18 2015-04-13 ビデオにおけるピクチャのロバストな符号化および復号化 Active JP6348188B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US201462013581P 2014-06-18 2014-06-18
US62/013,581 2014-06-18
PCT/EP2015/057973 WO2015192989A1 (en) 2014-06-18 2015-04-13 Robust encoding and decoding of pictures in video

Publications (2)

Publication Number Publication Date
JP2017525175A true JP2017525175A (ja) 2017-08-31
JP6348188B2 JP6348188B2 (ja) 2018-06-27

Family

ID=52824244

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2016568428A Active JP6348188B2 (ja) 2014-06-18 2015-04-13 ビデオにおけるピクチャのロバストな符号化および復号化

Country Status (6)

Country Link
US (1) US9832463B2 (ja)
JP (1) JP6348188B2 (ja)
CN (1) CN106464886B (ja)
AR (1) AR100738A1 (ja)
TW (1) TWI581614B (ja)
WO (1) WO2015192989A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10855982B2 (en) 2016-12-12 2020-12-01 Sony Corporation Image processing apparatus and method

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3254461A4 (en) 2015-02-04 2018-08-29 Telefonaktiebolaget LM Ericsson (publ) Drap identification and decoding
CN106470341B (zh) * 2015-08-17 2020-10-02 恩智浦美国有限公司 媒体显示系统
US10972755B2 (en) * 2018-12-03 2021-04-06 Mediatek Singapore Pte. Ltd. Method and system of NAL unit header structure for signaling new elements
CN113273202A (zh) * 2019-01-04 2021-08-17 华为技术有限公司 基于子图像的随机接入
EP3918789A1 (en) * 2019-02-01 2021-12-08 FRAUNHOFER-GESELLSCHAFT zur Förderung der angewandten Forschung e.V. Video codec allowing sub-picture or region wise random access and concept for video composition using the same
US10735745B1 (en) * 2019-06-06 2020-08-04 Tencent America LLC Method and apparatus for video coding
US11375223B2 (en) * 2019-09-20 2022-06-28 Tencent America LLC Method for signaling output layer set with sub-picture
EP3829170A1 (en) * 2019-11-29 2021-06-02 Axis AB Encoding and transmitting image frames of a video stream
WO2021195026A1 (en) * 2020-03-27 2021-09-30 Bytedance Inc. Level information in video coding
US11962936B2 (en) 2020-09-29 2024-04-16 Lemon Inc. Syntax for dependent random access point indication in video bitstreams

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2006003814A1 (ja) * 2004-07-01 2006-01-12 Mitsubishi Denki Kabushiki Kaisha ランダムアクセス可能な映像情報記録媒体、及び記録方法、及び再生装置及び再生方法
US20100177776A1 (en) * 2009-01-09 2010-07-15 Microsoft Corporation Recovering from dropped frames in real-time transmission of video over ip networks
WO2015115644A1 (ja) * 2014-02-03 2015-08-06 三菱電機株式会社 画像符号化装置、画像復号装置、符号化ストリーム変換装置、画像符号化方法、及び画像復号方法

Family Cites Families (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6115420A (en) 1997-03-14 2000-09-05 Microsoft Corporation Digital video signal encoder and encoding method
AU2002228884A1 (en) 2000-11-03 2002-05-15 Compression Science Video data compression system
US6993078B2 (en) 2002-03-28 2006-01-31 International Business Machines Corporation Macroblock coding technique with biasing towards skip macroblock coding
KR20100097124A (ko) 2007-11-05 2010-09-02 톰슨 라이센싱 신속한 채널 변경 및 향상된 오류 복원성을 위한 스케일러블 비디오 코딩 방법
EP2727342B1 (en) * 2011-06-30 2016-06-29 Telefonaktiebolaget LM Ericsson (publ) Reference picture signaling
CN103650502A (zh) * 2011-07-13 2014-03-19 瑞典爱立信有限公司 用于参考画面管理的编码器、解码器及其方法
US10674171B2 (en) * 2011-09-27 2020-06-02 Telefonaktiebolaget Lm Ericsson (Publ) Decoders and methods thereof for managing pictures in video decoding process
WO2014003379A1 (ko) 2012-06-24 2014-01-03 엘지전자 주식회사 영상 디코딩 방법 및 이를 이용하는 장치
CN104904202A (zh) * 2012-09-28 2015-09-09 三星电子株式会社 用于使用参考画面信息进行并行视频编码的方法和设备以及用于使用参考画面信息进行并行视频解码的方法和设备
EP3022921A4 (en) * 2013-07-14 2017-03-15 Sharp Kabushiki Kaisha Signaling indications and constraints
BR112016003135B1 (pt) * 2013-08-22 2023-03-07 Sony Corporation Dispositivos de codificação, de transmissão, de decodificação e de recepção, e, métodos de codificação e de decodificação
KR102246545B1 (ko) * 2013-10-12 2021-04-30 삼성전자주식회사 멀티 레이어 비디오 부호화 방법 및 장치, 멀티 레이어 비디오 복호화 방법 및 장치
WO2015052943A1 (en) * 2013-10-13 2015-04-16 Sharp Kabushiki Kaisha Signaling parameters in vps extension and dpb operation
US10284858B2 (en) * 2013-10-15 2019-05-07 Qualcomm Incorporated Support of multi-mode extraction for multi-layer video codecs
CN104754341B (zh) * 2013-12-31 2019-02-26 华为技术有限公司 一种视频数据编码、解码的方法和装置
US10560710B2 (en) * 2014-01-03 2020-02-11 Qualcomm Incorporated Method for coding recovery point supplemental enhancement information (SEI) messages and region refresh information SEI messages in multi-layer coding
US9807406B2 (en) * 2014-03-17 2017-10-31 Qualcomm Incorporated Picture flushing and decoded picture buffer parameter inference for multi-layer bitstreams

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2006003814A1 (ja) * 2004-07-01 2006-01-12 Mitsubishi Denki Kabushiki Kaisha ランダムアクセス可能な映像情報記録媒体、及び記録方法、及び再生装置及び再生方法
US20100177776A1 (en) * 2009-01-09 2010-07-15 Microsoft Corporation Recovering from dropped frames in real-time transmission of video over ip networks
WO2015115644A1 (ja) * 2014-02-03 2015-08-06 三菱電機株式会社 画像符号化装置、画像復号装置、符号化ストリーム変換装置、画像符号化方法、及び画像復号方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
MARTIN PETTERSSON ET AL.: "HLS: Dependent RAP indication SEI message", JOINT COLLABORATIVE TEAM ON VIDEO CODING (JCT-VC) OF ITU-T SG 16 WP 3 AND ISO/IEC JTC 1/SC 29/WG 11, vol. JCTVC-R0059, JPN6017045656, June 2014 (2014-06-01), pages 1 - 5 *
MISKA M. HANNUKSELA: "MV-HEVC/SHVC HLS: On TSA and STSA pictures", JOINT COLLABORATIVE TEAM ON VIDEO CODING (JCT-VC) OF ITU-T SG 16 WP 3 AND ISO/IEC JTC 1/SC 29/WG 11, vol. JCTVC-Q0108, JPN6017045655, March 2014 (2014-03-01), pages 1 - 8 *

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10855982B2 (en) 2016-12-12 2020-12-01 Sony Corporation Image processing apparatus and method

Also Published As

Publication number Publication date
AR100738A1 (es) 2016-10-26
TWI581614B (zh) 2017-05-01
CN106464886B (zh) 2021-03-30
TW201611577A (zh) 2016-03-16
US20160219273A1 (en) 2016-07-28
WO2015192989A1 (en) 2015-12-23
CN106464886A (zh) 2017-02-22
JP6348188B2 (ja) 2018-06-27
US9832463B2 (en) 2017-11-28

Similar Documents

Publication Publication Date Title
JP6348188B2 (ja) ビデオにおけるピクチャのロバストな符号化および復号化
US11395000B2 (en) Dependent random access point pictures
US20220191547A1 (en) Constraints and unit types to simplify video random access
US10701401B2 (en) Syntax structures indicating completion of coded regions
TWI571113B (zh) 視訊位元流中之隨機存取
KR101904625B1 (ko) 비디오 코딩에서 서브-디코딩된 픽처 버퍼 (서브-dpb) 기반의 dpb 동작들을 위한 시그널링
US7839930B2 (en) Signaling valid entry points in a video stream
JP2014535219A (ja) ビデオコーディングにおける高度な復号ピクチャバッファ(dpb)管理によるランダムアクセス
TW202133616A (zh) 視訊編解碼中的畫面標頭訊框內隨機存取畫面和漸進解碼器刷新訊號傳遞
CN107005704B (zh) 处理编码视频数据的方法和装置及生成编码视频数据的方法和装置
TW202234891A (zh) 允許漂移限制之視訊寫碼概念技術

Legal Events

Date Code Title Description
A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20171122

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20171201

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20180301

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20180323

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20180418

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20180507

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20180530

R150 Certificate of patent or registration of utility model

Ref document number: 6348188

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250