JP2015156648A - ビデオコード化におけるフレーム分割 - Google Patents

ビデオコード化におけるフレーム分割 Download PDF

Info

Publication number
JP2015156648A
JP2015156648A JP2015033057A JP2015033057A JP2015156648A JP 2015156648 A JP2015156648 A JP 2015156648A JP 2015033057 A JP2015033057 A JP 2015033057A JP 2015033057 A JP2015033057 A JP 2015033057A JP 2015156648 A JP2015156648 A JP 2015156648A
Authority
JP
Japan
Prior art keywords
independently decodable
lcu
frame
section
granularity
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2015033057A
Other languages
English (en)
Other versions
JP2015156648A5 (ja
JP5847970B2 (ja
Inventor
イン・チェン
Ying Chen
ペイソン・チェン
Payson Chen
マルタ・カークゼウィックズ
Karczewicz Marta
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Qualcomm Inc
Original Assignee
Qualcomm Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Qualcomm Inc filed Critical Qualcomm Inc
Publication of JP2015156648A publication Critical patent/JP2015156648A/ja
Publication of JP2015156648A5 publication Critical patent/JP2015156648A5/ja
Application granted granted Critical
Publication of JP5847970B2 publication Critical patent/JP5847970B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/174Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a slice, e.g. a line of blocks or a group of blocks
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/119Adaptive subdivision aspects, e.g. subdivision of a picture into rectangular or non-rectangular coding blocks
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/124Quantisation
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/146Data rate or code amount at the encoder output
    • H04N19/147Data rate or code amount at the encoder output according to rate distortion criteria
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/90Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using coding techniques not provided for in groups H04N19/10-H04N19/85, e.g. fractals
    • H04N19/96Tree coding, e.g. quad-tree coding

Abstract

【課題】フレームを独立して復号可能な部分に分割するための方法を提供する。【解決手段】階層的に構成された複数の比較的より小さいコード化単位を含む1つ以上の最大コード化単位(LCU)を含む複数のブロックサイズコード化単位を備えるビデオデータのフレームを復号する方法であって、上記フレームの独立して復号可能な部分を形成するとき、階層的に構成された複数のより小さいコード化単位がそれで分割された粒度を決定することを含む。決定された粒度を使用して、第1のセクションと第2のセクションとに分割されたLCUを識別することをも含む。LCUの第2のセクションなしにLCUの第1のセクションを含む上記フレームの独立して復号可能な部分を復号することも含む。【選択図】図3B

Description

本出願は、それらの全ての内容全体が参照により本明細書に組み込まれる、2011年1月5日に出願された米国仮出願第61/430,104号、2011年1月21日に出願された米国仮出願第61/435,098号、2011年3月18日に出願された米国仮出願第61/454,166号、及び2011年6月2日に出願された米国仮出願第61/492,751号の利益を主張する。
本開示は、ビデオコード化技法に関し、より詳細には、ビデオコード化技法のフレーム分割態様に関する。
デジタルビデオ機能は、デジタルテレビジョン、デジタルダイレクトブロードキャストシステム、ワイヤレスブロードキャストシステム、携帯情報端末(PDA)、ラップトップ又はデスクトップコンピュータ、デジタルカメラ、デジタル記録機器、デジタルメディアプレーヤ、ビデオゲーム機器、ビデオゲームコンソール、セルラー電話又は衛星無線電話、ビデオ遠隔会議機器などを含む、広範囲にわたる機器に組み込まれ得る。デジタルビデオ機器は、デジタルビデオ情報をより効率的に送信及び受信するために、MPEG−2、MPEG−4、ITU−T H.263、ITU−T H.264/MPEG−4,Part10,Advanced Video Coding(AVC)によって定義された規格、及びそのような規格の拡張に記載されているビデオ圧縮技法など、ビデオ圧縮技法を実施する。MPEGとITU−Tとのコラボレーションである「Joint Collaborative Team−Video Coding」(JCT−VC)によって開発されている高効率ビデオコード化(HEVC:High Efficiency Video Coding)規格など、新しいビデオコード化規格が開発されている。新たなHEVC規格はH.265と呼ばれることがあるが、そのような名称は公式になされたものでない。
本開示では、ビデオデータのフレームを、スライスと呼ばれることがある、フレームの独立して復号可能な部分に分割するための技法について説明する。新たなHEVC規格に従って、ビデオデータのブロックがコード化単位(CU:coding unit)と呼ばれることがある。CUは、階層4分木構造に従ってサブCUに分割され得る。例えば、ビットストリーム内のシンタックスデータが、画素の数に関してビデオデータのフレームの最大のコード化単位である最大コード化単位(LCU:largest coding unit)を定義し得る。LCUはサブCUに分割され得、各サブCUは更にサブCUに分割され得る。ビットストリームのシンタックスデータは、最大CU深さと呼ばれる、LCUが分割され得る回数を定義し得る。
概して、ビデオデータのフレームを、新たなHEVC規格において「スライス」と呼ばれる、フレームの独立して復号可能な部分に分割するための技法について説明する。これらのスライスのコンテンツを、フレームの1つ以上の完全な最大コード化単位(LCU)など、1つ以上の完全なコード化単位(CU)に限定するのではなく、本開示で説明する技法は、スライスがそれによってLCUの一部分を含み得る、方法を提供し得る。LCUが2つのセクションに分割されることを可能にする際に、本技法は、所与のフレームを分割するときに必要とされるスライスの数を低減し得る。オーバーヘッドデータの量は圧縮ビデオデータの量に応じて減少するので、スライスの数を低減することは、圧縮ビデオデータを復号するために使用されるシンタックス要素を記憶するスライスヘッダデータの形態のオーバーヘッドデータを減少させ、圧縮効率を改善し得る。このようにして、本技法は、符号化ビデオデータのより効率的な記憶と送信とを促進し得る。
一例では、本開示の態様は、階層的に構成された複数の比較的より小さいコード化単位を含む1つ以上の最大コード化単位(LCU)を含む複数のブロックサイズコード化単位を備えるビデオデータのフレームを復号する方法に関する。本方法は、上記フレームの独立して復号可能な部分を形成するとき、階層的に構成された複数のより小さいコード化単位がそれで分割された粒度(granularity)を決定することと、決定された粒度を使用して、第1のセクションと第2のセクションとに分割されたLCUを識別することと、LCUの第2のセクションなしにLCUの第1のセクションを含む上記フレームの独立して復号可能な部分を復号することとを含む。
別の例では、本開示の態様は、階層的に構成された複数の比較的より小さいコード化単位を含む1つ以上の最大コード化単位(LCU)を含む複数のブロックサイズコード化単位を備えるビデオデータのフレームを復号するための装置に関する。本装置は、上記フレームの独立して復号可能な部分を形成するとき、階層的に構成された複数のより小さいコード化単位がそれで分割された粒度を決定することと、決定された粒度を使用して、第1のセクションと第2のセクションとに分割されたLCUを識別することと、LCUの第2のセクションなしにLCUの第1のセクションを含む上記フレームの独立して復号可能な部分を復号することとを行うように構成された1つ以上のプロセッサを含む。
別の例では、本開示の態様は、階層的に構成された複数の比較的より小さいコード化単位含む1つ以上の最大コード化単位(LCU)を含む複数のブロックサイズコード化単位を備えるビデオデータのフレームを復号するための装置に関する。本装置は、上記フレームの独立して復号可能な部分を形成するとき、階層的に構成された複数のより小さいコード化単位がそれで分割された粒度を決定するための手段と、決定された粒度を使用して、第1のセクションと第2のセクションとに分割されたLCUを識別するための手段と、LCUの第2のセクションなしにLCUの第1のセクションを含む上記フレームの独立して復号可能な部分を復号するための手段とを含む。
別の例では、本開示の態様は、1つ以上のプロセッサによって実行されると、階層的に構成された複数の比較的より小さいコード化単位を含む1つ以上の最大コード化単位(LCU)を含む複数のブロックサイズコード化単位を備えるビデオデータのフレームを復号するための方法を1つ以上のプロセッサに実行させる、命令を記憶するコンピュータ可読記憶媒体に関する。上記方法は、上記フレームの独立して復号可能な部分を形成するとき、階層的に構成された複数のより小さいコード化単位がそれで分割された粒度を決定することと、決定された粒度を使用して、第1のセクションと第2のセクションとに分割されたLCUを識別することと、LCUの第2のセクションなしにLCUの第1のセクションを含む上記フレームの独立して復号可能な部分を復号することとを含む。
別の例では、本開示の態様は、階層的に構成された複数の比較的より小さいコード化単位を含む1つ以上の最大コード化単位(LCU)を含む複数のブロックサイズコード化単位を備えるビデオデータのフレームを符号化する方法に関する。本方法は、上記フレームの独立して復号可能な部分を形成するとき、階層的に構成された複数のより小さいコード化単位がそれで分割されるべき粒度を決定することと、LCUの第1のセクションとLCUの第2のセクションとを生成するように、決定された粒度を使用してLCUを分割することと、LCUの第2のセクションを含むことなしにLCUの第1のセクションを含むように上記フレームの独立して復号可能な部分を生成することと、上記フレームの独立して復号可能な部分と決定された粒度の指標とを含むようにビットストリームを生成することとを含む。
別の例では、本開示の態様は、階層的に構成された複数の比較的より小さいコード化単位を含む1つ以上の最大コード化単位(LCU)を含む複数のブロックサイズコード化単位を備えるビデオデータのフレームを符号化するための装置に関する。本装置は、上記フレームの独立して復号可能な部分を形成するとき、階層的に構成された複数のより小さいコード化単位がそれで分割されるべき粒度を決定することと、LCUの第1のセクションとLCUの第2のセクションとを生成するように、決定された粒度を使用してLCUを分割することと、LCUの第2のセクションを含むことなしにLCUの第1のセクションを含むように上記フレームの独立して復号可能な部分を生成することと、上記フレームの独立して復号可能な部分と決定された粒度の指標とを含むようにビットストリームを生成することとを行うように構成された1つ以上のプロセッサを含む。
別の例では、本開示の態様は、階層的に構成された複数の比較的より小さいコード化単位を含む1つ以上の最大コード化単位(LCU)を含む複数のブロックサイズコード化単位を備えるビデオデータのフレームを符号化するための装置に関する。本装置は、上記フレームの独立して復号可能な部分を形成するとき、階層的に構成された複数のより小さいコード化単位がそれで分割されるべき粒度を決定するための手段と、LCUの第1のセクションとLCUの第2のセクションとを生成するように、決定された粒度を使用してLCUを分割するための手段と、LCUの第2のセクションを含むことなしにLCUの第1のセクションを含むように上記フレームの独立して復号可能な部分を生成するための手段と、上記フレームの独立して復号可能な部分と決定された粒度の指標とを含むようにビットストリームを生成するための手段とを含む。
別の例では、本開示の態様は、1つ以上のプロセッサによって実行されると、階層的に構成された複数の比較的より小さいコード化単位を含む1つ以上の最大コード化単位(LCU)を含む複数のブロックサイズコード化単位を備えるビデオデータのフレームを符号化するための方法を1つ以上のプロセッサに実行させる、命令を記憶するコンピュータ可読記憶媒体に関する。上記方法は、上記フレームの独立して復号可能な部分を形成するとき、階層的に構成された複数のより小さいコード化単位がそれで分割されるべき粒度を決定することと、LCUの第1のセクションとLCUの第2のセクションとを生成するように、決定された粒度を使用してLCUを分割することと、LCUの第2のセクションを含むことなしにLCUの第1のセクションを含むように上記フレームの独立して復号可能な部分を生成することと、上記フレームの独立して復号可能な部分と決定された粒度の指標とを含むようにビットストリームを生成することとを含む。
本開示の1つ以上の態様の詳細を添付の図面及び以下の説明に記載する。本開示で説明する技法の他の特徴、目的、及び利点は、これらの説明及び図面、並びに特許請求の範囲から明らかになろう。
本開示の技法のうちの1つ以上を実施し得るビデオ符号化及び復号システムを示すブロック図。 本開示の技法に一致する、コード化単位(CU:coded unit)の4分木区分化を示す概念図。 本開示の技法に一致する、CUの4分木をスライスに分割することを示す概念図。 本開示の技法に一致する、CUをスライスに分割することを示す概念図。 本開示の技法を実施し得るビデオエンコーダを示すブロック図。 本開示の技法を実施し得るビデオデコーダを示すブロック図。 本開示で説明する技法に一致する、ビデオデータを符号化する方法を示す流れ図。 本開示で説明する技法に一致する、ビデオデータを復号する方法を示す流れ図。
本開示の技法は、概して、ビデオデータのフレームを独立して復号可能な部分に分割することを含み、その場合、独立して復号可能な部分間の境界が、HEVC規格において規定されている最大CU(LCU)などのコード化単位(CU)内に位置し得る。例えば、本開示の態様は、それでビデオデータのフレームを分割すべき粒度を決定することと、決定された粒度を使用してフレームを分割することと、CU深さを使用して粒度を識別することとに関し得る。本開示の技法は、フレームを独立して復号可能な部分に分割することに関連する様々なパラメータを生成及び/又は復号することをも含み得る。例えば、本開示の態様は、CU深さを使用して、ビデオデータのフレームを分割するために使用される粒度を識別することと、各独立して復号可能な部分について階層4分木構造の別個の部分を識別することと、各独立して復号可能な部分について量子化パラメータの変化(即ち、Δ)(即ち、ΔQP)を識別することとに関し得る。
図1は、ビデオデータのフレームを独立して復号可能な部分に分割するための、本開示で説明する技法を利用するように構成され得る、例示的なビデオ符号化及び復号システム10を示すブロック図である。本開示の態様によれば、ビデオデータのフレームの独立して復号可能な部分は、概して、提案される所謂高効率ビデオコード化(HEVC)規格を含む様々なビデオコード化規格に従ってビデオデータの「スライス」と呼ばれることがある。フレームのスライスは、情報について同じフレームの他のスライスに依拠せず、従って他のスライスから独立して復号され得るので、スライスは、独立して復号可能であるものとして説明され得、従って「独立して復号可能な部分」という名前がある。スライスが独立して復号可能であることを保証すること

によって、あるスライスにおける誤り又は欠落データは、フレーム内の他のスライスに伝搬しない。また、フレーム内の単一のスライスに対する誤りを隔離することは、そのような誤りを補償しようとする試みを支援し得る。
図1の例に示すように、システム10は、宛先機器14によって復号するための符号化ビデオを生成する発信源12を含む。発信源12は、符号化ビデオが必要に応じて宛先機器14によってアクセスされ得るように、通信チャネル16を介して符号化ビデオを宛先機器14に送信し得るか、又は符号化ビデオを記憶媒体34又はファイルサーバ36に記憶し得る。発信源12及び宛先機器14は、デスクトップコンピュータ、ノートブック(即ち、ラップトップ)コンピュータ、タブレットコンピュータ、セットトップボックス、所謂スマートフォンなどの電話ハンドセット、テレビジョン、カメラ、表示装置、デジタルメディアプレーヤ、ビデオゲームコンソールなどを含む、多種多様な機器のいずれかを備え得る。
多くの場合、そのような機器はワイヤレス通信が可能であり得る。従って、通信チャネル16は、符号化ビデオデータの送信に好適なワイヤレスチャネル、ワイヤードチャネル、又はワイヤレスチャネルとワイヤードチャネルとの組合せを備え得る。例えば、通信チャネル16は、無線周波数(RF)スペクトル又は1つ以上の物理伝送線路など、任意のワイヤレス又はワイヤード通信媒体、又はワイヤレス媒体とワイヤード媒体との任意の組合せを備え得る。通信チャネル16は、ローカルエリアネットワーク、ワイドエリアネットワーク、又はインターネットなどのグローバルネットワークなど、パケットベースネットワークの一部を形成し得る。通信チャネル16は、概して、ワイヤード媒体又はワイヤレス媒体の任意の好適な組合せを含む、ビデオデータを発信源12から宛先機器14に送信するのに好適な任意の通信媒体、又は様々な通信媒体の集合体を表す。通信チャネル16は、発信源12から宛先機器14への通信を可能にするのに有用であり得るルータ、スイッチ、基地局、又は任意の他の機器を含み得る。
本開示の例による、ビデオデータのフレームをスライスに分割するための、本開示で説明する技法は、オーバージエアテレビジョン放送、ケーブルテレビジョン送信、衛星テレビジョン送信、例えばインターネットを介したストリーミングビデオ送信、データ記憶媒体に記憶するためのデジタルビデオの符号化、データ記憶媒体に記憶されたデジタルビデオの復号、又は他の適用例など、様々なマルチメディア適用例のいずれかをサポートするビデオコード化に適用され得る。幾つかの例では、システム10は、ビデオストリーミング、ビデオ再生、ビデオブロードキャスティング、及び/又はビデオテレフォニーなどの適用例をサポートするために、一方向又は二方向のビデオ送信をサポートするように構成され得る。
図1の例に更に示すように、発信源12は、ビデオ信号源18と、ビデオエンコーダ20と、変調器/復調器22と、送信機24とを含む。発信源12において、ビデオ信号源18は撮像装置などの信号源を含み得る。撮像装置は、例として、ビデオカメラ、以前に撮影されたビデオを含んでいるビデオアーカイブ、ビデオコンテンツプロバイダからビデオを受信するためのビデオフィードインターフェース、及び/又はソースビデオとしてコンピュータグラフィックスデータを生成するためのコンピュータグラフィックスシステム、のうちの1つ以上を含み得る。一例として、ビデオ信号源18がビデオカメラである場合、発信源12及び宛先機器14は、所謂カメラフォン又はビデオフォンを形成し得る。但し、本開示の技法は、必ずしもワイヤレス適用例又は設定に限定されるとは限らず、ビデオ符号化及び/又は復号機能を含む非ワイヤレス機器に適用され得る。発信源12及び宛先機器16は、本明細書で説明する技法をサポートすることができるコード化機器の例にすぎない。
撮影されたビデオ、以前に撮影されたビデオ、又はコンピュータ生成ビデオは、ビデオエンコーダ20によって符号化され得る。符号化ビデオ情報は、ワイヤレス通信プロトコルなどの通信規格に従ってモデム22によって変調され、送信機24を介して宛先機器14に送信され得る。モデム22は、信号変調のために設計された様々なミキサ、フィルタ、増幅器又は他の構成要素を含み得る。送信機24は、増幅器、フィルタ、及び1つ以上のアンテナを含む、データを送信するために設計された回路を含み得る。
また、ビデオエンコーダ20によって符号化された、撮影されたビデオ、以前に撮影されたビデオ、又はコンピュータ生成ビデオは、後の消費のために記憶媒体34又はファイルサーバ36上に記憶され得る。記憶媒体34は、ブルーレイ(登録商標)ディスク、DVD、CD−ROM、フラッシュメモリ、又は符号化ビデオを記憶するための任意の他の好適なデジタル記憶媒体を含み得る。次いで、記憶媒体34に記憶された符号化ビデオは、復号及び再生のために宛先機器14によってアクセスされ得る。
ファイルサーバ36は、符号化ビデオを記憶し、その符号化ビデオを宛先機器14に送信することが可能な任意のタイプのサーバであり得る。例示的なファイルサーバは、(例えば、ウェブサイトのための)ウェブサーバ、FTPサーバ、ネットワーク接続ストレージ(NAS)機器、ローカルディスクドライブ、又は符号化ビデオデータを記憶し、それを宛先機器に送信することが可能な他のタイプの機器を含む。ファイルサーバ36は、インターネット接続を含むいずれかの標準データ接続を通して宛先機器14によってアクセスされ得る。これは、ファイルサーバに記憶された符号化ビデオデータにアクセスするのに好適であるワイヤレスチャネル(例えば、Wi−Fi接続)、ワイヤード接続(例えば、DSL、ケーブルモデムなど)、又は両方の組合せを含み得る。ファイルサーバ36からの符号化ビデオデータの送信は、ストリーミング送信、ダウンロード送信、又は両方の組合せであり得る。
本開示では、概して、ビデオエンコーダ20が、ある情報をビデオデコーダ30などの別の機器に「信号伝達」することに言及し得る。但し、ビデオエンコーダ20は、幾つかのシンタックス要素をビデオデータの様々な符号化部分に関連付けることによって情報を信号伝達し得ることを理解されたい。即ち、ビデオエンコーダ20は、幾つかのシンタックス要素をビデオデータの様々な符号化部分のヘッダに記憶することによってデータを「信号伝達」し得る。場合によっては、そのようなシンタックス要素は、ビデオデコーダ30によって受信され、復号されるより前に、符号化され、記憶され得る(例えば、記憶媒体34又はファイルサーバ36に記憶され得る)。従って、「信号伝達」という用語は、概して、そのような通信が、リアルタイムで行われるにせよ、ほぼリアルタイムで行われるにせよ、ある時間期間にわたって行われるにせよ、符号化時にシンタックス要素を媒体に記憶するときに行われ得るような、圧縮ビデオデータを復号するのに必要なシンタックス又は他のデータの通信を指すことがあり、シンタックス要素は、次いで、この媒体に記憶された後に任意の時間に復号機器によって取り出され得る。
宛先機器14は、図1の例では、受信機26と、モデム28と、ビデオデコーダ30と、表示装置32とを含む。宛先機器14の受信機26はチャネル16を介して情報を受信し、モデム28は、その情報を復調して、ビデオデコーダ30のための復調されたビットストリームを生成する。チャネル16を介して通信される情報は、ビデオデータを復号する際にビデオデコーダ30が使用する、ビデオエンコーダ20によって生成された様々なシンタックス情報を含み得る。また、そのようなシンタックスは、記憶媒体34又はファイルサーバ36に記憶された符号化ビデオデータに含まれ得る。ビデオエンコーダ20及びビデオデコーダ30の各々は、ビデオデータを符号化又は復号することが可能である、それぞれのエンコーダデコーダ(コーデック)の一部を形成し得る。
表示装置32は、宛先機器14と一体化されるか又はその外部にあり得る。幾つかの例では、宛先機器14は、一体型表示装置を含み得、また、外部表示装置とインターフェースするように構成され得る。他の例では、宛先機器14は表示装置であり得る。概して、表示装置32は、復号ビデオデータをユーザに表示し、液晶表示器(LCD)、プラズマ表示器、有機発光ダイオード(OLED)表示器、又は別のタイプの表示装置など、様々な表示装置のいずれかを備え得る。
ビデオエンコーダ20及びビデオデコーダ30は、現在開発中の高効率ビデオコード化(HEVC)規格などのビデオ圧縮規格に従って動作し得、HEVCテストモデル(HM:HEVC Test Model)に準拠し得る。代替的に、ビデオエンコーダ20及びビデオデコーダ30は、代替的にMPEG−4,Part10,Advanced Video Coding(AVC)と呼ばれるITU−T H.264規格など、他のプロプライエタリ規格又は業界規格、あるいはそのような規格の拡張に従って動作し得る。但し、本開示の技法は、いかなる特定のコード化規格にも限定されない。他の例にはMPEG−2及びITU−T H.263がある。
HEVC規格では、ビデオデータのブロックをコード化単位(CU)と呼ぶ。概して、CUは、CUがサイズ差異を有しないことを除いて、H.264に従ってコード化されたマクロブロックと同様の目的を有する。従って、CUはサブCUに分割され得る。概して、本開示におけるCUへの言及は、ピクチャの最大コード化単位(LCU)又はLCUのサブCUを指すことがある。例えば、ビットストリーム内のシンタックスデータが、画素の数に関して最大のコード化単位であるLCUを定義し得る。LCUはサブCUに分割され得、各サブCUはサブCUに分割され得る。ビットストリームのシンタックスデータは、最大CU深さと呼ばれる、LCUが分割され得る最大回数を定義し得る。それに応じて、ビットストリームは最小コード化単位(SCU:smallest coding unit)をも定義し得る。
LCUは階層4分木データ構造に関連付けられ得る。概して、4分木データ構造はCUごとに1つのノードを含み、ルートノードはLCUに対応する。CUが4つのサブCUに分割された場合、CUに対応するノードは4つのリーフノードを含み、リーフノードの各々はサブCUのうちの1つに対応する。4分木データ構造の各ノードは、対応するCUのシンタックスデータを与え得る。例えば、4分木のノードは、そのノードに対応するCUがサブCUに分割されるかどうかを示す分割フラグを含み得る。CUのシンタックス要素は、再帰的に定義され得、CUがサブCUに分割されるかどうかに依存し得る。
分割されないCUは、1つ以上の予測ユニット(PU:prediction unit)を含み得る。概して、PUは、対応するCUの全部又は一部分を表し、そのPUの参照サンプルを取り出すためのデータを含む。例えば、PUがイントラモード符号化されるとき、PUは、PUのイントラ予測モードを記述するデータを含み得る。別の例として、PUがインターモード符号化されるとき、PUは、PUの動きベクトルを定義するデータを含み得る。動きベクトルを定義するデータは、例えば、動きベクトルの水平成分、動きベクトルの垂直成分、動きベクトルの解像度(例えば、1/4画素精度又は1/8画素精度)、動きベクトルが指す参照フレーム、及び/又は動きベクトルの参照リスト(例えば、リスト0又はリスト1)を記述し得る。(1つ又は複数の)PUを定義するCUのデータはまた、例えば、CUを1つ以上のPUに区分することを記述し得る。区分モードは、CUがコード化されないか、イントラ予測モード符号化されるか、又はインター予測モード符号化されるかの間で異なり得る。
1つ以上のPUを有するCUはまた、1つ以上の変換ユニット(TU:transform unit)を含み得る。PUを使用した予測の後に、ビデオエンコーダは、PUに対応するCUの部分の残差値を計算し得る。残差値は変換され、量子化され、走査され得る。TUは、必ずしもPUのサイズに制限されるとは限らない。従って、TUは、同じCUの対応するPUよりも大きいことも小さいこともある。幾つかの例では、TUの最大サイズは、対応するCUのサイズであり得る。本開示ではまた、CU、PU、又はTUのいずれかを指すために「ブロック」という用語を使用する。
本開示の態様では、提案されるHEVC規格において規定されている「最大コード化単位(LCU)」に言及し得るが、「最大コード化単位」という用語の範囲は、提案されるHEVC規格に限定されないことを理解されたい。例えば、コード化単位は符号化ビデオデータの他のコード化単位に関係するので、最大コード化単位という用語は、概して、コード化単位の相対サイズを指すことがある。言い換えれば、最大コード化単位は、1つ以上の別様にサイズ決定されたコード化単位を有するビデオデータのフレーム中の(例えば、そのフレーム中の他のコード化単位と比較した)相対的な最大コード化単位を指すことがある。別の例では、最大コード化単位という用語は、関連するシンタックス要素(例えば、階層4分木構造を記述するシンタックス要素など)を有し得る、提案されるHEVC規格において規定されている最大コード化単位を指すことがある。
概して、符号化ビデオデータは予測データと残差データとを含み得る。ビデオエンコーダ20は、イントラ予測モード又はインター予測モード中に予測データを生成し得る。イントラ予測は、概して、あるピクチャのブロック中の画素値を、同じピクチャの隣接する、前にコード化されたブロック中の参照サンプルに対して予測することを伴う。インター予測は、概して、あるピクチャのブロック中の画素値を、前にコード化されたピクチャのデータに対して予測することを伴う。
イントラ予測又はインター予測の後に、ビデオエンコーダ20はブロックの残差画素値を計算し得る。残差値は、概して、ブロックの予測画素値データと、ブロックの真の画素値データとの間の差分に対応する。例えば、残差値は、コード化画素と予測画素との間の差分を示す画素差分値を含み得る。幾つかの例では、コード化画素は、コード化されるべき画素のブロックに関連し得、予測画素は、コード化ブロックを予測するために使用される画素の1つ以上のブロックに関連し得る。
ブロックの残差値を更に圧縮するために、残差値は、(「エネルギー」とも呼ばれる)できるだけ多くのデータをできるだけ少数の係数に構成する変換係数のセットに変換され得る。変換技法は、離散コサイン変換(DCT)プロセス又は概念的に同様のプロセス、整数変換、ウェーブレット変換、若しくは他のタイプの変換を備え得る。その変換は、画素の残差値を空間領域から変換領域に変換する。変換係数は、元のブロックと通常同じサイズである係数の2次元行列に対応する。言い換えれば、元のブロック中の画素とちょうど同数の変換係数がある。但し、変換により、変換係数の多くは、0に等しい値を有し得る。
ビデオエンコーダ20は、次いで、ビデオデータを更に圧縮するために変換係数を量子化し得る。量子化は、概して、相対的に大きい範囲内の値を相対的に小さい範囲中の値にマッピングし、それによって、量子化変換係数を表すために必要とされるデータの量を低減することを伴う。より詳細には、量子化は、LCUレベルで定義され得る量子化パラメータ(QP:quantization parameter)に従って適用され得る。従って、同じレベルの量子化が、LCU内のCUの異なるPUに関連するTU中の全ての変換係数に適用され得る。但し、QP自体を信号伝達するのではなく、QPの変化(即ち、Δ)がLCUと共に信号伝達され得る。ΔQPは、以前に通信されたLCUのQPなどの何らかの参照QPに対する、LCUについての量子化パラメータの変化を定義する。
量子化の後に、ビデオエンコーダ20は、変換係数を走査して、量子化変換係数を含む2次元行列から1次元ベクトルを生成し得る。ビデオエンコーダ20は、次いで、データをなお一層圧縮するために、得られたアレイをエントロピー符号化し得る。概して、エントロピーコード化は、量子化変換係数のシーケンス及び/又は他のシンタックス情報をまとめて圧縮する、1つ以上のプロセスを備える。また、例えば、ΔQP、予測ベクトル、コード化モード、フィルタ、オフセット、又は他の情報など、シンタックス要素は、エントロピーコード化ビットストリーム中に含まれ得る。走査された係数は次いで、例えば、コンテンツ適応型可変長コード化(CAVLC:content adaptive variable length coding)、コンテキスト適応型バイナリ算術コード化(CABAC:context adaptive binary arithmetic coding)、又は別のエントロピーコード化プロセスによって、任意のシンタックス情報と共にエントロピーコード化される。
改めて、本開示の技法は、ビデオデータのフレームを独立して復号可能なスライスに分割することを含む。幾つかの事例では、ビデオエンコーダ20は、特定のサイズのスライスであるスライスを形成し得る。1つのそのような事例は、イーサネット(登録商標)ネットワークを介して、又はそれのレイヤ2(L2)アーキテクチャがイーサネットプロトコルを利用する、他のタイプのネットワーク(ここで、後に番号が続くレイヤは、このコンテキストでは、開放型システム間相互接続(OSI)モデルの対応するレイヤを指す)を介して、スライスを送信するための準備における事例であり得る。この例では、ビデオエンコーダ20は、1500バイトであり得る最大送信単位(MTU:maximum transmission unit)よりもわずかに小さいにすぎないスライスを形成し得る。
一般に、ビデオエンコーダはLCUに従ってスライスを分割する。即ち、ビデオエンコーダは、スライスが1つ以上のフルLCUを含んでいるように、スライス粒度をLCUのサイズに制限するように構成され得る。しかしながら、スライス粒度をLCUに制限することは、一定のサイズのスライスを形成しようと試みるときに課題をもたらし得る。例えば、このようにして構成されたビデオエンコーダは、比較的大きいLCUを有するフレームにおいて特定のサイズのスライス(例えば、所定の量のデータを含むスライス)を生成することが可能でないことがある。即ち、比較的大きいLCUにより、スライスが所望のサイズを著しく下回り得る。本開示では、概して、スライスを生成するときにLCUなどのビデオデータのブロックがより小さい部分に分けられ得る(例えば、分割され得る)程度としての「粒度」に言及する。そのような粒度は概して「スライス粒度」と呼ばれることもある。即ち、粒度(又はスライス粒度)は、異なるスライスに分割され得る、LCU内のサブCUの相対サイズを指すことがある。以下でより詳細に説明するように、粒度は、スライス分割がそれで行われる階層CU深さに従って、識別され得る。
例示のために、上記で与えられた1500バイトのターゲット最大スライスサイズの例について考えられたい。この例では、フルLCUスライス粒度で構成されたビデオエンコーダが、500バイトの第1のLCUと、400バイトの第2のLCUと、900バイトの第3のLCUとを生成し得る。ビデオエンコーダは、900バイトの合計スライスサイズのために第1及び第2のLCUをスライスに記憶し得、その場合、第3のLCUの追加により、1500バイトの最大スライスサイズを約300バイトだけ超え得る(900バイト+900バイト−300バイト=300バイト)。従って、スライスの最後のLCUにより、スライスをこのターゲット最大容量まで満たさないことがあり、スライスの残りの容量は、別のフルLCUを収容するのに十分大きくないことがある。従って、そのスライスは第1及び第2のLCUのみを記憶し、第3のLCUと、潜在的に、1500バイトのターゲットサイズ−第3のLCUの900バイト、又は900バイト、よりも小さいサイズを有する任意の追加のLCUとを記憶するための、別のスライスが生成され得る。3つではなく2つのスライスが必要とされるので、第2のスライスは、スライスヘッダの形態の追加のオーバーヘッドをもたらし、帯域幅及びストレージの非効率を引き起こす。
本開示で説明する技法によれば、ビデオエンコーダ20は、LCUよりも小さい粒度でビデオデータのフレームをスライスに分割し得る。即ち、本開示の態様によれば、ビデオエンコーダ20は、LCU内に位置し得る境界を使用してビデオデータのフレームをスライスに分割し得る。一例では、ビデオエンコーダ20は、階層的に構成された複数の比較的より小さいコード化単位を含む1つ以上のLCUを含む複数のブロックサイズCUを有するビデオデータのフレームを、独立して復号可能なスライスに分割し得る。この例では、ビデオエンコーダ20は、上記フレームの独立して復号可能な部分を形成するとき、階層的に構成された複数のより小さいコード化単位がそれで分割されるべき粒度を決定し得る。ビデオエンコーダ20はまた、LCUの第1のセクションとLCUの第2のセクションとを生成するように、決定された粒度を使用してLCUを分割し得る。ビデオエンコーダ20はまた、LCUの第2のセクションを含むことなしにLCUの第1のセクションを含むように上記フレームの独立して復号可能な部分を生成し得る。ビデオエンコーダ20はまた、上記フレームの独立して復号可能な部分と決定された粒度の指標とを含むようにビットストリームを生成し得る。
ビデオエンコーダ20は、それでフレームを独立して復号可能なスライスに分割すべき粒度を決定するとき、様々なパラメータを考慮し得る。例えば、上述のように、ビデオエンコーダ20は、所望のスライスサイズに基づいて、それでフレームを分割すべき粒度を決定し得る。他の例では、図4に関してより詳細に説明するように、ビデオエンコーダ20は、(例えば、レート歪みと呼ばれることがある)ビデオデータを信号伝達するために必要とされるビット数に対する誤り結果を考慮し、ビデオデータを信号伝達するために必要とされるビット数に対する(又はそれと比較した)これらの誤り結果に基づいて粒度の決定を行い得る。
一例では、ビデオエンコーダ20は、ビデオデータのフレームが、LCUよりも小さい粒度でスライスに分割されるべきであると決定し得る。単に説明のために与えられる一例として、ビデオデータのフレームに関連するLCUは、サイズが64画素×64画素であり得る。この例では、ビデオエンコーダ20は、フレームが32画素×32画素のCU粒度を使用してスライスに分割されるべきであると決定し得る。即ち、ビデオエンコーダ20は、サイズが32画素×32画素又はより大きいCU間の境界を使用してフレームをスライスに分割し得る。そのような粒度は、例えば、特定のスライスサイズを達成するために、実施され得る。幾つかの例では、粒度はCU深さを使用して表され得る。即ち、32画素×32画素の粒度でスライスに分割されるべきである、サイズが64画素×64画素であるLCUの場合、粒度は1のCU深さによって表され得る。
次に、ビデオエンコーダ20は、LCUの第1のセクションとLCUの第2のセクションとを生成するように、決定された粒度でLCUを分割することによって、フレームをスライスに分割し得る。上記で与えられた例では、ビデオエンコーダ20は、予期されるスライスの最後のLCUを第1及び第2のセクションに分割し得る。即ち、LCUの第1のセクションは、LCUに関連するビデオデータの1つ以上の32画素×32画素ブロックを含み得、LCUの第2のセクションは、LCUに関連する残りの32画素×32画素ブロックを含み得る。上記の例では同じサイズの画素ブロックを含むものとして規定されているが、各セクションは異なる数の画素ブロックを含み得る。例えば、第1のセクションは、複数の8画素×8画素ブロックを含み得、第2のセクションは、残りの3つの8画素×8画素ブロックを含み得る。更に、上記の例では正方形画素ブロックであるものとして説明されているが、各セクションは長方形画素ブロック又は他のタイプの画素ブロックを備え得る。
このようにして、ビデオエンコーダ20は、LCUの第2のセクションを含むことなしにLCUの第1のセクションを含む上記フレームの独立して復号可能な部分、例えば、スライスを生成し得る。例えば、ビデオエンコーダ20は、1つ以上のフルLCU、並びに上記で識別された分割されたLCUの第1のセクションを含んでいる、スライスを生成し得る。従って、ビデオエンコーダ20は、LCUよりも小さい粒度でスライスを生成するために、本開示で説明する技法を実施し得、これは、特定のサイズ(例えば、所定の量のデータ)のスライスを形成しようと試みるときのフレキシビリティを与え得る。幾つかの例では、ビデオエンコーダ20は、決定された粒度をピクチャのグループ(例えば、2つ以上のフレーム)に適用し得る。
ビデオエンコーダ20はまた、上記フレームの独立して復号可能な部分と決定された粒度の指標とを含むようにビットストリームを生成し得る。即ち、ビデオエンコーダ20は、1つ以上のピクチャがそれでスライスに分割され得る粒度を信号伝達し、その後にその1つ以上のピクチャが続き得る。幾つかの例では、ビデオエンコーダ20は、フレームがそれでスライスに分割され得るCU深さを識別することによって、粒度を示し得る。そのような例では、ビデオエンコーダ20は、粒度に基づいて1つ以上のシンタックス要素を含み得、これは、ビットストリーム中でCU深さとして信号伝達され得る。更に、ビデオエンコーダ20は、スライスが開始するアドレス(例えば、「スライスアドレス」)を示し得る。スライスアドレスは、スライスがフレーム内で開始する相対位置を示し得る。スライスアドレスはスライス粒度レベルで与えられ得る。幾つかの例では、スライスアドレスはスライスヘッダ中で与えられ得る。
本開示の態様によれば、ビデオデコーダ30は、ビデオフレームの独立して復号可能な部分を復号し得る。例えば、ビデオデコーダ30は、ビデオフレームの1つ以上の独立して復号可能な部分を含んでいるビットストリームを受信し、そのビットストリームを復号し得る。より詳細には、ビデオデコーダ30は、ビデオデータの独立して復号可能なスライスを復号し得、その場合、それらのスライスは、フレームのLCUよりも小さい粒度で形成されたものである。即ち、例えば、ビデオデコーダ30は、LCUよりも小さい粒度で形成されたスライスを受信することと、ビットストリーム中に含まれるデータを使用してそのスライスを再構成することとを行うように構成され得る。一例では、以下でより詳細に説明するように、ビデオデコーダ30は、ビットストリーム中に含まれる1つ以上のシンタックス要素(例えば、スライスがそれで分割されたCU深さ、1つ以上の分割フラグなどを識別する、シンタックス要素)に基づいて粒度を決定し得る。
スライス粒度は、1つのピクチャに適用され得るか、又は幾つかのピクチャ(例えば、ピクチャのグループ)に適用され得る。例えば、スライス粒度は、ピクチャパラメータセット(PPS:picture parameter set)などのパラメータセット中で信号伝達され得る。PPSは、概して、ピクチャのシーケンス内の1つ以上のピクチャ(例えば、ビデオデータの1つ以上のフレーム)に適用され得るパラメータを含んでいる。一般に、PPSは、スライスを復号するより前に(例えば、スライスヘッダ及びスライスデータを復号するより前に)、デコーダ30に送られ得る。スライスヘッダ中のシンタックスデータは、あるPPSを参照し得、これにより、スライスのためにそのPPSを「アクティブ(活性化)」にし得る。即ち、ビデオデコーダ30は、スライスヘッダを復号するときに、PPS中で信号伝達されたパラメータを適用し得る。幾つかの例によれば、PPSが特定のスライスのためにアクティブにされると、PPSは、(例えば、別のスライスヘッダ中で参照されることによって)異なるピクチャパラメータセットがアクティブにされるまで、アクティブのままであり得る。
上述のように、本開示の態様によれば、スライス粒度は、PPSなどのパラメータセット中で信号伝達され得る。従って、スライスは、特定のPPSを参照することによって、特定の粒度を割り当てられ得る。即ち、ビデオデコーダ30はスライスに関連するヘッダ情報を復号し得、これは、スライスのための特定のPPSを参照し得る。ビデオデコーダ30は、次いで、スライスを復号するとき、PPS中で識別されたスライス粒度をスライスに適用し得る。更に、本開示の態様によれば、ビデオデコーダ30は、スライスが開始するアドレス(例えば、「スライスアドレス」)を示す情報を復号し得る。スライスアドレスは、スライス粒度レベルでスライスヘッダ中で与えられ得る。図1には示されていないが、幾つかの態様では、ビデオエンコーダ20及びビデオデコーダ30は、それぞれオーディオエンコーダ及びデコーダと統合され得、適切なMUX−DEMUXユニット、又は他のハードウェア及びソフトウェアを含んで、共通のデータストリーム又は別個のデータストリーム中のオーディオとビデオの両方の符号化を処理し得る。適用可能な場合、幾つかの例では、MUX−DEMUXユニットは、ITU H.223マルチプレクサプロトコル、又はユーザデータグラムプロトコル(UDP)などの他のプロトコルに準拠し得る。
ビデオエンコーダ20及びビデオデコーダ30はそれぞれ、1つ以上のマイクロプロセッサ、デジタル信号プロセッサ(DSP)、特定用途向け集積回路(ASIC)、フィールドプログラマブルゲートアレイ(FPGA)、離散論理、ソフトウェア、ハードウェア、ファームウェアなど、様々な好適なエンコーダ回路のいずれか、又はそれらの任意の組合せとして実施され得る。本技法が部分的にソフトウェアで実施されるとき、機器は、好適な非一時的コンピュータ可読媒体にソフトウェアの命令を記憶し、1つ以上のプロセッサを使用してその命令をハードウェアで実行して、本開示の技法を実行し得る。ビデオエンコーダ20及びビデオデコーダ30の各々は1つ以上のエンコーダ又はデコーダ中に含まれ得、そのいずれも、それぞれの機器において複合エンコーダ/デコーダ(コーデック)の一部として統合され得る。
図2は、本開示の技法と新たなHEVC規格とに一致する、コード化単位(CU)の階層4分木区分を示す概念図である。図2に示す例では、LCU(CU0)はサイズが128画素×128画素である。即ち、CU0は、未分割CU深さ0でサイズが128画素×128画素(例えば、N=64)である。ビデオエンコーダ20は、CU0を、各々がサブCUを備える、4つのクワドラント(quadrant)に分割すべきかどうか、又はCU0を分割せずに符号化すべきかどうかを決定し得る。この決定は、例えば、CU0に関連するビデオデータの複雑さに基づいて行われ得、ビデオデータが複雑になるほど、分割の確率は増加する。
CU0を分割するという決定は分割フラグによって表され得る。概して、分割フラグは、ビットストリーム中にシンタックス要素として含まれ得る。即ち、CU0が分割されない場合、分割フラグは0に設定され得る。逆に、CU0が、サブCUを備えるクワドラントに分割される場合、分割フラグは1に設定され得る。図3A及び図3Bに関してより詳細に説明するように、ビデオエンコーダ20(図1)などのビデオエンコーダが、分割フラグを使用してLCUとLCUのサブCUとの分割を示す4分木データ構造を表し得る。
CU0などのLCUが分割された回数を示すために、CU深さが使用され得る。例えば、CU0を分割した後に(例えば、分割フラグ=1)、得られたサブCUは1の深さを有する。また、CUのCU深さは、LCUサイズが既知であるとすれば、そのCUのサイズの指標を与え得る。図2に示す例では、CU0はサイズが128画素×128画素である。従って、(図2の例ではCU1として示される)深さ1での各CUは、サイズが64画素×64画素である。
このようにして、最大階層深さに達するまで、CUはサブCUに再帰的に分割され得る。CUは、最大階層深さを超えて分割され得ない。図2に示す例では、4の最大階層深さに達するまで、CU0はサブCUに分割され得る。4のCU深さ(例えば、CU4)では、CUはサイズが8画素×8画素である。
図2の例では、CU0は、サイズが128画素×128画素であり、4の最大階層深さを有するものとして示されているが、それは、説明のために一例として与えられているにすぎない。他の例は、より大きい又はより小さいLCUであって、同じ又は代替の最大階層深さを有するLCUを含み得る。
図3A及び図3Bは、本開示の技法に一致する、例示的な4分木50と、対応する最大コード化単位80とを示す概念図である。4分木50は、階層的に構成されたノードを含む。各ノードは、子なしのリーフノードであり得るか、又は4つの子ノードを有し、従って「4分木」という名前があり得る。図3Aの例では、4分木50はルートノード52を含む。ルートノード52は、リーフノード54A及び54B(リーフノード54)とノード56A及び56B(ノード56)とを含む、4つの子ノードを有する。ノード56がリーフノードでないので、ノード56は、それぞれ4つの子ノードを含む。即ち、図3Aに示す例では、ノード56Aは4つの子リーフノード58A〜58Dを有し、ノード56Bは3つのリーフノード60A〜60C(リーフノード60)とノード62とを有する。更に、ノード62は4つのリーフノード64A〜64D(リーフノード64)を有する。
4分木50は、この例ではLCU80など、対応する最大コード化単位(LCU)の特性を記述するデータを含み得る。例えば、4分木50は、それの構造により、サブCUへのLCU80の分割を記述し得る。LCU80が2N×2Nのサイズを有すると仮定する。この例では、LCU80は、サイズN×Nの2つのサブCU82A及び82B(サブCU82)をもつ、4つのサブCUを有する。LCU80の残りの2つのサブCUは、更に、より小さいサブCUに分割される。即ち、図3Bに示す例では、LCU80の上記サブCUのうちの一方は、サイズN/2×N/2のサブCU84A〜84Dに分割され、LCU80の他方のサブCUは、サイズN/2×N/2のサブCU86A〜86C(サブCU86)と、サイズN/4×N/4のサブCU88A〜88D(サブCU88)として識別される、更に分割されたサブCUとに分割される。
図3A及び図3Bに示す例では、4分木50の構造はLCU80の分割に対応する。即ち、ルートノード52はLCU80に対応し、リーフノード54はサブCU82に対応する。その上、リーフノード58(ノード56Aの子ノードであり、これは一般に、ノード56Aがポインタ参照リーフノード58を含むことを意味する)はサブCU84に対応し、(例えば、ノード56Bに属する)リーフノード60はサブCU86に対応し、(例えば、ノード62に属する)リーフノード64はサブCU88に対応する。
図3A及び図3Bに示す例では、(ルートノード52に対応する)LCU80は、第1のセクション90と第2のセクション92とに分割される。本開示の態様によれば、ビデオエンコーダ20などのビデオエンコーダが、LCU80を第1のセクション90と第2のセクション92とに分割し、第1のセクション90を、LCU80がそこから属するフレームの第1の独立して復号可能な部分に含め得、第2のセクション92を、LCU80がそこから属するフレームの第2の独立して復号可能な部分に含め得る。即ち、ビデオエンコーダ20は、(例えば、矢印96によって示される)第1のスライスが第1のセクション90を含み、(例えば、矢印98によって示される)第2のスライスが第2のセクション92を含むように、(例えば、「スライス分割」矢印94によって示されるように)LCU80を含んでいるビデオデータのフレームをスライスに分割し得る。例えば、第1のスライス96は、スライスの相対終端として位置し得る、LCU80の第1のセクション90に加えて、1つ以上の完全なLCUを含み得る。同様に、第2のスライス98は、LCU80の第2のセクション92から始まり、1つ以上の追加の他のLCUを含み得る。
図3A及び図3Bに関して図示及び説明する方法で、LCU80を含んでいるビデオデータのフレームを独立して復号可能なスライスに分割するために、スライスがそれで生成される粒度は、本開示の技法によれば、LCU80のサイズよりも小さくなければならない。一例では、説明のために、LCU80が、サイズが64画素×64画素(例えば、N=32)であると仮定する。この例では、スライス粒度は16画素×16画素である。例えば、スライス境界によって分離された最小CUのサイズは、サイズが16画素×16画素である。
LCU80などのフレームのLCUがそれでスライスに分割され得る粒度は、分割がそれで行われるCU深さ値に従って、識別され得る。図3Aの例では、スライス分割94は2のCU深さで行われる。例えば、第1のスライス96に含まれ得る第1のセクション90と第2のスライス98に含まれ得る第2のセクション92との間の境界は、2のCU深さにあるリーフノード58Bとリーフノード58Cとの間に位置する。
図3Bに示す例は、LCU80がそれで分割される粒度を更に概念的に示す。例えば、本開示では、概して、スライスを生成するときにLCUが分割される程度としての「粒度」に言及し得る。図3Bに示すように、LCU80のサブCU84は、第1のセクション90と第2のセクション92との間の境界がそれを通って位置する、最小CUである。即ち、第1のセクション90がそれによって第2のセクション92から分離される境界は、サブCU84A/84BとサブCU84C/84Dとの間に位置する。従って、この例では、スライス96の最後のCUはサブCU84Bであり、スライス98の最初のCUはサブCU84Cである。
LCU80よりも小さいCU粒度を使用してスライスを生成することは、特定のサイズ(例えば、所定の量のデータ)のスライスを形成しようと試みるときのフレキシビリティを与え得る。その上、上述のように、本開示の技法に従ってフレームをスライスに分割することは、圧縮ビデオデータを指定するために必要とされるスライスの数を低減し得る。オーバーヘッドデータの量は圧縮ビデオデータの量に応じて減少するので、圧縮ビデオデータを指定するために必要とされるスライスの数を低減することは、オーバーヘッドデータ(スライスヘッダに関連するオーバーヘッド)を減少させ、それにより圧縮効率を改善し得る。
LCU80を含んでいるフレームを独立して復号可能なスライス96及び98に分割するとき、本開示の態様によれば、LCU80についての階層4分木情報が、分離され、各独立して復号可能なスライスと共に提示され得る。例えば、上述のように、4分木50のノードのデータは、ノードに対応するCUが分割されるかどうかを記述し得る。CUが分割される場合、4分木50中に4つの追加のノードが存在し得る。幾つかの例では、4分木のノードは以下の擬似コードと同様に実施され得る。
Figure 2015156648
split_flag値は、現在のノードに対応するCUが分割されるかどうかを表す1ビット値であり得る。CUが分割されない場合、split_flag値は「0」であり得るが、CUが分割される場合、split_flag値は「1」であり得る。4分木50の例に関して、分割フラグ値のアレイは10011000001000000であり得る。
LCU80に関連する4分木50などの4分木情報は、一般に、LCU80を含んでいるスライスの始端において与えられる。しかしながら、LCU80が異なるスライスに分割され、4分木情報を含んでいるスライスが紛失したか又は壊れている場合、ビデオデコーダは、第2のスライス98(例えば、4分木情報がないスライス)中に含まれているLCU80の部分を適切に復号することが可能でないことがある。即ち、ビデオデコーダは、LCU80の残りがどのようにサブCUに分割されるかを識別することが可能でないことがある。
本開示の態様は、LCU80など、異なるスライスに分割されているLCUについての階層4分木情報を分離することと、4分木情報の分離された部分を各スライスと共に提示することとを含む。例えば、ビデオエンコーダ20は、一般に、LCU80の始端において分割フラグの形態の4分木情報を与え得る。しかしながら、LCU80についての4分木情報がこのようにして与えられる場合、第1のセクション90は分割フラグの全てを含み得るが、第2のセクション92はいかなる分割フラグをも含まない。(第1のセクション90を含んでいる)第1のスライス96が紛失したか又は壊れている場合、(第2のセクション92を含んでいる)第2のスライス98は適切に復号されることが可能でないことがある。
LCU80を異なるスライスに分割するとき、本開示の態様によれば、ビデオエンコーダ20は、第1のセクション90に適用可能である4分木情報が第1のスライス96と共に与えられ、第2のセクション92に適用可能である4分木情報が第2のスライス96と共に与えられるように、関連する4分木情報をも分離し得る。即ち、LCU80を第1のセクション90と第2のセクション92とに分割するとき、ビデオエンコーダ20は、第2のセクション92に関連する分割フラグから第1のセクション90に関連する分割フラグを分離し得る。ビデオエンコーダ20は、次いで、第1のスライス96と共に第1のセクション90についての分割フラグを与え、第2のスライス98と共に第2のセクション92についての分割フラグを与え得る。このようにして、第1のスライス96が壊れているか又は紛失した場合、ビデオデコーダは、依然として、第2のスライス98に含まれるLCU80の残りの部分を適切に復号することが可能であり得る。
LCUについての4分木情報の一部分のみを含んでいるLCUのセクションを適切に復号するために、幾つかの例では、ビデオデコーダ30は、LCUの他のセクションに関連する4分木情報を再構成し得る。例えば、第2のセクション92を受信すると、ビデオデコーダ30は、4分木50の欠落した部分を再構成し得る。そうするために、ビデオデコーダ30は、受信されたスライスの第1のCUのインデックス値を識別し得る。インデックス値は、サブCUが属するクワドラントを識別し、それによってLCU内のサブCUの相対位置の指標を与え得る。即ち、図3Bに示す例では、サブCU84Aは0のインデックス値を有し得、サブCU84Bは1のインデックス値を有し得、サブCU84Cは2のインデックス値を有し得、サブCU84Dは3のインデックス値を有し得る。そのようなインデックス値は、スライスヘッダ中のシンタックス要素として与えられ得る。
従って、第2のセクション92を受信すると、ビデオデコーダ30は、サブCU84Cのインデックス値を識別し得る。ビデオデコーダ30は、次いで、そのインデックス値を使用して、サブCU84Cが左下クワドラントに属することと、サブCU84Cの親ノードが分割フラグを含むにちがいないこととを識別し得る。即ち、サブCU84Cが、インデックス値を有するサブCUであるので、その親CUは必然的に分割フラグを含む。
更に、ビデオデコーダ30は、第2のセクション92に含まれる4分木50のノードの全てを推論し得る。一例では、ビデオデコーダ30は、4分木50の受信された部分を使用して、及び深さ優先(depth-first)4分木横断アルゴリズムを使用して、そのような情報を推論し得る。深さ優先横断アルゴリズムによれば、ビデオデコーダ30は、展開されたノードがリーフノードを有しなくなるまで、4分木50の受信された部分の最初のノードを展開する。ビデオデコーダ30は、まだ展開されていない直近のノードに戻るまで、展開されたノードを横断する。ビデオデコーダ30は、4分木50の受信された部分の全てのノードが展開されるまで、このようにして継続する。
LCU80を異なるスライスに分割するとき、ビデオエンコーダ20は、ビデオデコーダ30がビデオデータを復号するのを支援するために、他の情報をも与え得る。例えば、本開示の態様は、ビットストリーム中に含まれる1つ以上のシンタックス要素を使用してスライスの相対終端を識別することを含む。一例では、ビデオエンコーダ20などのビデオエンコーダが、1ビットスライス終端フラグを生成し、スライス終端フラグをフレームの各CUと共に与えて、特定のCUがスライスの最後のCU(例えば、分割より前の最後のCU)であるかどうかを示し得る。この例では、ビデオエンコーダ20は、スライス終端フラグを、CUがスライスの相対終端に位置する場合は「0」の値に設定し、CUがスライスの相対終端に位置する場合は「1」の値に設定し得る。図3Bに示す例では、サブCU84Bは「1」のスライス終端フラグを含むであろうが、残りのCUは「0」のスライス終端フラグを含むであろう。
幾つかの例では、ビデオエンコーダ20は、フレームをスライスに分割するために使用される粒度に等しいか又はそれよりも大きいCUについてスライス終端指標(例えば、スライス終端フラグ)を与えるにすぎないことがある。図3Bに示す例では、ビデオエンコーダ20は、16画素×16画素の粒度に等しいか又はそれよりも大きいCU、即ち、CU82A、82B、84A〜84D、及び86A〜86Cと共に、スライス終端フラグを与えるにすぎないことがある。このようにして、ビデオエンコーダ20は、スライス終端フラグがフレームのあらゆるCUと共に与えられる手法に勝るビット節約を達成し得る。
また、LCU80などのLCUが異なるスライスに分割される例では、各スライスについて別個の量子化データが与えられ得る。例えば、上述のように、量子化は、LCUレベルで定義され得る(例えば、ΔQPによって識別され得る)量子化パラメータ(QP)に従って適用され得る。但し、本開示の態様によれば、ビデオエンコーダ20は、異なるスライスに分割されたLCUの各部分についてΔQP値を示し得る。図3Bに示す例では、ビデオエンコーダ20は、第1のセクション90と第2のセクション92とについて別個のΔQPを与え得、第1のセクション90と第2のセクション92とは、それぞれ第1のスライス96と第2のスライス98とに含まれ得る。
説明のために図3A及び図3Bの幾つかの態様についてビデオエンコーダ20及びビデオデコーダ30に関して説明したが、他のプロセッサ、処理ユニット、エンコーダ/デコーダ(コーデック)を含むハードウェアベースのコード化単位など、他のビデオコード化単位も、図3A及び図3Bに関して説明した例及び技法を実行するように構成され得ることを理解されたい。
図4は、本開示で説明する、ビデオデータのフレームを独立して復号可能な部分に分割するための技法のいずれか又は全てを実施し得るビデオエンコーダ20の一例を示すブロック図である。概して、ビデオエンコーダ20は、ビデオフレーム内のCUのイントラコード化及びインターコード化を実行し得る。イントラコード化は、所与のビデオフレーム内のビデオの空間的冗長性を低減又は除去するために空間的予測に依拠する。インターコード化は、ビデオシーケンスの現在のフレームと前にコード化されたフレームとの間の時間的冗長性を低減又は除去するために時間的予測に依拠する。イントラモード(Iモード)は、幾つかの空間ベースの圧縮モードのいずれかを指すことがあり、単方向予測(Pモード)又は双方向予測(Bモード)などのインターモードは、幾つかの時間ベースの圧縮モードのいずれかを指すことがある。
図4に示すように、ビデオエンコーダ20は、符号化されるべきビデオフレーム内の現在のビデオブロックを受信する。図4の例では、ビデオエンコーダ20は、動き補償ユニット144と、動き推定ユニット142と、イントラ予測ユニット146と、参照フレームストア164と、加算器150と、変換ユニット152と、量子化ユニット154と、エントロピーコード化ユニット156とを含む。図4に示す変換ユニット152は、実際の変換を実行するユニットであり、CUのTUと混同されるべきでない。ビデオブロック再構成のために、ビデオエンコーダ20はまた、逆量子化ユニット158と、逆変換ユニット160と、加算器162とを含む。再構成されたビデオからブロッキネスアーティファクトを除去するためにブロック境界をフィルタ処理するデブロッキングフィルタ(図4に図示せず)も含まれ得る。所望される場合、デブロッキングフィルタは、一般に、加算器162の出力をフィルタ処理することになる。
符号化プロセス中に、ビデオエンコーダ20はコード化されるべきビデオフレーム又はスライスを受信する。フレーム又はスライスは、複数のビデオブロック、例えば、最大コード化単位(LCU)に分割され得る。動き推定ユニット142及び動き補償ユニット144は、時間圧縮を行うために、1つ以上の参照フレーム中の1つ以上のブロックに対して受信されたビデオブロックのインター予測コード化を実行する。イントラ予測ユニット146は、空間圧縮を行うために、コード化されるべきブロックと同じフレーム又はスライス中の1つ以上の隣接ブロックに対して受信されたビデオブロックのイントラ予測コード化を実行し得る。
モード選択ユニット140は、例えば、(例えば、レート歪みと呼ばれることがある)各コード化モード下でビデオデータを信号伝達するのに必要とされるビット数に対する誤差結果に基づいて、コード化モード、即ち、イントラ又はインターのうちの1つを選択し得、残差ブロックデータを生成するために、得られたイントラコード化ブロック又はインターコード化ブロックを加算器150に与え、参照フレーム中で使用するための符号化ブロックを再構成するために、得られたイントラコード化ブロック又はインターコード化ブロックを加算器162に与える。幾つかのビデオフレームはIフレームに指定され得、Iフレーム中の全てのブロックはイントラ予測モードで符号化される。場合によっては、例えば、動き推定ユニット142によって実行された動き探索によって得られたブロックの予測が不十分であったとき、イントラ予測ユニット146は、Pフレーム又はBフレーム中のブロックのイントラ予測符号化を実行し得る。
コード化モードのうちの1つを選択することに加えて、幾つかの例によれば、ビデオエンコーダ20は、それでビデオデータのフレームを分割すべき粒度を決定することなど、他の機能を実行し得、その粒度はLCUよりも小さいことがある。例えば、ビデオエンコーダ20は、様々なスライス構成のためのレート歪みを計算し(例えば、所定の歪みを超えることなしに圧縮を最大化しようと試み)、最良の結果を生じる粒度を選択し得る。ビデオエンコーダ20は、粒度を選択するときにターゲットスライスサイズを考慮し得る。例えば、上述のように、幾つかの事例では、特定のサイズのスライスであるスライスを形成することが望ましいことがある。1つのそのような例は、ネットワークを介してスライスを送信するための準備における例であり得る。ビデオエンコーダ20は、ターゲットサイズにぴったり一致させようという試みにおいて、それでビデオデータのフレームをスライスに分割すべき粒度を決定し得る。
ビデオエンコーダ20がそれでビデオデータのフレームを分割すべき粒度を決定する例では、ビデオエンコーダ20はそのような粒度を示し得る。即ち、ビデオエンコーダ20(モード選択ユニット140、エントロピーコード化ユニット156、又はビデオエンコーダ20の別のユニットなど)は、ビデオデコーダがビデオデータを復号するのを支援するために、粒度の指標を与え得る。例えば、ビデオエンコーダ20は、分割がそれで行われ得るCU深さに従って粒度を識別し得る。
説明のために、ビデオデータのフレームが、サイズが128画素×128画素である1つ以上のLCUを有すると仮定する。この例では、ビデオエンコーダ20は、例えば、ターゲットスライスサイズを達成するために、フレームが32画素×32画素の粒度でスライスに分割され得ると決定し得る。ビデオエンコーダ20は、スライス分割がそれで行われ得る階層深さに従ってそのような粒度を示し得る。即ち、図3A及び図3Bに示した階層4分木構成によれば、32画素×32画素のサブCUは2のCU深さを有する。従って、この例では、ビデオエンコーダ20は、スライス分割が2のCU深さで行われ得ることを示すことによって、スライス粒度を信号伝達し得る。
一例では、ビデオエンコーダ20は、ビデオデータのフレームがそれでスライスに分割され得る粒度の指標をピクチャパラメータセット(PPS)中で与え得る。例えば、背景として、ビデオエンコーダ20は、ネットワークを介した送信のための圧縮ビデオデータを、所謂「ネットワーク抽象レイヤユニット(network abstraction layer unit)」又はNALユニットにフォーマットし得る。各NALユニットは、NALユニットに記憶されるデータのタイプを識別するヘッダを含み得る。一般にNALユニットに記憶されるデータの2つのタイプがある。NALユニットに記憶されるデータの第1のタイプはビデオコード化レイヤ(VCL:video coding layer)データであり、これは圧縮ビデオデータを含む。NALユニットに記憶されるデータの第2のタイプは非VCLデータと呼ばれ、これは、多数のNALユニットに共通のヘッダデータを定義するパラメータセットなどの追加情報、及び補足エンハンスメント情報(SEI:supplemental enhancement information)を含む。例えば、パラメータセットは、(例えば、シーケンスパラメータセット(SPS:sequence parameter set)中の)シーケンスレベルヘッダ情報と(例えば、ピクチャパラメータセット(PPS)中の)まれに変化するピクチャレベルヘッダ情報とを含んでいることがある。パラメータセット中に含まれているまれに変化する情報は、シーケンス又はピクチャごとに繰り返される必要がなく、それによりコード化効率が改善される。更に、パラメータセットの使用はヘッダ情報の帯域外送信を可能にし、それにより誤り耐性のための冗長送信の必要を回避する。
一例では、ビデオデータのフレームがそれでスライスに分割され得る粒度の指標が、以下の表1に従って示され得る。
Figure 2015156648
表1に示す例では、slice_granu_CU_depthは、ビデオデータのフレームをスライスに分割するために使用される粒度を指定し得る。例えば、slice_granu_CU_depthは、LCU(例えば、LCU=深さ0)と比較してスライス分割がそれで行われ得る階層深さを識別することによって、フレームをスライスに分割するために使用される粒度としてのCU深さを指定し得る。幾つかの例によれば本開示の態様によれば、スライスは(例えば、関連する階層4分木構造中の全てのCUを含む)一連のLCUと不完全なLCUとを含んでいることがある。不完全なLCUは、max_coding_unit_width>>slice_granu_CU_depth×max_coding_unit_height>>slice_granu_CU_depthと同じくらい小さいが、より小さくない、サイズをもつ1つ以上の完全なCUを含んでいることがある。例えば、スライスは、max_coding_unit_width>>slice_granu_CU_depth×max_coding_unit_height>>slice_granu_CU_depthよりも小さいサイズを有するCUであって、そのスライス中に完全に含まれているLCUに属しないCUを含んでいることができない。即ち、max_coding_unit_width>>slice_granu_CU_depth×max_coding_unit_height>>slice_granu_CU_depthのCUサイズに等しいか又はそれよりも小さいCU内ではスライス境界が発生しないことがある。
ビデオエンコーダ20がビデオデータのフレームをスライスに分割するためにLCUよりも小さい粒度を決定する例では、ビデオエンコーダ20は、異なるスライスに分割されているLCUについての階層4分木情報を分離し、4分木情報の分離された部分を各スライスと共に提示し得る。例えば、図3A及び図3Bに関して上記で説明したように、ビデオエンコーダ20は、スライス間で分割されているLCUの各セクションに関連する分割フラグを分離し得る。ビデオエンコーダ20は、次いで、第1のスライスと共に、分割されたLCUの第1のセクションに関連する分割フラグを与え、第2のスライスと共に、分割されたLCUの他のセクションに関連する分割フラグを与え得る。このようにして、第1のスライスが壊れているか又は紛失した場合、ビデオデコーダは、依然として、第2のスライスに含まれるLCUの残りの部分を適切に復号することが可能であり得る。
追加又は代替として、ビデオエンコーダ20は、1つ以上のシンタックス要素を使用してスライスの相対終端を識別し得る。例えば、ビデオエンコーダ20は、1ビットスライス終端フラグを生成し、スライス終端フラグをフレームの各CUと共に与えて、特定のCUがスライスの最後のCU(例えば、分割より前の最後のCU)であるかどうかを示し得る。例えば、ビデオエンコーダ20は、スライス終端フラグを、CUがスライスの相対終端に位置する場合は「0」の値に設定し、CUがスライスの相対終端に位置する場合は「1」の値に設定し得る。
幾つかの例では、ビデオエンコーダ20は、フレームをスライスに分割するために使用される粒度に等しいか又はそれよりも大きいCUについてスライス終端指標(例えば、スライス終端フラグ)を与えるにすぎないことがある。例えば、説明のために、ビデオエンコーダ20が、64画素×64画素のLCUサイズの場合、それでビデオデータのフレームをスライスに分割すべき粒度が32画素×32画素であると決定すると仮定する。この例では、モード選択ユニット140は、サイズが32画素×32画素又はより大きいCUと共にスライス終端フラグを与えるにすぎないことがある。
一例では、ビデオエンコーダ20は、以下に示す表2に従ってスライス終端フラグを生成し得る。
Figure 2015156648
本開示の幾つかの態様について概してビデオエンコーダ20に関して説明したが、そのような態様は、モード選択ユニット140など、ビデオエンコーダ20の1つ以上のユニット、又はビデオエンコーダ20の1つ以上の他のユニットによって行われ得ることを理解されたい。
動き推定ユニット142と動き補償ユニット144とは、高度に統合され得るが、概念的な目的のために別々に示してある。動き推定は、インターコード化の場合、ビデオブロックの動きを推定する動きベクトルを生成するプロセスである。動きベクトルは、例えば、参照フレームの参照サンプルに対する、現在のフレーム中の予測単位の変位を示し得る。参照サンプルは、絶対値差分和(SAD:sum of absolute difference)、2乗差分和(SSD:sum of square difference)、又は他の差分メトリックによって決定され得る画素差分に関して、コード化されているPUを含むCUの部分にぴったり一致することがわかるブロックである。動き補償ユニット144によって実行される動き補償は、動き推定によって決定された動きベクトルに基づいて予測単位の値をフェッチ又は生成することを伴い得る。この場合も、幾つかの例では、動き推定ユニット142と動き補償ユニット144とは機能的に統合され得る。
動き推定ユニット142は、予測単位を参照フレームストア164に記憶された参照フレームの参照サンプルと比較することによってインターコード化フレームの予測単位の動きベクトルを計算する。幾つかの例では、ビデオエンコーダ20は、参照フレームストア164に記憶された参照フレームのサブ整数画素位置の値を計算し得る。例えば、ビデオエンコーダ20は、参照フレームの1/4画素位置、1/8画素位置、又は他の分数画素位置の値を計算し得る。従って、動き推定ユニット142は、フル画素位置と分数画素位置とに対する動き探索を実行し、分数画素精度で動きベクトルを出力し得る。動き推定ユニット142は、計算された動きベクトルをエントロピーコード化ユニット156と動き補償ユニット144とに送る。動きベクトルによって識別される参照フレームの部分は参照サンプルと呼ばれることがある。動き補償ユニット144は、例えば、PUの動きベクトルによって識別される参照サンプルを取り出すことによって、現在のCUの予測単位についての予測値を計算し得る。
イントラ予測ユニット146は、動き推定ユニット142と動き補償ユニット144とによって実行されるインター予測の代替として、受信ブロックをコード化するためのイントラ予測を実行し得る。イントラ予測ユニット146は、隣接する、前にコード化されたブロック、例えば、ブロックについての左から右、上から下への符号化順序を仮定すると、現在のブロックの上ブロック、右上ブロック、左上ブロック、又は左ブロックに対して受信ブロックを符号化し得る。イントラ予測ユニット146は多種多様なイントラ予測モードで構成され得る。例えば、イントラ予測ユニット146は、符号化されているCUのサイズに基づいて、一定数の予測モード、例えば、35個の予測モードで構成され得る。
イントラ予測ユニット146は、例えば、様々なイントラ予測モードのためのレート歪みを計算し(例えば、所定の歪みを超えることなしに圧縮を最大化しようと試み)、最良の結果を生じるモードを選択することによって、利用可能なイントラ予測モードからイントラ予測モードを選択し得る。イントラ予測モードは、空間的に隣接する画素の値を合成し、その合成された値を、PUを予測するために使用される予測ブロック中の1つ以上の画素位置に適用するための機能を含み得る。予測ブロック中の全ての画素位置の値が計算されると、イントラ予測ユニット146は、PUと予測ブロックとの間の画素差分に基づいて予測モードの誤差値を計算し得る。イントラ予測ユニット146は、ビデオデータを信号伝達するのに必要とされるビットに対して許容できる誤差値を生じるイントラ予測モードが発見されるまでイントラ予測モードをテストし続け得る。イントラ予測ユニット146は、次いで、PUを加算器150に送り得る。
ビデオエンコーダ20は、コード化されている元のビデオブロックから、動き補償ユニット144又はイントラ予測ユニット146によって計算された予測データを減算することによって残差ブロックを形成する。加算器150は、この減算演算を実行する1つ以上の構成要素を表す。残差ブロックは値の2次元行列に対応し得、残差ブロック中の値の数は、残差ブロックに対応するPU中の画素の数と同じである。残差ブロック中の値は、予測ブロック中のコロケート画素(同一箇所画素)と、コード化されるべき元のブロック中のコロケート画素との間の差分に対応し得る。
変換ユニット152は、離散コサイン変換(DCT)、整数変換、又は概念的に同様の変換などの変換を残差ブロックに適用し、残差変換係数値を備えるビデオブロックを生成する。変換ユニット152は、概念的にDCTと同様である、H.264規格によって定義される変換など、他の変換を実行し得る。ウェーブレット変換、整数変換、サブバンド変換又は他のタイプの変換も使用され得る。いずれの場合も、変換ユニット152は、変換を残差ブロックに適用し、残差変換係数のブロックを生成する。変換ユニット152は、残差情報を画素値領域から周波数領域などの変換領域に変換し得る。
量子化ユニット154は、ビットレートを更に低減するために残差変換係数を量子化する。量子化プロセスは、係数の一部又は全部に関連するビット深さを低減し得る。量子化の程度は、量子化パラメータ(QP)を調整することによって修正され得る。幾つかの例では、QPはLCUレベルで定義され得る。従って、同じレベルの量子化が、LCU内のCUの異なるPUに関連するTU中の全ての変換係数に適用され得る。但し、QP自体を信号伝達するのではなく、QPの変化(即ち、Δ)がLCUと共に信号伝達され得る。ΔQPは、以前に通信されたLCUのQPなどの何らかの参照QPに対する、LCUについての量子化パラメータの変化を定義する。
LCUが2つのスライス間で分割される例では、本開示の態様によれば、量子化ユニット154は、分割されたLCUの各部分について別個のQP(又はΔQP)を定義し得る。説明のために、LCUの第1のセクションが第1のスライスに含まれ、LCUの第2のセクションが第2のスライスに含まれるように、LCUが2つのスライス間で分割されると仮定する。この例では、量子化ユニット154は、LCUの第1のセクションについての第1のΔQPと、LCUの第2のセクションについての、第1のΔQPとは別個の第2のΔQPとを定義し得る。幾つかの例では、第1のスライスと共に与えられるΔQPは、第2のスライスと共に与えられるΔQPとは異なり得る。
一例では、量子化ユニット154は、以下に示す表3に従ってΔQP値の指標を与え得る。
Figure 2015156648
表2の例では、cu_QP_deltaはCUレイヤにおいてQPYの値を変化させることがある。即ち、異なるスライスに分割されたLCUの2つの異なるセクションについて別個のcu_QP_delta値が定義され得る。幾つかの例によれば、cu_QP_deltaの復号された値は−26〜+25の範囲内にあり得る。CUについてcu_QP_delta値が与えられない場合、ビデオデコーダは、cu_QP_delta値が0に等しいと推論し得る。
幾つかの例では、QPY値は以下の式(1)に従って導出され得、ここで、QPY,PREVは、現在のスライス中の復号順序における前のCUのルーマ量子化パラメータ(QPY)である。
QPY = ( QPY,PREV + cu_qp_delta + 52 ) % 52 (1)
更に、スライス中の第1のCUについて、QPY,PREV値は初めにSliceQPYに等しく設定され得、SliceQPYは、量子化パラメータが修正されるまでスライスの全てのブロックについて使用される初期QPYであり得る。その上、firstCUFlagは各スライスの始端において「true」に設定され得る。
本開示の幾つかの態様によれば、量子化ユニット154は、QPY値を割り当てられ得る最小CUサイズを決定し得る。例えば、量子化ユニット154は、MinQPCodingUnitSizeに等しいか又はそれよりも大きいCUについてQP値を設定するにすぎないことがある。幾つかの例では、MinQPCodingUnitSizeがMaxCodingUnitSize(例えば、最大のサポートされるCU(LCU)のサイズ)に等しいとき、量子化ユニット154は、LCUとスライス中の第1のCUとについてQP値を信号伝達するにすぎないことがある。別の例では、スライスの第1のCU及び/又はLCUについてΔQP値を信号伝達するにすぎない代わりに、量子化ユニット154は、ΔQPが設定され得る最小QP CUサイズを信号伝達し得、最小QP CUサイズは特定のシーケンス(例えば、フレームのシーケンス)について固定であり得る。例えば、量子化ユニット154は、例えば、ピクチャパラメータセット(PPS)又はシーケンスパラメータセット(SPS)などのパラメータセット中で、最小QP CUサイズを信号伝達し得る。
別の例では、量子化ユニット154は、CU深さに従ってQP値を割り当てられ得る最小CUサイズを識別し得る。即ち、量子化ユニット154は、MinQPCUDepthに等しく又はそれよりも高く(例えば、4分木構造上で比較的より高く)位置するCUについてQP値を設定するにすぎないことがある。この例では、MinQPCodingUnitSizeは、MinQPCUDepthとMaxCodingUnitSizeとに基づいて導出され得る。最小QP深さは、例えば、PPS又はSPSなどのパラメータセット中で、信号伝達され得る。
量子化の後に、エントロピーコード化ユニット156は量子化変換係数をエントロピーコード化する。例えば、エントロピーコード化ユニット156は、コンテンツ適応型可変長コード化(CAVLC)、コンテキスト適応型バイナリ算術コード化(CABAC)、又は別のエントロピーコード化技法を実行し得る。エントロピーコード化ユニット156によるエントロピーコード化の後、符号化ビデオは、別の機器に送信されるか、又は後で送信するか又は取り出すためにアーカイブされ得る。コンテキスト適応型バイナリ算術コード化(CABAC)の場合、コンテキストは隣接コード化単位に基づき得る。
場合によっては、エントロピーコード化ユニット156又はビデオエンコーダ20の別のユニットは、エントロピーコード化に加えて他のコード化機能を実行するように構成され得る。例えば、エントロピーコード化ユニット156はコード化単位及びパーティションのCBP値を決定するように構成され得る。また、場合によっては、エントロピーコード化ユニット156は、コード化単位又はそれの区分中の係数のランレングスコード化を実行し得る。特に、エントロピーコード化ユニット156は、コード化単位又は区分中の変換係数を走査するためにジグザグ走査又は他の走査パターンを適用し、更なる圧縮のためにゼロのランを符号化し得る。エントロピーコード化ユニット156はまた、符号化ビデオビットストリーム中での送信のために適切なシンタックス要素を用いてヘッダ情報を構成し得る。
エントロピーコード化ユニット156がスライスについてのヘッダ情報を構成する例では、本開示の態様によれば、エントロピーコード化ユニット156は広範囲のスライスパラメータ(pervasive slice parameters)のセットを決定し得る。広範囲のスライスパラメータは、例えば、2つ以上のスライスに共通のシンタックス要素を含み得る。上述のように、シンタックス要素は、デコーダがスライスを復号するのを支援し得る。幾つかの例では、広範囲のスライスパラメータは、本明細書では「フレームパラメータセット」(FPS:frame parameter set)と呼ばれることがある。本開示の態様によれば、FPSは複数のスライスに適用され得る。FPSはピクチャパラメータセット(PPS)を参照し得、スライスヘッダはFPSを参照し得る。
概して、FPSは、典型的なスライスヘッダの情報の大部分を含んでいることがある。但し、FPSはスライスごとに繰り返される必要がない。幾つかの例によれば、エントロピーコード化ユニット156は、FPSを参照するヘッダ情報を生成し得る。ヘッダ情報は、例えば、FPSを識別するフレームパラメータセット識別子(ID)を含み得る。幾つかの事例では、エントロピーコード化ユニット156は複数のFPSを定義し得、その場合、複数のFPSの各々が、異なるフレームパラメータセット識別子に関連付けられる。エントロピーコード化ユニット156は、次いで、複数のFPSのうちの適切な1つを識別するスライスヘッダ情報を生成し得る。
幾つかの事例では、エントロピーコード化ユニット156は、識別されるFPSが同じフレームの以前に復号されたスライスに関連するFPSとは異なる場合にFPSを識別するにすぎないことがある。エントロピーコード化ユニット156は、これらの事例では、FPS識別子が設定されるかどうかを識別する、各スライスヘッダ中のフラグを定義し得る。そのようなフラグが設定されない(例えば、そのフラグが「0」の値を有する)場合、フレームの以前に復号されたスライスからのFPS識別子が現在のスライスのために再利用され得る。このようにしてFPS識別子フラグを使用することは、特に多数のFPSが定義されるとき、スライスヘッダによって消費されるビットの量を更に低減し得る。
一例では、エントロピーコード化ユニット156は、以下に示すように表4に従ってFPSを生成し得る。
Figure 2015156648
上記の表4の例中に含まれるシンタックス要素に関連するセマンティクス(semantics)は新たなHEVC規格と同じであるが、それらのセマンティクスは、このFPSヘッダを参照する全てのスライスに適用可能である。即ち、例えば、fra_parameter_set_idはフレームパラメータセットヘッダの識別子を示す。従って、同じヘッダ情報を共有する1つ以上のスライスがそのFPS識別子を参照し得る。2つのFPSヘッダが同じfra_parameter_set_id、frame_num、及びピクチャオーダーカウント(POC:picture order count)を有する場合、それらのヘッダは同じである。
幾つかの例によれば、FPSヘッダがピクチャパラメータセット(PPS)ローバイトシーケンスペイロード(RBSP:raw byte sequence payload)中に含まれていることがある。一例では、FPSヘッダが、以下に示す表5に従ってPPS中に含まれていることがある。
Figure 2015156648
幾つかの例によれば、FPSヘッダがフレームの1つ以上のスライス中に含まれていることがある。一例では、FPSヘッダが、以下に示す表6に従ってフレームの1つ以上のスライス中に含まれていることがある。
Figure 2015156648
表6の例では、fps_present_flagは、現在のスライスのためのスライスヘッダがFPSヘッダを含んでいるかどうかを示し得る。更に、fra_parameter_set_idは、現在のスライスが参照するFPSヘッダの識別子を指定し得る。更に、表6に示す例によれば、end_picture_flagは、現在のスライスが現在のピクチャの最後のスライスであるかどうかを示す。
(例えば、ヘッダシンタックス及び/又はパラメータセットを生成することなどの)本開示の幾つかの態様についてエントロピーコード化ユニット156に関して説明したが、そのような説明は説明のためにのみ与えられたことを理解されたい。即ち、他の例では、ヘッダデータ及び/又はパラメータセットを生成するために様々な他のコード化モジュールが使用され得る。例えば、ヘッダデータ及び/又はパラメータセットは、固定長コード化モジュール(例えば、uu符号化(UUE:uuencoding)又は他のコード化方法)によって生成され得る。
図4を更に参照すると、逆量子化ユニット58及び逆変換ユニット60は、それぞれ逆量子化及び逆変換を適用して、例えば、参照ブロックとして後で使用するために、画素領域中で残差ブロックを再構成する。動き補償ユニット44は、残差ブロックを参照フレームストア64のフレームのうちの1つの予測ブロックに加算することによって参照ブロックを計算し得る。動き補償ユニット44はまた、再構成された残差ブロックに1つ以上の補間フィルタを適用して、動き推定において使用するサブ整数画素値を計算し得る。加算器162は、再構成された残差ブロックを、動き補償ユニット44によって生成された動き補償予測ブロックに加算して、参照フレームストア64に記憶するための再構成されたビデオブロックを生成する。再構成されたビデオブロックは、後続のビデオフレーム中のブロックをインターコード化するために動き推定ユニット42及び動き補償ユニット44によって参照ブロックとして使用され得る。
本開示の技法は、シーケンスが使用することができる最も微細なスライス粒度を制御するためのプロファイル及び/又は1つ以上のレベルを定義することにも関する。例えば、たいていのビデオコード化規格の場合と同様に、H.264/AVCは、誤りのないビットストリームのシンタックスと、セマンティクスと、復号プロセスとを定義し、そのいずれも特定のプロファイル又はレベルに準拠する。H.264/AVCはエンコーダを指定しないが、エンコーダは、生成されたビットストリームがデコーダの規格に準拠することを保証することを課される。ビデオコード化規格のコンテキストでは、「プロファイル」は、アルゴリズム、機能、又はツール、及びそれらに適用される制約のサブセットに対応する。例えば、H.264規格によって定義される「プロファイル」は、H.264規格によって指定されたビットストリームシンタックス全体のサブセットである。「レベル」は、例えば、ピクチャの解像度、ビットレート、及びマクロブロック(MB)処理レートに関係するデコーダメモリ及び計算など、デコーダ資源消費の制限に対応する。プロファイルはprofile_idc(プロファイルインジケータ)値で信号伝達され得、レベルはlevel_idc(レベルインジケータ)値で信号伝達され得る。
H.264規格は、例えば、所与のプロファイルのシンタックスによって課される限界内で、復号されたピクチャの指定されたサイズなど、ビットストリーム中のシンタックス要素がとる値に応じて、エンコーダ及びデコーダのパフォーマンスの大きい変動を必要とする可能性が依然としてあることを認識している。H.264規格は、多くの適用例において、特定のプロファイル内でシンタックスの全ての仮定的使用を処理することが可能なデコーダを実施することが実際的でもなく、経済的でもないことを更に認識している。従って、H.264規格は、ビットストリーム中のシンタックス要素の値に課された制約の指定されたセットとして「レベル」を定義している。これらの制約は、値に関する単純な限界であり得る。代替的に、これらの制約は、値の演算の組合せ(例えば、ピクチャの幅×ピクチャの高さ×毎秒復号されるピクチャの数)に関する制約の形態をとり得る。H.264規格は、個々の実施形態が、サポートされるプロファイルごとに異なるレベルをサポートし得ることを更に規定している。
プロファイルに準拠するビデオデコーダ30などのデコーダは、通常、プロファイル中で定義された全ての機能をサポートする。例えば、コード化機能として、Bピクチャコード化は、H.264/AVCのベースラインプロファイルではサポートされないが、H.264/AVCの他のプロファイルではサポートされる。レベルに準拠するデコーダは、レベルにおいて定義された制限を超えて資源を必要としない任意のビットストリームを復号することが可能である必要がある。プロファイル及びレベルの定義は、解釈可能性のために役立ち得る。例えば、ビデオ送信中に、プロファイル定義とレベル定義のペアが全送信セッションについて調停され、同意され得る。より詳細には、H.264/AVCでは、レベルは、例えば、処理される必要があるマクロブロックの数に関する制限と、復号ピクチャバッファ(DPB:decoded picture buffer)サイズと、コード化ピクチャバッファ(CPB:coded picture buffer)サイズと、垂直動きベクトル範囲と、2つの連続するMBごとの動きベクトルの最大数と、Bブロックが8×8画素未満のサブマクロブロックパーティションを有することができるかどうかとを定義し得る。このようにして、デコーダは、デコーダがビットストリームを適切に復号することが可能であるかどうかを決定し得る。
本開示の態様は、スライス粒度が修正され得る程度を制御するためのプロファイルを定義することに関する。即ち、ビデオエンコーダ20は、あるCU深さよりも小さい粒度でビデオデータのフレームをスライスに分割する能力を無効化するためにプロファイルを利用し得る。幾つかの例では、プロファイルが、LCU深さよりも低いCU深さに対するスライス粒度をサポートしないことがある。そのような例では、コード化ビデオシーケンス中のスライスはLCU配列され得る(例えば、各スライスが、1つ以上の完全に形成されたLCUを含んでいる)。
更に、上述のように、スライス粒度は、シーケンスレベルにおいて、例えば、シーケンスパラメータセット中で、信号伝達され得る。そのような例では、(例えば、ピクチャパラメータセット中で信号伝達される)ピクチャについて信号伝達されるスライス粒度は、概して、シーケンスパラメータセット中で示されるスライス粒度に等しいか又はそれよりも大きい。例えば、スライス粒度が8×8である場合、3つのピクチャパラメータセットがビットストリーム中で搬送され、それらのピクチャパラメータセットの各々が、異なるスライス粒度(例えば、8×8、16×16及び32×32)を有し得る。この例では、特定のシーケンス中のスライスがそれらのピクチャパラメータセットのいずれかを参照し得、従って粒度は(例えば、4×4又はより小さくはなく)8×8、16×16又は32×32であり得る。
本開示の態様は、1つ以上のレベルを定義することにも関する。例えば、1つ以上のレベルは、そのレベルに準拠するデコーダ実施形態が、あるスライス粒度レベルをサポートすることを示し得る。即ち、ある特定のレベルは、32×32のCUサイズに対応するスライス粒度を有し得、より高いレベルは、16×16のCUサイズに対応するスライス粒度を有し得、別のより高いレベルは、比較的より小さいスライス粒度(例えば、8×8画素の粒度)を可能にし得る。
表7に示すように、デコーダの異なるレベルは、スライス粒度がどの程度のCUサイズまでであり得るかに関する異なる制約を有し得る。
Figure 2015156648
図4の例では、本開示の幾つかの態様、例えば、LCUよりも小さい粒度でビデオデータのフレームをスライスに分割することに関する態様について、ビデオエンコーダ20の特定のユニットに関して説明した。但し、図4の例で与えられた機能ユニットは説明のために与えられたことを理解されたい。即ち、説明のためにビデオエンコーダ20の幾つかのユニットについて別個に図示及び説明することがあるが、それらのユニットは、例えば、集積回路又は他の処理ユニット内などで、高度に集積され得る。従って、ビデオエンコーダ20の1つのユニットに起因する機能は、ビデオエンコーダ20の1つ以上の他のユニットによって実行され得る。
このようにして、ビデオエンコーダ20は、階層的に構成された複数の比較的より小さいコード化単位を含む1つ以上の最大コード化単位(LCU)を含む複数のブロックサイズコード化単位を備えるビデオデータのフレームを符号化し得るビデオエンコーダの一例である。一例によれば、ビデオエンコーダ20は、上記フレームの独立して復号可能な部分を形成するとき、階層的に構成された複数のより小さいコード化単位がそれで分割されるべき粒度を決定し得る。ビデオエンコーダ20は、LCUの第1のセクションとLCUの第2のセクションとを生成するように、決定された粒度を使用してLCUを分割し得、LCUの第2のセクションを含むことなしにLCUの第1のセクションを含むように上記フレームの独立して復号可能な部分を生成し得る。ビデオエンコーダ20はまた、上記フレームの独立して復号可能な部分と決定された粒度の指標とを含むようにビットストリームを生成し得る。
図5は、本開示で説明する、独立して復号可能な部分に分割されたビデオデータのフレームを復号するための技法のいずれか又は全てを実施し得るビデオデコーダ30の一例を示すブロック図である。即ち、例えば、ビデオデコーダ30は、独立して復号可能な部分に分割されたビデオデータのフレームを復号することに関連する、ビデオエンコーダ20に関して説明した、いずれかのシンタックス、パラメータセット、ヘッダデータ、又は他のデータを復号するように構成され得る。
図5の例では、ビデオデコーダ30は、エントロピー復号ユニット170と、動き補償ユニット172と、イントラ予測ユニット174と、逆量子化ユニット176と、逆変換ユニット178と、参照フレームストア182と、加算器180とを含む。上記で図4に関して述べたように、ビデオデコーダ30に関して説明するユニットは高度に集積され得るが、説明のためにそれらのユニットについて別個に説明することがあることを理解されたい。
ビデオデコーダ30において受信されるビデオシーケンスは、画像フレームの符号化されたセット、フレームスライスのセット、一般にコード化されたピクチャのグループ(GOP:group of pictures)を備え得、又は符号化されたLCUと、そのようなLCUをどのように復号すべきかに関する命令を与えるシンタックス情報とを含むビデオ情報の多種多様なユニットを備え得る。ビデオデコーダ30は、幾つかの例では、ビデオエンコーダ20(図4)に関して説明した符号化パス(encoding pass)とは概して逆の復号パス(decoding pass)を実行し得る。例えば、エントロピー復号ユニット170は、図4のエントロピー符号化ユニット156によって実行された符号化の逆の復号機能を実行し得る。詳細には、エントロピー復号ユニット170は、CAVLC又はCABAC復号、又はビデオエンコーダ20によって使用された他のタイプのエントロピー復号を実行し得る。
更に、本開示の態様によれば、エントロピー復号ユニット170、又は解析モジュールなどのビデオデコーダ30の別のモジュールは、(例えば、受信された4分木によって与えられる)シンタックス情報を使用して、符号化ビデオシーケンスの(1つ又は複数の)フレームを符号化するために使用されるLCUのサイズと、符号化ビデオシーケンスのフレームの各CUがどのように分割されるか(及び、同様に、サブCUがどのように分割されるか)を記述する分割情報と、各分割がどのように符号化されるかを示すモード(例えば、イントラ予測又はインター予測、及びイントラ予測の場合はイントラ予測符号化モード)と、各インター符号化PUについての1つ以上の参照フレーム(及び/又はそれらの参照フレームの識別子を含んでいる参照リスト)と、符号化ビデオシーケンスを復号するための他の情報とを決定し得る。
LCUよりも小さい粒度でビデオデータのフレームがスライスに分割された例では、本開示の技法によれば、ビデオデコーダ30は、そのような粒度を識別するように構成され得る。即ち、例えば、ビデオデコーダ30は、受信された又は信号伝達された粒度値に従って、ビデオデータのフレームがそれで分割された粒度を決定し得る。幾つかの例では、ビデオエンコーダ20に関して上記で説明したように、粒度は、スライス分割がそれで行われ得るCU深さに従って、識別され得る。CU深さ値は、ピクチャパラメータセット(PPS)などのパラメータセットの受信されたシンタックス中に含まれ得る。例えば、上記で説明したように、ビデオデータのフレームがそれでスライスに分割され得る粒度の指標が、表1に従って示され得る。
更に、ビデオデコーダ30は、スライスが開始するアドレス(例えば、「スライスアドレス」)を決定し得る。スライスアドレスは、スライスがフレーム内で開始する相対位置を示し得る。スライスアドレスはスライス粒度レベルで与えられ得る。幾つかの例では、スライスアドレスはスライスヘッダ中で与えられ得る。特定の例では、slice_addressシンタックス要素が、スライスが開始する、スライス粒度解像度におけるアドレスを指定し得る。この例では、slice_addressはビットストリーム中で(Ceil(Log2(NumLCUsInPicture))+SliceGranularity)ビットによって表され得、ここで、NumLCUsInPictureはピクチャ(又はフレーム)中のLCUの数である。変数LCUAddressが、(slice_address>>SliceGranularity)に設定され得、ラスタ走査順序でスライスアドレスのLCU部分を表し得る。変数GranularityAddressが、(slice_address−(LCUAddress<<SliceGranularity))に設定され得、z走査順序で表現されるスライスアドレスのサブLCU部分を表し得る。次いで、変数SliceAddressが、(LCUAddress<<(log2_diff_max_min_coding_block_size<<1))+(GranularityAddress<<((log2_diff_max_min_coding_block_size<<1)−SliceGranularity)に設定され得、スライス復号は、スライス開始座標において可能な最大コード化単位から開始し得る。
更に、スライス分割が行われたロケーションを識別するために、ビデオデコーダ30は、スライスの相対終端を識別する1つ以上のシンタックス要素を受信するように構成され得る。例えば、ビデオデコーダ30は、復号されているCUがスライスの最後のCU(例えば、分割より前の最後のCU)であるかどうかを示す、フレームの各CUに含まれる1ビットスライス終端フラグを受信するように構成され得る。幾つかの例では、ビデオデコーダ30は、フレームをスライスに分割するために使用される粒度に等しいか又はそれよりも大きいCUについてスライス終端指標(例えば、スライス終端フラグ)を受信するにすぎないことがある。
更に、ビデオデコーダ30は、異なるスライスに分割されたLCUについての別個の階層4分木情報を受信するように構成され得る。例えば、ビデオデコーダ30は、スライス間で分割されたLCUの異なるセクションに関連する分離された分割フラグを受信し得る。
幾つかの例では、LCUについての4分木情報の一部分のみを含んでいるLCUの現在のセクションを適切に復号するために、ビデオデコーダ30は、LCUの以前のセクションに関連する4分木情報を再構成し得る。例えば、上記で図3A及び図3Bに関して説明したように、ビデオデコーダ30は、受信されたスライスの第1のサブCUのインデックス値を識別し得る。ビデオデコーダ30は、次いで、そのインデックス値を使用して、受信されたサブCUが属するクワドラントを識別し得る。更に、ビデオデコーダ30は、(例えば、上記で説明したように、深さ優先4分木横断アルゴリズムと受信された分割フラグとを使用して)LCUの受信されたセクションの4分木のノードの全てを推論し得る。
ビデオエンコーダ20(図4)に関して上述したように、本開示の態様は、ビデオデータのフレームがそれでスライスに分割され得る粒度を制御するための1つ以上のプロファイル及び/又はレベルを定義することにも関する。従って、幾つかの例では、ビデオデコーダ30は、図4に関して説明したそのようなプロファイル及び/又はレベルを利用するように構成され得る。その上、ビデオデコーダ30は、ビデオエンコーダ20によって定義されたいずれかのフレームパラメータセット(FPS)を受信し、利用するように構成され得る。
本開示の幾つかの態様について概してビデオデコーダ30に関して説明したが、そのような態様は、エントロピー復号ユニット170、解析モジュールなど、ビデオデコーダ30の1つ以上のユニット、又はビデオデコーダ30の1つ以上の他のユニットによって行われ得ることを理解されたい。
動き補償ユニット172は、エントロピー復号ユニット170から受信された動きベクトルに基づいて予測データを生成し得る。例えば、動き補償ユニット172は、動き補償ブロックを生成し、場合によっては、補間フィルタに基づいて補間を実行する。サブ画素精度をもつ動き推定に使用されるべき補間フィルタの識別子は、シンタックス要素中に含まれ得る。動き補償ユニット172は、ビデオブロックの符号化中にビデオエンコーダ20によって使用された補間フィルタを使用して、参照ブロックのサブ整数画素のための補間値を計算し得る。動き補償ユニット172は、受信されたシンタックス情報に従って、ビデオエンコーダ20によって使用された補間フィルタを決定し、その補間フィルタを使用して予測ブロックを生成し得る。
イントラ予測ユニット174は、信号伝達されたイントラ予測モードと、現在のフレームの前に復号されたブロックからのデータとに基づいて現在のフレームの現在のブロックについての予測データを生成し得る。
幾つかの例では、逆量子化ユニット176は、ビデオエンコーダ20によって使用された走査を反映(mirroring)する走査を使用して受信値を走査し得る。このようにして、ビデオデコーダ30は、係数の受信された1次元アレイから量子化変換係数の2次元行列を生成し得る。逆量子化ユニット176は、ビットストリーム中で与えられ、エントロピー復号ユニット170によって復号された、量子化変換係数を逆量子化(inverse quantize)、即ち、逆量子化(de-quantize)する。
逆量子化プロセスは、例えば、H.264復号規格又はHEVCによって定義された従来のプロセスを含み得る。逆量子化プロセスは、量子化の程度を決定し、同様に、適用されるべき逆量子化の程度を決定するための、CUについてビデオエンコーダ20によって計算され、信号伝達される、量子化パラメータ(QP)又はΔQPの使用を含み得る。
LCUが2つのスライス間で分割される例では、本開示の態様によれば、逆量子化ユニット176は、分割されたLCUの各部分について別個のQP(又はΔQP)を受信し得る。説明のために、LCUの第1のセクションが第1のスライスに含まれており、LCUの第2のセクションが第2のスライスに含まれているように、LCUが2つのスライス間で分割されたと仮定する。この例では、逆量子化ユニット176は、LCUの第1のセクションについての第1のΔQPと、LCUの第2のセクションについての、第1のΔQPとは別個の第2のΔQPとを受信し得る。幾つかの例では、第1のスライスと共に与えられるΔQPは、第2のスライスと共に与えられるΔQPとは異なり得る。
逆変換ユニット178は、逆変換、例えば、逆DCT、逆整数変換、逆回転変換、又は逆方向性変換を適用する。加算器180は、残差ブロックを、動き補償ユニット72又はイントラ予測ユニット74によって生成される対応する予測ブロックと合成して、復号ブロックを形成する。所望される場合、ブロッキネスアーティファクトを除去するために、デブロッキングフィルタを適用して復号ブロックをフィルタ処理することもある。復号ビデオブロックは、次いで、参照フレームストア82に記憶され、参照フレームストア82は、その後の動き補償のための参照ブロックを与え、また、表示装置(図1の表示装置32など)上での提示のために復号ビデオを生成する。
図5の例では、本開示の幾つかの態様、例えば、LCUよりも小さい粒度でスライスに分割されたビデオデータのフレームを受信し、復号することに関する態様について、ビデオデコーダ30の特定のユニットに関して説明した。但し、図5の例で与えられた機能ユニットは説明のために与えられたことを理解されたい。即ち、説明のためにビデオデコーダ30の幾つかのユニットについて別個に図示及び説明することがあるが、それらのユニットは、例えば、集積回路又は他の処理ユニット内などで、高度に集積され得る。従って、ビデオデコーダ30の1つのユニットに起因する機能は、ビデオデコーダの1つ以上の他のユニットによって実行され得る。
従って、図5は、階層的に構成された複数の比較的より小さいコード化単位を含む1つ以上の最大コード化単位(LCU)を含む複数のブロックサイズコード化単位を備えるビデオデータのフレームを復号し得るビデオデコーダ30の一例を与える。即ち、ビデオデコーダ30は、上記フレームの独立して復号可能な部分を形成するとき、階層的に構成された複数のより小さいコード化単位がそれで分割された粒度を決定し得、決定された粒度を使用して、第1のセクションと第2のセクションとに分割されたLCUを識別し得る。ビデオデコーダ30はまた、LCUの第2のセクションなしにLCUの第1のセクションを含む上記フレームの独立して復号可能な部分を復号し得る。
図6は、本開示に一致する符号化技法を示す流れ図である。説明のためにビデオエンコーダ20(図4)の構成要素によって実行されるものとして一般的に説明するが、ビデオデコーダ、プロセッサ、処理ユニット、エンコーダ/デコーダ(コーデック)などのハードウェアベースのコード化単位など、他のビデオ符号化ユニットも図6の方法を実行するように構成され得ることを理解されたい。
図6に示す例示的な方法220では、ビデオエンコーダ20は、初めに、それでフレームをスライスに分割すべき粒度を決定し、その粒度は、本開示の技法によれば、LCUよりも小さいことがある(204)。上記で説明したように、それでビデオデータのフレームをスライスに分割すべき粒度を決定するとき、ビデオエンコーダ20は、例えば、様々なスライス構成のためのレート歪みを考慮し得、許容できるビットレート範囲内のビットレートを達成しながら、許容できる歪み範囲内の歪みをも可能にする、粒度を選択し得る。許容できるビットレート範囲及び許容できる歪み範囲は、提案されるHEVC規格などのビデオコード化規格において規定されているプロファイルなどのプロファイルによって定義され得る。追加又は代替として、ビデオエンコーダ20は、粒度を選択するときにターゲットスライスサイズを考慮し得る。概して、粒度を増加させることは、スライスのサイズに関するより大きい制御を可能にし得るが、スライスを符号化又は復号する際に利用されるコード化単位資源をも増加させ得る。
ビデオエンコーダ20が、LCUよりも小さい、ビデオデータのフレームをスライスに分割するための粒度を決定した場合、ビデオエンコーダ20は、スライスを作成するプロセスにおいて、決定された粒度を使用してLCUを第1のセクションと第2のセクションとに分割する(206)。即ち、ビデオエンコーダ20は、LCUに含まれるスライス境界を識別し得る。この例では、ビデオエンコーダ20は、LCUを第1のセクションと、第1のセクションとは別個である第2のセクションとに分割し得る。
LCUを2つのセクションに分割するとき、ビデオエンコーダ20はまた、LCUに関連する4分木を2つの対応するセクションに分離し、4分木のそれぞれのセクションをLCUの2つのセクションに含める(208)。例えば、上記で説明したように、ビデオエンコーダ20は、LCUの第2のセクションに関連する分割フラグからLCUの第1のセクションに関連する分割フラグを分離し得る。LCUのセクションを含んでいるスライスを符号化するとき、ビデオエンコーダ20は、LCUの第1のセクションに関連する分割フラグを、LCUの第1のセクションを含んでいるスライスに含め、LCUのセクションに関連する分割フラグを、LCUの第2のセクションを含んでいるスライスに含めるにすぎないことがある。
更に、スライス形成中にLCUを2つのセクションに分割するとき、ビデオエンコーダ20は、LCUの各セクションについて別個の量子化パラメータ(QP)又はΔQP値を生成し得る。例えば、ビデオエンコーダ20は、LCUの第1のセクションについての第1のQP又はΔQP値と、LCUの第2のセクションについての第2のQP又はΔQP値とを生成し得る。幾つかの例では、第1のセクションについてのQP又はΔQP値は、第2のセクションについてのQP又はΔQP値とは異なり得る。
ビデオエンコーダ20は、次いで、LCUの第2のセクションなしにLCUの第1のセクションを含む、LCUを含んでいるフレームの独立して復号可能な部分、例えば、スライスを生成する(212)。例えば、ビデオエンコーダ20は、ビデオデータのフレームの1つ以上のフルLCU、並びにフレームの分割されたLCUの第1のセクションを含んでいる、スライスを生成し得る。この例では、ビデオエンコーダ20は、分割されたLCUの第1のセクションに関連する分割フラグとΔQP値とを含み得る。
ビデオエンコーダ20はまた、ビデオデータのフレームをスライスに分割するために使用される粒度の指標を与える(214)。例えば、ビデオエンコーダ20は、スライス分割がそれで行われ得るCU深さ値を使用して、粒度の指標を与え得る。他の例では、ビデオエンコーダ20は別様に粒度を示し得る。例えば、ビデオエンコーダ20は、場合によっては、スライス分割がそれで行われ得るサブCUのサイズを識別することによって、粒度を示し得る。追加又は代替として、上記で説明したように、ビデオエンコーダ20は、スライス終端フラグ、フレームパラメータセット(FPS)など、様々な他の情報をスライスに含め得る。
ビデオエンコーダ20は、次いで、スライスに関連するビデオデータ、並びにスライスを復号するためのシンタックス情報を含んでいる、ビットストリームを生成する(216)。本開示の態様によれば、生成されたビットストリームは、(例えば、ビデオ会議において)リアルタイムでデコーダに送信されるか、又は(例えば、ストリーミング、ダウンロード、ディスクアクセス、カードアクセス、DVD、ブルーレイなどにおいて)デコーダが将来使用するためにコンピュータ可読媒体に記憶され得る。
また、図6に関して図示及び説明するステップは一例として与えたものにすぎないことを理解されたい。即ち、図6の方法のステップは必ずしも図6に示す順序で実行される必要があるとは限らず、より少数の、追加の、又は代替のステップが実行され得る。例えば、別の例によれば、ビデオエンコーダ20は、スライスを生成するより前にシンタックス要素(例えば、粒度の指標など(214))を生成し得る。
図7は、本開示に一致する復号技法を示す流れ図である。説明のためにビデオデコーダ30(図5)の構成要素によって実行されるものとして一般的に説明するが、ビデオデコーダ、プロセッサ、処理ユニット、エンコーダ/デコーダ(コーデック)などのハードウェアベースのコード化単位など、他のビデオ符号化ユニットも図7の方法を実行するように構成され得ることを理解されたい。
図7に示す例示的な方法220では、ビデオデコーダ30は、本明細書ではスライスと呼ばれる、ビデオデータのフレームの独立して復号可能な部分を受信する(222)。スライスを受信すると、ビデオデコーダ30は、スライスがそれで形成された粒度を決定し、その粒度はLCUよりも小さいことがある(224)。例えば、上記で説明したように、ビデオエンコーダが、LCUの第1のセクションは受信されたスライスに含まれ、LCUの第2のセクションは別のスライスに含まれるように、LCUを2つのセクションに分割するスライスを生成し得る。フレームがそれでスライスに分割された粒度を決定するために、ビデオデコーダ30は粒度の指標を受信し得る。即ち、ビデオデコーダ30は、スライス分割がそれで行われ得るCU深さを識別するCU深さ値を受信し得る。
LCUよりも小さい粒度でビデオデータのフレームがスライスに分割された例では、ビデオデコーダ30は、次いで、セクションに分割された、受信されたスライスのLCUを識別する(226)。ビデオデコーダ30はまた、LCUの受信されたセクションについての4分木を決定する(228)。即ち、ビデオデコーダ30は、LCUの受信されたセクションに関連する分割フラグを識別し得る。更に、上記で説明したように、ビデオデコーダ30は、受信されたセクションを適切に復号するために、分割されたLCU全体に関連する4分木を再構成し得る。ビデオデコーダ30はまた、LCUの受信されたセクションについてのQP又はΔQP値を決定する(230)。
ビデオデータと関連するシンタックス情報とを使用して、ビデオデコーダ30は、次いで、LCUの受信されたセクションを含んでいるスライスを復号する(232)。図6に関して上記で説明したように、ビデオデコーダ30は、例えば、スライス終端フラグ、フレームパラメータセット(FPS)などを含む、スライスを復号するための様々な情報を受信し、利用し得る。
また、図7に関して図示及び説明するステップは一例として与えたものにすぎないことを理解されたい。即ち、図7の方法のステップは必ずしも図7に示す順序で実行される必要があるとは限らず、より少数の、追加の、又は代替のステップが実行され得る。
1つ以上の例では、説明した機能は、ハードウェア、ソフトウェア、ファームウェア、又はそれらの任意の組合せで実施され得る。ソフトウェアで実施される場合、機能は、1つ以上の命令又はコードとしてコンピュータ可読媒体上に記憶されるか、又はコンピュータ可読媒体を介して送信され、ハードウェアベースの処理ユニットによって実行され得る。コンピュータ可読媒体は、例えば、通信プロトコルに従って、ある場所から別の場所へのコンピュータプログラムの転送を可能にする任意の媒体を含むデータ記憶媒体又は通信媒体などの有形媒体に対応するコンピュータ可読記憶媒体を含み得る。
このようにして、コンピュータ可読媒体は、概して、(1)非一時的である有形コンピュータ可読記憶媒体、あるいは(2)信号又は搬送波などの通信媒体に対応し得る。データ記憶媒体は、本開示で説明した技法の実施のための命令、コード及び/又はデータ構造を取り出すために1つ以上のコンピュータあるいは1つ以上のプロセッサによってアクセスされ得る任意の利用可能な媒体であり得る。コンピュータプログラム製品はコンピュータ可読媒体を含み得る。
限定ではなく例として、そのようなコンピュータ可読記憶媒体は、RAM、ROM、EEPROM、CD−ROM又は他の光ディスクストレージ、磁気ディスクストレージ、又は他の磁気ストレージ機器、フラッシュメモリ、あるいは命令又はデータ構造の形態の所望のプログラムコードを記憶するために使用され得、コンピュータによってアクセスされ得る、任意の他の媒体を備えることができる。また、いかなる接続もコンピュータ可読媒体と適切に呼ばれる。例えば、命令が、同軸ケーブル、光ファイバーケーブル、ツイストペア、デジタル加入者回線(DSL)、又は赤外線、無線、及びマイクロ波などのワイヤレス技術を使用して、ウェブサイト、サーバ、又は他のリモート信号源から送信される場合、同軸ケーブル、光ファイバーケーブル、ツイストペア、DSL、又は赤外線、無線、及びマイクロ波などのワイヤレス技術は、媒体の定義に含まれる。
但し、コンピュータ可読記憶媒体及びデータ記憶媒体は、接続、搬送波、信号、又は他の一時媒体を含まないが、代わりに非一時的有形記憶媒体を対象とすることを理解されたい。本明細書で使用するディスク(disk)及びディスク(disc)は、コンパクトディスク(disc)(CD)、レーザ−ディスク(登録商標)(disc)、光ディスク(disc)、デジタル多用途ディスク(disc)(DVD)、フロッピー(登録商標)ディスク(disk)及びブルーレイディスク(disc)を含み、ディスク(disk)は、通常、データを磁気的に再生し、ディスク(disc)はデータをレーザ−で光学的に再生する。上記の組合せもコンピュータ可読媒体の範囲内に含めるべきである。
命令は、1つ以上のデジタル信号プロセッサ(DSP)などの1つ以上のプロセッサ、汎用マイクロプロセッサ、特定用途向け集積回路(ASIC)、フィールドプログラマブル論理アレイ(FPGA)、あるいは他の等価な集積回路又はディスクリート論理回路によって実行され得る。従って、本明細書で使用する「プロセッサ」という用語は、前述の構造、又は本明細書で説明した技法の実施に好適な他の構造のいずれかを指すことがある。更に、幾つかの態様では、本明細書で説明した機能は、符号化及び復号のために構成された専用のハードウェア及び/又はソフトウェアモジュール内に与えられ得、あるいは複合コーデックに組み込まれ得る。また、本技法は、1つ以上の回路又は論理要素中に十分に実施され得る。
本開示の技法は、ワイヤレスハンドセット、集積回路(IC)、又はICのセット(例えば、チップセット)を含む、多種多様な機器又は装置において実施され得る。本開示では、開示する技法を実行するように構成された機器の機能的態様を強調するために様々な構成要素、モジュール、又はユニットについて説明したが、それらの構成要素、モジュール、又はユニットを、必ずしも異なるハードウェアユニットによって実現する必要があるとは限らない。むしろ、上記で説明したように、様々なユニットが、好適なソフトウェア及び/又はファームウェアと共に、上記で説明した1つ以上のプロセッサを含めて、コーデックハードウェアユニットにおいて組み合わせられるか、又は相互動作ハードウェアユニットの集合によって与えられ得る。
本開示の様々な態様について説明した。これら及び他の態様は以下の特許請求の範囲内に入る。
本開示の様々な態様について説明した。これら及び他の態様は以下の特許請求の範囲内に入る。
以下に本件出願当初の特許請求の範囲に記載された発明を付記する。
[1] 階層的に構成された複数の比較的より小さいコード化単位を含む1つ以上の最大コード化単位(LCU)を含む複数のブロックサイズコード化単位を備えるビデオデータのフレームを復号する方法であって、前記フレームの独立して復号可能な部分を形成するとき、前記階層的に構成された複数のより小さいコード化単位が分割された粒度を決定することと、決定された前記粒度を使用して、第1のセクションと第2のセクションとに分割されたLCUを識別することと、前記LCUの前記第2のセクションなしに前記LCUの前記第1のセクションを含む前記フレームの独立して復号可能な部分を復号することと、を備える、方法。
[2] 前記粒度を決定することは、前記階層的に構成された複数のより小さいコード化単位が分割されたCU深さを決定することを含む、[1]に記載の方法。
[3] 前記階層的に構成された複数のより小さいコード化単位が分割されたCU深さを決定することが、ピクチャパラメータセット中のCU深さ値を復号することを備える、[2]に記載の方法。
[4] 前記LCUの前記第1のセクションのアドレスを決定することを更に備える、[1]に記載の方法。
[5] 前記LCUの前記第1のセクションの前記アドレスを決定することが、スライスヘッダのスライスアドレスを復号することを備える、[4]に記載の方法。
[6] 前記フレームの前記独立して復号可能な部分が第1の独立して復号可能な部分を備え、前記方法が、前記LCUの前記第2のセクションを含む前記フレームの第2の独立して復号可能な部分を復号することと、前記第1の独立して復号可能な部分と共に、比較的より小さいコード化単位の前記階層構成を識別する4分木構造の第1の部分を復号することと、前記第2の独立して復号可能な部分と共に、前記4分木区分構造の前記第1の部分とは別個に前記4分木構造の第2の部分を復号することと、を更に備える、[1]に記載の方法。
[7] 前記4分木構造の前記第1の部分を復号することが、前記第1の独立して復号可能な部分内のコード化単位分割を示す1つ以上の分割フラグを復号することと、前記第2の独立して復号可能な部分内のコード化単位分割を示す1つ以上の分割フラグを復号することと、を備える、[6]に記載の方法。
[8] 前記フレームの前記独立して復号可能な部分が第1の独立して復号可能な部分を備え、前記方法が、前記LCUの前記第2のセクションを含む前記フレームの第2の独立して復号可能な部分を復号することと、前記第1の独立して復号可能な部分についての量子化パラメータの変化を識別することと、前記第1の独立して復号可能な部分とは別個に、前記第2の独立して復号可能な部分についての量子化パラメータの変化を識別することと、を更に備える、[1]に記載の方法。
[9] 前記独立して復号可能な部分の終端の指標を復号することを更に備える、[1]に記載の方法。
[10] 階層的に構成された複数の比較的より小さいコード化単位を含む1つ以上の最大コード化単位(LCU)を含む複数のブロックサイズコード化単位を備えるビデオデータのフレームを復号するための装置であって、前記フレームの独立して復号可能な部分を形成するとき、前記階層的に構成された複数のより小さいコード化単位が分割された粒度を決定することと、決定された前記粒度を使用して、第1のセクションと第2のセクションとに分割されたLCUを識別することと、前記LCUの前記第2のセクションなしに前記LCUの前記第1のセクションを含む前記フレームの独立して復号可能な部分を復号することと、を行うように構成された1つ以上のプロセッサを備える、装置。
[11] 前記粒度を決定することは、前記階層的に構成された複数のより小さいコード化単位がそれで分割されたCU深さを決定することを含む、[10]に記載の装置。
[12] 前記階層的に構成された複数のより小さいコード化単位が分割されたCU深さを決定することが、ピクチャパラメータセット中のCU深さ値を復号することを備える、[11]に記載の装置。
[13] 前記1つ以上のプロセッサが、前記LCUの前記第1のセクションのアドレスを決定するように更に構成された、[10]に記載の装置。
[14] 前記LCUの前記第1のセクションの前記アドレスを決定することが、スライスヘッダのスライスアドレスを復号することを備える、[13]に記載の装置。
[15] 前記フレームの前記独立して復号可能な部分が第1の独立して復号可能な部分を備え、前記1つ以上のプロセッサが、前記LCUの前記第2のセクションを含む前記フレームの第2の独立して復号可能な部分を復号することと、前記第1の独立して復号可能な部分と共に、比較的より小さいコード化単位の前記階層構成を識別する4分木構造の第1の部分を復号することと、前記第2の独立して復号可能な部分と共に、前記4分木区分構造の前記第1の部分とは別個に前記4分木構造の第2の部分を復号することと、を行うように更に構成された、[10]に記載の装置。
[16] 前記4分木構造の前記第1の部分を復号することが、前記第1の独立して復号可能な部分内のコード化単位分割を示す1つ以上の分割フラグを復号することと、前記第2の独立して復号可能な部分内のコード化単位分割を示す1つ以上の分割フラグを復号することと、を備える、[15]に記載の装置。
[17] 前記フレームの前記独立して復号可能な部分が第1の独立して復号可能な部分を備え、前記1つ以上のプロセッサが、前記LCUの前記第2のセクションを含む前記フレームの第2の独立して復号可能な部分を復号することと、前記第1の独立して復号可能な部分についての量子化パラメータの変化を識別することと、前記第1の独立して復号可能な部分とは別個に、前記第2の独立して復号可能な部分についての量子化パラメータの変化を識別することと、を行うように更に構成された、[10]に記載の装置。
[18] 前記1つ以上のプロセッサが、前記独立して復号可能な部分の終端の指標を復号するように更に構成された、[10]に記載の装置。
[19] 前記装置がモバイル機器を備える、[10]に記載の装置。
[20] 階層的に構成された複数の比較的より小さいコード化単位を含む1つ以上の最大コード化単位(LCU)を含む複数のブロックサイズコード化単位を備えるビデオデータのフレームを復号するための装置であって、前記フレームの独立して復号可能な部分を形成するとき、前記階層的に構成された複数のより小さいコード化単位がそれで分割された粒度を決定するための手段と、決定された前記粒度を使用して、第1のセクションと第2のセクションとに分割されたLCUを識別するための手段と、前記LCUの前記第2のセクションなしに前記LCUの前記第1のセクションを含む前記フレームの独立して復号可能な部分を復号するための手段と、を備える、装置。
[21] 前記粒度を決定することは、前記階層的に構成された複数のより小さいコード化単位がそれで分割されたCU深さを決定することを含む、[20]に記載の装置。
[22] 前記階層的に構成された複数のより小さいコード化単位がそれで分割されたCU深さを決定することが、ピクチャパラメータセット中のCU深さ値を復号することを備える、[21]に記載の装置。
[23] 前記フレームの前記独立して復号可能な部分が第1の独立して復号可能な部分を備え、前記LCUの前記第2のセクションを含む前記フレームの第2の独立して復号可能な部分を復号するための手段と、前記第1の独立して復号可能な部分と共に、比較的より小さいコード化単位の前記階層構成を識別する4分木構造の第1の部分を復号するための手段と、前記第2の独立して復号可能な部分と共に、前記4分木区分構造の前記第1の部分とは別個に前記4分木構造の第2の部分を復号するための手段と、を更に備える、[20]に記載の装置。
[24] 1つ以上のプロセッサによって実行されると、階層的に構成された複数の比較的より小さいコード化単位を含む1つ以上の最大コード化単位(LCU)を含む複数のブロックサイズコード化単位を備えるビデオデータのフレームを復号するための方法を前記1つ以上のプロセッサに実行させる、命令を記憶するコンピュータ可読記憶媒体であって、前記方法は、前記フレームの独立して復号可能な部分を形成するとき、前記階層的に構成された複数のより小さいコード化単位がそれで分割された粒度を決定することと、決定された前記粒度を使用して、第1のセクションと第2のセクションとに分割されたLCUを識別することと、前記LCUの前記第2のセクションなしに前記LCUの前記第1のセクションを含む前記フレームの独立して復号可能な部分を復号することと、を備える、コンピュータ可読記憶媒体。
[25] 前記粒度を決定することは、前記階層的に構成された複数のより小さいコード化単位が分割されたCU深さを決定することを含む、[24]に記載のコンピュータ可読記憶媒体。
[26] 前記階層的に構成された複数のより小さいコード化単位がそれで分割されたCU深さを決定することが、ピクチャパラメータセット中のCU深さ値を復号することを備える、[25]に記載のコンピュータ可読記憶媒体。
[27] 前記フレームの前記独立して復号可能な部分が第1の独立して復号可能な部分を備え、前記方法が、前記LCUの前記第2のセクションを含む前記フレームの第2の独立して復号可能な部分を復号することと、前記第1の独立して復号可能な部分と共に、比較的より小さいコード化単位の前記階層構成を識別する4分木構造の第1の部分を復号することと、前記第2の独立して復号可能な部分と共に、前記4分木区分構造の前記第1の部分とは別個に前記4分木構造の第2の部分を復号することと、を更に備える、[24]に記載のコンピュータ可読記憶媒体。
[28] 階層的に構成された複数の比較的より小さいコード化単位を含む1つ以上の最大コード化単位(LCU)を含む複数のブロックサイズコード化単位を備えるビデオデータのフレームを符号化する方法であって、前記フレームの独立して復号可能な部分を形成するとき、前記階層的に構成された複数のより小さいコード化単位が分割されるべき粒度を決定することと、LCUの第1のセクションと前記LCUの第2のセクションとを生成するように、決定された前記粒度を使用して前記LCUを分割することと、前記LCUの前記第2のセクションを含むことなしに前記LCUの前記第1のセクションを含むように前記フレームの独立して復号可能な部分を生成することと、前記フレームの前記独立して復号可能な部分と決定された前記粒度の指標とを含むようにビットストリームを生成することと、を備える、方法。
[29] 前記粒度を決定することは、前記階層的に構成された複数のより小さいコード化単位がそれで分割されるべきCU深さを決定することを含み、前記ビットストリームを生成することが、CU深さ値を含むように前記ビットストリームを生成することを含む、
[28]に記載の方法。
[30] 決定された前記粒度の前記指標を含むように前記ビットストリームを生成することが、前記CU深さ値をピクチャパラメータセット中に含めるように前記ビットストリームを生成することを備える、[29]に記載の方法。
[31] 前記フレームの前記独立して復号可能な部分が第1の独立して復号可能な部分を備え、前記方法が、前記LCUの前記第2のセクションを含むように前記フレームの第2の独立して復号可能な部分を生成することと、前記第1の独立して復号可能な部分と共に、比較的より小さいコード化単位の前記階層構成を識別する4分木構造の第1の部分を示すことと、前記第2の独立して復号可能な部分と共に、前記4分木区分構造の前記第1の部分とは別個に前記4分木構造の第2の部分を示すことと、を更に備える、[28]に記載の方法。
[32] 前記4分木構造の前記第1の部分を示すことが、前記第1の独立して復号可能な部分内のコード化単位分割を示す1つ以上の分割フラグを生成することと、前記第2の独立して復号可能な部分内のコード化単位分割を示す1つ以上の分割フラグを生成することと、を備える、[31]に記載の方法。
[33] 前記フレームの前記独立して復号可能な部分が第1の独立して復号可能な部分を備え、前記方法が、前記LCUの前記第2のセクションを含むように前記フレームの第2の独立して復号可能な部分を生成することと、前記第1の独立して復号可能な部分についての量子化パラメータの変化を示すことと、前記第1の独立して復号可能な部分とは別個に、前記第2の独立して復号可能な部分についての量子化パラメータの変化を示すことと、を更に備える、[28]に記載の方法。
[34] 前記フレームの前記独立して復号可能な部分を含むようにビットストリームを生成することが、前記独立して復号可能な部分の終端の指標を生成することを備える、[28]に記載の方法。
[35] 前記独立して復号可能な部分の前記終端の前記指標を生成することが、前記独立して復号可能な部分の前記終端を識別する1ビットフラグを生成することを備える、[34]に記載の方法。
[36] 前記1ビットフラグは、前記階層的に構成された複数のより小さいコード化単位がそれで分割される前記粒度よりも小さい粒度のコード化単位であるコード化単位について生成されない、[35]に記載の方法。
[37] 階層的に構成された複数の比較的より小さいコード化単位を含む1つ以上の最大コード化単位(LCU)を含む複数のブロックサイズコード化単位を備えるビデオデータのフレームを符号化するための装置であって、前記フレームの独立して復号可能な部分を形成するとき、前記階層的に構成された複数のより小さいコード化単位がそれで分割されるべき粒度を決定することと、LCUの第1のセクションと前記LCUの第2のセクションとを生成するように、決定された前記粒度を使用して前記LCUを分割することと、前記LCUの前記第2のセクションを含むことなしに前記LCUの前記第1のセクションを含むように前記フレームの独立して復号可能な部分を生成することと、前記フレームの前記独立して復号可能な部分と決定された前記粒度の指標とを含むようにビットストリームを生成することと、を行うように構成された1つ以上のプロセッサを備える、装置。
[38] 前記粒度を決定することは、前記階層的に構成された複数のより小さいコード化単位がそれで分割されるべきCU深さを決定することを含み、前記ビットストリームを生成することが、CU深さ値を含むように前記ビットストリームを生成することを含む、
[37]に記載の装置。
[39] 決定された前記粒度の前記指標を含むように前記ビットストリームを生成することが、前記CU深さ値をピクチャパラメータセット中に含めるように前記ビットストリームを生成することを備える、[38]に記載の装置。
[40] 前記フレームの前記独立して復号可能な部分が第1の独立して復号可能な部分を備え、前記1つ以上のプロセッサが、前記LCUの前記第2のセクションを含むように前記フレームの第2の独立して復号可能な部分を生成することと、前記第1の独立して復号可能な部分と共に、比較的より小さいコード化単位の前記階層構成を識別する4分木構造の第1の部分を示すことと、前記第2の独立して復号可能な部分と共に、前記4分木区分構造の前記第1の部分とは別個に前記4分木構造の第2の部分を示すことと、を行うように更に構成された、[37]に記載の装置。
[41] 前記4分木構造の前記第1の部分を示すことが、前記第1の独立して復号可能な部分内のコード化単位分割を示す1つ以上の分割フラグを生成することと、前記第2の独立して復号可能な部分内のコード化単位分割を示す1つ以上の分割フラグを生成することと、を備える、[40]に記載の装置。
[42] 前記フレームの前記独立して復号可能な部分が第1の独立して復号可能な部分を備え、前記1つ以上のプロセッサが、前記LCUの前記第2のセクションを含むように前記フレームの第2の独立して復号可能な部分を生成することと、前記第1の独立して復号可能な部分についての量子化パラメータの変化を示すことと、前記第1の独立して復号可能な部分とは別個に、前記第2の独立して復号可能な部分についての量子化パラメータの変化を示すことと、を行うように更に構成された、[37]に記載の装置。
[43] 前記フレームの前記独立して復号可能な部分を含むようにビットストリームを生成することが、前記独立して復号可能な部分の終端の指標を生成することを備える、[37]に記載の装置。
[44] 前記独立して復号可能な部分の前記終端の前記指標を生成することが、前記独立して復号可能な部分の前記終端を識別する1ビットフラグを生成することを備える、[43]に記載の装置。
[45] 前記1ビットフラグは、前記階層的に構成された複数のより小さいコード化単位がそれで分割される前記粒度よりも小さい粒度のコード化単位であるコード化単位について生成されない、[44]に記載の装置。
[46] 前記装置がモバイル機器を備える、[37]に記載の装置。
[47] 階層的に構成された複数の比較的より小さいコード化単位を含む1つ以上の最大コード化単位(LCU)を含む複数のブロックサイズコード化単位を備えるビデオデータのフレームを符号化するための装置であって、前記装置は、前記フレームの独立して復号可能な部分を形成するとき、前記階層的に構成された複数のより小さいコード化単位がそれで分割されるべき粒度を決定するための手段と、LCUの第1のセクションと前記LCUの第2のセクションとを生成するように、決定された前記粒度を使用して前記LCUを分割するための手段と、前記LCUの前記第2のセクションを含むことなしに前記LCUの前記第1のセクションを含むように前記フレームの独立して復号可能な部分を生成するための手段と、前記フレームの前記独立して復号可能な部分と決定された前記粒度の指標とを含むようにビットストリームを生成するための手段と、を備える、装置。
[48] 前記粒度を決定することは、前記階層的に構成された複数のより小さいコード化単位がそれで分割されるべきCU深さを決定することを含み、前記ビットストリームを生成することが、CU深さ値を含むように前記ビットストリームを生成することを含む、
[47]に記載の装置。
[49] 決定された前記粒度の前記指標を含むように前記ビットストリームを生成することが、前記CU深さ値をピクチャパラメータセット中に含めるように前記ビットストリームを生成することを備える、[48]に記載の装置。
[50] 前記フレームの前記独立して復号可能な部分が第1の独立して復号可能な部分を備え、前記装置が、前記LCUの前記第2のセクションを含むように前記フレームの第2の独立して復号可能な部分を生成するための手段と、前記第1の独立して復号可能な部分と共に、比較的より小さいコード化単位の前記階層構成を識別する4分木構造の第1の部分を示すための手段と、前記第2の独立して復号可能な部分と共に、前記4分木区分構造の前記第1の部分とは別個に前記4分木構造の第2の部分を示すための手段と、を更に備える、[47]に記載の装置。
[51] 前記4分木構造の前記第1の部分を示すことが、前記第1の独立して復号可能な部分内のコード化単位分割を示す1つ以上の分割フラグを生成することと、前記第2の独立して復号可能な部分内のコード化単位分割を示す1つ以上の分割フラグを生成することと、を備える、[50]に記載の装置。
[52] 1つ以上のプロセッサによって実行されると、階層的に構成された複数の比較的より小さいコード化単位を含む1つ以上の最大コード化単位(LCU)を含む複数のブロックサイズコード化単位を備えるビデオデータのフレームを符号化するための方法を前記1つ以上のプロセッサに実行させる、命令を記憶するコンピュータ可読記憶媒体であって、前記方法は、前記フレームの独立して復号可能な部分を形成するとき、前記階層的に構成された複数のより小さいコード化単位がそれで分割されるべき粒度を決定することと、LCUの第1のセクションと前記LCUの第2のセクションとを生成するように、決定された前記粒度を使用して前記LCUを分割することと、前記LCUの前記第2のセクションを含むことなしに前記LCUの前記第1のセクションを含むように前記フレームの独立して復号可能な部分を生成することと、前記フレームの前記独立して復号可能な部分と決定された前記粒度の指標とを含むようにビットストリームを生成することと、を備える、コンピュータ可読記憶媒体。
[53] 前記粒度を決定することは、前記階層的に構成された複数のより小さいコード化単位がそれで分割されるべきCU深さを決定することを含み、前記ビットストリームを生成することが、CU深さ値を含むように前記ビットストリームを生成することを含む、
[52]に記載のコンピュータ可読記憶媒体。
[54] 決定された前記粒度の前記指標を含むように前記ビットストリームを生成することが、前記CU深さ値をピクチャパラメータセット中に含めるように前記ビットストリームを生成することを備える、[53]に記載のコンピュータ可読記憶媒体。
[55] 前記フレームの前記独立して復号可能な部分が第1の独立して復号可能な部分を備え、前記方法が、前記LCUの前記第2のセクションを含むように前記フレームの第2の独立して復号可能な部分を生成することと、前記第1の独立して復号可能な部分と共に、比較的より小さいコード化単位の前記階層構成を識別する4分木構造の第1の部分を示すことと、前記第2の独立して復号可能な部分と共に、前記4分木区分構造の前記第1の部分とは別個に前記4分木構造の第2の部分を示すことと、を更に備える、[52]に記載のコンピュータ可読記憶媒体。
[56] 前記4分木構造の前記第1の部分を示すことが、前記第1の独立して復号可能な部分内のコード化単位分割を示す1つ以上の分割フラグを生成することと、前記第2の独立して復号可能な部分内のコード化単位分割を示す1つ以上の分割フラグを生成することと、を備える、[55]に記載のコンピュータ可読記憶媒体。

Claims (56)

  1. 階層的に構成された複数の比較的より小さいコード化単位を含む1つ以上の最大コード化単位(LCU)を含む複数のブロックサイズコード化単位を備えるビデオデータのフレームを復号する方法であって、
    前記フレームの独立して復号可能な部分を形成するとき、前記階層的に構成された複数のより小さいコード化単位が分割された粒度を決定することと、
    決定された前記粒度を使用して、第1のセクションと第2のセクションとに分割されたLCUを識別することと、
    前記LCUの前記第2のセクションなしに前記LCUの前記第1のセクションを含む前記フレームの独立して復号可能な部分を復号することと
    を備える、方法。
  2. 前記粒度を決定することは、前記階層的に構成された複数のより小さいコード化単位が分割されたCU深さを決定することを含む、請求項1に記載の方法。
  3. 前記階層的に構成された複数のより小さいコード化単位が分割されたCU深さを決定することが、ピクチャパラメータセット中のCU深さ値を復号することを備える、請求項2に記載の方法。
  4. 前記LCUの前記第1のセクションのアドレスを決定することを更に備える、請求項1に記載の方法。
  5. 前記LCUの前記第1のセクションの前記アドレスを決定することが、スライスヘッダのスライスアドレスを復号することを備える、請求項4に記載の方法。
  6. 前記フレームの前記独立して復号可能な部分が第1の独立して復号可能な部分を備え、
    前記方法が、
    前記LCUの前記第2のセクションを含む前記フレームの第2の独立して復号可能な部分を復号することと、
    前記第1の独立して復号可能な部分と共に、比較的より小さいコード化単位の前記階層構成を識別する4分木構造の第1の部分を復号することと、
    前記第2の独立して復号可能な部分と共に、前記4分木区分構造の前記第1の部分とは別個に前記4分木構造の第2の部分を復号することと
    を更に備える、請求項1に記載の方法。
  7. 前記4分木構造の前記第1の部分を復号することが、
    前記第1の独立して復号可能な部分内のコード化単位分割を示す1つ以上の分割フラグを復号することと、
    前記第2の独立して復号可能な部分内のコード化単位分割を示す1つ以上の分割フラグを復号することと
    を備える、請求項6に記載の方法。
  8. 前記フレームの前記独立して復号可能な部分が第1の独立して復号可能な部分を備え、
    前記方法が、
    前記LCUの前記第2のセクションを含む前記フレームの第2の独立して復号可能な部分を復号することと、
    前記第1の独立して復号可能な部分についての量子化パラメータの変化を識別することと、
    前記第1の独立して復号可能な部分とは別個に、前記第2の独立して復号可能な部分についての量子化パラメータの変化を識別することと
    を更に備える、請求項1に記載の方法。
  9. 前記独立して復号可能な部分の終端の指標を復号することを更に備える、請求項1に記載の方法。
  10. 階層的に構成された複数の比較的より小さいコード化単位を含む1つ以上の最大コード化単位(LCU)を含む複数のブロックサイズコード化単位を備えるビデオデータのフレームを復号するための装置であって、
    前記フレームの独立して復号可能な部分を形成するとき、前記階層的に構成された複数のより小さいコード化単位が分割された粒度を決定することと、
    決定された前記粒度を使用して、第1のセクションと第2のセクションとに分割されたLCUを識別することと、
    前記LCUの前記第2のセクションなしに前記LCUの前記第1のセクションを含む前記フレームの独立して復号可能な部分を復号することと
    を行うように構成された1つ以上のプロセッサを備える、装置。
  11. 前記粒度を決定することは、前記階層的に構成された複数のより小さいコード化単位がそれで分割されたCU深さを決定することを含む、請求項10に記載の装置。
  12. 前記階層的に構成された複数のより小さいコード化単位が分割されたCU深さを決定することが、ピクチャパラメータセット中のCU深さ値を復号することを備える、請求項11に記載の装置。
  13. 前記1つ以上のプロセッサが、前記LCUの前記第1のセクションのアドレスを決定するように更に構成された、請求項10に記載の装置。
  14. 前記LCUの前記第1のセクションの前記アドレスを決定することが、スライスヘッダのスライスアドレスを復号することを備える、請求項13に記載の装置。
  15. 前記フレームの前記独立して復号可能な部分が第1の独立して復号可能な部分を備え、
    前記1つ以上のプロセッサが、
    前記LCUの前記第2のセクションを含む前記フレームの第2の独立して復号可能な部分を復号することと、
    前記第1の独立して復号可能な部分と共に、比較的より小さいコード化単位の前記階層構成を識別する4分木構造の第1の部分を復号することと、
    前記第2の独立して復号可能な部分と共に、前記4分木区分構造の前記第1の部分とは別個に前記4分木構造の第2の部分を復号することと
    を行うように更に構成された、請求項10に記載の装置。
  16. 前記4分木構造の前記第1の部分を復号することが、
    前記第1の独立して復号可能な部分内のコード化単位分割を示す1つ以上の分割フラグを復号することと、
    前記第2の独立して復号可能な部分内のコード化単位分割を示す1つ以上の分割フラグを復号することと
    を備える、請求項15に記載の装置。
  17. 前記フレームの前記独立して復号可能な部分が第1の独立して復号可能な部分を備え、
    前記1つ以上のプロセッサが、
    前記LCUの前記第2のセクションを含む前記フレームの第2の独立して復号可能な部分を復号することと、
    前記第1の独立して復号可能な部分についての量子化パラメータの変化を識別することと、
    前記第1の独立して復号可能な部分とは別個に、前記第2の独立して復号可能な部分についての量子化パラメータの変化を識別することと
    を行うように更に構成された、請求項10に記載の装置。
  18. 前記1つ以上のプロセッサが、前記独立して復号可能な部分の終端の指標を復号するように更に構成された、請求項10に記載の装置。
  19. 前記装置がモバイル機器を備える、請求項10に記載の装置。
  20. 階層的に構成された複数の比較的より小さいコード化単位を含む1つ以上の最大コード化単位(LCU)を含む複数のブロックサイズコード化単位を備えるビデオデータのフレームを復号するための装置であって、
    前記フレームの独立して復号可能な部分を形成するとき、前記階層的に構成された複数のより小さいコード化単位がそれで分割された粒度を決定するための手段と、
    決定された前記粒度を使用して、第1のセクションと第2のセクションとに分割されたLCUを識別するための手段と、
    前記LCUの前記第2のセクションなしに前記LCUの前記第1のセクションを含む前記フレームの独立して復号可能な部分を復号するための手段と
    を備える、装置。
  21. 前記粒度を決定することは、前記階層的に構成された複数のより小さいコード化単位がそれで分割されたCU深さを決定することを含む、請求項20に記載の装置。
  22. 前記階層的に構成された複数のより小さいコード化単位がそれで分割されたCU深さを決定することが、ピクチャパラメータセット中のCU深さ値を復号することを備える、請求項21に記載の装置。
  23. 前記フレームの前記独立して復号可能な部分が第1の独立して復号可能な部分を備え、
    前記LCUの前記第2のセクションを含む前記フレームの第2の独立して復号可能な部分を復号するための手段と、
    前記第1の独立して復号可能な部分と共に、比較的より小さいコード化単位の前記階層構成を識別する4分木構造の第1の部分を復号するための手段と、
    前記第2の独立して復号可能な部分と共に、前記4分木区分構造の前記第1の部分とは別個に前記4分木構造の第2の部分を復号するための手段と
    を更に備える、請求項20に記載の装置。
  24. 1つ以上のプロセッサによって実行されると、階層的に構成された複数の比較的より小さいコード化単位を含む1つ以上の最大コード化単位(LCU)を含む複数のブロックサイズコード化単位を備えるビデオデータのフレームを復号するための方法を前記1つ以上のプロセッサに実行させる、命令を記憶するコンピュータ可読記憶媒体であって、前記方法は、
    前記フレームの独立して復号可能な部分を形成するとき、前記階層的に構成された複数のより小さいコード化単位がそれで分割された粒度を決定することと、
    決定された前記粒度を使用して、第1のセクションと第2のセクションとに分割されたLCUを識別することと、
    前記LCUの前記第2のセクションなしに前記LCUの前記第1のセクションを含む前記フレームの独立して復号可能な部分を復号することと
    を備える、コンピュータ可読記憶媒体。
  25. 前記粒度を決定することは、前記階層的に構成された複数のより小さいコード化単位が分割されたCU深さを決定することを含む、請求項24に記載のコンピュータ可読記憶媒体。
  26. 前記階層的に構成された複数のより小さいコード化単位がそれで分割されたCU深さを決定することが、ピクチャパラメータセット中のCU深さ値を復号することを備える、請求項25に記載のコンピュータ可読記憶媒体。
  27. 前記フレームの前記独立して復号可能な部分が第1の独立して復号可能な部分を備え、前記方法が、
    前記LCUの前記第2のセクションを含む前記フレームの第2の独立して復号可能な部分を復号することと、
    前記第1の独立して復号可能な部分と共に、比較的より小さいコード化単位の前記階層構成を識別する4分木構造の第1の部分を復号することと、
    前記第2の独立して復号可能な部分と共に、前記4分木区分構造の前記第1の部分とは別個に前記4分木構造の第2の部分を復号することと
    を更に備える、請求項24に記載のコンピュータ可読記憶媒体。
  28. 階層的に構成された複数の比較的より小さいコード化単位を含む1つ以上の最大コード化単位(LCU)を含む複数のブロックサイズコード化単位を備えるビデオデータのフレームを符号化する方法であって、
    前記フレームの独立して復号可能な部分を形成するとき、前記階層的に構成された複数のより小さいコード化単位が分割されるべき粒度を決定することと、
    LCUの第1のセクションと前記LCUの第2のセクションとを生成するように、決定された前記粒度を使用して前記LCUを分割することと、
    前記LCUの前記第2のセクションを含むことなしに前記LCUの前記第1のセクションを含むように前記フレームの独立して復号可能な部分を生成することと、
    前記フレームの前記独立して復号可能な部分と決定された前記粒度の指標とを含むようにビットストリームを生成することと
    を備える、方法。
  29. 前記粒度を決定することは、前記階層的に構成された複数のより小さいコード化単位がそれで分割されるべきCU深さを決定することを含み、
    前記ビットストリームを生成することが、CU深さ値を含むように前記ビットストリームを生成することを含む、
    請求項28に記載の方法。
  30. 決定された前記粒度の前記指標を含むように前記ビットストリームを生成することが、前記CU深さ値をピクチャパラメータセット中に含めるように前記ビットストリームを生成することを備える、請求項29に記載の方法。
  31. 前記フレームの前記独立して復号可能な部分が第1の独立して復号可能な部分を備え、
    前記方法が、
    前記LCUの前記第2のセクションを含むように前記フレームの第2の独立して復号可能な部分を生成することと、
    前記第1の独立して復号可能な部分と共に、比較的より小さいコード化単位の前記階層構成を識別する4分木構造の第1の部分を示すことと、
    前記第2の独立して復号可能な部分と共に、前記4分木区分構造の前記第1の部分とは別個に前記4分木構造の第2の部分を示すことと
    を更に備える、請求項28に記載の方法。
  32. 前記4分木構造の前記第1の部分を示すことが、
    前記第1の独立して復号可能な部分内のコード化単位分割を示す1つ以上の分割フラグを生成することと、
    前記第2の独立して復号可能な部分内のコード化単位分割を示す1つ以上の分割フラグを生成することと
    を備える、請求項31に記載の方法。
  33. 前記フレームの前記独立して復号可能な部分が第1の独立して復号可能な部分を備え、
    前記方法が、
    前記LCUの前記第2のセクションを含むように前記フレームの第2の独立して復号可能な部分を生成することと、
    前記第1の独立して復号可能な部分についての量子化パラメータの変化を示すことと、
    前記第1の独立して復号可能な部分とは別個に、前記第2の独立して復号可能な部分についての量子化パラメータの変化を示すことと
    を更に備える、請求項28に記載の方法。
  34. 前記フレームの前記独立して復号可能な部分を含むようにビットストリームを生成することが、前記独立して復号可能な部分の終端の指標を生成することを備える、請求項28に記載の方法。
  35. 前記独立して復号可能な部分の前記終端の前記指標を生成することが、前記独立して復号可能な部分の前記終端を識別する1ビットフラグを生成することを備える、請求項34に記載の方法。
  36. 前記1ビットフラグは、前記階層的に構成された複数のより小さいコード化単位がそれで分割される前記粒度よりも小さい粒度のコード化単位であるコード化単位について生成されない、請求項35に記載の方法。
  37. 階層的に構成された複数の比較的より小さいコード化単位を含む1つ以上の最大コード化単位(LCU)を含む複数のブロックサイズコード化単位を備えるビデオデータのフレームを符号化するための装置であって、
    前記フレームの独立して復号可能な部分を形成するとき、前記階層的に構成された複数のより小さいコード化単位がそれで分割されるべき粒度を決定することと、
    LCUの第1のセクションと前記LCUの第2のセクションとを生成するように、決定された前記粒度を使用して前記LCUを分割することと、
    前記LCUの前記第2のセクションを含むことなしに前記LCUの前記第1のセクションを含むように前記フレームの独立して復号可能な部分を生成することと、
    前記フレームの前記独立して復号可能な部分と決定された前記粒度の指標とを含むようにビットストリームを生成することと
    を行うように構成された1つ以上のプロセッサを備える、装置。
  38. 前記粒度を決定することは、前記階層的に構成された複数のより小さいコード化単位がそれで分割されるべきCU深さを決定することを含み、
    前記ビットストリームを生成することが、CU深さ値を含むように前記ビットストリームを生成することを含む、
    請求項37に記載の装置。
  39. 決定された前記粒度の前記指標を含むように前記ビットストリームを生成することが、前記CU深さ値をピクチャパラメータセット中に含めるように前記ビットストリームを生成することを備える、請求項38に記載の装置。
  40. 前記フレームの前記独立して復号可能な部分が第1の独立して復号可能な部分を備え、前記1つ以上のプロセッサが、
    前記LCUの前記第2のセクションを含むように前記フレームの第2の独立して復号可能な部分を生成することと、
    前記第1の独立して復号可能な部分と共に、比較的より小さいコード化単位の前記階層構成を識別する4分木構造の第1の部分を示すことと、
    前記第2の独立して復号可能な部分と共に、前記4分木区分構造の前記第1の部分とは別個に前記4分木構造の第2の部分を示すことと
    を行うように更に構成された、請求項37に記載の装置。
  41. 前記4分木構造の前記第1の部分を示すことが、
    前記第1の独立して復号可能な部分内のコード化単位分割を示す1つ以上の分割フラグを生成することと、
    前記第2の独立して復号可能な部分内のコード化単位分割を示す1つ以上の分割フラグを生成することと
    を備える、請求項40に記載の装置。
  42. 前記フレームの前記独立して復号可能な部分が第1の独立して復号可能な部分を備え、前記1つ以上のプロセッサが、
    前記LCUの前記第2のセクションを含むように前記フレームの第2の独立して復号可能な部分を生成することと、
    前記第1の独立して復号可能な部分についての量子化パラメータの変化を示すことと、
    前記第1の独立して復号可能な部分とは別個に、前記第2の独立して復号可能な部分についての量子化パラメータの変化を示すことと
    を行うように更に構成された、請求項37に記載の装置。
  43. 前記フレームの前記独立して復号可能な部分を含むようにビットストリームを生成することが、前記独立して復号可能な部分の終端の指標を生成することを備える、請求項37に記載の装置。
  44. 前記独立して復号可能な部分の前記終端の前記指標を生成することが、前記独立して復号可能な部分の前記終端を識別する1ビットフラグを生成することを備える、請求項43に記載の装置。
  45. 前記1ビットフラグは、前記階層的に構成された複数のより小さいコード化単位がそれで分割される前記粒度よりも小さい粒度のコード化単位であるコード化単位について生成されない、請求項44に記載の装置。
  46. 前記装置がモバイル機器を備える、請求項37に記載の装置。
  47. 階層的に構成された複数の比較的より小さいコード化単位を含む1つ以上の最大コード化単位(LCU)を含む複数のブロックサイズコード化単位を備えるビデオデータのフレームを符号化するための装置であって、前記装置は、
    前記フレームの独立して復号可能な部分を形成するとき、前記階層的に構成された複数のより小さいコード化単位がそれで分割されるべき粒度を決定するための手段と、
    LCUの第1のセクションと前記LCUの第2のセクションとを生成するように、決定された前記粒度を使用して前記LCUを分割するための手段と、
    前記LCUの前記第2のセクションを含むことなしに前記LCUの前記第1のセクションを含むように前記フレームの独立して復号可能な部分を生成するための手段と、
    前記フレームの前記独立して復号可能な部分と決定された前記粒度の指標とを含むようにビットストリームを生成するための手段と
    を備える、装置。
  48. 前記粒度を決定することは、前記階層的に構成された複数のより小さいコード化単位がそれで分割されるべきCU深さを決定することを含み、
    前記ビットストリームを生成することが、CU深さ値を含むように前記ビットストリームを生成することを含む、
    請求項47に記載の装置。
  49. 決定された前記粒度の前記指標を含むように前記ビットストリームを生成することが、前記CU深さ値をピクチャパラメータセット中に含めるように前記ビットストリームを生成することを備える、請求項48に記載の装置。
  50. 前記フレームの前記独立して復号可能な部分が第1の独立して復号可能な部分を備え、前記装置が、
    前記LCUの前記第2のセクションを含むように前記フレームの第2の独立して復号可能な部分を生成するための手段と、
    前記第1の独立して復号可能な部分と共に、比較的より小さいコード化単位の前記階層構成を識別する4分木構造の第1の部分を示すための手段と、
    前記第2の独立して復号可能な部分と共に、前記4分木区分構造の前記第1の部分とは別個に前記4分木構造の第2の部分を示すための手段と
    を更に備える、請求項47に記載の装置。
  51. 前記4分木構造の前記第1の部分を示すことが、
    前記第1の独立して復号可能な部分内のコード化単位分割を示す1つ以上の分割フラグを生成することと、
    前記第2の独立して復号可能な部分内のコード化単位分割を示す1つ以上の分割フラグを生成することと
    を備える、請求項50に記載の装置。
  52. 1つ以上のプロセッサによって実行されると、階層的に構成された複数の比較的より小さいコード化単位を含む1つ以上の最大コード化単位(LCU)を含む複数のブロックサイズコード化単位を備えるビデオデータのフレームを符号化するための方法を前記1つ以上のプロセッサに実行させる、命令を記憶するコンピュータ可読記憶媒体であって、前記方法は、
    前記フレームの独立して復号可能な部分を形成するとき、前記階層的に構成された複数のより小さいコード化単位がそれで分割されるべき粒度を決定することと、
    LCUの第1のセクションと前記LCUの第2のセクションとを生成するように、決定された前記粒度を使用して前記LCUを分割することと、
    前記LCUの前記第2のセクションを含むことなしに前記LCUの前記第1のセクションを含むように前記フレームの独立して復号可能な部分を生成することと、
    前記フレームの前記独立して復号可能な部分と決定された前記粒度の指標とを含むようにビットストリームを生成することと
    を備える、コンピュータ可読記憶媒体。
  53. 前記粒度を決定することは、前記階層的に構成された複数のより小さいコード化単位がそれで分割されるべきCU深さを決定することを含み、
    前記ビットストリームを生成することが、CU深さ値を含むように前記ビットストリームを生成することを含む、
    請求項52に記載のコンピュータ可読記憶媒体。
  54. 決定された前記粒度の前記指標を含むように前記ビットストリームを生成することが、前記CU深さ値をピクチャパラメータセット中に含めるように前記ビットストリームを生成することを備える、請求項53に記載のコンピュータ可読記憶媒体。
  55. 前記フレームの前記独立して復号可能な部分が第1の独立して復号可能な部分を備え、前記方法が、
    前記LCUの前記第2のセクションを含むように前記フレームの第2の独立して復号可能な部分を生成することと、
    前記第1の独立して復号可能な部分と共に、比較的より小さいコード化単位の前記階層構成を識別する4分木構造の第1の部分を示すことと、
    前記第2の独立して復号可能な部分と共に、前記4分木区分構造の前記第1の部分とは別個に前記4分木構造の第2の部分を示すことと
    を更に備える、請求項52に記載のコンピュータ可読記憶媒体。
  56. 前記4分木構造の前記第1の部分を示すことが、
    前記第1の独立して復号可能な部分内のコード化単位分割を示す1つ以上の分割フラグを生成することと、
    前記第2の独立して復号可能な部分内のコード化単位分割を示す1つ以上の分割フラグを生成することと
    を備える、請求項55に記載のコンピュータ可読記憶媒体。
JP2015033057A 2011-01-05 2015-02-23 ビデオコード化におけるフレーム分割 Expired - Fee Related JP5847970B2 (ja)

Applications Claiming Priority (10)

Application Number Priority Date Filing Date Title
US201161430104P 2011-01-05 2011-01-05
US61/430,104 2011-01-05
US201161435098P 2011-01-21 2011-01-21
US61/435,098 2011-01-21
US201161454166P 2011-03-18 2011-03-18
US61/454,166 2011-03-18
US201161492751P 2011-06-02 2011-06-02
US61/492,751 2011-06-02
US13/341,368 US20120170648A1 (en) 2011-01-05 2011-12-30 Frame splitting in video coding
US13/341,368 2011-12-30

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
JP2013548468A Division JP2014506066A (ja) 2011-01-05 2012-01-03 ビデオコード化におけるフレーム分割

Publications (3)

Publication Number Publication Date
JP2015156648A true JP2015156648A (ja) 2015-08-27
JP2015156648A5 JP2015156648A5 (ja) 2015-10-08
JP5847970B2 JP5847970B2 (ja) 2016-01-27

Family

ID=46380763

Family Applications (2)

Application Number Title Priority Date Filing Date
JP2013548468A Withdrawn JP2014506066A (ja) 2011-01-05 2012-01-03 ビデオコード化におけるフレーム分割
JP2015033057A Expired - Fee Related JP5847970B2 (ja) 2011-01-05 2015-02-23 ビデオコード化におけるフレーム分割

Family Applications Before (1)

Application Number Title Priority Date Filing Date
JP2013548468A Withdrawn JP2014506066A (ja) 2011-01-05 2012-01-03 ビデオコード化におけるフレーム分割

Country Status (9)

Country Link
US (1) US20120170648A1 (ja)
EP (1) EP2661889A1 (ja)
JP (2) JP2014506066A (ja)
KR (1) KR101547743B1 (ja)
CN (1) CN103299627B (ja)
AR (1) AR084787A1 (ja)
BR (1) BR112013017141A2 (ja)
TW (1) TWI523540B (ja)
WO (1) WO2012094342A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111654947A (zh) * 2020-06-08 2020-09-11 浙江方大智控科技有限公司 基于物联网的太阳能灯控制系统及方法

Families Citing this family (41)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106231335B (zh) 2010-04-13 2019-07-02 Ge视频压缩有限责任公司 解码器、解码方法、编码器以及编码方法
CN106067985B (zh) 2010-04-13 2019-06-28 Ge视频压缩有限责任公司 跨平面预测
KR102159896B1 (ko) 2010-04-13 2020-09-25 지이 비디오 컴프레션, 엘엘씨 샘플 배열 멀티트리 세부분할에서 계승
TWI678916B (zh) 2010-04-13 2019-12-01 美商Ge影像壓縮有限公司 樣本區域合倂技術
CN103416062A (zh) * 2011-01-07 2013-11-27 三星电子株式会社 能够执行双向预测和单向预测的视频预测方法及其装置、视频编码方法及其装置以及视频解码方法及其装置
US20130251022A1 (en) * 2011-06-10 2013-09-26 Telefonaktiebolaget L M Ericsson (Publ) Signaling of end of slices
US20130022108A1 (en) * 2011-06-30 2013-01-24 General Instrument Corporation Quantization parameter derivation from qp predictor
TW201315246A (zh) * 2011-09-27 2013-04-01 Sony Corp 圖像處理裝置及方法
KR20130050406A (ko) * 2011-11-07 2013-05-16 오수미 머지 모드에서의 움직임 정보 생성 방법
KR20130050403A (ko) * 2011-11-07 2013-05-16 오수미 인터 모드에서의 복원 블록 생성 방법
SG11201406086UA (en) * 2012-04-06 2014-11-27 Sony Corp Decoder and decoding method, as well as encoder and encoding method
US9813705B2 (en) 2012-04-26 2017-11-07 Qualcomm Incorporated Parameter set coding
TWI669952B (zh) 2012-09-18 2019-08-21 美商Vid衡器股份有限公司 使用圖塊及圖塊組的感興趣區域視訊編碼的方法及裝置
EP2887663B1 (en) 2012-09-29 2017-02-22 Huawei Technologies Co., Ltd. Method, apparatus and system for encoding and decoding video
US10038899B2 (en) * 2012-10-04 2018-07-31 Qualcomm Incorporated File format for video data
WO2014081261A1 (ko) * 2012-11-23 2014-05-30 인텔렉추얼 디스커버리 주식회사 움직임 정보 병합을 이용한 비디오 부호화/복호화 방법 및 장치
US10057590B2 (en) 2014-01-13 2018-08-21 Mediatek Inc. Method and apparatus using software engine and hardware engine collaborated with each other to achieve hybrid video encoding
US10142642B2 (en) * 2014-06-04 2018-11-27 Qualcomm Incorporated Block adaptive color-space conversion coding
CN105338281B (zh) 2014-06-27 2018-07-31 阿里巴巴集团控股有限公司 一种视频显示方法和装置
CN106664203B (zh) * 2014-08-07 2021-02-12 帝威视有限公司 用于保护结合独立编码的方格的单元位流的系统和方法
US20180091810A1 (en) * 2015-03-23 2018-03-29 Lg Electronics Inc. Method for processing video signal and device therefor
US10187640B2 (en) * 2015-09-01 2019-01-22 Mediatek Inc. Method of hard-limited packet size for video encoding
EP3363199B1 (en) * 2015-11-27 2021-05-19 MediaTek Inc. Method and apparatus of entropy coding and context modelling for video and image coding
US10212444B2 (en) 2016-01-15 2019-02-19 Qualcomm Incorporated Multi-type-tree framework for video coding
US11223852B2 (en) * 2016-03-21 2022-01-11 Qualcomm Incorporated Coding video data using a two-level multi-type-tree framework
CN107315535B (zh) * 2016-04-27 2019-09-20 北京京东尚科信息技术有限公司 信息处理方法和装置
CN115022625A (zh) * 2016-10-04 2022-09-06 有限公司B1影像技术研究所 图像数据编码/解码方法和计算机可读记录介质
CN117176946A (zh) * 2016-10-04 2023-12-05 有限公司B1影像技术研究所 图像编码/解码方法、记录介质和传输比特流的方法
US10986152B2 (en) * 2016-12-29 2021-04-20 Arris Enterprises Llc Method for dynamically managing content delivery
US10848788B2 (en) 2017-01-06 2020-11-24 Qualcomm Incorporated Multi-type-tree framework for video coding
WO2018172234A2 (en) * 2017-03-20 2018-09-27 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Advanced video data stream extraction and multi-resolution video transmission
CN112601084A (zh) * 2017-06-28 2021-04-02 华为技术有限公司 一种图像数据的编码、解码方法及装置
WO2019012555A1 (en) * 2017-07-10 2019-01-17 Sangra Nagender SYSTEM AND METHOD FOR VIDEO FILE ANALYSIS IN A SHORTCUT TEMPORARY FRAME
WO2019103491A1 (ko) * 2017-11-22 2019-05-31 한국전자통신연구원 영상 부호화/복호화 방법, 장치 및 비트스트림을 저장한 기록 매체
EP3742403A4 (en) * 2018-01-19 2021-03-17 Panasonic Intellectual Property Corporation of America METHOD FOR CODING THREE-DIMENSIONAL DATA, METHOD FOR DECODING THREE-DIMENSIONAL DATA, DEVICE FOR CODING THREE-DIMENSIONAL DATA AND DEVICE FOR DECODING THREE-DIMENSIONAL DATA
KR102584502B1 (ko) * 2018-05-10 2023-10-04 삼성전자주식회사 영상의 부호화 및 복호화를 위한 영상의 분할 방법 및 장치
TW202015428A (zh) * 2018-08-19 2020-04-16 大陸商北京字節跳動網絡技術有限公司 擴展四叉樹分割的邊界處理
US11412260B2 (en) * 2018-10-29 2022-08-09 Google Llc Geometric transforms for image compression
WO2020143442A1 (en) * 2019-01-10 2020-07-16 Mediatek Inc. Methods and apparatuses of processing video data of out-of-bounds nodes
US11363306B2 (en) * 2019-04-05 2022-06-14 Comcast Cable Communications, Llc Methods, systems, and apparatuses for processing video by adaptive rate distortion optimization
CN111741555A (zh) * 2020-06-28 2020-10-02 浙江方大智控科技有限公司 适用于太阳能路灯控制系统的通讯器

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE10300048B4 (de) * 2002-01-05 2005-05-12 Samsung Electronics Co., Ltd., Suwon Verfahren und Vorrichtung zur Bildcodierung und -decodierung
KR100624404B1 (ko) * 2002-01-05 2006-09-18 삼성전자주식회사 사람의 시각적 특성을 고려한 적응적 부호화 방법 및 장치
FI114679B (fi) * 2002-04-29 2004-11-30 Nokia Corp Satunnaisaloituspisteet videokoodauksessa
US20090300692A1 (en) * 2008-06-02 2009-12-03 Mavlankar Aditya A Systems and methods for video streaming and display
PL3288268T3 (pl) * 2009-07-01 2019-11-29 Interdigital Vc Holdings Inc Sposoby i urządzenie do sygnalizacji predykcji wewnątrz-ramkowej dla dużych bloków do koderów i dekoderów wideo
US8654860B2 (en) * 2010-11-01 2014-02-18 Mediatek Inc. Apparatus and method for high efficiency video coding using flexible slice structure

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
JPN6015042110; Sjoberg, R., et.al.: '"Fine granularity slices"' [online] Document: JCTVC-C154(version 3), 20101010, Joint Collaborative Team on Video Coding (JCT-VC) *
JPN6015042112; '"Test Model under Consideration"' [online] Document: JCTVC-B205(draft000), 20100728, 第1節〜第3.2.3節, Joint Collaborative Team on Video Coding (JCT-VC) *

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111654947A (zh) * 2020-06-08 2020-09-11 浙江方大智控科技有限公司 基于物联网的太阳能灯控制系统及方法

Also Published As

Publication number Publication date
AR084787A1 (es) 2013-06-26
KR20130095324A (ko) 2013-08-27
US20120170648A1 (en) 2012-07-05
TW201234857A (en) 2012-08-16
CN103299627A (zh) 2013-09-11
KR101547743B1 (ko) 2015-08-26
BR112013017141A2 (pt) 2016-09-20
JP5847970B2 (ja) 2016-01-27
WO2012094342A1 (en) 2012-07-12
TWI523540B (zh) 2016-02-21
EP2661889A1 (en) 2013-11-13
CN103299627B (zh) 2016-08-24
JP2014506066A (ja) 2014-03-06

Similar Documents

Publication Publication Date Title
JP5847970B2 (ja) ビデオコード化におけるフレーム分割
JP6914951B2 (ja) ビデオコーディングのための固定フィルタからのフィルタ係数を予測すること
JP6271646B2 (ja) ビデオコーディングのためのタイルのグループ化
EP3123726B1 (en) Generic use of hevc sei messages for multi-layer codecs
JP5882487B2 (ja) ピクチャ区分方式の統合的設計
EP3297283B1 (en) Encoding and decoding videos sharing sao parameters according to a color component
JP5778339B2 (ja) ビデオコーディングにおける内部ビット深度増加
TWI569633B (zh) 補充增強資訊訊息寫碼
US9838692B2 (en) Detecting availabilities of neighboring video units for video coding
US9848197B2 (en) Transforms in video coding
JP5770311B2 (ja) ビデオコーディングにおけるサブスライス
KR20130126691A (ko) 비디오 코딩을 위한 모션 벡터 예측의 수행
JP2014513456A (ja) ランダムアクセスの後に従属ピクチャをコード化するためのビデオコード化技法
US20130128971A1 (en) Transforms in video coding
US20150264384A1 (en) Method and apparatus for coding video stream according to inter-layer prediction of multi-view video, and method and apparatus for decoding video stream according to inter-layer prediction of multi view video
WO2021247881A1 (en) Chroma coding enhancement in the prediction from multiple cross-components (pmc) mode
TW202110180A (zh) 跨逐線掃描切片之適應性迴圈濾波
WO2020223496A1 (en) Methods and apparatus of joint coding of chroma residuals

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20150721

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20151027

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20151125

R150 Certificate of patent or registration of utility model

Ref document number: 5847970

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees