JP2017005688A - 適応色変換を用いた映像符号化方法およびシステム - Google Patents

Abstract

【課題】映像の符号化および復号化の効率向上が求められている。
【解決手段】映像符号化方法は、ソース映像フレームを受け取る工程と、ソース映像フレームを符号化ツリーユニットに分割する工程と、符号化ツリーユニットから符号化ユニットを決定する工程と、符号化ユニットの符号化モードを有効または無効にする工程と、符号化モードが有効にされた場合に、当該有効にされた符号化モードについて、変換ユニットのサイズを見積もるかどうか判断する工程と、有効にされた符号化モードについて、符号化ユニットの変換ユニットを決定する工程と、を含んでおり、符号化ユニットのサイズは、サンプルの数によって定まる。
【選択図】図２

Description

関連出願

本発明は、２０１５年６月８日出願の米国仮特許出願６２／１７２２５６に基づき優先権主張するものであり、その全文が参照により本願に含まれる。

本開示は、広く映像の符号化および復号化の方法およびシステムに関する。

高品質の映像への需要は常に高まっている。大量の映像データの処理を必要とする４Kおよび８Kフォーマットの到来とともに、そのような映像データを圧縮する際の映像の符号化および復号化の効率向上が求められている。さらに、消費者は、様々な伝送媒体を通して高品質の映像を送受信することを求めている。例えば、消費者は、ネットワークを通して高品質の映像を入手し、家庭用のテレビやコンピュータのみならず、携帯装置、例えばスマートフォンや、タブレットや、ノートパソコンでもそうした映像を視聴することを求めている。消費者はさらに、例えばテレビ会議やスクリーンシェアリング中に高品質の映像を表示することを求めている。

高効率映像符号化(HEVC)規格H.２６５は、映像圧縮における映像の符号化および復号化の性能を向上させることを目的とする新たな規格を導入した。ISO/IEC JTC 1/SC 29/WG 11 Moving Picture Experts Group (MPEG)およびthe ITU-T SG16 Video Coding Experts Group (VCEG)によって開発されたHEVCは、従来の規格であるAdvanced Video Coding (AVC)と比べ、高品質映像の圧縮に要するデータ伝送速度を小さくしている。AVCはH．２６４としても知られている。

HEVCは、符号化の最中に映像を圧縮するため、インター予測やイントラ予測の技術を含め、様々な符号化ツールを用いる。インター予測技術は、映像ストリーム中の異なる映像フレーム間の時間的な冗長性を用いて映像データを圧縮する。例えば、現在符号化中の映像フレームは、類似の内容を含む、前回符号化および復号化された映像フレームの部分を用いることができる。前回符号化および復号化された映像フレームのこれらの部分は、類似の内容を含む、現在の映像フレームの領域の符号化を予測するのに用いることができる。一方、イントラ予測は、現在符号化中の映像フレーム内の映像データのみを用いて映像データを圧縮している。イントラ予測技術においては、異なる映像フレーム間の時間的な冗長性は用いられない。例えば、現在の映像フレームの符号化には、同一のフレームの他の部分を用いることができる。イントラ予測は３５種類のイントラモードを扱い、それらのモードには平面モード、DCモード、および３３種類の方向モードが含まれる。

AVCと比べ、HEVCは各入力映像フレームの拡張的区画化および分割も用いる。AVCは、符号化および復号化を行うのに、入力映像フレームのマクロブロック分割のみを用いている。一方、HEVCは、入力映像フレームを、異なるサイズの様々なデータユニットおよびブロックへと分割できる。これについては以下でより詳しく述べる。HEVCのこの態様は、例えば大量の動き、細部、端部を扱う映像フレームの符号化および復号化における柔軟性を高め、AVCに比べて効率を増している。

HEVCの下で映像符号化をさらに向上させる追加の符号化ツールを上記規格に含めることが提案されている。これらの符号化ツールは、符号化拡張と名付けられている。スクリーンコンテンツ符号化(SCC)拡張は、HEVC規格下での映像スクリーンコンテンツに関連する処理性能を向上させることに重点を置いた、提案された拡張である。スクリーンコンテンツは、カメラが撮影した映像場面よりもむしろ、レンダリングした絵、テキスト、アニメーションが大部分を占める映像である。レンダリングした絵、テキスト、アニメーションは、動画でも静止画でもよく、カメラが撮影した映像場面に加えて映像フィードとして提供してもよい。SCCに関係している応用の例として、スクリーンミラーリング、クラウドゲーミング、コンテンツの無線表示、リモートコンピュータデスクトップアクセスの最中に生成される表示、および映像会議中のリアルタイムスクリーンシェアリングのようなスクリーンシェアリングが挙げられる。

SCCに含まれる一つの符号化ツールは、適応色変換 (ACT)である。例えば、マルチメディアの適応符号化、伝送、および効率的な表示が米国特許出願番号２０１４０３０７７８５に開示されている。ACTは、符号化ユニット(CU)の残余画素サンプルに適用される色空間変換である。ある色空間に対し、CU内の画素の色成分間に相関性がある。画素の色成分間の相関性が高い場合、当該画素にACTを行うことで、相関する色成分を無相関化させて、当該色成分のエネルギーを集中させてもよい。そのような集中したエネルギーは、より効率的な符号化、および、符号化コストの削減を可能にする。こうして、ACTは、HEVC符号化中の符号化性能を向上させることができる。

しかしながら、ACTを有効にするかどうかを見積もるには、符号化中にレート歪み最適化(RDO)検査を追加で行う必要がある。RDO検査は、ACTが有効化された符号化モードのレート歪み(RD)コストを見積もる。そのような見積もりは、符号化を複雑にし、符号化の時間を増加させうる。また、画素の色成分がすでに無相関化されている場合、ACTは必要ない。そのような場合、色成分をさらに無相関化しても何の利得もない。なぜなら、ACTを行うコストは、符号化性能の利得よりも高いからである。

本開示の一態様は映像符号化方法に関する。当該映像符号化方法は、ソース映像フレームを受け取る工程と、上記ソース映像フレームを符号化ツリーユニットに分割する工程と、上記符号化ツリーユニットから符号化ユニットを決定する工程と、上記符号化ユニットの符号化モードを有効または無効にする工程と、上記符号化モードが有効にされた場合に、当該有効にされた符号化モードについて、変換ユニットのサイズを見積もるかどうかを判断する工程と、上記有効にされた符号化モードについて、上記符号化ユニットの上記変換ユニットを決定する工程と、を含んでおり、上記符号化ユニットのサイズは、サンプルの数(N)によって定まる。

本開示の他の態様は映像符号化システムに関する。当該映像符号化システムは、指示を記憶するメモリと、プロセッサとを備える。上記指示を上記プロセッサが実行することにより、当該プロセッサは、ソース映像フレームを受け取り、上記ソース映像フレームを符号化ツリーユニットに分割し、上記符号化ツリーユニットから符号化ユニットを決定し、上記符号化ユニットの符号化モードを有効または無効にし、上記符号化モードが有効にされた場合に、当該有効にされた符号化モードについて、変換ユニットのサイズを見積もるかどうかを判断し、上記有効にされた符号化モードについて、上記符号化ユニットの上記変換ユニットを決定する。上記符号化ユニットのサイズは、サンプルの数(N)によって定まる。

本開示の他の態様は、一組の指示を記憶する、コンピュータで読み取り可能な非一時的な記憶媒体に関する。当該指示を一または複数のプロセッサが実行することにより、当該一または複数のプロセッサは映像符号化の方法を実行する。上記方法は、ソース映像フレームを受け取る工程と、上記ソース映像フレームを符号化ツリーユニットに分割する工程と、上記符号化ツリーユニットから符号化ユニットを決定する工程と、上記符号化ユニットの符号化モードを有効または無効にする工程と、上記符号化モードが有効にされた場合に、当該有効にされた符号化モードについて、変換ユニットのサイズを見積もるかどうかを判断する工程と、上記有効にされた符号化モードについて、上記符号化ユニットの上記変換ユニットを決定する工程と、を含む。上記符号化ユニットのサイズは、サンプルの数(N)によって定まる。

上記の概要および下記の詳細な説明は例示的なものであり、説明のためのものにすぎず、請求項で述べられた範囲を限定するものではない。

添付される図面は、本明細書に含まれ、本明細書の一部を成し、本開示に沿った実施形態を示し、本明細書の記載とともに、本開示の原則を説明するものである。
本開示の実施形態に係る映像フレームおよび当該映像フレームに関連する箇所を示す図である。 本開示の実施形態に係る映像フレームおよび当該映像フレームに関連する箇所を示す図である。 本開示の実施形態に係る映像フレームおよび当該映像フレームに関連する箇所を示す図である。 本開示の実施形態に係る映像フレームおよび当該映像フレームに関連する箇所を示す図である。 本開示の実施形態に係る映像フレームおよび当該映像フレームに関連する箇所を示す図である。 本開示の実施形態に係る映像フレームおよび当該映像フレームに関連する箇所を示す図である。 本開示の実施形態に係る映像フレームおよび当該映像フレームに関連する箇所を示す図である。 本開示の実施形態に係る映像フレームおよび当該映像フレームに関連する箇所を示す図である。 本開示の実施形態に係る映像フレームおよび当該映像フレームに関連する箇所を示す図である。 本開示の実施形態に係る映像フレームおよび当該映像フレームに関連する箇所を示す図である。 本開示に合う例示的な映像符号器を示す図である。 本開示の例示的な実施形態に係る符号化方法を示す図である。 本開示の他の例示的な実施形態に係る符号化方法を示す図である。 本開示の他の例示的な実施形態に係る符号化方法を示す図である。 本開示の他の例示的な実施形態に係る符号化方法を示す図である。 非４４４色度フォーマット用のIPMのアルゴリズムのフローを示す図である。 本開示に沿った符号化および復号化方法ならびにプロセスを行うシステムを示す図である。

例示的な実施形態をこれから詳細に参照する。その実施例は、添付する図面に示されている。以下の記載では添付する図面を参照するが、異なる図面で同じ番号が用いられている場合、断りのない限り、同一または類似の要素を示す。以下の例示的な実施形態の記載で提示された実施は、本開示に沿ったすべて実施を示すものではない。そうではなく、以下の実施は、添付する請求項に記載された開示に関する態様に沿ったシステムおよび方法の単なる実施例に過ぎない。

図１Ａから図１Ｊに、本開示の実施形態に係る映像フレームおよび当該映像フレームに関連する箇所を示す。

図１Ａは、映像フレーム内に位置する多数の画素を含む映像フレーム１０１を示す。映像フレーム１０１は、符号化ツリーユニット（CTU）１０２に分割されている。各CTU１０２は、L個の垂直サンプル×L個の水平サンプル（L×L）に応じたサイズを有し、各サンプルは当該CTU内の異なる画素位置に位置する画素値に対応する。例えば、Lは、１６、３２、または６４サンプルと等しくてもよい。画素位置は、CTU内で画素が存在する位置でもよいし、CTU内で画素が存在する場所の間の位置でもよい。画素位置が、画素が存在する場所の間の位置である場合、画素値は、当該画素位置の周囲の一または複数の空間位置に位置する画素から決定された補間値である。各CTU１０２は、輝度符号化ツリーブロック(CTB)、色度CTB、関連するシンタックスを含む。

図１Ｂは、図１ＡのCTU１０２に含まれるCTBを示す。例えば、CTU１０２は、輝度CTB１０３、色度CTB１０４(CbCTB)および色度CTB１０５(CrCTB)を含む。CTU１０２は、関連シンタックス１０６を含んでもよい。CbCTB１０４は、青の色差成分CTBであり、CTBの青色における変化を表す。CｒCTB１０５は、赤の色差成分成分CTBであり、CTBの赤色における変化を表す。関連シンタックス１０６は、CTB１０３、１０４、１０５がどのように符号化されるかについての情報や、CTB１０３、１０４、１０５のさらなる分割についての情報を含んでいる。CTB１０３、１０４、１０５は、CTU１０２と同じサイズでもよい。あるいは、輝度CTB１０３がCTU１０２と同じサイズを有し、色度CTB１０４および１０５はCTU１０２より小さなサイズを有してもよい。

イントラ予測、インター予測、およびその他の符号化ツールは、符号化ブロック(CB)に対して動作する。イントラ予測かインター予測のどちらで符号化するかを決定できるようにするために、CTBを一または複数のCBに分割してもよい。CTBのCBへの分割は、四分木分割に基づいている。このようにして、一個のCTBが四個のCBに分割され、各CBがさらに四個のCBに分割されてもよい。分割は、分割中のCTBのサイズに基づいて続けられる。

図１Ｃは、図１Ｂの輝度CTB１０３を、一または複数の輝度CB１０７−１、１０７−２、１０７−３、または１０７−４へと様々に分割する様子を示す。６４×６４の輝度CTBに対して、対応する輝度CB107は垂直方向にN個×水平方向にN個(N×N)のサンプル（例えば、６４×６４、３２×３２、１６×１６、８×８）のサイズにしてもよい。図１Ｃにおいて、輝度CTB１０３は６４×６４のサイズとなっている。しかし、輝度CTB１０３は代わりに３２×３２または１６×１６のサイズとしてもよい。

図１Ｄは、図１Ｂの輝度CTB１０３の四分木分割の一例を示す。ここでは、輝度CTB１０３は、図１Ｃに示すCB１０７−１、１０７−２、１０７−３、または１０７−４に分割される。図１Ｄにおいて、輝度CTB１０３は６４×６４のサイズとなっている。しかし、輝度CTB１０３は３２×３２または１６×１６のサイズとしてもよい。

図１Ｄにおいて、輝度CTB１０３は、１０７−２で示される四個の３２×３２CBに分割される。各３２×３２CBはさらに、１０７−３で示される四個の１６×１６CBに分割される。各１６×１６CBはそれから、１０７−４で示される四個の８×８CBに分割される。

符号化ユニット（CU）は、CBを符号化するために用いられる。一個のCTBは、一個のCUだけを含むか、あるいは複数のCUを含むように分割される。こうして、一個のCUもまた、垂直方向にN個×水平方向にN（N×N）個のサンプル（例えば、６４×６４、３２×３２、１６×１６、８×８）のサイズとなる。各CUは、一個の輝度CB、二個の色度CB、および関連シンタックスを含む。符号化および復号化の最中に作られた残差CUは、当該残差CUと対応するCUと同じサイズでもよい。

図１Ｅは、CU１０８に含まれうる、図１Ｃの輝度CB１０７−１を例えば含むCBを示す。例えば、CU１０８は、輝度CB１０７−１、色度CB１０９（CｂCB）および色度CB１１０(CrCB)を含んでもよい。CU１０８は、関連シンタックス１１１も含んでよい。関連シンタックス１１１は、CB１０７−１、１０９、１１０がどのように符号化されるかについての情報（例えば、輝度CBと色度CBのサイズと位置を特定する四分木シンタックス）、およびさらなる分割についての情報を含んでいる。各CU１０８は、CB１０７−１、１０９、１１０を予測ブロック(PB)に関連付けて分割してもよい。PBは、集められて予測ユニット(PU)となる。

図１Ｆは、図１ＤのCB１０７−１を輝度PB１１２へ分割する別の方法を示す。CB１０７−１は、例えば、CB１０７−１の異なる領域の予測可能性に基づいてPB１１２に分割されてもよい。例えば、CB１０７−１は、CB１０７−１と同じサイズの一個のPB１１２を含んでもよい。あるいは、CB１０７−１は、垂直または水平に分割されて二個の均等なPB１１２になってもよいし、CB１０７−１は、垂直または水平に分割されて四個のPB１１２になってもよい。図１Ｆに示す分割はあくまでも例示であり、HEVC規格の下で可能なPBへの他のいかなる種類の分割も、本開示によって意図されるものである。さらに、図１Ｆに示す、CB１０７−１のPB１１２への異なる方法の分割は、相互に排他的である。一例として、HEVCにおけるイントラ予測モードでは、６４×６４、３２×３２、１６×１６CBは、当該CBと同じサイズの単一のPBにのみ分割されてもよく、一方、８×８CBは、一個の８×８PBまたは四個の４×４PBに分割されてもよい。

あるブロックに対してひとたびイントラまたはインター予測が行われると、予測ブロックとソース映像画像ブロックとの差異から生じる残差信号が他の領域へ送られ、そこで離散コサイン変換（DCT）または離散サイン変換(DST)のような変換を用いてさらに符号化が行われる。この変換を行うために、一または複数の変換ブロック(TB)が、CU毎またはCB毎に用いられる。

図１Ｇは、図１Ｅまたは１Ｆの輝度CB１０７−１が、異なるTB１１３−１、１１３−２、１１３−３、１１３−４にどのように分割されるのかを示す。もしCB１０７−１が６４×６４CBならば、TB１１３−１は３２×３２TBであり、TB１１３−２は１６×１６TBであり、TB１１３−３は８×８TBであり、TB１１３−４は４×４TBである。CB１０７−１は、四個のTB１１３−１と、十六個のTB１１３−２と、六十四個のTB１１３−３と、二百五十六個のTB１１３−４とに分割される。CB１０７−１は、すべて同じサイズのTB１１３に分割されてもよいし、異なるサイズのTB１１３に分割されてもよい。

CBのTBへの分割は、四分木分割に基づいている。このようにして、一個のCBが一個または複数個のTBに分割され、各TBがさらに四個のTBに分割されてもよい。分割は、分割中のCBのサイズに基づいて続けられる。

図１Ｈは、図１Ｅまたは１Ｆが示す輝度CB１０７−１を、図１Ｇが示すTB１１３−１、１１３−２、１１３−３、１１３−４への様々な分割を用いて、四分木分割する一例を示す。図１Ｈにおいて、輝度CB１０７−１は６４×６４のサイズである。しかし、輝度CB１０７−１は３２×３２または１６×１６のサイズでもよい。

図１Ｈにおいて、輝度CB１０７−１は、１１３−１で示される四個の３２×３２TBに分割される。各３２×３２TBはさらに、１１３−２で示される四個の１６×１６TBに分割されてもよい。各１６×１６TBはそれから、１１３−３で示される四個の８×８TBに分割されてもよい。各８×８TBはそれから、１１３−４で示される四個の４×４TBに分割されてもよい。

TB１１３は、それから、例えばDCTによって、あるいはHEVC規格で意図される他のいかなる変換によっても、変換される。変換ユニット(TU)が集まってTB１１３となる。一または複数のTBが各CBに用いられる。複数のCBが各CUを形成する。このようにして、CU１０８が異なると、変換ユニット(TU)の構造も異なるので、変換ユニット(TU)の構造はCU１０８によって決定される。

図１Ｉは、TU１１４の、分割の選択肢１１３−１、１１３−２、１１３−３、１１３−４を示す。各TUは、図１Ｇまたは１Ｈの分割されたTBの集合である。３２×３２のサイズのTU１１４は、３２×３２のサイズのTB１１３−１を一個だけ含むこともできるし、１６×１６のサイズのTB１１３（１１３−２）、８×８のサイズのTB１１３（１１３−３）、または４×４のサイズのTB１１３（１１３−４）を、一個または複数含むこともできる。HEVCにおけるCU有効化インター予測について、TUはPUより大きくてもよく、そのためTUはPUの境界を含んでもよい。しかし、HEVCにおけるCU有効化イントラ予測について、TUはPUの境界と交わらなくてよい。

図１Ｊは、図１ＩのTU１１４を、図１Ｉに示すTB１１３−１、１１３−２、１１３−３、または１１３−４への様々な分割を用いて、四分木分割する一例を示す。図１Ｊにおいて、TU１１４は３２×３２のサイズである。しかし、TUは１６×１６、８×８、または４×４のサイズでもよい。

図１Ｊにおいて、TU１１４は、３２×３２のサイズの１個のTB１１３−１と、１１３−２とで示される１６×１６のサイズの４個のTBに分割される。各１６×１６TBはさらに、１１３−３で示される４個の８×８TBに分割されてもよい。各８×８TBはそれから、１１３−４で示される４個の４×４TBに分割されてもよい。

本開示で言及したCTU、CTB、CB、CU、PU、PB、TU、またはTBはそれぞれ、HEVC規格に適合するいかなる特徴、サイズ、性質を有していてもよい。図１Ｃ、１Ｅ、１Ｆに示す分割は、色度CTBであるCTB１０４(CbCTB)およびCTB１０５(CｒCTB)、色度CBであるCB１０９(CbCB)およびCB１１０(CrCB)にも適用される。

図２は、本開示に合う符号化方法を行う例示的な映像符号器２００を示す。映像符号器２００は、HEVC‐SCCで意図された追加的な符号化機能、例えば、パレットモード、サンプル適応オフセット、非ブロック化フィルタリングを提供する一または複数の付加的な要素を含んでもよい。さらに、本開示は、他の符号化モード、例えばインター予測モード有効ACTだけでなく、イントラ予測モード有効ACTも意図している。

入力ソース映像フレームが、符号器２００に受信される。当該入力ソースフレームはまず、フレーム分割モジュール２０２に入力され、ここで当該フレームは少なくとも一個のソースCTUに分割される。それから、ソースCUがソースCTUから決定される。ソースCTUのサイズおよびソースCUのサイズは、フレーム分割モジュール２０２によって決定される。そのあと、符号化がCU単位で行われ、フレーム分割モジュール２０２から出力されたソースCUが、インター予測有効適応色変換（ACT）モジュール２０４、インター予測無効ACTモジュール２０６、イントラ予測有効ACTモジュール２１２、イントラ予測無効ACTモジュール２１４へ入力される。

入力フレームのソースCUは、インター予測有効ACTモジュール２０４によって符号化される。ここで、入力フレームからのソースCUの予測は、適応色変換を有効にしたインター予測技術を用いて決定される。入力フレームのソースCUはまた、インター予測無効ACTモジュール２０６によっても符号化される。ここで、入力フレームからのソースCUの予測は、ACTを有効にしないインター予測技術を用いて決定される。つまり、ACTは無効になっている。

フレームバッファ２０８内のフレームからの参照CUが、インターフレーム予測の最中に用いられる。モジュール２０４および２０６によるインターフレーム予測の最中に、ソースPUおよびPBも、ソースCUから決定され用いられる。インターフレーム予測は、時間的に異なる位置に位置づけられた映像フレームの領域からの動き見積もりを利用する。モジュール２０４と２０６からの符号化インター予測CUのうち、最高の画質となるものが決定される。符号化されたインター予測CUは、それからモード決定モジュール２１０に入力される。

入力フレームのソースCUは、また、イントラ予測有効ACTモジュール２１２によっても符号化される。ここで、入力フレームからのソースCUの予測は、適応色変換を行うイントラ予測技術を用いて決定される。

入力フレームのソースCUは、また、イントラ予測無効ACTモジュール２１４によっても符号化される。ここで、入力フレームからのソースCUの予測は、適応色変換無しのイントラ予測技術を用いて決定される。つまり、ACTは無効となっている。

モジュール２１２および２１４によるイントラフレーム予測の最中に、フレームバッファ２０８に位置する同一のフレームからの複数のソースCUが用いられる。複数のソースPUおよび複数のPBもまた、複数のソースCUから決定され、モジュール２１２および２１４によるイントラフレーム予測の最中に用いられる。最高の画質となる複数の符号化イントラ予測CUが決定される。モジュール２１２および２１４からの複数の符号化イントラ予測CUは、モード決定モジュール２１０に入力される。

モード決定モジュール２１０において、複数のソースCUの符号化を、インター予測有効ACT、インター予測無効ACT、イントラ予測無効ACT,イントラ予測有効ACTを用いて行うときのそれぞれのコストが、予測された各CUの質とともに、比較される。それから、当該比較に基づいて、どの符号化モード予測CU（例えば、イントラ予測CUまたはインター予測CU）を選択するかを決定する。それから、選択された予測CUを合計モジュール２１６および２１８へ送る。

合計モジュール２１６で、選択された予測CUはそれ自身のソースCUバージョンから引かれ、残余CUを提供する。選択された予測CUがインター予測有効ACTモジュール２０４かイントラ予測有効ACTモジュール２１２のどちらかから来た場合は、スイッチ２２０が位置Aに移動する。スイッチ２２０が位置Aにある状態で、残余CUはACTモジュール２２２に入力され、それからCCP・変換・量子化モジュール２２４に入力される。しかし、選択された予測CUがインター予測無効ACTモジュール２０６かイントラ予測無効ACTモジュール２１４のどちらかから来た場合、スイッチ２２０は位置Bに移動する。スイッチ２２０が位置Bにある状態で、ACTモジュール２２２は飛ばされ、符号化の最中に用いられない。残余CUは、代わりに、合計モジュール２１６からCCP・変換・量子化モジュール２２４へ直接入力される。

ACTモジュール２２２において、適応色変換が残余CUに対して行われる。ACTモジュール２２２からの出力は、CCP・変換・量子化モジュール２２４に入力される。

CCP・変換・量子化モジュール２２４において、成分間予測(CCP)や、離散コサイン変換(DCT)や離散サイン変換(DST)のような変換や、CU残余の量子化が行われる。CCP・変換・量子化モジュール２２４の出力は、エントロピー符号化モジュール２２６および逆CCP・変換・量子化モジュール２２８に入力される。

エントロピー符号化モジュール２２６において、残余CUのエントロピー符号化が行われる。例えば、コンテキスト適応二値算術符号化(CABAC)が行われて、残余CUを符号化する。HEVCの下で提供される他のいかなるエントロピー符号化処理が、エントロピー符号化モジュール２２６で行われてもよい。

エントロピー符号化の後、入力映像フレームのCUの符号化ビットストリームが映像符号器２００から出力される。出力された符号化ビットストリームは、メモリに保存されてもよいし、伝送線や通信ネットワークを介して放送されてもよいし、表示器に提供されるなどしてもよい。

逆CCP・変換・量子化モジュール２２８において、モジュール２２４においてCU残余に対して行われた成分間予測(CCP)、変換、量子化の逆決定が行われ、CUの再構成された残余を提供する。

選択された予測CUがインター予測有効ACTモジュール２０４かイントラ予測有効ACTモジュール２１２から来た場合、スイッチ２３０が位置Cに移動する。スイッチ２３０が位置Cにある状態で、再構成された残余CUが逆ACTモジュール２３２に入力され、それから加算モジュール２１８に入力される。しかし、選択された予測CUがインター予測無効ACTモジュール２０６かイントラ予測無効ACTモジュール２１４のどちらかから来た場合、スイッチ２３０は位置Dに移動する。スイッチ２３０が位置Dにある状態で、逆ACTモジュール２３２は飛ばされ、用いられない。再構成された残余CUは、代わりに、合計モジュール２１８へ直接入力される。

逆ACTモジュール２３２において、ACTモジュール２２２で行われた適応色変換とは逆の適応色変換が、再構成された残余CUに適用される。逆ACTモジュール２３２の出力は、合計モジュール２１８に入力される。

合計モジュール２１８において、CUの再構成された残余は、モード決定モジュール２１０からの選択された予測CUに加えられ、再構成されたソースCUとなる。再構成されたソースCUは、それから、他のCUのインター予測およびイントラ予測に用いるため、フレームバッファ２０８に保存される。

下記の符号化方法３００、４００、５００は、イントラ予測有効ACTモジュール２１２内で行われる。符号化方法３００、４００、５００を用いることによって、符号化効率と符号化時間が向上する。

インター予測有効ACTモジュール２０４、インター予測無効ACTモジュール２０６、イントラ予測有効ACTモジュール２１２、イントラ予測無効ACTモジュール２１４は、並列に配置される構成に限定されない。一実施形態では、インター予測有効ACTモジュール２０４、インター予測無効ACTモジュール２０６、イントラ予測有効ACTモジュール２１２、イントラ予測無効ACTモジュール２１４は、直列に配置できる。インター予測有効ACTモジュール２０４、インター予測無効ACTモジュール２０６、イントラ予測有効ACTモジュール２１２、イントラ予測無効ACTモジュール２１４の配置は修正できる。

図３は、本開示の例示的な実施形態に係る、TUサイズ見積もりをACT有効イントラ予測符号化プロセスにおいて行うべきか否かを決定する符号化方法３００を示す。とりわけ、符号化方法３００はCUのサイズに関する閾値計算を用い、当該閾値計算に基づいて、TUサイズ見積もりを行うべきかどうかを決定する。

ステップ３０４において、ソースCUに要素相関分析を行い、符号化ユニットのACTを有する符号化モードを有効にすべきか無効にすべきかを判断する。CUに含まれる各画素の色成分の相関が決定される。画素毎に、色成分同士の相関が、色相関閾値と比較される。当該比較に基づき、画素毎に、当該相関が画素相関閾値を上回るか、等しいか、下回るかが判断される。

画素相関閾値を上回る画素の総数がCU毎に決定される。画素相関閾値と等しい画素は、当該閾値を上回るものとしてカウントされる。画素の総数はそれから、CU相関閾値と比較される。

画素の総数がCU相関閾値を下回る場合、CUの色成分は相関性が低いと判断される。したがって、当該CUにはACTは必要ないと判断され、プロセスはステップ３０８に進み、CUの符号化の最中、ACTを無効にする。

しかし、画素の総数がCU相関閾値を上回る場合、当該CUの色成分は相関性が高いと判断される。この場合、当該CU内の各画素の成分同士の相関をなくすためにACTが必要であると判断される。計算の結果、高い相関性があると判明すると、ACTが有効となり、プロセスはステップ３０６に進み、ACTを有効にしたイントラ予測モードについてのおおよそのモード決定が行われる。

ステップ３０４の相関分析は、上記に加えて、あるいは上記に代えて、CUの色空間に基づいてもよい。例えば、ステップ３０４において、CUにおける画素の色成分が分析されて、当該CUの色空間が判断されてもよい。色空間は赤、緑、青(RGB)と判断されてもよく、あるいは輝度および色度(YUV)の色空間と判断されてもよい。

色空間がRGBであると判断された場合、プロセスはステップ３０６に進み、ACTを有効にしたイントラ予測モードについてのおおよそのモード決定が行われる。RGB画素成分は高い相関性を有している可能性がより高いので、画素エネルギーを一個の成分に隔離するために、CU内の各画素の成分の相関をなくすのに、ACTが必要である。

一方、色空間がYUVであると判断された場合、プロセスはステップ３０８に進み、ACTを無効にする。これは、YUV画素成分は相関性が低い可能性がより高く、大部分の画素エネルギーが一個の画素成分に保存されているからである。このように、CU画素成分の相関をさらになくしても、符号化による利点がさらに得られることはないため、YUV画素成分にはACTは必要ではない。

イントラ予測有効ACTモジュール２１２では、符号化方法３００の最中にACTが無効化された場合、イントラ予測有効ACTの符号化モードが無効化され、モジュール２１２は予測をモード決定モジュール２１０に出力しない。

インター予測有効ACTモジュール２０４では、インター予測符号化の最中にACTが無効化された場合、インター予測有効ACTの符号化モードが無効化され、モジュール２０４は予測をモード決定モジュール２１０に出力しない。

ステップ３０６において、ACTを有効化したイントラ予測モードについておおよそのモード決定が行われる。おおよそのモード決定は、コストに基づいたモード決定でもよい。例えば、おおよそのモード決定では、質が最高であり、かつ、符号化コストが最小である可能性が最も高い符号化モードをすばやく選択するために、選択された符号化モードを用いる符号化と関連した、複雑さの少ないコストが判断される。

ステップ３１０において、ACTを有効にした符号化モードに対して、レート歪み最適化(RDO)モードが決定される。ここで、ACT、CCP、変換、量子化、エントロピー符号化が行われる場合、符号化モードのビットコストだけでなく、オリジナルの映像からの偏差も計算される。偏差は、例えば平均二乗誤差（MSE）のような誤差計算によって測定されてもよい。そして、RDO分析によって判断された、最小の符号化コストおよび最高の符号化品質を有する符号化モードが選択される。

例えば、イントラ予測有効ACTモジュール２１２では、３５種類のイントラ予測モード(IPM)が符号化に利用できる。イントラ予測有効ACTモジュール２１２のためのおおよそのモード決定ステップ３０６において、３５種類のIPMの中から、単純化低複雑度符号化コスト決定を用いて、最小の符号化コストと最高の符号化品質を有するIPMが選択される。例えば、各IPMの低複雑度符号化コストを判断するために、絶対変換歪み合計(SATD)コストの合計が用いられてもよい。最小の符号化コストおよび最高の符号化品質を有するIPMの選択とは、例えば、３種類のIPMの選択、あるいは８種類のIPMの選択であってもよい。イントラ予測有効ACTモジュール２１２を決定するRDOモード決定ステップ３１０では、選択されたIPMそれぞれに対して、RDOモード決定が行われる。ACT、CCP、変換、量子化、エントロピー符号化が行われる場合、符号化のビットコストだけでなく、オリジナルの映像からの偏差も、選択されたIPMそれぞれについて計算される。偏差は、例えばMSEのような誤差計算によって測定されてもよい。そして、選択された複数のIPMの中から、RDO分析によって判断された、最小の符号化コストおよび最高の符号化品質を有するIPMが選択される。

イントラ予測有効ACTモジュール２１２について上述したプロセスの変形例が、インター予測有効ACTモジュール２０４により行われてもよい。例えば、モジュール２０４が符号化方法３００を行う場合、ステップ３０６において、符号化コストが最小であり、かつ、符号化品質が最高である、時間的に隣り合う映像フレームが提供している、最上のインター予測の、おおよそのモード決定が行われる。ステップ３１０において、当該インター予測のためにRDOモード決定が行われる。ここで、ACT、CCP、変換、量子化、エントロピー符号化が行われる場合のインター予測について、符号化のビットコストだけでなく、オリジナルの映像からの偏差も計算される。偏差は、例えばMSEのような誤差計算によって測定してもよい。そして、RDO分析によって判断された、最小の符号化コストおよび最高の符号化品質を有するインター予測が選択される。

ステップ３１２において、処理されている現在のCUのCUサイズが計算される。一つのCUはN個の垂直サンプル×N個の水平サンプル(N×N)のサイズでもよい。ここで、Nは４、８、１６、３２、または６４であってもよい。CUのN値が閾値T1と比較される。T１は４、８、１６、３２、または６４であってもよい。この比較に基づき、CUサイズがT1より小さいかどうかが判断され、それによって、有効符号化モード用の変換ユニットのサイズを見積もるかどうかが判断される。CUサイズがT1より小さい場合、プロセスはステップ３１４に進んでTUサイズの決定を行う。しかし、CUサイズがT1と等しいか大きい場合、プロセスはステップ３１６に進み、TUサイズ決定ステップ３１４を迂回する。ステップ３１２において、CUのサイズがT1より大きい場合、T1より大きいサイズの、CU用のTUが決定される。CUのサイズがT1と等しいかT1より大きい場合、TUの四分木構造は可能な限り最大のTUサイズであると判断してもよい。例えば、CUのサイズがT1と等しいかT1より大きい場合、６４×６４のサイズの一つのPUに対して、３２×３２のサイズの四個のTUが決定されてもよい。他の例では、CUのサイズがT1と等しいかT1より大きい場合、３２×３２、１６×１６、８×８、または４×４のサイズのPUに対して、TUは当該PUと同じサイズであってもよい。例えば、PUが３２×３２のサイズであれば、対応するTUは３２×３２のサイズであってもよい。

ステップ３１２のプロセスは、符号化時間および符号化効率を向上させる。これは、TUサイズの決定は、時間がかかり、符号化コストを押し上げるかも知れないからである。したがって、TUサイズの決定が省略可能ならば、符号化コストおよび符号化時間は節約される。さらに、T1と等しいかT１より大きいCUサイズは、当該CUの内容が複雑ではないことを示す。例えば、T1より大きいCUサイズは、映像イメージの大部分にはエッジや動きや複雑なパターンがないことを意味しうる。したがって、当該CUを高い映像品質で効率的に符号化するのに、TUサイズを判断しなくてもよい。

ステップ３１４において、CUサイズがT１より小さい場合、当該CU用のTUサイズ決定が行われる。ここで、ソースCUのTUが判断される。予測モードのためのステップ３１０において判断されたRDOコストを見積もることでTUサイズが分析され、最も効率的で高い映像品質のACT変換を当該CUにもたらすTUサイズが見出される。例えば、４×４、８×８、１６×１６、３２×３２のTUサイズが分析される。最も効率的なACT変換をもたらすTUサイズが判断される場合、このTUサイズがCUのACT変換のために選択され、プロセスはステップ３１６に進む。選択されたTUサイズは、最上のTU四分木構造サイズとして判断されてもよい。

ステップ３１６において、色度モード決定が行われる。色度モード決定は、ステップ３１０で判断される予測モードを判断することによって行われる。そして、判断された予測モードを色度予測に用いて、色度PUと、対応する色度TUとを生成する。ステップ３１２またはステップ３１４からの判断されたTUも用いられて色度TUを生成する。色度TUはまた、色度フォーマットに従って、副標本が作られる。こうして、一つの実施例では、色度フォーマットが４：２：０であり、輝度TUサイズが３２×３２である場合、判断された色度TUは１６×１６のサイズの色度TUである。

ステップ３０８において、モジュール２１２に関して、最上のイントラ予測モードを選択し、最上のTU四分木構造サイズを選択するプロセスが完了する。予測およびRDOコストが生成され、モード決定モジュール２１０に入力されて、他の予測モジュールからモード決定モジュール２１０に入力されたRDOコストと比較される。例えば、インター予測有効ACTモジュール２０４は、ACTを適用したCUの予測とRDOコストとを生成し、当該予測CUとRDOコストとをモード決定モジュール２１０に入力してもよい。インター予測無効ACTモジュール２０６およびイントラ予測無効ACTモジュール２１４もそれぞれ、予測CUとRDOコストとを生成し、それぞれの予測CUとRDOコストとをモード決定モジュール２１０に入力する。モード決定モジュール２１０は、モジュール２０４、２０６、２１２、２１４から入力された予測CU同士、RDOコスト同士を比較し、合計モジュール２１６と２１８に入力される予測CUを判断する。

図４は、本開示の他の例示的な実施形態に係る、ACTが有効化されるべきかどうかを判断する符号化方法４００を示す。とりわけ、符号化方法４００は、CU画素の色成分同士の相関についての判断とともに、CUサイズについての閾値計算を用いる。閾値計算に基づき、ACTは有効化されてもよいし、無効化されてもよい。上記で参照されたのと同じ名称を与えられた成分は、上記で説明された成分を指す。

ステップ３０４において、ソースCUに成分相関分析が行われて、ACTを有効化すべきか無効化すべきかを判断する。ステップ３０４で行われるプロセスは、符号化方法３００のステップ３０４として記載されたものと同じである。CUの色成分同士の相関性が高いと判断された場合、ACTが有効化され、プロセスは、符号化方法３００について上述したのと同じステップ３０６、３１０、３１４、３１６、３０８を通って進む。しかし、相関性が低いと判断された場合、プロセスはステップ４０２に進む。

ステップ４０２において、処理されている現在のCUのCUサイズが判断される。上記したように、CUはN個の垂直サンプル×N個の水平サンプル(N×N)のサイズである。ここで、Nは４、８、１６、３２、または６４であってもよい。CUのN値が閾値T２と比較される。T２は４、８、１６、３２、または６４であってもよい。この比較に基づき、CUサイズがT２より小さいかどうかが判断される。CUサイズがT2より小さい場合、ACTが有効化され、プロセスはステップ３１０に進み、そこでRDOに基づいたモードの決定が、符号化方法３００のステップ３１０に記載された通りに行われる。しかし、CUサイズがT2と等しいかT２より大きい場合は、プロセスはステップ３０８に進み、ACTを無効化する。

インター予測有効ACTモジュール２０４において、符号化方法４００の最中にACTが無効化された場合、モジュール２０４からの出力は、適応色変換が適用されないインター予測CUである。したがって、その場合、モジュール２０４からの出力CUは、インター予測無効化ACTモジュール２０６からの出力と等しい。同様に、イントラ予測有効モジュール２１２において、符号化方法４００の最中にACTが無効化された場合、モジュール２１２からの出力は、適応色変換が適用されないイントラ予測CUである。したがって、その場合、モジュール２１２からの出力CUは、イントラ予測無効化ACTモジュール２１４からの出力と等しい。

ステップ４０２のプロセスは、符号化時間および符号化効率を向上させる。これは、T２と等しいかT２より大きいCUサイズは、当該CUの内容、つまり当該CUが複雑ではないことを示すからである。T２より大きいCUサイズは、映像イメージの大部分がエッジや動きや複雑なパターンがないことを意味しうる。すでに適切に相関をなくした色成分と併せると、CUを効率的に符号化するのにACTはなくてもよい。

図５は、本開示の他の例示的な実施形態に係る、ACTを有効にすべきかどうか、および、TUサイズ見積もりを行うべきかどうかを二つの閾値計算によって判断する符号化方法５００を示す。とりわけ、符号化方法５００は、ACTを有効化するか無効化するかを判断する、CU画素の色成分間の相関についての判断と併せて、CUサイズに関する第一の閾値計算を利用する。方法５００はまた、CUサイズに関する第二の閾値計算も利用し、それによってTUサイズ見積もりを行うべきかどうかに関して判断が行われる。上記で参照されたのと同じ名称を与えられた要素は、上記で説明された要素を指す。

ステップ３０４において、ACTを有効化すべきか無効化すべきかを判断するために、ソースCUに成分相関分析が行われる。ステップ３０４で行われるプロセスは、符号化方法３００のステップ３０４として記載されたものと同じである。CUの色成分同士の相関性が高いと判断された場合、ACTが有効化され、プロセスはステップ３０６に進んでおおよそのモード決定を行い、そのあと、ステップ３１０に進んでRDOに基づいたモード決定を行う。ステップ３０６および３１０で行われるプロセスは、符号化方法３００について上述されたものと同じである。しかし、相関性が低いと判断された場合、プロセスはステップ４０２に進む。

ステップ４０２において、処理されている現在のCUのCUサイズが、符号化方法４００（図４）について上述したのと同様に計算される。CUサイズがT２より小さい場合、ACTが有効化され、プロセスはステップ３１０に進んで、RDOに基づいたモード決定を行う。しかし、CUサイズがT2と同じかT2より大きい場合、プロセスはステップ３０８に進んで、ACTを無効化する。

インター予測有効化ACTモジュール２０４では、符号化方法５００の最中にACTが無効化された場合、モジュール２０４からの出力は、適応色変換が適用されないインター予測CUである。したがって、その場合、モジュール２０４からの出力CUは、インター予測無効化ACTモジュール２０６からの出力と等しい。

同様に、イントラ予測有効化ACTモジュール２１２では、符号化方法５００の最中にACTが無効化された場合、モジュール２１２からの出力は、適応色変換が適用されないイントラ予測CUである。したがって、その場合、モジュール２１２からの出力CUは、イントラ予測無効化ACTモジュール２１４からの出力と等しい。

ステップ３１０において、RDOに基づいたモード決定が、符号化方法３００について上述したのと同様に計算される。

ステップ３１２において、処理されている現在のCUのCUサイズが、符号化方法３００について上述したのと同様に計算される。CUのCUサイズがT1より小さいかどうかが判断される。CUサイズがT1より小さい場合、プロセスはステップ３１４に進み、TUサイズを決定する。しかし、CUサイズがT1と等しいかT1より大きい場合は、プロセスはステップ３１６に進み、TUサイズ決定ステップ３１４を迂回する。ステップ３１４および３１６における決定プロセスは、符号化方法３００について上述したのと同様である。

閾値T1およびT2は、同じ値に設定されてもよいし、異なる値に設定されてもよい。

図５の符号化方法５００は、閾値計算を組み合わせて、符号化効率および符号化時間の双方を向上させる。上述したように、T２と等しいかT２より大きいCUサイズは、当該CUの内容、つまり当該CUが複雑ではないことを示し、大部分でエッジや動きや複雑なパターンがないことを特徴としうる。すでに適切に相関をなくした色成分と併せると、CUを効率的に符号化するのにACTはなくてもよい。さらに、ステップ３１４におけるTUサイズ決定が省略可能な場合、符号化コストは減る。

図６は、符号化方法３００と同様、本開示の例示的な実施形態に係る、ACT有効イントラ予測符号化プロセスにおいてTUサイズ見積もりを行うべきかどうかを判断する、符号化方法６００を示す。とりわけ、符号化方法６００はCUサイズに関する閾値計算を利用し、当該閾値計算に基づいて、TUサイズ見積もりを行うべきかどうかを判断する。

ステップ３０４において、ソースCUに成分相関分析が行われて、ACTを有効化すべきか無効化すべきかを判断する。ステップ３０４で行われるプロセスは、符号化方法３００のステップ３０４として記載されたものと同じである。CUの色成分同士の相関性が高いと判断された場合、ACTが有効化され、プロセスはステップ３０６に進んでおおよそのモード決定を行い、そのあと、ステップ３１０に進んでRDOに基づいたモード決定を行う。ステップ３０６および３１０で行われるプロセスは、符号化方法３００について上述されたものと同じである。しかし、ステップ３０４において、相関性が低いと判断された場合、色空間はYUV色空間であると判断され、ACTを有する符号化モードが有効化され、プロセスは直接ステップ３１０に進むが、ステップ３０６におけるおおよそのモード決定は無効化される。ここで、相関性が低い画素成分またはYUV色空間に対して、ACTをなおも有効にして、当該画素成分の相関をなくすことで符号化にさらにメリットがあるかどうか確認する。

ステップ３１０において、RDOを基にしたモード決定が、符号化方法３００について上述したのと同様に計算される。

ステップ３１２において、処理されている現在のCUのCUサイズが、符号化方法３００について上述したのと同様に計算される。当該CUのCUサイズがT1より小さいかどうか判断される。CUサイズがT1より小さい場合、プロセスはステップ３１４に進み、TUサイズを決定する。しかし、CUサイズがT1と等しいかT1より大きい場合、プロセスはステップ３１６に進み、TUサイズ決定ステップ３１４を迂回する。ステップ３１４および３１６における決定プロセスは、符号化方法３００について上述したのと同様である。

閾値T1およびT2は、同じ値に設定されてもよいし、異なる値に設定されてもよい。

符号化方法３００、４００、５００、６００によって符号化された映像を復号するには、符号化方法３００、４００、５００、６００と逆のステップを行う復号プロセスが効果的でありうる。したがって、符号化方法３００、４００、５００、６００で記載されたプロセスの逆のステップを行う復号化方法も、本開示によって意図される。符号化方法３００、４００、５００、６００によって符号化された映像を復号するのに必要なステップを含む他の復号化プロセスも、本開示によって意図される。

大きいCUがIPMをスクリーン・ビジュアル・コンテンツに用いる場合、それは、その領域におけるコンテンツが複雑なものではないことを意味しうるので、より小さいサイズのTUの見積もりをさらに行わなくてもよい。したがって、非４４４色度フォーマット用のIPMは、大きなCUにおけるTUの分割を行わせない。図７は、非４４４色度フォーマット用のIPMのアルゴリズムのフローを示す。ステップ３０６および３１０で行われるプロセスは、符号化方法３００について上述したとおりである。ステップ３１０において、RDOに基づいたモード決定が、符号化方法３００について上述したとおりに行われる。

ステップ３１１において、色度フォーマットは非４４４かどうかが判断される。色度フォーマットが非４４４である場合、プロセスはステップ３１２に進む。色度フォーマットが非４４４ではない場合、プロセスはステップ３１４に進んでTUサイズ決定を行う。

ステップ３１２において、処理されている現在のCUのCUサイズが、符号化方法３００について上述したのと同様に計算される。CUのCUサイズはT1より小さいかどうかが判断される。CUサイズがT1より小さい場合、プロセスはステップ３１４に進み、TUサイズを決定する。しかし、CUサイズがT1と等しいかT1より大きい場合、プロセスはステップ３１６に進み、TUサイズ決定ステップ３１４を迂回する。ステップ３１４および３１６における決定プロセスは、符号化方法３００について上述したのと同じである。

閾値T1およびT2は、同じ値に設定されてもよいし、異なる値に設定されてもよい。

図８は、本開示に沿った符号化および復号化の方法を行うシステム７００を示す。システム７００は、コンピュータで読み取り可能な非一時的な媒体７０２を備える。媒体７０２は、プロセッサ７０４によって実行できる指示を保存するメモリであってもよい。一または複数の、コンピュータで読み取り可能な非一時的な媒体７０２、および／または、一または複数のプロセッサ７０４を交互に用いて、本開示に沿った符号化方法および復号化方法を行ってもよい。

コンピュータで読み取り可能な非一時的な媒体７０２は、いかなる種類の、コンピュータで読み取り可能な非一時的な記憶媒体(CRM)でもよい。コンピュータで読み取り可能な非一時的な記憶媒体としては、例えば、フロッピー（登録商標）ディスク、フレキシブルディスク、ハードディスク、ハードドライブ、ソリッドステードドライブ、磁気テープ、あるいは他の任意の磁気データ記憶媒体、CD−ROM、他の任意の光学的データ記憶媒体、穴のパターンを有する任意の物理的媒体、RAM、PROM、EPROM、FLASH‐EPROMまたは他の任意のフラッシュメモリ、NVRAM、キャッシュ、レジスタ、他の任意のメモリチップまたはメモリカートリッジ、およびそれらのネットワークバージョンが挙げられる。コンピュータで読み取り可能な記憶媒体は、少なくとも一つのプロセッサで実行される指示を記録する。当該指示としては、プロセッサに、本明細書に記載された符号化および復号化の方法に沿ったステップまたはステージを行わせる指示が挙げられる。さらに、一または複数の、コンピュータで読み取り可能な記憶媒体を用いて、本明細書に記載された符号化および復号化の方法を実行してもよい。「コンピュータで読み取り可能な記憶媒体」という用語は、実体のある製品を含むが、搬送波や一過性の信号を除くと理解されるべきである。

プロセッサ７０４は、任意の種類のデジタル信号プロセッサ(DSP)、特定用途向け集積回路(ASIC)、デジタル信号処理装置(DSPD)、プログラム可能論理回路(PLD)、フィールド・プログラマブル・ゲート・アレー(FPGA)、コントローラ、マイクロコントローラ、マイクロプロセッサ、コンピュータ、または本明細書に記載された符号化および復号化の方法を行う他の任意の電子部品のうちの一つまたは複数でよい。

〔実験結果〕
以下に、本明細書に記載された符号化方法をテストすることにより得られた実験結果を説明する。

HEVC SCC参照モード、SCM４．０を、共通テスト条件(CTC)のもとで用いてテストを行った。本明細書に記載された符号化方法の符号化性能が、HEVC用の参照モデルと比較された。符号化は最初、HEVC参照モデルを用いて行われ、符号化時間が符号化時間Aとして記録された。本明細書に記載された符号化方法に従ったテスト符号化方法を用いた符号化も行い、符号化時間が符号化時間Bとして記録された。符号化時間パーセントは、符号化時間Bを符号化時間Aで割って計算された。HEVC共通テストシーケンスを、調査する映像として用いられた。映像は、テキスト、写真、動画と混合された映像フレームや、混合されたコンテンツ、アニメーション、カメラで撮ったコンテンツを、特徴とした。RGB色空間およびYUV色空間を有する映像は、ソース映像品質が７２０ｐ、１０８０ｐ、１４４０ｐに等しいとしてテストされた。高損失の条件下での全イントラ予測、ランダムアクセス、低B予測が用いられた。全イントラ予測は、映像フレームを、現在圧縮中の当該フレームに含まれる情報を用いて圧縮するのに対し、ランダムアクセスおよび低B予測は、映像フレームを、現在圧縮中の当該フレーム内の情報だけでなく、それ以前に符号化されたフレーム内の情報を用いて圧縮する。低B予測は、以下の説明では、低遅延B予測とも述べる。テスト毎に、復号化時間だけでなく符号化時間も記録し、参照モデルの例示的な符号化および復号化方法に比べて、符号化または復号化にかかる時間の割合をパーセントで示した。G／Y、B／U、R／V成分それぞれについて言及する正のパーセントは、オリジナルの映像ソースに対するビットレート符号化損失を表し、一方、マイナスのパーセントは、オリジナルの映像ソースに対するビットレート符号化利得を表す。例えば、一つのG／Y成分につき０．１％とは、オリジナルの映像ソースでの当該G／Y成分と比較して、符号化された映像での当該G／Y成分が０．１％符号化損失していることを表す。他の例では、一つのG／Y成分につき−０．１％とは、オリジナルの映像ソースでの当該G／Y成分と比較して、符号化された映像の当該G／Y成分が０．１％符号化利得していることを表す。

図５の符号化方法５００および下記の表１を参照する。符号化方法５００について、三つの設定でテストを行った。設定１では、T2およびT1はどちらも６４に設定した。設定２では、T2は６４に設定し、T1は３２に設定した。設定３では、T2は６４に設定し、T1は１６に設定した。イントラ予測は決定された符号化モードであった。

設定１では、画素成分同士の相関性が低い場合、６４×６４より大きいか等しいCUサイズのCUは、ACTなしで符号化された。６４×６４より小さいサイズのCUは、ACTを有効にして符号化された。さらに、６４×６４より大きいか等しいCUサイズについては、TUサイズ決定３１４が省略された。６４×６４より小さいCUサイズについては、TUサイズ決定３１４が行われた。

設定２では、画素成分同士の相関性が低い場合、６４×６４より大きいか等しいCUサイズのCUは、ACTなしで符号化された。６４×６４より小さいサイズのCUは、ACTを有効にして符号化された。さらに、３２×３２より大きいか等しいCUサイズについては、TUサイズ決定３１４が省略された。３２×３２より小さいCUサイズについては、TUサイズ決定３１４が行われた。

設定３では、画素成分同士の相関性が低い場合、６４×６４より大きいか等しいCUサイズのCUは、ACTなしで符号化された。６４×６４より小さいサイズのCUは、ACTを有効にして符号化された。さらに、１６×１６より大きいか等しいCUサイズについては、TUサイズ決定３１４が省略された。１６×１６より小さいCUサイズについては、TUサイズ決定３１４が行われた。

表１に示すように、設定１、２、３それぞれで符号化性能が向上した。設定１は、符号化複雑度の３％減少を示した。一方、設定２は、符号化複雑度の6％減少を示した。設定３は、符号化複雑度が最も減少し、９％の減少を示した。このように、すべての設定が、符号化効率の向上を示した。各設定ともビットレートの損失が最小なのに対して、符号化時間および符号化効率は向上した。

符号化方法５００および下記の表２と３を参照する。ここで、テストは、全イントラモード、ランダムアクセスモード、低遅延Bモードの下で行われた。テスト１では、T2およびT1はともに３２に設定された。テスト２では、T2およびT1はともに１６に設定された。方法５００に合わせて、テスト１では、３２×３２より大きいか等しいCUサイズのCUについてはTU見積もりが無効にされ、３２×３２より大きいか等しいCUサイズのCUはACTなしで符号化された。３２×３２より小さいCUはACTが有効にされて符号化された。テスト２では、１６×１６より大きいか等しいCUサイズのCUについてはTU見積もりが無効にされ、１６×１６より大きいか等しいCUサイズのCUはACTなしで符号化された。１６×１６より小さいCUはACTを有効にされて符号化された。テストは高損失の条件下で行われ、全フレームイントラブロックコピーが用いられた。

表２に示すように、テスト１では、すべてのイントラモードで、符号化複雑度が５％減少した。ランダムアクセスと低遅延Bでは、符号化複雑度が１％減少した。どの設定もビットレート損失が非常に少なく、全イントラモードおよびランダムアクセスモードではビットレートにほとんど変化がなかった。

テスト２では、全イントラモードは、符号化複雑度が8％減少という結果になった。ランダムアクセスでは符号化複雑度が１％減少し、一方、低遅延Bでは符号化複雑度が変わらなかった。どのモードでもビットレートの損失はテスト１に比べて大きかったが、それでも小数のパーセントの範囲にあったので、ビットレートの損失は最小だった。小数のパーセントのビットレートの損失とは、オリジナルの映像に比べて、符号化された映像がほんのわずかしかビットレートが減少していないこと、したがってほんのわずかしか映像品質が失われていないことを意味する。そのような映像品質のわずかな損失は、符号化方法５００によって符号化時間が向上しているので、たいていの用途で許容可能なものである。

表３に示すように、テスト１およびテスト２では、どのモードも、合計でも平均でも、ビットレートはまったく変化しなかった。全イントラモードで、符号化複雑度がもっとも減少し、どのテストでも１％減少した。

図５の符号化方法５００および表４を参照する。ここで、テストは高損失の条件下で行われ、４‐CTUイントラブロックコピーが用いられ、色度モードは４：４：４だった。イントラブロックコピーは動きベクトルを用いて、現在符号化された映像フレーム中の、前回符号化されたCUからブロックをコピーする。４‐CTUとは、当該動きベクトルにとって許容可能な検索領域のことである。

テスト１では、T2およびT1はともに３２に設定された。テスト２では、T2およびT1はともに１６に設定された。方法５００に合わせて、テスト１では、３２×３２より大きいか等しいCUサイズのCUについては、TU見積もりは無効にされ、テスト２では、１６×１６より大きいか等しいCUサイズのCUについては、TU見積もりは無効にされた。テスト１では、３２×３２より小さいCUサイズについてはACTが有効にされ、３２×３２より大きいか等しいCUサイズではACTが無効にされた。テスト２では、１６×１６より小さいCUサイズについてはACTが有効にされ、１６×１６より大きいか等しいCUサイズではACTが無効にされた。

表４に示すように、テスト１でもテスト２でも、全イントラ、ランダムアクセス、低遅延Bモードのいずれにおいても、ビットレートの変化は最小だった。全イントラはどちらのテストでも符号化複雑度を最も多く削減し、テスト１では５％の減少を示し、テスト２では８％の減少を示した。

図４の符号化方法４００および下記の表５．１と５．２を参照する。ここで、T2が６４に設定されてテストが行われた。このため、ステップ３０４における成分相関分析がCUの色成分同士は相関性が低いと判断した場合、ステップ４０２では、当該CUのCUサイズが６４×６４より小さいかどうかが判断された。当該CUのCUサイズが６４×６４より小さい場合、ACTが有効にされ、RDOに基づくモード決定がステップ３１０で行われた。当該CUのCUサイズが６４×６４より大きいか等しい場合、ACTは無効され、プロセスはステップ３０８に進んだ。テスト条件は、テスト１では、全フレームイントラブロックコピーを有する高損失の全イントラ符号化モードに基づくものとし、テスト２では、４ CTU IBCを有する高損失の全イントラ符号化モードに基づくものとした。どちらのテストでも、色度モードは４：４：４が選択された。

表５．１に示すように、YUV色空間および全フレームIBCを用いた高損失の全イントラ(AI)符号化について、符号化方法４００は、符号化時間を１％から３％削減し、ビットレートの損失は最小だった。表５．２に示すように、４‐CTU IBCサーチを用いた高損失の全イントラ符号化において、符号化方法４００は、表５．１、テスト１と同様に、符号化時間が減少し、ビットレートの損失は最小だった。

符号化方法４００および下記の表６を参照する。ここで、T２は６４に設定された。無損失のイントラ符号化が行われ、色度モードは４：４：４が選択された。

YUV色空間について、符号化方法４００は、符号化時間が０％から約2％の減少という結果になった。

符号化方法３００（図３）および下記の表７を参照する。ここで、テスト１ではT1が３２に設定され、テスト２ではT1が１６に設定された。方法３００に合わせて、テスト１では、３２×３２より大きいか等しいCUサイズのCUについて、TUサイズ決定３１４が省略された。CUサイズが３２×３２より小さい場合、TUサイズ決定３１４が行われた。テスト２では、１６×１６より大きいか等しいCUサイズのCUについて、TUサイズ決定３１４が省略された。CUサイズが１６×１６より小さい場合、TUサイズ決定３１４が行われた。高損失の全イントラ符号化は、ACTが有効にされて行われた。

テスト１における符号化時間は、３％から６％削減された。テスト２では、符号化時間は６％から10％削減された。このように、３２×３２または１６×１６よりサイズが小さいCUだけにTUサイズ決定を行うことで、符号化効率を上げることができた。

上記の説明は、例示のためになされたものである。網羅的なものではないし、開示された正確な態様または実施形態に限定されるものでもない。明細書および開示された実施形態の実施を考慮すれば、実施形態の変形や改変は自明である。例えば、記載された実施はハードウェアおよびソフトウェアを含むが、本開示に沿ったシステムおよび方法は、ハードウェア単独で実施しうる。

本明細書の記載および方法に基づいてコンピュータプログラムを作成するのは、ソフトウェア開発者の技術の範囲内である。様々なプログラムやプログラムモジュールを、多様なプログラミング技術を用いて作成することができる。例えば、プログラムセクションまたはプログラムモジュールは、Java（登録商標）、C、C++、アセンブリ言語、または、そのような任意のプログラミング言語で、または、それらを用いて、設計可能である。そのようなソフトウェアセクションまたはモジュールの一または複数は、コンピュータシステム、コンピュータで読み取り可能な非一時的な媒体、または、既存のコミュニケーションソフトウェアに統合可能である。

さらに、例示的な実施形態を本明細書で記載してきたが、本願発明の範囲は、本開示に基づいて、同等の要素や、変形や、省略や、組み合わせ（例えば、様々な実施形態を横断しての態様の組み合わせ）や、改変や、修正を有するすべての実施形態を含むものである。請求項の要素は、請求項で用いられた言葉に基づいて広く解釈すべきであり、本明細書に記載された実施例または本願の審査を続ける中で提示される実施例に限定されるものではない。こうした実施例は非排他的に解釈されるべきである。さらに、開示された方法のステップは、どのように変形することもできる。例えば、ステップの順序を変えてもよいし、ステップを挿入または削除してもよい。したがって、本明細書と実施例は例示とのみ見なされることを意図しており、本願発明の真の範囲および精神は、以下の請求項およびそれらの均等物の全範囲によって示される。

本明細書および本開示の実施を考慮すれば、本開示の他の実施形態は当業者には明らかであろう。本開示の範囲は、本開示の全般的な原則に従い、本技術分野の既知のあるいは習慣的な実施の範囲内での本開示からの逸脱を含む、本開示の任意の変形、使用、改変を網羅することを意図している。本明細書および実施例は例示とのみ見なされることを意図しており、本開示の真の範囲および精神は、以下の請求項によって示される。

本開示は、上述されかつ添付の図面で示された構造そのものに限定されるものではなく、本開示の範囲から逸脱することなしに様々な変形をなすことができることが理解されるであろう。本開示の範囲は、付記した請求項によってのみ限定されることが意図される。

Claims (17)

1. ソース映像フレームを受け取る工程と、
   上記ソース映像フレームを符号化ツリーユニットに分割する工程と、
   上記符号化ツリーユニットから符号化ユニットを決定する工程と、
   上記符号化ユニットの符号化モードを有効または無効にする工程と、
   上記符号化モードが有効にされた場合に、当該有効にされた符号化モードについて、変換ユニットのサイズを見積もるかどうかを判断する工程と、
   上記有効にされた符号化モードについて、上記符号化ユニットの上記変換ユニットを決定する工程と、を含んでおり、
   上記符号化ユニットのサイズは、サンプルの数(N)によって定まる、映像符号化方法。
2. 上記符号化ユニットの色空間を判断する工程をさらに含み、上記色空間を判断する工程は、上記色空間が赤緑青(RGB)色空間であるか、輝度および色度(YUV)色空間であるかを判断する工程を含む、請求項１に記載の映像符号化方法。
3. 上記色空間がRGB色空間であると判断された場合、上記有効にされた符号化モードが適応色変換を有効にするイントラ予測モードであるならば、コストに基づくモード決定を有効にする工程をさらに含む、請求項２に記載の映像符号化方法。
4. 上記色空間がYUV色空間であると判断された場合、上記有効にされた符号化モードが適応色変換を有効にするイントラ予測モードであるならば、コストに基づくモード決定を無効にする工程をさらに含む、請求項２に記載の映像符号化方法。
5. 上記色空間がYUV色空間であると判断され、Nが閾値より大きいか閾値と等しい場合、上記符号化ユニットの上記符号化モードを無効にする工程をさらに含む、請求項２に記載の映像符号化方法。
6. Nが閾値より小さいか判断する工程と、
   上記色空間がYUV色空間であると判断され、Nが上記閾値より小さいと判断された場合、適応色変換を有効にする上記符号化モードを有効にする工程と、
   をさらに含む、請求項２に記載の映像符号化方法。
7. Nが第一の閾値より小さいかを判断する工程と、
   Nが第二の閾値より小さいかを判断する工程と、
   上記色空間がYUV色空間であると判断され、Nが上記第一の閾値より小さい場合、適応色変換を有効にする上記符号化モードを有効にする工程と、
   Nが上記第二の閾値より小さい場合、上記適応色変換を有効にする符号化モードについて、上記変換ユニットのサイズを見積もる工程と、
   をさらに含む、請求項２に記載の映像符号化方法。
8. Nが第一の閾値より小さいかを判断する工程と、
   Nが第二の閾値より大きいか上記第二の閾値と等しいかを判断する工程と、
   上記色空間がYUV色空間であると判断され、Nが上記第一の閾値より小さい場合、適応色変換を有効にする上記符号化モードを有効にする工程と、
   Nが上記第二の閾値より大きいか上記第二の閾値と等しい場合、上記適応色変換を有効にする符号化モードについて、上記変換ユニットのサイズを見積もらないと判断する工程と、
   をさらに含む、請求項２に記載の映像符号化方法。
9. Nが閾値より大きいか閾値と等しいかを判断する工程と、
   Nが上記閾値より大きいか上記閾値と等しく、上記有効にされた符号化モードが適応色変換を有効にする場合、上記変換ユニットのサイズを見積もらないことを判断する工程と、
   をさらに含む、請求項１に記載の映像符号化方法。
10. Nが閾値より小さいかを判断する工程と、
    Nが上記閾値より小さく、上記有効にされた符号化モードが適応色変換を有効にする場合、上記変換ユニットのサイズを見積もる工程と、
    上記変換ユニットのサイズを選択する工程と、
    をさらに含む、請求項１に記載の映像符号化方法。
11. 上記ソース映像フレームが非４４４であり、上記符号化ユニットのサイズがN×Nより小さい場合、上記変換ユニットのサイズを見積もる工程をさらに含む、請求項１に記載の映像符号化方法。
12. 指示を記憶するメモリと、
    上記指示を実行するプロセッサであって、当該指示の実行により、
    ソース映像フレームを受け取り、
    上記ソース映像フレームを符号化ツリーユニットに分割し、
    上記符号化ツリーユニットから符号化ユニットを決定し、
    上記符号化ユニットの符号化モードを有効または無効にし、
    上記符号化モードが有効にされた場合に、当該有効にされた符号化モードについて、変換ユニットのサイズを見積もるかどうかを判断し、
    上記有効にされた符号化モードについて、上記符号化ユニットの上記変換ユニットを決定する、プロセッサと、
    を備えており、
    上記符号化ユニットのサイズは、サンプルの数(N)によって定まる、映像符号化システム。
13. 上記プロセッサはさらに、指示を実行して、
    上記符号化ユニットの色空間を判断し、
    上記色空間が赤緑青(RGB)色空間であるか、輝度および色度(YUV)色空間であるかを判断することによって、上記色空間を判断する、
    請求項１２に記載の映像符号化システム。
14. 上記プロセッサはさらに、指示を実行して、
    Nが第一の閾値より小さいかを判断し、
    Nが第二の閾値より小さいかを判断し、
    上記色空間がYUV色空間であると判断され、Nが上記第一の閾値より小さい場合、適応色変換を有効にする上記符号化モードを有効にし、
    Nが上記第二の閾値より小さい場合、上記適応色変換を有効にする符号化モードについて、上記変換ユニットのサイズを見積もる、
    請求項１３に記載の映像符号化システム。
15. 上記プロセッサはさらに、指示を実行して、
    Nが第一の閾値より小さいかを判断し、
    Nが第二の閾値より大きいか第二の閾値と等しいかを判断し、
    上記色空間がYUV色空間であると判断され、Nが上記第一の閾値より小さい場合、適応色変換を有効にする上記符号化モードを有効にし、
    Nが上記第二の閾値より大きいか上記第二の閾値と等しい場合、上記適応色変換を有効にする符号化モードについて、上記変換ユニットのサイズを見積もらないと判断する、
    請求項１３に記載の映像符号化システム。
16. 上記プロセッサはさらに、指示を実行して、
    上記ソース映像フレームが非４４４であり、上記符号化ユニットのサイズがN×Nより小さい場合、上記変換ユニットのサイズを見積もる、
    請求項１２に記載の映像符号化システム。
17. 一組の指示を記憶する、コンピュータで読み取り可能な非一時的な記憶媒体であって、
    当該指示を一または複数のプロセッサが実行することにより、当該一または複数のプロセッサは、映像符号化の方法を実行し、
    上記方法は、
    ソース映像フレームを受け取る工程と、
    上記ソース映像フレームを符号化ツリーユニットに分割する工程と、
    上記符号化ツリーユニットから符号化ユニットを決定する工程と、
    上記符号化ユニットの符号化モードを有効または無効にする工程と、
    上記符号化モードが有効にされた場合に、当該有効にされた符号化モードについて、変換ユニットのサイズを見積もるかどうかを判断する工程と、
    上記有効にされた符号化モードについて、上記符号化ユニットの上記変換ユニットを決定する工程と、を含んでおり、
    上記符号化ユニットのサイズは、サンプルの数(N)によって定まる、コンピュータで読み取り可能な非一時的な記憶媒体。

Images