JP6566865B2

JP6566865B2 - 動画像復号装置、動画像復号方法、動画像符号化装置、動画像符号化方法及びコンピュータ可読記録媒体

Info

Publication number: JP6566865B2
Application number: JP2015256489A
Authority: JP
Inventors: 圭河村; 内藤　整; 整内藤
Original assignee: KDDI Corp
Current assignee: KDDI Corp
Priority date: 2015-12-28
Filing date: 2015-12-28
Publication date: 2019-08-28
Anticipated expiration: 2035-12-28
Also published as: WO2017115483A1; EP3399750A1; CN108464003A; JP2017120979A; US20180302650A1; EP3399750A4

Description

本発明は、動画像復号装置、動画像復号方法、動画像符号化装置、動画像符号化方法及びコンピュータ可読記録媒体に関する。

イントラ予測（フレーム内予測）またはインター予測（フレーム間予測）と、残差変換と、エントロピー符号化とを用いた動画像符号化方式が提案されている（例えば、非特許文献１参照）。また、スケーラブル符号化方式とよばれる、符号化装置・復号装置の拡張方式が提案されている（例えば、非特許文献１参照）。

近年、４Ｋ映像や８Ｋ映像といった高解像度の映像が流通し始めている。映像配信サービスで４Ｋ映像は１５Ｍｂｐｓ〜３５Ｍｂｐｓで配信されている。一方、８Ｋ映像は放送サービスとして９０Ｍｂｐｓ〜１１０Ｍｂｐｓが想定されている。これまでのＨＤ映像（２Ｋ映像）については、ＨＥＶＣ（ＨｉｇｈＥｆｆｉｃｉｅｎｃｙＶｉｄｅｏＣｏｄｉｎｇ）により３Ｍｂｐｓ〜６Ｍｂｐｓ程度で実用的な品質が実現できている。

これらの映像をストリーミングするために蓄積することを想定すると、４Ｋ／８Ｋ映像は２Ｋ映像の１０倍以上の容量が必要となる。特に、４Ｋ映像と８Ｋ映像とを個別に蓄積するのはストレージコストがかかるため、非特許文献１に記載されるようなスケーラブル符号化技術による容量削減の恩恵は大きい。

ITU-T H.265 High Efficiency Video Coding. ITU-T T.800 Information technology - JPEG 2000 image coding system: Core coding system.

しかしながら、従来のＨＥＶＣのスケーラブル符号化・復号技術では、符号化装置や復号装置の構成が複数ループとなり、処理量が多くなる。

本発明はこうした課題に鑑みてなされたものであり、その目的は、スケーラビリティを実現しつつ符号化装置または復号装置における処理量の増加を抑えることができる技術の提供にある。

本発明のある態様は、動画像復号装置に関する。この動画像復号装置は、画像と予測画像との誤差信号のブロックを非冗長的に周波数成分へ変換した結果得られる低周波成分および高周波成分のうちの前記低周波成分に対応するビットストリームをエントロピー復号する復号部と、前記復号部におけるエントロピー復号の結果得られるレベル値を逆量子化および逆変換して前記低周波成分を生成する逆量子化・逆変換部と、前記逆量子化・逆変換部によって生成された前記低周波成分のブロックと予測画像の対応するブロックとから、前記画像の解像度よりも低い解像度の低解像度画像のブロックを生成する加算部と、を備える動画像復号装置であって、前記復号部は、前記高周波成分に対応する付随ビットストリームをエントロピー復号し、前記逆量子化・逆変換部は、前記復号部における前記付随ビットストリームのエントロピー復号の結果得られる別のレベル値を逆量子化および逆変換して前記高周波成分を生成し、前記動画像復号装置はさらに、前記逆量子化・逆変換部によって生成された前記低周波成分と前記高周波成分とを合成する合成部を備える。

本発明の別の態様は、動画像符号化装置である。この動画像符号化装置は、画像と予測画像との誤差信号のブロックを非冗長的に周波数成分へ変換する解析部と、前記解析部による変換の結果得られる低周波成分および高周波成分のうちの前記低周波成分を変換および量子化し、レベル値を生成する変換・量子化部と、前記変換・量子化部によって生成されたレベル値をエントロピー符号化してビットストリームを生成する符号化部と、を備える動画像符号化装置であって、前記変換・量子化部は、前記高周波成分を変換および量子化し、別のレベル値を生成し、前記符号化部は、前記変換・量子化部によって生成された前記別のレベル値をエントロピー符号化して付随ビットストリームを生成する。

なお、以上の構成要素の任意の組み合わせや、本発明の構成要素や表現を装置、方法、システム、コンピュータプログラム、コンピュータプログラムを格納した記録媒体などの間で相互に置換したものもまた、本発明の態様として有効である。

本発明によれば、スケーラビリティを実現しつつ符号化装置または復号装置における処理量の増加を抑えることができる。

実施の形態に係る配信システムの構成を示す模式図である。図１の動画像符号化装置の機能および構成を示すブロック図である。処理対象ブロックの誤差信号の離散ウェーブレット変換を説明するための説明図である。ビットストリームおよび付随ビットストリームの構造の一例を示す模式図である。図１の動画像復号装置の機能および構成を示すブロック図である。符号化側および復号側における一連の処理のイメージを示す説明図である。図１の動画像符号化装置における一連の処理を示すフローチャートである。図１の動画像復号装置における一連の処理を示すフローチャートである。比較例に係るスケーラブル符号化装置の機能および構成を示すブロック図である。比較例に係るスケーラブル復号装置の機能および構成を示すブロック図である。

以下、各図面に示される同一または同等の構成要素、部材、処理、信号には、同一の符号を付するものとし、適宜重複した説明は省略する。また、各図面において説明上重要ではない部材の一部は省略して表示する。

実施の形態では、Ｈ．２６５またはＩＳＯ／ＩＥＣ２３００８−２ＨＥＶＣにおいて四分木構造が採用されており、１／２解像度に対するシンタックスレベルのスケーラビリティ機能を有しているという特徴を用い、機能不足となっている誤差（残差）信号に対する高品質なスケーラビリティ機能を追加する。誤差信号はフィルタバンクにより低周波成分と高周波成分とに分けられる。ここで、非冗長なフィルタバンクが用いられることで、サンプル数は一定に保たれる。得られた成分ごとに変換・量子化および逆量子化・逆変換が適用される。また、復号された成分をフィルタバンクにより合成することで、もとの解像度の誤差信号を復元することができる。フィルタバンクによる合成を適用せず、低周波成分のみを用いる場合は、より低解像度の映像をＨＥＶＣ準拠のデコーダで復号することができる。その結果、符号化ループ／復号ループにフィルタバンクを追加することで、ストリームのみからＨＥＶＣで復号可能な低解像度映像のストリームを生成することができる。

なお、解像度の変更は１／２に限定されず、一般に２^（−ｎ）であればよい（ｎは自然数）また、低周波成分に対応するビットストリームに対して、高周波成分に対応するビットストリームを付随ビットストリーム（ａｃｃｏｍｐａｎｙｉｎｇｂｉｔｓｔｒｅａｍ)と称する。付随ビットストリームはビットストリームに付随するものとしてそのように称されているが、ビットストリームを補助するものとして補助ビットストリーム（ｓｕｐｐｌｅｍｅｎｔａｒｙｂｉｔｓｔｒｅａｍ、ｃｏｍｐｌｅｍｅｎｔａｒｙｂｉｔｓｔｒｅａｍ）と称されてもよく、またはビットストリームに追加されるものとして追加ビットストリーム(ａｄｄｉｔｉｏｎａｌｂｉｔｓｔｒｅａｍ)と称されてもよい。

図１は、実施の形態に係る配信システム１００の構成を示す模式図である。配信システム１００は、４Ｋ映像や８Ｋ映像などの高解像度の映像を配信する映像配信サービスにおいて使用されるシステムである。映像配信サービスは例えばＶＯＤ（ＶｉｄｅｏＯｎＤｅｍａｎｄ）であってもよい。配信システム１００はインターネットなどのネットワーク１０６を介して、ユーザサイトに設置されているセットトップボックスやパーソナルコンピュータなどの動画像復号装置１０２と接続される。動画像復号装置１０２は、テレビ受像機やモニタなどの表示装置１０４と接続される。

なお、映像配信サービスにおける配信システムは一例であり、動画像の符号化または復号を含む任意のシステムやサービスに、本実施の形態に係る技術的思想を適用できることは、本明細書に触れた当業者には明らかである。

配信システム１００は、ネットワーク１０６を介してユーザから観たい動画コンテンツの指定を受ける。配信システム１００は、指定された動画コンテンツのデータを符号化してビットストリームＢＳおよび付随ビットストリームＡＢＳを生成する。配信システム１００は、生成されたビットストリームＢＳおよび付随ビットストリームＡＢＳをネットワーク１０６を介して要求元のユーザの動画像復号装置１０２に送信する。動画像復号装置１０２は受信したビットストリームＢＳおよび付随ビットストリームＡＢＳを復号して動画像データを生成し、表示装置１０４に送信する。表示装置１０４は、受信した動画像データを処理し、指定された動画コンテンツを出力する。

配信システム１００は、動画像ＤＢ（データベース）１０８と、動画像符号化装置１１０と、動画像蓄積サーバ１０１と、を備える。動画像ＤＢ１０８は、４Ｋ映像や８Ｋ映像などの動画像のデータを保持する。動画像符号化装置１１０は、指定された動画コンテンツに対応する動画像データを動画像ＤＢ１０８から取得し、取得された動画像データを符号化し、ビットストリームＢＳおよびそれに付随する付随ビットストリームＡＢＳを生成する。ビットストリームＢＳは、元の動画像データの解像度の１／２の解像度の動画像データに対応する。ビットストリームＢＳはＨＥＶＣに準拠したデコーダにより復号可能である。一方、付随ビットストリームＡＢＳはビットストリームＢＳを補助または補完するための情報を保持する。例えば付随ビットストリームＡＢＳは低解像度映像と高解像度映像との差分である高周波成分のみに対応する。ビットストリームＢＳと付随ビットストリームＡＢＳとが合わせて復号されると、元の高解像度の動画像データが再現される。付随ビットストリームＡＢＳのみのＨＥＶＣ準拠のデコーダによる復号は可能でない。動画像蓄積サーバ１０１は、動画像符号化装置１１０によって生成されたビットストリームＢＳと付随ビットストリームＡＢＳとを蓄積する。

以下、動画像ＤＢ１０８から取得され動画像符号化装置１１０に入力される動画像データの解像度が８ＫでありビットストリームＢＳに対応する動画像データの解像度が４Ｋである場合すなわち解像度を１／２にする場合について説明する。本明細書に触れた当業者には、本実施の形態で説明される構成の、解像度を２^（−ｎ）倍にする場合への拡張は自明である。

ユーザは、観たい動画コンテンツを指定する際、表示装置１０４の表示能力等を考慮し、動画像復号装置１０２に対して解像度を指定する。動画像復号装置１０２は指定された解像度を取得する。動画像復号装置１０２は、取得された解像度が４ＫであればビットストリームＢＳのみから動画像データを生成・出力し、取得された解像度が８ＫであればビットストリームＢＳおよび付随ビットストリームＡＢＳから動画像データを生成・出力する。

図２は、図１の動画像符号化装置１１０の機能および構成を示すブロック図である。ここに示す各ブロックは、ハードウエア的には、コンピュータのＣＰＵをはじめとする素子や機械装置で実現でき、ソフトウエア的にはコンピュータプログラム等によって実現されるが、ここでは、それらの連携によって実現される機能ブロックを描いている。したがって、これらの機能ブロックはハードウエア、ソフトウエアの組合せによっていろいろなかたちで実現できることは、本明細書に触れた当業者には理解される。動画像符号化装置１１０を実現するコンピュータプログラムは、コンピュータが読み取り可能な記録媒体に記憶されて、又は、ネットワーク経由で配布が可能なものであってもよい。

動画像符号化装置１１０は、フレームバッファ２０２と、符号化制御部２０３と、インループフィルタ２０４と、インター予測部２０６と、イントラ予測部２０８と、変換・量子化部２１０と、エントロピー符号化部２１２と、逆量子化・逆変換部２１４と、解析部２１６と、合成部２１７と、減算部２１８と、加算部２２０と、ブロック分割部２２２と、を備える。

ブロック分割部２２２は、動画像ＤＢ１０８からの動画像データに含まれる符号化対象の画像すなわちフレームを複数のブロックに分割する。ブロックのサイズは様々であり、複数のブロックは四分木構造を有する。ブロック分割部２２２における画像のブロックへの分割はＨＥＶＣにおける画像のブロックへの分割に準じる。すなわち、もっとも大きな処理サイズであるＣＴＵ（ＣｏｄｉｎｇＴｒｅｅＵｎｉｔ）のサイズは６４×６４であり、これを繰り返し四分割した３２×３２、１６×１６、８×８のサイズが存在している。ブロック分割部２２２は処理対象ブロックを減算部２１８とインター予測部２０６とイントラ予測部２０８とに出力する。

インター予測部２０６には、フレームバッファ２０２から以前のフレームの画像データが入力される。インター予測部２０６は、以前のフレームに基づき、フレーム間予測による処理対象ブロックの予測ブロックを出力する。イントラ予測部２０８には、処理対象のフレームと同じフレームの既に処理したブロックの画像データが加算部２２０から入力される。イントラ予測部２０８は、処理対象ブロックと同じフレームの他のブロックに基づき、処理対象ブロックの予測ブロックを出力する。処理対象ブロックにフレーム間予測を適用するか、フレーム内予測を適用するかに応じて、インター予測部２０６の出力とイントラ予測部２０８の出力とのいずれかが減算部２１８に出力される。

減算部２１８は、ブロック単位で符号化対象の画像とイントラ予測画像またはインター予測画像との誤差（残差）信号を生成する。減算部２１８は、処理対象ブロックと、インター予測部２０６またはイントラ予測部２０８が出力した対応する予測ブロックとの誤差を示す誤差信号を出力する。

解析部２１６は、減算部２１８によって出力された処理対象ブロックの誤差信号を非冗長的に周波数成分へ変換する。解析部２１６における非冗長の変換処理により得られた周波数成分はさらに、低周波成分と高周波成分とに分割される。解析部２１６は、変換の結果得られる低周波成分と高周波成分とを変換・量子化部２１０に出力する。図２において、実線は低周波成分を表わし、破線は高周波成分を表す。

解析部２１６は、処理対象ブロックの誤差信号から低周波成分と高周波成分とを生成するためのフィルタバンクを含む。解析部２１６における非冗長的な変換は例えば離散ウェーブレット変換である。ビットストリームＢＳに対応する動画像データの解像度を元の解像度の２^（−ｍ）（ｍは自然数）とする場合、低周波成分は処理対象ブロックの誤差信号をｍ回帯域分割した結果得られるＬＬ成分である。

ウェーブレット変換は、一般には動画像ではなく静止画像の符号化方式において空間スケーラビリティを実現する方法として知られている（例えば、非特許文献２参照）。ＪＰＥＧ２０００を例に、空間スケーラビリティを説明する。ＪＰＥＧ２０００ではウェーブレット（Ｗａｖｅｌｅｔ）と呼ばれる非冗長の変換基底を用いて、高周波成分と低周波成分とに画像が分解される。低周波成分に対しては繰り返し分解が適用される。得られた係数は量子化され、ビットプレーンに変換され、ビットプレーンコーディングとよばれる手順でエントロピー符号化される。低周波成分を構成するストリームのみを復号すれば、低解像度画像が得られる。また、高周波成分まで復号すれば、高解像度画像が得られる。

図３は、処理対象ブロック３１０の誤差信号の離散ウェーブレット変換を説明するための説明図である。解析部２１６における離散ウェーブレット変換では、処理対象ブロック３１０の垂直方向と水平方向に順にローパスフィルタおよびハイパスフィルタをかけて、誤差信号を低周波成分Ｌと高周波成分Ｈとに帯域分割し、ウェーブレット係数を生成する。１回の帯域分割により水平・垂直の低域・高域の組み合わせでＬＬ、ＬＨ、ＨＬ、ＨＨの４つの帯域のウェーブレット係数に分割される。そして水平垂直ともに低域であるＬＬに対しては再帰的に帯域分割が施される。その結果、ウェーブレット係数は周波数領域で階層化される。ＬＬに対して水平方向、垂直方向のそれぞれについて周波数による２分割が行われることにより、ＬＬのなかにさらにＬＬ、ＬＨ、ＨＬ、ＨＨの４つの帯域が生成される。帯域分割した回数はウェーブレット変換における階層数を表す。帯域分割により生じる帯域をｄＸＹと表記する。ｄは階層数であり、Ｘは水平方向の低周波成分Ｌまたは高周波成分Ｈを表し、Ｙは垂直方向の低周波成分Ｌまたは高周波成分Ｈを表す。図３には処理対象ブロック３１０に対して３回の帯域分割が行われた状態が示される。例えば処理対象ブロック３１０のサイズＡを３２（３２×３２）画素とすると、１ＬＨ成分のサイズはＡ／２＝１６（１６×１６）、２ＬＨ成分のサイズはＡ／４＝８（８×８）、３ＬＬ成分のサイズはＡ／８＝４（４×４）となる。なお、本実施の形態ではビットストリームＢＳに対応する動画像データの解像度が元の１／２となる場合（ｍ＝１）を説明するので、帯域分割は１回行われ、その結果得られる１ＬＬ成分が低周波成分として解析部２１６から出力され、１ＬＨ成分、１ＨＬ成分、１ＨＨ成分が高周波成分として解析部２１６から出力される。

図２に戻り、変換・量子化部２１０は、解析部２１６から出力された低周波成分を変換（例えば、直交変換）および量子化し、第１レベル値を生成する。変換・量子化部２１０は、解析部２１６から出力された高周波成分を変換および量子化し、第１レベル値とは別の第２レベル値を生成する。変換・量子化部２１０は、生成された第１レベル値および第２レベル値をエントロピー符号化部２１２および逆量子化・逆変換部２１４に出力する。

エントロピー符号化部２１２は、変換・量子化部２１０によって生成された第１レベル値とサイド情報（不図示）とをエントロピー符号化して、ビットストリームＢＳを生成する。なお、サイド情報は、復号装置において使用する画素値の再構成に必要な情報であり、イントラ予測またはインター予測の何れを使用したかを示す予測モード、動きベクトル、量子化パラメータ、ブロックサイズ等の関連情報を含む。エントロピー符号化部２１２は、変換・量子化部２１０によって生成された第２レベル値をエントロピー符号化して、付随ビットストリームＡＢＳを生成する。ビットストリームＢＳは解像度が４Ｋの低解像度映像に対応し、該ビットストリームＢＳに付随する付随ビットストリームＡＢＳは元の８Ｋの高解像度映像と低解像度映像との差分に対応する。

逆量子化・逆変換部２１４は、変換・量子化部２１０における処理とは逆の処理を行って低周波成分および高周波成分を生成する。逆量子化・逆変換部２１４は、変換・量子化部２１０によって出力された第１レベル値を逆量子化および逆変換して低周波成分を生成する。逆量子化・逆変換部２１４は、変換・量子化部２１０によって出力された第２レベル値を逆量子化および逆変換して高周波成分を生成する。

合成部２１７は、解析部２１６における処理とは逆の処理を行って処理対象ブロックの誤差信号を生成（再生）する。合成部２１７は、逆量子化・逆変換部２１４によって生成された低周波成分と高周波成分とを合成する。合成部２１７は、解析部２１６における非冗長的な変換の逆変換によって低周波成分と高周波成分とから処理対象ブロックの誤差信号を生成するためのフィルタバンクを含む。解析部２１６における非冗長的な変換が離散ウェーブレット変換である場合、合成部２１７においては逆離散ウェーブレット変換が行われる。

加算部２２０は、合成部２１７が出力する誤差信号と、インター予測部２０６またはイントラ予測部２０８が出力する予測ブロックと、を加算して処理対象ブロックを生成し、イントラ予測部２０８と、インループフィルタ２０４に出力する。インループフィルタ２０４は、１つのフレームの総てのブロックを受け取ると、当該フレームに対応する局所復号画像を生成してフレームバッファ２０２に出力する。この局所復号画像は、インター予測部２０６におけるフレーム間予測に使用される。

符号化制御部２０３は、変換・量子化部２１０に用意された最小変換ブロックサイズを満たすようにブロック分割部２２２を制御する。符号化制御部２０３は、解析部２１６から出力される低周波成分のサイズが、変換ブロック（Ｔｒａｎｓｆｏｒｍｂｌｏｃｋ）の最小サイズ（４×４）を下回らないように、ブロック分割部２２２におけるブロック分割を制御する。解析部２１６において処理対象ブロックは１回帯域分割されるので、処理対象ブロックのサイズが最小サイズであると、帯域分割された後の低周波成分のサイズは最小サイズを下回ることとなる。したがって、符号化制御部２０３は、ブロック分割部２２２における最小サイズの変換ブロックの生成を制限または禁止する。その結果、解析部２１６に入力される処理対象ブロックのサイズは８×８以上となり、最小サイズ（４×４）のブロックは含まれない。

図４は、ビットストリームＢＳおよび付随ビットストリームＡＢＳの構造の一例を示す模式図である。付随ビットストリームＡＢＳはビットストリームＢＳに付随する。付随ビットストリームＡＢＳは、付随ビットストリームＡＢＳを識別するためのヘッダ３０２を有してもよい。動画像符号化装置１１０は、ビットストリームＢＳと付随ビットストリームＡＢＳとを合わせてひとつのビットストリームとして出力してもよい。

図５は、図１の動画像復号装置１０２の機能および構成を示すブロック図である。ここに示す各ブロックは、ハードウエア的には、コンピュータのＣＰＵをはじめとする素子や機械装置で実現でき、ソフトウエア的にはコンピュータプログラム等によって実現されるが、ここでは、それらの連携によって実現される機能ブロックを描いている。したがって、これらの機能ブロックはハードウエア、ソフトウエアの組合せによっていろいろなかたちで実現できることは、本明細書に触れた当業者には理解される。動画像復号装置１０２を実現するコンピュータプログラムは、コンピュータが読み取り可能な記録媒体に記憶されて、又は、ネットワーク経由で配布が可能なものであってもよい。

動画像復号装置１０２は、エントロピー復号部６０２と、合成部６０３と、逆量子化・逆変換部６０４と、解像度制御部６０５と、加算部６０６と、選択部６０７と、インター予測部６０８と、イントラ予測部６１０と、フレームバッファ６１２と、インループフィルタ６１４と、を備える。動画像復号装置１０２は、動画像符号化装置１１０で行われる手順と逆の手順により、ビットストリームＢＳまたはビットストリームＢＳと付随ビットストリームＡＢＳとの組み合わせから出力動画像データを得る。

エントロピー復号部６０２は、ネットワーク１０６を介して配信システム１００からビットストリームＢＳおよび付随ビットストリームＡＢＳを受信する。エントロピー復号部６０２は、受信したビットストリームＢＳをエントロピー復号し、第１レベル値とサイド情報とを生成する。なお、ビットストリームＢＳからサイド情報および第１レベル値を得る処理はパース（ｐａｒｓｅ）処理と称される。このようにして得られたサイド情報および第１レベル値を用いて画素値を再構成することは、復号処理と称される。エントロピー復号部６０２は、受信した付随ビットストリームＡＢＳをエントロピー復号し、第２レベル値を生成する。

逆量子化・逆変換部６０４は、エントロピー復号部６０２によって生成された第１レベル値をブロックごとに逆量子化および逆変換して低周波成分を生成する。逆量子化・逆変換部６０４は、エントロピー復号部６０２によって生成された第２レベル値をブロックごとに逆量子化および逆変換して高周波成分を生成する。逆量子化・逆変換部６０４はブロックごとに、生成された低周波成分を合成部６０３および選択部６０７に出力し、生成された高周波成分を合成部６０３に出力する。上述の通り、低周波成分は４Ｋの動画像データに対応する。

合成部６０３は、逆量子化・逆変換部６０４によって生成された低周波成分と高周波成分とをブロックごとに合成する。合成部６０３は、解析部２１６における非冗長的な変換の逆変換によって低周波成分と高周波成分とから誤差信号のブロックを生成するためのフィルタバンクを含む。このようにして生成された誤差信号のブロックは８Ｋの動画像データのブロックである。解析部２１６における非冗長的な変換が離散ウェーブレット変換である場合、合成部６０３においては逆離散ウェーブレット変換が行われる。動画像符号化装置１１０の符号化制御部２０３の作用により、合成部６０３によって生成される誤差信号のブロックのサイズは８×８以上となり、最小サイズ（４×４）のブロックは含まれない。合成部６０３は、生成された誤差信号のブロックを選択部６０７に出力する。

選択部６０７は、逆量子化・逆変換部６０４からのブロック（４Ｋ）および合成部６０３からのブロック（８Ｋ）のうちからひとつを選択し、選択されたブロックを加算部６０６に出力する。

解像度制御部６０５は選択部６０７を制御する。解像度制御部６０５は、指定された解像度（４Ｋまたは８Ｋ）の動画像データのブロックが選択部６０７から出力されるよう、選択部６０７を制御する。例えば、解像度制御部６０５は指定された解像度が８Ｋであれば選択部６０７に合成部６０３からのブロックを選択させ、指定された解像度が４Ｋであれば逆量子化・逆変換部６０４からのブロックを選択させる。その結果、選択部６０７は、８Ｋ、４Ｋのうち低い方の４Ｋの解像度を所望するというリクエストがユーザからあったときには、逆量子化・逆変換部６０４からのブロック（４Ｋ）を選択し、元の解像度（８Ｋ）を所望するというリクエストがユーザからあったときには、合成部６０３からのブロック（８Ｋ）を選択する。

加算部６０６は、選択部６０７から出力されたブロックがイントラ予測されたものであるかインター予測されたものであるかに応じて、インター予測部６０８またはイントラ予測部６１０のいずれか一方が出力する当該ブロックの予測画像と当該ブロックの誤差信号とを加算し、当該ブロックを再生する。加算部６０６は、再生されたブロックをイントラ予測部６１０とインループフィルタ６１４とに出力する。選択部６０７が逆量子化・逆変換部６０４からのブロック（４Ｋ）を選択する場合、加算部６０６は、逆量子化・逆変換部６０４からのブロック（４Ｋ）と予測画像の対応するブロックとから、元の解像度（８Ｋ）よりも低い解像度（４Ｋ）の低解像度画像のブロックを生成する。選択部６０７が合成部６０３からのブロック（８Ｋ）を選択する場合、加算部６０６は、合成部６０３からのブロック（８Ｋ）と予測画像の対応するブロックとから、８Ｋ画像のブロックを生成する。

イントラ予測部６１０は再生されたブロックを使用してフレーム内予測を行いイントラ予測画像を生成する。インループフィルタ６１４は例えばデブロックフィルタである。インループフィルタ６１４は、１つのフレームの総てのブロックを受け取ると、当該フレームに対応する局所復号画像を生成してフレームバッファ６１２に出力する。この局所復号画像は、インター予測部６０８におけるフレーム間予測に使用されると同時に、出力動画像データとして表示装置１０４に出力される。

以上の構成による動画像符号化装置１１０および動画像復号装置１０２の動作を説明する。
図６は、符号化側および復号側における一連の処理のイメージを示す説明図である。符号化側において、処理対象の８Ｋ画像と予測画像との誤差信号のブロック６２０（１６×１６）が減算部２１８から解析部２１６に入力される。解析部２１６においてブロック６２０に対して離散ウェーブレット変換（ＤｉｓｃｒｅｔｅＷａｖｅｌｅｔＴｒａｎｓｆｏｒｍ、ＤＷＴ）が行われ、１回帯域分割される。その結果、ブロック６２０は１ＬＬ成分と１ＬＨ成分と１ＨＬ成分と１ＨＨ成分とに分割される。変換・量子化部２１０およびエントロピー符号化部２１２において１ＬＬ成分は変換、量子化、符号化され、ビットストリームＢＳに含められて復号側に送信される。変換・量子化部２１０およびエントロピー符号化部２１２において１ＨＬ成分、１ＬＨ成分、１ＨＨ成分は変換、量子化、符号化され、付随ビットストリームＡＢＳに含められて復号側に送信される。

復号側において、ビットストリームＢＳおよび付随ビットストリームＡＢＳが受信される。エントロピー復号部６０２および逆量子化・逆変換部６０４において、ビットストリームＢＳは復号、逆量子化、逆変換され、１ＬＬ成分が再生される。エントロピー復号部６０２および逆量子化・逆変換部６０４において、付随ビットストリームＡＢＳは復号、逆量子化、逆変換され、１ＬＨ成分、１ＨＬ成分、１ＨＨ成分が再生される。解像度として４Ｋが指定される場合、再生された１ＬＬ成分は４Ｋ画像の誤差信号のブロックとして使用される。

合成部６０３において、再生された１ＬＬ成分と、再生された１ＬＨ成分、１ＨＬ成分、１ＨＨ成分とが合成され、逆離散ウェーブレット変換（ＩｎｖｅｒｓｅＤＷＴ、ＩＤＷＴ）により元の誤差信号のブロック６２０が再生される。解像度として８Ｋが指定される場合、このようにして再生されたブロック６２０が使用される。

図７は、動画像符号化装置１１０における一連の処理を示すフローチャートである。動画像符号化装置１１０は、符号化対象の画像を取得する（Ｓ７０２）。動画像符号化装置１１０は、取得された符号化対象の画像を複数のブロックへ分割する（Ｓ７０４）。動画像符号化装置１１０は、分割されたブロック単位で、符号化対象の画像と予測画像との差分を演算し、誤差信号を生成する（Ｓ７０６）。動画像符号化装置１１０は、ブロック単位で、誤差信号を低周波成分と高周波成分とに分解する（Ｓ７０８）。動画像符号化装置１１０は、低周波、高周波の各成分を直交変換した上で所定の量子化パラメータに基づき量子化する（Ｓ７１０）。動画像符号化装置１１０は、量子化の結果得られる低周波成分由来の第１レベル値および高周波成分由来の第２レベル値をそれぞれエントロピー符号化し、ビットストリームＢＳおよび付随ビットストリームＡＢＳを生成する（Ｓ７１２）。動画像符号化装置１１０は、生成されたビットストリームＢＳおよび付随ビットストリームＡＢＳを出力する（Ｓ７１４）。

図８は、動画像復号装置１０２における一連の処理を示すフローチャートである。動画像復号装置１０２は、ネットワーク１０６を介してビットストリームＢＳおよび付随ビットストリームＡＢＳを受信する（Ｓ８０２）。動画像復号装置１０２は、ビットストリームＢＳをエントロピー復号し、第１レベル値を生成すると共に、付随ビットストリームＡＢＳをエントロピー復号し、第２レベル値を生成する（Ｓ８０４）。動画像復号装置１０２は、第１レベル値および第２レベル値を逆量子化および逆変換し、低周波成分および高周波成分を生成する（Ｓ８０６）。指定された解像度が８Ｋの場合（Ｓ８０８の「８Ｋ」）、動画像復号装置１０２は低周波成分と高周波成分とを合成し、誤差信号の合成ブロックを生成する（Ｓ８１０）。動画像復号装置１０２は、合成ブロックと予測画像の対応するブロックとを加算する（Ｓ８１２）。動画像復号装置１０２は、加算結果を集めて８Ｋ画像を再生する（Ｓ８１６）。指定された解像度が４Ｋの場合（Ｓ８０８の「４Ｋ」）、動画像復号装置１０２は低周波成分からなるブロックと予測画像の対応するブロックとを加算する（Ｓ８１４）。動画像復号装置１０２は、加算結果を集めて４Ｋ画像を再生する（Ｓ８１６）。

本実施の形態に係る配信システム１００によると、信号処理における処理量を削減したスケーラブル符号化・復号方式が実現可能となる。例えば、符号化側では、符号化ループ内に配置された解析部２１６の作用により、復号により４Ｋ映像を再生可能なビットストリームＢＳと、８Ｋ映像を再生するためにビットストリームＢＳと合わせて使用される付随ビットストリームＡＢＳと、が生成される。これにより、８Ｋ映像、４Ｋ映像のそれぞれについて別々に符号化ループを設ける必要がなくなる。復号側では、復号ループ内に配置された合成部６０３の作用により、ビットストリームＢＳを使用した４Ｋ映像の復号も、ビットストリームＢＳおよび付随ビットストリームＡＢＳを使用した８Ｋ映像の復号も、ひとつの復号ループにて実現される。これにより、８Ｋ映像、４Ｋ映像のそれぞれについて別々に復号ループを設ける必要がなくなる。

比較例を参照することで本実施の形態の作用効果を説明する。比較例は、スケーラブル符号化方式（例えば、非特許文献１参照）に関する。これはベースレイヤと呼ばれる基本映像と、基本映像にエンハンスメントレイヤと呼ばれる拡張部分を追加して様々な要素が拡張された拡張映像とを符号化・復号する手法である。様々な要素としては、フレームレート、解像度、ビット深度、色域などがある。比較例は特に解像度のスケーラビリティである空間スケーラビリティに関する。

図９は、比較例に係るスケーラブル符号化装置１３０の機能および構成を示すブロック図である。ダウンサンプリング部１３２は入力画像を入力とし、解像度を１／２にした画像を出力する。１／２解像度の映像は、通常の符号化装置と同様に符号化される。レイヤ間参照画像生成部１３４は、復号された画像を入力とし、２倍に拡大した画像をフレームバッファ１３６に出力する。この結果、エンハンスメントレイヤの符号化における参照画像として、ベースレイヤの画像を利用することができ、それぞれ個別にエンコードするよりも、符号化効率が改善する。

図１０は、比較例に係るスケーラブル復号装置１４０の機能および構成を示すブロック図である。ベースレイヤのみを復号する場合には、既存の復号装置と同じである。一方、エンハンスメントレイヤまで復号するときには、エンハンスメントレイヤの参照画像バッファ１４２に、レイヤ間予測画像を追加する。

図９および図１０に示される回路構成からも明らかな通り、比較例に係るスケーラブル符号化・復号方式では、複数の符号化ループ／復号ループ（例えば、低解像度用と高解像度用）が必要である。したがって、信号処理に必要なメモリ帯域や処理量が全レイヤの画素数の合計に比例して増大する。これに対して本実施の形態に係る方式では、符号化ループに解析部を、復号ループに合成部を、それぞれ設けることで、高解像度映像と低解像度映像のどちらも単一ループの装置で符号化・復号可能となり、メモリ帯域や処理量を低減することができる。また、消費電力も低減できる。

上述の実施の形態において、データベースの例は、ハードディスクや半導体メモリである。また、本明細書の記載に基づき、各部を、図示しないＣＰＵや、インストールされたアプリケーションプログラムのモジュールや、システムプログラムのモジュールや、ハードディスクから読み出したデータの内容を一時的に記憶する半導体メモリなどにより実現できることは本明細書に触れた当業者には理解される。

以上、実施の形態に係る配信システム１００の構成と動作について説明した。この実施の形態は例示であり、各構成要素や各処理の組み合わせにいろいろな変形例が可能なこと、またそうした変形例も本発明の範囲にあることは当業者に理解される。

実施の形態では、符号化側で付随ビットストリームＡＢＳが生成され、該付随ビットストリームＡＢＳがネットワーク１０６を介して復号側に伝送される場合について説明したが、これに限られない。例えば、配信システム１００は復号側から所望の解像度の指定をネットワーク１０６を介して受け付け、指定された解像度が低い（４Ｋ）場合には付随ビットストリームＡＢＳを送信しなくてもよい。この場合、動画像復号装置１０２はビットストリームＢＳのみを受信するので、合成部６０３における合成処理が回避される。

１００配信システム、１０２動画像復号装置、１１０動画像符号化装置。

Claims

画像と予測画像との誤差信号のブロックを非冗長的に周波数成分へ変換した結果得られる低周波成分および高周波成分のうちの前記低周波成分に対応するビットストリームをエントロピー復号する復号部と、
前記復号部におけるエントロピー復号の結果得られるレベル値を逆量子化および逆変換して前記低周波成分を生成する逆量子化・逆変換部と、
前記逆量子化・逆変換部によって生成された前記低周波成分のブロックと予測画像の対応するブロックとから、前記画像の解像度よりも低い解像度の低解像度画像のブロックを生成する加算部と、を備える動画像復号装置であって、
前記復号部は、前記高周波成分に対応する付随ビットストリームをエントロピー復号し、
前記逆量子化・逆変換部は、前記復号部における前記付随ビットストリームのエントロピー復号の結果得られる別のレベル値を逆量子化および逆変換して前記高周波成分を生成し、
前記動画像復号装置はさらに、
前記逆量子化・逆変換部によって生成された前記低周波成分と前記高周波成分とを合成する合成部を備えることを特徴とする動画像復号装置。
前記合成部は、前記非冗長的な変換の逆変換によって前記低周波成分と前記高周波成分とから前記誤差信号のブロックを生成するためのフィルタバンクを含むことを特徴とする請求項１に記載の動画像復号装置。
前記合成部によって生成される前記誤差信号のブロックは、最小サイズのブロックを含まないことを特徴とする請求項２に記載の動画像復号装置。
前記低解像度画像の解像度は前記画像の解像度を２のｎ乗（ｎは自然数）で除して得られる解像度であり、
前記非冗長的な変換はウェーブレット変換であり、前記低周波成分は前記誤差信号のブロックをｎ回帯域分割した結果得られるＬＬ成分であることを特徴とする請求項１から３のいずれか１項に記載の動画像復号装置。
画像と予測画像との誤差信号のブロックを非冗長的に周波数成分へ変換した結果得られる低周波成分および高周波成分のうちの前記低周波成分に対応するビットストリームをエントロピー復号する復号ステップと、
前記エントロピー復号の結果得られるレベル値を逆量子化および逆変換して前記低周波成分を生成する逆量子化・逆変換ステップと、
生成された前記低周波成分のブロックと予測画像の対応するブロックとから、前記画像の解像度よりも低い解像度の低解像度画像のブロックを生成する加算ステップと、を含む動画像復号方法であって、
前記復号ステップは、前記高周波成分に対応する付随ビットストリームをエントロピー復号し、
前記逆量子化・逆変換ステップは、前記復号ステップにおける前記付随ビットストリームのエントロピー復号の結果得られる別のレベル値を逆量子化および逆変換して前記高周波成分を生成し、
前記動画像復号方法はさらに、
前記逆量子化・逆変換ステップによって生成された前記低周波成分と前記高周波成分とを合成する合成ステップを含むことを特徴とする動画像復号方法。
請求項１から４のいずれか１項に記載の動画像復号装置としてコンピュータを機能させるプログラムを有することを特徴とするコンピュータ可読記録媒体。
画像と予測画像との誤差信号のブロックを非冗長的に周波数成分へ変換する解析部と、
前記解析部による変換の結果得られる低周波成分および高周波成分のうちの前記低周波成分を変換および量子化し、レベル値を生成する変換・量子化部と、
前記変換・量子化部によって生成されたレベル値をエントロピー符号化してビットストリームを生成する符号化部と、を備える動画像符号化装置であって、
前記変換・量子化部は、前記高周波成分を変換および量子化し、別のレベル値を生成し、
前記符号化部は、前記変換・量子化部によって生成された前記別のレベル値をエントロピー符号化して付随ビットストリームを生成することを特徴とする動画像符号化装置。
前記解析部は、前記誤差信号のブロックから前記低周波成分と前記高周波成分とを生成するためのフィルタバンクを含むことを特徴とする請求項７に記載の動画像符号化装置。
前記解析部に入力される前記誤差信号のブロックは、最小サイズのブロックを含まないことを特徴とする請求項７又は８のいずれか１項に記載の動画像符号化装置。
前記非冗長的な変換はウェーブレット変換であり、前記低周波成分は前記誤差信号のブロックをｎ（ｎは自然数）回帯域分割した結果得られるＬＬ成分であることを特徴とする請求項７から９のいずれか１項に記載の動画像符号化装置。
画像と予測画像との誤差信号のブロックを非冗長的に周波数成分へ変換する解析ステップと、
前記変換の結果得られる低周波成分および高周波成分のうちの前記低周波成分を変換および量子化し、レベル値を生成する変換・量子化ステップと、
生成されたレベル値をエントロピー符号化してビットストリームを生成する符号化ステップと、を含む動画像符号化方法であって、
前記変換・量子化ステップは、前記高周波成分を変換および量子化し、別のレベル値を生成し、
前記符号化ステップは、前記変換・量子化ステップによって生成された前記別のレベル値をエントロピー符号化して付随ビットストリームを生成することを特徴とする動画像符号化方法。
請求項７から１０のいずれか１項に記載の動画像符号化装置としてコンピュータを機能させるプログラムを有することを特徴とするコンピュータ可読記録媒体。