JP2007174568A - 符号化方法 - Google Patents

Abstract

【課題】動画像をインタラクティブＲＯＩ符号化すると符号量が増え、符号化効率が低下する。
【解決手段】ＲＯＩ設定部１４は、動画フレーム上にインタラクティブＲＯＩ領域を設定する。画像分割部１０は、動画フレームの全体領域をインタラクティブＲＯＩ領域とそれ以外の非ＲＯＩ領域とに分割する。画像縮小部１２は、インタラクティブＲＯＩ領域および非ＲＯＩ領域を縮小して低解像度画像に変換し、基本レイヤ処理ブロック１２０に与える。基本レイヤ処理ブロック１２０および拡張レイヤ処理ブロック１１０は、それぞれ低解像度、高解像度のインタラクティブＲＯＩ領域をスライス単位で独立に符号化し、空間スケーラビリティをもつ階層的な符号化データを生成する。一方、非ＲＯＩ領域は、基本レイヤ処理ブロック１２０のみにより符号化され、空間スケーラビリティをもたない符号化データが生成される。
【選択図】図１

Description

本発明は、動画像を符号化する符号化方法に関する。

ブロードバンドネットワークが急速に発展しており、高品質な動画像を利用したサービスに期待が集まっている。また、ＤＶＤなど大容量の記録媒体が利用されており、高画質の画像を楽しむユーザ層が広がっている。動画像を通信回線で伝送したり、記録媒体に蓄積するために不可欠な技術として圧縮符号化がある。動画像圧縮符号化技術の国際標準として、ＭＰＥＧ４の規格やＨ．２６４／ＡＶＣ規格がある。また、１つのストリームで、符号量に応じて、異なる画質（たとえば高画質と低画質）、異なる解像度（たとえば高解像度と低解像度）、異なるフレームレート（たとえば高フレームレートと低フレームレート）の画像の圧縮および伸長を実現することのできる、Ｈ．２６４／ＡＶＣの拡張として規格化が進められているＳＶＣ（Scalable Video Coding）のような次世代画像圧縮技術がある。

次世代画像圧縮技術であるＳＶＣでは、動画像を複数の異なる解像度、フレームレート、画質で再生することができるように、空間スケーラビリティ、時間スケーラビリティ、ＳＮＲスケーラビリティなどの各種スケーラビリティをもたせて動画像を符号化する。これらのスケーラビリティを任意に組み合わせて符号化することも可能であり、ＳＶＣのスケーラビリティ機能は柔軟性に富んでいる。

ＳＶＣの要求仕様（Requirements）の１つにインタラクティブＲＯＩ（Interactive Region of Interest;ＩＲＯＩ）符号化がある。画像の注目領域（Region of Interest;ＲＯＩ）を他の領域とは異なる画質で符号化する技術としてＲＯＩ符号化がある。これに対して、ＳＶＣのインタラクティブＲＯＩ符号化は、動画像の再生時にユーザが画像を見ながら画面上で注目領域の位置やサイズを逐次指定可能であり、注目領域を異なる品質で再生することを可能にするものである。ＳＶＣでは動画像を各種のスケーラビリティをもたせて符号化するため、再生時にユーザが指定した注目領域を他の領域とは異なる品質で復号することが可能である。

特許文献１には、エラー耐性を高めるために、映像の符号化に利用されるスライス構造を利用して映像の一部を重複して符号化および復号する方法と装置が開示されている。
特開２００４−２３６３３７号公報

ＳＶＣがＨ．２６４／ＡＶＣの拡張であることから、Ｈ．２６４／ＡＶＣと両立するインタラクティブＲＯＩ符号化では、動画像再生の際にユーザがどの領域を注目領域として指定するかがわからないため、動画像を構成する各ピクチャにおいて、あらかじめピクチャの全領域にスケーラビリティをもたせて符号化しておく必要があり、動画像の符号量が非常に大きくなり、符号化効率が著しく低下するという問題がある。

本発明はこうした状況に鑑みてなされたもので、その目的は、符号化効率が高いインタラクティブＲＯＩ符号化が可能な動画像の符号化技術を提供することにある。

上記課題を解決するために、本発明のある態様の符号化方法は、動画像を構成するピクチャを、スケーラビリティをもたせて符号化される領域とスケーラビリティをもたせないで符号化される領域とに分け、前記スケーラビリティをもたせて符号化される領域を特定する情報を前記動画像の符号化データに含める。

「ピクチャ」は、フレーム、フィールド、ＶＯＰ（Video Object Plane）などを含む符号化の単位である。

スケーラビリティをもたせて符号化することは、たとえば空間解像度、フレームレートおよび画質レベルなどの動画像の再生品質を異ならせて符号化し、複数の再生品質レベルの符号化データを生成すること（「スケーラブル復号」という）を含み、このようにしてスケーラブル符号化された動画像は、任意の再生品質レベルを選択して復号する（スケーラブル復号という）ことができるというスケーラビリティをもつ。空間解像度を異ならせて符号化された動画像は、空間スケーラビリティを有し、フレームレートを異ならせて符号化された動画像は、時間スケーラビリティを有し、画質レベルを異ならせて符号化された動画像は、ＳＮＲスケーラビリティを有する。

複数の再生品質レベルの符号化データを階層構造をもたせて多重化してもよく、たとえば下位層の符号化データだけを復号すると、低い再生品質レベルで動画像が再生され、上位層の符号化データを含めて復号すると、高い再生品質レベルで動画像が再生されるように、階層化された符号化データを構成してもよい。

この態様によると、画像の全体領域の一部だけがスケーラブル符号化されるため、動画像の符号量を少なくすることができる。また、スケーラブル符号化された領域を特定する情報が符号化データに含まれるため、復号時に画像内のスケーラブル符号化された領域を識別することができ、識別された領域について、スケーラビリティ機能を利用してスケーラブル復号が可能となる。

前記スケーラビリティをもたせて符号化される領域は、前記動画像の復号の際に当該領域内で部分的な領域を指定してスケーラビリティを利用した画像の再生が可能なように複数の小領域に分割されていてもよく、前記複数の小領域の分割単位を特定する情報を前記動画像の符号化データに含めてもよい。

これによれば、スケーラブル符号化された領域が小領域に分割されており、スケーラブル符号化された領域内で小領域単位で任意に部分的な領域を指定し、その指定した部分領域をスケーラビリティ機能を利用して任意の再生品質レベルで再生することができる。各小領域は他の小領域には依存することなく符号化がなされてもよい。小領域単位で他の小領域を復号することなく、独立してスケーラブル復号が可能となる。

なお、以上の構成要素の任意の組み合わせ、本発明の表現を方法、装置、システム、記録媒体、コンピュータプログラムなどの間で変換したものもまた、本発明の態様として有効である。

本発明によれば、インタラクティブＲＯＩ符号化において動画像の符号化効率を向上することができる。

図１は、実施の形態に係る符号化装置１００の構成図である。これらの構成は、ハードウエア的には、任意のコンピュータのＣＰＵ、メモリ、その他のＬＳＩで実現でき、ソフトウエア的にはメモリにロードされた画像符号化機能のあるプログラムなどによって実現されるが、ここではそれらの連携によって実現される機能ブロックを描いている。したがって、これらの機能ブロックがハードウエアのみ、ソフトウエアのみ、またはそれらの組み合わせによっていろいろな形で実現できることは、当業者には理解されるところである。

本実施の形態の符号化装置１００は、次世代画像圧縮技術であるＳＶＣ（Scalable Video Coding）に準拠して、動画像に空間（spatial）スケーラビリティ、時間（temporal）スケーラビリティ、およびＳＮＲ（signal to noise ratio）スケーラビリティの少なくとも１つをもたせて符号化する「スケーラブル符号化」を行う。

動画像の符号化には、国際標準化機関であるＩＳＯ（International Organization for Standardization）／ＩＥＣ（International Electrotechnical Commission）によって標準化されたＭＰＥＧ（Moving Picture Experts Group）シリーズの規格（ＭＰＥＧ−１、ＭＰＥＧ−２およびＭＰＥＧ−４）、電気通信に関する国際標準機関であるＩＴＵ−Ｔ（International Telecommunication Union-Telecommunication Standardization Sector）によって標準化されたＨ．２６ｘシリーズの規格（Ｈ．２６１、Ｈ．２６２およびＨ．２６３）、もしくは両方の標準化機関によって合同で標準化された最新の動画像圧縮符号化標準規格であるＨ．２６４／ＡＶＣ（両機関における正式勧告名はそれぞれMPEG-4 Part 10: Advanced Video CodingとH.264）に準拠する技術が用いられる。

なお、実施の形態では、動画像の符号化の単位としてフレームを例に挙げて説明するが、符号化の単位はフィールドであってもよい。また、符号化の単位はＭＰＥＧ−４におけるＶＯＰであってもよい。

符号化装置１００は、フレーム単位で動画像の入力を受け取り、動画像をスケーラブル符号化し、動画像の符号化ストリームを出力する。入力された動画フレームはフレームメモリに格納され、符号化に係る各処理部によって読み書きされる。

符号化装置１００は、空間スケーラビリティをもたせて動画像を符号化するために拡張レイヤ処理ブロック１１０と基本レイヤ処理ブロック１２０を有し、基本レイヤ処理ブロック１２０において低解像度で動画像を圧縮符号化し、拡張レイヤ処理ブロック１１０において高解像度で動画像を圧縮符号化する。これにより、階層毎に空間解像度の異なる動画像の符号化データが生成される。

また、符号化装置１００は、時間スケーラビリティをもたせて動画像を符号化するために、ＭＣＴＦ（Motion Compensated Temporal Filtering、動き補償時間方向フィルタ）技術を用いる。ＭＣＴＦ技術は、時間軸方向のサブバンド分割に動き補償を組み合わせたものであり、階層的な動き補償を行う。これにより、階層毎にフレームレートが異なる動画像の符号化データが生成される。

また、符号化装置１００は、ＳＮＲスケーラビリティをもたせて動画像を符号化するために、量子化ステップや量子化により切り捨てる下位ビット数を変えて動画像を圧縮符号化する。これにより、階層毎に画質の異なる動画像の符号化データが生成される。

なお、空間スケーラビリティ、時間スケーラビリティ、およびＳＮＲスケーラビリティは任意に組み合わせてよい。

ＲＯＩ設定部１４は、動画フレーム上にインタラクティブＲＯＩ領域を設定する。インタラクティブＲＯＩ領域内では動画像の再生の際に任意にＲＯＩ領域を設定可能である。

ＲＯＩ設定部１４は、インタラクティブＲＯＩ領域以外に、インタラクティブでない通常のＲＯＩ領域を設定することもできる。以下、インタラクティブＲＯＩ領域と通常ＲＯＩ領域を総称する場合、単にＲＯＩ領域と呼ぶ。

ＲＯＩ設定部１４は、ＲＯＩ領域を指定するための情報（以下、「ＲＯＩ領域情報」という）を画像分割部１０、拡張レイヤ処理ブロック１１０の可変長符号化部３０ａ、および基本レイヤ処理ブロック１２０の可変長符号化部３０ｂに与える。

画像分割部１０は、ＲＯＩ設定部１４から与えられたＲＯＩ領域情報にしたがって、入力されたフレームの領域を分割する。ＲＯＩ設定部１４により、ＲＯＩ領域としてインタラクティブＲＯＩ領域のみが設定されている場合は、画像の全体領域は、インタラクティブＲＯＩ領域と、それ以外の領域（以下、「非ＲＯＩ領域」という）とに分割される。ＲＯＩ設定部１４により、ＲＯＩ領域としてインタラクティブＲＯＩ領域と通常ＲＯＩ領域の両方が設定されている場合は、画像の全体領域は、インタラクティブＲＯＩ領域、通常ＲＯＩ領域、および非ＲＯＩ領域に分割される。

画像分割部１０は、分割された各領域の画像データを画像縮小部１２に与える。画像縮小部１２は、分割された各領域の画像データを縮小し、縮小された各領域の画像データを基本レイヤ処理ブロック１２０に与える。

基本レイヤ処理ブロック１２０は、画像縮小部１２により低解像度に変換された各領域の画像データを圧縮符号化して多重化部１８に出力する。基本レイヤ処理ブロック１２０に入力される各領域の画像データがインタラクティブＲＯＩ領域、通常ＲＯＩ領域、非ＲＯＩ領域のいずれであるかによって、基本レイヤ処理ブロック１２０における符号化処理は異なる。

基本レイヤ処理ブロック１２０は、通常ＲＯＩ領域を非ＲＯＩ領域とは異なる空間解像度、フレームレートまたは画質レベル、あるいはこれらの組み合わせで符号化する。たとえば、通常ＲＯＩ領域を非ＲＯＩ領域よりも高画質で符号化する場合、通常ＲＯＩ領域については、量子化の際に、異なる量子化テーブルを用いて、適用される量子化ステップを小さくしたり、量子化により切り捨てる下位ビット数を減らすなどにより、有効ビット数を多めに確保することで非ＲＯＩ領域よりも高画質で符号化する。

通常ＲＯＩ領域については、スケーラブル符号化により複数の異なる空間解像度、フレームレートまたは画質レベル、あるいはこれらの組み合わせをもたせてもよく、スケーラブル符号化を行わずに１つの空間解像度、フレームレートまたは画質レベル、あるいはこれらの組み合わせをもたせるだけにしてもよい。

通常ＲＯＩ領域についてスケーラブル符号化を行わない場合は、基本レイヤ処理ブロック１２０において時間スケーラブル符号化に関係するＭＣＴＦ部２０ｂは動作せず、また、拡張レイヤ処理ブロック１１０を用いた空間スケーラブル符号化も行われないが、通常ＲＯＩ領域についてスケーラブル符号化を行う場合は、基本レイヤ処理ブロック１２０のＭＣＴＦ部２０ｂにより時間スケーラブル符号化が行われたり、拡張レイヤ処理ブロック１１０により空間スケーラブル符号化が行われたりする。以下では、簡単のため、通常ＲＯＩ領域についてはスケーラブル符号化が行われないとして各構成の動作を説明している。

非ＲＯＩ領域についてはスケーラブル符号化を行わないため、基本レイヤ処理ブロック１２０において時間スケーラブル符号化に関係するＭＣＴＦ部２０ｂは動作せず、また、拡張レイヤ処理ブロック１１０を用いた空間スケーラブル符号化も行われない。

インタラクティブＲＯＩ領域について、時間スケーラブル符号化を行う場合は、基本レイヤ処理ブロック１２０においてＭＣＴＦ部２０ｂが動作し、階層毎にフレームレートを異ならせた符号化が行われる。また、インタラクティブＲＯＩ領域について、空間スケーラビリティ符号化を行う場合は、基本レイヤ処理ブロック１２０の他に拡張レイヤ処理ブロック１１０が動作し、階層毎に空間解像度を異ならせた符号化が行われる。また、インタラクティブＲＯＩ領域について、ＳＮＲスケーラブル符号化を行う場合は、量子化ステップや量子化により切り捨てる下位ビット数を変えることにより、階層毎に画質を異ならせた符号化が行われる。

空間スケーラブル符号化を実行するために、画像分割部１０は、インタラクティブＲＯＩ領域の画像データを解像度を落とすことなく、拡張レイヤ処理ブロック１１０に与える。拡張レイヤ処理ブロック１１０は、インタラクティブＲＯＩ領域の高解像度の画像データを圧縮符号化して多重化部１８に出力する。

基本レイヤ処理ブロック１２０の各構成を説明する。基本レイヤ処理ブロック１２０は、入力される画像の領域がインタラクティブＲＯＩ領域である場合、インタラクティブＲＯＩ領域を複数の小領域に分割し、小領域毎に独立した符号化を行う。小領域の一例として、スライスを用いる。スライスは、Ｈ．２６４／ＡＶＣにおける符号化の基本単位であり、１フレームを複数のスライスに分割してスライス単位で符号化することが可能である。

基本レイヤ処理ブロック１２０は、インタラクティブＲＯＩ領域の場合はスライスに分け、各スライスを他のスライスに依存することなく独立に符号化する。すなわち、各スライスは、他のスライスの画素データや動きベクトル情報を利用することなく、符号化対象スライス内に閉じた情報のみを利用して符号化される。インタラクティブＲＯＩ領域をスライス単位で独立に符号化するのは、インタラクティブＲＯＩ領域内でスライス単位で部分的な領域をＲＯＩ領域として指定して復号することを可能とするためである。

基本レイヤ処理ブロック１２０は、通常ＲＯＩ領域、非ＲＯＩ領域の場合は、インタラクティブＲＯＩ領域のように注目領域の位置やサイズの任意指定が可能なインタラクティブ性をもたせる必要はないため、基本的にはスライスに分割することなく、通常ＲＯＩ領域、非ＲＯＩ領域の全体を１つとして扱って符号化する。もっともインタラクティブ性以外の目的で必要に応じて通常ＲＯＩ領域、非ＲＯＩ領域についてもスライスに分割して符号化することはかまわない。

インタラクティブＲＯＩ領域を時間スケーラブル符号化する場合は、ＭＣＴＦ部２０ｂが動作する。ＭＣＴＦ部２０ｂは、ＭＣＴＦ技術にしたがった動き補償時間フィルタリングを実施する。ＭＣＴＦ部２０ｂは、動画像フレームから動きベクトルを求め、動きベクトルを用いて時間フィルタリングを実施する。時間フィルタリングは、ハール（Haar）ウェーブレット変換を用いて実施され、この結果、各階層に高域フレームと低域フレームとを含むフレームレートの異なる複数の階層に分解される。分解された高域フレームと低域フレームは階層毎にメモリに保持され、動きベクトルも階層毎にメモリに保持される。

ＭＣＴＦ部２０ｂにおける処理が終了すると、すべての階層の高域フレームと最終的な階層の低域フレームは、予測部２４ｂに送られ、すべての階層の動きベクトルは、動き符号化部２２ｂに送られる。

予測部２４ｂは、画像フレームのフレーム内予測を行い、フレーム内予測誤差画像をＤＣＴ部２６ｂに与える。ＤＣＴ部２６ｂは、予測部２４ｂから供給されたフレーム内予測誤差画像を離散コサイン変換（ＤＣＴ）し、得られたＤＣＴ係数を量子化部２８ｂに与える。量子化部２８ｂは、ＤＣＴ係数を量子化し、可変長符号化部３０ｂに与える。

可変長符号化部３０ｂは、ＲＯＩ設定部１４からＲＯＩ領域情報を受け取り、量子化部２８ｂから差分画像の量子化されたＤＣＴ係数を受け取り、ＲＯＩ領域情報とＤＣＴ係数を可変長符号化し、多重化部１８に与える。

インタラクティブＲＯＩ領域をＳＮＲスケーラブル符号化を行う場合は、複数のビットプレーンの内、切り捨てる下位ビットプレーンの数を変えたり、量子化ステップを変えることで、階層毎に異なる画質の符号化データを生成する。

動き符号化部２２ｂは、ＭＣＴＦ部２０ｂから与えられた動きベクトル情報を符号化し、多重化部１８に与える。

インタラクティブＲＯＩ領域について空間スケーラブル符号化を行うために、基本レイヤ処理ブロック１２０の動き符号化部２２ｂおよび予測部２４ｂは、それぞれ基本レイヤにおける各フレームの動きベクトルとフレーム内予測誤差画像を拡張レイヤ処理ブロック１１０の動き符号化部２２ａおよび内挿処理部３２に与える。

次に、拡張レイヤ処理ブロック１１０の各構成を説明する。拡張レイヤ処理ブロック１１０は、画像分割部１０からインタラクティブＲＯＩ領域の画像データを受け取り、符号化する。拡張レイヤ処理ブロック１１０が符号化するインタラクティブＲＯＩ領域の画像データは、画像縮小部１２によって縮小されていない高解像度画像である。

拡張レイヤ処理ブロック１１０のＭＣＴＦ部２０ａは、基本レイヤ処理ブロック１２０のＭＣＴＦ部２０ｂと同じ動き補償時間フィルタリングを高解像度のインタラクティブＲＯＩ領域の画像データに施し、動きベクトル情報を動き符号化部２２ａに、符号化データを予測部２４ａに与える。拡張レイヤ処理ブロック１１０においても、インタラクティブＲＯＩ領域は複数のスライスに分割されてスライス毎に独立して符号化が行われる。

拡張レイヤ処理ブロック１１０の動き符号化部２２ａは、基本レイヤ処理ブロック１２０の動き符号化部２２ｂから基本レイヤのインタラクティブＲＯＩ領域の動きベクトルの情報を受け取る。拡張レイヤ処理ブロック１１０の動き符号化部２２ａは、拡張レイヤのインタラクティブＲＯＩ領域の動きベクトル情報と基本レイヤのインタラクティブＲＯＩ領域の動きベクトル情報との間で差分符号化を行い、階層間で差分符号化された動きベクトル情報を多重化部１８に与える。

基本レイヤと拡張レイヤ間で動きベクトル情報を差分符号化する際、基本レイヤにおける動きベクトルを拡張レイヤの解像度に合うように拡大する。たとえば、基本レイヤのインタラクティブＲＯＩ領域の高さおよび幅がそれぞれ、拡張レイヤのインタラクティブＲＯＩ領域の高さおよび幅の１／２である場合、基本レイヤのインタラクティブＲＯＩ領域について得られた動きベクトルを高さ方向、幅方向にそれぞれ２倍する。拡張レイヤ処理ブロック１１０の動き符号化部２２ａは、このようにして拡張レイヤの解像度に合わせて拡大された基本レイヤの動きベクトルと、拡張レイヤの動きベクトルとの間で差分を取って符号化する。このように階層間で動きベクトル情報を差分符号化することにより、拡張レイヤのインタラクティブＲＯＩ領域の動きベクトル情報をそのまま符号化するよりは、動きベクトル情報の符号量を減らすことができる。

内挿処理部３２は、基本レイヤ処理ブロック１２０の予測部２４ｂから基本レイヤのインタラクティブＲＯＩ領域の予測誤差画像を受け取り、拡張レイヤの解像度に合わせるために画素を内挿する処理を行う。内挿処理部３２は、内挿処理が施された基本レイヤの予測誤差画像を拡張レイヤ処理ブロック１１０の予測部２４ａに与える。

拡張レイヤ処理ブロック１１０の予測部２４ａは、ＭＣＴＦ部２０ａから与えられた画像フレームをフレーム内予測符号化する。さらに、拡張レイヤ処理ブロック１１０の予測部２４ａは、拡張レイヤの予測誤差画像と、拡張レイヤの解像度に合うように内挿された基本レイヤの予測誤差画像との間で差分符号化を行う。階層間で予測誤差画像の差分符号化を行うことにより、符号量を減らすことができる。

拡張レイヤ処理ブロック１１０のＤＣＴ部２６ａ、量子化部２８ａ、および可変長符号化部３０ａによる処理は、基本レイヤ処理ブロック１２０のＤＣＴ部２６ｂ、量子化部２８ｂ、および可変長符号化部３０ｂによる処理と同じであり、拡張レイヤにおいて予測誤差画像が圧縮符号化され、多重化部１８に渡される。

多重化部１８は、基本レイヤ処理ブロック１２０から与えられる基本レイヤにおける符号化データと、拡張レイヤ処理ブロック１１０から与えられる拡張レイヤにおける符号化データとを１つにまとめた符号化ストリームを生成して出力する。各レイヤの符号化データには、画像データと動きベクトル情報が含まれる。

通常ＲＯＩ領域と非ＲＯＩ領域については、拡張レイヤ処理ブロック１１０は動作しないため、階層化されていない基本レイヤのみの符号化データが符号化ストリーム内に格納される。一方、インタラクティブＲＯＩ領域については、基本レイヤの符号化データと拡張レイヤの符号化データを含む階層化された符号化データが符号化ストリーム内に格納される。もっとも通常ＲＯＩ領域について空間スケーラブル符号化される場合は、通常ＲＯＩ領域についても基本レイヤの符号化データと拡張レイヤの符号化データを含む階層化された符号化データが符号化ストリーム内に格納されることになる。

なお、本実施の形態では、ＲＯＩ領域情報を可変長符号化部３０ａ、３０ｂにおいて符号化したが、ＲＯＩ領域情報は符号化せずに、多重化部１８に与えて、符号化ストリームのヘッダに付加するようにしてもよい。

上記では、基本レイヤ処理ブロック１２０と拡張レイヤ処理ブロック１１０とを別々に設け、それぞれ基本レイヤの低解像度画像、拡張レイヤの高解像度画像を符号化する構成を説明したが、基本レイヤ処理ブロック１２０と拡張レイヤ処理ブロック１１０で共通する構成要素は基本レイヤと拡張レイヤの間で共有してもよい。たとえば、基本レイヤ処理ブロック１２０の構成だけを設け、基本レイヤ処理ブロック１２０において基本レイヤの符号化を行い、基本レイヤにおける予測誤差画像と動きベクトル情報をメモリに保持する。次に、メモリに保持された基本レイヤの符号化結果を利用して、拡張レイヤの符号化処理を基本レイヤ処理ブロック１２０において実行する。このように基本レイヤにおける符号化処理の構成を拡張レイヤに流用すれば、符号化装置１００の回路規模を小さくすることができる。

上記の説明では、空間スケーラビリティの階層が基本レイヤと拡張レイヤの２つである場合を説明したが、３以上の空間スケーラビリティの階層をもたせてもよい。その場合は、最下位のレイヤに対しては基本レイヤ処理ブロック１２０を設け、それ以外のレイヤに対してはレイヤ毎に拡張レイヤ処理ブロック１１０の構成を設け、下位層に行くほど低解像度の画像を符号化するようにし、下位層から上位層へ予測誤差画像と動きベクトル情報を送り、各レイヤで差分符号化を行うように構成する。あるいは、基本レイヤ処理ブロック１２０だけを設けて、基本レイヤ処理ブロック１２０をレイヤ毎に繰り返し利用することにより各レイヤの符号化を逐次的に行うように構成してもよい。

図２（ａ）、（ｂ）は、動画像フレームの領域内に設定されるインタラクティブＲＯＩ領域を説明する図である。図２（ａ）は、動画像のフレームの中央にインタラクティブＲＯＩ領域（図中のＲＯＩ１）が設定された例を示す。インタラクティブＲＯＩ領域以外の領域は非ＲＯＩ領域（図中のＲＯＩ０）であり、斜線で示されている。

この例では、インタラクティブＲＯＩ領域は、縦横に４分割され、１６個のスライス００〜１５を含む。インタラクティブＲＯＩ領域内ではスライス単位で独立したスケーラブル符号化がなされているため、動画像の復号の際、インタラクティブＲＯＩ領域内の任意のスライスを選び、選択したスライスについてスケーラブル符号化されたデータを利用して異なる品質で再生することができる。

たとえば、１６個のスライスの内、図２（ａ）のように４つのスライス０５、０６、０９、１０を選択すると、選択された部分だけを、解像度、フレームレート、および画質の少なくとも１つを高くして再生したり、あるいは逆に、解像度、フレームレート、および画質の少なくとも１つを低くして再生する。

インタラクティブＲＯＩ領域内の指定領域について高画質画像が要求された場合、まず最低画質の画像を得るためにすべてのスライス００〜１５について最下位層のみ復号する。次に、ユーザによって指定された領域に対応するスライスのみについて、ＳＮＲスケーラビリティの階層を上がりながら復号を繰り返し、ユーザが要求する画質になるまで復号する。

インタラクティブＲＯＩ領域内の指定領域について拡大画像が要求された場合、まず最低画質の画像を得るためにすべてのスライス００〜１５について最下位層のみ復号する。次に、ユーザによって指定された領域に対応するスライスのみについて、空間スケーラビリティの階層を上がりながら復号を繰り返し、ユーザが要求する解像度になるまで復号する。

インタラクティブＲＯＩ領域内であれば、ＲＯＩ領域として選択するスライスの箇所や数は任意である。たとえば、図２（ｂ）のように、スライス０４、０８、０９、１２、１３のように矩形でない注目領域を選択することもできる。また、これとは別にスライス０３を注目領域として選択してもよく、注目領域として選択される領域は連続でなくてもよい。

図３（ａ）、（ｂ）は、動画フレームの領域内にインタラクティブＲＯＩ領域とは別に通常ＲＯＩ領域を設定する例を説明する図である。

図３（ａ）の例では、インタラクティブＲＯＩ領域（図中のＲＯＩ１）と通常ＲＯＩ領域（図中のＲＯＩ２）が設定されている。それ以外の領域は非ＲＯＩ領域（図中のＲＯＩ０）であり、斜線で示されている。

通常ＲＯＩ領域は、この領域全体で他の領域とは異なる空間解像度、フレームレートまたは画質で符号化されるため、インタラクティブＲＯＩ領域のように、復号の際に領域を指定して指定された箇所だけを異なる空間解像度、フレームレートまたは画質で再生することはできない。

図３（ｂ）の例では、インタラクティブＲＯＩ領域（図中のＲＯＩ１）の周辺部に通常ＲＯＩ領域（図中のＲＯＩ２）が設定され、さらに通常ＲＯＩ領域の外側に非ＲＯＩ領域（図中のＲＯＩ０）が設定されている。このように、インタラクティブＲＯＩ領域と通常ＲＯＩ領域には領域上の包含関係や重複があってもかまわない。また、インタラクティブＲＯＩ領域や通常ＲＯＩ領域はフレーム内に複数設けられてもよい。

インタラクティブＲＯＩ領域や通常ＲＯＩ領域などの注目領域は、ユーザが画像上の特定の領域を指定することによって選択されてもよく、画像の中心領域などあらかじめ定まった領域が選択されてもよい。また、人物や文字が映っている領域などの重要領域が注目領域として自動的に抽出されてもよい。また、動画像において特定のオブジェクト等の動きを追跡することによって注目領域がフレーム単位で自動的に選択されてもよい。

なお、注目領域といっても、必ずしも高画質で再生することだけを目的としない。たとえば、プライバシーを保護する目的では、人物の顔が写っている注目領域を低画質で再生することが必要となる。インタラクティブＲＯＩ符号化や通常のＲＯＩ符号化は、そのような目的でも用いられる。スケーラブル符号化された画像データを用いて、インタラクティブＲＯＩ領域内でプライバシー保護の必要のある領域は低解像度、低フレームレート、あるいは低画質で再生することができる。また、プライバシー保護の必要のある領域を通常ＲＯＩ領域に指定し、あらかじめ他の領域よりは解像度、フレームレートあるいは画質を落として符号化することもできる。

図４（ａ）、（ｂ）は、符号化装置１００により符号化された符号化ストリーム３００のデータフォーマットを説明する図である。

図４（ａ）に示すように、符号化ストリーム３００は、ヘッダ部にＲＯＩ領域情報３０２とレイヤ情報３０４が格納され、データ部に符号化されたフレームデータ３２０が格納されたデータ構造をもつ。ＲＯＩ領域情報３０２は、フレームの領域上に設けられたインタラクティブＲＯＩ領域およびＲＯＩ領域の領域情報である。レイヤ情報３０４は、スケーラブル符号化されたインタラクティブＲＯＩ領域のレイヤ情報であり、レイヤ数や各レイヤにおける解像度、フレームレート、画質などのスケーラブル符号化に関するパラメータが格納される。

図４（ｂ）は、ＲＯＩ領域情報３０２のデータフォーマットを説明する図である。ＲＯＩ領域情報３０２には、通常ＲＯＩ領域について、領域の左上隅の画素の座標値３０６と、領域の縦横の画素数で示される領域サイズ３０７とが格納され、インタラクティブＲＯＩ領域について、座標値３０６と領域サイズ３０７の他、領域分割数３０８と再生品質レベル数３０９が格納される。領域分割数３０８は、インタラクティブＲＯＩ領域がスライスに分割された場合の高さ方向、幅方向のスライスの数で示される。再生品質レベル数３０９は、高品質、中品質、低品質などの再生品質レベルの数である。再生品質は、解像度、フレームレート、および画質の少なくとも１つで規定される。通常ＲＯＩ領域についてもスケーラブル符号化される場合は、通常ＲＯＩ領域についてのＲＯＩ領域情報３０２にも再生品質レベル数２０９が格納される。

図５は、符号化されたフレームデータ３２０のデータ構造を説明する図である。インタラクティブＲＯＩ領域はスケーラビリティをもたせて階層符号化されている。ここでは空間スケーラビリティをもたせた場合を説明する。インタラクティブＲＯＩ領域の階層符号化データ３２６は、３つのレイヤの符号化データをもつ。レイヤ０の符号化データ３２８のみを用いて復号すると、低解像度の画像Ｉ０（符号３４０）が再生される。レイヤ０の符号化データ３２８とレイヤ１の符号化データ３３０を用いて復号すると、中解像度の画像Ｉ１（符号３４２）が再生される。レイヤ０の符号化データ３２８、レイヤ１の符号化データ３３０、レイヤ２の符号化データ３３２のすべてを用いて復号すると、高解像度の画像Ｉ２（符号３４４）が再生される。インタラクティブＲＯＩ領域は、複数のスライスに分割されてスケーラブル符号化されるため、スライス毎にこのような複数の異なる空間解像度の符号化データからなる階層構造をもつ。

通常ＲＯＩ領域は、スケーラブル符号化されていない場合、他の領域とは異なる１つの空間解像度、フレームレートまたは画質で符号化されているだけであり、通常ＲＯＩ領域の符号化データ３２４は、複数の異なる空間解像度、フレームレートまたは画質の符号化データからなる階層構造をもたない。もっとも通常ＲＯＩ領域がスケーラブル符号化されている場合は、複数の異なる空間解像度、フレームレートまたは画質の符号化データからなる階層構造をもつことになる。非ＲＯＩ領域についてはスケーラブル符号化はなされないから、非ＲＯＩ領域の符号化データ３２２は階層構造をもたない。動画像の符号化されたフレームデータ３２０は、非ＲＯＩ領域の符号化データ３２２、通常ＲＯＩ領域の符号化データ３２４、およびインタラクティブＲＯＩ領域の階層符号化データ３２６を合わせたものである。

以上述べたように、本実施の形態の符号化装置１００によれば、特定の領域のみをインタラクティブＲＯＩ符号化するため、画像全体をインタラクティブＲＯＩ符号化する場合に比べて、符号化効率が向上する。

インタラクティブＲＯＩ領域内はスライス単位で独立にスケーラブル符号化されているため、任意のスライスを選択して、選択されたスライスだけを他のスライスを復号することなく独立してスケーラブル復号することができる。したがって、選択されたスライスだけを高い再生品質レベルに達するまで再生し、他のスライスを低い再生品質レベルでとどめたり、逆に選択されたスライスだけを低い再生品質レベルにとどめ、他のスライスを高い再生品質レベルに達するまでスケーラブル復号するなど、スケーラビリティを利用してスライス単位で異なる再生品質を実現することができる。

インタラクティブＲＯＩ領域は複数のスライスに分けて独立に符号化するため、スライスをまたがる領域で差分符号化することができないため符号量が増えるが、インタラクティブＲＯＩ領域以外ではスライスに分割しないため、差分符号化により符号量を減らすことができる。また、インタラクティブＲＯＩ領域ではスケーラブル符号化を行うため符号量が増えるが、インタラクティブＲＯＩ領域以外では原則としてスケーラブル符号化を行わないため、符号量を減らすことができる。このように、インタラクティブＲＯＩ領域を画像内で限定することにより、インタラクティブＲＯＩ領域以外の領域については符号量を減らし、画像全体では符号化効率を高めることができる。

また、本実施の形態では、インタラクティブＲＯＩ領域以外に通常ＲＯＩ領域も合わせて指定することができるため、ＲＯＩ領域の形状にバリエーションをもたせ、柔軟性を高めることができる。

以上、本発明を実施の形態をもとに説明した。実施の形態は例示であり、それらの各構成要素や各処理プロセスの組み合わせにいろいろな変形例が可能なこと、またそうした変形例も本発明の範囲にあることは当業者に理解されるところである。

実施の形態に係る符号化装置の構成図である。 動画像フレームの領域内に設定されるインタラクティブＲＯＩ領域を説明する図である。 動画フレームの領域内にインタラクティブＲＯＩ領域とは別に通常ＲＯＩ領域を設定する例を説明する図である。 符号化ストリームのデータフォーマットを説明する図である。 符号化されたフレームデータのデータ構造を説明する図である。

符号の説明

１０ 画像分割部、 １２ 画像縮小部、 １４ ＲＯＩ設定部、 １８ 多重化部、 ２０ａ、２０ｂ ＭＣＴＦ部、 ２２ａ、２２ｂ 動き符号化部、 ２４ａ、２４ｂ 予測部、 ２６ａ、２６ｂ ＤＣＴ部、 ２８ａ、２８ｂ 量子化部、 ３０ａ、３０ｂ 可変長符号化部、 ３２ 内挿処理部、 １００ 符号化装置、 １１０ 拡張レイヤ処理ブロック、 １２０ 基本レイヤ処理ブロック。

Claims (5)

1. 動画像を構成するピクチャを、スケーラビリティをもたせて符号化される領域とスケーラビリティをもたせないで符号化される領域とに分け、前記スケーラビリティをもたせて符号化される領域を特定する情報を前記動画像の符号化データに含めることを特徴とする符号化方法。
2. 前記スケーラビリティをもたせて符号化される領域は、前記動画像の復号の際に当該領域内で部分的な領域を指定してスケーラビリティを利用した画像の再生が可能なように複数の小領域に分割されており、前記複数の小領域の分割単位を特定する情報を前記動画像の符号化データに含めることを特徴とする請求項１に記載の符号化方法。
3. 前記スケーラビリティをもたせて符号化される領域については、前記小領域毎に他の小領域には依存することなく符号化がなされることを特徴とする請求項２に記載の符号化方法。
4. 前記ピクチャ内に、複数の小領域に分割されることなく一体的に符号化される領域であって、空間解像度、フレームレートおよび画質レベルの少なくとも１つが他の領域とは異なる領域を設け、前記空間解像度、フレームレートおよび画質レベルの少なくとも１つが他の領域とは異なる領域を特定する情報を前記動画像の符号化データに含めることを特徴とする請求項１から３のいずれかに記載の符号化方法。
5. 前記スケーラビリティをもたせて符号化される領域は、空間解像度、フレームレートおよび画質レベルの少なくとも１つのスケーラビリティをもたせて符号化されることを特徴とする請求項１から４のいずれかに記載の符号化方法。

Images