JP2015019304A - 画像符号化装置、画像符号化方法及びプログラム、画像復号装置、画像復号方法及びプログラム - Google Patents

Abstract

【課題】解像度が大きいピクチャを複数の画像復号装置を用いて並列復号するユースケースにおいて、各画像復号装置のメモリコスト及びチップ間通信装置による消費電力を低減する。
【解決手段】画像符号化装置は、複数のピクチャからなる動画像を符号化する装置であって、符号化の単位である複数のタイルからなり、独立して符号化可能であるタイルセットが、所定の最大水平画素数以下であり、かつ所定の最大垂直画素数以下となるようにタイルセットを決定する決定手段と、前記ピクチャを前記決定手段で決定されたタイルセットに分割する分割手段と、前記分割手段によって分割されたタイルセットに基づいて前記ピクチャを符号化する符号化手段とを備える。
【選択図】図５

Description

本発明は画像符号化装置、画像符号化方法及びプログラム、画像復号装置、画像復号方法及びプログラムに関し、特に各ピクチャが矩形状のタイルに分割された画像の符号化方法・復号方法に関する。

現在デジタル技術の進展によりデジタルカメラ・デジタルビデオカメラにおける高解像度でのデジタル動画撮影が広く普及している。デジタル動画はフラッシュメモリに代表される記録媒体に効率良く記録するため一般に圧縮（符号化）されており、動画の符号化方式として、Ｈ．２６４／ＭＰＥＧ−４ ＡＶＣ（以下Ｈ．２６４）が広く使用されている。

近年、Ｈ．２６４の後継としてさらに高効率な符号化方式の国際標準化を行う活動が開始されて、ＪＣＴ−ＶＣ（Ｊｏｉｎｔ Ｃｏｌｌａｂｏｒａｔｉｖｅ Ｔｅａｍ ｏｎ Ｖｉｄｅｏ Ｃｏｄｉｎｇ）がＩＳＯ／ＩＥＣとＩＴＵ−Ｔの間で設立された。ＪＣＴ−ＶＣでは、Ｈｉｇｈ Ｅｆｆｉｃｉｅｎｃｙ Ｖｉｄｅｏ Ｃｏｄｉｎｇ符号化方式（以下、ＨＥＶＣ）の標準化が進められている。

ＨＥＶＣにおける符号化処理の処理順序を図１０に示す。図１０に示されるように符号化処理は１ピクチャを６４画素×６４画素等の予め定められた正方形であるＣｏｄｉｎｇ Ｔｒｅｅ Ｂｌｏｃｋ（以下、ＣＴＢ）単位に分割して符号化処理が行われる。ピクチャ内においては左上のＣＴＢから順に右上→左下→右下の順（ラスタ・スキャン順）で符号化が行われ、符号化ストリーム（以下、単にストリーム）を出力する。復号処理においては符号化処理と同じ処理順序で復号が行われ、復号した画像を出力する。

ＨＥＶＣの標準化にあたっては、種々の符号化ツールが、符号化効率向上のみならず実装の容易性や処理時間の短縮といった観点も含めて幅広く検討されている。その中には、符号化・復号の並列処理、エラー耐性を高める等の目的のため１枚のピクチャを符号化順に水平方向に分割するスライス分割と呼ばれる手法、１枚のピクチャを矩形領域に分割するタイル分割と呼ばれる手法等がある（非特許文献１）。

スライスやタイルを用いることによって、符号化・復号の並列処理による高速化を実現すると共に、符号化プログラム・復号プログラムが必要とするメモリ容量を削減することが可能となっている。ＨＥＶＣにおいては、このスライス分割及びタイル分割を併用することも可能である。

また、前記タイル分割を利用して、ストリームの連続するピクチャから一部のタイルのみを独立して復号可能にするＭＣＴＳ（Ｍｏｔｉｏｎ−Ｃｏｎｓｔｒａｉｎｅｄ Ｔｉｌｅ Ｓｅｔｓ）と呼ばれる手法がある（非特許文献１）。このＭＣＴＳにおいては、ピクチャ内の１つ以上のタイルから構成されるタイルセットが定義され、符号化されたストリームからこのタイルセットだけを部分動画として再生することが可能である。

ＭＣＴＳ ＳＥＩメッセージがストリームに含まれていると、当該ビデオ・シーケンスにおいては以下の制約により符号化されていなければならない。
・ビデオ・シーケンス内の各ピクチャが同様のタイル分割を使用して符号化する。
・ＭＣＴＳの符号化においては、参照ピクチャ上において当該タイルセット外の参照画素を必要とする動きベクトルを使用して符号化しない。

復号において、このＭＣＴＳ ＳＥＩメッセージがストリームに含まれている場合、連続するピクチャからＭＣＴＳとして指定されたタイルセットのみを抽出して部分動画として高速に復号・再生することができる。ＭＣＴＳを用いることで、例えばユーザの注目領域のみを高速に復号するＲＯＩ（Ｒｅｇｉｏｎ ｏｆ ｉｎｔｅｒｅｓｔ）を実現することができる。

ＪＣＴ−ＶＣ 寄書 ＪＣＴＶＣ−Ｍ１００５−ｖ１．ｄｏｃ インターネット＜ｈｔｔｐ：／／ｐｈｅｎｉｘ．ｉｎｔ−ｅｖｒｙ．ｆｒ／ｊｃｔ／ｄｏｃ＿ｅｎｄ＿ｕｓｅｒ／ｄｏｃｕｍｅｎｔｓ／１３＿Ｉｎｃｈｅｏｎ／ｗｇ１１／＞

水平４０９６画素×垂直２０４８画素（以下、４０９６×２０４８画素と表記する）のように、解像度が大きい１枚以上のピクチャ群から構成される動画像を復号する際には、複数の画像復号装置を使用して並列に復号できることが望ましい。例えば２０４８×１０２４画素の処理性能を備える、４個の画像復号装置を用いて４０９６×２０４８画素のピクチャを並列に復号できると、画像復号装置の再利用が容易になり低コスト化を実現が可能になる。

図８に複数の画像復号装置を用いる画像復号システムの例を示す。各画像復号装置８０１はチップ外メモリであるＤＲＡＭ８０３及びチップ内メモリであるＳＲＡＭ８０２備える。また画像復号装置８０１間のデータ転送はチップ間通信装置８０４によって接続される。なお、ストリームを入力するためのインターフェース及び復号した画像を出力するためのインターフェースについては図８から省略し、記述も省略する。

前述のようにＨＥＶＣにおいては、ピクチャ内はＣＴＢ単位でのラスタ・スキャン順で符号化及び復号が行われることを基本とする。さらに、ＨＥＶＣにはイントラ予測等のように、処理対象ＣＴＢの処理において、上方に隣接するＣＴＢの画素や符号化パラメータを参照する処理が複数存在する。上方のＣＴＢの画素や符号化パラメータを参照するためには、１ライン分保持するための水平ラインバッファが必要となる。この水平ラインバッファは画像復号装置をシステムＬＳＩとして実装する際には図８のＳＲＡＭ８０２として実装されることが一般的であり、４０９６×２０４８画素のように解像度が大きいピクチャを復号対象とする際には大容量のＳＲＡＭ８０２が必要となる。

例えば４０９６×２０４８画素のピクチャがタイル分割により、４０９６×５１２画素のタイルセット４個に分割されているストリームを復号するケースを想定する。各タイルセットを４個の画像復号装置８０１で並列して復号するためには、各画像復号装置８０１は４０９６画素に対応する水平ラインバッファをＳＲＡＭ８０２として備える必要があり、メモリコストが増大してしまうという課題があった。

また、図８において各画像復号装置８０１が復号したタイルはＤＲＡＭ８０３に書き込まれる。一方、ピクチャをタイルセットに分割し、複数の画像復号装置８０１で複数のタイルセットを並列して復号する際、動き補償において、参照ピクチャ上の異なるタイルセット内の画素を参照する動きベクトルが使用されることがある。

このようなストリームを復号する際には、各画像復号装置８０１は自身に接続されたＤＲＡＭ８０３上のタイルセットの復号画素のみではなく他の画像復号装置８０１に接続されたＤＲＡＭ８０３に記録されているタイルセットの復号画素を参照する必要がある。図８において他の画像復号装置８０１に接続されたＤＲＡＭ上のデータを参照するためにはチップ間通信装置８０４が不可欠となる。このチップ間通信装置８０４は一般的に高コストかつ高消費電力であるため、使用しないことが望ましい。

上記のようにピクチャがタイルセットに分割されていて、分割された各タイルセットを複数の画像復号装置８０１で並列して復号する際にも、メモリコストが増大する、チップ間通信装置８０４による消費電力が増大してしまうという課題があった。

本発明は上記課題を鑑みて提案されたものであり、解像度が大きいピクチャを複数の画像復号装置を用いて並列復号するユースケースにおいて、各画像復号装置のメモリコスト及びチップ間通信装置による消費電力を低減することを目的とする。

上記の課題を解決するため、本発明の画像符号化装置は、複数のピクチャからなる動画像を符号化する符号化装置であって、符号化の単位である複数のタイルからなり、独立して符号化可能であるタイルセットが、所定の最大水平画素数以下であり、かつ所定の最大垂直画素数以下となるようにタイルセットを決定する決定手段と、前記ピクチャを前記決定手段で決定されたタイルセットに分割する分割手段と、前記分割手段によって分割されたタイルセットに基づいて前記ピクチャを符号化する符号化手段とを備えることを特徴とする。

本発明によれば解像度が大きいピクチャを複数の画像復号装置を用いて並列復号するユースケースにおいて、各画像復号装置のメモリコスト及びチップ間通信による消費電力を低減することを目的とする。

実施形態１の画像復号装置を示す図 実施形態１のタイル分割及びタイルセットを示す図 実施形態１の符号化ストリームの例を示す図 実施形態１の各ピクチャの復号フローチャートを示す図 実施形態２の画像符号化装置を示す図 実施形態３のタイルセット最大水平・垂直画素数を示す図 実施形態４のタイルセット最大水平・垂直画素数を示す図 複数の画像復号装置から構成される画像復号システムを示す図 複数の画像符号化装置から構成される画像符号化システムを示す図 ＨＥＶＣにおける符号化・復号の処理順序を示す図 本願発明の画像符号化装置、復号装置に適用可能なコンピュータのハードウェアの構成例を示すブロック図

以下、添付の図面を参照して、本願発明をその好適な実施形態に基づいて詳細に説明する。なお、以下の実施形態において示す構成は一例に過ぎず、本願発明は図示された構成に限定されるものではない。

＜実施形態１＞
本発明の実施形態１において、動画像中の各ピクチャは複数のタイルに分割され、ピクチャ内の全タイルがＭＣＴＳを構成するタイルセット（以下、単にタイルセット）の一部として符号化され、ストリームが生成される。さらに本発明のストリームにおいて、ピクチャ内のＭＣＴＳを構成する各タイルセットのタイルセット最大水平・垂直画素数は予め定められた画素数以下に制限される。本実施形態は各タイルセットのタイルセット最大水平・垂直画素数が、それぞれ２０４８画素以下に制限されるとする。なお本実施形態におけるＣＴＢのサイズは３２×３２画素とする。

図２に実施形態１におけるタイル分割及びタイルセットを示す。図２においては水平４０９６×２０４８画素のピクチャが５１２×１０２４画素の１６個のタイルに分割され、かつピクチャ内の全タイルはいずれかのタイルセットに含まれる。各タイルセットは４個のタイルから構成され、各タイルセットの大きさは２０４８×１０２４画素である。

前述のように、ＭＣＴＳを構成するためにはシーケンス内の各ピクチャが同様のタイル分割を使用して符号化されている必要がある。よってシーケンス内の全ピクチャは図２に示す分割方法でタイル分割され、符号化される。

本発明の画像符号化フォーマットではＣＴＢ単位で符号化が行われ、各タイルのサイズはＣＴＢの逓倍である。図２において図中の番号はピクチャ中における各ＣＴＢの空間座標を示す。各タイル内部における符号化及び復号順序はＣＴＢを単位とするラスタ・スキャン順である。図２のタイル１においては（０，０）→（０，１）→〜→（０，１５）→（１，０）→（１，１）→〜→（１，１５）→〜→（３０，１５）→（３１，１５）の順序で符号化及び復号が行われる。

図３に実施形態１における画素数の制限付きのＭＣＴＳタイルセットから構成される含んだストリームの例を示す。当該ストリームの構成は非特許文献１に記載されている。図示されるように、シーケンス・パラメータ・セットにピクチャの水平・垂直画素数が、ピクチャ・パラメータ・セットにタイル情報が挿入される。

ピクチャ・パラメータ・セット内のタイル情報として、まずピクチャ内の水平タイル数、垂直タイル数の情報が挿入される。図３のｎｕｍ＿ｔｉｌｅ＿ｃｏｌｕｍｎｓ＿ｍｉｎｕｓ１、ｎｕｍ＿ｔｉｌｅ＿ｒｏｗｓ＿ｍｉｎｕｓ１は、それぞれピクチャ内の水平タイル数、垂直タイル数から１を減じた数を示す。水平タイル数もしくは垂直タイル数が２以上の場合（タイル分割が行われる場合）には続いて各タイルの大きさが同じであるか否かを示す情報であるｕｎｉｆｏｒｍ＿ｓｐａｃｉｎｇ＿ｆｌａｇが挿入される。本実施形態では各タイルが同じサイズを使用することを仮定しておりｕｎｉｆｏｒｍ＿ｓｐａｃｉｎｇ＿ｆｌａｇ＝１である。ｕｎｉｆｏｒｍ＿ｓｐａｃｉｎｇ＿ｆｌａｇ＝１の場合の各タイルの水平・垂直画素数はピクチャ水平・垂直画素数及び前記水平・垂直タイル数から除算により求めることができる。なおｕｎｉｆｏｒｍ＿ｓｐａｃｉｎｇ＿ｆｌａｇ＝０であり、各タイルの水平・垂直画素数を直接指定する時にも本願発明は適用可能である。ｕｎｉｆｏｒｍ＿ｓｐａｃｉｎｇ＿ｆｌａｇに続いて、タイル間においてフィルタ処理を行うか否かを示すｌｏｏｐ＿ｆｉｌｔｅｒ＿ａｃｒｏｓｓ＿ｔｉｌｅｓ＿ｆｌａｇが挿入される。タイル情報を含むピクチャ・パラメータ・セットに続いて、ＭＣＴＳ情報を含むＳＥＩメッセージが挿入される。例えば、ＭＣＴＳ情報中の符号化パラメータを下記の通り設定することにより、図２で示したＭＣＴＳを構成するタイルセットを指定することが可能である。
・ｎｕｍ＿ｓｅｔｓ＿ｉｎ＿ｍｅｓｓａｇｅ＿ｍｉｎｕｓ１＝３
（ＳＥＩメッセージに格納される、ＭＣＴＳとして符号化されるタイルセット数から１を減じた数である。３を設定することにより、図２においてタイルセット数が４であることを示す。）
図２の１番目のタイルセット（タイルセットＩＤ＝０）について、以下のようにＭＣＴＳ ＳＥＩメッセージ中のパラメータを設定する。
・ｍｃｔｓ＿ｉｄ＝０
（ピクチャ内で複数定義することが可能なタイルセットを識別する、タイルセットＩＤである。０〜２５５の任意の値を設定することが可能である。例えば０を設定することにより、図２における１番目のタイルセットＩＤが０であることを示す。）
・ｎｕｍ＿ｔｉｌｅ＿ｒｅｃｔｓ＿ｉｎ＿ｓｅｔ＿ｍｉｎｕｓ１＝０
（本シンタックスは各タイルセットに含まれる矩形タイル群数から１を減じた数である。本実施形態のタイルセットはいずれも１つの矩形タイル群数から構成されるため、０を設定する。）
・ｔｏｐ＿ｌｅｆｔ＿ｔｉｌｅ＿ｉｎｄｅｘ［０］［０］＝０
（タイルセット内の左上に位置するタイルのインデックスである。０を設定することによって図２のタイル０が、１番目のタイルセットを左上に位置することを示す。）
・ｂｏｔｔｏｍ＿ｒｉｇｈｔ＿ｔｉｌｅ＿ｉｎｄｅｘ［０］［０］＝３
（タイルセット内の右下に位置するタイルのインデックスである。３を設定することによって図２のタイル３が、１番目のタイルセットを構成する矩形タイル群の右下に位置することを示す。）
同様に、残りのタイルセットにも上記情報を設定する。例えば図２の４番目のタイルセット（タイルセットＩＤ＝３）の設定は以下のようになる。
・ｍｃｔｓ＿ｉｄ＝３
・ｎｕｍ＿ｔｉｌｅ＿ｒｅｃｔｓ＿ｉｎ＿ｓｅｔ＿ｍｉｎｕｓ１＝０
・ｔｏｐ＿ｌｅｆｔ＿ｔｉｌｅ＿ｉｎｄｅｘ［３］［０］＝１２
・ｂｏｔｔｏｍ＿ｒｉｇｈｔ＿ｔｉｌｅ＿ｉｎｄｅｘ［３］［０］＝１５
図１に前記画像符号化フォーマットに従ったストリームを復号する画像復号装置の内容を示す。図１記載の画像復号装置は図示されるようにストリーム解析部１０１、全体制御部１０２、タイル情報解析部１０３、動き補償部１０４、予測残差復号部１０５、加算部１０６、画面内補償部１０７、加算部１０８、画面内補償用メモリ１０９、選択部１１０、フィルタ処理部１１１、画素出力部１１２、動き補償用メモリ１１３、画像出力用メモリ１１４から構成される。

ストリーム解析部１０１はストリームを入力し、シーケンス・パラメータ・セットやピクチャ・パラメータ・セット、ヘッダ情報やＳＥＩメッセージの解析を行い、タイル情報やＭＣＴＳに関する情報を算出する。ストリーム解析部１０１はまた、ストリームに含まれる動きベクトル及び符号化された予測残差の分離を行う。全体制御部１０２はストリーム解析部１０１からヘッダ情報を解析した結果である符号化モード・符号化パラメータ（動き予測もしくは画面内予測、画面内予測モード）を解析する。全体制御部１０２は解析した符号化モード・符号化パラメータに応じて各処理の制御を行う。

タイル情報解析部１０３はストリーム解析部１０１から水平・垂直タイル数等のタイル情報を受け取りタイルの水平・垂直画素数の算出を行う。また、タイル情報解析部１０３はストリーム解析部１０１からＭＣＴＳに関する情報を受け取り、ＭＣＴＳを構成する各タイルセットの水平・垂直画素数の算出を行う。算出されたタイル及びタイルセットの情報は関連する各処理に伝達される。またタイル情報解析部１０３は後述するように、ストリームにおけるタイルセットの水平・垂直画素数が復号のサポート対象となる制約を満たしているか否かを確認し、制約を満たしていない場合には全体制御部１０２にエラー信号を出力する。

復号処理対象ブロックの符号化モードが動き予測である場合、動き補償部１０４は動きベクトル及びタイル情報に応じて、動き予測のための復号された画像が記録されている動き補償用メモリ１１３に対するアドレスを生成する。動き補償用メモリ１１３から読み込んだ参照画像を用いて動き補償部１０４は動き補償のための参照ブロックを生成する（動きベクトルが非整数値を示す場合にはフィルタ処理等を施す）。

本実施形態において動き補償部１０４は、参照ピクチャ上において処理対象のタイルセット以外のタイルセットにおける画素を必要とする動きベクトルが入力されると、復号のサポート対象外であるとして、全体制御部１０２にエラー信号を出力する。

予測残差復号部１０５は前記符号化された予測残差の算術復号及び逆量子化、逆直交変換を行い、予測残差を生成する。加算部１０６は動き補償部１０４から出力される参照ブロックと予測残差復号部１０５で復号された予測残差の加算を行う。

復号処理対象ブロックの符号化モードが画面内予測で符号化されたブロックである場合、画面内補償部１０７は画面内予測モードに対応した画素を画面内補償用メモリ１０９から読み込み参照ブロックを生成する。なお非特許文献１に記載されているように、画面内補償部１０７において、タイル外を参照する画面内補償は予め定められた画素を使用して行う。加算部１０８は画面内補償部１０７から出力される参照ブロックと予測残差の加算を行う。加算後の復号された画素は後続ブロックの画面内補償のため画面内補償用メモリ１０９へと記録される。

選択部１１０は符号化モードに応じて加算部１０６もしくは加算部１０８のいずれかの出力を選択する。加算後の復号された画像は後続ブロックの画面内補償のため画面内補償用メモリ１０９へと記録される。フィルタ処理部１１１は選択部１１０の出力を受け取りデブロッキング・フィルタ等のフィルタ処理を行う。

なお本実施形態においてタイル間においてフィルタ処理を行うか否かを示すｌｏｏｐ＿ｆｉｌｔｅｒ＿ａｃｒｏｓｓ＿ｔｉｌｅｓ＿ｆｌａｇは０であることを前提とする。フィルタ処理部１１１におけるフィルタ処理において、タイル外に位置する画素は予め定められた値への置換を行う。

画素出力部１１２はタイル情報を参照してメモリアドレスを算出し、タイルの復号画素を動き補償用メモリ１１３及び画像出力用メモリ１１４に記録する。

本実施形態におけるストリーム解析部１０１、全体制御部１０２、タイル情報解析部１０３におけるタイル情報解析方法及びピクチャ内のタイル符号化データの復号方法を図４のフローチャートを用いて示す。

まずステップＳ４０１において、ストリーム解析部１０１はストリーム中のヘッダ情報及びＳＥＩメッセージを解析する。

ステップＳ４０２において、全体制御部１０２は、符号化対象ピクチャの水平画素数及び垂直画素数がそれぞれタイルセット最大水平画素数、タイルセット最大垂直画素数以下であるか否かを判断する。タイルセット最大水平画素数、タイルセット最大垂直画素数以下である場合にはステップＳ４０７に進み、そうでない場合にはステップＳ４０３に進む。

ステップＳ４０３において、全体制御部１０２は、ストリーム中にＭＣＴＳ ＳＥＩメッセージが存在するか否かを判断する。存在する場合にはステップＳ４０４に進み、存在しない場合にはサポート対象外のストリームであることのエラー信号を外部に通知して終了する。

ステップＳ４０４において、タイル情報解析部１０３はステップＳ４０１において解析されたヘッダ情報からタイル情報（ピクチャ内のタイル数及び各タイルの水平・垂直画素数）を算出する。タイル情報解析部１０３はまた、ステップＳ４０４においてＭＣＴＳ ＳＥＩメッセージに含まれる、ＭＣＴＳ情報を解析し、ＭＣＴＳを構成するタイルセットの数及び各タイルセットの水平・垂直画素数をタイルセット情報として算出する。

ステップＳ４０５において、ステップＳ４０４で算出されたタイル情報及びタイルセット情報に基づいて、タイル情報解析部１０３はピクチャ内の全タイルがＭＣＴＳとして符号化されているか否かを判断する。ピクチャ内の全タイルがＭＣＴＳである場合にはステップＳ４０６に進み、ＭＣＴＳでないタイルが存在する場合には、サポート対象外のストリームであることのエラー信号を外部に通知して終了する。

ステップＳ４０６において、タイル情報解析部１０３はピクチャ内の全タイルセットの水平画素数及び垂直画素数がそれぞれタイルセット最大水平・垂直画素数以下であるか否かを判断する。タイルセット最大水平・垂直画素数以下である場合にはステップＳ４０７に進み、そうでない場合にはサポート対象外のストリームであることのエラー信号を外部に通知して終了する。

ステップＳ４０７及びステップＳ４０８において、全体制御部１０２はピクチャ内の全タイルの復号処理を繰り返し行うように画像復号装置内の各処理を制御する。ストリームが複数のピクチャから構成される場合には最終ピクチャまでステップＳ４０７〜ステップＳ４０８を繰り返す。

上述した構成及び処理フローを備える画像復号装置を４個使用し、図８で示した画像復号システムで解像度の大きいピクチャを並列復号する動作について述べる。各画像復号装置８０１が図１で示した画像復号装置に対応し、図１の画面内補償用メモリ１０９は図８におけるＳＲＡＭ８０２として実装される。また図１の動き補償用メモリ１１３は図８におけるＤＲＡＭ８０３として実装される。各画像復号装置８０１が復号したタイルの復号画素は直接接続されたＤＲＡＭ８０３にのみ書き込まれる。

図８において図４のステップＳ４０１からステップＳ４０６で示したヘッダ情報の解析及びタイル情報、タイルセット情報の解析は、いずかの一つの画像復号装置８０１で実行する。また解析されたヘッダ情報や各画像復号装置８０１が復号するタイルセット情報は他の画像復号装置８０１に伝達される。

図２で示した４０９６×２０４８画素のピクチャを４個のタイルセットに分割して符号化されたストリームを復号する際に、図８の各画像復号装置８０１は１個のタイルセットの復号を担当し、タイルセット単位で並列に復号を実行する。前記ヘッダ情報には各タイル符号化データへ直接アクセスするためのポインタ情報（非特許文献１記載のｅｎｔｒｙ＿ｐｏｉｎｔ＿ｏｆｆｓｅｔ＿ｍｉｎｕｓ１）が含まれている。各画像復号装置８０１は自身が復号するタイルセットに相当するタイルの符号化データを外部から入力してもよいし、ヘッダを解析した画像復号装置からチップ間通信装置８０４を介してタイルの符号化データを受け取ってもよい。

各タイルセットの水平画素数は本実施形態のタイルセット最大水平画素数以下に限定されるため、図８の各画像復号装置におけるＳＲＡＭ８０２（図１の画面内補償用メモリ１０９）は２０４８画素分の容量を備えればよい。よって各画像復号装置８０１が４０９６画素分のＳＲＡＭ８０２を搭載する場合に比べると、大幅にメモリコストを削減することが可能である。

さらに本実施形態において、図１の動き補償部１０４は参照ピクチャ上のタイルセット外の画素を必要とする動きベクトルを復号対象としない。よって図８の各画像復号装置８０１は自身に接続されたＤＲＡＭ８０３のみを参照すればよく、他の画像復号装置に接続されたＤＲＡＭ８０３を参照する必要が無い。

結果として各画像復号装置８０１は消費電力が高いチップ間通信装置８０４を使用することなく動き補償を実行することができ、大幅な低消費電力化を実現することが可能になる。

なお、タイルやタイルセットの分割数や水平・垂直画素数及びタイルセットＩＤなどは上記に限定されず、使用可能なＣＴＢのサイズも上記に限定されない。また復号のサポート対象とするタイルセット最大水平画素数やタイルセット最大垂直画素数も上記に限定されず、いかなる値も使用することが可能である。またタイルセットの最大サイズに関する制限を、タイルセットの水平画素数もしくは垂直画素数のいずれかにのみ適用することも可能であるし、例えばタイルセットの水平画素数と垂直画素数の積に適用することも可能である。

またピクチャ内の全タイルがＭＣＴＳを構成するタイルセットに属し、かつタイルセットの水平・垂直画素数が所定の画素数以下になるように制限されるストリームを復号対象とすることで、より解像度の大きいピクチャの復号をサポートすることも可能である。この場合にも、図８の個々の画像復号装置８０１は８０９６画素に対応したＳＲＡＭ８０２を搭載する必要が無く、タイルセットの最大水平画素数である２０４８画素に対応したＳＲＡＭ８０２のみを備えれば良い。

また復号対象ピクチャの解像度が変わらない場合にも、画像復号装置の数を増加させることにより、１秒あたりに復号可能なピクチャ枚数を画像復号装置の数に応じて柔軟に増加させることができる。

各画像復号装置は前記非特許文献１のＨＥＶＣに準ずることを前提とするが、本発明はこれに限定されず、タイル分割及びタイルセットが利用可能な、いかなる動画符号化手法にも適用することが可能である。

＜実施形態２＞
図５に本願発明の画像符号化フォーマットを用いて各ピクチャを符号化する画像符号化装置の内容を示す。図５記載の画像符号化装置は図示されるようにタイルサイズ決定及び全体制御部５０１、画素入力部５０２、動き探索部５０３、画面内予測部５０４、選択部５０５、画面内予測用メモリ５０６、減算部５０７、予測残差符号化及び局所復号部５０８、ストリーム多重化部５０９、加算部５１０、フィルタ処理部５１１、動き探索用メモリ５１２から構成される。

タイルサイズ決定及び全体制御部５０１には画像符号化装置外部から使用するピクチャの水平・垂直画素数に関する情報が設定される。前述のように、本実施形態における各タイルセットのタイルセット最大水平・垂直画素数は、それぞれ２０４８画素以下に制限される。設定されたピクチャの水平画素数、もしくは垂直画素数が２０４８画素を超えている場合には複数のタイルへの分割及び複数のタイルセットの使用が必要になる。タイルサイズ決定及び全体制御部５０１は分割後のタイルセットの水平画素数及び垂直画素数が予め規定された最大値を超えないように、例えば図２のようにタイル分割を決定し、続いてＭＣＴＳを構成するタイルセットを決定する。

なお、画像符号化装置外部からタイル及びタイルセットの大きさを直接指定することも可能であることも可能であるが、タイルセット最大水平・垂直画素数を上回らないように設定されなければならない。またタイルサイズを直接指定する場合には前述のように前記ｕｎｉｆｏｒｍ＿ｓｐａｃｉｎｇ＿ｆｌａｇは０とする必要がある。

決定されたタイル情報及びタイルセット情報は関連する処理に伝達されると共に、ヘッダ情報及びＳＥＩメッセージの一部として、ストリーム多重化部５０９でストリームに多重化される。画素入力部５０２はタイルサイズに応じた入力画像を読み込む。動き探索部５０３は動き探索用メモリ５１２から同じタイルセットに属する参照画像のみを読み込み、参照ブロックを生成して最適な動きベクトルの探索を行う。この動きベクトル探索においては、参照ピクチャ上でタイルセット外の参照画素を必要としない範囲でのみ探索が行われ、最も発生符号量が少なくなると推定される動きベクトルを決定する。

画面内予測部５０４は画面内予測用メモリ５０６から参照画像を読み込み、画面内予測モードに対応した参照ブロックを生成して最適な画面内予測モードの探索を行い、最も発生符号量が少なくなると推定される画面内予測モードを決定する。選択部５０５は画面内予測部５０４と動き探索部５０３で算出された推定符号量を比較し、動き予測もしくは画面内予測を示す符号化モードを決定すると共に、動き探索部５０３か画面内予測部５０４のいずれかの参照ブロックを選択する。なお、符号化モードはエントロピー符号化によって選択部５０５において符号化されても良い。減算部５０７は入力ブロックと参照ブロックの予測（減算）を行う。予測残差符号化及び局所復号部５０８は減算部５０７の出力である予測残差の直交変換、量子化によって量子化直交変換係数を算出し、エントロピー符号化（可変長符号化もしくは算術符号化）を行う。予測残差符号化及び局所復号部５０８は同時に、後続のブロックの画面内予測もしくは動き予測のために予測誤差の量子化直交変換係数の逆量子化及び逆直交変換を行い、予測誤差を局所復号する。

ストリーム多重化部５０９は予測誤差の符号化データ、符号化モード、動きベクトルをタイルの符号化データとして多重化する。ストリーム多重化部５０９はさらに、符号化で使用されたタイル分割をヘッダ情報として、及びタイルセットに関する情報をＭＣＴＳ ＳＥＩメッセージとして前記タイルの符号化データに多重化し、実施形態１の図３で示した符号化ストリームとして出力する。

加算部５１０は予測残差符号化及び局所復号部５０８は局所復号された予測誤差と選択部５０５から出力される参照ブロックの加算（動き補償もしくは画面内補償）を行う。加算部５１０によって復号された画素はフィルタ処理部５１１に出力されると同時に、後続のブロックの画面内予測のために画面内予測用メモリ５０６に記録される。

フィルタ処理部５１１は復号されたブロックについてデブロッキング・フィルタ等のフィルタ処理を施す。フィルタ処理された復号画像は動き探索用メモリ５１２に記録される。

本実施形態のように、符号化時に決定するタイルセットの水平・垂直画素数を予め規定された最大値以下に限定し、かつＭＣＴＳの制約に則って独立して符号化を行う。これにより実施形態１で示した画像符号化フォーマットに準じたストリームを生成することができる。このストリームは実施形態１で示したように複数の画像復号装置での並列復号処理を容易に行うことができ、画像復号システムの低コスト化、低消費電力化を実現することができる。

なお、タイルやタイルセットの分割数や水平・最大画素数及びタイルセットＩＤなどは上記に限定されず、使用可能なＣＴＢのサイズも上記に限定されない。また復号可能なタイルセット最大水平画素数やタイルセット最大垂直画素数も上記に限定されず、いかなる値も使用することが可能である。またタイルセットの最大サイズに関する制限を、タイルセットの水平画素数もしくは垂直画素数のいずれかにのみ適用することも可能であるし、例えばタイルセットの水平画素数と垂直画素数の積に適用することも可能である。

本実施形態の画像符号化システムにおいては、異なるタイルセットは異なる画像復号装置で復号することを想定している。よって画像符号化装置はタイル間でデブロッキング・フィルタが適用されない設定（ｌｏｏｐ＿ｆｉｌｔｅｒ＿ａｃｒｏｓｓ＿ｔｉｌｅｓ＝０）で符号化が行われることを基本とする。しかしながら、このような設定ではタイルセット間のみならず、タイルセットに包含されるタイル間の境界においてもデブロッキング・フィルタが適用されなくなってしまう。

このような場合には、画像符号化装置はタイル間でデブロッキング・フィルタを適用する設定（ｌｏｏｐ＿ｆｉｌｔｅｒ＿ａｃｒｏｓｓ＿ｔｉｌｅｓ＝１）で符号化を行うことも可能である。このように符号化されたストリームでも、実施形態１の画像復号装置は画像復号装置間で並列して実行することができる。

ただし、タイルセット境界においては異なるタイルセットの復号画素を参照せず、タイルセット外の値を予め定められた画素値に置換してフィルタ処理が行われる。

また本実施形態における画像符号化装置を複数使用して並列に符号化することで、大きい解像度のピクチャを高速に符号化することも可能である。図９は複数の画像符号化装置を用いる画像符号化システムの例であり、４個の画像符号化装置９０１から構成される。

なお図９において、図８と同じ構成要素は図８と同じ符号を付加し、説明は省略する。また原画像を入力するためのインターフェース及び符号化ストリームを出力するためのインターフェースについては図９から省略し、記述も省略する。

図５で示した画像符号化装置が図９の画像符号化装置９０１に対応する。図５の動き探索用メモリ５１２は図９のＤＲＡＭ８０３として実装され、また図５の画面内予測用メモリ５０６は図９のＳＲＡＭ８０２として実装される。

前述のように図５の画像符号化装置において、ピクチャ内の全タイルはいずれかのタイルセットに含まれ、かつ各タイルセットの動き補償は参照ピクチャ上でタイルセット外の参照画素を必要としない範囲で動きベクトル探索が行われる。よって図９の各画像符号化装置９０１が、例えば図２で示したタイルセットの符号化を実行する場合、動きベクトル探索においては自身に直接接続されたＤＲＡＭ上の参照ピクチャのみを参照すればよい。よって４０９６×２０４８画素のような解像度の大きいピクチャを符号化する際にも、消費電力の大きいチップ間通信装置８０４を使用することなく、動き探索を行い、符号化することが可能である。

またＳＲＡＭ８０２もピクチャの水平画素数である４０９６画素に対応した容量を備える必要はなく、タイルセットの水平画素数である２０４８画素分の容量のみを備えればよい。

よって本発明による画像符号化フォーマットにおける制限を付加してピクチャの符号化を行うことで、画像符号化システムにおいても低消費電力化、低コスト化を実現することが可能である。

＜実施形態３＞
図６に本実施形態におけるタイルセット最大水平・垂直画素数を示す。画像符号化においては画像復号装置が復号可能なパラメータ値の範囲を示すレベルが、シーケンス・パラメータ・セットに含まれており、レベルに応じてピクチャ内の最大画素数等が制限されることが一般的である。本実施形態の画像符号化フォーマットおいては、このレベルに応じてタイルセット最大水平・垂直画素数が決定される。

本実施形態における画像復号装置は、実施形態１における図１で示した画像復号装置と同様の構成、及び図４で示したフローチャートと同じ処理内容で実現可能である。ただし、図４のステップＳ４０１において、ストリーム解析部１０１はヘッダ情報に含まれるレベルを解析し、レベルに応じてタイルセット最大水平・垂直画素数を算出する。またステップＳ４０１において、ストリーム解析部１０１は解析されたレベルがサポート対象でない値の場合には、サポート対象外のストリームであることのエラー信号を外部に通知して終了する。

また、本実施形態における画像符号化装置も実施形態２における図５で示した画像符号化装置と同様の構成で実現可能である。ただし図５においてタイルサイズ決定及び全体制御部５０１には、外部から使用するレベルが設定される。タイルサイズ決定及び全体制御部５０１はレベルに応じて決まるタイルセット最大水平・垂直画素数を超えないように、タイル分割及びＭＣＴＳを構成するタイルセットを決定する。

本実施形態のように、各画像復号装置はサポートするレベルに応じて、サポートすべきタイルセット最大水平・垂直画素数を予め決定することができる。よって画像復号装置が備えるべきＳＲＡＭサイズをレベルに応じて決定することができるので、より効率的に低コスト化を実現することが可能である。

また符号化装置においてもレベルをストリームに格納ことで、画像復号装置がサポートすべきタイルセット最大水平・垂直画素数等をより明確化することが可能になる。

なお、前記レベルの値及びレベルに応じたタイルセットの最大水平・垂直画素数は上記に限定されず、いかなる値も使用することが可能である。またタイルセットの最大サイズに関する制限を、タイルセットの水平画素数もしくは垂直画素数のいずれかにのみ適用することも可能であるし、例えばタイルセットの水平画素数と垂直画素数の積に適用することも可能である。

＜実施形態４＞
図７に本実施形態におけるタイルセット最大水平・垂直画素数を示す。画像符号化においては実施形態３で示したレベルに加えて、画像復号装置が復号可能な処理の組み合わせを示すプロファイルが、シーケンス・パラメータ・セットに含まれていることが一般的である。本実施形態の画像符号化フォーマットおいては、実施形態３のレベル及びプロファイルに応じてタイルセット最大水平・垂直画素数が決定される。

図７に示すように、メイン・プロファイルにおいてはタイルセットの最大水平・垂直画素数に関する制限は存在しない一方、ＭＣＴＳ・プロファイルにおいてはレベルに応じてタイルセットの最大水平・垂直画素数が規定されている。よってメイン・プロファイルをサポートする画像復号装置においては、各タイルセットの水平画素数がピクチャの水平画素数と同じ場合でも復号をする必要がある。一方、ＭＣＴＳ・プロファイルのみをサポートする復号装置においては、各タイルセットの水平画素数はレベルに応じて定まる、図７の数値のみをサポートすればよい。よってメイン・プロファイルをサポートする画像復号装置に比べ、ＭＣＴＳ・プロファイルのみをサポートする画像復号装置は水平ラインバッファのサイズを大きく削減し、低コスト化を実現することが可能である。

本実施形態におけるＭＣＴＳ・プロファイルのみをサポートする画像復号装置は、実施形態１における図１で示した画像復号装置と同様の構成、及び図４で示したフローチャートと同じ処理内容で実現可能である。ただし、図４のステップＳ４０１において、ストリーム解析部１０１はヘッダ情報に含まれるレベル及びプロファイルを解析し、両者の値に応じてタイルセット最大水平・垂直画素数を算出する。またステップＳ４０１において、ストリーム解析部１０１は解析されたレベル及びプロファイルがサポート対象でない値の場合には、サポート対象外のストリームであることのエラー信号を外部に通知して終了する。

また、本実施形態における画像符号化装置も実施形態２における図５で示した画像符号化装置と同様の構成で実現可能である。ただし図５においてタイルサイズ決定及び全体制御部５０１には、外部から使用するレベル及びプロファイルが設定される。タイルサイズ決定及び全体制御部５０１はレベル及びプロファイルに応じて決まるタイルセット最大水平・垂直画素数を超えないように、タイル分割及びＭＣＴＳを構成するタイルセットを決定する。

本実施形態のように、各画像復号装置はサポートするレベル及びプロファイルに応じて、サポートすべきタイルセット最大水平・垂直画素数を予め決定することができる。よって画像復号装置が備えるべきＳＲＡＭサイズをレベルに応じて決定することができるので、より効率的に低コスト化を実現することが可能である。また符号化装置もレベル及びプロファイルをストリームに格納することで、画像復号装置がサポートすべきタイルセット最大水平・垂直画素数等をより明確化することが可能になる。

なお、前記プロファイルの名称、レベル及びプロファイルに応じたタイルセットの最大水平・垂直画素数は上記に限定されず、いかなる名称・値を使用することが可能である。またタイルセットの最大サイズに関する制限を、タイルセットの水平画素数もしくは垂直画素数のいずれかにのみ適用することも可能であるし、例えばタイルセットの水平画素数と垂直画素数の積に適用することも可能である。またレベルを使用せず、プロファイルに応じてのみ、タイルセットの最大水平・垂直画素数を規定することも容易に可能である。

＜実施形態５＞
図１、図５に示した各処理部はハードウェアでもって構成しているものとして上記実施形態では説明した。しかし、図１、図５に示した各処理部で行なう処理をコンピュータプログラムでもって構成しても良い。

図１１は、上記各実施形態に係る画像表示装置に適用可能なコンピュータのハードウェアの構成例を示すブロック図である。ＣＰＵ１１０１は、ＲＡＭ１１０２やＲＯＭ１１０３に格納されているコンピュータプログラムやデータを用いてコンピュータ全体の制御を行うと共に、上記各実施形態に係る画像処理装置が行うものとして上述した各処理を実行する。即ち、ＣＰＵ１１０１は、図１、図８に示した各処理部として機能することになる。ＲＡＭ１１０２は、外部記憶装置１１０６からロードされたコンピュータプログラムやデータ、Ｉ／Ｆ（インターフェース）１１０７を介して外部から取得したデータなどを一時的に記憶するためのエリアを有する。更に、ＲＡＭ１１０２は、ＣＰＵ１１０１が各種の処理を実行する際に用いるワークエリアを有する。即ち、ＲＡＭ１１０２は、例えば、フレームメモリとして割当てたり、その他の各種のエリアを適宜提供することができる。ＲＯＭ１１０３には、本コンピュータの設定データや、ブートプログラムなどが格納されている。操作部１１０４は、キーボードやマウスなどにより構成されており、本コンピュータのユーザが操作することで、各種の指示をＣＰＵ１１０１に対して入力することができる。表示部１１０５は、ＣＰＵ１１０１による処理結果を出力する。また表示部１１０５は例えば液晶ディスプレイのような表示装置で構成される。外部記憶装置１１０６は、ハードディスクドライブ装置に代表される、大容量情報記憶装置である。外部記憶装置１１０６には、ＯＳ（オペレーティングシステム）や、図１、図５に示した各部の機能をＣＰＵ１１０１に実現させるためのコンピュータプログラムが保存されている。更には、外部記憶装置１１０６は、処理対象としての各画像データや処理結果である符号化データの保存先であっても良い。外部記憶装置１１０６に保存されているコンピュータプログラムやデータは、ＣＰＵ１１０１による制御に従って適宜ＲＡＭ１１０２にロードされ、ＣＰＵ１１０１による処理対象となる。Ｉ／Ｆ１１０７には、ＬＡＮやインターネット等のネットワーク、投影装置や表示装置などの他の機器を接続することができ、本コンピュータはこのＩ／Ｆ１１０７を介して様々な情報を取得したり、送出したりすることができる。１１０８は上述の各部を繋ぐバスである。上述の構成からなる作動は、前述の図４で示したフローチャートで説明した作動をＣＰＵ１１０１が中心となってその制御を行う。

＜その他の実施形態＞
本発明の目的は、前述した機能を実現するコンピュータプログラムのコードを記録した記憶媒体を、システムに供給し、そのシステムがコンピュータプログラムのコードを読み出し実行することによっても達成される。この場合、記憶媒体から読み出されたコンピュータプログラムのコード自体が前述した実施形態の機能を実現し、そのコンピュータプログラムのコードを記憶した記憶媒体は本発明を構成する。また、そのプログラムのコードの指示に基づき、コンピュータ上で稼働しているオペレーティングシステム（ＯＳ）などが実際の処理の一部または全部を行い、その処理によって前述した機能が実現される場合も含まれる。

さらに、以下の形態で実現しても構わない。すなわち、記憶媒体から読み出されたコンピュータプログラムコードを、コンピュータに挿入された機能拡張カードやコンピュータに接続された機能拡張ユニットに備わるメモリに書込む。そして、そのコンピュータプログラムのコードの指示に基づき、その機能拡張カードや機能拡張ユニットに備わるＣＰＵなどが実際の処理の一部または全部を行って、前述した機能が実現される場合も含まれる。

本発明を上記記憶媒体に適用する場合、その記憶媒体には、先に説明したフローチャートに対応するコンピュータプログラムのコードが格納されることになる。

Claims (10)

1. 複数のピクチャからなる動画像を符号化する画像符号化装置であって、
   符号化の単位である複数のタイルからなり、独立して符号化が可能であるタイルセットが、所定の水平画素数以下であり、かつ所定の垂直画素数以下となるようにタイルセットを決定する決定手段と、
   前記ピクチャを前記決定手段で決定されたタイルセットに分割する分割手段と、
   前記分割手段によって分割されたタイルセットに基づいて前記ピクチャを符号化する符号化手段とを備えることを特徴とする画像符号化装置。
2. 前記水平画素数および垂直画素数は画像復号装置が復号可能なパラメータ値の範囲を示すレベルに応じて予め定められることを特徴とする請求項１に記載の画像符号化装置。
3. 前記水平画素数および垂直画素数は画像復号装置が復号可能な処理の組み合わせを示すプロファイルに応じて予め定められることを特徴とする請求項１乃至２のいずれか１項に記載の画像符号化装置。
4. 複数のピクチャからなる動画像を符号化したストリームを復号する画像復号装置であって、
   符号化の単位である複数のタイルからなり、独立して符号化が可能であるタイルセットが、所定の水平画素数以下であり、かつ所定の垂直画素数以下となるように決定されたタイルセットを取得する取得手段と、
   前記取得手段によって取得されたタイルセットに基づいて前記ピクチャを復号する復号手段とを備えることを特徴とする画像復号装置。
5. 前記水平画素数および垂直画素数は画像復号装置が復号可能なパラメータ値の範囲を示すレベルに応じて予め定められることを特徴とする請求項４に記載の画像復号装置。
6. 前記水平画素数および垂直画素数は画像復号装置が復号可能な処理の組み合わせを示すプロファイルに応じて予め定められることを特徴とする請求項４乃至５のいずれか１項に記載の画像復号装置。
7. 複数のピクチャからなる動画像を符号化する符号化方法であって、
   符号化の単位である複数のタイルからなり、独立して符号化が可能であるタイルセットが、所定の水平画素数以下であり、かつ所定の垂直画素数以下となるようにタイルセットを決定する決定工程と、
   前記ピクチャを前記決定工程で決定されたタイルセットに分割する分割工程と、
   前記分割工程によって分割されたタイルセットに基づいて前記ピクチャを符号化する符号化工程とを備えることを特徴とする画像符号化方法。
8. 複数のピクチャからなる動画像を符号化したストリームを復号する画像復号方法であって、
   符号化の単位である複数のタイルからなり、独立して符号化が可能であるタイルセットが、所定の水平画素数以下であり、かつ所定の垂直画素数以下となるように決定されたタイルセットを取得する取得工程と、
   前記取得工程によって取得されたタイルセットに基づいて前記ピクチャを復号する復号工程とを備えることを特徴とする画像復号方法。
9. コンピュータが読み出して実行することにより、前記コンピュータを、請求項１に記載の画像符号化装置として機能させることを特徴とするプログラム。
10. コンピュータが読み出して実行することにより、前記コンピュータを、請求項４に記載の画像復号装置として機能させることを特徴とするプログラム。

Images