JP2009278179A - 画像復号装置、画像復号方法、プログラム、及び、記録媒体 - Google Patents

Abstract

【課題】プレフィルタ処理に対応するポストフィルタ処理を行なうことができない場合、積極的にポストフィルタ処理を省略し、処理量を低減することができる画像復号装置、画像復号方法、プログラム及び記録媒体を提供することを目的とする。
【解決手段】画像復号装置であって、画像における所定の画像領域を指定する指定手段２０１と、指定手段により指定された画像領域に対応する矩形領域で構成される第２の領域に対し、第２の領域の符号に基づいて生成された部分符号を取得する取得手段２０２と、取得手段により取得された部分符号に対し、周波数逆変換を行なう逆変換手段２０５と、逆変換手段により変換された画素値に対して、フィルタ逆演算を行なう逆演算手段２０６とを備え、逆演算手段は、第１の領域の境界周辺の画素値に対して、フィルタ逆演算に用いる画素値がない場合に、フィルタ逆演算を行なわない画像復号装置。
【選択図】図２３

Description

本発明は、画像復号装置、画像復号方法、プログラム、及び、記録媒体に関する。

近年、ＪＰＥＧ（Joint Photographic Coding Experts Group）で採用されているＤＣＴ（離散コサイン変換）に代わる周波数変換として、ウェーブレット変換の採用が増加している。その代表例は、２００１年に国際標準になったＪＰＥＧ後継の画像圧縮伸長方式ＪＰＥＧ２０００である。

これに対し、画像を分割し、分割単位でエントロピー符号化を行うことで、部分的なエントロピー復号や、エントロピー符号の部分的な抽出を可能にする方式が幾つか提案されている。最近では、画像をタイルと呼ばれる矩形に分割し、タイル内で周波数変換を行い、タイル単位でエントロピー符号化を行うＪＰＥＧ−ＸＲと呼ばれる方式が提案されている。

ＪＰＥＧ−ＸＲでは、タイルを４×４画素のブロックに分割し、このブロック単位で周波数変換が行なわれる。また、ＪＰＥＧ−ＸＲでは、このブロック境界においてブロックノイズが生じるのを防ぐため、ブロックをまたぐ４×４画素ごとにプレフィルタ処理が施される。また、画像境界部に関してはブロックをまたぐことができないので４×１のプレフィルタ処理が施される。

このプレフィルタ処理に関する従来技術として、特開２００１−２５７５９６（特許文献１）には、ウェーブレット変換を用いて符号化する符号化方式において、タイル内の係数値を、タイル近傍の係数値を用いて補正することにより、タイル境界の歪を除去する技術が開示されている。

一方、ＪＰＥＧ−ＸＲでは、エントロピー復号なしにタイル単位で符号を抽出することが可能であるため、例えば、ユーザが表示したい領域に関するタイルの符号のみ（部分符号ともいう）をサーバが送信し、クライアント側では、受信した符号だけでエントロピー復号を行うことが可能である。

例えば、サーバにある大きな画像をクライアント側で表示する場合に必要な画質だけの符号、必要な解像度だけの符号、見たい場所だけの符号、見たいコンポ−ネントだけの符号をサーバから受信し、復号することができる。

この様に、サーバに記憶されている符号から、必要な符号だけを受信するためのプロトコルをＪＰＩＰ（JPEG2000 Interactive Protocol）と呼ぶ。このような階層的な画像を部分的にアクセスするためのプロトコルは、画像の多重解像度表現であるＦｌａｓｈＰｉｘ（登録商標）と、それにアクセスするためのプロトコルであるＩＩＰ（Internet Imaging Protocol）に見ることができる。

例えば、特開平１１−２０５７８６号公報（特許文献２）には、画像が格納されたサーバから、解像度、表示範囲、フレームレートのうち少なくとも１つを指定して、動画の１フレームに対応する画像を、画素群素片単位でダウンロードできる技術が開示されている。
特開２００１−２５７５９６号公報 特開平１１−２０５７８６号公報

ＪＰＥＧ−ＸＲで符号化された符号に対し、所定の画像領域に対応する部分符号を取得して復号する場合、タイルの境界の係数に対してポストフィルタ処理を行なう際、隣接する他のタイルがない（取得していない）場合がある。かかる場合、タイル境界の係数であり、４×４のプレフィルタ処理を施した係数に対して、４×１のポストフィルタ処理を施していた。

しかし、４×４のプレフィルタ処理を施した係数に対して、４×１のポストフィルタ処理を施しても正確な逆変換とはならず、余計な処理となってしまう可能性がある。

そこで、本発明は上記問題に鑑みてなされたものであり、ポストフィルタ処理を行なう際、プレフィルタ処理に対応する適切なポストフィルタ処理を行なうことができない場合は、積極的にポストフィルタ処理を省略し、処理量を低減することができる画像復号装置、画像復号方法、プログラム及び記録媒体を提供することを目的とする。

本発明の一局面の画像復号装置は、画像を矩形領域に分割し、分割された矩形領域の画素値に対し、前記矩形領域に隣接する矩形領域の画素値を用いてフィルタ演算を行ない、フィルタ演算後の画素値に対して前記矩形領域毎に周波数変換を行ない、周波数変換後の係数に対して複数の前記矩形領域で構成される第１の領域毎に量子化及び符号化が行なわれた符号を復号する画像復号装置であって、前記画像における所定の画像領域を指定する指定手段と、前記指定手段により指定された画像領域に対応する矩形領域で構成される第２の領域に対し、該第２の領域の符号に基づいて生成された第１の部分符号を取得する取得手段と、前記取得手段により取得された第１の部分符号に対し、周波数逆変換を行なう逆変換手段と、前記逆変換手段により変換された画素値に対して、フィルタ逆演算を行なう逆演算手段とを備え、前記逆演算手段は、前記第１の領域の境界周辺の画素値に対して、前記フィルタ逆演算に用いる画素値がない場合に、前記フィルタ逆演算を行なわない。

本発明の他の局面の画像復号方法は、画像を矩形領域に分割し、分割された矩形領域の画素値に対し、前記矩形領域に隣接した矩形領域の画素値を用いてフィルタ演算を行ない、フィルタ演算後の画素値に対して前記矩形領域毎に周波数変換を行ない、周波数変換後の係数に対して複数の前記矩形領域で構成される第１の領域毎に量子化及び符号化が行なわれた符号を復号する画像復号方法であって、前記画像における所定の画像領域を指定する指定ステップと、前記指定ステップにより指定された画像領域に対応する矩形領域で構成される第２の領域に対し、該第２の領域の符号に基づいて生成された第１の部分符号を取得する取得ステップと、前記取得ステップにより取得された第１の部分符号に対し、周波数逆変換を行なう逆変換ステップと、前記逆変換ステップにより変換された画素値に対して、フィルタ逆演算を行なう逆演算ステップとを有し、前記逆演算ステップは、前記第１の領域の境界周辺の画素値に対して、前記フィルタ逆演算に用いる画素値がない場合に、前記フィルタ逆演算を行なわない。

本発明によれば、ポストフィルタ処理を行なう際、プレフィルタ処理に対応する適切なポストフィルタ処理を行なうことができない場合は、積極的にポストフィルタ処理を省略し、処理量を低減することができる。

本発明における実施例を図面に基づいて説明する。

＜ＪＰＥＧ−ＸＲの基本的な符号化処理について＞
まず、本発明の前提となるＪＰＥＧ−ＸＲの符号化処理について説明する。図１は、ＪＰＥＧ−ＸＲの基本的な符号化処理を示すフローチャートである。図１を用いて、ＪＰＥＧ−ＸＲの基本的な符号化処理を説明する。

ＪＰＥＧ−ＸＲ符号化方式では、まず、原画像をＹＣｇＣｏの各成分に変換する。次に、タイルに分割し、分割されたタイルをさらに４×４画素のブロック（矩形領域）に分割する。なお、図６は、ＪＰＥＧ−ＸＲ符号化方式でのＲＧＢからＹＵＶへの色変換を示す図である。

ここで、図２は、ＪＰＥＧ−ＸＲにおける画像、タイル、マクロブロック、ブロック、画素の関係を示す図である。図２に示すように、画像はタイルに分割され、タイルはマクロブロックに分割され、マクロブロックは１６個のブロックに分割され、１ブロックは４×４の画素から成る。よって、これらの大小関係は、画像≧タイル≧マクロブロック≧ブロック≧画素となる。

また、ＪＰＥＧ−ＸＲでは、この４×４画素のブロック単位で周波数変換を行うため、圧縮率が高い場合には従来技術のＪＰＥＧ同様のブロックノイズが生じる恐れがある。そこで、ブロックノイズを低減させるため、プレフィルタ処理が行われる。

図１に戻り、ブロックをまたぐ４×４画素ごとにプレフィルタ処理が行われる。また、このプレフィルタ処理はタイル境界をまたいで行われる。つまり、このプレフィルタの逆変換を施す場合には注目タイルの上下左右のタイルの画素が必要となる。

図３は、プレフィルタをかける４×４画素（ａ〜ｐ）と、周波数変換をする４×４画素の位置関係を示す図である。さらに、図４は、プレフィルタの式を仮想的なプログラムで表した図である。図３、図４に示す「ａ」は、プレフィルタをかける単位の左上の画素を表す。図４に示すプログラムを実行することにより、プレフィルタ処理を行うことができる。

図１に戻り、各タイル内でブロックごとに周波数変換が行なわれる。また、各タイル内で、マクロブロック内のＤＣ成分が集められて、４×４係数の第２のブロックが形成される。この時、集められたＤＣ成分以外の係数は、ハイパス（ＨＰ）係数として扱われる。

次に、前述した第２のブロックが集められることにより形成される第２の画像(係数群)に対して、第２のブロックをまたぐ４×４係数ごとにプレフィルタ処理が行われる。

再び各タイル内で、第２のブロックごとに周波数変換が行われる。前回同様に、各タイル内でマクロブロック内のＤＣ成分が集められ、これをＤＣ係数として扱う。また、ＤＣ成分以外の係数は、ローパス（ＬＰ）係数として扱う。

ここで、図５は、ＤＣ係数、ＬＰ係数、ＨＰ係数の階層的な位置関係を示す図である。わかりやすく説明するため、１マクロブロックに着目して説明する。図５に示すＨＰ係数について、１回目の周波数変換後に各ブロックごとにＤＣ成分が集められて（一番上のブロックの場合を例にとって、ＤＣ成分が集められる様子を図５に示す）、集められなかった係数がＨＰ係数である。

ＬＰ係数について、１回目の周波数変換後に集められたＤＣ成分に対して２回目の周波数変換を行い、２回目の周波数変換後のＤＣ成分が集められて、集められなかった係数がＬＰ係数である。ＤＣ係数について、２回目の周波数変換後に集められたＤＣ成分がＤＣ係数である。

さらに、図７、８は、周波数変換式を、仮想的なプログラムで表した図である。図７、８のプログラムを実行することで周波数変換処理を行うことができる。

図１に戻り、量子化処理によって、各タイル毎にＤＣ係数、ＬＰ係数、ＨＰ係数が線形量子化される。最後に、エントロピー符号化処理によって、量子化後の係数に対して所定のエントロピー符号化が行われる。本願では、エントロピー符号化の詳細は詳述しない。なお、ＪＰＥＧ−ＸＲで符号化された符号を伸張する場合は、前述した処理の逆順を辿ればよい。

＜タイルと表示ウィンドウとについて＞
次に、本発明においての前提となるタイルと表示ウィンドウについて説明する。以下、説明を簡単にするため図９に示す画像を想定する。図９は、１６×１６画素のタイル２つから成る画像を示す図である。

次に、ユーザ（クライアント）が表示したい領域について説明する。図１０は、タイル内のウィンドウを示す図である。図１０に示すようにタイル１内の斜線領域であるウィンドウ１を、ユーザ（クライアント）から表示するよう指示された場合を考える。

この場合、ユーザ（クライアント）はサーバに対して、ウィンドウ１に相当する符号を要求し、サーバはウィンドウ１をカバーする最小限の符号として、タイル１全体の符号を抽出し送信するよう構成することが可能である。

＜ポストフィルタ処理について＞
クライアント側では、受信（取得）したウィンドウ１を表示するため、タイル１全体の符号をエントロピー復号し、周波数逆変換を行う。そしてこの場合、図１１に示すように、タイル１内部の領域１（タイル境界から３画素以上離れた画素領域）の画素に対しては、４×４のポストフィルタ処理を施し、画像の境界である領域２（画像の境界から２画素以内の画素領域）の画素に対しては、４×１のポストフィルタ処理を施すのが通常である。ただし、タイル左端の画素に関しては，ポストフィルタ処理を省略することも可能である。さて、ここで、画像の境界には位置しないが、タイル境界に位置する領域３（隣接タイルを有するタイル境界から２画素以内の画素領域）の画素に対して、ポストフィルタ処理を施すべきかどうかが問題となる。

こうした場合従来は、領域３の画素に対して、４×1のポストフィルタ処理を施していた。これは、４×４のポストフィルタ処理が施せないためであるが、そもそも４×４のプレフィルタ処理に対して４×１のポストフィルタ処理を施しても正確に逆変換できため、本発明では、ポストフィルタ処理を積極的に省略する。

さらに、実施例１では、図１０に続いて、図１２に示すように、クライアントの要求する領域が、スクロール等の結果、ウィンドウ１からウィンドウ２に遷移した場合を考える。この場合、ユーザ（クライアント）はサーバに対して、ウィンドウ２に相当する符号を要求する。

かかる場合、サーバは、ウィンドウ２をカバーする最小限の符号として、タイル２全体の符号を抽出し送信する。また、タイル１の符号に関しては、既に送信済みなので送信を省略するのが通常である。

この場合、タイル２に対しても図１１と同様のポストフィルタ処理が施され、画像の境界には位置しないが、タイル境界に位置する領域３の画素に対して、前述したポストフィルタの問題が生じる。

しかし、かかる場合に、タイル１の画素をキャッシュとして保持しておけば、図１３の斜線部に示すように、ポストフィルタ処理を施していないタイル１の画素値と、ポストフィルタ処理を施していないタイル２の画素値とを用い、プレフィルタ処理に対応する正確なポストフィルタ処理を施すことができる。

つまり、タイル１で不正確なポストフィルタ処理（４×４のプレフィルタ処理に対し４×１のポストフィルタ処理を施すこと）を抑制し、かつ、ポストフィルタ処理を施していないタイル１の画素値を保持しておけば、タイル２の符号を受信したときに、タイル１、２の境界周辺の画素値に対して正確なポストフィルタ処理（４×４のポストフィルタ処理）を施すことができる。

＜ＪＰＥＧ−ＸＲ符号の構成について＞
図１４は、ＪＰＥＧ−ＸＲの符号構成を示したものであり、画像全体に関するヘッダ、符号化条件等を格納した画像プレーンヘッダ、各タイルのエントロピー符号の位置を示すインデックステーブル、各タイルのエントロピー符号という順で並んでいる。

図１５は、ＪＰＥＧ−ＸＲの符号構成を仮想的なプログラム（以降の図でも同様）で表した図である。

図１６は、イメージヘッダをプログラムで表した図である。図１６に示すように、プレフィルタの有無や画像サイズ、タイルサイズ等のパラメータが格納されている。

図１６に示すように
画像の幅 ＝ WIDTH_MINUS1 ＋１ ・・・式（１）
画像の高さ ＝ HEIGHT_MINUS1 ＋１ ・・・式（２）
で画像の幅と高さが求められる。また、
垂直方向のタイル数 ＝ NUM_VERT_TILES_MINUS1 ＋１ ・・・式（３）
水平方向のタイル数 ＝ NUM_HORIZ_TILES_MINUS1 ＋１ ・・・式（４）
で水平、垂直方向のタイル数が求められる。この結果、画像の総タイル数は
N =（NUM_VERT_TILES_MINUS1 ＋１）× （NUM_HORIZ_TILES_MINUS1 ＋１） ・・・式（５）
で与えられる。実施例１においては、各タイルに対し、左上からラスター順に番号を振ることにする。タイルの番号は１から始まりNで終わる。また本実施例においては、画像の右端や下端では端数サイズのタイルが生じうるが、各タイルのサイズは基本的に同一とする。

また、
タイルの幅TILEWIDTH ＝ （TILEWIDTH_INMB_MINUS1＋１）×１６ ・・・式（５）
タイルの高さTILEHEIGHT ＝ （TILEHEIGHT_INMB_MINUS1＋１）×１６ ・・・式（６）
で与えられる。

図１７は、イメージプレーンヘッダをプログラムで表した図である。図１７に示すように、イメージプレーンヘッダには、量子化等の条件が格納されている。

図１８は、インデックステーブルをプログラムで表した図である。図１８に示すように、インデックステーブルには、インデックステーブルの終端から、各タイルのエントロピー符号へのオフセット値が格納されている（最初のタイルへのオフセット値は０である）。

図１９は、タイルの符号をプログラムで表した図である。各タイルのエントロピー符号を「マクロブロックの場所→周波数」の順で並べる場合(スペーシャルモード)と、「周波数毎→マクロブロック場所毎」の順で並べる場合（周波数モード）の２通りがあるが、ここではスペーシャルモードを採用している。図２０は、２通り（スペーシャルモードと周波数モード）のタイルの符号の配列を示す図である。

また、図２１は、スペーシャルモードのタイルの符号の詳細をプログラムで表した図である。図２１に示すように、冒頭にTILE_STARTCODEが位置する。このTILE_STARTCODEは、もともと各タイルのエントロピー符号の始まりを表す所定２４ビットのマーカに過ぎないが、実施例１においては、このTILE_STARTCODEに、各タイルの番号Ｎを入力している。

つまり、各タイルの符号は各タイルの番号を有しており、前記画像サイズ、タイル数とこの番号をもとに、復号側は、画像全体中の各タイルの位置を知ることができる。以上、説明した内容を踏まえ、実施例１における画像復号装置について説明する。

＜本発明に係るシステム構成について＞
図２２は、本発明に係るシステムの概略構成を示す図である。本発明に係る情報処理装置（サーバ）は、ＨＤＤ１０１（Hard Disk Drive）、ＲＡＭ（Random Accesses Memory）１０２、ＣＰＵ（Central Processing Unit）１０３を含み、クライアントＰＣ（Personal Computer）１０４とデータバスを介して接続されている。

図２２を用いて、本発明に係るシステムの概略処理を説明する。まず、ＨＤＤ１０１上に記憶された原画像の符号（ＪＰＥＧ−ＸＲで符号化された符号）が、ＣＰＵ１０３からの命令によって、ＲＡＭ１０２上に読み込まれる。

次に、ＣＰＵ１０３は、ＲＡＭ１０２上の符号を読み込み、符号の抽出処理を行なって、所定の画像領域に対応する第２の符号（部分符号）を抽出する。ＣＰＵ１０３は、第２の符号をＲＡＭ１０２上の別の領域に書き込む。また、ＣＰＵ１０３からの命令によって、第２の符号が復号される。このとき、第２の符号を復号するときに、本発明では条件に応じてポストフィルタ処理を省略するが、詳細は後述する。

また、さらにバス上にクライアントＰＣ１０４（画像復号装置）が接続されている場合、クライアントＰＣ１０４は、所定の画像領域を情報処理装置（サーバ）に対して指定し、情報処理装置は、指定された画像領域を受け付ける。

情報処理装置が受け付ける情報は、クライアントＰＣが指定した画像の符号（符号ファイル名）、画像の解像度、表示ウィンドウ（リクエストウィンドウ）のサイズ（roff，rsize）などである。リクエストウィンドウについては図２４を用いて後述する。

次に、ＨＤＤ１０１上に記録された原画像の符号が、ＣＰＵ１０３からの命令によってＲＡＭ１０２上に読み込まれる。次に、ＣＰＵ１０３は、ＲＡＭ１０２上の符号を読み込み、符号の抽出処理を適用してクライアントＰＣ１０４が要求する矩形領域に相当する第２の符号を抽出する。次に、ＣＰＵ１０３からの命令によって、第２の符号がクライアントＰＣ１０４に送信され、クライアントＰＣ１０４は、第２の符号を復号する。

本願における、クライアントＰＣ１０４から情報処理装置（サーバ）へ所望する画像領域の指定は、ＪＰＩＰと同様に、表示したい解像度と領域との両方が少なくとも指定されることとする。

＜実施例１に係る画像復号装置の主要機能の構成について＞
図２３は、実施例１に係る画像復号装置の主要機能の構成を示す図である。画像復号装置２００は、指定手段２０１、取得手段２０２、エントロピー復号手段２０３、逆量子化手段２０４、周波数逆変換手段２０５、ポストフィルタ手段２０６、記憶手段２０７を含む機能構成である。

指定手段２０１は、表示したい画像領域の指定をユーザから受け付け、サーバ側に指定された画像情報を送信する。ここで、指定された画像情報とは、符号ファイル名、解像度、画像領域のサイズ情報、画像領域の位置情報などである。

ここで、図２４を用いてリクエストウィンドウについて説明する。図２４は、リクエストウィンドウの一例を示す図である。例えば、図２４に示すような３２０×３２０画素の画像に対し、左上を原点として、（１２８，１２８）を頂点とした、大きさ１２８×１２８画素の領域が、所定の画像領域として指定される場合、
fsize＝(fx，fy)＝(320,320) (解像度の指定)
roff＝(ox，oy)＝(128,128) (領域オフセットの指定)
rsize＝(rx，ry)＝(128,128) (領域サイズの指定)
なる指定がなされる。指定手段２０１は、これらの情報をサーバに送信する。

取得手段２０２は、指定した画像領域に対応する部分符号をサーバから受信し、受信した部分符号をエントロピー復号手段２０３に出力する。

エントロピー復号手段は、取得手段２０２より部分符号を取得し、取得した部分符号に対してエントロピー復号処理を行ない、復号した係数を逆量子化手段２０４に出力する。

逆量子化手段２０４は、エントロピー復号手段２０３より取得した係数に対して逆量子化処理を行って周波数係数を得て、周波数逆変換手段２０５に周波数係数を出力する。

周波数逆変換手段２０５は、逆量子化手段２０４より取得した周波数係数に対し、周波数逆変換を行って画素値に戻す。また、周波数逆変換手段２０５は、周波数逆変換後の画素値をポストフィルタ手段２０６に出力する。

ポストフィルタ手段２０６は、周波数逆変換手段２０５より取得した画素値に対し、ポストフィルタ処理を行なう。ここで、ポストフィルタ手段２０６は、フィルタ対象ブロックに対して、プレフィルタ処理に対応する適切なポストフィルタ処理が可能なブロックであるか否かの判定を行なう。

適切なポストフィルタ処理が可能なブロックとは、例えば、４×４のプレフィルタ処理に対しては４×４のポストフィルタ処理、４×１のプレフィルタ処理に対しては４×１のポストフィルタ処理を施すことができるブロックである。図１１を例にすると領域１と領域３内のブロックが、適切なポストフィルタ処理が可能なブロックである。

実施例１では、プレフィルタ処理に適切な対応するポストフィルタ処理を行うことができない場合は、ポストフィルタ処理を行なわない。図１１を例にすると、領域３のブロックについては、ポストフィルタ処理を施さない。

つまり、領域３の画素は、領域３の画素に隣接するタイルが存在しないので、４×４のポストフィルタ処理を行なうことができないため、かかる場合に従来行なっていた４×１のポストフィルタ処理を積極的に省略する。

記憶手段２０７は、ポストフィルタ手段２０６による処理後の画素値を記憶する。この画素値には、図１１に示す領域３のように、ポストフィルタ処理が行なわれなかった画素値も含む。また、記憶手段２０７は、周波数逆変換とポストフィルタ処理とが一体となって行なわれる場合は、周波数係数を記憶する。かかる場合の詳細については変形例２で説明する。

＜部分符号の生成処理１について＞
ここでは、画像復号装置２００が取得する部分符号の生成処理１について説明する。図２５は、部分符号の生成処理１のフローチャートである。ここでは部分符号はサーバ側で生成されるとして説明する。また、部分符号の生成処理１は、クライアントＰＣ側から１回のみ、画像領域の指定があることを想定している。

ステップ１０１では、指定された画像情報である符号ファイル名と、表示に必要な解像度，領域オフセット，領域サイズ（fsize，roff，rsize)をサーバが受け付ける（以下、表示に必要な解像度、領域オフセット、領域サイズのセットを、ウィンドウ要求と呼ぶ）。

ステップ１０１に続いてステップ１０２に進み、サーバは、fsizeのfx,fyから、送信に必要な解像度レベルを算出する。解像度算の仕方については図２６を用いて後述する。ＪＰＥＧ−ＸＲの場合、選択可能な解像度は、原画像の１／１６、１／４、等倍の３種類である（１／１６，１／４，等倍のとき、それぞれｄ＝１６，４，１としておく）。

ステップ１０２に続いてステップ１０３に進み、サーバは、解像度と領域オフセット、領域サイズをもとに、表示に必要なタイルの番号を求める。

表示に必要なタイルの内、左上のタイルの番号は、
floor｛（Height /（oy×d））×（NUM_HORIZ_TILES_MINUS1＋１）＋ceiling｛ (ox×d)｝/ TILEWIDTH｝ ・・・式（７）
であり、右下のタイルの番号は
floor｛（Height/{（oy＋ry）×d}）｝×（NUM_HORIZ_TILES_MINUS1＋１）＋ceiling｛{（oy＋ry）×d}｝/ TILEWIDTH｝ ・・・式（８）
である、ここでfloor(x)は、実数xのフロア関数、ceiling(x)は、実数xのシーリング関数である。

ステップ１０３に続いてステップ１０４に進み、サーバは、上記左上、右下のタイルで構成される矩形領域のタイルのエントロピー符号だけを残し、その他のタイルのエントロピー符号を破棄する。

ステップ１０４に続いてステップ１０５に進み、サーバは、残ったタイルの符号用にインデックステーブルを書き換える。例えば、図１４に示す符号構成において、７番〜１２番までのタイルだけが必要な場合は、これらのタイルのエントロピー符号だけ残し、インデックステーブルは、順にこれらを指すように修正する。これらの処理によって、原符号からエントロピー復号なしに表示に必要な部分符号が生成される。

ステップ１０５に続いてステップ１０６に進み、サーバは、生成した部分符号を、画像領域を要求したクライアントＰＣに送信する。

＜解像度算出処理について＞
ステップ１０２において、サーバにより行なわれる解像度算出について、図２６を用いて説明する。図２６は、解像度算出処理のフローチャートである。

ステップ２０１では、サーバは、受け付けた画像情報からfsizeのfx，fyを取得する。ステップ２０１に続いてステップ２０２に進み、取得した符号ファイル名の画像符号ファイルのイメージヘッダから、原画像の横方向画素数Width，縦方向画素数Heightを検出する。

ステップ２０２に続いてステップ２０３に進み、解像度判定に用いるｍの値を算出する。解像度判定に用いるｍは、
m = max [ fx / Width , fy / Height ] ・・・式（９）
の算出式で求められる。

ステップ２０３に続いてステップ２０４に進み、ｍが１／１６以下であるか否かを判定する。ステップ２０４の判定結果がＹＥＳである場合、ステップ２０５に進み、必要な解像度はＤＣ符号のみであると決定する。

ステップ２０４の判定結果がＮＯである場合、ステップ２０６に進み、ｍが１／４以下であるか否かを判定する。ステップ２０６の判定結果がＹＥＳである場合、ステップ２０７に進み、必要な解像度は、ＤＣ符号とＬＰ符号のみであると決定する。

ステップ２０６の判定結果がＮＯである場合、ステップ２０８に進み、必要な解像度は全ての符号（ＤＣ、ＬＰ、ＨＰ、Ｆｌｅｘｂｉｔｓ全ての符号）であると決定する。
以上の処理により、必要な解像度を求めることができる。

＜復号処理１について＞
次に、実施例１に係る画像復号装置の復号処理１について説明する。図２７は、画像復号装置における復号処理１のフローチャートである。復号処理１は、部分符号の生成処理１に対応する復号処理である。

ただし、図２７に示す例では説明を簡単にするため、原符号は、２回プレフィルタが施されており、表示に必要な部分符号としては、原符号の１／４の解像度に相当する所定のタイルの符号のみが画像復号装置に入力されるものとする。

ステップ３０１では、取得手段２０２が、サーバから部分符号を取得する。ステップ３０１に続いてステップ３０２では、エントロピー復号手段２０３が、取得した部分符号のイメージヘッダから画像サイズ、タイルサイズ、原画像におけるタイル数を検知する。なお、ステップ３０２では、取得手段２０２がかかる検出を行なってもよい。

ステップ３０２に続いてステップ３０３に進み、エントロピー復号手段２０３が、インデックステーブルをもとに、各タイルの符号をエントロピー復号する。ステップ３０３に続いてステップ３０４に進み、周波数逆変換手段２０５は、タイル符号の冒頭にあるタイル番号をもとに各タイルの位置を検出する。

ステップ３０４に続いてステップ３０５に進み、周波数逆変換手段２０５は、各タイルの係数を周波数逆変換する。ステップ３０５に続いてステップ３０６に進み、ポストフィルタ手段２０６が、適切なポストフィルタ処理が可能なブロックであるか否かを判定する。

ステップ３０６の判定結果がＹＥＳである場合、ステップ３０７に進み、ポストフィルタ手段２０６が、適切なポストフィルタ処理を施す。ステップ３０６の判定結果がＮＯである場合、又はステップ３０７の処理が終了した場合、ステップ３０８に進み、ポストフィルタ手段２０６が、全ブロックに対してステップ３０６の判定を行なったか否かを判定する。判定結果がＮＯである場合は、ステップ３０６に戻る。

以上、前述したように取得した部分符号に対する復号処理を行なうことで、タイル境界の画素値に対して、隣接するタイルが存在しないことにより適切なポストフィルタ処理ができない場合は、積極的にポストフィルタ処理を省略することにより処理量を低減することができる。

＜部分符号の生成処理２について＞
次に、実施例１に係る画像復号装置が取得する部分符号の生成処理２について説明する。図２８は、サーバ側における部分符号の生成処理２のフローチャートである。部分符号の生成処理２では、１つの画像に対して、複数の画像領域が指定され、複数の部分符号をクライアントＰＣ側に送信する場合を想定している。なお、図２８に示す処理において、図２５と同様の処理を行なうものは図２５と同じ符号を付し、その説明を省略する。

ステップ４０１では、サーバは、クライアントＰＣ等から符号ファイル名を受け付ける。ステップ４０１に続いてステップ４０２に進み、サーバは、受け付けた符号ファイル名に対応するイメージヘッダ、イメージプレーンヘッダをクライアントＰＣ側に送信する。

ステップ４０２に続いてステップ４０３に進み、サーバは、クライアントＰＣ側から画像情報を受け付けたか否かを判定する。ステップ４０３の判定結果がＹＥＳである場合は、ステップ１０２に進み、以降は図２５に示す処理と同様の処理を行なう。

これにより、クライアントＰＣ側から一度符号ファイル名が指定された場合、同じ画像において、画像領域を指定される毎に、画像領域に対応する部分符号をクライアントＰＣ側に送信することが可能になる。

＜復号処理２のフローチャート＞
次に、実施例１に係る画像復号装置の復号処理２について説明する。図２９〜３１は、画像復号装置における復号処理２のフローチャートである。復号処理２は、部分符号の生成処理２に対応する復号処理である。

なお、図２９〜３１に示す例でも説明を簡単にするため、原符号は、２回プレフィルタが施されており、表示に必要な部分符号としては、原符号の１／４の解像度に相当する所定のタイルの符号のみが画像復号装置に入力されるものとする。

図２９〜３１に示す処理において、図２７に示す処理と同様の処理を行なうものは、図２７と同じ符号を付し、その説明を省略する。

ステップ５０１では、指定手段２０１が、ユーザにより復号（表示）したい画像の符号ファイル名を指定される。ステップ５０１に続いてステップ５０２に進み、取得手段２０２が、サーバからイメージヘッダ、イメージプレーンヘッダを取得する。

ステップ５０２に続いてステップ５０３に進み、指定手段２０１が、ユーザにより第１の画像領域を指定され、クライアントＰＣ側に指定された画像領域に対応する画像情報を送信する。

ステップ５０３に続いてステップ５０４に進み、図２７に示す復号処理（ステップ３０１〜ステップ３０８）を行なう。

ステップ５０４に続いてステップ５０５に進み、記憶手段２０７が、第１の部分符号に対応する部分画像を記憶する。なお、ステップ５０５では、ステップ５０４の復号処理が終了した時点で、部分画像を記憶するようにしたが、ステップ３０７のポストフィルタ処理を行なった後の画素値をその都度記憶するようにしてもよい。また、その際、ステップ３０６によりポストフィルタ処理が省略された場合は、ポストフィルタ処理がされていない画素値を記憶するようにする。

ステップ５０５に続いてステップ５０６に進み、指定手段２０１が、第１の画像領域とは異なる第２の画像領域が指定されたか否かを判定する。

ステップ５０６の判定結果がＹＥＳである場合、ステップ６０１に進み、取得手段２０２が、第２の画像領域に対応する第２の部分符号を取得する。ステップ６０１の処理が終了すると、ステップ３０２〜３０５までは図２７に示す処理と同様の処理を行なう。

ステップ６０２では、ポストフィルタ手段２０６が、ポストフィルタ処理をする対象のブロックが、第２の部分符号のみで適切なポストフィルタ処理が可能なブロック否かを判定する。

ステップ６０２の判定結果がＹＥＳである場合はステップ３０７の処理を行う。ステップ６０２の判定結果がＮＯである場合は、ステップ６０３に進み、ポストフィルタ手段２０６が、第１の部分符号を用いて適切なポストフィルタ処理が可能なブロックか否かを判定する。

ここで、第１の部分符号を用いて適切なポストフィルタ処理が可能なブロックとは、記憶手段２０７に記憶されている第１の部分符号に対応する部分画像を用いて、適切なポストフィルタ処理ができるブロックのことを言う。たとえば、図１３に示す領域３のブロックのうち、タイル１に隣接するタイル２のブロックである。

ステップ６０３の判定結果がＹＥＳである場合、ステップ６０４に進み、ポストフィルタ手段２０６は、記憶手段２０７に記憶されている部分画像を用いて適切なポストフィルタ処理を行なう。

例えば、図１３に示すタイル２における領域３のブロックは、タイル１における領域３のブロックが記憶手段２０７に記憶されているため、かかる領域３のブロックについて適切なポストフィルタ処理が可能となる。

以上、前述したように複数の部分符号を復号する場合に、隣接するタイルが存在しない場合に、ポストフィルタ処理を積極的に省略し、その画素値を記憶しておくことで、後にその画素値を用いて適切なポストフィルタ処理を行なうことができる。また、不適切なポストフィルタ処理を行なった画素値を用いてポストフィルタ処理を行なうことがないため、画質の劣化を防ぐことができる。

［変形例１］
変形例１に係る画像復号装置について説明する。変形例１では、復号処理２における変形例であり、復号処理２では、部分符号に対応する部分画像を記憶していたが、変形例１では、部分符号自体を記憶する。

部分符号の生成処理は実施例１における生成処理２と同様であるので、その説明を省略する。以下、変形例１における復号処理について図３２〜３４を用いて説明する。図３２〜３４は、変形例１における復号処理のフローチャートである。なお、図３２〜３４に示す処理において、図２７、２９〜３１に示す処理と同様の処理を行なうものは、図２７、２９〜３１と同じ符号を付し、その説明を省略する。

復号処理装置が、復号（表示）したい画像の符号ファイル名と画像領域を指定されるまでは、ステップ５０１〜５０３と同様の処理を行なう。次に、ステップ７０１では、取得手段２０２が第１の部分符号を取得し、取得した第１の部分符号を保持する。取得手段２０２は記憶部を備え、その記憶部に部分符号を保持するようにしてもよいし、外部の記憶部（例えば記憶手段２０７）に保持するようにしてもよい。

ステップ７０１の処理が終了すると、ステップ３０２〜３０７の処理を行う。ここで、ステップ３０６の判定結果がＮＯである場合、ステップ７０２に進み、ポストフィルタ手段２０６が、ポストフィルタ処理を省略せず４×１のポストフィルタ処理を行なう。

次に、ステップ５０６において、第２の部分画像が指定されると、ステップ７０３に進み、取得手段２０２が、第２の部分符号を取得し、取得した第２の部分符号を保持する。保持の仕方はステップ７０１の処理と同様とする。

ステップ７０４では、エントロピー復号手段２０３が、記憶されている第１の部分符号と取得手段２０２より取得した第２の部分符号とのそれぞれのインデックステーブルをもとに各タイルの符号をエントロピー復号する。

ステップ７０４に続いてステップ７０５に進み、周波数逆変換手段２０５が、タイル符号の冒頭にあるタイル番号をもとに、第１及び第２の部分符号中の各タイルの位置を検出する。

ステップ７０５に続いてステップ７０６に進み、周波数逆変換手段２０５が、第１及び第２の部分符号中の各タイルの係数を周波数逆変換する。ステップ３０６以降の処理は前述した処理と同様である。

以上、変形例１によれば、同一の画像において、複数の画像領域を指定する場合であっても、取得した部分符号を記憶しておくことで、表示する画像領域を復号する際に、必要な部分符号を記憶部から取得して適切に復号することができる。

また、部分符号自体を記憶するため、適切なポストフィルタ処理ができなくても、ステップ７０２に示すように、４×１のポストフィルタ処理を施すことができる。後に、この画素をポストフィルタ処理で用いる場合でも、ポストフィルタ処理を施した画素値を用いるのではなく、部分符号から変換した画素値を用いることができるので、適切なポストフィルタ処理が可能となる。また、この場合、処理量を削減したいのであれば、ステップ７０２は、実施例１同様省略することも可能である。

［変形例２］
変形例２に係る画像復号装置について説明する。変形例２では、プレフィルタ処理と周波数変換処理とが一体化されて処理することを想定し、同様に周波数逆変換処理とポストフィルタ処理とが一体化されて処理することを想定している。

前述した実施例、変形例では、ポストフィルタ処理と周波数逆変換処理とが独立した構成となっていたが、これらの処理は一体化して構成する場合が多い。なぜなら、ポストフィルタ処理と周波数逆変換処理とは、線形処理のシーケンシャル結合が可能であるので、計算式としての一体化が容易だからである。

線形処理を一体化した場合の典型的な変換は、重複直交変換（Lapped Orthogonal Transform）や重複双直交変換がある。ポストフィルタ処理と周波数逆変換処理との一体化の処理は、これらの重複直交変換や重複双直交変換においても適用可能である。

実施例１や変形例１と比較して、ポストフィルタ処理と周波数逆変換処理とを一体化することで相違する点は、復号化対象のタイルの隣接タイルが存在しない場合、ポストフィルタ演算部分を行なわずに周波数逆変換処理を行なう点である。よって、ポストフィルタ処理と周波数逆変換処理とを一体化して行なう場合でも、本発明を実施することができる。

また、実施例１では、複数の画像領域が指定される場合、部分符号に対応する部分画像を記憶しておくようにしたが、変形例２では、部分画像ではなく周波数逆変換する前の周波数係数を記憶するようにすればよい。また、複数の画像領域が指定される場合、部分符号自体を記憶する変形例１においても、ポストフィルタ処理と周波数逆変換処理とを一体化して処理するようにすれば適用可能である。

以上、本発明の実施例について詳述したが、本発明は係る特定の実施例に限定されるものではなく、特許請求の範囲に記載された本発明の要旨の範囲内において、前述した変形例以外にも種々の変形・変更が可能である。

なお、実施例１や変形例において説明した処理内容をプログラムとして記録媒体に記録し、このプログラムが記録された記録媒体をコンピュータに読み取らせて、前述した処理を画像復号装置に実行させることも可能である。

また、本発明に係る画像復号装置では、クライアントＰＣは必ずしも必要ではなく、自装置で所定の領域を指定し、自装置内に記憶する符号から所定の領域に対応する符号を抽出して復号し、表示するようにしてもよい。

ＪＰＥＧ−ＸＲの圧縮・伸張処理のフローチャート。 ＪＰＥＧ−ＸＲにおける画像、タイル、マクロブロック、ブロック、画素の関係を示す図。 プレフィルタをかける４×４画素と、周波数変換をする４×４画素の位置関係を示す図。 プレフィルタの式を仮想的なプログラムで表した図。 ＤＣ係数、ＬＰ係数、ＨＰ係数の階層的な位置関係を示す図。 ＪＰＥＧ−ＸＲの色変換を示す図。 周波数変換式を仮想的なプログラムで表した図。 周波数変換式を仮想的なプログラムで表した図。 １６×１６画素の２つのタイルを示す図。 タイル１内のウィンドウを示す図。 タイル１内のポストフィルタを示す図。 タイル１、２をまたがるウィンドウを示す図。 本発明におけるポストフィルタを示す図。 全体画像の符号構成を示す図。 ＪＰＥＧ−ＸＲにおける全体画像の符号構成をプログラムで表した図。 ＪＰＥＧ−ＸＲにおけるイメージヘッダをプログラムで表した図。 ＪＰＥＧ−ＸＲにおけるイメージプレーンヘッダをプログラムで表した図。 ＪＰＥＧ−ＸＲにおけるインデックステーブルをプログラムで表した図。 ＪＰＥＧ−ＸＲにおける各タイルの符号をプログラムで表した図。 ＪＰＥＧ−ＸＲにおける２通りのタイル符号の配列を示す図。 ＪＰＥＧ−ＸＲにおけるタイルの符号の詳細をプログラムで表した図。 本発明に係るシステムの概略構成を示す図。 実施例１に係る画像復号装置の主要機能構成を示すブロック図。 リクエストウィンドウの一例を示す図。 部分符号の生成処理１のフローチャート。 解像度算出処理のフローチャート。 復号処理１のフローチャート。 部分符号の生成処理２のフローチャート。 復号処理２のフローチャート。 復号処理２のフローチャート。 復号処理２のフローチャート。 変形例１における復号処理のフローチャート。 変形例１における復号処理のフローチャート。 変形例１における復号処理のフローチャート。

符号の説明

１０１ ＨＤＤ
１０２ ＲＡＭ
１０３ ＣＰＵ
１０４ クライアントＰＣ
２００ 画像復号装置
２０１ 指定手段
２０２ 取得手段
２０３ エントロピー復号手段
２０４ 逆量子化手段
２０５ 周波数逆変換手段
２０６ ポストフィルタ手段
２０７ 記憶手段

Claims (9)

1. 画像を矩形領域に分割し、分割された矩形領域の画素値に対し、前記矩形領域に隣接する矩形領域の画素値を用いてフィルタ演算を行ない、フィルタ演算後の画素値に対して前記矩形領域毎に周波数変換を行ない、周波数変換後の係数に対して複数の前記矩形領域で構成される第１の領域毎に符号化が行なわれた符号を復号する画像復号装置であって、
   前記画像における所定の画像領域を指定する指定手段と、
   前記指定手段により指定された画像領域に対応する矩形領域で構成される第２の領域に対し、該第２の領域の符号に基づいて生成された第１の部分符号を取得する取得手段と、
   前記取得手段により取得された第１の部分符号に対し、周波数逆変換を行なう逆変換手段と、
   前記逆変換手段により変換された画素値に対して、フィルタ逆演算を行なう逆演算手段とを備え、
   前記逆演算手段は、前記第１の領域の境界周辺の画素値に対して、前記フィルタ逆演算に用いる画素値がない場合に、前記フィルタ逆演算を行なわない画像復号装置。
2. 前記フィルタ逆演算に用いる画素値がない場合の前記逆演算手段の逆演算結果である前記第１の領域の画素値を記憶する記憶手段を備え、
   前記取得手段は、
   前記受付手段により受け付けた画像領域に対応する矩形領域が、前記第１の領域に隣接する他の領域と前記第１の領域とに跨る第３の領域である場合、前記第１の領域に含まれない領域に対応する符号に基づいて生成される第２の部分符号を取得し、
   前記逆演算手段は、前記他の領域の境界周辺の画素値に対して、前記記憶手段に記憶されている画素値を用いてフィルタ逆演算を行なう請求項１記載の画像復号装置。
3. 前記第１の部分符号を記憶する記憶手段と、
   前記取得手段は、
   前記受付手段により受け付けた画像領域に対応する矩形領域が、前記第１の領域に隣接する他の領域と前記第１の領域とに跨る第３の領域である場合、前記第１の領域に含まれない領域に対応する符号に基づいて生成される第２の部分符号を取得し、
   前記逆変換手段は、前記第１の部分符号と前記第２の部分符号との両方の部分符号に対し、周波数逆変換を行い、
   前記逆演算手段は、前記他の領域の境界周辺の画素値に対して、前記逆変換手段により変換された前記第１の部分符号に対応する画素値を用いてフィルタ逆演算を行なう請求項１記載の画像復号装置。
4. 前記フィルタ逆演算を一体化して前記周波数逆変換を行なう場合、
   前記逆変換手段は、前記第１の領域の境界周辺の周波数係数に対して、前記フィルタ逆演算に用いる画素値がない場合に、前記フィルタ逆演算における演算を行なわずに周波数逆変換を行なう請求項１記載の画像復号装置。
5. 前記第１の領域の周波数係数を記憶する記憶手段を備え、
   前記取得手段は、
   前記受付手段により受け付けた画像領域に対応する矩形領域が、前記第１の領域に隣接する他の領域と前記第１の領域とに跨る第３の領域である場合、前記第１の領域に含まれない領域に対応する符号に基づいて生成された部分符号を取得し、
   前記逆変換手段は、前記他の領域の境界周辺の周波数係数に対して、前記記憶手段に記憶されている周波数係数を用いて前記フィルタ逆演算と一体化した周波数逆変換を行なう請求項４記載の画像復号装置。
6. 前記第１の部分符号を記憶する記憶手段と、
   前記取得手段は、
   前記受付手段により受け付けた画像領域に対応する矩形領域が、前記第１の領域に隣接する他の領域と前記第１の領域とに跨る第３の領域である場合、前記第１の領域に含まれない領域に対応する符号に基づいて生成された第２の部分符号を取得し、
   前記逆変換手段は、前記第１の部分符号と前記第２の部分符号との両方の部分符号におけるエントロピー復号結果に対し、周波数逆変換を行なう請求項４記載の画像復号装置。
7. 画像を矩形領域に分割し、分割された矩形領域の画素値に対し、前記矩形領域に隣接した矩形領域の画素値を用いてフィルタ演算を行ない、フィルタ演算後の画素値に対して前記矩形領域毎に周波数変換を行ない、周波数変換後の係数に対して複数の前記矩形領域で構成される第１の領域毎に符号化が行なわれた符号を復号する画像復号方法であって、
   前記画像における所定の画像領域を指定する指定ステップと、
   前記指定ステップにより指定された画像領域に対応する矩形領域で構成される第２の領域に対し、該第２の領域の符号に基づいて生成された第１の部分符号を取得する取得ステップと、
   前記取得ステップにより取得された第１の部分符号に対し、周波数逆変換を行なう逆変換ステップと、
   前記逆変換ステップにより変換された画素値に対して、フィルタ逆演算を行なう逆演算ステップとを有し、
   前記逆演算ステップは、前記第１の領域の境界周辺の画素値に対して、前記フィルタ逆演算に用いる画素値がない場合に、前記フィルタ逆演算を行なわない画像復号方法。
8. 請求項７記載の情報処理方法が記載された、コンピュータにより実行可能なプログラム。
9. 請求項８記載のプログラムを記録した、コンピュータにより読み取り可能な記録媒体。

Images