JP2007180916A

JP2007180916A - 空間解像度変換装置

Info

Publication number: JP2007180916A
Application number: JP2005377114A
Authority: JP
Inventors: Toru Kumakura; 徹熊倉; Satoshi Sakazume; 智坂爪; Kazuhiro Shimauchi; 和博嶋内; Motoharu Ueda; 基晴上田
Original assignee: Victor Company of Japan Ltd
Current assignee: Victor Company of Japan Ltd
Priority date: 2005-12-28
Filing date: 2005-12-28
Publication date: 2007-07-12

Abstract

【課題】従来のクロッピング処理によるＨＤ解像度からＳＤ解像度への解像度変換では、クロッピング領域外のＨＤ解像度の画素領域に関する画像情報が欠落する。レターボックス処理等による解像度変換では、必ずしも十分な画像情報を残すことができない。
【解決手段】ＨＤ解像度からＳＤ解像度へ変換する際に、ＨＤ解像度の画像フレームにおいて、ＳＤ解像度の画像フレームとなるクロッピング領域を、ＨＤ画像のアスペクト比をそのまま保持するオリジナル領域と、クロッピング領域内でオリジナル領域以外の歪み領域とに分割し、ＳＤ解像度への変換の際に、オリジナル領域以外のＨＤ解像度の画像フレームの画像情報を歪み領域に収まるように縮小して格納する。歪み領域は二次関数f(x)で縮小する部分歪み領域４１と、線形関数g(x)で縮小する部分歪み領域４２とに分割し、オリジナル領域と歪み領域との境界の連続性を保ち、画像の端のつぶれを抑制する。
【選択図】図５

Description

本発明は空間解像度変換装置に係り、特に動画像に対してスケーラブル符号化を行う際に利用する空間解像度変換装置に関する。

従来のスケーラブル符号化においては、図２２（Ａ）〜（Ｃ）に示すように、ある解像度から縦、横共に半分ずつ縮小するような空間解像度を設定し、これらの空間解像度を自由に切り替えることができるように構成することで空間方向のスケーラビリティを実現することが一般的である。

また、このような縦、横とも半分ずつ縮小することで得られる空間解像度では対応できない空間解像度、例えば、横１９２０画素、縦１０８０画素のＨＤ解像度から、横７２０画素、縦４８０画素への空間解像度変換に対しては、図２３の画像１０２，１０５が示すようなクロッピング処理、図２３の縮小画像１０８，１０９，１１０が示すようなレターボックス処理、図２７の画像５０２，５０３が示すようなスクイーズ処理を行うことにより、ＨＤ（High Definition）解像度からＳＤ(Standard Definition)解像度への空間解像度変換を伴ったスケーラブル符号化及び復号化を実現している（例えば、特許文献１参照）。

また、１６：９や４：３のアスペクト比をもつディスプレイ装置において、より柔軟な空間解像度変換を利用して多様な表示を実現しているものも多く存在する（例えば、特許文献２、特許文献３、特許文献４参照）。

特許第３３７４９８９号公報特開平６−６６３４号公報特許第２８８８２６８号公報特開平９−１２１２９３号公報

従来は、画像信号に対してスケーラブル符号化及び復号化を行う場合、高解像度の画像信号に対して所定の空間フィルタリング処理を施した後に２：１の割合でダウンサンプリングして、低解像度の画像信号を生成する。例えば、ＨＤ解像度の画像信号を所定の空間フィルタリング処理を行った後に２：１の割合でダウンサンプリングした低解像度の画像信号を符号化して伝送すると、その画像のアスペクト比は元のＨＤ解像度の画像信号のそれの１６：９のままである。よって、４：３のアスペクト比であるＮＴＳＣ方式のテレビジョン受像機において、ＨＤ解像度の画像信号からダウンサンプリングして得られた、１／４の解像度の画像信号をモニタすることができないという問題があり、その問題に関しては多くの検討が行われていることで改善が進んでいる。

しかしながら、従来のＨＤ解像度からＳＤ解像度への空間解像度変換を利用した空間解像度スケーラブル符号化においては、いくつかの問題点が生じる。

図２３の１０１から１０７は、ＨＤ解像度からＳＤ解像度へ空間解像度変換を行う際にクロッピング処理を用いた例である。ここで説明を簡単にするために、特に断らない限り、以後、水平方向１９２０画素、垂直方向１０８０画素（１９２０×１０８０画素）をもつ解像度はＨＤ解像度とする。また、水平方向７２０画素、垂直方向４８０画素（７２０×４８０画素）をもつ解像度はＳＤ解像度とする。

図２３において、まず同図（Ａ）に示すＨＤ解像度の動画像の画像フレーム１０１からより重要な領域を特定して、同図（Ｃ）に１０２で示す領域にクロッピング処理を行う。領域１０２は、同図（Ｅ）の領域１０５が示すＳＤ解像度を縦、横ともに２.２５倍することで、縦の画素をＨＤ解像度の縦の画素と同じ画素領域とし、ＨＤ解像度内に収まり、かつ、ＳＤ解像度のアスペクト比で表現できる最大の画素領域を用いてＨＤ解像度からクロッピングされた領域である。

その後、図２３（Ｅ）に１０５で示すような本来のＳＤ解像度である７２０ｘ４８０画素の画像フレームとするために、画像フレーム１０２に対して縦、横共に１／２.２５倍に縮小するための所定のフィルタリング処理を行うことで、同図（Ｅ）に示すＳＤ解像度に縮小する。このようにして得られたＳＤ解像度の動画像フレーム１０５は、ＨＤ解像度の動画像フレームからクロッピングした領域１０２内のテクスチャ情報を最大限利用することができる代わりに、図２３（Ｃ）に１０３、１０４で示すようなＳＤ解像度内では表現できない領域が生じてしまう。

図２４は、図２３が示すようなクロッピング処理を利用して空間スケーラビリティをもつ動画像符号化において、それぞれの空間解像度間の符号化処理を示している。一般に、空間解像度変換を伴う空間スケーラブル符号化では、基本となる空間解像度を持つベースレイヤと、このベースレイヤに対して空間解像度を向上させるための付加情報を持つエンハンスレイヤを設定して符号化を行う。

このエンハンスレイヤは、少なくとも1つのレイヤによって構成される。複数のエンハンスレイヤを用いることで、より細かな解像度のスケーラビリティを実現することができるが、その分複数のエンハンスレイヤを構成するためのオーバヘッド情報が必要となり、符号化効率に影響を与えるため注意が必要である。図２４では、同図（Ａ）の２０１がベースレイヤ、同図（Ｄ）の２０６，２０７，２０８がエンハンスレイヤとなる。

図２４に示すように、ベースレイヤ２０１が元のＨＤ解像度からクロッピング処理によって生成したＳＤ解像度に基づいて符号化されるため、ベースレイヤ２０１を符号化した後に復号化して得られるローカルデコード画像に対して縦、横ともに２.２５倍すると、同図（Ｂ）に示す画像２０２を得る。この画像２０２は、空間スケーラブル符号化においては各レイヤ（図２４ではレイヤを階層と表現している）間での予測符号化を行う。

しかし、図２４（Ｃ）に示すＨＤ解像度のレイヤのローカルデコード画像において、画像２０２と相関が高い領域は同図（Ｃ）の領域２０３のみであることから、２０４、２０５の領域はレイヤ間の相関を利用することができずに面内符号化であるイントラ符号化の対象領域となる。レイヤ間の予測符号化を行うことで、図２４（Ｄ）に示すように、領域２０２と領域２０３との予測符号化の結果生じるレイヤ間の予測符号情報２０６と、領域２０４をイントラ符号化した結果生じるイントラ符号情報２０７と、領域２０５をイントラ符号化した結果生じるイントラ符号情報２０８とを得る。

また、予測符号化においては、動きベクトル情報や符号化時の状態を表す情報などを含む各種付加情報であるレイヤ間予測符号化付加情報を得る。これらの符号情報２０６，２０７，２０８およびレイヤ間予測符号化付加情報が、エンハンスレイヤを構成するための情報となる。

このように、空間スケーラブル符号化において解像度変換にクロッピング処理を利用した場合には、イントラ符号情報２０７，２０８を得るイントラ符号化を伴うため、符号化効率を低下させると共に、符号化並びに復号化時の演算量を増大させる要因となる。

また、図２４（Ｄ）に示すレイヤ間予測符号情報２０６を得るレイヤ間予測符号化と、イントラ符号情報２０７，２０８を得るイントラ符号化といった別々の符号化を行うことから、復号結果の画像品質にばらつきが生じる。その結果、復号結果の主観的な画像品質に影響を与えるだけでなく、画像品質が均一でないことが更に上位のエンハンスレイヤを構成しようとした際に符号化効率を低下させる要因となる。

図２５は、図２４と同様に図２３が示すようなクロッピング処理を利用して空間スケーラビリティをもつ動画像符号化において、それぞれの空間解像度間の符号化処理を示す。ここで、図２５は、ベースレイヤに関しては図２４と同様である。エンハンスレイヤに関しては、まず第１のエンハンスレイヤとして図２５（Ａ）に示す３０１のクロッピング領域外の領域に対するイントラ符号化結果により構成し、この第１のエンハンスレイヤから再度復号化することで得られるローカルデコード画像３０２，３０３を用いる。

また、第２のエンハンスレイヤを構成するために、３０１，３０２，３０３に対して所定の拡大処理を行うことで、図２５（Ｂ）に示すような画像３０４，３０５，３０６を得る。その後、画像３０４，３０５，３０６と、図２５（Ｃ）に示すＨＤ解像度のローカルデコード画像３０７との間でレイヤ間予測符号化を行い、同図（Ｄ）に示すように得られた符号情報３０８〜３１０を第２のエンハンスレイヤとすることで、空間スケーラビリティをもつ動画像符号化を行うことができる。しかし、このような構成であっても、図２４の構成で起こりうる要因は根本的には改善することが難しい。

図２３の画像フレーム１０１、縮小画像１０８および画像フレーム１０１，画像１０９，画像１１０は、ＨＤ解像度からＳＤ解像度へ空間解像度変換を行う際にレターボックス処理を用いた例である。図２３（Ｂ）に示す縮小画像１０８は、同図（Ａ）に示すＨＤ解像度の画像フレーム１０１に対して、直接縦横比固定で所定の空間フィルタリング処理及び縮小処理を行うことで縦、横共に３／８倍し、かつ、ＳＤ解像度に収めるために上下の領域を所定の画素値、通常は黒を表現するための画素値で補填することで生成する。

画像１０９，１１０を生成する場合は、まず、ＨＤ解像度の画像フレーム１０１の横サイズを縦横比固定でＳＤ解像度の２.２５倍の横サイズに合わせるために、図２３（Ａ）に示す画像フレーム１０１に対して所定の空間フィルタリング処理及び所定の縮小処理により縦、横ともに２７／３２倍すると共に、上下の領域を所定の画素値、通常は黒を表現するための画素値で補填することで同図（Ｄ）に示す画像１０９を生成する。その後、画像１０９に対して所定の空間フィルタリング処理及び所定の縮小処理を行うことで、縦、横共に１／２.２５倍することで図２３（Ｆ）に示すＳＤ解像度の縮小画像１１０を生成する。

このようにして得られた縮小画像１０８，１１０が示すＳＤ解像度の動画像フレームは、ＨＤ解像度の動画像フレームからレターボックス処理によりＳＤ解像度に内接するように所定の空間フィルタリング及び縮小処理を行うため、動画像フレーム全体の特徴を利用することができる代わりに、図２３（Ｅ）に示した縮小画像１０５よりも更に縮小処理を行うため、縮小画像１０８，１１０に含まれる領域内のテクスチャ情報、つまり画像の細部を表現するための高周波数成分情報が縮小画像１０５に比べて少ない状態となってしまう。

図２６は、図２３が示すようなレターボックス処理を利用して空間スケーラビリティをもつ動画像符号化において、それぞれの空間解像度間の符号化処理を示している。図２６では、４０１がベースレイヤ、４０５がエンハンスレイヤとなる。まず、図２６（Ａ）に示すベースレイヤであるＳＤ解像度の画像４０１に対して、上下に充填した画素の除去を行うと共に、所定の空間フィルタリング処理による拡大処理により縦、横ともに８／３倍することで直接に画像４０１から同図（Ｃ）に示す画像４０３を得る。

もしくは、画像４０１に対して所定の空間フィルタリング処理による拡大処理により縦、横ともに２.２５倍することで図２６（Ｂ）に示す画像４０２を得る。その後、画像４０２に対して上下に充填した画素の除去を行うと共に、所定の空間フィルタリング処理による拡大処理により縦、横ともに３２／２７倍することで画像４０３を得る。

次に、図２６（Ｅ）に示す画像４０５のエンハンスレイヤを構成するために、上記の画像４０３と、図２６（Ｄ）に示すＨＤ解像度のローカルデコード画像４０４との間でレイヤ間予測符号化を行い、得られた同図（Ｅ）に示すレイヤ間予測符号化情報４０５をエンハンスレイヤとすることで、空間スケーラビリティをもつ動画像符号化を行うことができる。

このような空間スケーラブル符号化において、解像度変換にレターボックス処理を利用した場合には、図２４や図２５のような解像度変換にクロッピング処理を用いた場合と比べて、図２６（Ａ）に示す画像４０１に含まれるテクスチャ情報、つまり画像の細部を表現するための高周波数成分情報が少ないため、拡大処理によって得られた同図（Ｃ）に示す画像４０３は、仮にベースレイヤの符号化の影響が出ないように可逆符号化を適用して符号化及び復号化を行った場合であっても、図２４に示した画像２０２，２０４，２０５や図２５に示した画像３０４，３０５，３０６と比較して精細感の乏しいボケた画像となる。

従って、解像度変換にレターボックス処理を利用することは、図２４や図２５のベースレイヤの復号画像の画像品質と比較して、復号化時に得られるベースレイヤの復号画像の画像品質を劣化させる要因となる。また、エンハンスレイヤを利用して図２４や図２５と同等の画像品質を維持しようとした場合には、より多くの符号量をエンハンスレイヤに割く必要が生じる。

図２７（Ａ）、（Ｂ）、（Ｄ）に示す画像５０１，５０２，５０３、および図２７（Ａ）、（Ｃ）、（Ｄ）に示す画像５０１，５０４，５０３は、ＨＤ解像度からＳＤ解像度へ空間解像度変換を行う際にスクイーズ処理を用いた例を説明する画像である。図２７（Ｂ）に示す画像５０２は、同図（Ａ）に示すＨＤ解像度の画像５０１の横方向に対して所定の空間フィルタリング処理及び所定の縮小処理により２７／３２倍するスクイーズ処理を行うことで生成する。その後、生成した画像５０２に対して所定の空間フィルタリング処理及び所定の縮小処理を行うことで、縦、横共に１／２.２５倍することで、図２７（Ｄ）に示すＳＤ解像度の画像５０３を生成する。

また、別の方法として、ＨＤ解像度の画像５０１に対して所定の空間フィルタリング処理及び所定の縮小処理を行うことで、縦、横共に４／９倍した図２７（Ｃ）に示す画像５０４を生成する。その後、生成した画像５０４の横方向に所定の空間フィルタリング処理及び所定の縮小処理により２７／３２倍してスクイーズ処理を行うことで、図２７（Ｄ）に示すＳＤ解像度の画像５０３を生成する。

このようにして生成された画像５０３が示すＳＤ解像度の動画像フレームは、ＨＤ解像度の動画像フレームからスクイーズ処理により、画像の横方向に対して所定の空間フィルタリング及び縮小処理を行うため、動画像フレーム全体の特徴を利用することができる代わりに、図２３に示した縮小画像１０５よりも横方向に対して更に縮小処理を行うため、画像５０３に含まれる領域内の横方向のテクスチャ情報、つまり画像の細部を表現するための高周波数成分情報が縮小画像１０５に比べて少ない状態となってしまう。

また、前記縮小画像１０５はより重要とされた領域に対してクロッピング処理を行った結果得られた画像であり、このクロッピング処理を行った領域に対しては画像の縦横比を保っているが、スクイーズ処理を行って生成された画像５０３の場合には、画像全体に渡って横方向の縮小処理を行うことから本来の画像の縦横比を保つことができずに、画像全体として歪んだ画像となってしまう。

図２８は、図２７が示すようなスクイーズ処理を利用して空間スケーラビリティをもつ動画像符号化において、それぞれの空間解像度間の符号化処理を示している。図２８では、（Ａ）に示す画像６０１がベースレイヤ、（Ｅ）に示す画像６０６がエンハンスレイヤとなる。この場合の符号化処理では、まず、ベースレイヤの画像６０１に対して所定の空間フィルタリング処理による拡大処理により縦、横共に２.２５倍することで、図２８（Ｂ）に示す画像６０３を得る。その後、上記の画像６０３に対して、スクイーズを解除するために横方向に所定の空間フィルタリング処理による拡大処理により３２／２７倍することで、図２８（Ｄ）に示す画像６０４を得る。もしくは、ベースレイヤの画像６０１に対して先にスクイーズを解除することで、図２８（Ｃ）に示す画像６０２を生成し、その後、この画像６０２に対して所定の空間フィルタリング処理による拡大処理により縦、横ともに２.２５倍することで、同図（Ｄ）に示す画像６０４を得る。

次に、図２８（Ｅ）に示す６０６のエンハンスレイヤを構成するために、上記のようにして生成した画像６０４と、同図（Ｆ）に示すＨＤ解像度のローカルデコード画像６０５との間でレイヤ間予測符号化を行い、得られた同図（Ｅ）に示すレイヤ間予測符号化情報６０６をエンハンスレイヤとすることで、空間スケーラビリティをもつ動画像符号化を行うことができる。

図２９は従来のスクイーズ処理を利用した空間スケーラビリティをもつ動画像符号化装置の一例のブロック図を示す。同図に示すように、従来の動画像符号化装置は、エンハンス符号化部７０１、スクイーズ部７０２、画像縮小部７０３、ベースレイヤ符号化部７０４、逆スクイーズ部７０５、画像拡大部７０６、多重化（ＭＵＸ）部７０７から構成される。

エンハンス符号化部７０１は、符号化すべきＨＤ解像度の動画像信号と、後述するエンハンス予測画像信号とを入力として受け、所定の符号化を行い、ビットストリームを出力する。スクイーズ部７０２は、入力されたＨＤ解像度の動画像信号（以下、ＳＤ画像ともいう）に対し、水平方向の縮小処理を行う。画像縮小部７０３は、入力されたスクイーズ処理された動画像信号を、所定のフィルタリング処理によりＳＤ解像度の動画像信号（以下、ＳＤ画像ともいう）に縮小する機能を有する。

ベースレイヤ符号化部７０４は、画像縮小部７０３で得られたＳＤ画像を入力として受け、所定の符号化を行い、ベースレイヤビットストリームと、ＳＤ局所復号画像信号を生成する。逆スクイーズ部７０５は、ベースレイヤ符号化部７０４から送られたＳＤ局所復号画像に対し、水平方向の拡大処理を行う。画像拡大部７０６は、逆スクイーズ部７０５から取得した画像信号を入力として受け、所定のフィルタリング処理によりＨＤ解像度のエンハンス予測画像信号に拡大する。多重化（ＭＵＸ）部７０７は、エンハンスレイヤビットストリームと、ベースレイヤビットストリームとを多重化し、一つのビットストリームを生成して外部へ出力する。

次に、図２９の符号化装置の動作を図３０のフローチャートと共に説明する。まず、スクイーズ部７０２において入力ＨＤ画像を水平方向に縮小し、その結果を画像縮小部７０３でＳＤサイズに縮小することで、ベースレイヤで符号化するためのスクイーズＳＤ画像を作成する（ステップＳ５０１）。

次に、上記のスクイーズＳＤ画像に対して、ベースレイヤ符号化部７０４がベースレイヤ符号化を行い、局所復号画像信号とベースレイヤビットストリームをそれぞれ作成する（ステップＳ５０２）。なお、ベースレイヤ符号化部７０４の符号化方式に関しては、特に限定されるものではない。例えば、ＭＰＥＧ−２であってもよいし、ＭＰＥＧ−４であってもよい。

続いて、逆スクイーズ部７０５により、ベースレイヤ符号化部７０４からのＳＤ局所復号画像信号を取得し、水平方向の拡大処理を施し、ＨＤ画像とアスペクト比が同じで、ＳＤ画像と垂直方向サイズが同じ画像を作成した後、その作成画像を画像拡大部７０６に供給して、ここで所定の拡大処理を行い、ＨＤサイズのエンハンス予測画像を作成させる（ステップＳ５０３）。

続いて、エンハンス符号化部７０１は、取得したＨＤ画像に対し所定のエンハンスレイヤ符号化を行ってエンハンスレイヤビットストリームを生成する（ステップＳ５０４）。エンハンス符号化部７０１での符号化方式については、ベースレイヤ符号化部７０４と同様何を用いてもよいが、エンハンス予測画像からの予測を行うことができる符号化方式が用いられる。これにより、エンハンス予測画像からの予測を用いることにより、多くの符号量を削減することができる。

続いて、ＭＵＸ部７０７は、エンハンス符号化部７０１からのエンハンスレイヤビットストリームと、ベースレイヤ符号化部７０４からのベースレイヤビットストリームとに対し、所定の多重化を行い、一つのビットストリームを作成し、出力する（ステップＳ５０５）。

次に、図２９の符号化装置により符号化されたビットストリームの復号について説明する。図３１は図２９の符号化装置により符号化されたビットストリームを復号する従来の復号装置の一例のブロック図を示す。図３１に示すように、この従来の復号装置は、分離化（ＤＥＭＵＸ）部８０１、エンハンス復号部８０２、ベースレイヤ復号部８０３、逆スクイーズ部８０４、画像拡大部８０５、出力画像切り替え器８０６からなる。

ＤＥＭＵＸ部８０１は、図２９の符号化装置により符号化されたビットストリームを入力として受け、エンハンスレイヤビットストリームとベースレイヤビットストリームとに分割し、それぞれエンハンス復号部８０２、ベースレイヤ復号部８０３に送る。エンハンス復号部８０２は、エンハンスレイヤビットストリームを復号し、ＨＤ画像を生成する。復号には所定の復号方式を用い、また画像拡大部８０５の出力であるエンハンス予測画像を復号のための予測に用いる。

ベースレイヤ復号部８０３は、ベースレイヤビットストリームを復号し、ＳＤ画像を生成する。復号には所定の復号方式を用いる。逆スクイーズ部８０４は、ベースレイヤ復号部８０３で復号されたＳＤ画像に対し、水平方向の拡大処理を施し、アスペクト比がＨＤ画像と同じで、垂直方向サイズがＳＤ画像と同じ逆スクイーズ画像を生成する。

画像拡大部８０５は、逆スクイーズ部８０４より送られたアスペクト比がＨＤ画像と同じで、垂直方向サイズがＳＤ画像と同じ逆スクイーズ画像に対して、所定の拡大処理を施し、エンハンス予測画像を生成する。出力画像切り替え器８０６は、出力画像制御信号を基に、ＨＤ画像、又はＳＤ画像どちらかの画像を出力する機能を有する。出力画像制御信号は、ユーザが任意に与えてもよいし、復号状況に応じ、システムが制御してもよい。

次に、図３１の復号装置の動作を図３２のフローチャートと共に説明する。まず、図３１のＤＥＭＵＸ部８０１が、入力ビットストリームをエンハンスレイヤビットストリームとベースレイヤビットストリームにそれぞれ分割（ＤＥＭＵＸ）する（ステップＳ６０１）。筒井で、ベースレイヤ復号部８０３が、ＤＥＭＵＸ部８０１で分割されたベースレイヤに対して所定の復号を行い、ＳＤ画像を作成する（ステップＳ６０２）。

続いて、図３１の逆スクイーズ部８０４が、ベースレイヤ復号部８０３で復号されたＳＤ画像に対し、水平方向の拡大処理を施し、アスペクト比がＨＤ画像と同じで、垂直方向サイズがＳＤ画像と同じ逆スクイーズ画像を生成し、更にその逆スクイーズ画像を画像拡大部８０５により、所定の拡大処理を施し、エンハンス予測画像を作成する（ステップＳ６０３）。

続いて、図３１のエンハンス復号部８０２が、入力されたエンハンスレイヤビットストリームに対して、ステップＳ６０３で作成したエンハンス予測画像を予測画像として用いて所定の復号を行い、ＨＤ画像を生成する（ステップＳ６０４）。最後に、出力画像切り替え器８０６は、ユーザまたはシステムにより送られた出力画像制御信号を基に、出力画像を決定して、エンハンス復号部８０２からのＨＤ画像又はベースレイヤ復号部８０３からのＳＤ画像を出力する（ステップＳ６０５）。

このような空間スケーラブル符号化において、解像度変換にスクイーズ処理を利用した場合には、図２４や図２５のような解像度変換にクロッピング処理を用いた場合と比べて、図２８（Ａ）の画像６０１に含まれる横方向のテクスチャ情報、つまり画像の細部を表現するための高周波数成分情報が少ないため、図２８（Ｄ）に示したスクイーズ解除及び拡大処理によって得られた画像６０４は、仮にベースレイヤの符号化の影響が出ないように可逆符号化を適用して符号化及び復号化を行った場合であっても、図２４の画像２０２，２０４，２０５や図２５の画像３０４，３０５，３０６と比較して横方向に対して精細感の乏しいボケた画像となる。

従って、解像度変換にスクイーズ処理を利用することは、図２４や図２５のベースレイヤの復号画像の画像品質と比較して、復号化時に得られるベースレイヤの復号画像の画像品質を劣化させる要因となる。また、エンハンスレイヤを利用して図２４や図２５と同等の画像品質を維持しようとした場合には、より多くの符号量をエンハンスレイヤに割く必要が生じる。更に、スケーラブル復号化時にベースレイヤの復号画像を表示しようとした場合には、スクイーズ処理が施されていることから画像全体が歪んでいるため、正しく表示しようとした場合には画像全体に対して再度スクイーズを解除し、表示対象がＳＤ解像度のアスペクト比である場合には、表示領域に対してクロッピング処理を行わなければならないという問題が生じる。

本発明は、以上の点に鑑みなされたもので、空間解像度変換前の画像情報を欠落させることなく、しかも歪み領域を複数の部分歪み領域に分割してそれぞれにおいて所定の縮小処理を行うことにより、領域の境界が視認できず、かつ、画像の端がつぶれない変換画像の作成を可能とする空間解像度変換装置を提供することを目的とする。

また、本発明の他の目的は、スケーラブル符号化及び復号化を行う際に、より効率良く符号化できるようにするための空間解像度変換装置を提供することにある。

上記目的を達成するため、第１の発明は、高精細な第１の空間解像度を持つ第１の画像フレームを、第１の空間解像度より低い第２の空間解像度で、かつ、第１の画像フレームとは縦横比の異なる第２の画像フレームに変換するための空間解像度変換装置であって、第１の空間解像度をもつ第１の画像フレームの画像領域中、縮小処理により第２の画像フレームとなる画像領域をクロッピング領域としたとき、そのクロッピング領域を第１の画像フレームと同じ縦横比とする第１の領域と、第１の領域の外側の第２の領域とに分割し、更に第２の領域を複数の部分歪み領域に分割する領域分割手段と、第１の画像フレームに基づいて、第１の画像フレームの画像領域中、クロッピング領域の外側の画像領域の画像情報が、領域分割手段で分割された第２の領域を構成する複数の部分歪み領域に収まるように、その部分歪み領域に予め任意に設定された互いに異なる関数に従って縮小して歪み画像情報として格納され、かつ、第１の画像フレームの第１の領域の画像情報を有する合成画像全体が縮小された、第２の空間解像度の第２の画像フレームを生成する画像フレーム生成手段とを有することを特徴とする。

この発明では、高精細な第１の空間解像度をもつ第１の画像フレームの画像領域中、縮小処理により第２の空間解像度の第２の画像フレームとなる画像領域をクロッピング領域としたとき、そのクロッピング領域内で第１の画像フレームと同じ縦横比とする第１の領域と、クロッピング領域内で、かつ、第１の領域の外側の第２の領域とに分割し、更に第２の領域は複数の部分歪み領域に分割し、第１の画像フレームの画像領域中、クロッピング領域の外側の画像領域の画像情報を、上記の複数の部分歪み領域に、その部分歪み領域に予め任意に設定された互いに異なる関数に従って縮小して歪み画像情報として格納する。

また、上記の目的を達成するため、第２の発明は、上記の画像フレーム生成手段を、少なくとも複数の部分歪み領域のうち、第１の領域と第２の領域との境界に接する部分歪み領域では、非線形関数を用いて縮小した画像情報を格納し、第２の領域とクロッピング領域との境界に接する部分歪み領域では、線形関数を用いて縮小した画像情報を格納することを特徴とする。

この発明では、第１の領域と第２の領域との境界に接する部分歪み領域では非線形関数を用いて縮小された画像が表示されるため、第１の領域と第２の領域との接続部分を連続的な表示とすることができ、また、第２の領域とクロッピング領域との境界に接する部分歪み領域では線形関数を用いて縮小した画像が表示されるため、急激な変化による画像歪み（画像のつぶれ）を抑制できる。

更に、上記の目的を達成するため、第３の発明は、第１の発明の空間解像度変換装置により生成された第２の空間解像度の第２の画像フレームを、第１の空間解像度の第１の画像フレームに変換する空間解像度変換装置であって、第２の画像フレーム全体を拡大処理して縦横比が第１の画像フレームと同じ画像を生成する第１の画像拡大手段と、画像拡大手段により拡大された画像フレームの画像領域中、クロッピング領域内で、かつ、第１の領域の外側の複数の部分歪み領域からなる第２の領域の歪み画像情報を、その部分歪み領域の縮小率に対応した拡大率で拡大して歪みのない画像を生成する第２の画像拡大手段とを有し、第１の画像拡大手段により拡大された第１の領域の画像情報と、第２の画像拡大手段により拡大された第２の領域の画像情報との合成画像を第１の空間解像度の第１の画像フレームとして生成することを特徴とする。

また、上記の目的を達成するため、第４の発明は、第１の発明の空間解像度変換装置により生成された第２の空間解像度の第２の画像フレームを、第１の空間解像度の第１の画像フレームに変換する空間解像度変換装置であって、第２の画像フレームの画像領域中、クロッピング領域内で、かつ、第１の領域の外側の複数の部分歪み領域からなる第２の領域の歪み画像情報を、その部分歪み領域の縮小率に対応し、かつ、縦横比が第１の画像フレームと同じ拡大率で拡大して歪みのない画像を生成する第１の画像拡大手段と、第１の画像拡大手段により拡大された拡大画像情報と、第２の画像フレームの画像領域中、第１の領域の画像情報とからなる合成画像を拡大して、第１の空間解像度の第１の画像フレームを生成する第２の画像拡大手段とを有することを特徴とする。

上記の第３及び第４の発明では、第１の発明で空間解像度変換された第２の空間解像度の第２の画像フレームから、元の第１の空間解像度の第１の画像フレームを生成することができる。

本発明によれば、高精細の第１の空間解像度からそれよりも低い第２の空間解像度へ解像度変換するに際しては、クロッピング領域内の第１の画像フレームと同じ縦横比とする第１の領域は、変換後の第２の空間解像度の第２の画像フレームでも第１の画像フレームと同じ画像品質となるので、従来のクロッピング処理と同等の画像品質を維持でき、また、従来のスクイーズ処理による第１の空間解像度から第２の空間解像度への変換で生じていた画像全体の歪みは視覚上重要な第１の領域では発生せず、視覚的な影響を軽減できる。

また、本発明によれば、第１の画像フレームの画像領域中、クロッピング領域の外側の画像領域の画像情報がクロッピング領域内で、かつ、第１の領域の外側の複数の部分歪み領域からなる第２の領域に縮小されて歪み画像として格納されるので、従来のクロッピング処理では欠落していたクロッピング領域外の画像情報をクロッピング領域内に反映することができる。

また、本発明によれば、第１の領域を必要に応じて自由に設定することができるため、画質を維持したい領域を自由に設定できることである。

また、本発明によれば、上記の第２の領域は複数の部分歪み領域に分割してそれぞれにおいて互いに異なる関数による縮小処理を行うことにより、第１の領域と第２の領域との境界が視認できず、かつ、第２の領域の画像の端がつぶれない変換画像を生成することができる。

更に、本発明によれば、第２の領域を構成する複数の部分歪み領域へ格納する画像情報の縮小のための関数を任意に設定できるため、必要に応じて画像情報として重要な部分の周波数成分情報をできるだけ維持しつつ複数の部分歪み領域へ格納できることである。

また、更に本発明によれば、部分歪み領域の数、それぞれの部分歪み領域の縮小率を任意に切り替えることができるため、解像度変換を施した第２の空間解像度の画像を歪んだまま視聴する場合においても、主観的に違和感のない画像を得ることができる。

次に、本発明の実施の形態について図面と共に説明する。本発明は、ＨＤ解像度からＳＤ解像度へ空間解像度変換を行う際に、変換対象となるＳＤ解像度の画像領域内に、ＨＤ解像度内においてできるだけ本来の画像情報を維持するための領域であるオリジナル領域と、ＨＤ解像度内の本来の画像情報を多少犠牲にしつつも、可能な限りＳＤ解像度内にＨＤ解像度内の画像情報の特徴を取り込むための領域である歪み領域をオリジナル領域の外側かつＳＤ解像度の領域内に設ける。本発明による歪み領域は、それぞれ歪み率の異なる１つ以上の部分歪領域の集合により形成される領域である。

図１は本発明になる空間解像度変換装置で空間解像度変換を行う画像領域の一例の構成説明図を示す。ここで、ＨＤ解像度の画像領域は、エンハンス領域であるものとする。図１では、エンハンス領域を定義するために、領域１１の左上の座標をＥ（Ｘ_Ｅ，Ｙ_Ｅ）、横方向の大きさをＷ_Ｅ、縦方向の大きさをＨ_Ｅとする。

また、ＳＤ解像度の画像領域はクロッピング領域であるものとし、クロッピング領域を定義するために、領域１２の左上の座標をＣ（Ｘ_Ｃ，Ｙ_Ｃ）、横方向の大きさをＷ_Ｃ、縦方向の大きさをＨ_Ｃとする。換言すると、領域１２は、ＳＤ解像度の画像領域であり、クロッピング領域である。更に、オリジナル領域を定義するために、領域１３の左上の座標をＯ（Ｘ_Ｏ，Ｙ_Ｏ）、横方向の大きさをＷ_Ｏ、縦方向の大きさをＨ_Ｏとする。このオリジナル領域１３は、クロッピング領域１２内にある。

このオリジナル領域１３は、エンハンス領域１１のＨＤ解像度の画像を歪ませずに元のままの縦横比で画像が格納される領域である。これに対し、クロッピング領域１２内で、かつ、オリジナル領域１３の外側の領域は、オリジナル領域１３の外側にあるエンハンス領域１１のＨＤ解像度の画像情報を所定のフィルタリング処理及び縮小処理して歪ませて取り込んだ画像情報の領域（歪み領域）である。すなわち、クロッピング領域１２内で、かつ、オリジナル領域１３の外側の領域は、ＨＤ解像度の本来の画像情報を多少犠牲にしつつも、可能な限りＳＤ解像度のクロッピング領域１２内にＨＤ解像度内の画像情報の特徴を取り込むための歪み領域である。

図２は、本発明になる空間解像度変換装置により、一般的な横１９２０画素、縦１０８０画素のＨＤ解像度から、横７２０画素、縦４８０画素のＳＤ解像度へ空間解像度変換を行う処理過程を示す。また、図３は本発明による空間解像度変換を行う処理過程の一実施の形態を示すフローチャートである。この図２と図３を用いて本発明の一実施の形態の処理過程を以下に説明する。

まず、ＨＤ解像度の画像フレームを取得し（図３のステップＳ１０１）、図２（Ａ）に２１で示すＨＤ解像度の全画像領域をエンハンス領域（図１の１１に相当）とする。続いて、このエンハンス領域２１内のクロッピング領域（図１の１２に相当）を特定する（図３のステップＳ１０２）。このステップＳ１０２では、図２（Ａ）に点線で示されるように、ＳＤ解像度の画像領域を２.２５倍することで、クロッピング領域の縦の大きさをＨＤ解像度の縦の大きさに合わせる。また、クロッピング領域の横方向に対しては所定の位置とすることで、エンハンス領域２１内に図２（Ａ）に点線の四角形で示されるクロッピング領域２２を設定する。

ここでは、図２（Ａ）に点線の四角形で示すように、クロッピング領域２２をクロッピング領域の外側の領域が均等になるように配置している。これは、一般に画面内の中央付近に映像としてより重要な内容が含まれることを想定した場合に相当する。ただし、クロッピング領域の配置は、エンハンス領域２１内であれば特に限定されるものではなく、ＳＤ解像度に変換した際に、より映像の特徴を残すことができる位置に配置することが望ましい。

次に、画像情報を維持するためのオリジナル領域（図１の１３に相当）の形状を特定する（図３のステップＳ１０３）と共に、オリジナル領域を設定する（図３のステップＳ１０４）。ここでは、オリジナル領域の形状は矩形とし、オリジナル領域を図２（Ｂ）に２３で示す位置に設定している。なお、オリジナル領域の形状は、図４に示されるような形状モードＩＤが与えられることにより特定することができるようにするとよい。このオリジナル領域２３の配置は、クロッピング領域２２内であれば特に限定されるものではない。

次に、歪み領域を設定する（図３のステップＳ１０５）。ここでは、クロッピング領域外に存在する、通常であれば情報が欠落してしまう領域の分だけクロッピング領域側に折り返した分の領域を歪み領域とする。すなわち、オリジナル領域２３の外側の２つの領域が歪み領域（後述の図２（Ｄ）の２６、２７に相当）に設定される。これにより、図２（Ｂ）に示すように、オリジナル領域２３の外の左側の領域２４の画像情報と、オリジナル領域２３の外の右側の領域２５の画像情報とが、それぞれの歪み領域に格納される縮小処理対象となる。

続いて、この縮小処理対象となる領域２４，２５の画像情報に対して、縮小方法を特定し（図３のステップＳ１０６）、横方向に対する所定の空間フィルタリング処理及び縮小処理を行い（図３のステップＳ１０７）、その結果を、オリジナル領域２３の外側で、かつ、クロッピング領域２２内の歪み領域に格納する（図３のステップＳ１０８）。このような処理を行うことで、図２（Ｄ）に示すように、オリジナル領域２３と、歪み領域２６及び２７とからなるクロッピング領域２２を生成する。

このクロッピング領域２２は最終目標であるＳＤ解像度の縦・横ともに２.２５倍した領域であることから、このオリジナル領域２３と、歪み領域２６及び２７とからなるクロッピング領域２２の画像情報に対して所定の空間フィルタリング及び縮小処理により１／２.２５倍に縮小することで、図２（Ｅ）に示すように、オリジナル領域２８と歪み領域３１及び３２とで構成される最終目標である、空間解像度変換後のＳＤ解像度の大きさの画像を得ることができる（図３のステップＳ１０９）。

なお、上記の説明では、図２（Ｂ）に示したオリジナル領域２３の外側の領域２４、２５の画像情報に対して縮小処理を行うものとして説明したが、図２（Ｂ）に示した画像領域全体の画像情報に対して所定の空間フィルタリング及び縮小処理により１／２.２５倍に縮小して、図２（Ｃ）に示すような領域２８、２９、３０からなる縮小画像を得た後、その縮小画像のオリジナル領域２８の外側の領域２９及び３０の画像情報に対して、所定の空間フィルタリング及び縮小処理を行い、その結果を歪み領域３１、３２に格納することで、図２（Ｅ）に示した、オリジナル領域２８と歪み領域３１及び３２とで構成される最終目標である、空間解像度変換後のＳＤ解像度の大きさの画像を得るようにしてもよい。

更に、以上の実施の形態では、いずれも歪み領域については２段階の縮小処理を行っているが、図２（Ｂ）に示す全領域の画像情報のうち、オリジナル領域２３の外の領域２４、２５の各画像情報に対しては、横方向及び縦方向に対して同時に１段階の所定の空間フィルタリング及び縮小処理を行い、その結果を同図（Ｅ）に示す歪み領域３１、３２に格納すると共に、オリジナル領域２３に対しても１段階の所定の空間フィルタリング及び縮小処理により、１／２.２５倍に縮小して同図（Ｅ）に示すオリジナル領域２８を得るようにしてもよい。

このような処理を行うことで、オリジナル領域２８に対しては従来のクロッピング処理と同等の画像品質を維持し、従来のスクイーズ処理によるＨＤ解像度からＳＤ解像度への変換で生じていた画像全体の歪みは視覚上重要なオリジナル領域２８では発生せず、視覚的な影響を軽減できる。更に、上記の実施の形態では、歪み領域３１、３２には、クロッピング領域以外のエンハンス領域に含まれる画像情報を最も少ない劣化で格納することができ、従来のクロッピング処理では欠落していたクロッピング領域外の画像情報をクロッピング領域内に反映することができる。更に、本発明では、以下説明するように、歪み領域を複数の部分歪み領域に分割してそれぞれにおいて所定の縮小処理を行うことにより、領域の境界が視覚できず、かつ、画像の端がつぶれない変換画像の作成を可能とする点に特徴がある。

次に、本発明の空間解像度変換装置による歪み領域を作成するための縮小方法について説明する。図５は本発明装置による歪み領域を作成するための縮小方法の一実施の形態の説明図を示す。図５は、所定の空間フィルタリングを行った後の縮小処理、つまり画素の再配置の様子を示したものである。本発明の歪み領域は１つ以上の部分歪み領域に分けられるが、図５は歪み領域が２つの部分歪み領域、すなわち、二次曲線歪み領域４１と、線形歪み領域４２の二つの部分歪み領域に分割する場合の例を示す。

ここでは説明を簡単にするため、図２のように画像を３分割し、中央部をオリジナル画像、両端部を歪み領域となるような空間解像度変換を行うものとする。また、図５では、図２（Ｂ）のクロッピング領域２２以外のエンハンス領域２１に含まれる領域２４、２５の横方向の長さをＹ、図２（Ｄ）に示した歪み領域２６、２７の横方向の長さをＸと定める。すなわち、Ｘは原点からクロッピング領域の境界までの距離、Ｙは原点からエンハンス領域の境界までの距離でもある。点Ｃは、部分歪み領域切り替え点である。点Ｃはユーザからの入力により与えられる。また、一般的には、図１のように、オリジナル領域１３と歪み領域との境界を基準として、Ｄ_ＥＯ１，Ｄ_ＥＯ２，Ｄ_ＥＯ３，Ｄ_ＥＯ４は上記のＹに対応し、Ｄ_ＣＯ１，Ｄ_ＣＯ２，Ｄ_ＣＯ３，Ｄ_ＣＯ４は上記のＸに対応する。

図５（Ａ）において、原点と（ａ，０）、（ａ，ｂ）、（０，ｂ）を頂点とする矩形の領域４１は１つ目の部分歪み領域であり、ここでは画素の再配置に二次関数ｙ＝ｆ（ｘ）を用いている。また、（ａ，ｂ）、（Ｘ，０）、（Ｘ，Ｙ）、（０，Ｙ）を頂点とする矩形の領域４２は２つ目の部分歪み領域であり、ここでは画素の再配置に一次関数ｇ（ｘ）を用いている。

図５において、オリジナル画像の縦横縮小比を”１”とすると、オリジナル領域と部分歪み領域との境界が視覚的に滑らかに見えるためには、二次関数ｆ（ｘ）は原点において傾きが「１」である必要がある。同様の理由により、二次関数ｆ（ｘ）の座標（ａ，ｂ）の点Ｃにおける傾きは、（Ｙ−ｂ）／（Ｘ−ａ）である必要がある。なお、図５において、ｙ＝ｈ（ｘ）は傾き１の原点を通る一次関数を示す。また、図５（Ｂ）、（Ｃ）のそれぞれにおいて、上側の矢印はＨＤ画像の歪み領域、下側の矢印は歪み変換画像の歪み領域を示す。

第１の部分歪み領域４１では、図５（Ｂ）に示すように、原点付近のＸに対するＹの増加率と、Ｘ軸方向の距離がａ付近のＸに対するＹの増加率を比較すると、二次関数ｆ（ｘ）の特性からａ付近の方の増加率が大きいため、原点からのＸ軸方向の距離に応じて縮小率が変化する（原点から距離が離れるにつれ、歪み率が強くなる）ように画素を再配置することができる。一方、第２の部分歪み領域４２では、図５（Ｃ）に示すように、Ｘ軸の座標ａの位置からＸの位置まで、一次関数ｇ（ｘ）の特性からＸ軸方向の距離に関係なく、Ｙの増加率が一定であるため、Ｘ軸方向の距離に拘らず縮小率が一定となる（ａの位置からの距離に関係なく歪み率が一定である）ように画素を再配置することができる。

部分歪み領域切り替え点Ｃはユーザが自由に設定することができるため、例えば、部分歪み領域切り替え点Ｃを原点にとった場合は、一次関数ｇ（ｘ）のみを用いて画素の再配置を行う歪み領域を作成することができ、部分歪み領域切り替え点Ｃをエンハンス領域の境界の（Ｘ，Ｙ）にとった場合は、二次関数ｆ（ｘ）のみを用いて画素の再配置を行う歪み領域を作成することができる。

また、所定の空間フィルタリングで用いられる手法としては、一般に公知のＬａｎｃｚｏｓ２，Ｌａｎｃｚｏｓ３などを用いるが、これに限らず、その他の周波数変換に基づく縮小方法、ローパスフィルタを利用した手法であっても構わず、本発明において特に限定されるものではないことに注意を要する。

このように、歪み領域を第１の部分歪み領域４１、第２の部分歪み領域４２等の複数の部分歪み領域に分割する利点は以下の通りである。歪み領域が一つ（部分歪み領域に分割されない）であった場合、例えば縮小に線形関数を用いると、オリジナル領域と歪み領域との境界において、画素の再配置間隔が不連続となるため、オリジナル領域と歪み領域との境界がはっきりと視認できてしまう。そのため、線形関数は違和感の少ない歪み変換画像の作成には向かない。

一方、歪み領域が一つ（部分歪み領域に分割されない）であった場合、縮小に二次関数などを用いると、オリジナル領域と歪み領域との境界において、画素の再配置間隔が連続となるため、上記の問題は解決するが、関数の傾きが指数的に増加し、画像の両端付近では画素の再配置間隔が極めて狭くなるため、特にパンのように横方向の移動を伴う画像では、画像の端でつぶれるように見えてしまう。この場合も視覚的違和感が強くなってしまう。

それに対し、図５に示したように歪み領域を例えば第１及び第２の部分歪み領域の２つに分割し、二次関数と線形関数を組み合せ、オリジナル領域と歪み領域との境界から歪み領域内のある歪み領域切り替え点までの第１の部分歪み領域を二次関数により縮小した画像を配置し、その歪み領域切り替え点から画像の端までの第２の部分歪み領域を線形関数を用い縮小した画像を配置することにより、オリジナル領域と歪み領域との境界が視認できず、かつ、画像の端がつぶれない変換画像の作成が可能である。

歪み領域が１種類の場合は、このような効果を得ることができない、または、実現できたとしても縮小のための関数が複雑なものになりすぎ、演算量が飛躍的に増加するため、本実施の形態のように、歪み領域を複数の部分歪み領域に分割することには大きな利点がある。

また、本実施の形態では、歪み領域へ格納する際の縮小率を変化させることができるため、必要に応じて画像情報として重要な部分の周波数成分情報をできるだけ維持しつつ歪み領域へ格納でき、更に、歪み領域の部分歪み領域の数、それぞれの部分歪み領域の歪み率を任意に切り替えることができるため、歪み変換を施したＳＤ解像度画像を歪んだまま視聴する場合においても、主観的に違和感のない画像を得ることができる。

なお、本実施の形態によれば、上記の利点に加えて、オリジナル領域内の画像情報に対しては歪ませることなく領域内の画像情報を保護しつつ、オリジナル領域外の画像に対しては各方向に対して縮小処理を行って歪み領域に格納することで、従来のクロッピング処理では欠落していたクロッピング領域外の画像情報をクロッピング領域内に反映できる。また、従来のスクイーズ処理によるＨＤ解像度からＳＤ解像度への変換では変換した画像全体が歪んでしまうため、ＳＤ解像度をそのまま表示することは視覚的に問題を生じていたが、本実施の形態では視覚上重要な部分を歪ませることなくＳＤ解像度内に格納することができるため、ＳＤ解像度をそのまま表示した場合であっても視覚的な影響を軽減できることである。

更に、従来のスクイーズ処理によるＨＤ解像度からＳＤ解像度への変換では変換した画像全体が歪んでしまうため、ＳＤ解像度を表示するためには再度スクイーズを解除するために拡大処理を行った後に表示領域に対し再度クロッピング処理を行った上で表示する必要があったが、本実施の形態によれば、表示したい領域に含まれる歪み領域部に対してのみ拡大処理を行えばよいため、表示に至るまでの処理を削減できる。

次に、オリジナル領域に隣接する領域に対する解像度変換処理の様子について説明する。図６（Ａ）、（Ｂ）、（Ｃ）、（Ｄ）は、オリジナル領域の上側、下側、左側、右側の領域に対する解像度変換処理の様子を示す。図６（Ａ）に示すオリジナル領域１３の上側に存在する領域５２が歪み領域であり、領域５１，５２に含まれる画像に対して、所定の空間フィルタリング及び縮小処理を行うことで、歪み領域５２に格納する。すなわち、図６（Ａ）に５１，５２で示すようにオリジナル領域１３の外の上側の画素領域に対して、歪み領域５２に収まるように所定のフィルタリングによる縮小処理を行い、複数の部分歪み領域からなる歪み領域５２に格納する。

また、図６（Ｂ）に示すオリジナル領域１３の下側の領域５３及び５４、同図（Ｃ）に示すオリジナル領域１３の左側の領域５５及び５６、同図（Ｄ）に示すオリジナル領域１３の右側の領域５７及び５８に対しても所定の空間フィルタリング及び縮小処理を行うことで、同様に複数の部分歪み領域からなる歪み領域５４、５６、５８にそれらの領域の画像情報を格納する。その後、本来のＳＤ解像度を得るために所定のフィルタリングによる縮小処理を行うことで、ＨＤ解像度からＳＤ解像度への変換を行う。

また、図７（Ａ）、（Ｂ）、（Ｃ）、（Ｄ）は、オリジナル領域の左上側、左下側、右上側、右下側の領域に対する解像度変換処理の様子を示す。図７（Ａ）に示すオリジナル領域１３の左上側に存在する領域６２が歪み領域であり、領域６１，６２に含まれる画像に対して、所定の空間フィルタリング及び縮小処理を行うことで、複数の部分歪み領域からなる歪み領域６２に格納する。

また、図７（Ｂ）に示すオリジナル領域１３の左下側の領域６３及び６４、同図（Ｃ）に示すオリジナル領域１３の右上側の領域６５及び６６、同図（Ｄ）に示すオリジナル領域１３の右下側の領域６７及び６８に対しても所定の空間フィルタリング及び縮小処理を行うことで、同様に複数の部分歪み領域からなる歪み領域６４、６６、６８にそれらの領域の画像情報を格納する。

また、図８（Ａ）、（Ｂ）、（Ｃ）、（Ｄ）は、オリジナル領域の上側、下側、左側、右側の領域に対する解像度変換処理の様子を示す。図８（Ａ）に示すオリジナル領域１３の上側に存在する領域７２が歪み領域であり、領域７１，７２に含まれる画像に対して、所定の空間フィルタリング及び縮小処理を行うことで、複数の部分歪み領域からなる歪み領域７２に格納する。

また、図８（Ｂ）に示すオリジナル領域１３の下側の領域７３及び７４、同図（Ｃ）に示すオリジナル領域１３の左側の領域７５及び７６、同図（Ｄ）に示すオリジナル領域１３の右側の領域７７及び７８に対しても所定の空間フィルタリング及び縮小処理を行うことで、同様に複数の部分歪み領域からなる歪み領域７４、７６、７８にそれらの領域の画像情報を格納する。

ここで、図６のような処理では縦方向及び横方向の処理が別々に行われるため、図７に示した左上側、右上側、左下側、右下側の領域６１〜６８に対しては空間的なフィルタリング及び縮小処理を行うことで図８で示す領域とは別の処理を行っても構わない。図８で示す領域７１〜７８に対しては、図６で示したような横方向、縦方向のフィルタリング及び縮小処理を行う。このように、図６のフィルタリング及び縮小処理にてオリジナル領域に隣接する領域に対する解像度変換処理を行うか、図７と図８のフィルタリング及び縮小処理を組み合わせてオリジナル領域に隣接する領域に対する解像度変換処理を行う。

次に、本発明の空間解像度変換装置を用いた空間スケーラブル符号化方法について図９の画像変換の過程を示す図を用いて説明する。まず、空間スケーラブル符号化を行うにあたり、元のＨＤ解像度をもつ画像フレームを利用して、本発明の空間解像度変換処理を図２に示すように行うことで、図２（Ｅ）に示すオリジナル領域２８及び歪み領域３１と３２で構成されるＳＤ解像度の大きさの画像フレームを得る。

このオリジナル領域と歪み領域を含むＳＤ解像度の画像フレームをベースレイヤとし、このベースレイヤに対して所定の符号化を行う。エンハンスレイヤは、図９（Ｆ）の元のＨＤ解像度を持つ画像フレーム９１とする。その後、所定の復号化を行うことで、図９（Ａ）に示すように、オリジナル領域８１及び歪み領域８２，８３で構成されるＳＤ解像度の大きさの復号画像フレームを得る。領域８１，８２，８３は、図２（Ｅ）の領域２８，３１，３２に相当する。なお、図９（Ａ）及び（Ｂ）にハッチングを付して示す領域は、本来のＨＤ解像度では画像が存在していたが、前述した歪み処理によって必要なくなった存在しない領域を仮想的に示したものである。

このオリジナル領域８１及び歪み領域８２，８３からなる復号画像フレームのクロッピング領域の全体に対して所定の空間フィルタリング及び拡大処理により２.２５倍に拡大することで、図９（Ｂ）に示すように、拡大されたオリジナル領域８４と複数の部分歪み領域からなる歪み領域８５，８６からなる画像フレームのクロッピング領域を得る。その後、複数の部分歪み領域からなる歪み領域８５，８６に対して所定の空間フィルタリング及び拡大処理を行い、その処理結果をオリジナル領域８４の外側に格納することで、図９（Ｄ）に示すオリジナル領域８４と横方向の歪みが解消された領域８９，９０とからなるＨＤ解像度の画像フレームを得る。

なお、上記の処理の替わりに、図９（Ａ）の歪み領域８２，８３に対して先に所定の空間フィルタリング及び拡大処理を行い、その処理結果をオリジナル領域の外側に格納することで、同図（Ｃ）に示すようなオリジナル領域８１と横方向の歪みが解消された領域８７，８８からなるクリッピング領域の画像フレームを取得し、この画像フレーム全体に対して所定の空間フィルタリング及び２.２５倍の拡大処理を行うことにより、同様に図９（Ｄ）に示すオリジナル領域８４と歪みが解消された領域８９，９０からなるＨＤ解像度の拡大画像フレームを得るようにしてもよい。

あるいは、以上の歪み領域の２段階の拡大処理に替えて、図９（Ａ）の歪み領域８２，８３に対して先に所定の空間フィルタリング及び拡大処理を行うと共に、オリジナル領域８１に対しては所定の空間フィルタリング及び２.２５倍の拡大処理を行うことにより、直接に図９（Ｄ）に示したオリジナル領域８４と歪みが解消された領域８９，９０からなるＨＤ解像度の拡大画像フレームを得るようにしてもよい。

その後、ベースレイヤから得られた図９（Ｄ）に示す画像フレームと、図９（Ｆ）に示すエンハンスレイヤの画像９１との間で階層間の予測符号化を行う。なお、図９（Ｆ）中、点線で囲んだ領域は、クロッピング領域を示す。この階層間の予測符号化によって得られた図９（Ｅ）に示すレイヤ間の予測符号情報９２に対して所定の符号化を行うことで、エンハンスレイヤの符号化出力を得る。このような処理を行うことで、空間スケーラブル符号化方法を実現することができる。

また、空間スケーラブル復号化方法の一例としては、符号化方法で行ったベースレイヤの復号処理と同様の処理を行うことで、図９（Ｄ）に示したオリジナル領域８４と歪みが解消された領域８９，９０からなるＨＤ解像度の拡大画像フレームを得ると共に、エンハンスレイヤの復号処理を行うことで図９（Ｅ）に示すレイヤ間の予測符号情報９２を得る。その後、ベースレイヤとエンハンスレイヤとの間で階層間の予測復号化を行い、図９（Ｆ）に示すＳＤ解像度の画像フレーム９１を復号する。これにより、空間スケーラブル復号化方法を実現することができる。

次に、本発明の空間解像度変換装置を用いた空間スケーラブル符号化装置について説明する。図１０は本発明の空間解像度変換装置を用いた空間スケーラブル符号化装置の一実施の形態のブロック図を示す。同図中、図２９と同一構成部分には同一符号を付し、その説明を省略する。この実施の形態の空間スケーラブル符号化装置は、領域分割部７１１及び７１４、歪み変換部７１２、画像合成部７１３及び７１６、歪み逆変換部７１５、エンハンス符号化部７０１、画像縮小部７０３、ベースレイヤ符号化部７０４、画像拡大部７０６、ＭＵＸ部７０７からなる。

領域分割部７１１及び７１４は、入力画像信号をオリジナル領域と、歪み領域に分割する。歪み変換部７１２は、領域分割部７１１から送られた歪み領域画像に対し本発明で示した歪み変換を施し、歪み画像を作成し、画像合成部７１３に送る。画像合成部７１３、７１６は、オリジナル領域画像と歪み領域画像を合成し、一つの画像を生成する。歪み逆変換部７１５は、入力された歪み画像に対し、本発明で示した歪み逆変換を施し、歪み領域画像を作成し、画像合成部７１６に送る。

次に、図１０の符号化装置の動作について、図１１〜図１３のフローチャートと共に説明する。まず、入力されたＨＤ解像度の動画像信号に基づいて、空間解像度変換しようとするＳＤ解像度の歪み領域の画像（歪み変換画像）を作成する（図１１のステップＳ１０１）。このステップＳ１０１の詳細な処理動作について図１２のフローチャートと共に説明する。すなわち、図１０の領域分割部７１１は、入力されたＨＤ画像の画像領域（図１のエンハンス領域１１、図２（Ａ）のエンハンス領域２１に相当）を、オリジナル領域（図１のオリジナル領域１３、図２（Ｂ）のオリジナル領域２３に相当）と、オリジナル領域を除いた残りの領域である歪み領域（図２（Ｂ）の歪み領域２４、２５に相当）とに分割する（図１２のステップＳ１０１１）。

次に、図１０の歪み変換部７１２は、図５と共に説明したように、歪み領域の画像信号を、複数の部分歪み領域に分割する（図１２のステップＳ１０１２）。続いて、歪み変換部７１２は、複数の部分歪み領域のそれぞれに対して、図５と共に説明したような所定の歪み変換を行う（図１２のステップＳ１０１３）。

次に、図１０の画像合成器７１３は、領域分割部７１１で分割されたオリジナル領域の画像信号と、歪み変換部７１２で所定の歪み変換が施された複数の部分歪み領域の画像信号とを合成する（図１２のステップＳ１０１４）。

次に、図１０の画像縮小部７０３は、画像合成器７１３で合成されたＨＤ解像度の合成画像信号を入力として受け、その入力合成画像信号に対して、所定の空間フィルタリング及び縮小処理により１／２.２５倍に縮小して、図２（Ｃ）に示すような領域２８、２９、３０からなるＳＤ解像度の縮小画像を得た後、その縮小画像のオリジナル領域２８の外側の領域２９及び３０の画像情報に対して、所定の空間フィルタリング及び縮小処理を行い、その結果を歪み領域３１、３２に格納することで、図２（Ｅ）に示した、オリジナル領域２８と歪み領域３１及び３２とで構成される最終目標である、空間解像度変換後のＳＤ解像度の大きさの画像を作成する（図１２のステップＳ１０１５）。

次に、図１０のベースレイヤ符号化部７０４が、上記の画像縮小部７０３から出力されたＳＤ解像度の歪み変換画像を符号化してＳＤ局所復号画像信号とベースレイヤビットストリームとを生成する（図１１のステップＳ１０２）。ベースレイヤ符号化部７０４により生成されたベースレイヤビットストリームはＭＵＸ部７０７へ出力され、ＳＤ局所復号画像信号は領域分割部７１４へ出力される。

続いて、領域分割部７１４、歪み逆変換部７１５、画像合成部７１６及び画像拡大部７０６により、ＳＤ局所復号画像信号に基づいて、図１３のフローチャートに従ってエンハンス予測画像が作成される（図１１のステップＳ１０３）。すなわち、領域分割部７１４は、ＳＤ局所復号画像信号をオリジナル領域と歪み領域とに分割し（図１３のステップＳ１０３１）、更に歪み領域を複数の部分歪み領域に分割する（図１３のステップＳ１０３２）。

領域分割部７１４によりＳＤ局所復号画像信号から分割されたオリジナル領域の画像信号は、オリジナル領域局所復号画像として画像合成器７１６に供給される。また、領域分割部７１４によりＳＤ局所復号画像信号から分割された複数の部分歪み領域の画像信号は、歪み領域局所復号画像として歪み逆変換部７１５に供給される。

歪み逆変換部７１５は、入力された複数の部分歪み領域の画像信号の各部分歪み領域に対して所定の歪み逆変換を行う（図１３のステップＳ１０３３）。この歪み逆変換では、複数の部分歪み領域からなる全体の歪み領域の横方向の歪みも解消する処理が行われる。続いて、図１０の画像合成部７１６により、オリジナル領域局所復号画像と歪み逆変換部７１５からの横方向の歪み等が解消された歪み領域復号画像とが合成される（図１３のステップＳ１０３４）。これにより、例えば、図９（Ｃ）に示したような、オリジナル領域８１と横方向の歪みが解消された領域８７，８８からなるクリッピング領域の画像フレームを示す合成画像信号が生成される。

続いて、図１０の画像拡大部７０６により、画像合成部７１６からのＳＤ解像度の合成画像信号に対して、所定の空間フィルタリング及び２.２５倍の拡大処理を行うことにより、図９（Ｄ）に示したような、オリジナル領域８４と歪みが解消された領域８９，９０からなるＨＤ解像度の拡大画像フレームがエンハンス予測画像として生成される（図１３のステップＳ１０３５）。

上記のようにしてエンハンス予測画像が生成されると、続いて図１０のエンハンス符号化部７０１において、入力されたＨＤ解像度の画像信号の、生成されたエンハンス予測画像を用いたエンハンスレイヤ符号化が行われ、エンハンスレイヤビットストリームが生成される（図１１のステップＳ１０４）。そして、最後に、エンハンス符号化部７０１からのエンハンスレイヤビットストリームと、ベースレイヤ符号化部７０４からのベースレイヤビットストリームとが、図１０のＭＵＸ部７０７で多重化されて一つのビットストリームとされて出力される（図１１のステップＳ１０５）。

次に、図１０の符号化装置により符号化されたビットストリームの復号装置について説明する。図１４は本発明の空間解像度変換装置を用いた解像度変換空間スケーラブル復号装置の一実施の形態のブロック図を示す。同図中、図３１と同一構成部分には同一符号を付してある。図１４に示す解像度変換空間スケーラブル復号装置は、図３１と同様にＤＥＭＵＸ部８０１、エンハンス復号部８０２、画像拡大部８０５、ベースレイヤ復号部８０３、画像切り替え器８０６を有すると共に、領域分割部８１１、歪み逆変換部８１２、画像合成部８１３が新たに追加された構成とされている。

領域分割部８１１は、ＳＤ画像をオリジナル領域画像と、歪み領域画像に分割する機能を有する。歪み逆変換部８１２は、入力された歪み画像に対し、本発明で示した歪み逆変換を施し、歪み領域画像を作成し、画像合成部８１３に送る機能を有する。画像合成部８１３は、オリジナル領域画像と、歪み逆変換部８１２の出力画像とを合成し、ＨＤ画像とアスペクト比が同じで、ＳＤ画像と垂直方向サイズが同じ画像を作成する機能を有する。

次に、図１４に示す復号装置の動作を図１５のフローチャートを用いて説明する。図１０の符号化装置により符号化されたビットストリームがＤＥＭＵＸ部８０１に供給されてエンハンスレイヤビットストリームとベースレイヤビットストリームにそれぞれ分割され（図１５のステップＳ２０１）、分割されたベースレイヤビットストリームはベースレイヤ復号部８０３により所定の復号処理が施されて、ＳＤ画像に復号される（図１５のステップＳ２０２）。

続いて、ベースレイヤ復号部８０３から出力されたＳＤ画像は、領域分割部８１１によりオリジナル領域画像と歪み領域画像とに分割される（図１５のステップＳ２０３）。歪み逆変換部８１２は、領域分割部８１１で分割された、例えば図９（Ａ）に８２、８３で示したような歪み領域画像を取得し、その歪み領域画像に対して歪み逆変換を施して、例えば図９（Ｃ）に８７、８８で示した歪み画像を作成する（図１５のステップＳ２０４）。画像合成部８１３は、領域分割部８１１で分割されたオリジナル領域画像と、歪み逆変換部８１２で歪み逆変換処理されて得られた歪み領域画像とを合成し、ＨＤ画像とアスペクト比が同じで、ＳＤ画像と垂直方向サイズが同じ画像を作成する（図１５のステップＳ２０５）。

画像拡大部８０５は、画像合成部８１３で画像合成して得られた、例えば図９（Ｃ）に８１、８７、８８で示したような合成画像を取得し、その合成画像に対して所定の拡大処理を施し、例えば図９（Ｄ）に示したようなＨＤ解像度の画像フレームであるエンハンス予測画像を作成する（図１５のステップＳ２０６）。続いて、エンハンス復号部８０２は、ＤＥＭＵＸ部８０１で分割されたエンハンスレイヤビットストリームに対して、画像拡大部８０５で作成されたＨＤ解像度のエンハンス予測画像を用いた所定の復号を行い、ＨＤ画像を作成する（図１５のステップＳ２０７）。そして、出力画像切り替え器８０６により、ユーザまたはシステムにより送られた出力画像制御信号を基に、エンハンス復号部８０２からのＨＤ画像又はベースレイヤ復号部８０３からＳＤ画像が選択されて出力画像として出力される（図１５のステップＳ２０８）。

ところで、以上の実施の形態では、説明を簡単にするために図１を用いて本発明で利用する各領域について説明している。この説明において、オリジナル領域は矩形であるものとして話を進めているが、必ずしもオリジナル領域は矩形である必要はない。図１６から図２１は、オリジナル領域の形状について示した概念図である。

図１６は本発明になる空間解像度変換装置で空間解像度変換を行う画像領域の第１の例の説明図を示す。この例は、オリジナル領域１６０３として回転を許容した長方形を採用した場合の例である。図１で示されたオリジナル領域１３の長方形では、長方形を定義するために左上の座標Ｏ（Ｘｏ，Ｙｏ）と、長方形の横の大きさＷ_Ｏ，縦の大きさＨ_Ｏを採用していたため、オリジナル領域１３に対して長方形を回転させた領域を定義することが難しかった。

そこで、図１６の例では、長方形のオリジナル領域１６０３の中心座標Ｏ（Ｘｏ，Ｙｏ）と長方形の左上の座標Ｓ１（Ｘs１，Ｙs１）を腕の長さとした極座標形式で定義する。ここでは、中心座標をＯ、補助座標をＳ１としている。なお、図１６ではエンハンス領域を定義するために、領域１６０１の左上の座標をＥ（Ｘ_Ｅ，Ｙ_Ｅ）、横方向の大きさをＷ_Ｅ、縦方向の大きさをＨ_Ｅとする。ＳＤ解像度の画像領域はクロッピング領域１６０２であり、これは左上の座標をＣ（Ｘ_Ｃ，Ｙ_Ｃ）、横方向の大きさをＷ_Ｃ、縦方向の大きさをＨ_Ｃとする。

図１７は本発明になる空間解像度変換装置で空間解像度変換を行う画像領域の第２の例の説明図を示す。この例は、オリジナル領域１７０３として円形を採用した場合の例である。この場合も同様に、中心座標をＯ、補助座標をＳ１としている。なお、１７０１はエンハンス領域、１７０２はクロッピング領域である。

図１８は本発明になる空間解像度変換装置で空間解像度変換を行う画像領域の第３の例の説明図を示す。この例は、オリジナル領域１８０３として回転を許容した菱形を採用した場合の例である。菱形の場合、対角線の長さが縦方向と横方向で異なることから、中心座標Ｏ（Ｘｏ、Ｙｏ）、補助座標Ｓ１（Ｘs１,Ｙs１）、補助座標Ｓ２（Ｘs２,Ｙs２）を定義する。なお、１８０１はエンハンス領域、１８０２はクロッピング領域である。

図１９は本発明になる空間解像度変換装置で空間解像度変換を行う画像領域の第４の例の説明図を示す。この例は、オリジナル領域１９０３として回転を許容した楕円形を採用した場合の例である。楕円形は２つの焦点が必要となるが、他の形状との整合性を保つためオリジナル領域１９０３の中心座標Ｏを採用し、１つ目の焦点座標を補助座標Ｓ１として中心座標Ｏと補助座標Ｓ１からもう一つの焦点を計算することで２つの焦点を特定する。また、楕円上に補助座標Ｓ２を定義することで、回転を許容した楕円形を定義することができる。なお、１９０１はエンハンス領域、１９０２はクロッピング領域である。

図２０は本発明になる空間解像度変換装置で空間解像度変換を行う画像領域の第５の例の説明図を示す。この例は、オリジナル領域２００３として転を許容した多角形を採用した場合の例である。オリジナル領域２００３の中心座標Ｏ、補助座標Ｓ１を定義することで、まず円形を想定し、円周を等分する距離に補助座標Ｓ２を定義することで、回転を許容した多角形を定義することができる。なお、２００１はエンハンス領域、２００２はクロッピング領域である。

図２１は本発明になる空間解像度変換装置で空間解像度変換を行う画像領域の第６の例の説明図を示す。この例は、オリジナル領域２１０３として任意形状を採用した場合の例である。オリジナル領域２１０３の形状を任意形状とするために、中心座標Ｏと、複数の補助座標Ｓ１〜Ｓｎを用意することで任意形状を特定する。なお、２１０１はエンハンス領域、２１０２はクロッピング領域である。

ただし、以上のような各種のオリジナル領域の形状は、単に中心座標と補助座標の位置や数からでは判断することが難しい。そこで、オリジナル領域の形状を特定するために、図４のような対応表によって管理するとよい。この対応表は、形状を形状モードＩＤで番号付けする。また、各形状を表現するために必要な中心座標、補助座標の数を特定するための情報との関連付けが行われている。

このような形状モードＩＤと、中心座標、補助座標の情報を本発明により解像度変換された画像フレームと共に伝送することで、歪み領域を元に戻す際に、オリジナル領域や歪み領域などを特定することができ、正しく元の大きさの画像フレームに戻すことが可能となる。また、歪み領域へ格納する際の空間フィルタリング及び縮小処理は、図１７に示すようなオリジナル領域１７０３の法線方向に対して行うとよい。

なお、本発明は以上の実施の形態に限定されるものではなく、上記の本発明の空間解像度変換装置の実施の形態を、コンピュータによるソフトウェア処理により実現させるコンピュータプログラムも包含する。ここで、上記のコンピュータプログラムは、記録媒体から読み取られてコンピュータに取り込まれてもよいし、ネットワークを介して配信されてコンピュータに取り込まれてもよい。

本発明の空間解像度変換装置で空間解像度変換を行う画像領域の一例の構成説明図である。本発明の空間解像度変換装置により、ＨＤ解像度からＳＤ解像度へ空間解像度変換を行う処理過程を示すための概念図である。本発明の空間解像度変換を行う処理過程の一実施の形態を示すフローチャートである。本発明の歪み領域の形状の種類および形状を表現するために必要な座標数を示すための図である。本発明装置による歪み領域を作成するための縮小方法の一実施の形態の説明図である。本発明の解像度変換のオリジナル領域の上側、下側、左側、右側の領域に対する解像度変換処理の様子を示すための概念図である。本発明の解像度変換のオリジナル領域の左上側、左下側、右上側、右下側の領域に対する解像度変換処理の様子を示すための概念図である。本発明の解像度変換において、オリジナル領域の左上側、右上側、左下側、右下側の領域を除いた上側、下側、左側、右側の領域に対する解像度変換処理の様子を示すための概念図である。本発明の空間解像度変換装置を用いた空間スケーラブル符号化方法における画像変換の過程を示す図である。本発明の空間解像度変換装置を用いた空間スケーラブル符号化装置の一実施の形態のブロック図である。図１０の動作説明用フローチャートである。図１１中の歪み変換画像作成ステップの詳細説明用フローチャートである。図１１中のエンハンス予測画像作成ステップの詳細説明用フローチャートである。本発明の空間解像度変換装置を用いた空間スケーラブル復号装置の一実施の形態のブロック図である。図１４の動作説明用フローチャートである。本発明の解像度変換処理を行う画像領域の第１の例の説明図である。本発明の解像度変換処理を行う画像領域の第２の例の説明図である。本発明の解像度変換処理を行う画像領域の第３の例の説明図である。本発明の解像度変換処理を行う画像領域の第４の例の説明図である。本発明の解像度変換処理を行う画像領域の第５の例の説明図である。本発明の解像度変換処理を行う画像領域の第６の例の説明図である。従来のスケーラブル符号化で行われる解像度変換の様子を示すための概念図である。従来のクロッピング処理及びレターボックス処理の様子を示すための概念図である。従来のクロッピング処理を用いた空間スケーラブル符号化の処理過程を示すための概念図（その１）である。従来のクロッピング処理を用いた空間スケーラブル符号化の処理過程を示すための概念図（その２）である。従来のレターボックス処理を用いた空間スケーラブル符号化の処理過程を示すための概念図である。従来のスクイーズ処理の様子を示すための概念図である。従来のスクイーズ処理を用いた空間スケーラブル符号化の処理過程を示すための概念図である。従来のスクイーズ処理を利用した空間スケーラビリティをもつ動画像符号化装置の一例のブロック図である。従来のスクイーズを用いた解像度変換空間スケーラブル符号化装置の動作を説明するためのフローチャートである。従来のスクイーズを用いた解像度変換空間スケーラブル復号装置の一例のブロック図である。空間スケーラブル復号装置の動作を説明するためのフローチャートである。

符号の説明

１１、２１エンハンス領域
１２、２２、９１クロッピング領域
１３、２３、２８、８１、８４オリジナル領域
２６、２７、３１、３２、８２、８３、８５、８６歪み領域
４１二次曲線歪み領域
４２線形歪み領域
７０１エンハンス符号化部
７０３画像縮小部
７０４ベースレイヤ符号化部
７０６、８０５画像拡大部
７０７多重化（ＭＵＸ）部
７１１、７１４、８１１領域分割部
７１２歪み変換部
７１３、７１６、８１３画像合成部
７１５、８１２歪み逆変換部
８０１分離化（ＤＥＭＵＸ）部
８０２エンハンス復号部
８０３ベースレイヤ復号部
８０６出力画像切り替え器

Claims

高精細な第１の空間解像度を持つ第１の画像フレームを、前記第１の空間解像度より低い第２の空間解像度で、かつ、前記第１の画像フレームとは縦横比の異なる第２の画像フレームに変換するための空間解像度変換装置であって、
前記第１の空間解像度をもつ第１の画像フレームの画像領域中、縮小処理により前記第２の画像フレームとなる画像領域をクロッピング領域としたとき、そのクロッピング領域を前記第１の画像フレームと同じ縦横比とする第１の領域と、前記第１の領域の外側の第２の領域とに分割し、更に該第２の領域を複数の部分歪み領域に分割する領域分割手段と、
前記第１の画像フレームに基づいて、前記第１の画像フレームの画像領域中、前記クロッピング領域の外側の画像領域の画像情報が、前記領域分割手段で分割された前記第２の領域を構成する前記複数の部分歪み領域に収まるように、その部分歪み領域に予め任意に設定された互いに異なる関数に従って縮小して歪み画像情報として格納され、かつ、前記第１の画像フレームの前記第１の領域の画像情報を有する合成画像全体が縮小された、前記第２の空間解像度の前記第２の画像フレームを生成する画像フレーム生成手段と
を有することを特徴とする空間解像度変換装置。
前記画像フレーム生成手段は、少なくとも前記複数の部分歪み領域のうち、前記第１の領域と前記第２の領域との境界に接する部分歪み領域では、非線形関数を用いて縮小した画像情報を格納し、前記第２の領域と前記クロッピング領域との境界に接する部分歪み領域では、線形関数を用いて縮小した画像情報を格納することを特徴とする請求項１記載の空間解像度変換装置。
請求項１記載の空間解像度変換装置により生成された前記第２の空間解像度の前記第２の画像フレームを、前記第１の空間解像度の前記第１の画像フレームに変換する空間解像度変換装置であって、
前記第２の画像フレーム全体を拡大処理して縦横比が前記第１の画像フレームと同じ画像を生成する第１の画像拡大手段と、
前記画像拡大手段により拡大された画像フレームの画像領域中、前記クロッピング領域内で、かつ、前記第１の領域の外側の複数の部分歪み領域からなる前記第２の領域の歪み画像情報を、その部分歪み領域の縮小率に対応した拡大率で拡大して歪みのない画像を生成する第２の画像拡大手段と、
前記第１の画像拡大手段により拡大された前記第１の領域の画像情報と、前記第２の画像拡大手段により拡大された前記第２の領域の画像情報との合成画像を前記第１の空間解像度の第１の画像フレームとして生成する画像合成手段と
を有することを特徴とする空間解像度変換装置。
請求項１記載の空間解像度変換装置により生成された前記第２の空間解像度の前記第２の画像フレームを、前記第１の空間解像度の前記第１の画像フレームに変換する空間解像度変換装置であって、
前記第２の画像フレームの画像領域中、前記クロッピング領域内で、かつ、前記第１の領域の外側の複数の部分歪み領域からなる前記第２の領域の歪み画像情報を、その部分歪み領域の縮小率に対応し、かつ、縦横比が前記第１の画像フレームと同じ拡大率で拡大して歪みのない画像を生成する第１の画像拡大手段と、
前記第１の画像拡大手段により拡大された拡大画像情報と、前記第２の画像フレームの画像領域中、前記第１の領域の画像情報とからなる合成画像を拡大して、前記第１の空間解像度の前記第１の画像フレームを生成する第２の画像拡大手段と
を有することを特徴とする空間解像度変換装置。