JP2007323479A - 画像処理装置、画像符号化装置、画像復号化装置、画像処理システム及びプログラム - Google Patents

Abstract

【課題】複雑な機構を有しない場合においても、位相をずらされた画像であって、より高解像度の画像の生成に用いられる画像を生成することができる画像処理装置を提供する。
【解決手段】本発明に係る画像処理装置は、撮像素子により取得された解像度の画像を縮小する。画素ずらし位相１〜４の縮小画像は、互いに位相の異なる画像である。具体的には、これらの縮小画像の位相は、当該縮小画像の解像度における１画素未満の大きさで互いにずれている。このように、本発明に係る画像処理装置は、撮像素子により取得された第１の解像度の入力画像に基づいて、第１の解像度より低解像度である第２の解像度の縮小画像であって位相の異なる複数の縮小画像を生成する。本発明に係る画像処理装置は、生成された複数の縮小画像と、該縮小画像の生成に関する制御情報とに基づいて、第２の解像度より高解像度である第１の解像度の高解像度画像を生成する。
【選択図】図２

Description

本発明は、解像度の変換を行う画像処理装置に関する。

高解像度の静止画像を取得する方法として、位相をずらした画像を取得し、重ね合わせる技術は公知である。このような技術では、例えば、ＣＣＤなどの撮像素子をメカ的に動かしたり、撮像素子と映像との相対位置をずらすように撮像素子前段のレンズを動かしたりして、位相をずらした画像を取得する。

特許文献１では、撮像素子をメカ的に１画素未満ずらして画像を取得し、取得した画像から高解像度の静止画像を生成する手法が開示されている。
特許文献２では、光学的に撮像素子と映像との相対位置をずらす手法が開示されている。
特許文献３では、スキャナで画素ずらしを行いながら読み取った複数の画像を、コンピュータ上で合成処理して一枚の高解像度画像を得る手法が開示されている。

特許文献４では、高解像度の映像信号を所定の解像度に低下させて符号化する手法が開示されている。この手法では、復号化器は、低解像度の映像信号を復号化し、補間器で補間する。さらに、この手法は、高解像度の映像信号の各フレームを符号化する。
特許文献５では、撮影によって得られた画像データのうち奇数番めの画像データは、半分のデータ量となるように分割して磁気テープのビデオ記録領域に記録される手法が開示されている。この手法は、静止画再生の場合、この分割された画像データを合成して一駒の画像にする。
特許文献６では、動画撮影時及び静止画撮影中のモニタリング時には、画素混合又は間引き、垂直帰線期間中の信号読み出し、補間処理によりテレビジョン信号を生成し、静止画記録時には全画素の信号を独立に読み出して記録する手法が開示されている。

特開平１１−２１５３２４号公報 特開平８−２６５５２２号公報 特開２０００−３３２９６４号公報 特開平１１−１３６６８３号公報 特開平８−２９４０８５号公報 特開２００１−１９７３７１号公報

本発明は、複雑な機構を有しない場合においても、位相をずらされた画像であって、より高解像度の画像の生成に用いられる画像を生成することができる画像処理装置を提供することを目的とする。

上記目的を達成するために、本発明に係る画像処理装置は、第１の解像度の入力画像を受け付ける受付手段と、前記受付手段により受け付けられた入力画像に基づいて、第１の解像度より低解像度である第２の解像度の縮小画像であって位相の異なる複数の縮小画像を生成する縮小画像生成手段とを有する。

好適には、前記縮小画像生成手段により生成された複数の縮小画像と、該縮小画像の生成に関する制御情報とに基づいて、第１の解像度の高解像度画像を生成する高解像度画像生成手段をさらに有する。
好適には、前記縮小画像生成手段は、予め決められた制御情報に基づいて縮小画像を生成し、前記高解像度画像生成手段は、該制御情報に基づいて高解像度画像を生成する。

本発明に係る画像符号化装置は、第１の解像度の複数の入力画像を受け付ける受付手段と、前記受付手段により受け付けられた複数の入力画像に基づいて、第１の解像度より低解像度である第２の解像度の縮小画像であって位相の異なる複数の縮小画像を生成する縮小画像生成手段と、前記縮小画像生成手段により生成された縮小画像に基づいて符号データを生成する符号データ生成手段とを有する。

好適には、前記縮小画像生成手段は、前記受付手段により受け付けられた複数の入力画像が静止画である場合、位相の異なる複数の縮小画像を生成する。

本発明に係る画像復号化装置は、第１の解像度の複数の入力画像を受け付ける受付手段と、前記受付手段により受け付けられた複数の入力画像に基づいて、第１の解像度より低解像度である第２の解像度の縮小画像であって位相の異なる複数の縮小画像を生成する縮小画像生成手段と、前記縮小画像生成手段により生成された縮小画像に基づいて符号データを生成する符号データ生成手段とを有する画像符号化装置により符号化された符号データを受け付ける符号データ受付手段と、前記符号データ受付手段により受け付けられた符号データを復号化する復号化手段と、前記復号化手段により復号化された複数の縮小画像と、該縮小画像の生成に関する制御情報とに基づいて、第１の解像度の高解像度画像を生成する高解像度画像生成手段とを有する。

また、本発明に係る画像処理システムは、第１の解像度の複数の入力画像を受け付ける受付手段と、前記受付手段により受け付けられた複数の入力画像に基づいて、第１の解像度より低解像度である第２の解像度の縮小画像であって位相の異なる複数の縮小画像を生成する縮小画像生成手段と、前記縮小画像生成手段により生成された縮小画像に基づいて符号データを生成する符号データ生成手段とを有する画像符号化装置と、前記画像符号化装置により符号化された符号データを復号化する復号化手段と、前記復号化手段により復号化された複数の縮小画像と、該縮小画像の生成に関する制御情報とに基づいて、第１の解像度の高解像度画像を生成する高解像度画像生成手段とを有する画像復号化装置とを有する。

本発明に係る第１のプログラムは、コンピュータを含む画像処理装置において、第１の解像度の入力画像を受け付ける受付ステップと、前記受け付けられた入力画像に基づいて、第１の解像度より低解像度である第２の解像度の縮小画像であって位相の異なる複数の縮小画像を生成する縮小画像生成ステップとを前記画像処理装置のコンピュータに実行させる。

また、本発明に係る第２のプログラムは、コンピュータを含む画像符号化装置において、第１の解像度の複数の入力画像を受け付ける受付ステップと、前記受け付けられた複数の入力画像に基づいて、第１の解像度より低解像度である第２の解像度の縮小画像であって位相の異なる複数の縮小画像を生成する縮小画像生成ステップと、前記生成された縮小画像に基づいて符号データを生成する符号データ生成ステップとを前記画像符号化装置のコンピュータに実行させる。

さらに、本発明に係る第３のプログラムは、コンピュータを含む画像復号化装置において、第１の解像度の複数の入力画像を受け付け、前記受け付けられた複数の入力画像に基づいて、第１の解像度より低解像度である第２の解像度の縮小画像であって位相の異なる複数の縮小画像を生成し、前記生成された縮小画像に基づいて符号データを生成する画像符号化装置により符号化された符号データを受け付ける符号データ受付ステップと、前記受け付けられた符号データを復号化する復号化ステップと、前記復号化された複数の縮小画像と、該縮小画像の生成に関する制御情報とに基づいて、第１の解像度の高解像度画像を生成する高解像度画像生成ステップとを前記画像復号化装置のコンピュータに実行させる。

本発明の画像処理装置によれば、複雑な機構を有しない場合においても、位相をずらされた画像であって、より高解像度の画像の生成に用いられる画像を生成することができる。

まず、本発明の理解を助けるために、本発明の概略を説明する。
図１は、撮像解像度より高い解像度の画像を生成する１手法を説明する図である。
図１（Ａ）は、入力画像を模式的に例示する図であって、図１（Ａ）に示される破線は、撮像素子により撮像される１画素の画像領域に相当する。このような入力画像は、図１（Ｂ）に示すように、所定数（本例では、９個）の撮像素子により撮像されて、画像データとして画像化される。

画素をずらされた画像は、例えば、このような撮像素子の位相をずらすことにより取得される。図１（Ｃ）は、撮像素子の位相を１／２画素ずらして取得された４画像に基づいて、図１（Ｂ）に示される画像の４倍の解像度の画像を取得する手法を示す図である。ここで、図中の丸数字は、位相をずらされた撮像素子を示し、丸数字を囲む矩形は、当該丸数字により表される撮像素子により画像化された画像領域を示す。本例では、撮像素子が、（１）標準位置である場合、（２）水平方向にずらされた場合、（３）垂直方向にずらされた場合及び（４）水平方向かつ垂直方向にずらされた場合、の４通りを示す。図１（Ｃ）に示すようにして、撮像素子により取得された画像は、高解像度化される。

図２は、本発明に係る画像処理装置による画像処理の概略を示す図であって、図２（Ａ）は、撮像素子により取得された画像を示し、図２（Ｂ）は、この画像を縮小して得られた縮小画像を示し、図２（Ｃ）は、これらの縮小画像に基づいて生成された高解像度画像を示す。
本発明に係る画像処理装置は、撮像素子により取得された解像度の画像を縮小する。図２（Ａ）において、矢印ａ〜ｄにより示される各画像領域は、図２（Ｂ）に示される各縮小画像の原画像に対応する。図２（Ａ）及び図２（Ｂ）に示すように、図２（Ｂ）に示される画素ずらし位相１の縮小画像は、図２（Ａ）における画像領域ａを縮小して得られたものである。同様にして、画素ずらし位相２〜４の縮小画像はそれぞれ、画像領域ｂ〜ｄを縮小して得られたものである。

画素ずらし位相１〜４の縮小画像は、互いに位相の異なる画像である。具体的には、これらの縮小画像の位相は、当該縮小画像の解像度における１画素未満の大きさで互いにずれている。このように、本発明に係る画像処理装置は、撮像素子により取得された第１の解像度の入力画像に基づいて、第１の解像度より低解像度である第２の解像度の縮小画像であって位相の異なる複数の縮小画像を生成する。

図２（Ｃ）に示すように、本発明に係る画像処理装置は、生成された複数の縮小画像と、該縮小画像の生成に関する制御情報とに基づいて、第２の解像度より高解像度である第１の解像度の高解像度画像を生成する。ここで、当該制御情報は、例えば、撮像素子により取得された画像から縮小画像が切り出される位置、画素をずらされる位相の大きさ、サブサンプリングの方法などである。このようにして、本発明に係る画像処理装置は、位相をずらされた画像であって、より高解像度の画像の生成に用いられる画像（図２（Ｂ）の縮小画像）を生成する。

以下、本発明の実施形態に係る画像処理装置２を具体的に説明する。
図３は、本発明の実施形態に係る画像処理装置２及び後述する画像符号化装置４及び画像復号化装置６のハードウェア構成を、制御装置２０を中心に示す図である。
図３に示すように、画像処理装置２等は、ＣＰＵ２０２及びメモリ２０４などを含む制御装置２０と、ネットワークを介して外部のコンピュータなどとデータの送信及び受信を行う通信装置２２と、ハードディスクドライブなどの記憶装置２４と、液晶ディスプレイなどの表示装置並びにキーボード及びポインティングデバイスを含むユーザインタフェース（ＵＩ）装置２６とを有する。また、画像処理装置２は、ＣＣＤ等の撮像素子を有する画像撮影装置２８に接続されている。

画像処理装置２等は、例えば、後述する画像処理プログラム４０などがインストールされた汎用コンピュータであり、ＣＣＤ等の撮像素子を介して画像撮影装置２８により取得された画像のデータを入力画像として受け付け、この入力画像に対して画像処理を行う。ここで、画像撮影装置２８は、少なくとも２つの解像度で画像を撮像できる撮像素子を有するのが好ましい。なお、画像処理装置２等は、通信装置２２、記憶装置２４又は記録媒体２４０などを介して画像のデータを取得してもよいし、図示しないプリンタ装置のスキャナ機能又はスキャナ装置により光学的に読み取られた画像のデータを取得してもよい。

図４は、本発明の第１の実施形態に係る画像処理装置２の制御装置２０により実行される画像処理プログラム４０の機能構成を示す図である。
図４に示すように、画像処理プログラム４０は、入力画像受付部４００、画像切り出し部４０２、画像切り出し制御部４０４及び高解像度画像生成部４０６を有する。画像処理プログラム４０は、例えば、通信装置２２を介して制御装置２０に供給され、メモリ２０４にロードされて、制御装置２０上で動作する図示しないＯＳ上で、ハードウェアを具体的に利用して実行される。画像処理プログラム４０は、ＦＤ、ＣＤ又はＤＶＤなどの記録媒体２４０に格納されて、画像処理装置２に供給されてもよい。なお、以下の各プログラムも、同様に供給されて実行される。また、画像処理プログラム４０の全部又は一部の機能は、画像処理装置２に設けられたＡＳＩＣなどにより実現されてもよい。

画像処理プログラム４０において、入力画像受付部４００は、画像撮影装置２８により取得された第１の解像度の入力画像を受け付けて、画像切り出し部４０２に対して出力する。入力画像受付部４００は、通信装置２２、記憶装置２４又は記録媒体２４０を介して、スキャナ装置などにより読み取られた第１の解像度の入力画像を受け付けてもよい。なお、画像撮影装置２８は、動画を撮影し、動画における各フレームを入力画像受付部４００に対して出力してもよい。この場合、入力画像受付部４００は、動画像データの各フレームを入力画像として受け付ける。

画像切り出し部４０２は、第１の解像度より低解像度である第２の解像度の縮小画像であって位相の異なる複数の縮小画像（低解像度画像）を生成して、縮小画像生成手段を構成する。具体的には、画像切り出し部４０２は、入力画像受付部４００から第１の解像度の入力画像を入力し、後述する画像切り出し制御部４０４から受け付けた切り出し制御情報（例えば、切り出し位置、画素ずらし位相など）に基づいて、入力画像の少なくとも一部の画素を切り出して複数の縮小画像を生成する。

例えば、切り出し制御情報の画素ずらし位相が、第２の解像度における１／２画素である場合、画像切り出し部４０２は、図２（Ｂ）に示されるように、標準位置の画像、及び水平方法及び垂直方向の少なくともいずれかの方向に１／２画素だけ位相をずらされた画像の４通りの縮小画像を生成する。第１の解像度の入力画像の画素値と、第２の解像度の縮小画像の画素値とが１対１に対応しない場合、画像切り出し部４０２は、最近傍補間法、線形補間法などを適用した所定の補間処理により、縮小画像の画素値を算出してもよい。なお、画素ずらし位相は、１／２画素に限定されず、例えば、１／４画素であってもよいし、１／８画素であってもよい。

画像切り出し部４０２は、生成した複数の縮小画像を高解像度画像生成部４０６に対して出力する。画像切り出し部４０２は、縮小画像を、通信装置２２を介して図示しない外部のコンピュータに対して出力してもよいし、記憶装置２４に格納してもよい。また、縮小画像は、記録媒体２４０に格納されて、他のコンピュータに移動されてもよい。

画像切り出し制御部４０４は、切り出し制御情報を画像切り出し部４０２及び高解像度画像生成部４０６に対して出力する。ここで、切り出し制御情報には、画素をずらす位相の大きさ、画素値の補間手法、画像の切り出し位置などが含まれる。切り出し制御情報は、予め設定されていてもよいし、ＵＩ装置２６のキーボード及びマウスなどの入力装置を介してユーザにより設定されてもよい。

高解像度画像生成部４０６は、画像切り出し部４０２により生成された複数の縮小画像と、該縮小画像の生成に関する制御情報とに基づいて、第１の解像度の高解像度画像を生成する。ここで、制御情報は、画像切り出し制御部４０４から受け付ける切り出し制御情報である。なお、第１の解像度の入力画像の画素値と、第２の解像度の縮小画像の画素値とが１対１に対応しない場合であって、画像切り出し部４０２が、補間処理を行わずに縮小画像を生成した場合、高解像度画像生成部４０６は、高解像度画像を生成した後に、生成された高解像度画像に対して折り返し雑音を低減する処理を行ってもよい。

高解像度画像生成部４０６は、生成した高解像度画像データを出力する。高解像度画像生成部４０６は、高解像度画像データを記憶装置２４に格納してもよいし、通信装置２２を介して外部のコンピュータに対して送信してもよい。

図５は、画像処理プログラム４０の動作（Ｓ１０）を示すフローチャートである。
図５に示すようにステップ１００（Ｓ１００）において、画像処理装置２で動作する画像処理プログラム４０の入力画像受付部４００は、画像撮影装置２８により取得された第１の解像度の入力画像を受け付ける。

ステップ１０２（Ｓ１０２）において、画像切り出し制御部４０４は、切り出し制御情報を画像切り出し部４０２及び高解像度画像生成部４０６に対して出力する。
ステップ１０４（Ｓ１０４）において、画像切り出し部４０２は、入力画像及び切り出し制御情報に基づいて、第２の解像度の複数の縮小画像を生成する。
ステップ１０６（Ｓ１０６）において、高解像度画像生成部４０６は、画像切り出し部４０２により生成された複数の縮小画像及び切り出し制御情報に基づいて、第１の解像度の高解像度画像を生成する。

図６は、本発明の第２の実施形態に係る画像処理装置２の制御装置２０により実行される画像処理プログラム４２の機能構成を示す図である。
図６に示すように、画像処理プログラム４２は、入力画像受付部４００、画像切り出し部４０２、画像切り出し制御部４０４、高解像度画像生成部４０６及び画素ずらし位相推定部４２０を有する。本実施形態に係る画像処理プログラム４２は、生成された縮小画像に基づいて画素をずらされた位相を推定する点で、第１の実施形態に係る画像処理プログラム４０とは異なる。なお、図６に示された各構成のうち、図４に示された構成と実質的に同一のものには同一の符号が付されている。

画像処理プログラム４２において、画素ずらし位相推定部４２０は、画像切り出し部４０２により生成された複数の縮小画像に基づいて、これらの縮小画像の画素ずらし位相を推定して、高解像度画像生成部４０６に対して出力する。画素ずらし位相推定部４２０は、例えば、画像切り出し部４０２により生成された縮小画像の画素値と、入力画像受付部４００により受け付けられた入力画像を第２の解像度に縮小してから１／２画素だけずらして生成された画像の画素値とを比較することにより、画素ずらし位相を推定する。なお、画素ずらし位相の推定方法は、本手法に限定されない。高解像度画像生成部４０６は、画素ずらし位相推定部４２０により受け付けた画素ずらし位相に基づいて、複数の縮小画像から高解像度画像を生成する。

図７は、画像処理プログラム４２の動作（Ｓ２０）を示すフローチャートである。なお、図７に示された各処理のうち、図５に示された処理と実質的に同一のものには同一の符号が付されている。
図７に示すように、Ｓ１００〜Ｓ１０４の処理で、入力画像が受け付けられ、複数の縮小画像が画像切り出し部４０２により生成される。

ステップ２００（Ｓ２００）において、画素ずらし位相推定部４２０は、当該複数の縮小画像に基づいて画素ずらし位相を推定する。推定された画素ずらし位相は、高解像度画像生成部４０６に受け付けられ、Ｓ１０６の処理で、高解像度画像生成部４０６は、縮小画像と、当該推定された画素ずらし位相とに基づいて高解像度画像を生成する。

図８は、本発明の第３の実施形態に係る画像処理装置２の制御装置２０により実行される画像処理プログラム４４の機能構成を示す図である。
図８に示すように、画像処理プログラム４２は、入力画像受付部４００、画像切り出し部４０２、画像切り出し制御部４０４、高解像度画像生成部４４０を有する。本実施形態に係る画像処理プログラム４４は、切り出し制御情報が予め決められており、高解像度画像生成部４４０により保持されている点で、第１の実施形態に係る画像処理プログラム４０とは異なる。なお、図８に示された各構成のうち、図４に示された構成と実質的に同一のものには同一の符号が付されている。

画像処理プログラム４４において、高解像度画像生成部４０６は、画像切り出し部４０２により生成された複数の縮小画像と、予め決められている切り出し制御情報とに基づいて、第１の解像度の高解像度画像を生成する。このため、画像切り出し制御部４０４は、切り出し制御情報を、画像切り出し部４０２に対してだけ出力する。

次に、本発明の実施形態に係る画像符号化装置４、画像符号化装置４により符号化された符号データを復号して高解像度画像を生成する画像復号化装置６、及び画像符号化装置４と画像復号化装置６とを有する画像処理システムを具体的に説明する。
図９は、本発明の実施形態に係る画像符号化装置４の制御装置２０により実行される画像符号化プログラム４６の機能構成を示す図である。
図９に示すように、画像符号化プログラム４６は、入力画像受付部４００、画像切り出し部４０２、画像切り出し制御部４０４、符号化部４６２及びデータ出力部４６４を有する。なお、図９に示された各構成のうち、図４に示された構成と実質的に同一のものには同一の符号が付されている。

画像符号化プログラム４６において、符号化部４６２は、画像切り出し部４０２により生成された複数の縮小画像を受け付け、これらの縮小画像に基づいて符号データを生成してデータ出力部４６４に対して出力する。具体的には、符号化部４６２は、各縮小画像に対して所定の符号化手法を適用して縮小画像を符号化する。なお、入力画像受付部４００が動画フレームを受け付けた場合、符号化部４６２は、動画フレームの縮小画像を符号化する。また、符号化手法は、特に限定されない。

データ出力部４６４は、符号化部４６２から符号データを受け付け、画像切り出し制御部４０４から切り出し制御情報を受け付け、符号データ及び切り出し制御情報を出力する。データ出力部４６４は、これらのデータを、後述する画像復号化装置６に対して送信してもよいし、記憶装置２４に格納してもよい。

図１０は、画像符号化プログラム４６の動作（Ｓ３０）を示すフローチャートである。なお、図１０に示された各処理のうち、図５に示された処理と実質的に同一のものには同一の符号が付されている。
図１０に示すように、Ｓ１００〜Ｓ１０４の処理で、入力画像が受け付けられ、複数の縮小画像が画像切り出し部４０２により生成される。

ステップ３００（Ｓ３００）において、符号化部４６２は、当該複数の縮小画像を符号化して符号データを生成する。
ステップ３０２（Ｓ３０２）において、データ出力部４６４は、生成された符号データ及び切り出し制御情報を受け付けて、これらのデータを出力する。

図１１は、本発明の実施形態に係る画像復号化装置６の制御装置２０により実行される画像復号化プログラム６０の機能構成を示す図である。
図１１に示すように、画像復号化プログラム６０は、符号データ受付部６００、画像伸長部６０２及び高解像度画像生成部６０４を有する。

画像復号化プログラム６０において、符号データ受付部６００は、画像符号化装置４により符号化された符号データを受け付けて、画像伸長部６０２に対して出力する。また、符号データ受付部６００は、画像符号化装置から切り出し制御情報を受け付けて、高解像度画像生成部６０４に対して出力する。ここで、符号データと切り出し制御情報とは、１つのデータに含まれていてもよい。なお、符号データ受付部６００は、符号データを、通信装置２２を介してネットワーク経由で受け付けてもよいし、記録媒体２４０から読み出してもよい。また、符号データは、画像符号化装置４上で動作する画像符号化プログラム４６により動画像の各フレームが符号化されたものであってもよいし、静止画像が符号化されたものであってもよい。

画像伸長部６０２は、符号データ受付部６００により受け付けられた符号データを伸長する。具体的には、画像伸長部６０２は、符号データに対して所定の復号化手法を適用して符号データを復号化して、第２の解像度の複数の縮小画像を取得する。この復号化手法は、画像符号化プログラム４６の符号化部４６２により適用される符号化手法に対応するものである。このように、画像伸長部６０２は、復号化手段を構成する。画像伸長部６０２は、取得した縮小画像を高解像度画像生成部６０４に対して出力する。また、画像伸長部６０２は、当該縮小画像を、通信装置２２を介して外部のコンピュータに対して送信してもよいし、記憶装置２４に格納してもよい。

高解像度画像生成部６０４は、画像伸長部６０２により復号化された複数の縮小画像と、符号データ受付部６００から受け付けた該縮小画像の生成に関する制御情報（切り出し制御情報）とに基づいて、第１の解像度の高解像度画像を生成する。高解像度画像生成部６０４は、生成した高解像度画像データを出力する。高解像度画像生成部６０４は、高解像度画像データを記憶装置２４に格納してもよいし、通信装置２２を介して外部のコンピュータに対して送信してもよい。

図１２は、画像復号化プログラム６０の動作（Ｓ４０）を示すフローチャートである。
図１２に示すように、ステップ４００（Ｓ４００）において、画像復号化プログラム６０の符号データ受付部６００は、符号データ及び切り出し制御情報を受け付ける。

ステップ４０２（Ｓ４０２）において、画像伸長部６０２は、符号データを伸長して、複数の縮小画像を取得する。
ステップ４０４（Ｓ４０４）において、高解像度画像生成部６０４は、複数の縮小画像と切り出し制御情報とに基づいて高解像度画像を生成する。

本発明の実施形態に係る画像処理システムは、上述した画像符号化装置４及び画像復号化装置６を有する。画像処理システムにおいて、画像符号化装置４及び画像復号化装置６は、図示しないネットワーク等を介して接続される。符号データ等は、画像符号化装置４等の通信装置２２によりネットワークを介して、画像符号化装置４と画像復号化装置６との間で送受信される。

なお、画像符号化装置４及び画像復号化装置６は、同一の筐体に含まれてもよい。また、画像符号化プログラム４６等及び画像復号化プログラム６０は、同一のコンピュータ上で動作してもよい。

次に、本発明の実施形態に係る画像符号化装置４の変形例を説明する。
本実施形態に係る画像符号化装置４の変形例は、入力画像が静止画フレームである場合、位相をずらされた縮小画像を生成し、入力画像が動画フレームである場合、位相をずらさずに縮小画像を生成する。ここで、入力画像は、ＣＣＤ等を有する画像撮影装置２８から取得された動画像であってもよいし、所定のアプリケーションソフトウェアにより生成されたアプリケーション画像であってもよい。なお、アプリケーション画像は、画像符号化装置４上で生成されてもよいし、通信装置２２を介して外部のコンピュータから送信されてもよいし、記録媒体２４０を介して入力されてもよい。

図１３は、本発明の実施形態に係る画像符号化装置４の変形例の概略を説明する図である。
図１３（Ａ）に示すように、画像符号化装置４は、ＣＣＤ等を有する画像撮影装置２８から取得された複数の動画フレーム（入力画像）を受け付け、複数の入力画像のそれぞれが動画フレームであるか静止画フレームであるかを判定し、静止画フレームであると判定された画像のみの位相をずらす。

図１３（Ｂ）に示すように、画像符号化装置４は、静止画フレームであると判定された画像のうち、一部の画像のみの位相をずらしてもよい。静止画フレームの全ての位相をずらすか、又は静止画フレームの一部の位相をずらすかは、予め決められていてもよいし、ユーザによりＵＩ装置２６を介して設定されてもよい。

図１４は、本発明の実施形態に係る画像符号化装置４の変形例の制御装置２０により実行される画像符号化プログラム４８の機能構成を示す図である。
図１４に示すように、画像符号化プログラム４８は、入力画像受付部４００、画像切り出し部４０２、静止画フレーム判定部４８０、画像切り出し制御部４８２、符号化部４６２及びデータ出力部４６４を有する。なお、図１４に示された各構成のうち、図９に示された構成と実質的に同一のものには同一の符号が付されている。

画像符号化プログラム４８において、静止画フレーム判定部４８０は、入力画像受付部４００から入力画像を受け付け、入力画像のそれぞれが静止画フレームであるか否かを判定し、判定結果を画像切り出し制御部４８２に対して出力する。例えば、静止画フレーム判定部４８０は、判定対象の入力画像と、その前に受け付けた入力画像とを比較することにより判定処理を行う。

静止画フレーム判定部４８０は、動き補償における動き量を監視することにより判定処理を行ってもよい。この場合、入力画像は、当該入力画像に対して画像切り出し処理が行われてから、当該入力画像が静止画フレームであるか否かを判定される。このため、当該入力画像の位相はずらされず、当該入力画像より後に受け付けられる入力画像の位相がずらされる。なお、静止画フレームであるか否かの判定処理は、これらの方法に限定されない。

画像切り出し制御部４８２は、入力画像が静止画フレームである場合、切り出し制御情報に画素ずらし処理（即ち、位相をずらせる処理）を含めて、画像切り出し部４０２に対して出力する。画像切り出し制御部４８２は、入力画像が静止画フレームでない場合、画素ずらし処理が含まれていない切り出し制御情報を、画像切り出し部４０２に対して出力する。

図１５は、画像符号化プログラム４８の動作（Ｓ５０）を示すフローチャートである。なお、図１５に示された各処理のうち、図１０に示された処理と実質的に同一のものには同一の符号が付されている。
図１５に示すように、Ｓ１００の処理で、入力画像が受け付けられる。なお、入力画像受付部４００は、入力画像として複数のフレームを受け付ける。

ステップ５００（Ｓ５００）において、静止画フレーム判定部４８０は、入力画像が静止画フレームであるか否かを判定する。画像符号化プログラム４８は、入力画像が静止画フレームであると判定された場合にはＳ５０２の処理に進み、そうでない場合にはＳ１０２の処理に進む。

ステップ５０２（Ｓ５０２）において、画像切り出し制御部４８２は、切り出し制御情報に画素ずらし処理を含める。
さらに、Ｓ１０２〜Ｓ３０２の処理で、切り出し制御情報が画像切り出し部４０２に対して出力され、複数の縮小画像が当該切り出し制御情報に基づいて生成され、生成された縮小画像が符号化されて符号データが生成される。

次に、動画像の符号化処理及び復号化処理を、より詳細に説明する。
例えば、テレビ会議システム、蓄積系の動画等では、静止画像（例えば、説明資料、スライド等）が表示されることがある。この場合、同じような画像が、ある程度の時間、伝送される。このような静止画像は、動画像が伝送されるシステムにおいても、高解像度で表示されることが望まれる。画像符号化プログラム４８は、静止画像を符号化する場合、画素ずれ量（ずらされる位相の大きさ）を制御して、高解像度の静止画像が取得されるように符号化する。以降、画像符号化プログラム４８及び画像復号化プログラム６０の具体的な第１の実施例〜第６の実施例を説明する。

まず、第１の実施例を説明する。
図１６は、画像符号化プログラム４８による画素ずれ量制御処理（Ｓ６０）を示すフローチャートである。
図１６に示すように、ステップ６００（Ｓ６００）において、静止画フレーム判定部４８０は、ユーザからＵＩ装置２６等を介して高解像度画像の取得指示があったか否かを判定する。画像符号化プログラム４８は、高解像度画像の取得指示があった場合にはＳ６０２の処理に進み、そうでない場合にはＳ６００の処理に戻る。ここで、高解像度画像の取得指示があったときに取得された入力画像をＰ０とする。なお、ユーザは、動画符号化時に説明資料等を画像撮影装置２８に提示して、静止画像を連続して撮影することを知っている。

ステップ６０２（Ｓ６０２）において、画像切り出し制御部４８２は、１画素ずれパラメータを取得する。ここで、位相を水平方向にずらすパラメータをＨ、垂直方向にずらすパラメータをＶとすると、１画素ずれパラメータ（Ｈ１，Ｖ１）は、入力画像の位相を１画素分だけずらすためのパラメータＨ，Ｖである。画像切り出し制御部４８２は、パラメータＨ１，Ｖ１を切り出し制御情報を画像切り出し部４０２に対して出力する。画像切り出し部４０２は、当該切り出し制御情報に基づいて、画像Ｐ０と１画素分だけずれた画像Ｐ１を取得する。

ステップ６０４（Ｓ６０４）において、画像切り出し制御部４８２は、Ｎに２を代入する。
ステップ６０６（Ｓ６０６）において、静止画フレーム判定部４８０は、ユーザからの高解像度画像の取得指示が継続しているか否かを判定する。画像符号化プログラム４８は、高解像度画像の取得指示が継続している場合にはＳ６０８の処理に進み、そうでない場合には画素ずれ量制御処理を終了する。

ステップ６０８（Ｓ６０８）において、画像切り出し制御部４８２は、１／Ｎ画素だけ位相がずらされた画像（以降、１／Ｎ画素ずれ画像ともいう）が取得されるようにパラメータＨ，Ｖを制御し、制御後のパラメータを切り出し制御情報に含める。画像切り出し制御部４８２は、当該切り出し制御情報を画像切り出し部４０２に対して出力し、画像切り出し部４０２は、当該切り出し制御情報に基づいて、１／Ｎ画素だけ位相がずらされた画像を取得する。

ステップ６１０（Ｓ６１０）において、符号化部４６２は、１／Ｎ画素ずれ画像を符号化する。
ステップ６１２（Ｓ６１２）において、符号化部４６２は、画素ずれ量を含む切り出し制御情報を符号化する。なお、切り出し制御情報は、符号化されずにデータ出力部４６４に対して出力されてもよい。

ステップ６１４（Ｓ６１４）において、画像切り出し制御部４８２は、ＮにＮ×２を代入する。その後、画像符号化プログラム４８は、Ｓ６０６の処理に戻る。したがって、高解像度画像の取得指示が継続している間、画素ずれ量は、１／２、１／４、１／８、…、と変化される。このため、縮小画像（低解像度画像）は、より高解像度の静止画像が生成されるように、画像切り出し部４０２により取得される。

次に、１画素ずれパラメータＨ，Ｖを取得する手法を、具体的に説明する。
まず、高解像度画像の取得指示があった時点の入力画像（画像サイズＸ，Ｙ）の画素値をＰ０（ｉ，ｊ）とする。ここで、ｉは、入力画像の列を表す変数（ｉ＝０，１，２，…，Ｘ−１）であり、ｊは、入力画像の行を表す変数（ｊ＝０，１，２，…，Ｙ−１）である。また、パラメータＨ，Ｖの場合に画像切り出し部４０２により取得される画像を、Ｐ（Ｈ，Ｖ，ｉ，ｊ）とする。例えば、Ｈ＝Ｖ＝０である場合、画素ずれ量を０とすると、Ｐ０（ｉ，ｊ）＝Ｐ（０，０，ｉ，ｊ）となる。

画像切り出し制御部４８２は、パラメータＨ，Ｖを少しずつ変化させて、次式で表されるＥを算出する。

ここで、Ｅは、１画素ずらした場合のＰ（Ｈ，Ｖ，ｉ，ｊ）とＰ０（ｉ，ｊ）との差分の平均値である。画像切り出し制御部４８２は、Ｅが予め決められた閾値より小さい場合、このときのＨ，Ｖが１画素ずらしパラメータであると判定し、当該Ｈ，ＶをＨ１，Ｖ１とする。なお、Ｅは、最急降下法や勾配法などの最適化手法により求められてもよい。

また、Ｅは、パラメータＨ，Ｖを固定し、画素ずれ量ｘ，ｙを変化させて、次式を最小にするようなｘ，ｙを求めることにより、求められてもよい。

なお、Ｈ１，Ｖ１は、数式（２）の（Ｈ，Ｖ）を（Ｈｘ，Ｖｙ）として、（ｘ，ｙ）と（Ｈｘ，Ｖｙ）との関係から求められる。

また、Ｅは、Ｐ０（ｉ＋ｘ，ｊ＋ｙ）とＰ（Ｈ，Ｖ，ｉ，ｊ）との差の自乗であってもよいし、差の自乗和の平方根であってもよい。又は、Ｅは、Ｐ０（ｉ＋ｘ，ｊ＋ｙ）とＰ（Ｈ，Ｖ，ｉ，ｊ）との相関係数であってもよい。この場合、Ｅが閾値より大きな場合、画素ずれ量が（ｘ，ｙ）であると判定される。

次に、１／Ｎ画素ずれ画像を取得する手法を、具体的に説明する。
画像切り出し制御部４８２は、Ｈ１及びＶ１を用いて、１／Ｎ画素だけずらされた画像を取得するためのパラメータＨＮ，ＶＮを求める。例えば、画素ずれ量とパラメータＨ，Ｖとの関係が線形である場合、パラメータＨＮ，ＶＮはそれぞれ、ＨＮ＝Ｈ１／Ｎ、ＶＮ＝Ｖ１／Ｎより求められる。なお、パラメータＨＮ，ＶＮの算出方法は、本例には限定されない。

画像切り出し部４０２は、Ｈ，Ｖを変化させて、複数枚（Ｎ×Ｎ−１枚）の画像Ｐ（Ｈ，Ｖ，ｉ，ｊ）を取得する。ここで、Ｈ＝０×ＨＮ，１×ＨＮ，…，（Ｎ−１）×ＨＮ、Ｖ＝０×ＶＮ，１×ＶＮ，…，（Ｎ−１）×ＶＮ、かつ（Ｈ，Ｖ）≠（０，０）である。

ただし、当該複数の画像のうち、Ｎがより小さなときに既に取得されている画像は、複数回取得される必要はない。即ち、パラメータＨが（２×ＨＮ）の倍数であり、パラメータＶが（２×ＶＮ）の倍数である場合、取得済みの画像は、再度取得される必要はない。

例えば、Ｎ＝２の場合、３枚の画像が、画像切り出し部４０２により取得される。これらの画像は、Ｐ（０，ＶＮ，ｉ，ｊ）、Ｐ（ＨＮ，０，ｉ，ｊ）、Ｐ（ＨＮ，ＶＮ，ｉ，ｊ）である。

また例えば、Ｎ＝４の場合、１５枚の画像が取得される。これらの画像は、Ｐ（０，ＶＮ，ｉ，ｊ）、Ｐ（０，２×ＶＮ，ｉ，ｊ）、Ｐ（０，３×ＶＮ，ｉ，ｊ）、Ｐ（ＨＮ，０，ｉ，ｊ）、Ｐ（ＨＮ，ＶＮ，ｉ，ｊ）、Ｐ（ＨＮ，２×ＶＮ，ｉ，ｊ）、Ｐ（ＨＮ，３×ＶＮ，ｉ，ｊ）、Ｐ（２×ＨＮ，０，ｉ，ｊ）、Ｐ（２×ＨＮ，ＶＮ，ｉ，ｊ）、Ｐ（２×ＨＮ，２×ＶＮ，ｉ，ｊ）、Ｐ（２×ＨＮ，３×ＶＮ，ｉ，ｊ）、Ｐ（３×ＨＮ，０，ｉ，ｊ）、Ｐ（３×ＨＮ，ＶＮ，ｉ，ｊ）、Ｐ（３×ＨＮ，２×ＶＮ，ｉ，ｊ）、Ｐ（３×ＨＮ，３×ＶＮ，ｉ，ｊ）である。

ただし、これらの画像のうち、３枚の画像は、Ｎ＝２のときに既に取得されている。取得済みの画像は、Ｐ（０，２×ＶＮ，ｉ，ｊ）、Ｐ（２×ＨＮ，０，ｉ，ｊ）、Ｐ（２×ＨＮ，２×ＶＮ，ｉ，ｊ）である。
このため、Ｎ＝４のときに新たに取得される画像は１２枚である。当該画像は、Ｐ（０，ＶＮ，ｉ，ｊ）、Ｐ（０，３×ＶＮ，ｉ，ｊ）、Ｐ（ＨＮ，０，ｉ，ｊ）、Ｐ（ＨＮ，ＶＮ，ｉ，ｊ）、Ｐ（ＨＮ，２×ＶＮ，ｉ，ｊ）、Ｐ（ＨＮ，３×ＶＮ，ｉ，ｊ）、Ｐ（２×ＨＮ，０，ｉ，ｊ）、Ｐ（２×ＨＮ，３×ＶＮ，ｉ，ｊ）、Ｐ（３×ＨＮ，０，ｉ，ｊ）、Ｐ（３×ＨＮ，ＶＮ，ｉ，ｊ）、Ｐ（３×ＨＮ，２×ＶＮ，ｉ，ｊ）、Ｐ（３×ＨＮ，３×ＶＮ，ｉ，ｊ）である。

このような画像符号化装置４に対応する画像復号化装置６について具体的に説明する。
画像復号化装置６は、復号したフレーム毎に、画素ずれが起こっているか否かを判定する。画像復号化装置６は、画素ずれ画像を復号した場合、これらの画像に基づいて高解像度画像を生成して出力し、そうでない場合、復号した縮小画像（低解像度画像）を出力する。画像復号化装置６は、画素ずれ画像を復号する場合、当該画素ずれ画像をそのまま出力してもよい。高解像度画像は、ＵＩ装置２６の表示装置に表示されてもよいし、記憶装置２４に格納されてもよい。

図１７は、画像復号化プログラム６０による画素ずれ有無の判定処理（Ｓ７０）を説明する図である。
図１７に示すように、ステップ７００（Ｓ７００）において、画像復号化プログラム６０の画像伸長部６０２は、符号データを復号化する。
ステップ７０２（Ｓ７０２）において、画像伸長部６０２は、復号した画像の画素がずらされているか否かを判定する。画像復号化プログラム６０は、復号した画像の画素がずらされている場合にはＳ７０４の処理に進み、そうでない場合にはＳ７０６の処理に進む。

ステップ７０４（Ｓ７０４）において、高解像度画像生成部６０４は、復号された画像に基づいて高解像度画像を生成して出力する。
ステップ７０６（Ｓ７０６）において、画像伸長部６０２は、復号した画像（低解像度画像）を出力する。
ステップ７０８（Ｓ７０８）において、画像伸長部６０２は、全ての復号処理を終了したか否かを判定する。画像復号化プログラム６０は、全ての復号処理が終了したと判定された場合には処理を終了し、そうでない場合にはＳ７００の処理に戻る。

次に、画像符号化プログラム４８の第２の実施例を説明する。
本実施例では、画像符号化プログラム４８の静止画フレーム判定部４８０は、ユーザによる指示を受けることなく、略同一画像の符号化処理が、一定期間以上連続する場合、入力画像が静止画であると判定する。より具体的には、静止画フレーム判定部４８０は、例えば、固定レート圧縮の場合、動画像の圧縮パラメータが閾値より高画質側になったことを検知して、略同一画像の符号化処理が一定期間以上連続することを検出する。また例えば、静止画フレーム判定部４８０は、可変レート圧縮の場合、発生符号量が閾値よりも小さくなったことを検知して、略同一画像の符号化処理が一定期間以上連続することを検出する。

次に、画像符号化プログラム４８の第３の実施例を説明する。
本実施例では、画素ずれ量は、１／２の冪乗でなくてもよい。画素ずれ量は、符号化されて、復号時に判別される値であれば、特に限定されない。また、画素ずれ量は、符号化されなくてもよい。この場合、画像復号化装置６において、画素ずれ量が検知され、複数の画像のレジストレーションが行われる。

次に、画像符号化プログラム４８の第４の実施例を説明する。
動画（縮小画像）の画像サイズを、Ｗ画素×Ｈ画素とし、ＣＣＤにより取得される画像サイズを、ｕＷ画素×ｕＨ画素とする。ここで、ｕは、１より大きい整数である。本例では、ｕ＝８とする。

ＣＣＤから取得される画像をＰ（ｘ，ｙ）で表す。ここで、ｘは、０〜ｕＷ−１の整数、ｙは、０〜ｕＨ−１の整数である。また、動画像のフレームであって符号化される画像をＱ（Ｘ，Ｙ）で表す。ここで、Ｘは、０〜Ｗ−１の整数、Ｙは、０〜Ｈ−１の整数である。このとき、Ｑ（Ｘ，Ｙ）は、次式で表される。

本例は、フィルタ係数が全て同一のＦＩＲフィルタを用いてローパスフィルタリングを行って低周波画像を得るものである。なお、別の係数のフィルタが用いられてもよい。
また、高解像度画像の取得指示がある場合、１／Ｎ画像は、次式により取得される。

ここで、Ｉ，Ｊはそれぞれ、０〜Ｎ−１の整数である。即ち、Ｎ＝２の場合、Ｑ０，０と、Ｑ１，０と、Ｑ０，１と、Ｑ１，１との４種類の画像が取得される。また、Ｎ＝４の場合、１６種類の画像が取得される。これらの画像は、縮小画像として符号化される。

次に、画像符号化装置４の第５の実施例を説明する。
本実施例の画像符号化装置４は、いったん符号化を行って、符号を変更して再度符号化可能な２パス符号化方式を適用する。このような方式は、蓄積系の画像符号化において用いられうる。

画像符号化装置４は、画像が静止している時間が、設定された閾値ＴＨ以上の場合、画素ずれ量１／２の画像を生成して符号化する。又は、画像符号化装置４は、画像が静止している時間が、ＴＨ＋ＴＨ×４以上の場合、画素ずれ量１／２の画像と画素ずれ量１／４の画像とを生成して符号化する。又は、画像符号化装置４は、画像が静止している時間が、ＴＨ＋ＴＨ×４＋ＴＨ×１６以上の場合、画素ずれ量１／２の画像と、画素ずれ量１／４の画像と、画素ずれ量１／８の画像とを生成して符号化する

次に、画像符号化装置４の第６の実施例を説明する。
本実施例の画像符号化装置４は、リアルタイムで符号化が必要な１パス符号化方式を適用する。このような方式は、伝送系の画像符号化（例えば、テレビ会議など）において用いられうる。

画像符号化装置４は、画像が静止している時間が、設定された閾値ＴＨ以上の場合、画素ずれ量１／２の画像を生成して符号化する。画素ずれ量１／２の画像が符号化されている間に画像が動いた場合、画像符号化装置４は、画素ずれ量を０に戻す。

さらに画像が静止している場合、画像符号化装置４は、画素ずれ量１／４の画像を生成して符号化する。画素ずれ量１／４の画像が符号化されている間に画像が動いた場合、画像符号化装置４は、画素ずれ量を０に戻す。

また、さらに画像が静止している場合、画像符号化装置４は、画素ずれ量１／８の画像を生成して符号化する。画素ずれ量１／８の画像が符号化されている間に画像が動いた場合、画像符号化装置４は、画素ずれ量を０に戻す。
なお、閾値ＴＨの値は任意であり、特に限定されない。

撮像解像度より高い解像度の画像を生成する１手法を説明する図である。 本発明に係る画像処理装置による画像処理の概略を示す図であって、図２（Ａ）は、撮像素子により取得された画像を示し、図２（Ｂ）は、この画像を縮小して得られた縮小画像を示し、図２（Ｃ）は、これらの縮小画像に基づいて生成された高解像度画像を示す。 本発明の実施形態に係る画像処理装置２及び後述する画像符号化装置４及び画像復号化装置６のハードウェア構成を、制御装置２０を中心に示す図である。 本発明の第１の実施形態に係る画像処理装置２の制御装置２０により実行される画像処理プログラム４０の機能構成を示す図である。 画像処理プログラム４０の動作（Ｓ１０）を示すフローチャートである。 本発明の第２の実施形態に係る画像処理装置２の制御装置２０により実行される画像処理プログラム４２の機能構成を示す図である。 画像処理プログラム４２の動作（Ｓ２０）を示すフローチャートである。 本発明の第３の実施形態に係る画像処理装置２の制御装置２０により実行される画像処理プログラム４４の機能構成を示す図である。 本発明の実施形態に係る画像符号化装置４の制御装置２０により実行される画像符号化プログラム４６の機能構成を示す図である。 画像符号化プログラム４６の動作（Ｓ３０）を示すフローチャートである。 本発明の実施形態に係る画像復号化装置６の制御装置２０により実行される画像復号化プログラム６０の機能構成を示す図である。 画像復号化プログラム６０の動作（Ｓ４０）を示すフローチャートである。 本発明の実施形態に係る画像符号化装置４の変形例の概略を説明する図である。 本発明の実施形態に係る画像符号化装置４の変形例の制御装置２０により実行される画像符号化プログラム４８の機能構成を示す図である。 画像符号化プログラム４８の動作（Ｓ５０）を示すフローチャートである。 画像符号化プログラム４８による画素ずれ量制御処理（Ｓ６０）を示すフローチャートである。 画像復号化プログラム６０による画素ずれ有無の判定処理（Ｓ７０）を説明する図である。

符号の説明

２ 画像処理装置
４ 画像符号化装置
６ 画像復号化装置
２０ 制御装置
２２ 通信装置
２４ 記憶装置
２６ ＵＩ装置
２８ 画像撮影装置
４０ 画像処理プログラム
４２ 画像処理プログラム
４４ 画像処理プログラム
４６ 画像符号化プログラム
４８ 画像符号化プログラム
６０ 画像復号化プログラム
２４０ 記録媒体
４００ 入力画像受付部
４０２ 画像切り出し部
４０４ 画像切り出し制御部
４０６ 高解像度画像生成部
４２０ 画素ずらし位相推定部
４４０ 高解像度画像生成部
４６２ 符号化部
４６４ データ出力部
４８０ 静止画フレーム判定部
４８２ 画像切り出し制御部
６００ 符号データ受付部
６０２ 画像伸長部
６０４ 高解像度画像生成部

Claims (10)

1. 第１の解像度の入力画像を受け付ける受付手段と、
   前記受付手段により受け付けられた入力画像に基づいて、第１の解像度より低解像度である第２の解像度の縮小画像であって位相の異なる複数の縮小画像を生成する縮小画像生成手段と
   を有する画像処理装置。
2. 前記縮小画像生成手段により生成された複数の縮小画像と、該縮小画像の生成に関する制御情報とに基づいて、第１の解像度の高解像度画像を生成する高解像度画像生成手段
   をさらに有する請求項１に記載の画像処理装置。
3. 前記縮小画像生成手段は、予め決められた制御情報に基づいて縮小画像を生成し、
   前記高解像度画像生成手段は、該制御情報に基づいて高解像度画像を生成する
   請求項２に記載の画像処理装置。
4. 第１の解像度の複数の入力画像を受け付ける受付手段と、
   前記受付手段により受け付けられた複数の入力画像に基づいて、第１の解像度より低解像度である第２の解像度の縮小画像であって位相の異なる複数の縮小画像を生成する縮小画像生成手段と、
   前記縮小画像生成手段により生成された縮小画像に基づいて符号データを生成する符号データ生成手段と
   を有する画像符号化装置。
5. 前記縮小画像生成手段は、前記受付手段により受け付けられた複数の入力画像が静止画である場合、位相の異なる複数の縮小画像を生成する
   請求項４に記載の画像符号化装置。
6. 第１の解像度の複数の入力画像を受け付ける受付手段と、前記受付手段により受け付けられた複数の入力画像に基づいて、第１の解像度より低解像度である第２の解像度の縮小画像であって位相の異なる複数の縮小画像を生成する縮小画像生成手段と、前記縮小画像生成手段により生成された縮小画像に基づいて符号データを生成する符号データ生成手段とを有する画像符号化装置により符号化された符号データを受け付ける符号データ受付手段と、
   前記符号データ受付手段により受け付けられた符号データを復号化する復号化手段と、
   前記復号化手段により復号化された複数の縮小画像と、該縮小画像の生成に関する制御情報とに基づいて、第１の解像度の高解像度画像を生成する高解像度画像生成手段と
   を有する画像復号化装置。
7. 第１の解像度の複数の入力画像を受け付ける受付手段と、
   前記受付手段により受け付けられた複数の入力画像に基づいて、第１の解像度より低解像度である第２の解像度の縮小画像であって位相の異なる複数の縮小画像を生成する縮小画像生成手段と、
   前記縮小画像生成手段により生成された縮小画像に基づいて符号データを生成する符号データ生成手段と
   を有する画像符号化装置と、
   前記画像符号化装置により符号化された符号データを復号化する復号化手段と、
   前記復号化手段により復号化された複数の縮小画像と、該縮小画像の生成に関する制御情報とに基づいて、第１の解像度の高解像度画像を生成する高解像度画像生成手段と
   を有する画像復号化装置と
   を有する画像処理システム。
8. コンピュータを含む画像処理装置において、
   第１の解像度の入力画像を受け付ける受付ステップと、
   前記受け付けられた入力画像に基づいて、第１の解像度より低解像度である第２の解像度の縮小画像であって位相の異なる複数の縮小画像を生成する縮小画像生成ステップと
   を前記画像処理装置のコンピュータに実行させるプログラム。
9. コンピュータを含む画像符号化装置において、
   第１の解像度の複数の入力画像を受け付ける受付ステップと、
   前記受け付けられた複数の入力画像に基づいて、第１の解像度より低解像度である第２の解像度の縮小画像であって位相の異なる複数の縮小画像を生成する縮小画像生成ステップと、
   前記生成された縮小画像に基づいて符号データを生成する符号データ生成ステップと
   を前記画像符号化装置のコンピュータに実行させるプログラム。
10. コンピュータを含む画像復号化装置において、
    第１の解像度の複数の入力画像を受け付け、前記受け付けられた複数の入力画像に基づいて、第１の解像度より低解像度である第２の解像度の縮小画像であって位相の異なる複数の縮小画像を生成し、前記生成された縮小画像に基づいて符号データを生成する画像符号化装置により符号化された符号データを受け付ける符号データ受付ステップと、
    前記受け付けられた符号データを復号化する復号化ステップと、
    前記復号化された複数の縮小画像と、該縮小画像の生成に関する制御情報とに基づいて、第１の解像度の高解像度画像を生成する高解像度画像生成ステップと
    を前記画像復号化装置のコンピュータに実行させるプログラム。

Images