JP2005149488A - データ処理装置およびデータ処理方法、プログラム、並びに記録媒体 - Google Patents

Abstract

【課題】容易に、最適な補間結果を得る。
【解決手段】 補間部２１乃至２３では、原画像データを、それぞれ異なる補間方式で補間した補間画像データが生成される。仮想化部２４は、原画像データについて、画素値を仮想的に連続的にした仮想原画像データを生成し、仮想化部２５乃至２７は、補間部２１乃至２３で生成された補間画像データそれぞれについて、画素値を仮想的に連続的にした仮想補間画像データを生成する。誤差計算部２８乃至３０は、仮想化部２５乃至２７で生成された仮想補間画像データそれぞれと、仮想化部２４で生成された仮想原画像データとの誤差を計算し、補間方式セレクタ３２は、その誤差に基づき、補間部２１乃至２３で生成された補間画像データのうちのいずれかを選択する。本発明は、例えば、画像を補間する画像処理装置に適用できる。
【選択図】図９

Description

本発明は、データ処理装置およびデータ処理方法、プログラム、並びに記録媒体に関し、特に、例えば、画像について、容易に、最適な補間結果を得ることができるようにするデータ処理装置およびデータ処理方法、プログラム、並びに記録媒体に関する。

例えば、画像を拡大または縮小する場合には、その画像の解像度が変換される。画像の解像度の変換では、画像において、画素値を有するサンプル点数、即ち、画素数が変化するので、その変化に対応する画素の補間または間引きを行う必要がある。

なお、画素数の変化には、画素数が元の画素数よりも増加する場合と、画素数が元の画素数よりも減少する場合とがある。一般に、画素数が元の画素数よりも増加する場合は、補間と呼ばれ、減少する場合は、間引きと呼ばれるが、ここでは、説明の便宜上、画素数が元の画素数よりも増加する場合および減少する場合のいずれも、補間と呼ぶこととする。

画像の拡大は、画素数を増加させる補間によって行うことができ、画像の縮小は、画素数を減少させる補間（間引き）によって行うことができる。

ところで、補間方式としては、例えば、最近傍補間や、直線補間（線形補間）、キュービック(cubic)補間などが知られている。

各補間方式には、得手不得手があり、例えば、コンピュータグラフィックスその他のコンピュータで描かれた画像や、OSD(On Screen Display)表示されるテキストなどの周波数帯域が制限されていない画像に対して、直線補間やキュービック補間を行うと、エッジの急峻さが損なわれ、ぼけたテキストなどとなる。

一方、自然画において滑らかに輝度変化する部分に対して、最近傍補間を行うと、階段状のガタガタした感じの画像が得られる。

そこで、例えば、特許文献１においては、画素ごとに、自然画であるか、非自然画であるかの属性情報（自然画、文字、ビジネスグラフ）を前もって求めておき、または準備しておき、その属性情報に基づき、テキスト等には、最近傍補間を施し、自然画には、キュービック補間を施す方法が記載されている。
特許第3111971号明細書

しかしながら、テキストに最近傍補間を施すのが最適であるとは限らない。

また、補間においては、補間方式の他に、サンプル点の位相が問題となることがある。

即ち、図１は、原画像のある方向のサンプル点数（画素数）を３／２倍に補間することにより生成される補間画像を示している。

ここで、図１において、横軸は、横、縦、またはその他のある方向に並ぶサンプル点（画素）を示しており、縦軸は、画素値を示している。なお、原画像の補間の対象となる部分の画素値は、説明を簡単にするために、０または１をとるものとしてある。後述する図２、図３、図１０乃至図１４においても同様である。

図１において、上の図は、原画像を示しており、下の図は、原画像のサンプル点数を３／２倍に補間した補間画像を示している。

図１では、原画像は、サンプル点＃０，＃１，＃２，・・・において、画素値”１”となっている。図１上の原画像に対して、例えば、最近傍補間を行うことにより、図１下の補間画像を得ることができる。

即ち、補間においては、補間画像の最初のサンプル点＃０の位相を、原画像の最初のサンプル点＃０の位相に一致させて、補間画像の以降のサンプル点が設定される。図１では、原画像のサンプル点数（画素数）が３／２倍に補間されるので、原画像のサンプル点間隔（隣接するサンプル点どうしの間隔）の２／３倍のサンプル点間隔となるように、補間画像のサンプル点が設定される（求められる）。そして、最近傍補間では、補間画像の各サンプル点の画素値が、そのサンプル点に最も近い原画像のサンプル点の画素値に設定される。

以上のように、補間は、補間画像の最初のサンプル点＃０の位相を、原画像の最初のサンプル点＃０の位相に一致させ、即ち、原画像の最初のサンプル点＃０の位相を基準に、補間画像の最初のサンプル点＃０の位相を０として、補間画像のサンプル点が設定される。

このため、原画像の画素値の並びが同一であっても、位相が異なると、画素値の並びが異なる補間画像が得られることがある。

即ち、図２は、図１と同様に、原画像のサンプル点数を３／２倍に補間する最近傍補間により生成される補間画像を示している。

図２において、上の図は、原画像を示しており、下の図は、原画像のサンプル点数を３／２倍に補間した補間画像を示している。但し、図２では、原画像の画素値の並びが、”１”，”０”，”１”，”０”，・・・となっている。即ち、原画像は、サンプル点＃０において画素値”１”となり、サンプル点＃１において、画素値”０”となり、サンプル点＃２において画素値”１”となり、以下、同様にして、画素値”０”と”１”とが交互に繰り返されるものとなっている。

上述したように、補間では、原画像の最初のサンプル点＃０の位相を基準に、補間画像の最初のサンプル点＃０の位相を０として、補間画像のサンプル点が設定される。そして、最近傍補間では、補間画像の各サンプル点の画素値が、そのサンプル点に最も近い原画像のサンプル点の画素値に設定される。

従って、図２において、補間画像のサンプル点＃０の画素値は、それに最も近い原画像のサンプル点＃０の画素値”１”となる。さらに、補間画像のサンプル点＃１と＃２の画素値は、いずれも、それに最も近い原画像のサンプル点＃１の画素値”０”となり、補間画像のサンプル点＃３の画素値は、それに最も近い原画像のサンプル点＃２の画素値”１”となる。以下、同様にして、補間画像の画素値の並びは、”１”，”０”，”０”，”１”，”０”，”０”，”１”，・・・となる。即ち、図２では、補間画像は、画素値”１”，”０”，”０”の並びが繰り返すものとなる。

次に、図３は、図１と同様に、原画像のサンプル点数を３／２倍に補間する最近傍補間により生成される補間画像を示している。

図３において、上の図は、原画像を示しており、下の図は、原画像のサンプル点数を３／２倍に補間した補間画像を示している。但し、図３では、原画像の画素値の並びが、”０”，”１”，”０”，”１”，・・・となっている。即ち、原画像は、サンプル点＃０において画素値”０”となり、サンプル点＃１において、画素値”１”となり、サンプル点＃２において画素値”０”となり、以下、同様にして、画素値”０”と”１”とが交互に繰り返されるものとなっている。

従って、図２と図３の原画像は、いずれも、画素値”０”と”１”とが交互に繰り返される並びとなっている。但し、図２の原画像のサンプル点＃０は、画素値”１”となっているのに対して、図３の原画像のサンプル点＃０は、画素値”０”となっている。従って、図２と図３の原画像では、サンプル点の位相が、１サンプル間隔だけずれている（異なっている）。

上述したように、補間では、原画像の最初のサンプル点＃０の位相を基準に、補間画像の最初のサンプル点＃０の位相を０として、補間画像のサンプル点が設定される。そして、最近傍補間では、補間画像の各サンプル点の画素値が、そのサンプル点に最も近い原画像のサンプル点の画素値に設定される。

従って、図３において、補間画像のサンプル点＃０の画素値は、それに最も近い原画像のサンプル点＃０の画素値”０”となる。さらに、補間画像のサンプル点＃１と＃２の画素値は、いずれも、それに最も近い原画像のサンプル点＃１の画素値”１”となり、補間画像のサンプル点＃３の画素値は、それに最も近い原画像のサンプル点＃２の画素値”０”となる。以下、同様にして、補間画像の画素値の並びは、”０”，”１”，”１”，”０”，”１”，”１”，”０”，・・・となる。即ち、図３では、補間画像は、画素値”０”，”１”，”１”の並びが繰り返すものとなる。

以上のように、画素値の並びが同一である原画像に対して、同一の最近傍補間を行っても、画素値の並びが、”１”，”０”，”０”を繰り返す補間画像が得られる場合と、”０”，”１”，”１”を繰り返す補間画像が得られる場合とが生じる。

このように、画素値の並びが同一であるが、位相が異なる原画像に対して、異なる補間画像が得られるのは、最近傍補間のみならず、他の方式の補間（例えば、直線補間や、キュービック補間）でも同様である。

そして、同一の画素値の並び、即ち、画像上の同膣の補間対象に対して、異なる補間結果が得られることは、好ましいことではない。

本発明は、このような状況に鑑みてなされたものであり、容易に、最適な補間結果を得ることができるようにするものである。

本発明のデータ処理装置は、第１のデータから、複数の第２のデータを生成する生成手段と、第１のデータについて、その第１のデータを仮想的に連続的にした第１の仮想データを生成する第１の仮想化手段と、複数の第２のデータそれぞれについて、その第２のデータを仮想的に連続的にした第２の仮想データを生成する第２の仮想化手段と、複数の第２のデータについての第２の仮想データそれぞれと、第１の仮想データとの誤差を計算する誤差計算手段と、誤差に基づいて、複数の第２のデータのうちのいずれかを選択する選択手段とを備えることを特徴とする。

本発明のデータ処理方法は、第１のデータから、複数の第２のデータを生成する生成ステップと、第１のデータについて、その第１のデータを仮想的に連続的にした第１の仮想データを生成する第１の仮想化ステップと、複数の第２のデータそれぞれについて、その第２のデータを仮想的に連続的にした第２の仮想データを生成する第２の仮想化ステップと、複数の第２のデータについての第２の仮想データそれぞれと、第１の仮想データとの誤差を計算する誤差計算ステップと、誤差に基づいて、複数の第２のデータのうちのいずれかを選択する選択ステップとを含むことを特徴とする。

本発明のプログラムは、第１のデータから、複数の第２のデータを生成する生成ステップと、第１のデータについて、その第１のデータを仮想的に連続的にした第１の仮想データを生成する第１の仮想化ステップと、複数の第２のデータそれぞれについて、その第２のデータを仮想的に連続的にした第２の仮想データを生成する第２の仮想化ステップと、複数の第２のデータについての第２の仮想データそれぞれと、第１の仮想データとの誤差を計算する誤差計算ステップと、誤差に基づいて、複数の第２のデータのうちのいずれかを選択する選択ステップとを含むことを特徴とする。

本発明の記録媒体には、第１のデータから、複数の第２のデータを生成する生成ステップと、第１のデータについて、その第１のデータを仮想的に連続的にした第１の仮想データを生成する第１の仮想化ステップと、複数の第２のデータそれぞれについて、その第２のデータを仮想的に連続的にした第２の仮想データを生成する第２の仮想化ステップと、複数の第２のデータについての第２の仮想データそれぞれと、第１の仮想データとの誤差を計算する誤差計算ステップと、誤差に基づいて、複数の第２のデータのうちのいずれかを選択する選択ステップとを含むことを特徴とするプログラムが記録されている。

本発明においては、第１のデータから、複数の第２のデータが生成され、第１のデータについて、その第１のデータを仮想的に連続的にした第１の仮想データが生成されるとともに、複数の第２のデータそれぞれについて、その第２のデータを仮想的に連続的にした第２の仮想データが生成される。そして、複数の第２のデータについての第２の仮想データそれぞれと、第１の仮想データとの誤差が計算され、その誤差に基づいて、複数の第２のデータのうちのいずれかが選択される。

本発明によれば、容易に、最適な補間結果を得ることが可能となる。

以下に、本発明を実施するための最良の形態を説明するが、その前に、本明細書で開示する発明について説明する。なお、この記載は、この記載以外の発明が、本明細書で開示されていないことを意味するものではなく、さらに、将来、分割出願されたり、補正により追加される発明の存在を否定するものではない。

本明細書では、少なくともデータ処理装置を開示する。このデータ処理装置は、
離散的な第１のデータ（例えば、原画像データ）を、前記第１のデータとサンプル点数の異なる第２のデータ（例えば、補間画像データ）に変換するデータ処理装置（例えば、図４の画像処理装置）において、
前記第１のデータから、複数の前記第２のデータを生成する生成手段（例えば、図９の最近傍補間部２１や、直線補間部２２、キュービック補間部２３など）と、
前記第１のデータについて、その第１のデータを仮想的に連続的にした第１の仮想データを生成する第１の仮想化手段（例えば、図９の仮想化部２４）と、
複数の前記第２のデータそれぞれについて、その第２のデータを仮想的に連続的にした第２の仮想データを生成する第２の仮想化手段（例えば、図９の仮想化部２５や、２６，２７など）と、
複数の前記第２のデータについての前記第２の仮想データそれぞれと、前記第１の仮想データとの誤差を計算する誤差計算手段（例えば、図９の誤差計算部２８や、２９，３０など）と、
前記誤差に基づいて、複数の前記第２のデータのうちのいずれかを選択する選択手段（例えば、図９の補間方式セレクタ３２など）と
を備えることを特徴とする。

生成手段には、第２のデータのサンプル点の複数の位相それぞれについて、第２のデータを生成させ、選択手段には、複数の位相それぞれについて生成された第２のデータのうちの、誤差を最小にするものを選択させることができる。

また、生成手段には、複数の補間方式（例えば、最近傍補間、直線補間、およびキュービック補間など）それぞれによって、第２のデータを生成させ、選択手段には、複数の補間方式それぞれによって生成された第２のデータのうちの、誤差を最小にするものを選択させることができる。

さらに、生成手段には、複数の補間方式それぞれにより、第２のデータのサンプル点の複数の位相それぞれについて、第２のデータを生成させ、選択手段には、複数の位相のうちの誤差の累積値を最小にする位相について、複数の補間方式それぞれによって生成された第２のデータのうちの、誤差を最小にするものを選択させることができる。

第１または第２の仮想化手段には、第１または第２のデータを０次補間させることにより、第１または第２の仮想データを、それぞれ生成させることができる。

第１および第２のデータは、画像データとすることができる。

データ処理装置には、原画像データから、文字の一部または全部を含む文字領域を検出する領域検出手段（例えば、図４の文字領域検出部１１）をさらに設けることができ、この場合、生成手段には、文字領域の画像データを第１のデータとして、複数の第２のデータを生成させることができる。

データ処理装置には、原画像データと、選択手段により選択された第２のデータとを合成する合成手段（例えば、図４の合成部１９）をさらに設けることができる。

第２の仮想化手段には、第２のデータを仮想的に部分的に連続的にした第２の仮想データを生成させることができる。

本明細書では、データ処理方法も開示する。このデータ処理方法は、
離散的な第１のデータ（例えば、原画像データ）を、前記第１のデータとサンプル点数の異なる第２のデータ（例えば、補間画像データ）に変換するデータ処理方法において、
前記第１のデータから、複数の前記第２のデータを生成する生成ステップ（例えば、図１５のステップＳ３４）と、
前記第１のデータについて、その第１のデータを仮想的に連続的にした第１の仮想データを生成する第１の仮想化ステップ（例えば、図１５のステップＳ３１）と、
複数の前記第２のデータそれぞれについて、その第２のデータを仮想的に連続的にした第２の仮想データを生成する第２の仮想化ステップ（例えば、図１５のステップＳ３５）と、
複数の前記第２のデータについての前記第２の仮想データそれぞれと、前記第１の仮想データとの誤差を計算する誤差計算ステップ（例えば、図１５のステップＳ３７や、図１６のＳ５５）と、
前記誤差に基づいて、複数の前記第２のデータのうちのいずれかを選択する選択ステップ（例えば、図１５のステップＳ５７）と
を含むことを特徴とする。

本明細書では、プログラムも開示する。このプログラムは、
離散的な第１のデータ（例えば、原画像データ）を、前記第１のデータとサンプル点数の異なる第２のデータ（例えば、補間画像データ）に変換するデータ処理を、コンピュータに行わせるプログラムにおいて、
前記第１のデータから、複数の前記第２のデータを生成する生成ステップ（例えば、図１５のステップＳ３４）と、
前記第１のデータについて、その第１のデータを仮想的に連続的にした第１の仮想データを生成する第１の仮想化ステップ（例えば、図１５のステップＳ３１）と、
複数の前記第２のデータそれぞれについて、その第２のデータを仮想的に連続的にした第２の仮想データを生成する第２の仮想化ステップ（例えば、図１５のステップＳ３５）と、
複数の前記第２のデータについての前記第２の仮想データそれぞれと、前記第１の仮想データとの誤差を計算する誤差計算ステップ（例えば、図１５のステップＳ３７や、図１６のＳ５５）と、
前記誤差に基づいて、複数の前記第２のデータのうちのいずれかを選択する選択ステップ（例えば、図１５のステップＳ５７）と
を含むことを特徴とする。

このプログラムは、記録媒体に記録することができる。

以下、図面を参照して、本発明の実施の形態について説明する。

図４は、本発明を適用した画像処理装置の一実施の形態の構成例を示している。

この画像処理装置においては、原画像データから、その原画像データに対して補間を行った補間画像データが生成されるようになっている。

即ち、補間の対象としての離散的なサンプル点としての画素に値（画素値）を有するデータである原画像データは、文字領域検出部１１、メモリ１４、および補間部１８に供給される。

文字領域検出部１１は、そこに供給される原画像データから、文字（テキスト）の一部または全部を含む文字領域を検出し、その文字領域を表す（特定する）領域データを、文字領域データ格納部１３に供給する。

メモリ１２は、文字領域検出部１１が処理を行うのに用いる、いわゆるワーク用のメモリである。

文字領域データ格納部１３は、文字領域検出部１１から供給される領域データを記憶し、必要に応じて、その領域データを、メモリ１４、補間処理部１６、および合成部１９に供給する。

メモリ１４は、そこに供給される原画像データを記憶する。さらに、メモリ１４は、文字領域データ格納部１３に記憶された領域データが表す文字領域の原画像データを読み出し、補間処理部１６に供給する。

制御部１５は、後述する位相情報を出力し、補間処理部１６に供給する。また、制御部１５は、その他、図４の画像処理装置全体の制御も行う。

補間処理部１６は、文字領域データ格納部１３からの領域データ、および制御部１５からの位相情報に基づき、メモリ１４から供給される文字領域の原画像データに対して、後述する補間処理を施し、その結果得られる文字領域の補間画像データを、本線系メモリ１７に供給する。

本線系メモリ１７は、補間処理部１６から供給される文字領域の補間画像データを記憶し、必要に応じて、合成部１９に供給する。

補間部１８は、そこに供給される１フレーム（または１フィールド）単位の原画像データに対して、所定の補間としての、例えば、キュービック補間を行い、その結果得られる補間画像データを、合成部１９に供給する。

合成部１９は、文字領域データ格納部１３から供給される領域データに基づき、補間部１８から供給される原画像データ全体の補間画像データと、本線系メモリ１７から供給される文字領域の補間画像データとを合成する。即ち、合成部１９は、補間部１８から供給される原画像データ全体の補間画像データのうちの、領域データが表す文字領域の部分を、本線系メモリ１７から供給される文字領域の補間画像データによって上書きし、その結果得られる合成画像データを、原画像データ全体の最終的な補間画像データとして出力する。

図５は、図４の文字領域検出部１１が検出する文字領域を示している。

原画像データが、図５左に示すように、文字（列）”「この札幌、べら。”を含む場合、文字領域検出部１１は、図５右に示すように、その文字の一部または全部を含む矩形の領域を、文字領域として検出する。そして、文字領域検出部１１は、各文字領域について、その文字領域としての矩形の領域の左端の座標X_start、右端の座標X_stop、上端の座標V_start、および下端の座標V_stopを求め、領域データとして出力する。

次に、図６および図７を参照して、図４の文字領域検出部１１による文字領域の検出処理について説明する。

文字領域検出部１１は、例えば、図６に示すような、４種類のフィルタを有している。

４種類のフィルタは、注目画素の上と左に隣接する２つの画素がいずれも、文字の画素値である場合にのみ、注目画素の画素値を文字の画素値に変更する第１のフィルタ、注目画素の上と右に隣接する２つの画素がいずれも、文字の画素値である場合にのみ、注目画素の画素値を文字の画素値に変更する第２のフィルタ、注目画素の下と左に隣接する２つの画素がいずれも、文字の画素値である場合にのみ、注目画素の画素値を文字の画素値に変更する第３のフィルタ、および注目画素の下と右に隣接する２つの画素がいずれも、文字の画素値である場合にのみ、注目画素の画素値を文字の画素値に変更する第４のフィルタから構成される。

文字領域検出部１１は、この４種類のフィルタによって原画像をフィルタリングすることによって得られる、文字の画素値でなる矩形の領域を、文字領域として検出する。

例えば、図７左に示す文字”こ”は、サンプル点としての画素でのみ値（画素値）をとる離散的なデータとしての原画像データにおいては、図７左から２番目に示すように表示される。

ここで、図７において正方形で表す部分が画素であり、影を付した画素は、その画素値が文字の画素値になっている。

文字領域検出部１１は、図７左から２番目に示す原画像データを構成する画素を、例えば、ラスタスキャン順に、順次、注目画素として、図６の４種類のフィルタそれぞれを用いたフィルタリングを行い、これにより、図７右に示すフィルタリング結果を得る。この場合、文字領域検出部１１は、図７右の上側の文字の画素値のみで構成される矩形の領域と、下側の文字の画素値のみで構成される矩形の領域とを、文字領域として検出する。

なお、図６および図７で説明した文字領域の検出方法によれば、１以上の文字全体を含む矩形の領域が文字領域として検出される他、１文字の偏や、旁、その他の１文字の１部分を含む矩形の領域が文字領域として検出されることがある。

また、文字領域検出部１１における文字領域の検出方法は、図６および図７で説明した方法に限定されるものではない。

さらに、原画像データにおいて、文字がOSD表示されている場合のように、文字の大きさと表示位置等があらかじめ分かっている場合には、その大きさと表示位置から、文字領域を検出することが可能である。

次に、図８のフローチャートを参照して、図４の画像処理装置の処理について説明する。

まず最初に、ステップＳ１１において、補間の対象としての離散的なデータである原画像データが、図４の画像処理装置に入力され、この原画像データは、文字領域検出部１１、メモリ１４、および補間部１８に供給される。そして、メモリ１４が、原画像データを記憶して、ステップＳ１１からＳ１２に進む。

ステップＳ１２では、文字領域検出部１１が、原画像データから文字領域を検出するとともに、補間部１８が、そこに供給される原画像データ全体に対して、所定の補間を行う。

即ち、文字領域検出部１１は、メモリ１２の記憶内容を、０にリセットする。さらに、文字領域検出部１１は、原画像データにおいて、画素値が文字の画素値になっている画素（サンプル点）を検出し、その画素に対応するメモリ１２のアドレスに、１ビットの１を書き込む。その後、文字領域検出部１１は、メモリ１２の記憶値を、１ビットの１を文字の画素値として、図６の４種類のフィルタによってフィルタリングし、そのフィルタリングの結果得られる、図７で説明したような文字の画素値（ここでは、１ビットの１）のみで構成される矩形の領域を、文字領域として検出する。そして、文字領域検出部１１は、文字領域を表す領域データを求め、文字領域データ格納部１３に供給して記憶させる。

一方、補間部１８は、原画像データ全体に対して、例えば、キュービック補間を行い、その結果得られる補間画像データを、合成部１９に供給する。

ここで、文字領域検出部１１において、原画像データから文字領域が検出されなかった場合、合成部１９は、補間部１８から供給される補間画像データを、そのまま、最終的な補間画像データとして出力し、処理を終了する。

また、文字領域検出部１１は、原画像データから複数の文字領域を検出した場合、その複数の文字領域それぞれについて領域データを求め、文字領域データ格納部１３に供給して記憶させる。

その後、ステップＳ１２からＳ１３に進み、文字領域データ格納部１３は、ステップＳ１２で記憶した領域データが表す１以上の文字領域から、まだ注目領域としていないもののうちの１つを、注目領域として選択し、その注目領域を表す領域データを、メモリ１４、補間処理部１６、および合成部１９に供給する。さらに、ステップＳ１３では、メモリ１４が、そこに記憶している原画像データのうちの、文字領域データ格納部１３から供給された領域データが表す注目領域の原画像データを読み出し、補間処理部１６に供給して、ステップＳ１４に進む。

ステップＳ１４では、補間処理部１６が、メモリ１４から供給される注目領域の原画像データに対して、後述する補間処理を施し、その補間処理の結果得られる補間画像データを、本線系メモリ１７に供給して記憶させ、ステップＳ１５に進む。

ステップＳ１５では、文字領域データ格納部１３が、ステップＳ１２で記憶した領域データが表す１以上の文字領域すべてを、注目領域として選択したかどうかを判定する。ステップＳ１５において、文字領域データ格納部１３がステップＳ１２で記憶した領域データが表す１以上の文字領域すべてを、まだ、注目領域として選択していないと判定された場合、ステップＳ１３に戻り、まだ注目領域としていない文字領域が、注目領域として、新たに選択され、以下、同様の処理が繰り返される。

また、ステップＳ１５において、文字領域データ格納部１３がステップＳ１２で記憶した領域データが表す１以上の文字領域すべてを、注目領域として選択したと判定された場合、即ち、文字領域データ格納部１３が記憶した領域データが表す１以上の文字領域すべてについて、補間処理部１６で補間処理が行われ、その補間処理結果としての補間画像データが、本線系メモリ１７に記憶された場合、ステップＳ１６に進み、合成部１９は、補間部１８から供給された原画像データ全体の補間画像データのうちの、文字領域データ格納部１３から供給された領域データが表す１以上の文字領域の部分を、本線系メモリ１７に記憶された、その文字領域の補間画像データによって上書きし、その結果得られる合成画像データを、原画像データ全体の最終的な補間画像データとして出力して、処理を終了する。

合成部１９が出力する補間画像データは、図示せぬCRTや、液晶ディスプレイ、PDP(Plasma Display Panel)などに供給され、その一部または全部が表示される。なお、合成部１９が出力する補間画像データが、原画像データの画素数を増加したものであれば、原画像データを拡大した拡大画像が表示される。また、合成部１９が出力する補間画像データが、原画像データの画素数を減少させたものであれば、原画像データを縮小した縮小画像が表示される。

次に、図９は、図４の補間処理部１６の構成例を示している。

図４のメモリ１４からの注目領域の原画像データは、最近傍補間部２１、直線補間部２２、キュービック補間部２３、および仮想化部２４に供給される。

また、図４の制御部１５からの位相情報は、スイッチ３５の端子３５ａに供給される。そして、その位相情報は、スイッチ３５を介して、最近傍補間部２１、直線補間部２２、キュービック補間部２３、仮想化部２５，２６，２７、誤差計算部２８，２９，３０、および累積誤差最小決定部３４に供給される。

さらに、図４の文字領域データ格納部１３からの、注目領域を表す領域データは、適宜、必要なブロックに供給される。この領域データは、注目領域を認識するのに用いられる。

最近傍補間部２１は、そこに供給される注目領域の原画像データに対して、最近傍補間を行うことで、補間画像データを生成し、仮想化部２５および補間方式セレクタ３２に供給する。

ここで、最近傍補間部２１は、スイッチ３５を介して供給される位相情報が表す位相だけ、原画像データのサンプル点（画素）に対する位相が異なる補間画像データを生成する。位相情報は、後述するように、複数通り存在し、従って、最近傍補間部２１では、原画像データのサンプル点（画素）に対する位相が異なる複数の補間画像データが生成される。

直線補間部２２は、そこに供給される注目領域の原画像データに対して、直線補間を行うことで、補間画像データを生成し、仮想化部２６および補間方式セレクタ３２に供給する。なお、直線補間部２２も、最近傍補間部２１と同様に、スイッチ３５を介して供給される位相情報が表す位相だけ、原画像データのサンプル点に対する位相が異なる補間画像データを生成し、これにより、原画像データのサンプル点に対する位相が異なる複数の補間画像データを生成する。

キュービック補間部２３は、そこに供給される注目領域の原画像データに対して、キュービック補間を行うことで、補間画像データを生成し、仮想化部２７および補間方式セレクタ３２に供給する。なお、キュービック補間部２３も、最近傍補間部２１と同様に、スイッチ３５を介して供給される位相情報が表す位相だけ、原画像データのサンプル点に対する位相が異なる補間画像データを生成し、これにより、原画像データのサンプル点に対する位相が異なる複数の補間画像データを生成する。

仮想化部２４は、そこに供給される注目領域の原画像データについて、その原画像データを仮想的に連続的にした仮想原画像データを生成し、誤差計算部２８乃至３０に供給する。

仮想化部２５は、最近傍補間部２１から供給される複数の補間画像データそれぞれについて、その補間画像データを仮想的に連続にした仮想補間画像データを生成し、誤差計算部２８に供給する。仮想化部２６は、直線補間部２２から供給される複数の補間画像データそれぞれについて、その補間画像データを仮想的に連続にした仮想補間画像データを生成し、誤差計算部２９に供給する。仮想化部２７は、キュービック補間部２３から供給される複数の補間画像データそれぞれについて、その補間画像データを仮想的に連続にした仮想補間画像データを生成し、誤差計算部３０に供給する。

なお、仮想原画像データおよび仮想補間画像データについての詳細は、後述する。

誤差計算部２８は、仮想化部２４からの仮想原画像データと、仮想化部２５からの仮想補間画像データとの誤差を求め、その誤差を、最小誤差決定部３１に供給する。誤差計算部２９は、仮想化部２４からの仮想原画像データと、仮想化部２６からの仮想補間画像データとの誤差を求め、その誤差を、最小誤差決定部３１に供給する。誤差計算部３０は、仮想化部２４からの仮想原画像データと、仮想化部２７からの仮想補間画像データとの誤差を求め、その誤差を、最小誤差決定部３１に供給する。

最小誤差決定部３１は、誤差計算部２８乃至３０それぞれから供給される誤差から、そのうちの最小値である最小誤差を求め、その最小誤差を、誤差累積部３３に供給する。さらに、最小誤差決定部３１は、最小誤差に基づいて、補間方式セレクタ３２を制御する。

補間方式セレクタ３２は、最小誤差決定部３１の制御にしたがい、最近傍補間部２１、直線補間部２２、キュービック補間部２３それぞれが出力する補間画像データのうちのいずれかを選択し、注目領域の補間結果として出力する。

誤差値累積部３３は、最小誤差決定部３１から供給される最小誤差を累積（加算）し、その累積値としての累積誤差を求め、累積誤差最小決定部３４に供給する。

累積誤差最小決定部３４には、誤差値累積部３３から累積誤差が供給される他、スイッチ３５を介して、位相情報も供給される。累積誤差最小決定部３４は、スイッチ３５を介して供給される位相情報に対応付けて、誤差値累積部３３から供給される累積誤差を記憶する。さらに、累積誤差最小決定部３４は、後述する複数の位相情報それぞれに対応付けて記憶した累積誤差から、そのうちの最小値である最小累積誤差を求め、その最小累積誤差に対応付けられた位相情報を、注目領域の原画像データに対する補間に最適な位相情報である最適位相情報として、スイッチ３５の端子３５ｂに供給する。

スイッチ３５は、端子３５ａまたは３５ｂを選択する。そして、スイッチ３５は、端子３５ａを選択しているときには、図４の制御部１５から供給される位相情報を、最近傍補間部２１、直線補間部２２、キュービック補間部２３、仮想化部２５，２６，２７、誤差計算部２８，２９，３０、および累積誤差最小決定部３４に供給する。一方、スイッチ３５は、端子３５ｂを選択しているときには、累積誤差最小決定部３４から供給される位相情報である最適位相情報を、最近傍補間部２１、直線補間部２２、キュービック補間部２３、仮想化部２５，２６，２７、および誤差計算部２８，２９，３０に供給する。

次に、図１０を参照して、図４の制御部１５から図９のスイッチ３５の端子３５ａに供給される位相情報について説明する。

制御部１５は、補間画像データのサンプル点について、原画像データのサンプル点を基準とする複数の位相を設定し、その複数の位相それぞれを表す複数の位相情報を、スイッチ３５に供給する。

いま説明を簡単にするため、制御部１５が、原画像データのサンプル点を基準として、−△，０，＋△の３つの位相を設定し、その３つの位相それぞれを表す位相情報を、スイッチ３５に順次供給するとする。

この場合、最近傍補間部２１、直線補間部２２、およびキュービック補間部２３には、スイッチ３５を介して、位相−△，０，＋△をそれぞれ表す位相情報が、順次、供給される。

最近傍補間部２１は、位相−△を表す位相情報が供給された場合、図１０上から１番目に示す原画像データのサンプル点（画素）＃０に対して、図１０上から２番目に示すように、位相−△だけずれた位置を、補間画像データのサンプル点＃０の位置として、最近傍補間により補間画像データを生成する。また、最近傍補間部２１は、位相０を表す位相情報が供給された場合、図１０上から１番目に示す原画像データのサンプル点＃０に対して、図１０上から３番目に示すように、位相０だけずれた位置、即ち、原画像データのサンプル点＃０の位置を、補間画像データのサンプル点＃０の位置として、最近傍補間により補間画像データを生成する。さらに、最近傍補間部２１は、位相＋△を表す位相情報が供給された場合、図１０上から１番目に示す原画像データのサンプル点＃０に対して、図１０上から４番目に示すように、位相＋△だけずれた位置を、補間画像データのサンプル点＃０の位置として、最近傍補間により補間画像データを生成する。

直線補間部２２およびキュービック補間部２３も、最近傍補間部２１と同様に、位相情報が表す位相について、補間画像データを生成する。

ここで、本実施の形態では、原画像データのある方向の画素数を３／２倍にする補間が行われるものとする。なお、補間によって原画像データの画素数を何倍とするかは、あらかじめ固定の値を設定しておくこともできるし、ユーザの操作等に応じて可変の値を設定することもできる。

いま、例えば、あるフレーム（またはフィールド）の原画像データに対して、ｘ軸とｙ軸とで規定される２次元座標系を想定すると、図４の制御部１５は、その２次元座標系において、例えば、１０通りの位相（△ｘ，△ｙ）を表す位相情報を、順次、図９の補間処理部１６のスイッチ３５に供給する。

なお、位相情報が表すｘ方向の位相△ｘは、その絶対値が、補間画像データのｘ方向（横方向）に並ぶサンプル点（画素）どうしの間隔未満となる値が採用される。同様に、位相情報が表すｙ方向の位相△ｙも、その絶対値が、補間画像データのｙ方向（縦方向）に並ぶサンプル点（画素）どうしの間隔未満となる値が採用される。

また、上述の場合には、図４の制御部１５において、１０通りの位相情報を、補間処理部１６に供給するようにしたが、制御部１５から補間処理部１６に供給する位相情報は、１０通りに限定されるものではない。即ち、制御部１５から補間処理部１６に供給する位相情報は、例えば、補間処理部１６における処理時間（最近傍補間部２１等において、補間画像データを算出等する回数に比例する時間）などに基づいて設定することが可能である。

次に、図９の仮想化部２４乃至２７において行われる画像データの仮想化について説明する。

仮想化部２４乃至２７では、補間処理部１６に供給される原画像データが、例えば、パーソナルコンピュータの出力や、OSD用のテキストなどの周波数帯域制限されていない画像データであることを考慮して、サンプル点（画素）の値（画素値）を、例えば、±１／２サンプル分だけ空間的に（ｘｙ方向に）拡げる０次補間を行うことにより、画像データを仮想的に連続的にした仮想画像データを生成する仮想化処理が行われる。

即ち、仮想化部２４に供給される原画像データが、例えば、図１１上に示すように、画素値”１”と”０”とを交互に繰り返すものである場合には、仮想化部２４は、各サンプル点における画素値”１”または”０”を、±１／２サンプル分だけ拡げ、これにより、図１１下に示すように、仮想的に連続的にした仮想原画像データを生成する。

また、最近傍補間部２１において、原画像データのサンプル点数（画素数）が、例えば、３／２倍に最近傍補間されるとし、位相情報が表す位相が０であるとすると、図１１上と同様の図１２上から１番目の原画像データからは、図１２上から２番目に示すように、画素値”１”，”０”，”０”を繰り返す補間画像データが得られる。この場合、最近傍補間部２１で得られる補間画像データを仮想化する仮想化部２５においては、その補間画像データの各サンプル点における画素値を、±１／２サンプル分だけ拡げ、これにより、図１２上から３番目に示すように、仮想的に連続的にした仮想補間画像データを生成する。

仮想化部２６と２７も、仮想化部２５と同様に、直線補間部２２とキュービック補間部２３から供給される補間画像データそれぞれについて、仮想補間画像データを生成する。

ここで、図１３に、図９の仮想化部２４乃至２７において仮想化が行われることにより得られる仮想画像データ（仮想原画像データ、仮想補間画像データ）の例を示す。

なお、図１３上から１番目は、仮想化部２４において、原画像データを仮想化することによって得られる仮想原画像データを示している。また、図１３上から２番目は、仮想化部２５において、最近傍補間部２１が図１３上から１番目の原画像データを最近傍補間することにより生成する補間画像データを仮想化することによって得られる仮想補間画像データを示している。さらに、図１３上から３番目は、仮想化部２６において、直線補間部２２が図１３上から１番目の原画像データを直線補間することにより生成する補間画像データを仮想化することによって得られる仮想補間画像データを示している。また、図１３上から４番目は、仮想化部２７において、キュービック補間部２３が図１３上から１番目の原画像データを最近傍補間することにより生成する補間画像データを仮想化することによって得られる仮想補間画像データを示している。

但し、図１３では、最近傍補間部２１、直線補間部２２、およびキュービック補間部２３において、位相０の位相情報を用いて、原画像データのサンプル点数（画素数）が３／２倍に補間されるものとしてある。

このように、原画像データと補間画像データをそれぞれ仮想化することにより、仮想的に画素値が連続した仮想原画像データと仮想補間画像データを生成することで、仮想原画像データと仮想補間画像データとを用いて、対応する原画像データと補間画像データとの誤差を計算することが可能となる。

即ち、原画像データと補間画像データとはサンプル点数が異なるため（さらには、ここでは、位相も異なることがあり得るため）、補間画像データのあるサンプル点に一致する位置に、原画像データのサンプル点が存在しないことがあり、この場合、原画像データと補間画像データとの誤差を精度良く計算することが困難となる。

これに対して、仮想原画像データと仮想補間画像データは、いずれも画素値が連続的な画像データであり、この連続的な画像データを用いることにより、補間画像データの任意のサンプル点（画素）における原画像データと補間画像データとの誤差を計算することが可能となる。

図１４を参照して、原画像データと補間画像データとの誤差を計算する図９の誤差計算部２８乃至３０の処理について説明する。

図１４上から１番目は、図１３上から１番目に示したのと同様の仮想原画像データを示しており、図１４上から２番目は、図１３上から３番目に示したのと同様の仮想補間画像データ、即ち、仮想化部２６において、直線補間部２２が図１４上から１番目の原画像データを直線補間することにより生成する補間画像データを仮想化することによって得られる仮想補間画像データを示している。

仮想化部２６は、図１４上から２番目に示した仮想補間画像データを、誤差計算部２９に供給する。さらに、誤差計算部２９には、仮想化部２４から、図１４上から１番目に示した仮想原画像データも供給される。

この場合、誤差計算部２９は、図１４上から３番目に示すように、仮想補間画像データと仮想原画像データとの差分を演算する。そして、誤差計算部２９は、原画像データに対する補間画像データのサンプル点＃０の誤差として、補間画像データのサンプル点＃０の画素値を拡げた±１／２サンプル分の範囲（−０．５乃至＋０．５）における、仮想補間画像データと仮想原画像データとの差分の絶対値和（差分の絶対値の積分値）を求める。

また、誤差計算部２９は、原画像データに対する補間画像データのサンプル点＃１の誤差として、補間画像データのサンプル点＃１の画素値を拡げた±１／２サンプル分の範囲（＋０．５乃至＋１．５）における、仮想補間画像データと仮想原画像データとの差分の絶対値和を求める。以下、同様にして、誤差計算部２９は、補間画像データの各サンプル点の誤差を求める。

誤差計算部２８および３０も、誤差計算部２９と同様にして、補間画像データの各サンプル点の誤差を求める。

なお、原画像データに対する補間画像データの各サンプル点の誤差としては、補間画像データの、そのサンプル点の画素値を拡げた±１／２サンプル分の範囲における、仮想補間画像データと仮想原画像データとの差分の絶対値和の他、例えば、その差分の２乗和（差分の２乗の積分値）や、その他の差分を引数とする関数の値を採用することが可能である。さらに、誤差を求めるにあたって、差分の絶対値等の和（積分）の演算には、重み付け加算を採用することができる。即ち、補間画像データのサンプル点からある距離の位置で求められた差分の絶対値等に対し、その距離に応じた重み（例えば、距離が大になるにつれて、値が小さくなる重み）による重み付けを行ってから加算を行う（和をとる）ことにより、各サンプル点の誤差を求めるようにすることができる。

また、上述の場合においては、仮想化部２４において、原画像データの各サンプル点の画素値を、±１／２サンプル分だけ拡げる０次補間を行うことにより、仮想原画像データを生成するようにしたが、仮想原画像データは、その他、例えば、原画像データについて、直線補間や、キュービック補間、その他の任意の補間を行うことにより生成することが可能である。仮想化部２５乃至２７においても、同様である。

次に、図１５および図１６のフローチャートを参照して、図９の補間処理部１６が図８のステップＳ１４において行う補間処理について説明する。

補間処理部１６では、まず最初に、ステップＳ３１において、仮想化部２４が、注目領域の領域データと原画像データを取得する。さらに、ステップＳ３１において、仮想化部２４は、注目領域の原画像データを仮想化し、その結果得られる仮想原画像データを誤差計算部２８乃至３０に供給して、ステップＳ３２に進む。

ステップＳ３２では、スイッチ３５が、端子３５ａを選択するように切り替わり、これにより、図４の制御部１５が出力する位相情報が、スイッチ３５を介して、最近傍補間部２１、直線補間部２２、およびキュービック補間部２３等に供給される状態となって、ステップＳ３３に進む。

ステップＳ３３では、最近傍補間部２１、直線補間部２２、およびキュービック補間部２３等が、制御部１５からスイッチ３５を介して供給される位相情報を、注目位相情報として取得し、ステップＳ３４に進む。ステップＳ３４では、最近傍補間部２１、直線補間部２２、キュービック補間部２３それぞれが、注目領域の原画像データを取得し、その原画像データについて、直前のステップＳ３３で取得した位相情報が表す位相だけ、サンプル点＃０の位置が、原画像データのサンプル点＃０からずれた補間画像データを生成する。ここで、最近傍補間部２１は、原画像データを最近傍補間することにより、補間画像データを生成し、直線補間部２２は、原画像データを最近傍補間することにより、補間画像データを生成する。また、キュービック補間部２３は、原画像データをキュービック補間することにより、補間画像データを生成する。なお、最近傍補間部２１、直線補間部２２、キュービック補間部２３が生成する補間画像データを、以下、適宜、それぞれ最近傍補間データ、直線補間データ、キュービック補間データという。

ステップＳ３４では、さらに、最近傍補間部２１、直線補間部２２、キュービック補間部２３は、最近傍補間データ、直線補間データ、キュービック補間データを、仮想化部２５乃至２７にそれぞれ供給するとともに、補間方式セレクタ３２に供給し、ステップＳ３５に進む。

ステップＳ３５では、仮想化部２５乃至２７は、直前のステップＳ３４で最近傍補間部２１、直線補間部２２、キュービック補間部２３から供給された最近傍補間データ、直線補間データ、キュービック補間データをそれぞれ仮想化し、仮想補間画像データを得る。ここで、仮想化部２５乃至２７が、最近傍補間データ、直線補間データ、キュービック補間データを仮想化することにより得られる仮想補間画像データを、以下、適宜、それぞれ、仮想最近傍補間データ、仮想直線補間データ、仮想キュービック補間データという。

ステップＳ３５では、さらに、仮想化部２５乃至２７は、仮想最近傍補間データ、仮想直線補間データ、仮想キュービック補間データを、誤差計算部２８乃至３０にそれぞれ供給して、ステップＳ３６に進む。

ステップＳ３６では、誤差計算部２８乃至３０は、注目領域の補間画像データのサンプル点（注目位相情報が表す位相だけ、サンプル点＃０の位相がずれた補間画像データのサンプル点）のうちの、まだ注目サンプル点として選択していないものの１つを、注目サンプル点として選択し、ステップＳ３７に進む。

ステップＳ３７では、誤差計算部２８乃至３０が、最近傍補間データ、直線補間データ、キュービック補間データの注目サンプル点の誤差（原画像データに対する誤差）を、それぞれ計算する。即ち、誤差計算部２８は、最近傍補間部２１で得られた最近傍補間データの注目サンプル点の誤差を、仮想化部２４からの仮想原画像データと、仮想化部２５からの仮想最近傍補間データとを用い、図１４で説明したようにして計算する。

同様に、誤差計算部２９は、直線補間部２２で得られた直線補間データの注目サンプル点の誤差を、仮想化部２４からの仮想原画像データと、仮想化部２６からの仮想直線補間データとを用いて計算し、誤差計算部３０は、キュービック補間部２３で得られたキュービック補間データの注目サンプル点の誤差を、仮想化部２４からの仮想原画像データと、仮想化部２７からの仮想キュービック補間データとを用いて計算する。

そして、誤差計算部２８乃至３０は、注目位相情報について得られた最近傍補間データ、直線補間データ、キュービック補間データの注目サンプル点の誤差を、最小誤差決定部３１に供給して、ステップＳ３７からＳ３８に進む。

ステップＳ３８では、最小誤差決定部３１は、直前のステップＳ３７で誤差計算部２８乃至３０からそれぞれ供給された最近傍補間データ、直線補間データ、キュービック補間データの注目サンプル点の誤差の中から、最小値である最小誤差を選択（決定）し、誤差値累積部３３に供給して、ステップＳ３９に進む。

ステップＳ３９では、誤差値累積部３３は、最小誤差決定部３１からいままでに供給された最小誤差を累積した累積誤差を記憶しており、直前のステップＳ３８で最小誤差決定部３１から供給された最小誤差を、記憶している累積誤差に累積加算し、その加算値を、新たな累積誤差として記憶（上書き）して、ステップＳ４０に進む。

ここで、誤差値累積部３３が記憶している累積誤差は、例えば、ステップＳ３３において、新たな位相情報が、注目位相情報として取得されるときに、０にリセットされるようになっている。

ステップＳ４０では、誤差計算部２８乃至３０は、注目領域の補間画像データのサンプル点（注目位相情報が表す位相だけ、サンプル点＃０の位相がずれた補間画像データのサンプル点）の中に、まだ注目サンプル点として選択していないものがあるかどうかを判定する。

ステップＳ４０において、注目領域の補間画像データのサンプル点の中に、まだ注目サンプル点として選択していないものがあると判定された場合、ステップＳ３６に戻り、誤差計算部２８乃至３０は、注目領域の補間画像データのサンプル点のうちの、まだ注目サンプル点として選択していないものの１つを、注目サンプル点として新たに選択し、以下、同様の処理が繰り返される。

また、ステップＳ４０において、注目領域の補間画像データのサンプル点の中に、注目サンプル点として選択していないものがないと判定された場合、即ち、注目領域の補間画像データのサンプル点それぞれについて、最近傍補間データ、直線補間データ、キュービック補間データの誤差が求められ、各サンプル点の誤差のうちの最小誤差の累積値である累積誤差が、誤差値累積部３３において求められた場合、誤差値累積部３３は、その累積誤差を、累積誤差最小決定部３４に供給し、ステップＳ４１に進む。

ステップＳ４１では、累積誤差最小決定部３４は、スイッチ３５を介して供給される注目位相情報である位相情報に対応付けて、誤差値累積部３３から供給される累積誤差を記憶し、ステップＳ４２に進む。

ステップＳ４２では、スイッチ３５は、制御部１５から、全通りの位相情報（ここでは、例えば、上述したように、１０通りの位相情報）が供給されたかどうかを判定する。ステップＳ４２において、全通りの位相情報が、まだ、制御部１５から供給されていないと判定された場合、制御部１５から、次の位相情報が新たに供給されるのを待って、ステップＳ３３に戻り、その新たに供給された位相情報を、新たに注目位相情報として、以下、同様の処理が繰り返される。

また、ステップＳ４２において、全通りの位相情報が、制御部１５から供給されたと判定された場合、即ち、累積誤差最小決定部３４において、全通りの位相情報それぞれに対応付けて、累積誤差が記憶された場合、ステップＳ４３に進み、累積誤差最小決定部３４は、全通りの位相情報それぞれに対応付けられた累積誤差の中から、最小値である最小累積誤差を選択（決定）する。さらに、ステップＳ４３では、累積誤差最小決定部３４は、最小累積誤差に対応付けられている位相情報を、注目領域の原画像データの補間に最適な位相を表す最適位相情報として、スイッチ３５の端子３５ｂに出力して、ステップＳ４４に進む。

ステップＳ４４では、スイッチ３５は、端子３５ｂを選択するように切り替わり、これにより、累積誤差最小決定部３４が出力する最適位相情報である位相情報が、スイッチ３５を介して、最近傍補間部２１、直線補間部２２、およびキュービック補間部２３等に供給される状態となって、図１６のステップＳ５１に進む。

ステップＳ５１では、最近傍補間部２１、直線補間部２２、およびキュービック補間部２３等が、スイッチ３５を介して供給される最適位相情報を取得し、ステップＳ５２に進む。ステップＳ５２では、最近傍補間部２１、直線補間部２２、キュービック補間部２３それぞれが、注目領域の原画像データを取得し、その原画像データについて、最適位相情報が表す位相だけ、サンプル点＃０の位置が原画像データのサンプル点＃０からずれた最近傍補間データ、直線補間データ、キュービック補間データを、それぞれ生成する。さらに、ステップＳ５２では、最近傍補間部２１、直線補間部２２、キュービック補間部２３は、最近傍補間データ、直線補間データ、キュービック補間データを、仮想化部２５乃至２７にそれぞれ供給するとともに、補間方式セレクタ３２に供給し、ステップＳ５３に進む。

ステップＳ５３では、仮想化部２５乃至２７は、ステップＳ５２で最近傍補間部２１、直線補間部２２、キュービック補間部２３から供給された最近傍補間データ、直線補間データ、キュービック補間データをそれぞれ仮想化し、仮想最近傍補間データ、仮想直線補間データ、仮想キュービック補間データを得る。さらに、ステップＳ５３では、仮想化部２５乃至２７は、仮想最近傍補間データ、仮想直線補間データ、仮想キュービック補間データを、誤差計算部２８乃至３０にそれぞれ供給して、ステップＳ５４に進む。

ステップＳ５４では、誤差計算部２８乃至３０は、最適位相情報が表す位相だけ、注目領域の補間画像データのサンプル点＃０の位相がずれた補間画像データのサンプル点のうちの、まだ注目サンプル点として選択していないものの１つを、注目サンプル点として選択し、ステップＳ５５に進む。

ステップＳ５５では、誤差計算部２８乃至３０が、図１５のステップＳ３７における場合と同様に、最近傍補間データ、直線補間データ、キュービック補間データの注目サンプル点の誤差（原画像データに対する誤差）を、それぞれ計算し、最適位相情報について得られた最近傍補間データ、直線補間データ、キュービック補間データの注目サンプル点の誤差を、最小誤差決定部３１に供給して、ステップＳ５６に進む。

ステップＳ５６では、最小誤差決定部３１は、直前のステップＳ５５で誤差計算部２８乃至３０からそれぞれ供給された最近傍補間データ、直線補間データ、キュービック補間データの注目サンプル点の誤差の中から、最小値である最小誤差を選択（決定）し、その最小誤差に基づき、補間方式セレクタ３２を制御して、ステップＳ５７に進む。

ステップＳ５７では、補間方式セレクタ３２が、最小誤差決定部３１の制御にしたがって、最近傍補間部２１、直線補間部２２、キュービック補間部２３からそれぞれ供給された最近傍補間データ、直線補間データ、キュービック補間データのうちのいずれかを選択し、注目サンプル点の画素値として、図４の本線系メモリ１７に供給する。即ち、最小誤差決定部３１は、最近傍補間データ、直線補間データ、キュービック補間データのうちの、最小誤差を与えるものを選択するように、補間方式セレクタ３２を制御し、補間方式セレクタ３２は、最小誤差決定部３１の制御にしたがい、注目サンプル点の最近傍補間データ、直線補間データ、キュービック補間データのうちの、最小誤差を与えるものを、注目サンプル点の画素値として選択し、図４の本線系メモリ１７に供給する。

その後、ステップＳ５７からＳ５８に進み、誤差計算部２８乃至３０は、注目領域の補間画像データのサンプル点（最適位相情報が表す位相だけ、サンプル点＃０の位相がずれた補間画像データのサンプル点）の中に、まだ注目サンプル点として選択していないものがあるかどうかを判定する。

ステップＳ５８において、注目領域の補間画像データのサンプル点の中に、まだ注目サンプル点として選択していないものがあると判定された場合、ステップＳ５４に戻り、誤差計算部２８乃至３０は、注目領域の補間画像データのサンプル点のうちの、まだ注目サンプル点として選択していないものの１つを、注目サンプル点として新たに選択し、以下、同様の処理が繰り返される。

また、ステップＳ５８において、注目領域の補間画像データのサンプル点の中に、注目サンプル点として選択していないものがないと判定された場合、即ち、注目領域の、最適位相情報が表す位相についての補間画像データのサンプル点それぞれについて、原画像データとの誤差を最小にする画素値が求められた場合、補間処理を終了してリターンする。

以上のように、原画像データと補間画像データそれぞれに対して、仮想的に連続的にした仮想原画像データと仮想補間画像データを生成し、その仮想原画像データと仮想補間画像データを用いて、原画像データに対する補間画像データの誤差を求めるようにしたので、原画像データと異なるサンプル点数の補間画像データの誤差を、容易に求めることができる。

さらに、複数の位相の位相情報のうちの、補間画像データの誤差を累積した累積誤差を最小にする位相を表す位相情報を、最適位相情報として、その最適位相情報が表す位相の補間画像データを生成するようにしたので、原画像データに対する誤差が小さい補間画像データを得ることができる。即ち、原画像データが、例えば、パーソナルコンピュータの出力やOSD用のテキストなどの周波数帯域制限がされていないものである場合に、その原画像データの急峻なエッジを維持した、原画像データと同様の補間画像データを得ることができる。

また、補間処理部１６では、文字領域ごとに、補間処理が行われるので、文字領域ごとに、累積誤差を最小にする位相の補間画像データを求めることができる。

さらに、補間画像データの注目サンプル点の画素値として、複数の補間方式としての最近傍補間、直線補間、キュービック補間によってそれぞれ得られた補間画像データのうちの、原画像データに対する誤差を最小にするものを選択するようにしたので、注目サンプル点（画素）が、自然画、テキスト、ビジネスグラフなどのいずれの属性の画素であるかを判定することなく、その注目サンプル点に対して適した補間方式を採用し、原画像データに対する誤差が小さい補間画像データを得ることができる。

次に、図１７は、図４の補間処理部１６の他の構成例を示している。なお、図中、図９における場合と対応する部分については、同一の符号を付してあり、以下では、その説明は、適宜省略する。即ち、図１７の補間処理部１６は、累積誤差最小決定部３４およびスイッチ３５が設けられておらず、累積誤差値比較部５１、中間結果メモリ５２、および最終結果メモリ５３が新たに設けられている他は、図９における場合と同様に構成されている。

累積誤差値比較部５１は、誤差値累積部３３から供給される、注目位相情報に対する累積誤差と、既に記憶している最小累積誤差とを比較する。そして、累積誤差値比較部５１は、誤差値累積部３３から供給された累積誤差が、最小累積誤差よりも小さい場合（または、最小累積誤差以下の場合）、最小累積誤差を、誤差値累積部３３から供給された累積誤差によって更新し、その更新後の最小累積誤差を新たに記憶する（上書きする）。さらに、累積誤差値比較部５１は、最小累積誤差を更新した場合、中間結果メモリ５２と最終結果メモリ５３に、それぞれ読み出しと書き込みを許可するイネーブル信号を供給する。

中間結果メモリ５２は、補間方式セレクタ３２が出力する、注目サンプル点の補間結果としての画素値を上書きする形で記憶する。さらに、中間結果メモリ５２は、累積誤差値比較部５１からイネーブル信号が供給された場合、そこに記憶している画素値からなる注目領域の補間画像データを読み出し、最終結果メモリ５３に供給する。

最終結果メモリ５３は、累積誤差値比較部５１からイネーブル信号が供給された場合、中間結果メモリ５２から供給される注目領域の補間画像データを、上書きする形で記憶する。

図１７の補間処理部１６は、１０通りの位相情報のうちの、累積誤差を最小にする位相情報を、最適位相情報として、その最適位相情報が表す位相について、補間画像データの各サンプル点の誤差を最小にする画素値からなる補間画像データを求める点で、図９の補間処理部１６と共通する。

但し、図９の補間処理部１６では、１０通りの位相情報それぞれに対して、累積誤差を求め、その累積誤差に基づき、最適位相情報を求めた後、最適位相情報が表す位相について、各サンプル点の誤差を最小にする画素値からなる補間画像データを求めるが、図１７の補間処理部１６は、次の点で、図９における場合と異なる。

即ち、図１７の補間処理部１６では、１０通りの位相情報それぞれに対して、累積誤差を求めるときに、その時点までに得られている累積誤差の最小値を与える位相情報が表す位相の補間画像データを、最終結果メモリ５３に保持する。従って、図１７の補間処理部１６では、１０通りの位相情報それぞれに対する累積誤差のすべてが求められた時点で、最適位相情報が表す位相の補間画像データが、最終結果メモリ５３に記憶される。

次に、図１８のフローチャートを参照して、図１７の補間処理部１６が図８のステップＳ１４において行う補間処理について説明する。

まず最初に、ステップＳ７１において、仮想化部２４が、注目領域の領域データと原画像データを取得する。さらに、ステップＳ７１において、仮想化部２４は、注目領域の原画像データを仮想化し、その結果得られる仮想原画像データを誤差計算部２８乃至３０に供給する。また、ステップＳ７１では、累積誤差値比較部５１が、最小累積誤差（を記憶する変数）を、所定の大きな値に初期化して、ステップＳ７２に進む。

ステップＳ７２では、最近傍補間部２１、直線補間部２２、およびキュービック補間部２３等が、制御部１５（図４）から供給される位相情報を、注目位相情報として取得し、ステップＳ７３に進む。ステップＳ７３では、最近傍補間部２１、直線補間部２２、キュービック補間部２３それぞれが、図１５のステップＳ３４における場合と同様に、注目領域の原画像データを取得し、その原画像データについて、直前のステップＳ７２で取得した位相情報が表す位相だけ、サンプル点＃０の位置が原画像データのサンプル点＃０からずれた補間画像データである最近傍補間データ、直線補間データ、キュービック補間データを生成する。

ステップＳ７３では、さらに、最近傍補間部２１、直線補間部２２、キュービック補間部２３は、最近傍補間データ、直線補間データ、キュービック補間データを、仮想化部２５乃至２７にそれぞれ供給するとともに、補間方式セレクタ３２に供給し、ステップＳ７４に進む。

ステップＳ７４では、仮想化部２５乃至２７は、直前のステップＳ７３で最近傍補間部２１、直線補間部２２、キュービック補間部２３から供給された最近傍補間データ、直線補間データ、キュービック補間データをそれぞれ仮想化し、仮想補間画像データである仮想最近傍補間データ、仮想直線補間データ、仮想キュービック補間データを得る。ステップＳ７４では、さらに、仮想化部２５乃至２７は、仮想最近傍補間データ、仮想直線補間データ、仮想キュービック補間データを、誤差計算部２８乃至３０にそれぞれ供給して、ステップＳ７５に進む。

ステップＳ７５では、誤差計算部２８乃至３０は、注目領域の補間画像データのサンプル点（注目位相情報が表す位相だけ、サンプル点＃０の位相がずれた補間画像データのサンプル点）のうちの、まだ注目サンプル点として選択していないものの１つを、注目サンプル点として選択し、ステップＳ７６に進む。

ステップＳ７６では、誤差計算部２８乃至３０が、図１５のステップＳ３７における場合と同様に、最近傍補間データ、直線補間データ、キュービック補間データの注目サンプル点の誤差（原画像データに対する誤差）を、仮想最近傍補間データ、仮想直線補間データ、仮想キュービック補間データそれぞれと、仮想原画像データとを用いて計算し、注目位相情報について得られた最近傍補間データ、直線補間データ、キュービック補間データの注目サンプル点の誤差を、最小誤差決定部３１に供給して、ステップＳ７７に進む。

ステップＳ７７では、最小誤差決定部３１は、直前のステップＳ７６で誤差計算部２８乃至３０からそれぞれ供給された最近傍補間データ、直線補間データ、キュービック補間データの注目サンプル点の誤差の中から、最小値である最小誤差を選択（決定）し、その最小誤差に基づき、補間方式セレクタ３２を制御するとともに、その最小誤差を、誤差値累積部３３に供給して、ステップＳ７８に進む。

ステップＳ７８では、補間方式セレクタ３２が、最小誤差決定部３１の制御にしたがって、最近傍補間部２１、直線補間部２２、キュービック補間部２３からそれぞれ供給される注目サンプル点の最近傍補間データ、直線補間データ、キュービック補間データのうちのいずれかを選択し、注目サンプル点の画素値として、中間結果メモリ５２に供給する。即ち、最小誤差決定部３１は、注目サンプル点の最近傍補間データ、直線補間データ、キュービック補間データのうちの、最小誤差を与えるものを選択するように、補間方式セレクタ３２を制御し、補間方式セレクタ３２は、最小誤差決定部３１の制御にしたがい、注目サンプル点の最近傍補間データ、直線補間データ、キュービック補間データのうちの、最小誤差を与えるものを、注目サンプル点の画素値として選択し、中間結果メモリ５２に供給する。

その後、ステップＳ７８からＳ７９に進み、中間結果メモリ５２は、注目位相情報が表す位相の補間画像データの注目サンプル点について、補間方式セレクタ３２で選択された画素値を、その注目サンプル点に対応するアドレスに上書きする形で書き込み、ステップＳ８０に進む。

ステップＳ８０では、誤差値累積部３３は、直前のステップＳ７７で最小誤差決定部３１から供給された最小誤差を、記憶している累積誤差に累積加算し、その加算値を、新たな累積誤差として記憶（上書き）して、ステップＳ８１に進む。

ここで、誤差値累積部３３が記憶している累積誤差は、例えば、ステップＳ７２において、新たな位相情報が、注目位相情報として取得されるときに、０にリセットされるようになっている。

ステップＳ８１では、誤差計算部２８乃至３０は、注目領域の補間画像データのサンプル点（注目位相情報が表す位相だけ、サンプル点＃０の位相がずれた補間画像データのサンプル点）の中に、まだ注目サンプル点として選択していないものがあるかどうかを判定する。

ステップＳ８１において、注目領域の補間画像データのサンプル点の中に、まだ注目サンプル点として選択していないものがあると判定された場合、ステップＳ７５に戻り、誤差計算部２８乃至３０は、注目領域の補間画像データのサンプル点のうちの、まだ注目サンプル点として選択していないものの１つを、注目サンプル点として新たに選択し、以下、同様の処理が繰り返される。

また、ステップＳ８１において、注目領域の補間画像データのサンプル点の中に、注目サンプル点として選択していないものがないと判定された場合、即ち、注目領域の、注目位相情報が表す位相の補間画像データのサンプル点それぞれについて、最近傍補間データ、直線補間データ、キュービック補間データの誤差が求められ、それらの誤差のうちの最小誤差の累積値である累積誤差が、誤差値累積部３３において求められるとともに、その累積誤差を与える画素値でなる補間画像データが、中間結果メモリ５２に記憶された場合、誤差値累積部３３は、その注目位相情報について求められた累積誤差を、累積誤差値比較部５１に供給し、ステップＳ８２に進む。

ステップＳ８２では、累積誤差値比較部５１は、誤差値累積部３３からの注目位相情報についての累積誤差と、記憶している最小累積誤差とを比較し、注目位相情報についての累積誤差が、最小累積誤差よりも小さいかどうかを判定する。

ステップＳ８２において、注目位相情報についての累積誤差が、累積誤差値比較部５１が記憶している最小累積誤差よりも小さくないと判定された場合、ステップＳ８３およびＳ８４をスキップして、ステップＳ８５に進む。

また、ステップＳ８２において、注目位相情報についての累積誤差が、累積誤差値比較部５１が記憶している最小累積誤差よりも小さいと判定された場合、ステップＳ８３に進み、累積誤差値比較部５１は、記憶している最小累積誤差を、注目位相情報についての累積誤差に更新し、その更新後の最小累積誤差を上書きする形で記憶して、ステップＳ８４に進む。

ステップＳ８４では、累積誤差値比較部５１は、イネーブル信号を、中間結果メモリ５２および最終結果メモリ５３に供給し、これにより、中間結果メモリ５２に記憶されている、現時点で最小累積誤差を与える画素値でなる補間画像データが、中間結果メモリ５２から最終結果メモリ５３に供給されてコピー（上書き）される。

そして、ステップＳ８４からＳ８５に進み、誤差計算部２８乃至３０は、制御部１５から、全通りの位相情報（ここでは、例えば、上述したように、１０通りの位相情報）が供給されたかどうかを判定する。ステップＳ８５において、全通りの位相情報が、まだ、制御部１５から供給されていないと判定された場合、制御部１５から、次の位相情報が新たに供給されるのを待って、ステップＳ７２に戻り、その新たに供給された位相情報を、新たに注目位相情報として、以下、同様の処理が繰り返される。

また、ステップＳ８５において、全通りの位相情報が、制御部１５から供給されたと判定された場合、即ち、累積誤差値比較部５１において、全通りの位相情報それぞれについての累積誤差が比較され、その中の最小の累積誤差が求められるとともに、その最小の累積誤差を与える画素値でなる補間画像データが、最終結果メモリ５３に記憶された場合、補間処理を終了してリターンする。

図１７の補間処理部１６によれば、図９における場合よりも早く、誤差の小さい補間画像データを得ることができる。

次に、図１１乃至図１４では、原画像データの各サンプル点における画素値を、±１／２サンプル分だけ拡げ、（画像）全体に亘って連続的にした仮想原画像データを生成するとともに、補間画像データの各サンプル点における画素値を、±１／２サンプル分だけ拡げ、（画像）全体に亘って連続的にした仮想補間画像データを生成することにより、補間画像データの任意のサンプル点（画素）における原画像データと補間画像データとの誤差を計算することができるようにしたが、その他、例えば、補間画像データについては、その補間画像データを仮想的に部分的に連続的にした仮想補間画像データを生成することによっても、補間画像データの任意のサンプル点（画素）における原画像データと補間画像データとの誤差を計算することができる。

即ち、補間画像データについては、その補間画像データの各サンプル点における画素値を、±１／２サンプル分より小さい幅（０より大きい幅）だけ拡げ、これにより、仮想的に部分的に連続的にした仮想補間画像データを生成しても良い。

この場合も、図１４で説明した場合と同様にして、補間画像データの任意のサンプル点（画素）における原画像データと補間画像データとの誤差を計算することができる。

即ち、図１９は、全体に亘って連続的にした仮想原画像データと、部分的に連続的にした仮想補間画像データとから誤差が求められる場合を示している。

図１９上から１番目は、図１３上から１番目に示したのと同様の仮想原画像データ、即ち、全体に亘って連続的にした仮想原画像データを示している。また、図１９上から２番目は、原画像データを直線補間して得られる補間画像データの各サンプル点における画素値を、±１／２サンプル分より小さい幅である、例えば±１／４サンプル分だけ拡げる仮想化により、部分的に連続的にした仮想補間画像データを示している。

この場合、図１９上から３番目に示すように、補間画像データの各サンプル点を中心とする±１／４サンプル分の範囲において、仮想補間画像データと仮想原画像データとの差分を演算し、補間画像データのサンプル点＃０については、そのサンプル点＃０の画素値を拡げた±１／４サンプル分の範囲（−０．２５乃至＋０．２５）における、仮想補間画像データと仮想原画像データとの差分の絶対値和（差分の絶対値の積分値）を、サンプル点＃０の誤差として求めることができる。

また、補間画像データのサンプル点＃１については、そのサンプル点＃１の画素値を拡げた±１／４サンプル分の範囲（＋０．７５乃至＋１．２５）における、仮想補間画像データと仮想原画像データとの差分の絶対値和を、サンプル点＃１の誤差として求めることができる。補間画像データの他のサンプル点の誤差も、同様にして求めることができる。

以上のように、仮想原画像データが全体的に連続的であれば、仮想補間画像データは全体的に連続的でなくても、補間画像データの各サンプル点の誤差を求めることができる。

次に、上述した一連の処理は、ハードウェアにより行うこともできるし、ソフトウェアにより行うこともできる。一連の処理をソフトウェアによって行う場合には、そのソフトウェアを構成するプログラムが、汎用のコンピュータ等にインストールされる。

そこで、図２０は、上述した一連の処理を実行するプログラムがインストールされるコンピュータの一実施の形態の構成例を示している。

プログラムは、コンピュータに内蔵されている記録媒体としてのハードディスク１０５やＲＯＭ１０３に予め記録しておくことができる。

あるいはまた、プログラムは、フレキシブルディスク、CD-ROM(Compact Disc Read Only Memory)，MO(Magneto Optical)ディスク，DVD(Digital Versatile Disc)、磁気ディスク、半導体メモリなどのリムーバブル記録媒体１１１に、一時的あるいは永続的に格納（記録）しておくことができる。このようなリムーバブル記録媒体１１１は、いわゆるパッケージソフトウエアとして提供することができる。

なお、プログラムは、上述したようなリムーバブル記録媒体１１１からコンピュータにインストールする他、ダウンロードサイトから、ディジタル衛星放送用の人工衛星を介して、コンピュータに無線で転送したり、LAN(Local Area Network)、インターネットといったネットワークを介して、コンピュータに有線で転送し、コンピュータでは、そのようにして転送されてくるプログラムを、通信部１０８で受信し、内蔵するハードディスク１０５にインストールすることができる。

コンピュータは、CPU(Central Processing Unit)１０２を内蔵している。CPU１０２には、バス１０１を介して、入出力インタフェース１１０が接続されており、CPU１０２は、入出力インタフェース１１０を介して、ユーザによって、キーボードや、マウス、マイク等で構成される入力部１０７が操作等されることにより指令が入力されると、それにしたがって、ROM(Read Only Memory)１０３に格納されているプログラムを実行する。あるいは、また、CPU１０２は、ハードディスク１０５に格納されているプログラム、衛星若しくはネットワークから転送され、通信部１０８で受信されてハードディスク１０５にインストールされたプログラム、またはドライブ１０９に装着されたリムーバブル記録媒体１１１から読み出されてハードディスク１０５にインストールされたプログラムを、RAM(Random Access Memory)１０４にロードして実行する。これにより、CPU１０２は、上述したフローチャートにしたがった処理、あるいは上述したブロック図の構成により行われる処理を行う。そして、CPU１０２は、その処理結果を、必要に応じて、例えば、入出力インタフェース１１０を介して、LCD(Liquid Crystal Display)やスピーカ等で構成される出力部１０６から出力、あるいは、通信部１０８から送信、さらには、ハードディスク１０５に記録等させる。

ここで、本明細書において、コンピュータに各種の処理を行わせるためのプログラムを記述する処理ステップは、必ずしもフローチャートとして記載された順序に沿って時系列に処理する必要はなく、並列的あるいは個別に実行される処理（例えば、並列処理あるいはオブジェクトによる処理）も含むものである。

また、プログラムは、１のコンピュータにより処理されるものであっても良いし、複数のコンピュータによって分散処理されるものであっても良い。さらに、プログラムは、遠方のコンピュータに転送されて実行されるものであっても良い。

なお、本実施の形態においては、画像データを補間することとしたが、本発明は、その他、例えば、音声データの補間にも適用可能である。さらに、本発明は、動画および静止画のいずれの補間にも適用可能である。

また、本実施の形態では、補間画像データのサンプル点の複数の位相について、補間画像データを生成し、累積誤差を最小にする位相である最適位相を求め、さらに、複数の補間方式のうちの、最適位相の各サンプル点における誤差を最小にする補間方式で生成した画素値でなる補間画像データを求めるようにしたが、補間方式または位相のうちのいずれか一方は、複数ではなく、ある特定の１つを採用することが可能である。

即ち、補間処理部１６では、補間画像データのサンプル点の複数の位相のうちの、累積誤差を最小にする位相である最適位相の補間画像データを、単一の補間方式で求めるようにすることが可能である。さらに、補間処理部１６では、複数の補間方式のうちの、ある固定の位相についてのサンプル点における誤差を最小にする補間方式で生成された画素値でなる補間画像データを求めるようにすることも可能である。

また、本実施の形態では、複数の補間方式として、最近傍補間、直線補間、キュービック補間の３つの補間方式を採用することとしたが、複数の補間方式としては、この３つの補間方式のうちの任意の２つや、この３つの補間方式に１以上の他の補間方式を加えた４以上の補間方式、その他の任意の補間方式を採用することが可能である。

さらに、本実施の形態では、原画像データについて、空間方向の補間を行うようにしたが、補間は、その他、時間方向に行うことも可能である。

また、本実施の形態では、補間処理部１６において、原画像データの文字領域ごとに、補間処理を施すようにしたが、補間処理部１６における補間処理は、その他、例えば、１フレーム（またはフィールド）その他の任意の単位で行うことが可能である。

さらに、本発明は、サンプル点数を、原画像データよりも増加させる場合、および減少させる場合のいずれにも適用可能である。

また、本発明は、カラー画像および白黒画像（グレースケールの画像）のいずれにおいても適用可能である。

さらに、補間処理部１６による補間処理は、文字領域の他、例えば、コンピュータグラフィックスその他の画像の領域を対象として行うことが可能である。

従来の補間を説明する図である。 従来の補間を説明する図である。 従来の補間を説明する図である。 本発明を適用した画像処理装置の一実施の形態の構成例を示すブロック図である。 領域データを説明する図である。 文字領域検出部１１の処理を説明する図である。 文字領域検出部１１の処理を説明する図である。 画像処理装置の処理を説明するフローチャートである。 補間処理部１６の構成例を示すブロック図である。 位相情報を説明する図である。 原画像データの仮想化を説明する図である。 補間画像データの仮想化を説明する図である。 仮想化原画像データと仮想補間画像データを示す図である。 仮想化原画像データと仮想補間画像データを用いた誤差計算を説明する図である。 補間処理部１６の補間処理を説明するフローチャートである。 補間処理部１６の補間処理を説明するフローチャートである。 補間処理部１６の他の構成例を示すブロック図である。 補間処理部１６の補間処理を説明するフローチャートである。 全体に亘って連続的にした仮想原画像データと、部分的に連続的にした仮想補間画像データとから求められる誤差を説明する図である。 本発明を適用したコンピュータの一実施の形態の構成例を示すブロック図である。

符号の説明

１１ 文字領域検出部， １２ メモリ， １３ 文字領域データ格納部， １４ メモリ， １５ 制御部， １６ 補間処理部， １７ 本線系メモリ， １８ 補間部， １９ 合成部， ２１ 最近傍補間部， ２２ 直線補間部， ２３ キュービック補間部， ２４乃至２７ 仮想化部， ２８乃至３０ 誤差計算部， ３１ 最小誤差決定部， ３２ 補間方式セレクタ， ３３ 誤差値累積部， ３４ 累積誤差最小決定部， ３５ スイッチ， ３５ａ，３５ｂ 端子， ５１ 累積誤差値比較部， ５２ 中間結果メモリ， ５３ 最終結果メモリ， １０１ バス， １０２ CPU， １０３ ROM， １０４ RAM， １０５ ハードディスク， １０６ 出力部， １０７ 入力部， １０８ 通信部， １０９ ドライブ， １１０ 入出力インタフェース， １１１ リムーバブル記録媒体

Claims (12)

1. 離散的な第１のデータを、前記第１のデータとサンプル点数の異なる第２のデータに変換するデータ処理装置において、
   前記第１のデータから、複数の前記第２のデータを生成する生成手段と、
   前記第１のデータについて、その第１のデータを仮想的に連続的にした第１の仮想データを生成する第１の仮想化手段と、
   複数の前記第２のデータそれぞれについて、その第２のデータを仮想的に連続的にした第２の仮想データを生成する第２の仮想化手段と、
   複数の前記第２のデータについての前記第２の仮想データそれぞれと、前記第１の仮想データとの誤差を計算する誤差計算手段と、
   前記誤差に基づいて、複数の前記第２のデータのうちのいずれかを選択する選択手段と
   を備えることを特徴とするデータ処理装置。
2. 前記生成手段は、前記第２のデータのサンプル点の複数の位相それぞれについて、前記第２のデータを生成し、
   前記選択手段は、前記複数の位相それぞれについて生成された前記第２のデータのうちの、前記誤差を最小にするものを選択する
   ことを特徴とする請求項１に記載のデータ処理装置。
3. 前記生成手段は、複数の補間方式それぞれによって、前記第２のデータを生成し、
   前記選択手段は、前記複数の補間方式それぞれによって生成された前記第２のデータのうちの、前記誤差を最小にするものを選択する
   ことを特徴とする請求項１に記載のデータ処理装置。
4. 前記生成手段は、複数の補間方式それぞれにより、前記第２のデータのサンプル点の複数の位相それぞれについて、前記第２のデータを生成し、
   前記選択手段は、前記複数の位相のうちの前記誤差の累積値を最小にする位相について、前記複数の補間方式それぞれによって生成された前記第２のデータのうちの、前記誤差を最小にするものを選択する
   ことを特徴とする請求項１に記載のデータ処理装置。
5. 前記第１または第２の仮想化手段は、前記第１または第２のデータを０次補間することにより、前記第１または第２の仮想データを、それぞれ生成する
   ことを特徴とする請求項１に記載のデータ処理装置。
6. 前記第１および第２のデータは、画像データである
   ことを特徴とする請求項１に記載のデータ処理装置。
7. 原画像データから、文字の一部または全部を含む文字領域を検出する領域検出手段をさらに備え、
   前記生成手段は、前記文字領域の画像データを前記第１のデータとして、複数の前記第２のデータを生成する
   ことを特徴とする請求項６に記載のデータ処理装置。
8. 前記原画像データと、前記選択手段により選択された前記第２のデータとを合成する合成手段をさらに備える
   ことを特徴とする請求項７に記載のデータ処理装置。
9. 前記第２の仮想化手段は、前記第２のデータを仮想的に部分的に連続的にした第２の仮想データを生成する
   ことを特徴とする請求項１に記載のデータ処理装置。
10. 離散的な第１のデータを、前記第１のデータとサンプル点数の異なる第２のデータに変換するデータ処理方法において、
    前記第１のデータから、複数の前記第２のデータを生成する生成ステップと、
    前記第１のデータについて、その第１のデータを仮想的に連続的にした第１の仮想データを生成する第１の仮想化ステップと、
    複数の前記第２のデータそれぞれについて、その第２のデータを仮想的に連続的にした第２の仮想データを生成する第２の仮想化ステップと、
    複数の前記第２のデータについての前記第２の仮想データそれぞれと、前記第１の仮想データとの誤差を計算する誤差計算ステップと、
    前記誤差に基づいて、複数の前記第２のデータのうちのいずれかを選択する選択ステップと
    を含むことを特徴とするデータ処理方法。
11. 離散的な第１のデータを、前記第１のデータとサンプル点数の異なる第２のデータに変換するデータ処理を、コンピュータに行わせるプログラムにおいて、
    前記第１のデータから、複数の前記第２のデータを生成する生成ステップと、
    前記第１のデータについて、その第１のデータを仮想的に連続的にした第１の仮想データを生成する第１の仮想化ステップと、
    複数の前記第２のデータそれぞれについて、その第２のデータを仮想的に連続的にした第２の仮想データを生成する第２の仮想化ステップと、
    複数の前記第２のデータについての前記第２の仮想データそれぞれと、前記第１の仮想データとの誤差を計算する誤差計算ステップと、
    前記誤差に基づいて、複数の前記第２のデータのうちのいずれかを選択する選択ステップと
    を含むことを特徴とするプログラム。
12. 離散的な第１のデータを、前記第１のデータとサンプル点数の異なる第２のデータに変換するデータ処理を、コンピュータに行わせるプログラムが記録されている記録媒体において、
    前記第１のデータから、複数の前記第２のデータを生成する生成ステップと、
    前記第１のデータについて、その第１のデータを仮想的に連続的にした第１の仮想データを生成する第１の仮想化ステップと、
    複数の前記第２のデータそれぞれについて、その第２のデータを仮想的に連続的にした第２の仮想データを生成する第２の仮想化ステップと、
    複数の前記第２のデータについての前記第２の仮想データそれぞれと、前記第１の仮想データとの誤差を計算する誤差計算ステップと、
    前記誤差に基づいて、複数の前記第２のデータのうちのいずれかを選択する選択ステップと
    を含むことを特徴とするプログラムが記録されている記録媒体。

Images