JP2011024016A - 画像処理装置及び画像処理方法を実行するプログラム - Google Patents

Abstract

【課題】 超解像処理を実施する際、画像を解析して好適な解像度を複合機が自動的に検知し、その結果に従い超解像処理を設定しても、出力された画像の解像度がユーザにとって満足するものとは限らない。
【解決手段】 上記課題を解決すべく本発明における画像処理装置は、複数のセンサのうち隣接する２つのセンサ間で読取位置が１画素未満ずれるようにセンサを配置し原稿を読み取る。そして画像を解析して画像の出力時の解像度を複数決定し、センサによって読み取られた複数のフレーム画像データから必要なフレーム数を判定し、このフレーム数分の画像データを用いて画像の部分領域に対して補間処理を行い高解像度化しプレビュー表示する。この中から出力する画像データが選択されると、選択された画像データを出力するために必要なフレーム数のフレーム画像データを用いて補間処理を行い、読取時の解像度よりも高い解像度の画像を作成することを特徴とする。
【選択図】 図６

Description

本発明は、スキャナを用いる画像処理装置及び画像処理装置の制御方法を実行するプログラムに関する。

一定の解像度の画像データを複数フレーム分用いて解像度を向上させる「超解像」という技術が存在する。その技術を用いれば低解像度の画像を変換して高解像度の画像を得ることが可能となる。よって、従来と同じ解像度を持つデバイスを用いて高解像度の画像を得ることが可能となる（例えば非特許文献１）。

超解像技術を実行するためには、読み取る原稿の読み取り位置（以下、「位相」とする）がサブピクセル（１画素よりも小さい単位）で異なる複数フレーム分の画像データが必要となり、動画像処理などの分野で広く適用されている。超解像処理を行う際、１画素分の画像を生成するために複数フレーム分の画像データが必要となるため、超解像処理を行う際に用いるデータ量及び計算量が多くなる。

しかし、超解像処理を行う際、毎回大量のフレーム分の画像データを用いる必要はない。例えば、ユーザが要求する出力画像品質（解像度）を実現するためには、読み取り時に読み取った全てのフレームを用いる必要のない場合もある。

特許文献１には、カメラから連続的に送られてくる画像のうちの一部を用いて注目画像部分とし、これに対して超解像処理を行って高精細画像を生成し、拡大表示することが記載されている。

この際、ユーザによって選択された注目画像部分の画像のサイズに応じて超解像処理を行うために用いるデータ処理が可能なフレーム数を決定し超解像処理を行うことで、超解像処理を行う際に用いるデータ量及び計算量が抑制される。

「複数のデジタル画像データによる超解像処理」（Ｒｉｃｏｈ Ｔｅｃｈｎｉｃａｌ Ｒｅｐｏｒｔ Ｎｏ．２４，ＮＯＶＥＭＢＥＲ，１９９８）

特開２００６−０９２４５０

しかし、特許文献１に記載の技術において、複数のフレーム画像データを用いて超解像処理を行った画像をリアルタイムに表示するには相当のリソースが必要となる。よって、指定された画像データのサイズが大きいほど、１画素毎の処理量が大きくなるため使用できるフレーム画像データの数は減少する。このように、特許文献１では画像サイズに応じて超解像処理に用いるフレーム数が決定するが、このフレーム数を決定する際に、画像サイズ以外の情報が考慮されていない。

一方、画像処理装置である複合機（以下「ＭＦＰ」と呼ぶ）またはスキャナで原稿を読み取り、その読み取られた原稿から画像データを複数取得し、これらを利用して超解像処理を行い、出力することが想定できる。

この場合、ユーザが要求する出力画像品質（解像度）を実現するためには、読み取り時に読み取った全てのフレームを用いる必要のない場合もある。

しかし画像を解析して好適な解像度を複合機が自動的に検知し、その結果に従い超解像処理を設定しても、出力された画像の解像度がユーザにとって満足するものとは限らない。

また、超解像処理の度に読み取った全てのフレームを用いると取得した全てのデータを保持する必要があり、その結果、出力時に必要なデータ以上のデータを保持しメモリを圧迫してしまうことが考えられる。

上記課題を解決するため、本発明における画像処理装置は、
原稿画像の読み取り位置が、複数のセンサのうち第１のセンサと該第１のセンサに隣接する第２のセンサ間で１画素未満ずれるように、前記第１のセンサと前記第２のセンサが配置されたセンサ手段、前記原稿画像の属性情報を取得し、該属性情報に応じて該原稿画像を出力する際の解像度を複数決定する決定手段、前記センサ手段によって読み取られた複数のフレーム画像データから前記原稿画像を前記決定手段により複数決定された解像度それぞれに変換するために必要なフレーム画像データのフレーム数を判定する判定手段、前記原稿画像の部分領域に対して前記判定手段により判定されたフレーム数のフレーム画像データを用いて補間処理を行い、前記決定手段により複数決定された解像度を有する画像データを各解像度に応じて作成する第１の高解像度変換手段、前記第１の高解像度変換手段によって変換された複数の画像データをプレビュー表示するプレビュー手段、前記プレビュー手段によって表示された複数の画像データのうち出力する画像データが選択された場合、前記原稿画像に対して、選択された画像データを作成するために必要なフレーム数のフレーム画像データを用いて補間処理を行い、読み取り時の解像度よりも高い解像度の画像データを作成する第２の高解像度変換手段、を有することを特徴とする。

本発明によれば、画像データを出力する際、出力する画像データに対して好適と判断された解像度に超解像度変換された画像データのプレビューを表示させることができる。このプレビューを確認することで、ユーザは満足のいく解像度の画像を選択することができる。また、選択されたプレビュー画像を出力する際、超解像処理を行うために必要なフレーム分の低解像度画像データのみを用いた処理を行うことが可能になるので、データ処理の負荷を抑制できる。

画像処理装置の概略図 画像処理装置１のコントローラ構成を示すブロック構成図 スキャナ画像処理部２１２の内部構成を示すブロック構成図 スキャナ部１１で取得される画像の一例 プリンタ画像処理部２１５の内部構成を示すブロック構成図 超解像処理モード設定処理を実施する動作の概略を説明するフローチャート ＲＯＭ２０３に格納されている対応テーブル 操作部１３に表示される超解像処理されたプレビュー画面の一例 超解像処理の概要を説明した模式図の一例 超解像処理の合成処理を説明した模式図の一例 部分領域抽出処理を実施する動作の概略を説明するフローチャート 部分領域抽出処理の概要を示す模式図の一例 実施例２の超解像処理モード設定処理を実施する動作のフローチャート 実施例２の空間周波数算出処理を実施する動作のフローチャート 実施例２の画像データ特徴属性抽出処理を実施する動作のフローチャート 部分領域抽出処理時の実効空間パワー・スペクトルと空間周波数との関係図 実施例２の部分領域抽出を実施する動作のフローチャート 実施例３の超解像処理モード設定処理を実施する動作のフローチャート 実施例３の操作部１３に表示される超解像処理されたプレビュー画面の一例 エリアセンサ及びそれによって得られる画像データを示した図 実施例５の超解像処理モード設定処理を実施する動作のフローチャート 実施例５のＲＯＭ２０３に格納されている対応テーブル 実施例５の操作部１３に表示される超解像処理されたプレビュー画面の一例 傾斜したエリアセンサ及びそれによって得られる画像データを示した図

以下、本発明を実施するための最良の形態について図面を用いて説明する。

本発明の実施形態について説明する。本実施例ではカラースキャナを有する画像処理装置を対象とし、エリアセンサを利用して複数の位相のずれた画像を取得して高解像度画像を作成する手法について説明する。
また、スキャナはカラー対応に限らず、モノクロ対応機でもよい。
また、１画素未満位相がずれた複数のフレーム分の画像データを取得できるなら、用いるセンサはエリアセンサに限らず、ラインセンサを用いてもよい。

このセンサについては図２０及び図２４を用いて後述する。

（画像処理装置の外観について）
画像処理装置１の外観を図１に示す。画像処理装置１は原稿画像を読み取るスキャナ部１１、読み取った画像データを再現するプリンタ部１２、画像処理装置１の各種動作設定を指定する操作部１３に分けられる。スキャナ部１１は、原稿上の画像を露光走査して得られた反射光をＣＣＤに入力することで画像の情報を電気信号に変換する。スキャナ部１１はさらに電気信号をＲ、Ｇ、Ｂ各色からなる輝度信号に変換し、当該輝度信号を画像データとして後ほど図２で説明するコントローラ２０に対して出力する。

なお、原稿は原稿フィーダ１５のトレイ１４にセットされる。ユーザが操作部１３から読み取り開始を指示すると、コントローラ２０からスキャナ部１１に原稿読み取り指示が与えられる。スキャナ部１１は、この指示を受けると原稿フィーダ１５のトレイ１４から原稿を１枚ずつフィードして、不図示の読み取りユニットを用いて原稿の読み取り動作を行う。なお、原稿の読み取り方法は原稿フィーダ１５による自動送り方式ではなく、原稿を不図示のガラス面上に載置し、露光部を移動させることで原稿の走査を行う方法であってもよい。

プリンタ部１２は、コントローラ２０から受取った画像データを用紙上に形成する画像処理デバイスである。なお、本実施例において画像処理方式は感光体ドラムや感光体ベルトを用いた電子写真方式となっているが、本発明はこれに限られることはない。例えば、微少ノズルアレイからインクを吐出して用紙上に印字するインクジェット方式などでも適用可能である。また、プリンタ部１２には、異なる用紙サイズ又は異なる用紙向きを選択可能とする複数の用紙カセット１７、１８、１９が設けられている。排紙トレイ１６には印字後の用紙が排出される。

（コントローラの詳細説明）
図２は、画像処理装置１のコントローラ２０の構成をより詳細に説明するためのブロック図である。

コントローラ２０はスキャナ部１１やプリンタ部１２と電気的に接続されており、一方ではＬＡＮ２１やＷＡＮ２２を介して外部の装置などと接続されている。これにより画像データやデバイス情報の入出力が可能となっている。ＣＰＵ２０１は、ＲＯＭ２０３に記憶された制御プログラム等に基づいて接続中の各種デバイスとのアクセスを統括的に制御すると共に、コントローラ内部で行われる各種処理についても統括的に制御する。

ＲＡＭ２０２は、ＣＰＵ２０１が動作するためのシステムワークメモリであり、かつ画像データを一時記憶するためのメモリでもある。このＲＡＭ２０２は、記憶した内容を電源ｏｆｆ後も保持しておくＳＲＡＭ及び電源ｏｆｆ後には記憶した内容が消去されてしまうＤＲＡＭにより構成されている。ＲＯＭ２０３には装置のブートプログラムなどが格納されている。ＨＤＤ２０４はハードディスクドライブであり、システムソフトウェアや画像データを格納することが可能となっている。

操作部Ｉ／Ｆ２０５は、システムバス２１０と操作部１３とを接続するためのインターフェース部である。この操作部Ｉ／Ｆ２０５は、操作部１３に表示するための画像データをシステムバス２１０から受取り操作部１３に出力すると共に、操作部１３から入力された情報をシステムバス２１０へと出力する。

ＮｅｔｗｏｒｋＩ／Ｆ２０６はＬＡＮ２１及びシステムバス２１０に接続し、情報の入出力を行う。Ｍｏｄｅｍ２０７はＷＡＮ２２及びシステムバス２１０に接続しており、情報の入出力を行う。２値画像回転部２０８は送信前の画像データの方向を変換する。２値画像圧縮・伸張部２０９は、送信前の画像データの解像度を所定の解像度や相手能力に合わせた解像度に変換する。なお圧縮及び伸張にあたってはＪＢＩＧ、ＭＭＲ、ＭＲ、ＭＨなどの方式が用いられる。画像バス２３０は画像データをやり取りするための伝送路であり、ＰＣＩバス又はＩＥＥＥ１３９４で構成されている。

スキャナ画像処理部２１２は、スキャナ部１１からスキャナＩ／Ｆ２１１を介して受取った画像データに対して、補正、加工、及び編集を行う。なお、スキャナ画像処理部２１２は、受取った画像データがカラー原稿か白黒原稿か、文字原稿か写真原稿かなどを判定する。そして、その判定結果を画像データに付随させる。こうした付随情報を属性データと称する。このスキャナ画像処理部２１２で行われる処理の詳細については後述する。

圧縮部２１３は画像データを受取り、この画像データを３２画素ｘ３２画素のブロック単位に分割する。なお、この３２×３２画素の画像データをタイルデータと称する。原稿（読み取り前の紙媒体）において、このタイルデータに対応する領域をタイル画像と称する。なおタイルデータには、その３２×３２画素のブロックにおける平均輝度情報やタイル画像の原稿上の座標位置がヘッダ情報として付加されている。さらに圧縮部２１３は、複数のタイルデータからなる画像データを圧縮する。伸張部２１６は、複数のタイルデータからなる画像データを伸張した後にラスタ展開してプリンタ画像処理部２１５に送る。

プリンタ画像処理部２１５は、伸張部２１６から送られた画像データを受取り、この画像データに付随させられている属性データを参照しながら画像データに画像処理を施す。画像処理後の画像データは、プリンタＩ／Ｆ２１４を介してプリンタ部１２に出力される。このプリンタ画像処理部２１５で行われる処理の詳細については後述する。

画像変換部２１７は、画像データに対して所定の変換処理を施す。この処理部は以下に示すような処理部により構成される。

伸張部２１８は受取った画像データを伸張する。圧縮部２１９は受取った画像データを圧縮する。回転部２２０は受取った画像データを回転する。変倍部２２１は受取った画像データに対し解像度変換処理（例えば６００ｄｐｉから２００ｄｐｉ）を行う。色空間変換部２２２は受取った画像データの色空間を変換する。この色空間変換部２２２は、マトリクス又はテーブルを用いて公知の下地飛ばし処理を行ったり、公知のＬＯＧ変換処理（ＲＧＢ→ＣＭＹ）を行ったり、公知の出力色補正処理（ＣＭＹ→ＣＭＹＫ）を行ったりすることができる。２値多値変換部２２３は受取った２階調の画像データを２５６階調の画像データに変換する。逆に多値２値変換部２２４は受取った２５６階調の画像データを誤差拡散処理などの手法により２階調の画像データに変換する。

合成部２２７は受取った２つの画像データを合成し１フレーム分の画像データを生成する。なお、２つの画像データを合成する際には、合成対象の画素同士が持つ輝度値の平均値を合成輝度値とする方法や、輝度レベルで明るい方の画素の輝度値を合成後の画素の輝度値とする方法が適用される。また、暗い方を合成後の画素とする方法の利用も可能である。さらに合成対象の画素同士の論理和演算、論理積演算、排他的論理和演算などで合成後の輝度値を決定する方法なども適用可能である。これらの合成方法はいずれも周知の手法である。間引き部２２６は受取った画像データの画素を間引くことで解像度変換を行い、１／２、１／４、１／８などの画像データを生成する。移動部２２５は受取った画像データに余白部分をつけたり余白部分を削除したりする。

ＲＩＰ２２８は、ＰＣなどから送信されたＰＤＬコードデータを元に生成された中間データを受取り、ビットマップデータ（多値）を生成し、これを圧縮部２２９にて圧縮する。

（スキャナ画像処理部２１２の詳細説明）
図３にスキャナ画像処理部２１２の内部構成を示す。

スキャナ画像処理部２１２はＲＧＢ各８ｂｉｔの輝度信号からなる画像データを受取る。この輝度信号は、マスキング処理部３０１によりＣＣＤのフィルタ色に依存しない標準的な輝度信号に変換される。

超解像処理部３０２は受取った画像データに対して超解像処理を実行する。なお、複写機や複合機では、超解像処理の処理モードをユーザから所定の操作を受け付けた操作部１３にて選択することができる。超解像処理の処理モードの詳細については後述する。

本実施形態ではエリアセンサを斜めに配置することによりＲＧＢチャンネル毎に主走査方向と副走査方向に対して位相がずれた複数の画像を取得することが可能となる。詳細は図２４を用いて後述する。

フィルタ処理部３０３は、受取った画像データの空間周波数を任意に補正する。この処理部は、受取った画像データに対して、例えば７×７のマトリクスを用いた演算処理を行う。ところで、複写機や複合機では、ユーザから所定の操作を受け付けた操作部１３にて、コピーモードとして文字モードや写真モードや文字／写真モードを選択することができる。ここでユーザから文字モードの選択を受け付けた操作部１３は、操作部Ｉ／Ｆ２０５を介してＣＰＵ２０１へ送信する。ＣＰＵ２０１はフィルタ処理部３０３で文字用のフィルタを画像データ全体にかける制御を実施する。また、写真モードが選択された場合には、写真用のフィルタを画像データ全体にかける。また、文字／写真モードが選択された場合には、後述の文字写真判定信号（属性データの一部）に応じて画素ごとに適応的にフィルタを切り替える。つまり、画素ごとに写真用のフィルタをかけるか文字用のフィルタをかけるかが決定される。なお、写真用のフィルタには高周波成分のみ平滑化が行われるような係数が設定されている。これは、画像のざらつきを目立たせないためである。また、文字用のフィルタには強めのエッジ強調を行うような係数が設定されている。これは、文字のシャープさを出すためである。

ヒストグラム生成部３０４は、受取った画像データを構成する各画素の輝度データをサンプリングする。より詳細に説明すると、主走査方向、副走査方向にそれぞれ指定した開始点から終了点で囲まれた矩形領域内の輝度データを、主走査方向、副走査方向に一定のピッチでサンプリングする。そして、サンプリング結果を元にヒストグラムデータを生成する。生成されたヒストグラムデータは、下地飛ばし処理を行う際に下地レベルを推測するために用いられる。入力側ガンマ補正部３０５は、テーブル等を利用して非線形特性を持つ輝度データに変換する。

カラーモノクロ判定部３０６は、受取った画像データを構成する各画素が有彩色であるか無彩色であるかを判定し、その判定結果をカラーモノクロ判定信号（属性データの一部）として画像データに付随させる。

文字写真判定部３０７は、画像データを構成する各画素が文字を構成する画素なのか、網点を構成する画素なのか、網点中の文字を構成する画素なのか、ベタ画像を構成する画素なのかを各画素の画素値と各画素の周辺画素の画素値とに基づいて判定する。なお、どれにもあてはまらない画素は、白領域を構成している画素である。そして、その判定結果を文字写真判定信号（属性データの一部）として画像データに付随させる。

（プリンタ画像処理部２１５の詳細説明）
図５にプリンタ画像処理部２１５の内部構成を示す。

下地飛ばし処理部５０１は、スキャナ画像処理部２１２で生成されたヒストグラムを用いて画像データの下地色を飛ばす（除去する）。

モノクロ生成部５０２はカラーデータをモノクロデータに変換する。Ｌｏｇ変換部５０３は輝度濃度変換を行う。このＬｏｇ変換部５０３は、例えば、ＲＧＢ入力された画像データを、ＣＭＹの画像データに変換する。

出力色補正部５０４は出力色補正を行う。例えばＣＭＹ入力された画像データを、テーブルやマトリックスを用いてＣＭＹＫの画像データに変換する。

出力側ガンマ補正部５０５は、この出力側ガンマ補正部５０５に入力される信号値と、複写出力後の反射濃度値とが比例するように補正を行う。

中間調補正部５０６は、出力するプリンタ部の階調数に合わせて中間調処理を行う。例えば、受取った高階調の画像データに対し２値化や３２値化などを行う。
なお、スキャナ画像処理部２１２やプリンタ画像処理部２１５における各処理部では、受取った画像データに各処理を施さずに出力させることも可能となっている。このような、ある処理部において処理を施さずにデータを通過させることを、以下では「処理部をスルーさせる」と表現することにする。

（エリアセンサの設置方法）
図２４（ａ）は、本実施例で使用するエリアセンサの構成を示す図である。同図において２４０１はエリアセンサデバイスを示している。２４０２はエリアセンサ２４０１における画素センサを示しており長辺方向にＨ画素、短辺方向にＬ画素の画素センサにより構成されている。

この１つ画素は、この１画素の画素センサを３等分してＲＧＢで構成されるカラー対応の画素センサであってもよい。また、Ｈ画素＝Ｌ画素（長辺＝短辺）としてもよい。このエリアセンサの解像度は画素センサ間の距離Ｎにより決定される。

高解像度のデジタルカメラに使用されているエリアセンサは、長辺方向画素センサ数、及び短辺方向画素センサ数として非常に多くの画素により構成されている。例えば、１，０００万画素クラスのデジタルカメラにおいては、長辺方向の画素センサとして３，８００画素、短辺方向の画素センサとして２，８００画素を有しているものがある。

一般的にエリアセンサをカメラ等に用いる際、エリアセンサは入力される画像データを２次元領域として捉え撮像する。つまり、１回の撮像において２次元に配列した画素センサを用いて撮像する。エリアセンサデバイスをスキャナ部１１へ装着する際には、撮像した原稿画像を横方向、縦方向に歪みのない画像データとするため、画素センサは傾斜なく配置される。したがって撮像された画像を再現した場合、斜め方向には一切のずれがないように配置する。例えば一般的なカメラ内にエリアセンサが取り付けられた場合、２４０３の黒枠で示すラインの画素センサで読み取る画像データは、撮像物の最上端部を構成する画像データとなる。この際、読み取られた画像データはラインを構成する方向に傾きがないものとなる。同様に、２４０４の黒枠で示すラインの画素センサで読み取る画像データは、２４０３で読み取った撮像物位置と異なる位置、すなわち垂直方向に下の位置の画像データである。よって、２４０５は２４０３で読み取った撮像位置よりも垂直方向にセンサ４つ分下の位置の画像データとなる。

このように、デジタルカメラのエリアセンサを用いる際、画像データを２次元領域として撮像するため、エリアセンサを構成する画素センサは全て撮像物の異なる位置を撮像していることとなる。

しかしながら、本実施例にて用いる装置におけるエリアセンサの使用方法は、前記デジタルカメラでの使用方法とは異なる。

まず、図２４（ａ）に示したエリアセンサをスキャナ部１１の基準となる設置位置に取り付ける。

図１における不図示の原稿台上にて、指定された位置に原稿画像を置いた時、原稿画像の下を原稿画像の縦方向と同じ方向に平行走行する光源から原稿画像に照射される光の反射光がセンサに集光される。この反射光がセンサに対して傾くことがないように取り込まれる。光源が平行走査されることで得る１ライン分の画像データとしての反射光は、図２４（ａ）に示すセンサの横方向（長辺方向）に平行に集光される。このため、センサはほぼ傾斜なく原稿画像を取り込むことができる位置に設置される。

このように原稿画像の出力を実現するためのセンサの設置位置をセンサの「基準となる設置位置」とする。本説明においては説明を簡略化するために、長辺方向に２０画素、短辺方向に１０画素の画素センサにより構成されているものとする。もちろん、長辺方向＝短辺方向となる構造であってもよい。なお、前記画素センサ数は本実施例におけるエリアセンサの用途及び構成の説明を行うためのものであり、図示した画素センサ数に制限されるものではない。実際には、デジタルカメラで使用されている画素センサ数で構成しても良いことは言うまでもない。

スキャナ部１１に実装したエリアセンサを含む読み取りユニット（不図示）を駆動させることにより、原稿台に載せられた原稿画像を読み取る。
つまり、画素センサの集まりである読み取りラインセンサ２４０４及び２４０５を、上述したラインセンサのように扱うことにより読み取り動作を行う。

次に、読み取りラインセンサ２４０４及び２４０５によって読み取られる原稿画像がどのようになるか説明する。

本説明において読み取りを行う原稿画像を図２４（ｂ）とする。同図において格子で示したものは、読み取りラインセンサ２４０４、あるいは２４０５を構成する画素センサの解像度に対応したものである。矢印（Ａ）で示す方向が主走査方向、矢印（Ｂ）で示す方向が副走査方向に対応する方向である。

読み取りユニットが駆動して、原稿台下を副走査方向に移動すると、読み取りラインセンサ２４０４及び２４０５に入力される画像データが、順次読み取られる。つまり、原稿画像のうち、読み取りユニットの位置に相当するライン幅に対応する部分が時々刻々と、読み取られる。

読み取りユニットが原稿台下を副走査方向へ移動すると図２４（ｂ）の原稿の上から下に矢印（Ｂ）で示す方向に沿って、読み取りユニットのライン幅分に相当する箇所に光源から光があたる。このとき、同時にラインセンサ２４０４とラインセンサ２４０５で読み取る画像データの読み取り位置にずれが発生する。これは、２つのラインセンサが短辺方向に物理的に距離をもって設置されているためである。

そして、読み取られる原稿画像は、読み取りラインセンサごと異なる画像データとして扱われ、時々刻々とライン幅分に相当する箇所毎に光が当てられることで読み取りが行われる。そして、最終的には原稿画像の全てに順に光源からの光が当てられ、各ラインセンサがそれぞれの位置にて画像データを読み取る。

すると、読み取られた画像データは、順にメモリに格納され、それぞれ図２４（ｃ）、（ｄ）に示すような副走査方向への１画素分のずれが生じた複数の画像データが取得できる。

この副走査方向へのずれをもった画像データはラインセンサの集合であるエリアセンサの本数分のフレーム画像データを得られることとなる。

このように、画像の読み取りに画素センサを２次元的に配置してエリアセンサとして用いると、１回の読み取り動作で副走査方向に連続して位相がずれたフレーム画像データが複数フレーム分得られる。
次に、本実施例にて用いる装置におけるエリアセンサの使用方法について述べる。

まず、図２４で示したエリアセンサを、スキャナ部１１において傾斜させて実装する。図２０（ａ）に、本実施例におけるエリアセンサの実装形態の一例を示す。２００１はエリアセンサデバイスを示している。２００２は画素センサを示しており、本説明においては長辺方向に２０画素、短辺方向に１０画素の画素センサにより構成されているものとする。

そして、エリアセンサを基準となる設置位置に対して傾斜させて実装する。つまり、図４（ａ）に示すように基準となる設置位置に設置されていた時、エリアセンサ内にて一番下に設置されていたラインセンサとの間に角度θをつけて設置する。

構成する画素センサの位置は、エリアセンサ左端上部を原点に、長辺方向をｘ方向、短辺方向をｙ方向として表すこととする。つまり、左端上部の座標は（ｘ，ｙ）＝（０，０）であり、右端上部の座標は（ｘ，ｙ）＝（１９，０）となる。同様に、左端下部の座標は（ｘ，ｙ）＝（０，９）、右端下部の座標は（ｘ，ｙ）＝（１９，９）となる。

２００３は、エリアセンサ２００１を構成する１ライン分の画素センサの集まりを示している。具体的には、長辺方向を構成する２０個の画素センサにより構成されている。

つまり、座標位置（０，４）、（１，４）、（２，４）、・・・・（１９，４）の画素センサで構成される。なお、以下の説明において、前記２００３で囲まれる複数の画素センサを読み取りラインセンサ２００３と称する。同様に２００４は、座標位置（０，５）、（１，５）、（２，５）、・・・・（１９，５）の画素センサで構成され、以下の説明において読み取りラインセンサ２００４と称する。

本実施例においては、スキャナ部１１に実装されたエリアセンサを含む読み取りユニットを副走査方向に駆動させることにより、原稿台上の原稿画像を読み取る。つまり、画素センサの集まりである読み取りラインセンサ２００３及び２００４を上述したように、ラインセンサのように扱うことにより読み取り動作を行う。

次に、読み取りラインセンサ２００３及び読み取りラインセンサ２００４によって読み取られる原稿画像がどのようになるかを説明する。本説明において読み取りを行う原稿画像を先述の図２４（ｂ）とする。また、同図において格子で示したものは、読み取りラインセンサ２００３、あるいは２００４を構成する画素センサの解像度に対応したものである。

原稿画像は前述したように読み取られるが、θ傾斜していることで、角度θ傾斜した画像データが得られる。エリアセンサが傾いていることで、ラインセンサ２００３、２００４は、図２０（ｂ）、（ｃ）に示すようなデータを取得する。これらはいずれも角度θ傾斜した画像データとして読み取られる。この時、図２０（ｂ）、（ｃ）の矢印（Ａ）に示す方向を主走査方向、矢印（Ｂ）に示す方向を副走査方向という。これに対して、矢印（Ｃ）に示した方向を読み取り画像データの横方向という。また、矢印（Ｄ）に示した方向を読み取り画像データの縦方向という。図２０（ａ）に示すように、読み取りラインセンサ２００３と読み取りラインセンサ２００４は、物理的に短辺方向に１画素センサ分ずれている。

したがって、読み取りラインセンサ２００３を構成する画素センサと、読み取りラインセンサ２００４を構成する画素センサには、短辺方向に対して位相ずれがある。

例えば、読み取りラインセンサ２００３の座標（ｘ，ｙ）＝（１５，４）に位置する画素センサと、読み取りラインセンサ２００４の座標（ｘ，ｙ）＝（１５，５）に位置する画素センサは、短辺方向であるｙ軸方向における位置はｙ＝１分ずれている。
そのずれは、副走査方向へΔβ分のずれをもたらす。

一方、長辺方向であるｘ軸方向における位置は全く同じｘ＝１５である。

しかし、傾斜角度θにより、基準となる設置位置における水平方向である主走査方向に対して、サブピクセル以内の微小量Δαだけ位相がずれたものとなる。

つまり、読み取りラインセンサ内において長辺方向であるｘ軸方向に同じ位置の画素センサであっても、エリアセンサを傾けることにより、微小単位の位相ずれが発生する。この位相ずれは傾斜角度に依存する。したがって、エリアセンサ内に定義した読み取りラインセンサで読み取った画像データは、ラインセンサ毎に、異なる位相ずれを持った画像データとなる。具体的には、図２０（ｂ）の読み取り画像データと図２０（ｃ）の読み取り画像データとは、副走査方向にΔβ分ずれるだけでなく、主走査方向にもΔα分だけ、位相がずれたものとなっている。

前記の説明においては、読み取りラインセンサが２つ（読み取りラインセンサ２００３、２００４）であることを前提にしたが、これに限られるものではない。

エリアセンサを構成する画素センサを、ｘ軸方向に増やすことで読み取りラインセンサを多数構成しても良い。つまり、読み取りラインセンサは、エリアセンサを構成するｘ軸方向に並ぶ画素数分設けることが可能である。読み取りラインセンサとして構成した数は、１回の読み取り動作によって得られるフレーム数と等しい。例えば、エリアセンサ内に、読み取りラインセンサを３０ライン分構成すれば、１回の読み取り制御にて、それぞれに固有の位相ずれを有する３０フレーム分の読み取り画像データを得ることが出来る。

エリアセンサを傾けることにより、１回の原稿画像の走査で、短辺方向に隣接したセンサが読み取る原稿画像の位置のずれが１画素未満である画像データを複数のフレーム分得ることができる。

また、エリアセンサの傾け方としては、長辺方向は、基準となる設置位置における水平方向と同じ方向で、短辺方向には、基準となる設置位置に対して傾斜させてもよい。この場合も、図２０（ａ）と同様に、１回の原稿画像の走査で、短辺方向に隣接したセンサが読み取る位置のずれが主走査方向及び／又は副走査方向に１画素未満であるフレーム画像データを得ることができる。つまり原稿画像に相対的に走査位置が平行に移動した結果、短辺方向に隣接した第１のセンサと第２のセンサ間で読み取る位置のずれが主走査方向及び／又は副走査方向に１画素未満であるフレーム画像データを得る複数のセンサからなるエリアセンサであればよい。

また、図２０（ａ）のθに示されるエリアセンサの傾斜角度は、１度の走査で短辺方向に隣接したセンサが読み取る原稿画像の位置のずれが主走査方向及び／又は副走査方向に１画素未満であるフレーム画像データを得ることができればよい。

さらに、原稿画像読取時の副走査方向の読取回数を多くし、単位時間あたりのサンプリング回数を増やすことで、センサの短辺方向において得られるフレーム画像データの取得数を増やすことができる。

（超解像処理の処理モード設定）
本発明において中心となる超解像処理の処理モード設定について詳細に説明する。

以下、１画面（フレーム）で構成される原稿画像を走査した際に読み取られたデータであり、この１画面（フレーム）分の原稿画像を構成するデータを「フレーム画像データ」という。なお、本実施形態では、原稿画像をエリアセンサで読み取った際には１００ｄｐｉ相当の低解像度のフレーム画像データが１００フレーム分取得可能な画像処理装置とする。また、超解像処理においては４フレーム分の低解像度のフレーム画像データで２００ｄｐｉの高解像度画像が生成可能とする。１０フレーム分の低解像度のフレーム画像データで３００ｄｐｉ高解像度画像が生成可能とする。４０フレーム分の低解像度のフレーム画像データで６００ｄｐｉ高解像度画像が生成可能とする。１００フレーム分の低解像度のフレーム画像データで１２００ｄｐｉの高解像度画像が生成可能とする。また、ここで使用する低解像度とは、１００ｄｐｉに限られてはおらず、装置が通常の印刷で出力する画像の解像度のことを表す。

また、スキャナ処理部２１２で受取った画像データには実際の原稿画像のビットマップ及び原稿画像の各画素単位の属性を表す属性データが含まれており、テキスト、グラフィックス、イメージの３種類の属性を現すこととする。

図６は超解像処理モード設定処理を実施する動作の概略を説明するための図である。図６に示す処理を実現する制御プログラムは、上述したようにＲＯＭ２０３に格納されており、ＣＰＵ２０１により実行される。

まず、ステップＳ６０１においてスキャナ部１１で原稿読取を実施後、スキャナＩ／Ｆ２１１を介してスキャナ画像処理部２１２をスルーしてＨＤＤ２０４に格納する。次に、操作部１３で表示するプレビュー画面の物理解像度ＰＲＥＳを取得する（ステップＳ６０２）。次に、プレビューカウンタＯＣＮＴ＝０に初期化し（ステップＳ６０３）、超解像処理カウンタＣＮＴ＝０に初期化を実施する（ステップＳ６０４）。

次にステップＳ６０５においてスキャナ部１１によって入力された１フレーム目の入力画像をＨＤＤ２０４から読み出す。そして各画素の属性を判断し、イメージ属性を有する画素の数、テキスト属性を有する画素の数、グラフィック属性を有する画素の数をカウントする。この結果、最大の画素数を有する属性を入力画像の特徴を示す属性情報とする。（ステップＳ６０６）。この属性を有する画像に適した解像度の決定を行い、この解像度を有する出力画像を作成するために、以下の処理を行う。

次に、ステップＳ６０６で取得した属性情報がイメージ属性であった場合（ステップＳ６０７）、プレビューカウンタＯＣＮＴ＝２に設定後（ステップＳ６０８）、プレビューカウンタＯＣＮＴを１デクリメントする（ステップＳ６０９）。１デクリメントすることにより、プレビュー時に属性に適した解像度よりも一段階低い解像度を有する出力画像のプレピューを表示することができる。

次に、超解像処理カウンタＣＮＴを閾値３と比較する（ステップＳ６１０）。本実施例では操作部１３で表示するプレビュー画像データは３種類の超解像処理を実施するため、閾値３とする。ステップＳ６１０で超解像処理カウンタＣＮＴが閾値３より小さいと判断された場合にはプレビューカウンタＯＣＮＴに対応した低解像度のフレーム画像データのフレーム数ＳＩＣＮＴを取得する（ステップＳ６１１）。本実施形態では出力解像度に対応するプレビューカウンタＯＣＮＴ及びフレーム数ＳＩＣＮＴの対応情報テーブルがＲＯＭ２０３に格納されている。

図７はＲＯＭ２０３に格納されている、出力解像度とＯＣＮＴ及びＳＩＣＮＴの対応テーブルを示したものである。

例えば、プレビューカウンタＯＣＮＴ＝２の場合、出力解像度は３００ｄｐｉが好ましく、この出力解像度の画像を取得するには、１０フレーム分の低解像度のフレーム画像データが必要となる。

この対応テーブルにて設定された解像度は、１００、２００、３００、６００、１２００ｄｐｉと段階的に設定されている。

イメージ属性の画像、テキスト属性の画像、グラフィックス属性の画像を出力する際に適した解像度は、この段階的に設定された値をとることが経験的に分かっている。

また、ある属性を有する画像を出力する際に好適な解像度は人の目の性質によって経験的に決まっている。例えば入力された画像の属性がＴＥＸＴ（ＯＣＮＴ＝４）と判定された場合、人の目の性質を鑑みると高解像画像で出力した方が認識しやすい。よってまず、好適な出力解像度を６００ｄｐｉと自動的に判断する。一方、画像の属性がＩＭＡＧＥ（ＯＣＮＴ＝２）と判断された場合は、高い解像度を必要としない。よってまず、好適な出力解像度を２００ｄｐｉと自動的に判断する。

また、この対応テーブルは予めデバイスの性能等によって設定されている。よって、１００枚分のフレーム画像データを用いて、６００ｄｐｉの画像しか作成できないデバイスや４０枚分のフレーム画像データを用いて１２００ｄｐｉの画像を作成できるデバイスを用いる場合、この対応関係が異なることは言うまでもない。

また、この対応はユーザによって変更されてもよい。次に、ステップＳ６１１で取得したフレーム分の低解像度画像のフレーム画像データで着目した部分領域に対して超解像処理（第１の高解像度変換処理）を実施する（ステップＳ６１２）。そしてプレビュー画面の物理解像度ＰＲＥＳＳに解像度変換して画像を保存する（ステップＳ６１３）。部分領域抽出方法に関しては後述する。なお、プレビュー画面の物理解像度ＰＲＥＳＳに解像度変換する方法は単純間引きでもフィルタ処理による解像度変換でもかまわない。

次に、プレビューカウンタＯＣＮＴを１インクリメントし（ステップＳ６１４）、超解像処理カウンタＣＮＴを１インクリメントして（ステップＳ６１５）、ステップＳ６１０に戻る。

そして、Ｓ６１１では、１インクリメントされた超解像処理カウンタＯＣＮＴの値に応じて、図７の対応テーブルにおいて前回よりも１段階高い解像度と、その解像度を実現させるためのフレーム数ＳＩＣＮＴが決定する。この決定されたフレーム数を用いて上述したＳ６１３〜Ｓ６１５の処理を行う。Ｓ６１１〜Ｓ６１５の処理を３回繰り返すことで、プレビューを行う画像の解像度を複数決定し、その解像度を有する画像を出力するためのフレーム画像データのフレーム数を複数決定する。そして、これらを用いて超解像処理を行うことで、３種類のプレビュー画像を作成する。

一方、ステップＳ６１０で超解像処理カウンタＣＮＴが閾値３より大きいと判断された場合には３種類のプレビュー用超解像処理が終了したと判断する。そして操作部１３の表示部にこの３種類のプレビュー画面を表示する（ステップＳ６１６）。その際に、ステップＳ６１１で取得したフレーム数ＳＩＣＮＴと、処理に必要な画像データサイズを合わせて表示する。処理に必要な画像データサイズは、低解像度のフレーム画像データ１フレーム分のデータサイズをＡ（Ｂｙｔｅ）とすると、Ａ×ＳＩＣＮＴ（Ｂｙｔｅ）となる。

図８はユーザが操作部１３上で超解像処理されたプレビュー画面から出力画像を設定する一例を示した模式図であり、８０１が入力原稿、８０２が実際に超解像処理のプレビュー表示を実施した操作部１３の画面の選択画面である。図８ではイメージの属性情報が最大であった場合を示している。

８０２に含まれる８０４が示すＳｅｔ１は、ＯＣＮＴが一番大きい値の場合、つまりＯＣＮＴ＝３の場合のプレビューを示す。このときの出力解像度は６００ｄｐｉであり、ＳＩＣＮＴは４０フレームである。左から順に入力画像のイメージ部分、テキスト部分、グラフィックス部分のそれぞれの一部分を解像度６００ｄｐｉで出力した場合のプレビューを示している。また、８０７はＳｅｔ１で出力を行う場合のデータを示している。例えば、出力解像度や、データサイズ等が示されている。

同様に８０５が示すＳｅｔ２は、ＯＣＮＴ＝２の場合のプレビューを示す。また８０８はＳｅｔ２で出力を行う場合のデータを示す。８０６が示すＳｅｔ３はＯＣＮＴ＝１の場合のプレビューを示す。また８０９はＳｅｔ３で出力を行う場合のデータを示す。

このように、属性によって決定された好適な解像度の画像と、好適な解像度よりも１段階低いの解像度の画像と、好適な解像度よりも１段階高い解像度の画像をプレビューする。そして作成されたプレビューから、好ましい画像をユーザが選択することができる。
１段階高い解像度とは、図７にて段階的設定されている解像度のうち、解析の結果、好適とされた解像度よりも１段階高い解像度である。この１段階は、上述したように予め経験的に設定されている値である。
１段階低い解像度も同様に、図７にて段階に設定されている解像度のうち、解析の結果、好適とされた解像度よりも１段階低い解像度であり、この１段階は、上述したように予め経験的に設定されている値である。
これにより、自動的に好適と解析された解像度を有する画像に対して、ユーザが満足を得られない場合であっても、他の解像度を有する画像のプレビューも確認し、ユーザ自身が出力画像を選択することができる。図８では、ユーザによって選択画面８０２からＳｅｔ２を選択するためにＳｅｔ２が指示されている。

次に、ステップＳ６１７でユーザからプレビュー画像の選択を受け付けた操作部１３は操作部Ｉ／Ｆ２０５を介してＣＰＵ２０１へプレビューカウンタＯＣＮＴに対応したフレーム数ＳＩＣＮＴを取得し、最大取得フレーム数１００と比較する（ステップＳ６１８）。ステップＳ６１８でフレーム数ＳＩＣＮＴが最大取得フレーム数１００より小さいと判断された場合には余剰な読取画像データを削除する（ステップＳ６１９）。次に、ステップＳ６２０で全画像データに対して超解像処理（第２の高解像度変換処理）を実行し、処理を終了する。

一方、ステップＳ６０６で取得した属性情報がグラフィックス属性であった場合（ステップＳ６２１）、プレビューカウンタＯＣＮＴ＝３に設定後（ステップＳ６２２）、ステップＳ６０９へ進む。

一方、ステップＳ６０６で取得した属性情報がテキスト属性であった場合、プレビューカウンタＯＣＮＴ＝４に設定後（ステップＳ６２３）、ステップＳ６０９へ進む。このように入力画像の大部分がイメージ属性の画像の場合よりも、グラフィック属性画像やテキスト属性画像である方が高い出力解像度を必要とするため、プレビューカウンタＯＣＮＴの数値も大きくなる。

（原稿読取処理）
図６のステップＳ６１１で説明した原稿読取処理について詳細に説明する。本実施形態では先述したようなエリアセンサを用いて、このセンサの使用エリアを制御することにより取得フレーム数を決定する。

図２０において先述したエリアセンサを、副走査方向に１００分割し、分割されたそれぞれのエリアセンサを１本のラインセンサとして扱い、１００ｄｐｉの画像を最大１００フレーム分取得することを可能としている。

（超解像処理について）
超解像処理では図４に示したようなＲＧＢチャンネル毎に主走査方向と副走査方向に対して１画素未満の位相がずれた複数の低解像度画像のフレーム画像データを利用して高解像度の画像データを生成するものである。また、原稿画像にて読み取られる画素の位置を「位相」と言う。また、この位相がずれることを「位相がずれる」と言い、読み取り画素のずれを「位相ずれ」と言う。

例えば、超解像処理における基準画像に対して、連続する複数の画像から、基準画像に対するずれ量が超解像処理に必要な画素データの位置に近いものを抽出して、補間処理後に合成処理を実施することで高解像度のデータを得ることができる。

４０１〜４０４は４画像データを用いて１／２画素ずつづらした画像の一例であり、この画像を用いて４０５に示すような元の画像に対して４倍の画素密度を有する高解像画像を得ることが可能になる。

上述したような超解像処理に関して、図９、図１０を用いてさらに詳細に説明する。

図９は超解像処理に用いる低解像度画像と超解像処理後の画像を示す図である。図９では原稿と原稿をエリアセンサで読み取られて得られた基準低解像度画像Ｆ０と対象低解像度画像Ｆ１〜Ｆ３を示している。原稿を囲む点線矩形は基準低解像度画像Ｆ０をエリアセンサで読み取った際の領域を示し、実線矩形は対象低解像度画像Ｆ１〜Ｆ３のそれぞれをエリアセンサで読み取った際の領域を示す。

本実施形態では、主走査方向のずれ量を「ｕｍ」、副走査方向のずれ量を「ｖｍ」とそれぞれ表す。また、対象低解像度画像Ｆｎ（ｎ＝１〜３）についてのこれらのずれ量を「ｕｍｎ」、「ｖｍｎ」と表す。例えば、図９に示すように、対象低解像度画像Ｆ１は、基準低解像度画像Ｆ０に対して、副走査方向のずれが生じており、そのずれ量は、ｕｍ１、ｖｍ１と表される。同様に対象低解像度画像Ｆ２、Ｆ３についてもずれ量ｕｍ２，ｖｍ２およびｕｍ３，ｖｍ３と表される。

各対象低解像度画像Ｆｎ（ｎ＝１〜３）についてのずれ量ｕｍｎ，ｖｍｎは基準低解像度画像Ｆ０の画像データと対象低解像度画像Ｆ１〜Ｆ３の画像データとに基づき算定される。算定にはあらかじめＲＯＭ２０３に記憶されたエリアセンサの傾き情報による所定の算出が用いられる。

本実施形態では図９において明確化のため各対象低解像度画像のずれは１画素単位であるものとして示しているが、実際のエリアセンサによる読み取りにおいては主走査方向と副走査方向に対して１画素未満の位相ずれが生じている。この微小なずれを利用することで高解像度化が可能となる。

従って、生成する超解像処理画像を構成する各画素（以下「生成画素」という）のうち基準低解像度画像および対象低解像度画像のいずれにも存在しない画素が存在する。このような画素については、その生成画素の周辺に存在する画素の画素値を表す画素データを用いて、所定の補間処理を行うことにより、合成を行いつつ高解像度化を行う。補間処理としては、バイ・リニア法、バイ・キュービック法、ニアレストレイバ法等の補間処理を用いることができる。この処理を、図１０を用いて説明する。

例えば、バイ・リニア法による補間処理を用いる場合、まず、基準低解像度画像および対象低解像度画像から、生成画素１００１の位置に最も近い距離にある最近傍画素１００２を抽出する。そして、対象低解像度画像から生成画素位置を囲む４つの画素を周辺画素１００２〜１００５として決定し、周辺画素のデータ値に所定の重み付けを加えた値を平均化して、式１により生成画素のデータ値を得る。

・・・（式１）

以上の処理を各生成画素位置について繰り返すことにより、例えば、図９に示す解像度が２倍の超解像度画像を得ることができる。なお、解像度は２倍に限らず、種々の倍率とすることができる。また、補間処理に複数の低解像度画像のデータ値を用いるほど、高精細な超解像画像を得ることができる。

（部分領域抽出処理）
図６のステップＳ６１２で説明した部分領域に対して超解像処理を実施する際の部分領域抽出処理について詳細に説明する。部分領域のみをプレビューすることで、全領域をプレビューする場合よりも処理効率が上がる。またプレビューを見たユーザが出力画像の品質がわかる程度に表示されていればよいので、部分領域のみプレビューできればよい。この部分領域には、画像の特徴的な領域を選択する。この特徴部分の選択方法について、以下説明する。本実施例ではスキャナ部１１からスキャナＩ／Ｆ２１１を介して受取った１フレーム分の低解像度のフレーム画像データに対して、ブロック毎に各画素の属性値を算出する。その結果をブロック毎に評価することで各属性値が最大値を有するブロックをそれぞれ抽出して、全画像データから各属性に対しプレビューする部分領域を決定する。

図１１は部分領域抽出を実施する動作の概略を説明するための図である。図１１に示す処理を実現する制御プログラムは、上述したようにＲＯＭ２０３に格納されており、ＣＰＵ２０１により実行される。なお、本実施例では画像データをＮ×Ｍブロックに分割して部分領域抽出を実施することとする。

まず、ステップＳ１１０１で主走査カウンタＸ，副走査カウンタＹをそれぞれ初期化し、副走査カウンタＹを閾値Ｍと比較する（ステップＳ１１０２）。ステップＳ１１０２で副走査カウンタＹが閾値Ｍより小さいと判断された場合には、主走査カウンタＸを閾値Ｎと比較する（ステップＳ１１０３）。ステップＳ１１０３で主走査カウンタＸが閾値Ｎより小さいと判断された場合には、ブロック領域ＩＤｘｙを抽出する（ステップＳ１１０４）。

次に、ステップＳ１１０４で抽出したブロック領域ＩＤｘｙ中に含まれる属性データから各画素単位に各属性値の数を算出する（ステップＳ１１０５）。この処理により、ブロック領域ＩＤｘｙに対応するイメージ属性値、グラフィック属性値、テキスト属性値のヒストグラムが生成される。

次に、主走査カウンタＸを１インクリメントし（ステップＳ１１０７）、ステップＳ１１０３に戻る。一方、ステップＳ１１０３で主走査カウンタＸが閾値Ｎより大きいと判断された場合には、副走査カウンタＹを１インクリメントし（ステップＳ１１０８）、ステップＳ１１０２に戻る。一方、ステップＳ１１０２で副走査カウンタＹが閾値Ｍより大きいと判断された場合には、全てのブロックを処理したと判断し、Ｎ×Ｍブロック中でイメージ属性値が最大であるブロック領域ＩＤｘｙを選択する（ステップＳ１１０９）。同様にステップＳ１１１０、Ｓ１１１１にてそれぞれＮ×Ｍブロック中でグラフィックス属性値が最大であるブロック領域ＩＤｘｙ及びテキスト属性値が最大であるブロック領域ＩＤｘｙを選択して、処理を終了する。

図１２（ａ）、（ｂ）は上述した処理の概要を示した図である。図１２（ａ）の画像データ１２０１に対応する図１２（ｂ）の属性データ１２０３に対して、Ｎ×Ｍブロックに分割したブロック領域ＩＤｘｙ１２０２毎に属性値のヒストグラムを算出する。

つまり、全ブロックのうち、テキスト属性を示す画素を最も多く含むもの、イメージ属性を示す画素を最も多く含むもの、グラフィック属性を示すガ素を最も多く含むものがどれか判定する。本実施例では、ブロック領域１２０４がイメージ属性値最大であるブロック領域、１２０５がグラフィックス属性値最大であるブロック領域、１２０６がテキスト属性値最大であるブロック領域として抽出される。

以上の処理により、入力画像データの属性情報を判定して画像データの特徴を抽出し、自動的に抽出された特徴を持つ画像を出力するために好適な解像度を判定する。そして判定された解像度で画像を出力するために超解像度変換した場合、及びその１段階高い解像度と１段階低い解像度でこの画像を出力するために超解像度変換した場合に対応する出力画像の部分領域のプレビュー表示をすることが可能となる。

合わせてデータ量を表示することによりユーザは簡単に求めていた画像の品質とデータ量を鑑みて好適な超解像出力を得ることが可能となる。

実施例１においては、入力画像データの属性情報から画像データの特徴を抽出し、自動的に好適な解像度を持つように超解像処理で処理された部分領域処理のプレビュー表示を実施した。本実施例では、入力画像データの周波数特性から画像データの特徴を抽出する場合について説明する。

本実施形態においては、画像データ全体に対して空間周波数特性を算出する。その周波数特性に対して特に高周波成分が多い画像データに関しては、その画像データ中にテキスト属性を有する画像が１番大きな領域を占めていると判断し、テキスト属性を最大属性値とする。同様に、低周波成分が多い画像データに関しては、その画像データ中にイメージ属性を有する画像が１番大きな領域を占めていると判断し、イメージ属性を最大属性値として処理をするものである。このようにして、入力画像データの属性情報を取得する。

なお、実施例１と同様の処理については同様の記号を図示し、概略説明を省略する。

図１３は超解像処理モード設定処理を実施する動作の概略を説明するための図である。

図１３に示す処理を実現する制御プログラムは、上述したようにＲＯＭ２０３に格納されており、ＣＰＵ２０１により実行される。なお、ステップＳ１３０１からＳ１３０４までの処理、ステップＳ１３０８からステップＳ１３２０までの処理、及びステップＳ１３２２、Ｓ１３２３の処理は実施例１の図６で説明した動作と同様である。
ステップＳ１３０５ではステップＳ１３０４においてスキャナ部１１で取得された１枚目の入力画像の空間周波数を算出する。この算出処理については後述する。

次にステップＳ１３０５で入力画像の最大パワースペクトラムＲＦｑを算出する。

次に、ステップＳ１３０６で取得した最大パワースペクトラムＲＦｑを属性判定閾値と比較することで判定した結果、イメージ属性であった場合（ステップＳ１３０７）、プレビューカウンタＯＣＮＴ＝２に設定する（ステップＳ１３０８）。次に、プレビューカウンタＯＣＮＴを１デクリメントする（ステップＳ１３０９）。

一方、ステップＳ１３０６で取得した最大パワースペクトラムＲＦｑを属性判定閾値と比較することで判定した結果、グラフィックス属性であった場合（ステップＳ１３２１）、プレビューカウンタＯＣＮＴ＝３に設定する。その後（ステップＳ１３２２）、ステップＳ１３０９へ進む。

一方、ステップＳ１３０６で取得した最大パワースペクトラムＲＦｑを属性判定閾値と比較することで判定した結果、テキスト属性であった場合、プレビューカウンタＯＣＮＴ＝４に設定（ステップＳ１３２３）する。その後、ステップＳ１３０９へ進む。

（入力画像の空間周波数算出）
図１３のステップＳ１３０５で説明した入力画像の空間周波数算出処理について詳細に説明する。本実施例ではスキャナ部１１からスキャナＩ／Ｆ２１１を介してスキャナ画像処理部２１２をスルーしてＨＤＤ２０４に格納した１フレーム分の低解像度フレーム画像データに対して、空間周波数を算出する。

図１４は空間周波数算出処理を実施する動作の概略を説明するための図である。図１４に示す処理を実現する制御プログラムは、上述したようにＲＯＭ２０３に格納されており、ＣＰＵ２０１により実行される。

図１４において、まず主走査方向カウンタｘ、副走査方向カウンタｙの初期化処理を行い（Ｓ１４０１）、副走査方向カウンタｙが画像データの高さＮより大きいか否かを判定する（Ｓ１４０２）。ステップＳ１４０２で副走査方向カウンタｙが画像データの高さＮより小さいと判断された場合には、主走査方向カウンタｘが画像データの幅Ｍより大きいか否かを判定する（Ｓ１４０３）。ステップＳ１４０３で主走査方向カウンタｘが画像データの幅Ｍより小さいと判断された場合には画像座標（ｘ、ｙ）における空間周波数Ｆ（ｕ，ｖ）を以下の式１により算出する（Ｓ１４０４）。

なお、ＭとＮは、実際に描画される範囲を規定する数値である。式２は２次元空間における離散フーリエ変換を行っている。なお、画像データサイズが大きい場合、低周波成分が大きくなり演算精度を上げる必要が出てくるため、その場合には画像データ幅Ｍ及び高さＮをクリップする。

・・・（式２）

次に、主走査方向カウンタｘを１インクリメントし（Ｓ１４０５）、Ｓ１４０３へ戻る。
一方、Ｓ１４０３において主走査方向カウンタｘが幅Ｍより大きいと判断された場合には、副走査方向カウンタｙを１インクリメントし（Ｓ１４０６）、Ｓ１４０２へ戻る。
一方、Ｓ１４０２において副走査方向カウンタｙが高さＮより大きいと判断された場合には、画像データの全データに対する空間周波数算出が終了したと判断し、処理を終了する。

（入力画像の最大パワースペクトラム算出及び画像データ特徴属性抽出）
図１３のステップＳ１３０６で説明した入力画像の周波数成分を示す最大パワースペクトラム算出処理について詳細に説明する。本実施例では図１４で説明した入力画像の空間周波数と実効パワースペクトラムの閾値から、画像データの特徴を示すイメージ、グラフィックス、テキスト属性を決定する。

図１５は入力画像の画像データ特徴属性抽出処理を実施する動作の概略を説明するための図である。図１５に示す処理を実現する制御プログラムは、上述したようにＲＯＭ２０３に格納されており、ＣＰＵ２０１により実行される。

図１５において、まず、ステップＳ１５０１で実効空間座標カウンタｉを１に初期化し、実効空間座標カウンタｉが実効空間距離ＲＦより大きいか否かを判定する（Ｓ１５０２）。ここでＲＦは実効空間距離の最大値を示し、式３により算出する。

・・・（式３）

次に、Ｓ１５０２で実効座標カウンタｉが実効空間距離ＲＦより小さいと判断された場合には、実効座標ｉにおける実効空間パワースペクトラムＲＦｑを以下の式により算出する（Ｓ１５０３）。

次に、Ｓ１５０３で算出された実効空間パワースペクトラムＲＦｑが属性判定閾値ＴＨＤより大きいか否かを判定する（Ｓ１５０４）。
ステップＳ１５０４において、実効空間パワースペクトラムＲＦｑが属性判定閾値ＴＨＤより大きいと判断された場合には、実効座標カウンタｉが図形属性判定閾値ＲＦｉｍａｇｅより大きいか否かを判定する（Ｓ１５０５）。
ステップＳ１５０５において、実効座標カウンタｉが図形属性判定閾値ＲＦｉｍａｇｅより小さいと判断された場合には、イメージカウンタｉｃｎｔを１インクリメントする（ステップＳ１５０６）。その後、実効座標カウンタｉを１インクリメントして（ステップＳ１５０７）、ステップＳ１５０２に戻る。

一方、ステップＳ１５０５において実効座標カウンタｉが図形属性判定閾値ＲＦｉｍａｇｅより大きいと判断された場合には、テキスト属性判定閾値ＲＦｇｒａｐｈｉｃより大きいか否かを判定する（Ｓ１５０８）。
ステップＳ１５０８において、実効座標カウンタｉがテキスト属性判定閾値ＲＦｇｒａｐｈｉｃより小さいと判断された場合には、グラフィックスカウンタｇｃｎｔを１インクリメントして（ステップＳ１５０９）、ステップＳ１５０７へ戻る。

一方、ステップＳ１５０８において、実効座標カウンタｉがテキスト属性判定閾値ＲＦｇｒａｐｈｉｃより大きいと判断された場合には、テキストカウンタｔｃｎｔを１インクリメントして（ステップＳ１５１０）、ステップＳ１５０７へ戻る。

一方、ステップＳ１５０４において実効空間パワースペクトラムＲＦｑが属性判定閾値ＴＨＤより小さいと判断された場合には、ステップＳ１５０７へ戻る。

一方、ステップＳ１５０２で実効座標カウンタｉが実効空間距離ＲＦより大きいと判断された場合には、グラフィックスカウンタｇｃｎｔ、テキストカウンタｔｃｎｔ、イメージカウンタｉｃｎｔの最大値がｇｃｎｔであるか否かを判定する（ステップＳ１５１１）
ステップＳ１５１１でグラフィックスカウンタｇｃｎｔ、テキストカウンタｔｃｎｔ、イメージカウンタｉｃｎｔの最大値を求める。
ステップＳ１５１１で最大値がグラフィックスカウンタｇｃｎｔであると判断された場合には、実効パワースペクトラムＲＦｑによる特徴属性をグラフィックスと判断し（ステップＳ１５１２）、処理を終了する。

一方、ステップＳ１５１１で最大値がグラフィックスカウンタｇｃｎｔでないと判断された場合には、最大値がテキストカウンタｔｃｎｔであるか否かを判定する（ステップＳ１５１３）。
ステップＳ１５１３で最大値がグラフィックスカウンタｔｃｎｔであると判断された場合には、実効パワースペクトラムＲＦｑによる特徴属性をテキストと判断し（ステップＳ１５１４）、処理を終了する。

一方、ステップＳ１５１３で最大値がテキストｇｃｎｔでないと判断された場合には、実効パワースペクトラムＲＦｑによる特徴属性をイメージと判断し（ステップＳ１５１５）、処理を終了する。

図１６（ａ）〜（ｃ）は上記処理を行った際の実効空間パワー・スペクトル（ｙ軸）と空間周波数（ｘ軸）との関係を示した図である。図１６（ａ）の１６０１は、グラフィックス属性に設定されるケースである。図１６（ｂ）の１６０２は、テキスト属性に設定されるケースである。図１６（ｃ）の１６０３は、イメージ属性に設定されるケースである。これにより画像データの空間周波数特性を利用して高周波特性が多い画像に関してはテキスト属性、低周波特性が多い画像についてはイメージ属性、その他はグラフィック属性とすることが可能となる。

（部分領域抽出処理）
図１３のステップＳ１３１１で説明した部分領域に対して、超解像処理を実施する際の部分領域抽出処理について詳細に説明する。本実施例ではスキャナ部１１からスキャナＩ／Ｆ２１１を介して受取った１フレーム分の低解像度画像データに対して、ブロック毎に各画素の周波数特性から属性値を算出することにより各属性値の最大値を有するブロックを抽出して、部分領域を決定する。

図１７は部分領域抽出を実施する動作の概略を説明するための図である。図１７に示す処理を実現する制御プログラムは、上述したようにＲＯＭ２０３に格納されており、ＣＰＵ２０１により実行される。

なお、本実施例では画像データをＮｘＭブロックに分割して部分領域抽出を実施することとする。また、ステップＳ１７０１からＳ１７０４までの処理、ステップＳ１７０８からステップＳ１７１２までの処理は実施例１の図１１で説明した動作と同様である。

ステップＳ１７０５ではステップＳ１７０４で抽出したブロック領域ＩＤｘｙ中に含まれる画像データに対して空間周波数を算出する。空間周波数の算出方法は図１４で説明した動作と同様であるため、説明を省略する。

次に、ステップＳ１７０５で算出したブロック領域ＩＤｘｙの各属性値の数を算出する（ステップＳ１７０７）。この処理は図１５で説明した最大パワースペクトラム算出及び画像データ特徴属性抽出の動作である、ステップＳ１５０１からステップＳ１５１０までの動作を実施することで算出することが可能である。

以上の処理により、入力画像データの空間周波数から画像データの特徴を抽出し、自動的に抽出された特徴を持つ画像を出力するために好適な解像度を判定する。そして判定された解像度で入力画像を出力するために超解像度変換した場合、及びその上下１段階のレベル異なる解像度で入力画像を出力するために超解像度変換した場合に対応した出力画像の部分領域のプレビュー表示をすることが可能となる。

合わせてデータ量を表示することによりユーザは簡単に求めていた画像の品質とデータ量を鑑みて好適な超解像出力を得ることが可能となる。

本実施例では超解像処理画像のプレビューを使用するデータ量の少ない順番に随時プレビュー表示を実施する場合について説明する。なお、実施例１と同様の処理については同様の記号を図示し、概略説明を省略する。

図１８は超解像処理モード設定処理を実施する動作の概略を説明するための図である。図１８に示す処理を実現する制御プログラムは、上述したようにＲＯＭ２０３に格納されており、ＣＰＵ２０１により実行される。

まず、ステップＳ１８０１においてスキャナ部１１で原稿読取を実施後、操作部１３で表示するプレビュー画面の物理解像度ＰＲＥＳを取得する（ステップＳ１８０２）。次に、プレビューカウンタＯＣＮＴ＝０に初期化を実施する（ステップＳ１８０３）。

次に、ステップＳ１８０４でプレビューカウンタＯＣＮＴを閾値４と比較する。本実施例では操作部１３で表示するプレビュー画像データは最大４段階までの超解像処理を実施するため、閾値４とする。ステップＳ１８０４でプレビューカウンタＯＣＮＴが閾値４より小さいと判断された場合には、プレビューカウンタＯＣＮＴに対応したフレーム数ＳＩＣＮＴを取得する（ステップＳ１８０５）。本実施形態では、先述した図７に示すように出力解像度に対応するプレビューカウンタＯＣＮＴ及びフレーム数ＳＩＣＮＴの対応情報テーブルがＲＯＭ２０３に格納されている。次に、ステップＳ１８０５で取得したフレーム数の低解像度画像のフレーム画像データを用いて超解像処理を実施し（ステップＳ１８０６）、プレビュー画面の物理解像度ＰＲＥＳＳに解像度変換して操作部１３のプレビュー画面に表示する（ステップＳ１８０７）。その際に、ステップＳ１８０５で取得した低解像度画像のフレーム画像データのフレーム数ＳＩＣＮＴと、処理に必要な画像データサイズを合わせて表示する。処理に必要な画像データサイズは、１フレーム分の低解像度フレーム画像データをＡ（Ｂｙｔｅ）とすると、Ａ×ＳＩＣＮＴ（Ｂｙｔｅ）となる。このように、超解像処理後の画像データを１枚ずつ順にプレビュー表示する。

次に、ステップＳ１８０７で操作部に表示したプレビュー画像で超解像処理を実施するか否かを判断する（ステップＳ１８０８）。ステップＳ１８０８でユーザから超解像処理を実施ＯＫのボタン選択を受け付けた場合には、操作部１３は操作部Ｉ／Ｆ２０５を介してＣＰＵ２０１へプレビューカウンタＯＣＮＴに対応したフレーム数ＳＩＣＮＴを取得する（ステップＳ１８０９）。そして最大取得フレーム数１００と比較する（ステップＳ１８１０）。ステップＳ１８１０でフレーム数ＳＩＣＮＴが最大取得枚数１００より小さいと判断された場合には余剰な読取画像データを削除して（ステップＳ１８１１）、処理を終了する。

一方、ステップＳ１８０８でユーザから超解像処理を次のレベルの画像品質を実施する旨のボタン選択を受け付けた場合には、プレビューカウンタＯＣＮＴを１インクリメントし（ステップＳ１８１２）、ステップＳ１８０４に戻る。

図１９（ａ）、（ｂ）はユーザが操作部１３上で超解像処理されたプレビュー画面から出力画像を設定する一例を示した模式図である。図１９（ａ）は最初の超解像処理（本実施例では１００ｄｐｉ相当）のプレビュー画面１９０１上でユーザからＮｅｘｔボタン１９０２の選択を受け付けた場合を示す。そして図１９（ｂ）は、次のレベルの超解像処理（本実施例では３００ｄｐｉ）を実施したプレビュー画面である。プレビュー画面１９０３上でユーザからＯＫボタン１９０４の選択を受け付けた場合には、超解像処理のモード選択が決定されたと判断する。

図１９（ｂ）では３００ｄｐｉ相当の超解像処理モードが選択された場合を示している。

以上の処理により、入力画像データに対して、超解像処理のデータ量の少ない順番に随時プレビュー表示すること可能となる。合わせてデータ量を表示することによりユーザは簡単に求めていた画像の品質とデータ量を鑑みて好適な超解像出力を得ることが可能となる。また、画像全体をプレビューすることで、解像度変換された画像の詳細が、ユーザによって確認しやすくなる。

実施例１から３においては超解像処理のモードが確定後に余剰データの削除を実施した。本実施例では、余剰データの削除時に、決定された超解像処理を中心の上下１段階の超解像処理に必要な画像データ以外の余剰データを削除する場合について説明する。なお、実施例１の図６と同様のフローを用いる。このステップＳ６１７「選択されたプレビュー画像のＳＣＩＣＮＴを取得」時に本実施例では、「プレビューカウンタＯＣＮＴ＋１に対応したフレーム数ＳＩＣＮＴを取得」する。そして、最大取得フレーム数１００と比較する（ステップ６１８）。これにより、決定された解像度画像よりも一段階解像度の高い画像データも再現でき、且つ一段階解像度の低い画像データも再現できる。ステップＳ６１８で低解像度画像フレーム数ＳＩＣＮＴが最大取得フレーム数１００より小さいと判断された場合には余剰な読取画像データを削除して（ステップＳ６１９）、処理を終了する。

以上の処理により、余剰データの削除時に、決定された超解像処理の解像度より１段階上の超解像処理に必要な画像データ以外の余剰データを削除すること可能となる。これによりユーザは簡単に求める画像の品質より１段階上の解像度画像を得ることが可能となる。

実施例１では超解像処理画像のプレビュー表示を実施した。本実施例では、プレビュー表示に代わりに出力画像をプレプリントする場合について説明する。

図２１は超解像処理モード設定処理を実施する動作の概略を説明するための図である。図２１に示す処理を実現する制御プログラムは、上述したようにＲＯＭ２０３に格納されており、ＣＰＵ２０１により実行される。

まず、ステップＳ２１０１においてスキャナ部１１で原稿読取を実施後、プレプリントカウンタＰＣＮＴ＝０に初期化し（ステップＳ２１０２）、超解像処理カウンタＣＮＴ＝０に初期化を実施する（ステップＳ２１０３）。

次にステップＳ２１０４において、スキャナ部１１で取得された１フレーム目の入力画像の各属性画素をカウントし、各属性画素カウントの最大値となる属性情報を取得する（ステップＳ２１０５）。

次に、ステップＳ２１０５で取得した属性情報がイメージ属性であった場合（ステップＳ２１０６）、プレプリントカウンタＰＣＮＴ＝２に設定後（ステップＳ２１０７）、プレプリントカウンタＰＣＮＴを１デクリメントする（ステップＳ２１０８）。

次に、超解像処理カウンタＣＮＴを閾値３と比較する（ステップＳ２１０９）。本実施例では操作部１３で表示するプレプリント画像データは３種類の超解像処理を実施するため、閾値３とする。ステップＳ２１０９で超解像処理カウンタＣＮＴが閾値３より小さいと判断された場合にはプレプリントカウンタＰＣＮＴに対応したフレーム数ＳＩＣＮＴを取得する（ステップＳ２１１０）。本実施形態では出力解像度に対応するプレプリントカウンタＰＣＮＴ及びフレーム数ＳＩＣＮＴの対応情報テーブルがＲＯＭ２０３に格納されている。

図２２はＲＯＭ２０３に格納されている出力解像度とＰＣＮＴ及びＳＩＣＮＴの対応テーブルを示したものである。

例えば、プレビューカウンタＰＣＮＴ＝２の場合、出力解像度は３００ｄｐｉが好ましく、この出力解像度の画像を取得するには、１０フレーム分の低解像度のフレーム画像データが必要となる。

この対応テーブルは予めデバイスの性能等によって設定されているが、ユーザによって変更されてもよい。

次に、ステップＳ２１１０で取得したフレーム数で着目した部分領域に対して超解像処理を実施する（ステップＳ２１１１）。

次に、プレプリントカウンタＰＣＮＴを１インクリメントし（ステップＳ２１１２）、超解像処理カウンタＣＮＴを１インクリメントして（ステップＳ２１１３）、ステップＳ２１０９に戻る。

一方、ステップＳ２１０９で超解像処理カウンタＣＮＴが閾値３より大きいと判断された場合には３種類のプレプリント用超解像処理が終了したと判断し、プレプリントを実行する（ステップＳ２１１４）。

その際に、ステップＳ２１１０で取得したフレーム数ＳＩＣＮＴと、処理に必要な画像データサイズを合わせて表示する。処理に必要な画像データサイズは、１フレーム分の低解像度フレーム画像データのデータサイズをＡ（Ｂｙｔｅ）とすると、Ａ×ＳＩＣＮＴ（Ｂｙｔｅ）となる。

図２３（ａ）、（ｂ）、（ｃ）はユーザが操作部１３上で超解像処理されたプレプリント出力から出力画像を設定する一例を示した模式図である。図２３（ａ）の２３０１が入力原稿を示す。図２３（ｂ）の２３０２は実際にプレプリント出力された出力画像を示す。図２３（ｃ）の２３０３は操作部１３の選択画面を示す。ここではイメージの属性情報が最大であった場合を示している。この詳細は図８と同様である。

次に、ステップＳ２１１５でユーザから超解像処理実行選択を受け付けた操作部１３は操作部Ｉ／Ｆ２０５を介してＣＰＵ２０１へプレプリントカウンタＰＣＮＴに対応したフレーム数ＳＩＣＮＴを取得する。そして、最大取得フレーム数１００と比較する（ステップＳ２１１６）。
ステップＳ２１１６でフレーム数ＳＩＣＮＴが最大取得フレーム数１００より小さいと判断された場合には余剰な読取画像データを削除する（ステップＳ２１１７）。

次に、ステップＳ２１１８で全画像データに対して超解像処理を実行し、処理を終了する。
一方、ステップＳ２１０５で取得した属性情報がグラフィックス属性であった場合（ステップＳ２１１９）、プレプリントカウンタＰＣＮＴ＝３に設定後（ステップＳ２１２０）、ステップＳ２１０８へ進む。
一方、ステップＳ２１０５で取得した属性情報がテキスト属性であった場合、プレプリントカウンタＯＣＮＴ＝４に設定後（ステップＳ２１２１）、ステップＳ２１０８へ進む。

以上の処理により、入力画像データの属性情報から画像データの特徴を抽出し、自動的に好適な超解像処理を中心に上下１段階のレベルでの超解像処理をプレプリント出力すること可能となる。合わせてデータ量を表示することによりユーザは簡単に求めていた画像の品質とデータ量を鑑みて好適な超解像出力を得ることが可能となる。

（その他の実施例）
また、本発明の目的は、以下の処理を実行することによっても達成される。即ち、上述した実施形態の機能を実現するソフトウェアのプログラムコードを記録した記憶媒体を、システム或いは装置に供給し、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ等）が記憶媒体に格納されたプログラムコードを読み出す処理である。この場合、記憶媒体から読み出されたプログラムコード自体が前述した実施の形態の機能を実現することになり、そのプログラムコード及び該プログラムコードを記憶した記憶媒体は本発明を構成することになる。

Claims (11)

1. 原稿画像の読み取り位置が、複数のセンサのうち第１のセンサと該第１のセンサに隣接する第２のセンサ間で１画素未満ずれるように、前記第１のセンサと前記第２のセンサが配置されたセンサ手段、
   前記原稿画像の属性情報を取得し、該属性情報に応じて該原稿画像を出力する際の解像度を複数決定する決定手段、
   前記センサ手段によって読み取られた複数のフレーム画像データから前記原稿画像を前記決定手段により複数決定された解像度それぞれに変換するために必要なフレーム画像データのフレーム数を判定する判定手段、
   前記原稿画像の部分領域に対して前記判定手段により判定されたフレーム数のフレーム画像データを用いて補間処理を行い、前記決定手段により複数決定された解像度を有する画像データを各解像度に応じて作成する第１の高解像度変換手段、
   前記第１の高解像度変換手段によって変換された複数の画像データをプレビュー表示するプレビュー手段、
   前記プレビュー手段によって表示された複数の画像データのうち出力する画像データが選択された場合、前記原稿画像に対して、選択された画像データを作成するために必要なフレーム数のフレーム画像データを用いて補間処理を行い、読み取り時の解像度よりも高い解像度の画像データを作成する第２の高解像度変換手段、
   を有することを特徴とする画像処理装置。
2. 前記第２の高解像度変換手段に用いない画像データを削除することを特徴とする請求項１に記載の画像処理装置。
3. 前記第１の高解像度変換手段において、変換される前記原稿画像の部分領域とは、前記センサ手段によって読み取られたフレーム画像データのうち１フレーム分の画像データを分割し、該分割された領域のうち、イメージ属性を示す画素を最も多く含む領域及びテキスト属性を示す画素を最も多く含む領域及びグラフィックス属性を示す画素を最も多く含む領域であることを特徴とする請求項１に記載の画像処理装置。
4. 前記属性情報とは、前記センサ手段によって読み取られたフレーム画像データのうち１フレーム分の画像データを構成する各画素の属性を判断し、各属性を有する画素数をカウントして最大の画素数を有する属性を決定することで得られる、前記原稿画像の特徴を示すものであることを特徴とする請求項１に記載された画像処理装置。
5. 前記属性情報とは、前記センサ手段によって読み取られたフレーム画像データのうち１フレーム分の画像データの空間周波数を算出する空間周波数算出手段を有し、
   前記空間周波数算出手段で得られた結果から最大パワースペクトラムを算出し、該算出の結果によって前記画像データの属性を決定することで得られる、前記原稿画像の特徴を示すものであることを特徴とする請求項１に記載された画像処理装置。
6. 原稿画像の読み取り位置が、複数のセンサのうち第１のセンサと該第１のセンサに隣接する第２のセンサ間で１画素未満ずれるように、前記第１のセンサと前記第２のセンサが配置されたセンサ手段を有する画像処理装置の制御方法であって、
   前記原稿画像の属性情報を取得し、該属性情報に応じて該原稿画像を出力する際の解像度を複数決定する決定ステップ、
   前記センサ手段によって読み取られた複数のフレーム画像データから前記原稿画像を前記決定ステップにより複数決定された解像度それぞれに変換するために必要なフレーム画像データのフレーム数を判定する判定ステップ、
   前記原稿画像の部分領域に対して前記判定ステップにより判定されたフレーム数のフレーム画像データを用いて補間処理を行い、前記決定ステップにより複数決定された解像度を有する画像データを各解像度に応じて作成する第１の高解像度変換ステップ、
   前記第１の高解像度変換ステップによって変換された複数の画像データをプレビュー表示するプレビューステップ、
   前記プレビューステップによって表示された複数の画像データのうち出力する画像データが選択された場合、前記原稿画像に対して、選択された画像データを作成するために必要なフレーム数のフレーム画像データを用いて補間処理を行い、読み取り時の解像度よりも高い解像度の画像データを作成する第２の高解像度変換ステップ、
   を有することを特徴とする画像処理装置の制御方法。
7. 前記第２の高解像度変換ステップに用いない画像データを削除することを特徴とする請求項６に記載の画像処理装置の制御方法。
8. 前記第１の高解像度変換ステップにおいて、変換される前記原稿画像の部分領域とは、前記センサ手段によって読み取られたフレーム画像データのうち１フレーム分の画像データを分割し、該分割された領域のうち、イメージ属性を示す画素を最も多く含む領域及びテキスト属性を示す画素を最も多く含む領域及びグラフィックス属性を示す画素を最も多く含む領域であることを特徴とする請求項６に記載の画像処理装置の制御方法。
9. 前記属性情報とは、前記センサ手段によって読み取られたフレーム画像データのうち１フレーム分の画像データを構成する各画素の属性を判断し、各属性を有する画素数をカウントして最大の画素数を有する属性を決定することで得られる、前記原稿画像の特徴を示すものであることを特徴とする請求項６に記載された画像処理装置の制御方法。
10. 前記属性情報とは、前記センサ手段によって読み取られたフレーム画像データのうち１フレーム分の画像データの空間周波数を算出する空間周波数算出ステップを有し、
    前記空間周波数算出ステップで得られた結果から最大パワースペクトラムを算出し、該算出の結果によって前記画像データの属性を決定することで得られる、前記原稿画像の特徴を示すものであることを特徴とする請求項６に記載された画像処理装置の制御方法。
11. コンピュータに、請求項６に記載の方法を実行させるためのプログラム。