JP2010157831A - 画像処理装置及び画像処理方法、並びに、コンピュータプログラムおよび記憶媒体 - Google Patents

Abstract

【課題】従来、出力画像の生成のために複数回の読み取りを行う場合においては、目標とする超解像度処理後の解像度にするために必要な回数の読み取りがすべて終了するのを待ってから、超解像画像に対する画像処理を開始していた。そのため、処理に時間を要していた。
【解決手段】原稿画像から位相の異なる複数枚の画像データを１回の走査により読み取る原稿読取手段と、位相の異なる複数枚の画像データを用いて画像データよりも解像度の高い超解像画像データを生成する超解像度処理手段と、超解像画像データに対し複数の画像処理を行う画像処理手段と、を備えた画像処理装置において、複数の画像処理は、それぞれ特定の解像度と関連付けられ、超解像度処理手段は、いずれかの画像処理と関連付けられた特定の解像度を得るために必要な枚数の前記画像データが得られた時点で超解像度処理を開始する。
【選択図】図１１

Description

本発明はスキャナを用いてコピーや送信処理を実行する画像処理装置及び画像処理方法、並びに、コンピュータプログラムおよび記憶媒体に関するものである。

一定の解像度の画像を複数枚用いて解像度を向上させる「超解像」という技術が存在する。この技術を用いれば、たとえば、６００ｄｐｉの画像から１２００ｄｐｉ相当の画像への変換が可能となり、従来と同じデバイスで高解像度の画像を得ることが可能となる。

超解像技術を行うためにはサブピクセル（１画素よりも小さい単位）で位相が異なる複数枚の画像が必要となる。このため、動画像処理などの分野で広く適用されている。

しかし、１画素に対して複数枚の画像が必要になるということは、必然的にメモリ消費が増えることになり、これに伴ってメモリサイズや計算量の増大が不可避となる。

そこで、従来は、低解像度の入力画像から注目エリアを特定し、エリアサイズに基づいて合成する枚数を増減することによって、計算量とメモリの消費量の削減を実現していた。（たとえば、特許文献１参照）

また、入力画像を重点領域と非重点領域に分け、非重点領域については低解像度画像の使用枚数を重点領域よりも少なくすることで、計算量とメモリの消費量の削減を実現していた。（たとえば、特許文献２参照）

特開２００６−０９２４５０号公報 特開２００５−３５４１２４号公報

計算量とメモリの消費量の削減を実現する上述の従来技術では、ユーザが重点領域を指定したり、複数の画像で輝度の異ならない部分から自動で重点領域を決定して、超解像度処理に使用する入力画像の枚数を判断していた。

しかしながら、このような手法では、超解像度処理自体に使用するメモリの消費量を削減することは可能でも、超解像度処理を施した後の超解像画像に対してなんらかの画像処理を行いたい場合には他の解決策が必要となってくる。

ここで、６００ｄｐｉの入力画像に対し超解像度処理を施して１２００ｄｐｉとした超解像画像をプリントする場合を例に説明する。

従来は、１２００ｄｐｉの超解像画像に対してさらに画像処理を行った画像を、プリントを行うエンジンに適した画像用に出力している。ここで、画像処理をハードウェアロジックで構成する場合は、１２００ｄｐｉに対応したロジックが準備される。一方、超解像度処理について、より多くの入力画像データを用意することが可能であれば、１２００ｄｐｉよりもさらに解像度の高い画像(たとえば、２４００ｄｐｉ)を形成することも可能である。そのような２４００ｄｐｉの画像を出力する場合のハードウェアロジックは、２４００ｄｐｉに対応したものを準備しなければならない。

すなわち、超解像度処理を施した超解像画像をプリントしたい場合には、超解像度処理後の出力解像度に応じた画像処理ハードウェアロジックを準備しなければならなくなる。そのため、回路規模の増加とコストアップにつながってしまう。これに対する解決策として、第一に超解像度処理を行う前の低解像度の読み取り画像に対して画像処理を行い、画像処理後のイメージに対して超解像度処理を施すことが考えられる。

しかしながら、この場合には原稿を読み取った回数と同じ数だけ画像処理を行うことになるため、パフォーマンスの低下が発生する。これは、回路を複数個作成し、パラレルで処理する構成にすることで対応可能ではあるが、結局は回路規模の増大とコストアップに繋がってしまう。

次に考えられる解決策として、１枚の読み取り画像にのみ画像処理を行い、その結果を変倍処理するなどして、超解像画像データに反映させることが考えられる。しかし、この場合には、出力画像の品質を保証できなくなってしまうという問題が生じることになる。
また、従来、出力画像の生成のために複数回の読み取りを行う場合においては、目標とする超解像度処理後の解像度にするために必要な回数の読み取りがすべて終了するのを待ってから、超解像画像に対する画像処理を開始していた。

しかし、画像処理を行う解像度と出力する解像度が異なる場合（たとえば、出力解像度の方が高い場合）においては、すべての読み取り処理を終了しなくても画像処理に十分な解像度の画像を得ることが可能となる。このように画像処理解像度までの超解像度処理に必要十分な枚数の画像データの読み取りがすでに終わっていても、全ての読み取り処理が終了するまでは超解像度処理が開始されなかった。結果的に、その後に行われる画像処理が終了するまでには多くの時間を要することとなっていた。

本発明は、上記の課題を解決するために、以下の構成を備える。
本発明の画像処理装置は、原稿から位相の異なる複数枚の画像データを１回の走査により読み取る原稿読取手段と、位相の異なる複数枚の画像データを用いて画像データよりも解像度の高い超解像画像データを生成する超解像度処理手段と、超解像画像データに対し複数の画像処理を行う画像処理手段とを備えた画像処理装置であって、複数の画像処理は、それぞれ特定の解像度と関連付けられており、超解像度処理手段は、いずれかの画像処理と関連付けられた前記特定の解像度を得るために必要な画像データが得られた時点で超解像度処理を開始する。

また、本発明の画像処理方法は、上記の課題を解決する手段として、以下の構成を備える。即ち、原稿から位相の異なる複数枚の画像データを１回の走査により読み取るステップと、位相の異なる複数枚の画像データを用いて画像データよりも解像度の高い超解像画像データを生成する超解像度処理ステップと、超解像画像データに対し複数の画像処理を行う画像処理ステップとを備えた画像処理方法であって、複数の画像処理は、それぞれ特定の解像度と関連付けられており、超解像度処理ステップは、いずれかの画像処理と関連付けられた特定の解像度を得るために必要な画像データが得られた時点で超解像度処理を開始する。

本発明によって、位相の異なる複数枚の画像データを取得して超解像度処理を実行する構成の複合機において、超解像度処理を開始するタイミングと画像処理の開始タイミングを速めることが可能になる。これにより、パフォーマンスの向上が図られる。
また、出力解像度に依らず、画像処理に適切な解像度が得られた段階で当該解像度への超解像度処理を行うことで回路使用量の増大を防ぎつつ、高画質な画像処理を実現することが可能となる。

（実施形態）
本発明の実施の形態について説明する。
図１は、いわゆる複合機、ＭＦＰ（Ｍｕｌｔｉ Ｆｕｎｃｔｉｏｎ Ｐｅｒｉｐｈｅｒａｌ）の構成図である。画像読み取り部１０１は、たとえば、オートドキュメントフィーダー（ＡＤＦ）を含むスキャナである。束状のあるいは一枚の原稿を図示しない光源で照射し、原稿反射像をレンズでＣＣＤセンサ等の固体撮像素子上に結像し、固体撮像素子からラスター状の画像読み取り信号をイメージ情報として得る。カラースキャナが搭載されたＭＦＰなどでは固体撮像素子に３種類のカラーフィルタを取り付けることでＲＧＢのカラー画像を得る。

記録装置１０３は、たとえば、プリンタである。ＭＦＰのコピー機能を実行した際はこの画像信号をデータ処理装置１０５で記録信号へ画像処理し、記録装置１０３に順次出力して紙上に画像を形成する。記録装置１０３は、データ処理装置で処理されたデータを形成して出力する。データ処理装置１０５については後述する。

ＭＦＰへの操作者の指示は、ＭＦＰに装備されたキー操作部である入力装置１０６から行われ、これら一連の動作はデータ処理装置１０５内の制御部１２０５で制御される。

一方、操作入力の状態表示及び処理中の画像データの表示は、表示装置１０４で行われる。また、記憶装置１０２は、画像読み取り部１０１で取り込んだ画像データ等を保存することが可能なＳＤＲＡＭ、ＨＤＤなどの記憶領域である。

ネットワークＩ／Ｆ１０７は、ネットワークと接続するためのインタフェースである。これを用いることでＰＣ等から画像データを受け取り、データ処理装置１０５で処理を行って記録装置１０３にてプリントを行うことが可能となる。また、画像読み取り部１０１で読み取り、データ処理装置１０５で処理を行ったデータをネットワークＩ／Ｆ１０７を介して送信し、ＰＣ等に送ることも可能である。

図１２は、データ処理装置１０５の詳細を示した図であり、以下の各処理部を備えている。１２０１は、ブロック分割部であり、スキャナ等で読み取った画像データをブロックに分割する処理を行う。１２０２は、傾斜補正部であり、斜行している画像データの傾斜を水平に補正する処理を行う。１２０３は、超解像度処理部であり、低解像度の画像データに対し、超解像度処理を施し、高解像度の画像データを生成する処理およびこれに付随する必要な処理を行う。１２０４は、画像処理部であり、画像データに対し、像域分離処理、カラー／白黒判別処理、色空間変換処理、誤差拡散処理、変倍処理、合成処理、スクリーン処理の他、ガンマ処理、フィルタ処理、圧縮処理、中間調処理などの各種の画像処理を行う。本実施形態では、超解像度処理が施された超解像画像データに対して、上述の画像処理が行われ得る。

次に、本実施形態の具体的な処理について説明する。
図２は、本実施形態を適用した複合機の画像読み取り部１０１の一例を示す図である。同図において、２０１は、読み取り部である。２０２はＡＤＦであり、原稿を抑え、流し読みを行う時には原稿を原稿読み取り位置まで送る機能を有する。２０３は、原稿である。２０４は、原稿台読み取り時に原稿２０３を載せるガラス板である。２０５は、原稿２０３を読み取る読み取りデバイスを含む原稿読取ユニットであり、原稿を撮像するデバイスを含んでいる。２０６は、光源であり、キセノン管などの白色光源が用いられる。２０７〜２１１は、ミラーであり、光源２０６から原稿に照射される光の反射光を、撮像素子まで伝達する役割を持つ。２１２は、ミラー２１１により反射された画像データの反射光を撮像素子幅に集光するためのレンズである。２１３は、撮像素子である。

図３は、上記の撮像素子２１３を詳細に示した図である。３０１、３０２、３０３は光学センサであり、それぞれから主走査１ライン分の画像データが得られる。３０７は主走査方向、３０８は副走査方向を示している。通常のスキャナではセンサは地面に対して水平になるように並べられているが、本実施形態ではセンサを斜めにして画像を取得する。３０４、３０５、３０６はそれぞれ斜めに傾けたセンサを示している。

図４は、図３のように斜めに設置された各センサを用いて原稿をスキャンした場合に得られる画像データの例を示している。「あいうえお」の文字が横書きに描かれた原稿４０１に対して、各センサで取り込んだ画像データが４０２〜４０４である。４０２はセンサ３０４、４０３はセンサ３０５、４０４はセンサ３０６で取り込んだ画像となる。図５は、センサの数を４つにした場合の例であり、原稿５０１に対して、各画像５０２〜５０５のそれぞれが、主走査方向と副走査方向に対してわずかに位相がずれている様子が図３の場合よりも分かり易く示されている。なお、原稿４０１および原稿５０１のような基準となる画像を基準低解像度画像、４０２〜４０４あるいは５０２〜５０５のような位相ずれを含んでいる画像を対象低解像度画像と称する。

このように、センサが斜めに傾いており、かつ、各センサ同士の間隔が空いているため、図４および図５に示されるようなチャンネルごとに主走査方向と副走査方向に対して位相がずれる画像データを得ることができる。この位相のずれがサブピクセル単位のものであれば、４０２〜４０４（あるいは５０２〜５０５）のような画像データを使って超解像度処理を実施し、高解像度の超解像画像を取得することができる。そして、センサの間隔や角度を調整することで位相のずれをサブピクセル単位のものにすることが可能となる。

（位相ずれをサブピクセル単位にする方法）
ここで、図６を用いて、位相のずれをサブピクセル単位にするための方法について、さらに詳しく説明する。

６０１は、図２の撮像素子２１３に対応するエリアセンサデバイスであり、たとえば、図３のセンサ３０１〜３０３を含むようなデバイスに相当する。６０２は、画素センサを示しており、主走査方向に２０画素、副走査方向に１０画素が並ぶように構成されている。

そして、エリアセンサ６０１を、基準となる設置位置から主走査方向及び副走査方向に対して傾斜させて実装する。つまり、基準となる設置位置に設置されていた時のセンサの主走査方向を基準として、エリアセンサ内にて一番下に設置されていたラインセンサとの間に角度θをつけて設置する。

構成する画素センサの位置は、エリアセンサ左端上部を原点に、主走査方向をｘ方向、副走査方向をｙ方向として表すこととする。つまり、左端上部の座標は（ｘ，ｙ）＝（０，０）であり、右端上部の座標は（ｘ，ｙ）＝（１９，０）となる。同様に、左端下部の座標は（ｘ，ｙ）＝（０，９）、右端下部の座標は（ｘ，ｙ）＝（１９，９）となる。

６０３は、エリアセンサ６０１を構成する１ライン分の画素センサの集まりを示している。６０３は、主走査方向を構成する２０個の画素センサにより構成されている。つまり、座標位置（０，４）、（１，４）、（２，４）、・・・・（１９，４）の画素センサで構成される。なお、以下の説明において、複数の画素センサで構成される１ライン分の画素センサの集まり６０３を、読み取りラインセンサ６０３と称する。同様に６０４は、座標位置（０，５）、（１，５）、（２，５）、・・・・（１９，５）の画素センサで構成されている。この６０４を、以下の説明においては読み取りラインセンサ６０４と称する。

本実施形態においては、読み取り装置に実装した撮像素子２１３（エリアセンサ６０１）を含む原稿読取ユニット２０５を、図２に示された矢印方向に駆動させることにより、原稿台２０４に載せられた原稿を読み取る。

最終的に、ラインセンサ６０３、６０４にて検知され、読み取られた画像データは、図７の（ａ）、（ｂ）に示すようなデータであり、いずれも角度θだけ傾斜した画像データとして読み取られる。

図６に示すように、ラインセンサ６０３とラインセンサ６０４は、物理的に副走査方向に１画素センサ分だけずれている。したがって、ラインセンサ６０３を構成する画素センサと、ラインセンサ６０４を構成する画素センサには、水平方向に対して位相ずれが生じる。

たとえば、ラインセンサ６０３の座標（ｘ，ｙ）＝（１５，４）に位置する画素センサと、ラインセンサ６０４の座標（ｘ，ｙ）＝（１５，５）に位置する画素センサは、ｙ軸方向における位置はｙ＝１の分だけずれている。このずれは、副走査方向へΔβ分のずれをもたらす。

一方、ｘ軸方向における位置は全く同じであり、ｘ＝１５である。しかし、エリアセンサ全体を傾斜させる前の主走査方向（すなわち、水平方向）で見ると、傾斜角度θによって、サブピクセル以内の微小量Δαの分だけ位相がずれたものとなる。つまり、ラインセンサ内においてｘ軸方向が同じ位置の画素センサであっても、エリアセンサを傾けることにより、主走査方向である水平方向に傾斜角度に依存した微小単位の位相ずれが発生する。

したがって、エリアセンサ６０１内に配されたラインセンサで読み取った画像データは、解像度が同一のラインセンサ毎に、異なる位相ずれを持った画像データとなる。具体的には、図７（ａ）の読み取り画像データと図７（ｂ）の読み取り画像データとでは、副走査方向にΔβ分ずれるだけでなく、主走査方向にもΔα分だけ、位相がずれたものとなっている。

ここでは、２つのラインセンサ（ラインセンサ６０３、６０４）との関係について説明したが、エリアセンサ６０１を構成するすべてのラインセンサ間で、上述のことが当て嵌まることはいうまでもない。

さらに、エリアセンサ６０１を構成する画素センサをｘ軸方向に増やすことで、ラインセンサの数を増やすことも可能である。

エリアセンサ６０１を構成するラインセンサの数は、１回の読み取り動作によって得られる読み取り画像データ数と等しい。つまり、エリアセンサ６０１内に、ラインセンサを３０ライン分配置すれば、１回の読み取り制御にて、異なった位相ずれを有する３０枚の読み取り画像を得ることができる。

このようにエリアセンサを傾けることによって、１回の原稿画像の走査で、副走査方向に隣接した複数のラインセンサによる各画像データを取得し、主走査方向のずれが１画素未満である複数枚の画像データを得ることができる。

図８は、図４で取り込んだ際の画像データに対してアフィン変換を行った場合の例を示したものである。８０２は画像４０２、８０３は画像４０３、８０４は画像４０４に対してそれぞれアフィン変換を行った後の画像である。アフィン変換をかけることで、原稿に対して水平で、主走査及び副走査方向にサブピクセルの位相がずれた複数枚の画像が取得できる。

図９は、牛が描かれた原稿９０１を図４や図５のようにして読み取り、得られた画像データを３５個のブロックに分割したイメージを示したものである。原稿９０１を３５ブロックに分割したイメージ（すなわち、基準低解像度画像）を９０２としたとき、画像９０２に対してサブピクセル位相のずれた画像（すなわち、対象低解像度画像）が、９０３、９０４である。ブロック９０５は、分割した画像のうちの１ブロック目を示す。１ブロック目９０５のみ取り出したイメージが９０６として示されている。同様に、サブピクセル位相のずれた画像９０３に含まれる１ブロック目のイメージが９０７、画像９０４に含まれる１ブロック目のイメージが９０８として示されている。

図１０は、センサを斜めに取り付ける際の処理の流れを示したものである。まず、ステップ１００１で、センサが斜めに配置される。次に、ステップ１００２で、リニアセンサをどの程度傾けたのかを算出する。角度の算出方法についてはどのようなものであっても構わない。そして、ステップ１００３で、算出した角度を角度情報としてメモリに保存する。このようにして保存された角度情報は、画像データの斜行を補正するためのアフィン変換において参照されることになる。

（超解像画像に画像処理を施し出力する処理）
次に、以上のようにして取得した複数枚の位相のずれた画像データを用いて高解像度の超解像画像を作成し適切な画像処理を施して出力するまでの、本実施形態の処理の流れについて図１１のフローチャートを用いて説明する。

ここでは、３００ｄｐｉの解像度でスキャンを実行し、ブロック分割とアフィン変換を経て超解像度処理を施し、得られた超解像画像に画像処理を行って、最終的に１２００ｄｐｉの画像を出力する場合を例に説明する。最終的に出力される高解像度の画像が１２００ｄｐｉに限られないことは明らかであり、超解像度処理を用いて解像度を向上させてから画像処理を行うものであれば、どのような解像度でも適用可能である。

また、本実施形態では、斜めに取り付けたセンサを用いて位相のずれた複数枚の画像データを得ているため、アフィン変換を行っている。しかし、斜めにすることなく取り付けられたセンサにより複数枚の位相のずれた画像データを得られる構成では、アフィン変換を行うことなく、本実施形態と同様の制御が可能である。

最初に、ステップ１１０１で、原稿の読取を行う際の解像度、最終出力時の倍率や解像度、その他各種応用機能などのモード設定が行われる。このモード設定は、ＭＦＰに備えられた入力装置１０６を介したユーザ操作によって行う。

次にステップ１１０２で、画像読み取り部１０１が原稿をスキャンし、画像データを得る。

そして、ステップ１１０３で、ブロック分割部１２０１が、得られた画像データに対して上述のブロック分割を行う。この際、どのようなブロックに分割するかは任意であり、縦横任意の画素数でブロック分割することが可能である。また、ブロック分割を行うことなく、得られた画像データのまま次の処理に進んでもよい。本実施形態では、サブピクセル単位で位相がずれた３つの画像データを扱うものとする。すなわち、１回の走査によって得られる位相のずれた画像データは３枚となる。もちろん、位相のずれた画像データの枚数は任意に設定可能であり、３枚に限られるものではない。

この段階では得られた画像データは斜めの状態である。そこで、ステップ１１０４で、アフィン変換を行う。すなわち、傾斜補正部１２０２において、斜めになっている画像データを水平な画像データに補正する。この補正を行う際、図１０のステップ１００３で保存された角度情報が用いられる。なお、画像データの斜行を補正する方法については、アフィン変換に限られず、同様の目的を達成できる周知の方法を用いることができる。アフィン変換によって、サブピクセル単位で主走査方向・副走査方向に位相がずれたまま、画像の斜行が補正された画像データが取得できる。斜行が補正された画像データはメモリに格納される。

上記ステップ１１０２乃至ステップ１１０４の各処理と並行して、超解像度処理部１２０３において、所定の解像度にするための目標枚数の決定処理（Ｓ１１０５、Ｓ１１０６）が行われる。すなわち、各画像処理に適した解像度にするための超解像度処理に必要な画像データの枚数を決定する処理を行う。本実施形態では、後段のステップ１１１１乃至１１１３で示されるように、画像処理Ａ、Ｂ、Ｃ（各処理の内容は後述する。）の３種類の画像処理を行う場合について説明する。実行する画像処理の内容は、たとえばモード設定に従って決定される。本実施形態では、単一の画像処理部１２０４のみが示されているが（図１２）、画像処理部１２０４は画像処理の内容別に複数の画像処理部を構成するようにしてもよい。

まず、ステップ１１０５で、超解像度処理を行う際の目標解像度を取得する。具体的には、記憶装置１０２内に格納された図１３に示すようなテーブルを参照しつつ、最終的に出力したい解像度の情報も参照して、各画像処理において好ましい解像度を目標解像度として取得する。図１３のテーブルから明らかなように、各画像処理は、それぞれの画像処理に適した特定の解像度と関連付けられており、優先度別に段階的に設定されている。なお、テーブル中の具体的な数字が入っていない箇所は、たとえば全ての画像処理に共通したデフォルト値（たとえば、６００ｄｐｉなど）が入っているものとして扱われる。たとえば、優先度１では、画像処理Ａが６００ｄｐｉ、画像処理Ｂが１２００ｄｐｉ、画像処理Ｃが１２００ｄｐｉという具合にそれぞれ関連付けがなされている。本実施形態では、最終出力の解像度が１２００ｄｐｉである。よって、優先度１が適用され、画像処理Ａ：６００ｄｐｉ、画像処理Ｂ：１２００ｄｐｉ、画像処理Ｃ：１２００ｄｐｉがそれぞれの目標解像度として取得される。もし、最終出力の解像度が６００ｄｐｉであれば、１２００ｄｐｉで画像処理を行う必要はないので、優先度２の目標解像度が取得され得る。

次に、ステップ１１０６で、取得した目標解像度に基づいて、超解像度処理を行うために必要な画像データの目標枚数を当該取得した目標解像度毎に決定する。この目標枚数の決定においては、たとえば、図１４に示すようなテーブルを用いる。図１４のテーブルの例では予め複数の設定Ａ乃至Ｃが準備されており、これらの中から選択可能となっている。なお、選択は、たとえばＵＩを介して都度行うようにしてもよいし、所定の条件によって自動的に選択されるようにしてもよい。本実施形態では、設定Ａが選択れたものとする。したがって、６００ｄｐｉについては３枚、１２００ｄｐｉについては６枚が、超解像度処理に必要な画像データの目標枚数として決定される。

１回目の走査によって得られた画像データに対するアフィン変換までの処理（Ｓ１１０２乃至Ｓ１１０４）が終了し、かつ目標枚数の決定処理（Ｓ１１０５、Ｓ１１０６）が終了すると、ステップ１１０７に進む。

ステップ１１０７では、超解像度処理部１２０３において、実際に画像読み取り部１０１が原稿を走査して読み取った位相の異なる画像データの枚数の確認、すなわち、メモリに格納されている画像データの枚数の確認を行う。ここで確認した枚数が、ステップ１１０６において決定した目標枚数のいずれかに達していれば、当該達した目標枚数に対応する解像度への超解像度処理が開始されることになる。具体的には、ステップ１１０８で、決定した目標枚数に達したものがあるかどうかを判定し、あると判定されれば、ステップ１１０９へと進み、当該達した目標枚数の解像度への超解像度処理が開始される。もし、どの目標枚数にも達していなければ、ステップ１１０２へと戻る。ステップ１１０２では、画像読み取り部１０１によって次の読み取り動作が行われる。

本実施形態では、画像処理Ａに適した解像度を得るために必要な位相の異なる画像データの目標枚数は３枚であり、１回の走査で読み取られる枚数も３枚である。したがって、１回目の走査によって画像データの枚数は目標枚数である３枚に達している。よってステップ１１０８の判定ではステップ１１０２へは戻らず、ステップ１１０９へと進む。すなわち、目標解像度が６００ｄｐｉについては超解像度処理を開始できると判断する。このように本実施形態では、ある特定の解像度（画像処理と関連付けられている）を得るために必要な枚数の画像データが得られた時点で、超解像度処理を開始することになる。

ステップ１１０９では、目標解像度に対する超解像度処理を行う。すなわち、超解像度処理部１２０３は、メモリに格納されている位相の異なる３枚の画像データ（３００ｄｐｉ）を用いて、画像処理Ａに適した６００ｄｐｉへの超解像度処理を行う。

（超解像度処理の説明）
ここで、超解像度処理の詳細について、図１５を参照しつつ説明する。
上述のとおり、エリアセンサによって読み取られた複数の画像データ間には主走査方向と副走査方向に対して１画素未満の位相ずれが生じている。したがって、超解像度処理を施し生成された超解像画像を構成する各画素（以下「生成画素」という）には、基準低解像度画像および対象低解像度画像のいずれにも存在しない画素が存在する。

このような画素については、その生成画素の周辺に存在する画素の画素値を表す画素データを用いて、所定の補間処理を行うことにより、合成を行いつつ高解像度化を行う。補間処理としては、バイ・リニア法、バイ・キュービック法、ニアレストレイバ法等の補間処理を用いることができる。

たとえば、バイ・リニア法による補間処理を用いる場合、まず、基準低解像度画像及び対象低解像度画像から、生成画素１５０１の位置に最も近い距離にある最近傍画素１５０２を抽出する。そして、図１５の対象低解像度画像から生成画素位置を囲む４つの画素を周辺画素１５０２〜１５０５として決定し、周辺画素のデータ値に所定の重み付けを加えた値を平均化して、以下の式により生成画素のデータ値を得る。
ｆ（ｘ，ｙ）＝［｜ｘ１―ｘ｜｛｜ｙ１−ｙ｜ｆ（ｘ０，ｙ０）＋｜ｙ−ｙ０｜ｆ（ｘ０，ｙ１）｝＋｜ｘ−ｘ０｜｛｜ｙ１−ｙ｜ｆ（ｘ，ｙ０）＋｜ｙ−ｙ０｜ｆ（ｘ１，ｙ１）｝］／｜ｘ１−ｘ０｜｜ｙ１−ｙ０｜
以上の処理を各生成画素位置について繰り返すことにより、超解像画像を得ることができる。そして、この補間処理に、より多くの低解像度画像のデータ値を用いるほど、高精細な超解像画像を得ることができる。

図１１のフローの説明に戻ると、ステップ１１０９で６００ｄｐｉへの超解像度処理が実行され終了すると、画像処理Ａへと進む（ステップ１１１１）。すなわち、１２００ｄｐｉへの超解像度処理の終了を待つことなく、画像処理Ａが開始される。また、並行してステップ１１１０へと進む。なお、この段階では１２００ｄｐｉへの超解像度処理は行っておらず、画像処理Ｂについては、目標解像度が１２００ｄｐｉで取得されている（ステップ１１０５）ことから、ステップ１１１２（画像処理Ｂ）へは進まない。

ステップ１１１１では、画像処理部１２０４において、３００ｄｐｉから６００ｄｐｉに超解像度処理が施された超解像画像データに対し、画像処理Ａ、つまり像域分離処理、カラー／白黒判別処理が実行される。ここで像域分離処理とはラスタ画像データを文字、図形、イメージなどの複数の像域に分離する処理である。

このように本実施形態では、ある目標枚数に対応する解像度の超解像度処理が終了すると、直ちに当該超解像度処理が施された超解像画像に対しての画像処理が開始される。ここで開始される画像処理は、ステップ１１０８で目標枚数に達したと判断された当該目標枚数に対応する解像度と関連付けられている画像処理である。

なお、画像処理Ａが施された超解像画像データに対しては、画像処理Ｃでさらに画像処理が施されることになる（Ｓ１１１３）。

一方、ステップ１１１０では、すべての目標解像度を満足する目標枚数に達したか否かの判断がなされる。本実施形態において１２００ｄｐｉ用の目標枚数は６枚であり、メモリに格納されている画像データが３枚の段階では、全ての完了条件を満たしていないことになる。したがって、ステップ１１０２へと戻り、画像読み取り部１０１によって２回目の走査が行われる。２回目の走査が終了し、ブロック分割とアフィン変換を経て、新たに３枚の位相の異なる画像データがメモリに格納されると、再度、読み取り枚数の確認が行われる（Ｓ１１０７）。そして、この段階になると、１２００ｄｐｉ用の目標枚数６枚に達するので、１２００ｄｐｉへの超解像度処理が実行される（Ｓ１１０９）。すなわち、６枚の位相の異なる画像データを用いて超解像度処理が行われる。そして、本実施形態では、１２００ｄｐｉよりも高い解像度（たとえば、２４００ｄｐｉ）で最も好ましい処理結果が得られる画像処理は存在しないので、すべての目標枚数に達したと判断され、読み取り終了となる（Ｓ１１１４）。

ステップ１１０９で、１２００ｄｐｉへの超解像度処理が終了すると、画像処理Ｂへと進む（ステップ１１１２）。ステップ１１１２では、画像処理部１２０４において、３００ｄｐｉから１２００ｄｐｉに超解像度処理が施された超解像画像に対して、画像処理Ｂとしての色空間変換処理、誤差拡散処理などが実行される。ここで色空間変換処理とはＲＧＢの色空間で表現されているデータを各色の相関関係を基に、ＣＭＹＫやＹＵＶの色空間に変換する処理、またはその逆の変換を行う処理である。画像処理Ｂが施された超解像画像データに対しては、画像処理Ｃでさらに画像処理が施されることになる（Ｓ１１１３）。なお、１２００ｄｐｉへの超解像度処理の終了により画像処理Ｃに適している超解像画像が得られることになるが、本実施形態において画像処理Ｃは、画像処理Ａと画像処理Ｂとが施された画像データを合成する処理を含んでいる。したがって、両画像処理の終了（すなわち、画像処理Ｂの終了）までは、画像処理Ｃは行われない。

ステップ１１１１およびステップ１１１２において、画像処理Ａ・Ｂが終了すると、ステップ１１１３において、画像処理Ｃとしての画像の合成処理が実行される。具体的には、先に画像処理（画像処理Ａ）が施された６００ｄｐｉの超解像画像データと、それよりも後に画像処理（画像処理Ｂ）が施された１２００ｄｐｉの超解像画像データとを用いて、両画像データの合成が行われる。このように画像処理Ｃでは、異なる解像度の画像データが入力される場合がある。この際の処理内容を図１６のフローチャートを用いて説明する。

まず、ステップ１６０１で、画像処理Ａが施された６００ｄｐｉの超解像画像データおよび画像処理Ｂが施された１２００ｄｐｉの超解像画像データをそれぞれ受信する。そして、ステップ１６０２で、一方の解像度を他方の解像度と同一にするかどうかの判断を行う。この際、解像度が異なっていれば自動的に解像度を同一にするように予めプログラミングしてもよいし、ＵＩを介してユーザが選択できるようにしてもよい。

同一の解像度にすると判断した場合には、ステップ１６０３で、どちらか一方の超解像画像データに解像度の変倍処理を行う。なお、いずれの超解像画像データを変倍するかは、解像度の高い方あるいは低い方に合わせるように予めプログラミングしておき自動で決定してもよいし、ＵＩを介してユーザが選択できるようにしてもよい。そして、いずれか一方に変倍処理が施され、解像度が同じになった超解像画像データを用いて両画像の合成が行われる（Ｓ１６０４）。

ステップ１６０２で解像度を同一にしないと判断した場合は、直ちに、ステップ１６０４へと進み、画像の合成を行うことになる。

画像合成においては、たとえば、画像処理Ａにおける像域分離処理で生成した像域信号を基に、画素毎に、複数の超解像画像データが１ページに合成される。

さらに画像処理Ｃの内容として、色点（色線）の数や密度で色の階調を作り出すスクリーン処理などを行ってもよい。

以上のようにして、ステップ１１１３で画像処理Ｃが終了すると、ステップ１１１５で、すべての画像処理が施された１２００ｄｐｉの超解像画像データが出力される。

以上、本発明の実施形態について詳述したが、本発明は、例えば、システム、装置、方法、プログラムもしくは記憶媒体等としての実施態様をとることが可能である。具体的には、複数の機器から構成されるシステムに適用しても良いし、また、一つの機器からなる装置に適用しても良い。

尚、本発明は、前述した実施形態の機能を実現するソフトウェアのプログラム（実施形態では図に示すフローチャートに対応したプログラム）を、システムあるいは装置に直接あるいは遠隔から供給する。そして、そのシステムあるいは装置のコンピュータが該供給されたプログラムコードを読み出して実行することによっても達成される場合を含む。

従って、本発明の機能処理をコンピュータで実現するために、該コンピュータにインストールされるプログラムコード自体も本発明を実現するものである。つまり、本発明は、本発明の機能処理を実現するためのコンピュータプログラム自体も含まれる。

その場合、プログラムの機能を有していれば、オブジェクトコード、インタプリタにより実行されるプログラム、ＯＳに供給するスクリプトデータ等の形態であっても良い。

プログラムを供給するための記録媒体としては、例えば、フロッピー（登録商標）ディスク、ハードディスク、光ディスクがある。また、更に、記録媒体としては、光磁気ディスク、ＭＯ、ＣＤ−ＲＯＭ、ＣＤ−Ｒ、ＣＤ−ＲＷ、磁気テープ、不揮発性のメモリカード、ＲＯＭ、ＤＶＤ（ＤＶＤ−ＲＯＭ，ＤＶＤ−Ｒ）などがある。

その他、プログラムの供給方法としては、クライアントコンピュータのブラウザを用いてインターネットのホームページに接続する。そして、その接続先のホームページから本発明のコンピュータプログラムそのもの、もしくは圧縮され自動インストール機能を含むファイルをハードディスク等の記録媒体にダウンロードすることによっても供給できる。また、本発明のプログラムを構成するプログラムコードを複数のファイルに分割し、それぞれのファイルを異なるホームページからダウンロードすることによっても実現可能である。つまり、本発明の機能処理をコンピュータで実現するためのプログラムファイルを複数のユーザに対してダウンロードさせるＷＷＷサーバも、本発明に含まれるものである。

また、本発明のプログラムを暗号化してＣＤ−ＲＯＭ等の記憶媒体に格納してユーザに配布し、所定の条件をクリアしたユーザに対し、インターネットを介してホームページから暗号化を解く鍵情報をダウンロードさせる。そして、その鍵情報を使用することにより暗号化されたプログラムを実行してコンピュータにインストールさせて実現することも可能である。

また、コンピュータが、読み出したプログラムを実行することによって、前述した実施形態の機能が実現される。また、そのプログラムの指示に基づき、コンピュータ上で稼動しているＯＳなどが、実際の処理の一部または全部を行ない、その処理によっても前述した実施形態の機能が実現され得る。

さらに、記録媒体から読み出されたプログラムが、コンピュータに挿入された機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに書き込まれる。その後、そのプログラムの指示に基づき、その機能拡張ボードや機能拡張ユニットに備わるＣＰＵなどが実際の処理の一部または全部を行ない、その処理によっても前述した実施形態の機能が実現される。

本発明の実施形態に係るＭＦＰの構成を示した図である。 本発明の実施形態に係るＭＦＰの画像読み取り部を示した図である。 本発明の実施形態に係る画像読み取り部内の撮像素子の詳細図である。 本発明の実施形態に係るスキャン画像データの一例を示す図である。 本発明の実施形態に係るスキャン画像データの一例を示す図である。 本発明の実施形態に係る撮像素子に対応するエリアセンサデバイスを示した図である。 本発明の実施形態に係るエリアセンサデバイスによって読み取ったスキャン画像データの一例を示す図である。 本発明の実施形態に係る画像データにアフィン変換を行った場合の一例を示す図である。 本発明の実施形態に係る画像データをブロック分割した場合の一例を示す図である。 本発明の実施形態に係るセンサの取り付け処理の流れを示したフローチャートである。 本発明の実施形態に係る、スキャンから出力までの処理の流れを示したフローチャートである。 本発明の実施形態に係るＭＦＰ内部のデータ処理装置の詳細を示した図である。 本発明の実施形態に係る超解像度処理を行う際の目標解像度の取得において参照されるテーブルの一例を示す図である。 本発明の実施形態に係る超解像度処理を行う際の目標枚数の設定において参照されるテーブルの一例を示す図である。 本発明の実施形態に係る超解像度処理の詳細を説明する図である。 本発明の実施形態に係る合成処理の流れを示したフローチャートである。

符号の説明

２０１：読み取り部
２０２：ＡＤＦ
２０３：原稿
２０４：ガラス板
２０５：原稿読取ユニット
２０６：光源
２０７：ミラー
２０８：ミラー
２０９：ミラー
２１０：ミラー
２１１：ミラー
２１２：レンズ
２１３：撮像素子
３０１：光学センサ
３０２：光学センサ
３０３：光学センサ
３０４：斜めに傾けた光学センサ
３０５：斜めに傾けた光学センサ
３０６：斜めに傾けた光学センサ
３０７：主走査方向を示す矢印
３０８：副走査方向を示す矢印
４０１：原稿
４０２：取り込んだ画像データ
４０３：取り込んだ画像データ
４０４：取り込んだ画像データ
５０１：原稿
５０２：取り込んだ画像データ
５０３：取り込んだ画像データ
５０４：取り込んだ画像データ
５０５：取り込んだ画像データ
６０１：エリアセンサデバイス
６０２：画素センサ
６０３：１ライン分の画素センサ
６０４：１ライン分の画素センサ
８０１：原稿
８０２：アフィン変換を行った後の画像データ
８０３：アフィン変換を行った後の画像データ
８０４：アフィン変換を行った後の画像データ
９０１：原稿
９０２：ブロック分割した画像データ
９０３：ブロック分割した画像データ
９０４：ブロック分割した画像データ
９０５：分割した画像の１ブロック目
９０６：１ブロック目のイメージ
９０７：１ブロック目のイメージ
９０８：１ブロック目のイメージ

Claims (12)

1. 原稿から位相の異なる複数枚の画像データを１回の走査により読み取る原稿読取手段と、
   前記位相の異なる複数枚の画像データを用いて前記画像データよりも解像度の高い超解像画像データを生成する超解像度処理手段と、
   前記超解像画像データに対し複数の画像処理を行う画像処理手段と、
   を備えた画像処理装置であって、
   前記複数の画像処理は、それぞれ特定の解像度と関連付けられており、
   前記超解像度処理手段は、いずれかの画像処理と関連付けられた前記特定の解像度を得るために必要な画像データが得られた時点で超解像度処理を開始することを特徴とする画像処理装置。
2. 前記超解像度処理手段は、
   前記特定の解像度を取得して前記超解像度処理を行うために必要な画像データの目標枚数を前記取得した解像度毎に決定し、
   前記原稿読取手段で読み取った位相の異なる画像データの枚数を確認し、前記確認した枚数が前記決定したいずれかの目標枚数に達した場合に、前記達した目標枚数に対応する解像度への前記超解像度処理を開始する、
   ことを特徴とする請求項１に記載の画像処理装置。
3. 前記画像処理手段は、前記超解像度処理が終了すると、前記超解像度処理が施された超解像画像データに対して前記達した目標枚数に対応する解像度に関連付けられた画像処理を開始することを特徴とする請求項２に記載の画像処理装置。
4. 前記複数の画像処理には画像データを合成する処理を含み、
   前記画像データを合成する処理は、先に画像処理が施された超解像画像データを、後に画像処理が施された超解像画像データに合成することを特徴とする請求項１乃至３のいずれか１項に記載の画像処理装置。
5. 前記画像データを合成する処理は、一方の前記画像処理が施された超解像画像データの解像度が他方の前記画像処理が施された超解像画像データの解像度と異なる場合には、解像度を同一にして合成することを特徴とする請求項４に記載の画像処理装置。
6. 原稿から位相の異なる複数枚の画像データを１回の走査により読み取るステップと、
   前記位相の異なる複数枚の画像データを用いて前記画像データよりも解像度の高い超解像画像データを生成する超解像度処理ステップと、
   前記超解像画像データに対し複数の画像処理を行う画像処理ステップと、
   を備えた画像処理方法であって、
   前記複数の画像処理は、それぞれ特定の解像度と関連付けられており、
   前記超解像度処理ステップは、いずれかの画像処理と関連付けられた前記特定の解像度を得るために必要な画像データが得られた時点で超解像度処理を開始することを特徴とする画像処理方法。
7. 前記超解像度処理ステップは、
   前記特定の解像度を取得して前記超解像度処理を行うために必要な画像データの目標枚数を前記取得した解像度毎に決定するステップと、
   前記原稿読取ステップで読み取った位相の異なる画像データの枚数を確認するステップと、
   前記確認した枚数が前記決定したいずれかの目標枚数に達した場合に、前記達した目標枚数に対応する解像度への前記超解像度処理を開始するステップと、
   をさらに含むことを特徴とする請求項６に記載の画像処理方法。
8. 前記画像処理ステップは、前記超解像度処理が終了すると、前記超解像度処理が施された超解像画像データに対して前記達した目標枚数に対応する解像度に関連付けられた画像処理を開始することを特徴とする請求項７に記載の画像処理方法。
9. 前記複数の画像処理には画像データを合成する処理を含み、
   前記画像データを合成する処理は、先に画像処理が施された超解像画像データを、後に画像処理が施された超解像画像データに合成することを特徴とする請求項６乃至８のいずれか１項に記載の画像処理方法。
10. 前記画像データを合成する処理は、一方の前記画像処理が施された超解像画像データの解像度が他方の前記画像処理が施された超解像画像データの解像度と異なる場合には、解像度を同一にして合成することを特徴とする請求項９に記載の画像処理方法。
11. コンピュータに、請求項６乃至１０のいずれか１項に記載の方法を実行させるためのプログラム。
12. コンピュータに、請求項６乃至１０のいずれか１項に記載の方法を実行させるためのプログラムを格納したことを特徴とするコンピュータが読み取り可能な記録媒体。

Images