JP2013042296A - 画像処理装置、画像処理方法及びそのプログラム、並びに複合機 - Google Patents

Abstract

【課題】斜めから原稿を撮影した場合であっても適切な像域分離結果を得、該像域分離結果を使って高画質な画像を得るようにする。
【解決手段】ＭＦＰ３０は、カメラ装置１０によって撮影された、互いに撮影方向が１８０°異なる撮影画像１及び撮影画像２を取得する。そして、撮影画像１及び撮影画像２をそれぞれ台形補正して第１の画像及び第２の画像を生成し、該第１の画像と第２の画像の高解像力領域を切り出し合成して第３の画像を生成する。該第３の画像に対して像域分離処理を行って像域分離結果データを取得し、第１の画像または第２の画像のいずれかに対し、像域分離結果データに基づいて画像処理を行う。
【選択図】図２

Description

本発明は、カメラ装置によって撮影された原稿の撮影画像に対して画像処理を行う画像処理装置、画像処理方法及びそのプログラム、並びに複合機に関する。

昨今、クラウドサービスと連携して使用する複合機（ＭＦＰ）のニーズが一段と高まってきている。このようなＭＦＰでは、従来のフラッドベッドやシートスルースキャナによって読み取られた原稿（ドキュメント）の読取画像に対する画像処理だけではなく、カメラ付き情報端末などによって撮影された原稿の撮影画像に対する画像処理を行うことも要求される。

従来、フラッドベッドやシートスルースキャナによって読み取られた原稿の読取画像に対して像域分離処理を行い、それぞれの像域（文字、写真等）に最適な画像処理を行うことで、高画質な画像を得ることが知られている。しかしながら、これをカメラ付き情報端末などのカメラ装置によって撮影された原稿の撮影画像に適用した場合、次のような問題がある。

照明による照り返しや撮影者自身の影の映り込み等を避けるために、撮影者は原稿を斜め方向から撮影することがある。このように、原稿を斜め方向から撮影して得られた撮影画像に対して像域分離処理を行った場合、撮影奥側と手前側で解像力が違う為に適切な像域分離結果を得ることができず、高画質な画像が得られない問題がある。

例えば、特許文献１には、カメラ装置で撮影された画像に対して像域分離処理を行い、像域分離結果に従って、それぞれの像域に最適な画像処理を行うことが記載されているが、原稿を斜め方向から撮影した場合に、適切な像域分離結果を得ることができず、高画質な画像が得られない（画質が低下する）という問題は解決されない。

本発明の課題は、カメラ装置によって原稿を斜め方向から撮影した場合であっても適切な像域分離結果を得ることができるようにして、高画質な画像が得ることにある。

本発明では、画像処理装置は、カメラ装置によって撮影された、互いに撮影方向が１８０°異なる撮影画像１及び撮影画像２を取得する手段、撮影画像１及び撮影画像２をそれぞれ台形補正して第１の画像及び第２の画像を生成する手段、第１の画像と第２の画像の特定領域を切り出し合成して第３の画像を生成する手段、第３の画像に対して像域分離処理を行って像域分離結果データを取得する手段、第１の画像または第２の画像のいずれかに対し、像域分離結果データに基づいて画像処理を行う手段を有することを主要な特徴としている。

本発明よれば、像域分離処理の対象となる画像には、原稿の撮影方向が１８０°異なる２つの画像を合成した画像を用いるので、原稿を斜めから撮影した場合であっても適切な像域分離結果を得ることができ、この像域分離結果を使用することで、高画質な画像を得ることができる。

本発明の一実施形態のシステム構成図である。 図１の複合機の一実施形態の全体的構成図である。 原稿をカメラ装置で撮影する状態を示す図である。 原稿をカメラ装置で撮影して取得される撮影画像の一例を示す図である。 本発明の一実施形態の全体的処理フローチャートを示す図である。 原稿サイズ、画素数を説明するための図である。 本発明の一実施形態の具体的処理イメージを示す図である。 図２の画像処理部（１）の構成例を示す図である。 図２の画像処理部（２）の構成例を示す図である。

以下、図面を参照して本発明の一実施の形態を詳細に説明する。なお、実施の形態では複合機（ＭＦＰ）を画像処理装置とするが、複合機に限定されるものでないことは云うまでもない。

図１は、本発明の一実施形態のシステム構成を示す図である。カメラ装置１０は、インターネットなどのネットワーク２０を介して、画像処理装置としての複合機（ＭＦＰ）３０に接続されている。図１では、一つのカメラ装置１０のみしか示されていないが、一般には多数のカメラ装置がネットワーク２０を介してＭＦＰ３０と接続される。また、ＭＦＰ３０には、パソコン（ＰＣ）などのホストコンピュータが接続され、更には電話回線を介してファクシミリ装置（ＦＡＸ）なども接続されているが、図１では省略してある。

カメラ装置１０は、例えばカメラ付き情報端末である。該カメラ装置１０は、原稿を撮影し、その画像データ（撮像画像）をネットワーク２０を通してＭＦＰ３０に送信する。ＭＦＰ３０は、カメラ装置１０から送られてくる画像データに対して所定の画像処理を行い、蓄積あるいは用紙に印刷して出力する。また、ＭＦＰ３０は、通常のフラッドベッドやシートスルースキャナによって読み取られた原稿の書画データに対する画像処理や、ホストコンピュータから送られてくる書画データに対する画像処理を行い、同様に蓄積あるいは用紙に印刷して出力する。さらに、ＭＦＰ３０はＦＡＸ送受信機能を備えている。

図２に、ＭＦＰ３０のハードウエア構成例のブロック図を示す。ＭＦＰ３０は、ＣＰＵ１０１、主メモリ１０２、ハードディスク（ＨＤＤ）１０３、操作部１０４、読取部１０５、記録部１０６、画像処理部（１）１０７、画像処理部（２）１０８、ネットワークインタフェース（ＮＷ−ＩＦ）１０９、ホストコンピュータインタフェース（ＰＣ−ＩＦ）１１０、ファクシミリインタフェース（ＦＡＸ−ＩＦ）１１１、及びこれら各部を接続するバス１１５などで構成される。

ＣＰＵ１０１は、ハードディスク２４０に格納されているプログラムを主メモリ１０２に呼び出して実行することで、該ＭＦＰの各部の動作を制御すると共に種々の処理を行う。後述するように、このＣＰＵ１０１が、カメラ装置に１０によって撮影された原稿の画像データ（撮影画像）に対する必要な処理を行う。主メモリ１０２はＲＡＭなどであり、ＣＰＵ１０１で実行されるプログラムを一時的に記憶すると共に、ＣＰＵ１０１での処理に必要なデータやテーブル類、処理途中のデータ（画像データ、その他）などを一時的に記憶する。ハードディスク１０３は、各種プログラムやデータ、テーブル類などを保持している。このハードディスク１０３が保持するプログラムの一つに、ＣＰＵ１０１がカメラ装置１０によって撮影された原稿の画像データに対して、必要な処理を実行するためのプログラムがある。なお、ハードディスク１０３は、処理結果の画像データなども保持する。

操作部１０５は、操作パネルであり、利用者がＣＰＵ１０１に対して種々の動作や処理を指示すると共に、データ等を入力する際に用いられる。読取部１０５は、フラッドベッドやシートスルースキャナなどの総称であり、原稿を読み取る際に用いられる。記録部１０６はレーザプリンタやその他のプリンタであり、処理結果の画像データなどを用紙に印刷する際に用いられる。

画像処理部（１）１０７は読取部１０５用の画像処理モジュールであり、読取部１０５で読み取られた原稿の画像データ（読取画像）に対して、像域分離処理や色変換処理、その他、必要な画像処理を行う。画像処理部（２）１０８は、記録部１０６用の画像処理モジュールであり、記録部１０６で用紙に印刷する画像データに対して、色変換処理や階調変換処理、その他、必要な画像処理を行う。

一実施形態では、画像処理部（１）１０７及び画像処理部１０８は、カメラ装置１０で撮影された原稿の画像データ（撮影画像）に対して、必要な画像処理を行う場合にも兼用される。これについては後述する。

ネットワークインタフェース（ＮＷ−ＩＦ）１０９は、ＭＦＰ３０とネットワーク２０とのインタフェースであり、ＭＦＰ３０は該ＮＷ−ＩＦ１０９を通してネットワーク２０経由でカメラ装置１０と接続される。ホストコンピュータインタフェース（ＰＣ−ＩＦ）１１０は、ＭＦＰ３０とホストコンピュータとのインタフェースであり、ＭＦＰ３０は該ＰＣ−ＩＦ１１０を通してパソコンなどのホストコンピュータと接続される。ファクシミリインタフェース（ＦＡＸ−ＩＦ）１１１は、ＭＦＰ３０とファクシミリ装置とのインタフェースであり、ＭＦＰ３０は該ＦＡＸ−ＩＦ１１１を通して電話回線経由でファクシミリ装置と接続される。

ＭＦＰ３０がコピー機能として使用される場合、読取部１０５が原稿を読み取り、この読取られた画像データに対して、画像処理部（１）１０７がライン間補正処理、像域分離処理、γ変換処理、フィルタ処理、色変換処理などを行い、更に必要なら変倍処理を行い、処理結果の画像データを主メモリ１０２やハードディスク１０３に格納する。画像処理部（２）１０８は、主メモリ１０２やハードディスク１０３から画像処理部（１）１０７で処理された画像データを読み出し、その画像データに対して、記録部１０６の画像表現特性にあった色変換処理、階調変換処理などを行い、再び主メモリ１０２やハードディスク１０３に格納する。記録部１０６は、主メモリ１０２やハードディスク１０３から画像処理部（２）１０８で処理された画像データを読み出し、用紙に印刷して出力する。

また、ＭＦＰ３０がホストコンピュータのプリンタ機能として使用される場合、ＰＣ−ＩＦ１１０がホストコンピュータから画像データを受信して主メモリ１０２やハードディスク１０３に格納する。画像処理部（２）１０８は、主メモリ１０２やハードディスク１０３から画像データを読み出し、記録部１０６の画像表現特性にあった色変換処理、階調変換処理などを行い、再び主メモリ１０２やハードディスク１０３に格納する。記録部１０６は、主メモリ１０２やハードディスク１０３から画像データを読み出し、用紙に印刷して出力する。

また、ＭＦＰ３０がファクシミリ送信機能として使用される場合、読取部１０５が原稿を読み取り、この読み取られた画像データに対して、画像処理部（１）１０７が必要な処理を行い、処理結果の画像データを主メモリ１０２やハードディスク１０３に格納する。ＦＡＸ−ＩＦ１１１は、主メモリ１０２やハードディスク１０３から該画像データを読み出し、電話回線を介して相手ファクシミリ装置へ送信する。ＭＦＰ３０がファクシミリ受信機能として使用される場合、ＦＡＸ−ＩＦ１１１は、電話回線を介して相手ファクシミリ装置から画像データを受信し、主メモリ１０２やハードディスク１０３に格納する。画像処理部（２）１０８は、主メモリ１０２やハードディスク１０３から該画像データを読み出し、必要な処理を行って再び主メモリ１０２やハードディスク１０３に格納する。記録部１０６は、主メモリ１０２やハードディスク１０３から該画像データを読み出し、用紙に記録して出力する。

ＭＦＰ３０の上記したコピー機能、ホストコンピュータのプリンタ機能、ファクシミリ送受信機能等は、従来と同様であるので、これ以上の詳しい説明は省略する。

以下、ＭＦＰ３０が画像処理装置として、カメラ付情報端末などのカメラ装置１０で撮影された原稿の画像データ（撮影画像）に対して画像処理を行う場合について詳しく説明する。

初めに、原稿をカメラ装置で撮影する状態と取得される画像について説明する。
図３は、カメラ装置１０で原稿を斜め方向から撮影している状態を示したもので、１２は原稿、１４は原稿１２を載置している台である。図３（ａ）はカメラ装置１０によって原稿１２を撮影している状態を側面から見た場合を示し、図３（ｂ）は上方から見た場合を示している。

本来、原稿１２をカメラ装置１０で撮影する場合、原稿１２に対して直上の位置から撮影する方が、原稿１２の形状を保ったまま撮影できる。しかしながら、照明による照り返しや撮影者自身の影の映り込みなどが生じる場合、それを避けるために、図３に示すように、撮影者は原稿１２に対して斜め方向から撮影することがある。

図４（ａ）は、原稿１２を斜め方向から撮影して取得された画像（撮影画像１とする）を示したものである。図４（ａ）に示すように、原稿１２を斜め方向から撮影した場合、その画像（撮影画像１）は、原稿奥側の幅が手前側より短くなり、台形の状態になる。つまり、撮影者の位置から見て奥側になるほど原稿の幅に対しての画素数が少なくなり、解像力が低下することになる。すなわち、原稿手前側の文字の解像力は高いが、奥側の文字の解像力が低下することになる。

先に述べたように、従来からフラッドベッドやシートスルースキャナによって読み取られた原稿の画像に対して像域分離処理を行い、それぞれの像域に最適な画像処理を行うことで、高画質な画像を得ることが知られている。このため、図２に示すＭＦＰ３０においても、画像処理部（１）１０７は像域分離処理機能を備えている。

しかしながら、カメラ装置１０で原稿１２を斜め方向から撮影して取得された画像（撮影画像）に対して像域分離処理を行った場合、図４（ａ）のように、撮影奥側と手前側で解像力が違う為に適切な像域分離結果を得ることができず、高画質な画像が得られない。

そこで、本実施形態では、図３において、原稿１２の向きを１８０°回転して、カメラ装置１０で該原稿１２を同様に斜め方向から撮影した画像を取得する。図４（ｂ）は、この時の画像（撮影画像２とする）を示したものである。そして、撮影画像１と撮影画像２との高解像力領域をそれぞれ切り出して合成して像域分離用画像を生成する。この像域分離用画像に対して像域分離処理を行うことで、カメラ装置１０によって原稿１２を斜め方向から撮影した場合であっても、適切な像域分離結果を得ることができ、該像域分離結果を用いて所定の画像処理を行うことで高画質な画像を得ることができる。

図５は、ＭＦＰ３０が画像処理装置として、カメラ装置１０で撮影された原稿の画像データ（撮影画像）に対して必要な処理を行う一実施形態の全体的処理フローチャートを示したものである。

いま、図３に示したように使用者がカメラ装置１０によって原稿１２を斜め方向から撮影し、その撮影画像を、ネットワーク２０を通してＭＦＰ３０に送信して、プリントサービス等を要求したとする。ＭＦＰ３０内のＮＷ−ＩＦ１０９は、カメラ装置１０からの撮影画像を受信し（ステップ１００１）、主メモリ１０２またはハードディスク１０３（以下、主メモリ１０２等と称す）に格納する（ステップ１００２）。この主メモリ１０２等に格納とされた撮影画像を撮影画像１とする（図４（ａ）参照）。

ＭＦＰ３０内のＣＰＵ（以下、単にＣＰＵと称す）１０１は、主メモリ１０２等に格納された撮影画像１が文書画像（書画）であるか判断する（ステップ１００３）。これには、操作部１０５から使用者が書画であることを指示して、それを確認する方法や、撮影画像１の特徴から自動的に判断する方法などがあるが、いずれの方法でもよい。撮影画像１が書画でない場合、すなわち、自然画像の場合には、該撮影画像１についてそのまま自然画像に適した画像処理パラメータで、像域分離結果によらない通常の画像処理を行う（ステップ１０２２）。

主メモリ１０２等の撮像処理１０が書画である場合、ＣＰＵ１０１は、原稿のサイズを取得する（ステップ１００４）。具体的には、使用者が操作部１０５から入力した原稿サイズを取得する。ここで、原稿のサイズは、横がＬ（mm）、縦がＨ（mm）とする（図６（ａ）参照）。次に、ＣＰＵ１０１は、撮影画像１内の原稿領域の座標位置（４隅の座標）を取得する（ステップ１００５）。例えば、操作部１０５に撮影画像１のプレビュー画面を表示し、使用者が指示した座標位置を取得する。なお、画像のエッジ抽出処理で自動的に取得することでもよい。ＣＰＵ１０１は、取得した原稿の座標情報から上辺の画素数Ｐｔ，下辺のＰｂを算出しておく（図６（ｂ）参照）。

次に、ＣＰＵ１０１は、撮像画像１に対して台形補正処理（台形補間）を行って矩形画像を生成し（ステップ１００６）、この矩形画像から原稿領域を切り抜く（ステップ１００７）。ＣＰＵ１０１は、この切り抜いた原稿領域の画像を主メモリ１０２等に保持する（ステップ１００８）。この画像を第１の画像とする。

次に、ＣＰＵ１０１は、第１の画像の画質モードを判断する（ステップ１００９）。すなわち、第１の画像が、文字と写真などの混在画像か否か判断する。画質モードの判断には、画像の特徴量を抽出して自動的に判定する方法や、操作部１０５から使用者が画質モードを指定して、それを確認する方法などがあるが、どのような方法でもよい。第１の画像が文字と写真などの混在画像でない場合は、像域分離処理を行う必要はないので、第１の画像について、文字または写真などの最適な画像処理パラメータで通常の画像処理を行う（ステップ１０２２）。

第１の画像が文字と写真などの混在画像である場合、ＣＰＵ１０１は、撮影画像１に対して、原稿を１８０°異なる方向から撮影した２枚目の撮影画像を取得する必要があるか判断する（ステップ１０１０）。これは、撮影画像１の原稿形状から判断する。判断条件としては、例えば、次のような方法を適用する。

第１の方法は、撮像画像１の原稿領域の上辺と下辺の比を比較するものである。具体的には、先のステップ１００５で取得した撮像画像１の原稿領域の上辺の画素数Ｐｔと画素数Ｐｂの画素数（図６（ｂ）参照）の比Ｐｔ／Ｐｂを、あらかじめ定めた閾値Ｐｔｈと比較する。そして、Ｐｔ／Ｐｂ≧Ｐｔｈならば、第１の画像の原稿奥部分と原稿手前部分とで解像力に大きな差はないとして、２枚目の撮影画像を取得する必要がないと判断する。この場合には、後述するように、第１の画像に対して像域分離処理を行う。一方、Ｐｔ／Ｐｂ＜Ｐｔｈならば、第１の画像の原稿奥部分において十分な像域分離性能が得られないとして、別途像域分離用画像を生成するために、２枚目の撮影画像を取得する必要があると判断する。

第２の方法は、撮像画像１の原稿領域の上辺と下辺の画素密度を比較するものである。先の第１の方法は、解像力で撮影できるカメラ装置を前提とした場合であり、カメラ装置によっては元々十分な解像力が得られない場合がある。そこで、第２の方法では、第１の画像に対して十分な解像力が得られる画像であるかを、撮像画像１の原稿領域の上辺と下辺の画素密度を算出して比較する。具体的には、先のステップ１００４で取得した原稿の横幅のサイズＬ（mm）（図６（ａ）参照）と、ステップ１００５で取得した撮像画像１の原稿領域の上辺と下辺の画素数Ｐｔ，Ｐｂから（図６（ｂ）参照）、上辺の画素密度Ｄｔ（dpi）＝２５.４＊Ｌ（mm）と下辺の画素密度Ｄｂ（dpi）＝２５.４＊Ｐｂ／Ｌ（mm）を算出して、予め定めた閾値Ｄｔｈと比較する。そして、Ｄｔ＜ＤｔｈかつＤｂ＞Ｄｔｈならば、別途像域分離用画像を生成するために、２枚目の撮影画像を取得する必要があると判断する。一方、Ｄｔ＜ＤｔｈかつＤｂ＜Ｄｔｈならば、第１の画像は元々精度よく像域分離処理を行えない解像力であるとして、２枚目の撮影画像は不要（取得しても意味がない）と判断する。また、Ｄｔ＞ＤｔｈかつＤｂ＞Ｄｔｈならば、第１の画像は十分な解像力であるので、第１の画像に対して像域分離処理を行なった結果だけを使うので、２枚目の撮影画像は不要と判断する。

なお、上述の第１の方法と第２の方法とは、必要に応じて使い分けるか、あるいは両方を組み合わせて使用してもよい。両方を使用する場合には、例えば、まず、第１の方法を適用し、ここで別途像域分離用画像生成のために２枚目の撮影画像を取得する必要があると判断されたならば、次に、第２の方法を用いて、最終的に２枚目の撮影画像を取得すべきか判断する。

ＣＰＵ１０１は、別途像域分離用画像を生成するために、２枚目の撮影画像を取得する必要があると判断したならば、原稿の向きを１８０°回転して撮影した画像をＭＦＰ３０に転送するように使用者に指示する（ステップ１０１１）。具体的には、指示メッセージをＭＦＰ３０の操作部１０４に表示したり、あるいは、ＮＷ−ＩＦ１０９を通してカメラ装置１０に送信したりして行う。

使用者は、原稿１２の向きを１８０°回転して、カメラ装置１０によって該原稿１２を先に撮影したと同様に斜め方向から撮影し、その撮影画像を、ネットワーク２０を通してＭＦＰ３０に送信する。ＭＦＰ３０内のＮＷ−ＩＦ１０９は、カメラ装置１０からの撮影画像を受信し（ステップ１０１２）、主メモリ１０２等に格納する（ステップ１０１３）。この主メモリ１０２等に格納された２枚目の撮影画像を撮影画像２とする（図４（ｂ）参照）。

ＣＰＵ１０１は、主メモリ１０２等に格納された撮影画像２に対して台形補正処理を行って矩形画像を生成し（ステップ１０１４）、この矩形画像から原稿領域を切り抜く（ステップ１０１５）。これは撮影画像１の時と同じである。ＣＰＵ１０１は、この切り抜いた原稿領域の画像を主メモリ１０２等に保持する（ステップ１０１６）。この画像を第２の画像とする。

次に、ＣＰＵ１０１は、主メモリ１０２等に保持された第１の画像と第２の画像の特定領域を切り出して1つの画像に合成する（ステップ１０１７）。具体的には、第１の画像と第２の画像からそれぞれ高解像力領域を切り出して合成して、１つの画像を生成する。ＣＰＵ１０１は、この生成した画像を主メモリ１０２等に保持する（ステップ１０１８）。この画像を第３の画像とする。

次に、ＣＰＵ１０１は、主メモリ１０２等に保持された第３の画像を像域分離用画像として、該第３の画像に対して像域分離処理を行い（ステップ１０１９）、その像域分離結果データを主メモリ１０２等に保持する（ステップ１０２０）。そして、ＣＰＵ１０１は、主メモリ１０２等に保持されている第１の画像または第２の画像に対して、像域分離処理結果データに基づいて、それぞれの像域（文字や写真等）に最適な画像処理を実施する（ステップ１０２１）。ここで、第３の画像は、第１の画像と第２の画像の高解像力部分を合成した画像であり、該第３の画像を用いて像域分離処理を行うことで、原稿を斜めから撮影した場合であっても適切な像域分離結果データを得ることができる。したがって、この像域分離結果データに基づいて画像処理を行うことで、高画質な画像が得られる。

一方、先のステップ１０１０で２枚目の撮影画像（撮影画像２）が不要と判断された場合には、ステップ１０１１〜１０１８の処理を行う必要はない。この場合、ＣＰＵ１０１は、第１の画像に対して像域分離処理を行い（ステップ１０１９）、その像域分離結果データを主メモリ１０２等に保持する（ステップ１０２０）。そして、第１の画像等に対して、像域分離処理結果データに基づいて、それぞれの像域に最適な画像処理を実施する（ステップ１０２１）。

図７は、本実施形態の具体的な処理イメージを示した図である。図７において、Ｆ１は図５のステップ１００２で主メモリ１０２等に保持された撮影画像１を示し、Ｆ２はステップ１０１３で主メモリ１０２等に保持された撮影画像２を示している。撮影画像２（Ｆ２）は、撮影画像１（Ｆ１）の撮影の時の原稿の向きが１８０°回転した状態で主メモリ１０２等に保持される。

撮影画像１（Ｆ１）に対して、台形補正と原稿領域の切抜きを行うことで、第１の画像（Ｆ３）が得られる（図５のステップ１００６〜１００８）。同様に、撮影画像２（Ｆ２）に対して、台形補正と原稿領域の切抜きを行うことで、第２の画像（Ｆ４）が得られる（図５のステップ１０１４〜１０１６）。

第１の画像（Ｆ３）は、撮影者から見て手前側、つまり、画像Ｆ３の下側は高解像力で撮影されているが、上にいくほど解像力が低下している。この第１の画像（Ｆ３）に対して像域分離処理を行っても、適切な分離結果を得ることができない。すなわち、像域分離は解像力が低下ると誤分離が発生する。

一方、第２の画像（Ｆ４）も、撮影者から見て手前側、つまり、画像Ｆ４の下側は高解像力で撮影されていて、上に行くほど解像力が低下している。

そこで、第１の画像（Ｆ３）と第２の画像（Ｆ４）の高解像力領域の部分を合成して、別途、像域分離用画像を生成する（図５のステップ１０１７，１０１８）。詳しくは、第１の画像（Ｆ３）の下半分（原稿の下方部分）Ｆ５と第２の画像（Ｆ４）の同じく下半分（原稿の上方部分）Ｆ６を切り出し、Ｆ６を１８０°回転して、これらＦ５とＦ６を合成して第３の画像（Ｆ７）を生成する。

この第３の画像（Ｆ７）を像域分離用画像として像域分離処理を行い、像域分離結果データを得る（図５のステップ１０１９，１０２０）。Ｆ８は像域分離処理で抽出された網点写真領域を示し、Ｆ９は文字領域を示している。

そして、第１の画像（Ｆ３）あるいは第２の画像に対して、像域分離結果データを基に各像域に最適な画像処理を実施する（図５のステップ１０２１）。図７では、像域分離結果を適用する画像は第１の画像（Ｆ３）を使用するとしている。すなわち、第１の画像（Ｆ３）に対して、像域分離結果Ｆ８，Ｆ９を使って、各像域（網点写真領域、文字領域）の画質が最適になるようにフィルタ処理やγ処理のパラメータを切り替えて処理を行う。Ｆ１０は最終画像のイメージを示したものである。

次に、図２の画像処理部（１）１０７及び画像処理部（２）１０８について説明する。先に述べたように、画像処理部（１）１０７は読取部１０５のための画像処理モジュールであり、画像処理部（２）１０８は記録部１０６のための画像処理部モジュールである。なお、画像処理部（２）１０８は、必ずしも処理結果の画像データを紙に出力する場合だけでなく、モニタなどの表示装置に出力する場合に使用することでもよい。

図８は画像処理部（１）１０７の一実施形態のブロック図を示したものである。本画像処理部（１）１０７は、ライン間補正処理部２１０、像域分離処理部２２０、変倍処理部２３０、γ変換処理部２４０、フィルタ処理部２５０、色変換処理部２６０からなる。

通常、本画像処理部（１）１０７のライン間補正処理部２１０は、読取部１０５で読み取られた画像データを主メモリ１０２等から読み出し、該画像データに対して、読取部１０５におけるカラーＣＣＤ等の各ＲＧＢの取り付け位置の差によって生じるＲＧＢデータ間のラインずれを補正する。例えば、Ｂのラインを基準とした場合、ＲとＢ、ＧとＢの間のラインずれ量を補正する。像域分離処理部２２０は、ライン間補正処理部２１０でＲＧＢ間のラインずれ補正された画像データを入力して、該画像データの特徴から絵柄部、文字部、網点部などの像域分離情報を生成する。後段のγ変換処理部２４０やフィルタ処理部２５０では、この像域分離情報を使って、画像データに対して、それぞれの像域に適した画像処理パラメータを設定して後述の処理を行う。

変倍処理部２３０は、画像データに対し、操作部１０４などで指定された変倍率に従って所望の解像度に変換する。γ変換処理部２４０は、主に濃度調整を目的とした変換処理を行うもので、一般にルックアップテーブル変換と呼ぶ方式が用いられる。色変換処理部２６０は、画像データに対し、主メモリ１０２等に蓄積するための共通の色空間への変換処理を行う。また、自動カラー判定が選択されているときには、ＲＧＢデータからＫ（モノクロ）データを生成する。このモノクロデータを単純２値化し、例え８ビットのデータに８画素のデータとしてパッキングする。主メモリ１０２等には、ＲＧＢＫの４チャンネルの画像データを書き込む。また、通常のカラーデータの読み取りでは、色空間変換したＲＧＢの３チャンネル画像データを書き込む。

この画像処理部（１）１０７の像域分離処理部２２０を利用して図５のステップ１０１９の像域分離処理を行う場合、ＣＰＵ１０１は、画像処理部（１）１０７の像域分離処理部２２０のみ有効にして、それ以外はすべて何も行わないように無効に設定する。そして、ＣＰＵ１０１は、主メモリ１０２等から第３の画像データを読み出して画像処理部（１）１０７に送る。画像処理部（１）１０７の像域分離処理部２２０は、この第３の画像データに対して像域分離処理を行い、像域分離結果データを主メモリ１０２等に格納する。

また、画像処理部（１）１０７を利用して図５のステップ１０２１の画像処理を行う場合には、ＣＰＵ１０１は、画像処理部（１）１０７のライン間補正処理部２１０と像域分離処理部２２０を無効にし、それ以外はすべて有効に設定する。そして、ＣＰＵ１０１は、主メモリ１０２等から第１の画像データあるいは第２の画像データ（ここでは第１の画像データとする）と像域分離結果データとを読み出して画像処理部（１）１０７に送る。画像処理部（１）１０７の変倍処理部２３０、γ変換処理部２４０、フィルタ処理部２５０、色変換処理部２６０は、順次、第１の画像データに対して、像域分離処理結果データを使って所定の処理を行い、処理結果の画像データを主メモリ１０２等に格納する。

なお、同様に画像処理部（１）１０７を利用して、図５のステップ１０２２の像域分離結果によらない画像処理を行うことも可能である。

図９は画像処理部（２）１０８の一実施形態のブロック図を示したものである。本画像処理部（２）１０８は、色変換処理部３１０と階調変換処理部３２０からなる。

色変換処理部３１０は、主メモリ１０２等に格納された画像データ（ＲＧＢデータ）を入力データとして、出力デバイスの色空間、例えばＣＭＹＫ色空間に変換するための処理を行う。カラー出力の場合には、ＲＧＢ各成分に対してＣＭＹＫ色空間等に変換する処理を行い、モノクロ出力の場合には、ＲＧＢデータからモノクロデータを生成する。

階調変換処理部３２０は、色変換処理部３１０で色空間変換された画像データを所定の階調に変換する。例えば、ＣＭＹＫデータについて次のように階調変換処理する。

まず、記録部１０５が１ビット、２階調まで出力可能な場合の固定しきい値２値化による階調変換について説明する。２値画像を所望する場合、階調変換処理部３２０では、例えば、８ビット、２５６階調のＣＭＹＫデータを、ＣＭＹＫ各成分それぞれ、２階調の２値画像データに変換し、出力画像データとして後段に送る。ここでは、説明を簡単にするため、固定しきい値処理の一例を挙げると、２値化しきい値が１２８の場合、入力画像の画素データに対して、下記の条件によって２値化を行う。
０ ≦ 画素データ ＜ １２８が真ならば ０
１２８ ≦ 画素データ ≦ ２５５ が真ならば １

次に、記録部１０５が２ビット、４階調まで出力可能な場合の固定しきい値４値化による階調変換について説明する。４値画像を所望する場合、階調変換処理部３２０では、例えば、８ビット、２５６階調のＣＭＹＫデータを、ＣＭＹＫ各成分それぞれ４階調の４値画像データに変換し、出力画像データとして後段に送る。

ここでは、説明を簡単にするため、固定しきい値処理の一例を挙げると、入力画像の画素データに対して、下記の条件によって４値化を行う。
０ ≦ 画素データ ＜ ６４が真ならば ０
６４ ≦ 画素データ ＜ １２８が真ならば １
１２８ ≦ 画素データ ＜ １９２が真ならば ２
１９２ ≦ 画素データ ≦ ２５５が真ならば ３

なお、階調変換処理部３２０では、上述した単純２値化のほかに、ここでは説明しないが、写真原稿などに適した階調性に優れた誤差拡散処理やディザ処理などの階調変換処理を行なう場合がある。

図５のステップ１０２１やステップ１０２２などで処理された画像データを記録部１０６で紙に出力する場合、画像処理部（２）１０８を利用して所望の色空間変換処理や階調変換処理を行うことが可能である。

１０ カメラ装置
２０ ネットワーク
３０ 複合機（画像処理装置）
１０１ ＣＰＵ
１０２ 主メモリ
１０３ ハードディスク（ＨＤＤ）
１０４ 操作部
１０５ 読取部
１０６ 記録部
１０７ 画像処理部（１）
１０８ 画像処理部（２）

特開２００９−３８５８０号公報

Claims (11)

1. カメラ装置によって撮影された原稿の画像（以下、撮影画像）を処理する画像処理装置であって、
   前記カメラ装置によって撮影された、互いに撮影方向が１８０°異なる撮影画像１及び撮影画像２を取得する手段と、
   前記撮影画像１及び前記撮影画像２をそれぞれ台形補正して第１の画像及び第２の画像を生成する手段と、
   前記第１の画像と前記第２の画像の特定領域を切り出し合成して第３の画像を生成する手段と、
   前記第３の画像に対して像域分離処理を行って像域分離結果データを取得する手段と、
   前記第１の画像または第２の画像のいずれかに対し、前記像域分離結果データに基づいて画像処理を行う手段と、
   を有することを特徴とする画像処理装置。
2. 前記第３の画像を生成する手段は、前記第１の画像と前記第２の画像の高解像力領域を切り出して合成することを特徴とする請求項１記載の画像処理装置。
3. 前記撮影画像１及び撮影画像２を取得する手段は、前記カメラ装置によって撮影された撮影画像１を取得し、該撮影画像１の原稿形状から、撮影方向が該撮影画像１と１８０°異なる撮影画像２を取得すべきか判断し、取得すべきと判断した場合に、前記カメラ装置によって撮影された前記撮影画像２を取得することを特徴とする請求項１または２に記載の画像処理装置。
4. 前記撮影画像２を取得すべきかの判断は、前記撮影画像１の原稿領域の上辺と下辺の比を比較して行うことを特徴とする請求項３記載の画像処理装置。
5. 前記撮影画像２を取得すべきかの判断は、前記撮影画像１の原稿領域の上辺と下辺の画像密度を比較して行うことを特徴とする請求項３記載の画像処理装置。
6. 前記撮影画像２を取得すべきかの判断は、原稿の種類に基づいて行うことを特徴とする請求項３記載の画像処理装置。
7. 前記撮影画像２を取得しない場合には、前記第２の画像の生成処理、及び、前記第３の画像の生成処理を無効とし、
   前記第１の画像に対して像域分離処理を行って像域分離結果データを取得して、前記第１の画像に対し、前記像域分離結果データに基づいて画像処理を行うようにする、
   ことを特徴とする請求項３乃至５のいずれか１項に記載の画像処理装置。
8. 前記撮影画像２を取得しない場合には、前記第２の画像の生成処理、前記第３の画像の生成処理、及び、前記像域分離処理を無効とし、
   前記第１の画像に対し、所定の画像処理を行うようにすることを特徴とする請求項６に記載の画像処理装置。
9. カメラ装置によって撮影された原稿の画像（以下、撮影画像）を処理する画像処理方法であって、
   前記カメラ装置によって撮影された、互いに撮影方向が１８０°異なる撮影画像１及び撮影画像２を取得するステップと、
   前記撮影画像１及び前記撮影画像２をそれぞれ台形補正して第１の画像及び第２の画像を生成するステップと、
   前記第１の画像と前記第２の画像の特定領域を切り出し合成して第３の画像を生成するステップと、
   前記第３の画像に対して像域分離処理を行って像域分離結果データを取得するステップと、
   前記第１の画像または第２の画像のいずれかに対し、前記像域分離結果データに基づいて画像処理を行うステップと、
   を有することを特徴とする画像処理方法。
10. 請求項８記載の画像処理方法の各ステップをコンピュータに実行させるためのプログラム。
11. 請求項１乃至８のいずれか１項に記載の画像処理装置の処理手段を備えていることを特徴とする複合機。