JP4125208B2 - 画像処理装置及び画像処理方法 - Google Patents

Description

本発明は、複数の画像を合成して出力する画像処理装置及び画像処理方法に関するものであり、特に、スキャン入力画像やＰＤＬ入力画像に対して、予め登録された任意の画像、ページ番号、又は部番号を合成して出力する画像処理装置及び画像処理方法に関する。

従来から、スキャン画像やＰＤＬ画像等の入力画像に対して、ウォーターマーク画像や背景画像等の予め登録された任意の画像データを合成する画像合成機能や、上記入力画像に対して、そのページ順にページ番号を合成するページ番号合成機能、上記入力画像を複数部数出力する際に、各部毎に部番号を合成する部番号合成機能等を有する画像処理装置が知られている（例えば、特許文献１参照）。

これらの画像処理装置では、スキャン入力画像やＰＤＬ入力画像を出力する際に、白黒画像として出力するか、カラー画像として出力するかを指定することができ、指定された色モードに応じてウォーターマーク画像やページ番号等が合成された合成画像を出力する機能を有している。その際、入力画像が白黒画像であるかカラー画像であるかが自動判定されていた。そして、合成画像を出力する際の色モードについて、自動カラー選択が設定された場合には、合成元となる画像の中に一つでもカラー画像が含まれている場合には、合成画像をカラー画像として出力していた。
特開平１１−０７５０５０号公報

すなわち、従来の画像処理装置では、ウォーターマーク画像、ページ番号、又は部番号等がカラー画像であるか白黒画像であるかに関わらず、スキャン入力画像やＰＤＬ入力画像の白黒カラー自動判定結果に応じて合成画像の色モードが決定されていた。そのため、例えば、合成画像の出力先が、白黒出力とカラー出力とで出力コストや課金料金が異なるカラープリンタである場合、入力画像が白黒と判定された場合であっても、その入力画像に合成される画像がカラー画像であれば合成画像はカラー出力されてしまい、ユーザの意図に添わない出力コスト、料金が課されるという問題があった。

本発明は、このような事情を考慮してなされたものであり、入力画像の色モードに応じた合成画像出力を所望するユーザの意図に添った画像出力を可能とする画像処理装置及び画像処理方法を提供することを目的とする。

上記目的を達成するため、本発明に係る画像処理装置は、
原稿画像中のカラー画素数に基づいて、原稿画像の色モードを決定する原稿画像色モード決定手段と、
合成用画像のカラー画素数に基づいて、合成用画像の色モードを決定する合成用画像色モード決定手段と、
前記原稿画像色モード決定手段で原稿画像の色モードが白黒モードであると決定された場合に、前記合成用画像の色モードにかかわらず、前記原稿画像と前記合成用画像とを合成して得られる合成画像の色モードを白黒モードに設定する第１設定手段と、
前記合成用画像色モード決定手段で合成用画像の色モードがカラーモードであると決定された場合に、前記原稿画像の色モードにかかわらず、前記合成画像の色モードをカラーモードに設定する第２設定手段と、
前記原稿画像と前記合成用画像とを合成する合成手段と、
前記合成手段での合成により得られた合成画像を、合成画像に対して設定された色モードで色空間変換処理する色空間変換処理手段と、
を有することを特徴とする。

上記目的を達成するため、本発明に係る画像処理方法は、
原稿画像中のカラー画素数に基づいて、原稿画像の色モードを決定する原稿画像色モード決定工程と、
合成用画像のカラー画素数に基づいて、合成用画像の色モードを決定する合成用画像色モード決定工程と、
前記原稿画像色モード決定工程で原稿画像の色モードが白黒モードであると決定された場合に、前記合成用画像の色モードにかかわらず、前記原稿画像と前記合成用画像とを合成して得られる合成画像の色モードを白黒モードに設定する第１設定工程と、
前記合成用画像色モード決定工程で合成用画像の色モードがカラーモードであると決定された場合に、前記原稿画像の色モードにかかわらず、前記合成画像の色モードをカラーモードに設定する第２設定工程と、
前記原稿画像と前記合成用画像とを合成する合成工程と、
前記合成工程での合成により得られた合成画像を、合成画像に対して設定された色モードで色空間変換処理する色空間変換処理工程と、
を有することを特徴とする。

本発明によれば、入力画像の色モードに応じた合成画像出力を所望するユーザの意図に添った画像出力を可能とする。また、合成色モード優先設定を用いてユーザの所望する出力色モードに忠実な画像合成出力を実現可能とする。

以下、図面を参照して、本発明の一実施形態について詳細に説明する。

＜第１の実施形態＞
図１は、本発明の第１の実施形態に係る画像処理システムの全体構成を示すブロック図である。図１に示す画像処理システムは、本発明の第１の実施形態に係る画像処理装置２００が、ＬＡＮ２０１１を介して、画像処理装置２００と同様の機器構成をもつ他の画像処理装置２２０、２３０、及び、パーソナルコンピュータ（以下、「ＰＣ」とする。）２４０が接続されており、ＦＴＰ、ＳＭＢプロトコルを使用したファイルの送受信、電子メールの送受信等を行うことが可能である。

本実施形態に係る画像処理装置２００は、画像入力デバイスであるスキャナ部２０７０、画像出力デバイスであるプリンタ部２０９５、コントローラユニット（Controller Unit）２０００、ユーザインタフェースである操作部２０１２から構成される。そして、スキャナ部２０７０、プリンタ部２０９５、操作部２０１２は、それぞれ、コントローラユニット２０００に接続され、コントローラユニット２０００は、ＬＡＮ２０１１等のネットワーク伝送手段や公衆回線に接続されている。尚、公衆回線からは、カラー画像送信を含むＧ３、Ｇ４ファクシミリによる送信が可能である。また、画像処理装置２２０、２３０は、それぞれスキャナ部２２７０、２３７０、プリンタ部２２９５、２３９５、操作部２２１２、２３１２を有し、画像処理装置２００と同様に、それらがコントーラユニット２２００、２３００に接続されている。

図２は、図１に示す画像処理装置２００の細部構成を示すブロック図である。尚、画像処理装置２２０、２３０についても同様である。図２において、コントローラユニット２０００は、画像入力デバイスであるスキャナ部２０１５や画像出力デバイスであるプリンタ部２０１７と接続し、一方では、ＬＡＮ２００８や公衆回線（ＷＡＮ）２０５１に接続することで、画像情報やデバイス情報の入出力を行うためのコントローラである。

また、ＣＰＵ２００１は、画像処理装置２００内のシステム全体を制御するコントローラである。ＲＡＭ２００２は、ＣＰＵ２００１が動作するためのシステムワークメモリであり、画像データを一時記憶するための画像メモリでもある。ＲＯＭ２００３は、ブートＲＯＭであり、システムのブートプログラムが格納されている。ＨＤＤ２００４は、ハードディスクドライブであり、システムソフトウェアや画像データ等を格納する。操作部Ｉ／Ｆ２００５は、操作部（ＵＩ）２００６とのインタフェース部であり、操作部２００６に表示する画像データを操作部２００６に対して出力する。また、操作部２００６から本システム使用者が入力した情報を、ＣＰＵ２００１に伝える役割をする。

ネットワークＩ／Ｆ（Network I/F）２００７は、ＬＡＮ２００８に接続し、情報の入出力を行う。モデム（Modem）２０５０は、公衆回線２０５１に接続し、画像情報の入出力を行う。２値画像回転部２０５２及び２値画像圧縮・伸長部２０５３は、モデム２０５３で２値画像を送信する前に画像の方向を変換したり、所定の解像度、或いは相手の能力に合わせた解像度に変換するためのものである。尚、圧縮・伸長は、ＪＢＩＧ、ＭＭＲ、ＭＲ、ＭＨ等をサポートしている。

ＤＭＡＣ２００９は、ＤＭＡコントローラであり、ＲＡＭ２００２に格納されている画像をＣＰＵ２００１を介することなく読み取り、イメージバスＩ／Ｆ（Image Bus I/F）２０１１に対して当該画像を転送する、若しくはイメージバスＩ／Ｆ２０１１からの画像をＣＰＵ２００１を介することなくＲＡＭ２００２に書き込む。以上のデバイスが、システムバス２００８に接続されている。

一方、イメージバスＩ／Ｆ２０１１は、イメージバス２０１０を介して、高速な画像の入出力を制御するためのインタフェースである。圧縮器２０１２は、イメージバス２０１０に画像を送出する前に、３２画素×３２画素単位でＪＰＥＧ圧縮するための圧縮器である。伸長器２０１３は、イメージバス２０１０を介して送られてきた画像を伸長するための伸長器である。

ラスターイメージプロセッサ（ＲＩＰ）２０１８は、ホストコンピュータからのＰＤＬコードをネットワークＩ／Ｆ２００７を介して受け取り、システムバス２００８を介して、ＣＰＵ２００１がＲＡＭ２００２に格納する。ＣＰＵ２００１は、ＰＤＬを中間コードに変換し、再度システムバス２００８を介してＲＩＰ２０１８に入力し、ビットマップイメージ（多値）に展開する。

スキャナ画像処理部２０１４は、スキャナ部２０１５からのカラー画像又は白黒画像に対して、適切な各種画像処理（例えば、補正、加工、編集等）を行い、多値で出力する。同様に、プリンタ画像処理部２０１６は、プリンタ部２０１７に対して適切な各種画像処理（例えば、補正、加工、編集等）を行う。プリント時は伸長部２０１３で２値多値変換を行うので、プリンタ画像処理部２０１６はプリンタ部２０１７に対して２値又は多値出力が可能である。

画像変換部２０３０は、ＲＡＭ２００２上にある画像を画像変換し、再度、ＲＡＭ２００２に書き戻すときに使われる各種画像変換機能を有する。画像変倍部２０３０において、回転器２０１９は、３２画素×３２画素単位の画像を指定された角度で回転でき、２値及び多値の入出力に対応している。変倍器２０２０は、画像の解像度を変換する機能（例えば、６００ｄｐｉから２００ｄｐｉへの変換機能）や、画像を変倍する機能（例えば、２５％から４００％までの変倍機能）を有する。尚、変倍する前には、３２画素×３２画素の画像を３２ライン単位の画像に並び替える。

色空間変換器２０２１は、例えば、多値入力された画像をマトリクス演算及びＬＵＴにより、メモリ上にあるＹＵＶ画像をＬａｂ画像に変換し、メモリ上に格納する。尚、この色空間変換器２０２１は、３×８のマトリクス演算及び１次元ＬＵＴを有しており、公知の下地とばしや裏写り防止を行うことができる。また、変換された画像は多値で出力される。

２値多値変換器２０２２は、１ｂｉｔの２値画像を多値画像、例えば、８ｂｉｔ、２５６階調にする。逆に、多値２値変換器２０２５は、例えばメモリ上にある８ｂｉｔ、２５６階調の画像を誤差拡散処理等の手法により１ｂｉｔ、２階調の画像に変換し、メモリ上に格納する。合成器２０２３は、メモリ上の２枚の多値画像を合成し、１枚の多値画像にする機能を有する。例えば、メモリ上にある会社ロゴの画像と原稿画像を合成することで、原稿画像に簡単に会社ロゴを付加することができる。

間引き器２０２４は、多値画像の画素を間引くことで、解像度変換を行うユニットであり、例えば、１／２、１／４、１／８等の多値画像を出力することが可能である。間引き器２０２４を変倍器２０２０と合わせて使うことで、より広範囲な画像の拡大、縮小処理を行うことができる。移動器２０２５は、入力された２値画像、多値画像に余白部分をつけたり、余白部分を削除したりして出力する。回転器２０１９、変倍器２０２０、色空間変換器２０２１、２値多値変換器２０２２、合成器２０２３、間引き器２０２４、移動器２０２５、多値２値変換器２０２６は、それぞれ連結して動作することが可能であり、例えばメモリ上の多値画像を画像回転、解像度変換する場合は、両処理をメモリを介さずに連結して行うことができる。

図３は、第１の実施形態で使用される画像の形式を説明するための図である。本実施形態で使用される画像の形式は、例えば特開２００１−１０３４７３号公報で開示されている画像パケット構造を利用する。圧縮器２０１２では、ラスタ形式の画像を、図３に示すような３２画素×３２画素単位のパケットとして並び替え、パケット単位でＪＰＥＧ圧縮を行う。

図４は、第１の実施形態で使用されるパケットデータの構造を説明するための図である。圧縮器２０１２でＪＰＥＧ圧縮を行う際には、図４に示すように、同時に、パケットにパケットの位置を示すＩＤ、色空間、ＱテーブルＩＤ、データ長等の情報を付加してヘッダ情報とする。さらに、文字、写真を示す２値のデータ（像域フラグ）も同様に圧縮して、ＪＰＥＧ情報の後に付随させる。

一方、伸長器２０１３では、上記ヘッダ情報をもとにＪＰＥＧ情報を展開し、ラスタ画像に並び替える。このようなパケット画像にすることで、画像回転のときにはパケット内部の画像のみを回転し、パケットＩＤの位置を変更することで、部分的に伸長圧縮で回転することができるため、非常に効率がよい。尚、イメージバス２０１０を流れる画像はすべてパケット画像になる。また、ファクシミリ送信や２値画像回転器２０５２、２値画像圧縮・伸長器２０５３等でラスタ画像が必要な場合は、パケット画像からラスタ画像への変換をソフトウェアによって行う。

図５は、第１の実施形態に係る画像処理装置２００内のスキャナ画像処理部２０１４の細部構成を示すブロック図である。スキャナ部２０１５から入力されたＲＧＢ各８ｂｉｔの輝度信号は、マスキング処理部２５０１によりＣＣＤのフィルタ色に依存しない標準的なＲＧＢ色信号に変換される。フィルタ処理器２５０２ではたとえば９×９のマトリクスを使用し、画像をぼかしたり、メリハリをつける処理が行われる。

ヒストグラム処理部２５０３は、入力画像中の画像信号データのサンプリングをする処理部であり、入力画像の下地レベル判定に使用される。このモジュールでは、主走査方向、副走査方向にそれぞれ指定した開始点から終了点で囲まれた矩形領域内のＲＧＢデータを、主走査方向、副走査方向に一定のピッチでサンプリングし、ヒストグラムを作成する。このヒストグラムは、下地とばしや、裏写り防止が指定されたときに読み出され、ヒストグラムから原稿の下地を推測し、下地とばしレベルとして、画像とともにメモリやＨＤＤに保存、管理され、印刷や送信時の画像処理に使用される。ガンマ処理部２５０４では、画像全体の濃度を濃く、或いは薄くするような処理が行われる。例えば、入力画像の色空間を任意の色空間に変換したり、入力系の色味に関する補正処理を行う部分である。

一方、色空間変換部２５０５では、原稿がカラーか白黒かを判断するために変倍前の画像信号を公知のＬａｂに変換する。このうち、ａ、ｂは色信号成分を表しており、比較器２５０６内の所定のレベル以上であれば有彩色、そうでなければ無彩色として、１ｂｉｔの判定信号を比較器２５０６から出力する。カウンタ２５０７は、比較器２５０６からの出力を計測する。文字／写真判定部２５０８は、画像から文字エッジを抽出し、画像を文字と写真に分離する機能を有し、その出力として、文字写真判定信号が得られる。この信号も画像とともにメモリやＨＤＤに格納され、印刷時に使用される。

特定原稿判定部２５０９は、入力画像信号と判定部内部で持つパターンがどの程度一致するかを比較し、一致又は不一致という判定結果を読み出すことが可能である。そして、その判定結果に応じて、画像を加工し、紙幣や有価証券などの偽造を防止する。

図６は、第１の実施形態に係る画像処理装置２００内のプリンタ画像処理部２０１６の細部構成を示すブロック図である。プリンタ画像処理部２０１６において、下地とばし部２６０１は、画像データの地色を飛ばし、不要な下地のカブリ除去を行う。例えば、下地とばし部２６０１は、３×８のマトリクス演算や、１次元ＬＵＴにより下地飛ばしを行う。モノクロ生成部２６０２は、カラー画像データをモノクロデータに変換する機能を有し、単色としてプリントする際に、カラー画像データ、例えばＲＧＢデータをＧｒａｙ単色に変換する。例えば、ＲＧＢに任意の定数を掛け合わせ、Ｇｒａｙ信号とする１×３のマトリクス演算から構成される。

出力色補正部２６０３は、画像データを出力するプリンタ部２０１７の特性に合わせて色補正を行う機能を有する。例えば、出力色補正部２６０３は、４×８のマトリクス演算や、ダイレクトマッピングによる処理を行う。フィルタ処理部２６０４は、画像データの空間周波数を任意に補正する機能を有し、例えば９×９のマトリクス演算を行う処理を行う。また、ガンマ補正部２６０５は、出力するカラープリンタ２０１７の特性に合わせて、ガンマ補正を行う機能を有し、通常は１次元のＬＵＴを用いて処理を行う。

中間調補正部２６０８は、出力するプリンタ部２０１７の階調数に合わせて任意の中間調処理を行う機能を有し、２値化や３２値化等の任意のスクリーン処理や、誤差拡散処理を行う。また、各処理は図示しない文字／写真判定信号によって切り替えることも可能である。ドラム間遅延メモリ２６０７は、ＣＭＹＫの各色のドラムを持つカラープリンタにおいて、ＣＭＹＫの印字タイミングをドラム間分だけずらすことで、ＣＭＹＫ画像を重ね合わせるためのメモリである。これにより、ＣＭＹＫ各色４ドラムを持つカラープリンタにおいて、画像の位置を合わせるために遅延させることができる。

図７は、第１の実施形態に係る画像処理装置２００を実現した画像入出力デバイスの外観図である。画像入力デバイスであるスキャナ部２０１５は、原稿となる紙上の画像を照明し、不図示のＣＣＤラインセンサを走査することで、ラスタイメージデータとして電気信号に変換する。尚、原稿用紙は、原稿フィーダ２７０１のトレイ２７０２にセットし、装置使用者が操作部２００６から読み取り起動指示することにより、ＣＰＵ２００１がスキャナ部２０１５に指示を与え、フィーダ２０７１のトレイ２７０２から、原稿用紙を１枚ずつフィードし、原稿画像の読み取り動作を行う。

画像出力デバイスであるプリンタ部２０１７は、ラスタイメージデータを用紙上の画像に変換する処理部であり、その方式は、感光体ドラムや感光体ベルトを用いた電子写真方式、微少ノズルアレイからインクを吐出して用紙上に直接画像を印字するインクジェット方式等があるが、どの方式でも構わない。プリント動作の起動は、ＣＰＵ２００１からの指示によって開始する。また、プリンタ部２０１７は、異なる用紙サイズや異なる用紙向きを選択することができるように複数の給紙段を持ち、例えば、それに対応した用紙カセット２７０３、２７０４、２７０５がある。また、排紙トレイ２７０６は印字し終わった用紙を受ける排紙トレイである。

図８は、第１の実施形態に係る画像処理装置２００内の操作部２００６の外観図である。図８に示すように、操作部２００６上のＬＣＤ表示部２８０１は、ＬＣＤ上にタッチパネルシート２８０２が貼られており、システムの操作画面及びソフトキーを表示するとともに、表示されているキーが押されると、その位置情報をＣＰＵ２００１に伝える。また、スタートキー２８０３は、原稿画像の読み取り動作を開始する時などに用いる。スタートキー２８０３中央部には、例えば、緑と赤の２色ＬＥＤ２８０４があり、その色によってスタートキー２８０３が使える状態にあるかどうかを示す。ストップキー２８０５は、稼働中の動作を止める働きをする。ＩＤキー２８０６は、使用者のユーザＩＤを入力する時に用いられる。リセットキー２８０７は、操作部２００６からの設定を初期化する時に用いられる。

図９は、第１の実施形態に係る画像処理装置の操作部２００６に表示される初期画面を示す図である。また、同図は、各画像処理機能設定後に戻ってくる標準画面でもある。図９において、コピータブ３１０１は、タッチされることにより、コピー設定を行うための画面への切り替えを行う。送信タブ３１０２は、タッチされることにより、スキャンした画像をファクシミリや電子メール等で送信する設定を行うための画面への切り替えを行う。ボックスタブ３１０３は、タッチされることにより、内蔵ＨＤＤにスキャン画像、ＰＤＬ画像を格納する、或いは格納されたスキャン画像、ＰＤＬ画像を印字、或いは送信する、或いは編集する設定を行うための画面への切り替えを行う。

ウィンドウ３１０４は、読込設定タブ３１０５によって設定された画像読み込み時の設定を表示するためのウィンドウである。読込設定タブ３１０５は、画像読み込み時の解像度、濃度等を設定する。送信設定タブ３１０６は、タイマー送信時のタイマー設定、ＨＤＤ或いはプリンタに印字する場合の設定等を行う。表示領域３１０７は、宛先表タブ３１０８によって指定された送信宛先の表示を行うエリアである。詳細情報タブ３１０９は、表示領域３１０７に表示された一宛先の詳細な情報の表示を行う。消去タブ３１１０は、表示領域３１０７に表示された一宛先の消去を行う。

図１０は、図９に示す読込設定タブ３１０５を押下したときに表示されるポップアップウィンドウを示す図である。図１０において、タブ３２０１は、読み取り原稿サイズをポップアップの中から選択して入力するためのタブであり、領域３２０２は、設定された読み取りサイズが表示される領域である。タブ３２０３は、原稿の読み取りモードを選択するためのタブであり、押下すると例えば、カラー／ブラック（白黒）／自動（ＡＣＳ）の３種類の読み取りモードのいずれかが選択できる。尚、色モードに関しては、前述したコピー、ボックスでも同様に選択ができる。自動の読み取りモードが設定された場合は、前述したスキャナ画像処理部２０１４におけるカウンタ２５０７の計測結果が、所定値よりも小さければ白黒原稿、大きければカラー原稿と判断し、その結果を蓄積する。また、カラー読み取りモードが設定された場合はカラー画像を、ブラック読み取りモードが設定された場合には白黒画像を蓄積する。

また、タブ３２０４は、読み取りの解像度を指定するために、ポップアップ表示から選択した解像度の入力が可能である。スライダー３２０５は、原稿の読み取り濃度を調整するためのスライダーであり、例えば、９段階の調整を行うことができる。タブ３２０６は、例えば新聞のように下地がかぶった画像を読み込む場合に、濃度を自動的に決定するために用いられる。尚、タブ３２０６については、コピーでも同様の設定が可能である。

図１１は、コピータブ３１０１が押下された場合に表示される画面を示す図である。図１１において、領域３３０１はコピーできる状態が否かを示すところであり、同時に設定したコピー部数も表示される。また、タブ３３０２はタブ３２０６と同等の機能であり、下地除去を自動的にするか否かを選択するためのタブである。スライダー３３０３は前述のスライダー３２０５と同様の機能であり、例えば濃度を９段階等に分けて調整することが可能である。

タブ３３０４は、原稿のタイプを選択するところであり、文字・写真・地図、文字、印画紙写真、印刷写真等が選択できる。タブ３３０５は、応用モードタブであり、縮小レイアウト（すなわち、複数枚の原稿を１枚の用紙に縮小印字する機能）や、カラーバランス（すなわち、ＣＭＹＫの各色微調整）等を設定することができる。また、タブ３３０６は、各種フィニッシングに関する設定を行うためのタブであり、シフトソート、ステープルソート、グループソート等が設定できる。さらに、タブ３３０７は、両面読み込み、及び、両面印刷に関する設定を行うためのタブである。

図１２は、図９に示すボックスタブ３１０３を押下したときに表示される画面の一例を示す図である。図１２において、３４０１はＨＤＤを論理的に区分した各フォルダタブを示す。各フォルダにはフォルダ番号があらかじめ割り振られており、３４０１は０番のフォルダを示している。また、フォルダ番号の横にはフォルダで使用しているディスク容量の割合が表示されている。さらに、フォルダには任意の名前をつけることができ、名前もここに表示される。３４０２は、ＨＤＤ全体の使用量が表示される。この表示は、図１２に示すように、図示であっても数値等で表示するようにしてもよい。

図１３は、図１２に示す画面において０番フォルダタブ３４０１を押下したときに表示される画面の一例を示す図である。図１３において、３５０１及び３５０２は、０番フォルダに格納されている文書を示す。文書は複数のページで構成されている。尚、３５０１はスキャンした文書であり、スキャン文書であることを示すアイコン表示、及びＨＤＤ使用量、さらにユーザが任意に設定できる文書名表示を表示している。一方、３５０２はＰＤＬから格納したＰＤＬ文書であるアイコン（すなわち、スキャン文書を示すアイコンと異なるアイコン）が表示されている。これらのアイコンを押下することで、その文書が選択されたことが、例えば反転表示等によって示される。

また、タブ３５０３は、選択された文書を送信するためのボタンである。タブ３５０４は、スキャナから原稿を読み込み、文書を生成するためのタブである。ボタン３５０５は、フォルダ内のすべての文書を選択するためのタブである。タブ３５０６は、選択された文書を削除するためのタブである。タブ３５０７は、選択された文書を印刷するためのタブである。

タブ３５０８は、選択された文書を編集するためのタブである。すなわち、タブ３５０８を押下することによって、例えば２つの文書を選択して、１つの文書に結合して保存したり、特定のページを削除する処理が行われる。また
タブ３５０９は、最後に選択された文書の詳細情報を表示するためのタブである。尚、タブ３５０９では、文書名以外にも解像度、原稿サイズ、カラーなどの情報を表示させることができる。

図１４は、第１の実施形態に係る画像処理装置のソフトウェア構成を示すブロック図である。図１４において、４０１０は、表示操作部を制御するＵＩ制御部である。また、４０２０、４０２１及び４０２２は、それぞれＵＩ制御部４０１０からの指示を受け、コピー動作、送信動作、ボックス画面からのスキャン、プリントを実行するコピーアプリケーション部４０２０、送信アプリケーション部４０２１、ボックスアプリケーション部４０２２である。また、４０２２は、ネットワークアプリケーション部４１２０からのＰＤＬプリントデータを受け、ＰＤＬプリントジョブを投入するＰＤＬアプリケーション部である。

４０３０は、機器制御部分の機器依存部分を吸収するための共通インタフェース、４０４０は、共通インタフェース４０３０から受け取ったジョブ情報を整理し、下位層のドキュメント処理部に伝達するジョブマネージャである。

ドキュメント処理としては、（１）ローカルコピーであればスキャンマネージャ４０５０とプリントマネージャ４０９０が処理部となり、（２）リモートコピーの送信ジョブ、或いは送信ジョブであればスキャンマネージャ４０５０とファイルストアマネージャ４１００が処理部となり、（３）リモートコピーの受信ジョブであればファイルリードマネージャ４０６０とプリントマネージャ４０９０が処理部となり、（４）ＬＩＳＰやＰｏｓｔＳｃｒｉｐｔ等のＰＤＬプリントではＰＤＬマネージャ４０７０とプリントマネージャ４０９０が処理部となる。

また、各ドキュメントマネージャ間の同期とり、及び各種画像処理を行うイメージマネージャ４１１０への画像処理の依頼はシンクマネージャ４０８０を介して行う。尚、スキャン、プリント時の画像処理や画像ファイルの格納はイメージマネージャ４１１０が行う。

以下では、本実施形態の画像処理装置における上記ドキュメント処理の詳細な手順について説明する。

最初に、（１）ローカルコピーのソフト処理について説明する。

まず、使用者の指示によりＵＩ制御部４０１０からコピー指示とともにコピーの設定がコピーアプリケーション部４０２０に伝えられる。コピーアプリケーション部４０２０は、ＵＩ制御部４０１０からの情報を共通インタフェース４０３０を介して、機器制御を行うジョブマネージャ４０４０に伝える。ジョブマネージャ４０４０は、スキャンマネージャ４０５０とプリントマネージャ４０９０にジョブの情報を伝達する。

次いで、スキャンマネージャ４０５０は、不図示のデバイスＩ／Ｆ（尚、デバイスＩ／Ｆは、コントローラ２０００とスキャナ部２０１５、及びコントローラ２０００とプリンタ部２０１７を結ぶシリアルＩ／Ｆ）を介して、スキャナ部２０７０にスキャン要求を行う。また、同時に、シンクマネージャ４０８０を介してイメージマネージャ４１１０にスキャン用の画像処理要求を出す。イメージマネージャ４１１０は、スキャンマネージャ４０５０の指示に従って、スキャナ画像処理部２０１４の設定を行う。そして、設定が完了した後、シンクマネージャ４０８０を介してスキャン準備完了を伝える。その後、スキャンマネージャ４０５０は、スキャナ部２０７０に対してスキャンを指示する。

スキャン画像転送完了は、不図示のハードウェアからの割り込み信号によってイメージマネージャ４１１０に伝わる。イメージマネージャ４１１０からのスキャン完了を受けて、シンクマネージャ４０８０はスキャン完了をスキャンマネージャ４０５０、プリントマネージャ４０９０に伝える。同時に、シンクマネージャ４０８０は、ＲＡＭ２００２に蓄積された圧縮画像をＨＤＤ２００４にファイル化するため、イメージマネージャ４１１０に指示する。イメージマネージャ４１１０は、指示に従ってメモリ上の画像をＨＤＤ２００４に格納する。尚、文字／写真判定信号も格納される。また、画像の付随情報として不図示のＳＲＡＭにカラー判定／白黒判定結果、下地とばしを行うための下地とばしレベル、画像入力元としてスキャン画像、色空間ＲＧＢを格納する。

また、ＨＤＤ２００４への格納が終了し、スキャナ部２０７０からのスキャン完了を受けた場合、イメージマネージャ４１１０は、シンクマネージャ４０８０を介してスキャンマネージャ４０５０にファイル化終了を通知する。スキャンマネージャ４０５０は、ジョブマネージャ４０４０に対して終了通知を返し、ジョブマネージャ４０４０は、共通インタフェース４０３０を介してコピーアプリケーション部４０２０へ返す。

プリントマネージャ４０９０は、メモリに画像が入った時点でデバイスＩ／Ｆを介して、プリンタ部２０９５に印刷要求を出す。同時に、シンクマネージャ４０８０にプリント画像処理要求を行う。シンクマネージャ４０８０は、プリントマネージャ４０９０から要求を受けた場合、画像処理設定をイメージマネージャ４１１０に依頼する。イメージマネージャ４１１０は、前述した画像の付随情報に従って、プリンタ画像処理部２０１５の設定を行い、シンクマネージャ４０８０を介して、プリントマネージャ４０９０にプリント準備完了を伝える。プリントマネージャ４０９０は、プリンタに対して印刷指示を出す。

プリント画像転送完了は不図示のハードウェアからの割り込み信号によってイメージマネージャ４１１０に伝わる。イメージマネージャ４１１０からのプリント完了を受けて、シンクマネージャ４０８０は、プリント完了をプリントマネージャ４０９０に伝える。プリントマネージャ４０９０は、プリンタ部からの排紙完了を受け、ジョブマネージャ４０４０に対して終了通知を返す。ジョブマネージャ４０４０は、共通インタフェース４０３０を介して、コピーアプリケーション部４０２０へ返す。コピーアプリケーション部４０２０は、スキャン、プリントが終了した後、ジョブ終了をＵＩ制御部４０１０に通知する。

次に、（２）リモートコピーのスキャンジョブ、送信ジョブの場合について説明する。

まず、プリントマネージャ４０９０に代わってストアマネージャ４１００がジョブマネージャ４０４０からの要求を受ける。そして、スキャン画像をＨＤＤに格納し終わった時点で、シンクマネージャ４０８０から格納完了通知を受け、それを共通インタフェース４０３０を介して、リモートコピーの場合はコピーアプリケーション部４０２０に、送信ジョブの場合は送信アプリケーション部４０２１に通知する。コピーアプリケーション部４０２０及び送信アプリケーション４０２１はこの通知の後、ネットワークアプリケーション４４２０に対してＨＤＤに格納されたファイルの送信を依頼する。

次に、依頼を受けたネットワークアプリケーション４４２０がファイルを送信する。ネットワークアプリケーション４４２０は、ジョブ開始時にコピーアプリケーション部４０２０からコピーに関する設定情報を受け、それをリモート側の機器に通知する。ネットワークアプリケーション４４２０は、リモートコピーの場合、機器固有の通信プロトコルを使用して送信を行う。また、送信ジョブの場合は、ＦＴＰ、ＳＭＢのような標準的なファイル転送プロトコルを使用する。

ファクシミリ送信する場合は、ファイル格納後、送信アプリケーション４０２１から共通インタフェース４０３０、ジョブマネージャ４０４０を介して、ファクシミリ（ＦＡＸ）マネージャ４０４１に送信が指示される。ＦＡＸマネージャ４０４１は、モデム２０５０を介して、相手機器とネゴシエーションし、必要な画像処理（例えば、カラー画像の白黒変換、多値２値変換、回転、変倍等）をイメージマネージャ４１１０に依頼し、変換後の画像をモデム２０５０を使って送信する。

また、送信先にプリンタがある場合、送信アプリケーションは、共通インタフェース４０３０を介して、プリントジョブとしてプリントの指示を行う。そのときの動作は、以下で説明するリモートコピーのプリントジョブの場合と同様である。また、送信宛先が機器内のボックス宛先になっているときは、ファイルストアマネージャ４１００によって機器内のファイルシステムに格納する。

一方、ＦＡＸ受信時は、ＦＡＸマネージャ４０４１がモデム２０５０を使って画像を受信し、画像ファイルとしてＨＤＤ２００４に格納する。ＨＤＤ２００４格納後にボックスアプリケーション４０２１に通知すると、ボックスアプリケーション４０２１から受信プリントの指示が、共通インタフェース４０３０を介して、ジョブマネージャ４０４０になされる。その後は、通常のボックスプリントジョブと同じ動作になるため省略する。

次いで、（３）リモートコピーのプリントジョブの場合について説明する。

この場合は、送信側からの画像をネットワークアプリケーション４４２０がＨＤＤに保存するとともに、コピーアプリケーション部４０２０に対してジョブを発行する。コピーアプリケーション部４０２０は、共通インタフェース４０３０を介して、ジョブマネージャ４０４０にプリントジョブを投入する。ローカルコピーとは異なり、スキャンマネージャ４０５０に代わってファイルリードマネージャ４０６０が、ジョブマネージャ４０４０からの要求を受ける。そして、受信画像をＨＤＤからメモリに展開するための要求をシンクマネージャ４０８０を介して、イメージマネージャ４１１０に行う。

また、イメージマネージャ４１１０はメモリに画像を展開する。イメージマネージャ４１１０は展開が終了した時点で、展開終了をシンクマネージャ４０８０を経由して、ファイルリードマネージャ４０６０とプリントマネージャ４０９０に伝える。プリントマネージャ４０９０は、メモリに画像が入った時点でデバイスＩ／Ｆを介して、プリンタ２０１７にジョブマネージャ４０４０から指示された給紙段、若しくはその用紙サイズを有する段等を選択し、印刷要求を指す。尚、自動用紙の場合には、画像サイズから給紙段を決定し印刷要求を出すようにする。

イメージマネージャ４１１０は、同時にシンクマネージャ４０８０にプリント画像処理要求を行う。シンクマネージャ４０８０は、プリントマネージャ４０９０から要求を受けた後、プリント画像処理設定をイメージマネージャ４１１０に依頼する。尚、この場合に例えば最適サイズ用紙がなくなり、回転が必要になれば別途回転指示も依頼する。そして、回転指示があった場合には、イメージマネージャ４１１０が画像回転部２０１９を使って画像を回転する。

さらに、イメージマネージャ４１１０は、プリンタ画像処理部２０９０の設定を行い、シンクマネージャ４０８０を介して、プリントマネージャ４０９０にプリント準備完了を伝える。プリントマネージャ４０９０は、プリンタに対して印刷指示を出す。プリント画像転送完了は、不図示のハードウェアからの割り込み信号によってイメージマネージャ４１１０に伝えられる。イメージマネージャ４１１０からのプリント完了を受けてシンクマネージャ４０８０は、プリント完了をファイルリードマネージャ４０６０とプリントマネージャ４０９０に伝える。そして、ファイルリードマネージャ４０６０は、終了通知をジョブマネージャ４０４０に返す。

プリントマネージャ４０９０は、プリンタ部からの排紙完了を受け、ジョブマネージャ４０４０に対して終了通知を返す。ジョブマネージャ４０４０は、共通インタフェース４０３０を介して、コピーアプリケーション部４０２０へ終了通知を返す。コピーアプリケーション部４０２０は、スキャン、プリントが終了した後、ジョブ終了をＵＩ制御部４０１０に通知する。

次いで、（４）ＰＤＬデータ展開格納ジョブの場合について説明する。

この場合、まず、ＰＤＬプリントを投入したホストＰＣからの要求が、ネットワークアプリケーション４１２０を経由してＰＤＬアプリケーション４０２３に伝達される。ＰＤＬアプリケーション４０２３が、ＰＤＬデータ展開格納ジョブを共通インタフェース４０３０を介して、ジョブマネージャ４０４０に指示する。このとき、ＰＤＬマネージャ４０７０とストアマネージャ４１００がジョブマネージャ４０４０からの要求を受ける。尚、画像のＲＩＰが終了した後の画像入力する部分に関しては、前述のスキャンジョブと同様である。

そして、メモリ上の画像を文字／写真判定信号を含めてＨＤＤ２００４に格納する。この際、画像の付随情報として不図示のＳＲＡＭに、カラー／白黒情報、画像入力元としてＰＤＬ画像、色空間ＣＭＹＫ若しくはＲＧＢを格納しておく。ＰＤＬ画像をＨＤＤ２００４に格納し終わった時点で、シンクマネージャ４０８０から格納完了通知を受け、それを共通インタフェース４０３０を介して、ＰＤＬアプリケーション４０２３に通知する。ＰＤＬアプリケーション４０２３は、この通知の後、ネットワークアプリケーション４４２０にＨＤＤ２００４に格納完了を通知し、ＰＤＬプリントを投入したホストＰＣへこの情報が伝達される。また、ＰＤＬプリントジョブの場合には、ＰＤＬマネージャ４０７０とプリントマネージャによって、メモリ上に展開された画像を印字する。

ＰＤＬ展開され、格納された画像のプリントは、ＵＩで印刷指示された格納文書をボックスアプリケーション部４０２２に対してプリントジョブとして発行する。ボックスアプリケーション部４０２２は、共通インタフェース４０３０を介して、ジョブマネージャ４０４０にプリントジョブを投入する。ローカルコピーとは異なり、スキャンマネージャ４０５０に代わってファイルリードマネージャ４０６０がジョブマネージャ４０４０からの要求を受ける。そして、印刷指示された画像をＨＤＤ２００４からメモリに展開するための要求をシンクマネージャ４０８０を介して、イメージマネージャ４１１０に行う。この後の動作は、リモートコピーのプリントジョブで説明した動作と同様のため省略する。

図１５は、本発明の第１の実施形態に係る画像合成処理を行う画像処理装置の構成を示すブロック図である。図１５に示すように、スキャナ部５００１又はＰＤＬ展開部５００２から入力される画像は、画像入力処理部５００３によって選択的に入力され、ここで既知の入力画像処理が行われる。ここでの処理には、入力画像が白黒画像であるかカラー画像であるかを自動判別する自動白黒カラー判定処理も含まれる。入力画像処理が施された原稿画像５００４は、画像メモリ上に格納される。一方、原稿画像５００４に合成されるウォーターマーク画像５００６は、ハードディスク５００５に格納されており、合成処理を行うためにメモリ上に展開される。そして、画像合成部５００７は、原稿画像５００４とウォーターマーク画像５００６とを合成し、合成画像５００８を出力する。そして、プリンタ部５００９は、合成画像を印字出力する。

図１６は、スキャン画像とハードディスクに予め格納された画像とを合成する画像合成処理を例にとって、本発明の第１の実施形態に係る画像処理装置による画像合成処理手順を説明するためのフローチャートである。

まず、操作部２００６から画像合成設定を行い、コピースタートキー２０１４の押下により、合成コピーを開始する（ステップＳ５０００）。次に、原稿画像をスキャンし、入力画像処理を行った画像をメモリに格納する（ステップＳ５００１）。このとき、スキャン画像中のカラー画素数を計数する入力画像処理が行われる。そして、ステップＳ５００１で計数した原稿画像中のカラー画素数を元に、原稿画像がカラー画像であるか白黒画像であるかの判定を行い、スキャン画像の色モードを決定する（ステップＳ５００２）。

一方、スキャン画像と合成する合成用画像をハードディスクからメモリに読み出す（ステップＳ５０１１）。尚、読み出す際に、合成用画像データ自身と合わせて記憶されている当該合成用画像の色モードを読み出し、合成用画像の色モードを確定する（ステップＳ５０１２）。ここで、合成用画像の色モードについては、あらかじめカラーモード及び白黒モードとして設定されたものと、前述した原稿画像の判定と同様に、自動判定の結果、カラーモード又は白黒モードと判定された場合が存在する。そこで、ハードディスクには、これらの４つのパターンで合成用画像の色モードが記憶されている。このため、あらかじめ、合成用画像を生成し、合成用画像の色モードの設定又は合成用画像の色モードの判定を行い、設定された色モードでハードディスクに保存する、又は、判定された色モードとしてハードディスクに保存しておく。

そして、スキャン画像と合成用画像の色モードが共に確定した時点で、合成出力画像の色モードの判定を行う（ステップＳ５００３）。そして、スキャン画像と合成用画像の合成処理を行う（ステップＳ５００４）。次いで、出力された合成画像に対して、ステップＳ５００３で確定した合成出力画像の色モードに対応する色空間に変換するための色空間変換処理を行う（ステップＳ５００５）。そして、色空間変換処理後の画像をプリント出力し（ステップＳ５００６）、合成コピー処理が終了する（ステップＳ５００７）。

図１７は、第１の実施形態における合成色モード優先設定手段により入力画像優先設定がなされたときの合成画像の色モードを示す図である。本実施形態では、図１７に示すように、入力画像（スキャン画像）優先設定がなされたであって、原稿画像の色モードにカラーが選択されている場合には、合成用画像の色モードが何であるかによらず、合成画像の色モードは原稿画像の色モードであるカラーとなる。反対に、原稿画像の色モードに白黒が選択された場合には、合成用画像の色モードが何であるかによらず、合成画像の色モードは白黒となる。

また、原稿画像の色モードに自動カラー選択（ＡＣＳ）が設定されている場合は、白黒カラー判定結果に応じて合成画像の色モードが選択される。すなわち、原稿画像がカラーと判定された時には、合成用画像の色モードが何であるかによらず、合成画像の色モードはカラーとなる。また、原稿画像が白黒と判定された時には、合成用画像の色モードが何であるかによらず、合成画像の色モードは白黒となる。

図１８は、第１の実施形態における合成色モード優先設定手段により合成画像優先設定がなされたときの合成画像の色モードを示す図である。図１８に示すように、合成画像優先設定がなされた場合、原稿画像又は合成画像の色モードのいずれか一方にカラーが選択されている場合、及び自動カラー選択（ＡＣＳ）でカラー判定の場合、合成画像の色モードは合成画像の色モードであるカラーとなる。反対に、原稿画像及び合成画像の両方の色モードとして白黒、又は、自動カラー選択（ＡＣＳ）で白黒が選択されている場合は、合成画像の色モードは白黒となる。

＜その他の実施形態＞
尚、本発明は、複数の機器（例えば、ホストコンピュータ、インタフェース機器、リーダ、プリンタ等）から構成されるシステムに適用しても、一つの機器からなる装置（例えば、複写機、ファクシミリ装置等）に適用してもよい。

また、本発明の目的は、前述した実施形態の機能を実現するソフトウェアのプログラムコードを記録した記録媒体（又は記憶媒体）を、システム或いは装置に供給し、そのシステム或いは装置のコンピュータ（又はＣＰＵやＭＰＵ）が記録媒体に格納されたプログラムコードを読み出し実行することによっても、達成されることは言うまでもない。この場合、記録媒体から読み出されたプログラムコード自体が前述した実施形態の機能を実現することになり、そのプログラムコードを記録した記録媒体は本発明を構成することになる。また、コンピュータが読み出したプログラムコードを実行することにより、前述した実施形態の機能が実現されるだけでなく、そのプログラムコードの指示に基づき、コンピュータ上で稼働しているオペレーティングシステム（ＯＳ）等が実際の処理の一部又は全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれることは言うまでもない。

さらに、記録媒体から読み出されたプログラムコードが、コンピュータに挿入された機能拡張カードやコンピュータに接続された機能拡張ユニットに備わるメモリに書き込まれた後、そのプログラムコードの指示に基づき、その機能拡張カードや機能拡張ユニットに備わるＣＰＵ等が実際の処理の一部又は全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれることは言うまでもない。

本発明を上記記録媒体に適用する場合、その記録媒体には、先に説明したフローチャートに対応するプログラムコードが格納されることになる。

本発明の第１の実施形態に係る画像処理システムの全体構成を示すブロック図である。 図１に示す画像処理装置２００の細部構成を示すブロック図である。 第１の実施形態で使用される画像の形式を説明するための図である。 第１の実施形態で使用されるパケットデータの構造を説明するための図である。 第１の実施形態に係る画像処理装置２００内のスキャナ画像処理部２０１４の細部構成を示すブロック図である。 第１の実施形態に係る画像処理装置２００内のプリンタ画像処理部２０１６の細部構成を示すブロック図である。 第１の実施形態に係る画像処理装置２００を実現した画像入出力デバイスの外観図である。 第１の実施形態に係る画像処理装置２００内の操作部２００６の外観図である。 第１の実施形態に係る画像処理装置の操作部２００６に表示される初期画面を示す図である。 図９に示す読込設定タブ３１０５を押下したときに表示されるポップアップウィンドウを示す図である。 コピータブ３１０１が押下された場合に表示される画面を示す図である。 図９に示すボックスタブ３１０３を押下したときに表示される画面の一例を示す図である。 図１２に示す画面において０番フォルダタブ３４０１を押下したときに表示される画面の一例を示す図である。 第１の実施形態に係る画像処理装置のソフトウェア構成を示すブロック図である。 本発明の第１の実施形態に係る画像合成処理を行う画像処理装置の構成を示すブロック図である。 スキャン画像とハードディスクに予め格納された画像とを合成する画像合成処理を例にとって、本発明の第１の実施形態に係る画像処理装置による画像合成処理手順を説明するためのフローチャートである。 第１の実施形態における合成色モード優先設定手段により入力画像優先設定がなされたときの合成画像の色モードを示す図である。 第１の実施形態における合成色モード優先設定手段により合成画像優先設定がなされたときの合成画像の色モードを示す図である。

符号の説明

５００１ スキャナ部
５００２ ＰＤＬ展開部
５００３ 画像入力処理部
５００４ 原稿画像
５００５ ハードディスク
５００６ ウォーターマーク画像
５００７ 画像合成部
５００８ 合成画像
５００９ プリンタ部

Claims (5)

1. 原稿画像中のカラー画素数に基づいて、原稿画像の色モードを決定する原稿画像色モード決定手段と、
   合成用画像のカラー画素数に基づいて、合成用画像の色モードを決定する合成用画像色モード決定手段と、
   前記原稿画像色モード決定手段で原稿画像の色モードが白黒モードであると決定された場合に、前記合成用画像の色モードにかかわらず、前記原稿画像と前記合成用画像とを合成して得られる合成画像の色モードを白黒モードに設定する第１設定手段と、
   前記合成用画像色モード決定手段で合成用画像の色モードがカラーモードであると決定された場合に、前記原稿画像の色モードにかかわらず、前記合成画像の色モードをカラーモードに設定する第２設定手段と、
   前記原稿画像と前記合成用画像とを合成する合成手段と、
   前記合成手段での合成により得られた合成画像を、合成画像に対して設定された色モードで色空間変換処理する色空間変換処理手段と、
   を有することを特徴とする画像処理装置。
2. 前記第１設定手段は、前記原稿画像色モード決定手段で原稿画像の色モードがカラーモードであると決定された場合に、前記合成用画像の色モードにかかわらず、前記原稿画像と前記合成用画像とを合成して得られる合成画像の色モードをカラーモードに設定することを特徴とする請求項１に記載の画像処理装置。
3. 前記第２設定手段は、前記合成用画像色モード決定手段で合成用画像の色モードが白黒モードであると決定された場合に、前記原稿画像の色モードに応じて、前記合成画像の色モードをカラーモードまたは白黒モードに設定することを特徴とする請求項１に記載の画像処理装置。
4. 原稿画像中のカラー画素数に基づいて、原稿画像の色モードを決定する原稿画像色モード決定工程と、
   合成用画像のカラー画素数に基づいて、合成用画像の色モードを決定する合成用画像色モード決定工程と、
   前記原稿画像色モード決定工程で原稿画像の色モードが白黒モードであると決定された場合に、前記合成用画像の色モードにかかわらず、前記原稿画像と前記合成用画像とを合成して得られる合成画像の色モードを白黒モードに設定する第１設定工程と、
   前記合成用画像色モード決定工程で合成用画像の色モードがカラーモードであると決定された場合に、前記原稿画像の色モードにかかわらず、前記合成画像の色モードをカラーモードに設定する第２設定工程と、
   前記原稿画像と前記合成用画像とを合成する合成工程と、
   前記合成工程での合成により得られた合成画像を、合成画像に対して設定された色モードで色空間変換処理する色空間変換処理工程と、
   を有することを特徴とする画像処理方法。
5. 請求項４に記載の各工程をコンピュータに実行させることを特徴とする画像処理プログラム。

Images