JP2010045444A - 画像形成システム及び画像形成方法 - Google Patents

Abstract

【課題】薄だし画像を判定する場合、パッチを設けずに、薄だし画像／手書き画像を高精度で判定することができる画像形成装置を提供することを目的とする。
【解決手段】メモリ部に記憶されている画像データを単純化した画像である薄だし画像を生成し、生成した薄だし画像を、手書き原稿シートの手書きエリアに印刷し、上記手書き原稿シートの上記手書きエリアを読み取った画像データ中、上記薄だし画像であると判断された画素を、合成対象外の画素であると判断し、上記薄だし画像以外の画素であると判断された画素を合成対象とすることによって薄だし画像を除去し、上記手書きエリアを読み取った画像データのうちで上記合成対象であると判断された画素によって構成されている画像データと、上記メモリ部に蓄積されている画像データとを合成し、印刷する。
【選択図】図１

Description

本発明は、スキャナ等の画像読取装置と、プリンタなどの印字装置と、記録媒体に保存されたデジタル画像を読み込む機能をもつ画像形成装置において、デジタル画像とユーザの手書き画像とを合成する技術に関する。

現在、複合機の機能の１つとして、記録媒体に保存されているデジタル画像と、ユーザが手で記述した画像とをスキャナで読み取り、この双方を合成して印刷する機能が知られている（たとえば、特許文献１参照。）。以下、ユーザが手で記述した合成対象画像を、手書き画像と記述する。

このような画像形成システムは、手書き画像を書き込むシートを印刷する機能と、手書き画像を書き込んだ後のシートを読込む機能と、シートの画像から手書き画像を抽出する機能と、抽出した手書き画像を、デジタル画像と合成する機能とを有する。以下、ユーザが手書き画像を書き込むためのガイドシートを、手書き原稿シートと呼称する。また、手書き原稿シートのうちで、ユーザが手書き画像を書き込む領域を、手書きエリアと呼称する。さらに、ユーザが手書き原稿シートの手書きエリアに書き込んだ手書き画像を合成するために指定した記憶媒体内のデジタル画像を、合成対象画像と呼称する。

ユーザが、合成対象画像の理想的な位置に手書き画像を書き込むガイド機能として、手書きエリアに、合成対象画像を薄く印字する機能が知られている。以下、このような薄く印字された画像を、薄だし画像と呼称する。

上記ガイド機能を実装する場合、手書きエリア内の画像が薄だし画像であるのか、手書き画像であるのかを判定する必要がある。この判定が正しく行われないと、薄だし画像が合成対象画像と合成され、ユーザの意図しない合成結果が生じる。

このために、薄だし画像に使用される色を示すパッチを、手書き原稿シートに印刷し、読み取りの際にはこのパッチに基づいて、薄だし画像と手書き画像とを正しく判定する発明が知られている（たとえば、特許文献２参照。）。
特開２００３−８０７８９号公報 特開２００７−２４３５２９号公報

特許文献２に記載の方法では、手書き原稿シートのいずれかの部分に、薄だし画像を判定するためのパッチを用意しなければならない。また、上記パッチに使用されている色に基づいて、薄だし画像を判定するためには、合成写真を全てスキャンし、スキャンによって得た読み取りデータのうちで使用されている色の情報を得る必要がある。

上記従来例では、１枚の画像に使用される画素数が多い場合、上記のように、合成写真のデータの全てをスキャンするための時間が長いという問題がある。また、上記従来例では、手書き原稿シート上の特定部位に、パッチを作成する必要があるので、手書き原稿シートのデザインが限られるという問題がある。

本発明は、薄だし画像を判定する場合、パッチを設けずに、薄だし画像／手書き画像を高精度で判定することができる画像形成装置を提供することを目的とする。

本発明は、メモリ部に記憶されている画像データを単純化した画像である薄だし画像であって、手書き原稿シートの手書きエリアに薄だし画像印刷するための薄だし画像を生成する薄だし画像生成部と、上記薄だし画像生成部が生成した薄だし画像を、上記手書き原稿シートの上記手書きエリアに印刷する薄だし画像印刷部と、上記手書き原稿シートの上記手書きエリアを読み取った画像データ中、上記薄だし画像であると判断された画素を、合成対象外の画素であると判断し、上記薄だし画像以外の画素であると判断された画素を合成対象とすることによって薄だし画像を除去する薄だし画像除去部とを有し、上記手書きエリアを読み取った画像データのうちで上記合成対象であると判断された画素によって構成されている画像データと、上記メモリ部に蓄積されている画像データとを合成し、印刷することを特徴とする画像形成システムである。

本発明によれば、手書きエリアから抽出した画像の画素が、薄だし画像の一部の画素であるのか、手書き画像の一部の画素であるのかを判定する際、パッチを設けずに、薄だし画像／手書き画像を高精度で判定することができるという効果を奏する。

発明を実施するための最良の形態は、次の実施例である。

図１は、本発明の実施例１であるＭＦＰ１００を示す斜視図である。

ＭＦＰ１００は、画像形成システムの例であり、表示部１０１と、操作部２−３００と、記憶媒体制御部２−３０２と、スキャナ部２−１００と、プリンタ部２−２００とを有する。

図２は、ＭＦＰ１００を示すブロック図である。

スキャナ部２−１００は、たとえばＣＩＳ方式、またはＣＣＤ方式のカラースキャナによって構成されている。ライン上に配置されているセンサを一方向に駆動させながら、画像のデジタルデータを形成する装置である。照明２−１０１が、原稿にあてた光の反射光を、イメージセンサ２−１０２が受光し、その量を、ＡＤ変換部２−１０３がデジタルデータに変換する。得られたデータを、センサデータ制御部２−１０４が、ＲＡＭ２−４０２に保存する。イメージセンサ２−１０２と照明２−１０１との移動制御を、センサ駆動制御部２−１０５が行う。

プリンタ部２−２００は、たとえばインクジェット方式のプリンタによって構成されている。インクジェット方式のプリンタは、不図示のインクカートリッジから供給されるインクを、印字用紙に吹きつけることによって、画像を形成する装置である。まず、印字されるべき画像データの印字用データが、印字データ制御部２−２０４に保存される。たとえば、ＵＩ（ユーザインタフェース）部２−３０１を介して、ユーザからコピージョブが依頼されると、スキャナ部２−１００が読み取り、制御部２−４００を経由した画像データの印字用データが、印字データ制御部２−２０４に保存される。また、ＵＩ部２−３０１を介して、ユーザが記憶媒体制御部２−３０２内の画像の印字を指定すると、制御部２−４００が記憶媒体２−３０３から読み出し、印字用データに変換されたデータが、印字データ制御部に保存される。さらに、パソコン等の不図示の外部記憶装置から、印字ジョブが依頼されると、不図示の外部装置とのインタフェース部を介して、外部記憶装置から入力される画像データの印字用のデータが、印字データ制御部２−２０４に一時的に作成される。

印字駆動制御部２−２０２は、印字データ制御部２−２０４に保存されている印字用データに応じて、インクの吹き付け位置を決定する。この決定された位置に基づいて、印字用紙を印字用紙搬送部２−２０３で搬送し、インクを吐出させる部品であるプリントヘッド２−２０１を駆動させる。以上の構成によって、印字用紙上に画像を形成する。

操作部２−３００は、図２に示すＭＦＰ１００に、ユーザが指令を出す部分である。ＵＩ部２−３０１は、たとえばキーや液晶画面で構成されているオペレーションパネルなどの操作部分である。記憶媒体制御部２−３０２は、ＳＤカードなどの着脱可能な記憶媒体２−３０３を、ＭＦＰ１００と結合する部分である。結合された記憶媒体制御部２−３０２に、画像データが存在すれば、記憶媒体制御部２−３０２は、それを認識し、制御部２−４００に通達する。

制御部２−４００は、ＭＦＰ１００を制御する。ＲＯＭ２−４０１は、このＭＦＰ１００の制御プログラムが格納されている不揮発性メモリである。ＣＰＵ２−４０３は、この制御プログラムを実行することによって、スキャナ制御ユニット、プリンタ制御ユニット等として機能する。ＣＰＵ２−４０３は、実施例１では、上記の他に、手書き原稿シート印刷ユニット、手書き原稿シートスキャンユニット、合成実行ユニット及び合成結果印刷ユニットとして機能する。スキャナ制御ユニットは、原稿のデジタルデータを、スキャナ部２−１００が作成する制御を行う。プリンタ制御ユニットは、デジタルデータに基づいて、プリンタ部２−２００が用紙上に形成する制御を行う。手書き原稿シート印刷ユニットは、ユーザが操作部２−３００を介して、手書き原稿シートの作成依頼をしたときに、合成対象画像を用いて、手書き原稿シートのデジタルデータを作成し、プリンタ部２−２００が出力する制御を行う。スキャナ部２−１００が、手書き原稿シートをスキャンすると、手書き原稿シートスキャンユニットが、デジタル画像データを取得し、この中から手書き画像を抽出する。合成実行ユニットは、手書き画像と合成対象画像とを合成し、この合成結果をプリンタ部２−２００に送信する。ＲＡＭ２−４０２には、スキャナ部２−１００が読み取った画像データや、プリンタ部２−２００が印字するためにＪＰＥＧ形式のファイルを変換した印字データなど、一時的に必要なデータが逐次保存され、必要がなくなり次第、削除される。

図３は、手書き原稿シートＳＨ１を示す図である。

シート判別マーク３−１は、手書き原稿シートＳＨ１をスキャンしたときに、スキャンした原稿が「手書き原稿シートＳＨ１」であることを判別するために使用するマークである。このシート判別マーク３−１には、合成したい画像が、記憶媒体に格納されている画像のうちで、どの画像であるかを示す情報などが入っている。このために、手書き原稿シートＳＨ１によって、シート判別マーク３−１の形状が変化する。

用紙選択エリア３−２は、合成対象画像と手書き画像とを合成した結果を印刷する場合における用紙サイズを、ユーザが選択する欄である。エリア検出マーク３−３ａ〜３−３ｄは、手書き原稿シートＳＨ１をスキャンした際に、手書き部分を正しく抽出するためのマークである。実施例１では、エリア検出マーク３−３ａ〜３−３ｄを、原稿台に対して手書き原稿シートＳＨ１が傾いている場合の傾き検出マークとしても用い、また、傾き補正のためのパラメータを求めるためのマークとして用いる。

手書きエリア３−４は、ユーザが手書き画像を書き込む領域である。手書きエリア３−４には、薄だし画像３−５が印字されている。この薄だし画像３−５は、合成対象画像から作成され、薄く印字されている画像であり、手書き画像と合成対象画像とを合成した結果、手書き画像と合成対象画像との位置関係がどのようになるかを、ユーザが分かり易いように印字されている画像である。

図４は、実施例１における手書き原稿シートＳＨ１を印刷する動作を示すフローチャートである。

「画像データ」は、画像中のある画素のＲ、Ｇ、Ｂの輝度値をそれぞれ持つ形式で構成されているデジタルデータである。また、「二値化画像データ」は、１つの画素を、１か０かの値で示す画像データである。

Ｓ４−１で、ユーザがＵＩ部２−３０１を操作し、手書きナビシート印刷実行を選択する。このときに、ＣＰＵ２−４０３は、手書き原稿シート印刷ユニットとして動作し、記憶媒体２−３０３に保存されている合成対象画像のサムネイル画像を、ＲＡＭ２−４０２に作成し、ＵＩ部２−３０１に表示する。Ｓ４−２で、ユーザは、表示されている合成対象画像を見ながら、ＵＩ部２−３０１を操作し、合成を行いたい合成対象画像を選択する。

図１１は、合成対象画像の一例と、それによって作成される手書き原稿シートＳＨ１の一例と、記入された手書き原稿シートＳＨ１の一例とを示す図である。

図１１（ａ）は、実施例１における合成対象画像の一例を示す図である。Ｓ４−３で、ＣＰＵ２−４０３は、記憶媒体制御部２−３０２を介して、記憶媒体２−３０３から合成対象画像データを読み込み、ＲＡＭ２−４０２に一時的に保存する。また、このときに、ＣＰＵ２−４０３は、記憶媒体２−３０３内のどの画像画像が合成対象画像であるかを示す情報が埋め込まれているシート判別マーク３−１を作成する。

薄だし画像のフォーマットの縦横比と、合成対象画像の縦横比とが異なる場合、合成対象画像を、薄だし画像のフォーマットの縦横比に合わせてカットする。カットする場合、合成対象画像のどの部分をカットして薄だし画像を作成したのかを示す情報も、シート判別マーク３−１に埋め込む。

Ｓ４−４で、図１１（ａ）に示す合成対象画像を、手書き原稿シートＳＨ１の手書きエリア３−４に、薄だし画像として印字する画像データを作成する。まず、合成対象画像と手書きエリア３−４との縦横比が異なれば、薄だし画像に隙間ができないように、合成対象画像をトリミングして縦横比を合わせる。トリミングが発生していれば、トリミングが発生していることを示す情報を、シート判別マーク３−１に挿入する。その後に、手書きエリア３−４に書き込めるデータサイズにリサイズする。

図５は、手書き原稿シートＳＨ１に印刷する薄だし画像を作成する場合における入出力の関係を示すグラフである。

次に、図５に示すように、合成対象画像の階調数を減らし、合成対象画像を、低濃度領域のみで表現する画像へ変換する。合成対象画像の階調数を減らす場合、ＲＧＢ全ての輝度値に対して、階調数を減らし、カラー画像の薄だし画像データを作成する方法と、一度グレースケールに変換してから階調数を減らし、モノクロ画像の薄だし画像データを作成する方法とがある。上記処理によって作成した画像データを、薄だし画像データとする。

ＣＰＵ２−４０３は、上記方法で作成したシート判別マーク３−１と、薄だし画像データとを、ＲＡＭ２−４０２に保存する。

Ｓ４−５で、ＣＰＵ２−４０３は、ＲＯＭ２−４０１に保存されている手書き原稿シートＳＨ１のデジタル画像のテンプレートデータを読み出し、ＲＡＭ２−４０２に保存する。Ｓ４−６で、ＣＰＵ２−４０３は、手書き原稿シートＳＨ１の手書きエリア３−４に、図１１（ａ）に示す薄だし画像データを嵌め込み、シート判別マーク３−１を、所定の位置に嵌め込み、手書き原稿シートＳＨ１に印字する画像データを作成する。Ｓ４−７で、ＣＰＵ２−４０３は、作成された手書き原稿シートＳＨ１の画像データを、プリンタ部２−２００に出力させる。

図１１（ａ）は、ユーザが指定した合成対象画像の一例を示す図である。図１１（ｂ）は、図１１（ａ）の合成対象画像から作成された手書き原稿シートＳＨ１の例を示す図である。

以上が、手書き原稿シートＳＨ１のプリントアウトの動作説明である。

ユーザは、手書き原稿シートＳＨ１のプリントアウトが終了次第、手書き原稿シートＳＨ１に記入する。まず、ユーザは、用紙選択エリア３−２のうちで、合成結果を印字するために望ましいサイズを１つ選択し、マークシートを塗りつぶす。次に、ユーザは、手書き原稿シートＳＨ１上の手書きエリア３−４の中に、合成対象画像と合成したい手書き画像とを描画する。

図１１（ｃ）は、ユーザが書き込みを終了した手書き原稿シートＳＨ１の状態の例を示す図である。描画を終了した後に、ユーザは、手書き原稿シートＳＨ１をスキャンさせる。ユーザが手書き原稿シートＳＨ１をスキャンさせることによって、手書き画像と合成対象画像との合成が開始される。

図６は、実施例１において、手書き原稿シートＳＨ１をスキャンする動作を示すフローチャートである。

ＣＰＵ２−４０３は、今度は、手書き原稿シートＳＨ１をスキャンするスキャンユニットとして機能する。

Ｓ６−１で、ＣＰＵ２−４０３は、手書き原稿シートＳＨ１を読み込みできることを、ＵＩ部２−３０１に表示する。ユーザが、ＵＩ部２−３０１を操作し、表示させるようにしてもよい。ユーザは、それを確認し、ユーザによる書き込みが終了した手書き原稿シートＳＨ１を、スキャナ部２−１００に読み取らせる。ＣＰＵ２−４０３は、読み取らせた結果作成された画像データを、ＲＡＭ２−４０２に保存する。

Ｓ６−２で、ＣＰＵ２−４０３は、ＲＡＭ２−４０２に保存されているシート判別マーク３−１、用紙選択エリア３−２、エリア検出マーク３−３ａ〜３−３ｄの位置情報を得る。Ｓ６−３で、ＣＰＵ２−４０３は、各マーク、エリアを解析する。まず、シート判別マーク３−１を解析する。この解析の結果、読み取ったシートが描画合成印刷指示シートであると判断すると、Ｓ６−１０で、ユーザにエラー通知をして終了する。また、シート判別マーク３−１には、記憶媒体制御部２−３０２のどの画像ファイルが、合成対象画像であるかを示す情報が含まれている。これを検出し、記憶媒体制御部２−３０２を介して、記憶媒体２−３０３にアクセスし、合成対象画像が記憶媒体２−３０３に存在するかどうかを調べる。確認の結果、合成対象画像が存在しないと判断されると、Ｓ６−１０で、ユーザにエラーを通知して終了する。

次に、用紙選択エリア３−２を解析する。実施例１において、用紙選択エリア３−２には、マークシート方式が採用されているので、予め決められた座標のマークエリアに、一定以上の濃度の画素が検出された数量に応じて、マークへの塗りつぶしの有無を判別する。シートの記入方法が間違っていると判断されると、Ｓ６−１０で、ユーザにエラー通知をして終了する。記入方法が正しいと判断されると、次のＳ６−４へ進む。

Ｓ６−４では、シート判別マーク３−１に含まれている情報に基づいて、記憶媒体に含まれている画像データのうちで、どの画像が印刷対象画像であるかを示す情報をＲＡＭ２−４０２に保存する。さらに、合成シート印字時に、縦横比の違いなどによってトリミングが発生していれば、トリミングが発生していることを示す情報も判別マークに含まれているので、この情報を解析し、保存する。また、用紙選択エリア３−２でユーザが選択した用紙サイズを示す情報を検出し、この検出結果を、ＲＡＭ２−４０２に一時的に保存する。

Ｓ６−５で、ＣＰＵ２−４０３は、エリア検出マーク３−３ａ〜３−３ｄの正確な位置を、パターンマッチング等によって特定する。Ｓ６−５の結果、ＣＰＵ２−４０３は、エリア検出マークの位置を算出する。その結果、手書き原稿シートＳＨ１が、スキャナの読み取り台に対して傾いていると判断されると、Ｓ６−６で、エリア検知マークを含む領域を回転補正する。この場合、アフィン変換などの技術を用いることによって、回転補正する。

Ｓ６−７で、ＣＰＵ２−４０３は、エリア検知マークを含む領域から、手書きエリア３−４内の画像データを切り出す。このときに、手書きエリア３−４が存在する位置座標を、エリア検出マーク３−３ａ〜３−３ｄと手書きエリア３−４との相対的な位置に基づいて算出する。Ｓ６−８で、ＣＰＵ２−４０３は、手書きエリア３−４内のどの画素が手書き画像であるかを示す二値画像データを作成する。以降、手書き画像であることを示す二値画像データを、マスクデータと呼称する。つまり、上記マスクデータは、手書きエリア３−４における手書き画像を示す二値画像データであり、手書きエリア３−４の画像データと同じ縦横の画素数で構成されている。

次に、上記マスクデータの作成方法について説明する。手書きエリア３−４の画像データを１画素ずつ判定し、その画素が薄だし画像以外の画像の一部であると判定されると、マスクデータ中の同じ位置にある画素を１とする。逆に、薄だし画像の一部であると判定されると、０とする。

図７は、薄だし画像とそれ以外の画像とを判定する動作を示すフローチャートである。

Ｓ７−１で、ＣＰＵ２−４０３は、手書きエリア３−４内の画像データのうちで、ある１つの画素について、ＲＧＢの輝度値を取り出す。Ｓ７−２で、色差が、一定値以上であるかどうかを判定する。上記色差は、ある画素のＲＧＢの輝度値のうちで、最大のものから最小のものを引いた値である。なお、一般的には、色差は、ある２色の色の違いを指すが、実施例では、上記のように、ある画素のＲＧＢ値のうちで最大値から最小値を引いたものとする。

以下、Ｓ７−２について説明する。

図８は、ある薄だし画像について、ＲＧＢの各輝度値によるヒストグラムを示す図である。

図５に示す薄だし画像の濃さ特性から分かるように、薄だし画像は、ある一定値以下の濃度にならないように印字される。この薄だし画像をスキャナで読み込み、ＲＧＢの輝度値で表現される画像データにすると、薄だし画像の一部である画素は、一定値以下の輝度値にはならない（一定値よりも高い輝度値である）。このことを示す薄だし画像のスキャン画像のヒストグラムを、図８に示す。

以上のことから、薄だし画像の一部である画素は、色差が一定値以上にはならない。Ｓ７−２は、これを利用して、薄だし画像と手書き画像とを判定する。薄だし画像の取り得る色差の値（以後、ＳＡＴ＿ＭＡＸと呼称する）を、ＲＯＭ２−４０１内に予め保存し、この判定の際に、上記ＳＡＴ＿ＭＡＸ以上の色差をとる画素は、薄だし画像以外の画像であると判定する。

図９は、ある蛍光黄色ペンで書いた画像について、輝度値によるヒストグラムを示す図である。

たとえば、黄色の蛍光ペンで何かが記入されている結果をスキャンした画像を、ヒストグラムにした例を、図９に示す。図９に示すように、黄色の蛍光ペンは、色差がとても大きい色であるので、その画素の色差は、ＳＡＴ＿ＭＡＸを超える可能性が高い。よって、色差がＳＡＴ＿ＭＡＸ以上であるかどうかを判定することによって、黄色の蛍光ペンで書かれた手書き画像が、薄だし画像以外の画像であると、判定することができる。

薄だし画像上に、黄色の蛍光ペン等で記入された画素は、ＲＧＢの輝度値は、下に印字されている薄だし画像のもつ輝度値の分、輝度値の小さいほうにシフトする。このときに、シフトした後も、色差がそのまま維持されれば、Ｓ７−２の判定において、薄だし画像以外の画像であると判断できる。また、シフトした結果、薄だし画像よりもＲＧＢの輝度値平均が小さくなれば、Ｓ７−３で、薄だし画像以外の画像であると判定できる。実施例１では、予め検討によって得られた適当な値を、ＳＡＴ＿ＭＡＸとして、ＲＯＭ２−４０１に保存されている。

以上が、Ｓ７−２に関する説明である。Ｓ７−２で、色差が一定値以上であれば、薄だし画像以外の画像であると判定され（Ｓ７−５）、次の画素を判定する（Ｓ７−６）。色差が一定値以下であれば、Ｓ７−３へ進む。

Ｓ７−３で、ＲＧＢの輝度値を平均させた値が一定値以下であるかどうかを判定する。

以下、Ｓ７−３について説明する。薄だし画像をスキャンした場合、薄だし画像のなかのある画素の輝度値平均は、図５に示す薄だし画像の特性から、一定値以下にはならない。以後、この一定値を、ＬＵＭ＿ＭＩＮと呼称する。

したがって、一定値以下の輝度値平均をとる画素を、薄だし画像以外の画像の画素であると判定することができる。

図１０は、ある黒ペンで書いた画像について、輝度値によるヒストグラムを示す図である。

たとえば、黒のペンで何かが記入された結果をスキャンした画像を、ヒストグラムにした例を図１０に示す。図１０に示すように、黒のペンは、色差は小さいが、輝度値も同じく小さい。したがって、黒ペンで書かれた画像の画素の輝度値は、ＬＵＭ＿ＭＩＮ以下になる可能性が高い。

以上が、Ｓ７−３についての説明である。Ｓ７−３で、輝度値が一定値以下であれば、薄だし画像以外の画像であると判定される（Ｓ７−５）。輝度値が一定値以上であれば、薄だし画像であると判断される（Ｓ７−４）。

実施例１では、Ｓ７−３で判定に使用している値を、ＲＧＢ輝度値の平均として、閾値を設けている。この変形例として、次の例を考えることができる。つまり、ＲＧＢの輝度値の平均に対し、最低値の閾値と、最高値の閾値とをもち、判定に用いる形式を考えることができる。ＲＧＢのそれぞれの輝度値に対して最低値の閾値を持ち、判定に用いる形式または、最低値と最高値とのどちらに対しても閾値を持ち、判定する形式を考えることができる。

これらの場合、使用する全ての有効な閾値を予め決定し、ＲＡＭ２−４０２に保存しておくか、または解析中に作成する必要がある。ＣＰＵ２−４０３は、Ｓ７−４で、判定した画素が薄だし画像であると判断されれば、マスクデータ内にその情報を保存する。ＣＰＵ２−４０３は、Ｓ７−５で、判定した画素が薄だし画像以外の画像であると判断されれば、マスクデータ内にその情報を保存する。

次に、マスクデータへの情報の保存について、詳しく説明する。

ＲＡＭ２−４０２内に保存されているマスクデータ内に、次のデータを保存する。つまり、判定した画素に対応する位置にある画素について、薄だし画像であれば１を、それ以外であれば０を保存する。

以上のＳ７−２と７−３とによる判定を、手書きエリア３−４内の画像の画素の全てについて実行し（Ｓ７−６、Ｓ７−７）、Ｓ６−８においてマスクデータを作成する。全ての画素に対する判断が終了し、マスクデータが完成する。このようにして作成されたマスクデータには、イレギュラーな画素によるノイズが生じている場合がある。したがって、Ｓ６−８の動作には、このノイズを消去する処理も含まれている。このノイズ除去処理には、メディアンフィルタリング等の孤立点除去フィルタ処理を実施する等の方法がある。

Ｓ６−９では、ＣＰＵ２−４０３は、Ｓ６−８で作成したマスクデータと手書きエリア３−４内の画像と合成対象画像とを用いて、合成結果を作成する。

以下に、この３枚の画像（マスクデータ、手書きエリア３−４内の画像、合成対象画像）を用いた合成手順について説明する。

まず、ＲＡＭ２−４０２に保存されている合成対象画像の指定情報に基づいて、記憶媒体２−３０３に保存されている合成対象画像を、ＲＡＭ２−４０２に展開する。次に、合成対象画像と手書きエリア３−４内の画像とマスクデータとを、同じ解像度に変換する。薄だし画像は、合成対象画像の一部をトリミングして予め作成され、その情報は、手書き原稿シートＳＨ１上のシート判別マーク３−１に記録されている。この情報は、Ｓ６−４で解析され、この解析結果が、ＲＡＭ２−４０２に保存されているので、この情報から、手書きエリア３−４内の画像とマスクデータとを合成する場合、合成対象画像のどの画素を開始点に合成するかを判定する。

合成中心が決定した後に、以下のようにして、手書き画像を合成対象画像に合成する。まず、マスクデータをスキャンし、１になっている画素を発見する。この発見後に、そのマスクデータと同じ位置に存在している手書きエリア３−４内の画像データの画素と、合成対象画像の画素とを発見する。発見したら、その位置の合成対象画像の画素を、手書きエリア３−４内の画像データの画素で上書きする。この処理を、全てのマスクデータに対して実行することによって、手書きエリア３−４の画像データを構成する、全ての画素のうちで、手書き画像の一部である画素を、合成対象画像と合成することができる。

図１２は、手書き原稿シートＳＨ１を用いた合成結果の一例を示す図である。

ＣＰＵ２−４０３は、ＲＡＭ２−４０２に保存されている情報のうちで、用紙選択エリア３−２で指定されたサイズを読み出し、そのサイズに合わせて合成結果を変倍し、印刷用データを作成する。このデータを、プリント部の印字データ制御部２−２０４に送信し、印字を開始する。

なお、実施例１では、手書きエリア３−４内に存在する画像は、薄だし画像または手書き画像のみであると説明したが、それ以外の画像が存在する場合も、薄だし画像であるか、それ以外の画像であるかを判定することができる。手書きエリア３−４内に存在する画像であって、薄だし画像でも手書き画像でもない画像の例として、定型文がある。このような画像は、ユーザが定型文と手書き画像とを同時に合成対象画像に合成したいときに用いられる。定型文は、薄だし画像よりも色差が大きく、輝度値平均が小さい画素であり、薄だし画像を上書きすることによって形成される。このような画素で構成されていれば、実施例１において、薄だし画像であるかそれ以外の画像であるかを判定し、薄だし画像のみを消去することができる。

上記構成によって、薄だし画像が存在している手書きエリア３−４から、薄だし画像以外の画像を、精度よく抽出し、合成対象画像と合成することができる。

実施例２では、手書き原稿シートＳＨ２の構成に、手書き原稿シートＳＨ２が印字された用紙の色を知るためのスペースを設ける。以降、このスペースを、用紙検知エリア１３−６と呼称する。用紙検知エリア１３−６は、手書き原稿シートＳＨ２の印字用データの一部に設けられている。

図１３は、実施例２で使用を想定する用紙検知エリア１３−６を含む手書き原稿シートＳＨ２の一例を示す図である。実施例２では、用紙検知エリア１３−６は、黒ふちの長方形であり、対象領域を黒枠で囲み、ユーザに特別な領域であることを喚起することによって、ユーザが誤って用紙検知エリア１３−６に記入をすることを防ぐ。文字や絵によって、注意を直接喚起するようにしてもよい。なお、これら以外の装置構成、手書き原稿シートＳＨ２の印刷方法については、実施例１と同様であるので、詳細な説明を省略する。

図１４は、実施例２において、用紙検知エリア１３−６を含む手書き原稿シートＳＨ２を用いたシートを解析する動作を示すフローチャートである。なお、Ｓ１４−１〜Ｓ１４−４は、実施例１で示した読み取りのフローチャート中、Ｓ６−１〜Ｓ６−４と同様であるので、それらの詳細な説明を省略する。

Ｓ１４−５で、ＣＰＵ２−４０３は、まず、用紙検知エリア１３−６の位置を、シート判別マーク３−１との相対位置に基づいて推定する。次に、用紙検知エリア１３−６の位置の画像データを、スキャナ部２−１００を駆動させることによって取得し、ＲＡＭ２−４０２に保存する。Ｓ１４−６では、ＣＰＵ２−４０３は、Ｓ１４−５で取得した画像データを解析し、手書き原稿シートＳＨ２が印字された用紙の色特性情報を得る。この用紙の色特性情報に基づいて、薄だし画像と手書き画像との判定に使用するＳＡＴ＿ＭＡＸとＬＵＭ＿ＭＩＮとを作成する。

このように、用紙の色特性情報から、ＳＡＴ＿ＭＡＸとＬＵＭ＿ＭＩＮとを作成する理由は、以下のとおりである。

薄だし画像を形成するプリンタ部に使用されるインク滴の色の特性が、印字先の用紙の性質に左右されやすい材質である場合、薄だし画像をその上に形成し、その結果を読み込んだときに得られる出力は、用紙の性質によって大きく異なる。たとえば、Ｒの輝度値の大きい用紙に、薄だし画像が印字されると、これをスキャンして得られる出力もまた、Ｒの輝度値が他と比べて大きくなる。これと同様に、用紙を一定領域読み込んだときに、その結果得られた画像を、ＲＧＢ輝度値のヒストグラムにした場合に、分布が広い用紙であれば、その上に単色で形成した薄だし画像のスキャン出力も、ヒストグラムの分布が広くなる。

図１５は、ある用紙のＲＧＢ各輝度値のヒストグラムと、その用紙にシアン、マゼンダ、イエローのそれぞれの薄だし画像を印字し、それぞれをスキャンした場合に得られるＲＧＢ各輝度値のヒストグラムとを示す図である。図１５（ａ）は、ある用紙１をそのままスキャンした場合のヒストグラムである。図１５（ｂ）は、プリンタ部２−２００に搭載されているインクが染料で構成されている場合、用紙１にシアンのみで形成された薄だし画像を印字し、スキャンした結果のヒストグラムである。図１５（ｃ）は、図１５（ｂ）と同様に、マゼンダのみで作成した薄だし画像のヒストグラムである。図１５（ｄ）は、図１５（ｂ）と同様に、イエローのみで作成した薄だし画像のヒストグラムである。

図１６は、図１５に示すヒストグラムを、ＲＧＢごとに作成したグラフである。図１６（ａ）は、用紙１に印字されたシアンの薄だし画像、マゼンダの薄だし画像、イエローの薄だし画像のそれぞれについて、Ｒの輝度値ヒストグラムを示す図である。図１６（ｂ）は、用紙１に印字されたシアンの薄だし画像、マゼンダの薄だし画像、イエローの薄だし画像のそれぞれについて、Ｇの輝度値ヒストグラムを示す図である。図１６（ｃ）は、用紙１に印字されたシアンの薄だし画像、マゼンダの薄だし画像、イエローの薄だし画像のそれぞれについて、Ｂの輝度値ヒストグラムを示す図である。

図１７は、図１５で使用した用紙以外のある用紙のＲＧＢ各輝度値のヒストグラムと、その用紙にシアン、マゼンダ、イエローのそれぞれの薄だし画像を印字し、それぞれをスキャンした場合に得られるそれぞれのＲＧＢ各輝度値のヒストグラムとを示す図である。図１７（ａ）は、ある用紙２をそのままスキャンした場合のヒストグラムである。図１７（ｂ）は、プリンタ部２−２００に搭載されているインクが染料で構成されている場合、用紙２にシアンのみで形成された薄だし画像を印字し、スキャンした結果のヒストグラムである。図１７（ｃ）は、図１７（ｂ）と同様に、マゼンダのみで作成した薄だし画像のヒストグラムである。図１７（ｄ）は、図１７（ｂ）と同様に、イエローのみで作成した薄だし画像のヒストグラムである。

図１８は、図１７に示すヒストグラムを、ＲＧＢごとに作成したグラフである。図１８（ａ）は、用紙２に印字されたシアンの薄だし画像、マゼンダの薄だし画像、イエローの薄だし画像のそれぞれについて、Ｒの輝度値ヒストグラムを示す図である。図１８（ｂ）は、用紙２に印字されたシアンの薄だし画像、マゼンダの薄だし画像、イエローの薄だし画像のそれぞれについて、Ｇの輝度値ヒストグラムを示す図である。図１８（ｃ）は、用紙２に印字されたシアンの薄だし画像、マゼンダの薄だし画像、イエローの薄だし画像のそれぞれについて、Ｂの輝度値ヒストグラムを示す図である。

図１９は、薄だし画像を印字した際に、用紙毎に、ＲＧＢの輝度値の平均値と、分散を求めた結果をまとめた図である。この図１９を見れば、全ての薄だし画像の輝度値が、用紙の色に影響を受けていることが分かる。紙の色の輝度値が大きい用紙１の上に打たれた薄だし画像の輝度値は、同じように大きくなる。また、分散の大きい用紙２に打たれた薄だし画像の分散は、大きいことが分かる。ＣＰＵ２−４０３は、以上の性質を利用し、Ｓ１４−６では、Ｓ１４−５の画像データに基づいて、ＳＡＴ＿ＭＡＸとＬＵＭ＿ＭＩＮとを算出する。

図２０は、手書き原稿シートＳＨ２が印字された用紙の色から、薄だし画像の判定のためのしきい値を求める動作を示すフローチャートである。図２０（ａ）は、ＳＡＴ＿ＭＡＸとＬＵＭ＿ＭＩＮとを算出する動作を示すフローチャートであり、図２０（ｂ）は、図２０（ａ）で使用されている文字列の概念を示す図である。

Ｓ２０−１で、ＣＰＵ２−４０３は、Ｓ１４−５で得られた用紙の画像情報から、全ての画素の輝度値について、平均値Ｐ＿ＡＶＥと、分散Ｐ＿ＳＩＧとを算出する。Ｓ２０−２で、ＣＰＵ２−４０３は、Ｐ＿ＡＶＥとＰ＿ＳＩＧとから、用紙の輝度値のＲＧＢ平均値がとり得る値のうちで、最低の値を算出する。この値をＰ＿ＭＩＮとする。

Ｓ２０−３で、まず、ＣＰＵ２−４０３は、ＲＯＭ２−４０１に予め保存してあるインクの色特性情報を読み込む。次に、薄だし画像を形成する際に使用する色のうちで、一番輝度値が低くなる色の情報を読み込む。この２つの情報から、薄だし画像が、理論上でとり得る最低の値Ｉ＿ＭＩＮを作成する。Ｓ２０−４で、ＣＰＵ２−４０３は、用紙の輝度値の最低値Ｐ＿ＭＩＮ、用紙の分散値Ｐ＿ＳＩＧ、薄だし画像の理論上の最低値Ｉ＿ＭＩＮから、ＬＵＭ＿ＭＩＮを算出する。Ｓ２０−５で、ＣＰＵ２−４０３は、Ｐ＿ＡＶＥとＰ＿ＳＩＧとから、用紙の輝度値のＲＧＢ平均値がとり得る値のうちで、最大の値を算出する。この値をＰ＿ＭＡＸとする。Ｓ２０−６で、ＣＰＵ２−４０３は、Ｉ＿ＭＩＮとＰ＿ＭＡＸとから、ＳＡＴ＿ＭＡＸを算出する。

以上が、図１４に示すＳ１４−６における用紙検知エリア１３−６の解析、閾値算出の説明である。実施例２では、このようにして求められたＳＡＴ＿ＭＡＸ、ＬＵＭ＿ＭＩＮを用いて、薄だし画像と手書き画像とを分離する。

Ｓ１４−７で、ＣＰＵ２−４０３は、Ｓ１４−６の解析結果から、エラー判定を行う。シートが印字された用紙が極端に暗い色であり、また、赤や青などの極端に色差が大きな色であると、上記薄だし画像と手書き画像との判定の精度が低下する。このような場合、ＳＡＴ＿ＭＡＸが極端に大きくなり、ＬＵＭ＿ＭＩＮが極端に小さくなる。そこで、Ｓ１４−７では、ＣＰＵ２−４０３は、Ｓ１４−６の解析結果から、この用紙で判定を行ったときの精度を算出する。この方法の例として、ＲＯＭ２−４０１内に、ＳＡＴ＿ＭＡＸとＬＵＭ＿ＭＩＮとに対応付けられた精度算出テーブルを持つという方法が挙げられる。

次に、上記精度検出テーブルの例について説明する。用紙の色情報から得られたＳＡＴ＿ＭＡＸが、２００であり、ＬＵＭ＿ＭＩＮが、１７０であるとする。このような用紙は、色差が大きすぎるので、薄だし画像を正しく判定することができない。そこで、精度検出テーブルの精度の最大値を、１００とし、最低値を、０として、精度検出テーブルのＳＡＴ＿ＭＡＸ＝２００、ＬＵＭ＿ＭＩＮ＝１７０に対応する精度は、１０であるとし、ＲＯＭ２−４０１に登録する。また、エラーと判断する精度の閾値を、５０とする。このような場合、極端な色がついた用紙に、手書き原稿シートＳＨ２が印字されると、精度の閾値を越えないので、エラーであると判断できる。

このような単純なテーブルから算出する方法の他に、何らかの計算式を立てて精度を検出する方法も考えられる。このような精度検証を行い、得られた精度が一定基準に達していれば、解析を進め、達していなければ、エラーであると判断し、ユーザにエラーを告知し、処理を終了する（Ｓ１４−１３）。なお、Ｓ１４−８以降の動作は、実施例１で示した図６の読み取りの動作中、Ｓ６−５以降と同様であるので、その詳細な説明を省略する。

上記構成によって、用紙の画像データに基づいて作成した用紙の色特性情報から閾値を決定することによって、薄だし画像がある手書きエリア３−４から、手書き画像を精度よく抽出し、合成対象画像と合成することができる。

また、実施例２が特に有効となるのは、薄だし画像を形成するプリンタ部に使用されるインク滴の色の特性が、印字先の用紙の性質に左右されやすい材質である場合である。インク滴が顔料であれば、その輝度値の平均値も、ヒストグラム分布も、染料に比べて用紙の影響を受け難い。この場合、実施例１でのＳＡＴ＿ＭＡＸ、ＬＵＭ＿ＭＩＮを、そのインクの分布特性にあわせて設定すれば、充分に精度の高い判定が可能である。

実施例３において、装置構成、手書き原稿シートＳＨ３の印刷方法は、実施例１と同様であるので、詳細な説明を省略する。

図２１は、実施例３において、手書き原稿シートＳＨ３を印字する用紙の種類をユーザが指定できるときに、その手書き原稿シートＳＨ３を読み取る動作を示すフローチャートである。Ｓ２１−１〜Ｓ２１−３は、実施例１における読み取り動作中、Ｓ４−１〜Ｓ４−４と同様であるので、詳細な説明を省略する。

Ｓ２１−４で、ＣＰＵ２−４０３は、手書き原稿シートＳＨ３に使用できる用紙の一覧を、ＵＩ部２−３０１に表示する。予め手書き原稿シートＳＨ３として望ましい紙種をＲＯＭ２−４０１に登録しておくことによって、上記一覧を作成する。この紙種に用いられる名前は、具体的な商品名の他、「光沢紙」「インクジェット紙」「再生紙」のような汎用的な呼び名でもよい。また、これらの名前をユーザが知らない可能性もあるので、「つるつるの紙」「普通の紙」等、わかりやすい表記を使用するようにしてもよい。ユーザは、ＵＩ部２−３０１を操作し、表示された紙種の一覧から、手書き原稿シートＳＨ３として使用する紙種を選択する。すると、Ｓ２１−５に進む。Ｓ２１−５で、ＣＰＵ２−４０３は、ユーザがＳ２１−４で指定した用紙の種類を検知し、Ｓ２１−６で、その情報をシート判別マーク３−１に挿入する。以下のＳ２１−７〜Ｓ２１−９は、実施例１の読み取り動作中、Ｓ４−５〜Ｓ４−７と同様であるので、詳細な説明を省略する。

ユーザは、以上のような手順によって、手書き原稿シートＳＨ３を印字する。印字が終了次第、シート上の手書きエリア３−４の中に、合成対象画像と合成したい手書き画像を描画する。描画終了後に、ユーザは、手書き原稿シートＳＨ３をスキャンさせる。ユーザが手書き原稿シートＳＨ３をスキャンさせることによって、手書き画像と合成対象画像との合成を開始する。

図２２は、手書き原稿シートＳＨ３を印字した用紙の種類をユーザが指定できる場合、手書き原稿シートＳＨ３を読み込む動作を示すフローチャートである。Ｓ２２−１〜Ｓ２２−４は、実施例２の読み取り動作中、Ｓ１４−１〜Ｓ１４−４と同様であるので、詳細な説明を省略する。

Ｓ２２−５で、ＣＰＵ２−４０３は、シート判別マーク３−１に記録されている手書き原稿シートＳＨ３に使用されている用紙の種類を示す情報を検出する。用紙の種類を示す情報を検出した後に、ＲＯＭ２−４０１上に予め記憶されている用紙の色特性情報から、検出された用紙の種類に対応する色特性情報を呼び出す。この色特性情報を用いて、図２０（ａ）に示す処理によって、ＳＡＴ＿ＭＡＸとＬＵＭ＿ＭＩＮとを算出する。なお、Ｓ２２−６以降の動作は、実施例２で示した図１４の読み取り動作中、Ｓ１４−８以降と同様であるので、詳細な説明を省略する。

上記構成によって、用紙種類をユーザに選択させ、その情報から用紙の情報を得ることによって、用紙の色を読み込まずに、薄だし画像が記載されている手書きエリア３−４から、手書き画像を精度よく抽出し、合成対象画像と合成することができる。

また、実施例３では、用紙種類情報をユーザに選択させ、その情報を一度シート判別マーク３−１に保存するが、このようにする他にも、読み込み時に用紙種類情報をユーザに指定させるようにしてもよい。また、用紙上に用紙種類情報を予め搭載した用紙を使用し、その用紙種類情報から色特性情報を作成するようにしてもよい。

手書き原稿シートＳＨ４上に形成される薄だし画像をスキャンした結果得られる画像のうちで、輝度値の最低値は、薄だし画像の元となる合成対象画像によって変化する。したがって、合成対象画像の情報を、薄だし画像の判定のアルゴリズムに反映させることによって、判定の結果、薄だし画像以外であると判定可能になる画素は多くなる。実施例４では、装置構成、手書き原稿シートＳＨ４の印刷方法について、実施例１と同様であるので、詳細な説明を省略する。

図２３は、実施例４において、合成対象画像を一度スキャンし、その輝度値の最低値を判定に反映させる場合、手書き原稿シートＳＨ４を読み込む動作を示すフローチャートである。Ｓ２３−１〜Ｓ２３−７は、実施例１における読み取り動作中、Ｓ６−１〜Ｓ６−７とほぼ同様であるので、詳細な説明を省略する。

Ｓ２３−８で、ＣＰＵ２−４０３は、記憶媒体２−３０３から、合成対象画像を読み込む。このときに、合成対象画像をスキャンし、合成対象画像中に使用されている全ての画素の値で、ＲＧＢが最小である値ＩＰ＿ＭＩＮを、ＲＡＭ２−４０２に保存する。このときに、ＩＰ＿ＭＩＮから作成された薄だし画像の画素が、薄だし画像中の一番輝度値の低いものになる。したがって、このＩＰ＿ＭＩＮから、ＳＡＴ＿ＭＡＸとＬＵＭ＿ＭＩＮとを算出する。なお、Ｓ２３−９以降の動作は、実施例１における図６の読み取り動作中、Ｓ６−９以降と同様であるので、詳細な説明を省略する。

上記構成によって、合成対象画像を一旦スキャンし、その輝度値情報を判定に反映させることによって、薄だし画像が記載されている手書きエリア３−４から、手書き画像を精度よく抽出し、合成対象画像と合成することができる。また、実施例４では、実施例１を元に説明したが、実施例４を、実施例２、３と組み合わせ、ＳＡＴ＿ＭＡＸ、ＬＵＭ＿ＭＩＮを作成する方法も考えられる。

実施例５では、薄だし画像とそれ以外の画像の判定方法以外については、実施例１と同様であるので、詳細な説明を省略する。

実施例１において、色の分布情報から薄だし画像判断を行う方法を、以下のように実行する。まず、ある画素の色差をＲＧＢ色空間において求める。判断対象である画素の色差が小さければ、その画素を、薄だし画像の一部であると判断する。色差が大きければ、薄だし画像以外の画像であると判断する。

実施例１は、ＲＧＢ色空間における判断方法であるが、この方法を用いることができるのは、ＲＧＢ色空間に限ったことではない。たとえば、手書きエリア３−４の画像データを、Ｌａｂ表色系に変換し、その分布の違いによって、薄だし画像であるか、それ以外の画像であるかを判定するようにしてもよい。

図２４は、手書きエリア３−４内の画像データのうちで、ある画素が薄だし画像であるか、薄だし画像以外の画像であるかを判定する動作を示すフローチャートである。

Ｓ２４−１で、ＣＰＵ２−４０３は、手書きエリア３−４内のある画素のＬａｂ表色系による値を求める。Ｓ２４−２で、ＣＰＵ２−４０３は、判定対象画素の彩度を求め、これが一定値以上であるかどうかを定する。Ｌａｂ表色系では、Ｌの絶対値が大きいほど、白に近く、ａ、ｂの絶対値が大きいほど、彩度（本発明においての色差）が大きい色である。図５から、薄だし画像は、彩度が小さい画像であることが分かっているので、ＣＰＵ２−４０３は、これを利用して判定する。つまり、ａ、ｂの階乗を足したものの絶対値を取り、その値が一定値以上であるかどうかを判定する。この値が一定値以上であれば、その画素は、薄だし画像以外の画像であると判定される（Ｓ２４−５）。また、一定値以下である場合、輝度値Ｌの判定（Ｓ２４−３）に進む。

Ｓ２４−３において、輝度値Ｌが一定値（ＬＵＭ＿ＭＩＮ）以下であると判定された場合にも、薄だし画像以外の画像であると判定される（Ｓ２４−５）。Ｓ２４−３において、輝度値Ｌが一定値（ＬＵＭ＿ＭＩＮ）以上であると判定された場合、薄だし画像であると判断される（Ｓ２４−４）。

なお、Ｓ２４−４以降の動作は、実施例１で示した図７の読み取りの動作中、Ｓ７−４以降と同様であるので、詳細な説明を省略する。

上記のように、表色系がＲＧＢ色空間でなくても、同じ考え方で、薄だし画像とそれ以外の画像とを判定することができる。

また、実施例５では、実施例１を元に説明したが、実施例５を、実施例２、３、４と組み合わせて実現するようにしてもよい。

なお、上記実施例において、ＣＰＵ２−４０３は、メモリ部に記憶されている画像データを単純化した画像である薄だし画像であって、手書き原稿シートの手書きエリアに薄だし画像印刷するための薄だし画像を生成する薄だし画像生成部の例である。

プリンタ部２−２００は、上記薄だし画像生成部が生成した薄だし画像を、上記手書き原稿シートの上記手書きエリアに印刷する薄だし画像印刷部の例である。

ＣＰＵ２−４０３は、薄だし画像除去部の例である。薄だし画像除去部は、上記手書き原稿シートの上記手書きエリアを読み取った画像データ中、上記薄だし画像であると判断された画素を、合成対象外の画素であると判断する。また、薄だし画像除去部は、上記薄だし画像以外の画素であると判断された画素を合成対象とすることによって薄だし画像を除去する。

ＭＦＰ１００は、上記手書きエリアを読み取った画像データのうちで上記合成対象であると判断された画素によって構成されている画像データと、上記メモリ部に蓄積されている画像データとを合成し、印刷する画像形成システムの例である。

上記薄だし画像除去部は、上記薄だし画像が色空間内において存在する可能性のある範囲を保持する。また、上記薄だし画像除去部は、上記手書きエリアを読み取った画像データに対し、上記薄だし画像が色空間内において存在する可能性のある範囲内にある色を持つ画素は、上記薄だし画像の画素であると判断する。そして、上記薄だし画像除去部は、上記薄だし画像が色空間内において存在する可能性のある範囲外にある色を持つ画素は、上記薄だし画像の画素ではないと判断する。しかも、上記薄だし画像除去部は、上記手書きエリアを読み取った画像データ中の画素に対し、上記薄だし画像であると判断された画像は合成対象外の画素であると判断する手段である。

一方、ＣＰＵ２−４０３は、薄だし画像判断部の例である。薄だし画像判断部は、第１の閾値として、上記薄だし画像の画素におけるＲＧＢ輝度値のうちで、最大値と最小値の差がとり得る値の最大値を保持し、第２の閾値として、上記薄だし画像の画素におけるＲＧＢの輝度値の平均値がとり得る値の最低値を保持する。また、薄だし画像判断部は、上記手書きエリアを読み取った画像データに対し上記薄だし画像かそれ以外かを判断する。この際、手書きエリアの画素が、ＲＧＢ輝度値の最小値と最大値との差が第１の閾値よりも大きいか、またはＲＧＢの輝度値の平均値が第２の閾値よりも小さい場合、上記手書きエリアの画素を薄だし画像の画素以外の画素であると判断する。

上記薄だし画像除去部は、上記手書き原稿シートの画像データから、上記手書き原稿シートの印字に使用された記録媒体の色が色空間内において存在している範囲を作成する。また、上記薄だし画像除去部は、手書き原稿シート解析処理部と、薄だし画像判断部と、判断手段とを有する。

上記手書き原稿シート解析処理部は、上記薄だし画像が色空間内において存在する可能性のある範囲を算出する。つまり、上記手書き原稿シートの印字に使用された記録媒体の色が色空間内において存在している範囲と、プリンタ部に使用されている描画手段の色の色空間内における分布とに基づいて、上記薄だし画像が色空間内において存在する可能性のある範囲を算出する。

上記薄だし画像判断部は、上記手書きエリアを読み取った画像データに対し、上記薄だし画像が色空間内において存在する可能性のある範囲内にある色を持つ画素は、上記薄だし画像の画素であると判断する。また、上記薄だし画像判断部は、上記薄だし画像が色空間内において存在する可能性のある範囲外にある色を持つ画素は、上記薄だし画像の画素ではないと判断する。

上記判断手段は、上記手書きエリアを読み取った画像データに対し、上記薄だし画像であると判断された画素は、合成対象外の画素であると判断する。

また、上記薄だし画像判断部は、上記手書き原稿シートの画像データから、上記手書き原稿シートの印字に使用された記録媒体の色が色空間内において存在している範囲を作成する手段である。さらに、上記薄だし画像判断部は、上記手書き原稿シートの印字に使用された記録媒体の色が色空間内において存在している範囲と、上記手書き原稿シート解析処理部が保持しているエラー判定の条件とから、精度を検証する。つまり、上記手書き原稿シートから上記薄だし画像を除去する際の精度を検証し、上記薄だし画像除去を行う際の精度が、所与の値以下であれば、上記手書き原稿シートは合成不可能であると判断してエラー終了する。

また、上記実施例は、上記手書き原稿シートを印字する記録媒体の種類をユーザが指定することができる。そして、記録媒体の種類が指定されると、上記記録媒体の種類から、上記手書き原稿シート解析処理部に保存されている記録媒体の種類別に管理されている上記手書き原稿シートの印字に使用された記録媒体の色が色空間内において存在している範囲を参照する。その後に、上記手書き原稿シートの印字に使用された記録媒体の色が色空間内において存在している範囲から、上記薄だし画像が色空間内において存在する可能性のある範囲を算出する。

しかも、上記手書きエリアを読み取った画像データに対し、上記薄だし画像が色空間内において存在する可能性のある範囲内にある色を持つ画素は、上記薄だし画像の画素であると判断する。そして、上記薄だし画像が色空間内において存在する可能性のある範囲外にある色を持つ画素は、上記薄だし画像の画素ではないと判断する。

これによって、上記手書きエリアを読み取った画像データに対し、上記薄だし画像であると判断された画素は、合成対象外の画素であると判断する。

上記薄だし画像判断部は、上記薄だし画像の判断の際に、上記薄だし画像の元となる上記メモリ部に記憶されている画像データを参照する画像データ参照部を有する。

また、上記画像データ参照部は、上記薄だし画像の元となる上記メモリ部に記憶されている画像データから、上記薄だし画像が色空間内に存在する可能性のある範囲を算出する。そして、上記手書きエリアを読み取った画像データに対し、上記薄だし画像が色空間内に存在する可能性のある範囲内にある色を持つ画素は、上記薄だし画像の画素であると判断する。上記薄だし画像が色空間内に存在する可能性のある範囲外にある色を持つ画素は、上記薄だし画像の画素ではないと判断し、上記手書きエリアを読み取った画像データに対し、上記薄だし画像であると判断された画素は、合成対象外の画素であると判断する。

さらに、上記各実施例において、各部、各手段を、工程に置き換えると、上記各実施例を、画像形成方法の発明として把握することができる。

本発明の実施例１であるＭＦＰ１００を示す斜視図である。 ＭＦＰ１００を示すブロック図である。 手書き原稿シートＳＨ１を示す図である。 実施例１における手書き原稿シートＳＨ１を印刷する動作を示すフローチャートである。 手書き原稿シートＳＨ１に印刷する薄だし画像を作成する場合における入出力の関係を示すグラフである。 実施例１において、手書き原稿シートＳＨ１をスキャンする動作を示すフローチャートである。 薄だし画像とそれ以外の画像とを判定する動作を示すフローチャートである。 ある薄だし画像について、ＲＧＢの各輝度値によるヒストグラムを示す図である。 ある蛍光黄色ペンで書いた画像について、輝度値によるヒストグラムを示す図である。 ある黒ペンで書いた画像について、輝度値によるヒストグラムを示す図である。 合成対象画像の一例と、それによって作成される手書き原稿シートＳＨ１の一例と、記入された手書き原稿シートＳＨ１の一例とを示す図である。 手書き原稿シートＳＨ１を用いた合成結果の一例を示す図である。 実施例２で使用を想定する用紙検知エリア１３−６を含む手書き原稿シートＳＨ２の一例を示す図である。 実施例２において、用紙検知エリア１３−６を含む手書き原稿シートＳＨ２を用いたシートを解析する動作を示すフローチャートである。 ある用紙１をそのままスキャンした場合のヒストグラムである。 プリンタ部２−２００に搭載されているインクが染料で構成されている場合、用紙１にシアンのみで形成された薄だし画像を印字し、スキャンした結果のヒストグラムである。 図１５（ｂ）と同様に、マゼンダのみで作成した薄だし画像のヒストグラムである。 図１５（ｂ）と同様に、イエローのみで作成した薄だし画像のヒストグラムである。 用紙１に印字されたシアンの薄だし画像、マゼンダの薄だし画像、イエローの薄だし画像のそれぞれについて、Ｒの輝度値ヒストグラムを示す図である。 用紙１に印字されたシアンの薄だし画像、マゼンダの薄だし画像、イエローの薄だし画像のそれぞれについて、Ｇの輝度値ヒストグラムを示す図である。 用紙１に印字されたシアンの薄だし画像、マゼンダの薄だし画像、イエローの薄だし画像のそれぞれについて、Ｂの輝度値ヒストグラムを示す図である。 ある用紙２をそのままスキャンした場合のヒストグラムである。 プリンタ部２−２００に搭載されているインクが染料で構成されている場合、用紙２にシアンのみで形成された薄だし画像を印字し、スキャンした結果のヒストグラムである。 図１７（ｂ）と同様に、マゼンダのみで作成した薄だし画像のヒストグラムである。 図１７（ｂ）と同様に、イエローのみで作成した薄だし画像のヒストグラムである。 用紙２に印字されたシアンの薄だし画像、マゼンダの薄だし画像、イエローの薄だし画像のそれぞれについて、Ｒの輝度値ヒストグラムを示す図である。 用紙２に印字されたシアンの薄だし画像、マゼンダの薄だし画像、イエローの薄だし画像のそれぞれについて、Ｇの輝度値ヒストグラムを示す図である。 用紙２に印字されたシアンの薄だし画像、マゼンダの薄だし画像、イエローの薄だし画像のそれぞれについて、Ｂの輝度値ヒストグラムを示す図である。 薄だし画像を印字した際に、用紙毎に、ＲＧＢの輝度値の平均値と、分散を求めた結果をまとめた図である。 手書き原稿シートＳＨ２が印字された用紙の色から、薄だし画像の判定のためのしきい値を求める動作を示すフローチャートである。 実施例３において、手書き原稿シートＳＨ３を印字する用紙の種類をユーザが指定できるときに、その手書き原稿シートＳＨ３を読み取る動作を示すフローチャートである。 手書き原稿シートＳＨ３を印字した用紙の種類をユーザが指定できる場合、手書き原稿シートＳＨ３を読み込む動作を示すフローチャートである。 実施例４において、合成対象画像を一度スキャンし、その輝度値の最低値を判定に反映させる場合、手書き原稿シートＳＨ４を読み込む動作を示すフローチャートである。 手書きエリア３−４内の画像データのうちで、ある画素が薄だし画像であるか、薄だし画像以外の画像であるかを判定する動作を示すフローチャートである。

符号の説明

１００…ＭＦＰ複合機、
２−１００…スキャナ部、
２−２００…プリンタ部、
２−３００…操作部、
２−４００…制御部、
ＳＨ１、ＳＨ２、ＳＨ３、ＳＨ４…手書き原稿シート、
３−１…シート判別マーク、
３−２…用紙選択エリア、
３−４…手書きエリア、
３−５…薄だし画像。

Claims (8)

1. メモリ部に記憶されている画像データを単純化した画像である薄だし画像であって、手書き原稿シートの手書きエリアに薄だし画像印刷するための薄だし画像を生成する薄だし画像生成部と；
   上記薄だし画像生成部が生成した薄だし画像を、上記手書き原稿シートの上記手書きエリアに印刷する薄だし画像印刷部と；
   上記手書き原稿シートの上記手書きエリアを読み取った画像データ中、上記薄だし画像であると判断された画素を、合成対象外の画素であると判断し、上記薄だし画像以外の画素であると判断された画素を合成対象とすることによって薄だし画像を除去する薄だし画像除去部と；
   を有し、上記手書きエリアを読み取った画像データのうちで上記合成対象であると判断された画素によって構成されている画像データと、上記メモリ部に蓄積されている画像データとを合成し、印刷することを特徴とする画像形成システム。
2. 請求項１において、
   上記薄だし画像除去部は、上記薄だし画像が色空間内において存在する可能性のある範囲を保持し、上記手書きエリアを読み取った画像データに対し、上記薄だし画像が色空間内において存在する可能性のある範囲内にある色を持つ画素は、上記薄だし画像の画素であると判断し、上記薄だし画像が色空間内において存在する可能性のある範囲外にある色を持つ画素は、上記薄だし画像の画素ではないと判断し、上記手書きエリアを読み取った画像データ中の画素に対し、上記薄だし画像であると判断された画像は合成対象外の画素であると判断する手段であることを特徴とする画像形成システム。
3. 請求項２において、
   第１の閾値として、上記薄だし画像の画素におけるＲＧＢ輝度値のうちで、最大値と最小値の差がとり得る値の最大値を保持し、第２の閾値として、上記薄だし画像の画素におけるＲＧＢの輝度値の平均値がとり得る値の最低値を保持し、上記手書きエリアを読み取った画像データに対し上記薄だし画像かそれ以外かを判断する際、手書きエリアの画素が、ＲＧＢ輝度値の最小値と最大値との差が第１の閾値よりも大きいか、またはＲＧＢの輝度値の平均値が第２の閾値よりも小さい場合、上記手書きエリアの画素を薄だし画像の画素以外の画素であると判断する薄だし画像判断部を有することを特徴とする画像形成システム。
4. 請求項１において、
   上記薄だし画像除去部は、
   上記手書き原稿シートの画像データから、上記手書き原稿シートの印字に使用された記録媒体の色が色空間内において存在している範囲を作成し、
   上記手書き原稿シートの印字に使用された記録媒体の色が色空間内において存在している範囲と、プリンタ部に使用されている描画手段の色の色空間内における分布とに基づいて、上記薄だし画像が色空間内において存在する可能性のある範囲を算出する手書き原稿シート解析処理部と；
   上記手書きエリアを読み取った画像データに対し、上記薄だし画像が色空間内において存在する可能性のある範囲内にある色を持つ画素は、上記薄だし画像の画素であると判断し、上記薄だし画像が色空間内において存在する可能性のある範囲外にある色を持つ画素は、上記薄だし画像の画素ではないと判断する薄だし画像判断部と；
   上記手書きエリアを読み取った画像データに対し、上記薄だし画像であると判断された画素は、合成対象外の画素であると判断する手段と；
   を有する手段であることを特徴とする画像形成システム。
5. 請求項４において、
   上記薄だし画像判断部は、上記手書き原稿シートの画像データから、上記手書き原稿シートの印字に使用された記録媒体の色が色空間内において存在している範囲を作成する手段であり、
   上記手書き原稿シートの印字に使用された記録媒体の色が色空間内において存在している範囲と、上記手書き原稿シート解析処理部が保持しているエラー判定の条件とから、上記手書き原稿シートから上記薄だし画像を除去する際の精度を検証し、上記薄だし画像除去を行う際の精度が、所与の値以下であれば、上記手書き原稿シートは合成不可能であると判断してエラー終了することを特徴とする画像形成システム。
6. 請求項４において、
   上記手書き原稿シートを印字する記録媒体の種類をユーザが指定すると、上記記録媒体の種類から、上記手書き原稿シート解析処理部に保存されている記録媒体の種類別に管理されている上記手書き原稿シートの印字に使用された記録媒体の色が色空間内において存在している範囲を参照し、上記手書き原稿シートの印字に使用された記録媒体の色が色空間内において存在している範囲から、上記薄だし画像が色空間内において存在する可能性のある範囲を算出し、
   上記手書きエリアを読み取った画像データに対し、上記薄だし画像が色空間内において存在する可能性のある範囲内にある色を持つ画素は、上記薄だし画像の画素であると判断し、上記薄だし画像が色空間内において存在する可能性のある範囲外にある色を持つ画素は、上記薄だし画像の画素ではないと判断し、
   上記手書きエリアを読み取った画像データに対し、上記薄だし画像であると判断された画素は、合成対象外の画素であると判断する手段を有することを特徴とする画像形成システム。
7. 請求項４において、
   上記薄だし画像判断部は、上記薄だし画像の判断の際に、上記薄だし画像の元となる上記メモリ部に記憶されている画像データを参照する画像データ参照部を有し、
   上記画像データ参照部は、上記薄だし画像の元となる上記メモリ部に記憶されている画像データから、上記薄だし画像が色空間内に存在する可能性のある範囲を算出し、上記手書きエリアを読み取った画像データに対し、上記薄だし画像が色空間内に存在する可能性のある範囲内にある色を持つ画素は、上記薄だし画像の画素であると判断し、上記薄だし画像が色空間内に存在する可能性のある範囲外にある色を持つ画素は、上記薄だし画像の画素ではないと判断し、上記手書きエリアを読み取った画像データに対し、上記薄だし画像であると判断された画素は、合成対象外の画素であると判断する手段であることを特徴とする画像形成システム。
8. メモリ部に記憶されている画像データを単純化した画像である薄だし画像であって、手書き原稿シートの手書きエリアに薄だし画像印刷するための薄だし画像を生成する薄だし画像生成工程と；
   上記薄だし画像生成工程で生成された薄だし画像を、上記手書き原稿シートの上記手書きエリアに印刷する薄だし画像印刷工程と；
   上記手書き原稿シートの上記手書きエリアを読み取った画像データ中、上記薄だし画像であると判断された画素を、合成対象外の画素であると判断し、上記薄だし画像以外の画素であると判断された画素を合成対象とすることによって薄だし画像を除去する薄だし画像除去工程と；
   を有し、上記手書きエリアを読み取った画像データのうちで上記合成対象であると判断された画素によって構成されている画像データと、上記メモリ部に蓄積されている画像データとを合成し、印刷することを特徴とする画像形成方法。

Images