JP2018196106A - 画像形成装置、画像形成方法及び画像形成プログラム - Google Patents

Abstract

【課題】印刷物のトナー色との色相の差の有無に拘わらず手書きの記載を容易に調整する。【解決手段】画像形成装置は、ＣＭＹＫの色材を使用して画像形成媒体に画像を形成して画像形成物として出力する画像形成部と、前記画像形成物上の画像を読み取って読取画像を表す画像データを生成する画像読取部と、前記読取画像を色変換し、ＣＭＹＫの各階調値から構成されるＣＭＹＫ画像データを生成する色変換処理部と、前記ＣＭＹＫ画像データを解析し、ＣＭＹＫの階調値の少なくとも１つが予め設定されている所定の範囲内にある画素から構成されている第１の画像領域を抽出し、前記第１の画像領域を筆記具で描かれた画像である手書き画像と見做して調整するフィルター処理部とを備える。【選択図】図１

Description

本発明は、画像形成装置、画像形成方法及び画像形成プログラムに関し、特に、手書きの文字が描かれている印刷物の複写や画像の読み取りに関する。

印刷物に対して朱色の押印や朱書きメッセージといった手作業による処理がなされた後に原紙が必要となる場合がある。このような印刷物には、たとえば会社における契約書類や教育現場における回答用紙や問題用紙がある。かかる問題に対して、特許文献１は、原稿画像の所定の色部分（指定された消去色、たとえば朱色）を消去した色消去画像を簡単に形成することが可能な画像形成装置を提供する。

特開平９−２１４７８２号公報

しかし、たとえば学会やセミナーで印刷物が配布されたときには、その印刷物に対して講演内容の一部を手書きで補填する場合がある。このような場合、出張報告書には、手書きの記載を報告内容として記載し、添付資料として手書きの記載が削除された印刷物が望まれる場合もある。このような手書きの記載は、必ずしも印刷物のトナー色と相違する色相の色で記載されるとは限られず、黒のボールペンや鉛筆で記載されることも多い。

本発明は、このような状況に鑑みてなされたものであり、印刷物のトナー色との色相の差の有無に拘わらず手書きの記載を容易に調整する技術を提供することを目的とする。

本発明の画像形成装置は、ＣＭＹＫの色材を使用して画像形成媒体に画像を形成して画像形成物として出力する画像形成部と、前記画像形成物上の画像を読み取って読取画像を表す画像データを生成する画像読取部と、前記読取画像を色変換し、ＣＭＹＫの各階調値から構成されるＣＭＹＫ画像データを生成する色変換処理部と、前記ＣＭＹＫ画像データを解析し、ＣＭＹＫの階調値の少なくとも１つが予め設定されている所定の範囲内にある画素から構成されている第１の画像領域を抽出し、前記第１の画像領域を筆記具で描かれた画像である手書き画像と見做して調整するフィルター処理部とを備える。

本発明の画像形成方法は、ＣＭＹＫの色材を使用して画像形成媒体に画像を形成して画像形成物として出力する画像形成工程と、前記画像形成物上の画像を読み取って読取画像を表す画像データを生成する画像読取工程と、前記読取画像を色変換し、ＣＭＹＫの各階調値から構成されるＣＭＹＫ画像データを生成する色変換処理工程と、前記ＣＭＹＫ画像データを解析し、ＣＭＹＫの階調値の少なくとも１つが予め設定されている所定の範囲内にある画素から構成されている第１の画像領域を抽出し、前記第１の画像領域を筆記具で描かれた画像である手書き画像と見做して調整するフィルター処理工程とを備える。

本発明は、ＣＭＹＫの色材を使用して画像形成媒体に画像を形成して画像形成物として出力する画像形成部と、前記画像形成物上の画像を読み取って読取画像を表す画像データを生成する画像読取部とを有する画像形成装置を制御するための画像形成プログラムを提供する。前記画像形成プログラムは、前記読取画像を色変換し、ＣＭＹＫの各階調値から構成されるＣＭＹＫ画像データを生成する色変換処理部、及び前記ＣＭＹＫ画像データを解析し、ＣＭＹＫの階調値の少なくとも１つが予め設定されている所定の範囲内にある画素から構成されている第１の画像領域を抽出し、前記第１の画像領域を筆記具で描かれた画像である手書き画像と見做して調整するフィルター処理部として前記画像形成装置を機能させる。

本発明によれば、印刷物のトナー色との色相の差の有無に拘わらず手書きの記載を容易に調整する技術を提供することができる。

本発明の第１実施形態に係る画像形成装置１０の全体構成を示す概略構成図である。 第１実施形態に係る画像形成装置１０の機能的構成を示すブロックダイアグラムである。 第１実施形態に係る印刷処理の内容を示すフローチャートである。 第１実施形態に係るフィルター処理の内容を示すフローチャートである。 第１実施形態に係るフィルター処理の一例を示す説明図である。 第１実施形態に係るフィルター処理の対話型処理モードの例を示す説明図である。 第１実施形態に係るフィルター処理の対話型処理モードにおけるユーザーインターフェース画面の例を示す説明図である。 第２実施形態に係る手書き文字削除処理（文字欠落抑制モード）の内容を示すフローチャートである。 第２実施形態に係る手書き文字削除処理の内容を示す説明図である。 第３実施形態に係るフィルター処理の内容を示すフローチャートである。 第３実施形態に係るフィルター処理の対話型処理モードの例を示す説明図である。 第３実施形態に係るフィルター処理の他の例を示す説明図である。

以下、本発明を実施するための形態（以下、「実施形態」という）を、図面を参照して以下の順序で説明する。
Ａ．第１実施形態：
Ｂ．第２実施形態：
Ｃ．第３実施形態：
Ｄ．変形例：

Ａ．第１実施形態：
図１は、本発明の第１実施形態に係る画像形成装置１０の全体構成を示す概略構成図である。図２は、第１実施形態に係る画像形成装置１０の機能的構成を示すブロックダイアグラムである。画像形成装置１０は、制御部２１０と、画像形成部２２０と、操作表示部２３０と、記憶部２４０と、画像読取部１００とを備えている。画像読取部１００は、自動原稿送り装置（ＡＤＦ）１６０と原稿台（コンタクトガラス）１５０とを有し、原稿から画像（原画像）を読み取ってデジタルデータである画像データＩＤを生成する。

画像形成部２２０は、画像データＩＤに基づいて印刷媒体（図示せず）に画像を形成して排出する。画像形成部２２０は、色変換処理部２２１と、色変換テーブル２２１ａと、ハーフトーン処理部２２２と、ディザマトリックス２２２ａと、画像出力部２２３とを備える。色変換処理部２２１は、ＲＧＢデータである画像データＩＤをＣＭＹＫ画像データに色変換する。ハーフトーン処理部２２２は、ハーフトーン処理を実行してＣＭＹＫ画像データのハーフトーンデータを生成する。画像出力部２２３は、ハーフトーンデータに基づいて画像を形成する。操作表示部２３０は、タッチパネルとして機能するディスプレイ（図示せず）や各種ボタンやスイッチ（図示せず）からユーザーの操作入力（単にユーザー入力とも呼ばれる。）を受け付ける。

制御部２１０は、ＲＡＭやＲＯＭ等の主記憶手段、及びＭＰＵ（Ｍｉｃｒｏ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）やＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）等の制御手段を備えている。また、制御部２１０は、フィルター処理部２１１を有し、各種Ｉ／Ｏ、ＵＳＢ（ユニバーサル・シリアル・バス）、バス、その他ハードウェア等のインターフェイスに関連するコントローラ機能を備え、画像形成装置１０全体を制御する。

記憶部２４０は、非一時的な記録媒体であるハードディスクドライブやフラッシュメモリー等からなる記憶装置で、制御部２１０が実行する処理の制御プログラムやデータを記憶する。

記憶部２４０には、削除色情報２４１が記憶されている。削除色情報２４１は、筆記具と削除色を抽出するための閾値とが紐付けられている。削除色は、紐付けられている筆記具を使用して描かれている文字の色である。この例では、記憶部２４０には、削除色情報２４１として筆記具Ａと筆記具Ｂとを含む複数の筆記具が登録されているものとする。

画像読取部１００は、図２に示されるように、光源ドライバ１１１と、光源１１２とを備えている。光源１１２は、原稿Ｄに光を照射する複数のＬＥＤ（図示せず）を有する。光源ドライバ１１１は、主走査方向に配列されている複数のＬＥＤを駆動するＬＥＤドライバであり、光源１１２のオンオフ駆動制御を行う。これにより、光源１１２は、可変の駆動デューティのパルス幅変調（ＰＷＭ）で原稿Ｄの原稿面を照射光Ｌ１で照射することができる。

照射光Ｌ１は、原稿Ｄの面に垂直な方向に対して４５度（傾斜した方向）の角度で照射される。原稿Ｄは、拡散反射光Ｌ２と、正反射光とを含む反射光を反射する。受光素子１２２は、拡散反射光Ｌ２を受光する。

画像読取部１００は、さらに、図１に示されるように、原稿Ｄとイメージセンサ１２１との間に、第１反射鏡１１３と、第１キャリッジ１１４と、第２反射鏡１１５と、第３反射鏡１１６と、第２キャリッジ１１７と、集光レンズ１１８とを備えている。第１反射鏡１１３は、原稿Ｄからの拡散反射光Ｌ２を第２反射鏡１１５の方向に反射する。第２反射鏡１１５は、拡散反射光Ｌ２を第３反射鏡１１６の方向に反射する。第３反射鏡１１６は、拡散反射光Ｌ２を集光レンズ１１８の方向に反射する。集光レンズ１１８は、拡散反射光Ｌ２をイメージセンサ１２１が有する複数の受光素子１２２の各受光面（図示せず）に結像する。

イメージセンサ１２１は、Ｒ，Ｇ，Ｂの各色成分のカラーフィルタ（図示略）を使用してＲ，Ｇ，Ｂの３つの色をそれぞれ検知する３本のＣＣＤラインセンサ（図示せず）である。イメージセンサ１２１は、主走査方向に延びている３本のＣＣＤラインセンサで原稿を走査（副走査）して原稿上の画像をＲ，Ｇ，Ｂに対応する電圧値の組合せとして取得する。このように、イメージセンサ１２１は、光電変換処理を行って、主走査方向の画素毎のＲ，Ｇ，Ｂのアナログ電気信号を出力することができる。

第１キャリッジ１１４は、光源１１２と第１反射鏡１１３とを搭載し、副走査方向に往復動する。第２キャリッジ１１７は、第２反射鏡１１５と第３反射鏡１１６とを搭載し、副走査方向に往復動する。第１キャリッジ１１４及び第２キャリッジ１１７は、走査制御部として機能する制御部２１０によって制御される。これにより、光源１１２は原稿を副走査方向に走査することができるので、イメージセンサ１２１は、原稿上の２次元画像に応じてアナログ電気信号を出力することができる。

なお、自動原稿送り装置（ＡＤＦ）１６０が使用される場合には、第１キャリッジ１１４及び第２キャリッジ１１７は、予め設定されている副走査位置に固定され、原稿Ｄの自動送りによって副走査方向の走査が行われる。なお、ＡＤＦ１６０には、片面だけでなく両面を同時にあるいは逐次に読み取るものもある。

ＡＤＦ１６０は、紙送りローラー１６１と、原稿読取スリット１６２とを備えている。紙送りローラー１６１は、原稿の自動送りを行い、原稿の読み取りが原稿読取スリット１６２を介して行われる。この場合には、第１キャリッジ１１４が予め設定されている副走査位置に固定されるので、第１キャリッジ１１４に搭載されている光源１１２も所定位置に固定されることになる。

画像読取部１００は、図２に示されるように、さらに、信号処理部１２３と、シェーディング補正部１２４と、シェーディング補正テーブル１２４ａと、ガンマ変換部１２５と、ガンマ変換テーブル１２５ａと、ＡＧＣ処理部１３０と、白基準板１３２（図１参照）とを備えている。

信号処理部１２３は、Ａ／Ｄ変換機能を有する可変利得増幅器である。信号処理部１２３は、ＡＧＣ処理部１３０で設定され、記憶部２４０に格納されている利得でアナログ電気信号を増幅し、増幅されたアナログ電気信号をＡ／Ｄ変換してデジタルデータとする。ガンマ変換部１２５及びガンマ変換テーブル１２５ａについての説明は後述する。

ＡＧＣ処理部１３０は、本実施形態では、黒基準信号と白基準信号とを使用して複数の受光素子１２２のそれぞれに対して最適な利得とオフセット値とを設定する利得調整部である。黒基準信号は、光源１１２がオフの状態における受光素子１２２のアナログ電気信号である。白基準信号は、原稿Ｄの代わりに白基準板１３２を照射したときの受光素子１２２のアナログ電気信号である。

ＡＧＣ処理部１３０は、黒基準信号が信号処理部１２３によってＡ／Ｄ変換されたときの画像データＩＤのＲＧＢの各階調値が最小値「０」となるようにオフセット値を設定する。ＡＧＣ処理部１３０は、このオフセット値を使用して白基準信号が信号処理部１２３によってＡ／Ｄ変換されたときの画像データＩＤのＲＧＢの各階調値が最大値「２５５」となるように利得を設定する。これにより、最小値「０」から最大値「２５５」までのダイナミックレンジを有効に利用することができる。

シェーディング補正部１２４は、デジタルデータに対してシェーディング補正を実行して画像データＩＤを生成する。シェーディング補正は、光源１１２の長さ方向の光量不均一性やレンズのコサイン４乗則による周辺減光、主走査方向に配列されている複数の受光素子１２２の感度ムラに起因して発生するシェーディングを抑制するための補正である。シェーディング補正には、シェーディング補正値が使用される。シェーディング補正値は、白基準板１３２を使用して生成され、シェーディング補正テーブル１２４ａに格納される。

このように、画像読取部１００は、原稿Ｄ上の画像を読み取って画像データＩＤを生成する。画像データＩＤは、原稿Ｄ上の画像をＲＧＢの各階調値（０〜２５５）で表すＲＧＢ画像データである。

図３は、第１実施形態に係る印刷処理の内容を示すフローチャートである。ステップＳ１０では、ユーザーは、画像読取操作を実行する。画像読取操作では、画像読取部１００は、光源１１２から可変の駆動デューティのパルス幅変調（ＰＷＭ）で適切な光量の照射光Ｌ１で原稿Ｄを照射し、原稿Ｄで反射されて原稿Ｄに表される画像に応じた色成分を有する拡散反射光Ｌ２をイメージセンサ１２１で受光する。

ステップＳ２０では、イメージセンサ１２１は、光電変換処理を行って主走査方向の画素毎のＲ，Ｇ，Ｂのアナログ電気信号を出力することができる。

ステップＳ３０では、信号処理部１２３は、ＡＧＣ処理部１３０で設定された利得とオフセット値と使用し、ＲＧＢの各階調値が最小値「０」（光源１１２がオフの状態）から最大値「２５５」（白基準板１３２の読み取り時）までの範囲の階調値を出力することができる。ステップＳ４０では、シェーディング補正部１２４は、デジタルデータに対してシェーディング補正を実行して画像データＩＤを生成する。

ステップＳ５０では、ガンマ変換部１２５（図２参照）は、画像読取部１００の特性に基づいてガンマ変換を行う。ガンマ変換には、ガンマ変換テーブル１２５ａから読み出された値が使用される。ガンマ変換テーブル１２５ａは、原稿上のグレーパッチの測色値から算出した所望の色空間（たとえばｓＲＧＢなど）でのＲＧＢ値（γ変換後）を用いて、ガンマ値を再帰的に設定して算出することができる。このようにして、画像データＩＤが生成される。

ステップＳ６０では、色変換処理部２２１は、色変換テーブル２２１ａを使用して、ＲＧＢデータである画像データＩＤを画像出力部２２３で使用される色材の色であるＣＭＹＫ画像データに色変換する。ＣＭＹＫ画像データは、ＣＭＹＫの各階調値（０〜２５５）から構成されているデータである。ステップＳ７０では、フィルター処理部２１１は、手書き文字を削除する。

図４は、第１実施形態に係るフィルター処理（ステップＳ７０）の内容を示すフローチャートである。ステップＳ７１では、フィルター処理部２１１は、筆記具選択処理を実行する。筆記具選択処理では、ユーザーは、操作表示部２３０を介して予め登録されている筆記具Ａと筆記具Ｂとを含む複数の筆記具のリスト中から筆記具を選択することができる。

この例では、ユーザーは、筆記具Ａを選択したものとする。フィルター処理部２１１は、筆記具の選択に応じて、記憶部２４０に格納されている削除色情報２４１から筆記具Ａに紐付けられているＣＭＹＫの各階調の閾値を読み出す。フィルター処理部２１１は、筆記具の選択の代わりに、操作表示部２３０を介して新規登録を受け付けることもできる。

ステップＳ７２では、フィルター処理部２１１は、新規登録が選択された場合には、処理をステップＳ７４に進め、筆記具の選択が行われた場合には、処理をステップＳ７３に進める。本実施形態では、削除色情報には、ＣＭＹＫの各階調値で表される色の範囲を規定するＫの階調値の閾値Ｔｈ１が含まれるものとする。

ステップＳ７４では、ユーザーは、たとえば手書きに使用される筆記具で線や文字が描かれた原稿を画像読取部１００で読み取ることによって削除色情報を登録することができる。フィルター処理部２１１は、原稿を画像読取部１００で読み取って読取り画像データを生成し、ヒストグラム解析を実行して閾値を自動的に設定する。

図５は、第１実施形態に係るフィルター処理の一例を示す説明図である。図５（ａ）は、Ｋトナーのベタで印刷された文字画像ＴＴ１と、筆記具Ａを使用して描かれている手書き文字ＨＴ１とが表示されている印刷物の読取画像ＰＭ１を示している。図５（ｂ）は、Ｋトナーのベタで表示されている文字画像ＴＴ１に起因するピークＰ１と、筆記具Ａを使用して描かれている手書き文字ＨＴ１に起因するピークＰ２と、白画素における印刷媒体の地肌色に起因するピークＰ３との３つのピークを有するヒストグラムＨ１を示している。

ヒストグラムＨ１は、Ｋトナーのベタで表示されている文字画像ＴＴ１が手書き文字ＨＴ１よりも高い濃度階調値を有していることを示している。トナーは、広い色空間（低反射率から高反射率までの範囲）を再現するために反射率が極めて低い色材を使用している。これに対し、筆記具（筆記具Ａを含む）は、一般に広い色空間を再現することを目的としないので、黒トナーのように極めて低い反射率を有する必要はない。この結果、一般に、筆記具を使用して手書きで描かれた文字や線は、黒トナーのベタで再現されている線や文字をよりも低い濃度を有することを本願発明者は見いだした。

ステップＳ７３では、ユーザーは、操作表示部２３０を介して処理モードを設定する。本実施形態では、処理モードには、対話型処理モードと、閾値自動設定処理モードとが含まれている。ステップＳ７５では、フィルター処理部２１１は、対話型処理モードが選択された場合には、処理をステップＳ７７に進め、閾値自動設定処理モードが選択された場合には、処理をステップＳ７６に進める。

ステップＳ７６では、フィルター処理部２１１は、閾値自動設定処理を実行する。閾値自動設定処理では、フィルター処理部２１１は、削除色情報に含まれているＣＭＹＫの各階調の閾値を手書き文字の削除のための閾値として自動的に設定する。この例では、筆記具Ａは黒色の線を描くことができ、ＣＭＹＫの各階調の閾値には、Ｋの階調値の閾値Ｔｈ１と、ＣＭＹの各階調値の閾値（この例では、いずれもほぼゼロ）とが含まれているものとする。

ステップＳ７９では、フィルター処理部２１１は、手書き文字削除処理を実行する。手書き文字削除処理では、フィルター処理部２１１は、Ｋの階調値の閾値Ｔｈ１と、ＣＭＹの各階調値の閾値とを使用して手書き文字ＨＴ１を第１の画像領域として抽出し、第１の画像領域を削除する。

第１の画像領域とは、筆記具で描かれた画像である手書き画像と見做された領域である。本発明は、単色画像とカラー画像のいずれにも適用可能である。第１の画像領域は、ＣＭＹＫの階調値の少なくとも１つが予め設定されている所定の範囲内にある画素から構成されている画像領域であればよい。この例では、第１の画像領域は、Ｋの階調値が閾値Ｔｈ１（第１の閾値とも呼ばれる。）以下の画素から構成されている領域である。

これにより、フィルター処理部２１１は、手書き文字ＨＴ１が表示されている印刷物の読取画像ＰＭ１の読み取り画像から手書き文字ＨＴ１を削除して、読取画像ＰＭ１ａ（図５（ｃ）参照）を生成することができる。

ステップＳ８０では、ハーフトーン処理部２２２は、ディザマトリックス２２２ａを使用してハーフトーン処理を実行し、ＣＭＹＫ画像データのハーフトーンデータを生成する。ステップＳ９０では、画像出力部２２３は、スタートボタン２３２（後述）の操作に応じてハーフトーンデータに基づいて印刷媒体に画像を形成して出力する。印刷媒体は、画像形成媒体とも呼ばれる。印刷物は、画像形成物とも呼ばれる。

図６は、第１実施形態に係るフィルター処理の対話型処理モードの例を示す説明図である。図６（ａ）は、Ｋトナーのベタで印刷された文字画像ＴＴ１と、筆記具Ａを使用して描かれている手書き文字ＨＴ１、筆記具Ｂを使用して描かれている手書き文字ＨＴ２とが表示されている印刷物の読取画像ＰＭ２を示している。図６（ｂ）は、Ｋトナーのベタで表示されている文字画像ＴＴ１に起因するピークＰ１と、筆記具Ａを使用して描かれている手書き文字ＨＴ１に起因するピークＰ２と、筆記具Ｂを使用して描かれている手書き文字ＨＴ２に起因するピークＰ４と、白画素における印刷媒体の地肌色に起因するピークＰ３との４つのピークを有するヒストグラムＨ２を示している。

図７は、第１実施形態に係るフィルター処理の対話型処理モードにおけるユーザーインターフェース画面２３１の例を示す説明図である。操作表示部２３０は、タッチパネルとして構成されているユーザーインターフェース画面２３１と、スタートボタン２３２とを有している。ユーザーインターフェース画面２３１には、読取画像ＰＭ２と、選択アイコン２３３と、解除アイコン２３４と、ＯＫアイコン２３５とが表示されている。

ステップＳ７７では、ユーザーは、ユーザーインターフェース画面２３１に表示されている読取画像ＰＭ２上でタッチして画像を指定する。選択アイコン２３３は、タッチすることによって指定された画像と同一のピーク（手書き文字ＨＴ１の場合には、ピーク２）に属する画像、すなわち読取画像ＰＭ２の一部を削除対象として選択することができる。

解除アイコン２３４は、タッチすることによって指定された画像と同一のピークに属する画像を削除対象から解除することができる。ＯＫアイコン２３５は、読取画像ＰＭ２をタッチすることによって削除対象となった画像を読取画像ＰＭ２から削除して読取画像ＰＭ２ａを生成して表示させる。

この例では、ユーザーは、手書き文字ＨＴ１のみを選択して削除するものとする。具体的には、ユーザーは、筆記具Ａで描かれた手書き文字ＨＴ１を選択して選択アイコン２３３をタッチする。筆記具Ａでは、ＣＭＹＫの各階調の閾値には、Ｋの階調値の閾値Ｔｈ１（この例では最高階調値の８０％に相当）と、ＣＭＹの各階調値の閾値（この例では、いずれもほぼゼロ）とが含まれ、筆記具Ｂでは、ＣＭＹＫの各階調の閾値には、Ｋの階調値の閾値Ｔｈ２（この例では最高階調値の６０％に相当）と、ＣＭＹの各階調値の閾値（この例では、いずれもほぼゼロ）とが含まれているものとする。なお、Ｋの階調値の閾値Ｔｈ３については後述する。閾値Ｔｈ１及び閾値Ｔｈ２は、第１の閾値とも呼ばれる。

ステップＳ７８では、フィルター処理部２１１は、閾値調整処理を実行する。この例では、手書き文字ＨＴ１のみが選択されているので、フィルター処理部２１１は、筆記具Ａでの手書き文字ＨＴ１を削除対象とし、筆記具Ｂでの手書き文字ＨＴ２を削除対象としていない。よって、フィルター処理部２１１は、選択された一部（手書き文字ＨＴ１）を描いた筆記具で描かれた全画像を抽出するための閾値を設定し、すなわち閾値Ｔｈ２より高く閾値Ｔｈ１以下の階調値として閾値を設定する。これにより、フィルター処理部２１１は、手書き文字ＨＴ１の画像のみを削除対象とすることができる。

これにより、フィルター処理部２１１は、手書き文字ＨＴ１と同一の筆記具Ａで描かれた画像のみをハイライトしてユーザーインターフェース画面２３１に表示させる。ユーザーは、ＯＫアイコン２３５をタッチしてハイライトされた画像が削除された画像をユーザーインターフェース画面２３１に表示させることができる。これにより、ユーザーは、筆記具Ａで描かれた画像のみが削除されたことを確認することができる。

このように、対話型処理モードでは、ユーザーは、手書き文字ＨＴ１と手書き文字ＨＴ２が描かれている読取画像を確認しつつ、一方の手書き文字のみあるいは両方の手書き文字を削除することができる。

このように、第１実施形態に係る画像形成装置１０は、ＣＭＹＫの各階調（ＣＭＹＫの濃度値に対応）を解析することにより、色相差に依存することなく、トナーで形成されている画像と筆記具を用いて手書きで描かれている画像の区別が可能となる。これにより、画像形成装置１０は、高い信頼性と精度で手書き文字を削除することができる。

Ｂ．第２実施形態：
図８は、第２実施形態に係る手書き文字削除処理（文字欠落抑制モード）の内容を示すフローチャートである。文字欠落抑制処理は、手書き文字削除処理（ステップＳ７９）の処理モードの１つである。文字欠落抑制処理は、トナーで形成されている画像の濃度に何らかの理由でムラが発生した場合であっても文字情報の欠落を抑制することができる。

図９は、第２実施形態に係る手書き文字削除処理の内容を示す説明図である。図９（ａ）は、文字欠落抑制モードがオフの場合における手書き文字削除処理前の文字画像Ｔ１と手書き文字削除処理後の文字画像Ｔ１ａとを示す説明図である。図９（ｂ）は、文字欠落抑制モードがオンの場合における手書き文字削除処理前の文字画像Ｔ１と手書き文字削除処理後の文字画像Ｔ１ｂとを示す説明図である。文字画像Ｔ１，Ｔ１ａ，Ｔ１ｂは、説明を分かりやすくするために実際の画像よりも薄く描かれている。

ステップＳ７９１では、ユーザーは、操作表示部２３０を介して処理モードを設定する。本実施形態では、手書き文字削除処理の処理モードには、文字欠落抑制モード（オン又はオフ）がある。文字欠落抑制モードには、さらに最高濃度値参照モードと、閾値調整モードとがある。

ステップＳ７９２では、フィルター処理部２１１は、手書き文字削除の処理対象となる画素が高濃度領域と連続しているか否かを判断する。フィルター処理部２１１は、高濃度領域と連続していないと判断した場合には、処理をステップＳ７９７に進め、高濃度領域と連続していると判断した場合には、処理をステップＳ７９３に進める。

高濃度領域とは、第２の画像領域とも呼ばれ、Ｋの階調値の閾値Ｔｈ３（図６（ｂ）参照、この例では最高階調値の９０％に相当）よりも高い階調値を有している画素から構成されている領域である。Ｋの階調値の閾値Ｔｈ３は、Ｋのトナーのベタとして画像を再現している領域であるか否かを判断するための閾値である。閾値Ｔｈ３は、第２の閾値とも呼ばれる。第２の画像領域は、Ｋの色材で再現された文字画像である印刷文字画像と見做された画像領域である。閾値Ｔｈ３は、画像形成装置１０が予め記憶部２４０に格納しているテストパターンを印刷し、それを画像読取部１００で読み取ることによって自動的に生成することができる。印刷文字画像は、画像形成文字画像とも呼ばれる。

ステップＳ７９３では、フィルター処理部２１１は、最高濃度値参照モードが選択されている場合には、処理をステップＳ７９４に進め、最高濃度値参照モードが選択されていなかった場合には、処理をステップＳ７９５に進める。

ステップＳ７９４では、フィルター処理部２１１は、手書き文字削除の処理対象となる画素の階調値を連続している高濃度領域の画素値で置換して処理をステップＳ７９７に進める。すなわち、文字画像Ｔ１の例では、フィルター処理部２１１は、文字画像Ｔ１の濃度が高い部分の階調値で濃度が薄い部分の階調値を置換する。

ステップＳ７９５では、フィルター処理部２１１は、閾値調整モードが選択されている場合には、処理をステップＳ７９６に進め、最高濃度値参照モードが選択されていなかった場合（すなわち文字欠落抑制モードがオフ）には、処理をステップＳ７９７に進める。

ステップＳ７９６では、フィルター処理部２１１は、手書き文字削除の処理対象となる画素に適用される閾値を閾値Ｔｈ１よりも低い閾値として予め設定されている閾値（この例では最高階調値の７０％に相当）に変更する。これにより、フィルター処理部２１１は、文字欠落抑制処理がオンの場合では、筆記具で描かれた画像である手書き画像と見做された領域を第１の画像領域から除外し、すなわち、手書き文字として削除される画像領域から除外して文字情報の欠落を抑制することができる。

これにより、フィルター処理部２１１は、文字欠落抑制モードがオフの場合には、手書き文字削除処理によって文字画像Ｔ１を文字画像Ｔ１ａに処理するのに対し、文字欠落抑制モードがオンの場合には、手書き文字削除処理によって文字画像Ｔ１を文字画像Ｔ１ｂに処理することができる（ステップＳ７９７）。

このように、第２実施形態に係る画像形成装置１０は、色相差に依存することなく、トナーで形成されている画像と筆記具を用いて手書きで描かれている画像を区別して高い信頼性と精度で手書き文字を削除しつつ文字情報の欠落を抑制することができる。

なお、ステップＳ７９４では、フィルター処理部２１１は、手書き文字削除の処理対象となる画素の階調値を連続している高濃度領域の画素値で置換している。すなわち、文字画像Ｔ１の例では、フィルター処理部２１１は、文字画像Ｔ１の濃度が高い部分の階調値で濃度が薄い部分の階調値を置換している。これにより、文字要素の欠落を抑制している。

しかしながら、フィルター処理部２１１は、さらに、手書き文字削除の処理対象となる画素の階調値を連続している高濃度領域の画素値で置換し、その置換された画素値を手書き文字削除の処理対象となるか否かの判断に使用するだけでなく、その画素値を有する文字画像Ｔ１ｃとなるように画像を補完してもよい（図９（ｃ）参照）。すなわち、フィルター処理部２１１は、手書き文字の範囲内の比較的に高い濃度の画素値に、手書き画像を構成する全ての画素の画素値を変更することができる。こうすれば、手書き文字の視認性をさらに高めることができる。

このような処理は、たとえば文字認識処理部を画像形成装置１０に装備し、文字認識処理（ＯＣＲ処理とも呼ばれる。）で文字を表している画像であることを確認し、補完後の手書き画像の手書き文字としての認識の確度値が補完前の手書き画像の手書き文字としての認識の確度値と比較して高い場合に制限してもよい。さらに、フィルター処理部２１１は、必ずしも高濃度領域の画素値で置換する必要はなく、文字画像Ｔ１の比較的に濃度が高い部分の階調値で濃度が薄い部分の画像を補完してもよい。

Ｃ．第３実施形態：
図１０は、第３実施形態に係る手書きフィルター処理（ステップＳ７０ａ）の内容を示すフローチャートである。フィルター処理（ステップＳ７０ａ）は、調整内容設定処理（ステップＳ７７１）が追加され、手書き文字削除処理（ステップＳ７９）が手書き文字調整処理（ステップＳ７９ａ）に変更されている点でフィルター処理（ステップＳ７０）と相違する。

図１１は、第３実施形態に係るフィルター処理の対話型処理モードの例を示す説明図である。図１１（ａ）は、第３実施形態に係るユーザーインターフェース画面２３１ａを示している。第３実施形態に係るフィルター処理の対話型処理モードでは、対話型処理モードで使用されるユーザーインターフェース画面２３１がユーザーインターフェース画面２３１ａに変更されている。ユーザーインターフェース画面２３１ａは、削除アイコン２３６と、カラーパレットアイコン２３７とが追加されている点でユーザーインターフェース画面２３１と相違する。

調整内容設定処理（ステップＳ７７１）は、手書き文字選択処理（ステップＳ７７）で選択された手書き文字の調整内容を選択する処理である。第１実施形態では、ユーザーが、ユーザーインターフェース画面２３１に表示されている読取画像ＰＭ３上でタッチして画像を指定し、選択アイコン２３３をタッチすると、選択された画像の調整内容が削除される。

しかしながら、第３実施形態は、手書き文字選択処理（ステップＳ７７）で選択された画像の調整内容を調整内容設定処理（ステップＳ７７１）で設定可能としている。フィルター処理（ステップＳ７０）では、ユーザーは、削除アイコン２３６をタッチすることによって調整内容を削除とし、カラーパレットアイコン２３７をタッチすることによって調整内容を色の変更とすることができる。変更後の色は、カラーパレットアイコン２３７で表示されるカラーパレットから選択することができる。

具体的には、ユーザーは、ユーザーインターフェース画面２３１ａに表示されている読取画像ＰＭ３上でタッチして手書き文字ＨＴ１の画像を指定し、選択アイコン２３３をタッチすることによって指定された画像と同一のピーク（ピークＰ２（図６参照））に属する画像、すなわち読取画像ＰＭ３の一部を調整対象として選択することができる（ステップＳ７７）。この点は、第１実施形態と同様である。

ユーザーは、削除アイコン２３６をタッチすることによって調整内容を削除とすることができる（ステップＳ７７１）。これにより、筆記具Ａで描かれた手書き文字の全てが削除対象となる。

ユーザーは、さらに、ユーザーインターフェース画面２３１ａに表示されている読取画像ＰＭ３上でタッチして手書き文字ＨＴ２の画像を指定し、選択アイコン２３３をタッチすることによって指定された画像と同一のピーク（ピークＰ４（図６参照））に属する画像を調整対象として選択することができる（ステップＳ７７）。

ユーザーは、カラーパレットアイコン２３７をタッチすることによって調整内容を色変更とし、カラーパレット（図示略）を表示することができる（ステップＳ７７１）。これにより、ユーザーは、任意の色（この例では赤）を選択し、筆記具Ｂで描かれた手書き文字の全ての色を赤色に変更することができる。

ユーザーは、ＯＫアイコン２３５をタッチすることによって、筆記具Ｂで描かれた手書き文字ＨＴ２を赤色の手書き文字ＨＴ２Ｒとし、筆記具Ａで描かれた手書き文字を削除する。これにより、フィルター処理部２１１は、調整画像ＰＭ３を調整することによって調整画像ＰＭ３ａを生成して表示させる。

図１１（ｂ）は、第３実施形態に係る調整内容の一例を示している。この例では、筆記具Ａで描かれた手書き文字ＨＴ１の画像が削除され、筆記具Ｂで描かれた手書き文字の全ての色を赤色に変更されている。このように、第３実施形態は、第１実施形態と異なり、削除だけでなく色の変更も可能であり、手書き文字に使用された筆記具毎に調整内容を切り替えることができる。

図１２は、第３実施形態に係るフィルター処理の他の例を示す説明図である。この例では、読取画像ＰＭ４には、筆記具Ａで描かれた手書き文字が描かれ、筆記具Ｂで描かれた手書き文字は描かれていない。

フィルター処理の手書き文字選択処理（ステップＳ７７）では、ユーザーは、ピンチアウト（ピンチオープンとも呼ばれる。）操作で領域を選択（抽出）することができる。ピンチアウト操作とは、タッチパネルパネルとして機能する操作表示部２３０を２本指でタッチしたまま、その間を広げて拡大する操作である。

具体的には、ユーザーは、ピンチアウト操作で抽出対象となる抽出対象領域Ｓ１を設定し、選択アイコン２３３をタッチすることによって抽出対象領域Ｓ１内の手書き文字（筆記具Ａ）を自動的に選択することができる（ステップＳ７７）。

ユーザーは、カラーパレットアイコン２３７をタッチすることによって調整内容を色変更とし、カラーパレット（図示略）を表示することができる（ステップＳ７７１）。これにより、ユーザーは、任意の色（この例では赤）を選択し、筆記具Ａで描かれた手書き文字ＨＴ１を赤色の手書き文字ＨＴ１Ｒに調整することができる。

ユーザーは、新たにピンチアウト操作で抽出対象領域Ｓ２を設定し、選択アイコン２３３をタッチすることによって抽出対象領域Ｓ２内の手書き文字（筆記具Ａ）を自動的に選択することができる（ステップＳ７７）。

ユーザーは、削除アイコン２３６をタッチすることによって調整内容を削除とすることができる（ステップＳ７７１）。これにより、抽出対象領域Ｓ２内の手書き文字（筆記具Ａ）の全てが削除対象となる。

ユーザーは、ＯＫアイコン２３５をタッチすることによって、抽出対象領域Ｓ１内の筆記具Ａで描かれた手書き文字ＨＴ１を赤色の手書き文字ＨＴ１Ｒに調整し、抽出対象領域Ｓ２内の筆記具Ａで描かれた手書き文字ＨＴ１を削除することができる。一方、ユーザーは、抽出対象領域Ｓ１及び抽出対象領域Ｓ２のいずれにも該当しない手書き文字ＨＴ１を調整することなく残存させることができる。これにより、フィルター処理部２１１は、調整画像ＰＭ４を調整することによって調整画像ＰＭ４ａを生成して表示させる。

このように、第３実施形態に係る画像形成装置１０は、ユーザーインターフェース画面２３１ａを提供することによって、手書き文字の調整内容や調整対象となる領域をユーザーが自由に設定できるようにしている。これにより、手書き文字の調整においてユーザーの利便性を高めることができる。

Ｄ．変形例：
本発明は、上記実施形態だけでなく、以下のような変形例でも実施することができる。

変形例１：上記実施形態では、筆記具Ａ及び筆記具Ｂは、Ｋの階調値だけであって色相に差がない例が示されているが、色相に差があってもよい。具体的には、筆記具Ａが黒のボールペンで筆記具Ｂが赤のサインペンである場合には、濃度に加えて色相を利用して区別するようにしてもよい。さらに、筆記具の識別には、ＣＭＹＫの濃度が使用されているが、たとえば線の太さを利用するようにしてもよい。

変形例２：上記実施形態の文字欠落抑制処理は、高濃度領域に連続する領域の画素から構成される文字情報が手書き文字として削除されることを抑制しているが、処理の信頼性を高めるためにＯＣＲ処理と組み合わせることもできる。具体的には、たとえば文字欠落抑制処理オンの時に再現される画像のＯＣＲ処理の認識の確度値と文字欠落抑制処理オフの時に再現される画像のＯＣＲ処理の認識の確度値との間に予め設定された差が生じた場合にのみ文字欠落抑制処理を適用するようにしてもよい。認識の確度値とは、文字の認識の確からしさ、すなわち正しいとされる確率として算出された値である。

変形例３：上記実施形態では、文字領域やイメージ領域といった画像領域の種別を考慮することなく手書き文字削除処理を実行しているが、たとえば文字領域のみについて実行するようにしてもよい。具体的には、フィルター処理部２１１は、ＣＭＹＫ画像データを解析し、Ｋの色材で文字が再現されている領域である文字領域を検出し、検出された文字領域内でのみ第１の画像領域を抽出するようにしてもよい。文字領域内では、濃度閾値による手書き文字の識別の信頼性が高いので、手書き文字以外の画像の削除を抑制して、手書き文字の削除の信頼性を高めることができる。

１０ 画像形成装置
２１０ 制御部
２２０ 画像形成部
２３０ 操作表示部
２４０ 記憶部
１００ 画像読取部
１１１ 光源ドライバ
１１２ 光源
１２１ イメージセンサ
１２２ 受光素子
１２３ 信号処理部
１２４ シェーディング補正部
１３０ ＡＧＣ処理部
１５０ 原稿台
１６０ 自動原稿送り装置
１６２ 原稿読取スリット

Claims (12)

1. ＣＭＹＫの色材を使用して画像形成媒体に画像を形成して画像形成物として出力する画像形成部と、
   前記画像形成物上の画像を読み取って読取画像を表す画像データを生成する画像読取部と、
   前記読取画像を色変換し、ＣＭＹＫの各階調値から構成されるＣＭＹＫ画像データを生成する色変換処理部と、
   前記ＣＭＹＫ画像データを解析し、ＣＭＹＫの階調値の少なくとも１つが予め設定されている所定の範囲内にある画素から構成されている第１の画像領域を抽出し、前記第１の画像領域を筆記具で描かれた画像である手書き画像と見做して調整するフィルター処理部と、
   を備える画像形成装置。
2. 請求項１記載の画像形成装置であって、さらに、
   操作表示部を備え、
   前記フィルター処理部は、前記手書き画像と見做された画像の削除と、色の変更とを含む前記調整の内容を設定するためのユーザー入力を前記操作表示部で受け付け、前記受け付けられたユーザー入力に応じて前記調整を行う画像形成装置。
3. 請求項２記載の画像形成装置であって、
   前記色の変更は、手書き文字を構成する前記手書き画像の濃度を前記文字の範囲内で補完する処理を含み、
   前記補完は、前記文字の範囲内の比較的に高い濃度の画素値に前記手書き画像を構成する全ての画素の画素値を変更する処理を含んでいる画像形成装置。
4. 請求項３記載の画像形成装置であって、さらに、
   前記手書き画像の前記手書き文字としての文字認識を実行する文字認識処理部を有し、
   前記フィルター処理部は、前記補完後の前記手書き画像の前記手書き文字としての認識の確度値が前記補完前の前記手書き画像の前記手書き文字としての認識の確度値と比較して高い場合に前記調整として前記補完を実行する画像形成装置。
5. 請求項１記載の画像形成装置であって、さらに、
   操作表示部を備え、
   前記フィルター処理部は、前記第１の画像領域の抽出対象となる領域を設定するためのユーザー入力を前記操作表示部で受け付け、前記受け付けられたユーザー入力に応じて設定された領域内において、前記第１の画像領域を抽出する画像形成装置。
6. 請求項１記載の画像形成装置であって、さらに、
   記憶部と操作表示部とを備え、
   前記フィルター処理部は、前記筆記具を使用して手書き画像が描かれた画像形成媒体を読み取って閾値を設定し、前記閾値を前記筆記具と紐づけて前記記憶部に記憶し、前記操作表示部で前記筆記具の選択を受け付け、前記選択された筆記具に紐づけられている閾値を使用して前記所定の範囲を設定する画像形成装置。
7. 請求項６記載の画像形成装置であって、
   前記フィルター処理部は、前記操作表示部において、前記読取画像を表示して前記表示された読取画像の一部の選択を受け付け、前記選択された一部を描いた筆記具で描かれた画像を抽出するための閾値を設定し、前記設定された閾値を使用して前記所定の範囲を設定する画像形成装置。
8. 請求項１乃至７のいずれか１項に記載の画像形成装置であって、
   前記フィルター処理部は、Ｋの階調値が予め設定されている第１の閾値以下の画素から構成されている領域を前記第１の画像領域として抽出し、予め設定されている第２の閾値よりもＫの階調値が高い画素から構成されている領域を第２の画像領域として抽出し、前記第２の画像領域をＫの色材で再現された文字画像である画像形成文字画像と見做し、前記画像形成文字画像と見做された領域と連続している領域については前記第１の画像領域から除外する画像形成装置。
9. 請求項８記載の画像形成装置であって、
   前記フィルター処理部は、前記第１の閾値よりも低い閾値として予め設定されている閾値よりもＫの階調値が高い画素から構成されている領域を前記第１の画像領域から除外する画像形成装置。
10. 請求項１乃至９のいずれか１項に記載の画像形成装置であって、さらに、
    前記フィルター処理部は、前記ＣＭＹＫ画像データを解析し、Ｋの色材で文字が再現されている領域である文字領域を検出し、前記検出された文字領域内で前記第１の画像領域を抽出する画像形成装置。
11. ＣＭＹＫの色材を使用して画像形成媒体に画像を形成して画像形成物として出力する画像形成工程と、
    前記画像形成物上の画像を読み取って読取画像を表す画像データを生成する画像読取工程と、
    前記読取画像を色変換し、ＣＭＹＫの各階調値から構成されるＣＭＹＫ画像データを生成する色変換処理工程と、
    前記ＣＭＹＫ画像データを解析し、ＣＭＹＫの階調値の少なくとも１つが予め設定されている所定の範囲内にある画素から構成されている第１の画像領域を抽出し、前記第１の画像領域を筆記具で描かれた画像である手書き画像と見做して調整するフィルター処理工程と、
    を備える画像形成方法。
12. ＣＭＹＫの色材を使用して画像形成媒体に画像を形成して画像形成物として出力する画像形成部と、前記画像形成物上の画像を読み取って読取画像を表す画像データを生成する画像読取部とを有する画像形成装置を制御するための画像形成プログラムであって、
    前記読取画像を色変換し、ＣＭＹＫの各階調値から構成されるＣＭＹＫ画像データを生成する色変換処理部、及び
    前記ＣＭＹＫ画像データを解析し、ＣＭＹＫの階調値の少なくとも１つが予め設定されている所定の範囲内にある画素から構成されている第１の画像領域を抽出し、前記第１の画像領域を筆記具で描かれた画像である手書き画像と見做して調整するフィルター処理部として前記画像形成装置を機能させる画像形成プログラム。