JP2023112514A - 画像処理装置、その制御方法およびプログラム - Google Patents

Abstract

【課題】暗読みで保存された電子文書内の修正痕の消失や視認性低下を抑制する画像処理装置、その制御方法およびプログラムを提供すること。【解決手段】画像読取装置が通常よりも光量を抑えた暗読みモードで原稿を読み取って得られた読取画像に画像処理を施す画像処理装置であって、読取画像をＲＧＢ画像からＬａｂ画像に変換する変換手段と、読取画像における原稿の紙そのものの領域である紙白信号領域を検出する第１の検出手段と、Ｌａｂ画像における或る注目画素を含む所定画素数の範囲における全画素の各々の画素のＬ値を用いて求めたＬ値の分散値を当該注目画素の分散値とすることを、Ｌａｂ画像の各画素を順次注目画素として求めた分散分布画像と、検出された紙白信号領域とに基づいて修正痕候補の画素を抽出する抽出手段と、Ｌａｂ画像において明暗の境界線を有するエッジ画像を生成する生成手段と、生成されたエッジ画像と抽出された修正痕候補の画素とに基づいて修正痕を検出する第２の検出手段とを備える。【選択図】図２

Description

本発明は、画像処理装置、その制御方法およびプログラムに関する。

紙文書を光学的に走査して電子文書を生成する装置として単機能のスキャナ装置や複写機に搭載されたスキャナ等がある。近年は、モバイル端末等もドキュメントスキャナとして利用可能になっている（以下、これら装置を総称して「読取装置」と呼ぶ）。濃度が低い無彩色（白色に近い）下地（紙地）を有する紙文書を、読取装置を用いて電子化する際、或る明度以上の下地は信号処理を施して白色にする所謂「下地飛ばし処理」を行う。この「下地飛ばし処理」により、下地と文字とのコントラストが明確になり下地の「がさつき」が無くなるため電子文書の見栄えが良くなる。

近年、電子文書化技術の進歩に伴う法制度の変化によって、税務関係の帳票等、これまで紙文書のみが「原本」として認められていた。だが、所定の条件を満たすことにより、電子文書も原本として認められるようになっている。電子文書が「原本」として認められる条件に一つとして、修正痕のある原稿を電子文書化した際に、修正痕の情報が消失しない（換言すれば、視認性が保持される）ことがある。

しかし、この修正痕等の情報が消失しないという条件に関し、前述の「下地飛ばし処理」が行われると条件を満たせない可能性がある。例えば、白い修正液等が用いられた修正痕は、紙文書の紙地部分よりも白いことが多い。そのため、紙地を白にする「下地飛ばし処理」は修正痕も白にしてしまう。このため、紙地と修正痕の階調差がなくなる。このため、電子文書上は修正痕が消失し、前述の条件を満たせなくなる。

そこで、紙文書の読取時に照射される光の量を抑えて紙文書を暗めにして読み取る（以下この読取方法を「暗読み」と記す）ことを行う。これにより、前述の「下地飛ばし処理」を行っても修正痕等が白くならないようにし、紙地と修正痕との階調差を保持することにより、修正痕の消失を防ぐ（換言すれば、視認性を保持する）技術が開示されている（特許文献1参照）。

一方、「下地飛ばし処理」とは別に、修正痕が消失（換言すれば視認性が低下）するケースがある。それが、原稿読取時の読取階調性の低下である。読取階調性の低下が発生すると、電子文書の階調性低下が生じる。この結果、電子文書中の紙地と修正痕の階調差が小さくなる。紙地と修正痕の階調差がある程度小さくなると、電子文書上で修正痕が視認できなくなって電子文書が原本として認められる条件を満たさなくなる。

特開２００６－２９５３０７号公報

上述した「暗読み」は、読取時の光量の少なさから電子文書の階調性低下が発生し易い。そのため、特許文献１に開示されたように「暗読み」を行うと、「下地飛ばし処理」による修正痕の消失は抑制できる。その一方で、階調性低下による修正痕の消失や視認性低下が発生する可能性がある。

本発明の目的は、暗読みで保存された電子文書内の修正痕の消失や視認の低下を抑制する仕組みを提供することにある。

上記目的を達成するために、本発明は、画像読取装置が通常よりも光量を抑えた暗読みモードで原稿を読み取って得られた読取画像に画像処理を施す画像処理装置であって、
前記読取画像をＲＧＢ画像からＬａｂ画像に変換する変換手段と、
前記読取画像における前記原稿の紙そのものの領域である紙白信号領域を検出する第１の検出手段と、
前記Ｌａｂ画像における或る注目画素を含む所定画素数の範囲における全画素の各々の画素のＬ値を用いて求めたＬ値の分散値を当該注目画素の分散値とすることを、前記Ｌａｂ画像の各画素を順次、注目画素として求めた分散分布画像と、検出された前記紙白信号領域とに基づいて修正痕候補の画素を抽出する抽出手段と、
前記Ｌａｂ画像において明暗の境界線を有するエッジ画像を生成する生成手段と、
生成された前記エッジ画像と抽出された前記修正痕候補の画素とに基づいて修正痕を検出する第２の検出手段と、を備えたことを特徴とする。

本発明によれば、暗読みで保存された電子文書内の修正痕の消失及び視認性低下を抑制することができる。

画像処理装置の構成図である。 第１実施形態の修正痕検出処理を示すフローチャートである。 第１実施形態の修正痕補正処理を示すフローチャートである。 スキャンの設定に関連する操作パネル例の説明図である。 紙白信号領域算出時のヒストグラムの説明図である。 色変換テーブルの説明図である。 第２実施形態の修正痕エッジ補正処理を示すフローチャートである。 第１実施形態の囲い状エッジの検出例の説明図である。 第１実施形態の内外判定例の説明図である。

以下、本発明の実施の形態について図面を参照しながら詳細に説明する。しかしながら、以下の実施の形態に記載される構成はあくまで例示に過ぎず、本発明の範囲は実施の形態に記載される構成によって限定されることはない。まず、本発明の第１実施形態について説明する。

＜第１実施形態＞
第１実施形態において説明する処理は、スキャナ、複写機、レーザプリンタ、インクジェットプリンタ等の画像読取り装置を備えた装置に対して広く適用可能である。第１実施形態においては、スキャン機能、プリント機能、コピー機能、ファックス送信機能等を備えた複合機であるＭＦＰ（ＭｕｌｔｉＦｕｎｃｔｉｏｎ Ｐｅｒｉｐｈｅｒａｌ）を例に取って説明を行う。なお、尚、以下に示す実施形態においては、画像データが保持する各色空間に対応した色を「Ｒ」、「Ｇ」、「Ｂ」、または「Ｌ」、「ａ」、「ｂ」などの英字で表す。例えば、「Ｒ」とは、ＲＧＢ色空間における赤色成分を示す。なお、後述するプリンタエンジンやスキャナユニット等のデバイスの色再現範囲を基準とした「相対的な色空間」を「デバイスに依存した色空間」と表現する。反対に、ＣＩＥが定めた「ＣＩＥ Ｌ＊a*b*」等の標準規格として定められた「絶対的な色空間」を「デバイスに依存しない色空間」と表現する。

また、「画像データ」とは色毎のプレーンを持つ複数プレーンの二次元データである。例えば「ＲＧＢ色空間」の画像データとは「Ｒ」、「Ｇ」、「Ｂ」毎の３つの二次元平面の層構造データを示す。本実施形態においては、「Ｒ」、「Ｇ」、「Ｂ」および「Ｌ」、「a」、「b」を各々８ｂｉｔ（０～２５５）の値を持つものとして説明する。また、色空間内の離散点の値を保持したテーブルデータを用いて、同一色空間の色調整処理や定義の異なる色空間において、同一の色を表現する値に変換する「色変換処理」や、任意の調整処理を加えた上で色空間を変換する「色調整処理」を実施する。なお、本実施形態において、上述の色空間内の離散点を本実施形態では「格子点」と定義する。「格子点」は、色空間を表すテーブルデータを構成する「Ｒ」、「Ｇ」、「Ｂ」や「Ｌ」、「ａ」、「ｂ」などの一つの要素のことを指す。テーブルデータの詳細な例については後述する。

＜構成＞
図１は、本発明の実施形態の画像処理装置１００の構成図である。画像処理装置１００は、制御部１１０と操作部１２１とプリンタ部１２２とスキャナ部１２３とを有する。制御部１１０は、ＣＰＵ１１１、ＲＯＭ１１２、ＲＡＭ１１３、ＨＤＤ１１４、操作部Ｉ／Ｆ１１５、プリンタＩ／Ｆ１１６、スキャナＩ／Ｆ１１７、ネットワークＩ／Ｆ１１８、スキャン画像処理部１１９およびプリント画像処理部１２０を有する。

制御部１１０は、画像処理装置１００全体の動作を制御する。ＣＰＵ１１１は、ＲＯＭ１１２に記憶された制御プログラムを読み出して、本実施形態における各種の処理を実行制御する。ＲＡＭ１１３は、ＣＰＵ１１１の主メモリやワークエリア等の一時記憶領域として用いられる。ＨＤＤ１１４は、画像データや各種のプログラムを記憶する大容量記憶部である。

操作部Ｉ／Ｆ１１５は、操作部１２１と制御部１１０とを接続するインターフェイスである。操作部１２１は、タッチパネルやハードキーを備えており、ユーザによる操作、入力、指示等を受け付ける。プリンタＩ／Ｆ１１６は、プリンタ部１２２と制御部１１０とを接続するインターフェイスである。印刷用の画像データは、プリンタＩ／Ｆ１１６を介して制御部１１０からプリンタ部１２２へ転送され、紙等の記録媒体上に当該印刷用の画像データが印刷される。スキャナＩ／Ｆ１１７は、スキャナ部１２３と制御部１１０とを接続するインターフェイスである。スキャナ部１２３は、不図示の原稿台やＡＤＦ（Auto Document Feeder）にセットされた原稿をスキャンして得られた画像をスキャナＩ／Ｆ１１７を介して制御部１１０に入力する。

スキャン画像処理部１１９は、スキャナＩ／Ｆ１１７を介して制御部１１０に入力された画像に対し、色変換処理やフィルタ処理など様々な画像処理を施す。スキャン画像処理部１１９で処理された画像は、ＨＤＤ１１４に保存したり、ＬＡＮを介して外部装置に送信したりすることができる。また、プリント画像処理部１２０は、スキャン画像処理部１１９で処理された画像をプリンタ部１２２において印刷できる形式に変換する。

ネットワークＩ／Ｆ１１８は、制御部１１０（画像処理装置１００）をＬＡＮに接続するインターフェイスである。画像処理装置１００は、ネットワークＩ／Ｆ１１８を用いて、ネットワークに接続されたＰＣ等に画像データを送信したり、各種情報を受信したりする。以上説明した画像処理装置１００の構成は一例であり、必要に応じて他の構成を備えるものであってもよいし一部の構成を有してなくてもよい。

＜修正痕検出処理＞
図２は、スキャンして得られた画像の「修正痕」を検出する処理を説明するためのフローチャートである。図２に示す処理はスキャン画像処理部１１９が行う。図２に示す一連の処理は、ＣＰＵ１１１がＲＯＭ１１２に格納されるプログラムをＲＡＭ１１３に読み出して実行することによって実現される。

まず、ステップＳ２０１において、スキャン画像処理部１１９は、スキャナ部１２３によりスキャンされスキャナＩ／Ｆ１１７を介して入力された画像（スキャン画像）を取得する。本実施形態においては、スキャン画像処理部１１９に入力されるスキャン画像はＲＧＢ画像であるとして説明する。次に、ステップＳ２０２において、スキャン画像処理部１１９は、スキャン設定値の取得を行う。スキャン設定値は、例えば「カラー選択」、「読取倍率」、「原稿の種類」等である。「カラー選択」は、スキャン画像を保存やコピーする際のカラーまたはモノクロのいずれかを選択するものである。「読取倍率」は、スキャン画像の拡大、縮小に関するものである。「原稿の種類」は、スキャンする原稿の種類を設定するものである。また、原稿の種類に紐づいて「読取モード」に対応する設定値がある。「読取モード」とは、スキャナ部１２３による原稿読取時の光量に関連するものである。

本実施形態においては、「通常読み」と、通常読みよりも光量を少なくした「暗読み」の２つのモードを有するものとして説明する。各読取モードに対して読取装置には「標準濃度板」が備えられている。「標準濃度板」を読み取った時の読取信号値が所定の値となるように光量を調整する。「標準濃度板」を読み取った時の読取信号値が所定の値となっている状態の光量での読取を「通常読み」とする。

一方、「暗読み」は、本実施形態では通常読みに対して「５０（％）」光量を下げた状態での読取とする。但し、「暗読み」は、これに限られるものではなく、読み取る原稿の紙種などに応じて光量を調整するなどしても良い。「読取モード」は、ユーザにより選択された操作部１２１上のボタンに紐づけられている。「通常読み」または「暗読み」に対応する設定値が、操作部Ｉ／Ｆ１１５を介してスキャン画像処理部１１９に送信される。例えば、本実施形態においては、「通常読み」を「０」、「暗読み」を「１」とするフラグの形で設定値を保持してスキャン画像処理部１１９に送信する。

図４は、操作部１２１に表示されるスキャン設定画面の例である。図４（ａ）は、スキャン時のカラー選択や、倍率、原稿の種類の設定画面に遷移するためのボタン（４０１、４０２、４０３）と、読取りを開始するスタートボタン４０４が表示されている。図４（ｂ）は、原稿の種類の切り替えボタン４０３を押下操作後に遷移する画面例である。原稿の種類の設定は、ユーザによって選択された原稿の種類に合わせ、予め原稿の種類毎に用意された画像処理に切り替えるための機能である。原稿の種類設定画面には、代表的な原稿の種類に対応するボタン（４１１、４１２、４１３、４１４）が表示されている。文字／写真／地図ボタン４１１は、写真やテキスト等の様々なコンテンツが配置された原稿に対応している。印刷写真ボタン４１２は、写真中心の原稿に対応している。文字ボタン４１３は、テキスト中心の原稿に対応している。電子文書４１４ボタンは、帳票などを原稿とする場合に対応している。本実施形態においては、電子文書が選択された場合には前述の読取モードフラグを「１」、それ以外の原稿の種類が選択された場合には読取モードフラグを「０」を設定するものとする。

＜暗読みモード判定＞
次に、ステップＳ２０３において、スキャン画像処理部１１９は、読取モードが「暗読みモード」であるか否かを判定する。ステップＳ２０２において、スキャン画像処理部１１９は、取得したスキャン設定値に属する読取モードの設定値（読取モードフラグ）を取得する。読取モードフラグが「１」である場合には「暗読みモード」、読取モードフラグが「０」である場合は通常読みモードと判定する。

＜ＲＧＢ・Ｌａｂ変換＞
次に、ステップＳ２０３において、暗読みモードと判定された場合（Ｙｅｓ）、ステップＳ２０４に進み、スキャン画像処理部１１９は、ステップＳ２０１で取得したスキャン画像を「Ｌａｂ画像」に変換する。Ｌａｂ画像への変換は、ＨＤＤ１１４に予め格納されている「ＲＧＢ→Ｌａｂ変換テーブル」を参照して補間演算により行う。「ＲＧＢ→Ｌａｂ変換テーブル」は、ＲＧＢ信号によって規定される３次元色空間の立方体を規定している。図６に示すように、ＲＧＢの各８ビットデータ（０～２５５）の値に応じて、３次元色空間の立方体（６０１）における座標を定めることができる。

立方体の８つの頂点は、「Ｒ」、「Ｇ」、「Ｂ」、「Ｙ」、「Ｍ」、「Ｃ」、「Ｋ」、「Ｗ」を示す。また、「ＲＧＢ→Ｌａｂ変換テーブル」は、入力データのＲＧＢ値によって規定される。例えば「９×９×９（個）」の格子点を持ち、この格子点に対応するＬａｂ値をテーブルデータとして格納したものである。例えば、図６に示す６０２において、ＲＧＢ値(２５５,０,０)に対応するテーブルデータとしてＬａｂ値(４４．０１,６１．３７,３９．６８)が格納されている。補間演算処理は、演算用テーブルで定義されていない値が入力された場合、入力された値に近い演算用テーブルで定義された値を用いて補間処理を行うものである。

補間演算処理に「四面体補間」と称されるものがある。「四面体補間」は、入力された値に近い４つの演算用テーブルで定義された値を用いて補間演算処理を行うものである。入力をスキャン画像の各画素のＲＧＢ値とし、演算用テーブルを「ＲＧＢ→Ｌａｂ変換テーブル」として四面体補間の演算を行う。これにより、各画素のＬａｂ値を取得する。スキャン画像の全ての画素をＬａｂ値に変換することにより、Ｌａｂ画像を得ることができる。なお、本実施形態においては、変換に「四面体補間」を用いたが、採用する補間演算処理はこれに限られるものではない。例えば、演算式による変換等でＲＧＢ空間をＬａｂ空間に変換できればどのような方法を採用してもよい。また、Ｌａｂ空間に限らず、明度と色度成分とを分離し、明度を独立に扱える空間であればいずれの色空間を採用しても良い。

＜Ｌ値ヒストグラム生成＞
次に、ステップＳ２０５おいて、スキャン画像処理部１１９は、ステップＳ２０４のＬａｂ画像の各画素値を用いてＬ値のヒストグラムを生成する。ヒストグラムの生成は、ステップＳ２０４で変換したＬａｂ画像の各画素のＬ値を０～１００（整数値）に分類し、それぞれのＬ値を持つ画素がいくつ存在するかをカウントする。例えば以下の式を用いてヒストグラムを生成する。

ＨＩＳＴ[ＩｎＬ[ｘ][ｙ]] = ＨＩＳＴ[ＩｎＬ[ｘ][ｙ]]＋１ （数式１）
ＨＩＳＴ[]は、０～１００のそれぞれに対する画素のカウント値であり、[]内が０～１００の数値を表す。ＩｎＬ[ｘ][ｙ]は、各画素のＬ値の小数部を四捨五入して整数化した値であり、「ｘ」、「ｙ」は、画像上の座標位置を表す。「ｘ」は横軸、「ｙ」は縦軸方向である。

＜紙白信号領域検出＞
次に、ステップＳ２０６において、スキャン画像処理部１１９は「紙白信号領域」の検出を行う。「紙白信号領域」とは、印刷や修正痕等が何もない紙そのものの箇所の信号領域のことである。本実施形態においては、「紙白信号領域」の検出を、ステップＳ２０５において生成したヒストグラムのピークを検出することで行う。ヒストグラムのピークとは「０」～「１００」のＬ値の内、画素カウント値が一番多いＬ値のことである。本実施形態においては、ピークのＬ値を中心とし、ピークのＬ値に対して「±５」の範囲のＬ値を「紙白信号領域」とする。例えば、図５は、生成したヒストグラムの一例である。横軸はＬ値、縦軸は画素カウント値である。ピークがＬ値「７５」であり、Ｌ値が「７０」～「８０」の範囲を「紙白信号領域」とする。

つまり、スキャン画像処理部１１９は、読取画像の明度成分のヒストグラムを生成し、生成したヒストグラムの最大頻度の明度を中心として予め設定された範囲の明度に対応する領域を紙白信号領域として検出する。

＜分散分布画像生成＞
次に、ステップＳ２０７おいて、スキャン画像処理部１１９は、ステップＳ２０４において生成したＬａｂ画像のＬ値を使用して「分散分布画像」を生成する。「分散分布画像」とは、各画素と各画素を中心とする「Ｍ×Ｎ」の範囲の画素のＬ値に基づいて各画素の分散値を算出し、全画素の分散値の分布を表現した画像である。

電子文書中の修正痕は、紙地部とほぼ同じ分散値を持つという特徴がある。そこで、電子文書中の修正痕の検出に必要な特徴量の一つである「分散値」を抽出するため「分散分布画像」を生成する。なお、本実施形態においては、「Ｍ×Ｎ」の範囲を「５×５画素」の範囲として説明する。なお、「５×５画素」の範囲に限られるものではなく、画像データサイズ等に応じて取得する画素数を変えても良い。

「分散分布画像」の生成は、まずステップＳ２０４において生成したＬａｂ画像のＬ値画像データから、一つの画素（注目画素）を取得する。次に、取得した画素を中心とする「５×５画素」（注目画素を含む２５画素）をＬ値画像データから取得する。注目画素が、画像データの端部の場合は、存在しない画素のＲＧＢ値を「０」として扱う。次いで、取得した注目画素とその周囲の画素から、注目画素の分散値を算出する。分散値の算出は以下の数式２を用いる。

「σL[n]」は、画像データのｎ番目の画素のＬ値、「ｘLi」は「５×５画素」内のｉ番目のL値、「μL」は「５×５画素」のＬ平均値、Ｎは「５×５画素」の全画素数（２５画素）を表す。また「Σ」は、総和の計算を表す。全画素分計算を行って「分散分布画像」を生成する。

つまり、スキャン画像処理部１１９は、Ｌａｂ画像に変換された読取画像における或る「注目画素」を含む所定画素数範囲（例えば横５画素×縦５画素）の全画素（２５画素）のＬ値の分散値を当該注目画素の分散値とする。このことを、Ｌａｂ画像の各画素を順次、注目画素として分散値を求めて「分散分布画像」を生成する。

＜修正痕候補画素抽出＞
次に、ステップＳ２０８において、スキャン画像処理部１１９は「修正痕候補画素」（修正痕候補の画素）を抽出する。電子文書中の修正痕は、前述の通り紙地部とほぼ同じ分散値を有するが、更に、所定の明度差を持つという特徴を有する。つまり、電子文書中で紙地部とほぼ同じ分散値を持ち、かつ、明度差がある領域は修正痕の可能性がある。しかし、この条件に当てはまるのは修正痕だけではなく、例えば裏写り（両面印刷された原稿の裏側の文字などが表側に透ける現象）なども該当する。このため、ステップＳ２０８においては、紙地部とほぼ同じ分散値を有し、かつ、明度差がある領域内の画素を「修正痕候補画素」として抽出する。

修正痕候補画素の抽出は、まず、ステップＳ２０６において検出した「紙白信号領域」内のＬ値を持つ画素に対応するステップＳ２０７で算出した分散値に基づいて、同じ分散値を有する画素のＬ値を加算していく。数式で表すと以下のようになる。

TＬ[σＬ[n]] ＝ TＬ[σＬ[n]] ＋ PＬ （数式３）
「TＬ」が分散値毎のＬ値の総和を保持する配列を表し初期値は「０」である。「PＬ」は、注目画素のＬ値を表す。また、分散値毎に該当する画素が何画素あるかをカウントする。数式で表すと以下のようになる。

CＬ[σＬ[n]] ＝ CＬ[σＬ[n]] ＋ 1 （数式４）
「CＬ」が分散値毎の該当する画素数の総和を保持する配列を表し初期値「０」である。この処理を全画素分行う。全画素処理後、分散値毎の画素値の総和および画素数の総和から「平均画素値」を算出する。「平均画素値」の算出は数式５を用いて行う。

AveＬ[σＬ[n]] ＝ TＬ[σＬ[n]] ／ CＬ[σＬ[n]] （数式５）
「AveＬ」が分散値毎の平均画素値を表す。次いで、「紙白信号領域」内のＬ値を持つ画素の分散値と同一の分散値を持つ「紙白信号領域」外の画素を抽出する。「AveＬ」と抽出した「紙白信号領域」外の画素のＬ値の差分を算出し、ＨＤＤ１１４に記録し保持する。差分の算出は数式６を用いる。

DＬ[n] ＝ ZＬ[n] － AveＬ[σＬ[n]] （数式６）
DＬはＬ値の差を表し、「ZＬ」は抽出した紙白信号領域外の画素のＬ値を表す。また、「n」はn番目の画素を表す。ここで、「紙白信号領域外」、かつ、「紙白信号領域内」の画素の分散値と異なる分散値を有する画素に関しては「DＬ[n]＝０」として保持する。以上の処理によって、「紙白信号領域外」、かつ、「DＬ[n]≠０」である画素を「修正痕候補画素」として定義する。

つまり、スキャン画像処理部１１９は、分散分布画像と検出された紙白信号領域とに基づいて、「修正痕候補画素」を抽出する。より具体的には、「紙白信号領域」に含まれる画素に対応する「分散分布画像」の画素における分散値と同一の分散値を有し「紙白信号領域」に含まれない画素の明度と、「紙白信号領域」に含まれ前記の同一の分散値を有する画素の明度の差分を算出する。そして、算出した差分が予め設定した範囲を超える場合、「紙白信号領域」に含まれない当該画素を「修正痕候補画素」として抽出する。

＜エッジ画像生成＞
次に、ステップＳ２０９において、スキャン画像処理部１１９は、Ｌａｂ画像において明暗の境界線を有するエッジ画像の生成を行う。ステップＳ２０８において、「修正痕候補画素」を抽出したが、ステップＳ２０９において、更にエッジ情報を用いることにより、電子文書中の「修正痕領域」を確定させる。電子文書中の修正痕は前述の特徴に加え、修正痕領域とそれ以外の領域（紙地など）との境目にエッジが存在するという特徴がある。一方、裏写りなどは領域の境目のエッジは存在しない。そこで、紙地部とほぼ同じ分散値を有し、かつ、明度差があり、更に、エッジが存在する領域を抽出することで電子文書中の「修正痕領域」を抽出する。

そのため、まず、ステップＳ２０９においては、エッジ画像を生成しエッジ情報を抽出する。エッジ画像の生成は、ステップＳ２０４において、Ｌａｂ画像に変換したスキャン画像のＬ値の画像を用いて行う。エッジ画像の生成は、例えば、キャニー法等を用いてエッジ抽出を行って最終的にエッジ画素を「１」、非エッジ画素を「０」とする２値画像を生成することで行う。

＜正痕候補画素と矩形エッジ領域比較：修正痕検出＞
次に、ステップＳ２１０において、スキャン画像処理部１１９は、ステップＳ２０８において抽出した修正痕候補画素とステップＳ２０９で生成したエッジ画像を用いて「修正痕」を検出する。修正痕の検出は、「修正痕候補画素」と「エッジ画素」」の一致度を算出して行う。前述の通り、修正痕は基本的に修正痕と紙地部の境界でエッジが検出される。そのため、「エッジ画素」と「修正痕候補画素」の座標位置が一致すれば、その一致した領域が「修正痕」であると判断できる。

そこで、「エッジ画素」で囲われた領域内に「修正痕候補画素」が一定以上あることを検出することで、その領域を「修正痕」として判断することができる。「修正痕」の検出は、まず、「囲い状」になっているエッジの抽出を行う。ここで、「囲い状」とは例えば矩形状のようにエッジの連なりが閉じていることを指す。図８は、囲い状エッジの検出方法例の説明図である。図８の符号８００は、ステップＳ２０９において生成したエッジ画像である。符号８０１の黒い画素部分が、抽出された「エッジ画素」である。

まず、エッジ画素（画素値が「１」の画素）から１つの画素を選択し、選択した画素に隣接する画素が「エッジ画素」であるか否かを判定する。隣接する画素が「エッジ画素」であるか否かの判定は次の様に行う。図８の符号８０２のように「注目画素」を中心とした「３×３画素」を抽出し、注目画素以外の8画素の中にエッジ画素（「１」の値を持つ画素）があるか否か判定する。注目画素に隣接する画素があると判定された場合、隣接する画素に更に隣接する画素が「エッジ画素」であるか否かを同様の方法で判定する。

隣接する「エッジ画素」が有る画素を「連続エッジ画素」と称する。この処理を繰り返して行き最終的に選択されている注目画素に隣接する画素に、一つ前の注目画素を除き「連続エッジ画素」が存在する場合には、囲い状の「エッジ画素群」があると判定する。例えば、図８の符号８０３は、注目画素の上の画素が連続エッジ画素（注目画素の下の画素は一つ前の注目画素であるため除外）であるため囲い状の「エッジ画素群」があると判定する（符号８０１の画素群）。

選択されている画素に隣接する画素に既に判定されたエッジ画素が見つかる前に、隣接するエッジ画素が検出されなければ、囲い状の「エッジ画素群」は無いと判定し修正痕は無いと判定する。なお、囲い状のエッジの検出は、この方法に限るものではない。例えば、エッジ画素の近接線を生成し、近接線が囲い状になる領域を抽出する等の方法を採用しても良い。囲い状の「エッジ画素群」が有ると判定された場合、エッジの囲いの内側の画素を抽出し、抽出した画素が「修正痕候補画素」であるか否かを判定する。エッジの囲いの内の画素の抽出は、一般的な多角形に対する点の内外判定法を用いる。多角形に対する点の内外判定法とは、判定する点（画素）から多角形（本実施形態では囲い状エッジ部）に対して直線を引いた時の直線と、多角形の交点の数が奇数であれば「内」、偶数であれば「外」と判定するものである。

図９は、内外判定の例の説明図である。図９の符号９００は、ステップＳ２０９において生成した「エッジ画像」である。符号９０１の黒い画素部分が、抽出された「エッジ画素」である。符号９０２は、囲い状エッジの外側にある画素の例、符号９０３は、囲い状エッジの内側にある画素の例である。符号９０２のように、画素から囲い状エッジに直線を引いた時の交点は「２個」であり偶数である。符号９０３のように、画素から囲い状エッジに直線を引いた時の交点は「１個」であり奇数である。そのため、符号９０２は、囲い状エッジの「外」、符号９０３は囲い状エッジの「内」と判定する。

本実施形態においては、内外判定で囲い状エッジの内側と判定された画素の内、「DＬ[n]」が「０」ではない画素数をカウントする。そして、囲い状エッジの内側に来る画素数の「９０（％）」以上が「修正痕候補画素」であれば、囲い状のエッジの内側領域を「修正痕」であると判定する。なお、本実施形態においては、エッジの囲いの内側の画素が「修正痕候補画素」であるか否かで修正痕の判定を行ったがこの方法に限られるものではない。エッジと修正痕候補の領域のマッチングが取れればどのような方法を採用しても良い。本実施形態においては、スキャン画像処理部１１９は、「修正痕」と判定された画素を「１」、それ以外の画素を「０」とする画像（修正痕判定画像）を生成し、ＨＤＤ１１４に記録保持する。

次に、ステップＳ２１１において、スキャン画像処理部１１９は、修正痕が検出されたか否かを判定する。修正痕が検出されたか否かの判定は、ステップＳ２１０において生成された「修正痕判定画像」において「修正痕画素」がある否かを判定することにより行う。本実施形態においては、修正痕画素が１つでもあれば修正痕を検出したと判定する。ステップＳ２１１において、修正痕が検出されたと判定された場合（Ｙｅｓ）、ステップＳ２１２において、修正痕の補正を行う。修正痕の補正の詳細については後述する。

以上のように、スキャン画像処理部１１９は、エッジ画像における囲い状に連結しているエッジ領域に含まれる画素が「修正痕候補画素」であるか否かを判定する。そして、当該囲い状のエッジ領域の全画素数に対する、当該囲い状のエッジ領域に含まれる「修正痕候補画素数」の割合が予め設定された範囲を超える場合、囲い状のエッジ領域全体を修正痕として検出する。

＜Ｌａｂ・ＲＧＢ変換＞
次に、ステップＳ２１３において、ステップＳ２１２において修正痕が補正されたＬａｂ画像をＲＧＢ画像に変換する。または、ステップＳ２１１において修正痕が検出されなかった場合（ＮＯ）、ステップＳ２０４において変換されたＬａｂ画像をＲＧＢ画像に変換する。Ｌａｂ画像のＲＧＢ画像への変換は、ステップＳ２０４と同様、補間演算により行う。ＨＤＤ１１４に予め格納されている「Ｌａｂ→ＲＧＢ変換テーブル」を用いる。なお、ステップＳ２０４における処理と同様に補間演算に限られるものではなく演算式による変換などを用いても良い。つまり、Ｌａｂ画像をＲＧＢ画像に変換できればどのような方法を用いてもよい。

＜スキャン画像処理＞
ステップＳ２１３における処理後、または、ステップＳ２０３において「暗読みモード」では無いと判定された場合（ＮＯ）、ステップＳ２１４において、スキャン画像処理部１１９はスキャン画像の画像処理を行う。スキャン画像の処理は、ガンマ補正、色変換処理、フィルタ処理等のスキャン画像の保存またはは印刷のために必要な画像処理である。最後に、ステップＳ２１５において、スキャン画像処理部１１９は、スキャン画像を保存する場合にはＨＤＤ１１４に保存する。また、ＰＣ等に送信する場合には、スキャン画像処理部１１９は、ネットワークＩ／Ｆ１１８を介してＰＣに出力する。また、印刷する場合には、スキャン画像処理部１１９は、プリント画像処理部１２０に対して画像を出力する。

なお、ステップＳ２０８における「修正痕候補画素」の抽出において、前記の条件に合う画素は全て「修正痕候補画素」として判定した。しかし、修正痕は通常原稿の一部分のみに存在し、読取画像の大きさに対して大面積になることは少ない。このため、「修正痕候補画素群（修正痕候補画素が連結した画素群）」が読取画像の所定の面積になった場合は、該当する画素は「修正痕候補画素」から除外するなどしてもよい。

つまり、スキャン画像処理部１１９は、複数の「修正痕候補画素」が連結された「修正痕候補画素群」が読取画像の所定の面積を超える場合に、当該「修正痕候補画素群」を「修正痕候補画素」から除外する。

＜修正痕補正処理＞
続いて、図３を参照して、ステップＳ２１２における修正痕の補正方法について詳細を説明する。図３に示す処理はスキャン画像処理部１１９が実行する。図３に示す一連の処理は、ＣＰＵ１１１がＲＯＭ１１２に格納されるプログラムをＲＡＭ１１３に読み出して実行することによって実現される。

まず、ステップＳ３０１において、スキャン画像処理部１１９がステップＳ２０４においてＬａｂに変換されたＬａｂ画像を取得する。次に、ステップＳ３０２において、スキャン画像処理部１１９は、ステップＳ２０５において生成した明度ヒストグラムを取得する。次に、ステップＳ３０３において、スキャン画像処理部１１９は、修正痕領域の各画素の明度分布を抽出する。ステップＳ３０１において、スキャン画像処理部１１９は、取得したＬａｂ画像の画素の内、ステップＳ２１０において判定した修正痕画素のＬ値を抽出する。

次に、ステップＳ３０４において、スキャン画像処理部１１９は、紙地と修正痕画素の明度差を算出する。紙地の明度は、ステップＳ２０６において算出した紙白信号領域のピークの値を使用する。修正痕画素の明度は、修正痕画素の内で一番明度の低いＬ値、または、一番明度の高いＬ値を使用する。修正痕が紙地より暗い場合は明度が一番低いＬ値を使用し、一方、修正痕が紙地より明るい場合は明度が一番高いＬ値を使用する。明度差の計算は以下の数式を用いる。

Ｌdiff ＝ abs（Hstpeak－Lrep） （数式７）
「Ｌdiff」は、明度差を表し、「Hstpeak」は、ヒストグラムのピークのL値、「Lrep」は、修正痕の最大または最小のL値であり、「abs」は、絶対値の計算を表す。

次に、ステップS３０５において、スキャン画像処理部１１９は、明度差が閾値未満か否かを判定する。本実施形態においては、閾値を「１０」とし、「Ldiff ＜１０」であれば明度差が閾値未満であると判定する（Ｙｅｓ）。明度差が閾値以上である場合（Ｎｏ）、そのまま処理を終了する。ステップS３０５において、明度差が閾値未満であると判定された場合、ステップS３０６において、修正痕の明度補正を行う。修正痕の明度補正は以下の数式を用いる。

RepL[n] ＝ RepL[n] ＋ Ldiff （Hstpeak＜ Lrepの場合）
RepL[n] ＝ RepL[n] ＋ Ldiff （Hstpeak＞ Lrepの場合）（数式８）
「RepL」は、修正痕の各画素のL値、「ｎ」は、修正痕内の画素位置を表す。

つまり、スキャン画像処理部１１９は、紙白信号領域のＬ値（明度）のピーク値と修正痕のＬ値（明度）との差が所定閾値未満の場合、修正痕のＬ値（明度）を補正する。なお、本実施形態においては、明度差に基づいて修正痕の「L値」だけを補正したが、紙地の信号値を補正することや紙地と修正痕の信号値の両方を補正するなど、紙地と修正痕の信号差を拡大できればどのような方法を用いてもよい。 以上のようにして、暗読みにより電子文書の階調性低下が起きても、紙地と修正痕の階調差を拡大することで、修正痕の視認性が失われることを抑制することができる。

＜第２実施形態＞
第１実施形態においては、修正痕領域全体を補正した。しかし、修正痕の視認性を保持するという点では、修正痕のエッジ部分のみを補正して強調することでも視認性を保持することは可能である。そこで、第２実施形態においては、修正痕の補正が必要な場合、修正痕のエッジ情報を元に修正痕のエッジ部分を補正する方法について説明する。

図７を参照して第２実施形態における、ステップＳ２１１の修正痕の補正方法について詳細を説明する。図７に示す処理はスキャン画像処理部１１９が実行する。図７に示す一連の処理は、ＣＰＵ１１１がＲＯＭ１１２に格納されるプログラムをＲＡＭ１１３に読み出して実行することによって実現できる。

図７のＳ７０１～Ｓ７０５の処理は、図３のＳ３０１～Ｓ３０５の処理と同じ処理であるため説明を省略する。ステップＳ７０５において、スキャン画像処理部１１９が、明度差が閾値未満であると判定した場合（ＹＥＳ）、ステップS７０６において、ステップＳ２１０において生成した囲い状エッジ情報を取得する。ステップＳ７０７において、スキャン画像処理部１１９は、ステップＳ７０６にて取得した囲い状エッジ情報に基づいて、ステップＳ７０１において取得したＬａｂ画像の囲い状エッジの座標位置に相当する位置の画素のＬ値を補正する。Ｌ値の補正は、以下の数式を用いる。

RepL[EDGx][EDGy]＝RepL[EDGx][EDGy]＋Ldiff （Hstpeak＜Lrepの場合）
RepL[EDGx][EDGy]＝RepL[EDGx][EDGy]＋Ldiff （Hstpeak＞Lrepの場合）
（数式９）

「RepL」は、修正痕の各画素のL値、「EDGx」、「EDGy」は囲い状エッジの座標位置を表す。「Ldiff」、「Hstpeak」、「Lrep」は、第１実施形態と同様である。以上のようにすることで、修正痕のエッジ部分のみを補正して強調し、電子文書中の修正痕の視認性を保持することができる。

＜請求項と実施形態の対応関係＞
請求項における「変換部」は図２のＳ２０４に対応し、「紙白信号領域検出部」は図２のＳ２０６に対応し、「修正痕候補画素抽出部」は図２のＳ２０８に対応する。また、「エッジ画像生成部」は図２のＳ２０９に対応し、「修正痕検出部」は図２のＳ２１０、Ｓ２１１に対応する。「補正部」は図３のＳ３０１～Ｓ３０６に対応する。

以上、本発明の好ましい実施形態について説明したが、本発明は上述した実施の形態に限定されず、その要旨の範囲内で種々の変形および変更が可能である。例えば、上述の実施形態の１以上の機能を実現するプログラムをネットワークや記録媒体を介してシステムや装置に供給し、そのシステムや装置のコンピュータのプロセッサが当該プログラムを実行する処理でも実現可能である。また、本発明は１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

１００ 画像処理装置
１１０ 制御部
１１１ ＣＰＵ
１１２ ＲＯＭ
１１３ ＲＡＭ
１１９ スキャン画像処理部
１２１ 操作部
１２２ プリンタ部
１２３ スキャナ部

Claims (9)

1. 画像読取装置が通常よりも光量を抑えた暗読みモードで原稿を読み取って得られた読取画像に画像処理を施す画像処理装置であって、
   前記読取画像をＲＧＢ画像からＬａｂ画像に変換する変換手段と、
   前記読取画像における前記原稿の紙そのものの領域である紙白信号領域を検出する第１の検出手段と、
   前記Ｌａｂ画像における或る注目画素を含む所定画素数の範囲における全画素の各々の画素のＬ値を用いて求めたＬ値の分散値を当該注目画素の分散値とすることを、前記Ｌａｂ画像の各画素を順次、注目画素として求めた分散分布画像と、検出された前記紙白信号領域とに基づいて修正痕候補の画素を抽出する抽出手段と、
   前記Ｌａｂ画像において明暗の境界線を有するエッジ画像を生成する生成手段と、
   生成された前記エッジ画像と抽出された前記修正痕候補の画素とに基づいて修正痕を検出する第２の検出手段と、を備えたことを特徴とする画像処理装置。
2. 前記修正痕が検出された場合に画像の補正を行う補正手段を更に備えたことを特徴とする請求項１に記載の画像処理装置。
3. 前記補正手段は、
   前記紙白信号領域の明度のピーク値と前記修正痕の明度との差が所定閾値未満の場合、前記修正痕の明度を補正することを特徴とする請求項２に記載の画像処理装置。
4. 前記第１の検出手段は、
   前記読取画像の明度成分のヒストグラムを生成し、生成したヒストグラムの最大頻度の明度を中心として予め設定された範囲の明度に対応する領域を紙白信号領域として検出することを特徴とする請求項１に記載の画像処理装置。
5. 前記抽出手段は、
   前記紙白信号領域に含まれる画素に対応する前記分散分布画像の画素における分散値と同一の分散値を有し前記紙白信号領域に含まれない画素の明度と、前記紙白信号領域に含まれ前記同一の分散値を有する画素の明度との差分を算出し、当該差分が予め設定した範囲を超える場合、前記紙白信号領域に含まれない当該画素を修正痕候補の画素として抽出することを特徴とする請求項１に記載の画像処理装置。
6. 前記第２の検出手段は、
   前記エッジ画像における囲い状に連結しているエッジ領域に含まれる画素が修正痕候補の画素であるか否かを判定し、当該囲い状のエッジ領域の全画素数に対する、当該囲い状のエッジ領域に含まれる修正痕候補の画素数の割合が、予め設定された範囲を超える場合、前記囲い状のエッジ領域全体を修正痕として検出することを特徴とする請求項１に記載の画像処理装置。
7. 前記抽出手段は更に、
   複数の修正痕候補の画素が連結された修正痕候補の画素群が前記読取画像の所定の面積を超える場合、当該修正痕候補の画素群を前記修正痕候補の画素から除外することを特徴とする請求項１に記載の画像処理装置。
8. 画像読取装置が通常よりも光量を抑えた暗読みモードで原稿を読み取って得られた読取画像に画像処理を施す画像処理装置の制御方法であって、
   前記読取画像をＲＧＢ画像からＬａｂ画像に変換する工程と、
   前記読取画像における前記原稿の紙そのものの領域である紙白信号領域を検出する工程と、
   前記Ｌａｂ画像における或る注目画素を含む所定画素数の範囲における全画素の各々の画素のＬ値を用いて求めたＬ値の分散値を当該注目画素の分散値とすることを、前記Ｌａｂ画像の各画素を順次、注目画素として求めた分散分布画像と、検出された前記紙白信号領域とに基づいて修正痕候補の画素を抽出する工程と、
   前記Ｌａｂ画像において明暗の境界線を有するエッジ画像を生成する工程と、
   生成された前記エッジ画像と抽出された前記修正痕候補の画素とに基づいて修正痕を検出する工程と、
   前記修正痕が検出された場合に画像の補正を行う工程と、を有する画像処理装置の制御方法。
9. 画像読取装置が通常よりも光量を抑えた暗読みモードで原稿を読み取って得られた読取画像に画像処理を施す画像処理装置の制御方法をコンピュータに実行させるプログラムであって、
   前記制御方法は、
   前記読取画像をＲＧＢ画像からＬａｂ画像に変換する工程と、
   前記読取画像における前記原稿の紙そのものの領域である紙白信号領域を検出する工程と、
   前記Ｌａｂ画像における或る注目画素を含む所定画素数の範囲における全画素の各々の画素のＬ値を用いて求めたＬ値の分散値を当該注目画素の分散値とすることを、前記Ｌａｂ画像の各画素を順次、注目画素として求めた分散分布画像と、検出された前記紙白信号領域とに基づいて修正痕候補の画素を抽出する工程と、
   前記Ｌａｂ画像において明暗の境界線を有するエッジ画像を生成する工程と、
   生成された前記エッジ画像と抽出された前記修正痕候補の画素とに基づいて修正痕を検出する工程と、
   修正痕が検出された場合に画像の補正を行う工程と、を有することを特徴とするプログラム。
   

Images