JP2005175565A - 画像処理装置 - Google Patents

Abstract

【課題】本発明は、原稿の手書き部分を容易かつ正確に分離することが可能な画像処理装置を提供することを目的とする。
【解決手段】本発明に係る画像処理装置は、入力された画像データから所定長以上の線分を検出する線分検出部１２ａと；検出された線分の色スペクトラムを検出する色スペクトラム検出部１２ｂと；前記画像データのうち、検出された線分と同一の色スペクトラムを持つ部分を原稿部分として判断し、異なる色スペクトラムを持つ部分を手書き部分として判断する画像データ分離部１２ｃと；を有して成る構成としている。
【選択図】 図２

Description

本発明は、プリンタ、複写機、ファクシミリ、スキャナ及びこれらの機能を複合的に備えた複合機等に搭載される画像処理装置に関するものである。

原稿の複写や電子ファイル化を行う際、手書きの文字や図表等は、画像形成装置（プリンタや複写機など）を用いて出力した原稿部分に比べて、濃度や色度にばらつきがあり、視認が困難となる場合がある。また、その濃度補正を行うに際して、手書き部分のみに処理を施すことができないと、ノイズ成分が不要に強調されて画像全体が暗くなってしまう場合もある。

そこで、従来より、原稿の手書き部分を抽出し、当該手書き部分を有効に利用する技術が数多く開示・提案されている（例えば、特許文献１〜３を参照）。このとき、手書き部分以外の原画像データが記憶装置上に残っている場合であれば、パターンマッチング法により手書き部分の抽出を行うことが可能である。

また、従来より、同一フォーマットの文書（小切手等）を複数枚スキャンした際には、手書き部分以外の共通する静的部分が存在することに鑑み、その動的部分を抽出することで手書き部分の抽出を行う技術も開示・提案されている（例えば、特許文献４を参照）。なお、当該文献４では、さらに動的部分の色スペクトラムを抽出し、それ以外の部分をフィルタリングアウトすることで、手書き部のみを抽出する技術も開示・提案されている。

また、従来より、文字情報のパターンを記憶装置内の文字情報パターンと比較することで手書き部分を抽出し、該当部分（或いは非該当部分）の濃度を変更したり、削除したりする機能を備えた画像処理装置も開示・提案されている（例えば、特許文献５を参照）。
特開２００２−３１９０２５号公報 特開平７−１９９７９４号公報 特開平５−２４４３８７号公報 特開平７−２００７２０号公報 特開２００１−６１０６１号公報

確かに、上記文献に開示された従来技術であれば、原稿の画像データから手書き部分を抽出し、当該手書き部分を有効に利用することが可能である。

しかしながら、特許文献１の技術は、テキスト行を認識することで手書き部分を分離する構成であり、原稿に規則性が求められるため、実用的であるとは言えなかった。

また、特許文献２の技術は、予め定められた領域内について文字認識を行うことで、当該領域内の手書き部分を分離する構成であり、解答欄が定められたテストの採点等に際しては有用であるが、オフィス文書等の手書き部分を抽出する際には不適な技術であった。

また、特許文献３の技術は、手書きで指示した内容をコントローラが判別して画像処理を行う構成であり、手書き部分の分離処理については何ら開示・言及されていなかった。

また、特許文献４の技術は、動的部分を手書き部分として抽出する構成であるため、静的部分を抽出できないと手書き部分の認識ができず、汎用性が低いという課題があった。

また、特許文献５の技術は、記憶装置内の文字パターンとの類似度から手書き部分を抽出する構成であるため、文字パターンと類似度が高くなりがちなアルファベットや漢字、ひらがな等の文字は誤認識されるおそれが高い、という課題があった。

本発明は、上記の問題点に鑑み、原稿の手書き部分を容易かつ正確に分離することが可能な画像処理装置を提供することを目的とする。

上記目的を達成するために、本発明に係る画像処理装置は、入力された画像データから所定長以上の線分を検出する線分検出部と；検出された線分の色スペクトラムを検出する色スペクトラム検出部と；前記画像データのうち、検出された線分と同一の色スペクトラムを持つ部分を原稿部分として判断し、異なる色スペクトラムを持つ部分を手書き部分として判断する画像データ分離部と；を有して成る構成としている。

なお、上記構成から成る画像処理装置は、前記画像データ分離部で分離された前記原稿部分及び／または前記手書き部分に対して各々所定の画像処理を行う画像処理部を有して成る構成にするとよい。

また、上記構成から成る画像処理装置において、前記線分検出部及び前記色スペクトラム検出部は、入力された全ての画像データについて、上記の線分検出処理及び色スペクトラム検出処理を行い、前記画像データ分離部は、検出された全ての線分の色スペクトラムに基づいて、上記の画像データ分離処理を行う構成にするとよい。

また、上記構成から成る画像処理装置は、上記の画像データ分離処理の結果を視覚的に出力する表示部を有して成る構成にするとよい。

なお、上記構成から成る画像処理装置において、前記表示部は、前記画像データのプレビュー表示に際し、前記画像データ分離部で分離された前記手書き部分を顕示する構成にするとよい。

また、上記構成から成る画像処理装置は、上記の画像データ分離処理の結果に修正を加えるための操作部を有して成る構成にするとよい。

また、上記構成から成る画像処理装置は、原稿を読み込んで前記画像データを生成する原稿読み取り部を有して成る構成にするとよい。

また、上記構成から成る画像処理装置は、前記画像データに基づいて用紙への画像形成を行う画像形成部を有して成る構成にするとよい。

本発明に係る画像処理装置であれば、原稿の手書き部分を容易かつ正確に分離することが可能となる。

以下では、本発明に係る画像処理装置を搭載した複合機を例に挙げて説明を行う。図１は本発明に係る複合機の一実施形態を示す外観図であり、図２は本発明に係る複合機の一実施形態を示すシステム構成図である。

図１、図２に示すように、本実施形態の複合機１０は、原稿を読み込んで画像データを生成する原稿読み取り部１１と、生成された画像データから手書き部分を抽出する手書き部分抽出部１２と、抽出された手書き部分に対して所定の画像処理を行う画像処理部１３と、複合機１０に関する情報が表示される表示部１４と、ユーザ等の操作を受け付ける操作部１５と、画像処理部１３から送出される画像データに基づいて用紙への画像形成を行う画像形成部１６と、を有して成る。

手書き部分抽出部１２は、原稿読み取り部１１から入力された画像データから所定長以上の線分を検出する線分検出部１２ａと、検出された線分の色スペクトラムを検出する色スペクトラム検出部１２ｂと、画像データのうち、検出された線分と同一の色スペクトラムを持つ部分を原稿部分として判断し、異なる色スペクトラムを持つ部分を手書き部分として判断する画像データ分離部１２ｃと、を有して成る。

画像処理部１３は、画像データのうち、手書き部分の濃度調整を行う濃度調整部１３ａと、手書き部分の色調整を行う色調整部１３ｂと、手書き部分を削除する削除処理部１３ｃと、を有して成る。

上記構成から成る複合機１０での手書き部分抽出処理について、図３を参照しながら、詳細な説明を行う。図３は手書き部分の抽出処理を示すフローチャートである。原稿読み取り部１１で生成された画像データが手書き部分抽出部１２に入力され、ステップＳ１０１において手書き部分抽出処理が開始されると、ステップＳ１０２では線分検出処理が行われ、ステップＳ１０３では、検出された線分長と所定の閾値が比較される。ここで、線分長が閾値よりも大きいと判定された場合には、フローがステップＳ１０４に進められ、小さいと判定された場合には、フローがステップＳ１０７にスキップされる。

ステップＳ１０３で線分長が閾値よりも大きいと判定された場合、ステップＳ１０４では、当該線分が原稿上の直線或いは多角形の辺と認識され、該線分の色スペクトラム検出処理が行われる。なお、当該色スペクトル検出処理では、１つの線分につき、２つの色スペクトラム（線分自身の色スペクトラムと、該線分に沿った原稿下地（地色）の色スペクトラム）のいずれかが検出されることになる。

ステップＳ１０５では、ステップＳ１０４で検出された色スペクトラムが原稿上の所定箇所（余白部分と考えられる原稿の四隅など）で検出された色スペクトラムと一致するか否かの判定が行われる。ここで、両者が一致しないと判定された場合、すなわち、ステップＳ１０４で検出された色スペクトラムが地色の色スペクトラムではないと判定された場合には、フローがステップＳ１０６に進められ、両者が一致すると判定された場合には、フローがステップＳ１０７にスキップされる。このような判定処理により、地色の色スペクトラムを除去して、線分の色スペクトラムのみを検出することが可能となる。

ステップＳ１０５で両者が一致しないと判定された場合、ステップＳ１０６では、検出された色スペクトラムに関するデータの格納が行われる。なお、本実施形態の複合機１０は、色スペクトラム検出部１２ｂにメモリ手段（図示せず）を内蔵して成り、該メモリ手段によって色スペクトラムに関するデータを格納する構成としている。

一方、ステップＳ１０３で線分長が閾値よりも小さいと判定された場合、或いは、ステップＳ１０５において、検出された色スペクトラムが地色の色スペクトラムであると判定された場合には、ステップＳ１０７にて、全ページのスキャンが完了したか否かの判定が行われる。ここで、スキャンが完了したと判定された場合には、フローが続くステップＳ１０８に進められるが、スキャンが完了していないと判定された場合には、フローが前述のステップＳ１０２に戻されて、次の線分検出処理が継続される。

このように、入力された全ての画像データについて上記の線分検出処理及び色スペクトラム検出処理を行い、検出された全ての線分の色スペクトラムに基づいて、以下の画像データ分離処理を行うようにすることで、手書き部分の抽出精度を向上することができる。

ステップＳ１０７でスキャンが完了したと判定された場合、ステップＳ１０８では、累積された色スペクトラムに関するデータに基づいて、画像データの分離処理が行われる。なお、当該画像データ分離処理では、「所定長以上の線分は画像形成装置を用いて出力された原稿部分である可能性が高い」という前提の下で、画像データのうち、検出された線分と同一の色スペクトラムを持つ部分が原稿部分として判断され、異なる色スペクトラムを持つ部分が手書き部分として判断される。このような構成とすることにより、検出された文字パターンと内蔵の文字パターンとの類似度から手書き部分を判別する必要がないため、原稿の手書き部分を容易かつ正確に分離することが可能となる。また、所定の原画像データ（下地となるフォーマットデータ）がない場合であっても、容易に手書き部分を分離することができるため、利便性を高めることが可能となる。

上記した画像データ分離処理の完了後、ステップＳ１０９、Ｓ１１０では、原稿部分と手書き部分に分離された画像データが表示部１４及び画像処理部１３に転送され、ステップＳ１１１にて、一連の手書き部分抽出処理が終了される。

続いて、ステップＳ１０９で画像データを受け取った表示部１４の表示処理について、図４を参照しながら詳細な説明を行う。図４は表示部１４の一表示例を示す図である。なお、スキャン対象となる原稿Ａには、本図に示す通り、色ａ（例えば黒色）で形成された線分Ａ１１（アンダーラインや枠線）のほかに、色ｂ（例えば赤色）で書き込まれた手書き部分Ａ１２が含まれているものとする。また、原稿Ａの文章部分には、原稿拡大図Ａ１３に示すように、線分Ａ１１と同一の色ａで形成された文字のほかに、線分Ａ１１とも手書き部分Ａ１２とも異なる色ｃ（例えば黄色）で形成された文字が含まれているものとする。さらに、原稿Ａの地色は色ｄ（例えば白色）であり、原稿Ａの四隅に位置する検出部分Ａ１４で検出される色スペクトラムは色ｄを示すものとする。

上記の原稿Ａがスキャンされた場合、表示部１４には、スキャンデータエリアＢ１と色検出エリアＢ２を具備した表示画面Ｂが表示される。スキャンデータエリアＢ１には、スキャニングで得られた画像データのプレビュー画像Ｂ１０が表示される。一方、色検出エリアＢ２には、原稿Ａから検出された複数の色スペクトラムが各々検出色アイコンＢ１１〜Ｂ１３として表示される。なお、色検出エリアＢ２は、原稿部分色検出エリアＢ３と手書き部分色検出エリアＢ４に分割されている。本図の場合、原稿部分色検出エリアＢ３には、線分Ａ１１（原稿部分）の色スペクトラム（色ａ）を示す検出色アイコンＢ１１が表示され、手書き部分色検出エリアＢ４には、手書き部分Ａ１２の色スペクトラム（色ｂ）を示す検出色アイコンＢ１２と、線分Ａ１１とも手書き部分Ａ１２とも異なる色で形成された原稿文字部分の色スペクトラム（色ｃ）を示す検出色アイコンＢ１３が表示される。このような表示画面Ｂを出力することにより、ユーザは、前述した画像データ分離処理の結果を視覚的に判断し、後述する誤認識の修正等を的確に行うことが可能となる。

なお、本実施形態の複合機１０は、スキャンデータエリアＢ１にプレビュー画像Ｂ１０を表示する際、手書き部分色検出エリアＢ４に分類された色スペクトラムを持つ部分を顕示（点滅表示等）する構成としている。このような構成とすることにより、ユーザの視認性を一層高めることが可能となる。

また、本実施形態の複合機１０は、操作部１５を用いて上記した画像データ分離処理の結果に修正を加えることが可能と構成とされている。なお、当該修正操作では、線分検出時に用いる線分の閾値長さを変更して線分を再検出させるほか、手書き部分として誤認識された部分を原稿部分として再認識させたり、逆に、原稿部分として誤認識された部分を手書き部分として再認識させたりすることが可能である。

上記の修正操作について、本図を参照しながら具体的に説明する。本図の場合、原稿拡大図Ａ１３に示した色付きの文字部分は、本来原稿部分として認識されるべきものであるが、線分Ａ１１の色スペクトラム（色ａ）と異なる色スペクトラム（色ｃ）を持つために手書き部分として認識されており、その色スペクトラムを示す検出色アイコンＢ１３も、手書き部分色検出エリアＢ４に分類されている。

本実施形態の複合機１０は、このような誤認識部分の修正操作を行う手段として、操作部１５でのユーザ操作に応じて画面上を移動するカーソルＢ５を表示し、該カーソルＢ５を用いて検出色アイコンＢ１３〜Ｂ１５を原稿部色検出エリアＢ３にドラッグ＆ドロップすることで、当該部分を原稿部分として再認識させる構成としている。このような構成とすることにより、ユーザは、直感的な操作によって、画像データ分離処理の結果に所望の修正を加えることが可能となる。なお、本図では示していないが、原稿部分として誤認識された部分がある場合には、上記とは逆に、原稿部分色検出エリアＢ３に分類された色検出アイコンを手書き部分色検出エリアＢ４にドラッグ＆ドロップしてやればよい。

最後に、ステップＳ１１０で画像データを受け取った画像処理部１３での手書き部分に対する画像処理について、図５を参照しながら詳細な説明を行う。図５は手書き部分に対する画像処理を示すフローチャートである。画像データ分離部１２ｃで原稿部分と手書き部分に分離された画像データが画像処理部１３に入力され、ステップＳ２０１において手書き部分に対する画像処理が開始されると、ステップＳ２０２では、操作部１５に対してキー操作が為されたか否かの判定が行われる。ここで、手書き部分に対する画像処理（濃度調整、色調整、削除処理等）が指示されたと判定された場合には、フローがステップＳ２０３に進められる。一方、キー操作が為されていないと判定された場合、或いは、印刷動作が許可されたと判定された場合には、フローがステップＳ２０５に進められて画像データが最終的に画像形成部１６へ転送され、一連の画像処理が終了される。

ステップＳ２０２で手書き部分に対する画像処理が指示されたと判定された場合、ステップＳ２０３では、当該指示に応じた画像処理が行われる。その後、ステップＳ２０４では、処理済みの画像データが表示部１４へフィードバックされ、画像処理結果の再表示が行われる。以降、フローはステップＳ２０２に戻され、一連の画像処理が継続される。

このような画像処理を行うことにより、原稿部分と手書き部分の濃度や色度がばらついている場合でも、画像データ全体に影響を及ぼすことなく、手書き部分のみに対して適切な補正を施すことが可能となる。

なお、上記の実施形態では、本発明に係る画像処理装置を複合機に搭載した場合を例に挙げて説明を行ったが、本発明に係る画像処理装置の搭載対象はこれに限定されるものではなく、プリンタ、複写機、ファクシミリ、スキャナなど、画像形成装置全般に広く搭載することが可能である。

また、上記の実施形態では、画像処理部１３において、手書き部分にのみ所定の画像処理を施す構成を例に挙げて説明を行ったが、本発明の構成はこれに限定されるものではなく、画像データ分離部１２ｃで分離された原稿部分及び／または手書き部分に対して、各々所定の画像処理を行う構成としても構わない。

また、上記の実施形態では、カーソルＢ５を用いて操作部１５で誤認識部分の修正操作を行う構成を例示して説明を行ったが、本発明の構成はこれに限定されるものではなく、タッチパネル型の表示部１４で直接誤認識部分の修正操作を行う構成としても構わない。

本発明は、オフィス文書など、線分や多角形を含む文書の手書き部分を容易かつ正確に分離するための技術であり、当該手書き部分に限定した画像処理等を実現する上で、極めて有用な技術である。

は、本発明に係る複合機の一実施形態を示す外観図である。 は、本発明に係る複合機の一実施形態を示すシステム構成図である。 は、手書き部分の抽出処理を示すフローチャートである。 は、表示部１４の一表示例を示す図である。 は、手書き部分に対する画像処理を示すフローチャートである。

符号の説明

１０ 複合機
１１ 原稿読み取り部
１２ 手書き部分抽出部
１２ａ 線分検出部
１２ｂ 色スペクトラム検出部
１２ｃ 画像データ分離部
１３ 画像処理部
１３ａ 濃度調整部
１３ｂ 色調整部
１３ｃ 削除処理部
１４ 表示部
１５ 操作部
１６ 画像形成部
Ａ 原稿
Ａ１１ 検出可能な線分及び多角形の辺（色ａ）
Ａ１２ 手書き部分（色ｂ）
Ａ１３ 原稿拡大図（色ａ、色ｃ）
Ａ１４ 地色検出部分（色ｄ）
Ｂ 表示画面
Ｂ１ スキャンデータエリア
Ｂ２ 色検出エリア
Ｂ３ 原稿部分色検出結果エリア
Ｂ４ 手書き部分色検出結果エリア
Ｂ５ カーソル
Ｂ１０ プレビュー画像
Ｂ１１ 検出色表示（原稿部分：ａ色）
Ｂ１２ 検出色表示（手書き部分：ｂ色）
Ｂ１３ 検出色表示（原稿部分：ｃ色）

Claims (8)

1. 入力された画像データから所定長以上の線分を検出する線分検出部と；検出された線分の色スペクトラムを検出する色スペクトラム検出部と；前記画像データのうち、検出された線分と同一の色スペクトラムを持つ部分を原稿部分として判断し、異なる色スペクトラムを持つ部分を手書き部分として判断する画像データ分離部と；を有して成ることを特徴とする画像処理装置。
2. 前記画像データ分離部で分離された前記原稿部分及び／または前記手書き部分に対して各々所定の画像処理を行う画像処理部を有して成ることを特徴とする請求項１に記載の画像処理装置。
3. 前記線分検出部及び前記色スペクトラム検出部は、入力された全ての画像データについて、上記の線分検出処理及び色スペクトラム検出処理を行い、前記画像データ分離部は、検出された全ての線分の色スペクトラムに基づいて、上記の画像データ分離処理を行うことを特徴とする請求項１または請求項２に記載の画像処理装置。
4. 上記の画像データ分離処理の結果を視覚的に出力する表示部を有して成ることを特徴とする請求項１〜請求項３のいずれかに記載の画像処理装置。
5. 前記表示部は、前記画像データのプレビュー表示に際し、前記画像データ分離部で分離された前記手書き部分を顕示することを特徴とする請求項４に記載の画像処理装置。
6. 上記の画像データ分離処理の結果に修正を加えるための操作部を有して成ることを特徴とする請求項１〜請求項５のいずれかに記載の画像処理装置。
7. 原稿を読み込んで前記画像データを生成する原稿読み取り部を有して成ることを特徴とする請求項１〜請求項６のいずれかに記載の画像処理装置。
8. 前記画像データに基づいて用紙への画像形成を行う画像形成部を有して成ることを特徴とする請求項１〜請求項７のいずれかに記載の画像処理装置。

Images