JP2005107679A - 書式情報生成方法及び書式情報生成装置 - Google Patents

Abstract

【課題】 記入欄の書式を指定するための書式情報の検出率を向上すること。
【解決手段】 帳票用紙の画像データを生成し、その画像データに基づいて固定文字の情報と記入欄の情報とを含む書式情報を生成する書式情報生成方法において、記入欄の書式を示す記号である書式指定記号を帳票用紙の各記入欄に記入した後に、その帳票用紙の画像データをイメージスキャナで生成し、その画像データから固定文字の色と異なる色であるという外観的特徴に基づいて前記記号の画像データを抽出し（ステップＳ１０１〜Ｓ１０３）、その画像データから前記記入欄に対する前記書式指定記号の位置及び内容を検出し（ステップＳ１０６）、その検出結果に基づいて各記入欄の書式の情報を生成するようにした（ステップＳ１０７）。
【選択図】 図２

Description

本発明は、帳票用紙の画像データを生成し、その画像データに基づいて固定文字の情報と記入欄の情報とを含む書式情報を生成する書式情報生成方法及び、その方法の実施に好適な書式情報生成装置に関する。

近年、固定文字の情報と記入欄の書式の情報と（書式情報）を参照し、固定文字と記入欄の内容とを同時に印刷する書式オーバレイ方式が広く採用されるようになっている。
ところで、この書式情報は、従来次のような手順で生成されていた。つまり、記入欄の書式を示す記号である書式指定記号を帳票用紙の各記入欄に記載した後に、その帳票用紙の画像データをイメージスキャナで生成し、その画像データから予め登録されている固定文字或いは書式指定記号に一致する記号を検出し、その検出結果に基づいて前記書式情報を生成するようになっていた（例えば、特許文献１参照。）。
特開平７−３７００５号公報

しかしながら、上記従来の技術にあっては、単に、帳票用紙の画像データ全体から固定文字或いは書式指定記号に一致する記号を検出するようになっていたため、例えば、書式指定記号として固定文字と重複する記号が使用されると、固定文字が書式指定記号として誤検出されたり、書式指定記号が固定文字として誤検出されたりし、その結果、書式情報の検出率が悪化してしまう恐れがあった。

そこで、本発明は、上記従来技術の未解決の問題を解決することを目的としてなされたものであって、書式情報の検出率を向上することができる書式情報抽出方法を提供することを課題とする。

上記課題を解決するために、第１の発明である書式情報抽出方法は、帳票用紙の画像データを生成し、その画像データに基づいて固定文字の情報と記入欄の情報とを含む書式情報を生成する書式情報生成方法において、記入欄の書式を示す記号である書式指定記号を帳票用紙の各記入欄に記入した後に、その帳票用紙の画像データを生成し、その生成された画像データから前記固定文字と異なる所定の外観的特徴を有する記号の画像データをその外観的特徴に基づいて抽出し、その抽出された画像データから前記記入欄に対する前記書式指定記号の位置及び内容を検出し、その検出結果に基づいて各記入欄の書式の情報を生成することを特徴とする。なお、書式指定記号としては、数字、アルファベット、ひらがな、カタカナ、半角、全角等の文字種を示す記号、複数項目選択可能なチェックボックス、単一項目のみ選択可能なラジオボタン等の記入方法を示す記号、右寄せ、左寄せ、改行等のレイアウトを示す記号を挙げることができる。また、書式指定記号の表記方法としては、マーク等の図形、漢字やアルファベット等の文字等を用いる方法を挙げることができる。

また、第２の発明である書式情報抽出方法は、帳票用紙の画像データを生成し、その画像データに基づいて固定文字の情報と記入欄の情報とを含む書式情報を生成する書式情報生成方法において、記入欄の書式を示す記号である書式指定記号を帳票用紙の各記入欄に記入した後に、その帳票用紙の画像データを生成し、その生成された画像データから未記入の帳票用紙の画像データを除いた差分画像データを抽出し、その抽出された差分画像データから前記記入欄に対する前記書式指定記号の位置及び内容を検出し、その検出結果に基づいて各記入欄の書式の情報を生成することを特徴とする。

一方、第３の発明である書式情報抽出装置は、帳票用紙の画像データを生成し、その画像データに基づいて固定文字の情報と記入欄の情報とを含む書式情報を生成する書式情報生成装置において、記入欄の書式を示す記号である書式指定記号が各記入欄に記入されている帳票用紙の画像データを生成する画像データ生成手段と、その画像データ生成手段で生成された画像データから固定文字と異なる所定の外観的特徴を有する記号の画像データをその外観的特徴に基づいて抽出する画像データ抽出手段と、その画像データ抽出手段で抽出された画像データから前記記入欄に対する前記書式指定記号の位置及び内容を検出する書式指定記号検出手段と、その書式指定記号検出手段の検出結果に基づいて各記入欄の書式の情報を生成する書式情報生成手段とを備えたことを特徴とする。

この第１〜第３の発明によれば、帳票用紙の画像データから書式指定記号の画像データだけがその外観的特徴に基づいて抽出され、その抽出された画像データから記入欄に対する書式指定記号の位置及び内容が検出されるため、書式指定記号以外の記号が書式指定記号と誤検出されることや、書式指定記号が書式指定記号以外の記号と誤検出されることが抑制防止され、書式情報の検出率を向上することができる。

また、第４の発明である書式情報抽出装置は、前記画像データ抽出手段は、前記画像データ生成手段で生成された画像データから固定文字の色と異なる色であるという外観的特徴に基づいて前記記号の画像データを抽出することを特徴とする。
さらに、第５の発明である書式情報抽出装置は、前記画像データ抽出手段は、前記画像データ生成手段で生成された画像データから帳票用紙の地の色、固定文字の色及び書式指定記号の色を検出する色情報検出手段と、その色情報検出手段で検出された書式指定記号の色を前記外観的特徴として前記記号の画像データを抽出する特定色画像データ抽出手段を備えたことを特徴とする。

この第４及び第５の発明によれば、書式指定記号を固定文字の色と異なる色で記入すると、帳票用紙の画像データから書式指定記号の画像データだけがその色に基づいて抽出され、その抽出された画像データから記入欄に対する書式指定記号の位置及び内容が検出されるため、書式情報の検出率を容易に向上することができる。
さらに、第６の発明である書式情報抽出装置は、利用者に前記書式指定記号の色を設定させる色設定手段を備え、前記画像データ抽出手段は、前記色設定手段で設定された色を前記外観的特徴として前記記号の画像データを抽出することを特徴とする。

この第６の発明によれば、書式指定記号の画像データの抽出をより適切に行うことができ、書式情報の検出率をより向上することができる。
また、第７の発明である書式情報抽出方法は、帳票用紙の画像データを生成し、その画像データに基づいて固定文字の情報と記入欄の情報とを含む書式情報を生成する書式情報生成装置において、未記入の帳票用紙の画像データを生成する未記入画像データ生成手段と、記入欄の書式を示す記号である書式指定記号が各記入欄に記入されている帳票用紙の画像データを生成する画像データ生成手段と、その画像データ生成手段で生成された画像データから前記未記入画像データ生成手段で生成された画像データを除いた差分画像データを抽出する差分画像データ抽出手段と、その差分画像データ抽出手段で抽出された差分画像データから前記記入欄に対する前記書式指定記号の位置及び内容を検出する書式指定記号検出手段と、その書式指定記号検出手段の検出結果に基づいて各記入欄の書式の情報を生成する書式情報生成手段とを備えたことを特徴とする。

この第７の発明によれば、帳票用紙の画像データから書式指定記号の画像データだけが抽出され、その抽出された画像データから記入欄に対する書式指定記号の位置及び内容が検出されるため、書式指定記号以外の記号が書式指定記号と誤検出されることや、書式指定記号が書式指定記号以外の記号と誤検出されることが抑制防止され、書式情報の検出率を向上することができる。

さらに、第８の発明である書式情報抽出方法は、前記未記入画像データ生成手段は、複数の使用済み帳票用紙の画像データを生成する複数画像データ生成手段と、その複数画像データ生成手段で生成された複数の画像データを平均化して平均画像データを生成する画像平均化手段と、その画像平均化手段で生成された平均画像データを所定閾値に基づいてフィルタリングすることにより前記未記入の帳票用紙の画像データを生成するフィルタリング手段とを備えたことを特徴とする。

この第８の発明によれば、使用済みの帳票用紙から未記入の帳票用紙の画像データを生成することができ、未記入の帳票用紙の画像データを容易に生成することができる。

以下に、本発明に係る書式情報生成装置の一実施形態を図面に基づいて説明する。
図１は、本発明の第１実施形態であるコンピュータシステム１の概略構成を示すブロック図である。この図１に示すように、コンピュータシステム１は、ＣＰＵ（Central Processing Unit ）２、ＲＡＭ（Random Access Memory）３、記憶装置４が有する記憶媒体５及びイメージスキャナ６で構成され、記憶媒体５を除く各部はバス７で互いにデータ授受可能に接続されている。

これらのうちＣＰＵ２は、後述する記憶装置４に格納されている基本制御プログラム等の各種プログラム及びデータを読み込み、それらをＲＡＭ３内に設けられるワークエリアに展開して実行し、コンピュータシステム１が備える各部を制御する。
また、ＣＰＵ２は、イメージスキャナ６から帳票用紙の画像データが出力されると、後述する書式情報生成処理を実行し、その出力された画像データから固定文字の色及び書式指定記号の色を検出し、それらの色に対応する画像データを個別に抽出し、それら抽出された画像データからそれぞれ固定文字及び書式指定記号を検出し、その検出結果に基づいて固定文字の情報及び書式指定記号の情報を生成するようになっている。

さらに、ＲＡＭ３は、ＣＰＵ２が各種プログラムに従って各種処理を実行するときに、各種プログラムを展開するワークエリアを形成するとともに、ＣＰＵ２により実行される各種処理に係るデータを展開するためのメモリ領域を形成する。
また、記憶装置４は、磁気的、光学的記録媒体、或いは半導体メモリ等によってなる記憶媒体５を有する。この記憶媒体５は、ＣＰＵ２により実行される基本制御プログラム、各種アプリケーション及びこれら各プログラムに係るデータ等を格納する。そして、記憶装置４は、ＣＰＵ２からの読み出し要求に従って、記憶媒体５内に格納されている各種プログラムやデータをＣＰＵ２に出力する。なお、記憶媒体５内の各種プログラム及びデータは、いずれもＣＰＵ２により読み取り及び実行可能な形式で格納される。

また、イメージスキャナ６は、利用者によって帳票用紙が給紙口にセットされると、その帳票用紙のグレースケール画像データ（以下、単に画像データとも呼ぶ。）を生成し、その生成された画像データをＣＰＵ２に出力する。
次に、上記のように構成されるコンピュータシステム１で実行される書式情報生成処理を、図２のフローチャートに基づいて説明する。この書式情報生成処理は、イメージスキャナ６から帳票用紙の画像データが出力されると実行される処理であって、図２に示すように、まずそのステップＳ１０１で、書式指定記号が各記入欄に記入されている帳票用紙の画像データをイメージスキャナ６から取得する。

次にステップＳ１０２に移行して、前記ステップＳ１０１で取得された帳票用紙の画像データに基づいて、帳票用紙の地の色、固定文字の色及び書式指定記号の色を検出する後述する色情報検出処理を実行する。
次にステップＳ１０３に移行して、前記ステップＳ１０２の検出結果に基づき、前記ステップＳ１０１で取得された帳票用紙の画像データから固定文字の情報及び書式指定記号の情報を生成する。具体的には、前記ステップＳ１０２で検出された帳票用紙の固定文字の色に対応する画像データを抽出し、その抽出された画像データから固定文字の情報（帳票用紙における固定文字の座標や大きさの情報）を生成する。また、前記ステップＳ１０２で検出された書式指定記号の色に対応する画像データを抽出し、その抽出された画像データから書式指定記号の情報（帳票用紙における書式指定記号の座標や大きさ、内容の情報）を生成する。

次にステップＳ１０４に移行して、前記ステップＳ１０２で検出された帳票用紙の固定文字の色に対応する画像データを抽出し、その抽出された画像データから罫線の情報（帳票用紙における罫線の座標の情報）を生成する。
次にステップＳ１０５に移行して、前記ステップＳ１０３で検出された座標や大きさ、内容、前記ステップＳ１０４で検出された罫線の座標等から帳票用紙の記入欄の情報を生成する。具体的には、記入欄等のレイアウトの整合性が向上するように固定文字や書式指定記号の検出結果を他の属性のものに置き換えたり、帳票用紙の地の色、固定文字の色及び書式指定記号の色を判別する閾値の大きさを変更したりし、変更後の固定文字や書式指定記号、罫線によって定まる記入欄の情報を生成する。

次にステップＳ１０６に移行して、前記ステップＳ１０３で検出された書式指定記号の前記ステップＳ１０５で検出された記入欄に対する位置及び内容を検出し、その書式指定記号に最も近い記入欄、つまりその書式指定記号が記入されている記入欄の書式の情報を当該内容に基づいて生成する。例えば、書式指定記号「文字列」又は「string」は記入欄の書式を文字列とすることを示し、書式指定記号「数字」又は「num」は記入欄の書式を数字列とすることを示す。

また、書式指定記号「TITLE」は記入欄の書式を文字列とすることを示し、書式指定記号「sub_Y」は記入欄の書式を数字列とすることを示す。また、丸で囲まれた書式指定記号「sign」は記入欄の書式を電子署名による捺印とすることを示し、書式指定記号「fr_D」、「to_D」、「dur_D」は記入欄の書式を数字列とすることを示す。
さらに、書式指定記号「|←」や「→|」は記入欄の書式を左揃えタブ、右揃えタブとすることを示し、書式指定記号「<┘」は記入欄の書式を改行とすることを示す。また、書式指定記号「○」は記入欄の書式を択一選択可能な「ラジオボタン」とすることを示し、書式指定記号「□」は記入欄の書式を選択の有無を判別する「チェックボックス」とすることを示す。

次にステップＳ１０７に移行して、前記ステップＳ１０３で生成された固定文字の情報及び書式指定記号の情報と、前記ステップＳ１０４で生成された罫線の情報と、前記ステップＳ１０５で生成された記入欄の情報と、前記ステップＳ１０６で生成された記入欄の書式の情報とを含む書式情報を生成し、その書式情報をＸＭＬ(eXtensible Markup Language)やＨＴＭＬ(Hyper Text Markup Language)といったタグ付きの言語の形式で記述して記憶媒体５に格納してから、この演算処理を終了する。

次に、前記書式情報生成処理のステップＳ１０２で実行される色判別処理を、図３のフローチャートに基づいて説明する。この書式情報生成処理は、図３に示すように、まずそのステップＳ２０１で、前記ステップＳ１０１で取得された帳票用紙の画像データに対応する画像の中央部に横方向に延びている輝度検出領域を設定する。
次にステップＳ２０２に移行して、図４に示すように、前記ステップＳ２０１で設定された輝度検出領域にある画像を構成する複数の画素の輝度をそれぞれ検出し、それらの検出結果に基づいて輝度分布ヒストグラムを生成する。

次にステップＳ２０３に移行して、前記ステップＳ２０２で生成された輝度分布ヒストグラムから３つのピーク、つまり帳票用紙の地の色、固定文字の色及び書式指定記号の色それぞれに対応するピークを検出し、それらのピーク間の中間値を小さいものから順に第１閾値及び第２閾値とする。そして、前記ステップＳ１０１で取得された帳票用紙の画像データから輝度が第１閾値以下である画像に対応する第１画像データを抽出し、以下同様に、輝度が第１閾値より大きく且つ第２閾値以下である画像に対応する第２画像データを抽出し、輝度が第２閾値より大きい画像に対応する第３画像データを抽出する。

次にステップＳ２０４に移行して、前記ステップＳ２０３で抽出された第１画像データに対応する画像の色が帳票用紙の固定文字の色であると仮定し、第２画像データに対応する画像の色が書式指定記号の色であると仮定し、第３画像データに対応する画像の色が帳票用紙の地の色であると仮定する。
次にステップＳ２０５に移行して、帳票用紙の固定文字の色であると仮定されている色の画像に罫線が含まれているか否かを判定し、罫線が含まれている場合には（Ｙｅｓ）ステップＳ２０７に移行し、そうでない場合には（Ｎｏ）ステップＳ２０６に移行する。

前記ステップＳ２０６では、仮定が誤りであることを示す仮定誤りフラグＦを「１」のセット状態としてから、前記ステップＳ２０７に移行する。ちなみに、初期状態にあっては、仮定誤りフラグＦを「０」のリセット状態とする。
前記ステップＳ２０７に移行して、帳票用紙の固定文字の色であると仮定されている色の画像に文字が含まれているか否かを判定し、文字が含まれている場合には（Ｙｅｓ）ステップＳ２０９に移行し、そうでない場合には（Ｎｏ）ステップＳ２０８に移行する。

前記ステップＳ２０８では、仮定誤りフラグＦを「１」のセット状態としてから、前記ステップＳ２０９に移行する。
前記ステップＳ２０９では、帳票用紙の書式指定記号の色であると仮定されている色の画像に書式指定記号が含まれているか否かを判定し、書式指定記号が含まれている場合には（Ｙｅｓ）ステップＳ２１１に移行し、そうでない場合には（Ｎｏ）ステップＳ２１０に移行する。

前記ステップＳ２１０では、仮定誤りフラグＦを「１」のセット状態としてから、前記ステップＳ２１１に移行する。
前記ステップＳ２１１では、帳票用紙の地の色であると仮定されている色の画像の面積が他の色の画像の面積より大きいか否かを判定し、大きい場合には（Ｙｅｓ）ステップＳ２１３に移行し、そうでない場合には（Ｎｏ）ステップＳ２１２に移行する。

前記ステップＳ２１２では、仮定誤りフラグＦを「１」のセット状態としてから、前記ステップＳ２１３に移行する。
前記ステップＳ２１３では、帳票用紙の地の色であると仮定されている色の画像が他の色の画像より帳票用紙の外側に多く分布しているか否かを判定し、帳票用紙の外側に多く分布している場合には（Ｙｅｓ）ステップＳ２１５に移行し、そうでない場合には（Ｎｏ）ステップＳ２１４に移行する。

前記ステップＳ２１４では、仮定誤りフラグＦを「１」のセット状態としてから、前記ステップＳ２１５に移行する。
前記ステップＳ２１５では、仮定誤りフラグＦが「１」のセット状態であるか否かを判定し、「１」のセット状態である場合には（Ｙｅｓ）ステップＳ２１６に移行し、そうでない場合には（Ｎｏ）ステップＳ２１８に移行する。

前記ステップＳ２１６では、仮定誤りフラグＦを「０」のリセット状態とする。
次にステップＳ２１７に移行し、帳票用紙の固定文字の色、書式指定記号の色及び帳票用紙の地の色の少なくとも２つがそれまでと異なる色となるように、それらの色がそれぞれ当該第１〜第３画像データに対応する画像の色であると仮定してから、前記ステップＳ２０５に移行する。例えば、それまで第１画像データに対応する画像の色が帳票用紙の固定文字の色であると仮定され、第２画像データに対応する画像の色が書式指定記号の色であると仮定され、第３画像データに対応する画像の色が帳票用紙の地の色であると仮定されていたとすると、ここでは第１画像データに対応する画像の色が帳票用紙の地の色であると仮定され、第２画像データに対応する画像の色が帳票用紙の固定文字の色であると仮定され、第３画像データに対応する画像の色が書式指定記号の色であると仮定される。

一方、前記ステップＳ２１８では、前記ステップＳ２０４又はＳ２１７で最後に仮定された色（第１〜第３画像データに対応する画像の色）を帳票用紙の固定文字の色、書式指定記号の色、帳票用紙の地の色であると検出してから、この演算処理を終了する。
次に、本実施形態の動作を具体的状況に基づいて詳細に説明する。
まず、図５に示すように、利用者が既存の帳票用紙の各記入欄に帳票用紙の地の色や固定文字の色と異なる色で書式指定記号を記入した後に、その帳票用紙をイメージスキャナ６の給紙口にセットしたとする。すると、そのイメージスキャナ６で、帳票用紙の画像データが生成され、その生成された帳票用紙の画像データがＣＰＵ２に出力され、ＣＰＵ２で、書式情報生成処理が実行され、図２に示すように、まずそのステップＳ１０１で、帳票用紙の画像データが取得され、ステップＳ１０２で、色情報検出処理が実行される。

この色情報検出処理が実行されると、図３に示すように、まずそのステップＳ２０１で、帳票用紙の画像データに対応する画像に輝度検出領域が設定され、ステップＳ２０２で、図４に示すように、その輝度検出領域にある画像の輝度が画素毎に検出され、ステップＳ２０３で、それらの輝度に基づいて第１〜第３画像データが生成され、ステップＳ２０４で、その第１画像データに対応する画像の色が帳票用紙の固定文字の色であると仮定され、第２画像データに対応する画像の色が書式指定記号の色であると仮定され、第３画像データに対応する画像の色が帳票用紙の地の色であると仮定される。

ここで、帳票用紙の地の色が白色であり、罫線や固定文字が黒色であり、書式指定記号の色が灰色であるとする。すると、ステップＳ２０５、Ｓ２０７、Ｓ２０９、Ｓ２１１、Ｓ２１３及びＳ２１５の判定が「Ｙｅｓ」となり、ステップＳ２１８で、前記ステップＳ２０４で仮定された色（第１〜第３画像データに対応する画像の色）が帳票用紙の固定文字の色、書式指定記号の色、帳票用紙の地の色であると検出され、この演算処理が終了され、もとの書式情報生成処理に復帰する。

もとの書式情報生成処理に復帰すると、そのステップＳ１０３で、図６（ａ）に示すように、帳票用紙の固定文字の色に対応する画像データが抽出され、その画像データから固定文字の情報が生成され、また図６（ｂ）に示すように、書式指定記号の色に対応する画像データが抽出され、その画像データから書式指定記号の情報が生成され、ステップＳ１０４で、図６（ａ）に示すように、帳票用紙の固定文字の色に対応する画像データが抽出され、その画像データから罫線の情報が生成され、ステップＳ１０５で、検出された固定文字の情報や書式指定記号の情報、罫線の情報によって定まる記入欄の情報が生成され、ステップＳ１０６で、検出された書式指定記号の記入欄に対する位置及び内容が検出され、その書式指定記号が記入されている記入欄の書式の情報が生成され、ステップＳ１０７で、固定文字の情報と書式指定記号の情報と罫線の情報と記入欄の情報と記入欄の書式の情報とを含む書式情報が生成され、その書式情報がタグ付きの言語の形式で記述して記憶媒体５に格納される。

このように、本実施形態のコンピュータシステム１によれば、帳票用紙の画像データから書式指定記号の画像データをその色に基づいて抽出し、その抽出された画像データから記入欄に対する書式指定記号の位置及び内容を検出するようにしたため、書式指定記号以外の記号が書式指定記号と誤検出されることや、書式指定記号が書式指定記号以外の記号と誤検出されることが抑制防止され、書式情報の検出率を向上することができる。

次に、本発明の書式情報生成装置の第２実施形態について説明する。この第２実施形態は、帳票用紙の記入欄の書式を示す記号である書式指定記号に変数としての機能を持たせる外部定義ファイルを生成するようにした点が前記第１実施形態と異なる。具体的には、前記第１実施形態のＣＰＵ２で行われる図２の演算処理のステップＳ１０６とＳ１０７との間に、図７の演算処理のステップＳ３０１が追加されている。この図７の演算処理は、前記第１実施形態の図２の演算処理と同等のステップを多く含んでおり、同等のステップには同等の符号を付して、その詳細な説明を省略する。

このステップＳ３０１では、書式指定記号「sub_Y」、「sub_M」、「sub_D」に正の整数値の変数としての機能を持たせ、書式指定記号「TITLE」に文字列の変数としての機能を持たせる情報を生成し、その情報をＳＧＭＬ(Standard Generalized Markup Language)やＸＭＬで用いられるＤＴＤ(Document Type Definition)の形式で以下に示すように記述して外部定義ファイルとして記憶媒体５に格納する。

<!ELEMENT sub_Y (#NUMBERS)>
<!ELEMENT sub_M (#NUMBERS)>
<!ELEMENT sub_D (#NUMBERS)>
<!ELEMENT TITLE (#PCDATA)>
このように、本実施形態のコンピュータシステム１によれば、書式指定記号に変数としての機能を持たせる外部定義ファイルを生成するようにしたため、例えば、書式情報に基づいて帳票用紙の画像をディスプレイに表示し、利用者に、書式指定記号「sub_Y」、「sub_M」及び「sub_D」に対応する記入欄に数値（例えば、２００３年５月２３日）を入力させ、書式指定記号「TITLE」に対応する記入欄に文字列（例えば、特許講演会）を入力させたときに、書式指定記号「dur_D」、「sub_M」、「sub_D」及び「TITLE」に対応する変数それぞれを「２００３」、「５」、「２３」及び「特許講演会」とし、それらの変数をタグ付きの言語の形式で以下に示すように記述して記憶媒体５に格納することができる。

<?xml version="1.0" encoding="Shift_JIS"?>
<sub_Y>2003</sub_Y>
<sub_M>5</sub_M>
<sub_D>23</sub_D>
<TITLE>特許講演会</TITLE>
次に、本発明の書式情報生成装置の第３実施形態について説明する。この第３実施形態は、書式指定情報が記入されている帳票用紙の画像データから未記入の帳票用紙の画像データを除いた差分画像データを抽出し、その抽出された差分画像データを書式指定記号の画像データとした点が前記第１実施形態とは異なる。具体的には、前記第１実施形態のＣＰＵ２で行われる図２の演算処理が図８の演算処理に変更されている。

まずそのステップＳ４０１では、未記入の帳票用紙の画像データをイメージスキャナ６から取得する。
次にステップＳ４０２に移行して、前記ステップＳ４０１で取得された帳票用紙の画像データを記憶装置４が有する記憶媒体５に格納させる。
次にステップＳ４０３に移行して、前記ステップＳ４０２で記憶媒体５に格納された帳票用紙の画像データから固定文字の情報（帳票用紙における固定文字の座標や大きさ）を生成する。

次にステップＳ４０４に移行して、前記ステップＳ４０２で記憶媒体５に格納された帳票用紙の画像データから罫線の情報（帳票用紙における罫線の座標や大きさ、内容）を生成する。
次にステップＳ４０５に移行して、前記ステップＳ４０３で検出された座標や大きさの固定文字、前記ステップＳ４０４で検出された罫線の座標等から帳票用紙の記入欄の情報を生成する。具体的には、記入欄等のレイアウトの整合性が向上するように固定文字を他の属性のものに置き換え、置き換え後の固定文字や罫線によって定まる記入欄の情報を生成する。

次にステップＳ４０６に移行して、新たな帳票用紙の画像データがイメージスキャナ６で生成されたか否かを判定し、生成された場合には（Ｙｅｓ）ステップＳ４０６に移行し、そうでない場合には（Ｎｏ）この判定を繰り返し実行する。
次にステップＳ４０７に移行して、書式指定記号が記入されている帳票用紙の画像データをイメージスキャナ６から取得する。

次にステップＳ４０８に移行して、前記ステップＳ４０７で取得された帳票用紙の画像データを記憶装置４が有する記憶媒体５に格納させる。
次にステップＳ４０９に移行して、前記ステップＳ４０８で記憶装置４に格納された帳票用紙の画像データ（書式指定記号が記入されている帳票用紙の画像データ）に対応する画像と前記ステップＳ４０２で記憶装置４に格納された帳票用紙の画像データ（未記入の帳票用紙の画像データ）に対応する画像との相関が最も大きい位置関係となるようにそれらの画像データを補正する。

次にステップＳ４１０に移行して、前記ステップＳ４０８で記憶装置４に格納された帳票用紙の画像データ（書式指定記号が記入されている帳票用紙の画像データ）から、前記ステップＳ４０８で補正された画像データを除いた差分画像データを抽出し、その抽出された差分画像データを書式指定記号の画像データとする。
次にステップＳ４１１に移行して、前記ステップＳ４１０で抽出された画像データから書式指定記号を検出し、それらの書式指定記号の前記ステップＳ４０５で検出された記入欄に対する位置及び内容を検出し、その書式指定記号に最も近い記入欄、つまり書式指定記号が記入されている記入欄の書式の情報を生成する。

次にステップＳ４１２に移行して、前記ステップＳ４０３で生成された固定文字の情報及び書式指定記号の情報と、前記ステップＳ４０４で生成された罫線の情報と、前記ステップＳ４０５で生成された記入欄の情報と、前記ステップＳ４１１で生成された記入欄の書式の情報とを含む書式情報を生成し、その書式情報をＸＭＬ( eXtensible Markup Language)やＨＴＭＬ(Hyper Text Markup Language)といったタグ付きの言語の形式で記述して記憶媒体５に格納してから、この演算処理を終了する。

次に、本実施形態の動作を具体的状況に基づいて詳細に説明する。
まず、利用者が未記入の帳票用紙をイメージスキャナ６の給紙口にセットしたとする。すると、そのイメージスキャナ６で、帳票用紙の画像データが生成され、その生成された帳票用紙の画像データがＣＰＵ２に出力され、ＣＰＵ２で、書式情報生成処理が実行され、図８に示すように、まずそのステップＳ４０１で、未記入の帳票用紙の画像データが取得され、ステップＳ４０２で、帳票用紙の画像データが記憶装置４の記憶媒体５に格納され、ステップＳ４０３で、帳票用紙の画像データから固定文字の情報が検出され、ステップＳ４０４で、帳票用紙の画像データから罫線の情報が検出され、ステップＳ４０５で、検出された固定文字や罫線によって定まる記入欄の情報が生成され、ステップＳ４０６の判定が「Ｎｏ」となり、そのステップＳ４０６の判定が繰り返し実行される。

ここで、利用者が既存の帳票用紙の各記入欄に書式指定記号を記入した後に、その帳票用紙をイメージスキャナ６の給紙口にセットしたとする。すると、そのイメージスキャナ６で、帳票用紙の画像データが生成され、その生成された帳票用紙の画像データがＣＰＵ２に出力され、前記ステップＳ４０６の判定が「Ｙｅｓ」となり、ステップＳ４０７で、帳票用紙の画像データが取得され、ステップＳ４０８で、帳票用紙の画像データが記憶装置４の記憶媒体５に格納され、ステップＳ４０９で、書式指定記号が記入されている帳票用紙の画像データに対応する画像と未記入の帳票用紙の画像データに対応する画像との相関が最も大きい位置関係となるようにそれらの画像データが補正され、ステップＳ４１０で、それらの帳票用紙の画像データの差分に基づいて書式指定記号の画像データが抽出され、ステップＳ４１１で、抽出された画像データから書式指定記号が検出され、それらの書式指定記号の記入欄に対する位置及び内容が検出され、その書式指定記号が記入されている記入欄の書式情報が生成され、ステップＳ４１２で、固定文字の情報と書式指定記号の情報と罫線の情報と記入欄の情報と記入欄の書式の情報とを含む書式情報が生成され、その書式情報がタグ付きの言語の形式で記述して記憶媒体５に格納される。

このように、本実施形態のコンピュータシステム１によれば、書式指定記号が記入されている帳票用紙の画像データから未記入の帳票用紙の画像データを除いた差分画像データを抽出し、その抽出された差分画像データを書式指定記号の画像データとし、その書式指定記号の画像データから記入欄に対する書式指定記号の位置及び内容を検出するようにしたため、書式指定記号以外の記号が書式指定記号と誤検出されることや、書式指定記号が書式指定記号以外の記号と誤検出されることが抑制防止され、書式情報の検出率が向上する。

次に、本発明の書式情報生成装置の第４実施形態について説明する。この第４実施形態は、使用済みの帳票用紙の画像データから未記入の帳票用紙の画像データを生成するようにした点が前記第３実施形態とは異なる。具体的には、前記第３実施形態のＣＰＵ２で行われる図８の演算処理のステップＳ４０１が図９の演算処理のステップＳ５０１〜Ｓ５０５に変更されている。

まずそのステップＳ５０１では、複数枚の使用済みの帳票用紙の画像データをイメージスキャナ６からそれぞれ取得する。
次にステップＳ５０２に移行して、前記ステップＳ５０１で取得された複数枚の帳票用紙の画像データを記憶装置４が有する記憶媒体５にそれぞれ格納させる。
次にステップＳ５０３に移行して、前記ステップＳ５０２で記憶装置４に格納された複数枚の帳票用紙の画像データ（使用済みの帳票用紙の画像データ）それぞれに対応する画像間の相関が最も大きい位置関係となるようにそれらの画像データを補正する。

次にステップＳ５０４に移行して、前記ステップＳ５０３で補正された複数枚の帳票用紙画像データ（使用済みの帳票用紙の画像データ）を平均化する。ここで画像データの平均化とは、対象となる複数の画像データに対応する画像を構成する複数の画素のうち、同じ位置にある画素間で輝度の平均値をそれぞれ算出し、それらの算出結果を当該位置における輝度とした画像に対応する画像データを生成することをいう。

次にステップＳ５０５に移行して、前記ステップＳ５０４で生成された画像データから輝度が所定閾値以下である画像に対応する画像データ（帳票用紙の固定文字や罫線の画像データ）を抽出し、その抽出された画像データを未記入の帳票用紙の画像データとする。
次に、本実施形態の動作を具体的状況に基づいて詳細に説明する。
まず、利用者が複数枚の使用済みの帳票用紙をイメージスキャナ６の給紙口にセットしたとする。すると、そのイメージスキャナ６で、それらの帳票用紙の画像データが生成され、その生成された帳票用紙の画像データがＣＰＵ２に出力され、ＣＰＵ２で、書式情報生成処理が実行され、図９に示すように、まずそのステップＳ５０１で、複数枚の帳票用紙の画像データがそれぞれ取得され、ステップＳ５０２で、複数枚の帳票用紙の画像データが記憶装置４の記憶媒体５にそれぞれ格納され、ステップＳ５０３で、複数枚の帳票用紙の画像データそれぞれに対応する画像間の相関が最も大きい位置関係となるようにそれらの画像データが補正され、ステップＳ５０４で、図１０に示すように、補正された複数の画像データ間で画像の平均化が行われ、ステップＳ５０５で、平均化された画像の画像データに基づいて帳票用紙の固定文字や罫線の画像データが抽出され、その抽出された画像データが未記入の帳票用紙の画像データとされる。

このように、本実施形態のコンピュータシステム１によれば、使用済みの帳票用紙から未記入の帳票用紙の画像データを生成するようにしたため、未記入の帳票用紙の画像データを容易に生成することができる。
なお、上記実施形態では、図１のイメージスキャナ６が画像データ生成手段及び複数画像データ生成手段を構成し、以下同様に、図２及び図７のステップＳ１０２及びＳ１０３、図８及び図９のステップＳ４０９及びＳ４１０が画像データ抽出手段を構成し、図２及び図７のステップＳ１０３〜Ｓ１０６、図８及び図９のステップＳ４１１が書式指定記号検出手段を構成し、図２及び図７のステップＳ１０７、図８及び図９のステップＳ４１２が書式情報生成手段を構成し、図２及び図７のステップＳ１０２が色情報検出手段を構成し、図２のステップＳ１０３が特定色画像データ抽出手段に対応し、図１のイメージスキャナ６及び図９のステップＳ５０１〜Ｓ５０５が未記入画像データ生成手段を構成し、図９のステップＳ５０４が画像平均化手段を構成し、ステップＳ５０５がフィルタリング手段に対応する。

また、上記実施形態は、本発明に係る書式情報生成装置の一例を示したものであり、その構成等を限定するものではない。
例えば、上記実施の形態では、グレースケール画像データを生成するイメージスキャナ６を用いる例を示したが、これに限られるものではなく、例えばカラー画像データを生成するイメージスキャナを用いるようにしてもよい。このとき書式指定記号は、帳票用紙の地の色、固定文字の色とは色相や彩度などが大きく異なる色を用いて記入することで書式情報の検出率を向上することができる。

また、固定文字や書式指定記号の色として１色のみを用いる例を示したが、これに限られるものではなく、それぞれ比較的似通った複数の色を用いるようにしてもよい。
さらに、帳票用紙の地の色、固定文字の色及び書式指定記号の色をコンピュータシステム１に自動的に判別させる例を示したが、これに限られるものではなく、例えば帳票用紙の画像データに対応する画像をディスプレイに表示させ、その表示から利用者に色を指定させるようにしてもよい。利用者に色を指定させる方法としては、例えば、帳票用紙の地の色、固定文字の色及び書式指定記号の色それぞれをマウスポインタで選択させる方法を挙げることができる。そのようにすれば、帳票用紙に記入されている書式指定記号の色をコンピュータシステム１側で検出させる場合に比べ、書式指定記号の画像データの抽出をより適切に行うことができ、書式情報の検出率をより向上することができる。

また、輝度分布ヒストグラムのピーク間の中間値を第１閾値及び第２閾値とする例を示したが、これに限られるものではなく、例えば図１１に示すように、輝度分布ヒストグラムの画像と第１閾値及び第２閾値を設定するためのスライダーバーの画像とをディスプレイに表示させ、そのスライダーバーをマウスポインタで操作させるようにしてもよい。
さらに、ＸＭＬやＨＴＭＬ等のタグ付き言語の形式で書式情報を記憶媒体５に格納する例を示したが、これに限られるものではなく、例えば、ワードプロセッサソフトのテンプレート、フォーム、雛型の形式で記憶媒体５に格納するようにしてもよい。

本発明の実施の形態の概略構成を示すブロック図である。 書式情報生成処理を示すフローチャートである。 色情報検出処理を示すフローチャートである。 輝度分布領域における輝度分布ヒストグラムである。 書式指定記号が記載された帳票用紙を説明するための説明図である。 固定文字及び書式指定記号の抽出を説明するための説明図である。 第２実施形態の書式情報生成処理を示すフローチャートである。 第３実施形態の書式情報生成処理を示すフローチャートである。 第４実施形態の書式情報生成処理を示すフローチャートである。 第４実施形態の動作を説明するための説明図である。 本発明の変形例を説明するための説明図である。

符号の説明

１はコンピュータシステム、２はＣＰＵ、３はＲＡＭ、４は記憶装置、５は記憶媒体、６はイメージスキャナ、７はバス

Claims (8)

1. 帳票用紙の画像データを生成し、その画像データに基づいて固定文字の情報と記入欄の情報とを含む書式情報を生成する書式情報生成方法において、
   記入欄の書式を示す記号である書式指定記号を帳票用紙の各記入欄に記入した後に、その帳票用紙の画像データを生成し、その生成された画像データから前記固定文字と異なる所定の外観的特徴を有する記号の画像データをその外観的特徴に基づいて抽出し、その抽出された画像データから前記記入欄に対する前記書式指定記号の位置及び内容を検出し、その検出結果に基づいて各記入欄の書式の情報を生成することを特徴とする書式情報生成方法。
2. 帳票用紙の画像データを生成し、その画像データに基づいて固定文字の情報と記入欄の情報とを含む書式情報を生成する書式情報生成方法において、
   記入欄の書式を示す記号である書式指定記号を帳票用紙の各記入欄に記入した後に、その帳票用紙の画像データを生成し、その生成された画像データから未記入の帳票用紙の画像データを除いた差分画像データを抽出し、その抽出された差分画像データから前記記入欄に対する前記書式指定記号の位置及び内容を検出し、その検出結果に基づいて各記入欄の書式の情報を生成することを特徴とする書式情報生成方法。
3. 帳票用紙の画像データを生成し、その画像データに基づいて固定文字の情報と記入欄の情報とを含む書式情報を生成する書式情報生成装置において、
   記入欄の書式を示す記号である書式指定記号が各記入欄に記入されている帳票用紙の画像データを生成する画像データ生成手段と、その画像データ生成手段で生成された画像データから固定文字と異なる所定の外観的特徴を有する記号の画像データをその外観的特徴に基づいて抽出する画像データ抽出手段と、その画像データ抽出手段で抽出された画像データから前記記入欄に対する前記書式指定記号の位置及び内容を検出する書式指定記号検出手段と、その書式指定記号検出手段の検出結果に基づいて各記入欄の書式の情報を生成する書式情報生成手段とを備えたことを特徴とする書式情報生成装置。
4. 前記画像データ抽出手段は、前記画像データ生成手段で生成された画像データから固定文字の色と異なる色であるという外観的特徴に基づいて前記記号の画像データを抽出することを特徴とする請求項３に記載の書式情報生成装置。
5. 前記画像データ抽出手段は、前記画像データ生成手段で生成された画像データから帳票用紙の地の色、固定文字の色及び書式指定記号の色を検出する色情報検出手段と、その色情報検出手段で検出された書式指定記号の色を前記外観的特徴として前記記号の画像データを抽出する特定色画像データ抽出手段を備えたことを特徴とする請求項４に記載の書式情報生成装置。
6. 利用者に前記書式指定記号の色を設定させる色設定手段を備え、前記画像データ抽出手段は、前記色設定手段で設定された色を前記外観的特徴として前記記号の画像データを抽出することを特徴とする請求項３に記載の書式情報生成装置。
7. 帳票用紙の画像データを生成し、その画像データに基づいて固定文字の情報と記入欄の情報とを含む書式情報を生成する書式情報生成装置において、
   未記入の帳票用紙の画像データを生成する未記入画像データ生成手段と、記入欄の書式を示す記号である書式指定記号が各記入欄に記入されている帳票用紙の画像データを生成する画像データ生成手段と、その画像データ生成手段で生成された画像データから前記未記入画像データ生成手段で生成された画像データを除いた差分画像データを抽出する差分画像データ抽出手段と、その差分画像データ抽出手段で抽出された差分画像データから前記記入欄に対する前記書式指定記号の位置及び内容を検出する書式指定記号検出手段と、その書式指定記号検出手段の検出結果に基づいて各記入欄の書式の情報を生成する書式情報生成手段とを備えたことを特徴とする書式情報生成装置。
8. 前記未記入画像データ生成手段は、複数の使用済み帳票用紙の画像データを生成する複数画像データ生成手段と、その複数画像データ生成手段で生成された複数の画像データを平均化して平均画像データを生成する画像平均化手段と、その画像平均化手段で生成された平均画像データを所定閾値に基づいてフィルタリングすることにより前記未記入の帳票用紙の画像データを生成するフィルタリング手段とを備えたことを特徴とする請求項７に記載の書式情報生成装置。