JP2019008559A - 情報処理装置及び情報処理方法 - Google Patents

Abstract

【課題】図面やビジネス文書イメージに表されている表の種別分類を容易に行うことが出来る情報処理装置を提供する。【解決手段】イメージ情報に含まれる四角形を抽出する四角形抽出手段と、四角形抽出手段が抽出した四角形で互いに隣接する四角形の集合体を表ブロックとして特定する表ブロック特定手段と、表ブロック特定手段が特定した表ブロックの各四角形毎に各四角形の頂点が隣接する他の四角形の頂点数を計数し、計数した表ブロックを構成する四角形の個数を度数とし隣接点数ベクトルを作成するベクトル作成手段とを備える。表種別類推手段は、隣接点計数手段が計数した表ブロックを構成する四角形の個数を度数として隣接点数ベクトルを作成するベクトル作成手段を有し、ベクトル作成手段が作成した隣接点数ベクトルに基づいて表種別を類推する。【選択図】図２

Description

本発明は、紙媒体図面やビジネス帳票に記載されている表種別の分類を容易に行える情報処理装置及び情報処理方法に関するものである。

現在は経済活動を行うに際してその多くの活動が文書に基づいて行われており、公的に保存期間が定められているものも多い。このような文書については従来専用の保管スペースを確保して保管していた。そして、保管した文書の検索は保管リストを参照しながら書類をめくるなどして抽出していた。

その後デジタル処理技術の発達により、文書情報をそのまま読み込んでイメージ情報として記憶し、原本は保管費用の廉価な倉庫などに保管し、書類確認が必要な時には記憶したイメージ情報を読み出してきて表示画面に表示して確認していた。

あるいは、当該書類に記載されている情報の有効利用を図るため、記載内容を例えば文字認識してキャラクタデータに変換してデジタルデータとしても記憶し、記載内容の検索を可能にしたものが提供されるようになってきている。

更に、近時では帳票類のみならず、各種機器の設計図面などもイメージ化して登録することも行われてきている。この設計図面、例えば機械系の設計図面では、書類に記載されている文字情報をキーワードとして所望の部品に類似する部品の図面を検索しようとしても。満足のいく検索結果は得られなかった。

そこで、類似部品の図面を検索する方法として、書類イメージに表示されている文字情報の単語毎の文字列を書類イメージに対応するインデックスとすると共に、書類イメージに書類種別ＩＤを付与し、インデックスと対応つけて登録されている書類イメージの読み出しキーワードとして記憶されている書類イメージを読み出す方法が提案されていた（特許文献１）。

特開２０１４−２３５６１９号公報

しかしながら、顧客の希望をいろいろと聞いていくうちに、顧客が真に望んでいるのは類似部品図面の検索のみならず、大量に存在する紙媒体図面や非定型の文書ファイルを適切に分類して登録することにあることが判明した。しかしながら、このような顧客の要求を満たす情報処理装置は実現していなかった。

ディープラーニングと呼ばれるAI技術を用いて写真等画像を与えると、各領域に何が写っているか判別できると言われているが、図面を含むビジネス帳票は、基本的に文字と罫線、つまり、線画であり、どの領域に何が記載されているかは十分判別できない。
ビジネス帳票では、如何に線画特徴を保持したまま、AIで扱いやすい形にまでデータを集約、正規化できるかが重要な技術課題であることが発明者の試行錯誤の結果分かった。

本発明は上記の課題を解決し、ビジネス文書においても線画特徴を保持しながら、集約、正規化出来る技術を提供することを目的とする。本願発明者は、独自に調査・研究を行った結果、表の四角形を抽出し、各四角形の頂点の隣接点数をカウントし、表特徴としてベクトル化すると、SVM(サポートベクターマシン)等のAI技術適用により、帳票画像を直接扱うよりも比較的簡便、かつ正確に表の特徴を保持しながら表種別を判別できることを見出した。

上記課題を解決するために以下の構成を備える。
即ち、イメージ情報として読み込まれた図面あるいは帳票情報に表されている表の分類を行う情報処理装置であって、前記イメージ情報に含まれる四角形を抽出する四角形抽出手段と、前記四角形抽出手段が抽出した四角形で互いに隣接する四角形の集合体を表ブロックとして特定する表ブロック特定手段と、前記表ブロック特定手段が特定した表ブロックの各四角形毎に各四角形の頂点が隣接する他の四角形の頂点数を計数する隣接点数計数手段と、前記隣接点計数手段の計数隣接端に基づき表種別を類推する表種別類推手段とを備えることを特徴とする。

そして例えば、前記表種別類推手段は、前記隣接点計数手段が計数した表ブロックを構成する四角形の個数を度数とし隣接点数ベクトルを作成するベクトル作成手段を有し、前記ベクトル作成手段が作成した隣接点数ベクトルに基づいて表種別を類推することを特徴とする。
また例えば、前記表種別類推手段は、四角形の縦横線がそろっている場合に部品表、縦横線がそろっていない場合に表題欄と類推することを特徴とする。

または、イメージ情報として読み込まれた図面あるいは帳票情報に表されている表の分類を行うことが可能な情報処理装置における情報処理方法であって、前記イメージ情報に含まれる四角形を抽出し、前記抽出した四角形において互いに隣接する四角形の集合体を表ブロックとして特定し、特定した表ブロックの各四角形毎に各四角形の頂点が隣接する他の四角形の頂点数を計数し、前記計数隣接端に基づき表種別を類推することを特徴とする。

また例えば、前記表種別の類推は、前数計数した表ブロックを構成する四角形の個数を度数とし隣接点数ベクトルを作成し、前記作成した隣接点数ベクトルを基に表種別を類推することを特徴とする。

本発明によれば、ビジネス帳票等に表されている線画特徴を保持したままAI技術で扱いやすい形までデータを集約、正規化することが可能となったため、帳票画像を直接扱いよりも容易に、かつ正確に表種別を判別出来る。

本発明に係る一発明の実施の形態例の情報処理システムの基本構成を示すブロック図である。 本発明に係る一発明の実施の形態例のビジネス帳票の表種別分類制御処理の概要を説明するためのフローチャート図である。

本実施の形態例における四角形抽出、表ブロック化処理を説明するための図である。 本実施の形態例における隣接点数カウント処理を説明するための図である。

１０ 紙媒体図面
２０ ビジネス帳票
１００ 全体制御装置
１１０ 書類読み取り装置
１２０ 表検出部
１２２ 四角形抽出部
１２４ 表ブロック化部
１２５ ベクトル化部
１３０ テキスト抽出部
１３２ 文字認識部
１３６ トピック最適化部

１４０ ネットワーク制御装置
１５０ プリンタ
１７０ 操作装置
１７１ 表示装置
２１０ 図面データサーバ
２２０ ビジネス帳票サーバ
２３０ 分類学習サーバ
３００ ネットワーク網

本発明に係る発明を実施するための形態の一例について図面を参照して以下詳細に説明する。まず、図１を参照して本実施の形態における情報処理装置の概略構成を説明する。図１は本発明に係る一実施の形態の一例の情報処理装置のシステム構成図である。

図１において、１０は処理対象（分類対象）の紙媒体図面であり、以下の説明では構成部品の一覧が表された機械図面を例として説明を行う。本実施の形態において処理対象とするのは、機械図面及びビジネス帳票などであり、書類読み取り装置で読み込まれてイメージ情報化され、図面データサーバ２１０やビジネス帳票サーバ２２０に登録、記憶される。
本実施の形態において処理対象は紙媒体図面とビジネス帳票に限定されるものではなく、図面に表が含まれていれば制限はない。

図１の２０はビジネス帳票であり、書類中に表部分を含んでいる。１００は本システムの全体制御を司る全体制御装置、１１０は装置にセットされた紙媒体図面やビジネス帳票などを順次読み込んでイメージ情報に変換して全体制御装置１００に出力する書類読み取り装置である。全体制御装置１００はこの書類読み取り装置１１０よりの読み取りイメージ情報をタグを付与して図面データサーバ２１０に登録する。

１２０は処理対象文書イメージにあたわされている表を検出する表検出部であり、処理対象の書類イメージ中の四角形を抽出する四角形抽出部１２２，抽出した四角形に隣接する四角形群を表（表ブロック）とする表ブロック化部１２４，表ブロックの四角形ごとに隣接点数をカウントし接続点数に基づいてベクトル化処理するベクトル化部１２６などから構成されている。

１３０は読み取った書類に表されたテキスト部分を抽出刷るテキスト抽出部、１２２は抽出されテキストの文字パターンを認識して抽出し、対応するキャラクタコードに変換してキャラクタデータ化する文字認識部である。

１４０はネットワーク網３００に接続し、ネットワーク網３００を介して不図示の他の情報処理装置との間での通信制御を可能とするネットワーク制御部である。１５０は処理データやサーバ登録情報等を印刷出力するプリンタ、１７０は本実施の形態例システムの制御指示等を入力可能な操作装置である。

更に２１０は書類読み取り装置１１０で読み取った紙媒体図面を格納保持する図面データサーバである。２２０は書類読み取り装置１１０で読み取ったビジネス帳票を格納保持するビジネス帳票サーバである。２３０は本実施の形態例システムで分類された表種別及び当該表に記載されている図面あるいはビジネス帳票などを登録保持する分類学習サーバである。

以上の構成を備える本実施の形態システムにおいては、紙媒体図面又はビジネス帳票内の四角形を抽出し、イメージ内に存在する表の種別をベクトル化して表すことが出来る。

本実施の形態例では、紙媒体図面又はビジネス帳票に含まれている表部分を抽出し、表を構成する各四角形毎に隣接点数をカウントしてベクトル化することにより、ＳＶＭ（サポートベクターマシン）などのＡＩ技術適用を可能とし、帳票画像を直接扱う場合に比し簡便、かつ正確に表種別を判別可能としている。

以下、図２のフローチャートを参照して本実施の形態例の表種別分類処理を説明する。図２は本発明に係る一発明の実施の形態例のビジネス帳票の表種別分類制御処理の概要を説明するためのフローチャート図である。

最初にステップＳ１において、書類読み取り装置１１０で読み込んだ例えば紙媒体図面（機械図面）等の書類イメージ情報（処理対象イメージ情報）を抽出する。なお、イメージ情報は、予め図面データサーバ２１０あるいは、ビジネス帳票サーバ２２０に登録された情報を読み出したものであっても良い。

続いてステップＳ３において、表検出部１２０の四角形抽出部１２０で抽出したイメージ情報中の四角形を抽出する四角形抽出処理を実行する。
次にステップＳ５で表ブロック化部１２４による表ブロック化処理を実行する。隣接している四角形群については、表(表ブロック)として集約する。例えば、図面全体から輪郭が四角形の図形をすべて抽出し、隣接している四角形群については、表(表ブロック)として集約する。

この処理すべきイメージ情報の例を図３に示す、図３は本実施の形態例装置が処理する機械図面の例であり、四角形として判別された図の部分も存在するが、図３の例では、部品表、要素表、表題欄が表ブロックとして抽出されている。表ブロック化された例は、図の右上の部品表、右中断の要素表、右下段が表題欄として抽出される。

四角形の検出は図３の左上、中央下段等、四角形は検出されるが、隣接する四角形がないため、表ではないと判断される。
表ブロック化が処理が終了するとステップＳ５よりステップＳ７に進み、隣接点数計数処理を行う。隣接点数計数処理では表検出部１２０のベクトル化部１２６で行う。具体的には、表ブロックの各四角形毎に四角形の頂点が隣接する他の四角形の頂点数をカウントするカウント数は０から１２のいずれかの数となる。このカウントをすべての表ブロックに対して行う、このカウントの例を図４に示す。図４は図３の表題欄の尺度の具体的な数値である「１：２」が記載されている四角形は、白丸で示されている４頂点の他の四角形の頂点は黒点で示す８点あり、隣接点数は８となる。

隣接点数は、縦横の線が揃っている表ほど、多くなる。
ベクトル化部１２６は、ステップＳ７の表ブロックの隣接点数計数が終了すると、続くステップＳ１０の処理に進み、表ブロックごとに該当する四角形の個数を度数とし、隣接点数ベクトルを作成するベクトル化処理を実行する。

具体的には、各表ブロックに１３次元ベクトルを与える。四角形「１：２」の例では、隣接点数が８であり、１３次元ベクトルの８番目の値を「＋１」する。
その結果、[0, 0, ..., +1, ..., 0]
同様に、各四角形の隣接点数をカウントし、対応するベクトル要素を＋１していく。
その結果、表ブロックの表特徴ベクトルは以下のように算出される。
表題欄：[0, 1, 0, 1, 10, 2, 6, 0, 4, 0, 1, 0, 0] →縦横線が揃っていない
部品表：[0, 0, 0, 0, 0, 4, 0, 0, 24, 0, 0, 0, 35] →縦横線が揃っている

この様にしてベクトル化処理が終了するとステップＳ１２の表種別分類処理を行う。
表種別分類処理では、ステップＳ１０で求めた隣接点数ベクトルを対象にＳＶＭ（サポートベクタマシン）により表題欄及び部品表を学習・判定する。図３に示す例では、同様の構成が、予め、学習効果もあって分類結果として表題欄及び部品表について自動分類している。しかしながら、要素表については各種の図面において汎用性のある仕様でないため例えば、その他の表との分類結果となる。この分類結果は分類学習サーバに格納される。

これで書類１ページ分の表の抽出、分類が終了したため、ステップＳ１２よりステップＳ１５に進み、次に処理すべき書類イメージがあるか否かを調べる、まだ処理すべき書類がある場合にはステップＳ１に戻り、次の書類イメージの抽出を行う。一方、処理すべき書類イメージがない場合には当該処理を終了する。

図面内の表は、位置や各四角のバランス等各図面毎に異なり、定型ではない。このため、表の分類なども従来であれば、全文ＯＣＲやフィールドスポッティング等が適用候補技術と考えられます。一方、本実施の形態例においては、隣接点数の計数によって、表の特徴を抽出し、１３次元と云う限られたサイズのベクトルに集約、正規化することが可能となる。

ＳＶＭ等のＡＩ技術は、このようなベクトルデータと相性が良く、比較的容易に表種別の判別等処理を行うことができる。このため、容易に表種別を分類でき、とくに分類が必要な欄に対してのみ表中のテキスト内容の解析などをすればよくリソース節約にもつながる。

Claims (5)

1. イメージ情報として読み込まれた図面あるいは帳票情報に表されている表の分類を行う情報処理装置であって、
   前記イメージ情報に含まれる四角形を抽出する四角形抽出手段と、
   前記四角形抽出手段が抽出した四角形で互いに隣接する四角形の集合体を表ブロックとして特定する表ブロック特定手段と、
   前記表ブロック特定手段が特定した表ブロックの各四角形毎に各四角形の頂点が隣接する他の四角形の頂点数を計数する隣接点数計数手段と、
   前記隣接点計数手段の計数隣接端に基づき表種別を類推する表種別類推手段とを備えることを特徴とする情報処理装置。
2. 前記表種別類推手段は、
   前記隣接点計数手段が計数した表ブロックを構成する四角形の個数を度数とし隣接点数ベクトルを作成するベクトル作成手段を有し、
   前記ベクトル作成手段が作成した隣接点数ベクトルに基づいて表種別を類推することを特徴とする請求項１記載の情報処理装置。
3. 前記表種別類推手段は、四角形の縦横線がそろっている場合に部品表、縦横線がそろっていない場合に表題欄と類推することを特徴とする請求項２記載の情報処理装置。
4. イメージ情報として読み込まれた図面あるいは帳票情報に表されている表の分類を行うことが可能な情報処理装置における情報処理方法であって、
   前記イメージ情報に含まれる四角形を抽出し
   前抽出した四角形において互いに隣接する四角形の集合体を表ブロックとして特定し、特定した表ブロックの各四角形毎に各四角形の頂点が隣接する他の四角形の頂点数を計数し、
   前記計数隣接端に基づき表種別を類推することを特徴とする情報処理方法。
5. 前記表種別の類推は、
   前記計数した表ブロックを構成する四角形の個数を度数とし隣接点数ベクトルを作成し、前記作成した隣接点数ベクトルを基に表種別を類推することを特徴とする請求項４記載の情報処理方法。