JP2018037017A - 分析装置、分析方法、および分析プログラム - Google Patents

分析装置、分析方法、および分析プログラム Download PDF

Info

Publication number
JP2018037017A
JP2018037017A JP2016171935A JP2016171935A JP2018037017A JP 2018037017 A JP2018037017 A JP 2018037017A JP 2016171935 A JP2016171935 A JP 2016171935A JP 2016171935 A JP2016171935 A JP 2016171935A JP 2018037017 A JP2018037017 A JP 2018037017A
Authority
JP
Japan
Prior art keywords
cell
common
document
group
item
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2016171935A
Other languages
English (en)
Other versions
JP6727992B2 (ja
Inventor
良介 土屋
Ryosuke Tsuchiya
良介 土屋
周平 野尻
Shuhei Nojiri
周平 野尻
克己 河合
Katsumi Kawai
克己 河合
仁志夫 山田
Nishio Yamada
仁志夫 山田
祐介 神
Yusuke Jin
祐介 神
康勢 高井
Kosei Takai
康勢 高井
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hitachi Ltd
Original Assignee
Hitachi Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hitachi Ltd filed Critical Hitachi Ltd
Priority to JP2016171935A priority Critical patent/JP6727992B2/ja
Priority to US15/598,484 priority patent/US20180067916A1/en
Priority to CN201710358435.7A priority patent/CN107797979B/zh
Publication of JP2018037017A publication Critical patent/JP2018037017A/ja
Application granted granted Critical
Publication of JP6727992B2 publication Critical patent/JP6727992B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00Handling natural language data
    • G06F40/10Text processing
    • G06F40/166Editing, e.g. inserting or deleting
    • G06F40/177Editing, e.g. inserting or deleting of tables; using ruled lines
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00Handling natural language data
    • G06F40/10Text processing
    • G06F40/166Editing, e.g. inserting or deleting
    • G06F40/177Editing, e.g. inserting or deleting of tables; using ruled lines
    • G06F40/18Editing, e.g. inserting or deleting of tables; using ruled lines of spreadsheets
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/23Clustering techniques
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/24Classification techniques
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/40Document-oriented image-based pattern recognition
    • G06V30/41Analysis of document content
    • G06V30/412Layout analysis of documents structured with printed lines or input boxes, e.g. business forms or tables

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Physics & Mathematics (AREA)
  • Artificial Intelligence (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Computation (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Computational Linguistics (AREA)
  • General Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

【課題】文書のレイアウト属性情報や単語辞書の付加入力を用いずに、多種多量の文書を様式毎に分類すること。
【解決手段】分析装置は、プログラムを実行するプロセッサと、前記プログラムおよびスプレッドシート形式の文書群を記憶する記憶デバイスと、を有する。プロセッサは、記憶デバイスから文書群を取得する取得処理と、取得処理によって取得された文書群内の文書間における各文書内のセルに含まれる文字列と、文字列を含むセルの位置と、の共通性に基づいて、文書群内の文書を、様式が共通する1以上の共通様式グループに分類する分類処理と、分類処理による分類結果を出力する出力処理と、を実行することを特徴とする。
【選択図】図1

Description

本発明は、情報を分析する分析装置、分析方法、および分析プログラムに関する。
システム開発では、システムの要件を記した仕様書やシステム構成要素の設計情報を記した設計書などの文書が作成される。システム開発文書は、多量の仕様や設計項目を表に列挙する目的で、表計算ソフト等を用いたスプレッドシート形式で作成されることが多い。
システム開発文書の品質チェックや、システム開発文書に記載された情報を活用したプログラム自動生成などの機械的な処理を行うために、スプレッドシート形式のシステム開発文書の記載内容を構造化された情報に変換してデータベースで一元管理する方式がある。
特許文献1は、文書の様式毎に用意した様式定義情報に基づいて、様式が異なる複数の文書を構造化された情報に変換する文書変換装置を開示する。特許文献2は、書式付き文書の内容的特徴と体裁的特徴を用いてシステム開発文書を様式毎に分類する情報分類方式を開示する。特許文献3は、予め用意した項目名や項目値の単語辞書を用いて、多種様式の帳票に記載された項目情報を機械的に認識する帳票認識装置を開示する。
特開2013−257852号公報 特開2000−268040号公報 特開2011−248609号公報
特許文献1の文書変換装置は、様式毎に予め用意した様式定義情報を基に文書変換を行うが、特許文献1は、様式定義情報の準備手段を開示していない。したがって、管理対象のシステム開発文書の数と種類が膨大な場合、人手での様式定義情報の作成は、多大な工数を必要とする。
また、特許文献2の情報分類方式は、CSV(Comma‐Separated Values)形式をはじめとする書式や罫線のレイアウト属性情報を持たないスプレッドシート形式文書の分類に向かない。具体的には、たとえば、特許文献2は、「内容的特徴の抽出では、たとえば、前述のTF/IDF法などを用いてテキスト文書中に出現する単語の種類や出現頻度から重みを加えた単語の頻度ベクトルを生成させ、これを上記カテゴリの内容的特徴とする。一方、体裁的特徴の抽出では、たとえば、前述の頁内の属性領域の位置的な重なりを求める手法を用いて頁内の共通属性領域情報を生成させ、これを上記カテゴリの体裁的特徴とする。」ことを開示する。
また、システム開発では、システムの入力設定ファイルやバッチ出力される帳票ファイル、アプリケーションのログファイルのような文書が、レイアウト属性情報を持たないスプレッドシート形式文書として作成、または出力されることが多い。したがって、特許文献2の情報分類方式は、レイアウト属性情報を持たない文書では体裁的特徴を抽出することができず、文書中に出現する単語は類似するが様式が異なる文書を区別することができない。
また、特許文献3の帳票認識装置は、文書の数と種類が膨大な場合、様式定義情報と同様に、人手での単語辞書作成に多大な工数を必要とする。
本発明は、上述のような事情に鑑みてなされたものであり、文書のレイアウト属性情報や単語辞書等の付加入力を用いずに、多種多量のシステム開発文書を様式毎に分類し、各様式の様式定義情報を機械的に生成することを目的とする。
本願において開示される発明の一側面となる分析装置、分析方法、および分析プログラムは、文書群を取得する取得処理と、前記取得処理によって取得された文書群内の文書間における各文書内のセルに含まれる文字列と、前記文字列を含むセルの位置と、の共通性に基づいて、前記文書群内の文書を、様式が共通する1以上の共通様式グループに分類する分類処理と、前記分類処理による分類結果を出力する出力処理と、を実行することを特徴とする。
本発明の代表的な実施の形態によれば、文書のレイアウト属性情報や単語辞書等の付加入力を用いずに、多種多量の文書を様式毎に分類することができる。前述した以外の課題、構成及び効果は、以下の実施例の説明により明らかにされる。
図1は、様式分析例を示す説明図である。 図2は、分析装置のハードウェア構成例を示すブロック図である。 図3は、文書の一例を示す説明図である。 図4は、様式定義情報の一例を示す説明図である。 図5は、分析装置の機能的構成例を示すブロック図である。 図6は、セル配置特徴量の生成例を示す説明図である。 図7は、共通様式グループの生成例を示す説明図である。 図8は、セルの共通性および可変性の分析例を示す説明図である。 図9は、偽項目名セルの特定例を示す説明図である。 図10は、様式判定条件要素候補の一例を示す説明図である。 図11は、様式判定条件の特定例を示す説明図である。 図12は、様式定義情報の確認および修正の一例を示す説明図である。 図13は、分析装置による分析処理手順例を示すフローチャートである。 図14は、図13に示した文書分類処理(ステップS1302)の詳細な処理手順例を示すフローチャートである。 図15は、図13に示したセル特定処理(ステップS1304)の詳細な処理手順例を示すフローチャートである。 図16は、図13に示した条件特定処理(ステップS1306)の詳細な処理手順例を示すフローチャートである。
<様式分析例>
本例で対象となる文書は、上述したように、たとえば、システムの入力設定ファイルやバッチ出力される帳票ファイル、アプリケーションのログファイルのような、レイアウト属性情報を持つスプレッドシート形式文書のほか、CSV形式をはじめとする書式や罫線のレイアウト属性情報を持たないスプレッドシート形式文書を含む。
図1は、様式分析例を示す説明図である。分析装置は、文書群dsを、文書d内のセルの配置が類似するグループに分類する(類似セル配置分類)。具体的には、たとえば、分析装置は、文書dを、文書d内のセルにおける値の有無で抽象化することにより、セル配置特徴量を求める。たとえば、分析装置は、値があるセルに「1」、値がないセルに「0」を割り当てたベクトル(有値セル行列M)を生成する。
また、数字で表現される行番号については、分析装置は、当該行のセルに値があれば「1」、なければ「0」を割り当てたベクトル(有値セル行ベクトルL)を生成する。大文字アルファベットで表現される列番号についても、分析装置は、当該列のセルに値があれば「1」、なければ「0」を割り当てたベクトル(有値セル列ベクトルC)を生成する。セル配置特徴量は、有値セル行列と有値セル行ベクトルと有値セル列ベクトルとを含む特徴量である。
そして、分析装置は、有値セル行列、有値セル行ベクトル、および有値セル列ベクトルの類似性により文書群dsをクラスタリングして文書群dsを、類似配置グループA,B,…,Zに分類する。これにより、セルの配置が類似する文書をグループ化することができる。また、文書をセルの値の有無でベクトル化することにより、CSV形式をはじめとする書式や罫線のレイアウト属性情報を持たないスプレッドシート形式文書についても分類することができる。
つぎに、分析装置は、類似セル配置分類で分類された類似配置グループA,B,…,Z内の文書dを、様式が共通するグループ(共通様式グループ)に分類する(共通様式分類)。具体的には、たとえば、分析装置は、類似配置グループA,B,…,Z内の文書d間において、同一位置および同一の値を有するセル(共通セル)を特定する。具体的には、たとえば、文書d1〜d4は、グループAに属する文書群dsである。分析装置は、文書d1,d2の1行A列のセル(画面名)を共通セルとして特定する。分析装置は、文書d3,d4の1行A列のセル(業務名)を共通セルとして特定する。分析装置は、文書d1〜d4の3行A列のセル(項番)を共通セルとして特定する。分析装置は、文書d1,d2の3行B列のセル(項目名)を共通セルとして特定する。分析装置は、文書d3,d4の3行B列のセル(画面名)を共通セルとして特定する。
すなわち、文書d1,d2は、1行A列のセル(画面名)、3行A列のセル(項番)、および3行B列のセル(項目名)を共通セルとする共通様式グループA1に分類される。文書d3,d4は、1行A列のセル(業務名)、3行A列のセル(項番)、および3行B列のセル(画面名)を共通セルとする共通様式グループA2に分類される。このように、セルの配置が類似する文書dを、文書d間の様式の共通性でさらにグループ化することができる。また、これにより、セル内文字列の単語辞書を用いることなく分類することができる。
<分析装置のハードウェア構成例>
図2は、分析装置のハードウェア構成例を示すブロック図である。分析装置200は、プロセッサ201と、記憶デバイス202と、入力デバイス203と、出力デバイス204と、通信インターフェース(通信IF205)と、を有する。プロセッサ201、記憶デバイス202、入力デバイス203、出力デバイス204、および通信IF205は、バスにより接続される。プロセッサ201は、分析装置200を制御する。記憶デバイス202は、プロセッサ201の作業エリアとなる。また、記憶デバイス202は、各種プログラムやデータを記憶する非一時的なまたは一時的な記録媒体である。記憶デバイス202としては、たとえば、ROM(Read Only Memory)、RAM(Random Access Memory)、HDD(Hard Disk Drive)、フラッシュメモリがある。入力デバイス203は、データを入力する。入力デバイス203としては、たとえば、キーボード、マウス、タッチパネル、テンキー、スキャナがある。出力デバイス204は、データを出力する。出力デバイス204としては、たとえば、ディスプレイ、プリンタがある。通信IF205は、ネットワークと接続し、データを送受信する。
<文書dの一例>
図3は、文書dの一例を示す説明図である。文書dは、たとえば、スプレッドシート形式で作成されたシステム開発文書である。文書dは、セル群を有する。セルは、行列番号の位置情報と当該位置情報に関連付けられる文字列とから成る構成要素である。文書dは、たとえば、表計算用のソフトウェアで作成されたファイルや、カンマや空白等の区切り文字で要素を区切ったCSVファイルやテキストファイルを含む。
なお、文書dは、複数のセルが結合した結合セルを含む場合がある。本実施例では、結合セルを構成する複数のセルのうち、左上に位置するセルのみ文字列を有し、それ以外のセルは文字列を持たないものとする。たとえば、セル301は、1〜2行A〜C行にわたる6つのセルが結合した結合セルであるが、「画面仕様書」という文字列は、1行A列のセルのみ有し、他の5つのセルは文字列を持たない。なお、その他の対応方法として、たとえば、結合セルを構成するすべてのセルに結合セルの文字列を持たせる方法もあるが、以降は、左上に位置するセルのみ文字列を有するとする前提で説明する。
文書dは、項目名セルと、項目値セルと、非項目セルと、を有する。項目名セルと項目値セルとの組み合わせは、「項目」を構成する。項目名セルは、項目の名称を表す文字列を有するセルである。セル302,304,306,308,310,311,312は、項目名セルである。項目値セルは、項目の値を表す文字列を有するセルである。セル303,305,307,309,313〜321は、項目値セルである。非項目セルは、文字列を有するが、項目名セルおよび項目値セルのどちらにも分類されないセルである。セル301は、非項目セルである。
項目は、単一項目またはテーブルに分類される。単一項目は、一つの項目名セルに対して一つの項目値セルが関連付けられた項目である。たとえば、項目名セルであるセル306(画面名)とその右に連結されている項目値セルであるセル307(画面1)との組み合わせとなる項目330は、単一項目に該当する。
テーブルは、一つの項目名セルに対して複数の項目値セルが関連付けられた項目である。たとえば、項目名セルであるセル311(画面項目名)とその下に連結されている項目値セルであるセル314(画面項目1),317(画面項目2),320(画面項目3)との組み合わせとなる項目は、テーブル340に該当する。
<様式定義情報の一例>
図4は、様式定義情報の一例を示す説明図である。様式定義情報400は、分析装置200の出力情報である。様式定義情報400は、文書dの様式一つに対して一つ生成する。様式定義情報400は、様式名称410と、様式判定条件420と、項目定義情報430と、を有する。
様式名称410は、様式を識別する一意の名称であり、異なる様式間で重複しない。様式名称410には、たとえば、様式定義情報400の生成順に数字が割り当てられる。また、様式名称410には、ユーザからの入力した名称が割り当てられる。また、様式名称410には、自動的に文書ラベルが割り付けられる。
様式判定条件420は、文書dの様式を判定するための条件であり、一つ以上の様式判定条件要素421を有し、異なる様式間で重複しない。様式判定条件要素421は、同一様式のすべての文書dの間で共通の位置情報と文字列とを有するセル(以下、完全共通セル)の位置情報(列と行)と文字列(値)とをエントリとして有する。たとえば、様式判定条件要素421は、1行A列に位置する「画面仕様書」という文字列を有するセルを表している。
項目定義情報430は、項目定義431を一つ以上有する。項目定義431は、文書dが有する項目を定義する情報である。項目定義431は、項目名セルの文字列と、項目値セルの位置情報(列と行)と、項目種類と、を有する。たとえば、項目定義431は、「作成者」という文字列を持つ項目名セルと1行G列に位置する項目値セルから成る単一項目を定義する。また、項目がテーブルである場合の項目値セルの位置情報は、項目名セルに最も近い先頭の項目値セルの位置情報となる。たとえば、テーブル340の場合、#6のエントリに示すように、項目名が「画面項目名」、項目値の位置情報が8行C列、項目種類が「テーブル」となる。
文書dが、様式判定条件420を構成するすべての様式判定条件要素421の条件を満たす場合、文書dは様式定義情報400と関連付けられる。これにより、様式定義情報400の項目定義情報430に基づいて、文書dの有する項目を機械的に認識できる。
<分析装置200の機能的構成例>
図5は、分析装置200の機能的構成例を示すブロック図である。分析装置200は、分類部501と、セル特定部502と、関連付け処理部503と、条件特定部504と、出力部505と、修正部506と、を有する。各構成は、図2に示した記憶デバイスに記憶されたプログラムをプロセッサに実行させることにより実現される。また、分析装置200は、分析装置200内または分析装置200外の文書DB500にアクセス可能である。DB500は、文書群dsや様式定義情報400を記憶する。文書群dsに含まれる文書の一例が図3に示した文書である。DB500は、具体的には、たとえば、図2に示した記憶デバイスにより実現される。
分類部501は、複数の文書間におけるセルの位置情報と文字列の類似性を分析し、文書群dsを複数のグループに分類する。分類部501は、セル配置特徴量分析によるクラスタリングと、共通セル特徴量分析によるクラスタリングという2つの機能を有する。
セル配置特徴量分析によるクラスタリングについて説明する。分類部501は、セル配置特徴量分析によるクラスタリングにより、文書のセル配置特徴量を分析する。図1で説明したように、セル配置特徴量は、文書内のセル群のうち文字列を有するセル(以下、有値セル)の文書内の位置情報に関する特徴量である。分類部501は、セル配置特徴量を、DB500に格納する。ここで、セル配置特徴量の生成例について図6を用いて説明する。
図6は、セル配置特徴量の生成例を示す説明図である。セル配置特徴量600は、有値セル行列Mと、有値セル列ベクトルCと、有値セル行ベクトルLと、を含む特徴量である。
有値セル行列Mは、セル配置特徴量分析によるクラスタリングにより、文書d内のすべてまたは一部のセルを、セル内の文字列の有無によって抽象化したデータである。行列を構成する要素は、たとえば、有値セルを数字の「1」で表し、文字列を持たないセル(以下、無値セル)を数字の「0」で表す。たとえば、非項目セルであるセル301において、1行A列のセルのみが文字列「画面仕様書」を持つ有値セルであり、他の五つのセルは無値セルである。分類部501は、セル配置特徴量分析によるクラスタリングにより、非項目セルであるセル301を、有値セル行列Mの要素群611に変換する。
有値セル列ベクトルCは、セル配置特徴量分析によるクラスタリングにより、文書dのすべてまたは一部の列を、当該列内の有値セルの有無によって抽象化したデータである。列ベクトルを構成する要素は、たとえば、有値セルを含む列を数字の「1」で表し、有値セルを含まない列を数字の「0」で表す。たとえば、文書dのG列は有値セル行列Mの左から7番目の列612に相当する。列612は有値セル303,305を有する。分類部501は、セル配置特徴量分析によるクラスタリングにより、有値セル列ベクトルCの要素621を「1」に設定する。また、列613は有値セルを持たない。分類部501は、セル配置特徴量分析によるクラスタリングにより、有値セル列ベクトルCの要素622を「0」に設定する。
有値セル行ベクトルLは、セル配置特徴量分析によるクラスタリングにより、文書dのすべてまたは一部の行を、当該行内の有値セルの有無によって抽象化したデータである。行ベクトルを構成する要素は、たとえば、有値セルを含む行を数字の「1」で表し、有値セルを持たない行を数字の「0」で表す。たとえば、文書dの第5行は有値セル行列Mの上から5番目の行614に相当する。行614は有値セル308,309を有する。分類部501は、セル配置特徴量分析によるクラスタリングにより有値セル行ベクトルLの要素631を「1」に設定する。また、行615は有値セルを持たない。分類部501は、セル配置特徴量分析によるクラスタリングにより、有値セル行ベクトルLの要素632を「0」に設定する。
図5に戻り、分類部501は、セル配置特徴量分析によるクラスタリングにより、文書d間のセル配置特徴量の類似性に基づいて文書群dsをクラスタリングし、セル配置特徴量が類似する文書集合である類似配置グループを一つ以上生成する。具体的には、たとえば、分類部501は、文書d間のセル配置特徴量の距離を算出する。より具体的には、たとえば、分類部501は、文書d間の有値セル列ベクトルC(有値セル行ベクトルLでもよい)のJaccard距離やコサイン距離を算出する。分類部501は、たとえば、算出距離がしきい値以上であれば、両文書dは類似すると判定する。しきい値は、ユーザが入力デバイス203から任意に設定すればよい。また、分類部501は、文書群dsをクラスタリングする場合、ウォード法による凝集型階層的クラスタリングを用いてもよい。
また、分類部501は、セル配置特徴量分析によるクラスタリングをした場合、類似配置グループを一意に特定するグループIDを当該類似配置グループに所属する文書に付与する。より具体的には、たとえば、分類部501は、文書を特定する文書IDと、当該文書が所属する類似配置グループのグループIDとを関連付ける。分類部501は、文書IDとグループIDとを関連付けた情報をDB500に格納する。
共通セル特徴量分析によるクラスタリングについて説明する。共通セル特徴量分析によるクラスタリングは、セル配置特徴量分析によるクラスタリングにより生成された類似配置グループに対して、グループ一つ毎に各文書の共通セル特徴量を分析する。共通セル特徴量は、同じ類似配置グループに属する文書間で、位置情報および文字列が一致するセル(以下、類似配置グループ内共通セル)に関する特徴量である。
共通セル特徴量は、たとえば、各文書における類似配置グループ内共通セルの有無を表す数値「1,0」を要素としたベクトルで表現される。分類部501は、共通セル特徴量分析によるクラスタリングにより、すべての類似配置グループのすべての文書の共通セル特徴量を分析する。分類部501は、各文書の共通セル特徴量を、DB500に格納する。
分類部501は、共通セル特徴量分析によるクラスタリングにより、すべての類似配置グループを対象に、文書間の共通セル特徴量の類似性に基づいて文書を更にクラスタリングし、共通セル特徴量が類似する文書の集合となる共通様式グループを一つ以上生成する。ここで、共通様式グループの生成例について図7を用いて説明する。
図7は、共通様式グループの生成例を示す説明図である。文書d11〜d14では、セル配置特徴量である有値セル列ベクトルCは共通して(1,0,1,0,0)となり、有値セル行ベクトルLは共通して(1,0,1,1,1)となる。文書d11〜d14では、有値セル列ベクトルCおよび有値セル行ベクトルLが完全一致であれば、有値セル行列Mも完全一致である。したがって、文書d11〜d14は類似する文書群dsであり、分類部501は、セル配置特徴量分析によるクラスタリングにより、文書d11〜d14が属する類似配置グループ700を設定する。
つぎに、分類部501は、類似配置グループ700において、共通セル特徴量分析によるクラスタリングにより、類似配置グループ内共通セルを分析する。具体的には、たとえば、分類部501は、文書d11〜d14間において、3行A列に位置するセル「タグ」を、類似配置グループ内共通セルとして特定する。分類部501は、文書d11,d12間において、1行A列に位置するセル「画面名」および3行C列に位置するセル「項目名」を、類似配置グループ内共通セルとして特定する。分類部501は、文書d13,d14間において、1行A列に位置するセル「業務名」および3行C列に位置するセル「画面名」を、類似配置グループ内共通セルとして特定する。
図7を用いて、類似配置グループ700における共通セル特徴量について説明する。たとえば、共通セル特徴量を、各類似配置グループ内共通セルの有無を表す数値「1,0」を要素としたベクトルで表現する。類似配置グループ内共通セルの順序を、3行A列(タグ)、1行A列(画面名)、3行C列(項目名)、1行A列(業務名)、3行C列(画面名)とする(カッコ内はセル内の文字列)。この場合、文書d11,d12の共通セル特徴量は、(1,1,1,0,0)となる。同様に、文書d13,d14の共通セル特徴量は、は(1,0,0,1,1)となる。
分類部501は、具体的には、たとえば、セル配置特徴量分析によるクラスタリングと同様、文書d間の共通セル特徴量の距離を算出する。より具体的には、たとえば、分類部501は、文書d間の共通セル特徴量のJaccard距離やコサイン距離を算出する。分類部501は、たとえば、算出距離がしきい値以上であれば、両文書dは類似すると判定する。しきい値は、ユーザが入力デバイス203から任意に設定すればよい。また、分類部501は、文書群dsをクラスタリングする場合、ウォード法による凝集型階層的クラスタリングを用いてもよい。
本例では、文書d11,d12の共通セル特徴量は完全一致であるため、算出距離はしきい値以上となる。したがって、文書d11,d12は、同一の共通様式グループに属する。文書d13,d14の共通セル特徴量は完全一致であるため、算出距離はしきい値以上となる。したがって、文書d13,d14は、同一の共通様式グループに属する。なお、文書d11,d13の共通セル特徴量、文書d11,d14の共通セル特徴量、文書d12,d13の共通セル特徴量、文書d12,d14の共通セル特徴量は、いずれも非類似とする。文書d11〜d14を対象に共通セル特徴量分析によるクラスタリングを適用することで、分類部501は、類似配置グループ700を、文書d11,d12が属する共通様式グループ705と、文書d13,d14が属する共通様式グループ706とに分割する。
また、分類部501は、共通セル特徴量分析によるクラスタリングをした場合、共通様式グループを一意に特定するグループIDを当該共通様式グループに所属する文書に付与する。より具体的には、たとえば、分類部501は、文書を特定する文書IDと、当該文書が所属する共通様式グループのグループIDとを関連付ける。分類部501は、文書IDとグループIDとを関連付けた情報をDB500に格納する。
セル特定部502は、共通様式グループ毎に、セルの共通性および可変性を分析することにより、項目名セルおよび項目値セルを特定する。具体的には、たとえば、セル特定部502は、同じ共通様式グループに属するすべての文書d間で位置情報および文字列が一致するセル(以下、共通様式グループ内共通セル)を特定する。共通様式グループ内共通セルは、項目名セルの候補となる。また、セル特定部502は、位置情報は一致するが文字列が異なるセルを、共通様式グループ内可変セルとして特定する。共通様式グループ内可変セルは、項目値セルの候補となる。
なお、共通様式グループ内共通セルは、すべての文書d間でなく、一定のしきい値以上の割合である一部の文書間で位置情報と文字列が一致するセルとしてもよい。当該しきい値は、任意に設定される。また、セル特定部502は、類似配置グループ内共通セル特定時の情報を流用して、共通様式グループ内共通セルを特定してもよい。また、共通様式グループ内においてしきい値以上の割合の文書で無値セルとなるセルは、共通様式グループ内共通セルや共通様式グループ内可変セルとして扱わないこととしてもよい。その際のしきい値は、任意に設定される。
図8は、セルの共通性および可変性の分析例を示す説明図である。共通様式グループ800は、文書d21,d22,d23を含む。背景色が有色の有値セルは、共通様式グループ内共通セルを表し、背景色が無色の有値セルは、共通様式グループ内可変セルを表す。たとえば、各文書d21,d22,d23の1行A列に位置するセル801〜803は、同一文字列「画面名」を有するため、共通様式グループ内共通セルである。1行C列に位置するセル804〜806は、それぞれ異なる文字列「画面1」,「画面2」,「画面3」を有するため、共通様式グループ内可変セルである。
セル特定部502は、共通様式グループ内共通セルを項目名セルとして特定し、共通様式グループ内可変セルを項目値セルとして特定する。ただし、セル811,812のように共通様式グループ内共通セルであっても実際には項目値セルである「偽項目名セル」が存在する。したがって、セル特定部502は、事前に偽項目名セルを特定する。
たとえば、セル列811は項目名セル821「項番」と対応する項目値セルであるが、「項番」に対応する文字列が番号になるという性質上、文書d21,d22,d23間で共通の文字列「1」,「2」を有する。したがって、セル群811は、偽項目名セルとなる。また、セル812は、項目名セル822「TYPE」と対応する項目値セルであるが、文書d21,d22,d23間で共通の文字列「Label」を偶然に有する。したがって、セル812は、偽項目名セルとなる。このように、セル特定部502は、テーブルが項目名セルから始まり、当該項目名セルの直下に項目値セルが連続する性質を利用することにより、テーブルに含まれる偽項目名セルを特定する(テーブル領域特定処理)。
図9は、偽項目名セルの特定例を示す説明図である。文書d30は、共通様式グループの共通様式グループ内共通セルと共通様式グループ内可変セルの配置情報を可視化したスプレッドシートである。セル特定部502は、偽項目名セルを特定するために、以下の手順によりテーブル領域特定処理を実行する。
具体的には、たとえば、セル特定部502は、文書d30内の共通様式グループ内共通セル群の各々について、当該共通様式グループ内共通セルの直下に連続する共通様式グループ内可変セルを特定する。そして、セル特定部502は、共通様式グループ内共通セルから始まりその直下に連続する共通様式グループ内可変セルが最も多い最長カラム901を特定する。
つぎに、セル特定部502は、最長カラム901の先頭の共通様式グループ内共通セルと同一行にある他の共通様式グループ内共通セル902を項目名セルとして特定する。セル特定部502は、共通様式グループ内共通セル902直下のセルにおいて、最長カラム901の共通様式グループ内可変セルと同数の当該セルを項目値セルとして特定する。その際、共通様式グループ内共通セル902直下のセルにおいて、共通様式グループ内共通セル903が出現した場合、当該セルを偽項目名セルとして特定する。その場合、共通様式グループ内共通セル903は項目値セルかつ偽項目名セルとなる。
項目名セルおよび項目値セルとして特定されたセル群をテーブル領域と称す。セル特定部502は、テーブル領域に含まれずに残った共通様式グループ内共通セルを項目名セルとして特定する。同様に、セル特定部502は、テーブル領域に含まれずに残った共通様式グループ内可変セルを項目値セルとして特定する。
セル特定部502は、項目名セルとして特定された共通様式グループ内共通セル902のセルIDに項目名セルの識別情報を関連付け、項目値セルとして特定された共通様式グループ内可変セルのセルIDに項目値セルの識別情報を関連付け、偽項目名セルとして特定された共通様式グループ内共通セル903のセルIDに偽項目名セルの識別情報を関連付ける。セル特定部502は、セルIDと識別情報とを関連付けた情報をDB500に格納する。
関連付け処理部503は、項目名セルと項目値セルとの位置関係により項目名セルと項目値セルとを関連付ける。関連付け処理部503は、さらに、項目名セルと項目値セルとのセルサイズにより項目名セルと項目値セルとを関連付けてもよい。関連付け処理部503は、具体的には、たとえば、特許文献3のペナルティルールを用いて、関連付け処理の対象となる項目名セルおよび項目値セルについて、ペナルティ値を付与する。
たとえば、図3のセル302とセル303のように、項目値セル303は、対応する項目名セル302よりも右側に存在する。したがって、関連付け処理の対象となる項目名セルおよび項目値セルについて、項目名セルが項目値セルの左側に存在する場合に、関連付け処理部503は、関連付け処理の対象にペナルティ値を付与する。
また、図3のセル310とセル313のように、項目値セル313は、対応する項目名セル312よりも下側に存在する。したがって、関連付け処理の対象となる項目名セルおよび項目値セルについて、項目名セルが項目値セルの上側に存在する場合に、関連付け処理部503は、関連付け処理の対象にペナルティ値を付与する。
また、項目値セルは、対応する項目名セルに近接する。したがって、関連付け処理の対象となる項目名セルおよび項目値セルについて、項目名セルと項目値セルとの距離の長さに比例して、関連付け処理部503は、関連付け処理の対象にペナルティ値を付与する。また、距離が長くても、関連付け処理の対象である項目名セルと項目値セルとの間に、当該項目名セルに関連付けされた他の項目値セルが存在する場合、関連付け処理部503は、テーブル候補となるため、関連付け処理の対象にペナルティ値を付与しない。
そして、たとえば、ペナルティ値の総和がしきい値以下であれば、関連付け処理部503は、関連付け処理の対象となる項目名セルおよび項目値セルを関連付ける。また、項目名セルに項目値セルが一つだけ関連付けされた場合、当該項目名セルと項目値セルの組み合わせは、単一項目となる。また、項目名セルに複数の項目値セルが関連付けされた場合、当該項目名セルと項目値セルの組み合わせは、テーブルとなる。
関連付け処理部503は、関連付けた項目名セルおよび項目値セルの組について、様式定義情報400の項目定義情報430のエントリを作成する。具体的には、たとえば、関連付け処理部503は、項目名セルの文字列を項目名フィールドに格納し、項目値セルの位置情報(列番号および行番号)を項目値:列フィールドおよび項目値:行フィールドに格納し、項目種類(単一項目またはテーブル)を項目種類フィールドに格納する。
なお、関連付け処理部503は、項目値セルが1つも関連付けされなかった項目名セルを、非項目セルとして特定し、当該非項目セルのセルIDと、非項目セルであることを示すIDと、共通様式グループのグループIDと、を関連付けて、DB500に格納する。
条件特定部504は、文書の様式を判定する様式判定条件420を特定する。条件特定部504は、共通様式グループ毎に、同じ共通様式グループに属するすべての文書d間で位置情報と文字列が一致する完全共通セルを、様式判定条件要素候補として特定する。条件特定部504は、様式判定条件要素候補のセルIDを、共通様式グループのグループIDに関連付けて、DB500に格納する。なお、完全共通セルを分析する際、条件特定部504は、類似配置グループ内共通セルや共通様式グループ内共通セルを特定したときに関連付けた情報を流用してもよい。
図10は、様式判定条件要素候補の一例を示す説明図である。共通様式グループ1000は、文書d41〜d43を有する。条件特定部504は、文書d41〜d43が共通して有する完全共通セル「1行A列:画面名」、「3行A列:タグ」、「3行C列:項目名」を、共通様式グループ1000の様式判定条件要素候補として特定する。また、条件特定部504は、様式判定条件要素候補を用いて共通様式グループ間で一意となる様式判定条件を特定する。
図11は、様式判定条件の特定例を示す説明図である。文書d41、d51〜d53はそれぞれ異なる共通様式グループに属する文書dである。前述の通り、文書d41の属する共通様式グループ1000の様式判定条件要素候補は、「1行A列:画面名」、「3行A列:タグ」、「3行C列:項目名」であるが、「3行A列:タグ」は文書d51,d52に含まれる要素であり、「3行C列:項目名」は文書d52,d53に含まれる要素である。
そのため、共通様式グループ間で一意となる様式判定条件として最適な様式判定条件要素候補は、文書d51〜d53が有さない「1行A列:画面名」となる。なお、この例では一つの様式判定条件要素候補で様式判定条件を構成したが、複数の様式判定条件要素候補の組合せにより、様式判定条件を構成してもよい。
たとえば、文書d51の1行A列のセルの文字列が「画面名」であったとしたら、「1行A列:画面名」だけでは共通様式グループ1000の様式判定条件に成り得ない。一方、文書d41,d52,d53の「3行A列:タグ」または「3行C列:項目名」との組合せは、共通様式グループ1000の様式判定条件を構成する。
また、条件特定部504は、様式判定条件を構成する最小限の様式判定条件要素候補を、様式定義情報400の様式判定条件420のエントリとして追加する。そして、条件特定部504は、当該エントリを共通様式グループのグループIDに関連付けてDB500に格納する。なお、条件特定部504は、すべての様式判定条件要素候補を様式定義情報400の様式判定条件420のエントリとして追加してもよい。
出力部505は、共通様式グループ毎に、DB500から様式定義情報400と共通様式グループに属する文書dとを、それぞれ読み込む。出力部505は、ユーザが様式定義情報の正確さを確認できるよう、読み込んだ様式定義情報400および文書dを、出力デバイス204の一例である表示デバイスの表示画面に表示する。また、出力部505は、通信IF205から外部装置に様式定義情報400および文書dを出力してもよい。
修正部506は、表示画面に表示された内容に対するユーザからの修正命令を入力デバイス203から受け付ける。
図12は、様式定義情報の確認および修正の一例を示す説明図である。様式定義情報確認画面1210は、修正前の様式定義情報400を文書dに反映している画面例である。様式定義情報確認画面1220は、修正後の様式定義情報400を文書dに反映している画面例である。凡例1230は、様式定義情報確認画面1210,1220における様式定義情報の可視化方法の一例を示す。
たとえば、様式定義情報確認画面1210において、1行A列のセル301(画面仕様書)は非項目セル、1行E列のセル302(作成者)は項目名セル、1行G列のセル303(作成者A)は項目値セルである。また、1行E列のセル302(作成者)および1行G列のセル303(作成者A)は、対応する項目名セルおよび項目値セルとして関連付けられている。
様式定義情報確認画面1210では、2行E列のセル304(承認者)および2行G列のセル305(承認者A)は非項目セルである。実際の文書dと様式定義情報400との重ね合わせにより、ユーザは、当該様式定義情報400に誤りがあることを容易に特定することができる。したがって、入力デバイス203から修正部506に修正命令を送ることで、修正部506は、様式定義情報400を修正する。
様式定義情報確認画面1220では、ユーザからの修正命令を反映し、2行E列のセル304(承認者)および2行G列のセル305(承認者A)は、関連付けされた項目名セルおよび項目値セルとして修正されている。同様にして、3行C列のセル(注意書き)や4行A列のセル306(画面名)も修正されている。
また、分析装置200では、様式定義情報400を記載するファイルの形式を限定しない。様式定義情報400のファイル形式として、たとえば、ユーザが直接修正しやすいようにスプレッドシート形式で出力してもよく、特許文献1のように様式定義情報400を活用可能な入力形式に合わせて出力してもよい。
<分析装置200による分析処理手順例>
図13は、分析装置200による分析処理手順例を示すフローチャートである。まず、分析装置200は、DB500から文書群dsを読み込む(ステップS1301)。つぎに、分析装置200は、分類部501により、読み込んだ文書群dsを分類する文書分類処理を実行する(ステップS1302)。文書分類処理(ステップS1302)により、図1および図7に示したように、文書群dsが、1以上の共通様式グループに分類される。文書分類処理(ステップS1302)の詳細については、図14で後述する。
そして、分析装置200は、出力部505により、文書分類処理(ステップS1302)の分類結果である様式分類情報を出力する(ステップS1303)。これにより、ユーザは、様式分類情報を確認することができる。
つぎに、分析装置200は、セル特定部502により、セル特定処理を実行する(ステップS1304)。セル特定処理(ステップS1304)により、図8および図9に示したように、各共通様式グループにおける文書d内のセルを、項目名セル、項目値セル、および偽項目名セルとして特定することができる。
つぎに、分析装置200は、関連付け処理部503により、項目名セルと項目値セルとを関連付ける(ステップS1305)。これにより、単一項目とテーブルとが得られる。
つぎに、分析装置200は、条件特定部504により、条件特定処理を実行する(ステップS1306)。条件特定処理(ステップS1306)により、図10および図11に示したように、様式判定条件420が特定される。
そして、分析装置200は、出力部505により、様式定義情報を出力する(ステップS1307)。修正内容が入力デバイス203から受け付けられた場合(ステップS1308:Yes)、分析装置200は、修正部506により、図12に示したように、修正内容どおりに文書を修正し(ステップS1309)、ステップS1308に戻る。修正内容が入力デバイス203から受け付けられない場合(ステップS1308:No)、分析装置200は、分析処理を終了する。
<文書分類処理(ステップS1302)>
図14は、図13に示した文書分類処理(ステップS1302)の詳細な処理手順例を示すフローチャートである。分析装置200は、図1および図6に示したように、文書毎にセル配置特徴量を分析する(ステップS1401)。つぎに、分析装置200は、図1に示したように、文書間のセル配置特徴量の類似性に基づき文書をクラスタリングし、類似配置グループを一つ以上生成する(ステップS1402)。
つぎに、分析装置200は、類似配置グループ群のうち分析対象となる類似配置グループに属するすべての文書dをDB500から取得する(ステップS1403)。分析装置200は、分析対象の類似配置グループ内の文書d間の共通セル特徴量を分析する(ステップS1404)。分析装置200は、分析された文書d間の共通セル特徴量の類似性に基づき文書をクラスタリングし、分析対象の共通様式グループを一つ以上形成する(ステップS1405)。
そして、分析装置200は、未分析の類似配置グループが存在するか否かを判断する(ステップS1406)。未分析の類似配置グループが存在する場合(ステップS1406:Yes)、ステップS1403に戻る。一方、未分析の類似配置グループがない場合(ステップS1406:No)、分析装置200は、文書分類処理(ステップS1406)を終了し、ステップS1303に移行する。
<セル特定処理(ステップS1304)>
図15は、図13に示したセル特定処理(ステップS1304)の詳細な処理手順例を示すフローチャートである。分析装置200は、共通様式グループ群のうち分析対象となる共通様式グループに属するすべての文書をDB500から取得する(ステップS1501)。つぎに、分析装置200は、セルの共通性および可変性を分析し、共通様式グループ内共通セルと共通様式グループ内可変セルを特定する(ステップS1502)。
つぎに、分析装置200は、テーブル領域特定処理により、テーブルに含まれる項目名セルおよび、偽項目名セルも含む項目値セルをテーブル領域として特定する(ステップS1503)。分析装置200は、ステップS1503で特定されたテーブル領域に含まれなかった共通様式グループ内共通セルを項目名セルとして、共通様式グループ内可変セルを項目値セルとして特定する(ステップS1504)。
そして、分析装置200は、未分析の共通様式グループが存在するか否かを判断する(ステップS1505)。未分析の共通様式グループが存在する場合(ステップS1505:Yes)、ステップS1501に戻る。一方、未分析の共通様式グループがない場合(ステップS1505:No)、分析装置200は、セル特定処理(ステップS1304)を終了し、ステップS1305に移行する。
<条件特定処理(ステップS1306)>
図16は、図13に示した条件特定処理(ステップS1306)の詳細な処理手順例を示すフローチャートである。分析装置200は、共通様式グループ群のうち分析対象となる共通様式グループに属するすべての文書をDB500から取得する(ステップS1601)。つぎに、分析装置200は、文書間の完全共通セルを分析し、様式判定条件要素候補を特定する(ステップS1602)。
つぎに、分析装置200は、未分析の共通様式グループが存在するか否かを判断する(ステップS1603)。未分析の共通様式グループが存在する場合(ステップS1603:Yes)、ステップS1601に戻る。一方、未分析の共通様式グループがない場合(ステップS1603:No)、分析装置200は、各共通様式グループの様式判定条件要素候補をDB500から取得し、それらを組み合わせることで共通様式グループ毎に一意となる様式判定条件を特定する(ステップS1604)。分析装置200は、条件特定処理(ステップS1306)を終了し、ステップS1307に移行する。
なお、上述した実施例において、分析装置200は、様式定義情報400を参照して、共通様式グループごとに文書dのひな形を生成してもよい。これにより、ユーザは、あらたに文書dを作成する場合、ひな形を適用することができ、文書作成処理の効率化を図ることができる。
このように、本実施例の分析装置200は、スプレッドシート形式の文書群ds内の文書d間における各文書内のセルに含まれる文字列と、文字列を含むセルの位置と、の共通性に基づいて、文書群ds内の文書dを様式が共通する1以上の共通様式グループに分類し、分類結果を出力する。これにより、文書dのレイアウト属性情報や単語辞書等の付加入力を用いずに、多種多量の文書を様式毎に分類することができる。
また、分析装置200は、さらに、文書群ds内の文書dを、各文書d内のセル群のうち文字列を含むセルである有値セルおよび文字列を含まない無値セルの配置が同一または類似する1以上の類似配置グループに分類してもよい。これにより、類似配置グループに属する文書群内の文書d間における各文書内の有値セルに含まれる文字列と、有値セルの位置と、の共通性に基づいて、類似配置グループに属する文書群内の文書dを1以上の共通様式グループに分類することになる。したがって、文書群ds内の文書dの分類の効率化を図ることができる。
また、分析装置200は、共通様式グループに属する文書群ds内の2以上の文書間で、文字列を含むセルの位置および文字列が共通であるという共通性に基づいて、文字列が項目の名称を表す項目名セルを特定し、特定された項目名セルを示す情報を出力する。これにより、罫線、セル背景色、セル幅といったレイアウト属性情報を用いることなく、共通様式グループに属する文書群にどのような項目名セルが含まれているかを把握することができる。
また、分析装置200は、共通様式グループに属する文書群ds内の2以上の文書d間で、文字列を含むセルの位置は共通であるが文字列が異なるという文字列の可変性に基づいて、文字列が前記項目の値を表す項目値セルを特定し、特定された項目値セルを示す情報を出力する。これにより、罫線、セル背景色、セル幅といったレイアウト属性情報を用いることなく、共通様式グループに属する文書群にどのような項目値セルが含まれているかを把握することができる。
また、分析装置200は、特定の項目名セルと当該特定の項目名セルから行方向または列方向に並ぶ一連の項目値セルとの組み合わせであるテーブル領域を用いる。そして、分析装置200は、2以上の文書d間で、文字列を含むセルの位置および文字列が共通するセルを共通セルとし、文字列を含むセルの位置は共通であるが前記文字列が異なるセルを可変セルとする。そして、分析装置200は、特定の項目名セルと同一行または列に存在する第1共通セルからテーブル領域と同一方向に並ぶ一連のセルに第2共通セルが含まれている場合、第2共通セルを項目値セルとして特定する。第2共通セルは偽項目名セルであるため、偽項目名セルを項目値セルとして特定することにより、項目名セルおよび項目値セルの特定精度の向上を図ることができる。
また、分析装置200は、共通様式グループに属する文書d内での項目名セルと項目値セルとの位置関係に基づいて、項目名セルと項目値セルとを関連付け、関連付け結果を出力する。これにより、共通様式グループに属する文書において、項目名セルと項目値セルとが関連付けされた単一項目を生成することができる。
また、分析装置200は、共通様式グループに属する文書d内での項目名セルと項目値セルとの位置関係に基づいて、項目名セルと当該項目名セルから行方向または列方向に並ぶ一連の項目値セルとを関連付けてテーブルとする関連付け処理を実行し、関連付け結果を出力する。これにより、共通様式グループに属する文書dにおいて、項目名セルと複数の連続する項目値セルとが関連付けされたテーブルを生成することができる。
また、分析装置200は、共通様式グループに属する全文書dで位置および項目名が共通する項目名セルを、文書dの様式を判定する判定条件として特定し、特定結果を出力する。これにより、判定条件に合致する文書の様式を特定することができる。
また、分析装置200は、他の共通様式グループに属する文書dで位置および項目名が共通する項目名セルを判定条件から除外する。これにより、共通様式グループごとの様式を一意に決定することができる。
また、分析装置200は、表示画面を制御して、文書dと、項目名セル、項目値セル、および関連付けを示す情報とを、重畳表示する。これにより、ユーザは、様式定義の正しさを確認することができる。
以上のように、本実施例によれば、文書dのレイアウト属性情報や単語辞書等の付加入力を用いずに、多種多量のシステム開発文書を様式毎に分類し、各様式の様式定義情報を機械的に生成できる。これにより、システム開発文書のような文書dを変換してデータベースで一元管理する方式の導入効率が上がる。また、上記方式を導入しない場合でも、未整理の多量のシステム開発文書のような文書dを様式毎に整理することで、システム保守担当者のシステム仕様理解を支援できる。
なお、本発明は前述した実施例に限定されるものではなく、添付した特許請求の範囲の趣旨内における様々な変形例及び同等の構成が含まれる。例えば、前述した実施例は本発明を分かりやすく説明するために詳細に説明したものであり、必ずしも説明した全ての構成を備えるものに本発明は限定されない。また、ある実施例の構成の一部を他の実施例の構成に置き換えてもよい。また、ある実施例の構成に他の実施例の構成を加えてもよい。また、各実施例の構成の一部について、他の構成の追加、削除、または置換をしてもよい。
また、前述した各構成、機能、処理部、処理手段等は、それらの一部又は全部を、例えば集積回路で設計する等により、ハードウェアで実現してもよく、プロセッサがそれぞれの機能を実現するプログラムを解釈し実行することにより、ソフトウェアで実現してもよい。
各機能を実現するプログラム、テーブル、ファイル等の情報は、メモリ、ハードディスク、SSD(Solid State Drive)等の記憶装置、又は、IC(Integrated Circuit)カード、SDカード、DVD(Digital Versatile Disc)の記録媒体に格納することができる。
また、制御線や情報線は説明上必要と考えられるものを示しており、実装上必要な全ての制御線や情報線を示しているとは限らない。実際には、ほとんど全ての構成が相互に接続されていると考えてよい。
200 分析装置
400 様式定義情報
501 分類部
502 セル特定部
503 関連付け処理部
504 条件特定部
505 出力部
506 修正部

Claims (12)

  1. プログラムを実行するプロセッサと、前記プログラムおよびスプレッドシート形式の文書群を記憶する記憶デバイスと、を有する分析装置であって、
    前記プロセッサは、
    前記記憶デバイスから前記文書群を取得する取得処理と、
    前記取得処理によって取得された文書群内の文書間における各文書内のセルに含まれる文字列と、前記文字列を含むセルの位置と、の共通性に基づいて、前記文書群内の文書を、様式が共通する1以上の共通様式グループに分類する分類処理と、
    前記分類処理による分類結果を出力する出力処理と、
    を実行することを特徴とする分析装置。
  2. 請求項1に記載の分析装置であって、
    前記分類処理では、前記プロセッサは、前記文書群内の文書を、前記各文書内のセル群のうち前記文字列を含むセルである有値セルおよび前記文字列を含まない無値セルの配置が同一または類似する1以上の類似配置グループに分類し、前記類似配置グループに属する文書群間における各文書内の前記有値セルに含まれる文字列と、前記有値セルの位置と、の共通性に基づいて、前記類似配置グループに属する文書群を、前記1以上の共通様式グループに分類することを特徴とする分析装置。
  3. 請求項1に記載の分析装置であって、
    前記プロセッサは、前記共通様式グループに属する文書群内の2以上の文書間で、前記文字列を含むセルの位置および前記文字列が共通であるという共通性に基づいて、前記文字列が項目の名称を表す項目名セルを特定する特定処理を実行し、
    前記出力処理では、前記プロセッサは、前記共通様式グループに属する文書群において前記特定処理によって特定された項目名セルを示す情報を出力することを特徴とすることを特徴とする分析装置。
  4. 請求項3に記載の分析装置であって、
    前記特定処理では、前記プロセッサは、前記共通様式グループに属する文書群内の2以上の文書間で、前記文字列を含むセルの位置は共通であるが前記文字列が異なるという前記文字列の可変性に基づいて、前記文字列が前記項目の値を表す項目値セルを特定し、
    前記出力処理では、前記プロセッサは、前記共通様式グループに属する文書群において前記特定処理によって特定された項目値セルを示す情報を出力することを特徴とすることを特徴とする分析装置。
  5. 請求項4に記載の分析装置であって、
    前記特定処理では、前記プロセッサは、特定の項目名セルと当該特定の項目名セルから行方向または列方向に並ぶ一連の項目値セルとの組み合わせであるテーブル領域を用いて、前記2以上の文書間で、前記文字列を含むセルの位置および前記文字列が共通するセルを共通セルとし、前記文字列を含むセルの位置は共通であるが前記文字列が異なるセルを可変セルとし、前記特定の項目名セルと同一行または列に存在する第1共通セルから前記テーブル領域と同一方向に並ぶ一連のセルに第2共通セルが含まれている場合、前記第2共通セルを前記項目値セルとして特定することを特徴とする分析装置。
  6. 請求項4に記載の分析装置であって、
    前記プロセッサは、前記共通様式グループに属する文書内での前記項目名セルと前記項目値セルとの位置関係に基づいて、前記項目名セルと前記項目値セルとを関連付ける関連付け処理を実行し、
    前記出力処理では、前記プロセッサは、前記関連付け処理による関連付け結果を出力することを特徴とすることを特徴とする分析装置。
  7. 請求項4に記載の分析装置であって、
    前記プロセッサは、前記共通様式グループに属する文書内での前記項目名セルと前記項目値セルとの位置関係に基づいて、前記項目名セルと当該項目名セルから行方向または列方向に並ぶ一連の項目値セルとを関連付けてテーブルとする関連付け処理を実行し、
    前記出力処理では、前記プロセッサは、前記関連付け処理による関連付け結果を出力することを特徴とすることを特徴とする分析装置。
  8. 請求項4に記載の分析装置であって、
    前記プロセッサは、前記共通様式グループに属する全文書で位置および項目名が共通する項目名セルを、前記文書の様式を判定する判定条件として特定する条件特定処理を実行し、
    前記出力処理では、前記プロセッサは、前記条件特定処理による特定結果を出力することを特徴とする分析装置。
  9. 請求項8に記載の分析装置であって、
    前記条件特定処理では、前記プロセッサは、他の共通様式グループに属する文書で位置および項目名が共通する項目名セルを前記判定条件から除外することを特徴とする分析装置。
  10. 請求項3に記載の分析装置であって、
    前記出力処理では、前記プロセッサは、表示画面を制御して、前記文書と前記項目名セルを示す情報とを重畳表示することを特徴とする分析装置。
  11. プログラムを実行するプロセッサと、前記プログラムおよびスプレッドシート形式の文書群を記憶する記憶デバイスと、を有する分析装置による分析方法であって、
    前記プロセッサは、
    前記記憶デバイスから前記文書群を取得する取得処理と、
    前記取得処理によって取得された文書群内の文書間における各文書内のセルに含まれる文字列と、前記文字列を含むセルの位置と、の共通性に基づいて、前記文書群内の文書を、様式が共通する1以上の共通様式グループに分類する分類処理と、
    前記分類処理による分類結果を出力する出力処理と、
    を実行することを特徴とする分析方法。
  12. スプレッドシート形式の文書群を記憶する記憶デバイスにアクセス可能なプロセッサに、
    前記記憶デバイスから前記文書群を取得する取得処理と、
    前記取得処理によって取得された文書群内の文書間における各文書内のセルに含まれる文字列と、前記文字列を含むセルの位置と、の共通性に基づいて、前記文書群内の文書を、様式が共通する1以上の共通様式グループに分類する分類処理と、
    前記分類処理による分類結果を出力する出力処理と、
    を実行させることを特徴とする分析プログラム。
JP2016171935A 2016-09-02 2016-09-02 分析装置、分析方法、および分析プログラム Active JP6727992B2 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2016171935A JP6727992B2 (ja) 2016-09-02 2016-09-02 分析装置、分析方法、および分析プログラム
US15/598,484 US20180067916A1 (en) 2016-09-02 2017-05-18 Analysis apparatus, analysis method, and recording medium
CN201710358435.7A CN107797979B (zh) 2016-09-02 2017-05-19 分析装置和分析方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2016171935A JP6727992B2 (ja) 2016-09-02 2016-09-02 分析装置、分析方法、および分析プログラム

Publications (2)

Publication Number Publication Date
JP2018037017A true JP2018037017A (ja) 2018-03-08
JP6727992B2 JP6727992B2 (ja) 2020-07-22

Family

ID=61280784

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2016171935A Active JP6727992B2 (ja) 2016-09-02 2016-09-02 分析装置、分析方法、および分析プログラム

Country Status (3)

Country Link
US (1) US20180067916A1 (ja)
JP (1) JP6727992B2 (ja)
CN (1) CN107797979B (ja)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7275617B2 (ja) * 2019-02-06 2023-05-18 日本電信電話株式会社 情報処理装置、判別方法および判別プログラム
US11194841B2 (en) * 2019-11-28 2021-12-07 International Business Machines Corporation Value classification by contextual classification of similar values in additional documents
CN113221519B (zh) * 2021-05-18 2024-03-29 北京百度网讯科技有限公司 用于处理表格数据的方法、装置、设备、介质和产品

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH09305686A (ja) * 1996-05-17 1997-11-28 Oki Electric Ind Co Ltd 帳票フォーマットの登録方法と帳票の仕分け方法
JP2014115857A (ja) * 2012-12-11 2014-06-26 Hitachi Omron Terminal Solutions Corp 帳票定義データ作成システムおよび帳票定義データ作成方法
JP2015005100A (ja) * 2013-06-20 2015-01-08 株式会社日立システムズ 情報処理装置、テンプレート生成方法、およびプログラム
JP2016051339A (ja) * 2014-08-29 2016-04-11 日立オムロンターミナルソリューションズ株式会社 帳票認識装置及び方法

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO1998032081A1 (fr) * 1997-01-21 1998-07-23 Pfu Limited Procede et dispositif de preparation d'un texte original et support de stockage de programme correspondant
EP1290574B1 (en) * 2000-05-17 2013-02-13 Microsoft Corporation System and method for matching a textual input to a lexical knowledge base and for utilizing results of that match
CN1399196A (zh) * 2001-07-25 2003-02-26 曾志荣 电子表格文件节省存储空间并提高数据处理速度的方法
CN100366212C (zh) * 2004-04-30 2008-02-06 株式会社东芝 用于管理和显示医学图像的系统和方法
US7849395B2 (en) * 2004-12-15 2010-12-07 Microsoft Corporation Filter and sort by color
CN1808424A (zh) * 2005-01-21 2006-07-26 北京软件产品质量检测检验中心 一种从文档中提取关键信息的方法
JP2006236222A (ja) * 2005-02-28 2006-09-07 Konica Minolta Medical & Graphic Inc プログラム及び表示制御装置
CN101127034B (zh) * 2006-08-18 2012-05-23 国际商业机器公司 数据组织、查询、呈现、存档、恢复、删除、提炼方法及装置和系统
CN101458713A (zh) * 2008-12-29 2009-06-17 北京搜狗科技发展有限公司 网站分类的方法及系统
US8433714B2 (en) * 2010-05-27 2013-04-30 Business Objects Software Ltd. Data cell cluster identification and table transformation
CN102163188A (zh) * 2011-04-07 2011-08-24 北京数码大方科技有限公司 应用系统中excel报表的生成方法及装置
US20160055376A1 (en) * 2014-06-21 2016-02-25 iQG DBA iQGATEWAY LLC Method and system for identification and extraction of data from structured documents
CN104391833A (zh) * 2014-12-05 2015-03-04 张明兴 制表软件的横排、表头、并行的自动化
JP6772478B2 (ja) * 2016-02-19 2020-10-21 富士ゼロックス株式会社 情報検索プログラム及び情報検索装置
US10102258B2 (en) * 2016-06-19 2018-10-16 Data.World, Inc. Collaborative dataset consolidation via distributed computer networks

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH09305686A (ja) * 1996-05-17 1997-11-28 Oki Electric Ind Co Ltd 帳票フォーマットの登録方法と帳票の仕分け方法
JP2014115857A (ja) * 2012-12-11 2014-06-26 Hitachi Omron Terminal Solutions Corp 帳票定義データ作成システムおよび帳票定義データ作成方法
JP2015005100A (ja) * 2013-06-20 2015-01-08 株式会社日立システムズ 情報処理装置、テンプレート生成方法、およびプログラム
JP2016051339A (ja) * 2014-08-29 2016-04-11 日立オムロンターミナルソリューションズ株式会社 帳票認識装置及び方法

Also Published As

Publication number Publication date
US20180067916A1 (en) 2018-03-08
JP6727992B2 (ja) 2020-07-22
CN107797979B (zh) 2021-05-04
CN107797979A (zh) 2018-03-13

Similar Documents

Publication Publication Date Title
US10977486B2 (en) Blockwise extraction of document metadata
US10726198B2 (en) Method, device, and system, for identifying data elements in data structures
US10592738B2 (en) Cognitive document image digitalization
Paiva et al. Improved similarity trees and their application to visual data classification
US10409820B2 (en) Semantic mapping of form fields
US20110246913A1 (en) Automated User Interface Generator
US20190114313A1 (en) User interface for contextual document recognition
JP6727992B2 (ja) 分析装置、分析方法、および分析プログラム
Mao et al. A dynamic feature generation system for automated metadata extraction in preservation of digital materials
JPH11184894A (ja) 論理要素抽出方法および記録媒体
JP2023115837A (ja) 特許文書作成支援装置、特許文書作成支援方法、特許文書作成支援プログラム。
EP3432161A1 (en) Information processing system and information processing method
JP5690472B2 (ja) データ抽出システム
CN110688842A (zh) 一种文档标题层级的分析方法、装置及服务器
JP6948492B2 (ja) 情報管理装置並びにファイル管理方法
WO2014170965A1 (ja) 文書処理方法、文書処理装置および文書処理プログラム
JP5550959B2 (ja) 文書処理システム、及びプログラム
CN114817498A (zh) 用户意图识别方法、装置、设备及存储介质
WO2016190444A1 (ja) 情報管理装置並びにファイル管理方法
US20150199419A1 (en) Information processing apparatus, information processing method and non-transitory computer readable medium
JP2016162040A (ja) 文書データ処理方法およびシステム
JP2021149426A (ja) 情報処理装置、情報処理方法、およびプログラム
JP6807201B2 (ja) 情報処理装置
JP2013045194A (ja) 文書処理装置、及び文書処理方法、並びに文書処理プログラム
US11755818B2 (en) Computer-readable recording medium storing design document management program, design document management method, and information processing apparatus

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20181018

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20191217

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20200128

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20200616

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20200701

R150 Certificate of patent or registration of utility model

Ref document number: 6727992

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150