JP2018073354A - 類似文書抽出装置、類似文書抽出方法及び類似文書抽出プログラム - Google Patents

Abstract

【課題】複数の作業項目を含む類似文書を精度良く抽出できる類似文書抽出装置、類似文書抽出方法及び類似文書抽出プログラムを提供すること。【解決手段】類似文書抽出装置１は、検索キーとなるキー文書の入力を受け付ける入力部１３と、文書構成情報に基づいて、文書を複数の項目に分割する分割部１１と、項目に含まれる単語に基づいて当該項目を分類した項目情報、及び当該項目の順序情報を含む特徴量を算出する特徴量算出部１２と、複数の対象文書それぞれの特徴量とキー文書の特徴量との類似度を算出する類似度算出部１４と、複数の対象文書から、類似度の降順に文書を抽出する抽出部１５と、を備える。【選択図】図１

Description

本発明は、キー文書に類似した文書を検索する類似文書抽出装置、類似文書抽出方法及び類似文書抽出プログラムに関する。

従来、ある文書を検索キーにして、この文書と類似した文書を複数の検索対象文書から抽出する手法が用いられている。これらの手法では、一般に、検索キーである文書に含まれる単語と、検索対象文書に含まれる単語とを比較し、一致度又は類似性に基づいて、ベクトル空間法等を用いて、検索キー文書に対する検索対象文書の類似度が算出される。そして、この類似度が高い文書が類似文書として複数の検索対象文書から抽出される。
また、文書を構成する項目単位で類似度を算出し、少なくとも一部が類似する文書を抽出する手法が提案されている（例えば、特許文献１参照）。

特開２０００−３３１０２７号公報

ところで、ある作業を行う場合に、過去の類似した作業事例を参考にして作業を計画及び遂行する意義は大きい。この場合、一連の作業の内容は、個々の作業項目のみならず、これらを実施する順序、すなわち作業手順が重要であり、作業全体の内容を特徴付ける重要な情報となる。
しかしながら、特許文献１の手法では、一部の作業項目のみが類似する文書を抽出できるものの、これらの作業項目の順序性は考慮されないため、複数の作業項目からなる類似文書の抽出手法としては高い精度を期待できなかった。

本発明は、複数の作業項目を含む類似文書を精度良く抽出できる類似文書抽出装置、類似文書抽出方法及び類似文書抽出プログラムを提供することを目的とする。

本発明に係る類似文書抽出装置は、検索キーとなるキー文書の入力を受け付ける入力部と、文書構成情報に基づいて、文書を複数の項目に分割する分割部と、前記項目に含まれる単語に基づいて当該項目を分類した項目情報、及び当該項目の順序情報を含む特徴量を算出する特徴量算出部と、複数の対象文書それぞれの前記特徴量と前記キー文書の前記特徴量との類似度を算出する類似度算出部と、前記複数の対象文書から、前記類似度の降順に文書を抽出する抽出部と、を備える。

前記類似度算出部は、前記項目情報が連続して一致する数が多いほど、前記類似度を高く算出してもよい。

前記類似度算出部は、前記対象文書の組み合わせに対して、前記キー文書との前記類似度を算出し、前記抽出部は、前記類似度の降順に前記組み合わせを抽出してもよい。

前記特徴量算出部は、前記項目情報の確度を算出し、前記類似度算出部は、前記確度により前記類似度を調整してもよい。

前記特徴量算出部は、前記項目毎に複数の項目情報及び確度を算出し、前記類似度算出部は、前記項目情報を変更した場合の類似度をさらに算出してもよい。

前記抽出部は、前記複数の項目情報のうち、前記確度が最大の項目情報から変更した前記項目を示す出力を行ってもよい。

本発明に係る類似文書抽出方法は、検索キーとなるキー文書の入力を受け付ける入力ステップと、文書構成情報に基づいて、文書を複数の項目に分割する分割ステップと、前記項目に含まれる単語に基づいて当該項目を分類した項目情報、及び当該項目の順序情報を含む特徴量を算出する特徴量算出ステップと、複数の対象文書それぞれの前記特徴量と前記キー文書の前記特徴量との類似度を算出する類似度算出ステップと、前記複数の対象文書から、前記類似度の降順に文書を抽出する抽出ステップと、をコンピュータが実行する。

本発明に係る類似文書抽出プログラムは、検索キーとなるキー文書の入力を受け付ける入力ステップと、文書構成情報に基づいて、文書を複数の項目に分割する分割ステップと、前記項目に含まれる単語に基づいて当該項目を分類した項目情報、及び当該項目の順序情報を含む特徴量を算出する特徴量算出ステップと、複数の対象文書それぞれの前記特徴量と前記キー文書の前記特徴量との類似度を算出する類似度算出ステップと、前記複数の対象文書から、前記類似度の降順に文書を抽出する抽出ステップと、をコンピュータに実行させる。

本発明によれば、複数の作業項目を含む類似文書が精度良く抽出される。

実施形態に係る類似文書抽出装置の機能構成を示す図である。 実施形態に係る特徴量の類似度を説明する図である。 実施形態に係る類似文書抽出方法の手順を示す概要図である。 実施形態に係る特徴量データベースの作成処理を示すフローチャートである。 実施形態に係る類似文書抽出方法を示すフローチャートである。 実施形態の変形例を示す図である。

以下、本発明の実施形態の一例について説明する。
図１は、本実施形態に係る類似文書抽出装置１の機能構成を示す図である。
類似文書抽出装置１は、サーバ装置又はパーソナルコンピュータ等の情報処理装置（コンピュータ）であり、制御部１０及び記憶部２０の他、各種データの入出力デバイス又は通信デバイス等を備える。

制御部１０は、類似文書抽出装置１の全体を制御する部分であり、記憶部２０に記憶された各種プログラムを適宜読み出して実行することにより、本実施形態における各種機能を実現している。制御部１０は、ＣＰＵであってよい。

記憶部２０は、ハードウェア群を類似文書抽出装置１として機能させるための各種プログラム、及び各種データ等の記憶領域であり、ＲＯＭ、ＲＡＭ、フラッシュメモリ又はハードディスク（ＨＤＤ）等であってよい。具体的には、記憶部２０は、本実施形態の各機能を制御部１０に実行させるプログラムを記憶する。

制御部１０は、分割部１１と、特徴量算出部１２と、入力部１３と、類似度算出部１４と、抽出部１５とを備える。また、記憶部２０は、文書データベース２１と、特徴量データベース２２と、文書構成データベース２３とを備える。

文書データベース２１には、検索対象文書が蓄積されている。本実施形態では、検索対象文書は、ある種の一連の作業について作成された文書であるものとする。各検索対象文書には、例えば、作業識別子、作業名、作業日時、担当部署名、作業目的、作業概要、作業手順、注意事項、作業結果等の記載が含まれる。

特徴量データベース２２には、検索対象文書それぞれについて、一連の作業を構成する作業項目の分類ラベル（項目情報）、及びこれら作業項目の実施順序（順序情報）を含む特徴量が記憶される。

文書構成データベース２３には、検索対象文書、及び検索キーとなるキー文書の作成に用いられる各種の規則が定義された文書構成データが記憶される。文書構成データは、例えば、予め指定された雛形手順書データ、又は手順番号等を示す特殊文字列の定義データ等である。なお、文書構成データは、複数の文書に共通であってもよいし、文書毎に設けられていてもよい。

分割部１１は、文書構成データベース２３の文書構成データに基づいて、文書データベース２１の検索対象文書、及びキー文書を複数の作業項目に分割する。

特徴量算出部１２は、分割された作業項目に含まれる単語の出現頻度等に基づいて、この作業項目を分類した分類ラベル、及びこの作業項目の実施順序を含む特徴量を算出する。
ここで、分類ラベルは、予め設定された複数の種別を示す符号であってよい。あるいは、例えば、クラスタリング処理の結果であるグループに付与される符号であってもよい。

また、特徴量算出部１２は、分類ラベルの確度、すなわち分割された作業項目の内容がこの分類ラベルで表される種別である確からしさの度合いを算出し、最も高い確度の分類ラベルを付与する。このとき、特徴量算出部１２は、作業項目毎に複数の分類ラベル及び確度を特徴量として算出してもよい。例えば、確度が低い場合には分類ラベルが不正確である可能性が高くなるため、特徴量算出部１２は、最大の確度が所定以下の場合に他の候補としての分類ラベル及び確度を算出する。

入力部１３は、検索キーとなるキー文書の入力を受け付ける。
キー文書は、文書データベース２１の検索対象文書と同様の記載内容であり、文書構成データベース２３の文書構成データに則り作成されているものとする。

類似度算出部１４は、特徴量データベース２２に記憶された複数の検索対象文書それぞれの特徴量と、キー文書の特徴量との類似度を算出する。
このとき、類似度算出部１４は、特徴量における分類ラベルが連続して一致する数が多いほど、類似度を高く算出する。また、類似度算出部１４は、分類ラベルの確度により類似度を調整し、複数の分類ラベルのそれぞれに変更した場合の類似度をさらに算出する。
さらに、類似度算出部１４は、検索対象文書の組み合わせに対して、キー文書との類似度を算出してもよい。

抽出部１５は、複数の検索対象文書から、類似度の降順に単一の文書又は文書の組み合わせを抽出し、類似事例として出力する。
このとき、抽出部１５は、複数の分類ラベルのうち、確度が最大の項目情報から変更した作業項目を明示する出力を行う。

図２は、本実施形態に係る特徴量の類似度を説明する図である。
キー文書における各作業項目の分類ラベルが「２７，６４，１，２，３，４，５，６，７，８，１３９，２４１」のように順に付与された場合、検索対象文書Ａの分類ラベルとは、「１，２，３」及び「５，６」が一致し、検索対象文書Ｂの分類ラベルとは、「１，２，３」及び「５，６，７，８」が一致している。この場合、より長い分類ラベルの列が一致している検索対象文書Ｂの類似度が高く算出される。

また、検索対象文書Ｂにおいて分類ラベル「４４」が付与された作業項目には、確度が「４４」よりも低いものの分類ラベル「４」が選択されているとする。この場合、分類ラベル「４４」を「４」に変更することで、「１，２，３，４，５，６，７，８」という、より長い分類ラベルの列が一致するため、類似度がさらに高く算出された検索対象文書Ｂ’が抽出される。
このとき、確度が最大の分類ラベル「４４」が「４」に変更されたため、この作業項目が強調表示される。

図３は、本実施形態に係る類似文書抽出方法の手順を示す概要図である。
まず、類似文書抽出装置１は、文書データベース２１に蓄積された検索対象文書のそれぞれを、文書構成データベース２３の文書構成データに基づいて分割し、複数の作業項目１〜Ｘを切り出す。
続いて、類似文書抽出装置１は、切り出した複数の作業項目それぞれの分類ラベル（項目情報）と実施順序（順序情報）とを計算し、特徴量データベース２２に格納する。

類似文書抽出装置１は、キー文書が入力されると、検索対象文書と同様に、文書構成データベース２３の文書構成データに基づいてキー文書を分割し、複数の作業項目１〜Ｙを切り出す。
続いて、類似文書抽出装置１は、切り出した複数の作業項目それぞれの分類ラベル（項目情報）と実施順序（順序情報）とを計算する。

次に、類似文書抽出装置１は、キー文書から計算された特徴量を、特徴量データベース２２に格納されている特徴量と比較し、類似度の高い特徴量に対応する検索対象文書を類似類例として抽出する。

図４は、本実施形態に係る特徴量データベース２２の作成処理を示すフローチャートである。
ステップＳ１において、制御部１０（分割部１１）は、文書構成データに基づいて、検索対象文書を作業項目の単位に分割する。

ステップＳ２において、制御部１０（特徴量算出部１２）は、ステップＳ１で分割された作業項目毎に、単語の出現頻度等の情報に基づいて作業種別を判定し、確度が最大の分類ラベル（項目情報）を付与する。

ステップＳ３において、制御部１０（特徴量算出部１２）は、ステップＳ２で付与した分類ラベル及び順序情報を、検索対象文書の特徴量として、特徴量データベース２２に格納する。

図５は、本実施形態に係る類似文書抽出方法を示すフローチャートである。
ステップＳ１１において、制御部１０（入力部１３）は、検索キーとなるキー文書の入力を受け付ける。

ステップＳ１２において、制御部１０（分割部１１）は、ステップＳ１１で受け付けたキー文書を、文書構成データに基づいて作業項目の単位に分割する。

ステップＳ１３において、制御部１０（特徴量算出部１２）は、ステップＳ１２で分割された作業項目毎に、単語の出現頻度等の情報に基づいて作業種別を判定し、確度が最大の分類ラベル（項目情報）を付与する。

ステップＳ１４において、制御部１０（類似度算出部１４）は、ステップＳ１３で付与した分類ラベル及び順序情報からなるキー文書の特徴量を、特徴量データベース２２に格納されている特徴量と比較し、各検索対象文書との類似度を算出する。

ステップＳ１５において、制御部１０（抽出部１５）は、ステップＳ１４で算出された類似度の降順に、所定数の類似文書を過去の類似事例として抽出する。

本実施形態によれば、類似文書抽出装置１は、作業手順等が記載された文書について、作業項目毎に分割した上で、これらの作業項目の内容に加えて、実施順序を特徴量として算出する。類似文書抽出装置１は、この作業項目の順序相同性により、蓄積された検索対象文書の中から、キー文書の全部又は一部に順序も含めて類似する事例を、高い精度で抽出できる。
例えば、作業全体の内容が異なる、すなわち作業目的、実施部門、実施時期等が異なる作業について記載した文書についても、一部の作業手順が類似する場合に、これらを抽出することが可能となる。このとき、作業に関する類似性は、個々の作業項目のみならず、その順序性が重要であり、類似文書抽出装置１は、順序情報を含む特徴量により、精度の高い類似文書の抽出が可能である。

類似文書抽出装置１は、分類ラベル（項目情報）が連続して一致する数が多いほど類似度を高く設定することにより、順序相同性が高い文書を精度良く抽出できる。

類似文書抽出装置１は、検索対象文書の組み合わせに対して類似度を算出することにより、類似事例としてキー文書の内容を広く網羅する複数の文書を抽出でき、利便性が向上する。

類似文書抽出装置１は、分類ラベル（項目情報）の確度により類似度を調整するので、作業項目の種別が確かな文書を優先して、有用な類似事例を効率的に抽出できる。
また、類似文書抽出装置１は、複数の分類ラベルを選択でき、それぞれについて類似度を算出するので、作業項目の分類の誤りによる抽出漏れを抑制し、精度よく類似文書を抽出できる。
さらに、類似文書抽出装置１は、確度が最大の分類ラベルから変更した場合に、この作業項目を明示することにより、ユーザに対して作業項目の分類の誤りを示唆でき、利便性が向上する。

以上、本発明の実施形態について説明したが、本発明は前述した実施形態に限るものではない。また、本実施形態に記載された効果は、本発明から生じる最も好適な効果を列挙したに過ぎず、本発明による効果は、本実施形態に記載されたものに限定されるものではない。

本実施形態では、検索対象文書の分類ラベルを変更しつつ類似度を算出する例を示したが、類似文書抽出装置１は、キー文書に対しても同様に複数の分類ラベルを選択し類似度を算出してもよい。

さらに、キー文書の作業項目に漏れがある可能性を考慮し、類似文書抽出装置１は、キー文書と一致する順序情報に対して短い（例えば１つの）作業項目が挿入されている検索対象文書を検出し、抽出してもよい。
例えば、図６のように、「１，２，３，５，６，７，８」という順序情報を持つキー文書に対して、「１，２，３，４，５，６，７，８」という順序情報を持つ検索対象文書が類似事例として抽出されてもよい。
この場合、キー文書にない分類ラベル「４」の作業項目が明示されることにより、ユーザに対して作業項目の記載漏れの可能性を示唆できる。

本実施形態では、類似文書抽出装置１の記憶部２０が文書データベース２１、特徴量データベース２２及び文書構成データベース２３を備える構成を説明したが、これらのデータベースは、外部に設けられてもよい。

また、本実施形態の検索対象文書は、作業に関する文書群には限られず、種々の分野の文書であってよい。類似文書抽出装置１は、項目の記載順序に特徴がある文書に対して類似度を算出し、キー文書に類似した文書を抽出できる。

類似文書抽出装置１による類似文書抽出方法は、ソフトウェアにより実現される。ソフトウェアによって実現される場合には、このソフトウェアを構成するプログラムが、情報処理装置（コンピュータ）にインストールされる。また、これらのプログラムは、ＣＤ−ＲＯＭのようなリムーバブルメディアに記録されてユーザに配布されてもよいし、ネットワークを介してユーザのコンピュータにダウンロードされることにより配布されてもよい。さらに、これらのプログラムは、ダウンロードされることなくネットワークを介したＷｅｂサービスとしてユーザのコンピュータに提供されてもよい。

１ 類似文書抽出装置
１０ 制御部
１１ 分割部
１２ 特徴量算出部
１３ 入力部
１４ 類似度算出部
１５ 抽出部
２０ 記憶部
２１ 文書データベース
２２ 特徴量データベース
２３ 文書構成データベース

Claims (8)

1. 検索キーとなるキー文書の入力を受け付ける入力部と、
   文書構成情報に基づいて、文書を複数の項目に分割する分割部と、
   前記項目に含まれる単語に基づいて当該項目を分類した項目情報、及び当該項目の順序情報を含む特徴量を算出する特徴量算出部と、
   複数の対象文書それぞれの前記特徴量と前記キー文書の前記特徴量との類似度を算出する類似度算出部と、
   前記複数の対象文書から、前記類似度の降順に文書を抽出する抽出部と、を備える類似文書抽出装置。
2. 前記類似度算出部は、前記項目情報が連続して一致する数が多いほど、前記類似度を高く算出する請求項１に記載の類似文書抽出装置。
3. 前記類似度算出部は、前記対象文書の組み合わせに対して、前記キー文書との前記類似度を算出し、
   前記抽出部は、前記類似度の降順に前記組み合わせを抽出する請求項１又は請求項２に記載の類似文書抽出装置。
4. 前記特徴量算出部は、前記項目情報の確度を算出し、
   前記類似度算出部は、前記確度により前記類似度を調整する請求項１から請求項３のいずれかに記載の類似文書抽出装置。
5. 前記特徴量算出部は、前記項目毎に複数の項目情報及び確度を算出し、
   前記類似度算出部は、前記項目情報を変更した場合の類似度をさらに算出する請求項４に記載の類似文書抽出装置。
6. 前記抽出部は、前記複数の項目情報のうち、前記確度が最大の項目情報から変更した前記項目を示す出力を行う請求項５に記載の類似文書抽出装置。
7. 検索キーとなるキー文書の入力を受け付ける入力ステップと、
   文書構成情報に基づいて、文書を複数の項目に分割する分割ステップと、
   前記項目に含まれる単語に基づいて当該項目を分類した項目情報、及び当該項目の順序情報を含む特徴量を算出する特徴量算出ステップと、
   複数の対象文書それぞれの前記特徴量と前記キー文書の前記特徴量との類似度を算出する類似度算出ステップと、
   前記複数の対象文書から、前記類似度の降順に文書を抽出する抽出ステップと、をコンピュータが実行する類似文書抽出方法。
8. 検索キーとなるキー文書の入力を受け付ける入力ステップと、
   文書構成情報に基づいて、文書を複数の項目に分割する分割ステップと、
   前記項目に含まれる単語に基づいて当該項目を分類した項目情報、及び当該項目の順序情報を含む特徴量を算出する特徴量算出ステップと、
   複数の対象文書それぞれの前記特徴量と前記キー文書の前記特徴量との類似度を算出する類似度算出ステップと、
   前記複数の対象文書から、前記類似度の降順に文書を抽出する抽出ステップと、をコンピュータに実行させるための類似文書抽出プログラム。

Images