JP2023074259A - 文書処理プログラム、文書処理装置、及び文書処理方法 - Google Patents

Abstract

【課題】アノテーション仕様に反映すべき観点に応じて、適切なテキストを提示し、妥当性の高いアノテーション仕様を容易に作成できるようにした文書処理プログラム、文書処理装置及び文書処理方法を提供する。【解決手段】文書処理装置３０は、入力された文を解析して、文に含まれる予め定義された固有表現分類それぞれに対応する対象表現及び対象表現それぞれの文法的役割を示す表現種別を含む解析結果を生成する文解析部３１と、解析結果に含まれる表現種別について、アノテーション仕様に反映すべき観点に対応する事例の検索ルールを、表現種別に対する観点に基づいて決定する検索ルール決定部３２と、複数の事例を含む事例集合から、観点ごとに検索ルールに該当する事例を検索する事例検索部３３と、事例集合から検索された事例を出力する出力部３６と、を含む。【選択図】図２

Description

本発明は、アノテーション仕様の作成に好適な文書処理プログラム、文書処理装置、及び文書処理方法に関する。

ＡＩ（Artificial Intelligence）（人工知能）における機械学習では、実用的な精度で使うために適切な内容の大量の学習データが必要となる。学習データの作成は、通常、人手によるアノテーションの作業が必要となる。アノテーションでは、学習の対象とするデータに対して、データの内容を識別するためのメタデータが付与される。学習対象とするデータがテキストデータ（文章）の場合、例えば、テキストから部位と事象の表現を抽出するためのメタデータを付与する。「油圧ユニットから油漏れ」のテキストの場合、部位が「油圧ユニット」で、事象が「油漏れ」である旨のメタデータが付与される。

アノテーションは、複数の作業者によって行われるため、アノテーション結果にばらつきが生じないように、アノテーション仕様が定められている。また、単独の作業者によりアノテーションが行われる場合でも、時間の経過とともに、アノテーション結果にばらつきが生じる場合があり、アノテーション仕様を定めることは有益である。作業者は、アノテーション仕様に従ってアノテーションを実施する。従って、アノテーション仕様の質が、学習データの質に影響する。アノテーション仕様の質が低下する要因の一つに、仕様の曖昧性がある。曖昧性があると、アノテーション結果にばらつきが生じ、学習データの質が低下する。

以下、テキストデータに対して、アノテーションを行うことを想定する。特にテキストから固有表現抽出をする場合のアノテーションを想定する。

曖昧性の少ないアノテーション仕様を作成するためには、アノテーション対象とするテキストを曖昧性の発生要因となる観点で検索し、該当するテキストの有無を確認しながら行うのが望ましい。

しかし、アノテーション仕様を作成する際に、曖昧性の発生要因となる観点を網羅的に考慮することは難しい。また、曖昧性の発生要因となる観点がわかっている場合においても、アノテーション対象のテキストから、該当する事例を見つけるのも、手間と時間がかかる。さらに、該当する事例の多寡の確認も難しい。

従来では、既存の学習データに対して各種のルールを適用することにより、学習データを拡張する発明が開示されている（例えば、特許文献１参照）。そこでは、学習データの拡張に、内部的に保持するルールやデータを適用する手法を用いている。

しかしながら、従来の手法では、内部的に保持するルールの適用により拡張された学習データが、実際にアノテーション対象のテキストに含まれているかは定かでないし、含まれていたとしても、アノテーション対象テキストに占める割合は不明である。

アノテーション仕様を作成する際には、アノテーション対象のテキストに実際に含まれている表現、特に大きな割合を占める表現に基づき決定するのが望ましい。含まれていない表現に関してアノテーション仕様を決めても時間の無駄である。

特に、語彙に関しては、アノテーション対象テキストに実際に含まれている表現に基づき、アノテーション仕様を決めないと、アノテーション仕様に起因する仕様の曖昧性の解消に繋がらない。

特開２００６－００４３９９号公報

このように、妥当性の高いアノテーション仕様を作成するためには、実際のアノテーション対象のテキストの表現に起因するアノテーション仕様の曖昧性を少なくすることが必要であるが、アノテーション対象テキストを様々な観点で確認し、アノテーション仕様に反映するには、手間や時間などコストがかっていた。

単に、アノテーション対象テキストとは無関係に決められた規則等で、学習データの例文を拡張するのみでは、アノテーション仕様の曖昧性を解消することはできない。

本発明が解決しようとする課題は、アノテーション仕様に反映すべき観点に基づく適切なテキストを提示し、妥当性の高いアノテーション仕様を容易に作成できるようにした文書処理プログラム、文書処理装置、及び文書処理方法を提供することである。

実施形態によれば、文書処理プログラムは、コンピュータを、入力された文を解析して、前記文に含まれる予め定義された固有表現分類のそれぞれに対応する対象表現、及び前記対象表現それぞれの文法的役割を示す表現種別を含む解析結果を生成する文解析部と、前記解析結果に含まれる前記表現種別について、アノテーション仕様に反映すべき観点に対応する事例の検索ルールを、前記表現種別に対する観点に基づいて決定する検索ルール決定部と、複数の事例を含む事例集合から、前記観点ごとに前記検索ルールに該当する事例を検索する事例検索部と、前記事例集合から検索された事例を出力する出力部として機能させる。

本実施形態における文書処理装置を用いるシステムの構成を示すブロック図。 本実施形態における文書処理装置における文書処理機能の構成を示すブロック図。 本実施形態における文書処理装置の動作について示すフローチャート。 入力文の一例を示す図。 本実施形態における検索ルールの一例を示す図。 本実施形態における検索ルールの決定を説明するための図。 本実施形態における事例集合の検索結果の一例を示す図。 本実施形態における事例集合の検索結果の一例を示す図。 本実施形態におけるアノテーション情報の一例を示す図。 本実施形態における対象表現を変更した情報を含むアノテーション情報の一例を示す図。 本実施形態における対象表現を変更した情報を含むアノテーション情報の一例を示す図。 本実施形態における対象表現を変更した情報を含むアノテーション情報の一例を示す図。

以下、実施形態について図面を参照して説明する。

図１は、本実施形態における文書処理装置１０を用いるシステムの構成を示すブロック図である。図１に示すシステムにおいて、文書処理装置１０は、インターネット等のネットワーク１２を通じて、サーバ１４や各種の電子機器と通信して、各種データを送受信することができる。

本実施形態における文書処理装置１０は、例えばパーソナルコンピュータ等のコンピュータによって実現される。図１に示すように、文書処理装置１０は、プロセッサ２０、メモリ２１、記憶装置２４、入力ユニット２５、表示ユニット２６、及び通信ユニット２９を有する。

プロセッサ２０は、記憶装置２４からメモリ２１に読み出された各種プログラム（ソフトウェア）を実行することにより各種の機能を実現する。例えば、プロセッサ２０は、メモリ２１に記憶されたＯＳ（Operating System）やアプリケーションプログラムなどの各種プログラム（ソフトウェア）を実行して、各種機能を実現する。例えば、プロセッサ２０は、文書処理プログラム２１ａを実行して、アノテーション対象テキストをもとに、アノテーション仕様を作成する際の曖昧性を把握することができる情報を出力するための文書処理機能を実現する。すなわち、文書処理機能では、アノテーション仕様に含まれている例文を入力し、この例文をもとにアノテーション仕様に反映すべき観点に応じた、アノテーション仕様の作成の参考となる適切なテキスト（事例）を提示する。これにより、アノテーション仕様を作成する労力を軽減し、効率的にアノテーション仕様を検討できるようにする。

メモリ２１は、プロセッサ２０により実行されるプログラムやデータを記憶する。

記憶装置２４は、ＯＳ（Operating System）やアプリケーションプログラムなどの各種プログラム（ソフトウェア）やプログラムの実行に必要なデータなどを、不揮発性の記憶媒体において記憶する。

記憶装置２４に記憶されるデータは、例えば入力文データ２４ａ、解析結果データ２４ｂ、検索ルールデータ２４ｃ、表現種別観点データ２４ｄ、決定ルールデータ２４ｅ、事例集合データ２４ｆ、事例検索結果データ２４ｇ、アノテーション情報データ２４ｈ、頻度データ２４ｊ、検索結果データ２４ｋ、参照履歴データ２４ｍを含む。各データの詳細については後述する。

入力ユニット２５は、プロセッサ２０の制御のもとで、ユーザにより操作される入力デバイス（例えば、キーボード、マウス、タブレット等）からの入力を制御する。

表示ユニット２６は、プロセッサ２０の制御のもとで、ＬＣＤ（Liquid Crystal Display）等のディスプレイにおける表示を制御する。

通信ユニット２９は、ネットワーク１２を通じて、サーバ１４や電子機器との通信を制御する。

なお、文書処理装置１０は、ハードウェア構成、又はハードウェア資源とソフトウェア（プログラム）との組合せ構成のいずれでも実施可能である。ソフトウェアは、予めネットワーク１２又は非一時的なコンピュータ読み取り可能な記憶媒体からコンピュータにインストールされ、当該コンピュータのプロセッサ２０に実行されることにより、各装置の機能を当該コンピュータに実行させる。

なお、本実施形態では、文書処理装置１０において、文書処理プログラム２１ａに基づく文書処理機能を実行して、アノテーション仕様の作成に好適な情報を出力するとしているが、サーバ１４において文書処理機能を実行させるようにしても良い。

この場合、サーバ１４は、文書処理プログラム２１ａと同様の文書処理機能を実現させる文書処理プログラム１４ａをプロセッサにより実行して文書処理機能を実現する。文書処理装置１０は、サーバ１４に対して文書処理機能による処理の実行を要求し、その処理結果とする情報を受信して出力（表示ユニット２６における表示）する。

サーバ１４における処理対象とするデータは、文書処理装置１０から提供しても良いし、ネットワーク１２を介して接続されたＷｅｂサイト（テキストデータベース）等から取得されるようにしても良い。

図２は、本実施形態における文書処理装置１０において、プロセッサ２０が文書処理プログラム２１ａを実行することにより実現される文書処理機能３０の構成を示すブロック図である。文書処理プログラム２１ａは、文書処理装置１０を、文解析部３１、検索ルール決定部３２、事例検索部３３、アノテーション情報生成部３４、頻度算出部３５、出力部３６、参照履歴登録部３７、検索ルール記憶部４１、事例集合記憶部４２、参照履歴記憶部４３として機能させることができる。

文解析部３１は、入力された入力文データ２４ａ（例文５１）に対して、例えば形態素解析、構文解析、意味解析等の解析を実行して、解析結果データ２４ｂを出力する。例えば、文解析部３１は、入力文データ２４ａ（例文５１）が示すテキストに含まれる部位と、事象のそれぞれに対応する対象表現、及び対象表現それぞれの文法的役割を示す表現種別を含む解析結果を生成して、解析結果データ２４ｂを出力する（図４（Ｂ）参照）。

入力文データ２４ａは、例えば、アノテーション仕様に含まれている例文のテキストデータである。入力文データ２４ａには、例えば、例文５１を示すテキストと、テキストから抽出すべき対象表現と、この対象表現の意味クラス（部位、事象）の情報が含まれており（図４（Ａ）参照）、文解析部３１による解析により判別される。ここで、「対象表現」とは、入力となったアノテーション仕様のサンプルテキストにおいて、アノテーションされている表現を意味する。

解析結果データ２４ｂは、例えば、入力文データ２４ａ（例文５１）に含まれる、少なくとも意味クラスが示す部位と事象のそれぞれに対応する対象表現と、それぞれの対象表現の表現種別を示すデータが含まれる（図４（Ｂ）参照）。

検索ルール決定部３２は、文解析部３１による文解析の解析結果に基づき、アノテーション仕様に反映すべき観点に対応する事例を検索するための検索ルールを決定する。すなわち、検索ルール決定部３２は、事例集合記憶部４２に記憶された複数の事例（テキスト）を含む事例集合（事例集合データ２４ｆ）から事例を検索するための検索ルールを、予め用意された複数の検索ルールを含む検索ルールデータ２４ｃから決定し、この決定した検索ルールを示す決定ルールデータ２４ｅを生成する。検索ルール決定部３２は、文解析部３１による解析により得られた例文５１に含まれる対象表現に対応する表現種別のそれぞれについて、関係する観点を示す表現種別観点データ２４ｄ（図６（Ｂ）参照）を参照し、表現種別観点データ２４ｄが示す観点毎の検索ルールを決定する。対象表現毎の観点に対応して決定した検索ルールを決定ルールデータ２４ｅとする。

検索ルール記憶部４１は、アノテーション仕様に反映すべき複数の観点のそれぞれに対応する検索ルールが定義された検索ルールデータ２４ｃが記憶されている（図５参照）。

事例検索部３３は、検索ルール決定部３２によって決定された検索ルールを使用して、事例集合記憶部４２に記憶された事例集合（事例集合データ２４ｆ）から、決定ルールデータ２４ｅが示す検索ルールに該当する事例を検索して、事例検索結果データ２４ｇとして記憶させる（図７（Ｃ）、図８（Ｃ）参照）。

事例集合記憶部４２に記憶された事例集合（事例集合データ２４ｆ）は、アノテーション対象のテキストが含まれている。

また、事例検索部３３は、参照履歴記憶部４３に記憶された参照履歴をもとに、事例集合から検索される事例を制限する。参照履歴記憶部４３に記憶された参照履歴には、事例集合記憶部４２に記憶された事例集合のうち、事例検索部３３による検索結果として出力対象としない事例を示す情報を含む。

アノテーション情報生成部３４は、事例検索部３３によって検索された事例（事例検索結果データ２４ｇ）に対して、観点に応じて、アノテーション情報（アノテーション情報データ２４ｈ）を生成する。アノテーション情報には、例えば事例検索部３３により検索された事例と、事例に含まれる部位の表現の候補と、事象の表現の候補を示す情報を含む。また、アノテーション情報生成部３４は、事例検索部３３により事例集合（事例集合データ２４ｆ）から検索された事例について、事例に含まれる対象表現（表現種別）に対応する観点に応じた手法を用いて、対象表現（部位、事象）を変更した情報を含むアノテーション情報を生成することができる（図１０～図１２参照）。アノテーション情報は、検索結果として出力され、検索された事例をアノテーション仕様に反映する際の参考にすることができる。

頻度算出部３５は、事例検索部３３によって検索される事例の頻度を、検索に用いた検索ルールに対応する観点毎に算出して、頻度データ２４ｊを出力する。

出力部３６は、事例検索部３３により検索される事例（事例検索結果データ２４ｇ）、アノテーション情報生成部３４により生成されるアノテーション情報（アノテーション情報データ２４ｈ）、頻度算出部３５により算出された頻度（頻度データ２４ｊ）等の全て、あるいは一部を含む検索結果（検索結果データ２４ｋ）を出力する。出力部３６は、出力対象とするデータについて、適切にソートやフィルタリングをして出力する。出力部３６は、検索結果の出力形態として、例えば、記憶装置２４への予め決められたフォーマットによるデータファイルによる記録、表示ユニット２６における表示、通信ユニット２９を介した外部機器への送信などを含む。

参照履歴登録部３７は、事例集合に含まれる事例のうち出力対象外とする事例を示す参照履歴データ２４ｍを、ユーザによる入力ユニット２５に対する操作に応じて、参照履歴記憶部４３に記憶させる。参照履歴記憶部４３に記憶される参照履歴データ２４ｍには、文書処理機能３０により過去に出力された検索結果５２に含まれた事例であって、アノテーション仕様に反映済みとしてユーザによって指定された事例を示す参照履歴５３を含む。また、参照履歴データ２４ｍには、アノテーション仕様に反映不要として、ユーザの指定によって指定された事例を含む。事例検索部３３は、参照履歴登録部３７により参照履歴記憶部４３に記憶された参照履歴データ２４ｍが示す事例を、事例集合から検索された事例から除くように処理する。

次に、本実施形態における文書処理装置１０の動作について、図３に示すフローチャートを参照しながら説明する。

以下では、部位と事象の２つの意味クラスに関する固有表現抽出のアノテーションを想定した、アノテーション仕様の作成に好適な例文の出力を例にして説明する。なお、本実施例では、部位と事象の２種類の意味クラスを想定しているが、意味クラスの種類や数はこれに限らず、任意の種類と任意の数の意味クラスで利用できる。

文書処理装置１０のプロセッサ２０は、文書処理プログラム２１ａを実行することにより文書処理機能３０を起動する。

まず、プロセッサ２０（文解析部３１）は、例えば、ユーザによる入力デバイスに対する操作によって、入力ユニット２５を通じて、入力文データ２４ａ（例文５１）が入力される（ステップＡ１）。ここでは、例えば、アノテーション仕様に含まれている例文５１を解析の対象とする。

また、プロセッサ２０は、入力された入力文データ２４ａ（例文５１）に対して文解析を実行して、例文５１に含まれる対象表現に対応する表現種別を取得する（ステップＡ２）。文解析には、テキストの文字列に加えて、アノテートされている表現（対象表現）を用いる。

図４（Ａ）は、入力文データ２４ａ（例文５１）が示す入力文の一例を示している。図４（Ａ）に示す入力文「ハンドルが動かない」に対して文解析することにより、対象表現「ハンドル」、対象表現「動かない」のそれぞれについて、文法的役割を示す表現種別を判別する。

図４（Ｂ）は、例文５１の解析結果とする各対象表現に対する表現種別の一例を示す図である。

例えば、対象表現「ハンドル」の表現種別「名詞句」、対象表現「動かない」の表現種別「用言」が判別されたことを示している。

次に、プロセッサ２０（検索ルール決定部３２）は、文解析の解析結果に基づいて、アノテーション仕様に反映すべき観点に対応する事例の検索ルールを決定する（ステップＡ３）。検索ルール記憶部４１には、アノテーション仕様に反映すべき複数の観点のそれぞれに対応する検索ルールが定義された検索ルールデータ２４ｃが記憶されており、この中から例文５１に対する解析結果に応じた検索ルールを選択する。

図５は、検索ルール記憶部４１に記憶された検索ルール（検索ルールデータ２４ｃ）の一例を示す図である。

図５に示すように、検索ルールデータ２４ｃでは、アノテーション仕様に反映すべき複数の観点として、例えば「語彙共通」「語彙が一部共通」「語順を変えたもの」…などが設定され、それぞれの観点に対応する検索ルールが定義されている。例えば、観点「語彙共通」に対しては、「対象表現を含む事例」の検索ルールが設定されている。

まず、プロセッサ２０は、検索ルールデータ２４ｃから例文５１の解析結果に応じた検索ルールを選択するため、文解析部３１による解析により得られた例文５１に含まれる対象表現に対応する表現種別のそれぞれについて、関係する観点を示す表現種別観点データ２４ｄを生成する。なお、表現種別に関係する観点は、文解析によって解析される複数の表現種別のそれぞれに応じて特定される。

図６は、検索ルールの決定を説明するための図である。

図６（Ａ）は、図４（Ａ）に示す例文５１に対する解析結果（図４（Ｂ））を示し、図６（Ｂ）は、図６（Ａ）に示す解析結果に対応する表現種別観点データ２４ｄの一例を示している。図６（Ｂ）に示すように、表現種別観点データ２４ｄには、図６（Ａ）に示す解析結果の対象表現に対する表現種別のそれぞれに対応する観点が設定されている。

例えば、対象表現「ハンドル」に対する表現種別「名詞句」には、「名詞句」に関係する複数の観点「語彙共通」「語彙が一部共通」「複合語の言い換え」「複合語」…「数量」が設定されている。同様にして、対象表現「動かない」の表現種別「用言」、および全ての表現種別について、関係する観点が設定されている。

プロセッサ２０は、表現種別観点データ２４ｄが示す観点毎の検索ルールを検索ルールデータ２４ｃ（図５）から選択し、事例集合から事例を検索するための具体的な検索ルールを決定し、対象表現毎の観点に対応して決定した検索ルールを決定ルールデータ２４ｅとする。

例えば、表現種別観点データ２４ｄが示す表現種別「名詞句」に関係する観点「語彙共通」については、図５に示す検索ルール「対象表現を含む事例」が選択され、この検索ルール「対象表現を含む事例」をもとに、「対象表現」を「ハンドル」に変更した具体的な検索ルール「ハンドルを含む事例」が決定される。

図６（Ｃ）には、例文５１に含まれる複数の対象表現のそれぞれに対応する、観点毎の具体的な検索ルールの一例を示している。

プロセッサ２０は、図６（Ｃ）に示すように、複数の対象表現のそれぞれについて、表示種別に対応する観点に応じて検索ルールを検索ルール記憶部４１（検索ルールデータ２４ｃ）から選択し、具体的な検索ルールを決定して、決定ルールデータ２４ｅを生成する。

次に、プロセッサ２０は、複数の対象表現のそれぞれについて決定された具体的な決定ルールと、参照履歴記憶部４３に予め記憶された参照履歴データ２４ｍに基づいて、事例集合記憶部４２に記憶された事例集合（事例集合データ２４ｆ）から検索ルールに対応する事例を検索する（ステップＡ４）。

図７は、対象表現「ハンドル」「ハンドル，動かない」についての事例集合の検索結果の一例を示す図である。

プロセッサ２０は、図７（Ｂ）に示す、対象表現「ハンドル」「ハンドル，動かない」の観点ごとの具体的な検索ルールを用いて、図７（Ａ）に示す事例集合から検索ルールに該当する事例を検索する。

図７（Ｃ）は、対象表現「ハンドル」「ハンドル，動かない」の観点毎の検索結果を示している。

図７（Ｃ１）は、対象表現「ハンドル」の観点「語彙共通」の検索ルール「ハンドルを含む事例」による検索結果の一例を示しており、例えば事例「ハンドルが壊れた」「ハンドルが動かなくなり、操作不能」「ハンドルが折損」が検索されたことを示している。

図７（Ｃ１）に示すように、観点「語彙共通」の検索ルールによって検索された複数の「ハンドル」を含む事例は、対象表現「ハンドル」に対応する事象が複数あるテキストに対して、適切なアノテーションができるようにするための、アノテーション仕様の作成の参考にすることができる。

図７（Ｃ２）は、対象表現「ハンドル，動かない」の観点「語順を変えたもの」の検索ルール「ハンドル，動かないの出現順番を変えた事例」による検索結果の一例を示しており、例えば事例「車が動かない，ハンドルが効かない」が検索されたことを示している。

図７（Ｃ２）に示すように、観点「語順を変えたもの」の検索ルールによって検索された事例は、対象表現に該当する単語が、入力となった例文とは異なる順番で出現するテキストに対して、適切なアノテーションができるようにするための、アノテーション仕様の作成の参考にすることができる。

図７（Ｃ３）は、対象表現「ハンドル」の観点「複合語」の検索ルール「ハンドルを含む複合語を含む事例」による検索結果の一例を示している。観点「複合語」については「前」「後」「前後」の場合があり、それぞれについて、例えば事例「ドアハンドルが動かない」、「ハンドルレバーが動かない」、「前輪ハンドルレバーが動かない」が検索されたことを示している。

図７（Ｃ３）に示すように、観点「複合語」の検索ルールによって検索された事例は、複合語を含むテキストに対して、複合語全体を一つの表現とするか、「前」「後」「前後」をそれぞれに含む／含まない等を判断し、適切なアノテーションができるようにするための、アノテーション仕様の作成の参考にすることができる。

図７（Ｃ４）は、対象表現「ハンドル」の観点「接辞」の検索ルール「ハンドルに、接頭辞と接尾辞を付与した事例」による検索結果の一例を示している。観点「接辞」については「接頭」「接尾」の場合があり、それぞれについて、例えば事例（接頭）「当該ハンドルが壊れた」「各ハンドルが壊れた」、事例（接尾）「ハンドル等が損傷」が検索されたことを示している。

図７（Ｃ４）に示すように、観点「接辞」の検索ルールによって検索された事例は、接辞を含むテキストに対して、「接頭」あるいは「接尾」を含む接辞全体を一つの表現とするか、「接頭」「接尾」をそれぞれに含む／含まない等を判断し、適切なアノテーションができるようにするための、アノテーション仕様の作成の参考にすることができる。

図７（Ｃ５）は、対象表現「ハンドル」の観点「修飾」の検索ルール「ハンドルに対する修飾語句を伴った表現を含む事例」による検索結果の一例を示している。例えば事例「右側のハンドルが動かない」、事例「修理されたハンドルが動かない」が検索されたことを示している。

図７（Ｃ５）に示すように、観点「修飾」の検索ルールによって検索された事例は、対象表現に修飾語句が付されたテキストに対して、修飾部を含む／含まない等を判断し、適切なアノテーションができるようにするための、アノテーション仕様の作成の参考にすることができる。

図７（Ｃ６）は、対象表現「ハンドル」の観点「文字種の異なり」の検索ルール「ハンドルの文字種を変えた表現を含む事例」による検索結果の一例を示している。観点「文字種の異なり」については「全角ひらがな」「半角カタカナ」などの場合があり、例えば「はんどる」あるいは半角カタカナの「ハンドル」を含む事例が検索されたことを示している。

図７（Ｃ６）に示すように、観点「文字種の異なり」の検索ルールによって検索された事例は、同じ意味をもつ文字種が異なる表現について、適切なアノテーションができるようにするための、アノテーション仕様の作成の参考にすることができる。

同様にして、プロセッサ２０は、対象表現「ハンドル」「ハンドル，動かない」の観点ごとの具体的な検索ルールを用いて、事例集合から検索ルールに該当する事例を検索する。詳細な説明については省略する。

図８は、対象表現「動かない」についての事例集合の検索結果の一例を示す図である。

プロセッサ２０は、図８（Ｂ）に示す、対象表現「動かない」の観点ごとの具体的な検索ルールを用いて、図８（Ａ）に示す事例集合から検索ルールに該当する事例を検索する。

図８（Ｃ）は、対象表現「動かない」の観点毎の検索結果を示している。

図８（Ｃ１）は、対象表現「動かない」の観点「語彙共通」の検索ルール「動かないを含む事例」による検索結果の一例を示しており、例えば事例「車が動かない」「車両が動かない」「ワイパーが動かない」「メーターが動かない」が検索されたことを示している。

図８（Ｃ２）は、対象表現「動かない」の観点「修飾」の検索ルール「動かないに対する修飾語句を伴った表現を含む事例」による検索結果の一例を示している。観点「修飾」について、例えば事例「ハンドルが全く動かない」、事例「時々ハンドルが動かない」が検索されたことを示している。

図８（Ｃ３）は、対象表現「動かない」の観点「用言の変形」の検索ルール「動かないの末尾を変形した表現を含む事例」による検索結果の一例を示している。観点「用言の変形」について、例えば事例「ハンドルが動く」、「ハンドルが動かないようだ」、「ハンドルが動かせない」、「ハンドルが動いていない」、「ハンドルが動かなかった」等が検索されたことを示している。

図８（Ｃ４）は、対象表現「動かない」の観点「文字種の異なり」の検索ルール「動かないの文字種を変えた表現を含む事例」による検索結果の一例を示している。観点「文字種の異なり」については「全角ひらがな」などの場合があり、例えば事例「ハンドルがうごかない」が検索されたことを示している。

同様にして、プロセッサ２０は、対象表現「動かない」の観点ごとの具体的な検索ルールを用いて、事例集合から検索ルールに該当する事例を検索する。詳細な説明については省略する。

こうして、対象表現「動かない」についても観点ごとの具体的な検索ルールを用いて、事例集合から検索ルールに該当する事例を検索することで、前述した対象表現「ハンドル」に対応する観点ごとに検索された事例と同様に、観点ごとのアノテーション仕様の作成の参考にすることができる。

なお、事例検索部３３は、検索ルールを使用して、事例集合記憶部４２に記憶された事例集合から、参照履歴記憶部４３に記憶された参照履歴データ２４ｍをもとに、事例集合から検索される事例を制限する。

参照履歴記憶部４３には、予めアノテーション仕様に反映済みとしてユーザによって指定された事例、あるいはアノテーション仕様に反映不要として、ユーザの指定によって指定された事例を示す参照履歴データ２４ｍが記憶されている。

こうして、事例集合から検索される事例を事例検索部３３により制限することで、次の処理において実行される、アノテーション仕様の作成に不要なアノテーション情報の作成を回避することができる。

次に、プロセッサ２０（アノテーション情報生成部３４）は、事例検索部３３によって検索された事例（事例検索結果データ２４ｇ）に対して、各対象表現の観点に応じて定まるルールに基づいて、アノテーション情報（アノテーション情報データ２４ｈ）を生成する（ステップＡ５）。アノテーション情報には、例えば事例検索部３３により検索された事例と、事例に含まれる部位の表現と、事象の表現とを示す情報とを含む。プロセッサ２０は、事例を検索した検索ルールの観点に応じた方法によって、部位と事象の候補とする対象表現を推定する。

事例集合記憶部４２に記憶された事例集合（事例集合データ２４ｆ）は、事例毎に、事例（テキスト）と、検索ルールの観点の情報を含む。プロセッサ２０は、事例および検索ルールの観点の情報をもとにして、アノテーション情報の「部位」「事象」の候補とする対象表現を推定する。

例えば、観点「語彙共通」の場合には、例文５１（入力文データ２４ａ）の対象表現と共通する、事例に含まれる対象表現を、例文５１の対象表現の意味クラス（「部位」あるいは「事象」）と対応させる。また、事例に含まれる他の自立語を例文５１の対象表現と異なる意味クラス（「事象」あるいは「部位」）と対応させる。

図９は、検索された事例に対して生成されるアノテーション情報の一例を示す図である。図９（Ａ）は、対象表現「ハンドル」の観点「語彙共通」の検索ルールにより検索された事例の一例を示し、図９（Ｂ）は、図９（Ａ）に示す事例に対するアノテーション情報を示している。

例えば、図９（Ａ）に示す検索された事例「ハンドルが壊れた」に対するアノテーション情報には、図９（Ｂ）に示すように、事例検索部３３により検索された事例「ハンドルが壊れた」と、事例に含まれる対象表現に対する部位「ハンドル」と、事象の候補「壊れた」とを示す情報とを含む。

また、図９（Ａ）に示す事例「ハンドルが動かなくなり、操作不能」については、図９（Ｂ）に示すように、部位「ハンドル」と、複数の事象の候補「動かなく」「操作不能」が推定される。

このように、事例に複数の事象を含む場合であっても、各事象の対象表現を推定してアノテーション情報を得ることができるので、アノテーション仕様の作成時の検討を容易にすることができる。

また、プロセッサ２０（アノテーション情報生成部３４）は、事例検索部３３により事例集合から検索された事例について、観点に基づいて、対象表現（「部位」「事象」）を変更した情報を含むアノテーション情報を生成することができる。

図１０、図１１、図１２は、対象表現を変更した情報を含むアノテーション情報の一例を示す図である。

図１０（Ａ）は、対象表現「動かない」に対する観点「用言の変形」の検索ルールにより検索された事例の一例を示している。

この場合、図１０（Ｂ）に示すように、観点「用言の変形」に応じて、事象に対応する対象表現の候補を複数提示している。例えば、事例「ハンドルが動かなかった」のうち、事象に相当する対象表現を「動かなかった」と「動かな」の２通りの候補を提示している。

この処理は、例えば、用言を変形した結果の「動かなかった」という表現を形態素解析し、活用語尾を含めた表現と、活用語尾を含めない表現の２通りを出力する手法を用いることにより、実施できる。

このように、観点「用言の変形」の場合、表現対象の単語に活用（語形変化）があるため、表現対象に変形があることを示す観点の検索ルールによって検索された事例について、活用により変化する部分を含む／含まない表現対象を推定したアノテーション情報を生成することができる。

図１１（Ａ）は、対象表現「動かない」に対する観点「語彙共通」の検索ルールにより検索された事例の一例を示している。

この場合、図１１（Ｂ）に示すように、部位に相当する対象表現は、それぞれの事例から推定され、例えば「車」「車両」「ワイパー」「メーター」などが存在している。この場合、既存のオントロジーがあれば、「ハンドル」に対する上位概念か否かの情報も付加して出すことができる。

図１２（Ａ）は、対象表現「ハンドル」に対する観点「複合語」の検索ルールにより検索された事例の一例を示している。図１２（Ａ）に示すように、観点「複合語」の「前」「後」「前後」のそれぞれに対応する事例が検索されている。

この場合、図１２（Ｂ）に示すように、複合語を構成する全ての形態素の全体を一つの対象表現とするように、観点「複合語」の「前」「後」「前後」のそれぞれに応じて部位に相当する対象表現を推定するとともに、検索の際に用いた対象表現の前後の形態素を個別の対象表現として推定する。例えば観点「複合語」の「前」については、「ハンドル」の「前」にある「ドア」を含めた「ドアハンドル」を対象表現として推定するとともに、前にある「ドア」と「ハンドル」を個別の対象表現として推定している。

このように、観点「複合語」の場合、表現対象の単語に複数の形態素を含むため、複合語全体あるいは複合語に含まれる形態素毎に表現対象を推定したアノテーション情報を生成することができる。

こうして、事例集合から検索された事例に対して、複数の異なるアノテーション情報を生成して、アノテーション仕様の作成時に参照できる情報のバリエーションを増やすことが可能となる。

次に、プロセッサ２０（頻度算出部３５）は、各対象表現の観点毎に、検索ルールを用いて検索された事例の頻度（事例数）を算出して、頻度データ２４ｊとして記憶させる（ステップＡ６）。

次に、プロセッサ２０（出力部３６）は、アノテーション情報生成部３４により生成されるアノテーション情報（アノテーション情報データ２４ｈ）、及び頻度算出部３５により算出された頻度（頻度データ２４ｊ）を検索結果として出力する。

このようにして、本実施形態における文書処理装置１０は、アノテーション対象のテキストを含む事例集合から、アノテーション仕様に反映すべき観点に応じて、適切な事例（テキスト）が検索され、アノテーション情報として提示されるので、この事例を参照することで、アノテーション仕様の検討の負担が軽減されると共に、妥当性の高いアノテーション仕様の作成を容易に作成できる。

また、頻度データ２４ｊを参照することでアノテーション仕様に追加すべきか否かを判断することができるので、優先して検討すべき観点が効率的に把握できるという効果がある。

また、アノテーション仕様における曖昧性が、実際のアノテーション対象の事例に基づき、具体的に把握できるので、アノテーション仕様を作成する労力が低減されるという効果がある。

なお、前述した説明では、日本語のテキストに対するアノテーションを想定した場合について説明しているが、英語などの他の言語によるテキストに対するアノテーションを想定したアノテーション仕様作成に利用することも可能である。

また、本実施形態では、固有表現抽出の具体例として、部位、事象という意味クラスを用いて説明したが、これに限らず、任意の意味クラスに対するアノテーション仕様の作成に利用することができる。また、意味クラスの数も２つに限らず１以上の任意の数の意味クラスに対して、アノテーション仕様の作成に利用することができる。

また、実施形態に記載した手法は、コンピュータに実行させることのできるプログラムとして、磁気ディスク（フレキシブルディスク、ハードディスクなど）、光ディスク（ＣＤ－ＲＯＭ、ＤＶＤなど）、光磁気ディスク（ＭＯ）、半導体メモリなどの記憶媒体に格納して頒布することもできる。

また、記憶媒体としては、プログラムを記憶でき、かつコンピュータが読み取り可能な記憶媒体であれば、その記憶形式は何れの形態であっても良い。

また、記憶媒体からコンピュータにインストールされたプログラムの指示に基づきコンピュータ上で稼働しているＯＳ（オペレーティングシステム）や、データベース管理ソフト、ネットワークソフト等のＭＷ（ミドルウェア）等が上記実施形態を実現するための各処理の一部を実行しても良い。

さらに、実施形態における記憶媒体は、コンピュータと独立した媒体に限らず、ＬＡＮやインターネット等により伝送されたプログラムをダウンロードして記憶または一時記憶した記憶媒体も含まれる。

また、記憶媒体は１つに限らず、複数の媒体から上記の各実施形態における処理が実行される場合も本発明における記憶媒体に含まれ、媒体構成は何れの構成であっても良い。

なお、実施形態におけるコンピュータは、記憶媒体に記憶されたプログラムに基づき、実施形態における各処理を実行するものであって、パーソナルコンピュータ等の１つからなる装置、複数の装置がネットワーク接続されたシステム等の何れの構成であっても良い。

また、実施形態におけるコンピュータとは、情報処理機器に含まれる演算処理装置、マイコン等も含み、プログラムによって本発明の機能を実現することが可能な機器、装置を総称している。

なお、本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。

１０…文書処理装置、１２…ネットワーク、１４…サーバ、２０…プロセッサ、２１…メモリ、２１ａ…文書処理プログラム、２４…記憶装置、２４ａ…入力文データ、２４ｂ…解析結果データ、２４ｃ…検索ルールデータ、２４ｄ…表現種別観点データ、２４ｅ…決定ルールデータ、２４ｆ…事例集合データ、２４ｇ…事例検索結果データ、２４ｈ…アノテーション情報データ、２４ｊ…頻度データ、２４ｋ…検索結果データ、２４ｍ…参照履歴データ、２５…入力ユニット、２６…表示ユニット、２９…通信ユニット、３１…文解析部、３２…検索ルール決定部、３３…事例検索部、３４…アノテーション情報生成部、３５…頻度算出部、３６…出力部、３７…参照履歴登録部、４１…検索ルール記憶部、４２…事例集合記憶部、４３…参照履歴記憶部。

Claims (8)

1. コンピュータを、
   入力された文を解析して、前記文に含まれる予め定義された固有表現分類それぞれに対応する対象表現、及び前記対象表現それぞれの文法的役割を示す表現種別を含む解析結果を生成する文解析部と、
   前記解析結果に含まれる前記表現種別について、アノテーション仕様に反映すべき観点に対応する事例の検索ルールを、前記表現種別に対する観点に基づいて決定する検索ルール決定部と、
   複数の事例を含む事例集合から、前記観点ごとに前記検索ルールに該当する事例を検索する事例検索部と、
   前記事例集合から検索された事例を出力する出力部として機能させるための文書処理プログラム。
2. 前記固有表現分類は、部位と事象であることを特徴とする請求項１記載の文書処理プログラム。
3. コンピュータを、
   前記事例検索部により検索された事例の頻度を前記観点ごとに算出する頻度算出部としてさらに機能させ、
   前記出力部に、前記事例と共に前記頻度を出力させるように機能させる、請求項１または２に記載の文書処理プログラム。
4. コンピュータを、
   前記事例検索部により検索された事例と、前記事例に含まれる対象表現に対する部位と、この部位に対する事象とを示す情報を含むアノテーション情報を生成するアノテーション情報生成部としてさらに機能させ、
   前記出力部に、前記アノテーション情報を出力させるように機能させる、請求項１乃至請求項３の何れかに記載の文書処理プログラム。
5. コンピュータを、
   前記事例集合に含まれる事例のうち出力対象外とする事例を示すデータを記憶させる登録部としてさらに機能させ、
   前記事例検索部に、前記登録部によって記録されたデータが示す事例を、前記事例集合から検索された事例から除くように機能させる、請求項１乃至請求項４の何れかに記載の文書処理プログラム。
6. コンピュータを、
   前記アノテーション情報生成部に、前記事例検索部により検索された事例について、前記観点に基づいて、前記対象表現を変更した情報を含むアノテーション情報を生成させるように機能させる、請求項４記載の文書処理プログラム。
7. 入力された文を解析して、前記文に含まれる予め定義された固有表現分類それぞれに対応する対象表現、及び前記対象表現それぞれの文法的役割を示す表現種別を含む解析結果を生成する文解析部と、
   前記解析結果に含まれる前記表現種別について、アノテーション仕様に反映すべき観点に対応する事例の検索ルールを、前記表現種別に対する観点に基づいて決定する検索ルール決定部と、
   複数の事例を含む事例集合から、前記観点ごとに前記検索ルールに該当する事例を検索する事例検索部と、
   前記事例集合から検索された事例を出力する出力部と
   を有する文書処理装置。
8. 入力された文を解析して、前記文に含まれる予め定義された固有表現分類それぞれに対応する対象表現、及び前記対象表現それぞれの文法的役割を示す表現種別を含む解析結果を生成する文解析工程、
   前記解析結果に含まれる前記表現種別について、アノテーション仕様に反映すべき観点に対応する事例の検索ルールを、前記表現種別に対する観点に基づいて決定する検索ルール決定工程と、
   複数の事例を含む事例集合から、前記観点ごとに前記検索ルールに該当する事例を検索する事例検索工程と、
   前記事例集合から検索された事例を出力する出力工程と
   を有する文書処理方法。

Images