JP2016071406A - ラベル付与装置、ラベル付与方法、及びプログラム - Google Patents

Abstract

【課題】分類に応じたデータベースを用いることによって、文書の意味段落に適切なラベル付与を行うことができる。
【解決手段】本発明に係るラベル付与装置は、文書の意味段落に付与するラベルと前記ラベルを意味段落へ付与する確率とを対応付けたデータベースを分類毎に記憶する記憶手段と、前記分類を含む文書を入力する入力手段と、前記分類に対応する前記データベースに基づいて前記文書の意味段落にラベルを付与する付与手段と、意味段落にラベルが付与された前記文書を出力する出力手段と、を備えることを特徴とする。
【選択図】図１

Description

本発明は、文書を構造化する技術に関する。特に、文書の意味段落にラベルを付与する技術に関する。

近年、文書の内容を手軽に把握するために、文書を構造化する技術が開発されている。文書構造化技術によれば、文書を、１つの意味を持つまとまり（意味段落）に分け、各意味段落の文脈に沿ったラベルを付与することで、内容を一目で理解するようにする。

例えば、特許文献１では、ラベル付与済みの文書を用いて、ラベル付与モデルを学習しておき、ラベル未付与の意味段落とラベル付与モデルを比較し、最適なラベルを意味段落へ付与する手段が開示されている。

特表２００７−５１２６０９号公報

しかしながら、特許文献１では、汎用的なラベル付与モデルにより意味段落にラベルを付与していたため、ラベル付与モデルの傾向に沿わない文書では、適切にラベルの付与が行われないという課題があった。

本発明は、上述した課題を解決するためになされたものであり、その目的は、分類に応じたデータベースを用いることによって、文書の意味段落に適切なラベル付与を行うラベル付与装置等を提供することにある。

前述した目的を達成するための第１の発明は、文書の意味段落に付与するラベルと前記ラベルを意味段落へ付与する確率とを対応付けたデータベースを分類毎に記憶する記憶手段と、前記分類を含む文書を入力する入力手段と、前記分類に対応する前記データベースに基づいて前記文書の意味段落にラベルを付与する付与手段と、意味段落にラベルが付与された前記文書を出力する出力手段と、を備えることを特徴とするラベル付与装置である。
第１の発明によって、分類に対応するデータベースを用いて文書の意味段落にラベルを付与するため、分類ごとの傾向を反映した適切なラベルの付与が実現される。

前記データベースは、ラベル毎に単語の出現確率を表す単語出現確率を含み、
前記付与手段は、前記意味段落内の文書を単語に分割し、分割した前記単語の前記単語出現確率を前記データベースから取得し、前記単語出現確率が最も大きいラベルを、前記意味段落に付与することが望ましい。

前記データベースは、ラベル毎に文書中におけるラベルの出現位置の傾向を表すラベル位置確率を含み、前記付与手段は、前記意味段落の前記ラベル位置確率を前記データベースから取得し、前記ラベル位置確率が最も大きいラベルを、前記意味段落に付与することが望ましい。

前記データベースは、ラベル毎に意味段落間でのラベルの遷移の傾向を表すラベル遷移確率を含み、前記付与手段は、前記意味段落の前の意味段落に付与されたラベルから前記意味段落のラベルへの前記ラベル遷移確率を前記データベースから取得し、前記ラベル遷移確率が最も大きいラベルを、前記意味段落に付与することが望ましい。

前述した目的を達成するための第２の発明は、文書の意味段落に付与するラベルと前記ラベルを意味段落へ付与する確率とを対応付けたデータベースを分類毎に記憶するラベル付与装置によるラベル付与方法であって、前記分類を含む文書を入力する入力ステップと、前記分類に対応する前記データベースに基づいて前記文書の意味段落にラベルを付与する付与ステップと、意味段落にラベルが付与された前記文書を出力する出力ステップと、を含むことを特徴とするラベル付与方法である。
第２の発明によって、分類に対応するデータベースを用いて文書の意味段落にラベルを付与するため、分類ごとの傾向を反映した適切なラベルの付与が実現される。

前述した目的を達成するための第３の発明は、コンピュータを、文書の意味段落に付与するラベルと前記ラベルの意味段落へ付与する確率とを対応付けたデータベースを記憶する記憶手段、前記分類を含む文書を入力する入力手段、前記分類に対応する前記データベースに基づいて前記文書の意味段落にラベルを付与する付与手段、意味段落にラベルが付与された前記文書を出力する出力手段、として機能させることを特徴とするプログラムである。
第３の発明によって、分類に対応するデータベースを用いて文書の意味段落にラベルを付与するため、分類ごとの傾向を反映した適切なラベルの付与が実現される。

本発明によれば、分類に応じたデータベースを用いることによって、文書の意味段落に適切なラベル付与を行うことができる。

本発明に係るラベル付与装置１の全体構成を示す図 ラベル情報の一例を示す図 単語出現確率ＤＢの一例を示す図 ラベル位置確率ＤＢの一例を示す図 ラベル遷移確率ＤＢの一例を示す図 単語出現確率ＤＢの生成の流れを示すフローチャート ラベル位置確率ＤＢの生成の流れを示すフローチャート ラベル位置確率を算出する具体例を示す図 ラベル遷移確率ＤＢの生成の流れを示すフローチャート ラベル遷移確率を算出する具体例を示す図 ラベル付与処理の流れを説明するフローチャート 最適なラベルを決定する処理を説明するフローチャート （ａ）算出された単語出現確率による付与確率の例を示す図（ｂ）算出されたラベル位置確率による付与確率の例を示す図（ｃ）算出されたラベル遷移確率による付与確率の例を示す図（ｄ）全ての付与確率を掛け合わせた値を示す図 入力されたラベル未付与の文書を表す図 ラベルが付与された文書を表す図

以下、図面に基づいて本発明の好適な実施形態について詳細に説明する。

図１は、本発明に係るラベル付与装置１のハードウェア構成の例を示す図である。
ラベル付与装置１は、図１に示すように制御部１１、記憶部１２、入力部１３、表示部１４、メディア入出力部１５、通信Ｉ／Ｆ１６、周辺機器Ｉ／Ｆ１７等を備え、これらの各部はバス１８を介して接続される。なお、図１のハードウェア構成図は一般的なコンピュータの例であり、用途、目的に応じて様々な構成を採ることが可能である。

制御部１１は、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）等で構成される。ＣＰＵは、記憶部１２、ＲＯＭ、記録媒体等に格納されるプログラムをＲＡＭ上のワークメモリ領域に呼び出して実行し、バス１８を介して接続された各装置を駆動制御する。ＲＯＭは、不揮発性メモリであり、コンピュータのブートプログラムやＢＩＯＳ等のプログラム、データ等を恒久的に保持している。ＲＡＭは、揮発性メモリであり、記憶部１２、ＲＯＭ、記録媒体等からロードしたプログラム、データ等を一時的に保持するとともに、制御部１１が各種処理を行う為に使用するワークメモリ領域を備える。

記憶部１２は、例えばＨＤＤ（ハードディスクドライブ）であり、制御部１１が実行するプログラム、プログラム実行に必要なデータ等が格納される。プログラムに関しては、ＯＳに相当する制御プログラムや、後述の各処理に相当する各アプリケーションプログラムが格納されている。これらの各プログラムコードは、制御部１１により必要に応じて読み出されてＲＡＭに移され、ＣＰＵに読み出されて各種の手段として実行される。

入力部１３は、データの入力を行い、例えば、キーボード、マウス等のポインティングデバイス、テンキー等の入力装置を有する。
表示部１４は、制御部１１の指示により出力される文書データなどを表示画面に表示させるための表示制御回路を有する。

メディア入出力部１５は、例えば、ＤＶＤドライブ等のメディア入出力装置であり、データの入出力を行う。
通信Ｉ／Ｆ（インタフェース）１６は、通信制御装置、通信ポート等を有し、ＬＡＮやインターネット等のネットワークとの通信を媒介する通信インタフェースである。

周辺機器Ｉ／Ｆ１７は、ラベル付与装置１に周辺機器を接続するためのポートである。
バス１８は、各装置間の制御信号、データ信号等の授受を媒介する経路である。

図２〜図５は、ラベル付与装置１の記憶部１２が保持するデータの一例である。
図２は、文書の意味段落に付与するラベル情報１０を示す図である。図２に示すように、「意見」「結論」「例」「話題」「問題」などの意味段落に付与する各ラベルが記憶管理されている。

図３〜図５は、ラベルを付与するために使用する各種データベースを示す図である。各種データベースは、文書の意味段落に付与するラベルとラベルを意味段落へ付与する確率とを対応付けて保持している。
本実施形態では、各種データベースは著者（分類）ごとに、著者（分類）を特定する情報（例えば、著者Ａ、著者Ｂ、・・・などの著者名）と紐づいて記憶部１２に記憶される。
但し、本発明は、データベースの分類を著者に限定するものではなく、分類の仕方は任意である。例えば、歴史、文学、法律、科学、語学などの分野によって分類してもよいし、取扱説明書、技術論文、カタログなどの文書の種類によって分類してもよい。

以降、各種データベースについて説明する。
図３は「単語出現確率データベース（単語出現確率ＤＢ）３０」を示す図である。
単語出現確率ＤＢ３０は、著者（分類）ごとに、ラベルと、そのラベルの意味段落に出現する単語の出現確率とを対応づけて保持している。
例えば、図３の場合、著者Ａでは、ラベル「結論」の意味段落において、単語「つまり」が出現する確率が「０．４」、単語「結局」が出現する確率が「０．２」であることを示す。一方、著者Ｂでは、ラベル「結論」の意味段落において、単語「つまり」が出現する確率が「０．２」、単語「結局」が出現する確率が「０．６」であることを示す。これから、著者Ａは文書の結論に“つまり”の語を使用する傾向が強く、著者Ｂは文書の結論に“結局”の語を使用する傾向が強いことが把握される。
このように著者（分類）ごとに各ラベルの単語の出現確率を保持しておくことで、各著者が各ラベルの意味段落において頻繁に使用する語の傾向などを考慮して、後述するラベル付与が実現される。

図４は「ラベル位置確率データベース（ラベル位置確率ＤＢ４０）」を示す図である。
ラベル位置確率ＤＢ４０は、著者（分類）ごとに、各ラベルの文書中における出現位置の確率、を保持している。
例えば、図４の場合、著者Ａでは、ラベル「結論」が文書の「前」に位置する確率が「０．２」、文書の「後」に位置する確率が「０．８」である。一方、著者Ｂでは、ラベル「結論」が文書の「前」に位置する確率が「０．７」、文書の後段に位置する確率が「０．３」である。これから、著者Ａは結論を文書の最後に述べる傾向が強く、著者Ｂは結論を文書の最初に述べる傾向が強いことが把握される。
このように著者（分類）ごとに各ラベルの文書中における出現位置の確率を保持しておくことで、各著者の文書全体の論理構成の傾向などを考慮して、後述するラベル付与が実現される。

図５は「ラベル遷移確率データベース（ラベル遷移確率ＤＢ）５０」を示す図である。
ラベル遷移確率ＤＢ５０は、著者（分類）ごとに、あるラベルから次の各ラベルへ遷移する確率を保持している。
例えば、図５の場合、著者Ａでは、ラベル「意見」からラベル「理由」に遷移する確率が「０．２」、ラベル「意見」からラベル「例」に遷移する確率が「０．５」である。一方、著者Ｂでは、ラベル「意見」からラベル「理由」に遷移する確率が「０．５」、ラベル「意見」からラベル「例」に遷移する確率が「０．３」である。これから、著者Ａは意見のあとに例を説明する傾向が強く、著者Ｂは意見のあとに理由を説明する傾向が強いことが把握される。
このように著者（分類）ごとにラベルの遷移確率を保持しておくことで、各著者の文書の流れの傾向などを考慮して、後述するラベル付与が実現される。

以上、各種データベースの内容について説明した。

次に、上述した各種データベースを作成する処理について説明する。尚、本実施形態では、ラベル付与装置１が各種データベースを作成するが、これに限らず、その他コンピュータが各種データベースを作成してもよい。いずれにしても、作成した各種データベースは、ラベル付与装置１の記憶部１２に記憶される。

（単語出現確率ＤＢの作成）
まず、図６を参照して、「単語出現確率ＤＢ３０」を作成する処理について説明する。図６は、ある著者Ａの単語出現確率ＤＢ３０を生成する処理の流れを説明するフローチャートである。

ラベル付与装置１の制御部１１は、著者Ａの訓練データ６０の入力を受付ける（ステップＳ１０１）。ここで、訓練データ６０とは、例えば、図６に示すように、「意見」「理由」などのラベルが予め付与されている意味段落の文書群である。

制御部１１は、入力された著者Ａの訓練データ６０を単語に分割し（ステップＳ１０２）、ラベルごとに単語の出現頻度（出現回数）をカウントし（ステップＳ１０３）、ラベルごとに単語の出現確率を算出する（ステップＳ１０４）。例えば、制御部１１は、あるラベル「ｌａｂｅｌ_ｌ」におけるある単語「ｗｏｒｄ_ｉ」の出現確率を数式１のように算出する。

ここで、分子のＦ_ｗ（ｌａｂｅｌ_ｌ，ｗｏｒｄ_ｉ）は、ステップＳ１０３においてカウントされたあるラベル「ｌａｂｅｌ_ｌ」における単語「ｗｏｒｄ_ｉ」の出現頻度（出現回数）を表す。分母は、ラベル「ｌａｂｅｌ_ｌ」における全ての単語の出現頻度（出現回数）の総和を表す。

そして、制御部１１は、ステップＳ１０４において算出した単語の出現確率をラベルごとに単語出現確率ＤＢ３０に登録する（ステップＳ１０５）。
以上の処理は、著者（分類）ごと（著者Ａ、著者Ｂ、・・・）に行われ、単語出現確率ＤＢ３０に順次登録していく。

（ラベル位置確率ＤＢの作成）
次に、図７及び図８を参照して、ラベル位置確率ＤＢ４０を作成する処理について説明する。図７は、ある著者Ａのラベル位置確率ＤＢ４０を作成する処理の流れを示すフローチャートである。

ラベル付与装置１の制御部１１は、ある著者Ａの訓練データ７０の入力を受付ける（ステップＳ２０１）。ここで、訓練データ７０とは、例えば、予め意味段落にラベルが付与された著者Ａの文書群である。

制御部１１は、入力した各文書のラベルを位置ごとにｎ分割し（ステップＳ２０２）、ラベルの位置ごとの出現頻度をカウントし（ステップＳ２０３）、ラベルの位置ごとの出現確率を算出する（ステップＳ２０４）。

例えば、制御部１１は、あるラベル「ｌａｂｅｌ_ｌ」が文書をｎ分割したうちのｉ番目の位置（ｐｏｓｉｔｉｏｎ_ｉ）で出現する確率を次のように算出する。

ここで、分子のＦ_ｐ（ｌａｂｅｌ_ｌ，ｗｏｒｄ_ｉ）は、ステップＳ２０３においてカウントされた、あるラベル「ｌａｂｅｌ_ｌ」がｉ番目の位置（ｐｏｓｉｔｉｏｎ_ｉ）で出現する出現頻度（出現回数）である。分母は、あるラベル「ｌａｂｅｌ_ｌ」の全ての位置での出現頻度（出現回数）の総和である。

そして、制御部１１は、ステップＳ２０４において算出したラベルの位置ごとの出現確率をラベル位置確率ＤＢ４０に登録する（ステップＳ２０５）。
以上の処理は、著者（分類）ごと（著者Ａ、著者Ｂ、・・・）に行われ、ラベル位置確率ＤＢ４０に順次登録していく。

図８は、上記したラベルの位置ごとの出現確率を算出する具体例を説明する図である。例えば、図８（ａ）のように各文書に３つのラベルが付与された文書Ａ、文書Ｂ、文書Ｃが訓練データとして入力されたものとする。この場合、例えば図８（ｂ）に示すように、各文書のラベルを、文書の位置ごと（「前」「中」「後」）に３分割し、ラベルの位置ごとの出現頻度をカウントする。図８（ｂ）の場合、ラベル「結論」の位置ごとの出現頻度は、「前」が１、「中」が０、「後」が２である。したがって、図８（ｃ）に示すように、ラベル「結論」の位置ごとの出現確率は、「前」が０．３３（≒１／（１＋０＋２））、「中」が０（＝０／（１＋０＋２））、「後」が、０．６７（≒２／（１＋０＋２））となる。

尚、図８の例では、文書の３つのラベルを「前」「中」「後」の３つに位置分け（分割）した簡単な例を説明したが、訓練データの各文書のラベルの数は任意でよく、また、位置分けの数（分割数ｎ）も任意でよい。
例えば、Ｍ個のラベルが付与されている文書をｎ分割して位置分けする場合を考える。この場合、Ｍ／ｎの商をａとすると、Ｍ個のラベルをａ個ごとに位置分けしていく。つまり、文書の頭から数えて１番目〜ａ番目までのａ個のラベルが位置１（ｐｏｓｉｔｉｏｎ_１）、ａ＋１番目〜２ａ番目までのａ個のラベルが位置２（ｐｏｓｉｔｉｏｎ_２）、２ａ＋１番目〜３ａ番目までのａ個のラベルが位置３（ｐｏｓｉｔｉｏｎ_３）、・・・といった具合に位置分けしていく。尚、Ｍ／ｎが割り切れず、余りがｂとなる場合、最後の位置ｎ（ｐｏｓｉｔｉｏｎ_ｎ）には、余りのｂを加えたａ＋ｂ個のラベルが位置分けされる。

（ラベル遷移確率ＤＢの作成）
次に、図９及び図１０を参照して、「ラベル遷移確率ＤＢ５０」を作成する処理について説明する。図９は、ある著者Ａのラベル位置確率ＤＢを作成する処理の流れを示すフローチャートである。

ラベル付与装置１の制御部１１は、ある著者Ａの訓練データ９０の入力を受付ける（ステップＳ３０１）。ここで、訓練データ９０とは、例えば、予め意味段落にラベルが付与された著者Ａの文書群である。

制御部１１は、ラベルの遷移頻度をカウントし（ステップＳ３０２）、ラベルの遷移確率を算出する（ステップＳ３０３）。ラベルの遷移頻度とは、著者Ａの文書群（訓練データ９０）のうち、例えば、ラベルが「意見」から「結論」へ遷移した回数が何回あったかをカウントしたものであり、あるラベルから次のラベルへの遷移の傾向を表すものである。
例えば、制御部１１は、あるラベル「ｌａｂｅｌ_Ａ」から次のラベル「ｌａｂｅｌ_Ｂ」へ遷移する確率を次のように算出する。

ここで、分子のＦ_ｓ（ｌａｂｅｌ_Ａ，ｌａｂｅｌ_Ｂ）は、ステップＳ３０２においてカウントした、あるラベル「ｌａｂｅｌ_Ａ」から次のラベル「ｌａｂｅｌ_Ｂ」への遷移頻度（遷移回数）を表す。分母はあるラベル「ｌａｂｅｌ_Ａ」から全てのラベルへの遷移頻度（遷移回数）の総和を表す。

制御部１１は、ステップＳ３０３で算出したラベル遷移確率をラベル遷移確率ＤＢ５０に登録する（ステップＳ２０４）。以上の処理は、著者（分類）ごと（著者Ａ、著者Ｂ、・・・）に行われ、ラベル遷移確率ＤＢ５０に順次登録していく。

図１０は、上記したラベルの遷移確率を算出する処理の具体例を説明する図である。図１０（ａ）は、著者Ａの訓練データから得られたラベル「意見」から各ラベル（「理由」「例」「結論」）へ遷移する回数を示した図である。図１０（ａ）では、ラベル「意見」からラベル「理由」に遷移する回数が「３」、ラベル「意見」からラベル「例」に遷移する回数が「５」、ラベル「意見」からラベル「結論」に遷移する回数が「１０」となる。この場合、図１０（ｂ）に示すように、ラベル「意見」からラベル「理由」に遷移するラベルの遷移確率は、０．１７（≒３／（３＋５＋１０））、ラベル「意見」からラベル「例」に遷移するラベルの遷移確率は、０．２８（≒５／（３＋５＋１０））、ラベル「意見」からラベル「結論」に遷移するラベルの遷移確率は、０．５６（≒１０／（３＋５＋１０））となる。

以上、各種データベースを作成する処理について説明した。

＜ラベル付与装置１の動作＞
次に、図１１〜図１５を参照してラベル付与装置１の動作を説明する。
図１１は、ラベル付与装置１が実行するラベル付与処理の流れを説明するフローチャートである。ラベル付与装置１はラベル付与処理の各ステップを実行するためのプログラムを制御部１１のＲＯＭまたは記憶部１２等に保持している。ラベル付与装置１の制御部１１（ＣＰＵ）は、このプログラムに従ってラベル付与処理を実行する。

まず、制御部１１は、ラベル未付与の文書４の入力を受付ける（ステップＳ４０１）。文書４には、著者を特定する書誌情報等が含まれているものとする。
ここで、文書４は、予め、手動若しくは自動でＭ個の意味段落５に段落分けされているものとする。
図１４は入力された文書４の例を示す図である。図１４の場合、文書４は予め３つの意味段落５に段落分けされている。

尚、文書４は、入力部１３やメディア入出力部１５、ネットワークを介して通信Ｉ／Ｆ１６から入力されてもよく、その方法は問わない。
また、本実施形態では、文書４は、予め、手動若しくは自動で意味段落分けされているものとするが、これに限らず、文書４は意味段落分けがされていない文書であっても良い。この場合、制御部１１が文書４の入力を受付けたあと、ラベル付与装置１の入力部１３を介して手動で意味段落分けを行うか、若しくは、制御部１１によって自動で意味段落分けを行う。

次に、制御部１１は、ラベルを付与する意味段落５の段落番号ｍを１に初期化しておく（ステップＳ４０２）。

ステップＳ４０３以降で、制御部１１は、文書４の各意味段落５にラベルを付与していく。
ステップＳ４０３において、制御部１１は、ラベルが未付与の意味段落５がある場合（ｍ＜＝Ｍ、ステップＳ３の「Ｙｅｓ」）、ステップＳ４０４に移行する。

ステップＳ４０４において、制御部１１は、ステップＳ４０１において入力された文書４の書誌情報等から著者（分類）を取得し、著者（分類）に対応する各種データベースに基づいて、文書４のｍ番目の意味段落５に最適なラベルを決定し付与する。

ここで、図１２及び図１３を参照して、最適なラベルを決定し付与する処理について説明する。
以降に示すように、制御部１１は、「単語出現確率による付与確率」、「ラベル位置確率による付与確率」、及び「ラベル遷移確率による付与確率」を、著者（分類）に対応する各種データベースから算出し、これらを総合して（各付与確率を掛け合わせた値が最大となる）ラベルを決定する。

図１２は、最適なラベルを決定し付与する処理の流れを示すフローチャートである。

（単語確率による付与確率を算出）
ステップＳ５０１において、制御部１１は、「単語出現確率による付与確率」（単語出現確率ＤＢ３０から取得し算出される各ラベルを付与する確率）を算出する。具体的には、制御部１１は、ｍ番目の意味段落５内の文書を単語に分割し、各単語に対する各ラベルと各確率を、単語出現確率ＤＢ３０から取得し、取得した確率を掛け合わせて、付与確率として算出する。例えば、分割した意味段落５内の単語の総数をＮとすると、制御部１１は、あるラベル「ｌａｂｅｌ_ｌ」の「単語確率による付与確率」Ｐ（ｗ_ｌ）を次のように算出する。

「単語確率による付与確率」を算出する具体例を説明する。例えば、現在処理中の段落が、図１４に示す文書４の２番目の意味段落５だとする。このとき、２番目の意味段落５の文書（“例えば、Ａ店では、実際の店舗・・・”）を、「例えば」「Ａ店」「実際」「店舗」・・・と単語に分割し、各単語に対する各ラベルと各確率を単語出現確率ＤＢ３０（図３参照）から取得する。著者（分類）が「著者Ａ」の場合、単語出現確率ＤＢ３０に単語「例えば」が存在するため、対応するラベル「例」とその確率「０．８」が取得される。他にも意味段落５にラベル「例」に属する単語が存在すれば、その単語の確率を単語出現確率ＤＢ３０から取得し、取得済みの確率「０．８」に順次掛け合わせていき、ラベル「例」の「単語確率による付与確率」（数式４）が算出される。以上の付与確率を各ラベルについて算出し記憶部１２に記憶する。

図１３は、図１４に示す文書４の各意味段落５に対するラベルの付与確率を示す図である。
例えば、図１３（ａ）は、文書４の各意味段落５に対する各ラベルの「単語出現確率による付与確率」を示す。図１３（ａ）の場合、１番目の意味段落５では、各ラベルのうち、ラベル「話題」の確率「０．４」が最も大きく、２番目の意味段落５では、ラベル「例」の確率「０．８」が最も大きく、３番目の意味段落５では、ラベル「意見」の確率「０．８」が最も大きいことが分かる。

（ラベル位置確率による付与確率を算出）
次に、ステップＳ５０２において、制御部１１は、「ラベル位置確率によるラベル付与確率」（ラベル位置確率ＤＢ４０から取得し算出される各ラベルを付与する確率）を算出する。具体的には、制御部１１は、ラベルを位置ごとにｎ分割し、処理中のｍ番目の意味段落の該当位置（ｐｏｓｉｔｉｏｎ_ｓ）における各ラベルと各確率を、ラベル位置確率ＤＢ４０から取得し、付与確率を算出する。例えば、制御部１１は、あるラベル（「ｌａｂｅｌ_ｌ」）の「ラベル位置確率による付与確率」Ｐ（ｐ_ｌ）を次のように算出する。

「ラベル位置確率による付与確率」を算出する具体例を説明する。例えば、図１４に示す文書４をラベルの位置ごと（「前」「中」「後」）に３分割した場合を考える。現在処理中の意味段落が２番目の意味段落５の場合、意味段落５の該当位置（「中」）における各ラベルと各確率をラベル位置確率ＤＢ４０（図４参照）から取得する。例えば、著者（分類）が「著者Ａ」の場合、位置「中」におけるラベル「結論」とその確率「０．０」、位置「中」におけるラベル「例」とその確率「０．４」、・・・を取得し、「ラベル位置確率による付与確率」として算出する。このように算出した各ラベルの付与確率を記憶部１２に記憶する。

図１３（ｂ）は、図１４に示す文書４の各意味段落５に対する各ラベルの「ラベル位置確率による付与確率」を示す。図１３（ｂ）の場合、１番目の意味段落５では、各ラベルのうち、ラベル「結論」の確率「０．６」が最も大きく、２番目の意味段落５では、ラベル「意見」の確率「０．６」が最も大きく、３番目の意味段落５では、ラベル「例」の確率「０．５」が最も大きいことが分かる。

（ラベル遷移確率による付与確率算出）
次に、ステップＳ５０３において、制御部１１は、「ラベル遷移確率によるラベル付与確率」を算出する。具体的には、制御部１１は、１つ前のｍ−１番目の意味段落５に付与したラベル（遷移元）に対する各ラベル（遷移先）と各確率を、ラベル遷移確率ＤＢ５０から取得し、付与確率を算出する。例えば、制御部１１は、あるラベルｌａｂｅｌ_ｌの「ラベル遷移確率によるラベル付与確率」Ｐ（ｓ_ｌ）を次のように算出する。

ここで、ｌａｂｅｌ_{Ｂｅｆｏｒｅ}は、１つ前の意味段落５（ｍ−１番目の意味段落５）に付与したラベルを示す。

「ラベル遷移確率によるラベル付与確率」を算出する具体例を説明する。例えば、ｍ−１番目の意味段落５に付与したラベルが「意見」だとすると、ラベル「意見」から次に遷移する各ラベルと各確率を、ラベル遷移確率ＤＢ５０（図５参照）から取得し算出する。
著者（分類）が「著者Ａ」の場合、遷移元のラベル「意見」の遷移先として、ラベル「理由」とその確率「０．２」、ラベル「例」とその確率「０．５」、・・・を取得し、「ラベル遷移確率による付与確率」として算出する。このように算出した各ラベルの付与確率を記憶部１２に記憶する。

図１３（ｃ）は、図１４に示す文書４の各意味段落５に対する各ラベルの「ラベル遷移確率による付与確率」を示す。１番目の意味段落５では、遷移元のラベルが存在しないため、付与確率は算出されない。２番目の意味段落５では、後述するように１番目の意味段落５の最適なラベルが「話題」と決定されることから、図１３（ｃ）に示すように、遷移元のラベル「話題」から次に遷移する各ラベルの確率が算出される。２番目の意味段落５では、ラベル「例」に遷移する確率「０．４」が最も大きいことが分かる。また、３番目の意味段落５では、後述するように２番目の意味段落５の最適なラベルが「例」と決定されることから、図１３（ｃ）に示すように、遷移元のラベル「例」から次に遷移する各ラベルの確率が算出される。３番目の意味段落５では、ラベル「意見」に遷移する確率「０．５」が最も大きいことが分かる。

（最適なラベルの決定）
そして、制御部１１は、上記したステップＳ５０１、Ｓ５０２、及びＳ５０３により算出した各ラベルの付与確率に基づいて確率的に最適なラベルを決定し付与する（ステップＳ５０４）。
具体的には、制御部１１は、数式７に示すように、付与確率Ｐ（ｗ_ｌ）、Ｐ（ｐ_ｌ）、及びＰ（ｓ_ｌ）を掛け合わせたＰ（ｌ）を最大とするラベル（ｌａｂｅｌ_ｌ）を最適なラベル(ｌａｂｅｌ_{ｏｐｔｉｍｕｍ})として決定する。

図１３を参照して、最適なラベルを決定する具体例を説明する。図１３（ｄ）は、図１３（ａ）〜（ｃ）に示した「単語出現確率による付与確率」「ラベル位置確率による付与確率」「ラベル遷移確率による付与確率」の３つの確率をラベルごとに掛け合わせた値（上式のＰ（ｗ_ｌ）Ｐ（ｐ_ｌ）Ｐ（ｓ_ｌ）又はＰ（ｗ_ｌ）Ｐ（ｐ_ｌ））を示す。
図１３（ｄ）に示すように、１番目の意味段落５では、ラベル「話題」の値「０．２０」（＝０．４（単語出現確率による付与確率）×０．５（ラベル位置確率による付与確率））が最も大きいため、ラベル「話題」が最適なラベルとして決定される。尚、上記したように１番目の意味段落５ではラベル遷移確率による付与確率は考慮されない。
また、２番目の意味段落５では、ラベル「例」の値「０．１３」（≒０．８（単語出現確率による付与確率）×０．４（ラベル位置確率による付与確率）×０．４（ラベル遷移確率による付与確率））が最も大きいため、ラベル「例」が最適なラベルとして決定される。
さらに、３番目の意味段落５では、ラベル「意見」の値「０．１２」（＝０．８（単語出現確率による付与確率）×０．３（ラベル位置確率による付与確率）×０．５（ラベル遷移確率による付与確率））が最も大きいため、ラベル「意見」が最適なラベルとして決定される。

以上のように、制御部１１は、最適なラベルを決定し各意味段落に付与する。尚、本実施形態では、「単語出現確率による付与確率」「ラベル位置確率による付与確率」「ラベル遷移確率による付与確率」の全てを用いて最適なラベルを決定しているが、これに限らず、上記３つの付与確率のうち１つ又は２つの付与確率を用いて最適なラベルを決定してもよい。

図１１のフローチャートの説明に戻る。
ステップＳ４０５において、ラベルを付与する意味段落５の段落番号ｍを次の意味段落５の段落番号に更新し（ｍ←ｍ＋１）、ステップＳ４０３の処理に戻る。

そして、制御部１１は、ステップＳ４０３〜ステップＳ４０５におけるラベル付与処理を繰り返し実行し、文書４の全ての意味段落５にラベルを付与すると（ステップＳ３において「Ｙｅｓ」）、ステップＳ４０６へ移行し、ラベルが付与された文書４を出力する。
図１５は、ステップＳ４０６において出力されたラベルが付与された文書４の例を示す図である。

以上、ラベル付与装置１の動作を説明した。本実施形態によれば、著者（分類）に応じたデータベースに基づいて文書の意味段落に最適なラベルを付与する。このため、著者（分類）ごとの傾向（文書表現、論理構成など）を反映した適切なラベルの付与が実現される。尚、前述したとおり、本発明はデータベースの分類を著者に限定するものではない。例えば、データベースの分類は、前述したように文書の分野（歴史、文学、・・・）や、文書の種類（取扱説明書、技術論文、カタログ）などとしてもよい。これにより、分野等に固有の文書の形式や慣習などを反映したデータベースに基づいて最適なラベルを付与することも可能である。

添付図面を参照しながら、本発明に係るラベル付与装置等の好適な実施形態について説明したが、本発明はかかる例に限定されない。当業者であれば、本願で開示した技術的思想の範疇内において、各種の変更例又は修正例に想到し得ることは明らかであり、それらについても当然に本発明の技術的範囲に属するものと了解される。

１ ・・・・・・ラベル付与装置
４ ・・・・・・文書
５ ・・・・・・意味段落
１１ ・・・・・制御部
１２ ・・・・・記憶部
１３ ・・・・・入力部
１４ ・・・・・表示部
１５ ・・・・・メディア入出力部
１６ ・・・・・通信Ｉ／Ｆ
１７ ・・・・・周辺機器Ｉ／Ｆ
１０ ・・・・・ラベル情報
３０ ・・・・・単語出現確率データベース
４０ ・・・・・ラベル位置確率データベース
５０ ・・・・・ラベル遷移確率データベース

Claims (6)

1. 文書の意味段落に付与するラベルと前記ラベルを意味段落へ付与する確率とを対応付けたデータベースを分類毎に記憶する記憶手段と、
   前記分類を含む文書を入力する入力手段と、
   前記分類に対応する前記データベースに基づいて前記文書の意味段落にラベルを付与する付与手段と、
   意味段落にラベルが付与された前記文書を出力する出力手段と、
   を備えることを特徴とするラベル付与装置。
2. 前記データベースは、ラベル毎に単語の出現確率を表す単語出現確率を含み、
   前記付与手段は、前記意味段落内の文書を単語に分割し、
   分割した前記単語の前記単語出現確率を前記データベースから取得し、前記単語出現確率が最も大きいラベルを、前記意味段落に付与することを特徴とする請求項１に記載のラベル付与装置。
3. 前記データベースは、ラベル毎に文書中におけるラベルの出現位置の傾向を表すラベル位置確率を含み、
   前記付与手段は、前記意味段落の前記ラベル位置確率を前記データベースから取得し、前記ラベル位置確率が最も大きいラベルを、前記意味段落に付与することを特徴とする請求項１に記載のラベル付与装置。
4. 前記データベースは、ラベル毎に意味段落間でのラベルの遷移の傾向を表すラベル遷移確率を含み、
   前記付与手段は、前記意味段落の前の意味段落に付与されたラベルから前記意味段落のラベルへの前記ラベル遷移確率を前記データベースから取得し、前記ラベル遷移確率が最も大きいラベルを、前記意味段落に付与することを特徴とする請求項１に記載のラベル付与装置。
5. 文書の意味段落に付与するラベルと前記ラベルを意味段落へ付与する確率とを対応付けたデータベースを分類毎に記憶するラベル付与装置によるラベル付与方法であって、
   前記分類を含む文書を入力する入力ステップと、
   前記分類に対応する前記データベースに基づいて前記文書の意味段落にラベルを付与する付与ステップと、
   意味段落にラベルが付与された前記文書を出力する出力ステップと、
   を含むことを特徴とするラベル付与方法。
6. コンピュータを、
   文書の意味段落に付与するラベルと前記ラベルの意味段落へ付与する確率とを対応付けたデータベースを記憶する記憶手段、
   前記分類を含む文書を入力する入力手段、
   前記分類に対応する前記データベースに基づいて前記文書の意味段落にラベルを付与する付与手段、
   意味段落にラベルが付与された前記文書を出力する出力手段、
   として機能させることを特徴とするプログラム。
   

Images