JP2008204010A - 質問内容抽出装置と質問内容抽出方法 - Google Patents

Abstract

【課題】 自然言語の文章から適切に質問内容を抽出することが可能な技術を提供する。
【解決手段】 本発明は、自然言語の文章から質問内容を抽出する装置として具現化される。その質問内容抽出装置は、その文章を表現する文字列を入力する手段と、その文字列に対応する文節の順列を生成する手段と、その文節の順列に含まれる文節の中から、質問述語を決定する手段と、その文節の順列においてその質問述語よりも前方にある文節を対象として、その質問述語を基準とする係り受け関係を決定する手段と、その質問述語を基準とする係り受け関係をその質問内容として出力する手段とを備えている。
【選択図】 図８

Description

本発明は、自然言語の文章の中から、質問内容を抽出する装置と方法に関する。詳しくは、人間が自然言語によって表明した文章の中から、質問として問合せている内容を抽出する装置と方法に関する。本明細書で自然言語とは、人間が日常的に用いている言語のことをいう。

自然言語の文章から、意味内容を抽出する技術についての研究がなされている。自然言語の文章としては、例えばアンケートの自由記入欄に記載された文章や、人間の話す言葉を音声認識した文章などが相当する。自然言語の文章では、同じ意味内容についても多種多様な表現がなされるが、同じ意味内容の文章については、表現に差異があっても、同じ意味を示すものとして扱うことが好ましい。そのためには、自然言語の文章から意味内容を抽出する技術が必要とされる。

文章の中から意味内容を抽出する手法としては、自然言語の文章を要約し、要約された結果をその文章の意味内容として扱う手法が考えられる。文章を要約する技術は、例えば特許文献１に開示されている。特許文献１に開示された技術では、文章に含まれる単語別に重要度を計算し、重要度の高い単語を含む文を抽出することで、文章の要約を生成する。

特開２００２−２９７６３５号公報

上記した従来技術の要約手法では、文章に含まれる単語の重要度のみに着目しており、単語同士の意味のつながりについては考慮されていない。単語の重要度は、多くの場合、文章の中での出現回数に応じて評価され、頻出する単語ほど重要度が高く評価される。従って、文章の中に頻出する単語を含む文を重要な文と認識してしまい、必ずしも文章全体としての意味内容を捉えたものとなっていないことがあった。

自然言語の文章が質問を意図したものである場合、質問内容を確実に相手側に伝えるために、文章内で付加的な説明が多くなされる傾向がある。そのため、文章内で出現回数の多い単語だからといって、必ずしも質問内容との意味のつながりが強いわけではない。上記した技術では、自然言語の文章から質問内容を適切に抽出することが困難であった。

本発明は上記課題を解決する。本発明では、自然言語の文章から適切に質問内容を抽出することが可能な技術を提供する。

本発明は、自然言語の文章から質問内容を抽出する装置として具現化される。その質問内容抽出装置は、その文章を表現する文字列を入力する手段と、その文字列に対応する文節の順列を生成する手段と、その文節の順列に含まれる文節の中から、質問述語を決定する手段と、その文節の順列においてその質問述語よりも前方にある文節を対象として、その質問述語を基準とする係り受け関係を決定する手段と、その質問述語を基準とする係り受け関係をその質問内容として出力する手段とを備えている。

本発明の質問内容抽出装置では、自然言語の文章を表現する文字列を入力し、入力された文字列に対応する文節の順列を生成する。そして、文節の順列の中から、質問述語を決定する。そして、文節の順列において質問述語の前方にある文節を対象として、質問述語を基準とする係り受け関係を決定する。この係り受け関係の判断の際には、質問述語と同じ文内の文節だけではなく、さらに前方にある別の文内の文節についても係り受け関係の有無が判断される。質問述語を基準とする係り受け関係が決定されると、その係り受け関係を文章から抽出された質問内容として出力する。

上記の装置では、単語の出現頻度に着目するのではなく、自然言語の文章の中で質問内容に直接関係する質問述語に着目し、その質問述語を基準とする係り受け関係に含まれる文節をもとの文章から抽出して出力する。このような構成とすることによって、文章全体での意味のつながりを反映した質問内容の抽出を行うことができる。

上記の質問内容抽出装置において、その出力手段は、その質問述語を基準とする係り受け関係からその質問内容を表現する文字列を再構築し、その再構築された文字列をその質問内容として出力することが好ましい。

上記のように、質問内容を文字列として再構築することによって、抽出された質問内容をより人間が理解しやすくすることができる。

本発明は方法としても具現化される。本発明の方法は、自然言語の文章から質問内容を抽出する方法であって、前記文章を表現する文字列を入力する工程と、前記文字列に対応する文節の順列を生成する工程と、前記文節の順列に含まれる文節の中から、質問述語を決定する工程と、前記文節の順列において前記質問述語よりも前方にある文節を対象として、前記質問述語を基準とする係り受け関係を決定する工程と、前記質問述語を基準とする係り受け関係を前記質問内容として出力する工程とを備えている。

本発明の質問内容抽出装置および質問内容抽出方法によれば、自然言語の文章から適切に質問内容を抽出することができる。

以下に発明を実施するための最良の形態を列記する。
（形態１）前記文節の順列を生成する手段は、前記文字列から形態素の順列を生成し、生成された形態素の順列から前記文節の順列を生成する。

図１は本実施例の質問内容抽出装置１００の構成を模式的に示している。質問内容抽出装置１００は、例えば商品販売者が設置したカスタマーセンターに配置されており、商品購買者から集まったアンケートの自由記入欄に記載された自然言語の文章の中から、商品販売者に対する質問内容を抽出する。抽出された質問内容は、商品販売者が今後のカスタマーサービスを行ううえでの参考資料として、質問内容データベース（以下ではデータベースをＤＢと表記する）１０２に登録される。

質問内容抽出装置１００は、処理装置（ＣＰＵ）、記憶装置（光学記憶媒体、磁気記憶媒体、あるいはＲＡＭやＲＯＭといった半導体メモリ等）、入出力装置（キーボード、ディスプレイ等）、演算装置などから構成されている汎用のコンピュータ装置であって、記憶装置にインストールされたプログラム１０４に従って動作する。

図２に質問内容抽出装置１００が実現する機能構成を模式的に表現したブロック図を示している。質問内容抽出装置１００は、入力部２０２、形態素解析部２１０、形態素ＤＢ２２０、文節解析部２１２、質問述語抽出部２１４、質問述語ＤＢ２２４、項構造解析部２１６、係り受けＤＢ２２２、照応解析部２１８、出力部２０４に相当するそれぞれの機能を実現する。

入力部２０２では、質問内容の抽出対象となる自然言語の文章を入力する。本実施例の質問内容抽出装置１００では、カスタマーセンターに駐在するオペレータが、アンケートの自由記入欄に記載された文章を、質問内容抽出装置１００のキーボードを用いて入力する。入力部２０２は、キーボードから入力された文字列を、テキストデータの形式で形態素解析部２１０に出力する。

図３に入力部２０２から入力される自然言語の文章の例を示す。図３に示す例では、入力される文章はプリウス（登録商標）に関するものであり、「プリウスの購入を考えている。」という文と、「うちの車庫は高さが低い。」という文と、「車庫に入るか心配。」という文と、「トランクをオープンにしたときの上まであがった高さ寸法を教えて。」という文と、「車庫に入るならば購入したい。」という文の５つの文から構成されている。入力部２０２では、これらの文からなる文章の文字列が入力される。

形態素解析部２１０は、入力部２０２から入力された文字列から、形態素の順列を生成する。本明細書で形態素とは、言語として意味をなす最小の文字列であって、それ以上小さくすると意味を成さなくなるものをいう。

形態素解析部２１０には形態素ＤＢ２２０が接続されている。形態素ＤＢ２２０には、自然言語で用いられる形態素群のそれぞれについて、形態素を構成する文字列と、その形態素の品詞を示す識別子が関連付けて記憶されている。また形態素ＤＢ２２０には、３つの形態素の順序付きの組合せに関して、その組み合わせが自然言語の文章で出現する確率が記憶されている。この形態素の組合せの出現確率は、日本語コーパスを用いた事前学習によって、予め適切に設定しておくことができる。形態素ＤＢ２２０は、入力された文字列から、その文字列に相当する最も確からしい形態素の順列を生成する。形態素の順列が生成されると、そこに含まれる形態素のそれぞれについて、属性として品詞の大分類と小分類を示す識別子を付与する。

図４に、図３の文章の文字列から形態素の順列を生成した結果を示している。図３の文章の文字列からは、先頭から順に、「プリウス」という形態素、「の」という形態素、「購入」という形態素、「を」という形態素、・・・「。」という形態素から構成される、形態素の順列が生成される。また、「プリウス」という形態素には品詞の大分類として「名詞」が、品詞の小分類として「固有名詞」が、それぞれ属性として付与される。「の」という形態素には品詞の大分類として「助詞」が、品詞の小分類として「連体化」が、それぞれ属性として付与される。それ以降の形態素についても、その形態素の品詞の大分類と小分類がそれぞれ属性として付与される。

入力された文字列に対応する形態素の順列が生成されると、形態素解析部２１０は、形態素順列データを文節解析部２１２に出力する。本実施例では、形態素順列データは、生成された形態素の順列に含まれるすべての形態素に関して、その形態素の文章の先頭からの順序を示す形態素番号と、その形態素に対応する文字列と、その形態素の品詞の大分類と小分類を示す識別子が関連付けられたデータである。

文節解析部２１２は、形態素解析部２１０から入力された形態素順列データから、文節の順列を生成する。本明細書で文節とは、１つの自立語と、それに付随する付属語を含んでいる。本実施例では、形態素の品詞が動詞、形容詞、形容動詞、名詞、連体詞、副詞、接続詞、感動詞などの場合には、その形態素は自立語として扱われ、形態素の品詞が助詞、助動詞、記号などの場合には、その形態素は付属語として扱われる。

文節解析部２１２は、形態素解析部２１０から入力された形態素の順列について、先頭から順に形態素の品詞を評価していき、自立語である形態素が発見されると、その自立語の周囲の付属語とその自立語をグルーピングして、その自立語を含む文節を形成する。この処理を形態素の順列の最後まで繰り返し行うことで、文節の順列を生成することができる。

図５に、図３の文章から生成された形態素の順列（図４参照）から、文節の順列を生成した例を示している。この場合、先頭から順に、「プリウスの」という文節と、「購入を」という文節と、・・・・、「購入したい。」という文節の順列が生成される。

また文節解析部２１２では、それぞれの文節に属性を付与する。本実施例では、文の末尾に位置する文節について、文末の文節であることを示す識別子を付与する。その文節が文末に位置するか否かは、文節の最後の文字が句点、疑問符または感嘆符であるか否かによって判別する。図３の文章から生成された文節の順列では、「考えている。」という文節と、「低い。」という文節と、「心配。」という文節と、「教えて。」という文節と、「購入したい。」という文節に、文末に位置する文節であることを示す識別子が付与される。

文節の順列が生成されると、文節解析部２１２は、形態素順列データと、文節順列データを、質問述語抽出部２１４に出力する。本実施例で文節順列データは、文章の先頭からの文節の順序を示す文節番号と、その文節を構成する形態素それぞれの形態素番号と、その文節を構成する形態素それぞれに対応する文字列と、その文節の属性を示す識別子が関連付けられたデータである。

質問述語抽出部２１４は、文節解析部２１２から入力された文節順列データに基づいて、文節の順列に含まれる文節の中から質問述語を決定する。
質問述語抽出部２１４は、文節の順列に含まれる文節の中から、文末に位置する文節を対象として、その文節が質問述語であるか否かを判定する。質問述語抽出部２１４には、質問述語ＤＢ２２４が接続されている。質問述語ＤＢ２２４には、自然言語の文章に登場するであろうと想定される複数の質問述語に関して、それらの質問述語を表現する文字列が記憶されている。想定される質問述語としては、例えば「教えて。」という文字列や、「ですか？」という文字列や、「どのくらい？」という文字列が登録されている。

文末に位置する文節の中から想定された質問述語と一致するものが見出されると、質問述語抽出部２１４は、その文節が質問述語であることを示す識別子を、文節順列データにおいてその文節の属性として付与する。図３の文章から生成された文節の順列では、「教えて。」という文節に、質問述語であることを示す識別子が付与される。
文末に位置する全ての文節について質問述語であるか否かの判断を行った後、質問述語抽出部２１４は形態素順列データと文節順列データを項構造解析部２１６へ出力する。

項構造解析部２１６では、質問述語抽出部２１４から入力された形態素順列データと文節順列データに基づいて、質問述語を基準とする文節間の係り受け関係の決定を行う。

自然言語の文章においては、述語である文節と、その前方にある先行詞との係り受け関係としては、ガ格、ニ格、ヲ格の係り受け関係が存在する。質問述語に関しては、多くの場合、ガ格は質問について回答することを要請されている者（例えば商品販売者）を示しており、ニ格は質問をしている者（例えば商品購買者）を示しているから、ガ格やニ格の係り受けについては、文章の中で省略されていることもあるし、省略されていないこともある。またヲ格の係り受けについては、質問内容の主題を示しており、文章の中で明示されていることが多い。本実施例では、ガ格、ニ格、ヲ格の係り受けについて、文章の中にあるものとして判定を行う。

項構造解析部２１６では、２つの文節の間での係り受け関係について、その係り受け関係の得点を評価して、様々な組合せの中から最も得点の高い２つの文節について係り受け関係があるものと判定する。係り受け関係の得点を評価する際には、以下の素性が考慮される。
（１）動詞と名詞の格の共起用例
（２）名詞と格候補の名詞が何文節離れているか
（３）名詞と格候補の名詞の前後関係
（４）格候補の文節の機能語
（５）格候補の格
（６）格候補の主辞の品詞
（７）格候補が人間または組織か否か

上記した素性が文節間の係り受け関係の得点に及ぼす影響については、日本語コーパスを用いた事前学習によって、予め適切に設定しておくことができる。事前学習の結果は係り受けＤＢ２２２に記憶されている。係り受けＤＢ２２２には、２つの文節それぞれの文字列と、それらの文節間の係り受け関係の得点が、関連付けて記憶されている。項構造解析部２１６は、２つの文節の組合せに関して、係り受けＤＢ２２２に記憶された事前学習結果から、それらの文節間の係り受け関係の得点を取得することができる。

項構造解析部２１６は、質問述語よりも前方に位置する全ての文節のうち、名詞句に相当する文節を対象として、質問述語との係り受け関係を評価し、質問述語の先行詞を決定する。文節が名詞句であるか否かは、その文節の自立語の品詞に応じて判断される。係り受け関係の評価においては、評価の対象とする文節のそれぞれについて質問述語との係り受け関係の得点を算出して、最も得点の高い文節をその質問述語の先行詞として決定する。

質問述語と係り受け関係にある先行詞が決定されると、項構造解析部２１６は、文節順列データにおいて、質問述語である文節の係り受けに関する属性として、先行詞の文節番号を付与する。

本実施例の質問内容抽出装置１００では、質問述語の先行詞を決定する際に、その質問述語が含まれる文内だけではなく、文章内でより前方にある別の文に含まれる文節についても、評価対象として扱う。このように文と文の間をまたいだ係り受け関係の評価を行うことによって、文章全体での意味のつながりを反映した係り受け関係を決定することができる。

その後、項構造解析部２１６は、決定された質問述語の先行詞について、その先行詞と他の文節との係り受け関係を判定する。質問述語と他の文節との係り受け関係を評価した場合と同じように、項構造解析部２１６は、その先行詞よりも前方にある全ての文節を対象として、その先行詞との係り受け関係の得点を評価して、最も係り受け関係の得点が高い文節を決定する。このような係り受け関係の評価を繰り返し実施して、自然言語の文章における質問述語を基準とした係り受け関係を決定する。

図６に、図３の文章について質問述語を基準とする係り受け関係を決定した結果を示している。項構造解析部２１６は、まず質問述語である「教えて。」という文節について、先行詞として係り受け関係にある文節を決定する。この例では、「高さ寸法を」という文節が「教えて。」という文節のヲ格の先行詞として決定される。文節順列データにおいて、「教えて。」という文節の係り受け関係に関する属性として、「高さ寸法を」という文節の文節番号が付与される。
その後、項構造解析部２１６は、「高さ寸法を」という文節について、先行詞として係り受け関係にある文節を決定する。図６の例では、「プリウスの」という文節と「あがった」という文節が、「高さ寸法を」という文節の先行詞としてそれぞれ決定される。文節順列データにおいて、「高さ寸法を」という文節の係り受け関係に関する属性として、「あがった」という文節の文節番号と、「プリウスの」という文節の文節番号が付与される。
さらに項構造解析部２１６は、「プリウスの」という文節と「あがった」という文節のそれぞれについて、それらの文節の先行詞として係り受け関係にある文節を決定する。図６の例では、「プリウスの」という文節は順列の先頭にあり、係り受け関係にある先行詞は存在しない。「あがった」という文節については、「トランクを」という文節と「上まで」という文節がそれぞれ先行詞として決定される。「トランクを」という文節と「上まで」という文節は、いずれも文章中に先行詞は発見されないため、項構造解析部２１６は係り受け関係の評価を終了する。

以上のような項構造解析部２１６の処理によって、質問述語を基準とする文節間の係り受け関係が決定される。この係り受け関係は、図７に示すような、質問述語から遡って伸びる係り受け木として表現することができる。図７に示す係り受け木は、自然言語の文章における質問内容に関連した文節のみから構成されており、文章全体を通した意味のつながりを適切に表現してる。
質問述語を基準とする係り受け関係が決定されると、項構造解析部２１６は形態素順列データと文節順列データを照応解析部２１８に出力する。

照応解析部２１８では、質問述語を基準とする係り受け関係に含まれる文節の中で、文章の中に先行詞が見出されなかった文節について、隠れた先行詞の決定を行う。照応解析の詳細については、例えば飯田、乾、松本，”文脈的手がかりを考慮した機械学習による日本語ゼロ代名詞の先行詞同定”，情報処理学会論文誌，2004年3月，第45巻，第3号，p.906―918，等に記載されているため、本明細書では詳細な説明を省略する。
照応解析が行われた後、照応解析部２１８は形態素順列データと文節順列データを出力部２０４に出力する。

出力部２０４は、質問述語を基準とする係り受け関係を、質問内容の抽出結果として出力する。出力部２０４は、照応解析部２１８から入力された文節順列データに基づいて、文節の順列の中から、質問述語を基準とする係り受け関係に含まれる文節のみを出力する。出力部２０４は、質問述語を基準とする係り受け関係に含まれる文節について、それらの文節の文字列と、それらの文節の係り受けに関する属性とを関連付けた出力データを、質問内容ＤＢ１０２に出力する。このように出力部２０４から質問内容ＤＢ１０２に構造化したデータを出力することによって、質問内容抽出装置１００を利用する商品販売者は、多くの商品購買者から寄せられた質問内容を適切に管理することが可能となる。例えば、「プリウス」に関する質問内容をグルーピングして質問内容ＤＢ１０２内で管理することもできるし、「高さ寸法」に関する質問内容をグルーピングして質問内容ＤＢ１０２内で管理することもできる。

あるいは出力部２０４は質問述語を基準とする係り受け関係から、質問内容を表現する文字列を再構築して、再構築された文字列を出力する構成としてもよい。

図８に出力部２０４が質問内容を表現する文字列を再構築する例を示している。出力部２０４は、質問述語を基準とする係り受け関係に含まれる文節について、再構築後の文字列にどの文節を反映させるかを判断する。本実施例では、出力部２０４は、再構築後の文字列が指定された文字数の範囲内に収まるように、どの文節を再構築後の文字列に反映させるかを判断する。

本実施例の質問内容抽出装置１００では、質問述語との関連性が強い文節を優先的に再構築後の文字列に反映する。従って、最も重要度の高い文節は質問述語であり、次いで重要度の高い文節は質問述語の先行詞であり、次いで重要度の高い文節はその先行詞についての先行詞である。本実施例では、重要度の高い順に再構築後の文字列に反映させる文節を順に選択していき、再構築後の文字列が指定された文字数に収まる範囲内で、最大限に長い文字列を再構築後の文字列として出力する。

図８の（ａ）に示す自然言語の文章の文字列（図３に示したものと同一である）からは、図８の（ｂ）、（ｃ）または（ｄ）に示す文字列が質問内容の抽出結果として出力される。図８の（ｂ）に示すように、再構築後の文字列の文字数が１０文字以内に指定された場合には、「高さ寸法を教えて。」という文字列が出力される。図８の（ｃ）に示すように、再構築後の文字列の文字数が１５文字以内に指定された場合には、「プリウスの高さ寸法を教えて。」という文字列が出力される。図８の（ｄ）に示すように、再構築後の文字列の文字数が３０文字以内に指定された場合には、「プリウスのトランクが上まであがった高さ寸法を教えて。」という文字列が出力される。

このようにして出力部２０４から出力される文字列は、図８の（ａ）に示す自然言語の文章から抽出された質問内容を、簡潔かつ適切に表現したものとなっている。本実施例で抽出された質問内容には、自然言語の文章における単語同士の意味のつながりが反映されており、自然言語の文章の全体を通した意味が適切に反映されている。

なお出力部２０４で文字列を再構築する際の条件としては、再構築後の文字列の文字数を指定しておく以外にも、様々な条件を設定することができる。例えば、文字列の再構築に用いる文節の数を予め指定しておいてもよい。あるいは、もとの自然言語の文章の文字数と再構築後の文字列の文字数の比率を予め指定しておいてもよい。

以上、本発明の具体例を詳細に説明したが、これらは例示にすぎず、特許請求の範囲を限定するものではない。特許請求の範囲に記載の技術には、以上に例示した具体例を様々に変形、変更したものが含まれる。
また、本明細書または図面に説明した技術要素は、単独であるいは各種の組み合わせによって技術的有用性を発揮するものであり、出願時請求項記載の組み合わせに限定されるものではない。また、本明細書または図面に例示した技術は複数目的を同時に達成するものであり、そのうちの一つの目的を達成すること自体で技術的有用性を持つものである。

図１は質問内容抽出装置１００の物理的な構成を模式的に示す図である。 図２は質問内容抽出装置１００の機能的な構成を模式的に示す図である。 図３は入力部２０２で入力される自然言語の文章の文字列を例示する図である。 図４は形態素解析部２１０が出力する形態素順列データの構造を例示する図である。 図５は文節解析部２１２が出力する文節順列データの構造を例示する図である。 図６は項構造解析部２１６が出力する質問述語を基準とする係り受け関係を反映した文節順列データの構造を例示する図である。 図７は質問述語を基準とする係り受け関係を表現した係り受け木を模式的に示す図である。 図８は出力部２０４が出力する再構築後の文字列を例示する図である。

符号の説明

１００・・・質問内容抽出装置
１０２・・・質問内容ＤＢ
１０４・・・プログラム
２０２・・・入力部
２０４・・・出力部
２１０・・・形態素解析部
２１２・・・文節解析部
２１４・・・質問述語抽出部
２１６・・・項構造解析部
２１８・・・照応解析部
２２０・・・形態素ＤＢ
２２２・・・係り受けＤＢ
２２４・・・質問述語ＤＢ

Claims (3)

1. 自然言語の文章から質問内容を抽出する装置であって、
   前記文章を表現する文字列を入力する手段と、
   前記文字列に対応する文節の順列を生成する手段と、
   前記文節の順列に含まれる文節の中から、質問述語を決定する手段と、
   前記文節の順列において前記質問述語よりも前方にある文節を対象として、前記質問述語を基準とする係り受け関係を決定する手段と、
   前記質問述語を基準とする係り受け関係を前記質問内容として出力する手段と
   を備える質問内容抽出装置。
2. 前記出力手段は、前記質問述語を基準とする係り受け関係から前記質問内容を表現する文字列を再構築して、前記再構築された文字列を前記質問内容として出力することを特徴とする請求項１の質問内容抽出装置。
3. 自然言語の文章から質問内容を抽出する方法であって、
   前記文章を表現する文字列を入力する工程と、
   前記文字列に対応する文節の順列を生成する工程と、
   前記文節の順列に含まれる文節の中から、質問述語を決定する工程と、
   前記文節の順列において前記質問述語よりも前方にある文節を対象として、前記質問述語を基準とする係り受け関係を決定する工程と、
   前記質問述語を基準とする係り受け関係を前記質問内容として出力する工程と
   を備える質問内容抽出方法。

Images