JP2021124913A - 検索装置 - Google Patents

Abstract

【課題】入力の内容表現の多様性を考慮した検索を行うことができる検索装置を提供する。【解決手段】情報検索装置１００は、ユーザから検索クエリを受け付ける質問入力部１０１と、検索クエリの意味空間におけるガウス分布を推定する分布推定部１０２と、予め定められた複数のテキストデータである検索用データに対して、それぞれの意味空間におけるガウス分布を特定するための情報（平均μおよび共分散ｓ）を記憶する第１メモリ部１０３と、第１メモリ部１０３に記憶されたテキストデータの意味空間における分布を特定するための上記情報（平均μおよび共分散ｓ）および分布推定部１０２により推定されたガウス分布に基づいて、検索クエリとの類似度の高いテキストデータを検索する分布検索部１０４と、分布検索部１０４で検索した、テキストデータを出力する出力部１０５と、を備える。【選択図】図１

Description

本発明は、質問に対する回答を提供する検索装置に関する。

顧客応対業務の効率化を目的とし、顧客からの質問に対して適切な回答を提供するＱＡ検索装置が提供されている。このＱＡ検索装置は、１つまたは複数の質問例と回答文とをペアにしたレコード群を記憶する。ＱＡ検索装置は、顧客からの入力に類似した質問例を検索し、その回答文を出力する。このＱＡ検索装置における検索手段として文書の分散表現を用いるものが提案されている（非特許文献１）。この従来技術におけるＱＡ検索装置は、入力および質問例に含まれる各単語の意味を多次元空間（意味空間と呼ぶ）におけるベクトルで表現し、入力と質問例との距離を、ベクトル表現された対応単語間距離に基づいて算出し、その距離に基づいて検索を行う。

M. J. Kusner et al., "From word embeddingsto document distances," In Proc. ICML, 2015.http://proceedings.mlr.press/v37/kusnerb15.pdf

一般的に、顧客の検索クエリおよびＱＡ検索装置が記憶する質問例の内容の表現が多様である。例えば、検索クエリの内容の粒度は、顧客によって多様である。上述、非特許文献１に記載の技術では、内容表現の多様性を考慮した検索を行っておらず、適切な検索を行うことが困難であった。

そこで、上述の課題を解決するために、本発明は、入力の内容表現の多様性を考慮した検索を行うことができる検索装置を提供することを目的とする。

本発明は、ユーザから検索クエリを受け付ける質問入力部と、自然言語の意味空間における前記検索クエリの分布を推定する分布推定部と、前記意味空間における予め定められた複数のテキストデータのそれぞれの分布を特定するための情報を記憶する記憶部と、前記記憶部に記憶される前記テキストデータの分布を特定するための情報および前記分布推定部により推定された分布に基づいて、前記検索クエリとの類似度の高いテキストデータを検索する検索部と、前記分布検索部で検索した、テキストデータを出力する出力部と、を備える。

この発明によれば、表現の多様性（例えば、粒度が荒いまたは細かい）の高いユーザの検索クエリに対して、その多様性に沿って適切なテキストデータを検索することができる。

本発明によると、検索クエリの表現の多様性を考慮した検索を行うことができる。

本実施形態の情報検索装置１００の機能構成を示すブロック図である。 分布推定処理を説明するための説明図である。 ＲＮＮモデルに、系列データを入力し、その出力として平均μおよび共分散ｓを示した図である。 ガウス分布で表現される意味空間を示す概念図である。 意味空間の具体的な適用例を示す図である。 訓練データの各質問例に対する平均μと共分散ｓとを示す説明図である。 ＫＬダイバージェンスにより算出した、ユーザ入力と質問例とのスコアテーブルを示す図である。 簡略表現の質問例および詳細表現の質問例を示す具体例を示す図である。 ユーザ入力、簡略表現および詳細表現を分布図で表現した情報（画像）を示す図である。 訓練データの具体例を示す図である。 分布学習部１０７における学習処理を説明する模式図である。 情報検索装置１００の質問例の検索処理を示すフローチャートである。 情報検索装置１００における分布推定部１０２のＲＮＮの学習処理を示すフローチャートである。 本開示の一実施の形態に係る情報検索装置１００のハードウェア構成の一例を示す図である。

添付図面を参照しながら本発明の実施形態を説明する。可能な場合には、同一の部分には同一の符号を付して、重複する説明を省略する。

図１は、本実施形態の情報検索装置１００の機能構成を示すブロック図である。この情報検索装置１００は、ユーザ入力である検索クエリの内容の粒度に応じた質問例を検索する装置である。一方で、学習用入力である訓練データに基づいて、内容粒度などの表現の多様性についての分布学習を行う。この情報検索装置１００は、質問入力部１０１、分布推定部１０２（ＲＮＮ（Recurrent Neural Network）１０２ａを含む）、第１メモリ１０３（記憶部）、分布検索部１０４、出力部１０５、訓練データ入力部１０６、および分布学習部１０７を含んで構成されている。

質問入力部１０１は、ユーザ端末（図示せず）からユーザにより入力された質問文である検索クエリを受け付ける部分である。質問入力部１０１は、ネットワーク等の回線を介して、ユーザの入力を受け付けるが、これに限るものではなく、操作部（図示せず）を介して直接ユーザ入力を受け付けてもよい。

分布推定部１０２は、検索クエリに基づいて、その内容の粒度を推定する部分である。具体的には分布推定部１０２は、検索クエリの意味を表現する分布を、予め学習された学習モデルであるＲＮＮ１０２ａを用いて推定する。ここで分布推定について図２を用いて説明する。図２は、分布推定処理を説明するための説明図である。

以下の入力Ａが分布推定処理の対象である。
入力Ａ「オンラインショップで紛失したＳＩＭカードを再発行できますか？」

分布推定部１０２において、入力Ａが形態素解析され、言語で意味を持つ最小単位に分解され、品詞が判別される（処理Ｓ１０１）。
形態素解析結果「オンライン/ショップ/で/紛失/した/ＳＩＭ/カード/を/再/発行/でき/ます/か/？」

そして、構文・各構造解析が行われ、文節間の係り受けが判別される（処理Ｓ１０２）。図に示されるように、形態素解析結果は、場所および対象で動詞を修飾する文節ごとに分解される。いわゆる日本語の文法におけるデ格、ヲ格などで文節の係り受けを判別している。

そして、格構造正規化処理が行われ、一定ルールで修飾節の並び替えが行われ、系列データとして取得される（処理Ｓ１０３）。図では、対象を示す修飾節「紛失した/ＳＩＭ/カードを」と、場所を示す修飾節「オンライン/ショップで」との順番が変えられている。一定のルールとは、修飾節の予め定められた順番を示す。図では、場所を示す修飾節を先に、目的を示す修飾節の後になるように定められたルールに従っている。なお、これに限定するものではない。

そして、整形処理が行われ、格構造をもった木構造の根から書き出し処理が行われる（Ｓ１０４）。図では、「再/発行/でき/ます/か/？」を根として、その後ろに、対象を示す修飾節「紛失した/ＳＩＭ/カードを」、および場所を示す修飾節「オンライン/ショップで」が書き出される。

このようにして、分布推定部１０２は、入力Ａに基づいて正規化された系列データを取得する。さらに、分布推定部１０２は、系列データを分布学習部１０７において学習されたＲＮＮ１０２ａに入力し、ガウス分布の平均μおよび共分散ｓを出力する。

このガウス分布の平均μおよび共分散ｓの出力処理について図を用いて説明する。図３は、ＲＮＮ１０２ａに、系列データを入力し、その出力として平均μおよび共分散ｓを示した図である。図３に示されるように、系列データにおける各形態素および制御符号はＲＮＮ１０２ａに入力される。ここでの制御符号とは、例えば“{”および “}”のほか、場所の修飾節を示す符号、対象の修飾節を示す符号である。各形態素は、ベクトル情報として入力される。制御符号も同様にベクトル化した情報として入力される。

このＲＮＮ１０２ａからの出力は、ガウス分布における平均μおよび共分散ｓとなるように、ＲＮＮ１０２ａは学習されている。なお、ガウス分布は、図４に示される分布であり、本実施形態においては、検索クエリの意味内容をガウス分布で表現する。後述する検索用データおよび訓練データも同様である。図４に示されるように、本実施形態においてはガウス分布で表現される意味空間を構成している。この意味空間は、自然言語の意味内容を表すための空間であり、ユーザ入力の意味およびその内容における粒度を表すことができる。図４においては、縦軸を確率密度、横軸を意味の次元としている。横軸の意味の次元における中心軸は、その入力の意味を示す。分布の幅が広いほど、意味内容の粒度が荒いことを示す。逆に、その幅が狭いほど、意味内容の粒度が細かいことを示す。

図５に、その具体的な概念を示す。例えば、図５において、メッセージＭ１「先月にオンラインショップで買ったスマホの画面が自転車に乗っているときに割れちゃったんだけど、いくらで直せるの？」のガウス分布Ｇ１の幅は狭い。これは、その質問内容の粒度が細かいことを示す。一方、メッセージＭ４「ショップについて教えて」に対応するガウス分布Ｇ４は、その幅が広い。これはその質問内容の粒度が荒い（質問の焦点が広い）ことを示している。

本実施形態においては、入力ＡをＲＮＮ１０２ａに入力して、ベクトルではなく、意味空間内におけるガウス分布を平均μと共分散ｓで表すことで、検索クエリを分布で表現することができる。図５においては、説明の便宜上、意味の次元を２次元で表現しているが、意味の次元は、１２８次元からなるものである。

第１メモリ１０３は、検索用データを記憶する部分であり、ＲＮＮ１０２ａの学習のための訓練データの各質問例に対する平均μと共分散ｓとを記憶する部分である。第１メモリ１０３は、訓練データを検索用データとして記憶するとともに、その平均μと、共分散ｓとを対応付けて記憶する。

図６にその具体例を示す。図に示されるとおり、第１メモリ１０３は、質問ＩＤ、質問例、回答ＩＤ、平均μ、共分散ｓ、およびユークリッド距離Ｌ２（ｓ）を対応付けて記憶している。質問ＩＤは、質問例に対して付与されたＩＤである。回答ＩＤは、質問例に対して用意された回答例に対して付与されたＩＤである。

本実施形態においては、具体的な回答例を省略しているが、他のデータベース（図示せず）において回答ＩＤに紐付けて回答例を記憶している。図６では、質問ＩＤ：１に対して、平均μ：［０．８、０．２］、および共分散ｓ：［［０．２，０］、［０，０．１８］］が記憶されており、行列の形式で記憶されている。ここでは意味の次元として２次元のガウス分布を想定し、それぞれＸ軸、Ｙ軸に対する平均μおよび共分散ｓを示している。

分布検索部１０４は、分布推定部１０２により推定されたユーザ入力のガウス分布（平均μおよび共分散ｓ）と、第１メモリ１０３に記憶されているガウス分布（平均μおよび共分散ｓ）との非対称の類似度を求めることにより、ユーザ入力に最も近い質問例を第１メモリ１０３から検索する部分である。

非対称の類似度は、距離の公理として定められる４つの条件のうち、非負性（正定値性）（ｄ（ｘ、ｙ）＞０）および同一性（ｘ＝ｙである場合、ｄ（ｘ、ｙ）＝０）を満たすものであることをいう。対称性（ｄ（ｘ、ｙ）＝ｄ（ｙ、ｘ）、および三角不等式（ｄ（ｘ，ｙ）＋ｄ（ｙ，ｚ）≧ｄ（ｘ、ｚ））は満たさない。言い換えると、非対称の類似度とは、２つの指標の類似度を計算する際において、その指標を交換して計算した場合に、それぞれの異なる類似度をいう。本実施形態においては、２つの文章は類似しているが、一方の文章は、詳細な文章を示し、他方の文章が、簡略化した文章を示している。

分布検索部１０４は、類似度を求める際には、以下の式（１）に示されるＫＬダイバージェンスＤ（Ｐ｜Ｑ）を利用する。ＫＬ（Kullback-Leibler）ダイバージェンスは、２つの確率分布（ガウス関数）がどの程度似ているかを示す尺度である。

ここではｐ（ｘ）がユーザ入力のガウス分布を示し、ｑ（ｘ）が質問例のガウス分布を示す。分布検索部１０４は、それぞれ平均μおよび共分散ｓで示されるガウス分布（ガウス関数）に基づいてユーザ入力（検索クエリ）Ｐに対する質問例Ｑの類似度、および質問例Ｑに対するユーザ入力Ｐの類似度を算出する。

図７は、そのＫＬダイバージェンスにより算出した、ユーザ入力と質問例とのスコアテーブルを示す図である。図に示されるスコア１は、Ｐをユーザ入力（検索クエリ）、Ｑを質問例とした場合のスコアである。スコア２は、Ｐを質問例、Ｑをユーザ入力とした場合のスコアである。スコア１は、ユーザ入力が質問例よりも詳細であり、かつ類似しているほど値が小さくなるスコアである。これに対してスコア２は、ユーザ入力が質問例よりも簡略であり、かつ類似しているほど値が小さくなるスコアである。それぞれスコア１およびスコア２において、最も小さい値の質問例を抽出することで、類似の質問例を抽出することができる。

分布検索部１０４は、スコア１が最も小さい質問例ＩＤ、およびスコア２が最も小さい質問例ＩＤを選択する。なお、分布検索部１０４は、スコア１およびスコア２のうち最も小さい質問例ＩＤを選択してもよいし、所定条件（ユーザのＦＡＱに対する練度など）に基づいてスコア１またはスコア２のいずれかから最も小さいスコアの質問例ＩＤを選択してもよい。

出力部１０５は、分布検索部１０４により選択された質問例ＩＤに対応する質問例をユーザ端末に送信する部分である。質問例を受信したユーザ端末は、それぞれ簡略表現の質問例および／または詳細表現の質問例をユーザに提示する。図８は、簡略表現の質問例および詳細表現の質問例を示す具体例である。図８（ａ）は、簡略表現を提示した具体例である。図に示されるとおり、ユーザが“オンラインショップで紛失したＳＩＭカードを再発行できますか？”を入力した場合、“こちらの質問内容で間違いございませんか？「ＳＩＭカードの紛失時の手続きをしりたい」”を情報検索装置１００は検索して、ユーザ端末に送信する。

図８（ｂ）は、詳細表現を提示した具体例であり、同様に、“こちらの質問内容で間違いございませんか？「オンラインショップで紛失したＳＩＭカードを再発行するのに何営業日必要ですか？」”を情報検索装置１００は検索して、ユーザ端末に送信する。

なお、出力部１０５は、ユーザに応じて簡略表現または詳細表現のいずれかをユーザ端末に送信してもよい。例えば、ユーザがＦＡＱシステムに対して初心者である場合には、簡略表現の質問例を送信する。また、ユーザが上級者である場合には、詳細表現の質問例を送信する。ユーザがＦＡＱに対して初心者であるか、上級者であるかは、ユーザが使用しているＦＡＱシステム（初心者用か上級者用か）に基づいて判断することができる。また、ユーザの所定期間における使用頻度に基づいて、初心者か、上級者かを判断してもよい。また、質問と回答とを繰り返ししていくうちに、質問内容の焦点が絞られてくる場合を想定して、所定回数ＦＡＱシステムに対して繰り返しやりとりをした場合には、簡略表現から詳細表現に遷移するよう段階的に質問例を順次出力してもよい。

出力部１０５は、ユーザ入力、簡略表現および詳細表現を分布図で表現した情報（画像）を出力してもよい。図９は、その具体例を示す図である。図に示されるとおり、分布図により、ユーザ入力、簡略表現および詳細表現の内容の粒度を視覚的に表現することができる。

訓練データ入力部１０６は、訓練データである入力Ｂを受け付ける部分である。図１０は、訓練データの具体例を示す図である。図に示されるとおり、質問例ＩＤ、質問例、および回答ＩＤを対応付けた情報である。これら情報が、第１メモリ１０３に記憶される。

分布学習部１０７は、訓練データである入力Ｂに基づいて、学習モデルであるＲＮＮ１０２ａを学習する部分である。分布学習部１０７は、学習したＲＮＮ１０２ａを構成するモデルパラメータを更新する。学習されたモデルパラメータで構成されたＲＮＮ１０２ａを用いて、分布推定部１０２は分布推定を行う。図１１に、分布学習部１０７における学習処理を説明する模式図を示す。

処理Ｓ２０１において、第１メモリ１０３から訓練用データが３つ選択される。図１１では質問例ＩＤ：１，２，９９の質問例が選択される。三つの質問例のうち、二つはそれぞれの回答ＩＤが同じ質問例が、一つは他２つと回答IDが異なる質問例が、それぞれ選択される。図１１では、質問例ＩＤ：１、２は、同じ回答を示す回答ＩＤ：１が対応付けられ、質問例ＩＤ：９９は、それらとは異なる回答を示す回答ＩＤ：３３が対応付けられている。

処理Ｓ２０２において、それぞれの質問例における初期のＲＮＮ１０２ａを利用したガウス分布が推定される。図１１では、質問例ＩＤ：１においては、ガウス関数

を規定するためのガウス分布Ｎ（μＡ、ｓＡ）、Ｎ（μＢ、ｓＢ）、Ｎ（μＣ、ｓＣ）がそれぞれ推定される。また、右辺の筆記体表記のｘは実ｎ次元行列ベクトルであり、平均：μ、共分散：ｓも同様である。

処理Ｓ２０３において、以下の計算によりＬｏｓｓが算出される。例えば、ＫＬ(Ｎ(μＡ, ｓＡ))は、上述したＫＬダイバージェンスにより計算されることを示す。ＫＬ(Ｎ(μＢ, ｓＢ))、ＫＬ(Ｎ(μＣ, ｓＣ))についても同様である。

Loss(A,B,C)= Max{0, margin+ min{KL(N(μA, sA)|N(μB,sB)), KL(N(μB, sB)|N(μA, sA))}- min{KL(N(μA, sA)|N(μC, sC)), KL(N(μC, sC)|N(μA, sA))} }
margin= 0.1
この計算は、質問例ＩＤ：１と、質問例ＩＤ：２との距離、および質問例ＩＤ：１と質問例ＩＤ：９９との距離との差を示す。

処理Ｓ２０４において、このＬｏｓｓが最小となるＲＮＮ１０２ａのモデルパラメータが、誤差逆伝搬法により算出され、更新される。例えば、ＲＮＮ１０２ａの要素であるＬＳＴＭは、以下の一次関数から構成されており、Ｌｏｓｓが最小となるように、モデルパラメータＷ_ｏ、Ｒ_ｏ、ｂ_ｏ、Ｗ_f、Ｒ_f、ｂ_f、Ｗ_i、Ｒ_i、ｂ_ｏiが算出され、更新される。
ＯｕｔｐｕｔＧａｔｅ ｏ_ｔ＝Ｗ_ｏｘ_ｔ＋Ｒ_ｏｈ_ｔ-1＋ｂ_ｏ
ＦｏｒｇｅｔＧａｔｅ ｆ_ｔ＝Ｗ_ｆｘ_ｔ＋Ｒ_ｆｈ_ｔ-1＋ｂ_ｆ
ＩｎｐｕｔＧａｔｅ ｉ_ｔ＝Ｗ_ｉｘ_ｔ＋Ｒ_ｉｈ_ｔ-1＋ｂ_ｉ

つぎに、本実施形態の情報検索装置１００の動作について説明する。図１２は、情報検索装置１００の質問例の検索処理を示すフローチャートである。質問入力部１０１は、検索クエリである入力Ａを受け付ける（Ｓ３０１）。分布推定部１０２は、入力Ａの意味空間における分布（ガウス分布）を、分布学習部１０７で得たＲＮＮ１０２ａを用いて推定する（Ｓ３０２）。分布検索部１０４は、第１メモリ１０３に記憶された質問例を示す分布のそれぞれ（ガウス分布）とユーザ入力（ガウス関数）との非対称な類似度（図７におけるスコア１およびスコア２）を算出する。そして、分布検索部１０４は、非対称の類似度のうち一方の類似度において最も小さい類似度に対応する質問例および他方の類似度において最も小さい類似度に対応する質問例を検索する（Ｓ３０３）。出力部１０５は、検索した入力Ａの分布情報および分布検索部１０４の検索結果（非対称の類似度の基づく質問例）をユーザ端末に出力する（Ｓ３０４）。なお、入力Ａの分布情報は必須ではない。また、非対称の類似度に基づく質問例は、いずれか一つでよい。

図１３は、情報検索装置１００における分布推定部１０２のＲＮＮ１０２ａの学習処理を示すフローチャートである。訓練データ入力部１０６は、訓練データである入力Ｂを受け付ける（Ｓ４０１）。ここで機械学習における繰り返し学習数を示すEpochを０とする（Ｓ４０２）。分布学習部１０７は、訓練データのうち、同一の回答ＩＤが付与された質問例のペアＡ、Ｂと、異なる回答ＩＤが付与された質問Ｃをランダムに選択する（Ｓ４０３）。分布学習部１０７は、Ｌｏｓｓ（Ａ，Ｂ，Ｃ）を計算し、誤差逆伝搬法を用いてＲＮＮ１０２ａのモデルパラメータを更新する。それとともにEpochを１インクリメントする（Ｓ４０４）。Epochが閾値を超えた場合には、処理を終了し、超えない場合には、Epochが閾値を超えるまで、繰り返し、質問例のペアを選択して、モデルパラメータの更新処理を繰り返す（Ｓ４０５）。このように更新されたモデルパラメータを有するＲＮＮ１０２ａが学習される。検索時においては学習されたＲＮＮ１０２ａを用いた検索が行われる。

つぎに、本実施形態の情報検索装置１００の作用効果について説明する。情報検索装置１００において、ユーザから検索クエリを受け付ける質問入力部１０１と、検索クエリの意味空間におけるガウス分布を推定する分布推定部１０２と、予め定められた複数のテキストデータである検索用データに対して、それぞれの意味空間におけるガウス分布を特定するための情報（平均μおよび共分散ｓ）を記憶する第１メモリ１０３と、第１メモリ１０３に記憶されたテキストデータの意味空間における分布を特定するための上記情報（平均μおよび共分散ｓ）および分布推定部１０２により推定されたガウス分布に基づいて、検索クエリとの類似度の高いテキストデータを検索する分布検索部１０４と、分布検索部１０４で検索した、テキストデータを出力する出力部１０５と、を備える。

この構成により、表現の多様性（例えば、粒度が荒いまたは細かい）の高いユーザの検索クエリに対して、その多様性に沿って検索用データから適切なテキストデータである質問例を検索することができる。

一般的に、顧客の検索クエリおよび情報検索装置１００が記憶する質問例の内容の粒度は多様であり、詳細な内容から簡略までの内容が混在している。顧客から情報検索装置１００への入力が、省略形な表現を含むことなどで、顧客が意図する内容よりも簡略になっている場合がある。一方で、検索クエリに、顧客が質問するに至った詳細な経緯を含むなどして、その検索クエリが、質問例で想定していたよりも詳細である場合がある。

従来においては、入力の内容の粒度に応じた質問例を提示することができなかったが、本実施形態の情報検索装置１００においては、上記の通り、検索クエリの表現の多様性に応じた検索を可能にすることができる。

また、この情報検索装置１００において、分布検索部１０４は、ガウス分布の非対称の類似度に基づいて、一または複数のテキストデータを検索する。例えば、分布検索部１０４は、検索クエリを簡略表現したテキストデータおよび検索クエリを詳細表現したテキストデータのうち少なくとも一つを、検索する。

ここで、本実施形態におけるガウス分布は、意味空間における検索クエリおよびテキストデータの意味を示す情報および当該意味の粒度を示す情報を示している。

この構成により、例えば検索クエリに対して、内容の粒度が荒い質問例および／または内容の粒度が細かい質問例を検索することができる。したがって、検索クエリの表現に応じた質問例の検索が可能になる。

例えば、（１）「Ａ駅の１００ｍ以内の範囲でポイントが使えるお店を知りたい」、（２）「ポイントが使えるお店を知りたい」、（３）「ポイントが使える場所を知りたい」の３文は、（１）、（２）、（３）の順に詳細な内容である。ユーザの検索クエリが（２）で、情報検索装置１００が記憶している質問例が（１）と（３）であるとき、従来技術では、類似度を基準に（１）および（３）に優先順位を付与して提示していたが、本実施形態の情報検索装置１００では、その両方を区別して検索したり、いずれか適切な質問例を検索することができる。

また、分布検索部１０４は、非対称な分布間距離関数（例えばＫＬダイバージェンス）を用いて類似度を計算して、検索クエリとの類似度の高いテキストデータを検索する。

この構成により、非対称の類似度を算出することができ、内容の粒度が荒い質問例および／または内容の粒度が細かい質問例を検索することができる。

なお、分布としてガウス分布を例に挙げているがこれに限るものではない。例えば、ベータ分布やガンマ分布というものでも適用可能である。また、類似度判断に際して、非対称な分布間距離関数を利用しているが、これに限るものではない。単純に分布同士の比較対比をしてもよい。

また、本実施形態における情報検索装置１００において、分布推定部１０２は、検索クエリにおける文節間の係り受け関係に基づいて、意味内容が変化しない文節の順序入れ替えで正規化する。

この構成により、類似判断する際の比較対象を統一することができ、その精度を向上させることができる。

また、本実施形態における情報検索装置１００において、質問例とその回答とからなる訓練データを受け付ける訓練データ入力部１０６と、訓練データにおいて、回答が同一の質問例間の非対称な分布間距離関数（例えばＫＬダイバージェンス）で算出される第１類似度と、回答が同一でない質問例間の非対称な分布間距離関数の第２類似度（ＫＬダイバージェンス）とに基づいて、意味空間における分布を算出するための学習モデルであるＲＮＮ１０２ａを学習する分布学習部１０７と、をさらに備える。そして、分布推定部１０２は、ＲＮＮ１０２ａを用いて分布の推定を行う。

その際、第１類似度が第２類似度よりも類似度が高くなるように、学習モデルを学習するとよい。

この構成により、類似度の判断をより精度よく行うことができるＲＮＮ１０２ａを構築することができる。すなわち、回答が同一である２つの質問例は同じ内容、または同じ傾向の内容である可能性が高い。一方で、回答が異なる２つの質問例は異なる内容、異なる傾向の内容である可能性が高い。よって、同じような２つの質問例、異なる２つの質問例を、その類似判断において明確となるＲＮＮ１０２ａを構築することができる。

学習に際して、分布学習部１０７は、訓練データにおける文節間の係り受け関係に基づいて、意味内容が変化しない文節の順序入れ替えで正規化すると、より精度良く学習が可能になる。

上記実施形態の説明に用いたブロック図は、機能単位のブロックを示している。これらの機能ブロック（構成部）は、ハードウェア及びソフトウェアの少なくとも一方の任意の組み合わせによって実現される。また、各機能ブロックの実現方法は特に限定されない。すなわち、各機能ブロックは、物理的又は論理的に結合した１つの装置を用いて実現されてもよいし、物理的又は論理的に分離した２つ以上の装置を直接的又は間接的に（例えば、有線、無線などを用いて）接続し、これら複数の装置を用いて実現されてもよい。機能ブロックは、上記１つの装置又は上記複数の装置にソフトウェアを組み合わせて実現されてもよい。

機能には、判断、決定、判定、計算、算出、処理、導出、調査、探索、確認、受信、送信、出力、アクセス、解決、選択、選定、確立、比較、想定、期待、見做し、報知（broadcasting）、通知（notifying）、通信（communicating）、転送（forwarding）、構成（configuring）、再構成（reconfiguring）、割り当て（allocating、mapping）、割り振り（assigning）などがあるが、これらに限られない。たとえば、送信を機能させる機能ブロック（構成部）は、送信部（transmitting unit）や送信機（transmitter）と呼称される。いずれも、上述したとおり、実現方法は特に限定されない。

例えば、本開示の一実施の形態における情報検索装置１００は、本開示の情報検索方法の処理を行うコンピュータとして機能してもよい。図１４は、本開示の一実施の形態に係る情報検索装置１００のハードウェア構成の一例を示す図である。上述の情報検索装置１００は、物理的には、プロセッサ１００１、メモリ１００２、ストレージ１００３、通信装置１００４、入力装置１００５、出力装置１００６、バス１００７などを含むコンピュータ装置として構成されてもよい。

なお、以下の説明では、「装置」という文言は、回路、デバイス、ユニットなどに読み替えることができる。情報検索装置１００のハードウェア構成は、図に示した各装置を１つ又は複数含むように構成されてもよいし、一部の装置を含まずに構成されてもよい。

情報検索装置１００における各機能は、プロセッサ１００１、メモリ１００２などのハードウェア上に所定のソフトウェア（プログラム）を読み込ませることによって、プロセッサ１００１が演算を行い、通信装置１００４による通信を制御したり、メモリ１００２及びストレージ１００３におけるデータの読み出し及び書き込みの少なくとも一方を制御したりすることによって実現される。

プロセッサ１００１は、例えば、オペレーティングシステムを動作させてコンピュータ全体を制御する。プロセッサ１００１は、周辺装置とのインターフェース、制御装置、演算装置、レジスタなどを含む中央処理装置（ＣＰＵ：Central Processing Unit）によって構成されてもよい。例えば、上述の分布推定部１０２、分布検索部１０４、分布学習部１０７などは、プロセッサ１００１によって実現されてもよい。

また、プロセッサ１００１は、プログラム（プログラムコード）、ソフトウェアモジュール、データなどを、ストレージ１００３及び通信装置１００４の少なくとも一方からメモリ１００２に読み出し、これらに従って各種の処理を実行する。プログラムとしては、上述の実施の形態において説明した動作の少なくとも一部をコンピュータに実行させるプログラムが用いられる。例えば、情報検索装置１００の分布推定部１０２、分布検索部１０４、分布学習部１０７は、メモリ１００２に格納され、プロセッサ１００１において動作する制御プログラムによって実現されてもよく、他の機能ブロックについても同様に実現されてもよい。上述の各種処理は、１つのプロセッサ１００１によって実行される旨を説明してきたが、２以上のプロセッサ１００１により同時又は逐次に実行されてもよい。プロセッサ１００１は、１以上のチップによって実装されてもよい。なお、プログラムは、電気通信回線を介してネットワークから送信されても良い。

メモリ１００２は、コンピュータ読み取り可能な記録媒体であり、例えば、ＲＯＭ（Read Only Memory）、ＥＰＲＯＭ（Erasable Programmable ＲＯＭ）、ＥＥＰＲＯＭ（Electrically Erasable Programmable ＲＯＭ）、ＲＡＭ（Random Access Memory）などの少なくとも１つによって構成されてもよい。メモリ１００２は、レジスタ、キャッシュ、メインメモリ（主記憶装置）などと呼ばれてもよい。メモリ１００２は、本開示の一実施の形態に係る情報検索方法を実施するために実行可能なプログラム（プログラムコード）、ソフトウェアモジュールなどを保存することができる。

ストレージ１００３は、コンピュータ読み取り可能な記録媒体であり、例えば、ＣＤ−ＲＯＭ（Compact Disc ＲＯＭ）などの光ディスク、ハードディスクドライブ、フレキシブルディスク、光磁気ディスク(例えば、コンパクトディスク、デジタル多用途ディスク、Ｂｌｕ−ｒａｙ（登録商標）ディスク)、スマートカード、フラッシュメモリ(例えば、カード、スティック、キードライブ)、フロッピー（登録商標）ディスク、磁気ストリップなどの少なくとも１つによって構成されてもよい。ストレージ１００３は、補助記憶装置と呼ばれてもよい。上述の記憶媒体は、例えば、メモリ１００２及びストレージ１００３の少なくとも一方を含むデータベース、サーバその他の適切な媒体であってもよい。

通信装置１００４は、有線ネットワーク及び無線ネットワークの少なくとも一方を介してコンピュータ間の通信を行うためのハードウェア（送受信デバイス）であり、例えばネットワークデバイス、ネットワークコントローラ、ネットワークカード、通信モジュールなどともいう。通信装置１００４は、例えば周波数分割複信（ＦＤＤ：Frequency Division Duplex）及び時分割複信（ＴＤＤ：Time Division Duplex）の少なくとも一方を実現するために、高周波スイッチ、デュプレクサ、フィルタ、周波数シンセサイザなどを含んで構成されてもよい。例えば、上述の質問入力部１０１、出力部１０５などは、通信装置１００４によって実現されてもよい。質問入力部１０１、出力部１０５は、物理的に、または論理的に分離された実装がなされてもよいし、分離されていない実装がなされてもよい。

入力装置１００５は、外部からの入力を受け付ける入力デバイス（例えば、キーボード、マウス、マイクロフォン、スイッチ、ボタン、センサなど）である。出力装置１００６は、外部への出力を実施する出力デバイス（例えば、ディスプレイ、スピーカー、LEDランプなど）である。なお、入力装置１００５及び出力装置１００６は、一体となった構成（例えば、タッチパネル）であってもよい。

また、プロセッサ１００１、メモリ１００２などの各装置は、情報を通信するためのバス１００７によって接続される。バス１００７は、単一のバスを用いて構成されてもよいし、装置間ごとに異なるバスを用いて構成されてもよい。

また、情報検索装置１００は、マイクロプロセッサ、デジタル信号プロセッサ（ＤＳＰ：Digital Signal Processor）、ＡＳＩＣ（Application Specific Integrated Circuit）、ＰＬＤ（Programmable Logic Device）、ＦＰＧＡ（Field Programmable Gate Array）などのハードウェアを含んで構成されてもよく、当該ハードウェアにより、各機能ブロックの一部又は全てが実現されてもよい。例えば、プロセッサ１００１は、これらのハードウェアの少なくとも１つを用いて実装されてもよい。

情報の通知は、本開示において説明した態様／実施形態に限られず、他の方法を用いて行われてもよい。例えば、情報の通知は、物理レイヤシグナリング（例えば、ＤＣＩ（Downlink Control Information）、ＵＣＩ（Uplink Control Information））、上位レイヤシグナリング（例えば、ＲＲＣ（Radio Resource Control）シグナリング、ＭＡＣ（Medium Access Control）シグナリング、報知情報（ＭＩＢ（Master Information Block）、ＳＩＢ（System Information Block）））、その他の信号又はこれらの組み合わせによって実施されてもよい。また、ＲＲＣシグナリングは、ＲＲＣメッセージと呼ばれてもよく、例えば、ＲＲＣ接続セットアップ（RRC Connection Setup）メッセージ、ＲＲＣ接続再構成（RRC Connection Reconfiguration）メッセージなどであってもよい。

本開示において説明した各態様／実施形態は、ＬＴＥ（Long Term Evolution）、ＬＴＥ−Ａ（LTE-Advanced）、ＳＵＰＥＲ ３Ｇ、ＩＭＴ−Ａｄｖａｎｃｅｄ、４Ｇ（4th generation mobile communication system）、５Ｇ（5th generation mobile communication system）、ＦＲＡ（Future Radio Access）、ＮＲ（new Radio）、Ｗ−ＣＤＭＡ（登録商標）、ＧＳＭ（登録商標）、ＣＤＭＡ２０００、ＵＭＢ（Ultra Mobile Broadband）、ＩＥＥＥ ８０２．１１（Ｗｉ−Ｆｉ（登録商標））、ＩＥＥＥ ８０２．１６（ＷｉＭＡＸ（登録商標））、ＩＥＥＥ ８０２．２０、ＵＷＢ（Ultra-WideBand）、Ｂｌｕｅｔｏｏｔｈ（登録商標）、その他の適切なシステムを利用するシステム及びこれらに基づいて拡張された次世代システムの少なくとも一つに適用されてもよい。また、複数のシステムが組み合わされて（例えば、ＬＴＥ及びＬＴＥ−Ａの少なくとも一方と５Ｇとの組み合わせ等）適用されてもよい。

本開示において説明した各態様／実施形態の処理手順、シーケンス、フローチャートなどは、矛盾の無い限り、順序を入れ替えてもよい。例えば、本開示において説明した方法については、例示的な順序を用いて様々なステップの要素を提示しており、提示した特定の順序に限定されない。

入出力された情報等は特定の場所（例えば、メモリ）に保存されてもよいし、管理テーブルを用いて管理してもよい。入出力される情報等は、上書き、更新、又は追記され得る。出力された情報等は削除されてもよい。入力された情報等は他の装置へ送信されてもよい。

判定は、１ビットで表される値（０か１か）によって行われてもよいし、真偽値（Boolean：true又はfalse）によって行われてもよいし、数値の比較（例えば、所定の値との比較）によって行われてもよい。

本開示において説明した各態様／実施形態は単独で用いてもよいし、組み合わせて用いてもよいし、実行に伴って切り替えて用いてもよい。また、所定の情報の通知（例えば、「Ｘであること」の通知）は、明示的に行うものに限られず、暗黙的（例えば、当該所定の情報の通知を行わない）ことによって行われてもよい。

以上、本開示について詳細に説明したが、当業者にとっては、本開示が本開示中に説明した実施形態に限定されるものではないということは明らかである。本開示は、請求の範囲の記載により定まる本開示の趣旨及び範囲を逸脱することなく修正及び変更態様として実施することができる。したがって、本開示の記載は、例示説明を目的とするものであり、本開示に対して何ら制限的な意味を有するものではない。

ソフトウェアは、ソフトウェア、ファームウェア、ミドルウェア、マイクロコード、ハードウェア記述言語と呼ばれるか、他の名称で呼ばれるかを問わず、命令、命令セット、コード、コードセグメント、プログラムコード、プログラム、サブプログラム、ソフトウェアモジュール、アプリケーション、ソフトウェアアプリケーション、ソフトウェアパッケージ、ルーチン、サブルーチン、オブジェクト、実行可能ファイル、実行スレッド、手順、機能などを意味するよう広く解釈されるべきである。

また、ソフトウェア、命令、情報などは、伝送媒体を介して送受信されてもよい。例えば、ソフトウェアが、有線技術（同軸ケーブル、光ファイバケーブル、ツイストペア、デジタル加入者回線（ＤＳＬ：Digital Subscriber Line）など）及び無線技術（赤外線、マイクロ波など）の少なくとも一方を使用してウェブサイト、サーバ、又は他のリモートソースから送信される場合、これらの有線技術及び無線技術の少なくとも一方は、伝送媒体の定義内に含まれる。

本開示において説明した情報、信号などは、様々な異なる技術のいずれかを使用して表されてもよい。例えば、上記の説明全体に渡って言及され得るデータ、命令、コマンド、情報、信号、ビット、シンボル、チップなどは、電圧、電流、電磁波、磁界若しくは磁性粒子、光場若しくは光子、又はこれらの任意の組み合わせによって表されてもよい。

なお、本開示において説明した用語及び本開示の理解に必要な用語については、同一の又は類似する意味を有する用語と置き換えてもよい。例えば、チャネル及びシンボルの少なくとも一方は信号（シグナリング）であってもよい。また、信号はメッセージであってもよい。また、コンポーネントキャリア（ＣＣ：Component Carrier）は、キャリア周波数、セル、周波数キャリアなどと呼ばれてもよい。

本開示において使用する「システム」及び「ネットワーク」という用語は、互換的に使用される。

また、本開示において説明した情報、パラメータなどは、絶対値を用いて表されてもよいし、所定の値からの相対値を用いて表されてもよいし、対応する別の情報を用いて表されてもよい。

本開示で使用する「判断(determining)」、「決定(determining)」という用語は、多種多様な動作を包含する場合がある。「判断」、「決定」は、例えば、判定(judging)、計算(calculating)、算出(computing)、処理(processing)、導出(deriving)、調査(investigating)、探索(looking up、search、inquiry)（例えば、テーブル、データベース又は別のデータ構造での探索）、確認(ascertaining)した事を「判断」「決定」したとみなす事などを含み得る。また、「判断」、「決定」は、受信(receiving)（例えば、情報を受信すること）、送信(transmitting)(例えば、情報を送信すること)、入力(input)、出力(output)、アクセス(accessing)（例えば、メモリ中のデータにアクセスすること）した事を「判断」「決定」したとみなす事などを含み得る。また、「判断」、「決定」は、解決(resolving)、選択(selecting)、選定(choosing)、確立(establishing)、比較(comparing)などした事を「判断」「決定」したとみなす事を含み得る。つまり、「判断」「決定」は、何らかの動作を「判断」「決定」したとみなす事を含み得る。また、「判断（決定）」は、「想定する（assuming）」、「期待する（expecting）」、「みなす（considering）」などで読み替えられてもよい。

「接続された(connected)」、「結合された(coupled)」という用語、又はこれらのあらゆる変形は、２又はそれ以上の要素間の直接的又は間接的なあらゆる接続又は結合を意味し、互いに「接続」又は「結合」された２つの要素間に１又はそれ以上の中間要素が存在することを含むことができる。要素間の結合又は接続は、物理的なものであっても、論理的なものであっても、或いはこれらの組み合わせであってもよい。例えば、「接続」は「アクセス」で読み替えられてもよい。本開示で使用する場合、２つの要素は、１又はそれ以上の電線、ケーブル及びプリント電気接続の少なくとも一つを用いて、並びにいくつかの非限定的かつ非包括的な例として、無線周波数領域、マイクロ波領域及び光（可視及び不可視の両方）領域の波長を有する電磁エネルギーなどを用いて、互いに「接続」又は「結合」されると考えることができる。

本開示において使用する「に基づいて」という記載は、別段に明記されていない限り、「のみに基づいて」を意味しない。言い換えれば、「に基づいて」という記載は、「のみに基づいて」と「に少なくとも基づいて」の両方を意味する。

本開示において使用する「第１の」、「第２の」などの呼称を使用した要素へのいかなる参照も、それらの要素の量又は順序を全般的に限定しない。これらの呼称は、２つ以上の要素間を区別する便利な方法として本開示において使用され得る。したがって、第１及び第２の要素への参照は、２つの要素のみが採用され得ること、又は何らかの形で第１の要素が第２の要素に先行しなければならないことを意味しない。

本開示において、「含む（include）」、「含んでいる（including）」及びそれらの変形が使用されている場合、これらの用語は、用語「備える（comprising）」と同様に、包括的であることが意図される。さらに、本開示において使用されている用語「又は（or）」は、排他的論理和ではないことが意図される。

本開示において、例えば、英語でのa, an及びtheのように、翻訳により冠詞が追加された場合、本開示は、これらの冠詞の後に続く名詞が複数形であることを含んでもよい。

本開示において、「ＡとＢが異なる」という用語は、「ＡとＢが互いに異なる」ことを意味してもよい。なお、当該用語は、「ＡとＢがそれぞれＣと異なる」ことを意味してもよい。「離れる」、「結合される」などの用語も、「異なる」と同様に解釈されてもよい。

１００…情報検索装置、１０１…質問入力部、１０２…分布推定部、１０３…分布検索部、１０３…第１メモリ、１０４…分布検索部、１０５…出力部、１０６…訓練データ入力部、１０７…分布学習部。

Claims (10)

1. ユーザから検索クエリを受け付ける質問入力部と、
   自然言語の意味空間における前記検索クエリの分布を推定する分布推定部と、
   前記意味空間における予め定められた複数のテキストデータのそれぞれの分布を特定するための情報を記憶する記憶部と、
   前記記憶部に記憶される前記テキストデータの分布を特定するための情報および前記分布推定部により推定された分布に基づいて、前記検索クエリとの類似度の高いテキストデータを検索する分布検索部と、
   前記分布検索部で検索した、テキストデータを出力する出力部と、
   を備える検索装置。
2. 前記検索部は、非対称の類似度に基づいて、一または複数のテキストデータを検索する、請求項１に記載の検索装置。
3. 前記検索部は、
   前記検索クエリを簡略表現したテキストデータおよび前記検索クエリを詳細表現したテキストデータのうち少なくとも一つを、検索する、
   請求項１または２に記載の検索装置。
4. 前記分布は、前記検索クエリまたは前記テキストデータの内容の意味を示す情報および当該意味の粒度を示す情報を示す、請求項１〜３のいずれか一項に記載の検索装置。
5. 前記分布は、ガウス分布である、請求項４に記載の検索装置。
6. 前記検索部は、非対称な分布間距離関数を用いて類似度を計算して、前記検索クエリとの類似度の高いテキストデータを検索する、請求項１〜５のいずれか一項に記載の検索装置。
7. 前記分布推定部は、
   前記検索クエリにおける文節間の係り受け関係に基づいて、意味内容が変化しない文節の順序入れ替えで正規化する、
   請求項１〜６のいずれか一項に記載の検索装置。
8. 質問例とその回答とからなる訓練データを受け付ける訓練データ入力部と、
   前記訓練データにおいて、回答が同一の質問例間の非対称な分布間距離関数で算出される第１類似度と、回答が同一でない質問例間の第２類似度とに基づいて、意味空間における分布を算出するための学習モデルを学習する分布学習部と、
   をさらに備え、
   前記分布推定部は、前記学習モデルを用いて分布の推定を行う、
   請求項１〜７のいずれか一項に記載の検索装置。
9. 前記第１類似度が前記第２類似度よりも高くなるように、前記学習モデルを学習する、請求項８に記載の検索装置。
10. 前記分布学習部は、
    前記訓練データにおける前記質問例における文節間の係り受け関係に基づいて、意味内容が変化しない文節の順序入れ替えで正規化する、
    請求項８または９に記載の検索装置。

Images