JP2021051391A - 学習装置、学習方法、および学習プログラム - Google Patents

Abstract

【課題】利用者の意図を適切に推定すること。【解決手段】本願に係る学習装置は、利用者の行動を示す複数の行動情報を取得する取得部と、各行動情報から、当該行動情報が示す行動を行った際の利用者の意図を示す意図情報を生成する生成部と、前記生成部が生成した意図情報が示す意図の変遷が有する特徴を第１モデルに学習させる学習部とを有することを特徴とする。【選択図】図１

Description

本発明は、学習装置、学習方法、および学習プログラムに関する。

従来、利用者に関する各種の情報を推定する技術が提案されている。このような技術の一例として、利用者が入力した検索クエリの傾向と、他の利用者が入力した検索クエリの傾向との差から、利用者において特徴的な検索クエリの傾向を推定する技術が知られている。

特開２０１８−６０４６９号公報

しかしながら、上述した技術では、利用者の意図を適切に推定しているとは言えない場合がある。

例えば、上述した従来技術では、利用者が入力した特徴的な検索クエリの傾向を推定しているに過ぎない。このため、利用者がどのような意図の元に入力した検索クエリであるかを推定することができない結果、利用者の意図に応じた情報を提供することができなくなる。

本願は、上記に鑑みてなされたものであって、利用者の意図を適切に推定することを目的とする。

本願に係る学習装置は、利用者の行動を示す複数の行動情報を取得する取得部と、各行動情報から、当該行動情報が示す行動を行った際の利用者の意図を示す意図情報を生成する生成部と、前記生成部が生成した意図情報が示す意図の変遷が有する特徴を第１モデルに学習させる学習部とを有することを特徴とする。

実施形態の一態様によれば、利用者の意図の推定精度を向上させることができる。

図１は、実施形態に係る情報提供システムの一例を示す図である。 図２は、実施形態に係る情報提供装置が実行する意図推定モデルの学習の一例を示す図である。 図３は、実施形態に係る情報提供装置が実行する変遷推定モデルの学習の一例を示す図である。 図４は、実施形態に係る情報提供装置が変遷推定モデルを用いて将来の行動の意図を予測する処理の一例を示す図である。 図５は、実施形態に係る情報提供装置が行動情報を用いて実行する変遷推定モデルの学習の一例を示す図である。 図６は、実施形態に係る情報提供装置が複数種別の行動から意図を予測する処理の一例を示す図である。 図７は、実施形態に係る情報提供装置が複数種別の行動から意図を予測する処理の一例を示す図である。 図８は、実施形態に係る情報提供装置の構成例を示す図である。 図９は、実施形態に係る行動履歴データベースに登録される情報の一例を示す図である。 図１０は、実施形態に係るモデルデータベースに登録される情報の一例を示す図である。 図１１は、実施形態に係る情報提供装置が実行する処理の流れの一例を示すフローチャートである。 図１２は、ハードウェア構成の一例を示す図である。

以下に、本願に係る学習装置、学習方法、および学習プログラムを実施するための形態（以下、「実施形態」と呼ぶ）について図面を参照しつつ詳細に説明する。なお、この実施形態により本願に係る学習装置、学習方法、および学習プログラムが限定されるものではない。また、各実施形態は、処理内容を矛盾させない範囲で適宜組み合わせることが可能である。また、以下の各実施形態において同一の部位には同一の符号を付し、重複する説明は省略される。

［実施形態］
〔１．情報提供システムについて〕
まず、図１を用いて、学習装置の一例である情報提供装置１０や端末装置１００、および検索サーバ２００を有し、利用者の意図の変遷の特徴に応じた情報を提供する情報提供システム１の一例について説明する。図１は、実施形態に係る情報提供システムの一例を示す図である。図１に示すように、情報提供システム１は、情報提供装置１０と、端末装置１００と、検索サーバ２００とを有する。なお、情報提供システム１は、任意の数の端末装置１００や任意の数の情報提供装置１０を有していてもよい。また、情報提供システム１は、例えば、検索サーバ２００を有さずともよく、各種任意の外部サーバを有していてもよい。

情報提供装置１０は、インターネット等の所定のネットワークＮ（例えば、図７を参照。）を介して、端末装置１００や検索サーバ２００と通信可能な情報処理装置であり、例えば、サーバ装置やクラウドシステム等により実現される。なお、情報提供装置１０は、ネットワークＮを介して、任意の数の端末装置１００と通信可能であってもよく、図示しない各種の外部サーバや外部システムと通信可能であってもよい。

端末装置１００は、利用者が利用する端末装置であり、例えば、ＰＣ（Personal Computer）やサーバ装置、各種のスマートデバイス等により実現される。また、端末装置１００は、各種の被写体を撮影可能なカメラを有するとともに、カメラを用いて撮影された静止画像や動画像等の撮影画像を情報提供装置１０に送信する機能を有する。また、端末装置１００は、後述する提供処理により情報提供装置１０が生成した情報を受信すると、受信した情報を画面上に表示することで、利用者に対して各種の情報提供を実現する機能を有するものとする。

〔１−２．情報提供装置１０が実行する処理の流れの一例〕
以下、図１を用いて、情報提供装置１０が実行する学習処理および、学習処理により学習が行われたモデルを用いて実行する提供処理の流れの一例について説明する。まず、利用者Ｕは、端末装置１００を介して検索クエリの入力を行う（ステップＳ１）。このような場合、検索サーバ２００は、検索クエリに対応する検索処理を実行し、検索結果を端末装置１００に提供する（ステップＳ２）。

続いて、情報提供装置１０は、検索クエリの履歴等を、利用者の行動を示す行動情報として取得する（ステップＳ３）。より具体的には、情報提供装置１０は、所定のセッション内において利用者が連続して入力した複数の検索クエリの履歴を取得する。そして、情報提供装置１０は、各検索クエリから、検索クエリを入力した際の利用者の意図を推定する意図推定モデルＭ１の学習を行う（ステップＳ４）。

〔１−２−１．意図推定モデルについて〕
ここで、情報提供装置１０が学習を行う意図推定モデルＭ１について説明する。例えば、利用者が興味を有すると推定される情報を提供するために、利用者が入力した検索クエリの履歴に応じた情報を提供する技術等が考えられる。例えば、利用者が検索クエリ「銀座」を入力した場合は、「銀座」と関連する取引対象の情報を利用者に提供するといった手法が考えらえる。しかしながら、このような技術では、利用者が過去に入力した検索クエリと対応する取引対象の情報を提供しているに過ぎないため、利用者に対して適切な情報を提供しているとは言えない場合がある。

一方で、利用者が行ったある行動を検知した際に、検知した行動を行った利用者の意図を推定し、推定した意図に応じた情報を提供することで、利用者に対して適切な情報を提供することができると考えられる。例えば、利用者が検索クエリ「銀座」を入力した際に、利用者が「銀座に宿泊しようとしている」意図を有すると推定される場合には、利用者に対して、銀座に所在するホテルの情報を提供することで、利用者の検索意図に応じた情報を提供できると考えらえる。

そこで、情報提供装置１０は、利用者の検索クエリに基づいて、利用者がその検索クエリを入力した次に行う行動を予測するようにモデルの学習を行うことで、利用者の行動を予測する予測モデルを生成する。すなわち、情報提供装置１０は、利用者が検索クエリを入力した際の意図（すなわち、利用者がある行動を行った際の意図）を推定する意図推定モデルＭ１の学習を行う。

例えば、図２は、実施形態に係る情報提供装置が実行する意図推定モデルの学習の一例を示す図である。例えば、図２に示す例では、利用者Ｕが意図＃１を持って検索クエリ＃１を入力し、その後、利用者Ｕが意図＃２を持って検索クエリ＃２を入力したものとする。ここで、検索クエリ＃１の入力と検索クエリ＃２の入力とが連続して行われた場合等、所定の同一セッション内（例えば、所定の時間内や端末装置１００と検索サーバ２００とのセッションが保たれている場合等）において検索クエリ＃１、＃２が入力された場合は、利用者の意図＃１と意図＃２とは、類似していると考えられる。

そこで、情報提供装置１０は、検索クエリの文字列をベクトルへと変換するモデルであって、利用者が入力した第１検索クエリから生成したベクトルと、利用者が第１検索クエリの次に入力した第２検索クエリから生成したベクトルとが類似するように、意図推定モデルＭ１の学習を行う。すなわち、情報提供装置１０は、連続する検索クエリは、利用者の同一または類似する意図を示すと見做し、第１検索クエリから、利用者が第１検索クエリの次に入力する第２検索クエリを予測して、第２検索クエリと対応するベクトルを出力する意図推定モデルＭ１の学習を行う。

例えば、情報提供装置１０は、検索クエリ＃１を意図推定モデルＭ１に入力し、意図推定モデルＭ１に意図ベクトル＃１を生成させる。また、情報提供装置１０は、検索クエリ＃２を意図推定モデルＭ１に入力し、意図ベクトル＃２を生成させる。そして、情報提供装置１０は、意図ベクトル＃１と意図ベクトル＃２とが類似するように、意図推定モデルＭ１の学習を行う。このような処理を、利用者が同一セッション内において連続して入力した検索クエリごとに実行することで、情報提供装置１０は、検索クエリから利用者の意図を推定する意図推定モデルＭ１の学習を実現することができる。

ここで、このような意図推定モデルは、任意の種別のモデルが採用可能である。例えば、情報提供装置１０は、ＳＶＭ（Support Vector Machine）やＤＮＮ（Deep Neural Network）をモデルとして採用してもよい。ここで、ＤＮＮは、ＣＮＮ（Convolutional Neural Network）やＲＮＮ（Recurrent Neural Network）であってもよい。また、ＲＮＮは、ＬＳＴＭ（Long short-term memory）等であってもよい。すなわち、意図推定モデルは、任意の形式のモデルが採用可能である。また、意図推定モデルは、例えば、ＣＮＮとＲＮＮとを組み合わせたモデル等、複数のモデルを組み合わせることで実現されるモデルであってもよい。

一方、利用者の意図が連続的に変化するものであり、離散的に変化することが稀であると考えると、利用者の意図をよりよく推定するために、ある時点よりも前に利用者が入力した検索クエリの変遷から、利用者の意図を推定するといった手法も考えられる。例えば、情報提供装置１０は、意図推定モデルＭ１として、過去に入力された情報の内容と、各情報が入力された順番に応じて出力を変化させる再帰型ニューラルネットワーク、すなわち、ＲＮＮやＬＳＴＭを用いることで、利用者の意図をより良く推定することができると考えられる。

例えば、情報提供装置１０は、意図推定モデルＭ１となるＬＳＴＭを準備する。そして、情報提供装置１０は、意図推定モデルＭ１に対して検索クエリ＃１を入力することで意図推定モデルＭ１に意図ベクトル＃１を生成させる。続いて、情報提供装置１０は、検索クエリ＃１を入力した意図推定モデルＭ１に対して検索クエリ＃２を入力し、意図推定モデルＭ１に意図ベクトル＃２を生成させる。このような場合、ＬＳＴＭである意図推定モデルＭ１は、利用者が入力した検索クエリ＃１と検索クエリ＃２との内容、および、検索クエリ＃１を入力した後で検索クエリ＃２を入力したという順番に基づいて、意図ベクトル＃２を生成することとなる。そして、情報提供装置１０は、意図ベクトル＃１と意図ベクトル＃２とが類似するように、意図推定モデルＭ１の学習を行う。

続いて、情報提供装置１０は、検索クエリ＃２を入力した意図推定モデルＭ１に対して検索クエリ＃２の次に利用者が入力した検索クエリ＃３を入力し、意図推定モデルＭ１に意図ベクトル＃３を生成させる。このような場合、ＬＳＴＭである意図推定モデルＭ１は、利用者が入力した検索クエリ＃１と検索クエリ＃２と検索クエリ＃３の内容、および、検索クエリ＃１を入力した後で検索クエリ＃２を入力し、その後、検索クエリ＃３を入力したという順番に基づいて、意図ベクトル＃３を生成することとなる。そして、情報提供装置１０は、意図ベクトル＃２と意図ベクトル＃３とが類似するように、意図推定モデルＭ１の学習を行う。

このような学習を行った場合、情報提供装置１０は、利用者が連続して入力した各検索クエリの特徴と共に、各検索クエリを入力した順番に応じて意図ベクトルを出力するように、意図推定モデルＭ１の学習を行うことができる。この結果、情報提供装置１０は、例えば、過去に利用者が入力した検索クエリの特徴や入力順に基づいて、利用者の意図を推定する意図推定モデルＭ１の学習を実現することができる。

〔１−２−２．変遷推定モデルについて〕
図１に戻り、説明を続ける。例えば、ステップＳ４において学習を行った意図推定モデルＭ１は、利用者が入力した検索クエリから、利用者がその検索クエリを入力した際の意図を推定することができる。一方で、このような利用者の意図の変遷が有する特徴をさらに学習した場合、利用者の将来の意図を推定するモデルを実現できるとも考えられる。

そこで、情報提供装置１０は、意図推定モデルの学習を行った場合、意図推定モデルにより推定された意図の変遷が有する特徴を変遷推定モデルＭ２に学習させる（ステップＳ５）。より具体的には、情報提供装置１０は、利用者が入力した検索クエリから、行動情報が示す行動を行った際の利用者の意図を示す意図情報を生成する。例えば、情報提供装置１０は、上述した意図推定モデルＭ１を用いて、利用者の意図を示す意図ベクトルを意図情報として生成する。そして、情報提供装置１０は、生成した意図情報が示す意図の変遷が有する特徴を意図推定モデルＭ１とは異なる変遷推定モデルＭ２に学習させる。

例えば、情報提供装置１０は、意図推定モデルＭ１に行動情報を入力した際に意図推定モデルＭ１が出力したベクトルの変遷が有する特徴を変遷推定モデルＭ２に学習させる。より具体的には、情報提供装置１０は、変遷推定モデルＭ２に対して第１行動情報から意図推定モデルＭ１が生成したベクトルを入力した際に変遷推定モデルＭ２が出力するベクトルと、第２行動情報から意図推定モデルＭ１が生成したベクトルとが類似するように、変遷推定モデルＭ２の学習を行う。

このような学習処理を、利用者の連続する行動（例えば、利用者が連続して入力した複数の検索クエリ）に対して実行することで、情報提供装置１０は、利用者の意図を示す意図ベクトルの変遷が有する特徴を変遷推定モデルＭ２に学習させることができる。この結果、情報提供装置１０は、意図推定モデルＭ１と、変遷推定モデルＭ２とを用いて、利用者がある検索クエリを入力した場合に、将来における利用者の意図を適切に推定することができる。

例えば、図３は、実施形態に係る情報提供装置が実行する変遷推定モデルの学習の一例を示す図である。なお、図３に示す例では、利用者が検索クエリ＃１、＃２、＃３の順に検索クエリを入力したものとする。例えば、情報提供装置１０は、学習済の意図推定モデルＭ１を用いて、検索クエリ＃１から意図ベクトル＃１を生成する。続いて、情報提供装置１０は、意図推定モデルＭ１に対して検索クエリ＃２から意図ベクトル＃２を生成する。

また、情報提供装置１０は、変遷推定モデルＭ２として、意図推定モデルＭ１と同様に、ＬＳＴＭを準備する。なお、情報提供装置１０は、ＬＳＴＭ以外にも、任意の形式のモデルを変遷推定モデルＭ２としてもよい。そして、情報提供装置１０は、変遷推定モデルＭ２に意図ベクトル＃１を入力した際に変遷推定モデルＭ２が出力する推定ベクトル＃１と、意図推定モデルＭ１が検索クエリ＃２から生成した意図ベクトル＃２とが類似するように、変遷推定モデルＭ２の学習を行う。

続いて、情報提供装置１０は、意図ベクトル＃１を入力した変遷推定モデルＭ２に意図ベクトル＃２を入力した際に変遷推定モデルＭ２が出力する推定ベクトル＃２と、意図推定モデルＭ１が検索クエリ＃３から生成した意図ベクトル＃３とが類似するように、変遷推定モデルＭ２の学習を行う。また、情報提供装置１０は、利用者が連続して入力した各検索クエリを順番に意図推定モデルＭ１に入力し、意図推定モデルＭ１が順に出力する意図ベクトル＃１の変遷が有する特徴を変遷推定モデルＭ２に学習させる。このような処理の結果、情報提供装置１０は、変遷推定モデルＭ２に対し、利用者の意図が徐々に変化していく対応を学習させることができる。この結果、情報提供装置１０は、例えば、利用者が連続して入力した複数の検索クエリから、利用者の将来の意図を推定するモデルを実現することができる。

なお、図３に示す例では、情報提供装置１０は、利用者がある検索クエリを入力した際に、次に検索クエリを入力する意図の推定を行うように変遷推定モデルＭ２の学習を行った、しかしながら、実施形態は、これに限定されるものではない。後述するように、情報提供装置１０は、利用者が所定の意図の元入力した複数の検索クエリの変遷から、利用者が所定のコンバージョンを行った際の意図を示す意図情報を推定するように、変遷推定モデルＭ２の学習を行ってもよい。

例えば、情報提供装置１０は、検索クエリ＃１、＃２、＃３、＃４が連続して入力されていた際に、検索クエリ＃１、＃２、＃３、＃４を順に意図推定モデルＭ１に入力することで、意図ベクトル＃１、＃２、＃３、＃４を生成する。続いて、情報提供装置１０は、意図ベクトル＃１、＃２、＃３を順に変遷推定モデルＭ２に入力することで最終的に得られた推定ベクトル（すなわち、意図ベクトル＃３を入力した際に変遷推定モデルＭ２が出力したベクトル）が、意図ベクトル＃４と類似するように、意図推定モデルＭ２の学習を行ってもよい。すなわち、情報提供装置１０は、入力とする利用者の行動のステップ数に係わらず、将来における利用者の意図を示す意図ベクトルを出力するように、意図推定モデルＭ２の学習を行ってよい。

すなわち、情報提供装置１０は、変遷推定モデルＭ２が、検索クエリ＃３についての処理（意図ベクトル＃３から推定ベクトル＃３を出力する処理）を行う際に、検索クエリ＃２や検索クエリ＃１等、過去に推定を行った際の情報をコンテキストとして引き継ぐように、すなわち、過去の情報に基づく処理が再帰的に行われるように、変遷推定モデルＭ２の学習を行うこととなる。

〔１−２−３．提供処理について〕
図１に戻り、説明を続ける。上述したステップＳ５に続き、情報提供装置１０は、利用者の将来の意図に応じた情報を提供する提供処理を実行する。例えば、情報提供装置１０は、検索クエリの履歴と、変遷推定モデルＭ２とを用いて、両者の将来の行動の意図を予測する（ステップＳ６）。

例えば、図４は、実施形態に係る情報提供装置が変遷推定モデルを用いて将来の行動の意図を予測する処理の一例を示す図である。なお、図４に示す意図推定モデルＭ１および変遷推定モデルＭ２は、上述した学習処理により学習済のモデルであるものとする。例えば、情報提供装置１０は、利用者が入力した最新の検索クエリ＃１０よりも過去に利用者が入力した検索クエリを用いて、意図推定モデルＭ１および変遷推定モデルＭ２の学習を行う。続いて、情報提供装置１０は、利用者が入力した最新の検索クエリ＃１０を意図推定モデルＭ１に入力し、意図ベクトル＃１０を生成する。そして、情報提供装置１０は、意図ベクトル＃１０を変遷推定モデルＭ２に入力し、推定ベクトル＃１０を生成する。

続いて、情報提供装置１０は、推定ベクトル＃１０を検索クエリ等の行動情報に変換する。すなわち、情報提供装置１０は、利用者の意図の変遷が有する特徴から推定される将来の利用者の意図を示す推定ベクトル＃１０から、推定した意図を有する際に利用者がおおなうであろう行動を推定する。例えば、情報提供装置１０は、推定ベクトル＃１０から、推定ベクトル＃１０が示す意図（推定意図＃１）を有する際に利用者が入力するであろう検索クエリ＃１１を推定する。

なお、このような推定ベクトルから検索クエリ等の行動情報への変換は、ある検索クエリから生成される推定ベクトルと、その検索クエリの次に入力された検索クエリとの関係性を学習することにより実現可能である。例えば、情報提供装置１０は、検索クエリ＃１から生成した推定ベクトル＃１が入力された際に、検索クエリ＃１の次に入力された検索クエリ＃２を出力するように変換モデルの学習を行うことで、推定モデルから検索クエリへの変換を行う変換モデルを生成すればよい。

続いて、情報提供装置１０は、検索クエリ＃１１を意図推定モデルＭ１に入力することで、意図ベクトル＃１１を生成する。そして、情報提供装置１０は、意図ベクトル＃１１を変遷推定モデルＭ２に入力し、推定ベクトル＃１１を生成する。このような推定ベクトル＃１１は、利用者が推定意図＃１を有した後に有すると推定される推定意図＃２を示すと考えられる。そこで、情報提供装置１０は、変換モデルを用いて推定ベクトル＃１１を検索クエリ＃１２へと変換する。

そして、情報提供装置１０は、意図推定モデルＭ１を用いて、検索クエリ＃１２から意図ベクトル＃１２を生成し、変遷推定モデルＭ２を用いて、生成した意図ベクトル＃１２から推定ベクトル＃１２を生成する。そして、情報提供装置１０は、生成した推定ベクトル＃１２に基づいて、利用者の将来の行動を推定する。例えば、情報提供装置１０は、推定ベクトル＃１３から、利用者が将来意図＃２の後で有すると推定される将来意図＃３や、変換モデルを用いて推定ベクトル＃１２を検索クエリへと変換することで、利用者が将来意図＃３を有する際に入力するであろう検索クエリを予測する。

すなわち、情報提供装置１０は、意図の変遷の推定対象となる対象利用者の行動情報から、変遷推定モデルＭ２を用いて、対象利用者の意図の変遷を推定する。より具体的には、情報提供装置１０は、行動情報から推定された対象利用者の意図の変遷に基づいて、対象利用者の将来の行動を推定し、将来の行動が行われる際の利用者の意図を示す将来意図情報を生成し、将来意図情報から、変遷推定モデルＭ２を用いて、対象利用者のさらに将来の行動を推定する。

図１に戻り、説明を続ける。情報提供装置１０は、利用者の将来の行動の意図を予測した場合、予測結果に応じた情報を生成し、利用者Ｕに対して提供する（ステップＳ７）。例えば、情報提供装置１０は、図４に示す処理を１回若しくは繰り返し実行することで、所定期間が経過した後の利用者の意図や、利用者が行う行動（例えば、利用者が入力する検索クエリ）を予測する。そして、情報提供装置１０は、予測結果に応じたコンテンツを生成し、生成したコンテンツを利用者Ｕに対して提供する。

より具体的な例を挙げると、情報提供装置１０は、利用者が最後に入力した検索クエリ＃１０から、将来意図＃１と対応する推定ベクトル＃１０を生成し、生成した推定ベクトル＃１０から、将来意図＃１を有する際に利用者が入力するであろう検索クエリ＃１１を生成する。続いて、情報提供装置１０は、検索クエリ＃１１から、利用者が推定意図＃１を有した後で有すると推定される推定意図＃２と対応する推定ベクトル＃１１を生成し、生成した推定ベクトル＃１１から、利用者が将来意図＃２を有する際に入力するであろう検索クエリ＃１２を生成する。そして、情報提供装置１０は、生成した検索クエリ＃１２から、利用者が推定意図＃２の次に有するであろう推定意図＃３と対応する推定ベクトル＃１２を生成し、生成した推定ベクトル＃１２から、利用者が将来入力するであろう検索クエリ＃１３を生成する。

また、情報提供装置１０は、検索クエリ＃１３と対応する取引対象を示すコンテンツや、検索クエリ＃１３と対応するニュースコンテンツ等を収集する。そして、情報提供装置１０は、収集したコンテンツを利用者Ｕに対して提供する。このような処理の結果、情報提供装置１０は、利用者が将来有するであろう意図に応じたコンテンツを提供することができる。

〔１−３．情報提供装置が実行する処理のバリエーションについて〕
上述した例では、情報提供装置１０は、利用者が連続して入力した検索クエリを用いて、利用者が将来有する意図を考慮し、利用者が将来入力するであろう検索クエリを推定する処理の一例について説明した。しかしながら、上述した説明は、あくまで一例であり、実施形態は、これに限定されるものではない。以下、情報提供装置１０が実行する処理のバリエーションについて説明する。

〔１−３−１．コンバージョンについて〕
上述した例では、情報提供装置１０は、意図＃１に基づく検索クエリ＃１から意図ベクトル＃１を生成し、意図ベクトル＃１から生成される推定ベクトル＃１が、意図＃２に基づく検索クエリ＃２から生成される意図ベクトル＃２と類似するように、変遷推定モデルＭ２の学習を行った。しかしながら、実施形態は、これに限定されるものではない。

例えば、推定ベクトル＃１と意図ベクトル＃２とが類似するように変遷推定モデルＭ２を学習した場合は、情報提供装置１０は、利用者による検索クエリ＃２の入力をコンバージョンとし、利用者が検索クエリ＃２を入力する前に入力した検索クエリ＃１から利用者のコンバージョンを予測する変遷推定モデルＭ２を学習することとなる。ここで、情報提供装置１０は、検索クエリの変遷から、その後に生じる所定のコンバージョンを行った際の利用者の意図を推定するように、変遷推定モデルＭ２の学習を行ってもよい。

例えば、情報提供装置１０は、利用者が所定の検索クエリを入力するまで（すなわち
利用者が所定のコンバージョンを実行するまで）、意図推定モデルＭ１を用いて各検索クエリから意図ベクトルを生成し、生成した意図ベクトルを順次変遷推定モデルＭ２に入力する。ここで、情報提供装置１０は、変遷推定モデルＭ２が連続して生成する推定ベクトルが類似するように、変遷推定モデルＭ２の学習を行ってもよい。そして、情報提供装置１０は、利用者が所定の検索クエリを入力した際の意図ベクトルと、前回変遷推定モデルＭ２が生成した推定ベクトルとが類似するように、変遷推定モデルＭ２の学習を行ってもよい。

このような処理を実行した場合、情報提供装置１０は、コンバージョンへと至るまでの利用者の意図の変遷が有する特徴を変遷推定モデルＭ２に学習させることができる。この結果、情報提供装置１０は、例えば、利用者が入力した検索クエリ等、利用者の各種行動から、コンバージョンへと至るまでの利用者の意図の変遷を推定する変遷推定モデルＭ２の学習を行うことができる。

なお、情報提供装置１０は、任意の行動をコンバージョンとして採用してよい。例えば、情報提供装置１０は、取引対象を含む検索クエリの入力等、予め定められたキーワードを含む検索クエリの入力をコンバージョンとして採用してよい。また、後述する説明により明らかとなるように、情報提供装置１０は、所定の検索クエリのみならず、例えば、所定のコンテンツの選択や閲覧、所定の店舗への移動や各種決済の行動をコンバージョンとして採用してよい。

〔１−３−２．利用者の行動について〕
上述した説明では、情報提供装置１０は、利用者が連続して入力した検索クエリを用いて、利用者の意図を推定する意図推定モデルＭ１の学習を行うとともに、意図推定モデルＭ１が検索クエリから生成した意図ベクトルの変遷が有する特徴を変遷推定モデルＭ２に学習させた。しかしながら、実施形態は、これに限定されるものではない。

例えば、情報提供装置１０は、クリック若しくはタップ等により利用者が選択した各種のコンテンツから利用者の意図を推定し、推定した意図の変遷の特徴を有するように意図推定モデルＭ１や変遷推定モデルＭ２の学習を行ってよい。また、情報提供装置１０は、利用者が閲覧したニュースや広告、ＳＮＳ（Social Networking Service）の投稿情報等のコンテンツから利用者の意図を推定し、推定した意図の変遷の特徴を有するように意図推定モデルＭ１や変遷推定モデルＭ２の学習を行ってよい。例えば、情報提供装置１０は、利用者が選択もしくは閲覧したコンテンツを意図ベクトルに変換する意図推定モデルＭ１を学習し、意図推定モデルＭ１が生成したベクトルの変遷の特徴を学習してもよい。

例えば、情報提供装置１０は、利用者がＳＮＳ等に投稿したコンテンツを意図ベクトルに変換する意図推定モデルＭ１を学習し、意図推定モデルＭ１が生成したベクトルの変遷の特徴を学習してもよい。また、情報提供装置１０は、利用者が購入した取引対象や、利用者が販売コンテンツ等の関連するコンテンツを閲覧した取引対象の情報（例えば、取引対象の種別、名称、カテゴリ、価格等）を意図ベクトルに変換する意図推定モデルＭ１を学習し、意図推定モデルＭ１が生成したベクトルの変遷の特徴を学習してもよい。

また、情報提供装置１０は、ＧＰＳ（Global Positioning System）等の測位システムを用いて利用者の位置を示す位置情報を取得し、取得した利用者の位置を意図ベクトルに変換する意図推定モデルＭ１を学習し、意図推定モデルＭ１を用いて位置情報から生成したベクトルの変遷の特徴を学習してもよい。また、情報提供装置１０は、利用者が訪問した店舗を意図ベクトルに変換する意図推定モデルＭ１を学習し、意図推定モデルＭ１を用いて、利用者が訪問した店舗から生成したベクトルの変遷の特徴を学習してもよい。

また、情報提供装置１０は、各種のウェアラブルデバイスや、端末装置１００が有する各種のセンサ情報に基づいて、利用者の歩行状態や動きなどの行為を示す行為情報を取得し、取得した行為情報を意図ベクトルに変換する意図推定モデルＭ１を学習し、意図推定モデルＭ１を用いて行為情報から生成したベクトルの変遷の特徴を学習してもよい。

すなわち、情報提供装置１０は、利用者の意図を示す任意の行動を示す行動情報を取得し、取得した行動情報から利用者の意図を示す意図ベクトルを生成する意図推定モデルＭ１を学習する。そして、情報提供装置１０は、意図推定モデルＭ１を用いて生成した意図ベクトルの変遷の特徴を変遷推定モデルＭ２に学習させることで、利用者の各種行動から利用者の将来の意図を推定してもよい。

例えば、図５は、実施形態に係る情報提供装置が行動情報を用いて実行する変遷推定モデルの学習の一例を示す図である。例えば、情報提供装置１０は、行動＃１を示す行動情報を意図推定モデルＭ１に入力した際に意図推定モデルＭ１が出力する意図ベクトル＃１と、利用者が行動＃１と連続して行った行動＃２を示す行動情報を意図推定モデルＭ１に入力した際に意図推定モデルＭ２が出力する意図ベクトル＃２とが類似するように、意図推定モデルＭ１の学習を行う。

すなわち、情報提供装置１０は、利用者が第１行動を行った際の意図と、利用者が第１行動を行った後で所定の期間内に第２行動を行った際の意図とが類似するものとして、意図情報（例えば、意図ベクトル）を生成する。また、情報提供装置１０は、利用者が第１行動を行った際の意図と、利用者が当該第１行動と連続して行った第２行動を行った際の意図とが類似するものとして、意図情報を生成してもよい。より具体的には、情報提供装置１０は、第１行動を示す第１行動情報を入力した際と、第２行動を示す第２行動情報とを入力した際とで類似するベクトルを出力するように学習が行われた意図推定モデルＭ１を用いて、各行動情報から、意図情報を生成する。

また、情報提供装置１０は、学習済の意図推定モデルＭ１を用いて、各行動＃１〜＃３から意図ベクトル＃１〜＃３を生成する。そして、情報提供装置１０は、変遷推定モデルＭ２に意図ベクトル＃１を入力した際に変遷推定モデルＭ２が出力する推定ベクトル＃１と、意図ベクトル＃２とが類似するように、変遷推定モデルＭ２の学習を行い、変遷推定モデルＭ２に意図ベクトル＃２を入力した際に変遷推定モデルＭ２が出力する推定ベクトル＃２と、意図ベクトル＃３とが類似するように、変遷推定モデルＭ２の学習を行う。

このように、情報提供装置１０は、利用者の行動を示す複数の行動情報を取得し、行動情報が示す行動を行った際の利用者の意図を示す意図情報を生成する。そして、情報提供装置１０は、生成した意図情報が示す意図の変遷が有する特徴を変遷推定モデルＭ２に学習させる。

このような処理の結果、情報提供装置１０は、利用者により行われた各種の行動を示す行動情報から、利用者の意図を推定し、推定した意図の変遷が有する特徴に基づいて、将来の利用者の意図を推定する。この結果、情報提供装置１０は、利用者の将来の意図に基づいた各種の情報を提供することができるので、利用者に対してより適切な情報を提供することができる。

〔１−３−３．複数種別の行動について〕
上述した例では、情報提供装置１０は、利用者の行動として、利用者が入力した検索クエリから利用者の意図を推定し、推定した意図の変遷が有する特徴を変遷推定モデルＭ２に学習させた。ここで、情報提供装置１０は、利用者の行動として、複数種別の行動を用いた学習を行ってもよい。

例えば、利用者がウェブ検索を行う場合、検索クエリを入力し、その後、検索結果に含まれるリンクからいずれかのリンクをクリックし、リンク先のコンテンツを参照すると考えられる。このような一連の利用者の行動を考慮して、情報提供装置１０は、利用者の意図の変遷が有する特徴を変遷推定モデルＭ２に学習させてもよい。

例えば、図６は、実施形態に係る情報提供装置が複数種別の行動から意図を予測する処理の一例を示す図である。例えば、図６に示す例では、利用者が意図＃１の元検索クエリ＃１を入力した後に、意図＃４の元検索結果からリンクのクリックを行い、その後、意図＃３の元検索クエリ＃３を入力したものとする。

このような場合、情報提供装置１０は、検索クエリ＃１を入力した際に出力する意図ベクトル＃１と、利用者がリンクをクリックした旨を示す行動情報を入力した際に出力する意図ベクトル＃４とが類似するように、意図推定モデルＭ１の学習を行う。なお、情報提供装置１０は、例えば、利用者がクリックしたリンクを示す情報や、リンク先のコンテンツを示す情報等を行動情報としてもよい。

そして、情報提供装置１０は、意図ベクトル＃１を入力した際に出力する推定ベクトル＃１が、意図ベクトル＃４に類似し、意図ベクトル＃４を入力した際に出力する推定ベクトル＃４が、検索クエリ＃３を入力した際に意図推定モデルＭ１が出力する意図ベクトル＃３と類似するように、変遷推定モデルＭ２の学習を行う。このような学習を行った場合、意図推定モデルＭ１および変遷推定モデルＭ２は、利用者の検索クエリやクリック行動といったウェブ上の行動から、利用者の意図を推定し、将来の意図を推定することができる。

なお、情報提供装置１０は、例えば、アテンションやトランスフォーマ等、モデルの入出力に対して各種の重みづけを行う技術を用いて、クリック行動を意図ベクトルや推定ベクトルに反映させてもよい。例えば、情報提供装置１０は、検索クエリに続くクリック行動が行われたか否かに応じて、意図ベクトルの各要素のうち所定の要素の値を修正してもよい。また、情報提供装置１０は、例えば、検索クエリとクリック行動とを交互に学習させる必要はない。すなわち、情報提供装置１０は、利用者が連続して実行した行動を示す行動情報を、利用者が行動を行った順序で用いることで、利用者の意図および意図の変遷が有する特徴の学習を実現してよい。

〔１−３−４．検索クエリについて〕
また、情報提供装置１０は、任意の検索クエリを示す情報を行動情報としてもよい。例えば、情報提供装置１０は、１つ若しくはスペースで区切られた複数の検索クエリを示す行動情報を用いてもよい。また、情報提供装置１０は、ウェブ検索のみならず、例えば、各種の電子商店街で入力された検索クエリや、地図アプリなどで入力された検索クエリを採用してもよい。また、情報提供装置１０は、検索クエリそのものを入力としてもよく、ｗ２ｖ等の技術を用いて、検索クエリをベクトル化した情報を行動情報としてもよい。

例えば、情報提供装置１０は、検索クエリをそのまま採用する場合、例えば、ＲＮＮやＬＳＴＭである意図推定モデルＭ１に対し、検索クエリを構成する文字列を先頭から１文字ずつ入力することで、検索クエリから意図ベクトルの生成を行ってもよい。また、情報提供装置１０は、ｗ２ｖ等、意味が類似する単語を類似するベクトルへと変換する変換モデルを用いて、検索クエリとして入力された１つ或いは複数の単語をベクトル化し、各ベクトルを結合したベクトルや、各ベクトルの合成となる合成ベクトル等を行動情報として、意図推定モデルＭ１に入力してもよい。

〔１−３−５．モデルの構造について〕
上述した例では、情報提供装置１０は、意図推定モデルＭ１を用いて行動情報から意図ベクトルといった意図を示す意図情報を生成し、生成した意図情報を用いて、意図の変遷が有する特徴を変遷推定モデルＭ２に学習させた。しかしながら、実施形態は、これに限定されるものではない。例えば、情報提供装置１０は、学習済の意図推定モデルＭ１に対し、学習済の変遷推定モデルＭ２を結合させた１つのモデルを生成し、生成したモデルを用いて、利用者の行動情報から、利用者の将来の意図に基づいた行動を示す情報を出力するようにしてもよい。

また、情報提供装置１０は、ＲＮＮやＬＳＴＭ等の再帰型ニューラルネットワーク以外にも、畳み込みニューラルネットワーク等、各種任意のニューラルネットワークを採用してもよい。また、情報提供装置１０は、このような各種のニューラルネットワークにより実現される変遷推定モデルＭ２について、利用者が第１行動を行った際の意図を示す第１意図情報が入力された場合に、利用者が第１行動と連続する第２行動を行った際の意図を示す第２意図情報が入力された場合と類似するベクトルを出力するように学習を行えばよい。

〔１−３−６．双曲空間に対する投影について〕
ここで、第１情報を入力した際にモデルが出力する第１ベクトルと、第１情報と類似する第２情報を入力した際にモデルが出力する第２ベクトルとが類似するようにモデルの学習を行った場合、情報提供装置１０は、入力された情報を上方の類似性に応じた空間上に投影するモデルを生成することができる。例えば、情報提供装置１０は、第１ベクトルと第２ベクトルとのコサイン距離が類似するようにモデルの学習を行った場合、情報の類似性をコサイン距離に反映させた空間上に情報を投影するモデルを実現することができる。また、例えば、情報提供装置１０は、第１ベクトルと第２ベクトルとのユークリッド距離が類似するようにモデルの学習を行った場合、情報の類似性をユークリッド距離に反映させた空間上に情報を投影するモデルを実現することができる。

しかしながら、実施形態は、これに限定されるものではない。例えば、非ユークリッド空間の一例である双曲空間上に分散表現を投影することで、単語の分散表現の精度を向上させる技術が知られている（“Poincare Embeddings for Learning Hierarchical Representations”，Maximilian Nickel, Douwe Kiela ＜インターネット＞https://arxiv.org/pdf/1705.08039.pdf（平成３１年９月１３日検索））。例えば、非特許文献１においては、ある単語の前後に来る単語を予測するタスクにおいて、単語の分散表現を双曲空間であるポアンカレ空間上で学習する。このようなポアンカレ空間においては、空間の端に近づけば近づくほど、距離の尺度が指数関数的に増加していくため、有限の空間内に無限の情報（空間上の点）を投影することができる。

例えば、このようなポアンカレ空間の一例であるポアンカレディスクに、枝分かれしていく情報を埋め込む処理を考える。このようなポアンカレディスクにおいては、中心から円周上に向かうにつれ、距離の尺度が指数関数的に増加していく。このため、ポアンカレディスクの中心から円周方向に、枝分かれしていくツリーを埋め込んだ場合、ポアンカレディスク上においては、各枝の角度および長さを一定に保ったまま、任意の数の枝分かれを有するツリーを自然に埋め込むことができる。このようなポアンカレディスクの特徴は、さらに高次元なポアンカレ空間においても保持される。

一方で、利用者の行動は、利用者の意図の変遷により変化していくと考えられるが、このような利用者の意図の変遷は、ツリー構造を有するとも考えられる。このため、利用者の行動やその意図をポアンカレ空間上のベクトルへと変換した場合、行動や意図が有する階層構造を空間上へと自然に埋め込む（投影する）ことができる。また、ポアンカレ空間上においては、円周方向に近づく程距離の尺度が増加する。このため、ポアンカレ空間上で利用者の行動や意図を示すベクトルを学習した場合は、多くの階層関係をベクトルに反映させることができるので、クラスタリングの精度向上や、ベクトルの次元数の削減を実現することができると考えられる。

そこで、情報提供装置１０は、意図推定モデルＭ１が生成した意図ベクトルを双曲空間上に投影した推定ベクトルを出力するように変遷推定モデルＭ２の学習を行う。例えば、情報提供装置１０は、意図推定モデルＭ１が第１行動から第１意図ベクトルを生成し、第２行動から第２意図ベクトルを生成した場合、第２意図ベクトルに対応する第２推定ベクトルを、第１意図ベクトルに対応する第１推定ベクトルから双曲空間上において枝分かれするベクトルとなるように、変遷推定モデルＭ２の学習を行う。

例えば、情報提供装置１０は、双曲空間として、ミンコフスキー空間上に分散表現を投影する。より具体的には、情報提供装置１０は、ミンコフスキー空間の二葉双曲面（Hyperboloid of two sheets）が有する２つの超平面のうち、焦点軸上の座標が正となる超平面上の分散表現を生成する。

例えば、情報提供装置１０は、ｘ軸、ｙ軸およびｚ軸により構成される３次元空間を設定し、この３次元空間においてｚ軸を焦点軸とする二葉双曲面を設定する。また、情報提供装置１０は、設定した３次元空間において、生成した２次元の意図ベクトルが示す位置から、ｘｙ平面に対する垂線を設定し、二葉双曲面のうちｚ軸方向の成分が正となる曲面と垂線との交点を分散表現の投影先とする。すなわち、情報提供装置１０は、利用者の意図を示す双曲空間上の分散表現を生成する。

そして、情報提供装置１０は、双曲空間上における分散表現同士の距離を判定する。例えば、情報提供装置１０は、意図＃１からユークリッド空間上の意図ベクトル＃１を生成し、意図＃２からユークリッド空間上の意図ベクトル＃２を生成する。そして、情報提供装置１０は、意図ベクトル＃１と意図ベクトル＃２との間の双曲空間上における距離を算出する。

そして、情報提供装置１０は、意図＃１と意図＃２とが類似する場合（例えば、同一セッション内における行動に対応する意図である場合）は、意図ベクトル＃１と意図ベクトル＃２との間の双曲空間上における距離がより小さくなるように変遷推定モデルＭ２を学習する。一方、情報提供装置１０は、意図＃１と意図＃２とが類似しない場合（例えば、同一セッション内における行動に対応する意図ではない場合）は、文章＃１と文章＃２とが類似しない場合には、意図ベクトル＃１と意図ベクトル＃２との間の双曲空間上における距離がより大きくなるように変遷推定モデルＭ２を学習する。

例えば、情報提供装置１０は、意図ベクトルを双曲空間上に投影する関数ｆを固定し、バックプロパゲーション等の学習手法を用いて、変遷推定モデルＭ２のノード間を接続する接続係数を修正してもよい。また、情報提供装置１０は、意図ベクトルを双曲空間上に投影する関数ｆを修正してもよい。すなわち、情報提供装置１０は、意図の類似性を双曲空間上における距離へと投影することができる変遷推定モデルＭ２を学習するのであれば、任意の学習を行ってよい。

ここで、情報提供装置１０は、双曲空間上の分散表現を生成するのであれば、任意の空間を双曲空間として採用可能である。例えば、情報提供装置１０は、任意の次元数を有するミンコフスキー空間上の分散表現を生成してもよい。また、情報提供装置１０は、二葉双曲面の任意の面上の分散表現を生成してよい。

また、情報提供装置１０は、ポアンカレ円板模型（所謂ポアンカレディスク）における任意の次元の円板上、若しくは、ポアンカレ球体模型における任意の次元の球面上の分散表現を生成してもよい。すなわち、情報提供装置１０は、双曲幾何学が適用可能な空間上の分散表現を生成し、このような空間上において双曲幾何学を用いた距離に基づいて、情報が有する概念の類似性を判定するのであれば、任意の双曲空間を採用してよい。

なお、情報提供装置１０は、検索クエリ等の各行動情報を双曲空間上に投影する意図推定モデルＭ１の学習を行い、学習済の意図推定モデルＭ１が生成したベクトルを、さらに、双曲空間上に投影する変遷推定モデルＭ２の学習を行ってもよい。

このような学習を行った場合、情報提供装置１０は、ツリー状の構造を有する情報群を辿るように、利用者の意図が変遷するものとして、利用者の意図の変遷が有する特徴を学習することとなる。この結果、情報提供装置１０は、利用者の将来の意図をより精度良く推定することができる。

例えば、図７は、実施形態に係る情報提供装置が双曲空間上に意図を投影した際の効果の一例を説明する図である。例えば、利用者が連続してウェブ検索等の行動を行った場合、それら連続する行動は、利用者の連続して遷移する意図を示していると考えられる。ここで、このような利用者の意図が、行動および行動結果に応じて変化する点を考慮すると、利用者の各意図は、図７に示すようなツリー型の構造で表現できると考えらえる。

例えば、利用者が意図＃１の元でウェブ検索を行った場合、利用者の意図は、検索結果に応じて、意図＃１−１若しくは意図＃１−２に分岐すると考えられる。また、利用者が意図＃１−１の元でウェブ検索を行った場合、利用者の意図は、検索結果に応じて、意図＃１−１−１や意図＃１−１−２等の複数の意図に分岐すると考えられる。また、利用者が意図＃１−２の元でウェブ検索を行った場合、利用者の意図は、検索結果に応じて、意図＃１−２−１や意図＃１−２−２等の複数の意図に分岐すると考えられる。また、利用者の意図は、検索結果に応じて、意図＃１−１−１、意図＃１−１−２、意図＃１−２−１、意図＃１−２−２は、それぞれ異なる意図に分岐すると考えらえる。

このようなツリー型の構造を有する利用者の意図の変遷を双曲空間上に投影した場合、双曲空間上において異なる枝に属する意図同士の距離を所定値以上に保ちつつ、同一の枝に属する意図同士の距離を近づけることができる。このため、情報提供装置１０は、ツリー型の構造を有する利用者の意図の変遷を精度良く変遷推定モデルＭ２に学習させることができる。

また、このように利用者の意図を双曲空間上に投影した場合、情報提供装置１０は、利用者の将来の意図をより精度良く推定することができる。例えば、意図＃１−１−１および意図＃１−１−２が、ウェブ検索に関連する意図であるウェブ検索関連意図を示すと推定される場合、情報提供装置１０は、利用者が意図＃１−１の元で行った行動から、利用者の将来の意図がウェブ検索関連意図であると推定し、自動的にウェブ検索を行った結果を先取り的に提供してもよい。また、例えば、意図＃１−２−１および意図＃１−２−２が、取引対象の購買に関連する意図である購買関連意図を示すと推定される場合、情報提供装置１０は、利用者が意図＃１−２の元で行った行動から、利用者の将来の意図が購買関連意図であると推定し、自動的に商品検索を行った結果を先取り的に提供してもよい。

〔１−３−７．モデルの学習単位について〕
なお、情報提供装置１０は、全利用者に対して共通するモデルの学習を行ってもよく、各利用者ごとに専用のモデルの学習を行ってもよい。また、例えば、情報提供装置１０は、全利用者の検索クエリの履歴に基づいて、全利用者に対して共通する意図推定モデルＭ１や変遷推定モデルＭ２の学習を行う。そして、情報提供装置１０は、利用者ごとに、意図推定モデルＭ１や変遷推定モデルＭ２のチューニングを行ってもよい。また、情報提供装置１０は、全利用者に対して共通する図推定モデルＭ１や変遷推定モデルＭ２を各利用者の端末装置１００に配信し、端末装置１００側で、意図推定モデルＭ１や変遷推定モデルＭ２のチューニングを行わせてもよい。

ここで、利用者の行動と意図との関係性は、利用者の位置や利用者が行動を行った日時、利用者が行動を行った際に家族と一緒であったか、友人と一緒であったか等、利用者の状態のコンテキストに応じて変化すると考えられる。例えば、利用者が所定の検索クエリを入力していたとしても、利用者の意図やその意図の変遷は、利用者が仕事中である場合と、利用者がプライベートである場合とで異なるとも考えられる。

そこで、情報提供装置１０は、利用者が行動を行った際の状態ごとに異なる意図推定モデルＭ１や変遷推定モデルＭ２の学習を行ってもよい。例えば、検索サーバ２００は、端末装置１００から、検索クエリのみならず、ＧＰＳ（Global Positioning System）等の測位システムを用いて取得された位置を示す位置情報や、端末装置１００が有する加速度センサやジャイロセンサ、温度センサ、照度センサ等の各種センサが検出した情報をコンテキスト情報として取得する。なお、検索サーバ２００は、端末装置１００を介して、利用者が着用するウェアラブルデバイスが取得したコンテキスト情報を取得してもよい。

続いて、情報提供装置１０は、検索サーバ２００から、検索クエリと、その検索クエリが入力された際の利用者のコンテキストを示すコンテキスト情報とを取得する。そして、情報提供装置１０は、コンテキスト情報が示す利用者のコンテキストに応じたグループに検索クエリを分類し、各グループの検索クエリを個別に用いて、意図推定モデルＭ１や変遷推定モデルＭ２の学習を行ってもよい。このような処理の結果、情報提供装置１０は、コンテキストごとに意図推定モデルＭ１や変遷推定モデルＭ２の学習を行うことができる。

なお、情報提供装置１０は、任意の公知技術を用いて、コンテキスト情報から利用者のコンテキストを推定してよい。また、情報提供装置１０は、図示を省略した各種の外部サーバや、端末装置１００、利用者が着用するウェアラブルデバイスが各種のセンサ情報から推定した利用者のコンテキストを示すコンテキスト情報を取得してもよい。

また、情報提供装置１０は、コンテキスト情報ごとに学習を行った意図推定モデルＭ１を用いて、利用者に対する情報提供を行ってもよい。すなわち、情報提供装置１０は、変遷推定モデルＭ２の学習を行わずとも、利用者のコンテキストごとに利用者の意図を推定し、推定した意図に応じた情報提供を行ってもよい。すなわち、情報提供装置１０は、利用者の行動を示す複数の行動情報と、利用者が各行動を行った際の状態を示す状態情報とを取得し、利用者の第１行動を示す第１行動情報を入力した際と、第１行動よりも後で利用者が行った第２行動であって、第１行動が行われた際と類似する状態で利用者が行った第２行動を示す第２行動情報とを入力した際とで類似するベクトルを出力するように第２モデルを学習してもよい。

〔１−３−８．適用対象について〕
ここで、情報提供装置１０は、任意の種別の行動情報から利用者の意図を推定し、推定した意図に応じた任意の種別の情報を提供して良い。

例えば、情報提供装置１０は、利用者が選択した情報を行動情報として取得してもよい。このような行動情報から利用者の意図を推定する意図推定モデルＭ１や変遷推定モデルＭ２の学習を行った場合、情報提供装置１０は、利用者が各種の情報を選択した意図や、その意図の変遷を学習させるとともに、利用者が選択した情報から利用者の将来の意図を推定することができる。例えば、情報提供装置１０は、トラベルサイトやグルメサイト、ホテルの予約サイトにおけるクリック履歴から、利用者がどのようなホテルや店舗を探しているのかといった意図や、将来、どのようなホテルや店舗を予約するかといった将来の意図を推定することができる。

また、例えば、情報提供装置１０は、利用者が閲覧した情報と関連する情報を行動情報として取得してもよい。このような行動情報から利用者の意図を推定する意図推定モデルＭ１や変遷推定モデルＭ２の学習を行った場合、情報提供装置１０は、利用者が情報を選択した意図や、その意図の変遷を学習させるとともに、利用者が閲覧した情報から利用者の将来の意図を推定することができる。例えば、情報提供装置１０は、ニュースの履歴から、ニュースを閲覧する際の利用者の意図や、ニュースを閲覧した利用者が将来どのような意図を有し、どのようなニュースを閲覧するかといった推定を実現することができる。

また、例えば、情報提供装置１０は、利用者が選択した取引対象を示す情報を行動情報として取得してもよい。このような行動情報から利用者の意図を推定する意図推定モデルＭ１や変遷推定モデルＭ２の学習を行った場合、情報提供装置１０は、利用者が取引対象を選択した意図や、その意図の変遷を学習させるとともに、利用者が閲覧したり購入したりした取引対象から利用者の将来の意図を推定することができる。例えば、情報提供装置１０は、利用者が閲覧した取引対象の販売ページや電子商店街における検索クエリ等から、利用者が取引対象を購入或いは取引対象の販売ページを閲覧する際の利用者の意図（例えば、取引対象の購入を悩んでいるのか、購入しようとしているのか、情報を収集しようとしているのか等）を推定し、将来、どのような取引対象を購入するのかといった推定を実現することができる。

なお、上述した処理以外にも、情報提供装置１０は、任意の行動情報を採用し、任意の行動情報に基づいて利用者の意図や将来の意図の推定を行ってよい。例えば、情報提供装置１０は、利用者が閲覧したり購入したりしたウェブコンテンツ（電子書籍や音楽、映画等）を示す各種のメタデータを行動情報とし、利用者が将来興味を有するウェブコンテンツのメタデータを予測する。そして、情報提供装置１０は、予測したメタデータと類似するメタデータのウェブコンテンツを利用者に対して提案してもよい。例えば、情報提供装置１０は、ウェブコンテンツの著者、製作者、作曲家、監督、ランキング、レビュー内容、配信者等、任意の情報をメタデータとして採用してよい。また、情報提供装置１０は、利用者が選択、購入、閲覧したコンテンツを提案するインフルエンサーの情報をメタデータとして採用し、将来利用者が興味を有しうるコンテンツの推定を行ってもよい。

また、情報提供装置１０は、所定のコンバージョンを利用者が行うまでの行動を示す行動情報を用いて、変遷推定モデルＭ２の学習を行う。続いて、情報提供装置１０は、図４等に示すように、利用者が実行した最新の行動を示す行動情報から、利用者がコンバージョンを行うと推定される迄、将来の行動を逐次推定する。このような推定を行った回数は、利用者がコンバージョンを行うまでの意図の段階を示すと考えらえる。そこで、情報提供装置１０は、利用者がコンバージョンを行うと推定される迄、将来の行動を逐次推定すし、推定を行った回数に基づいて、コンバージョンを行うまでの利用者の意図の状態を推定し、推定した状態に応じた情報を提供してもよい。

例えば、利用者が取引対象を購入するまでには、取引対象を認知し、購入を検討し、その後、購入するといった段階があると考えられる。このため、利用者による取引対象の購入をコンバージョンとし、コンバージョンへと至るまでの利用者の各行動から、利用者の意図を推定し、推定した意図の変遷をモデルに学習させた場合、モデルは、取引対象を認知し、購入を検討し、その後、購入するといったコンバージョンへと至る意図の変遷の特徴を学習していると考えられる。

このようなモデルを用いて、情報提供装置１０は、利用者の最新の行動から、利用者の将来の意図を段階的に推定することで、コンバージョンへと至るまでの利用者の意図の段階を推定することができる。例えば、情報提供装置１０は、１段階或いは２段階先の利用者の将来の意図を推定した際に、利用者がコンバージョンへと至ると推定される場合、利用者が取引対象の購入を検討していると推定し、取引対象の購入を提案する情報を提供しても良い。また、例えば、情報提供装置１０は、５段階先の利用者の将来の意図を推定した際に、利用者がコンバージョンへと至ると推定される場合、利用者が取引対象を認知していると推定し、取引対象に関する詳細な説明や、他の利用者のレビュー等を提供してもよい。

このように、情報提供装置１０は、コンバージョンへと至るまでの利用者の意図の段階を推定し、推定した段階に応じた情報を提供してもよい。このような処理を実行した場合、情報提供装置１０は、利用者に対してより適切な情報を提供することができる。

なお、情報提供装置１０は、任意の種別の行動を示す行動情報から、任意の種別のコンバージョンへと至るまでの段階の推定を行ってよい。例えば、情報提供装置１０は、検索クエリの履歴やクリックの履歴から、利用者が取引対象の購入や店舗の予約を行うまでの段階の推定を行ってよい。また、例えば、情報提供装置１０は、端末装置１００の位置履歴や、利用者の決済履歴に基づいて、実店舗の訪問や実店舗の利用を特定し、特定した訪問や利用をコンバージョンとする。そして、情報提供装置１０は、コンバージョンまでに利用者が閲覧したコンテンツや検索クエリ等を行動情報として、モデルの学習を行う。このような場合、情報提供装置１０は、利用者が閲覧したコンテンツや検索クエリから、利用者が店舗を訪問或いは利用するまでの段階を推定するモデルを学習することができる。なお、情報提供装置１０は、利用者の位置履歴や店舗の利用履歴等を行動情報としてもよい。

〔２．情報提供装置の構成〕
以下、上記した情報提供装置１０が有する機能構成の一例について説明する。図８は、実施形態に係る情報提供装置の構成例を示す図である。図８に示すように、情報提供装置１０は、通信部２０、記憶部３０、および制御部４０を有する。

通信部２０は、例えば、ＮＩＣ（Network Interface Card）等によって実現される。そして、通信部２０は、ネットワークＮと有線または無線で接続され、端末装置１００との間で情報の送受信を行う。

記憶部３０は、対象物を所定の位置から撮影した画像である基準画像に基づく基準情報を記憶する。例えば、記憶部３０は、ＲＡＭ（Random Access Memory)、フラッシュメモリ（Flash Memory）等の半導体メモリ素子、または、ハードディスク、光ディスク等の記憶装置によって実現される。また、記憶部３０は、行動履歴データベース３１およびモデルデータベース３２を記憶する。

以下、図９、１０を用いて、記憶部３０に登録される情報の一例を説明する。行動履歴データベース３１には、利用者の行動を示す行動情報が登録される。例えば、図９は、実施形態に係る行動履歴データベースに登録される情報の一例を示す図である。図９に示すように、行動履歴データベース３１には、「利用者ＩＤ（Identifier）」、「利用者情報」、「コンテキスト情報」、「行動情報」、および「日時情報」といった情報が対応付けて登録されている。

ここで、「利用者ＩＤ」とは、利用者を識別するための識別子である。また、「利用者情報」とは、利用者の氏名、性別、年代、趣味嗜好等、利用者のデモグラフィック属性やサイコグラフィック属性といった各種の属性を示す情報である。また、「コンテキスト情報」とは、対応付けられた行動情報が示す行動をどのようなコンテキスト（状態）で行ったかを示す情報である。また、「行動情報」とは、利用者の行動を示す情報である。また、「日時情報」とは、対応付けられた行動情報が示す行動が行われた日時もしくは、行動情報が取得された日時を示す情報である。

例えば、図９に示す例では、行動履歴データベース３１には、利用者ＩＤ「利用者＃１」、利用者情報「利用者情報＃１」、コンテキスト情報「コンテキスト＃１」、行動情報「行動情報＃１−１」、日時情報「日時情報＃１−１」といった情報が登録されている。このような情報は、利用者ＩＤ「利用者＃１」が示す利用者の各種属性が、利用者情報「利用者情報＃１」である旨を示す。また、このような情報は、利用者ＩＤ「利用者＃１」が示す利用者が、コンテキスト情報「コンテキスト＃１」が示す状態において、行動情報「行動情報＃１−１」が示す行動を、日時情報「日時情報＃１−１」が示す日時に行った旨を示す。

なお、図９に示す情報以外にも、行動履歴データベース３１には、任意の情報が登録されていてよい。また、図９に示す例では、「利用者＃１」、「利用者情報＃１」、「コンテキスト＃１」、「行動情報＃１−１」、「日時情報＃１−１」といった概念的な値を記載したが、実際には、利用者を識別するための文字列や数値、利用者の属性を示す文字列、コンテキストを識別するための文字列や数値、利用者の行動を示す数値や文字列若しくは利用者が入力した文字列、日時を示す数値等が登録されることとなる。

モデルデータベース３２には、意図推定モデルＭ１や変遷推定モデルＭ２が登録される。例えば、図１０は、実施形態に係るモデルデータベースに登録される情報の一例を示す図である。図１０に示すように、モデルデータベース３２には、「モデルＩＤ」、「モデル種別」、「対応利用者」、および「対応コンテキスト」といった情報が対応付けて登録されている。

ここで、「モデルＩＤ」とは、モデルを識別するための識別子である。また、「モデル種別」とは、モデルが意図推定モデルであるか、変遷推定モデルであるかを示す情報である。また、「対応利用者」とは、対応付けられたモデルを用いて意図の推定や意図の変遷の推定を行う利用者を示す情報である。また、「対応コンテキスト」とは、対応付けられたモデルを用いて意図の推定や変遷の推定を行う際の利用者のコンテキストを示す情報である。

例えば、図１０に示す例では、モデルＩＤ「モデル＃１」、モデル種別「変遷推定モデル」、対応利用者「利用者＃１」、および対応コンテキスト「コンテキスト＃１」といった情報が対応付けて登録されている。このような情報は、モデルＩＤ「モデル＃１」が示すモデルの種別が、モデル種別「変遷推定モデル」であり、対応利用者「利用者＃１」が示す利用者が、対応コンテキスト「コンテキスト＃１」が示す状態において行った行動に基づき、学習が行われたモデルである旨を示す。

なお、図１０に示す情報以外にも、モデルデータベース３２には、任意の情報が登録されていてよい。また、図１０に示す例では、「モデル＃１」、「利用者＃１」、「コンテキスト＃１」といった概念的な値を記載したが、実際には、モデルや利用者を識別するための文字列や数値、コンテキストを識別するための文字列や数値等が登録されることとなる。

図８に戻り、説明を続ける。制御部４０は、コントローラ（controller）であり、例えば、ＣＰＵ（Central Processing Unit）、ＭＰＵ（Micro Processing Unit）等のプロセッサによって、情報提供装置１０内部の記憶装置に記憶されている各種プログラムがＲＡＭ等を作業領域として実行されることにより実現される。また、制御部４０は、コントローラ（controller）であり、例えば、ＡＳＩＣ（Application Specific Integrated Circuit）やＦＰＧＡ（Field Programmable Gate Array）等の集積回路により実現されてもよい。

図８に示すように、制御部４０は、取得部４１、生成部４２、学習部４３、受付部４４、推定部４５、および提供部４６を有する。

取得部４１は、利用者の行動を示す複数の行動情報を取得する。例えば、取得部４１は、利用者がウェブ上で行った行動を示す行動情報を取得する。より具体的な例を挙げると、取得部４１は、検索クエリや投稿情報等、利用者が入力した情報を行動情報として取得する。また、取得部４１は、利用者がクリックしたコンテンツ等の各種情報を行動情報として取得してもよく、利用者が閲覧したコンテンツやコンテンツのメタデータ等、コンテンツと関連する情報を行動情報として取得してもよい。また、取得部４１は、利用者が閲覧若しくは購入した取引対象等、利用者が選択した取引対象を示す情報を行動情報として取得してもよい。

なお、取得部４１は、行動情報を取得するとともに、行動情報が示す行動を行った日時を示す日時情報や、行動を行った際の利用者のコンテキストを示すコンテキスト情報を取得する。そして、取得部４１は、利用者を示す利用者ＩＤと、行動情報と、コンテキスト情報とを対応付けて行動履歴データベース３１に登録する。ここで、取得部４１は、コンテキスト情報が各種のセンサ情報である場合、予め定められた状態のうち利用者がいずれの状態にあるかを推定し、推定した状態を示すコンテキスト情報と対応付けて行動情報を登録してもよい。

生成部４２は、各行動情報から、行動情報が示す行動を行った際の利用者の意図を示す意図情報を生成する。例えば、生成部４２は、変遷推定モデルＭ２の学習対象となる利用者の行動情報を行動履歴データベース３１から取得するとともに、モデルデータベース３２から、変遷推定モデルＭ２の学習対象となる利用者の意図推定モデルＭ１を読み出す。なお、生成部４２は、変遷推定モデルＭ２を利用者とコンテキストとの組合せごとに学習する場合、学習対象となる利用者とコンテキストとの組合せと対応付けられた行動情報と意図推定モデルＭ１とを読み出してもよい。

そして、生成部４２は、意図推定モデルＭ１に行動情報を入力することで、意図ベクトルを生成する。より具体的には、生成部４２は、ＬＳＴＭである意図推定モデルＭ１に対し、利用者が行った順（例えば、日時情報が示す日時が古い順）で行動情報を入力することで、意図ベクトルの生成を行う。

ここで、学習部４３は、利用者が第１行動を行った際の意図と、利用者が第１行動を行った後で所定の期間内に第２行動を行った際の意図とが類似するものとして、意図推定モデルＭ１の学習を行う。すなわち、学習部４３は、利用者が第１行動を行った際の意図と、利用者が第１行動の後で行った所定の第２行動を行った際の意図とが類似するものとして、ＬＳＴＭ等の意図推定モデルＭ１の学習を行う。

このため、生成部４２は、意図推定モデルＭ１として、第１行動情報が入力された場合に出力したベクトルと、第１行動情報と連続して第２行動情報が入力された場合に出力したベクトルとが類似するように学習が行われた再帰型ニューラルネットワークを用いて、意図情報を生成する。例えば、生成部４２は、意図推定モデルＭ１に行動情報を入力することで、意図推定モデルＭ１が出力したベクトルを意図情報として生成する。すなわち、生成部４２は、第１行動を示す第１行動情報から生成された第１意図ベクトルと、第２行動を示す第２行動情報から生成された第２意図ベクトルとが類似するように、意図ベクトルの生成を行うこととなる。

学習部４３は、意図情報が示す意図の変遷が有する特徴を変遷推定モデルＭ２に学習させる。例えば、学習部４３は、学習対象となる変遷推定モデルＭ２として、ＬＳＴＭ等の再帰型ニューラルネットワークを準備する。そして、学習部４３は、変遷推定モデルＭ２に意図推定モデルＭ１が生成したベクトルの変遷が有する特徴を学習させる。例えば、学習部４３は、バックプロパゲーション等、各種の公知技術を用いて、変遷推定モデルＭ２の学習を行わせる。

例えば、学習部４３は、第１行動情報から意図推定モデルＭ１が生成した第１意図ベクトルを入力した際に変遷推定モデルＭ２が生成したベクトルと、第２行動情報から意図推定モデルＭ１が生成した第２意図ベクトルとが類似するように変遷推定モデルＭ２の学習を行ってもよい。より具体的には、学習部４３は、変遷推定モデルＭ２として、第１行動情報が入力された場合に意図推定モデルＭ１が生成した第１意図ベクトルが入力された際に出力する第１ベクトルと、第１意図ベクトルと連続して、第２行動情報が入力された場合に意図推定モデルＭ１が生成した第２意図ベクトルが入力された際に出力する第２ベクトルとが類似するように、再帰型ニューラルネットワークの学習を行ってもよい。

また、学習部４３は、利用者が第２行動を行う前に行った複数の第１行動を示す第１行動情報から意図推定モデルＭ１が生成した複数の第１意図ベクトルを、第１行動が行われた順に変遷推定モデルＭ２に入力した際に変遷推定モデルＭ２が生成した推定ベクトルと、第２行動情報から意図推定モデルＭ１が生成した第２意図ベクトルとが類似するように変遷推定モデルＭ２の学習を行ってもよい。すなわち、学習部４３は、利用者が所定のコンバージョンを行うまでの意図の変遷が有する特徴を変遷推定モデルＭ２に学習させてもよい。換言すると、学習部４３は、利用者が第１行動を行った際の意図を示す第１意図情報が入力された場合に、利用者が第２行動を行った際の意図を示す第２意図情報が入力された場合と類似するベクトルを出力するように変遷推定モデルＭ２を学習させてよい。

なお、学習部４３は、意図推定モデルＭ１が生成したベクトルを双曲空間上に投影したベクトルを出力するように変遷推定モデルＭ２の学習を行ってもよい。例えば、学習部４３は、双曲空間上において第２意図ベクトルを第１ベクトルから枝分かれるベクトルへと投影するように変遷推定モデルＭ２の学習を行ってもよい。

また、学習部４３は、利用者ごと、若しくは、利用者が行動を行った状態ごとに異なる変遷推定モデルＭ２の学習を行ってもよい。また、学習部４３は、意図推定モデルＭ１の学習を、利用者ごと、利用者が行動を行った状態ごとに行ってもよい。

受付部４４は、意図の変遷の推定対象となる対象利用者の行動情報を受付ける。例えば、受付部４４は、図示を省略した外部サーバ等から、対象利用者の指定を受付けると、対象利用者が実行した行動情報のうち、所定期間内の行動情報（例えば、最新の行動情報等）を検索サーバ２００等から受付ける。

推定部４５は、学習部４３により学習された変遷推定モデルＭ２を用いて、受付部４４により受付けられた行動情報から、対象利用者の意図の変遷を推定する。例えば、推定部４５は、対象利用者の意図推定モデルＭ１と変遷推定モデルＭ２をモデルデータベース３２から読み出す。なお、推定部４５は、利用者の状態に応じた意図推定モデルＭ１と変遷推定モデルＭ２をモデルデータベース３２から読み出してもよい。

続いて、推定部４５は、受付部４４により受付けられた行動情報を意図推定モデルＭ１に入力し、意図推定モデルＭ１が生成した意図ベクトルを変遷推定モデルＭ２に入力することで、利用者の将来の行動の意図を推定する。続いて、推定部４５は、推定した意図から対象利用者の将来の行動を推定する。例えば、推定部４５は、推定ベクトルを行動情報に変換する変換モデルを用いて、推定ベクトルから将来の行動情報を推定する。このような場合、生成部４２は、意図推定モデルＭ１に推定された行動情報を入力することで、さらに将来の行動の意図を示す将来意図情報を生成する。そして、推定部４５は、生成された将来意図情報から、変遷推定モデルＭ２を用いて、対象利用者のさらに将来の行動を推定する。なお、推定部４５は、このような処理を繰り返し実行することで、さらに将来の意図および行動の推定を行ってよい。

提供部４６は、推定された対象利用者の将来の意図若しくは行動に応じた情報を提供する。例えば、提供部４６は、推定部４５によって推定された将来の行動若しくは意図に応じた情報を生成し、生成した情報を端末装置１００に送信する。例えば、提供部４６は、推定部４５が利用者が将来入力する検索クエリを推定した場合、推定された検索クエリと対応するコンテンツを先取り的に提供してもよい。

また、例えば、推定部４５は、利用者が所定のコンバージョンを実行すると推定されるまで、上述した処理を繰り返し実行し、利用者が所定のコンバージョンを実行すると推定されるまで処理を実行した回数を計数する。そして、推定部４５は、計数した回数に応じて、利用者が所定のコンバージョンへと至るまでの段階を推定する。このような場合、提供部４６は、推定した段階に応じた情報を提供してもよい。

〔３．情報提供装置が実行する処理の流れの一例〕
続いて、図１１を用いて、情報提供装置１０が実行する処理の流れについて説明する。図１１は、実施形態に係る情報提供装置が実行する処理の流れの一例を示すフローチャートである。

まず、情報提供装置１０は、学習処理の実行タイミングであるか否かを判定し（ステップＳ１０１）、実行タイミングであると判定した場合は（ステップＳ１０１：Ｙｅｓ）、行動情報を取得する（ステップＳ１０２）。続いて、情報提供装置１０は、連続する行動を示す行動情報を入力した際に、類似するベクトルが出力されるように、意図推定モデルＭ２の学習を行う（ステップＳ１０３）。そして、情報提供装置１０は、意図推定モデルＭ２が出力するベクトルの変遷が有する特徴を変遷推定モデルＭ２に学習させる（ステップＳ１０４）。

続いて、情報提供装置１０は、提供処理の実行タイミングであるか否かを判定する（ステップＳ１０５）。そして、情報提供装置１０は、提供処理の実行タイミングであると判定した場合は（ステップＳ１０５：Ｙｅｓ）、各モデルを用いて、直近の行動情報から、将来の意図に対応する推定ベクトルを生成する（ステップＳ１０６）。続いて、情報提供装置１０は、推定ベクトルと対応する行動を推定し（ステップＳ１０７）、各モデルと推定した行動とから、さらに将来の利用者の意図を推定する（ステップＳ１０８）。そして、情報提供装置１０は、推定した意図と対応する行動に基づいて、利用者に提供する情報を選択し（ステップＳ１０９）、選択した情報を提供して（ステップＳ１１０）、処理を終了する。

なお、情報提供装置１０は、学習処理の実行タイミングではないと判定した場合は（ステップＳ１０１：Ｎｏ）、ステップＳ１０５を実行する。また、情報提供装置１０は、提供処理の実行タイミングではないと判定した場合は（ステップＳ１０５：Ｎｏ）、処理を終了する。

〔４．変形例〕
上記では、情報提供装置１０による処理の一例について説明した。しかしながら、実施形態は、これに限定されるものではない。以下、情報提供装置１０が実行する処理のバリエーションについて説明する。

〔４−１．実行主体〕
上述した例では、各モデルの学習を情報提供装置１０が実行した。しかしながら、実施形態は、これに限定されるものではない。例えば、上述した学習処理は、端末装置１００がスタンドアローンで実行してもよく、例えば、端末装置１００と情報提供装置１０とが協調して処理を実行してもよい。例えば、端末装置１００は、情報提供装置１０が複数の利用者ごとに生成したモデルを、端末装置１００側で、各利用者用にチューニングしてもよく、或いは、利用者のコンテキストに応じたチューニングを行ってもよい。すなわち、端末装置１００は、エッジコンピューティングの技術を用いて、情報提供装置１０が生成した共用のモデルを、利用者や利用者独自のコンテキストに応じて修正する学習処理を実行して良い。このような場合、情報提供装置１０は、全ての利用者について多くの行動情報を取得する必要がないため、各利用者のプライバシーを保護することができる。

〔４−２．その他〕
また、上記実施形態において説明した各処理のうち、自動的に行われるものとして説明した処理の全部または一部を手動的に行うこともでき、逆に、手動的に行われるものとして説明した処理の全部または一部を公知の方法で自動的に行うこともできる。この他、上記文書中や図面中で示した処理手順、具体的名称、各種のデータやパラメータを含む情報については、特記する場合を除いて任意に変更することができる。例えば、各図に示した各種情報は、図示した情報に限られない。

また、図示した各装置の各構成要素は機能概念的なものであり、必ずしも物理的に図示の如く構成されることを要しない。すなわち、各装置の分散・統合の具体的形態は図示のものに限られず、その全部または一部を、各種の負荷や使用状況などに応じて、任意の単位で機能的または物理的に分散・統合して構成することができる。

また、上記してきた各実施形態は、処理内容を矛盾させない範囲で適宜組み合わせることが可能である。

〔４−３．プログラム〕
また、上述した実施形態に係る情報提供装置１０は、例えば図１２に示すような構成のコンピュータ１０００によって実現される。図１２は、ハードウェア構成の一例を示す図である。コンピュータ１０００は、出力装置１０１０、入力装置１０２０と接続され、演算装置１０３０、一次記憶装置１０４０、二次記憶装置１０５０、出力ＩＦ（Interface）１０６０、入力ＩＦ１０７０、ネットワークＩＦ１０８０がバス１０９０により接続された形態を有する。

演算装置１０３０は、一次記憶装置１０４０や二次記憶装置１０５０に格納されたプログラムや入力装置１０２０から読み出したプログラム等に基づいて動作し、各種の処理を実行する。一次記憶装置１０４０は、ＲＡＭ等、演算装置１０３０が各種の演算に用いるデータを一次的に記憶するメモリ装置である。また、二次記憶装置１０５０は、演算装置１０３０が各種の演算に用いるデータや、各種のデータベースが登録される記憶装置であり、ＲＯＭ(Read Only Memory)、ＨＤＤ（Hard Disk Drive）、フラッシュメモリ等により実現される。

出力ＩＦ１０６０は、モニタやプリンタといった各種の情報を出力する出力装置１０１０に対し、出力対象となる情報を送信するためのインタフェースであり、例えば、ＵＳＢ（Universal Serial Bus）やＤＶＩ（Digital Visual Interface）、ＨＤＭＩ（登録商標）（High Definition Multimedia Interface）といった規格のコネクタにより実現される。また、入力ＩＦ１０７０は、マウス、キーボード、およびスキャナ等といった各種の入力装置１０２０から情報を受信するためのインタフェースであり、例えば、ＵＳＢ等により実現される。

なお、入力装置１０２０は、例えば、ＣＤ（Compact Disc）、ＤＶＤ（Digital Versatile Disc）、ＰＤ（Phase change rewritable Disk）等の光学記録媒体、ＭＯ（Magneto-Optical disk）等の光磁気記録媒体、テープ媒体、磁気記録媒体、または半導体メモリ等から情報を読み出す装置であってもよい。また、入力装置１０２０は、ＵＳＢメモリ等の外付け記憶媒体であってもよい。

ネットワークＩＦ１０８０は、ネットワークＮを介して他の機器からデータを受信して演算装置１０３０へ送り、また、ネットワークＮを介して演算装置１０３０が生成したデータを他の機器へ送信する。

演算装置１０３０は、出力ＩＦ１０６０や入力ＩＦ１０７０を介して、出力装置１０１０や入力装置１０２０の制御を行う。例えば、演算装置１０３０は、入力装置１０２０や二次記憶装置１０５０からプログラムを一次記憶装置１０４０上にロードし、ロードしたプログラムを実行する。

例えば、コンピュータ１０００が情報提供装置１０として機能する場合、コンピュータ１０００の演算装置１０３０は、一次記憶装置１０４０上にロードされたプログラムを実行することにより、制御部４０の機能を実現する。

〔５．効果〕
上述したように、情報提供装置１０は、利用者の行動を示す複数の行動情報を取得し、行動情報が示す行動を行った際の利用者の意図を示す意図情報を生成する。そして、情報提供装置１０は、生成した意図情報が示す意図の変遷が有する特徴を変遷推定モデルＭ２に学習させる。このような処理の結果、情報提供装置１０は、利用者の将来の意図を推定する変遷推定モデルＭ２を実現できるので、例えば、利用者の将来の意図に応じた情報提供を実現する結果、より適切な情報の提供を実現することができる。

例えば、情報提供装置１０は、利用者が第１行動を行った際の意図と、利用者が第１行動を行った後で所定の期間内に第２行動を行った際の意図とが類似するものとして、意図情報を生成する。また、例えば、情報提供装置１０は、利用者が第１行動を行った際の意図と、利用者が第１行動の後で行った所定の第２行動を行った際の意図とが類似するものとして、意図情報を生成する。このような処理の結果、情報提供装置１０は、利用者の意図を適切に示す意図情報を生成することができる結果、利用者の意図の変遷を精度良く学習させることができる。

また、情報提供装置１０は、第１行動を示す第１行動情報を入力した際と、第２行動を示す第２行動情報とを入力した際とで類似するベクトルを出力するように学習が行われた意図推定モデルＭ１を用いて、取得部により取得された各行動情報から、意図情報を生成する。例えば、情報提供装置１０は、意図推定モデルＭ１として、第１行動情報が入力された場合に出力したベクトルと、第１行動情報と連続して第２行動情報が入力された場合に出力したベクトルとが類似するように学習が行われた再帰型ニューラルネットワークを用いて、意図情報を生成する。より具体的には、情報提供装置１０は、意図推定モデルＭ１に行動情報を入力することで、意図推定モデルＭ１が出力したベクトルを意図情報として生成し、変遷推定モデルＭ２に意図推定モデルＭ１が生成したベクトルの変遷が有する特徴を学習させる。また、情報提供装置１０は、第１行動情報から意図推定モデルＭ１が生成したベクトルから変遷推定モデルＭ２が生成したベクトルと、第２行動情報から意図推定モデルＭ１が生成したベクトルとが類似するように変遷推定モデルＭ２の学習を行う。

上述した各処理の結果、情報提供装置１０は、利用者の意図の変遷を変遷推定モデルＭ２に学習させることができる。

また、情報提供装置１０は、利用者が第２行動を行う前に行った複数の第１行動を示す第１行動情報から意図推定モデルＭ１が生成した複数のベクトルを、第１行動が行われた順に変遷推定モデルＭ２に入力した際に変遷推定モデルＭ２が生成したベクトルと、第２行動情報から意図推定モデルＭ１が生成したベクトルとが類似するように変遷推定モデルＭ２の学習を行う。また、情報提供装置１０は、変遷推定モデルＭ２として、第１行動情報が入力された場合に意図推定モデルＭ１が生成した第１意図ベクトルが入力された際に出力する第１ベクトルと、第１意図ベクトルと連続して、第２行動情報が入力された場合に意図推定モデルＭ１が生成した第２意図ベクトルが入力された際に出力する第２ベクトルとが類似するように、再帰型ニューラルネットワークの学習を行う。

上述した各処理の結果、情報提供装置１０は、例えば、利用者がコンバージョンを行うまでの意図の変遷が有する特徴を変遷推定モデルＭ２に学習させることができる。

また、情報提供装置１０は、意図推定モデルＭ１が生成したベクトルを双曲空間上に投影したベクトルを出力するように変遷推定モデルＭ２の学習を行う。また、例えば、情報提供装置１０は、双曲空間上において第２意図ベクトルを第１ベクトルから枝分かれるベクトルへと投影するように変遷推定モデルＭ２の学習を行う。このような処理の結果、情報提供装置１０は、利用者の意図の分岐を考慮して、利用者の意図の変遷が有する特徴を変遷推定モデルＭ２に学習させることができるので、変遷推定モデルＭ２による推定精度をさらに向上させることができる。

また、情報提供装置１０は、利用者が第１行動を行った際の意図を示す第１意図情報が入力された場合に、利用者が第２行動を行った際の意図を示す第２意図情報が入力された場合と類似するベクトルを出力するように変遷推定モデルＭ２を学習させる。このため、情報提供装置１０は、将来の利用者の意図を推定する変遷推定モデルＭ２を実現できる。

なお、情報提供装置１０は、利用者ごとに異なる変遷推定モデルＭ２の学習を行ってもよく、利用者が行動を行った際の状態ごとに異なる変遷推定モデルＭ２の学習を行ってもよい。このような処理を実行した場合、情報提供装置１０は、利用者の意図の変遷が有する特徴を、利用者ごと、あるいは、利用者の状態ごとに変遷推定モデルＭ２に学習させることができるので、変遷推定モデルＭ２による推定精度をさらに向上させることができる。

また、情報提供装置１０は、利用者がウェブ上で行った行動を示す行動情報を取得してもよく、利用者が入力した情報を行動情報として取得してもよい。また、情報提供装置１０は、利用者が選択した情報を行動情報として取得してもよく、利用者が閲覧した情報と関連する情報を行動情報として取得してもよい。また、情報提供装置１０は、利用者が選択した取引対象を示す情報を行動情報として取得してもよい。この結果、情報提供装置１０は、各種の利用者の行動から利用者の意図を推定し、意図の変遷が有する特徴を変遷推定モデルＭ２に学習させることができる。

また、情報提供装置１０は、意図の変遷の推定対象となる対象利用者の行動情報を受付けると、変遷推定モデルＭ２を用いて、行動情報から、対象利用者の意図の変遷を推定する。例えば、情報提供装置１０は、受付けられた行動情報から推定された対象利用者の意図の変遷に基づいて、対象利用者の将来の行動を推定し、推定した将来の行動が行われる際の利用者の意図を示す将来意図情報を生成し、将来意図情報から、変遷推定モデルＭ２を用いて、対象利用者のさらに将来の行動を推定する。このような処理の結果、情報提供装置１０は、利用者の将来の意図や行動に応じた情報を先取り的に提供することができる。

また、情報提供装置１０は、利用者の行動を示す複数の行動情報と、利用者が各行動を行った際の状態を示す状態情報とを取得する。そして、情報提供装置１０は、利用者の第１行動を示す第１行動情報を入力した際と、第１行動よりも後で利用者が行った第２行動であって、第１行動が行われた際と類似する状態で利用者が行った第２行動を示す第２行動情報とを入力した際とで類似するベクトルを出力するように意図推定モデルＭ１を学習する。このような処理の結果、情報提供装置１０は、利用者の意図をより精度良く推定することができる。

以上、本願の実施形態のいくつかを図面に基づいて詳細に説明したが、これらは例示であり、発明の開示の欄に記載の態様を始めとして、当業者の知識に基づいて種々の変形、改良を施した他の形態で本発明を実施することが可能である。

また、上記してきた「部（section、module、unit）」は、「手段」や「回路」などに読み替えることができる。例えば、付与部は、特定手段や特定回路に読み替えることができる。

１０ 情報提供装置
２０ 通信部
３０ 記憶部
３１ 行動履歴データベース
３２ モデルデータベース
４０ 制御部
４１ 取得部
４２ 生成部
４３ 学習部
４４ 受付部
４５ 推定部
４６ 提供部
１００ 端末装置
２００ 検索サーバ
Ｍ１ 意図推定モデル
Ｍ２ 変遷推定モデル

Claims (26)

1. 利用者の行動を示す複数の行動情報を取得する取得部と、
   各行動情報から、当該行動情報が示す行動を行った際の利用者の意図を示す意図情報を生成する生成部と、
   前記生成部が生成した意図情報が示す意図の変遷が有する特徴を第１モデルに学習させる学習部と
   を有することを特徴とする学習装置。
2. 前記生成部は、前記利用者が第１行動を行った際の意図と、当該利用者が当該第１行動を行った後で所定の期間内に第２行動を行った際の意図とが類似するものとして、前記意図情報を生成する
   ことを特徴とする請求項１に記載の学習装置。
3. 前記生成部は、前記利用者が第１行動を行った際の意図と、当該利用者が当該第１行動の後で行った所定の第２行動を行った際の意図とが類似するものとして、前記意図情報を生成する
   ことを特徴とする請求項２に記載の学習装置。
4. 前記生成部は、前記第１行動を示す第１行動情報を入力した際と、前記第２行動を示す第２行動情報とを入力した際とで類似するベクトルを出力するように学習が行われた第２モデルを用いて、前記取得部により取得された各行動情報から、前記意図情報を生成する
   ことを特徴とする請求項２または３に記載の学習装置。
5. 前記生成部は、前記第２モデルとして、第１行動情報が入力された場合に出力したベクトルと、当該第１行動情報と連続して前記第２行動情報が入力された場合に出力したベクトルとが類似するように学習が行われた再帰型ニューラルネットワークを用いて、前記意図情報を生成する
   ことを特徴とする請求項４に記載の学習装置。
6. 前記生成部は、前記第２モデルに前記行動情報を入力することで、当該第２モデルが出力したベクトルを前記意図情報として生成し、
   前記学習部は、前記第１モデルに前記第２モデルが生成したベクトルの変遷が有する特徴を学習させる
   ことを特徴とする請求項４または５に記載の学習装置。
7. 前記学習部は、前記第１行動情報から前記第２モデルが生成したベクトルから前記第１モデルが生成したベクトルと、前記第２行動情報から前記第２モデルが生成したベクトルとが類似するように前記第１モデルの学習を行う
   ことを特徴とする請求項６に記載の学習装置。
8. 前記学習部は、前記利用者が前記第２行動を行う前に行った複数の第１行動を示す第１行動情報から前記第２モデルが生成した複数のベクトルを、前記第１行動が行われた順に前記第１モデルに入力した際に当該第１モデルが生成したベクトルと、前記第２行動情報から前記第２モデルが生成したベクトルとが類似するように前記第１モデルの学習を行う
   ことを特徴とする請求項６または７に記載の学習装置。
9. 前記学習部は、前記第１モデルとして、第１行動情報が入力された場合に前記第２モデルが生成した第１意図ベクトルが入力された際に出力する第１ベクトルと、当該第１意図ベクトルと連続して、前記第２行動情報が入力された場合に前記第２モデルが生成した第２意図ベクトルが入力された際に出力する第２ベクトルとが類似するように、再帰型ニューラルネットワークの学習を行う
   ことを特徴とする請求項７または８に記載の学習装置。
10. 前記学習部は、前記第２モデルが生成したベクトルを双曲空間上に投影したベクトルを出力するように前記第１モデルの学習を行う
    ことを特徴とする請求項９に記載の学習装置。
11. 前記学習部は、前記双曲空間上において前記第２意図ベクトルを前記第１ベクトルから枝分かれるベクトルへと投影するように前記第１モデルの学習を行う
    ことを特徴とする請求項１０に記載の学習装置。
12. 前記学習部は、前記利用者が第１行動を行った際の意図を示す第１意図情報が入力された場合に、前記利用者が第２行動を行った際の意図を示す第２意図情報が入力された場合と類似するベクトルを出力するように前記第１モデルを学習させる
    ことを特徴とする請求項１〜１１のうちいずれか１つに記載の学習装置。
13. 前記学習部は、前記利用者ごとに異なる前記第１モデルの学習を行う
    ことを特徴とする請求項１〜１２のうちいずれか１つに記載の学習装置。
14. 前記学習部は、前記利用者が前記行動を行った際の状態ごとに異なる前記第１モデルの学習を行う
    ことを特徴とする請求項１〜１３のうちいずれか１つに記載の学習装置。
15. 前記取得部は、前記利用者がウェブ上で行った行動を示す行動情報を取得する
    ことを特徴とする請求項１〜１４のうちいずれか１つに記載の学習装置。
16. 前記取得部は、前記利用者が入力した情報を前記行動情報として取得する
    ことを特徴とする請求項１〜１５のうちいずれか１つに記載の学習装置。
17. 前記取得部は、前記利用者が選択した情報を前記行動情報として取得する
    ことを特徴とする請求項１〜１６のうちいずれか１つに記載の学習装置。
18. 前記取得部は、前記利用者が閲覧した情報と関連する情報を前記行動情報として取得する
    ことを特徴とする請求項１〜１７のうちいずれか１つに記載の学習装置。
19. 前記取得部は、前記利用者が選択した取引対象を示す情報を前記行動情報として取得する
    ことを特徴とする請求項１〜１８のうちいずれか１つに記載の学習装置。
20. 意図の変遷の推定対象となる対象利用者の行動情報を受付ける受付部と、
    前記学習部により学習された第１モデルを用いて、前記受付部により受付けられた行動情報から、前記対象利用者の意図の変遷を推定する推定部と
    ことを特徴とする請求項１〜１９のうちいずれか１つに記載の学習装置。
21. 前記推定部は、前記受付部により受付けられた行動情報から推定された前記対象利用者の意図の変遷に基づいて、前記対象利用者の将来の行動を推定し、
    前記生成部は、前記推定部が推定した将来の行動が行われる際の利用者の意図を示す将来意図情報を生成し、
    前記推定部は、前記生成部が生成した将来意図情報から、前記第１モデルを用いて、前記対象利用者のさらに将来の行動を推定する
    ことを特徴とする請求項２０に記載の学習装置。
22. 学習装置が実行する学習方法であって、
    利用者の行動を示す複数の行動情報を取得する取得工程と、
    各行動情報から、当該行動情報が示す行動を行った際の利用者の意図を示す意図情報を生成する生成工程と、
    前記生成工程で生成した意図情報が示す意図の変遷が有する特徴を第１モデルに学習させる学習工程と
    を含むことを特徴とする学習方法。
23. 利用者の行動を示す複数の行動情報を取得する取得手順と、
    各行動情報から、当該行動情報が示す行動を行った際の利用者の意図を示す意図情報を生成する生成手順と、
    前記生成手順で生成した意図情報が示す意図の変遷が有する特徴を第１モデルに学習させる学習手順と
    をコンピュータに実行させるための学習プログラム。
24. 利用者の行動を示す複数の行動情報と、利用者が各行動を行った際の状態を示す状態情報とを取得する取得部と、
    前記利用者の第１行動を示す第１行動情報を入力した際と、当該第１行動よりも後で前記利用者が行った第２行動であって、前記第１行動が行われた際と類似する状態で前記利用者が行った第２行動を示す第２行動情報とを入力した際とで類似するベクトルを出力するように第２モデルを学習する学習部と
    を有することを特徴とする学習装置。
25. 学習装置が実行する学習方法であって、
    利用者の行動を示す複数の行動情報と、利用者が各行動を行った際の状態を示す状態情報とを取得する取得工程と、
    前記利用者の第１行動を示す第１行動情報を入力した際と、当該第１行動よりも後で前記利用者が行った第２行動であって、前記第１行動が行われた際と類似する状態で前記利用者が行った第２行動を示す第２行動情報とを入力した際とで類似するベクトルを出力するように学習が行われた第２モデルを学習する学習工程と
    を含むことを特徴とする学習方法。
26. 利用者の行動を示す複数の行動情報と、利用者が各行動を行った際の状態を示す状態情報とを取得する取得手順と、
    前記利用者の第１行動を示す第１行動情報を入力した際と、当該第１行動よりも後で前記利用者が行った第２行動であって、前記第１行動が行われた際と類似する状態で前記利用者が行った第２行動を示す第２行動情報とを入力した際とで類似するベクトルを出力するように学習が行われた第２モデルを学習する学習手順と
    をコンピュータに実行させるための学習プログラム。

Images