JP2018077656A - パラメータ推定装置、予測装置、方法、及びプログラム - Google Patents

Abstract

【課題】動作主の行動を精度よく予測するためのパラメータを得て予測精度の向上を図る。【解決手段】予測装置１はパラメータ推定装置２を備える。パラメータ推定装置２は、入力情報に基づき各動作主の各時点の潜在トピックと、ある訪問場所の次に訪問場所が選択される確率およびトピックに対する訪問場所の選択確率と、特徴量数とトピック数とを用いて算出される影響値とをパラメータとして推定し、推定したパラメータに基づき動作主毎に各動作主が次に訪問する訪問場所の傾向値を算出し、影響値を特徴量数と訪問場所数とにより算出される影響値に変換する。【選択図】図２

Description

本発明は、例えば動作主の訪問先などの行動を予測するための技術に関する。

従来技術１として、動作主が場所を訪れた訪問履歴情報の集合を学習データとして、トピックモデルを用いて動作主の行動をモデル化し、動作主が次に訪れる場所を予測する非特許文献１の方法が知られている。

このトピックモデルにおいては、学習データが“ある動作主が訪れる各場所は、ユーザ固有の潜在トピック比率に従ってある潜在トピックを選択した後、その潜在トピックに固有の場所出現確率分布に従って生成された”と仮定して、動作主の行動を確率モデルで表現することで、次に訪れる地点を予測する。

また、従来技術２として、例えば複数人に関する訪問履歴情報集合の傾向から、場所Ａを訪れた人の多くはその近くの場所Ｂを訪れる、といったランドマーク間の遷移のしやすさをマルコフモデルでモデル化することで、動作主が次に訪れる場所を予測する非特許文献２の方法が知られている。

T. Hofmann.，"Probabilistic Latent Semantic Analysis", in Proc. Conf. on Uncertainty in Artificial Intelligence (UAI), pp. 289-296 (1999). D. Ashbrook and T. starner, "Using GPS to Learn Significant Locations and Predict Movement Across Multiple User"s, in Personal and ubiquitous computing, Vol.7, No. 5, pp.275-286 (2003).

非特許文献２に記載された従来技術２は、距離的な近さを反映した場所間の遷移のモデル化に関する。したがって、ある場所Ａを訪れた人が、その近辺に存在する場所Ｂも“近いから訪れた”場合には、うまく予測を行うことができる。

しかしながら、ある場所Ａを訪れた人が、場所Ａからは遠いけれど“興味があるため場所Ｃをわざわざ訪れた”といった場合に、うまく予測を行うことができなかった。

その一方、非特許文献１のトピックモデルは、「アート」、「スポーツ」、「人気」、「おしゃれ」といった場所の“特徴”でつながる場所集合をまとめる潜在トピックと、潜在トピックに対する動作主の興味（重み）を学習することを目的とした技術である。

確かに従来技術１によれば、潜在トピックとそれに対する動作主の興味がうまく学習できれば、遠いけれど興味があるため訪れた場所Ｃを予測することができる。ところが、非特許文献２では、すべての訪問が動作主に固有の興味によって生成されたと仮定している。

すなわち、すべての訪問事象は、“興味があるためわざわざ訪れた”記録である場合にのみ有効な技術である。また、実際の訪問履歴は、“近いから訪れた”と“興味があるためわざわざ訪れた”が混在して観測される。

しかしながら、従来技術１は、その二つの影響成分を分離する方法がないため、“近いから訪れた”観測データがノイズとして混入し、潜在トピック及び動作固有の興味情報の抽出精度を低下させ、これにより動作主が次に訪れる場所の予測精度が低いおそれがあった。

本発明は、このような従来の問題を解決するためになされ、動作主の行動を精度よく予測するためのパラメータを得て、予測精度の向上を図ることを解決課題としている。

本発明の一態様は、動作主の動作を予測するためのパラメータを推定する装置であって、前記各動作主の訪問場所に関する訪問履歴と、前記動作主の特徴を示す特徴量とが入力されるパラメータ推定部を備える。このパラメータ推定部は、前記各動作主の各時点の潜在トピックと、ある訪問場所の次に訪問場所が選択される確率およびトピックに対する訪問場所の選択確率と、前記特徴量数と前記トピック数とを用いて算出される影響値とをパラメータとして推定する。

本発明の他の態様は、前記パラメータ推定装置により推定されたパラメータに基づき前記動作主毎に各動作主が次に訪問する訪問場所の傾向値を算出し、かつ前記影響値を前記特徴量数と前記訪問場所数とにより算出される影響値に変換する予測装置に関する。

本発明のさらに他の態様は、コンピュータにより動作主の動作を予測するためのパラメータを推定する方法に関する。この方法は、前記各動作主の訪問場所に関する訪問履歴と、前記動作主の特徴を示す特徴量が入力される入力ステップと、前記入力ステップの入力情報に基づき前記各動作主の各時点の潜在トピックと、ある訪問場所の次に訪問場所が選択される確率およびトピックに対する訪問場所の選択確率と、前記特徴量数と前記トピック数とを用いて算出される影響値とをパラメータとして推定するパラメータ推定ステップと、を有する。

本発明のさらに他の態様は、前記入力ステップおよび前記パラメータ推定ステップと、前記パラメータ推定ステップで推定されたパラメータに基づき前記動作主毎に各動作主が次に訪問する訪問場所の傾向値を算出するステップと、前記パラメータに基づき前記影響値を前記特徴量数と前記訪問場所数とにより算出される影響値に変換するステップと、を有する予測方法に関する。

なお、本発明は、前記各装置としてコンピュータを機能させるプログラムとして構成することもできる。

本発明によれば、動作主の行動を精度よく予測するためのパラメータを得ることができ、この点で予測精度の向上を図ることができる。

（ａ）は既提案の統計モデルに基づく動作主の訪問先予測を示す概念図、（ｂ）は本発明の実施形態に係る予測装置の統計モデルに基づく動作主の訪問先予測を示す概念図。 同 予測装置の構成図。 （ａ）は同予測装置への入力情報を示す図、（ｂ）は同予測装置の出力情報を示す図。 同 予測装置の全体処理を示すフロー図。 同 予測装置のパラメータ推定部の処理を示すフロー図。 同 予測装置の算出部の処理を示すフロー図。

以下、本発明の実施形態に係る予測装置を説明する。この予測装置は、動作主の行動を予測するためのパラメータを推定し、推定されたパラメータに基づき動作主の行動を予測する。

≪前記予測装置の概要≫
まず、前記予測装置の概要を説明する。通常、動作主（ユーザ）の行動履歴、即ち訪問履歴には“近いから訪れた”と“興味があるためわざわざ訪れた”とが混在している。

この点については、図１（ａ）に示すように、階層ベイズにより“興味の影響”と“近さの影響”とを分離し、予測訪問リストを作成する方法（以下、既定案方法とする。）が既に提案されている。この既定案方法によれば、両者の影響を考慮した動作・推薦を行うことができる。

しかしながら、既提案方法は、ある程度の訪問履歴を有する動作主に対して動作の予測・推薦を行うことを前提としており、訪問履歴の少ない動作主については精度が下がるおそれがある（コールドスタート問題）。

そこで、ユーザ特徴量（性別・年齢・アンケート結果など個人を数値で表現できるデータ）およびトピック選択確率の回帰分析と、既提案方法とを組み合わせた２ステップの推定（既提案方法のステップを行った後に回帰分析のステップを別個に行う。）ことで、本来、訪問履歴で行う予測をユーザ特徴量で代替し、コールドスタート問題を低減することができる。

ただし、前記２ステップの推定を行う場合、次の問題が生じるおそれがある
（１）推定誤差の蓄積：前記２ステップの処理では、回帰の誤差を測ることができず、統計的仮説検定の適用ができない。そのため、どのユーザ特徴量がどの程度に選択に寄与したかを測ることができないおそれがある。
（２）切り替えポイントの設定：回帰分析の組み合わせは、既提案方法の代替手段として設けられるから、訪問履歴がある程度蓄積した時点で訪問履歴ベースの予測に切り替えることを外部から閾値として与える必要がある。

そこで、前記予測装置では、図１（ｂ）に示すように、ユーザ特徴量に対する計数を階層ベイズにより組み込み、ＭＣＭＣ（Markov chain Monte Carlo method）法により予測と回帰の同時推定を実行する。すなわち、訪問履歴の代替としてユーザ特徴量を使用するのではなく、階層ベイズの手法を利用することで、推定と回帰を階層ベイズモデル内で表現している。

ここでは階層ベイズにより「分離」「回帰」を同時に推定するため、訪問履歴が少なくても“興味の影響”をユーザ特徴量で補うことができる。また、ユーザ特徴量とトピック選択確率との間に強い仮定はおいておらず、ユーザ特徴量が存在しないときは既提案方法と同じ結果を得ることができる。この点で既提案方法の一般化としてモデル化している。

その結果、前記予測装置によれば、以下の効果を得ることができる。
（Ａ）既提案方法の問題点、即ち訪問履歴を有していないユーザに対する予測・情報推薦の精度低下を防止でき、さらに選択と関係のないユーザ特徴量が与えられたとき分散を寄与度としてみることができ、過学習による精度低下を避けることもできる。
（Ｂ）ユーザ特徴量による影響度は、訪問履歴の蓄積とともに低下していくため、外部から切り替えの閾値を設定する必要はない。

≪構成例≫
つぎに図２に基づき前記予測装置の構成例を説明する。ここでは前記予測装置１は、パラメータ推定装置２を備えた処理サーバとして構成され、コンピュータの通常のハードウェアリソース、例えばＣＰＵや主記憶装置（ＲＡＭ，ＲＯＭなど），補助記憶装置（ＳＳＤ，ＨＤＤなど）などを備える。

このハードウェアリソースとソフトウェアリソースとの協働の結果、処理サーバが前記予測装置１として機能する。ここでは前記予測装置１は、動作主の行動を予測するためのパラメータを推定するパラメータ推定装置２を実装する。なお、前記予測装置１は、単一の処理サーバで構成される必要は無く、所為サーバ群で構成してもよいものとする。

具体的には前記予測装置１には、ユーザ３に関する情報Ｆ１と地理的な情報Ｆ２とが入力される。この情報Ｆ１には訪問履歴情報Ｄ１とユーザ特徴量Ｄ２とが含まれる一方、前記情報Ｆ２には距離情報Ｄ３が含まれる。

この入力情報Ｆ１，Ｆ２に基づき出力情報Ｆ３作成され、各ユーザ３に提示される。この出力情報Ｆ３には予測訪問リストＤ４とユーザ特徴量の影響度Ｄ５とが含まれる。また、各ユーザ３への提示の方法としては、各ユーザ３が参照可能としてもよく、あるいは各ユーザ３の個人端末に送信してもよいものとする。

図３（ａ）に基づき各入力情報Ｆ１，Ｆ２の一例を説明する。ここで訪問履歴情報Ｄ１にはユーザ毎に訪問場所リストが記録され、訪問場所リストにはユーザの訪問場所が時系列に記録されている。例えばユーザ１については訪問場所Ａ→Ｂ→Ｃと記録され、ユーザ２については訪問場所Ａ→Ｄと記録されている。

ユーザ特徴量Ｄ２には、ユーザ毎に性別フラグ・年齢・アンケート結果などの個人を数値で表現できるデータが記録されている。例えばユーザ１については性別フラグ「１（男性）」・年齢「３３」・アンケート回答「１」などが記録され、ユーザ２については性別フラグ「０（女性）」・年齢「２７」・アンケート結果「０」などが記録されている。なお、前記各情報Ｄ１，Ｄ２については、各ユーザ３の所有する個人端末から入力された情報を用いてもよく、あるいは図示省略のデータベースに格納された情報を用いてもよい。

入力情報Ｆ２の距離情報Ｄ３は、図示省略のデータベースに格納され、訪問場所（ランドマークなど）毎に他の訪問場所との距離情報が記録されている。例えば訪問場所Ａについては訪問場所Ｂとの距離情報「２」が記録され、訪問場所Ｂについては訪問場所Ａとの距離情報「２」が記録されている。

図３（ｂ）に基づき出力情報Ｆ３の一例を説明する。ここでは予測訪問リストにはユーザ毎に予測される訪問場所が記録されている。例えばユーザ１については予測訪問場所Ｅが記録され、ユーザ２については予測訪問場所Ｃが記録されている。また、ユーザ特徴量の影響度Ｄ５には、訪問場所毎にユーザ特徴量の影響度が記録されている。例えば訪問場所Ａについては性別フラグ「＋５」・年齢「−３」・アンケート回答「−３」などと記録され、訪問場所Ｂについては性別フラグ「０」・年齢「＋４」・アンケート回答「０」などと記録されている。

≪前記予測装置１の処理内容≫
前記予測装置１は、図４に示すように、処理を開始するとユーザの次に訪れる訪問場所を予測するためのパラメータを推定するパラメータ推定処理（Ｓ０１）と、前記パラメータに基づき予測訪問リストＤ４およびユーザ特徴量の影響度Ｄ５を作成する算出処理（Ｓ０２）とを実行する。このＳ０１の処理は、パラメータ推定装置２の主要部、即ち図示省略のパラメータ推定部にて実行する。なお、処理の開始は、基本的にはユーザ３の要請を受けて開始するが、定期的にバッチ処理してもよいものとする。

（１）パラメータ推定処理（Ｓ０１）
図５に基づきパラメータ推定処理（Ｓ０１）の詳細を説明する。表１は、パラメータの記号を示している。なお、パラメータ（Ｚ，ФΛ，α）については、事前に初期値が決定されているものとする。

Ｓ１１：処理が開始されると「Ｚ（トピック集合）」を更新する。すなわち、各ユーザの各時点における訪問の潜在トピックを一つ一つランダム発生（ギブスサンプル）で更新する。

この更新手順を説明すれば、初回の更新時のみ各ユーザの訪問「ｗ_um」に対し、ランダムに潜在トピック「Ｚ_um」を決定する（Ｓ１１−０）。ここで訪問「ｗ_um」はユーザ「ｕ」の「ｍ」番目の訪問場所を示し、潜在トピック「Ｚ_um」は訪問「ｗ_um」時の興味（トピック）を示している。

また、あるユーザのある訪問「ｗ_um」をピックアップし（Ｓ１１−１）、さらに所与のトピックそれぞれの確からしさ「ｐｏｓｔ１，ｐｏｓｔ２，．．．，ｐｏｓｔＺ」を算出する（Ｓ１１−２）。ここでは前記確からしさを示す尤度、厳密には尤度比を式１により算出する。

なお、式１の左項は式１−１のように展開され、式１の右項は式１−２のように展開される。ここでは定数を省くと枠部分のみが残る。これら３つの積が「ｐｏｓｔ」となる（他の定数部分を含めても結果は同じとなる。）。

その後に「０」から「ｓｕｍ（ｐｏｓｔ1, ｐｏｓｔ２，．．．，ｐｏｓｔＺ）」までの一様乱数Ｒを発生させ、「ｓｕｍ（ｐｏｓｔ1, ｐｏｓｔ２，．．．，ｐｏｓｔＨ）＜Ｒ＜ｓｕｍ（ｐｏｓｔ1, ｐｏｓｔ２，．．．，）ｐｏｓｔＨ＋１」となる「Ｈ」を探索する（Ｓ１１−３）。このとき、０＜Ｒ＜ｐｏｓｔ1であれば「Ｈ」を０とする。

続いて訪問「ｗ_um」の潜在トピック「Ｚ_um」を「Ｈ＋１」とし、全ユーザの訪問「Ｘ」に対してＳ１１−１〜Ｓ１１−の処理を行ったか否かを確認し（Ｓ１１−４）、確認の結果、該処理を行っていなければＳ１１−１に戻る。

一方、該処理を行っていれば式２に基づいて「θ_uz（ユーザｕがトピックｚを選択する確率）」を算出し（Ｓ１１−５）、Ｓ１１の処理を終了する。

Ｓ１２：つぎに最適化アルゴリズムにより「ФΛ（トピックに対する訪問場所の選択確率，ある訪問場所の次に訪問場所が選択される確率）」を更新する。ここで「Φ_zi」と「λ_ij」に関しては、閉形式で直接求めることができないため、準ニュートン法などの最適化手法を用いて求める。最適化手法で用いる式３（対数尤度関数）で、これを最大化する（式３中の左項は式１を参照、式３中の右項は式４を参照）。

なお、Ｌ−ＢＦＧＳ法（準ニュートン法）を使用する場合の「λ_ij」と「Φ_ki」の勾配は、式５と式６とで計算する。

Ｓ１３：さらにＭＨアルゴリズムにより、「α」各要素を更新する。この「α」は、「特徴数×トピック数」の要素で構成され、ここではそれぞれ「α_DZ」と表す。

この更新の手順を説明すれば、まず「α」要素の一つの「α_DZ」をピックアップする（Ｓ１３−１）。ここでピックアップされた「α_DZ＋ｅ」を「α_new」に代入し、要素の更新候補を作成する（Ｓ１３−２）。これ以降はピックアップされた「α_DZ」を「α_old」と表す。なお、「ｅ」は「０」を平均とした正規分布ノイズを示し、分散は任意の設定でよいものとする。

その後、「α_new」と「α_old」とを式６に代入し、採択率Ｕを求める（Ｓ１３−３）。なお、式７では、「α」の「ｚ」にかかる計数行列（α_1z，α_2z，．．．，α_Dz）を「α_z」と表記し、「α_new」の「α_z」を「α_{new z}」と表記している。

また、「０〜１」の一様乱数Ｒを発生させ、「Ｒ＜Ｕ」が成立するか否かを確認する（Ｓ１３−４）。この確認の結果、成立していれば「α_new」を「α_DZ」として採用する一方、成立していなければ「α_old」を「α_DZ」に戻す。

さらに全ての「α」要素に対してＳ１３−１〜Ｓ１３-４の処理を行ったか否かを確認する（Ｓ１３−５）。確認の結果、行っていなければＳ１３−１に戻る一方、行っていればＳ１３の処理、即ち「α」の更新を終了してＳ１４に進む。なお、「α」各要素の更新は、Ｓ１３-１〜Ｓ１３-５には限定されず、複数の「α」要素を同時に更新してもよく、あるいは独立連鎖ＭＨによる方法でもよい。

Ｓ１４，Ｓ１５：Ｓ１１〜Ｓ１３の更新回数がバーンイン規定値（例えば６００００回）に達したか否かを確認する（Ｓ１４）。確認の結果、バーンイン規定値に達していなければＳ１１に戻る一方、バーンイン規定値に達していればパラメータ（ｚ，ФΛ，α）を前記記憶手段などに保存する（Ｓ１５）。

Ｓ：Ｓ１５で保存されたパラメータ（ｚ，ФΛ，α）の更新回数がサイクル規定値に達したか否かを確認する。確認の結果、サイクル規定値に達していなければＳ１１に戻る一方、サイクル規定値に達していれば処理を終了する。

（２）算出処理（Ｓ０２）
図６に基づき算出処理を説明する。ここではパラメータ推定処理（Ｓ０１）において推定されたパラメータ（Ｚ，ФΛ，α）を用いる。

Ｓ２１：まず、処理が開始されるとパラメータ推定処理（Ｓ０１）にて取得したパラメータ（Ｚ，θ_uz，Ф，Λ）を、式８に代入してユーザ毎に該ユーザが次に訪問する訪問場所「ＰＯＩ）の傾向値を算出する。

このとき「θ_uz」は、「Ｚ」の更新サイクル時に計算され、前記記憶手段などに記憶されている。ここでは事前に全更新サイクルの計算結果の平均を取った後に式８に代入されるものとする。

Ｓ２２：また、「α（ユーザ特徴量数×トピック数）」を「ユーザ特徴量数×訪問地点数」に変換する。すなわち、パラメータ推定装置２により取得した「α」を平均化し、式９に代入することでユーザ特徴量の影響値を算出する。ここでは各「ｚ」について「Φｚ」行列の中で最大値を取っている訪問場所を取得し、「α」の行情報のトピック「ｚ」を訪問場所情報に置き換える。

なお、トピックを訪問場所情報に置き換える方法については「Φ」の上位Ｎ件を使用する方法や「Φ」の値を「ｚ」毎に乗じる方法など既存の手法を用いることもできる。

Ｓ２３：ＭＣＭＣ（Markov chain Monte Carlo methods）サイクル規定値からバーンイン規定値を減じた回数Ｇを算出し、各「α」要素について上位２．５％Ｇ番目と９７．５％Ｇ番目の値を取得し、いずれも負またはいずれも正の値のときに有意マークを付ける。

この検定方法と閾値については仕様などに応じて適宜既存の方法を採用することができるものとする。また、Ｓ２２にて「Φ」の上位Ｎ件を使用した場合には、本ステップ（Ｓ２３）は省略することができる。

≪プログラムなど≫
なお、本発明は、前記予測装置１またはパラメータ推定装置２としてコンピュータを機能させる予測プログラムとして構成することもできる。このプログラムによれば、Ｓ０１，０２，Ｓ１１〜Ｓ１６,Ｓ２１〜Ｓ２３の一部あるいは全部をコンピュータに実行させることが可能となる。

前記プログラムは、Ｗｅｂサイトや電子メールなどネットワークを通じて提供することができる。また、前記プログラムは、ＣＤ−ＲＯＭ，ＤＶＤ−ＲＯＭ，ＣＤ−Ｒ，ＣＤ−ＲＷ，ＤＶＤ−Ｒ，ＤＶＤ−ＲＷ，ＭＯ，ＨＤＤ，ＢＤ−ＲＯＭ，ＢＤ−Ｒ，ＢＤ−ＲＥなどの記録媒体に記録して、保存・配布することも可能である。この記録媒体は、記録媒体駆動装置を利用して読み出され、そのプログラムコード自体が前記実施形態の処理を実現するので、該記録媒体も本発明を構成する。

１…予測装置
２…パラメータ推定装置
３…ユーザ（動作主）
Ｄ１…訪問履歴
Ｄ２…ユーザ特徴量
Ｄ３…距離情報
Ｄ４…予測訪問リスト
Ｄ５…ユーザ特徴量の影響度

Claims (5)

1. 動作主の動作を予測するためのパラメータを推定する装置であって、
   前記各動作主の訪問場所に関する訪問履歴と、前記動作主の特徴を示す特徴量とが入力されるパラメータ推定部を備え、
   前記パラメータ推定部は、前記各動作主の各時点の潜在トピックと、ある訪問場所の次に訪問場所が選択される確率およびトピックに対する訪問場所の選択確率と、前記特徴量数と前記トピック数とを用いて算出される影響値とをパラメータとして推定する
   ことを特徴とするパラメータ推定装置。
2. 請求項１記載のパラメータ推定装置を備え、
   該パラメータ推装置により推定されたパラメータに基づき前記動作主毎に各動作主が次に訪問する訪問場所の傾向値を算出し、
   かつ前記影響値を前記特徴量数と前記訪問場所数とにより算出される影響値に変換することを特徴とする予測装置。
3. コンピュータにより動作主の動作を予測するためのパラメータを推定する方法であって、
   前記各動作主の訪問場所に関する訪問履歴と、前記動作主の特徴を示す特徴量が入力される入力ステップと、
   前記入力ステップの入力情報に基づき前記各動作主の各時点の潜在トピックと、ある訪問場所の次に訪問場所が選択される確率およびトピックに対する訪問場所の選択確率と、前記特徴量数と前記トピック数とを用いて算出される影響値とをパラメータとして推定するパラメータ推定ステップと、
   を有することを特徴とするパラメータ推定方法。
4. 請求項３記載の入力ステップおよびパラメータ推定ステップと、
   前記パラメータ推定ステップで推定されたパラメータに基づき前記動作主毎に各動作主が次に訪問する訪問場所の傾向値を算出するステップと、
   前記パラメータに基づき前記影響値を前記特徴量数と前記訪問場所数とにより算出される影響値に変換するステップと、
   を有することを特徴とする予測方法。
5. 請求項１または２のいずれか１項に記載された装置としてコンピュータを機能させることを特徴とするプログラム。