JP2017211783A - 推定装置、予測装置、方法、及びプログラム - Google Patents

Abstract

【課題】個体の選択内容及び選択タイミングを精度よく予測するためのパラメータを推定することができる。
【解決手段】トピック推定部２４が、各選択行動データについて、選択内容及び選択タイミングの同時確率分布に従って、選択行動データが所属するトピックを計算し、各選択行動データについてのトピックの計算結果に基づいて、トピック比率の分布を表すハイパーパラメータと、トピック分布のパラメータの分布を表すハイパーパラメータを更新することを繰り返す。そして、トピック分布パラメータ推定部２６が、トピック分布のパラメータの事後確率に従って、トピック分布のパラメータを推定する。そして、トピック比率推定部２８が、トピック比率の事後確率に従って、各個体について、トピック比率を推定する。
【選択図】図２

Description

本発明は、推定装置、予測装置、方法、及びプログラムに関する。

従来技術としてトピックモデルを利用した手法がある（非特許文献１）。トピックモデルでは、個体群の行動履歴データから有限の特徴的な行動パターンが抽出され、各個体の行動はその特徴的な行動パターンの組み合わせで表現され、予測が行われる。より具体的には、個体が複数の選択肢からある行動を選ぶ過程は多項分布で確率的にモデル化され、各個体の選択行動は有限の多項分布の線形和で表現され、有限の多項分布のパラメータ値及び各個体の線形和の重み係数は個体群の行動履歴データから推定される。各個体の行動の予測は、推定された多項分布の線形和に基づき実行される。また、各個体に対して推定された重み係数は各個体の行動パターンあるいは行動傾向を数値化したものであるため、その重み係数に基づき個体を分類あるいはセグメンテーションすることができる。

また、個体の選択行動が直前の選択に依存することを許容する手法がある（非特許文献２）。この場合、個体が複数の選択肢からある行動を選ぶ過程は条件付きの多項分布で表現される。

T. Iwata et al.,"Topic Tracking Model for Analyzing Consumer Purchase Behavior", IJCAI, pp.1427-1432, 2009. H. M. Wallach, "Topic modeling: beyond bag-of-words", Proceedings of the 23rd international conference on Machine learning, pp.977-984, 2006.

従来技術（非特許文献１，２）において、個体の選択行動の予測は選択の内容のみの予測であり、選択のタイミングは予測の対象外であった。個体の行動履歴データにおいては、個体が過去に取った選択肢の履歴のみが使用され、その選択行動が発生したタイミングあるいは時刻の履歴は使用されていなかった。ここでタイミングとは、直前の選択行動からの経過時間を意味する。このとき、以下の問題が発生する。

（１）各個体が選択行動を行うタイミングを予測することができない。

（２）（１）の結果として、各個体に対して推薦あるいはナビゲーションする内容をタイミングによって変更することができない。例えば次回の購買でTシャツと靴下を購買する確率がそれぞれ０．６と０．４の顧客において、この顧客が実は昨日Ｔシャツを購入しており、かつこの顧客がＴシャツを二日連続で購入する確率が極めて低い場合、本日に推薦すべき商品はＴシャツでなく靴下であると考えられるが、従来技術ではタイミングに関係なくＴシャツが選ばれてしまう。

（３）選択行動の内容とタイミングの両側面を考慮した行動パターンの特徴を、個体群の行動履歴データから抽出することができない。

本発明は、上記問題点を解決するために成されたものであり、個体の選択内容及び選択タイミングを精度よく予測するためのパラメータを推定することができる推定装置、方法、及びプログラムを提供することを目的とする。

また、個体の選択内容及び選択タイミングを精度よく予測することができる予測装置、方法、及びプログラムを提供することを目的とする。

上記目的を達成するために、第１の発明に係る推定装置は、複数の個体で観測された、前記個体の選択行動の選択内容、及び前回の選択行動からの間隔である選択タイミングを表す選択行動データの集合を入力とし、前記選択行動データの集合に含まれる各選択行動データについて、各トピックに対する、前記トピックを条件とした選択内容の確率を表す条件付き多項分布、及び前記トピックを条件とした選択タイミングの確率密度分布を用いて表される、各トピックに対する、前記トピックを条件とした、前記選択内容及び前記選択タイミングの同時確率分布に従って、前記選択行動データが所属するトピックを計算し、各選択行動データについての前記トピックの計算結果に基づいて、各個体及び各トピックに対する重みを表すトピック比率の分布を表すハイパーパラメータと、前記トピックにおける、前記選択内容及び前記選択タイミングを特徴付けるトピック分布のパラメータの分布を表すハイパーパラメータとを更新することを繰り返すトピック推定部と、前記トピック推定部によって更新された前記トピック分布のパラメータの分布を表すハイパーパラメータ、及び繰り返し毎に得られた、各選択行動データについての前記トピックの計算結果に基づく、前記トピック分布のパラメータの事後確率に従って、前記トピック分布のパラメータを推定するトピック分布パラメータ推定部と、前記トピック推定部によって更新された前記トピック比率の分布を表すハイパーパラメータ、及び繰り返し毎に得られた、各選択行動データについての前記トピックの計算結果に基づく、前記トピック比率の事後確率に従って、各個体について、前記トピック比率を推定するトピック比率推定部と、を含んで構成されている。

また、第２の発明に係る推定方法は、トピック推定部が、複数の個体で観測された、前記個体の選択行動の選択内容、及び前回の選択行動からの間隔である選択タイミングを表す選択行動データの集合を入力とし、前記選択行動データの集合に含まれる各選択行動データについて、各トピックに対する、前記トピックを条件とした選択内容の確率を表す条件付き多項分布、及び前記トピックを条件とした選択タイミングの確率密度分布を用いて表される、各トピックに対する、前記トピックを条件とした、前記選択内容及び前記選択タイミングの同時確率分布に従って、前記選択行動データが所属するトピックを計算し、各選択行動データについての前記トピックの計算結果に基づいて、各個体及び各トピックに対する重みを表すトピック比率の分布を表すハイパーパラメータと、前記トピックにおける、前記選択内容及び前記選択タイミングを特徴付けるトピック分布のパラメータの分布を表すハイパーパラメータとを更新することを繰り返し、トピック分布パラメータ推定部が、前記トピック推定部によって更新された前記トピック分布のパラメータの分布を表すハイパーパラメータ、及び繰り返し毎に得られた、各選択行動データについての前記トピックの計算結果に基づく、前記トピック分布のパラメータの事後確率に従って、前記トピック分布のパラメータを推定し、トピック比率推定部が、前記トピック推定部によって更新された前記トピック比率の分布を表すハイパーパラメータ、及び繰り返し毎に得られた、各選択行動データについての前記トピックの計算結果に基づく、前記トピック比率の事後確率に従って、各個体について、前記トピック比率を推定する。

また、第１の発明に係る推定装置及び第２の発明に係る推定方法において、前記トピックを条件とした選択タイミングの確率密度分布は、前記選択タイミングが前記選択内容とが独立に生成されるように定められるようにしてもよい。

また、第１の発明に係る推定装置及び第２の発明に係る推定方法において、前記トピックを条件とした選択タイミングの確率密度分布は、前記選択タイミングが直前の前記選択内容に依存して生成されるように定められるようにしてもよい。

また、第１の発明に係る推定装置及び第２の発明に係る推定方法において、前記トピックを条件とした選択タイミングの確率密度分布は、前記選択タイミングが直後の前記選択内容に依存して生成されるように定められるようにしてもよい。

また、第３の発明に係る予測装置は、予測対象の個体の選択行動を予測する予測装置であって、前記予測対象の個体に対して予め求められた、各トピックに対する重みを表すトピック比率と、予め求められた前記トピックにおける、前記個体の選択行動の選択内容及び前記個体の前回の選択行動からの間隔である選択タイミングを特徴付けるトピック分布のパラメータとに基づいて、各トピックに対する、前記トピックを条件とした選択内容の確率を表す条件付き多項分布、及び前記トピックを条件とした、前記選択タイミングの確率密度分布を用いて表される、各トピックに対する、前記トピックを条件とした、前記個体の選択行動の選択内容、及び前記選択タイミングの同時確率分布に従って、前記予測対象の個体についての、前記選択内容及び前記選択タイミングの少なくとも一方を予測する予測部を含んで構成されている。

第４の発明に係る予測方法は、予測対象の個体の選択行動を予測する予測方法であって、予測部が、前記予測対象の個体に対して予め求められた、各トピックに対する重みを表すトピック比率と、予め求められた前記トピックにおける、前記個体の選択行動の選択内容及び前記個体の前回の選択行動からの間隔である選択タイミングを特徴付けるトピック分布のパラメータとに基づいて、各トピックに対する、前記トピックを条件とした選択内容の確率を表す条件付き多項分布、及び前記トピックを条件とした、前記選択タイミングの確率密度分布を用いて表される、各トピックに対する、前記トピックを条件とした、前記個体の選択行動の選択内容、及び前記選択タイミングの同時確率分布に従って、前記予測対象の個体についての、前記選択内容及び前記選択タイミングの少なくとも一方を予測する。

第５の発明に係るプログラムは、コンピュータを、上記推定装置、又は上記予測装置を構成する各部として機能させるためのプログラム。

本発明の推定装置、方法、及びプログラムによれば、各選択行動データについて、各トピックに対する、トピックを条件とした選択内容の確率を表す条件付き多項分布、及びトピックを条件とした選択タイミングの確率密度分布を用いて表される、選択内容及び選択タイミングの同時確率分布に従って、選択行動データが所属するトピックを計算し、各選択行動データについてのトピックの計算結果に基づいて、トピック比率の分布を表すハイパーパラメータとトピック分布のパラメータの分布を表すハイパーパラメータとを更新することを繰り返し、更新されたトピック分布のパラメータの分布を表すハイパーパラメータ、及び繰り返し毎に得られた、各選択行動データについてのトピックの計算結果に基づく、トピック分布のパラメータの事後確率に従って、トピック分布のパラメータを推定し、更新されたトピック比率の分布を表すハイパーパラメータ、及び繰り返し毎に得られた、各選択行動データについてのトピックの計算結果に基づく、トピック比率の事後確率に従って、各個体について、トピック比率を推定することにより、個体の選択内容及び選択タイミングを精度よく予測するためのパラメータを推定することができる、という効果が得られる。

また、本発明の予測装置、方法、及びプログラムによれば、予測対象の個体に対して予め求められた、各トピックに対する重みを表すトピック比率とトピック分布のパラメータとに基づいて、各トピックに対する、トピックを条件とした選択内容の確率を表す条件付き多項分布、及びトピックを条件とした、選択タイミングの確率密度分布を用いて表される、各トピックに対する、トピックを条件とした、個体の選択行動の選択内容及び選択タイミングの同時確率分布に従って、予測対象の個体についての、選択内容及び選択タイミングの少なくとも一方を予測することにより、個体の選択内容及び選択タイミングを精度よく予測することができる、という効果が得られる。

本発明の実施の形態の概要を説明するための説明図である。 本発明の実施の形態に係る推定装置の構成を示すブロック図である。 本発明の実施の形態のモデルタイプＩのグラフィカルモデルを表す図である。 本発明の実施の形態のモデルタイプＩＩのグラフィカルモデルを表す図である。 本発明の実施の形態のモデルタイプＩＩＩのグラフィカルモデルを表す図である。 本発明の実施の形態のモデルタイプＩＶのグラフィカルモデルを表す図である。 本発明の実施の形態に係る予測装置の構成を示すブロック図である。 本発明の実施の形態に係る推定装置における推定処理ルーチンを示すフローチャートである。 本発明の実施の形態に係る予測装置における予測処理ルーチンを示すフローチャートである。

以下、図面を参照して本発明の実施の形態を詳細に説明する。

＜本発明の実施の形態に係る概要＞

まず、本発明の実施の形態における概要を説明する。

本発明の実施の形態では、トピックモデルにおいて、個体の選択行動の内容とタイミングとの二つの情報によって行動パターンの特徴を定義する。各個体の行動はその特徴的な行動パターン、すなわち「何を選択するか」と「いつ選択するか」の組み合わせで表現され、予測が行われる。

本実施の形態では、人間の行動パターンを数理モデルによって記述し、各ユーザの行動パターンを各ユーザの行動履歴データから学習し、その学習された数理モデルに基づき各ユーザの将来の行動を予測する。例えば、本実施の形態をテーマパークの入園客に対し適用した場合、各入園客の行動パターンを行動履歴データから学習し、各入園客の入園後の行動を予測する。

そして、得られた予測結果に基づき、各ユーザの行動パターン（趣味・嗜好含む）に適したナビゲーションを行う。テーマパークでは、予測結果に基づき、各入園客の行動パターン（趣味・嗜好含む）に適したナビゲーションが、スマホなどを通じて行われる。

各ユーザの行動履歴データは（多くの場合）少ないため、各ユーザのモデルを正しく学習させることができない。例えば、テーマパークの各入園客の行動履歴データは少ないか、あるいは（会員としてデータが蓄積されてない場合）ほぼないため、各入園客の行動パターンを正しく学習できず、予測することができない。

そこで、本実施の形態では、トピックモデルを用いて、各ユーザの行動パターンを低次元で表現する。ユーザのパターンにある種の共通性を見出すことで、データの不足を補うことができる（原理はＮＭＴＦ：Nonnegative Multiple Tensor Factorizationとほぼ同じ）。例えばテーマパークの場合、トピックモデルを用いて、入園客に見られる１０種類の行動パターンを抽出する。その後各入園客がどの行動パターンに当てはまるかを特定することで、各入園客の行動パターンを予測し、適切なナビゲーションを行うことができる。

また、従来技術では、これまで個体の行動のタイミングは考慮できなかった。そこで、本実施の形態では、ユーザの選択行動の「内容」と「タイミング」を同時に予測し、その予測結果に基づきナビゲーションの内容とタイミングを決める。また、本実施の形態では、トピックモデルを用いてユーザを低次元表現する。

従来のトピックモデルでは、多項分布によってユーザの次の行動内容を予測できるが、その行動が発生するタイミング（＝直前の行動発生時刻からの経過時間）を予測できない。そのため、（ｉ）情報を発信するタイミングを決めることができない、（ｉｉ）タイミングに応じて発信する情報の内容を変更することができない。

そこで、本実施の形態では、ユーザの直前の行動発生時刻からの経過時間を確率密度関数で表現する。図１に、本実施の形態を説明するための図を示す。本実施の形態では、例えば、図１に示すように、ユーザの選択内容（Ａ，Ｂ，Ｃ）の遷移行列及び選択内容の時間変化に基づき、ユーザの行動をモデル化する。また、確率密度関数には周辺化可能な指数分布族を用いることで、従来のトピックモデルと同等の実装の容易さ及び計算コストが実現される。

より具体的には、個体が選択肢の中からいずれか一つを選ぶ過程を条件付きの多項分布で（選択行動が直前の選択行動の影響を受けない場合は単に多項分布）、その選択行動が発生する際の、直前の選択行動からの経過時間を確率密度分布でモデル化し、条件付き多項分布と確率密度分布の同時分布のパラメータによって行動パターンの特徴を表現する。各個体の選択行動、すなわち何をいつ選択するかは有限個の同時分布の線形和で表現され、パラメータ値及び各個体の線形和の重み係数は個体群の行動履歴データから推定される。本実施の形態により、従来技術における三つの課題が解決される。

本発明の実施の形態は、行動の選択肢が少なくとも二つ以上与えられたとき、個体が将来選択する行動を予測する。本実施の形態によれば、個体が将来どの行動を起こすかを予測することができ、またその予測結果を元に、個体に対し推薦する内容、あるいは個体をナビゲートする内容を適切に選ぶことができる。また、各個体がどのような選択を取る傾向にあるかを分析し、個体群を分類することができる。個体、行動の種類及び選択肢の例を表１に示す。また、個体に対する推薦／ナビゲートの例を表２に示す。ただし、個体、行動の種類及び選択肢は以下に限らない。

本発明の実施の形態では、各個体の選択行動データの集合から各パラメータを推定する推定装置と、予測装置とに本発明を適用させた場合を例に説明する。具体的には、まず推定装置において、特徴的な行動パターン及び各個体の行動傾向を表すパラメータがデータから推定され、各個体の選択内容と選択タイミングの同時確率分布が決定される。次の予測装置においては、推定された個体ごとの同時確率分布に基づき将来観測される選択行動が予測される。各装置の詳細を以下で説明する。

＜本発明の実施の形態に係る推定装置の構成＞

次に、本発明の実施の形態に係る推定装置の構成について説明する。図２に示すように、本発明の実施の形態に係る推定装置１００は、ＣＰＵと、ＲＡＭと、後述する推定処理ルーチンを実行するためのプログラムや各種データを記憶したＲＯＭと、を含むコンピュータで構成することが出来る。この推定装置１００は、機能的には図２に示すように入力部１０と、演算部２０と、出力部４０とを備えている。

入力部１０は、複数の個体で観測された、当該個体の選択行動の選択内容、及び前回の選択行動からの間隔である選択タイミングを表す選択行動データの集合の入力を受け付ける。

選択行動データは、解析対象である個体から生成される。また、選択行動データは、個体ＩＤ（以下、ｕと表記する）、個体の総数（以下、Ｕと表記する）、個体ｕで観測された選択行動の回数（以下、Ｎ_ｕと表記する）、全個体で観測された選択行動データの総数から個体数を引いたもの（以下、Ｎと表記する）、全個体で観測された選択内容データの集合（｛ｙ^ｊ｝≡（ｙ^１，ｙ^２，…ｙ^Ｎ）と表記）、全個体で観測された選択タイミングデータの集合（｛ｔ^ｊ｝≡（ｔ^１，ｔ^２，…ｔ^Ｎ）と表記）、及び各選択行動データを生成した個体ＩＤの集合（｛ｕ_ｊ｝≡（ｕ_１，ｕ_２，…ｕ_Ｎ）と表記）を含む。

ただし、選択内容データｙ^ｊは直前と直後の選択内容のペア（ｙ_１ ^ｊ，ｙ_２ ^ｊ）からなり、選択タイミングデータｔ^ｊは直前と直後の選択時刻の間隔を表すものとする。また、選択肢は１から始まる自然数で表現し（選択肢の数はＮ_ｃと表記）、選択内容のペアを（直前の購買，直後の購買）で表記するものとする。例えば、消費者による購買選択行動を考え、商品１，２，３，１がそれぞれ時刻ｓ_０，ｓ_１，ｓ_２，ｓ_３で購入されたとき、ｙ^１＝（１，２），ｙ^２＝（２，３），ｙ^３＝（３，１）であり、ｔ^１＝ｓ_１−ｓ_０，ｔ^２＝ｓ_２−ｓ_１，ｔ^３＝ｓ_３−ｓ_２である。

また、入力部１０は、個体の特徴的な行動パターンを表すトピックの数Ｋを入力として受け付ける。以下、特徴的な行動パターンをトピックと称する。トピックは条件付き多項分布と確率密度分布の同時分布（以下、トピック分布と表記）で表現され、トピック毎に同時分布のパラメータが異なる。ただし、Ｋ個のトピックをそれぞれｋ＝１，２，３，…，Ｋで表記するものとする。

また、入力部１０は、モデルタイプと選択タイミング分布との入力を受け付ける。後述するように、モデルタイプには選択タイミングが選択内容とは独立に決まるもの（タイプＩ）、直前の選択内容にのみ依存するもの（タイプＩＩ）、直後の選択内容にのみ依存するもの（タイプＩＩＩ）、直前と直後の両方に依存するもの（タイプＩＶ）の四種類存在し、選択タイミング分布は任意の指数分布族の中から指定される。指数分布族の例としては、例えば、正規分布、対数正規分布、ガンマ分布などである。

ここで、本実施の形態で用いる生成モデルの原理について説明する。

まず、以下のような生成モデルに基づき、各個体から選択内容と選択タイミングのデータが生成されると仮定する。ｊ番目のデータ（ｙ^ｊ，ｔ^ｊ）を生成した個体ｕ_ｊは、Ｋ個のトピック分布の線形和で表現される確率分布ｐ（ｙ，ｔ｜｛φ^ｋ｝，｛Υ^ｋ｝）からデータ（ｙ^ｊ，ｔ^ｊ）を生成する。

ただし、ｚ_ｊはｊ番目のデータが所属するトピック（１〜Ｋ）を表す潜在変数であり、

は個体ｕ_ｊのトピックｋに対する重み（トピック比率と表記）、ｐ（ｙ^ｊ，ｔ^ｊ｜ｚ_ｊ＝ｋ，φ^ｋ，Υ^ｋ）はトピックｋのトピック分布、（｛φ^ｋ｝，｛Υ^ｋ｝）はトピックを特徴付けるトピック分布のパラメータ（テンソルのパラメータ）である。ここで、トピック分布は選択内容を生成する条件付き多項分布と、選択タイミングを生成する確率密度分布の掛け算で表現されるが、本実施の形態では、選択タイミングを生成する確率密度分布の定義の仕方について、以下の四通りがある。

（１）タイプＩ：選択タイミングが選択内容とは独立に生成される。具体的には、以下の式（２）に示すように、トピックを条件とした選択タイミングの確率密度分布ｐ（ｔ^ｊ｜ｚ_ｊ＝ｋ，Υ^ｋ）は、選択タイミングｔ^ｊが選択内容ｙ^ｊとが独立に生成されるように定められる。

（２）タイプＩＩ：選択タイミングが直前の選択内容ｙ_２ ^ｊ−１にのみ依存する。具体的には、以下の式（３）に示すように、トピックを条件とした選択タイミングの確率密度分布ｐ（ｔ^ｊ｜ｙ_２ ^ｊ−１，ｚ_ｊ＝ｋ，Υ^ｋ）は、選択タイミングｔ^ｊが直前の選択内容ｙ_２ ^ｊ−１に依存して生成されるように定められる。

（３）タイプＩＩＩ：選択タイミングが直後の選択内容ｙ_２ ^ｊにのみ依存する。具体的には、以下の式（４）に示すように、トピックを条件とした選択タイミングの確率密度分布ｐ（ｔ^ｊ｜ｙ_２ ^ｊ，ｚ_ｊ＝ｋ，Υ^ｋ）は、選択タイミングｔ^ｊが直後の選択内容ｙ_２ ^ｊに依存して生成されるように定められる。

（４）タイプＩＶ：選択タイミングが直前及び直後両方の選択内容（ｙ_２ ^ｊ−１，ｙ_２ ^ｊ）に依存する。具体的には、以下の式（５）に示すように、トピックを条件とした選択タイミングの確率密度分布ｐ（ｔ^ｊ｜ｙ_２ ^ｊ−１，ｙ_２ ^ｊ，ｚ_ｊ＝ｋ，Υ^ｋ）は、選択タイミングｔ^ｊが直前及び直後の選択内容（ｙ_２ ^ｊ−１，ｙ_２ ^ｊ）に依存して生成されるように定められる。

ただし、ｐ（ｙ^ｊ｜ｚ_ｊ＝ｋ，φ^ｋ）は条件付き多項分布でφ^ｋは遷移行列

であり、ｐ（ｔ^ｊ｜ｚ_ｊ＝ｋ，Υ^ｋ）、ｐ（ｔ^ｊ｜ｙ_２ ^ｊ−１，ｚ_ｊ＝ｋ，Υ^ｋ）、ｐ（ｔ^ｊ｜ｙ_２ ^ｊ，ｚ_ｊ＝ｋ，Υ^ｋ）、又はｐ（ｔ^ｊ｜ｙ_２ ^ｊ−１，ｙ_２ ^ｊ，ｚ_ｊ＝ｋ，Υ^ｋ）は任意の指数分布族である。入力部１０によって受け付けたモデルタイプと指数分布族とに応じて、どのモデルタイプ及び指数分布族が使用されるかが決定される。

次に、上記式（１）〜（５）に現れる、トピック比率θとトピックを特徴付けるテンソルパラメータφ^ｋ，Υ^ｋが、それぞれ共役な事前分布ｐ（θ｜α），ｐ（φ^ｋ｜β），ｐ（Υ^ｋ｜γ）から生成されると仮定し、以下の式（７）に示すように、データ点ごとの所属トピックｚ≡（ｚ_１，ｚ_２，…ｚ_Ｎ）及び観測される選択内容ｙ≡（ｙ^１，ｙ^２，…ｙ^Ｎ）と選択タイミングｔ≡（ｔ^１，ｔ^２，…ｔ^Ｎ）の同時確率を得る。

ただし、上記式（７）におけるα，β，γはデータから推定されるハイパーパラメータである。参考のため、四つのモデルタイプのそれぞれのグラフィカルモデルを、図３〜図６に示す。なお、図３〜図６における、θ_ｕは個体ｕのトピック比率、インデックスｉは個体ｕの選択行動データの中でｉ番目に生成されたデータ点を表す。

上記（１）〜（５）式によって本実施の形態における生成モデルが計算できる。以上が本実施の形態における生成モデルの原理である。

演算部２０は、選択行動データ記憶部２２と、トピック推定部２４と、トピック分布パラメータ推定部２６と、トピック比率推定部２８と、パラメータ記憶部３０と、トピック比率記憶部３２とを含んで構成されている。

選択行動データ記憶部２２には、入力部１０によって受け付けた選択行動データの集合が格納される。

トピック推定部２４は、選択行動データ記憶部２２に記憶された選択行動データの集合に含まれる各選択行動データについて、各トピックに対する、トピックｋを条件とした選択内容の確率を表す条件付き多項分布ｐ（ｙ^ｊ｜ｚ_ｊ＝ｋ，φ^ｋ）、及びトピックｋを条件とした選択タイミングの確率密度分布を用いて表される、各トピックに対する、トピックｋを条件とした、選択内容ｙ^ｊ及び選択タイミングｔ^ｊの同時確率分布ｐ（ｙ^ｊ，ｔ^ｊ｜ｚ_ｊ＝ｋ，φ^ｋ）に従って、選択行動データが所属するトピックｋを計算する。また、トピック推定部２４は、各選択行動データについてのトピックｋの計算結果に基づいて、各個体ｕ及び各トピックｋに対する重みを表すトピック比率θ_ｕの分布を表すハイパーパラメータαと、トピックｋにおける、選択内容及び選択タイミングを特徴付けるトピック分布のパラメータφ^ｋ，Υ^ｋの分布を表すハイパーパラメータβ，γを更新する。トピック推定部２４は、上記のトピックの計算及びハイパーパラメータの更新を繰り返し行う。

トピック推定部２４で行われる具体的な計算方法について以下に詳述する。トピック推定部２４は、選択行動データ毎の所属トピックｚ≡（ｚ_１，ｚ_２，…ｚ_Ｎ）を事後確率から推定する。本実施の形態では、トピック推定部２４による所属トピックの推定は、以下の式（８）に示すギブスサンプリング式に基づき、ｚ≡（ｚ_１，ｚ_２，…ｚ_Ｎ）のＰ回分のサンプル（ｚ^（１），ｚ^（２），…，ｚ^（Ｐ））を生成することで実行する。

ただし、上記式（８）に現れる−ｊは、総数Ｎの全データ集合からｊ番目のデータを除いた部分集合を表す。また、トピック推定部２４によって計算された、各選択行動データについてのトピックｋの計算結果（ｚ^（１），ｚ^（２），…，ｚ^（Ｐ））は、後述するトピック分布パラメータ推定部２６及びトピック比率推定部２８における処理のために、メモリ（図示省略）に記憶される。

また、トピック推定部２４は、Ｐ回分のサンプルを生成するのと同時に、確率的ＥＭ法（例えば、非特許文献３を参照）に基づき、以下の式（９）に従って、未知のハイパーパラメータα，β，γの値をＰ回更新する。そして、トピック推定部２４は、Ｐ回更新後のパラメータ値α^（Ｐ），β^（Ｐ），γ^（Ｐ）をそれぞれの推定値とする。

非特許文献３：C. Bishop.“Pattern Recognition and Machine Learning”, Springer, New York, 2006.

トピック分布パラメータ推定部２６は、トピック推定部２４によって更新されたパラメータ｛φ^ｋ｝，｛Υ^ｋ｝の分布を表すハイパーパラメータβ，γ、及び繰り返し毎に得られた、各選択行動データについてのトピックの計算結果（ｚ^（１），ｚ^（２），…，ｚ^（Ｐ））に基づく、トピック分布のパラメータの事後確率に従って、トピック分布のパラメータ｛φ^ｋ｝，｛Υ^ｋ｝を推定する。

具体的には、トピック分布パラメータ推定部２６は、トピック推定部２４によって得られたβ，γ，（ｚ^（１），ｚ^（２），…，ｚ^（Ｐ））を用いて、以下の式（１０），（１１）に従って、トピック分布のパラメータ｛φ^ｋ｝，｛Υ^ｋ）を推定する。なお、本実施の形態では、トピック分布のパラメータの推定値として、事後確率の平均を採用する。

ただし、ｋ＝１，２，３，…，Ｋであり、事後確率はそれぞれ以下の式（１１）で与えられる。

トピック比率推定部２８は、トピック推定部２４によって更新されたトピック比率の分布を表すハイパーパラメータα、及び繰り返し毎に得られた、各選択行動データについてのトピックの計算結果（ｚ^（１），ｚ^（２），…，ｚ^（Ｐ））に基づく、トピック比率の事後確率に従って、各個体ｕについて、トピック比率θ_ｕを推定する。

具体的には、トピック比率推定部２８は、トピック推定部２４によって得られたハイパーパラメータα，トピックの計算結果（ｚ^（１），ｚ^（２），…，ｚ^（Ｐ））を用いて、以下の式（１２），（１３）に従って、個体ごと（ｕ＝１，２，…，Ｕ）のトピック比率θ_ｕを推定する。なお、本実施の形態では、トピック比率の推定値として、事後確率の平均を採用する。

ただし、事後確率は、以下の式（１３）で与えられる。

パラメータ記憶部３０には、トピック分布パラメータ推定部２６によって推定されたトピック分布のパラメータの値が格納される。トピック分布のパラメータの例を表３に示す。なお、以下の表３に示す例は、モデルタイプがタイプＩＶであり、トピック数Ｋ＝２、選択肢数Ｎ_ｃ＝３、選択タイミング分布のパラメータ数が２である場合である。

トピック比率記憶部３２には、トピック比率推定部２８によって推定された個体ごとのトピック比率の値が格納される。トピック比率の例を表４に示す。なお、以下の表４に示す例は、トピック数Ｋ＝２の場合である。

出力部４０は、パラメータ記憶部３０に記憶されたトピック分布のパラメータと、トピック比率記憶部３２に記憶された個体毎のトピック比率とを結果として出力する。

＜本発明の実施の形態に係る予測装置の構成＞

次に、本発明の実施の形態に係る予測装置の構成について説明する。図７に示すように、本発明の実施の形態に係る予測装置２００は、ＣＰＵと、ＲＡＭと、後述する予測処理ルーチンを実行するためのプログラムや各種データを記憶したＲＯＭと、を含むコンピュータで構成することが出来る。この予測装置２００は、機能的には図７に示すように入力部５０と、演算部６０と、出力部７０とを備えている。予測装置２００は、予測対象の個体の選択行動を予測する。

入力部５０は、予測対象の個体に対して予め推定装置１００によって推定された、各トピックに対する重みを表すトピック比率と、予め求められたトピックにおける、選択内容及び選択タイミングを特徴付けるトピック分布のパラメータとを受け付ける。

演算部６０は、予測部６２を含んで構成されている。

予測部６２は、入力部５０により受け付けたトピック比率｛θ_ｕ｝及びトピック分布のパラメータ｛φ^ｋ｝，｛Υ^ｋ｝に基づいて、各トピックに対する、トピックを条件とした選択内容の確率を表す条件付き多項分布、及びトピックを条件とした、前回の選択行動からの間隔である選択タイミングの確率密度分布を用いて表される、各トピックに対する、トピックを条件とした、個体の選択行動の選択内容、及び選択タイミングの同時確率分布に従って、予測対象の個体についての、個体の選択行動の選択内容ｙ^＊及び選択タイミングｔ^＊を予測する。

具体的には、予測部６２は、推定装置１００によって推定されたトピック分布のパラメータ値｛φ^ｋ｝，｛Υ^ｋ｝とトピック比率｛θ_ｕ｝、及び各個体の過去の選択行動データ（ｙ，ｔ）を用いて、個体ｕ（ｕ＝１，２，…，Ｕ）の次回（将来）の選択行動（ｙ^＊，ｔ^＊）を予測する。

予測の対象は（ａ）選択タイミングｔ^＊を与えた場合の選択内容ｙ^＊、（ｂ）選択内容ｙ^＊を与えた場合の選択タイミングｔ^＊、（ｃ）選択内容ｙ^＊と選択タイミングｔ^＊の両方、の三種類である。予測部６２は、それぞれの推定を以下の手順で行う。

（ａ）選択タイミングｔ^＊を与えた場合の選択内容ｙ^＊を予測する場合
予測部６２は、選択内容ｙ^＊の各々について、以下の式（１４）に従って、選択タイミングｔ^＊を条件とした当該選択内容ｙ^＊の確率分布ｐ（ｙ^＊｜ｔ^＊）を計算し、確率の高さにおいて上位Ｒ個の選択内容を選び出し、予測値とする。

このときタイミングｔ^＊によって、すなわち直前の選択行動発生時刻からの経過時間によって予測結果は異なりうるため、推薦あるいはナビゲーションする内容をタイミングによって変更することができる。なお、個数Ｒは１からＮ_ｃまでの値を取ることができ、予測装置２００の使用者が使用形態に応じて任意に決めるものである。

（ｂ）選択内容ｙ^＊を与えた場合の選択タイミングｔ^＊を予測する場合
予測部６２は、選択タイミングｔ^＊の各々について、以下の式（１５）に従って、選択内容ｙ^＊を条件とした選択タイミングｔ^＊の確率分布ｐ（ｔ^＊｜ｙ^＊）を計算し、ｐ（ｔ^＊｜ｙ^＊）の最大値（モード）あるいはｔ^＊の平均値を計算し、予測値とする。

上記式（１５）に従って予測が行われることにより、選択内容

ごとに選択タイミングの予測値が得られる。

（ｃ）選択内容ｙ^＊と選択タイミングｔ^＊の両方を予測する場合
予測部６２は、選択内容ｙ^＊と選択タイミングｔ^＊の両方の組み合わせ毎に、選択内容ｙ^＊とタイミングｔ^＊の同時確率分布ｐ（ｔ^＊，ｙ^＊｜｛φ^ｋ｝，｛Υ^ｋ｝）を計算し、ｐ（ｔ^＊，ｙ^＊｜｛φ^ｋ｝，｛Υ^ｋ｝）の最大値（モード）、又はｔ^＊の平均値及びｙ^＊の最大値を計算し、予測値とする。

そして、予測部６２は、上記（ａ）で計算された選択内容の予測値ｙ^＊、上記（ｂ）で計算された選択タイミングの予測値ｔ^＊、又は上記（ｃ）で計算された選択内容と選択タイミングの予測値（ｔ^＊，ｙ^＊）を出力する。

出力部７０は、選択内容の予測値ｙ^＊、選択タイミングの予測値ｔ^＊、又は選択内容と選択タイミングとの予測値（ｔ^＊，ｙ^＊）を結果として出力する。

＜本発明の実施の形態に係る推定装置の作用＞

次に、本発明の実施の形態に係る推定装置１００の作用について説明する。入力部１０において個体の個体ＩＤが付与された選択行動データの集合と、トピック数Ｋと、モデルタイプと、選択タイミング分布とを受け付けると、推定装置１００は、図８に示す推定処理ルーチンを実行する。

まず、ステップＳ１００では、入力部１０において受け付けた選択行動データの集合と、トピック数Ｋと、モデルタイプと、選択タイミング分布とを取得する。そして、選択行動データの集合が選択行動データ記憶部２２に格納される。

次に、ステップＳ１０２において、トピック推定部２４は、選択行動データ記憶部２２に記憶された選択行動データの集合に含まれる各選択行動データについて、α、β、γの初期値又は前回のステップＳ１０４で推定されたα、β、γに基づいて、上記式（８）に従って、選択行動データが所属するトピックｋを計算する。

ステップＳ１０４において、トピック推定部２４は、上記ステップＳ１０２で得られた各選択行動データについてのトピックｋの計算結果に基づいて、各個体ｕ及び各トピックｋに対する重みを表すトピック比率θ_ｕの分布を表すハイパーパラメータαと、トピックｋにおける、選択内容及び選択タイミングを特徴付けるトピック分布のパラメータφ^ｋ，Υ^ｋの分布を表すハイパーパラメータβ，γを、上記式（９）に従って更新する。

ステップＳ１０６において、ステップＳ１０２〜Ｓ１０４の処理が予め定められたＰ回繰り返したかを判定し、予め定められた回数繰り返していなければステップＳ１０２へ戻ってステップＳ１０２〜Ｓ１０４の処理を繰り返し、予め定められた回数繰り返していればステップＳ１０８へ移行する。

ステップＳ１０８において、トピック分布パラメータ推定部２６は、上記ステップＳ１０４で更新されたハイパーパラメータβ，γ、及び繰り返し毎に得られた、上記ステップＳ１０２で計算された各選択行動データについてのトピックの計算結果（ｚ^（１），ｚ^（２），…，ｚ^（Ｐ））に基づく、上記式（１１）に示すトピック分布のパラメータの事後確率に従って、トピック分布のパラメータφ^ｋ，Υ^ｋを推定する。また、トピック分布パラメータ推定部２６は、トピック分布のパラメータφ^ｋ，Υ^ｋをパラメータ記憶部３０に格納する。

ステップＳ１１０において、トピック比率推定部２８は、上記ステップＳ１０４で更新されたトピック比率の分布を表すハイパーパラメータα、及び繰り返し毎に得られた、上記ステップＳ１０２で計算された各選択行動データについてのトピックの計算結果（ｚ^（１），ｚ^（２），…，ｚ^（Ｐ））に基づく、上記式（１３）に示すトピック比率の事後確率に従って、各個体について、トピック比率θ_ｕを推定する。トピック比率推定部２８は、各個体についてのトピック比率θ_ｕをトピック比率記憶部３２に格納する。

ステップＳ１１２において、出力部４０は、パラメータ記憶部３０に記憶されたトピック分布のパラメータと、トピック比率記憶部３２に記憶された個体毎のトピック比率とを結果として出力して、推定処理ルーチンを終了する。

＜本発明の実施の形態に係る予測装置の作用＞

次に、本発明の実施の形態に係る予測装置２００の作用について説明する。入力部５０において、予測対象の個体ｕについて推定装置１００により推定されたトピック比率θ_ｕと、トピック分布のパラメータφ^ｋ，Υ^ｋとを受け付けると、予測装置２００は、図９に示す予測処理ルーチンを実行する。

ステップＳ２００において、トピック比率θ_ｕとトピック分布のパラメータφ^ｋ，Υ^ｋとを取得する。

ステップＳ２０２において、選択タイミングｔ^＊を与えた場合の選択内容ｙ^＊を予測する場合には、予測部６２は、入力部５０において受け付けたトピック比率θ_ｕとトピック分布のパラメータφ^ｋ，Υ^ｋとに基づいて、上記式（１４）に従って、選択タイミングｔ^＊を条件とした選択内容ｙ^＊の確率分布ｐ（ｙ^＊｜ｔ^＊）を計算し、確率の高さにおいて上位Ｒ個の選択内容を選び出し、予測値とする。
また、選択内容ｙ^＊を与えた場合の選択タイミングｔ^＊を予測する場合には、予測部６２は、入力部５０において受け付けたトピック比率θ_ｕとトピック分布のパラメータ（φ^ｋ，Υ^ｋ）とに基づいて、上記式（１５）に従って、選択内容ｙ^＊を条件とした選択タイミングｔ^＊の確率分布ｐ（ｔ^＊｜ｙ^＊）を計算し、ｐ（ｔ^＊｜ｙ^＊）の最大値（モード）あるいはｔ^＊の平均値を計算し、予測値とする。
また、選択内容ｙ^＊と選択タイミングｔ^＊の両方を予測する場合には、予測部６２は、選択内容ｙ^＊とタイミングｔ^＊の同時確率分布ｐ（ｔ^＊，ｙ^＊｜｛φ^ｋ｝，｛Υ^ｋ｝）を計算し、ｐ（ｔ^＊，ｙ^＊｜｛φ^ｋ｝，｛Υ^ｋ｝）の最大値（モード）、又はｔ^＊の平均値及びｙ^＊の最大値を計算し、予測値とする。

そして、ステップＳ２０４において、出力部７０は、上記ステップＳ２０２で得られた、選択内容の予測値ｙ^＊、選択タイミングの予測値ｔ^＊、又は選択内容と選択タイミングとの予測値（ｔ^＊，ｙ^＊）を結果として出力して、予測処理ルーチンを終了する。

以上説明したように、本実施の形態に係る推定装置によれば、各選択行動データについて、各トピックに対する、トピックを条件とした選択内容の確率を表す条件付き多項分布、及びトピックを条件とした選択タイミングの確率密度分布を用いて表される、選択内容及び選択タイミングの同時確率分布に従って、選択行動データが所属するトピックを計算し、各選択行動データについてのトピックの計算結果に基づいて、トピック比率の分布を表すハイパーパラメータとトピック分布のパラメータの分布を表すハイパーパラメータとを更新することを繰り返し、更新されたトピック分布のパラメータの分布を表すハイパーパラメータ、及び繰り返し毎に得られた、各選択行動データについてのトピックの計算結果に基づく、トピック分布のパラメータの事後確率に従って、トピック分布のパラメータを推定し、更新されたトピック比率の分布を表すハイパーパラメータ、及び繰り返し毎に得られた、各選択行動データについてのトピックの計算結果に基づく、トピック比率の事後確率に従って、各個体について、トピック比率を推定することにより、個体の選択内容及び選択タイミングを精度よく予測するためのパラメータを推定することができる。

また、本実施の形態に係る予測装置によれば、予測対象の個体に対して予め求められた、各トピックに対する重みを表すトピック比率とトピック分布のパラメータとに基づいて、各トピックに対する、トピックを条件とした選択内容の確率を表す条件付き多項分布、及びトピックを条件とした、選択タイミングの確率密度分布を用いて表される、各トピックに対する、トピックを条件とした、個体の選択行動の選択内容及び選択タイミングの同時確率分布に従って、予測対象の個体についての、選択内容及び選択タイミングを予測することにより、個体の選択内容及び選択タイミングを精度よく予測することができる。

なお、本発明は、上述した実施の形態に限定されるものではなく、この発明の要旨を逸脱しない範囲内で様々な変形や応用が可能である。

例えば、上記実施の形態に係る予測装置では、個体の選択内容及び選択タイミングを予測する場合を例に説明したが、これに限定されるものではなく、選択内容及び選択タイミングの何れか一方を予測してもよい。

また、上述の推定装置１００は、選択行動データ記憶部２２、パラメータ記憶部３０、及びトピック比率記憶部３２を備えている場合について説明したが、例えば選択行動データ記憶部２２、パラメータ記憶部３０、及びトピック比率記憶部３２の少なくとも１つが推定装置１００の外部装置に設けられ、推定装置１００は、外部装置と通信手段を用いて通信することにより、選択行動データ記憶部２２、パラメータ記憶部３０、及びトピック比率記憶部３２の少なくとも１つを参照するようにしてもよい。

また、上記実施の形態では、推定装置１００と予測装置２００とを別々の装置として構成する場合を例に説明したが、推定装置１００と予測装置２００とを１つの装置として構成してもよい。

また、上述の推定装置及び予測装置は、内部にコンピュータシステムを有しているが、「コンピュータシステム」は、ＷＷＷシステムを利用している場合であれば、ホームページ提供環境（あるいは表示環境）も含むものとする。

また、本願明細書中において、プログラムが予めインストールされている実施形態として説明したが、当該プログラムを、コンピュータ読み取り可能な記録媒体に格納して提供することも可能である。

１０，５０ 入力部
２０，６０ 演算部
２２ 選択行動データ記憶部
２４ トピック推定部
２６ トピック分布パラメータ推定部
２８ トピック比率推定部
３０ パラメータ記憶部
３２ トピック比率記憶部
４０，７０ 出力部
６２ 予測部
１００ 推定装置
２００ 予測装置

Claims (8)

1. 複数の個体で観測された、前記個体の選択行動の選択内容、及び前回の選択行動からの間隔である選択タイミングを表す選択行動データの集合を入力とし、前記選択行動データの集合に含まれる各選択行動データについて、各トピックに対する、前記トピックを条件とした選択内容の確率を表す条件付き多項分布、及び前記トピックを条件とした選択タイミングの確率密度分布を用いて表される、各トピックに対する、前記トピックを条件とした、前記選択内容及び前記選択タイミングの同時確率分布に従って、前記選択行動データが所属するトピックを計算し、
   各選択行動データについての前記トピックの計算結果に基づいて、各個体及び各トピックに対する重みを表すトピック比率の分布を表すハイパーパラメータと、前記トピックにおける、前記選択内容及び前記選択タイミングを特徴付けるトピック分布のパラメータの分布を表すハイパーパラメータとを更新することを繰り返すトピック推定部と、
   前記トピック推定部によって更新された前記トピック分布のパラメータの分布を表すハイパーパラメータ、及び繰り返し毎に得られた、各選択行動データについての前記トピックの計算結果に基づく、前記トピック分布のパラメータの事後確率に従って、前記トピック分布のパラメータを推定するトピック分布パラメータ推定部と、
   前記トピック推定部によって更新された前記トピック比率の分布を表すハイパーパラメータ、及び繰り返し毎に得られた、各選択行動データについての前記トピックの計算結果に基づく、前記トピック比率の事後確率に従って、各個体について、前記トピック比率を推定するトピック比率推定部と、
   を含む推定装置。
2. 前記トピックを条件とした選択タイミングの確率密度分布は、前記選択タイミングが前記選択内容とが独立に生成されるように定められる
   請求項１に記載の推定装置。
3. 前記トピックを条件とした選択タイミングの確率密度分布は、前記選択タイミングが直前の前記選択内容に依存して生成されるように定められる
   請求項１に記載の推定装置。
4. 前記トピックを条件とした選択タイミングの確率密度分布は、前記選択タイミングが直後の前記選択内容に依存して生成されるように定められる
   請求項１に記載の推定装置。
5. 予測対象の個体の選択行動を予測する予測装置であって、
   前記予測対象の個体に対して予め求められた、各トピックに対する重みを表すトピック比率と、予め求められた前記トピックにおける、前記個体の選択行動の選択内容及び前記個体の前回の選択行動からの間隔である選択タイミングを特徴付けるトピック分布のパラメータとに基づいて、各トピックに対する、前記トピックを条件とした選択内容の確率を表す条件付き多項分布、及び前記トピックを条件とした、前記選択タイミングの確率密度分布を用いて表される、各トピックに対する、前記トピックを条件とした、前記個体の選択行動の選択内容、及び前記選択タイミングの同時確率分布に従って、前記予測対象の個体についての、前記選択内容及び前記選択タイミングの少なくとも一方を予測する予測部
   を含む予測装置。
6. トピック推定部が、複数の個体で観測された、前記個体の選択行動の選択内容、及び前回の選択行動からの間隔である選択タイミングを表す選択行動データの集合を入力とし、前記選択行動データの集合に含まれる各選択行動データについて、各トピックに対する、前記トピックを条件とした選択内容の確率を表す条件付き多項分布、及び前記トピックを条件とした選択タイミングの確率密度分布を用いて表される、各トピックに対する、前記トピックを条件とした、前記選択内容及び前記選択タイミングの同時確率分布に従って、前記選択行動データが所属するトピックを計算し、
   各選択行動データについての前記トピックの計算結果に基づいて、各個体及び各トピックに対する重みを表すトピック比率の分布を表すハイパーパラメータと、前記トピックにおける、前記選択内容及び前記選択タイミングを特徴付けるトピック分布のパラメータの分布を表すハイパーパラメータとを更新することを繰り返し、
   トピック分布パラメータ推定部が、前記トピック推定部によって更新された前記トピック分布のパラメータの分布を表すハイパーパラメータ、及び繰り返し毎に得られた、各選択行動データについての前記トピックの計算結果に基づく、前記トピック分布のパラメータの事後確率に従って、前記トピック分布のパラメータを推定し、
   トピック比率推定部が、前記トピック推定部によって更新された前記トピック比率の分布を表すハイパーパラメータ、及び繰り返し毎に得られた、各選択行動データについての前記トピックの計算結果に基づく、前記トピック比率の事後確率に従って、各個体について、前記トピック比率を推定する
   推定方法。
7. 予測対象の個体の選択行動を予測する予測方法であって、
   予測部が、前記予測対象の個体に対して予め求められた、各トピックに対する重みを表すトピック比率と、予め求められた前記トピックにおける、前記個体の選択行動の選択内容及び前記個体の前回の選択行動からの間隔である選択タイミングを特徴付けるトピック分布のパラメータとに基づいて、各トピックに対する、前記トピックを条件とした選択内容の確率を表す条件付き多項分布、及び前記トピックを条件とした、前記選択タイミングの確率密度分布を用いて表される、各トピックに対する、前記トピックを条件とした、前記個体の選択行動の選択内容、及び前記選択タイミングの同時確率分布に従って、前記予測対象の個体についての、前記選択内容及び前記選択タイミングの少なくとも一方を予測する
   予測装置。
8. コンピュータを、請求項１〜請求項４の何れか１項に記載の推定装置、又は請求項５に記載の予測装置を構成する各部として機能させるためのプログラム。

Images