JP2012058972A - 評価予測装置、評価予測方法、及びプログラム - Google Patents

Abstract

【課題】高速に評価値を予測可能な評価予測装置を提供すること。
【解決手段】第１アイテムが持つ潜在的な特徴を表す第１潜在ベクトル、第２アイテムが持つ潜在的な特徴を表す第２潜在ベクトル、及び、前記第１潜在ベクトルと前記第２潜在ベクトルとの内積で表現される評価値を要素に持つランク数Ｈの評価値行列のランクｈ（ｈ＝０〜Ｈ）の残差行列Ｒｈをそれぞれ正規分布に従う確率変数とみなし、学習データとして与えられた既知の評価値を用いた変分ベイズ推定を実行することにより、前記第１潜在ベクトル及び前記第２潜在ベクトルの変分事後分布を算出する事後分布算出部と、前記事後分布算出部により算出された前記第１潜在ベクトル及び第２潜在ベクトルの変分事後分布を用いて未知の前記評価値を予測する評価値予測部と、を備える、評価予測装置が提供される。
【選択図】図１０

Description

本発明は、評価予測装置、評価予測方法、及びプログラムに関する。

近年、広帯域化したネットワークを通じて膨大な量の情報がユーザに提供されるようになってきた。そのため、ユーザの側からすれば、提供される膨大な情報の中から、自身が求める情報を探すのが難しくなってしまった。一方、情報を提供する側からすれば、ユーザに提供したい情報が膨大な情報の中に埋もれてしまい、そうした情報がユーザに閲覧され難くなってしまった。こうした状況を改善するため、膨大な情報の中からユーザが好む情報を的確に抽出し、その情報をユーザに提供するための仕組み作りが進められている。

膨大な情報の中からユーザが好む情報を抽出する仕組みとしては、例えば、協調フィルタリング、内容ベースフィルタリングと呼ばれるフィルタリング手法が知られている。また、協調フィルタリングには、ユーザベース協調フィルタリング、アイテムベース協調フィルタリング、行列分解ベース協調フィルタリング（例えば、下記の非特許文献１を参照）などの種類がある。一方、内容ベースフィルタリングには、ユーザベース内容ベースフィルタリング、アイテムベース内容ベースフィルタリングなどの種類がある。

ユーザベース協調フィルタリングは、あるユーザＡと似た嗜好を持つユーザＢを検出し、あるアイテム群に対してユーザＢが行った評価に基づいて、ユーザＡが好むアイテムを抽出するといった手法である。例えば、ユーザＢがアイテムＸに対して好意的な評価を行っている場合、ユーザＡもアイテムＸを好むものと予想される。この予想に基づくと、ユーザＡが好む情報としてアイテムＸを抽出することができる。なお、行列分解ベース協調フィルタリングは、ユーザベース協調フィルタリングとアイテムベース協調フィルタリングの特徴を併せ持つ手法であり、詳細については下記の非特許文献１を参照されたい。

また、アイテムベース協調フィルタリングは、あるアイテムＡと似た特徴を持つアイテムＢを検出し、あるユーザ群がアイテムＢに対して行った評価に基づいて、アイテムＡを好むユーザを抽出するといった手法である。例えば、アイテムＢに対してユーザＸが好意的な評価を行っている場合、アイテムＡもユーザＸに好まれるものと予想される。この予想に基づくと、アイテムＡを好むユーザとしてユーザＸを抽出することができる。

また、ユーザベース内容フィルタリングとは、例えば、ユーザＡが好むアイテム群が存在する場合に、そのアイテム群の特徴に基づいてユーザＡの嗜好を解析し、ユーザＡの嗜好に合う特徴を持った新たなアイテムを抽出するといった手法である。そして、アイテムベース内容フィルタリングとは、例えば、アイテムＡを好むユーザ群が存在する場合に、そのユーザ群の嗜好に基づいてアイテムＡの特徴を解析し、アイテムＡの特徴を好む新たなユーザを抽出するといった手法である。

Ｒｕｓｌａｎ Ｓａｌａｋｈｕｔｄｉｎｏｖ ａｎｄ Ａｎｄｒｉｙ Ｍｎｉｈ． Ｐｒｏｂａｂｉｌｉｓｔｉｃ ｍａｔｒｉｘ ｆａｃｔｏｒｉｚａｔｉｏｎ． Ｉｎ Ａｄｖａｎｃｅｓ ｉｎ Ｎｅｕｒａｌ Ｉｎｆｏｒｍａｔｉｏｎ Ｐｒｏｃｅｓｓｉｎｇ Ｓｙｓｔｅｍｓ， ｖｏｌｕｍｅ ２０， ２００８．

上記のようなフィルタリング手法を利用すると、膨大な情報の中から、ユーザが好む情報を抽出することが可能になる。ユーザは、自身が好む情報だけに絞り込まれた情報群の中から所望の情報を抽出できるようになり、情報の検索性が大きく向上する。一方、情報を提供する側からすれば、ユーザが好む情報を的確に提供することができるようになり、効果的な情報提供が実現できるようになる。しかしながら、フィルタリングの精度が低いと、ユーザが好む情報の絞り込みが適切に行われず、検索性の向上や効果的な情報提供といった効果は得られない。そのため、精度の高いフィルタリング手法が求められている。

上記の協調フィルタリングを利用する場合、ユーザ数やアイテム数が少ない状況下において低い精度となることが知られている。一方、内容ベースフィルタリングを利用する場合、ユーザ数やアイテム数が多い状況下において協調フィルタリングよりも低い精度となることが知られている。また、内容ベースフィルタリングの場合、ユーザ群やアイテム群を特徴付ける特徴の種類を巧く選択しないと低い精度となることが知られている。

こうした状況に鑑み、本件発明者は、変分ベイズ推定を用いた確率的行列分解に基づくフィルタリング手法を考案した。なお、確率的行列分解に基づくフィルタリング手法については、例えば、（文献１）Ｙ．Ｊ．Ｌｉｍ ａｎｄ Ｙ．Ｗ．Ｔｅｈ．， “Ｖａｒｉａｔｉｏｎａｌ Ｂａｙｅｓｉａｎ ａｐｐｒｏａｃｈ ｔｏ ｍｏｖｉｅ ｒａｔｉｎｇ ｐｒｅｄｉｃｔｉｏｎ”， Ｉｎ Ｐｒｏｃｅｅｄｉｎｇｓ ｏｆ ＫＤＤ Ｃｕｐ ａｎｄ Ｗｏｒｋｓｈｏｐ， ２００７．、（文献２）Ｒｕｓｌａｎ Ｓａｌａｋｈｕｔｄｉｎｏｖ ａｎｄ Ａｎｄｒｉｙ Ｍｎｉｈ．，“Ｐｒｏｂａｂｌｉｓｔｉｃ ｍａｔｒｉｘ ｆａｃｔｏｒｉｚａｔｉｏｎ”， Ｉｎ Ａｄｖａｎｃｅｓ ｉｎ Ｎｅｕｒａｌ Ｉｎｆｏｒｍａｔｉｏｎ Ｐｒｏｃｅｓｓｉｎｇ Ｓｙｓｔｅｍｓ， ｖｏｌｕｍｅ ２０， ２００８．、（文献３）Ｒｕｓｌａｎ Ｓａｌａｋｈｕｔｄｉｎｏｖ ａｎｄ Ａｎｄｒｉｙ Ｍｎｉｈ．，“Ｂａｙｅｓｉａｎ ｐｒｏｂａｂｌｉｓｔｉｃ ｍａｔｒｉｘ ｆａｃｔｏｒｉｚａｔｉｏｎ ｕｓｉｎｇ Ｍａｒｋｏｖ ｃｈａｉｎ Ｍｏｎｔｅ Ｃａｒｌｏ．”， Ｉｎ Ｐｒｏｃｅｅｄｉｎｇｓ ｏｆ ｔｈｅ Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｃｏｎｆｅｒｅｎｃｅ ｏｎ Ｍａｃｈｉｎｅ Ｌｅａｒｎｉｎｇ， ｖｏｌｕｍｅ ２５， ２００８．などに記載がある。

しかし、変分ベイズ推定は反復解法であり、初期値を適切に選ばないと解の収束に時間がかかったり、質の悪い収束解が得られたりしてしまう。また、上記の確率的行列分解に基づくフィルタリング手法は、アイテムの数が多くなると、その計算に膨大なメモリ量が必要になったり、計算負荷が非常に大きくなったりしてしまう。

そこで、本発明は、上記問題に鑑みてなされたものであり、本発明の目的とするところは、計算に要するメモリ量を抑制しつつ、より高速に確率的行列分解に基づくフィルタリングを実現することが可能な、新規かつ改良された評価予測装置、評価予測方法、及びプログラムを提供することにある。

上記課題を解決するために、本発明のある観点によれば、第１アイテムが持つ潜在的な特徴を表す第１潜在ベクトル、第２アイテムが持つ潜在的な特徴を表す第２潜在ベクトル、及び、前記第１潜在ベクトルと前記第２潜在ベクトルとの内積で表現される評価値を要素に持つランク数Ｈの評価値行列のランクｈ（ｈ＝０〜Ｈ）の残差行列Ｒｈをそれぞれ正規分布に従う確率変数とみなし、学習データとして与えられた既知の評価値を用いた変分ベイズ推定を実行することにより、前記第１潜在ベクトル及び前記第２潜在ベクトルの変分事後分布を算出する事後分布算出部と、前記事後分布算出部により算出された前記第１潜在ベクトル及び第２潜在ベクトルの変分事後分布を用いて未知の前記評価値を予測する評価値予測部と、を備える、評価予測装置が提供される。

また、前記事後分布算出部は、前記残差行列Ｒｈを確率変数とみなして変分ベイズ推定を実行することにより得られた前記第１潜在ベクトル及び前記第２潜在ベクトルの変分事後分布を初期値とし、前記評価値行列を正規分布に従う確率変数とみなして変分ベイズ推定を実行することにより、前記第１潜在ベクトル及び前記第２潜在ベクトルの変分事後分布を算出する、ように構成されていてもよい。

また、前記事後分布算出部は、前記第１アイテムが持つ特徴を表す第１特徴ベクトルと、前記第２アイテムが持つ特徴を表す第２特徴ベクトルと、前記第１特徴ベクトルを前記第１潜在ベクトルの空間に射影する第１射影行列と、前記第２特徴ベクトルを前記第２潜在ベクトルの空間に射影する第２射影行列と、を定義し、前記第１射影行列による前記第１特徴ベクトルの射影値を期待値とする正規分布により前記第１潜在ベクトルの分布を表現し、前記第２射影行列による前記第２特徴ベクトルの射影値を期待値とする正規分布により前記第２潜在ベクトルの分布を表現し、前記第１潜在ベクトル及び前記第２潜在ベクトルの変分事後分布と共に、前記第１射影行列及び前記第２射影行列の変分事後分布を算出する、ように構成されていてもよい。

また、前記評価値予測部は、前記第１潜在ベクトル及び第２潜在ベクトルの変分事後分布を用いて算出される前記第１潜在ベクトルの期待値及び前記第２潜在ベクトルの期待値の内積を前記未知の評価値の予測値とする、ように構成されていてもよい。

また、上記の評価予測装置は、前記評価値予測部により予測された未知の評価値が所定の閾値を上回る場合、当該未知の評価値に対応する第２アイテムを当該未知の評価値に対応する第１アイテムの推薦先に決定する推薦先決定部をさらに備えていてもよい。

また、前記第２アイテムはユーザを表してもよい。この場合、上記の評価予測装置は、前記推薦先決定部により第１アイテムの推薦先が決定された場合、当該第１アイテムの推薦先に対応するユーザに対して当該第１アイテムを推薦する推薦部をさらに備える。

また、上記課題を解決するために、本発明の別の観点によれば、第１アイテムが持つ潜在的な特徴を表す第１潜在ベクトル、第２アイテムが持つ潜在的な特徴を表す第２潜在ベクトル、及び、前記第１潜在ベクトルと前記第２潜在ベクトルとの内積で表現される評価値を要素に持つランク数Ｈの評価値行列のランクｈ（ｈ＝０〜Ｈ）の残差行列Ｒｈをそれぞれ正規分布に従う確率変数とみなし、学習データとして与えられた既知の評価値を用いた変分ベイズ推定を実行することにより、前記第１潜在ベクトル及び前記第２潜在ベクトルの変分事後分布を算出する事後分布算出ステップと、前記事後分布算出ステップで算出された前記第１潜在ベクトル及び第２潜在ベクトルの変分事後分布を用いて未知の前記評価値を予測する評価値予測ステップと、を含む、評価予測方法が提供される。

また、上記課題を解決するために、本発明の別の観点によれば、第１アイテムが持つ潜在的な特徴を表す第１潜在ベクトル、第２アイテムが持つ潜在的な特徴を表す第２潜在ベクトル、及び、前記第１潜在ベクトルと前記第２潜在ベクトルとの内積で表現される評価値を要素に持つランク数Ｈの評価値行列のランクｈ（ｈ＝０〜Ｈ）の残差行列Ｒｈをそれぞれ正規分布に従う確率変数とみなし、学習データとして与えられた既知の評価値を用いた変分ベイズ推定を実行することにより、前記第１潜在ベクトル及び前記第２潜在ベクトルの変分事後分布を算出する事後分布算出機能と、前記事後分布算出機能により算出された前記第１潜在ベクトル及び第２潜在ベクトルの変分事後分布を用いて未知の前記評価値を予測する評価値予測機能と、をコンピュータに実現させるためのプログラムが提供される。また、上記課題を解決するために、本発明の別の観点によれば、上記のプログラムが記録された、コンピュータにより読み取り可能な記録媒体が提供される。

以上説明したように本発明によれば、計算に要するメモリ量を抑制しつつ、より高速に確率的行列分解に基づくフィルタリングを実現することが可能になる。

行列分解ベース協調フィルタリングに基づくアイテムの推薦が可能な推薦システムの構成について説明するための説明図である。 評価値データベースの構成について説明するための説明図である。 潜在特徴ベクトルの構成について説明するための説明図である。 潜在特徴ベクトルの構成について説明するための説明図である。 行列分解ベース協調フィルタリングに基づくアイテムの推薦に係る処理の流れについて説明するための説明図である。 確率的行列分解ベース協調フィルタリングに基づく評価値の予測及びアイテムの推薦が可能な評価予測装置の機能構成について説明するための説明図である。 特徴ベクトルの構成について説明するための説明図である。 特徴ベクトルの構成について説明するための説明図である。 確率的行列分解ベース協調フィルタリングに基づく評価値の予測及びアイテムの推薦に係る処理の流れについて説明するための説明図である。 本発明の一実施形態に係る評価予測装置の機能構成について説明するための説明図である。 同実施形態に係る評価予測装置の構成を適用することにより得られる効果について説明するための実験結果を示す説明図である。 同実施形態に係る評価予測装置の構成を適用することにより得られる効果について説明するための実験結果を示す説明図である。 同実施形態に係る評価予測装置の機能を実現することが可能な情報処理装置のハードウェア構成について説明するための説明図である。

以下に添付図面を参照しながら、本発明の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。

［説明の流れについて］
ここで、以下に記載する本発明の実施形態に関する説明の流れについて簡単に述べる。まず、図１〜図５を参照しながら、行列分解ベース協調フィルタリングに基づくアイテムの推薦を実現可能な推薦システムのシステム構成及びその動作について説明する。次いで、図６〜図９を参照しながら、確率的行列分解ベース協調フィルタリングに基づく評価値の予測及びアイテムの推薦を実現可能な評価予測装置（推薦システム）の機能構成及びその動作について説明する。次いで、図１０を参照しながら、本実施形態に係る評価予測装置の機能構成について説明する。次いで、図１１、図１２を参照しながら、本実施形態に係る評価予測装置の構成を適用した場合に得られる効果について、具体的な実験結果を参照しながら説明する。次いで、図１３を参照しながら、本発明の一実施形態に係る評価予測装置の機能を実現可能な情報処理装置のハードウェア構成について説明する。

（説明項目）
１：はじめに
１−１：行列分解ベース協調フィルタリングについて
１−１−１：推薦システム１０の構成
１−１−２：推薦システム１０の動作
１−２：確率的行列分解ベース協調フィルタリングについて
１−２−１：着眼点について
１−２−２：評価予測装置１００の構成
１−２−３：評価予測装置１００の動作
２：実施形態
２−１：評価予測装置１００の構成
２−２：実験結果
３：ハードウェア構成例

＜１：はじめに＞
はじめに、行列分解ベース協調フィルタリング及び確率的行列分解ベース協調フィルタリングについて簡単に説明する。そして、これらのフィルタリング手法が抱える問題点について纏める。なお、後述する本実施形態のフィルタリング手法（以下、本手法と呼ぶ場合がある。）は、これら一般的なフィルタリング手法が抱える問題点を解決するものである。

［１−１：行列分解ベース協調フィルタリングについて］
まず、行列分解ベース協調フィルタリングについて説明する。行列分解ベース協調フィルタリングは、ユーザとアイテムの組み合わせに対する既知の評価値がうまく説明されるように、ユーザの嗜好に対応するベクトルとアイテムの特徴に対応するベクトルを推定し、その推定結果に基づいて未知の評価値を予測する手法である。

（１−１−１：推薦システム１０の構成）
まず、図１を参照しながら、行列分解ベース協調フィルタリングを実現することが可能な推薦システム１０の機能構成について述べる。図１は、行列分解ベース協調フィルタリングを実現することが可能な推薦システム１０の機能構成を示す説明図である。

図１に示すように、推薦システム１０は、主に、評価値データベース１１と、行列分解部１２と、評価値予測部１３と、推薦部１４とにより構成される。

（評価値データベース１１）
評価値データベース１１は、図２に示すように、ユーザｉとアイテムｊの組み合わせに対する評価値が格納されたデータベースである。以下では、説明の都合上、各ユーザを識別するためのＩＤをｉ＝１，…，Ｍ、アイテムを識別するためのＩＤをｊ＝１，…，Ｎと表記する。なお、評価値が付されていないユーザとアイテムの組み合わせも存在する。行列分解ベース協調フィルタリングは、ユーザの潜在的な特徴とアイテムの潜在的な特徴を考慮して、評価値が付されていないユーザとアイテムの組み合わせに対する評価値を予測する手法である。

（行列分解部１２）
ユーザｉ、アイテムｊに対応する評価値をｙ_ｉｊと表記すると、評価値データベース１１に格納された評価値の集合は、ｙ_ｉｊを要素とする評価値行列｛ｙ_ｉｊ｝（ｉ＝１，…，Ｍ、ｊ＝１，…，Ｎ）とみなすことができる。行列分解部１２は、ユーザｉの潜在的な特徴を表す潜在特徴ベクトルｕ_ｉ（図４を参照）、アイテムｊ（ｊ＝１，…，Ｎ）の潜在的な特徴を表す潜在特徴ベクトルｖ_ｊ（図３を参照）を導入し、既知の評価値ｙ_ｉｊ全体がうまく説明されるように、評価値行列｛ｙ_ｉｊ｝を分解して潜在特徴ベクトルｕ_ｉ，ｖ_ｊで表現する。なお、既知の評価値ｙ_ｉｊとは、評価値データベース１１に評価値が格納された評価値ｙ_ｉｊのことである。

なお、潜在特徴ベクトルｕ_ｉの各要素は、ユーザの潜在的な特徴を表すものである。同様に、潜在特徴ベクトルｖ_ｊの各要素は、アイテムの潜在的な特徴を表すものである。但し、ここで「潜在的な」という表現を用いていることからも理解されるように、潜在特徴ベクトルｕ_ｉ，ｖ_ｊの各要素は、ユーザやアイテムの具体的な特徴を表すものではなく、後述するモデル計算の中で得られる単なるパラメータである。但し、潜在特徴ベクトルｕ_ｉを構成するパラメータ群は、ユーザの好みを反映したものとなる。また、潜在特徴ベクトルｖ_ｊを構成するパラメータ群は、アイテムの特徴を反映したものとなる。

ここで、行列分解部１２による具体的な処理について説明する。まず、行列分解部１２は、下記の式（１）に示すように、評価値ｙ_ｉｊを潜在特徴ベクトルｕ_ｉ，ｖ_ｊの内積で表現する。但し、上付きのＴは転置を表す。また、潜在特徴ベクトルｕ_ｉ，ｖ_ｊの次元数はＨとする。既知の評価値ｙ_ｉｊ全体がうまく説明されるように潜在特徴ベクトルｕ_ｉ，ｖ_ｊを求めるには、例えば、下記の式（２）で定義される二乗誤差Ｊが最小となる潜在特徴ベクトルｕ_ｉ，ｖ_ｊを算出すればよいと考えられる。しかし、実際には、二乗誤差Ｊを最小とする潜在特徴ベクトルｕ_ｉ，ｖ_ｊを用いて未知の評価値ｙ_ｉｊを予測しても、十分な予測精度が得られないことが知られている。

そこで、行列分解部１２は、下記の式（３）で定義される正規化項Ｒを用いて潜在特徴ベクトルｕ_ｉ，ｖ_ｊを算出する。具体的には、行列分解部１２は、二乗誤差Ｊと正規化項Ｒの線形結合で表現される目的関数Ｑ（下記の式（４）を参照）が最小化されるような潜在特徴ベクトルｕ_ｉ，ｖ_ｊを算出する。なお、βは、正規化項Ｒの重みを表現するためのパラメータである。下記の式（３）から明らかなように、正規化項Ｒは、目的関数Ｑが最小となる潜在特徴ベクトルｕ_ｉ，ｖ_ｊを算出する際に、潜在特徴ベクトルｕ_ｉ，ｖ_ｊが０に近づくように作用する。

なお、目的関数Ｑが最小となる潜在特徴ベクトルｕ_ｉ，ｖ_ｊを算出する際に、潜在特徴ベクトルｕ_ｉ，ｖ_ｊがベクトルμ_ｕ，μ_ｖに近づくように作用させるには、正規化項Ｒを下記の式（５）のように変形すればよい。但し、上記のベクトルμ_ｕは潜在特徴ベクトルｕ_ｉの平均、上記のベクトルμ_ｖは潜在特徴ベクトルｖ_ｊの平均である。

行列分解部１２は、上記の式（４）に示した目的関数Ｑが最小となる潜在特徴ベクトルｕ_ｉ，ｖ_ｊを算出するものとする。このようにして行列分解部１２により算出された潜在特徴ベクトルｕ_ｉ，ｖ_ｊは、評価値予測部１３に入力される。

（評価値予測部１３）
行列分解部１２から潜在特徴ベクトルｕ_ｉ，ｖ_ｊ（ｉ＝１，…，Ｍ、ｊ＝１，…，Ｎ）が入力されると、評価値予測部１３は、上記の式（１）に基づき、入力された潜在特徴ベクトルｕ_ｉ，ｖ_ｊを用いて未知の評価値を算出する。例えば、評価値ｙ_ｍｎが未知の場合、評価値予測部１３は、潜在特徴ベクトルｕ_ｍ，ｖ_ｎを用いて評価値ｙ_ｍｎ＝ｕ_ｍ ^Ｔｖ_ｎを算出する。このようにして評価値予測部１３により算出された未知の評価値は、推薦部１４に入力される。

（推薦部１４）
評価値予測部１３から未知の評価値ｙ_ｍｎが入力されると、推薦部１４は、入力された未知の評価値ｙ_ｍｎに基づいて、ユーザｍにアイテムｎを推薦するか否かを判断する。例えば、未知の評価値ｙ_ｍｎが所定の閾値を上回る場合、推薦部１４は、ユーザｍにアイテムｎを推薦する。一方、未知の評価値ｙ_ｍｎが所定の閾値を下回る場合、推薦部１４は、ユーザｍにアイテムｎを推薦しない。なお、推薦部１４は、閾値を基準に推薦するアイテムを決定するのではなく、例えば、ランキング上位となる一定数のアイテムを推薦するように構成されていてもよい。

以上、行列分解ベース協調フィルタリングを実現可能な推薦システム１０の機能構成について説明した。上記の行列分解ベース協調フィルタリングでは既知の評価値しか利用されないため、ユーザ数やアイテム数が少なかったり、評価値のログが少なかったりする状況下では十分な予測精度が得られないという問題がある。

（１−１−２：推薦システム１０の動作）
次に、図５を参照しながら、推薦システム１０の動作について述べ、行列分解ベース協調フィルタリングに係る処理の流れについて説明する。図５は、行列分解ベース協調フィルタリングに係る処理の流れについて説明するための説明図である。

まず、推薦システム１０は、行列分解部１２の機能により、評価値データベース１１から評価値ｙ_ｉｊの集合｛ｙ_ｉｊ｝を取得する（Ｓｔｅｐ．１）。次いで、推薦システム１０は、行列分解部１２の機能により、Ｓｔｅｐ．１で取得した既知の評価値集合｛ｙ_ｉｊ｝を用いて、上記の式（３）で定義される目的関数Ｑを最小化する潜在特徴ベクトル｛ｕ_ｉ｝｛ｖ_ｊ｝を算出する（Ｓｔｅｐ．２）。行列分解部１２により算出された潜在特徴ベクトル｛ｕ_ｉ｝｛ｖ_ｊ｝は、評価値予測部１３に入力される。

次いで、推薦システム１０は、評価値予測部１３の機能により、Ｓｔｅｐ．２で算出された潜在特徴ベクトル｛ｕ_ｉ｝｛ｖ_ｊ｝を用いて、未知の評価値｛ｙ_ｍｎ｝を算出（予測）する（Ｓｔｅｐ．３）。評価値予測部１３により算出された未知の評価値｛ｙ_ｍｎ｝は、推薦部１４に入力される。次いで、推薦システム１０は、推薦部１４の機能により、Ｓｔｅｐ．３で算出された評価値｛ｙ_ｍｎ｝が所定の閾値を上回る場合に、ユーザｍにアイテムｎを推薦する（Ｓｔｅｐ．４）。もちろん、Ｓｔｅｐ．３で算出された評価値｛ｙ_ｍｎ｝が所定の閾値を下回る場合、ユーザｍに対するアイテムｎの推薦は行われない。

以上説明したように、行列分解ベース協調フィルタリングにおいては、既知の評価値｛ｙ_ｉｊ｝を利用して潜在特徴ベクトル｛ｕ_ｉ｝｛ｖ_ｊ｝が算出され、その算出結果に基づいて未知の評価値｛ｙ_ｍｎ｝が予測される。そして、その予測結果に基づいてユーザｍに対するアイテムｎの推薦が行われる。

行列分解ベース協調フィルタリングは、一般的なユーザベース協調フィルタリングやアイテムベース協調フィルタリングに比べて評価値の予測精度が高い。しかし、行列分解ベース協調フィルタリングでは既知の評価値しか利用されないため、ユーザ数やアイテム数が少なかったり、評価値のログが少なったりする状況下では予測精度が低くなるという問題がある。こうした問題を解決するために、本件発明者は、次のようなフィルタリング手法を考案した。

［１−２：確率的行列分解ベース協調フィルタリングについて］
ここで説明するフィルタリング手法は、先に説明した行列分解ベース協調フィルタリングとは異なり、既知の評価値のみならずユーザやアイテムが有する既知の特徴を考慮した新たなフィルタリング手法（以下、確率的行列分解ベース協調フィルタリング）に関するものである。この確率的行列分解ベース協調フィルタリングを適用すると、ユーザ数やアイテム数が少なかったり、評価値のログが少ない状況下においても、十分に高い精度で評価値を予測することが可能になる。また、協調フィルタリングがベースとなっているため、ユーザ数やアイテム数が増加するにつれ、評価値の予測精度が向上するという利点も有する。以下、詳細に説明する。

（１−２−１：着眼点について）
先に説明した行列分解ベース協調フィルタリングにおいては、既知の評価値しか考慮されていなかった。一方、確率的行列分解ベース協調フィルタリングでは、既知の評価値に加えてユーザやアイテムが持つ既知の特徴を考慮し、これら既知の特徴を潜在特徴ベクトル｛ｕ_ｉ｝｛ｖ_ｊ｝に反映させる。例えば、先の行列分解ベース協調フィルタリングにおいて上記の式（５）で表現されていた正規化項Ｒを下記の式（６）に示す正規化項Ｒに変更する。但し、下記の式（６）に含まれるＤ_ｕ，Ｄ_ｖは、特徴ベクトルｘ_ｕｉ，ｘ_ｖｊをそれぞれ潜在特徴ベクトルｕ_ｉ，ｖ_ｊの空間に射影するための回帰行列である。

上記の式（６）のように正規化項Ｒを変更した場合、上記の式（４）で表現される目的関数Ｑを最小化するように潜在特徴ベクトル｛ｕ_ｉ｝｛ｖ_ｊ｝を算出する際、潜在特徴ベクトルｕ_ｉはＤ_ｕｘ_ｕｉに近づくように、ｖ_ｊはＤ_ｖｘ_ｖｊに近づくように制限される。そのため、既知の特徴が似たユーザの潜在特徴ベクトルｕ_ｉ同士が近づくことになる。同様に、既知の特徴が似たアイテムの潜在特徴ベクトルｖ_ｊ同士も近づくことになる。従って、既知の評価値が少ないユーザやアイテムであっても、既知の特徴に基づいて他のユーザやアイテムと似た潜在特徴ベクトルが得られるようになる。その結果、既知の評価値が少ない状況下にあるユーザやアイテムに対しても、高い精度で評価値を予測することが可能になる。以下、具体的な計算手法及び当該計算手法を実現可能な評価予測装置１００の構成について説明する。

（１−２−２：評価予測装置１００の構成）
図６を参照しながら、確率的行列分解ベース協調フィルタリングを実現することが可能な評価予測装置１００の機能構成について説明する。図６は、評価予測装置１００の機能構成について説明するための説明図である。なお、図６に例示した評価予測装置１００の構成には、ユーザにアイテムを推薦する構成要素を含んでいるが、未知の評価値を予測する部分だけを切り出して評価予測装置１００としてもよい。

図６に示すように、評価予測装置１００は、評価値データベース１０１と、特徴量データベース１０２と、事後分布算出部１０３と、パラメータ保持部１０４とを有する。さらに、評価予測装置１００は、評価値予測部１０５と、予測評価値データベース１０６と、推薦部１０７と、通信部１０８とを有する。また、評価予測装置１００は、ネットワーク２００を介してユーザ端末３００に接続されている。

（評価値データベース１０１）
評価値データベース１０１は、ユーザｉとアイテムｊの組み合わせに対して付された評価値が格納されたデータベースである（図２を参照）。なお、先に説明した行列分解ベース協調フィルタリングの場合と同様、説明の都合上、各ユーザを識別するためのＩＤをｉ＝１，…，Ｍ、アイテムを識別するためのＩＤをｊ＝１，…，Ｎと表記する。また、各評価値をｙ_ｉｊと表記し、その評価値の集合を｛ｙ_ｉｊ｝と表記する。

（特徴量データベース１０２）
特徴量データベース１０２は、図７、図８に示すように、ユーザが持つ既知の特徴を表した特徴ベクトル｛ｘ_ｕｉ｝の各要素、及びアイテムが持つ既知の特徴を表した特徴ベクトル｛ｘ_ｖｊ｝の各要素が格納されたデータベースである。ユーザが持つ既知の特徴としては、例えば、年齢、性別、出身地、職業などがある。一方、アイテムが持つ既知の特徴としては、例えば、ジャンル、著者、出演者、監督、出版年、曲調などがある。

（事後分布算出部１０３、パラメータ保持部１０４）
確率的行列分解ベース協調フィルタリングにおいては、上記の式（６）に示すように、回帰行列Ｄ_ｕ，Ｄ_ｖがパラメータとして追加された。そこで、パラメータ数の増加が推定の精度に与える影響を最小限に抑えるため、ここではベイズ推定の利用を考える。ベイズ推定は、確率モデルを用い、学習データが与えられた状況下で未知のパラメータを推定する手法である。ここでは、学習データとして、既知の評価値集合｛ｙ_ｉｊ｝と特徴ベクトル｛ｘ_ｕｉ｝｛ｘ_ｖｊ｝が与えられる。また、未知のパラメータとしては、未知の評価値集合｛ｙ_ｍｎ｝、回帰行列Ｄ_ｕ，Ｄ_ｖ、その他確率モデルに含まれるパラメータがある。

確率的行列分解ベース協調フィルタリングで用いる確率モデルは、下記の式（７）〜式（９）で表現される。但し、Ｎ（μ，Σ）は、平均がμ、共分散行列がΣの正規分布を表す。また、ｄｉａｇ（…）は、…を対角成分に持つ対角行列を表す。なお、λ、β_ｕ、β_ｖは、確率モデルの中で導入されたパラメータである。λはスカラー量であり、β_ｕ＝（β_ｕ１，…，β_ｕＨ）、β_ｖ＝（β_ｖ１，…，β_ｖＨ）である。下記の式（７）〜式（９）で表現される確率モデルは、上記の式（６）で表現した正規化項Ｒを用いて目的関数Ｑを最小化するように潜在特徴ベクトル｛ｕ_ｉ｝｛ｖ_ｊ｝を算出する演算と等価である。但し、上記の式（４）に現れるスカラー量のパラメータβがベクトル量のβ_ｕ、β_ｖに変更されている点で、より柔軟なモデルへと変更されている。

事後分布算出部１０３は、上記の確率モデルに基づいてベイズ推定を行い、潜在特徴ベクトル｛ｕ_ｉ｝｛ｖ_ｊ｝、回帰行列Ｄ_ｕ，Ｄ_ｖ、確率モデルに含まれるパラメータλ，β_ｕ，β_ｖの事後分布を算出する手段である。なお、以下の説明において、潜在特徴ベクトル｛ｕ_ｉ｝｛ｖ_ｊ｝、回帰行列Ｄ_ｕ，Ｄ_ｖ、確率モデルに含まれるパラメータλ，β_ｕ，β_ｖをまとめてパラメータと呼ぶ場合がある。また、事後分布算出部１０３により設定又は算出されたパラメータは、パラメータ保持部１０４に格納される。

ベイズ推定は、確率モデルに基づき、学習データが与えられた状況下で各パラメータの事後分布を求める推定ステップと、求めた事後分布を周辺化してパラメータの分布やその期待値を求める予測ステップとで構成される。複雑な確率モデルを用いると、事後分布も非常に複雑になり、予測ステップで求めたいパラメータの分布や期待値を求めることが難しくなる。そこで、以下ではベイズ推定の近似解法である変分ベイズ推定を用いることにする。変分ベイズ推定の場合、事後分布が計算しやすい分布で近似されるため、事後分布の複雑化が回避され、パラメータの分布や期待値が求めやすくなる。

例えば、学習データをベクトル量Ｘ、パラメータの集合をΘ＝｛θ_１，…，θ_Ｋ｝と表現すると、変分ベイズ推定の場合、事後分布ｐ（Θ｜Ｘ）は、下記の式（１０）のように近似される。このように近似した場合、パラメータθ_ｋ（ｋ＝１，…，Ｋ）の変分事後分布ｑ（θ_ｋ）は、下記の式（１１）及び式（１２）となることが知られている。

但し、Ｅ_ｐ（ｘ）［ｆ（ｘ）］は、分布ｐ（ｘ）の下におけるｆ（ｘ）の期待値を表す。また、ｃｏｎｓｔ．は定数を表す。なお、各変分事後分布ｑ（θ_ｋ）（ｋ＝１，…，Ｋ）は、他の分布に依存している。そのため、最適な変分事後分布を算出するには、適当な初期化処理の下、各変分事後分布のパラメータを他の変分事後分布の下で更新する処理を繰り返し実行する必要がある。この処理に関する具体的なアルゴリズムについては後述する。

ここで、変分ベイズ推定に関するアルゴリズムを上記の式（７）〜式（９）で表現した確率モデルに当てはめる。まず、事後分布ｐ（Θ｜Ｘ）は、下記の式（１３）のように表現される。但し、回帰行列Ｄ_ｕ，Ｄ_ｖをＤ_ｕ＝（ｄ_ｕ１，…，ｄ_ｕＨ）^Ｔ、Ｄ_ｖ＝（ｄ_ｖ１，…，ｄ_ｖＨ）^Ｔと表現した。なお、ｄ_ｕｈ，ｄ_ｖｈ（ｈ＝１，…，Ｈ）はベクトル量である。

ところで、潜在特徴ベクトルｕ_ｉ、ｖ_ｊの間には対称性がある。そこで、以下ではｕ_ｉの分布だけについて考えることにする。また、表記を簡単にするため、β_ｕを単にβ＝（β_１，…，β_Ｈ）と表記し、Ｄ_ｕを単にＤと表記し、ｄ_ｕｈをｄ_ｈと表記し、ｘ_ｕｉをｘ_ｉと表記する。そして、特徴ベクトルｘ_ｉ及び回帰ベクトルｄ_ｈとその事前分布のパラメータγ_ｈはＫ次元であるものとする。ここで、パラメータｄ_ｈ、βの事前分布を下記の式（１４）、式（１５）のように定義する。また、下記の式（１４）に現れるパラメータγ＝（γ_１，…，γ_Ｋ）の分布を下記の式（１６）のように定義する。これらの分布は、事後分布も同じ分布となる共役事前分布である。なお、事前知識がない場合には、事前分布のパラメータを一様分布に設定しておけばよい。また、事前知識を反映させる場合には、事前分布のパラメータを調整すればよい。

上記の式（１５）及び式（１６）に現れるＧａｍ（…）はガンマ分布を表す。事後分布算出部１０３は、上記の式（１３）〜式（１６）に示した条件の下で、上記の式（１１）の変分事後分布を算出する。まず、潜在特徴ベクトルｕ_ｉの変分事後分布ｑ（ｕ_ｉ）は、下記の式（１７）となる。但し、下記の式（１７）に現れるパラメータμ’_ｕｉ，Σ’_ｕｉは、下記の式（１８）及び式（１９）で表現される。また、回帰行列Ｄの要素ｄ_ｈに関する変分事後分布ｑ（ｄ_ｈ）は、下記の式（２０）となる。但し、下記の式（２０）に現れるパラメータμ’_ｄｈ，Σ’_ｄｈは、下記の式（２１）及び式（２２）で表現される。

なお、上記の式（１８）及び式（１９）に現れるベクトルπ_ｉ＝（π_ｉ１，…，π_ｉＮ）^Ｔは、評価値ｙ_ｉｊが既知の場合にπ_ｉｊ＝１、未知の場合にπ_ｉｊ＝０となるベクトルである。また、上記の式（１８）に現れるベクトルｙ_ｉは、評価値ｙ_ｉｊを要素とするベクトルｙ_ｉ＝（ｙ_ｉ１，…，ｙ_ｉＮ）^Ｔである。そして、上記の式（１８）及び式（１９）に現れるＶは、潜在特徴ベクトルｖ_ｊを要素とする行列Ｖ＝（ｖ_１，…，ｖ_Ｎ）^Ｔである。さらに、上記の式（２１）及び式（２２）に現れるＸは、特徴ベクトルｘ_ｉを要素とする行列Ｘ＝（ｘ_１，…，ｘ_Ｎ）^Ｔである。

また、確率モデルのパラメータβ、γに関する変分事後分布ｑ（β）、ｑ（γ）は、それぞれ下記の式（２３）、式（２６）となる。但し、下記の式（２３）に現れるパラメータａ’_βｈ、ｂ’_βｈは、それぞれ下記の式（２４）、式（２５）で表現される。そして、下記の式（２６）に現れるパラメータａ’_γｋ、ｂ’_γｋは、それぞれ下記の式（２７）、式（２８）で表現される。

上記の式（１７）〜式（２８）を用いて各パラメータの変分事後分布が表現されることから、下記のアルゴリズムに基づいて各変分事後分布のパラメータを他の変分事後分布の下で更新することにより、各パラメータの最適な変分事後分布が得られる。以下、潜在特徴ベクトルｕ_ｉ（ｉ＝１，…，Ｍ）の更新アルゴリズムを示す。

潜在特徴ベクトルｖ_ｊ（ｊ＝１，…，Ｎ）の更新アルゴリズムも同様に、以下のようになる。但し、潜在特徴ベクトルｖ_ｊの更新アルゴリズムにおいて、β＝（β_１，…，β_Ｈ）はβ_ｖを表し、ＤはＤ_ｖを表し、ｄ_ｈはｄ_ｖｈを表し、ｘ_ｊはｘ_ｖｊを表す。また、特徴量ｘ_j及び回帰ベクトルｄ_ｈとその事前分布のパラメータγ_ｈはＫ次元とする。さらに、π_ｊ＝（π_１ｊ，…，π_Ｍｊ）^Ｔは、評価値ｙ_ｉｊが既知の場合にπ_ｉｊ＝１、未知の場合にπ_ｉｊ＝０をとるベクトルである。また、ｙ_ｊは、評価値ｙ_ｉｊを要素とするベクトルｙ_ｊ＝（ｙ_１ｊ，…，ｙ_Ｍｊ）^Ｔである。そして、Ｕは、潜在特徴ベクトルｕ_ｉを要素とする行列Ｕ＝（ｕ_１，…，ｕ_Ｍ）^Ｔである。さらに、Ｘは、特徴ベクトルｘ_ｊを要素とする行列Ｘ＝（ｘ_１，…，ｘ_Ｍ）^Ｔである。

事後分布算出部１０３は、パラメータが収束するまで、上記の更新アルゴリズムをＵ、Ｖについて交互に反復実行する。この処理により、各パラメータの変分事後分布が得られる。なお、パラメータλ、γを事前に与えられたハイパーパラメータとしてもよい。この場合、潜在特徴ベクトルｕ_ｉ（ｉ＝１，…，Ｍ）の更新アルゴリズムにおいて、パラメータβは、下記の式（２９）に基づいて更新される。潜在特徴ベクトルｖ_ｊ（ｊ＝１，…，Ｎ）の更新アルゴリズムにおいても同様にしてパラメータβが更新される。

ここで得られた変分事後分布は、事後分布算出部１０３から評価値予測部１０５に入力される。ここまでの処理が推定ステップである。この推定ステップを終えると、評価予測装置１００は、処理を予測ステップに進める。

（評価値予測部１０５）
評価値予測部１０５は、予測ステップの処理として、事後分布算出部１０３から入力された各パラメータの変分事後分布に基づいて評価値ｙ_ｉｊの期待値を算出する。上記の通り、事後分布算出部１０３によって潜在特徴ベクトルの変分事後分布ｑ（ｕ_ｉ），ｑ（ｖ_ｊ）が求められている。そこで、評価値予測部１０５は、下記の式（３０）に示すように、潜在特徴ベクトルｕ_ｉ，ｖ_ｊの内積（評価値ｙ_ｉｊ）に対する期待値を算出する。このようにして評価値予測部１０５により算出された評価値の期待値は、予測評価値データベース１０６に格納される。

（推薦部１０７、通信部１０８）
推薦部１０７は、予測評価値データベース１０６に格納された未知の評価値に対する期待値（以下、予測評価値）を参照し、予測評価値が高い場合にはユーザにアイテムを推薦する。例えば、推薦部１０７は、予測評価値ｙ_ｍｎが所定の閾値を上回る場合、ユーザｍに対してアイテムｎを推薦する。また、推薦部１０７は、予測評価値データベース１０６を参照して、あるユーザが評価を行っていないアイテムに対して予測評価値が高い順にアイテムをソートしてリストを生成し、そのリストを当該ユーザに提示してもよい。例えば、推薦部１０７は、通信部１０８を介して、生成したリストをユーザ端末３００に送信する。そして、送信されたリストは、ネットワーク２００を通じてユーザ端末３００に伝達され、ユーザ端末３００の表示手段（非図示）に表示される。

以上、評価予測装置１００の機能構成について説明した。

（メモリ容量及び計算量の節約について）
ところで、ある程度大きな次元の潜在特徴ベクトルｕ_ｉ，ｖ_ｊを用いて上記のフィルタリング手法を実現するには、十分なメモリ容量が必要になる。例えば、上記の更新アルゴリズムに現れるΣ’_ｕｉ（ｉ＝１，…，Ｍ）及びΣ’_ｖｊ（ｊ＝１，…，Ｎ）をメモリに保持するには、それぞれＯ（ＭＨ^２）［ｂｉｔ］及びＯ（ＮＨ^２）［ｂｉｔ］のメモリ領域が必要になる。そのため、ユーザ数Ｍ、アイテム数Ｎ、潜在特徴ベクトルの次元数Ｈが大きいと、これらを保持するだけで膨大なメモリ容量が必要になる。

同様に、Σ’_ｄｈ（ｈ＝１，…，Ｈ）を保持するためにもＯ（ＨＫ^２）［ｂｉｔ］のメモリ領域が必要になる。そのため、潜在ベクトルの次元数Ｈや特徴量の数Ｋが大きいと、これを保持するだけで膨大なメモリ容量が必要となる。また、潜在ベクトルの次元数Ｈや特徴量の数Ｋが大きいと、上記の更新アルゴリズムを実行する際に必要となるメモリ容量だけでなく、計算量も膨大になる。例えば、Σ’_ｄｈを求めるのにＯ（Ｋ^３）の計算量が必要になる。

上記の更新アルゴリズムを実行する際に要する計算量やメモリ容量を減らすには、例えば、平均ベクトルμ’_ｕｉ，μ’_ｖｊ，μ’_ｄｈを共役勾配法などによって更新するようにし、Σ’_ｕｉ，Σ’_ｖｊ，Σ’_ｄｈは対角成分のみを保持するようにすればよい。この方法を用いることにより、必要となるメモリ容量を大幅に削減することが可能になる。具体的には、下記の式（３１）を共役勾配法などにより解くことでμ’_ｄｈを更新する。また、Σ’_ｄｈは、下記の式（３２）として対角要素のみを持つようにする。なお、上記の式（２９）に代えて、下記の式（３３）を用いることによっても計算量及びメモリ容量を削減することが可能である。

（１−２−３：評価予測装置１００の動作）
次に、図９を参照しながら、評価予測装置１００の動作について述べ、確率的行列分解ベース協調フィルタリングに係る処理の流れについて説明する。図９は、確率的行列分解ベース協調フィルタリングに係る処理の流れについて説明するための説明図である。

まず、評価予測装置１００は、事後分布算出部１０３の機能により、評価値データベース１０１から既知の評価値｛ｙ_ｉｊ｝を取得し、特徴量データベース１０２から特徴ベクトル｛ｘ_ｕｉ｝｛ｘ_ｖｊ｝を取得する（Ｓｔｅｐ．１）。次いで、評価予測装置１００は、事後分布算出部１０３の機能により、確率モデルに含まれるパラメータを初期化する（Ｓｔｅｐ．２）。次いで、評価予測装置１００は、事後分布算出部１０３の機能により、Ｓｔｅｐ．１で取得した既知の評価値｛ｙ_ｉｊ｝、特徴ベクトル｛ｘ_ｕｉ｝｛ｘ_ｖｊ｝を変分ベイズ推定アルゴリズムに入力し、各パラメータの変分事後分布を算出する（Ｓｔｅｐ．３）。

Ｓｔｅｐ．３で算出された変分事後分布は、事後分布算出部１０３から評価値予測部１０５に入力される。次いで、評価予測装置１００は、評価値予測部１０５の機能により、Ｓｔｅｐ．３で算出された変分事後分布から、未知の評価値の期待値（予測評価値）を算出する（Ｓｔｅｐ．４）。ここで算出された予測評価値は、予測評価値データベース１０６に格納される。次いで、評価予測装置１００は、推薦部１０７の機能により、Ｓｔｅｐ．４で算出された予測評価値が高いアイテムをユーザに推薦する（Ｓｔｅｐ．５）。

以上説明したように、上記の確率的行列分解ベース協調フィルタリングは、行列分解ベース協調フィルタリングの要素を含みつつ、既知の特徴ベクトルを考慮した新たなフィルタリング手法である。そのため、ユーザ数やアイテム数が少なかったり、既知の評価値が少ない状況下においても、高い推定精度を実現することが可能になる。

（応用例）
これまで、ユーザとアイテムの組み合わせに対する評価値を対象に、未知の評価値を予測する方法について説明してきた。しかし、本手法は、あるアイテム群Ａのアイテムと、あるアイテム群Ｂのアイテムとの組み合わせに対して付される任意のラベルを対象に、未知のラベルを予測する任意の方法に応用することが可能である。

（例１）上記の確率的行列分解ベース協調フィルタリングは、ユーザとアイテムの組み合わせに対して、ユーザのアイテムに対する評価値や購入確率を予測して推薦するシステムに応用することができる。この場合、ユーザの特徴量としては、例えば、年齢、性別、職業、出身地などが利用される。一方、アイテムの特徴量としては、例えば、ジャンル、著者、出演者、年代などが利用される。

（例２）また、上記の確率的行列分解ベース協調フィルタリングは、ユーザと疾患の組み合わせに対して、ユーザが疾患にかかる確率を予測するシステムに応用することができる。この場合、ユーザの特徴量としては、例えば、年齢、性別、生活習慣、遺伝子に基づく特徴量などが利用される。なお、遺伝子に基づく特徴量のみを利用すれば、遺伝子と疾患の対応付けを行うシステムに応用することができる。

（例３）また、上記の確率的行列分解ベース協調フィルタリングは、銘柄と市場の組み合わせに対して、銘柄の価格を予測するシステムに応用することができる。この場合、銘柄の特徴量としては、例えば、企業の財務諸表に基づく特徴量や、市場平均や同業他社の価格などの時刻に依存した特徴量などが利用される。

（例４）また、上記の確率的行列分解ベース協調フィルタリングは、ユーザとコンテンツの組み合わせに対して、ユーザのコンテンツに対する評価語を予測して、単語に合ったコンテンツを提示するシステムに応用することができる。この場合、コンテンツの特徴量としては、例えば、画像特徴量や１２音解析により得られた特徴量などが利用される。

（例５）また、上記の確率的行列分解ベース協調フィルタリングは、ユーザとユーザの組み合わせに対して、ユーザ間のつながりやすさを予測するＳＮＳ支援システムに応用することができる。この場合、ユーザの特徴量としては、例えば、年齢、性別、日記、友人の特徴量などが利用される。

（例６）また、上記の確率的行列分解ベース協調フィルタリングは、画像と単語の組み合わせに対して、画像に単語が指す物体が存在するか否かを予測するシステムに応用することもできる。

このように、上記の確率的行列分解ベース協調フィルタリングは、多様なアイテム群Ａ、Ｂの組み合わせに対して付されるラベルを予測するシステムに応用することが可能である。

以上、本件発明者により考案された新たな確率的行列分解ベース協調フィルタリングについて説明した。なお、ここでは本件発明者が考案した予測精度の高い確率的行列分解ベース協調フィルタリングについて説明したが、その他にも確率的行列分解を利用したフィルタリング手法（例えば、（文献１）〜（文献３）を参照）が知られている。（文献１）に記載のフィルタリング手法は、変分ベイズ推定に基づく手法である。また、（文献２）に記載のフィルタリング手法は、ＭＡＰ推定（正則化最小二乗法）に基づく手法である。そして、（文献３）に記載のフィルタリング手法は、Ｇｉｂｂｓサンプリングによるベイズ推定に基づく手法である。

変分ベイズ推定やＧｉｂｂｓサンプリングによるベイズ推定に基づく手法は、ＭＡＰ推定に基づく手法よりも高精度であることが知られている。しかしながら、変分ベイズ推定やＧｉｂｂｓサンプリングによるベイズ推定に基づく手法は、ＭＡＰ推定に基づく手法に比べて計算量が多く、数百万人〜数億人規模のＷｅｂサービスなどへの適用を想定した場合には現実的ではない。そのため、高速に高精度な結果を得ることが可能な手法が求められている。

そこで、本件発明者は、変分ベイズ推定に基づく高速な解法を考案した。なお、この解法により得られた計算結果を上記の変分ベイズ推定に基づく各手法における初期値として利用してもよい。この解法により得られた計算結果を初期値として利用することにより、変分ベイズ推定の中で反復実行される処理の収束を早めたり、その処理の中で質の悪い局所解に収束してしまうのを防ぐことが可能になる。以下、この高速な解法について詳細に説明する。

＜２：実施形態＞
本発明の一実施形態について説明する。本実施形態は、変分ベイズ推定に基づく確率的行列分解に関する演算を高速化すると共に、その演算を実行する際に要するメモリ量を削減する方法に関する。

［２−１：評価予測装置１００の構成］
まず、図１０を参照しながら、本実施形態に係る評価予測装置１００の機能構成について説明する。但し、評価値を予測するための構成要素（主に、図６の事後分布算出部１０３、評価値予測部１０５）を除く評価予測装置１００の構成は、図６に示した評価予測装置１００と実質的に同じである。そのため、ここでは評価値を予測するための構成要素についてのみ詳細に説明する。図１０は、評価予測装置１００の構成要素のうち、評価値の予測に関する構成要素について説明するための説明図である。

図１０に示すように、本実施形態に係る評価予測装置１００は、評価値の予測に関する構成要素として、初期値算出部１３１と、事後分布算出部１３２と、評価値予測部１３３とを有する。初期値算出部１３１、事後分布算出部１３２は、図６の事後分布算出部１０３を置き換えるものであり、評価値予測部１３３は、図６の評価値予測部１０５を置き換えるものである。

（初期値算出部１３１）
まず、初期値算出部１３１の機能について説明する。初期値算出部１３１は、事後分布算出部１３２により実行される変分ベイズ推定の初期値を算出する手段である。

これまでと同様、アイテムｉ、ｊに対応する評価値をｙ_ｉｊと表記する。また、評価値ｙ_ｉｊが既知の場合にπ_ｉｊ＝１、評価値ｙ_ｉｊが未知の場合にπ_ｉｊ＝０をとるパラメータπ_ｉｊを定義する。さらに、評価値ｙ_ｉｊを要素に持つランク数Ｈの評価値行列をＹ＝｛ｙ_ｉｊ｝、評価値行列Ｙのランクｈの残差行列をＲ^（ｈ）＝｛ｒ_ｉｊ ^（ｈ）｝と定義する。また、残差行列Ｒ^（ｈ）に対応する潜在特徴ベクトルｕ_・ｈ∈Ｒ^Ｍ、ｖ_・ｈ∈Ｒ^Ｎを定義する。なお、残差行列Ｒ^（ｈ）の各要素は、下記の式（３４）のように定義される。

初期値算出部１３１は、この残差行列Ｒ^（ｈ）を潜在特徴ベクトルｕ_・ｈ∈Ｒ^Ｍ、ｖ_・ｈ∈Ｒ^Ｎにより確率的に行列分解する。まず、初期値算出部１３１は、残差行列Ｒ^（ｈ）の要素ｒ_ｉｊ ^（ｈ）及び潜在特徴ベクトルｕ_・ｈをそれぞれ下記の式（３５）及び式（３６）のように正規分布に従う確率変数とみなす。さらに、初期値算出部１３１は、潜在特徴ベクトルｕ_・ｈの期待値μ_ｈを下記の式（３７）のように正規分布に従う確率変数とみなす。なお、ここでは簡単のために、λ、ξは、事前に決められたハイパーパラメータであるとする。また、λ、ξは、全てのランクｈ＝１，…，Ｈで共通とする。

上記の式（３６）〜式（３８）のようにモデル化すると、初期値算出部１３１は、下記の式（３９）及び式（４２）に基づいて潜在特徴ベクトルｕ_・ｈの変分事後分布ｑ（ｕ_・ｈ）及び期待値μ_ｈの変分事後分布ｑ（μ_ｕｈ）を得ることができる。但し、下記の式（３９）に含まれるパラメータμ’_ｕｉｈ、σ’_ｕｉｈは、下記の式（４０）及び式（４１）で定義される。また、下記の式（４２）に含まれるパラメータμ’_μｕｈ、σ’_μｕｈは、下記の式（４３）及び式（４４）で定義される。

潜在特徴ベクトルｖ_・ｈの変分事後分布ｑ（ｖ_・ｈ）及び期待値μ_ｖｈの変分事後分布ｑ（μ_ｖｈ）もそれぞれ上記の式（３９）及び式（４２）と同様に表現されるため（ｕ→ｖ、ｉ→ｊとすればよい。）、初期値算出部１３１は、同様にして潜在特徴ベクトルｖ_・ｈの変分事後分布ｑ（ｖ_・ｈ）及び期待値μ_ｖｈの変分事後分布ｑ（μ_ｖｈ）を得ることができる。上記の変分事後分布を得ると、初期値算出部１３１は、この変分事後分布を用いてパラメータγ_ｈを下記の式（４５）に基づいて更新する。

また、初期値算出部１３１は、適当な初期化の後、潜在特徴ベクトルや期待値などのパラメータの変分事後分布を他のパラメータの変分事後分布の下で更新する。この更新処理は、各パラメータが収束するまで反復実行される。各パラメータが収束すると、初期値算出部１３１は、最終的に得られた変分事後分布を事後分布算出部１３２に入力する。なお、初期値算出部１３１による変分事後分布の具体的な更新アルゴリズム（以下、ランクワイズ変分ベイズ推定アルゴリズム）は、以下のようになる。

（初期値の設定方法について）
ランクワイズ変分ベイズ推定で得られた変分事後分布を後述する通常の変分ベイズ推定の初期値に用いる方法について述べる。以下で述べる通常の変分ベイズ推定のμ’_ｕｉｈの初期値としてランクワイズ変分ベイズ推定で得られたμ’_ｕｉｈを用い、μ’_ｖｊｈの初期値としてランクワイズ変分ベイズ推定で得られたμ’_ｖｊｈを用いる。Σ’_ｕｉの初期値としてｄｉａｇ（σ’^２ _ｕｉ１，…，σ’^２ _ｕｉＨ）を用い、Σ’_ｖｊの初期値としてｄｉａｇ（σ’^２ _ｖｊ１，…，σ’^２ _ｖｊＨ）を用いる。これらの初期値をセットした後、μ’_μｕ、Σ’_μｕ、μ’_μｖ、Σ’_μｖについては後述する通常の変分ベイズ推定の更新を一度行うことで、初期化が完了する。

（事後分布算出部１３２）
事後分布算出部１３２は、変分ベイズ推定によりパラメータの変分事後分布を算出する手段である。ここでは評価値ｙ_ｉｊを下記の式（４６）のようにモデル化する場合について考える。なお、潜在特徴ベクトルを行列Ｕ＝（ｕ_１，…，ｕ_Ｍ）^Ｔ、Ｖ＝（ｖ_１，…，ｖ_Ｎ）^Ｔと表現すると、評価値行列Ｙ＝｛ｙ_ｉｊ｝の期待値はＵＶ^Ｔにより与えられる。潜在特徴ベクトルｕ_ｉ、ｖ_ｊの事前分布をそれぞれ下記の式（４７）及び式（４８）とし、下記の式（４９）のようにして評価値ｙ_ｉｊの有無を考慮すると、学習データ（既知の評価値など）に対する対数尤度は、下記の式（５０）により表現される（正則化二乗誤差に対応）。但し、行列Π＝｛π_ｉｊ｝である。

なお、上記の式（４７）、式（４８）で表現される潜在特徴ベクトルｕ_ｉ、ｖ_ｊの事前分布に平均パラメータを導入したり、共分散行列としてγ^−１Ｉの代わりに対角行列や密対象行列を用いたりしてもよい。例えば、潜在特徴ベクトルｕ_ｉ、ｖ_ｊの事前分布をそれぞれ下記の式（５１）、式（５３）のように表現してもよい。但し、下記の式（５１）に含まれる期待値μ_ｕは、下記の式（５２）のように正規分布に従う確率変数で表現される。また、Ξはハイパーパラメータとする。

さて、行列Ｙ、Ｕ、Ｖ、μの同時分布は、下記の式（５５）のように表現することができる。さらに、事後分布を因子分解して変分近似すると、下記の式（５６）が得られる。

また、Γ＝ｄｉａｇ（γ）と表現すると、潜在特徴ベクトルｕ_ｉ及びその期待値μ_ｕの変分事後分布は、それぞれ下記の式（５７）、式（６０）のように表現される。但し、下記の式（５７）に含まれるパラメータμ’_ｕｉ、Σ’_ｕｉは、それぞれ下記の式（５８）、式（５９）で定義される。また、下記の式（６０）に含まれるパラメータμ’_μｕ、Σ’_μｕは、それぞれ下記の式（６１）、式（６２）で定義される。さらに、ｙ_ｉ＝（ｙ_ｉ１，…，ｙ_ｉＭ）^Ｔ、π_ｉ＝（π_ｉ１，…，π_ｉＭ）^Ｔである。

学習データが与えられると、事後分布算出部１３２は、上記の式（５７）及び式（６０）に基づいて潜在特徴ベクトルｕ_ｉ及び期待値μ_ｕの変分事後分布を得ることができる。また、潜在特徴ベクトルｖ_ｊ及び期待値μ_ｖの変分事後分布もそれぞれ上記の式（５７）及び式（６０）と同様に表現されることから（ｕ→ｖ、ｉ→ｊとすればよい。）、事後分布算出部１３２は、同様にして潜在特徴ベクトルｖ_ｊ及び期待値μ_ｖの変分事後分布を得ることができる。上記の変分事後分布を得ると、事後分布算出部１３２は、下記の式（６３）に基づいてパラメータγを更新する。

また、事後分布算出部１３２は、潜在特徴ベクトルや期待値などのパラメータの変分事後分布を他のパラメータの変分事後分布の下で更新する。このとき、事後分布算出部１３２は、初期値算出部１３１により入力された変分事後分布を初期値として利用する。この更新処理は、各パラメータが収束するまで反復実行される。各パラメータが収束すると、事後分布算出部１３２は、最終的に得られた変分事後分布を評価値予測部１３３に入力する。なお、事後分布算出部１３２による変分事後分布の具体的な更新アルゴリズム（以下、変分ベイズ推定アルゴリズム）は、以下のようになる。

（評価値予測部１３３）
評価値予測部１３３は、事後分布算出部１３２から入力された各パラメータの変分事後分布に基づいて評価値ｙ_ｉｊの期待値を算出する。上記の通り、事後分布算出部１３２によって潜在特徴ベクトルの変分事後分布ｑ（ｕ_ｉ），ｑ（ｖ_ｊ）が求められている。そこで、評価値予測部１３３は、上記の式（３０）に示すように、潜在特徴ベクトルｕ_ｉ，ｖ_ｊの内積（評価値ｙ_ｉｊ）に対する期待値を算出する。このようにして評価値予測部１３３により算出された評価値の期待値は、評価予測値として出力される。

（変形例：初期値算出部１３１の計算結果から評価値を予測する構成）
さて、ここまではランクワイズ変分ベイズ推定アルゴリズムにより得られた変分事後分布を上記の変分ベイズ推定アルゴリズムの初期値として利用する構成について説明してきた。しかし、評価値の予測精度を多少犠牲にしても高速に評価値を予測したい場合には、ランクワイズ変分ベイズ推定アルゴリズムにより得られた変分事後分布をそのまま評価値の予測に利用することもできる。この場合、初期値算出部１３１により得られた変分事後分布は、評価値予測部１３３に入力され、その変分事後分布から評価予測値が算出される。このような変形も当然に本実施形態の技術的範囲に属する。

（ランクワイズ変分ベイズ推定アルゴリズムの計算量とメモリ使用量について）
上記のランクワイズ変分ベイズ推定アルゴリズムは、上記の変分ベイズ推定アルゴリズムや上記の確率的行列分解ベース協調フィルタリングの中で用いた変分ベイズ推定のアルゴリズムに比べて高速である。例えば、上記の変分ベイズ推定アルゴリズムだけを利用して評価値を予測しようとする場合、一回の反復当たりの計算量はＯ（｜Ｙ｜Ｈ^２）になる。但し、｜Ｙ｜は学習データとして与えられる既知の評価値の数、Ｈは評価値行列Ｙのランク数である。また、この場合のメモリ使用量は、Ｏ（（Ｍ＋Ｎ）Ｈ^２）になる。従って、この場合には、大規模なデータを扱うと、計算量・メモリ使用量が現実的でなくなってしまう。

しかし、上記のランクワイズ変分ベイズ推定アルゴリズムだけを利用して評価値を予測しようとする場合、各ランクについて、一回の反復当たりの計算量はＯ（｜Ｙ｜）となり、メモリ使用量はＯ（（Ｍ＋Ｎ））となる。つまり、全てのランクｈ＝１，…，Ｈについてランクワイズ推定アルゴリズムを実行しても、計算量はＯ（｜Ｙ｜Ｈ）、メモリ使用量はＯ（（Ｍ＋Ｎ）Ｈ）で済むことになる。従って、現実的に大規模なデータを扱うことが可能になる。なお、ランクワイズ変分ベイズ推定アルゴリズムを利用して得られた変分事後分布を初期値として利用することにより、上記の変分ベイズ推定アルゴリズムにおける反復処理の収束を早める効果も期待できる。

以上、本実施形態に係る評価予測装置１００の機能構成について説明した。なお、上記の説明において示したランクワイズ変分ベイズ推定アルゴリズムは一例であり、例えば、上記１−２において説明した確率的行列分解ベース協調フィルタリングの手法に組み合わせることもできる。

［２−２：実験結果］
次に、図１１、図１２を参照しながら、ランクワイズ変分ベイズ推定アルゴリズムの性能について議論したい。図１１、図１２は、ランクワイズ変分ベイズ推定アルゴリズムの性能を評価するために行った実験結果を示した図表である。ここでは、性能評価のために、映画の評価値（レーティング）データセットであるＭｏｖｉｅＬｅｎｓデータ（ｈｔｔｐ：／／ｗｗｗ．ｇｒｏｕｐｌｅｎｓ．ｏｒｇ／を参照）を利用した。ＭｏｖｉｅＬｅｎｓデータは、ユーザが一部のアイテムに付した評価値、ユーザの特徴（性別、年齢、職業、ジップコード）、及びアイテムの特徴（ジャンル）を含んでいる。

比較した手法は、上記のランクワイズ変分ベイズ推定アルゴリズム（以下、Ｒａｎｋｗｉｓｅ ＰＭＦ）、当該ランクワイズ変分ベイズ推定アルゴリズムを上記１−２で説明した確率的行列分解ベース協調フィルタリングに応用した応用アルゴリズム（以下、Ｒａｎｋｗｉｓｅ ＰＭＦＲ）、一般的な確率的行列分解に基づく変分ベイズ推定アルゴリズム（以下、ＰＭＦ）、上記１−２で説明した確率的行列分解ベース協調フィルタリング（以下、ＰＭＦＲ）の４通りである。但し、上記の式（３２）のように対角要素のみを保持する近似手法（以下、ａｐｐ．１）、上記の式（３３）のようにｄ_ｈの分散も計算しない近似手法（以下、ａｐｐ．２）による結果も併せて示した。なお、ＰＭＦは、Ｒａｎｋｗｉｓｅ ＰＭＦにより得られた変分事後分布を初期化に利用している。

図１１、図１２に示されている数値は誤差を示すものである。図１１、図１２を参照すると、全体の傾向として、Ｒａｎｋｗｉｓｅ ＰＭＦ＞Ｒａｎｋｗｉｓｅ ＰＭＦＲ＞ＰＭＦ＞ＰＭＦＲの順で誤差が大きくなっていることが分かる。また、ｅｘａｃｔ（近似なし）、ａｐｐ．１、ａｐｐ．２を比較すると、誤差はｅｘａｃｔ≒ａｐｐ．１＞ａｐｐ．２という結果となった。しかしながら、ＰＭＦやＰＭＦＲに比べてＲａｎｋｗｉｓｅ ＰＭＦやＲａｎｋｗｉｓｅ ＰＭＦＲの誤差が著しく大きいということはない。つまり、図１１、図１２に示した実験結果から言えることは、計算量の少ないＲａｎｋｗｉｓｅ ＰＭＦやＲａｎｋｗｉｓｅ ＰＭＦＲを用いても、ＰＭＦやＰＭＦＲに比べてそれほど性能が劣化しないということである。

以上説明したように、本実施形態に係る手法を適用することで、さほど性能を犠牲にせずに、ＰＭＦやＰＭＦＲに比べて高速なフィルタリングを実現することが可能になる。また、本実施形態に係る手法は、大規模なデータを扱う場合にもメモリ使用量を低く抑えることができる。

＜３：ハードウェア構成例＞
上記の評価予測装置１００が有する各構成要素の機能は、例えば、図１３に示す情報処理装置のハードウェア構成を用いて実現することが可能である。つまり、当該各構成要素の機能は、コンピュータプログラムを用いて図１３に示すハードウェアを制御することにより実現される。なお、このハードウェアの形態は任意であり、例えば、パーソナルコンピュータ、携帯電話、ＰＨＳ、ＰＤＡ等の携帯情報端末、ゲーム機、又は種々の情報家電がこれに含まれる。但し、上記のＰＨＳは、Ｐｅｒｓｏｎａｌ Ｈａｎｄｙ−ｐｈｏｎｅ Ｓｙｓｔｅｍの略である。また、上記のＰＤＡは、Ｐｅｒｓｏｎａｌ Ｄｉｇｉｔａｌ Ａｓｓｉｓｔａｎｔの略である。

図１３に示すように、このハードウェアは、主に、ＣＰＵ９０２と、ＲＯＭ９０４と、ＲＡＭ９０６と、ホストバス９０８と、ブリッジ９１０と、を有する。さらに、このハードウェアは、外部バス９１２と、インターフェース９１４と、入力部９１６と、出力部９１８と、記憶部９２０と、ドライブ９２２と、接続ポート９２４と、通信部９２６と、を有する。但し、上記のＣＰＵは、Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔの略である。また、上記のＲＯＭは、Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙの略である。そして、上記のＲＡＭは、Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙの略である。

ＣＰＵ９０２は、例えば、演算処理装置又は制御装置として機能し、ＲＯＭ９０４、ＲＡＭ９０６、記憶部９２０、又はリムーバブル記録媒体９２８に記録された各種プログラムに基づいて各構成要素の動作全般又はその一部を制御する。ＲＯＭ９０４は、ＣＰＵ９０２に読み込まれるプログラムや演算に用いるデータ等を格納する手段である。ＲＡＭ９０６には、例えば、ＣＰＵ９０２に読み込まれるプログラムや、そのプログラムを実行する際に適宜変化する各種パラメータ等が一時的又は永続的に格納される。

これらの構成要素は、例えば、高速なデータ伝送が可能なホストバス９０８を介して相互に接続される。一方、ホストバス９０８は、例えば、ブリッジ９１０を介して比較的データ伝送速度が低速な外部バス９１２に接続される。また、入力部９１６としては、例えば、マウス、キーボード、タッチパネル、ボタン、スイッチ、及びレバー等が用いられる。さらに、入力部９１６としては、赤外線やその他の電波を利用して制御信号を送信することが可能なリモートコントローラ（以下、リモコン）が用いられることもある。

出力部９１８としては、例えば、ＣＲＴ、ＬＣＤ、ＰＤＰ、又はＥＬＤ等のディスプレイ装置、スピーカ、ヘッドホン等のオーディオ出力装置、プリンタ、携帯電話、又はファクシミリ等、取得した情報を利用者に対して視覚的又は聴覚的に通知することが可能な装置である。但し、上記のＣＲＴは、Ｃａｔｈｏｄｅ Ｒａｙ Ｔｕｂｅの略である。また、上記のＬＣＤは、Ｌｉｑｕｉｄ Ｃｒｙｓｔａｌ Ｄｉｓｐｌａｙの略である。そして、上記のＰＤＰは、Ｐｌａｓｍａ ＤｉｓｐｌａｙＰａｎｅｌの略である。さらに、上記のＥＬＤは、Ｅｌｅｃｔｒｏ−Ｌｕｍｉｎｅｓｃｅｎｃｅ Ｄｉｓｐｌａｙの略である。

記憶部９２０は、各種のデータを格納するための装置である。記憶部９２０としては、例えば、ハードディスクドライブ（ＨＤＤ）等の磁気記憶デバイス、半導体記憶デバイス、光記憶デバイス、又は光磁気記憶デバイス等が用いられる。但し、上記のＨＤＤは、Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅの略である。

ドライブ９２２は、例えば、磁気ディスク、光ディスク、光磁気ディスク、又は半導体メモリ等のリムーバブル記録媒体９２８に記録された情報を読み出し、又はリムーバブル記録媒体９２８に情報を書き込む装置である。リムーバブル記録媒体９２８は、例えば、ＤＶＤメディア、Ｂｌｕ−ｒａｙメディア、ＨＤ ＤＶＤメディア、各種の半導体記憶メディア等である。もちろん、リムーバブル記録媒体９２８は、例えば、非接触型ＩＣチップを搭載したＩＣカード、又は電子機器等であってもよい。但し、上記のＩＣは、Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔの略である。

接続ポート９２４は、例えば、ＵＳＢポート、ＩＥＥＥ１３９４ポート、ＳＣＳＩ、ＲＳ−２３２Ｃポート、又は光オーディオ端子等のような外部接続機器９３０を接続するためのポートである。外部接続機器９３０は、例えば、プリンタ、携帯音楽プレーヤ、デジタルカメラ、デジタルビデオカメラ、又はＩＣレコーダ等である。但し、上記のＵＳＢは、Ｕｎｉｖｅｒｓａｌ Ｓｅｒｉａｌ Ｂｕｓの略である。また、上記のＳＣＳＩは、Ｓｍａｌｌ Ｃｏｍｐｕｔｅｒ Ｓｙｓｔｅｍ Ｉｎｔｅｒｆａｃｅの略である。

通信部９２６は、ネットワーク９３２に接続するための通信デバイスであり、例えば、有線又は無線ＬＡＮ、Ｂｌｕｅｔｏｏｔｈ（登録商標）、又はＷＵＳＢ用の通信カード、光通信用のルータ、ＡＤＳＬ用のルータ、又は各種通信用のモデム等である。また、通信部９２６に接続されるネットワーク９３２は、有線又は無線により接続されたネットワークにより構成され、例えば、インターネット、家庭内ＬＡＮ、赤外線通信、可視光通信、放送、又は衛星通信等である。但し、上記のＬＡＮは、Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋの略である。また、上記のＷＵＳＢは、Ｗｉｒｅｌｅｓｓ ＵＳＢの略である。そして、上記のＡＤＳＬは、Ａｓｙｍｍｅｔｒｉｃ Ｄｉｇｉｔａｌ Ｓｕｂｓｃｒｉｂｅｒ Ｌｉｎｅの略である。

以上、添付図面を参照しながら本発明の好適な実施形態について説明したが、本発明は係る例に限定されないことは言うまでもない。当業者であれば、特許請求の範囲に記載された範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、それらについても当然に本発明の技術的範囲に属するものと了解される。

（備考）
上記のユーザは、第１アイテムの一例である。上記のアイテムは、第２アイテムの一例である。上記の潜在特徴ベクトルｕ_ｉは、第１潜在ベクトルの一例である。上記の潜在特徴ベクトルｖ_ｊは、第２潜在ベクトルの一例である。上記の特徴ベクトルｘ_ｕｉは、第１特徴ベクトルの一例である。上記の特徴ベクトルｘ_ｖｊは、第２特徴ベクトルの一例である。上記の回帰行列Ｄ_ｕは、第１射影行列の一例である。上記の回帰行列Ｄ_ｖは、第２射影行列の一例である。上記の評価値予測部１０５、１３３は、推薦先決定部の一例である。

１０ 推薦システム
１１ 評価値データベース
１２ 行列分解部
１３ 評価値予測部
１４ 推薦部
１００ 評価予測装置
１０１ 評価値データベース
１０２ 特徴量データベース
１０３ 事後分布算出部
１０４ パラメータ保持部
１０５ 評価値予測部
１０６ 予測評価値データベース
１０７ 推薦部
１０８ 通信部
１３１ 初期値算出部
１３２ 事後分布算出部
１３３ 評価値予測部
２００ ネットワーク
３００ ユーザ端末

Claims (8)

1. 第１アイテムが持つ潜在的な特徴を表す第１潜在ベクトル、第２アイテムが持つ潜在的な特徴を表す第２潜在ベクトル、及び、前記第１潜在ベクトルと前記第２潜在ベクトルとの内積で表現される評価値を要素に持つランク数Ｈの評価値行列のランクｈ（ｈ＝０〜Ｈ）の残差行列Ｒｈをそれぞれ正規分布に従う確率変数とみなし、学習データとして与えられた既知の評価値を用いた変分ベイズ推定を実行することにより、前記第１潜在ベクトル及び前記第２潜在ベクトルの変分事後分布を算出する事後分布算出部と、
   前記事後分布算出部により算出された前記第１潜在ベクトル及び第２潜在ベクトルの変分事後分布を用いて未知の前記評価値を予測する評価値予測部と、
   を備える、
   評価予測装置。
2. 前記事後分布算出部は、
   前記残差行列Ｒｈを確率変数とみなして変分ベイズ推定を実行することにより得られた前記第１潜在ベクトル及び前記第２潜在ベクトルの変分事後分布を初期値とし、
   前記評価値行列を正規分布に従う確率変数とみなして変分ベイズ推定を実行することにより、前記第１潜在ベクトル及び前記第２潜在ベクトルの変分事後分布を算出する、
   請求項１に記載の評価予測装置。
3. 前記事後分布算出部は、
   前記第１アイテムが持つ特徴を表す第１特徴ベクトルと、前記第２アイテムが持つ特徴を表す第２特徴ベクトルと、前記第１特徴ベクトルを前記第１潜在ベクトルの空間に射影する第１射影行列と、前記第２特徴ベクトルを前記第２潜在ベクトルの空間に射影する第２射影行列と、を定義し、
   前記第１射影行列による前記第１特徴ベクトルの射影値を期待値とする正規分布により前記第１潜在ベクトルの分布を表現し、前記第２射影行列による前記第２特徴ベクトルの射影値を期待値とする正規分布により前記第２潜在ベクトルの分布を表現し、
   前記第１潜在ベクトル及び前記第２潜在ベクトルの変分事後分布と共に、前記第１射影行列及び前記第２射影行列の変分事後分布を算出する、
   請求項２に記載の評価予測装置。
4. 前記評価値予測部は、前記第１潜在ベクトル及び第２潜在ベクトルの変分事後分布を用いて算出される前記第１潜在ベクトルの期待値及び前記第２潜在ベクトルの期待値の内積を前記未知の評価値の予測値とする、
   請求項３に記載の評価予測装置。
5. 前記評価値予測部により予測された未知の評価値が所定の閾値を上回る場合、当該未知の評価値に対応する第２アイテムを当該未知の評価値に対応する第１アイテムの推薦先に決定する推薦先決定部をさらに備える、
   請求項４に記載の評価予測装置。
6. 前記第２アイテムはユーザを表し、
   前記推薦先決定部により第１アイテムの推薦先が決定された場合、当該第１アイテムの推薦先に対応するユーザに対して当該第１アイテムを推薦する推薦部をさらに備える、
   請求項５に記載の評価予測装置。
7. 第１アイテムが持つ潜在的な特徴を表す第１潜在ベクトル、第２アイテムが持つ潜在的な特徴を表す第２潜在ベクトル、及び、前記第１潜在ベクトルと前記第２潜在ベクトルとの内積で表現される評価値を要素に持つランク数Ｈの評価値行列のランクｈ（ｈ＝０〜Ｈ）の残差行列Ｒｈをそれぞれ正規分布に従う確率変数とみなし、学習データとして与えられた既知の評価値を用いた変分ベイズ推定を実行することにより、前記第１潜在ベクトル及び前記第２潜在ベクトルの変分事後分布を算出する事後分布算出ステップと、
   前記事後分布算出ステップで算出された前記第１潜在ベクトル及び第２潜在ベクトルの変分事後分布を用いて未知の前記評価値を予測する評価値予測ステップと、
   を含む、
   評価予測方法。
8. 第１アイテムが持つ潜在的な特徴を表す第１潜在ベクトル、第２アイテムが持つ潜在的な特徴を表す第２潜在ベクトル、及び、前記第１潜在ベクトルと前記第２潜在ベクトルとの内積で表現される評価値を要素に持つランク数Ｈの評価値行列のランクｈ（ｈ＝０〜Ｈ）の残差行列Ｒｈをそれぞれ正規分布に従う確率変数とみなし、学習データとして与えられた既知の評価値を用いた変分ベイズ推定を実行することにより、前記第１潜在ベクトル及び前記第２潜在ベクトルの変分事後分布を算出する事後分布算出機能と、
   前記事後分布算出機能により算出された前記第１潜在ベクトル及び第２潜在ベクトルの変分事後分布を用いて未知の前記評価値を予測する評価値予測機能と、
   をコンピュータに実現させるためのプログラム。