JP2009009184A - 情報処理装置および方法、並びにプログラム - Google Patents

Abstract

【課題】適切な嗜好学習を実現できるようにする。
【解決手段】ユーザ表出検出部１１乃至操作入力取得部１４によって、所定コンテンツに対するユーザの操作または表出がフィードバック情報(IFBやEFB)として取得される。関心推測部１５乃至履歴管理部１７によって、取得されたフィードバック情報から、所定コンテンツを教師として嗜好学習を行うときに用いる教師データが生成される。嗜好モデル学習部１８によって、複数の教師データを用いて、ユーザのコンテンツについての嗜好学習と、教師データに対応するフィードバック情報の意味づけの学習とが行われる。嗜好判別／推薦選択部１９は、その学習結果に基づいて、推薦コンテンツを選択する。推薦コンテンツは、コンテンツ提示再生部２０によってユーザに提示されたり、再生される。本発明は、楽曲推薦システムに適用可能である。
【選択図】図１

Description

本発明は、情報処理装置および方法並びにプログラムに関し、特に、ユーザのコンテンツに対するフィードバック情報（特にIFB）を用いた手法の適用に際し、ユーザの嗜好の把握が判断不能状態となることを避け、適切な処理を実行できるようになった情報処理装置および方法並びにプログラムに関する。

従来、楽曲や動画像などのコンテンツをユーザに推薦するシステム（以下、推薦システムと称する）が存在する。推薦システムでは、対象コンテンツについてのユーザの嗜好の把握手法として、Explicit Feedback（明示的なフィードバック情報、以下、EFBと称する）を用いる手法と、Implicit Feedback（暗黙的フィードバック情報、以下、IFBと称する）を用いる手法とが存在する。EFBを用いる手法とは、対象コンテンツへの興味や関心の有無をユーザに直接問い合わせる手法をいう。IFBを用いる手法とは、ユーザによってなされる機器操作から類推する手法をいう（特許文献１乃至３参照）。

一般的に言って、前者のEFBを用いる手法によれば、ユーザに負担をかけるため、ユーザインターフェース設計上問題がある。また自然なインタフェース設計ができたとしてもなお、頻度多くインプットされることは期待できず、従って嗜好学習に充分なデータを集められない。そこで、後者のIFBを用いる手法が注目されている。

例えば、楽曲のコンテンツについて、IFBとしては、ユーザの楽曲に関する各種機器操作が採用されている。所定の機器操作を行った場合、その操作に予め対応付けられていた嗜好度（スコア）を取得し、その嗜好度を学習（累積等）することで、ユーザの嗜好を把握する、といったIFBを用いる手法が従来採用されていた。かかる手法に拠れば、例えば、再生操作がなされた場合には嗜好度+1点が取得される。また、早送り、途中停止、スキップ操作がなされた場合には嗜好度-1点が取得される。また、消去操作がなされた場合には嗜好度-5点が取得される。さらに、各種操作が詳細化される場合もある。例えば、全楽曲再生操作がなされた場合には、通常再生操作がなされたときには嗜好度+2点が取得され、スキップ後に再生操作がなされたときには嗜好度+3点が取得され、また、関連情報閲覧操作がなされたときには+1点が取得されたりする。
特表２００４−５１９９０２号公報 特開２００５−３２１６７号公報 特開２００１−１００８８８号公報

しかしながら、IFBを用いた従来の手法では、ユーザの嗜好の把握は、上述の通り固定的な操作との対応付けによってなされるため、次のような多くの判断不能状態に陥る、といった問題があった。

例えば、コンテンツの再生中に途中停止操作がなされた場合、かかる操作は、そのコンテンツは好みであったにもかかわらず電話がなった等ユーザにとって途中停止しなければならない不可避な事由が発生したためなされたものであるのか、それとも、そのコンテンツが嫌いであったためになされたものであるのか判断できない、といった判断不能状態に陥る。

また例えば、コンテンツの再生中に何の操作もなされない場合、その理由は、コンテンツを真剣に視聴しているためなのか、それとも、そもそもそこにユーザが存在しないためなのか判断できない、といった判断不能状態に陥る。

また例えば、配信されてきたコンテンツの消去操作がなされた場合、その操作は、同一コンテンツを既に所持しているためになされたのか、そのコンテンツが嫌いで所持したくないためになされたのか判断できない、といった判断不能状態に陥る。

また例えば、コンテンツのスキップ操作がなされた場合、そのコンテンツは好きであるがユーザの都合上（例えば時間がない等）なされたのか、それとも、そのコンテンツが嫌いで聴きたくないためなされたのか判断できない、といった判断不能状態に陥る。また、ユーザの性格に基づくスキップ操作の傾向が存在すると考えられる。例えば、せっかちな人とのんびりした人のスキップ操作の傾向の違いが存在すると考えられる。これらの傾向をどのように把握してよいのか判断できない、といった判断不能状態に陥る。

そして、このような判断不能状態に陥った場合の措置は、IFBを用いた従来の手法では不十分であり、その結果、ユーザの嗜好学習が上手くできないという問題も生ずる。

例えば、コンテンツの再生中に何の操作もなされずに上述した判断不能状態に陥ったとする。この場合に、何の操作もなされずに全コンテンツが通常再生すると、例えばコンテンツが楽曲である場合の上述した例に従えば、ユーザの嗜好度として+2点が加算されることになる。しかしながら、後者の理由であった場合、ユーザが存在せず全く楽曲を聞いていないことになるので、前者の理由であるのか後者の理由であるのかを判断できなければ、ユーザの嗜好を学習していく上で、ユーザの嗜好度として+2点を加算することは必ずしも好結果を生まない。だからといって、このような判断不能状態に陥った場合には、嗜好に反映されないようにしたとしても、学習のための訓練データが少なくなり、やはり、ユーザの嗜好を学習していく上で必ずしも好結果を生まない。

本発明は、ユーザのコンテンツに対するフィードバック情報（特にIFB）を用いた手法の適用に際し、ユーザの嗜好の把握が判断不能状態となることを避け、適切な処理を実行できるようにするものである。ここで、適切な処理としては、例えば、嗜好学習を利用した、コンテンツの推薦、自動再生、対話の継続等を想定する。

本発明の一側面の情報処理装置は、ユーザのコンテンツに対する嗜好学習を行なう情報処理装置であって、所定コンテンツに対する前記ユーザの操作または表出をフィードバック情報として取得する取得手段と、前記取得手段により取得された複数のコンテンツの前記フィードバック情報から、前記嗜好学習用の教師データを生成する教師データ生成手段と、前記教師データ生成手段により生成された複数の前記教師データを用いて、前記嗜好学習と、前記教師データに対応する前記フィードバック情報の意味づけの学習とを行う学習手段とを備える。

前記教師データ生成手段は、前記フィードバック情報を、前記ユーザの前記所定コンテンツに対する嗜好が第１の度合以上表れていると判断できる第１のフィードバック情報、前記ユーザの前記所定コンテンツに対する嗜好の表れ方が、前記第１の度合よりも低いと判断できる第２のフィードバック情報を少なくとも含む種類のうちの何れかに分類し、前記第１のフィードバック情報については、対応する操作または表出に対して意味づけを与えた上で、それを用いて強教師データを作成し、前記第２のフィードバック情報については、対応する操作または表出に対して意味づけを与えずに、弱教師データを作成し、前記学習手段は、前記強教師データのみを用いて所定の嗜好モデルを作成することで、前記嗜好学習の初期学習を行い、前記弱教師データを統計情報として利用して、前記弱教師データに対応する操作または意味づけの学習を行い、前記嗜好モデルを修正することで前記嗜好学習を行う。

前記学習手段は、前記教師データ生成手段により新たに生成された前記強教師データのうち、修正された前記嗜好モデルに対して矛盾する意味づけが与えられたものの個数が一定数以上になった場合、前記強教師データのみを用いて前記嗜好モデルを再作成する。

前記教師データ生成手段は、さらに、前記ユーザの前記所定コンテンツに対する嗜好の表れ方が、前記第１の度合よりも低く、第２の度合以上であると判断できるフィードバック情報を、前記第２のフィードバック情報に分類し、前記第２の度合よりも低いと判断できるフィードバック情報を、前記教師データの作成対象から除外する第３のフィードバック情報に分類する。

本発明の一側面の情報処理方法およびプログラムは、上述した本発明の一側面の情報処理装置に対応する情報処理およびプログラムである。

本発明の一側面の情報処理装置および方法並びにプログラムにおいては、ユーザのコンテンツに対する嗜好学習が次のようにして行われる。即ち、所定コンテンツに対する前記ユーザの操作または表出がフィードバック情報として取得され、取得された前記フィードバック情報から、嗜好学習用の教師データが生成される。かかる教師データが複数生成されると、複数の前記教師データを用いて、前記嗜好学習と、前記教師データに対応する前記フィードバック情報の意味づけの学習とが行われる。

以上のごとく、本発明の一側面によれば、ユーザのコンテンツに対するフィードバック情報（特にIFB）を用いた手法を適用して、その嗜好学習を行うことができる。特に、その際、ユーザの嗜好の把握が判断不能状態となることを避けた嗜好学習を行うことができる。その結果、その嗜好学習を利用した処理、例えば、コンテンツの推薦、自動再生、対話の継続等を適切に実行できるようになる。

以下に本発明の実施の形態を説明するが、本発明の構成要件と、発明の詳細な説明に記載の実施の形態との対応関係を例示すると、次のようになる。この記載は、本発明をサポートする実施の形態が、発明の詳細な説明に記載されていることを確認するためのものである。従って、発明の詳細な説明中には記載されているが、本発明の構成要件に対応する実施の形態として、ここには記載されていない実施の形態があったとしても、そのことは、その実施の形態が、その構成要件に対応するものではないことを意味するものではない。逆に、実施の形態が構成要件に対応するものとしてここに記載されていたとしても、そのことは、その実施の形態が、その構成要件以外の構成要件には対応しないものであることを意味するものでもない。

さらに、この記載は、発明の実施の形態に記載されている具体例に対応する発明が、請求項に全て記載されていることを意味するものではない。換言すれば、この記載は、発明の実施の形態に記載されている具体例に対応する発明であって、この出願の請求項には記載されていない発明の存在、すなわち、将来、分割出願されたり、補正により追加される発明の存在を否定するものではない。

本発明の一側面の情報処理装置は、
ユーザのコンテンツに対する嗜好学習を行なう情報処理装置（例えば図１の楽曲推薦システム。なお、システムの定義は後述する）において、
所定コンテンツに対する前記ユーザの操作または表出をフィードバック情報として取得する取得手段（例えば図１のユーザ表出検出部１１乃至操作入力取得部１４）と、
前記取得手段により取得された前記フィードバック情報から、前記嗜好学習用の教師データを生成する教師データ生成手段（例えば図１の関心推測部１５乃至履歴管理部１７）と、
前記教師データ生成手段により生成された複数の前記教師データを用いて、前記嗜好学習と、前記教師データに対応する前記フィードバック情報の意味づけの学習とを行う学習手段（例えば図１の嗜好モデル学習部１８）と
を備える。

前記教師データ生成手段は、前記フィードバック情報を、
前記ユーザの前記所定コンテンツに対する嗜好が第１の度合以上表れていると判断できる第１のフィードバック情報、
前記ユーザの前記所定コンテンツに対する嗜好の表れ方が、前記第１の度合よりも低いと判断できる第２のフィードバック情報
を少なくとも含む種類のうちの何れかに分類し（例えば、図４のステップＳ２とＳ４の処理）、
前記第１のフィードバック情報については、対応する操作または表出に対して意味づけを与えた上で、それを用いて強教師データを作成し（例えば、図４のステップＳ３の処理）、
前記第２のフィードバック情報については、対応する操作または表出に対して意味づけを与えずに、弱教師データを作成し（例えば図４のステップＳ５の処理）、
前記学習手段は、
前記強教師データのみを用いて所定の嗜好モデルを作成することで、前記嗜好学習の初期学習を行い（例えば図５のステップＳ２１乃至Ｓ２４の処理）、
前記弱教師データを統計情報として利用して、前記弱教師データに対応する操作または意味づけの学習を行い、前記嗜好モデルを修正することで前記嗜好学習を行う（例えば図５のステップＳ２５乃至Ｓ２８の処理）。

前記学習手段は、
前記教師データ生成手段により新たに生成された前記強教師データのうち、修正された前記嗜好モデルに対して矛盾する意味づけが与えられたものの個数が一定数以上になった場合、前記強教師データのみを用いて前記嗜好モデルを再作成する（例えば、図５のステップＳ２９乃至Ｓ３３の処理）。

前記教師データ生成手段は、さらに、
前記ユーザの前記所定コンテンツに対する嗜好の表れ方が、
前記第１の度合よりも低く、第２の度合以上であると判断できるフィードバック情報を、前記第２のフィードバック情報に分類し、
前記第２の度合よりも低いと判断できるフィードバック情報を、前記教師データの作成対象から除外する種類としての第３のフィードバック情報に分類する（例えば、図４のステップＳ４の処理でＮＯであると判定する処理）。

本発明の一側面の情報処理方法は、
ユーザのコンテンツに対する嗜好学習を行なう情報処理装置の情報処理方法であって、
所定コンテンツに対する前記ユーザの操作または表出をフィードバック情報として取得し、
取得された前記フィードバック情報から、前記嗜好学習用の教師データを生成し（例えば、図４のフィードバック登録処理のステップＳ１乃至Ｓ５）、
生成された複数の前記教師データを用いて、前記嗜好学習と、前記教師データに対応する前記フィードバック情報の意味づけの学習とを行う（例えば図５の嗜好モデル学習処理）。

本発明の一側面のプログラムは、上述した本発明の一側面の情報処理方法に対応するプログラムであって、例えば図７のコンピュータにより実行される。

このように、様々な側面を持つ本発明では、コンテンツが対象とされている。ここに、コンテンツとは、広く、人間の創造的活動により生み出されるものをいう。例えば、映画、音楽、演劇、文芸、写真、漫画、アニメーション、コンピュータゲームその他の文字、図形、色彩、音声、動作若しくは映像若しくはこれらを組み合わせたものまたはこれらに係る情報を電子計算機を介して提供するためのプログラムが、コンテンツの一例である。これらのうちの主に音楽を含むコンテンツを、ここでは楽曲と称している。

ただし、本明細書では、いわゆるコンテンツデータ、即ち、人間の創造的活動により生み出されたものが装置によって処理可能な形態とされたもの、例えば電気信号とされたものや、メモリに固定されたもの等も、特に区別せずにまとめて、コンテンツと称する。即ち、ここでは、楽曲等を構成する音声データもまた、単にコンテンツと称する。

本発明は、例えば、コンテンツとして楽曲が採用された場合において、ユーザに対して楽曲を推薦する推薦システムに適用することができる。以下、かかるシステムを、楽曲推薦システムと称し、本発明が適用される情報処理装置の一実施の形態であるとして説明していく。

また、コンテンツを、以下、アイテムと適宜称する。即ち、以下において、アイテムとは、楽曲を意味する。

また、以下、アイテムのメタデータを用いるとする。ここでメタデータとしては例えば、アーティスト名、曲名、ジャンル、レビュー文、などのテキストデータに加え、音楽特徴解析（12音解析など）により得た、スピード、リズム、テンポ、などの数値データを採用することができる。これらのメタデータは曲IDによって管理されているとする。

図１は、楽曲推薦システムの機能的構成例を示す機能ブロック図である。

図１における各機能ブロックは、ハードウエア単体で構成してもよいし、ソフトウエア単体で構成してもよいし、或いはそれらの組合せで構成してもよい。また、複数の機能ブロックを１つの機能ブロックにまとめても構わないし、或いは、１つの機能ブロックをさらに小単位の機能ブロックに分割してもよい。換言すると、図１の楽曲推薦システムは、各機能ブロックが有する各機能を有していれば、その実施の形態は特に限定されず、様々な形態を取ることが可能である。

さらに、本明細書において、システムとは、複数の装置または回路等の複数の部分により構成される装置または回路等全体を表すものである。即ち、図１の楽曲推薦システムは、１台の装置で構成してもよいし、複数台の装置で構成してもよい。また、複数台の装置で構成されている場合、各装置間の情報の授受は、直接的に行われてもよいし、ネットワーク等を介在して行われてもよい。

図１の例では、楽曲推薦システムは、ユーザ表出検出部１１乃至コンテンツ蓄積部２２を含むように構成されている。

ユーザ表出検出部１１は、ユーザの表出を検出する。ここでいう「表出」とは、例えば、ユーザの顔、体の動き、発話等によってなされる感情や状態の表出をいう。検出入力取得部１２は、ユーザ表出検出部１１の検出結果を処理し、所定の表出情報として関心推測部１５に提供する。かかる表出情報はIFBのひとつとして取り扱われる。表出情報の具体例については、図２の表を参照するとよい。

即ち、図２の例が採用された場合には、例えばユーザの表出情報の上下２つの項目のうちの上の項目（点線で区切られている項目）において、点線の下側の「上のそれぞれに対してセンスすべき具体的表出の例」の後に記述されている各種具体例のうちの１以上が、ユーザ表出検出部１１によって検出されることになる。この場合、点線の上側の「顔／体の動き／発話による感情／状態の表出」の後に記述されている各種具体例のうちの、検出された表出に対応する表出情報が、検出入力取得部１２によって特定されて、関心推測部１５に入力されることになる。

具体的には例えば、ユーザの顔が笑顔になった場合、その「笑顔」がユーザ表出検出部１１によって検出され、その結果、「笑い」が表出情報として検出入力取得部１２によって特定されて、関心推測部１５に提供される。

また例えば、ユーザ表出検出部１１が何等かの測定値を出力する場合、検出入力取得部１２は、ユーザ表出検出部１１の測定値の変化から表出情報を直接特定し、関心推測部１５に提供することもできる。

例えば、検出入力取得部１２は、ユーザ表出検出部１１の測定値の変化量についての閾値を予め保持しておくとする。この場合、検出入力取得部１２は、ユーザ表出検出部１１の測定値の変化量が閾値を超えた場合、所定の表出があったと特定し、所定の表出情報を関心推測部１５に提供することができる。

具体的には例えば、ユーザ表出検出部１１が心拍センサを含むとする。この場合、所定の周期毎に心拍センサから出力される心拍数が、ユーザ表出検出部１１の測定値のひとつになる。そこで、検出入力取得部１２は、例えば10秒あたり1回心拍数が増えることを閾値として保持しておき、心拍数の変化を観測して、10秒あたり1回以上心拍数が増加したときには、その「心拍数」を表出情報として特定して、関心推測部１５に提供することができる。その他、閾値としては、移動平均に基づく閾値を採用してもよい。

なお、表出情報として特定される「心拍数」とは、一以上のタイミングの各心拍数に基づく情報であれば足りる。例えば、初回に増加したタイミング等、所定の一タイミングの心拍数を、表出情報としての「心拍数」として採用してもよい。また例えば、複数のタイミングの各心拍数に基づいて演算された値、具体的には例えば各タイミングの心拍数の平均値等を、表出情報としての「心拍数」として採用してもよい。

なお、このようなユーザ表出検出部１１の測定値（センサによる情報）に起因して特定される表出情報の別の例は、図２の表のユーザの表出情報の下の項目に記載されている。即ち、上述した「心拍数」の他、「発汗量」、「まばたき回数」、「脳血流量」、「脳波」等を表出情報として採用することもできる。

操作部１３は、リモートコントローラやマウス等によって構成される。即ち、ユーザは、操作部１３を利用して、各種アイテムに関する各種操作を行うことができる。この場合、操作入力取得部１４は、操作部１３によるユーザの操作内容を機器操作情報として取得として、IFBのひとつとして関心推測部１５に提供する。機器操作情報の具体例については、図２の表を参照するとよい。

また、ユーザは、操作部１３を用いて、初期登録操作や、好／嫌ボタンなどの押下による明示的な意思表示をすることができる。かかる明示的な意思表示の内容については、EFBのひとつとして操作入力取得部１４によって取得されて関心推測部１５に提供される。EFBの具体例については、図３の表を参照するとよい。

なお、図３の例では、EFBとして、好／嫌ボタン入力の他、好き／嫌い発話、好き／嫌い動作も含まれている。操作部１３の実現形態によって、異なる種類のEFBの取得が可能となるからである。即ち、近年の技術進歩に伴い、ユーザが行える指示操作の方法は、単純なボタンの押下のみならず、発声による指示操作や、動作による指示操作等様々な方法が登場してきている。よって、ユーザが行う指示操作の形態に応じて、操作部１３の実現形態も自ずと異なってくることになり、その結果、EFBの種類も異なってくるのである。

関心推測部１５、フィードバックフィルタ部１６、および、履歴管理部１７は、例えば後述する図４のフィードバック登録処理を実行することができる。また、履歴管理部１７と嗜好モデル（分離面）学習部１８は、例えば後述する図５の嗜好モデル学習処理を実行することができる。なお、関心推測部１５、フィードバックフィルタ部１６、履歴管理部１７、および、嗜好モデル学習部１８の各機能の説明については、後述する図４のフィードバック登録処理または図５の嗜好モデル学習処理の説明の際にあわせて説明する。

詳細については後述するが、これらの図４のフィードバック登録処理と図５の嗜好モデル学習処理との繰り返し実行により、ユーザの嗜好モデルが生成され、更新されていく。

嗜好判別／推薦選択部１９は、この嗜好モデルを用いて、ユーザの嗜好を判別したり、推薦コンテンツを選択する。選択された推薦コンテンツは、コンテンツ提示再生部２０に通知される。そこで、コンテンツ提示再生部２０は、コンテンツ蓄積部２２に蓄積されているコンテンツの中から、通知された推薦コンテンツを提示したり、再生する。

即ち、コンテンツ蓄積部２２には、複数のコンテンツがメタデータと対応付けられて蓄積されている。メタデータ抽出／蓄積部２１は、コンテンツ蓄積部２２からメタデータを抽出して蓄積し、必要に応じて履行管理部１７または嗜好判別／推薦選択部１９に提供する。

次に、図４を参照して、フィードバック登録処理の一例を説明する。

フィードバック登録処理とは、後述する図５の嗜好モデル学習処理において、教師データとして利用される履歴情報を登録する処理をいう。かかるフィードバック登録処理は、上述したように、主に、関心推測部１５、フィードバックフィルタ部１６、および履歴管理部１７によってなされる。

関心推測部１５に対して、検出入力取得部１２または操作入力取得部１４から入力がなされると、フィードバック登録処理が実行される。

即ち、ステップＳ１において、関心推測部１５は、検出入力取得部１２や操作入力取得部１４からの入力の統合情報、即ち、本例では図２のIFBや図３のEFBを統合した情報を入力情報として取得する。そして、関心推測部１５は、入力情報に応じて関心度αを算出し、その入力情報に対して付与する。

関心度αとは、次のような情報をいう。即ち、検出入力取得部１２や操作入力取得部１４からの入力情報とは、所定コンテンツに対するユーザの表出や操作といった振舞いに基づいて得られる情報である。ユーザは、所定コンテンツに対して何等かの関心（関心が無い場合含む）を持っており、その関心の度合に応じた振舞いをすることが多い。この関心の推定度合が、関心度αであり、本例では、検出入力取得部１２や操作入力取得部１４からの入力情報から算出される。

例えば、図２のユーザの表出情報の上下の項目のうちの下の項目には、ユーザ表出検出部１１の測定値の変化量が閾値を超えた場合に検出入力取得部１２から関心推測部１５に入力される表出情報の一例が記載されている。所定コンテンツに対して何等かの関心をユーザが持っているため、ユーザ表出検出部１１の測定値の変化量が閾値を超え、その結果、かかる例の表出情報が得られたと考えられる。即ち、かかる表出情報は、少なくとも所定コンテンツに対して何等かの関心を持っていることは確かであるといえる。よって、かかる表出情報に対しては、絶対値が０よりも大きい関心度αが算出されることになる。この場合の関心度αの具体的な数値としては例えば、閾値との差に応じた値を付与してもよい。

ここで、関心度αの符号が＋の場合には、ユーザが所定コンテンツに対して「好き」という観点から関心を持っていることを意味しているとする。逆に、関心度αの符号が−の場合には、ユーザが所定コンテンツに対して「嫌い」という観点から関心を持っていることを意味しているとする。そして、関心度αの絶対値が大きくなるということは、所定コンテンツに対する「好き」または「嫌い」というユーザの意思が明確に現れてきていることを意味しているとする。この場合、関心度αの絶対値が小さくなるということは、所定コンテンツに対する「好き」または「嫌い」というユーザの意思がほとんど表れてきていない、または、所定コンテンツに対して何等振舞っていないことを意味する。

また、詳細については後述するが、検出入力取得部１２や操作入力取得部１４からの入力情報は、ユーザが経験した既知の所定コンテンツに関する情報であるので、後述する図５の嗜好モデル学習処理において教師データとして利用され得る。

教師データは、強教師データETIと弱教師データITIとの２種類に分類されて利用される。ただし、強教師データETIと弱教師データITIの差異等の詳細については後述することとし、ここでは説明の簡略上、強教師データETIと弱教師データITIとは次のように分類されていることを前提とする。

即ち、「好き」または「嫌い」というユーザの意思が明確に表れてきている入力情報のみが、強教師データETI用の情報として利用されるとする。また、その意思が明確とは言えないがある程度表れてきている入力情報は、弱教師データITI用の情報として利用されるとする。なお、その意思がほとんど表れていない入力情報については、強教師データETI用にも弱教師データITI用にも利用されないとする。

このような前提の下、フィードバックフィルタ部１６は、検出入力取得部１２や操作入力取得部１４からの入力情報を、関心推測部１５によって推定された関心度αに基づいて、強教師データETI用若しくは弱教師データITI用の情報として分類する、または分類から除外する。即ち、フィードバックフィルタ部１６は、入力情報に対するフィルタリング処理、即ち、強教師データETI用の第１の種類、弱教師データITI用の第２の種類、それ以外（教師データに利用しない）第３の種類のうちの何れかの種類に入力情報を分類する処理を実行する。

この場合のフィルタリング手法は、特に限定されず、例えば単純に、IFBを全て弱教師データITI用の第２の種類に分類し、EFBを全て強教師データETI用の第１の種類に分類する、といった手法を採用してもよい。

ただし、本実施の形態では、関心度αが付与されているので、関心度αに基づいてフィルタリングする手法が採用されている。具体的には例えば、関心度αの絶対値が閾値Ｂ以下の入力情報は、第３の種類に分類し（強教師データETI用と弱教師データITI用の何れにも分類せず）、関心度αの絶対値が閾値Ｂを超えて閾値Ａ以下の入力情報は弱教師データITI用の第２の種類に分類し、関心度αの絶対値が閾値Ａを超えている入力情報は強教師データETI用の第１の種類に分類する、といった手法が採用されているとする。

かかる手法が採用された場合の処理例が、図４のステップＳ２乃至Ｓ４の処理として表現されている。

即ち、ステップＳ２において、フィードバックフィルタ部１６は、入力情報の関心度αの絶対値が閾値Ａを超えているか否かを判定する。

入力情報の関心度αの絶対値が閾値Ａを超えている場合とは、上述したように、その入力情報は強教師データETI用の第１の種類に分類される場合を意味する。よって、このような場合、ステップＳ２の処理でＹＥＳであると判定されて、処理はステップＳ３に進む。ステップＳ３において、履歴管理部１７は、入力情報に対して、対応するコンテンツ（入力情報が得られた際にユーザが振舞いをした所定コンテンツ）のメタデータと、＋１／−１フラグとが付加されたデータを、強教師データETIとして作成し、登録する。これにより、フィードバック登録処理は終了となる。

なお、＋１／−１フラグの詳細な意味については、図５の嗜好モデル学習処理の説明の際に後述する。よって、ここでは、＋１フラグが付加されたことは、入力情報に対して、対応する操作または表出は「好き」のためになされたという意味づけがされたことを意味すると把握しておけばよい。一方、−１フラグが付加されたことは、入力情報に対して、対応する操作または表出は「嫌い」のためになされたという意味づけがされたことを意味すると把握しておけばよい。

一方、入力情報の関心度αの絶対値が閾値Ａ以下である場合とは、上述したように、その入力情報は少なくとも強教師データETI用の第１の種類に分類されない場合であることを意味する。よって、このような場合、ステップＳ２の処理でＮＯであると判定されて、処理はステップＳ４に進む。

ステップＳ４において、フィードバックフィルタ部１６は、入力情報の関心度αの絶対値が閾値Ｂを超えているか否かを判定する。

入力情報の関心度αの絶対値が閾値Ａ以下であって閾値Ｂを超えている場合とは、上述したように、その入力情報は弱教師データITI用の第２の種類に分類される場合を意味する。よって、このような場合、ステップＳ４の処理でＹＥＳであると判定されて、処理はステップＳ５に進む。ステップＳ５において、履歴管理部１７は、入力情報に対して、対応するコンテンツ（入力情報が得られた際にユーザが振舞いをした所定コンテンツ）のメタデータと、０フラグとが付加されたデータを、弱教師データITIとして作成し、登録する。これにより、フィードバック登録処理は終了となる。

なお、０フラグの詳細な意味については、図５の嗜好モデル学習処理の説明の際に後述する。よって、ここでは、０フラグが付加されたことは、入力情報に対して、対応する操作または表出に対して何等意味づけがなされていない、即ち、意味づけが放棄されたことを意味すると把握しておけばよい。

これに対して、入力情報の関心度αが閾値Ｂ以下の場合とは、その入力情報に基づく所定コンテンツに対してユーザは関心が無い場合、即ち、強教師データETI用にも弱教師データITI用にもならない第３の種類に分類された場合、換言すると、教師データの作成対象外であって無視してよい場合を意味する。

よって、ステップＳ４の処理でＮＯであると判定されて、そのままフィードバック登録処理は終了となる。即ち、この場合、強教師データETIも弱教師データITIも登録されずに、フィードバック登録処理は終了することになる。

以下、具体例を挙げて、図４のフィードバック登録処理についてさらに詳しく説明する。

例えば、所定コンテンツに対するユーザ評価として操作部１３のうち好／嫌ボタンが押下された場合、図３の表より「好／嫌ボタン入力」がEFBとして関心推測部１５に入力される。すると、次のようなステップＳ１の処理が実行されるとする。即ち、「好ボタン入力」というEFBに対して、関心度αとして+1.0が付与され、また、「嫌ボタン入力」というEFBに対して、関心度αとして-1.0が付与されるとする。

また例えば、所定コンテンツに対するユーザ評価として操作部１３のうち音声認識センサが「好き」、「嫌い」などという発話を捉えた場合、図３の表より「好き／嫌い発話」がEFBとして関心推測部１５に入力される。すると、次のようなステップＳ１の処理が実行されるとする。即ち、「好き発話」というEFBに対しては、関心度αとして+0.9が付与され、また、「嫌い発話」というEFBに対しては、関心度αとして-0.9が付与されるとする。

なお、図３の表は例示にしか過ぎず、当然、その他の発話についても、EFBまたはIFBとして利用できる。そして、その発話内容に応じた関心度αを付与することができる。具体的には例えば、「良い」、「つまらない」といった発話に対してもそれぞれ、関心度として+0.8や-0.8等を付加することができる。

一方、所定コンテンツの再生中に、例えば、操作部１３のうちの再生ボタンまたはスキップボタンが押下された場合、図２の表より「再生」または「スキップ」がIFBとして関心推測部１５に入力される。すると、次のようなステップＳ１の処理が実行されるとする。即ち、「再生」というIFBに対しては、関心度αとして+0.5が付与され、また、「スキップ」というIFBに対しては、関心度αとして-0.5が付与されるとする。

また、所定コンテンツの再生中に、例えば、ユーザ表出検出部１１によって図２の表の点線下部に示される表出が検出され、かかる検出結果より「集中」または「散漫」というIFBが得られて、関心推測部１５に入力されたとする。すると、次のようなステップＳ１の処理が実行されるとする。即ち、「集中」というIFBに対しては、関心度αとして+0.2が付与され、また、「散漫」というIFBに対しては、関心度αとして-0.2が付与されるとする。

例えば、ユーザ表出検出部１１によって何も検出されなかった場合（ユーザによる表出が無かった場合）や、新聞を読んでいる、ソファーに座る、頭をかくといった表出が検出された場合には、関心度αとして0が付与されるとする。

ここで、例えば閾値Ａ= 0.7とし, 閾値Ｂ = 0 としたとする。

この場合、所定コンテンツについて、「好ボタン入力」、「嫌ボタン入力」、「好き発話」、「嫌い発話」、「良い」、「つまらない」といった入力情報（主にEFB）が得られたときには、ステップＳ２の処理でＹＥＳであると判定される。よって、ステップＳ３の処理で、これらの入力情報は、所定コンテンツのメタデータとともに、＋１／−１フラグが付された上で強教師データETIとして登録される。即ち、所定コンテンツは強教師データETIのひとつとして、後述する図５の嗜好モデル学習処理に用いられる。

一方、所定コンテンツについて、「再生」、「スキップ」、「集中」、「散漫」といった入力情報（主にIFB）が得られたときには、ステップＳ２の処理でＮＯであると判定されて、ステップＳ４の処理でＹＥＳであると判定される。よって、ステップＳ５の処理で、これらの入力情報は、所定コンテンツのメタデータとともに、０フラグが付された上で弱教師データITIとして登録される。即ち、所定コンテンツは弱教師データITIのひとつとして、後述する図５の嗜好モデル学習処理に用いられる。

なお、所定コンテンツについて、関心推測部１５が取得する入力情報は、１つとは限らない。このような場合、各入力情報に付された各関心度αを統合して、その統合関心度αを用いて、ステップＳ２における閾値Ａや、ステップＳ４における閾値Ｂと比較してもよい。この場合、各関心度αの統合手法は特に限定されず、単なる総加算をする手法の他、適当な重み付けを利用して加算する手法等様々な手法を採用し得る。

また、タグ付けの手法や、関心度α、閾値Ａ、閾値Ｂ等の各種数値は、上述した例に限定されず、結局のところ、ユーザの操作や表出に基づいて何かしらのフィードバック情報（EFBやIFB）が得られたときに、そのフィードバック情報を、強教師データETI用の第１の種類、弱教師データITI用の第２の種類、或いは、教師データに用いない（無視する）第３の種類に分類することが可能なものであれば足りる。

なお、以下、強教師データETIについては、単にETIと記述し、また、弱教師データITIについては、単にITIと記述する。

次に、図５を参照して、嗜好モデル学習処理の一例を説明する。

ステップＳ２１において、嗜好モデル学習部１８は、ITI/ETIの登録があったか否かを判定する。

即ち、図４のフィードバック登録処理のステップＳ３またはＳ５の処理が実行されない限り、ステップＳ２１の処理でＮＯであると判定されて、処理はステップＳ２１に再び戻される。

図４のフィードバック登録処理のステップＳ３またはＳ５の処理が実行されると、即ち、ITIまたはETIが登録されると、ステップＳ２１の処理でＹＥＳであると判定されて、処理はステップＳ２２に進む。ステップＳ２２において、嗜好モデル学習部１８は、ITI/ETIをカウントする。

ここで、ITIのカウント値は、Niで表現し、また、適宜ITI履歴蓄積量と称する。一方、ETIのカウント値は、Neで表現し、適宜ETI履歴蓄積量と称する。

ステップＳ２３において、嗜好モデル学習部１８は、ETI履歴蓄積量(Ne)＞Ｎであるか否かを判定する。

ETI履歴蓄積量(Ne)がＮ以下の場合、ステップＳ２３の処理でＮＯであると判定されて、処理はステップＳ２１に再び戻される。

即ち、ETIがＮ個蓄積されるまでの間、ステップＳ２１乃至Ｓ２３のループ処理が繰り返される。そして、ETIがＮ個蓄積されると、ステップＳ２３の処理でＹＥＳであると判定されて、処理はステップＳ２４に進む。ステップＳ２４において、嗜好モデル学習部１８は、ETIによる初期嗜好モデルを作成し、Ne=0にリセットする。

このようにして、Ｎ個のETIを用いて、ユーザの初期嗜好モデルが作成される。即ち、Ｎは、設計者や製造者等が初期嗜好モデルを生成するために必要であると思われる整数値が任意に設定される。

ここで、ETIとは、ユーザが経験した所定コンテンツに関する情報のうちの、例えば本実施の形態では関心度αが閾値Ａを超えた所定コンテンツに関する情報（図４のステップＳ２，Ｓ３参照）であり、一般的にいえば、所定コンテンツに対するユーザの興味や関心度を推定するためのより確かな情報であるといえる。換言すると、EFBやIFBといったユーザのフィードバック情報（入力情報）のうちの、所定コンテンツに対するユーザの興味や関心度を推定するためのより確かな情報であると判断できるものが、ETI（より正確にはその構成要素の一部）に分類されるのである。

即ち、初期嗜好モデル生成の際には、所定コンテンツに対するユーザの興味や関心度を確実に推定できないようなあやふやな情報は教師データから除外し、ユーザの興味や関心度を確実に推定できるETIのみを教師データとして用いることにしたものである。

ただし、本実施の形態では、ETIの構成要素のうち、EFBやIFBといったユーザのフィードバック情報（入力情報）は直接使用せずに、+1/-1フラグとメタデータとが利用されて、初期嗜好モデルが生成される。なお、以下、+1/-1フラグとITIに付される0フラグとをあわせて、好き嫌いフラグと称する。

より具体的には例えば、初期嗜好モデル作成の際のETIとして、[好き嫌いフラグ (+1,-1)、メタデータ]といったベクトル（以下、メタベクトルと称する）が使用される。これにより、ETI（メタベクトル）は、メタデータによって構築される所定空間（以下、嗜好メタ空間と称する）上の点として表現できることになる。この場合、一定数Ｎを超えたETI（メタベクトル）を用いて、嗜好メタ空間において、好き嫌いを分離する平面（以下、分離面と称する）を例えばSVM （Support Vector Machines）や線形判別式で作成することができる。即ち、本実施の形態では、嗜好メタ空間内の分離面が、初期嗜好モデルとして作成されることになる。

このようにして初期嗜好モデルが生成されると、即ち、初期分離平面が嗜好メタ空間内に形成されると、図１の嗜好判別／推薦選択部１９は、推薦候補のコンテンツをメタデータによりベクトル化して、即ち、メタベクトルとして表現して、そのメタベクトルを嗜好メタ空間上に配置させた場合に、分離面に対して、好き側に配置されたのか、それとも嫌い側に配置されたのかを判別することによって、推薦候補の嗜好判別ができるようになる。

この場合、嗜好判別／推薦選択部１９は、例えば好き側に配置された推薦候補を、推薦コンテンツとして選択することができるようになる。すると、コンテンツ提示再生部２０は、かかる推薦コンテンツを提示したり再生することになる。その結果として、ユーザは、かかる推薦コンテンツを経験したことになる。即ち、ユーザは、かかる推薦コンテンツに対して、何等かの操作や表出を行うことが多い。例えば、ユーザは、操作部１３を用いて各種機器操作をして、推薦コンテンツを視聴したり、消去したり、或いは、評価したりする。また、その際、ユーザは様々な表出をする。

よって、推薦コンテンツに対して、何等かのEFBやIFBが得られることになる。かかるEFBやIFBや、推薦コンテンツに対するユーザの興味や関心度を推定できる情報であり得るので、図４のフィードバック登録処理が実行されることになる。この場合、推薦コンテンツについてETI若しくはITIが作成されて登録されたときには、教師データの個数が１つ増加することになる。このようにして、推薦コンテンツとして様々なコンテンツがユーザに提示されていくに従い、ETI若しくはITIといった教師データの個数がその分だけ増加していくことになる。

そこで、新たな教師データがある程度蓄積された場合には、これらの新たな教師データを用いて、嗜好メタ空間内の分離面の更新、即ち、初期嗜好モデルを更新することができるようになる。

かかる更新を行うための処理が、図５のステップＳ２５乃至Ｓ３３の処理である。ただし、図５のステップＳ２５乃至Ｓ３３の具体的な処理の説明の前に、当該処理の理解を容易にすべく、嗜好メタ空間内の分離面の更新の概念について、図６を参照して説明する。

図６の左側図は、嗜好メタ空間内の分離面の従来の更新手法を説明する図である。これに対して、図６の右側図は、嗜好メタ空間内の分離面の本発明の更新手法の一例を説明する図である。

ここでは、説明の簡略上、推薦コンテンツが再生された場合に、「完全再生」されたのか、それとも「スキップ」されたのかを特定可能な情報がIFBとして入力されるとする。そして、本発明では、IFBとして入力された「完全再生」、「スキップ」はITIに分類されるとする。

なお、図６においては、初期分離面に対して、初回の分離面が更新されるとする。また、図６中、好きアイテムと記述された楕円は、初期分離面（初期嗜好モデル）の作成に使用されたN個の教師データ（本発明ではETIである）のうちの、初期分離面に対して好き側に分類されたもののメタベクトルの集合体を示している。これに対して、嫌いアイテムと記述された楕円は、初期分離面（初期嗜好モデル）の作成に使用されたN個の教師データ（本発明ではETIである）のうちの、初期分離面に対して嫌い側に分類されたもののメタベクトルの集合体を示している。

この場合、従来においては、「完全再生」や「スキップ」といったIFBは、予め意味づけがなされて用いられていた。即ち、推薦コンテンツが例えば「完全再生」された場合、かかる「完全再生」は、推薦コンテンツをユーザが好きと判断したときになされる所定行為（所定操作や所定表出等）のひとつである、という意味づけが予めなされていた。一方、推薦コンテンツが「スキップ」された場合、かかる「スキップ」は、推薦コンテンツをユーザが嫌いと判断したときになされる所定行為（所定操作や所定表出等）のひとつである、という意味づけが予めなされていた。

なお、上述した「意味づけ」、即ち、「好き」とか「嫌い」とかいった直接的な「意味づけ」は例示に過ぎず、その他様々な形態の「意味づけ」、例えば、重み付け（数値化）による「意味づけ」等も存在していた。

いずれにしても、従来においては、推薦コンテンツが「完全再生」された場合には、その推薦コンテンツは、好き側に分類されるべきコンテンツとして一律取り扱われていた。一方、推薦コンテンツが「スキップ」された場合には、その推薦コンテンツは、嫌い側に分類されるべきコンテンツとして一律取り扱われていた。そして、このような「意味づけ」がなされた複数の推薦コンテンツのメタベクトルと、これまでの好きアイテムや嫌いアイテムの嗜好メタ空間上の分布状態に応じて、分離面（嗜好モデル）が更新されていた（図６の左側図の変更後分離面参照）。

しかしながら、このような「意味づけ」が、全ユーザにとって、または同一ユーザであっても全推薦コンテンツについて、一様にあてはまるとは言い難い。

例えば、複数の推薦コンテンツが存在した場合に、全ての推薦コンテンツが「完全再生」されたからといって、ユーザが全ての推薦コンテンツを好きであるとは言い難い。具体的には例えば、推薦コンテンツをユーザが真剣に視聴したために「完全再生」された場合には、その推薦コンテンツをユーザは好きであると判断してもよい。しかしながら、例えば、そもそもそこにユーザが存在しなかった場合等には、その推薦コンテンツは、ユーザの好き嫌いにかかわらず、「完全再生」がなされることがある。このような場合には、その推薦コンテンツをユーザは好きであると断定することはできない。

同様に例えば、複数の推薦コンテンツが存在した場合に、とある推薦コンテンツが「スキップ」されたからといって、その推薦コンテンツをユーザが嫌いであるとは言い難い。具体的には例えば、その推薦コンテンツは本来好きであるがユーザの都合上（例えば時間がない等の理由から）「スキップ」される場合もあり得る。また、その推薦コンテンツは本来好きであるがユーザの性格上（例えばせっかちで、最後までしっかり聴けない性格等の理由から）「スキップ」される場合もあり得る。このように、嫌いとは断定できない様々な状況が想像つくのに、「スキップ」された推薦コンテンツは全てユーザが嫌いなコンテンツであると断定することはできない。

そこで、本発明では、推薦コンテンツが「完全再生」や「スキップ」された場合に、その「完全再生」や「スキップ」に対する「意味づけ」が一旦放棄され、推薦コンテンツ（メタベクトル）の嗜好空間上への配置のみが行われる。そして、一定以上の数の推薦コンテンツ（メタベクトル）が嗜好空間上に配置された段階で、これらの分布状態を統計的な情報として取り扱うことで、分離面（嗜好モデル）の更新が行われるのである。具体的には例えば、このような更新は、トランスダクティブ（Transductive）SVM手法を用いて行うことができる。ただし、トランスダクティブSVM手法については、後述の図５のステップＳ２８の処理の説明の際にあわせて説明する。

もっとも、推薦コンテンツ対してユーザがなした行為（操作や表出）が、好／嫌いボタンの押下といったように、好き嫌いを明示的にする行為であった場合には、かかる行為により得られるフィードバック情報（主にEFB）に対して予め「意味づけ」をしておくことは特に問題とはならない。

そこで、本実施の形態では、上述したように、所定コンテンツ（推薦コンテンツ等）に対するユーザの行為（操作や表出等）に起因するフィードバック情報（EFBやIFBといった入力情報）が得られると、図４のフィードバック登録処理がなされて、ETI用の第１の種類、ITI用の第２の種類、何れにも用いられない（無視する）第３の種類のうちの何れかに分類されるのである。

換言すると、予め「意味づけ」ができる（ないしはすべきである）という種類が第１の種類のフィードバック情報、即ち、ETI用のフィードバック情報である。これに対して、教師データとしては利用価値があるが、予め「意味づけ」まではできない（ないしはすべきではない）という種類が第２の種類のフィードバック情報、即ち、ITI用のフィードバック情報である。そして、教師データとしても利用価値がないフィードバック情報が、第３の種類に分類されるのである。

このため、ITIは、「意味づけ」ができない（ないしはすべきでない）として、「意味づけ」が与えられずに、一定以上蓄積された段階で統計情報として、トランスダクティブSVM手法に従った嗜好モデル（分離面）の更新に用いられるのである。具体的には例えば、図５のステップＳ２５乃至Ｓ２８の処理が実行されるのである。

即ち、ステップＳ２５において、嗜好モデル学習部１８は、ITI/ETIの登録があったか否かを判定する。

上述したように、推薦コンテンツ等の新たなコンテンツが提示されたり再生されない限り、図４のフィードバック登録処理のステップＳ３またはＳ５の処理が実行されないので、その結果、ステップＳ２５の処理でＮＯであると判定されて、処理はステップＳ２５に再び戻される。

その後、推薦コンテンツ等の新たなコンテンツが提示されたり再生され、その結果として、図４のフィードバック登録処理のステップＳ３またはＳ５の処理が実行されると、ITIまたはETIが登録されるので、ステップＳ２５の処理でＹＥＳであると判定されて、処理はステップＳ２６に進む。ステップＳ２６において、嗜好モデル学習部１８は、ITI/ETIをカウントする。

ステップＳ２６において、嗜好モデル学習部１８は、ITI履歴蓄積量(Ni)＞ＮＩであるか否かを判定する。

ITI履歴蓄積量(Ni)がＮＩ以下の場合、ステップＳ２７の処理でＮＯであると判定されて、後述するステップＳ２９の処理でもＮＯであると判定されると、処理はステップＳ２５に再び戻される。

即ち、後述するステップＳ２９の処理でＮＯであると判定される限り、ITIがＮＩ個蓄積されるまでの間、ステップＳ２５，Ｓ２６，Ｓ２７ＮＯ，Ｓ２９ＮＯのループ処理が繰り返される。そして、ITIがＮＩ個蓄積されると、ステップＳ２７の処理でＹＥＳであると判定されて、処理はステップＳ２８に進む。ステップＳ２８において、嗜好モデル学習部１８は、トランスダクティブSVM手法によって嗜好モデルを修正し、Ni=0にリセットする。

このようにして、ＮＩ個のITIを用いて、ユーザの嗜好モデルが更新される。即ち、ＮＩは、設計者や製造者等が嗜好モデルを更新するために必要であると思われる整数値、即ち、統計情報として用いるのに必要であると思われる整数値が任意に設定される。

より具体的には例えば、トランスダクティブSVM手法による嗜好モデルの修正の際のITIとして、[好き嫌いフラグ (0)、メタデータ]といったメタベクトルが使用される。即ち、ITIの初期メタベクトルに対しては、好き嫌いフラグは与えられていない。

換言すると、本実施の形態では、好き嫌いフラグが、「意味づけ」を与えるための情報として利用されている。よって、上述したように、ETIの初期メタベクトルには、好き嫌いフラグとして予め+1/-1が与えられているのに対して、ITIの初期メタベクトルには、「意味づけ」が一旦放棄されていること明示すべく、0が与えられているのである。

そこで、本実施の形態では、トランスダクティブSVM手法が用いられているのである。即ち、トランスダクティブSVM手法とは、好き嫌いフラグを適切に与えるために、一旦元の分離面（嗜好モデル）を有する嗜好空間上に、メタベクトル（本実施の形態ではITIのメタベクトルとなる）をマッピングさせた後、全メタベクトル（本実施の形態では、これまでに存在したITIのみならずETIも含む全メタベクトル）が分離面から最も距離が離れるように、その分離面をずらす手法をいう。

より具体的には、トランスダクティブSVM手法とは、次のようなアルゴリズムＡ乃至Ｅからなる手法をいう。なお、以下、Test setをマージンに関する追加情報として利用することと、ラベルの付け替えを許してマージン最大化を図ることが前提とされている。また、ラベルとは、本実施の形態では好き嫌いフラグを意味する。

アルゴリズムＡとは、ラベル付きデータを用いて分離面を構築するというアルゴリズムである。本実施の形態では、ラベル付きデータとは、好き嫌いフラグとして+1/-1を有するETIを意味する。

アルゴリズムＢとは、現在の分離平面によりラベル無しデータを分類するというアルゴリズムである。本実施の形態では、ラベル無しデータとは、好き嫌いフラグとして0が付された（「意味づけ」が放棄された）ＮＩ個のITIを意味する。

アルゴリズムＣとは、アルゴリズムＢで正例と判定された事例と負例と判定された事例のペアで分離面に十分近いものを選ぶというアルゴリズムである。本実施の形態では、正例とは好きを意味し、負例とは嫌いを意味する。

アルゴリズムＤとは、アルゴリズムＣによって選択されたペアのラベルを交換するというアルゴリズムである。ただし交換によりマージンが大きくなる場合に限る。

アルゴリズムＥとは、以上のアルゴリズムＢ乃至Ｄを終了条件まで繰り返すというアルゴリズムである。

なお、トランスダクティブSVM手法のさらなる詳細 については” T.Joachims, “Transductive Inference for Text Classification using Support Vector Machines”, ICML, 1999 を参照するとよい。

このようなアルゴリズムＡ乃至ＤからなるトランスダクティブSVM手法によって分離面（嗜好モデル）が更新され、Ni=0にリセットされると、図５のステップＳ２８の処理は終了し、処理はステップＳ２５に戻され、それ以降の処理が繰り返される。

以下、ステップＳ２９乃至Ｓ３３の処理について説明する。

以上のステップＳ２５乃至Ｓ２８のループ処理が繰り返される度に、ITIを用いるトランスダクティブSVM手法によって、分離面（嗜好モデル）が徐々に修正されていくことになる。

この場合、その後にユーザが推薦コンテンツを経験して、その推薦コンテンツについてETIが得られたとき、そのETIが、修正された分離面（嗜好モデル）との関係で、矛盾を生じたデータとなっていることがある。即ち、ETIの好きフラグによれば+1のため、好きと判断される推薦コンテンツであるにも関わらず、ETIのメタベクトルを嗜好空間にマッピングすると、修正された分離面に対して嫌い側に配置されてしまうといった事態が生ずることがある。逆に、ETIの好きフラグによれば-1のため、嫌いと判断される推薦コンテンツであるにも関わらず、ETIのメタベクトルを嗜好空間にマッピングすると、修正された分離面に対して好き側に配置されてしまうといった事態が生ずることがある。

しかしながら、本来、ユーザの嗜好はETIに顕著に表れているのであって、矛盾したETIが生ずるのは望ましくない。そこで、矛盾したETIの個数Nce（以下、矛盾ETI履歴蓄積量Nceと称する）が一定以上の個数NCに達した場合、再度、ETIのみを用いて嗜好モデル（分離面）を再修正するとよい。

かかる一連の処理が、図５のステップＳ２９乃至Ｓ３３の処理である。

即ち、ステップＳ２９において、嗜好モデル学習部１８は、ETI履歴蓄積量(Ne)＞ＮＥであるか否かを判定する。

ETI履歴蓄積量(Ne)がＮＥ以下の場合、ステップＳ２９の処理でＮＯであると判定されて、処理はステップＳ２５に再び戻される。

これに対して、ETI履歴蓄積量(Ne)がＮＥを超えた場合、ステップＳ２９の処理でＹＥＳであると判定されて、処理はステップＳ３０に進む。

ステップＳ３０において、嗜好モデル学習部１８は、ETIアイテムのモデルへのマッピングを行う。ここでいうETIアイテムとは、上述したETIのメタベクトルを意味する。即ち、ETIアイテムのモデルへのマッピングとは、Ｎe個（ただし、ＮｅはＮＥを超えた整数値）のETIのメタベクトルが、嗜好メタ空間上にマッピングされることを意味する。

ステップＳ３１において、嗜好モデル学習部１８は、矛盾したETIをカウントする。かかるカウント値が、上述した矛盾ETI履歴蓄積量Nceとなる。

ステップＳ３２において、嗜好モデル学習部１８は、矛盾ETI履歴蓄積量(Nce)＞ＮＣであるか否かを判定する。

矛盾ETI履歴蓄積量(Nce)がＮＣ以下の場合、ステップＳ３２の処理でＮＯであると判定されて、処理はステップＳ２５に再び戻される。

これに対して、矛盾ETI履歴蓄積量(Nce)がＮＣを超えていた場合、ステップＳ３２の処理でＹＥＳであると判定されて、処理はステップＳ３３に進む。

ステップＳ３３において、嗜好モデル学習部１８は、ETIによる嗜好モデルを再作成し、Nce=0，Ne=0にリセットする。なお、Ne=0のリセットは必須でない。ただし、かかるリセットをしないと、ETI履歴蓄積量（Ne）が増加し続ける点、矛盾ETI履歴蓄積量（Nce）がＮＣを超えるまでの間、不必要なステップＳ３０，Ｓ３１が行われる点に留意すべきである。

なお、このステップＳ３３の処理は、ETIの個数が増加している点を除けば、ステップＳ２４の処理と基本的に同様である。

また、ステップＳ２９の判断処理で用いられるＮＥや、ステップＳ３２の判断処理で用いられるＮＣも、他のステップの判断処理で用いられる各種閾値と同様に、設計者や製造者等が任意に設定可能な値である。

以上、嗜好モデル学習処理の一例として、図５のフローチャートに従った処理について説明した。ただし、図５の処理は、例示にしか過ぎない点留意する。

即ち、嗜好モデル学習処理としては、ETIとITIとに分類した教師データを用い、そのうちの、ITIについては、好き嫌いフラグの初期値として0を与えるといったように、「意味づけ」を一旦放棄して、統計情報として用いて学習を行う、といった処理を採用すれば足りる。

よって、例えば、ステップＳ３３のETIによる嗜好モデル学習や、ステップＳ２８のトランダクティブSVM手法による嗜好モデル修正については、それぞれ全履歴を保持しておけば、上述したように、全てのETIやITIを用いて行うこともできるし、追加されたETIやITIを用いて行うこともできるし、所定期間内に得られたETIやITIを用いて行うこともできる。

また例えば、矛盾ETI履歴蓄積量(Nce)がＮＣを超えたことは、ユーザの嗜好の変化と捉えて、矛盾したETIのみを用いて、嗜好モデルを再生成してもよい。

この場合、例えば、過去のETI等は消去しておいてもよい。逆に例えば、過去のETI等は消去せずに、推薦の変化づけに利用してもよい。

また例えば、ステップＳ３３のETIによる嗜好モデルの再生のトリガは、矛盾するETIの数を用いるのでなく、ETI自体の数を採用してもよい。その結果、ETI自体の数に応じて必ず一定履歴ごとに更新して変化に追従させるようにすることができるようになる。

また例えば、全コンテンツではなく、所定ジャンル毎に嗜好モデル（分離面）を作成するようにしてもよい。その結果、より高精度な嗜好判別が実現できるようになる。同様の観点から、家族が同一機器を使用する場合等、ユーザとなり得る者が複数人である場合、複数のユーザ毎に、嗜好モデル（分離面）を作成するようにしてもよい。

ところで、上述した一連の処理は、ハードウエアにより実行させることもできるし、ソフトウエアにより実行させることもできる。一連の処理をソフトウエアにより実行させる場合には、そのソフトウエアを構成するプログラムが、専用のハードウエアに組み込まれているコンピュータ、または、各種のプログラムをインストールすることで嗜好モデル（分離面）は、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータなどに、プログラム記録媒体からインストールされる。

図７は、上述した一連の処理をプログラムにより実行するパーソナルコンピュータの構成の例を示すブロック図である。即ち、図１の楽曲推薦システムの全部または一部分、例えば幾つかの機能ブロックを、図７のように構成することもできる。

図７において、CPU（Central Processing Unit）２０１は、ROM（Read Only Memory）２０２、または記憶部２０８に記憶されているプログラムに従って各種の処理を実行する。RAM（Random Access Memory）２０３には、CPU２０１が実行するプログラムやデータなどが適宜記憶される。これらのCPU２０１、ROM２０２、およびRAM２０３は、バス２０４により相互に接続されている。

CPU２０１にはまた、バス２０４を介して入出力インタフェース２０５が接続されている。入出力インタフェース２０５には、キーボード、マウス、マイクロホンなどよりなる入力取得部２０６、ディスプレイ、スピーカなどよりなる出力部２０７が接続されている。CPU２０１は、入力取得部２０６から入力される指令に対応して各種の処理を実行する。そして、CPU２０１は、処理の結果を出力部２０７に出力する。

入出力インタフェース２０５に接続されている記憶部２０８は、例えばハードディスクからなり、CPU２０１が実行するプログラムや各種のデータを記憶する。通信部２０９は、インターネットやローカルエリアネットワークなどのネットワークを介して外部の装置と通信する。

また、通信部２０９を介してプログラムを取得し、記憶部２０８に記憶してもよい。

入出力インタフェース２０５に接続されているドライブ２１０は、磁気ディスク、光ディスク、光磁気ディスク、或いは半導体メモリなどのリムーバブルメディア２１１が装着されたとき、それらを駆動し、そこに記録されているプログラムやデータなどを取得する。取得されたプログラムやデータは、必要に応じて記憶部２０８に転送され、記憶される。

コンピュータにインストールされ、コンピュータによって実行可能な状態とされるプログラムを格納するプログラム記録媒体は、図７に示されるように、磁気ディスク（フレキシブルディスクを含む）、光ディスク（CD-ROM(Compact Disc-Read Only Memory),DVD(Digital Versatile Disc)を含む）、光磁気ディスク、もしくは半導体メモリなどよりなるパッケージメディアであるリムーバブルメディア２１１、または、プログラムが一時的もしくは永続的に格納されるROM２０２や、記憶部２０８を構成するハードディスクなどにより構成される。プログラム記録媒体へのプログラムの格納は、必要に応じてルータ、モデムなどのインタフェースである通信部２０９を介して、ローカルエリアネットワーク、インターネット、デジタル衛星放送といった、有線または無線の通信媒体を利用して行われる。

なお、本明細書において、プログラム記録媒体に格納されるプログラムを記述するステップは、記載された順序に沿って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的あるいは個別に実行される処理をも含むものである。

また、上述した例ではコンテンツは楽曲とされたが、動画像その他上述の定義のコンテンツであれば、その種類を問わず本発明を適用できることは言うまでも無い。

本発明が適用される情報処理装置の一実施の形態である楽曲推薦システムの機能的構成例を示す機能ブロック図である。 図１の楽曲推薦システムで用いられるIFBの具体例を示す図である。 図１の楽曲推薦システムで用いられるEFBの具体例を示す図である。 図１の楽曲推薦システムの処理のうちの、フィードバック登録処理の一例を説明するフローチャートである。 図１の楽曲推薦システムの処理のうちの、嗜好モデル学習処理の一例を説明するフローチャートである。 図５の嗜好モデル学習処理の一部の処理の概念を、従来と比較しつつ説明するための図である。 楽曲推薦システムの少なくとも一部をパーソナルコンピュータで構成した場合の構成例を示すブロック図である。

符号の説明

１１ ユーザ表出検出部， １２ 検出入力取得部， １３ 操作部， １４ 操作入力取得部， １５ 関心推測部， １６ フィードバックフィルタ部， １７ 履歴管理部， １８ 嗜好モデル（分離面）学習部， １９ 嗜好判別／推薦選択部， ２０ コンテンツ提示再生部， ２１ メタデータ抽出／蓄積部， ２２ コンテンツ蓄積部， ２０１ CPU， ２０２ ROM， ２０３ RAM， ２０８ 記憶部， ２１１ リムーバブルメディア

Claims (6)

1. ユーザのコンテンツに対する嗜好学習を行なう情報処理装置において、
   所定コンテンツに対する前記ユーザの操作または表出をフィードバック情報として取得する取得手段と、
   前記取得手段により取得された前記フィードバック情報から、前記嗜好学習用の教師データを生成する教師データ生成手段と、
   前記教師データ生成手段により生成された複数の前記教師データを用いて、前記嗜好学習と、前記教師データに対応する前記フィードバック情報の意味づけの学習とを行う学習手段と
   を備える情報処理装置。
2. 前記教師データ生成手段は、前記フィードバック情報を、
   前記ユーザの前記所定コンテンツに対する嗜好が第１の度合以上表れていると判断できる第１のフィードバック情報、
   前記ユーザの前記所定コンテンツに対する嗜好の表れ方が、前記第１の度合よりも低いと判断できる第２のフィードバック情報
   を少なくとも含む種類のうちの何れかに分類し、
   前記第１のフィードバック情報については、対応する操作または表出に対して意味づけを与えた上で、それを用いて強教師データを作成し、
   前記第２のフィードバック情報については、対応する操作または表出に対して意味づけを与えずに、弱教師データを作成し、
   前記学習手段は、
   前記強教師データのみを用いて所定の嗜好モデルを作成することで、前記嗜好学習の初期学習を行い、
   前記弱教師データを統計情報として利用して、前記弱教師データに対応する操作または意味づけの学習を行い、前記嗜好モデルを修正することで前記嗜好学習を行う
   請求項１に記載の情報処理装置。
3. 前記学習手段は、
   前記教師データ生成手段により新たに生成された前記強教師データのうち、修正された前記嗜好モデルに対して矛盾する意味づけが与えられたものの個数が一定数以上になった場合、前記強教師データのみを用いて前記嗜好モデルを再作成する
   請求項２に記載の情報処理装置。
4. 前記教師データ生成手段は、さらに、
   前記ユーザの前記所定コンテンツに対する嗜好の表れ方が、
   前記第１の度合よりも低く、第２の度合以上であると判断できるフィードバック情報を、前記第２のフィードバック情報に分類し、
   前記第２の度合よりも低いと判断できるフィードバック情報を、前記教師データの作成対象から除外する第３のフィードバック情報に分類する
   請求項２に記載の情報処理装置。
5. ユーザのコンテンツに対する嗜好学習を行なう情報処理装置の情報処理方法において、
   所定コンテンツに対する前記ユーザの操作または表出をフィードバック情報として取得し、
   取得された前記フィードバック情報から、前記嗜好学習用の教師データを生成し、
   生成された複数の前記教師データを用いて、前記嗜好学習と、前記教師データに対応する前記フィードバック情報の意味づけの学習とを行う
   ステップを含む情報処理方法。
6. ユーザのコンテンツに対する嗜好学習を行なうコンピュータが、
   所定コンテンツに対する前記ユーザの操作または表出をフィードバック情報が取得された場合、取得された前記フィードバック情報から、前記嗜好学習用の教師データを生成し、
   生成された複数の前記教師データを用いて、前記嗜好学習と、前記教師データに対応する前記フィードバック情報の意味づけの学習とを行う
   ステップを含む制御処理を実行するプログラム。

Images