JP2004144996A - 情報提示システム - Google Patents

Abstract

【課題】利用者との対話型ＧＵＩを備えた情報提示システムに関し、とくに利用者との対話プロセスにおいてその表情や声などの反応を読みとって、システムやコンテンツの評価指標として利用する技術を提供する。
【解決手段】あらかじめ用意されている多数の情報番組を、対話型ＧＵＩを通じ、利用者の選択操作に従って逐次提示していく対話型情報提示システムにおいて、提示情報に接している利用者の顔を含む姿を撮影するためのビデオカメラと、ある情報番組の提示期間中にビデオカメラで撮影された映像を所定のアルゴリズムで分析し、提示情報に対する利用者の表情変化を分類する利用者反応分類手段と、利用者に逐次提示した情報番組の識別データを記録にとるとともに、それら各情報番組の提示に対応して利用者反応分類手段が出力した分類結果を各番組識別データに対応づけして記録する利用履歴作成手段とを備える。
【選択図】　　　図５

Description

【０００１】
【発明が属する技術分野】
この発明は、利用者との対話型ＧＵＩを備えた情報提示システムに関し、とくに利用者との対話プロセスにおいてその表情や声などの反応を読みとって、システムやコンテンツの評価指標として利用する技術に関する。
【０００２】
【発明の背景】
出願人らが実用化した検索式カラオケリモコン装置がある。これは、液晶タッチパネル式のユーザインタフェースを備えたパームトップ型のパソコンをベースに構築したコンピュータ応用機器であり、出願人らが制作して配給するカラオケソフトについての楽曲索引データベースを備えている。そして曲名検索モードや歌手名検索モードをはじめとして、流行時期で検索するあのころ検索モードなどのさまざまな検索方式で楽曲を検索する機能を備えている。利用者はこれらの検索方式を駆使して楽曲を検索し、検索した曲を簡単な操作でカラオケ装置の待ち行列に登録することができる。すなわち、利用者との対話型ＧＵＩを通じて利用者にカラオケで利用可能な楽曲の情報を提示する情報提示システムということができる。利用者は、このカラオケリモコン装置により、カラオケの場で歌唱するだけでなく、カラオケ曲を選曲し予約するまでの手順をも多いに楽しむことができる。
【０００３】
ところで本出願人は、このような情報提示システムの開発者の立場から、上記のような様々な機能（検索メニューなど）が利用者にどの程度受け入れられているのかを知りたいと考えた。もっとも簡単に利用者の反応を測る指標として、たとえば当該機能の利用回数が多いものを受け入れられたと見なす方法がある。しかし、利用したからといっても受け入れられたとは限らない。利用はしたがあまり面白くなかったという場合もよくあることである。
【０００４】
あるいは、利用後にアンケートをとることも考えられるが、利用が終わった人にとってはさらに面倒な作業を強いられることになり、なかなか協力してもらえない。
【０００５】
そこで本発明者らは、利用者の感性に基づく反応を表情や声から読みとって評価の指標として利用できれば、利用者に特に意識させることなく、より率直かつ正確な反応を知ることができると考えた。さらに、そのような利用者の反応によって、使い易いかどうかというような、開発者が設計したユーザインタフェースに対する評価を知る指標にもなると考えた。さらにまた、利用者との対話の結果として提示した情報番組（コンテンツ）そのものに対する利用者の評価を知る指標にもなると考えた。
【０００６】
【発明の開示】
以上の事情に鑑み、本発明の目的は、利用者との対話型ＧＵＩを備えた情報提示システムに関し、とくに利用者との対話プロセスにおいてその表情や声などの反応を読みとって、システムやコンテンツの評価指標として利用する技術を提供することにある。
【０００７】
つまり第一の発明に係る情報提示システムは、あらかじめ用意されている多数の情報番組を、対話型ＧＵＩを通じ、利用者の選択操作に従って逐次提示していく対話型のシステムにおいて、提示情報に接している利用者の顔を含む姿を撮影するためのビデオカメラと、ある情報番組の提示期間中にビデオカメラで撮影された映像を所定のアルゴリズムで分析し、提示情報に対する利用者の表情変化を分類する利用者反応分類手段と、利用者に逐次提示した情報番組の識別データを記録にとるとともに、それら各情報番組の提示に対応して利用者反応分類手段が出力した分類結果を各番組識別データに対応づけして記録する利用履歴作成手段とを備えるものである。
【０００８】
また第二の発明に係る情報提示システムは、あらかじめ用意されている多数の情報番組を、対話型ＧＵＩを通じ、利用者の選択操作に従って逐次提示していく対話型のシステムにおいて、提示情報に接している利用者の音声信号を採取するためのマイクロホンと、ある情報番組の提示期間中にマイクロホンで採取された音声信号を所定のアルゴリズムで分析し、提示情報に対する利用者の感情変化を分類する利用者反応分類手段と、利用者に逐次提示した情報番組の識別データを記録にとるとともに、それら各情報番組の提示に対応して利用者反応分類手段が出力した分類結果を各番組識別データに対応づけして記録する利用履歴作成手段とを備えるものである。
【０００９】
【発明の実施の形態】
＝＝＝検索式カラオケリモコン装置＝＝＝
この発明の第一の実施例に係る検索式カラオケリモコン装置の外観を図１に示し、その電子システム構成を図２に例示している。このカラオケリモコン装置は、Ｂ５判ほどの寸法で厚みのあるパネル型のキーボードレス・コンピュータである。
【００１０】
外観的には装置正面の大部分が液晶表示パネル（ＬＣＤ）１ａに透明タッチセンサ１ｂを重ねた液晶タッチパネル１で占められ、内部には、ＣＰＵ・ＲＡＭ・ＲＯＭを含む中央処理装置２と、液晶表示パネル１ａを表示駆動する表示ドライバ３と、透明タッチセンサ１ｂに対する入力座標を検出する入力検出回路４と、大容量の外部記憶であるフラッシュメモリ５と、カラオケ演奏装置と交信するための短距離無線通信手段（ＩｒＤＡトランシーバ６・赤外線ＬＥＤ７・赤外線受光素子８）と、充電ステーションと結合して充電される電源電池（図示省略）と、充電ステーションに付属のデータ通信装置を介してカラオケ演奏装置とデータ通信する通信制御部９などが実装されている。赤外線ＬＥＤ７と赤外線受光素子８は、リモコン装置の上部中央部に配設されており、液晶タッチパネル１の上方にその指向性が向くようにレイアウトされている。さらに、小型のビデオカメラ１０が液晶タッチパネル１の面の上方に向くように配設されている。
【００１１】
中央処理装置２は、楽曲索引データベースをフラッシュメモリ５に格納して管理する。楽曲索引データベースは、カラオケ演奏装置で演奏に供される多数の楽曲についての属性情報を記述したデータベースであり、楽曲番号（楽曲識別子）・曲名・歌手名・歌い出し部分の歌詞・流行時期・音楽ジャンル区分・使用された映画やテレビドラマのタイトル・使用されたテレビＣＭ・各種音楽賞の受賞経歴・デュエット曲か否かなど、さまざまな属性情報（属性項目）がこれに含まれている。カラオケリモコン装置をカラオケ演奏装置に接続されている充電ステーションに結合した状態において、中央処理装置２は通信制御部９を介してカラオケ演奏装置とデータ通信し、楽曲索引データベースの内容を更新するようにシステム構成されている。
なお、短距離無線手段はＩｒＤＡインタフェースに限定するものではない。ブルートゥースインタフェースや他の形式の無線信号であってもよい。
【００１２】
カラオケリモコン装置の中央処理装置２は、利用者が希望の楽曲を前記楽曲索引データベースに基づいて検索するための処理を実行する。このデータベース検索処理の初期状態では、検索メニュー画面（トップ画面）が液晶タッチパネル１に表示される。図３にこの検索メニュー画面（トップ画面）３０を例示した。本実施例においては、「曲名」検索ボタン３３、「歌手名」検索ボタン３２、「新譜」検索ボタン３１、「あのころ」検索ボタン３４、「デュエット」検索ボタン３５、「ジャンル」検索ボタン３６、「予約履歴」検索ボタン３７、「曲番入力」検索ボタン３８の各ボタンに対応して複数の検索メニューが用意されている。
【００１３】
たとえば曲名検索とは、楽曲名の一部を指定して検索するものである。「曲名」検索ボタン３３にタッチ入力すると曲名検索プロセスが開始され、５０音のカナ文字パレット画面に表示が切り替わる。さらに、その画面上でカナ文字にタッチして曲名を頭文字から順番に入力して（途中まででもよい）、検索実行ボタンにタッチ入力すると、楽曲索引データベースの属性情報の曲名を参照のうえ該当する楽曲群が抽出されて一覧的に列挙表示される。
【００１４】
また歌手名検索とは、楽曲の元歌歌手の名前を指定して、その歌手の楽曲の中から検索するものである。「歌手名」検索ボタン３２にタッチ入力すると歌手名検索プロセスが開始される。曲名検索と同様に、歌手名を頭文字から順番に入力すると、楽曲索引データベースの属性情報の中から歌手名を参照のうえ、該当の楽曲群が抽出されて一覧的に表示される。
【００１５】
同様に、ジャンル検索とは演歌・ポップス・洋楽といった音楽ジャンル区分を指定して、そのジャンルに該当する楽曲の中から検索するものであり、新譜検索とは、その月の新譜としてカラオケに登録された曲の中から希望曲を検索するためのものである。またデュエット検索とはデュエット曲の中から検索するものである。それぞれ、「ジャンル」３６、「新譜」３１、「デュエット」３５の各検索ボタンにタッチすると各プロセスが開始され、楽曲索引データベースの属性情報のうち音楽ジャンル区分や「新譜」「デュエット曲」といった登録情報に基づいて、該当する楽曲群が抽出されて表示される。
【００１６】
さらに、あのころ検索とは、現在ある年齢の人が過去のある年齢または学年の頃にヒットした曲や、レコード大賞を受賞したり紅白歌合戦で歌われたりした曲を検索して一覧的に表示するものである。「あのころ」検索ボタン３４にタッチ入力するとあのころ検索プロセスが開始される。利用者の年齢に関する情報が入力されると、その情報から検索する時代を特定して楽曲索引データベースに照会する。そして、楽曲データベースの属性情報から流行時期や「ヒット曲」「紅白歌合戦出場曲」といった登録情報に基づいて、該当する楽曲群が抽出され表示される。
【００１７】
その他にも、これまでに演奏予約した楽曲の中から再び検索する予約履歴検索や、直接楽曲番号を指定する曲番入力などの検索方式も利用可能である。
【００１８】
上記のようにして一覧的に表示された楽曲の中から利用者が希望曲を選んで予約イベント操作をすると、短距離無線通信手段（ＩｒＤＡトランシーバ６・赤外線ＬＥＤ７・赤外線受光素子８）が近辺に存在するカラオケ装置と交信し、希望曲の楽曲番号を含んだ演奏予約情報がカラオケ装置に通知される。
【００１９】
＝＝＝利用者反応分類手順＝＝＝
中央処理装置２にはビデオカメラ１０を操作してその前に存在するものを撮影させ、その映像データを取り込みメモリに一時記憶するためのプラグラムを内蔵している。このプログラムにより、利用者がカラオケリモコン装置を使用する際には、利用者がボタン操作を行った際などの適宜な機会に、ビデオカメラ１０を介して主に利用者の顔の映像データを取り込み、撮影のタイミングと対応づけしてメモリに一時記憶するようになっている。
【００２０】
この発明において、撮影のタイミングは、利用者に提示した情報番組（コンテンツ）の番組識別データを用いて定義するものである。たとえば、当該情報番組の提示開始の時点から所定の時間として定義する。あるいは、利用者が当該情報番組に切り替える操作をした時点から所定の時間と定義することも可能である。または、当該情報番組の開始時点からの所定時間および終了までの所定時間の組み合わせとして定義することも可能である。当該情報番組のクライマックスの部分など、情報番組ごとに定義することも可能である。
なお、利用者とシステムとの対話プロセスにおける各ステップを１つの情報番組としてとらえ、各ステップの識別データを番組識別データとして用いることもできる。
【００２１】
記憶された映像データは、顔の映像（動画像）に基づいて表情認識をする周知の技術を用いて分析される。表情認識の技術として、たとえば次のような技術が知られている。すなわち、顔映像中の連続する画像から顔要素の各位置の速度ベクトルを算出して顔要素の変形・移動を示す特徴ベクトルを抽出する。認識すべき各表情（表情変化）ごとに連続して出力する確率分布のモデルをあらかじめ作成しておき、これらのモデルに基づいて、抽出した特徴ベクトルを生成する確率が最大となる表情（表情変化）を認識結果とするものである。
【００２２】
本実施例では、認識すべき表情として、たとえば面白さの度合いを５段階に分類し、「面白い」を５、「やや面白い」を４、「無表情」を３、「ややつまらない」を２、「つまらない」を１というように、５つの表情と対応する数値を定義しておく。そして、撮影された映像データを分析した結果の数値を番組識別データと対応付けし、利用履歴として記憶する。
【００２３】
たとえば、利用者が検索メニュー画面（トップ画面）３０にて複数の検索メニューボタンの中から「あのころ」検索ボタン３４にタッチ入力すると、あのころ検索のプロセスが開始される。図４にあのころ検索プロセスの画面遷移を例示した。（ａ）〜（ｈ）は時系列の順に従っている。
【００２４】
あのころ検索プロセスが開始されると、まず、液晶タッチパネル１には「年代で調べる」ボタン４１と「年齢で調べる」ボタン４２が配設されたあのころ検索の初期メニュー（ａ）が表示される（番組識別データをａとする）。このときに中央処理装置２では、ビデオカメラ１０を介して入力された利用者の顔映像データに基づいて表情変化を分析する。そして、あのころ検索の初期メニュー（ａ）が表示された後の所定期間における利用者の表情変化が、たとえば「面白い」と認識されれば、表情の認識結果を５とし、番組識別データａと対応づけしてメモリ５に記憶する。
【００２５】
次に利用者が「年代で調べる」ボタン４１にタッチ入力したとすると、検索条件として設定する年代を入力する画面（ｂ）に遷移する（番組識別データをｂとする）。
中央処理装置２では、先刻と同様に、利用者の顔映像データに基づいて表情変化を分析し、表情の認識結果（たとえば「無表情」である３）を番組識別データｂと対応づけして記憶する。
【００２６】
その後、利用者が年代の入力欄５１をタッチすると、年代数値を入力するためのテンキーの子画面５４が表示される（ｃ）（番組識別データをｃとする）。また、検索条件の入力欄５２をタッチすると、検索条件（「ヒットした」または「赤白歌合戦の」）を選択可能に表示した子画面５５が表示される（ｄ）（番組識別データをｄとする）。各欄にタッチ入力した状態（ｅ）（番組識別データｅ）で「さがしたい」ボタン５３を指示すると、設定した条件に該当する楽曲の一覧画面（ｆ）が表示される（番組識別データｆ）。その一覧の中から特定の１曲を利用者が指示すると、その楽曲の詳細な属性情報が表示される（ｇ）（番組識別データｇ）。この属性表示画面（ｇ）にある「転送」ボタン５６を利用者が指示すると、演奏予約のリモコン信号がカラオケ演奏装置に向けて発信され、確認画面（ｈ）を表示したのち、年代検索メニューの初期画面（ａ）を再表示する。
【００２７】
そして、これらの各番組識別データｃ〜ｇのそれぞれに対応するステップにおいても、中央処理装置２にて利用者の表情変化を分析し、その認識結果を各番組識別データに対応づけして利用履歴としてメモリ５に記憶する。図５は利用履歴の構成を例示したものである。
【００２８】
このようにして記憶した利用履歴により、各ステップ（情報番組）における利用者の反応を知ることができる。たとえば前述の例で、あのころ検索のプロセス開始時（番組識別データａ）に対応して「面白い」表情をしていたが、「年代で調べる」（番組識別データｂ）で「無表情」であった。次の、年代数値を入力する子画面５４（番組識別データｃ）や検索条件を選択する子画面５５（番組識別データｄ）では「つまらない」表情だったとすれば、プロセスが進むにつれ興味を失ったと想定される。期待したほどの機能ではなかったとか、ＧＵＩが面倒であまり具合がよくない、といった要因も考えられる。
【００２９】
さらに、設定した条件に該当する楽曲の一覧（ｆ）が表示されたら（番組識別データｆ）再び「面白い」表情をしたとすれば、最終的にこの利用者は「あのころ検索」機能を楽しんだ、と考えることができる。また、ＧＵＩをさらに工夫すればより多くの人に受け入れられそうだ、と考えることもできる。
【００３０】
＝＝＝第二の実施例＝＝＝
上記第一の実施例においては、ビデオカメラで撮影した利用者の表情を分析することによって、その利用者の反応を知る方式を示したが、音声により利用者の反応を知る方式も可能である。たとえば、前述のカラオケリモコン装置（情報提示システム）に、マイクロホン１１（図２参照）と音声による対話型ＧＵＩとを備える。各ステップにおいて利用者の音声を採取して、その音声認識の際に、声の高低や声の大小などの抑揚によって感情を分析し、第一の実施例と同様に適宜に分類する。
【００３１】
この方式によれば、対話型ＧＵＩの手段そのものである音声に基づいて利用者の反応を分析するため、より直接的かつ正確な反応を知ることが期待できる。
【００３２】
＝＝＝他の実施例＝＝＝
上記の例においては、あるプロセス（検索メニュー）の各ステップを１つの情報番組とし、これに対する利用者の反応を分析する例を示したが、検索メニューごとに反応を分析することができるのは言うまでもない。さらに、その他の情報提供サービスの情報番組ごとに反応を分析できることも言うまでもなく、結果は各情報番組の人気の度合いの指標として利用することもできる。
【００３３】
本発明は、サーバーを含んで構成される情報提示システムにも適用できる。すなわち、利用者のパソコンなどの情報処理端末にカメラを備え、通信網を介してサーバーにアクセスさせ、サーバーに蓄積された情報を適宜に提示するシステムである。情報処理端末はサーバーから必要はプログラムをダウンロードして利用可能に構成する。そして、サーバーの情報を適宜に提示するとともに、カメラによって利用者を撮影してデータをサーバーに返送する。この方式によれば、サーバーの提供する情報提示サービスについて、利用者の反応を簡単に知ることができる。
【００３４】
また上記の情報処理端末として、インターネット接続機能（ブラウザ）およびカメラ付きの携帯電話機とし、上記のサーバーをインターネットに接続するように構成することも可能である。これによれば、現在激増している利用者所有のカメラ付き携帯電話機を使って、携帯電話機で閲覧可能な情報提示サービスについて、簡単にその利用者の反応を知ることが可能である。
【００３５】
【発明の効果】
この発明によれば、情報提示システムにおいて、適宜なステップあるいは番組における利用者の反応を利用者に特に意識させることなく簡単に知ることができる。これにより、ＧＵＩ上に対する評価や情報番組に対する人気の度合いなどが簡単にわかる。したがって、利用者の声を迅速に反映しやすく、このような情報提示サービスの利用が増大する効果も期待できる。
【図面の簡単な説明】
【図１】本発明の第一の実施例に係る電子目次本機能付きカラオケリモコン装置の概略外観図である。
【図２】上記カラオケリモコン装置の機能ブロック図を示している。
【図３】上記カラオケリモコン装置にて表示されるトップ画面の概略図を示している。
【図４】上記カラオケリモコン装置におけるあのころ検索プロセスの動作状態を、（ａ）〜（ｈ）の画面遷移によって例示している。
【図５】本発明の一実施例に係る利用履歴の構成を示したものである。
【符号の説明】
１　　液晶タッチパネル
２　　中央処理装置
５　　フラッシュメモリ
１０　ビデオカメラ
１１　マイクロホン

Claims (2)

1. あらかじめ用意されている多数の情報番組を、対話型ＧＵＩを通じ、利用者の選択操作に従って逐次提示していく対話型情報提示システムにおいて、
   提示情報に接している利用者の顔を含む姿を撮影するためのビデオカメラと、
   ある情報番組の提示期間中にビデオカメラで撮影された映像を所定のアルゴリズムで分析し、提示情報に対する利用者の表情変化を分類する利用者反応分類手段と、
   利用者に逐次提示した情報番組の識別データを記録にとるとともに、それら各情報番組の提示に対応して利用者反応分類手段が出力した分類結果を各番組識別データに対応づけして記録する利用履歴作成手段と、
   を備えたことを特徴とする情報提示システム。
2. あらかじめ用意されている多数の情報番組を、対話型ＧＵＩを通じ、利用者の選択操作に従って逐次提示していく対話型情報提示システムにおいて、
   提示情報に接している利用者の音声信号を採取するためのマイクロホンと、
   ある情報番組の提示期間中にマイクロホンで採取された音声信号を所定のアルゴリズムで分析し、提示情報に対する利用者の感情変化を分類する利用者反応分類手段と、
   利用者に逐次提示した情報番組の識別データを記録にとるとともに、それら各情報番組の提示に対応して利用者反応分類手段が出力した分類結果を各番組識別データに対応づけして記録する利用履歴作成手段と、
   を備えたことを特徴とする情報提示システム。

Images