〔コンテンツ呈示制御の実施形態:図1〜図9〕
第1の実施形態として、再生または受信されたコンテンツに対する視聴者の評価に応じてコンテンツの呈示を制御する場合を、以下に示す。
(コンテンツ再生装置の一例:図1)
図1は、第1の実施形態のコンテンツ再生装置としての光ディスク再生装置の一例を示す。
この例では、光ディスク1にコンテンツおよび想定評価値が記録されている。この場合のコンテンツは、映画などの映像情報および音響情報で、具体的には、映像データおよび音響データが、MPEG(Moving Picture Experts Group)方式によって圧縮符号化され、多重化されて、光ディスク1に記録されている。
想定評価値は、後述のように、コンテンツ提供者(制作者)が、視聴者が当該コンテンツを視聴したときの当該コンテンツに対する印象や評価を想定したものであり、その想定評価値データが、符号化され、この例では、映像データおよび音響データに多重化されて、光ディスク1に記録されている。
具体的には、MPEGストリームのGOP(Group Of Picture)ごとに、またはMPEGストリームのピクチャごとに、想定評価値データが多重化される。いずれの場合でも、例えば、当該GOPや当該ピクチャの再生時刻管理情報を参照することによって、多重化されている想定評価値の時間軸を管理することができる。
想定評価値の時間軸を管理する他の方法として、想定評価値と、それについての開始時刻および終了時刻、または開始時刻および継続時間のような時間情報とを記述したデータを、この例のように映像データおよび音響データに多重化して伝送し、または後述の例のように映像データおよび音響データとは別に伝送する方法をとることができる。
一例として、開始時刻(1分25秒)および継続時間(13秒)で表記された3次元の想定評価値(注目度50、美しさ40、刺激度5)を有するシーン「flower」の記述データとして、図9に示すような記述データを用いることができ、この記述データを、映像データおよび音響データに多重化して伝送し、または映像データおよび音響データとは別に有線回線または無線回線によって伝送する。
さらに、光ディスク1には、デコード・タイムスタンプなどのデコード時刻情報、およびプレゼンテーション・タイムスタンプなどのコンテンツ呈示時刻情報(再生時刻情報)が記録されている。
<再生装置の概要>
光ディスク1は、ディスクモータ3によって駆動される。光ヘッド(ピックアップ)4は、送りモータとトラッキング用およびフォーカシング用のアクチュエータを含むドライブニユット5によって駆動される。
操作部6での視聴者の再生操作によって、システムコントローラ7は、ドライブユニット5に光ディスク1の再生を指示し、光ヘッド4によって、光ディスク1から信号が読み出される。その読み出された信号は、復調・エラー訂正部11で復調され、エラー訂正された後、バッファ12に書き込まれ、バッファ12から読み出される。
バッファ12から読み出された信号は、デマルチプレクサ13に供給され、デマルチプレクサ13から、それぞれ符号化された映像データ、音響データ、字幕データおよび想定評価値データが、分離されて得られる。
その映像データ、音響データ、字幕データおよび想定評価値データは、それぞれ、ビデオコードバッファ21、オーディオコードバッファ31、字幕コードバッファ41および想定評価値コードバッファ51に書き込まれ、ビデオコードバッファ21、オーディオコードバッファ31、字幕コードバッファ41および想定評価値コードバッファ51から読み出された後、それぞれ、ビデオデコーダ22、オーディオデコーダ32、字幕デコーダ42および想定評価値デコーダ52でデコードされる。
システムコントローラ7は、上記のデコード・タイムスタンプのようなタイミング情報に基づいて、各デコーダ22,32,42,52におけるデコードタイミングを制御し、上記のプレゼンテーション・タイムスタンプのようなタイミング情報に基づいて、各デコーダ22,32,42,52からのデータの時系列を整合させるように、各デコーダ22,32,42,52における出力タイミングを制御する。
ビデオデコーダ22からの映像データ、および字幕デコーダ42からの字幕データは、ビデオ処理部23に供給され、ビデオ処理部23において、後述のようにシステムコントローラ7からの特性制御信号によって映像特性が制御されるとともに、映像信号中に字幕信号がスーパーインポーズされる。
ビデオ処理部23の出力の映像信号は、ビデオ出力端子24に導出され、ビデオ出力端子24から、CRTディスプレイや液晶ビデオプロジェクタなどの映像表示装置に送出される。
映像信号は、ビデオ処理部23でアナログ映像信号に変換されることなくデジタル映像データのまま、D/A(Digital to Analog)変換部を備える映像表示装置に送出され、またはビデオ処理部23でアナログ映像信号に変換されて、映像表示装置に送出される。
オーディオデコーダ32からの音響データは、オーディオ処理部33に供給され、オーディオ処理部33において、後述のようにシステムコントローラ7からの特性制御信号によって音響特性が制御される。
オーディオ処理部33の出力の音響信号は、オーディオ出力端子34に導出され、オーディオ出力端子34から、スピーカやヘッドホンなどの音響出力装置に送出される。
音響信号も、オーディオ処理部33でアナログ音響信号に変換されることなくデジタル音響データのまま、D/A変換部を備える音響出力装置に送出され、またはオーディオ処理部33でアナログ音響信号に変換されて、音響出力装置に送出される。
光ディスク1からコンテンツが再生されると、映像表示装置で表示された映像および音響出力装置から出力された音響を視聴した視聴者の反応が、反応値として反応値入力部61から入力される。システムコントローラ7は、光ディスク1からのコンテンツの再生と同時に、反応値入力部61によって視聴者の反応を測定する。
反応値入力部61から入力された反応値は、反応値解析部62で解析されて、反応値解析部62で別の反応値が算出される。さらに、認識評価値算出部63では、反応値入力部61から入力された反応値、および反応値解析部62で算出された反応値から、光ディスク1から再生されたコンテンツに対する視聴者の印象や評価を示す認識評価値が算出される。
さらに、制御評価値算出部53では、光ディスク1から得られて想定評価値デコーダ52でデコードされた想定評価値と、認識評価値算出部63で算出された認識評価値とが比較され、その結果が評価されて、制御評価値が算出される。
システムコントローラ7は、この制御評価値算出部53で算出された制御評価値から、コンテンツの再生特性を制御する制御信号、およびコンテンツのストーリー展開を変更する制御信号を生成し、前者の制御信号をビデオ処理部23およびオーディオ処理部33に送出して、映像および音響の再生特性を制御し、後者の制御信号をドライブニユット5に送出して、光ディスク1の再生場所や再生順序を変更する。
なお、図1では、反応値入力部61、反応値解析部62、認識評価値算出部63、制御評価値算出部53およびシステムコントローラ7を、機能的に分離して示しているが、反応値入力部61の信号処理や、反応値解析部62、認識評価値算出部63および制御評価値算出部53の機能は、システムコントローラ7の一部の機能として構成することができる。
<想定評価値>
光ディスク1に記録されている想定評価値は、視聴者がコンテンツを視聴したときのコンテンツに対する印象や評価を想定したものであり、呈示する映像の種類や明るさ、呈示する音響の種類やレベル(音の大きさ)、呈示するコンテンツのストーリー展開などを考慮して、コンテンツ提供者(制作者)が設定したものである。
呈示されるコンテンツには、多くの場合、物語性があり、呈示された視聴者の心理状態も、ストーリー展開によって変化するのが普通である。そのため、同じ映像や音響であっても、場面によって、それに対する感じ方や解釈など、印象や評価が異なることが予想される。したがって、想定評価値は、映像や音響の特性(映像の明るさや音響のレベルなどの物理的性質)のほかに、呈示されるコンテンツの物語性も考慮して、コンテンツのシーンやショットなど、コンテンツの区切りごとに設定される。当然、視聴者に注目してほしいシーンやショットは、興味や関心の程度を示す認識評価値が高くなるように映像音響的に工夫することになるので、そのシーンやショットの想定評価値も高く設定されることになる。
想定評価値は、多次元データとして表現することもできる。その場合には、各次元の想定評価値データの前に、その次元の意味を示す識別子を付加する。
<反応値の測定および認識評価値の算出>
反応値入力部61は、各種のセンサと信号処理部によって構成され、信号処理部において、センサ出力の測定データにつき、微分、積分、相関演算などの演算処理が行われることによって、反応値が得られる。
ただし、反応値入力部61としては、センサ部分とインタフェース部分のみを備え、システムコントローラ7でセンサ出力が処理されることによって、反応値が算出される構成としてもよい。
視聴者の反応を測定するセンサは、視聴者が座る座席の座面、背もたれ、肘掛などの部分、視聴者が装着するヘッドセットのイヤパッドやヘッドバンド、視聴者が操作するリモートコマンダなどに取り付けられる。
反応値としては、視聴者の反応として測定されたデータそのものと、反応値解析部62で反応値入力部61からの測定データを解析することによって得られるデータとがある。
具体的に、視聴者の反応として測定する項目は、心電図、呼吸数、呼吸周期、筋電図、脳血流量、脳波、発汗量、皮膚温度、瞳孔径、開眼度、瞬き、表情、手足の血流量、耳たぶの血流量、手足の温度などである。
また、映画やゲーム、後述の放送受信装置の場合の視聴者参加型ドラマなどでは、反応値として、視聴者の能動的行動の観測によって得られた値、例えば、視聴者が発生した音声のピッチ周波数やその変動、声の大きさやその変動、操作レバーを動かすときの動きの滑らかさや力の大きさなどを用いることができる。
反応値解析部62で、これらの測定データを解析することによって得られるデータは、例えば、瞬きの時点を示すデータから算出される、瞬きの無い時間の間隔を示すデータや、開眼度と瞬きの無い時間の変動、口の表情などから算出される、笑いの区間を示すデータなどである。
さらに、反応値解析部62では、開眼度、瞳孔径の変化や筋電図(手足の筋肉の緊張度)から、驚きの区間を示すデータを算出することができ、発汗量、心拍数およびその上昇度、瞳孔径の変化、手足の血流量の変化、手足の温度の変化などから、緊張の区間を示すデータを算出することができる。
複数の測定データから新たな反応値を算出する方法としては、各測定データを線形結合する方法などを用いることができる。
認識評価値算出部63では、反応値入力部61から入力された反応値、および反応値解析部62で算出された反応値から、コンテンツに対する視聴者の印象や評価が認識評価値として算出される。
具体的な認識評価値としては、興味や関心の程度を示す評価値、印象の強さを示す評価値、好ましさの程度を示す評価値、恐怖の程度を示す評価値などが算出される。
興味や関心の程度を示す認識評価値は、開眼度、瞬き度、心拍数などの関数として算出される。印象の強さを示す認識評価値は、開眼度、心拍数、発汗量などの関数として算出される。好ましさの程度を示す認識評価値は、心拍数の安定性や発汗量の安定性、手足の温度、手足の血流量などから算出される。恐怖の程度を示す認識評価値は、驚き度や緊張度などから算出される。
なお、ここでの認識評価値は、認識の意味を考えて定義され、算出されるものであって、それぞれが独立であるとは限らない。
想定評価値と同様に、認識評価値は、多次元データとして表現することもできる。その場合には、各次元の意味を示す識別子を付加して、認識評価値データとする。この場合、制御評価値算出部53での、多次元データとして表現された想定評価値と、同じく多次元データとして表現された認識評価値との比較は、例えば、多次元ベクトルの方向および大きさを比較することによって行う。
反応値や認識評価値は、時々刻々と測定または算出することもできるが、呈示されたコンテンツのシーンやショットなど、コンテンツの区切りごとに測定または算出してもよい。この場合、シーンやショットなどの区間を示す情報は、コンテンツとともに光ディスク1に記録されているものでもよいが、再生された映像や音響の特徴から、システムコントローラ7がシーンやショットなどの区間を検出する構成とすることもできる。
<制御評価値の算出とコンテンツの呈示制御>
各種の反応値、またはこれから算出された認識評価値を見れば、呈示されたコンテンツに対する視聴者の心理状態が分かる。また、あらかじめコンテンツ提供者によって設定された想定評価値と、各種の反応値から算出された認識評価値とを比較することによって、視聴者がコンテンツ提供者が期待した通りの心理状態にあるか否かが分かる。
第1の実施形態では、さらに、この想定評価値と認識評価値の比較結果を、コンテンツの呈示制御に積極的に利用するものである。
具体的に、想定評価値と認識評価値を比較した結果、例えば、視聴者が予想より怖がっていないと判断される場合には、以降のシーンやショットでの映像の明るさや音響のレベルなどの映像音響特性を変え、または以降のストーリー展開を変える。
また、例えば、視聴者が予想より楽しんでいない、予想より興味を示していない、予想よりそのシーンに集中していない、と判断される場合には、以降のストーリー展開を変える。
ストーリー展開の変え方としては、一つには、後の展開を暗示するようなシーン、または以前のシーンから予想できるようなシーンを挿入することによって、ストーリー展開を予想できるようにする。これによって、視聴者のストーリーへの注目度を高めることができる。あるいは逆に、ストーリー展開を暗示するシーン内容を変え、または削除することによって、ストーリー展開を容易に予想できないようにし、ストーリー展開に飽きないようにする。
ストーリーやシーンまたはショットを変更する場合には、視聴者が示した過去の反応値または認識評価値の履歴を参考にすることができる。その履歴は、そのとき呈示されているコンテンツに対する、それまでの反応値または認識評価値を記憶しておいたものでも、視聴者が過去に視聴した別のコンテンツに対する反応値または認識評価値を記憶しておいたものでもよい。
具体的に、図1の例では、光ディスク1からコンテンツが読み出され、映像表示装置および音響出力装置に出力できるようにデコードされると同時に、光ディスク1からシーンまたはショットごとの想定評価値が読み出される。
光ディスク1から読み出された想定評価値は、コンテンツ呈示時刻情報と関連づけられたものである。したがって、システムコントローラ7は、例えば、「呈示時刻01:25:30から呈示時刻01:26:20までは、識別子の示す意味において想定評価値は40である」というように、シーンまたはショットごとの想定評価値を認識することができる。
一方、コンテンツがデコードされ、再生されると同時に、視聴者の反応が反応値として測定され、再生されたコンテンツに対する視聴者の印象や評価を示す認識評価値が算出されて、その認識評価値が、光ディスク1から読み出された想定評価値と比較される。
そして、システムコントローラ7は、想定評価値と認識評価値の比較結果から、評価対象のシーンまたはショットでの想定評価値と認識評価値の差が、あらかじめ設定された許容範囲内であるか否かを判断するとともに、過去のシーンまたはショットでの想定評価値と認識評価値の差との関係で、想定評価値と認識評価値の差が広がっているか、縮まっているか、認識評価値は増加傾向であるのが好ましいのか、減少傾向であるのが好ましいのか、認識評価値として極大値や極小値をとるのが好ましいのかなど、想定評価値と認識評価値の差および認識評価値の変化の傾向を判断する。
例えば、想定評価値と認識評価値の差が許容範囲内であっても、それが大きくなっているときには、視聴者の反応(評価)が予想した方向と異なる方向になっていると判断する。
システムコントローラ7は、このような判断結果に基づいて、コンテンツの再生特性を制御し、コンテンツのストーリー展開を変更する。
コンテンツの再生特性は、映像については、輝度、コントラスト、彩度、色合い(色相)などであり、音響については、周波数特性やレベルなどである。
ストーリー展開の変更は、例えば、あるシーンを呈示するとき、複数のシーンの中から一つを選択して呈示し、またはシーンを構成する一部のショットを入れ替えて呈示する、などの方法によって行う。
ストーリー展開を変更するために、シーンまたはショットの入れ替えを随時、行うように構成することもできるが、所定の場面に限ってシーンまたはショットの入れ替えを許可するように構成することもできる。
選択可能な複数のシーンには、コンテンツに対する視聴者の感じ方の流れを制御するために、「起承転結」など、認識評価の意味付けや方向付けに関する指標を、あらかじめ付けておき、システムコントローラ7が、その指標と、想定評価値と認識評価値の比較結果とから、呈示するシーンを選択するように、光ディスク再生装置を構成する。
ショットの入れ替えについても、同様に、ショットについての指標を付けておき、その指標と、想定評価値と認識評価値の比較結果とから、シーンを構成するショットが選択されるように、光ディスク再生装置を構成する。
<効果>
以上の例によれば、視聴者に感じてほしい、興味や関心を持ってほしい、というような、コンテンツ提供者が期待した印象や評価を、視聴者に与えることができる。また、想定評価値と認識評価値の差および認識評価値の変化の傾向から、視聴者が興味や関心を示す事項を推測して、コンテンツの再生特性やストーリー展開を、視聴者が興味や関心を示す方向に変化させることもできる。
(コンテンツ再生装置の他の例:図2〜図4)
図1の例は、反応値入力部61からの反応値から認識評価値算出部63で認識評価値を算出する場合であるが、視聴者が各項目についての認識評価値を直接入力する構成とすることもできる。
図2は、この場合の例を示し、図1の例の反応値入力部61、反応値解析部62および認識評価値算出部63に代えて、認識評価値入力部64を設ける。
認識評価値入力部64は、例えば、興味や関心の程度は「−2」、好ましさの程度は「+3」というように、視聴者が各項目についての認識評価値を数値で入力する構成とし、または、認識評価値の各項目ごとにレバーを設け、視聴者が各レバーをプラス方向またはマイナス方向にスライドさせる構成とする。
あるいは、認識評価値入力部64を、マイクロホンと音声認識機能を有する信号処理部とからなるものとして、「全く興味がない」「非常に好ましい」などというように、視聴者が各項目についての認識評価値を音声で入力する構成とすることもできる。
この例によっても、コンテンツ提供者が意図した印象や評価を視聴者に与えることができるとともに、視聴者が興味や関心を示す事項を推測して、コンテンツの再生特性やストーリー展開を、視聴者が興味や関心を示す方向に変化させることもできる。
図1および図2の例は、光ディスク1にコンテンツおよび想定評価値が記録されている場合であるが、想定評価値はコンテンツとは別に、送信元から受信するようにしてもよい。
図3は、この場合の一例を示す。光ディスク1は、想定評価値が記録されていない点を除いて、図1および図2の例と同じである。
ただし、送信元から受信する想定評価値が光ディスク1に記録されているコンテンツと対をなすものであるか否かを照合するために、光ディスク1にはコンテンツ識別情報が記録されており、コンテンツ再生開始時点で、このコンテンツ識別情報が、光ディスク1から読み出されてシステムコントローラ7に取り込まれる。
光ディスク再生装置には、インターネットなどの通信ネットワーク9に接続される通信装置部54が設けられ、コンテンツ識別情報を受信したシステムコントローラ7は、通信装置部54に対して、そのコンテンツ識別情報に対応した想定評価値データを要求する信号を送信元に送ることを指示する。
この指示を受けて、通信装置部54は、送信元との間の通信回線を確保して、送信元にコンテンツ識別情報に対応した想定評価値データを要求する。通信回線を確保できなかった場合には、通信装置部54はシステムコントローラ7にエラーを通知する。送信元との間の通信の結果、送信元が指定された想定評価値データを送信できないことが分かった場合にも、通信装置部54はシステムコントローラ7にエラーを通知する。
送信元から送信され、通信装置部54で受信された想定評価値データは、想定評価値コードバッファ51に書き込まれ、想定評価値コードバッファ51から読み出された後、想定評価値デコーダ52でデコードされる。
反応値入力部61による反応値の測定、反応値解析部62での反応値の算出、認識評価値算出部63での認識評価値の算出、制御評価値算出部53での制御評価値の算出、および、その制御評価値によるコンテンツ呈示制御(コンテンツの再生特性の制御およびストーリー展開の変更)については、図1の例と同じである。
なお、一度受信した想定評価値データを保存しておけば、次に同じコンテンツを再生するとき、想定評価値データを再度受信する必要がないので、システムコントローラ7は、必要に応じて、受信した想定評価値データを、コンテンツ識別情報と対応づけて、再生装置内の記憶装置部、または再生装置に装着または接続される外部の記憶装置に保存するように、再生装置を構成することもできる。
この例においても、視聴者が各項目についての認識評価値を直接入力する構成とすることができる。
図4は、この場合の例を示し、図3の例の反応値入力部61、反応値解析部62および認識評価値算出部63に代えて、認識評価値入力部64を設ける。認識評価値入力部64の具体的構成は、図2の例と同じである。
(コンテンツ受信装置の一例(放送受信装置):図5および図6)
第1の実施形態のコンテンツ受信装置は、一例として、BSデジタル放送などのデジタルTV放送を受信する装置として構成することができる。
デジタルTV放送では、コンテンツ識別情報として、番組ID(識別子)や番組名などが放送されるとともに、番組やシーンまたはショットに挿入して、その映像特性や音響特性などを記述した情報、いわゆるメタデータを放送することができる。
図5は、放送受信装置の一例を示す。この例では、デジタルTV放送として、コンテンツ(番組の映像データおよび音響データ)に多重化されて、想定評価値データが放送されるとともに、放送受信装置でコンテンツのストーリー展開を変更できるように、放送受信装置で選択可能な複数のシーンまたはショットが放送されるものとする。
受信選局部71では、操作部6での選局操作に基づくシステムコントローラ7の選局制御によって、想定評価値データを含む放送信号が受信選局される。その受信選局された信号は、復調・エラー訂正部72で復調され、エラー訂正された後、記憶装置部73に書き込まれ、記憶装置部73から読み出される。記憶装置部73は、バッファとしても機能するが、コンテンツのストーリー展開の変更用にシーンまたはショットを選択するためのものである。
記憶装置部73から読み出された信号は、デマルチプレクサ13に供給され、デマルチプレクサ13から、それぞれ符号化された映像データ、音響データ、字幕データおよび想定評価値データが、分離されて得られる。その他は、図1の例の光ディスク再生装置と同じである。
そして、この放送受信装置では、制御評価値に基づくシステムコントローラ7の制御により、記憶装置部73から読み出されるシーンまたはショットが選択されることによって、コンテンツのストーリー展開が変えられる。
なお、反応値や認識評価値を、コンテンツ(番組)のシーンまたはショットごとに測定または算出する場合、シーンまたはショットの区間を示す情報は、コンテンツとともに放送されるものでもよいが、再生された映像や音響の特徴から、システムコントローラ7がシーンまたはショットの区間を検出する構成とすることもできる。
放送受信装置についても、視聴者が各項目についての認識評価値を直接入力する構成とすることができる。
図6は、この場合の例を示し、図5の例の反応値入力部61、反応値解析部62および認識評価値算出部63に代えて、認識評価値入力部64を設ける。認識評価値入力部64の具体的構成は、図2の例の光ディスク再生装置と同じである。
(コンテンツ受信装置の他の例:図7および図8)
第1の実施形態のコンテンツ受信装置は、別の例として、コンテンツ送信要求によって送信元から送信されたコンテンツおよび想定評価値を受信する装置として構成することもできる。
図7は、この場合のコンテンツ受信装置の一例を示す。このコンテンツ受信装置では、送信装置部85によって、インターネットなどの通信ネットワーク9を介して送信元に、コンテンツおよび想定評価値データの送信を要求し、受信装置部81によって、通信ネットワーク9を介して送信元から、コンテンツおよび想定評価値データを受信する。
操作部6での操作に基づいて、システムコントローラ7は、送信装置部85に対して、コンテンツ識別情報を送って、それに対応したコンテンツおよび想定評価値データを要求する信号を送信元に送ることを指示する。
この指示を受けて、送信装置部85は、送信元との間の通信回線を確保して、送信元にコンテンツ識別情報に対応したコンテンツおよび想定評価値データを要求する。通信回線を確保できなかった場合には、送信装置部85はシステムコントローラ7にエラーを通知する。送信元との間の通信の結果、送信元が指定されたコンテンツおよび想定評価値データを送信できないことが分かった場合にも、送信装置部85はシステムコントローラ7にエラーを通知する。
送信元から送信され、受信装置部81で受信されたコンテンツおよび想定評価値データは、復調・エラー訂正部82で復調され、エラー訂正された後、記憶装置部83に書き込まれ、記憶装置部83から読み出される。
コンテンツ受信装置でコンテンツのストーリー展開を変更できるように、送信元は、コンテンツ受信装置で選択可能な複数のシーンまたはショットを送信するものとする。記憶装置部83は、バッファとしても機能するが、コンテンツのストーリー展開の変更用にシーンまたはショットを選択するためのものである。
記憶装置部83から読み出された信号は、デマルチプレクサ13に供給され、デマルチプレクサ13から、それぞれ符号化された映像データ、音響データ、字幕データおよび想定評価値データが、分離されて得られる。その他は、図5の例の放送受信装置と同じである。
そして、このコンテンツ受信装置では、制御評価値に基づくシステムコントローラ7の制御により、記憶装置部83から読み出されるシーンまたはショットが選択されることによって、コンテンツのストーリー展開が変えられる。
コンテンツおよび想定評価値の情報量が多い場合には、視聴の進行に応じて送信元からコンテンツおよび想定評価値が送信されるように、システムを構成することもでき、その場合には、コンテンツの進行を示すタイムスタンプやアドレス情報によって、コンテンツおよび想定評価値の送信の中断および再開が制御されるように、システムを構成する。
なお、一度受信したコンテンツおよび想定評価値データを保存しておけば、同じコンテンツおよび想定評価値データを再度受信する必要がないので、システムコントローラ7は、必要に応じて、受信したコンテンツおよび想定評価値データを、コンテンツ識別情報と対応づけて、受信装置内の記憶装置部、または受信装置に装着または接続される外部の記憶装置に保存するように、受信装置を構成することもできる。
この場合のコンテンツ受信装置についても、視聴者が各項目についての認識評価値を直接入力する構成とすることができる。
図8は、この場合の例を示し、図7の例の反応値入力部61、反応値解析部62および認識評価値算出部63に代えて、認識評価値入力部64を設ける。認識評価値入力部64の具体的構成は、図2の例の光ディスク再生装置と同じである。
(コンテンツ呈示制御の他の例)
上述したコンテンツ呈示制御に係る発明は、光ディスク以外の記録媒体からコンテンツを再生する装置、あるいは、コンテンツが映像情報のみからなる場合、または音響情報のみからなる場合にも、適用することができる。
〔コンテンツ評価収集解析の実施形態:図10〜図19〕
第2の実施形態として、再生または受信されたコンテンツに対する視聴者の評価を収集し、解析する場合を、以下に示す。
(コンテンツ再生装置の一例:図10および図11)
図10は、第2の実施形態のコンテンツ再生装置としての光ディスク再生装置の一例を示す。
光ディスク1には、コンテンツが記録されている。この場合のコンテンツは、映画などの映像情報および音響情報で、具体的には、映像データおよび音響データが、MPEG方式によって圧縮符号化され、多重化されて、光ディスク1に記録されている。
さらに、光ディスク1には、デコード・タイムスタンプなどのデコード時刻情報、およびプレゼンテーション・タイムスタンプなどのコンテンツ呈示時刻情報(再生時刻情報)が記録されている。
<再生装置の概要>
光ディスク1は、ディスクモータ3によって駆動される。光ヘッド(ピックアップ)4は、送りモータとトラッキング用およびフォーカシング用のアクチュエータを含むドライブニユット5によって駆動される。
操作部6での視聴者の再生操作によって、システムコントローラ7は、ドライブユニット5に光ディスク1の再生を指示し、光ヘッド4によって、光ディスク1から信号が読み出される。その読み出された信号は、復調・エラー訂正部11で復調され、エラー訂正された後、バッファ12に書き込まれ、バッファ12から読み出される。
バッファ12から読み出された信号は、デマルチプレクサ13に供給され、デマルチプレクサ13から、それぞれ符号化された映像データ、音響データおよび字幕データが、分離されて得られる。
その映像データ、音響データおよび字幕データは、それぞれ、ビデオコードバッファ21、オーディオコードバッファ31および字幕コードバッファ41に書き込まれ、ビデオコードバッファ21、オーディオコードバッファ31および字幕コードバッファ41から読み出された後、それぞれ、ビデオデコーダ22、オーディオデコーダ32および字幕デコーダ42でデコードされる。
システムコントローラ7は、上記のデコード・タイムスタンプのようなタイミング情報に基づいて、各デコーダ22,32,42におけるデコードタイミングを制御し、上記のプレゼンテーション・タイムスタンプのようなタイミング情報に基づいて、各デコーダ22,32,42からのデータの時系列を整合させるように、各デコーダ22,32,42における出力タイミングを制御する。
ビデオデコーダ22からの映像データ、および字幕デコーダ42からの字幕データは、ビデオ処理部23に供給され、ビデオ処理部23において、映像信号中に字幕信号がスーパーインポーズされる。
ビデオ処理部23の出力の映像信号は、ビデオ出力端子24に導出され、ビデオ出力端子24から、CRTディスプレイや液晶ビデオプロジェクタなどの映像表示装置に送出される。
映像信号は、ビデオ処理部23でアナログ映像信号に変換されることなくデジタル映像データのまま、D/A変換部を備える映像表示装置に送出され、またはビデオ処理部23でアナログ映像信号に変換されて、映像表示装置に送出される。
オーディオデコーダ32からの音響データは、オーディオ処理部33で処理され、オーディオ処理部33の出力の音響信号は、オーディオ出力端子34に導出され、オーディオ出力端子34から、スピーカやヘッドホンなどの音響出力装置に送出される。
音響信号も、オーディオ処理部33でアナログ音響信号に変換されることなくデジタル音響データのまま、D/A変換部を備える音響出力装置に送出され、またはオーディオ処理部33でアナログ音響信号に変換されて、音響出力装置に送出される。
光ディスク1からコンテンツが再生されると、映像表示装置で表示された映像および音響出力装置から出力された音響を視聴した視聴者の反応が、反応値として反応値入力部61から入力される。システムコントローラ7は、光ディスク1からのコンテンツの再生と同時に、反応値入力部61によって視聴者の反応を測定する。
反応値入力部61から入力された反応値は、反応値解析部62で解析されて、反応値解析部62で別の反応値が算出される。さらに、認識評価値算出部63では、反応値入力部61から入力された反応値、および反応値解析部62で算出された反応値から、光ディスク1から再生されたコンテンツに対する視聴者の印象や評価を示す認識評価値が算出される。
算出された認識評価値の情報は、コンテンツ呈示時刻情報と関連づけられたものであり、多重化部65において、システムコントローラ7からの後述のコンテンツ識別情報、送信元識別情報および視聴者情報と多重化され、その多重化後のデータが、バッファ66に書き込まれ、バッファ66から読み出された後、通信装置部67によって、インターネットなどの通信ネットワーク9を介して集計センターに送信される。
なお、図10では、反応値入力部61、反応値解析部62、認識評価値算出部63、多重化部65およびシステムコントローラ7を、機能的に分離して示しているが、反応値入力部61の信号処理や、反応値解析部62、認識評価値算出部63および多重化部65の機能は、システムコントローラ7の一部の機能として構成することもできる。
<反応値の測定および認識評価値の算出>
反応値入力部61は、各種のセンサと信号処理部によって構成され、信号処理部において、センサ出力の測定データにつき、微分、積分、相関演算などの演算処理が行われることによって、反応値が得られる。
ただし、反応値入力部61としては、センサ部分とインタフェース部分のみを備え、システムコントローラ7でセンサ出力が処理されることによって、反応値が算出される構成としてもよい。
視聴者の反応を測定するセンサは、視聴者が座る座席の座面、背もたれ、肘掛などの部分、視聴者が装着するヘッドセットのイヤパッドやヘッドバンド、視聴者が操作するリモートコマンダなどに取り付けられる。
反応値としては、視聴者の反応として測定されたデータそのものと、反応値解析部62で反応値入力部61からの測定データを解析することによって得られるデータとがある。
具体的に、視聴者の反応として測定する項目は、心電図、呼吸数、呼吸周期、筋電図、脳血流量、脳波、発汗量、皮膚温度、瞳孔径、開眼度、瞬き、表情、手足の血流量、耳たぶの血流量、手足の温度などである。
また、映画やゲーム、後述の放送受信装置の場合の視聴者参加型ドラマなどでは、反応値として、視聴者の能動的行動の観測によって得られた値、例えば、視聴者が発生した音声のピッチ周波数やその変動、声の大きさやその変動、操作レバーを動かすときの動きの滑らかさや力の大きさなどを用いることができる。
反応値解析部62で、これらの測定データを解析することによって得られるデータは、例えば、瞬きの時点を示すデータから算出される、瞬きの無い時間の間隔を示すデータや、開眼度と瞬きの無い時間の変動、口の表情などから算出される、笑いの区間を示すデータなどである。
さらに、反応値解析部62では、開眼度、瞳孔径の変化や筋電図(手足の筋肉の緊張度)から、驚きの区間を示すデータを算出することができ、発汗量、心拍数およびその上昇度、瞳孔径の変化、手足の血流量の変化、手足の温度の変化などから、緊張の区間を示すデータを算出することができる。
複数の測定データから新たな反応値を算出する方法としては、各測定データを線形結合する方法などを用いることができる。
認識評価値算出部63では、反応値入力部61から入力された反応値、および反応値解析部62で算出された反応値から、コンテンツに対する視聴者の印象や評価が認識評価値として算出される。
具体的な認識評価値としては、興味や関心の程度を示す評価値、印象の強さを示す評価値、好ましさの程度を示す評価値、恐怖の程度を示す評価値などが算出される。
興味や関心の程度を示す認識評価値は、開眼度、瞬き度、心拍数などの関数として算出される。印象の強さを示す認識評価値は、開眼度、心拍数、発汗量などの関数として算出される。好ましさの程度を示す認識評価値は、心拍数の安定性や発汗量の安定性、手足の温度、手足の血流量などから算出される。恐怖の程度を示す認識評価値は、驚き度や緊張度などから算出される。
なお、ここでの認識評価値は、認識の意味を考えて定義され、算出されるものであって、それぞれが独立であるとは限らない。
認識評価値は、多次元データとして表現することもできる。その場合には、各次元の意味を示す識別子を付加して、認識評価値データとする。
反応値や認識評価値は、時々刻々と測定または算出することもできるが、再生されたコンテンツのシーンやショットなど、コンテンツの区切りごとに測定または算出してもよい。この場合、シーンやショットなどの区間を示す情報は、コンテンツとともに光ディスク1に記録されているものでもよいが、再生された映像や音響の特徴から、システムコントローラ7がシーンやショットなどの区間を検出する構成とすることもできる。
<データの送信>
認識評価値算出部63で算出された認識評価値は、コンテンツ呈示時刻情報と関連づけられたものであり、後述のように集計センターで受信したとき、コンテンツのどの部分についてのものであるかが分かるものである。
コンテンツ識別情報は、コンテンツを特定する情報で、コンテンツそれ自体に付加されたものに限らず、例えば、光ディスク1に一つのコンテンツしか記録されてなく、かつディスク識別情報(ディスクを特定する情報)が記録されている場合には、そのディスク識別情報をコンテンツ識別情報とすることができる。また、光ディスク1に一つのコンテンツしか記録されてなく、かつディスク識別情報が記録されていない場合には、ディスクに含まれるチャプタ数と上演時間とを組合せるなど、ディスクのヘッダ情報を所定の規則で組合せて、ディスク識別情報とし、コンテンツ識別情報とすることができる。
送信元識別情報は、端末装置、この例ではコンテンツ再生装置としての光ディスク再生装置を特定する情報、または視聴者を特定する情報である。
端末装置を特定する情報は、あらかじめ端末装置の製造者などによってシステムコントローラ7に設定される。視聴者を特定する情報は、あらかじめ操作部6での入力操作によってシステムコントローラ7に設定され、または、これが書き込まれたメモリカードのような外部記憶媒体が端末装置に装着されることによってシステムコントローラ7に設定される。
視聴者情報は、具体的には、視聴者の年齢、性別、居住地域、趣味など、視聴者の属性を示す情報や、視聴者が過去に視聴したコンテンツの履歴を示す情報などである。視聴者情報は、あらかじめ操作部6での入力操作によってシステムコントローラ7に設定され、または、これが書き込まれたメモリカードのような外部記憶媒体が端末装置に装着されることによってシステムコントローラ7に設定される。
視聴者情報は、必ずしも送信される必要はないが、これが送信される場合には、後述のように、集計センターにおいて、同じコンテンツに対する視聴者の評価が、視聴者の属性ごとに、どのように相違するかなど、視聴者の属性を考慮した解析を行うことができる。
コンテンツ呈示時刻情報が付加された認識評価値情報、コンテンツ識別情報、送信元識別情報および視聴者情報は、コンテンツ呈示時刻情報が付加された認識評価値情報をデータ部とし、送信元識別情報、視聴者情報およびコンテンツ識別情報をヘッダ部として、多重化部65で多重化されて、通信装置部67によって集計センターに送信される。
認識評価値情報は、5秒、30秒などというような所定時間間隔で、その都度送信され、またはコンテンツの再生が全て終了した時点で、まとめて送信される。いずれの場合にも、上記の各情報は、バッファ66に一時記憶された後、通信装置部67によって集計センターに送信される。
映画などのように長時間のコンテンツは、視聴者が何回かに分けて視聴することも考えられる。このようにコンテンツの途中で再生を一時停止した場合には、システムコントローラ7が、その停止した箇所を特定する情報や、その箇所での認識評価値およびコンテンツ呈示時刻情報を保持して、同じコンテンツについての次回のコンテンツ再生およびデータ送信の用に供するように、光ディスク再生装置を構成する。
<認識評価値を直接入力する場合:図11>
図10の例は、反応値入力部61からの反応値から認識評価値算出部63で認識評価値を算出する場合であるが、視聴者が各項目についての認識評価値を直接入力する構成とすることもできる。
図11は、この場合の例を示し、図10の例の反応値入力部61、反応値解析部62および認識評価値算出部63に代えて、認識評価値入力部64を設ける。
認識評価値入力部64は、例えば、興味や関心の程度は「−2」、好ましさの程度は「+3」というように、視聴者が各項目についての認識評価値を数値で入力する構成とし、または、認識評価値の各項目ごとにレバーを設け、視聴者が各レバーをプラス方向またはマイナス方向にスライドさせる構成とする。
あるいは、認識評価値入力部64を、マイクロホンと音声認識機能を有する信号処理部とからなるものとして、「全く興味がない」「非常に好ましい」などというように、視聴者が各項目についての認識評価値を音声で入力する構成とすることもできる。
(コンテンツ再生装置の他の例:図12)
図12は、第2の実施形態のコンテンツ再生装置としての光ディスク再生装置の他の例を示す。
この例では、光ディスク1には、コンテンツとともに、これについての想定評価値が記録されている。想定評価値は、視聴者がコンテンツを視聴したときのコンテンツに対する印象や評価を想定したものであり、呈示する映像の種類や明るさ、呈示する音響の種類やレベル(音の大きさ)、呈示するコンテンツのストーリー展開などを考慮して、コンテンツ提供者(制作者)が設定したものである。
呈示されるコンテンツには、多くの場合、物語性があり、呈示された視聴者の心理状態も、ストーリー展開によって変化するのが普通である。そのため、同じ映像や音響であっても、場面によって、それに対する感じ方や解釈など、印象や評価が異なることが予想される。したがって、想定評価値は、映像や音響の特性(映像の明るさや音響のレベルなどの物理的性質)のほかに、呈示されるコンテンツの物語性も考慮して、コンテンツのシーンやショットなど、コンテンツの区切りごとに設定される。当然、視聴者に注目してほしいシーンやショットは、興味や関心の程度を示す認識評価値が高くなるように映像音響的に工夫することになるので、そのシーンやショットの想定評価値も高く設定されることになる。
上述した各種の反応値から算出された認識評価値と、その時間経過を見れば、呈示されたコンテンツに対する視聴者の心理状態が分かる。また、あらかじめコンテンツ提供者によって上記のように設定された想定評価値と、各種の反応値から算出された認識評価値とを比較することによって、視聴者がコンテンツ提供者が期待した通りの心理状態にあるか否かが分かる。さらに、この想定評価値と認識評価値の比較結果を、コンテンツの呈示制御に積極的に利用することもできる。
図12は、その場合の例を示す。想定評価値データは、符号化され、この例では、映像データおよび音響データに多重化されて、光ディスク1に記録されている。想定評価値の時間軸管理および多重化の具体的な方法は、コンテンツ呈示制御に係る第1の実施形態と同じである。
<再生装置の概要>
光ディスク1からコンテンツが再生されると同時に、光ディスク1から想定評価値データが読み出される。読み出された想定評価値データは、デマルチプレクサ13で分離されて、想定評価値コードバッファ51に書き込まれ、想定評価値コードバッファ51から読み出された後、想定評価値デコーダ52でデコードされる。
一方、コンテンツが再生されると同時に、図10の例と同様に、反応値入力部61で、視聴者の反応が反応値として測定され、認識評価値算出部63で、再生されたコンテンツに対する視聴者の印象や評価を示す認識評価値が算出される。
さらに、この例では、システムコントローラ7で、想定評価値デコーダ52でデコードされた想定評価値と、認識評価値算出部63で算出された認識評価値とが比較され、その結果が評価される。
認識評価値と同様に、想定評価値は、多次元データとして表現することもできる。その場合には、各次元の想定評価値データの前に、その次元の意味を示す識別子が付加される。このように想定評価値および認識評価値が多次元データとして表現される場合には、システムコントローラ7での想定評価値と認識評価値の比較は、例えば、多次元ベクトルの方向および大きさを比較することによって行う。
光ディスク1から読み出された想定評価値も、コンテンツ呈示時刻情報と関連づけられたものである。したがって、システムコントローラ7は、例えば、「呈示時刻01:25:30から呈示時刻01:26:20までは、識別子の示す意味において想定評価値は40である」というように、シーンまたはショットごとの想定評価値を認識することができる。
<コンテンツの呈示制御>
システムコントローラ7は、想定評価値と認識評価値の比較結果から、コンテンツの再生特性を制御する制御信号、およびコンテンツのストーリー展開を変更する制御信号を生成し、前者の制御信号をビデオ処理部23およびオーディオ処理部33に送出して、映像および音響の再生特性を制御し、後者の制御信号をドライブニユット5に送出して、光ディスク1の再生場所や再生順序を変更する。
具体的に、システムコントローラ7は、評価対象のシーンまたはショットでの想定評価値と認識評価値の差が、あらかじめ設定された許容範囲内であるか否かを判断するとともに、過去のシーンまたはショットでの想定評価値と認識評価値の差との関係で、想定評価値と認識評価値の差が広がっているか、縮まっているか、認識評価値は増加傾向であるのが好ましいのか、減少傾向であるのが好ましいのか、認識評価値として極大値や極小値をとるのが好ましいのかなど、想定評価値と認識評価値の差および認識評価値の変化の傾向を判断する。
例えば、想定評価値と認識評価値の差が許容範囲内であっても、それが大きくなっているときには、視聴者の反応(評価)が予想した方向と異なる方向になっていると判断する。
システムコントローラ7は、このような判断結果に基づいて、コンテンツの再生特性を制御し、コンテンツのストーリー展開を変更する。
具体的に、想定評価値と認識評価値の比較結果から、例えば、視聴者が予想より怖がっていないと判断される場合には、以降のシーンやショットでの映像の明るさや音響のレベルなどの映像音響特性を変え、または以降のストーリー展開を変える。
また、例えば、視聴者が予想より楽しんでいない、予想より興味を示していない、予想よりそのシーンに集中していない、と判断される場合には、以降のストーリー展開を変える。
ストーリー展開の変え方としては、一つには、後の展開を暗示するようなシーン、または以前のシーンから予想できるようなシーンを挿入することによって、ストーリー展開を予想できるようにする。これによって、視聴者のストーリーへの注目度を高めることができる。あるいは逆に、ストーリー展開を暗示するシーン内容を変え、または削除することによって、ストーリー展開を容易に予想できないようにし、ストーリー展開に飽きないようにする。
ストーリーやシーンまたはショットを変更する場合には、視聴者が示した過去の反応値または認識評価値の履歴を参考にすることができる。その履歴は、そのとき呈示されているコンテンツに対する、それまでの反応値または認識評価値を記憶しておいたものでも、視聴者が過去に視聴した別のコンテンツに対する反応値または認識評価値を記憶しておいたものでもよい。
コンテンツの再生特性は、映像については、輝度、コントラスト、彩度、色合い(色相)などであり、音響については、周波数特性やレベルなどである。
ストーリー展開の変更は、例えば、あるシーンを呈示するとき、複数のシーンの中から一つを選択して呈示し、またはシーンを構成する一部のショットを入れ替えて呈示する、などの方法によって行う。
ストーリー展開を変更するために、シーンまたはショットの入れ替えを随時、行うように構成することもできるが、所定の場面に限ってシーンまたはショットの入れ替えを許可するように構成することもできる。
選択可能な複数のシーンには、コンテンツに対する視聴者の感じ方の流れを制御するために、「起承転結」など、認識評価の意味付けや方向付けに関する指標を、あらかじめ付けておき、システムコントローラ7が、その指標と、想定評価値と認識評価値の比較結果とから、呈示するシーンを選択するように、光ディスク再生装置を構成する。
ショットの入れ替えについても、同様に、ショットについての指標を付けておき、その指標と、想定評価値と認識評価値の比較結果とから、シーンを構成するショットが選択されるように、光ディスク再生装置を構成する。
<認識評価値を直接入力する場合>
この例においても、反応値入力部61、反応値解析部62および認識評価値算出部63に代えて、認識評価値入力部を設けて、視聴者が各項目についての認識評価値を直接入力する構成とすることができる。
(コンテンツ受信装置の一例(放送受信装置):図13および図14)
第2の実施形態のコンテンツ受信装置は、一例として、BSデジタル放送などのデジタルTV放送を受信する装置として構成することができる。
デジタルTV放送では、コンテンツ識別情報として、番組ID(識別子)や番組名などが放送されるとともに、番組やシーンまたはショットに挿入して、その映像特性や音響特性などを記述した情報、いわゆるメタデータを放送することができる。
図13は、放送受信装置の一例を示す。受信選局部71では、操作部6での選局操作に基づくシステムコントローラ7の選局制御によって、放送信号が受信選局される。その受信選局された信号は、復調・エラー訂正部72で復調され、エラー訂正された後、バッファとして機能する記憶装置部73に書き込まれ、記憶装置部73から読み出される。
記憶装置部73から読み出された信号は、デマルチプレクサ13に供給され、デマルチプレクサ13から、それぞれ符号化された映像データ、音響データおよび字幕データが、分離されて得られる。その他は、図10の例の光ディスク再生装置と同じである。
なお、反応値や認識評価値を、コンテンツ(番組)のシーンまたはショットごとに測定または算出する場合、シーンまたはショットの区間を示す情報は、コンテンツとともに放送されるものでもよいが、再生された映像や音響の特徴から、システムコントローラ7がシーンまたはショットの区間を検出する構成とすることもできる。
図14は、放送受信装置の他の例を示す。この例では、デジタルTV放送として、コンテンツ(番組の映像データおよび音響データ)に多重化されて、上述した想定評価値データが放送されるとともに、放送受信装置でコンテンツのストーリー展開を変更できるように、放送受信装置で選択可能な複数のシーンまたはショットが放送されるものとする。
受信選局部71では、想定評価値データを含む放送信号が受信選局され、その受信選局された信号は、復調・エラー訂正部72で復調され、エラー訂正された後、記憶装置部73に書き込まれ、記憶装置部73から読み出される。記憶装置部73は、バッファとしても機能するが、コンテンツのストーリー展開の変更用にシーンまたはショットを選択するためのものである。
記憶装置部73から読み出された信号は、デマルチプレクサ13に供給され、デマルチプレクサ13から、それぞれ符号化された映像データ、音響データ、字幕データおよび想定評価値データが、分離されて得られる。その他は、図12の例の光ディスク再生装置と同じである。
そして、この放送受信装置では、想定評価値と認識評価値の比較結果に基づくシステムコントローラ7の制御により、記憶装置部73から読み出されるシーンまたはショットが選択されることによって、コンテンツのストーリー展開が変えられる。
図13または図14の例の放送受信装置についても、反応値入力部61、反応値解析部62および認識評価値算出部63に代えて、認識評価値入力部を設け、視聴者が各項目についての認識評価値を直接入力する構成とすることができる。
(コンテンツ受信装置の他の例:図15および図16)
第2の実施形態のコンテンツ受信装置は、別の例として、コンテンツ送信要求によって送信元から送信されたコンテンツを受信する装置として構成することもできる。
図15は、この場合のコンテンツ受信装置の一例を示す。このコンテンツ受信装置では、送信機能と受信機能を備える通信装置部89によって、インターネットなどの通信ネットワーク9を介して送信元に、コンテンツの送信を要求し、通信ネットワーク9を介して送信元から、コンテンツを受信する。
操作部6での操作に基づいて、システムコントローラ7は、通信装置部89に対して、コンテンツ識別情報を送って、それに対応したコンテンツを要求する信号を送信元に送ることを指示する。
この指示を受けて、通信装置部89は、送信元との間の通信回線を確保して、送信元にコンテンツ識別情報に対応したコンテンツを要求する。通信回線を確保できなかった場合には、通信装置部89はシステムコントローラ7にエラーを通知する。送信元との間の通信の結果、送信元が指定されたコンテンツを送信できないことが分かった場合にも、通信装置部89はシステムコントローラ7にエラーを通知する。
送信元から送信され、通信装置部89で受信されたコンテンツは、復調・エラー訂正部82で復調され、エラー訂正された後、バッファとして機能する記憶装置部83に書き込まれ、記憶装置部83から読み出される。
その他は、図13の例の放送受信装置と同じである。ただし、この図15の例では、通信装置部89が同時に、図10〜図14の例の通信装置部67のデータ送信機能を備える。
コンテンツの情報量が多い場合には、視聴の進行に応じて送信元からコンテンツが送信されるように、システムを構成することもでき、その場合には、コンテンツの進行を示すタイムスタンプやアドレス情報によって、コンテンツの送信の中断および再開が制御されるように、システムを構成する。
なお、反応値や認識評価値をコンテンツのシーンまたはショットごとに測定または算出する場合、シーンまたはショットの区間を示す情報は、コンテンツとともに送信元から送信されるものでもよいが、再生された映像や音響の特徴から、システムコントローラ7がシーンまたはショットの区間を検出する構成とすることもできる。
図16は、この場合のコンテンツ受信装置の他の例を示す。この例では、送信元から、コンテンツとともに上述した想定評価値データが送信されるとともに、コンテンツ受信装置でコンテンツのストーリー展開を変更できるように、コンテンツ受信装置で選択可能な複数のシーンまたはショットが送信される。
送信元から送信され、通信装置部89で受信されたコンテンツおよび想定評価値データは、復調・エラー訂正部82で復調され、エラー訂正された後、記憶装置部83に書き込まれ、記憶装置部83から読み出される。記憶装置部83は、バッファとしても機能するが、コンテンツのストーリー展開の変更用にシーンまたはショットを選択するためのものである。
その他は、図14の例の放送受信装置と同じである。ただし、この図16の例では、通信装置部89が同時に、図10〜図14の例の通信装置部67のデータ送信機能を備える。
図15または図16の例のコンテンツ受信装置についても、反応値入力部61、反応値解析部62および認識評価値算出部63に代えて、認識評価値入力部を設け、視聴者が各項目についての認識評価値を直接入力する構成とすることができる。
(収集解析装置および収集解析方法の例:図17〜図19)
第2の実施形態のコンテンツ評価収集解析方法では、集計センターにおいて、図10〜図16の例のような端末装置(コンテンツ再生装置またはコンテンツ受信装置)から送信されたデータを受信して、各情報を検出し、コンテンツに対する視聴者の評価を解析する。
図17は、集計センターに設けられる収集解析装置の一例を示す。この収集解析装置100では、通信装置部101で、図10〜図16の例のような端末装置から、通信ネットワーク9を介して送信されたデータ、すなわち、コンテンツ呈示時刻情報と関連づけられた認識評価値情報、送信元識別情報およびコンテンツ識別情報、さらには視聴者情報が多重化されたデータを受信する。
その受信されたデータは、復調・エラー訂正部102で復調され、エラー訂正された後、バッファ103に書き込まれ、バッファ103から読み出されて、システムコントローラ104に取り込まれる。
システムコントローラ104は、送信元識別情報によって送信元を識別し、コンテンツ識別情報によって評価対象のコンテンツを識別し、視聴者情報によって視聴者の属性を識別して、受信した認識評価値を、コンテンツごとに選別し、視聴者の属性ごとに分類して、記憶装置部105に書き込む。
さらに、システムコントローラ104は、操作部106からの指示によって、記憶装置部105から認識評価値を読み出し、呈示時系列ごとに集計して、コンテンツに対する視聴者の評価を解析する。集計は、認識評価値の時系列変化パターンの近似度によって行う。
記憶装置部105には、あらかじめコンテンツごとに、コンテンツ提供者(制作者)によって設定された上述した想定評価値を書き込んでおくことができ、評価対象のコンテンツについての想定評価値が記憶装置部105に書き込まれている場合には、システムコントローラ104は、その想定評価値と認識評価値を比較することによって、コンテンツに対する視聴者の評価を解析する。
システムコントローラ104での解析結果は、記憶装置部105に記録されるとともに、表示制御部107によってディスプレイ108上に表示される。
図18は、収集解析装置100での収集処理ルーチンの一例を示す。この収集処理ルーチン110では、まずステップ111で、データを受信し、次にステップ112で、データの復調およびエラー訂正を行い、次にステップ113で、送信元識別情報およびコンテンツ識別情報を判別し、次にステップ114で、コンテンツ呈示時刻情報が付加された認識評価値を検出して、送信元識別情報およびコンテンツ識別情報とともに、記憶装置部105に書き込み、次にステップ115で、データ収集を止めるか否かを判断し、データ収集を続行するときには、ステップ111に戻ってステップ111以下の処理を繰り返し、データ収集を止めるときには、収集処理を終了する。
図19は、収集解析装置100での解析処理ルーチンの一例を示す。この解析処理ルーチン120では、まずステップ121で、記憶装置部105から認識評価値を読み出し、次にステップ122で、想定評価値を読み出すか否かを判断し、読み出すときには、ステップ122からステップ123に進んで、記憶装置部105から想定評価値を読み出した上で、ステップ124に進む。記憶装置部105に評価対象のコンテンツについての想定評価値が書き込まれていない場合には、ステップ122から直接、ステップ124に進む。
ステップ124では、想定評価値と認識評価値を比較して、または比較しないで認識評価値のみから、コンテンツに対する視聴者の評価を解析し、次にステップ125に進んで、その解析結果を、記憶装置部105に記録し、ディスプレイ108上に表示する。
ステップ124では、システムコントローラ104は、具体的に以下のような解析を行う。
想定評価値と認識評価値を比較する場合には、図12、図14および図16の例の端末装置につき上述したのと同様に、評価対象のシーンまたはショットでの想定評価値と認識評価値の差が、あらかじめ設定された許容範囲内であるか否かを判断するとともに、過去のシーンまたはショットでの想定評価値と認識評価値の差との関係で、想定評価値と認識評価値の差が広がっているか、縮まっているか、認識評価値は増加傾向であるのが好ましいのか、減少傾向であるのが好ましいのか、認識評価値として極大値や極小値をとるのが好ましいのかなど、想定評価値と認識評価値の差および認識評価値の変化の傾向を判断する。
例えば、想定評価値と認識評価値の差が許容範囲内であっても、それが大きくなっているときには、視聴者の反応(評価)が予想した方向と異なる方向になっていると判断する。
想定評価値と認識評価値を比較しないで認識評価値のみから、コンテンツに対する視聴者の評価を解析する場合にも、認識評価値の大小や変化の傾向から、同様に、呈示されたコンテンツに対する視聴者の心理状態を判断し、視聴者がコンテンツ提供者が期待した通りの心理状態にあるか否かを判断する。
コンテンツ提供者は、ディスプレイ108上に表示された、このシステムコントローラ104の解析結果から、例えば、視聴者が予想より怖がっていないことが分かった場合には、コンテンツを編集し直して、コンテンツの映像の明るさや音響のレベルなどの映像音響特性を変え、ストーリー展開を変えることができる。
また、例えば、視聴者が予想より楽しんでいない、予想より興味を示していない、予想よりそのシーンに集中していない、ことが分かった場合には、コンテンツのストーリー展開を変えることができる。
ストーリーやシーンまたはショットを変更する場合には、視聴者が示した過去の認識評価値の履歴を参考にすることができる。その履歴は、そのとき呈示されたコンテンツに対する、それまでの認識評価値を記憶しておいたものでも、視聴者が過去に視聴した別のコンテンツに対する認識評価値を記憶しておいたものでもよい。
評価対象のコンテンツが、放送または配信された番組やコマーシャルである場合には、コンテンツ提供者は、その番組やコマーシャルについての視聴者の、興味や関心の程度、印象の強さ、好ましく思う程度を、呈示時刻ごとに知ることができる。
受信したデータに視聴者情報が含まれている場合には、コンテンツ提供者は、視聴者の年齢層、性別、居住地域、過去のコンテンツ視聴履歴などごとに、視聴者の興味や好みの傾向を、呈示時刻ごとに解析することができる。
コンテンツが旅行記のようなものであれば、コンテンツ提供者は、視聴者の好みの旅行先、興味があったイベントや宿泊先などを知ることができ、従来の視聴率調査やアンケート調査より視聴者の好みや興味を直接的に反映した調査結果を得ることができる。
(コンテンツ評価収集解析の他の例)
上述したコンテンツ評価収集解析に係る発明は、光ディスク以外の記録媒体からコンテンツを再生する装置、あるいは、コンテンツが映像情報のみからなる場合、または音響情報のみからなる場合にも、適用することができる。
〔コンテンツ評価集計管理の実施形態:図20〜図30〕
第3の実施形態として、再生または受信されたコンテンツに対する視聴者の評価を集計し、管理する場合を、以下に示す。
(コンテンツ再生装置の一例:図20および図21)
図20は、第3の実施形態のコンテンツ再生装置としての光ディスク再生装置の一例を示す。
光ディスク1には、コンテンツが記録されている。この場合のコンテンツは、映画などの映像情報および音響情報で、具体的には、映像データおよび音響データが、MPEG方式によって圧縮符号化され、多重化されて、光ディスク1に記録されている。
さらに、光ディスク1には、デコード・タイムスタンプなどのデコード時刻情報、およびプレゼンテーション・タイムスタンプなどのコンテンツ呈示時刻情報(再生時刻情報)が記録されている。
<再生装置の概要>
光ディスク1は、ディスクモータ3によって駆動される。光ヘッド(ピックアップ)4は、送りモータとトラッキング用およびフォーカシング用のアクチュエータを含むドライブニユット5によって駆動される。
操作部6での視聴者の再生操作によって、システムコントローラ7は、ドライブユニット5に光ディスク1の再生を指示し、光ヘッド4によって、光ディスク1から信号が読み出される。その読み出された信号は、復調・エラー訂正部11で復調され、エラー訂正された後、バッファ12に書き込まれ、バッファ12から読み出される。
バッファ12から読み出された信号は、デマルチプレクサ13に供給され、デマルチプレクサ13から、それぞれ符号化された映像データ、音響データおよび字幕データが、分離されて得られる。
その映像データ、音響データおよび字幕データは、それぞれ、ビデオコードバッファ21、オーディオコードバッファ31および字幕コードバッファ41に書き込まれ、ビデオコードバッファ21、オーディオコードバッファ31および字幕コードバッファ41から読み出された後、それぞれ、ビデオデコーダ22、オーディオデコーダ32および字幕デコーダ42でデコードされる。
システムコントローラ7は、上記のデコード・タイムスタンプのようなタイミング情報に基づいて、各デコーダ22,32,42におけるデコードタイミングを制御し、上記のプレゼンテーション・タイムスタンプのようなタイミング情報に基づいて、各デコーダ22,32,42からのデータの時系列を整合させるように、各デコーダ22,32,42における出力タイミングを制御する。
ビデオデコーダ22からの映像データ、および字幕デコーダ42からの字幕データは、ビデオ処理部23に供給され、ビデオ処理部23において、映像信号中に字幕信号がスーパーインポーズされる。
ビデオ処理部23の出力の映像信号は、ビデオ出力端子24に導出され、ビデオ出力端子24から、CRTディスプレイや液晶ビデオプロジェクタなどの映像表示装置25に送出される。
映像信号は、ビデオ処理部23でアナログ映像信号に変換されることなくデジタル映像データのまま、D/A変換部を備える映像表示装置25に送出され、またはビデオ処理部23でアナログ映像信号に変換されて、映像表示装置25に送出される。
オーディオデコーダ32からの音響データは、オーディオ処理部33で処理され、オーディオ処理部33の出力の音響信号は、オーディオ出力端子34に導出され、オーディオ出力端子34から、スピーカやヘッドホンなどの音響出力装置35に送出される。
音響信号も、オーディオ処理部33でアナログ音響信号に変換されることなくデジタル音響データのまま、D/A変換部を備える音響出力装置35に送出され、またはオーディオ処理部33でアナログ音響信号に変換されて、音響出力装置35に送出される。
光ディスク1からコンテンツが再生されると、映像表示装置25で表示された映像および音響出力装置35から出力された音響を視聴した視聴者の反応が、反応値として反応値入力部61から入力される。システムコントローラ7は、光ディスク1からのコンテンツの再生と同時に、反応値入力部61によって視聴者の反応を測定する。
反応値入力部61から入力された反応値は、反応値解析部62で解析されて、反応値解析部62で別の反応値が算出される。さらに、認識評価値算出部63では、反応値入力部61から入力された反応値、および反応値解析部62で算出された反応値から、光ディスク1から再生されたコンテンツに対する視聴者の印象や評価を示す認識評価値が算出される。
算出された認識評価値の情報は、コンテンツ呈示時刻情報と関連づけられたものであり、多重化部65において、視聴者コード(視聴者を特定するコード)およびコンテンツ識別コード(コンテンツを特定するコード)と多重化される。後述のように、視聴者コードは、コンテンツ再生に先立つ初期設定時、集計管理センターによって割り当てられる。
多重化後のデータは、バッファ66に書き込まれ、バッファ66から読み出された後、通信装置部67によって、インターネットなどの通信ネットワーク9を介して集計管理センターに送信される。
端末装置としての光ディスク再生装置に対しては、あらかじめ装置の製造者などによって、端末コード(端末装置を特定するコード)が設定される。後述のように、この端末コードは、コンテンツ再生に先立つ初期設定時、端末装置(光ディスク再生装置)から集計管理センターに送信される。
システムコントローラ7には、視聴者識別情報入力部91、視聴者プロファイル入力部92、および記憶装置部93が接続される。
視聴者識別情報入力部91は、初期設定時およびコンテンツ再生開始時、視聴者によって視聴者識別情報(視聴者を特定する情報)が入力されるものである。具体的に、視聴者識別情報入力部91は、例えば、視聴者が定められた面に指を押すことによって、視聴者の指紋を視聴者識別情報として読み取り、または、視聴者がマイクロホンに向かって声を発することによって、視聴者の音声ピッチ周波数や声紋などの音声特徴を視聴者識別情報として読み取り、あるいは、視聴者が自身の通称やニックネームなどをアルファベットなどで入力することによって、その通称やニックネームなどを視聴者識別情報として検出するものとされる。
視聴者プロファイル入力部92は、初期設定時、視聴者によって視聴者プロファイルが入力されるものである。視聴者プロファイルは、具体的には、視聴者の年齢、性別、居住地域、趣味など、視聴者の属性を示す情報や、視聴者が過去に視聴したコンテンツの履歴を示す情報などである。
初期設定時、視聴者識別情報入力部91によって入力された視聴者識別情報、および視聴者プロファイル入力部92によって入力された視聴者プロファイルは、記憶装置部93に登録される。集計管理センターによって割り当てられた視聴者コードも、記憶装置部93に登録される。
なお、図20では、反応値入力部61、反応値解析部62、認識評価値算出部63、多重化部65およびシステムコントローラ7を、機能的に分離して示しているが、反応値入力部61の信号処理や、反応値解析部62、認識評価値算出部63および多重化部65の機能は、システムコントローラ7の一部の機能として構成することもできる。
<反応値の測定および認識評価値の算出>
反応値入力部61は、各種のセンサと信号処理部によって構成され、信号処理部において、センサ出力の測定データにつき、微分、積分、相関演算などの演算処理が実行されることによって、反応値が得られる。
ただし、反応値入力部61としては、センサ部分とインタフェース部分のみを備え、システムコントローラ7でセンサ出力が処理されることによって、反応値が算出される構成としてもよい。
視聴者の反応を測定するセンサは、視聴者が座る座席の座面、背もたれ、肘掛などの部分、視聴者が装着するヘッドセットのイヤパッドやヘッドバンド、視聴者が操作するリモートコマンダなどに取り付けられる。
反応値としては、視聴者の反応として測定されたデータそのものと、反応値解析部62で反応値入力部61からの測定データを解析することによって得られるデータとがある。
具体的に、視聴者の反応として測定する項目は、心電図、呼吸数、呼吸周期、筋電図、脳血流量、脳波、発汗量、皮膚温度、瞳孔径、開眼度、瞬き、表情、手足の血流量、耳たぶの血流量、手足の温度などである。
また、映画やゲーム、後述の放送受信装置の場合の視聴者参加型ドラマなどでは、反応値として、視聴者の能動的行動の観測によって得られた値、例えば、視聴者が発生した音声のピッチ周波数やその変動、声の大きさやその変動、操作レバーを動かすときの動きの滑らかさや力の大きさなどを用いることができる。
反応値解析部62で、これらの測定データを解析することによって得られるデータは、例えば、瞬きの時点を示すデータから算出される、瞬きの無い時間の間隔を示すデータや、開眼度と瞬きの無い時間の変動、口の表情などから算出される、笑いの区間を示すデータなどである。
さらに、反応値解析部62では、開眼度・瞳孔径の変化や筋電図(手足の筋肉の緊張度)から、驚きの区間を示すデータを算出することができ、発汗量、心拍数およびその上昇度、瞳孔径の変化、手足の血流量の変化、手足の温度の変化などから、緊張の区間を示すデータを算出することができる。
複数の測定データから新たな反応値を算出する方法としては、各測定データを線形結合する方法などを用いることができる。
認識評価値算出部63では、反応値入力部61から入力された反応値、および反応値解析部62で算出された反応値から、コンテンツに対する視聴者の印象や評価が認識評価値として算出される。
具体的な認識評価値としては、興味や関心の程度を示す評価値、印象の強さを示す評価値、好ましさの程度を示す評価値、恐怖の程度を示す評価値などが算出される。
興味や関心の程度を示す認識評価値は、開眼度、瞬き度、心拍数などの関数として算出される。印象の強さを示す認識評価値は、開眼度、心拍数、発汗量などの関数として算出される。好ましさの程度を示す認識評価値は、心拍数の安定性や発汗量の安定性、手足の温度、手足の血流量などから算出される。恐怖の程度を示す認識評価値は、驚き度や緊張度などから算出される。
なお、ここでの認識評価値は、認識の意味を考えて定義され、算出されるものであって、それぞれが独立であるとは限らない。
認識評価値は、多次元データとして表現することもできる。その場合には、各次元の意味を示す識別子を付加して、認識評価値データとする。
反応値や認識評価値は、時々刻々と測定または算出することもできるが、再生されたコンテンツのシーンやショットなど、コンテンツの区切りごとに測定または算出してもよい。この場合、シーンやショットなどの区間を示す情報は、コンテンツとともに光ディスク1に記録されているものでもよいが、再生された映像や音響の特徴から、システムコントローラ7がシーンやショットなどの区間を検出する構成とすることもできる。
<コンテンツ再生時のデータ送信>
認識評価値および視聴者コードと多重化されて集計管理センターに送信されるコンテンツ識別コードは、コンテンツそれ自体に付加されたものに限らず、例えば、光ディスク1に一つのコンテンツしか記録されてなく、かつディスク識別コード(ディスクを特定するコード)が記録されている場合には、そのディスク識別コードをコンテンツ識別コードとすることができる。また、光ディスク1に一つのコンテンツしか記録されてなく、かつディスク識別コードが記録されていない場合には、ディスクに含まれるチャプタ数と上演時間とを組合せるなど、ディスクのヘッダ情報を所定の規則で組合せて、ディスク識別コードとし、コンテンツ識別コードとすることができる。
認識評価値情報、視聴者コードおよびコンテンツ識別コードは、認識評価値情報をデータ部とし、視聴者コードおよびコンテンツ識別コードをヘッダ部として、多重化部65で多重化されて、通信装置部67によって集計管理センターに送信される。
認識評価値情報は、5秒、30秒などというような所定時間間隔で、その都度送信され、またはコンテンツの再生が全て終了した時点で、まとめて送信される。いずれの場合にも、上記の各情報は、バッファ66に一時記憶された後、通信装置部67によって集計管理センターに送信される。
映画などのように長時間のコンテンツは、視聴者が何回かに分けて視聴することも考えられる。このようにコンテンツの途中で再生を一時停止した場合には、システムコントローラ7が、その停止した箇所を特定する情報や、その箇所での認識評価値およびコンテンツ呈示時刻情報を保持して、同じコンテンツについての次回のコンテンツ再生およびデータ送信の用に供するように、光ディスク再生装置を構成する。
<メモリカード利用のリモートコントローラ:図25>
反応値入力部61、視聴者識別情報入力部91、視聴者プロファイル入力部92および記憶装置部93などは、端末装置のリモートコントローラに設けると、好適である。
図25は、この場合の例を示し、操作部6、反応値入力部61、視聴者識別情報入力部91、視聴者プロファイル入力部92、コントローラ97および無線送受信部98が、リモートコントローラ10bに設けられるとともに、記憶装置部としてのメモリカード94が、リモートコントローラ10bに対して着脱可能に設けられる。端末装置本体10aには、無線送受信部8が、システムコントローラ7に接続されて設けられる。
この例では、初期設定時、視聴者識別情報入力部91によって入力された視聴者識別情報、視聴者プロファイル入力部92によって入力された視聴者プロファイル、および集計管理センターによって割り当てられた視聴者コードが、メモリカード94に登録される。視聴者は、登録後、メモリカード94を、旅行先などに携帯して、旅行先などで端末装置のリモートコントローラ10bに装着することによって、自宅以外の旅行先などにおいても、コンテンツを視聴して、それに対する認識評価値を集計管理センターに送信することができる。
<認識評価値を直接入力する場合:図21>
図20の例は、反応値入力部61からの反応値から認識評価値算出部63で認識評価値を算出する場合であるが、視聴者が各項目についての認識評価値を直接入力する構成とすることもできる。
図21は、この場合の例を示し、図20の例の反応値入力部61、反応値解析部62および認識評価値算出部63に代えて、認識評価値入力部64を設ける。
認識評価値入力部64は、例えば、興味や関心の程度は「−2」、好ましさの程度は「+3」というように、視聴者が各項目についての認識評価値を数値で入力する構成とし、または、認識評価値の各項目ごとにレバーを設け、視聴者が各レバーをプラス方向またはマイナス方向にスライドさせる構成とする。
あるいは、認識評価値入力部64を、マイクロホンと音声認識機能を有する信号処理部とからなるものとして、「全く興味がない」「非常に好ましい」などというように、視聴者が各項目についての認識評価値を音声で入力する構成とすることもできる。
(コンテンツ再生装置の他の例:図22)
図22は、第3の実施形態のコンテンツ再生装置としての光ディスク再生装置の他の例を示す。
この例では、光ディスク1には、コンテンツとともに、これについての想定評価値が記録されている。想定評価値は、視聴者がコンテンツを視聴したときのコンテンツに対する印象や評価を想定したものであり、呈示する映像の種類や明るさ、呈示する音響の種類やレベル(音の大きさ)、呈示するコンテンツのストーリー展開などを考慮して、コンテンツ提供者(制作者)が設定したものである。
呈示されるコンテンツには、多くの場合、物語性があり、呈示された視聴者の心理状態も、ストーリー展開によって変化するのが普通である。そのため、同じ映像や音響であっても、場面によって、それに対する感じ方や解釈など、印象や評価が異なることが予想される。したがって、想定評価値は、映像や音響の特性(映像の明るさや音響のレベルなどの物理的性質)のほかに、呈示されるコンテンツの物語性も考慮して、コンテンツのシーンやショットなど、コンテンツの区切りごとに設定される。当然、視聴者に注目してほしいシーンやショットは、興味や関心の程度を示す認識評価値が高くなるように映像音響的に工夫することになるので、そのシーンやショットの想定評価値も高く設定されることになる。
上述した各種の反応値から算出された認識評価値と、その時間経過を見れば、呈示されたコンテンツに対する視聴者の心理状態が分かる。また、あらかじめコンテンツ提供者によって上記のように設定された想定評価値と、各種の反応値から算出された認識評価値とを比較することによって、視聴者がコンテンツ提供者が期待した通りの心理状態にあるか否かが分かる。
図22の例は、認識評価値に代えて、この想定評価値と認識評価値の比較結果の比較評価値を集計管理センターに送信する場合である。想定評価値データは、符号化され、この例では、映像データおよび音響データに多重化されて、光ディスク1に記録されている。想定評価値の時間軸管理および多重化の具体的な方法は、コンテンツ呈示制御に係る第1の実施形態と同じである。
光ディスク1からコンテンツが再生されると同時に、光ディスク1から想定評価値データが読み出される。読み出された想定評価値データは、デマルチプレクサ13で分離されて、想定評価値コードバッファ51に書き込まれ、想定評価値コードバッファ51から読み出された後、想定評価値デコーダ52でデコードされる。デコーダされた想定評価値も、コンテンツ呈示時刻情報と関連づけられたものである。
一方、コンテンツが再生されると同時に、図20の例と同様に、反応値入力部61で、視聴者の反応が反応値として測定され、認識評価値算出部63で、再生されたコンテンツに対する視聴者の印象や評価を示す認識評価値が算出される。
さらに、この例では、比較評価値算出部54で、想定評価値デコーダ52でデコードされた想定評価値と、認識評価値算出部63で算出された認識評価値とが比較される。
認識評価値と同様に、想定評価値は、多次元データとして表現することもできる。その場合には、各次元の想定評価値データの前に、その次元の意味を示す識別子が付加される。このように想定評価値および認識評価値が多次元データとして表現される場合には、比較評価値算出部54での想定評価値と認識評価値の比較は、例えば、多次元ベクトルの方向および大きさを比較することによって行う。
そして、この例では、コンテンツ再生時、比較評価値算出部54から得られた、想定評価値と認識評価値の比較結果の比較評価値が、多重化部65において、視聴者コードおよびコンテンツ識別コードと多重化され、その多重化後のデータが、バッファ66に書き込まれ、バッファ66から読み出されて、通信装置部67によって、通信ネットワーク9を介して集計管理センターに送信される。
この例においても、反応値入力部61、反応値解析部62および認識評価値算出部63に代えて、認識評価値入力部を設けて、視聴者が各項目についての認識評価値を直接入力する構成とすることができる。
また、図25の例のように、メモリカード94をリモートコントローラ10bに対して着脱可能に設ける構成とすることもできる。
(コンテンツ受信装置の一例(放送受信装置):図23および図24)
第3の実施形態のコンテンツ受信装置は、一例として、BSデジタル放送などのデジタルTV放送を受信する装置として構成することができる。
この場合のコンテンツは、番組の映像情報および音響情報であるとともに、コンテンツ識別コードとしては、番組コードなどが用いられる。
図23は、放送受信装置の一例を示す。受信選局部71では、操作部6での選局操作に基づくシステムコントローラ7の選局制御によって、放送信号が受信選局される。その受信選局された信号は、復調・エラー訂正部72で復調され、エラー訂正された後、バッファ73に書き込まれ、バッファ73から読み出される。
バッファ73から読み出された信号は、デマルチプレクサ13に供給され、デマルチプレクサ13から、それぞれ符号化された映像データ、音響データおよび字幕データが、分離されて得られる。その他は、図20の例の光ディスク再生装置と同じである。
なお、反応値や認識評価値を、コンテンツ(番組)のシーンまたはショットごとに測定または算出する場合、シーンまたはショットの区間を示す情報は、コンテンツとともに放送されるものでもよいが、再生された映像や音響の特徴から、システムコントローラ7がシーンまたはショットの区間を検出する構成とすることもできる。
図24は、放送受信装置の他の例を示す。この例では、デジタルTV放送として、コンテンツ(番組の映像データおよび音響データ)に多重化されて、上述した想定評価値データが放送され、図22の例の光ディスク再生装置と同様に、想定評価値と認識評価値の比較結果の比較評価値が集計管理センターに送信される。
受信選局部71では、想定評価値データを含む放送信号が受信選局され、その受信選局された信号は、復調・エラー訂正部72で復調され、エラー訂正された後、バッファ73に書き込まれ、バッファ73から読み出される。
バッファ73から読み出された信号は、デマルチプレクサ13に供給され、デマルチプレクサ13から、それぞれ符号化された映像データ、音響データ、字幕データおよび想定評価値データが、分離されて得られる。その他は、図22の例の光ディスク再生装置と同じである。
図23または図24の例の放送受信装置についても、反応値入力部61、反応値解析部62および認識評価値算出部63に代えて、認識評価値入力部を設け、視聴者が各項目についての認識評価値を直接入力する構成とすることができる。
また、図25の例のように、メモリカード94をリモートコントローラ10bに対して着脱可能に設ける構成とすることもできる。
(集計管理装置および集計管理方法の例:図26〜図30)
第3の実施形態のコンテンツ評価集計管理方法では、集計管理センター(以下では「センター」と略称する)において、図20〜図25の例のような端末装置(コンテンツ再生装置またはコンテンツ受信装置)から送信されたデータを受信し、各情報を検出して、コンテンツに対する視聴者の評価を解析し、評価の履歴を更新するとともに、視聴者管理データを更新する。
図26は、センターに設けられる集計管理装置の一例を示す。この集計管理装置130は、通信装置部131、復調・エラー訂正部132、バッファ133、システムコントローラ134、評価データベース135、視聴者管理データベース136、操作部137、表示制御部138およびディスプレイ139によって構成される。
端末装置10から通信ネットワーク9を介して送信されたデータは、通信装置部131で受信され、復調・エラー訂正部132で復調され、エラー訂正された後、バッファ133に書き込まれ、バッファ133から読み出されて、システムコントローラ134に取り込まれる。
システムコントローラ134は、後述のように、端末装置10での初期設定処理に伴う登録処理、および端末装置10でのコンテンツ再生処理に伴うデータ受信処理および評価解析処理を行うとともに、集計管理装置130の各部を制御する。
評価データベース135は、コンテンツに対する視聴者の評価の履歴が記録され、かつ評価の解析結果が記録されるものであり、視聴者管理データベース136は、視聴者コードによって特定される個々の視聴者についての、点数(得点)などの管理データが記録されるものである。
上述したシステムでは、端末装置10でコンテンツを再生し(以下では、放送受信装置の場合の「受信」も「再生」に含める)、認識評価値または比較評価値を含むデータをセンターに送信する前に、端末装置10では、図27の左側に示すような初期設定処理ルーチンが実行され、センターの集計管理装置130では、同図の右側に示すような登録処理ルーチンが実行される。
すなわち、端末側の初期設定処理ルーチン140では、システムコントローラ7は、まずステップ141で、視聴者プロファイル入力部92での視聴者の入力操作によって、記憶装置部93(またはメモリカード94)に視聴者プロファイルを登録し、次にステップ142で、センターとの通信を開始し、次にステップ143で、センターに端末コードを送信し、次にステップ144で、センターに視聴者コードを要求する。
センター側の登録処理ルーチン150では、システムコントローラ134は、まずステップ153で、通信装置部131によって、ステップ143で端末装置10から送信された端末コードを受信し、次にステップ154で、ステップ144での端末装置10からの要求に応じて、ステップ153で受信した端末コードに対して視聴者コードを、新規または追加的に割り当てて、通信装置部131によって、端末装置10に送信する。
ある端末コードに対して、視聴者コードを新規に割り当てるのは、その端末装置によってコンテンツを視聴しようとする第1の視聴者が視聴者コードを要求した場合であり、視聴者コードを追加的に割り当てるのは、同じ端末装置によってコンテンツを視聴しようとする第2、第3…の視聴者が視聴者コードを要求した場合である。いずれの場合にも、視聴者は自身の視聴者プロファイルを入力し、自身の視聴者コードをセンターに要求する。
端末側の初期設定処理ルーチン140では、次にステップ145で、ステップ154でセンターから送信された視聴者コードを受信して、記憶装置部93(またはメモリカード94)に登録するとともに、その視聴者コードおよびステップ141で登録した視聴者プロファイルをセンターに送信する。
センター側の登録処理ルーチン150では、次にステップ155で、この端末装置10から送信された視聴者コードおよび視聴者プロファイルを受信して、視聴者管理データベース136内の視聴者管理データを更新する。具体的には、視聴者コードを割り当てた視聴者についての管理データを新たに設け、これに初期点数を付与する。初期点数は、任意に定めることができる。
端末側の初期設定処理ルーチン140では、次にステップ146で、視聴者識別情報入力部91での視聴者の入力操作によって、記憶装置部93(またはメモリカード94)に視聴者識別情報を登録し、次にステップ147で、センターとの通信を終了する。
以上の初期設定処理ルーチン140および登録処理ルーチン150によって、端末装置10の記憶装置部93(またはメモリカード94)には、視聴者コード、視聴者プロファイルおよび視聴者識別情報が登録されるとともに、センター側の視聴者管理データベース136には、割り当てた視聴者コードごとに視聴者管理データが設定される。
以上のような初期設定後、端末装置10でコンテンツが再生され、認識評価値または比較評価値を含むデータがセンターに送信される。図28は、この場合に端末装置10のシステムコントローラ7が行うコンテンツ再生処理ルーチンの一例を示す。
このコンテンツ再生処理ルーチン160では、システムコントローラ7は、まずステップ161で、コンテンツの視聴に当たって視聴者が、視聴者識別情報入力部91で視聴者識別情報を入力することによって、または図25に示すように視聴者識別情報が登録されているメモリカード94をリモートコントローラ10bに装着することによって、コンテンツを視聴しようとする視聴者が登録された視聴者であることを確認した上で、ステップ162に進んで、コンテンツを選択し、再生する。
次にステップ163で、視聴者コード、コンテンツ識別コード、および認識評価値または比較評価値を、多重化部65で多重化して、バッファ66に一時記憶する。認識評価値または比較評価値は、コンテンツ呈示時刻情報と関連づけられたものである。
次にステップ164で、バッファ66に記憶された視聴者コード、コンテンツ識別コード、および認識評価値または比較評価値を、通信装置部67によってセンターに送信する。
センターの集計管理装置130では、この端末装置10から送信されたデータを受信し、各情報を検出して、コンテンツに対する視聴者の評価の履歴を更新し、視聴者管理データを更新する。図29は、この場合に集計管理装置130のシステムコントローラ134が行うデータ受信処理ルーチンの一例を示す。
このデータ受信処理ルーチン170では、システムコントローラ134は、まずステップ171で、通信装置部131によってデータを受信し、次にステップ172で、復調・エラー訂正部132によってデータの復調およびエラー訂正を行い、次にステップ173で、視聴者コードおよびコンテンツ識別コードを判別し、次にステップ174で、コンテンツ呈示時刻情報が付加された認識評価値または比較評価値を、視聴者コードおよびコンテンツ識別コードとともに、評価データベース135に書き込む。
次にステップ175で、評価データベース135内の評価履歴を更新する。この場合の評価履歴は、個々の視聴者ごとに、視聴したコンテンツと、それに対する評価値(認識評価値または比較評価値)を記述したものである。
次にステップ176で、視聴者管理データベース136内の視聴者管理データを更新し、次にステップ177で、データの受信を止めるか否かを判断し、データの受信を続行するときには、ステップ177からステップ171に戻って、ステップ171以下の処理を繰り返し、データの受信を止めるときには、データ受信処理を終了する。
ステップ176での視聴者管理データの更新としては、具体的には、認識評価値または比較評価値を送信した視聴者の管理データに得点を加算する。この得点は、有料コンテンツの視聴料やショッピングの代金などの支払いに充当することができるようにし、充当した場合には、その分の得点を減じて視聴者管理データを更新する。
さらに、集計管理装置130のシステムコントローラ134は、操作部137からの指示によって、評価データベース135から、認識評価値または比較評価値を、視聴者コードおよびコンテンツ識別コードとともに読み出し、呈示時系列ごとに集計して、コンテンツに対する視聴者の評価を解析する。集計は、認識評価値または比較評価値の時系列変化パターンの相関、分散によって行う。
評価解析の具体的な方法としては、例えば、認識評価値を評価する場合、まず、個々の視聴者の評価値につき、極大値などのローカルピーク値を算出するとともに、コンテンツ呈示時刻との対応関係を検出する。
次に、コンテンツ提供者(制作者)が用意したコンテンツ中のイベント区間ごとに、各視聴者のローカルピーク値を累計する。このとき、プラス値とマイナス値を別にして累計する。すなわち、「興味がない」「つまらない」などのマイナス値を、「興味がある」「好ましい」などのプラス値と別にして、累計することによって、視聴者の間でプラス評価とマイナス評価が分かれた場合でも、プラスとマイナスでゼロとなることなく、市場の評価を反映した集計を行うことができる。
また、上述した例のように、初期設定時、端末装置10から視聴者プロファイルを受信して、視聴者管理データベース136に記録する場合には、視聴者の年齢層、性別、居住地域、過去のコンテンツ視聴履歴などによって視聴者を分類して、認識評価値を集計する。
コンテンツ視聴履歴によって視聴者を分類する場合、個々のコンテンツに付加されたコンテンツ識別コードによってコンテンツ視聴履歴を管理することもできるが、コンテンツを大まかに分類して、その分類ごとにコンテンツ視聴履歴を管理することもできる。コンテンツの分類としては、「スポーツ」「ドキュメント」「コメディー」「ラブストーリー」「アドベンチャー」などの一般的な分類のほかに、セマンティックスコアのような物語性評価パターンによる分類が考えられる。セマンティックスコアについては、高橋ほか著「セマンティックスコア法を用いた映画の構造表現」(日本デザイン学会、Vol.47,No.6,57−66,2000)に詳細に示されている。
端末装置10から送信され、評価データベース135に書き込まれる評価値が、想定評価値と認識評価値の比較結果の比較評価値ではなく、認識評価値である場合には、評価データベース135には、あらかじめコンテンツごとに、コンテンツ提供者によって設定された想定評価値を書き込んでおくことができる。
システムコントローラ134は、このように評価対象のコンテンツについての想定評価値が評価データベース135に書き込まれている場合には、その想定評価値と、通信装置部131で受信されて評価データベース135に書き込まれた認識評価値とを比較することによって、コンテンツに対する視聴者の評価を解析する。
システムコントローラ134での解析結果は、評価データベース135に記録されるとともに、表示制御部138によってディスプレイ139上に表示される。
図30は、以上のような評価解析処理ルーチンの一例を示す。この評価解析処理ルーチン180では、まずステップ181で、評価データベース135から認識評価値または比較評価値を読み出し、次にステップ182で、想定評価値を読み出すか否かを判断し、読み出すときには、ステップ182からステップ183に進んで、評価データベース135から想定評価値を読み出した上で、ステップ184に進む。
評価データベース135から比較評価値が読み出される場合や、評価データベース135に評価対象のコンテンツについての想定評価値が書き込まれていない場合には、ステップ182から直接、ステップ184に進む。
ステップ184では、評価データベース135から読み出した認識評価値と想定評価値を比較して、または評価データベース135から読み出した認識評価値のみから、または評価データベース135から読み出した比較評価値から、コンテンツに対する視聴者の評価を解析し、次にステップ185に進んで、その解析結果を、評価データベース135に記録し、ディスプレイ139上に表示する。
ステップ184では、システムコントローラ134は、具体的に以下のような解析を行う。
評価データベース135から読み出した認識評価値と想定評価値を比較して、または評価データベース135から読み出した比較評価値から、コンテンツに対する視聴者の評価を解析する場合には、評価対象のシーンまたはショットでの認識評価値と想定評価値の差(比較評価値)が、あらかじめ設定された許容範囲内であるか否かを判断するとともに、過去のシーンまたはショットでの差(比較評価値)との関係で、その差(比較評価値)が大きくなっているか、小さくなっているか、認識評価値は増加傾向であるのが好ましいのか、減少傾向であるのが好ましいのか、認識評価値として極大値や極小値をとるのが好ましいのかなど、認識評価値と想定評価値の差(比較評価値)および認識評価値の変化の傾向を判断する。
例えば、認識評価値と想定評価値の差が許容範囲内であっても、それが大きくなっているときには、視聴者の反応(評価)が予想した方向と異なる方向になっていると判断する。
認識評価値のみからコンテンツに対する視聴者の評価を解析する場合にも、認識評価値の大小や変化の傾向から、同様に、呈示されたコンテンツに対する視聴者の心理状態を判断し、視聴者がコンテンツ提供者が期待した通りの心理状態にあるか否かを判断する。
コンテンツ提供者は、ディスプレイ139上に表示された、このシステムコントローラ134の解析結果から、例えば、視聴者が予想より怖がっていないことが分かった場合には、コンテンツを編集し直して、コンテンツの映像の明るさや音響のレベルなどの映像音響特性を変え、ストーリー展開を変えることができる。
また、例えば、視聴者が予想より楽しんでいない、予想より興味を示していない、予想よりそのシーンに集中していない、ことが分かった場合には、コンテンツのストーリー展開を変えることができる。
ストーリーやシーンまたはショットを変更する場合には、視聴者が示した過去の認識評価値または比較評価値の履歴を参考にすることができる。その履歴は、そのとき呈示されたコンテンツに対する、それまでの認識評価値または比較評価値を記憶しておいたものでも、視聴者が過去に視聴した別のコンテンツに対する認識評価値または比較評価値を記憶しておいたものでもよい。
評価対象のコンテンツが、放送された番組やコマーシャルである場合には、コンテンツ提供者は、その番組やコマーシャルについての視聴者の、興味や関心の程度、印象の強さ、好ましく思う程度を、呈示時刻ごとに知ることができる。
また、コンテンツ提供者は、視聴者の年齢層、性別、居住地域、過去のコンテンツ視聴履歴などごとに、視聴者の興味や好みの傾向を、呈示時刻ごとに解析することができる。
コンテンツが旅行記のようなものであれば、コンテンツ提供者は、視聴者の好みの旅行先、興味があったイベントや宿泊先などを知ることができ、従来の視聴率調査やアンケート調査より視聴者の好みや興味を直接的に反映した調査結果を得ることができる。
(コンテンツ評価集計管理の他の例)
上述したコンテンツ評価集計管理に係る発明は、光ディスク以外の記録媒体からコンテンツを再生する装置、または配信元からインターネットなどの通信ネットワークを介して配信されるコンテンツを受信する装置、あるいは、コンテンツが映像情報のみからなる場合、または音響情報のみからなる場合にも、適用することができる。