JP2004021844A - データベース作成方法とデータベース作成装置とデータベース作成プログラム並びにデータべースと記録媒体およびコンテンツ再生方法とコンテンツ再生装置とコンテンツ再生プログラム - Google Patents
データベース作成方法とデータベース作成装置とデータベース作成プログラム並びにデータべースと記録媒体およびコンテンツ再生方法とコンテンツ再生装置とコンテンツ再生プログラム Download PDFInfo
- Publication number
- JP2004021844A JP2004021844A JP2002178953A JP2002178953A JP2004021844A JP 2004021844 A JP2004021844 A JP 2004021844A JP 2002178953 A JP2002178953 A JP 2002178953A JP 2002178953 A JP2002178953 A JP 2002178953A JP 2004021844 A JP2004021844 A JP 2004021844A
- Authority
- JP
- Japan
- Prior art keywords
- information
- reaction
- content
- audience
- index
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Landscapes
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
【課題】提示したコンテンツと観客の反応動作の関係を示すデータベースの生成および活用を行う。
【解決手段】画像表示装置７０や音声出力装置７５によってコンテンツの提示を行う。反応取得部１０は、観客の動きや観客からの音声および観客の生体反応のうち少なくとも一つを用いて反応情報ＲＥを生成する。索引生成部３０は、提示したコンテンツ部分や位置情報と反応情報ＲＥを関係付けて索引情報ＳＤを生成する。この索引情報ＳＤをデータベースとして情報蓄積部５０に蓄積させる。操作入力部８１によって所望の反応情報を選択することで、選択された反応情報と関係付けられたコンテンツの部分を結果出力部８２から出力する。また、索引情報ＳＤの反応情報ＲＥに応じて、コンテンツの再生設定を行い、画像出力信号ＣＶｏｕｔや音声出力信号ＣＡｏｕｔを生成する。
【選択図】 図１
【解決手段】画像表示装置７０や音声出力装置７５によってコンテンツの提示を行う。反応取得部１０は、観客の動きや観客からの音声および観客の生体反応のうち少なくとも一つを用いて反応情報ＲＥを生成する。索引生成部３０は、提示したコンテンツ部分や位置情報と反応情報ＲＥを関係付けて索引情報ＳＤを生成する。この索引情報ＳＤをデータベースとして情報蓄積部５０に蓄積させる。操作入力部８１によって所望の反応情報を選択することで、選択された反応情報と関係付けられたコンテンツの部分を結果出力部８２から出力する。また、索引情報ＳＤの反応情報ＲＥに応じて、コンテンツの再生設定を行い、画像出力信号ＣＶｏｕｔや音声出力信号ＣＡｏｕｔを生成する。
【選択図】 図１
Description
【０００１】
【発明の属する技術分野】
この発明は、データベース作成方法とデータベース作成装置とデータベース作成プログラム並びにデータべースと記録媒体およびコンテンツ再生方法とコンテンツ再生装置とコンテンツ再生プログラムに関する。詳しくは、コンテンツの提示によって生じた観客の反応動作に基づいて生成した反応情報と、この反応情報の生成で用いた反応動作が生じたときに提示されていたコンテンツとの関係付けを行って索引情報を生成してデータベース化を行う。また、この索引情報の反応情報に基づき、この反応情報と関係付けられているコンテンツ部分の再生を制御するものである。
【０００２】
【従来の技術】
従来、映画や演劇，演芸，スポーツ等の番組など種々のコンテンツを提示する場合、画像表示装置や音声出力装置等を用いて、予め作成されている画像信号や音声信号に基づいて画像や音声の提示が行われている。
【０００３】
このようなコンテンツの提示では、コンテンツの提供者は、観客がより大きな満足を得ることができるように、各種の手法や設備の活用等が行われている。
【０００４】
例えば、映画館等においては、観客はあくまでも受動的に、上映される内容を視聴するのみであり、コンサート会場のように、いわゆる群集心理的な効果や演奏者との一体感等を感じることができない。このため、音量を制御したり効果音を付加して臨場感を高める等の処理が行われている。
【０００５】
【発明が解決しようとする課題】
ところで、観客がより大きな満足を得ることができるように種々の処理を行う場合、観客の反応動作に応じたコンテンツの提示を行わなければ、却って満足感を減少させてしまうおそれがある。例えば、コンテンツの提供者が笑いを生ずると思われるシーンに効果音を付加したとき、観客がこのシーンを見て面白くないときには、効果音が逆効果となってしまうおそれがある。
【０００６】
また、観客の反応動作に応じたコンテンツの提示を行うためには、観客の反応動作とコンテンツの関連性を正しく把握しなければならない。ここで、観客がどのような反応動作を示すかを人が観察して、観察結果とコンテンツを関係付けるものとすると、観客の反応動作の観察や、観察結果とコンテンツの関係付けに多くの労力が必要となってしまう。また、人が観客の反応動作の観察する場合、観察者の違いによって反応動作の判断にばらつきを生ずることもあり、客観的に観客の反応動作を把握することは困難である。
【０００７】
そこで、この発明では、コンテンツの提示に対する観客の反応動作に基づいた反応情報とコンテンツとの関連性を示すデータベースを容易に生成できるとともに、このデータベースに基づき、観客の反応動作に応じたコンテンツの提示を行うことができるデータベース作成方法とデータベース作成装置とデータベース作成プログラム、並びにデータべースと記録媒体、およびコンテンツ再生方法とコンテンツ再生装置とコンテンツ再生プログラムを提供するものである。
【０００８】
【課題を解決するための手段】
この発明に係るデータベース作成方法は、コンテンツの提示によって生じた観客の反応動作に基づいて反応情報を生成し、前記反応情報と前記コンテンツとを関係付けた索引情報を生成し、生成した前記索引情報を情報蓄積手段に記憶させるものである。
【０００９】
この発明に係るデータベース作成装置は、コンテンツの提示によって生じた観客の反応動作に基づいて反応情報を生成する反応取得手段と、前記反応情報と前記コンテンツとを関係付けた索引情報を生成する索引生成手段と、前記索引情報を記憶する情報蓄積手段とを有するものである。
【００１０】
この発明に係るデータベース作成プログラムは、コンピュータに、コンテンツを提示する手順と、前記コンテンツの提示によって生じた観客の反応動作に基づいて反応情報を生成する手順と、前記反応情報と前記コンテンツとを関係付けた索引情報を生成する手順と、生成された前記索引情報を情報蓄積手段に記憶させる手順とを実行させるものである。
【００１１】
この発明に係るデータベースは、コンテンツの提示によって生じた観客の反応動作に基づいて生成した反応情報と前記コンテンツとを関係付けた索引情報を有するものである。
【００１２】
この発明に係る記録媒体は、コンテンツの提示によって生じた観客の反応動作に基づいて生成した反応情報と前記コンテンツとを関係付けた索引情報が記録されたものである。
【００１３】
この発明に係るコンテンツ再生方法は、コンテンツの提示によって生じた観客の反応動作に基づいて生成した反応情報を前記コンテンツと関係付けて生成した索引情報を有するデータベースを用い、前記索引情報の前記反応情報に基づき、該反応情報と関係付けられている前記コンテンツの部分について再生を制御するものである。
【００１４】
この発明に係るコンテンツ再生装置は、コンテンツの提示によって生じた観客の反応動作に基づいて生成した反応情報を前記コンテンツと関係付けて生成した索引情報を有する情報蓄積手段と、前記索引情報の前記反応情報に基づき、該反応情報と関係付けられている前記コンテンツの部分について再生を制御する制御手段とを有するものである。
【００１５】
この発明に係るコンテンツ再生プログラムは、コンテンツの提示によって生じた観客の反応動作に基づいて生成した反応情報を前記コンテンツと関係付けて生成した索引情報を有するデータベースを利用して、前記コンテンツの再生を制御するコンテンツ再生プログラムにおいて、コンピュータに、前記データベースから前記索引情報を読み出す手順と、前記読み出した索引情報の前記反応情報に基づいて、該反応情報と関係付けられている前記コンテンツの部分について再生を制御する手順とを実行させるものである。
【００１６】
この発明においては、コンテンツの提示によって生じた観客の反応動作、例えば観客の動きや観客からの音声および観客の生体反応のうち少なくとも一つを用いて反応情報が生成されるとともに、この反応情報を提示したコンテンツの部分や提示したコンテンツの位置情報と関係付けて索引情報が生成される。この生成された索引情報がデータベースとして情報蓄積手段に記憶される。また、この索引情報が記録媒体に記録される。また、このようにして生成されたデータベースを用いて、索引情報から所望の反応情報の選択が行われて、選択された反応情報と関係付けられたコンテンツ部分の再生が行われる。また、索引情報の反応情報に応じて、この反応情報と関係付けられているコンテンツ部分に対する再生設定が行われる。
【００１７】
【発明の実施の形態】
以下、図を参照しながら、この発明の実施の一形態について説明する。図１は、画像や音声のコンテンツとコンテンツを提示したときの観客の反応の関係を示すデータベースの作成や作成した、作成したデータベースを用いてコンテンツの再生を行うデータベース処理システムの構成を示している。
【００１８】
反応取得部１０では、コンテンツの提示に対する観客の反応動作に応じた反応情報を生成する。例えば、観客を撮影することにより得られた画像信号ＳＶに基づいて、観客の動きに関する反応情報を生成する。また、観客からの音声を取得して生成した音声信号ＳＡに基づいて、観客からの音声に関する反応情報を生成する。さらに、個々の観客の動作を直接的に検出するセンサや個々の観客の生体反応を検出するセンサによって生成されたセンサ信号ＳＳに基づいて、観客の反応情報を生成する。
【００１９】
索引生成部３０では、反応情報と提示されていたコンテンツとを関係付けた索引情報ＳＤを生成する。さらに、システムバスやネットワーク等の伝送路４０を介して索引情報ＳＤを情報蓄積部５０の索引情報領域５１に記憶させる。
【００２０】
情報蓄積部５０は、索引情報領域５１だけでなくコンテンツ情報領域５２を有しており、このコンテンツ情報領域５２には、コンテンツの画像信号ＣＶおよび／または音声信号ＣＡが記憶される。また、コンテンツ情報領域５２に記憶された画像信号ＣＶおよび／または音声信号ＣＡが読み出されて、伝送路４０を介して出力信号処理部６０に供給される。
【００２１】
出力信号処理部６０には、画像表示装置７０と音声出力装置７５が接続されており、出力信号処理部６０は、供給された画像信号ＣＶに基づき画像表示装置７０に応じたフォーマットの画像出力信号ＣＶｏｕｔを生成して画像表示装置７０に供給する。また、供給された音声信号ＣＡに基づき音声出力装置７５を駆動する音声出力信号ＣＡｏｕｔを生成して音声出力装置７５に供給する。
【００２２】
制御部８０には、操作入力部８１が接続されており、この操作入力部８１から、所望の反応動作を生じたコンテンツを検索するための検索条件が入力されると、制御部８０では、情報蓄積部５０の索引情報領域５１に記憶されている索引情報ＳＤを用いて、観客が所望の反応動作を示したコンテンツやコンテンツの再生位置を検索して、検索結果を結果出力部８２から出力する。例えば、検索されたコンテンツの画像や音声の出力あるいは画像の表示を行う。また、検索されたコンテンツの再生位置を出力あるいは表示する。
【００２３】
次に、各部の構成および動作を詳細に説明する。図２は、反応取得部１０の配置を説明するための図である。画像表示装置７０は観客の正面に設けられて、種々のコンテンツの画像を表示する。また、画像表示装置が例えばビデオ投影機（プロジェクタ）であるときには、観客の正面にスクリーンを設けて、プロジェクタからスクリーンに対してコンテンツの画像を投影する。音声出力装置７５は観客の例えば左右前方側に設けられて、種々のコンテンツの音声出力を行う。
【００２４】
反応取得部１０を構成する撮像部１１は、観客９０の前方に設けられて、観客９０側を撮影して画像信号ＳＶを生成する。音声取得部１２は、観客９０側からの音声に基づいた音声信号ＳＡを生成する。観客９０が座る各座席９１には、それぞれ荷重センサ２１が配備されており、観客９０が座席９１に座っている状態であるか否かによって信号レベルが変化するセンサ信号ＳＳａが座席毎に生成される。また座席９１の前方下部であって観客９０が座席９１に座った状態や座席９１から立ち上がった状態において、観客９０の足が乗せられていることとなる位置に踏力センサ２２が設けられる。この踏力センサ２２では、観客９０の足による荷重状態に応じた信号レベルのセンサ信号ＳＳｂが座席毎に生成される。
【００２５】
観客９０には、生体反応を検出する生体反応検出センサ２３が観客毎に装着されてセンサ信号ＳＳｃの生成が行われる。例えばバイタルセンサが装着されて、血圧や脈拍等を示すセンサ信号ＳＳｃが観客毎に生成される。なお、図示せずも、脳波や血液や呼吸等の変化を検出するセンサを観客９０に装着してセンサ信号ＳＳｃを生成するものとしても良い。
【００２６】
図３は、反応取得部１０の構成を示している。撮像部１１では上述したように画像信号ＳＶを生成して画像処理部１３に供給する。画像処理部１３は、観客の動きを容易に判別可能とするため、画像信号ＳＶからの画像抽出やレベル補正を行い、画像信号ＳＶから画像信号ＳＶａを生成して動き反応情報抽出部１４に供給する。
【００２７】
例えば、個々の観客の動きを検出しやすくするため、動きの大きい部分の画像を抽出する。例えば観客の衣服の部分よりも手や顔の部分の動きが大きいことから、手や顔の色部分を抽出する。また、撮像部１１で撮像された観客９０側の画像において、画像表示装置７０に表示された画像に基づく照り返しの影響が大きい場合、画像表示装置７０に供給された画像出力信号ＣＶｏｕｔを画像処理部１３に供給して、画像表示装置７０での表示画像の輝度レベル変化に相当する成分を画像信号ＳＶから削除するレベル補正を行う。このようにレベル補正や画像抽出処理を行って画像信号ＳＶａを生成する。
【００２８】
動き反応情報抽出部１４では、画像信号ＳＶａに基づき観客９０の動きに関する反応情報を抽出する。図４は、反応情報として例えば動き量や動きの周期性を抽出する場合での動き反応情報抽出部１４の構成を示している。動きベクトル計算部１４１では、画像信号ＳＶａに基づき、抽出した色部分の動きベクトルを計算する。この動きベクトルの計算では、抽出された色部分をブロックに分割して、ブロック毎に動きベクトルを計算する。例えば、各観客の顔の部分や手の部分をそれぞれブロックとして、各ブロックについて次フレーム（または前フレーム）の画像とでブロックマッチングを行い、最もブロックの画像が一致したときの移動方向と移動量を動きベクトルＭＶとする。このようにして、式（１）に示す２次元動きベクトルＭＶｉを検出する。
【００２９】
【数１】
【００３０】
なお、式（１）において、「ｉ」はブロック番号を示しており、ブロック数が例えば「ｍ＋１」であるときには「ｉ＝０〜ｍ」となる。また「ｕ」は水平方向の移動量、「ｖ」は垂直方向の移動量とする。さらに、動きベクトルの計算はブロックマッチング法に限られるものではなく、例えば代表点マッチング法や勾配法等の他の方法を用いるものとしても良い。
【００３１】
平均動き量計算部１４２は、式（２）に基づき、フレーム内の各ブロックの動きベクトル用いて、動きベクトルの大きさの平均を計算して平均動き量Ｗｊとする。この算出した平均動き量Ｗｊを反応情報ＲＥａとする。
【００３２】
【数２】
【００３３】
自己相関計算部１４３では、平均動き量計算部１４２で求めた平均動き量Ｗｊを用いて、フレーム毎の自己相関係数ＲＶを式（３）に基づいて計算する。
【００３４】
【数３】
【００３５】
図５は、式（３）で示されている自己相関係数の算出動作を説明するためのものであり、説明を簡単とするため平均動き量Ｗｊが図５Ａに示すように正弦波である場合を示している。ここで、「ｋ＝１」のときには、図５Ｂに示す最初の「０」フレームから（ｎ−２）フレームまでの平均動き量Ｗｊと、図５Ｃに示す「１」フレームから（ｎ−１）フレームまでの平均動き量Ｗｊ＋ｋを用いて自己相関係数ＲＶを算出する。同様に、「ｋ＝ａ」のときには、図５Ｄに示す最初の「０」フレームから（ｎ−１−ａ）フレームまでの平均動き量Ｗｊと、図５Ｅに示す「ａ」フレームから（ｎ−１）フレームまでの平均動き量Ｗｊ＋ｋを用いて自己相関係数ＲＶを算出する。このように、自己相関係数ＲＶの算出に用いる平均動き量を順次変更することで、図５Ｆに示すように、「ｋ＝１」から「ｋ＝ａ」フレームまでの自己相関係数ＲＶの推移を求めることができる。
【００３６】
最大位置抽出部１４４は、算出された自己相関係数ＲＶから、自己相関係数ＲＶが最大値となるフレーム位置である自己相関最大位置ＭＰを検出する。分散計算部１４５は、自己相関最大位置ＭＰの分散を算出する。この分散Ｖｐを算出する場合、検出する動きの周期性に応じて分散の算出に用いるフレーム範囲を決定する。すなわち、周期性を検出するためには、少なくとも検出する周期以上の窓幅（フレーム範囲）の信号を用いなければ周期性を検出できない。また、窓幅を大きくすると、検出結果の精度を向上できるとともに、周期変動が生じても正しい検出結果を得ることができる。しかし、窓幅が大きくなることにより、短時間の挙動の変化に対する応答が鈍くなるとともに処理時間も長くなってしまう。このため、窓幅は検出する周期の数倍程度に設定する。例えば観客の動きとして手拍子を検出可能とするときには、手拍子の周期を０．５秒程度と考えて２秒程度を分散の算出に用いる窓幅とする。
【００３７】
このように設定された窓幅、例えばｐフレームに対して±（ｑ／２）フレームを窓幅、この窓幅での自己相関最大位置の平均値をＭＰａｖ、ｊフレーム目での自己相関最大位置をＭＰｊとすると、式（４）に基づいて分散Ｖｐを算出できる。
【００３８】
【数４】
【００３９】
このように、平均動き量の自己相関最大位置ＭＰの分散Ｖｐを算出して、この分散Ｖｐを反応情報ＲＥｂとする。この反応情報ＲＥｂの値が大きければ周期の変動が大きく、反応情報ＲＥｂの値が小さければ周期の変動が小さい。なお、反応情報ＲＥｂは、信号の周期の変動具合を示すものであれば良く、例えば自己相関最大位置ＭＰの標準偏差等を用いることもできる。
【００４０】
音声取得部１２では、上述したように音声信号ＳＡを生成して音声処理部１５に供給する。音声処理部１５は、音声信号ＳＡから検出上の外乱成分を取り除き、実際に観客が発生させている音声成分を抽出する。すなわち、音声取得部１２で生成された音声信号ＳＡは、コンテンツの提示環境による音響特性上の影響や、空調設備などで生じたノイズ成分の影響を受ける。しかし、これらの影響は予め既知なものであり、これらの影響を音声処理部１５で削除することで、より正しい反応情報の生成が可能となる。また、音声取得部１２で得られた音声信号ＳＡにおいて、音声出力装置７５から出力される音声成分の影響が大きい場合、音声出力装置７５に供給された音声出力信号ＣＡｏｕｔを音声処理部１５に供給して、この音声出力信号ＣＡｏｕｔに基づき、音声出力装置７５から出力される音声成分の影響を削除する。このようにして外乱成分が除去された信号は音声信号ＳＡａとして音声反応情報抽出部１６に供給する。なお、音声処理部１５では、フィルタ等を用いて音声の反応情報の生成に必要な成分のみを抽出して音声信号ＳＡａを生成するものとしても良い。
【００４１】
音声反応情報抽出部１６では、音声信号ＳＡａに基づき観客９０の音声に関する反応情報を検出する。図６は、反応情報として例えば音量や音声の周期性を抽出する場合での音声反応情報抽出部１６の構成を示している。音量検出部１６１では、音声信号ＳＡａに基づき、予め設定した区間単位、例えばフレーム単位毎に音声レベルの分散を算出する。なお分散の算出は、上述の式（４）と同様にして算出できる。この算出した分散を反応情報ＲＥｃとする。
【００４２】
自己相関計算部１６２では、音声信号ＳＡａの例えば所定区間分を用いて、この音声信号ＳＡａの信号レベルａｊから式（５）に基づき自己相関係数ＲＡを算出する。なお、所定区間は、上述の自己相関係数ＲＶの算出と同様に、検出する音声の周期よりも長く設定する。
【００４３】
【数５】
【００４４】
最大位置抽出部１６３は、算出された自己相関係数ＲＡから、自己相関係数ＲＡが最大となる位置である自己相関最大位置ＭＱを、検出する音の周期性に応じて設定された時間範囲毎に検出する。分散計算部１６４は、自己相関最大位置ＭＱの分散を算出する。ここで自己相関最大位置の分散の算出は、上述の式（４）と同様な演算処理を行うことで算出できる。この算出した分散を反応情報ＲＥｄとする。
【００４５】
このように、音声の自己相関最大位置ＭＱの分散を反応情報ＲＥｄとする。この反応情報ＲＥｄの値が大きければ周期の変動が大きく、反応情報ＲＥｄの値が小さければ周期の変動が小さい。なお、反応情報ＲＥｄは、音声信号の周期の変動具合を示すものであれば良く、例えば自己相関最大位置の標準偏差等を用いることもできる。
【００４６】
なお、動きや音声の周期性を示す反応情報ＲＥｃ，ＲＥｄは、自己相関最大位置の分散に限られるものではなく、例えば動き量や音声信号の信号レベルをフーリエ変換して、検出する周期の信号成分の割合等を反応情報ＲＥｃ，ＲＥｄとすることもできる。
【００４７】
荷重センサ２１は、観客９０が座る座席９１に設けられており、この各座席９１に設けられた荷重センサ２１−１〜２１−ｐｎで生成されたセンサ信号ＳＳａ−１〜ＳＳａ−ｐｎは、荷重反応情報抽出部２４に供給される。なお、図３では観客の数を「ｐｎ」として示している。
【００４８】
荷重反応情報抽出部２４は、各荷重センサ２１から供給されたセンサ信号ＳＳａ−１〜ＳＳａ−ｐｎと所定の基準値Ｆｅを比較して、観客９０が座席９１に着席しているか否かを個々に判別する。この基準値Ｆｅは、体重の軽い子供が座った状態なども考慮し、一方観客の荷物がおかれた場合などは除外できるように、数Ｋｇ〜１０数Ｋｇ程度の荷重に相当する値として、観客９０が座席９１に着席しているか否かを検出できるようにすればよい。このように、観客９０が座席９１に座っているか否かを個々に判別して反応情報ＲＥｅとする。また、反応情報ＲＥｅとして、例えば座席９１に座っている人と立ち上がっている人の割合を用いることもできる。
【００４９】
踏力センサ２２は、観客９０が座る各座席９１の足下に設けられており、この踏力センサ２２−１〜２２−ｐｎで生成されたセンサ信号ＳＳｂ−１〜ＳＳｂ−ｐｎは、踏力反応情報抽出部２５に供給される。また、踏力センサ２２は、右足用のセンサと左足用のセンサで構成して、センサ信号ＳＳｂは右足用と左足用のセンサからの信号で構成することもできる。
【００５０】
踏力反応情報抽出部２５は、センサ信号ＳＳｂ−１〜ＳＳｂ−ｐｎに基づき荷重の変化の周期性等を判別する。例えば上述の音声信号ＳＡａを用いる場合と同様にセンサ信号ＳＳｂを処理することで、個々の観客９０における荷重の周期性を判別して反応情報ＲＥｆを生成する。また、右足用と左足用のセンサが設けられているときには、右足用センサからの信号と左足用センサからの信号との加算値や減算値を用いて荷重の周期性を判別してもよい。このように２つの信号を用いることで、観客９０が身体を左右に揺らしたり、ジャンプしたり、あるいは片足のみに荷重をかけた場合等、種々の反応を判別することが可能となる。さらに、反応情報ＲＥｆとして、各観客９０の踏力センサ２２−１〜２２−ｐｎからのセンサ信号ＳＳｂ−１〜ＳＳｂ−ｐｎの統計処理結果、例えば平均値や標準偏差等を用いるものとしても良い。
【００５１】
生体反応検出センサ２３は、観客９０のそれぞれに装着されており、各生体反応検出センサ２３−１〜２３−ｐｎで生成されたセンサ信号ＳＳｃ−１〜ＳＳｃ−ｐｎは、生体反応情報抽出部２６に供給される。
【００５２】
生体反応情報抽出部２６では、各センサ信号ＳＳｃ−１〜ＳＳｃ−ｐｎに基づき、個々の観客９０で生じた生体反応を示す情報を生成する。例えば、センサ信号ＳＳｃが血圧を示している場合、生体反応情報抽出部２６では、個々の観客９０で生じた血圧変動量を算出して、この血圧変動量の統計量を反応情報ＲＥｇとする。例えば平均値や標準偏差等を算出して反応情報ＲＥｇとする。また、センサ信号ＳＳｃが脈拍を示している場合、脈拍変化量の統計量、例えば脈拍変化量の平均値や標準偏差等を算出して反応情報ＲＥｇとする。
【００５３】
このようにして反応取得部１０で生成した反応情報ＲＥａ，ＲＥｂ，ＲＥｃ，ＲＥｄ，ＲＥｅ，ＲＥｆ，ＲＥｇは、索引生成部３０に供給する。
【００５４】
索引生成部３０では、反応情報や反応情報を得たときに提示されていたコンテンツに基づいて索引情報ＳＤを生成する。例えば、図７Ａに示す画像信号ＣＶと図７Ｂに示す音声信号ＣＡがコンテンツの信号として情報蓄積部５０に蓄積されており、このコンテンツの信号に対して提示位置を管理できるように位置情報として図７Ｃに示すタイムコードＴＣが付加されている場合、タイムコード「ＴＣ−ｔ１」の画像信号ＣＶや音声信号ＣＡに基づきコンテンツの提示を行ったときに図７Ｄに示す反応情報ＲＥとして「ＲＥａ−ｔ１，ＲＥｂ−ｔ１，ＲＥｃ−ｔ１，ＲＥｄ−ｔ１，ＲＥｅ−ｔ１，ＲＥｆ−ｔ１，ＲＥｇｆ−ｔ１」が得られたときには、このタイムコード「ＴＣ−ｔ１」と反応情報「ＲＥａ−ｔ１，ＲＥｂ−ｔ１，ＲＥｃ−ｔ１，ＲＥｄ−ｔ１，ＲＥｅ−ｔ１，ＲＥｆ−ｔ１，ＲＥｇｆ−ｔ１」を関係付けて索引情報ＳＤとして情報蓄積部５０の索引情報領域５１に記憶させる。タイムコード「ＴＣ−ｔ２」の画像信号ＣＶや音声信号ＣＡに基づきコンテンツの提示を行ったときに反応情報「ＲＥａ−ｔ２，ＲＥｂ−ｔ２，ＲＥｃ−ｔ２，ＲＥｄ−ｔ２，ＲＥｅ−ｔ２，ＲＥｆ−ｔ２，ＲＥｇｆ−ｔ２」が得られたときには、このタイムコード「ＴＣ−ｔ２」と反応情報「ＲＥａ−ｔ２，ＲＥｂ−ｔ２，ＲＥｃ−ｔ２，ＲＥｄ−ｔ２，ＲＥｅ−ｔ２，ＲＥｆ−ｔ２，ＲＥｇｆ−ｔ２」を関係付けて索引情報ＳＤとして索引情報領域５１に記憶させる。以下同様に、タイムコードＴＣと反応情報ＲＥを関係付けて索引情報ＳＤとして索引情報領域５１に記憶させることで、索引情報領域５１にコンテンツと観客の反応動作の関係を示すデータベースを蓄積させることができる。
【００５５】
このようにタイムコードＴＣと反応情報ＲＥを関係付けて索引情報ＳＤとしてデータベース化すれば、観客の所望の反応動作に応じた反応情報ＲＥを選択することで、この選択された反応情報ＲＥに関係付けられているタイムコードＴＣを利用して、観客が所望の反応動作を生じたときに提示されていたコンテンツを容易に確認することが可能となる。
【００５６】
また、索引情報ＳＤには、コンテンツ固有の識別情報を有するものとすることで、コンテンツが複数であるときにも、コンテンツ毎に正しく索引情報ＳＤをデータベース化できる。
【００５７】
さらに、索引情報ＳＤは、反応情報ＲＥと関係付けてコンテンツの信号を用いるものとしても良い。この場合、コンテンツの提示位置を管理できる位置情報が設けられていなくとも、反応情報ＲＥとコンテンツの例えば画像出力信号ＣＶｏｕｔや音声出力信号ＣＡｏｕｔを関係付けて索引情報ＳＤとして索引情報領域５１に記憶させることで、観客が所望の反応動作を生じたときに提示されていたコンテンツを容易に確認することが可能となる。さらに、コンテンツの信号が情報蓄積部５０のコンテンツ情報領域５２に記憶されていなくとも、観客が所望の反応動作を生じたときに提示されていたコンテンツを確認できる。
【００５８】
制御部８０には、操作入力部８１が接続されており、この操作入力部８１から、検索設定情報ＰＳが入力されると、制御部８０では、入力された検索設定情報ＰＳに応じて、反応情報ＲＥに対する検索条件ＲＱを設定する。あるいは入力された検索設定情報ＰＳをそのまま反応情報ＲＥに対する検索条件ＲＱに設定する。次に、情報蓄積部５０の索引情報領域５１に記憶されている索引情報ＳＤを順次読み出して、反応情報ＲＥが検索条件ＲＱを満たす索引情報ＳＤを検出するとともに、検出結果を示す出力信号ＤＳを生成して結果出力部８２に供給する。
【００５９】
結果出力部８２は、出力信号ＤＳに基づき、入力された検索設定情報ＰＳに該当するコンテンツの位置情報を表示あるいは印刷して出力する。また、索引情報ＳＤにコンテンツの信号が含まれているときには、検索設定情報ＰＳに該当するコンテンツの部分を結果出力部８２で提示するものとしても良い。
【００６０】
このように、コンテンツと観客の反応情報を関係付けて索引情報ＳＤとして情報蓄積部５０に記憶させるとともに、所望の反応動作に応じた検索条件ＲＱを設定して索引情報ＳＤの検索を行うことで、簡単かつ容易に所望の反応動作を生ずるコンテンツ部分を判別できる。
【００６１】
例えば、拍手や笑い声等が生ずるようなシーンでは、動き量を示す反応情報ＲＥａや音量を示す反応情報ＲＥｃが大きくなる。一方、動きの周期性を示す反応情報ＲＥｂや音声の周期性を示す反応情報ＲＥｄは大きくならない。このため、拍手や笑い声等が生ずるようなシーンを選択する検索設定情報ＰＳが操作入力部８１から入力されたとき、反応情報ＲＥａ，ＲＥｂ，ＲＥｃ，ＲＥｄに対してそれぞれ基準値を設定して、検索条件ＰＱは、反応情報ＲＥａ，ＲＥｃは基準値よりも大きく、反応情報ＲＥｂ，ＲＥｄは基準値以下として設定する。この検索条件ＰＱに基づいて索引情報ＳＤを検出することにより、拍手や笑い声等が生ずるようなシーンの位置や内容を簡単に確認できる。
【００６２】
また、恐怖シーン等では、血圧や脈拍の変動量を示す反応情報ＲＥｇが大きくなる。このため、血圧や脈拍の変動量が所定量を超える部分を検索する情報が検索設定情報ＰＳとして操作入力部８１から入力されたとき、この所定量を超える部分を検索する情報を検索条件ＰＱとして用いる。この場合、反応情報ＲＥｇが所定量を超える索引情報ＳＤが検出されて、恐怖シーン等を簡単に確認できる。
【００６３】
さらに、検索設定情報ＰＳに応じて、反応情報ＲＥに対する検索条件ＲＱを設定するだけでなく、コンテンツの位置情報であるタイムコードを検索設定情報ＰＳとして入力して、このタイムコードに関係付けられている反応情報ＲＥを出力するものとしても良い。この場合、コンテンツの制作者は、コンテンツの位置を指定することで、観客が所望の反応動作を示したか否かを容易に確認することが可能となり、観客がより大きな満足を得ることができるようにコンテンツを制作することができる。
【００６４】
なお、索引情報ＳＤには、反応情報ＲＥに基づいて判定した観客の反応動作を示す情報を含めることもできる。例えば、動き量を示す反応情報ＲＥａや音量を示す反応情報ＲＥｃが基準値よりも大きく、動の周期性を示す反応情報ＲＥｂや音声の周期性を示す反応情報ＲＥｄが基準値以下であるときには、観客の反応動作を「拍手」と判定する。また、反応情報ＲＥａ，ＲＥｂ，ＲＥｃ，ＲＥｄが基準値よりも大きいときには、観客の反応動作を「手拍子」と判定する。反応情報ＲＥａ，ＲＥｂ，ＲＥｃ，ＲＥｄが基準値よりも大きいとともに、反応情報ＲＥｅが基準値以下で反応情報ＲＥｆが基準値よりも大きいときには、アンコールの要求のように「観客が立ち上がって手拍子をしている状態」と判定する。さらに、反応情報ＲＥａ，ＲＥｂ，ＲＥｃ，ＲＥｄが基準値以下であり、反応情報ＲＥｇが基準値よりも大きいときには、「恐怖を感じている状態」と判定する。このようにして判定された結果を索引情報ＳＤに含めることにより、観客の反応動作を検索キーとして用いることもできる。
【００６５】
制御部８０では、情報蓄積部５０の索引情報領域５１に索引情報ＳＤが記憶されているときに、この索引情報ＳＤを利用してコンテンツの提示を行う。また、索引情報ＳＤが記憶されていないときには、最初のコンテンツ提示で索引情報ＳＤを生成して情報蓄積部５０に蓄積させるとともに、この蓄積した索引情報ＳＤを二度目のコンテンツ提示の際に利用する。このコンテンツの提示では、索引情報ＳＤに基づきコンテンツの再生設定を行う。例えばコンテンツの再生位置と関係付けられている反応情報ＲＥに基づいて、コンテンツの音声出力レベルを可変したり効果音を付加して音声出力信号ＣＡｏｕｔを出力する。また、反応情報ＲＥに基づきコンテンツの提示環境、すなわち室内の明るさや温度等を制御するものとしても良い。このように、索引情報ＳＤを利用することで、観客がより大きな満足を得ることができるようにコンテンツの提示を制御できる。
【００６６】
さらに、同じコンテンツを異なる提示環境で提示して提示環境毎に得られた索引情報ＳＤをそれぞれデータベース化して情報蓄積部５０に記憶させても良い。この場合、同じコンテンツ位置での反応情報ＲＥの違いから、観客の違い等を判別できる。例えば、コンテンツとして音楽番組の提示を行ったとき、提示された曲に対して興味があるときには反応動作が大きく、興味がないときには反応動作が小さい。このため、提示された音楽番組の内容と反応情報ＲＥから観客がどのような客層であるかを判別できる。また、コンテンツが例えば映画であるときには、映画館毎の客層の違いを判別できることから、この客層の違いに応じてコンテンツの提示を制御することで、更に大きな満足を得ることが可能となる。例えば刺激を欲するような客層が多い映画館では、音響効果等をより高めてコンテンツの提示を行い、刺激が不必要な客層が多い映画館では、音響効果を低めてコンテンツの提示を行う。
【００６７】
また、データベースとされている索引情報ＳＤを例えばネットワーク等の伝送路を介して伝送可能とすることにより、索引情報ＳＤの生成場所から離れていても、コンテンツに対する観客の反応を容易かつ簡単に把握できる。例えば、コンテンツの提示場所で索引情報ＳＤを生成しても、コンテンツの制作者は離れた位置で、コンテンツに対する観客の反応を容易かつ簡単に把握できる。また、データベースとされている索引情報ＳＤを記録媒体に記録しておくものとすれば、通信設備等を有していない場所でも、この記録媒体を可搬することで、コンテンツに対する観客の反応を容易かつ簡単に把握できる。
【００６８】
ところで、データベースの作成やデータべースを利用したコンテンツの再生は上述のようなハードウェアで可能になるものではなく、ソフトウェアによっても実現することができる。この場合の構成を図８に示す。
【００６９】
コンピュータは、図８に示すようにＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）１０１を内蔵しており、このＣＰＵ１０１にはバス１２０を介してＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）１０２，ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）１０３，ハード・ディスク・ドライブ１０４，入出力インタフェース１０５が接続されている。さらに、入出力インタフェース１０５には操作入力部１１１や記録媒体ドライブ１１２，通信部１１３，信号入力部１１４，信号出力部１１５，表示部１１６が接続されている。
【００７０】
外部装置から命令が入力されたり、キーボードやマウス等の操作手段あるいはマイク等の音声入力手段等を用いて構成された操作入力部１１１から命令が入力されたりすると、この命令が入出力インタフェース１０５を介してＣＰＵ１０１に供給される。
【００７１】
ＣＰＵ１０１は、ＲＯＭ１０２やＲＡＭ１０３あるいはハード・ディスク・ドライブ１０４に記憶されているプログラムを実行して、供給された命令に応じた処理を行う。さらに、ＲＯＭ１０２やＲＡＭ１０３あるいはハード・ディスク・ドライブ１０４には、上述のデータベースの作成やデータべースを利用したコンテンツの再生をコンピュータで実行させるためのプログラムを予め記憶させる。なお、これらのプログラムを記録媒体ドライブ１１２によって、記録媒体に記録したり記録媒体から読み出すものとしても良い。さらに、通信部１１３によって、これらのプログラムを有線あるいは無線の伝送路を介して送信あるいは受信するものとしてもよい。
【００７２】
コンテンツの画像信号や音声信号がハード・ディスク・ドライブ１０４に記憶されているときには、ハード・ディスク・ドライブ１０４からコンテンツの画像信号や音声信号を読み出して信号出力部１１５から画像出力信号ＣＶｏｕｔと音声出力信号ＣＡｏｕｔを出力する。また、コンテンツの信号が記録媒体に記録されているときには、記録媒体ドライブ１１２によって記録媒体からコンテンツの信号を読み出して、信号出力部１１５から画像出力信号ＣＶｏｕｔと音声出力信号ＣＡｏｕｔを出力する。また、外部機器でコンテンツの画像信号や音声信号の出力が行われるときには、通信部１１３や信号出力部１１５から外部機器の動作を制御する制御信号ＣＴａを出力するとともに、再生されるコンテンツはどのようなものであるかを示す識別情報を信号入力部１１４に供給させる。
【００７３】
コンテンツの提示が行われると、観客を撮影した画像信号ＳＶや観客からの音声を示す音声信号ＳＡおよびセンサ信号ＳＳが信号入力部１１４に供給される。また、外部機器でコンテンツの画像信号や音声信号の出力が行われたときには、画像出力信号ＣＶｏｕｔや音声出力信号ＣＡｏｕｔが信号入力部１１４に供給される。この供給された画像信号ＳＶや音声信号ＳＡおよびセンサ信号ＳＳに基づいて反応情報ＲＥを生成して、コンテンツの位置情報やコンテンツの画像出力信号ＣＶｏｕｔ，音声出力信号ＣＡｏｕｔと関係付けて索引情報ＳＤを生成してハード・ディスク・ドライブ１０４に蓄積する。あるいは、通信部１１３を介して外部に伝送するものとしたり、記録媒体ドライブ１１２によって記録媒体に記録させる。
【００７４】
操作入力部１１１から検索設定情報ＰＳが入力されたときには、この検索設定情報ＰＳに基づき検索を行い、検索結果を信号出力部１１５から出力する。あるいは表示部１１６に表示する。また、操作入力部１１１でコンテンツの再生操作が行われたときには、ハード・ディスク・ドライブ１０４や記録媒体に記憶されているコンテンツの信号に対して反応情報に応じた処理を行い、信号出力部１１５から出力する。また、外部機器でコンテンツの画像信号や音声信号の出力が行われるときには、コンテンツの再生を制御する制御信号ＣＴｂを通信部１１３や信号出力部１１５から出力する。
【００７５】
図９は、データベース作成プログラムを示すフローチャートを示している。ステップＳＴ１では、再生するコンテンツのコンテンツ識別情報を入手する。例えば、ハード・ディスク・ドライブ１０４や記録媒体から読み出すものとしたり、ハード・ディスク・ドライブ１０４や記録媒体に記録されていないときには、信号入力部１１４を介して入力させてステップＳＴ２に進む。
【００７６】
ステップＳＴ２では、識別情報で示されたコンテンツの再生を行うか否かを判別する。ここで、コンテンツの再生を行う場合、あるいはコンテンツの再生を継続するときにはステップＳＴ３に進む。
【００７７】
ステップＳＴ３では、コンテンツの提示を行いステップＳＴ４に進む。ステップＳＴ４では、信号入力部１１４に供給された画像信号ＳＶや音声信号ＳＡおよびセンサ信号ＳＳに基づいて反応情報ＲＥを生成してステップＳＴ５に進む。ステップＳＴ５では、反応情報ＲＥとコンテンツの位置やコンテンツの信号を関係付けて索引情報ＳＤを生成してステップＳＴ６に進む。ステップＳＴ６では、ステップＳＴ５で生成した索引情報ＳＤをハード・ディスク・ドライブ１０４や外部の情報蓄積装置に蓄積させてステップＳＴ２に戻る。その後、ステップＳＴ２において、再生を行わない場合や再生を終了する場合、あるいは再生が完了した時にはデータベース作成を終了する。
【００７８】
図１０は、作成されたデータベースを利用して、所望の反応動作が生じたコンテンツの位置を検索する場合の位置検索処理を示すフローチャートである。
【００７９】
操作入力部１１１から検索設定情報ＰＳが入力されると、ステップＳＴ１１では、ハード・ディスク・ドライブ１０４に未検索の索引情報ＳＤが残っているか否かを判別する。ここで、索引情報ＳＤが残っているときにはステップＳＴ１２に進む。
【００８０】
ステップＳＴ１２では、索引情報ＳＤを読み出してステップＳＴ１３に進み、検索設定情報ＰＳに基づいて設定した検索条件ＰＱと索引情報ＳＤの反応情報ＲＥが適合するか否かを判別する。ここで、反応情報ＲＥが適合するときにはステップＳＴ１４に進む。また、適合しないときにはステップＳＴ１１に戻る。
【００８１】
ステップＳＴ１４では、検索結果の出力あるいは表示を行う。すなわち、反応情報ＲＥに関係付けられているコンテンツの位置情報やコンテンツの情報を通信部１１３や信号出力部１１５から出力する。あるいは、表示部１１６に表示する。
【００８２】
ステップＳＴ１２で未検索の索引情報ＳＤが残っていないと判別されたときには検索処理を終了する。なお、コンテンツの再生位置を入力して、反応情報ＲＥを表示あるいは出力しても良い。
【００８３】
図１１は、コンテンツの再生動作を示すフローチャートである。操作入力部１１１でコンテンツの再生操作が行われると、ステップＳＴ２１では、再生するコンテンツの索引情報ＳＤが蓄積されているか否かを判別する。例えば、再生するコンテンツと識別情報が等しい索引情報ＳＤが蓄積されているか否かを判別する。ここで、索引情報ＳＤがハード・ディスク・ドライブ等に蓄積されているときにはステップＳＴ２２に進む。また蓄積されていないときにはステップＳＴ２５に進む。
【００８４】
ステップＳＴ２２では、コンテンツの信号を読み出してステップＳＴ２３に進む。ステップＳＴ２３では、読み出したコンテンツの信号に関係する索引情報ＳＤを読み出してステップＳＴ２４に進む。
【００８５】
ステップＳＴ２４では、読み出した索引情報ＳＤの反応情報ＲＥに基づき、コンテンツの信号に対して、音量調整や効果音の付加など、観客の満足度を高めるための信号処理を行ってステップＳＴ２６に進む。
【００８６】
ステップＳＴ２１からステップＳＴ２５に進むと、ステップＳＴ２５では、ステップＳＴ２２と同様にコンテンツの信号を読み出してステップＳＴ２６に進む。
【００８７】
ステップＳＴ２６では、ステップＳＴ２４で処理されたコンテンツの信号あるいはステップＳＴ２５で読み出されたコンテンツの信号を信号出力部１１５から出力してステップＳＴ２７に進む。
【００８８】
ステップＳＴ２７では、コンテンツの再生を終了するか否かを判別する。操作入力部１１１でコンテンツの再生を終了する操作が行われていないとき、あるいはコンテンツの終わりまで再生が行われていないときにはステップＳＴ２１に戻る。また、コンテンツの再生を終了する操作が行われたとき、あるいはコンテンツの終わりまで再生が完了したときには、再生動作を終了する。
【００８９】
このように、上述の実施の形態によれば、コンテンツの提示に対する観客の反応動作に基づいた反応情報とコンテンツとの関連性を示すデータベースを容易に生成できるとともに、このデータベースに基づき、観客の反応動作に応じたコンテンツの提示や、観客の反応動作に対応するコンテンツ部分の確認等も容易に行うことができる。
【００９０】
なお、上述の実施の形態で示した観客の反応動作は例示的なものであって限定的なものではない。また、反応情報も観客の反応動作を示すものであれば、上述のものに限られるものでないことは勿論である。
【００９１】
【発明の効果】
この発明によれば、コンテンツの提示によって生じた観客の反応動作に基づいて反応情報が生成されて、反応情報とコンテンツとを関係付けた索引情報が生成されて、この索引情報が情報蓄積手段に記憶させる。このように索引情報を生成して情報蓄積手段に記憶させることで、索引情報に基づきコンテンツに対する観客の反応を容易かつ簡単に把握できる。
【００９２】
また、コンテンツの提示によって生じた観客の反応動作に基づいて生成した反応情報とコンテンツとを関係付けた索引情報を有するデータベースが生成されるので、このデータベースを例えば伝送することにより、索引情報の生成場所から離れていても、コンテンツに対する観客の反応を容易かつ簡単に把握できる。
【００９３】
また、記録媒体に、コンテンツの提示によって生じた観客の反応動作に基づいて生成した反応情報とコンテンツとを関係付けた索引情報が記録されるので、データベースの伝送を行うことができないような場所でも、コンテンツに対する観客の反応を容易かつ簡単に把握できる。
【００９４】
さらに、コンテンツの提示によって生じた観客の反応動作に基づいて生成した反応情報をコンテンツと関係付けて生成した索引情報を有するデータベースを用いて、索引情報の反応情報に基づき、この反応情報と関係付けられているコンテンツ部分の再生が制御される。このため、観客の種々の反応動作がどのようなコンテンツ部分で生じたかを容易に把握できる。また、観客がより大きな満足を得ることができるように観客の反応動作に応じたコンテンツの提示を行うことができる。
【図面の簡単な説明】
【図１】データベース処理システムの構成を示す図である。
【図２】反応取得部の配置を示す図である。
【図３】反応取得部の構成を示す図である。
【図４】動き反応情報抽出部の構成を示す図である。
【図５】自己相関係数の算出動作を説明するための図である。
【図６】音声反応情報抽出部の構成を示す図である。
【図７】検索情報の生成を説明するための図である。
【図８】コンピュータを用いた構成を示す図である。
【図９】データベース作成処理を示すフローチャートである。
【図１０】位置検索処理を示すフローチャートである。
【図１１】コンテンツの再生処理を示すフローチャートである。
【符号の説明】
１０・・・反応取得部、１１・・・撮像部、１２・・・音声取得部、１３・・・画像処理部、１４・・・動き反応情報抽出部、１５・・・音声処理部、１６・・・音声反応情報抽出部、２１・・・荷重センサ、２２・・・踏力センサ、２３・・・生体反応検出センサ、２４・・・荷重反応情報抽出部、２５・・・踏力反応情報抽出部、２６・・・生体反応情報抽出部、３０・・・索引生成部、４０・・・伝送路、５０・・・情報蓄積部、５１・・・索引情報領域、５２・・・コンテンツ情報領域、６０・・・出力信号処理部、７０・・・画像表示装置、７５・・・音声出力装置、８０・・・制御部、８１・・・操作入力部、８２・・・結果出力部、９０・・・観客、９１・・・座席、１０１・・・ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）、１０２・・・ＲＯＭ、１０３・・・ＲＡＭ、１０４・・・ハード・ディスク・ドライブ、１０５・・・入出力インタフェース、１１１・・・操作入力部、１１２・・・記録媒体ドライブ、１１３・・・通信部、１１４・・・信号入力部、１１５・・・信号出力部、１１６・・・表示部、１４１・・・動きベクトル計算部、１４２・・・動き量計算部、１４３，１６２・・・自己相関計算部、１４４，１６３・・・最大位置抽出部、１４５，１６４・・・分散計算部、１６１・・・音量検出部
【発明の属する技術分野】
この発明は、データベース作成方法とデータベース作成装置とデータベース作成プログラム並びにデータべースと記録媒体およびコンテンツ再生方法とコンテンツ再生装置とコンテンツ再生プログラムに関する。詳しくは、コンテンツの提示によって生じた観客の反応動作に基づいて生成した反応情報と、この反応情報の生成で用いた反応動作が生じたときに提示されていたコンテンツとの関係付けを行って索引情報を生成してデータベース化を行う。また、この索引情報の反応情報に基づき、この反応情報と関係付けられているコンテンツ部分の再生を制御するものである。
【０００２】
【従来の技術】
従来、映画や演劇，演芸，スポーツ等の番組など種々のコンテンツを提示する場合、画像表示装置や音声出力装置等を用いて、予め作成されている画像信号や音声信号に基づいて画像や音声の提示が行われている。
【０００３】
このようなコンテンツの提示では、コンテンツの提供者は、観客がより大きな満足を得ることができるように、各種の手法や設備の活用等が行われている。
【０００４】
例えば、映画館等においては、観客はあくまでも受動的に、上映される内容を視聴するのみであり、コンサート会場のように、いわゆる群集心理的な効果や演奏者との一体感等を感じることができない。このため、音量を制御したり効果音を付加して臨場感を高める等の処理が行われている。
【０００５】
【発明が解決しようとする課題】
ところで、観客がより大きな満足を得ることができるように種々の処理を行う場合、観客の反応動作に応じたコンテンツの提示を行わなければ、却って満足感を減少させてしまうおそれがある。例えば、コンテンツの提供者が笑いを生ずると思われるシーンに効果音を付加したとき、観客がこのシーンを見て面白くないときには、効果音が逆効果となってしまうおそれがある。
【０００６】
また、観客の反応動作に応じたコンテンツの提示を行うためには、観客の反応動作とコンテンツの関連性を正しく把握しなければならない。ここで、観客がどのような反応動作を示すかを人が観察して、観察結果とコンテンツを関係付けるものとすると、観客の反応動作の観察や、観察結果とコンテンツの関係付けに多くの労力が必要となってしまう。また、人が観客の反応動作の観察する場合、観察者の違いによって反応動作の判断にばらつきを生ずることもあり、客観的に観客の反応動作を把握することは困難である。
【０００７】
そこで、この発明では、コンテンツの提示に対する観客の反応動作に基づいた反応情報とコンテンツとの関連性を示すデータベースを容易に生成できるとともに、このデータベースに基づき、観客の反応動作に応じたコンテンツの提示を行うことができるデータベース作成方法とデータベース作成装置とデータベース作成プログラム、並びにデータべースと記録媒体、およびコンテンツ再生方法とコンテンツ再生装置とコンテンツ再生プログラムを提供するものである。
【０００８】
【課題を解決するための手段】
この発明に係るデータベース作成方法は、コンテンツの提示によって生じた観客の反応動作に基づいて反応情報を生成し、前記反応情報と前記コンテンツとを関係付けた索引情報を生成し、生成した前記索引情報を情報蓄積手段に記憶させるものである。
【０００９】
この発明に係るデータベース作成装置は、コンテンツの提示によって生じた観客の反応動作に基づいて反応情報を生成する反応取得手段と、前記反応情報と前記コンテンツとを関係付けた索引情報を生成する索引生成手段と、前記索引情報を記憶する情報蓄積手段とを有するものである。
【００１０】
この発明に係るデータベース作成プログラムは、コンピュータに、コンテンツを提示する手順と、前記コンテンツの提示によって生じた観客の反応動作に基づいて反応情報を生成する手順と、前記反応情報と前記コンテンツとを関係付けた索引情報を生成する手順と、生成された前記索引情報を情報蓄積手段に記憶させる手順とを実行させるものである。
【００１１】
この発明に係るデータベースは、コンテンツの提示によって生じた観客の反応動作に基づいて生成した反応情報と前記コンテンツとを関係付けた索引情報を有するものである。
【００１２】
この発明に係る記録媒体は、コンテンツの提示によって生じた観客の反応動作に基づいて生成した反応情報と前記コンテンツとを関係付けた索引情報が記録されたものである。
【００１３】
この発明に係るコンテンツ再生方法は、コンテンツの提示によって生じた観客の反応動作に基づいて生成した反応情報を前記コンテンツと関係付けて生成した索引情報を有するデータベースを用い、前記索引情報の前記反応情報に基づき、該反応情報と関係付けられている前記コンテンツの部分について再生を制御するものである。
【００１４】
この発明に係るコンテンツ再生装置は、コンテンツの提示によって生じた観客の反応動作に基づいて生成した反応情報を前記コンテンツと関係付けて生成した索引情報を有する情報蓄積手段と、前記索引情報の前記反応情報に基づき、該反応情報と関係付けられている前記コンテンツの部分について再生を制御する制御手段とを有するものである。
【００１５】
この発明に係るコンテンツ再生プログラムは、コンテンツの提示によって生じた観客の反応動作に基づいて生成した反応情報を前記コンテンツと関係付けて生成した索引情報を有するデータベースを利用して、前記コンテンツの再生を制御するコンテンツ再生プログラムにおいて、コンピュータに、前記データベースから前記索引情報を読み出す手順と、前記読み出した索引情報の前記反応情報に基づいて、該反応情報と関係付けられている前記コンテンツの部分について再生を制御する手順とを実行させるものである。
【００１６】
この発明においては、コンテンツの提示によって生じた観客の反応動作、例えば観客の動きや観客からの音声および観客の生体反応のうち少なくとも一つを用いて反応情報が生成されるとともに、この反応情報を提示したコンテンツの部分や提示したコンテンツの位置情報と関係付けて索引情報が生成される。この生成された索引情報がデータベースとして情報蓄積手段に記憶される。また、この索引情報が記録媒体に記録される。また、このようにして生成されたデータベースを用いて、索引情報から所望の反応情報の選択が行われて、選択された反応情報と関係付けられたコンテンツ部分の再生が行われる。また、索引情報の反応情報に応じて、この反応情報と関係付けられているコンテンツ部分に対する再生設定が行われる。
【００１７】
【発明の実施の形態】
以下、図を参照しながら、この発明の実施の一形態について説明する。図１は、画像や音声のコンテンツとコンテンツを提示したときの観客の反応の関係を示すデータベースの作成や作成した、作成したデータベースを用いてコンテンツの再生を行うデータベース処理システムの構成を示している。
【００１８】
反応取得部１０では、コンテンツの提示に対する観客の反応動作に応じた反応情報を生成する。例えば、観客を撮影することにより得られた画像信号ＳＶに基づいて、観客の動きに関する反応情報を生成する。また、観客からの音声を取得して生成した音声信号ＳＡに基づいて、観客からの音声に関する反応情報を生成する。さらに、個々の観客の動作を直接的に検出するセンサや個々の観客の生体反応を検出するセンサによって生成されたセンサ信号ＳＳに基づいて、観客の反応情報を生成する。
【００１９】
索引生成部３０では、反応情報と提示されていたコンテンツとを関係付けた索引情報ＳＤを生成する。さらに、システムバスやネットワーク等の伝送路４０を介して索引情報ＳＤを情報蓄積部５０の索引情報領域５１に記憶させる。
【００２０】
情報蓄積部５０は、索引情報領域５１だけでなくコンテンツ情報領域５２を有しており、このコンテンツ情報領域５２には、コンテンツの画像信号ＣＶおよび／または音声信号ＣＡが記憶される。また、コンテンツ情報領域５２に記憶された画像信号ＣＶおよび／または音声信号ＣＡが読み出されて、伝送路４０を介して出力信号処理部６０に供給される。
【００２１】
出力信号処理部６０には、画像表示装置７０と音声出力装置７５が接続されており、出力信号処理部６０は、供給された画像信号ＣＶに基づき画像表示装置７０に応じたフォーマットの画像出力信号ＣＶｏｕｔを生成して画像表示装置７０に供給する。また、供給された音声信号ＣＡに基づき音声出力装置７５を駆動する音声出力信号ＣＡｏｕｔを生成して音声出力装置７５に供給する。
【００２２】
制御部８０には、操作入力部８１が接続されており、この操作入力部８１から、所望の反応動作を生じたコンテンツを検索するための検索条件が入力されると、制御部８０では、情報蓄積部５０の索引情報領域５１に記憶されている索引情報ＳＤを用いて、観客が所望の反応動作を示したコンテンツやコンテンツの再生位置を検索して、検索結果を結果出力部８２から出力する。例えば、検索されたコンテンツの画像や音声の出力あるいは画像の表示を行う。また、検索されたコンテンツの再生位置を出力あるいは表示する。
【００２３】
次に、各部の構成および動作を詳細に説明する。図２は、反応取得部１０の配置を説明するための図である。画像表示装置７０は観客の正面に設けられて、種々のコンテンツの画像を表示する。また、画像表示装置が例えばビデオ投影機（プロジェクタ）であるときには、観客の正面にスクリーンを設けて、プロジェクタからスクリーンに対してコンテンツの画像を投影する。音声出力装置７５は観客の例えば左右前方側に設けられて、種々のコンテンツの音声出力を行う。
【００２４】
反応取得部１０を構成する撮像部１１は、観客９０の前方に設けられて、観客９０側を撮影して画像信号ＳＶを生成する。音声取得部１２は、観客９０側からの音声に基づいた音声信号ＳＡを生成する。観客９０が座る各座席９１には、それぞれ荷重センサ２１が配備されており、観客９０が座席９１に座っている状態であるか否かによって信号レベルが変化するセンサ信号ＳＳａが座席毎に生成される。また座席９１の前方下部であって観客９０が座席９１に座った状態や座席９１から立ち上がった状態において、観客９０の足が乗せられていることとなる位置に踏力センサ２２が設けられる。この踏力センサ２２では、観客９０の足による荷重状態に応じた信号レベルのセンサ信号ＳＳｂが座席毎に生成される。
【００２５】
観客９０には、生体反応を検出する生体反応検出センサ２３が観客毎に装着されてセンサ信号ＳＳｃの生成が行われる。例えばバイタルセンサが装着されて、血圧や脈拍等を示すセンサ信号ＳＳｃが観客毎に生成される。なお、図示せずも、脳波や血液や呼吸等の変化を検出するセンサを観客９０に装着してセンサ信号ＳＳｃを生成するものとしても良い。
【００２６】
図３は、反応取得部１０の構成を示している。撮像部１１では上述したように画像信号ＳＶを生成して画像処理部１３に供給する。画像処理部１３は、観客の動きを容易に判別可能とするため、画像信号ＳＶからの画像抽出やレベル補正を行い、画像信号ＳＶから画像信号ＳＶａを生成して動き反応情報抽出部１４に供給する。
【００２７】
例えば、個々の観客の動きを検出しやすくするため、動きの大きい部分の画像を抽出する。例えば観客の衣服の部分よりも手や顔の部分の動きが大きいことから、手や顔の色部分を抽出する。また、撮像部１１で撮像された観客９０側の画像において、画像表示装置７０に表示された画像に基づく照り返しの影響が大きい場合、画像表示装置７０に供給された画像出力信号ＣＶｏｕｔを画像処理部１３に供給して、画像表示装置７０での表示画像の輝度レベル変化に相当する成分を画像信号ＳＶから削除するレベル補正を行う。このようにレベル補正や画像抽出処理を行って画像信号ＳＶａを生成する。
【００２８】
動き反応情報抽出部１４では、画像信号ＳＶａに基づき観客９０の動きに関する反応情報を抽出する。図４は、反応情報として例えば動き量や動きの周期性を抽出する場合での動き反応情報抽出部１４の構成を示している。動きベクトル計算部１４１では、画像信号ＳＶａに基づき、抽出した色部分の動きベクトルを計算する。この動きベクトルの計算では、抽出された色部分をブロックに分割して、ブロック毎に動きベクトルを計算する。例えば、各観客の顔の部分や手の部分をそれぞれブロックとして、各ブロックについて次フレーム（または前フレーム）の画像とでブロックマッチングを行い、最もブロックの画像が一致したときの移動方向と移動量を動きベクトルＭＶとする。このようにして、式（１）に示す２次元動きベクトルＭＶｉを検出する。
【００２９】
【数１】
なお、式（１）において、「ｉ」はブロック番号を示しており、ブロック数が例えば「ｍ＋１」であるときには「ｉ＝０〜ｍ」となる。また「ｕ」は水平方向の移動量、「ｖ」は垂直方向の移動量とする。さらに、動きベクトルの計算はブロックマッチング法に限られるものではなく、例えば代表点マッチング法や勾配法等の他の方法を用いるものとしても良い。
【００３１】
平均動き量計算部１４２は、式（２）に基づき、フレーム内の各ブロックの動きベクトル用いて、動きベクトルの大きさの平均を計算して平均動き量Ｗｊとする。この算出した平均動き量Ｗｊを反応情報ＲＥａとする。
【００３２】
【数２】
自己相関計算部１４３では、平均動き量計算部１４２で求めた平均動き量Ｗｊを用いて、フレーム毎の自己相関係数ＲＶを式（３）に基づいて計算する。
【００３４】
【数３】
図５は、式（３）で示されている自己相関係数の算出動作を説明するためのものであり、説明を簡単とするため平均動き量Ｗｊが図５Ａに示すように正弦波である場合を示している。ここで、「ｋ＝１」のときには、図５Ｂに示す最初の「０」フレームから（ｎ−２）フレームまでの平均動き量Ｗｊと、図５Ｃに示す「１」フレームから（ｎ−１）フレームまでの平均動き量Ｗｊ＋ｋを用いて自己相関係数ＲＶを算出する。同様に、「ｋ＝ａ」のときには、図５Ｄに示す最初の「０」フレームから（ｎ−１−ａ）フレームまでの平均動き量Ｗｊと、図５Ｅに示す「ａ」フレームから（ｎ−１）フレームまでの平均動き量Ｗｊ＋ｋを用いて自己相関係数ＲＶを算出する。このように、自己相関係数ＲＶの算出に用いる平均動き量を順次変更することで、図５Ｆに示すように、「ｋ＝１」から「ｋ＝ａ」フレームまでの自己相関係数ＲＶの推移を求めることができる。
【００３６】
最大位置抽出部１４４は、算出された自己相関係数ＲＶから、自己相関係数ＲＶが最大値となるフレーム位置である自己相関最大位置ＭＰを検出する。分散計算部１４５は、自己相関最大位置ＭＰの分散を算出する。この分散Ｖｐを算出する場合、検出する動きの周期性に応じて分散の算出に用いるフレーム範囲を決定する。すなわち、周期性を検出するためには、少なくとも検出する周期以上の窓幅（フレーム範囲）の信号を用いなければ周期性を検出できない。また、窓幅を大きくすると、検出結果の精度を向上できるとともに、周期変動が生じても正しい検出結果を得ることができる。しかし、窓幅が大きくなることにより、短時間の挙動の変化に対する応答が鈍くなるとともに処理時間も長くなってしまう。このため、窓幅は検出する周期の数倍程度に設定する。例えば観客の動きとして手拍子を検出可能とするときには、手拍子の周期を０．５秒程度と考えて２秒程度を分散の算出に用いる窓幅とする。
【００３７】
このように設定された窓幅、例えばｐフレームに対して±（ｑ／２）フレームを窓幅、この窓幅での自己相関最大位置の平均値をＭＰａｖ、ｊフレーム目での自己相関最大位置をＭＰｊとすると、式（４）に基づいて分散Ｖｐを算出できる。
【００３８】
【数４】
このように、平均動き量の自己相関最大位置ＭＰの分散Ｖｐを算出して、この分散Ｖｐを反応情報ＲＥｂとする。この反応情報ＲＥｂの値が大きければ周期の変動が大きく、反応情報ＲＥｂの値が小さければ周期の変動が小さい。なお、反応情報ＲＥｂは、信号の周期の変動具合を示すものであれば良く、例えば自己相関最大位置ＭＰの標準偏差等を用いることもできる。
【００４０】
音声取得部１２では、上述したように音声信号ＳＡを生成して音声処理部１５に供給する。音声処理部１５は、音声信号ＳＡから検出上の外乱成分を取り除き、実際に観客が発生させている音声成分を抽出する。すなわち、音声取得部１２で生成された音声信号ＳＡは、コンテンツの提示環境による音響特性上の影響や、空調設備などで生じたノイズ成分の影響を受ける。しかし、これらの影響は予め既知なものであり、これらの影響を音声処理部１５で削除することで、より正しい反応情報の生成が可能となる。また、音声取得部１２で得られた音声信号ＳＡにおいて、音声出力装置７５から出力される音声成分の影響が大きい場合、音声出力装置７５に供給された音声出力信号ＣＡｏｕｔを音声処理部１５に供給して、この音声出力信号ＣＡｏｕｔに基づき、音声出力装置７５から出力される音声成分の影響を削除する。このようにして外乱成分が除去された信号は音声信号ＳＡａとして音声反応情報抽出部１６に供給する。なお、音声処理部１５では、フィルタ等を用いて音声の反応情報の生成に必要な成分のみを抽出して音声信号ＳＡａを生成するものとしても良い。
【００４１】
音声反応情報抽出部１６では、音声信号ＳＡａに基づき観客９０の音声に関する反応情報を検出する。図６は、反応情報として例えば音量や音声の周期性を抽出する場合での音声反応情報抽出部１６の構成を示している。音量検出部１６１では、音声信号ＳＡａに基づき、予め設定した区間単位、例えばフレーム単位毎に音声レベルの分散を算出する。なお分散の算出は、上述の式（４）と同様にして算出できる。この算出した分散を反応情報ＲＥｃとする。
【００４２】
自己相関計算部１６２では、音声信号ＳＡａの例えば所定区間分を用いて、この音声信号ＳＡａの信号レベルａｊから式（５）に基づき自己相関係数ＲＡを算出する。なお、所定区間は、上述の自己相関係数ＲＶの算出と同様に、検出する音声の周期よりも長く設定する。
【００４３】
【数５】
最大位置抽出部１６３は、算出された自己相関係数ＲＡから、自己相関係数ＲＡが最大となる位置である自己相関最大位置ＭＱを、検出する音の周期性に応じて設定された時間範囲毎に検出する。分散計算部１６４は、自己相関最大位置ＭＱの分散を算出する。ここで自己相関最大位置の分散の算出は、上述の式（４）と同様な演算処理を行うことで算出できる。この算出した分散を反応情報ＲＥｄとする。
【００４５】
このように、音声の自己相関最大位置ＭＱの分散を反応情報ＲＥｄとする。この反応情報ＲＥｄの値が大きければ周期の変動が大きく、反応情報ＲＥｄの値が小さければ周期の変動が小さい。なお、反応情報ＲＥｄは、音声信号の周期の変動具合を示すものであれば良く、例えば自己相関最大位置の標準偏差等を用いることもできる。
【００４６】
なお、動きや音声の周期性を示す反応情報ＲＥｃ，ＲＥｄは、自己相関最大位置の分散に限られるものではなく、例えば動き量や音声信号の信号レベルをフーリエ変換して、検出する周期の信号成分の割合等を反応情報ＲＥｃ，ＲＥｄとすることもできる。
【００４７】
荷重センサ２１は、観客９０が座る座席９１に設けられており、この各座席９１に設けられた荷重センサ２１−１〜２１−ｐｎで生成されたセンサ信号ＳＳａ−１〜ＳＳａ−ｐｎは、荷重反応情報抽出部２４に供給される。なお、図３では観客の数を「ｐｎ」として示している。
【００４８】
荷重反応情報抽出部２４は、各荷重センサ２１から供給されたセンサ信号ＳＳａ−１〜ＳＳａ−ｐｎと所定の基準値Ｆｅを比較して、観客９０が座席９１に着席しているか否かを個々に判別する。この基準値Ｆｅは、体重の軽い子供が座った状態なども考慮し、一方観客の荷物がおかれた場合などは除外できるように、数Ｋｇ〜１０数Ｋｇ程度の荷重に相当する値として、観客９０が座席９１に着席しているか否かを検出できるようにすればよい。このように、観客９０が座席９１に座っているか否かを個々に判別して反応情報ＲＥｅとする。また、反応情報ＲＥｅとして、例えば座席９１に座っている人と立ち上がっている人の割合を用いることもできる。
【００４９】
踏力センサ２２は、観客９０が座る各座席９１の足下に設けられており、この踏力センサ２２−１〜２２−ｐｎで生成されたセンサ信号ＳＳｂ−１〜ＳＳｂ−ｐｎは、踏力反応情報抽出部２５に供給される。また、踏力センサ２２は、右足用のセンサと左足用のセンサで構成して、センサ信号ＳＳｂは右足用と左足用のセンサからの信号で構成することもできる。
【００５０】
踏力反応情報抽出部２５は、センサ信号ＳＳｂ−１〜ＳＳｂ−ｐｎに基づき荷重の変化の周期性等を判別する。例えば上述の音声信号ＳＡａを用いる場合と同様にセンサ信号ＳＳｂを処理することで、個々の観客９０における荷重の周期性を判別して反応情報ＲＥｆを生成する。また、右足用と左足用のセンサが設けられているときには、右足用センサからの信号と左足用センサからの信号との加算値や減算値を用いて荷重の周期性を判別してもよい。このように２つの信号を用いることで、観客９０が身体を左右に揺らしたり、ジャンプしたり、あるいは片足のみに荷重をかけた場合等、種々の反応を判別することが可能となる。さらに、反応情報ＲＥｆとして、各観客９０の踏力センサ２２−１〜２２−ｐｎからのセンサ信号ＳＳｂ−１〜ＳＳｂ−ｐｎの統計処理結果、例えば平均値や標準偏差等を用いるものとしても良い。
【００５１】
生体反応検出センサ２３は、観客９０のそれぞれに装着されており、各生体反応検出センサ２３−１〜２３−ｐｎで生成されたセンサ信号ＳＳｃ−１〜ＳＳｃ−ｐｎは、生体反応情報抽出部２６に供給される。
【００５２】
生体反応情報抽出部２６では、各センサ信号ＳＳｃ−１〜ＳＳｃ−ｐｎに基づき、個々の観客９０で生じた生体反応を示す情報を生成する。例えば、センサ信号ＳＳｃが血圧を示している場合、生体反応情報抽出部２６では、個々の観客９０で生じた血圧変動量を算出して、この血圧変動量の統計量を反応情報ＲＥｇとする。例えば平均値や標準偏差等を算出して反応情報ＲＥｇとする。また、センサ信号ＳＳｃが脈拍を示している場合、脈拍変化量の統計量、例えば脈拍変化量の平均値や標準偏差等を算出して反応情報ＲＥｇとする。
【００５３】
このようにして反応取得部１０で生成した反応情報ＲＥａ，ＲＥｂ，ＲＥｃ，ＲＥｄ，ＲＥｅ，ＲＥｆ，ＲＥｇは、索引生成部３０に供給する。
【００５４】
索引生成部３０では、反応情報や反応情報を得たときに提示されていたコンテンツに基づいて索引情報ＳＤを生成する。例えば、図７Ａに示す画像信号ＣＶと図７Ｂに示す音声信号ＣＡがコンテンツの信号として情報蓄積部５０に蓄積されており、このコンテンツの信号に対して提示位置を管理できるように位置情報として図７Ｃに示すタイムコードＴＣが付加されている場合、タイムコード「ＴＣ−ｔ１」の画像信号ＣＶや音声信号ＣＡに基づきコンテンツの提示を行ったときに図７Ｄに示す反応情報ＲＥとして「ＲＥａ−ｔ１，ＲＥｂ−ｔ１，ＲＥｃ−ｔ１，ＲＥｄ−ｔ１，ＲＥｅ−ｔ１，ＲＥｆ−ｔ１，ＲＥｇｆ−ｔ１」が得られたときには、このタイムコード「ＴＣ−ｔ１」と反応情報「ＲＥａ−ｔ１，ＲＥｂ−ｔ１，ＲＥｃ−ｔ１，ＲＥｄ−ｔ１，ＲＥｅ−ｔ１，ＲＥｆ−ｔ１，ＲＥｇｆ−ｔ１」を関係付けて索引情報ＳＤとして情報蓄積部５０の索引情報領域５１に記憶させる。タイムコード「ＴＣ−ｔ２」の画像信号ＣＶや音声信号ＣＡに基づきコンテンツの提示を行ったときに反応情報「ＲＥａ−ｔ２，ＲＥｂ−ｔ２，ＲＥｃ−ｔ２，ＲＥｄ−ｔ２，ＲＥｅ−ｔ２，ＲＥｆ−ｔ２，ＲＥｇｆ−ｔ２」が得られたときには、このタイムコード「ＴＣ−ｔ２」と反応情報「ＲＥａ−ｔ２，ＲＥｂ−ｔ２，ＲＥｃ−ｔ２，ＲＥｄ−ｔ２，ＲＥｅ−ｔ２，ＲＥｆ−ｔ２，ＲＥｇｆ−ｔ２」を関係付けて索引情報ＳＤとして索引情報領域５１に記憶させる。以下同様に、タイムコードＴＣと反応情報ＲＥを関係付けて索引情報ＳＤとして索引情報領域５１に記憶させることで、索引情報領域５１にコンテンツと観客の反応動作の関係を示すデータベースを蓄積させることができる。
【００５５】
このようにタイムコードＴＣと反応情報ＲＥを関係付けて索引情報ＳＤとしてデータベース化すれば、観客の所望の反応動作に応じた反応情報ＲＥを選択することで、この選択された反応情報ＲＥに関係付けられているタイムコードＴＣを利用して、観客が所望の反応動作を生じたときに提示されていたコンテンツを容易に確認することが可能となる。
【００５６】
また、索引情報ＳＤには、コンテンツ固有の識別情報を有するものとすることで、コンテンツが複数であるときにも、コンテンツ毎に正しく索引情報ＳＤをデータベース化できる。
【００５７】
さらに、索引情報ＳＤは、反応情報ＲＥと関係付けてコンテンツの信号を用いるものとしても良い。この場合、コンテンツの提示位置を管理できる位置情報が設けられていなくとも、反応情報ＲＥとコンテンツの例えば画像出力信号ＣＶｏｕｔや音声出力信号ＣＡｏｕｔを関係付けて索引情報ＳＤとして索引情報領域５１に記憶させることで、観客が所望の反応動作を生じたときに提示されていたコンテンツを容易に確認することが可能となる。さらに、コンテンツの信号が情報蓄積部５０のコンテンツ情報領域５２に記憶されていなくとも、観客が所望の反応動作を生じたときに提示されていたコンテンツを確認できる。
【００５８】
制御部８０には、操作入力部８１が接続されており、この操作入力部８１から、検索設定情報ＰＳが入力されると、制御部８０では、入力された検索設定情報ＰＳに応じて、反応情報ＲＥに対する検索条件ＲＱを設定する。あるいは入力された検索設定情報ＰＳをそのまま反応情報ＲＥに対する検索条件ＲＱに設定する。次に、情報蓄積部５０の索引情報領域５１に記憶されている索引情報ＳＤを順次読み出して、反応情報ＲＥが検索条件ＲＱを満たす索引情報ＳＤを検出するとともに、検出結果を示す出力信号ＤＳを生成して結果出力部８２に供給する。
【００５９】
結果出力部８２は、出力信号ＤＳに基づき、入力された検索設定情報ＰＳに該当するコンテンツの位置情報を表示あるいは印刷して出力する。また、索引情報ＳＤにコンテンツの信号が含まれているときには、検索設定情報ＰＳに該当するコンテンツの部分を結果出力部８２で提示するものとしても良い。
【００６０】
このように、コンテンツと観客の反応情報を関係付けて索引情報ＳＤとして情報蓄積部５０に記憶させるとともに、所望の反応動作に応じた検索条件ＲＱを設定して索引情報ＳＤの検索を行うことで、簡単かつ容易に所望の反応動作を生ずるコンテンツ部分を判別できる。
【００６１】
例えば、拍手や笑い声等が生ずるようなシーンでは、動き量を示す反応情報ＲＥａや音量を示す反応情報ＲＥｃが大きくなる。一方、動きの周期性を示す反応情報ＲＥｂや音声の周期性を示す反応情報ＲＥｄは大きくならない。このため、拍手や笑い声等が生ずるようなシーンを選択する検索設定情報ＰＳが操作入力部８１から入力されたとき、反応情報ＲＥａ，ＲＥｂ，ＲＥｃ，ＲＥｄに対してそれぞれ基準値を設定して、検索条件ＰＱは、反応情報ＲＥａ，ＲＥｃは基準値よりも大きく、反応情報ＲＥｂ，ＲＥｄは基準値以下として設定する。この検索条件ＰＱに基づいて索引情報ＳＤを検出することにより、拍手や笑い声等が生ずるようなシーンの位置や内容を簡単に確認できる。
【００６２】
また、恐怖シーン等では、血圧や脈拍の変動量を示す反応情報ＲＥｇが大きくなる。このため、血圧や脈拍の変動量が所定量を超える部分を検索する情報が検索設定情報ＰＳとして操作入力部８１から入力されたとき、この所定量を超える部分を検索する情報を検索条件ＰＱとして用いる。この場合、反応情報ＲＥｇが所定量を超える索引情報ＳＤが検出されて、恐怖シーン等を簡単に確認できる。
【００６３】
さらに、検索設定情報ＰＳに応じて、反応情報ＲＥに対する検索条件ＲＱを設定するだけでなく、コンテンツの位置情報であるタイムコードを検索設定情報ＰＳとして入力して、このタイムコードに関係付けられている反応情報ＲＥを出力するものとしても良い。この場合、コンテンツの制作者は、コンテンツの位置を指定することで、観客が所望の反応動作を示したか否かを容易に確認することが可能となり、観客がより大きな満足を得ることができるようにコンテンツを制作することができる。
【００６４】
なお、索引情報ＳＤには、反応情報ＲＥに基づいて判定した観客の反応動作を示す情報を含めることもできる。例えば、動き量を示す反応情報ＲＥａや音量を示す反応情報ＲＥｃが基準値よりも大きく、動の周期性を示す反応情報ＲＥｂや音声の周期性を示す反応情報ＲＥｄが基準値以下であるときには、観客の反応動作を「拍手」と判定する。また、反応情報ＲＥａ，ＲＥｂ，ＲＥｃ，ＲＥｄが基準値よりも大きいときには、観客の反応動作を「手拍子」と判定する。反応情報ＲＥａ，ＲＥｂ，ＲＥｃ，ＲＥｄが基準値よりも大きいとともに、反応情報ＲＥｅが基準値以下で反応情報ＲＥｆが基準値よりも大きいときには、アンコールの要求のように「観客が立ち上がって手拍子をしている状態」と判定する。さらに、反応情報ＲＥａ，ＲＥｂ，ＲＥｃ，ＲＥｄが基準値以下であり、反応情報ＲＥｇが基準値よりも大きいときには、「恐怖を感じている状態」と判定する。このようにして判定された結果を索引情報ＳＤに含めることにより、観客の反応動作を検索キーとして用いることもできる。
【００６５】
制御部８０では、情報蓄積部５０の索引情報領域５１に索引情報ＳＤが記憶されているときに、この索引情報ＳＤを利用してコンテンツの提示を行う。また、索引情報ＳＤが記憶されていないときには、最初のコンテンツ提示で索引情報ＳＤを生成して情報蓄積部５０に蓄積させるとともに、この蓄積した索引情報ＳＤを二度目のコンテンツ提示の際に利用する。このコンテンツの提示では、索引情報ＳＤに基づきコンテンツの再生設定を行う。例えばコンテンツの再生位置と関係付けられている反応情報ＲＥに基づいて、コンテンツの音声出力レベルを可変したり効果音を付加して音声出力信号ＣＡｏｕｔを出力する。また、反応情報ＲＥに基づきコンテンツの提示環境、すなわち室内の明るさや温度等を制御するものとしても良い。このように、索引情報ＳＤを利用することで、観客がより大きな満足を得ることができるようにコンテンツの提示を制御できる。
【００６６】
さらに、同じコンテンツを異なる提示環境で提示して提示環境毎に得られた索引情報ＳＤをそれぞれデータベース化して情報蓄積部５０に記憶させても良い。この場合、同じコンテンツ位置での反応情報ＲＥの違いから、観客の違い等を判別できる。例えば、コンテンツとして音楽番組の提示を行ったとき、提示された曲に対して興味があるときには反応動作が大きく、興味がないときには反応動作が小さい。このため、提示された音楽番組の内容と反応情報ＲＥから観客がどのような客層であるかを判別できる。また、コンテンツが例えば映画であるときには、映画館毎の客層の違いを判別できることから、この客層の違いに応じてコンテンツの提示を制御することで、更に大きな満足を得ることが可能となる。例えば刺激を欲するような客層が多い映画館では、音響効果等をより高めてコンテンツの提示を行い、刺激が不必要な客層が多い映画館では、音響効果を低めてコンテンツの提示を行う。
【００６７】
また、データベースとされている索引情報ＳＤを例えばネットワーク等の伝送路を介して伝送可能とすることにより、索引情報ＳＤの生成場所から離れていても、コンテンツに対する観客の反応を容易かつ簡単に把握できる。例えば、コンテンツの提示場所で索引情報ＳＤを生成しても、コンテンツの制作者は離れた位置で、コンテンツに対する観客の反応を容易かつ簡単に把握できる。また、データベースとされている索引情報ＳＤを記録媒体に記録しておくものとすれば、通信設備等を有していない場所でも、この記録媒体を可搬することで、コンテンツに対する観客の反応を容易かつ簡単に把握できる。
【００６８】
ところで、データベースの作成やデータべースを利用したコンテンツの再生は上述のようなハードウェアで可能になるものではなく、ソフトウェアによっても実現することができる。この場合の構成を図８に示す。
【００６９】
コンピュータは、図８に示すようにＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）１０１を内蔵しており、このＣＰＵ１０１にはバス１２０を介してＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）１０２，ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）１０３，ハード・ディスク・ドライブ１０４，入出力インタフェース１０５が接続されている。さらに、入出力インタフェース１０５には操作入力部１１１や記録媒体ドライブ１１２，通信部１１３，信号入力部１１４，信号出力部１１５，表示部１１６が接続されている。
【００７０】
外部装置から命令が入力されたり、キーボードやマウス等の操作手段あるいはマイク等の音声入力手段等を用いて構成された操作入力部１１１から命令が入力されたりすると、この命令が入出力インタフェース１０５を介してＣＰＵ１０１に供給される。
【００７１】
ＣＰＵ１０１は、ＲＯＭ１０２やＲＡＭ１０３あるいはハード・ディスク・ドライブ１０４に記憶されているプログラムを実行して、供給された命令に応じた処理を行う。さらに、ＲＯＭ１０２やＲＡＭ１０３あるいはハード・ディスク・ドライブ１０４には、上述のデータベースの作成やデータべースを利用したコンテンツの再生をコンピュータで実行させるためのプログラムを予め記憶させる。なお、これらのプログラムを記録媒体ドライブ１１２によって、記録媒体に記録したり記録媒体から読み出すものとしても良い。さらに、通信部１１３によって、これらのプログラムを有線あるいは無線の伝送路を介して送信あるいは受信するものとしてもよい。
【００７２】
コンテンツの画像信号や音声信号がハード・ディスク・ドライブ１０４に記憶されているときには、ハード・ディスク・ドライブ１０４からコンテンツの画像信号や音声信号を読み出して信号出力部１１５から画像出力信号ＣＶｏｕｔと音声出力信号ＣＡｏｕｔを出力する。また、コンテンツの信号が記録媒体に記録されているときには、記録媒体ドライブ１１２によって記録媒体からコンテンツの信号を読み出して、信号出力部１１５から画像出力信号ＣＶｏｕｔと音声出力信号ＣＡｏｕｔを出力する。また、外部機器でコンテンツの画像信号や音声信号の出力が行われるときには、通信部１１３や信号出力部１１５から外部機器の動作を制御する制御信号ＣＴａを出力するとともに、再生されるコンテンツはどのようなものであるかを示す識別情報を信号入力部１１４に供給させる。
【００７３】
コンテンツの提示が行われると、観客を撮影した画像信号ＳＶや観客からの音声を示す音声信号ＳＡおよびセンサ信号ＳＳが信号入力部１１４に供給される。また、外部機器でコンテンツの画像信号や音声信号の出力が行われたときには、画像出力信号ＣＶｏｕｔや音声出力信号ＣＡｏｕｔが信号入力部１１４に供給される。この供給された画像信号ＳＶや音声信号ＳＡおよびセンサ信号ＳＳに基づいて反応情報ＲＥを生成して、コンテンツの位置情報やコンテンツの画像出力信号ＣＶｏｕｔ，音声出力信号ＣＡｏｕｔと関係付けて索引情報ＳＤを生成してハード・ディスク・ドライブ１０４に蓄積する。あるいは、通信部１１３を介して外部に伝送するものとしたり、記録媒体ドライブ１１２によって記録媒体に記録させる。
【００７４】
操作入力部１１１から検索設定情報ＰＳが入力されたときには、この検索設定情報ＰＳに基づき検索を行い、検索結果を信号出力部１１５から出力する。あるいは表示部１１６に表示する。また、操作入力部１１１でコンテンツの再生操作が行われたときには、ハード・ディスク・ドライブ１０４や記録媒体に記憶されているコンテンツの信号に対して反応情報に応じた処理を行い、信号出力部１１５から出力する。また、外部機器でコンテンツの画像信号や音声信号の出力が行われるときには、コンテンツの再生を制御する制御信号ＣＴｂを通信部１１３や信号出力部１１５から出力する。
【００７５】
図９は、データベース作成プログラムを示すフローチャートを示している。ステップＳＴ１では、再生するコンテンツのコンテンツ識別情報を入手する。例えば、ハード・ディスク・ドライブ１０４や記録媒体から読み出すものとしたり、ハード・ディスク・ドライブ１０４や記録媒体に記録されていないときには、信号入力部１１４を介して入力させてステップＳＴ２に進む。
【００７６】
ステップＳＴ２では、識別情報で示されたコンテンツの再生を行うか否かを判別する。ここで、コンテンツの再生を行う場合、あるいはコンテンツの再生を継続するときにはステップＳＴ３に進む。
【００７７】
ステップＳＴ３では、コンテンツの提示を行いステップＳＴ４に進む。ステップＳＴ４では、信号入力部１１４に供給された画像信号ＳＶや音声信号ＳＡおよびセンサ信号ＳＳに基づいて反応情報ＲＥを生成してステップＳＴ５に進む。ステップＳＴ５では、反応情報ＲＥとコンテンツの位置やコンテンツの信号を関係付けて索引情報ＳＤを生成してステップＳＴ６に進む。ステップＳＴ６では、ステップＳＴ５で生成した索引情報ＳＤをハード・ディスク・ドライブ１０４や外部の情報蓄積装置に蓄積させてステップＳＴ２に戻る。その後、ステップＳＴ２において、再生を行わない場合や再生を終了する場合、あるいは再生が完了した時にはデータベース作成を終了する。
【００７８】
図１０は、作成されたデータベースを利用して、所望の反応動作が生じたコンテンツの位置を検索する場合の位置検索処理を示すフローチャートである。
【００７９】
操作入力部１１１から検索設定情報ＰＳが入力されると、ステップＳＴ１１では、ハード・ディスク・ドライブ１０４に未検索の索引情報ＳＤが残っているか否かを判別する。ここで、索引情報ＳＤが残っているときにはステップＳＴ１２に進む。
【００８０】
ステップＳＴ１２では、索引情報ＳＤを読み出してステップＳＴ１３に進み、検索設定情報ＰＳに基づいて設定した検索条件ＰＱと索引情報ＳＤの反応情報ＲＥが適合するか否かを判別する。ここで、反応情報ＲＥが適合するときにはステップＳＴ１４に進む。また、適合しないときにはステップＳＴ１１に戻る。
【００８１】
ステップＳＴ１４では、検索結果の出力あるいは表示を行う。すなわち、反応情報ＲＥに関係付けられているコンテンツの位置情報やコンテンツの情報を通信部１１３や信号出力部１１５から出力する。あるいは、表示部１１６に表示する。
【００８２】
ステップＳＴ１２で未検索の索引情報ＳＤが残っていないと判別されたときには検索処理を終了する。なお、コンテンツの再生位置を入力して、反応情報ＲＥを表示あるいは出力しても良い。
【００８３】
図１１は、コンテンツの再生動作を示すフローチャートである。操作入力部１１１でコンテンツの再生操作が行われると、ステップＳＴ２１では、再生するコンテンツの索引情報ＳＤが蓄積されているか否かを判別する。例えば、再生するコンテンツと識別情報が等しい索引情報ＳＤが蓄積されているか否かを判別する。ここで、索引情報ＳＤがハード・ディスク・ドライブ等に蓄積されているときにはステップＳＴ２２に進む。また蓄積されていないときにはステップＳＴ２５に進む。
【００８４】
ステップＳＴ２２では、コンテンツの信号を読み出してステップＳＴ２３に進む。ステップＳＴ２３では、読み出したコンテンツの信号に関係する索引情報ＳＤを読み出してステップＳＴ２４に進む。
【００８５】
ステップＳＴ２４では、読み出した索引情報ＳＤの反応情報ＲＥに基づき、コンテンツの信号に対して、音量調整や効果音の付加など、観客の満足度を高めるための信号処理を行ってステップＳＴ２６に進む。
【００８６】
ステップＳＴ２１からステップＳＴ２５に進むと、ステップＳＴ２５では、ステップＳＴ２２と同様にコンテンツの信号を読み出してステップＳＴ２６に進む。
【００８７】
ステップＳＴ２６では、ステップＳＴ２４で処理されたコンテンツの信号あるいはステップＳＴ２５で読み出されたコンテンツの信号を信号出力部１１５から出力してステップＳＴ２７に進む。
【００８８】
ステップＳＴ２７では、コンテンツの再生を終了するか否かを判別する。操作入力部１１１でコンテンツの再生を終了する操作が行われていないとき、あるいはコンテンツの終わりまで再生が行われていないときにはステップＳＴ２１に戻る。また、コンテンツの再生を終了する操作が行われたとき、あるいはコンテンツの終わりまで再生が完了したときには、再生動作を終了する。
【００８９】
このように、上述の実施の形態によれば、コンテンツの提示に対する観客の反応動作に基づいた反応情報とコンテンツとの関連性を示すデータベースを容易に生成できるとともに、このデータベースに基づき、観客の反応動作に応じたコンテンツの提示や、観客の反応動作に対応するコンテンツ部分の確認等も容易に行うことができる。
【００９０】
なお、上述の実施の形態で示した観客の反応動作は例示的なものであって限定的なものではない。また、反応情報も観客の反応動作を示すものであれば、上述のものに限られるものでないことは勿論である。
【００９１】
【発明の効果】
この発明によれば、コンテンツの提示によって生じた観客の反応動作に基づいて反応情報が生成されて、反応情報とコンテンツとを関係付けた索引情報が生成されて、この索引情報が情報蓄積手段に記憶させる。このように索引情報を生成して情報蓄積手段に記憶させることで、索引情報に基づきコンテンツに対する観客の反応を容易かつ簡単に把握できる。
【００９２】
また、コンテンツの提示によって生じた観客の反応動作に基づいて生成した反応情報とコンテンツとを関係付けた索引情報を有するデータベースが生成されるので、このデータベースを例えば伝送することにより、索引情報の生成場所から離れていても、コンテンツに対する観客の反応を容易かつ簡単に把握できる。
【００９３】
また、記録媒体に、コンテンツの提示によって生じた観客の反応動作に基づいて生成した反応情報とコンテンツとを関係付けた索引情報が記録されるので、データベースの伝送を行うことができないような場所でも、コンテンツに対する観客の反応を容易かつ簡単に把握できる。
【００９４】
さらに、コンテンツの提示によって生じた観客の反応動作に基づいて生成した反応情報をコンテンツと関係付けて生成した索引情報を有するデータベースを用いて、索引情報の反応情報に基づき、この反応情報と関係付けられているコンテンツ部分の再生が制御される。このため、観客の種々の反応動作がどのようなコンテンツ部分で生じたかを容易に把握できる。また、観客がより大きな満足を得ることができるように観客の反応動作に応じたコンテンツの提示を行うことができる。
【図面の簡単な説明】
【図１】データベース処理システムの構成を示す図である。
【図２】反応取得部の配置を示す図である。
【図３】反応取得部の構成を示す図である。
【図４】動き反応情報抽出部の構成を示す図である。
【図５】自己相関係数の算出動作を説明するための図である。
【図６】音声反応情報抽出部の構成を示す図である。
【図７】検索情報の生成を説明するための図である。
【図８】コンピュータを用いた構成を示す図である。
【図９】データベース作成処理を示すフローチャートである。
【図１０】位置検索処理を示すフローチャートである。
【図１１】コンテンツの再生処理を示すフローチャートである。
【符号の説明】
１０・・・反応取得部、１１・・・撮像部、１２・・・音声取得部、１３・・・画像処理部、１４・・・動き反応情報抽出部、１５・・・音声処理部、１６・・・音声反応情報抽出部、２１・・・荷重センサ、２２・・・踏力センサ、２３・・・生体反応検出センサ、２４・・・荷重反応情報抽出部、２５・・・踏力反応情報抽出部、２６・・・生体反応情報抽出部、３０・・・索引生成部、４０・・・伝送路、５０・・・情報蓄積部、５１・・・索引情報領域、５２・・・コンテンツ情報領域、６０・・・出力信号処理部、７０・・・画像表示装置、７５・・・音声出力装置、８０・・・制御部、８１・・・操作入力部、８２・・・結果出力部、９０・・・観客、９１・・・座席、１０１・・・ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）、１０２・・・ＲＯＭ、１０３・・・ＲＡＭ、１０４・・・ハード・ディスク・ドライブ、１０５・・・入出力インタフェース、１１１・・・操作入力部、１１２・・・記録媒体ドライブ、１１３・・・通信部、１１４・・・信号入力部、１１５・・・信号出力部、１１６・・・表示部、１４１・・・動きベクトル計算部、１４２・・・動き量計算部、１４３，１６２・・・自己相関計算部、１４４，１６３・・・最大位置抽出部、１４５，１６４・・・分散計算部、１６１・・・音量検出部
Claims (18)
- コンテンツの提示によって生じた観客の反応動作に基づいて反応情報を生成し、
前記反応情報と前記コンテンツとを関係付けた索引情報を生成し、
生成した前記索引情報を情報蓄積手段に記憶させる
ことを特徴とするデータベース作成方法。 - 前記観客の動きや前記観客からの音声および前記観客の生体反応のうち少なくとも一つを反応動作として用い、該反応動作に基づいて前記反応情報を生成する
ことを特徴とする請求項１記載のデータベース作成方法。 - 前記索引情報は、前記反応情報と、該反応情報の生成で用いた反応動作が生じたときに提示されていた前記コンテンツの部分を有する
ことを特徴とする請求項１記載のデータベース作成方法。 - 前記索引情報は、前記反応情報と、該反応情報の生成で用いた反応動作が生じたときに提示されていた前記コンテンツの位置情報を有する
ことを特徴とする請求項１記載のデータベース作成方法。 - コンテンツの提示によって生じた観客の反応動作に基づいて反応情報を生成する反応取得手段と、
前記反応情報と前記コンテンツとを関係付けた索引情報を生成する索引生成手段と、
前記索引情報を記憶する情報蓄積手段とを有する
ことを特徴とするデータベース作成装置。 - 前記反応取得手段では、前記観客の動きや前記観客からの音声および前記観客の生体反応のうち少なくとも一つを反応動作として用いる
ことを特徴とする請求項５記載のデータベース作成装置。 - 前記索引生成手段は、前記反応情報と、該反応情報の生成で用いた反応動作が生じたときに提示されていた前記コンテンツの部分を有する該反応情報を得たときの前記コンテンツを用いて前記索引情報を生成する
ことを特徴とする請求項５記載のデータベース作成装置。 - 前記索引生成手段は、前記反応情報と、該反応情報の生成で用いた反応動作が生じたときに提示されていた前記コンテンツの位置情報を有する
ことを特徴とする請求項５記載のデータベース作成装置。 - コンピュータに、
コンテンツを提示する手順と、
前記コンテンツの提示によって生じた観客の反応動作に基づいて反応情報を生成する手順と、
前記反応情報と前記コンテンツとを関係付けた索引情報を生成する手順と、
生成された前記索引情報を情報蓄積手段に記憶させる手順とを実行させる
ことを特徴とするデータベース作成プログラム。 - コンテンツの提示によって生じた観客の反応動作に基づいて生成した反応情報と前記コンテンツとを関係付けた索引情報を有する
ことを特徴とするデータベース。 - コンテンツの提示によって生じた観客の反応動作に基づいて生成した反応情報と前記コンテンツとを関係付けた索引情報が記録された
ことを特徴とする記録媒体。 - コンテンツの提示によって生じた観客の反応動作に基づいて生成した反応情報を前記コンテンツと関係付けて生成した索引情報を有するデータベースを用い、
前記索引情報の前記反応情報に基づき、該反応情報と関係付けられている前記コンテンツの部分について再生を制御する
ことを特徴とするコンテンツ再生方法。 - 所望の前記反応情報の選択を行い、選択された前記反応情報と関係付けられた前記コンテンツの部分を再生する
ことを特徴とする請求項１２記載のコンテンツ再生方法。 - 前記索引情報の前記反応情報に応じて、該反応情報と関係付けられている前記コンテンツの部分について再生設定を行う
ことを特徴とする請求項１２記載のコンテンツ再生方法。 - コンテンツの提示によって生じた観客の反応動作に基づいて生成した反応情報を前記コンテンツと関係付けて生成した索引情報を有する情報蓄積手段と、
前記索引情報の前記反応情報に基づき、該反応情報と関係付けられている前記コンテンツの部分について再生を制御する制御手段とを有する
ことを特徴とするコンテンツ再生装置。 - 前記制御手段では、所望の前記反応情報の選択を行い、選択された前記反応情報と関係付けられた前記コンテンツの部分を再生する
ことを特徴とする請求項１５記載のコンテンツ再生装置。 - 前記制御手段では、前記索引情報の前記反応情報に応じて、該反応情報と関係付けられている前記コンテンツの部分について再生設定を行う
ことを特徴とする請求項１５記載のコンテンツ再生装置。 - コンテンツの提示によって生じた観客の反応動作に基づいて生成した反応情報を前記コンテンツと関係付けて生成した索引情報を有するデータベースを利用して、前記コンテンツの再生を制御するコンテンツ再生プログラムにおいて、
コンピュータに、
前記データベースから前記索引情報を読み出す手順と、
前記読み出した索引情報の前記反応情報に基づいて、該反応情報と関係付けられている前記コンテンツの部分について再生を制御する手順とを実行させる
ことを特徴とするコンテンツ再生プログラム。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2002178953A JP2004021844A (ja) | 2002-06-19 | 2002-06-19 | データベース作成方法とデータベース作成装置とデータベース作成プログラム並びにデータべースと記録媒体およびコンテンツ再生方法とコンテンツ再生装置とコンテンツ再生プログラム |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2002178953A JP2004021844A (ja) | 2002-06-19 | 2002-06-19 | データベース作成方法とデータベース作成装置とデータベース作成プログラム並びにデータべースと記録媒体およびコンテンツ再生方法とコンテンツ再生装置とコンテンツ再生プログラム |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JP2004021844A true JP2004021844A (ja) | 2004-01-22 |
Family
ID=31176526
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2002178953A Pending JP2004021844A (ja) | 2002-06-19 | 2002-06-19 | データベース作成方法とデータベース作成装置とデータベース作成プログラム並びにデータべースと記録媒体およびコンテンツ再生方法とコンテンツ再生装置とコンテンツ再生プログラム |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP2004021844A (ja) |
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2007104348A (ja) * | 2005-10-05 | 2007-04-19 | Hitachi Ltd | 情報処理装置 |
| JP2009134669A (ja) * | 2007-12-03 | 2009-06-18 | Sony Corp | 情報処理装置、情報処理端末、情報処理方法、およびプログラム |
| JP2010520552A (ja) * | 2007-03-08 | 2010-06-10 | エムセンス コーポレイション | 生理学的データに基づいてメディア及びメディアのイベントを評価する方法及びシステム |
| JP2015088203A (ja) * | 2013-10-30 | 2015-05-07 | 日本電信電話株式会社 | コンテンツ作成方法、コンテンツ作成装置及びコンテンツ作成プログラム |
| WO2022190717A1 (ja) | 2021-03-11 | 2022-09-15 | ヤマハ株式会社 | コンテンツデータ処理方法およびコンテンツデータ処理装置 |
-
2002
- 2002-06-19 JP JP2002178953A patent/JP2004021844A/ja active Pending
Cited By (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2007104348A (ja) * | 2005-10-05 | 2007-04-19 | Hitachi Ltd | 情報処理装置 |
| JP4548297B2 (ja) * | 2005-10-05 | 2010-09-22 | 株式会社日立製作所 | 情報処理装置及び情報処理方法 |
| JP2010520552A (ja) * | 2007-03-08 | 2010-06-10 | エムセンス コーポレイション | 生理学的データに基づいてメディア及びメディアのイベントを評価する方法及びシステム |
| JP2009134669A (ja) * | 2007-12-03 | 2009-06-18 | Sony Corp | 情報処理装置、情報処理端末、情報処理方法、およびプログラム |
| JP2015088203A (ja) * | 2013-10-30 | 2015-05-07 | 日本電信電話株式会社 | コンテンツ作成方法、コンテンツ作成装置及びコンテンツ作成プログラム |
| WO2022190717A1 (ja) | 2021-03-11 | 2022-09-15 | ヤマハ株式会社 | コンテンツデータ処理方法およびコンテンツデータ処理装置 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US11477156B2 (en) | Watermarking and signal recognition for managing and sharing captured content, metadata discovery and related arrangements | |
| JP5069687B2 (ja) | コンテンツ情報の提供を受けたユーザの感情状態を分析するための方法及び装置 | |
| KR101884483B1 (ko) | 미디어 인식 및 움직임 신호와의 동기화 | |
| US9183883B2 (en) | Method and system for generating data for controlling a system for rendering at least one signal | |
| CN102547197B (zh) | 信息处理设备、同步方法 | |
| CN106648083A (zh) | 增强演奏场景合成控制方法及装置 | |
| KR20080022512A (ko) | 악곡과 화상이 동기화된 모션 픽쳐용 시나리오 생성 방법,프로그램, 및 장치 | |
| JP6662644B2 (ja) | 視聴素材評価方法、視聴素材評価システム、及びプログラム | |
| JP2014053672A (ja) | 再生システム | |
| JP2004021844A (ja) | データベース作成方法とデータベース作成装置とデータベース作成プログラム並びにデータべースと記録媒体およびコンテンツ再生方法とコンテンツ再生装置とコンテンツ再生プログラム | |
| WO2015168299A1 (en) | Biometric-music interaction methods and systems | |
| CN117037815A (zh) | 基于hrtf数据信息的家庭影院个性化环绕声生成系统及方法 | |
| KR20160089374A (ko) | 햅틱 계수를 재생하기 위해 자동회귀 모델, 신호 및 디바이스를 이용하여 햅틱 계수를 생성하는 방법 | |
| JP5928279B2 (ja) | 運動支援装置及びプログラム | |
| US20210149952A1 (en) | Information processing apparatus, information processing method, and program | |
| Essid et al. | A multimodal dance corpus for research into real-time interaction between humans in online virtual environments | |
| JP7041093B2 (ja) | 情報処理装置、情報処理方法、及びプログラム | |
| WO2023162159A1 (ja) | 動作生成装置、動作生成システム、動作生成方法、及び非一時的なコンピュータ可読媒体 | |
| WO2023047657A1 (ja) | 情報処理装置および情報処理方法 | |
| JP2019177104A (ja) | 推定システム、及び推定方法 | |
| JP6472216B2 (ja) | カラオケ連携システム、デジタルサイネージ、およびその広告選択方法 | |
| Jmaa¹ et al. | 1 Efrei Research Lab, Paris Panthéon-Assas University, Paris, France ahmedbaha. benjmaa@ outlook. fr 2 Images and Forms Research Group, CRISTAL Laboratory, ENSI, University of Manouba, Manouba, Tunisia | |
| JP2024017843A (ja) | 監視システム、監視方法、およびプログラム | |
| JP4487379B2 (ja) | 情報取得装置および方法、並びに記録媒体 | |
| JP5928257B2 (ja) | 情報処理装置、情報処理方法及びプログラム |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20050606 |
|
| RD04 | Notification of resignation of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7424 Effective date: 20060426 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20080527 |
|
| A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20081118 |