JP4432246B2 - 観客状況判定装置、再生出力制御システム、観客状況判定方法、再生出力制御方法、記録媒体 - Google Patents
観客状況判定装置、再生出力制御システム、観客状況判定方法、再生出力制御方法、記録媒体 Download PDFInfo
- Publication number
- JP4432246B2 JP4432246B2 JP2000302862A JP2000302862A JP4432246B2 JP 4432246 B2 JP4432246 B2 JP 4432246B2 JP 2000302862 A JP2000302862 A JP 2000302862A JP 2000302862 A JP2000302862 A JP 2000302862A JP 4432246 B2 JP4432246 B2 JP 4432246B2
- Authority
- JP
- Japan
- Prior art keywords
- audience
- state
- detection
- outputting
- determination
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/002—Special television systems not provided for by H04N7/007 - H04N7/18
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/439—Processing of audio elementary streams
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/442—Monitoring of processes or resources, e.g. detecting the failure of a recording device, monitoring the downstream bandwidth, the number of times a movie has been viewed, the storage space available from the internal hard disk
- H04N21/44213—Monitoring of end-user related data
- H04N21/44218—Detecting physical presence or behaviour of the user, e.g. using sensors to detect if the user is leaving the room or changes his face expression during a TV program
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/45—Management operations performed by the client for facilitating the reception of or the interaction with the content or administrating data related to the end-user or to the client device itself, e.g. learning user preferences for recommending movies, resolving scheduling conflicts
- H04N21/466—Learning process for intelligent management, e.g. learning user preferences for recommending movies
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04H—BROADCAST COMMUNICATION
- H04H60/00—Arrangements for broadcast applications with a direct linking to broadcast information or broadcast space-time; Broadcast-related systems
- H04H60/29—Arrangements for monitoring broadcast services or broadcast-related services
- H04H60/33—Arrangements for monitoring the users' behaviour or opinions
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Databases & Information Systems (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Social Psychology (AREA)
- Computer Networks & Wireless Communication (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
- Circuit For Audible Band Transducer (AREA)
- Toys (AREA)
Description
【０００１】
【発明の属する技術分野】
本発明は、映画上映、音楽コンサート、演劇、演芸、各種イベント、スポーツ観戦などで、多数の観客を集めるエンターテイメント施設において好適な、観客状況判定装置、再生出力制御システム、観客状況判定方法、再生出力制御方法、及びこれらの装置又は方法の実現に好適な記録媒体に関するものである。
【０００２】
【従来の技術】
例えば映画上映、音楽コンサート、演劇、演芸、各種イベント、スポーツ観戦などの、多数の観客を対象としたエンターテイメントが多数催されているが、近年、観客に対してより大きな満足を与えるための各種の手法や設備が求められ、また提案されている。
【０００３】
【発明が解決しようとする課題】
ところが一般に、映画館やコンサートホールなど（以下、これら観客が集まって映画、演奏等を視聴する場所を総称して「会場」という）においては、観客はあくまでも受動的に、上映／上演される内容を視聴するのみであった。
一方、会場に多数の観客が集まる場合は、いわゆる群衆心理的な効果や、視聴対象（上映内容や演奏者、演技者等）との一体感などから、個人が家庭等で映画や演奏などを鑑賞する場合と比べて、観客は大きな反応が示すことが多い。例えば拍手、手拍子、歓声、スタンディングオベーション、応援、唱和、身振りなどは著しいものとなる。
このような観客の反応に対しては、例えばライブ演奏などでは演奏者が自発的に対応して、より観客が盛りあがるように予定されていた演奏内容を変更したりアンコールに応えたりすることはあるにせよ、映画や、演技或いは演奏内容を容易には変更できないような演目の場合などは、観客の反応をくみ取って対応することは困難であった。また観客の反応に応じて演出効果を変えるというようなことも実際上は困難であった。
【０００４】
さらには、多数の観客の中には、声やアクションの大きい人や小さい人、視聴している内容をおもしろいと思っている人やつまらないと思っている人、などが混在しており、観客の全体としての反応を的確に把握するといったこと自体が、困難なものでもあった。
【０００５】
【課題を解決するための手段】
本発明はこのような事情に鑑みて、例えば会場における観客の状況を的確に判別し、またさらにその判別した観客の状況に応じて、より観客の楽しみを増大させるような制御を実現できるようにすることを目的とする。
【０００６】
このため本発明の観客状況判定装置は、観客の全体を撮像し、撮像された画像で検出される動きベクトルから観客全体の身体動作状態として、少なくとも静止状態か否かに応じた検出信号を出力する第１の全体動作状態検出手段と、観客の全体が発する音を集音し、集音された音から観客全体が発する音について、少なくとも音量に応じた検出信号を出力する第２の全体動作状態検出手段と、個々の観客の座席への荷重により、少なくとも着席状態に応じた検出信号を出力する第１の個別動作状態検出手段と、個々の観客の踏力の状態を検出し、少なくとも起立状態か否かに応じた検出信号を出力する第２の個別動作状態検出手段と、上記第１，第２の全体動作状態検出手段による検出情報と、上記第１，第２の個別動作状態検出手段による検出情報とを用いて観客状況を判定する判定手段とを備える。
これにより会場にいる観客の、映画、演奏等の視聴対象に対する総体的な反応を判定し、その判定結果を何らかの形で利用できるようにする。
【０００７】
また本発明の再生出力制御システムは、観客の全体を撮像し、撮像された画像で検出される動きベクトルから観客全体の身体動作状態として、少なくとも静止状態か否かに応じた検出信号を出力する第１の全体動作状態検出手段と、観客の全体が発する音を集音し、集音された音から観客全体が発する音について、少なくとも音量に応じた検出信号を出力する第２の全体動作状態検出手段と、個々の観客の座席への荷重により、少なくとも着席状態に応じた検出信号を出力する第１の個別動作状態検出手段と、個々の観客の踏力の状態を検出し、少なくとも起立状態か否かに応じた検出信号を出力する第２の個別動作状態検出手段と、上記第１，第２の全体動作状態検出手段による検出情報と、上記第１，第２の個別動作状態検出手段による検出情報とを用いて観客状況を判定する判定手段と、観客に視聴させるデータを再生出力する再生手段と、上記判定手段の判定結果に基づいて、上記再生手段の動作を制御する制御手段とを備える。
つまり会場にいる観客の、映画等の視聴対象に対する総体的な反応を判定し、その判定結果を映画等の再生動作制御に利用する。
例えば上記制御手段は、上記判定手段の判定結果に基づいて、上記再生手段で再生するデータを選択する制御を行う。即ち再生内容自体を制御する。
また、上記制御手段は、上記判定手段の判定結果に基づいて、上記再生手段で再生されたデータに対する信号処理の制御を行う。即ち再生内容についての例えば映像効果、音響効果等の制御を行う。
【０００９】
本発明の観客状況判定方法は、観客の全体を撮像し、撮像された画像で検出される動きベクトルから観客全体の身体動作状態として、少なくとも静止状態か否かに応じた検出信号を出力する第１の全体動作状態検出ステップと、観客の全体が発する音を集音し、集音された音から観客全体が発する音について、少なくとも音量に応じた検出信号を出力する第２の全体動作状態検出ステップと、個々の観客の座席への荷重により、少なくとも着席状態に応じた検出信号を出力する第１の個別動作状態検出ステップと、個々の観客の踏力の状態を検出し、少なくとも起立状態か否かに応じた検出信号を出力する第２の個別動作状態検出ステップと、上記第１，第２の全体動作状態検出ステップによる検出情報と、上記第１，第２の個別動作状態検出ステップによる検出情報とを用いて観客状況を判定する判定ステップとが行われるようにする。
また本発明の記録媒体は、このような方法に相当する処理を実行させる処理プログラムが記録されるものとする。
【００１０】
本発明の再生出力制御方法は、観客の全体を撮像し、撮像された画像で検出される動きベクトルから観客全体の身体動作状態として、少なくとも静止状態か否かに応じた検出信号を出力する第１の全体動作状態検出ステップと、観客の全体が発する音を集音し、集音された音から観客全体が発する音について、少なくとも音量に応じた検出信号を出力する第２の全体動作状態検出ステップと、個々の観客の座席への荷重により、少なくとも着席状態に応じた検出信号を出力する第１の個別動作状態検出ステップと、個々の観客の踏力の状態を検出し、少なくとも起立状態か否かに応じた検出信号を出力する第２の個別動作状態検出ステップと、上記第１，第２の全体動作状態検出ステップによる検出情報と、上記第１，第２の個別動作状態検出ステップによる検出情報とを用いて観客状況を判定する判定ステップと、上記判定ステップでの判定結果に基づいて、観客に視聴させるデータの再生動作を制御する制御ステップとが行われるようにする。
また本発明の記録媒体は、このような方法に相当する処理を実行させる処理プログラムが記録されるものとする。
【００１１】
【発明の実施の形態】
以下、映画フィルムをビデオデータに変換して保持し、そのビデオデータを再生してビデオ投影機で上映する映画館において本発明を適用した例としての実施の形態を説明する。説明は次の順で行う。
１．システム構成
２．検出信号処理部の判別信号生成動作
３．判定処理部の判定／制御処理
４．各種変形例
５．実施の形態の実現のための構成例
【００１２】
１．システム構成
図１に本例のシステム構成を模式的に示す。本例は映画としてのビデオデータをビデオ投影機（プロジェクタ）で上映する映画館であるとすることから、図示するように映画としての映像が投影されるスクリーン１、及びスクリーン１に対して映像を投影するプロジェクタ２が設けられる。
プロジェクタ２に供給されるビデオデータは、サーバ９に格納されている。サーバ９は検出／コントロール部１０の制御に基づいて所要のビデオデータを再生し、プロジェクタ２に供給する。
また映画等における音声を出力するスピーカ３も例えばスクリーン１の左右に配置される。サーバ９においてビデオデータとともに再生されたオーディオデータは、図示しないパワーアンプ部を介してスピーカ３に供給され、音声出力される。
【００１３】
スクリーン１に対しては観客Ｐが座る座席ＳＴが多数用意され、観客Ｐは通常、座席ＳＴに座ってスクリーン１に映し出される映画等を鑑賞する。
ビデオカメラ４は、例えばスクリーン４側から観客全体の画像を撮像するように配置されている。つまりこのビデオカメラ４は、上映中などにおいて観客Ｐの様子を撮像した画像データを得るものとなる。
また、会場内の音声を集音するために、観客Ｐの全体に対するマイクロホン５が配置されている。
【００１４】
また各座席ＳＴには、それぞれ荷重センサ６が配備されており、観客Ｐが座席ＳＴに座っている状態、座っていない状態を、荷重の有無により検出できるようにされている。
さらに各座席ＳＴの前方下部には踏力センサ７が配備されている。この踏力センサは、観客Ｐが座席ＳＴに座った状態、及び座席ＳＴから立ち上がった状態において、観客Ｐの足が乗せられていることとなる位置に設けられている。これにより観客Ｐの足による荷重状態を検出できるようにされる。
【００１５】
図２は、図１の各部をブロック図により示したものである。
検出／コントロール部１０は、検出信号処理部１１、判定処理部１２，出力信号処理部１３が設けられる。
【００１６】
検出信号処理部１１は、観客Ｐや会場内の様子を検出する各種センサからの信号が入力され、それらの信号について検出処理を行う。即ち、観客全体の様子についての画像センサとして機能するビデオカメラ４からの画像信号ＳＶと、会場内の音声を検出する音声センサとしてのマイクロホン５からの音声信号ＳＡと、各座席ＳＴのそれぞれに配置された荷重センサ６からの荷重検出信号ＳＷと、各座席ＳＴの足下に配置された踏力センサ７からの踏力検出信号ＳＦとが、検出信号処理部１１に供給される。
【００１７】
なお後述するが、荷重センサ６は各座席に配置されており、つまり座席数ｎ個の荷重センサ６が存在するため、実際に検出信号処理部１１に供給される荷重検出信号ＳＷは、各荷重センサ６からの荷重検出信号ＳＷ１〜ＳＷ（ｎ）となる。
【００１８】
また同じく踏力センサ７も、座席数と同数存在するため、検出信号処理部１１に供給される踏力検出信号ＳＦは、各踏力センサ７からの踏力検出信号ＳＦ１〜ＳＦ（ｎ）となる。さらに１つの踏力センサ７は、図１３で後述するが、観客の左足に略対応して踏力を検出する左検出部７Ｌと、観客の右足に略対応して踏力を検出する右検出部７Ｒとに分割されて形成されており、それぞれ独立して踏力検出信号を出力できるようにされている。従って、各踏力検出信号ＳＦ１〜ＳＦ（ｎ）は、それぞれ左検出部７Ｌからの踏力検出信号ＳＦＬと、右検出部７Ｒからの踏力検出信号ＳＦＲとを含むものとなる。
【００１９】
詳しくは後述するが、検出信号処理部１１は、これらの画像信号ＳＶ、音声信号ＳＡ、荷重検出信号ＳＷ、踏力検出信号ＳＦのそれぞれについて所要の信号処理を行い、観客の全体の状況及び個別の状況を判別信号を生成する。
即ち画像信号ＳＶに基づいて画像判別信号ＳＳＶを生成し、音声信号ＳＡに基づいて音声判別信号ＳＳＡを生成し、荷重検出信号ＳＷに基づいて荷重判別信号ＳＳＷを生成し、踏力検出信号ＳＦに基づいて踏力判別信号ＳＳＦを生成する。そしてこれらの判別信号を判定処理部１２に供給する。
【００２０】
判定処理部１２は、供給された画像判別信号ＳＳＶ、音声判別信号ＳＳＡ、荷重判別信号ＳＳＷ、踏力検出信号ＳＦを用いて、観客の動作状況を判定する。例えば観客が注視・傾聴している状態にあるか、拍手している状態にあるかなど、観客全体の状況を具体的に判別する。
そして判定処理部１２は、観客状況の判定結果に基づいて、サーバ９に対する制御信号Ｃｄｂや、出力信号処理部１３に対する制御信号Ｃｓｐを出力する。
【００２１】
サーバ９は、映画やフィルムコンサートなどのコンテンツとしてのビデオデータ、オーディオデータを格納した１又は複数のデータベース２１（２１−１〜２１−ｍ）が設けられるとともに、これらデータベース２１（２１−１〜２１−ｍ）に対するデータの再生動作、書込動作を制御する制御部２３と、記録データや再生データの入出力を行うインターフェース部２２を有する。
【００２２】
制御部２２は、図示しない操作部（例えば劇場のオペレータにより操作指示が行われる操作装置）からの操作に応じてデータベース２１からの所要のデータ再生や、新たなデータの書込を実行するように制御を行うほか、上記の判定処理部１２から供給された制御信号Ｃｄｂに基づいて、データベース２１からの再生動作等の制御も行う。
また、映画コンテンツ等のデータ再生中は、現在の再生内容を示す情報を補足情報ＩＰとして判定処理部１２に供給する。補足情報ＩＰは、後述するように判定処理部１２での観客状況の判定処理に利用される。
補足情報ＩＰの具体的内容としては各種考えられるが、現在の上映状況を表すものとして、上映中か非上映中の区別、本編上映中か否かの区別、現在上映されている場面の種別、楽曲の再生中か否かの区別などを識別可能な情報とする。
【００２３】
制御部２３の制御に基づいてデータベース２１から読み出され、インターフェース部２２から出力されたビデオデータＶｏｕｔ、オーディオデータＡｏｕｔは、出力信号処理部１３において必要な映像信号処理、音声信号処理が行われた後、プロジェクタ２及びスピーカ３に供給され、上映出力されることになる。
出力信号処理部１３は、図３に示すようにビデオデータＶｏｕｔに対する映像信号処理部６１、及びオーディオデータＡｏｕｔに対する音声信号処理部６２が設けられ、映像信号処理部６１，音声信号処理部６２は図示しない操作部からのオペレータの操作指示や、或いは判定処理部１２からの制御信号Ｃｓｐに応じて、指示された信号処理を行う。
【００２４】
例えば映像信号処理部６１では、ビデオデータＶｏｕｔに対して、画像サイズ変更、画像提示位置、キャラクタ画像やテキスト画像の重畳、ズーム／モザイク／画像エフェクトなどの特殊画像処理等が可能である。
また音声信号処理部６２では、オーディオデータＡｏｕｔに対して、音量レベル処理、エコー／リバーブなどの音声エフェクト処置、出力音像定位の変更／パンニング処理、或いはアナウンス、効果音等の他の音声の重畳処理などが可能とされる。
【００２５】
２．検出信号処理部の判別信号生成動作
検出／コントロール部１０における、検出信号処理部１１，判定処理部１２の構成を図４に示す。なお、図４に示す各ブロックはハードウエアで構成されてもよいし、ソフトウエアにより実現されるものでもよい。
まず検出信号処理部１１の構成及び各判別信号ＳＳＶ、ＳＳＡ、ＳＳＷ、ＳＳＦの生成動作について説明する。
【００２６】
検出信号処理部１１には、画像信号ＳＶに対する処理ブロックとして、観客画像抽出部３１，動きベクトル判別部３２が設けられる。
観客画像抽出部３１は、画像信号ＳＶから検出上の外乱成分を取り除き、実際の観客の動きなどの変化情報としての画像信号ＳＶ１を出力する。
ビデオカメラ４で撮像された客席全体の画像には、スクリーン１に投射されている映像（光）の照り返しの影響が表れる。そしてその照り返しによる画像信号ＳＶ上の変化は、観客の反応に相当する変化ではない。そこで観客画像抽出部３１には、サーバ９で再生されているビデオデータＶｏｕｔが供給されており、例えばそのビデオデータＶｏｕｔの輝度レベルを判定して、その輝度レベル相当成分を画像信号ＳＶからキャンセルして画像信号ＳＶ１とする。
照り返し成分がキャンセルされた画像信号ＳＶ１は、動きベクトル判別部３２で、画像上の動き（変化）のベクトル（動きの量及び方向）を判別する。そして動きベクトルの状態から、観客の状態を推定する画像判別信号ＳＳＶを生成し、判定処理部１２に出力する。
【００２７】
図５（ａ）、図６（ａ）、図７（ａ）にそれぞれ、観客側をビデオカメラ４で撮像した画像の例を示す。
図５（ａ）は、観客が拍手や歓声をあげている状態が撮像されたものであるが、このような画像が得られる期間に、例えば画像信号ＳＶ１を１フレーム毎に比較していき、動きベクトルを検出すると、例えば図５（ｂ）のようにランダムな動きが検出される。このように拍手をしている場合の動きベクトルの特徴としては、動き量は大きくなく、局所的に停滞している。そして総じてランダムな方向及び量であり、客席全体の総和としてのマクロ動き量は０に近いものとなる。
【００２８】
図６（ａ）は、観客が楽曲に合わせて手を振る、手拍子をする、或いは観客が見ている映像や聞いている音声に従って手を挙げるなどの状態を示しており、この場合の動きベクトルは、図６（ｂ）のように総じて秩序だったものとなっている。そしてこの場合は、局所動きに類似性があり、客席全体の総和としてのマクロ動きにも一定の特徴が観測される。
【００２９】
図７（ａ）は、観客が上映されているコンテンツの映像や音声に対して注視・傾聴している場合である。この場合動きベクトルは図７（ｂ）のようになり、即ち、提示されているコンテンツに誘発される動きはなく、ミクロにもマクロにも動きは観測されない。
【００３０】
画像信号ＳＶ１について動きベクトルを観測すると、大別して上記の３つの状態が判別可能である。
そこで動きベクトル判別部３２では、観測された動きベクトルが、これらの３つのどれに相当するかを判断し、その判断結果としての画像判別信号ＳＳＶを出力する。
従って画像判別信号ＳＳＶは、図８に示したＶａ、Ｖｂ、Ｖｃの３つの状態を識別する情報として判定処理部１２に供給されることになる。即ち、動きベクトルの観測結果として、静止状態（Ｖａ）、秩序ある動作状態（Ｖｂ）、ランダムな動作状態（Ｖｃ）のいずれかを示す画像判別信号ＳＳＶが供給される。
【００３１】
画像判別信号ＳＳＶ＝静止状態（Ｖａ）の場合は、図７のような、観客が注視・傾聴している状態を推定させるものとなる。
画像判別信号ＳＳＶ＝秩序ある動作状態（Ｖｂ）の場合は、図６のような、観客が曲に合わせた手拍子やアクションなど、秩序だった動きを行っている状態を推定させるものとなる。
画像判別信号ＳＳＶ＝ランダムな動作状態（Ｖｃ）の場合は、図５のような、観客が拍手等を行っている状態を推定させるものとなる。
【００３２】
図４に示すように検出信号処理部１１には、音声信号ＳＡに対する処理ブロックとして、観客音声抽出部３３，音声特徴検出部３４が設けられる。
観客音声抽出部３３は、音声信号ＳＡから検出上の外乱成分を取り除き、実際に観客が発生させている音声成分を抽出し、音声信号ＳＡ１として出力する。
マイクロホン５で集音された音声には、スピーカ３から出力される音声成分、つまり上映されているコンテンツのオーディオデータ成分が含まれる。当然そのオーディオデータ成分は観客の発した音声ではないため検出動作上のノイズとなる。
そこで観客音声抽出部３３には、サーバ９で再生されているオーディオデータＡｏｕｔが供給されており、音声信号ＳＡからオーディオデータＡｏｕｔを減算することにより、オーディオデータ成分がキャンセルされた音声信号ＳＡ１を得るようにしている。
また、マイクロホン５で客席から集音された音声信号ＳＡは、その会場の大きさや造りなどにより音響特性上の影響を受けている。また会場の空調設備などによる固定的なノイズ成分もある。ただしこれらの会場の造作によって影響を受ける音響特性は予め既知のものである。そこで観客音声抽出部３３には、当該システムが設置される会場に応じた音声信号ＳＡへの影響成分に相当する情報Ａｆが固定値として供給されるようにし、音声信号ＳＡに対して会場による影響をキャンセル（音響特性の補正や空調ノイズ成分のキャンセルなど）する処理も行うようにしている。
【００３３】
即ち観客音声抽出部３３では、集音された音声信号ＳＡから、スピーカ３からの出力音声や、会場の造作による音響特性やノイズなどの影響を排除して、実際に観客Ｐが発生させた声や拍手などの音としての音声信号ＳＡ１を出力するものとなる。
なお、上記画像信号ＳＶについては述べなかったが、映像信号ＳＶについても会場の造りによる影響が発生する場合がある。例えばドアの開閉や何らかの移動物が画像信号ＳＶとして撮像される場合がある。このような会場の造作による影響が考えられる場合は、音声信号ＳＡの場合と同様に、その固定的な影響をキャンセルして画像信号ＳＶ１が得られるようにすればよい。
【００３４】
音声信号ＳＡ１は音声特徴検出部３４で特徴が判別され、音声判別信号ＳＳＡが生成される。
音声特徴検出部３４は図９のように構成される。即ち音声信号ＳＡ１と基準レベルＡｔｈを比較して、基準レベル以下の音量状態（静寂状態）を検出する検出部５２、音声信号ＳＡ１を断続するスイッチ５１、それぞれ異なる通過帯域が設定された所要数のバンドパスフィルタ５３ａ、５３ｂ・・・、各バンドパスフィルタ５３ａ、５３ｂ・・・からの出力が供給される規則性評価部５４ａ、５４ｂ・・・、及び特徴判別部５５が設けられる。
【００３５】
検出部５２は、音声信号ＳＡ１と基準レベルＡｔｈを比較して、音声信号ＳＡ１の音量レベルが基準レベルＡｔｈを越えているか否かを示す比較結果信号を出力する。これは観客Ｐが発した音の総合レベルとして、観客が静寂状態にあるか否かを判別する信号となる。従って、基準レベルＡｔｈは、観客が静寂状態にあると考えられる音量の上限値として設定されたものである。
なお、この基準レベルＡｔｈは、図４に示すように判定処理部１２における、後述する観客動作判定部４１から供給されるが、これは観客動作判定部４１が現在の観客数に応じて基準レベルＡｔｈを可変設定することを意味している。即ち観客数の多少に応じて、観客全体が静寂状態にあると判断できるスレッショルド値は変化されるべきものであるためである。観客数の判別は、後述するように荷重センサ６及び踏力センサ７からの検出信号により可能となる。
【００３６】
検出部５２は、比較結果として、現在、観客全体が静寂状態にあるか否かを判断する比較結果信号を出力することになるが、その比較結果信号はスイッチ５１及び特徴判別部５５に供給される。
比較結果信号が静寂状態を示す値である場合は、スイッチ５１はオフとされ、信号ＳＡ１はバンドパスフィルタ５３ａ、５３ｂ・・・には供給されない。また、その場合は、特徴判別部５５は、比較結果信号の値に基づいて観客全体が静寂状態にあることを判別することになる。
【００３７】
観客全体が静寂状態にない場合は、スイッチ５１はオンとされ、音声信号ＳＡ１がバンドパスフィルタ５３ａ、５３ｂ・・・に供給される。
バンドパスフィルタ５３ａ、５３ｂ・・・は、それぞれ目的とする音声の帯域に合わせた通過帯域を有する。例えばバンドパスフィルタ５３ａの通過帯域ｆ１は、人の声に対応した帯域とされる。またバンドパスフィルタ５３ｂの通過帯域ｆ２は、人が手をたたく音に対応した帯域とされる。
本例では説明の簡略化のために、バンドパスフィルタ５３ａ、５３ｂの２つで、それぞれ観客の声の成分と、観客が手をたたいた音の成分を抽出することを例に挙げて説明するが、音声の特徴判別の目的に合わせてバンドパスフィルタの数や通過帯域が設定されればよい。例えば女性客の反応と男性客の反応とをそれぞれ検出したい場合は、女性の声の帯域の信号成分を抽出するバンドパスフィルタと、男性の声の帯域の信号成分を抽出するバンドパスフィルタが用意されればよい。
【００３８】
バンドパスフィルタ５３ａでは、音声信号ＳＡ１から人の声の帯域の成分を抽出し、規則性評価部５４ａに供給する。またバンドパスフィルタ５３ｂでは、音声信号ＳＡ１から人が手をたたく音の帯域の成分を抽出し、規則性評価部５４ｂに供給する。
各規則性評価部５４ａ、５４ｂでは、入力された音声信号について、所定の評価期間内で時間軸上の規則性を評価する処理を行う。例えば評価期間内の局所ダイナミックレンジとマクロダイナミックレンジの比率評価などを行う。
具体的には、曲に合わせた手拍子や唱和の音声は、或る程度の規則性が観測される。一方、拍手や歓声は規則性はなく無秩序なものである。
例えば評価期間内で図１０（ａ）のような音圧レベルの変動は規則性が観測され、一方図１０（ｂ）のような音圧レベルの変動はランダム性が高いものとなる。
【００３９】
各規則性評価部５４ａ、５４ｂで観測された規則性の評価結果は、特徴判別部５５に供給され、特徴判別部５５は、各バンドパスフィルタ５３ａ、５３ｂで抽出された音声成分の規則性評価結果に基づいて、観客状況を推定する音声判別信号ＳＳＡを生成する。
つまりこの例の場合は、特徴判別部５５は、観客の声が規則的かランダムか、観客が手をたたく音が規則的かランダムか、或いは上記検出部５２の検出結果として静寂状態か、という要素に基づいて、音声判別信号ＳＳＡを生成し、判定処理部１２に出力することになる。
【００４０】
音声判別信号ＳＳＡは、例えば図１１に示したＡａ、Ａｂ、Ａｃ、Ａｄ、Ａｅの５つの状態を識別する情報として判定処理部１２に供給される。即ち、特徴判別部５５での上記各要素に基づく判定結果として、静寂状態（Ａａ）、秩序ある発声状態（Ａｂ）、ランダムな発声状態（Ａｃ）、秩序ある手叩音が発せられている状態（Ａｄ）、ランダムな手叩音が発せられている状態（Ａｅ）、のいずれかを示す画像判別信号ＳＳＡが生成される。
【００４１】
音声判別信号ＳＳＡ＝静寂状態（Ａａ）の場合は、観客が注視・傾聴している状態を推定させるものとなる。
音声判別信号ＳＳＡ＝秩序ある発声状態（Ａｂ）の場合は、観客が曲に唱和していたり、演目上の呼びかけに対する返答、そろった応援などの状態を推定させるものとなる。
音声判別信号ＳＳＡ＝ランダムな発声状態（Ａｃ）の場合は、観客が歓声をあげている状態などを推定させるものとなる。
音声判別信号ＳＳＡ＝秩序ある手叩音が発せられている状態（Ａｄ）の場合は、観客が曲に合わせて手拍子をおこなっていたり、アンコール要求などでそろって手拍子を打っている場合などを推定させるものとなる。
音声判別信号ＳＳＡ＝ランダムな手叩音が発せられている状態（Ａｅ）の場合は、観客が拍手をおこなっている場合などを推定させるものとなる。
【００４２】
図４に示すように検出信号処理部１１には、荷重検出信号ＳＷに対する処理ブロックとして、荷重状況検出部３５が設けられる。上述したように、荷重センサ６は各座席ＳＴ毎に設けられており、従って座席数ｎに対応する荷重検出信号ＳＷ１〜ＳＷ（ｎ）が発生されるが、各荷重検出信号ＳＷ１〜ＳＷ（ｎ）にそれぞれ対応して荷重状況検出部３５−１〜３５−ｎが設けられる。
各荷重状況検出部３５−１〜３５−ｎは、それぞれ荷重検出信号ＳＷ１〜ＳＷ（ｎ）を所定の基準値Ｗｔｈ１と比較し、その比較結果として荷重の有無を示す荷重判別信号ＳＳＷ１〜ＳＳＷ（ｎ）を出力する。
【００４３】
例えば図１２（ａ）に示すように観客Ｐが座席ＳＴに着席している場合は、観客Ｐの体重による荷重が、荷重センサ６と踏力センサ７に分散してかかり、従って荷重センサ６では、観客Ｐによる荷重に応じたレベルの荷重検出信号ＳＷを出力する。一方、図１２（ｂ）のように観客Ｐが起立している状態では、観客Ｐの体重による荷重は、踏力センサ７のみにかかり、従って荷重センサ６では、観客Ｐによる荷重がないこと示すゼロレベルの荷重検出信号ＳＷを出力する。
従って、基準値Ｗｔｈ１は、体重の軽い子供が座った状態なども考慮し、一方観客の荷物がおかれた場合などは除外できるように、数Ｋｇ〜１０数Ｋｇ程度の荷重に相当する値として、座席ＳＰへの荷重の有無が検出できるようにすればよい。
【００４４】
そしてその基準値Ｗｔｈ１と荷重検出信号ＳＷの比較結果としての荷重判別信号ＳＳＷは、例えば図１４に示したＷａ、Ｗｂの２つの状態を識別する情報として判定処理部１２に供給される。即ち、観客による荷重有り（Ｗａ）、観客による荷重なし（Ｗｂ）のいずれかを示す荷重判別信号ＳＳＷが生成される。
荷重判別信号ＳＳＷ＝荷重有り（Ｗａ）の場合は、観客が着席している状態を推定させるものとなる。
荷重判別信号ＳＳＷ＝荷重なし（Ｗｂ）の場合は、観客が立ち上がっているか、或いはその座席に観客がいない状態を推定させるものとなる。
【００４５】
また図４に示すように検出信号処理部１１には、踏力検出信号ＳＦに対する処理ブロックとして、踏力状況検出部３６が設けられる。上述したように、踏力センサ７は各座席ＳＴ毎に設けられており、従って座席数ｎに対応する踏力検出信号ＳＦ１〜ＳＦ（ｎ）が発生されるが、その各踏力検出信号ＳＦ１〜ＳＦ（ｎ）にそれぞれ対応して踏力状況検出部３６−１〜３６−ｎが設けられる。
各踏力状況検出部３６−１〜３６−ｎは、それぞれ踏力検出信号ＳＦ１〜ＳＦ（ｎ）を所定の基準値Ｗｔｈ２と比較し、その比較結果として荷重の大／小（又は無）を判別する。
さらに、各踏力センサ７は図１３（ａ）に示すように左検出部７Ｌと右検出部７Ｒに分割されており、それぞれ左足の荷重による踏力検出信号ＳＦＬと、右足の荷重による踏力検出信号ＳＦＲを出力する。
各踏力状況検出部３６−１〜３６−ｎでは、踏力検出信号ＳＦＬ、ＳＦＲの荷重値の変化を観測することで観客の重心移動を推定し、例えばその重心移動が時間軸方向に規則性のあるものか否かにより、観客が秩序だった動作を行っているか、或いはランダムな動作を行っているかを判別する。
そして各踏力状況検出部３６−１〜３６−ｎは、これら荷重の大／小（無）、及び秩序性／ランダム性を示す踏力判別信号ＳＳＦ１〜ＳＳＦ（ｎ）を出力する。
【００４６】
上記図１２で説明したように、観客Ｐが座席ＳＴに着席している場合は、観客Ｐの体重による荷重は、踏力センサ７には軽くかかるのみである。一方、観客Ｐが起立している状態では、観客Ｐの体重による荷重は、全て踏力センサ７にかかる。もちろんその座席ＳＴに観客がいないときは踏力センサ７への荷重はゼロとなる。
各踏力状況検出部３６−１〜３６−ｎでは、荷重の大／小（又は無）を判別するが、これは踏力検出信号ＳＦＬ＋ＳＦＲの値を、基準値Ｗｔｈ２と比較する処理となる。
例えば観客が起立して全体重が踏力センサ７にかかっている場合は、踏力検出信号ＳＦＬ＋ＳＦＲの値は、その観客の体重に応じた値となる。
そこで基準値Ｗｔｈ２は、体重の軽い子供などの場合も考慮し、一方で観客が座った状態においての荷重も考慮して、例えば１０数Ｋｇ程度の荷重に相当する値とする。これにより荷重が大きく、観客が起立している状態であるか、或いは荷重が小さいか又はゼロで、観客が着席もしくは無人の状態であるか、を推定できるようにする。
【００４７】
また各踏力状況検出部３６−１〜３６−ｎでは、踏力検出信号ＳＦＬ、ＳＦＲの値を個別に時間軸方向に観測していき、かつ比較することで、観客の動作状況が秩序だったものかランダムなものかを判定する。
例えば踏力検出信号ＳＦＬ、ＳＦＲが、それぞれ図１３（ｂ）に示すように変化したとすると、この期間において観客の重心が左足から右足に移動したことがわかる。従って、このような重心移動が引き続き、右足→左足→右足・・・と観測されると、例えば観客が曲に合わせて体を動かしているなどの、規則的な動きがあると判定できる。
一方、このような重心移動が時間軸方向に単発的、不規則的に観測される場合は、観客がランダムな動きを行っていると判定できる。
さらに重心移動が所定期間観測されなければ、観客が起立した状態で動いていないと判定できる。
【００４８】
各踏力状況検出部３６−１〜３６−ｎは、踏力検出信号ＳＦ１〜ＳＦ（ｎ）について、これらの判別処理を行い、その結果値としての踏力判別信号ＳＳＦ１〜ＳＳＦ（ｎ）を出力する。
踏力判別信号ＳＳＦ１〜ＳＳＦ（ｎ）はそれぞれ、例えば図１５に示したＦａ、Ｆｂ、Ｆｃ、Ｆｄの４つの状態を識別する情報として判定処理部１２に供給される。
即ち、観客による荷重が小又は無（Ｆａ）、観客による荷重大で動き無し（Ｆｂ）、観客による荷重大で秩序ある動き（Ｆｃ）、観客による荷重大でランダムな動き（Ｆｄ）のいずれかを示す踏力判別信号ＳＳＦが生成される。
踏力判別信号ＳＳＦ＝荷重小又は無（Ｆａ）の場合は、観客が着席している状態か、或いはその座席には観客がいない状態を推定させるものとなる。
踏力判別信号ＳＳＦ＝観客による荷重大で動き無し（Ｆｂ）の場合は、観客が起立した状態で動いていない状態を推定させるものとなる。
踏力判別信号ＳＳＦ＝観客による荷重大で秩序ある動き（Ｆｃ）の場合は、観客が起立した状態で、例えば曲に合わせて体を動かしているなどの状態を推定させるものとなる。
踏力判別信号ＳＳＦ＝観客による荷重大でランダムな動き（Ｆｄ）の場合は、観客が起立した状態で無秩序に体を動かしている状態を推定させるものとなる。
【００４９】
以上のように検出信号処理部１１では、各センサ（ビデオカメラ４，マイクロホン５、荷重センサ６，踏力センサ７）からの情報に基づいて、各判別信号（ＳＳＶ、ＳＳＡ、ＳＳＷ、ＳＳＦ）を生成し、判定処理部１２に供給することとなる。
なお、各判別信号（ＳＳＶ、ＳＳＡ、ＳＳＷ、ＳＳＦ）がそれぞれ所定の値として提示する内容は、図８，図１１，図１４，図１５に示したものとしたが、検出処理方式により、さらに多様な内容を判別することも当然可能である。
例えば動きベクトルを観測した結果の画像判別信号ＳＳＡとしては、秩序動作の場合でも、動きの変化パターンから手拍子とアクションを区別したり、例えば観客によるウェーブのような動作を判別することも可能である。
また荷重判別信号ＳＳＷや踏力判別信号ＳＳＦでは、荷重をより細かく識別して、観客が大人と思われるか、子供と思われるかなどを示す信号とすることも可能である。
【００５０】
３．判定処理部の判定／制御処理
図４に示すように判定処理部１２は、観客動作判定部４１と制御決定部４２を備える。
観客動作判定部４１は、上述した各判別信号（ＳＳＶ、ＳＳＡ、ＳＳＷ、ＳＳＦ）の値、及びサーバ９から供給される現在の再生内容を示す補足情報ＩＰを参照して、現在の観客の動作状況を推定する処理を行う。
制御決定部４２は、観客動作判定部４１の推定結果に応じて、再生されるコンテンツデータの選定や、再生されるビデオデータＶｏｕｔ、オーディオデータＡｏｕｔ所定の処理を指示する制御信号Ｃｄｂ、Ｃｓｐを出力する。
【００５１】
図１６に判定処理部１２による判定／制御処理を示す。なお、このフローチャートにおいてステップＦ１０９は制御決定部４２の処理となり、他のステップは観客動作判定部４１の処理となる。
【００５２】
判定／制御処理としては、観客動作判定部４１はステップＦ１０１として荷重判別信号ＳＳＷ１〜ＳＳＷ（ｎ）をチェックする。即ち、会場内の各座席ＳＴにつき、荷重の有無の情報（図１４のＷａ、Ｗｂのいづれかの情報）を取り込む。またステップＦ１０２で、踏力判別信号ＳＳＦ１〜ＳＳＦ（ｎ）をチェックする。これは各会場内の各座席ＳＴについての踏力センサ７に対する荷重の大／小（又は無）、及び観客の動作についての動作無し／秩序動作／ランダム動作の情報（図１５のＦａ〜Ｆｄのいづれかの情報）を取り込むものとなる。
【００５３】
ステップＦ１０３では、荷重判別信号ＳＳＷ１〜ＳＳＷ（ｎ）、及び踏力判別信号ＳＳＦ１〜ＳＳＦ（ｎ）の値から、会場に観客が存在するか否かを判別する。
もし、荷重判別信号ＳＳＡ１＝Ｗｂ（荷重無し）であり、かつ踏力判別信号ＳＳＦ１＝Ｆａ（荷重無又は小）であるとしたら、その座席ＳＴには観客がいないと推定できる。従って、全ての座席について、同様にして観客がいないと判定されるのであれば、現在会場に観客はいないと判断できる。
その場合は、ステップＦ１０３からＦ１１０に進み、処理を終了するのでなければステップＦ１０１にに戻ることになる。
【００５４】
観客が存在する場合はステップＦ１０４に進み、観客数を判別する。これは上記ステップＦ１０３で観客がいないと判断された座席数を全座席数から減算すればよい。或いは、荷重判別信号ＳＳＡが「Ｗｂ（荷重無し）」でないか、或いは踏力判別信号ＳＳＦが「Ｆａ（荷重無又は小）」でないというＯＲ条件が満たされる座席数をカウントすればよい。
そして観客数を判別したら、それに応じて音声特徴検出部３４に供給する基準値Ａｔｈを設定する。この基準値Ａｔｈは、上記図４，図９で説明したように、音声信号ＳＡ１が静寂状態のレベルであるか否かを判別する基準値であり、静寂状態と判断する基準は観客数によって変更することが正確な推定処理のために好適であるためである。
【００５５】
続いて観客動作判定部４１は、ステップＦ１０５で音声判別信号ＳＳＡのチェックを行い、図１１のＡａ〜Ａｅのいづれの状態であるかを確認する。
また観客動作判定部４１は、ステップＦ１０６で画像判別信号ＳＳＶのチェックを行い、図８のＶａ〜Ｖｃのいづれの状態であるかを確認する。
さらに観客動作判定部４１は、ステップＦ１０７でサーバ９から供給されている補足情報ＩＰを確認する。
【００５６】
観客動作判定部４１はここまでの処理で、各判別信号（ＳＳＶ、ＳＳＡ、ＳＳＷ、ＳＳＦ）の値、及び補足情報ＩＰを確認したら、それらの値に基づいて、実際の観客の状況を推定する。推定例については後述する。
そして観客動作判定部４１は観客の状況を推定したら、その推定結果を示す信号を制御決定部４２に送り、制御決定部４２はステップＦ１０９として、推定結果に基づいて必要な動作を実行させるための制御信号Ｃｄｂ、Ｃｓｐを出力する処理を行う。制御内容の例は後述する。
【００５７】
ステップＦ１１０では、当該判定／制御処理を終了させるか否かを判断し、終了されない場合はステップＦ１０１に戻る。またオペレータが図示しない操作部から終了操作を行うなどして、終了と判断される場合は、ステップＦ１１０から一連の処理を終了させる。
【００５８】
上記ステップＦ１０８で観客動作判定部４１が推定する観客状況とは、各種の状況が考えられるが、説明上の例として、図１７のＪ１〜Ｊ５の各状況を推定するものとする。
状況Ｊ１は、大部分の観客が上映されているコンテンツに対して注視・傾聴している状態である。
状況Ｊ２は、大部分の観客が再生されている楽曲に合わせて手拍子や唱和をしている状態である。
状況Ｊ３は、大部分の観客が例えばアンコール要求などのために、そろって手拍子や声を出している状態である。
状況Ｊ４は、大部分の観客が、拍手や歓声などをあげている状態である。
状況Ｊ５は、大部分の観客が、座席から立ち上がっている状態である。
【００５９】
ステップＦ１０８でのこれらの５つの状況の判別は、各判別信号（ＳＳＶ、ＳＳＡ、ＳＳＷ、ＳＳＦ）及び補足情報ＩＰの値に基づいて、例えば図１８のマトリクス関係から推定する。
【００６０】
まず実際に観客が注視・傾聴状態である場合は、各判別信号は次の値となっている可能性が高い。
画像判別信号ＳＳＶ＝Ｖａ（静止）。
音声判別信号ＳＳＡ＝Ａａ（静寂）。
荷重判別信号ＳＳＷ＝Ｗａ（荷重有り）。
踏力判別信号ＳＳＦ＝Ｆａ（荷重小）。
従って換言すれば、これらの全部が満たされていればほぼ確実に観客が注視・傾聴状態Ｊ１にあると推定できる。また全部が満たされていなくても、例えば画像、音声、荷重の３つ、或いは画像、音声の２つについて、これらの値が検出された場合も、注視・傾聴状態Ｊ１にあると推定できる。さらには、画像、音声のいづれか一方でも、これらの値が検出された場合に、注視・傾聴状態Ｊ１にあると推定してよい場合も考えられる。
【００６１】
なお、荷重判別信号ＳＳＡは、ＳＳＡ１〜ＳＳＡ（ｎ）があるが、図１８に示すような荷重判別信号ＳＳＡとしては、ｎ個の荷重判別信号のうちの代表値と考えればよい。例えばｎ個の荷重判別信号ＳＳＡ１〜ＳＳＡ（ｎ）の中で支配的な値が「Ｗａ」であったとしたら、ここでは荷重判別信号ＳＳＡ＝Ｗａとすればよい。
踏力検出信号ＳＳＦについても同様である。
【００６２】
次に、観客が着席した状態で例えばコンテンツに反応して秩序だった動作を行っている場合は、各判別信号は次の値となっている可能性が高い。
画像判別信号ＳＳＶ＝Ｖｂ（秩序動）。
音声判別信号ＳＳＡ＝Ａｂ（秩序ある声）又はＡｄ（秩序ある手叩音）。
荷重判別信号ＳＳＷ＝Ｗａ（荷重有）。
踏力判別信号ＳＳＦ＝Ｆａ（荷重小）。
従って、これらの全部又は一部が満たされていればほぼ確実に観客がコンテンツに反応して秩序だった動作を行っていると推定できる。
この場合において、補足情報ＩＰより楽曲出力中であることが確認できれば、楽曲に合わせた手拍子又は唱和を行っていると推定できる。つまり状態Ｊ２である。
【００６３】
一方、補足情報ＩＰから、現在、楽曲出力中でないと確認された場合は、曲に合わせた動作ではないと判断でき、例えば再生中（上映中）であるなら、コンテンツに応じた何らかのアクション、手拍子、発声等が行われていると推定できる。さらに再生終了後であれば、これは、アンコールやカーテンコールなどのための観客の動作（手拍子や「アンコール」という揃った声）と推定できる。つまり状態Ｊ３と推定できる。
【００６４】
観客が着席した状態で無秩序な動作を行っている場合は、各判別信号は次の値となっている可能性が高い。
画像判別信号ＳＳＶ＝Ｖｃ（ランダム動）。
音声判別信号ＳＳＡ＝Ａｃ（ランダムな声）又はＡｅ（ランダムな手叩音）。
荷重判別信号ＳＳＷ＝Ｗａ（荷重有）。
踏力判別信号ＳＳＦ＝Ｆａ（荷重小）。
従って、これらの全部又は一部が満たされていればほぼ確実に観客がランダムな動作を行っていると推定できる。例えば拍手喝采がおこっているよう場合である。
【００６５】
観客が着席した状態で無秩序な動作を行っている場合は、各判別信号は次の値となっている可能性が高い。
画像判別信号ＳＳＶ＝Ｖｃ（ランダム動）。
音声判別信号ＳＳＡ＝Ａｃ（ランダムな声）又はＡｅ（ランダムな手叩音）。
荷重判別信号ＳＳＷ＝Ｗａ（荷重有）。
踏力判別信号ＳＳＦ＝Ｆａ（荷重小）。
従って、これらの全部又は一部が満たされていればほぼ確実に観客がランダムな動作を行っていると推定できる。例えば拍手喝采がおこっているよう場合である。
【００６６】
観客が起立した状態では、各判別信号は次の値となっている可能性が高い。
画像判別信号ＳＳＶ＝Ｖａ〜Ｖｃ（いづれの状態もあり得る）。
音声判別信号ＳＳＡ＝Ａａ〜Ａｅ（いづれの状態もあり得る）
荷重判別信号ＳＳＷ＝Ｗｂ（荷重無）。
踏力判別信号ＳＳＦ＝Ｆｂ〜Ｆｄ（荷重大で各状態）。
従って、特に荷重判別信号ＳＳＷと踏力判別信号ＳＳＦがこれらを満足していれば、観客が起立していると推定できる。
【００６７】
例えば図１７に示した状態Ｊ１〜Ｊ５を推定するという動作を行うとすれば、以上のように各判別信号の値を判断していけば、ほぼ正しく状態Ｊ１〜Ｊ５を判別できる。
上記図１６のステップＦ１０８において、このようにして観客の状態を推定したら、ステップＦ１０９で、推定結果に応じた制御を行うことになるが、この制御は図１７にも示しているが、例えば次のようになる。
【００６８】
状態Ｊ１の場合は、コンテンツとしての映像及び音声を通常に呈示出力させればよい。つまり特殊な制御は不要である。
状態Ｊ２の場合は、手拍子や唱和があっても曲が聞き取りやすくなるように例えば制御信号ＣｓｐによりオーディオデータＡｏｕｔの音量レベルをアップさせたり、聞き取りやすい音響エフェクト処理を行う。またビデオデータＶｏｕｔに、歌詞としてのテキストデータを重畳させ、観客が唱和しやすくする。コンテンツに応じた歌詞としてのテキストデータは、例えば制御信号Ｃｄｂによりサーバ９に要求して、データベース２１から読み出させるようにすればよい。
【００６９】
状態Ｊ３の場合、コンテンツ再生中であれば、手拍子や唱和があってもコンテンツ音声が聞き取りやすくなるように制御信号ＣｓｐによりオーディオデータＡｏｕｔの音量レベルをアップさせたり、聞き取りやすい音響エフェクト処理を行う。
またコンテンツ再生中ではなく、観客のアンコール要求と判別される場合は、制御信号Ｃｄｂによりサーバ９に、コンテンツの再度の再生や、呈示（再生）するコンテンツの追加や変更を指示する。
【００７０】
状態Ｊ４の場合は、拍手や歓声があってもコンテンツ音声が聞き取りやすくなるように制御信号ＣｓｐによりオーディオデータＡｏｕｔの音量レベルをアップさせたり、聞き取りやすい音響エフェクト処理を行う。
また特に反応のよいシーンと想定できるため、そのシーンをマーキングして後のアンコール部分として記憶したり、或いはそのシーンを繰り返し再生させるように制御信号Ｃｄｂによりサーバ９に指示する。
さらに好評場面であることに応じて輝度ダイナミックレンジを変化させるといったビデオデータ処理も可能である。
【００７１】
状態Ｊ５の場合も、特に反応のよいシーンと想定できるため、そのシーンをマーキングして後のアンコール部分として記憶したり、或いはそのシーンを繰り返し再生させるように制御信号Ｃｄｂによりサーバ９に指示する。
さらに起立状態であるため、観客が見やすいようにスクリーン１上での画像呈示位置が情報にシフトされるようにしたり、スクリーン一杯に拡大させたりするというビデオデータ処理も行う。もちろん輝度の変化も可能である。
さらには、場合によっては着席を促す文字をビデオデータＶｏｕｔに重畳して呈示したり、アナウンス音声を出力させるようにしてもよい。
【００７２】
例えば以上のように本例では、観客状況に応じて、再生されるコンテンツ内容や再生される信号（ビデオデータＶｏｕｔ、オーディオデータＡｏｕｔ）についての制御を行うことで、観客の状況に応じた再生を実現でき、観客にとってより満足度の高いエンターテイメントを提供できる。特に再生する内容を選択するように制御することで、観客の求めるアンコール場面の繰り返し再生や、或いは観客の嗜好に応じた内容の再生などが可能となる。また再生データに対する信号処理の制御を行うことで、例えば映像効果、音響効果、音量等を、観客の状況に合致した状態を実現できる。
【００７３】
４．各種変形例
ところで以上の説明は、あくまでも一例として述べたものであり、実際にはさらに多様な例が考えられる。特に推定される観客状態の種類、推定結果に応じた制御方式、適用できる会場、観客状態の検出方式などは、それぞれ会場やイベント内容などに応じて、また制御可能なシステム設備に応じて、具体的な内容は異なるものとなる。以下、変形例をそれぞれ挙げていく。
【００７４】
まず推定すべき観客状態としては、上記例では図１７の状態Ｊ１〜Ｊ５を推定するとして説明したが、各判別信号（ＳＳＶ、ＳＳＡ、ＳＳＷ、ＳＳＦ）及び補足情報ＩＰの値（又は補足情報の種類）を用いれば、例えば以下のような各状況を推定することも可能である。
【００７５】
まず、上記例では起立状態について細かく分けなかったが、起立状態を次のように分類することも可能である。
・観客が起立して注視・傾聴
・観客が起立して手拍子や唱和
・観客が起立して拍手
・観客が起立して歓声
・観客が起立して曲等に合わせた唱和
・観客が起立して曲等に合わせたアクションや手拍子
これらは、荷重判別信号ＳＳＡ＝Ｗｂの状態で、踏力判別信号ＳＳＦの値がＦｂ、Ｆｃ、Ｆｄの何れであるかを判別したり、或いは画像判別信号ＳＳＶ、音声判別信号ＳＳＡの値を参照することで推定可能であることはいうまでもない。
【００７６】
また、同様に各判別信号の値から、
・観客が映像に合わせた動作を行っている状態
・観客が映像や音楽に合わせて足踏みを行っている状態
・観客が拍手・手拍子はせずに、歓声或いは唱和を行っている状態
なども推定可能である。
【００７７】
さらには、観客数が徐々に減っていっていることで、コンテンツが不評であることや、席を立ったり戻ってくる観客が多いことで、中だるみ状態であることなども推定可能である。
また、上述したように音声判別信号ＳＳＡから、女性に好評であるか男性に好評であるかを推定したり、或いはブーイング状態を推定することも可能である。
また検出された荷重値をより細かく判定することで、荷重判別信号ＳＳＷや踏力判別信号ＳＳＦにより、子供中心の客層か、大人中心の客層かなども推定できる。
【００７８】
推定結果に基づく制御としては、上記例以外にも、次のような例が考えられる。
制御信号Ｃｄｂによるコンテンツデータの選択にかかる制御としては、観客の反応の悪い場面を他の場面に差し替えたり、観客の反応に応じて次の場面を選択していくことで、観客状況に応じてストーリーが変化するなどの制御も可能である。このような場合はさらに、予め観客の反応に対するストーリー制御方式を公開しておき、観客が明示的な要求（コンテンツに対する反応）を行うことで観客が主導して上映内容を変化させるといったような上映方式も実現できる。
また呈示されるコンテンツ内に、観客の選択を求める内容を含ませておく。例えば選択肢を用意して、観客が望む方を拍手させるなどする。そして拍手の大小に応じて選択決定し、再生すべきコンテンツ内容を選択制御するといったことも可能である。
【００７９】
また、コンテンツ選択や再生データに対する画像処理、音響処理についての制御だけでなく、会場内の設備に対する制御を実行するようにしてもよい。
例えば観客の反応に応じて、照明装置を制御して明るさや照明色を可変したり、ミラーボール、レーザー光などの視覚的効果を動作させるなどして、観客の高揚をより促進させてもよい。
また空調設備を制御して、観客にとって快適な状態を提供してもよい。例えば観客の動きが少ない、注視・傾聴状態では、冷房を弱め（又は暖房を高め）、逆に観客が起立して踊っている場合などは冷房を強め（又は暖房を弱め）たりすることも好適である。
【００８０】
また上記例では、ビデオカメラ４及びマイクロホン５で検出される画像信号ＳＶ、音声信号ＳＡを、観客全体についての検出情報とし、荷重センサ６、踏力センサ７で検出される荷重検出信号ＳＷ、踏力検出信号ＳＦを、個々の観客についての検出情報としたが、これらに限られるものではない。
例えばビデオカメラ４やマイクロホン５を各座席に対応して設けて、観客個別に画像や音声を検出できるようにもしてもよいし、荷重センサや踏力センサを観客全体の情報として処理してもよい。
また、観客の全体／個別というだけでなく、例えば客席のエリア毎に映像、音声、荷重等を検出してもよい。
【００８１】
観客状態の推定のための情報としては、他のセンサや、或いは何らかの入力情報を参照するようにしてもよい。例えば上映開始前にアンケートや或いは係員による調査などにより客層を判別し、その情報を入力して推定や制御に反映させたり、上映する時間帯、季節、月日又は曜日、その日の天候、気温、会場の場所などを入力して推定や制御に反映させてもよい。
【００８２】
上記例では、映画上映を行う会場を前提にして考えたが、本発明はさらに多様な会場において採用可能である。例えばコンサートホール、ライブハウス、演劇場、寄席、放送スタジオ、野外イベント会場、競技場、多目的ホールなどである。
そして、例えばライブ演奏やスポーツなどの場合は、観客がモニタスクリーンなどで演奏者や選手の姿などを写すことが行われているが、その場合に観客の反応に応じて、好評な演奏場面や選手のアップなどを映し出したり、或いは効果音・音楽等を再生出力するといったような制御が考えられる。
【００８３】
また、本発明は観客の状況を推定した結果を、出力するコンテンツ等の制御に用いるのではなく、例えば推定結果を表示出力するなどして、出演者、演出者、オペレータ等に告知するものであってもよい。
出演者等は、観客状態の推定結果に基づいて、演技／演奏の内容を変更したり、視覚効果、音響効果を制御／設定することなどが考えられる。また、観客の状態に応じて後日の内容を変更するといったことも可能となる。
【００８４】
５．実施の形態の実現のための構成例
以上、実施の形態について説明してきたが、ここで実施の形態の実現のための構成例を述べておく。
上述した実施の形態における検出コントロール部１０やサーバ９の動作は、ハードウェアにより行うこともできるし、ソフトウェアにより行うこともできる。検出コントロール部１０における検出信号処理部１１の動作や、判定処理部１２の動作、或いは判定処理部１２の観客動作判定部４１や制御決定部４２の動作についても同様である。
【００８５】
これら各部の処理をソフトウェアによって行う場合には、そのソフトウェアを構成するプログラムが、専用のハードウェアとしての送受信装置、記録再生装置等に組み込まれているコンピュータや、汎用のコンピュータ等にインストールされる。
【００８６】
そこで図１９に、上述した一連の処理を実行するプログラムがインストールされるコンピュータの構成例を示す。
プログラムは、コンピュータに内蔵されている記録媒体としてのハードディスク４０５やＲＯＭ４０３に予め記録しておくことができる。
【００８７】
あるいはまた、プログラムは、フロッピーディスク、ＣＤ−ＲＯＭ(Compact Disc Read Only Memory)、ＭＯ(Magneto optical)ディスク、ＤＶＤ(Digital Versatile Disc)、磁気ディスク、半導体メモリなどのリムーバブル記録媒体４１１に、一時的あるいは永続的に格納（記録）しておくことができる。このようなリムーバブル記録媒体４１１は、いわゆるパッケージソフトウェアとして提供することができる。
【００８８】
なお、プログラムは、上述したようなリムーバブル記録媒体４１１からコンピュータにインストールする他、ダウンロードサイトから、ディジタル衛星放送用の人工衛星を介して、コンピュータに無線で転送したり、ＬＡＮ(Local Area Network)、インターネットといったネットワークを介して、コンピュータに有線で転送し、コンピュータでは、そのようにして転送されてくるプログラムを、通信部４０８で受信し、内蔵するハードディスク４０５にインストールすることができる。
【００８９】
コンピュータは、ＣＰＵ(Central Processing Unit)４０２を内蔵している。ＣＰＵ４０２には、バス４０１を介して、入出力インタフェース４１０が接続されており、ＣＰＵ４０２は、入出力インタフェース４１０を介して、ユーザによって、キーボードや、マウス、マイク等で構成される入力部４０７が操作等されることにより指令が入力されると、それに従って、ＲＯＭ(Read Only Memory)４０３に格納されているプログラムを実行する。あるいは、また、ＣＰＵ４０２は、ハードディスク４０５に格納されているプログラム、衛星若しくはネットワークから転送され、通信部４０８で受信されてハードディスク４０５にインストールされたプログラム、またはドライブ４０９に装着されたリムーバブル記録媒体４１１から読み出されてハードディスク４０５にインストールされたプログラムを、ＲＡＭ(Random Access Memory)４０４にロードして実行する。これにより、ＣＰＵ４０２は、上述した各フローチャートに示した処理を実行する。
そしてＣＰＵ４０２は、その処理結果を、必要に応じて、例えば入出力インタフェース４１０を介して、ＬＣＤ(Liquid Crystal Display)やスピーカ等で構成される出力部４０６から出力、あるいは通信部４０８から送信、さらにはハードディスク４０５に記録等させる。
【００９０】
ここで、本明細書において、コンピュータに各種の処理を行わせるためのプログラムを記述する処理ステップ、例えば上記図１６のような処理ステップは、必ずしもフローチャートとして記載された順序に沿って時系列に処理する必要はなく、並列的あるいは個別に実行される処理（例えば、並列処理あるいはオブジェクトによる処理）も含むものである。
【００９１】
また、プログラムは、１のコンピュータにより処理されるものであっても良いし、複数のコンピュータによって分散処理されるものであっても良い。さらに、プログラムは、遠方のコンピュータに転送されて実行されるものであっても良い。
【００９２】
【発明の効果】
以上の説明から理解されるように本発明では、観客の全体としての動作状態と、個々の観客の動作状態とを検出して、観客の状況を判定するようにしているため、上映内容、演奏、演技等に対する観客の総体的な反応を的確に判別することができるという効果がある。
そして例えば映画上映などの場合は、そのような観客状況に応じて、再生動作を制御することで、観客の状況に応じた再生を実現でき、観客にとってより満足度の高いエンターテイメントを提供できる。
特に再生する内容を選択するように制御することで、観客の求める場面の繰り返し再生や、或いは観客の嗜好に応じた内容の再生などが可能となる。
また再生データに対する信号処理の制御を行うことで、例えば映像効果、音響効果、音量等を、観客の状況に合致した状態を実現できる。
【００９３】
また観客の全体を撮像し、撮像された画像から観客全体としての身体動作状態を検出したり、観客の全体が発する音を集音し、集音された音から観客全体としての動作状態を検出することで、観客の全体としての動作状態は容易かつ的確に検出できる。
さらに、個々の観客の座席への荷重を検出したり、個々の観客の踏力の状態を検出することで、観客の個別の状況も容易かつ的確に検出できる。
【００９４】
また本発明の記録媒体を用いれば、本発明の観客状況判定装置、再生出力制御システム、観客状況判定方法、再生出力制御方法が容易に実現でき、各種会場の設備として広く提供できる。
【図面の簡単な説明】
【図１】本発明の実施の形態のシステムの構成の説明図である。
【図２】実施の形態のシステムのブロック図である。
【図３】実施の形態の出力信号処理部のブロック図である。
【図４】実施の形態の検出信号処理部及び判定処理部のブロック図である。
【図５】実施の形態の画像判定の説明図である。
【図６】実施の形態の画像判定の説明図である。
【図７】実施の形態の画像判定の説明図である。
【図８】実施の形態の画像判別信号の説明図である。
【図９】実施の形態の音声特徴検出部のブロック図である。
【図１０】実施の形態の音声特徴検出動作の説明図である。
【図１１】実施の形態の音声判別信号の説明図である。
【図１２】実施の形態の荷重センサ及び踏力センサの荷重状態の説明図である。
【図１３】実施の形態の踏力センサの説明図である。
【図１４】実施の形態の荷重判別信号の説明図である。
【図１５】実施の形態の踏力判別信号の説明図である。
【図１６】実施の形態の判定／制御処理のフローチャートである。
【図１７】実施の形態の推定結果の例の説明図である。
【図１８】実施の形態の推定処理の説明図である。
【図１９】実施の形態に適用できるコンピュータ構成のブロック図である。
【符号の説明】
１ スクリーン、２ プロジェクタ、３ スピーカ、４ ビデオカメラ、５ マイクロホン、６ 荷重センサ、７ 踏力センサ、９ サーバ、１０ 検出／コントロール部、１１ 検出信号処理部、１２ 判定処理部、１３ 出力信号処理部、２１ データベース、２２ インターフェース部、２３ 制御部
【発明の属する技術分野】
本発明は、映画上映、音楽コンサート、演劇、演芸、各種イベント、スポーツ観戦などで、多数の観客を集めるエンターテイメント施設において好適な、観客状況判定装置、再生出力制御システム、観客状況判定方法、再生出力制御方法、及びこれらの装置又は方法の実現に好適な記録媒体に関するものである。
【０００２】
【従来の技術】
例えば映画上映、音楽コンサート、演劇、演芸、各種イベント、スポーツ観戦などの、多数の観客を対象としたエンターテイメントが多数催されているが、近年、観客に対してより大きな満足を与えるための各種の手法や設備が求められ、また提案されている。
【０００３】
【発明が解決しようとする課題】
ところが一般に、映画館やコンサートホールなど（以下、これら観客が集まって映画、演奏等を視聴する場所を総称して「会場」という）においては、観客はあくまでも受動的に、上映／上演される内容を視聴するのみであった。
一方、会場に多数の観客が集まる場合は、いわゆる群衆心理的な効果や、視聴対象（上映内容や演奏者、演技者等）との一体感などから、個人が家庭等で映画や演奏などを鑑賞する場合と比べて、観客は大きな反応が示すことが多い。例えば拍手、手拍子、歓声、スタンディングオベーション、応援、唱和、身振りなどは著しいものとなる。
このような観客の反応に対しては、例えばライブ演奏などでは演奏者が自発的に対応して、より観客が盛りあがるように予定されていた演奏内容を変更したりアンコールに応えたりすることはあるにせよ、映画や、演技或いは演奏内容を容易には変更できないような演目の場合などは、観客の反応をくみ取って対応することは困難であった。また観客の反応に応じて演出効果を変えるというようなことも実際上は困難であった。
【０００４】
さらには、多数の観客の中には、声やアクションの大きい人や小さい人、視聴している内容をおもしろいと思っている人やつまらないと思っている人、などが混在しており、観客の全体としての反応を的確に把握するといったこと自体が、困難なものでもあった。
【０００５】
【課題を解決するための手段】
本発明はこのような事情に鑑みて、例えば会場における観客の状況を的確に判別し、またさらにその判別した観客の状況に応じて、より観客の楽しみを増大させるような制御を実現できるようにすることを目的とする。
【０００６】
このため本発明の観客状況判定装置は、観客の全体を撮像し、撮像された画像で検出される動きベクトルから観客全体の身体動作状態として、少なくとも静止状態か否かに応じた検出信号を出力する第１の全体動作状態検出手段と、観客の全体が発する音を集音し、集音された音から観客全体が発する音について、少なくとも音量に応じた検出信号を出力する第２の全体動作状態検出手段と、個々の観客の座席への荷重により、少なくとも着席状態に応じた検出信号を出力する第１の個別動作状態検出手段と、個々の観客の踏力の状態を検出し、少なくとも起立状態か否かに応じた検出信号を出力する第２の個別動作状態検出手段と、上記第１，第２の全体動作状態検出手段による検出情報と、上記第１，第２の個別動作状態検出手段による検出情報とを用いて観客状況を判定する判定手段とを備える。
これにより会場にいる観客の、映画、演奏等の視聴対象に対する総体的な反応を判定し、その判定結果を何らかの形で利用できるようにする。
【０００７】
また本発明の再生出力制御システムは、観客の全体を撮像し、撮像された画像で検出される動きベクトルから観客全体の身体動作状態として、少なくとも静止状態か否かに応じた検出信号を出力する第１の全体動作状態検出手段と、観客の全体が発する音を集音し、集音された音から観客全体が発する音について、少なくとも音量に応じた検出信号を出力する第２の全体動作状態検出手段と、個々の観客の座席への荷重により、少なくとも着席状態に応じた検出信号を出力する第１の個別動作状態検出手段と、個々の観客の踏力の状態を検出し、少なくとも起立状態か否かに応じた検出信号を出力する第２の個別動作状態検出手段と、上記第１，第２の全体動作状態検出手段による検出情報と、上記第１，第２の個別動作状態検出手段による検出情報とを用いて観客状況を判定する判定手段と、観客に視聴させるデータを再生出力する再生手段と、上記判定手段の判定結果に基づいて、上記再生手段の動作を制御する制御手段とを備える。
つまり会場にいる観客の、映画等の視聴対象に対する総体的な反応を判定し、その判定結果を映画等の再生動作制御に利用する。
例えば上記制御手段は、上記判定手段の判定結果に基づいて、上記再生手段で再生するデータを選択する制御を行う。即ち再生内容自体を制御する。
また、上記制御手段は、上記判定手段の判定結果に基づいて、上記再生手段で再生されたデータに対する信号処理の制御を行う。即ち再生内容についての例えば映像効果、音響効果等の制御を行う。
【０００９】
本発明の観客状況判定方法は、観客の全体を撮像し、撮像された画像で検出される動きベクトルから観客全体の身体動作状態として、少なくとも静止状態か否かに応じた検出信号を出力する第１の全体動作状態検出ステップと、観客の全体が発する音を集音し、集音された音から観客全体が発する音について、少なくとも音量に応じた検出信号を出力する第２の全体動作状態検出ステップと、個々の観客の座席への荷重により、少なくとも着席状態に応じた検出信号を出力する第１の個別動作状態検出ステップと、個々の観客の踏力の状態を検出し、少なくとも起立状態か否かに応じた検出信号を出力する第２の個別動作状態検出ステップと、上記第１，第２の全体動作状態検出ステップによる検出情報と、上記第１，第２の個別動作状態検出ステップによる検出情報とを用いて観客状況を判定する判定ステップとが行われるようにする。
また本発明の記録媒体は、このような方法に相当する処理を実行させる処理プログラムが記録されるものとする。
【００１０】
本発明の再生出力制御方法は、観客の全体を撮像し、撮像された画像で検出される動きベクトルから観客全体の身体動作状態として、少なくとも静止状態か否かに応じた検出信号を出力する第１の全体動作状態検出ステップと、観客の全体が発する音を集音し、集音された音から観客全体が発する音について、少なくとも音量に応じた検出信号を出力する第２の全体動作状態検出ステップと、個々の観客の座席への荷重により、少なくとも着席状態に応じた検出信号を出力する第１の個別動作状態検出ステップと、個々の観客の踏力の状態を検出し、少なくとも起立状態か否かに応じた検出信号を出力する第２の個別動作状態検出ステップと、上記第１，第２の全体動作状態検出ステップによる検出情報と、上記第１，第２の個別動作状態検出ステップによる検出情報とを用いて観客状況を判定する判定ステップと、上記判定ステップでの判定結果に基づいて、観客に視聴させるデータの再生動作を制御する制御ステップとが行われるようにする。
また本発明の記録媒体は、このような方法に相当する処理を実行させる処理プログラムが記録されるものとする。
【００１１】
【発明の実施の形態】
以下、映画フィルムをビデオデータに変換して保持し、そのビデオデータを再生してビデオ投影機で上映する映画館において本発明を適用した例としての実施の形態を説明する。説明は次の順で行う。
１．システム構成
２．検出信号処理部の判別信号生成動作
３．判定処理部の判定／制御処理
４．各種変形例
５．実施の形態の実現のための構成例
【００１２】
１．システム構成
図１に本例のシステム構成を模式的に示す。本例は映画としてのビデオデータをビデオ投影機（プロジェクタ）で上映する映画館であるとすることから、図示するように映画としての映像が投影されるスクリーン１、及びスクリーン１に対して映像を投影するプロジェクタ２が設けられる。
プロジェクタ２に供給されるビデオデータは、サーバ９に格納されている。サーバ９は検出／コントロール部１０の制御に基づいて所要のビデオデータを再生し、プロジェクタ２に供給する。
また映画等における音声を出力するスピーカ３も例えばスクリーン１の左右に配置される。サーバ９においてビデオデータとともに再生されたオーディオデータは、図示しないパワーアンプ部を介してスピーカ３に供給され、音声出力される。
【００１３】
スクリーン１に対しては観客Ｐが座る座席ＳＴが多数用意され、観客Ｐは通常、座席ＳＴに座ってスクリーン１に映し出される映画等を鑑賞する。
ビデオカメラ４は、例えばスクリーン４側から観客全体の画像を撮像するように配置されている。つまりこのビデオカメラ４は、上映中などにおいて観客Ｐの様子を撮像した画像データを得るものとなる。
また、会場内の音声を集音するために、観客Ｐの全体に対するマイクロホン５が配置されている。
【００１４】
また各座席ＳＴには、それぞれ荷重センサ６が配備されており、観客Ｐが座席ＳＴに座っている状態、座っていない状態を、荷重の有無により検出できるようにされている。
さらに各座席ＳＴの前方下部には踏力センサ７が配備されている。この踏力センサは、観客Ｐが座席ＳＴに座った状態、及び座席ＳＴから立ち上がった状態において、観客Ｐの足が乗せられていることとなる位置に設けられている。これにより観客Ｐの足による荷重状態を検出できるようにされる。
【００１５】
図２は、図１の各部をブロック図により示したものである。
検出／コントロール部１０は、検出信号処理部１１、判定処理部１２，出力信号処理部１３が設けられる。
【００１６】
検出信号処理部１１は、観客Ｐや会場内の様子を検出する各種センサからの信号が入力され、それらの信号について検出処理を行う。即ち、観客全体の様子についての画像センサとして機能するビデオカメラ４からの画像信号ＳＶと、会場内の音声を検出する音声センサとしてのマイクロホン５からの音声信号ＳＡと、各座席ＳＴのそれぞれに配置された荷重センサ６からの荷重検出信号ＳＷと、各座席ＳＴの足下に配置された踏力センサ７からの踏力検出信号ＳＦとが、検出信号処理部１１に供給される。
【００１７】
なお後述するが、荷重センサ６は各座席に配置されており、つまり座席数ｎ個の荷重センサ６が存在するため、実際に検出信号処理部１１に供給される荷重検出信号ＳＷは、各荷重センサ６からの荷重検出信号ＳＷ１〜ＳＷ（ｎ）となる。
【００１８】
また同じく踏力センサ７も、座席数と同数存在するため、検出信号処理部１１に供給される踏力検出信号ＳＦは、各踏力センサ７からの踏力検出信号ＳＦ１〜ＳＦ（ｎ）となる。さらに１つの踏力センサ７は、図１３で後述するが、観客の左足に略対応して踏力を検出する左検出部７Ｌと、観客の右足に略対応して踏力を検出する右検出部７Ｒとに分割されて形成されており、それぞれ独立して踏力検出信号を出力できるようにされている。従って、各踏力検出信号ＳＦ１〜ＳＦ（ｎ）は、それぞれ左検出部７Ｌからの踏力検出信号ＳＦＬと、右検出部７Ｒからの踏力検出信号ＳＦＲとを含むものとなる。
【００１９】
詳しくは後述するが、検出信号処理部１１は、これらの画像信号ＳＶ、音声信号ＳＡ、荷重検出信号ＳＷ、踏力検出信号ＳＦのそれぞれについて所要の信号処理を行い、観客の全体の状況及び個別の状況を判別信号を生成する。
即ち画像信号ＳＶに基づいて画像判別信号ＳＳＶを生成し、音声信号ＳＡに基づいて音声判別信号ＳＳＡを生成し、荷重検出信号ＳＷに基づいて荷重判別信号ＳＳＷを生成し、踏力検出信号ＳＦに基づいて踏力判別信号ＳＳＦを生成する。そしてこれらの判別信号を判定処理部１２に供給する。
【００２０】
判定処理部１２は、供給された画像判別信号ＳＳＶ、音声判別信号ＳＳＡ、荷重判別信号ＳＳＷ、踏力検出信号ＳＦを用いて、観客の動作状況を判定する。例えば観客が注視・傾聴している状態にあるか、拍手している状態にあるかなど、観客全体の状況を具体的に判別する。
そして判定処理部１２は、観客状況の判定結果に基づいて、サーバ９に対する制御信号Ｃｄｂや、出力信号処理部１３に対する制御信号Ｃｓｐを出力する。
【００２１】
サーバ９は、映画やフィルムコンサートなどのコンテンツとしてのビデオデータ、オーディオデータを格納した１又は複数のデータベース２１（２１−１〜２１−ｍ）が設けられるとともに、これらデータベース２１（２１−１〜２１−ｍ）に対するデータの再生動作、書込動作を制御する制御部２３と、記録データや再生データの入出力を行うインターフェース部２２を有する。
【００２２】
制御部２２は、図示しない操作部（例えば劇場のオペレータにより操作指示が行われる操作装置）からの操作に応じてデータベース２１からの所要のデータ再生や、新たなデータの書込を実行するように制御を行うほか、上記の判定処理部１２から供給された制御信号Ｃｄｂに基づいて、データベース２１からの再生動作等の制御も行う。
また、映画コンテンツ等のデータ再生中は、現在の再生内容を示す情報を補足情報ＩＰとして判定処理部１２に供給する。補足情報ＩＰは、後述するように判定処理部１２での観客状況の判定処理に利用される。
補足情報ＩＰの具体的内容としては各種考えられるが、現在の上映状況を表すものとして、上映中か非上映中の区別、本編上映中か否かの区別、現在上映されている場面の種別、楽曲の再生中か否かの区別などを識別可能な情報とする。
【００２３】
制御部２３の制御に基づいてデータベース２１から読み出され、インターフェース部２２から出力されたビデオデータＶｏｕｔ、オーディオデータＡｏｕｔは、出力信号処理部１３において必要な映像信号処理、音声信号処理が行われた後、プロジェクタ２及びスピーカ３に供給され、上映出力されることになる。
出力信号処理部１３は、図３に示すようにビデオデータＶｏｕｔに対する映像信号処理部６１、及びオーディオデータＡｏｕｔに対する音声信号処理部６２が設けられ、映像信号処理部６１，音声信号処理部６２は図示しない操作部からのオペレータの操作指示や、或いは判定処理部１２からの制御信号Ｃｓｐに応じて、指示された信号処理を行う。
【００２４】
例えば映像信号処理部６１では、ビデオデータＶｏｕｔに対して、画像サイズ変更、画像提示位置、キャラクタ画像やテキスト画像の重畳、ズーム／モザイク／画像エフェクトなどの特殊画像処理等が可能である。
また音声信号処理部６２では、オーディオデータＡｏｕｔに対して、音量レベル処理、エコー／リバーブなどの音声エフェクト処置、出力音像定位の変更／パンニング処理、或いはアナウンス、効果音等の他の音声の重畳処理などが可能とされる。
【００２５】
２．検出信号処理部の判別信号生成動作
検出／コントロール部１０における、検出信号処理部１１，判定処理部１２の構成を図４に示す。なお、図４に示す各ブロックはハードウエアで構成されてもよいし、ソフトウエアにより実現されるものでもよい。
まず検出信号処理部１１の構成及び各判別信号ＳＳＶ、ＳＳＡ、ＳＳＷ、ＳＳＦの生成動作について説明する。
【００２６】
検出信号処理部１１には、画像信号ＳＶに対する処理ブロックとして、観客画像抽出部３１，動きベクトル判別部３２が設けられる。
観客画像抽出部３１は、画像信号ＳＶから検出上の外乱成分を取り除き、実際の観客の動きなどの変化情報としての画像信号ＳＶ１を出力する。
ビデオカメラ４で撮像された客席全体の画像には、スクリーン１に投射されている映像（光）の照り返しの影響が表れる。そしてその照り返しによる画像信号ＳＶ上の変化は、観客の反応に相当する変化ではない。そこで観客画像抽出部３１には、サーバ９で再生されているビデオデータＶｏｕｔが供給されており、例えばそのビデオデータＶｏｕｔの輝度レベルを判定して、その輝度レベル相当成分を画像信号ＳＶからキャンセルして画像信号ＳＶ１とする。
照り返し成分がキャンセルされた画像信号ＳＶ１は、動きベクトル判別部３２で、画像上の動き（変化）のベクトル（動きの量及び方向）を判別する。そして動きベクトルの状態から、観客の状態を推定する画像判別信号ＳＳＶを生成し、判定処理部１２に出力する。
【００２７】
図５（ａ）、図６（ａ）、図７（ａ）にそれぞれ、観客側をビデオカメラ４で撮像した画像の例を示す。
図５（ａ）は、観客が拍手や歓声をあげている状態が撮像されたものであるが、このような画像が得られる期間に、例えば画像信号ＳＶ１を１フレーム毎に比較していき、動きベクトルを検出すると、例えば図５（ｂ）のようにランダムな動きが検出される。このように拍手をしている場合の動きベクトルの特徴としては、動き量は大きくなく、局所的に停滞している。そして総じてランダムな方向及び量であり、客席全体の総和としてのマクロ動き量は０に近いものとなる。
【００２８】
図６（ａ）は、観客が楽曲に合わせて手を振る、手拍子をする、或いは観客が見ている映像や聞いている音声に従って手を挙げるなどの状態を示しており、この場合の動きベクトルは、図６（ｂ）のように総じて秩序だったものとなっている。そしてこの場合は、局所動きに類似性があり、客席全体の総和としてのマクロ動きにも一定の特徴が観測される。
【００２９】
図７（ａ）は、観客が上映されているコンテンツの映像や音声に対して注視・傾聴している場合である。この場合動きベクトルは図７（ｂ）のようになり、即ち、提示されているコンテンツに誘発される動きはなく、ミクロにもマクロにも動きは観測されない。
【００３０】
画像信号ＳＶ１について動きベクトルを観測すると、大別して上記の３つの状態が判別可能である。
そこで動きベクトル判別部３２では、観測された動きベクトルが、これらの３つのどれに相当するかを判断し、その判断結果としての画像判別信号ＳＳＶを出力する。
従って画像判別信号ＳＳＶは、図８に示したＶａ、Ｖｂ、Ｖｃの３つの状態を識別する情報として判定処理部１２に供給されることになる。即ち、動きベクトルの観測結果として、静止状態（Ｖａ）、秩序ある動作状態（Ｖｂ）、ランダムな動作状態（Ｖｃ）のいずれかを示す画像判別信号ＳＳＶが供給される。
【００３１】
画像判別信号ＳＳＶ＝静止状態（Ｖａ）の場合は、図７のような、観客が注視・傾聴している状態を推定させるものとなる。
画像判別信号ＳＳＶ＝秩序ある動作状態（Ｖｂ）の場合は、図６のような、観客が曲に合わせた手拍子やアクションなど、秩序だった動きを行っている状態を推定させるものとなる。
画像判別信号ＳＳＶ＝ランダムな動作状態（Ｖｃ）の場合は、図５のような、観客が拍手等を行っている状態を推定させるものとなる。
【００３２】
図４に示すように検出信号処理部１１には、音声信号ＳＡに対する処理ブロックとして、観客音声抽出部３３，音声特徴検出部３４が設けられる。
観客音声抽出部３３は、音声信号ＳＡから検出上の外乱成分を取り除き、実際に観客が発生させている音声成分を抽出し、音声信号ＳＡ１として出力する。
マイクロホン５で集音された音声には、スピーカ３から出力される音声成分、つまり上映されているコンテンツのオーディオデータ成分が含まれる。当然そのオーディオデータ成分は観客の発した音声ではないため検出動作上のノイズとなる。
そこで観客音声抽出部３３には、サーバ９で再生されているオーディオデータＡｏｕｔが供給されており、音声信号ＳＡからオーディオデータＡｏｕｔを減算することにより、オーディオデータ成分がキャンセルされた音声信号ＳＡ１を得るようにしている。
また、マイクロホン５で客席から集音された音声信号ＳＡは、その会場の大きさや造りなどにより音響特性上の影響を受けている。また会場の空調設備などによる固定的なノイズ成分もある。ただしこれらの会場の造作によって影響を受ける音響特性は予め既知のものである。そこで観客音声抽出部３３には、当該システムが設置される会場に応じた音声信号ＳＡへの影響成分に相当する情報Ａｆが固定値として供給されるようにし、音声信号ＳＡに対して会場による影響をキャンセル（音響特性の補正や空調ノイズ成分のキャンセルなど）する処理も行うようにしている。
【００３３】
即ち観客音声抽出部３３では、集音された音声信号ＳＡから、スピーカ３からの出力音声や、会場の造作による音響特性やノイズなどの影響を排除して、実際に観客Ｐが発生させた声や拍手などの音としての音声信号ＳＡ１を出力するものとなる。
なお、上記画像信号ＳＶについては述べなかったが、映像信号ＳＶについても会場の造りによる影響が発生する場合がある。例えばドアの開閉や何らかの移動物が画像信号ＳＶとして撮像される場合がある。このような会場の造作による影響が考えられる場合は、音声信号ＳＡの場合と同様に、その固定的な影響をキャンセルして画像信号ＳＶ１が得られるようにすればよい。
【００３４】
音声信号ＳＡ１は音声特徴検出部３４で特徴が判別され、音声判別信号ＳＳＡが生成される。
音声特徴検出部３４は図９のように構成される。即ち音声信号ＳＡ１と基準レベルＡｔｈを比較して、基準レベル以下の音量状態（静寂状態）を検出する検出部５２、音声信号ＳＡ１を断続するスイッチ５１、それぞれ異なる通過帯域が設定された所要数のバンドパスフィルタ５３ａ、５３ｂ・・・、各バンドパスフィルタ５３ａ、５３ｂ・・・からの出力が供給される規則性評価部５４ａ、５４ｂ・・・、及び特徴判別部５５が設けられる。
【００３５】
検出部５２は、音声信号ＳＡ１と基準レベルＡｔｈを比較して、音声信号ＳＡ１の音量レベルが基準レベルＡｔｈを越えているか否かを示す比較結果信号を出力する。これは観客Ｐが発した音の総合レベルとして、観客が静寂状態にあるか否かを判別する信号となる。従って、基準レベルＡｔｈは、観客が静寂状態にあると考えられる音量の上限値として設定されたものである。
なお、この基準レベルＡｔｈは、図４に示すように判定処理部１２における、後述する観客動作判定部４１から供給されるが、これは観客動作判定部４１が現在の観客数に応じて基準レベルＡｔｈを可変設定することを意味している。即ち観客数の多少に応じて、観客全体が静寂状態にあると判断できるスレッショルド値は変化されるべきものであるためである。観客数の判別は、後述するように荷重センサ６及び踏力センサ７からの検出信号により可能となる。
【００３６】
検出部５２は、比較結果として、現在、観客全体が静寂状態にあるか否かを判断する比較結果信号を出力することになるが、その比較結果信号はスイッチ５１及び特徴判別部５５に供給される。
比較結果信号が静寂状態を示す値である場合は、スイッチ５１はオフとされ、信号ＳＡ１はバンドパスフィルタ５３ａ、５３ｂ・・・には供給されない。また、その場合は、特徴判別部５５は、比較結果信号の値に基づいて観客全体が静寂状態にあることを判別することになる。
【００３７】
観客全体が静寂状態にない場合は、スイッチ５１はオンとされ、音声信号ＳＡ１がバンドパスフィルタ５３ａ、５３ｂ・・・に供給される。
バンドパスフィルタ５３ａ、５３ｂ・・・は、それぞれ目的とする音声の帯域に合わせた通過帯域を有する。例えばバンドパスフィルタ５３ａの通過帯域ｆ１は、人の声に対応した帯域とされる。またバンドパスフィルタ５３ｂの通過帯域ｆ２は、人が手をたたく音に対応した帯域とされる。
本例では説明の簡略化のために、バンドパスフィルタ５３ａ、５３ｂの２つで、それぞれ観客の声の成分と、観客が手をたたいた音の成分を抽出することを例に挙げて説明するが、音声の特徴判別の目的に合わせてバンドパスフィルタの数や通過帯域が設定されればよい。例えば女性客の反応と男性客の反応とをそれぞれ検出したい場合は、女性の声の帯域の信号成分を抽出するバンドパスフィルタと、男性の声の帯域の信号成分を抽出するバンドパスフィルタが用意されればよい。
【００３８】
バンドパスフィルタ５３ａでは、音声信号ＳＡ１から人の声の帯域の成分を抽出し、規則性評価部５４ａに供給する。またバンドパスフィルタ５３ｂでは、音声信号ＳＡ１から人が手をたたく音の帯域の成分を抽出し、規則性評価部５４ｂに供給する。
各規則性評価部５４ａ、５４ｂでは、入力された音声信号について、所定の評価期間内で時間軸上の規則性を評価する処理を行う。例えば評価期間内の局所ダイナミックレンジとマクロダイナミックレンジの比率評価などを行う。
具体的には、曲に合わせた手拍子や唱和の音声は、或る程度の規則性が観測される。一方、拍手や歓声は規則性はなく無秩序なものである。
例えば評価期間内で図１０（ａ）のような音圧レベルの変動は規則性が観測され、一方図１０（ｂ）のような音圧レベルの変動はランダム性が高いものとなる。
【００３９】
各規則性評価部５４ａ、５４ｂで観測された規則性の評価結果は、特徴判別部５５に供給され、特徴判別部５５は、各バンドパスフィルタ５３ａ、５３ｂで抽出された音声成分の規則性評価結果に基づいて、観客状況を推定する音声判別信号ＳＳＡを生成する。
つまりこの例の場合は、特徴判別部５５は、観客の声が規則的かランダムか、観客が手をたたく音が規則的かランダムか、或いは上記検出部５２の検出結果として静寂状態か、という要素に基づいて、音声判別信号ＳＳＡを生成し、判定処理部１２に出力することになる。
【００４０】
音声判別信号ＳＳＡは、例えば図１１に示したＡａ、Ａｂ、Ａｃ、Ａｄ、Ａｅの５つの状態を識別する情報として判定処理部１２に供給される。即ち、特徴判別部５５での上記各要素に基づく判定結果として、静寂状態（Ａａ）、秩序ある発声状態（Ａｂ）、ランダムな発声状態（Ａｃ）、秩序ある手叩音が発せられている状態（Ａｄ）、ランダムな手叩音が発せられている状態（Ａｅ）、のいずれかを示す画像判別信号ＳＳＡが生成される。
【００４１】
音声判別信号ＳＳＡ＝静寂状態（Ａａ）の場合は、観客が注視・傾聴している状態を推定させるものとなる。
音声判別信号ＳＳＡ＝秩序ある発声状態（Ａｂ）の場合は、観客が曲に唱和していたり、演目上の呼びかけに対する返答、そろった応援などの状態を推定させるものとなる。
音声判別信号ＳＳＡ＝ランダムな発声状態（Ａｃ）の場合は、観客が歓声をあげている状態などを推定させるものとなる。
音声判別信号ＳＳＡ＝秩序ある手叩音が発せられている状態（Ａｄ）の場合は、観客が曲に合わせて手拍子をおこなっていたり、アンコール要求などでそろって手拍子を打っている場合などを推定させるものとなる。
音声判別信号ＳＳＡ＝ランダムな手叩音が発せられている状態（Ａｅ）の場合は、観客が拍手をおこなっている場合などを推定させるものとなる。
【００４２】
図４に示すように検出信号処理部１１には、荷重検出信号ＳＷに対する処理ブロックとして、荷重状況検出部３５が設けられる。上述したように、荷重センサ６は各座席ＳＴ毎に設けられており、従って座席数ｎに対応する荷重検出信号ＳＷ１〜ＳＷ（ｎ）が発生されるが、各荷重検出信号ＳＷ１〜ＳＷ（ｎ）にそれぞれ対応して荷重状況検出部３５−１〜３５−ｎが設けられる。
各荷重状況検出部３５−１〜３５−ｎは、それぞれ荷重検出信号ＳＷ１〜ＳＷ（ｎ）を所定の基準値Ｗｔｈ１と比較し、その比較結果として荷重の有無を示す荷重判別信号ＳＳＷ１〜ＳＳＷ（ｎ）を出力する。
【００４３】
例えば図１２（ａ）に示すように観客Ｐが座席ＳＴに着席している場合は、観客Ｐの体重による荷重が、荷重センサ６と踏力センサ７に分散してかかり、従って荷重センサ６では、観客Ｐによる荷重に応じたレベルの荷重検出信号ＳＷを出力する。一方、図１２（ｂ）のように観客Ｐが起立している状態では、観客Ｐの体重による荷重は、踏力センサ７のみにかかり、従って荷重センサ６では、観客Ｐによる荷重がないこと示すゼロレベルの荷重検出信号ＳＷを出力する。
従って、基準値Ｗｔｈ１は、体重の軽い子供が座った状態なども考慮し、一方観客の荷物がおかれた場合などは除外できるように、数Ｋｇ〜１０数Ｋｇ程度の荷重に相当する値として、座席ＳＰへの荷重の有無が検出できるようにすればよい。
【００４４】
そしてその基準値Ｗｔｈ１と荷重検出信号ＳＷの比較結果としての荷重判別信号ＳＳＷは、例えば図１４に示したＷａ、Ｗｂの２つの状態を識別する情報として判定処理部１２に供給される。即ち、観客による荷重有り（Ｗａ）、観客による荷重なし（Ｗｂ）のいずれかを示す荷重判別信号ＳＳＷが生成される。
荷重判別信号ＳＳＷ＝荷重有り（Ｗａ）の場合は、観客が着席している状態を推定させるものとなる。
荷重判別信号ＳＳＷ＝荷重なし（Ｗｂ）の場合は、観客が立ち上がっているか、或いはその座席に観客がいない状態を推定させるものとなる。
【００４５】
また図４に示すように検出信号処理部１１には、踏力検出信号ＳＦに対する処理ブロックとして、踏力状況検出部３６が設けられる。上述したように、踏力センサ７は各座席ＳＴ毎に設けられており、従って座席数ｎに対応する踏力検出信号ＳＦ１〜ＳＦ（ｎ）が発生されるが、その各踏力検出信号ＳＦ１〜ＳＦ（ｎ）にそれぞれ対応して踏力状況検出部３６−１〜３６−ｎが設けられる。
各踏力状況検出部３６−１〜３６−ｎは、それぞれ踏力検出信号ＳＦ１〜ＳＦ（ｎ）を所定の基準値Ｗｔｈ２と比較し、その比較結果として荷重の大／小（又は無）を判別する。
さらに、各踏力センサ７は図１３（ａ）に示すように左検出部７Ｌと右検出部７Ｒに分割されており、それぞれ左足の荷重による踏力検出信号ＳＦＬと、右足の荷重による踏力検出信号ＳＦＲを出力する。
各踏力状況検出部３６−１〜３６−ｎでは、踏力検出信号ＳＦＬ、ＳＦＲの荷重値の変化を観測することで観客の重心移動を推定し、例えばその重心移動が時間軸方向に規則性のあるものか否かにより、観客が秩序だった動作を行っているか、或いはランダムな動作を行っているかを判別する。
そして各踏力状況検出部３６−１〜３６−ｎは、これら荷重の大／小（無）、及び秩序性／ランダム性を示す踏力判別信号ＳＳＦ１〜ＳＳＦ（ｎ）を出力する。
【００４６】
上記図１２で説明したように、観客Ｐが座席ＳＴに着席している場合は、観客Ｐの体重による荷重は、踏力センサ７には軽くかかるのみである。一方、観客Ｐが起立している状態では、観客Ｐの体重による荷重は、全て踏力センサ７にかかる。もちろんその座席ＳＴに観客がいないときは踏力センサ７への荷重はゼロとなる。
各踏力状況検出部３６−１〜３６−ｎでは、荷重の大／小（又は無）を判別するが、これは踏力検出信号ＳＦＬ＋ＳＦＲの値を、基準値Ｗｔｈ２と比較する処理となる。
例えば観客が起立して全体重が踏力センサ７にかかっている場合は、踏力検出信号ＳＦＬ＋ＳＦＲの値は、その観客の体重に応じた値となる。
そこで基準値Ｗｔｈ２は、体重の軽い子供などの場合も考慮し、一方で観客が座った状態においての荷重も考慮して、例えば１０数Ｋｇ程度の荷重に相当する値とする。これにより荷重が大きく、観客が起立している状態であるか、或いは荷重が小さいか又はゼロで、観客が着席もしくは無人の状態であるか、を推定できるようにする。
【００４７】
また各踏力状況検出部３６−１〜３６−ｎでは、踏力検出信号ＳＦＬ、ＳＦＲの値を個別に時間軸方向に観測していき、かつ比較することで、観客の動作状況が秩序だったものかランダムなものかを判定する。
例えば踏力検出信号ＳＦＬ、ＳＦＲが、それぞれ図１３（ｂ）に示すように変化したとすると、この期間において観客の重心が左足から右足に移動したことがわかる。従って、このような重心移動が引き続き、右足→左足→右足・・・と観測されると、例えば観客が曲に合わせて体を動かしているなどの、規則的な動きがあると判定できる。
一方、このような重心移動が時間軸方向に単発的、不規則的に観測される場合は、観客がランダムな動きを行っていると判定できる。
さらに重心移動が所定期間観測されなければ、観客が起立した状態で動いていないと判定できる。
【００４８】
各踏力状況検出部３６−１〜３６−ｎは、踏力検出信号ＳＦ１〜ＳＦ（ｎ）について、これらの判別処理を行い、その結果値としての踏力判別信号ＳＳＦ１〜ＳＳＦ（ｎ）を出力する。
踏力判別信号ＳＳＦ１〜ＳＳＦ（ｎ）はそれぞれ、例えば図１５に示したＦａ、Ｆｂ、Ｆｃ、Ｆｄの４つの状態を識別する情報として判定処理部１２に供給される。
即ち、観客による荷重が小又は無（Ｆａ）、観客による荷重大で動き無し（Ｆｂ）、観客による荷重大で秩序ある動き（Ｆｃ）、観客による荷重大でランダムな動き（Ｆｄ）のいずれかを示す踏力判別信号ＳＳＦが生成される。
踏力判別信号ＳＳＦ＝荷重小又は無（Ｆａ）の場合は、観客が着席している状態か、或いはその座席には観客がいない状態を推定させるものとなる。
踏力判別信号ＳＳＦ＝観客による荷重大で動き無し（Ｆｂ）の場合は、観客が起立した状態で動いていない状態を推定させるものとなる。
踏力判別信号ＳＳＦ＝観客による荷重大で秩序ある動き（Ｆｃ）の場合は、観客が起立した状態で、例えば曲に合わせて体を動かしているなどの状態を推定させるものとなる。
踏力判別信号ＳＳＦ＝観客による荷重大でランダムな動き（Ｆｄ）の場合は、観客が起立した状態で無秩序に体を動かしている状態を推定させるものとなる。
【００４９】
以上のように検出信号処理部１１では、各センサ（ビデオカメラ４，マイクロホン５、荷重センサ６，踏力センサ７）からの情報に基づいて、各判別信号（ＳＳＶ、ＳＳＡ、ＳＳＷ、ＳＳＦ）を生成し、判定処理部１２に供給することとなる。
なお、各判別信号（ＳＳＶ、ＳＳＡ、ＳＳＷ、ＳＳＦ）がそれぞれ所定の値として提示する内容は、図８，図１１，図１４，図１５に示したものとしたが、検出処理方式により、さらに多様な内容を判別することも当然可能である。
例えば動きベクトルを観測した結果の画像判別信号ＳＳＡとしては、秩序動作の場合でも、動きの変化パターンから手拍子とアクションを区別したり、例えば観客によるウェーブのような動作を判別することも可能である。
また荷重判別信号ＳＳＷや踏力判別信号ＳＳＦでは、荷重をより細かく識別して、観客が大人と思われるか、子供と思われるかなどを示す信号とすることも可能である。
【００５０】
３．判定処理部の判定／制御処理
図４に示すように判定処理部１２は、観客動作判定部４１と制御決定部４２を備える。
観客動作判定部４１は、上述した各判別信号（ＳＳＶ、ＳＳＡ、ＳＳＷ、ＳＳＦ）の値、及びサーバ９から供給される現在の再生内容を示す補足情報ＩＰを参照して、現在の観客の動作状況を推定する処理を行う。
制御決定部４２は、観客動作判定部４１の推定結果に応じて、再生されるコンテンツデータの選定や、再生されるビデオデータＶｏｕｔ、オーディオデータＡｏｕｔ所定の処理を指示する制御信号Ｃｄｂ、Ｃｓｐを出力する。
【００５１】
図１６に判定処理部１２による判定／制御処理を示す。なお、このフローチャートにおいてステップＦ１０９は制御決定部４２の処理となり、他のステップは観客動作判定部４１の処理となる。
【００５２】
判定／制御処理としては、観客動作判定部４１はステップＦ１０１として荷重判別信号ＳＳＷ１〜ＳＳＷ（ｎ）をチェックする。即ち、会場内の各座席ＳＴにつき、荷重の有無の情報（図１４のＷａ、Ｗｂのいづれかの情報）を取り込む。またステップＦ１０２で、踏力判別信号ＳＳＦ１〜ＳＳＦ（ｎ）をチェックする。これは各会場内の各座席ＳＴについての踏力センサ７に対する荷重の大／小（又は無）、及び観客の動作についての動作無し／秩序動作／ランダム動作の情報（図１５のＦａ〜Ｆｄのいづれかの情報）を取り込むものとなる。
【００５３】
ステップＦ１０３では、荷重判別信号ＳＳＷ１〜ＳＳＷ（ｎ）、及び踏力判別信号ＳＳＦ１〜ＳＳＦ（ｎ）の値から、会場に観客が存在するか否かを判別する。
もし、荷重判別信号ＳＳＡ１＝Ｗｂ（荷重無し）であり、かつ踏力判別信号ＳＳＦ１＝Ｆａ（荷重無又は小）であるとしたら、その座席ＳＴには観客がいないと推定できる。従って、全ての座席について、同様にして観客がいないと判定されるのであれば、現在会場に観客はいないと判断できる。
その場合は、ステップＦ１０３からＦ１１０に進み、処理を終了するのでなければステップＦ１０１にに戻ることになる。
【００５４】
観客が存在する場合はステップＦ１０４に進み、観客数を判別する。これは上記ステップＦ１０３で観客がいないと判断された座席数を全座席数から減算すればよい。或いは、荷重判別信号ＳＳＡが「Ｗｂ（荷重無し）」でないか、或いは踏力判別信号ＳＳＦが「Ｆａ（荷重無又は小）」でないというＯＲ条件が満たされる座席数をカウントすればよい。
そして観客数を判別したら、それに応じて音声特徴検出部３４に供給する基準値Ａｔｈを設定する。この基準値Ａｔｈは、上記図４，図９で説明したように、音声信号ＳＡ１が静寂状態のレベルであるか否かを判別する基準値であり、静寂状態と判断する基準は観客数によって変更することが正確な推定処理のために好適であるためである。
【００５５】
続いて観客動作判定部４１は、ステップＦ１０５で音声判別信号ＳＳＡのチェックを行い、図１１のＡａ〜Ａｅのいづれの状態であるかを確認する。
また観客動作判定部４１は、ステップＦ１０６で画像判別信号ＳＳＶのチェックを行い、図８のＶａ〜Ｖｃのいづれの状態であるかを確認する。
さらに観客動作判定部４１は、ステップＦ１０７でサーバ９から供給されている補足情報ＩＰを確認する。
【００５６】
観客動作判定部４１はここまでの処理で、各判別信号（ＳＳＶ、ＳＳＡ、ＳＳＷ、ＳＳＦ）の値、及び補足情報ＩＰを確認したら、それらの値に基づいて、実際の観客の状況を推定する。推定例については後述する。
そして観客動作判定部４１は観客の状況を推定したら、その推定結果を示す信号を制御決定部４２に送り、制御決定部４２はステップＦ１０９として、推定結果に基づいて必要な動作を実行させるための制御信号Ｃｄｂ、Ｃｓｐを出力する処理を行う。制御内容の例は後述する。
【００５７】
ステップＦ１１０では、当該判定／制御処理を終了させるか否かを判断し、終了されない場合はステップＦ１０１に戻る。またオペレータが図示しない操作部から終了操作を行うなどして、終了と判断される場合は、ステップＦ１１０から一連の処理を終了させる。
【００５８】
上記ステップＦ１０８で観客動作判定部４１が推定する観客状況とは、各種の状況が考えられるが、説明上の例として、図１７のＪ１〜Ｊ５の各状況を推定するものとする。
状況Ｊ１は、大部分の観客が上映されているコンテンツに対して注視・傾聴している状態である。
状況Ｊ２は、大部分の観客が再生されている楽曲に合わせて手拍子や唱和をしている状態である。
状況Ｊ３は、大部分の観客が例えばアンコール要求などのために、そろって手拍子や声を出している状態である。
状況Ｊ４は、大部分の観客が、拍手や歓声などをあげている状態である。
状況Ｊ５は、大部分の観客が、座席から立ち上がっている状態である。
【００５９】
ステップＦ１０８でのこれらの５つの状況の判別は、各判別信号（ＳＳＶ、ＳＳＡ、ＳＳＷ、ＳＳＦ）及び補足情報ＩＰの値に基づいて、例えば図１８のマトリクス関係から推定する。
【００６０】
まず実際に観客が注視・傾聴状態である場合は、各判別信号は次の値となっている可能性が高い。
画像判別信号ＳＳＶ＝Ｖａ（静止）。
音声判別信号ＳＳＡ＝Ａａ（静寂）。
荷重判別信号ＳＳＷ＝Ｗａ（荷重有り）。
踏力判別信号ＳＳＦ＝Ｆａ（荷重小）。
従って換言すれば、これらの全部が満たされていればほぼ確実に観客が注視・傾聴状態Ｊ１にあると推定できる。また全部が満たされていなくても、例えば画像、音声、荷重の３つ、或いは画像、音声の２つについて、これらの値が検出された場合も、注視・傾聴状態Ｊ１にあると推定できる。さらには、画像、音声のいづれか一方でも、これらの値が検出された場合に、注視・傾聴状態Ｊ１にあると推定してよい場合も考えられる。
【００６１】
なお、荷重判別信号ＳＳＡは、ＳＳＡ１〜ＳＳＡ（ｎ）があるが、図１８に示すような荷重判別信号ＳＳＡとしては、ｎ個の荷重判別信号のうちの代表値と考えればよい。例えばｎ個の荷重判別信号ＳＳＡ１〜ＳＳＡ（ｎ）の中で支配的な値が「Ｗａ」であったとしたら、ここでは荷重判別信号ＳＳＡ＝Ｗａとすればよい。
踏力検出信号ＳＳＦについても同様である。
【００６２】
次に、観客が着席した状態で例えばコンテンツに反応して秩序だった動作を行っている場合は、各判別信号は次の値となっている可能性が高い。
画像判別信号ＳＳＶ＝Ｖｂ（秩序動）。
音声判別信号ＳＳＡ＝Ａｂ（秩序ある声）又はＡｄ（秩序ある手叩音）。
荷重判別信号ＳＳＷ＝Ｗａ（荷重有）。
踏力判別信号ＳＳＦ＝Ｆａ（荷重小）。
従って、これらの全部又は一部が満たされていればほぼ確実に観客がコンテンツに反応して秩序だった動作を行っていると推定できる。
この場合において、補足情報ＩＰより楽曲出力中であることが確認できれば、楽曲に合わせた手拍子又は唱和を行っていると推定できる。つまり状態Ｊ２である。
【００６３】
一方、補足情報ＩＰから、現在、楽曲出力中でないと確認された場合は、曲に合わせた動作ではないと判断でき、例えば再生中（上映中）であるなら、コンテンツに応じた何らかのアクション、手拍子、発声等が行われていると推定できる。さらに再生終了後であれば、これは、アンコールやカーテンコールなどのための観客の動作（手拍子や「アンコール」という揃った声）と推定できる。つまり状態Ｊ３と推定できる。
【００６４】
観客が着席した状態で無秩序な動作を行っている場合は、各判別信号は次の値となっている可能性が高い。
画像判別信号ＳＳＶ＝Ｖｃ（ランダム動）。
音声判別信号ＳＳＡ＝Ａｃ（ランダムな声）又はＡｅ（ランダムな手叩音）。
荷重判別信号ＳＳＷ＝Ｗａ（荷重有）。
踏力判別信号ＳＳＦ＝Ｆａ（荷重小）。
従って、これらの全部又は一部が満たされていればほぼ確実に観客がランダムな動作を行っていると推定できる。例えば拍手喝采がおこっているよう場合である。
【００６５】
観客が着席した状態で無秩序な動作を行っている場合は、各判別信号は次の値となっている可能性が高い。
画像判別信号ＳＳＶ＝Ｖｃ（ランダム動）。
音声判別信号ＳＳＡ＝Ａｃ（ランダムな声）又はＡｅ（ランダムな手叩音）。
荷重判別信号ＳＳＷ＝Ｗａ（荷重有）。
踏力判別信号ＳＳＦ＝Ｆａ（荷重小）。
従って、これらの全部又は一部が満たされていればほぼ確実に観客がランダムな動作を行っていると推定できる。例えば拍手喝采がおこっているよう場合である。
【００６６】
観客が起立した状態では、各判別信号は次の値となっている可能性が高い。
画像判別信号ＳＳＶ＝Ｖａ〜Ｖｃ（いづれの状態もあり得る）。
音声判別信号ＳＳＡ＝Ａａ〜Ａｅ（いづれの状態もあり得る）
荷重判別信号ＳＳＷ＝Ｗｂ（荷重無）。
踏力判別信号ＳＳＦ＝Ｆｂ〜Ｆｄ（荷重大で各状態）。
従って、特に荷重判別信号ＳＳＷと踏力判別信号ＳＳＦがこれらを満足していれば、観客が起立していると推定できる。
【００６７】
例えば図１７に示した状態Ｊ１〜Ｊ５を推定するという動作を行うとすれば、以上のように各判別信号の値を判断していけば、ほぼ正しく状態Ｊ１〜Ｊ５を判別できる。
上記図１６のステップＦ１０８において、このようにして観客の状態を推定したら、ステップＦ１０９で、推定結果に応じた制御を行うことになるが、この制御は図１７にも示しているが、例えば次のようになる。
【００６８】
状態Ｊ１の場合は、コンテンツとしての映像及び音声を通常に呈示出力させればよい。つまり特殊な制御は不要である。
状態Ｊ２の場合は、手拍子や唱和があっても曲が聞き取りやすくなるように例えば制御信号ＣｓｐによりオーディオデータＡｏｕｔの音量レベルをアップさせたり、聞き取りやすい音響エフェクト処理を行う。またビデオデータＶｏｕｔに、歌詞としてのテキストデータを重畳させ、観客が唱和しやすくする。コンテンツに応じた歌詞としてのテキストデータは、例えば制御信号Ｃｄｂによりサーバ９に要求して、データベース２１から読み出させるようにすればよい。
【００６９】
状態Ｊ３の場合、コンテンツ再生中であれば、手拍子や唱和があってもコンテンツ音声が聞き取りやすくなるように制御信号ＣｓｐによりオーディオデータＡｏｕｔの音量レベルをアップさせたり、聞き取りやすい音響エフェクト処理を行う。
またコンテンツ再生中ではなく、観客のアンコール要求と判別される場合は、制御信号Ｃｄｂによりサーバ９に、コンテンツの再度の再生や、呈示（再生）するコンテンツの追加や変更を指示する。
【００７０】
状態Ｊ４の場合は、拍手や歓声があってもコンテンツ音声が聞き取りやすくなるように制御信号ＣｓｐによりオーディオデータＡｏｕｔの音量レベルをアップさせたり、聞き取りやすい音響エフェクト処理を行う。
また特に反応のよいシーンと想定できるため、そのシーンをマーキングして後のアンコール部分として記憶したり、或いはそのシーンを繰り返し再生させるように制御信号Ｃｄｂによりサーバ９に指示する。
さらに好評場面であることに応じて輝度ダイナミックレンジを変化させるといったビデオデータ処理も可能である。
【００７１】
状態Ｊ５の場合も、特に反応のよいシーンと想定できるため、そのシーンをマーキングして後のアンコール部分として記憶したり、或いはそのシーンを繰り返し再生させるように制御信号Ｃｄｂによりサーバ９に指示する。
さらに起立状態であるため、観客が見やすいようにスクリーン１上での画像呈示位置が情報にシフトされるようにしたり、スクリーン一杯に拡大させたりするというビデオデータ処理も行う。もちろん輝度の変化も可能である。
さらには、場合によっては着席を促す文字をビデオデータＶｏｕｔに重畳して呈示したり、アナウンス音声を出力させるようにしてもよい。
【００７２】
例えば以上のように本例では、観客状況に応じて、再生されるコンテンツ内容や再生される信号（ビデオデータＶｏｕｔ、オーディオデータＡｏｕｔ）についての制御を行うことで、観客の状況に応じた再生を実現でき、観客にとってより満足度の高いエンターテイメントを提供できる。特に再生する内容を選択するように制御することで、観客の求めるアンコール場面の繰り返し再生や、或いは観客の嗜好に応じた内容の再生などが可能となる。また再生データに対する信号処理の制御を行うことで、例えば映像効果、音響効果、音量等を、観客の状況に合致した状態を実現できる。
【００７３】
４．各種変形例
ところで以上の説明は、あくまでも一例として述べたものであり、実際にはさらに多様な例が考えられる。特に推定される観客状態の種類、推定結果に応じた制御方式、適用できる会場、観客状態の検出方式などは、それぞれ会場やイベント内容などに応じて、また制御可能なシステム設備に応じて、具体的な内容は異なるものとなる。以下、変形例をそれぞれ挙げていく。
【００７４】
まず推定すべき観客状態としては、上記例では図１７の状態Ｊ１〜Ｊ５を推定するとして説明したが、各判別信号（ＳＳＶ、ＳＳＡ、ＳＳＷ、ＳＳＦ）及び補足情報ＩＰの値（又は補足情報の種類）を用いれば、例えば以下のような各状況を推定することも可能である。
【００７５】
まず、上記例では起立状態について細かく分けなかったが、起立状態を次のように分類することも可能である。
・観客が起立して注視・傾聴
・観客が起立して手拍子や唱和
・観客が起立して拍手
・観客が起立して歓声
・観客が起立して曲等に合わせた唱和
・観客が起立して曲等に合わせたアクションや手拍子
これらは、荷重判別信号ＳＳＡ＝Ｗｂの状態で、踏力判別信号ＳＳＦの値がＦｂ、Ｆｃ、Ｆｄの何れであるかを判別したり、或いは画像判別信号ＳＳＶ、音声判別信号ＳＳＡの値を参照することで推定可能であることはいうまでもない。
【００７６】
また、同様に各判別信号の値から、
・観客が映像に合わせた動作を行っている状態
・観客が映像や音楽に合わせて足踏みを行っている状態
・観客が拍手・手拍子はせずに、歓声或いは唱和を行っている状態
なども推定可能である。
【００７７】
さらには、観客数が徐々に減っていっていることで、コンテンツが不評であることや、席を立ったり戻ってくる観客が多いことで、中だるみ状態であることなども推定可能である。
また、上述したように音声判別信号ＳＳＡから、女性に好評であるか男性に好評であるかを推定したり、或いはブーイング状態を推定することも可能である。
また検出された荷重値をより細かく判定することで、荷重判別信号ＳＳＷや踏力判別信号ＳＳＦにより、子供中心の客層か、大人中心の客層かなども推定できる。
【００７８】
推定結果に基づく制御としては、上記例以外にも、次のような例が考えられる。
制御信号Ｃｄｂによるコンテンツデータの選択にかかる制御としては、観客の反応の悪い場面を他の場面に差し替えたり、観客の反応に応じて次の場面を選択していくことで、観客状況に応じてストーリーが変化するなどの制御も可能である。このような場合はさらに、予め観客の反応に対するストーリー制御方式を公開しておき、観客が明示的な要求（コンテンツに対する反応）を行うことで観客が主導して上映内容を変化させるといったような上映方式も実現できる。
また呈示されるコンテンツ内に、観客の選択を求める内容を含ませておく。例えば選択肢を用意して、観客が望む方を拍手させるなどする。そして拍手の大小に応じて選択決定し、再生すべきコンテンツ内容を選択制御するといったことも可能である。
【００７９】
また、コンテンツ選択や再生データに対する画像処理、音響処理についての制御だけでなく、会場内の設備に対する制御を実行するようにしてもよい。
例えば観客の反応に応じて、照明装置を制御して明るさや照明色を可変したり、ミラーボール、レーザー光などの視覚的効果を動作させるなどして、観客の高揚をより促進させてもよい。
また空調設備を制御して、観客にとって快適な状態を提供してもよい。例えば観客の動きが少ない、注視・傾聴状態では、冷房を弱め（又は暖房を高め）、逆に観客が起立して踊っている場合などは冷房を強め（又は暖房を弱め）たりすることも好適である。
【００８０】
また上記例では、ビデオカメラ４及びマイクロホン５で検出される画像信号ＳＶ、音声信号ＳＡを、観客全体についての検出情報とし、荷重センサ６、踏力センサ７で検出される荷重検出信号ＳＷ、踏力検出信号ＳＦを、個々の観客についての検出情報としたが、これらに限られるものではない。
例えばビデオカメラ４やマイクロホン５を各座席に対応して設けて、観客個別に画像や音声を検出できるようにもしてもよいし、荷重センサや踏力センサを観客全体の情報として処理してもよい。
また、観客の全体／個別というだけでなく、例えば客席のエリア毎に映像、音声、荷重等を検出してもよい。
【００８１】
観客状態の推定のための情報としては、他のセンサや、或いは何らかの入力情報を参照するようにしてもよい。例えば上映開始前にアンケートや或いは係員による調査などにより客層を判別し、その情報を入力して推定や制御に反映させたり、上映する時間帯、季節、月日又は曜日、その日の天候、気温、会場の場所などを入力して推定や制御に反映させてもよい。
【００８２】
上記例では、映画上映を行う会場を前提にして考えたが、本発明はさらに多様な会場において採用可能である。例えばコンサートホール、ライブハウス、演劇場、寄席、放送スタジオ、野外イベント会場、競技場、多目的ホールなどである。
そして、例えばライブ演奏やスポーツなどの場合は、観客がモニタスクリーンなどで演奏者や選手の姿などを写すことが行われているが、その場合に観客の反応に応じて、好評な演奏場面や選手のアップなどを映し出したり、或いは効果音・音楽等を再生出力するといったような制御が考えられる。
【００８３】
また、本発明は観客の状況を推定した結果を、出力するコンテンツ等の制御に用いるのではなく、例えば推定結果を表示出力するなどして、出演者、演出者、オペレータ等に告知するものであってもよい。
出演者等は、観客状態の推定結果に基づいて、演技／演奏の内容を変更したり、視覚効果、音響効果を制御／設定することなどが考えられる。また、観客の状態に応じて後日の内容を変更するといったことも可能となる。
【００８４】
５．実施の形態の実現のための構成例
以上、実施の形態について説明してきたが、ここで実施の形態の実現のための構成例を述べておく。
上述した実施の形態における検出コントロール部１０やサーバ９の動作は、ハードウェアにより行うこともできるし、ソフトウェアにより行うこともできる。検出コントロール部１０における検出信号処理部１１の動作や、判定処理部１２の動作、或いは判定処理部１２の観客動作判定部４１や制御決定部４２の動作についても同様である。
【００８５】
これら各部の処理をソフトウェアによって行う場合には、そのソフトウェアを構成するプログラムが、専用のハードウェアとしての送受信装置、記録再生装置等に組み込まれているコンピュータや、汎用のコンピュータ等にインストールされる。
【００８６】
そこで図１９に、上述した一連の処理を実行するプログラムがインストールされるコンピュータの構成例を示す。
プログラムは、コンピュータに内蔵されている記録媒体としてのハードディスク４０５やＲＯＭ４０３に予め記録しておくことができる。
【００８７】
あるいはまた、プログラムは、フロッピーディスク、ＣＤ−ＲＯＭ(Compact Disc Read Only Memory)、ＭＯ(Magneto optical)ディスク、ＤＶＤ(Digital Versatile Disc)、磁気ディスク、半導体メモリなどのリムーバブル記録媒体４１１に、一時的あるいは永続的に格納（記録）しておくことができる。このようなリムーバブル記録媒体４１１は、いわゆるパッケージソフトウェアとして提供することができる。
【００８８】
なお、プログラムは、上述したようなリムーバブル記録媒体４１１からコンピュータにインストールする他、ダウンロードサイトから、ディジタル衛星放送用の人工衛星を介して、コンピュータに無線で転送したり、ＬＡＮ(Local Area Network)、インターネットといったネットワークを介して、コンピュータに有線で転送し、コンピュータでは、そのようにして転送されてくるプログラムを、通信部４０８で受信し、内蔵するハードディスク４０５にインストールすることができる。
【００８９】
コンピュータは、ＣＰＵ(Central Processing Unit)４０２を内蔵している。ＣＰＵ４０２には、バス４０１を介して、入出力インタフェース４１０が接続されており、ＣＰＵ４０２は、入出力インタフェース４１０を介して、ユーザによって、キーボードや、マウス、マイク等で構成される入力部４０７が操作等されることにより指令が入力されると、それに従って、ＲＯＭ(Read Only Memory)４０３に格納されているプログラムを実行する。あるいは、また、ＣＰＵ４０２は、ハードディスク４０５に格納されているプログラム、衛星若しくはネットワークから転送され、通信部４０８で受信されてハードディスク４０５にインストールされたプログラム、またはドライブ４０９に装着されたリムーバブル記録媒体４１１から読み出されてハードディスク４０５にインストールされたプログラムを、ＲＡＭ(Random Access Memory)４０４にロードして実行する。これにより、ＣＰＵ４０２は、上述した各フローチャートに示した処理を実行する。
そしてＣＰＵ４０２は、その処理結果を、必要に応じて、例えば入出力インタフェース４１０を介して、ＬＣＤ(Liquid Crystal Display)やスピーカ等で構成される出力部４０６から出力、あるいは通信部４０８から送信、さらにはハードディスク４０５に記録等させる。
【００９０】
ここで、本明細書において、コンピュータに各種の処理を行わせるためのプログラムを記述する処理ステップ、例えば上記図１６のような処理ステップは、必ずしもフローチャートとして記載された順序に沿って時系列に処理する必要はなく、並列的あるいは個別に実行される処理（例えば、並列処理あるいはオブジェクトによる処理）も含むものである。
【００９１】
また、プログラムは、１のコンピュータにより処理されるものであっても良いし、複数のコンピュータによって分散処理されるものであっても良い。さらに、プログラムは、遠方のコンピュータに転送されて実行されるものであっても良い。
【００９２】
【発明の効果】
以上の説明から理解されるように本発明では、観客の全体としての動作状態と、個々の観客の動作状態とを検出して、観客の状況を判定するようにしているため、上映内容、演奏、演技等に対する観客の総体的な反応を的確に判別することができるという効果がある。
そして例えば映画上映などの場合は、そのような観客状況に応じて、再生動作を制御することで、観客の状況に応じた再生を実現でき、観客にとってより満足度の高いエンターテイメントを提供できる。
特に再生する内容を選択するように制御することで、観客の求める場面の繰り返し再生や、或いは観客の嗜好に応じた内容の再生などが可能となる。
また再生データに対する信号処理の制御を行うことで、例えば映像効果、音響効果、音量等を、観客の状況に合致した状態を実現できる。
【００９３】
また観客の全体を撮像し、撮像された画像から観客全体としての身体動作状態を検出したり、観客の全体が発する音を集音し、集音された音から観客全体としての動作状態を検出することで、観客の全体としての動作状態は容易かつ的確に検出できる。
さらに、個々の観客の座席への荷重を検出したり、個々の観客の踏力の状態を検出することで、観客の個別の状況も容易かつ的確に検出できる。
【００９４】
また本発明の記録媒体を用いれば、本発明の観客状況判定装置、再生出力制御システム、観客状況判定方法、再生出力制御方法が容易に実現でき、各種会場の設備として広く提供できる。
【図面の簡単な説明】
【図１】本発明の実施の形態のシステムの構成の説明図である。
【図２】実施の形態のシステムのブロック図である。
【図３】実施の形態の出力信号処理部のブロック図である。
【図４】実施の形態の検出信号処理部及び判定処理部のブロック図である。
【図５】実施の形態の画像判定の説明図である。
【図６】実施の形態の画像判定の説明図である。
【図７】実施の形態の画像判定の説明図である。
【図８】実施の形態の画像判別信号の説明図である。
【図９】実施の形態の音声特徴検出部のブロック図である。
【図１０】実施の形態の音声特徴検出動作の説明図である。
【図１１】実施の形態の音声判別信号の説明図である。
【図１２】実施の形態の荷重センサ及び踏力センサの荷重状態の説明図である。
【図１３】実施の形態の踏力センサの説明図である。
【図１４】実施の形態の荷重判別信号の説明図である。
【図１５】実施の形態の踏力判別信号の説明図である。
【図１６】実施の形態の判定／制御処理のフローチャートである。
【図１７】実施の形態の推定結果の例の説明図である。
【図１８】実施の形態の推定処理の説明図である。
【図１９】実施の形態に適用できるコンピュータ構成のブロック図である。
【符号の説明】
１ スクリーン、２ プロジェクタ、３ スピーカ、４ ビデオカメラ、５ マイクロホン、６ 荷重センサ、７ 踏力センサ、９ サーバ、１０ 検出／コントロール部、１１ 検出信号処理部、１２ 判定処理部、１３ 出力信号処理部、２１ データベース、２２ インターフェース部、２３ 制御部
Claims (9)
- 観客の全体を撮像し、撮像された画像で検出される動きベクトルから観客全体の身体動作状態として、少なくとも静止状態か否かに応じた検出信号を出力する第１の全体動作状態検出手段と、
観客の全体が発する音を集音し、集音された音から観客全体が発する音について、少なくとも音量に応じた検出信号を出力する第２の全体動作状態検出手段と、
個々の観客の座席への荷重により、少なくとも着席状態に応じた検出信号を出力する第１の個別動作状態検出手段と、
個々の観客の踏力の状態を検出し、少なくとも起立状態か否かに応じた検出信号を出力する第２の個別動作状態検出手段と、
上記第１，第２の全体動作状態検出手段による検出情報と、上記第１，第２の個別動作状態検出手段による検出情報とを用いて観客状況を判定する判定手段と、
を備えた観客状況判定装置。 - 上記第２の全体動作状態検出手段は、上記第１，第２の個別動作状態検出手段による検出情報から判定される観客数に応じて設定される基準レベルを用いて、観客全体が発する音の音量が静寂状態であるか否かを判定する請求項１に記載の観客状況判定装置。
- 観客の全体を撮像し、撮像された画像で検出される動きベクトルから観客全体の身体動作状態として、少なくとも静止状態か否かに応じた検出信号を出力する第１の全体動作状態検出手段と、
観客の全体が発する音を集音し、集音された音から観客全体が発する音について、少なくとも音量に応じた検出信号を出力する第２の全体動作状態検出手段と、
個々の観客の座席への荷重により、少なくとも着席状態に応じた検出信号を出力する第１の個別動作状態検出手段と、
個々の観客の踏力の状態を検出し、少なくとも起立状態か否かに応じた検出信号を出力する第２の個別動作状態検出手段と、
上記第１，第２の全体動作状態検出手段による検出情報と、上記第１，第２の個別動作状態検出手段による検出情報とを用いて観客状況を判定する判定手段と、
観客に視聴させるデータを再生出力する再生手段と、
上記判定手段の判定結果に基づいて、上記再生手段の動作を制御する制御手段と、
を備えた再生出力制御システム。 - 上記制御手段は、上記判定手段の判定結果に基づいて、上記再生手段で再生するデータを選択する制御を行う請求項３に記載の再生出力制御システム。
- 上記制御手段は、上記判定手段の判定結果に基づいて、上記再生手段で再生されたデータに対する信号処理の制御を行う請求項３に記載の再生出力制御システム。
- 観客の全体を撮像し、撮像された画像で検出される動きベクトルから観客全体の身体動作状態として、少なくとも静止状態か否かに応じた検出信号を出力する第１の全体動作状態検出ステップと、
観客の全体が発する音を集音し、集音された音から観客全体が発する音について、少なくとも音量に応じた検出信号を出力する第２の全体動作状態検出ステップと、
個々の観客の座席への荷重により、少なくとも着席状態に応じた検出信号を出力する第１の個別動作状態検出ステップと、
個々の観客の踏力の状態を検出し、少なくとも起立状態か否かに応じた検出信号を出力する第２の個別動作状態検出ステップと、
上記第１，第２の全体動作状態検出ステップによる検出情報と、上記第１，第２の個別動作状態検出ステップによる検出情報とを用いて観客状況を判定する判定ステップと、
が行われる観客状況判定方法。 - 観客の全体を撮像し、撮像された画像で検出される動きベクトルから観客全体の身体動作状態として、少なくとも静止状態か否かに応じた検出信号を出力する第１の全体動作状態検出ステップと、
観客の全体が発する音を集音し、集音された音から観客全体が発する音について、少なくとも音量に応じた検出信号を出力する第２の全体動作状態検出ステップと、
個々の観客の座席への荷重により、少なくとも着席状態に応じた検出信号を出力する第１の個別動作状態検出ステップと、
個々の観客の踏力の状態を検出し、少なくとも起立状態か否かに応じた検出信号を出力する第２の個別動作状態検出ステップと、
上記第１，第２の全体動作状態検出ステップによる検出情報と、上記第１，第２の個別動作状態検出ステップによる検出情報とを用いて観客状況を判定する判定ステップと、
上記判定ステップでの判定結果に基づいて、観客に視聴させるデータの再生動作を制御する制御ステップと、
が行われる再生出力制御方法。 - 観客の全体を撮像し、撮像された画像で検出される動きベクトルから観客全体の身体動作状態として、少なくとも静止状態か否かに応じた検出信号を出力する第１の全体動作状態検出ステップと、
観客の全体が発する音を集音し、集音された音から観客全体が発する音について、少なくとも音量に応じた検出信号を出力する第２の全体動作状態検出ステップと、
個々の観客の座席への荷重により、少なくとも着席状態に応じた検出信号を出力する第１の個別動作状態検出ステップと、
個々の観客の踏力の状態を検出し、少なくとも起立状態か否かに応じた検出信号を出力する第２の個別動作状態検出ステップと、
上記第１，第２の全体動作状態検出ステップによる検出情報と、上記第１，第２の個別動作状態検出ステップによる検出情報とを用いて観客状況を判定する判定ステップと、
をコンピュータ装置に実行させる処理プログラムが記録された記録媒体。 - 観客の全体を撮像し、撮像された画像で検出される動きベクトルから観客全体の身体動作状態として、少なくとも静止状態か否かに応じた検出信号を出力する第１の全体動作状態検出ステップと、
観客の全体が発する音を集音し、集音された音から観客全体が発する音について、少なくとも音量に応じた検出信号を出力する第２の全体動作状態検出ステップと、
個々の観客の座席への荷重により、少なくとも着席状態に応じた検出信号を出力する第１の個別動作状態検出ステップと、
個々の観客の踏力の状態を検出し、少なくとも起立状態か否かに応じた検出信号を出力する第２の個別動作状態検出ステップと、
上記第１，第２の全体動作状態検出ステップによる検出情報と、上記第１，第２の個別動作状態検出ステップによる検出情報とを用いて観客状況を判定する判定ステップと、
上記判定ステップでの判定結果に基づいて、観客に視聴させるデータの再生動作を制御する制御ステップと、
をコンピュータ装置に実行させる処理プログラムが記録された記録媒体。
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2000302862A JP4432246B2 (ja) | 2000-09-29 | 2000-09-29 | 観客状況判定装置、再生出力制御システム、観客状況判定方法、再生出力制御方法、記録媒体 |
| US09/966,704 US7555766B2 (en) | 2000-09-29 | 2001-09-28 | Audience response determination |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2000302862A JP4432246B2 (ja) | 2000-09-29 | 2000-09-29 | 観客状況判定装置、再生出力制御システム、観客状況判定方法、再生出力制御方法、記録媒体 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2002109116A JP2002109116A (ja) | 2002-04-12 |
| JP4432246B2 true JP4432246B2 (ja) | 2010-03-17 |
Family
ID=18784145
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2000302862A Expired - Fee Related JP4432246B2 (ja) | 2000-09-29 | 2000-09-29 | 観客状況判定装置、再生出力制御システム、観客状況判定方法、再生出力制御方法、記録媒体 |
Country Status (2)
| Country | Link |
|---|---|
| US (1) | US7555766B2 (ja) |
| JP (1) | JP4432246B2 (ja) |
Families Citing this family (123)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2002057848A2 (en) * | 2001-01-18 | 2002-07-25 | Madstone Films | A method and system providing a digital cinema distribution network having backchannel feedback |
| US20030081834A1 (en) * | 2001-10-31 | 2003-05-01 | Vasanth Philomin | Intelligent TV room |
| JP3867627B2 (ja) | 2002-06-26 | 2007-01-10 | ソニー株式会社 | 観客状況推定装置と観客状況推定方法および観客状況推定プログラム |
| JP4794453B2 (ja) * | 2003-10-24 | 2011-10-19 | インテレクチュアル ベンチャーズ ホールディング ６７ エルエルシー | インタラクティブ・ビデオ・ディスプレイ・システムを管理する方法及びシステム |
| JP4604494B2 (ja) * | 2004-01-15 | 2011-01-05 | セイコーエプソン株式会社 | 生体情報解析システム |
| CA2581982C (en) | 2004-09-27 | 2013-06-18 | Nielsen Media Research, Inc. | Methods and apparatus for using location information to manage spillover in an audience monitoring system |
| JP4243862B2 (ja) * | 2004-10-26 | 2009-03-25 | ソニー株式会社 | コンテンツ利用装置およびコンテンツ利用方法 |
| US8120655B1 (en) | 2004-12-01 | 2012-02-21 | Molyneux Entertainment Company | Interactive theatrical performance |
| JP4595555B2 (ja) * | 2005-01-20 | 2010-12-08 | ソニー株式会社 | コンテンツ再生装置およびコンテンツ再生方法 |
| JP4247626B2 (ja) * | 2005-01-20 | 2009-04-02 | ソニー株式会社 | 再生装置および再生方法 |
| JP4741267B2 (ja) * | 2005-03-28 | 2011-08-03 | ソニー株式会社 | コンテンツ推薦システム、通信端末およびコンテンツ推薦方法 |
| US9128519B1 (en) | 2005-04-15 | 2015-09-08 | Intellectual Ventures Holding 67 Llc | Method and system for state-based control of objects |
| US8141111B2 (en) | 2005-05-23 | 2012-03-20 | Open Text S.A. | Movie advertising playback techniques |
| EP1899850B1 (en) | 2005-05-23 | 2013-02-27 | Open Text S.A. | Distributed scalable media environment |
| US8145528B2 (en) | 2005-05-23 | 2012-03-27 | Open Text S.A. | Movie advertising placement optimization based on behavior and content analysis |
| US9648281B2 (en) | 2005-05-23 | 2017-05-09 | Open Text Sa Ulc | System and method for movie segment bookmarking and sharing |
| US20070013778A1 (en) * | 2005-07-01 | 2007-01-18 | Peter Will | Movie antipirating |
| JP2007011928A (ja) * | 2005-07-04 | 2007-01-18 | Sony Corp | コンテンツ提供システム、コンテンツ提供装置、コンテンツ配信サーバ、コンテンツ受信端末およびコンテンツ提供方法 |
| JP4318182B2 (ja) * | 2005-07-19 | 2009-08-19 | 財団法人ヤマハ音楽振興会 | 端末装置および同端末装置に適用されるコンピュータプログラム |
| JP5133508B2 (ja) | 2005-07-21 | 2013-01-30 | ソニー株式会社 | コンテンツ提供システム、コンテンツ提供装置、コンテンツ配信サーバ、コンテンツ受信端末およびコンテンツ提供方法 |
| US8625845B2 (en) * | 2005-08-06 | 2014-01-07 | Quantum Signal, Llc | Overlaying virtual content onto video stream of people within venue based on analysis of the people within the video stream |
| JP4403415B2 (ja) * | 2005-09-20 | 2010-01-27 | ソニー株式会社 | コンテンツ再生方法およびコンテンツ再生装置 |
| JP5052853B2 (ja) * | 2005-12-08 | 2012-10-17 | コニカミノルタプラネタリウム株式会社 | デジタルプラネタリウム投映装置 |
| JP4811046B2 (ja) * | 2006-02-17 | 2011-11-09 | ソニー株式会社 | コンテンツの再生装置、オーディオ再生機およびコンテンツの再生方法 |
| US20070271580A1 (en) * | 2006-05-16 | 2007-11-22 | Bellsouth Intellectual Property Corporation | Methods, Apparatus and Computer Program Products for Audience-Adaptive Control of Content Presentation Based on Sensed Audience Demographics |
| US20080103766A1 (en) * | 2006-10-27 | 2008-05-01 | Bates Cary L | Audience response detection interactive presentation tool |
| WO2008057444A2 (en) * | 2006-11-03 | 2008-05-15 | Micronets, Inc. | Movie advertising placement optimization and playback techniques and content tracking for movie segment bookmarks |
| US8416985B2 (en) * | 2006-12-18 | 2013-04-09 | Disney Enterprises, Inc. | Method, system and computer program product for providing group interactivity with entertainment experiences |
| US20090037946A1 (en) * | 2007-07-31 | 2009-02-05 | Nelson Liang An Chang | Dynamically displaying content to an audience |
| JP5430572B2 (ja) | 2007-09-14 | 2014-03-05 | インテレクチュアル ベンチャーズ ホールディング ６７ エルエルシー | ジェスチャベースのユーザインタラクションの処理 |
| JP5057918B2 (ja) * | 2007-09-28 | 2012-10-24 | 株式会社東芝 | 電子機器およびシーン種類表示方法 |
| US8159682B2 (en) | 2007-11-12 | 2012-04-17 | Intellectual Ventures Holding 67 Llc | Lens system |
| US20090138332A1 (en) * | 2007-11-23 | 2009-05-28 | Dimitri Kanevsky | System and method for dynamically adapting a user slide show presentation to audience behavior |
| JP4538494B2 (ja) * | 2007-12-27 | 2010-09-08 | Ｏｋｉセミコンダクタ株式会社 | 音響効果回路及び処理方法 |
| US20100039500A1 (en) * | 2008-02-15 | 2010-02-18 | Matthew Bell | Self-Contained 3D Vision System Utilizing Stereo Camera and Patterned Illuminator |
| US8259163B2 (en) | 2008-03-07 | 2012-09-04 | Intellectual Ventures Holding 67 Llc | Display with built in 3D sensing |
| US8595218B2 (en) | 2008-06-12 | 2013-11-26 | Intellectual Ventures Holding 67 Llc | Interactive display management systems and methods |
| US8363618B2 (en) * | 2008-08-29 | 2013-01-29 | Ciright Systems, Inc. | Content distribution platform |
| US9253264B2 (en) * | 2008-08-29 | 2016-02-02 | TAPP Technologies, LLC | Content distribution platform for beverage dispensing environments |
| US9482755B2 (en) | 2008-11-17 | 2016-11-01 | Faro Technologies, Inc. | Measurement system having air temperature compensation between a target and a laser tracker |
| WO2012141810A1 (en) | 2011-03-03 | 2012-10-18 | Faro Technologies, Inc. | Target apparatus and method |
| US20140176665A1 (en) * | 2008-11-24 | 2014-06-26 | Shindig, Inc. | Systems and methods for facilitating multi-user events |
| DK2268025T3 (en) * | 2009-06-22 | 2015-08-17 | Cinvolve Bvba | PROCEDURE FOR INTERACTIVE, DIGITAL BIOGRAPHY SYSTEM |
| WO2011086605A1 (ja) * | 2010-01-15 | 2011-07-21 | Shirasaki Kazuo | 告別式支援システム、データベース、及び告別式支援方法 |
| US8855101B2 (en) | 2010-03-09 | 2014-10-07 | The Nielsen Company (Us), Llc | Methods, systems, and apparatus to synchronize actions of audio source monitors |
| JP5534183B2 (ja) * | 2010-03-23 | 2014-06-25 | ソニー株式会社 | 電子機器および情報処理プログラム |
| US9400170B2 (en) | 2010-04-21 | 2016-07-26 | Faro Technologies, Inc. | Automatic measurement of dimensional data within an acceptance region by a laser tracker |
| US8537371B2 (en) | 2010-04-21 | 2013-09-17 | Faro Technologies, Inc. | Method and apparatus for using gestures to control a laser tracker |
| US9377885B2 (en) | 2010-04-21 | 2016-06-28 | Faro Technologies, Inc. | Method and apparatus for locking onto a retroreflector with a laser tracker |
| US9772394B2 (en) | 2010-04-21 | 2017-09-26 | Faro Technologies, Inc. | Method and apparatus for following an operator and locking onto a retroreflector with a laser tracker |
| US8619265B2 (en) | 2011-03-14 | 2013-12-31 | Faro Technologies, Inc. | Automatic measurement of dimensional data with a laser tracker |
| US8724119B2 (en) | 2010-04-21 | 2014-05-13 | Faro Technologies, Inc. | Method for using a handheld appliance to select, lock onto, and track a retroreflector with a laser tracker |
| US8422034B2 (en) | 2010-04-21 | 2013-04-16 | Faro Technologies, Inc. | Method and apparatus for using gestures to control a laser tracker |
| TR201004262A2 (tr) * | 2010-05-27 | 2011-07-21 | Mysys Yazilim Ve B�L���M S�Stemler� Sanay� Ve T�Caret L�M�Ted ��Rket� | Efektif anlatım ünitesi. |
| US8975765B2 (en) * | 2010-11-29 | 2015-03-10 | William Patrick Burke | System for generating electricity from arena seating |
| US9098731B1 (en) | 2011-03-22 | 2015-08-04 | Plickers Inc. | Optical polling platform methods, apparatuses and media |
| US9482529B2 (en) | 2011-04-15 | 2016-11-01 | Faro Technologies, Inc. | Three-dimensional coordinate scanner and method of operation |
| US9686532B2 (en) | 2011-04-15 | 2017-06-20 | Faro Technologies, Inc. | System and method of acquiring three-dimensional coordinates using multiple coordinate measurement devices |
| US9164173B2 (en) | 2011-04-15 | 2015-10-20 | Faro Technologies, Inc. | Laser tracker that uses a fiber-optic coupler and an achromatic launch to align and collimate two wavelengths of light |
| US8537376B2 (en) | 2011-04-15 | 2013-09-17 | Faro Technologies, Inc. | Enhanced position detector in laser tracker |
| US20120269360A1 (en) * | 2011-04-20 | 2012-10-25 | Daniel Patrick Burke | Large Scale Participatory Entertainment Systems For Generating Music Or Other Ordered, Discernible Sounds And/Or Displays Sequentially Responsive To Movement Detected At Venue Seating |
| US8620113B2 (en) | 2011-04-25 | 2013-12-31 | Microsoft Corporation | Laser diode modes |
| US9063704B2 (en) * | 2011-05-05 | 2015-06-23 | Net Power And Light, Inc. | Identifying gestures using multiple sensors |
| US8760395B2 (en) | 2011-05-31 | 2014-06-24 | Microsoft Corporation | Gesture recognition techniques |
| US20120324492A1 (en) * | 2011-06-20 | 2012-12-20 | Microsoft Corporation | Video selection based on environmental sensing |
| WO2012177641A2 (en) * | 2011-06-21 | 2012-12-27 | Net Power And Light Inc. | Method and system for providing gathering experience |
| CN105472525B (zh) * | 2011-07-01 | 2018-11-13 | 杜比实验室特许公司 | 音频回放系统监视 |
| US8990709B2 (en) * | 2011-07-08 | 2015-03-24 | Net Power And Light, Inc. | Method and system for representing audiences in ensemble experiences |
| JP5783629B2 (ja) * | 2011-07-08 | 2015-09-24 | 株式会社ドワンゴ | 映像表示システム、映像表示方法、映像表示制御プログラム、動作情報送信プログラム |
| US9070161B2 (en) | 2011-08-15 | 2015-06-30 | Philip L. Elias | Method of conducting auctions and audience guided events utilizing closed network satellite broadcasts to multiple location digital theater environments with integrated real time audience interaction |
| EP2749036B1 (en) * | 2011-08-25 | 2018-06-13 | Intel Corporation | System and method and computer program product for human presence detection based on audio |
| US8635637B2 (en) | 2011-12-02 | 2014-01-21 | Microsoft Corporation | User interface presenting an animated avatar performing a media reaction |
| US9100685B2 (en) | 2011-12-09 | 2015-08-04 | Microsoft Technology Licensing, Llc | Determining audience state or interest using passive sensor data |
| CN104094081A (zh) | 2012-01-27 | 2014-10-08 | 法罗技术股份有限公司 | 利用条形码识别的检查方法 |
| US20130205314A1 (en) * | 2012-02-07 | 2013-08-08 | Arun Ramaswamy | Methods and apparatus to select media based on engagement levels |
| US8898687B2 (en) | 2012-04-04 | 2014-11-25 | Microsoft Corporation | Controlling a media program based on a media reaction |
| CA2775700C (en) | 2012-05-04 | 2013-07-23 | Microsoft Corporation | Determining a future portion of a currently presented media program |
| CN103581755A (zh) * | 2012-07-19 | 2014-02-12 | 三星电子株式会社 | 用于控制内容回放的设备、系统和方法 |
| US9215490B2 (en) | 2012-07-19 | 2015-12-15 | Samsung Electronics Co., Ltd. | Apparatus, system, and method for controlling content playback |
| US20140040928A1 (en) * | 2012-08-02 | 2014-02-06 | Microsoft Corporation | Audience polling system |
| US8769557B1 (en) | 2012-12-27 | 2014-07-01 | The Nielsen Company (Us), Llc | Methods and apparatus to determine engagement levels of audience members |
| US9021516B2 (en) | 2013-03-01 | 2015-04-28 | The Nielsen Company (Us), Llc | Methods and systems for reducing spillover by measuring a crest factor |
| US9118960B2 (en) | 2013-03-08 | 2015-08-25 | The Nielsen Company (Us), Llc | Methods and systems for reducing spillover by detecting signal distortion |
| US9197930B2 (en) * | 2013-03-15 | 2015-11-24 | The Nielsen Company (Us), Llc | Methods and apparatus to detect spillover in an audience monitoring system |
| US20140267562A1 (en) * | 2013-03-15 | 2014-09-18 | Net Power And Light, Inc. | Methods and systems to facilitate a large gathering experience |
| US10212463B2 (en) * | 2013-03-15 | 2019-02-19 | Disney Enterprises, Inc. | Methods and systems for digital file distribution to theaters |
| US9041914B2 (en) | 2013-03-15 | 2015-05-26 | Faro Technologies, Inc. | Three-dimensional coordinate scanner and method of operation |
| CN104053021B (zh) | 2013-03-15 | 2018-09-07 | 迪斯尼企业公司 | 用于向电影院分发数字文件的方法和系统 |
| US9361705B2 (en) * | 2013-03-15 | 2016-06-07 | Disney Enterprises, Inc. | Methods and systems for measuring group behavior |
| US9525952B2 (en) | 2013-06-10 | 2016-12-20 | International Business Machines Corporation | Real-time audience attention measurement and dashboard display |
| US9100629B1 (en) | 2014-06-09 | 2015-08-04 | Kino Llc | System and method for arranging and presenting interactive preshow sessions to an audience |
| US9395174B2 (en) | 2014-06-27 | 2016-07-19 | Faro Technologies, Inc. | Determining retroreflector orientation by optimizing spatial fit |
| US9495361B2 (en) * | 2014-12-11 | 2016-11-15 | International Business Machines Corporation | A priori performance modification based on aggregation of personality traits of a future audience |
| US10013890B2 (en) | 2014-12-11 | 2018-07-03 | International Business Machines Corporation | Determining relevant feedback based on alignment of feedback with performance objectives |
| US10090002B2 (en) | 2014-12-11 | 2018-10-02 | International Business Machines Corporation | Performing cognitive operations based on an aggregate user model of personality traits of users |
| US10282409B2 (en) | 2014-12-11 | 2019-05-07 | International Business Machines Corporation | Performance modification based on aggregation of audience traits and natural language feedback |
| JP6283620B2 (ja) * | 2015-02-13 | 2018-02-21 | 日本電信電話株式会社 | 所定の空間における生体情報取得装置、生体情報取得方法及び生体情報取得プログラム |
| US9924224B2 (en) | 2015-04-03 | 2018-03-20 | The Nielsen Company (Us), Llc | Methods and apparatus to determine a state of a media presentation device |
| JP6443841B2 (ja) * | 2015-04-21 | 2018-12-26 | 日本電信電話株式会社 | 環境音伝送システム及び環境音伝送方法 |
| US9848222B2 (en) | 2015-07-15 | 2017-12-19 | The Nielsen Company (Us), Llc | Methods and apparatus to detect spillover |
| JP6614547B2 (ja) * | 2015-08-17 | 2019-12-04 | パナソニックＩｐマネジメント株式会社 | 視聴状態検出装置、視聴状態検出システムおよび視聴状態検出方法 |
| US10210726B2 (en) | 2015-10-02 | 2019-02-19 | Hyperion Technology Group, Inc. | Event detection system and method of use |
| CN105491427B (zh) * | 2015-11-24 | 2019-01-29 | 深圳创维－Rgb电子有限公司 | 一种智能电视的控制系统及其实现方法 |
| JP6692647B2 (ja) * | 2016-01-26 | 2020-05-13 | 富士通株式会社 | 通信システムおよびウエアラブルデバイス |
| KR101900470B1 (ko) * | 2017-03-23 | 2018-09-19 | 주식회사 아이티엑스엠투엠 | 자동 방송 시스템 |
| KR101900471B1 (ko) * | 2017-03-23 | 2018-09-19 | 주식회사 아이티엑스엠투엠 | 반응 효과가 삽입된 방송 시스템 |
| JP6945312B2 (ja) * | 2017-03-23 | 2021-10-06 | 株式会社バンダイナムコアミューズメント | 操作制御システム、キャラクタ上映システム及びプログラム |
| KR20190016855A (ko) * | 2017-08-09 | 2019-02-19 | 주식회사 모션디바이스 | 시뮬레이션 참가자의 리액션 보상 방법 및 장치 |
| US10904615B2 (en) * | 2017-09-07 | 2021-01-26 | International Business Machines Corporation | Accessing and analyzing data to select an optimal line-of-sight and determine how media content is distributed and displayed |
| US10511888B2 (en) | 2017-09-19 | 2019-12-17 | Sony Corporation | Calibration system for audience response capture and analysis of media content |
| WO2019067783A1 (en) | 2017-09-29 | 2019-04-04 | Chappell Arvel A | PRODUCTION AND CONTROL OF KINEMATIC CONTENT IN RESPONSE TO AN EMOTIONAL USER STATUS |
| US11048920B2 (en) * | 2017-11-13 | 2021-06-29 | International Business Machines Corporation | Real-time modification of presentations based on behavior of participants thereto |
| US10824833B2 (en) * | 2018-01-11 | 2020-11-03 | Amrita Vishwa Vidyapeetham | Optical polling platform detection system |
| US10965985B2 (en) | 2018-05-21 | 2021-03-30 | Hisense Visual Technology Co., Ltd. | Display apparatus with intelligent user interface |
| US11507619B2 (en) | 2018-05-21 | 2022-11-22 | Hisense Visual Technology Co., Ltd. | Display apparatus with intelligent user interface |
| CN108737872A (zh) * | 2018-06-08 | 2018-11-02 | 百度在线网络技术（北京）有限公司 | 用于输出信息的方法和装置 |
| US11406896B1 (en) * | 2018-06-08 | 2022-08-09 | Meta Platforms, Inc. | Augmented reality storytelling: audience-side |
| US11574458B2 (en) * | 2019-01-02 | 2023-02-07 | International Business Machines Corporation | Automated survey results generation from an image |
| US20200288204A1 (en) * | 2019-03-05 | 2020-09-10 | Adobe Inc. | Generating and providing personalized digital content in real time based on live user context |
| JP7188831B2 (ja) * | 2019-03-13 | 2022-12-13 | バルス株式会社 | ライブ配信システムおよびライブ配信方法 |
| CN113767643B (zh) * | 2019-03-13 | 2024-04-05 | 巴鲁斯株式会社 | 直播传输系统以及直播传输方法 |
| US11429839B2 (en) | 2019-08-22 | 2022-08-30 | International Business Machines Corporation | Adapting movie storylines |
| WO2021059770A1 (ja) * | 2019-09-24 | 2021-04-01 | ソニー株式会社 | 情報処理装置、情報処理システム、および情報処理方法、並びにプログラム |
Family Cites Families (16)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US2593204A (en) * | 1946-02-18 | 1952-04-15 | Schwartzberg Henry | Sound control system |
| US3600516A (en) * | 1969-06-02 | 1971-08-17 | Ibm | Voicing detection and pitch extraction system |
| US4424511A (en) * | 1980-10-30 | 1984-01-03 | Alberts Jr Fred L | Noise monitor |
| US4483681A (en) * | 1983-02-07 | 1984-11-20 | Weinblatt Lee S | Method and apparatus for determining viewer response to visual stimuli |
| US4913297A (en) * | 1988-09-09 | 1990-04-03 | Tyee Trading Corporation | Display unit |
| US5255326A (en) * | 1992-05-18 | 1993-10-19 | Alden Stevenson | Interactive audio control system |
| US5550928A (en) * | 1992-12-15 | 1996-08-27 | A.C. Nielsen Company | Audience measurement system and method |
| US5726701A (en) * | 1995-04-20 | 1998-03-10 | Intel Corporation | Method and apparatus for stimulating the responses of a physically-distributed audience |
| US6353764B1 (en) * | 1997-11-27 | 2002-03-05 | Matsushita Electric Industrial Co., Ltd. | Control method |
| US6091402A (en) * | 1997-12-17 | 2000-07-18 | Micron Electronics, Inc. | Foot operated input device |
| US6409599B1 (en) * | 1999-07-19 | 2002-06-25 | Ham On Rye Technologies, Inc. | Interactive virtual reality performance theater entertainment system |
| US6665985B1 (en) * | 1999-09-09 | 2003-12-23 | Thinc | Virtual reality theater |
| CN1134767C (zh) * | 1999-09-23 | 2004-01-14 | 皇家菲利浦电子有限公司 | 消音模块和语音识别设备以及消费者电子系统 |
| US6507353B1 (en) * | 1999-12-10 | 2003-01-14 | Godot Huard | Influencing virtual actors in an interactive environment |
| US6956576B1 (en) * | 2000-05-16 | 2005-10-18 | Sun Microsystems, Inc. | Graphics system using sample masks for motion blur, depth of field, and transparency |
| US6873710B1 (en) * | 2000-06-27 | 2005-03-29 | Koninklijke Philips Electronics N.V. | Method and apparatus for tuning content of information presented to an audience |
-
2000
- 2000-09-29 JP JP2000302862A patent/JP4432246B2/ja not_active Expired - Fee Related
-
2001
- 2001-09-28 US US09/966,704 patent/US7555766B2/en not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| US7555766B2 (en) | 2009-06-30 |
| US20020073417A1 (en) | 2002-06-13 |
| JP2002109116A (ja) | 2002-04-12 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP4432246B2 (ja) | 観客状況判定装置、再生出力制御システム、観客状況判定方法、再生出力制御方法、記録媒体 | |
| US7725203B2 (en) | Enhancing perceptions of the sensory content of audio and audio-visual media | |
| JP4052556B2 (ja) | 外部機器連動型コンテンツ生成装置、その方法及びそのプログラム | |
| US8031891B2 (en) | Dynamic media rendering | |
| US7610260B2 (en) | Methods and apparatus for selecting and providing content data using content data status information | |
| CN101536609A (zh) | 响应音频信号控制光 | |
| JP2011514541A (ja) | 環境内のムード及びソーシャルセッティングに適した雰囲気を自動生成するためのシステム及び方法 | |
| US20120269360A1 (en) | Large Scale Participatory Entertainment Systems For Generating Music Or Other Ordered, Discernible Sounds And/Or Displays Sequentially Responsive To Movement Detected At Venue Seating | |
| WO2022004103A1 (ja) | 演出効果制御方法、端末装置の動作方法、演出効果制御システムおよび端末装置 | |
| JP5868991B2 (ja) | 動画記録中の音声のオーディオ信号再生を向上させる方法およびアセンブリ | |
| JP4638183B2 (ja) | 複数のカメラ出力の編集装置及びその編集方法 | |
| JPH10171481A (ja) | 楽音再生装置 | |
| KR101809617B1 (ko) | 마이콘서트시스템 | |
| JP6678315B2 (ja) | 音声再生方法、音声対話装置及び音声対話プログラム | |
| JP7435119B2 (ja) | 映像データ処理装置、映像配信システム、映像編集装置、映像データ処理方法、映像配信方法、及びプログラム | |
| JP7451999B2 (ja) | 録画装置、動画システム、録画方法、及びプログラム | |
| JP3785078B2 (ja) | 画面切替出力制御装置及びその方法と、画面切替出力制御プログラム及びそのプログラムの記録媒体 | |
| JP3977916B2 (ja) | カラオケビデオ記録システム及び記録用テープ | |
| JP5876530B2 (ja) | ディスプレイ装置、情報提示方法、および情報提示プログラム | |
| JP5731890B2 (ja) | 情報提示装置、情報提示方法、および情報提示プログラム | |
| JP5780258B2 (ja) | 携帯端末装置、携帯端末用プログラム、サーバ、及び画像閲覧システム | |
| JP3783222B2 (ja) | 記録映画コンテンツ又はフィクション性コンテンツの場面展開システム | |
| KR102013054B1 (ko) | 퍼포먼스의 출력 및 퍼포먼스 컨텐츠 생성을 수행하는 방법 및 그 시스템 | |
| Ozawa et al. | Instantaneous evaluation of the sense of presence in audio-visual content | |
| JP2023110358A (ja) | 音声形成システム、端末装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20070216 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20090721 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20090819 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20091201 |
|
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20091214 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130108 Year of fee payment: 3 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| LAPS | Cancellation because of no payment of annual fees |