JP2002109116A

JP2002109116A - 観客状況判定装置、再生出力制御システム、観客状況判定方法、再生出力制御方法、記録媒体

Info

Publication number: JP2002109116A
Application number: JP2000302862A
Authority: JP
Inventors: Tetsujiro Kondo; 哲二郎近藤; Yuji Okumura; 裕二奥村
Original assignee: Sony Corp
Current assignee: Sony Corp
Priority date: 2000-09-29
Filing date: 2000-09-29
Publication date: 2002-04-12
Anticipated expiration: 2020-09-29
Also published as: JP4432246B2; US20020073417A1; US7555766B2

Abstract

(57)【要約】【課題】観客の状況に応じた状態を実現しエンタテイ
メント性を向上させる。【解決手段】観客の全体としての動作状態と、個々の
観客の動作状態とを検出して、全体的な観客の状況を判
定するようにし、その結果に基づいて、映画コンテンツ
の再生動作を制御することで、観客の状況に応じた再生
を実現する。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、映画上映、音楽コ
ンサート、演劇、演芸、各種イベント、スポーツ観戦な
どで、多数の観客を集めるエンターテイメント施設にお
いて好適な、観客状況判定装置、再生出力制御システ
ム、観客状況判定方法、再生出力制御方法、及びこれら
の装置又は方法の実現に好適な記録媒体に関するもので
ある。

【０００２】

【従来の技術】例えば映画上映、音楽コンサート、演
劇、演芸、各種イベント、スポーツ観戦などの、多数の
観客を対象としたエンターテイメントが多数催されてい
るが、近年、観客に対してより大きな満足を与えるため
の各種の手法や設備が求められ、また提案されている。

【０００３】

【発明が解決しようとする課題】ところが一般に、映画
館やコンサートホールなど（以下、これら観客が集まっ
て映画、演奏等を視聴する場所を総称して「会場」とい
う）においては、観客はあくまでも受動的に、上映／上
演される内容を視聴するのみであった。一方、会場に多
数の観客が集まる場合は、いわゆる群衆心理的な効果
や、視聴対象（上映内容や演奏者、演技者等）との一体
感などから、個人が家庭等で映画や演奏などを鑑賞する
場合と比べて、観客は大きな反応が示すことが多い。例
えば拍手、手拍子、歓声、スタンディングオベーショ
ン、応援、唱和、身振りなどは著しいものとなる。この
ような観客の反応に対しては、例えばライブ演奏などで
は演奏者が自発的に対応して、より観客が盛りあがるよ
うに予定されていた演奏内容を変更したりアンコールに
応えたりすることはあるにせよ、映画や、演技或いは演
奏内容を容易には変更できないような演目の場合など
は、観客の反応をくみ取って対応することは困難であっ
た。また観客の反応に応じて演出効果を変えるというよ
うなことも実際上は困難であった。

【０００４】さらには、多数の観客の中には、声やアク
ションの大きい人や小さい人、視聴している内容をおも
しろいと思っている人やつまらないと思っている人、な
どが混在しており、観客の全体としての反応を的確に把
握するといったこと自体が、困難なものでもあった。

【０００５】

【発明が解決しようとする課題】本発明はこのような事
情に鑑みて、例えば会場における観客の状況を的確に判
別し、またさらにその判別した観客の状況に応じて、よ
り観客の楽しみを増大させるような制御を実現できるよ
うにすることを目的とする。

【０００６】このため本発明の観客状況判定装置は、観
客の全体としての動作状態を検出する全体動作状態検出
手段と、個々の観客の動作状態を検出する個別動作状態
検出手段と、上記全体動作状態検出手段による検出情報
と上記個別動作状態検出手段による検出情報とを用いて
観客状況を判定する判定手段とを備える。これにより会
場にいる観客の、映画、演奏等の視聴対象に対する総体
的な反応を判定し、その判定結果を何らかの形で利用で
きるようにする。

【０００７】また本発明の再生出力制御システムは、観
客の全体としての動作状態を検出する全体動作状態検出
手段と、個々の観客の動作状態を検出する個別動作状態
検出手段と、上記全体動作状態検出手段による検出情報
と上記個別動作状態検出手段による検出情報とを用いて
観客状況を判定する判定手段と、観客に視聴させるデー
タを再生出力する再生手段と、上記判定手段の判定結果
に基づいて、上記再生手段の動作を制御する制御手段と
を備える。つまり会場にいる観客の、映画等の視聴対象
に対する総体的な反応を判定し、その判定結果を映画等
の再生動作制御に利用する。例えば上記制御手段は、上
記判定手段の判定結果に基づいて、上記再生手段で再生
するデータを選択する制御を行う。即ち再生内容自体を
制御する。また、上記制御手段は、上記判定手段の判定
結果に基づいて、上記再生手段で再生されたデータに対
する信号処理の制御を行う。即ち再生内容についての例
えば映像効果、音響効果等の制御を行う。

【０００８】上記観客状況判定装置、或いは上記再生出
力制御システムにおいては、上記全体動作状態検出手段
は、観客の全体を撮像し、撮像された画像から観客全体
としての身体動作状態を検出する。また上記全体動作状
態検出手段は、観客の全体が発する音を集音し、集音さ
れた音から観客全体としての動作状態を検出する。上記
個別動作状態検出手段は、個々の観客の座席への荷重を
検出する。また上記個別動作状態検出手段は、個々の観
客の踏力の状態を検出する。

【０００９】本発明の観客状況判定方法は、観客の全体
としての動作状態を検出する全体動作状態検出ステップ
と、個々の観客の動作状態を検出する個別動作状態検出
ステップと、上記全体動作状態検出ステップでの検出情
報と上記個別動作状態検出ステップでの検出情報とを用
いて観客状況を判定する判定ステップとが行われるよう
にする。また本発明の記録媒体は、このような方法に相
当する処理を実行させる処理プログラムが記録されるも
のとする。

【００１０】本発明の再生出力制御方法は、観客の全体
としての動作状態を検出する全体動作状態検出ステップ
と、個々の観客の動作状態を検出する個別動作状態検出
ステップと、上記全体動作状態検出ステップでの検出情
報と上記個別動作状態検出ステップでの検出情報とを用
いて観客状況を判定する判定ステップと、上記判定ステ
ップでの判定結果に基づいて、観客に視聴させるデータ
の再生動作を制御する制御ステップとが行われるように
する。また本発明の記録媒体は、このような方法に相当
する処理を実行させる処理プログラムが記録されるもの
とする。

【００１１】

【発明の実施の形態】以下、映画フィルムをビデオデー
タに変換して保持し、そのビデオデータを再生してビデ
オ投影機で上映する映画館において本発明を適用した例
としての実施の形態を説明する。説明は次の順で行う。１．システム構成２．検出信号処理部の判別信号生成動作３．判定処理部の判定／制御処理４．各種変形例５．実施の形態の実現のための構成例

【００１２】１．システム構成図１に本例のシステム構成を模式的に示す。本例は映画
としてのビデオデータをビデオ投影機（プロジェクタ）
で上映する映画館であるとすることから、図示するよう
に映画としての映像が投影されるスクリーン１、及びス
クリーン１に対して映像を投影するプロジェクタ２が設
けられる。プロジェクタ２に供給されるビデオデータ
は、サーバ９に格納されている。サーバ９は検出／コン
トロール部１０の制御に基づいて所要のビデオデータを
再生し、プロジェクタ２に供給する。また映画等におけ
る音声を出力するスピーカ３も例えばスクリーン１の左
右に配置される。サーバ９においてビデオデータととも
に再生されたオーディオデータは、図示しないパワーア
ンプ部を介してスピーカ３に供給され、音声出力され
る。

【００１３】スクリーン１に対しては観客Ｐが座る座席
ＳＴが多数用意され、観客Ｐは通常、座席ＳＴに座って
スクリーン１に映し出される映画等を鑑賞する。ビデオ
カメラ４は、例えばスクリーン４側から観客全体の画像
を撮像するように配置されている。つまりこのビデオカ
メラ４は、上映中などにおいて観客Ｐの様子を撮像した
画像データを得るものとなる。また、会場内の音声を集
音するために、観客Ｐの全体に対するマイクロホン５が
配置されている。

【００１４】また各座席ＳＴには、それぞれ荷重センサ
６が配備されており、観客Ｐが座席ＳＴに座っている状
態、座っていない状態を、荷重の有無により検出できる
ようにされている。さらに各座席ＳＴの前方下部には踏
力センサ７が配備されている。この踏力センサは、観客
Ｐが座席ＳＴに座った状態、及び座席ＳＴから立ち上が
った状態において、観客Ｐの足が乗せられていることと
なる位置に設けられている。これにより観客Ｐの足によ
る荷重状態を検出できるようにされる。

【００１５】図２は、図１の各部をブロック図により示
したものである。検出／コントロール部１０は、検出信
号処理部１１、判定処理部１２，出力信号処理部１３が
設けられる。

【００１６】検出信号処理部１１は、観客Ｐや会場内の
様子を検出する各種センサからの信号が入力され、それ
らの信号について検出処理を行う。即ち、観客全体の様
子についての画像センサとして機能するビデオカメラ４
からの画像信号ＳＶと、会場内の音声を検出する音声セ
ンサとしてのマイクロホン５からの音声信号ＳＡと、各
座席ＳＴのそれぞれに配置された荷重センサ６からの荷
重検出信号ＳＷと、各座席ＳＴの足下に配置された踏力
センサ７からの踏力検出信号ＳＦとが、検出信号処理部
１１に供給される。

【００１７】なお後述するが、荷重センサ６は各座席に
配置されており、つまり座席数ｎ個の荷重センサ６が存
在するため、実際に検出信号処理部１１に供給される荷
重検出信号ＳＷは、各荷重センサ６からの荷重検出信号
ＳＷ１〜ＳＷ（ｎ）となる。

【００１８】また同じく踏力センサ７も、座席数と同数
存在するため、検出信号処理部１１に供給される踏力検
出信号ＳＦは、各踏力センサ７からの踏力検出信号ＳＦ
１〜ＳＦ（ｎ）となる。さらに１つの踏力センサ７は、
図１３で後述するが、観客の左足に略対応して踏力を検
出する左検出部７Ｌと、観客の右足に略対応して踏力を
検出する右検出部７Ｒとに分割されて形成されており、
それぞれ独立して踏力検出信号を出力できるようにされ
ている。従って、各踏力検出信号ＳＦ１〜ＳＦ（ｎ）
は、それぞれ左検出部７Ｌからの踏力検出信号ＳＦＬ
と、右検出部７Ｒからの踏力検出信号ＳＦＲとを含むも
のとなる。

【００１９】詳しくは後述するが、検出信号処理部１１
は、これらの画像信号ＳＶ、音声信号ＳＡ、荷重検出信
号ＳＷ、踏力検出信号ＳＦのそれぞれについて所要の信
号処理を行い、観客の全体の状況及び個別の状況を判別
信号を生成する。即ち画像信号ＳＶに基づいて画像判別
信号ＳＳＶを生成し、音声信号ＳＡに基づいて音声判別
信号ＳＳＡを生成し、荷重検出信号ＳＷに基づいて荷重
判別信号ＳＳＷを生成し、踏力検出信号ＳＦに基づいて
踏力判別信号ＳＳＦを生成する。そしてこれらの判別信
号を判定処理部１２に供給する。

【００２０】判定処理部１２は、供給された画像判別信
号ＳＳＶ、音声判別信号ＳＳＡ、荷重判別信号ＳＳＷ、
踏力検出信号ＳＦを用いて、観客の動作状況を判定す
る。例えば観客が注視・傾聴している状態にあるか、拍
手している状態にあるかなど、観客全体の状況を具体的
に判別する。そして判定処理部１２は、観客状況の判定
結果に基づいて、サーバ９に対する制御信号Ｃｄｂや、
出力信号処理部１３に対する制御信号Ｃｓｐを出力す
る。

【００２１】サーバ９は、映画やフィルムコンサートな
どのコンテンツとしてのビデオデータ、オーディオデー
タを格納した１又は複数のデータベース２１（２１−１
〜２１−ｍ）が設けられるとともに、これらデータベー
ス２１（２１−１〜２１−ｍ）に対するデータの再生動
作、書込動作を制御する制御部２３と、記録データや再
生データの入出力を行うインターフェース部２２を有す
る。

【００２２】制御部２２は、図示しない操作部（例えば
劇場のオペレータにより操作指示が行われる操作装置）
からの操作に応じてデータベース２１からの所要のデー
タ再生や、新たなデータの書込を実行するように制御を
行うほか、上記の判定処理部１２から供給された制御信
号Ｃｄｂに基づいて、データベース２１からの再生動作
等の制御も行う。また、映画コンテンツ等のデータ再生
中は、現在の再生内容を示す情報を補足情報ＩＰとして
判定処理部１２に供給する。補足情報ＩＰは、後述する
ように判定処理部１２での観客状況の判定処理に利用さ
れる。補足情報ＩＰの具体的内容としては各種考えられ
るが、現在の上映状況を表すものとして、上映中か非上
映中の区別、本編上映中か否かの区別、現在上映されて
いる場面の種別、楽曲の再生中か否かの区別などを識別
可能な情報とする。

【００２３】制御部２３の制御に基づいてデータベース
２１から読み出され、インターフェース部２２から出力
されたビデオデータＶｏｕｔ、オーディオデータＡｏｕ
ｔは、出力信号処理部１３において必要な映像信号処
理、音声信号処理が行われた後、プロジェクタ２及びス
ピーカ３に供給され、上映出力されることになる。出力
信号処理部１３は、図３に示すようにビデオデータＶｏ
ｕｔに対する映像信号処理部６１、及びオーディオデー
タＡｏｕｔに対する音声信号処理部６２が設けられ、映
像信号処理部６１，音声信号処理部６２は図示しない操
作部からのオペレータの操作指示や、或いは判定処理部
１２からの制御信号Ｃｓｐに応じて、指示された信号処
理を行う。

【００２４】例えば映像信号処理部６１では、ビデオデ
ータＶｏｕｔに対して、画像サイズ変更、画像提示位
置、キャラクタ画像やテキスト画像の重畳、ズーム／モ
ザイク／画像エフェクトなどの特殊画像処理等が可能で
ある。また音声信号処理部６２では、オーディオデータ
Ａｏｕｔに対して、音量レベル処理、エコー／リバーブ
などの音声エフェクト処置、出力音像定位の変更／パン
ニング処理、或いはアナウンス、効果音等の他の音声の
重畳処理などが可能とされる。

【００２５】２．検出信号処理部の判別信号生成動作検出／コントロール部１０における、検出信号処理部１
１，判定処理部１２の構成を図４に示す。なお、図４に
示す各ブロックはハードウエアで構成されてもよいし、
ソフトウエアにより実現されるものでもよい。まず検出
信号処理部１１の構成及び各判別信号ＳＳＶ、ＳＳＡ、
ＳＳＷ、ＳＳＦの生成動作について説明する。

【００２６】検出信号処理部１１には、画像信号ＳＶに
対する処理ブロックとして、観客画像抽出部３１，動き
ベクトル判別部３２が設けられる。観客画像抽出部３１
は、画像信号ＳＶから検出上の外乱成分を取り除き、実
際の観客の動きなどの変化情報としての画像信号ＳＶ１
を出力する。ビデオカメラ４で撮像された客席全体の画
像には、スクリーン１に投射されている映像（光）の照
り返しの影響が表れる。そしてその照り返しによる画像
信号ＳＶ上の変化は、観客の反応に相当する変化ではな
い。そこで観客画像抽出部３１には、サーバ９で再生さ
れているビデオデータＶｏｕｔが供給されており、例え
ばそのビデオデータＶｏｕｔの輝度レベルを判定して、
その輝度レベル相当成分を画像信号ＳＶからキャンセル
して画像信号ＳＶ１とする。照り返し成分がキャンセル
された画像信号ＳＶ１は、動きベクトル判別部３２で、
画像上の動き（変化）のベクトル（動きの量及び方向）
を判別する。そして動きベクトルの状態から、観客の状
態を推定する画像判別信号ＳＳＶを生成し、判定処理部
１２に出力する。

【００２７】図５（ａ）、図６（ａ）、図７（ａ）にそ
れぞれ、観客側をビデオカメラ４で撮像した画像の例を
示す。図５（ａ）は、観客が拍手や歓声をあげている状
態が撮像されたものであるが、このような画像が得られ
る期間に、例えば画像信号ＳＶ１を１フレーム毎に比較
していき、動きベクトルを検出すると、例えば図５
（ｂ）のようにランダムな動きが検出される。このよう
に拍手をしている場合の動きベクトルの特徴としては、
動き量は大きくなく、局所的に停滞している。そして総
じてランダムな方向及び量であり、客席全体の総和とし
てのマクロ動き量は０に近いものとなる。

【００２８】図６（ａ）は、観客が楽曲に合わせて手を
振る、手拍子をする、或いは観客が見ている映像や聞い
ている音声に従って手を挙げるなどの状態を示してお
り、この場合の動きベクトルは、図６（ｂ）のように総
じて秩序だったものとなっている。そしてこの場合は、
局所動きに類似性があり、客席全体の総和としてのマク
ロ動きにも一定の特徴が観測される。

【００２９】図７（ａ）は、観客が上映されているコン
テンツの映像や音声に対して注視・傾聴している場合で
ある。この場合動きベクトルは図７（ｂ）のようにな
り、即ち、提示されているコンテンツに誘発される動き
はなく、ミクロにもマクロにも動きは観測されない。

【００３０】画像信号ＳＶ１について動きベクトルを観
測すると、大別して上記の３つの状態が判別可能であ
る。そこで動きベクトル判別部３２では、観測された動
きベクトルが、これらの３つのどれに相当するかを判断
し、その判断結果としての画像判別信号ＳＳＶを出力す
る。従って画像判別信号ＳＳＶは、図８に示したＶａ、
Ｖｂ、Ｖｃの３つの状態を識別する情報として判定処理
部１２に供給されることになる。即ち、動きベクトルの
観測結果として、静止状態（Ｖａ）、秩序ある動作状態
（Ｖｂ）、ランダムな動作状態（Ｖｃ）のいずれかを示
す画像判別信号ＳＳＶが供給される。

【００３１】画像判別信号ＳＳＶ＝静止状態（Ｖａ）の
場合は、図７のような、観客が注視・傾聴している状態
を推定させるものとなる。画像判別信号ＳＳＶ＝秩序あ
る動作状態（Ｖｂ）の場合は、図６のような、観客が曲
に合わせた手拍子やアクションなど、秩序だった動きを
行っている状態を推定させるものとなる。画像判別信号
ＳＳＶ＝ランダムな動作状態（Ｖｃ）の場合は、図５の
ような、観客が拍手等を行っている状態を推定させるも
のとなる。

【００３２】図４に示すように検出信号処理部１１に
は、音声信号ＳＡに対する処理ブロックとして、観客音
声抽出部３３，音声特徴検出部３４が設けられる。観客
音声抽出部３３は、音声信号ＳＡから検出上の外乱成分
を取り除き、実際に観客が発生させている音声成分を抽
出し、音声信号ＳＡ１として出力する。マイクロホン５
で集音された音声には、スピーカ３から出力される音声
成分、つまり上映されているコンテンツのオーディオデ
ータ成分が含まれる。当然そのオーディオデータ成分は
観客の発した音声ではないため検出動作上のノイズとな
る。そこで観客音声抽出部３３には、サーバ９で再生さ
れているオーディオデータＡｏｕｔが供給されており、
音声信号ＳＡからオーディオデータＡｏｕｔを減算する
ことにより、オーディオデータ成分がキャンセルされた
音声信号ＳＡ１を得るようにしている。また、マイクロ
ホン５で客席から集音された音声信号ＳＡは、その会場
の大きさや造りなどにより音響特性上の影響を受けてい
る。また会場の空調設備などによる固定的なノイズ成分
もある。ただしこれらの会場の造作によって影響を受け
る音響特性は予め既知のものである。そこで観客音声抽
出部３３には、当該システムが設置される会場に応じた
音声信号ＳＡへの影響成分に相当する情報Ａｆが固定値
として供給されるようにし、音声信号ＳＡに対して会場
による影響をキャンセル（音響特性の補正や空調ノイズ
成分のキャンセルなど）する処理も行うようにしてい
る。

【００３３】即ち観客音声抽出部３３では、集音された
音声信号ＳＡから、スピーカ３からの出力音声や、会場
の造作による音響特性やノイズなどの影響を排除して、
実際に観客Ｐが発生させた声や拍手などの音としての音
声信号ＳＡ１を出力するものとなる。なお、上記画像信
号ＳＶについては述べなかったが、映像信号ＳＶについ
ても会場の造りによる影響が発生する場合がある。例え
ばドアの開閉や何らかの移動物が画像信号ＳＶとして撮
像される場合がある。このような会場の造作による影響
が考えられる場合は、音声信号ＳＡの場合と同様に、そ
の固定的な影響をキャンセルして画像信号ＳＶ１が得ら
れるようにすればよい。

【００３４】音声信号ＳＡ１は音声特徴検出部３４で特
徴が判別され、音声判別信号ＳＳＡが生成される。音声
特徴検出部３４は図９のように構成される。即ち音声信
号ＳＡ１と基準レベルＡｔｈを比較して、基準レベル以
下の音量状態（静寂状態）を検出する検出部５２、音声
信号ＳＡ１を断続するスイッチ５１、それぞれ異なる通
過帯域が設定された所要数のバンドパスフィルタ５３
ａ、５３ｂ・・・、各バンドパスフィルタ５３ａ、５３
ｂ・・・からの出力が供給される規則性評価部５４ａ、
５４ｂ・・・、及び特徴判別部５５が設けられる。

【００３５】検出部５２は、音声信号ＳＡ１と基準レベ
ルＡｔｈを比較して、音声信号ＳＡ１の音量レベルが基
準レベルＡｔｈを越えているか否かを示す比較結果信号
を出力する。これは観客Ｐが発した音の総合レベルとし
て、観客が静寂状態にあるか否かを判別する信号とな
る。従って、基準レベルＡｔｈは、観客が静寂状態にあ
ると考えられる音量の上限値として設定されたものであ
る。なお、この基準レベルＡｔｈは、図４に示すように
判定処理部１２における、後述する観客動作判定部４１
から供給されるが、これは観客動作判定部４１が現在の
観客数に応じて基準レベルＡｔｈを可変設定することを
意味している。即ち観客数の多少に応じて、観客全体が
静寂状態にあると判断できるスレッショルド値は変化さ
れるべきものであるためである。観客数の判別は、後述
するように荷重センサ６及び踏力センサ７からの検出信
号により可能となる。

【００３６】検出部５２は、比較結果として、現在、観
客全体が静寂状態にあるか否かを判断する比較結果信号
を出力することになるが、その比較結果信号はスイッチ
５１及び特徴判別部５５に供給される。比較結果信号が
静寂状態を示す値である場合は、スイッチ５１はオフと
され、信号ＳＡ１はバンドパスフィルタ５３ａ、５３ｂ
・・・には供給されない。また、その場合は、特徴判別
部５５は、比較結果信号の値に基づいて観客全体が静寂
状態にあることを判別することになる。

【００３７】観客全体が静寂状態にない場合は、スイッ
チ５１はオンとされ、音声信号ＳＡ１がバンドパスフィ
ルタ５３ａ、５３ｂ・・・に供給される。バンドパスフ
ィルタ５３ａ、５３ｂ・・・は、それぞれ目的とする音
声の帯域に合わせた通過帯域を有する。例えばバンドパ
スフィルタ５３ａの通過帯域ｆ１は、人の声に対応した
帯域とされる。またバンドパスフィルタ５３ｂの通過帯
域ｆ２は、人が手をたたく音に対応した帯域とされる。
本例では説明の簡略化のために、バンドパスフィルタ５
３ａ、５３ｂの２つで、それぞれ観客の声の成分と、観
客が手をたたいた音の成分を抽出することを例に挙げて
説明するが、音声の特徴判別の目的に合わせてバンドパ
スフィルタの数や通過帯域が設定されればよい。例えば
女性客の反応と男性客の反応とをそれぞれ検出したい場
合は、女性の声の帯域の信号成分を抽出するバンドパス
フィルタと、男性の声の帯域の信号成分を抽出するバン
ドパスフィルタが用意されればよい。

【００３８】バンドパスフィルタ５３ａでは、音声信号
ＳＡ１から人の声の帯域の成分を抽出し、規則性評価部
５４ａに供給する。またバンドパスフィルタ５３ｂで
は、音声信号ＳＡ１から人が手をたたく音の帯域の成分
を抽出し、規則性評価部５４ｂに供給する。各規則性評
価部５４ａ、５４ｂでは、入力された音声信号につい
て、所定の評価期間内で時間軸上の規則性を評価する処
理を行う。例えば評価期間内の局所ダイナミックレンジ
とマクロダイナミックレンジの比率評価などを行う。具
体的には、曲に合わせた手拍子や唱和の音声は、或る程
度の規則性が観測される。一方、拍手や歓声は規則性は
なく無秩序なものである。例えば評価期間内で図１０
（ａ）のような音圧レベルの変動は規則性が観測され、
一方図１０（ｂ）のような音圧レベルの変動はランダム
性が高いものとなる。

【００３９】各規則性評価部５４ａ、５４ｂで観測され
た規則性の評価結果は、特徴判別部５５に供給され、特
徴判別部５５は、各バンドパスフィルタ５３ａ、５３ｂ
で抽出された音声成分の規則性評価結果に基づいて、観
客状況を推定する音声判別信号ＳＳＡを生成する。つま
りこの例の場合は、特徴判別部５５は、観客の声が規則
的かランダムか、観客が手をたたく音が規則的かランダ
ムか、或いは上記検出部５２の検出結果として静寂状態
か、という要素に基づいて、音声判別信号ＳＳＡを生成
し、判定処理部１２に出力することになる。

【００４０】音声判別信号ＳＳＡは、例えば図１１に示
したＡａ、Ａｂ、Ａｃ、Ａｄ、Ａｅの５つの状態を識別
する情報として判定処理部１２に供給される。即ち、特
徴判別部５５での上記各要素に基づく判定結果として、
静寂状態（Ａａ）、秩序ある発声状態（Ａｂ）、ランダ
ムな発声状態（Ａｃ）、秩序ある手叩音が発せられてい
る状態（Ａｄ）、ランダムな手叩音が発せられている状
態（Ａｅ）、のいずれかを示す画像判別信号ＳＳＡが生
成される。

【００４１】音声判別信号ＳＳＡ＝静寂状態（Ａａ）の
場合は、観客が注視・傾聴している状態を推定させるも
のとなる。音声判別信号ＳＳＡ＝秩序ある発声状態（Ａｂ）の場合
は、観客が曲に唱和していたり、演目上の呼びかけに対
する返答、そろった応援などの状態を推定させるものと
なる。音声判別信号ＳＳＡ＝ランダムな発声状態（Ａｃ）の場
合は、観客が歓声をあげている状態などを推定させるも
のとなる。音声判別信号ＳＳＡ＝秩序ある手叩音が発せられている
状態（Ａｄ）の場合は、観客が曲に合わせて手拍子をお
こなっていたり、アンコール要求などでそろって手拍子
を打っている場合などを推定させるものとなる。音声判別信号ＳＳＡ＝ランダムな手叩音が発せられてい
る状態（Ａｅ）の場合は、観客が拍手をおこなっている
場合などを推定させるものとなる。

【００４２】図４に示すように検出信号処理部１１に
は、荷重検出信号ＳＷに対する処理ブロックとして、荷
重状況検出部３５が設けられる。上述したように、荷重
センサ６は各座席ＳＴ毎に設けられており、従って座席
数ｎに対応する荷重検出信号ＳＷ１〜ＳＷ（ｎ）が発生
されるが、各荷重検出信号ＳＷ１〜ＳＷ（ｎ）にそれぞ
れ対応して荷重状況検出部３５−１〜３５−ｎが設けら
れる。各荷重状況検出部３５−１〜３５−ｎは、それぞ
れ荷重検出信号ＳＷ１〜ＳＷ（ｎ）を所定の基準値Ｗｔ
ｈ１と比較し、その比較結果として荷重の有無を示す荷
重判別信号ＳＳＷ１〜ＳＳＷ（ｎ）を出力する。

【００４３】例えば図１２（ａ）に示すように観客Ｐが
座席ＳＴに着席している場合は、観客Ｐの体重による荷
重が、荷重センサ６と踏力センサ７に分散してかかり、
従って荷重センサ６では、観客Ｐによる荷重に応じたレ
ベルの荷重検出信号ＳＷを出力する。一方、図１２
（ｂ）のように観客Ｐが起立している状態では、観客Ｐ
の体重による荷重は、踏力センサ７のみにかかり、従っ
て荷重センサ６では、観客Ｐによる荷重がないこと示す
ゼロレベルの荷重検出信号ＳＷを出力する。従って、基
準値Ｗｔｈ１は、体重の軽い子供が座った状態なども考
慮し、一方観客の荷物がおかれた場合などは除外できる
ように、数Ｋｇ〜１０数Ｋｇ程度の荷重に相当する値と
して、座席ＳＰへの荷重の有無が検出できるようにすれ
ばよい。

【００４４】そしてその基準値Ｗｔｈ１と荷重検出信号
ＳＷの比較結果としての荷重判別信号ＳＳＷは、例えば
図１４に示したＷａ、Ｗｂの２つの状態を識別する情報
として判定処理部１２に供給される。即ち、観客による
荷重有り（Ｗａ）、観客による荷重なし（Ｗｂ）のいず
れかを示す荷重判別信号ＳＳＷが生成される。荷重判別信号ＳＳＷ＝荷重有り（Ｗａ）の場合は、観客
が着席している状態を推定させるものとなる。荷重判別信号ＳＳＷ＝荷重なし（Ｗｂ）の場合は、観客
が立ち上がっているか、或いはその座席に観客がいない
状態を推定させるものとなる。

【００４５】また図４に示すように検出信号処理部１１
には、踏力検出信号ＳＦに対する処理ブロックとして、
踏力状況検出部３６が設けられる。上述したように、踏
力センサ７は各座席ＳＴ毎に設けられており、従って座
席数ｎに対応する踏力検出信号ＳＦ１〜ＳＦ（ｎ）が発
生されるが、その各踏力検出信号ＳＦ１〜ＳＦ（ｎ）に
それぞれ対応して踏力状況検出部３６−１〜３６−ｎが
設けられる。各踏力状況検出部３６−１〜３６−ｎは、
それぞれ踏力検出信号ＳＦ１〜ＳＦ（ｎ）を所定の基準
値Ｗｔｈ２と比較し、その比較結果として荷重の大／小
（又は無）を判別する。さらに、各踏力センサ７は図１
３（ａ）に示すように左検出部７Ｌと右検出部７Ｒに分
割されており、それぞれ左足の荷重による踏力検出信号
ＳＦＬと、右足の荷重による踏力検出信号ＳＦＲを出力
する。各踏力状況検出部３６−１〜３６−ｎでは、踏力
検出信号ＳＦＬ、ＳＦＲの荷重値の変化を観測すること
で観客の重心移動を推定し、例えばその重心移動が時間
軸方向に規則性のあるものか否かにより、観客が秩序だ
った動作を行っているか、或いはランダムな動作を行っ
ているかを判別する。そして各踏力状況検出部３６−１
〜３６−ｎは、これら荷重の大／小（無）、及び秩序性
／ランダム性を示す踏力判別信号ＳＳＦ１〜ＳＳＦ
（ｎ）を出力する。

【００４６】上記図１２で説明したように、観客Ｐが座
席ＳＴに着席している場合は、観客Ｐの体重による荷重
は、踏力センサ７には軽くかかるのみである。一方、観
客Ｐが起立している状態では、観客Ｐの体重による荷重
は、全て踏力センサ７にかかる。もちろんその座席ＳＴ
に観客がいないときは踏力センサ７への荷重はゼロとな
る。各踏力状況検出部３６−１〜３６−ｎでは、荷重の
大／小（又は無）を判別するが、これは踏力検出信号Ｓ
ＦＬ＋ＳＦＲの値を、基準値Ｗｔｈ２と比較する処理と
なる。例えば観客が起立して全体重が踏力センサ７にか
かっている場合は、踏力検出信号ＳＦＬ＋ＳＦＲの値
は、その観客の体重に応じた値となる。そこで基準値Ｗ
ｔｈ２は、体重の軽い子供などの場合も考慮し、一方で
観客が座った状態においての荷重も考慮して、例えば１
０数Ｋｇ程度の荷重に相当する値とする。これにより荷
重が大きく、観客が起立している状態であるか、或いは
荷重が小さいか又はゼロで、観客が着席もしくは無人の
状態であるか、を推定できるようにする。

【００４７】また各踏力状況検出部３６−１〜３６−ｎ
では、踏力検出信号ＳＦＬ、ＳＦＲの値を個別に時間軸
方向に観測していき、かつ比較することで、観客の動作
状況が秩序だったものかランダムなものかを判定する。
例えば踏力検出信号ＳＦＬ、ＳＦＲが、それぞれ図１３
（ｂ）に示すように変化したとすると、この期間におい
て観客の重心が左足から右足に移動したことがわかる。
従って、このような重心移動が引き続き、右足→左足→
右足・・・と観測されると、例えば観客が曲に合わせて
体を動かしているなどの、規則的な動きがあると判定で
きる。一方、このような重心移動が時間軸方向に単発
的、不規則的に観測される場合は、観客がランダムな動
きを行っていると判定できる。さらに重心移動が所定期
間観測されなければ、観客が起立した状態で動いていな
いと判定できる。

【００４８】各踏力状況検出部３６−１〜３６−ｎは、
踏力検出信号ＳＦ１〜ＳＦ（ｎ）について、これらの判
別処理を行い、その結果値としての踏力判別信号ＳＳＦ
１〜ＳＳＦ（ｎ）を出力する。踏力判別信号ＳＳＦ１〜
ＳＳＦ（ｎ）はそれぞれ、例えば図１５に示したＦａ、
Ｆｂ、Ｆｃ、Ｆｄの４つの状態を識別する情報として判
定処理部１２に供給される。即ち、観客による荷重が小
又は無（Ｆａ）、観客による荷重大で動き無し（Ｆ
ｂ）、観客による荷重大で秩序ある動き（Ｆｃ）、観客
による荷重大でランダムな動き（Ｆｄ）のいずれかを示
す踏力判別信号ＳＳＦが生成される。踏力判別信号ＳＳＦ＝荷重小又は無（Ｆａ）の場合は、
観客が着席している状態か、或いはその座席には観客が
いない状態を推定させるものとなる。踏力判別信号ＳＳＦ＝観客による荷重大で動き無し（Ｆ
ｂ）の場合は、観客が起立した状態で動いていない状態
を推定させるものとなる。踏力判別信号ＳＳＦ＝観客による荷重大で秩序ある動き
（Ｆｃ）の場合は、観客が起立した状態で、例えば曲に
合わせて体を動かしているなどの状態を推定させるもの
となる。踏力判別信号ＳＳＦ＝観客による荷重大でランダムな動
き（Ｆｄ）の場合は、観客が起立した状態で無秩序に体
を動かしている状態を推定させるものとなる。

【００４９】以上のように検出信号処理部１１では、各
センサ（ビデオカメラ４，マイクロホン５、荷重センサ
６，踏力センサ７）からの情報に基づいて、各判別信号
（ＳＳＶ、ＳＳＡ、ＳＳＷ、ＳＳＦ）を生成し、判定処
理部１２に供給することとなる。なお、各判別信号（Ｓ
ＳＶ、ＳＳＡ、ＳＳＷ、ＳＳＦ）がそれぞれ所定の値と
して提示する内容は、図８，図１１，図１４，図１５に
示したものとしたが、検出処理方式により、さらに多様
な内容を判別することも当然可能である。例えば動きベ
クトルを観測した結果の画像判別信号ＳＳＡとしては、
秩序動作の場合でも、動きの変化パターンから手拍子と
アクションを区別したり、例えば観客によるウェーブの
ような動作を判別することも可能である。また荷重判別
信号ＳＳＷや踏力判別信号ＳＳＦでは、荷重をより細か
く識別して、観客が大人と思われるか、子供と思われる
かなどを示す信号とすることも可能である。

【００５０】３．判定処理部の判定／制御処理図４に示すように判定処理部１２は、観客動作判定部４
１と制御決定部４２を備える。観客動作判定部４１は、
上述した各判別信号（ＳＳＶ、ＳＳＡ、ＳＳＷ、ＳＳ
Ｆ）の値、及びサーバ９から供給される現在の再生内容
を示す補足情報ＩＰを参照して、現在の観客の動作状況
を推定する処理を行う。制御決定部４２は、観客動作判
定部４１の推定結果に応じて、再生されるコンテンツデ
ータの選定や、再生されるビデオデータＶｏｕｔ、オー
ディオデータＡｏｕｔ所定の処理を指示する制御信号Ｃ
ｄｂ、Ｃｓｐを出力する。

【００５１】図１６に判定処理部１２による判定／制御
処理を示す。なお、このフローチャートにおいてステッ
プＦ１０９は制御決定部４２の処理となり、他のステッ
プは観客動作判定部４１の処理となる。

【００５２】判定／制御処理としては、観客動作判定部
４１はステップＦ１０１として荷重判別信号ＳＳＷ１〜
ＳＳＷ（ｎ）をチェックする。即ち、会場内の各座席Ｓ
Ｔにつき、荷重の有無の情報（図１４のＷａ、Ｗｂのい
づれかの情報）を取り込む。またステップＦ１０２で、
踏力判別信号ＳＳＦ１〜ＳＳＦ（ｎ）をチェックする。
これは各会場内の各座席ＳＴについての踏力センサ７に
対する荷重の大／小（又は無）、及び観客の動作につい
ての動作無し／秩序動作／ランダム動作の情報（図１５
のＦａ〜Ｆｄのいづれかの情報）を取り込むものとな
る。

【００５３】ステップＦ１０３では、荷重判別信号ＳＳ
Ｗ１〜ＳＳＷ（ｎ）、及び踏力判別信号ＳＳＦ１〜ＳＳ
Ｆ（ｎ）の値から、会場に観客が存在するか否かを判別
する。もし、荷重判別信号ＳＳＡ１＝Ｗｂ（荷重無し）
であり、かつ踏力判別信号ＳＳＦ１＝Ｆａ（荷重無又は
小）であるとしたら、その座席ＳＴには観客がいないと
推定できる。従って、全ての座席について、同様にして
観客がいないと判定されるのであれば、現在会場に観客
はいないと判断できる。その場合は、ステップＦ１０３
からＦ１１０に進み、処理を終了するのでなければステ
ップＦ１０１にに戻ることになる。

【００５４】観客が存在する場合はステップＦ１０４に
進み、観客数を判別する。これは上記ステップＦ１０３
で観客がいないと判断された座席数を全座席数から減算
すればよい。或いは、荷重判別信号ＳＳＡが「Ｗｂ（荷
重無し）」でないか、或いは踏力判別信号ＳＳＦが「Ｆ
ａ（荷重無又は小）」でないというＯＲ条件が満たされ
る座席数をカウントすればよい。そして観客数を判別し
たら、それに応じて音声特徴検出部３４に供給する基準
値Ａｔｈを設定する。この基準値Ａｔｈは、上記図４，
図９で説明したように、音声信号ＳＡ１が静寂状態のレ
ベルであるか否かを判別する基準値であり、静寂状態と
判断する基準は観客数によって変更することが正確な推
定処理のために好適であるためである。

【００５５】続いて観客動作判定部４１は、ステップＦ
１０５で音声判別信号ＳＳＡのチェックを行い、図１１
のＡａ〜Ａｅのいづれの状態であるかを確認する。また
観客動作判定部４１は、ステップＦ１０６で画像判別信
号ＳＳＶのチェックを行い、図８のＶａ〜Ｖｃのいづれ
の状態であるかを確認する。さらに観客動作判定部４１
は、ステップＦ１０７でサーバ９から供給されている補
足情報ＩＰを確認する。

【００５６】観客動作判定部４１はここまでの処理で、
各判別信号（ＳＳＶ、ＳＳＡ、ＳＳＷ、ＳＳＦ）の値、
及び補足情報ＩＰを確認したら、それらの値に基づい
て、実際の観客の状況を推定する。推定例については後
述する。そして観客動作判定部４１は観客の状況を推定
したら、その推定結果を示す信号を制御決定部４２に送
り、制御決定部４２はステップＦ１０９として、推定結
果に基づいて必要な動作を実行させるための制御信号Ｃ
ｄｂ、Ｃｓｐを出力する処理を行う。制御内容の例は後
述する。

【００５７】ステップＦ１１０では、当該判定／制御処
理を終了させるか否かを判断し、終了されない場合はス
テップＦ１０１に戻る。またオペレータが図示しない操
作部から終了操作を行うなどして、終了と判断される場
合は、ステップＦ１１０から一連の処理を終了させる。

【００５８】上記ステップＦ１０８で観客動作判定部４
１が推定する観客状況とは、各種の状況が考えられる
が、説明上の例として、図１７のＪ１〜Ｊ５の各状況を
推定するものとする。状況Ｊ１は、大部分の観客が上映
されているコンテンツに対して注視・傾聴している状態
である。状況Ｊ２は、大部分の観客が再生されている楽
曲に合わせて手拍子や唱和をしている状態である。状況
Ｊ３は、大部分の観客が例えばアンコール要求などのた
めに、そろって手拍子や声を出している状態である。状
況Ｊ４は、大部分の観客が、拍手や歓声などをあげてい
る状態である。状況Ｊ５は、大部分の観客が、座席から
立ち上がっている状態である。

【００５９】ステップＦ１０８でのこれらの５つの状況
の判別は、各判別信号（ＳＳＶ、ＳＳＡ、ＳＳＷ、ＳＳ
Ｆ）及び補足情報ＩＰの値に基づいて、例えば図１８の
マトリクス関係から推定する。

【００６０】まず実際に観客が注視・傾聴状態である場
合は、各判別信号は次の値となっている可能性が高い。画像判別信号ＳＳＶ＝Ｖａ（静止）。音声判別信号ＳＳＡ＝Ａａ（静寂）。荷重判別信号ＳＳＷ＝Ｗａ（荷重有り）。踏力判別信号ＳＳＦ＝Ｆａ（荷重小）。従って換言すれば、これらの全部が満たされていればほ
ぼ確実に観客が注視・傾聴状態Ｊ１にあると推定でき
る。また全部が満たされていなくても、例えば画像、音
声、荷重の３つ、或いは画像、音声の２つについて、こ
れらの値が検出された場合も、注視・傾聴状態Ｊ１にあ
ると推定できる。さらには、画像、音声のいづれか一方
でも、これらの値が検出された場合に、注視・傾聴状態
Ｊ１にあると推定してよい場合も考えられる。

【００６１】なお、荷重判別信号ＳＳＡは、ＳＳＡ１〜
ＳＳＡ（ｎ）があるが、図１８に示すような荷重判別信
号ＳＳＡとしては、ｎ個の荷重判別信号のうちの代表値
と考えればよい。例えばｎ個の荷重判別信号ＳＳＡ１〜
ＳＳＡ（ｎ）の中で支配的な値が「Ｗａ」であったとし
たら、ここでは荷重判別信号ＳＳＡ＝Ｗａとすればよ
い。踏力検出信号ＳＳＦについても同様である。

【００６２】次に、観客が着席した状態で例えばコンテ
ンツに反応して秩序だった動作を行っている場合は、各
判別信号は次の値となっている可能性が高い。画像判別信号ＳＳＶ＝Ｖｂ（秩序動）。音声判別信号ＳＳＡ＝Ａｂ（秩序ある声）又はＡｄ（秩
序ある手叩音）。荷重判別信号ＳＳＷ＝Ｗａ（荷重有）。踏力判別信号ＳＳＦ＝Ｆａ（荷重小）。従って、これらの全部又は一部が満たされていればほぼ
確実に観客がコンテンツに反応して秩序だった動作を行
っていると推定できる。この場合において、補足情報Ｉ
Ｐより楽曲出力中であることが確認できれば、楽曲に合
わせた手拍子又は唱和を行っていると推定できる。つま
り状態Ｊ２である。

【００６３】一方、補足情報ＩＰから、現在、楽曲出力
中でないと確認された場合は、曲に合わせた動作ではな
いと判断でき、例えば再生中（上映中）であるなら、コ
ンテンツに応じた何らかのアクション、手拍子、発声等
が行われていると推定できる。さらに再生終了後であれ
ば、これは、アンコールやカーテンコールなどのための
観客の動作（手拍子や「アンコール」という揃った声）
と推定できる。つまり状態Ｊ３と推定できる。

【００６４】観客が着席した状態で無秩序な動作を行っ
ている場合は、各判別信号は次の値となっている可能性
が高い。画像判別信号ＳＳＶ＝Ｖｃ（ランダム動）。音声判別信号ＳＳＡ＝Ａｃ（ランダムな声）又はＡｅ
（ランダムな手叩音）。荷重判別信号ＳＳＷ＝Ｗａ（荷重有）。踏力判別信号ＳＳＦ＝Ｆａ（荷重小）。従って、これらの全部又は一部が満たされていればほぼ
確実に観客がランダムな動作を行っていると推定でき
る。例えば拍手喝采がおこっているよう場合である。

【００６５】観客が着席した状態で無秩序な動作を行っ
ている場合は、各判別信号は次の値となっている可能性
が高い。画像判別信号ＳＳＶ＝Ｖｃ（ランダム動）。音声判別信号ＳＳＡ＝Ａｃ（ランダムな声）又はＡｅ
（ランダムな手叩音）。荷重判別信号ＳＳＷ＝Ｗａ（荷重有）。踏力判別信号ＳＳＦ＝Ｆａ（荷重小）。従って、これらの全部又は一部が満たされていればほぼ
確実に観客がランダムな動作を行っていると推定でき
る。例えば拍手喝采がおこっているよう場合である。

【００６６】観客が起立した状態では、各判別信号は次
の値となっている可能性が高い。画像判別信号ＳＳＶ＝Ｖａ〜Ｖｃ（いづれの状態もあり
得る）。音声判別信号ＳＳＡ＝Ａａ〜Ａｅ（いづれの状態もあり
得る）荷重判別信号ＳＳＷ＝Ｗｂ（荷重無）。踏力判別信号ＳＳＦ＝Ｆｂ〜Ｆｄ（荷重大で各状態）。従って、特に荷重判別信号ＳＳＷと踏力判別信号ＳＳＦ
がこれらを満足していれば、観客が起立していると推定
できる。

【００６７】例えば図１７に示した状態Ｊ１〜Ｊ５を推
定するという動作を行うとすれば、以上のように各判別
信号の値を判断していけば、ほぼ正しく状態Ｊ１〜Ｊ５
を判別できる。上記図１６のステップＦ１０８におい
て、このようにして観客の状態を推定したら、ステップ
Ｆ１０９で、推定結果に応じた制御を行うことになる
が、この制御は図１７にも示しているが、例えば次のよ
うになる。

【００６８】状態Ｊ１の場合は、コンテンツとしての映
像及び音声を通常に呈示出力させればよい。つまり特殊
な制御は不要である。状態Ｊ２の場合は、手拍子や唱和
があっても曲が聞き取りやすくなるように例えば制御信
号ＣｓｐによりオーディオデータＡｏｕｔの音量レベル
をアップさせたり、聞き取りやすい音響エフェクト処理
を行う。またビデオデータＶｏｕｔに、歌詞としてのテ
キストデータを重畳させ、観客が唱和しやすくする。コ
ンテンツに応じた歌詞としてのテキストデータは、例え
ば制御信号Ｃｄｂによりサーバ９に要求して、データベ
ース２１から読み出させるようにすればよい。

【００６９】状態Ｊ３の場合、コンテンツ再生中であれ
ば、手拍子や唱和があってもコンテンツ音声が聞き取り
やすくなるように制御信号Ｃｓｐによりオーディオデー
タＡｏｕｔの音量レベルをアップさせたり、聞き取りや
すい音響エフェクト処理を行う。またコンテンツ再生中
ではなく、観客のアンコール要求と判別される場合は、
制御信号Ｃｄｂによりサーバ９に、コンテンツの再度の
再生や、呈示（再生）するコンテンツの追加や変更を指
示する。

【００７０】状態Ｊ４の場合は、拍手や歓声があっても
コンテンツ音声が聞き取りやすくなるように制御信号Ｃ
ｓｐによりオーディオデータＡｏｕｔの音量レベルをア
ップさせたり、聞き取りやすい音響エフェクト処理を行
う。また特に反応のよいシーンと想定できるため、その
シーンをマーキングして後のアンコール部分として記憶
したり、或いはそのシーンを繰り返し再生させるように
制御信号Ｃｄｂによりサーバ９に指示する。さらに好評
場面であることに応じて輝度ダイナミックレンジを変化
させるといったビデオデータ処理も可能である。

【００７１】状態Ｊ５の場合も、特に反応のよいシーン
と想定できるため、そのシーンをマーキングして後のア
ンコール部分として記憶したり、或いはそのシーンを繰
り返し再生させるように制御信号Ｃｄｂによりサーバ９
に指示する。さらに起立状態であるため、観客が見やす
いようにスクリーン１上での画像呈示位置が情報にシフ
トされるようにしたり、スクリーン一杯に拡大させたり
するというビデオデータ処理も行う。もちろん輝度の変
化も可能である。さらには、場合によっては着席を促す
文字をビデオデータＶｏｕｔに重畳して呈示したり、ア
ナウンス音声を出力させるようにしてもよい。

【００７２】例えば以上のように本例では、観客状況に
応じて、再生されるコンテンツ内容や再生される信号
（ビデオデータＶｏｕｔ、オーディオデータＡｏｕｔ）
についての制御を行うことで、観客の状況に応じた再生
を実現でき、観客にとってより満足度の高いエンターテ
イメントを提供できる。特に再生する内容を選択するよ
うに制御することで、観客の求めるアンコール場面の繰
り返し再生や、或いは観客の嗜好に応じた内容の再生な
どが可能となる。また再生データに対する信号処理の制
御を行うことで、例えば映像効果、音響効果、音量等
を、観客の状況に合致した状態を実現できる。

【００７３】４．各種変形例ところで以上の説明は、あくまでも一例として述べたも
のであり、実際にはさらに多様な例が考えられる。特に
推定される観客状態の種類、推定結果に応じた制御方
式、適用できる会場、観客状態の検出方式などは、それ
ぞれ会場やイベント内容などに応じて、また制御可能な
システム設備に応じて、具体的な内容は異なるものとな
る。以下、変形例をそれぞれ挙げていく。

【００７４】まず推定すべき観客状態としては、上記例
では図１７の状態Ｊ１〜Ｊ５を推定するとして説明した
が、各判別信号（ＳＳＶ、ＳＳＡ、ＳＳＷ、ＳＳＦ）及
び補足情報ＩＰの値（又は補足情報の種類）を用いれ
ば、例えば以下のような各状況を推定することも可能で
ある。

【００７５】まず、上記例では起立状態について細かく
分けなかったが、起立状態を次のように分類することも
可能である。・観客が起立して注視・傾聴・観客が起立して手拍子や唱和・観客が起立して拍手・観客が起立して歓声・観客が起立して曲等に合わせた唱和・観客が起立して曲等に合わせたアクションや手拍子これらは、荷重判別信号ＳＳＡ＝Ｗｂの状態で、踏力判
別信号ＳＳＦの値がＦｂ、Ｆｃ、Ｆｄの何れであるかを
判別したり、或いは画像判別信号ＳＳＶ、音声判別信号
ＳＳＡの値を参照することで推定可能であることはいう
までもない。

【００７６】また、同様に各判別信号の値から、・観客が映像に合わせた動作を行っている状態・観客が映像や音楽に合わせて足踏みを行っている状態・観客が拍手・手拍子はせずに、歓声或いは唱和を行っ
ている状態なども推定可能である。

【００７７】さらには、観客数が徐々に減っていってい
ることで、コンテンツが不評であることや、席を立った
り戻ってくる観客が多いことで、中だるみ状態であるこ
となども推定可能である。また、上述したように音声判
別信号ＳＳＡから、女性に好評であるか男性に好評であ
るかを推定したり、或いはブーイング状態を推定するこ
とも可能である。また検出された荷重値をより細かく判
定することで、荷重判別信号ＳＳＷや踏力判別信号ＳＳ
Ｆにより、子供中心の客層か、大人中心の客層かなども
推定できる。

【００７８】推定結果に基づく制御としては、上記例以
外にも、次のような例が考えられる。制御信号Ｃｄｂに
よるコンテンツデータの選択にかかる制御としては、観
客の反応の悪い場面を他の場面に差し替えたり、観客の
反応に応じて次の場面を選択していくことで、観客状況
に応じてストーリーが変化するなどの制御も可能であ
る。このような場合はさらに、予め観客の反応に対する
ストーリー制御方式を公開しておき、観客が明示的な要
求（コンテンツに対する反応）を行うことで観客が主導
して上映内容を変化させるといったような上映方式も実
現できる。また呈示されるコンテンツ内に、観客の選択
を求める内容を含ませておく。例えば選択肢を用意し
て、観客が望む方を拍手させるなどする。そして拍手の
大小に応じて選択決定し、再生すべきコンテンツ内容を
選択制御するといったことも可能である。

【００７９】また、コンテンツ選択や再生データに対す
る画像処理、音響処理についての制御だけでなく、会場
内の設備に対する制御を実行するようにしてもよい。例
えば観客の反応に応じて、照明装置を制御して明るさや
照明色を可変したり、ミラーボール、レーザー光などの
視覚的効果を動作させるなどして、観客の高揚をより促
進させてもよい。また空調設備を制御して、観客にとっ
て快適な状態を提供してもよい。例えば観客の動きが少
ない、注視・傾聴状態では、冷房を弱め（又は暖房を高
め）、逆に観客が起立して踊っている場合などは冷房を
強め（又は暖房を弱め）たりすることも好適である。

【００８０】また上記例では、ビデオカメラ４及びマイ
クロホン５で検出される画像信号ＳＶ、音声信号ＳＡ
を、観客全体についての検出情報とし、荷重センサ６、
踏力センサ７で検出される荷重検出信号ＳＷ、踏力検出
信号ＳＦを、個々の観客についての検出情報としたが、
これらに限られるものではない。例えばビデオカメラ４
やマイクロホン５を各座席に対応して設けて、観客個別
に画像や音声を検出できるようにもしてもよいし、荷重
センサや踏力センサを観客全体の情報として処理しても
よい。また、観客の全体／個別というだけでなく、例え
ば客席のエリア毎に映像、音声、荷重等を検出してもよ
い。

【００８１】観客状態の推定のための情報としては、他
のセンサや、或いは何らかの入力情報を参照するように
してもよい。例えば上映開始前にアンケートや或いは係
員による調査などにより客層を判別し、その情報を入力
して推定や制御に反映させたり、上映する時間帯、季
節、月日又は曜日、その日の天候、気温、会場の場所な
どを入力して推定や制御に反映させてもよい。

【００８２】上記例では、映画上映を行う会場を前提に
して考えたが、本発明はさらに多様な会場において採用
可能である。例えばコンサートホール、ライブハウス、
演劇場、寄席、放送スタジオ、野外イベント会場、競技
場、多目的ホールなどである。そして、例えばライブ演
奏やスポーツなどの場合は、観客がモニタスクリーンな
どで演奏者や選手の姿などを写すことが行われている
が、その場合に観客の反応に応じて、好評な演奏場面や
選手のアップなどを映し出したり、或いは効果音・音楽
等を再生出力するといったような制御が考えられる。

【００８３】また、本発明は観客の状況を推定した結果
を、出力するコンテンツ等の制御に用いるのではなく、
例えば推定結果を表示出力するなどして、出演者、演出
者、オペレータ等に告知するものであってもよい。出演
者等は、観客状態の推定結果に基づいて、演技／演奏の
内容を変更したり、視覚効果、音響効果を制御／設定す
ることなどが考えられる。また、観客の状態に応じて後
日の内容を変更するといったことも可能となる。

【００８４】５．実施の形態の実現のための構成例以上、実施の形態について説明してきたが、ここで実施
の形態の実現のための構成例を述べておく。上述した実
施の形態における検出コントロール部１０やサーバ９の
動作は、ハードウェアにより行うこともできるし、ソフ
トウェアにより行うこともできる。検出コントロール部
１０における検出信号処理部１１の動作や、判定処理部
１２の動作、或いは判定処理部１２の観客動作判定部４
１や制御決定部４２の動作についても同様である。

【００８５】これら各部の処理をソフトウェアによって
行う場合には、そのソフトウェアを構成するプログラム
が、専用のハードウェアとしての送受信装置、記録再生
装置等に組み込まれているコンピュータや、汎用のコン
ピュータ等にインストールされる。

【００８６】そこで図１９に、上述した一連の処理を実
行するプログラムがインストールされるコンピュータの
構成例を示す。プログラムは、コンピュータに内蔵され
ている記録媒体としてのハードディスク４０５やＲＯＭ
４０３に予め記録しておくことができる。

【００８７】あるいはまた、プログラムは、フロッピー
（登録商標）ディスク、ＣＤ−ＲＯＭ(Compact Disc Re
ad Only Memory)、ＭＯ(Magneto optical)ディスク、Ｄ
ＶＤ(Digital Versatile Disc)、磁気ディスク、半導体
メモリなどのリムーバブル記録媒体４１１に、一時的あ
るいは永続的に格納（記録）しておくことができる。こ
のようなリムーバブル記録媒体４１１は、いわゆるパッ
ケージソフトウェアとして提供することができる。

【００８８】なお、プログラムは、上述したようなリム
ーバブル記録媒体４１１からコンピュータにインストー
ルする他、ダウンロードサイトから、ディジタル衛星放
送用の人工衛星を介して、コンピュータに無線で転送し
たり、ＬＡＮ(Local Area Network)、インターネットと
いったネットワークを介して、コンピュータに有線で転
送し、コンピュータでは、そのようにして転送されてく
るプログラムを、通信部４０８で受信し、内蔵するハー
ドディスク４０５にインストールすることができる。

【００８９】コンピュータは、ＣＰＵ(Central Process
ing Unit)４０２を内蔵している。ＣＰＵ４０２には、
バス４０１を介して、入出力インタフェース４１０が接
続されており、ＣＰＵ４０２は、入出力インタフェース
４１０を介して、ユーザによって、キーボードや、マウ
ス、マイク等で構成される入力部４０７が操作等される
ことにより指令が入力されると、それに従って、ＲＯＭ
(Read Only Memory)４０３に格納されているプログラム
を実行する。あるいは、また、ＣＰＵ４０２は、ハード
ディスク４０５に格納されているプログラム、衛星若し
くはネットワークから転送され、通信部４０８で受信さ
れてハードディスク４０５にインストールされたプログ
ラム、またはドライブ４０９に装着されたリムーバブル
記録媒体４１１から読み出されてハードディスク４０５
にインストールされたプログラムを、ＲＡＭ(Random Ac
cess Memory)４０４にロードして実行する。これによ
り、ＣＰＵ４０２は、上述した各フローチャートに示し
た処理を実行する。そしてＣＰＵ４０２は、その処理結
果を、必要に応じて、例えば入出力インタフェース４１
０を介して、ＬＣＤ(Liquid Crystal Display)やスピー
カ等で構成される出力部４０６から出力、あるいは通信
部４０８から送信、さらにはハードディスク４０５に記
録等させる。

【００９０】ここで、本明細書において、コンピュータ
に各種の処理を行わせるためのプログラムを記述する処
理ステップ、例えば上記図１６のような処理ステップ
は、必ずしもフローチャートとして記載された順序に沿
って時系列に処理する必要はなく、並列的あるいは個別
に実行される処理（例えば、並列処理あるいはオブジェ
クトによる処理）も含むものである。

【００９１】また、プログラムは、１のコンピュータに
より処理されるものであっても良いし、複数のコンピュ
ータによって分散処理されるものであっても良い。さら
に、プログラムは、遠方のコンピュータに転送されて実
行されるものであっても良い。

【００９２】

【発明の効果】以上の説明から理解されるように本発明
では、観客の全体としての動作状態と、個々の観客の動
作状態とを検出して、観客の状況を判定するようにして
いるため、上映内容、演奏、演技等に対する観客の総体
的な反応を的確に判別することができるという効果があ
る。そして例えば映画上映などの場合は、そのような観
客状況に応じて、再生動作を制御することで、観客の状
況に応じた再生を実現でき、観客にとってより満足度の
高いエンターテイメントを提供できる。特に再生する内
容を選択するように制御することで、観客の求める場面
の繰り返し再生や、或いは観客の嗜好に応じた内容の再
生などが可能となる。また再生データに対する信号処理
の制御を行うことで、例えば映像効果、音響効果、音量
等を、観客の状況に合致した状態を実現できる。

【００９３】また観客の全体を撮像し、撮像された画像
から観客全体としての身体動作状態を検出したり、観客
の全体が発する音を集音し、集音された音から観客全体
としての動作状態を検出することで、観客の全体として
の動作状態は容易かつ的確に検出できる。さらに、個々
の観客の座席への荷重を検出したり、個々の観客の踏力
の状態を検出することで、観客の個別の状況も容易かつ
的確に検出できる。

【００９４】また本発明の記録媒体を用いれば、本発明
の観客状況判定装置、再生出力制御システム、観客状況
判定方法、再生出力制御方法が容易に実現でき、各種会
場の設備として広く提供できる。

【図面の簡単な説明】

【図１】本発明の実施の形態のシステムの構成の説明図
である。

【図２】実施の形態のシステムのブロック図である。

【図３】実施の形態の出力信号処理部のブロック図であ
る。

【図４】実施の形態の検出信号処理部及び判定処理部の
ブロック図である。

【図５】実施の形態の画像判定の説明図である。

【図６】実施の形態の画像判定の説明図である。

【図７】実施の形態の画像判定の説明図である。

【図８】実施の形態の画像判別信号の説明図である。

【図９】実施の形態の音声特徴検出部のブロック図であ
る。

【図１０】実施の形態の音声特徴検出動作の説明図であ
る。

【図１１】実施の形態の音声判別信号の説明図である。

【図１２】実施の形態の荷重センサ及び踏力センサの荷
重状態の説明図である。

【図１３】実施の形態の踏力センサの説明図である。

【図１４】実施の形態の荷重判別信号の説明図である。

【図１５】実施の形態の踏力判別信号の説明図である。

【図１６】実施の形態の判定／制御処理のフローチャー
トである。

【図１７】実施の形態の推定結果の例の説明図である。

【図１８】実施の形態の推定処理の説明図である。

【図１９】実施の形態に適用できるコンピュータ構成の
ブロック図である。

【符号の説明】

１スクリーン、２プロジェクタ、３スピーカ、４
ビデオカメラ、５マイクロホン、６荷重センサ、７
踏力センサ、９サーバ、１０検出／コントロール
部、１１検出信号処理部、１２判定処理部、１３
出力信号処理部、２１データベース、２２インター
フェース部、２３制御部

Claims

【特許請求の範囲】

【請求項１】観客の全体としての動作状態を検出する
全体動作状態検出手段と、個々の観客の動作状態を検出する個別動作状態検出手段
と、上記全体動作状態検出手段による検出情報と、上記個別
動作状態検出手段による検出情報とを用いて観客状況を
判定する判定手段と、を備えたことを特徴とする観客状況判定装置。
【請求項２】上記全体動作状態検出手段は、観客の全
体を撮像し、撮像された画像から観客全体としての身体
動作状態を検出することを特徴とする請求項１に記載の
観客状況判定装置。
【請求項３】上記全体動作状態検出手段は、観客の全
体が発する音を集音し、集音された音から観客全体とし
ての動作状態を検出することを特徴とする請求項１に記
載の観客状況判定装置。
【請求項４】上記個別動作状態検出手段は、個々の観
客の座席への荷重を検出することを特徴とする請求項１
に記載の観客状況判定装置。
【請求項５】上記個別動作状態検出手段は、個々の観
客の踏力の状態を検出することを特徴とする請求項１に
記載の観客状況判定装置。
【請求項６】観客の全体としての動作状態を検出する
全体動作状態検出手段と、個々の観客の動作状態を検出する個別動作状態検出手段
と、上記全体動作状態検出手段による検出情報と、上記個別
動作状態検出手段による検出情報とを用いて観客状況を
判定する判定手段と、観客に視聴させるデータを再生出力する再生手段と、上記判定手段の判定結果に基づいて、上記再生手段の動
作を制御する制御手段と、を備えたことを特徴とする再生出力制御システム。
【請求項７】上記制御手段は、上記判定手段の判定結
果に基づいて、上記再生手段で再生するデータを選択す
る制御を行うことを特徴とする請求項６に記載の再生出
力制御システム。
【請求項８】上記制御手段は、上記判定手段の判定結
果に基づいて、上記再生手段で再生されたデータに対す
る信号処理の制御を行うことを特徴とする請求項６に記
載の再生出力制御システム。
【請求項９】上記全体動作状態検出手段は、観客の全
体を撮像し、撮像された画像から観客全体としての身体
動作状態を検出することを特徴とする請求項６に記載の
再生出力制御システム。
【請求項１０】上記全体動作状態検出手段は、観客の
全体が発する音を集音し、集音された音から観客全体と
しての動作状態を検出することを特徴とする請求項６に
記載の再生出力制御システム。
【請求項１１】上記個別動作状態検出手段は、個々の
観客の座席への荷重を検出することを特徴とする請求項
６に記載の再生出力制御システム。
【請求項１２】上記個別動作状態検出手段は、個々の
観客の踏力の状態を検出することを特徴とする請求項６
に記載の再生出力制御システム。
【請求項１３】観客の全体としての動作状態を検出す
る全体動作状態検出ステップと、個々の観客の動作状態を検出する個別動作状態検出ステ
ップと、上記全体動作状態検出ステップでの検出情報と、上記個
別動作状態検出ステップでの検出情報とを用いて観客状
況を判定する判定ステップと、が行われることを特徴とする観客状況判定方法。
【請求項１４】観客の全体としての動作状態を検出す
る全体動作状態検出ステップと、個々の観客の動作状態を検出する個別動作状態検出ステ
ップと、上記全体動作状態検出ステップでの検出情報と、上記個
別動作状態検出ステップでの検出情報とを用いて観客状
況を判定する判定ステップと、上記判定ステップでの判定結果に基づいて、観客に視聴
させるデータの再生動作を制御する制御ステップと、が行われることを特徴とする再生出力制御方法。
【請求項１５】観客の全体としての動作状態を検出す
る全体動作状態検出ステップと、個々の観客の動作状態を検出する個別動作状態検出ステ
ップと、上記全体動作状態検出ステップでの検出情報と、上記個
別動作状態検出ステップでの検出情報とを用いて観客状
況を判定する判定ステップと、が行われるようにした処理プログラムが記録されたこと
を特徴とする記録媒体。
【請求項１６】観客の全体としての動作状態を検出す
る全体動作状態検出ステップと、個々の観客の動作状態を検出する個別動作状態検出ステ
ップと、上記全体動作状態検出ステップでの検出情報と、上記個
別動作状態検出ステップでの検出情報とを用いて観客状
況を判定する判定ステップと、上記判定ステップでの判定結果に基づいて、観客に視聴
させるデータの再生動作を制御する制御ステップと、が行われるようにした処理プログラムが記録されたこと
を特徴とする記録媒体。