JP2001128134A

JP2001128134A - プレゼンテーション装置

Info

Publication number: JP2001128134A
Application number: JP31070599A
Authority: JP
Inventors: Shinjiro Kawato; 慎二郎川戸; Tatsumi Sakaguchi; 竜己坂口; Kazuhiko Takahashi; 和彦高橋; Atsushi Otani; 淳大谷
Original assignee: ATR Media Integration and Communication Research Laboratories
Current assignee: ATR Media Integration and Communication Research Laboratories
Priority date: 1999-11-01
Filing date: 1999-11-01
Publication date: 2001-05-11

Abstract

(57)【要約】【構成】視聴者がスクリーン２４の前に現われると、
視聴者がビデオカメラ１２Ｌおよび１２Ｒによって撮影
され、画像処理装置１６が撮影画像に基づいて視聴者の
属性を判定する。プレゼンテーションコントローラ２０
は、視聴者の属性に応じてプレゼンテーションの態様を
変更する。つまり、視聴者に好ましいキャラクタ２８を
スクリーン２４に表示し、視聴者が興味を持つような内
容のプレゼンテーションを行う。プレゼンテーション
は、スクリーン２４に表示される画像情報およびスピー
カ２６から出力される音声情報によって行われる。【効果】視聴者の撮影画像に基づいて視聴者の属性が
判定され、判定された属性に応じてプレゼンテーション
の態様が変更されるため、視聴者に負担をかけることな
く魅力的なプレゼンテーションを行うことができる。

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】この発明は、プレゼンテーション
装置に関し、特にプレゼンテーションの内容を示す画像
情報をモニタに表示する、プレゼンテーション装置に関
する。

【０００２】

【従来の技術】従来のこの種のプレゼンテーション装置
の例が、平成７年８月４日付けで出願公開された特開平
７−２００４４０号公報［Ｇ０６Ｆ１３／００，Ｇ０６
Ｆ３／１４，Ｇ０６Ｆ１５／００］、および平成１０年
９月２９日付けで出願公開された特開平１０−２６０９
５６号公報［Ｇ０６Ｆ１７／００，Ｇ０６Ｆ３／１４，
Ｇ０６Ｔ１／００］に開示されている。このうち、前者
は、視聴者の入力情報を解析して、視聴者の心理を反映
した情報を発表者に提供するものである。また、後者
は、利用者のアクセス頻度やアクセスの曜日，時間帯な
どによってシナリオを変更するものである。

【０００３】

【発明が解決しようとする課題】しかし、前者では、情
報を入力するための端末を視聴者に持たせる必要がある
ため、視聴者にとって煩わしいものとなっていた。ま
た、後者では、アクセスの情報が乏しいと、シナリオを
適切に変更できなかった。

【０００４】それゆえに、この発明の主たる目的は、視
聴者に負担をかけることなく魅力的なプレゼンテーショ
ンを行うことができる、プレゼンテーション装置を提供
することである。

【０００５】

【課題を解決するための手段】第１の発明は、マルチメ
ディアを用いてプレゼンテーションを行うプレゼンテー
ション装置であって、視聴者を撮影して撮影画像を出力
する撮影手段、撮影画像に基づいて視聴者の属性を判定
する判定手段、および属性に応じてプレゼンテーション
の態様を変更する変更手段を備える、プレゼンテーショ
ン装置である。

【０００６】第２の発明は、マルチメディアを用いてプ
レゼンテーションを行うプレゼンテーション装置であっ
て、視聴者を撮影して撮影画像を出力する撮影手段、撮
影画像に基づいて視聴者の反応を検出する検出手段、お
よび反応に応じてプレゼンテーションの態様を変更する
変更手段を備える、プレゼンテーション装置である。

【０００７】

【作用】第１の発明では、視聴者が撮影手段によって撮
影される。判定手段は、撮影画像に基づいて視聴者の属
性を判定手段し、変更手段は、判定された属性に応じて
プレゼンテーションの態様を変更する。ここで、プレゼ
ンテーションは、マルチメディアを用いて行われる。

【０００８】この発明のある実施例では、プレゼンタを
示すキャラクタが、キャラクタ表示手段によってスクリ
ーンに表示される。変更手段では、キャラクタ変更手段
が視聴者の属性に応じてキャラクタを変更する。

【０００９】この発明の他の実施例では、プレゼンテー
ションのための画像情報が画像情報表示手段によってス
クリーンに表示される。変更手段では、画像情報変更手
段が視聴者の属性に応じて画像情報を変更する。

【００１０】この発明のその他の実施例では、プレゼン
テーションのための音声情報が、音声情報出力手段によ
って出力される。変更手段では、音声情報変更手段が視
聴者も属性に応じて音声情報を変更する。

【００１１】第２の発明では、視聴者が撮影手段によっ
て撮影される。検出手段は、撮影画像に基づいて視聴者
の反応を検出し、変更手段は、視聴者の反応に応じてプ
レゼンテーションの態様を変更する。プレゼンテーショ
ンは、マルチメディアを用いて行われる。

【００１２】この発明のある実施例では、検出手段は第
１位置検出手段を含み、変更手段は第１向き変更手段を
含む。第１位置検出手段は、撮影画像に基づいて視聴者
の位置を検出する。第１向き変更手段は、第１位置検出
手段の検出結果に基づいて、視聴者を指向するようにキ
ャラクタの向きを変更する。

【００１３】この発明の他の実施例では、検出手段は挙
手検出手段を含み、変更手段は第２向き変更手段を含
む。挙手検出手段は、撮影画像に基づいて視聴者が挙手
したことを検出する。第２向き変更手段は、挙手に応答
して、視聴者を指向するようにキャラクタの向きを変更
する。

【００１４】この発明のその他の実施例では、検出手段
は視線検出手段を含み、変更手段は第１姿勢変更手段を
含む。視線検出手段は、撮影画像に基づいて視聴者の視
線が指向する部分を検出する。また、第１姿勢変更手段
は、視聴者の視線が指向する部分を指向するようにキャ
ラクタの姿勢を変更する。

【００１５】この発明のその他の実施例では、検出手段
は手先検出手段を含み、変更手段は第２姿勢変更手段を
含む。手先検出手段は、撮影画像に基づいて視聴者の手
先が指向する部分を検出する。また、第２姿勢変更手段
は、手先が指向する部分を指向するようにキャラクタの
姿勢を変更する。

【００１６】この発明のその他の実施例では、検出手段
は顔動き検出手段を含み、変更手段は第１内容変更手段
を含む。顔動き検出手段は、撮影画像に基づいて視聴者
の顔の動きを検出する。第１内容変更手段は、顔の動き
に応じてプレゼンテーションの内容を変更する。

【００１７】この発明のさらのその他の実施例では、視
聴者の音声が取り込み手段によって取り込まれる。第２
位置検出手段は、視聴者の音声に基づいて視聴者の位置
を検出し、第３向き変更手段は、第２位置検出手段の検
出結果に基づいて、視聴者を指向するようにキャラクタ
の向きを変更する。

【００１８】

【発明の効果】第１の発明によれば、視聴者の撮影画像
に基づいて視聴者の属性が判定され、判定された属性に
応じてプレゼンテーションの態様が変更されるため、視
聴者に負担をかけることなく魅力的なプレゼンテーショ
ンを行うことができる。

【００１９】第２の発明によれば、視聴者の撮影画像に
基づいて視聴者の反応が検出され、検出された反応に応
じてプレゼンテーションの態様が変更されるため、視聴
者に負担をかけることなく魅力的なプレゼンテーション
を行うことができる。

【００２０】この発明の上述の目的，その他の目的，特
徴および利点は、図面を参照して行う以下の実施例の詳
細な説明から一層明らかとなろう。

【００２１】

【実施例】図１および図２を参照して、この実施例のプ
レゼンテーション装置１０は、スクリーン２４を含む。
スクリーン２４を正面から眺めたとき、上方左端にビデ
オカメラ１２Ｌおよびマイク１４Ｌが配置され、上方右
端にビデオカメラ１２Ｒおよびマイク１４Ｒが配置され
る。さらに、下方右端にスピーカ２６が配置される。ビ
デオカメラ１２Ｌおよび１２Ｒはスクリーン２４の前の
画像を撮影し、撮影画像信号を画像処理装置１６に出力
する。画像処理装置１６は、入力された撮影画像信号に
基づいて所定の画像処理を行い、画像処理データをプレ
ゼンテーションコントローラ２０に与える。一方、マイ
ク１４Ｌおよび１４Ｒはスクリーン２４の周辺の音声を
取り込み、取り込んだ音声信号を音声処理装置１８に出
力する。音声処理装置１８は、音声信号に所定の信号処
理を施し、音声処理データをプレゼンテーションコント
ローラ２０に与える。

【００２２】プレゼンテーションコントローラ２０は、
与えられた画像処理データおよび音声処理データに所定
の処理を施し、スクリーン２４に所定の画像を表示する
とともに、スピーカ２６から所定の音声メッセージを出
力する。プレゼンテーションは、スクリーン２４に表示
される画像およびスピーカ２６から出力される音声を用
いて、つまりマルチメディアを用いて行われる。

【００２３】画像処理装置１６は、具体的には図３〜図
５に示すフロー図を処理する。ステップＳ１では、ビデ
オカメラ１２Ｌによって撮影された画像から背景差分法
によって背景以外の画像を抽出する。このため、ビデオ
カメラ１２Ｌの画角内に視聴者（見学者）の全身画像が
存在するときは、この全身画像が抽出される。画像処理
装置１６は次に、ステップＳ３で全身画像に２値化処理
を施して視聴者のシルエット画像を生成し、ステップＳ
５でシルエット画像の頭頂点を検出する。ステップＳ７
では、ステップＳ１で抽出された全身画像から肌色領域
を抽出する。また、ステップＳ９では、抽出された肌色
領域画像から顔領域および手足領域を認識し、ステップ
Ｓ１１では、認識された顔領域にある両目の位置を検出
する。続くステップＳ１３〜Ｓ２３では、ビデオカメラ
１２Ｒによって撮影された画像に対して上述のステップ
Ｓ１〜Ｓ１１と同じ処理を行う。

【００２４】画像処理装置１６は続いてステップＳ２５
に進み、たとえばステップＳ３で生成されたシルエット
画像の大きさを正規化する。この正規化処理によって、
視聴者が背の低い子供であるか背の高い大人であるかに
関係なく、全身画像の伸長は均一の値をとる。ステップ
Ｓ２７では、上述のステップＳ５およびＳ１７で検出さ
れた２つの頭頂点に基づいて、両眼立体視法により視聴
者の伸長を推定する。ステップＳ２９では、正規化され
たシルエット画像および推定された身長に基づいてニュ
ーラルネットワークを用いたパターン認識を実行し、視
聴者の属性を判別する。判別された属性としては、“大
人の男性”，“大人の女性”，“男の子”，“女の子”
のいずれかを示す。

【００２５】ステップＳ３１では、両眼立体視によって
視聴者の両目，両手先および頭頂点の３次元座標を算出
する。さらに、ステップＳ３３では、右手先の３次元座
標と視聴者のスクリーン２４からの距離と視聴者の肩幅
とに基づいて、右手先がスクリーン上のどの部分を指し
ているかを判定する。この判定処理について図６を参照
して説明すると、まず両眼立体視によって視聴者のスク
リーンからの距離を算出する。次に、算出した距離とシ
ルエット画像とから視聴者の肩幅を求め、頭頂点および
肩幅から右肩座標を求める。そして、視聴者の右手先の
座標と右肩の座標とを結ぶ直線がスクリーン２４内に形
成された表示スクリーン３０（図２）のどの部分（左
部，中央部，右部のどの部分）を指向しているかを判定
する。なお、この実施例では、右手によってスクリーン
が指されることを前提とする。

【００２６】ステップＳ３５では、上述のステップＳ９
で認識された顔領域およびステップＳ１１で検出された
両目の位置と、ステップＳ２１で認識された顔領域およ
びステップＳ２３で検出された両目の位置とに基づい
て、視聴者の視線が当たる部分を判定する。つまり、図
７を参照して、まずステップＳ９で認識された顔領域の
中心線とステップＳ１１で検出された両目の中点とのず
れ量から、ビデオカメラ１２Ｌと視聴者の顔を結ぶ直線
に対する視聴者の顔の正面方向の角度を求める。次に、
ステップＳ２１およびＳ２３で得られた顔領域および両
目に対して同じ処理を施す。そして、求められた２つの
角度に基づいて、視聴者の視線が図２に示す表示スクリ
ーン３０のどの部分（左部，中央部，右部のどの部分）
を指向しているかを判定する。

【００２７】ステップＳ３７では、ステップＳ３１で求
められた両目の３次元座標から眉間の３次元座標を算出
し、この眉間の３次元座標の時間的変化から顔の動きを
判定する。つまり、前回検出された眉間の座標と今回検
出された眉間の座標とによって１次微分を行い、視聴者
の顔が頷いている（肯定している）のか首振りをしてい
る（否定している）のかを判定する。続くステップＳ３
９では、ステップＳ３１で求められた手先の３次元座標
の時間的変化から視聴者が挙手したかどうかを判定す
る。このときも、前回の手先の座標と今回の手先の座標
とに１次微分を施し、判定を行う。

【００２８】画像処理装置１６は、以上のような処理を
繰り返し実行し、視聴者の属性データ（男性，女性，男
の子，女の子）、頭頂点データ（頭頂点の３次元座
標）、手先データ（左部，中央部，右部）、視線データ
（左部，中央部，右部）、顔動きデータ（頷き，首振
り）および挙手データ（挙手の有無）を所定タイミング
でプレゼンテーションコントローラ２０に出力する。な
お、視聴者の全身がビデオカメラ１２Ｌおよび１２Ｒの
画角内になければ、以上の全てのデータが不定を示す。
また、視聴者の全身が画角内にいても、手先が地面を指
していれば手先データは不定となり、視線がスクリーン
２４以外を指向していれば視線データは不定となる。

【００２９】音声処理装置１８は、図８に示すフロー図
を処理する。まずステップＳ４１でマイク１４Ｌから取
り込んだ音声信号の音圧レベルを１／３０秒間積算し、
左積算値を求める。ステップＳ４３では、マイク１４Ｒ
から取り込んだ音声信号に対して同様の積算処理を施
し、右積算値を求める。続いて、ステップＳ４５で各積
算値の平均を取り、平均積算値を求める。さらに、ステ
ップＳ４７で数１を演算し、方向パラメータを求める。

【００３０】

【数１】方向パラメータ＝（左積算値／平均積算値，右
積算値／平均積算値）ステップＳ４９では、各マイク１４Ｌおよび１４Ｒから
取り込んだ音声信号に基づいてキーワード（単語やフレ
ーズ）を検出する。このキーワード検出処理は、たとえ
ば電子情報通信学会論文誌Ｖｏｌ．Ｊ８１−Ｄ−II，Ｎ
ｏ．６，ｐｐ．１０６５−１０７３に掲載された「基本
周波数パターンを利用したキーワードスポッティング」
（山下，岩崎，溝口）によって行う。検出したキーワー
ドはコード化する。

【００３１】音声処理装置１８は、以上のような処理を
繰り返し行い、平均積算値，方向パラメータおよびキー
ワードをプレゼンテーションコントローラ２０に出力す
る。なお、平均積算値および方向パラメータが、音源デ
ータを形成する。

【００３２】プレゼンテーションコントローラ２０は、
図９〜図１３に示すフロー図を処理する。まずステップ
Ｓ５１で図２に示すキャラクタ２８（たとえば大人の女
性のキャラクタ）をスクリーン２４の左側に表示する。
このとき、スクリーン２４にはキャラクタ２８以外表示
されない。プレゼンテーションコントローラ２０は次
に、ステップＳ５３で頭頂点データを取り込み、ステッ
プＳ５５でこの頭頂点データが不定であるかどうか判断
する。不定であれば、スクリーン２４の前に視聴者は存
在しないことであり、この場合はスクリーン２４の前に
視聴者が来るまでステップＳ５３の処理が繰り返され
る。一方、頭頂点データが有効な値を示していれば、プ
レゼンテーションコントローラ２０はスクリーン２４の
前に視聴者がいると判断し、ステップＳ５７に進む。ス
テップＳ５７では属性データを取り込み、続くステップ
Ｓ５９〜Ｓ６３で視聴者が女の子，男の子，女性，男性
のいずれであるか判断する。

【００３３】視聴者が女の子の場合、プレゼンテーショ
ンコントローラ２０は、ステップＳ６５でスクリーン２
４上のキャラクタ２８を別のキャラクタ２８（たとえば
おじさんのキャラクタ）に変更し、さらにステップＳ６
７では少なくとも目が視聴者の方向を向くようにキャラ
クタ２８を変更する。ここで、おじさんのキャラクタデ
ータはデータベース２２に予め記憶されており、“女の
子”を示す属性データに応答してデータベース２２から
読み出される。また、視聴者の方向は、ステップＳ５３
で取り込んだ頭頂点データによって特定し、キャラクタ
２８の視線または身体全体を視聴者に向ける。プレゼン
テーションコントローラ２０は続いて、ステップＳ６９
で「いらっしゃい、お嬢ちゃん。」との合成音声による
音声メッセージをスピーカ２６から出力し、ステップＳ
７１でメニュー画像を表示スクリーン３０上に表示す
る。合成音声およびメニュー画像もまた、データベース
２２に予め記憶されており、さらに“女の子”を示す属
性データに応答してデータベース２２から読み出され
る。

【００３４】つまり、データベース２２には、図１４に
示すように、プレゼンテーションデータ，キャラクタデ
ータ，問い掛け用の音声メッセージデータ，メニュー画
像データが各属性毎に記憶されている。このため、スク
リーン２４に表示されるキャラクタ２８の種類，表示ス
クリーン３０に表示されるメニュー画像，スピーカ２６
によって視聴者へ問い掛ける音声メッセージならびにプ
レゼンテーションの実行時（ステップＳ９５）に出力さ
れる画像情報および音声情報は、視聴者の属性によって
異なる。

【００３５】なお、属性データが“男の子”，“女性”
または“男性”を示す場合、別の処理が実行されるが、
各処理の手順は、ステップＳ６５以降と同じである。つ
まり、上記のキャラクタ２８の種類，メニュー画像，視
聴者へ問い掛ける音声メッセージならびにプレゼンテー
ションの内容が異なるものの、処理の流れはステップＳ
６５以降と変わらない。

【００３６】プレゼンテーションコントローラ２０は、
ステップＳ７１でメニュー画像を表示した後、ステップ
Ｓ７３で「どれを見たいのかな？」との音声メッセージ
をスピーカ２６から出力する。つまり、視聴者に音声に
よって問い掛ける。続いて、ステップＳ７５で手先デー
タを取り込み、ステップＳ７７でこの手先データが不定
を示すかどうか判断する。もし不定であれば、ステップ
Ｓ７９で視線データを取り込み、ステップＳ８１でこの
視線データが不定であるかどうか判断する。そして、視
線データも不定であれば、ステップＳ７５に戻る。一
方、手先データおよび視線データの少なくとも一方が有
効であれば、ステップＳ８３に進む。つまり、ステップ
Ｓ７３での問い掛けに対して視聴者の反応があるまで、
ステップＳ７７〜Ｓ８１の処理が繰り返される。

【００３７】表示されるメニュー画像は、たとえば“赤
ずきんちゃん”，“白雪姫”および“シンデレラ”の３
つであり、各メニュー画像は表示スクリーン３０の左
部，中央部および右部に表示される。視聴者が、この３
つのメニュー画像のいずれかを指差すかまたは見つめれ
ば、対応する値を示す手先データまたは視線データが画
像処理装置１６から与えられる。つまり、視聴者が手先
または視線によって指向した部分を示すデータが得られ
る。ステップＳ８３では、このような手先データまたは
視線データによって視聴者が指向するメニュー画像を検
出する。また、ステップＳ８５では、検出したメニュー
画像を指向するようにキャラクタ２８の姿勢を変更す
る。具体的には、おじさんの指が検出した画像メニュー
を指すようにキャラクタ２８の表示を変更する。

【００３８】プレゼンテーションコントローラ２０はさ
らに、ステップＳ８７で「これでいいのかな？」と問い
掛ける音声メッセージを出力し、その後ステップＳ８９
で顔動きデータおよびキーワードを画像処理回路１６お
よび音声処理回路１８から取り込む。つまり、ステップ
Ｓ８７での問い掛けに対する視聴者の反応を検出する。
ここで、顔動きデータが“首振り”を示すか、キーワー
ドが“ううん”や“違う”などの否定的な意味を示せ
ば、ステップＳ９１で否定的反応と判断する。これに対
して、顔動きデータが“頷き”を示すか、キーワードが
“うん”や“はい”にように肯定的な意味を示せば、ス
テップＳ９１で肯定的反応と判断する。

【００３９】反応が否定的である場合、プレゼンテーシ
ョンコントローラ２０は、ステップＳ９３で「間違って
ごめんね。じゃ、どれにしようか？」との音声による問
い掛けを行い、ステップＳ７５に戻る。一方、反応が肯
定的である場合、プレゼンテーションコントローラ２０
は、ステップＳ９５でプレゼンテーションを行う。プレ
ゼンテーションの内容は、上述のように視聴者の属性に
対応し、ここでは、女の子向けのプレゼンテーションが
行われる。このとき、複数のスライドが表示スクリーン
３０に表示され、各スライドの表示中にスライドを説明
する音声が出力され、さらに音声に合わせてキャラクタ
２８が動作する。

【００４０】つまり、図１５を参照して、実行されるプ
レゼンテーションは、複数のスライド＃１，＃２，…、
複数の説明音声＃１−１，＃１−２，…，＃１−ｎ，＃
２−１，…およびキャラクタの動作記述＃１−１，＃１
−２，…，＃１−ｎ，＃２−１，…からなる。スライド
＃１が表示されている間は各説明音声＃１−１，＃１−
２，…，＃１−ｎが間隔を置いて出力され、キャラクタ
２８は各説明音声＃１−１，＃１−２，…，＃１−ｎの
対応した動きをする。なお、キャラクタの動作記述は、
たとえば身体姿勢記述および視線記述からなる。視線記
述に“アイコンタクト”とあれば、キャラクタの視線が
視聴者の顔位置に向けられる。

【００４１】このようなプレゼンテーションが終了する
と、プレゼンテーションコントローラ２０はステップＳ
９７に進み、「最後まで見てくれてありがとう。他のも
のはどうですか？」と問い掛ける音声メッセージを出力
する。そして、ステップＳ９９で再度３つのメニュー画
像を表示スクリーン３０に表示し、ステップＳ７５に戻
る。

【００４２】ステップＳ９５でのプレゼンテーションの
間、プレゼンテーションコントローラ２０は、各音声説
明が終わる毎に図１１〜図１３に示す割り込み処理を行
なう。つまり、まずステップＳ１０１で、音源データお
よびキーワードを音声処理装置１８から取り込み、挙手
データを画像処理装置１６から取り込む。続いて、ステ
ップＳ１０３，ステップＳ１３１およびステップＳ１３
７で視聴者の反応を検出する。つまり、視聴者が「いこ
うか」と言ったかどうかをステップＳ１０３で判断し、
視聴者が「わかんない」と言ったかどうかをステップＳ
１３１で判断し、そして視聴者が挙手したかどうかをス
テップＳ１３７で判断する。ここで、いずれもＮＯと判
断されると、そのままメインルーチンのステップＳ９５
に復帰する。従って、プレゼンテーションが続行され
る。

【００４３】これに対して、視聴者が「いこうか」とい
った場合、プレゼンテーションコントローラ２０はステ
ップＳ１０５に進み、少なくとも目が音源の方向を向く
ようにキャラクタを変更する。つまり、「いこうか」と
の声によって視聴者の位置を検出し、キャラクタ２８の
視線または身体を視聴者に向けさせる。さらに、ステッ
プＳ１０７で「ちょっと待って！他のものにかえようか
？」と問い掛ける音声メッセージを出力し、ステップＳ
１０９で“継続”，“変更”および“終了”を示す３つ
のメニュー画像を表示スクリーン３０に表示する。この
ときも、メニュー画像は、横方向に３つ配置される。

【００４４】プレゼンテーションコントローラ２０はそ
の後、ステップＳ１１１で頭頂点データを取り込み、ス
テップＳ１１３でこの頭頂点データが不定を示すかどう
か判断する。ここで不定と判断されると、ステップＳ５
１に戻る。上述のように、頭頂点データは視聴者がスク
リーン２４の前からいなくなったときに不定を示し、こ
のとき、スクリーン２４の表示は初期状態に戻る。

【００４５】頭頂点データが有効である場合、プレゼン
テーションコントローラ２０は、ステップＳ１１３で手
先データを取り込み、ステップＳ１１７でこの手先デー
タも不定であるかどうか判断する。不定であれば、ステ
ップＳ１１９で視線データを取り込み、ステップＳ１２
１で視線データについても不定かどうかの判断を行う。
そして、不定であれば、ステップＳ１１１に戻る。一
方、手先データおよび視線データの少なくとも一方が有
効であれば、ステップＳ１２３に進む。つまり、頭頂点
データが有効である限り、手先データまたは視線データ
が有効になるまで、つまり視聴者が３つのメニュー画像
のいずれかを手先または視線によって指向するまで、ス
テップＳ１１１〜Ｓ１２１が処理される。

【００４６】ステップＳ１２３では、視聴者が指向して
いるメニューを検出する。そして、検出したメニューが
“変更”であればステップＳ１２５でＹＥＳと判断し、
ステップＳ１２９でプレゼンテーションの内容を変更し
てからメインルーチンのステップＳ９５に復帰する。こ
のため、ステップＳ９５では、変更後の内容のプレゼン
テーションが行われる。一方、検出したメニューが“継
続”であれば、プレゼンテーションの内容を変更するこ
となくステップＳ９５に復帰し、この結果、同じ内容の
プレゼンテーションが引き続き行われる。他方、検出し
たメニューが“終了”であればステップ５１に戻り、こ
の結果、スクリーン２４の表示は初期状態に戻る。

【００４７】視聴者が「わかんない」といった場合、プ
レゼンテーションコントローラ２０はステップＳ１３１
でＹＥＳと判断し、ステップＳ１３３で少なくとも目が
音源の方向を向くようにキャラクタ２８を変更する。つ
まり、キャラクタの視線を視聴者に向けされる。そし
て、「ごめん！何がわかんないかなあ？」と問い掛ける
音声メッセージを出力し、ステップＳ１４５に進む。ま
た、視聴者が挙手をした場合、プレゼンテーションコン
トローラ２０はステップＳ１３７でＹＥＳと判断し、ス
テップＳ１３９で頭頂点データを取り込む。続くステッ
プＳ１４１では頭頂点データに基づいて視聴者の位置を
検出し、視聴者の方向を向くようにキャラクタ２８の姿
勢または視線を変更する。その後、ステップＳ１４３で
「何か質問かな？」と問い掛ける音声メッセージを出力
し、ステップＳ１４５に進む。

【００４８】ステップＳ１４５では、予め記憶された質
問メニューを表示スクリーン３０に表示する。このと
き、表示されるメニュー画像は、たとえば“登場するキ
ャラクタの名前”，“物語の時代”，“物語の場所”の
３つであり、かつ各メニュー画像は表示スクリーン３０
の左部，中央部および右部に配置される。プレゼンテー
ションコントローラ２０は続いて、ステップＳ１４７で
手先データを取り込み、ステップＳ１４９でこの手先デ
ータが不定であるかどうか判断する。不定であれば、ス
テップＳ１５１で視線データを取り込み、ステップＳ１
５３で視線データについても不定かどうかの判断を行
う。そして、不定であれば、ステップＳ１４７に戻る。
一方、手先データおよび視線データの少なくとも一方が
有効であれば、ステップＳ１５５に進む。つまり、ステ
ップＳ１４７〜Ｓ１５３の処理は、視聴者がいずれかの
質問メニューを手先または視線によって指定するまで繰
り返し行われる。

【００４９】ステップＳ１５５では視聴者が指向する質
問メニューを検出し、続くステップＳ１５７では検出し
た質問メニューの回答をする。回答は、画像および音声
のいずれかによって行う。回答が終了すると、ステップ
Ｓ９５に復帰する。

【００５０】以上の説明から分かるように、視聴者がス
クリーン２４の前に現われると、視聴者がビデオカメラ
１２Ｌおよび１２Ｒによって撮影され、画像処理装置１
６が撮影画像に基づいて視聴者の属性を判定する。プレ
ゼンテーションコントローラ２０は、視聴者の属性に応
じてプレゼンテーションの態様を変更する。つまり、視
聴者に好ましいキャラクタ２８がスクリーン２４に表示
され、視聴者が興味を持つような内容のプレゼンテーシ
ョンが行われる。プレゼンテーションは、プレゼンタの
キャラクタ２８，表示スクリーン３０に表示される画像
情報およびスピーカ２６から出力される音声情報を用い
て、つまりマルチメディアを用いて行われる。

【００５１】また、視聴者の反応が画像処理装置１６お
よび音声処理装置１８によって検出される。プレゼンテ
ーションコントローラ２０は、検出された視聴者の反応
に基づいてプレゼンテーションの態様を変更する。

【００５２】たとえば、視聴者がスクリーン２４の前の
中央に立った場合、この視聴者の位置が画像処理装置１
６によって検出される。また、視聴者が声を発すると、
音源が音声処理装置１８によって検出される。プレゼン
テーションコントローラ２０は、キャラクタ２８の視線
または身体全体が視聴者を向くように、キャラクタ２８
を変更する。つまり、視聴者の立つ位置も反応の１つと
考えて、この位置に応じてキャラクタ２８の向きを変更
する。また、視聴者が挙手をした場合、この挙手は、画
像処理装置１６によって検出する。プレゼンテーション
コントローラ２０は、このときもキャラクタ２８の視線
または身体全体が視聴者を向くように、キャラクタ２８
を変更する。なお、上述のいずれの場合も、キャラクタ
２８の向きの変更とともに、視聴者に問い掛けをする音
声メッセージがスピーカ２６から出力される。

【００５３】視聴者が表示スクリーン３０を見つめた場
合、または表示スクリーン３０の方向に手先を向けた場
合、視聴者の視線または手先が指向する部分が画像処理
装置１６によって検出される。プレゼンテーションコン
トローラ２０は、キャラクタ２８の指が視聴者の指向部
分を指すようにキャラクタ２８の姿勢を変更する。プレ
ゼンテーションコントローラ２０はまた、このような視
線および手先の方向の検出の前後で所定の音声メッセー
ジによって視聴者に問い掛ける。

【００５４】音声メッセージによる問い掛けに対して視
聴者が顔を動かして返事をした場合、この顔の動きが画
像処理装置１６によって検出される。キャラクタ２８の
問い掛けに対して視聴者が声で返事をした場合は、返事
の内容が音声処理装置１８によって検出される。プレゼ
ンテーションコントローラ２０は、返事が肯定的である
か否定的であるかによって、この返事に対する応答を変
更する。この視聴者の返事もまた視聴者の反応であり、
返事によって音声または画像の内容が変更される。つま
り、プレゼンテーションの態様が変更される。

【００５５】この実施例によれば、ビデオカメラおよび
画像処理装置によって視聴者の属性を判定するととも
に、同じビデオカメラおよび画像処理装置とマイクおよ
び音声処理装置とによって視聴者の反応を検出し、属性
および反応によってプレゼンテーションの態様を変更す
るようにしたため、視聴者に負担をかけることなく魅力
的なプレゼンテーションを行うことができる。

【図面の簡単な説明】

【図１】この発明の一実施例の構成を示すブロック図で
ある。

【図２】図１実施例の外観を示す正面図解図である。

【図３】図１実施例の画像処理動作の一部を示すフロー
図である。

【図４】図１実施例の画像処理動作の他の一部を示すフ
ロー図である。

【図５】図１実施例の画像処理動作のさらにその他の一
部を示すフロー図である。

【図６】図１実施例の手先の指向動作を示す図解図であ
る。

【図７】図１実施例の視線の指向動作を示す図解図であ
る。

【図８】図１実施例の音声処理動作を示すフロー図であ
る。

【図９】図１実施例のプレゼンテーション動作の一部を
示すフロー図である。

【図１０】図１実施例のプレゼンテーション動作のその
他の一部を示すフロー図である。

【図１１】図１実施例のプレゼンテーション動作のさら
にその他の一部を示すフロー図である。

【図１２】図１実施例のプレゼンテーション動作の他の
一部を示すフロー図である。

【図１３】図１実施例のプレゼンテーション動作のさら
にその他の一部を示すフロー図である。

【図１４】図１実施例の動作の具体的内容を示す図解図
である。

【図１５】図１実施例の動作の具体的詳細を示す図解図
である。

【符号の説明】

１０…プレゼンテーション装置１２Ｌ，１２Ｒ…ビデオカメラ１４Ｌ，１４Ｒ…マイク１６…画像処理装置１８…音声処理装置２０…プレゼンテーション装置２２…データベース２４…スクリーン２６…スピーカ２８…キャラクタ３０…表示スクリーン

───────────────────────────────────────────────────── フロントページの続き (72)発明者坂口竜己京都府相楽郡精華町大字乾谷小字三平谷５番地株式会社エイ・ティ・アール知能映像通信研究所内 (72)発明者高橋和彦京都府相楽郡精華町大字乾谷小字三平谷５番地株式会社エイ・ティ・アール知能映像通信研究所内 (72)発明者大谷淳京都府相楽郡精華町大字乾谷小字三平谷５番地株式会社エイ・ティ・アール知能映像通信研究所内Ｆターム(参考） 5B057 BA02 CA01 CA08 CA12 CA16 CB18 DA06 DA11 5C064 AA06 AC02 AC06 AC12 AC16 AD13 5E501 AB13 AC14 BA14 CB14 FA32 FB25

Claims

【特許請求の範囲】

【請求項１】マルチメディアを用いてプレゼンテーショ
ンを行うプレゼンテーション装置であって、視聴者を撮影して撮影画像を出力する撮影手段、前記撮影画像に基づいて前記視聴者の属性を判定する判
定手段、および前記視聴者の属性に応じて前記プレゼン
テーションの態様を変更する変更手段を備える、プレゼ
ンテーション装置。
【請求項２】プレゼンタを示すキャラクタをスクリーン
に表示するキャラクタ表示手段をさらに備え、前記変更手段は前記視聴者の属性に応じて前記キャラク
タを変更するキャラクタ変更手段を含む、請求項１記載
のプレゼンテーション装置。
【請求項３】前記プレゼンテーションのための画像情報
をスクリーンに表示する画像情報表示手段をさらに備
え、前記変更手段は前記視聴者の属性に応じて前記画像情報
を変更する画像情報変更手段を含む、請求項１または２
記載のプレゼンテーション装置。
【請求項４】前記プレゼンテーションのための音声情報
を出力する音声情報出力手段をさらに備え、前記変更手段は前記視聴者の属性に応じて前記音声情報
を変更する音声情報変更手段を含む、請求項１ないし３
のいずれかに記載のプレゼンテーション装置。
【請求項５】マルチメディアを用いてプレゼンテーショ
ンを行うプレゼンテーション装置であって、視聴者を撮影して撮影画像を出力する撮影手段、前記撮影画像に基づいて視聴者の反応を検出する検出手
段、および前記視聴者の反応に応じて前記プレゼンテー
ションの態様を変更する変更手段を備える、プレゼンテ
ーション装置。
【請求項６】前記検出手段は前記撮影画像に基づいて前
記視聴者の位置を検出する第１位置検出手段を含み、前記変更手段は前記第１位置検出手段の検出結果に基づ
いて前記視聴者を指向するように前記キャラクタの向き
を変更する第１向き変更手段を含む、請求項５記載のプ
レゼンテーション装置。
【請求項７】前記検出手段は前記撮影画像に基づいて前
記視聴者が挙手したことを検出する挙手検出手段を含
み、前記変更手段は前記挙手に応答して前記視聴者を指向す
るように前記キャラクタの向きを変更する第２向き変更
手段を含む、請求項５または６記載のプレゼンテーショ
ン装置。
【請求項８】前記検出手段は前記撮影画像に基づいて前
記視聴者の視線が指向する部分を検出する視線検出手段
を含み、前記変更手段は前記視聴者の視線が指向する部分を指向
するように前記キャラクタの姿勢を変更する第１姿勢変
更手段を含む、請求項５ないし７のいずれかに記載のプ
レゼンテーション装置。
【請求項９】前記検出手段は前記撮影画像に基づいて前
記視聴者の手先が指向する部分を検出する手先検出手段
を含み、前記変更手段は前記手先が指向する部分を指向するよう
に前記キャラクタの姿勢を変更する第２姿勢変更手段を
含む、請求項５ないし８のいずれかに記載のプレゼンテ
ーション装置。
【請求項１０】前記検出手段は前記撮影画像に基づいて
前記視聴者の顔の動きを検出する顔動き検出手段を含
み、前記変更手段は前記顔の動きに応じて前記プレゼンテー
ションの内容を変更する内容変更手段を含む、請求項５
ないし９のいずれかに記載のプレゼンテーション装置。
【請求項１１】前記視聴者の音声を取り込む取り込み手
段をさらに備え、前記検出手段は前記視聴者の音声に基づいて前記視聴者
の位置を検出する第２位置検出手段をさらに含み、前記変更手段は前記第２位置検出手段の検出結果に基づ
いて前記視聴者を指向するように前記キャラクタの向き
を変更する第３向き変更手段を含む、請求項５ないし１
０のいずれかに記載のプレゼンテーション装置。