JP2005284727A - 身体的引き込み現象を利用したプレゼンテーションシステム - Google Patents

Abstract

【課題】 プレゼンテーションの表示画面に表示される発表内容の映像に対する身体的引き込み現象をもたらすプレゼンテーションシステムを提供する。
【解決手段】 発表内容の原映像の画像を生成させる画像生成部15と、発表者の音声を外部から入力させる音声入力部11と、発表者として振る舞う話し手キャラクタの動画又は聴講者として振る舞う聞き手キャラクタの動画を生成するキャラクタ生成部12と、前記話し手キャラクタの動画又は聞き手キャラクタの動画と原映像の画像とを合成して表示映像の画像を生成する映像合成部13と、前記表示映像の画像を表示画面へ出力する映像出力部14とからなり、発表者又は聴講者に話し手キャラクタ又は聞き手キャラクタを見せることにより身体的引き込み現象をもたらし、表示映像を見る発表者又は聴講者をこの表示映像に引き込ませるプレゼンテーションシステムである。
【選択図】 図２

Description

本発明は、プレゼンテーションの表示画面に表示される発表内容の映像を見る不特定又は多数の聴講者に、前記映像に対する身体的引き込み現象をもたらすプレゼンテーションシステムに関する。

プレゼンテーションの表示画面に表示される発表内容の映像を見る不特定又は多数の聴講者は、発表内容の映像に対する興味の度合いによって映像に対する引き込まれる程度が異なり、映像に引き込まれるほど，発表内容をよりよく理解できる。これは、映像から一方的に伝達される発表内容の理解は、基本的に聴講者の映像に対する引き込み程度に左右されることを意味する。これから、プレゼンテーションの発表者は、いかに聴講者の興味を誘い、聴講者を映像に対して引き込ませるかを工夫することになる。

聴講者を映像に対して引き込ませるには、発表内容の映像が聴講者の興味に合致すればよいが、発表内容の映像は発表者が発表したい内容に限られるから、当然各聴講者の嗜好に合わせて変更できず、発表内容の映像によって聴講者を表示画面に対して引き込ませることは難しい。これから、映像と聴講者との一体感をもたらす別の手段を講じることが考えられる。すなわち、各聴講者の嗜好に左右されず、聴講者に対して映像との一体感を感じさせることで、映像に対して聴講者を引き込ませるわけである。

例えば特許文献１は、テレビ会議システムを利用した講義において、先生及び学生の一体感を作り出し、先生の講義に対して学生を引き込ませるシステムを提案している。具体的には、先生又は各学生が見る映像に、先生又は各学生の代わりとなるキャラクタ(本人人格モデル及び他者人格モデル)を、先生のキャラクタと学生のキャラクタとを対面関係で同時に表示し、各キャラクタを先生又は各学生の音声に反応した身体動作をさせ、これらキャラクタの身体動作を先生又は学生に見せることにより、映像に対して先生又は学生を引き込ませ、もって講義に対して先生又は学生を引き込ませる。

上記システムは、先生又は学生に代わって自分又は他人の音声に必ず反応するキャラクタを先生又は学生に見せることにより、先生又は学生の音声(バーバル情報)以外に、キャラクタの身体的動作を視覚的な感覚情報(ノンバーバル情報)として与え、先生又は学生に映像に対する身体的引き込み現象をもたらしている。特許文献１は、各キャラクタの頭の頷き動作とこの頷き動作タイミングが身体的引き込み現象をもたらすために重要として、具体的には先生の音声から推定される頷き予測値が頷き閾値を越えた頷き動作タイミングで頭の頷き動作を実行している。

特開2001-307138号公報(３頁〜７頁、図２〜図７)

特許文献１により、身体的引き込み現象を利用して、映像に対する聴講者の引き込みを図ることが考えられる。ここで、特許文献１のシステムは、映像全体を一体に生成するため、複数のキャラクタを作成し、また配置も自由にできる。ところが、プレゼンテーションでは、発表者の音声と共に、別途生成される発表内容の映像を表示装置に表示して利用されるため、事前に作成された発表内容に改めてキャラクタを合成する必要があり、特許文献１の構成をそのまま利用することはできない。

このように、発表内容の映像に対して視覚的な感覚情報を与えるキャラクタを組み合わせることにより、聴講者を映像に対して引き込ませることができると予想されるものの、未だ具体的な手段が提案されていない。そこで、プレゼンテーションの表示画面に表示される発表内容の映像を見る不特定又は多数の聴講者に、前記映像に対する身体的引き込み現象をもたらすプレゼンテーションシステムを開発するため、発表内容の映像と身体的引き込み現象をもたらすキャラクタとを合成する手段について検討した。

検討の結果開発したものが、画像からなる発表内容の映像を表示画面に表示して発表者が音声によりプレゼンテーションする際に発表者又は聴講者をこの発表内容の映像に引き込ませるシステムであって、発表内容の原映像の画像を生成させる画像生成部と、発表者の音声を外部から入力させる音声入力部と、発表者に代わって発表者として振る舞う話し手キャラクタの動画又は表示映像を見る聴講者に代わって聴講者として振る舞う聞き手キャラクタの動画を生成するキャラクタ生成部と、前記話し手キャラクタの動画又は聞き手キャラクタの動画と原映像の画像とを合成し、原映像の画像中に話し手キャラクタ又は聞き手キャラクタが表示される表示映像の画像を生成する映像合成部と、前記表示映像の画像を表示画面へ出力する映像出力部とからなり、キャラクタ生成部は発表者の音声をON/OFF信号とみなして算出される話し手動作タイミングで発表者として振る舞う身体動作をする話し手キャラクタの動画、又は発表者の音声をON/OFF信号とみなして算出される聞き手動作タイミングで聴講者として振る舞う身体動作をする聞き手キャラクタの動画を生成してなり、表示画面に表示される表示映像を見る発表者又は聴講者に、この表示映像中に表示される話し手キャラクタ又は聞き手キャラクタを見せることにより、身体的引き込み現象を発表者又は聴講者にもたらし、表示映像を見る発表者又は聴講者をこの表示映像に引き込ませるプレゼンテーションシステムである。

「発表内容の映像」は、通常静止している画像からなるが、近年普及しているプレゼンテーションアプリケーションを利用したプレゼンテーションのように、動画又は音声を含んで構成してもよい。これから、発表内容の映像の画像とは、静止している画像のほか、前記動画又は音声を含むものとする。「話し手キャラクタ」は、基本的には人又は擬人化した動物等、人の動きを表す動画を意味するが、発表者の動きが最も顕著に現れると推定される時系列上の特定時点、すなわち話し手動作タイミングで、発表者として振る舞う動きをするものであれば、植物や無機物の動画でよい。「聞き手キャラクタ」は、基本的には人又は擬人化した動物の動画を意味するが、聴講者の反応が最も顕著に現れると推定される時系列上の特定時点、すなわち聞き手動作タイミングで、聴講者として振る舞う動きをするものであれば、植物や無機物の動画でもよい。以下で、人を模した動画からなる話し手キャラクタ及び聞き手キャラクタを例に説明する。

画像生成部は、発表内容の原映像の画像を生成する部分で、OHP画像を取り込む装置や、プレゼンテーションアプリケーションの画像を生成するコンピュータからなる。音声入力部は、発表者の音声を外部から入力させる部分で、発表者が使用するマイクと、前記マイクにより集音した発表者の音声をキャラクタ生成部へ送り込む音声入力インタフェースからなる。キャラクタ生成部は、話し手動作タイミングで発表者として振る舞う身体動作をする話し手キャラクタの動画を生成する部分、又は聞き手動作タイミングで聴講者として振る舞う身体動作をする聞き手キャラクタの動画を生成する部分で、話し手動作タイミング又は聞き手動作タイミングの算出の関係から、コンピュータにより構成するとよい。この場合、前記画像生成部も前記コンピュータで構成したり、音声入力部をコンピュータの内蔵又は外付インタフェースで構築してもよい。映像合成部は、話し手キャラクタの動画又は聞き手キャラクタの動画と原映像の画像とを合成し、原映像の画像中に話し手キャラクタ又は聞き手キャラクタが表示される表示映像の画像とする部分で、前記コンピュータで構成するとよい。映像出力部は、表示画面であるスクリーンに表示映像を投影したり、テレビ等の表示画面へ表示映像を出力する部分を意味し、従来公知の各種映像入出力インタフェースを用いることができる。表示映像がコンピュータで生成され、これをテレビ放送用の器材で投影又は表示する場合には、表示映像の画像をテレビ放送の動画に変換するコンバータが必要になる。

本発明のプレゼンテーションシステムは、表示画面に表示する表示映像中に、発表者として振る舞う身体動作をする話し手キャラクタ、又は聴講者として振る舞う身体動作をする聞き手キャラクタを表示する。発表者は、話し手キャラクタを見て身体リズムを共有することにより身体的引き込み現象がもたらされるほか、聞き手キャラクタを見ることにより身体的引き込み現象がもたらされ、表示映像に引き込まれる。聴講者は、話し手キャラクタを見ることにより身体的引き込み現象をもたらされるほか、聞き手キャラクタを見て身体リズムを共有することにより身体的引き込み現象がもたらされ、表示映像に引き込まれる。従来にも身体動作をするキャラクタを映像中に表示する既存技術は存在する。しかし、本発明では、音声の大小に比例した身体動作ではなく、話し手キャラクタは音声をON/OFF信号とみなして算出される話し手動作タイミングで発表者として振る舞う身体動作をし、聞き手キャラクタは音声をON/OFF信号とみなして算出される聞き手動作タイミングで聴講者として振る舞う身体動作をする点が異なる。

本発明の特徴は、話し手キャラクタが話し手動作タイミングで発表者として振る舞う身体動作をする点、又は聞き手キャラクタが聞き手動作タイミングで聴講者として振る舞う身体動作をする点に特徴がある。まず、話し手キャラクタについて説明する。話し手動作タイミングは、発表者の動きが最も顕著に現れると推定される時系列上の特定時点とする。この話し手動作予測の算出には、話し手動作予測値の推定が重要となる。この話し手動作予測値は、現在から一定時間範囲の過去に取得した音声の現在に対する影響の度合いを積算して算出するとよい。前記影響の度合いは、現在と過去とを線形結合、非線形結合又はニューラルネットワーク等で関係づけることにより導き出すことができる。例えば、現在から一定時間範囲の過去に取得した音声の現在に対する影響の度合いを線形結合で導き出す場合、キャラクタ生成部は、発表者の音声の移動平均(Moving Average)により推定される話し手動作予測値が予め定めた話し手動作閾値を越えた時点を話し手動作タイミングとして算出するとよい。前記移動平均は、例えば次式を用いる。数１中、ｙ(ｉ)は話し手動作予測値、ａ(ｊ)は話し手予測係数、そしてｘ(ｉ−ｊ)は発表者の音声を表す。

上記数１によれば、音声ｘ(ｉ−ｊ)が一定時間ない場合に話し手動作予測値ｙ(ｉ)が０となるので、この話し手動作予測値ｙ(ｉ)が０となる時間が長くなると、話し手キャラクタが動かなくなり、不自然に見える虞れがある。こうした場合、上記数１にノイズを加えた数２により、話し手動作予測値を算出するとよい。数２中、ｙ(ｉ)は話し手動作予測値、ａ(ｊ)は話し手予測係数、ｘ(ｉ−ｊ)は発表者の音声、そしてｗ(ｉ)はノイズを表す。ノイズｗ(ｉ)は乱数により、話し手動作予測値ｙ(ｉ)を算出する度に異なる値を用いる。これにより、話し手動作予測値ｙ(ｉ)に自然なゆらぎが加味され、例えば発表者の音声が長く途切れても話し手動作タイミングを算出し、話し手キャラクタを適宜身体動作させることができる。

話し手キャラクタは、発表者の動きが最も顕著に現れると推定される時系列上の特定時点である話し手動作タイミングで、発表者として振る舞う身体動作をすることが重要である。これから、キャラクタ生成部は、身体的引き込み現象をもたらしやすい身体動作として、発表者の振る舞いとして頭の振り動作を含む身体動作をする話し手キャラクタの動画を生成するとよい。頭の振り動作は、何かに対する反応として最も分かりやすい身体動作である。また、話し手キャラクタを発表者の代わりとするため、キャラクタ生成部は、聴講者に対して正面を向いた身体動作をする話し手キャラクタの動画を生成するとよい。

話し手キャラクタは、発表者の代わりに発表者として振る舞い、例えば上述した頭の振り動作を含む身体動作をする。通常、発表者は一人であるから、話し手キャラクタも単数でよいが、複数設けても構わない。この場合、キャラクタ生成部は、同じ又は異なる身体動作をする複数の話し手キャラクタの動画を生成する。各話し手キャラクタは、不自然な規則性が除外された話し手動作予測値と各話し手キャラクタ毎に定めた異なる話し手動作閾値とを比較して、それぞれ独立して身体動作をすることができる。また、複数の話し手キャラクタは、表示映像中、異なる表示位置に配置するとよい。

このようにして、本発明のプレゼンテーションシステムは、発表者として振る舞う身体動作をする話し手キャラクタを用いて発表者又は聴講者に身体的引き込み現象をもたらすが、この話し手キャラクタが表示映像中の発表内容を邪魔しては意味がない。あくまで、話し手キャラクタの身体動作を見せることにより、表示映像中の発表内容に発表者又は聴講者を引き込まなければならないからである。これから、話し手キャラクタの単数又は複数を問わず、キャラクタ生成部は表示映像の発表内容を避けた余白に表示する話し手キャラクタの動画を生成する。ここで、話し手キャラクタの表示映像に対する大きさは一様に決定することは難しいが、表示映像の画像を阻害しない大きさで、かつ身体動作が聴講者全員に十分認識できる大きさにすることが望ましい。例えば100インチの表示画面に対して、高さ方向で20〜30％、横方向で10〜20％が好ましい。

また、原映像で表現される発表内容は不定形で、発表の進行に伴って変化するため、話し手キャラクタは適宜表示位置を設定し直し、また拡大又は縮小できることが望ましい。これから、キャラクタ生成部は、原映像の画像と独立して表示位置の設定や拡大又は縮小自在な話し手表示領域内に話し手キャラクタの動画を生成するとよい。これは、コンピュータを用いたプレゼンテーションにおいて、プレゼンテーションアプリケーションで生成した原映像に、補助アプリケーションで生成した話し手キャラクタを、コンピュータの表示画面上で重ねる場合に適している。具体的には、原映像のレイヤーと話し手表示領域のレイヤーとを異ならせることにより、話し手表示領域の表示位置の設定や拡大又は縮小が自由にできるようになる。話し手表示領域の拡大又は縮小は、話し手表示領域を囲む表示枠をポインタで掴むことによる操作で実現できる。これから、話し手表示領域は、GUI環境で移動、拡大又は縮小が自由なウィンドウで実現するとよい。

次に、聞き手キャラクタについて説明する。聞き手キャラクタは、聞き手動作タイミングで聴講者として振る舞う身体動作をする点に特徴がある。聞き手動作タイミングは、聴講者の反応が最も顕著に現れると推定される時系列上の特定時点である。ここで、聞き手動作予測値は、上述した話し手動作予測値と同様に算出できる。具体的には、キャラクタ生成部は、発表者の音声の移動平均(Moving Average)により推定される聞き手動作予測値が予め定めた聞き手動作閾値を越えた時点を聞き手動作タイミングとして算出するとよい。前記移動平均は、例えば上記数１を用いることができる。聞き手動作予測値の算出では、数１中、ｙ(ｉ)は聞き手動作予測値、ａ(ｊ)は聞き手予測係数、そしてｘ(ｉ−ｊ)は発表者の音声を表す。また、上記数２を用いて、自然なゆらぎを加味した聞き手動作予測値ｙ(ｉ)を推定して、例えば発表者の音声が長く途切れても聞き手動作タイミングを算出することにより、聞き手キャラクタを適宜身体動作させることができる。

キャラクタ生成部は、身体的引き込み現象をもたらしやすい身体動作として、聴講者の振る舞いとして頭の頷き動作を含む身体動作をする聞き手キャラクタの動画を生成するとよい。頭の頷き動作は、聴講者にとって、音声の応答として最も分かりやすい身体動作である。ここで、聞き手キャラクタを発表者に対する聴講者と見た場合、キャラクタ生成部は、聴講者に対して正面を向いた身体動作をする聞き手キャラクタの動画を生成するとよい。また、聞き手キャラクタを聴講者の代わりと見た場合、キャラクタ生成部は、聴講者に対して背面を向けた身体動作をする聞き手キャラクタの動画を生成するとよい。いずれの場合も、キャラクタ生成部は、原映像の画像と独立して表示位置の設定や拡大又は縮小自在な聞き手表示領域内に聞き手キャラクタの動画を生成するとよい。これは、コンピュータを用いたプレゼンテーションにおいて、プレゼンテーションアプリケーションで生成した原映像に、補助アプリケーションで生成した聞き手キャラクタを、コンピュータの表示画面上で重ねる場合に適している。この聞き手表示領域の説明は、上述の話し手表示領域に準じるため、省略する。

聞き手キャラクタは、聴講者の代わりに聴講者として振る舞う、例えば上述した頭の頷き動作を含む身体動作をする。これから、不特定又は多数の聴講者がいる場合でも、各聴講者の代わりとなる聞き手キャラクタが単数あればよい。しかし、各聴講者から見て、自分以外の聴講者が存在していると感じられれば、各聴講者は聞き手キャラクタと身体リズムを共有させ、各聴講者に身体的引き込み現象をもたらしやすくなる。これから、聞き手キャラクタ生成部は、同じ又は異なる身体動作をする複数の聞き手キャラクタの動画を生成するとよい。各聞き手キャラクタは、各聞き手キャラクタ毎に定めた異なる聞き手動作閾値を用いて、それぞれ独立して身体動作をすることができる。また、複数の聞き手キャラクタは、表示映像中、同じ表示位置に配置してもよいし、それぞれ異なる表示位置に配置してもよい。

このように、聞き手キャラクタの数及び表示位置は自由であるが、上記話し手キャラクタ同様、聞き手キャラクタが表示映像中の発表内容を邪魔しては意味がない。これから、聞き手キャラクタの単数又は複数を問わず、キャラクタ生成部は表示映像の発表内容を避けた余白に表示する聞き手キャラクタの動画を生成する。ここで、聞き手キャラクタの表示映像に対する大きさは一様に決定することは難しいが、表示映像の画像を阻害しない大きさで、かつ身体動作が聴講者全員に十分認識できる大きさにすることが望ましい。例えば100インチの表示画面に対して、高さ方向で20〜30％、横方向で10〜20％が好ましい。また、話し手キャラクタ及び聞き手キャラクタは、同じ大きさでもよいが、大小関係を持たせる場合は、話し手キャラクタに対して相対的に小さい聞き手キャラクタにする。

本発明のプレゼンテーションシステムでは、話し手キャラクタだけを表示映像中に表示してもよいし、逆に聞き手キャラクタだけを表示映像中に表示してもよい。話し手キャラクタ又は聞き手キャラクタそれぞれに、発表者又は聴講者に身体的引き込み現象をもたらす働きがあるためである。両者を同時に表示する場合、発表者の代わりである話し手キャラクタと、聴講者の代わりである聞き手キャラクタとの位置関係を工夫することにより、両者の役割分担を明確にし、発表者又は聴講者に身体的引き込み現象をもたらしやすくなる。これから、キャラクタ生成部は、向かい合う位置関係の話し手キャラクタ及び聞き手キャラクタの動画を生成するとよい。向かい合う位置関係とは、話し手キャラクタは聴講者に対して正面を向き、聞き手キャラクタは聴講者に対して背面を向けて、両者の視線が向かい合う位置関係を例示できる。

本発明は、身体的引き込み現象を利用して、発表内容の映像に対する発表者又は聴講者の引き込みを図ることができるプレゼンテーションシステムを提供する。これにより、発表者にとっては話しやすく、聴講者にとっては聞きやすいプレゼンテーションを実現できる。これは、話し手キャラクタ又は聞き手キャラクタにより発表者又は聴講者にもたらされる身体的引き込み現象による効果である。そして、こうした身体的引き込み現象は、話し手キャラクタの話し手動作タイミングの算出と、前記話し手動作タイミングで実行する頭の振り動作との組み合わせ、そして聞き手キャラクタの聞き手動作タイミングの算出と、前記聞き手動作タイミングで実行する頭の頷き動作との組み合わせに負う。

話し手キャラクタ又は聞き手キャラクタは、表示映像の発表内容を避けた余白に表示位置を設定した話し手表示領域又は聞き手表示領域内に表示することで、表示位置の変更や拡大又は縮小をして発表内容を阻害することを避けながら、発表者又は聴講者に身体的引き込み現象をもたらすことができる。更に、話し手キャラクタ及び聞き手キャラクタを向かい合う位置関係にそれぞれ配置することで、プレゼンテーションの場面を表示映像内に再現しながら、両者が発表者又は聴講者に与える役割分担が明確になり、発表者又は聴講者によりよく身体的引き込み現象をもたらすことができる。

以下、本発明の実施形態について図を参照しながら説明する。図１は本発明のプレゼンテーションシステムの構築例を示す斜視図、図２は同プレゼンテーションシステムのシステム構成図、図３〜図５は話し手キャラクタ21又は聞き手キャラクタ22を合成した表示映像24を表す図であり、図３は聞き手キャラクタ22のみを、図４は聴講者に対して正面を向けた話し手キャラクタ21及び聞き手キャラクタ22を、そして図５は聴講者に対して正面を向けた話し手キャラクタ21と聴講者に背面を向けた2体の聞き手キャラクタ22,22とを表示している。また、話し手キャラクタ及び聞き手キャラクタのない原映像23を、図４に対して図６を、図５に対して図７を示す。

本発明のプレゼンテーションシステムは、ハードウェア又はソフトウェアにより構成できる。ハードウェアで構成するプレゼンテーションシステムは、OHPを用いたプレゼンテーションでの利用に適している。この場合、OHPから発表内容の原映像をそのままスクリーンに投影する構成と、OHPから前記画像を取り込んで話し手キャラクタ又は聞き手キャラクタを合成して表示映像をスクリーンに投影する構成とが考えられる。前者は、OHPが画像生成部と、発表内容の映像の画像のみをスクリーンに投影する映像出力部とを構成し、音声入力部と、キャラクタ生成部と、キャラクタのみをスクリーンに投影する映像出力部とを別途ハードウェアで構成する。この場合、スクリーンに対して前記画像と話し手キャラクタ又は聞き手キャラクタとを投影することで、発表内容の映像の画像と話し手キャラクタ又は聞き手キャラクタの動画とを合成することから、特に別途ハードウェアで映像合成部を構成する必要はない。後者は、OHPが画像生成部を構成し、音声入力部と、キャラクタ生成部と、映像合成部と、映像出力部とを別途ハードウェアで構成する。この場合、映像出力部は、発表内容の映像の画像と話し手キャラクタ又は聞き手キャラクタの動画とを合成した表示映像をスクリーンに投影する。

ソフトウェアで構成するプレゼンテーションシステムは、各部をコンピュータ上で実行するアプリケーションで構成することにより、システム構成を簡略化できる。具体的なプレゼンテーションシステムは、各部の処理を有するプレゼンテーションアプリケーションをコンピュータ上で実行させる構成と、各部の処理を有する追加プログラム(アドイン又はプラグイン)をプレゼンテーションアプリケーションに追加して働かせる構成と、プレゼンテーションアプリケーションをコンピュータ上で実行させながら、画像生成部を除く各部の処理を有する補助アプリケーションをコンピュータ上で同時に実行させる構成とを例示できる。

各部の処理を有するプレゼンテーションアプリケーションをコンピュータ上で実行させる構成や、各部の処理を有する追加プログラムをプレゼンテーションアプリケーションに追加して働かせる構成は、映像合成部を内部的なプログラムの処理により実現する。この場合、発表内容の映像の画像と話し手キャラクタ又は聞き手キャラクタの動画とは、プレゼンテーションアプリケーションの出力データとして既に合成されて表示映像になっているため、コンピュータの出力機能を映像出力部として前記表示映像を出力すればよい。また、プレゼンテーションアプリケーションをコンピュータ上で実行させながら、画像生成部を除く各部の処理を有する補助アプリケーションをコンピュータ上で同時に実行させる構成は、プレゼンテーションアプリケーションが表示する発表内容の画像と、補助アプリケーションが表示する話し手キャラクタ又は聞き手キャラクタの動画とを同時にコンピュータの表示画面に表示させ、コンピュータの出力機能を映像出力部として前記表示画面をそのまま出力すればよい。この場合、前記画像や話し手キャラクタ又は聞き手キャラクタの動画を同時にコンピュータの表示画面に表示させることが映像合成部の処理にあたり、コンピュータの出力機能が映像出力部となる。

近年、プレゼンテーションアプリケーションを用いたプレゼンテーションが普及している。また、上述のハードウェアによる構成とソフトウェアによる構成とを比較した場合、ソフトウェアによる構成の方がシステム構成が簡略化される利点がある。そこで、上述のソフトウェアによる構成のうち、プレゼンテーションアプリケーションをコンピュータ上で実行させながら、画像生成部を除く各部の処理を有する補助アプリケーションをコンピュータ上で同時に実行させる構成に基づくプレゼンテーションシステムを例に、以下説明する。

プレゼンテーションシステムは各部の処理を有するコンピュータ10により構成できるが、図１に見られるように、前記コンピュータ10を中心として、発表者の音声の取り込みを担う入力インタフェースとしてマイク31及び受信装置32と、表示映像24をスクリーン34に投影する出力インタフェースとしてプロジェクタ33とを、相互に接続して使用する。本例では、マイク31で集音した発表者の音声を無線で受信装置32に無線送信し、コンピュータ10に取り込むようにしている。これにより、コンピュータ10の操作を他者に任せ、発表者はプレゼンテーションシステムから離れた位置、例えば表示映像24に寄ってプレゼンテーションをすることができる。

コンピュータ10は、画像生成部15となるプレゼンテーションアプリケーションを実行させながら、同時に音声入力部11及びキャラクタ生成部12となる補助アプリケーションを実行させる。既述したように、各アプリケーションの出力データ、すなわち発表内容の原映像の画像と、話し手キャラクタ又は聞き手キャラクタの動画とを、同時にコンピュータ10の表示画面に表示させて映像合成部13の処理を実現し、コンピュータ10の出力機能を映像出力部14として用いることで、コンピュータ10を用いたプレゼンテーションシステムを構成できる。このように、本例のプレゼンテーションシステムは、プレゼンテーションアプリケーション、補助アプリケーション及びコンピュータ10の各種機能を併用している。しかし、前記処理手順及び機能は一体化しているため、プレゼンテーションシステムとしては図２のようなシステム構成として表すことができる。

本例では、プレゼンテーションアプリケーションが画像生成部15を、コンピュータ10の表示機能が映像合成部13、そしてコンピュータ10の出力機能が映像出力部14を構成する。よって、プレゼンテーションシステムを構成するために追加する部分は、音声入力部11及びキャラクタ生成部12を構成する補助アプリケーションのみとなる。以下では、補助アプリケーションについて説明する。

本例の補助アプリケーションは、音声を取り込んでデータ変換する入力プログラムと、話し手キャラクタ又は聞き手キャラクタの生成プログラムとに分けることができる。音声入力部11は、前記入力プログラムを実行し、コンピュータ10の演算処理能力を利用して構成する。この音声入力部11は、上述した入力インタフェースであるマイク31が集音した発表者の音声をコンピュータ10に取り込んで、アナログデータである前記音声を、話し手動作予測値又は聞き手動作予測値の推定に用いるディジタルデータに変換する処理を担う。こうした音声処理は、従来公知の各種手段を用いることができ、本例のように入力プログラムとコンピュータ10の演算処理能力との組み合わせによるほか、ハードウェアのみでも実現できる。

キャラクタ生成部12は、生成プログラムを実行し、コンピュータ10の演算処理能力を利用して構成する。この生成プログラムは、話し手生成プログラムと、聞き手生成プログラムとに分けることができる。話し手生成プログラムは、話し手動作タイミング算出手順と、話し手身体動作生成手順とに分けることができる。話し手動作タイミング算出手順は、話し手動作予測値の推定手順、話し手動作予測値と話し手動作閾値との比較手順、そして話し手動作予測値が話し手動作閾値を超えた時点を話し手動作タイミングとする算出手順に分けることができる。話し手身体動作生成手順は、表示映像24(図４参照)の特定位置で、特定の身体動作をする話し手キャラクタ21の動画を生成する。同様に、聞き手生成プログラムは、聞き手動作タイミング算出手順と、聞き手身体動作生成手順とに分けることができる。聞き手動作タイミング算出手順は、聞き手動作予測値の推定手順、聞き手動作予測値と聞き手動作閾値との比較手順、そして聞き手動作予測値が聞き手動作閾値を超えた時点を聞き手動作タイミングとする算出手順に分けることができる。聞き手身体動作生成手順は、表示映像24(図３参照)の特定位置で、特定の身体動作をさせる聞き手キャラクタ22の動画を生成する。

発表内容の映像の画像に、話し手キャラクタ又は聞き手キャラクタのいずれか一方のみを合成するには、上述のように話し手生成プログラム及び聞き手生成プログラムを個別にする方が好ましい。しかし、既述したように、話し手動作タイミング及び聞き手動作タイミングの算出に係る計算式(数１又は数２)は同じものが使え、この場合、話し手予測係数ａ(ｊ)と聞き手予測係数ａ(ｊ)のみを違えればよい。これから、話し手生成プログラムと聞き手生成プログラムとを兼ねた共通生成プログムを用い、話し手動作タイミングだけの算出又は聞き手動作タイミングだけを算出するか、発表内容の映像の画像に対する合成の段階で話し手キャラクタ又は聞き手キャラクタの一方のみを選択させるとよい。共通生成プログラムは、異なる話し手動作タイミングと聞き手動作タイミングとを算出する。これにより、話し手身体動作生成手順は、話し手動作タイミングで、表示映像24(図４参照)の話し手表示領域26内で身体動作をさせる話し手キャラクタ21の動画を生成する。また、聞き手身体動作生成手順は、聞き手動作タイミングで、表示映像24(図３参照)の聞き手表示領域27内で身体動作をさせる聞き手キャラクタ22の動画を生成する。

話し手動作タイミングを算出する場合を例に、具体的な算出手順を説明する。話し手動作予測値を発表者の音声の移動平均(Moving Average)により推定する場合、話し手動作予測値の推定手順は、現在から一定時間範囲の過去に取得した発表者の音声の現在に対する影響の度合いとして共通動作予測値を算出する。既述した数１又は数２を用いた場合、前記算出は、微小時間単位における話し手予測係数ａ(ｊ)及び発表者の音声ｘ(ｉ−ｊ)の積の和となり、計算量は現在から一定時間範囲の分割数に比例する。ここで、前記一定時間範囲を長くしたり、分割数を増やせば、より適切な共通動作予測値を推定できる。しかし、発表者の音声ｘ(ｉ−ｊ)は現時点から過去数秒程度を分割し、テレビ放送のフレーム数を目安として、音声ｘ(ｉ−ｊ)が1/30sec単位になる程度が現実的であり、コンピュータ10の負荷も軽減できる。

キャラクタ生成部12は、話し手身体動作生成手順により、算出した話し手動作タイミングで実行する話し手キャラクタの身体動作を生成し、かつ話し手キャラクタの表示の有無及び表示位置を設定する。また、聞き手身体動作生成手順により、算出した共通動作タイミングで実行する聞き手キャラクタの身体動作を生成し、かつ聞き手キャラクタの表示の有無及び表示位置を設定する。話し手キャラクタ21について具体的に説明すれば、話し手キャラクタ21を表示させる話し手表示領域26(図４参照)を設定し、話し手キャラクタ21を前記話し手表示領域26内で身体動作させることとして、話し手表示領域26の表示の有無や表示座標の調整ができるようにすればよい。聞き手キャラクタ22についても、聞き手キャラクタ22を聞き手表示領域27(図３参照)内で身体動作させることとして、前記聞き手表示領域27の表示の有無や表示座標の調整ができるようにすればよい。

話し手キャラクタ21(図４参照)の具体的な身体動作は、頭の振り動作のほか、腕の振り動作又は胴の旋回動作等それぞれに異なる複数の動作パターンを用意し、これらを組み合わせて話し手動作タイミングで実行させるとよい。複数の話し手キャラクタを用いる場合、各話し手キャラクタの身体動作は同じ又は異なってもよい。複数の話し手キャラクタは、組み合わせる動作パターンの種類を変えることで異なる身体動作をさせることができる。また、それぞれの話し手動作タイミングを変えることにより、経時的な身体動作の変化を異ならせることができ、結果として異なる身体動作をさせることもできる。

聞き手キャラクタ22(図３参照)の具体的な身体動作は、頷き動作のほか、頭の振り動作、腕の振り動作又は胴の旋回動作等それぞれに異なる複数の動作パターンを用意し、これらを組み合わせて聞き手動作タイミングで実行させるとよい。複数の聞き手キャラクタ22,22(図５参照)を用いる場合、各聞き手キャラクタ22の身体動作は同じ又は異なってもよい。複数の聞き手キャラクタは、組み合わせる動作パターンの種類を変えることで異なる身体動作をさせることができる。また、それぞれの聞き手動作タイミングを変えることにより、経時的な身体動作の変化を異ならせることができ、結果として異なる身体動作をさせることもできる。

次に、本例のプレゼンテーションシステムの使用手順について説明する。発表者は、予めプレゼンテーションアプリケーションを利用して、プレゼンテーションの発表内容(プレゼンテーションアプリケーション用データ)を作成しておく。プレゼンテーションでは、コンピュータ10上でプレゼンテーションアプリケーション及び補助アプリケーションを実行させ、コンピュータ10の表示画面に、発表内容の原映像の画像と聞き手キャラクタ22の動画とを同時に表示させて表示映像24を作り、この表示画面上の表示映像24をプロジェクタ33からスクリーン34へ投影することにより、図３に見られるように、聞き手キャラクタ22を合成した表示映像24を聴講者に見せることができる。

本例では、聞き手キャラクタ22の四角形状の聞き手表示領域27が明確になるように、前記聞き手表示領域27周囲を囲む表示枠28を設けているが、この表示枠がない又は無色であり、また聞き手キャラクタ22を除く聞き手表示領域27が発表内容の映像の画像と同色であれば、聞き手キャラクタ22は完全に前記画像に溶け込み、違和感なく表示できるようになる。聞き手表示領域27の表示枠28は、聞き手キャラクタ22の表示位置を設定する際、余白25に対する位置関係を把握する場合に便利である。また、聞き手キャラクタ22を拡大又は縮小できるようにした場合、聞き手キャラクタ22を直接拡大又は縮小させるよりも、表示枠28をポインタ(図示略)で掴み、聞き手表示領域27全体を拡大又は縮小させる方が便利である。このように、聞き手キャラクタ22の拡大又は縮小にあたっても、聞き手表示領域27及び表示枠28は便利である。

本発明のプレゼンテーションシステムは、発表内容の表示映像中に話し手キャラクタ又は聞き手キャラクタを表示することで、表示映像に発表者又は聴講者を引き込ませる。既述したように、話し手キャラクタ又は聞き手キャラクタはそれぞれ発表者又は聴講者に働きかけるので、いずれか一方のみの表示でもよいが、聴講者として振る舞う身体動作をする聞き手キャラクタと、発表者として振る舞う身体動作をする話し手キャラクタとを同一表示映像中に表示すると、話し手キャラクタ及び聞き手キャラクタの関係が明示され、発表者及び聴講者双方に、よりよく身体的引き込み現象がもたらされると考えられる。

そこで、図４に見られるように、表示映像24中の左上の余白25に話し手キャラクタ21を、そして表示映像24中の右下の余白25に聞き手キャラクタ22をそれぞれ配し、発表者及び聴講者に話し手キャラクタ21及び聞き手キャラクタ22を同時に見せるようにするとよい。この場合、話し手キャラクタ21は表示枠28に囲まれた四角形状の話し手表示領域26内に表示し、聞き手キャラクタ22は表示枠28に囲まれた四角形状の聞き手表示領域27内に表示するとことで、表示位置の設定や話し手キャラクタ21又は聞き手キャラクタ22の拡大又は縮小が容易になる。また、本例の話し手キャラクタ21又は聞き手キャラクタ22は、発表者又は聴講者に対面させるため、共に聴講者に対して正面を向いている。

ここで、図６に見られる余白25に話し手キャラクタ及び聞き手キャラクタのない原映像23と、上述の図４に見られる表示映像24とを比較すると、話し手キャラクタ21及び聞き手キャラクタ22の有無だけでも、原映像23と表示映像24との間に違いがあることが分かる。図示では話し手キャラクタ21及び聞き手キャラクタ22の身体動作が分からないものの、原映像23は殺風景であり、聴講者が発表内容に興味がなければ原映像23に聴講者が引き込まれる可能性は少ない。これに対し、表示映像24中にはそれぞれ身体動作をする話し手キャラクタ21及び聞き手キャラクタ22が表示されており、これだけでも聴講者の注意を引くことが期待される。これから、本発明のプレゼンテーションシステムでは、更に話し手キャラクタ21及び聞き手キャラクタ22がそれぞれ発表者又は聴講者に働きかける身体動作をすることから、表示映像24への引き込みが期待できる。

話し手キャラクタ21及び聞き手キャラクタ22を同時に表示する場合、図５に見られるように、話し手キャラクタ21及び聞き手キャラクタ22を対面関係にするため、１体の話し手キャラクタ21を聴講者に対して正面を向けて余白25に配し、２体の聞き手キャラクタ22,22は聴講者に対して背面を向けて個別の余白25,25に配している。これは、実際のプレゼンテーションの場面を表示映像24中に再現した構成と見ることができる。本例でも、話し手キャラクタ21は表示枠28に囲まれた四角形状の話し手表示領域26に表示され、聞き手キャラクタ22はそれぞれ独立した四角形状の聞き手表示領域27に表示されている。すなわち、２体の聞き手キャラクタ22は、それぞれ独立して表示位置を設定し、拡大又は縮小ができる。

図５に見られる表示映像24は、聴講者に対して背面を向けた２体の聞き手キャラクタ22,22が、それぞれの身体動作、特に頷き動作によって聴講者に身体的引き込み現象をもたらすほか、聴講者に対して自分以外の複数の聴講者の存在を意識させ、身体リズムを共有させることでも身体的引き込み現象をもたらすことができる。また、図７に見られる余白25に話し手キャラクタ及び聞き手キャラクタのない原映像23と比べると、やはり原映像23は殺風景であり、話し手キャラクタ21及び聞き手キャラクタ22の存在自体の有効性が理解できる。このように、本発明のプレゼンテーションシステムは、発表内容を表示する表示映像中に話し手キャラクタ又は聞き手キャラクタを表示することで前記表示映像を充実させると共に、前記話し手キャラクタ又は聞き手キャラクタが視覚的な感覚情報である身体動作を発表者又は聴講者に与えることで身体的引き込み現象をもたらし、積極的に表示映像への発表者又は聴講者の引き込みを図る効果を有し、よりよいプレゼンテーションをすることができる。

本発明のプレゼンテーションシステムの構築例を示す斜視図である。 同プレゼンテーションシステムのシステム構成図である。 聞き手キャラクタのみを合成した表示映像を表す図である。 聴講者に対して正面を向けた話し手キャラクタ及び聞き手キャラクタを合成した表示映像を表す図である。 聴講者に対して正面を向けた話し手キャラクタと聴講者に背面を向けた2体の聞き手キャラクタとを合成した表示映像を表す図である。 話し手キャラクタ及び聞き手キャラクタのない原映像の図４相当図である。 話し手キャラクタ及び聞き手キャラクタのない原映像の図５相当図である。

符号の説明

10 コンピュータ
11 音声入力部
12 キャラクタ生成部
13 映像合成部
14 映像出力部
15 画像生成部
21 話し手キャラクタ
22 聞き手キャラクタ
23 原映像
24 表示映像
25 余白
26 話し手表示領域
27 聞き手表示領域
28 表示枠
31 マイク
32 受信装置
33 プロジェクタ
34 スクリーン

Claims (15)

1. 画像からなる発表内容の映像を表示画面に表示して発表者が音声によりプレゼンテーションする際に発表者又は聴講者を該発表内容の映像に引き込ませるシステムであって、発表内容の原映像の画像を生成させる画像生成部と、発表者の音声を外部から入力させる音声入力部と、発表者に代わって発表者として振る舞う話し手キャラクタの動画、又は表示映像を見る聴講者に代わって聴講者として振る舞う聞き手キャラクタの動画を生成するキャラクタ生成部と、前記話し手キャラクタの動画又は聞き手キャラクタの動画と原映像の画像とを合成し、原映像の画像中に話し手キャラクタ又は聞き手キャラクタが表示される表示映像の画像を生成する映像合成部と、前記表示映像の画像を表示画面へ出力する映像出力部とからなり、キャラクタ生成部は発表者の音声をON/OFF信号とみなして算出される話し手動作タイミングで発表者として振る舞う身体動作をする話し手キャラクタの動画、又は発表者の音声をON/OFF信号とみなして算出される聞き手動作タイミングで聴講者として振る舞う身体動作をする聞き手キャラクタの動画を生成してなり、表示画面に表示される表示映像を見る発表者又は聴講者に、該表示映像中に表示される話し手キャラクタ又は聞き手キャラクタを見せることにより、身体的引き込み現象を発表者又は聴講者にもたらし、表示映像を見る発表者又は聴講者を該表示映像に引き込ませる身体的引き込み現象を利用したプレゼンテーションシステム。
2. キャラクタ生成部は、発表者の音声の移動平均により推定される話し手動作予測値が予め定めた話し手動作閾値を越えた時点を、発表者として振る舞う身体動作をする話し手キャラクタの話し手動作タイミングとして算出する請求項１記載の身体的引き込み現象を利用したプレゼンテーションシステム。
3. キャラクタ生成部は、発表者の振る舞いとして頭の振り動作を含む身体動作をする話し手キャラクタの動画を生成する請求項１記載の身体的引き込み現象を利用したプレゼンテーションシステム。
4. キャラクタ生成部は、聴講者に対して正面を向いた身体動作をする話し手キャラクタの動画を生成する請求項１記載の身体的引き込み現象を利用したプレゼンテーションシステム。
5. キャラクタ生成部は、同じ又は異なる身体動作をする複数の話し手キャラクタの動画を生成する請求項１記載の身体的引き込み現象を利用したプレゼンテーションシステム。
6. キャラクタ生成部は、表示映像の発表内容を避けた余白に表示する話し手キャラクタの動画を生成する請求項１記載の身体的引き込み現象を利用したプレゼンテーションシステム。
7. キャラクタ生成部は、原映像の画像と独立して表示位置の設定や拡大又は縮小自在な話し手表示領域内に話し手キャラクタの動画を生成する請求項１記載の身体的引き込み現象を利用したプレゼンテーションシステム。
8. キャラクタ生成部は、発表者の音声の移動平均により推定される聞き手動作予測値が予め定めた聞き手動作閾値を越えた時点を、聴講者として振る舞う身体動作をする聞き手キャラクタの聞き手動作タイミングとして算出する請求項１記載の身体的引き込み現象を利用したプレゼンテーションシステム。
9. キャラクタ生成部は、聴講者の振る舞いとして頭の頷き動作を含む身体動作をする聞き手キャラクタの動画を生成する請求項１記載の身体的引き込み現象を利用したプレゼンテーションシステム。
10. キャラクタ生成部は、聴講者に対して正面を向いた身体動作をする聞き手キャラクタの動画を生成する請求項１記載の身体的引き込み現象を利用したプレゼンテーションシステム。
11. キャラクタ生成部は、聴講者に対して背面を向けた身体動作をする聞き手キャラクタの動画を生成する請求項１記載の身体的引き込み現象を利用したプレゼンテーションシステム。
12. キャラクタ生成部は、同じ又は異なる身体動作をする複数の聞き手キャラクタの動画を生成する請求項１記載の身体的引き込み現象を利用したプレゼンテーションシステム。
13. キャラクタ生成部は、表示映像の発表内容を避けた余白に表示する聞き手キャラクタの動画を生成する請求項１記載の身体的引き込み現象を利用したプレゼンテーションシステム。
14. キャラクタ生成部は、原映像の画像と独立して表示位置の設定や拡大又は縮小自在な聞き手表示領域内に聞き手キャラクタの動画を生成する請求項１記載の身体的引き込み現象を利用したプレゼンテーションシステム。
15. キャラクタ生成部は、向かい合う位置関係の話し手キャラクタ及び聞き手キャラクタの動画を生成する請求項１記載の身体的引き込み現象を利用したプレゼンテーションシステム。