JP2007213282A

JP2007213282A - 講演者支援装置および講演者支援方法

Info

Publication number: JP2007213282A
Application number: JP2006031986A
Authority: JP
Inventors: Tetsuya Furukawa; 哲也古川; Toshinori Nagahashi; 敏則長橋
Original assignee: Seiko Epson Corp
Current assignee: Seiko Epson Corp
Priority date: 2006-02-09
Filing date: 2006-02-09
Publication date: 2007-08-23

Abstract

【課題】聴講者毎にパーソナルコンピュータを設けることなく聴講者の反応から注目度を推定して講演者が講演を効果的に行えるよう支援情報を提供する。
【解決手段】聴講者４１，４１側に向けられたカメラ１００とステレオマイクロフォン２００Ｌ，２００Ｒで捉えた映像と音声とに基づいて会場内の場所（領域Ｚ１，Ｚ２，…Ｚ６）毎に聴講者４１，４１の反応を捉えて講演に関する聴講者の注目の度合いや興味の傾向を判定し、この判定結果としての注目度判定情報から講演者１０における講演の仕方についての助力となる支援情報を生成して、表示器３００に表示する。
【選択図】図１

Description

本発明は、講演会やプレゼンテーションにおける講演者に対し、講演の進行の仕方や聴講者への話しかけ方などの勘どころについて、講演ないしプレゼンテーションの現実の進行に沿いながら講演者に助言を与える等して支援する講演者支援装置および講演者支援方法に関する。

近年、例えば、講演会やプレゼンテーションの場においては、パーソナルコンピュータによってプレゼンテーション用のアプリケーションプログラムを起動させて、このアプリケーションプログラムによる画面をプロジェクターを用いてスクリーンに投影しながら講演やプレゼンテーションを行うことが一般的である。
上述のような形での講演やプレゼンテーションについては、各聴講者毎に準備されたパーソナルコンピュータと講演者のパーソナルコンピュータとをネットワークで接続し、講演者へ各聴講者から情報をフィードバックして、聴講者の興味の示し方などの反応や要求にフィットした講演を行うために資するといった提案がなされている（特許文献１、特許文献２参照）。

また一方、公演や演奏に対する聴衆の反応をカメラを用いて映像で捉え、ないしは、マイクロフォンを用いて音声で捉えて、これらの結果を機械的に分析することによって、その公演や演奏の出来栄えを客観的に評価しようとする提案もある（特許文献３参照）。
特開２０００−２００２７３号公報（段落０００４〜段落０００７、図１）特開２００５−２５００１６号公報（段落０００７〜段落００１１、段落００２３〜段落００２６、図２）特開２００１−２６６１４８号公報（段落０００３〜段落０００４、段落０００６〜段落００１０、図１）

しかしながら、特許文献１および特許文献２におけるように、各聴講者側において夫々のパーソナルコンピュータ乃至は端末装置のような応答器を備えることを前提とした装置ないしシステムでは、このような準備ないし設備が整わない環境での実施が困難である。
即ち、ＯＡ機器の活用については必ずしも十分な設備が整備されない多少旧式の会場を用いざるをえないといった条件では、ネットワーク接続されたパーソナルコンピュータを全参加者分だけ用意したりすることは無理であり、上掲の既提案のような技術を適用する余地がない。

一方、特許文献３における提案は、観衆の反応を捉えて公演や演奏の出来栄えを客観的に評価しようとするものであって、元々、講演の進行中に、講演者を支援しようとするものではない。
本発明はこのような状況に鑑みてなされたものであり、パーソナルコンピュータ乃至は端末装置のような聴講者の意志で使用される装置ないし機器の備えがない場合でも、講演会やプレゼンテーションにおける講演者に対し、講演の進行の仕方や聴講者への話しかけ方などの勘どころについて、講演ないしプレゼンテーションの現実の進行に沿いながら講演者に助言を与える等して支援する講演者支援装置および講演者支援方法を提供することを目的とする。

上記課題を解決するべく、本願では次に列記するような技術を提案する
（１）聴講者に対して講演する講演者を支援する講演者支援装置であって、聴講者の存在する領域を自己の撮像視野とするように配されたカメラによる撮影によって取得された画像から前記聴講者を含む人物を識別する人物画像識別手段と、前記人物画像識別手段によって識別された人物の表情や動きに依拠して聴講対象である講演に関する注目の度合いや興味の傾向を判定し該判定の結果を表す注目度判定情報を生成する注目度判定手段と、前記注目度判定手段によって生成された注目度判定情報に基づいて講演者における講演の仕方についての助力となる支援情報を生成する支援情報生成手段と、前記支援情報生成手段によって生成された支援情報を表示するための表示手段と、を備えたことを特徴とする講演者支援装置。

上記（１）の講演者支援装置では、人物画像識別手段がカメラでの撮影によって取得された画像から聴講者を含む人物を識別し、注目度判定手段が該識別された人物の表情や動きに依拠して聴講対象である講演に関する注目の度合いや興味の傾向を判定し該判定の結果を表す注目度判定情報を生成する。
次いで、支援情報生成手段が該生成された注目度判定情報に基づいて講演者における講演の仕方についての助力となる支援情報を生成する。更に、支援情報生成手段がこのようにして生成された注目度判定情報に基づいて講演者における講演の仕方についての助力となる支援情報を生成する。

この支援情報は、適用された表示手段によって講演者に認識可能に表示されるので、講演者はこのように表示された支援情報に従って講演を行うことにより、会場内の聴講者の様子に逐一目配りしながら時々刻々の講演の仕方に反映させていくといったような、相応の資質と習熟を要する細やかな判断を逐次要求される負担が軽減し、講演内容に一層意を注ぎながら講演を行うことができる。
従って、講演やプレゼンテーションには未だ不慣れな講演者であっても、相応に効果的な講演を行えることが期待できる。

（２）前記注目度判定手段は、聴講者の存在する領域を集音可能な領域とするように配されたマイクロフォンによって集音された音声情報を加味して聴講対象である講演に関する注目の度合いや興味の傾向を判定し該判定の結果を表す注目度判定情報を生成するように構成されていることを特徴とする（１）の講演者支援装置。

上記（２）の講演者支援装置では（１）の講演者支援装置において特に、注目度判定手段は、カメラでの撮影によって取得された画像のみに依拠するのではなく、マイクロフォンによって集音された音声情報を加味して聴講対象である講演に関する注目の度合いや興味の傾向を判定し該判定の結果を表す注目度判定情報を生成する。
このため、例えば、当該マイクロフォンによって集音される聴講者の存在する領域からのざわめき等からも、聴講者が集中して静かに傾聴しているか否かの程度を一層的確に推定することができ、従って、講演者に対し、より的確な支援情報を提供し得る。

（３）聴講者に対して講演する講演者を支援する講演者支援装置であって、聴講者の存在する領域を集音可能な領域とするように配されたマイクロフォンによって集音された音声情報に依拠して聴講対象である講演に関する注目の度合いや興味の傾向を判定し該判定の結果を表す注目度判定情報を生成する注目度判定手段と、前記注目度判定手段によって生成された注目度判定情報に基づいて講演者における講演の仕方についての助力となる支援情報を生成する支援情報生成手段と、前記支援情報生成手段によって生成された支援情報を表示するための表示手段と、を備えたことを特徴とする講演者支援装置。

上記（３）の講演者支援装置では、注目度判定手段が、聴講者の存在する領域を集音可能な領域とするように配されたマイクロフォンによって集音された音声情報に依拠して聴講対象である講演に関する注目の度合いや興味の傾向を判定し該判定の結果を表す注目度判定情報を生成する。
該注目度判定情報に基づいて、支援情報生成手段が講演者における講演の仕方についての助力となる支援情報を生成する。

（４）聴講者に対して講演する講演者を支援する講演者支援装置であって、講演者の存在する領域を自己の撮像視野とするように配されたカメラによる撮影によって取得された画像から前記講演者である人物を識別する人物画像識別手段と、前記人物画像識別手段によって識別された人物の表情や動きを検出し該検出の結果を表す表情動作情報を生成する表情動作検出手段と、前記表情動作検出手段によって生成された表情動作情報に基づいて講演者における講演の仕方についての助力となる支援情報を生成する支援情報生成手段と、前記支援情報生成手段によって生成された支援情報を表示するための表示手段と、を備えたことを特徴とする講演者支援装置。

上記（４）の講演者支援装置では、人物画像識別手段がカメラでの撮影によって取得された画像から講演者を含む人物を識別し、表情動作検出手段が該識別された人物の表情や動きを検出し該検出の結果を表す表情動作情報を生成する。
次いで、支援情報生成手段が該生成された表情動作情報に基づいて講演者における講演の仕方についての助力となる支援情報を生成する。

（５）前記支援情報生成手段は、講演者の発する声音を集音可能なマイクロフォンによって集音された音声情報を加味して前記支援情報を生成するように構成されていることを特徴とする（４）の講演者支援装置。

上記（５）の講演者支援装置では、（４）の講演者支援装置において特に、カメラでの撮影によって取得された画像のみに依拠するのではなく、マイクロフォンによって集音された音声情報を加味して講演者自身の表情や動きを検出し該検出の結果を表す表情動作情報を生成する。
このため、例えば、当該マイクロフォンによって集音される講演者自身の発声状況を加味して講演者の挙動を一層的確に把握することができ、従って、講演者に対し、より的確な支援情報を提供し得る。

（６）前記支援情報生成手段による支援情報の生成のための生成ルールを規定する生成ルール情報を更新可能に保持し、該保持された生成ルール情報を前記支援情報生成手段に所要のタイミングで供給する記憶装置を更に備えたことを特徴とする（１）の講演者支援装置。

上記（６）の講演者支援装置では、（１）の講演者支援装置において特に、支援情報生成手段による支援情報の生成のための生成ルールを規定する生成ルール情報を更新可能に保持し、該保持された生成ルール情報を支援情報生成手段に所要のタイミングで供給する記憶装置を更に備えた構成をとるため、生成ルール情報を所要に応じて更新し、所謂バージョンアップを図りながら、この種の支援情報の生成の技術の向上に追随して装置の能力を向上させていくことが可能になる。

（７）前記支援情報生成手段によって生成された支援情報の履歴を保持する支援情報履歴保持手段を更に備えたことを特徴とする（１）の講演者支援装置。
上記（７）の講演者支援装置では、（１）の講演者支援装置において特に、支援情報生成手段によって生成された支援情報の履歴を保持する支援情報履歴保持手段を更に備えた構成をとるため、講演終了後に、この履歴に基づいて、講演やプレゼンテーションの出来栄えについての評価を行ったり改善を検討することができる。

（８）前記注目度判定手段は、講演会場における聴講者の分布領域毎に区分した注目度判定情報を生成するように構成され、前記表示手段は、前記支援情報生成手段からの支援情報と共に前記注目度判定手段からの当該聴講者の分布領域毎に区分した注目度判定情報による判定結果の情報を、適用された表示器の表示面に表示するように構成されていることを特徴とする（１）〜（３）の何れか一の講演者支援装置。

上記（８）の講演者支援装置では、上記（１）〜（３）の何れか一の講演者支援装置において特に、注目度判定手段は、講演会場における聴講者の分布領域毎に区分した注目度判定情報を生成するように構成され、且つ、表示手段は、支援情報生成手段からの支援情報と共に注目度判定手段からの当該聴講者の分布領域毎に区分した注目度判定情報による判定結果の情報を、適用された表示器の表示面に表示するように構成されている。
このため、講演者は、適用された表示器の表示面を見て、講演会場における聴講者の分布領域毎に区分した注目度を認識することができ、この認識に基づいて、より的確な講演の仕方を工夫することが可能になる。

（９）前記表示手段は、前記支援情報生成手段からの支援情報および前記注目度判定手段からの当該聴講者の分布領域毎に区分した注目度判定情報による判定結果の情報と共に、講演内容を表す情報を、適用された表示器の表示面に表示するように構成されていることを特徴とする（８）の講演者支援装置。

上記（９）の講演者支援装置では、（８）の講演者支援装置において特に、表示手段は、前記支援情報生成手段からの支援情報および前記注目度判定手段からの当該聴講者の分布領域毎に区分した注目度判定情報による判定結果の情報と共に、講演内容を表す情報を、適用された表示器の表示面に表示するように構成されている。
従って、講演者は支援情報生成手段からの支援情報および前記注目度判定手段からの当該聴講者の分布領域毎に区分した注目度判定情報による判定結果の情報と共に、講演内容を表す情報を、適用された表示器の表示面における表示として視認できるため、講演の仕方、聴講者の反応、自ら予定の講演内容の何れをも適用された表示器の表示面で確認できるため装置を利用し易く便利である。

（１０）聴講者に対して講演する講演者を支援する講演者支援方法であって、聴講者の存在する領域を自己の撮像視野とするようにカメラを配して該カメラによる撮影によって取得された画像から前記聴講者を含む人物を識別し、前記識別された人物の表情や動きに依拠して聴講対象である講演に関する注目の度合いや興味の傾向を判定し、前記判定の結果に基づいて講演者における講演の仕方についての助力となる支援情報を生成し、前記支援情報を表示手段に表示することを特徴とする講演者支援方法。

上記（１０）の講演者支援方法では、カメラによる撮影によって取得された聴講者の画像から聴講対象である講演に関する聴講者の注目の度合いや興味の傾向を判定し、この判定の結果に基づいて講演者における講演の仕方についての助力となる支援情報を生成し、この支援情報を表示手段に表示するため、講演者はこのように表示された支援情報に従って講演を行うことにより、講演会場内の聴講者の様子に逐一目配りしながら時々刻々の講演の仕方に反映させていくといったような、相応の資質と習熟を要する細やかな判断を逐次要求される負担が軽減し、講演内容に一層意を注ぎながら講演を行うことができる。
従って、講演やプレゼンテーションには未だ不慣れな講演者であっても、相応に効果的な講演を行えることが期待できる。

（１１）前記聴講対象である講演に関する注目の度合いや興味の傾向を判定するに際しては当該聴講者の分布領域毎に区分して当該判定を行い、前記支援情報を表示手段に表示するに際しては前記聴講者の分布領域毎に区分した当該判定結果の情報を前記支援情報と共に表示手段に表示することを特徴とする（１０）の講演者支援方法。

上記（１１）の講演者支援方法では、（１０）の講演者支援方法において特に、聴講者の分布領域毎に区分した聴講者の様子に係る判定結果の情報を支援情報と共に表示手段に表示するため、講演者は、この表示を見て、講演会場における聴講者の分布領域毎に区分した注目度を認識することができ、この認識に基づいて、より的確な講演の仕方を工夫することが可能になる。

（１２）聴講者に対して講演する講演者を支援する講演者支援装置であって、聴講者の講演に関する注目の度合いや興味の傾向との相関の高さを表す注目度判定情報を生成する注目度判定手段と、前記注目度判定手段によって生成された注目度判定情報に基づいて講演者における講演の仕方についての助力となる支援情報を生成する支援情報生成手段と、前記支援情報生成手段によって生成された支援情報を表示するための表示手段と、を備えたことを特徴とする講演者支援装置。

上記（１２）の講演者支援装置では、注目度判定手段によって聴講者の講演に関する注目の度合いや興味の傾向との相関の高さを表す注目度判定情報が生成され、支援情報生成手段によって該注目度判定情報に基づいて講演者における講演の仕方についての助力となる支援情報が生成される。このように生成された支援情報は表示手段の働きによって適宜の表示器に表示される。

従って、講演者はこのように表示された支援情報に従って講演を行うことにより、会場内の聴講者の様子に逐一目配りしながら時々刻々の講演の仕方に反映させていくといったような、相応の資質と習熟を要する細やかな判断を逐次要求される負担が軽減し、講演内容に一層意を注ぎながら講演を行うことができる。
従って、講演やプレゼンテーションには未だ不慣れな講演者であっても、相応に効果的な講演を行えることが期待できる。

（１３）前記注目度判定手段は、聴講者の生体情報を取得する生体情報測定装置によって取得された生体情報に依拠して当該注目度判定情報を生成するように構成されていることを特徴とする（１２）の講演者支援装置。

上記（１３）の講演者支援装置では、（１２）の講演者支援装置において特に、注目度判定手段は、聴講者の生体情報を取得する生体情報測定装置によって取得された生体情報に依拠して当該注目度判定情報を生成するように構成されているため、ヒト（聴講者）の注目の度合いや興味の傾向との相関が既知の生理学的指標に直接的に依拠して注目度判定情報を生成することができるため、確度の高い注目度判定情報が得られ、従って、一層的確な支援情報を講演者に提供することが可能になる。

（１４）前記生体情報測定装置は、無線脈拍測定装置および無線体温測定装置の何れかを含むものであることを特徴とする（１３）の講演者支援装置。
上記（１４）の講演者支援装置では、（１３）の講演者支援装置において特に、生体情報測定装置は、無線脈拍測定装置および無線体温測定装置の何れかを含むものであるため、近年十分に小型の無線式テレメータリング機器として実現され得る無線脈拍測定装置或いは無線体温測定装置を用いて講演に集中するための妨げになるような目立った別段の装置の介在を要することなく生体情報を的確に取得することができる。

（１５）聴講者に対して講演する講演者を支援する講演者支援方法であって、聴講者の講演に関する注目の度合いや興味の傾向との相関の高さを表す注目度判定情報を取得し、前記注目度判定情報に基づいて講演者における講演の仕方についての助力となる支援情報を生成し、前記生成された支援情報を表示手段に表示することを特徴とする講演者支援方法。

上記（１５）の講演者支援方法では、聴講対象である講演に関する聴講者の注目の度合いや興味の傾向を判定し、この判定の結果に基づいて講演者における講演の仕方についての助力となる支援情報を生成し、この支援情報を表示手段に表示するため、講演者はこのように表示された支援情報に従って講演を行うことにより、講演会場内の聴講者の様子に逐一目配りしながら時々刻々の講演の仕方に反映させていくといったような、相応の資質と習熟を要する細やかな判断を逐次要求される負担が軽減し、講演内容に一層意を注ぎながら講演を行うことができる。

従って、講演やプレゼンテーションには未だ不慣れな講演者であっても、相応に効果的な講演を行えることが期待できる。

以下、本発明の実施の形態を図面を参照して説明する。尚、以下に参照する図においては、便宜上、説明の主題となる要部は適宜誇張し、要部以外については適宜簡略化し乃至省略されている。
図１は、本発明の実施の形態としての講演者支援装置および講演者支援方法を表す概念図である。

図１において、講演者１０の前の演台２０の上にはカメラ１００およびその左右にステレオ式のマイクロフォン２００Ｌ，２００Ｒが設置されている。また、演台２０上の囲い板の内側には講演者１０から視認容易に表示器３００が配置されている。この表示器３００は、パーソナルコンピュータの表示器であり得るが、パーソナルコンピュータとは別個のものであってもよい。

講演者１０は図示しないプロジェクタ装置によってスクリーン３０上に投射された映像を適宜用いつつ、スクリーン３０の前の聴講者群４０に対して講演を行う。聴講者群４０は、その（着席）位置に応じて設定された領域（本例では図示のように、Ｚ１，Ｚ２，Ｚ３，Ｚ４，Ｚ５，Ｚ６のように６つに区分して設定された領域）毎に一人ないし数人の聴講者４１，４１が存在する如く会場内に分布している。

カメラ１００は、その撮像視野角Ｖθ内に領域Ｚ１〜Ｚ６が収まるように設定されている。このように聴講者４１，４１の存在する領域を自己の撮像視野とするように配されているカメラ１００の他に、講演者１０の存在する領域を自己の撮像視野とするようにカメラ１１０が配され、また、講演者の発する声音を集音可能なマイクロフォン２１０が配されている。尚、図示のマイクロフォン２１０はカメラ１１０と一体に設けられているが、講演者の発する声音を集音可能なマイクロフォンとしては、図示が省略されている、講演者１０の声音の拡声器用のものを適用できる。

図２は、本発明の講演者支援装置の一つの実施の形態を概念的に表すブロック図である。図２において図１との対応部は同一の参照符号を附してある。カメラ１００によって図１の聴講者４１，４１の存在する領域を撮像して得た映像信号と、ステレオ式のマイクロフォン２００Ｌ，２００Ｒ（本図では、代表的に２００とし「マイク」と表記）によって同領域に向けて集音して得た音声信号が夫々講演者支援装置４００に供給され、この講演者支援装置４００の出力が図１を参照して説明した表示器３００に表示される。

講演者支援装置４００は、カメラ１００による撮影によって取得された画像から聴講者４１，４１を含む人物を識別する人物画像識別手段４１０と、人物画像識別手段４１０によって識別された人物の表情や動きに依拠して聴講対象である講演に関する注目の度合いや興味の傾向を判定し該判定の結果を表す注目度判定情報を生成する注目度判定手段４２０と、注目度判定手段４２０によって生成された注目度判定情報に基づいて講演者１０における講演の仕方についての助力となる支援情報を生成する支援情報生成手段４３０とを含んで構成されている。

本例における人物画像識別手段４１０は、特に、人物の顔とその近傍部位を検出する顔画像検出手段４１１として具現化されており、図中では顔画像検出手段（１）と表記されている。この顔画像検出手段４１１は、テンプレートマッチングのような手法によって顔部分と非顔部分との弁別を行い、顔部分に関しては、更に、各方向の顔テンプレートとの相関値を比較するなどして、顔方向や視線方向を識別する。

また、注目度判定手段４２０は、カメラ１００の撮像視野内での位置を画像認識技術によって識別するか、或いは、簡易な方法として、カメラをサーボ機構でパンニングしたときの撮像レンズの光軸方向から聴講者の居る領域の区分（上述の領域Ｚ１〜Ｚ６或いはこれよりも大雑把な区分）を識別し、この区分毎に、例えば、聴講者４１，４１が講演者１０の方向を向いていた時間とスクリーン３０の方向を向いていた時間との合計時間を単位時間で除した値に依拠して、講演に関する聴講者の注目の度合いや興味の傾向を判定して、この判定結果としての注目度判定情報を、上述の領域毎に対応して生成する。

この実施の形態では、更に、聴講者４１，４１の存在する領域を集音可能な領域とするように配されたマイクロフォン２００（２００Ｌ，２００Ｒ）によって集音された音声情報を加味して、聴講対象である講演に関する聴講者の注目の度合いや興味の傾向を判定するようにしている。即ち、ステレオ式のマイクロフォン２００Ｌ，２００Ｒで上述の領域毎に区分して、ざわめきを検出し、聴講者が集中して静かに傾聴しているか否かの程度を、このざわめきの多寡を一つの要素として判断している。

このため、カメラによる撮影によって取得された画像のみに依拠するよりも、聴講者が集中して静かに傾聴しているか否かの程度を一層的確に推定することができ、従って、講演者に対し、より的確な支援情報を提供し得る。
更に、この実施の形態における支援情報生成手段４３０では、上述のようにして注目度判定手段４２０によって聴講者の居る領域毎に対応して得た判定結果、および、現在時点における講演の進捗度やその他の講演の状況等に基づいて、予め設定されたルールに準拠して、講演者への助言や指示等の支援情報を生成する。この場合の指示の例としては、用いる画像の選択や切換え（スライドの順番やその変更）、声の大きさ、抑揚の加減、ジェスチャーの程度、視線方向に関する指示が考えられる。

更に、支援情報生成手段４３０によって生成された上述の支援情報が図１を参照して既述の表示器３００に供給されてその表示部で表示されるが、このような表示が適切に行われ得るようにするために、講演者支援装置４００には、支援情報を表示器３００側での取り扱いに適合した信号に変換するための信号変換手段４４０（この手段を支援情報を表示するための表示手段と観念できる）が備えられている。

更にまた、講演者支援装置４００には、支援情報生成手段４３０によって生成された支援情報の履歴を保持する支援情報履歴保持手段としての記憶装置４５０が備えられている。
支援情報履歴保持手段としての記憶装置４５０を備えた構成をとるため、講演終了後に、この履歴に基づいて、講演やプレゼンテーションの出来栄えについての評価を行ったり改善を検討することができる。

尚、記憶装置４５０は、支援情報履歴保持手段として機能するほか、人物画像識別手段４１０において上述のテンプレートマッチングを行う場合の、所要のテンプレートを保持するなど、画像認識に適用するために必要な種々のデータをも保有している。
また、記憶装置４５０は、支援情報生成手段４３０による支援情報の生成のための生成ルールを規定する生成ルール情報を更新可能に保持し、該保持された生成ルール情報を支援情報生成手段４３０に所要のタイミングで供給可能に構成されているため、生成ルール情報を所要に応じて更新し、所謂バージョンアップを図りながら、この種の支援情報の生成の技術の向上に追随して講演者支援装置４００の能力を向上させていくことが可能になる。

図３は、支援情報生成手段によって生成された支援情報を表示器に表示したときの表示例を表す図である。
図３において、表示面３１０の右上の方形の領域が注目度判定手段４２０からの当該聴講者の分布している領域（Ｚ１〜Ｚ６）毎に区分した注目度判定情報による判定結果の情報をグラフィカルに表示する注目度の表示領域３１１として割り当てられている。

また、注目度の表示領域３１１の下方に隣接した表示面３１０の右下の方形の領域が支援情報生成手段４３０からの支援情報を文字表示する（或いはシンボリックにグラフィカル表示する）講演者への指示内容の表示領域３１２である。
更に、注目度の表示領域３１１と指示内容の表示領域３１２とが縦に並んだ領域の左側に隣接する表示面３１０の略左半面を占める方形の領域が講演者１０による講演のレジュメ等の講演内容を表す情報の表示領域３１３として割り当てられている。この講演内容を表す情報の表示領域３１３における表示は、講演の進捗度合いに応じて適切な速さで切り替わり、或いはまた、スクロール表示される。

講演者１０は、表示器３００の表示面３１０におけるこのような支援情報の表示を確認しながらこれに沿って講演を行うことにより、会場内の聴講者の様子に逐一目配りしながら時々刻々の講演の仕方に反映させていくといったような、相応の資質と習熟を要する細やかな判断を逐次要求される負担が軽減し、講演内容に一層意を注ぎながら講演を行うことができる。従って、本実施の形態の装置を利用すれば、プレゼンテーションには未だ不慣れな講演者であっても、相応に効果的な講演を行えることが期待できる。

更に、本実施の形態では、記憶装置４５０に、既述のように、支援情報の履歴を保持するほか、支援情報のみならず、注目度判定情報をも保持するように構成して、講演終了後において、これら保持された情報に基づいて、支援情報生成に関与するルールを改良したり、講演やプレゼンテーションを評価するに資することもできる。
尚、以上の、図２および図３を参照して説明した実施の形態において、注目度判定手段４２０は、講演会場における聴講者４１，４１の分布領域（Ｚ１〜Ｚ６）毎に区分した注目度判定情報を生成するように構成され、且つ、表示手段としての信号変換手段４４０は、支援情報生成手段４３０からの支援情報と共に注目度判定手段４２０からの聴講者４１，４１の分布領域（Ｚ１〜Ｚ６）毎に区分した注目度判定情報による判定結果の情報を、適用された表示器３００の表示面に表示するように構成されている。

このため、講演者１０は、適用された表示器３００の表示面を見て、講演会場における聴講者の分布領域毎に区分した注目度を認識することができ、この認識に基づいて、より的確な講演の仕方を工夫することが可能になる。
更に、表示手段としての信号変換手段４４０は、支援情報生成手段４３０からの支援情報および注目度判定手段４２０からの当該聴講者４１，４１の分布領域（Ｚ１〜Ｚ６）毎に区分した注目度判定情報による判定結果の情報と共に、講演内容を表す情報を、適用された表示器３００の表示面に表示するように構成されている。

従って、講演者１０は支援情報生成手段４３０からの支援情報および注目度判定手段４２０からの当該聴講者４１，４１の分布領域毎に区分した注目度判定情報による判定結果の情報と共に、講演内容を表す情報を、適用された表示器３００の表示面における表示として視認できるため、講演の仕方、聴講者の反応、自ら予定の講演内容の何れをも適用された表示器３００の表示面で確認できるため装置を利用し易く便利である。

図４は、本発明の講演者支援装置の他の実施の形態を概念的に表すブロック図である。図４において図２との対応部は同一の参照符号を附してある。即ち、カメラ１００によって図１の聴講者４１，４１の存在する領域を撮像し、且つ、ステレオ式のマイクロフォン（代表的に２００とし「マイク」と表記）によって同領域に向けて集音し、上記による映像と音声の信号を講演者支援装置４００に供給し、この講演者支援装置４００の出力を表示器３００に表示する点は図２の実施の形態と全く同様である。

また、講演者支援装置４００は、人物画像識別手段４１０と、注目度判定手段４２０と、支援情報生成手段４３０と、信号変換手段４４０と、記憶手段４５０とを含んで構成され、この場合、人物画像識別手段４１０は、特に、人物の顔とその近傍部位を検出する顔画像検出手段４１１として具現化され、図中では顔画像検出手段（１）と表記されている点も、図２の実施の形態と同様である。

図４の実施の形態における図２のものとの相違は、敢えて、講演者１０の存在する領域を自己の撮像視野とするように配された（図１のように、講演者１０に向けて配置された）カメラ１１０を利用する点にある。
即ち、このカメラ１１０による撮影によって取得された画像から講演者１０である人物を識別する人物画像識別手段４１２と、カメラ１１０の出力に基づいて人物の表情や動きを検出し該検出の結果を表す表情動作情報を生成する表情動作検出手段（即ち、動作認識手段）４６０とが附加されている。この場合、人物画像識別手段４１２は、特に、人物の顔とその近傍部位を検出する顔画像検出手段４１３として具現化され、図中では顔画像検出手段（２）と表記されている。

人物画像識別手段４１２については図２を参照して既述のものと同様であるが、動作認識手段４６０では、カメラ１１０の出力に基づいて、人物（即ち、講演者１０）の肌色領域の動きの検出等の手法を駆使して手の動きを検出し、身振り、手振りのジェスチャーの様子を表す表情動作情報を生成する。
更にまた、講演者１０自身の声音を集音するマイクロフォン２１０（図では「マイク」と表記）が適用され、これによって集音された音声信号が講演者支援装置４００の音声認識手段４７０に供給されて、講演者１０の声の大きさや、話す速度、話の抑揚等々が認識され、この認識結果に応じた講演者音声認識情報が生成される。

上述の表情動作情報および講演者音声認識情報は支援情報生成手段４３０に供給されて、講演者１０に対する支援情報の形成に加味される。従って、図４の実施の形態によれば、講演者１０側の様子を表す情報を、記録装置４５０に保存された支援情報の履歴、注目度判定手段４２０からの情報をも併せ勘案して、支援情報を生成することができる。このため、聴講者のみならず講演者の状況にも対応したより適切な支援情報を生成することが可能になる。

図５は、本発明の、更に他の実施の形態を概念的に表すブロック図である。図５において、既述の図２および図４との対応部には同一の参照符号を附して示し、それらの説明は省略するが、この図５の実施の形態は、専ら、講演者１０側に向けて、カメラ１１０とマイクロフォン２１０とで講演者１０の講演の様子に係る映像と音声のデータを収集して、該収集されたデータに依拠して講演者１０による講演の仕方を支援するための情報の生成を行おうとするものである。

図５の講演者支援装置４００では、人物画像識別手段であるがカメラ１１０での撮影によって取得された画像から講演者１０を含む人物を識別し、表情動作検出手段たる表情動作検出手段（即ち、動作認識手段）４６０が該識別された人物の表情や動きを検出し該検出の結果を表す表情動作情報を生成する。
次いで、支援情報生成手段４３０が該生成された表情動作情報に基づいて講演者１０における講演の仕方についての助力となる支援情報を生成する。

この場合、カメラ１１０での撮影によって取得された画像のみに依拠するのではなく、マイクロフォン２１０によって集音された音声情報を加味して講演者１０自身の表情や動きを検出し該検出の結果を表す表情動作情報を生成する。
このため、例えば、当該マイクロフォン２１０によって集音される講演者自身の発声状況を加味して講演者の挙動を一層的確に把握することができ、従って、より的確な支援情報が得られる。

この支援情報は、適用された表示手段（表示器３００）によって講演者１０に認識可能に表示されるので、講演者１０はこのように表示された支援情報に従って講演を行うことにより、会場内の聴講者４１，４１の様子に逐一目配りしながら時々刻々の講演の仕方に反映させていくといったような、相応の資質と習熟を要する細やかな判断を逐次要求される負担が軽減し、講演内容に一層意を注ぎながら講演を行うことができる。

従って、講演やプレゼンテーションには未だ不慣れな講演者であっても、相応に効果的な講演を行えることが期待できる。
図６は、本発明の、更に他の実施の形態を概念的に表すブロック図である。図６において、既述の図２および図４との対応部には同一の参照符号を附して示し、それらの説明は省略するが、この図６の実施の形態は、専ら、聴講者４１，４１側に向けてマイクロフォン２００で音声のデータを収集して、該音声のデータに依拠して、聴講者４１，４１の様子を推定し、モニタして、講演者１０による講演の仕方を支援するための情報の生成を行おうとするものである。

即ち、カメラを用いることを必須としない簡易な構成によって注目度判定情報を生成する。この場合も、支援情報生成手段４３０で生成される支援情報は、適用された表示手段（表示器３００）によって講演者１０に認識可能に表示されるので、講演者１０はこのように表示された支援情報に従って講演を行うことにより、会場内の聴講者４１，４１の様子に逐一目配りしながら時々刻々の講演の仕方に反映させていくといったような、相応の資質と習熟を要する細やかな判断を逐次要求される負担が軽減し、講演内容に一層意を注ぎながら講演を行うことができる。

従って、講演やプレゼンテーションには未だ不慣れな講演者であっても、相応に効果的な講演を行えることが期待できる。
図７は、本発明の、更に他の実施の形態を概念的に表すブロック図である。図６において、既述の図２および図４との対応部には同一の参照符号を附して示し、それらの説明は省略するが、この図７の実施の形態では、注目度判定手段４２０は、聴講者４１，４１の生体情報を取得する生体情報測定装置５００，５００によって取得された生体情報に依拠して当該注目度判定情報を生成するように構成されている。

このような構成をとれば、ヒト（聴講者）の注目の度合いや興味の傾向との相関が既知の生理学的指標（脈拍や体温等）に直接的に依拠して注目度判定情報を生成することができるため、確度の高い注目度判定情報が得られ、従って、一層的確な支援情報を講演者１０に提供することが可能になる。
また、図示の例では、特に、この生体情報測定装置５００，５００は、無線脈拍測定装置５０１、無線体温測定装置５０２の何れかを含むものとして構成し、一方、これに対応して、講演者支援装置４００側に生体情報受信装置４８０を設けて、この生体情報受信装置４８０によって複数の聴講者４１，４１に夫々付帯する生体情報測定装置５００，５００を適切な周期でスキャニングして時々刻々の該当する生体情報をサンプリングして取得し、記憶装置４５０にこのサンプリングデータを蓄積して、聴講者の注目の度合いや興味の傾向ひいてはこれらに依拠しての講演者への支援情報の生成に用いる。

無線脈拍測定装置や無線体温測定装置は、近年十分に小型の無線式テレメータリング機器として実現され得るようになっており、例えば、講演の受講証と一体化した構成をとることも可能であり、このような実施の形態によれば、無線脈拍測定装置或いは無線体温測定装置を用いることにより、講演に集中するための妨げになるような目立った別段の装置の介在を要することなく生体情報を的確に取得することができる。

尚、「生体情報」は、広義には、図１ないし図６を参照して説明した実施の形態におけるように、カメラを用いて或いはマイクロフォンを通して検出されるようなヒト（聴講者、講演者）の状態に関する情報一般をも包摂すると観念することができる。このように観念するとき、生体情報測定装置５００，５００は、カメラ、マイクロフォン、その他、ヒトの状態を検出する種々の手段がこれに該当する。

以上、各図を参照しての説明から、本発明は、講演者支援方法として、聴講者４１，４１に対して講演する講演者１０を支援する講演者支援方法であって、聴講者４１，４１の存在する領域を自己の撮像視野とするようにカメラ１００を配し、このカメラ１００による撮影によって取得された画像から聴講者４１，４１を含む人物を識別し（４１２）、この識別された人物の表情や動きに依拠して聴講対象である講演に関する注目の度合いや興味の傾向を判定し（４２０）、この判定の結果に基づいて講演者１０における講演の仕方についての助力となる支援情報を生成し（４３０）、この支援情報を表示手段３００に表示することを特徴とする講演者支援方法として観念できることが明らかであろう。

また、上記において、聴講対象である講演に関する注目の度合いや興味の傾向を判定するに際しては当該聴講者４１，４１の分布領域（Ｚ１〜Ｚ６）毎に区分して当該判定を行い、前記支援情報を表示手段に表示するに際しては前記聴講者の分布領域毎に区分した当該判定結果の情報を前記支援情報と共に表示手段３００に表示することを特徴とする講演者支援方法として観念できることが明らかであろう。

以上を要するに、聴講者４１，４１に対して講演する講演者１０を支援する講演者支援方法であって、聴講者４１，４１の講演に関する注目の度合いや興味の傾向との相関の高さを表す注目度判定情報を取得し（４２０）、この注目度判定情報に基づいて講演者１０における講演の仕方についての助力となる支援情報を生成し（４３０）、生成された支援情報を表示手段３００に表示することを特徴とする講演者支援方法であると言える。

本発明の実施の形態としての講演者支援装置および講演者支援方法を表す概念図である。本発明の講演者支援装置の一つの実施の形態を概念的に表すブロック図である。支援情報生成手段によって生成された支援情報を表示器に表示したときの表示例を表す図である。本発明の講演者支援装置の他の実施の形態を概念的に表すブロック図である。本発明の講演者支援装置の更に他の実施の形態を概念的に表すブロック図である。本発明の講演者支援装置の更に他の実施の形態を概念的に表すブロック図である。本発明の講演者支援装置の更に他の実施の形態を概念的に表すブロック図である。

符号の説明

１０…講演者２０…演台３０…スクリーン４０…聴講者群４１…聴講者１００…カメラ１１０…カメラ２００…マイクロフォン２１０…マイクロフォン３００…表示器３１０…表示面３１１…注目度の表示領域３１２…講演者への指示内容の表示領域３１３…講演内容を表す情報の表示領域４００…講演者支援装置４１０…人物画像識別手段４１１…顔画像検出手段４１２…人物画像識別手段４１３…顔画像検出手段４２０…注目度判定手段４３０…支援情報生成手段４４０…信号変換手段４５０…記憶装置４６０…動作認識手段４７０…音声認識手段４８０…生体情報受信手段５００…生態情報測定装置５０１…無線脈拍測定装置５０２…無線体温測定装置

Claims

聴講者に対して講演する講演者を支援する講演者支援装置であって、聴講者の存在する領域を自己の撮像視野とするように配されたカメラによる撮影によって取得された画像から前記聴講者を含む人物を識別する人物画像識別手段と、前記人物画像識別手段によって識別された人物の表情や動きに依拠して聴講対象である講演に関する注目の度合いや興味の傾向を判定し該判定の結果を表す注目度判定情報を生成する注目度判定手段と、前記注目度判定手段によって生成された注目度判定情報に基づいて講演者における講演の仕方についての助力となる支援情報を生成する支援情報生成手段と、前記支援情報生成手段によって生成された支援情報を表示するための表示手段と、を備えたことを特徴とする講演者支援装置。
前記注目度判定手段は、聴講者の存在する領域を集音可能な領域とするように配されたマイクロフォンによって集音された音声情報を加味して聴講対象である講演に関する注目の度合いや興味の傾向を判定し該判定の結果を表す注目度判定情報を生成するように構成されていることを特徴とする請求項１に記載の講演者支援装置。
聴講者に対して講演する講演者を支援する講演者支援装置であって、聴講者の存在する領域を集音可能な領域とするように配されたマイクロフォンによって集音された音声情報に依拠して聴講対象である講演に関する注目の度合いや興味の傾向を判定し該判定の結果を表す注目度判定情報を生成する注目度判定手段と、前記注目度判定手段によって生成された注目度判定情報に基づいて講演者における講演の仕方についての助力となる支援情報を生成する支援情報生成手段と、前記支援情報生成手段によって生成された支援情報を表示するための表示手段と、を備えたことを特徴とする講演者支援装置。
聴講者に対して講演する講演者を支援する講演者支援装置であって、講演者の存在する領域を自己の撮像視野とするように配されたカメラによる撮影によって取得された画像から前記講演者である人物を識別する人物画像識別手段と、前記人物画像識別手段によって識別された人物の表情や動きを検出し該検出の結果を表す表情動作情報を生成する表情動作検出手段と、前記表情動作検出手段によって生成された表情動作情報に基づいて講演者における講演の仕方についての助力となる支援情報を生成する支援情報生成手段と、前記支援情報生成手段によって生成された支援情報を表示するための表示手段と、を備えたことを特徴とする講演者支援装置。
前記支援情報生成手段は、講演者の発する声音を集音可能なマイクロフォンによって集音された音声情報を加味して前記支援情報を生成するように構成されていることを特徴とする請求項４に記載の講演者支援装置。
前記支援情報生成手段による支援情報の生成のための生成ルールを規定する生成ルール情報を更新可能に保持し、該保持された生成ルール情報を前記支援情報生成手段に所要のタイミングで供給する記憶装置を更に備えたことを特徴とする請求項１に記載の講演者支援装置。
前記支援情報生成手段によって生成された支援情報の履歴を保持する支援情報履歴保持手段を更に備えたことを特徴とする請求項１に記載の講演者支援装置。
前記注目度判定手段は、講演会場における聴講者の分布領域毎に区分した注目度判定情報を生成するように構成され、前記表示手段は、前記支援情報生成手段からの支援情報と共に前記注目度判定手段からの当該聴講者の分布領域毎に区分した注目度判定情報による判定結果の情報を、適用された表示器の表示面に表示するように構成されていることを特徴とする請求項１〜３の何れか一項に記載の講演者支援装置。
前記表示手段は、前記支援情報生成手段からの支援情報および前記注目度判定手段からの当該聴講者の分布領域毎に区分した注目度判定情報による判定結果の情報と共に、講演内容を表す情報を、適用された表示器の表示面に表示するように構成されていることを特徴とする請求項８に記載の講演者支援装置。
聴講者に対して講演する講演者を支援する講演者支援方法であって、聴講者の存在する領域を自己の撮像視野とするようにカメラを配して該カメラによる撮影によって取得された画像から前記聴講者を含む人物を識別し、前記識別された人物の表情や動きに依拠して聴講対象である講演に関する注目の度合いや興味の傾向を判定し、前記判定の結果に基づいて講演者における講演の仕方についての助力となる支援情報を生成し、前記支援情報を表示手段に表示することを特徴とする講演者支援方法。
前記聴講対象である講演に関する注目の度合いや興味の傾向を判定するに際しては当該聴講者の分布領域毎に区分して当該判定を行い、前記支援情報を表示手段に表示するに際しては前記聴講者の分布領域毎に区分した当該判定結果の情報を前記支援情報と共に表示手段に表示することを特徴とする請求項１０に記載の講演者支援方法。
聴講者に対して講演する講演者を支援する講演者支援装置であって、聴講者の講演に関する注目の度合いや興味の傾向との相関の高さを表す注目度判定情報を生成する注目度判定手段と、前記注目度判定手段によって生成された注目度判定情報に基づいて講演者における講演の仕方についての助力となる支援情報を生成する支援情報生成手段と、前記支援情報生成手段によって生成された支援情報を表示するための表示手段と、を備えたことを特徴とする講演者支援装置。
前記注目度判定手段は、聴講者の生体情報を取得する生体情報測定装置によって取得された生体情報に依拠して当該注目度判定情報を生成するように構成されていることを特徴とする請求項１２に記載の講演者支援装置。
前記生体情報測定装置は、無線脈拍測定装置および無線体温測定装置の何れかを含むものであることを特徴とする請求項１３に記載の講演者支援装置。
聴講者に対して講演する講演者を支援する講演者支援方法であって、聴講者の講演に関する注目の度合いや興味の傾向との相関の高さを表す注目度判定情報を取得し、前記注目度判定情報に基づいて講演者における講演の仕方についての助力となる支援情報を生成し、前記生成された支援情報を表示手段に表示することを特徴とする講演者支援方法。