JP2008139762A - プレゼンテーション支援装置および方法並びにプログラム - Google Patents

Abstract

【課題】話し手の音声の状態や身体的所作等の非言語情報をより適正に把握して、より良いプレゼンテーションの実行やプレゼンテーションスキルの向上に寄与する。
【解決手段】プレゼンテーション支援装置２０は、話し手の音声に基づく音響情報を取得する音響情報処理部３１と、話し手の身体的動作に関する画像情報を取得する画像情報処理部３４と、音響情報処理部３１からの音響情報に基づいて話し手による発話に関連した所定の音響的評価指標を算出すると共に、音響情報処理部３１からの音響情報と画像情報処理部３４からの画像情報との少なくとも何れか一方に基づいて話し手による所作に関連した所定の所作的評価指標を算出する指標演算部３５と、話し手に対して指標演算部３５により算出された音響的評価指標および所作的評価指標に基づくフィードバックを提供可能な統合処理部３６とを有する。
【選択図】図２

Description

本発明は、プレゼンテーションを実行する話し手を支援するためのプレゼンテーション支援装置および方法並びにプログラムに関する。

プレゼンテーションは、話し手が自らの知識や考え等を聞き手に伝達・発表する行為であり、研究発表の場のみならずビジネスシーンを始めとした様々な分野において重要な役割を果たすものである。このため、従来から、プレゼンテーション用の資料を作成するためのツールだけではなく、より良いプレゼンテーションの実行が可能となるように、実際のプレゼンテーション中に話し手にアドバイスすることやプレゼンテーションの練習を可能とするプレゼンテーション支援装置が提案されている。このようなプレゼンテーション支援装置としては、プレゼンテーション資料に対して話し手により発声された音声を解析して話し手による説明の適切度を算出し、算出した適切度に基づいて話し手にアドバイスを行うもの（例えば、特許文献１参照）や、話し手の発話速度を検出すると共に検出した発話速度に基づいて話し手にアドバイスを行うもの（例えば、特許文献２参照）等が知られている。また、このようなプレゼンテーション支援装置として、話し手の音声に基づいて当該話し手の心理状態を認識し、認識結果に応じた反応（例えば「声が上擦っていますよ」といったようなメッセージ）を発表内容と共に表示手段に表示するもの（例えば、特許文献３参照）も知られている。
特開平０２−２２３９８３号公報 特開２００５−２０８１６３号公報 特開平１０−２５４４８４号公報

ところで、いわゆる対人コミュニケーションに関し、自己の感情等を聞き手に伝達する際、話し手は専ら音声の状態や表情、身振り等の身体的所作といった非言語情報に依存しており、コミュニケーションにおける言語情報の寄与分はごく僅かである、という研究報告もなされている。このような点に鑑みれば、より良いプレゼンテーションを実行可能とするためには、上記従来のプレゼンテーション支援装置のように話し手の音声のみを解析処理するだけでは不充分であり、プレゼンテーションの実行中や練習中に話し手による非言語情報をより適正に把握できるようにする必要がある。一方、プレゼンテーションを実行する話し手の心理状態を計数処理により正確に捉えることは困難であり、話し手の心理状態をフィードバックするプレゼンテーション支援装置には、実現性や実用性の面で問題があるといわざるを得ない。

そこで、本発明は、話し手の音声の状態や身体的所作等の非言語情報をより適正に把握可能であり、より良いプレゼンテーションの実行やプレゼンテーションスキルの向上に寄与し得るプレゼンテーション支援装置および方法並びにプログラムの提供を目的の一つとする。また、本発明は、より実用的なプレゼンテーション支援装置および方法並びにプログラムの提供を目的の一つとする。

本発明によるプレゼンテーション支援装置および方法並びにプログラムは、上述の目的の少なくとも一部を達成するために以下の手段を採っている。

本発明によるプレゼンテーション支援装置は、
プレゼンテーションを実行する話し手を支援するためのプレゼンテーション支援装置であって、
前記話し手の音声に基づく音響情報を取得する音響情報取得手段と、
前記話し手の身体的動作に関する画像情報を取得する画像情報取得手段と、
前記音響情報取得手段により取得された音響情報に基づいて前記プレゼンテーション中の前記話し手による発話に関連した所定の音響的評価指標を算出すると共に、
前記音響情報取得手段により取得された音響情報と前記画像情報取得手段により取得された画像情報との少なくと何れか一方に基づいて前記プレゼンテーション中の前記話し手による所作に関連した所定の所作的評価指標を算出する評価指標算出手段と、
前記話し手に対して前記評価指標算出手段により算出された前記音響的評価指標および前記所作的評価指標に基づくフィードバックを提供可能なフィードバック手段と、
を備えるものである。

このプレゼンテーション支援装置は、実際のプレゼンテーションやプレゼンテーションの練習に際し、話し手の音声に基づく音響情報と話し手の身体的動作に関する画像情報とを取得し、取得した音響情報に基づいてプレゼンテーション（以下、練習時のものを含む）中の話し手による発話に関連した所定の音響的評価指標を算出すると共に、取得した音響情報と画像情報との少なくとも何れか一方に基づいてプレゼンテーション中の話し手による所作に関連した所定の所作的評価指標を算出する。そして、このプレゼンテーション支援装置は、話し手に対してこれらの音響的評価指標と所作的評価指標とに基づくフィードバックをほぼリアルタイムあるいは事後的に提供可能である。このように、実際のプレゼンテーションやプレゼンテーションの練習に際して、話し手の音声に基づく音響情報のみならず話し手の身体的動作に関する画像情報を取得し、音響情報と画像情報との少なくとも何れか一方に基づいて所作的評価指標をも算出するようにすれば、プレゼンテーションの実行中あるいは練習中に話し手の音声の状態や身体的所作等の非言語情報をより適正に把握することが可能となるので、より良いプレゼンテーションの実行やプレゼンテーションスキルの向上に寄与し得るより実用的なプレゼンテーション支援装置の実現が可能となる。

また、前記画像情報は、前記話し手の少なくとも顔の向きに関する顔情報を含んでもよく、前記評価指標算出手段は、前記画像情報取得手段により取得された前記顔情報に基づいて前記話し手による聞き手とのアイコンタクトの度合を示す指標を前記所作的評価指標として算出するものであってもよい。すなわち、プレゼンテーションに際して話し手がより適切に聞き手に目を向けるようになれば、そのプレゼンテーションは説得力に満ちた印象のよいものとなる。従って、このようにアイコンタクトの度合を示す指標を所作的評価指標の一つとすれば、プレゼンテーション支援装置をより良いプレゼンテーションの実行やプレゼンテーションスキルの向上に寄与し得るより実用的なものとすることができる。

更に、前記音響情報は、前記話し手による連続した発話区間の時間を示す発話時間情報を含むと共に、前記画像情報は、前記話し手の少なくとも顔の向きに関する顔情報を含んでもよく、前記評価指標算出手段は、前記音響情報取得手段により取得された前記発話時間情報と前記画像情報取得手段により取得された前記顔情報との少なくとも何れか一方に基づいて前記プレゼンテーション中の前記話し手による間の取り方に関する指標を前記所作的評価指標として算出するものであってもよい。すなわち、プレゼンテーションに際して、話し手が例えば聞き手に目を向けた状態での意図的な沈黙すなわち効果的な間をより適切につくり出せれば、そのプレゼンテーションは聞き手を引きつける印象のよいものとなる。従って、音響情報と画像情報との少なくとも何れか一方に基づく間の取り方に関する指標を所作的評価指標の一つとすれば、プレゼンテーション支援装置をより良いプレゼンテーションの実行やプレゼンテーションスキルの向上に寄与し得るより実用的なものとすることができる。

また、前記音響情報は、前記話し手による連続した発話区間の時間を示す発話時間情報と該発話区間における音節数を示す音節情報とを含んでもよく、前記評価指標算出手段は、前記音響情報取得手段により取得された前記発話時間情報および前記音節情報に基づいて前記話し手による話速度を示す指標を前記音響的評価指標として算出するものであってもよい。すなわち、プレゼンテーション中の話し手による話速度がより適切なものであれば、そのプレゼンテーションは聞き取りやすい印象のよいものとなる。従って、話し手による話速度を示す指標を音響的評価指標の一つとすれば、プレゼンテーション支援装置をより良いプレゼンテーションの実行やプレゼンテーションスキルの向上に寄与し得るより実用的なものとすることができる。

更に、前記音響情報は、前記話し手の音声の基本周波数を示す基本周波数情報を含んでもよく、前記評価指標算出手段は、前記音響情報取得手段により取得された前記基本周波数情報に基づいて前記話し手による発話の抑揚を示す指標を前記音響的評価指標として算出するものであってもよい。すなわち、プレゼンテーション中の話し手による発話の抑揚がより適切なものであれば、そのプレゼンテーションはメリハリのきいた印象のよいものとなる。従って、話し手による発話の抑揚を示す指標を音響的評価指標の一つとすれば、プレゼンテーション支援装置をより良いプレゼンテーションの実行やプレゼンテーションスキルの向上に寄与し得るより実用的なものとすることができる。

また、前記音響情報は、前記話し手の音声の基本周波数を示す基本周波数情報と該基本周波数に基づくスペクトル包絡を示すスペクトル包絡情報とを含んでもよく、前記評価指標算出手段は、前記音響情報取得手段により取得された前記基本周波数情報および前記スペクトル包絡情報に基づいて前記プレゼンテーション中の前記話し手による言い淀みに関する指標を前記音響的評価指標として算出するものであってもよい。すなわち、話し手によるプレゼンテーション中の言い淀みがより少なくなれば、そのプレゼンテーションは自信に満ちた印象のよいものとなる。従って、話し手によるプレゼンテーション中の言い淀みに関する指標を音響的評価指標の一つとすれば、プレゼンテーション支援装置をより良いプレゼンテーションの実行やプレゼンテーションスキルの向上に寄与し得るより実用的なものとすることができる。

更に、前記フィードバック手段は、前記評価指標算出手段により算出された前記音響的評価指標および前記所作的評価指標の少なくとも何れか一つをそれに対応した閾値と比較すると共に、比較結果に応じて前記プレゼンテーションを実行している前記話し手に所定の警告を付与可能なものであってもよい。これにより、実際のプレゼンテーションやプレゼンテーションの練習に際し、そのプレゼンテーションがより良いものとなるように、話し手にほぼリアルタイムで現状を把握させることが可能となる。

本発明によるプレゼンテーション支援方法は、プレゼンテーションを実行する話し手を支援するためのプレゼンテーション支援方法であって、
（ａ）前記話し手の音声に基づく音響情報と前記話し手の身体的動作に関する画像情報とを取得するステップと、
（ｂ）ステップ（ａ）で取得された前記音響情報に基づいて前記プレゼンテーション中の前記話し手による発話に関連した所定の音響的評価指標を算出すると共に、ステップ（ａ）で取得された前記音響情報および前記画像情報の少なくと何れか一方に基づいて前記プレゼンテーション中の前記話し手による所作に関連した所定の所作的評価指標を算出するステップと、
（ｃ）前記話し手に対してステップ（ｂ）で算出された前記音響的評価指標および前記所作的評価指標に基づくフィードバックを提供するステップと、
を含むものである。

このプレゼンテーション支援方法は、プレゼンテーションの実行中あるいは練習中に話し手の音声の状態や身体的所作等の非言語情報をより適正に把握することを可能とするものであり、より良いプレゼンテーションの実行やプレゼンテーションスキルの向上に寄与し得る。

本発明によるプレゼンテーション支援プログラムは、プレゼンテーションを実行する話し手を支援するためのプレゼンテーション支援装置としてコンピュータを機能させるプレゼンテーション支援プログラムであって、
前記話し手の音声に基づく音響情報を取得する音響情報取得モジュールと、
前記話し手の身体的動作に関する画像情報を取得する画像情報取得モジュールと、
前記音響情報取得モジュールにより取得された音響情報に基づいて前記プレゼンテーション中の前記話し手による発話に関連した所定の音響的評価指標を算出すると共に、前記音響情報取得モジュールにより取得された音響情報と前記画像情報取得モジュールにより取得された画像情報との少なくとも何れか一方に基づいて前記プレゼンテーション中の前記話し手による所作に関連した所定の所作的評価指標を算出する評価指標算出モジュールと、
前記話し手に対して前記評価指標算出モジュールにより算出された前記音響的評価指標および前記所作的評価指標に基づくフィードバックを提供可能なフィードバックモジュールと、
を備えるものである。

このプレゼンテーション支援プログラムがインストールされたコンピュータは、プレゼンテーションの実行中あるいは練習中に話し手の音声の状態や身体的所作等の非言語情報をより適正に把握することを可能とするものであり、より良いプレゼンテーションの実行やプレゼンテーションスキルの向上に寄与し得る。

次に、実施例を参照しながら本発明を実施するための最良の形態について説明する。

図１は、本発明の一実施例に係るプレゼンテーション支援装置２０を用いてプレゼンテーションを実行しているか、あるいはプレゼンテーションのリハーサルを行っている様子を示す説明図であり、図２は、本発明の一実施例に係るプレゼンテーション支援装置２０の概略構成図である。図１および図２に示すように、実施例のプレゼンテーション支援装置２０は、話し手１０によるプレゼンテーションを支援するための主たる処理を実行するメインコンピュータ３０と、プレゼンテーションの実行に際して話し手１０により使用されるサブコンピュータ４０と、プレゼンテーションを実行する話し手１０を撮影して当該話し手１０の画像を取り込み可能な画像取り込み手段（撮像手段）としてのカメラ５０と、プレゼンテーションを実行する話し手１０の音声を取り込む集音手段としてのマイクロフォン６０と、所定の警告機器７０（図２参照）等とを含む。

メインコンピュータ３０とサブコンピュータ４０とは、何れも図示しないＣＰＵ，ＲＯＭ，ＲＡＭ、グラフィックプロセッサ（ＧＰＵ）、システムバス、各種インターフェース、記憶装置（ハードディスクドライブ）、外部記憶装置、一体化または別体化された液晶ディスプレイ等の表示ユニット等を含む汎用のコンピュータであり、両者は相互に通信可能とされる。メインコンピュータ３０には、本発明によるプレゼンテーション支援プログラムがインストールされ、実施例では、サブコンピュータ４０に所定のプレゼンテーションソフトがインストールされる。そして、プレゼンテーション用の資料は、サブコンピュータ４０に接続されるプロジェクタ８０によりスクリーン９０に投影される。また、カメラ５０としては、例えば一般的なウェブカメラを使用可能であり、カメラ５０は、プレゼンテーションを実行する話し手１０の特に顔を撮影できるように例えばサブコンピュータ４０の適所に装着される。実施例では、カメラ５０はサブコンピュータ４０に接続されており、カメラ５０からの画像データは、連続的な動画あるいは静止画としてサブコンピュータ４０に一旦取り込まれる。更に、マイクロフォン６０としては、ピンマイク、ヘッドセットマイク、卓上据え置き型マイク等を使用可能であり、実施例では、マイクロフォン６０からの音声データはメインコンピュータ３０に取り込まれる。そして、警告機器７０は、メインコンピュータ３０に接続され、プレゼンテーション支援に際してメインコンピュータ３０からプレゼンテーションを実行する話し手１０に対して所定の警告を付与する際に利用される。警告機器７０は、プレゼンテーションの実行に際して話し手１０の目が届きやすい位置に配置される例えばメインコンピュータ３０に接続されたモニタ等とされるが、このような話し手１０に警告を視覚的に付与する装置に限られず、話し手１０に対して音や振動により警告を付与する装置等を警告機器７０とすることもできる。例えば、マナーモード状態にある携帯電話を話し手１０に所持させ、話し手１０に警告を付与する際にメインコンピュータ３０から当該携帯電話にメールを送信してもよい。この場合、警告の種類ごとに着信パターン（振動パターン）を異ならせれば、複数の警告を話し手１０に付与することが可能となる。なお、実施例では、プレゼンテーション支援装置２０の上記構成要素間における通信に、例えばＲＶＣＰプロトコル（後藤真孝他：“音声補完：音声入力インタフェースへの新しいモダリティの導入，”コンピュータソフトウェア，Ｖｏｌ．１９，Ｎｏ．４，ｐｐ．１０−２１，２００２．参照）が用いられる。

そして、メインコンピュータ３０には、図２に示すように、図示しないＣＰＵやＲＯＭ，ＲＡＭ，ＧＰＵ、各種インターフェース、記憶装置といったハードウエアと、インストールされたプレゼンテーション支援プログラムを始めとする各種プログラムとの一方または双方の協働により、音響情報処理部３１と、画像情報処理部３４と、指標演算部３５、統合処理部３６と、データ記憶部３７等とが機能ブロックとして構築されている。

音響情報処理部３１は、マイクロフォン６０により集音された話し手１０の音声データを当該マイクロフォン６０から受け取って話し手１０の音声に基づく各種音響情報を算出（取得）するものであり、音響分析部３２と音声認識部３３とを有する。音響分析部３２は、所定時間（例えば１０ｍｓｅｃ）おきに、マイクロフォン６０から受け取った音声データに基づいて、話し手１０による連続した発話区間の時間を示す発話時間ｔ（発話時間情報）と、話し手１０の音声の基本周波数を示す基本周波数ｆ０（基本周波数情報）と、当該基本周波数ｆ０に基づくスペクトル包絡Ｓｅ（スペクトル包絡情報）とを算出して指標演算部３５に出力する。この場合、音響分析部３２は、例えば入力した音声データの音声パワーに基づいて一連の発話区間の時間を算出する。また、音響分析部３２は、入力した音声データについての瞬時周波数を計算すると共に瞬時周波数に関連した所定の尺度に基づいて周波数成分を抽出した上で、最も優勢な高調波構造に基づいて基本周波数ｆ０を推定し、更に、当該基本周波数ｆ０に基づいてスペクトル包絡Ｓｅを推定する。なお、基本周波数ｆ０およびスペクトル包絡Ｓｅの推定には、特開２００１−１２５５８４号公報に記載された手法を用いることができる。音声認識部３３は、マイクロフォン６０から受け取った音声データに基づいて、例えば音節（日本語における「かな」に対応した音韻体系）を単位とした音声認識処理を実行し、認識結果として音節列ごとの音節数（音節情報）にタイムスタンプ情報（話し手により発せられた音声と認識された音節との時間的な対応）情報を付与したものを指標演算部３５に出力する。かかる音声認識部３３は、例えば“julian”（http://julius.sourceforge.jp）という音声認識エンジンを認識結果が指標演算部３５に逐次送信されるように拡張したもの（北山他：“音声スタータ：“ＳＷＩＴＣＨ”ｏｎ“Ｓｐｅｅｃｈ”，情報処理学会 音声言語情報処理研究会 研究報告 ２００３−ＳＬＰ−４６−１２，Ｖｏｌ．２００３，Ｎｏ．５８，ｐｐ．６７−７２，Ｍａｙ２００３．）等を用いることにより容易に構成可能である。

画像情報処理部３４は、カメラ５０を介してサブコンピュータ４０に取り込まれた画像データを当該サブコンピュータ４０から受け取って話し手１０の身体的動作に関する各種画像情報を算出（取得）する。実施例の画像情報処理部３４は、所定時間（例えば１０ｍｓｅｃ）おきに、カメラ５０（サブコンピュータ４０）からの画像データに基づいて話し手１０の顔の位置および向き（顔情報）を算出して指標演算部３５に出力する。このようにカメラ５０からの画像データに基づいて話し手１０の顔の位置および向きを算出する手法としては、部分空間法とＳＶＭ（Support Vector Machine）とを用いた画像処理方法があげられる（特開２００５−２５０８６３号公報、および松坂要佐，“部分空間法とＳＶＭを用いた２次元画像からの３６０度顔・顔部品追跡手法，”信学技報ＰＲＭＵ Ｖｏｌ．１０６，Nｏ．７２，ｐｐ．１９−２４，２００６．参照）。部分空間法とＳＶＭとを用いた画像処理方法を採用する場合には、話し手１０の様々な姿勢における頭部領域画像を事前データとして予め収集しておく。そして、事前データに対して主成分分析を適用して固有ベクトルのセットを得た上で、それらの固有ベクトルのセットをモデルとして使用し、入力画像に対して最もフィットするモデルを判別することで話し手１０の顔の位置を求める。更に、求めた顔の位置に対してＳＶＭを用いた顔角度推定を適用することにより話し手１０の顔の向きを得ることができる。また、話し手１０の顔の位置および向きを算出する際に、“AR Tool KIT”（http://www.hitl.washington.edu/artoolkit/ 参照）を用いてもよい。この場合、話し手１０は、各面に所定の２次元コードが貼着された立方体であるマーカを頭部に装着した状態でプレゼンテーションを実行することになり、カメラ５０によりマーカの２次元コードを撮影して、当該マーカの三次元位置と向きとから話し手１０の顔の位置および向きを得ることができる。このような手法は、プレゼンテーションに際してマーカの装着を要求するが、部分空間法とＳＶＭとを用いた画像処理方法のように話し手ごとに事前データを要求するものではないことから、特にプレゼンテーションの練習に際して手軽に利用可能なものである。

指標演算部３５は、音響情報処理部３１からの音響情報に基づいてプレゼンテーション中の話し手１０による発話に関連した所定の音響的評価指標を算出すると共に、音響情報処理部３１からの音響情報と画像情報処理部３４からの画像情報との少なくとも何れか一方に基づいてプレゼンテーション中の話し手１０による所作に関連した所定の所作的評価指標を算出し、算出した評価指標を統合処理部３６に出力する。実施例において、指標演算部３５により算出される音響的評価指標には、話し手１０による話速度Ｖｓと、話し手１０による発話の抑揚（声の高さ）に関する指標Ａｃと、プレゼンテーション中の話し手１０による言い淀みに関する指標Ｄｆとが含まれる。この場合、指標演算部３５は、話し手１０が音声を発していない無音区間を除いて、音声認識部３３からのある音節列における音節数を音響分析部３２からの当該音節列に対応した発話時間ｔで除して単位時間当たりの音節数を求めた上で、過去ｎ秒間における単位時間当たりの音節数の平均値を話し手１０の話速度Ｖｓとして算出する。また、指標演算部３５は、音響分析部３２からの基本周波数ｆ０に基づいて所定時間おきに当該基本周波数ｆ０の標準偏差を算出し、かかる標準偏差が話し手１０による発話の抑揚を示す指標Ａｃとして用いられる。更に、指標演算部３５は、いわゆる有声休止や音節（母音）の引き延ばしといった言い淀みには基本周波数ｆ０の変動が少なく、かつスペクトル包絡Ｓｅの変形が小さいという特徴があることを利用して（上記特開２００１−１２５５８４号公報参照）、音響分析部３２からの基本周波数ｆ０とスペクトル包絡Ｓｅとに基づいて言い淀み（有声休止および音節の引き延ばし）の有無を判定し、言い淀みを検出しなければ言い淀みの指標Ｄｆを値０に設定すると共に、言い淀みを検出した際には言い淀みの指標Ｄｆを値１に設定する。

一方、実施例において、指標演算部３５により算出される所作的評価指標には、話し手１０による聞き手１００（図１参照）とのアイコンタクトの度合を示す指標ＥＩと、プレゼンテーション中の話し手１０による間の取り方に関する指標ＳＩとが含まれる。この場合、指標演算部３５は、画像情報処理部３４から話し手１０の顔の位置および向きを示す顔情報を受け取ると、当該顔情報に基づいて話し手１０が聞き手１００の方を向いているか否かを示す２値情報を求めた上で、当該２値情報からプレゼンテーション中に話し手１０が聞き手１００の方を向いている時間的割合をアイコンタクトの度合を示す指標ＥＩとして算出する。実施例では、図３に示すようなプレゼンテーション環境を想定し、カメラ５０と話し手１０とを結ぶ面ｓ０と聞き手１００側に角度α（例えば２０°、ただしプレゼンテーション環境ごとに変更され得る）をなす面ｓ１から、当該面ｓ１と聞き手１００側に所定角度β（例えば９０°、ただしプレゼンテーション環境ごとに変更され得る）をなす面ｓ２とにより規定される範囲内（図３におけるハッチング部）に話し手１０の顔の向きの水平方向角度が含まれていれば、話し手１０が聞き手１００側を向いているとみなしている。

また、指標演算部３５は、音響分析部３２からの発話時間情報や画像情報処理部３４からの顔情報に基づいて、話し手１０による間の取り方に関する指標ＳＩを次のようにして算出（設定）する。ここで、プレゼンテーションにおいて効果的な「間」とは、その後の発言を強調したり、聞き手１００を話に引き付けたりするように話し手１０が意図的につくり出す「沈黙」をいう。そして、この沈黙は、単に発話していないだけでは何ら意味をもたず、聞き手１００の方を向いた状態でなされる必要がある。その一方で、逆にプレゼンテーション中に間がなく、一つ一つの発話区間が冗長になることは聞き手１００の理解を妨げ、聞き取りやすさを損なう。これらを踏まえて、実施例の指標演算部３５は、音響分析部３２からの発話時間情報と画像情報処理部３４からの顔情報との少なくとも何れか一方に基づいて話し手１０による間の取り方に関する指標ＳＩを以下のように定義する。すなわち、指標演算部３５は、発話時間情報と顔情報を用いて求められる上記２値情報とから話し手１０が音声を発することなく連続して聞き手１００側を見ている無音区間の時間ｔｓ（秒）を求めた上で、ｔｓ＜１（秒）であるときには、ＳＩ＝５０とし、ｔｓ≧１（秒）であるときには、次式（１）を用いて指標ＳＩを算出する。ただし、ＳＩ＞１００となったときには、ＳＩ＝１００とされる。また、話し手１０が連続して発話している場合、指標演算部３５は、発話時間情報から連続した発話時間ｔｃ（秒）を求めた上で、次式（２）を用いて指標ＳＩを算出する。ただし、ＳＩ＜０となったときには、ＳＩ＝０とされる。このようにして算出される指標ＳＩは、値５０を基準とし、間が長くなるとその値も大きくなり、無音区間の時間ｔｓが５秒以上になると最大値１００となる。なお、この５秒という値は、いわゆる「びっくり間」（竹内一郎，“人は見た目が９割，”新潮新書，２００５．参照）を考慮したものである。また、話し手１０が発話を続けていると、式（２）より指標ＳＩは基準値５０から徐々に低下していき、発話時間ｔｃが１３秒以上になると最小値０となる。なお、この１３秒という値は、深い一呼吸の時間に基づいて定められている。

SI = 50 + 12.5・(ts - 1) …（１）
SI = 50 - 50/13・tc …（２）

統合処理部３６は、プレゼンテーションの実行中に話し手１０に対して上述のようにして指標演算部３５により算出された音響的評価指標および所作的評価指標に基づくフィードバックを提供する。また、統合処理部３６は、１回のプレゼンテーション中に算出された音響的評価指標および所作的評価指標のそれぞれについて、当該評価指標をプレゼンテーション資料（スライド）と関連付けした時系列のグラフを作成すること等により、話し手１０に音響的評価指標および所作的評価指標に基づく事後的なフィードバックをも提供可能である。また、データ記憶部３７は、プレゼンテーション支援に際して必要とされる閾値等の各種データや画像データ等を記憶する。

次に、図４および図５を参照しながら、実施例のプレゼンテーション支援装置２０の動作について説明する。

図４は、話し手１０がプレゼンテーションを実行している際に主にメインコンピュータ３０の指標演算部３５と統合処理部３６とにより実行される処理の一例を示すフローチャートである。図４のルーチンの開始に際して、メインコンピュータ３０の指標演算部３５は、サブコンピュータ４０からのプレゼンテーション関連情報、音響情報処理部３１からの発話時間ｔ（発話時間情報）、基本周波数ｆ０およびスペクトル包絡Ｓｅ、画像情報処理部３４からの顔情報（話し手１０の顔の位置および向き）、音節情報といった処理に必要な情報の入力処理を実行する（ステップＳ１００）。ここで、プレゼンテーション関連情報は、サブコンピュータ４０にインストールされたプレゼンテーションソフトからのプレゼンテーションの開始および終了信号、予定発表時間、プレゼンテーション資料であるスライドの切替信号、スライドのサムネイル画像といった情報を含む。ステップＳ１００の入力処理の後、指標演算部３５は、サブコンピュータ４０からのプレゼンテーション関連情報に基づいて、話し手１０によりプレゼンテーションが実行されているか否かを判定し（ステップＳ１１０）、プレゼンテーションが実行中であれば、上述のようにして各種音響情報や顔情報に基づいて、話し手１０による話速度Ｖｓ、話し手１０による発話の抑揚を示す指標Ａｃ、言い淀みに関する指標Ｄｆ、アイコンタクトの度合を示す指標ＥＩおよび間の取り方に関する指標ＳＩといった評価指標を算出すると共に、入力したプレゼンテーション関連情報に基づいてプレゼンテーションの予定残り時間を算出し、これらの評価指標および予定残り時間を統合処理部３６に出力する（ステップＳ１２０）。

指標演算部３５から音響的評価指標と所作的評価指標と予定残り時間とを受け取った統合処理部３６は、各評価指標をそれに対応した閾値と比較してプレゼンテーションを実行する話し手１０に警告を付与すべきか否か判定する判定処理を実行する（ステップＳ１３０）。実施例では、一般にプレゼンテーションを実行する話し手１０が普段よりも早口になる傾向にあることを踏まえて、話速度Ｖｓが所定の上限値（例えば７．６音節／秒）を超えた場合に話し手１０に話速度についての警告を付与することとした。また、実施例では、抑揚の少ないモノトーンな発話を抑制させるべく、発話の抑揚を示す指標Ａｃ（基本周波数ｆ０の標準偏差）が所定の下限値（例えば男性の場合、１０Ｈｚ）を下回った場合に抑揚についての警告を付与することとした。更に、実施例では、言い淀みの存在はプレゼンテーションのパフォーマンスに悪影響を与えてしまう要因であることから、指標Ｄｆが値１である場合には、話し手１０に言い淀みが合った旨の警告を付与することとした。加えて、実施例では、聞き手１００とのアイコンタクトが少ないと聞き手１００の受ける印象が悪化することを踏まえて、アイコンタクトの指標ＥＩが所定の下限値（例えば１５％）を下回った場合に話し手１０にアイコンタクトについての警告を付与することとした。また、実施例では、予定発表時間は当然に遵守されるべきであることを踏まえて、予定残り時間が予定発表時間の２０％となった時点で話し手１０にその旨を通知することとした。なお、実施例において、間の取り方の指標ＳＩについては閾値との比較による警告の必要性を判定しないものとしたが、間の取り方の指標ＳＩについても適切な閾値を定めて話し手１０に閾値との比較結果に応じた警告を付与してもよいことはいうまでもない。

こうしてステップＳ１３０の処理を実行したならば、警告の対象となった評価指標が存在するか否かを判定し（ステップＳ１４０）、警告の対象となった評価指標が存在していれば、当該評価指標に対応した警告表示指令を設定する（ステップＳ１５０）。実施例では、警告の対象となった評価指標が存在している場合、話し手１０が用いるサブコンピュータ４０の表示画面４１（図２参照）に所定のマークと警告内容とを示す警告表示４３を資料画像４２と共に表示すると共に警告機器７０（モニタ）にも同様の警告表示を表示することとしている。従って、例えば話速度Ｖｓが上限値を超えている場合、警告表示指令は、所定のマークと共に「話速度おとせ」といった文字列を表示画面４１等に表示させるための指令となる。また、抑揚、言い淀み、アイコンタクト、予定残り時間についての警告表示指令は、それぞれ所定のマークと共に「抑揚つけろ」、「よどむな」、「原稿みるな」、「時間８０％経過」といった文字列を表示画面４１等に表示させるための指令となる。なお、警告の対象となった評価指標が存在していなければ、ステップＳ１５０の処理はスキップされる。

ステップＳ１４０またＳ１５０の処理の後、プレゼンテーション管理情報を設定し、当該プレゼンテーション管理情報をサブコンピュータ４０や所定の警告機器７０に送信する（ステップＳ１６０）。プレゼンテーション管理情報は、上述の警告表示指令の他に、図５に示すリアルタイムモニタ４４をサブコンピュータ４０の表示画面４１に表示させるための指令等を含む。実施例において、リアルタイムモニタ４４は、図５に示すように、現状の予定残り時間、話速度Ｖｓ、抑揚に関する指標Ａｃ、アイコンタクトに関する指標ＥＩおよび間の取り方に関する指標ＳＩを話し手１０がほぼリアルタイムで把握できるようにするものとされる。これにより、プレゼンテーションを実行する話し手１０に対して音響的評価指標および所作的評価指標に基づくフィードバックを良好に提供可能となる。なお、実施例のプレゼンテーション支援装置２０では、上述のように各評価指標をプレゼンテーション資料（スライド）と関連付けした時系列のグラフを事後的に提供すべく、ステップＳ１６０では、各評価指標をプレゼンテーション資料と関連付けしたデータの保存処理も実行される。そして、ステップＳ１６０の処理を実行したならば、再度ステップＳ１００以降の処理を実行し、ステップＳ１１０にてプレゼンテーションが終了したと判断した時点で本ルーチンを終了させる。

以上説明したように、実施例のプレゼンテーション支援装置２０では、実際のプレゼンテーションやプレゼンテーションの練習に際し、メインコンピュータ３０の音響情報処理部３１によりマイクロフォン６０を介して集音された話し手１０の音声に基づく音響情報が取得されると共に、画像情報処理部３４によりカメラ５０を介して取り込まれた話し手１０の身体的動作に関する画像情報とが取得される。更に、メインコンピュータ３０の指標演算部３５により、音響情報に基づいてプレゼンテーション中の話し手１０による発話に関連した音響的評価指標が算出されると共に、音響情報と画像情報との少なくとも何れか一方に基づいてプレゼンテーション中の話し手１０による所作に関連した所作的評価指標が算出される（図４のステップＳ１３０）。そして、こうして算出された音響的評価指標と所作的評価指標とは、それ自体あるいは閾値との比較結果に基づく警告という形式で話し手１０にほぼリアルタイムでフィードバックされる（図４のステップＳ１３０〜Ｓ１６０）。また、実施例のプレゼンテーション支援装置は、話し手１０に音響的評価指標および所作的評価指標に基づく事後的なフィードバックをも提供可能である。このように、実際のプレゼンテーションやプレゼンテーションの練習に際して、話し手１０の音声に基づく音響情報のみならず話し手１０の身体的動作に関する画像情報を取得し、音響情報と画像情報との少なくとも何れか一方に基づいて所作的評価指標をも算出するようにすれば、プレゼンテーションの実行中あるいは練習中に話し手１０の音声の状態や身体的所作等の非言語情報をより適正に把握可能となるので、実施例のプレゼンテーション支援装置２０は、より良いプレゼンテーションの実行やプレゼンテーションスキルの向上に寄与し得るより実用的なものといえる。また、音響的評価指標や所作的評価指標の少なくとも何れか一つをそれに対応した閾値と比較すると共に比較結果に応じた警告を話し手１０に付与すれば、実際のプレゼンテーションやプレゼンテーションの練習に際し、そのプレゼンテーションがより良いものとなるように、話し手１０にほぼリアルタイムで現状を把握させることが可能となる。

更に、実施例のように、アイコンタクトの度合を示す指標ＥＩや間の取り方に関する指標ＳＩを所作的評価指標とすると共に、話速度Ｖｓや、抑揚を示す指標Ａｃ、言い淀みに関する指標Ｄｆを音響的評価指標とすれば、プレゼンテーション支援装置２０をより良いプレゼンテーションの実行やプレゼンテーションスキルの向上に寄与し得るより実用的なものとすることができる。すなわち、アイコンタクトの度合を示す指標を所作的評価指標の一つとすれば、プレゼンテーションに際して話し手１０をより適切に聞き手１００に目を向けるように仕向けて、そのプレゼンテーションを説得力に満ちた印象のよいものとすることが可能となる。また、音響情報と画像情報との少なくとも何れか一方に基づく間の取り方に関する指標ＳＩを所作的評価指標の一つとすれば、話し手１０が聞き手１００に目を向けた状態で意図的な沈黙すなわち効果的な間をより適切につくり出せるようになり、そのプレゼンテーションを聞き手１００を引きつける印象のよいものとすることができる。更に、話し手１０による話速度Ｖｓを示す指標を音響的評価指標の一つとすれば、プレゼンテーション中の話し手１０による話速度がより適切なものとなり、そのプレゼンテーションを聞き取りやすい印象のよいものとすることができる。また、話し手１０による発話の抑揚を示す指標Ａｃを音響的評価指標の一つとすれば、プレゼンテーション中の話し手１０による発話の抑揚をより適切なものとして、そのプレゼンテーションをメリハリのきいた印象のよいものとすることができる。更に、プレゼンテーション中の話し手１０による言い淀みに関する指標Ｄｆを音響的評価指標の一つとすれば、プレゼンテーション中の話し手１０による言い淀みがより少なくなり、そのプレゼンテーションを自信に満ちた印象のよいものとすることができる。

なお、音響的評価指標や所作的評価指標は、上述のものに限られるものではなく、他の様々な指標を用いることが可能である。例えば、所作的評価指標としては、話し手１０の視線や立ち位置の安定度に関する指標や、身振り手振りといったボディジェスチャに関する指標、表情に関する指標、スクリーン９０に映し出される資料に対する視線に関する指標等をとりいれてもよい。また、上記実施例をメインコンピュータ３０に本発明によるコンピュータ支援プログラムがインストールされるものとして説明したが、これに限られるものではなく、コンピュータ支援プログラムは、プレゼンテーションの実行に際して話し手１０により使用されるサブコンピュータ４０にインストールされてもよい。

以上、実施例を用いて本発明の実施の形態について説明したが、本発明は上記各実施例に何ら限定されるものではなく、本発明の要旨を逸脱しない範囲内において、様々な変更をなし得ることはいうまでもない。

本発明は、プレゼンテーション支援ツールの製造業、プレゼンテーションの講習業等において利用可能である。

本発明の一実施例に係るプレゼンテーション支援装置２０を用いてプレゼンテーションを実行している様子を示す説明図である。 本発明の一実施例に係るプレゼンテーション支援装置２０の概略構成図である。 話し手１０が聞き手１００の方を向いているか否か判定する手順を示す説明図である。 話し手１０がプレゼンテーションを実行している際に主にメインコンピュータ３０の指標演算部３５と統合処理部３６とにより実行される処理の一例を示すフローチャートである。 話し手１０がプレゼンテーションを実行している際にサブコンピュータ４０の表示画面４１に表示されるリアルタイムモニタ４４の一例を示す説明図である。

符号の説明

１０ 話し手、２０ プレゼンテーション支援装置、３０ メインコンピュータ、３１ 音響情報処理部、３２ 音響分析部、３３ 音声認識部、３４ 画像情報処理部、３５ 指標演算部、３６ 統合処理部、３７ データ記憶部、４０ サブコンピュータ、４１ 表示画面、４２ 資料画像、４３ 警告表示、４４ リアルタイムモニタ、５０ カメラ、６０ マイクロフォン、７０ 警告機器、 ８０ プロジェクタ、９０ スクリーン、１００ 聞き手。

Claims (9)

1. プレゼンテーションを実行する話し手を支援するためのプレゼンテーション支援装置であって、
   前記話し手の音声に基づく音響情報を取得する音響情報取得手段と、
   前記話し手の身体的動作に関する画像情報を取得する画像情報取得手段と、
   前記音響情報取得手段により取得された音響情報に基づいて前記プレゼンテーション中の前記話し手による発話に関連した所定の音響的評価指標を算出すると共に、前記音響情報取得手段により取得された音響情報と前記画像情報取得手段により取得された画像情報との少なくと何れか一方に基づいて前記プレゼンテーション中の前記話し手による所作に関連した所定の所作的評価指標を算出する評価指標算出手段と、
   前記話し手に対して前記評価指標算出手段により算出された前記音響的評価指標および前記所作的評価指標に基づくフィードバックを提供可能なフィードバック手段と、
   を備えるプレゼンテーション支援装置。
2. 請求項１に記載のプレゼンテーション支援装置において、
   前記画像情報は、前記話し手の少なくとも顔の向きに関する顔情報を含み、
   前記評価指標算出手段は、前記画像情報取得手段により取得された前記顔情報に基づいて前記話し手による聞き手とのアイコンタクトの度合を示す指標を前記所作的評価指標として算出するプレゼンテーション支援装置。
3. 請求項１に記載のプレゼンテーション支援装置において、
   前記音響情報は、前記話し手による連続した発話区間の時間を示す発話時間情報を含むと共に、前記画像情報は、前記話し手の少なくとも顔の向きに関する顔情報を含み、
   前記評価指標算出手段は、前記音響情報取得手段により取得された前記発話時間情報と前記画像情報取得手段により取得された前記顔情報との少なくとも何れか一方に基づいて前記プレゼンテーション中の前記話し手による間の取り方に関する指標を前記所作的評価指標として算出するプレゼンテーション支援装置。
4. 請求項１に記載のプレゼンテーション支援装置において、
   前記音響情報は、前記話し手による連続した発話区間の時間を示す発話時間情報と該発話区間における音節数を示す音節情報とを含み、
   前記評価指標算出手段は、前記音響情報取得手段により取得された前記発話時間情報および前記音節情報に基づいて前記話し手による話速度を示す指標を前記音響的評価指標として算出するプレゼンテーション支援装置。
5. 請求項１に記載のプレゼンテーション支援装置において、
   前記音響情報は、前記話し手の音声の基本周波数を示す基本周波数情報を含み、
   前記評価指標算出手段は、前記音響情報取得手段により取得された前記基本周波数情報に基づいて前記話し手による発話の抑揚を示す指標を前記音響的評価指標として算出するプレゼンテーション支援装置。
6. 請求項１に記載のプレゼンテーション支援装置において、
   前記音響情報は、前記話し手の音声の基本周波数を示す基本周波数情報と該基本周波数に基づくスペクトル包絡を示すスペクトル包絡情報とを含み、
   前記評価指標算出手段は、前記音響情報取得手段により取得された前記基本周波数情報および前記スペクトル包絡情報に基づいて前記プレゼンテーション中の前記話し手による言い淀みに関する指標を前記音響的評価指標として算出するプレゼンテーション支援装置。
7. 請求項１に記載のプレゼンテーション支援装置において、
   前記フィードバック手段は、前記評価指標算出手段により算出された前記音響的評価指標および前記所作的評価指標の少なくとも何れか一つをそれに対応した閾値と比較すると共に、比較結果に応じて前記プレゼンテーションを実行している前記話し手に所定の警告を付与可能であるプレゼンテーション支援装置。
8. プレゼンテーションを実行する話し手を支援するためのプレゼンテーション支援方法であって、
   （ａ）前記話し手の音声に基づく音響情報と前記話し手の身体的動作に関する画像情報とを取得するステップと、
   （ｂ）ステップ（ａ）で取得された前記音響情報に基づいて前記プレゼンテーション中の前記話し手による発話に関連した所定の音響的評価指標を算出すると共に、ステップ（ａ）で取得された前記音響情報および前記画像情報の少なくと何れか一方に基づいて前記プレゼンテーション中の前記話し手による所作に関連した所定の所作的評価指標を算出するステップと、
   （ｃ）前記話し手に対してステップ（ｂ）で算出された前記音響的評価指標および前記所作的評価指標に基づくフィードバックを提供するステップと、
   を含むプレゼンテーション支援方法。
9. プレゼンテーションを実行する話し手を支援するためのプレゼンテーション支援装置としてコンピュータを機能させるプレゼンテーション支援プログラムであって、
   前記話し手の音声に基づく音響情報を取得する音響情報取得モジュールと、
   前記話し手の身体的動作に関する画像情報を取得する画像情報取得モジュールと、
   前記音響情報取得モジュールにより取得された音響情報に基づいて前記プレゼンテーション中の前記話し手による発話に関連した所定の音響的評価指標を算出すると共に、前記音響情報取得モジュールにより取得された音響情報と前記画像情報取得モジュールにより取得された画像情報との少なくとも何れか一方に基づいて前記プレゼンテーション中の前記話し手による所作に関連した所定の所作的評価指標を算出する評価指標算出モジュールと、
   前記話し手に対して前記評価指標算出モジュールにより算出された前記音響的評価指標および前記所作的評価指標に基づくフィードバックを提供可能なフィードバックモジュールと、
   を備えるプレゼンテーション支援プログラム。

Images