JP2012255866A - プレゼンテーションコーチシステム - Google Patents
プレゼンテーションコーチシステム Download PDFInfo
- Publication number
- JP2012255866A JP2012255866A JP2011128124A JP2011128124A JP2012255866A JP 2012255866 A JP2012255866 A JP 2012255866A JP 2011128124 A JP2011128124 A JP 2011128124A JP 2011128124 A JP2011128124 A JP 2011128124A JP 2012255866 A JP2012255866 A JP 2012255866A
- Authority
- JP
- Japan
- Prior art keywords
- presenter
- presentation
- behavior
- period
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Withdrawn
Links
Abstract
【課題】プレゼンターがプレゼンテーションを実施している場合に、プレゼンターをリアルタイムで支援することが可能なプレゼンテーションコーチシステムを提供する。
【解決手段】プレゼンテーション資料を表示する表示手段と、プレゼンターの発声する音声を認識する音声認識手段と、音声認識手段からの認識結果に基づいて、プレゼンターが話した内容の論旨を取得する第1の構文解析手段と、プレゼンテーション資料に含まれる内容の論旨を取得する第2の構文解析手段と、第1の構文解析手段によって逐次取得されるプレゼンターが話した内容の論旨と、第2の構文解析手段によって取得されているプレゼンテーション資料の論旨の対応する部分とを逐次比較する論旨比較手段と、比較された論旨の間に相違が生じていると論旨比較手段が判断することに応答して、プレゼンターに通知を行なう通知手段とを含む。
【選択図】図3
【解決手段】プレゼンテーション資料を表示する表示手段と、プレゼンターの発声する音声を認識する音声認識手段と、音声認識手段からの認識結果に基づいて、プレゼンターが話した内容の論旨を取得する第1の構文解析手段と、プレゼンテーション資料に含まれる内容の論旨を取得する第2の構文解析手段と、第1の構文解析手段によって逐次取得されるプレゼンターが話した内容の論旨と、第2の構文解析手段によって取得されているプレゼンテーション資料の論旨の対応する部分とを逐次比較する論旨比較手段と、比較された論旨の間に相違が生じていると論旨比較手段が判断することに応答して、プレゼンターに通知を行なう通知手段とを含む。
【選択図】図3
Description
本発明は、プレゼンターによるプレゼンテーションをリアルタイムで支援するプレゼンテーションコーチシステムに関する。
近年の情報通信技術の進歩に伴って、プロジェクタなどを用いてプレゼンテーションをする機会が増加している。たとえば、会社などでは、企画提案、商品PR、成果報告などのためにプレゼンテーションが行なわれ、また、学術研究の場などでも、研究成果の報告などのためにプレゼンテーションが行なわれる。
このようなプレゼンテーションを行なう者(以下、「プレゼンター」と称す。)にとってみれば、聴衆(オーディエンス)の反応を気にしつつ、自己の表現したい内容を説明することに注力することになる。そのため、プレゼンテーションの実施中に、プレゼンターが誤った内容を説明したり、プレゼンターとしては好ましくない挙動をとったりした場合であっても、そのことに気付き難い。
そこで、プレゼンテーションを円滑に行なうことを支援する目的で、特許文献1(特開2007−219161号公報)には、プレゼンテーション評価装置などが開示されている。この特許文献1に開示されるプレゼンテーション評価装置は、発表用資料に対してどの程度の時間講演を費やしたかと、且つ発表者がどの程度聴衆者を見てコンタクトをとりながら発表を行なっているかを評価値として取得する構成が開示されている。より具体的には、特許文献1のプレゼンテーション評価装置は、発表資料の各ページに割当てられた時間と、発表者の視線の方向を検知し、それぞれの評価が基準値以下になった場合に、発表者に警告する。
また、技術分野は異なるが、特許文献2(特開2009−077380号公報)には、コンピュータを介するコミュニケーションにおいて動作を社会的に適切であるように修正する方法などが開示されている。より具体的には、特許文献2に開示された方法では、TV会議で参加者の動作が社会的に不適切な場合、自動で補正した画像を相手先に流す。
しかしながら、従来技術によれば、プレゼンテーションを行なっているプレゼンターをリアルタイムで支援することは難しかった。
たとえば、プレゼンターが予め用意されたプレゼンテーション資料に含まれる論旨に対して、誤った内容をプレゼンテーションし、あるいは、その論旨を十分にプレゼンテーションしなかったようなときには、プレゼンターにリアルタイムでその事実を通知し、その場で発言内容などを訂正することを促すことが好ましい。このように、誤った発言内容をリアルタイムで訂正することで、オーディエンスに誤った内容が伝達されることを防止することができる。
しかしながら、このような目的を達するための技術は、上述のような従来技術には開示されていなかった。そのため、プレゼンターによって行なわれているプレゼンテーションの論旨が、予め用意されたプレゼンテーション資料に含まれる内容と異なっていたとしても、リアルタイムで修正することはできず、プレゼンテーション実施後、録画/録音された内容を確認した上でその発言内容を修正するか、あるいは、オーディエンスからの指摘により発言内容を修正するしか手立てがなかった。
また、プレゼンテーション中の挙動(立ち振舞い)が、プレゼンターとして好ましくない場合もある。このような場合にも、プレゼンターに通知することで気付かせ、そのような挙動を直させることが好ましい。しかしながら、上述のような従来技術には、このような対処を実現するための構成は開示されていなかった。
本発明は、上記のような問題を解決するためになされたものであって、その目的は、プレゼンターがプレゼンテーションを実施している場合に、プレゼンターをリアルタイムで支援することが可能なプレゼンテーションコーチシステムを提供することである。
本発明のある局面に従うプレゼンテーションコーチシステムは、プレゼンテーション資料を表示する表示手段と、プレゼンターの発声する音声を認識する音声認識手段と、音声認識手段からの認識結果に基づいて、プレゼンターが話した内容の論旨を取得する第1の構文解析手段と、プレゼンテーション資料に含まれる内容の論旨を取得する第2の構文解析手段と、第1の構文解析手段によって逐次取得されるプレゼンターが話した内容の論旨と、第2の構文解析手段によって取得されているプレゼンテーション資料の論旨の対応する部分とを逐次比較する論旨比較手段と、比較された論旨の間に相違が生じていると論旨比較手段が判断することに応答して、プレゼンターに通知を行なう通知手段とを含む。
好ましくは、通知手段は、表示手段によって表示されるプレゼンテーション資料とともに、所定の画像を表示する。
さらに好ましくは、プレゼンテーション資料が表示される領域の相対的に隅の位置に、所定の画像が表示される。
好ましくは、通知手段は、プレゼンターに装着可能な装置から音、光、振動の少なくとも1つが発せされるようにする。
本発明の別の局面に従うプレゼンテーションコーチシステムは、プレゼンテーション資料を表示する表示手段と、プレゼンターを撮像する撮像手段と、撮像手段により撮像されたプレゼンターの画像に基づいて、プレゼンターの挙動を認識する挙動認識手段と、挙動認識手段からの認識結果に基づいて、プレゼンテーション中の挙動としては好ましくない予め定められた挙動をプレゼンターが行なっているか否かを判断する挙動判断手段と、プレゼンターが好ましくない挙動を行なっているとの判断に応答して、プレゼンターに通知を行なう通知手段とを含む。
好ましくは、通知手段は、表示手段によって表示されるプレゼンテーション資料とともに、所定の画像を表示する。
さらに好ましくは、プレゼンテーション資料が表示される領域の相対的に隅の位置に、所定の画像が表示される。
好ましくは、挙動判断手段は、プレゼンターの目線方向を検知するとともに、オーディエンスの方を一定期間を超えて向いていないことを検知すると、プレゼンターが好ましくない挙動を行なっていると判断する。
好ましくは、挙動判断手段は、プレゼンターによる挙動の周期を取得するように構成されており、通知手段は、プレゼンターの挙動が周期的に変動していると挙動判断手段が判断することに応答して、プレゼンターに通知を行なう。
好ましくは、プレゼンテーションコーチシステムは、さらに、プレゼンターの発声する音声を認識する音声認識手段と、プレゼンターが話す抑揚の周期を取得する抑揚周期取得手段と、挙動判断手段により取得されたプレゼンターによる挙動の周期と、抑揚周期取得手段により取得されたプレゼンターが話す抑揚の周期とを比較する周期比較手段とを含み、通知手段は、プレゼンターが話す抑揚の周期とは独立した周期で、プレゼンターの挙動が変動していると周期比較手段が判断することに応答して、プレゼンターに通知を行なう。
さらに好ましくは、通知手段は、挙動判断手段が判断したプレゼンターによる挙動の周期に関連付けた通知を行なう。
さらに好ましくは、通知手段は、挙動判断手段が判断したプレゼンターによる挙動の周期で点滅表示を行なう。
さらに好ましくは、通知手段は、挙動判断手段が判断したプレゼンターによる挙動の周期をアニメーション表示する。
本発明によれば、プレゼンターがプレゼンテーションを実施している場合に、プレゼンターをリアルタイムで支援することができる。
本発明の実施の形態について、図面を参照しながら詳細に説明する。なお、図中の同一または相当部分については、同一符号を付してその説明は繰返さない。
<A.全体概要>
図1は、本発明の実施の形態に従うプレゼンテーションシステム100を用いたシステムSYSの全体構成を示す模式図である。図1を参照して、本実施の形態に従うプレゼンテーション用のシステムSYSでは、プレゼンター300は、スクリーン200の前でプレゼンテーションを行なうものとする。プレゼンテーションシステム100は、プレゼンター300の発声した内容や挙動をリアルタイムで検出するとともに、その検出結果に基づいて後述するような処理を行ない、その結果をスクリーン200などに表示することで、プレゼンター300を支援する。
図1は、本発明の実施の形態に従うプレゼンテーションシステム100を用いたシステムSYSの全体構成を示す模式図である。図1を参照して、本実施の形態に従うプレゼンテーション用のシステムSYSでは、プレゼンター300は、スクリーン200の前でプレゼンテーションを行なうものとする。プレゼンテーションシステム100は、プレゼンター300の発声した内容や挙動をリアルタイムで検出するとともに、その検出結果に基づいて後述するような処理を行ない、その結果をスクリーン200などに表示することで、プレゼンター300を支援する。
より具体的には、プレゼンテーションシステム100は、スクリーン200に対して、各種の画像/映像を投影するプロジェクタ20と、プロジェクタ20に接続されたパーソナルコンピュータ10と、少なくともプレゼンター300を撮影するカメラ30と、少なくともプレゼンター300が発した音声を取得するためのマイク40とを含む。
<B.ハードウェア構成>
次に、プレゼンテーションシステム100のハードウェア構成について説明する。
次に、プレゼンテーションシステム100のハードウェア構成について説明する。
図2は、本発明の実施の形態に従うプレゼンテーションシステム100のハードウェア構成を示す模式図である。図2を参照して、プレゼンテーションシステム100のパーソナルコンピュータ10は、典型的には、汎用目的コンピュータである。すなわち、パーソナルコンピュータ10は、オペレーティングシステム(以下、「OS」とも記載する。)を含む各種プログラムを実行するCPU11と、CPU11でのプログラムの実行に必要なデータを一時的に記憶するメモリ12と、CPU11で実行されるプログラムを不揮発的に記憶するハードディスク15とを有する。これらの各部は、バス19を介して、互いにデータ通信可能に構成されている。ハードディスク15には、後述するような各種機能を提供するためのプログラムが予め格納されているものとする。さらに、ハードディスク15は、プレゼンター300がプレゼンテーションを行なうためのプレゼンテーション資料(データ)も格納されているものとする。
さらに、パーソナルコンピュータ10は、カメラ30と接続するための映像インターフェイス(I/F)16と、マイク40と接続するための音声インターフェイス(I/F)17と、プロジェクタ20と接続するための表示インターフェイス(I/F)18とを含む。CPU11は、映像インターフェイス(I/F)16および音声インターフェイス(I/F)17を介してそれぞれ入力される映像および音声を受けて、後述するような処理を行なうことで、プレゼンター300を支援するために必要な情報を、表示インターフェイス18を介してプロジェクタ20へ出力する。すなわち、カメラ30は、プレゼンター300を撮像する撮像手段に相当する。
本実施の形態に従うプレゼンテーションシステム100においては、プレゼンター300などによる操作に応答して、プレゼンテーション資料の内容がプロジェクタ20などによってスクリーン200に投影される。すなわち、プロジェクタ20は、プレゼンテーション資料を表示する表示手段に相当する。具体的には、CPU11が、ハードディスク15に格納されているプレゼンテーション資料によって生成される画像/映像について、表示インターフェイス18を介してプロジェクタ20へ出力する。一例として、このようなプレゼンテーション資料は、マイクロソフト社のPowerPoint(登録商標)などにより作成されるスライド形式の電子データや、文書作成アプリケーションや表作成アプリケーションなどによって作成される書類形式の電子データなどが想定される。
また、後述するように、プレゼンター300を支援するための情報を、スクリーン200に表示する形態以外の他の手段によってプレゼンター300に伝達する場合には、CPU11は、ネットワークインターフェイス(I/F)13を介して、必要な通知デバイスへ情報を送信する。すなわち、ネットワークインターフェイス(I/F)13は、典型的には、LANカードなどであり、ネットワークを介して各種情報が伝送される。
また、CPU11は、処理中などの状態や操作画面をディスプレイ58へ出力する。
<C.制御機能>
次に、プレゼンテーションシステム100の機能構成について説明する。
<C.制御機能>
次に、プレゼンテーションシステム100の機能構成について説明する。
図3は、本発明の実施の形態に従うプレゼンテーションシステム100の制御構造を示す模式図である。なお、図3には、後述するような複数の機能を実現するための制御構造を示すが、機能の一部のみを提供する場合には、図3に示す機能ブロックのうち対応する一部の機能ブロックのみを実装すればよい。そのため、本発明の技術的範囲としては、このような必要な機能の一部のみが実装された構成も含まれ得る。
図3を参照して、パーソナルコンピュータ10は、制御構造として、映像認識モジュール102と、音声認識モジュール104と、プレゼンテーションエンジン106と、構文解析モジュール108と、構文一致評価モジュール110と、構文解析結果データベース(DB)112と、挙動評価モジュール114と、画像合成モジュール116と、画像出力モジュール118とを含む。これらの制御構造は、典型的には、CPU11(図2)がプログラムコードを実行することで提供される。
映像認識モジュール102は、カメラ30によって撮像された(プレゼンター300を写した)映像に対して映像認識処理を行なう。具体的には、映像認識モジュール102は、公知の人体認識技術(顔検知ロジックなど)を用いて、入力された映像内における人間(プレゼンター300)の位置や目線などを検知する。映像認識モジュール102は、その検知結果を挙動評価モジュール114へ出力する。すなわち、映像認識モジュール102は、カメラ30により撮像されたプレゼンター300の画像に基づいて、プレゼンターの挙動を認識する挙動認識手段に相当する。
音声認識モジュール104は、マイク40を介して入力される(プレゼンター300からの)音声に対して音声認識処理を行なう。具体的には、音声認識モジュール104は、プレゼンターの発声する音声を認識する。音声認識モジュール104によって得られた音声の認識結果は、構文解析モジュール108および挙動評価モジュール114へ送られる。
プレゼンテーションエンジン106は、予め用意されるプレゼンテーション資料を解釈して、表示すべき映像を示す画像データを画像合成モジュール116へ出力するとともに、当該プレゼンテーション資料に含まれるテキストデータを構文解析モジュール108へ出力する。
構文解析モジュール108は、音声認識モジュール104から入力される音声認識結果およびプレゼンテーションエンジン106から入力されるプレゼンテーション資料のテキストデータに対して構文解析処理を実行する。音声認識モジュール104から入力される音声認識結果に対する構文解析処理は、基本的には、プレゼンター300がプレゼンテーションを行なっている間、リアルタイムで実行される。これに対して、プレゼンテーションエンジン106から入力されるプレゼンテーション資料のテキストデータに対する構文解析処理は、基本的には、プレゼンテーション資料が入力された際に実行され、その構文解析結果は、予め構文解析結果DB112へ格納される。
より具体的には、構文解析モジュール108は、音声認識手段である音声認識モジュール104からの認識結果に基づいて、プレゼンター300が話した内容の論旨を取得する構文解析手段として機能するとともに、プレゼンテーション資料に含まれる内容の論旨を取得する構文解析手段としても機能する。このような構文解析モジュール108における構文解析(論旨の取得)の実装形態としては、公知の方法を採用することができる。
構文解析結果DB112は、構文解析モジュール108によって解析された、プレゼンテーション資料に含まれる内容の論旨を保持する。このとき、プレゼンテーション資料を特定するための識別情報が格納される解析結果に付与され、プレゼンター300がプレゼンテーションを行なっている期間においては、当該識別情報に基づいて、当該プレゼンター300がプレゼンテーションの対象としているプレゼンテーション資料が特定される。
構文一致評価モジュール110は、構文解析結果DB112に格納されているプレゼンテーション資料についての構文解析結果と、プレゼンター300が話した内容を構文解析モジュール108によって処理して得られた構文解析結果とを比較することで、両者が一致しているか否かを判断する。
すなわち、構文一致評価モジュール110は、構文一致評価モジュール110(第1の構文解析手段)によって逐次取得されるプレゼンター300が話した内容の論旨と、構文一致評価モジュール110(第2の構文解析手段)によって取得されているプレゼンテーション資料の論旨(構文解析結果DB112に格納されている構文解析結果)の対応する部分とを逐次比較する論旨比較手段に相当する。さらに、構文一致評価モジュール110は、両者の論旨の一致度合いを示す情報を画像合成モジュール116へ出力する。すなわち、構文一致評価モジュール110は、比較された論旨の間に相違が生じていると判断すると、プレゼンター300に通知を行なうための情報を画像合成モジュール116へ出力する。
挙動評価モジュール114は、映像認識モジュール102からの映像認識結果および/または音声認識モジュール104からの音声認識結果に基づいて、プレゼンテーションを行なっている際のプレゼンター300の挙動を評価する。より具体的には、プレゼンター300がプレゼンテーション時に好ましくない挙動をしているか否かを検知する。すなわち、挙動評価モジュール114は、挙動認識モジュール(挙動認識手段)からの認識結果に基づいて、プレゼンテーション中の挙動としては好ましくない予め定められた挙動をプレゼンター300が行なっているか否かを判断する挙動判断手段に相当する。
本実施の形態に従うプレゼンテーションシステム100では、主として、以下の3つの点でプレゼンター300の挙動を評価する。
(1)プレゼンター300がオーディエンスの方を見てプレゼンテーションを行なっているか
(2)プレゼンター300がスクリーン200に投影される画像の認識を妨げる位置に立っているか
(3)プレゼンター300が無意識のうちに体を周期的に揺らしながらプレゼンテーションを行なっているか
(4)((3)の派生形態)プレゼンター300がその発話内容とは無関係に周期的に体を揺らしながらプレゼンテーションを行なっているか
これらのプレゼンター300の挙動を評価する機能の詳細については後述する。
(2)プレゼンター300がスクリーン200に投影される画像の認識を妨げる位置に立っているか
(3)プレゼンター300が無意識のうちに体を周期的に揺らしながらプレゼンテーションを行なっているか
(4)((3)の派生形態)プレゼンター300がその発話内容とは無関係に周期的に体を揺らしながらプレゼンテーションを行なっているか
これらのプレゼンター300の挙動を評価する機能の詳細については後述する。
画像合成モジュール116は、プレゼンテーションエンジン106からのプレゼンテーション資料を表示するための画像データに対して、構文一致評価モジュール110および/構文一致評価モジュール110における判断結果に応じた画像などを合成した上で、合成された画像を画像出力モジュール118へ出力する。画像出力モジュール118は、画像合成モジュール116からの合成画像をプロジェクタ20へ出力する。このように、画像合成モジュール116および画像出力モジュール118は、プレゼンター300を支援するための情報を通知する。すなわち、画像合成モジュール116および画像出力モジュール118は、比較された論旨の間に相違が生じていると構文一致評価モジュール110(論旨比較手段)が判断することに応答して、プレゼンター300に通知を行なう通知手段に相当する。また、画像合成モジュール116および画像出力モジュール118は、プレゼンター300が好ましくない挙動を行なっているとの判断に応答して、プレゼンター300に通知を行なう通知手段にも相当する。
<D.プレゼンテータの発言した論旨に基づくコーチング機能>
以下、本実施の形態に従うプレゼンテータの発言した論旨に基づくコーチング機能について説明する。このコーチング機能は、主として、上述した構文一致評価モジュール110(図3)によって提供される。すなわち、プレゼンテーション資料についての論旨と、プレゼンター300が話した内容についての論旨との間に相違が生じている場合に、プレゼンター300に通知を行なう。
以下、本実施の形態に従うプレゼンテータの発言した論旨に基づくコーチング機能について説明する。このコーチング機能は、主として、上述した構文一致評価モジュール110(図3)によって提供される。すなわち、プレゼンテーション資料についての論旨と、プレゼンター300が話した内容についての論旨との間に相違が生じている場合に、プレゼンター300に通知を行なう。
このような論旨の間の相違を判断する好ましい一つの方法としては、プレゼンテーション資料に含まれるキーワード(典型的には、「可能性が」といった主語)および対応する程度を示す用語(たとえば、「高い」とか「低い」といった形容詞や副詞)とを関連付けて、構文解析結果DB112に登録しておく。なお、このキーワードについては、カテゴリーに分類することが好ましい。
その上で、音声認識モジュール104によって認識されたプレゼンター300が発話したセンテンスからキーワードを抽出し、抽出したキーワードと一致するキーワードが予め登録されているか否かが判断される。互いに一致するキーワードについては、関連付けて登録されている程度を示す用語と、プレゼンター300が発話したセンテンスに含まれる対応する用語(典型的には「述語」など)とが関連性(相関性)を有しているか否かを判断する。ここで、構文解析結果DB112に登録されている用語とは反対の意味をもつ用語をプレゼンター300が発声した場合には、論旨の間に相違が生じていると判断される。
たとえば、プレゼンテーション資料には「〜の可能性が高い」といった記載があるにもかかわらず、プレゼンター300が「〜の可能性は低い」と発言したような場合が挙げられる。このような場合、誤った内容がオーディエンスに伝えられないように、プレゼンター300にその旨が通知される。
図4は、本発明の実施の形態に従うプレゼンテーションシステム100によるプレゼンター300への通知形態の一例を示す図である。
図4を参照して、プレゼンテーション資料の内容がプロジェクタ20などによってスクリーン200に投影されている状態において、プレゼンター300に通知を行なうマーク画像202が重ねて表示される。このマーク画像202は、オーディエンスに気付かれにくく、かつ、プレゼンテーション資料を提示するにあたって邪魔にならない位置に合成して表示される。このように、プレゼンテーション資料が表示される領域の相対的に隅の位置に、マーク画像202(所定の画像)が表示される。
すなわち、画像合成モジュール116および画像出力モジュール118(通知手段)は、プロジェクタ20(表示手段)によって表示されるプレゼンテーション資料とともに、所定の画像を表示する。
なお、プレゼンター300への通知手段としては、図4に示すような形態以外に、公知の各種の方法を採用してもよい。たとえば、表示されるプレゼンテーション資料の背景色を変更し、あるいは、プレゼンター300が装着する各種携帯装置を用いて物理的な通知を行なってもよい。このような、物理的な通知の形態としては、たとえば、音、光、振動の少なくとも1つが発せされるようにすることが考えられる。
図5は、本発明の実施の形態に従うプレゼンテーションシステム100が提供するプレゼンテータの発言した論旨に基づくコーチング機能に係るフローチャートである。図5に示す各ステップは、典型的には、CPU11がプログラムを実行することで提供される。また、図5に示すフローチャートの実行前に、必要に応じて、プレゼンテーション資料のテキストデータに対する構文解析処理が実行され、その構文解析結果が構文解析結果DB112に格納されているものとする。また、図5に示すフローチャートは、プレゼンター300がプレゼンテーションを開始するというトリガーに応答して開始される。このトリガーとしては、プレゼンテーション資料の表示開始などの指令である。
図5を参照して、まず、CPU11は、マイク40を介したプレゼンター300からの音声の入力を待つ(ステップS100)。プレゼンター300からの音声が入力されると、CPU11は、入力された音声に対して音声認識処理を行なうとともに、音声認識結果に対して構文解析処理を実行する(ステップS102)。続いて、CPU11は、構文解析結果DB112を参照して、ステップS102において得られた構文解析結果(センテンス)に含まれる「主語」および/または「述語」と実質的に一致するセンテンス(プレゼンテーション資料の論旨)が存在するか否かを判断する(ステップS104)。構文解析結果に含まれる「主語」および/または「述語」と実質的に一致するセンテンスが存在しない場合(ステップS104においてNOの場合)には、現在の処理を終了し、新たな処理を開始する。
一方、構文解析結果に含まれる「主語」および/または「述語」と実質的に一致するセンテンスが存在する場合(ステップS104においてYESの場合)には、CPU11は、ステップS102において得られた構文解析結果(センテンス)とステップS104において抽出したセンテンスとを比較して、両センテンスが関連しているか否かを判断する(ステップS106)。両センテンスが関連していない場合(ステップS106においてNOの場合)には、現在の処理を終了し、新たな処理を開始する。
一方、両センテンスが関連している場合(ステップS106においてYESの場合)には、CPU11は、両センテンスが異なっているか否かを判断する(ステップS108)。上述したように、両センテンスに含まれるそれぞれの述語が互いに一致しているか否か、あるいは、類義語の関係および対義語の関係のいずれになっているかなどが判断される。
両センテンスが異なっている場合(ステップS108においてYESの場合)には、CPU11は、プレゼンテーション資料を示す画像の上に、プレゼンター300に通知を行なうマーク画像202を重ねた上で、プロジェクタ20から画像を投影させる(ステップS110)。そして、現在の処理は終了し、新たな処理が開始される。
上述したように、本実施の形態に従うプレゼンテーションシステム100は、プレゼンテータの発言した論旨に基づくコーチング機能として、以下の機能を有する。
(1)プレゼンテーション資料の入力を受付ける
(2)入力されたプレゼンテーション資料に対して構文解析処理を実行し、それに含まれる論旨を予め記憶する
(3)プレゼンター300からの音声を音声認識手段によって認識する
(4)音声認識手段によって認識された音声(文章)に対して構文解析処理を実行する
(5)構文解析処理によって得られた音声の構文解析結果を予め登録された論旨の情報と比較する
(6)比較した結果、両者が互いに異なっていた場合、プレゼンター300に論旨が異なっていることを通知するための画像をプレゼンテーション資料の上に合成する
(7)画像投影手段にて合成した画像を投影する
<E.プレゼンテータの挙動に基づくコーチング機能>
以下、本実施の形態に従うプレゼンテータの挙動に基づくコーチング機能について説明する。このコーチング機能は、主として、上述した挙動評価モジュール114(図3)によって提供される。すなわち、プレゼンター300がプレゼンテーション時に好ましくない挙動をしている場合に、プレゼンター300に通知を行なう。
(2)入力されたプレゼンテーション資料に対して構文解析処理を実行し、それに含まれる論旨を予め記憶する
(3)プレゼンター300からの音声を音声認識手段によって認識する
(4)音声認識手段によって認識された音声(文章)に対して構文解析処理を実行する
(5)構文解析処理によって得られた音声の構文解析結果を予め登録された論旨の情報と比較する
(6)比較した結果、両者が互いに異なっていた場合、プレゼンター300に論旨が異なっていることを通知するための画像をプレゼンテーション資料の上に合成する
(7)画像投影手段にて合成した画像を投影する
<E.プレゼンテータの挙動に基づくコーチング機能>
以下、本実施の形態に従うプレゼンテータの挙動に基づくコーチング機能について説明する。このコーチング機能は、主として、上述した挙動評価モジュール114(図3)によって提供される。すなわち、プレゼンター300がプレゼンテーション時に好ましくない挙動をしている場合に、プレゼンター300に通知を行なう。
(e1:プレゼンターがオーディエンスの方を見てプレゼンテーションを行なっていない状態を好ましくない挙動とする形態)
上述したようなプレゼンテーション時に好ましくない挙動の一例として、プレゼンター300がオーディエンスの方を見てプレゼンテーションを行なっているか否かを評価する形態が考えられる。このような評価の一形態として、プレゼンター300の目線方向を評価し、プレゼンター300がオーディエンスの方を一定期間以上向いていないことを検知すると、好ましくない挙動であると判断できる。
上述したようなプレゼンテーション時に好ましくない挙動の一例として、プレゼンター300がオーディエンスの方を見てプレゼンテーションを行なっているか否かを評価する形態が考えられる。このような評価の一形態として、プレゼンター300の目線方向を評価し、プレゼンター300がオーディエンスの方を一定期間以上向いていないことを検知すると、好ましくない挙動であると判断できる。
より具体的には、挙動評価モジュール114が映像認識モジュール102からの映像認識結果に基づいて、プレゼンター300の目線方向を検出するとともに、当該目線方向の時間的変化を評価する。すなわち、挙動判断手段である挙動評価モジュール114は、プレゼンター300の目線方向を検知するとともに、オーディエンスの方を一定期間を超えて向いていないことを検知すると、プレゼンター300が好ましくない挙動を行なっていると判断する。そして、このような場合、好ましくない挙動を行なっていることがプレゼンター300に通知される。
このようなプレゼンター300への通知は、上述の図4に示すような形態で行なうことができる。すなわち、図4に示すように、プレゼンテーション資料の内容がプロジェクタ20などによってスクリーン200に投影されている状態において、プレゼンター300に通知を行なうマーク画像202が重ねて表示される。このマーク画像202は、オーディエンスに気付かれにくく、かつ、プレゼンテーション資料を提示するにあたって邪魔にならない位置に合成して表示される。このように、プレゼンテーション資料が表示される領域の相対的に隅の位置に、マーク画像202(所定の画像)が表示される。
すなわち、画像合成モジュール116および画像出力モジュール118(通知手段)は、プレゼンター300が好ましくない挙動を行なっているとの判断に応答して、プレゼンター300に通知を行なう。このとき、プロジェクタ20(表示手段)によって表示されるプレゼンテーション資料とともに、所定の画像が表示される。
なお、プレゼンター300への通知手段としては、図4に示すような形態以外に、公知の各種の方法を採用してもよい。たとえば、表示されるプレゼンテーション資料の背景色を変更し、あるいは、プレゼンター300が装着する各種携帯装置を用いて物理的な通知を行なってもよい。このような、物理的な通知の形態としては、たとえば、音、光、振動の少なくとも1つが発せされるようにすることが考えられる。
図6は、本発明の実施の形態に従うプレゼンテーションシステム100が提供するプレゼンターの視線(挙動)に基づくコーチング機能に係るフローチャートである。図6に示す各ステップは、典型的には、CPU11がプログラムを実行することで提供される。また、図6に示すフローチャートは、プレゼンター300がプレゼンテーションを開始するというトリガーに応答して開始される。このトリガーとしては、プレゼンテーション資料の表示開始などの指令である。
図6を参照して、まず、CPU11は、カメラ30を介したプレゼンター300を含む映像の入力を待つ(ステップS200)。プレゼンター300を含む映像が入力されると、CPU11は、入力された映像に対して映像認識処理を行なうとともに、映像認識結果に基づいてプレゼンター300の目線方向を検出する(ステップS202)。続いて、CPU11は、ステップS202において検出されたプレゼンター300の目線方向がオーディエンスの方向を向いているか否かを判断する(ステップS204)。この判断は、オーディエンスが位置する所定範囲内に目線方向が向いているか否かに基づいて行なわれる。
プレゼンター300の目線方向がオーディエンスの方向を向いている場合(ステップS204においてYESの場合)には、CPU11は、タイマーをリセットする(ステップS206)。そして、現在の処理は終了し、新たな処理が開始される。
一方、プレゼンター300の目線方向がオーディエンスの方向を向いていない場合(ステップS204においてNOの場合)には、CPU11は、タイマーをインクリメントする(ステップS208)。続いて、CPU11は、インクリメント後のタイマーの値が予め定められたしきい値を超えたか否かを判断する(ステップS210)。
インクリメント後のタイマーの値が予め定められたしきい値を超えていない場合(ステップS210においてNOの場合)には、現在の処理は終了し、新たな処理が開始される。
一方、インクリメント後のタイマーの値が予め定められたしきい値を超えた場合(ステップS210においてYESの場合)には、CPU11は、プレゼンテーション資料を示す画像の上に、プレゼンター300に通知を行なうマーク画像202を重ねた上で、プロジェクタ20から画像を投影させる(ステップS212)。そして、現在の処理は終了し、新たな処理が開始される。
(e2:プレゼンターがスクリーンに投影される画像の認識を妨げる位置に立っている状態を好ましくない挙動とする形態)
上述したようなプレゼンテーション時に好ましくない挙動の別の一例として、プレゼンター300がスクリーン200に投影される画像の認識を妨げる位置に立っているか否かを評価する形態が考えられる。このような評価の一形態として、スクリーン200(投影領域)とプレゼンター300の立ち位置との関係を評価し、プレゼンター300が一定期間以上にわたって投影画像を隠す位置に立っていることを検知すると、好ましくない挙動であると判断できる。
上述したようなプレゼンテーション時に好ましくない挙動の別の一例として、プレゼンター300がスクリーン200に投影される画像の認識を妨げる位置に立っているか否かを評価する形態が考えられる。このような評価の一形態として、スクリーン200(投影領域)とプレゼンター300の立ち位置との関係を評価し、プレゼンター300が一定期間以上にわたって投影画像を隠す位置に立っていることを検知すると、好ましくない挙動であると判断できる。
より具体的には、挙動評価モジュール114が映像認識モジュール102からの映像認識結果に基づいて、プレゼンター300の立ち位置を検出するとともに、プロジェクタ20が画像を投影しているスクリーン200の領域を検出する。さらに、挙動評価モジュール114は、プレゼンター300が一定期間以上にわたって投影画像を隠す位置に立っていることを検知すると、好ましくない挙動であると判断できる。すなわち、動判断手段である挙動評価モジュール114は、プレゼンター300の立ち位置とプロジェクタ20が画像を投影しているスクリーン200の領域との相対的な位置関係を検知するとともに、プレゼンター300がスクリーン200に投影される画像の認識を妨げる位置に立っていることを検知すると、プレゼンター300が好ましくない挙動を行なっていると判断する。そして、このような場合、好ましくない挙動を行なっていることがプレゼンター300に通知される。
図7は、本発明の実施の形態に従うプレゼンテーションシステム100によるプレゼンター300への通知形態の別の一例を示す図である。
図7を参照して、プレゼンテーション資料の内容がプロジェクタ20などによってスクリーン200に投影されている状態において、プレゼンター300に通知を行なうマーク画像202が重ねて表示される。このマーク画像202は、オーディエンスに気付かれにくく、かつ、プレゼンテーション資料を提示するにあたって邪魔にならない位置に合成して表示される。このように、プレゼンテーション資料が表示される領域の相対的に隅の位置に、マーク画像202(所定の画像)が表示される。
すなわち、画像合成モジュール116および画像出力モジュール118(通知手段)は、プレゼンター300が好ましくない挙動を行なっているとの判断に応答して、プレゼンター300に通知を行なう。このとき、プロジェクタ20(表示手段)によって表示されるプレゼンテーション資料とともに、所定の画像が表示される。
なお、プレゼンター300への通知手段としては、図7に示すような形態以外に、公知の各種の方法を採用してもよい。たとえば、表示されるプレゼンテーション資料の背景色を変更し、あるいは、プレゼンター300が装着する各種携帯装置を用いて物理的な通知を行なってもよい。このような、物理的な通知の形態としては、たとえば、音、光、振動の少なくとも1つが発せされるようにすることが考えられる。
図8は、本発明の実施の形態に従うプレゼンテーションシステム100が提供するプレゼンター300の立ち位置に基づくコーチング機能に係るフローチャートである。図8に示す各ステップは、典型的には、CPU11がプログラムを実行することで提供される。また、図8に示すフローチャートは、プレゼンター300がプレゼンテーションを開始するというトリガーに応答して開始される。このトリガーとしては、プレゼンテーション資料の表示開始などの指令である。
図8を参照して、まず、CPU11は、カメラ30を介したプレゼンター300を含む映像の入力を待つ(ステップS300)。プレゼンター300を含む映像が入力されると、CPU11は、入力された映像に対して映像認識処理を行なうとともに、映像認識結果に基づいてプレゼンター300の立ち位置および投影領域を検出する(ステップS302)。続いて、CPU11は、ステップS302において検出されたプレゼンター300の立ち位置と投影領域とが近接しているか否かを判断する(ステップS304)。この判断は、入力された映像内での相対的な位置関係などに基づいて行なわれる。
プレゼンター300の立ち位置と投影領域とが近接していない場合(ステップS304においてNOの場合)には、CPU11は、タイマーをリセットする(ステップS306)。そして、現在の処理は終了し、新たな処理が開始される。
一方、プレゼンター300の立ち位置と投影領域とが近接している場合(ステップS304においてYESの場合)には、CPU11は、タイマーをインクリメントする(ステップS308)。続いて、CPU11は、インクリメント後のタイマーの値が予め定められたしきい値を超えたか否かを判断する(ステップS310)。
インクリメント後のタイマーの値が予め定められたしきい値を超えていない場合(ステップS310においてNOの場合)には、現在の処理は終了し、新たな処理が開始される。
一方、インクリメント後のタイマーの値が予め定められたしきい値を超えた場合(ステップS310においてYESの場合)には、CPU11は、プレゼンテーション資料を示す画像の上に、プレゼンター300に通知を行なうマーク画像202を重ねた上で、プロジェクタ20から画像を投影させる(ステップS312)。そして、現在の処理は終了し、新たな処理が開始される。
(e3:プレゼンターが体を周期的に揺らしながらプレゼンテーションを行なっている状態を好ましくない挙動とする形態)
上述したようなプレゼンテーション時に好ましくない挙動の別の一例として、プレゼンター300が無意識のうちに体を周期的に揺らしながらプレゼンテーションを行なっているか否かを評価する形態が考えられる。
上述したようなプレゼンテーション時に好ましくない挙動の別の一例として、プレゼンター300が無意識のうちに体を周期的に揺らしながらプレゼンテーションを行なっているか否かを評価する形態が考えられる。
図9は、本発明の実施の形態に従うプレゼンテーションシステム100が提供するプレゼンター300の周期的な体の揺れ(挙動)に基づくコーチング機能を説明するための図である。本コーチング機能においては、主として、プレゼンテーション中にプレゼンター300が無意識のうちに行なう挙動を検知する。
このような挙動の典型例として、図9(a)に示すような、両手を左右に広げたり閉じたりするような周期的な挙動がある。このような挙動は、プレゼンター300が緊張している場合などに無意識のうちに生じ得る。そこで、このような挙動をプレゼンター300の両手位置などに基づいて検知する。具体的には、プレゼンター300を撮像した映像に基づいて、プレゼンター300の両手の位置を認識し、この認識された両手の位置が略同じ高さにあり、かつ、細かく動いているような場合には、好ましくない挙動であると判断する。
また、このような挙動の別の典型例として、図9(b)に示すような、体全体を左右または前後に動かすような周期的な挙動がある。このような挙動についても、プレゼンター300が緊張している場合などに無意識のうちに生じ得る。そこで、このような挙動をプレゼンター300の姿勢位置などに基づいて検知する。具体的には、プレゼンター300を撮像した映像に基づいて、プレゼンター300の位置を認識し、この認識された位置(姿勢)の周波数成分を検出し、所定の周期成分(たとえば、周期が5秒以下の成分)が存在している場合には、好ましくない挙動であると判断する。
このように、挙動判断手段である挙動評価モジュール114は、プレゼンター300による挙動の周期を取得するように構成されており、プレゼンター300の挙動が周期的に変動していると判断されると、プレゼンター300に通知を行なう。このような通知の形態の典型例としては、図9(c)および図9(d)に示すようなものが挙げられる。
図9(c)に示すように、プレゼンテーション資料の内容がプロジェクタ20などによってスクリーン200に投影されている状態において、プレゼンター300が周期的に動いている場合には、その検出された周期および方向を通知するマーク画像204が重ねて表示される。すなわち、検出された周期で動くマーク画像204を表示することで、プレゼンター300に好ましくない挙動をしていることを気付かせる。
あるいは、図9(d)に示すように、プレゼンテーション資料の内容がプロジェクタ20などによってスクリーン200に投影されている状態において、プレゼンター300が周期的に動いている場合には、その背景色を変化させてもよい。この背景色の変化周期を検出された挙動の周期としてもよい。
たとえば、正常時(周期的な動きが検出されない状態)においては第1の背景色が表示され、プレゼンター300に注意を喚起すべき場合(周期的な動きが検出された状態)においては第2の背景色が表示される。
このように、画像合成モジュール116および画像出力モジュール118(通知手段)は、プレゼンター300が好ましくない挙動を行なっているとの判断に応答して、プレゼンター300に通知を行なう。このとき、プロジェクタ20(表示手段)によって表示されるプレゼンテーション資料とともに、挙動評価モジュール114が判断したプレゼンター300による挙動の周期に関連付けた通知が行なわれる。典型的には、図9(c)に示すようなマーク画像204が表示される。
このような形態に代えて、挙動評価モジュール114が判断したプレゼンター300による挙動の周期で点滅表示を行なってもよい。あるいは、挙動評価モジュール114が判断したプレゼンター300による挙動の周期をアニメーション表示してもよい。
さらに、プレゼンター300への通知手段としては、図9に示すような形態以外に、公知の各種の方法を採用してもよい。たとえば、表示されるプレゼンテーション資料の背景色を変更し、あるいは、プレゼンター300が装着する各種携帯装置を用いて物理的な通知を行なってもよい。このような、物理的な通知の形態としては、たとえば、音、光、振動の少なくとも1つが発せされるようにすることが考えられる。
図10は、本発明の実施の形態に従うプレゼンテーションシステム100が提供するプレゼンター300の周期的な挙動に基づくコーチング機能に係るフローチャートである。図10に示す各ステップは、典型的には、CPU11がプログラムを実行することで提供される。また、図10に示すフローチャートは、プレゼンター300がプレゼンテーションを開始するというトリガーに応答して開始される。このトリガーとしては、プレゼンテーション資料の表示開始などの指令である。
図10を参照して、まず、CPU11は、カメラ30を介したプレゼンター300を含む所定期間分の映像を蓄積する(ステップS400)。プレゼンター300を含む映像が所定期間分蓄積されると、CPU11は、蓄積された映像に対して映像認識処理を行なうとともに、映像認識結果に基づいてプレゼンター300の挙動に含まれる周期成分を抽出する(ステップS402)。続いて、CPU11は、ステップS402において、所定条件(周期が5秒以下の成分)を満たす周期成分が抽出されたか否かを判断する(ステップS404)。
所定条件を満たす周期成分が抽出されていない場合(ステップS404においてNOの場合)には、現在の処理は終了し、新たな処理が開始される。
一方、所定条件を満たす周期成分が抽出されている場合(ステップS404においてYESの場合)には、CPU11は、プレゼンテーション資料を示す画像の上に、抽出された周期成分に対応するマーク画像204を重ねた上で、プロジェクタ20から画像を投影させる(ステップS406)。そして、現在の処理は終了し、新たな処理が開始される。
(e4:プレゼンターが体をその発話内容とは無関係に周期的に揺らしながらプレゼンテーションを行なっている状態を好ましくない挙動とする形態)
上述の(e3)において説明した形態においては、プレゼンター300の周期的な挙動を検知する構成について説明したが、プレゼンター300の発話内容によっては、その説明に伴って体を揺らす場合もある。そこで、プレゼンター300が体を周期的に揺らしている場合であっても、その周期的な揺れが発話内容に対応するものであるときには、プレゼンターとしては好ましくない挙動とは判断しない。すなわち、プレゼンターが体をその発話内容とは無関係に周期的に揺らしながらプレゼンテーションを行なっている状態に限って、プレゼンターに通知する。
上述の(e3)において説明した形態においては、プレゼンター300の周期的な挙動を検知する構成について説明したが、プレゼンター300の発話内容によっては、その説明に伴って体を揺らす場合もある。そこで、プレゼンター300が体を周期的に揺らしている場合であっても、その周期的な揺れが発話内容に対応するものであるときには、プレゼンターとしては好ましくない挙動とは判断しない。すなわち、プレゼンターが体をその発話内容とは無関係に周期的に揺らしながらプレゼンテーションを行なっている状態に限って、プレゼンターに通知する。
より具体的には、プレゼンター300が話す抑揚の周期を取得するとともに、プレゼンター300による挙動の周期を取得する。そして、これらの周期を互いに比較して、この周期が異なっている場合には、プレゼンター300が体をその発話内容とは無関係に周期的に揺らしながらプレゼンテーションを行なっていると判断できる。
このような処理は、図3の機能ブロックに示す挙動評価モジュール114に加えて、音声認識モジュール104を用いることで実現される。すなわち、挙動評価モジュール114は、音声認識手段である音声認識モジュール104からの認識結果に基づいて、プレゼンター300が話す抑揚の周期を取得する抑揚周期取得手段としても機能する。また、挙動評価モジュール114は、取得されたプレゼンター300による挙動の周期と、プレゼンター300が話す抑揚の周期とを比較する周期比較手段としても機能する。さらに、プレゼンター300が話す抑揚の周期とは独立した周期で、プレゼンター300の挙動が変動していると判断した場合に、プレゼンター300に通知を行なう。
なお、プレゼンター300への通知形態については、上述の図9に示したものと同様の構成を採用できる。
図11は、本発明の実施の形態に従うプレゼンテーションシステム100が提供するプレゼンター300の周期的な挙動に基づく別のコーチング機能に係るフローチャートである。図11に示す各ステップは、典型的には、CPU11がプログラムを実行することで提供される。また、図11に示すフローチャートは、プレゼンター300がプレゼンテーションを開始するというトリガーに応答して開始される。このトリガーとしては、プレゼンテーション資料の表示開始などの指令である。
図11を参照して、まず、CPU11は、カメラ30を介して入力されるプレゼンター300を含む映像、および、対応するマイク40を介して入力される音声を所定期間に亘って蓄積する(ステップS500)。プレゼンター300を含む映像および対応する音声が所定期間分蓄積されると、CPU11は、蓄積された映像に対して映像認識処理を行なうとともに、映像認識結果に基づいてプレゼンター300の挙動に含まれる周期成分を抽出する(ステップS502)。並行的に、CPU11は、蓄積された音声に対して周波数解析を行なうことで、プレゼンター300が話す抑揚の周期を取得する(ステップS504)。
続いて、CPU11は、ステップS502において、所定条件(周期が5秒以下の成分)を満たす周期成分が抽出されたか否かを判断する(ステップS506)。所定条件を満たす周期成分が抽出されていない場合(ステップS506においてNOの場合)には、現在の処理は終了し、新たな処理が開始される。
一方、所定条件を満たす周期成分が抽出されている場合(ステップS506においてYESの場合)には、CPU11は、ステップS506において抽出されたプレゼンター300の挙動に含まれる周期成分と、ステップS504において取得されたプレゼンター300が話す抑揚の周期とが略一致するか否かを判断する(ステップS508)。すなわち、プレゼンター300による挙動の周期と、プレゼンター300が話す抑揚の周期とを比較する。
プレゼンター300の挙動に含まれる周期成分とプレゼンター300が話す抑揚の周期とが略一致する場合(ステップS508においてYESの場合)には、現在の処理は終了し、新たな処理が開始される。
一方、プレゼンター300の挙動に含まれる周期成分とプレゼンター300が話す抑揚の周期とが略一致しない場合(ステップS508においてNOの場合)には、CPU11は、プレゼンテーション資料を示す画像の上に、抽出された周期成分に対応するマーク画像204を重ねた上で、プロジェクタ20から画像を投影させる(ステップS510)。すなわち、プレゼンター300が話す抑揚の周期とは独立した周期で、プレゼンター300の挙動が変動していると判断することに応答して、プレゼンター300に通知を行なう。そして、現在の処理は終了し、新たな処理が開始される。
(e5:機能全体)
上述したように、本実施の形態に従うプレゼンテーションシステム100は、プレゼンテータの挙動に基づくコーチング機能の一つとして、以下の機能を有する。
上述したように、本実施の形態に従うプレゼンテーションシステム100は、プレゼンテータの挙動に基づくコーチング機能の一つとして、以下の機能を有する。
(1)カメラ30でプレゼンター300を撮影する
(2)撮影された映像に基づいてプレゼンター300の動作を解析する(たとえば、上側に配置されたカメラよりスクリーンにおけるプレゼンター300の立ち位置を検出し、正面に配置されたカメラよりプレゼンター300の目線方向および姿勢を検出する)
(3)プレゼンター300が、オーディエンスがスクリーンを見るのに邪魔になっている位置に立っていると判断したら、プレゼンター300に知らせるための画像をプレゼンテーション資料上に合成する
(4)プレゼンター300が、両手を合わせ、かつ、あわせたまま頻繁に動かしていると判断したら、プレゼンター300に知らせるための画像をプレゼンテーション資料上に合成する
(5)プレゼンター300の目線方向を判定し、プレゼンター300が一定期間以上、オーディエンスの方を向いていないと判断したら、プレゼンター300に知らせるための画像をプレゼンテーション資料上に合成する
(6)画像投影手段にて合成した画像を投影する
また、本実施の形態に従うプレゼンテーションシステム100は、プレゼンテータの挙動に基づくコーチング機能の別の一つとして、以下の機能を有する。
(2)撮影された映像に基づいてプレゼンター300の動作を解析する(たとえば、上側に配置されたカメラよりスクリーンにおけるプレゼンター300の立ち位置を検出し、正面に配置されたカメラよりプレゼンター300の目線方向および姿勢を検出する)
(3)プレゼンター300が、オーディエンスがスクリーンを見るのに邪魔になっている位置に立っていると判断したら、プレゼンター300に知らせるための画像をプレゼンテーション資料上に合成する
(4)プレゼンター300が、両手を合わせ、かつ、あわせたまま頻繁に動かしていると判断したら、プレゼンター300に知らせるための画像をプレゼンテーション資料上に合成する
(5)プレゼンター300の目線方向を判定し、プレゼンター300が一定期間以上、オーディエンスの方を向いていないと判断したら、プレゼンター300に知らせるための画像をプレゼンテーション資料上に合成する
(6)画像投影手段にて合成した画像を投影する
また、本実施の形態に従うプレゼンテーションシステム100は、プレゼンテータの挙動に基づくコーチング機能の別の一つとして、以下の機能を有する。
(1)カメラ30でプレゼンター300を撮影する
(2)プレゼンター300の動作周期を解析する
(3)プレゼンター300が、所定周期(たとえば、5秒以下)の周期的な動作を行っていると判断したら、プレゼンター300に知らせるため、プレゼンター300と同期して動くマークをプレゼンテーション資料上に合成する
(4)画像投影手段にて合成した画像を投影する
また、本実施の形態に従うプレゼンテーションシステム100は、プレゼンテータの挙動に基づくコーチング機能のさらに別の一つとして、以下の機能を有する。
(2)プレゼンター300の動作周期を解析する
(3)プレゼンター300が、所定周期(たとえば、5秒以下)の周期的な動作を行っていると判断したら、プレゼンター300に知らせるため、プレゼンター300と同期して動くマークをプレゼンテーション資料上に合成する
(4)画像投影手段にて合成した画像を投影する
また、本実施の形態に従うプレゼンテーションシステム100は、プレゼンテータの挙動に基づくコーチング機能のさらに別の一つとして、以下の機能を有する。
(1)プレゼンター300の話の抑揚の周期を音声認識手段で検出する
(2)カメラ30でプレゼンター300を撮影する
(3)プレゼンター300の動作周期を解析する
(4)プレゼンター300の動作周期と話の抑揚の周期を比較し、話の抑揚の周期とは一致しない、所定周期(たとえば、5秒以下)の周期的な動作を行っていると判断したら、プレゼンター300に知らせるため、プレゼンター300と同期して動くマークをプレゼンテーション資料上に合成する
(5)画像投影手段にて合成した画像を投影する
<F.まとめ>
上述の実施の形態においては、本実施の形態に従うプレゼンテーションコーチシステム
が有するすべてのコーチング機能について説明したが、これらのコーチング機能のうち一部のみを適宜組み合わせる形態であってもよい。
(2)カメラ30でプレゼンター300を撮影する
(3)プレゼンター300の動作周期を解析する
(4)プレゼンター300の動作周期と話の抑揚の周期を比較し、話の抑揚の周期とは一致しない、所定周期(たとえば、5秒以下)の周期的な動作を行っていると判断したら、プレゼンター300に知らせるため、プレゼンター300と同期して動くマークをプレゼンテーション資料上に合成する
(5)画像投影手段にて合成した画像を投影する
<F.まとめ>
上述の実施の形態においては、本実施の形態に従うプレゼンテーションコーチシステム
が有するすべてのコーチング機能について説明したが、これらのコーチング機能のうち一部のみを適宜組み合わせる形態であってもよい。
上述のように、本実施の形態に従うプレゼンテーションコーチシステムは、プレゼンター300が話していることを解析し、リアルタイムで論旨を構築した後、予め入力しておいたプレゼンテーション資料の論旨と比較を行なう。プレゼンテーション資料の論旨とプレゼンター300のプレゼン内容の論旨とが異なっていた場合、プレゼンター300に異なっている箇所を知らせる。
また、本実施の形態に従うプレゼンテーションコーチシステムは、プレゼンター300の立ち振舞いを解析し、プレゼンテーションの内容に即していない、または、プレゼンター300として相応しくない挙動であると判断した場合、プレゼンター300にリアルタイムでどこが悪いかを知らせる。
本発明に係るプレゼンテーションコーチシステムは、以下のように表現することもできる。すなわち、本発明のある局面に係るプレゼンテーションコーチシステムは、音声認識手段と、構文解析手段と、リアルタイムでプレゼンターのプレゼン内容の論旨を構築する手段とを有する。そして、プレゼンテーションコーチシステムは、プレゼンテーション資料の入力手段と資料より論旨を構築する手段を持ち、両社の論旨の比較を行ない、プレゼンテーション資料の論旨とプレゼンターのプレゼン内容の論旨が異なっていた場合、プレゼンターに異なっている箇所を通知する。
好ましくは、プレゼンテーションコーチシステムは、プレゼンテーション資料の投影画像の一部にマークを合成することで、プレゼンターに知らせる。
好ましくは、プレゼンテーションコーチシステムは、カメラでプレゼンターの動作を解析する手段をさらに有しており、プレゼンテーション中の動作として相応しくないことを判断したら、プレゼンターに通知する。
好ましくは、プレゼンテーションコーチシステムは、プレゼンテーション資料の投影画像に合成することで、プレゼンターに知らせる。
好ましくは、プレゼンテーションコーチシステムは、音声認識手段をさらに有しており、話の抑揚の周期とは無関係に、周期的な動作を行っていることを検知したら、プレゼンターに知らせる。
好ましくは、プレゼンテーションコーチシステムは、動作周期と同期した点滅、または、アニメーションをプレゼンテーション資料の投影画像に合成することで、プレゼンターに知らせる。
好ましくは、プレゼンテーションコーチシステムは、プレゼンターの目線を判断し、オーディエンスの方を一定時間以上向いていないと判断したら、相応しくない動作と判断する。
好ましくは、プレゼンテーションコーチシステムは、音声認識手段をさらに有し、周期的な動作が、話の抑揚の周期とは無関係か否かを判別し、無関係の場合に、プレゼンターに知らせる。
<G.利点>
本発明の実施の形態に従うプレゼンテーションコーチシステムによれば、間違った内容のプレゼンテーションをしていること、および/または、プレゼンテーションとして相応しくない動作していることを、プレゼンテーション中にプレゼンターに知らせることができる。そのため、プレゼンテーション後のフォローを必要とすることなく、プレゼンテーションを正確かつ効果的に行なうことができる。
本発明の実施の形態に従うプレゼンテーションコーチシステムによれば、間違った内容のプレゼンテーションをしていること、および/または、プレゼンテーションとして相応しくない動作していることを、プレゼンテーション中にプレゼンターに知らせることができる。そのため、プレゼンテーション後のフォローを必要とすることなく、プレゼンテーションを正確かつ効果的に行なうことができる。
<H.その他の実施形態>
本発明に従うプログラム(コード)は、コンピュータのオペレーティングシステム(OS)の一部として提供されるプログラムモジュールのうち、必要なモジュールを所定の配列で所定のタイミングで呼出して処理を実行させることで提供されてもよい。この場合、プログラム自体には上記のようなモジュールは含まれず、OSと協働して処理が実行される。また、本発明に従うプログラムは、他のプログラムの一部に組込まれて提供されるものであってもよい。このような場合にも、プログラム自体には上記のような他のプログラムに含まれるモジュールは含まれず、他のプログラムと協働して処理が実行される。
本発明に従うプログラム(コード)は、コンピュータのオペレーティングシステム(OS)の一部として提供されるプログラムモジュールのうち、必要なモジュールを所定の配列で所定のタイミングで呼出して処理を実行させることで提供されてもよい。この場合、プログラム自体には上記のようなモジュールは含まれず、OSと協働して処理が実行される。また、本発明に従うプログラムは、他のプログラムの一部に組込まれて提供されるものであってもよい。このような場合にも、プログラム自体には上記のような他のプログラムに含まれるモジュールは含まれず、他のプログラムと協働して処理が実行される。
上述のような一部のモジュールを含まないプログラムであっても、本発明に従うプログラムの技術的範囲に含まれる。
さらに、本発明に従うプログラムによって実現される機能の一部または全部を専用のハードウェアによって構成してもよい。
今回開示された実施の形態は、すべての点で例示であって制限的なものではないと考えられるべきである。本発明の範囲は、上記した実施の形態の説明ではなくて請求の範囲によって示され、請求の範囲と均等の意味および範囲内でのすべての変更が含まれることが意図される。
10 パーソナルコンピュータ、11 CPU、12 メモリ、15 ハードディスク、18 表示インターフェイス、19 バス、20 プロジェクタ、30 カメラ、40 マイク、58 ディスプレイ、100 プレゼンテーションシステム、102 映像認識モジュール、104 音声認識モジュール、106 プレゼンテーションエンジン、108 構文解析モジュール、110 構文一致評価モジュール、112 構文解析結果DB、114 挙動評価モジュール、116 画像合成モジュール、118 画像出力モジュール、200 スクリーン、202,204 マーク画像、300 プレゼンター、SYS システム。
Claims (13)
- プレゼンテーション資料を表示する表示手段と、
プレゼンターの発声する音声を認識する音声認識手段と、
前記音声認識手段からの認識結果に基づいて、前記プレゼンターが話した内容の論旨を取得する第1の構文解析手段と、
前記プレゼンテーション資料に含まれる内容の論旨を取得する第2の構文解析手段と、
前記第1の構文解析手段によって逐次取得される前記プレゼンターが話した内容の論旨と、前記第2の構文解析手段によって取得されている前記プレゼンテーション資料の論旨の対応する部分とを逐次比較する論旨比較手段と、
比較された論旨の間に相違が生じていると前記論旨比較手段が判断することに応答して、前記プレゼンターに通知を行なう通知手段とを備える、プレゼンテーションコーチシステム。 - 前記通知手段は、前記表示手段によって表示される前記プレゼンテーション資料とともに、所定の画像を表示する、請求項1に記載のプレゼンテーションコーチシステム。
- 前記プレゼンテーション資料が表示される領域の相対的に隅の位置に、前記所定の画像が表示される、請求項2に記載のプレゼンテーションコーチシステム。
- 前記通知手段は、前記プレゼンターに装着可能な装置から音、光、振動の少なくとも1つが発せされるようにする、請求項1〜3のいずれか1項に記載のプレゼンテーションコーチシステム。
- プレゼンテーション資料を表示する表示手段と、
プレゼンターを撮像する撮像手段と、
前記撮像手段により撮像された前記プレゼンターの画像に基づいて、前記プレゼンターの挙動を認識する挙動認識手段と、
前記挙動認識手段からの認識結果に基づいて、プレゼンテーション中の挙動としては好ましくない予め定められた挙動を前記プレゼンターが行なっているか否かを判断する挙動判断手段と、
前記プレゼンターが好ましくない挙動を行なっているとの判断に応答して、前記プレゼンターに通知を行なう通知手段とを備える、プレゼンテーションコーチシステム。 - 前記通知手段は、前記表示手段によって表示される前記プレゼンテーション資料とともに、所定の画像を表示する、請求項5に記載のプレゼンテーションコーチシステム。
- 前記プレゼンテーション資料が表示される領域の相対的に隅の位置に、前記所定の画像が表示される、請求項6に記載のプレゼンテーションコーチシステム。
- 前記挙動判断手段は、前記プレゼンターの目線方向を検知するとともに、オーディエンスの方を一定期間を超えて向いていないことを検知すると、前記プレゼンターが好ましくない挙動を行なっていると判断する、請求項5〜7のいずれか1項に記載のプレゼンテーションコーチシステム。
- 前記挙動判断手段は、前記プレゼンターによる挙動の周期を取得するように構成されており、
前記通知手段は、前記プレゼンターの挙動が周期的に変動していると前記挙動判断手段が判断することに応答して、前記プレゼンターに通知を行なう、請求項5〜8のいずれか1項に記載のプレゼンテーションコーチシステム。 - 前記プレゼンテーションコーチシステムは、さらに、
前記プレゼンターの発声する音声を認識する音声認識手段と、
前記プレゼンターが話す抑揚の周期を取得する抑揚周期取得手段と、
前記挙動判断手段により取得された前記プレゼンターによる挙動の周期と、前記抑揚周期取得手段により取得された前記プレゼンターが話す抑揚の周期とを比較する周期比較手段とを備え、
前記通知手段は、前記プレゼンターが話す抑揚の周期とは独立した周期で、前記プレゼンターの挙動が変動していると前記周期比較手段が判断することに応答して、前記プレゼンターに通知を行なう、請求項9に記載のプレゼンテーションコーチシステム。 - 前記通知手段は、前記挙動判断手段が判断した前記プレゼンターによる挙動の周期に関連付けた通知を行なう、請求項9または10に記載のプレゼンテーションコーチシステム。
- 前記通知手段は、前記挙動判断手段が判断した前記プレゼンターによる挙動の周期で点滅表示を行なう、請求項11に記載のプレゼンテーションコーチシステム。
- 前記通知手段は、前記挙動判断手段が判断した前記プレゼンターによる挙動の周期をアニメーション表示する、請求項11に記載のプレゼンテーションコーチシステム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2011128124A JP2012255866A (ja) | 2011-06-08 | 2011-06-08 | プレゼンテーションコーチシステム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2011128124A JP2012255866A (ja) | 2011-06-08 | 2011-06-08 | プレゼンテーションコーチシステム |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2012255866A true JP2012255866A (ja) | 2012-12-27 |
Family
ID=47527494
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2011128124A Withdrawn JP2012255866A (ja) | 2011-06-08 | 2011-06-08 | プレゼンテーションコーチシステム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2012255866A (ja) |
Cited By (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2019207625A (ja) * | 2018-05-30 | 2019-12-05 | 株式会社エクサウィザーズ | コーチング支援装置及びプログラム |
JP2020095747A (ja) * | 2020-03-10 | 2020-06-18 | 株式会社エクサウィザーズ | コーチング支援装置及びプログラム |
JP2020190579A (ja) * | 2019-05-17 | 2020-11-26 | ソフトバンク株式会社 | プレゼンテーションを評価するシステム、方法、学習済みモデル及びプログラム、情報処理装置並びに端末装置 |
JP2023514863A (ja) * | 2020-02-26 | 2023-04-11 | 北京字節跳動網絡技術有限公司 | 情報を交換するための方法及び装置 |
CN117351993A (zh) * | 2023-12-04 | 2024-01-05 | 方图智能(深圳)科技集团股份有限公司 | 一种基于音频分发的音频传输质量评价方法及系统 |
-
2011
- 2011-06-08 JP JP2011128124A patent/JP2012255866A/ja not_active Withdrawn
Cited By (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2019207625A (ja) * | 2018-05-30 | 2019-12-05 | 株式会社エクサウィザーズ | コーチング支援装置及びプログラム |
JP2020190579A (ja) * | 2019-05-17 | 2020-11-26 | ソフトバンク株式会社 | プレゼンテーションを評価するシステム、方法、学習済みモデル及びプログラム、情報処理装置並びに端末装置 |
JP7123856B2 (ja) | 2019-05-17 | 2022-08-23 | ソフトバンク株式会社 | プレゼンテーションを評価するシステム、方法、学習済みモデル及びプログラム、情報処理装置並びに端末装置 |
JP2023514863A (ja) * | 2020-02-26 | 2023-04-11 | 北京字節跳動網絡技術有限公司 | 情報を交換するための方法及び装置 |
US11854422B2 (en) | 2020-02-26 | 2023-12-26 | Douyin Vision Co., Ltd. | Method and device for information interaction |
JP2020095747A (ja) * | 2020-03-10 | 2020-06-18 | 株式会社エクサウィザーズ | コーチング支援装置及びプログラム |
JP6994722B2 (ja) | 2020-03-10 | 2022-01-14 | 株式会社エクサウィザーズ | コーチング支援装置及びプログラム |
CN117351993A (zh) * | 2023-12-04 | 2024-01-05 | 方图智能(深圳)科技集团股份有限公司 | 一种基于音频分发的音频传输质量评价方法及系统 |
CN117351993B (zh) * | 2023-12-04 | 2024-02-13 | 方图智能(深圳)科技集团股份有限公司 | 一种基于音频分发的音频传输质量评价方法及系统 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US8913007B2 (en) | Display apparatus and control method | |
US10083710B2 (en) | Voice control system, voice control method, and computer readable medium | |
US11636859B2 (en) | Transcription summary presentation | |
KR101825569B1 (ko) | 흥미 알고리즘을 이용한 시청각 통신을 위한 기술 | |
JP2012255866A (ja) | プレゼンテーションコーチシステム | |
JP2006260275A (ja) | コンテンツ管理システム、表示制御装置、表示制御方法、および表示制御プログラム | |
JP5316286B2 (ja) | ビデオ会議システム,サーバ装置,及びビデオ会議プログラム | |
EP2521353A1 (en) | Image processing device, image processing method, and image processing program | |
US20130249788A1 (en) | Information processing apparatus, computer program product, and projection system | |
JP2017112545A (ja) | 会議支援システム | |
WO2018061173A1 (ja) | Tv会議システム、tv会議方法、およびプログラム | |
JP6641386B2 (ja) | ヘッドマウントディスプレイ連携表示システム、及び、表示装置とヘッドマウントディスプレイとを含むシステム、及び、その表示装置 | |
JP2009206924A (ja) | 情報処理装置、情報処理システム及び情報処理プログラム | |
US8587677B2 (en) | Remote instruction system, remote instruction method, and program product therefor | |
JP2013183421A (ja) | 送受信端末、送信端末、受信端末及び送受信方法 | |
KR101862128B1 (ko) | 얼굴을 포함하는 영상 처리 방법 및 장치 | |
KR102611458B1 (ko) | 아기 주변 영역을 이용한 아기의 감정 상태 증강 방법 | |
JP2013182450A (ja) | 所在管理プログラム及び所在管理装置 | |
KR102549453B1 (ko) | 아기의 감정 상태 증강을 이용한 아기와 대화 제공 방법 | |
US20230186654A1 (en) | Systems and methods for detection and display of whiteboard text and/or an active speaker | |
KR102549441B1 (ko) | 아기의 감정 상태 표시 방법 | |
JP2017005616A (ja) | 端末、ビデオ会議システム、及びプログラム | |
JP2010282083A (ja) | 誤認識訂正装置、方法及びプログラム | |
JP7372401B2 (ja) | ヘッドマウントディスプレイ連携表示システム、及び、表示装置とヘッドマウントディスプレイとを含むシステム、及び、その表示装置 | |
JP2005340974A (ja) | 画像送信制御プログラム、及び画像表示プログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A711 | Notification of change in applicant |
Free format text: JAPANESE INTERMEDIATE CODE: A712 Effective date: 20130416 |
|
A300 | Application deemed to be withdrawn because no request for examination was validly filed |
Free format text: JAPANESE INTERMEDIATE CODE: A300 Effective date: 20140902 |