JP2018180503A - パブリックスピーキング支援装置、及びプログラム - Google Patents
パブリックスピーキング支援装置、及びプログラム Download PDFInfo
- Publication number
- JP2018180503A JP2018180503A JP2017185257A JP2017185257A JP2018180503A JP 2018180503 A JP2018180503 A JP 2018180503A JP 2017185257 A JP2017185257 A JP 2017185257A JP 2017185257 A JP2017185257 A JP 2017185257A JP 2018180503 A JP2018180503 A JP 2018180503A
- Authority
- JP
- Japan
- Prior art keywords
- information
- public speaking
- unit
- evaluation
- trainee
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Abstract
Description
また、視線方向検知装置により検知された視線の評価に基づき、常にパーソナルコンピュータの画面を見ているようであれば評価値を下げ、聴講者の方を見ているようであれば評価値を上げる技術が知られている(例えば、特許文献2を参照)。
また、プレゼンターがオーディエンスの方を一定期間以上向いていないことを検知すると、好ましくない挙動であると判断し、好ましくない挙動を行なっていることがプレゼンターに通知される技術が知られている(例えば、特許文献3を参照)。
以下、図面を参照しながら本発明の実施形態について詳しく説明する。本実施形態では、パブリックスピーキングの一例として、英語でのスピーチの場合を説明する。
図1は本実施形態のパブリックスピーキング支援装置D1の概観の一例を示す図である。
パブリックスピーキング支援装置D1(以下、支援装置D1と称する)は、ヘッドマウントディスプレイ(HMD:Head Mounted Display)の形態を取り、スピーチの被訓練者T1(以下、被訓練者T1)の頭部に装着され使用される。
支援装置D1は、被訓練者T1の頭部の向きを検出するセンサ(不図示)を備える。支援装置D1は、センサにより検出された、被訓練者T1の頭部の向きに対応した方向の視野画像を、当該頭部の向きに相対する向きにして、表示部(不図示)に表示する。
被訓練者T1の位置する場所に固定された座標系を、3次元直交座標系X、Y、Zとする。被訓練者T1の頭部に固定された座標系を、3次元直交座標系x、y、zとする。ここで、3次元直交座標系x、y、zのx軸とは、被訓練者T1の頭部の正面の向きであり、z軸とは、鉛直方向上向きである。
被訓練者T1の頭部の向きHD1とは、3次元直交座標系x、y、zのx軸の正の向きである。頭部の向きHD1に相対する向きDD1は、3次元直交座標系x、y、zのx軸の負の向きである。
支援装置D1は、視野画像I1上に、仮想的な発表会場の風景の画像と、仮想的な聴衆の動画(バーチャルオーディエンスと称する)とを表示する。支援装置D1は、頭部の向きHD1に応じて発表会場の風景の画像を3次元直交座標系X、Y、ZにおけるZ軸のまわりの角度にして360度表示する。
なお、支援装置D1は、スピーチの前半においてネガティブな反応をするバーチャルオーディエンスを表示するとともに、スピーチの後半においてポジティブな反応をするバーチャルオーディエンスを表示してもよい。あるいは、支援装置D1は、スピーチの最中において、ポジティブおよびネガティブのうちいずれか一方の反応を常にするバーチャルオーディエンスを表示してもよい。
ここで、ネガティブな反応とは、例えば、頬杖、居眠り、あくび、しかめ顔、うつむき等であり、ポジティブな反応とは、例えば、うなずき、笑顔等である。被訓練者T1は、バーチャルオーディエンスの反応から心理的フィードバックを感じることができる。
パブリックスピーキングについての基礎研究により、一定時間(5秒程度)毎に、向く場所(アイコンタクトを取る聴衆)を変え、聴衆全体をまんべんなく見ることが、優れたパブリックスピーキングであるという結果が得られている。頭部動作指示情報は、この研究結果に基づき生成される。
したがって、支援装置D1を利用することにより、パブリックスピーキングの練習において、被訓練者は、次にどの方向を向けばよいか学習できる。
支援装置D1は、生体センサ(不図示)を備え、被訓練者T1の心拍の値を示す情報を取得する。支援装置D1は、取得した被訓練者T1の心拍の値を示す情報を解析し、被訓練者T1の緊張度についての評価を示す情報である緊張度評価情報を、表示F1として表示する。
支援装置D1は、被訓練者T1による操作等に基づき、視野画像I1上への画像S1の表示をオフにすることができる。表示がオフにされる場合、支援装置D1は、視野画像I1上において、画像S1に代えて演台の画像を表示してもよい。被訓練者T1は、視野画像I1上のスクリプト等の画像を見ることなく、予め記憶したスピーチや即興で練習することができる。
以下、スピーチの練習において、被訓練者が、次にどの方向を向けばよいか学習できることを実現する、支援装置D1の機能構成について図4を参照して説明する。
支援装置D1は、ヘッドマウントディスプレイ1、携帯端末2、生体センサ3を含んで構成される。ヘッドマウントディスプレイ1及び携帯端末2は、一体となって構成されてもよく、また一体となって構成されなくてもよい。
ヘッドマウントディスプレイ1は、音声記録装置10、動きセンサ11、画像生成装置12、表示装置13、音声出力装置14を含んで構成される。
動きセンサ11は、被訓練者T1の頭部の向きHD1を検出する。動きセンサ11は、検出した頭部の向きHD1を、携帯端末2、及び画像生成装置12に供給する。
画像生成装置12は、動作指標提示部26からの出力に応じて、パネルPNの中の特定のパネル(パネルPN3)の枠の輝度を上げる。
画像生成装置12は、パフォーマンス評価提示部25から、後述するパブリックスピーキングの評価情報を取得し、話速評価情報と、緊張度評価情報とに各々対応する表示F2と、表示F3とを生成する。画像生成装置12は、取得した評価情報に応じて、ポジティブな反応をする、またはネガティブな反応をするバーチャルオーディエンスを生成する。
表示装置13は、携帯端末2が生成した被訓練者T1が次に見るべき位置を、視野画像I1上に表示する。
表示装置13は、携帯端末2から取得した話速評価情報を、表示F2として視野画像I1上に表示する。表示装置13は、携帯端末2が生成した緊張度評価情報が入力されると、当該情報を、表示F1として視野画像I1上に表示する。
表示装置13は、スピーチの終了時に、携帯端末2が算出した被訓練者T1のスピーチの評価得点を提示する。
表示装置13は、例えば、液晶ディスプレイ、または有機エレクトロルミネッセンス(EL;Electroluminescence)ディスプレイである。
音声解析部20は、音節を単位にして被訓練者T1が話す速度を算出するため、言語の違いにより単語の長さが異なる場合であっても、音節数という共通の基準で被訓練者T1が話す速度を算出できる。このため、音声解析部20は、多言語に対応が可能である。
ここで、パブリックスピーキング評価情報の一例には、被訓練者T1の頭部の動きと、当該頭部の動きの評価とが対応づけられた情報、話速情報と、パブリックスピーキングの評価とが対応づけられた情報、心拍変動情報と、パブリックスピーキングの評価とが対応づけられた情報がある。
ここで、頭部動作モデルとは、上述のパブリックスピーキングに関する基礎研究結果に基づく、優れたスピーチのための理想的な頭部の動きを、各時間における視野画像I1の位置として表した情報である。
なお、パフォーマンス評価部23は、頭部の動きの評価が高くなる頭部の動きが複数ある場合、複数の頭部の動きの評価が高くなる頭部の動きの中からランダムに1つを選択してよい。
パフォーマンス評価提示部25は、スピーチの間、取得した話速評価情報と、取得した心拍変動情報とを、画像生成装置12を介して、表示装置13に表示させることにより提示する。
パフォーマンス評価提示部25は、スピーチの終了時に、被訓練者T1のスピーチの評価得点を算出する。パフォーマンス評価提示部25は、算出した評価得点を、表示装置13に表示させることにより提示する。
その場合、パフォーマンス評価提示部25は、頭部動作情報と、パブリックスピーキング評価情報とに基づき、被訓練者T1のパブリックスピーキングの評価を示す情報であるアイコンタクト評価情報を生成し、生成したアイコンタクト評価情報を表示装置13に表示させることにより提示する。
パフォーマンス評価提示部25は、話速情報と、パブリックスピーキング評価情報とに基づき話速評価情報を生成し、生成した話速評価情報を表示装置13に表示させることにより提示する。
動作指標提示部26は、視野画像I1上の位置に対応するパネルPN3の枠の輝度を上げることにより、頭部動作情報の示す位置と、頭部動作指示情報の示す位置とを、互いに区別可能な態様で表示装置13に表示させる。
つまり、動作指標提示部26は、動きセンサ11により検出された頭部の向きHD1を示す視野画像I1上の位置とは異なる視野画像I1上の位置を表示装置13に表示させることにより、動きセンサ11により検出された頭部の向きHD1とは異なる頭部の向きHD1を提示する。
これにより、被訓練者T1は、パブリックスピーキングの練習において、同じ場所を向き続けることを防ぐことができる。
図5は、本実施形態の頭部動作モデルの一例を示す図である。
2行5列のマス目は、視野画像I1における半透明のパネルPNに対応する。一例として、スピーチ開始時の頭部の向きHD1を示す視野画像I1の位置が、パネルPN1であるとする。
被訓練者T1が次に見るべきパネルPNは、5秒程度の間隔で変化する。パネルPN3は、スピーチ開始時からの経過時間が5秒から10秒の間に、被訓練者T1が見るべきパネルである。この間、動作指標提示部26は、パネルPN3の枠の輝度を上げる。以下、被訓練者T1が見るべきパネルは、パネルPN10、パネルPN8、パネルPN6、パネルPN3、パネルPN5の順に変化する。
時間0秒から時間t1(例えば、1秒から2秒程度)の区間では、関数Kは、パネルPN3の元の輝度の値を取る定数関数である。時間t1から時間t2(例えば、3秒程度)の区間では、関数Kは、下に凸な単調増加関数である。時間t2から時間t3(例えば、5秒程度)の区間では、関数Kは、上に凸な単調増加関数である。時間t3から時間t4(例えば、6秒から7秒程度)の区間では、関数Kは、上に凸な単調減少関数である。時間t4から時間t5(例えば、10秒程度)の区間では、関数Kは、上に凸な単調減少関数である。時間t5から次に輝度が変化するまでの時間の区間では、関数Kは、パネルPN3の元の輝度の値を取る定数関数である。
ここで、時間t4において、パネルPN3の次にみるべきパネルPN10の枠の輝度が変化し始める。パネルPN10の枠の輝度の変化の仕方は、パネルPN3の枠の輝度の変化の仕方と同様に、上記の関数Kを横軸の正の方向に時間t4だけ平行移動した関数で表される。
支援装置D1は、例えば、パネルを表示させずに、次に見るべき向きに対応する領域(例えば、四角形の領域、円形の領域、あるいはバーチャルオーディエンスの一部分を示す領域)の輪郭、あるいは当該領域の全体の輝度を上げてもよい。支援装置D1は、例えば、次に見るべき向きに対応する領域の色(色相、明度、彩度)を変化させてもよい。支援装置D1は、例えば、パネルを表示させずに、次に見るべき向きを、矢印等の画像を用いて示してもよい。
支援装置D1が頭部動作指示情報の示す向きを示す方法はこれらに限らない。支援装置D1は、例えば、視野画像I1において印となる画像を表示するとともに、動作指標に基づいて決定された速度とタイミングで断続的に印となる画像を移動させることによって、次に見るべき向きを示してもよい。ここで、印となる画像は、例えば、視野画像I1において容易に視認可能な色(例えば赤色)と、所定の形状(例えば丸い形状)を有する画像である。支援装置D1は、印となる画像を点滅させてもよいし、印となる画像の色を所定の周期で変化させてもよい。被訓練者T1は、頭部を動作させることによって移動して表示される印の画像を追いながら、次に見るべき向きを向くことができる。
次に、図6を参照して支援装置D1を用いたスピーチの練習の流れについて説明する。
図6は、本実施形態の支援装置D1の処理の一例を示す図である。
ここで、図7を用いて設定画面I2の説明を行う。
被訓練者T1は、表示P1、表示P2、表示P3の各領域を選択することで、スピーチの練習についての各種の設定を行う。表示P1は、練習モードか、本番モードかを選択するための表示である。練習モードでは、図3の視野画像I1で説明したように、スピーチの間、バーチャルオーディエンスと動作指標を示すパネルと話速度等の評価情報、練習モードなどの情報が表示される。
支援装置D1は、開始ボタンP4が選択されると、設定画面I2の表示を終了する。
図6に戻り、スピーチの練習の流れについて説明を続ける。ただし、以下では、練習モードが選択された場合について説明を行う。
ここで、図8を用いて心拍数測定画面I3の説明を行う。
図8は、本実施形態の支援装置D1の心拍数測定画面I3の一例を示す図である。
被訓練者T1は、心拍数測定画面I3に表示されるテキストを、30秒間声に出して読む。生体センサ3は、被訓練者T1の心拍を測定する。生体センサ3は、測定した心拍の値を示す情報を、被訓練者T1の平常時の心拍の値を示す情報として、携帯端末2に供給する。
図6に戻り、スピーチの練習の流れについて説明を続ける。
(ステップS103)動きセンサ11は、被訓練者T1の頭部の向きHD1を検出し、検出した頭部の向きHD1を、携帯端末2に供給する。
(ステップS104)表示装置13は、画像生成装置12から入力される視野画像I1を、頭部の向きHD1に相対する向きにして表示する。
(ステップS106)動作指標提示部26は、パフォーマンス評価部23から頭部動作指示情報を取得する。動作指標提示部26は、取得した頭部動作指示情報の示す向きを示す、視野画像I1上の位置であるパネルを、表示装置13に表示させることにより提示する。
パフォーマンス評価提示部25は、パフォーマンス評価部23から、話速評価情報と、緊張度評価情報とを取得する。パフォーマンス評価提示部25は、スピーチの間、取得した話速評価情報と、取得した心拍変動情報とを、表示装置13に表示させることにより提示する。
携帯端末2は、スピーチが終了したと判定する場合(ステップS107;YES)、ステップS108の処理を実行する。一方、スピーチが終了していないと判定する場合(ステップS107;NO)、携帯端末2は、ステップS103の処理を繰り返す。
例えば、パフォーマンス評価提示部25は、話速についての評価得点の算出には、スピーチの冒頭の所定の時間(例えば30秒間、1分間、3分間等)に対応する話速評価情報のみを用いてもよい。これは、被訓練者T1は、スピーチの間、視野画像I1において表示される表示F2を確認することで、話速を調整することが可能であり、スピーチの間全てに渡っての話速評価情報を用いて評価得点の算出した場合、被訓練者T1の現状の話速について正しい評価ができない可能性があるためである。
パフォーマンス評価提示部25は、算出した評価得点を、表示装置13に表示させることにより提示する。パフォーマンス評価提示部25は、評価得点の項目毎に、評価得点に応じて、コメントを提示する。
音声メッセージ生成部27は、評価得点に応じて生成した音声メッセージを、音声出力装置14に出力させ、一連の処理を終了する。
なお、支援装置D1は、スピーチ開始(S102)からスピーチ終了(S107;YES)までの間、つまりパブリックスピーキングの訓練中において、発表会場の環境音を模した音声を所定の音量で音声出力装置14に出力させてもよい。ここで、環境音を模した音声とは、発表会場内のノイズ、聴衆の反応音(拍手、声)等である。被訓練者T1は、環境音を模した音声を聞きながら、環境音を模した音声が出力されない無音状態に比較して、体感上、より自然な状態で練習を行うことができる。
ここで、図9を用いて評価提示画面I4の説明を行う。
評価提示画面I4においては、緊張度、話速、アイコンタクトの項目毎に、コメントが表示される。各コメントは、音声メッセージとして出力される。表示P5は、項目毎の評価得点を示すグラフである。
上述した実施形態に係る支援装置D1によれば、被訓練者T1が次に見るべき位置として被訓練者T1が見ている位置とは異なる位置を表示できる。したがって、支援装置D1によれば、パブリックスピーキングの練習において、被訓練者が、次にどの方向を向けばよいか学習できる。
なお、本実施形態においては、一例として、支援装置D1がHMDの形態を取る場合を説明したが、支援装置D1は、例えば、講演会場に設置されたディスプレイの形態を取ってもよい。また、支援装置D1は、例えば、タブレット端末など、表示装置を備えた端末を、被訓練者T1が手に持って使用する形態を取ってもよい。
支援装置D2は、講演会場の天井に吊るされたディスプレイである。被訓練者T2の頭部の向きHD2は、3次元直交座標系x、y、zのx軸の正の向きである。頭部の向きHD2に相対する向きDD2は、3次元直交座標系x、y、zのx軸の負の向きである。支援装置D2は、3次元直交座標系X、Y、ZのX軸と直交する方向に、X軸の負の向きに設置されている。
支援装置D3は、タブレット端末であり、被訓練者T3が手に持って使用する。被訓練者T3の頭部の向きHD3は、3次元直交座標系x、y、zのx軸の正の向きである。頭部の向きHD3に相対する向きDD3は、3次元直交座標系x、y、zのx軸の負の向きである。
なお、本実施形態では、被訓練者T1の心拍を測定する場合について説明したが、心拍の代わりに、例えば、被訓練者T1の脈拍を測定してもよい。
以下、図面を参照しながら本発明の第2の実施形態について詳しく説明する。
第1の実施形態では、被訓練者T1が、支援装置D1を装着してパブリックスピーキングの練習を行う一例について説明した。第2の実施形態では、講演者が、支援装置を装着してパブリックスピーキングを実践し、支援装置が、パブリックスピーキングの最中に向く場所(アイコンタクトを取る聴衆)を、講演者に提示する一例について説明する。
支援装置D1aは、眼鏡型の表示装置であり、講演者T1aが装着して使用する。表示装置13aは、透過型モニターである。支援装置D1aは、パブリックスピーキングの最中に講演者T1aが向くべき視野画像上の位置を、視野画像に重ねて表示装置13aに表示させる。
本実施形態の支援装置D1aの構成(図13)と、第1の実施形態に係る支援装置D1の構成(図4)とでは、ヘッドマウントディスプレイ1と、眼鏡1aとが異なる。ヘッドマウントディスプレイ1と、眼鏡1aとでは、画像生成装置12の有無と、表示装置13aとが異なる。それ以外の構成は、第1の実施形態に係る支援装置D1と同様であるため説明を省略し、第2の実施形態では、第1の実施形態と異なる部分を中心に説明する。
眼鏡1aは、音声記録装置10、動きセンサ11、表示装置13a、音声出力装置14を含んで構成される。
支援装置D1aは、動作指標提示部26の提示するパネルPNと、パフォーマンス評価提示部25の提示する話速評価情報、及び心拍変動情報とを、講演者T1aの頭部の向きHD1aに対応した方向の風景に重ねて表示する。
パブリックスピーキングの評価には、話速だけでなく発音の評価を含めてもよい。ここで発音の評価とは、例えば、英語などの外国語の発音の評価である。パブリックスピーキングの評価に発音の評価を含める場合、音声解析部20は、被訓練者T1の発音と理想的な発音とを比較した結果を示す発音情報を生成する。パフォーマンス評価部23は、音声解析部20が生成した発音情報に基づいて、被訓練者T1の発音の評価を行う。
練習記録データは、例えば、被訓練者T1が学生や受講者である場合、被訓練者T1の教員やトレーナーが参照し、被訓練者T1を指導する際に利用できる。練習記録データは、被訓練者T1の教員やトレーナーだけが参照できるようにされてよい。例えば、練習記録データは被訓練者T1の教員やトレーナーだけがアクセスすることのできるデータベースなどに転送されてよい。または、練習記録データは、被訓練者T1の教員やトレーナーだけが参照できるように暗号化されてもよい。
音声解析部20が、画像S1内のスピーチのスクリプトと、被訓練者T1が発する言葉とが同期していないと判定した場合、音声解析部20は、判定結果を画像生成装置12に出力する。画像生成装置12は、音声解析部20が出力した判定結果に基づいて、被訓練者T1がつかえたことを示す画像やメッセージを含む視野画像I1を生成する。被訓練者T1は、スピーチの訓練中に、被訓練者T1がつかえたことを示す画像やメッセージを見ることにより、被訓練者T1がつかえた箇所を認識することができる。
視野画像I1上に仮想的な発表会場の風景の画像のみが表示される場合に比べ、視野画像I1上にバーチャルオーディエンスの代わりに聴衆の目の画像を用いる場合の方が、被訓練者がより緊張感を覚えることを示す実験結果が得られている。この実験では、問診によって得られる被訓練者の主観的な緊張度を、5段階尺度法により評価している。視野画像I1上に仮想的な発表会場の風景の画像のみが表示される場合の被訓練者の主観的な緊張度に対して、視野画像I1上にバーチャルオーディエンスの代わりに聴衆の目の画像を用いる場合の被訓練者の主観的な緊張度は、有意に大きくなることがFriedman検定により検証されている。
第2の実施形態の支援装置D1aでは、パブリックスピーキングの練習に際し聴衆が足りない場合に、足りない聴衆を聴衆の目の画像により補ってよい。第2の実施形態の支援装置D1aでは、パブリックスピーキングの練習に際し聴衆が足りない場合であっても、パブリックスピーキングの練習を実践さながらの状況において行うことができる。
以下、図面を参照しながら本発明の第3の実施形態について詳しく説明する。
第1の実施形態や第2の実施形態では、被訓練者や講演者が支援装置を装着して使用する場合について説明をしたが、第3の実施形態では、支援装置が端末装置として用いられる一例について説明する。
端末装置2bの表示装置13bには、仮想的な発表会場の風景の画像とともに聴衆の目の画像が含まれる視野画像I5が表示される。ここで表示装置13bとは、ディスプレイである。端末装置2bを用いて、被訓練者は、聴衆の視線を感じて緊張感を覚えながらプレゼンテーションの練習をすることができる。
訓練者に装着された生体センサ3は、被訓練者の心拍を測定する。生体センサ3は、測定した心拍の値を示す情報を端末装置2bに供給する。生体センサ3は、例えば、近距離無線通信を用いて心拍の値を示す情報を端末装置2bに供給する。端末装置2bは、生体センサ3が供給する心拍の値を示す情報に基づいて、被訓練者の緊張度を評価する。表示装置13bは、端末装置2bが評価した緊張度を視野画像I5上に表示する。
本実施形態の支援装置D1bの構成(図15)と、第1の実施形態に係る訓練装置D1の構成(図4)とでは、ヘッドマウントディスプレイ1の有無が異なる。音声記録装置10bと、カメラ11bと、表示装置13bと、音声出力装置14bとは、ヘッドマウントディスプレイ1に備えられていない。また、携帯端末2(図4)と、端末装置2b(図15)とを比較すると、状態解析部22bと、パフォーマンス評価部23bと、スピーチパフォーマンス指標データベース24bと、パフォーマンス評価提示部25bと、画像生成部28bとが異なる。それ以外の構成は、第1の実施形態に係る支援装置D1と同様であるため説明を省略し、第3の実施形態では、第1の実施形態と異なる部分を中心に説明する。
端末装置2bは、音声解析部20と、状態解析部22bと、パフォーマンス評価部23bと、スピーチパフォーマンス指標データベース24bと、パフォーマンス評価提示部25bと、音声メッセージ生成部27と、画像生成部28bとを備える。
状態解析部22bは、生体センサ3が生成した被訓練者の心拍情報を取得する。状態解析部22bは、被訓練者の緊張度として、取得した心拍情報を解析する。また、状態解析部22bは、カメラ11bにより撮影された被訓練者の撮影画像を取得する。状態解析部22bは、被訓練者の緊張度として、取得した撮影画像から被訓練者のまばたきの回数を解析する。
状態解析部22bは、解析した被訓練者の状態から、被訓練者の状態を示す状態情報を生成する。状態解析部22bは、状態情報として、心拍変動情報、及びまばたき回数情報を生成する。状態解析部22bは、生成した状態情報をパフォーマンス評価部23bに供給する。
パフォーマンス評価提示部25bは、パフォーマンス評価部23bから緊張度評価情報と、話速評価情報とを取得する。パフォーマンス評価提示部25bは、取得した緊張度評価情報と、取得した話速評価情報を、画像生成部28bを通じて、表示装置13bに表示させることにより提示する。
表示装置13bは、画像生成部28bから取得した視野画像I5を表示する。つまり、表示装置13bは、聴衆の目の画像が含まれる視野画像I5を表示する。
音声記録装置10bとは、例えば、端末装置2bに設けられるマイクである。音声出力装置14bとは、例えば、スピーカーである。
被訓練者は、イラストの目の画像である目画像A1〜目画像A8が表示されているだけで、聴衆の視線を感じて緊張感を覚えながらプレゼンテーションの練習をすることができる。
上述した実施形態に係る支援装置D1bによれば、パブリックスピーキングの練習において、実践さながらの状況を再現する場合に機器にかかる負担を軽減することができる。
なお、支援装置D1bは、テレビ会議におけるプレゼンテーションの実践において用いられてもよい。支援装置D1bがテレビ会議におけるプレゼンテーションの実践において用いられる場合、視野画像において聴衆の目の画像は表示されず、緊張度評価情報を示す画像と、話速評価情報を示す画像と被訓練者T1cが次に見るべき位置とが表示される。
なお、ここでいう「コンピュータシステム」とは、OSや周辺機器等のハードウェアを含むものとする。
また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ROM、CD−ROM等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムを送信する場合の通信線のように、短時間の間、動的にプログラムを保持するもの、その場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリのように、一定時間プログラムを保持しているものも含むものとする。また上記プログラムは、前述した機能の一部を実現するためのものであってもよく、さらに前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるものであってもよい。
Claims (12)
- 被訓練者の頭部の向きを検出する検出部と、
前記検出部により検出された頭部の向きに対応した方向の視野画像を、当該頭部の向きに相対する向きにして表示する表示部と、
前記検出部により検出された頭部の向きを示す前記視野画像上の位置とは異なる前記視野画像上の位置を前記表示部に表示させることにより、前記検出部により検出された頭部の向きとは異なる頭部の向きを提示する動作指標提示部と、
を備えるパブリックスピーキング支援装置。 - 前記検出部の検出した頭部の向きを解析し、解析した結果から当該頭部の向きを示す前記視野画像上の位置を示す情報である頭部動作情報を生成する頭部動作解析部と、
頭部の動きと、頭部の動きの評価とが対応づけられた情報であるパブリックスピーキング評価情報が記憶される記憶部と、
前記頭部動作解析部が生成した頭部動作情報と、前記記憶部に記憶されるパブリックスピーキング評価情報とに基づき、前記頭部の動きを評価し、評価した結果から、前記頭部動作情報の示す位置とは異なる前記視野画像上の位置を示す情報である頭部動作指示情報を生成するパフォーマンス評価部と、
をさらに備え、
前記動作指標提示部は、前記頭部動作指示情報の示す前記視野画像上の位置を前記表示部に表示させることにより、前記検出部により検出された頭部の向きとは異なる頭部の向きを提示する
請求項1に記載のパブリックスピーキング支援装置。 - 前記動作指標提示部は、前記頭部動作情報の示す位置と、前記頭部動作指示情報の示す位置とを、互いに区別可能な態様で前記表示部に表示させる
請求項2に記載のパブリックスピーキング支援装置。 - パフォーマンス評価提示部をさらに備え
前記パフォーマンス評価提示部は、前記頭部動作情報と、前記パブリックスピーキング評価情報とに基づき、前記被訓練者のパブリックスピーキングの評価を示す情報であるパブリックスピーキング評価情報を生成し、生成したパブリックスピーキング評価情報を前記表示部に表示させることにより、前記パブリックスピーキングの評価を提示する
請求項2または請求項3に記載のパブリックスピーキング支援装置。 - 前記被訓練者の音声を記録する音声記録部と、
前記音声記録部が記録した音声を解析し、解析した結果から前記被訓練者の話す速度を示す情報である話速情報を生成する音声解析部と、
をさらに備え、
前記記憶部に記憶されるパブリックスピーキング評価情報は、前記話速情報と、パブリックスピーキングの評価とが対応づけられた情報をさらに含み、
前記パフォーマンス評価提示部は、前記話速情報と、前記パブリックスピーキング評価情報とに基づきパブリックスピーキング評価情報を生成し、生成したパブリックスピーキング評価情報を前記表示部に表示させることにより、前記パブリックスピーキングの評価を提示する
請求項4に記載のパブリックスピーキング支援装置。 - 前記音声解析部は、音節を単位にして前記話速情報を生成する請求項5に記載のパブリックスピーキング支援装置。
- 前記音声解析部は、前記音声記録部が記録した音声を解析し、解析した結果から前記被訓練者の声量を示す情報である声量情報を生成し、
前記記憶部に記憶されるパブリックスピーキング評価情報は、前記声量情報と、パブリックスピーキングの評価とが対応づけられた情報をさらに含み、
前記パフォーマンス評価提示部は、前記声量情報と、前記パブリックスピーキング評価情報とに基づきパブリックスピーキング評価情報を生成し、生成したパブリックスピーキング評価情報を前記表示部に表示させることにより、前記パブリックスピーキングの評価を提示する
請求項5または請求項6に記載のパブリックスピーキング支援装置。 - 前記被訓練者の心拍の値を示す心拍情報を生成する心拍情報生成部と、
前記心拍情報生成部の生成した心拍情報を解析し、解析した結果から前記被訓練者の心拍の変動を示す情報である心拍変動情報を生成する心拍変動解析部と、
をさらに備え、
前記記憶部に記憶されるパブリックスピーキング評価情報は、前記心拍変動情報と、パブリックスピーキングの評価とが対応づけられた情報をさらに含み、
前記パフォーマンス評価提示部は、前記心拍変動情報と、前記パブリックスピーキング評価情報とに基づきパブリックスピーキング評価情報を生成し、生成したパブリックスピーキング評価情報を前記表示部に表示させることにより、前記パブリックスピーキングの評価を提示する
請求項4から請求項7のいずれか一項に記載のパブリックスピーキング支援装置。 - 前記表示部とは、透過型の表示部である
請求項1から請求項8のいずれか一項に記載のパブリックスピーキング支援装置。 - 前記視野画像は、聴衆の目の画像が含まれる
請求項1から請求項9のいずれか一項に記載のパブリックスピーキング支援装置。 - コンピュータに、
被訓練者の頭部の向きを検出する検出ステップと、
前記検出ステップにより検出された頭部の向きに対応した方向の視野画像を、当該頭部の向きに相対する向きにして表示部に表示する表示ステップと、
前記検出ステップにより検出された頭部の向きを示す前記視野画像上の位置とは異なる向きを示す前記視野画像上の位置を前記表示部に表示させることにより、前記検出ステップにより検出された頭部の向きとは異なる頭部の向きを提示する動作指標提示ステップと、
を実行させるためのプログラム。 - 被訓練者が視野画像を見ながらパブリックスピーキングの訓練をするためのパブリックスピーキング支援装置であって、
被訓練者の状態と、被訓練者の状態の評価とが対応づけられた情報であるパブリックスピーキング評価情報が記憶される記憶部と、
聴衆の目の画像が含まれる前記視野画像を表示する表示部と、
前記表示部に表示された前記視野画像が提示された前記被訓練者の状態を解析する状態解析部と、
前記状態解析部が解析した前記被訓練者の状態と、前記記憶部に記憶される前記パブリックスピーキング評価情報とに基づき、前記被訓練者によるパブリックスピーキングのパフォーマンスを評価するパフォーマンス評価部と、
を備えるパブリックスピーキング支援装置。
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2017077706 | 2017-04-10 | ||
JP2017077706 | 2017-04-10 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2018180503A true JP2018180503A (ja) | 2018-11-15 |
JP7066115B2 JP7066115B2 (ja) | 2022-05-13 |
Family
ID=64276506
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2017185257A Active JP7066115B2 (ja) | 2017-04-10 | 2017-09-26 | パブリックスピーキング支援装置、及びプログラム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP7066115B2 (ja) |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2020148919A1 (ja) * | 2019-01-17 | 2020-07-23 | オムロン株式会社 | 情報処理装置、提示システム、及び情報処理プログラム |
JP2020110561A (ja) * | 2019-01-07 | 2020-07-27 | 株式会社mediVR | リハビリテーション支援装置、リハビリテーション支援システム、リハビリテーション支援方法およびリハビリテーション支援プログラム |
JP2020110209A (ja) * | 2019-01-07 | 2020-07-27 | 株式会社mediVR | リハビリテーション支援装置、リハビリテーション支援システム、リハビリテーション支援方法およびリハビリテーション支援プログラム |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2008139762A (ja) * | 2006-12-05 | 2008-06-19 | Univ Of Tokyo | プレゼンテーション支援装置および方法並びにプログラム |
WO2015114824A1 (ja) * | 2014-02-03 | 2015-08-06 | 株式会社日立製作所 | 発話訓練システム及び発話訓練方法 |
US20160049094A1 (en) * | 2014-08-13 | 2016-02-18 | Pitchvantage Llc | Public Speaking Trainer With 3-D Simulation and Real-Time Feedback |
JP2017068689A (ja) * | 2015-09-30 | 2017-04-06 | 富士通株式会社 | 視野誘導方法、視野誘導プログラム、及び視野誘導装置 |
-
2017
- 2017-09-26 JP JP2017185257A patent/JP7066115B2/ja active Active
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2008139762A (ja) * | 2006-12-05 | 2008-06-19 | Univ Of Tokyo | プレゼンテーション支援装置および方法並びにプログラム |
WO2015114824A1 (ja) * | 2014-02-03 | 2015-08-06 | 株式会社日立製作所 | 発話訓練システム及び発話訓練方法 |
US20160049094A1 (en) * | 2014-08-13 | 2016-02-18 | Pitchvantage Llc | Public Speaking Trainer With 3-D Simulation and Real-Time Feedback |
JP2017068689A (ja) * | 2015-09-30 | 2017-04-06 | 富士通株式会社 | 視野誘導方法、視野誘導プログラム、及び視野誘導装置 |
Non-Patent Citations (1)
Title |
---|
田中一也: "全観客キャラクタが講演者発話にうなずく没入型講演体験システムの開発", 第79回(平成29年)全国大会講演論文集(4), JPN6021022073, 16 March 2017 (2017-03-16), pages 4 - 187, ISSN: 0004525388 * |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2020110561A (ja) * | 2019-01-07 | 2020-07-27 | 株式会社mediVR | リハビリテーション支援装置、リハビリテーション支援システム、リハビリテーション支援方法およびリハビリテーション支援プログラム |
JP2020110209A (ja) * | 2019-01-07 | 2020-07-27 | 株式会社mediVR | リハビリテーション支援装置、リハビリテーション支援システム、リハビリテーション支援方法およびリハビリテーション支援プログラム |
JP7385238B2 (ja) | 2019-01-07 | 2023-11-22 | 株式会社mediVR | リハビリテーション支援装置、リハビリテーション支援方法及びリハビリテーション支援プログラム |
WO2020148919A1 (ja) * | 2019-01-17 | 2020-07-23 | オムロン株式会社 | 情報処理装置、提示システム、及び情報処理プログラム |
Also Published As
Publication number | Publication date |
---|---|
JP7066115B2 (ja) | 2022-05-13 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11798431B2 (en) | Public speaking trainer with 3-D simulation and real-time feedback | |
US10120413B2 (en) | System and method for enhanced training using a virtual reality environment and bio-signal data | |
CN110349667B (zh) | 结合调查问卷及多模态范式行为数据分析的孤独症评估系统 | |
CN111936036A (zh) | 使用生物特征传感器数据检测神经状态来指导现场娱乐 | |
US20050255434A1 (en) | Interactive virtual characters for training including medical diagnosis training | |
US20190130788A1 (en) | Virtual Reality Microsimulation Platform | |
KR20130098770A (ko) | 입체감 확장형 가상 스포츠 체험 시스템 | |
US11397467B1 (en) | Tactile simulation of initial contact with virtual objects | |
US10831267B1 (en) | Systems and methods for virtually tagging objects viewed by friends and influencers | |
JP7082384B1 (ja) | 学習システム及び学習方法 | |
US20200184843A1 (en) | Information processing apparatus, information processing method, and computer program | |
JP7066115B2 (ja) | パブリックスピーキング支援装置、及びプログラム | |
Vermun et al. | Gesture-based affective and cognitive states recognition using kinect for effective feedback during e-learning | |
CN106618610B (zh) | 一种面向害羞儿童社会技能训练的头戴终端系统 | |
KR20190048144A (ko) | 발표 및 면접 훈련을 위한 증강현실 시스템 | |
KR102122021B1 (ko) | 가상현실을 이용한 인지 개선 장치 및 방법 | |
KR20180076797A (ko) | 뇌전도 신호와 가상현실을 이용한 학습 보조 장치 및 그 방법 | |
Johnsen et al. | An evaluation of immersive displays for virtual human experiences | |
JP2019200257A (ja) | 学習支援システム及びプログラム | |
US10983591B1 (en) | Eye rank | |
D. Gomez et al. | See ColOr: an extended sensory substitution device for the visually impaired | |
US20230128024A1 (en) | Automated virtual (ar/vr) education content adjustment based on gaze and learner attention tracking | |
Eden | Technology Makes Things Possible | |
Ahmed et al. | InterViewR: A mixed-reality based interview training simulation platform for individuals with autism | |
Mirzaei et al. | Head Up visualization of spatial sound sources in virtual reality for deaf and hard-of-hearing people |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20171116 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20200729 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20210531 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20210615 |
|
A601 | Written request for extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A601 Effective date: 20210811 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20211014 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20220315 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20220413 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7066115 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |