JP2018180503A - パブリックスピーキング支援装置、及びプログラム - Google Patents

パブリックスピーキング支援装置、及びプログラム Download PDF

Info

Publication number
JP2018180503A
JP2018180503A JP2017185257A JP2017185257A JP2018180503A JP 2018180503 A JP2018180503 A JP 2018180503A JP 2017185257 A JP2017185257 A JP 2017185257A JP 2017185257 A JP2017185257 A JP 2017185257A JP 2018180503 A JP2018180503 A JP 2018180503A
Authority
JP
Japan
Prior art keywords
information
public speaking
unit
evaluation
trainee
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2017185257A
Other languages
English (en)
Other versions
JP7066115B2 (ja
Inventor
美晴 冬野
Miharu Fuyuno
美晴 冬野
友子 山下
Tomoko Yamashita
友子 山下
祥好 中島
Yasuyoshi Nakajima
祥好 中島
剛史 齊藤
Takashi Saito
剛史 齊藤
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Kyushu Institute of Technology NUC
Kyushu University NUC
Original Assignee
Kyushu Institute of Technology NUC
Kyushu University NUC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Kyushu Institute of Technology NUC, Kyushu University NUC filed Critical Kyushu Institute of Technology NUC
Publication of JP2018180503A publication Critical patent/JP2018180503A/ja
Application granted granted Critical
Publication of JP7066115B2 publication Critical patent/JP7066115B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Abstract

【課題】パブリックスピーキングの練習において、被訓練者が、次にどの方向を向けばよいかを学習できるパブリックスピーキング支援装置、及びプログラムを提供する。【解決手段】被訓練者の頭部の向きを検出する検出部と、検出部により検出された頭部の向きに対応した方向の視野画像を、当該頭部の向きに相対する向きにして表示する表示部と、検出部により検出された頭部の向きを示す視野画像上の位置とは異なる視野画像上の位置を表示部に表示させることにより、検出部により検出された頭部の向きとは異なる頭部の向きを提示する動作指標提示部と、を備える。【選択図】図4

Description

本発明は、パブリックスピーキング支援装置、及びプログラムに関する。
パブリックスピーキングの技術の学習においては、実践さながらの状況において体感しながら練習することの重要性が指摘されている。そのため、講義・演習等でパブリックスピーキングの技術を指導したとしても、自己練習による学習は難しいとされている。一方、実践さながらの状況においてパブリックスピーキングの練習をすることは、オーディエンス人員の確保や場所の確保、自己評価の難しさ等の要因のため、困難であった。
カメラで撮影された画像から顔の向きに関する顔情報を算出し、算出した顔情報に基づいて、アイコンタクトの度合いを示す指標を算出して表示する技術が知られている(例えば、特許文献1を参照)。
また、視線方向検知装置により検知された視線の評価に基づき、常にパーソナルコンピュータの画面を見ているようであれば評価値を下げ、聴講者の方を見ているようであれば評価値を上げる技術が知られている(例えば、特許文献2を参照)。
また、プレゼンターがオーディエンスの方を一定期間以上向いていないことを検知すると、好ましくない挙動であると判断し、好ましくない挙動を行なっていることがプレゼンターに通知される技術が知られている(例えば、特許文献3を参照)。
特開2008−139762号公報 特開2007−219161号公報 特開2012−255866号公報
しかしながら、上記のような従来技術においては、パブリックスピーキングの練習において、被訓練者が、次にどの方向を向けばよいかを学習できないという問題があった。
また、パブリックスピーキングの練習において、例えば、バーチャルリアリティ(VR:Virtual Reality)や拡張現実(AR:Augmented Reality)の技術を用いる機器を利用して実践さながらの状況を再現する場合、これらの機器や設備には、VRの映像の処理負荷に耐え得るだけの性能が要求されコストが高くなってしまう。
本発明は上記の点に鑑みてなされたものであり、パブリックスピーキングの練習において、被訓練者が、次にどの方向を向けばよいかを学習できるパブリックスピーキング支援装置、及びプログラムを提供する。
また、パブリックスピーキングの練習において、実践さながらの状況を再現する場合に機器にかかる負担を軽減することができるパブリックスピーキング支援装置を提供する。ここで、実践さながらの状況とは、被訓練者が聴衆の視線を感じて緊張感を覚える状況である。
(1)本発明は上記の課題を解決するためになされたものであり、本発明の一態様は、被訓練者の頭部の向きを検出する検出部と、前記検出部により検出された頭部の向きに対応した方向の視野画像を、当該頭部の向きに相対する向きにして表示する表示部と、前記検出部により検出された頭部の向きを示す前記視野画像上の位置とは異なる前記視野画像上の位置を前記表示部に表示させることにより、前記検出部により検出された頭部の向きとは異なる頭部の向きを提示する動作指標提示部と、を備えるパブリックスピーキング支援装置である。
(2)また、本発明の一態様は、上記のパブリックスピーキング支援装置において、前記検出部の検出した頭部の向きを解析し、解析した結果から当該頭部の向きを示す前記視野画像上の位置を示す情報である頭部動作情報を生成する頭部動作解析部と、頭部の動きと、頭部の動きの評価とが対応づけられた情報であるパブリックスピーキング評価情報が記憶される記憶部と、前記頭部動作解析部が生成した頭部動作情報と、前記記憶部に記憶されるパブリックスピーキング評価情報とに基づき、前記頭部の動きを評価し、評価した結果から、前記頭部動作情報の示す位置とは異なる前記視野画像上の位置を示す情報である頭部動作指示情報を生成するパフォーマンス評価部と、をさらに備え、前記動作指標提示部は、前記頭部動作指示情報の示す前記視野画像上の位置を前記表示部に表示させることにより、前記検出部により検出された頭部の向きとは異なる頭部の向きを提示する。
(3)また、本発明の一態様は、上記のパブリックスピーキング支援装置において、前記動作指標提示部は、前記頭部動作情報の示す位置と、前記頭部動作指示情報の示す位置とを、互いに区別可能な態様で前記表示部に表示させる。
(4)また、本発明の一態様は、上記のパブリックスピーキング支援装置において、パフォーマンス評価提示部をさらに備え前記パフォーマンス評価提示部は、前記頭部動作情報と、前記パブリックスピーキング評価情報とに基づき、前記被訓練者のパブリックスピーキングの評価を示す情報であるパブリックスピーキング評価情報を生成し、生成したパブリックスピーキング評価情報を前記表示部に表示させることにより、前記パブリックスピーキングの評価を提示する。
(5)また、本発明の一態様は、上記のパブリックスピーキング支援装置において、前記被訓練者の音声を記録する音声記録部と、前記音声記録部が記録した音声を解析し、解析した結果から前記被訓練者の話す速度を示す情報である話速情報を生成する音声解析部と、をさらに備え、前記記憶部に記憶されるパブリックスピーキング評価情報は、前記話速情報と、パブリックスピーキングの評価とが対応づけられた情報をさらに含み、前記パフォーマンス評価提示部は、前記話速情報と、前記パブリックスピーキング評価情報とに基づきパブリックスピーキング評価情報を生成し、生成したパブリックスピーキング評価情報を前記表示部に表示させることにより提示する。
(6)また、本発明の一態様は、上記のパブリックスピーキング支援装置において、前記音声解析部は、音節を単位にして前記話速情報を生成する。
(7)また、本発明の一態様は、上記のパブリックスピーキング支援装置において、前記音声解析部は、前記音声記録部が記録した音声を解析し、解析した結果から前記被訓練者の声量を示す情報である声量情報を生成し、前記記憶部に記憶されるパブリックスピーキング評価情報は、前記声量情報と、パブリックスピーキングの評価とが対応づけられた情報をさらに含み、前記パフォーマンス評価提示部は、前記声量情報と、前記パブリックスピーキング評価情報とに基づきパブリックスピーキング評価情報を生成し、生成したパブリックスピーキング評価情報を前記表示部に表示させることにより、前記パブリックスピーキングの評価を提示する。
(8)また、本発明の一態様は、上記のパブリックスピーキング支援装置において、前記被訓練者の心拍の値を示す情報を生成する心拍情報生成部と、前記心拍情報生成部の生成した心拍情報を解析し、解析した結果から前記被訓練者の心拍の変動を示す情報である心拍変動情報を生成する心拍変動解析部と、をさらに備え、前記記憶部に記憶されるパブリックスピーキング評価情報は、前記心拍変動情報と、パブリックスピーキングの評価とが対応づけられた情報をさらに含み、前記パフォーマンス評価提示部は、前記心拍変動情報と、前記パブリックスピーキング評価情報とに基づきパブリックスピーキング評価情報を生成し、生成したパブリックスピーキング評価情報を前記表示部に表示させることにより、前記パブリックスピーキングの評価を提示する。
(9)また、本発明の一態様は、上記のパブリックスピーキング支援装置において、前記表示部とは、透過型の表示部である。
(10)また、本発明の一態様は、前記視野画像は、聴衆の目の画像が含まれる。
(11)また、本発明の一態様は、コンピュータに、被訓練者の頭部の向きを検出する検出ステップと、前記検出ステップにより検出された頭部の向きに対応した方向の視野画像を、当該頭部の向きに相対する向きにして表示部に表示する表示ステップと、前記検出ステップにより検出された頭部の向きを示す前記視野画像上の位置とは異なる向きを示す前記視野画像上の位置を前記表示部に表示させることにより、前記検出ステップにより検出された頭部の向きとは異なる頭部の向きを提示する動作指標提示ステップと、を実行させるためのプログラムである。
(12)また、本発明の一態様は、被訓練者が視野画像を見ながらパブリックスピーキングの訓練をするためのパブリックスピーキング支援装置であって、被訓練者の状態と、被訓練者の状態の評価とが対応づけられた情報であるパブリックスピーキング評価情報が記憶される記憶部と、聴衆の目の画像が含まれる前記視野画像を表示する表示部と、前記表示部に表示された前記視野画像が提示された前記被訓練者の状態を解析する状態解析部と、前記状態解析部が解析した前記被訓練者の状態と、前記記憶部に記憶される前記パブリックスピーキング評価情報とに基づき、前記被訓練者によるパブリックスピーキングのパフォーマンスを評価するパフォーマンス評価部と、を備えるパブリックスピーキング支援装置である。
本発明によれば、パブリックスピーキングの練習において、被訓練者が、次にどの方向を向けばよいかを学習できる。
本発明の第1の実施形態のパブリックスピーキング支援装置の概観の一例を示す図である。 本実施形態のパブリックスピーキング支援装置を装着した被訓練者の頭部の概観の一例を示す側面図である。 本実施形態のパブリックスピーキング支援装置の視野画像の一例を示す図である。 本実施形態のパブリックスピーキング支援装置の機能構成の一例を示す図である。 本実施形態の頭部動作モデルの一例を示す図である。 本実施形態のパブリックスピーキング支援装置の処理の一例を示す図である。 本実施形態のパブリックスピーキング支援装置の設定画面の一例を示す図である。 本実施形態のパブリックスピーキング支援装置の心拍数測定画面の一例を示す図である。 本実施形態のパブリックスピーキング支援装置の評価提示画面の一例を示す図である。 本実施形態のパブリックスピーキング支援装置の形態の一例を示す図である。 本実施形態のパブリックスピーキング支援装置の形態の一例を示す図である。 本発明の第2の実施形態のパブリックスピーキング支援装置の概観の一例を示す図である。 本実施形態のパブリックスピーキング支援装置の機能構成の一例を示す図である。 本発明の第3の実施形態のパブリックスピーキング支援装置の概観の一例を示す図である。 本実施形態のパブリックスピーキング支援装置の機能構成の一例を示す図である。 本実施形態のパブリックスピーキング支援装置の視野画像の一例を示す図である。 本実施形態のパブリックスピーキング支援装置の視野画像の一例を示す図である。 本実施形態のパブリックスピーキング支援装置の概観の一例を示す図である。
(第1の実施形態)
以下、図面を参照しながら本発明の実施形態について詳しく説明する。本実施形態では、パブリックスピーキングの一例として、英語でのスピーチの場合を説明する。
図1は本実施形態のパブリックスピーキング支援装置D1の概観の一例を示す図である。
パブリックスピーキング支援装置D1(以下、支援装置D1と称する)は、ヘッドマウントディスプレイ(HMD:Head Mounted Display)の形態を取り、スピーチの被訓練者T1(以下、被訓練者T1)の頭部に装着され使用される。
支援装置D1は、被訓練者T1の頭部の向きを検出するセンサ(不図示)を備える。支援装置D1は、センサにより検出された、被訓練者T1の頭部の向きに対応した方向の視野画像を、当該頭部の向きに相対する向きにして、表示部(不図示)に表示する。
図2は、本実施形態の支援装置D1を装着した被訓練者T1の頭部の概観の一例を示す側面図である。
被訓練者T1の位置する場所に固定された座標系を、3次元直交座標系X、Y、Zとする。被訓練者T1の頭部に固定された座標系を、3次元直交座標系x、y、zとする。ここで、3次元直交座標系x、y、zのx軸とは、被訓練者T1の頭部の正面の向きであり、z軸とは、鉛直方向上向きである。
被訓練者T1の頭部の向きHD1とは、3次元直交座標系x、y、zのx軸の正の向きである。頭部の向きHD1に相対する向きDD1は、3次元直交座標系x、y、zのx軸の負の向きである。
図3は、本実施形態の支援装置D1の視野画像I1の一例を示す図である。
支援装置D1は、視野画像I1上に、仮想的な発表会場の風景の画像と、仮想的な聴衆の動画(バーチャルオーディエンスと称する)とを表示する。支援装置D1は、頭部の向きHD1に応じて発表会場の風景の画像を3次元直交座標系X、Y、ZにおけるZ軸のまわりの角度にして360度表示する。
支援装置D1は、自装置の評価する被訓練者T1のスピーチの評価に応じて、バーチャルオーディエンスを動かす。支援装置D1は、被訓練者T1のスピーチの評価が低い場合、ネガティブな反応をするバーチャルオーディエンスを表示する。一方、被訓練者T1のスピーチの評価が高い場合、支援装置D1は、ポジティブな反応をするバーチャルオーディエンスを表示する。
なお、支援装置D1は、スピーチの前半においてネガティブな反応をするバーチャルオーディエンスを表示するとともに、スピーチの後半においてポジティブな反応をするバーチャルオーディエンスを表示してもよい。あるいは、支援装置D1は、スピーチの最中において、ポジティブおよびネガティブのうちいずれか一方の反応を常にするバーチャルオーディエンスを表示してもよい。
ここで、ネガティブな反応とは、例えば、頬杖、居眠り、あくび、しかめ顔、うつむき等であり、ポジティブな反応とは、例えば、うなずき、笑顔等である。被訓練者T1は、バーチャルオーディエンスの反応から心理的フィードバックを感じることができる。
支援装置D1は、バーチャルオーディエンスを、設定に応じて、コンピュータグラフィックス(CG:Computer Graphics)、または実写動画を用いて表示する。表示F3には、バーチャルオーディエンスについての上記の設定、及びスピーチの時間が表示されている。
支援装置D1は、被訓練者T1のアイコンタクトの動作(顔や首の動き)を、頭部の向きHD1として検出する。支援装置D1は、検出した頭部の向きHD1を解析し、被訓練者T1が次に見るべき、視野画像I1上の位置を示す情報である頭部動作指示情報を生成する。
パブリックスピーキングについての基礎研究により、一定時間(5秒程度)毎に、向く場所(アイコンタクトを取る聴衆)を変え、聴衆全体をまんべんなく見ることが、優れたパブリックスピーキングであるという結果が得られている。頭部動作指示情報は、この研究結果に基づき生成される。
支援装置D1は、生成した頭部動作指示情報の示す位置を、視野画像I1上に表示する。ここで、支援装置D1は、被訓練者T1が次に見るべき位置を、2行5列のマス目状に並べて表示された、半透明のパネルPN1、PN2、PN3、PN4、PN5、PN6、PN7、PN8、PN9、PN10の中から選択する。以下では、パネルPN1、PN2、PN3、PN4、PN5、PN6、PN7、PN8、PN9、PN10をまとめてパネルPNと称することがある。支援装置D1は、パネルPNの中から選択された特定のパネル(図3、及び以下の説明では、一例として、パネルPN3)の枠の輝度を上げるなどして特定のパネルをその他のパネルと識別可能にする。これにより、支援装置D1は、被訓練者T1に次に見るべき位置を知らせる。
したがって、支援装置D1を利用することにより、パブリックスピーキングの練習において、被訓練者は、次にどの方向を向けばよいか学習できる。
支援装置D1は、音声記録装置(不図示)を備え、被訓練者T1の音声を取得する。支援装置D1は、取得した音声を解析し、被訓練者T1が話す速度についての評価を示す情報である話速評価情報を、表示F2として表示する。
支援装置D1は、生体センサ(不図示)を備え、被訓練者T1の心拍の値を示す情報を取得する。支援装置D1は、取得した被訓練者T1の心拍の値を示す情報を解析し、被訓練者T1の緊張度についての評価を示す情報である緊張度評価情報を、表示F1として表示する。
支援装置D1は、スピーチが終了すると、被訓練者T1のアイコンタクトの動作、話す速度、及び心拍に基づき、被訓練者T1のスピーチの評価得点を提示する。
支援装置D1は、視野画像I1上における演台に、スピーチの資料の画像S1を表示する。ここで、スピーチの資料の画像S1とは、被訓練者T1により予め選択設定された、スクリプトの画像や、発表の資料の画像である。被訓練者T1は、視野画像I1において、スピーチの資料の画像S1を見ながら、訓練することができる。視野画像I1上に表示される画像S1は、被訓練者T1等により適宜選択設定されたものであってもよい。
支援装置D1は、被訓練者T1による操作等に基づき、視野画像I1上への画像S1の表示をオフにすることができる。表示がオフにされる場合、支援装置D1は、視野画像I1上において、画像S1に代えて演台の画像を表示してもよい。被訓練者T1は、視野画像I1上のスクリプト等の画像を見ることなく、予め記憶したスピーチや即興で練習することができる。
以下、スピーチの練習において、被訓練者が、次にどの方向を向けばよいか学習できることを実現する、支援装置D1の機能構成について図4を参照して説明する。
[支援装置D1の機能構成]
支援装置D1は、ヘッドマウントディスプレイ1、携帯端末2、生体センサ3を含んで構成される。ヘッドマウントディスプレイ1及び携帯端末2は、一体となって構成されてもよく、また一体となって構成されなくてもよい。
ヘッドマウントディスプレイ1は、音声記録装置10、動きセンサ11、画像生成装置12、表示装置13、音声出力装置14を含んで構成される。
音声記録装置10は、被訓練者T1の音声を取得し、取得した音声を、音声情報として記録する。音声記録装置10は、記録した音声情報を、携帯端末2に供給する。
動きセンサ11は、被訓練者T1の頭部の向きHD1を検出する。動きセンサ11は、検出した頭部の向きHD1を、携帯端末2、及び画像生成装置12に供給する。
画像生成装置12は、動きセンサ11により検出された頭部の向きHD1に対応した方向の視野画像I1を生成し、表示装置13に供給する。
画像生成装置12は、動作指標提示部26からの出力に応じて、パネルPNの中の特定のパネル(パネルPN3)の枠の輝度を上げる。
画像生成装置12は、パフォーマンス評価提示部25から、後述するパブリックスピーキングの評価情報を取得し、話速評価情報と、緊張度評価情報とに各々対応する表示F2と、表示F3とを生成する。画像生成装置12は、取得した評価情報に応じて、ポジティブな反応をする、またはネガティブな反応をするバーチャルオーディエンスを生成する。
表示装置13は、画像生成装置12から取得した視野画像I1を、頭部の向きHD1に相対する向きにして表示する。
表示装置13は、携帯端末2が生成した被訓練者T1が次に見るべき位置を、視野画像I1上に表示する。
表示装置13は、携帯端末2から取得した話速評価情報を、表示F2として視野画像I1上に表示する。表示装置13は、携帯端末2が生成した緊張度評価情報が入力されると、当該情報を、表示F1として視野画像I1上に表示する。
表示装置13は、スピーチの終了時に、携帯端末2が算出した被訓練者T1のスピーチの評価得点を提示する。
表示装置13は、例えば、液晶ディスプレイ、または有機エレクトロルミネッセンス(EL;Electroluminescence)ディスプレイである。
音声出力装置14は、携帯端末2から入力される音声メッセージに基づき、音声を出力する。音声出力装置14とは、例えば、スピーカーである。
携帯端末2は、音声解析部20、頭部動作解析部21、心拍変動解析部22、パフォーマンス評価部23、スピーチパフォーマンス指標データベース24、パフォーマンス評価提示部25、動作指標提示部26、音声メッセージ生成部27を含んで構成される。
音声解析部20は、音声記録装置10が記録した音声を取得する。音声解析部20は、取得した音声を解析し、解析した結果から被訓練者T1が話す速度を示す情報である話速情報を生成する。音声解析部20は、生成した話速情報を、パフォーマンス評価部23に供給する。
音声解析部20は、話速情報の生成の際、被訓練者T1が話す速度を、所定の時間毎に算出する。ここで、所定の時間間隔とは、例えば、5秒間である。音声解析部20は、被訓練者T1が話す速度を、所定の時間に被訓練者T1が話した単語数を音節数に換算し、単位時間当たりの音節数として算出する。つまり、音声解析部20は、音節を単位にして話速情報を生成する。
音声解析部20は、音節を単位にして被訓練者T1が話す速度を算出するため、言語の違いにより単語の長さが異なる場合であっても、音節数という共通の基準で被訓練者T1が話す速度を算出できる。このため、音声解析部20は、多言語に対応が可能である。
頭部動作解析部21は、動きセンサ11の検出した頭部の向きHD1を取得する。頭部動作解析部21は、取得した頭部の向きHD1を解析し、解析した結果に基づき頭部動作情報を生成する。ここで、頭部動作情報とは、頭部の向きHD1を示す視野画像I1の位置を示す情報である。頭部動作情報には、動きセンサ11が、頭部の向きHD1を検出した時刻が含まれる。頭部動作解析部21は、生成した頭部動作情報を、パフォーマンス評価部23に供給する。
心拍変動解析部22は、生体センサ3の生成した被訓練者T1の心拍情報を取得する。心拍変動解析部22は、取得した心拍情報を解析し、解析した結果に基づき、被訓練者T1の心拍の変動を示す情報である心拍変動情報を生成する。心拍変動解析部22は、生成した心拍変動情報を、パフォーマンス評価部23に供給する。
心拍変動情報は、予め測定した被訓練者T1の平常時の心拍数よりも、所定の回数以上の心拍上昇がみられたか否かを示す。所定の回数とは、例えば、5回である。心拍変動解析部22は、被訓練者T1の平常時の心拍の値を、後述する心拍数測定画面I3が表示装置13に表示される間に、測定する。
パフォーマンス評価部23は、頭部動作解析部21から頭部動作情報を取得する。パフォーマンス評価部23は、スピーチパフォーマンス指標データベース24からパブリックスピーキング評価情報を読み込む。
ここで、パブリックスピーキング評価情報の一例には、被訓練者T1の頭部の動きと、当該頭部の動きの評価とが対応づけられた情報、話速情報と、パブリックスピーキングの評価とが対応づけられた情報、心拍変動情報と、パブリックスピーキングの評価とが対応づけられた情報がある。
パブリックスピーキング評価情報は、上述のパブリックスピーキングに関する基礎研究の蓄積を基に算出された指標である。パブリックスピーキング評価情報は、頭部動作情報の示す視野画像I1の位置が、頭部動作モデルの示す視野画像I1の位置と一致していた時間が長いほど、当該頭部動作情報に対して、高い評価を割り当てる。
ここで、頭部動作モデルとは、上述のパブリックスピーキングに関する基礎研究結果に基づく、優れたスピーチのための理想的な頭部の動きを、各時間における視野画像I1の位置として表した情報である。
パフォーマンス評価部23は、取得した頭部動作情報と、読み込んだパブリックスピーキング評価情報とに基づき、被訓練者T1の頭部の動きを評価する。パフォーマンス評価部23は、評価した結果から、頭部の動きの評価が高くなる頭部の動きを判定する。パフォーマンス評価部23は、判定した結果から、頭部動作指示情報を生成する。パフォーマンス評価部23は、生成した頭部動作指示情報を、動作指標提示部26に供給する。頭部動作指示情報は、頭部動作情報の示す位置とは異なる視野画像I1上の位置を示す。
なお、パフォーマンス評価部23は、頭部の動きの評価が高くなる頭部の動きが複数ある場合、複数の頭部の動きの評価が高くなる頭部の動きの中からランダムに1つを選択してよい。
パフォーマンス評価部23は、スピーチ終了時に、評価した結果から、アイコンタクト評価情報を生成する。ここで、アイコンタクト評価情報とは、被訓練者T1のアイコンタクトの動作の評価を示す情報である。パフォーマンス評価部23は、生成したアイコンタクト評価情報を、パフォーマンス評価提示部25に供給する。
パフォーマンス評価部23は、音声解析部20から話速情報を取得する。パフォーマンス評価部23は、取得した話速情報と、スピーチパフォーマンス指標データベース24から取得したパブリックスピーキング評価情報とに基づき、被訓練者T1の話す速度を評価する。パフォーマンス評価部23は、評価した結果から、話速評価情報を生成する。パフォーマンス評価部23は、生成した話速評価情報を、パフォーマンス評価提示部25に供給する。
上述のパブリックスピーキングに関する基礎研究の結果から、非英語母語話者が、非英語母語話者を含む聴衆に対して英語でスピーチを行う場合、理想的な話す速度の一例は、140から150単語毎秒(wpm)前後とされている。パブリックスピーキング評価情報は、理想的な話す速度が音節毎秒(sps)を単位に換算された値に基づいている。パブリックスピーキング評価情報では、例えば、話す速度と評価とは、0spsから0.7spsが「遅い」、2.71spsから5.99spsが「ちょうどいい」、6sps以上が「速い」と、各々対応づけられている。
パフォーマンス評価部23は、心拍変動解析部22から心拍変動情報を取得する。パフォーマンス評価部23は、取得した心拍変動情報と、スピーチパフォーマンス指標データベース24から取得したパブリックスピーキング評価情報とに基づき、被訓練者T1の緊張度を評価する。パフォーマンス評価部23は、評価した結果から、緊張度評価情報を生成する。パフォーマンス評価部23は、生成した緊張度評価情報を、パフォーマンス評価提示部25に供給する。
パブリックスピーキング評価情報では、被訓練者T1の心拍が測定された回数のうち、予め測定した被訓練者T1の平常時の心拍数よりも、所定の回数以上の心拍上昇がみられた回数と、緊張度の評価とが対応づけられている。
スピーチパフォーマンス指標データベース24は、パブリックスピーキング評価情報が記憶される。スピーチパフォーマンス指標データベース24は、例えば、フラッシュメモリやハードディスクなどのストレージでもよいし、ROM(Read Only Memory)でもよい。スピーチパフォーマンス指標データベース24は、外部サーバ装置などの他の装置から例えば有線又は無線のネットワークを介して入力された、パブリックスピーキング評価情報を記憶してもよい。
パフォーマンス評価提示部25は、パフォーマンス評価部23から、アイコンタクト評価情報と、話速評価情報と、緊張度評価情報とを取得する。
パフォーマンス評価提示部25は、スピーチの間、取得した話速評価情報と、取得した心拍変動情報とを、画像生成装置12を介して、表示装置13に表示させることにより提示する。
パフォーマンス評価提示部25は、スピーチの終了時に、被訓練者T1のスピーチの評価得点を算出する。パフォーマンス評価提示部25は、算出した評価得点を、表示装置13に表示させることにより提示する。
なお、本実施形態では、パフォーマンス評価部23が、アイコンタクト評価情報と、話速評価情報と、緊張度評価情報とを生成する場合を扱うが、パフォーマンス評価提示部25が、アイコンタクト評価情報と、話速評価情報と、緊張度評価情報とを生成してもよい。
その場合、パフォーマンス評価提示部25は、頭部動作情報と、パブリックスピーキング評価情報とに基づき、被訓練者T1のパブリックスピーキングの評価を示す情報であるアイコンタクト評価情報を生成し、生成したアイコンタクト評価情報を表示装置13に表示させることにより提示する。
パフォーマンス評価提示部25は、話速情報と、パブリックスピーキング評価情報とに基づき話速評価情報を生成し、生成した話速評価情報を表示装置13に表示させることにより提示する。
動作指標提示部26は、パフォーマンス評価部23から頭部動作指示情報を取得する。動作指標提示部26は、画像生成装置12を介して、取得した頭部動作指示情報の示す向きを示す、視野画像I1上の位置に対応するパネルPN3の枠の輝度を上げて、表示装置13に表示させる。つまり、動作指標提示部26は、取得した頭部動作指示情報の示す向きに対応する視野画像I1上の位置を表示装置13に表示させることにより、取得した頭部動作指示情報の示す向きを提示する。
動作指標提示部26は、視野画像I1上の位置に対応するパネルPN3の枠の輝度を上げることにより、頭部動作情報の示す位置と、頭部動作指示情報の示す位置とを、互いに区別可能な態様で表示装置13に表示させる。
なお、動作指標提示部26は、頭部動作解析部21から頭部動作情報を取得してもよい。動作指標提示部26は、取得した頭部動作情報が、頭部の向きHD1が所定の時間変わらない場合、取得した頭部動作情報の示す視野画像I1上の位置とは異なる位置に対応するパネルを、パネルPNの中からランダムに選択してもよい。その場合、動作指標提示部26は、選択したパネルの枠の輝度を上げて、表示装置13に表示させる。
つまり、動作指標提示部26は、動きセンサ11により検出された頭部の向きHD1を示す視野画像I1上の位置とは異なる視野画像I1上の位置を表示装置13に表示させることにより、動きセンサ11により検出された頭部の向きHD1とは異なる頭部の向きHD1を提示する。
これにより、被訓練者T1は、パブリックスピーキングの練習において、同じ場所を向き続けることを防ぐことができる。
また、動作指標提示部26は、取得した頭部動作情報が、頭部の向きHD1が所定の時間、所定の回数以上変化する場合、取得した頭部動作情報の示す視野画像I1上の複数の位置とは異なる位置に対応するパネルを、パネルPNの中からランダムに選択してもよい。これにより、被訓練者T1は、パブリックスピーキングの練習において、向く場所を必要以上に頻繁に変えることを防ぐことができる。
音声メッセージ生成部27は、パフォーマンス評価部23から評価得点を取得する。音声メッセージ生成部27は、取得した評価得点に応じて、音声メッセージを生成する。音声メッセージ生成部27は、生成した音声メッセージを、スピーチ終了時に、音声出力装置14に出力させる。
生体センサ3は、所定の時間の毎に、被訓練者T1の心拍を計測し、心拍の値を示す心拍情報を生成し、携帯端末2に供給する。ここで、所定の時間とは、例えば、10秒である。生体センサ3は、例えば、脈拍センサを備えたウェアラブル端末である。
ここで、図5を用いて頭部動作モデルの一例について説明する。
図5は、本実施形態の頭部動作モデルの一例を示す図である。
2行5列のマス目は、視野画像I1における半透明のパネルPNに対応する。一例として、スピーチ開始時の頭部の向きHD1を示す視野画像I1の位置が、パネルPN1であるとする。
被訓練者T1が次に見るべきパネルPNは、5秒程度の間隔で変化する。パネルPN3は、スピーチ開始時からの経過時間が5秒から10秒の間に、被訓練者T1が見るべきパネルである。この間、動作指標提示部26は、パネルPN3の枠の輝度を上げる。以下、被訓練者T1が見るべきパネルは、パネルPN10、パネルPN8、パネルPN6、パネルPN3、パネルPN5の順に変化する。
被訓練者T1が見るべきパネルの枠の輝度の変化の仕方について説明する。スピーチ開始時に、被訓練者T1は、パネルPN1を見ている。所定の時間(例えば、1秒から2秒程度)が経過すると、動作指標提示部26は、次に見るべきパネルPN3の枠の輝度を上げ始める。ただし、動作指標提示部26は、次に見るべきパネルPN3の枠の輝度を連続的に上げる。これは、頭部動作モデルでは、頭部の向きHD1は、現在見ているパネルPN1から、次に見るべきパネルPN3へと、急に変わるのではなく、左端のパネルPN1から、パネルPN2を経て、正面のパネルPN3の位置へと徐々に変わってゆくことに対応する。
動作指標提示部26は、パネルPN3の枠の輝度を上げ始めてから、所定の時間(例えば、5秒程度)が経過すると、パネルPN3の枠の輝度を下げ始める。ただし、動作指標提示部26は、パネルPN3の枠の輝度を上げ始めてから、所定の時間(例えば、10秒程度)が経過する時点において、パネルPN3の枠の輝度が元の輝度に戻るように、パネルPN3の枠の輝度を連続的に下げる。動作指標提示部26は、動作指標提示部26は、パネルPN3の枠の輝度を下げ始めてから、所定の時間(例えば、1秒から2秒程度)が経過すると、次に見るべきパネルとしてパネルPN10の枠の輝度を上げ始める。
上記のパネルPN3の枠の輝度の変化を、輝度の時間変化を表すグラフを用いて説明する。このグラフは、時間を表す横軸、輝度を表す縦軸からなる座標平面上において、輝度を時間についての連続な関数Kとして表したものである。スピーチ開始時に対応する時間を、0秒とする。
時間0秒から時間t1(例えば、1秒から2秒程度)の区間では、関数Kは、パネルPN3の元の輝度の値を取る定数関数である。時間t1から時間t2(例えば、3秒程度)の区間では、関数Kは、下に凸な単調増加関数である。時間t2から時間t3(例えば、5秒程度)の区間では、関数Kは、上に凸な単調増加関数である。時間t3から時間t4(例えば、6秒から7秒程度)の区間では、関数Kは、上に凸な単調減少関数である。時間t4から時間t5(例えば、10秒程度)の区間では、関数Kは、上に凸な単調減少関数である。時間t5から次に輝度が変化するまでの時間の区間では、関数Kは、パネルPN3の元の輝度の値を取る定数関数である。
ここで、時間t4において、パネルPN3の次にみるべきパネルPN10の枠の輝度が変化し始める。パネルPN10の枠の輝度の変化の仕方は、パネルPN3の枠の輝度の変化の仕方と同様に、上記の関数Kを横軸の正の方向に時間t4だけ平行移動した関数で表される。
なお、本実施形態では、一例として、次に見るべきパネルの枠の輝度を上げる場合を説明したが、支援装置D1が頭部動作指示情報の示す向きを示す方法はこれに限らない。支援装置D1は、例えば、次に見るべきパネル全体の輝度を上げてもよい。また、支援装置D1は、パネルを、2行5列のマス目以外の配列を用いて表示してもよいし、用いる配列に応じてパネルの面積を変化させてもよい。例えば、支援装置D1は、パネルPNの4分の1の面積のパネルを、4行10列のマス目状に表示し、次に見るべき向きに対応する領域をより高い精度で提示してもよい。
支援装置D1は、例えば、パネルを表示させずに、次に見るべき向きに対応する領域(例えば、四角形の領域、円形の領域、あるいはバーチャルオーディエンスの一部分を示す領域)の輪郭、あるいは当該領域の全体の輝度を上げてもよい。支援装置D1は、例えば、次に見るべき向きに対応する領域の色(色相、明度、彩度)を変化させてもよい。支援装置D1は、例えば、パネルを表示させずに、次に見るべき向きを、矢印等の画像を用いて示してもよい。
支援装置D1が頭部動作指示情報の示す向きを示す方法はこれらに限らない。支援装置D1は、例えば、視野画像I1において印となる画像を表示するとともに、動作指標に基づいて決定された速度とタイミングで断続的に印となる画像を移動させることによって、次に見るべき向きを示してもよい。ここで、印となる画像は、例えば、視野画像I1において容易に視認可能な色(例えば赤色)と、所定の形状(例えば丸い形状)を有する画像である。支援装置D1は、印となる画像を点滅させてもよいし、印となる画像の色を所定の周期で変化させてもよい。被訓練者T1は、頭部を動作させることによって移動して表示される印の画像を追いながら、次に見るべき向きを向くことができる。
[支援装置D1を用いたスピーチの練習の流れ]
次に、図6を参照して支援装置D1を用いたスピーチの練習の流れについて説明する。
図6は、本実施形態の支援装置D1の処理の一例を示す図である。
(ステップS100)支援装置D1は、電源が入れられると、表示装置13に、スピーチの練習についての設定を行うための設定画面I2を表示させる。被訓練者T1は、設定画面I2を見ながら、スピーチの練習についての各種の設定を行う。
ここで、図7を用いて設定画面I2の説明を行う。
図7は、本実施形態の支援装置D1の設定画面I2の一例を示す図である。
被訓練者T1は、表示P1、表示P2、表示P3の各領域を選択することで、スピーチの練習についての各種の設定を行う。表示P1は、練習モードか、本番モードかを選択するための表示である。練習モードでは、図3の視野画像I1で説明したように、スピーチの間、バーチャルオーディエンスと動作指標を示すパネルと話速度等の評価情報、練習モードなどの情報が表示される。
本番モードでは、支援装置D1は、スピーチの間、バーチャルオーディエンス、及び仮想的な発表会場を含む視野画像I1を表示するが、図3に示すような評価情報(表示F1)、話速評価情報(表示F2)、パネルPNを表示しない。本番モードにおいて、被訓練者T1は、練習モードに比較して、より実践の状況に近い視野画像I1を見ながら練習を行うことができる。
表示P2は、バーチャルオーディエンスを、CGにより表示するか、実写動画により表示するかを選択するための表示である。表示P3は、スピーチの時間を選択するための表示である。本実施例では、一例として、スピーチの時間を、2分間と、5分間とから選択する場合を示している。
支援装置D1は、開始ボタンP4が選択されると、設定画面I2の表示を終了する。
図6に戻り、スピーチの練習の流れについて説明を続ける。ただし、以下では、練習モードが選択された場合について説明を行う。
(ステップS101)支援装置D1は、心拍数測定画面I3を表示する。
ここで、図8を用いて心拍数測定画面I3の説明を行う。
図8は、本実施形態の支援装置D1の心拍数測定画面I3の一例を示す図である。
被訓練者T1は、心拍数測定画面I3に表示されるテキストを、30秒間声に出して読む。生体センサ3は、被訓練者T1の心拍を測定する。生体センサ3は、測定した心拍の値を示す情報を、被訓練者T1の平常時の心拍の値を示す情報として、携帯端末2に供給する。
図6に戻り、スピーチの練習の流れについて説明を続ける。
(ステップS102)被訓練者T1は、スピーチを開始する。
(ステップS103)動きセンサ11は、被訓練者T1の頭部の向きHD1を検出し、検出した頭部の向きHD1を、携帯端末2に供給する。
(ステップS104)表示装置13は、画像生成装置12から入力される視野画像I1を、頭部の向きHD1に相対する向きにして表示する。
(ステップS105)パフォーマンス評価部23は、頭部動作指示情報と、話速評価情報と、緊張度評価情報とを生成する。
(ステップS106)動作指標提示部26は、パフォーマンス評価部23から頭部動作指示情報を取得する。動作指標提示部26は、取得した頭部動作指示情報の示す向きを示す、視野画像I1上の位置であるパネルを、表示装置13に表示させることにより提示する。
パフォーマンス評価提示部25は、パフォーマンス評価部23から、話速評価情報と、緊張度評価情報とを取得する。パフォーマンス評価提示部25は、スピーチの間、取得した話速評価情報と、取得した心拍変動情報とを、表示装置13に表示させることにより提示する。
(ステップS107)携帯端末2は、スピーチが終了したか否かを判定する。携帯端末2は、ステップS100において設定されたスピーチの時間が経過した場合、スピーチが終了したと判定する。携帯端末2は、ステップS100において設定されたスピーチの時間が経過していない場合、スピーチが終了していないと判定する。
携帯端末2は、スピーチが終了したと判定する場合(ステップS107;YES)、ステップS108の処理を実行する。一方、スピーチが終了していないと判定する場合(ステップS107;NO)、携帯端末2は、ステップS103の処理を繰り返す。
(ステップS108)パフォーマンス評価提示部25は、被訓練者T1のスピーチの評価得点を算出する。
例えば、パフォーマンス評価提示部25は、話速についての評価得点の算出には、スピーチの冒頭の所定の時間(例えば30秒間、1分間、3分間等)に対応する話速評価情報のみを用いてもよい。これは、被訓練者T1は、スピーチの間、視野画像I1において表示される表示F2を確認することで、話速を調整することが可能であり、スピーチの間全てに渡っての話速評価情報を用いて評価得点の算出した場合、被訓練者T1の現状の話速について正しい評価ができない可能性があるためである。
パフォーマンス評価提示部25は、算出した評価得点を、表示装置13に表示させることにより提示する。パフォーマンス評価提示部25は、評価得点の項目毎に、評価得点に応じて、コメントを提示する。
音声メッセージ生成部27は、評価得点に応じて生成した音声メッセージを、音声出力装置14に出力させ、一連の処理を終了する。
なお、支援装置D1は、スピーチ開始(S102)からスピーチ終了(S107;YES)までの間、つまりパブリックスピーキングの訓練中において、発表会場の環境音を模した音声を所定の音量で音声出力装置14に出力させてもよい。ここで、環境音を模した音声とは、発表会場内のノイズ、聴衆の反応音(拍手、声)等である。被訓練者T1は、環境音を模した音声を聞きながら、環境音を模した音声が出力されない無音状態に比較して、体感上、より自然な状態で練習を行うことができる。
ここで、図9を用いて評価提示画面I4の説明を行う。
図9は、本実施形態の支援装置D1の評価提示画面I4の一例を示す図である。
評価提示画面I4においては、緊張度、話速、アイコンタクトの項目毎に、コメントが表示される。各コメントは、音声メッセージとして出力される。表示P5は、項目毎の評価得点を示すグラフである。
[まとめ]
上述した実施形態に係る支援装置D1によれば、被訓練者T1が次に見るべき位置として被訓練者T1が見ている位置とは異なる位置を表示できる。したがって、支援装置D1によれば、パブリックスピーキングの練習において、被訓練者が、次にどの方向を向けばよいか学習できる。
上述した実施形態に係る支援装置D1によれば、被訓練者T1が次に見るべき位置として、訓練者T1が見ている位置とは異なる位置の中からパブリックスピーキングの評価が高くなる位置を表示できる。したがって、支援装置D1によれば、パブリックスピーキングの練習において、被訓練者が、次にどの方向を向けばパブリックスピーキングの評価が高くなるか学習できる。
また、上述した実施形態に係る支援装置D1によれば、被訓練者T1が、次に見るべき位置を、次に見るべきでない位置と区別できる。このため、支援装置D1によれば、スピーチの練習において、被訓練者が、次にどの方向を向けばよいか視覚的に把握できる。
また、上述した実施形態に係る支援装置D1によれば、被訓練者T1のパブリックスピーキングに基づき、被訓練者T1は、自身のパブリックスピーキングの評価を知ることができる。このため、支援装置D1によれば、被訓練者T1は、自身のパブリックスピーキングの評価を、確認しながら学習できる。
また、上述した実施形態に係る支援装置D1によれば、被訓練者T1は、自身のパブリックスピーキングにおける話す速度についての評価を知ることができる。このため、支援装置D1によれば、パブリックスピーキングの練習において、被訓練者T1は、適切な話す速度を学習することができる。
また、上述した実施形態に係る支援装置D1によれば、被訓練者T1の話す速度を、音節を単位にして評価することができる。このため、支援装置D1によれば、パブリックスピーキングの練習において、被訓練者T1は、様々な言語で、適切な話す速度を学習することができる。
また、上述した実施形態に係る支援装置D1によれば、被訓練者T1は、自身のパブリックスピーキングにおける声量についての評価を知ることができる。このため、支援装置D1によれば、パブリックスピーキングの練習において、被訓練者T1は、適切な声量を学習することができる。
また、上述した実施形態に係る支援装置D1によれば、被訓練者T1は、自身のパブリックスピーキングにおける緊張度についての評価を知ることができる。このため、支援装置D1によれば、パブリックスピーキングの練習において、被訓練者T1は、適切な緊張度を学習することができる。
なお、本実施形態の支援装置D1のHMDは、バーチャルリアリティ(VR:Virtual Reality)の動画の表示に特化したHMDでもよいし、例えば、スマートフォンを、専用のゴーグルと組み合わせて構成してもよい。
なお、本実施形態においては、一例として、支援装置D1がHMDの形態を取る場合を説明したが、支援装置D1は、例えば、講演会場に設置されたディスプレイの形態を取ってもよい。また、支援装置D1は、例えば、タブレット端末など、表示装置を備えた端末を、被訓練者T1が手に持って使用する形態を取ってもよい。
また、本発明の一実施形態において、支援装置D1は、被訓練者T1の声量を評価してもよく、この場合、支援装置D1は、被訓練者T1の声量についての評価を示す情報である声量評価情報を、視野画像I1において例えばボリュームレベルを示す画像(図示せず)として表示する。具体的には、音声解析部20は、取得した音声を解析し、解析した結果から被訓練者T1の声量を示す情報である声量情報を生成する。音声解析部20は、生成した声量情報を、パフォーマンス評価部23に供給する。パフォーマンス評価部23は、音声解析部20から声量情報を取得する。パフォーマンス評価部23は、取得した声量情報に基づき、被訓練者T1の声量を評価し、評価した結果から、声量評価情報を生成する。パフォーマンス評価部23は、生成された声量評価情報を、パフォーマンス評価提示部25に供給する。パフォーマンス評価提示部25は、声量評価情報を表示装置13に表示させることにより提示する。
図10は、本実施形態のパブリックスピーキング支援装置の形態の一例を示す図である。
支援装置D2は、講演会場の天井に吊るされたディスプレイである。被訓練者T2の頭部の向きHD2は、3次元直交座標系x、y、zのx軸の正の向きである。頭部の向きHD2に相対する向きDD2は、3次元直交座標系x、y、zのx軸の負の向きである。支援装置D2は、3次元直交座標系X、Y、ZのX軸と直交する方向に、X軸の負の向きに設置されている。
図11は、本実施形態のパブリックスピーキング支援装置の形態の一例を示す図である。
支援装置D3は、タブレット端末であり、被訓練者T3が手に持って使用する。被訓練者T3の頭部の向きHD3は、3次元直交座標系x、y、zのx軸の正の向きである。頭部の向きHD3に相対する向きDD3は、3次元直交座標系x、y、zのx軸の負の向きである。
なお、支援装置D1は、画像S1を、例えば、視野画像I1上においてx軸と垂直に表示してもよい。その場合、支援装置D1は、画像S1を、例えば、視野画像I1上の会場の後方に表示する。
なお、本実施形態では、被訓練者T1の心拍を測定する場合について説明したが、心拍の代わりに、例えば、被訓練者T1の脈拍を測定してもよい。
(第2の実施形態)
以下、図面を参照しながら本発明の第2の実施形態について詳しく説明する。
第1の実施形態では、被訓練者T1が、支援装置D1を装着してパブリックスピーキングの練習を行う一例について説明した。第2の実施形態では、講演者が、支援装置を装着してパブリックスピーキングを実践し、支援装置が、パブリックスピーキングの最中に向く場所(アイコンタクトを取る聴衆)を、講演者に提示する一例について説明する。
図12は、本実施形態の支援装置D1aの概観の一例を示す図である。
支援装置D1aは、眼鏡型の表示装置であり、講演者T1aが装着して使用する。表示装置13aは、透過型モニターである。支援装置D1aは、パブリックスピーキングの最中に講演者T1aが向くべき視野画像上の位置を、視野画像に重ねて表示装置13aに表示させる。
図13は、本実施形態の支援装置D1aの機能構成の一例を示す図である。
本実施形態の支援装置D1aの構成(図13)と、第1の実施形態に係る支援装置D1の構成(図4)とでは、ヘッドマウントディスプレイ1と、眼鏡1aとが異なる。ヘッドマウントディスプレイ1と、眼鏡1aとでは、画像生成装置12の有無と、表示装置13aとが異なる。それ以外の構成は、第1の実施形態に係る支援装置D1と同様であるため説明を省略し、第2の実施形態では、第1の実施形態と異なる部分を中心に説明する。
支援装置D1aは、眼鏡1a、携帯端末2、生体センサ3を含んで構成される。眼鏡1a及び携帯端末2は、一体となって構成されてもよく、また一体となって構成されなくてもよい。
眼鏡1aは、音声記録装置10、動きセンサ11、表示装置13a、音声出力装置14を含んで構成される。
表示装置13aは、透過型モニターである。講演者T1aは、支援装置D1aを装着した状態において、自身の頭部の向きHD1aに対応した方向の風景を視認可能である。
支援装置D1aは、動作指標提示部26の提示するパネルPNと、パフォーマンス評価提示部25の提示する話速評価情報、及び心拍変動情報とを、講演者T1aの頭部の向きHD1aに対応した方向の風景に重ねて表示する。
なお、支援装置D1aは、ARの技術を用いて、講演者T1aの頭部の向きHD1aに対応した方向の風景にバーチャルオーディエンスを重ねて表示してもよい。
上述した実施形態に係る支援装置D1aによれば、パブリックスピーキングの実践中に、講演者T1aが次に見るべき位置を提示できる。したがって、支援装置D1によれば、パブリックスピーキングの実践中に、被訓練者が、次にどの方向を向けばよいか知ることができる。
以上の実施形態では、緊張度の評価が、被訓練者T1の心拍を測定して行われる場合について説明したが、緊張度の評価の方法はこれに限らない。緊張度の評価は、例えば、被訓練者T1のまばたきの回数、手汗の量、血圧、皮膚電気活動、唾液の量、及び顔色の変化などを測定して行われてもよい。これらの場合、生体センサは、例えば、各種のセンサを備えたウェアラブル端末である。
また、以上の本実施形態では、話速をパブリックスピーキングの評価に用いているが、話速は緊張度の評価にも用いてよい。話速が速いほど、緊張度は高いと評価される。話速は、例えば、スマートフォンを用いて測定されてよい。話速がスマートフォンを用いて測定される場合、カメラが不要であるという利点がある。
パブリックスピーキングの評価には、話速だけでなく発音の評価を含めてもよい。ここで発音の評価とは、例えば、英語などの外国語の発音の評価である。パブリックスピーキングの評価に発音の評価を含める場合、音声解析部20は、被訓練者T1の発音と理想的な発音とを比較した結果を示す発音情報を生成する。パフォーマンス評価部23は、音声解析部20が生成した発音情報に基づいて、被訓練者T1の発音の評価を行う。
また、以上の実施形態では、評価提示画面I4に被訓練者T1のスピーチの評価得点が提示される場合について説明したが、この評価得点は練習記録データとして保存されてよい。また、練習記録データには、音声記録装置10が記録したパブリックスピーキングの訓練中の被訓練者T1の音声を、音声データとして含めてよい。
練習記録データは、例えば、被訓練者T1が学生や受講者である場合、被訓練者T1の教員やトレーナーが参照し、被訓練者T1を指導する際に利用できる。練習記録データは、被訓練者T1の教員やトレーナーだけが参照できるようにされてよい。例えば、練習記録データは被訓練者T1の教員やトレーナーだけがアクセスすることのできるデータベースなどに転送されてよい。または、練習記録データは、被訓練者T1の教員やトレーナーだけが参照できるように暗号化されてもよい。
また、パブリックスピーキングの訓練中に被訓練者T1がつかえた箇所が、即時に通知されてよい。パブリックスピーキングの訓練中に被訓練者T1がつかえた箇所とは、例えば、スピーチのスクリプトと、被訓練者T1が発する言葉とが、タイミングまたは音声内容について、不一致となった箇所である。例えば、音声解析部20は、視野画像I1上における演台に表示されているスピーチの資料の画像S1内のスピーチのスクリプトと、被訓練者T1が発する言葉とが同期しているか否かを判定する。スピーチのスクリプトと、被訓練者T1が発する言葉とが同期しているか否かの判定基準は、時間のずれや音声のずれに基づいて設定されてよい。
音声解析部20が、画像S1内のスピーチのスクリプトと、被訓練者T1が発する言葉とが同期していないと判定した場合、音声解析部20は、判定結果を画像生成装置12に出力する。画像生成装置12は、音声解析部20が出力した判定結果に基づいて、被訓練者T1がつかえたことを示す画像やメッセージを含む視野画像I1を生成する。被訓練者T1は、スピーチの訓練中に、被訓練者T1がつかえたことを示す画像やメッセージを見ることにより、被訓練者T1がつかえた箇所を認識することができる。
また、予め設定されたスピーチのスクリプトに応じて、このスピーチのスクリプトの内容を話すのに理想的なスピーチの時間が算出されてもよい。理想的なスピーチの時間は、スピーチのスクリプトのページ毎や文毎に算出されてもよい。スピーチのスクリプトのページ毎や文毎に算出された理想的なスピーチの時間は、被訓練者T1がつかえた箇所の判定に用いられてもよい。算出された理想的なスピーチの時間は、視野画像I1上に表示されてよい。
また、以上の実施形態では、視野画像I1上に表示される仮想的な発表会場の風景の画像は、講義室の風景の画像となっている。仮想的な発表会場の風景の画像は、複数の種類の中から選択されてもよい。複数の種類の仮想的な発表会場の風景の画像とは、例えば、学会の風景の画像、結婚式会場の風景の画像などである。
また、以上の実施形態では、視野画像I1上に表示されるバーチャルオーディエンスのデザインは聴衆のデザインであるが、バーチャルオーディエンスのデザインは変更できるようにしてもよい。視野画像I1上に表示されるバーチャルオーディエンスのデザインは、例えば、外国人の聴衆や、年齢層が高い聴衆や、動物や、キャラクターなどのデザインに変更できるようにしてもよい。パブリックスピーキングの練習は繰り返し行うことが望ましいが、繰り返し行ううちに飽きてしまうことが多い。視野画像I1上に表示されるバーチャルオーディエンスのデザインを変更できるようにすることにより、被訓練者T1がパブリックスピーキングの練習に飽きにくくすることができる。
以上の実施形態では、視野画像I1上に、バーチャルオーディエンスが表示される場合について説明したが、バーチャルオーディエンスの代わりに、聴衆の身体の一部、例えば聴衆の目の画像が表示されてもよい。ここで、聴衆の目の画像とは、例えば、イラストの目の画像や、実写に近いCGの目の画像や、変形(デフォルメ)された目の画像が表示されてもよい。視野画像I1上に、聴衆の目の画像を表示する場合、聴衆の目の画像が、仮想的な発表会場の風景の画像に埋もれて認識しにくくならないように、聴衆の目の画像の周囲は、例えば半透明の肌色を用いて塗られてよい。
パブリックスピーキングの練習を実践さながらの状況において行いたい場合に、視野画像I1上にバーチャルオーディエンスの代わりに聴衆の目の画像を用いることは有効である。ここで、実践さながらの状況とは、被訓練者が聴衆の視線を感じて緊張感を覚える状況である。
視野画像I1上に仮想的な発表会場の風景の画像のみが表示される場合に比べ、視野画像I1上にバーチャルオーディエンスの代わりに聴衆の目の画像を用いる場合の方が、被訓練者がより緊張感を覚えることを示す実験結果が得られている。この実験では、問診によって得られる被訓練者の主観的な緊張度を、5段階尺度法により評価している。視野画像I1上に仮想的な発表会場の風景の画像のみが表示される場合の被訓練者の主観的な緊張度に対して、視野画像I1上にバーチャルオーディエンスの代わりに聴衆の目の画像を用いる場合の被訓練者の主観的な緊張度は、有意に大きくなることがFriedman検定により検証されている。
聴衆の目の画像の位置は、仮想的な発表会場の風景の画像の中の机やイスの位置や発表会場の形状に基づいて決められてよい。聴衆の目の画像の位置は、仮想的な発表会場の風景の画像の中の机やイスの位置や発表会場の形状とは関係なくランダムに配置してよい。
聴衆の目の画像は、動画像として、まばたきをする動きをしてもよい。聴衆の目の画像は、点滅してもよい。聴衆の目の画像のまばたきをする動きや点滅の回数は、設定により変更できるようにしてよい。また聴衆の目の画像のまばたきをする動きや点滅の回数は聴衆の関心度により設定を変更できるようにしてよい。この設定は、聴衆の目の画像のまばたきをする動きや点滅の、時間あたりの回数についての設定であってもよいし、1回のパブリックスピーキングの練習における回数についての設定であってもよい。この設定は、複数の聴衆の目の画像ごとに行われてよい。
聴衆の目の画像は、動画像として、目の輪郭内の黒目の位置を、被訓練者T1のスピーチの評価に応じて変化させてもよい。目の輪郭内の黒目の位置は、例えば、被訓練者T1のスピーチの評価が低い場合には聴衆の関心度が低いとして、被訓練者T1の方を見ていないようにしてよい。目の輪郭内の黒目の位置を被訓練者T1の方を見ていないようにするとは、例えば、目の輪郭内において黒目の位置を、目の輪郭内の中央以外に移動させることである。
また、聴衆の目の画像として、3つの点が逆三角形の頂点に配置された図形が表示されてもよい。3つの点が逆三角形の頂点に配置された図形は、3つの点が三角形の頂点に配置された図形に比べて、被訓練者T1はより緊張感をもってパブリックスピーキングの練習を行うことができる。3つの点が逆三角形の頂点に配置された図形は、逆三角形の上の2つの頂点に配置された点は黒色を用いて表示し、逆三角形の下の1つの頂点に配置された点は赤色を用いて表示されることができる。逆三角形の上の2つの頂点に配置された点は、被訓練者T1に目と認識され、逆三角形の下の1つの頂点に配置された点は、被訓練者T1に口と認識される。
視野画像I1上に、バーチャルオーディエンスの代わりに聴衆の目の画像を用いる場合、バーチャルオーディエンスを用いる場合に比べ、視野画像I1のデータ量を減らすことができる。また、視野画像I1上に、バーチャルオーディエンスの代わりに聴衆の目の画像を用いる場合、バーチャルオーディエンスを用いる場合に比べ、ヘッドマウントディスプレイ1の処理負荷を軽減することができる。また、バーチャルオーディエンスのバリエーションを増やす場合に比べ、データ量を急激に増加させることなく、聴衆の目の種類やまばたき回数、点滅回数などのバリエーションを増やすことができる。したがって、非訓練者T1に対して容易に聴衆の様々な反応を表示することができる。
第2の実施形態では、支援装置D1aは、ARの技術を用いて、講演者T1aの頭部の向きHD1aに対応した方向の風景にバーチャルオーディエンスを重ねて表示することができる。第2の実施形態では、支援装置D1aにおいて、実践さながらの状況を実現するためにバーチャルオーディエンスを実写映像にする場合、バーチャルオーディエンスの動画には、豊富な動きのパターンが要求される。そのため、バーチャルオーディエンスの代わりに聴衆の目の画像を用いる場合、視野画像I1のデータ量を減らすことができる。また、バーチャルオーディエンスの代わりに聴衆の目の画像を用いる場合、支援装置D1aの処理負荷を軽減することができる。
第2の実施形態の支援装置D1aでは、パブリックスピーキングの練習に際し聴衆が足りない場合に、足りない聴衆を聴衆の目の画像により補ってよい。第2の実施形態の支援装置D1aでは、パブリックスピーキングの練習に際し聴衆が足りない場合であっても、パブリックスピーキングの練習を実践さながらの状況において行うことができる。
(第3の実施形態)
以下、図面を参照しながら本発明の第3の実施形態について詳しく説明する。
第1の実施形態や第2の実施形態では、被訓練者や講演者が支援装置を装着して使用する場合について説明をしたが、第3の実施形態では、支援装置が端末装置として用いられる一例について説明する。
図14は、本実施形態の支援装置D1bの概観の一例を示す図である。訓練装置D1bとは、被訓練者が視野画像を見ながらパブリックスピーキングの訓練をするためのパブリックスピーキング支援装置である。支援装置D1bは端末装置2bとして用いられる。端末装置2bにはカメラ11bが備えられている。端末装置2bは、例えば、テレビ会議におけるプレゼンテーションの練習のための支援装置である。
端末装置2bの表示装置13bには、仮想的な発表会場の風景の画像とともに聴衆の目の画像が含まれる視野画像I5が表示される。ここで表示装置13bとは、ディスプレイである。端末装置2bを用いて、被訓練者は、聴衆の視線を感じて緊張感を覚えながらプレゼンテーションの練習をすることができる。
訓練者に装着された生体センサ3は、被訓練者の心拍を測定する。生体センサ3は、測定した心拍の値を示す情報を端末装置2bに供給する。生体センサ3は、例えば、近距離無線通信を用いて心拍の値を示す情報を端末装置2bに供給する。端末装置2bは、生体センサ3が供給する心拍の値を示す情報に基づいて、被訓練者の緊張度を評価する。表示装置13bは、端末装置2bが評価した緊張度を視野画像I5上に表示する。
図15は、本実施形態の支援装置D1bの機能構成の一例を示す図である。
本実施形態の支援装置D1bの構成(図15)と、第1の実施形態に係る訓練装置D1の構成(図4)とでは、ヘッドマウントディスプレイ1の有無が異なる。音声記録装置10bと、カメラ11bと、表示装置13bと、音声出力装置14bとは、ヘッドマウントディスプレイ1に備えられていない。また、携帯端末2(図4)と、端末装置2b(図15)とを比較すると、状態解析部22bと、パフォーマンス評価部23bと、スピーチパフォーマンス指標データベース24bと、パフォーマンス評価提示部25bと、画像生成部28bとが異なる。それ以外の構成は、第1の実施形態に係る支援装置D1と同様であるため説明を省略し、第3の実施形態では、第1の実施形態と異なる部分を中心に説明する。
端末装置2bは、音声解析部20と、状態解析部22bと、パフォーマンス評価部23bと、スピーチパフォーマンス指標データベース24bと、パフォーマンス評価提示部25bと、音声メッセージ生成部27と、画像生成部28bとを備える。
状態解析部22bは、表示装置13bに表示された視野画像I5が提示された被訓練者の状態を解析する。被訓練者の状態とは、例えば、聴衆の目の画像が含まれる視野画像I5が提示された被訓練者の緊張度である。
状態解析部22bは、生体センサ3が生成した被訓練者の心拍情報を取得する。状態解析部22bは、被訓練者の緊張度として、取得した心拍情報を解析する。また、状態解析部22bは、カメラ11bにより撮影された被訓練者の撮影画像を取得する。状態解析部22bは、被訓練者の緊張度として、取得した撮影画像から被訓練者のまばたきの回数を解析する。
状態解析部22bは、解析した被訓練者の状態から、被訓練者の状態を示す状態情報を生成する。状態解析部22bは、状態情報として、心拍変動情報、及びまばたき回数情報を生成する。状態解析部22bは、生成した状態情報をパフォーマンス評価部23bに供給する。
パフォーマンス評価部23bは、状態解析部22bが解析した被訓練者の状態と、スピーチパフォーマンス指標データベース24bに記憶されるパブリックスピーキング評価情報とに基づき、被訓練者によるパブリックスピーキングのパフォーマンスを評価する。ここで、本実施形態においてパブリックスピーキング評価情報とは、被訓練者の状態と、被訓練者の状態の評価とが対応づけられた情報である。被訓練者によるパブリックスピーキングのパフォーマンスとは、例えば、被訓練者の緊張度である。パフォーマンス評価部23bは、被訓練者の緊張度を示す緊張度評価情報を生成する。また、パフォーマンス評価部23bは、話速評価情報を生成する。
スピーチパフォーマンス指標データベース24bには、パブリックスピーキング評価情報が記憶される。
パフォーマンス評価提示部25bは、パフォーマンス評価部23bから緊張度評価情報と、話速評価情報とを取得する。パフォーマンス評価提示部25bは、取得した緊張度評価情報と、取得した話速評価情報を、画像生成部28bを通じて、表示装置13bに表示させることにより提示する。
画像生成部28bは、聴衆の目の画像が含まれる視野画像I5を生成する。画像生成部28bは、生成した視野画像I5を表示装置13bに供給する。
表示装置13bは、画像生成部28bから取得した視野画像I5を表示する。つまり、表示装置13bは、聴衆の目の画像が含まれる視野画像I5を表示する。
音声記録装置10bとは、例えば、端末装置2bに設けられるマイクである。音声出力装置14bとは、例えば、スピーカーである。
図16は、本実施形態の支援装置D1bの視野画像I5の一例を示す図である。視野画像I5には、仮想的な発表会場の風景の画像に重ねて、聴衆の目の画像である目画像E1〜目画像E8と、緊張度評価情報を示す画像F1bと、話速評価情報を示す画像F2bとが表示されている。目画像E1〜目画像E8は、実写に近いCGの目の画像である。目画像E1〜目画像E8において、目の画像の周囲は、半透明の肌色を用いて塗られている。目画像E1〜目画像E8のうち目画像E5以外は、目が開かれた状態の画像である。目画像E1〜目画像E8のうち目画像E5は、目が閉じられた状態の画像である。
被訓練者は、目画像E1〜目画像E8が表示されているだけで、聴衆の視線を感じて緊張感を覚えながらプレゼンテーションの練習をすることができる。バーチャルオーディエンスを表示する場合に比べて、目画像E1〜目画像E8を表示した場合の方が、支援装置D1bの負荷は軽減される。支援装置D1bによれば、パブリックスピーキングの練習において、実践さながらの状況を再現する場合に機器にかかる負担を軽減することができる。
図17は、本実施形態の支援装置D1bの視野画像I6の一例を示す図である。視野画像I6は、視野画像I5における実写に近いCGの目の画像である目画像E1〜目画像E8の代わりに、イラストの目の画像である目画像A1〜目画像A8が表示されている。
被訓練者は、イラストの目の画像である目画像A1〜目画像A8が表示されているだけで、聴衆の視線を感じて緊張感を覚えながらプレゼンテーションの練習をすることができる。
[まとめ]
上述した実施形態に係る支援装置D1bによれば、パブリックスピーキングの練習において、実践さながらの状況を再現する場合に機器にかかる負担を軽減することができる。
なお、支援装置D1bは、テレビ会議におけるプレゼンテーションの実践において用いられてもよい。支援装置D1bがテレビ会議におけるプレゼンテーションの実践において用いられる場合、視野画像において聴衆の目の画像は表示されず、緊張度評価情報を示す画像と、話速評価情報を示す画像と被訓練者T1cが次に見るべき位置とが表示される。
図18は、本実施形態の訓練装置D1cの概観の形態の一例を示す図である。訓練装置D1cは、一例としてHMDである。被訓練者T1cは、聴衆の視線を感じて緊張感を覚えながらプレゼンテーションの練習をすることができる。
以上、本発明の実施形態を、図面を参照して詳述してきたが、具体的な構成はこの実施形態に限られるものではなく、本発明の趣旨を逸脱しない範囲で適宜変更を加えることができる。上述した各実施形態に記載の構成を組み合わせてもよい。
なお、上記の実施形態における各装置が備える各部は、専用のハードウェアにより実現されるものであってもよく、また、メモリおよびマイクロプロセッサにより実現させるものであってもよい。
なお、各装置が備える各部は、メモリおよびCPU(中央演算装置)により構成され、各装置が備える各部の機能を実現するためのプログラムをメモリにロードして実行することによりその機能を実現させるものであってもよい。
また、各装置が備える各部の機能を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することにより、制御部が備える各部による処理を行ってもよい。
なお、ここでいう「コンピュータシステム」とは、OSや周辺機器等のハードウェアを含むものとする。
また、「コンピュータシステム」は、WWWシステムを利用している場合であれば、ホームページ提供環境(あるいは表示環境)も含むものとする。
また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ROM、CD−ROM等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムを送信する場合の通信線のように、短時間の間、動的にプログラムを保持するもの、その場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリのように、一定時間プログラムを保持しているものも含むものとする。また上記プログラムは、前述した機能の一部を実現するためのものであってもよく、さらに前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるものであってもよい。
1…ヘッドマウントディスプレイ、2…携帯端末、3…生体センサ、10、10b…音声記録装置、11…動きセンサ、11b…カメラ、12…画像生成装置、13、13b…表示装置、14、14b…音声出力装置、20…音声解析部、21…頭部動作解析部、22…心拍変動解析部、22b…状態解析部、23、23b…パフォーマンス評価部、24、24b…スピーチパフォーマンス指標データベース、25、25b…パフォーマンス評価提示部、26…動作指標提示部、27…音声メッセージ生成部、28b…画像生成部、D1、D2、D3、D1a、D1b…支援装置、T1、T2、T3、T1c…被訓練者、T1a…講演者、HD1、HD2、HD3、HD1a…頭部の向き、DD1、DD2、DD3、DD1a…頭部の向きに相対する向き、E1、E2、E3、E4、E5、E6、E7、E8、A1、A2、A3、A4、A5、A6、A7、A8…目画像

Claims (12)

  1. 被訓練者の頭部の向きを検出する検出部と、
    前記検出部により検出された頭部の向きに対応した方向の視野画像を、当該頭部の向きに相対する向きにして表示する表示部と、
    前記検出部により検出された頭部の向きを示す前記視野画像上の位置とは異なる前記視野画像上の位置を前記表示部に表示させることにより、前記検出部により検出された頭部の向きとは異なる頭部の向きを提示する動作指標提示部と、
    を備えるパブリックスピーキング支援装置。
  2. 前記検出部の検出した頭部の向きを解析し、解析した結果から当該頭部の向きを示す前記視野画像上の位置を示す情報である頭部動作情報を生成する頭部動作解析部と、
    頭部の動きと、頭部の動きの評価とが対応づけられた情報であるパブリックスピーキング評価情報が記憶される記憶部と、
    前記頭部動作解析部が生成した頭部動作情報と、前記記憶部に記憶されるパブリックスピーキング評価情報とに基づき、前記頭部の動きを評価し、評価した結果から、前記頭部動作情報の示す位置とは異なる前記視野画像上の位置を示す情報である頭部動作指示情報を生成するパフォーマンス評価部と、
    をさらに備え、
    前記動作指標提示部は、前記頭部動作指示情報の示す前記視野画像上の位置を前記表示部に表示させることにより、前記検出部により検出された頭部の向きとは異なる頭部の向きを提示する
    請求項1に記載のパブリックスピーキング支援装置。
  3. 前記動作指標提示部は、前記頭部動作情報の示す位置と、前記頭部動作指示情報の示す位置とを、互いに区別可能な態様で前記表示部に表示させる
    請求項2に記載のパブリックスピーキング支援装置。
  4. パフォーマンス評価提示部をさらに備え
    前記パフォーマンス評価提示部は、前記頭部動作情報と、前記パブリックスピーキング評価情報とに基づき、前記被訓練者のパブリックスピーキングの評価を示す情報であるパブリックスピーキング評価情報を生成し、生成したパブリックスピーキング評価情報を前記表示部に表示させることにより、前記パブリックスピーキングの評価を提示する
    請求項2または請求項3に記載のパブリックスピーキング支援装置。
  5. 前記被訓練者の音声を記録する音声記録部と、
    前記音声記録部が記録した音声を解析し、解析した結果から前記被訓練者の話す速度を示す情報である話速情報を生成する音声解析部と、
    をさらに備え、
    前記記憶部に記憶されるパブリックスピーキング評価情報は、前記話速情報と、パブリックスピーキングの評価とが対応づけられた情報をさらに含み、
    前記パフォーマンス評価提示部は、前記話速情報と、前記パブリックスピーキング評価情報とに基づきパブリックスピーキング評価情報を生成し、生成したパブリックスピーキング評価情報を前記表示部に表示させることにより、前記パブリックスピーキングの評価を提示する
    請求項4に記載のパブリックスピーキング支援装置。
  6. 前記音声解析部は、音節を単位にして前記話速情報を生成する請求項5に記載のパブリックスピーキング支援装置。
  7. 前記音声解析部は、前記音声記録部が記録した音声を解析し、解析した結果から前記被訓練者の声量を示す情報である声量情報を生成し、
    前記記憶部に記憶されるパブリックスピーキング評価情報は、前記声量情報と、パブリックスピーキングの評価とが対応づけられた情報をさらに含み、
    前記パフォーマンス評価提示部は、前記声量情報と、前記パブリックスピーキング評価情報とに基づきパブリックスピーキング評価情報を生成し、生成したパブリックスピーキング評価情報を前記表示部に表示させることにより、前記パブリックスピーキングの評価を提示する
    請求項5または請求項6に記載のパブリックスピーキング支援装置。
  8. 前記被訓練者の心拍の値を示す心拍情報を生成する心拍情報生成部と、
    前記心拍情報生成部の生成した心拍情報を解析し、解析した結果から前記被訓練者の心拍の変動を示す情報である心拍変動情報を生成する心拍変動解析部と、
    をさらに備え、
    前記記憶部に記憶されるパブリックスピーキング評価情報は、前記心拍変動情報と、パブリックスピーキングの評価とが対応づけられた情報をさらに含み、
    前記パフォーマンス評価提示部は、前記心拍変動情報と、前記パブリックスピーキング評価情報とに基づきパブリックスピーキング評価情報を生成し、生成したパブリックスピーキング評価情報を前記表示部に表示させることにより、前記パブリックスピーキングの評価を提示する
    請求項4から請求項7のいずれか一項に記載のパブリックスピーキング支援装置。
  9. 前記表示部とは、透過型の表示部である
    請求項1から請求項8のいずれか一項に記載のパブリックスピーキング支援装置。
  10. 前記視野画像は、聴衆の目の画像が含まれる
    請求項1から請求項9のいずれか一項に記載のパブリックスピーキング支援装置。
  11. コンピュータに、
    被訓練者の頭部の向きを検出する検出ステップと、
    前記検出ステップにより検出された頭部の向きに対応した方向の視野画像を、当該頭部の向きに相対する向きにして表示部に表示する表示ステップと、
    前記検出ステップにより検出された頭部の向きを示す前記視野画像上の位置とは異なる向きを示す前記視野画像上の位置を前記表示部に表示させることにより、前記検出ステップにより検出された頭部の向きとは異なる頭部の向きを提示する動作指標提示ステップと、
    を実行させるためのプログラム。
  12. 被訓練者が視野画像を見ながらパブリックスピーキングの訓練をするためのパブリックスピーキング支援装置であって、
    被訓練者の状態と、被訓練者の状態の評価とが対応づけられた情報であるパブリックスピーキング評価情報が記憶される記憶部と、
    聴衆の目の画像が含まれる前記視野画像を表示する表示部と、
    前記表示部に表示された前記視野画像が提示された前記被訓練者の状態を解析する状態解析部と、
    前記状態解析部が解析した前記被訓練者の状態と、前記記憶部に記憶される前記パブリックスピーキング評価情報とに基づき、前記被訓練者によるパブリックスピーキングのパフォーマンスを評価するパフォーマンス評価部と、
    を備えるパブリックスピーキング支援装置。
JP2017185257A 2017-04-10 2017-09-26 パブリックスピーキング支援装置、及びプログラム Active JP7066115B2 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2017077706 2017-04-10
JP2017077706 2017-04-10

Publications (2)

Publication Number Publication Date
JP2018180503A true JP2018180503A (ja) 2018-11-15
JP7066115B2 JP7066115B2 (ja) 2022-05-13

Family

ID=64276506

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2017185257A Active JP7066115B2 (ja) 2017-04-10 2017-09-26 パブリックスピーキング支援装置、及びプログラム

Country Status (1)

Country Link
JP (1) JP7066115B2 (ja)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020148919A1 (ja) * 2019-01-17 2020-07-23 オムロン株式会社 情報処理装置、提示システム、及び情報処理プログラム
JP2020110561A (ja) * 2019-01-07 2020-07-27 株式会社mediVR リハビリテーション支援装置、リハビリテーション支援システム、リハビリテーション支援方法およびリハビリテーション支援プログラム
JP2020110209A (ja) * 2019-01-07 2020-07-27 株式会社mediVR リハビリテーション支援装置、リハビリテーション支援システム、リハビリテーション支援方法およびリハビリテーション支援プログラム

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008139762A (ja) * 2006-12-05 2008-06-19 Univ Of Tokyo プレゼンテーション支援装置および方法並びにプログラム
WO2015114824A1 (ja) * 2014-02-03 2015-08-06 株式会社日立製作所 発話訓練システム及び発話訓練方法
US20160049094A1 (en) * 2014-08-13 2016-02-18 Pitchvantage Llc Public Speaking Trainer With 3-D Simulation and Real-Time Feedback
JP2017068689A (ja) * 2015-09-30 2017-04-06 富士通株式会社 視野誘導方法、視野誘導プログラム、及び視野誘導装置

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008139762A (ja) * 2006-12-05 2008-06-19 Univ Of Tokyo プレゼンテーション支援装置および方法並びにプログラム
WO2015114824A1 (ja) * 2014-02-03 2015-08-06 株式会社日立製作所 発話訓練システム及び発話訓練方法
US20160049094A1 (en) * 2014-08-13 2016-02-18 Pitchvantage Llc Public Speaking Trainer With 3-D Simulation and Real-Time Feedback
JP2017068689A (ja) * 2015-09-30 2017-04-06 富士通株式会社 視野誘導方法、視野誘導プログラム、及び視野誘導装置

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
田中一也: "全観客キャラクタが講演者発話にうなずく没入型講演体験システムの開発", 第79回(平成29年)全国大会講演論文集(4), JPN6021022073, 16 March 2017 (2017-03-16), pages 4 - 187, ISSN: 0004525388 *

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2020110561A (ja) * 2019-01-07 2020-07-27 株式会社mediVR リハビリテーション支援装置、リハビリテーション支援システム、リハビリテーション支援方法およびリハビリテーション支援プログラム
JP2020110209A (ja) * 2019-01-07 2020-07-27 株式会社mediVR リハビリテーション支援装置、リハビリテーション支援システム、リハビリテーション支援方法およびリハビリテーション支援プログラム
JP7385238B2 (ja) 2019-01-07 2023-11-22 株式会社mediVR リハビリテーション支援装置、リハビリテーション支援方法及びリハビリテーション支援プログラム
WO2020148919A1 (ja) * 2019-01-17 2020-07-23 オムロン株式会社 情報処理装置、提示システム、及び情報処理プログラム

Also Published As

Publication number Publication date
JP7066115B2 (ja) 2022-05-13

Similar Documents

Publication Publication Date Title
US11798431B2 (en) Public speaking trainer with 3-D simulation and real-time feedback
US10120413B2 (en) System and method for enhanced training using a virtual reality environment and bio-signal data
CN110349667B (zh) 结合调查问卷及多模态范式行为数据分析的孤独症评估系统
CN111936036A (zh) 使用生物特征传感器数据检测神经状态来指导现场娱乐
US20050255434A1 (en) Interactive virtual characters for training including medical diagnosis training
US20190130788A1 (en) Virtual Reality Microsimulation Platform
KR20130098770A (ko) 입체감 확장형 가상 스포츠 체험 시스템
US11397467B1 (en) Tactile simulation of initial contact with virtual objects
US10831267B1 (en) Systems and methods for virtually tagging objects viewed by friends and influencers
JP7082384B1 (ja) 学習システム及び学習方法
US20200184843A1 (en) Information processing apparatus, information processing method, and computer program
JP7066115B2 (ja) パブリックスピーキング支援装置、及びプログラム
Vermun et al. Gesture-based affective and cognitive states recognition using kinect for effective feedback during e-learning
CN106618610B (zh) 一种面向害羞儿童社会技能训练的头戴终端系统
KR20190048144A (ko) 발표 및 면접 훈련을 위한 증강현실 시스템
KR102122021B1 (ko) 가상현실을 이용한 인지 개선 장치 및 방법
KR20180076797A (ko) 뇌전도 신호와 가상현실을 이용한 학습 보조 장치 및 그 방법
Johnsen et al. An evaluation of immersive displays for virtual human experiences
JP2019200257A (ja) 学習支援システム及びプログラム
US10983591B1 (en) Eye rank
D. Gomez et al. See ColOr: an extended sensory substitution device for the visually impaired
US20230128024A1 (en) Automated virtual (ar/vr) education content adjustment based on gaze and learner attention tracking
Eden Technology Makes Things Possible
Ahmed et al. InterViewR: A mixed-reality based interview training simulation platform for individuals with autism
Mirzaei et al. Head Up visualization of spatial sound sources in virtual reality for deaf and hard-of-hearing people

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20171116

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20200729

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20210531

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20210615

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20210811

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20211014

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20220315

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20220413

R150 Certificate of patent or registration of utility model

Ref document number: 7066115

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150