JP2020190579A - プレゼンテーションを評価するシステム、方法、学習済みモデル及びプログラム、情報処理装置並びに端末装置 - Google Patents
プレゼンテーションを評価するシステム、方法、学習済みモデル及びプログラム、情報処理装置並びに端末装置 Download PDFInfo
- Publication number
- JP2020190579A JP2020190579A JP2019094014A JP2019094014A JP2020190579A JP 2020190579 A JP2020190579 A JP 2020190579A JP 2019094014 A JP2019094014 A JP 2019094014A JP 2019094014 A JP2019094014 A JP 2019094014A JP 2020190579 A JP2020190579 A JP 2020190579A
- Authority
- JP
- Japan
- Prior art keywords
- feature amount
- presentation
- data
- analysis
- analysis result
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Landscapes
- Image Analysis (AREA)
Abstract
Description
ここで、前記確認する品質は、前記音声データの音圧が所定の範囲にあること、前記音声データにおける雑音の大きさが閾値以下であること、前記動画データにおける画像に前記動作特徴量の抽出に用いる座標を取得する前記対象者の身体部が含まれていること、及び、前記対象者の正面方向に対する動画の撮像方向の画角が所定の角度範囲内にあること、の少なくとも一つについての品質であってもよい。
また、前記データ取得部で取得した前記音声データ及び前記動画データが所定の品質を有していないとき、前記音声データ及び前記動画データの取得に関する助言メッセージを出力するデータ取得助言出力部を更に備えてもよい。
前記推論部において、前記言語特徴量、前記韻律特徴量及び前記動作特徴量はそれぞれ複数種類の特徴量を含み、前記推論部で用いる前記解析モデルは、前記複数種類の特徴量のうち前記音声データ及び前記動画データからパターン化して抽出する処理に所定の時間以上を要する特徴量を前記入力として用いない解析モデルであってもよい。
前記推論部は、前記アルゴリズムが互いに異なる複数種類の解析モデルを前記解析に使用してもよい。
前記推論部は、前記アルゴリズムが互いに異なる複数種類の解析モデルを有し、前記複数種類の解析モデルから選択した解析モデルを前記解析に使用してもよい。
前記推論部は、前記言語特徴量、前記韻律特徴量及び前記動作特徴量の少なくとも一つに基づいて、前記複数種類の解析モデルから前記解析に使用する解析モデルを選択してもよい。
前記推論部は、前記プレゼンテーションの対象者の属性及び前記プレゼンテーションの種類の少なくとも一方に基づいて、前記複数種類の解析モデルから前記解析に使用する解析モデルを選択してもよい。
前記解析モデルは、複数のプレゼンテーションについて取得した前記言語特徴量、前記韻律特徴量及び前記動作特徴量と前記評価値の正解データとを含む教師あり学習データを用いて機械学習して作成された学習済みモデルであってもよい。
また、前記システム、前記学習済みモデル、前記方法、前記端末装置、前記情報処理装置及び前記プログラムにおいて、前記取得するデータは、前記プレゼンテーションを行っている対象者について測定した赤外線センサ、心拍センサ等の各種センサで検知した検知データを含み、前記解析に用いる特徴量は、前記検知データから抽出した体温、心拍数などを含んでもよい。 また、前記システム、前記学習済みモデル、前記方法、前記端末装置、前記情報処理装置及び前記プログラムにおいて、前記出力又は前記送信の対象には、過去の評価値を含む解析結果と最新の評価値を含む解析結果を同時に含んでもよいし、過去の評価値を含む解析結果と最新の評価値の差分を含んでもよい。
図1は、本実施形態に係るシステムにおけるプレゼンテーション評価の概要の一例を示す説明図である。本実施形態のプレゼンテーション評価は、評価対象者がプレゼンテーションを行っているときの音声及び動画のデータから抽出した韻律特徴量、言語特徴量及び動作特徴量を含むマルチモーダルな特徴量から、当該プレゼンテーションの多角的な視点からの定量的な評価値の算出など行うものである。本実施形態のシステムは、プレゼンテーション評価システムとして用いてもよいし、プレゼンテーション能力推定システムとして用いてもよい。
(1)特に「強調」は充分に発揮できています。
(2)特に「強調」は意識して臨んでください。
(3)視線が宙に浮いているためアイコンタクトは無し。時折ジェスチュアは自然に出ているが、左右に揺れる癖がある。笑顔は終始出ている。
(4)声量があって聞こえやすい。時折抑揚はついているが、間が無い。ジェスチュアは自然に出ているが、話しの中身と合わないジェスチュアが時折出る。
20 :端末装置
21 :表示画面
30 :情報処理装置
40 :ユーザ
100 :骨格検出像
101〜119 :検出点
201 :データ取得部
202 :データ確認部
203 :データ取得助言表示部
204 :データ送信部
205 :解析結果受信部
206 :解析結果表示部
211 :定量的評価表示部
212 :定性的評価表示部
301 :データ受信部
302 :特徴量抽出部
303 :解析モデル判定部
304 :推論部
305 :解析モデルDB
306 :解析結果送信部
321 :音声解析部
322 :言語解析部
323 :動作解析部
3211 :文字起こし部
3212 :韻律解析部
Claims (21)
- プレゼンテーションを評価するシステムであって、
プレゼンテーションを行っている対象者の音声データ及び動画データを取得するデータ取得部と、
前記音声データから前記プレゼンテーションの言語特徴量及び韻律特徴量を抽出し、前記動画データから前記プレゼンテーションを行っているときの前記対象者の動作特徴量を抽出する特徴量抽出部と、
前記言語特徴量と前記韻律特徴量と前記動作特徴量とを解析して前記プレゼンテーションの所定の評価項目について定量的に評価した評価値を含む解析結果を推定する推論部と、
前記解析結果を出力する解析結果出力部と、を備えることを特徴とするシステム。 - 請求項1のシステムにおいて、
前記データ取得部で取得した前記音声データ及び前記動画データが所定の品質を有しているか否かを確認するデータ確認部を更に備え、
前記所定の品質を有する音声データ及び動画データを、前記言語特徴量、前記韻律特徴量及び前記動作特徴量の抽出に用い、前記所定の品質を有しない音声データ及び動画データを、前記言語特徴量、前記韻律特徴量及び前記動作特徴量の抽出に用いない、ことを特徴とするシステム。 - 請求項2のシステムにおいて、
前記確認する品質は、前記音声データの音圧が所定の範囲にあること、前記音声データにおける雑音の大きさが閾値以下であること、前記動画データにおける画像に前記動作特徴量の抽出に用いる座標を取得する前記対象者の身体部が含まれていること、及び、前記対象者の正面方向に対する動画撮像方向の画角が所定の角度範囲内にあること、の少なくとも一つについての品質である、ことを特徴とするシステム。 - 請求項2又は3のシステムにおいて、
前記データ取得部で取得した前記音声データ及び前記動画データが所定の品質を有していないとき、前記音声データ及び前記動画データの取得に関する助言メッセージを出力するデータ取得助言出力部を更に備えることを特徴とするシステム。 - 請求項1乃至4のいずれかのシステムにおいて、
前記推論部は、前記言語特徴量、前記韻律特徴量及び前記動作特徴量を含む入力を所定のアルゴリズムで処理することにより前記定量的な評価値を含む解析結果を出力する解析モデルを用いる、ことを特徴とするシステム。 - 請求項5のシステムにおいて、
前記言語特徴量、前記韻律特徴量及び前記動作特徴量はそれぞれ複数種類の特徴量を含み、
前記推論部で用いる前記解析モデルは、前記複数種類の特徴量のうち前記音声データ及び前記動画データからパターン化して抽出する処理に所定の時間以上を要する特徴量を前記入力として用いない解析モデルである、ことを特徴とするシステム。 - 請求項5又は6のシステムにおいて、
前記推論部は、前記アルゴリズムが互いに異なる複数種類の解析モデルを前記解析に使用することを特徴とするシステム。 - 請求項5又は6のシステムにおいて、
前記推論部は、前記アルゴリズムが互いに異なる複数種類の解析モデルを有し、前記複数種類の解析モデルから選択した解析モデルを前記解析に使用する、ことを特徴とするシステム。 - 請求項8のシステムにおいて、
前記推論部は、前記言語特徴量、前記韻律特徴量及び前記動作特徴量の少なくとも一つに基づいて、前記複数種類の解析モデルから前記解析に使用する解析モデルを選択する、ことを特徴とするシステム。 - 請求項8又は9のシステムにおいて、
前記推論部は、前記プレゼンテーションの対象者の属性及び前記プレゼンテーションの種類の少なくとも一方に基づいて、前記複数種類の解析モデルから前記解析に使用する解析モデルを選択する、ことを特徴とするシステム。 - 請求項5乃至10のいずれかのシステムにおいて、
前記解析モデルは、複数のプレゼンテーションについて取得した前記言語特徴量、前記韻律特徴量及び前記動作特徴量と前記評価値の正解データとを含む教師あり学習データを用いて機械学習して作成された学習済みモデルである、ことを特徴とするシステム。 - 請求項1乃至11のいずれかのシステムにおいて、
前記言語特徴量は、前記プレゼンテーションの全文におけるフィラー数、名詞数、動詞数、感動詞、動詞繰り返し数及び名詞繰り返し数の少なくとも一つに関する特徴量を含み、
前記韻律特徴量は、前記プレゼンテーションの音声におけるピッチ、インテンシティ、音圧、抑揚、話速、発話長、無音長及び発話比の少なくとも一つに関する特徴量を含み、
前記動作特徴量は、前記プレゼンテーションの全体における前記対象者の身体各部の動作量及び発話中における前記対象者の身体各部の動作量の少なくとも一つに関する特徴量を含む、ことを特徴とするシステム。 - 請求項1乃至12のいずれかのシステムにおいて、
前記評価項目は、前記プレゼンテーションの目的網羅性、内容の論理性、見え方及び聞こえ方、並びに、効果的演出要素を含む、ことを特徴とするシステム。 - 請求項1乃至13のいずれかのシステムにおいて、
前記推論部は、前記プレゼンテーションに対するコメントの候補となる複数のコメントデータを記憶し、前記評価値と前記評価値を推定したときの決定係数とに基づいて、前記複数のコメントデータから一または複数のコメントデータを選択し、前記選択したコメントデータを用いて生成したコメントを前記解析結果に含める、ことを特徴とするシステム。 - 請求項1乃至14のいずれかのシステムにおいて、
通信網を介して互いに通信可能な端末装置と情報処理装置とを備え、
前記端末装置は、前記データ取得部と、前記情報処理装置に前記音声データ及び前記動画データを送信するデータ送信部と、前記情報処理装置から前記解析結果を受信する解析結果受信部と、前記解析結果出力部と、を有し、
前記情報処理装置は、前記端末装置から前記音声データ及び前記動画データを受信するデータ受信部と、前記特徴量抽出部と、前記推論部と、前記端末装置に前記解析結果を送信する解析結果送信部と、を有することを特徴とするシステム。 - プレゼンテーションを評価するようにコンピュータ又はプロセッサを機能させるための学習済みモデルであって、
複数のプレゼンテーションについて取得した対象者の音声データ及び動画データに基づいて抽出した言語特徴量、韻律特徴量及び動作特徴量と前記プレゼンテーションの所定の評価項目について定量的に評価した評価値の正解データと含む教師あり学習データを用いて機械学習して作成され、
評価対象のプレゼンテーションについて取得した対象者の音声データ及び動画データに基づいて抽出した言語特徴量、韻律特徴量及び動作特徴量を含む入力があったときに、前記プレゼンテーションの所定の評価項目について定量的に評価した評価値を出力する、ことを特徴とする学習済みモデル。 - プレゼンテーションを評価する方法であって、
プレゼンテーションを行っている対象者の音声データ及び動画データを取得することと、
前記音声データから前記プレゼンテーションの言語特徴量及び韻律特徴量を抽出し、前記動画データから前記プレゼンテーションを行っているときの前記対象者の動作特徴量を抽出することと、
前記言語特徴量と前記韻律特徴量と前記動作特徴量とを解析して前記プレゼンテーションの所定の評価項目について定量的に評価した評価値を含む解析結果を推定することと、
前記解析結果を出力することと、を含むことを特徴とする方法。 - 通信網を介して情報処理装置と通信可能な端末装置であって、
プレゼンテーションを行っている対象者の音声データ及び動画データを取得するデータ取得部と、
前記情報処理装置に前記音声データ及び前記動画データを送信するデータ送信部と、
前記音声データ及び前記動画データに基づいて前記プレゼンテーションの所定の評価項目について定量的に評価した評価値を含む解析結果を、前記情報処理装置から受信する解析結果受信部と、
前記解析結果を出力する解析結果出力部と、を備えることを特徴とする端末装置。 - 通信網を介して端末装置と通信可能な情報処理装置であって、
プレゼンテーションを行っている対象者の音声データ及び動画データを前記端末装置から受信するデータ受信部と、
前記音声データから前記プレゼンテーションの言語特徴量及び韻律特徴量を抽出し、前記動画データから前記プレゼンテーションを行っているときの前記対象者の動作特徴量を抽出する特徴量抽出部と、
前記言語特徴量と前記韻律特徴量と前記動作特徴量とを解析して前記プレゼンテーションの所定の評価項目について定量的に評価した評価値を含む解析結果を推定する推論部と、
前記端末装置に前記解析結果を送信する解析結果送信部と、を備えることを特徴とする情報処理装置。 - 通信網を介して情報処理装置と通信可能な端末装置に備えるコンピュータ又はプロセッサにおいて実行されるプログラムであって、
プレゼンテーションを行っている対象者の音声データ及び動画データを取得するためのプログラムコードと、
前記情報処理装置に前記音声データ及び前記動画データを送信するためのプログラムコードと、
前記音声データ及び前記動画データに基づいて前記プレゼンテーションの所定の評価項目について定量的に評価した評価値を含む解析結果を、前記情報処理装置から受信するためのプログラムコードと、
前記解析結果を出力するためのプログラムコードと、を含むことを特徴とするプログラム。 - 通信網を介して端末装置と通信可能な情報処理装置に備えるコンピュータ又はプロセッサにおいて実行されるプログラムであって、
プレゼンテーションを行っている対象者の音声データ及び動画データを前記端末装置から受信するためのプログラムコードと、
前記音声データから前記プレゼンテーションの言語特徴量及び韻律特徴量を抽出し、前記動画データから前記プレゼンテーションを行っているときの前記対象者の動作特徴量を抽出するためのプログラムコードと、
前記言語特徴量と前記韻律特徴量と前記動作特徴量とを解析して前記プレゼンテーションの所定の評価項目について定量的に評価した評価値を含む解析結果を推定するためのプログラムコードと、
前記端末装置に前記解析結果を送信するためのプログラムコードと、を含むことを特徴とするプログラム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2019094014A JP7123856B2 (ja) | 2019-05-17 | 2019-05-17 | プレゼンテーションを評価するシステム、方法、学習済みモデル及びプログラム、情報処理装置並びに端末装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2019094014A JP7123856B2 (ja) | 2019-05-17 | 2019-05-17 | プレゼンテーションを評価するシステム、方法、学習済みモデル及びプログラム、情報処理装置並びに端末装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2020190579A true JP2020190579A (ja) | 2020-11-26 |
JP7123856B2 JP7123856B2 (ja) | 2022-08-23 |
Family
ID=73454061
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2019094014A Active JP7123856B2 (ja) | 2019-05-17 | 2019-05-17 | プレゼンテーションを評価するシステム、方法、学習済みモデル及びプログラム、情報処理装置並びに端末装置 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP7123856B2 (ja) |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP7049010B1 (ja) | 2021-03-02 | 2022-04-06 | 株式会社インタラクティブソリューションズ | プレゼンテーション評価システム |
CN116681355A (zh) * | 2023-07-21 | 2023-09-01 | 苏州今创互联网科技有限公司 | 一种信息科技多媒体展示台管理系统 |
CN116701923A (zh) * | 2022-10-13 | 2023-09-05 | 荣耀终端有限公司 | 算子性能的评估方法和评估装置 |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2011217052A (ja) * | 2010-03-31 | 2011-10-27 | Ntt Docomo Inc | 端末装置、番組特定システム、番組特定方法及びプログラム |
JP2012255866A (ja) * | 2011-06-08 | 2012-12-27 | Konica Minolta Business Technologies Inc | プレゼンテーションコーチシステム |
JP2015068897A (ja) * | 2013-09-27 | 2015-04-13 | 国立大学法人 東京大学 | 発話の評価方法及び装置、発話を評価するためのコンピュータプログラム |
US20160049094A1 (en) * | 2014-08-13 | 2016-02-18 | Pitchvantage Llc | Public Speaking Trainer With 3-D Simulation and Real-Time Feedback |
JP2018004813A (ja) * | 2016-06-29 | 2018-01-11 | 学校法人成蹊学園 | コミュニケーション能力推定装置、方法およびプログラム |
-
2019
- 2019-05-17 JP JP2019094014A patent/JP7123856B2/ja active Active
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2011217052A (ja) * | 2010-03-31 | 2011-10-27 | Ntt Docomo Inc | 端末装置、番組特定システム、番組特定方法及びプログラム |
JP2012255866A (ja) * | 2011-06-08 | 2012-12-27 | Konica Minolta Business Technologies Inc | プレゼンテーションコーチシステム |
JP2015068897A (ja) * | 2013-09-27 | 2015-04-13 | 国立大学法人 東京大学 | 発話の評価方法及び装置、発話を評価するためのコンピュータプログラム |
US20160049094A1 (en) * | 2014-08-13 | 2016-02-18 | Pitchvantage Llc | Public Speaking Trainer With 3-D Simulation and Real-Time Feedback |
JP2018004813A (ja) * | 2016-06-29 | 2018-01-11 | 学校法人成蹊学園 | コミュニケーション能力推定装置、方法およびプログラム |
Cited By (12)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP7049010B1 (ja) | 2021-03-02 | 2022-04-06 | 株式会社インタラクティブソリューションズ | プレゼンテーション評価システム |
WO2022185705A1 (ja) * | 2021-03-02 | 2022-09-09 | 株式会社インタラクティブソリューションズ | プレゼンテーション評価システム |
JP2022134129A (ja) * | 2021-03-02 | 2022-09-14 | 株式会社インタラクティブソリューションズ | プレゼンテーション評価システム |
JP2022133838A (ja) * | 2021-03-02 | 2022-09-14 | 株式会社インタラクティブソリューションズ | プレゼンテーション評価システム |
CN115552407A (zh) * | 2021-03-02 | 2022-12-30 | 互动解决方案公司 | 演示评价系统 |
JP7345909B2 (ja) | 2021-03-02 | 2023-09-19 | 株式会社インタラクティブソリューションズ | プレゼンテーション評価システム |
CN115552407B (zh) * | 2021-03-02 | 2024-02-02 | 互动解决方案公司 | 演示评价系统,以及计算机可读取的信息记录介质 |
US11908474B2 (en) | 2021-03-02 | 2024-02-20 | Interactive Solutions Corp. | Presentation evaluation system |
CN116701923A (zh) * | 2022-10-13 | 2023-09-05 | 荣耀终端有限公司 | 算子性能的评估方法和评估装置 |
CN116701923B (zh) * | 2022-10-13 | 2024-05-17 | 荣耀终端有限公司 | 算子性能的评估方法和评估装置 |
CN116681355A (zh) * | 2023-07-21 | 2023-09-01 | 苏州今创互联网科技有限公司 | 一种信息科技多媒体展示台管理系统 |
CN116681355B (zh) * | 2023-07-21 | 2023-12-05 | 苏州今创互联网科技有限公司 | 一种信息科技多媒体展示台管理系统 |
Also Published As
Publication number | Publication date |
---|---|
JP7123856B2 (ja) | 2022-08-23 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11241789B2 (en) | Data processing method for care-giving robot and apparatus | |
CN108363706B (zh) | 人机对话交互的方法和装置、用于人机对话交互的装置 | |
Cerekovic et al. | Rapport with virtual agents: What do human social cues and personality explain? | |
US9754503B2 (en) | Systems and methods for automated scoring of a user's performance | |
JP7123856B2 (ja) | プレゼンテーションを評価するシステム、方法、学習済みモデル及びプログラム、情報処理装置並びに端末装置 | |
JP6400445B2 (ja) | 会話分析装置、会話分析システム、会話分析方法及び会話分析プログラム | |
CN115413348A (zh) | 用于自动验证和量化面试问题回答的系统和方法 | |
US20160314784A1 (en) | System and method for assessing the cognitive style of a person | |
JP7285589B2 (ja) | 対話型健康状態評価方法およびそのシステム | |
JP6891601B2 (ja) | ロボットの制御プログラム、ロボット装置、及びロボットの制御方法 | |
US11076091B1 (en) | Image capturing assistant | |
JP7323098B2 (ja) | 対話支援装置、対話支援システム、及び対話支援プログラム | |
CN114175149A (zh) | 自适应日志模型和用户界面 | |
JP6715410B2 (ja) | 評価方法、評価装置、評価プログラム、および、評価システム | |
US20230290505A1 (en) | Context Aware Assessment | |
JP6285377B2 (ja) | コミュニケーションスキル評価フィードバック装置、コミュニケーションスキル評価フィードバック方法及びコミュニケーションスキル評価フィードバックプログラム | |
JP7123028B2 (ja) | 情報処理システム、情報処理方法、及びプログラム | |
AU2021306718B2 (en) | System to confirm identity of candidates | |
EP4020352A1 (en) | System and methods for evaluation of interpersonal interactions to predict real world performance | |
WO2024038699A1 (ja) | 表情加工装置、表情加工方法および表情加工プログラム | |
JP2018013595A (ja) | 情報処理装置、端末装置、システム、情報処理方法及びプログラム | |
JP2018051648A (ja) | ロボット制御装置、ロボット、ロボット制御方法、及びプログラム | |
CN114392457A (zh) | 信息生成方法、装置、电子设备、存储介质和系统 | |
宮脇亮輔 et al. | A Data Collection Protocol, Tool, and Analysis of Multimodal Data at Different Speech Voice Levels for Avatar Facial Animation | |
WO2023165844A1 (en) | Circuitry and method for visual speech processing |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20210210 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20211228 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20220107 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20220308 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20220715 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20220810 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7123856 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |