JP2014044346A - 情報処理装置及びプログラム - Google Patents

Abstract

【課題】プレゼンテーションにおける聴講者の反応を定量的に評価する。
【解決手段】プレゼンテーションデータに基づくプレゼンテーション時に録音された音声データに含まれるコメントが聞き手（聴講者）によるものであるかを判別し、音声データに含まれるコメントを音声認識してテキストデータに変換する。次に、聞き手によるものであると判別されたコメントを音声認識して得られたテキストデータに基づいて、当該コメントがプレゼンテーションに対して肯定的なものであるか、否定的なものであるかを判別する。音声データのプレゼンテーションデータの各ページに対応する部分毎に、聞き手によるものであると判別されたコメントに対する肯否判別の判別結果に基づいて、聞き手（聴講者）の反応を示す手ごたえ指数を算出する。
【選択図】図３

Description

本発明は、情報処理装置及びプログラムに関する。

近年、プレゼンテーションを行う際には、説明者がＰＣ（Personal Computer）やタブレット型情報端末を用いて発表用資料の各ページを表示させながら、表示されているページに対応した内容を説明する機会が多くなってきている。

プレゼンテーションの効果を高めるために、例えば、プレゼンテーション実施時に、発表者の音声の大きさ及び抑揚を分析し、音声が大きい場合又は抑揚が大きい場合に、資料が表示されている画面を強調表示したり、注意を引く音声を発したりするプレゼンテーションシステムが提案されている（特許文献１参照）。

また、プレゼンテーションの説明者は、プレゼンテーション中のどのポイントで聞き手が良い反応を示したか、又は、悪い反応を示したか、に興味を持っている。聞き手の反応に応じて、プレゼンテーションの内容を改善することができるからである。

特開２００２−０２３７１６号公報

しかしながら、説明者は、プレゼンテーション中は発表に集中しているため、聞き手の反応を自ら分析することは困難であった。
ボイスレコーダ等を用いて聞き手のコメントを記録することは可能であるが、記録された音声データのどこに聞き手のコメントがあるかわからないため、聞き手の反応を確認するには時間と手間がかかっていた。また、聞き手の反応を定量的に測定する手段はなかった。

本発明の課題は、プレゼンテーションにおける聴講者の反応を定量的に評価することである。

本発明の情報処理装置は、プレゼンテーションを聴講した聴講者の反応を認識し、聴講者の反応が肯定的であるか否定的であるかを判別する判別部と、前記判別部による判別結果に基づいて、聴講者の反応を示す評価値を算出する算出部と、を備える。

本発明によれば、プレゼンテーションにおける聴講者の反応を定量的に評価することができる。

情報処理装置の機能的構成を示すブロック図である。 発言者リストのデータ構成例を示す図である。 コメント分析データのデータ構成例を示す図である。 音声蓄積処理を示すフローチャートである。 音声データ解析処理を示すフローチャートである。 発言者判別処理を示すフローチャートである。 コメント分析処理を示すフローチャートである。

以下、図面を参照して本発明に係る実施の形態について説明する。なお、本発明は、図示例に限定されるものではない。

図１は、本実施の形態に係る情報処理装置１０の機能的構成を示すブロック図である。
情報処理装置１０は、判別部、算出部としてのＣＰＵ（Central Processing Unit）１１と、操作部１２と、表示部１３と、通信部１４と、音声入力部１５と、音声出力部１６と、ＲＡＭ（Random Access Memory）１７と、ＲＯＭ（Read Only Memory）１８と、記憶部１９と、を備え、各部はバス２０を介して接続されている。情報処理装置１０は、一般的なＰＣやタブレット型情報端末により構成される。

ＣＰＵ１１は、情報処理装置１０の各部の処理動作を統括的に制御する。具体的には、ＣＰＵ１１は、ＲＯＭ１８に記憶されている各種処理プログラムを読み出してＲＡＭ１７に展開し、当該プログラムとの協働により各種処理を行う。

操作部１２は、文字入力キー、数字入力キー、各種機能キー等を備えたキーボードと、マウス等のポインティングデバイスと、を含む構成である。操作部１２は、ユーザによるキーボードに対するキー操作やマウス操作により入力された操作信号をＣＰＵ１１に出力する。また、操作部１２は、表示部１３の表示画面に設けられたタッチパネルを含み、ユーザの指等によるタッチ操作の位置を検出し、その位置に応じた操作信号をＣＰＵ１１に出力することとしてもよい。

表示部１３は、ＬＣＤ（Liquid Crystal Display）等で構成され、ＣＰＵ１１からの表示制御信号に従って画面表示を行う。

通信部１４は、ネットワークインターフェース等により構成され、通信ネットワークを介して接続された外部機器との間でデータの送受信を行う。

音声入力部１５は、ステレオマイク１５ａ、Ａ／Ｄ変換回路１５ｂを備える。ステレオマイク１５ａは、音声を電気信号（アナログ信号）に変換し、このアナログ信号をＡ／Ｄ変換回路１５ｂに出力する。Ａ／Ｄ変換回路１５ｂは、ステレオマイク１５ａから出力されたアナログ信号をデジタル信号に変換し、このデジタル信号をＣＰＵ１１に出力する。

音声出力部１６は、スピーカ１６ａ、Ｄ／Ａ変換回路１６ｂを備える。Ｄ／Ａ変換回路１６ｂは、記憶部１９に記憶されている音声データ１９２又は分割音声データ１９４に基づくデジタル信号をアナログ信号に変換し、このアナログ信号をスピーカ１６ａに出力する。スピーカ１６ａは、Ｄ／Ａ変換回路１６ｂから出力されたアナログ信号に基づいて、音声を出力する。

ＲＡＭ１７は、揮発性のメモリである。ＲＡＭ１７には、実行される各種プログラムやこれら各種プログラムに係るデータ等が格納される。

ＲＯＭ１８は、各種プログラム及び各種データを記憶する読み出し専用の半導体メモリである。ＲＯＭ１８には、プレゼンテーションツールプログラム１８１、音声蓄積プログラム１８２、音声データ解析プログラム１８３、解析結果出力プログラム１８４が記憶されている。

記憶部１９は、ＨＤＤ（Hard Disk Drive）や不揮発性メモリ等により構成され、情報を読み出し及び書き込み可能に記憶する。
記憶部１９には、資料データとしてのプレゼンテーションデータ１９１が記憶されている。プレゼンテーションデータ１９１は、複数のページからなるプレゼンテーション用の資料の電子データであり、スライド形式で文字や図表を表示するプレゼンテーションツールプログラム１８１により作成されたものである。プレゼンテーションデータ１９１には、テキストデータが含まれる。

本実施の形態において、プレゼンテーションとは、プレゼンテーションデータ１９１として記憶された資料データに基づいて発表者が発表を行い、それを聴講者が聴講するという発表形態に限らず、プレゼンテーションデータとして映像データや画像データを表示装置に表示し、それを聴講者が視聴するという発表形態や、プレゼンテーションデータとして音声データを音響装置から出力し、それを聴講者が聴講するという発表形態や、プレゼンテーションデータとして映像データ及び音声データをプレゼンテーション装置に出力し、それを聴講者が視聴及び聴講するという発表形態も含まれる。

また、記憶部１９には、音声蓄積処理（図４参照）において生成される音声データ１９２が記憶される。音声データ１９２は、プレゼンテーションデータ１９１に基づいて行われたプレゼンテーション時に録音されたものであり、例えば、ａｖｉ形式のファイルとして生成される。

また、記憶部１９には、音声データ解析処理（図５参照）において生成される発言者リスト１９３、分割音声データ１９４、コメント分析データ１９５が記憶される。

図２に、発言者リスト１９３のデータ構成例を示す。発言者リスト１９３は、音声データ１９２に含まれる発言（以下、コメントという。）の発言者毎に、波形の特徴が対応付けられたものである。

分割音声データ１９４は、音声データ１９２をプレゼンテーションデータ１９１の各ページに対応する部分毎に分割したデータである。すなわち、分割音声データ１９４は、プレゼンテーションデータ１９１のページ数分、生成される。分割音声データ１９４は、例えば、ａｖｉ形式のファイルとして生成される。

図３に、コメント分析データ１９５のデータ構成例を示す。コメント分析データ１９５には、プレゼンテーションデータ１９１のページ、コメント（テキストデータ）、発言者、発言時間、肯否フラグ、コメント毎の手ごたえ指数、ページ毎の手ごたえ指数が含まれる。コメント、発言者、発言時間、肯否フラグ及びコメント毎の手ごたえ指数は、音声データ１９２に含まれるコメント毎に対応付けられて記憶されるデータであり、ページ及びページ毎の手ごたえ指数は、ページ毎に対応付けられて記憶されるデータである。コメント分析データ１９５は、例えば、ｃｓｖ形式、ｘｌｓ形式のファイルとして生成される。

肯否フラグは、聞き手（聴講者）によるコメントがプレゼンテーションに対して肯定的であるか、否定的であるかを示す情報であり、「肯定」を意味する「１」、「否定」を意味する「−１」、「判別不能」を意味する「０」のいずれかの値をとる。

ＣＰＵ１１は、音声データ解析プログラム１８３との協働により、プレゼンテーションデータ１９１に基づくプレゼンテーション時に録音された音声データ１９２に含まれるコメントのそれぞれが説明者によるものであるか、又は、聞き手（聞き手Ａ、聞き手Ｂ、・・・）によるものであるかを判別する。説明者は、プレゼンテーションにおいて説明を行う人物であり、聞き手は、プレゼンテーションの参加者のうち説明者以外の人物である。
具体的には、ＣＰＵ１１は、音声データ１９２に含まれる各コメントの波形から発言者の特徴を抽出して発言者リスト１９３を生成し、発言者リスト１９３に登録された各発言者の特徴を用いて発言者を判別する。

ＣＰＵ１１は、予め用意されている音声認識辞書を参照することにより、音声データ１９２に含まれるコメントを音声認識してテキストデータに変換する。

ＣＰＵ１１は、聞き手（聴講者）によるものであると判別されたコメントを音声認識して得られたテキストデータに基づいて、当該コメントの中に所定の肯定的文言が含まれる場合に、当該コメントがプレゼンテーションに対して肯定的なものであると判別し、当該コメントの中に所定の否定的文言が含まれる場合に、当該コメントがプレゼンテーションに対して否定的なものであると判別する（肯否判別）。
具体的には、ＣＰＵ１１は、聞き手によるものであると判別されたコメントの中に同意又は賞賛を示す言葉が含まれる場合に、当該コメントがプレゼンテーションに対して肯定的なものであると判別する。ＣＰＵ１１は、聞き手によるものであると判別されたコメントの中に反対又は批判を示す言葉が含まれる場合に、当該コメントがプレゼンテーションに対して否定的なものであると判別する。
また、ＣＰＵ１１は、聞き手によるものであると判別されたコメントを音声認識して得られたテキストデータとプレゼンテーションデータ１９１に含まれるテキストデータとを比較して、当該コメントから得られたテキストデータの内容とプレゼンテーションデータ１９１に含まれるテキストデータの内容とが一致する場合に、当該コメントがプレゼンテーションに対して肯定的なものであると判別する。

ＣＰＵ１１は、音声認識により変換されたテキストデータと記憶部１９に記憶されているプレゼンテーションデータ１９１の各ページに含まれるテキストデータとを比較して、音声データ１９２のプレゼンテーションデータ１９１の各ページに対応する部分を検出する。

ＣＰＵ１１は、検出された音声データ１９２のプレゼンテーションデータ１９１の各ページに対応する部分毎に、聞き手によるものであると判別されたコメントに対する肯否判別の判別結果に基づいて、聞き手の反応を示す評価値としての手ごたえ指数を算出する。
例えば、ＣＰＵ１１は、聞き手によるコメントが肯定的なものであると判別された場合に、手ごたえ指数がより大きくなるように手ごたえ指数を算出し、聞き手によるコメントが否定的なものであると判別された場合に、手ごたえ指数がより小さくなるように手ごたえ指数を算出する。

また、ＣＰＵ１１は、聞き手によるものであると判別されたコメントの時間を考慮して、手ごたえ指数を算出する。
例えば、ＣＰＵ１１は、聞き手による肯定的なコメントの時間が長いほど、手ごたえ指数がより大きくなるように手ごたえ指数を算出し、聞き手による否定的なコメントの時間が長いほど、手ごたえ指数がより小さくなるように手ごたえ指数を算出する。

また、ＣＰＵ１１は、音声データ１９２のプレゼンテーションデータ１９１の各ページに対応する部分に聞き手によるものであると判別されたコメントが複数含まれる場合に、当該複数のコメントに基づいて、手ごたえ指数を算出する。
例えば、ＣＰＵ１１は、聞き手による肯定的なコメントの回数が多いほど、手ごたえ指数がより大きくなるように手ごたえ指数を算出し、聞き手による否定的なコメントの回数が多いほど、手ごたえ指数がより小さくなるように手ごたえ指数を算出する。

次に、情報処理装置１０における動作について説明する。
図４は、情報処理装置１０において実行される音声蓄積処理を示すフローチャートである。この処理は、プレゼンテーションを実施する際に行われる処理であって、ＣＰＵ１１とＲＯＭ１８に記憶されている音声蓄積プログラム１８２との協働によるソフトウェア処理によって実現される。

まず、ＣＰＵ１１は、説明者による操作部１２からの操作に基づいて、音声入力部１５を制御して、音声の録音を開始させる（ステップＳ１）。音声入力部１５は、ステレオマイク１５ａから入力された音声のアナログ信号をＡ／Ｄ変換回路１５ｂによりデジタル信号に変換して得られた音声データ１９２をＣＰＵ１１に出力する。

ＣＰＵ１１は、プレゼンテーションツールプログラム１８１との協働により、プレゼンテーションデータ１９１を読み出し、プレゼンテーションデータ１９１に基づいて、複数のページからなるプレゼンテーション用の資料を表示部１３に表示させる（ステップＳ２）。説明者は、表示部１３に表示される資料に合わせて説明を行う。ＣＰＵ１１は、音声入力部１５から入力される説明者及び聞き手のコメントを含む音声データ１９２を記憶部１９に蓄積していく。

プレゼンテーションの終了後、ＣＰＵ１１は、説明者による操作部１２からの操作に基づいて、音声入力部１５を制御して、音声の録音を停止させる（ステップＳ３）。
以上で、音声蓄積処理が終了する。

次に、図５を参照して、音声データ解析処理について説明する。この処理は、プレゼンテーション後に行われる処理であって、ＣＰＵ１１とＲＯＭ１８に記憶されている音声データ解析プログラム１８３との協働によるソフトウェア処理によって実現される。

まず、ＣＰＵ１１は、記憶部１９に記憶されている音声データ１９２を読み出し、音声データ１９２内の発言者の波形をリスト化し、発言者リスト１９３を生成する（ステップＳ１１）。具体的には、ＣＰＵ１１は、音声データ１９２の全体を通して分析し、音の高低や話す速度、ステレオマイク１５ａから入力された２方向の音声の大きさの差分（音源の位置に対応する）に基づいて、音声データ１９２内に出現する音声（発言者）を区別し、発言者毎に波形の特徴を発言者リスト１９３に登録する。ＣＰＵ１１は、生成した発言者リスト１９３を記憶部１９に記憶させる。

例えば、ＣＰＵ１１は、発言者リスト１９３を生成する際に、音声データ１９２の中で最も発言時間の合計が長い発言者を「説明者」であると判別し、他の発言者を「聞き手Ａ」、「聞き手Ｂ」、・・・であると判別する。
なお、発言内容とプレゼンテーションデータ１９１の内容とを比較して、プレゼンテーションデータ１９１の内容を一番多く語っている人を「説明者」であると判別することとしてもよい。この場合、ステップＳ１１の前に、音声データ１９２の音声認識を行っておく必要がある。
また、説明者は、プレゼンテーションデータ１９１のページが切り替えられた直後に長く話す傾向があるので、音声データ１９２においてページ毎の区切りを判別した後に、「説明者」を特定することとしてもよい。

次に、ＣＰＵ１１は、音声データ１９２をコメント毎に区切り、無声部分を削除する（ステップＳ１２）。例えば、ＣＰＵ１１は、音声データ１９２の中で、無声部分の時間が所定の値以上の場合に、コメントの区切りであると判断する。

次に、ＣＰＵ１１は、処理対象とするコメントを音声データ１９２の先頭から順に選択し（ステップＳ１３）、発言者判別処理を行う（ステップＳ１４）。

ここで、図６を参照して、発言者判別処理について説明する。
ＣＰＵ１１は、音声データ１９２の処理対象のコメント部分を、記憶部１９に記憶されている発言者リスト１９３の各波形の特徴と照合する（ステップＳ３１）。そして、ＣＰＵ１１は、音声データ１９２の処理対象のコメント部分と一致した波形の特徴に対応する発言者を発言者リスト１９３から取得し、処理対象のコメントの発言者を特定する（ステップＳ３２）。このようにして、ＣＰＵ１１は、音声データ１９２に含まれるコメントのそれぞれが説明者によるものであるか、聞き手によるものであるかを判別する。コメントが聞き手によるものである場合には、ＣＰＵ１１は、更に、聞き手Ａ、聞き手Ｂ、・・・のいずれによるものであるかを判別する。ＣＰＵ１１は、記憶部１９のコメント分析データ１９５の処理対象のコメントに対応するレコードの「発言者」フィールドに、特定した発言者を格納する。

発言者判別処理（ステップＳ１４）の後、ＣＰＵ１１は、音声データ１９２に含まれる処理対象のコメントを音声認識してテキストデータに変換する（ステップＳ１５）。ＣＰＵ１１は、コメント分析データ１９５の処理対象のコメントに対応するレコードの「コメント」フィールドに、音声認識により得られたテキストデータを格納する。

次に、処理対象のコメントが発言者判別処理において聞き手のコメントであると判別された場合には（ステップＳ１６；ＹＥＳ）、ＣＰＵ１１は、コメント分析処理を行う（ステップＳ１７）。

ここで、図７を参照して、コメント分析処理について説明する。
ＣＰＵ１１は、聞き手によるものであると判別された処理対象のコメントを音声認識して得られたテキストデータとプレゼンテーションデータ１９１に含まれるテキストデータとを比較して（ステップＳ４１）、処理対象のコメントから得られたテキストデータの内容がプレゼンテーションデータ１９１に含まれるテキストデータの内容と一致するか否かを判別する（ステップＳ４２）。処理対象のコメントから得られたテキストデータの内容がプレゼンテーションデータ１９１に含まれるテキストデータの内容と一致する場合には（ステップＳ４２；ＹＥＳ）、ＣＰＵ１１は、コメント分析データ１９５の処理対象のコメントに対応するレコードの「肯否フラグ」を「１」にする（ステップＳ４３）。
なお、ＣＰＵ１１は、処理対象のコメントから得られたテキストデータとプレゼンテーションデータ１９１の対象ページに含まれるテキストデータのみを比較することとしてもよい。

例えば、図３に示すコメント分析データ１９５のコメントＣ１の「○○について、とても興味があります。」の「○○」がプレゼンテーションデータ１９１の内容と一致する場合には、「肯否フラグ」が「１」となる。

ステップＳ４２において、処理対象のコメントから得られたテキストデータの内容がプレゼンテーションデータ１９１に含まれるテキストデータの内容と一致しない場合には（ステップＳ４２；ＮＯ）、ＣＰＵ１１は、処理対象のコメントの中に同意又は賞賛を示す言葉（「同じ意見です。」等）が含まれるか否かを判別する（ステップＳ４４）。例えば、同意又は賞賛を示す言葉を列挙したリストを予め用意しておき、処理対象のコメントとこのリスト内の言葉とを比較することにより、同意又は賞賛を示す言葉が含まれるか否かを判別する。

処理対象のコメントの中に同意又は賞賛を示す言葉が含まれる場合には（ステップＳ４４；ＹＥＳ）、ＣＰＵ１１は、コメント分析データ１９５の処理対象のコメントに対応するレコードの「肯否フラグ」を「１」にする（ステップＳ４３）。

例えば、図３に示すコメント分析データ１９５のコメントＣ２の「これはいいね。更にこんなことはできる？」の「これはいいね」は賞賛を示す言葉であるため、「肯否フラグ」が「１」となる。
なお、コメントＣ１の「○○について、とても興味があります。」についても、「とても興味があります」を同意又は賞賛を示す言葉であると判別して、「肯否フラグ」を「１」としてもよい。

ステップＳ４４において、処理対象のコメントの中に同意又は賞賛を示す言葉が含まれない場合には（ステップＳ４４；ＮＯ）、ＣＰＵ１１は、処理対象のコメントの中に反対又は批判を示す言葉（「反対です。」等）が含まれるか否かを判別する（ステップＳ４５）。例えば、反対又は批判を示す言葉を列挙したリストを予め用意しておき、処理対象のコメントとこのリスト内の言葉とを比較することにより、反対又は批判を示す言葉が含まれるか否かを判別する。

処理対象のコメントの中に反対又は批判を示す言葉が含まれる場合には（ステップＳ４５；ＹＥＳ）、ＣＰＵ１１は、コメント分析データ１９５の処理対象のコメントに対応するレコードの「肯否フラグ」を「−１」にする（ステップＳ４６）。

例えば、図３に示すコメント分析データ１９５のコメントＣ３の「そこまでの機能はいらないかも。」の「いらない」は反対を示す言葉であるため、「肯否フラグ」が「−１」となる。

ステップＳ４５において、処理対象のコメントの中に反対又は批判を示す言葉が含まれない場合には（ステップＳ４５；ＮＯ）、ＣＰＵ１１は、コメント分析データ１９５の処理対象のコメントに対応するレコードの「肯否フラグ」を「０」にする（ステップＳ４７）。

ステップＳ４３、ステップＳ４６又はステップＳ４７の後、ＣＰＵ１１は、音声データ１９２における処理対象のコメント部分の長さに基づいて、処理対象のコメントの発言時間を取得する（ステップＳ４８）。ＣＰＵ１１は、コメント分析データ１９５の処理対象のコメントに対応するレコードの「発言時間」フィールドに、取得した発言時間を格納する。

次に、ＣＰＵ１１は、肯否フラグの値と発言時間とを掛け合わせて、処理対象のコメントに対する手ごたえ指数を計算する（ステップＳ４９）。
コメント毎の手ごたえ指数＝（肯否フラグの値）×（発言時間（秒））
ＣＰＵ１１は、コメント分析データ１９５の処理対象のコメントに対応するレコードの「コメント毎の手ごたえ指数」フィールドに、計算した手ごたえ指数を格納する。

例えば、図３に示すコメント分析データ１９５のコメントＣ１に対しては、「肯否フラグ」が「１」、「発言時間」が「１０秒」であるから、コメント毎の手ごたえ指数は「＋１０」となる。

コメント分析処理（ステップＳ１７）の後、又は、処理対象のコメントが発言者判別処理において説明者のコメントであると判別された場合には（ステップＳ１６；ＮＯ）、ＣＰＵ１１は、処理対象のコメントの内容が次のページのものであるか否かを判別する（ステップＳ１８）。具体的には、ＣＰＵ１１は、処理対象のコメントを音声認識して得られたテキストデータと記憶部１９に記憶されているプレゼンテーションデータ１９１の各ページに含まれるテキストデータとを比較して、コメントの内容が対象ページの内容ではなく、次のページの内容と一致する場合に、コメントの内容が次のページのものであると判別する。

処理対象のコメントの内容が次のページのものでない場合には（ステップＳ１８；ＮＯ）、ＣＰＵ１１は、処理対象のコメントが音声データ１９２の最終のコメントであるか否かを判別する（ステップＳ１９）。

処理対象のコメントが音声データ１９２の最終のコメントでない場合には（ステップＳ１９；ＮＯ）、ステップＳ１３に戻り、次のコメントを処理対象として処理が繰り返される。

ステップＳ１８において、コメントの内容が次のページのものである場合には（ステップＳ１８；ＹＥＳ）、ＣＰＵ１１は、直前のコメントで音声データ１９２を分割し、分割音声データ１９４を生成する（ステップＳ２０）。すなわち、ステップＳ１３〜ステップＳ１８において処理対象としていたコメントについては、次の分割音声データ１９４に含まれることになる。分割音声データ１９４のファイル名は、例えば、「ページ番号．ａｖｉ」とする。ＣＰＵ１１は、生成された分割音声データ１９４を記憶部１９に記憶させる。

次に、ＣＰＵ１１は、生成された分割音声データ１９４に対する手ごたえ指数、すなわち、音声データ１９２のプレゼンテーションデータ１９１の１ページ分に対応する部分の手ごたえ指数を集計する（ステップＳ２１）。具体的には、ＣＰＵ１１は、音声データ１９２のプレゼンテーションデータ１９１の１ページ分に対応する部分に含まれるコメント毎の手ごたえ指数の和をとる。ＣＰＵ１１は、コメント分析データ１９５の処理対象のページに対応する「ページ毎の手ごたえ指数」フィールドに、集計した手ごたえ指数を格納する。
ステップＳ２１の後、ステップＳ１３に戻り、次のコメントを処理対象として処理が繰り返される。

ステップＳ１９において、処理対象のコメントが音声データ１９２の最終のコメントである場合には（ステップＳ１９；ＹＥＳ）、ＣＰＵ１１は、最終のコメントで音声データ１９２を分割し、分割音声データ１９４を生成する（ステップＳ２２）。ＣＰＵ１１は、生成された分割音声データ１９４を記憶部１９に記憶させる。

次に、ＣＰＵ１１は、生成された分割音声データ１９４に対する手ごたえ指数、すなわち、音声データ１９２のプレゼンテーションデータ１９１の最終ページ分に対応する部分の手ごたえ指数を集計する（ステップＳ２３）。具体的には、ＣＰＵ１１は、音声データ１９２のプレゼンテーションデータ１９１の最終ページ分に対応する部分に含まれるコメント毎の手ごたえ指数の和をとる。ＣＰＵ１１は、コメント分析データ１９５の最終ページに対応する「ページ毎の手ごたえ指数」フィールドに、集計した手ごたえ指数を格納する。
以上で、音声データ解析処理が終了する。

音声データ解析処理によりコメント分析データ１９５が生成された後、ＣＰＵ１１は、ＲＯＭ１８に記憶されている解析結果出力プログラム１８４との協働により、記憶部１９からコメント分析データ１９５を読み出して、解析結果を表示部１３に表示させる。例えば、ＣＰＵ１１は、コメント分析データ１９５を図３と同様に、表形式で表示させる。また、肯否フラグについては、見やすいように、「１」を「肯定」、「−１」を「否定」、「０」を「判別不能」と変換して表示してもよい。
また、ＣＰＵ１１は、コメント分析データ１９５に基づいて、解析結果を印刷させるための印刷データを生成し、生成した印刷データを、通信部１４を介してプリンタに送信することとしてもよい。

以上説明したように、情報処理装置１０によれば、プレゼンテーション時に録音された音声データ１９２を解析して、音声データ１９２のプレゼンテーションデータ１９１の各ページに対応する部分毎に、聞き手（聴講者）の反応を示す手ごたえ指数を算出するので、プレゼンテーションにおける聞き手の反応を定量的に評価することができる。
説明者は、プレゼンテーション後にコメント分析データ１９５を参照し、聞き手の反応が良かった部分を強く推す内容に変更したり、聞き手の反応が悪かった部分については、聞き手の興味を引くように説明方法を変更したりする等、プレゼンテーションの内容を改善することができる。

また、聞き手によるものであると判別されたコメントの時間を考慮して、手ごたえ指数を算出するので、コメントの時間に応じた聞き手の反応の評価が可能となる。

また、音声データ１９２のプレゼンテーションデータ１９１の各ページに対応する部分に聞き手によるものであると判別されたコメントが複数含まれる場合に、当該複数のコメントに基づいて、手ごたえ指数を算出するので、複数のコメントの内容に応じた聞き手の反応の評価が可能となる。

また、聞き手によるものであると判別されたコメントの中に同意又は賞賛を示す言葉が含まれる場合に、当該コメントがプレゼンテーションに対して肯定的なものであると判別し、聞き手によるものであると判別されたコメントの中に反対又は批判を示す言葉が含まれる場合に、当該コメントがプレゼンテーションに対して否定的なものであると判別するので、聞き手のコメント自体が肯定的であるか否か、否定的であるか否かを判別することができる。

また、聞き手によるものであると判別されたコメントを音声認識して得られたテキストデータの内容とプレゼンテーションデータ１９１に含まれるテキストデータの内容とが一致する場合に、当該コメントがプレゼンテーションに対して肯定的なものであると判別するので、プレゼンテーションの内容に沿って、聞き手のコメントが肯定的であるか否かを判別することができる。

なお、上記実施の形態における記述は、本発明に係る情報処理装置の例であり、これに限定されるものではない。装置を構成する各部の細部構成及び細部動作に関しても本発明の趣旨を逸脱することのない範囲で適宜変更可能である。

例えば、発言者の役職、立場等で、コメントに重み付けをしてもよい。この場合、情報処理装置１０が音声データ１９２から自動的に発言者の役職、立場等を判断することは困難であるため、音声データ解析処理の後、プレゼンテーションの説明者等のユーザがコメント分析データ１９５を参照して、各発言者の重要度を手動で追加し、手ごたえ指数に重要度を掛けた値を、重み付け後の手ごたえ指数として算出し直すこととする。

また、コメント分析データ１９５に基づいて、ページ毎に分割された分割音声データ１９４から聞き手のコメントのみを抽出して、音声出力部１６により聞き手の音声のみを出力することとしてもよい。具体的には、分割音声データ１９４を生成する際に、無声部分を削除しておく。そして、コメント分析データ１９５から「発言者」が「聞き手（聞き手Ａ、聞き手Ｂ、・・・）」であるコメントのみを抽出し、抽出された各コメントが含まれる「ページ」に対応する分割音声データ１９４の聞き手のコメント部分のみ（コメント分析データ１９５において同一ページに含まれるコメントのうち、該当コメントより前の全コメントの「発言時間」の合計から該当コメントの「発言時間」分）を再生する。聞き手のコメントのみを聞き返すことができるので、聞き手の反応を確認したい場合の時間を短縮することができる。

また、コメント分析データ１９５に基づいて、ページ毎に分割された分割音声データ１９４から説明者のコメントのみを抽出して、説明者のコメントのみをまとめた音声データを生成し、この音声データを聞き手やプレゼンテーションに参加していなかった人に送信することとしてもよい。具体的には、分割音声データ１９４を生成する際に、無声部分を削除しておく。そして、コメント分析データ１９５から「発言者」が「説明者」であるコメントのみを抽出し、抽出された各コメントが含まれる「ページ」に対応する分割音声データ１９４の説明者のコメント部分のみ（コメント分析データ１９５において同一ページに含まれるコメントのうち、該当コメントより前の全コメントの「発言時間」の合計から該当コメントの「発言時間」分）を繋いで音声データを生成する。また、製品紹介のプレゼンテーションの場合には、説明者のコメントのみを含むように生成された音声データを、営業担当者を教育する際の教材として使用することとしてもよい。

上記実施の形態では、プレゼンテーション時に録音された音声データを解析して、聞き手（聴講者）の反応を示す手ごたえ指数を算出するようにしたが、変形例としては、プレゼンテーション時に録画された画像データを解析して、聞き手（聴講者）の反応を示す手ごたえ指数を算出するようにしてもよい。
即ち、プレゼンテーション時に録画された画像データを解析して、画像データのプレゼンテーションデータの各ページに対応する部分毎に、聞き手（聴講者）の反応を示す手ごたえ指数を算出するようにしてもよい。
この場合、画像データを解析して、聞き手（聴講者）が行う動作を認識し、認識した動作に基づいて聞き手（聴講者）の反応を認識し、聞き手（聴講者）の反応が肯定的であるか否定的であるかを判別するようにする。ここで、動作とは、聞き手（聴講者）がプレゼンテーションに反応して行う身振り、手振り、うなずき、拍手等の身体的動きを意味する。

また、音声データや画像データのプレゼンテーションデータ１９１のブロックに対応する部分毎に、聞き手（聴講者）の反応を示す手ごたえ指数を算出することとしてもよい。ブロックは、例えば、プレゼンテーションデータ１９１に含まれるテーマや章等の纏まりを意味し、複数のページから構成されていてもよいし、１ページの一部分から構成されていてもよい。

また、プレゼンテーション時に録画された画像データについて、プレゼンテーションデータ１９１の各ページ又は各ブロックに対応する部分を検出する際には、音声データの場合と同様、画像データに含まれる音声を認識して、プレゼンテーションデータ１９１の各ページ又は各ブロックに含まれるテキストデータと比較すればよい。あるいは、録画する際に、予めプレゼンテーションデータ１９１のページ又はブロック毎の区切りを、画像データと対応付けて記録しておいてもよい。

以上の説明では、各処理を実行するためのプログラムを格納したコンピュータ読み取り可能な媒体としてＲＯＭを使用した例を開示したが、この例に限定されない。その他のコンピュータ読み取り可能な媒体として、フラッシュメモリ等の不揮発性メモリ、ＣＤ−ＲＯＭ等の可搬型記録媒体を適用することも可能である。また、プログラムのデータを通信回線を介して提供する媒体として、キャリアウェーブ（搬送波）を適用することとしてもよい。

本発明の実施の形態を説明したが、本発明の範囲は、上述の実施の形態に限定するものではなく、特許請求の範囲に記載された発明の範囲とその均等の範囲を含む。
以下に、この出願の願書に最初に添付した特許請求の範囲に記載した発明を付記する。付記に記載した請求項の項番は、この出願の願書に最初に添付した特許請求の範囲の通りである。
〔付記〕
＜請求項１＞
プレゼンテーションを聴講した聴講者の反応を認識し、聴講者の反応が肯定的であるか否定的であるかを判別する判別部と、
前記判別部による判別結果に基づいて、聴講者の反応を示す評価値を算出する算出部と、
を備える情報処理装置。
＜請求項２＞
前記判別部は、前記聴講者の反応を前記聴講者が発する音声に基づいて認識し、前記聴講者の反応が肯定的であるか否定的であるかを判別する、
請求項１に記載の情報処理装置。
＜請求項３＞
前記判別部は、前記聴講者が発する音声の中に同意又は賞賛を示す言葉が含まれる場合に、前記聴講者の反応が肯定的であると判別し、前記聴講者が発する音声の中に反対又は批判を示す言葉が含まれる場合に、前記聴講者の反応が否定的であると判別する、
請求項２に記載の情報処理装置。
＜請求項４＞
前記判別部は、前記聴講者の反応を前記聴講者が行う動作に基づいて認識し、前記聴講者の反応が肯定的であるか否定的であるかを判別する、
請求項１に記載の情報処理装置。
＜請求項５＞
前記判別部は、前記聴講者が行う動作の中に同意又は賞賛を示す動作が含まれる場合に、前記聴講者の反応が肯定的であると判別し、前記聴講者が行う動作の中に反対又は批判を示す動作が含まれる場合に、前記聴講者の反応が否定的であると判別する、
請求項４に記載の情報処理装置。
＜請求項６＞
前記算出部は、前記プレゼンテーションに伴う発言内容毎に、前記聴講者の反応を示す評価値を算出する、
請求項１〜３のいずれか一項に記載の情報処理装置。
＜請求項７＞
前記算出部は、前記プレゼンテーションに伴うプレゼンテーション資料のページ毎に、前記聴講者の反応を示す評価値を算出する、
請求項１〜５のいずれか一項に記載の情報処理装置。
＜請求項８＞
前記算出部は、前記プレゼンテーションに伴うプレゼンテーション資料のブロック毎に、前記聴講者の反応を示す評価値を算出する、
請求項１〜５のいずれか一項に記載の情報処理装置。
＜請求項９＞
前記算出部は、前記判別部により判別された前記聴講者の反応の時間に基づいて、前記聴講者の反応を示す評価値を算出する、
請求項１〜８のいずれか一項に記載の情報処理装置。
＜請求項１０＞
前記算出部は、前記判別部により判別された前記聴講者の反応の回数に基づいて、前記聴講者の反応を示す評価値を算出する、
請求項１〜８のいずれか一項に記載の情報処理装置。
＜請求項１１＞
前記算出部は、前記判別部により聴講者の反応が肯定的であると判別された場合は評価値を加算し、前記判別部により聴講者の反応が否定的であると判別された場合は評価値を減算し、前記聴講者の反応を示す評価値を算出する、
請求項１〜１０のいずれか一項に記載の情報処理装置。
＜請求項１２＞
コンピュータを、
プレゼンテーションを聴講した聴講者の反応を認識し、聴講者の反応が肯定的であるか否定的であるかを判別する判別部、
前記判別部による判別結果に基づいて、聴講者の反応を示す評価値を算出する算出部、
として機能させるためのプログラム。

１０ 情報処理装置
１１ ＣＰＵ
１２ 操作部
１３ 表示部
１４ 通信部
１５ 音声入力部
１６ 音声出力部
１７ ＲＡＭ
１８ ＲＯＭ
１９ 記憶部
１８３ 音声データ解析プログラム
１９１ プレゼンテーションデータ
１９２ 音声データ
１９３ 発言者リスト
１９４ 分割音声データ
１９５ コメント分析データ

Claims (12)

1. プレゼンテーションを聴講した聴講者の反応を認識し、聴講者の反応が肯定的であるか否定的であるかを判別する判別部と、
   前記判別部による判別結果に基づいて、聴講者の反応を示す評価値を算出する算出部と、
   を備える情報処理装置。
2. 前記判別部は、前記聴講者の反応を前記聴講者が発する音声に基づいて認識し、前記聴講者の反応が肯定的であるか否定的であるかを判別する、
   請求項１に記載の情報処理装置。
3. 前記判別部は、前記聴講者が発する音声の中に同意又は賞賛を示す言葉が含まれる場合に、前記聴講者の反応が肯定的であると判別し、前記聴講者が発する音声の中に反対又は批判を示す言葉が含まれる場合に、前記聴講者の反応が否定的であると判別する、
   請求項２に記載の情報処理装置。
4. 前記判別部は、前記聴講者の反応を前記聴講者が行う動作に基づいて認識し、前記聴講者の反応が肯定的であるか否定的であるかを判別する、
   請求項１に記載の情報処理装置。
5. 前記判別部は、前記聴講者が行う動作の中に同意又は賞賛を示す動作が含まれる場合に、前記聴講者の反応が肯定的であると判別し、前記聴講者が行う動作の中に反対又は批判を示す動作が含まれる場合に、前記聴講者の反応が否定的であると判別する、
   請求項４に記載の情報処理装置。
6. 前記算出部は、前記プレゼンテーションに伴う発言内容毎に、前記聴講者の反応を示す評価値を算出する、
   請求項１〜３のいずれか一項に記載の情報処理装置。
7. 前記算出部は、前記プレゼンテーションに伴うプレゼンテーション資料のページ毎に、前記聴講者の反応を示す評価値を算出する、
   請求項１〜５のいずれか一項に記載の情報処理装置。
8. 前記算出部は、前記プレゼンテーションに伴うプレゼンテーション資料のブロック毎に、前記聴講者の反応を示す評価値を算出する、
   請求項１〜５のいずれか一項に記載の情報処理装置。
9. 前記算出部は、前記判別部により判別された前記聴講者の反応の時間に基づいて、前記聴講者の反応を示す評価値を算出する、
   請求項１〜８のいずれか一項に記載の情報処理装置。
10. 前記算出部は、前記判別部により判別された前記聴講者の反応の回数に基づいて、前記聴講者の反応を示す評価値を算出する、
    請求項１〜８のいずれか一項に記載の情報処理装置。
11. 前記算出部は、前記判別部により聴講者の反応が肯定的であると判別された場合は評価値を加算し、前記判別部により聴講者の反応が否定的であると判別された場合は評価値を減算し、前記聴講者の反応を示す評価値を算出する、
    請求項１〜１０のいずれか一項に記載の情報処理装置。
12. コンピュータを、
    プレゼンテーションを聴講した聴講者の反応を認識し、聴講者の反応が肯定的であるか否定的であるかを判別する判別部、
    前記判別部による判別結果に基づいて、聴講者の反応を示す評価値を算出する算出部、
    として機能させるためのプログラム。

Images