JP5257330B2

JP5257330B2 - 発言記録装置、発言記録方法、プログラム及び記録媒体

Info

Publication number: JP5257330B2
Application number: JP2009255361A
Authority: JP
Inventors: 誠人新西; 聡一郎伊賀; 政司中臣
Original assignee: Ricoh Co Ltd
Current assignee: Ricoh Co Ltd
Priority date: 2009-11-06
Filing date: 2009-11-06
Publication date: 2013-08-07
Anticipated expiration: 2029-11-06
Also published as: US8862473B2; US20110112835A1; EP2320333A3; JP2011100355A; CN102063461A; EP2320333A2

Description

本発明は、会議における発言を記録して視覚化表示し、使用者の要求に応じて再生する発言記録装置、発言記録方法に関する。

会議における発言構造を視覚化表示し、それを記録された会議情報へのアクセスのインデックスとして利用することが可能な会議情報記録再生装置において、会議の音声または映像記録に話者特定処理をかけ、音声または映像を話者でセグメンテーションし、利用者が視覚化されたセグメンテーション結果から音声または映像のセグメントを指定して再生する会議情報記録再生装置が知られている。
例えば、特許文献１には、会議中の記録映像や音声を、自然言語処理における重要文抽出技術、音声処理における話者特定と音声Ｇｒｅｐ技術を利用して解析し、各々の話者の話題毎の発言映像や音声を自動的に抽出して、記録情報の再利用性を向上させるために、議事録から抽出される重要語および話者ごとの発言から、同じ話者の同じ話題に関する会議映像のセグメントを生成するシステムが記載されている。

しかし、特許文献１に記載の会議情報記録再生装置では、アルゴリズムとして発言者の前後の発言者などを参考にするため、話題や内容に立ち入った検索ができず、コンテクストを覚えていないと検索しにくく、また議事録を利用するため、議事録が生成される前の進行中の会議においては利用できないという問題があった。
以上の問題を鑑みて、本発明は、進行中の会議において、発話・記録された発言を、発言者毎に、議事進行の状況にあわせて簡易に表示して振り返ることが可能な発言記録装置及び発言記録方法を提供することを目的とする。

上記の課題を解決するために、請求項１の発明は、音声入力装置及び音声出力装置を備え、発言の音声を記録し、再生することが可能な発言記録装置であって、前記音声入力装置によって発言の音声を音声データとして取得し、取得した音声データを、予め話題データベースに登録された複数の話題中、話題指示手段によって指示された話題及び音声データから識別される話者ごとに音声データベースに登録する音声取得部と、前記音声データベースに登録された音声データに対して音声認識を行ってテキスト情報を取得する音声認識部と、該音声認識部によって得られたテキスト情報に対して形態素解析を行い、得られた単語から抽出したキーワードを、前記音声データベースに音声とともに登録した話題及び話者とともにキーワードデータベースに登録する形態素解析部と、前記キーワードを、話題及び話者に関連づけたマトリクス中に表示する表示生成部と、を備えた発言記録装置を特徴とする。
また、請求項２の発明は、請求項１に記載の発言記録装置において、前記キーワードは、前記テキスト情報中の名詞である発言記録装置を特徴とする。
また、請求項３の発明は、請求項１又は２に記載の発言記録装置において、前記表示生成部は、前記マトリクス中に表示されたキーワードについて、当該キーワードの前後所定数の単語からなる文章を表示する発言記録装置を特徴とする。

また、請求項４の発明は、請求項３に記載の発言記録装置において、実時間を計測する実時間計測手段と、前記音声データベースに登録された音声データを前記音声出力装置によって再生する音声再生部と、を備え、前記音声取得部は、前記音声データを、前記実時間計測手段の計測結果に基づく開始時間とともに取得し、前記形態素解析部は、前記音声データにおける各単語の開始時間を取得し、前記音声再生部は、前記文章を構成する単語の開始時間に基づいて音声データを再生する発言記録装置を特徴とする。
また、請求項５の発明は、請求項１乃至４の何れか一項に記載の発言記録装置において、現在なされている発言が前記話題指示手段により指示されていた話題とは無関係である旨指示がなされた状態で音声データが前記音声データベースに登録された場合、前記表示生成部は、当該音声データから得られるキーワードを前記マトリクス中の専用領域に区別して表示する発言記録装置を特徴とする。
また、請求項６の発明は、請求項５に記載の発言記録装置において、前記話題データベースは、話題毎に予め説明文を格納し、前記表示生成部は、前記専用領域に表示されたキーワードが、前記形態素解析部により前記説明文に対して形態素解析を行って得られる単語と合致する場合は、前記マトリクスにおける当該単語が含まれる話題に対応する箇所にも当該キーワードを表示する発言記録装置を特徴とする。

また、請求項７の発明は、請求項１乃至６の何れか一項に記載の発言記録装置において、前記マトリクス中に表示されたキーワードに基づいて、前記話題データベースに新たに話題を追加できる発言記録装置を特徴とする。
また、請求項８の発明は、請求項１乃至７の何れか一項に記載の発言記録装置において、前記マトリクス中に表示されるキーワードについて、重要度や話題との関連度を入力する手段を備えた発言記録装置を特徴とする。
また、請求項９の発明は、請求項１乃至８の何れか一項に記載の発言記録装置において、前記マトリクス中に表示されるキーワードは削除可能であり、キーワードの削除が削除されると、前記音声認識部は、再度音声認識をし直す発言記録装置を特徴とする。

また、請求項１０の発明は、音声入力装置及び音声出力装置を備え、発言の音声を記録し、再生することが可能な発言記録装置の発言記録方法であって、前記発言記録装置が有する音声取得部が、前記音声入力装置によって発言の音声を音声データとして取得し、取得した音声データを、予め話題データベースに登録された複数の話題中、話題指示手段によって指示された話題及び音声データから識別される話者ごとに音声データベースに登録するステップと、前記発言記録装置が有する音声認識部が、前記音声データベースに登録された音声データに対して音声認識を行ってテキスト情報を取得するステップと、前記発言記録装置が有する形態素解析部が、該音声認識部によって得られたテキスト情報に対して形態素解析を行い、得られた単語から抽出したキーワードを、前記音声データベースに音声とともに登録した話題及び話者とともにキーワードデータベースに登録するステップと、前記発言記録装置が有する表示生成部が、前記キーワードを、話題及び話者に関連づけたマトリクス中に表示するステップと、を含む発言記録方法特徴とする。
また、請求項１１の発明は、コンピュータに、請求項１０に記載の発言記録方法を実行させるためのプログラムを特徴とする。
また、請求項１２の発明は、請求項１１に記載のプログラムを記録したコンピュータが読み取り可能な記録媒体を特徴とする。

上記のような構成を備えるので、本発明によれば、進行中の会議において、発話・記録された発言を、発言者毎に、議事進行の状況にあわせて簡易に表示し、且つ発言を再生して振り返ることが可能となる。

本実施形態に係る装置のシステム構成を示す図。本発明の装置における基本的なインターフェイスを示す図。話題となる議題が変わった場合、それを装置に明示的に指示する様子を示す図。発言を記録中に、その発言が議題以外の話題になったとき、装置に対して明示的にその旨を指示する様子を示す図。アジェンダＤＢに登録される内容を示す概要図。音声ＤＢに登録される内容を示す概要図。音声取得部が、音声を音声ＤＢに登録する処理を説明するフローチャート。認識音声テキストＤＢに登録される内容を示す概要図。形態素解析部が、発言中の単語を認識音声テキストＤＢに登録する処理を説明するフローチャート。キーワードＤＢ２４に登録される内容を示す概要図。形態素解析部によって、音声認識テキストＤＢの単語をキーワードＤＢに登録する処理を説明するフローチャート。形態素解析部によって、アジェンダＤＢ２１の単語をキーワードＤＢ２４に登録する処理を説明するフローチャート。表示生成部が、マトリクス中にタグクラウドを表示する処理を説明するフローチャート。その他の欄に表示されたタグクラウド中の単語を明示的に議題についての欄に移動させる様子を示す図。関連する発言キーワードが出現する状態について説明する図。表示生成部による関連キーワードの表示処理を示すフローチャート。発言の振り返り表示について説明する図。表示生成部による発言の振り返り表示処理を説明するフローチャート。記録された発言の再生について説明する図。音声再生部による発言の再生の処理を説明するフローチャート。新規議題の作成について説明する図。重要性、関係性スライダーについて説明する図。誤認識タグの削除について説明する図。

以下に、図面を参照して本発明の実施の形態を詳細に説明する。
図１は、本実施形態に係る発言記録装置のシステム構成を示す図である。
図１（ａ）は、本実施形態に係る発言記録装置のハードウェア構成を示す図である。
図１（ａ）に示すように、システム全体の動作を制御し、また、各種プログラムを地実行するコントローラ部としてのＣＰＵ（Central Processing Unit）１、実時間を測定するためのリアルタイムクロック２（ＲＴＣ：Real Time Clock）２、各種プログラムやデータベースを格納する蓄積部としてのハードディスク９、ハードディスク９に格納されたプログラムが、ＣＰＵ１による処理のために展開されるＲＡＭ（Random Access Memory）１０を備えている。
また、マンマシンインターフェイスとして、Ｉ／Ｏ３を介して、表示装置としてのディスプレイ４、入力手段としてのキーボード５、マウス６、会議中の発言者の音声を録音するためのマイク（音声入力装置）７、録音した音声を再生するためのスピーカー(音声出力装置)８を備えている。
図１（ｂ）は、本実施形態に係る発言記録装置のソフトウェア構成を示す図である。
図１（ｂ）に示すように、装置に備えるハードディスク９には、会議の議題（話題）が、アジェンダＩＤ（以下、単にＩＤと表記する）、その詳細の内容とともに記録された話題データベースとしてのアジェンダＤＢ（データベース）２１、マイク７によって取得される音声が登録される音声ＤＢ２２、音声ＤＢ２２に登録された音声から認識された音声テキストに含まれる単語が登録される認識音声テキストＤＢ２３、認識音声テキストＤＢ２３に登録された音声テキスト及びアジェンダＤＢ２１に登録される議題、詳細情報から抽出される名詞が登録されるキーワードＤＢ２４が格納されている。

また、装置に備えるＲＡＭ１０には、マイク７によって会議中の発言の音声を取得し、発言者、議題毎の音声データに分割して、ＲＴＣ２から得られる、発言が行われた実時間とともに音声ＤＢ２２に登録する音声取得部３１、音声ＤＢ２２に登録された音声データに対して音声認識を行って音声テキストを得る音声認識部３２、得られた音声テキストについて形態素解析を行って得た単語を、認識音声テキストＤＢ２３に登録するとともに、登録した単語から名詞を取り出してキーワードＤＢ２４に登録する形態素解析部３３を備える。また、形態素解析部３３は、アジェンダＤＢ２１に登録される議題、詳細情報から議題ごとのキーワード（名詞）を抽出してキーワードＤＢ２４に登録する。
また、各プログラムの実行結果や各データベースに格納される情報に基づいて、ディスプレイ４にインターフェイス画面を表示し、表示内容を変更する表示生成部３４、音声ＤＢ２２に格納された音声データを再生し、スピーカー８から出力する処理を行う音声再生部３５を備えている。
これらの各処理部としてのプログラムを、ＣＤ−ＲＯＭやメモリカードなどの記録媒体に格納することで、マイクやスピーカーを有する汎用的なあらゆるコンピュータでこれらのプログラムを実行して本実施形態の発言記録装置として使用することが可能である。

図２は、本実施形態に係る発言記録装置における基本的なインターフェイスを示す図である。
図２に示すインターフェイス画面は、表示生成部３４によってディスプレイ４に表示されるものであり、予めアジェンダＤＢ２１に入力された議題と、発言者からなるマトリクス４０から構成される。
図２のマトリクス４０において、ＩＤ列４１に、会議における議題が表示され、キーワード列４２では、会議の発言者毎のセルに、キーワードＤＢ２４に登録されたキーワードが表示される。
より詳細には、マイク７によって取得された発言者の発言は、音声取得部３１によって、一人の発言者の一回の発言ごとに分割され（従来から知られる音声処理における話者特定が適用可能である）、音声認識部３２、形態素解析部３３による処理によってキーワードが抽出され、抽出されたキーワードが、マトリクス４０におけるキーワード列４２中、該当する発言者の列のセルにタグクラウド４３として表示される。
図２に示す例では、ＩＤ１の議題に該当する列４１−１の、発言者Ｃに該当するセルにキーワード（納品、お客さん、バイト等）がタグクラウド４３として表示されている。
なお、音声取得部３１が音声ＤＢ２２に、発言者の音声を議題ごとに登録するためには、現在どの議題が話題になっているのかを発言記録装置に指示する必要がある。
そこで、本実施形態の発言記録装置では、マウス６によって、話題指示手段としてのマウスポインタＰを操作し、現在会議において、どの議題が話題にされているのかを発言記録装置に指示する。

図３は、話題となる議題が変わった場合、それを装置に明示的に指示する様子を示す図である。
例えば、話題がＩＤ１の議題からＩＤ２の議題に変わった場合、マウスポインタＰをマトリクス４０のＩＤ列４１のＩＤ２の議題のセルに移動させる。
議題が移行すると、移行した先のセルでタグクラウドが生成されはじめる。もちろん、キーボードなどからの入力によって議題を移行しても良い。
より詳細には、音声取得部３１は、マトリクス４０におけるＩＤ列４１の何れかにマウスポインタＰがあるかにより、音声ＤＢ２２に音声データとともに書き込む議題のＩＤを変更する。例えば、マウスポインタＰがＩＤ２の議題に対応する列４１−２にあれば、音声取得部３１は、ＩＤ２の議題が話題になっていた時の発言であるとして音声ＤＢ２２に登録する。列４１−３、４１−４についても同様である。
また、ある議題が話題になっているときに、その議題以外の話題になることがあるが、その場合にも、その旨を発言記録装置に指示を行う。

図４は、発言を記録中に、その発言が、議題以外の話題になったとき、装置に対して明示的にその旨を指示する様子を示す図である。
図４に示すように、現在話題になっている議題以外の発言がされた時には、マウスポインタＰを、図２におけるマトリクス４０の列４１−５（その他）に置くことで、発言は、ＩＤ「その他」として音声ＤＢ２２に記録されていき、続く形態素解析部３３、表示生成部３４による処理を経て、その時に発話された発言は、その他の列４１−５の、発言者に該当するセル（発言者がＣであれば、セル９０）にタグクラウドとして表示される。
次に、各データベースにおける登録内容と、データベースに登録を行うための各処理部（プログラム）の動作、及びマトリクス４０にキーワードを表示するための処理を詳細に説明する。

図５は、アジェンダＤＢ２１に登録される内容を示す概要図である。
ＩＤ列５１には、個々の議題のＩＤ、議題列５２には、この議題の議題、詳細列５３には、議題の詳細の内容が示される。
図６は、音声ＤＢ２２に登録される内容を示す概要図である。
音声ＤＢ２２は、音声取得部３１によって取得された音声データを一人の発言者の一回の発言に分割して登録したものである。
列６１には、発言が開始された時間、列６２には、その発言が続いた時間（次の発言が始まる前の時間）、列６３には発言者、列６４には分割したファイルを識別するためのＩＤ、列６５には、ステータスとして、どのＩＤの議題に関連してなされた発言であるか、が格納される。
これは、図３、４に関連して説明したマトリクス中のマウスポインタＰの位置により決定されるものである。
図６において、例えば１５時４３分２５秒０１から５秒０４間、発言者ＡによりＩＤ１の議題についてなされた発言がＩＤ５６のファイルとして格納されていることを意味している。

図７は、音声取得部３１が、音声を音声ＤＢ２２に登録する処理を説明するフローチャートである。
図７に示すように、まず、マイク７から会議中の音声が取得され（ステップＳ１０１）、音声取得部３１が、発言者ごとに音声ファイルを分割し（ステップＳ１０２）、次いで、ＲＴＣ２から時間情報を取得して（ステップＳ１０３）、発言者、音声データ、時間、ファイルＩＤを音声ＤＢ２２に登録する（ステップＳ１０４）。
図８は、認識音声テキストＤＢ２３に登録される内容を示す概要図である。
認識音声テキストＤＢ２３は、形態素解析部３３が、音声ＤＢ２２に登録された発言者の一回の発言に対して形態素解析を行って抽出した単語を、その発話を開始した時間、単語を発していた発話時間、その単語を発した発言者、その品詞、単語を発していた際に話題になっていた議題のＩＤとともに登録したものである。
図８において、列７１には単語の発話が開始された時間、列７２には発話時間（単位はミリ秒）、列７３には、発言者、列７４には単語、列７５にはその単語の品詞、列７６にはステータスとして、単語を発していた際に話題になっていた議題が登録されている。
図８において、例えば１５時４３分２５秒０１から８４ミリ秒の間発言者Ａによって「納期」という名詞がＩＤ１の話題について発話されたことが登録されている。

図９は、形態素解析部３３が、発言中の単語を認識音声テキストＤＢに登録する処理を説明するフローチャートである。
まず、音声ＤＢ２２に登録された音声データが取得され（ステップＳ２０１）、音声認識部３２が音声データに対して音声認識を行い、音声テキストを取得する（ステップＳ２０２）。
その際、音声認識部３２は、音声認識した認識語に対応する時間情報を取得する（ステップＳ２０３）。すなわち、音声データ中の各音に対応する、発話時間中の時点を取得する。
次に、形態素解析部３３が、取得された音声テキスト情報に対して形態素解析を行って、単語に分割し、その品詞の判別をも行う（ステップＳ２０４）。
次いで、形態素解析部３３は、ステップＳ２０３で得られた時間情報に基づいて、各単語の開始時間、発話時間、単語、発言者、品詞情報を認識音声テキストＤＢ２３に登録する（ステップＳ２０５）。

図１０は、キーワードＤＢ２４に登録される内容を示す概要図である。
キーワードＤＢ２４は、認識音声テキストＤＢ２３に登録した単語のうち、名詞のみを、その単語が発話された議題、図２のマトリクスにおいてその単語を表示すべきＩＤ列、発言者、発話された回数とともに登録したものである。
図１０において、列８１には、マトリクス４０において単語を表示すべき位置（ＩＤ列）、列８２には、ステータスとして、単語が発話された議題のＩＤ、列８３にその単語、列８４にはその単語を発話した発言者、列８５には議題において単語が発話された回数（すなわち、マトリクス４０の表示位置中に単語が出現した回数）が格納される。
図１０において、例えば、「開発環境」という単語が、ＩＤ１の議題が話題になっている際に、発言者Ａによって２回発話され、その単語は、図２のマトリクスにおいて、キーワード列４２中、発言者Ａについての列の、ＩＤ１の議題に対応するセル中のタグクラウド４３に表示すべきであることが登録されている。セル８７については図１１で説明する。
また、図１０中、行８６には、形態素解析部３３によって、アジェンダＤＢ２１の議題、詳細の欄に記されたテキストを形態素解析して得られた単語（名詞）が、列５１に示される対応する議題のＩＤ、出現した回数とともに登録されている。

図１１は、形態素解析部３３によって、音声認識テキストＤＢ２３の単語をキーワードＤＢ２４に登録する処理を説明するフローチャートである。
形態素解析部３３は、認識音声テキストＤＢ２３における、品詞が名詞である単語を、発言者、ステータス（議題）とともに取得する（ステップＳ３０１）。
図４に関連して述べたように、話題になっている議題とは関係のない発言がなされた場合に、ステータスをＩＤ「その他」として音声を記録する旨発言記録装置に指示可能であることを説明したが、記録されたステータスが「その他」である場合は（ステップＳ３０２でＹｅｓ）、音声認識テキストＤＢ２３に登録されている他の単語のうち、ステータスがＩＤ(「その他」以外)となっているものとマッチングを行い（ステップＳ３０３）、同じ単語が存在すれば（ステップＳ３０４でＹｅｓ）、列８１に、その単語のＩＤを、列８１の該当するセルに、「その他」ととともに入力する(ステップＳ３０５)（図１０のセル８７を参照）。
同じ単語がない場合（ステップＳ３０４でＮｏ）、列８１のセルには「その他」を代入する（ステップＳ３０６）。
次に、キーワードＤＢの同じステータス（議題）に同じ単語が存在するかを検索し（ステップＳ３０７）、存在しない場合（ステップＳ３０８でＮｏ）、キーワードＤＢ２４に行を追加し（ステップＳ３０９）、表示位置、ステータス、単語、発言者、回数を入力する。存在する場合は（ステップＳ３０８でＹｅｓ）、その単語に該当する行の、列８５の値に加算する（ステップＳ３１０）。
ステップＳ３０２においてＮｏの場合、すなわちステータスがＩＤである場合には、そのままステップＳ３０７に移動する。

図１２は、形態素解析部３３によって、アジェンダＤＢ２１の単語をキーワードＤＢ２４に登録する処理を説明するフローチャートである。
形態素解析部３３は、アジェンダＤＢ２１から議題、詳細情報を取得する（ステップＳ４０１）。次に、取得した議題、詳細情報に対して形態素解析を行い（ステップＳ４０２）、その結果として得た単語から名詞のみを取得する（ステップＳ４０３）。そして、その名詞を、議題毎に、そのＩＤとともに、キーワードＤＢ２４に入力する（ステップＳ４０４）。
図１３は、表示生成部３４が、マトリクス中にタグクラウドを表示する処理を説明するフローチャートである
表示生成部３４は、キーワードＤＢ２４にアクセスし、表示位置（列８１）、単語（列８３）、発言者（列８４）、回数（列８５）を取得する（ステップＳ５０２）。
次に、表示位置ごとの単語の回数を加算し、それぞれの単語の回数で割って割合を求める（ステップＳ５０２）。
さらに、表示位置、発言者を考慮して、ステップ５０２で求めた割合に応じた大きさのフォントで単語を生成する（ステップＳ５０３）。
以上が、本実施形態の装置における発言者の発言からのキーワードの抽出・表示の基本的な流れである。

図１４は、その他の欄に表示されたタグクラウド中の単語を明示的に議題についての欄に移動させる様子を示す図である。
図１４において、その他の欄のセル９０に表示されているタグクラウドの中の単語１００が、ＩＤ２の議題に対応すると考えられる場合は、マウスポインタＰを操作して単語１００を同じ発言者のＩＤ２に議題に対応するセル９１にドラッグすることで、セル９１のタグクラウドに、単語１００を含ませることが出来る。
それに連動して、キーワードＤＢ２４の列８１（表示位置）の内容が変更されることは言うまでもない。
なお、本発明の装置では、図２に示すように他の議題に移行した時、その他の列に表示されていたキーワードから、移行先の議題に関連のありそうな単語タグクラウドとして表示することが出来る。
図１５は、関連する発言キーワードが出現する状態について説明する図である。
例えば、ＩＤ２の議題に移行した場合、ＩＤ「その他」の議題についてのセル９０におけるＩＤ２の議題に関連する単語、「送料、トラック、倉庫、無料」がタグクラウド９２として表示される。
こうすることで、単語ベースで、どのような発言があったのかを振り返ることができる。

図１６は、表示生成部による関連キーワードの表示処理を示すフローチャートである。
議題が移行すると、表示生成部３４は、移行先のステータス（議題）を取得する（ステップＳ６０１）。
次に、キーワードＤＢ２４にアクセスし、その他の表示位置の該当するサブ表示位置（セル８７）の単語、発言者、回数を取得する（ステップＳ６０２）。
次に、取得した単語の回数を加算し、それぞれの単語の回数で割って割合を求める（ステップＳ６０３）。
そして、表示位置、発言者を考慮し、求めた割合に応じた大きさのフォントで単語を生成、表示する（ステップＳ６０４）。
図１７は、発言の振り返り表示について説明する図である。
マトリクス４０のセルに表示されたタグクラウド中の単語にマウスカーソルＰを合わせると、表示生成部３４は、認識音声テキストＤＢに登録されたテキストに基づいて、選択された単語が発話された前後（例えば５０文字）の単語と共に文章９３として列挙される。それにより、どのような発言だったのかを簡単に振り返ることができる。
もちろん、図２に示すような強調表示されたタグクラウドの中の単語をクリックしても同様の効果を得られる。

図１８は、表示生成部３４による発言の振り返り表示処理を説明するフローチャートである。
図１８に示すように、タグクラウド中の単語がクリックされると（ステップＳ７０１でＹｅｓ）、クリックされた単語と、表示位置を取得する（ステップＳ７０２）。次に、キーワードＤＢ２４からステータス（議題）を取得し（ステップＳ７０３）、認識音声テキストＤＢ２３の該当するステータスの該当する単語を検索する（ステップＳ７０４）。単語があった場合は（ステップＳ７０５でＹｅｓ）、該当する単語から前後の規定数（例えば５０文字）の文字列を取得し（ステップＳ７０６）、前後の規定数の文字列を生成する（ステップＳ７０７）。その際、文字列の中で、該当単語の文字色を変更したり、書体をボールドにするなどして強調表示をしても良い。
そして、ステップＳ７０５に戻り、該当する単語が無くなるまで続ける。
図１９は、記録された発言の再生について説明する図である。
図１９において、図１７の状態で、マウスポインタＰにより、更にその文章を選択(クリック)することにより、音声が再生される。これにより、発話内容を完全に振り返ることができる。

図２０は、音声再生部よる発言の再生の処理を説明するフローチャートである。
マトリクス４０中の文章がクリックされたことがＩ／Ｏ３によって検知されると（ステップＳ８０１）、音声再生部３５は、クリックされた文章を取得する（ステップＳ８０２）。次に、音声認識テキストＤＢ２３にアクセスして、開始時間と発言者を取得する（ステップＳ８０３）。さらに、音声ＤＢ２２から開始時間と発言者を元にファイルＩＤを取得する（ステップ８０４）。そして、ファイルＩＤから音声ファイルを取得し（ステップＳ８０５）、再生を行う（ステップＳ８０６）。
図２１は、新規議題の作成について説明する図である。
タグクラウドの中の単語から、新たに議題を生成する場合には、その目的の単語１０１を、マウスなどでＩＤ列４１にドラッグすることにより、アジェンダＤＢに議題が作成され、図２のマトリクス４０における表示も変更される。

図２２は、重要性、関係性スライダーについて説明する図である。
発話内容の重要性や関連性について、ファシリテータがレベルを入れながらファシリテーションできる。議題の下にある、レベル入力ＵＩ１０２から入力しても良いし、ホイールマウスで入力する方法も考えられる。
図２３は、誤認識タグの削除について説明する図である。
誤認識され、そぐわない単語が表示されている場合には、その単語１０３をディスプレイ４に別途表示したゴミ箱にドラッグすることで、誤認識タグを消すことができる。また、設定により、その部分の音声認識をし直すことも可能となる。

１ＣＰＵ、２リアルタイムクロック、３Ｉ／Ｏ、４ディスプレイ、５キーボード、６マウス、７マイク、８スピーカー、９ハードディスク、１０ＲＡＭ、２１アジェンダＤＢ、２２音声ＤＢ、２３音声認識テキストＤＢ、２３認識音声テキストＤＢ、２４キーワードＤＢ、３１音声取得部、３２音声認識部、３３形態素解析部、３４表示生成部、３５音声再生部、４０マトリクス

特開２００４−０２３６６１公報

Claims

音声入力装置及び音声出力装置を備え、発言の音声を記録し、再生することが可能な発言記録装置であって、
前記音声入力装置によって発言の音声を音声データとして取得し、取得した音声データを、予め話題データベースに登録された複数の話題中、話題指示手段によって指示された話題及び音声データから識別される話者ごとに音声データベースに登録する音声取得部と、
前記音声データベースに登録された音声データに対して音声認識を行ってテキスト情報を取得する音声認識部と、
該音声認識部によって得られたテキスト情報に対して形態素解析を行い、得られた単語から抽出したキーワードを、前記音声データベースに音声とともに登録した話題及び話者とともにキーワードデータベースに登録する形態素解析部と、
前記キーワードを、話題及び話者に関連づけたマトリクス中に表示する表示生成部と、
を備えたことを特徴とする発言記録装置。
請求項１に記載の発言記録装置において、前記キーワードは、前記テキスト情報中の名詞であることを特徴とする発言記録装置。
請求項１又は２に記載の発言記録装置において、
前記表示生成部は、前記マトリクス中に表示されたキーワードについて、当該キーワードの前後所定数の単語からなる文章を表示することを特徴とする発言記録装置。
請求項３に記載の発言記録装置において、
実時間を計測する実時間計測手段と、前記音声データベースに登録された音声データを前記音声出力装置によって再生する音声再生部と、を備え、
前記音声取得部は、前記音声データを、前記実時間計測手段の計測結果に基づく開始時間とともに取得し、
前記形態素解析部は、前記音声データにおける各単語の開始時間を取得し、
前記音声再生部は、前記文章を構成する単語の開始時間に基づいて音声データを再生することを特徴とする発言記録装置。
請求項１乃至４の何れか一項に記載の発言記録装置において、現在なされている発言が前記話題指示手段により指示されていた話題とは無関係である旨指示がなされた状態で音声データが前記音声データベースに登録された場合、前記表示生成部は、当該音声データから得られるキーワードを前記マトリクス中の専用領域に区別して表示することを特徴とする発言記録装置。
請求項５に記載の発言記録装置において、前記話題データベースは、話題毎に予め説明文を格納し、前記表示生成部は、前記専用領域に表示されたキーワードが、前記形態素解析部により前記説明文に対して形態素解析を行って得られる単語と合致する場合は、前記マトリクスにおける当該単語が含まれる話題に対応する箇所にも当該キーワードを表示することを特徴とする発言記録装置。
請求項１乃至６の何れか一項に記載の発言記録装置において、
前記マトリクス中に表示されたキーワードに基づいて、前記話題データベースに新たに話題を追加できることを特徴とする発言記録装置。
請求項１乃至７の何れか一項に記載の発言記録装置において、前記マトリクス中に表示されるキーワードについて、重要度や話題との関連度を入力する手段を備えたことを特徴とする発言記録装置。
請求項１乃至８の何れか一項に記載の発言記録装置において、前記マトリクス中に表示されるキーワードは削除可能であり、キーワードの削除が削除されると、前記音声認識部は、再度音声認識をし直すことを特徴とする発言記録装置。
音声入力装置及び音声出力装置を備え、発言の音声を記録し、再生することが可能な発言記録装置の発言記録方法であって、
前記発言記録装置が有する音声取得部が、前記音声入力装置によって発言の音声を音声データとして取得し、取得した音声データを、予め話題データベースに登録された複数の話題中、話題指示手段によって指示された話題及び音声データから識別される話者ごとに音声データベースに登録するステップと、
前記発言記録装置が有する音声認識部が、前記音声データベースに登録された音声データに対して音声認識を行ってテキスト情報を取得するステップと、
前記発言記録装置が有する形態素解析部が、該音声認識部によって得られたテキスト情報に対して形態素解析を行い、得られた単語から抽出したキーワードを、前記音声データベースに音声とともに登録した話題及び話者とともにキーワードデータベースに登録するステップと、
前記発言記録装置が有する表示生成部が、前記キーワードを、話題及び話者に関連づけたマトリクス中に表示するステップと、を含むこと特徴とする発言記録方法。
コンピュータに、請求項１０に記載の発言記録方法を実行させるためのプログラム。
請求項１１に記載のプログラムを記録したことを特徴とするコンピュータが読み取り可能な記録媒体。