JP2008032825A - 発言者表示システム、発言者表示方法および発言者表示プログラム - Google Patents

Abstract

【目的】本発明は、発言者の音声データをもとに氏名を表示する発言者表示システム、発言者表示方法および発言者表示プログラムに関し、発言者の音声データを音声認識して音声テキストデータに変換すると共に声紋テンプレートと照合していずれの氏名、権限の発言者かを判別して表示したり、音声テキストデータを検索して該当する発言を行った発言者の音声を発声すると共に併せて当該発言者の氏名、権限を表示することを目的とする。
【構成】音声データを音声テキストデータに変換すると共に声紋テンプレートと照合して発言者の氏名を判定する手段と、判定した発言者の氏名を表示する手段とを備える。
【選択図】 図１

Description

本発明は、発言者の音声データをもとに氏名を表示する発言者表示システム、発言者表示方法および発言者表示プログラムに関するものである。

従来、会社などで会議を行い議事録を作成する場合、発言者の音声データを収集してこれを音声テキストデータに変換し、時系列に発言者単位に音声テキストデータをまとめ、音声テキストデータを意味解析して漢字かな混じり文に変換して議事録を作成する技術があった（特許文献１）。

また、発言者の画像データと音声データを収集し、音声データを認識して音声テキストデータにすると共に画像データを遅延させて音声テキストデータと同期させて記録する。再生時に、映像、音声、および同期化した音声テキストデータを併せてモニタ上に表示する技術がある（特許文献２）。
特開２０００−１１２９３１号公報 特開平０５−２３６５０６号公報

上述した前者の技術では、各発言者毎に、音声データを音声テキストデータに変換、更に、漢字かな混じり文に変換し、発言者単位に議事録を作成できるのみであって、発言者がいずれの氏名であり、常務、部長などのいずれの権限を持つ発言者であるかなどを知ることが困難であるという問題があった。

また、上述した後者の技術では、発言者の画像に同期して音声テキストデータを単に表示するのみであって、当該発言者の氏名、更に、いずれの権限を持つ発言者などかなどを知ることができないという問題があった。

また、会議等においてリアルタイムに発言者の氏名、権限を知りたいという要望に答えられないという問題があった。

本発明は、これらの問題を解決するため、発言者の音声データを音声認識して音声テキストデータに変換すると共に声紋テンプレートと照合していずれの氏名、権限の発言者かを判別して表示したり、音声テキストデータを検索して該当する発言を行った発言者の音声を発声すると共に併せて当該発言者の氏名、権限を表示するようにしている。

本発明は、発言者の音声データを音声認識して音声テキストデータに変換すると共に声紋テンプレートと照合していずれの氏名、権限の発言者かを判別して表示したり、音声テキストデータを検索して該当する発言を行った発言者の音声を発声すると共に併せて当該発言者の氏名、権限を表示することにより、入力された音声データをもとにいずれの氏名、権限の発言者かを表示したり、過去の音声テキストデータを検索して該当する発言者の音声を発声すると共に発言者の氏名、権限を表示したりすることが可能となる。

本発明は、発言者の音声データを音声認識して音声テキストデータに変換すると共に声紋テンプレートと照合していずれの氏名、権限の発言者かを判別して表示したり、音声テキストデータを検索して該当する発言を行った発言者の音声を発声すると共に併せて当該発言者の氏名、権限を表示することを実現した。

図１は、本発明のシステム構成図を示す。
図１において、録音器１は、会議などで発言者が発言した音声を録音するものであって、テープレコードや、ＩＣレコーダ、ビデオ録画器（音声記録含む）などの少なくとも音声を録音するものである。録音器１で録音した音声データは、リアルタイムあるいは後に処理装置１１に入力する。

マイク２は、会議などの発言者が発言した音声を音声データにして処理装置１１にリアルタイムに入力するものである。

表示部／入力部３は、発言者の氏名、権限を表示したり、発言内容を検索するための文字（テキストデータ）を入力したりなどする入出力装置である。

スピーカ４およびイヤホン５は、音声を発声したり聞いたりするものであって、ここでは、検索して見つけた一致あるいは一部一致する部分の発言者の音声データを発声したり聞いたりするものである。

処理装置１１は、プログラムに従い各種処理を行うものであって、ここでは、インタフェース１２、声紋判定手段１３、文字変換手段１４、発言者特定手段１５、検索手段１６、検索結果表示手段１７、検索結果再生手段１８、再生部表示手段１９、および記録装置２１などから構成されるものである。

インタフェース１２は、録音器１、マイク２、表示部／入力部３、スピーカ４、イヤホン５とをそれぞれ接続してそれぞれ動作させるためのインタフェースである。

声紋判定手段１３は、録音器１あるいはマイク２から入力された発言者の音声データを、予め登録した発言者の声紋テンプレート２３と照合していずれの氏名の音声データであるかを判定するものである（図２から図４参照）。

文字変換手段１４は、音声データを音声テキストデータに変換する公知のものである。
発言者特定手段１５は、音声データについて、声紋テンプレート２３と照合していずれの発言者の氏名であるかを特定（判定）するものである（図２から図４参照）。

検索手段１６は、検索対象の文字（テキストデータ）が入力されたときに、音声テキストデータを検索して一致あるいは一部一致する部分を見つけるものである（図２から図４参照）。

検索結果表示手段１７は、検索手段１６で検索した検索結果を表示するものである（図２から図４参照）。

検索結果再生手段１８は、検索手段１６で検索した検索結果を再生（検索して見つけた一致あるいは一部一致する部分に対応する音声データを再生（発声））するものである（図２から図４参照）。

再生部表示手段１９は、検索手段１６で検索した検索結果の部分を表示するものである（図２から図４参照）。

記録装置２１は、各種データ（音声データ、音声テキストデータなど）を記録したり、各種テーブルなどを記録したりするものであって、ここでは、音声データ２２、声紋テンプレート２３、氏名権限テーブル２４、文字認識データテーブル２５などを記録するものである。

音声データ（録音データ）２２は、録音器１から入力、再生、あるいはマイク２から入力された音声データを記録したものである（図２から図４参照）。

声紋テンプレート２３は、発言者の音声（声紋）を予め録音してテンプレートとしたものであって、音声データと照合していずれの発言者（氏名）の音声であるかを自動認識するためのものである（図２から図４参照）。

氏名権限テーブル２４は、氏名に対応づけて権限を予め登録したものである（図２から図４参照）。

文字認識データテーブル２５は、音声データを音声認識して変換した音声テキストデータ、更に、発言者の氏名、権限などを対応づけて記録したものである（図２から図４参照）。

次に、図２のフローチャートの順番に従い、図１の構成の動作を詳細に説明する。
図２は、本発明の動作説明フローチャートを示す。

図２の（ａ）は、入力された音声データを音声テキストデータに変換するときの動作説明フローチャートを示す。

図２の（ａ）において、Ｓ１は、会議録音データを入力する。これは、例えば後述する図３の（ａ）に示す、図１の録音器１で録音した音声を再生して生成した録音データ（音声データ）について、図１のインタフェース１２を介して記録装置２１中の音声データ２２として入力し、記録する。音声データは、発言者の音声を録音したデータであって、アナログあるいはデジタルのいずれでもよいが、図１の記録装置２１中の音声データ２２にはデジタルの音声データとして記録する。

Ｓ２は、リアルタイム音声入力する。これは、図１のマイク２で会議などで発言者が発言した音声を電気信号の音声データ（アナログあるいはデジタル）に変換し、図１のインタフェース１２を介して記録装置２１中の音声データ２２（デジタル）として入力し、記録する。

Ｓ３は、生体認証するか判別する。これは、特に、リアルタイム音声入力時（Ｓ２）のときに、マイク１を握った発言者の指の指紋（あるいは静脈）を検出してその情報が受信され、生体認証するか判別する。

Ｓ３のＹＥＳの場合には、Ｓ４で発言者を指紋認証（静脈認証）し、氏名、権限を特定する。これは、予め登録した図示外の指紋認証情報（静脈認証情報）に対応づけて氏名、権限を予め登録した図示外のテーブルを参照して特定する。そして、Ｓ６に進む。

Ｓ３のＮＯの場合には、Ｓ５で氏名、権限を特定する。これは、Ｓ３のＮＯで生体認証しない（生体認証できない）と判明したので、音声データについて例えば図３の（ｂ）の声紋テンプレート２３と照合して最も一致する発言者の氏名を見つけ、当該氏名に対応づけて権限を予め登録した図３の（ｃ）の氏名権限テーブル２４を参照してその権限を特定する。そして、Ｓ６に進む。

以上のＳ１からＳ５によって、録音器１あるいはマイク２から入力された音声データについて、マイク２を握った発言者の生体認証をもとに発言者の氏名、権限を特定、あるいは声紋テンプレート２３と照合して最も一致する発言者の氏名、権限を特定することが可能となる。

Ｓ６は、音声データを文字変換する。これは、録音器１あるいはマイク２から入力された音声データについて、公知の音声認識処理を行い、音声テキストデータ（文字）に変換する。

Ｓ７は、文字変換ごとに発言者氏名、権限を付加する。これは、Ｓ６で音声データを音声テキストデータに変換する毎（例えば単語毎、分節毎、あるいは発言者が変わる毎）に、図３の（ｄ）あるいは（ｅ）に示すように、発言者の氏名、権限を付加する。この場合、発言者の氏名のみでもよい（この場合には、必要に応じて氏名をもとに図３の（ｃ）の氏名権限テーブル２４を参照して権限を検索する）。この際、併せて、検索時に再生するための逆引きできるように、音声データの各単語、分節、発言者毎の先頭の位置情報（最先頭からの時刻（例えば秒数））を設定しておく。

Ｓ８は、リアルタイム表示か判別する。これは、入力された音声データについて、現在の発言者のリアルタイム表示か判別する。

Ｓ８のＹＥＳの場合には、Ｓ９で発言者の氏名、権限と発言内容を表示、例えば図４の（ｌ）に示すように、発言者の氏名、権限、発言内容（音声テキストデータ）を表示し、現在時刻の部分を強調表示する。

Ｓ８のＮＯの場合には、Ｓ１０で記録する。これは、Ｓ６、Ｓ７で生成した図３の（ｄ）あるいは（ｅ）の文字認識データテーブル２５に示すように、氏名（例えばＢ氏）、権限（例えば部長）、音声テキストデータ（例えば「海へいった・・・。」）、更に、録音データの先頭位置からの時間ｔ１を、図１の記録装置２１の文字認識データテーブル２５として記録する。

以上のＳ１からＳ１０によって、録音器１あるいはマイク２から入力された音声データについて音声テキストデータに変換すると共に、単語毎、分節毎あるいは発言者が変わる毎に、氏名、権限を付加、および音声データの先頭からの時間を登録した文字認識データテーブル２５を作成し、記録装置２１の文字認識データテーブル２５として記録する共に、現在（マイク２のときは現在発言している発言者、録音器１のときは再生してる現在の音声データ）の発言者の氏名、権限を併せて表示することが可能となる。

図２の（ｂ）は、記録した文字認識データテーブル２５から発言内容を検索するときの動作説明フローチャートを示す。

図２の（ｂ）において、Ｓ１１は、検索する発言を文字入力する。これは、例えば後述する図３の（ｆ）に示すように、検索したい発言内容を文字入力する。

Ｓ１２は、検索する。
Ｓ１３は、検索結果を表示する。これらＳ１２、Ｓ１３は、Ｓ１１で入力された検索用の文字列をもとに、図３の（ｄ）あるいは（ｅ）の文字認識データテーブル２５を、テキスト検索して発言内容（音声テキストデータ）中に一致、一部一致するものを全て抽出し、図４の（ｇ）に示すように、一致度の高い順に候補（発言者の氏名、権限、発言内容）を表示する。

Ｓ１４は、再生を指定する。これは、Ｓ１３で表示した候補中から利用者により、例えば図４の（ｈ）に示すように、指定された再生の番号（候補）を取り込む。

Ｓ１５は、再生する。これは、Ｓ１４で候補中から指定された候補の発言内容（音声テキストデータ）に対応づけて登録されている文字認識データテーブル２５中の音声データの先頭位置からの時間ｔ１をもとに、音声データ２２の先頭から時間ｔ１の位置から当該音声データの再生を行うと共に、発言者の氏名、権限、発言内容を併せて、図４の（ｊ）あるいは（ｋ）に示すように表示する。

Ｓ１６は、文字データ表示の指示が有りか判別する。
Ｓ１６のＹＥＳの場合には、Ｓ１７で図４の（ｊ）あるいは（ｋ）に示すように、現在、再生（発声）中の音声テキストデータ中の部分を強調表示する。そして、Ｓ１８に進む。

Ｓ１６のＮＯの場合には、Ｓ１８にそのまま進む。
Ｓ１８は、ＮＥＸＴありか判別する。ＹＥＳの場合には、Ｓ１２に戻り繰り返す。一方、ＮＯの場合には、終了する。

以上のＳ１１からＳ１８によって、発言内容から検索したい文字列を入力すると、文字認識データテーブル２５を検索して一致および一部一致する発言内容（音声テキストデータ）の候補を図４の（ｇ）に示すように表示し、利用者がいずれかの候補を選択（指定）すると、当該選択された候補の音声テキストデータに対応する音声データの該当部分から再生（発声）を開始すると共に、発言者の氏名、権限を併せて表示する（図４の（ｊ）あるいは（ｋ））ことが可能となる。

図３および図４は、本発明の説明図を示す。
図３の（ａ）は、音声データ２２の例を示す。音声データ２２は、図１の録音器１から直接に入力あるいは再生された音声データ、あるいはマイク２から直接に入力された音声データを模式的に表した例であって、図１のインタフェース１２を介して記録装置２１の音声データ２２として記録されるものである。

図３の（ｂ）は、声紋テンプレート２３の例を示す。声紋テンプレート２３は、発言者（氏名）毎に、当該発言者の音声（音声の特徴）を記録したテンプレートであって、音声データがいずれの発言者（氏名）のものであるかを照合するためのものである。

図３の（ｃ）は、氏名権限テーブル２４の例を示す。氏名権限テーブル２４は、発言者の氏名に対応づけて、その権限（例えば社長、専務、部長、課長、係長など）を予め登録したものである。

図３の（ｄ）は、文字認識データテーブル２５（複数人／短時間（人が変わる毎））の例を示す。文字認識データテーブル２５には、左側の音声データ２２について、発言者の氏名、権限と、公知の音声認識処理で変換した音声テキストデータ（発言内容）、更に、各音声テキストデータについて音声データ２２の先頭からの時間ｔを対応づけて図示のように登録（記録）したものであって、ここでは、複数人が短時間に発言者が変わる毎に、図示の１つのエントリに例えば、
・Ｂ氏（氏名）
・部長（権限）
・「ＷＷＷＷ」（発言内容、音声テキストデータ）
・ｔ３（音声データの先頭位置からの時間ｔ）
を登録したものである。

図３の（ｅ）は、文字認識データテーブル２５（１人／長時間（分節毎））の例を示す。文字認識データテーブル２５には、左側の音声データ２２について、発言者の氏名、権限と、公知の音声認識処理で変換した音声テキストデータ（発言内容）、更に、各音声テキストデータについて音声データ２２の先頭からの時間ｔを対応づけて図示のように登録（記録）したものであって、ここでは、１人が長時間発言し続けているので分節毎に、図示の１つのエントリに例えば、
・Ｂ氏（氏名）
・部長（権限）
・「海へいった・・・。」（発言内容、音声テキストデータ）
・ｔ１（音声データの先頭位置からの時間ｔ）
を登録したものである。

図３の（ｆ）は、検索文の例を示す。これは、既述した図２の（ｂ）のＳ１１で利用者が発言内容の文字列検索する場合の検索文の例を示す。例えば
山＊谷＊いく
は、「山」、「谷」、「いく」の３つの単語が存在し、かつその間は任意の文字列０からｎ個に該当するものを検索する検索文の例である。

図４の（ｇ）は、複数候補例を示す。これは、図３の（ｆ）の検索文で発言内容を検索して一致および一部一致したうちの一致度の高い順に候補を表示した例を示す。

図４の（ｈ）は、候補入力画面例を示す。これは、図４の（ｇ）の複数候補中から１つを選択する、候補入力画面の例を示し、ここでは、番号「２」の候補を選択した旨を入力する画面である。

図４の（ｉ）は、再生画面例を示す。これは、図４の（ｈ）で選択した番号の候補の音声データ２２を再生している様子を示し、上段に音声データ２２の波形を表示して音声で図１のスピーカ４あるいはイヤホン５から発声すると共に、下段に音声テキストデータを表示する。

図４の（ｊ）は、表示例（複数人／短時間）を示す。これは、既述した図３の（ｄ）の文字認識データテーブル２５を作成してこれをもとに表示したときの表示例を示す。現在、再生中の発言内容の部分を強調表示（○２の部分を赤表示）する。

図４の（ｋ）は、表示例（１人／長時間）を示す。これは、既述した図３の（ｅ）の文字認識データテーブル２５を作成してこれをもとに表示したときの表示例を示す。現在、再生中の発言内容の部分を強調表示（○２の部分を赤表示）する。

図４の（ｌ）は、表示例（リアルタイム表示）を示す。図示の表示（発言者の氏名、権限、発言内容（音声テキストデータ）の表示）は、マイク２からの音声データをもとに、声紋テンプレート２３で特定した発言者の氏名等あるいはマイク２を握った発言者の指紋（静脈）で認証して特定した氏名等と、発言内容（音声テキストデータ）とを表示すると共に、現在（リアルタイム）の発言位置を矢印で指し示す。

本発明は、発言者の音声データを音声認識して音声テキストデータに変換すると共に声紋テンプレートと照合していずれの氏名、権限の発言者かを判別して表示したり、音声テキストデータを検索して該当する発言を行った発言者の音声を発声すると共に併せて当該発言者の氏名、権限を表示する発言者表示システム、発言者表示方法および発言者表示プログラムに関するものである。

また、会議等において、リアルタイムに発言者の氏名、権限等を表示することで、出席者は自分の発言内容を考察する手助けが得られる。

本発明のシステム構成図である。 本発明の動作説明フローチャートである。 本発明の説明図（その１）である。 本発明の説明図（その２）である。

符号の説明

１：録音器
２：マイク
３：表示部／入力部
４：スピーカ
５：イヤホン
１１：処理装置
１２：インタフェース
１３：声紋判定手段
１４：文字変換手段
１５：発言者特定手段
１６：検索手段
１７：検索結果表示手段
１８：検索結果再生手段
１９：再生部表示手段
２１：記録装置
２２：音声データ
２３：声紋テンプレート
２４：氏名権限テーブル
２５：文字認識データテーブル

Claims (8)

1. 発言者の音声データをもとに氏名を表示する発言者表示システムにおいて、
   前記音声データを音声テキストデータに変換すると共に声紋テンプレートと照合して当該発言者の氏名を判定する手段と、
   前記判定した発言者の氏名を表示する手段と
   を備えたことを特徴とする発言者表示システム。
2. 発言者の音声データをもとに氏名を表示する発言者表示システムにおいて、
   前記音声データを音声テキストデータに変換すると共に声紋テンプレートと照合して当該発言者の氏名を判定する手段と、
   前記音声テキストデータに対応づけて前記判定した発言者の氏名を記録する手段と、
   テキストデータを入力した検索指示に対応して、前記記録した音声テキストデータを検索して一致あるいは一部一致する部分を見つける検索手段と、
   前記見つけた一致あるいは一部一致する部分に対応する音声データを発声すると共に併せて見つけた一致あるいは一部一致する部分の発言者の氏名を表示する手段と
   を備えたことを特徴とする発言者表示システム。
3. 前記見つけた一致あるいは一部一致する部分の前後の部分も含めて対応する音声データを発声することを特徴とする請求項２記載の発言者表示システム。
4. 前記発言者の氏名を表示する際に、当該発言者の氏名に対応する権限を表示することを特徴とする請求項１から請求項３のいずれかに記載の発言者表示システム。
5. 発言者の音声データをもとに氏名を表示する発言者表示方法において、
   前記音声データを音声テキストデータに変換すると共に声紋テンプレートと照合して当該発言者の氏名を判定するステップと、
   前記判定した発言者の氏名を表示するステップと
   を有する発言者表示方法。
6. 発言者の音声データをもとに氏名を表示する発言者表示方法において、
   前記音声データを音声テキストデータに変換すると共に声紋テンプレートと照合して当該発言者の氏名を判定するステップと、
   前記音声テキストデータに対応づけて前記判定した発言者の氏名を記録するステップと、
   テキストデータを入力した検索指示に対応して、前記記録した音声テキストデータを検索して一致あるいは一部一致する部分を見つける検索ステップと、
   前記見つけた一致あるいは一部一致する部分に対応する音声データを発声すると共に併せて見つけた一致あるいは一部一致する部分の発言者の氏名を表示するステップと
   を有する発言者表示システム。
7. 発言者の音声データをもとに氏名を表示する発言者表示プログラムにおいて、
   コンピュータに、
   前記音声データを音声テキストデータに変換すると共に声紋テンプレートと照合して当該発言者の氏名を判定するステップと、
   前記判定した発言者の氏名を表示するステップと
   して動作させるための発言者表示プログラム。
8. 発言者の音声データをもとに氏名を表示する発言者表示プログラムにおいて、
   コンピュータに、
   前記音声データを音声テキストデータに変換すると共に声紋テンプレートと照合して当該発言者の氏名を判定するステップと、
   前記音声テキストデータに対応づけて前記判定した発言者の氏名を記録するステップと、
   テキストデータを入力した検索指示に対応して、前記記録した音声テキストデータを検索して一致あるいは一部一致する部分を見つける検索ステップと、
   前記見つけた一致あるいは一部一致する部分に対応する音声データを発声すると共に併せて見つけた一致あるいは一部一致する部分の発言者の氏名を表示するステップと
   して動作させるための発言者表示プログラム。

Images