JP2007058767A - 発話記録作成システム - Google Patents

Abstract

【課題】 発話順序をつかみやすくし、どのような会話がなされた部分か想定しやすく表示する。発話時間の配置を、話者順ではなく発言順に配置し、発話の順序が追えるようにする。また、発言のまとまりを分かるようグループ化して表示する。
【解決手段】 複数のマイクを介して複数の話者の音声を同時に別々のデータとして記録する機能と、個々の音声データ中の発話区間を検出する機能と、
マイクと発話者の情報を管理する機能と、複数の音声データの発話区間の重なりや連続性を解析する機能と、個々の発話区間に話者情報を付与し連続する発話区間をグループ化して発話記録を表示する機能を有する。
【選択図】 図４

Description

本発明は、複数マイクを使用した発話記録作成システムに関する。

従来のリモート会議録作成システムなどでは、発話内容を表示するには、横軸に時間、縦軸に発話者を配置して、発話内容を表示するものが多い。

あらかじめ発話者が分かっているものでは、特許文献１や特許文献２の例がある。また、特許文献３はマイクロフォン配列を用いて、発話者の位置を検知し、その位置の画像を発話者を示すものとして縦方向に動的に配置し、横方向に発話区間を表示するものである。

また、特許文献４は、マイクの使用開始と使用終了の区間を発話区間として、マイクの使用状況を配置して行くもので、時間の重複があった場合に位置をずらして表示する。
特開平11-053385号公報 特開2002-251393号公報 特開2000-125274号公報 特開2003-122397号公報

発話記録作成システムにおいて、所望の発言箇所を特定するには、発話者や発話順序や発話時間等が手がかりとなる。

特許文献１や特許文献２の例のように、発話者の位置を固定にすると、発話者が多い場合、誰の次に誰が話したかなどの話の順序を追うのが難しくなる。特許文献３の例でも、発話した者の位置が同じ発言は同じ軸に表示されるので、特許文献１や特許文献２と同様、話の順序を追うのが難しくなる。

特許文献４の例では、空いている箇所に配置して行く方法なので、話の順序を追うことはできるが、マイクの使用状況で判断しているので、実際に話をしているかどうかが不明であり、話のまとまりを推測するのは難しい。

上記問題を解決するために、本発明は、複数のマイクを介して複数の話者の音声を同時に別々のデータとして入力する機能と、個々の音声データ中の発話区間を検出する機能と、マイクと発話者の情報を管理する機能と、複数の音声データの発話区間の重なりや連続性を解析する機能を有し、個々の発話区間に話者情報を付与し連続する発話区間をグループ化して発話記録を表示する。

具体的には、個々の発話区間に発話者の情報を付与してたものを発話単位とし、発話区間のグループごとに、時間軸に対して直行する軸に発話単位を配置することで、発話単位ごとにインデントされたグループ表示を行う。また、発話単位ごとに再生する機能を持ち、グループの先頭の発話単位のみを順次再生する早送り再生を行うことで、所望の発言箇所を特定することを助ける。

本発明は、複数の話者の発話内容を、発話の連続状況でグループ化し、発話順にグラフィックに配置することにより、話の流れが推測しやすくなり、所望の音声へのアクセスを容易にするものである。

以下、図面を参照しながら本発明の好適な実施例について説明していく。

図1は、本発明の実施例１のブロック図である。

101はキーボードやマウスなどの操作入力部。

102は複数のマイクからの音声入力を行う音声入力部。

103はユーザの操作を受け入れ、発話記録の作成・表示・再生、マイクと話者情報の対応付けなどの処理を行う操作処理部。

104は、マイクと話者の対応づけデータを保存する話者対応付けデータ。

105は発話記録蓄積部。

106は個々の音声の発話区間を検出し、発話区間の連続性を用いて発話グループを作成する発話区間検出・グループ作成部。

107は発話記録をグラフィックに表示する画像表示部。

108は発話を再生する音声出力部。

図２は本発明の実施例１の一部の処理を示すフローチャートであり、入力した音声から発話区間を検出し、発話区間の連続性を用いて発話グループを作成し、図３に示すような発話記録を作成する。

スタートが、発話記録の記録開始を示す。S201で複数のマイクからの音声入力を受け付ける。S202で音声入力終了（発話記録の記録終了）かどうかの判定を行い、yesならば終了する。音声入力が継続している場合は、S203へ進む。

S203では、発話者一人一人がそれぞれマイクを持ちそれぞれの発話を別々のストリームで入力している状態で、その音声ストリームを一つ選択し、以降の処理でそのストリームの一定時間の音声データについて処理を行うものである。S204ですべてのストリームについて一定時間の音声データの処理を行ったと判断した場合、S201にもどって、新たに入力された音声データについての処理を繰り返す。

選択したストリームがある場合は、S205で一定時間の音声について、発声があるかどうかの判断を行う。発声があると判断された場合はS206に進む。S206で発声開始（直前には発声がなく現時点で発声が始まった）の判断を行う。すでに発声が開始されて継続している場合は、S207へ進み、該当する発話単位に音声を追加する。発話開始とされた時点でS209で発話単位ごとに音声ファイルを作成しており、このファイルに追記し、S203にもどって、次のストリームに対し処理を繰り返す。

S206で発声開始と判断された場合、S206 で直前の発話単位や重複する発話単位があるかどうかの判定を行う。終了時間の記録されていない発話単位があれば重複する発話単位があるとする。各発話単位の終了時間が一定時間以内にあれば直前の発話単位があるとする。

重複する発話単位がなく、直前の発話単位がない、つまり、一定時間の沈黙状態が継続していると判断された場合には、S212へ進み新しい発話グループを作成し開始時間を記録する。一定時間の沈黙がある場合には話題の転換の可能性があるとして、別のグループに分けるものである。すでに作成されている発話グループがある場合には、その終了時間を記録する。新しいグループを作成すると、S209へ進む。

S206 で直前の発話単位や重複する発話単位があると判断された場合やS212から処理が移った場合、S209で新しい発話単位を作成し開始時間を記録する。発声は発話単位ごとにファイルに記録するため、音声ファイルを作成しそのファイルIDを発話単位に記録する。かつ、処理対象の音声データを、音声ファイルに書き込む。次に、S203にもどって、次のストリームに対し処理を繰り返す。

S205で発声がないと判断された場合、S210で、発声終了（直前まで発声があった）かの判断を行う。発声終了の場合には、S211に進み直前まで追記が行われていた音声ファイルのクローズを行い、終了時間を発話単位に記録する。次に、S203にもどって、次のストリームに対し処理を繰り返す。

S210で、発声終了でない（沈黙が継続している）と判断された場合、S203にもどって、次のストリームに対し処理を繰り返す。

図４は、図３の発話記録をグラフィックに表示した例である。個々の発話区間に発話者の情報を付与してたものを発話単位とし、発話区間のグループごとに、時間軸に対して直行する軸に発話単位を配置することで、発話単位ごとにインデントされたグループ表示を行う。発話グループが変わると発話単位を上部に配置する。マイクと話者情報の対応付けは、発話記録の作成より前に行っているものとし、話者の顔画像やアバタ−などを使って、発話単位の先頭に配置する。

図５は、請求項２の発話記録の時間帯を指定して、その時間帯の発声内容を再生する場合の画面の例である。灰色の矩形の領域に含まれる発話単位の領域に含まれる時間の音声を時間にそって再生するもので、重複する発話単位についてはマージして同時に再生される。

図６は、請求項２の発話単位を指定して、その時間帯の発声内容を再生する場合の画面の例である。灰色の矩形で囲まれた発話単位について、対応する音声ファイルを再生する。複数の発話単位が選択されている場合は、開始時間順に再生する。

図７は、請求項３の早送り再生の処理を示すフローチャートである。

早送り再生開始がスタートである。S701で発話グループを順次選択する。S702で発話グループが終了したと判断した場合に終了する。

発話グループがある場合にはS703に進んで先頭の発話単位を一つ選択し、S704で対応する音声ファイルから音声を再生する。

次に、S701に戻って処理を繰り返す。再生の中断やポーズなどの処理はこのフローチャートから省略する。

実施例１では、発話単位ごとに音声ファイルに記録しているが、マイクから入力される音声データをそのまま保存し、開始時間と終了時間を使って、該当する箇所にアクセスするようにしてもよい。その場合、ファイルIDはマイクごとに振られ、各発話単位には、ファイル内の開始位置と終了位置のオフセットを記録する。

実施例１では、発話グループが変わった時点で、発話単位を上部に配置しなおすということで、発話グループの違いを表示しているが、個々の発話グループを矩形で囲む、背景色を変えるなどグループがより明確になるような表示をおこなってもよい。

実施例１では、各発話者がマイクを持つ構成だが、発話者が自由に歩きまわれるように無線マイクを使う構成にしてもよい。

実施例１では、発話終了の判定が行われた場合に発話単位を終了しているが、同一話者のマイクで、一定時間以内に発話が開始された場合には、直前の発話単位の終了時間を取り消して、その発話単位に追記するようにしてもよい。

実施例１では、複数の発話単位が選択されて再生された場合に、発話単位の開始時間順に再生するようにしているが、重複のある発話単位は音声をマージして同時に再生するようにしてもよい。

実施例１では、発話単位の先頭に話者の顔画像やアバタ−などを表示したが、発話者名の文字情報を発話区間の上部に記述するなどしてもよい。

実施例１では、マイクと話者の対応付けを発話記録作成前に行うようにしているが、発話単位に記録する話者IDは、マイクIDで代用しておき、発話記録作成後に対応付けした場合に、マイクIDと話者IDを入れ替えるようにしてもよい。

本発明の実施例１のブロック図である。 本発明の実施例１の一部の処理を示すフローチャートである。 発話記録の例である。 発話記録をグラフィックに表示した例である。 発話記録をから再生箇所を指摘する例である。 発話記録をから再生箇所を指摘する例である。 早送り再生の処理を示すフローチャートである。

符号の説明

101 キーボードやマウスなどの操作入力部。
102 複数のマイクからの音声入力を行う音声入力部。
103 ユーザの操作を受け入れ、発話記録の作成・表示・再生、マイクと話者情報の対応付けなどの処理を行う操作処理部。
104 マイクと話者の対応づけデータを保存する話者対応付けデータ。
105 発話記録蓄積部。
106 個々の音声の発話区間を検出し、発話区間の連続性を用いて発話グループを作成する発話区間検出・グループ作成部。
107 発話記録をグラフィックに表示する画像表示部。
108 発話を再生する音声出力部。

Claims (3)

1. 複数のマイクを介して複数の話者の音声を同時に別々のデータとして入力する機能と、
   個々の音声データ中の発話区間を検出する機能と、
   マイクと発話者の情報を管理する機能と、
   複数の音声データの発話区間の重なりや連続性を解析する機能とを有し、
   個々の発話区間に話者情報を付与したものを発話単位とし、
   連続する発話単位をグループ化して表示することを
   特徴とした発話記録作成システム。
2. 請求項１の発話記録作成システムにおいて、
   記録されている音声を再生する機能を有し、
   時間帯指定や発話単位指定で再生する範囲を指定することを
   特徴とした発話記録再生方法。
3. 請求項２の発話記録作成システムにおいて、
   各グループの先頭の発話単位のみを順次再生することを特徴とした発話記録再生方法。

Images