JP2018013742A - 音声要約作成支援装置、音声要約作成支援方法、及び音声要約作成支援プログラム - Google Patents

Abstract

【課題】対話を録音した音声データから音声要約を作成する際の作業負担を軽減する。【解決手段】抽出部は、複数の人物のそれぞれとの位置関係が異なる複数の収音位置で複数の人物の対話を収音した複数の音声データから人物が発話している発話区間を抽出する。類似特性把握部は、複数の音声データのそれぞれから抽出した発話区間の波形同士を比較し、波形の類似度についての第１の基準値に基づいて波形の類似性の有無を把握する。減衰特性把握部は、複数の音声データのそれぞれから抽出した発話区間の波形同士を比較し、波形の減衰特性の有無を把握する。非類似特性把握部は、複数の音声データのそれぞれから抽出した発話区間の波形同士を比較し、第１の基準値とは異なる、波形の類似度についての第２の基準値に基づいて波形の非類似性の有無を把握する。話者識別部は、波形の類似性、減衰特性、及び非類似性に基づいて、発話区間の話者を識別する。【選択図】図２

Description

本発明は、音声要約作成支援装置、音声要約作成支援方法、及び音声要約作成支援プログラムに関する。

インタビューや会議等の複数の人物による対話（会話）の内容を記録して保存する方法の１つとして、録音装置で録音した音声データに基づいて対話の内容を文書化して保存する方法が知られている。対話の内容を文書化する方法としては、音声データを再生して聴いた人物が文書作成用のソフトウェア等を利用して文書を作成する方法や、音声データをテキストデータに変換するソフトウェア等を利用する方法等がある。

対話を録音した音声データには、対話に参加した複数の人物の音声（発話）が記録されている。そのため、対話の内容を文書化する際には、音声データに含まれる音声のそれぞれがどの人物の音声であるかを識別しなければならない。音声データに含まれる音声を人物毎に分離する方法の１つとして、隣接して配される音声取得手段からなる組を装着者の発声部位から異なる距離離間させて複数配置した音声取得手段群にて生成された音声信号に基づいて分離する方法が知られている（例えば、特許文献１を参照）。この方法では、生成された音声信号を発話者毎に分離し、分離した音声信号の波形を予め定められた時間差分ずらしたときの相関関係を求めることで、発話者が音声信号を生成した音声取得手段群の装着者であるか否かを判定する。

特開２０１４−１６４１６４号公報

インタビュー等の、参加者が主体となる人物と、客体となる人物とに分かれている対話を行う場合、客体となる人物への収音装置や録音装置の装着をはばかられることがある。対話の参加者のうちの主体となる人物のみが収音装置を装着している場合、当該収音装置で収音した音声データでは、主体となる人物の音声のみが、他の人物の音声よりも大きくなる。このため、対話を録音した音声データを再生した場合、収音装置を装着していない人物の音声が聞き取りにくいことがある。

ところが、インタビューの内容を収録した音声データにおいては、主体となる人物の発話内容よりも、客体となる人物の発話内容のほうが重要視される。そのため、主体となる人物が装着した収音装置や録音装置で取得した音声データに基づいて対話内容の要約（音声要約）を作成する際には、客体となる人物の発話内容の了解に手間がかかり、音声要約を作成する作業の作業負担が増大することがある。

１つの側面において、本発明は、対話を録音した音声データから音声要約を作成する際の作業負担を軽減することを目的とする。

１つの態様である音声要約作成支援装置は、抽出部と、類似特性把握部と、減衰特性把握部と、非類似特性把握部と、話者識別部とを備える。抽出部は、複数の人物のそれぞれとの位置関係が異なる複数の収音位置で複数の人物の対話を収音した複数の音声データから人物が発話している発話区間を抽出する。類似特性把握部は、複数の音声データのそれぞれから抽出した発話区間の波形同士を比較し、波形の類似度についての第１の基準値に基づいて波形の類似性の有無を把握する。減衰特性把握部は、複数の音声データのそれぞれから抽出した発話区間の波形同士を比較し、波形の減衰特性の有無を把握する。非類似特性把握部は、複数の音声データのそれぞれから抽出した発話区間の波形同士を比較し、第１の基準値とは異なる、波形の類似度についての第２の基準値に基づいて波形の非類似性の有無を把握する。話者識別部は、波形の類似性、減衰特性、及び非類似性に基づいて、発話区間の話者を識別する。

上述の態様によれば、対話を録音した音声データから音声要約を作成する際の作業負担を軽減することが可能となる。

第１の実施形態に係る音声要約作成支援システムの構成例を示す図である。 第１の実施形態に係る音声要約作成支援装置の機能的構成を示す図である。 第１の実施形態に係る音声要約作成支援装置が行う処理を説明するフローチャートである。 比較区間抽出処理の内容を説明するフローチャートである。 特性把握処理の内容を説明するフローチャートである。 類似特性把握処理の内容を説明するフローチャートである。 減衰特性把握処理の内容を説明するフローチャートである。 波形非類似特性把握処理の内容を説明するフローチャートである。 音圧傾向非類似特性把握処理の内容を説明するフローチャートである。 話者識別処理の内容を説明するフローチャートである。 主体が発話したときの音声データと客体が発話したときの音声データとの例を示す波形図である。 会話中の第１の音声データと第２の音声データとの例を示す図である。 特性把握処理の結果の例を示す図である。 採録音声データの例を示す波形図である。 客体音声分離処理の内容を説明するフローチャートである。 第２の実施形態に係る音声要約作成支援装置の機能的構成を示す図である。 第２の実施形態に係る音声要約作成支援装置が行う処理を説明するフローチャートである。 第２の実施形態に係る音声要約作成支援システムの変形例を示す図である。 第２の実施形態の変形例に係る音声要約作成支援装置の機能的構成を示す図である。 第２の実施形態の変形例に係る音声要約作成支援装置が行う処理を説明するフローチャートである。 第３の実施形態に係る音声要約作成支援システムの構成例を示す図である。 第３の実施形態に係る音声要約作成支援装置の機能的構成を示す図である。 第３の実施形態に係る事前試験処理を説明するフローチャートである。 第４の実施形態に係る音声要約作成支援装置の機能的構成を示す図である。 第４の実施形態に係る事前試験処理を説明するフローチャート（その１）である。 第４の実施形態に係る事前試験処理を説明するフローチャート（その２）である。 第４の実施形態に係る事前試験処理を説明するフローチャート（その３）である。 コンピュータのハードウェア構成を示す図である。

［第１の実施形態］
図１は、第１の実施形態に係る音声要約作成支援システムの構成例を示す図である。

図１に示すように、本実施形態に係る音声要約作成支援システム１（１Ａ）は、第１の録音装置２と、第２の録音装置３と、音声要約作成支援装置４と、を含む。

第１の録音装置２及び第２の録音装置３は、それぞれ、人の発声を含む音を収音し、音声データとして記録する装置である。第１の録音装置２及び第２の録音装置３は、複数の人物による対話の記録に用いる。第１の録音装置２は、対話に参加している人物のうちの対話において主体となる人物５Ａの近傍に設置される。一方、第２の録音装置３は、例えば、主体である人物５Ａと、他の人物（客体）５Ｂとの間の略中間となる位置等に設置される。このため、主体である人物５Ａからの第２の録音装置３までの距離Ｌ２、及び客体である人物５Ｂから第２の録音装置３までの距離Ｌ３は、それぞれ、主体である人物５Ａから第１の録音装置２までの距離Ｌ１よりも長くなっている。距離Ｌ１，Ｌ２，Ｌ３の組み合わせは任意であるが、距離Ｌ１を十数ｃｍとし、距離Ｌ２，Ｌ３をそれぞれ数十ｃｍとすることが好ましい。

音声要約作成支援装置４は、第１の録音装置２で録音して得た第１の音声データと、第２の録音装置３で録音して得た第２の音声データとに基づいて、音声データの要約の作成を支援するものである。音声要約作成支援装置４は、例えば、音声データのなかから抽出した各人物の発話区間のみを採録した支援情報を生成する。第１の音声データ及び第２の音声データは、例えば、音声要約作成支援装置４に第１の録音装置２及び第２の録音装置３を接続して、音声要約作成支援装置４に入力する。なお、第１の音声データ及び第２の音声データは、例えば、フラッシュメモリを備えたメモリカード等の可搬型記録媒体を介して各録音装置２，３から音声要約作成支援装置４に入力することも可能である。すなわち、本実施形態に係る音声要約作成支援システム１Ａにおいて、音声要約作成支援装置４は、人物５Ａ，５Ｂが対話を行う空間６内に設置されていなくてもよい。

図２は、第１の実施形態に係る音声要約作成支援装置の機能的構成を示す図である。
図２に示すように、本実施形態に係る音声要約作成支援装置４は、入力部４０１と、データ処理部４０２と、記憶部４０３と、出力部４０４と、を備える。

入力部４０１は、第１の録音装置２で録音した第１の音声データと、第２の録音装置３で録音した第２の音声データと、の入力を受け付ける。第１の音声データ及び第２の音声データは、それぞれの音声データを録音した録音装置から直接入力してもよいし、メモリカードや光ディスク等の可搬型記録媒体を介して入力してもよい。

データ処理部４０２は、入力された第１の音声データと、第２の音声データと、に基づいて、音声データにおける人の音声が含まれる区間（発話区間）を抽出するとともに、話者を識別する。データ処理部４０２は、時間管理部４０２Ａと、調整部４０２Ｂと、区間データ抽出部４０２Ｃと、類似特性把握部４０２Ｄと、減衰特性把握部４０２Ｅと、非類似特性把握部４０２Ｆと、話者識別部４０２Ｇと、音声採録部４０２Ｈとを含む。

記憶部４０３は、第１の音声データ及び第２の音声データを含む各種のデータを記憶する。記憶部４０３には、例えば、調査資源情報４０３Ａ、属性情報４０３Ｂ、録音音声４０３Ｃ、識別規則４０３Ｄ、話者情報４０３Ｅ、採録音声４０３Ｆ等を記憶させる。

出力部４０４は、データ処理部４０２で生成した採録音声を再生装置７に出力する。再生装置７は、レシーバやスピーカ等の音声データのみを再生する装置であってもよいし、採録音声を可視化して表示する表示装置であってもよい。

上記のように、データ処理部４０２は、時間管理部４０２Ａと、調整部４０２Ｂと、区間データ抽出部４０２Ｃと、類似特性把握部４０２Ｄと、減衰特性把握部４０２Ｅと、非類似特性把握部４０２Ｆと、話者識別部４０２Ｇと、音声採録部４０２Ｈとを含む。

時間管理部４０２Ａは、第１の音声データにおける時間と、第２の音声データにおける時間とを管理する。時間管理部４０２Ａは、例えば、記憶部４０３に記憶させた録音装置の属性情報４０３Ｂ等に基づいて生成した時間情報を、第１の音声データ及び第２の音声データに付加する。

調整部４０２Ｂは、録音開始時刻のずれや一方の録音装置における録音の中断等により、第１の音声データと第２の音声データとの間に生じる時間方向の波形のずれを調整する。

区間データ抽出部４０２Ｃは、第１の音声データ及び第２の音声データから人物の音声を含む発話区間を抽出し、比較する区間を調整した比較区間を設定する。

類似特性把握部４０２Ｄは、第１の音声データの比較区間の波形と、第２の音声データの比較区間の波形とを比較し、波形の類似度についての第1の基準値に基づいて波形の類似性の有無を把握する（判定する）。第１の基準値は、音声波形における山及び谷の出現時刻の一致度についての閾値（第１の閾値）と、音圧の変化の類似性についての閾値（第２の閾値）とを含む。類似特性把握部４０２Ｄは、比較した波形における山及び谷の出現時刻の一致度が第１の閾値以上であり、かつ音圧の変化の類似性が第２の閾値以上である場合に、波形に類似性があると判定する。

減衰特性把握部４０２Ｅは、類似している音声波形間に減衰特性が存在するか否かを把握する。音声波形間の減衰特性は、例えば、一方の音声波形における山及び谷がシャープであり、他方の音声波形における山及び谷は緩やかであるような特性である。減衰特性把握部４０２Ｅは、類似特性把握部４０２Ｄにおいて比較した２つの比較区間の音声波形が類似していると判定された場合に、類似している音声波形間の減衰特性の有無を把握する。

非類似特性把握部４０２Ｆは、第１の音声データにおける比較区間の波形と、第２の音声データにおける比較区間の波形とを比較し、波形の類似度についての第２の基準値に基づいて波形の非類似性の有無を把握する（判定する）。第２の基準値は、音声波形における山及び谷の出現時刻の一致度についての閾値（第３の閾値）と、音圧の変化の類似性についての閾値（第４の閾値）とを含む。ここで、第３の閾値は第１の閾値よりも小さく、第４の閾値は第２の閾値よりも小さい。非類似特性把握部４０２Ｄは、比較した波形における山及び谷の出現時刻の一致度が第３の閾値以下であり、かつ音圧の変化の類似性が第４の閾値以下である場合に、波形に非類似性があると判定する。すなわち、本実施形態における波形の非類似性は、波形に類似性がなく、かつ類似度が著しく低いことを意味する。非類似特性把握部４０２Ｆは、類似特性把握部４０２Ｄにおいて比較区間の音声波形に類似性がないと判定された場合に、音声波形における山及び谷の出現時刻の非類似性、及び音圧（ｄｂ）の変化の非類似性を把握する。

話者識別部４０２Ｇは、類似特性把握部４０２Ｄ、減衰特性把握部４０２Ｅ、及び非類似特性把握部４０２Ｆにより把握した比較区間の波形の特性に基づいて、比較区間の話者を識別する。

音声採録部４０２Ｈは、比較区間の話者の識別に成功した場合に、各録音装置２，３で録音した音声データの比較区間から、識別した話者の音声が良く録音できている区間を抽出して編集する（採録する）。

また、上記のように、記憶部４０３には、例えば、調査資源情報４０３Ａ、属性情報４０３Ｂ、録音音声４０３Ｃ、識別規則４０３Ｄ、話者情報４０３Ｅ、採録音声４０３Ｆ等を記憶させる。

属性情報４０３Ｂは、音声データを録音した録音装置の属性を含むデータである。録音音声４０３Ｃは、入力部４０１により第１の録音装置２及び第２の録音装置３から取得した音声データである。識別規則４０３Ｄは、比較区間（音声波形）の類似性の有無、減衰特性の有無、非類似性の有無等の判定基準、及び話者の判定基準等を含むデータである。話者情報４０３Ｅは、話者識別部４０２Ｇにより識別した各比較区間の話者を示す情報を含むデータである。採録音声４０３Ｆは、音声採録部４０２Ｈで生成した音声データ（言い換えると音声要約の作成を支援するための音声データ）である。

本実施形態に係る音声要約作成支援装置４は、入力部４０１により、複数人による対話が記録された第１の音声データと、第２の音声データとの入力を受け付けると、受け付けた音声データを記憶部４０３に記憶させる。その後、音声要約作成支援装置４の利用者（例えば、対話において主体となった人物５Ａ）が音声要約作成支援装置４に支援情報の作成処理を開始させる命令を入力すると、音声要約作成支援装置４は、図３に示すような処理を行う。

図３は、第１の実施形態に係る音声要約作成支援装置が行う処理を説明するフローチャートである。

図３に示した処理は、音声要約作成支援装置４のデータ処理部４０２が行う。データ処理部４０２は、まず、取得した音声データ間の調整を行う（ステップＳ１）。ステップＳ１の処理は、データ処理部４０２の時間管理部４０２Ａと調整部４０２Ｂとが行う。時間管理部４０２Ａは、記憶部４０３の属性情報４０３Ｂ等に基づいて、第１の音声データ及び第２の音声データのそれぞれに、共通の時間情報を付加する。調整部４０２Ｂは、第１の音声データ及び第２の音声データに付加した時間情報に基づいて、録音開始時刻のずれや、録音時の一時停止等による音声データ間の波形の時間的なずれを調整する。

次に、データ処理部４０２は、第１の音声データ及び第２の音声データのそれぞれから比較区間を抽出する比較区間抽出処理（ステップＳ２）を行う。ステップＳ２の処理は、データ処理部４０２の区間データ抽出部４０２Ｃが行う。区間データ抽出部４０２Ｃは、例えば、音声データにおける無音区間を検出し、２つの時間的に隣り合う無音空間で挟まれた区間を発話区間として抽出する。また、区間データ抽出部４０２Ｃは、第１の音声データから抽出した発話区間についての時間情報と、第２の音声データから抽出した発話区間についての時間情報とに基づいて、音声波形を比較する区間（比較区間）を設定する。

次に、データ処理部４０２は、ステップＳ２で抽出した第１の音声データ及び第２の音声データの比較区間における音声波形に関する特性を把握する特性把握処理（ステップＳ３）を行う。ステップＳ３の処理は、類似特性把握部４０２Ｄと、減衰特性把握部４０２Ｅと、非類似特性把握部４０２Ｆとが行う。類似特性把握部４０２Ｄは、比較区間の音声波形における山及び谷の出現時刻の類似性、並びに音圧の変化の類似性を把握する処理を行う。減衰特性把握部４０２Ｅは、類似特性把握部４０２Ｄにおいて類似性があると判定した音声波形間の減衰特性の有無を把握する処理を行う。ここで、減衰特性は、一方の音声データの波形における山及び谷がシャープであり、他方の音声データの波形における山及び谷は緩やかであるという関係を意味する。非類似特性把握部４０２Ｆは、比較区間の音声波形における山及び谷の出現時刻の非類似性、並びに音圧の変化の非類似性を把握する処理を行う。

ステップＳ３の処理において、データ処理部４０２は、まず、類似特性把握部４０２Ｄに音声波形の類似性を把握する処理を行わせる。音声波形の類似性が高い場合、類似特性把握部４０２Ｄは、減衰特性把握部４０２Ｅに、類似性の高い音声波形間の減衰特性の有無を把握する処理を行わせる。一方、音声波形の類似性が低い場合、類似特性把握部４０２Ｄは、非類似特性把握部４０２Ｆに、音声波形の非類似性を把握する処理を行わせる。

次に、データ処理部４０２は、ステップＳ３の処理結果に基づいて、各比較区間の話者を識別する話者識別処理（ステップＳ４）を行う。ステップＳ４の処理は、話者識別部４０２Ｇが行う。話者識別部４０２Ｇは、例えば、比較区間毎に、話者が、主体である人物５Ａ（第１の録音装置２の近傍にいる人物）、客体である人物５Ｂ（第１の録音装置２から遠い位置にいる人物）、及び判定不能のいずれであるかを識別する。ここで、判定不能は、主体である人物５Ａ及び客体である人物５Ｂが同時に発話している場合を含む。

次に、データ処理部４０２は、各音声データにおける比較区間のうち、話者の音声が最もよい状態で録音されている比較区間を選択して音声データを編集する（採録する）音声採録処理（ステップＳ５）を行う。ステップＳ５の処理は、音声採録部４０２Ｈが行う。音声採録部４０２Ｈは、例えば、話者が主体である人物の比較区間には第１の音声データの比較区間を選択し、話者が客体である人物の比較区間には第２の音声データの比較区間を選択して各比較区間を時系列に連結した音声データを生成する。

図４は、比較区間抽出処理の内容を説明するフローチャートである。
比較区間抽出処理（ステップＳ２）は、データ処理部４０２の区間データ抽出部４０２Ｃが行う。区間データ抽出部４０２Ｃは、図４に示すように、まず、第１の音声データ及び第２の音声データのそれぞれで、微小区間毎の移動平均を算出する（ステップＳ２０１）。

次に、区間データ抽出部４０２Ｃは、第１の音声データ及び第２の音声データのそれぞれにおける強さの要約統計量を算出し、それらを比較する（ステップＳ２０２）。

次に、区間データ抽出部４０２Ｃは、要約統計量の差が許容範囲内であるか否かを判定する（ステップＳ２０３）。要約統計量の差が許容範囲を超える場合（ステップＳ２０３；Ｎｏ）、区間データ抽出部４０２Ｃは、処理を中断し（ステップＳ２０４）、比較区間抽出処理を終了する。すなわち、要約統計量の差が許容範囲を超える場合、区間データ抽出部４０２Ｃは、第１の音声データと第２の音声データとの組が比較対象として不適切であると判断する。

一方、要約統計量の差が許容範囲内である場合（ステップＳ２０３；Ｙｅｓ）、区間データ抽出部４０２Ｃは、次に、第１の音声データ及び第２の音声データのそれぞれから発話区間を抽出する（ステップＳ２０５）。ステップＳ２０５において、区間データ抽出部４０２Ｃは、既知である発話区間の抽出方法に従って、第１の音声データにおける発話区間と、第２の音声データにおける発話区間とを抽出する。例えば、区間データ抽出部４０２Ｃは、音声データにおける無音区間を抽出した後、時間的に連続する２つの無音区間で挟まれた区間のうち、時間長が所定の時間閾値以上である区間を発話区間として抽出する。区間データ抽出部４０２Ｃが抽出した発話区間を表す情報は、起点時刻と、終点時刻と、波形情報とを含む。

次に、区間データ抽出部４０２Ｃは、第１の音声データから抽出した発話区間と、第２の音声データから抽出した発話区間とに基づいて、比較区間を設定する（ステップＳ２０６）。ステップＳ２０６において、区間データ抽出部４０２Ｃは、まず、第１の音声データの比較区間と、第２の音声データの比較区間との組に対し、起点時刻同士を比較するとともに終点時刻同士を比較して、時間についての類似性を判定する。比較した起点時刻同士及び終点時刻同士が類似している場合、区間データ抽出部４０２Ｃは、比較区間同士を相互類似区間候補としてリストに加える。また、起点時刻同士及び終点時刻同士のいずれか一方のみが類似している場合、区間データ抽出部４０２Ｃは、類似していない終点時刻又は基点時刻を、時間長が短いほうの比較区間の終点時刻又は起点時刻に揃えてからリストに加える。

区間データ抽出部４０２Ｃによる比較区間の設定を終えると、データ処理部４０２は、次に、特性把握処理（ステップＳ３）を行う。データ処理部４０２は、特性把握処理として、例えば、図５に示した処理を行う。

図５は、特性把握処理の内容を説明するフローチャートである。
データ処理部４０２は、特性把握処理を開始すると、まず、比較区間を選択する（ステップＳ３０１）。

次に、データ処理部４０２は、第１の音声データの比較区間における波形と、第２の音声データの比較区間における波形との類似性を把握する類似特性把握処理（ステップＳ３０２）。ステップＳ３０２の処理は、類似特性把握部４０２Ｄが行う。類似特性把握部４０２Ｄは、波形における山及び谷の出現時刻の一致度と、音圧の時間変化の相関の度合いとに基づいて、第１の音声データの比較区間における波形と、第２の音声データの比較区間における波形との類似性を把握する。

次に、類似特性把握部４０２Ｄは、波形に類似性があるか否かを判定する（ステップＳ３０３）。

波形に類似性がある場合（ステップＳ３０３；Ｙｅｓ）、データ処理部４０２は、次に、第１の音声データの比較区間における波形と、第２の音声データの比較区間における波形との間の減衰特性の有無を把握する減衰特性把握処理（ステップＳ３０４）を行う。ステップＳ３０４の処理は、減衰特性把握部４０２Ｅが行う。減衰特性把握部４０２Ｅは、類似している波形同士を比較し、一方の音声データにおける波形から他方の音声データにおける波形に減衰傾向が見られるか否かを判定することにより、減衰特性の有無を把握する。

一方、波形に類似性がない場合（ステップＳ３０３；Ｎｏ）、データ処理部４０２は、次に、波形非類似特性把握処理（ステップＳ３０５）と、音圧傾向非類似特性把握処理（ステップＳ３０６）とを行う。ステップＳ３０５及びＳ３０６の処理は、非類似特性把握部４０２Ｆが行う。非類似特性把握部４０２Ｆは、ステップＳ３０５の処理として、比較区間における波形の山及び谷の出現時刻の非類似性を把握する処理を行う。また、非類似特性把握部４０２Ｆは、ステップＳ３０６の処理は、比較区間の波形における音圧の変化の傾向についての非類似性を把握する処理を行う。

なお、ステップＳ３０５の処理と、ステップＳ３０６の処理とは、どちらの処理を先に行ってもよい。また、ステップＳ３０５の処理と、ステップＳ３０６の処理とは、並列に行ってもよい。

ステップＳ３０４の処理の後、或いはステップＳ３０５及びＳ３０６の処理の後、データ処理部４０２は、未処理の比較区間があるか否かを判定する（ステップＳ３０７）。未処理の比較区間がある場合（ステップＳ３０７；Ｙｅｓ）、データ処理部４０２は、ステップＳ３０１以降の処理を繰り返す。そして、全ての比較区間に対してステップＳ３０２以降の処理を行うと、データ処理部４０２は、特性把握処理を終了し、次に、話者識別処理（ステップＳ４）を行う。

ここで、図６〜図９を参照して、特性把握処理における各処理の内容を説明する。
図６は、類似特性把握処理の内容を説明するフローチャートである。

特性把握処理における類似特性把握処理は、データ処理部４０２の類似特性把握部４０２Ｄが行う。類似特性把握部４０２Ｄは、音声データから抽出した比較区間毎に、図６に示したステップＳ３０２Ａ〜Ｓ３０２Ｆの処理を行う。

類似特性把握部４０２Ｄは、まず、第１の音声データの比較区間と、第２の音声データの比較区間とのそれぞれにおける波形の山及び谷の出現時刻を抽出する（ステップＳ３０２Ａ）。ステップＳ３０２Ａの処理において、類似特性把握部４０２Ｄは、既知の波形分析方法に従い、各波形における山及び谷の出現時刻を抽出する。例えば、類似特性把握部４０２Ｄは、時刻ｔの音圧と、当該時刻ｔの前後における音圧とに基づいて、時刻ｔが波形の山であるか否か、及び波形の谷であるか否かを判定する。時刻ｔが波形の山である場合、類似特性把握部４０２Ｄは、当該時刻ｔを山の出現時刻として抽出する。時刻ｔが波形の谷である場合、類似特性把握部４０２Ｄは、当該時刻ｔを谷の出現時刻として抽出する。

次に、類似特性把握部４０２Ｄは、第１の音声データから抽出した波形の山及び谷の出現時刻と、第２の音声データから抽出した波形の山及び谷の出現時刻とを比較して一致度を算出する（ステップＳ３０２Ｂ）。ステップＳ３０２Ｂの処理において、類似特性把握部４０２Ｄは、例えば、ステップＳ３０２Ａで抽出した山谷のうちの出現時刻が一致した山谷の数を計数し、出現時刻が一致した山谷の数を抽出した山谷の総数で除した値を一致度とする。

次に、類似特性把握部４０２Ｄは、比較区間の波形における音圧の値の変化についての相関係数Ｒ１、標本平均Ｒ２及び標本偏差Ｒ３を算出する（ステップＳ３０２Ｃ）。類似特性把握部４０２Ｄは、既知の波形分析方法に従い、各波形における音圧の値の変化についての相関係数Ｒ１を算出する。なお、上記の相関係数Ｒ１は、音圧の変化の傾向の類似性のみを表しており、絶対値としての出現音圧値の差異を測ることができない。そのため、ステップＳ３０２Ｃにおいて、類似特性把握部４０２Ｄは、更に、下記式（１−１）及び（１−２）により各時刻における音圧の値の関係を表す値Ｆ１，Ｆ２を算出し、それらの標本平均Ｒ２１，Ｒ２２及び標本偏差Ｒ３１，Ｒ３２を算出する。
Ｆ１＝｜Ｇ１−Ｇ２｜／Ｇ１ （１−１）
Ｆ２＝｜Ｇ１−Ｇ２｜／Ｇ２ （１−２）

式（１−１）及び（１−２）のＧ１は、第１の音声データの比較区間における音圧の値である。式（１−１）及び（１−２）のＧ２は、第２の音声データの比較区間における音圧の値である。

次に、類似特性把握部４０２Ｄは、算出した出現時刻の一致度と、相関係数Ｒ１、標本平均Ｒ２（Ｒ２１，Ｒ２２）、及び標本偏差Ｒ３（Ｒ３１，Ｒ３２）と、に基づいて、比較区間の波形に類似性が見られるか否かを判定する（ステップＳ３０２Ｄ）。ステップＳ３０２Ｄにおいて、類似特性把握部４０２Ｄは、下記の４つの条件を全て満たす場合に、比較区間の波形に類似性がある（ステップＳ３０２Ｄ；Ｙｅｓ）と判定する。
（条件１）ステップＳ３０２Ｂで算出した出現時刻の一致度が閾値ＴＨ１以上であること。
（条件２）ステップＳ３０２Ｃで算出した相関係数Ｒ１が閾値ＴＨ２以上であること。
（条件３）ステップＳ３０２Ｃで算出した標本平均Ｒ２１，Ｒ２２がそれぞれ閾値ＴＨ３１，ＴＨ３２以下であること。
（条件４）ステップＳ３０２Ｃで算出した標本偏差Ｒ３１，Ｒ３２がそれぞれ閾値ＴＨ４１，ＴＨ４２以下であること。

ここで、条件１〜条件４における閾値ＴＨ１，ＴＨ２，ＴＨ３１，ＴＨ３１，ＴＨ４１，ＴＨ４２は、前記人物から前記収音位置までの距離と、前記人物の発音を前記収音位置で収音したときの前記音声データの波形との関係に基づいて設定した値である。これら閾値は、第１の基準値に含まれる。第１の基準値は、例えば、識別規則４０３Ｄの１つとして、例えば、記憶部４０３に格納される。

すなわち、類似特性把握部４０２Ｄは、比較区間に波形の山及び谷の出現パターンの類似度が高く、かつ音圧の値の変化の類似性が高い場合に、当該比較区間の波形に類似性があると判定する。

音圧の値の変化に類似性がある場合（ステップＳ３０２Ｄ；Ｙｅｓ）、類似特性把握部４０２Ｄは、比較区間の音声波形が類似していると把握し（ステップＳ３０２Ｅ）、当該比較区間に音声波形に類似性があることを示す情報を付加する。一方、音圧の値の変化に類似性がない場合（ステップＳ３０２Ｄ；Ｎｏ）、類似特性把握部４０２Ｄは、比較区間の音声波形が類似していないと把握する（ステップＳ３０２Ｆ）。

ステップＳ３０２Ｅ又はＳ３０２Ｆにおいて比較区間の波形についての類似性を把握すると、類似特性把握部４０２Ｄは、類似特性把握処理を終了し、図５に示したステップＳ３０３の判定を行う。比較区間の音声波形が類似している場合（ステップＳ３０３；Ｙｅｓ）、類似特性把握部４０２Ｄは、減衰特性把握部４０２Ｅに減衰特性把握処理（ステップＳ３０４）を行わせる。減衰特性把握部４０２Ｅは、減衰特性把握処理として、図７に示した処理を行う。

図７は、減衰特性把握処理の内容を説明するフローチャートである。
減衰特性把握部４０２Ｅは、まず、比較区間から類似度の高い区間の波形情報を抽出する（ステップＳ３０４Ａ）。

次に、減衰特性把握部４０２Ｅは、ステップＳ３０４Ａで抽出した区間の音圧に基づいて、基準音声データを特定する（ステップＳ３０４Ｂ）。ステップＳ３０４Ｂにおいて、減衰特性把握部４０２Ｅは、第１の音声データから抽出した区間と、第２の音声データから抽出した区間との音圧の平均値又は総和値を比較し、値が大きいほうの区間を抽出した音声データを、基準音声データとする。

次に、減衰特性把握部４０２Ｅは、各時刻における基準音声データの音圧Ａと、他方の音声データの音圧Ｂとから、抽出した区間の各時刻における音圧の関係を表す値（Ａ−Ｂ）／Ａを算出する（ステップＳ３０４Ｃ）。

次に、減衰特性把握部４０２Ｅは、ステップＳ３０４Ａで抽出した区間において値（Ａ−Ｂ）／Ａが正となる区間の比率Ｑ１と、当該抽出した区間における値（Ａ−Ｂ）／Ａの平均Ｑ２及び偏差Ｑ３とを算出する（ステップＳ３０４Ｄ）。

次に、減衰特性把握部４０２Ｅは、ステップＳ３０４Ａで抽出した区間全体での音圧の関係を表す値Σ（Ａ−Ｂ）／ΣＡを算出する（ステップＳ３０４Ｅ）。

次に、減衰特性把握部４０２Ｅは、算出した比率Ｑ１、平均Ｑ２及び偏差Ｑ３と、値Σ（Ａ−Ｂ）／ΣＡとに基づいて、基準音声データと他方の音声データとの間に減衰傾向が見られるか否かを判定する（ステップＳ３０４Ｆ）。ステップＳ３０４Ｆにおいて、減衰特性把握部４０２Ｅは、下記の４つの条件を全て満たす場合に、基準音声データに対し他方の音声データが減衰傾向にある（Ｓ３０４Ｆ；Ｙｅｓ）と判定する。
（条件１）ステップＳ３０４Ｄで算出した比率Ｑ１が閾値ＴＨ５以上であること。
（条件２）ステップＳ３０４Ｄで算出した平均Ｑ２が閾値ＴＨ６以下であること。
（条件３）ステップＳ３０４Ｄで算出した偏差Ｑ３が閾値ＴＨ７以下であること。
（条件４）ステップＳ３０４Ｅで算出した値Σ（Ａ−Ｂ）／ΣＡが閾値ＴＨ８以下であること。

ここで、条件１〜条件４における閾値ＴＨ５，ＴＨ６，ＴＨ７，ＴＨ８は、前記人物から前記収音位置までの距離と、前記人物の発音を前記収音位置で収音したときの前記音声データの波形との関係に基づいて設定した値である。これら閾値は、例えば、識別規則４０３の１つとして、例えば、記憶部４０３Ｄに格納される。

減衰傾向が見られる場合（ステップＳ３０４Ｆ；Ｙｅｓ）、減衰特性把握部４０２Ｅは、比較区間から抽出した類似性の高い区間に減衰特性があると把握し（ステップＳ３０４Ｇ）、当該区間に減衰特性があることを示す情報を付加する。一方、減衰傾向が見られない場合（ステップＳ３０４Ｆ；Ｎｏ）、減衰特性把握部４０２Ｅは、比較区間から抽出した類似性の高い区間には減衰特性がないと把握する（ステップＳ３０４Ｈ）。

このように、比較区間の波形に類似性があると判定した場合（ステップＳ３０３；Ｙｅｓ）、データ処理部４０２は、減衰特性把握部４０２Ｅにおいて減衰特性把握処理を行う。

これに対し、比較区間の波形に類似性がないと判定した場合（ステップＳ３０３；Ｎｏ）、類似特性把握部４０２Ｄは、非類似特性把握部４０２Ｆに、波形非類似特性把握処理（ステップＳ３０５）及び音圧傾向非類似特性把握処理（ステップＳ３０６）を行わせる。非類似特性把握部４０２Ｆは、波形非類似特性把握処理として、図８に示した処理を行う。また、非類似特性把握部４０２Ｆは、音圧傾向非類似特性把握処理として、図９に示した処理を行う。

図８は、波形非類似特性把握処理の内容を説明するフローチャートである。図９は、音圧傾向非類似特性把握処理の内容を説明するフローチャートである。

波形非類似特性把握処理において、非類似特性把握部４０２Ｆは、まず、図８に示すように、第１の音声データの比較区間と、第２の音声データの比較区間とのそれぞれにおける波形の山及び谷の出現時刻を抽出する（ステップＳ３０５Ａ）。ステップＳ３０５Ａの処理において、非類似特性把握部４０２Ｆは、ステップＳ３０２Ａと同様の処理を行って山及び谷の出現時刻を抽出する。

次に、非類似特性把握部４０２Ｆは、第１の音声データから抽出した波形の山及び谷の出現時刻と、第２の音声データから抽出した波形の山及び谷の出現時刻とを比較して一致度を算出する（ステップＳ３０５Ｂ）。ステップＳ３０５Ｂの処理において、非類似特性把握部４０２Ｆは、例えば、ステップＳ３０５Ａで抽出した山谷のうちの出現時刻が一致した山谷の数を計数し、出現時刻が一致した山谷の数を抽出した山谷の総数で除した値を一致度とする。

次に、非類似特性把握部４０２Ｆは、ステップＳ３０５Ｂで算出した出現時刻の一致度が閾値ＴＨ９以下であるか否かを判定する（ステップＳ３０５Ｃ）。閾値ＴＨ９は、波形の非類似性の有無を判定する第２の基準値の１つとして記憶部４０３に格納された値であり、類似特性把握部４０２ＤがステップＳ３０２Ｄの判定で用いる閾値ＴＨ１よりも小さい値とする。出現時刻の一致度が閾値ＴＨ９以下である場合（ステップＳ３０５Ｃ；Ｙｅｓ）、非類似特性把握部４０２Ｆは、比較区間における波形の山谷の出現パターンは非類似性が高いと把握し（ステップＳ３０５Ｄ）、波形非類似特性把握処理を終了する。ステップＳ３０５Ｄにおいて、非類似特性把握部４０２Ｆは、当該比較区間の波形は非類似性が高いことを示す情報を付加する。一方、出現時刻の一致度が閾値ＴＨ９よりも大きい場合（ステップＳ３０５Ｃ；Ｎｏ）、非類似特性把握部４０２Ｆは、ステップＳ３０５Ｄの処理をスキップして、波形非類似特性把握処理を終了する。

これに対し、音圧傾向非類似特性把握処理において、非類似特性把握部４０２Ｆは、まず、図９に示すように、比較区間の波形における音圧の値の変化についての相関係数Ｒ１、標本平均Ｒ２及び標本偏差Ｒ３を算出する（ステップＳ３０６Ａ）。非類似特性把握部４０２Ｆが行うステップＳ３０６Ａの処理は、類似特性把握部４０２Ｄが行うステップＳ３０２Ｃの処理と同じでよい。また、非類似特性把握部４０２Ｆが行うステップＳ３０６Ａの処理は、類似特性把握部４０２ＤがステップＳ３０２Ｃで算出した相関係数Ｒ１、標本平均Ｒ２（Ｒ２１，Ｒ２２）及び標本偏差Ｒ３（Ｒ３１，Ｒ３２）を読み出す（取得する）処理でもよい。

次に、非類似特性把握部４０２Ｆは、ステップＳ３０６Ａで算出した相関係数Ｒ１、標本平均Ｒ２（Ｒ２１，Ｒ２２）及び標本偏差Ｒ３（Ｒ３１，Ｒ３２）に基づいて、音圧の値の変化に非類似性が見られるか否かを判定する（ステップＳ３０６Ｂ）。ステップＳ３０６Ｂにおいて、非類似特性把握部４０２Ｆは、下記の３つの条件を全て満たす場合に、音圧の値の変化に非類似性が見られる（ステップＳ３０６Ｂ；Ｙｅｓ）と判定する。
（条件１）ステップＳ３０６Ａで算出した相関係数Ｒ１が閾値ＴＨ１０以下であること。
（条件２）ステップＳ３０６Ａで算出した標本平均Ｒ２１，Ｒ２２がそれぞれ閾値ＴＨ１１１，ＴＨ１１２以上であること。
（条件３）ステップＳ３０６Ａで算出した標本偏差Ｒ３１，Ｒ３２がそれぞれ閾値ＴＨ１２１，ＴＨ１２２以上であること。

ここで、条件１〜条件４における閾値ＴＨ１０，ＴＨ１１１，ＴＨ１１２，ＴＨ１２１，ＴＨ１２２は、前記人物から前記収音位置までの距離と、前記人物の発音を前記収音位置で収音したときの前記音声データの波形との関係に基づいて設定した値である。これら閾値は、第２の基準値に含まれる。第２の基準値は、例えば、識別規則４０３Ｄの１つとして、例えば、記憶部４０３に格納される。

なお、ステップＳ３０６Ｂの判定に用いる閾値ＴＨ１０は、ステップＳ３０２Ｄの判定に用いる閾値ＴＨ２よりも小さい値（ＴＨ１０＜ＴＨ２となる値）とする。また、ステップＳ３０６Ｂの判定に用いる閾値ＴＨ１１１，ＴＨ１１２は、それぞれ、ステップＳ３０２Ｄの判定に用いる閾値ＴＨ３１，ＴＨ３２及びＴＨ４よりも大きい値とする。同様に、ステップＳ３０６Ｂの判定に用いる閾値ＴＨ１２１，ＴＨ１２２は、それぞれ、ステップＳ３０２Ｄの判定に用いる閾値ＴＨ４１，ＴＨ４２よりも大きい値とする。

音圧の値の変化に非類似性が見られる場合（ステップＳ３０６Ｂ；Ｙｅｓ）、非類似特性把握部４０２Ｆは、比較区間の音圧の変化の傾向に非類似性があると把握し（ステップＳ３０６Ｃ）、音圧傾向非類似特性把握処理を終了する。ステップＳ３０６Ｃにおいて、非類似特性把握部４０２Ｆは、非類似性が見られる比較区間に対し音圧の変化の傾向に非類似性があることを示す情報を付加する。一方、音圧の値の変化に非類似性がない場合（ステップＳ３０６Ｂ；Ｎｏ）、非類似特性把握部４０２Ｆは、ステップＳ３０２Ｃをスキップして音圧傾向非類似特性把握処理を終了する。

特性把握処理（ステップＳ３）における上記の各処理を終えると、データ処理部４０２は、次に、話者識別処理（ステップＳ４）を行う。ステップＳ４の処理は、データ処理部４０２の話者識別部４０２Ｇが行う。話者識別部４０２Ｇは、処理対象の音声データの組に対する話者識別処理として、図１０に示した処理を行う。

図１０は、話者識別処理の内容を説明するフローチャートである。
話者識別部４０２Ｇは、まず、比較区間を選択し、当該比較区間の類似性／非類似性を示す情報を読み出す（ステップＳ４０１）。ステップＳ４０１において、話者識別部４０２Ｇは、所定の選択規則に従って比較区間の組を選択する。選択規則は、例えば、ステップＳ４０１において選択していない比較区間のうち、音声データ内における時間順で１番目となる比較区間を選択する、という規則とする。

次に、話者識別部４０２Ｇは、読み出した情報に基づいて、選択した比較区間の波形に類似性があるか否かを判定する（ステップＳ４０２）。

選択した比較区間に類似性がある場合（ステップＳ４０２；Ｙｅｓ）、話者識別部４０２は、次に、当該比較区間の減衰特性の有無を表す情報を読み出し（ステップＳ４０３）、減衰特性があるか否かを判定する（ステップＳ４０４）。減衰特性がある場合（ステップＳ４０４；Ｙｅｓ）、話者識別部４０２Ｇは、選択した比較区間の話者が客体であると識別する（ステップＳ４０５）。減衰特性がない場合（ステップＳ４０４；Ｎｏ）、話者識別部４０２Ｇは、選択した比較区間の話者を判定不能であると識別する（ステップＳ４０６）。なお、ステップＳ４０６の「判定不能」という識別結果は、話者が客体或いは主体であると特定できない場合の他、客体と主体とが同時に発話している場合を含む。

これに対し、比較区間に類似性がない場合（ステップＳ４０２；Ｙｅｓ）、話者識別部４０２Ｇは、次に、当該比較区間に非類似性があるか否かを判定する（ステップＳ４０７）。比較区間に非類似性がある場合（ステップＳ４０７；Ｙｅｓ）、話者識別部４０２Ｇは、当該比較区間の話者が主体であると識別する（ステップＳ４０８）。比較区間に非類似性がない場合（ステップＳ４０７；Ｎｏ）、話者識別部４０２Ｇは、当該比較区間の話者を判定不能であると識別する（ステップＳ４０６）。

ステップＳ４０１〜Ｓ４０８の処理による比較区間の話者の識別を終えると、話者識別部４０２Ｇは、次に、未処理の比較区間があるか否かを判定する（ステップＳ４０９）。未処理の比較区間がある場合（ステップＳ４０９；Ｙｅｓ）、話者識別部４０２Ｇは、ステップＳ４０１以降の処理を繰り返す。そして、全ての比較区間の話者を識別すると（ステップＳ４０９；Ｎｏ）、話者識別部４０２Ｇは、話者識別処理を終了する。

なお、図１０の処理では、話者が主体或いは客体のいずれかに識別できない比較区間については「判定不能」という１つの識別結果にまとめている。しかしながら、話者識別処理においては、これに限らず、例えば、ステップＳ４０６において、主体と客体とが同時に発話している状態であるか否かを判定し、識別結果を「判定不能」と「主体と客体とが同時に発話している」との２通りに分けてもよい。

上記の話者識別処理が終了すると、データ処理部４０２は、次に、音声採録処理（ステップＳ５）を行う。ステップＳ５の処理は、データ処理部４０２の音声採録部４０２Ｈが行う。音声採録部４０２Ｈは、処理対象の音声データの組における各発話区間（比較区間）の波形と、話者の識別結果とに基づいて、話者の音声がよりよい状態で録音されている音声データの発話区間を選択して抽出し、それらを連結する。

以上のように、本実施形態に係る音声要約作成支援装置４は、対話に参加する人物からの距離の関係が異なる２個の録音装置で録音した音声データに基づいて、音声データにおける各発話区間の話者を推定し識別する。この際、音声要約作成支援装置４は、主体のみが発話した区間における波形の関係と、客体のみが発話した区間における波形の関係と、に基づいて話者を推定する。

図１１は、主体が発話したときの音声データと客体が発話したときの音声データとの例を示す波形図である。

図１１には、二人の人物５Ａ，５Ｂによる対話を第１の録音装置２で録音した第１の音声データの一部と、第２の録音装置３で録音した第２の音声データの一部とを示している。第１の録音装置２で録音した第１の音声データは、二人の人物のうちの主体となる人物５Ａの口元から約１５ｃｍ、客体となる人物５Ｂの口元から約１２０ｃｍとなる位置で収音して録音した音声データである。第２の録音装置３で録音した第２の音声データは、主体となる人物５Ａの口元から約８０ｃｍ、客体となる人物５Ｂの口元から約６０ｃｍとなる位置で収音して録音した音声データである。

図１１の（ａ）は、第１の音声データ及び第２の音声データにおける、主体である人物５Ａがある言葉を発した区間（発話区間）の波形を示している。主体である人物５Ａから見ると、第１の録音装置２の収音位置は自身の近傍であり、第２の録音装置３の収音位置は第１の録音装置２の収音位置よりも遠方である。更に、主体である人物５Ａから第２の録音装置３の収音位置までの距離Ｌ２は、人物５Ａから第１の録音装置２の収音位置までの距離Ｌ１のおよそ５倍である。

よって、第１の音声データ及び第２の音声データにおける、主体である人物５Ａのみが発話した区間の波形は、図１１の（ａ）に示したように、山谷の出現パターンの類似性及び音圧の値の変化の類似性が非常に低くなる。言い換えると、主体である人物５Ａのみが発話した区間の波形は、山谷の出現パターンの非類似性及び音圧の値の変化の非類似性が非常に高くなる。

一方、図１１の（ｂ）には、第１の音声データ及び第２の音声データにおける、客体である人物５Ｂがある言葉を発した区間（発話区間）の波形を示している。客体である人物５Ｂから見ると、第２の録音装置３の収音位置は自身から約６０ｃｍ離れており、第１の録音装置２の収音位置は第２の録音装置３の収音位置よりも遠方である。更に、客体である人物５Ｂから第１の録音装置２の収音位置までの距離（およそＬ３＋Ｌ２）は、人物５Ｂから第２の録音装置３の収音位置までの距離Ｌ２のおよそ１．３倍である。

よって、第１の音声データ及び第２の音声データにおける、客体である人物５Ｂのみが発話した区間の波形は、図１１の（ｂ）に示したように、山谷の出現パターンの類似性及び音圧の値の変化の類似性が非常に高くなる。更に、客体である人物５Ｂのみが発話した区間の波形は、第１の音声データにおける音圧が第２の音声データにおける音圧よりも全体的に小さくなっており、第２の音声データから第１の音声データへの減衰傾向が見られる。

したがって、対話に参加する人物からの距離の関係が異なる２個の録音装置で録音した音声データに基づいて発話区間における波形の類似性及び減衰特性を把握することにより、発話区間の話者を識別することが可能となる。

図１２は、会話中の第１の音声データと第２の音声データとの例を示す図である。
図１２には、二人の人物による会話を第１の録音装置で録音した第１の音声データと、当該会話を第２の録音装置で録音した第２の音声データと、会話の内容とを示している。

図１２の（ａ）は、第１の音声データ及び第２の音声データから抽出した時刻ｔ０〜ｔ７の区間における会話の内容を示している。時刻ｔ０から、時刻ｔ３とｔ４との間の時刻ｔｐ付近までは、客体である人物が「埼玉 東京生まれ 埼玉育ち」と発話している。また、客体である人物が発話した後の時刻ｔｐから時刻ｔ７までは、主体である人物が「ああそうなんですか 生まれたのは東京ね」と発話している。

図１２の（ｂ）は、第１の録音装置で録音した第１の音声データにおける上記の会話の内容と対応する区間の波形図である。図１２の（ｃ）は、第２の録音装置で録音した第２の音声データにおける上記の会話の内容と対応する区間の波形図である。

図１２に示した第１の音声データ及び第２の音声データに対し比較区間抽出処理（ステップＳ２）を行うと、例えば、５個の比較区間ＶＡ１〜ＶＡ５が設定される。この５個の比較区間ＶＡ１〜ＶＡ５のそれぞれに対し、本実施形態に係る特性把握処理（ステップＳ３）における４個の特性把握処理（ステップＳ３０２，Ｓ３０４，Ｓ３０５，及びＳ３０６）を行うと、例えば、図１３のテーブルに示すような結果が得られる。

図１３は、特性把握処理の結果の例を示す図である。
特性把握処理（ステップＳ３）は、類似特性把握処理（ステップＳ３０２）、減衰特性把握処理（ステップＳ３０４）、波形非類似特性把握処理（ステップＳ３０５）、及び音圧傾向非類似特性把握処理（ステップＳ３０６）を含む。

類似特性把握処理（ステップＳ３０２）では、上記のように、比較区間の波形における山谷の出現時刻の一致度と、音圧の値の変化について相関係数Ｒ１と、式（１−１）及び（１−２）により算出した値Ｆ１，Ｆ２についての標本平均及び標本偏差と、を算出する。図１２に示した第１の音声データ及び第２の音声データにおける比較区間ＶＡ１〜ＶＡ５のそれぞれに対し類似特性把握処理を行うと、図１３に示したような結果が得られる。

図１３において、山谷の一致度は、比較区間の波形における山谷の出現時刻の一致度を表し、音圧の相関係数は、音圧の値の変化について相関係数Ｒ１を表す。図１３において、第１の標本平均及び第１の標本偏差は、それぞれ、式（１−１）により算出した値Ｆ１についての標本平均及び標本偏差である。図１３において、第２の標本平均及び第２の標本偏差は、それぞれ、式（１−２）により算出した値Ｆ２についての標本平均及び標本偏差である。

なお、図１２に示すように、比較区間ＶＡ２における時刻ｔｑ以前の区間ＶＡ２１は、音圧が小さく、人の発音を示すピークも見られない。このため、比較区間ＶＡ２に対する類似特性把握処理では、時刻ｔｑよりも後の区間ＶＡ２２の波形情報のみに基づく処理を行っている。

図１３からわかるように、客体が発話している比較区間ＶＡ１〜ＶＡ３における山谷の一致度及び音圧の相関係数は、主体が発話している比較区間ＶＡ４，ＶＡ５における山谷の一致度及び音圧の相関係数と比べて、大きな値となっている。

また、客体が発話している比較区間ＶＡ１〜ＶＡ３における標本平均及び標本偏差は、主体が発話している比較区間ＶＡ４，ＶＡ５における標本平均及び標本偏差と比べて、小さくなる傾向が見られる。

したがって、上記の類似特性把握処理を行うことで、発話区間の話者が主体であるか客体であるかを大まかに識別することが可能である。

減衰特性把握処理（ステップＳ３０４）では、上記のように、まず、第１の音声データから抽出した区間と、第２の音声データから抽出した区間との音圧の平均値又は総和値を比較し、値が大きいほうの区間を抽出した音声データを基準音声データとする。次に、減衰特性把握処理では、各時刻における基準音声データの音圧Ａと、他方の音声データの音圧Ｂとから、抽出した区間の各時刻における音圧の関係を表す値（Ａ−Ｂ）／Ａを算出する。その後、減衰特性把握処理では、値（Ａ−Ｂ）／Ａが正となる区間の比率Ｑ１と、当該抽出した区間における値（Ａ−Ｂ）／Ａの平均Ｑ２及び偏差Ｑ３とを算出する。更に、減衰特性把握処理では、区間全体での音圧の関係を表す値Σ（Ａ−Ｂ）／ΣＡを算出する。図１２に示した第１の音声データ及び第２の音声データにおける比較区間ＶＡ１，ＶＡ２２，及びＶＡ３〜ＶＡ５のそれぞれに対し類似特性把握処理を行うと、図１３に示したような結果が得られる。

図１３において、比率は、値（Ａ−Ｂ）／Ａが正となる区間の比率Ｑ１である。図１３において、平均及び偏差は、それぞれ、値（Ａ−Ｂ）／Ａの平均Ｑ２及び偏差Ｑ３である。図１３において、全体値は、区間全体での音圧の関係を表す値Σ（Ａ−Ｂ）／ΣＡである。

減衰特性把握処理では、上記のように、まず基準音声データを定める。第１の音声データにおける音圧の平均値又は総和値が、第２の音声データにおける音圧の平均値又は総和値よりも大きい比較区間は、第１の音声データを基準音声データとする。一方、第２の音声データにおける音圧の平均値又は総和値が、第１の音声データにおける音圧の平均値又は総和値よりも大きい比較区間は、第２の音声データを基準音声データとする。

図１２の波形図からわかるように、客体が発話している比較区間ＶＡ１，ＶＡ２２，及びＶＡ３では、第１の音声データのほうが第２の音声データに比べて全体的に音圧が高くみえる。このため、比較区間ＶＡ１，ＶＡ２２，及びＶＡ３の基準音声データを定めると、図１３に示すように、比較区間ＶＡ１，ＶＡ２（ＶＡ２２）の基準音声データは第１の音声データとなり、比較区間ＶＡ３の基準音声データは第２の音声データとなる。また、主体が発話している比較区間ＶＡ４，ＶＡ５は第１の音声データの音圧が高くなるため、比較区間Ｖ４，Ｖ５の基準音声データは、第１の音声データとなる。

また、減衰特性把握処理で算出した各比較区間の比率Ｑ１のうち、客体が発話している比較区間ＶＡ１〜ＶＡ３の比率は、主体が発話している比較区間ＶＡ４，ＶＡ５の比率に比べて、小さくなる。同様に、減衰特性把握処理で算出した各比較区間の全体値Σ（Ａ−Ｂ）／ΣＡのうち、客体が発話している比較区間ＶＡ１〜ＶＡ３の全体値は、主体が発話している比較区間ＶＡ４，ＶＡ５の全体値に比べて、小さくなる。

波形非類似特性把握処理（ステップＳ３０５）では、上記のように、比較区間における波形の山及び谷の出現時刻の一致度に基づいて、比較区間の波形についての非類似性を判定する。波形非類似特性把握処理（ステップＳ３０５）では、類似特性把握処理におけるステップＳ３０２Ａ及びＳ３０２Ｂと同様の処理により波形の山及び谷の出現時刻の一致度を算出する。また、音圧傾向非類似特性把握処理（ステップＳ３０６）では、上記のように、比較区間の各時刻における音圧の変化の傾向に非類似性が見られるか否かを把握する。音圧傾向非類似特性把握処理（ステップＳ３０６）では、類似特性把握処理におけるステップＳ３０２Ｃと同様の処理により算出した音圧の変化についての相関係数Ｒ１、標本平均Ｒ２及び標本偏差Ｒ３に基づいて、非類似性が見られるか否かを判定する。

よって、図１２に示した比較区間Ｖ１〜Ｖ５のそれぞれに対し非類似特性把握処理（波形非類似特性把握処理及び音圧傾向非類似特性把握処理）を行うと、図１３に示したように、類似特性把握処理の結果と同じ結果が得られる。

このように、第１の音声データ及び第２の音声データに基づいて上記の特性把握処理を行った場合、話者が主体である区間と、話者が客体である区間とでは、各処理で算出した値に違いが生じる。よって、例えば、人物及び録音装置の配置、会話の内容等が異なる複数通りの音声データの組に対する特性把握処理の結果に基づいて、判定に用いる閾値を設定することにより、話者が主体及び客体のいずれであるかを精度良く識別することが可能となる。

図１４は、採録音声データの例を示す波形図である。
上記の特性把握処理及び話者識別処理が終了すると、データ処理部４０２は、次に、音声採録部４０２Ｈにより音声採録処理（ステップＳ６）を行う。音声採録部４０２Ｈは、音声データから発話区間のみを抽出して連結した（採録した）採録音声データを作成する。

音声採録部４０２Ｈは、各発話区間（比較区間）の話者についての情報（主体、客体、及び判定不能のいずれであるか）と、第１の音声データ及び第２の音声データの波形情報とに基づいて、発話区間のみを抽出して連結した採録音声データを作成する。

ここで、第１の音声データ及び第２の音声データが、それぞれ、２チャンネルのステレオ録音による音声データであるとすると、録音装置から入力された音声データは、４種類となる。このため、音声採録部４０２Ｈは、比較区間毎に、４つの音声データのなかから録音状態が最もよい音声データの比較区間を選択し、図１４に示したような採録音声データを作成する。

例えば、図１２の比較区間ＶＡ１は、話者が客体である。このため、近接する主体が発する音声以外の音を含みやすい第１の音声データよりも、第２の音声データのほうが、より録音状態がよいと考えられる。このため、音声採録部４０２Ｈは、図１４に示すように、第２の音声データから比較区間ＶＡ１を抽出して採録音声データに連結する。

図１２の比較区間ＶＡ２は、比較区間ＶＡ１に続く発話区間であるが、時刻ｔｐ以前の区間Ｖ２１の波形は、音圧が低く客体の発話を表すピークが見られない。このため、音声採録部４０２Ｈは、比較区間ＶＡ２のうちの前半部分の区間ＶＡ２１を無音空間とみなし、後半の区間ＶＡ２２のみを抽出し、比較区間ＶＡ１の後ろに連結する。

その後、音声採録部４０２Ｈは、第２の音声データから比較区間ＶＡ３を抽出し、比較区間ＶＡ２の後ろに連結する。以後、音声採録部４０２Ｈは、各比較区間における発話区間のみを音声データから順次抽出し、採録音声データに追加していく。

このとき、音声採録部４０２Ｈは、特性把握処理で判定した各比較区間の話者を表す情報を採録音声データに付加する。

本実施形態に係る音声要約作成支援装置４は、人物からの距離の組み合わせが異なる複数の収音位置で収音した複数の音声データにおける波形についての特性に基づいて、音声データにおける各発話区間の話者を識別する。このため、音声要約作成支援装置４は、例えば、音声データにおける発話区間を抽出して採録する際に、特定の話者の発話区間のみを採録した採録音声を作成することが可能となる。採録音声を作成する際には、上記のように、第１の音声データ及び第２の音声データのうちの録音状態がよいほうの音声データを抽出する。インタビュー等において客体となる人物５Ｂは録音装置を装着していないが、人物５Ｂの発話は、主体となる人物５Ａが装着している第１の録音装置２よりも人物５Ｂに近い位置にある第２の録音装置３でも録音している。したがって、客体となる人物５Ｂの発話区間は第２の音声データのほうが第１の音声データよりも録音状態がよいと推定され、採録音声には第２の音声データの発話区間が選択される。更に、音声データにおける各発話区間の話者を識別しているので、音声要約作成支援装置４は、例えば、採録音声を可視化して表示する際に話者を示す情報を付加して表示することが可能となる。よって、本実施形態によれば、対話に参加した各人物の発話内容を了解可能な音量を維持しつつ各発話区間の話者を識別した採録音声を作成することが可能となる。これにより、音声データに基づいて対話内容の要約（音声要約）を作成する際のオペレータの作業負担を軽減することが可能となる。

なお、会話をする人物は、二人に限らず、三人以上であってもよい。会話をする人物が三人以上である場合、例えば、当該三人以上の人物のうちの一人が「主体」となり、他の人物が「客体」となる。

また、客体となる人物が二人以上である場合、例えば、図１５に示す客体音声分離処理を行って、複数人の客体の音声を分離してもよい。

図１５は、客体音声分離処理の内容を説明するフローチャートである。
図１５に示した客体音声分離処理は、データ処理部４０２が、例えば、図３のフローチャートにおける話者識別処理（ステップＳ４）と、音声採録処理（ステップＳ５）との間で行う。客体音声分離処理は、データ処理部４０２の話者識別部４０２Ｇが行ってもよいし、図２には示していない客体音声分離処理部が行ってもよい。話者識別部４０２Ｇが客体音声分離処理を行う場合、客体音声分離処理は、ステップＳ４の話者識別処理に含めてもよい。

客体音声分離処理において、データ処理部４０２は、まず、話者識別処理の結果に基づいて、比較区間のうちの話者が客体であると推定した（把握した）比較区間を抽出する（ステップＳ６０１）。

次に、データ処理部４０２は、目標分離数を設定する（ステップＳ６０２）。目標分離数は、会話に客体として参加している人物の数である。目標分離数は、例えば、音声要約作成支援装置４のオペレータ（例えば主体となる人物）が、図２には示していない入力装置を利用して音声要約作成支援装置４に入力する。なお、ステップＳ６０２では、目標分離数として、不定であることを示す値を設定することも可能であるとする。例えば、音声要約支援装置４のオペレータが会話に参加していない人物であり、会話に客体として参加した人物の数が不明である場合、オペレータは、目標分離数として、不定であることを示す値を設定する。

次に、データ処理部４０２は、話者が客体である比較区間のそれぞれから平均音圧区間を抽出する（ステップＳ６０３）。ステップＳ６０３において、データ処理部４０２は、まず、比較区間における音圧の移動平均を算出し、平均音圧の変化点を探索する。その後、データ処理部４０２は、変化点と変化点との間を平均音圧区間として抽出する。

次に、データ処理部４０２は、第１の録音データ及び第２の録音データのそれぞれの比較区間から抽出した平均音圧区間毎の平均音圧値と、平均音圧値の差とを算出してリスト化する（ステップＳ６０４）。

次に、データ処理部４０２は、リスト化した平均音圧値と、平均音圧値の差とをクラスタリングし、共通性のある複数の組に分割する（ステップＳ６０５）。ステップＳ６０５において、データ処理部４０２は、目標分離数に基づいてリストを複数の組に分割する。なお、目標分離数が不定である場合、データ処理部４０２は、例えば、分割する組数を２，３，４，・・・の順に増やしていき、確度に基づいて適切な組数を推定する。

次に、データ処理部４０２は、分割した複数の組に基づいて、話者が客体であると推定された各比較区間に、話者（客体）を識別する情報を付与する（ステップＳ６０６）。

以上の処理により、話者が客体であると推定された各比較区間を話者（客体）毎に分離した後、データ処理部４０２は、音声採録処理を行う。

なお、図３〜図１０、及び図１５に示した各処理は、いずれも本実施形態に係る音声要約支援装置４が行う処理の例に過ぎない。本実施形態に係る音声要約支援装置４が行う処理は、本実施形態の要旨を逸脱しない範囲において種々変更可能である。

また、図１に示した音声要約作成支援システム１Ａ及び図２に示した音声要約作成支援装置４は、いずれも本実施形態に係る音声要約作成支援システム及び音声要約支援装置の例に過ぎない。本実施形態に係る音声要約作成支援システム１Ａは、例えば、第１の収音装置及び第２の収音装置を音声要約作成支援装置４に接続し、各収音装置で収音した音声信号を音声要約作成支援装置４で音声データ化するシステムであってもよい。

［第２の実施形態］
図１６は、第２の実施形態に係る音声要約作成支援装置の機能的構成を示す図である。

図１６に示すように、本実施形態に係る音声要約作成支援装置４は、入力部４０１と、データ処理部４０２と、記憶部４０３と、出力部４０４と、を備える。

入力部４０２は、第１の録音装置２で録音した第１の音声データと、第２の録音装置３で録音した第２の音声データとの入力を受け付ける。第１の音声データ及び第２の音声データは、それぞれの音声データを録音した録音装置から直接入力してもよいし、フラッシュメモリを搭載したメモリカードや光ディスク等の可搬型記録媒体を介して入力してもよい。

データ処理部４０２は、入力された第１の音声データと、第２の音声データとに基づいて、音声データにおける発話区間を抽出し、話者を識別する。データ処理部４０２は、時間管理部４０２Ａと、調整部４０２Ｂと、区間データ抽出部４０２Ｃと、類似特性把握部４０２Ｄと、減衰特性把握部４０２Ｅと、非類似特性把握部４０２Ｆと、話者識別部４０２Ｇと、音声採録部４０２Ｈとを含む。また、本実施形態の音声要約作成支援装置４におけるデータ処理部４０２は、客体音声分離部４０２Ｊと、話者切替頻回区間抽出部４０２Ｋと、を更に含む。

記憶部４０３は、第１の音声データ及び第２の音声データを含む各種のデータを記憶する。記憶部４０３には、例えば、調査資源情報４０３Ａ、属性情報４０３Ｂ、録音音声４０３Ｃ、識別規則４０３Ｄ、話者情報４０３Ｅ、及び採録音声４０３Ｆを記憶させる（図２を参照）。

出力部４０４は、データ処理部４０２で生成した採録音声を再生装置７に出力する。再生装置７は、レシーバやスピーカ等の音声データのみを再生する装置であってもよいし、採録音声を可視化して表示する表示装置であってもよい。

上記のように、データ処理部４０２は、時間管理部４０２Ａと、調整部４０２Ｂと、区間データ抽出部４０２Ｃと、類似特性把握部４０２Ｄと、減衰特性把握部４０２Ｅと、非類似特性把握部４０２Ｆと、話者識別部４０２Ｇと、音声採録部４０２Ｈとを含む。データ処理部４０２におけるこれら各部の機能は、第１の実施形態で説明したとおりである。

本実施形態に係るデータ処理部４０２に含まれる客体音声分離部４０２Ｊは、複数の人物が客体として会話に参加した音声データにおいて話者が客体であると判定された発話区間を客体毎に分離する処理を行う。客体音声分離部４０２Ｊは、例えば、図１５に示した客体音声分離処理を行う。

また、本実施形態に係るデータ処理部４０２に含まれる話者切替頻回区間抽出部４０２Ｋは、話者識別部４０２Ｊにおける話者識別処理の結果に基づいて、短時間に話者の変更が頻繁に生じている箇所を抽出する。

図１７は、第２の実施形態に係る音声要約作成支援装置が行う処理を説明するフローチャートである。なお、図１７のフローチャートにおいて、第１の実施形態で説明した処理と同じ処理を行うブロックには、図３のフローチャートと同じステップ番号（例えばＳ１，Ｓ２等）を付している。

図１７に示した処理は、音声要約作成支援装置４のデータ処理部４０２が行う。データ処理部４０２は、まず、取得した音声データ間の調整を行う（ステップＳ１）。ステップＳ１の処理は、データ処理部４０２の時間管理部４０２Ａと調整部４０２Ｂとが行う。

次に、データ処理部４０２は、第１の音声データ及び第２の音声データのそれぞれから比較区間を抽出する比較区間抽出処理（ステップＳ２）を行う。ステップＳ２の処理は、データ処理部４０２の区間データ抽出部４０２Ｃが行う。区間データ抽出部４０２Ｃは、例えば、図４に示したステップＳ２０１〜Ｓ２０６の処理を行い、比較区間を設定する。

次に、データ処理部４０２は、ステップＳ２で抽出した第１の音声データ及び第２の音声データの比較区間における波形についての特性を把握する特性把握処理（ステップＳ３）を行う。ステップＳ３の処理として、データ処理部４０２は、例えば、図５に示したステップＳ３０１〜Ｓ３０７の処理を行う。

このステップＳ３の処理における類似特性把握処理（ステップＳ３０２）は、類似特性把握部４０２Ｄが行う。類似特性把握部４０２Ｄは、類似特性把握処理として、例えば、図６に示したステップＳ３０２Ａ〜Ｓ３０２Ｆの処理を行う。また、ステップＳ３の処理における減衰特性把握処理（ステップＳ３０４）は、減衰特性把握部４０２Ｅが行う。減衰特性把握部４０２Ｅは、減衰特性把握処理として、例えば、図７に示したステップＳ３０４Ａ〜Ｓ３０４Ｈの処理を行う。また、ステップＳ３の処理における波形非類似特性把握処理（ステップＳ３０５）及び音圧傾向非類似特性把握処理（ステップＳ３０６）は、非類似特性把握部４０２Ｆが行う。非類似特性把握部４０２Ｆは、波形非類似特性把握処理として、例えば、図８に示したステップＳ３０５Ａ〜Ｓ３０５Ｄの処理を行う。更に非類似特性把握部４０２Ｆは、音圧傾向非類似特性把握処理として、例えば、図９に示したステップＳ３０６Ａ〜Ｓ３０６Ｃの処理を行う。

次に、データ処理部４０２は、ステップＳ３の処理結果に基づいて、各発話区間における話者を識別する話者識別処理（ステップＳ４）を行う。ステップＳ４の処理は、話者識別部４０２Ｇが行う。話者識別部４０２Ｇは、話者識別処理として、例えば、図１０に示したステップＳ４０１〜Ｓ４０９の処理を行う。

次に、データ処理部４０２は、音声データに含まれる複数の客体の音声を分離する客体音声分離処理（ステップＳ６）を行う。ステップＳ６の処理は、客体音声分離部４０２Ｊが行う。客体音声分離部４０２Ｊは、客体音声分離処理として、例えば、図１５に示したステップＳ６０１〜Ｓ６０６の処理を行う。

次に、データ処理部４０２は、ステップＳ４及びＳ６の処理結果に基づいて、短時間に話者が頻繁に切り替わる区間を抽出する話者切替頻回区間抽出処理（ステップＳ７）を行う。ステップＳ７の処理は、話者切替頻回区間抽出部４０２Ｋが行う。ステップＳ７の処理において、話者切替頻回区間抽出部４０２Ｋは、まず、時系列に並んだ各発話区間の時間と、各発話区間における話者の情報に基づいて、話者が短時間に頻繁に切り替わる区間を抽出する。ここで、話者切替頻回区間抽出部４０２Ｋが抽出する区間は、話者が主体である区間と客体である区間とが頻繁に切り替わる区間だけでなく、話者が特定された区間と話者を判定不能な区間とが頻繁に切り替わる区間も含む。その後、話者切替頻回区間抽出部４０２Ｋは、抽出した話者が頻繁に切り替わる区間に対し、話者が頻繁に切り替わることを示す情報を付与する。

次に、データ処理部４０２は、各音声データにおける発話区間のうち話者の音声が最もよい状態で録音されている発話区間を選択して音声データを採録する（編集する）音声採録処理（ステップＳ５）を行う。ステップＳ５の処理は、音声採録部４０２Ｈが行う。音声採録部４０２Ｈは、例えば、話者が主体である人物の発話区間には第１の音声データの発話区間を選択し、話者が客体である人物の発話区間には第２の音声データの発話区間を選択して各発話区間を時系列に連結する。また、音声採録部４０２Ｈは、ステップＳ４，Ｓ６，及びＳ７の処理結果に基づいて、採録した音声データに、話者を識別する情報や、話者が頻繁に切り替わる区間を示す情報を付与する。

このように、本実施形態に係る音声要約作成支援装置４は、第１の実施形態に係る音声要約作成支援装置４と同様の処理を行って、音声データにおける各発話区間の話者を識別する。すなわち、音声要約作成支援装置４は、人物からの距離の組み合わせが異なる複数の収音位置で収音した複数の音声データにおける波形についての特性に基づいて、音声データにおける各発話区間の話者を識別する。このため、音声要約作成支援装置４は、例えば、音声データにおける発話区間を抽出して採録する際に、特定の話者の発話区間のみを採録した採録音声を作成することが可能となる。採録音声を作成する際には、上記のように、第１の音声データ及び第２の音声データのうちの録音状態がよいほうの音声データを抽出する。インタビュー等において客体となる人物５Ｂは録音装置を装着していないが、人物５Ｂの発話は、主体となる人物５Ａが装着している第１の録音装置２よりも人物５Ｂに近い位置にある第２の録音装置３でも録音している。したがって、客体となる人物５Ｂの発話区間は第２の音声データのほうが第１の音声データよりも録音状態がよいと推定され、採録音声には第２の音声データの発話区間が選択される。更に、音声データにおける各発話区間の話者を識別しているので、音声要約作成支援装置４は、例えば、採録音声を可視化して表示する際に話者を示す情報を付加して表示することが可能となる。よって、本実施形態によれば、対話に参加した各人物の発話内容を了解可能な音量を維持しつつ各発話区間の話者を識別した採録音声を作成することが可能となる。これにより、音声データに基づいて対話内容の要約（音声要約）を作成する際のオペレータの作業負担を軽減することが可能となる。

しかも、本実施形態に係る音声要約作成支援装置４は、話者切替頻回区間抽出処理（ステップＳ７）を行い、採録音声における話者が短時間に頻繁に切り替わる区間を表す情報を付加する。そのため、例えば、音声要約を作成する際に話者が短時間に頻繁に切り替わる区間の発話内容を重視する等、オペレータによる音声要約の作成作業の効率化を図ることが可能となる。

なお、図１７に示したフローチャートは、本実施形態に係る音声要約作成支援装置４が行う処理の一例に過ぎない。本実施形態に係る音声要約作成支援装置４が行う処理は、上記の手順に限らず、本実施形態の要旨を逸脱しない範囲において適宜変更可能である。

また、本実施形態における上記の説明では、第１の実施形態と同様、第１の録音装置及び第２の録音装置により録音した２つの音声データに基づいて、各発話区間の話者を識別し、話者が頻繁に切り替わる区間を抽出している。しかしながら、本実施形態に係る音声要約支援装置４を含む音声要約作成支援システム１は、これに限らず、例えば、音声要約作成支援装置４自体が録音装置としての機能を含むものであってもよい。更に、本実施形態に係る音声要約支援装置４を含む音声要約作成支援システム１は、例えば、話者が短時間に頻繁に切り替わる区間が長期間継続した場合に、対話（会話）に介入して対話を整理する機能を含むシステムであってもよい。

図１８は、第２の実施形態に係る音声要約作成支援システムの変形例を示す図である。
図１８に示すように、本実施形態の変形例に係る音声要約作成支援システム１（１Ｂ）は、第１の収音装置２０と、第２の収音装置３０と、音声要約作成支援装置４と、再生装置７０と、を含む。

第１の収音装置２０及び第２の収音装置３０は、それぞれ、マイクロフォン等、人の音声を含む音を収音する装置であり、音声要約作成支援装置４に接続される。第１の収音装置２０は、会話に主体として参加している人物５Ａの近傍に設置される。一方、第２の収音装置３０は、例えば、主体である人物５Ａや、他の客体として参加している人物５Ｂ〜５Ｄからの距離が略同一になる位置等に設置される。

また、本実施形態の変形例に係る音声要約作成支援システム１における再生装置７０は、例えば、スピーカであり、複数の人物５Ａ〜５Ｄによる対話（会話）が行われる空間６に設置される。

音声要約作成支援装置４は、第１の収音装置２０から入力される音声信号（第１の音声データ）と、第２の収音装置３０から入力される音声信号（第２の音声データ）とに基づいて、音声データにおける発話区間の話者を識別する。なお、音声要約作成支援装置４の設置位置は、複数の人物５Ａ〜５Ｄによる対話（会話）が行われる空間６内に限らず、対話が行われる空間６の外部あってもよい。

図１８に示した音声要約作成支援システム１Ｂにおける音声要約作成支援装置４は、第１の収音装置２０及び第２の収音装置３０から入力された２つの音声データに基づいて、対話中に各発話区間の話者を識別し、話者が頻繁に切り替わる区間を抽出する。更に、本実施形態の変形例に係る音声要約作成支援装置４は、話者が頻繁に切り替わる区間が長期間続いた場合に、対話を整理させる音声情報を生成して再生装置７０に出力する。

図１９は、第２の実施形態の変形例に係る音声要約作成支援装置の機能的構成を示す図である。

図１９に示すように、本実施形態の変形例に係る音声要約作成支援装置４は、入力部４０１と、データ処理部４０２と、記憶部４０３と、出力部４０４と、を備える。このうち、入力部４０１、記憶部４０３、及び出力部４０４については、上記のとおりである。

データ処理部４０２は、時間管理部４０２Ａと、調整部４０２Ｂと、区間データ抽出部４０２Ｃと、類似特性把握部４０２Ｄと、減衰特性把握部４０２Ｅと、非類似特性把握部４０２Ｆと、話者識別部４０２Ｇと、音声採録部４０２Ｈとを含む。データ処理部４０２におけるこれら各部の機能は、上記のとおりである。

また、データ処理部４０２は、客体音声分離部４０２Ｊと、話者切替頻回区間抽出部４０２Ｋと、対話介入部４０２Ｌと、を更に含む。このうち、客体音声分離部４０２Ｊの機能は、上記のとおりである。

話者切替頻回区間抽出部４０２Ｋは、話者識別部４０２Ｈにおける話者識別処理の結果に基づいて、音声データにおいて話者が頻繁に切り替わっている区間を抽出する。更に、本実施形態の変形例に係る音声要約作成支援装置４における話者切替頻回区間抽出部４０２Ｋは、音声データにおいて話者が頻繁に切り替わっている区間が長期間継続している場合に、対話介入部４０２Ｌに対話（会話）を整理させる音声情報を生成させる。

対話介入部４０２Ｌは、話者切替頻回区間抽出部４０２Ｋから対話を整理させる音声情報を生成させる命令を受信すると、対話を整理させる音声情報を生成し、出力部404を介して再生装置７０に出力する。

本実施形態の変形例に係る音声要約作成支援装置４は、上記のように、取得した音声データにおける発話区間の話者を識別する処理を対話中に行う。対話中、音声要約作成支援装置４は、例えば、図２０に示す処理を行う。

図２０は、第２の実施形態の変形例に係る音声要約作成支援装置が行う処理を説明するフローチャートである。なお、図２０のフローチャートにおいて、図１７に沿って説明した処理と同じ処理を行うブロックには、図１７のフローチャートと同じステップ番号（例えばＳ１，Ｓ２等）を付している。

図２０に示した処理は、音声要約作成支援装置４のデータ処理部４０２が行う。データ処理部４０２は、まず、音声データ（音声信号）の取得及び調整を開始する（ステップＳ８）。ステップＳ８の処理は、データ処理部４０２の時間管理部４０２Ａと調整部４０２Ｂとが行う。時間管理部４０２Ａ及び調整部４０２Ｂは、収音装置２０，３０から入力部４０１を介してデータ処理部４０２に順次入力される音声信号（音声データ）に対し、基準時間を設定して時間長等を調整する処理を順次行う。以下の説明では、第１の収音装置２０で収音した音声信号及び第２の収音装置３０で収音した音声信号を、それぞれ、第１の音声データ及び第２の音声データという。

次に、データ処理部４０２は、第１の音声データ及び第２の音声データのそれぞれから比較区間を抽出する比較区間抽出処理（ステップＳ２）を開始する。ステップＳ２の処理は、データ処理部４０２の区間データ抽出部４０２Ｃが行う。区間データ抽出部４０２Ｃは、例えば、図４に示したステップＳ２０１〜Ｓ２０６の処理を行い、比較区間を設定する。

次に、データ処理部４０２は、ステップＳ２で抽出した第１の音声データ及び第２の音声データの比較区間における波形についての特性を把握する特性把握処理（ステップＳ３）を行う。ステップＳ３の処理として、データ処理部４０２は、例えば、図５に示したステップＳ３０１〜Ｓ３０７の処理を行う。

このステップＳ３の処理における類似特性把握処理（ステップＳ３０２）は、類似特性把握部４０２Ｄが行う。類似特性把握部４０２Ｄは、類似特性把握処理として、例えば、図６に示したステップＳ３０２Ａ〜Ｓ３０２Ｆの処理を行う。また、ステップＳ３の処理における減衰特性把握処理（ステップＳ３０４）は、減衰特性把握部４０２Ｅが行う。減衰特性把握部４０２Ｅは、減衰特性把握処理として、例えば、図７に示したステップＳ３０４Ａ〜Ｓ３０４Ｈの処理を行う。また、ステップＳ３の処理における波形非類似特性把握処理（ステップＳ３０５）及び音圧傾向非類似特性把握処理（ステップＳ３０６）は、非類似特性把握部４０２Ｆが行う。非類似特性把握部４０２Ｆは、波形非類似特性把握処理として、例えば、図８に示したステップＳ３０５Ａ〜Ｓ３０５Ｄの処理を行う。更に非類似特性把握部４０２Ｆは、音圧傾向非類似特性把握処理として、例えば、図９に示したステップＳ３０６Ａ〜Ｓ３０６Ｃの処理を行う。

次に、データ処理部４０２は、ステップＳ３の処理結果に基づいて、各発話区間における話者を識別する話者識別処理（ステップＳ４）を行う。ステップＳ４の処理は、話者識別部４０２Ｇが行う。話者識別部４０２Ｇは、話者識別処理として、例えば、図１０に示したステップＳ４０１〜Ｓ４０９の処理を行う。

次に、データ処理部４０２は、音声データに含まれる複数の客体の音声を分離する客体音声分離処理（ステップＳ６）を行う。ステップＳ６の処理は、客体音声分離部４０２Ｊが行う。客体音声分離部４０２Ｊは、客体音声分離処理として、例えば、図１５に示したステップＳ６０１〜Ｓ６０６の処理を行う。

次に、データ処理部４０２は、ステップＳ４及びＳ６の処理結果に基づいて、短時間に話者が頻繁に切り替わる区間を抽出する話者切替頻回区間抽出処理（ステップＳ７）を行う。ステップＳ７の処理は、話者切替頻回区間抽出部４０２Ｋが行う。ステップＳ７の処理において、話者切替頻回区間抽出部４０２Ｋは、まず、時系列に並んだ各発話区間の時間と、各発話区間における話者の情報に基づいて、話者が短時間に頻繁に切り替わる区間を抽出する。ここで、話者切替頻回区間抽出部４０２Ｋが抽出する区間は、話者が主体である区間と客体である区間とが頻繁に切り替わる区間だけでなく、話者が特定された区間と話者を判定不能な区間とが頻繁に切り替わる区間も含む。その後、話者切替頻回区間抽出部４０２Ｋは、抽出した話者が頻繁に切り替わる区間に対し、話者が頻繁に切り替わることを示す情報を付与する。

次に、データ処理部４０２は、図２０に示したように、音声採録処理（ステップＳ５）と並列に、ステップＳ９及びＳ１０の処理を行う。図２０におけるステップＳ７の下方の二重の横線の組は、当該二重の横線の組で挟まれた複数の処理を並列に行うことを意味する。

ステップＳ５の音声採録処理は、音声採録部４０２Ｈが行う。音声採録部４０２Ｈは、例えば、話者が主体である人物の発話区間には第１の音声データの発話区間を選択し、話者が客体である人物の発話区間には第２の音声データの発話区間を選択して各発話区間を時系列に連結する。また、音声採録部４０２Ｈは、ステップＳ４，Ｓ６，及びＳ７の処理結果に基づいて、採録した音声データに、話者を識別する情報や、話者が頻繁に切り替わる区間を示す情報を付与する。

これに対し、音声採録処理と並列に行われるステップＳ９及びステップＳ１０の処理は、話者切替頻回区間抽出部４０２Ｋと、対話介入部４０２Ｌとが行う。ステップＳ９において、話者切替頻回区間抽出部４０２Ｋは、ステップＳ７で抽出した話者が短時間に頻繁に切り替わる区間が長期間継続しているか否かを判定する。話者が短時間に頻繁に切り替わる区間が長期間継続している場合（ステップＳ９；Ｙｅｓ）、話者切替頻回区間抽出部４０２Ｋは、対話介入部４０２Ｌを対話に介入させる（ステップＳ１０）。ステップＳ１０において、対話介入部４０２Ｌは、対話に整理するための音声データを生成し、再生装置７０に出力する。話者が短時間に頻繁に切り替わる区間が短期間である場合（ステップＳ９；Ｎｏ）、話者切替頻回区間抽出部４０２Ｋは、ステップＳ１０の処理をスキップする。

音声採録処理と、ステップＳ９及びＳ１０の処理とを終えると、データ処理部４０２は、処理を続けるか否かを判定する（ステップＳ１１）。収音装置２０，３０から入力された第１の音声データ及び第２の音声データから抽出した発話区間（比較区間）のなかに話者を識別していない発話区間がある場合、データ処理部４０２は、処理を続けると判定する。処理を続ける場合（ステップＳ１１；Ｙｅｓ）、データ処理部４０２は、ステップＳ３以降の処理を繰り返す。処理を続けない場合（ステップＳ１１；Ｎｏ）、データ処理部４０２は、処理を終了する。

このように、本実施形態の変形例では、話者が頻繁に切り替わる区間が長期間継続した場合に、対話を整理するための音声情報を出力する。これにより、例えば、グループインタビュー等で複数の客体が自由に発言をして対話が交錯した場合に、客体の発話を切り、対話を整理することが可能となる。

なお、図２０に示したフローチャートは、本実施形態の変形例に係る音声要約作成支援装置４が行う処理の一例に過ぎない。本実施形態に係る音声要約作成支援装置４が行う処理は、上記の手順に限らず、本実施形態の要旨を逸脱しない範囲において適宜変更可能である。例えば、音声採録処理（ステップＳ５）は、ステップＳ９，Ｓ１０と並列に行う代わりに、一連の処理を終了する（ステップＳ１１；Ｎｏ）と判定した後で行ってもよい。

［第３の実施形態］
図２１は、第３の実施形態に係る音声要約作成支援システムの構成例を示す図である。

図２１に示したように、本実施形態に係る音声要約作成支援システム１（１Ｃ）は、第１の収音装置２０と、第２の収音装置３０と、音声要約作成支援装置４と、再生装置７０と、を含む。

第１の収音装置２０及び第２の収音装置３０は、それぞれ、マイクロフォン等、人の音声を含む音を収音する装置であり、音声要約作成支援装置４に接続される。第１の収音装置２０は、会話に主体として参加している人物５Ａの近傍に設置される。一方、第２の収音装置３０は、例えば、主体である人物５Ａや、客体として参加している人物５Ｂからの距離が略同一になる位置等に設置される。

また、本実施形態に係る音声要約作成支援システム１における再生装置７０は、例えば、スピーカであり、複数の人物５Ａ，５Ｂによる対話（会話）が行われる空間６に設置される。

音声要約作成支援装置４は、対話中に第１の収音装置２０及び第２の収音装置３０から入力される音声信号（音声データ）に基づいて、各発話区間の話者を識別し、話者の識別情報を含む採録音声データを生成する。更に、本実施形態に係る音声要約作成支援装置４は、人物５Ａ，５Ｂが対話を収音する第１の収音装置２０及び第２の収音装置３０の設置位置の調整に利用可能である。なお、音声要約作成支援装置４の設置位置は、複数の人物５Ａ，５Ｂによる対話（会話）が行われる空間６内に限らず、対話が行われる空間６の外部であってもよい。

図２２は、第３の実施形態に係る音声要約作成支援装置の機能的構成を示す図である。
図２２に示すように、本実施形態に係る音声要約作成支援装置４は、入力部４０１と、データ処理部４０２と、記憶部４０３と、出力部４０４と、を備える。このうち、入力部４０１、記憶部４０３、及び出力部４０４については、上記のとおりである。

データ処理部４０２は、時間管理部４０２Ａと、調整部４０２Ｂと、区間データ抽出部４０２Ｃと、類似特性把握部４０２Ｄと、減衰特性把握部４０２Ｅと、非類似特性把握部４０２Ｆと、話者識別部４０２Ｇと、音声採録部４０２Ｈとを含む。データ処理部４０２におけるこれら各部の機能は、上記のとおりである。

また、データ処理部４０２は、客体音声分離部４０２Ｊと、事前試験管理部４０２Ｍと、を更に含む。このうち、客体音声分離部４０２Ｊの機能は、上記のとおりである。

事前試験管理部４０２Ｍは、第１の収音装置２０及び第２の収音装置３０の設置位置を決める事前試験を管理する。事前試験管理部４０２Ｍは、対話に参加する人物に個別に発話をさせる処理、各収音装置２０，３０で収音した音声信号における発話区間の波形の特性と話者との対応関係に基づいて収音装置２０，３０の設置位置の変更等を提案する処理、等を行う。

事前試験を行うか否かは、例えば、対話に参加する人物が、図２０及び図２１には示していない入力装置を操作して選択する。対話において主体となる人物５Ａ等が事前試験の実施を選択した場合、音声要約作成支援装置４は、事前試験として、図２３に示した事前試験処理を行う。なお、事前試験を開始する際には、対話に参加する人物のいずれか一人（主体となる人物５Ａ）の近傍に第１の収音装置２０を設置し、各人物からの距離が略等距離となる位置等に第２の収音装置３０を設置しておけばよい。

図２３は、第３の実施形態に係る事前試験処理を説明するフローチャートである。
事前試験処理を行う場合、音声要約作成支援装置４は、まず、対話に参加する人物に事前試験の開始を通知する音声信号を出力する（ステップＳ２１）。ステップＳ２１の処理は、事前試験管理部４０２Ｍが行う。事前試験管理部４０２Ｍは、例えば、記憶部４０３から事前試験の開始を通知するメッセージを含む音声データを読み出し、出力部４０４を介して再生装置７０に出力する。

次に、音声要約作成支援装置４は、対話に参加する人物毎に所定の発話をさせ、第１の収音装置２０及び第２の収音装置３０で収音した音声データを順次取得する（ステップＳ２２）。ステップＳ２２の処理は、事前試験管理部４０２Ｍが行う。

対話に参加する人物が二人である場合、事前試験管理部４０２Ｍは、例えば、まず、記憶部４０３から、対話において主体となる人物５Ａに名前等を発話させるメッセージを含む音声データを読み出し、出力部４０４を介して再生装置７０に出力する。そして、音声データを出力してから所定の時間が経過すると、事前試験管理部４０２Ｍは、記憶部４０３から、対話において客体となる人物５Ｂに名前等を発話させるメッセージを含む音声データを読み出し、出力部４０４を介して再生装置７０に出力する。

また、対話に参加する人物が３人以上である場合、事前試験管理部４０２Ｍは、参加する人物のうちの一人を指定して当該人物に名前等を発話させるメッセージを含む音声データの出力を、所定の時間間隔で人数分だけ繰り返し出力する。

なお、ステップＳ２２において音声データを出力する時間間隔は、対話に参加する人物が指定された発話に要する時間に基づいて数秒〜十数秒の範囲で設定する。また、ステップＳ２２では、例えば、指定された人物が発話を終える毎に、主体となる人物５Ａが図示していない入力装置を操作して発話を終えたことを示す情報を入力してもよい。この場合、事前試験管理部４０２Ｍは、当該情報が入力される毎に、人物を指定して当該人物に名前等を発話させるメッセージを含む音声データを出力する。

次に、音声要約作成支援装置４は、取得した音声データから各人物の発話区間を抽出し、話者を識別する処理を行う（ステップＳ２３）。ステップＳ２３の処理は、データ処理部４０２の時間管理部４０２Ａ、調整部４０２Ｂ、区間データ抽出部４０２Ｃ、類似特性把握部４０２Ｄ、減衰特性把握部４０２Ｅ、非類似特性把握部４０２Ｆ、話者識別部４０２Ｇ、及び客体音声分離部４０２Ｊが協働して行う。データ処理部４０２は、ステップＳ２３の処理として、例えば、図１７に示したステップＳ１〜Ｓ４、及びＳ６の処理を行う。

ステップＳ１の処理は、時間管理部４０２Ａと調整部４０２Ｂが行う。ステップＳ２の処理は、区間データ抽出部４０２Ｃが行う。区間データ抽出部４０２Ｃは、ステップＳ２の処理として、例えば、図４に示した処理を行う。ステップＳ３の処理は、類似特性把握部４０２Ｄ、減衰特性把握部４０２Ｅ、及び非類似特性把握部４０２Ｆが行う。類似特性把握部４０２Ｄ、減衰特性把握部４０２Ｅ、及び非類似特性把握部４０２Ｆは、ステップＳ３の処理として、例えば、図５〜図９に示した各処理を行う。ステップＳ４の処理は、話者識別部４０２Ｇが行う。話者識別部４０２Ｇは、ステップＳ４の処理として、例えば、図１０に示した処理を行う。ステップＳ６の処理は、客体音声分離部４０２Ｊが行う。客体音声分離部４０２Ｊは、ステップＳ６の処理として、例えば、図１５に示した処理を行う。

ステップＳ２３の処理の後、音声要約作成支援装置４は、取得した音声データにおける各比較区間の話者を正しく識別できたか否かを判定する（ステップＳ２４）。ステップＳ２４の判定は事前試験管理部４０２Ｍが行う。

事前試験処理においては、対話に参加する人物が一人ずつ所定の順番で発話している。このため、第１の収音装置２０及び第２の収音装置３０の設置位置が適切な位置である場合、各比較区間の話者は、それぞれ、一人の人物に特定される。また、対話において客体となる人物が複数である場合も、その人数を客体音声分離処理（ステップＳ６）における目標分離数にすることで、客体となる人物の発話区間が分離する。よって、話者を識別できなかった発話区間がある場合（ステップＳ２４；Ｎｏ）、事前試験管理部４０２Ｍは、話者を識別できなかった発話区間に対する特性把握処理の結果に基づいて、対策を通知する音声信号を出力する（ステップＳ２５）。対策を通知する音声信号は、第１の収音装置２０及び第２の収音装置３０の設置位置を変更させるメッセージを含む。

例えば、客体となる人物が発話した区間の話者を識別することができず、かつ減衰特性が不明瞭である場合、事前試験管理部４０２Ｍは、第２の収音装置３０と第１の収音装置２０との距離を広げさせるメッセージを含む音声信号を出力する。また、例えば、客体となる人物が発話した区間の話者を識別することができず、かつ音圧が低く発話内容が不明瞭である場合、事前試験管理部４０２Ｍは、第２の収音装置３０を客体となる人物に近づけさせるメッセージを含む音声信号を出力する。また、例えば、主体となる人物が発話した区間の話者を識別することができず、かつ音圧の高さが不十分である場合、事前試験管理部４０２Ｍは、第１の収音装置２０を主体となる人物の口元に近づけさせるメッセージを含む音声信号を出力する。

対策を通知する音声信号を選択した後、事前試験管理部４０２Ｍは、再試験の開始を通知する音声信号を出力し（ステップＳ２６）、ステップＳ２２以降の処理を繰り返す。

一方、全ての比較区間の話者を識別できた場合（ステップＳ２４；Ｙｅｓ）、事前試験管理部４０２Ｍは、事前試験の終了を通知する音声信号を出力し（ステップＳ２７）、事前試験処理を終了する。

事前試験が終了すると、音声要約作成支援装置４は、対話の録音を開始可能な状態となる。録音を開始可能な状態に移行した後、対話に参加する人物が入力装置を操作する等して録音開始の情報が入力されると、音声要約作成支援装置４は、第１の収音装置２０及び第２の収音装置３０が収音した音声信号を取得し、例えば、図１７に示した処理を行う。

このように、収音位置についての事前試験を行うことにより、対話に参加する各人物の発話を良好な状態で録音可能な位置に第１の収音装置２０及び第２の収音装置３０を設置することが可能となる。そのため、例えば、人物の声が小さいことや、各人物から収音装置２０，３０までの距離のミスマッチ等による、話者の識別結果の誤りを抑制することが可能となる。また、対話に参加する各人物の発話を良好な状態で録音可能な位置に第１の収音装置２０及び第２の収音装置３０を設置することが可能となるため、各人物が話した内容が不明瞭になる等の録音の失敗を防止することが可能となる。

なお、本実施形態に係る音声要約作成支援システム１は、第１の収音装置２０及び第２の収音装置３０に代わり、第１の録音装置２及び第２の録音装置３を用いるシステムであってもよい。また、本実施形態に係る音声要約作成支援システム１における再生装置７０は、例えば、第２の収音装置３０又は第２の録音装置３と一体化されていてもよい。

また、図２３に示したフローチャートは、本実施形態に係る事前試験処理の一例に過ぎない。本実施形態に係る事前試験処理は、上記の手順に限らず、本実施形態の要旨を逸脱しない範囲において適宜変更可能である。

［第４の実施形態］
本実施形態に係る音声要約作成支援システムは、第３の実施形態で説明した音声要約作成支援システム１Ｃと同様、収音位置についての事前試験を行うことにより、第１の収音装置２０及び第２の収音装置３０を適切な位置に設置することを可能にする。なお、本実施形態に係る音声要約作成支援システムでは、第１の収音装置と第２の収音装置との相対位置、及び対話に参加する人物間の相対位置、並びに音声データに対する特性把握処理の結果に基づいて、収音装置の適正な設置位置を算出する（推定する）。

図２４は、第４の実施形態に係る音声要約作成支援装置の機能的構成を示す図である。
図２４に示すように、本実施形態に係る音声要約作成支援装置４は、入力部４０１と、データ処理部４０２と、記憶部４０３と、出力部４０４と、を備える。このうち、入力部４０１、記憶部４０３、及び出力部４０４については、上記のとおりである。

データ処理部４０２は、時間管理部４０２Ａと、調整部４０２Ｂと、区間データ抽出部４０２Ｃと、類似特性把握部４０２Ｄと、減衰特性把握部４０２Ｅと、非類似特性把握部４０２Ｆと、話者識別部４０２Ｇと、音声採録部４０２Ｈとを含む。データ処理部４０２におけるこれら各部の機能は、上記のとおりである。

また、データ処理部４０２は、客体音声分離部４０２Ｊと、事前試験管理部４０２Ｍと、相対位置把握部４０２Ｎと、適正配置算出部４０２Ｐと、を更に含む。このうち、客体音声分離部４０２Ｊの機能は、上記のとおりである。

事前試験管理部４０２Ｍは、第１の収音装置２０及び第２の収音装置３０の設置位置を決める事前試験を管理する。事前試験管理部４０２Ｍは、対話に参加する人物に個別に発話をさせる処理、各収音装置２０，３０で収音した音声信号における発話区間の波形の特性と話者との対応関係に基づいて収音装置２０，３０の設置位置の変更等を提案する処理、等を行う。

相対位置把握部４０２Ｎは、事前試験における第１の収音装置２０、第２の収音装置３０、及び対話に参加する人物の相対位置を把握する。相対位置把握部４０２Ｎは、例えば、対話に参加する人物が、図２４には示していない入力装置を操作して入力した情報に基づいて、第１の収音装置２０、第２の収音装置３０、及び対話に参加する人物の相対位置を把握する。なお、第１の収音装置２０、第２の収音装置３０、及び対話に参加する人物の相対位置についての情報は、人物が入力装置を操作して入力する代わりに、例えば、図２４には示していない屋内位置測位システムを用いて入力してもよい。

適正配置算出部４０２Ｐは、事前試験における話者識別処理の結果と、第１の収音装置２０、第２の収音装置３０、及び対話に参加する人物の相対位置とに基づいて、収音装置２０，３０、及び対話に参加する人物の適正な相対位置を算出する（推定する）。

本実施形態においても、事前試験を行うか否かは、例えば、対話に参加する人物が、図２０及び図２１には示していない入力装置を操作して選択する。対話において主体となる人物５Ａ等が事前試験の実施を選択した場合、音声要約作成支援装置４は、事前試験として、図２３に示した事前試験処理を行う。なお、事前試験を開始する際には、対話に参加する人物のいずれか一人（主体となる人物５Ａ）の近傍に第１の収音装置２０を設置し、各人物からの距離が略等距離となる位置等に第２の収音装置３０を設置しておけばよい。

図２５Ａは、第４の実施形態に係る事前試験処理を説明するフローチャート（その１）である。図２５Ｂは、第４の実施形態に係る事前試験処理を説明するフローチャート（その２）である。図２５Ｃは、第４の実施形態に係る事前試験処理を説明するフローチャート（その３）である。なお、図２５Ａ〜図２５Ｃのフローチャートにおいて、第３の実施形態で説明した処理と同じ処理を行うブロックには、図２３のフローチャートと同じステップ番号（例えばＳ２１，Ｓ２２等）を付している。

本実施形態に係る音声要約作成支援装置４において事前試験処理を行う場合、音声要約作成支援装置４は、まず、収音装置の相対位置、会話に参加する人物の人数及び相対位置の入力を受け付ける（ステップＳ３１）。ステップＳ３１において、音声要約作成支援装置４は、例えば、図２４には示していない入力装置、或いは屋内位置測位システムからの収音装置の相対位置と、会話に参加する人物の人数及び相対位置の入力を受け付ける。なお、人物の人数及び相対位置についての情報の入力は任意とし、人数及び相対位置のいずれか一方の情報のみが入力されてもよいし、両方とも入力されなくてもよい。ステップＳ３１で受け付けた入力情報は、相対位置把握部４０２Ｎが保持する。

次に、音声要約作成支援装置４は、収音位置についての試験を行うことを通知する音声信号を出力する（ステップＳ２１）。ステップＳ２１は、事前試験管理部４０２Ｍが行う。事前試験管理部４０２Ｍは、例えば、記憶部４０３から事前試験の開始を通知するメッセージを含む音声データを読み出し、出力部４０４を介して再生装置７０に出力する。

次に、音声要約作成支援装置４は、対話に参加する人物毎に所定の発話をさせ、第１の収音装置２０及び第２の収音装置３０で収音した音声データを順次取得する（ステップＳ２２）。ステップＳ２２の処理は、事前試験管理部４０２Ｍが行う。

次に、音声要約作成支援装置４は、取得した音声データから各人物の発話区間を抽出し、話者を識別する処理を行う（ステップＳ２３）。ステップＳ２３の処理は、データ処理部４０２の時間管理部４０２Ａ、調整部４０２Ｂ、区間データ抽出部４０２Ｃ、類似特性把握部４０２Ｄ、減衰特性把握部４０２Ｅ、非類似特性把握部４０２Ｆ、話者識別部４０２Ｇ、及び客体音声分離部４０２Ｊが協働して行う。データ処理部４０２は、ステップＳ２３の処理として、例えば、図１７に示したステップＳ１〜Ｓ４、及びＳ６の処理を行う。

ステップＳ１の処理は、時間管理部４０２Ａと調整部４０２Ｂが行う。ステップＳ２の処理は、区間データ抽出部４０２Ｃが行う。区間データ抽出部４０２Ｃは、ステップＳ２の処理として、例えば、図４に示した処理を行う。ステップＳ３の処理は、類似特性把握部４０２Ｄ、減衰特性把握部４０２Ｅ、及び非類似特性把握部４０２Ｆが行う。類似特性把握部４０２Ｄ、減衰特性把握部４０２Ｅ、及び非類似特性把握部４０２Ｆは、ステップＳ３の処理として、例えば、図５〜図９に示した各処理を行う。ステップＳ４の処理は、話者識別部４０２Ｇが行う。話者識別部４０２Ｇは、ステップＳ４の処理として、例えば、図１０に示した処理を行う。ステップＳ６の処理は、客体音声分離部４０２Ｊが行う。客体音声分離部４０２Ｊは、ステップＳ６の処理として、例えば、図１５に示した処理を行う。この場合、ステップＳ２３の処理において、客体音声分離部４０２Ｊは、話者が客体である発話区間における平均音圧レベルと、音声データ間の平均音圧レベルの差異とを算出しリスト化している（図１５のステップＳ６０３，Ｓ６０４）。

次に、音声要約作成支援装置４は、ステップＳ２３の処理結果に基づいて、話者が客体である発話区間の平均音圧レベルと、平均音圧レベルの差異とをチェックする（ステップＳ３２）。ステップＳ３２は、事前試験管理部４０２Ｍが行う。

次に、事前試験管理部４０２Ｍは、ステップＳ３２のチェック結果に基づいて、平均音圧レベルが低い区間、或いは平均音圧レベルの差異が不明瞭な区間があるか否かを判定する（ステップＳ３３）。平均音圧レベルが低い区間、及び平均音圧レベルの差異が不明瞭な区間がない場合（ステップＳ３３；Ｎｏ）、事前試験管理部４０２Ｍは、事前試験の終了を通知する音声信号を出力し（ステップＳ２７）、事前試験処理を終了する。

一方、平均音圧レベルが低い区間、或いは平均音圧レベルの差異が不明瞭な区間がある場合（ステップＳ３３；Ｙｅｓ）、事前試験管理部４０２Ｍは、図２５Ｂに示すように、適正配置算出部４０２Ｐに、収音装置２０，３０の適正な配置を算出させる。

適正配置算出部４０２Ｐは、まず、第２の収音装置３０を移動させた場合の音声データをシミュレートし、平均音圧レベル及び平均音圧レベルの差異を算出する（ステップＳ３４）。ステップＳ３４において、適正配置算出部４０２Ｐは、例えば、まず、現時点における収音装置２０，３０、及び人物の相対位置と、平均音圧レベル及び平均音圧レベルの差異とに基づいて、客体である人物の発音についての減衰曲線を推定する。次に、適正配置算出部４０２Ｐは、第２の収音装置３０と客体である人物との相対位置を変更し、変更後の相対位置と、推定した減衰曲線とに基づいて、第２の収音装置３０を移動させた場合の音声データを推定する。その後、適正配置算出部４０２Ｐは、推定した音声データに基づいて、平均音圧レベル及び平均音圧レベルの差異を算出する。

次に、適正配置算出部４０２Ｐは、第２の収音装置３を移動させることにより平均音圧レベル、或いは平均音圧レベルの差異が改善するか否かを判定する（ステップＳ３５）。

平均音圧レベル、或いは平均音圧レベルの差異が改善した場合（ステップＳ３５；Ｙｅｓ）、適正配置算出部４０２Ｐは、第２の収音装置３０の移動量を表す情報を事前試験管理部４０２Ｍに出力する。これを受け、事前試験管理部４０２Ｍは、図２５Ｃに示すように、平均音圧レベル、或いは平均音圧レベルの差異が改善する対策を通知する音声信号を出力する（ステップＳ４１）。第２の収音装置３０を移動させることで平均音圧レベル、或いは平均音圧レベルの差異が改善する場合、事前試験管理部４０２Ｍは、第２の収音装置３０の移動量を通知するメッセージを含む音声信号を再生装置７０に出力する。この場合、事前試験管理部４０２Ｍは、対策を通知する音声信号を出力した後、再試験の開始を通知する音声信号を出力する（ステップＳ２６）。再試験の開始を通知する音声信号を出力すると、音声要約作成支援装置４は、図２５ＡのステップＳ２２以降の処理を繰り返す。

一方、第２の収音装置３０を移動させただけでは不十分な場合（ステップＳ３５；Ｎｏ）、適正配置算出部４０２Ｐは、次に、第１の収音装置２０を移動させた場合の音声データをシミュレートし、平均音圧レベル及び平均音圧レベルの差異を算出する（ステップＳ３６）。ステップＳ３６において、適正配置算出部４０２Ｐは、ステップＳ３４と同様の方法で、第１の収音装置２０を移動させた場合の平均音圧レベル及び平均音圧レベルの差異を算出する。

次に、適正配置算出部４０２Ｐは、第１の収音装置２０を移動させることにより平均音圧レベル、或いは平均音圧レベルの差異が改善するか否かを判定する（ステップＳ３７）。

平均音圧レベル、或いは平均音圧レベルの差異が改善した場合（ステップＳ３７；Ｙｅｓ）、適正配置算出部４０２Ｐは、第２の収音装置３０の移動量を表す情報を事前試験管理部４０２Ｍに出力する。これを受け、事前試験管理部４０２Ｍは、平均音圧レベル、或いは平均音圧レベルの差異が改善する対策を通知する音声信号を出力する（ステップＳ４１）。第１の収音装置２０を移動させることで平均音圧レベル、或いは平均音圧レベルの差異が改善する場合、事前試験管理部４０２Ｍは、第１の収音装置２０の移動量を通知するメッセージを含む音声信号を再生装置７０に出力する。この場合、事前試験管理部４０２Ｍは、対策を通知する音声信号を出力した後、再試験の開始を通知する音声信号を出力する（ステップＳ２６）。再試験の開始を通知する音声信号を出力すると、音声要約作成支援装置４は、図２５ＡのステップＳ２２以降の処理を繰り返す。

これに対し、第１の収音装置２０及び第２の収音装置３０を移動させても十分な改善が見られない場合（ステップＳ３７；Ｎｏ）、適正配置算出部４０２Ｐは、次に、客体の位置を移動させることによる改善を試みる。すなわち、収音装置２０，３０を移動させるだけでは十分な改善が見られない場合、適正配置算出部４０２Ｐは、次に、客体の位置を移動させた場合の音声データをシミュレートし、平均音圧レベル及び平均音圧レベルの差異を算出する（ステップＳ３８）。ステップＳ３８において、適正配置算出部４０２Ｐは、ステップＳ３４と同様の方法で、客体である人物の位置を移動させた場合の平均音圧レベル及び平均音圧レベルの差異を算出する。

次に、適正配置算出部４０２Ｐは、客体を移動させることにより平均音圧レベル、或いは平均音圧レベルの差異が改善するか否かを判定する（ステップＳ３９）。

平均音圧レベル、或いは平均音圧レベルの差異が改善した場合（ステップＳ３９；Ｙｅｓ）、適正配置算出部４０２Ｐは、客体である人物の移動量を表す情報を事前試験管理部４０２Ｍに出力する。これを受け、事前試験管理部４０２Ｍは、平均音圧レベル、或いは平均音圧レベルの差異が改善する対策を通知する音声信号を出力する（ステップＳ４１）。第１の収音装置２０を移動させることで平均音圧レベル、或いは平均音圧レベルの差異が改善する場合、事前試験管理部４０２Ｍは、第１の収音装置２０の移動量を通知するメッセージを含む音声信号を再生装置７０に出力する。この場合、事前試験管理部４０２Ｍは、対策を通知する音声信号を出力した後、再試験の開始を通知する音声信号を出力する（ステップＳ２６）。再試験の開始を通知する音声信号を出力すると、音声要約作成支援装置４は、図２５ＡのステップＳ２２以降の処理を繰り返す。

また、客体を移動させても十分な改善が見られない場合（ステップＳ３９；Ｎｏ）、適正配置算出部４０２Ｐは、収音装置２０，３０、及び人物の配置の見直しを提案する情報を事前試験管理部４０２Ｍに出力する。これを受け、事前試験管理部４０２Ｍは、収音装置２０，３０、及び人物の配置の見直しを提案するメッセージを含む音声信号を再生装置７０に出力する（ステップＳ４０）。収音装置２０，３０、及び人物の配置の見直しを提案するメッセージを含む音声信号を出力すると、音声要約作成支援装置４は、事前処理を終了する。

このように、収音位置についての事前試験を行うことにより、対話に参加する各人物の発話を良好な状態で録音可能な位置に第１の収音装置２０及び第２の収音装置３０を設置することが可能となる。そのため、例えば、人物の声が小さいことや、各人物から収音装置２０，３０までの距離のミスマッチ等による、話者の識別結果の誤りを抑制することが可能となる。また、対話に参加する各人物の発話を良好な状態で録音可能な位置に第１の収音装置２０及び第２の収音装置３０を設置することが可能となるため、各人物が話した内容が不明瞭になる等の録音の失敗を防止することが可能となる。

更に、本実施形態においては、収音装置２０，３０の相対位置や、人物の位置及び相対位置を移動させた場合の音声データ（音声波形）をシミュレートし、収音状態（録音状態）が改善するか否かを推定する。そのため、収音状態が改善する場合に、収音装置、或いは人物を移動させる方向と移動量（距離）を具体的に通知することが可能となる。よって、本実施形態によれば、効率よく収音装置及び人物を適正な配置にすることが可能となる。

なお、本実施形態に係る音声要約作成支援システム１は、第１の収音装置２０及び第２の収音装置３０に代わり、第１の録音装置２及び第２の録音装置３を用いるシステムであってもよい。また、本実施形態に係る音声要約作成支援システム１における再生装置７０は、例えば、第２の収音装置３０又は第２の録音装置３と一体化されていてもよい。

また、図２５Ａ〜図２５Ｃに示したフローチャートは、本実施形態に係る事前試験処理の一例に過ぎない。本実施形態に係る事前試験処理は、上記の手順に限らず、本実施形態の要旨を逸脱しない範囲において適宜変更可能である。

上記の各実施形態で説明した処理を行う音声要約作成支援装置４は、例えば、コンピュータと、当該コンピュータに実行させるプログラムとにより実現可能である。以下、図２６を参照して、コンピュータとプログラムとを用いて実現される音声要約作成支援装置４について説明する。

図２６は、コンピュータのハードウェア構成を示す図である。
図２６に示すように、コンピュータ９は、プロセッサ９０１と、主記憶装置９０２と、補助記憶装置９０３と、入力装置９０４と、出力装置９０５と、入出力インタフェース９０６と、通信制御装置９０７と、媒体駆動装置９０８と、を備える。コンピュータ９におけるこれらの要素９０１〜９０８は、バス９１０により相互に接続されており、要素間でのデータの受け渡しが可能になっている。

プロセッサ９０１は、Central Processing Unit（ＣＰＵ）やMicro Processing Unit（ＭＰＵ）等である。プロセッサ９０１は、オペレーティングシステムを含む各種のプログラムを実行することにより、コンピュータ９の全体の動作を制御する。また、プロセッサ９０１は、例えば、図３〜図１０に示した各処理を行う。

主記憶装置９０２は、図示しないRead Only Memory（ＲＯＭ）及びRandom Access Memory（ＲＡＭ）を含む。主記憶装置９０２のＲＯＭには、例えば、コンピュータ９の起動時にプロセッサ９０１が読み出す所定の基本制御プログラム等が予め記録されている。また、主記憶装置９０２のＲＡＭは、プロセッサ９０１が、各種のプログラムを実行する際に必要に応じて作業用記憶領域として使用する。主記憶装置９０２のＲＡＭは、例えば、録音装置２，３（或いは収音装置２０，３０）から取得した音声データ、特性把握処理において算出する各種の値、話者の識別に用いる閾値、採録音声データ等の記憶に利用可能である。

補助記憶装置９０３は、例えば、Hard Disk Drive（ＨＤＤ）や、フラッシュメモリ等の不揮発性メモリ（Solid State Drive（ＳＳＤ）を含む）等、主記憶装置９０２のＲＡＭと比べて容量の大きい記憶装置である。補助記憶装置９０３は、プロセッサ９０１によって実行される各種のプログラムや各種のデータ等の記憶に利用可能である。補助記憶装置９０３は、例えば、各実施形態で説明した特性把握処理及び話者識別処理を含むプログラム等の記憶に利用可能である。また、補助記憶装置９０３は、例えば、録音装置２，３（或いは収音装置２０，３０）から取得した音声データ、特性把握処理において算出する各種の値、話者の識別に用いる閾値、採録音声データ等の記憶に利用可能である。

入力装置９０４は、例えば、キーボード装置やタッチパネル装置等である。コンピュータ９のオペレータ（利用者）が入力装置９０４に対して所定の操作を行うと、入力装置９０４は、その操作内容に対応付けられている入力情報をプロセッサ９０１に送信する。入力装置９０４は、例えば、図３や図１７等に示した処理を開始させる命令の入力、図２３や図２５Ａ〜図２５Ｃに示した事前試験処理を開始させる命令の入力等に利用可能である。

出力装置９０５は、例えば、液晶表示装置等のディスプレイ装置、スピーカ等の音声再生装置を含む。出力装置９０５は、例えば、作成した採録音声を話者の情報とともに可視化して表示することに利用可能である。

入出力インタフェース９０６は、コンピュータ９と、他の電子機器とを接続する。入出力インタフェース９０６は、例えば、Universal Serial Bus（ＵＳＢ）規格のコネクタ等を備える。入出力インタフェース９０６は、例えば、コンピュータ９と、録音装置２，３、収音装置２０，３０、及び再生装置７，７０との接続に利用可能である。

通信制御装置９０７は、コンピュータ９を通信ネットワークに接続し、通信ネットワークを介したコンピュータ９と他の電子機器との各種通信を制御する装置である。通信制御装置９０７は、例えば、コンピュータ９と録音装置２，３との通信、或いは録音装置２，３で録音した音声データを蓄積するサーバ等との通信に利用可能である。

媒体駆動装置９０８は、可搬型記憶媒体１０に記録されているプログラムやデータの読み出し、補助記憶装置９０３に記憶されたデータ等の可搬型記憶媒体１０への書き込みを行う。媒体駆動装置９０８には、例えば、１種類又は複数種類の規格に対応したメモリカード用リーダ／ライタが利用可能である。媒体駆動装置９０８としてメモリカード用リーダ／ライタを用いる場合、可搬型記憶媒体１０としては、メモリカード用リーダ／ライタが対応している規格、例えば、Secure Digital（ＳＤ）規格のメモリカード（フラッシュメモリ）等を利用可能である。また、可搬型記録媒体１０としては、例えば、ＵＳＢ規格のコネクタを備えたフラッシュメモリが利用可能である。更に、コンピュータ９が媒体駆動装置９０８として利用可能な光ディスクドライブを搭載している場合、当該光ディスクドライブで認識可能な各種の光ディスクを可搬型記録媒体１０として利用可能である。可搬型記録媒体１０として利用可能な光ディスクには、例えば、Compact Disc（ＣＤ）、Digital Versatile Disc（ＤＶＤ）、Blu-ray Disc（Blu-rayは登録商標）等がある。可搬型記録媒体１０は、上記の各実施形態で説明した処理を含むプログラム、録音装置２，３で録音した音声データ、コンピュータ９で作成した話者の情報を含む採録音声データ等の記録に利用可能である。

図３や図１７の処理を開始する命令をコンピュータ９に入力すると、プロセッサ９０１が、補助記憶装置９０３等の非一時的な記録媒体に記憶させた特性把握処理及び話者識別処理を含むプログラムを読み出して実行する。更に、事前処理を開始する命令をコンピュータ９に入力すると、プロセッサ９０１が、補助記憶装置９０３等の非一時的な記録媒体に記憶させた特性把握処理、話者識別処理、及び収音位置の設置位置の良否を判定する処理等を含むプログラムを読み出して実行する。これらの処理において、プロセッサ９０１は、音声要約作成支援装置４におけるデータ処理部４０２として機能する（動作する）。また、主記憶装置９０２のＲＡＭや補助記憶装置９０３等は、音声要約作成支援装置４における記憶部４０３や、図示していないバッファ等として機能する。

なお、音声要約作成支援装置４として動作させるコンピュータ９は、図２６に示した全ての要素９０１〜９０８を含む必要はなく、用途や条件に応じて一部の要素を省略することも可能である。例えば、コンピュータ９は、通信制御装置９０７や媒体駆動装置９０８が省略されたものであってもよい。

以上記載した各実施形態に関し、更に以下の付記を開示する。
（付記１）
複数の人物のそれぞれとの位置関係が異なる複数の収音位置で前記複数の人物の対話を収音した複数の音声データから前記人物が発話している発話区間を抽出する抽出部と、
前記複数の音声データのそれぞれから抽出した前記発話区間の波形同士を比較し、前記波形の類似度についての第１の基準値に基づいて前記波形の類似性の有無を把握する類似特性把握部と、
前記複数の音声データのそれぞれから抽出した前記発話区間の波形同士を比較し、前記波形の減衰特性の有無を把握する減衰特性把握部と、
前記複数の音声データのそれぞれから抽出した前記発話区間の波形同士を比較し、前記第１の基準値とは異なる、前記波形の類似度についての第２の基準値に基づいて前記波形の非類似性の有無を把握する非類似特性把握部と、
前記波形の前記類似性、前記減衰特性、及び前記非類似性に基づいて、前記発話区間の話者を識別する話者識別部と、
を備えることを特徴とする音声要約作成支援装置。
（付記２）
前記複数の収音位置のうちの１箇所は前記複数の人物のうちの第１の人物の近傍であり、かつ前記複数の収音位置のうちの他の収音位置は、前記複数の人物のそれぞれから当該収音位置までの距離が前記第１の人物から当該第１の人物の近傍にある前記収音位置までの距離よりも長く、
前記話者識別部は、前記波形に前記類似性があり、かつ前記波形に前記減衰特性がある前記発話区間の話者を前記複数の人物のうちの前記第１の人物とは異なる人物と識別し、前記波形に前記非類似性がある前記発話区間の話者を前記第１の人物と識別する、
ことを特徴とする付記１に記載の音声要約作成支援装置。
（付記３）
前記第１の基準値は、前記人物から前記収音位置までの距離と、前記人物の発音を前記収音位置で収音したときの前記音声データの波形との関係に基づいて設定した、比較する前記発話区間の波形同士における山及び谷の出現時刻の一致度についての第１の閾値と、音圧の値の変化の相関係数についての第２の閾値と、を含み、
前記類似特性把握部は、比較する前記発話区間の波形同士における山及び谷の出現時刻の一致度と、音圧の値の変化の相関係数とを算出し、前記出現時刻の一致度が前記第１の閾値よりも大きく、かつ前記相関係数が前記第２の閾値よりも大きい場合に、前記発話区間の前記波形同士に類似性があると判定する、
ことを特徴とする付記１に記載の音声要約作成支援装置。
（付記４）
前記減衰特性把握部は、比較する前記発話区間の波形間における山及び谷の形状の鋭さの関係と、音圧の高さの関係とに基づいて、第１の音声データの前記発話区間の波形から第２の音声データの前記発話区間の波形に減衰傾向が見られるか否かを判定する、
ことを特徴とする付記１に記載の音声要約作成支援装置。
（付記５）
前記第２の基準値は、前記人物から前記収音位置までの距離と、前記人物の発音を前記収音位置で収音したときの前記音声データの波形との関係に基づいて設定した、比較する前記発話区間の波形同士における山及び谷の出現時刻の一致度についての第３の閾値と、音圧の値の変化の相関係数についての第４の閾値と、を含み、
前記非類似特性把握部は、比較する前記発話区間の波形同士における山及び谷の出現時刻の一致度と、音圧の値の変化の相関係数とを算出し、前記出現時刻の一致度が前記第３の閾値よりも小さく、かつ前記相関係数が前記第４の閾値よりも小さい場合に、前記発話区間の前記波形同士に非類似性があると判定する、
ことを特徴とする付記１に記載の音声要約作成支援装置。
（付記６）
前記複数の人物が３人以上であり、かつ前記話者識別部において前記発話区間の話者を前記第１の人物とは異なる人物であると識別した場合に、前記発話区間の話者が前記第１の人物とは異なる複数の人物のいずれであるかを識別する音声分離部、
を更に備えることを特徴とする付記２に記載の音声要約作成支援装置。
（付記７）
前記音声データにおける各発話区間の話者の情報に基づいて、所定の時間内における前記話者の切り替わり回数を計数し、前記切り替わり回数が所定回数を超える区間を抽出する話者切替頻回区間抽出部、
を更に備えることを特徴とする付記１に記載の音声要約作成支援装置。
（付記８）
前記切り替わり回数が所定回数を超える区間が、所定期間以上継続した場合に、前記複数の人物に対し前記対話の整理を促す音声情報を出力する対話介入部、
を更に備えることを特徴とする付記７に記載の音声要約作成支援装置。
（付記９）
前記複数の人物のそれぞれに個別に発話させて前記複数の収音位置で収音した複数の音声データに基づいて前記収音位置を変更するか否かを判定し、前記収音位置を変更すると判定した場合に前記収音位置の変更を促すメッセージを含む音声信号を出力する試験管理部、
を更に備えることを特徴とする付記１に記載の音声要約作成支援装置。
（付記１０）
前記複数の人物のそれぞれに個別に発話させて前記複数の収音位置で収音した複数の音声データと、前記複数の収音位置及び前記複数の人物の相対位置と、に基づいて、前記収音位置及び前記人物の適正な配置を算出する適正配置算出部、
を更に備えることを特徴とする付記９に記載の音声要約作成支援装置。
（付記１１）
前記音声データから前記発話区間を抽出して時系列に連結し、前記発話区間の話者の情報を付加した採録音声データを生成する採録部、
を更に備えることを特徴とする付記１に記載の音声要約作成支援装置。
（付記１２）
コンピュータが、
複数の人物のそれぞれとの位置関係が異なる複数の収音位置で前記複数の人物の対話を収音した複数の音声データから前記人物が発話している発話区間を抽出し、
前記複数の音声データのそれぞれから抽出した前記発話区間の波形同士を比較し、前記波形の類似度についての第１の基準値に基づいて前記波形の類似性の有無を判定し、
前記複数の音声データのそれぞれから抽出した前記発話区間の波形同士を比較して前記波形の減衰特性の有無を判定し、
前記波形に前記類似性がない場合に、前記複数の音声データのそれぞれから抽出した前記発話区間の波形同士を比較し、前記第１の基準値とは異なる、前記波形の類似度についての第２の基準値に基づいて前記波形の非類似性の有無を判定し、
前記波形の前記類似性の有無、前記減衰特性の有無、及び前記非類似性の有無に基づいて、前記発話区間の話者を識別する、
処理を実行することを特徴とする音声要約作成支援方法。
（付記１３）
前記複数の収音位置のうちの１箇所は前記複数の人物のうちの第１の人物の近傍であり、かつ前記複数の収音位置のうちの他の収音位置は、前記複数の人物のそれぞれから当該収音位置までの距離が前記第１の人物から当該第１の人物の近傍にある前記収音位置までの距離よりも長く、
前記話者を識別する処理において、前記コンピュータは、前記波形に類似性があり、かつ前記減衰特性がある前記発話区間の話者を前記複数の人物のうちの前記第１の人物とは異なる人物と識別し、前記波形に非類似性がある前記発話区間の話者を前記第１の人物と識別する、
ことを特徴とする付記１２に記載の音声要約作成支援方法。
（付記１４）
前記第１の基準値は、前記人物から前記収音位置までの距離と、前記人物の発音を前記収音位置で収音したときの前記音声データの波形との関係に基づいて設定した、比較する前記発話区間の波形同士における山及び谷の出現時刻の一致度についての第１の閾値と、音圧の値の変化の相関係数についての第２の閾値と、を含み、
前記波形の類似性の有無を判定する処理において、前記コンピュータは、比較する前記発話区間の波形同士における山及び谷の出現時刻の一致度と、音圧の値の変化の相関係数とを算出し、前記出現時刻の一致度が第１の閾値よりも大きく、かつ前記相関係数が第２の閾値よりも大きい場合に、前記発話区間の前記波形同士に類似性があると判定する、
ことを特徴とする付記１２に記載の音声要約作成支援方法。
（付記１５）
前記減衰特性の有無を判定する処理において、前記コンピュータは、比較する前記発話区間の波形間における山及び谷の形状の鋭さの関係と、音圧の高さの関係とに基づいて、第１の音声データの前記発話区間の波形から第２の音声データの前記発話区間の波形に減衰傾向が見られるか否かを判定する、
ことを特徴とする付記１２に記載の音声要約作成支援方法。
（付記１６）
前記第２の基準値は、前記人物から前記収音位置までの距離と、前記人物の発音を前記収音位置で収音したときの前記音声データの波形との関係に基づいて設定した、比較する前記発話区間の波形同士における山及び谷の出現時刻の一致度についての第３の閾値と、音圧の値の変化の相関係数についての第４の閾値と、を含み、
前記波形の非類似特性を判定する処理において、前記コンピュータは、比較する前記発話区間の波形同士における山及び谷の出現時刻の一致度と、音圧の値の変化の相関係数とを算出し、前記出現時刻の一致度が第３の閾値よりも小さく、かつ前記相関係数が第４の閾値よりも小さい場合に、前記発話区間の前記波形同士に非類似性があると判定する、
ことを特徴とする付記１２に記載の音声要約作成支援方法。
（付記１７）
前記コンピュータが、更に、
前記複数の人物が３人以上であり、かつ前記発話区間の話者を前記第１の人物とは異なる人物であると識別した場合に、前記発話区間の話者が前記第１の人物とは異なる複数の人物のいずれであるかを識別する、
処理を実行することを特徴とする付記１３に記載の音声要約作成支援方法。
（付記１８）
前記コンピュータが、更に
前記音声データにおける各発話区間の話者の情報に基づいて、所定の時間内における前記話者の切り替わり回数を計数し、
前記切り替わり回数が所定回数を超える区間が所定期間以上継続した場合に、前記複数の人物に対し前記対話の整理を促す音声情報を出力する、
処理を実行することを特徴とする付記１２に記載の音声要約作成支援方法。
（付記１９）
前記コンピュータが、更に、
前記複数の収音位置及び前記複数の人物の相対位置を含む情報と、前記複数の人物のそれぞれに個別に発話させて前記複数の収音位置で収音した複数の音声データとを取得し、
取得した前記複数の収音位置及び前記複数の人物の相対位置と、前記複数の音声データとに基づいて、前記収音位置及び前記人物の適正な配置を算出する
処理を実行することを特徴とする付記１２に記載の音声要約作成支援方法。
（付記２０）
複数の人物のそれぞれとの位置関係が異なる複数の収音位置で前記複数の人物の対話を収音した複数の音声データから前記人物が発話している発話区間を抽出し、
前記複数の音声データのそれぞれから抽出した前記発話区間の波形同士を比較し、前記波形の類似度についての第１の基準値に基づいて前記波形の類似性の有無を判定し、
前記複数の音声データのそれぞれから抽出した前記発話区間の波形同士を比較して前記波形の減衰特性の有無を判定し、
前記波形に前記類似性がない場合に、前記複数の音声データのそれぞれから抽出した前記発話区間の波形同士を比較し、前記第１の基準値とは異なる、前記波形の類似度についての第２の基準値に基づいて前記波形の非類似性の有無を判定し、
前記波形の前記類似性の有無、前記減衰特性の有無、及び前記非類似性の有無に基づいて、前記発話区間の話者を識別する、
処理をコンピュータに実行させる音声要約作成支援プログラム。

１，１Ａ，１Ｂ，１Ｃ 音声要約作成支援システム
２，３ 録音装置
４ 音声要約作成支援装置
５Ａ〜５Ｅ 人物
６ （対話を行う）空間
７，７０ 再生装置
９ コンピュータ
１０ 可搬型記録媒体
２０，３０ 収音装置
４０１ 入力部
４０２ データ処理部
４０２Ａ 時間管理部
４０２Ｂ 調整部
４０２Ｃ 区間データ抽出部
４０２Ｄ 類似特性把握部
４０２Ｅ 減衰特性把握部
４０２Ｆ 非類似特性把握部
４０２Ｇ 話者識別部
４０２Ｈ 音声採録部
４０２Ｊ 客体音声分離部
４０２Ｋ 話者切替頻回区間抽出部
４０２Ｌ 対話介入部
４０２Ｍ 事前試験管理部
４０２Ｎ 相対位置把握部
４０２Ｐ 適正配置算出部
４０３ 記憶部
４０３Ａ 調査資源情報
４０３Ｂ 属性情報
４０３Ｃ 録音音声
４０３Ｄ 識別規則
４０３Ｅ 話者情報
４０３Ｆ 採録音声
４０４ 出力部
９０１ プロセッサ
９０２ 主記憶装置
９０３ 補助記憶装置
９０４ 入力装置
９０５ 出力装置
９０６ 入出力インタフェース
９０７ 通信制御装置
９０８ 媒体駆動装置
９１０ バス

Claims (12)

1. 複数の人物のそれぞれとの位置関係が異なる複数の収音位置で前記複数の人物の対話を収音した複数の音声データから前記人物が発話している発話区間を抽出する抽出部と、
   前記複数の音声データのそれぞれから抽出した前記発話区間の波形同士を比較し、前記波形の類似度についての第１の基準値に基づいて前記波形の類似性の有無を把握する類似特性把握部と、
   前記複数の音声データのそれぞれから抽出した前記発話区間の波形同士を比較し、前記波形の減衰特性の有無を把握する減衰特性把握部と、
   前記複数の音声データのそれぞれから抽出した前記発話区間の波形同士を比較し、前記第１の基準値とは異なる、前記波形の類似度についての第２の基準値に基づいて前記波形の非類似性の有無を把握する非類似特性把握部と、
   前記波形の前記類似性、前記減衰特性、及び前記非類似性に基づいて、前記発話区間の話者を識別する話者識別部と、
   を備えることを特徴とする音声要約作成支援装置。
2. 前記複数の収音位置のうちの１箇所は前記複数の人物のうちの第１の人物の近傍であり、かつ前記複数の収音位置のうちの他の収音位置は、前記複数の人物のそれぞれから当該収音位置までの距離が前記第１の人物から当該第１の人物の近傍にある前記収音位置までの距離よりも長く、
   前記話者識別部は、前記波形に前記類似性があり、かつ前記波形に前記減衰特性がある前記発話区間の話者を前記第１の人物とは異なる人物と識別し、前記波形に前記非類似性がある前記発話区間の話者を前記第１の人物と識別する、
   ことを特徴とする請求項１に記載の音声要約作成支援装置。
3. 前記第１の基準値は、前記人物から前記収音位置までの距離と、前記人物の発音を前記収音位置で収音したときの前記音声データの波形との関係に基づいて設定した、比較する前記発話区間の波形同士における山及び谷の出現時刻の一致度についての第１の閾値と、音圧の値の変化の相関係数についての第２の閾値と、を含み、
   前記類似特性把握部は、比較する前記発話区間の波形同士における山及び谷の出現時刻の一致度と、音圧の値の変化の相関係数とを算出し、前記出現時刻の一致度が前記第１の閾値よりも大きく、かつ前記相関係数が前記第２の閾値よりも大きい場合に、前記発話区間の前記波形同士に類似性があると判定する、
   ことを特徴とする請求項１に記載の音声要約作成支援装置。
4. 前記減衰特性把握部は、比較する前記発話区間の波形間における山及び谷の形状の鋭さの関係と、音圧の高さの関係とに基づいて、第１の音声データの前記発話区間の波形から第２の音声データの前記発話区間の波形に減衰傾向が見られるか否かを判定する、
   ことを特徴とする請求項１に記載の音声要約作成支援装置。
5. 前記第２の基準値は、前記人物から前記収音位置までの距離と、前記人物の発音を前記収音位置で収音したときの前記音声データの波形との関係に基づいて設定した、比較する前記発話区間の波形同士における山及び谷の出現時刻の一致度についての第３の閾値と、音圧の値の変化の相関係数についての第４の閾値と、を含み、
   前記非類似特性把握部は、比較する前記発話区間の波形同士における山及び谷の出現時刻の一致度と、音圧の値の変化の相関係数とを算出し、前記出現時刻の一致度が前記第３の閾値よりも小さく、かつ前記相関係数が前記第４の閾値よりも小さい場合に、前記発話区間の前記波形同士に非類似性があると判定する、
   ことを特徴とする請求項１に記載の音声要約作成支援装置。
6. 前記複数の人物が３人以上であり、かつ前記話者識別部において前記発話区間の話者を前記第１の人物とは異なる人物であると識別した場合に、前記発話区間の話者が前記第１の人物とは異なる複数の人物のいずれであるかを識別する音声分離部、
   を更に備えることを特徴とする請求項２に記載の音声要約作成支援装置。
7. 前記音声データにおける各発話区間の話者の情報に基づいて、所定の時間内における前記話者の切り替わり回数を計数し、前記切り替わり回数が所定回数を超える区間を抽出する話者切替頻回区間抽出部、
   を更に備えることを特徴とする請求項１に記載の音声要約作成支援装置。
8. 前記切り替わり回数が所定回数を超える区間が、所定期間以上継続した場合に、前記複数の人物に対し前記対話の整理を促す音声情報を出力する対話介入部、
   を更に備えることを特徴とする請求項７に記載の音声要約作成支援装置。
9. 前記複数の人物のそれぞれに個別に発話させて前記複数の収音位置で収音した複数の音声データに基づいて前記収音位置を変更するか否かを判定し、前記収音位置を変更すると判定した場合に前記収音位置の変更を促すメッセージを含む音声信号を出力する試験管理部、
   を更に備えることを特徴とする請求項１に記載の音声要約作成支援装置。
10. 前記複数の人物のそれぞれに個別に発話させて前記複数の収音位置で収音した複数の音声データと、前記複数の収音位置及び前記複数の人物の相対位置と、に基づいて、前記収音位置及び前記人物の適正な配置を算出する適正配置算出部、
    を更に備えることを特徴とする請求項９に記載の音声要約作成支援装置。
11. コンピュータが、
    複数の人物のそれぞれとの位置関係が異なる複数の収音位置で前記複数の人物の対話を収音した複数の音声データから前記人物が発話している発話区間を抽出し、
    前記複数の音声データのそれぞれから抽出した前記発話区間の波形同士を比較し、前記波形の類似度についての第１の基準値に基づいて前記波形の類似性の有無を判定し、
    前記複数の音声データのそれぞれから抽出した前記発話区間の波形同士を比較して前記波形の減衰特性の有無を判定し、
    前記波形に前記類似性がない場合に、前記複数の音声データのそれぞれから抽出した前記発話区間の波形同士を比較し、前記第１の基準値とは異なる、前記波形の類似度についての第２の基準値に基づいて前記波形の非類似性の有無を判定し、
    前記波形の前記類似性の有無、前記減衰特性の有無、及び前記非類似性の有無に基づいて、前記発話区間の話者を識別する、
    処理を実行することを特徴とする音声要約作成支援方法。
12. 複数の人物のそれぞれとの位置関係が異なる複数の収音位置で前記複数の人物の対話を収音した複数の音声データから前記人物が発話している発話区間を抽出し、
    前記複数の音声データのそれぞれから抽出した前記発話区間の波形同士を比較し、前記波形の類似度についての第１の基準値に基づいて前記波形の類似性の有無を判定し、
    前記複数の音声データのそれぞれから抽出した前記発話区間の波形同士を比較して前記波形の減衰特性の有無を判定し、
    前記波形に前記類似性がない場合に、前記複数の音声データのそれぞれから抽出した前記発話区間の波形同士を比較し、前記第１の基準値とは異なる、前記波形の類似度についての第２の基準値に基づいて前記波形の非類似性の有無を判定し、
    前記波形の前記類似性の有無、前記減衰特性の有無、及び前記非類似性の有無に基づいて、前記発話区間の話者を識別する、
    処理をコンピュータに実行させる音声要約作成支援プログラム。

Images