JP2013135325A - 音声解析装置 - Google Patents

Abstract

【課題】装置を装着すること以外の操作を必要とすることなく、音声取得手段の装着者に対する配置状況を認識することを目的とする。
【解決手段】本発明の端末装置１０は、装置本体３０と、装置本体に接続され装着者の首から提げるのに用いられる提げ紐４０とを備える。また、この端末装置１０は、提げ紐４０を装着者の首に掛けたときに、装着者からみて右側の提げ紐４０に配置され話者の音声を取得する第２マイクロフォン１１ｂと、装着者からみて左側の提げ紐４０に配置され話者の音声を取得する第３マイクロフォン１１ｃとを備える。さらに、この端末装置１０は、第２マイクロフォン１１ｂおよび第３マイクロフォン１１ｃにより取得された装着者の心音の音圧を比較することにより、第２マイクロフォン１１ｂおよび第３マイクロフォン１１ｃについての装着者からみた左右方向の配置を認識する音声解析部とを備える。
【選択図】図２

Description

本発明は、音声解析装置に関する。

特許文献１には、次の従来技術が開示されている。この従来技術は、心拍計を従来からの服飾感覚で常時違和感なく装着出来て、心拍計には心拍数と最大心拍数とが表示されているので、誰でも、感情の変化量や肉体の運動量によって生じる心拍数の変化量を容易に知ることができるものである。そして、この従来技術は、心拍計本体に環に設けて、首から鳩尾部へ達する長さの紐または鎖を取り付けたことを特徴とする心拍計である。

また、特許文献２には、次の従来技術が開示されている。この従来技術は、マイクロホンを身体あるいは機器・装置に当てる位置が適切でなくても必要な音響信号を収集できるようにした電子聴診器や音響振動診断装置に適用が可能な多チャネル音響信号収集装置を提供する。そして、この従来技術は、多チャネル音響信号収集装置において、少なくとも２以上のマイクロホンあるいはセンサーを平面的に配列し一体化した集音手段と、少なくとも２以上のマイクロホンあるいはセンサーからの音響信号を選択して出力する選択器を備える。

特開平２−７４２３２号公報 特開２００２−１６５２９２号公報

本発明は、装置を装着すること以外の操作を必要とすることなく、音声取得手段の装着者に対する配置状況を認識することを目的とする。

請求項１に記載の発明は、装置本体と、前記装置本体に接続され、当該装置本体を装着者の首から提げるのに用いられる提げ紐と、前記提げ紐を装着者の首に掛けたときに、装着者からみて左側の当該提げ紐あるいは装着者からみて右側の当該提げ紐に配置され、話者の音声を取得する第１音声取得手段と、前記提げ紐を装着者の首に掛けたときに、前記第１音声取得手段が配置された前記左側の提げ紐あるいは前記右側の提げ紐とは反対側の前記提げ紐に配置され、話者の音声を取得する第２音声取得手段と、前記第１音声取得手段により取得された音声の音声信号と前記第２音声取得手段により取得された装着者の心音の音圧を比較することにより、当該第１音声取得手段および当該第２音声取得手段についての装着者からみた左右方向の配置を認識する配置認識手段とを備えることを特徴とする音声解析装置である。
請求項２に記載の発明は、装着者の口から前記第１音声取得手段までの距離と、装着者の口からの距離が異なる位置に配置され音声を取得する第３音声取得手段を有し、前記第１音声取得手段および前記第３音声取得手段により取得された音声の音声信号の比較に基づき、当該第１音声取得手段および当該第３音声取得手段により取得された音声が装着者の発話音声か、他者の発話音声かを識別する発話者識別部を備えることを特徴とする請求項１記載の音声解析装置である。
請求項３に記載の発明は、前記第１音声取得手段および前記第２音声取得手段により取得された音声に基づき、装着者と他者との向き合う角度である対面角度を算出する算出手段を備えることを特徴とする請求項１または２記載の音声解析装置である。

請求項４に記載の発明は、音声を取得する２つの音声取得手段と、前記２つの音声取得手段を装着者の胸部において水平方向に離間させ、かつ当該２つの音声取得手段のうち装着者からみて左側に配置された一方の音声取得手段を、当該２つの音声取得手段のうち他方の音声取得手段から装着者の心臓までの距離よりも装着者の心臓までの距離が短い位置に保持するとともに、装着者からみた当該２つの音声取得手段の左右方向の配置が入れ替わり得るように当該２つの音声取得手段を保持する保持手段と、前記２つの音声取得手段により取得された装着者の心音の音圧を比較することにより、当該２つの音声取得手段についての装着者から見た左右方向の配置を認識する配置認識手段とを備えることを特徴とする音声解析装置である。

請求項１の発明によれば、装置を装着すること以外の操作を必要とすることなく、音声取得手段の装着者に対する配置状況を認識することができる。
請求項２の発明によれば、装着者の発話音声と他者の発話音声とを識別することができる。
請求項３の発明によれば、装着者と他者との対面角度を把握することができる。
請求項４の発明によれば、本発明を用いない場合に比べて、音声取得手段の配置により影響を受ける解析の誤りを抑制することができる。

本実施形態による音声解析システムの構成例を示す図である。 本実施形態における端末装置の構成例を示す図である。 装着者および他者の口（発声部位）と、マイクロフォンとの位置の関係を示す図である。 マイクロフォンと音源との間の音波伝搬経路の距離と音圧（入力音量）との関係を示す図である。 装着者自身の発話音声と他者の発話音声の識別方法を示す図である。 本実施の形態における対面角度について説明した図である。 第２マイクロフォンと第３マイクロフォンとを使用して対面角度を求める方法について説明した図である。 本実施の形態において時間差を求める方法を説明した図である。 対面角度と、第２マイクロフォンおよび第３マイクロフォンに話者の音声が到達する時間差との関係を示した図である。 第２マイクロフォンおよび第３マイクロフォンの配置を誤って認識する状態について説明した図である。 第２マイクロフォンおよび第３マイクロフォンと装着者の心臓との位置関係を説明した図である。 本実施形態における端末装置の動作を示すフローチャートである。 本実施形態における音声解析部が対面角度を算出するフローチャートである。 マイクロフォンが取得する心音の音圧の変化を示す図である。 本実施形態の端末装置をそれぞれ装着した複数の装着者が会話している状況を示す図である。 図１５の会話状況における各端末装置の発話情報の例を示す図である。 本実施形態におけるホスト装置の機能構成例を示す図である。

以下、添付図面を参照して、本発明の実施形態について詳細に説明する。
＜システム構成例＞
図１は、本実施形態による音声解析システムの構成例を示す図である。
図１に示すように、本実施形態のシステムは、端末装置１０とホスト装置２０とを備えて構成される。端末装置１０とホスト装置２０とは、無線通信回線を介して接続されている。無線通信回線の種類としては、Ｗｉ−Ｆｉ（商標）（Wireless Fidelity）、Bluetooth（商標）、ZigBee（商標）、ＵＷＢ（Ultra Wideband）等の既存の方式による回線を用いて良い。また、図示の例では、端末装置１０が１台のみ記載されているが、詳しくは後述するように、端末装置１０は、使用者各人が装着して使用するものであり、実際には使用者数分の端末装置１０が用意される。以下、端末装置１０を装着した使用者を装着者と呼ぶ。

端末装置（音声解析装置）１０は、話者の音声を取得するための音声取得手段として、複数のマイクロフォン１１（第１マイクロフォン１１ａ、第２マイクロフォン１１ｂ、第３マイクロフォン１１ｃ）と、増幅器１３（第１増幅器１３ａ、第２増幅器１３ｂ、第３増幅器１３ｃ）とを備える。また、端末装置１０は、取得音声を解析する音声解析部１５と、解析結果をホスト装置２０に送信するためのデータ送信部１６とを備え、さらに電源部１７を備える。

本実施形態の第１マイクロフォン１１ａ、第２マイクロフォン１１ｂ、第３マイクロフォン１１ｃとして用いられるマイクロフォンの種類としては、ダイナミック型、コンデンサ型等、既存の種々のものを用いて良い。特に無指向性のＭＥＭＳ（Micro Electro Mechanical Systems）型マイクロフォンを用いることが好ましい。さらに説明をすると、本実施形態の第１マイクロフォン１１ａ、第２マイクロフォン１１ｂ、第３マイクロフォン１１ｃは、低周波（例えば、１Ｈｚ以上）の周波数を測定できるものが好ましい。なお、低周波の周波数を測定できるものと、より高周波の周波数を特定できるマイクロフォンを組み合わせる等、複数のマイクロフォンを組み合わせることによって構成してもよい。

第１増幅器１３ａ、第２増幅器１３ｂ、および第３増幅器１３ｃは、第１マイクロフォン１１ａ、第２マイクロフォン１１ｂ、および第３マイクロフォン１１ｃが取得音声に応じて出力する電気信号（音声信号）を増幅する。本実施形態の第１増幅器１３ａ、第２増幅器１３ｂ、および第３増幅器１３ｃとして用いられる増幅器としては、既存のオペアンプ等を用いて良い。

音声解析部１５は、第１増幅器１３ａ、第２増幅器１３ｂ、および第３増幅器１３ｃから出力された音声信号を解析する。そして、音声解析部１５は、第１マイクロフォン１１ａ、第２マイクロフォン１１ｂ、第３マイクロフォン１１ｃで取得した音声が端末装置１０を装着した装着者自身が発話した音声か、他者の発話による音声かを識別する。すなわち、音声解析部１５は、第１マイクロフォン１１ａ、第２マイクロフォン１１ｂ、第３マイクロフォン１１ｃで取得した音声に基づき、音声の発話者を識別する発話者識別部として機能する。また、音声解析部１５は、話者が装着者か他者かを識別し、話者が他者と識別されたときに装着者と話者との向き合う角度である対面角度を計測する。即ち、音声解析部１５は、話者が装着者か他者かを識別する識別手段として機能するとともに、装着者と話者との向き合う角度である対面角度を計測する出力手段として機能する。発話者の識別および対面角度のための具体的な処理の内容については後述する。

データ送信部１６は、音声解析部１５による解析結果を含む取得データと端末装置１０のＩＤを、上記の無線通信回線を介してホスト装置２０へ送信する。ホスト装置２０へ送信する情報としては、ホスト装置２０において行われる処理の内容に応じて、上記の解析結果の他、例えば、第１マイクロフォン１１ａ、第２マイクロフォン１１ｂ、第３マイクロフォン１１ｃによる音声の取得時刻、取得音声の音圧等の情報を含めて良い。なお、端末装置１０に音声解析部１５による解析結果を蓄積するデータ蓄積部を設け、一定期間の保存データを一括送信しても良い。有線回線で送信しても良い。

電源部１７は、上記の第１マイクロフォン１１ａ、第２マイクロフォン１１ｂ、第３マイクロフォン１１ｃ、第１増幅器１３ａ、第２増幅器１３ｂ、第３増幅器１３ｃ、音声解析部１５およびデータ送信部１６に電力を供給する。電源としては、例えば乾電池や充電池等の既存の電源が用いられる。また、電源部１７は、必要に応じて、電圧変換回路および充電制御回路等の周知の回路を含む。

ホスト装置２０は、端末装置１０から送信されたデータを受信するデータ受信部２１と、受信したデータを蓄積するデータ蓄積部２２と、蓄積したデータを解析するデータ解析部２３と、解析結果を出力する出力部２４とを備える。このホスト装置２０は、例えばパーソナルコンピュータ等の情報処理装置により実現される。また、上記のように本実施形態では複数台の端末装置１０が使用され、ホスト装置２０は、その複数台の端末装置１０の各々からデータを受信する。

データ受信部２１は、上記の無線通信回線に対応しており、各端末装置１０からデータを受信してデータ蓄積部２２へ送る。データ蓄積部２２は、例えばパーソナルコンピュータの磁気ディスク装置等の記憶装置により実現され、データ受信部２１から取得した受信データを発話者別に蓄積する。ここで、発話者の識別は、端末装置１０から送信される端末ＩＤと、予めホスト装置２０に登録されている発話者名と端末ＩＤの照合により行う。また、端末装置１０から端末ＩＤの代わりに、装着者名を送信するようにしておいても良い。

データ解析部２３は、例えばパーソナルコンピュータのプログラム制御されたＣＰＵにより実現され、データ蓄積部２２に蓄積されたデータを解析する。具体的な解析内容および解析手法は、本実施形態のシステムの利用目的や利用態様に応じて種々の内容および手法を取り得る。例えば、端末装置１０の装着者どうしの対話頻度や各装着者の対話相手の傾向を分析したり、対話における個々の発話の長さや音圧の情報から対話者の関係を類推したりすることが行われる。

出力部２４は、データ解析部２３による解析結果を出力したり、解析結果に基づく出力を行ったりする。出力手段は、システムの利用目的や利用態様、解析結果の内容や形式等に応じて、ディスプレイ表示、プリンタによる印刷出力、音声出力等、種々の手段を取り得る。

＜端末装置の構成例＞
図２は、端末装置１０の構成例を示す図である。
上記のように、端末装置１０は、各使用者に装着されて使用される。使用者が装着可能とするため、本実施形態の端末装置１０は、図２に示すように、装置本体３０と、装置本体３０に接続された提げ紐４０とを備えた構成とする。図示の構成において、使用者は、提げ紐４０に首を通し、装置本体３０を首から提げて装着する。

装置本体３０は、金属や樹脂等で形成された薄い直方体のケース３１に、少なくとも第１増幅器１３ａ、第２増幅器１３ｂ、第３増幅器１３ｃ、音声解析部１５、データ送信部１６および電源部１７を実現する回路と電源部１７の電源（電池）とを収納して構成される。また図示の例では、ケース３１に、第１マイクロフォン１１ａが設けられている。さらに、ケース３１には、装着者の氏名や所属等のＩＤ情報を表示したＩＤカード等を挿入するポケットを設けても良い。また、ケース３１自体の表面にそのようなＩＤ情報等を印刷したり、ＩＤ情報等を記載したシールを貼り付けたりしても良い。

提げ紐４０には、第２マイクロフォン１１ｂおよび第３マイクロフォン１１ｃが設けられる。提げ紐４０の材質としては、革、合成皮革、木綿その他の天然繊維や樹脂等による合成繊維、金属等、既存の種々の材質を用いて良い。また、シリコン樹脂やフッ素樹脂等を用いたコーティング処理が施されていても良い。なお、提げ紐４０を、保持手段として捉えることができる。

この提げ紐４０は、筒状の構造を有し、提げ紐４０の内部に第２マイクロフォン１１ｂおよび第３マイクロフォン１１ｃを収納している。第２マイクロフォン１１ｂおよび第３マイクロフォン１１ｃを提げ紐４０の内部に設けることにより、第２マイクロフォン１１ｂおよび第３マイクロフォン１１ｃの損傷や汚れを防ぎ、対話者が第２マイクロフォン１１ｂおよび第３マイクロフォン１１ｃの存在を意識することが抑制される。

図２を参照すると、第１マイクロフォン１１ａ（第３音声取得手段）と第２マイクロフォン１１ｂとは、ケース３１に設けられ装着者が提げ紐４０を首に掛けて装置本体３０を下げた状態で、装着者の口（発声部位）からの音波伝搬経路の距離（以下、単に「距離」と記す）が異なる位置に配置される。ここでは、第１マイクロフォン１１ａは装着者の口（発声部位）から遠い位置（例えば、３５ｃｍ程度）に配置され、第２マイクロフォン１１ｂは装着者の口（発声部位）に近い位置（例えば、１０ｃｍ程度）に配置されるものとする。

また、第２マイクロフォン（第１音声取得手段）１１ｂと第３マイクロフォン（第２音声取得手段）１１ｃとは、装着者が端末装置１０を装着した状態において、水平方向に予め定められた距離だけ離間して配される。ここでは、第２マイクロフォン１１ｂと第３マイクロフォン１１ｃとは、装着者が端末装置１０を装着した状態において、水平方向に並んで配置され、かつ例えば１５ｃｍ程度離れて配置されている。さらに説明をすると、第２マイクロフォン１１ｂと第３マイクロフォン１１ｃとは、装着者からみて左右対称の位置に配置される。なお、第２マイクロフォン１１ｂと第３マイクロフォン１１ｃとを、２つの音声取得手段として捉えることができる。

＜取得音声の非言語情報に基づく発話者（自他）の識別＞
次に、本実施形態における発話者の識別方法について説明する。
本実施形態のシステムは、端末装置１０に設けられた第１マイクロフォン１１ａと第２マイクロフォン１１ｂとにより取得された音声の情報を用いて、端末装置１０の装着者自身の発話音声と他者の発話音声とを識別する。言い換えれば、本実施形態は、取得音声の発話者に関して自他の別を識別する。また、本実施形態では、取得音声の情報のうち、形態素解析や辞書情報を用いて得られる言語情報ではなく、音圧（マイクロフォン１１への入力音量）等の非言語情報に基づいて発話者を識別する。言い換えれば、言語情報により特定される発話内容ではなく、非言語情報により特定される発話状況から音声の発話者を識別する。

図１および図２を参照して説明したように、本実施形態において、端末装置１０の第１マイクロフォン１１ａは装着者の口（発声部位）から遠い位置に配置され、第２マイクロフォン１１ｂは装着者の口（発声部位）に近い位置に配置される。すなわち、装着者の口（発声部位）を音源とすると、第１マイクロフォン１１ａと音源との間の距離と、第２マイクロフォン１１ｂと音源との間の距離が大きく異なる。具体的には、第１マイクロフォン１１ａと音源との間の距離は、第２マイクロフォン１１ｂと音源との間の距離の１．５〜４倍程度である。ここで、マイクロフォン１１における取得音声の音圧は、マイクロフォン１１と音源との間の距離が大きくなるにしたがって減衰（距離減衰）する。したがって、装着者の発話音声に関して、第１マイクロフォン１１ａにおける取得音声の音圧と第２マイクロフォン１１ｂにおける取得音声の音圧とは大きく異なる。

一方、装着者以外の者（他者）の口（発声部位）を音源とした場合を考えると、その他者が装着者から離れているため、第１マイクロフォン１１ａと音源との間の距離と、第２マイクロフォン１１ｂと音源との間の距離は、大きく変わらない。装着者に対する他者の位置によっては、両距離の差は生じ得るが、装着者の口（発声部位）を音源とした場合のように、第１マイクロフォン１１ａと音源との間の距離が第２マイクロフォン１１ｂと音源との間の距離の数倍となることはない。したがって、他者の発話音声に関して、第１マイクロフォン１１ａにおける取得音声の音圧と第２マイクロフォン１１ｂにおける取得音声の音圧とは、装着者の発話音声の場合のように大きく異なることはない。

図３は、装着者および他者の口（発声部位）と、マイクロフォン１１との位置の関係を示す図である。なお、図示の例においては、第１マイクロフォン１１ａは、提げ紐４０に設けられている。
図３に示す関係において、装着者の口（発声部位）である音源ａと第１マイクロフォン１１ａとの間の距離をＬａ１、音源ａと第２マイクロフォン１１ｂとの間の距離をＬａ２とする。また、他者の口（発声部位）である音源ｂと第１マイクロフォン１１ａとの間の距離をＬｂ１、音源ｂと第２マイクロフォン１１ｂとの間の距離をＬｂ２とする。この場合、次の関係が成り立つ。
Ｌａ１＞Ｌａ２（Ｌａ１≒１．５×Ｌａ２〜４×Ｌａ２）
Ｌｂ１≒Ｌｂ２

図４は、マイクロフォン１１と音源との間の距離と音圧（入力音量）との関係を示す図である。
上述したように、音圧は、マイクロフォン１１と音源との間の距離に応じて距離減衰する。図４において、距離Ｌａ１の場合の音圧（第１音圧）Ｇａ１と距離Ｌａ２の場合の音圧（第２音圧）Ｇａ２とを比較すると、音圧Ｇａ２は、音圧Ｇａ１の４倍程度となっている。一方、距離Ｌｂ１と距離Ｌｂ２とが近似するため、距離Ｌｂ１の場合の音圧Ｇｂ１と距離Ｌｂ２の場合の音圧Ｇｂ２とは、ほぼ等しい。そこで、本実施形態では、この音圧比の差を用いて、取得音声における装着者自身の発話音声と他者の発話音声とを識別する。なお、図４に示した例では、距離Ｌｂ１、Ｌｂ２を６０ｃｍとしたが、ここでは音圧Ｇｂ１と音圧Ｇｂ２とがほぼ等しくなることに意味があり、距離Ｌｂ１、Ｌｂ２は図示の値に限定されない。

図５は、装着者自身の発話音声と他者の発話音声の識別方法を示す図である。
図４を参照して説明したように、装着者自身の発話音声に関して、第２マイクロフォン１１ｂの音圧Ｇａ２は、第１マイクロフォン１１ａの音圧Ｇａ１の数倍（例えば４倍程度）である。また、他者の発話音声に関して、第２マイクロフォン１１ｂの音圧Ｇｂ２は、第１マイクロフォン１１ａの音圧Ｇｂ１とほぼ等しい（１倍程度）。そこで、本実施形態では、第２マイクロフォン１１ｂの音圧と第１マイクロフォン１１ａの音圧との比に閾値を設定する。閾値は、装着者自身の発話音声における音圧比の値と他者の発話音声における音圧比の値との間の値に設定される。そして、音圧比が閾値よりも大きい音声は装着者自身の発話音声と判断し、音圧比が閾値よりも小さい音声は他者の発話音声と判断する。図５に示す例では、閾値を２とし、音圧比Ｇａ２／Ｇａ１は閾値２を超えるので装着者自身の発話音声と判断され、音圧比Ｇｂ２／Ｇｂ１は閾値２よりも小さいので他者の発話音声と判断されている。

なお上述した例では、第１マイクロフォン１１ａと第２マイクロフォン１１ｂとを使用して自他識別の判断を行なったが、これに限られるものではなく、第１マイクロフォン１１ａと第３マイクロフォン１１ｃを使用しても同様であることは勿論である。

＜対面角度の説明＞
図６は、本実施の形態における対面角度について説明した図である。
本実施の形態において対面角度とは、端末装置１０の装着者と話者との向き合う角度である。そして本実施の形態で定義される対面角度の一例として図６では、水平方向の対面角度を示している。つまり図６は、装着者と話者を頭上から見た図である。そして本実施の形態は、対面角度αとして、２個の音声取得手段である第２マイクロフォン１１ｂと第３マイクロフォン１１ｃとを結ぶ線分と、この線分の中点および話者を結ぶ線分との角度を採用する。これにより対面角度の数学的取り扱いがより簡単になる。そしてこの定義を採用した場合、例えば、装着者と話者とがそれぞれ正面を向いて対向しているときは、この二人の対面角度αは、９０°となる。

＜対面角度を求める方法の説明＞
図７は、第２マイクロフォン１１ｂと第３マイクロフォン１１ｃとを使用して対面角度αを求める方法について説明した図である。
ここで、他者の口（発声部位）である音源ｂから発した音声は、音源ｂから同心円状に広がる。ただし音声は有限の速度である音速で広がるため音声が第２マイクロフォン１１ｂに到達した時間と第３マイクロフォン１１ｃに到達した時間とは異なり、音声の行路差δに対応した時間差Δｔが生じる。そして第２マイクロフォン１１ｂと第３マイクロフォン１１ｃとの間の距離をＤ、中点Ｃと音源ｂとの間の距離をＬとするとこれらの間には次の（１）式が成立する。

δ＝（Ｌ^２＋ＬＤcosα＋Ｄ^２／４）^０．５−（Ｌ^２−ＬＤcosα＋Ｄ^２／４）^０．５ …（１）

この（１）式は、Ｌ＞Ｄの場合、Ｌによる影響が小さいため、下記（２）式に近似できる。

δ≒Ｄcosα …（２）

また音速ｃと時間差Δｔを使用すると、下記（３）式が成立する。

δ＝ｃΔｔ …（３）

つまりこの（２）式および（３）式を使用することで、対面角度αが求まる。つまり２つの音声取得手段である第２マイクロフォン１１ｂと第３マイクロフォン１１ｃとに話者の音声が到達する時間差Δｔ、および第２マイクロフォン１１ｂと第３マイクロフォン１１ｃとが離間する距離Ｄに基づいて、装着者と話者との向き合う角度である対面角度αを計測することができる。

また第２マイクロフォン１１ｂと第３マイクロフォン１１ｃとに話者の音声が到達する時間差Δｔは、以下のようにして求めることができる。
図８は、本実施の形態において時間差Δｔを求める方法を説明した図である。このうち図８（ａ）は、第２マイクロフォン１１ｂと第３マイクロフォン１１ｃとに到達する話者の音声をサンプリング周波数１ＭＨｚでサンプリングし、そのデータの中から連続する５０００ポイントを抜き出した図である。
ここで横軸は５０００ポイントのデータにそれぞれに付けられたデータ番号を表わし、縦軸は、話者の音声の振幅を表わす。そして実線は、第２マイクロフォン１１ｂに到達した話者の音声の波形信号であり、点線は、第３マイクロフォン１１ｃに到達した話者の音声の波形信号である。

本実施の形態では、この２つの波形信号の相互相関関数を求める。つまり一方の波形信号を固定し，他方の波形信号をシフトしつつ積和をとる計算を行なう。図８（ｂ）〜（ｃ）は、この２つの波形信号に対する相互相関関数を示した図である。このうち図８（ｂ）は、サンプリングした５０００ポイントのデータ全体の相互相関関数であり、図８（ｃ）は、図８（ｂ）に示した相互相関関数のピーク付近を拡大した図である。なお図８（ｂ）〜（ｃ）では、第２マイクロフォン１１ｂに到達した話者の音声の波形信号を固定し、第３マイクロフォン１１ｃとに到達した話者の音声の波形信号をシフトして相互相関関数を求めた場合を示している。
図８（ｃ）に示すようにデータ番号０を基準にしてピーク位置は、−２２７ポイントずれている。これは第２マイクロフォン１１ｂを基準にして第３マイクロフォン１１ｃに到達する話者の音声が、この分遅延して到達することを意味する。本実施の形態においてサンプリング周波数は、上述の通り１ＭＨｚなので、サンプリングした各データ間の時間は、１×１０^−６（ｓ）である。よってこの遅延時間としては２２７×１×１０^−６（ｓ）＝２２７（μｓ）となる。つまりこの場合、時間差Δｔは、２２７（μｓ）である。

また本実施の形態では、振幅を予め定められた周波数帯毎に分け、最も振幅が大きい周波数帯について大きい重み付けをして相互相関関数を求めている。これにより求められる時間差Δｔがより正確になる。またこの時間差Δｔをより正確に求めるために第２マイクロフォン１１ｂと第３マイクロフォン１１ｃとの距離は１ｃｍ〜１００ｃｍの範囲内になることが好ましい。第２マイクロフォン１１ｂと第３マイクロフォン１１ｃとの距離が１ｃｍ未満であると時間差Δｔが小さくなりすぎ、この後導出される対面角度の誤差が大きくなりやすい。また１００ｃｍより大きいと時間差Δｔを導出する際に、反射音の影響を受けやくなる。また相互相関関数を求める際に、より長い時間幅について計算を行なう必要があるため計算に要する負荷が大きくなる。

図９は、対面角度αと、第２マイクロフォン１１ｂおよび第３マイクロフォン１１ｃに話者の音声が到達する時間差Δｔとの関係を示した図である。図９において、横軸は対面角度α（°）を表わし、縦軸は、時間差Δｔを表わす。
図９により例えば、装着者と話者とが正面同士で向き合っているとき、つまり対面角度αが９０°の場合は、時間差Δｔは、０であり、対面角度αが９０°の場合からずれるに従い時間差Δｔの絶対値は大きくなることがわかる。
なお対面角度αは、上述のようにして算出してもよいが、例えば、図９を基にして時間差Δｔに対する対面角度αをＬＵＴ（Look up Table）として、端末装置１０内に保持しておき、時間差Δｔを求めた後、このＬＵＴを参照することにより対面角度αを求めてもよい。

＜対面角度の誤認＞
上記のように、端末装置１０の装着者は、提げ紐４０に首を通し、装置本体３０を首から提げて装着する。ここで、装着者は、端末装置１０の左右を入れ替えた状態でも首から提げ得る。すなわち、装着者が装置本体３０を首から提げた状態において、装着者からみて第２マイクロフォン１１ｂが左側に配置され第３マイクロフォン１１ｃが右側に配置される場合と、それとは反対に、装着者からみて第３マイクロフォン１１ｃが左側に配置され第２マイクロフォン１１ｂが右側に配置される場合とがある。

そして、端末装置１０の音声解析部１５が、第２マイクロフォン１１ｂおよび第３マイクロフォン１１ｃの左右の配置を認識せずに対面角度αを求めると、話者の位置を誤って認識し得る。以下で、第２マイクロフォン１１ｂを基準にして第３マイクロフォン１１ｃに到達する話者の音声が、時間差Δｔ１で到達した場合を説明する。

図１０は、第２マイクロフォン１１ｂおよび第３マイクロフォン１１ｃの配置を誤って認識する状態について説明した図である。
図１０（ａ）に示すように、端末装置１０の装着者からみて、第２マイクロフォン１１ｂが右側に配置され第３マイクロフォン１１ｃが左側に配置されている状態において、第２マイクロフォン１１ｂおよび第３マイクロフォン１１ｃが時間差Δｔ１となる音声を取得したとする。この場合において、対面角度αは、図１０（ａ）に示すように対面角度α１（°）となる。

ここで、図１０（ｂ）に示すように、図１０（ａ）に示す端末装置１０とは逆の配置、すなわち端末装置１０の装着者からみて、第２マイクロフォン１１ｂが左側に配置され第３マイクロフォン１１ｃが右側に配置される場合を想定する。さらに、この端末装置１０の配置において、図１０（ｂ）に示すように話者が位置する、すなわち対面角度がα２（°）となる位置に話者が位置することを想定する。なお、α２は、α２＝１８０−α１の関係であり、装着者からみた正面方向に対して、図１０（ａ）の話者の位置と図１０（ｂ）の話者の位置とは対称の関係である。
この図１０（ｂ）に示す状態において、第２マイクロフォン１１ｂおよび第３マイクロフォン１１ｃが取得する音声の時間差は、上記の図１０（ａ）の場合と同じくΔｔ１となる。

このように、第２マイクロフォン１１ｂおよび第３マイクロフォン１１ｃが同一の時間差Δｔ１の音声を取得した場合であっても、第２マイクロフォン１１ｂおよび第３マイクロフォン１１ｃの配置によって、対面角度αが、対面角度α１となる場合と対面角度α２となる場合とがある。

したがって、例えば、実際には図１０（ｂ）のように第２マイクロフォン１１ｂおよび第３マイクロフォン１１ｃが配置されているのにもかかわらず、図１０（ａ）のように第２マイクロフォン１１ｂおよび第３マイクロフォン１１ｃが配置されていることを処理の前提とすると、話者の位置を誤って認識することとなる。
なお、実際の第２マイクロフォン１１ｂおよび第３マイクロフォン１１ｃの配置を、処理の前提とする位置とは左右反対にすると、音声解析部１５は、装着者からみた正面方向に対して実際の話者とは鏡像の位置に、話者が位置すると誤認することとなる。また、仮に装着者が端末装置１０を装着する際、端末装置１０の向きがランダムとなるとすると、５０％の確率で音声解析部１５が話者の位置を誤認するエラーが発生し得る。

＜マイクロフォンの位置の認識＞
そこで、本実施形態では、第２マイクロフォン１１ｂおよび第３マイクロフォン１１ｃが取得する音声に基づいて第２マイクロフォン１１ｂおよび第３マイクロフォン１１ｃの配置を認識する。具体的には、本実施の形態では、第２マイクロフォン１１ｂおよび第３マイクロフォン１１ｃの音圧を比較することにより、第２マイクロフォン１１ｂおよび第３マイクロフォン１１ｃの配置を認識する。以下で各マイクロフォンの配置を認識する構成を具体的に説明する。

図１１は、第２マイクロフォン１１ｂおよび第３マイクロフォン１１ｃと装着者の心臓との位置関係を説明した図である。
図１１においては、端末装置１０の装着者からみて、第２マイクロフォン１１ｂが右側に配置され、第３マイクロフォン１１ｃが左側に配置されている。また、端末装置１０の装着者の心臓は、装着者からみて左側に位置する。ここで、第２マイクロフォン１１ｂと心臓Ｈとの間の距離をＬｈ２とし、第３マイクロフォン１１ｃと心臓Ｈとの間の距離をＬｈ３とすると、これらの間には次の（４）式が成立する。

Ｌｈ２＞Ｌｈ３ …（４）

さて、図４を参照して説明をしたように、マイクロフォン１１における取得音声の音圧は、マイクロフォン１１と音源との間の距離が大きくなるにしたがって減衰（距離減衰）する。したがって、第２マイクロフォン１１ｂが取得する心音の音圧Ｇｈ２とし、第３マイクロフォン１１ｃが取得する心音の音圧Ｇｈ３とすると、これらの間には次の（５）式が成立する。

Ｇｈ２＜Ｇｈ３ …（５）

一方で、図１１に示す例とは左右反対、すなわち、第２マイクロフォン１１ｂが左側に配置され、第３マイクロフォン１１ｃが右側に配置されている場合、第２マイクロフォン１１ｂと心臓との間の距離Ｌｈ２と、第３マイクロフォン１１ｃと心臓との間の距離Ｌｈ３との間に次の（６）式が成立する。

Ｌｈ２＜Ｌｈ３ …（６）

また、第２マイクロフォン１１ｂが取得する心音の音圧Ｇｈ２と、第３マイクロフォン１１ｃが取得する心音の音圧Ｇｈ３との間には次の（７）式が成立する。

Ｇｈ２＞Ｇｈ３ …（７）

そこで、本実施形態においては、音声解析部１５（配置認識手段）が、第２マイクロフォン１１ｂが取得する心音の音圧Ｇｈ２と、第３マイクロフォン１１ｃが取得する心音の音圧Ｇｈ３とを比較する。そして、音圧の比較の結果、音圧の大きいマイクロフォンが、音圧の低いマイクロフォンよりも装着者からみて左側に配置されると判断する。

なお、他者の口（音源ｂ）との間の距離Ｌｂ２および距離Ｌｂ３と比較して、心臓Ｈとの間の距離Ｌｈ２および距離Ｌｈ３は、距離が短い。そして、図４で説明したように、音源との距離が短い領域においては、音源との距離が長い領域と比較して、減衰曲線が急峻であり音圧が大きく変化する。したがって、音圧Ｇｈ２と音圧Ｇｈ３とは大きく異なるのに対して、音圧Ｇｂ２と音圧Ｇｂ３とはほぼ等しい関係となる。

＜端末装置の動作例＞
図１２は、本実施形態における端末装置１０の動作を示すフローチャートである。
図１２に示すように、端末装置１０のマイクロフォン１１が音声を取得すると、各マイクロフォン１１から取得した音声に応じた電気信号（音声信号）が対応する各増幅器１３へ送られる（ステップ１２０１）。各増幅器１３は、各マイクロフォン１１からの音声信号を取得すると、信号を増幅して音声解析部１５へ送る（ステップ１２０２）。

音声解析部１５は、各増幅器１３で増幅された信号に対してフィルタリング処理を行い、信号から環境音の成分を除去する（ステップ１２０３）。次に、音声解析部１５は、雑音成分が除かれた信号に対し、一定の時間単位（例えば、数十分の一秒〜数百分の一秒）毎に、各マイクロフォン１１の取得音声における平均音圧を求める（ステップ１２０４）。

ステップ１２０４で求めた各マイクロフォン１１のうち、第１マイクロフォン１１ａおよび第２マイクロフォン１１ｂにおける平均音圧の利得が有る場合（ステップ１２０５でＹｅｓ）、音声解析部１５は、発話音声が有る（発話が行われた）と判断し、次に、第１マイクロフォン１１ａにおける平均音圧と第２マイクロフォン１１ｂにおける平均音圧との比（音圧比）を求める（ステップ１２０６）。

そして、ステップ１２０６で求めた音圧比が閾値よりも大きい場合（ステップ１２０７でＹｅｓ）、音声解析部１５は、発話音声は装着者自身の発話による音声であると判断する（ステップ１２０８）。また、ステップ１２０６で求めた音圧比が閾値よりも小さい場合（ステップ１２０７でＮｏ）、音声解析部１５は発話音声は他者の発話による音声であると判断し（ステップ１２０９）、音声解析部１５は対面角度を算出する（ステップ１２１０）。

また、ステップ１２０４で求めた各第１マイクロフォン１１ａおよび第２マイクロフォン１１ｂにおける平均音圧の利得が無い場合（ステップ１２０５でＮｏ）、音声解析部１５は、発話音声が無い（発話が行われていない）と判断する（ステップ１２１１）。

この後、音声解析部１５は、データ送信部１６を介して、ステップ１２０４〜ステップ１２１１の処理で得られた情報（発話の有無、発話者の情報、対面角度）を解析結果としてホスト装置２０へ送信させる（ステップ１２１２）。発話者毎（装着者自身または他者）の発話時間の長さや平均音圧の利得の値、その他の付加情報を解析結果と共にホスト装置２０へ送信させても良い。

なお、本実施形態では、第１マイクロフォン１１ａの音圧と第２マイクロフォン１１ｂの音圧とを比較することにより、発話音声が装着者自身の発話による音声か他者の発話による音声かを判断した。しかし、本実施形態による発話者の識別は、マイクロフォン１１、１２により取得された音声信号そのものから抽出される非言語情報に基づいて行うものであれば良く、音圧の比較には限定されない。例えば、第１マイクロフォン１１ａと第２マイクロフォン１１ｂとにおける時間差Δｔを求めることにより判断するようにしてもよい。

＜対面角度の算出＞
次に、音声解析部１５が、対面角度を算出する（図１２のステップ１２１０）フローを詳細に説明する。
図１３は、本実施形態における音声解析部１５が対面角度を算出するフローチャートである。
図１３に示すように、音声解析部１５は、第２マイクロフォン１１ｂおよび第３マイクロフォン１１ｃに話者の音声が到達する時間の時間差Δｔを算出する（ステップ１３０１）。さらに図７で説明した手法により、この時間差Δｔおよび第２マイクロフォン１１ｂと第３マイクロフォン１１ｃとが離間する距離Ｄに基づいて、装着者と話者との向き合う角度である対面角度を求める（ステップ１３０２）。

次に、音声解析部１５は、第２マイクロフォン１１ｂにおける平均音圧である第２音圧と第３マイクロフォン１１ｃが取得する平均音圧である第３音圧とを比較する（ステップ１３０３）。そして、第２音圧が第３音圧よりも大きい場合（ステップ１３０３でＹｅｓ）、音声解析部１５は、第２マイクロフォン１１ｂが、もう一方のマイクロフォン（第３マイクロフォン１１ｃ）よりも装着者からみて左側に配置されるマイクである左側マイクと判断する（ステップ１３０４）。
また、第３音圧が第２音圧よりも大きい場合（ステップ１３０３でＮｏ）、音声解析部１５は第３マイクロフォン１１ｃが左側マイクであると判断する（ステップ１３０５）。そして、音声解析部１５は、ステップ１３０２で求めた対面角度を補正する（ステップ１３０６）。具体的には、ステップ１３０２で求めた対面角度をαａ（°）とし、補正後の対面角度をαｂ（°）とすると、次式により補正を行う。

αｂ＝１８０−αａ …（８）

この後、なお、対面角度の情報は、上記のようにデータ送信部１６を介してホスト装置２０へ送信させる（図１２のステップ１２１２）。

＜心音の信号を取得する方法＞
図１４は、マイクロフォン１１が取得する心音の音圧の変化を示す図である。
図１４（ａ）は、心音の音圧（入力音量）の変化を示す。なお、図１４（ａ）では、心臓の拍動２回分（図中１４１、１４２参照）に対応する心音の波形が示される。なお、図１４（ａ）に示すように、拍動１回分に対応する波形の中に、より高周波の波形が存在している。この波形は、例えば複数の弁（大動脈弁や僧帽弁等）が開閉することなどにともない発生する音圧の変化である。

ここで、第２マイクロフォン１１ｂおよび第３マイクロフォン１１ｃが取得した心音の音圧のうち、高周波の音圧の変化を除去した後に、心音の音圧Ｇｈ２および音圧Ｇｈ３を比較してもよい。
ここで、成人の心拍数は、８０〜２００回／分（＝１．５〜３．３Ｈｚ）程度である。ノイズ源となり得る上記の高周波の波形を除去するためには、例えば興奮時に心拍数が上がることも考慮し、５Ｈｚ以上の信号をカットするローパスフィルタ等を用いた既存の技術によるフィルタリング処理を行うように構成してもよい。図１４（ｂ−１）に示すように、高周波の波形を除去した心音に基づくことにより、心音の音圧を取得する精度をより向上させることができる。

また、上記の説明では、心音の音圧Ｇｈ２および音圧Ｇｈ３と、他者の発話による音声の音圧Ｇｂ２および音圧Ｇｂ３とを区別することなく、第２マイクロフォン１１ｂおよび第３マイクロフォン１１ｃが取得した音声の音圧として取り扱うことを説明したが、これに限定されない。

例えば、次のように構成してもよい。すなわち、音声解析部１５が発話音声が無い（発話が行われていない）と判断した（図１２のステップ１２１１参照）状態において、第２増幅器１３ｂおよび第３増幅器１３ｃの増幅率を上げて（ゲインを上げて）、心音の音圧Ｇｈ２および音圧Ｇｈ３を取得してもよい。例えば、図１４（ｂ−２）に示すように、５Ｈｚ以上の信号をカットするローパスフィルタ等を用いたフィルタリング処理を行った心音（図１４（ｂ−１）参照）の増幅率を上げて心音の音圧Ｇｈ２および音圧Ｇｈ３を検出してもよい。このことにより、心音以外の音圧信号を除去し、心音の音圧を取得する精度をより向上させることができる。

さらに、次のように構成してもよい。すなわち、図１４（ｂ−３）に示すように、音声解析部１５が発話音声が無いと判断した状態において、ローパスフィルタ等を用いたフィルタリング処理を行うことなく、第２増幅器１３ｂおよび第３増幅器１３ｃの増幅率を上げて、上記１拍動に相当する波形の中に含まれる高周波の波形を検出してもよい。このことにより、発話音声の影響がない状態で心音を取得し、心音の音圧を取得する精度をより向上させることができる。

なお、音声解析部１５が発話音声が無いと判断した（図１２のステップ１２１１参照）で第２増幅器１３ｂおよび第３増幅器１３ｃの増幅率を上げて心音を取得することに替えて次のように構成してもよい。すなわち、装着者が端末装置１０を装着後すぐであって、装着者および他者による発話が行われる前に、第２増幅器１３ｂおよび第３増幅器１３ｃの増幅率を上げて心音を取得するように構成してもよい。

＜システムの適用例とホスト装置の機能＞
本実施形態のシステムでは、複数の端末装置１０により上記のようにして得られた発話に関する情報（以下、発話情報）がホスト装置２０に集められる。ホスト装置２０は、複数の端末装置１０から得られた情報を用いて、システムの利用目的や利用態様等に応じて種々の解析を行う。以下、複数の装着者のコミュニケーションに関する情報を取得するシステムとして本実施形態を用いる例を説明する。

図１５は、本実施形態の端末装置１０をそれぞれ装着した複数の装着者が会話している状況を示す図である。図１６は、図１５の会話状況における各端末装置１０Ａ、１０Ｂの発話情報の例を示す図である。
図１５に示すように、端末装置１０をそれぞれ装着した二人の装着者Ａ、装着者Ｂが会話している場合を考える。このとき、装着者Ａの端末装置１０Ａにおいて装着者の発話として認識される音声は、装着者Ｂの端末装置１０Ｂでは他者の発話として認識される。反対に、端末装置１０Ｂにおいて装着者の発話として認識される音声は、端末装置１０Ａでは他者の発話として認識される。

端末装置１０Ａおよび端末装置１０Ｂからは、それぞれ独立に、発話情報がホスト装置２０に送られる。このとき、端末装置１０Ａから取得した発話情報と、端末装置１０Ｂから取得した発話情報とは、図１６に示すように、発話者（装着者と他者）の識別結果は反対になるが、発話時間の長さや発話者が切り替わったタイミング等の発話状況を示す情報は近似する。そこで、本適用例のホスト装置２０は、端末装置１０Ａから取得した情報と端末装置１０Ｂから取得した情報とを比較することにより、これらの情報が同じ発話状況を示していると判断し、装着者Ａと装着者Ｂとが会話していることを認識する。ここで、発話状況を示す情報としては、少なくとも、上述した発話者ごとの個々の発話における発話時間の長さ、個々の発話の開始時刻と終了時刻、発話者が切り替わった時刻（タイミング）等のように、発話に関する時間情報が用いられる。なお、特定の会話に係る発話状況を判断するために、これらの発話に関する時間情報の一部のみを用いても良いし、他の情報を付加的に用いても良い。

さらに説明をすると、本実施形態においては、上記のように端末装置１０Ａおよび端末装置１０Ｂからは、装着者と話者との向き合う角度である対面角度がそれぞれ独立にホスト装置２０に送られる。従って、端末装置１０Ａおよび端末装置１０Ｂから取得した対面角度に基づくことにより、装着者Ａと装着者Ｂとが会話していることをより精度よく認識することができる。

図１７は、本適用例におけるホスト装置２０の機能構成例を示す図である。
本適用例において、ホスト装置２０は、端末装置１０から取得した発話情報のうち、会話を行っている装着者の端末装置１０からの発話情報（以下、会話情報）を検出する会話情報検出部２０１と、検出された会話情報を解析する会話情報解析部２０２とを備える。この会話情報検出部２０１および会話情報解析部２０２は、データ解析部２３の機能として実現される。

ホスト装置２０には、端末装置１０Ａ、端末装置１０Ｂ以外の端末装置１０からも発話情報が送られる。データ受信部２１により受信された各端末装置１０からの発話情報は、データ蓄積部２２に蓄積される。そして、データ解析部２３の会話情報検出部２０１が、データ蓄積部２２に蓄積された各端末装置１０の発話情報を読み出し、特定の会話に係る発話情報である会話情報を検出する。

上記の図１６に示したように、端末装置１０Ａの発話情報と端末装置１０Ｂの発話情報は、他の端末装置１０の発話情報とは異なる特徴的な対応関係が抽出される。会話情報検出部２０１は、データ蓄積部２２に蓄積されている各端末装置１０から取得した発話情報を比較し、複数の端末装置１０から取得した発話情報の中から、上記のような対応関係を有する発話情報を検出し、同一の会話に係る会話情報として識別する。ホスト装置２０には、複数の端末装置１０から発話情報が随時送られているので、会話情報検出部２０１は、例えば、一定時間分の発話情報を順次区切りながら上記の処理を行い、特定の会話に係る会話情報が含まれているか否かを判断する。

なお、会話情報検出部２０１が複数の端末装置１０の発話情報から特定の会話に係る会話情報を検出するための条件は、上述した図１６に示す対応関係に限定されない。複数の発話情報の中から特定の会話に係る会話情報を識別し得る、いかなる手法にて検出しても良い。

また、上記の例では、端末装置１０をそれぞれ装着した二人の装着者が会話している例を示したが、会話に参加する人数は二人に限定されない。三人以上の装着者が会話している場合、各装着者が装着している端末装置１０において、自装置の装着者の発話音声が装着者自身の発話音声として認識され、他者（二人以上）の発話音声と区別される。しかし、発話時間や発話者が切り替わったタイミング等の発話状況を示す情報は、各端末装置１０における取得情報どうしの間で近似する。そこで、会話情報検出部２０１は、上記の二人の会話の場合と同様に、同一の会話に参加している装着者の端末装置１０から取得した発話情報を検出し、会話に参加していない装着者の端末装置１０から取得した発話情報と区別する。

次に、会話情報解析部２０２は、会話情報検出部２０１により検出された会話情報を解析して、その会話の特徴を抽出する。本実施形態では、具体例として、対話度、傾聴度、会話活性度の３種類の評価基準により会話の特徴を抽出する。ここで、対話度とは、会話参加者の発言頻度のバランスを表すものとする。傾聴度とは、個々の会話参加者における他者の発言を聴く度合い表すものとする。会話活性度とは、会話全体における発言の密度を表すものとする。

対話度は、会話が行われている間における発話者の交代回数と、発話者が交代するまでの時間（一人の発話者が連続して発話している時間）のばらつきによって特定される。これは、一定時間の会話情報において、話者が切り替わった回数および切り替わったときの時刻から得られる。そして、発話者の交代回数が多く、各発話者の連続発話時間のばらつきが小さいほど、対話度の値（レベル）が大きいものとする。この評価基準は、同一の会話に係る全ての会話情報（各端末装置１０の発話情報）において共通する。

傾聴度は、会話情報における会話参加者ごとの自身の発話時間と他者の発話時間との比率によって特定される。例えば、下式の場合、値が大きいほど傾聴度の値（レベル）が大きいものとする。
傾聴度＝（他者の発話時間）÷（装着者自身の発話時間）
この評価基準は、同一の会話に係る会話情報であっても、各会話参加者の端末装置１０から取得した発話情報ごとに異なるものとなる。

会話活性度は、いわゆる会話の盛り上がりを表す指標であり、会話情報全体に対する無言時間（会話参加者の誰も発言していない時間）の比率によって特定される。無言時間の総和が短いほど、会話において会話参加者のいずれかが発言していることを意味し、会話活性度の値（レベル）が大きいものとする。この評価基準は、同一の会話に係る全ての会話情報（各端末装置１０の発話情報）において共通する。

以上のようにして、会話情報解析部２０２による会話情報の解析により、その会話情報に係る会話の特徴が抽出される。また、上記の解析により、その会話における各参加者の参加の仕方が特定される。なお、上記の評価基準は、会話の特徴を表す情報の一例に過ぎず、他の評価項目を採用したり、項目毎に重み付けを加えたりすることにより、本実施形態のシステムの利用目的や利用態様に応じた評価基準を設定して良い。

上記のような解析を、データ蓄積部２２に蓄積された発話情報の中から会話情報検出部２０１により検出された種々の会話情報に対して行うことにより、端末装置１０の装着者のグループ全体におけるコミュニケーションの傾向を分析することができる。具体的には、例えば、会話参加者の数、会話が行われた時間、対話度、活性度などの値と会話の発生頻度との相関関係を調べることで、装着者のグループにおいてどのような態様の会話が行われる傾向があるかが判断される。

また、特定の装着者の複数の会話情報に対して上記のような解析を行うことにより、装着者個人のコミュニケーションの傾向を分析することができる。特定の装着者による会話への参加の仕方は、会話の相手や会話参加者の数といった条件に応じて、一定の傾向を持つ場合がある。そこで、特定の装着者における複数の会話情報を調べることにより、例えば、特定の相手との会話では対話レベルが大きい、会話参加者の数が多くなると傾聴度が大きくなる等のような特徴が検出されることが期待される。

なお、上記の発話情報の識別処理および会話情報解析処理は、本実施形態によるシステムの適用例を示すに過ぎず、本実施形態によるシステムの利用目的や利用態様、ホスト装置２０の機能等を限定するものではない。本実施形態の端末装置１０により取得した発話情報に対して種々の解析や調査を実行するための処理機能が、ホスト装置２０の機能として実現され得る。

＜変形例＞
さて、上述した実施形態においては、第２マイクロフォン１１ｂと第３マイクロフォン１１ｃとは、使用者が装着した状態において左右対称であることを説明した。ここで、本実施形態おける左右対称とは、第２マイクロフォン１１ｂと第３マイクロフォン１１ｃとが水平方向に並ぶことを必要としない。本実施形態においては、装着者からみて、第２マイクロフォン１１ｂと第３マイクロフォンのうち左側に配置されたマイクが、右側に配置されたマイクよりも心臓からの距離が近くなる配置であればよい。さらに説明をすると、装着者がこの端末装置１０を首から提げる際に、端末装置１０の左右の配置が入れ替わったとしても、いずれの状態においても左側に配置されたマイクが、右側に配置されたマイクよりも心臓からの距離が近くなる配置であればよい。

また、マイクロフォン１１（第１マイクロフォン１１ａ、第２マイクロフォン１１ｂ、第３マイクロフォン１１ｃ）は、種々の方法で装着者に装着して良い。例えば、マイクロフォン１１の各々を、個別にピン等を用いて衣服に固定するように構成しても良い。また、マイクロフォン１１の各々の位置関係が所望の位置で固定されるようにデザインされた専用の装着具を用意して装着しても良い。

また、装置本体３０は、図２に示したように、提げ紐４０に接続されて装着者の首から提げられる構成に限らず、携帯することが容易な装置として構成されていれば良い。例えば、本実施形態のような提げ紐ではなく、クリップやベルトにより衣服や体に装着するように構成しても良いし、単にポケット等に納めて携帯するような構成としても良い。また、携帯電話その他の既存の携帯型電子情報端末に、マイクロフォン１１からの音声信号を受け付けて増幅し、解析する機能を実現させても良い。

さらにまた、マイクロフォン１１と装置本体３０（あるいは音声解析部１５）を有線で接続するのではなく、無線通信により接続しても良い。増幅器１３、音声解析部１５、データ送信部１６および電源部１７は、上記の構成例では単一のケース３１に収納されることとしたが、複数の個体に分けて構成しても良い。例えば、電源部１７をケース３１に収納せず、外部電源に接続して使用する構成としても良い。

１０…端末装置、１１ａ…第１マイクロフォン、１１ｂ…第２マイクロフォン、１１ｃ…第３マイクロフォン、１５…音声解析部、１６…データ送信部、１７…電源部、２０…ホスト装置、２１…データ受信部、２２…データ蓄積部、２３…データ解析部、２４…出力部、３０…装置本体、４０…提げ紐、２０１…会話情報検出部、２０２…会話情報解析部

Claims (4)

1. 装置本体と、
   前記装置本体に接続され、当該装置本体を装着者の首から提げるのに用いられる提げ紐と、
   前記提げ紐を装着者の首に掛けたときに、装着者からみて左側の当該提げ紐あるいは装着者からみて右側の当該提げ紐に配置され、話者の音声を取得する第１音声取得手段と、
   前記提げ紐を装着者の首に掛けたときに、前記第１音声取得手段が配置された前記左側の提げ紐あるいは前記右側の提げ紐とは反対側の前記提げ紐に配置され、話者の音声を取得する第２音声取得手段と、
   前記第１音声取得手段により取得された音声の音声信号と前記第２音声取得手段により取得された装着者の心音の音圧を比較することにより、当該第１音声取得手段および当該第２音声取得手段についての装着者からみた左右方向の配置を認識する配置認識手段と
   を備えることを特徴とする音声解析装置。
2. 装着者の口から前記第１音声取得手段までの距離と、装着者の口からの距離が異なる位置に配置され音声を取得する第３音声取得手段を有し、
   前記第１音声取得手段および前記第３音声取得手段により取得された音声の音声信号の比較に基づき、当該第１音声取得手段および当該第３音声取得手段により取得された音声が装着者の発話音声か、他者の発話音声かを識別する発話者識別部を備えることを特徴とする請求項１記載の音声解析装置。
3. 前記第１音声取得手段および前記第２音声取得手段により取得された音声に基づき、装着者と他者との向き合う角度である対面角度を算出する算出手段を備えることを特徴とする請求項１または２記載の音声解析装置。
4. 音声を取得する２つの音声取得手段と、
   前記２つの音声取得手段を装着者の胸部において水平方向に離間させ、かつ当該２つの音声取得手段のうち装着者からみて左側に配置された一方の音声取得手段を、当該２つの音声取得手段のうち他方の音声取得手段から装着者の心臓までの距離よりも装着者の心臓までの距離が短い位置に保持するとともに、装着者からみた当該２つの音声取得手段の左右方向の配置が入れ替わり得るように当該２つの音声取得手段を保持する保持手段と、
   前記２つの音声取得手段により取得された装着者の心音の音圧を比較することにより、当該２つの音声取得手段についての装着者から見た左右方向の配置を認識する配置認識手段と
   を備えることを特徴とする音声解析装置。

Images