JP2012147196A - Ｎａｍ会話支援システムおよびｎａｍ会話支援方法 - Google Patents
Ｎａｍ会話支援システムおよびｎａｍ会話支援方法 Download PDFInfo
- Publication number
- JP2012147196A JP2012147196A JP2011003302A JP2011003302A JP2012147196A JP 2012147196 A JP2012147196 A JP 2012147196A JP 2011003302 A JP2011003302 A JP 2011003302A JP 2011003302 A JP2011003302 A JP 2011003302A JP 2012147196 A JP2012147196 A JP 2012147196A
- Authority
- JP
- Japan
- Prior art keywords
- nam
- conversation
- speaker
- assigned
- fundamental frequency
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Landscapes
- Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
- Telephonic Communication Services (AREA)
Abstract
【課題】ＮＡＭを用いた複数人によるＮＡＭ会話中、各ＮＡＭ会話参加者がＮＡＭ発言者によるＮＡＭ会話を聴くことによりＮＡＭ発言者を容易に識別することができるＮＡＭ会話支援システムおよびＮＡＭ会話支援方法を提供する。
【解決手段】ＮＡＭ会話管理サーバは、各ＮＡＭ会話参加者の現在の位置を示す位置情報と各ＮＡＭ会話参加者が現在向いている向きの情報とを各ＮＡＭ会話参加者が保持する携帯端末装置から受信し、受信した前記位置情報と前記向きの情報を用いて特定される各ＮＡＭ会話参加者から見たＮＡＭ発言者の現在の方位と前記ＮＡＭ発言者の音声基本周波数とに基いて、各ＮＡＭ会話参加者に対する前記ＮＡＭ発言者の割り当て方位と前記ＮＡＭ発言者の割り当て基本周波数を定める。ＮＡＭ会話管理サーバは、定めた割り当て方位と割り当て基本周波数とに基いてＮＡＭの無声音声信号を処理し、処理した無声音声信号を各ＮＡＭ会話参加者に送信する。
【選択図】 図２
【解決手段】ＮＡＭ会話管理サーバは、各ＮＡＭ会話参加者の現在の位置を示す位置情報と各ＮＡＭ会話参加者が現在向いている向きの情報とを各ＮＡＭ会話参加者が保持する携帯端末装置から受信し、受信した前記位置情報と前記向きの情報を用いて特定される各ＮＡＭ会話参加者から見たＮＡＭ発言者の現在の方位と前記ＮＡＭ発言者の音声基本周波数とに基いて、各ＮＡＭ会話参加者に対する前記ＮＡＭ発言者の割り当て方位と前記ＮＡＭ発言者の割り当て基本周波数を定める。ＮＡＭ会話管理サーバは、定めた割り当て方位と割り当て基本周波数とに基いてＮＡＭの無声音声信号を処理し、処理した無声音声信号を各ＮＡＭ会話参加者に送信する。
【選択図】 図２
Description
本発明は、ＮＡＭ（Non Audible Murmur）を用いた複数人によるＮＡＭ会話を支援するＮＡＭ会話支援システムおよびＮＡＭ会話支援方法に関する。
現在、ＮＡＭを用いた会話システムが色々研究されている。ＮＡＭとは、非可聴のつぶやきであって、半径１ｍ以内の他人にも聴き取られない無声音声である。ＮＡＭは、例えば、呼吸の呼気を利用して行われる。無声音声とは、言語音を調音する際、肺からの呼気が喉頭を通る時に喉頭上部にある声帯を震動させずそのまま通り抜けて出る音である。
例えば、ＮＡＭによる音声として、声帯の規則振動を伴わず、ごく少量の呼吸量を伴って発言者の肉などの体内軟部組織を伝導する振動音を採取するマイクロフォンと、このマクロフォンを用いたコミュニケーションインターフェースシステムが知られている。
ＮＡＭを用いた音声では、上述したように声帯を使用しない無声音であるため、有声音において通常用いるフォルトマンを用いて発言者を識別することは難しい。したがって、ＮＡＭを用いたコミュニケーションシステムでは、複数人の発言者がいる場合、発言者を視覚以外で識別しにくい。
ＮＡＭを用いた音声では、上述したように声帯を使用しない無声音であるため、有声音において通常用いるフォルトマンを用いて発言者を識別することは難しい。したがって、ＮＡＭを用いたコミュニケーションシステムでは、複数人の発言者がいる場合、発言者を視覚以外で識別しにくい。
一方、複数のユーザが同時に発言を行っているときであっても、発言を行っているユーザと発言を行っていないユーザを容易に特定することができる通信システムが知られている。当該通信システムは、発言者を識別する識別情報を含む制御情報を用いて発言者と非発言者を特定し、それぞれの発言者、非発言者に関する情報を異なる形式で表示させるディスプレイを有する。
上記ＮＡＭを用いたコミュニケーションシステムでは、３人以上でＮＡＭによる会話を行い、２人以上が発言をする場合、聴き手であるＮＡＭ会話参加者は、発言者同士がお互いに近くにいる場合、お互いに顔を見合すことができるため、誰が発言者であるかを識別することができる。お互いに近くにいない、例えば１００ｍ程度離れている場合、ＮＡＭの無声音声だけでは誰が発生しているのか識別できない。
一方、上記通信システムを利用する場合、発言者、非発言者に関する情報を異なる形式で表示させるディスプレイを設けるので、上記通信システムを複数人のＮＡＭ会話参加者がどこでも気軽に利用することは難しい。
一方、上記通信システムを利用する場合、発言者、非発言者に関する情報を異なる形式で表示させるディスプレイを設けるので、上記通信システムを複数人のＮＡＭ会話参加者がどこでも気軽に利用することは難しい。
そこで、本発明は、ＮＡＭを用いた複数人によるＮＡＭ会話を支援する際、各ＮＡＭ会話参加者がＮＡＭ発言者によるＮＡＭの会話を聴くことによりＮＡＭ発言者を容易に識別することができるＮＡＭ会話支援システムおよびＮＡＭ会話支援方法を提供することを目的とする。
本発明の一態様は、ＮＡＭ（Non Audible Murmur）を用いた複数人によるＮＡＭ会話を支援するＮＡＭ会話支援システムである。当該システムは、
各ＮＡＭ会話参加者の現在の位置を示す位置情報と各ＮＡＭ会話参加者が現在向いている向きの情報とを取得する計測部と、各ＮＡＭ会話参加者がＮＡＭ会話に用いる音声入出力デバイスと、前記位置情報と前記向きの情報の通信およびＮＡＭ会話中の音声信号の通信を行う通信部と、を備える各ＮＡＭ会話参加者が保持する携帯端末装置と、
前記携帯端末装置から受信した前記位置情報と前記向きの情報を用いて特定される各ＮＡＭ会話参加者から見たＮＡＭ発言者の現在の方位と前記ＮＡＭ発言者の音声基本周波数とに基いて、各ＮＡＭ会話参加者に対する前記ＮＡＭ発言者の割り当て方位と前記ＮＡＭ発言者の割り当て基本周波数を定め、前記割り当て方位と前記割り当て基本周波数とに基いて前記携帯端末装置から受信したＮＡＭの無声音声信号を処理する信号処理部と、処理した前記無声音声信号を前記携帯端末装置に送信する通信部と、を備える会話管理装置と、を有する。
各ＮＡＭ会話参加者の現在の位置を示す位置情報と各ＮＡＭ会話参加者が現在向いている向きの情報とを取得する計測部と、各ＮＡＭ会話参加者がＮＡＭ会話に用いる音声入出力デバイスと、前記位置情報と前記向きの情報の通信およびＮＡＭ会話中の音声信号の通信を行う通信部と、を備える各ＮＡＭ会話参加者が保持する携帯端末装置と、
前記携帯端末装置から受信した前記位置情報と前記向きの情報を用いて特定される各ＮＡＭ会話参加者から見たＮＡＭ発言者の現在の方位と前記ＮＡＭ発言者の音声基本周波数とに基いて、各ＮＡＭ会話参加者に対する前記ＮＡＭ発言者の割り当て方位と前記ＮＡＭ発言者の割り当て基本周波数を定め、前記割り当て方位と前記割り当て基本周波数とに基いて前記携帯端末装置から受信したＮＡＭの無声音声信号を処理する信号処理部と、処理した前記無声音声信号を前記携帯端末装置に送信する通信部と、を備える会話管理装置と、を有する。
本発明の他の一態様は、ＮＡＭ（Non Audible Murmur）を用いた複数人によるＮＡＭ会話を支援する会話管理装置が行うＮＡＭ会話支援方法である。当該方法では、
各ＮＡＭ会話参加者の現在の位置を示す位置情報と各ＮＡＭ会話参加者が現在向いている向きの情報とを各ＮＡＭ会話参加者が保持する携帯端末装置から受信し、
受信した前記位置情報と前記向きの情報を用いて特定される各ＮＡＭ会話参加者から見たＮＡＭ発言者の現在の方位と前記ＮＡＭ発言者の音声基本周波数とに基いて、各ＮＡＭ会話参加者に対する前記ＮＡＭ発言者の割り当て方位と前記ＮＡＭ発言者の割り当て基本周波数を定め、
前記割り当て方位と前記割り当て基本周波数とに基いてＮＡＭの無声音声信号を処理し、処理した前記無声音声信号を各ＮＡＭ会話参加者に送信する。
各ＮＡＭ会話参加者の現在の位置を示す位置情報と各ＮＡＭ会話参加者が現在向いている向きの情報とを各ＮＡＭ会話参加者が保持する携帯端末装置から受信し、
受信した前記位置情報と前記向きの情報を用いて特定される各ＮＡＭ会話参加者から見たＮＡＭ発言者の現在の方位と前記ＮＡＭ発言者の音声基本周波数とに基いて、各ＮＡＭ会話参加者に対する前記ＮＡＭ発言者の割り当て方位と前記ＮＡＭ発言者の割り当て基本周波数を定め、
前記割り当て方位と前記割り当て基本周波数とに基いてＮＡＭの無声音声信号を処理し、処理した前記無声音声信号を各ＮＡＭ会話参加者に送信する。
上述の態様のＮＡＭ会話支援システムおよびＮＡＭ会話支援方法は、ＮＡＭを用いた複数人によるＮＡＭ会話を支援する際、各ＮＡＭ会話参加者がＮＡＭ発言者によるＮＡＭの会話を聴くことによりＮＡＭ発言者を容易に識別することができる。
以下、本発明のＮＡＭ会話支援システムおよびＮＡＭ会話支援方法について説明する。
図１は、本実施形態のＮＡＭ会話支援システム１０の全体概要を説明する図である。
図１は、本実施形態のＮＡＭ会話支援システム１０の全体概要を説明する図である。
（ＮＡＭ会話支援システム）
図１に示すＮＡＭ会話支援システム１０は、ＮＡＭ会話参加者Ａ〜Ｅがばらばらの向きを向いてＮＡＭ会話をする場合の例を示している。ＮＡＭ会話参加者Ａ〜Ｅのいずれも、ＮＡＭで発言すればＮＡＭ発言者となり得る。
ＮＡＭ会話参加者Ａ〜Ｅは、携帯端末装置１２ａ〜１２ｅを携帯する。各携帯端末装置１２ａ〜１２ｅは、音声入出力デバイスとして、マイクおよびヘッドフォンを一体化したヘッドセットを有し、ＮＡＭ会話参加者Ａ〜Ｅは上記ヘッドセットを装着する。携帯端末装置１２ａ〜１２ｅは、各ＮＡＭ会話参加者Ａ〜Ｅの現在の位置を示す位置情報と各ＮＡＭ会話参加者Ａ〜Ｅが現在向いている向きの情報とをセンサにより取得し、ＮＡＭ会話管理サーバ１４に送信する。ＮＡＭ会話管理サーバ１４は、各ＮＡＭ会話参加者Ａ〜Ｅから見たＮＡＭ発言者の現在の方位を、受信した位置情報と向きの情報を用いて特定し、特定したＮＡＭ発言者の現在の方位とＮＡＭ発言者の音声基本周波数とに基いて、割り当て方位と割り当て基本周波数を定める。この割り当て方位および割り当て基本周波数を用いて、ＮＡＭ発言者の無声音声信号を処理して、各ＮＡＭ会話参加者Ａ〜Ｅに送信する。携帯端末装置１２ａ〜１２ｅおよびＮＡＭ会話管理サーバ１４は、音声信号としてステレオ信号等の多チャンネル信号を用いる。
図１に示すＮＡＭ会話支援システム１０は、ＮＡＭ会話参加者Ａ〜Ｅがばらばらの向きを向いてＮＡＭ会話をする場合の例を示している。ＮＡＭ会話参加者Ａ〜Ｅのいずれも、ＮＡＭで発言すればＮＡＭ発言者となり得る。
ＮＡＭ会話参加者Ａ〜Ｅは、携帯端末装置１２ａ〜１２ｅを携帯する。各携帯端末装置１２ａ〜１２ｅは、音声入出力デバイスとして、マイクおよびヘッドフォンを一体化したヘッドセットを有し、ＮＡＭ会話参加者Ａ〜Ｅは上記ヘッドセットを装着する。携帯端末装置１２ａ〜１２ｅは、各ＮＡＭ会話参加者Ａ〜Ｅの現在の位置を示す位置情報と各ＮＡＭ会話参加者Ａ〜Ｅが現在向いている向きの情報とをセンサにより取得し、ＮＡＭ会話管理サーバ１４に送信する。ＮＡＭ会話管理サーバ１４は、各ＮＡＭ会話参加者Ａ〜Ｅから見たＮＡＭ発言者の現在の方位を、受信した位置情報と向きの情報を用いて特定し、特定したＮＡＭ発言者の現在の方位とＮＡＭ発言者の音声基本周波数とに基いて、割り当て方位と割り当て基本周波数を定める。この割り当て方位および割り当て基本周波数を用いて、ＮＡＭ発言者の無声音声信号を処理して、各ＮＡＭ会話参加者Ａ〜Ｅに送信する。携帯端末装置１２ａ〜１２ｅおよびＮＡＭ会話管理サーバ１４は、音声信号としてステレオ信号等の多チャンネル信号を用いる。
このため、ＮＡＭ会話において、識別が困難な無声音声であっても、割り当て基本周波数に合わせて無声音声の基本周波数を変換処理し、かつ、多チャンネル信号である無声音声信号を割り当て方位に合わせて信号処理するので、各ＮＡＭ会話参加者Ａ〜Ｅは、無声音声の基本周波数とＮＡＭ発言者のＮＡＭの聞こえる方位から、ＮＡＭ発言者を識別することができる。以下、携帯端末装置１２ａ〜１２ｅおよびＮＡＭ会話管理サーバ１４について説明する。
（携帯端末装置）
図２は、携帯端末装置１２ａとＮＡＭ管理サーバ１４の構成を示す図である。携帯端末装置１２ａ〜１２ｅはいずれも同じ構造を有するので、以降、携帯端末装置１２ａを携帯端末装置１２ａ〜１２ｅの代表として説明する。また、携帯端末装置１２ａ〜１２ｅを総称して説明するとき、携帯端末装置１２と称する。
携帯端末装置１２は、音声入出力デバイスであるヘッドセット１６と、計測部１８と、Lombard検出部２０と、通信部２２と、を有する。
ヘッドセット１６は、スピーカを通してＮＡＭ会話を聴くことができるヘッドフォン１６ａと、ＮＡＭの無声音声を収音することができる無声音声用マイクおよび通常の有声音声を収音する有声音声用マイクを含むマイク１６ｂを有する。
無声音声用マイクは、例えば、WO2004/021738 A1に記載されているマイクロフォンが例示される。具体的には、頭蓋骨の耳介の後下方部の乳様突起直下の体表に、聴診器型マイクが無声音声用マイクとして装着される。聴診器型マイクは、体表に粘着する粘着面を有する振動板と、この振動板に吸着盤を介して固定されたコンデンサマイクとを備える。
ＮＡＭ発言者が声帯の規則振動を用いずにＮＡＭを発するとき、ＮＡＭは、舌、口唇、顎、軟口蓋などの調音器官の発話運動により調音されるとともに肉等の体内軟部組織を伝導する振動音として乳様突起直下の体表に到達する。無声音声用マイクはこの振動音を収音する。
ヘッドフォン１６ａは、有声音声のほか、略１００〜３００Ｈｚ等の基本周波数を有するささやき音を再生する。
マイク１６ｂで得られた有声音声信号、無声音声信号は、通信部２２へ送られる。ヘッドフォン１６ａは、ＮＡＭ管理サーバ１４から送信されるＮＡＭ会話信号を音声化し再生する。
図２は、携帯端末装置１２ａとＮＡＭ管理サーバ１４の構成を示す図である。携帯端末装置１２ａ〜１２ｅはいずれも同じ構造を有するので、以降、携帯端末装置１２ａを携帯端末装置１２ａ〜１２ｅの代表として説明する。また、携帯端末装置１２ａ〜１２ｅを総称して説明するとき、携帯端末装置１２と称する。
携帯端末装置１２は、音声入出力デバイスであるヘッドセット１６と、計測部１８と、Lombard検出部２０と、通信部２２と、を有する。
ヘッドセット１６は、スピーカを通してＮＡＭ会話を聴くことができるヘッドフォン１６ａと、ＮＡＭの無声音声を収音することができる無声音声用マイクおよび通常の有声音声を収音する有声音声用マイクを含むマイク１６ｂを有する。
無声音声用マイクは、例えば、WO2004/021738 A1に記載されているマイクロフォンが例示される。具体的には、頭蓋骨の耳介の後下方部の乳様突起直下の体表に、聴診器型マイクが無声音声用マイクとして装着される。聴診器型マイクは、体表に粘着する粘着面を有する振動板と、この振動板に吸着盤を介して固定されたコンデンサマイクとを備える。
ＮＡＭ発言者が声帯の規則振動を用いずにＮＡＭを発するとき、ＮＡＭは、舌、口唇、顎、軟口蓋などの調音器官の発話運動により調音されるとともに肉等の体内軟部組織を伝導する振動音として乳様突起直下の体表に到達する。無声音声用マイクはこの振動音を収音する。
ヘッドフォン１６ａは、有声音声のほか、略１００〜３００Ｈｚ等の基本周波数を有するささやき音を再生する。
マイク１６ｂで得られた有声音声信号、無声音声信号は、通信部２２へ送られる。ヘッドフォン１６ａは、ＮＡＭ管理サーバ１４から送信されるＮＡＭ会話信号を音声化し再生する。
計測部１８は、各ＮＡＭ会話参加者Ａ〜Ｅの現在の位置を示す位置情報を取得するＧＰＳ（Global Positioning System）位置センサ１８ａと、各ＮＡＭ会話参加者Ａ〜Ｅが現在向いている向きの情報を取得する方位センサ１８ｂを有する。計測部１８で得られた位置情報および向きの情報は、通信部２２へ送られ、ＮＡＭ管理サーバ１４へ送信される。
各ＮＡＭ会話参加者Ａ〜Ｅの位置情報および向きの情報をＮＡＭ管理サーバ１４に送信するのは、ＮＡＭ管理サーバ１４において、各ＮＡＭ会話参加者Ａ〜Ｅから見たＮＡＭ発言者の現在の方位を特定するためである。
各ＮＡＭ会話参加者Ａ〜Ｅの位置情報および向きの情報をＮＡＭ管理サーバ１４に送信するのは、ＮＡＭ管理サーバ１４において、各ＮＡＭ会話参加者Ａ〜Ｅから見たＮＡＭ発言者の現在の方位を特定するためである。
Lombard検出部２０は、マイク１６ｂで発した音声に有声音声が含まれるか否かを検出する。Lombard検出部２０は、例えば、有声音声に含まれるが無声音声に含まれない所定の周波数帯域(フォルマントに相当する周波数帯域)の音声信号のパワー値を調べることにより、ＮＡＭ発言者の音声に有声音声が含まれるか否かを検出する。検出結果は、通信部２２へ送られる。
通信部２２は、ヘッドセット１６、計測部１８、およびLombard検出部２０から送られた信号や情報を無線通信により、ＮＡＭ管理サーバ１４に送信し、また、ＮＡＭ管理サーバ１４から送信された信号を受信する。図２は、通信部２２を機能的に示している。すなわち、通信部２２は、有声音声送信部２２ａと、ＮＡＭ送信部２２ｂと、Lombard送信部２２ｃと、位置・方位送信部２２ｄと、音声信号受信部２２ｅと、を有する。
有声音声送信部２２ａは、マイク１６ｂの有声音声マイクで得られた有声音声信号を送信するように、送信信号を生成する。ＮＡＭ送信部２２ｂは、マイク１６ｂの無声音声マイクで得られた無声音声信号を送信するように、送信信号を生成する。Lombard送信部２２ｃは、Lombard検出部２０で得られた検出結果の情報を送信するように、送信信号を生成する。位置・方位送信部２２ｄは、計測部１８で得られた情報を送信するように、送信信号を生成する。音声信号受信部２２ｅは、ＮＡＭ管理サーバ１４から送信された送信信号を受信して、音声信号を生成する。通信部２２は図示されない送信機および受信機を有する。図示されない送信機は、各送信部で生成された送信信号をＮＡＭ会話管理サーバ１４に送信する。図示されない受信機はＮＡＭ会話管理サーバ１４から送信された信号を受信する。
（ＮＡＭ会話管理サーバ）
ＮＡＭ会話管理サーバ１４は、携帯端末装置１２から送信される各種情報および有声音声信号および無声音声信号を処理して、携帯端末装置１２に送信する。
ＮＡＭ会話管理サーバ１４は、通信部３０と、信号処理部３２とを有する。ＮＡＭ会話管理サーバ１４は、図示されないＣＰＵ、ＲＡＭ、ＲＯＭ、記憶部を有するコンピュータであり、ＣＰＵ、ＲＡＭ、ＲＯＭ、記憶部はバスでお互いに接続されている。
信号処理部３２のうち、後述する基本周波数算出部３２ａと、周波数・方位割り当て部３２ｃと、ささやき声変換部３２ｄと、音声ミキシング部３２ｅは、ＲＯＭあるいは記憶部に記憶されているプログラムを読み出して実行することにより生成されるソフトウェアモジュールである。すなわち、図示されないＣＰＵが基本周波数算出部３２ａ、周波数・方位割り当て部３２ｃ、ささやき声変換部３２ｄ、及び音声ミキシング部３２ｅの各機能を担う。
通信部３０は、有声音声受信部３０ａと、ＮＡＭ受信部３０ｂと、Lombard受信部３０ｃと、位置・方位受信部３０ｄと、音声信号送信部３０ｅと、を有する。
ＮＡＭ会話管理サーバ１４は、携帯端末装置１２から送信される各種情報および有声音声信号および無声音声信号を処理して、携帯端末装置１２に送信する。
ＮＡＭ会話管理サーバ１４は、通信部３０と、信号処理部３２とを有する。ＮＡＭ会話管理サーバ１４は、図示されないＣＰＵ、ＲＡＭ、ＲＯＭ、記憶部を有するコンピュータであり、ＣＰＵ、ＲＡＭ、ＲＯＭ、記憶部はバスでお互いに接続されている。
信号処理部３２のうち、後述する基本周波数算出部３２ａと、周波数・方位割り当て部３２ｃと、ささやき声変換部３２ｄと、音声ミキシング部３２ｅは、ＲＯＭあるいは記憶部に記憶されているプログラムを読み出して実行することにより生成されるソフトウェアモジュールである。すなわち、図示されないＣＰＵが基本周波数算出部３２ａ、周波数・方位割り当て部３２ｃ、ささやき声変換部３２ｄ、及び音声ミキシング部３２ｅの各機能を担う。
通信部３０は、有声音声受信部３０ａと、ＮＡＭ受信部３０ｂと、Lombard受信部３０ｃと、位置・方位受信部３０ｄと、音声信号送信部３０ｅと、を有する。
有声音声受信部３０ａは、受信した送信信号から有声音声信号を取り出す。ＮＡＭ受信部３０ｂは、受信した送信信号から無声音声信号を取り出す。Lombard受信部３０ｃは、Lombard検出部２０で得られた検出結果の情報を送信信号から取り出す。位置・方位受信部３０ｄは、送信信号から計測部１８で得られた情報を取り出す。音声信号送信部３０ｅは、各携帯端末装置１２ａ〜１２ｅから送信され、信号処理およびミキシングされた音声信号を各携帯端末装置１２ａ〜１２ｅに送信するように、送信信号を生成する。通信部３０は図示されない送信機および受信機を有する。図示されない受信機は各携帯端末装置１２ａ〜１２ｅから送信された信号を受信する。図示されない送信機は、音声信号送信部３０ｅで生成された送信信号を各携帯端末装置１２ａ〜１２ｅに送信する。
信号処理部３２は、基本周波数算出部３２ａと、データベース３２ｂと、周波数・方位割り当て部３２ｃと、ささやき声変換部３２ｄと、音声ミキシング部３２ｅと、を有する。
基本周波数算出部３２ａは、有声音声受信部３０ａで生成される有声音声信号を周波数解析することにより、ＮＡＭ発言者の音声の基本周波数を算出する。有声音声は、基本周波数と、倍音等の基本周波数に調和した周波数とを有する。有声音声の基本周波数は、ＮＡＭの無声音声の音声基本周波数とも一致する。すなわち、ＮＡＭ発言者の有声音声を予め周波数解析をすることによりＮＡＭの基本周波数を取得することができる。このため、基本周波数算出部３２は、ＮＡＭ会話に参加する各ＮＡＭ会話参加者の音声の基本周波数、すなわち音声基本周波数を事前に算出し、この音声基本周波数をＮＡＭ発言時の音声基本周波数として、携帯端末装置１２の識別情報と共にデータベース３２ｂに記録する。なお、ＮＡＭ会話管理サーバ１４であるコンピュータの図示されない記憶部の一部がデータベース３２ｂとして利用される。
基本周波数算出部３２ａは、有声音声受信部３０ａで生成される有声音声信号を周波数解析することにより、ＮＡＭ発言者の音声の基本周波数を算出する。有声音声は、基本周波数と、倍音等の基本周波数に調和した周波数とを有する。有声音声の基本周波数は、ＮＡＭの無声音声の音声基本周波数とも一致する。すなわち、ＮＡＭ発言者の有声音声を予め周波数解析をすることによりＮＡＭの基本周波数を取得することができる。このため、基本周波数算出部３２は、ＮＡＭ会話に参加する各ＮＡＭ会話参加者の音声の基本周波数、すなわち音声基本周波数を事前に算出し、この音声基本周波数をＮＡＭ発言時の音声基本周波数として、携帯端末装置１２の識別情報と共にデータベース３２ｂに記録する。なお、ＮＡＭ会話管理サーバ１４であるコンピュータの図示されない記憶部の一部がデータベース３２ｂとして利用される。
周波数・方位割り当て部３２ｃは、ＮＡＭ受信部３０ｃにおいてＮＡＭの無声音声信号を受信すると、ＮＡＭ発言者の音声基本周波数をデータベース３２ｂから取り出す。このとき、さらに、周波数・方位割り当て部３２ｃは、携帯端末装置１２から受信した各ＮＡＭ会話参加者Ａ〜Ｅの位置情報と向きの情報を用いて各ＮＡＭ会話参加者Ａ〜Ｅから見たＮＡＭ発言者の現在の方位をそれぞれ特定する。周波数・方位割り当て部３２ｃは、各ＮＡＭ会話参加者Ａ〜Ｅの位置情報と向きの情報を得ているので、各発言者の現在の方位を容易に特定することができる。また、周波数・方位割り当て部３２ｃは、受信したＮＡＭによる無声音声がどの携帯端末装置から送信されたものであるかわかるので、携帯端末装置の識別情報からデータベース３２ｂに記録されている音声基本周波数を取り出すことができる。
このとき、ＮＡＭ発言者に対して、後述する割り当て方位および割り当て基本周波数がすでに設定されており、さらに、割り当て方位および割り当て基本周波数が変更されない場合、以下の処理は行われず、ささやき声変換部３２ｄおよび音声ミキシング部３２ｅにおいて、設定されている割り当て方位および割り当て基本周波数がそのまま用いられる。一方、割り当て方位および割り当て基本周波数が設定されていない場合、あるいは、割り当て方位および割り当て基本周波数が変更される場合、周波数・方位割り当て部３２ｃは、後述する割り当て方位および割り当て基本周波数の設定を行う。割り当て方位および割り当て基本周波数が設定されていない場合とは、ＮＡＭ会話に参加して初めて発言した場合や、ＮＡＭ会話に参加しているが、一定期間内の発言が少なく、割り当て方位および割り当て基本周波数が取り消された場合等であり、割り当て方位および割り当て基本周波数が変更される場合とは、ＮＡＭ発言者あるいはＮＡＭ会話参加者がＮＡＭ会話中に移動して方位等が変化した場合である。
このとき、ＮＡＭ発言者に対して、後述する割り当て方位および割り当て基本周波数がすでに設定されており、さらに、割り当て方位および割り当て基本周波数が変更されない場合、以下の処理は行われず、ささやき声変換部３２ｄおよび音声ミキシング部３２ｅにおいて、設定されている割り当て方位および割り当て基本周波数がそのまま用いられる。一方、割り当て方位および割り当て基本周波数が設定されていない場合、あるいは、割り当て方位および割り当て基本周波数が変更される場合、周波数・方位割り当て部３２ｃは、後述する割り当て方位および割り当て基本周波数の設定を行う。割り当て方位および割り当て基本周波数が設定されていない場合とは、ＮＡＭ会話に参加して初めて発言した場合や、ＮＡＭ会話に参加しているが、一定期間内の発言が少なく、割り当て方位および割り当て基本周波数が取り消された場合等であり、割り当て方位および割り当て基本周波数が変更される場合とは、ＮＡＭ発言者あるいはＮＡＭ会話参加者がＮＡＭ会話中に移動して方位等が変化した場合である。
周波数・方位割り当て部３２ｃは、割り当て方位および割り当て基本周波数の設定を行う場合、あるいは、割り当て方位および割り当て基本周波数を変更する場合、周波数・方位割り当て部３２ｃは、音声基本周波数と特定した現在の方位に基いて各ＮＡＭ会話参加者に対するＮＡＭ発言者の割り当て方位とＮＡＭ発言者の割り当て基本周波数を定める。具体的には、周波数・方位割り当て部３２ｃは、予め設定された数で３６０度の方位を分割した分割方位と、所定の周波数範囲、例えば１００〜１６０Ｈｚの範囲を予め設定された数で分割した分割周波数を組とした複数のブロックから、ＮＡＭ発言者同士で重複したブロックが割り当てられないようにＮＡＭ発言者に１つのブロックを割り当てる。その際、ＮＡＭ発言者の現在の方位とＮＡＭ発言者の音声基本周波数を用いてブロックをＮＡＭ発言者に割り当てる。上記割り当て方位および割り当て基本周波数の設定については後述する。
ささやき声変換部３２ｄは、割り当て基本周波数がＮＡＭの音声基本周波数となるように音声信号の周波数を変換し、さらに、つぶやき声であるＮＡＭがささやき声に相当する音声になるように信号レベルを増大する。音声信号の周波数の変換は、周知の変換処理が用いられる。変換処理として、例えば、河原等によるＳＴＲＡＩＧＨＴ（河原他、信学技法、ＥＡ９６−２８、１９９６）が例示される。
音声ミキシング部３２ｅは、周波数・方位割り当て部３２ｃで定められたＮＡＭ発言者の割り当て方位を用いて、各ＮＡＭ会話参加者からみて、ＮＡＭが視覚に略一致する方向から無声音声が聴こえるように、ＮＡＭの無声音声信号のミキシング処理を行う。音声信号は、ステレオ信号等の多チャンネル信号であるので、音声ミキシング部３２ｅでは、各ＮＡＭ会話参加者から見た割り当て方位に従って音声信号が処理される。さらに、音声ミキシング部３２ｅでは、複数のＮＡＭ発言者が同時に発言するとき、複数の音声信号がミキシングされる。音声ミキシング部３２ｅは、ミキシングされた音声信号を音声信号送信部３０ｅに送る。
音声ミキシング部３２ｅは、周波数・方位割り当て部３２ｃで定められたＮＡＭ発言者の割り当て方位を用いて、各ＮＡＭ会話参加者からみて、ＮＡＭが視覚に略一致する方向から無声音声が聴こえるように、ＮＡＭの無声音声信号のミキシング処理を行う。音声信号は、ステレオ信号等の多チャンネル信号であるので、音声ミキシング部３２ｅでは、各ＮＡＭ会話参加者から見た割り当て方位に従って音声信号が処理される。さらに、音声ミキシング部３２ｅでは、複数のＮＡＭ発言者が同時に発言するとき、複数の音声信号がミキシングされる。音声ミキシング部３２ｅは、ミキシングされた音声信号を音声信号送信部３０ｅに送る。
ＮＡＭ発言者はＮＡＭ会話中、場合によっては有声音声を発する。この場合、Lombard受信部３０ｃはLombard検出部２０で行われた検出結果の情報を得、この情報が音声ミキシング部３２ｅに送られる。音声ミキシング部３２ｅは、ＮＡＭ発言者の音声が有声音声である旨の検出結果を得ると、ＮＡＭによる無声音声の会話を支援する無声音声モードから有声音声による会話を支援する有声音声モードに切り替わる。具体的には、音声ミキシング部３２ｅは、ＮＡＭ会話中の別の無声音声信号を遮断して、有声音声受信部３０ａから送られる有声音声信号を、音声信号送信部３０ｅを通して各携帯端末装置１２ａ〜１２ｅに送信する。すなわち、あるＮＡＭ発言者の発言のときマイク１６ｂが有声音声を収音したとき、ＮＡＭ会話管理サーバ１４は、ＮＡＭ会話中の無声音声信号を遮断して、有声音声信号を、通信装置３０を通して携帯端末装置１２ａ〜１２ｅに送信する。
有声音声モードは、ＮＡＭ発言者が一定時間、例えば１０秒間有声音声が検出されない場合、自動的に無声音声モードに戻る。
本実施形態のＮＡＭ会話支援システムは、ＮＡＭ会話参加者が有声音声を発したとき、自動的に、無声音声モードから有声音声モードに切り替わるが、有声音声モードを有させず、無声音声モードのみで支援を行うものであってもよい。
有声音声モードは、ＮＡＭ発言者が一定時間、例えば１０秒間有声音声が検出されない場合、自動的に無声音声モードに戻る。
本実施形態のＮＡＭ会話支援システムは、ＮＡＭ会話参加者が有声音声を発したとき、自動的に、無声音声モードから有声音声モードに切り替わるが、有声音声モードを有させず、無声音声モードのみで支援を行うものであってもよい。
（周波数、方位の割り当て）
図３〜５は、上述した周波数・方位割り当て部３２ｃが行う方位と基本周波数の割り当ての一例を説明する図である。
図３に示す例では、周波数・方位割り当て部３２ｃは、３６０度の方位を８分割し、各ＮＡＭ会話参加者Ａ〜Ｅから見て北、北東、東、南東、南等に４５度ずつの８つの分割方位を定める。また、周波数・方位割り当て部３２ｃは、割り当て基本周波数として、１００〜１６０Ｈｚの周波数範囲を６分割し、１５０Ｈｚ以上、１４０〜１５０Ｈｚ、１３０〜１４０Ｈｚ、・・・、１１０Ｈｚ未満の６つの分割周波数の帯域を定める。図３は、ＮＡＭ会話参加者が男性の場合の割り当ての例である。図４は、ＮＡＭ会話参加者が女性の場合の分割方位と分割周波数の割り当ての例である。女性の場合、割り当て基本周波数は、２２０Ｈｚ未満、２２０〜２３０Ｈｚ、２３０〜２４０Ｈｚ、・・・、２７０Ｈｚ以上の７分割の分割周波数の帯域に設定されている。各ＮＡＭ会話参加者に割り当て基本周波数を設定する場合、分割周波数として、各ＮＡＭ会話参加者の基本周波数に±１０Ｈｚ、±２０Ｈｚ、…加算した値を割り当てる。例えば、ＮＡＭ会話参加者の基本周波数が１３２Ｈｚであり、割り当てようとする分割周波数は、１４０〜１５０Ｈｚの帯域の周波数である場合、１４２Ｈｚとする。また、１５０Ｈｚ以上や１１０Ｈｚ未満の帯域でも同様に１５２Ｈｚや１０２Ｈｚとする。方位においても例えば、ＮＡＭ会話参加者の方位に±４５°、±９０°、…といった値を割り当て方位とする。
図３〜５は、上述した周波数・方位割り当て部３２ｃが行う方位と基本周波数の割り当ての一例を説明する図である。
図３に示す例では、周波数・方位割り当て部３２ｃは、３６０度の方位を８分割し、各ＮＡＭ会話参加者Ａ〜Ｅから見て北、北東、東、南東、南等に４５度ずつの８つの分割方位を定める。また、周波数・方位割り当て部３２ｃは、割り当て基本周波数として、１００〜１６０Ｈｚの周波数範囲を６分割し、１５０Ｈｚ以上、１４０〜１５０Ｈｚ、１３０〜１４０Ｈｚ、・・・、１１０Ｈｚ未満の６つの分割周波数の帯域を定める。図３は、ＮＡＭ会話参加者が男性の場合の割り当ての例である。図４は、ＮＡＭ会話参加者が女性の場合の分割方位と分割周波数の割り当ての例である。女性の場合、割り当て基本周波数は、２２０Ｈｚ未満、２２０〜２３０Ｈｚ、２３０〜２４０Ｈｚ、・・・、２７０Ｈｚ以上の７分割の分割周波数の帯域に設定されている。各ＮＡＭ会話参加者に割り当て基本周波数を設定する場合、分割周波数として、各ＮＡＭ会話参加者の基本周波数に±１０Ｈｚ、±２０Ｈｚ、…加算した値を割り当てる。例えば、ＮＡＭ会話参加者の基本周波数が１３２Ｈｚであり、割り当てようとする分割周波数は、１４０〜１５０Ｈｚの帯域の周波数である場合、１４２Ｈｚとする。また、１５０Ｈｚ以上や１１０Ｈｚ未満の帯域でも同様に１５２Ｈｚや１０２Ｈｚとする。方位においても例えば、ＮＡＭ会話参加者の方位に±４５°、±９０°、…といった値を割り当て方位とする。
周波数・方位割り当て部３２ｃは、図３に示す例では、分割方位と分割周波数を組とした４８個（＝８個×６個）のブロックから、ＮＡＭ発言者同士で重複したブロックが割り当てられないように各ＮＡＭ発言者に１つのブロックを割り当てる。したがって、図３、図４に示す例では、割り当て方位が異なる条件で、同じ割り当て基本周波数を８人のＮＡＭ発言者に割り当てることができる。その際、各ＮＡＭ発言者の現在の方位と各ＮＡＭ発言者の音声基本周波数を用いてブロックを各ＮＡＭ発言者に割り当てる。
図５は、図３に示す例を用いて割り当てを説明する図である。割り当てでは、割り当ての優先順位を用いて行われる。具体的には、周波数・方位割り当て部３２ｃは、過去の一定時間、例えば過去３分間に発言した回数又は時間の多いＮＡＭ発言者の順に優先順位を定め、この優先順位に従って、ＮＡＭ発言者に対して割り当て方位および割り当て基本周波数を定める。割り当ての優先順位の設定は、上記発言した回数又は時間によるものの他、ＮＡＭ会話の開始前にＮＡＭ会話参加者の優先順位を打ち合わせにより定めてもよいし、ＮＡＭ会話の開始直後にＮＡＭで発言した順番に優先順位を定めてもよい。
図５に示す例では、１４０〜１５０Ｈｚに１人、１３０〜１４０Ｈｚに１人、１２０〜１３０Ｈｚに２人、１１０〜１２０Ｈｚに、８人割り当てられている状態が示されている。このような割り当ての情報は、ＮＡＭ発言者にブロックを割り当てようとするとき、優先して調べられる。すなわち、ＮＡＭ発言者にブロックを割り当てるとき、周波数・方位割り当て部３２ｃは、図６に示すＮＡＭ発言者の音声基本周波数に対応する分割周波数の欄の「割り当て数」を調べ、「割り当て数」が８未満である場合、この分割周波数の欄の、ＮＡＭ発言者の現在の方位に対応するブロックがすでに割り当てられているか否かを調べる。このブロックが割り当てられていなければ、このブロックを上記ＮＡＭ発言者に割り当てる。一方、上記ブロックが別のＮＡＭ発言者にすでに割り当てられている場合、周波数・方位割り当て部３２ｃは、割り当てられていない隣接ブロックを探す。
図５に示す例では、１４０〜１５０Ｈｚに１人、１３０〜１４０Ｈｚに１人、１２０〜１３０Ｈｚに２人、１１０〜１２０Ｈｚに、８人割り当てられている状態が示されている。このような割り当ての情報は、ＮＡＭ発言者にブロックを割り当てようとするとき、優先して調べられる。すなわち、ＮＡＭ発言者にブロックを割り当てるとき、周波数・方位割り当て部３２ｃは、図６に示すＮＡＭ発言者の音声基本周波数に対応する分割周波数の欄の「割り当て数」を調べ、「割り当て数」が８未満である場合、この分割周波数の欄の、ＮＡＭ発言者の現在の方位に対応するブロックがすでに割り当てられているか否かを調べる。このブロックが割り当てられていなければ、このブロックを上記ＮＡＭ発言者に割り当てる。一方、上記ブロックが別のＮＡＭ発言者にすでに割り当てられている場合、周波数・方位割り当て部３２ｃは、割り当てられていない隣接ブロックを探す。
例えば、１２０〜１３０Ｈｚの範囲に音声基本周波数を有し、あるＮＡＭ会話参加者から見て南東の方位に現在位置するＮＡＭ発言者Ａが発言して、図３に示すように、１２０〜１３０Ｈｚの分割周波数と南東の分割方位のブロックＸに割り当てられている状態を想定する。このとき、１２０〜１３０Ｈｚの音声基本周波数を有し、ＮＡＭ会話参加者から見て南東の方位に位置するＮＡＭ発言者Ｂが発言したとき、すでにブロックＸにＮＡＭ発言者Ａが割り当てられているので、周波数・方位割り当て部３２ｃは、割り当てようとするブロックＸの分割周波数または分割方位が隣接する隣接分割周波数または隣接分割方位を有する隣接ブロックＹ1〜Ｙ4の中から割り当てる。ＮＡＭ会話参加者は、ＮＡＭ発言者の音声基本周波数でＮＡＭ発言者を容易に識別することができるので、周波数・方位割り当て部３２ｃは、音声基本周波数を変えないことを優先して、方位を隣接分割方位に変えることが好ましい。すなわち、図３の例では、周波数・方位割り当て部３２ｃは、ブロックＹ1またはＹ4に割り当てることが好ましい。ブロックＹ1及びＹ4が既に別のＮＡＭ発言者に割り当てられているとき、方位を変えずに、ブロックＹ2及びＹ3のいずれか一方が割り当てられる。ブロックＹ1〜Ｙ4のすべてが既に割り当てられている場合、ＮＡＭ発言者Ｂに比べて優先順位が低く、さらに、４つのブロックＹ1〜Ｙ4が割り当てられている４人のＮＡＭ発言者のうち優先順位の最も低いＮＡＭ発言者に割り当てられているブロックに強制的に割り当てられる。このとき、周波数・方位割り当て部３２ｃは、優先順位の低いＮＡＭ発言者の割り当てが取り消されたブロックの隣接ブロックが割り当て可能であれば、この隣接ブロックを割り当てが取り消されたＮＡＭ発言者に割り当ててもよい。図５に示す例では、ブロックＺに割り当てられていたＮＡＭ発言者Ｃが取り消され、ＮＡＭ発言者Ｂ4に割り当てられていることを示す。
また、周波数・方位割り当て部３２ｃは、過去の一定時間、例えば１０分間、発言をしなかったＮＡＭ発言者Ｇに割り当てられているブロックを開放する。しかし、この場合、周波数・方位割り当て部３２ｃは、分割周波数の「割り当て数」を８のまま維持してもよい。これは、発言をしなかったＮＡＭ発言者Ｇが急に発言を再開したとき、開放されたブロックの割り当てを可能にするためである。このとき、優先順位がＮＡＭ発言者Ｇより高いＮＡＭ発言者Ｈが発言し、周波数・方位割り当て部３２ｃが、ＮＡＭ発言者Ｇに割り当てていた上記ブロックをＮＡＭ発言者Ｈに割り当てようとする場合、図５中のブロックαに示されるように、ブロックαをＮＡＭ発言者Ｇの代わりにＮＡＭ発言者Ｈに割り当ててもよい。このとき、周波数・方位割り当て部３２ｃは、ブロックαに隣接する隣接ブロックβが割り当て可能であれば、隣接ブロックβをＮＡＭ発言者Ｇに割り当ててもよい。
周波数・方位割り当て部３２ｃは、図６に示すように、ＮＡＭ発言者Ｄにブロックを割り当てるとき、割り当て基本周波数が同じＮＡＭ発言者Ａと同じ方位にならず、割り当て方位が同じＮＡＭ発言者Ｃと割り当て基本周波数が同じにならないようなブロックを１つ定める。
このようなブロックの割り当ては、ブロックが割り当てられていないＮＡＭ発言者に対して行われるだけでなく、ＮＡＭ発言者が異なる方位に移動する場合にもブロックの割り当てが行われる。この場合、設定されていた割り当て方位が新しい割り当て方位に変更されることになる。
このようなブロックの割り当ては、ブロックが割り当てられていないＮＡＭ発言者に対して行われるだけでなく、ＮＡＭ発言者が異なる方位に移動する場合にもブロックの割り当てが行われる。この場合、設定されていた割り当て方位が新しい割り当て方位に変更されることになる。
図３〜図６に示すような割り当て基本周波数および割り当て方位の設定は、ＮＡＭ発言者が各ＮＡＭ会話参加者からみて遠くに位置する場合に行われることが好ましい。遠くに位置するとは、ＮＡＭ発言者が各ＮＡＭ会話参加者からみて予め定められた距離以上離間して位置することをいう。
また、周波数・方位割り当て部３２ｃは、各ＮＡＭ会話参加者から見てＮＡＭ発言者が近くに位置する場合、このＮＡＭ発言者に対して、このＮＡＭ発言者の現在の方位と音声基本周波数を割り当て方位および割り当て基本周波数として設定する、ことが好ましい。近くに位置するとは、各ＮＡＭ会話参加者から見てＮＡＭ発言者が所定の距離範囲内に位置することをいう。この場合、割り当て基本周波数および割り当て方位が他のＮＡＭ発言者と重なってもよい。割り当て基本周波数および割り当て方位が他のＮＡＭ発言者と重なっても、各ＮＡＭ会話参加者から見てＮＡＭ発言者が近くに位置するので、視覚によりＮＡＭ発言者の口の動きや顔の表情を見て、ＮＡＭ発言者を十分に識別することができる。
また、周波数・方位割り当て部３２ｃは、各ＮＡＭ会話参加者から見てＮＡＭ発言者が近くに位置する場合、このＮＡＭ発言者に対して、このＮＡＭ発言者の現在の方位と音声基本周波数を割り当て方位および割り当て基本周波数として設定する、ことが好ましい。近くに位置するとは、各ＮＡＭ会話参加者から見てＮＡＭ発言者が所定の距離範囲内に位置することをいう。この場合、割り当て基本周波数および割り当て方位が他のＮＡＭ発言者と重なってもよい。割り当て基本周波数および割り当て方位が他のＮＡＭ発言者と重なっても、各ＮＡＭ会話参加者から見てＮＡＭ発言者が近くに位置するので、視覚によりＮＡＭ発言者の口の動きや顔の表情を見て、ＮＡＭ発言者を十分に識別することができる。
図７は、ＮＡＭ発言者Ａが移動して、ＮＡＭ会話参加者Ｐに近づく状態を示している。割り当て基本周波数及び割り当て方位を図５に示すように定める方法は、図７では、ＮＡＭ発言者ＡがＮＡＭ会話参加者Ｐから予め定められた距離Ｌ1以上離間した範囲に位置する場合に用いられる。一方、ＮＡＭ発言者ＡがＮＡＭ会話参加者Ｐから所定の距離Ｌ2以内の範囲に位置する場合、周波数・方位割り当て部３２ｃは、ＮＡＭ発言者Ａの現在の方位を割り当て方位として定め、ＮＡＭ発言者Ａの音声基本周波数を割り当て基本周波数として定める。さらに、周波数・方位割り当て部３２ｃは、上記距離Ｌ1と上記距離Ｌ2との間では、ＮＡＭ発言者ＡとＮＡ会話参加者Ｐとの間の距離に応じて割り当て方位および割り当て基本周波数を修正することが好ましい。
例えば、ＮＡＭ会話参加者ＰからのＮＡＭ発言者Ａの距離をｘとしたとき、割り当て基本周波数をｆ（ｘ）および割り当て方位θ（ｘ）は、下記式（１）,（２）のように表される。
式（１）中のＦは音声基本周波数であり、Ｆ’は図３〜図６に示す方法により定められた割り当て基本周波数である。式（２）中のψは現在の方位であり、ψ’は、図３〜図６に示す方法により定められた割り当て方位である。距離Ｌ1は例えば１００ｍ、距離Ｌ2は例えば１０ｍである。
例えば、ＮＡＭ会話参加者ＰからのＮＡＭ発言者Ａの距離をｘとしたとき、割り当て基本周波数をｆ（ｘ）および割り当て方位θ（ｘ）は、下記式（１）,（２）のように表される。
式（１）中のＦは音声基本周波数であり、Ｆ’は図３〜図６に示す方法により定められた割り当て基本周波数である。式（２）中のψは現在の方位であり、ψ’は、図３〜図６に示す方法により定められた割り当て方位である。距離Ｌ1は例えば１００ｍ、距離Ｌ2は例えば１０ｍである。
このとき、周波数・方位割り当て部３２ｃは、割り当て方位または割り当て基本周波数が、ＮＡＭ会話参加者Ｐから見たＮＡＭ発言者Ａの現在の方位またはＮＡＭ発言者Ａの音声基本周波数に近づくように、一定の時間Ｔをかけて滑らかに修正することが好ましい。例えば、ＮＡＭ発言者が移動して移動先に行き着いたときの移動先における割り当て基本周波数をＦ’とし、移動元の割り当て基本周波数をＦとし、移動先における割り当て方位をψ’とし、移動元の割り当て方位をψとしたとき、下記式（３）,（４）に従って割り当て基本周波数ｆ（ｔ）および割り当て方位θ（ｔ）が表される。式（３）,（４）中のＴは例えば３秒である。ＮＡＭ会話参加者Ｐが複数のブロックを跨いで移動するとき、周波数・方位割り当て部３２ｃは、通過するブロック毎に割り当て方位と割り当て周波数をＦ’およびψ’として設定するとよい。
また、図８に示すように、ＮＡＭ発言者ＢがＮＡＭ会話参加者Ｐの周りを移動している場合、割り当て方位は、ＮＡＭ会話参加者Ｐから見たＮＡＭ発言者Ｂの現在の方位に応じて一定の時間をかけて滑らかに変化するように修正をすることが好ましい。このとき、上述したようにＮＡＭ発言者Ｂの移動によって割り当てようとするブロックが変わり、変わった先のブロックが既に別のＮＡＭ発言者に割り当てられている場合、周波数・方位割り当て部３２ｃは、変わった先のブロックに隣接する隣接ブロックを割り当ててもよい。このように、ＮＡＭ発言者Ｂが移動する場合、ＮＡＭ会話参加者ＰはＮＡＭ発言者Ｂの移動を音声によって聴き取ることができる。
（ＮＡＭ会話支援方法）
ＮＡＭ会話支援システム１０では、ＮＡＭ会話開始前のＮＡＭ会話参加者Ａ〜Ｅの音声が収音される。ＮＡＭ会話管理サーバ１４は、有声音声受信部３０ａを介して得られたＮＡＭ会話参加者Ａ〜Ｅの有声音声を用いて有声音声の基本周波数が基本周波数算出部３２で算出され、音声基本周波数としてデータベース３２ｂに記録される。
この後、ＮＡＭ会話が開始される。ＮＡＭ会話中、ＮＡＭ受信部３０ｂは、各ＮＡＭ会話参加者の現在の位置を示す位置情報と各ＮＡＭ会話参加者Ａ〜Ｅが現在向いている向きの情報とを各ＮＡＭ会話参加者Ａ〜Ｅが保持する携帯端末装置１２ａ〜１２ｅから継続的に受信する。
周波数・方位割り当て部３２ｃは、受信した位置情報と向きの情報を用いて特定される各ＮＡＭ会話参加者Ａ〜Ｅから見た各ＮＡＭ発言者の現在の方位と、各ＮＡＭ発言者の記録された音声基本周波数とに基いて、各ＮＡＭ会話参加者Ａ〜Ｅに対する各ＮＡＭ発言者の割り当て方位と各ＮＡＭ発言者の割り当て基本周波数を定める。図３〜５に示すような割り当て周波数と割り当て方位との設定は、各ＮＡＭ会話参加者から見て図７に示すような距離Ｌ1より遠い範囲に位置するＮＡＭ発言者に対して、行われる。ＮＡＭ発言者に対して、割り当て方位及び割り当て基本周波数の設定がすでに行われ、更に変更もされない場合、周波数・方位割り当て部３２ｃは、割り当てを行わない。各ＮＡＭ会話参加者から見て図７に示すような距離Ｌ2より近い範囲に位置するＮＡＭ発言者には、ＮＡＭ発言者の現在の方位とＮＡＭ発言者の音声基本周波数が割り当て方位および割り当て基本周波数として設定される。
ささやき声変換部３２ｄおよび音声ミキシング部３２ｅは、設定した割り当て方位と割り当て基本周波数とに基いてＮＡＭの無声音声信号の信号処理（信号レベルの増大、基本周波数の変換、およびミキシング）をする。音声信号送信部３０ｅは、処理した無声音声信号を各ＮＡＭ会話参加者Ａ〜Ｅに向けて送信する。
ＮＡＭ会話支援システム１０では、ＮＡＭ会話開始前のＮＡＭ会話参加者Ａ〜Ｅの音声が収音される。ＮＡＭ会話管理サーバ１４は、有声音声受信部３０ａを介して得られたＮＡＭ会話参加者Ａ〜Ｅの有声音声を用いて有声音声の基本周波数が基本周波数算出部３２で算出され、音声基本周波数としてデータベース３２ｂに記録される。
この後、ＮＡＭ会話が開始される。ＮＡＭ会話中、ＮＡＭ受信部３０ｂは、各ＮＡＭ会話参加者の現在の位置を示す位置情報と各ＮＡＭ会話参加者Ａ〜Ｅが現在向いている向きの情報とを各ＮＡＭ会話参加者Ａ〜Ｅが保持する携帯端末装置１２ａ〜１２ｅから継続的に受信する。
周波数・方位割り当て部３２ｃは、受信した位置情報と向きの情報を用いて特定される各ＮＡＭ会話参加者Ａ〜Ｅから見た各ＮＡＭ発言者の現在の方位と、各ＮＡＭ発言者の記録された音声基本周波数とに基いて、各ＮＡＭ会話参加者Ａ〜Ｅに対する各ＮＡＭ発言者の割り当て方位と各ＮＡＭ発言者の割り当て基本周波数を定める。図３〜５に示すような割り当て周波数と割り当て方位との設定は、各ＮＡＭ会話参加者から見て図７に示すような距離Ｌ1より遠い範囲に位置するＮＡＭ発言者に対して、行われる。ＮＡＭ発言者に対して、割り当て方位及び割り当て基本周波数の設定がすでに行われ、更に変更もされない場合、周波数・方位割り当て部３２ｃは、割り当てを行わない。各ＮＡＭ会話参加者から見て図７に示すような距離Ｌ2より近い範囲に位置するＮＡＭ発言者には、ＮＡＭ発言者の現在の方位とＮＡＭ発言者の音声基本周波数が割り当て方位および割り当て基本周波数として設定される。
ささやき声変換部３２ｄおよび音声ミキシング部３２ｅは、設定した割り当て方位と割り当て基本周波数とに基いてＮＡＭの無声音声信号の信号処理（信号レベルの増大、基本周波数の変換、およびミキシング）をする。音声信号送信部３０ｅは、処理した無声音声信号を各ＮＡＭ会話参加者Ａ〜Ｅに向けて送信する。
このように、ＮＡＭ会話支援方法では、各ＮＡＭ発言者の現在の方位と、各ＮＡＭ発言者の音声基本周波数とに基いて、各ＮＡＭ会話参加者Ａ〜Ｅに対する各ＮＡＭ発言者の割り当て方位と各ＮＡＭ発言者の割り当て基本周波数が定められ、定められた割り当て方位と割り当て基本周波数とに基いてＮＡＭの無声音声信号の信号処理が行われる。このため、各ＮＡＭ会話参加者がＮＡＭ発言者によるＮＡＭを変換したささやき声を聴くことで、各ＮＡＭ会話参加者はＮＡＭ発言者を識別することができる。すなわち、各ＮＡＭ会話参加者は、どの方向にいるどの人がＮＡＭを発したのか知ることができる。
図９〜１１は、ＮＡＭ発言者ＡがＮＡＭ会話参加者に対してＮＡＭで発言したときの割り当て基本周波数および割り当て方位の設定の様々な場合のフローを示している。
図９に示す例では、ＮＡＭ発言者ＡがＮＡＭ会話参加者に対してＮＡＭで発言する。このとき、周波数・方位割り当て部３２ｃは、ＮＡＭ発言者Ａに対して図３〜６に示す割り当て方法により、ＮＡＭ発言者Ａに割り当て基本周波数及び割り当て方位を新規に設定する（ステップＳ１０）。この状態で、ＮＡＭ発言者Ａが異なる方位に移動する場合（ステップＳ２０のＹｅｓの場合）、周波数・方位割り当て部３２ｃは、割り当て基本周波数を維持し、割り当て方位を変更する（ステップＳ３０）。具体的に、周波数・方位割り当て部３２ｃは、実際の移動先の方位に近い分割方位を割り当て方位に設定する。ＮＡＭ発言者Ａが異なる方位に移動しない場合（ステップＳ２０のＮｏの場合）、周波数・方位割り当て部３２ｃは、割り当て基本周波数および割り当て方位を維持する（ステップＳ４０）。こうして、ＮＡＭ会話は続行される。
図９に示す例では、ＮＡＭ発言者ＡがＮＡＭ会話参加者に対してＮＡＭで発言する。このとき、周波数・方位割り当て部３２ｃは、ＮＡＭ発言者Ａに対して図３〜６に示す割り当て方法により、ＮＡＭ発言者Ａに割り当て基本周波数及び割り当て方位を新規に設定する（ステップＳ１０）。この状態で、ＮＡＭ発言者Ａが異なる方位に移動する場合（ステップＳ２０のＹｅｓの場合）、周波数・方位割り当て部３２ｃは、割り当て基本周波数を維持し、割り当て方位を変更する（ステップＳ３０）。具体的に、周波数・方位割り当て部３２ｃは、実際の移動先の方位に近い分割方位を割り当て方位に設定する。ＮＡＭ発言者Ａが異なる方位に移動しない場合（ステップＳ２０のＮｏの場合）、周波数・方位割り当て部３２ｃは、割り当て基本周波数および割り当て方位を維持する（ステップＳ４０）。こうして、ＮＡＭ会話は続行される。
図１０に示す例では、ＮＡＭ発言者ＡがＮＡＭ会話参加者に対してＮＡＭで発言する。このとき、周波数・方位割り当て部３２ｃは、ＮＡＭ発言者Ａに対して図３〜６に示す割り当て方法により、ＮＡＭ発言者Ａに割り当て基本周波数及び割り当て方位を新規に設定する（ステップＳ１０）。この状態で、ＮＡＭ発言者Ａが一定時間無言である場合（ステップＳ５０のＹｅｓの場合）、周波数・方位割り当て部３２ｃは、割り当て基本周波数を維持し、割り当て方位を開放する（ステップＳ６０）。ここで開放とは、図３〜５に示す表中の「割り当て数」を変更せず、ステップＳ１０で割り当てたブロックからＮＡＭ発言者Ａの割り当てを解除することである。
一方、ＮＡＭ発言者Ａが一定時間無言でない場合（ステップＳ５０でＮｏの場合）、ＮＡＭ発言者Ａが一定時間無言になる（ステップＳ５０でＹｅｓになる）までステップＳ１０で設定された割り当て基本周波数および割り当て方位が維持される。この後、ＮＡＭ発言者Ａが再び発言するまで割り当て方位が開放された状態が維持される。ＮＡＭ発言者Ａが再び発言する場合（ステップＳ７０のＹｅｓの場合）、周波数・方位割り当て部３２ｃは、ＮＡＭ発言者Ａに割り当てようとするブロック、すなわちステップＳ６０で維持された割り当て基本周波数と開放された割り当て方位とを有するブロックが割り当て可能か否かを判定する（ステップＳ８０）。ブロックの割り当てが可能である場合（ステップＳ８０でＹｅｓの場合）、周波数・方位割り当て部３２ｃは、割り当て基本周波数を維持し、開放された割り当て方位を再設定する（ステップＳ９０）。ブロックの割り当てが不可能である場合（ステップＳ８０でＮｏの場合）、周波数・方位割り当て部３２ｃは、割り当て基本周波数および割り当て方位を、近接ブロックの分割周波数および分割方位に変更する（ステップＳ１００）。こうして、ＮＡＭ会話は続行される。
一方、ＮＡＭ発言者Ａが一定時間無言でない場合（ステップＳ５０でＮｏの場合）、ＮＡＭ発言者Ａが一定時間無言になる（ステップＳ５０でＹｅｓになる）までステップＳ１０で設定された割り当て基本周波数および割り当て方位が維持される。この後、ＮＡＭ発言者Ａが再び発言するまで割り当て方位が開放された状態が維持される。ＮＡＭ発言者Ａが再び発言する場合（ステップＳ７０のＹｅｓの場合）、周波数・方位割り当て部３２ｃは、ＮＡＭ発言者Ａに割り当てようとするブロック、すなわちステップＳ６０で維持された割り当て基本周波数と開放された割り当て方位とを有するブロックが割り当て可能か否かを判定する（ステップＳ８０）。ブロックの割り当てが可能である場合（ステップＳ８０でＹｅｓの場合）、周波数・方位割り当て部３２ｃは、割り当て基本周波数を維持し、開放された割り当て方位を再設定する（ステップＳ９０）。ブロックの割り当てが不可能である場合（ステップＳ８０でＮｏの場合）、周波数・方位割り当て部３２ｃは、割り当て基本周波数および割り当て方位を、近接ブロックの分割周波数および分割方位に変更する（ステップＳ１００）。こうして、ＮＡＭ会話は続行される。
図１１に示す例では、ＮＡＭ発言者ＡがＮＡＭ会話参加者に対してＮＡＭで発言する。このとき、周波数・方位割り当て部３２ｃは、ＮＡＭ発言者Ａに対して図３〜６に示す割り当て方法により、ＮＡＭ発言者Ａに割り当て基本周波数及び割り当て方位を新規に設定する（ステップＳ１０）。
この状態で、優先順位が高く、ブロックが割り当てられていないＮＡＭ発言者ＢがＮＡＭ会話で発言する場合（ステップＳ１１０でＹｅｓの場合）、周波数・方位割り当て部３２ｃは、ＮＡＭ発言者Ｂに割り当てようとするブロックがＮＡＭ発言者Ａに割り当てているブロックと重複するか否かを判定する（ステップＳ１２０）。
一方、ステップＳ１２０における判定において、割り当てようとするブロックが重複しない場合（ステップＳ１２０のＮｏの場合）、周波数・方位割り当て部３２ｃは、ＮＡＭ発言者Ｂの割り当て基本周波数および割り当て方位を新規に設定する（ステップＳ１４０）。ステップＳ１２０における判定において、割り当てブロックが重複する場合（ステップＳ１２０のＹｅｓの場合）、周波数・方位割り当て部３２ｃは、ＮＡＭ発言者Ａの割り当て基本周波数および割り当て方位を近接ブロックの周波数および方位に変更する（ステップＳ１３０）。この後、ステップＳ１４０に進む。
こうして、ＮＡＭ会話は続行される。
この状態で、優先順位が高く、ブロックが割り当てられていないＮＡＭ発言者ＢがＮＡＭ会話で発言する場合（ステップＳ１１０でＹｅｓの場合）、周波数・方位割り当て部３２ｃは、ＮＡＭ発言者Ｂに割り当てようとするブロックがＮＡＭ発言者Ａに割り当てているブロックと重複するか否かを判定する（ステップＳ１２０）。
一方、ステップＳ１２０における判定において、割り当てようとするブロックが重複しない場合（ステップＳ１２０のＮｏの場合）、周波数・方位割り当て部３２ｃは、ＮＡＭ発言者Ｂの割り当て基本周波数および割り当て方位を新規に設定する（ステップＳ１４０）。ステップＳ１２０における判定において、割り当てブロックが重複する場合（ステップＳ１２０のＹｅｓの場合）、周波数・方位割り当て部３２ｃは、ＮＡＭ発言者Ａの割り当て基本周波数および割り当て方位を近接ブロックの周波数および方位に変更する（ステップＳ１３０）。この後、ステップＳ１４０に進む。
こうして、ＮＡＭ会話は続行される。
なお、ＮＡＭ参加者Ａが聴き手であるＮＡＭ会話参加者Ｐに近づいて来るときにおいても、ステップＳ１０の新規の割り当てが行われる。一方、ＮＡＭ発言者Ａは、ＮＡＭ会話参加者Ｐから遠ざかっているとき、また、ＮＡＭ会話参加者Ｐの近くでＮＡＭ会話から離脱するとき、設定されていたＮＡＭ発言者Ａの割り当て基本周波数および割り当て方位は取り消される。ＮＡＭ会話からの離脱は、携帯端末装置１２ａ〜１２ｅから離脱の旨の情報をＮＡＭ会話管理サーバ１４が受けることにより実行される。
以上説明したように、周波数・方位割り当て部３２ｃは、各ＮＡＭ発言者に割り当て方位および割り当て基本周波数を定めるとき、複数の分割方位と、複数の分割周波数を組とした複数のブロックから、ＮＡＭ発言者同士で重複したブロックが割り当てられないように各ＮＡＭ発言者に１つのブロックを割り当てる。このため、割り当て方位と割り当て基本周波数の設定を簡単にまとめて行うことができる。
さらに、周波数・方位割り当て部３２ｃは、各ＮＡＭ発言者の現在の方位と各ＮＡＭ発言者の音声基本周波数を用いて、１つのブロックを各ＮＡＭ発言者に割り当てる。このため、割り当て方位および割り当て基本周波数は、各ＮＡＭ発言者の現在の方位と各ＮＡＭ発言者の音声基本周波数に設定され得る。
なお、周波数・方位割り当て部３２ｃは、割り当てようとするブロックがすでに別のＮＡＭ発言者に割り当てられているとき、この割り当てようとするブロックの分割周波数または分割方位が隣接する隣接分割周波数または隣接分割方位を有する隣接ブロックを割り当てる。このため、割り当て方位および割り当て基本周波数は、各ＮＡＭ発言者の現在の方位と各ＮＡＭ発言者の音声基本周波数に近い方位と周波数に設定され得る。
さらに、周波数・方位割り当て部３２ｃは、各ＮＡＭ発言者の現在の方位と各ＮＡＭ発言者の音声基本周波数を用いて、１つのブロックを各ＮＡＭ発言者に割り当てる。このため、割り当て方位および割り当て基本周波数は、各ＮＡＭ発言者の現在の方位と各ＮＡＭ発言者の音声基本周波数に設定され得る。
なお、周波数・方位割り当て部３２ｃは、割り当てようとするブロックがすでに別のＮＡＭ発言者に割り当てられているとき、この割り当てようとするブロックの分割周波数または分割方位が隣接する隣接分割周波数または隣接分割方位を有する隣接ブロックを割り当てる。このため、割り当て方位および割り当て基本周波数は、各ＮＡＭ発言者の現在の方位と各ＮＡＭ発言者の音声基本周波数に近い方位と周波数に設定され得る。
上記割り当てにおいて、過去の一定時間に発言した回数又は時間の多いＮＡＭ発言者の順に優先順位が定められ、この優先順位に従って、各ＮＡＭ発言者に割り当て方位および割り当て基本周波数が定められる。例えば、優先順位の高いＮＡＭ発言者が移動して、別のＮＡＭ発言者に割り当てられているブロックに移動する場合、既に割り当てられている上記別のＮＡＭ発言者は、割り当てられていたブロックを失い、隣接ブロックが割り当てられる。このため、割り当てにおいて各ＮＡＭ発言者に割り当てるブロックの重複を防止することができる。
このようなＮＡＭ会話支援方法による方位および周波数の割り当ては、図７に示すように、各ＮＡＭ会話参加者Ａ〜ＥからみてＮＡＭ発言者が予め設定された距離Ｌ1以上離れている場合に行われる。各ＮＡＭ会話参加者Ａ〜ＥからみてＮＡＭ発言者が予め設定された距離Ｌ2以内（図７参照）に位置する場合、周波数・方位割り当て部３２ｃは、上記ＮＡＭ発言者の現在の方位を割り当て方位として設定し、上記ＮＡＭ発言者の音声基本周波数を割り当て基本周波数として設定する。各ＮＡＭ会話参加者Ａ〜ＥからみてＮＡＭ発言者が距離Ｌ2以内（図７参照）に位置する場合、ＮＡＭ発言者が各ＮＡＭ会話参加者Ａ〜Ｅの近くにいるので、各ＮＡＭ会話参加者Ａ〜ＥはＮＡＭ発言者の口の動きや顔の表情を見つつ、ＮＡＭ発言者のＮＡＭ会話を現在の方位に一致する方向から聴きとることができる。このため、各ＮＡＭ会話参加者Ａ〜Ｅは、誰が発言したかを知りながら、ＮＡＭ会話を聴くことができる。
一人のＮＡＭ発言者が一人のＮＡＭ会話参加者に近づくとき、周波数・方位割り当て部３２ｃは、割り当て方位および割り当て基本周波数が、上記ＮＡＭ発言者の現在の方位および音声基本周波数に一致または近づくように、上記ＮＡＭ会話参加者と上記ＮＡ発言者との間の距離に応じて割り当て方位および割り当て基本周波数の少なくとも一方を修正する。このため、図７に示すように、ＮＡＭ発言者ＡがＮＡＭ会話参加者Ｐから距離Ｌ2以内に位置するとき、割り当て方位は現在の方位に一致しあるいは近づき、割り当て基本周波数はＮＡＭ発言者Ａの音声基本周波数に一致あるいは近づくので、ＮＡＭ会話参加者Ｐは、近づいてくるＮＡＭ発言者Ａの口の動きや顔の表情を見ながら違和感無くＮＡＭ会話を聴くことができる。
一人のＮＡＭ発言者が一人のＮＡＭ会話参加者に近づくとき、周波数・方位割り当て部３２ｃは、上述したように割り当て方位および割り当て基本周波数の少なくとも一方を、一定の時間、例えば３秒間をかけて滑らかに修正をする。このため、ＮＡＭ会話参加者は、ＮＡＭ発言者のＮＡＭ会話を違和感無く聴くことができる。
ＮＡＭ発言者が有声音声を発して、マイク１６ｂが有声音声を収音したとき、音声ミキシング部３２ｅは、ＮＡＭ会話中の無声音声信号を遮断して、上記有声音声の音声信号を、通信部３０を通して携帯端末装置１２ａ〜１２ｅに送信する。このため、ＮＡＭ会話と共に、有声音声を併用して会話をすることができる。
基本周波数算出部３２は、各ＮＡＭ発言者の音声を、周波数解析をすることにより音声基本周波数を事前に取得する。このため、ＮＡＭ会話支援システムに参加できる人を制限しない。
上記実施形態は、以下に示す内容を開示する。
（付記１）
ＮＡＭ（Non Audible Murmur）を用いた複数人によるＮＡＭ会話を支援するＮＡＭ会話支援システムであって、
各ＮＡＭ会話参加者の現在の位置を示す位置情報と各ＮＡＭ会話参加者が現在向いている向きの情報とを取得する計測部と、各ＮＡＭ会話参加者がＮＡＭ会話に用いる音声入出力デバイスと、前記位置情報と前記向きの情報の通信およびＮＡＭ会話中の音声信号の通信を行う通信部と、を備える各ＮＡＭ会話参加者が保持する携帯端末装置と、
前記携帯端末装置から受信した前記位置情報と前記向きの情報を用いて特定される各ＮＡＭ会話参加者から見たＮＡＭ発言者の現在の方位と前記ＮＡＭ発言者の音声基本周波数とに基いて、各ＮＡＭ会話参加者に対する前記ＮＡＭ発言者の割り当て方位と前記ＮＡＭ発言者の割り当て基本周波数を定め、前記割り当て方位と前記割り当て基本周波数とに基いて前記携帯端末装置から受信したＮＡＭの無声音声信号を処理する信号処理部と、処理した前記無声音声信号を前記携帯端末装置に送信する通信部と、を備える会話管理装置と、を有することを特徴とするＮＡＭ会話支援システム。
ＮＡＭ（Non Audible Murmur）を用いた複数人によるＮＡＭ会話を支援するＮＡＭ会話支援システムであって、
各ＮＡＭ会話参加者の現在の位置を示す位置情報と各ＮＡＭ会話参加者が現在向いている向きの情報とを取得する計測部と、各ＮＡＭ会話参加者がＮＡＭ会話に用いる音声入出力デバイスと、前記位置情報と前記向きの情報の通信およびＮＡＭ会話中の音声信号の通信を行う通信部と、を備える各ＮＡＭ会話参加者が保持する携帯端末装置と、
前記携帯端末装置から受信した前記位置情報と前記向きの情報を用いて特定される各ＮＡＭ会話参加者から見たＮＡＭ発言者の現在の方位と前記ＮＡＭ発言者の音声基本周波数とに基いて、各ＮＡＭ会話参加者に対する前記ＮＡＭ発言者の割り当て方位と前記ＮＡＭ発言者の割り当て基本周波数を定め、前記割り当て方位と前記割り当て基本周波数とに基いて前記携帯端末装置から受信したＮＡＭの無声音声信号を処理する信号処理部と、処理した前記無声音声信号を前記携帯端末装置に送信する通信部と、を備える会話管理装置と、を有することを特徴とするＮＡＭ会話支援システム。
（付記２）
前記信号処理部は、前記ＮＡＭ発言者に前記割り当て方位および前記割り当て基本周波数を定めるとき、予め設定された複数の分割方位と予め設定された複数の分割周波数を組とした複数のブロックから、別のＮＡＭ発言者と重複したブロックが割り当てられないように前記ＮＡＭ発言者に１つのブロックを割り当てる、付記１に記載のＮＡＭ会話支援システム。
前記信号処理部は、前記ＮＡＭ発言者に前記割り当て方位および前記割り当て基本周波数を定めるとき、予め設定された複数の分割方位と予め設定された複数の分割周波数を組とした複数のブロックから、別のＮＡＭ発言者と重複したブロックが割り当てられないように前記ＮＡＭ発言者に１つのブロックを割り当てる、付記１に記載のＮＡＭ会話支援システム。
（付記３）
前記信号処理部は、前記ＮＡＭ発言者に前記割り当て方位および前記割り当て基本周波数を定めるとき、前記ＮＡＭ発言者の前記現在の方位と前記ＮＡＭ発言者の音声基本周波数を用いて１つのブロックを前記ＮＡＭ発言者に割り当てる、付記２に記載のＮＡＭ会話支援システム。
前記信号処理部は、前記ＮＡＭ発言者に前記割り当て方位および前記割り当て基本周波数を定めるとき、前記ＮＡＭ発言者の前記現在の方位と前記ＮＡＭ発言者の音声基本周波数を用いて１つのブロックを前記ＮＡＭ発言者に割り当てる、付記２に記載のＮＡＭ会話支援システム。
（付記４）
前記信号処理部は、割り当てようとするブロックがすでに別のＮＡＭ発言者に割り当てられているとき、前記割り当てようとするブロックの分割周波数または分割方位に隣接する隣接分割周波数または隣接分割方位を有する隣接ブロックの１つを割り当てる、付記３に記載のＮＡＭ会話支援システム。
前記信号処理部は、割り当てようとするブロックがすでに別のＮＡＭ発言者に割り当てられているとき、前記割り当てようとするブロックの分割周波数または分割方位に隣接する隣接分割周波数または隣接分割方位を有する隣接ブロックの１つを割り当てる、付記３に記載のＮＡＭ会話支援システム。
（付記５）
前記信号処理部は、前記隣接ブロックのうち、前記割り当てようとするブロックの分割周波数を有する隣接ブロックを、前記割り当てようとするブロックの分割方位を有する隣接ブロックに対して優先的に割り当てる、付記４に記載のＮＡＭ会話支援システム。
前記信号処理部は、前記隣接ブロックのうち、前記割り当てようとするブロックの分割周波数を有する隣接ブロックを、前記割り当てようとするブロックの分割方位を有する隣接ブロックに対して優先的に割り当てる、付記４に記載のＮＡＭ会話支援システム。
（付記６）
前記信号処理部は、過去の一定時間に発言した回数又は時間の多いＮＡＭ発言者の順に優先順位を定めて、前記割り当て方位および前記割り当て基本周波数を定める、付記１〜５のいずれか１項に記載のＮＡＭ会話支援システム。
前記信号処理部は、過去の一定時間に発言した回数又は時間の多いＮＡＭ発言者の順に優先順位を定めて、前記割り当て方位および前記割り当て基本周波数を定める、付記１〜５のいずれか１項に記載のＮＡＭ会話支援システム。
（付記７）
前記信号処理部は、各ＮＡＭ会話参加者から見て所定の距離範囲内に位置するＮＡＭ発言者に対して、当該ＮＡＭ発言者の前記現在の方位と前記音声基本周波数を前記割り当て方位および前記割り当て基本周波数として設定する、付記１〜６のいずれか１項に記載のＮＡＭ会話支援システム。
前記信号処理部は、各ＮＡＭ会話参加者から見て所定の距離範囲内に位置するＮＡＭ発言者に対して、当該ＮＡＭ発言者の前記現在の方位と前記音声基本周波数を前記割り当て方位および前記割り当て基本周波数として設定する、付記１〜６のいずれか１項に記載のＮＡＭ会話支援システム。
（付記８）
前記信号処理部は、前記ＮＡＭ発言者が一人のＮＡＭ会話参加者に近づくとき、前記割り当て方位および前記割り当て基本周波数が、前記一人のＮＡＭ会話参加者から見た前記ＮＡＭ発言者の前記現在の方位および前記音声基本周波数に一致あるいは近づくように、前記一人のＮＡＭ会話参加者と前記ＮＡ発言者との間の距離に応じて前記割り当て方位および前記割り当て基本周波数の少なくとも一方を修正する、付記１〜７のいずれか１項に記載のＮＡＭ会話支援システム。
前記信号処理部は、前記ＮＡＭ発言者が一人のＮＡＭ会話参加者に近づくとき、前記割り当て方位および前記割り当て基本周波数が、前記一人のＮＡＭ会話参加者から見た前記ＮＡＭ発言者の前記現在の方位および前記音声基本周波数に一致あるいは近づくように、前記一人のＮＡＭ会話参加者と前記ＮＡ発言者との間の距離に応じて前記割り当て方位および前記割り当て基本周波数の少なくとも一方を修正する、付記１〜７のいずれか１項に記載のＮＡＭ会話支援システム。
（付記９）
前記信号処理部は、前記割り当て方位および前記割り当て基本周波数の少なくとも一方を修正するとき、一定の時間をかけて滑らかに変化するように修正をする、付記８に記載のＮＡＭ会話支援システム。
前記信号処理部は、前記割り当て方位および前記割り当て基本周波数の少なくとも一方を修正するとき、一定の時間をかけて滑らかに変化するように修正をする、付記８に記載のＮＡＭ会話支援システム。
（付記１０）
前記携帯端末装置の前記音声入出力デバイスが有声音声を収音したとき、前記信号処理部は、前記ＮＡＭ会話中の無声音声信号を遮断して、有声音声信号を、前記通信部を通して前記携帯端末装置に送信する、付記１〜９のいずれか１項に記載のＮＡＭ会話支援システム。
前記携帯端末装置の前記音声入出力デバイスが有声音声を収音したとき、前記信号処理部は、前記ＮＡＭ会話中の無声音声信号を遮断して、有声音声信号を、前記通信部を通して前記携帯端末装置に送信する、付記１〜９のいずれか１項に記載のＮＡＭ会話支援システム。
（付記１１）
前記信号処理部は、前記ＮＡＭ発言者の音声を周波数解析することにより前記音声基本周波数を事前に取得する、付記１〜１０のいずれか１項に記載のＮＡＭ会話支援システム。
前記信号処理部は、前記ＮＡＭ発言者の音声を周波数解析することにより前記音声基本周波数を事前に取得する、付記１〜１０のいずれか１項に記載のＮＡＭ会話支援システム。
（付記１２）
ＮＡＭ（Non Audible Murmur）を用いた複数人によるＮＡＭ会話を支援する会話管理装置が行うＮＡＭ会話支援方法であって、
各ＮＡＭ会話参加者の現在の位置を示す位置情報と各ＮＡＭ会話参加者が現在向いている向きの情報とを各ＮＡＭ会話参加者が保持する携帯端末装置から受信し、
受信した前記位置情報と前記向きの情報を用いて特定される各ＮＡＭ会話参加者から見たＮＡＭ発言者の現在の方位と前記ＮＡＭ発言者の音声基本周波数とに基いて、各ＮＡＭ会話参加者に対する前記ＮＡＭ発言者の割り当て方位と前記ＮＡＭ発言者の割り当て基本周波数を定め、
前記割り当て方位と前記割り当て基本周波数とに基いてＮＡＭの無声音声信号を処理し、処理した前記無声音声信号を各ＮＡＭ会話参加者に送信する、ことを特徴とするＮＡＭ会話支援方法。
ＮＡＭ（Non Audible Murmur）を用いた複数人によるＮＡＭ会話を支援する会話管理装置が行うＮＡＭ会話支援方法であって、
各ＮＡＭ会話参加者の現在の位置を示す位置情報と各ＮＡＭ会話参加者が現在向いている向きの情報とを各ＮＡＭ会話参加者が保持する携帯端末装置から受信し、
受信した前記位置情報と前記向きの情報を用いて特定される各ＮＡＭ会話参加者から見たＮＡＭ発言者の現在の方位と前記ＮＡＭ発言者の音声基本周波数とに基いて、各ＮＡＭ会話参加者に対する前記ＮＡＭ発言者の割り当て方位と前記ＮＡＭ発言者の割り当て基本周波数を定め、
前記割り当て方位と前記割り当て基本周波数とに基いてＮＡＭの無声音声信号を処理し、処理した前記無声音声信号を各ＮＡＭ会話参加者に送信する、ことを特徴とするＮＡＭ会話支援方法。
（付記１３）
前記会話管理装置が前記ＮＡＭ発言者に前記割り当て方位および前記割り当て基本周波数を定めるとき、予め設定された複数の分割方位と予め設定された複数の分割周波数を組とした複数のブロックから、別のＮＡＭ発言者と重複したブロックが割り当てられないように前記ＮＡＭ発言者に１つのブロックを割り当てる、付記１２に記載のＮＡＭ会話支援方法。
前記会話管理装置が前記ＮＡＭ発言者に前記割り当て方位および前記割り当て基本周波数を定めるとき、予め設定された複数の分割方位と予め設定された複数の分割周波数を組とした複数のブロックから、別のＮＡＭ発言者と重複したブロックが割り当てられないように前記ＮＡＭ発言者に１つのブロックを割り当てる、付記１２に記載のＮＡＭ会話支援方法。
（付記１４）
前記会話管理装置が前記ＮＡＭ発言者に前記割り当て方位および前記割り当て基本周波数を定めるとき、前記ＮＡＭ発言者の現在の方位と前記ＮＡＭ発言者の音声基本周波数を用いて１つのブロックを前記ＮＡＭ発言者に割り当てる、付記１３に記載のＮＡＭ会話支援方法。
前記会話管理装置が前記ＮＡＭ発言者に前記割り当て方位および前記割り当て基本周波数を定めるとき、前記ＮＡＭ発言者の現在の方位と前記ＮＡＭ発言者の音声基本周波数を用いて１つのブロックを前記ＮＡＭ発言者に割り当てる、付記１３に記載のＮＡＭ会話支援方法。
（付記１５）
前記会話管理装置が割り当てようとするブロックがすでに別のＮＡＭ発言者に割り当てられているとき、前記割り当てようとするブロックの分割周波数または分割方位に隣接する隣接分割周波数または隣接分割方位を有する隣接ブロックの１つを割り当てる、付記１４に記載のＮＡＭ会話支援方法。
前記会話管理装置が割り当てようとするブロックがすでに別のＮＡＭ発言者に割り当てられているとき、前記割り当てようとするブロックの分割周波数または分割方位に隣接する隣接分割周波数または隣接分割方位を有する隣接ブロックの１つを割り当てる、付記１４に記載のＮＡＭ会話支援方法。
（付記１６）
前記隣接ブロックのうち、前記割り当てようとするブロックの分割周波数を有する隣接ブロックを、前記割り当てようとするブロックの分割方位を有する隣接ブロックに対して優先的に割り当てる、付記１５に記載のＮＡＭ会話支援方法。
前記隣接ブロックのうち、前記割り当てようとするブロックの分割周波数を有する隣接ブロックを、前記割り当てようとするブロックの分割方位を有する隣接ブロックに対して優先的に割り当てる、付記１５に記載のＮＡＭ会話支援方法。
（付記１７）
前記会話管理装置は、過去の一定時間に発言した回数又は時間の多いＮＡＭ発言者の順に優先順位を定め、前記割り当て方位および前記割り当て基本周波数を定める、付記１２〜１６のいずれか１項に記載のＮＡＭ会話支援方法。
前記会話管理装置は、過去の一定時間に発言した回数又は時間の多いＮＡＭ発言者の順に優先順位を定め、前記割り当て方位および前記割り当て基本周波数を定める、付記１２〜１６のいずれか１項に記載のＮＡＭ会話支援方法。
（付記１８）
前記会話管理装置は、各ＮＡＭ会話参加者から見て所定の距離範囲内に位置するＮＡＭ発言者に対して、当該ＮＡＭ発言者の前記現在の方位と前記音声基本周波数を前記割り当て方位および前記割り当て基本周波数として設定する、付記１２〜１７のいずれか１項に記載のＮＡＭ会話支援方法。
前記会話管理装置は、各ＮＡＭ会話参加者から見て所定の距離範囲内に位置するＮＡＭ発言者に対して、当該ＮＡＭ発言者の前記現在の方位と前記音声基本周波数を前記割り当て方位および前記割り当て基本周波数として設定する、付記１２〜１７のいずれか１項に記載のＮＡＭ会話支援方法。
（付記１９）
前記会話管理装置は、前記ＮＡＭ発言者が一人のＮＡＭ会話参加者に近づくとき、前記割り当て方位および前記割り当て基本周波数が、前記一人のＮＡＭ会話参加者から見た前記ＮＡＭ発言者の前記現在の方位および前記音声基本周波数に一致あるいは近づくように、前記一人のＮＡＭ会話参加者と前記ＮＡ発言者との間の距離に応じて前記割り当て方位および前記割り当て基本周波数の少なくとも一方を修正する、付記１２〜１８のいずれか１項に記載のＮＡＭ会話支援方法。
前記会話管理装置は、前記ＮＡＭ発言者が一人のＮＡＭ会話参加者に近づくとき、前記割り当て方位および前記割り当て基本周波数が、前記一人のＮＡＭ会話参加者から見た前記ＮＡＭ発言者の前記現在の方位および前記音声基本周波数に一致あるいは近づくように、前記一人のＮＡＭ会話参加者と前記ＮＡ発言者との間の距離に応じて前記割り当て方位および前記割り当て基本周波数の少なくとも一方を修正する、付記１２〜１８のいずれか１項に記載のＮＡＭ会話支援方法。
（付記２０）
前記会話管理装置は、前記割り当て方位および前記割り当て基本周波数の少なくとも一方を修正するとき、一定の時間をかけて滑らかに修正をする、付記１９に記載のＮＡＭ会話支援方法。
前記会話管理装置は、前記割り当て方位および前記割り当て基本周波数の少なくとも一方を修正するとき、一定の時間をかけて滑らかに修正をする、付記１９に記載のＮＡＭ会話支援方法。
（付記２１）
前記携帯端末装置の音声入出力デバイスが有声音声を収音したとき、前記会話管理装置は、前記ＮＡＭ会話中の無声音声信号を遮断して、有声音声の音声信号を前記携帯端末装置に送信する、付記１２〜２０のいずれか１項に記載のＮＡＭ会話支援方法。
前記携帯端末装置の音声入出力デバイスが有声音声を収音したとき、前記会話管理装置は、前記ＮＡＭ会話中の無声音声信号を遮断して、有声音声の音声信号を前記携帯端末装置に送信する、付記１２〜２０のいずれか１項に記載のＮＡＭ会話支援方法。
（付記２２）
前記会話管理装置は、前記ＮＡＭ発言者の音声の周波数解析をすることにより前記音声基本周波数を事前に取得する、付記１２〜２１のいずれか１項に記載のＮＡＭ会話支援方法。
前記会話管理装置は、前記ＮＡＭ発言者の音声の周波数解析をすることにより前記音声基本周波数を事前に取得する、付記１２〜２１のいずれか１項に記載のＮＡＭ会話支援方法。
以上、本発明のＮＡＭ会話支援システムおよびＮＡＭ会話支援方法について詳細に説明したが、本発明は上記実施形態に限定されず、本発明の主旨を逸脱しない範囲において、種々の改良や変更をしてもよいのはもちろんである。
１０ ＮＡＭ会話支援システム
１２,１２ａ〜１２ｅ 携帯端末装置
１４ ＮＡＭ会話管理サーバ
１６ ヘッドセット
１６ａ ヘッドフォン
１６ｂ マイク
１８ 計測部
１８ａ ＧＰＳ位置センサ
１８ｂ 方位センサ
２０ Lombard検出部
２２ 通信部
２２ａ 有声音声送信部
２２ｂ ＮＡＭ送信部
２２ｃ Lombard送信部
２２ｄ 位置・方位送信部
２２ｅ 音声信号受信部
３０ 通信部
３０ａ 有声音声受信部
３０ｂ ＮＡＭ受信部
３０ｃ Lombard受信部
３０ｄ 位置・方位受信部
３０ｅ 音声信号送信部
３２ 信号処理部
３２ａ 基本周波数算出部
３２ｂ データベース
３２ｃ 周波数・方位割り当て部
３２ｄ ささやき声変換部
３２ｅ 音声ミキシング部
１２,１２ａ〜１２ｅ 携帯端末装置
１４ ＮＡＭ会話管理サーバ
１６ ヘッドセット
１６ａ ヘッドフォン
１６ｂ マイク
１８ 計測部
１８ａ ＧＰＳ位置センサ
１８ｂ 方位センサ
２０ Lombard検出部
２２ 通信部
２２ａ 有声音声送信部
２２ｂ ＮＡＭ送信部
２２ｃ Lombard送信部
２２ｄ 位置・方位送信部
２２ｅ 音声信号受信部
３０ 通信部
３０ａ 有声音声受信部
３０ｂ ＮＡＭ受信部
３０ｃ Lombard受信部
３０ｄ 位置・方位受信部
３０ｅ 音声信号送信部
３２ 信号処理部
３２ａ 基本周波数算出部
３２ｂ データベース
３２ｃ 周波数・方位割り当て部
３２ｄ ささやき声変換部
３２ｅ 音声ミキシング部
Claims (8)
- ＮＡＭ（Non Audible Murmur）を用いた複数人によるＮＡＭ会話を支援するＮＡＭ会話支援システムであって、
各ＮＡＭ会話参加者の現在の位置を示す位置情報と各ＮＡＭ会話参加者が現在向いている向きの情報とを取得する計測部と、各ＮＡＭ会話参加者がＮＡＭ会話に用いる音声入出力デバイスと、前記位置情報と前記向きの情報の通信およびＮＡＭ会話中の音声信号の通信を行う通信部と、を備える各ＮＡＭ会話参加者が保持する携帯端末装置と、
前記携帯端末装置から受信した前記位置情報と前記向きの情報を用いて特定される各ＮＡＭ会話参加者から見たＮＡＭ発言者の現在の方位と前記ＮＡＭ発言者の音声基本周波数とに基いて、各ＮＡＭ会話参加者に対する前記ＮＡＭ発言者の割り当て方位と前記ＮＡＭ発言者の割り当て基本周波数を定め、前記割り当て方位と前記割り当て基本周波数とに基いて前記携帯端末装置から受信したＮＡＭの無声音声信号を処理する信号処理部と、処理した前記無声音声信号を前記携帯端末装置に送信する通信部と、を備える会話管理装置と、を有することを特徴とするＮＡＭ会話支援システム。 - 前記信号処理部は、前記ＮＡＭ発言者に前記割り当て方位および前記割り当て基本周波数を定めるとき、予め設定された複数の分割方位と予め設定された複数の分割周波数を組とした複数のブロックから、別のＮＡＭ発言者と重複したブロックが割り当てられないように前記ＮＡＭ発言者に１つのブロックを割り当てる、請求項１に記載のＮＡＭ会話支援システム。
- 前記信号処理部は、前記ＮＡＭ発言者に前記割り当て方位および前記割り当て基本周波数を定めるとき、前記ＮＡＭ発言者の前記現在の方位と前記ＮＡＭ発言者の音声基本周波数を用いて１つのブロックを前記ＮＡＭ発言者に割り当てる、請求項２に記載のＮＡＭ会話支援システム。
- 前記信号処理部は、割り当てようとするブロックがすでに別のＮＡＭ発言者に割り当てられているとき、前記割り当てようとするブロックの分割周波数または分割方位に隣接する隣接分割周波数または隣接分割方位を有する隣接ブロックの１つを割り当てる、請求項３に記載のＮＡＭ会話支援システム。
- 前記信号処理部は、前記隣接ブロックのうち、前記割り当てようとするブロックの分割周波数を有する隣接ブロックを、前記割り当てようとするブロックの分割方位を有する隣接ブロックに対して優先的に割り当てる、請求項４に記載のＮＡＭ会話支援システム。
- 前記信号処理部は、過去の一定時間に発言した回数又は時間の多いＮＡＭ発言者の順に優先順位を定めて、前記割り当て方位および前記割り当て基本周波数を定める、請求項１〜５のいずれか１項に記載のＮＡＭ会話支援システム。
- 前記信号処理部は、各ＮＡＭ会話参加者から見て所定の距離範囲内に位置するＮＡＭ発言者に対して、当該ＮＡＭ発言者の前記現在の方位と前記音声基本周波数を前記割り当て方位および前記割り当て基本周波数として設定する、請求項１〜６のいずれか１項に記載のＮＡＭ会話支援システム。
- ＮＡＭ（Non Audible Murmur）を用いた複数人によるＮＡＭ会話を支援する会話管理装置が行うＮＡＭ会話支援方法であって、
各ＮＡＭ会話参加者の現在の位置を示す位置情報と各ＮＡＭ会話参加者が現在向いている向きの情報とを各ＮＡＭ会話参加者が保持する携帯端末装置から受信し、
受信した前記位置情報と前記向きの情報を用いて特定される各ＮＡＭ会話参加者から見たＮＡＭ発言者の現在の方位と前記ＮＡＭ発言者の音声基本周波数とに基いて、各ＮＡＭ会話参加者に対する前記ＮＡＭ発言者の割り当て方位と前記ＮＡＭ発言者の割り当て基本周波数を定め、
前記割り当て方位と前記割り当て基本周波数とに基いてＮＡＭの無声音声信号を処理し、処理した前記無声音声信号を各ＮＡＭ会話参加者に送信する、ことを特徴とするＮＡＭ会話支援方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2011003302A JP5594152B2 (ja) | 2011-01-11 | 2011-01-11 | Ｎａｍ会話支援システムおよびｎａｍ会話支援方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2011003302A JP5594152B2 (ja) | 2011-01-11 | 2011-01-11 | Ｎａｍ会話支援システムおよびｎａｍ会話支援方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2012147196A true JP2012147196A (ja) | 2012-08-02 |
| JP5594152B2 JP5594152B2 (ja) | 2014-09-24 |
Family
ID=46790325
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2011003302A Expired - Fee Related JP5594152B2 (ja) | 2011-01-11 | 2011-01-11 | Ｎａｍ会話支援システムおよびｎａｍ会話支援方法 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP5594152B2 (ja) |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH0846704A (ja) * | 1994-08-03 | 1996-02-16 | Nippon Telegr & Teleph Corp <Ntt> | 仮想空間共有装置 |
| WO2004021738A1 (ja) * | 2002-08-30 | 2004-03-11 | Asahi Kasei Kabushiki Kaisha | マイクロフォン、コミュニケーションインタフェースシステム |
| JP2006237864A (ja) * | 2005-02-23 | 2006-09-07 | Yamaha Corp | 複数話者の音声信号を処理する端末装置、サーバ装置およびプログラム |
| JP2010122369A (ja) * | 2008-11-18 | 2010-06-03 | Advanced Telecommunication Research Institute International | 音声再生装置 |
-
2011
- 2011-01-11 JP JP2011003302A patent/JP5594152B2/ja not_active Expired - Fee Related
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH0846704A (ja) * | 1994-08-03 | 1996-02-16 | Nippon Telegr & Teleph Corp <Ntt> | 仮想空間共有装置 |
| WO2004021738A1 (ja) * | 2002-08-30 | 2004-03-11 | Asahi Kasei Kabushiki Kaisha | マイクロフォン、コミュニケーションインタフェースシステム |
| JP2006237864A (ja) * | 2005-02-23 | 2006-09-07 | Yamaha Corp | 複数話者の音声信号を処理する端末装置、サーバ装置およびプログラム |
| JP2010122369A (ja) * | 2008-11-18 | 2010-06-03 | Advanced Telecommunication Research Institute International | 音声再生装置 |
Non-Patent Citations (2)
| Title |
|---|
| CSNG200800120006; 鹿野 清宏: '新しい音声メディアによるユニバーサルコミュニケーション' 電子情報通信学会技術研究報告 Ｖｏｌ．１０７ Ｎｏ．４０６, 20071213, ｐ．３１〜３６, 社団法人電子情報通信学会 * |
| JPN6014015935; 鹿野 清宏: '新しい音声メディアによるユニバーサルコミュニケーション' 電子情報通信学会技術研究報告 Ｖｏｌ．１０７ Ｎｏ．４０６, 20071213, ｐ．３１〜３６, 社団法人電子情報通信学会 * |
Also Published As
| Publication number | Publication date |
|---|---|
| JP5594152B2 (ja) | 2014-09-24 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US11294619B2 (en) | Earphone software and hardware | |
| EP3424229B1 (en) | Systems and methods for spatial audio adjustment | |
| JP4870953B2 (ja) | モバイル装置における多感覚応用の音声強調のための方法および装置 | |
| US9380374B2 (en) | Hearing assistance systems configured to detect and provide protection to the user from harmful conditions | |
| US20150319546A1 (en) | Hearing Assistance System | |
| WO2019090283A1 (en) | Coordinating translation request metadata between devices | |
| CN112995874B (zh) | 将两个听力设备相互耦合的方法以及听力设备 | |
| US11893997B2 (en) | Audio signal processing for automatic transcription using ear-wearable device | |
| WO2018088319A1 (ja) | 再生端末及び再生方法 | |
| WO2016167877A1 (en) | Hearing assistance systems configured to detect and provide protection to the user harmful conditions | |
| CN116324969A (zh) | 具有定位反馈的听力增强和可穿戴系统 | |
| US20210183363A1 (en) | Method for operating a hearing system and hearing system | |
| JP5594152B2 (ja) | Ｎａｍ会話支援システムおよびｎａｍ会話支援方法 | |
| JP2007187748A (ja) | 音選択加工装置 | |
| CN112188341B (zh) | 一种耳机唤醒方法、装置、耳机及介质 | |
| US10805710B2 (en) | Acoustic device and acoustic processing method | |
| CN114830692A (zh) | 包括计算机程序、听力设备和压力评估设备的系统 | |
| US11688387B2 (en) | Hearing apparatus and related methods for evaluation of speech exposure | |
| Dekens et al. | A Multi-sensor Speech Database with Applications towards Robust Speech Processing in hostile Environments. | |
| JP2022110759A (ja) | 会話支援装置および会話支援システム |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20131007 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20140410 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20140422 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20140618 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20140708 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20140721 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 5594152 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| LAPS | Cancellation because of no payment of annual fees |