JP2020127103A - 音場制御装置、音場制御システム、音場制御装置の制御方法、プログラム、および記録媒体 - Google Patents
音場制御装置、音場制御システム、音場制御装置の制御方法、プログラム、および記録媒体 Download PDFInfo
- Publication number
- JP2020127103A JP2020127103A JP2019017612A JP2019017612A JP2020127103A JP 2020127103 A JP2020127103 A JP 2020127103A JP 2019017612 A JP2019017612 A JP 2019017612A JP 2019017612 A JP2019017612 A JP 2019017612A JP 2020127103 A JP2020127103 A JP 2020127103A
- Authority
- JP
- Japan
- Prior art keywords
- speaker
- sound
- reference position
- microphone
- microphone group
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Landscapes
- Stereophonic Arrangements (AREA)
Abstract
【課題】第1スピーカーおよび第2スピーカーの左右位置を特定する。【解決手段】3個以上のマイクであるマイク群が設けられた第1スピーカーSP1および第2スピーカーSP2が配置された音場100を制御するサーバー3であって、ユーザーUから発音されたテスト音を、第1スピーカーSP1および第2スピーカーのマイク群で収音した収音結果に基づいて、それぞれ第1スピーカーSP1および第2スピーカーSP2からのユーザーUの方向を特定し、第1スピーカーSP1および第2スピーカーSP2のいずれか一方から発音されたテスト音を、他方のマイク群で収音した収音結果に基づいて、スピーカー同士の方向を特定し、特定したユーザーUの方向と、スピーカー同士の方向と、に基づいて、ユーザーUに対する第1スピーカーSP1および第2スピーカーSP2の左右位置を特定する。【選択図】図1
Description
本発明は、複数のスピーカーが配置された音場を制御する音場制御装置、音場制御システム、音場制御装置の制御方法、プログラム、および記録媒体に関するものである。
この種の技術として、特許文献1には、複数のスピーカー(発散デバイス)の相互の位置関係を特定する方法が開示されている。特許文献1では、スピーカーにマイク(検知デバイス)を搭載し、スピーカーから発音されたテスト音を他のスピーカーに設けられたマイクで収音する測定動作を、スピーカーの数だけ繰り返すことにより、複数のスピーカーの相互の位置関係を特定している。
特許文献1の技術では、任意のスピーカーに対する他のスピーカーの相対的な位置は特定できるものの、鏡像は同じ位置関係であるとみなされる(段落0018,0022参照)。例えば、他のスピーカーとして、第1スピーカーおよび第2スピーカーが配置されている場合、任意のスピーカーに対する、第1スピーカーおよび第2スピーカーの実際の配置である第1の配置と、任意のスピーカーに対し、第1スピーカーおよび第2スピーカーが実際の配置とは鏡像の位置関係となるように配置された第2の配置と、は同じ位置関係として特定される。このように、特許文献1の技術では、第1スピーカーおよび第2スピーカーのうち、基準位置に対して左に配置された左スピーカーおよび基準位置に対して右に配置された右スピーカーを特定することができない。
本発明は、上記の問題点に鑑み、第1スピーカーおよび第2スピーカーのうち、基準位置に対して左に配置された左スピーカーおよび基準位置に対して右に配置された右スピーカーを特定可能な音場制御装置、音場制御システム、音場制御装置の制御方法、プログラム、および記録媒体を提供することを目的とする。
本発明の音場制御装置は、3個以上のマイクである第1マイク群が設けられた第1スピーカーと、3個以上のマイクである第2マイク群が設けられた第2スピーカーと、が配置された音場を制御する音場制御装置であって、基準位置から発音されたテスト音を、第1マイク群で収音した収音結果に基づいて、第1スピーカーからの基準位置の方向を特定し、基準位置から発音されたテスト音を、第2マイク群で収音した収音結果に基づいて、第2スピーカーからの基準位置の方向を特定する基準位置方向特定部と、第1スピーカーから発音されたテスト音を、第2マイク群で収音した収音結果に基づいて、第2スピーカーからの第1スピーカーの方向を特定し、第2スピーカーから発音されたテスト音を、第1マイク群で収音した収音結果に基づいて、第1スピーカーからの第2スピーカーの方向を特定するスピーカー方向特定部と、基準位置方向特定部の特定結果と、スピーカー方向特定部の特定結果と、に基づいて、第1スピーカーおよび第2スピーカーのうち、基準位置に対して左に配置された左スピーカーおよび基準位置に対して右に配置された右スピーカーを特定するスピーカー位置特定部と、を備えることを特徴とする。
本発明の音場制御システムは、3個以上のマイクである第1マイク群が設けられた第1スピーカーと、3個以上のマイクである第2マイク群が設けられた第2スピーカーと、第1スピーカーおよび第2スピーカーが配置された音場を制御する音場制御システムであって、基準位置から発音されたテスト音を、第1マイク群で収音した収音結果に基づいて、第1スピーカーからの基準位置の方向を特定し、基準位置から発音されたテスト音を、第2マイク群で収音した収音結果に基づいて、第2スピーカーからの基準位置の方向を特定する基準位置方向特定部と、第1スピーカーから発音されたテスト音を、第2マイク群で収音した収音結果に基づいて、第2スピーカーからの第1スピーカーの方向を特定し、第2スピーカーから発音されたテスト音を、第1マイク群で収音した収音結果に基づいて、第1スピーカーからの第2スピーカーの方向を特定するスピーカー方向特定部と、基準位置方向特定部の特定結果と、スピーカー方向特定部の特定結果と、に基づいて、第1スピーカーおよび第2スピーカーのうち、基準位置に対して左に配置された左スピーカーおよび基準位置に対して右に配置された右スピーカーを特定するスピーカー位置特定部と、を備えることを特徴とする。
本発明の音場制御装置の制御方法は、3個以上のマイクである第1マイク群が設けられた第1スピーカーと、3個以上のマイクである第2マイク群が設けられた第2スピーカーと、が配置された音場を制御する音場制御装置の制御方法であって、基準位置から発音されたテスト音を、第1マイク群で収音した収音結果に基づいて、第1スピーカーからの基準位置の方向を特定し、基準位置から発音されたテスト音を、第2マイク群で収音した収音結果に基づいて、第2スピーカーからの基準位置の方向を特定するステップと、第1スピーカーから発音されたテスト音を、第2マイク群で収音した収音結果に基づいて、第2スピーカーからの第1スピーカーの方向を特定し、第2スピーカーから発音されたテスト音を、第1マイク群で収音した収音結果に基づいて、第1スピーカーからの第2スピーカーの方向を特定するステップと、特定された第1スピーカーからの基準位置の方向と、第2スピーカーからの基準位置の方向と、第2スピーカーからの第1スピーカーの方向と、第1スピーカーからの第2スピーカーの方向と、に基づいて、第1スピーカーおよび第2スピーカーのうち、基準位置に対して左に配置された左スピーカーおよび基準位置に対して右に配置された右スピーカーを特定するステップと、を実行することを特徴とする。
[第1実施形態]
以下、本発明の一実施形態に係る音場制御装置、音場制御システム、音場制御装置の制御方法、プログラム、および記録媒体について、添付図面を参照しながら詳細に説明する。図1は、第1実施形態に係る音場制御システムSY1のシステム構成図である。音場制御システムSY1は、第1スピーカーSP1と、第2スピーカーSP2と、サーバー3と、を備えている。サーバー3は、「音場制御装置」の一例である。
以下、本発明の一実施形態に係る音場制御装置、音場制御システム、音場制御装置の制御方法、プログラム、および記録媒体について、添付図面を参照しながら詳細に説明する。図1は、第1実施形態に係る音場制御システムSY1のシステム構成図である。音場制御システムSY1は、第1スピーカーSP1と、第2スピーカーSP2と、サーバー3と、を備えている。サーバー3は、「音場制御装置」の一例である。
本実施形態に係る第1スピーカーSP1および第2スピーカーSP2は、スマートスピーカーであり、サーバー3は、クラウドサーバーである。第1スピーカーSP1および第2スピーカーSP2は、インターネット通信網NWを介して、それぞれサーバー3と接続される。また、第1スピーカーSP1および第2スピーカーSP2は、ユーザーUが存在する音場100において、ステレオ再生用のスピーカーとして用いられる。音場100におけるユーザーUの位置は、「基準位置」の一例である。
第1スピーカーSP1には、第1マイクM11、第2マイクM12および第3マイクM13が搭載されている。第1スピーカーSP1に搭載されたこれらのマイクを、第1マイク群M10と総称する。また、第2スピーカーSP2には、第1マイクM21、第2マイクM22および第3マイクM23が搭載されている。第2スピーカーSP2に搭載されたこれらのマイクを、第2マイク群M20と総称する。第1マイク群M10および第2マイク群M20に含めるマイクの種類は、特に限定しないが、例えばビームフォーミング用のマイクを用いることができる。
一方、サーバー3は、第1スピーカーSP1および第2スピーカーSP2と連携し、AIアシスタントサービスを提供する。なお、「AIアシスタントサービス」とは、ユーザーからの質問(例えば、音声「今日の天気は」を取得する)に回答(例えば、音声「今日の天気は晴れです」を出力する)したり、ユーザーからのリクエスト(例えば、音声「音楽再生して」を取得する)に応答(例えば、音楽を再生する)したりするサービスである。また、本実施形態に係るサーバー3は、ユーザーUと、第1スピーカーSP1と、第2スピーカーSP2と、の位置関係を特定し、特定した位置関係に基づいて、第1スピーカーSP1および第2スピーカーSP2のうち、いずれか一方にLチャンネルを割り当て、他方にRチャンネルを割り当てるチャンネル自動設定機能を有している。以下、この点を中心に詳述する。
なお、ユーザーUに対して左に配置されたスピーカー、すなわちLチャンネルが割り当てられるべきスピーカーを、「左スピーカー」という。また、ユーザーUに対して右に配置されたスピーカー、すなわちRチャンネルが割り当てられるべきスピーカーを、「右スピーカー」という。
次に、図2および図3を参照し、第1スピーカーSP1およびサーバー3の制御構成について説明する。図2は、第1スピーカーSP1の制御構成を示すブロック図である。第2スピーカーSP2については、第1スピーカーSP1と同様の制御構成であるため、説明を省略する。
第1スピーカーSP1は、スピーカー制御部11と、スピーカー通信部12と、音声出力部13と、第1マイク群M10と、を備えている。第1マイク群M10には、第1マイクM11と、第2マイクM12と、第3マイクM13と、が含まれる。
スピーカー制御部11は、CPU(Central Processing Unit)等のプロセッサーの他、ROM(Read Only Memory)およびRAM(Random Access Memory)等を含み、第1スピーカーSP1の各部を制御する。なお、プロセッサーは、複数のCPUで構成されてもよいし、DSP(digital signal processor)やASIC(Application Specific Integrated Circuit)等のハードウェア回路で構成されてもよい。また、プロセッサーは、1以上のCPUと、ハードウェア回路が協働する構成でもよい。
スピーカー通信部12は、インターネット通信網NWを介して、サーバー3と通信する。なお、スピーカー通信部12は、インターネット通信網NWの他に、無線LAN等を介してサーバー3と通信する構成でもよい。
音声出力部13は、スピーカー制御部11から出力されるデジタル信号をアナログ信号に変換するD/Aコンバーターと、D/Aコンバーターから出力されるアナログ信号を増幅するアンプと、スピーカーユニットと、を含み、アンプから出力されたアナログ信号に基づいて、スピーカーユニットから音声を出力する。以下、音声を出力することを、「発音する」という。
第1マイクM11、第2マイクM12および第3マイクM13は、音声を入力し、入力した音声信号を増幅するアンプと、アンプから出力されるアナログ信号をデジタル信号に変換するA/Dコンバーターと、を含み、A/Dコンバーターから出力されたデジタル信号を、スピーカー制御部11に出力する。以下、音声を入力することを、「収音する」という。
図3は、サーバー3の制御構成を示すブロック図である。サーバー3は、サーバー制御部31と、サーバー通信部32と、サーバー記憶部33と、を備えている。サーバー制御部31は、CPU等のプロセッサーの他、ROMおよびRAM等を含み、サーバー3の各部を制御する。なお、プロセッサーは、複数のCPUで構成されてもよいし、ハードウェア回路で構成されてもよい。また、プロセッサーは、1以上のCPUと、ハードウェア回路が協働する構成でもよい。
また、サーバー制御部31は、後述する音場制御プログラム33aを実行することにより、音声認識部41、基準位置方向特定部42、スピーカー方向特定部43、スピーカー位置特定部44、チャンネル設定部45および出力レベル設定部46として機能する。
音声認識部41は、第1スピーカーSP1に設けられた第1マイク群M10で収音された音声に基づくデジタル信号、または、第2スピーカーSP2に設けられた第2マイク群M20で収音された音声に基づくデジタル信号、を取得し、音声認識を行う。なお、「収音された音声に基づくデジタル信号」を、以下「収音音声」という。また、音声認識部41は、第1マイク群M10または第2マイク群M20で収音された収音音声に基づいて、後述するチャンネル設定処理(図10参照)の開始をユーザーUが指示する指示音声を取得したか否かを判定する。指示音声としては、例えば、「チャンネルを設定して」や「ステレオで聞きたい」などが考えられる。
基準位置方向特定部42は、ユーザーUの位置から発音されたテスト音を、第1マイク群M10で収音した収音結果に基づいて、第1スピーカーSP1からのユーザーUの方向を特定する。すなわち、基準位置方向特定部42は、ユーザーUの位置から発音されたテスト音を、第1マイク群M10で収音した収音結果に基づいて、第1スピーカーSP1の位置から見たユーザーUの方向を特定する。本実施形態において、「第1マイク群M10で収音した収音結果」とは、第1マイク群M10に含まれる個々のマイクで収音した収音音声を指す。また、基準位置方向特定部42は、ユーザーUの位置から発音されたテスト音を、第2マイク群M20で収音した収音結果に基づいて、第2スピーカーSP2からのユーザーUの方向を特定する。すなわち、基準位置方向特定部42は、ユーザーUの位置から発音されたテスト音を、第2マイク群M20で収音した収音結果に基づいて、第2スピーカーSP2の位置から見たユーザーUの方向を特定する。本実施形態において、「第2マイク群M20で収音した収音結果」とは、第2マイク群M20に含まれる個々のマイクで収音した収音音声を指す。このとき、基準位置方向特定部42は、音声認識部41により、指示音声を取得したと判定された場合、その音声を、ユーザーUの位置から発音されたテスト音として、ユーザーUの方向を特定する。
より具体的には、基準位置方向特定部42は、第1マイク群M10で収音した収音結果から得られる、第1マイクM11、第2マイクM12および第3マイクM13のマイクごとの収音時刻と、第1マイクM11、第2マイクM12および第3マイクM13の第1スピーカーSP1における配置と、に基づいて、第1スピーカーSP1からのユーザーUの方向を特定する。また、基準位置方向特定部42は、第2マイク群M20で収音した収音結果から得られる、第1マイクM21、第2マイクM22および第3マイクM23のマイクごとの収音時刻と、第1マイクM21、第2マイクM22および第3マイクM23の第2スピーカーSP2における配置と、に基づいて、第2スピーカーSP2からのユーザーUの方向を特定する。なお、本実施形態において、第1マイクM11、第2マイクM12および第3マイクM13の第1スピーカーSP1における配置と、第1マイクM21、第2マイクM22および第3マイクM23の第2スピーカーSP2における配置と、は同じ配置とする。
スピーカー方向特定部43は、第1スピーカーSP1および第2スピーカーSP2に対し、テスト音を発音させるための発音指示を行う。ここで用いるテスト音は、特に限定しないが、ユーザーUの耳障りにならない程度の短い電子音、または、人間には認識できない可聴帯域外の信号を用いることが好ましい。
また、スピーカー方向特定部43は、第1スピーカーSP1から発音されたテスト音を、第2マイク群M20で収音した収音結果に基づいて、第2スピーカーSP2からの第1スピーカーSP1の方向を特定する。すなわち、スピーカー方向特定部43は、第1スピーカーSP1から発音されたテスト音を、第2マイク群M20で収音した収音結果に基づいて、第2スピーカーSP2の位置から見た第1スピーカーSP1の方向を特定する。また、スピーカー方向特定部43は、第2スピーカーSP2から発音されたテスト音を、第1マイク群M10で収音した収音結果に基づいて、第1スピーカーSP1からの第2スピーカーSP2の方向を特定する。すなわち、スピーカー方向特定部43は、第2スピーカーSP2から発音されたテスト音を、第1マイク群M10で収音した収音結果に基づいて、第1スピーカーSP1の位置から見た第2スピーカーSP2の方向を特定する。
より具体的には、スピーカー方向特定部43は、第2マイク群M20で収音した収音結果から得られる、第1マイクM21、第2マイクM22および第3マイクM23のマイクごとの収音時刻と、第1マイクM21、第2マイクM22および第3マイクM23の第2スピーカーSP2における配置と、に基づいて、第2スピーカーSP2からの第1スピーカーSP1の方向を特定する。また、スピーカー方向特定部43は、第1マイク群M10で収音した収音結果から得られる第1マイクM11、第2マイクM12および第3マイクM13のマイクごとの収音時刻と、第1マイクM11、第2マイクM12および第3マイクM13の第1スピーカーSP1における配置と、に基づいて、第1スピーカーSP1からの第2スピーカーSP2の方向を特定する。このように、スピーカー方向特定部43による特定方法は、基準位置方向特定部42による特定方法と同じアルゴリズムを採用可能である。
スピーカー位置特定部44は、基準位置方向特定部42の特定結果と、スピーカー方向特定部43の特定結果と、に基づいて、第1スピーカーSP1および第2スピーカーSP2のうち、ユーザーUに対して左に配置された左スピーカーおよびユーザーUに対して右に配置された右スピーカーを特定する。すなわち、スピーカー位置特定部44は、基準位置方向特定部42の特定結果と、スピーカー方向特定部43の特定結果と、に基づいて、第1スピーカーSP1および第2スピーカーSP2のうち、ユーザーUから見て左に配置された左スピーカーおよびユーザーUから見て右に配置された右スピーカーを特定する。
チャンネル設定部45は、スピーカー位置特定部44の特定結果に基づいて、第1スピーカーSP1および第2スピーカーSP2のチャンネルを設定する。例えば、チャンネル設定部45は、スピーカー位置特定部44により、第1スピーカーSP1が左スピーカーとして特定され、第2スピーカーSP2が右スピーカーとして特定された場合、第1スピーカーSP1をLチャンネルに設定し、第2スピーカーSP2をRチャンネルに設定する。
出力レベル設定部46は、ユーザーUの位置から発音されたテスト音、すなわち指示音声を、第1マイク群M10で収音した収音結果と、同じ指示音声を、第2マイク群M20で収音した収音結果と、に基づいて、第1スピーカーSP1および第2スピーカーSP2の出力レベルを設定する。より具体的には、出力レベル設定部46は、第1スピーカーSP1から発音された音と、第2スピーカーSP2から発音された音と、がユーザーUの位置で同じ音量となるように、第1スピーカーSP1と第2スピーカーSP2の出力レベルを設定する。例えば、第1マイク群M10で収音した収音結果、すなわち第1マイク群M10の収音レベルが、第2マイク群M20で収音した収音結果、すなわち第2マイク群M20の収音レベルよりも大きい場合、収音レベルの差に応じて、第2スピーカーSP2の出力レベルが、第1スピーカーSP1の出力レベルよりも大きくなるように、出力レベルを設定する。これにより、ユーザーUは、第1スピーカーSP1から発音された音と、第2スピーカーSP2から発音された音と、を同じ音量で聞き取ることができる。ここで、収音レベルとは、第1マイク群M10または第2マイク群M20による収音音声の受信レベルを指す。なお、第1マイク群M10で収音した収音結果としては、例えば、第1マイクM11、第2マイクM12および第3マイクM13の平均収音レベルを採用可能である。第2マイク群M20で収音した収音結果についても、同様である。
一方、サーバー通信部32は、インターネット通信網NWを介して、第1スピーカーSP1および第2スピーカーSP2と通信する。なお、サーバー通信部32は、第1スピーカーSP1および第2スピーカーSP2から、第1マイク群M10および第2マイク群M20による収音音声を取得したり、第1スピーカーSP1および第2スピーカーSP2に対し、チャンネル設定部45の設定に基づき、LチャンネルまたはRチャンネルに対応した再生信号を出力したりするために用いられる。
サーバー記憶部33は、例えば、HDD(Hard Disk Drive)であり、OS(Operating System)等の基本ソフトウェアの他、音場制御プログラム33aを記憶している。サーバー制御部31は、この音場制御プログラム33aに基づいて、後述するチャンネル設定処理を実行する。
上記の構成により、例えば、ユーザーUが、図1に示したユーザーUの位置で指示音声を発声すると、サーバー3は、第1スピーカーSP1をLチャンネルに設定し、第2スピーカーSP2をRチャンネルに設定する。また、ユーザーUが、移動して、ユーザーU´の位置で指示音声を発声すると、第1スピーカーSP1をRチャンネルに設定し、第2スピーカーSP2をLチャンネルに設定する。このように、ユーザーUは、自分が聴取したい位置で指示音声を発声するだけでよいため、チャンネル設定操作に不得手であっても、容易且つ適切にチャンネル設定操作を行うことができる。なお、ユーザーUによる指示音声の発声は、「テスト音の発音」の一例である。
次に、図4ないし図9を参照し、基準位置方向特定部42、スピーカー方向特定部43、スピーカー位置特定部44およびチャンネル設定部45の詳細について説明する。まず、図4ないし図7に基づいて、基準位置方向特定部42により、第1スピーカーSP1からのユーザーUの方向を特定する方法を説明する。なお、第2スピーカーSP2からのユーザーUの方向も、同じ方法で特定可能である。
図4は、第1スピーカーSP1に設けられた第1マイクM11、第2マイクM12および第3マイクM13と、ユーザーUと、の位置関係を示す図である。第1スピーカーSP1における第1マイクM11、第2マイクM12および第3マイクM13の配置は、上から見た図、すなわち平面図として表している。なお、第1マイクM11、第2マイクM12および第3マイクM13は、第1スピーカーSP1の上面に配置されてもよいし、側面に配置されてもよいし、底面に配置されてもよい。
図4は、ユーザーUが発声した指示音声が、第1マイクM11、第2マイクM12および第3マイクM13に対し、それぞれTime11、Time12およびTime13の到達時間で到達することを示している。
一方、第1スピーカーSP1には、上から見たときに、周方向における基準方向、すなわち0°の方向が定められており、本実施形態において、第1マイクM11は、90°の位置、第2マイクM12は、330°の位置、第3マイクM13は、210°の位置に配置されている。このように、第1マイク群M10に含まれる3つのマイクは、第1スピーカーSP1に対し、120°(360°/マイク数「3」)ずつ位置ずれして設けられている。また、第1マイクM11、第2マイクM12および第3マイクM13は、第1スピーカーSP1を上から見た状態において、正三角形の頂点に位置するように、等間隔で配置されている。
図5は、ユーザーUが発声した指示音声の音声波形と、第1マイクM11、第2マイクM12および第3マイクM13の収音音声の音声波形と、を時間軸上で示す図である。第1マイクM11、第2マイクM12および第3マイクM13と、ユーザーUと、の位置関係が、図4に示した位置関係の場合、指示音声が、第1マイクM11、第2マイクM12および第3マイクM13に到達する到達時間は、Time12>Time11>Time13となる。なお、Time11、Time12およびTime13は、ユーザーUによる指示音声の発音タイミングを特定できないため、正確な値ではないが、ここでは便宜上、第1マイクM11、第2マイクM12および第3マイクM13のうち、最初に指示音声を収音したタイミングよりも前の任意の時点を、指示音声の発音タイミングとして、図示および説明する。
図4および図5に示すように、Time12>Time11の場合、ユーザーUは、第1スピーカーSP1に対して、30°ないし210°の方向に位置することになる。また、Time11>Time13の場合、ユーザーUは、第1スピーカーSP1に対して、150°ないし330°の方向に位置することになる。したがって、Time12>Time11>Time13の場合、ユーザーUは、第1スピーカーSP1に対して、150°ないし210°の方向に位置することになる。
次に、第1マイクM11、第2マイクM12および第3マイクM13のうち、いずれか2つのマイクへの到達時間の時間差Δt〔s〕を用いて、第1スピーカーSP1からのユーザーUの方向を、より正確に特定していく。本実施形態では、Time12>Time11>Time13であるため、ユーザーUから遠い位置にある第1マイクM11への到達時間Time11と、第2マイクM12への到達時間Time12と、の時間差Δt〔s〕を用いて、第1スピーカーSP1からのユーザーUの方向を正確に特定する。ここで、指示音声の第1マイクM11と第2マイクM12への到達時間の時間差Δt〔s〕は、第1マイクM11と第2マイクM12の収音時刻の時間差に相当する。なお、図5では、時間差Δt〔s〕の計測基準を、音声波形の始点としているが、音声波形の終点とするなど、測定基準は任意である。
図6は、第1マイクM11および第2マイクM12と、ユーザーUと、の位置関係を示す図である。上記のとおり、第1マイクM11は、90°の位置、第2マイクM12は、330°の位置に配置され、第3マイクM13は、210°の位置に配置され、且つ、第1マイクM11、第2マイクM12および第3マイクM13は、等間隔となるように配置されているため、第1マイクM11と第2マイクM12を結ぶ直線は、第1スピーカーSP1に対して、120°の角度となる。また、同図に示すように、第1マイクM11からのユーザーUの方向をθ11、第2マイクM12からのユーザーUの方向をθ12とする。
図7は、図6における、第1マイクM11および第2マイクM12と、ユーザーUと、の位置関係をxy座標上で示す図である。ここで、ユーザーUが、第1マイクM11と第2マイクM12との間の距離に対して十分離れている場合、θ11≒θ12とみなすことができる。そのため、θ12を求めることで、第1スピーカーSP1からのユーザーUの方向を特定することができる。なお、図7においてx軸は0°を示しているが、図6に示したとおり、実際は、第1スピーカーSP1の基準方向に対して120°に相当するため、θ12は、最終的に、120°を加味して算出される。つまり、サーバー3は、第1スピーカーSP1における第1マイク群M10の配置、および第2スピーカーSP2における第2マイク群M20の配置を、音場制御プログラム33aの一部として記憶している。
図7に示すように、第1マイクM11と第2マイクM12との間の距離をM〔m〕とする。また、ユーザーUと第1マイクM11との間の距離と、ユーザーUと第2マイクM12との間の距離と、の差をΔd〔m〕とする。このとき、式(1)の関係が成り立つ。
ここで、Δdは、音速を、C〔m/s〕とし、第1マイクM11と第2マイクM12の収音時刻の時間差を、Δt〔s〕とすると、式(2)の関係が成り立つ。
また、式(1)と、式(2)より、式(3)が成り立つ。
また、式(3)より、第1スピーカーSP1からのユーザーUの方向を示すθ12は、式(4)により求められる。
ここで、音速C〔m/s〕と、マイク間距離M〔m〕とは、サーバー3にとって既知の値であるため、Δt〔s〕を求めることで、θ12が求められる。
なお、スピーカー方向特定部43による第1スピーカーSP1と第2スピーカーSP2との相互の方向についても、基準位置方向特定部42と同様の方法で特定可能である。例えば、第2スピーカーSP2からの第1スピーカーSP1の方向を特定する場合は、第1スピーカーSP1から発音したテスト音を、第2スピーカーSP2に設けられた第2マイク群M20に含まれる個々のマイクの収音時刻の時間差を用いればよい。また、第1スピーカーSP1からの第2スピーカーSP2の方向を特定する場合は、第2スピーカーSP2から発音されたテスト音を、第1スピーカーSP1に設けられた第1マイク群M10に含まれる個々のマイクの収音時刻の時間差を用いればよい。
続いて、図8および図9に基づいて、スピーカー位置特定部44により、左スピーカーおよび右スピーカーを特定し、チャンネル設定部45により、第1スピーカーSP1および第2スピーカーSP2のチェンネルを設定する方法を説明する。
図8は、第1スピーカーSP1と、第2スピーカーSP2と、ユーザーUと、の位置関係を示す図である。同図に示すように、第1スピーカーSP1からのユーザーUの方向を、∠A1_U、第1スピーカーSP1からの第2スピーカーSP2の方向を、∠A1_A2とする。同様に、第2スピーカーSP2からのユーザーUの方向を、∠A2_U、第2スピーカーSP2からの第1スピーカーSP1の方向を、∠A2_A1とする。
このとき、第1スピーカーSP1からのユーザーUの方向と、第1スピーカーSP1からの第2スピーカーSP2の方向と、の差である∠UA1A2は、式(5)により求められる。
同様に、第2スピーカーSP2からのユーザーUの方向と、第2スピーカーSP2からの第1スピーカーSP1の方向と、の差である∠A1A2Uは、式(6)により求められる。
また、ユーザーUからの第1スピーカーSP1の方向と、ユーザーUからの第2スピーカーSP2の方向と、の差である∠A1UA2は、三角形の内角の和が180°であることから、式(7)により求められる。
式(5)、式(6)および式(7)より、式(8)が成り立つ。
ここで、基準位置方向特定部42により、∠A1_Uおよび∠A2_Uが特定され、スピーカー方向特定部43により、∠A1_A2および∠A2_A1が特定されているため、∠A1UA2が求められる。
スピーカー位置特定部44は、以上の方法により求められた∠A1UA2が、180°未満であるか否かに基づいて、左スピーカーと右スピーカーを特定する。より具体的には、図9に示すように、スピーカー位置特定部44は、∠A1UA2が180°未満の場合、第1スピーカーSP1を左スピーカーに特定し、第2スピーカーSP2を右スピーカーに特定する。また、スピーカー位置特定部44は、∠A1UA2が180°以上の場合、第1スピーカーSP1を右スピーカーに特定し、第2スピーカーSP2を左スピーカーに特定する。これに伴い、チャンネル設定部45は、∠A1UA2が180°未満の場合、第1スピーカーSP1をLチャンネルに設定し、第2スピーカーSP2をRチャンネルに設定する。また、チャンネル設定部45は、∠A1UA2が180°以上の場合、第1スピーカーSP1をRチャンネルに設定し、第2スピーカーSP2をLチャンネルに設定する。
次に、図10のフローチャートを参照し、サーバー3によるチャンネル設定処理の流れを説明する。図10のフローチャートは、音場制御プログラム33aが起動された状態において、繰り返し実行されるものとする。また、フローチャートにおいて、第1スピーカーSP1を「SP1」、第2スピーカーSP2を「SP2」と表記する。
サーバー3は、第1スピーカーSP1または第2スピーカーSP2により収音された収音音声に基づいて、チャンネル設定処理の開始を指示する指示音声を取得したか否かを判別する(S01)。サーバー3は、指示音声を取得したと判定した場合(S01:Yes)、S02に進み、指示音声を取得していないと判定した場合(S01:No)、S01を繰り返す。S01は、音声認識部41による処理工程である。
サーバー3は、取得した指示音声に基づいて、第1スピーカーSP1からのユーザーUの方向と、第2スピーカーSP2からのユーザーUの方向と、を特定する(S02)。すなわち、S02では、∠A1_Uおよび∠A2_Uを特定する(図8参照)。S02は、基準位置方向特定部42による処理工程である。
サーバー3は、第1スピーカーSP1および第2スピーカーSP2に対し、テスト音の発音指示を行う(S03)。なお、第1スピーカーSP1と第2スピーカーSP2に対するテスト音の発音指示は、同時ではなく、時間をずらして行うことが好ましい。サーバー3は、第1スピーカーSP1から発音されたテスト音を第2マイク群M20で収音した収音結果に基づいて、第2スピーカーSP2からの第1スピーカーSP1の方向を特定し、第2スピーカーSP2から発音されたテスト音を第1マイク群M10で収音した収音結果に基づいて、第1スピーカーSP1からの第2スピーカーSP2の方向を特定する(S04)。すなわち、S04では、∠A2_A1および∠A1_A2を特定する(図8参照)。S03およびS04は、スピーカー方向特定部43による処理工程である。
サーバー3は、S02で特定した∠A1_Uおよび∠A2_Uと、S04で特定した∠A2_A1および∠A1_A2と、に基づいて、∠A1UA2を求める(S05,図8参照)。また、サーバー3は、求めた∠A1UA2が、180°未満であるか否かを判別し(S06)、180°未満であると判定した場合(S06:Yes)、第1スピーカーSP1を左スピーカー、第2スピーカーSP2を右スピーカーとして特定する(S07)。また、サーバー3は、第1スピーカーSP1をLチャンネル、第2スピーカーSP2をRチャンネルに設定する(S08)。
一方、サーバー3は、求めた∠A1UA2が、180°未満ではないと判定した場合(S06:No)、第1スピーカーSP1を右スピーカー、第2スピーカーSP2を左スピーカーとして特定する(S09)。また、サーバー3は、第1スピーカーSP1をRチャンネル、第2スピーカーSP2をLチャンネルに設定する(S10)。S05ないしS07およびS09は、スピーカー位置特定部44による処理工程である。また、S08およびS10は、チャンネル設定部45による処理工程である。
サーバー3は、指示音声の収音結果から、第1スピーカーSP1と第2スピーカーSP2の収音レベルが等しいか否か、すなわち、第1マイク群M10と第2マイク群M20の収音レベルが等しいか否かを判別する(S11)。サーバー3は、第1スピーカーSP1と第2スピーカーSP2の収音レベルが等しいと判定した場合(S11:Yes)、チャンネル設定処理を終了する。
また、サーバー3は、第1スピーカーSP1と第2スピーカーSP2の収音レベルが等しくないと判定した場合(S11:No)、第1スピーカーSP1から発音された音と、第2スピーカーSP2から発音された音と、がユーザーUの位置で同じ音量となるように、第1スピーカーSP1と第2スピーカーSP2の出力レベルを設定する(S12)。例えば、第1スピーカーSP1の収音レベルが第2スピーカーSP2の収音レベルより大きい場合、第1スピーカーSP1が第2スピーカーSP2よりユーザーUの位置に近いため、収音レベルの差に応じて、第2スピーカーSP2の音量を、第1スピーカーSP1の音量より大きくすることが考えられる。サーバー3は、第1スピーカーSP1と第2スピーカーSP2の出力レベルを設定した後(S12)、チャンネル設定処理を終了する。S11およびS12は、出力レベル設定部46による処理工程である。
以上説明したとおり、本実施形態に係るサーバー3は、ユーザーUの位置から発音されたテスト音に基づいて、第1スピーカーSP1からのユーザーUの方向と、第2スピーカーSP2からのユーザーUの方向と、を特定し、第1スピーカーSP1および第2スピーカーSP2からそれぞれ発音されたテスト音に基づいて、第1スピーカーSP1および第2スピーカーSP2のスピーカー同士の方向を特定する。また、サーバー3は、これらの特定結果に基づいて、第1スピーカーSP1および第2スピーカーSP2のうち、ユーザーUに対して左に配置された左スピーカーおよびユーザーUに対して右に配置された右スピーカーを特定する。この構成によれば、左スピーカーおよび右スピーカーを正確に特定することができる。
また、サーバー3は、左スピーカーおよび右スピーカーの特定結果に基づいて、第1スピーカーSP1および第2スピーカーSP2のチャンネルを設定するため、ユーザーUは、チャンネル設定の手間を省くことができる。
また、サーバー3は、第1マイク群M10または第2マイク群M20で収音した音声に基づいて、指示音声を取得したと判定した場合、取得した指示音声に基づいてユーザーUの方向を特定するため、基準位置方向特定部42によりユーザーUの方向を特定するためのテスト音を、指示音声とは別に発音させる必要がない。
また、サーバー3は、基準位置方向特定部42の処理において、例えば、第1スピーカーSP1からのユーザーUの方向を特定する際、第1マイク群M10の収音結果から得られるマイクごとの収音時刻と、第1マイク群M10に含まれる個々のマイクの第1スピーカーSP1における配置と、を考慮するため、より正確にユーザーUの方向を特定することができる。スピーカー方向特定部43の処理においても同様である。
また、サーバー3は、ユーザーUから発音されたテスト音を、第1マイク群M10および第2マイク群M20で収音した収音結果に基づいて、第1スピーカーSP1および第2スピーカーSP2の出力レベルを設定するため、ユーザーUは、スピーカーの出力レベルを調整する手間を省くことができる。
なお、上記の実施形態によらず、以下の変形例を採用可能である。
[変形例1−1]
サーバー制御部31から、チャンネル設定部45の機能を省略してもよい。この場合、サーバー3は、第1スピーカーSP1または第2スピーカーSP2に対し、スピーカー位置特定部44の特定結果を、音声出力させてもよい。また、ユーザーUは、第1スピーカーSP1または第2スピーカーSP2から出力された音声にしたがって、チャンネル設定を手動で行えばよい。また、サーバー3は、第1スピーカーSP1または第2スピーカーSP2に音声出力させるのではなく、ユーザーUのスマートフォンや、音場100に配置されたディスプレー等に、スピーカー位置特定部44の特定結果を表示させ、ユーザーUにチャンネル設定を促してもよい。
[変形例1−1]
サーバー制御部31から、チャンネル設定部45の機能を省略してもよい。この場合、サーバー3は、第1スピーカーSP1または第2スピーカーSP2に対し、スピーカー位置特定部44の特定結果を、音声出力させてもよい。また、ユーザーUは、第1スピーカーSP1または第2スピーカーSP2から出力された音声にしたがって、チャンネル設定を手動で行えばよい。また、サーバー3は、第1スピーカーSP1または第2スピーカーSP2に音声出力させるのではなく、ユーザーUのスマートフォンや、音場100に配置されたディスプレー等に、スピーカー位置特定部44の特定結果を表示させ、ユーザーUにチャンネル設定を促してもよい。
[変形例1−2]
上記の第1実施形態では、第1スピーカーSP1または第2スピーカーSP2の2つのスピーカーを含む音場制御システムSY1を例示したが、3つ以上のスピーカーを含む音場制御システムSY1にも、上記の第1実施形態を適用可能である。例えば、スピーカーA、スピーカーBおよびスピーカーCの3つのスピーカーを、左スピーカー、右スピーカー、センタースピーカーとして特定する場合、基準位置方向特定部42は、3つのスピーカーのそれぞれからのユーザーUの方向を特定する。また、スピーカー方向特定部43は、スピーカーAから発音されたテスト音を、スピーカーBおよびスピーカーCで収音した収音結果に基づいて、スピーカーBからのスピーカーAの方向と、スピーカーCからのスピーカーAの方向と、を特定する。また、スピーカー方向特定部43は、スピーカーBから発音されたテスト音を、スピーカーAおよびスピーカーCで収音した収音結果に基づいて、スピーカーAからのスピーカーBの方向と、スピーカーCからのスピーカーBの方向と、を特定する。また、スピーカー方向特定部43は、スピーカーCから発音されたテスト音を、スピーカーAおよびスピーカーBで収音した収音結果に基づいて、スピーカーAからのスピーカーCの方向と、スピーカーBからのスピーカーCの方向と、を特定する。また、スピーカー位置特定部44は、基準位置方向特定部42の特定結果と、スピーカー方向特定部43の特定結果と、に基づいて、スピーカーA、スピーカーBおよびスピーカーCのうち、左スピーカー、右スピーカー、センタースピーカーをそれぞれ特定する。より具体的には、スピーカー位置特定部44は、スピーカーAとスピーカーBの左右位置を特定し、スピーカーBとスピーカーCの左右位置を特定し、さらに必要であれば、スピーカーAとスピーカーCの左右位置を特定し、最終的に、3つのスピーカーの位置を特定する。その他、5.1チャンネル対応の6つのスピーカーのスピーカー位置を特定する場合などにも、上記の第1実施形態を適用可能である。
上記の第1実施形態では、第1スピーカーSP1または第2スピーカーSP2の2つのスピーカーを含む音場制御システムSY1を例示したが、3つ以上のスピーカーを含む音場制御システムSY1にも、上記の第1実施形態を適用可能である。例えば、スピーカーA、スピーカーBおよびスピーカーCの3つのスピーカーを、左スピーカー、右スピーカー、センタースピーカーとして特定する場合、基準位置方向特定部42は、3つのスピーカーのそれぞれからのユーザーUの方向を特定する。また、スピーカー方向特定部43は、スピーカーAから発音されたテスト音を、スピーカーBおよびスピーカーCで収音した収音結果に基づいて、スピーカーBからのスピーカーAの方向と、スピーカーCからのスピーカーAの方向と、を特定する。また、スピーカー方向特定部43は、スピーカーBから発音されたテスト音を、スピーカーAおよびスピーカーCで収音した収音結果に基づいて、スピーカーAからのスピーカーBの方向と、スピーカーCからのスピーカーBの方向と、を特定する。また、スピーカー方向特定部43は、スピーカーCから発音されたテスト音を、スピーカーAおよびスピーカーBで収音した収音結果に基づいて、スピーカーAからのスピーカーCの方向と、スピーカーBからのスピーカーCの方向と、を特定する。また、スピーカー位置特定部44は、基準位置方向特定部42の特定結果と、スピーカー方向特定部43の特定結果と、に基づいて、スピーカーA、スピーカーBおよびスピーカーCのうち、左スピーカー、右スピーカー、センタースピーカーをそれぞれ特定する。より具体的には、スピーカー位置特定部44は、スピーカーAとスピーカーBの左右位置を特定し、スピーカーBとスピーカーCの左右位置を特定し、さらに必要であれば、スピーカーAとスピーカーCの左右位置を特定し、最終的に、3つのスピーカーの位置を特定する。その他、5.1チャンネル対応の6つのスピーカーのスピーカー位置を特定する場合などにも、上記の第1実施形態を適用可能である。
[変形例1−3]
上記の第1実施形態において、第1マイク群M10および第2マイク群M20は、いずれも3個のマイクを含むものとしたが、4個以上のマイクを含む構成でもよい。この場合、例えば第1スピーカーSP1の場合、4個以上のマイクのうち、いずれか3個のマイクを、第1マイクM11、第2マイクM12および第3マイクM13として用いてもよい。若しくは、4個以上のマイクの全てのマイクでユーザーUから発音されたテスト音を収音し、ユーザーUから最も遠くに位置する3個のマイクを、第1マイクM11、第2マイクM12および第3マイクM13として用いてもよい。
上記の第1実施形態において、第1マイク群M10および第2マイク群M20は、いずれも3個のマイクを含むものとしたが、4個以上のマイクを含む構成でもよい。この場合、例えば第1スピーカーSP1の場合、4個以上のマイクのうち、いずれか3個のマイクを、第1マイクM11、第2マイクM12および第3マイクM13として用いてもよい。若しくは、4個以上のマイクの全てのマイクでユーザーUから発音されたテスト音を収音し、ユーザーUから最も遠くに位置する3個のマイクを、第1マイクM11、第2マイクM12および第3マイクM13として用いてもよい。
[変形例1−4]
第1スピーカーSP1と第2スピーカーSP2は、同じ構成でなくてもよい。例えば、第1スピーカーSP1と第2スピーカーSP2に搭載されるマイクの数、およびマイクの配置が異なっていてもよい。
第1スピーカーSP1と第2スピーカーSP2は、同じ構成でなくてもよい。例えば、第1スピーカーSP1と第2スピーカーSP2に搭載されるマイクの数、およびマイクの配置が異なっていてもよい。
[変形例1−5]
上記の実施形態では、第1スピーカーSP1とサーバー3、および第2スピーカーSP2とサーバー3が、インターネット通信網NWを介して接続される例を示したが、インターネット通信網NW以外のネットワークを介して接続されてもよい。つまり、サーバー3は、クラウドサーバーでなくてもよい。また、サーバー3に代えて、パーソナルコンピューター、タブレット端末、スマートフォンなどの情報処理端末を用いてもよい。この場合、各スピーカーと、情報処理端末とは、ネットワークではなく、ケーブルやブルートゥース(登録商標)回線などの通信線を介して接続されてもよい。
上記の実施形態では、第1スピーカーSP1とサーバー3、および第2スピーカーSP2とサーバー3が、インターネット通信網NWを介して接続される例を示したが、インターネット通信網NW以外のネットワークを介して接続されてもよい。つまり、サーバー3は、クラウドサーバーでなくてもよい。また、サーバー3に代えて、パーソナルコンピューター、タブレット端末、スマートフォンなどの情報処理端末を用いてもよい。この場合、各スピーカーと、情報処理端末とは、ネットワークではなく、ケーブルやブルートゥース(登録商標)回線などの通信線を介して接続されてもよい。
[変形例1−6]
上記の第1実施形態において、基準位置方向特定部42は、ユーザーUが発音した指示音声を用いて、ユーザーUの方向を特定したが、必ずしもユーザーUの指示音声を用いなくてもよい。例えば、ユーザーUが所持するスマートフォンからテスト音を発音してもよい。この場合、スマートフォンは、ユーザーUの操作に基づいて、第1スピーカーSP1および第2スピーカーSP2に対し、チャンネル設定処理の開始を指示するコマンドを送信し、その後、テスト音を発音する。このように、テスト音の発音前に、第1スピーカーSP1および第2スピーカーSP2に対してコマンドを送信することにより、テスト音の誤認識を防止することができる。
上記の第1実施形態において、基準位置方向特定部42は、ユーザーUが発音した指示音声を用いて、ユーザーUの方向を特定したが、必ずしもユーザーUの指示音声を用いなくてもよい。例えば、ユーザーUが所持するスマートフォンからテスト音を発音してもよい。この場合、スマートフォンは、ユーザーUの操作に基づいて、第1スピーカーSP1および第2スピーカーSP2に対し、チャンネル設定処理の開始を指示するコマンドを送信し、その後、テスト音を発音する。このように、テスト音の発音前に、第1スピーカーSP1および第2スピーカーSP2に対してコマンドを送信することにより、テスト音の誤認識を防止することができる。
[変形例1−7]
上記の第1実施形態では、基準位置方向特定部42の処理の後に、スピーカー方向特定部43の処理を行ったが、処理の順序は逆でもよい。
上記の第1実施形態では、基準位置方向特定部42の処理の後に、スピーカー方向特定部43の処理を行ったが、処理の順序は逆でもよい。
[変形例1−8]
上記の第1実施形態では、ユーザーUが発音した指示音声の取得をトリガーとして、基準位置方向特定部42、スピーカー方向特定部43、スピーカー位置特定部44、チャンネル設定部45および出力レベル設定部46の処理を順次行ったが、必ずしも各処理を連続して行わなくてもよい。例えば、以下のように各処理を行ってもよい。サーバー3は、定期的にスピーカー方向特定部43の処理を行い、第1スピーカーSP1および第2スピーカーSP2の方向を特定した特定結果を記憶しておく。サーバー3は、第1スピーカーSP1または第2スピーカーSP2による指示音声の取得をトリガーとして、基準位置方向特定部42の処理を行い、ユーザーU方向の特定結果と、記憶しておいたスピーカーの方向と、を用いて、スピーカー位置特定部44の処理を行い、さらに続けて、チャンネル設定部45および出力レベル設定部46の処理を行う。
上記の第1実施形態では、ユーザーUが発音した指示音声の取得をトリガーとして、基準位置方向特定部42、スピーカー方向特定部43、スピーカー位置特定部44、チャンネル設定部45および出力レベル設定部46の処理を順次行ったが、必ずしも各処理を連続して行わなくてもよい。例えば、以下のように各処理を行ってもよい。サーバー3は、定期的にスピーカー方向特定部43の処理を行い、第1スピーカーSP1および第2スピーカーSP2の方向を特定した特定結果を記憶しておく。サーバー3は、第1スピーカーSP1または第2スピーカーSP2による指示音声の取得をトリガーとして、基準位置方向特定部42の処理を行い、ユーザーU方向の特定結果と、記憶しておいたスピーカーの方向と、を用いて、スピーカー位置特定部44の処理を行い、さらに続けて、チャンネル設定部45および出力レベル設定部46の処理を行う。
[変形例1−9]
上記の実施形態において、サーバー3は、第1マイク群M10で収音した収音結果として、第1スピーカーSP1から、第1マイク群M10に含まれる個々のマイクの収音音声を取得したが、第1スピーカーSP1および第2スピーカーSP2において音声認識が可能である場合、第1スピーカーSP1および第2スピーカーSP2から、個々のマイクの収音時刻を取得してもよい。例えば、第1スピーカーSP1において、チャンネル設定処理の開始を指示する指示音声を取得したと判定した場合、第1マイク群M10に含まれる個々のマイクによる指示音声の収音時刻(例えば、第1マイクM11、第2マイクM12、第3マイクM13の順に、「00時00分00秒00」、「00時00分00秒01」、「00時00分00秒02」など)をサーバー3に送信する。同様に、第2スピーカーSP2において、チャンネル設定処理の開始を指示する指示音声を取得したと判定した場合、第2マイク群M20に含まれる個々のマイクによる指示音声の収音時刻(例えば、第1マイクM21、第2マイクM22、第3マイクM23の順に、「00時00分00秒02」、「00時00分00秒03」、「00時00分00秒04」など)をサーバー3に送信する。サーバー3は、第1スピーカーSP1および第2スピーカーSP2から取得した個々のマイクの収音時刻に基づいて、チャンネル設定処理(図10参照)のS02以降の処理を行う。
なお、第1スピーカーSP1および第2スピーカーSP2は、サーバー3に対し、個々のマイクの収音時刻を送信するのではなく、個々のマイクの収音時刻の時間差を送信してもよい。例えば、第1スピーカーSP1の場合、第1マイクM21と第2マイクM22の時間差、第2マイクM22と第3マイクM23の時間差、第3マイクM23と第1マイクM21の時間差の順に、「1/100秒」、「1/100秒」、「−2/100秒」を、サーバー3に送信してもよい。
上記の実施形態において、サーバー3は、第1マイク群M10で収音した収音結果として、第1スピーカーSP1から、第1マイク群M10に含まれる個々のマイクの収音音声を取得したが、第1スピーカーSP1および第2スピーカーSP2において音声認識が可能である場合、第1スピーカーSP1および第2スピーカーSP2から、個々のマイクの収音時刻を取得してもよい。例えば、第1スピーカーSP1において、チャンネル設定処理の開始を指示する指示音声を取得したと判定した場合、第1マイク群M10に含まれる個々のマイクによる指示音声の収音時刻(例えば、第1マイクM11、第2マイクM12、第3マイクM13の順に、「00時00分00秒00」、「00時00分00秒01」、「00時00分00秒02」など)をサーバー3に送信する。同様に、第2スピーカーSP2において、チャンネル設定処理の開始を指示する指示音声を取得したと判定した場合、第2マイク群M20に含まれる個々のマイクによる指示音声の収音時刻(例えば、第1マイクM21、第2マイクM22、第3マイクM23の順に、「00時00分00秒02」、「00時00分00秒03」、「00時00分00秒04」など)をサーバー3に送信する。サーバー3は、第1スピーカーSP1および第2スピーカーSP2から取得した個々のマイクの収音時刻に基づいて、チャンネル設定処理(図10参照)のS02以降の処理を行う。
なお、第1スピーカーSP1および第2スピーカーSP2は、サーバー3に対し、個々のマイクの収音時刻を送信するのではなく、個々のマイクの収音時刻の時間差を送信してもよい。例えば、第1スピーカーSP1の場合、第1マイクM21と第2マイクM22の時間差、第2マイクM22と第3マイクM23の時間差、第3マイクM23と第1マイクM21の時間差の順に、「1/100秒」、「1/100秒」、「−2/100秒」を、サーバー3に送信してもよい。
[第2実施形態]
次に、図11を参照し、本発明の第2実施形態について説明する。上記の第1実施形態では、サーバー3においてチャンネル設定処理を行ったが、本実施形態では、第1スピーカーSP1´または第2スピーカーSP2´においてチャンネル設定処理を行う。したがって、本実施形態において、サーバー3は不要である。以下、第1実施形態と異なる点のみ説明する。なお、本実施形態において、第1実施形態と同様の構成部分については同様の符号を付し、詳細な説明を省略する。また、第1実施形態と同様の構成部分について適用される変形例は、本実施形態についても同様に適用される。
次に、図11を参照し、本発明の第2実施形態について説明する。上記の第1実施形態では、サーバー3においてチャンネル設定処理を行ったが、本実施形態では、第1スピーカーSP1´または第2スピーカーSP2´においてチャンネル設定処理を行う。したがって、本実施形態において、サーバー3は不要である。以下、第1実施形態と異なる点のみ説明する。なお、本実施形態において、第1実施形態と同様の構成部分については同様の符号を付し、詳細な説明を省略する。また、第1実施形態と同様の構成部分について適用される変形例は、本実施形態についても同様に適用される。
図11は、第2実施形態に係る音場制御システムSY2のブロック図である。音場制御システムSY2は、第1スピーカーSP1´と、第2スピーカーSP2´と、を備えている。第2スピーカーSP2´については、第1スピーカーSP1´と同様の制御構成であるため、説明を省略する。
第1スピーカーSP1´は、第1実施形態に係る第1スピーカーSP1(図2参照)と、スピーカー制御部11´およびスピーカー通信部12´の構成が異なる。また、第1スピーカーSP1´は、スピーカー記憶部14を備えている。スピーカー記憶部14は、音場制御プログラム33aを記憶している。第2実施形態に係るスピーカー制御部11´は、第1実施形態に係るサーバー制御部31(図3参照)と同様に、音場制御プログラム33aを実行することにより、音声認識部41、基準位置方向特定部42、スピーカー方向特定部43、スピーカー位置特定部44、チャンネル設定部45および出力レベル設定部46として機能する。また、第2実施形態に係る第1スピーカーSP1´のスピーカー通信部12´は、第2スピーカーSP2´のスピーカー通信部12´(図示省略)と、無線LAN等の通信網NW´を介して通信する。
第2実施形態では、第1スピーカーSP1´および第2スピーカーSP2´のうち、いずれか一方のスピーカーが、図10に示したチェンネル設定処理のS05以降の処理を実行するマスタースピーカーとして動作し、他方のスピーカーがスレーブスピーカーとして動作する。本実施形態では、第1スピーカーSP1´および第2スピーカーSP2´のうち、後述するチャンネル設定処理(図12参照)において、テスト音の発音指示(S27)を先に行った方のスピーカーが、マスタースピーカーとして動作することになる。したがって、一般的には、第1スピーカーSP1´および第2スピーカーSP2´のうち、ユーザーUから近い方のスピーカーがマスタースピーカーとなる。
マスタースピーカーは、音声認識部41、基準位置方向特定部42、スピーカー方向特定部43、スピーカー位置特定部44、チャンネル設定部45および出力レベル設定部46として機能する。これに対し、スレーブスピーカーは、音声認識部41、基準位置方向特定部42およびスピーカー方向特定部43としてのみ機能する。
図12は、第2実施形態に係るチャンネル設定処理の流れの一部を示すフローチャートである。図12のフローチャートは、音場制御プログラム33aが起動された状態において、繰り返し実行されるものとする。ここでは、第1スピーカーSP1´がマスタースピーカーとなり、第2スピーカーSP2´がスレーブスピーカーとなる場合を説明する。まず、第2スピーカーSP2´を主体として説明する。第2スピーカーSP2´は、第2マイク群M20により収音した収音音声に基づいて、チャンネル設定処理の開始を指示する指示音声を取得したか否かを判別する(S21)。第2スピーカーSP2´は、指示音声を取得したと判定した場合(S21:Yes)、S22に進み、指示音声を取得していないと判定した場合(S21:No)、S21を繰り返す。S21は、音声認識部41による処理工程である。
第2スピーカーSP2´は、収音した指示音声に基づいて、第2スピーカーSP2からのユーザーUの方向を特定する(S22)。すなわち、S22では、∠A2_Uを特定する(図8参照)。S22は、基準位置方向特定部42による処理工程である。
第2スピーカーSP2´は、他のスピーカー、すなわち第1スピーカーSP1´からテスト音の発音指示を受信したか否かを判別する(S23)。第2スピーカーSP2´は、テスト音の発音指示を受信したと判定した場合(S23:Yes)、テスト音を発音する(S24)。なお、第2スピーカーSP2´は、テスト音の発音指示を受信したと判定した場合(S23:Yes)、スレーブスピーカーとして動作する。
その後、第2スピーカーSP2´は、マスタースピーカーすなわち第1スピーカーSP1´から発音されたテスト音の収音に伴い、第2スピーカーSP2´からのマスタースピーカーの方向を特定する(S25)。すなわち、S25では、∠A2_A1を特定する(図8参照)。S23ないしS25は、スピーカー方向特定部43による処理工程である。その後、第2スピーカーSP2´は、角度情報およびレベル情報をマスタースピーカーに送信する(S26)。ここで、角度情報とは、S22およびS25で特定した∠A2_Uおよび∠A2_A1を指す。また、レベル情報とは、S21で収音した指示音声の収音レベルを指す。
次に、第1スピーカーSP1´を主体として説明する。第1スピーカーSP1´は、第1マイク群M10により収音した収音音声に基づいて、チャンネル設定処理の開始を指示する指示音声を取得したか否かを判別する(S21)。第1スピーカーSP1´は、指示音声を取得したと判定した場合(S21:Yes)、S22に進み、指示音声を取得していないと判定した場合(S21:No)、S21を繰り返す。
第1スピーカーSP1´は、収音した指示音声に基づいて、第1スピーカーSP1からのユーザーUの方向を特定する(S22)。すなわち、S22では、∠A1_Uを特定する(図8参照)。
第1スピーカーSP1´は、他のスピーカー、すなわち第2スピーカーSP2´からテスト音の発音指示を受信したか否かを判別する(S23)。第1スピーカーSP1´は、テスト音の発音指示を受信していないと判定した場合(S23:No)、スレーブスピーカーに対し、テスト音の発音指示を行う(S27)。なお、第1スピーカーSP1´は、テスト音の発音指示を受信していないと判定した場合(S23:No)、マスタースピーカーとして動作する。
第1スピーカーSP1´は、スレーブスピーカーすなわち第2スピーカーSP2´から発音されたテスト音の収音に伴い、第1スピーカーSP1´からのスレーブスピーカーの方向を特定する(S28)。すなわち、S28では、∠A1_A2を特定する(図8参照)。その後、第1スピーカーSP1´は、テスト音を発音し(S29)、スレーブスピーカーから角度情報およびレベル情報を受信する(S30)。S27ないしS29は、スピーカー方向特定部43による処理工程である。また、S30は、スピーカー位置特定部44による処理工程の一部である。第1スピーカーSP1´は、S30の後、図10に示したフローチャートのS05以降の処理を行う。
以上説明したとおり、第2実施形態係る音場制御システムSY2は、第1スピーカーSP1´および第2スピーカーSP2´だけの簡易なシステム構成で、第1実施形態と同等の効果を奏することができる。
第2実施形態では、以下の変形例を採用可能である。
[変形例2−1]
上記の第2実施形態では、第1スピーカーSP1´および第2スピーカーSP2´のうち、テスト音の発音指示(図12のS27)を先に行った方のスピーカーが、マスタースピーカーとして動作するものとしたが、指示音声を取得したと判定した時点(S21:Yes)で、他のスピーカーに対し、スレーブスピーカーとして動作するように指令を行ってもよい。この場合、指令を行った方がマスタースピーカーとして動作し、指令を受けた方がスレーブスピーカーとして動作することになる。また、スレーブスピーカーは、スレーブスピーカーとして動作する指令を受けた後、ユーザーUの方向とマスタースピーカーの方向を特定し、角度情報およびレベル情報をマスタースピーカーに送信する。
[変形例2−1]
上記の第2実施形態では、第1スピーカーSP1´および第2スピーカーSP2´のうち、テスト音の発音指示(図12のS27)を先に行った方のスピーカーが、マスタースピーカーとして動作するものとしたが、指示音声を取得したと判定した時点(S21:Yes)で、他のスピーカーに対し、スレーブスピーカーとして動作するように指令を行ってもよい。この場合、指令を行った方がマスタースピーカーとして動作し、指令を受けた方がスレーブスピーカーとして動作することになる。また、スレーブスピーカーは、スレーブスピーカーとして動作する指令を受けた後、ユーザーUの方向とマスタースピーカーの方向を特定し、角度情報およびレベル情報をマスタースピーカーに送信する。
[変形例2−2]
また、第1スピーカーSP1´および第2スピーカーSP2´のうち、マスタースピーカーとして動作するスピーカーと、スレーブスピーカーとして動作するスピーカーを予め決めておいてもよい。この場合、図12のフローチャートにおいて、マスタースピーカーは、テスト音の発音指示を受信したか否かの判別工程(S23)を省略できる。
また、第1スピーカーSP1´および第2スピーカーSP2´のうち、マスタースピーカーとして動作するスピーカーと、スレーブスピーカーとして動作するスピーカーを予め決めておいてもよい。この場合、図12のフローチャートにおいて、マスタースピーカーは、テスト音の発音指示を受信したか否かの判別工程(S23)を省略できる。
以上、2つの実施形態および各種変形例を示したが、これらに示した音場制御システムSY1,SY2における第1スピーカーSP1、第2スピーカーSP2およびサーバー3の各構成要素(音場制御プログラム33aを含む)をプログラムとして提供してもよい。また、そのプログラムを、CD−ROMやフラッシュメモリーなどの各種記録媒体に格納して提供してもよい。すなわち、コンピューターを、第1スピーカーSP1、第2スピーカーSP2およびサーバー3の各構成要素として機能させるためのプログラム、およびそれを記録したコンピューター読取可能な記録媒体も、本発明の権利範囲に含まれる。その他、本発明の要旨を逸脱しない範囲で、適宜変更が可能である。
3…サーバー、100…音場、M10…第1マイク群、M11…第1マイク、M12…第2マイク、M13…第3マイク、M20…第2マイク群、M21…第1マイク、M22…第2マイク、M23…第3マイク、NW…インターネット通信網、SP1…第1スピーカー、SP2…第2スピーカー、SY1…音場制御システム、U…ユーザー
Claims (10)
- 3個以上のマイクである第1マイク群が設けられた第1スピーカーと、3個以上のマイクである第2マイク群が設けられた第2スピーカーと、が配置された音場を制御する音場制御装置であって、
基準位置から発音されたテスト音を、前記第1マイク群で収音した収音結果に基づいて、前記第1スピーカーからの前記基準位置の方向を特定し、前記基準位置から発音されたテスト音を、前記第2マイク群で収音した収音結果に基づいて、前記第2スピーカーからの前記基準位置の方向を特定する基準位置方向特定部と、
前記第1スピーカーから発音されたテスト音を、前記第2マイク群で収音した収音結果に基づいて、前記第2スピーカーからの前記第1スピーカーの方向を特定し、前記第2スピーカーから発音されたテスト音を、前記第1マイク群で収音した収音結果に基づいて、前記第1スピーカーからの前記第2スピーカーの方向を特定するスピーカー方向特定部と、
前記基準位置方向特定部の特定結果と、前記スピーカー方向特定部の特定結果と、に基づいて、前記第1スピーカーおよび前記第2スピーカーのうち、前記基準位置に対して左に配置された左スピーカーおよび前記基準位置に対して右に配置された右スピーカーを特定するスピーカー位置特定部と、を備えることを特徴とする音場制御装置。 - 前記スピーカー位置特定部の特定結果に基づいて、前記第1スピーカーおよび前記第2スピーカーのチャンネルを設定するチャンネル設定部、を備えることを特徴とする請求項1に記載の音場制御装置。
- 前記第1マイク群または前記第2マイク群で収音した音声を認識することにより、処理の開始を指示する指示音声を取得したか否かを判定する音声認識部を備え、
前記基準位置方向特定部は、前記音声認識部により、前記指示音声を取得したと判定された場合、前記指示音声を、前記基準位置から発音されたテスト音として、前記基準位置の方向を特定することを特徴とする請求項1または2に記載の音場制御装置。 - 前記基準位置方向特定部は、前記第1マイク群で収音した収音結果から得られる、前記第1マイク群に含まれる個々の前記マイクの収音時刻の時間差と、前記第1マイク群に含まれる個々の前記マイクの前記第1スピーカーにおける配置と、に基づいて、前記第1スピーカーからの前記基準位置の方向を特定し、前記第2マイク群で収音した収音結果から得られる、前記第2マイク群に含まれる個々の前記マイクの収音時刻の時間差と、前記第2マイク群に含まれる個々の前記マイクの前記第2スピーカーにおける配置と、に基づいて、前記第2スピーカーからの前記基準位置の方向を特定し、
前記スピーカー方向特定部は、前記第2マイク群で収音した収音結果から得られる、前記第2マイク群に含まれる個々の前記マイクの収音時刻の時間差と、前記第2マイク群に含まれる個々の前記マイクの前記第2スピーカーにおける配置と、に基づいて、前記第2スピーカーからの前記第1スピーカーの方向を特定し、前記第1マイク群で収音した収音結果から得られる、前記第1マイク群に含まれる個々の前記マイクの収音時刻の時間差と、前記第1マイク群に含まれる個々の前記マイクの前記第1スピーカーにおける配置と、に基づいて、前記第1スピーカーからの前記第2スピーカーの方向を特定することを特徴とする請求項1ないし3のいずれか1項に記載の音場制御装置。 - 前記基準位置から発音されたテスト音を、前記第1マイク群で収音した収音結果と、前記基準位置から発音されたテスト音を、前記第2マイク群で収音した収音結果と、に基づいて、前記第1スピーカーおよび前記第2スピーカーの出力レベルを設定する出力レベル設定部、を備えることを特徴とする請求項1ないし4のいずれか1項に記載の音場制御装置。
- 3個以上のマイクである第1マイク群が設けられた第1スピーカーと、
3個以上のマイクである第2マイク群が設けられた第2スピーカーと、
前記第1スピーカーおよび前記第2スピーカーが配置された音場を制御する音場制御装置と、を含む音場制御システムであって、
基準位置から発音されたテスト音を、前記第1マイク群で収音した収音結果に基づいて、前記第1スピーカーからの前記基準位置の方向を特定し、前記基準位置から発音されたテスト音を、前記第2マイク群で収音した収音結果に基づいて、前記第2スピーカーからの前記基準位置の方向を特定する基準位置方向特定部と、
前記第1スピーカーから発音されたテスト音を、前記第2マイク群で収音した収音結果に基づいて、前記第2スピーカーからの前記第1スピーカーの方向を特定し、前記第2スピーカーから発音されたテスト音を、前記第1マイク群で収音した収音結果に基づいて、前記第1スピーカーからの前記第2スピーカーの方向を特定するスピーカー方向特定部と、
前記基準位置方向特定部の特定結果と、前記スピーカー方向特定部の特定結果と、に基づいて、前記第1スピーカーおよび前記第2スピーカーのうち、前記基準位置に対して左に配置された左スピーカーおよび前記基準位置に対して右に配置された右スピーカーを特定するスピーカー位置特定部と、を備えることを特徴とする音場制御システム。 - 前記音場制御装置は、前記第1スピーカーまたは前記第2スピーカーに設けられることを特徴とする請求項6に記載の音場制御システム。
- 3個以上のマイクである第1マイク群が設けられた第1スピーカーと、3個以上のマイクである第2マイク群が設けられた第2スピーカーと、が配置された音場を制御する音場制御装置の制御方法であって、
基準位置から発音されたテスト音を、前記第1マイク群で収音した収音結果に基づいて、前記第1スピーカーからの前記基準位置の方向を特定し、前記基準位置から発音されたテスト音を、前記第2マイク群で収音した収音結果に基づいて、前記第2スピーカーからの前記基準位置の方向を特定するステップと、
前記第1スピーカーから発音されたテスト音を、前記第2マイク群で収音した収音結果に基づいて、前記第2スピーカーからの前記第1スピーカーの方向を特定し、前記第2スピーカーから発音されたテスト音を、前記第1マイク群で収音した収音結果に基づいて、前記第1スピーカーからの前記第2スピーカーの方向を特定するステップと、
特定された前記第1スピーカーからの前記基準位置の方向と、前記第2スピーカーからの前記基準位置の方向と、前記第2スピーカーからの前記第1スピーカーの方向と、前記第1スピーカーからの前記第2スピーカーの方向と、に基づいて、前記第1スピーカーおよび前記第2スピーカーのうち、前記基準位置に対して左に配置された左スピーカーおよび前記基準位置に対して右に配置された右スピーカーを特定するステップと、を実行することを特徴とする音場制御装置の制御方法。 - コンピューターに、請求項8に記載の音場制御装置の制御方法における各ステップを実行させるためのプログラム。
- 請求項9に記載のプログラムを記録したコンピューター読取可能な記録媒体。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2019017612A JP2020127103A (ja) | 2019-02-04 | 2019-02-04 | 音場制御装置、音場制御システム、音場制御装置の制御方法、プログラム、および記録媒体 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2019017612A JP2020127103A (ja) | 2019-02-04 | 2019-02-04 | 音場制御装置、音場制御システム、音場制御装置の制御方法、プログラム、および記録媒体 |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2020127103A true JP2020127103A (ja) | 2020-08-20 |
Family
ID=72084287
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2019017612A Pending JP2020127103A (ja) | 2019-02-04 | 2019-02-04 | 音場制御装置、音場制御システム、音場制御装置の制御方法、プログラム、および記録媒体 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2020127103A (ja) |
-
2019
- 2019-02-04 JP JP2019017612A patent/JP2020127103A/ja active Pending
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11569789B2 (en) | Compensation for ambient sound signals to facilitate adjustment of an audio volume | |
US10492015B2 (en) | Automated user/sensor location recognition to customize audio performance in a distributed multi-sensor environment | |
US10149049B2 (en) | Processing speech from distributed microphones | |
JP6799573B2 (ja) | 端末ブラケット及びファーフィールド音声対話システム | |
US9094768B2 (en) | Loudspeaker calibration using multiple wireless microphones | |
JP2019518985A (ja) | 分散したマイクロホンからの音声の処理 | |
US9430931B1 (en) | Determining user location with remote controller | |
WO2018095035A1 (zh) | 耳机及其语音识别方法 | |
JP4802580B2 (ja) | オーディオ装置 | |
US11749293B2 (en) | Audio signal processing device | |
US10070244B1 (en) | Automatic loudspeaker configuration | |
CN110996308A (zh) | 声音播放设备及其控制方法、控制装置和可读存储介质 | |
JP5515728B2 (ja) | 端末装置、処理方法および処理プログラム | |
JP2011211266A (ja) | スピーカアレイ装置 | |
JP2020127103A (ja) | 音場制御装置、音場制御システム、音場制御装置の制御方法、プログラム、および記録媒体 | |
JP2011199795A (ja) | 放音システムおよびavシステム | |
JP3590869B2 (ja) | 鳴き声による音声ガイドシステム | |
US11694705B2 (en) | Sound signal processing system apparatus for avoiding adverse effects on speech recognition | |
JP2019537071A (ja) | 分散したマイクロホンからの音声の処理 | |
JP7172041B2 (ja) | 音伝達装置及びプログラム | |
JP2017123517A (ja) | コミュニケーション支援装置、コミュニケーション支援方法、および、プログラム | |
US20230036986A1 (en) | Processing of audio signals from multiple microphones | |
JP2023107364A (ja) | コミュニケーション装置及びコミュニケーション方法 | |
JP2020134868A (ja) | 電子機器 | |
TW202022850A (zh) | 資訊處理裝置、聲音辨識系統、控制方法及記錄媒體 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A711 | Notification of change in applicant |
Free format text: JAPANESE INTERMEDIATE CODE: A711 Effective date: 20210928 |