JP2022138245A - 音声処理システム及び音声処理方法 - Google Patents

Abstract

【課題】会議の進行を妨げることなく特定の情報を特定のユーザーに通知することが可能な音声処理システム及び音声処理方法を提供する。【解決手段】音声処理システムは、マイクスピーカー装置から前記音声データを取得する音声取得部と、前記音声取得部により取得される前記音声データを他のマイクスピーカー装置に送信する音声送信部と、会議の進行に影響を及ぼす要素について所定の条件を満たすか否かを判定する判定処理部と、前記所定の条件を満たす場合に、前記複数のマイクスピーカー装置のうち前記会議の進行に影響を及ぼす要素に応じて選択されるマイクスピーカー装置から、前記所定の条件に関する特定情報を通知させる通知処理部と、を備える。【選択図】図１

Description

本発明は、マイクスピーカー装置の音声の送受信を行う音声処理システム及び音声処理方法に関する。

従来、互いに異なる場所（会議室など）にいる複数のユーザーがそれぞれパーソナルコンピューターなどの端末を利用して会議（オンライン会議）を行うことを可能にするシステムが知られている。例えば、特許文献１には、複数の端末が互いに接続される遠隔会議システムであって、複数の端末のうちの１つの端末が司会者端末になり、司会者端末のみが遠隔会議に参加しているその他の端末の発言権を制御することができる遠隔会議システムが開示されている。

特開２０１２－２１７０６８号公報

ここで、複数のユーザーが同じ会議室で会議に参加する場合には、例えばファシリテーター（司会進行ユーザー）のみに特定の情報（例えば会議の進行状況など）を通知したい場合であっても、同じ会議室にいる他のユーザーにも当該情報が通知されてしまう。このように、同じ会議室にいる他のユーザーに前記特定の情報が通知されると、例えば発話中のユーザーが、集中力が途切れたり発話を中断してしまうなど、当該ユーザーに不快感を与えてしまう。

本発明の目的は、会議の進行を妨げることなく特定の情報を特定のユーザーに通知することが可能な音声処理システム及び音声処理方法を提供することにある。

本発明の一の態様に係る音声処理システムは、複数のユーザーのそれぞれが自身に装着するウェアラブル型のマイクスピーカー装置を複数含み、複数のマイクスピーカー装置の間でユーザーの発話音声の音声データを送受信する音声処理システムであって、マイクスピーカー装置から前記音声データを取得する音声取得部と、前記音声取得部により取得される前記音声データを他のマイクスピーカー装置に送信する音声送信部と、会議の進行に影響を及ぼす要素について所定の条件を満たすか否かを判定する判定処理部と、前記所定の条件を満たす場合に、前記複数のマイクスピーカー装置のうち前記会議の進行に影響を及ぼす要素に応じて選択されるマイクスピーカー装置から、前記所定の条件に関する特定情報を通知させる通知処理部と、を備えるシステムである。

本発明の他の態様に係る音声処理方法は、複数のユーザーのそれぞれが自身に装着するウェアラブル型のマイクスピーカー装置を複数含み、複数のマイクスピーカー装置の間でユーザーの発話音声の音声データを送受信する音声処理方法であって、一又は複数のプロセッサーが、マイクスピーカー装置から前記音声データを取得する音声取得ステップと、前記音声取得ステップにより取得される前記音声データを他のマイクスピーカー装置に送信する音声送信ステップと、会議の進行に影響を及ぼす要素について所定の条件を満たすか否かを判定する判定ステップと、前記所定の条件を満たす場合に、前記複数のマイクスピーカー装置のうち前記会議の進行に影響を及ぼす要素に応じて選択されるマイクスピーカー装置から前記所定の条件に関する特定情報を通知させる通知ステップと、を実行する方法である。

本発明によれば、会議の進行を妨げることなく特定の情報を特定のユーザーに通知することが可能な音声処理システム及び音声処理方法を提供することが可能である。

図１は、本発明の実施形態に係る会議システムの構成を示す図である。 図２は、本発明の実施形態に係る会議システムの適用例を示す図である。 図３は、本発明の実施形態に係るマイクスピーカー装置の構成を示す外観図である。 図４は、本発明の実施形態に係る会議システムで利用される会議情報の一例を示す図である。 図５は、本発明の実施形態に係る会議システムで利用される設定情報の一例を示す図である。 図６は、本発明の実施形態に係る会議システムにおいて実行される会議支援処理の手順の一例を説明するためのフローチャートである。

以下、添付図面を参照しながら、本発明の実施形態について説明する。なお、以下の実施形態は、本発明を具体化した一例であって、本発明の技術的範囲を限定する性格を有さない。

本発明に係る音声処理システムは、例えば２つの拠点（例えば会議室Ｒ１，Ｒ２）において複数のユーザーがそれぞれマイクスピーカー装置を使用して会議（オンライン会議など）を行うケースに適用することができる。前記マイクスピーカー装置は、例えばネックバンド型の形状を有し、各ユーザーは、前記マイクスピーカー装置を自身の首に装着して前記会議に参加する。各ユーザーは、前記マイクスピーカー装置のスピーカーから出力される音声を聞き取ることができ、また自身が発話した音声を前記マイクスピーカー装置のマイクに集音させることができる。なお、本発明に係る音声処理システムは、１つの拠点において複数のユーザーがそれぞれマイクスピーカー装置を使用して会議を行うケースにも適用することができる。

［会議システム１００］
図１は、本発明の実施形態に係る会議システムの構成を示す図である。会議システム１００は、音声処理装置１と複数のマイクスピーカー装置２と会議サーバー３とを含んでいる。マイクスピーカー装置２は、マイク２４及びスピーカー２５を搭載する音響機器である。なお、マイクスピーカー装置２、例えばＡＩスピーカー、スマートスピーカなどの機能を備えてもよい。会議システム１００は、複数のユーザーのそれぞれが自身に装着するウェアラブル型のマイクスピーカー装置２を複数含み、複数のマイクスピーカー装置２の間でユーザーの発話音声の音声データを送受信するシステムである。会議システム１００は、本発明の音声処理システムの一例である。

会議サーバー３は、前記オンライン会議を実現する会議アプリケーションを実行する。また、会議サーバー３は、会議情報を管理する。音声処理装置１は、各マイクスピーカー装置２を制御して、会議が開始されると各マイクスピーカー装置２との間で音声を送受信する処理を実行する。なお、音声処理装置１単体が、本発明の音声処理システムを構成してもよい。

本実施形態では、図２に示すオンライン会議を例に挙げて説明する。オンライン会議の参加者であるユーザーＡ～ＨのうちユーザーＡ，Ｂ，Ｃ，Ｄは会議室Ｒ１に位置しており、ユーザーＥ，Ｆ，Ｇ，Ｈは会議室Ｒ２に位置している。ユーザーＡ～Ｈは、それぞれマイクスピーカー装置２Ａ～２Ｈを首に装着して会議に参加する。また、会議室Ｒ１には音声処理装置１ａ及びディスプレイＤＰ１が設置されており、会議室Ｒ２には音声処理装置１ｂ及びディスプレイＤＰ２が設置されている。ディスプレイＤＰ１，ＤＰ２は、それぞれの画面が共有されており、例えば会議資料を表示する。音声処理装置１ａ及びディスプレイＤＰ１と、音声処理装置１ｂ及びディスプレイＤＰ２とは、通信網Ｎ１（例えばインターネット）を介してデータ通信可能に構成されている。音声処理装置１ａ，１ｂは、同一の機能を有する情報処理装置（例えばパーソナルコンピューター）である。音声処理装置１ａ，１ｂにおいて共通の説明する場合は、「音声処理装置１」と称す。

具体的には、会議サーバー３は、インターネットの通信網Ｎ１を利用して、会議室Ｒ１，Ｒ２の音声データをマイクスピーカー装置２及び音声処理装置１ａ，１ｂを介して送受信する。例えば音声処理装置１ａは、ユーザーＡの発話音声のデータをマイクスピーカー装置２Ａから取得すると、音声データを会議サーバー３に送信する。会議サーバー３は、音声処理装置１ａから取得した前記音声データを音声処理装置１ａ，１ｂに送信する。音声処理装置１ａは、会議サーバー３から取得した前記音声データをユーザーＢ～Ｄのマイクスピーカー装置２Ｂ～２Ｄのそれぞれに送信して当該発話音声を出力（放音）させる。同様に、音声処理装置１ｂは、会議サーバー３から取得した前記音声データをユーザーＥ～Ｈのマイクスピーカー装置２Ｅ～２Ｈのそれぞれに送信して当該発話音声を出力（放音）させる。また、会議サーバー３は、ユーザーの操作を受け付けて会議資料などをディスプレイＤＰ１，ＤＰ２に表示させる。このようにして、会議サーバー３は、オンライン会議を実現する。

また、会議サーバー３には、オンライン会議に関する会議情報Ｄ１などのデータが記憶される。図４には、会議情報Ｄ１の一例を示している。図４に示すように、会議情報Ｄ１には、会議ごとに、会議の識別情報（会議ＩＤ）、会議の開催場所、会議の開始日時及び終了日時、会議の参加者、会議に使用する資料の各情報が含まれる。会議ＩＤ「Ｍ００１」には、図２に示すオンライン会議に対応する情報が登録されている。例えば前記オンライン会議の主催者は、自身の端末（パーソナルコンピューター）を使用して会議情報Ｄ１を事前に登録する。会議サーバー３は、クラウドサーバーで構成されてもよい。

［マイクスピーカー装置２］
図３には、マイクスピーカー装置２の外観の一例を示している。図３に示すように、マイクスピーカー装置２は、電源２２、接続ボタン２３、マイク２４、スピーカー２５、通信部（不図示）などを備える。マイクスピーカー装置２は、例えばユーザーの首に装着可能なネックバンド型のウェアラブル機器である。マイクスピーカー装置２は、ユーザーの音声をマイク２４を介して取得したり、当該ユーザーに対してスピーカー２５から音声を出力したりする。マイクスピーカー装置２は、各種情報を表示する表示部を備えてもよい。

図３に示すように、マイクスピーカー装置２の本体２１は、マイクスピーカー装置２を装着したユーザーから見て左右のアームを備え、Ｕ字状に形成されている。

マイク２４は、ユーザーの発話音声を集音し易いように、マイクスピーカー装置２の先端部に配置されている。マイク２４は、マイクスピーカー装置２に内蔵されたマイク用基板（不図示）に接続されている。

スピーカー２５には、マイクスピーカー装置２を装着したユーザーから見て左側のアームに配置されるスピーカー２５Ｌと右側のアームに配置されるスピーカー２５Ｒとが含まれる。スピーカー２５Ｌ，２５Ｒは、ユーザーが出力音を聞き取り易いように、マイクスピーカー装置２のアームの中央付近に配置されている。スピーカー２５Ｌ，２５Ｒは、マイクスピーカー装置２に内蔵されたスピーカー用基板（不図示）に接続されている。

前記マイク用基板は、音声データを音声処理装置１に送信するためのトランスミッター基板であり、前記通信部に含まれる。また、前記スピーカー用基板は、音声処理装置１から音声データを受信するためのレシーバー基板であり、前記通信部に含まれる。

前記通信部は、マイクスピーカー装置２を無線で音声処理装置１との間で所定の通信プロトコルに従ったデータ通信を実行するための通信インターフェースである。具体的には、前記通信部は、例えばＢｌｕｅｔｏｏｔｈ方式（Ｂｌｕｅｔｏｏｔｈ；登録商標）によりマイクスピーカー装置２と接続して通信を行う。例えば、ユーザーが電源２２をオン状態にした後に接続ボタン２３を押下すると、前記通信部は、ペアリング処理を実行してマイクスピーカー装置２を音声処理装置１に接続する。なお、マイクスピーカー装置２と音声処理装置１との間に送信機が配置され、当該送信機がマイクスピーカー装置２とペアリング（Ｂｌｕｅｔｏｏｔｈ接続）し、当該送信機と音声処理装置１とがインターネットを介して接続されてもよい。

［音声処理装置１］
図１に示すように、音声処理装置１は、制御部１１、記憶部１２、操作表示部１３、通信部１４などを備えるサーバーである。なお、音声処理装置１は、１台のコンピュータに限らず、複数台のコンピュータが協働して動作するコンピュータシステムであってもよい。また、音声処理装置１で実行される各種の処理は、一又は複数のプロセッサーによって分散して実行されてもよい。

通信部１４は、音声処理装置１を有線又は無線で通信網Ｎ２に接続し、通信網Ｎ２を介してマイクスピーカー装置２、ディスプレイＤＰ１，ＤＰ２などの外部機器との間で所定の通信プロトコルに従ったデータ通信を実行するための通信部である。例えば、通信部１４は、Ｂｌｕｅｔｏｏｔｈ方式によるペアリング処理を実行して、マイクスピーカー装置２と接続する。また、通信部１４は、オンライン会議を行う場合に、通信網Ｎ１（例えばインターネット）に接続して複数拠点（会議室Ｒ１，Ｒ２）間のデータ通信を行う。

操作表示部１３は、各種の情報を表示する液晶ディスプレイ又は有機ＥＬディスプレイのような表示部と、操作を受け付けるマウス、キーボード、又はタッチパネルのような操作部とを備えるユーザーインターフェースである。

記憶部１２は、各種の情報を記憶するＨＤＤ（Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ）又はＳＳＤ（Ｓｏｌｉｄ Ｓｔａｔｅ Ｄｒｉｖｅ）などの不揮発性の記憶部である。具体的には、記憶部１２には、マイクスピーカー装置２の設定情報Ｄ２などのデータが記憶される。

図５には、設定情報Ｄ２の一例を示している。図５に示すように、設定情報Ｄ２には、「機器ＩＤ」、「ファシリテーター」、「通知音」、「音量」、「マイクゲイン」などの情報が含まれる。前記機器ＩＤは、マイクスピーカー装置２の識別情報であり、例えば機器番号が登録される。ここでは、「ＭＳ００１」～「ＭＳ００８」のそれぞれは、マイクスピーカー装置２Ａ～２Ｈのそれぞれに対応する。前記ファシリテーターは、前記オンライン会議のファシリテーター（司会進行役）であるか否かを示す情報である。図５に示す例では、「ＭＳ００１」に対応するマイクスピーカー装置２Ａを使用するユーザーＡがファシリテーターであることを示している。前記通知音は、ファシリテーターのマイクスピーカー装置２から出力される通知音の音量及び種類などの情報である。前記音量は、各マイクスピーカー装置２の音量であり、前記マイクゲインは、各マイクスピーカー装置２のマイクゲインである。

なお、ユーザーは、例えばディスプレイＤＰ１，ＤＰ２に表示される設定画面（不図示）を操作（タッチ操作）して、ファシリテーターの選択及び登録、通知音の選択及び登録、音量及びマイクゲインの調整などを行うことができる。制御部１１は、ユーザー操作に応じて設定情報Ｄ２を記憶する。

また、記憶部１２には、制御部１１に後述の会議支援処理（図６参照）を実行させるための会議支援プログラムなどの制御プログラムが記憶されている。例えば、前記会議支援プログラムは、ＣＤ又はＤＶＤなどのコンピュータ読取可能な記録媒体に非一時的に記録され、音声処理装置１が備えるＣＤドライブ又はＤＶＤドライブなどの読取装置（不図示）で読み取られて記憶部１２に記憶されてもよい。

制御部１１は、ＣＰＵ、ＲＯＭ、及びＲＡＭなどの制御機器を有する。前記ＣＰＵは、各種の演算処理を実行するプロセッサーである。前記ＲＯＭは、前記ＣＰＵに各種の演算処理を実行させるためのＢＩＯＳ及びＯＳなどの制御プログラムが予め記憶される不揮発性の記憶部である。前記ＲＡＭは、各種の情報を記憶する揮発性又は不揮発性の記憶部であり、前記ＣＰＵが実行する各種の処理の一時記憶メモリー（作業領域）として使用される。そして、制御部１１は、前記ＲＯＭ又は記憶部１２に予め記憶された各種の制御プログラムを前記ＣＰＵで実行することにより音声処理装置１を制御する。

ところで、従来の技術では、複数のユーザーが同じ会議室で会議に参加する場合には、例えばファシリテーター（司会進行ユーザー）のみに特定の情報（例えば会議の進行状況など）を通知したい場合であっても、同じ会議室にいる他のユーザーにも当該情報が通知されてしまう。このように、同じ会議室にいる他のユーザーに前記特定の情報が通知されると、例えば発話中のユーザーが、集中力が途切れたり発話を中断してしまうなど、当該ユーザーに不快感を与えてしまう。これに対して、本実施形態に係る音声処理装置１によれば、会議の進行を妨げることなく特定の情報を特定のユーザーに通知することが可能である。

具体的には、制御部１１は、図１に示すように、設定処理部１１１、音声取得部１１２、音声送信部１１３、判定処理部１１４、通知処理部１１５などの各種の処理部を含む。なお、制御部１１は、前記ＣＰＵで前記制御プログラムに従った各種の処理を実行することによって前記各種の処理部として機能する。また、一部又は全部の前記処理部が電子回路で構成されていてもよい。なお、前記制御プログラムは、複数のプロセッサーを前記処理部として機能させるためのプログラムであってもよい。

設定処理部１１１は、マイクスピーカー装置２に関する設定を行う。具体的には、設定処理部１１１は、マイクスピーカー装置２が音声処理装置１に接続（ペアリング）されると、マイクスピーカー装置２の識別情報（例えば機器番号）を取得して設定情報Ｄ２の「機器ＩＤ」に登録する。また、設定処理部１１１は、ユーザーの操作に応じて、ファシリテーター、通知音、音量、マイクゲインの情報を取得すると設定情報Ｄ２の「ファシリテーター」、「通知音」、「音量」、「マイクゲイン」に登録する。すなわち、設定処理部１１１は、複数のユーザーで会議を行う場合に、前記複数のユーザーのうちファシリテーターのユーザーのマイクスピーカー装置２を設定する。

音声取得部１１２は、マイクスピーカー装置２のマイク２４が集音した発話者の発話音声の音声データをマイクスピーカー装置２から取得する。例えば、オンライン会議が開始されてファシリテーターのユーザーＡが発話すると、マイクスピーカー装置２Ａのマイク２４がユーザーＡの発話音声を集音し、マイクスピーカー装置２Ａが当該発話音声の音声データを音声処理装置１に送信する。音声取得部１１２は、マイクスピーカー装置２ＡからユーザーＡの発話音声の音声データを取得する。音声取得部１１２は、各マイクスピーカー装置２から音声データを取得する。音声取得部１１２は、本発明の音声取得部の一例である。

音声送信部１１３は、音声取得部１１２が取得した音声データを各マイクスピーカー装置２に送信する。例えば、音声取得部１１２がファシリテーターのユーザーＡの発話音声の音声データをマイクスピーカー装置２Ａから取得すると、音声送信部１１３は、マイクスピーカー装置２Ａ以外のマイクスピーカー装置２Ｂ～２Ｈに当該音声データを送信する。なお、前記音声データは、会議サーバー３を経由してマイクスピーカー装置２に送信される。

なお、音声送信部１１３は、音声データの送信元の会議室とは異なる会議室のマイクスピーカー装置２のみに当該音声データを送信してもよい。例えば、音声取得部１１２が会議室Ｒ１にいるユーザーＡの発話音声の音声データをマイクスピーカー装置２Ａから取得した場合には、音声送信部１１３は、会議サーバー３を経由して会議室Ｒ２のマイクスピーカー装置２Ｅ～２Ｈのみに当該音声データを送信してもよい。ユーザーＡと同じ会議室Ｒ１にいるユーザーＢ～Ｄは、マイクスピーカー装置２Ｂ～２Ｄを介さずにユーザーＡの発話音声を直接聞き取ることができる。音声送信部１１３は、本発明の音声送信部の一例である。

判定処理部１１４は、マイクスピーカー装置２から特定情報を通知（報知）させるための所定の条件を満たすか否かを判定する。具体的には、判定処理部１１４は、会議の進行に影響を及ぼす要素について所定の条件を満たすか否かを判定する。前記要素には、前記複数のユーザーで行う会議の進行状況、前記音声データを送受信する通信状況、及び前記ユーザーの発話状況の少なくともいずれかの要素が含まれる。例えば、判定処理部１１４は、前記複数のユーザーで行う会議の進行状況、前記音声データを送受信する通信状況、及び前記ユーザーの発話状況の少なくともいずれかに関する所定の条件を満たすか否かを判定する。例えば、判定処理部１１４は、会議が開始されてから所定時間（例えば１時間）が経過したか否かを判定する。また例えば、判定処理部１１４は、現在時刻が会議終了時刻の所定時間（１５分）前に到達したか否か、すなわち、会議の終了時刻までの残り時間が所定時間以内になったか否かを判定する。前記所定の条件は、上述の例に限定されない。前記所定の条件の他の例については後述する。判定処理部１１４は、本発明の判定処理部の一例である。

通知処理部１１５は、前記所定の条件を満たす場合に所定のマイクスピーカー装置２から前記所定の条件に関する特定情報を通知（報知）させる。具体的には、通知処理部１１５は、前記所定の条件を満たす場合に、複数のマイクスピーカー装置２のうち会議の進行に影響を及ぼす前記要素に応じて選択されるマイクスピーカー装置２から、前記所定の条件に関する特定情報を当該マイクスピーカー装置２のユーザーに向けて報知させる。

例えば、通知処理部１１５は、前記所定の条件を満たす場合に、所定の通知音を所定のマイクスピーカー装置２から出力させる。例えば、会議が開始されてから所定時間（例えば１時間）が経過した場合、又は、現在時刻が会議終了時刻の所定時間（１５分）前に到達した場合に、通知処理部１１５は、設定情報Ｄ２に登録された通知音の音声データをファシリテーター（ユーザーＡ）のマイクスピーカー装置２Ａに送信して、マイクスピーカー装置２Ａから前記通知音を出力させる。通知処理部１１５は、例えばブザー音（チャイム音）を出力させてもよいし、会議開始から１時間が経過したこと又は会議終了まで１５分であることを表す音声を出力させてもよい。前記通知音は、本発明の特定情報の一例である。また、前記ファシリテーター（ユーザーＡ）は、本発明の第１ユーザーの一例である。上記の例では、制御部１１は、前記通知音の通知先のマイクスピーカー装置２として、会議の進行に影響を及ぼす司会進行役のファシリテーターのマイクスピーカー装置２Ａを選択する。

また、通知処理部１１５は、ユーザーの発話音声をマイクスピーカー装置２から出力させる際の音量よりも小さい音量で、前記通知音を前記所定のマイクスピーカー装置２から出力させてもよい。これにより、前記通知音が他のユーザーに聞こえてしまうことを防ぐことができる。

上記の構成によれば、マイクスピーカー装置２Ａのスピーカー２５Ｌ，２５ＲはユーザーＡの耳元付近に配置されているため、前記通知音を他のユーザーに聞き取られることなく、ユーザーＡのみに聞き取らせることができる。これにより、ユーザーＡは、他のユーザーに気付かれることなく会議の進行状況（経過時間、残り時間など）を把握することができる。また、他のユーザーは、前記通知音により会議の議題への集中力が妨げられることがない。よって、会議の効率を向上させることができる。

なお、マイクスピーカー装置２が表示部を備える場合には、通知処理部１１５は、当該表示部に前記音声に対応するテキスト情報を表示させてもよい。

［会議支援処理］
以下、図６を参照しつつ、音声処理装置１の制御部１１によって実行される会議支援処理の手順の一例について説明する。なお、本発明は、前記会議支援処理に含まれる一又は複数のステップを実行する会議支援方法（本発明の音声処理方法）の発明として捉えることができる。また、ここで説明する前記会議支援処理に含まれる一又は複数のステップが適宜省略されてもよい。また、前記会議支援処理における各ステップは、同様の作用効果を生じる範囲で実行順序が異なってもよい。さらに、ここでは制御部１１が前記会議支援処理における各ステップを実行する場合を例に挙げて説明するが、他の実施形態では、１又は複数のプロセッサーが前記会議支援処理における各ステップを分散して実行してもよい。

ここでは、図２に示すオンライン会議を例に挙げて説明する。制御部１１は、マイクスピーカー装置２の電源２２がオン状態になると前記会議支援処理を開始する。

先ず、ステップＳ１１において、制御部１１は、各マイクスピーカー装置２を音声処理装置１に接続する。例えば、会議に参加する各ユーザーが自身のマイクスピーカー装置２の接続ボタン２３を押下すると、制御部１１は、各マイクスピーカー装置２との間でＢｌｕｅｔｏｏｔｈ方式によるペアリング処理を実行して、各マイクスピーカー装置２を音声処理装置１に接続する。

次にステップＳ１２において、制御部１１は、設定情報Ｄ２（図４参照）を登録する。具体的には、制御部１１は、各マイクスピーカー装置２の識別情報（例えば機器番号）を取得して設定情報Ｄ２の「機器ＩＤ」に登録する。また、制御部１１は、ユーザーの操作に応じて、ファシリテーター、通知音、音量、マイクゲインの情報を取得すると設定情報Ｄ２の「ファシリテーター」、「通知音」、「音量」、「マイクゲイン」に登録する。ここでは、オンライン会議に参加するユーザーＡ～Ｈが装着するマイクスピーカー装置２Ａ～２Ｈに対応する設定情報Ｄ２が記憶部１２に記憶される。また、ユーザーＡが前記オンライン会議のファシリテーターに選任されると、ユーザーＡのマイクスピーカー装置２Ａの機器ＩＤ「ＭＳ００１」に「ファシリテーター」の識別情報「１」が登録される。

次にステップＳ１３において、制御部１１は、会議が開始されたか否かを判定する。会議が開始されると（Ｓ１３：Ｙｅｓ）、処理はステップＳ１４に移行する。制御部１１は、会議が開始されるまで待機する（Ｓ１３：Ｎｏ）。例えば、ユーザーＡが前記オンライン会議の開始操作を行うことにより前記オンライン会議が開始する。前記オンライン会議が開始すると、制御部１１は、時間（会議時間）の計測を開始する。

ステップＳ１４において、制御部１１は、ユーザーの発話音声の音声データをマイクスピーカー装置２から取得して、他のユーザーのマイクスピーカー装置２に当該音声データを送信する処理を開始する。例えば、制御部１１は、ファシリテーターのユーザーＡの発話音声の音声データをマイクスピーカー装置２Ａから取得すると、ユーザーＢ～Ｈのマイクスピーカー装置２Ｂ～２Ｈのそれぞれに当該音声データを送信する処理を開始する。なお、会議室Ｒ２のユーザーＥ～Ｈのマイクスピーカー装置２Ｅ～２Ｈには、会議サーバー３を経由して前記音声データが送信される。ステップＳ１４は、本発明の音声取得ステップ及び音声送信ステップの一例である。

次にステップＳ１５において、制御部１１は、前記会議時間（計測時間）が所定時間を経過したか否かを判定する。例えば、制御部１１は、会議が開始されてから１時間が経過したか否かを判定する。前記会議時間が前記所定時間を経過した場合（Ｓ１５：Ｙｅｓ）、処理はステップＳ１６に移行する。制御部１１は、前記会議時間が前記所定時間を経過するまで判定処理を継続する（Ｓ１５：Ｎｏ）。ステップＳ１５は、本発明の判定ステップの一例である。

他の実施形態として、制御部１１は、会議の終了時刻までの残り時間が所定時間以内になったか否かを判定してもよい。

ステップＳ１６において、制御部１１は、所定の通知音を所定のマイクスピーカー装置２から出力させる。例えば、会議が開始されてから所定時間（例えば１時間）が経過した場合、又は、会議の終了時刻までの残り時間が所定時間（１５分）以内になった場合に、制御部１１は、設定情報Ｄ２に登録された通知音の音声データをファシリテーター（ユーザーＡ）のマイクスピーカー装置２Ａに送信して、マイクスピーカー装置２Ａから前記通知音を出力させる。制御部１１は、所定のブザー音（チャイム音）を出力させてもよいし、所定の音声（例えば、会議開始から１時間が経過したこと又は会議終了まで１５分であることを表す音声）を出力させてもよい。ステップＳ１６は、本発明の通知ステップの一例である。

次にステップＳ１７において、制御部１１は、会議が終了したか否かを判定する。例えば、ユーザーＡが前記オンライン会議の終了操作を行うことにより前記オンライン会議が終了する。前記オンライン会議が終了すると（Ｓ１７：Ｙｅｓ）、制御部１１は、前記会議支援処理を終了する。一方、前記オンライン会議が終了しない場合（Ｓ１７：Ｎｏ）、処理はステップＳ１５に移行する。

ステップＳ１５に戻ると、制御部１１は、例えば会議が開始されてから２時間が経過したか否か、又は、会議の終了時刻までの残り時間が５分以内になったか否かを判定する。前記会議時間が２時間を経過した場合、又は、前記残り時間が５分以内になった場合には（Ｓ１５：Ｙｅｓ）、ステップＳ１６において、制御部１１は、再度、前記通知音の音声データをユーザーＡのマイクスピーカー装置２Ａに送信して、マイクスピーカー装置２Ａから前記通知音を出力させる。なお、制御部１１は、２回目の前記通知音の音量又は種類を１回目の前記通知音とは異ならせてもよい。例えば、制御部１１は、前記通知音の回数が増えるごとに音量を大きくしてもよい。

以上のように、会議システム１００は、複数のユーザーのそれぞれが自身に装着するウェアラブル型のマイクスピーカー装置２を複数含み、複数のマイクスピーカー装置２の間でユーザーの発話音声の音声データを送受信するシステムである。また、会議システム１００は、マイクスピーカー装置２から前記音声データを取得し、取得した前記音声データを他のマイクスピーカー装置２に送信する。また、会議システム１００は、前記複数のユーザーで行う会議の進行状況、前記音声データを送受信する通信状況、及び前記ユーザーの発話状況の少なくともいずれかに関する所定の条件を満たすか否かを判定し、前記所定の条件を満たす場合に所定のマイクスピーカー装置２から前記所定の条件に関する特定情報を通知させる。

これにより、特定情報を特定のマイクスピーカー装置２のユーザーのみに通知することができる。例えば、会議の参加者に気付かれることなくファシリテーターのユーザーのみに、会議の進行状況、通信状況、及び発話状況などを通知することができる。このため、会議の進行を妨げることなく特定の情報を特定のユーザーに通知することが可能になる。よって、会議を効率的に行うことが可能になる。

本発明は上述の実施形態に限定されない。以下、本発明の他の実施形態について説明する。

上述の実施形態では、通知処理部１１５は、会議が開始されてから所定時間（例えば１時間）が経過した場合、又は、会議の終了時刻までの残り時間が所定時間（１５分）以内になった場合に、前記通知音を所定のマイクスピーカー装置２（ファシリテーターのマイクスピーカー装置２）から出力させている。他の実施形態として、前記所定の条件が、オンライン会議のエラー状況、通信帯域状況、通信速度状況、ノイズ状況などオンライン会議の通信品質に関する条件であってもよい。具体的には、判定処理部１１４は、複数のユーザーが互いに遠隔地で行うオンライン会議において各ユーザーの音声データの通信品質が所定品質以下になったか否かを判定する。例えば、判定処理部１１４は、会議室Ｒ１，Ｒ２間の音声データの送受信を行うインターネット通信（通信網Ｎ１）の通信帯域が所定帯域以下になったか否かを判定する。前記通信帯域は、例えば会議サーバー３と音声処理装置１との間の通信帯域である。そして、通知処理部１１５は、前記通信帯域が前記所定帯域以下になった場合に、前記通知音を所定のマイクスピーカー装置２（ファシリテーターのマイクスピーカー装置２）から出力させる。これにより、ファシリテーターのユーザーは、通信品質が低下していることを把握することができるため、他のユーザーに気付かれることなく、通信品質を改善する対応を迅速に取ることができる。なお、通知処理部１１５は、例えば通信帯域が低下していることを表す音声を出力させてもよい。上記の例では、制御部１１は、会議サーバー３と音声処理装置１ａとの間の通信帯域が前記所定帯域以下になった場合に、会議サーバー３と音声処理装置１ａとの間の通信帯域が会議の進行に影響を及ぼすため、音声処理装置１ａに接続されたマイクスピーカー装置２を選択する。

また、通知処理部１１５は、例えば音声データの送信エラーを検出した場合に、前記通知音を所定のマイクスピーカー装置２から出力させる。また、通知処理部１１５は、例えば音声データの通信速度が予定速度以下になった場合に、前記通知音を所定のマイクスピーカー装置２から出力させる。また、通知処理部１１５は、例えば音声データのノイズ成分が所定値以上になった場合に、前記通知音を所定のマイクスピーカー装置２から出力させる。

また、他の実施形態として、前記所定の条件が、各マイクスピーカー装置２のマイク入力の入力時間に関する条件であってもよい。例えば、判定処理部１１４は、各マイクスピーカー装置２のマイク２４に入力される発話音声の連続入力時間が所定時間以上になったか否かを判定する。そして、通知処理部１１５は、前記連続入力時間が前記所定時間以上になった場合に、前記通知音を対応するマイクスピーカー装置２から出力させる。例えば、ユーザーＥが所定時間（１０分）以上連続して発話した場合に、通知処理部１１５は、前記通知音をユーザーＥのマイクスピーカー装置２Ｅから出力させる。上記の例では、制御部１１は、前記通知音の通知先のマイクスピーカー装置２として、ユーザーＥの発話が会議の進行に影響を及ぼすため、ユーザーＥのマイクスピーカー装置２Ｅを選択する。これにより、他のユーザーに気付かれることなく、ユーザーＥに発話が長時間に及んでいることを認識させることができる。なお、前記所定時間は、ユーザーの属性に応じて設定されてもよい。例えば、議題の説明を担当するファシリテーターのユーザーＡについては前記所定時間を長い時間（１５分）に設定し、質問などを行う他のユーザーＢ～Ｈについては前記所定時間を短い時間（５分）に設定する。これにより、活発な議論を効率的に行うことが可能になる。

また、他の実施形態として、通知処理部１１５は、通知内容の重要度に応じてスピーカー２５Ｌ，２５Ｒの少なくともいずれかから通知音を出力させてもよい。例えば、制御部１１は、オンライン会議の通信品質が低下したことを示す通知音と、会議終了までの残り時間が５分以内であることを示す通知音との重要度を「高」に設定し、会議終了までの残り時間が１５分以内であることを示す通知音と、マイク入力の入力時間が所定時間以上であることを示す通知音との重要度を「中」に設定し、会議開始から１時間が経過したことを示す通知音と、背景ノイズが所定値以上であることを示す通知音との重要度を「低」に設定する。通知処理部１１５は、例えば、前記重要度が「高」の条件が満たされた場合にはスピーカー２５Ｌ，２５Ｒの両方から前記通知音を出力させ、前記重要度が「中」の条件が満たされた場合にはスピーカー２５Ｌのみから前記通知音を出力させ、前記重要度が「低」の条件が満たされた場合にはスピーカー２５Ｒのみから前記通知音を出力させる。これにより、前記通知内容の重要度を対象ユーザーに認識させることができる。

このように、通知処理部１１５は、前記所定の条件の重要度に対応する特定情報を通知してもよい。すなわち、通知処理部１１５は、前記所定の条件の重要度が第１重要度である場合に、マイクスピーカー装置２に搭載されるスピーカー２５Ｌ，２５Ｒの両方から前記通知音を報知させ、前記所定の条件の重要度が前記第１重要度よりも低い第２重要度である場合に、スピーカー２５Ｌ，２５Ｒの一方から前記通知音を報知させる。

また、他の実施形態として、通知処理部１１５は、前記通知音に代えて、マイクスピーカー装置２を振動させることによりユーザーに通知してもよい。例えば、通知処理部１１５は、前記所定の条件を満たす場合に、所定のマイクスピーカー装置２を振動させる。また、通知処理部１１５は、前記重要度に応じて振動パターンを変化させてもよい。例えば、通知処理部１１５は、前記重要度が「高」の条件が満たされた場合にマイクスピーカー装置２を短い間隔で３回振動させ、前記重要度が「中」の条件が満たされた場合にマイクスピーカー装置２を長い間隔で２回振動させ、前記重要度が「低」の条件が満たされた場合にマイクスピーカー装置２を１回振動させる。また、通知処理部１１５は、前記所定の条件が満たさなくなるまでマイクスピーカー装置２を継続的に振動させてもよい。なお、マイクスピーカー装置２は、通知処理部１１５から受信する信号に基づいて、マイクスピーカー装置２に内蔵されたバイブレーターを振動させてもよいし、スピーカー２５Ｌ，２５Ｒから低音の通知音を出力させながらスピーカーユニットを振動させてもよい。前記振動は、本発明の特定情報の一例である。

このように、通知処理部１１５は、所定の通知音を所定のマイクスピーカー装置２から出力させてもよいし、所定の振動パターンで所定のマイクスピーカー装置２を振動させてもよい。

また、他の実施形態として、通知処理部１１５は、前記所定の条件に応じて、会議の参加者全員に前記通知音を通知してもよい。具体的には、通知処理部１１５は、会議の終了時刻までの残り時間が所定時間以内になった場合に、前記通知音を全てのマイクスピーカー装置２から通知させる。例えば、会議終了まで残り５分になった場合、又は会議終了時刻になった場合に、通知処理部１１５は、ユーザーＡ～Ｈのマイクスピーカー装置２Ａ～２Ｈから前記通知音を出力させる。なお、通知処理部１１５は、会議の参加者全員に前記通知音を通知する場合に、ファシリテーターのユーザーＡのマイクスピーカー装置２Ａから警告のような大きな音を出力させ、他の参加者のユーザーＢ～Ｈのマイクスピーカー装置２Ｂ～２Ｈから小さな優しい音を出力させてもよい。

また、他の実施形態として、会議サーバー３が音声処理装置１の機能を備えてもよい。すなわち、会議サーバー３は、マイクスピーカー装置２から音声データを取得し、取得した前記音声データを他のマイクスピーカー装置２に送信する。また、会議サーバー３は、会議の進行に影響を及ぼす要素について所定の条件を満たすか否かを判定し、前記所定の条件を満たす場合に、複数のマイクスピーカー装置２のうち前記会議の進行に影響を及ぼす要素に応じて選択されるマイクスピーカー装置２から、前記所定の条件に関する特定情報を通知させる。

なお、本発明の音声処理システムは、音声処理装置１単体で構成されてもよいし、会議サーバー３単体で構成されてもよいし、音声処理装置１及び会議サーバー３の組み合わせにより構成されてもよい。

尚、本発明の音声処理システムは、各請求項に記載された発明の範囲において、以上に示された各実施形態を自由に組み合わせること、或いは各実施形態を適宜、変形又は一部を省略することによって構成されることも可能である。

１ ：音声処理装置
２ ：マイクスピーカー装置
３ ：会議サーバー
１１ ：制御部
１２ ：記憶部
１３ ：操作表示部
１４ ：通信部
２１ ：本体
２２ ：電源
２３ ：接続ボタン
２４ ：マイク
２５ ：スピーカー
２５Ｌ ：スピーカー
２５Ｒ ：スピーカー
１００ ：会議システム
１１１ ：設定処理部
１１２ ：音声取得部
１１３ ：音声送信部
１１４ ：判定処理部
１１５ ：通知処理部

Claims (15)

1. 複数のユーザーのそれぞれが自身に装着するウェアラブル型のマイクスピーカー装置を複数含み、複数のマイクスピーカー装置の間でユーザーの発話音声の音声データを送受信する音声処理システムであって、
   マイクスピーカー装置から前記音声データを取得する音声取得部と、
   前記音声取得部により取得される前記音声データを他のマイクスピーカー装置に送信する音声送信部と、
   会議の進行に影響を及ぼす要素について所定の条件を満たすか否かを判定する判定処理部と、
   前記所定の条件を満たす場合に、前記複数のマイクスピーカー装置のうち前記会議の進行に影響を及ぼす要素に応じて選択されるマイクスピーカー装置から、前記所定の条件に関する特定情報を通知させる通知処理部と、
   を備える音声処理システム。
2. 前記判定処理部は、前記複数のユーザーで行う会議の進行状況、前記音声データを送受信する通信状況、及び前記ユーザーの発話状況の少なくともいずれかに関する前記所定の条件を満たすか否かを判定する、
   請求項１に記載の音声処理システム。
3. 前記判定処理部は、前記複数のユーザーで行う会議において会議が開始されてから所定時間が経過したか否か、又は、前記会議の終了時刻までの残り時間が所定時間以内になったか否かを判定する、
   請求項２に記載の音声処理システム。
4. 前記判定処理部は、前記複数のユーザーが互いに遠隔地で行うオンライン会議において各ユーザーの音声データの通信品質が所定品質以下になったか否かを判定する、
   請求項２又は請求項３に記載の音声処理システム。
5. 前記判定処理部は、前記マイクスピーカー装置のマイクに入力される発話音声の連続入力時間が所定時間以上になったか否かを判定する、
   請求項２から請求項４のいずれか１項に記載の音声処理システム。
6. 前記複数のユーザーで会議を行う場合に、前記複数のユーザーのうちファシリテーターの第１ユーザーのマイクスピーカー装置を設定する設定処理部をさらに備え、
   前記通知処理部は、前記所定の条件を満たす場合に、前記第１ユーザーのマイクスピーカー装置から前記特定情報を通知させる、
   請求項２から請求項５のいずれか１項に記載の音声処理システム。
7. 前記通知処理部は、第１マイクスピーカー装置のマイクに入力される発話音声の連続入力時間が所定時間以上になった場合に、前記特定情報を前記第１マイクスピーカー装置から通知させる、
   請求項５に記載の音声処理システム。
8. 前記通知処理部は、前記会議の終了時刻までの残り時間が所定時間以内になった場合に、前記特定情報を全ての前記マイクスピーカー装置から通知させる、
   請求項３に記載の音声処理システム。
9. 前記通知処理部は、前記所定の条件の重要度に対応する前記特定情報を通知させる、
   請求項１から請求項８のいずれか１項に記載の音声処理システム。
10. 前記通知処理部は、前記所定の条件の重要度が第１重要度である場合に、前記マイクスピーカー装置に搭載される第１スピーカー及び第２スピーカーの両方から前記特定情報を通知させ、前記所定の条件の重要度が前記第１重要度よりも低い第２重要度である場合に、前記第１スピーカー又は前記第２スピーカーから前記特定情報を通知させる、
    請求項９に記載の音声処理システム。
11. 前記通知処理部は、所定の通知音を前記所定のマイクスピーカー装置から出力させる、
    請求項１から請求項１０のいずれか１項に記載の音声処理システム。
12. 前記通知処理部は、前記発話音声を前記マイクスピーカー装置から出力させる際の音量よりも小さい音量で、前記通知音を前記所定のマイクスピーカー装置から出力させる、
    請求項１１に記載の音声処理システム。
13. 前記通知処理部は、所定の振動パターンで前記所定のマイクスピーカー装置を振動させる、
    請求項１から請求項１２のいずれか１項に記載の音声処理システム。
14. 前記マイクスピーカー装置は、ネックバンド型の形状を有する、
    請求項１から請求項１３のいずれか１項に記載の音声処理システム。
15. 複数のユーザーのそれぞれが自身に装着するウェアラブル型のマイクスピーカー装置を複数含み、複数のマイクスピーカー装置の間でユーザーの発話音声の音声データを送受信する音声処理方法であって、
    一又は複数のプロセッサーが、
    マイクスピーカー装置から前記音声データを取得する音声取得ステップと、
    前記音声取得ステップにより取得される前記音声データを他のマイクスピーカー装置に送信する音声送信ステップと、
    会議の進行に影響を及ぼす要素について所定の条件を満たすか否かを判定する判定ステップと、
    前記所定の条件を満たす場合に、前記複数のマイクスピーカー装置のうち前記会議の進行に影響を及ぼす要素に応じて選択されるマイクスピーカー装置から、前記所定の条件に関する特定情報を通知させる通知ステップと、
    を実行する音声処理方法。

Images