JP2006237864A - 複数話者の音声信号を処理する端末装置、サーバ装置およびプログラム - Google Patents

複数話者の音声信号を処理する端末装置、サーバ装置およびプログラム Download PDF

Info

Publication number
JP2006237864A
JP2006237864A JP2005047659A JP2005047659A JP2006237864A JP 2006237864 A JP2006237864 A JP 2006237864A JP 2005047659 A JP2005047659 A JP 2005047659A JP 2005047659 A JP2005047659 A JP 2005047659A JP 2006237864 A JP2006237864 A JP 2006237864A
Authority
JP
Japan
Prior art keywords
group
terminal
audio signal
conversation
user
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
JP2005047659A
Other languages
English (en)
Inventor
Kentaro Katahira
健太郎 片平
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Yamaha Corp
Original Assignee
Yamaha Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Yamaha Corp filed Critical Yamaha Corp
Priority to JP2005047659A priority Critical patent/JP2006237864A/ja
Publication of JP2006237864A publication Critical patent/JP2006237864A/ja
Withdrawn legal-status Critical Current

Links

Images

Landscapes

  • Telephonic Communication Services (AREA)

Abstract

【課題】 複数のグループに属するユーザが、一のグループのメンバと会話をしている間、他のグループのメンバ間において行われている会話の内容を知ることを可能とする。
【解決手段】 端末装置11は会話グループのメンバである他の端末装置11に対し、自装置のユーザの音声信号を送信する。端末装置11は他の端末装置11からそれら他の端末装置11のユーザの音声信号を受信する。端末装置11により受信された音声信号は、区分部114により送信元の端末装置11の所属するグループに応じて複数の音声グループに区分される。端末装置11において、周波数特性加工部115および音像位置加工部116は音声グループ毎に異なる周波数特性および音像位置の音声信号となるように、各音声信号に加工処理を施す。端末装置11のミキサ117は加工の施された音声信号をミキシングして出力する。
【選択図】 図1

Description

本発明は、複数話者の音声信号を処理する技術に関する。
互いに異なる空間内にいる者の間の会話を可能とする技術がある。例えば、特許文献1には、異なる空間内に配置されユーザの音声信号を送信可能なユーザ端末と、異なる空間内の状況を各々撮影する複数のビデオカメラが、映像サーバを介して相互に接続されたシステムが開示されている。特許文献1に開示のシステムによれば、一方のユーザが使用しているユーザ端末に対し、他方のユーザがいる空間内の状況を示す映像信号が映像サーバを介して送信されるとともに、一方のユーザが希望すれば、そのユーザの音声信号が映像サーバを介して他方のユーザの端末装置に送信される。その結果、互いに異なる空間内にいる一方のユーザが、他方のユーザの現在の状況に配慮しつつ、会話の申し出を行うことができる。
特開平09−200716号公報
ところで、社会において人は複数のグループに属している。例えば会社内において同じ人が異なるプロジェクトのメンバである場合がある。そして、それらの異なるプロジェクトの各々において、同時にメンバ間の会話が行われることがある。
上記の特許文献1に開示のシステムによる場合、同じ空間内にいる複数人の様子が映像により把握できるものの、異なる空間内において行われている複数の会話や、音声会議における会話のように、そもそも異なる空間内にいる話者間の会話の様子を把握することはできない。従って、例えば、あるプロジェクトのメンバ間の会話に参加しているうちに他のプロジェクトのメンバ間で有意義な会話が進行していたがそれに気付かなかった、といった不都合が生じる。
上記の状況に鑑み、本発明は、複数のグループに属するユーザが、一のグループのメンバと会話をしている間、他のグループのメンバ間において如何なる会話が行われているかを知ることを可能とする手段を提供する。
上記課題を達成するために、本発明は、1以上の端末装置をメンバとする端末グループが複数設定されている状況において、前記複数の端末グループのうち自己の端末装置をメンバとして含む1の端末グループを会話グループとして指定する会話グループ指定手段と、前記複数の端末グループのうち自己の端末装置をメンバとして含み、かつ前記会話グループとして指定されていない端末グループから1以上の端末グループをモニタグループとして指定するモニタグループ指定手段と、自己の端末装置のユーザの音声信号を受け取る音声信号入力手段と、前記音声信号入力手段により受け取られた音声信号を前記会話グループのメンバである他の端末装置を送信先として送信する音声信号送信手段と、前記会話グループもしくは前記モニタグループのいずれかのメンバである他の端末装置を送信元とする音声信号を受信する音声信号受信手段と、前記音声信号受信手段により受信された音声信号を、当該音声信号の送信元の端末装置がいずれの端末グループのメンバであるかに応じて、当該端末グループに対応する音声グループに区分する区分手段と、前記区分手段により1の音声グループに区分された音声信号の音像位置が、前記区分手段により前記1の音声グループとは異なる他の音声グループに区分された音声信号の音像位置と異なるように、少なくともいずれかの音声グループに区分された音声信号に加工を施す音像位置加工手段と、前記音像位置加工手段により加工の施された音声信号に関しては当該加工の施された音声信号を出力し、前記音像位置加工手段により加工の施されなかった音声信号に関しては当該加工の施されなかった音声信号を出力する音声信号出力手段とを備えることを特徴とする端末装置を提供する。
かかる構成の端末装置によれば、ユーザは自分が属する複数のグループのうちの1のグループの会話に参加しながら、他のグループにおいて行われている会話を聴くことができる。
また、好ましい態様において、前記端末装置の前記音像位置加工手段は、前記区分手段により前記会話グループに対応する音声グループに区分された音声信号の音像位置が中央もしくは略中央でない場合に当該音声信号の音像位置が中央もしくは略中央となるように当該音声信号に加工を施すように構成されてもよい。
かかる構成の端末装置によれば、ユーザは自分が会話に参加しているグループの会話を、より容易に他のグループの会話から判別することができる。
また、前記端末装置の好ましい態様においては、前記会話グループ指定手段により会話グループとして指定される端末グループが変更された場合、前記音像位置加工手段は、新たに会話グループとして指定された端末グループに対応する音声グループに区分された音声信号の音像位置が、前記変更前において前記加工の施された後の当該音声信号の音像位置から中央もしくは略中央に向かい時間の経過に伴い推移するように加工を施す。
かかる構成の端末装置によれば、ユーザは自分が会話に参加しているグループの会話音声の音像位置が変化しても、当該会話音声を容易に捕捉することができる。
また、本発明は、1以上の端末装置をメンバとする端末グループが複数設定されている状況において、前記複数の端末グループのうち自己の端末装置をメンバとして含む1の端末グループを会話グループとして指定する会話グループ指定手段と、前記複数の端末グループのうち自己の端末装置をメンバとして含み、かつ前記会話グループとして指定されていない端末グループから1以上の端末グループをモニタグループとして指定するモニタグループ指定手段と、自己の端末装置のユーザの音声信号を受け取る音声信号入力手段と、 前記音声信号入力手段により受け取られた音声信号を前記会話グループのメンバである他の端末装置を送信先として送信する音声信号送信手段と、前記会話グループもしくは前記モニタグループのいずれかのメンバである他の端末装置を送信元とする音声信号を受信する音声信号受信手段と、前記音声信号受信手段により受信された音声信号を、当該音声信号の送信元の端末装置がいずれの端末グループのメンバであるかに応じて、当該端末グループに対応する音声グループに区分する区分手段と、前記区分手段により1の音声グループに区分された音声信号の周波数特性が、前記区分手段により前記1の音声グループとは異なる他の音声グループに区分された音声信号の周波数特性と異なるように、少なくともいずれかの音声グループに区分された音声信号に加工を施す周波数特性加工手段と、前記周波数特性加工手段により加工の施された音声信号に関しては当該加工の施された音声信号を出力し、前記周波数特性加工手段により加工の施されなかった音声信号に関しては当該加工の施されなかった音声信号を出力する音声信号出力手段とを備えることを特徴とする端末装置を提供する。
かかる構成の端末装置によっても、ユーザは自分が属する複数のグループのうちの1のグループの会話に参加しながら、他のグループにおいて行われている会話を聴くことができる。
また、好ましい態様において、前記端末装置の前記周波数特性加工手段は、前記区分手段により前記会話グループに対応する音声グループに区分された音声信号には当該音声信号の周波数特性を変更するための加工を施さないように構成されてもよい。
かかる構成の端末装置によっても、ユーザは自分が会話に参加しているグループの会話を、より容易に他のグループの会話から判別することができる。
また、前記端末装置の好ましい態様においては、前記会話グループ指定手段により会話グループとして指定される端末グループが変更された場合、前記周波数特性加工手段は、新たに会話グループとして指定された端末グループに対応する音声グループに区分された音声信号の周波数特性が、前記変更前において前記加工の施された後の当該音声信号の周波数特性から前記加工の施されない当該音声信号の周波数特性に向かい時間の経過に伴い推移するように加工を施す。
かかる構成の端末装置によれば、ユーザは自分が会話に参加しているグループの会話音声の周波数特性が変化しても、当該会話音声を容易に捕捉することができる。
また、他の好ましい態様において、前記端末装置は前記区分手段により1の音声グループに区分された音声信号の音像位置が、前記区分手段により前記1の音声グループとは異なる他の音声グループに区分された音声信号の音像位置と異なるように、少なくともいずれかの音声グループに区分された音声信号に加工を施す音像位置加工手段をさらに備えるように構成されてもよい。
かかる構成の端末装置によれば、ユーザはより容易に、複数のグループの会話音声を各々判別することができる。
また、他の好ましい態様において、前記端末装置の前記音声信号送信手段は、通信網において音声信号の中継を行うサーバ装置を介して、送信先である端末装置に音声信号を送信し、前記音声信号受信手段は、前記サーバ装置を介して、送信元である端末装置から音声信号を受信するように構成されてもよい。
また、他の好ましい態様において、前記端末装置は前記ユーザがデータ入力を行うための操作手段をさらに備え、前記会話グループ指定手段および前記モニタグループ指定手段は、前記ユーザの前記操作手段に対する操作に応じて、会話グループおよびモニタグループとして指定する端末グループを各々変更するように構成されてもよい。
かかる構成の端末装置によれば、ユーザは好きな時に会話とモニタを切り替えたり、モニタしていたグループの会話に参加したりすることができる。
また、他の好ましい態様において、前記端末装置は前記会話グループのメンバもしくは前記モニタグループのメンバである他の端末装置の属性を示す属性データを受信する管理データ受信手段と、前記管理データ受信手段により受信された属性データにより示される属性をユーザに通知する通知手段とをさらに備えるように構成されてもよい。
かかる構成の端末装置によれば、ユーザは自分の属するグループの他のユーザの状態を知ることができる。
また、前記端末装置の好ましい態様においては、前記属性データは、前記他の端末装置の接続状況、前記他の端末装置のユーザの状態、前記他の端末装置において会話グループとして指定されている端末グループおよび前記他の端末装置においてモニタグループとして指定されている端末グループのうち、少なくともいずれか1つに関するデータである。
また、他の好ましい態様において、前記端末装置は他の端末装置を送信先として、当該他の端末装置のユーザの音声信号の送信を要求する要求データを送信する管理データ送信手段をさらに備えるように構成されてもよい。
かかる構成の端末装置によれば、ユーザは会話に未参加の他のユーザの会話への参加を要請することができる。
また、前記端末装置の好ましい態様においては、前記端末装置はユーザの音声信号の送信要求に応じないことを示す拒否データを受信する管理データ受信手段をさらに備え、前記管理データ送信手段は、前記管理データ受信手段により受信された拒否データの送信元でない端末装置についてのみ、当該端末装置を送信先として前記要求データを送信する。
かかる構成の端末装置によれば、他のユーザは予め会話への参加要請を拒否することができ、例えば取込中の他のユーザに参加要請を行い迷惑をかけるといった問題がなくなる。
また、他の好ましい態様において、前記端末装置は前記ユーザの音声信号の送信を要求する要求データを受信する管理データ受信手段をさらに備え、前記会話グループ指定手段は、前記管理データ受信手段により受信された要求データの送信元の端末装置において会話グループとして指定されている端末グループを前記会話グループとして指定するように構成されてもよい。
かかる構成の端末装置によれば、ユーザは自分の属するグループの他のユーザの参加要請に応じて会話に参加することができる。
また、前記端末装置の好ましい態様においては、前記端末装置は前記ユーザがデータ入力を行うための操作手段と、前記管理データ受信手段により受信された要求データによる要求の承諾を示す承諾データの入力を前記ユーザに促す通知を行う通知手段とをさらに備え、前記会話グループ指定手段は、前記ユーザにより前記承諾データの入力操作が前記操作手段に対し行われた場合にのみ、前記管理データ受信手段により受信された要求データの送信元の端末装置において会話グループとして指定されている端末グループを前記会話グループとして指定する。
かかる構成の端末装置によれば、ユーザは参加要請に応じて会話に参加するか否かを選択できる。
また、他の好ましい態様において、前記端末装置は1の端末グループを前記会話グループとして指定することの許可を要求する要求データを送信する管理データ送信手段と、前記要求データによる要求の承諾を示す承諾データを受信する管理データ受信手段とをさらに備え、前記会話グループ指定手段は、前記管理データ受信手段により承諾データが受信された場合にのみ、前記1の端末グループを前記会話グループとして指定するように構成されてもよい。
かかる構成の端末装置によれば、ユーザは自分の属するグループの他のユーザの承諾を得て会話に参加することができる。
また、他の好ましい態様において、前記端末装置は前記ユーザがデータ入力を行うための操作手段と、他の端末装置において1の端末グループを会話グループとして指定することの許可を要求する要求データを受信する管理データ受信手段と、前記管理データ受信手段により受信された要求データによる要求の承諾を示す承諾データの入力を前記ユーザに促す通知を行う通知手段と、前記ユーザにより前記承諾データの入力操作が前記操作手段に対し行われた場合、前記承諾データを送信する管理データ送信手段とをさらに備えるように構成されてもよい。
かかる構成の端末装置によれば、ユーザは自分の属するグループの他のユーザが会話に参加したい場合に、その参加を許可するか否かを選択できる。
また、前記端末装置の好ましい態様においては、前記管理データ受信手段は、他の端末装置において1の端末グループを会話グループとして指定することの許可を禁止する禁止データを受信し、前記管理データ送信手段は、前記ユーザにより前記承諾データの入力操作が前記操作手段に対し行われた時点において前記管理データ受信手段により禁止データが受信されていない場合にのみ、前記承諾データを送信する。
かかる構成の端末装置によれば、新たなメンバが途中から会話に参加することが望ましくない場合に、会話に未参加のメンバの会話への参加を排除することができる。
また、本発明は、複数のグループの各々に関し当該グループのメンバである端末装置を示すメンバデータと、1の端末装置をメンバとして含むグループのうち前記1の端末装置が会話グループとして指定しているグループを示す会話グループデータと、前記1の端末装置がモニタグループとして指定しているグループを示すモニタグループデータとを記憶する記憶手段と、前記複数のグループのいずれかのメンバである端末装置を送信元とする音声信号を受信する音声信号受信手段と、前記音声信号受信手段により受信された音声信号の送信元の端末装置が前記会話グループデータにより示されるグループおよび前記モニタグループデータにより示されるグループのいずれかのメンバである場合、当該音声信号を前記1の端末装置を送信先として送信する音声信号送信手段とを備えることを特徴とするサーバ装置を提供する。
かかる構成のサーバ装置によれば、ユーザは上記の端末装置を用いて、自分が属する1のグループの会話に参加しながら、他のグループにおいて行われている会話の内容を聴くことが可能となる。
また、本発明は、上記端末装置もしくは上記サーバ装置により行われる処理をコンピュータに実行させるプログラムを提供する。
かかるプログラムによれば、ユーザはコンピュータにより、上記端末装置もしくは上記サーバ装置を実現することができる。
[実施形態]
[1.音声システムの構成]
図1は、本発明の実施形態にかかる音声システム1の全体構成を示したブロック図である。音声システム1は、音声システム1を利用するユーザ19−k(k=1〜n、ただしnは任意の自然数。以下同じ。)が会話および音声のモニタを行うために用いる端末装置11−kと、ユーザ19−kが端末装置11−kに対し各種操作を行うためのキーボード12と、端末装置11−kがユーザ19−kに対し文字等による各種通知を行うためのディスプレイ13と、ユーザ19−kの音声を集音してモノラルの音声信号に変換するマイク14と、端末装置11−kから入力される音声信号を音声に変換してステレオで発音するスピーカ15−Lおよびスピーカ15−Rと、異なる端末装置11の間で送受信される音声信号および各種管理データを中継するサーバ装置16を備えている。キーボード12、ディスプレイ13、マイク14およびスピーカ15は端末装置11−kに接続されている。また、端末装置11−kおよびサーバ装置16はネットワーク10を介して相互に通信接続可能である。ネットワーク10は有線により端末装置11−kおよびサーバ装置16を相互に接続するものであってもよいし、接続経路の一部もしくは全てを無線により接続するものであってもよい。
端末装置11−k(以下、異なる端末装置11−kを区別する必要がない場合、「端末装置11」と呼ぶ)は、端末装置11の各構成部の処理を制御する制御部111と、サーバ装置16に各種データを送信する送信部112と、サーバ装置16から各種データを受信する受信部113と、受信部113により受信された音声信号をその送信元に基づき複数のグループに区分する区分部114を備えている。
また、端末装置11は、各々のグループに含まれる音声信号がグループ毎に異なる周波数特性を持つように各々の音声信号に加工処理を施す周波数特性加工部115を備えている。複数の音声信号が互いに異なる周波数特性を持つようにする方法は様々に考えられるが、本実施形態においては例として、中心周波数が異なるパラメトリックイコライザによる処理を各グループの音声信号に対し行うものとする。端末装置11は、さらに、各々のグループに含まれる音声信号の音像位置がグループ毎に異なるように各々の音声信号に加工処理を施す音像位置加工部116と、音像位置加工部116から複数の音声信号を受け取ってそれらをミキシングするミキサ117と、制御部111の制御処理を指示するプログラムや各構成部により利用される各種データを記憶する記憶部118を備えている。
端末装置11−kには、ネットワーク10において端末装置11−kを識別するための端末ID(Identifier)が予め割り当てられており、記憶部118に記憶されている。サーバ装置16にも、端末装置11−kと同様に、ネットワーク10においてサーバ装置16を識別するためのサーバIDが予め割り当てられている。端末装置11およびサーバ装置16は、送信先を特定する情報として端末IDもしくはサーバIDを付加したデータをネットワーク10に送出する。ネットワーク10に含まれる各ネットワークノードは、データに付加されている端末IDもしくはサーバIDに基づき送信先の端末装置11もしくはサーバ装置16にデータを順次転送する。ネットワーク10がデータに付加されたIDに基づきデータを送信先まで送り届ける仕組みは従来技術と同様であるため、その説明は行わない。
送信部112は、マイク14から出力されるユーザ19−k(以下、異なるユーザ19−kを区別する必要がない場合、「ユーザ19」と呼ぶ)の音声を示す音声信号をサーバ装置16に送信する音声信号送信部1121と、制御部111により生成される各種管理データをサーバ装置16に送信する管理データ送信部1122を備えている。また、受信部113は、サーバ装置16から他の端末装置11を送信元とする音声信号を受信して区分部114に引き渡す音声信号受信部1131と、サーバ装置16から各種管理データを受信して制御部111に引き渡す管理データ受信部1132を備えている。
記憶部118にはグループDB1181(以下、「データベース」を「DB」と略称する。)およびユーザDB1182が記憶されている。ユーザ19−kは、予め登録された複数のグループのいずれかに所属している。ただし、音声システム1はユーザ19−kを直接認識できないため、ユーザ19−kが使用している端末装置11−kをグループ化して管理している。グループDB1181はそのためのDBである。以下、特定のグループに所属している端末装置11を「メンバ」と呼ぶ。ただし説明の便宜上、以下において、特定のグループに所属している端末装置11を使用しているユーザ19を「メンバ」と呼ぶ場合がある。
図2はグループDB1181のデータを例示した図である。グループDB1181は、「グループ名」、「ユーザ名」、「オンライン」、「ユーザ状態」、「管理メンバ」、「参加要請権限種別」、「参加許可権限種別」、「ロック権限種別」および「ロック」のフィールドからなるグループデータを複数格納している。「グループ名」はグループの名称を示す。グループ名はグループDB1181の中で同じものが重複して用いられることはない。以下、例えば「グループ名」が「いろはグループ」であるグループデータをグループデータ「いろはグループ」のように呼ぶ。
「ユーザ名」はグループに所属するユーザ19のユーザ名を示し、その数は複数であってもよい。また、「ユーザ名」の欄に示されるユーザ名の順序は、後述するグループのリーダの決定時に用いられる優先順位を示している。「オンライン」は「端末ID」に示される端末装置11の各々が現在サーバ装置16との間に通信接続を確立していることを示す「Yes」または通信接続を確立していないことを示す「No」のいずれかである。 「ユーザ状態」は「ユーザ名」の欄に示されるユーザ名のユーザ19が現在取込中のため会話への参加要請を受けられないことを示す「取込中」、現在退席中のため会話への参加や会話のモニタを行っていないことを示す「退席中」、取込中でも退席中でもないことを示す「通常」のいずれかである。「管理メンバ」は「端末ID」に示される端末装置11の各々がグループにおける管理メンバであることを示す「Yes」または管理メンバでないことを示す「No」のいずれかである。
「参加要請権限種別」はグループのメンバのうち会話に参加していない者を会話へ参加するよう要請したい場合に、その参加要請を行う権限を有するメンバを示す。具体的には「参加要請権限種別」は、グループのメンバの全員が参加要請権限を有することを示す「全員」、グループのリーダのみが参加要請権限を有することを示す「リーダ」、グループの管理メンバのみが参加要請権限を有することを示す「管理メンバ」およびグループのいずれのメンバも参加要請権限を有しないことを示す「不可」のいずれかである。
「参加許可権限種別」はグループのメンバのうち会話に参加していない者が会話へ参加したい場合に、その参加を許可する権限を有するメンバを示す。具体的には「参加許可権限種別」は、グループのリーダのみが参加許可権限を有することを示す「リーダ」、グループの管理メンバが単独で参加許可権限を有することを示す「管理メンバのいずれか一名」、参加許可がなされるためにはグループのメンバのうち会話に参加している全員の承諾が必要であることを示す「全員一致」、グループのメンバの全員が単独で参加許可権限を有することを示す「いずれか一名」および無条件で参加が許可される「自由参加可」のいずれかである。
「ロック権限種別」は、グループの会話に新たに参加申請がなされてもそれを受け付けない状態(以下、「ロック状態」と呼ぶ)を開始および解除する権限を有するメンバを示す。具体的には「全員」、「リーダ」、「管理メンバ」および「不可」のいずれかであり、それらの意味は「参加要請権限種別」について述べたものと同様である。「ロック」はグループがロック状態であることを示す「Yes」またはロック状態でないことを示す「No」のいずれかである。
図3は、ユーザDB1182のデータを例示した図である。ユーザDB1182はユーザ19−kおよび端末装置11−kの各種属性を示すデータを格納したDBであり、「ユーザ名」、「パスワード」、「オンライン」、「端末ID」、「所属グループ名」、「会話グループ名」、「モニタグループ名」および「ユーザ状態」のフィールドからなるユーザデータを複数格納している。「ユーザ名」はユーザ19−kのユーザ名を示す。ユーザ名はユーザDB1182の中で同じものが重複して用いられることはない。以下、例えば「ユーザ名」が「K.Imai」であるユーザデータをユーザデータ「K.Imai」のように呼ぶ。
「パスワード」はユーザ名との組合せに基づきユーザ19−kが正しいユーザであることを認証するために用いられる文字列を示す。「オンライン」はユーザ19−kがいずれかの端末装置11を用いてサーバ装置16との間で通信を行っている状態であることを示す「Yes」もしくは通信を行っていない状態であることを示す「No」のいずれかである。「端末ID」は端末装置11−kの端末IDを示す。ユーザ19−kが使用する端末装置11はその時々で異なるため、いずれの端末装置11も使用していないユーザ19、すなわち「オンライン」が「No」であるユーザ19に関しては、「端末ID」欄は空欄となる。
「所属グループ名」はユーザ19−kがメンバとして所属するグループのグループ名を示し、その数は複数であってもよい。音声システム1において、ユーザ19−kは「所属グループ名」により示されるグループのうちのいずれかを会話モードのグループ(以下、「会話グループ」と呼ぶ)として指定することにより、指定したグループのメンバとの間で会話を行うことができる。「会話グループ名」は会話グループのグループ名を示す。また、ユーザ19−kは「所属グループ名」により示されるグループのうちのいずれかをモニタモードのグループ(以下、「モニタグループ」と呼ぶ)として指定することにより、指定したグループの他のメンバ間で行われている会話をモニタすることができる。
「モニタグループ名」はモニタグループのグループ名を示す。ユーザ19−kは複数のグループを同時にモニタグループとして指定することができる。従って、「モニタグループ名」は複数のグループ名を含み得る。「ユーザ状態」はユーザ19−kの現在の状態を示し、グループデータの「ユーザ状態」と同様に「取込中」、「退席中」および「通常」のいずれかである。
図1に戻り、続いてサーバ装置16の構成を説明する。サーバ装置16は、サーバ装置16の各構成部の処理を制御する制御部161と、端末装置11の各々から各種データを受信する受信部162と、端末装置11の各々に各種データを送信する送信部163と、受信部162により受信された音声信号のうち端末装置11−kに送信すべき音声信号を選択する選択部164と、制御部161の制御処理を指示するプログラムや各構成部により利用される各種データを記憶する記憶部165を備えている。また、上述したように、サーバ装置16にはネットワーク10においてサーバ装置16を識別するためのサーバIDが予め割り当てられており、記憶部165に記憶されている。
受信部162は、端末装置11の各々から音声信号を受信して選択部164に引き渡す音声信号受信部1621と、端末装置11の各々から各種管理データを受信して制御部161に引き渡す管理データ受信部1622を備えている。また、送信部163は、選択部164により端末装置11−kに対し送信されるべきものとして選択された音声信号を端末装置11−kに送信する音声信号送信部1631と、制御部161により生成される各種管理データを端末装置11の各々に送信する管理データ送信部1632を備えている。
サーバ装置16の記憶部165にはグループDB1651およびユーザDB1652が記憶されている。グループDB1651およびユーザDB1652は、端末装置11−kの記憶部118に記憶されているグループDB1181(図2参照)およびユーザDB1182(図3参照)と同じ内容のデータをそれぞれ格納したDBである。後述するように、端末装置11−kにおいてグループDB1181もしくはユーザDB1182に含まれるデータの更新が行われた場合、他の端末装置11に記憶されているグループDB1181もしくはユーザDB1182に対する更新の反映を要求する更新要求データが端末装置11−kからサーバ装置16を介して他の端末装置11に送信される。サーバ装置16は端末装置11間で行われる更新要求データの送受信を中継する際に、記憶部165に記憶されているグループDB1651もしくはユーザDB1652の更新を行う。その結果、サーバ装置16との間で通信接続を確立している端末装置11に記憶されるグループDB1181およびユーザDB1182と、サーバ装置16に記憶されるグループDB1651およびユーザDB1652は、常に同じ内容を維持することになる。
[2.音声システムの動作]
続いて、ユーザ19−1が音声システム1を利用する場合を例として、音声システム1の動作を説明する。ユーザ19−1には予め音声システム1の管理者等からユーザ名「K.Imai」、パスワード「c4HAh&」が通知されており、ユーザ19−1が用いる端末装置11−1には端末ID「0103」が割り当てられているものとする。また、以下の説明において特に明記しない場合には、グループDB1181およびグループDB1651の内容は図2に例示したものであり、ユーザDB1182およびユーザDB1652の内容は図3に例示したものとする。
まず、ユーザ19−1は音声システム1を利用するにあたり、端末装置11−1のキーボード12を用いて、端末装置11−1にユーザ名「K.Imai」およびパスワード「c4HAh&」を入力する。制御部111はユーザにより入力されたユーザ名およびパスワードを含む認証データを生成し、管理データ送信部1122は認証データをサーバ装置16に送信する。サーバ装置16の管理データ受信部1622は認証データを受信し制御部161に引き渡し、制御部161は認証データに含まれるユーザ名を含むユーザデータをユーザDB1652(図3参照)から検索する。制御部161はその検索に成功した場合は検索されたユーザデータの「パスワード」が認証データに含まれるパスワードと一致するか否かを判断し、一致する場合、制御部161はユーザ19−1を正しいユーザと判断する。その場合、サーバ装置16は端末装置11−1との間に音声信号の送受信のための通信接続を確立する。この場合、ユーザデータ「K.Imai」にはパスワード「c4HAh&」が含まれるため、制御部161は上記認証に成功する。なお、この時点ではユーザデータ「K.Imai」の「端末ID」は空欄であり、「オンライン」は「No」である。
一方、制御部161は上記検索に失敗した場合、もしくは検索されたユーザデータの「パスワード」が認証データに含まれるパスワードと一致しなかった場合、ユーザ19−1を正しくないユーザと判断する。その場合、制御部161はディスプレイ13にパスワードの再入力を促すメッセージ等を表示させ、以下の処理を行わない。
サーバ装置16の制御部161は上記のユーザ19−1の認証に成功し、端末装置11−1との間に音声信号の送受信のための通信接続を確立する際、端末装置11−1から端末装置11−1の端末ID「0103」を取得する。制御部161は端末IDを取得すると、ユーザDB1652に含まれるユーザデータ「K.Imai」の「端末ID」を「0103」に、また「オンライン」を「Yes」に更新する。また、制御部161は、グループDB1651(図2参照)に含まれるグループデータのうち、「ユーザ名」に「K.Imai」を含むものを抽出し、抽出したグループデータに含まれる「オンライン」の「K.Imai」に対応するデータを「Yes」に更新する。
制御部161は上記のようにグループDB1651もしくはユーザDB1652に何らかの更新を行うと、更新したデータを含む更新要求データを生成し、管理データ送信部1632は生成された更新要求データを全ての端末装置11に送信する。端末装置11の各々において、管理データ受信部1132は更新要求データを受信し、制御部111は受信された更新要求データに従い、グループDB1181もしくはユーザDB1182に含まれるデータの更新を行う。
上記のようにユーザ19−1の認証処理および端末装置11−1とサーバ装置16との間の通信接続の確立が完了すると、端末装置11−1の制御部111はディスプレイ13に操作画面を表示させる。図4は操作画面を例示した図である。操作画面には、ユーザ19−1をメンバとして含むグループである「いろはグループ」、「ABCグループ」および「甲乙丙グループ」の各々に関し、ユーザ19−1が会話もしくはモニタを行うための各種情報を表示するとともに、ユーザ19−1による各種操作を受け付けるための操作子を含む操作パネル131−1〜3が含まれている。
また、操作画面には、「いろはグループ」、「ABCグループ」および「甲乙丙グループ」の各々において行われている会話の音声をグループ毎に分離する方法を選択するためのオプションボタン142と、ユーザ19−1により選択されたグループのメンバの状態を表示する表示窓143と、ユーザ19−1の状態の変更指示を行うためのオプションボタン144が含まれている。さらに、操作画面には、表示窓143においてユーザ19−1により選択されたメンバに対し会話への参加を要請するためのボタン145と、表示窓143に表示されているメンバのうちオンライン状態であり会話中でなく取込中でないメンバの全員に対し会話への参加を要請するためのボタン146と、ボタン145もしくはボタン146を用いて行う会話への参加要請を強制的なものとするか否かを選択するためのチェックボックス147が含まれている。
制御部111は、グループDB1181およびユーザDB1182から「ユーザ名」に「K.Imai」を含むグループデータおよびユーザデータを抽出し、抽出したそれらのデータに基づき、上述した操作画面の表示用データを生成する。
以下、操作パネル131に含まれる表示および操作子を説明する。ラベル132は操作パネル131に対応するグループ名を表示する。ラベル133はこのグループが会話グループとして指定されていることを示す「会話モード」、モニタグループとして指定されていることを示す「モニタモード」、会話グループおよびモニタグループのいずれにも指定されていないことを示す「Off」のいずれかを表示する。ラベル134はこのグループがロック状態であることを示す「Yes」およびロック状態でないことを示す「No」のいずれかを表示する。
ボタン135はユーザ19−1がこのグループを会話グループとして指定したり、既に指定されている場合、それを解除したりするためのボタンである。このグループが既に会話グループとして指定されている場合、ボタン135には「会話Off」が表示され、会話グループとして指定されていない場合、ボタン135には「会話On」が表示される。ボタン136はユーザ19−1がこのグループをモニタグループとして指定したり、既に指定されている場合、それを解除したりするためのボタンである。このグループが既にモニタグループとして指定されている場合、ボタン136には「モニタOff」が表示され、モニタグループとして指定されていない場合、ボタン136には「モニタOn」が表示される。
スライダ137はユーザ19−1がこのグループにおける会話音声もしくはモニタ音声の音量を調節するためのスライダである。セレクタレバー138はユーザ19−1がこのグループにおける会話音声もしくはモニタ音声に対し施されるべきパラメトリックイコライザ処理の中心周波数を変更するためのレバーである。セレクタレバー138はパラメトリックイコライザ処理のオンオフを切り替えるボタンの役割も有している。すなわち、ユーザ19−1がセレクタレバー138を押下する操作を行うと、このグループにおける会話音声もしくはモニタ音声に対するパラメトリックイコライザ処理の解除/開始が行われる。パラメトリックイコライザ処理が解除されている場合、セレクタレバー138のノブが表示されない。
セレクタレバー139はユーザ19−1がこのグループにおける会話音声もしくはモニタ音声の音像位置を変更するためのレバーである。スライダ137、セレクタレバー138およびセレクタレバー139は、このグループが会話グループおよびモニタグループのいずれにも指定されていない場合には表示されない。また、オプションボタン142により各グループの音声の分離方法として「周波数特性のみ」が選択されている場合、操作パネル131−1〜3のいずれにおいても周波数特性の変更に関するセレクタレバー138は表示されない。また、オプションボタン142により各グループの音声の分離方法として「音像位置のみ」が選択されている場合、操作パネル131−1〜3のいずれにおいても音像位置の変更に関するセレクタレバー139は表示されない。
ところで、スライダ137のノブの位置はユーザ19−1の操作により連続的に変更可能であり、ノブの位置に応じて対応するグループの会話音声もしくはモニタ音声の音量は連続的に変化する。これに対し、本実施形態においては例として、セレクタレバー138およびセレクタレバー139は、所定の複数箇所の中からユーザ19−1がいずれか1箇所を選択可能となっている。セレクタレバー138およびセレクタレバー139においてユーザ19−1が選択可能な位置の数は、ユーザ19−1が所属するグループの数と一致する。
例えば、図4の例によればユーザ19−1は3つのグループに所属しているため、ユーザ19−1はセレクタレバー138により、中心周波数として3つの選択肢(以下、それらの選択肢を「低」、「中」および「高」とする)のうちから1つを選択することができる。また、ユーザ19−1はセレクタレバー139により、音像位置として3つの選択肢(以下、それらの選択肢を「左」、「中央」および「右」とする)のうちから1つを選択することができる。図4の例によれば、「いろはグループ」の会話音声は中心周波数「中」のパラメトリックイコライザ処理が施され、かつ音像位置「中」で発音されるように選択されている。また、「ABCグループ」のモニタ音声は中心周波数「低」のパラメトリックイコライザ処理が施され、かつ音像位置「右」で発音されるように選択されている。
ボタン140はユーザ19−1がこのグループのメンバの状態を表示窓143に表示させるために用いるボタンである。ボタン141はユーザ19−1がこのグループのロック状態の開始および解除を行うためのボタンである。既に述べたように、ロック状態の開始および解除を行う権限を有する者はグループデータの「ロック権限種別」により指定されている。従って、ボタン141はユーザ19−1がロック権限を有している場合にのみ表示される。以上が操作パネル131に含まれる表示および操作子である。
表示窓143には、ユーザ19−1がボタン140を押下する操作を行った操作パネル131に対応するグループのメンバの各々に関し、ユーザデータに基づき「ユーザ名」、「オンライン」、「会話中」および「ユーザ状態」が表示される。ただし、「会話中」にはメンバがこのグループの会話に参加していることを示す「Yes」もしくは参加していないことを示す「No」が表示される。例えば「いろはグループ」のメンバの状態が表示窓143に表示されている場合、ユーザデータにおいて「会話グループ名」に「いろはグループ」が指定されている場合、表示窓143の「会話中」は「Yes」と表示され、それ以外の場合には「No」と表示される。
既に述べたように、会話に未参加のメンバに対し参加要請を行う権限を有する者はグループデータの「参加要請権限種別」により指定されている。従って、ボタン145、ボタン146およびチェックボックス147はユーザ19−1が参加要請権限を有している場合にのみ表示される。
ユーザ19−1がスライダ137、セレクタレバー138、セレクタレバー139、オプションボタン142およびチェックボックス147を用いて各々の操作子に対応するパラメータの変更もしくは選択を行うと、変更もしくは選択されたパラメータは記憶部118に一時的に記憶され、後述する区分部114等の処理において利用される。
図4に示される操作画面が表示されている状況において、ユーザ19−1は「いろはグループ」のメンバとの間で会話を行うことができるとともに、「ABCグループ」の他のメンバ間で行われている会話をモニタすることができる。その際、「いろはグループ」における会話の音声と「ABCグループ」における会話の音声は、周波数特性および音像位置の少なくとも一方が互いに異なるように加工されて発音される結果、ユーザ19−1はいずれの発言がいずれのグループのメンバによるものかを識別することができる。
従って、ユーザ19−1は、あたかも複数画面を同時表示可能なマルチスクリーンテレビジョンにおいてあるチャンネルの画像を観ながら他のチャンネルにおいてどのような画像が放映されているかを確認し好みのチャンネルの画像を選択する場合のように、あるグループにおいて会話を行いながら他のグループにおいて行われている会話の内容も聴くことができ、また必要に応じて会話に参加するグループを切り替えることができる。以下、そのために行われる音声システム1の処理を詳説する。
ユーザ19−1がマイク14に向かって発言を行うと、ユーザ19−1の音声信号がマイク14から音声信号送信部1121に引き渡され、音声信号送信部1121は受け取った音声信号を端末装置11−1の端末IDとともにサーバ装置16に送信する。サーバ装置16の音声信号受信部1621が端末装置11−1から音声信号を受信すると、選択部164は受信した音声信号に付加されている端末IDを検索キーとしてユーザDB1652からユーザデータ「K.Imai」を検索し、ユーザデータ「K.Imai」の「所属グループ名」に含まれるグループ名「いろはグループ」、「ABCグループ」および「甲乙丙グループ」を取得する。選択部164はユーザDB1652から、「会話グループ名」もしくは「モニタグループ名」に「いろはグループ」、「ABCグループ」および「甲乙丙グループ」のいずれかを含み、かつ「オンライン」が「Yes」であるユーザデータを抽出する。このように抽出されたユーザデータに対応する端末装置11は、端末装置11−1からサーバ装置16が受信した音声信号を会話用もしくはモニタ用として必要とする端末装置11である。選択部164は上記のように抽出したグループデータに含まれる「端末ID」を端末装置11−1から受信した音声信号に付加して音声信号送信部1631に引き渡す。音声信号送信部1631は選択部164から受け取った音声信号を付加されている端末IDにより特定される端末装置11の各々に対し送信する。
ところで、選択部164は端末装置11の各々から音声信号を受信し、受信した音声信号の送信先の端末装置11を上記のように選択するが、その手順は上記のものに限られない。例えば、選択部164は以下のような手順により、上記と同様の結果を得ることができる。選択部164はユーザDB1652からユーザデータ「K.Imai」の「会話グループ名」もしくは「モニタグループ名」に含まれるグループ名を取得し、取得したグループ名のいずれかを「所属グループ名」に含み、かつ「オンライン」が「Yes」であるユーザデータをグループDB1651から抽出する。そのように抽出されるユーザデータは、端末装置11−1に送信されるべき音声信号の送信元の端末装置11を示す。従って、選択部164は音声信号受信部1621から上記のように抽出したユーザデータの「端末ID」により示される端末IDの付加された音声信号を受け取ると、その音声信号の送信先の端末IDとして端末装置11−1の端末ID「0103」を付加して音声信号送信部1631に引き渡す。
上記のように、端末装置11−1を送信元とする音声信号はサーバ装置16を介してユーザ19−1の音声信号を会話用もしくはモニタ用として必要とする全ての端末装置11に送信され、端末装置11−1はサーバ装置16を介して、「いろはグループ」のメンバおよび「ABCグループ」のメンバの端末装置11から音声信号を受信する。
端末装置11−1の音声信号受信部1131は、サーバ装置16から音声信号を受信すると、受信した音声信号を区分部114に引き渡す。区分部114は音声信号受信部1131から受け取った音声信号に付加されている送信元の端末装置11の端末IDを検索キーとして、ユーザDB1182からユーザデータを検索する。区分部114は検索したユーザデータの「所属グループ名」の内容を音声信号受信部1131から受け取った音声信号に付加し、周波数特性加工部115に引き渡す。
図4に例示の操作画面が表示されている場合、「いろはグループ」の会話音声には中心周波数「中」のパラメトリックイコライザ処理が施される必要がある。従って、周波数特性加工部115はグループ名「いろはグループ」が付加された音声信号を区分部114から受け取った場合、その音声信号に対し、例えば1.0kHzを中心周波数とし、例えばQ=1.5のパラメトリックイコライザ処理を施す。一方、図4に例示の操作画面が表示されている場合、「ABCグループ」の会話音声には中心周波数「低」のパラメトリックイコライザ処理が施される必要がある。従って、周波数特性加工部115はグループ名「ABCグループ」が付加された音声信号を区分部114から受け取った場合、その音声信号に対し、例えば160Hzを中心周波数とし、例えばQ=1.5のパラメトリックイコライザ処理を施す。周波数特性加工部115は上記のようにパラメトリックイコライザ処理を施した音声信号を音像位置加工部116に引き渡す。
ところで、図4においてユーザ19−1による操作もしくは制御部111の処理により、例えば操作パネル131−1のセレクタレバー138のノブが表示されていない場合、それは「いろはグループ」の会話音声に対してパラメトリックイコライザ処理が施されるべきではないことを示している。従って、周波数特性加工部115はグループ名「いろはグループ」が付加された音声信号を区分部114から受け取った場合、その音声信号に対し何も処理を施すことなく音像位置加工部116に引き渡す。また、オプションボタン142において、分離方法「音像位置のみ」が選択されている場合、それはいずれのグループの会話音声もしくはモニタ音声に対してもパラメトリックイコライザ処理が施されるべきではないことを示している。従って、周波数特性加工部115は区分部114から受け取った全ての音声信号をそのまま音像位置加工部116に引き渡す。
図4に例示の操作画面が表示されている場合、「いろはグループ」の会話音声には音像位置「中央」となるように音像位置の調整処理が施される必要がある。ここで、音像位置加工部116が周波数特性加工部115から受け取る音声信号はモノラルである。従って、周波数特性加工部115はグループ名「いろはグループ」が付加された音声信号を区分部114から受け取った場合、その音声信号から、各々同じゲインを有する2組の音声信号を複製し、1組を左用音声信号、他の1組を右用音声信号とする。このように音像位置加工部116により生成される2組の音声信号は、「いろはグループ」の会話音声をステレオで示すステレオ音声信号であり、その音像位置が中央となる。音像位置加工部116はこのように生成したステレオ音声信号をミキサ117に引き渡す。
また、図4に例示の操作画面が表示されている場合、「ABCグループ」の会話音声には音像位置「右」となるように音像位置の調整処理が施される必要がある。従って、周波数特性加工部115はグループ名「ABCグループ」が付加された音声信号を区分部114から受け取った場合、その音声信号から、各々同じゲインを有する2組の音声信号を複製し、1組を左用音声信号、他の1組を右用音声信号とする。続いて、音像位置加工部116は左用音声信号にはゲインを例えば30%減少する処理を施し、右用音声信号にはゲインを30%増幅させる処理を施す。このように音像位置加工部116により生成される2組の音声信号は、「ABCグループ」のモニタ音声をステレオで示すステレオ音声信号であり、その音像位置が右となる。音像位置加工部116はこのように生成したステレオ音声信号をミキサ117に引き渡す。
ところで、図4の操作画面に含まれるオプションボタン142において、分離方法「周波数のみ」が選択されている場合、それはいずれのグループの会話音声もしくはモニタ音声に対しても音像位置の調整処理が施されるべきではないことを示している。従って、音像位置加工部116は周波数特性加工部115から受け取った全てのモノラル音声信号をステレオ音声信号に変換する処理のみを行い、ゲイン調整処理を行うことなく音像位置加工部116に引き渡す。
なお、本実施形態においては、音像位置加工部116は周波数特性加工部115からモノラル音声信号を受け取るものとしているが、例えばマイク14がステレオ音声信号を生成するような場合、音像位置加工部116は周波数特性加工部115からステレオ音声信号を受け取る。そのような場合、音像位置加工部116はグループ名「いろはグループ」が付加されたステレオ音声信号を区分部114から受け取り、受け取ったステレオ音声信号をそのままミキサ117に引き渡せばよい。音像位置加工部116が周波数特性加工部115から受け取るステレオ音声信号の音像位置が既に中央となっているためである。また、音像位置加工部116はグループ名「ABCグループ」が付加されたステレオ音声信号を区分部114から受け取った場合、モノラル音声信号をステレオ音声信号に変換する必要はないので、受け取ったステレオ音声信号に対し上記のゲイン調整の処理を施せばよい。
ミキサ117は上述したように、音像位置加工部116から周波数特性および音像位置の調整処理の施された「いろはグループ」の会話音声と「ABCグループ」のモニタ音声のステレオ音声信号を受け取る。ミキサ117は受け取ったそれらのステレオ音声信号に対し、操作パネル131−1および2のスライダ137により示される音量となるようにゲイン調整処理を施す。ミキサ117はゲイン調整処理を施したステレオ音声信号を左用音声信号および右用音声信号の各々につきミキシングし、その結果得られる音声信号をスピーカ15−LおよびRに各々出力する。スピーカ15−LおよびRはミキサ117から入力された音声信号を音声に変換して発音する。その結果、ユーザ19−1は「いろはグループ」のメンバの音声を、低音域および高音域の成分がカットされた状態で、中央の音像位置で聴くことができる。また、ユーザ19−1は「ABCグループ」のメンバの音声を、中音域および高音域の成分がカットされた状態で、右にずれた音像位置で聴くことができる。
以上の音声システム1による処理の結果を要約すれば、ユーザ19−1の発言は「いろはグループ」のメンバに伝達され、「いろはグループ」の他のメンバの発言はユーザ19−1に伝達されるため、ユーザ19−1は「いろはグループ」の他のメンバとの間で会話を行うことができる。また、「ABCグループ」の他のメンバの発言がユーザ19−1に伝達されるため、ユーザ19−1は「ABCグループ」における会話の内容を知ることができる。上記のように、ユーザ19−1は「いろはグループ」および「ABCグループ」の各々において行われている会話の音声を同時に聴くことになるが、それらの音声はグループ毎に異なる周波数特性および音像位置を持つように加工されているため、ユーザ19−1はいずれの発言がいずれのグループに属するメンバの発言であるかを容易に識別することができる。
ところで、ユーザ19−1は操作画面(図4参照)において、キーボード12を用いてボタン135を押下する操作を行うことにより、会話に参加したり離脱したりすることができる。例えば図4に示される操作画面において操作パネル131−1のボタン135が押下されると、制御部111はユーザデータ「K.Imai」の「会話グループ名」が空欄となるようにユーザデータの更新を行う。
制御部111は、上記のようにユーザデータの更新を行うと、操作パネル131−1のスライダ137を非表示にする等の処理を行うとともに、更新されたデータを含む更新要求データを生成する。管理データ送信部1122は制御部111により生成された更新要求データをサーバ装置16に送信する。サーバ装置16の管理データ受信部1622が更新要求データを端末装置11−1から受信すると、制御部161は受信した更新要求データに従いユーザDB1652を更新する。さらに、制御部161はオンライン状態である端末装置11−1以外の端末装置11の全てに対し、管理データ送信部1632を介して更新要求データを転送する。
サーバ装置16から管理データ受信部1132により更新要求データを受信した端末装置11においては、受信した更新要求データに従い制御部111がユーザDB1182を更新する。その結果、オンライン状態の全ての端末装置11およびサーバ装置16において、ユーザDB1182およびユーザDB1652の内容が同一に維持される。ユーザの操作に伴いユーザDB1182およびグループDB1181の更新が行われる場合には、上記と同様の更新処理が行われるため、以下、その説明は繰り返さない。
上記のようにユーザDB1182およびユーザDB1652が更新される結果、ユーザ19−1の音声が他のユーザ19に伝達されることはなくなり、またユーザ19−1に対し「いろはグループ」の会話が伝達されることもなくなる。すなわち、ユーザ19−1は「いろはグループ」の会話から離脱することができる。
また、操作パネル131−1のボタン135の表示が「会話On」である状態でユーザ19−1によりボタン135が押下された場合、制御部111はまずグループデータ「いろはグループ」の「参加許可権限種別」を確認し、その内容が「自由参加可」であればユーザDB1182に含まれるユーザデータ「K.Imai」の「会話グループ名」が「いろはグループ」となるようにユーザデータの更新を行う。
一方、グループデータ「いろはグループ」の「参加許可権限種別」が「自由参加可」以外である場合、制御部111は参加許可権限を有するメンバであり「オンライン」が「Yes」であるメンバの端末装置11を送信先とする参加申請データを生成する。図2に示されるデータ例に従う場合、グループデータ「いろはグループ」の「参加許可権限種別」は「リーダ」となっている。「リーダ」はグループのリーダを示し、原則はグループデータにおいて最上位に登録されているメンバである。ただし、そのように決定されるリーダがオフライン状態であるか、取込中もしくは退席中である場合、そのメンバはリーダとしての役割を果たせないため、グループデータにおける次の順位のメンバがリーダを代行する。代行したリーダがオフライン状態、取込中もしくは退席中である場合、さらに次の順位のメンバがリーダを代行することになる。
ところでこの場合、「いろはグループ」のリーダはユーザ名「K.Imai」のメンバであり、リーダ自身が会話への参加申請をしているため、制御部111は参加申請データを送信することなく、ユーザデータ「K.Imai」の「会話グループ名」が「いろはグループ」となるようにユーザデータの更新を行う。
制御部111により参加申請データが生成された場合、管理データ送信部1122は生成された参加申請データをサーバ装置16に送信し、参加申請データはサーバ装置16を介して参加許可権限を有するメンバの端末装置11に受信される。参加申請データを受信した端末装置11において、制御部111はディスプレイ13に例えば「K.Imaiがいろはグループの会話への参加を希望しています。許可しますか?」といった参加許可の承諾確認を促すメッセージを表示させる。そのメッセージに応じてユーザ19が承諾の操作を行った場合、制御部111は参加承諾データを生成し、管理データ送信部1122は生成された参加承諾データを、端末装置11−1を送信先としてサーバ装置16に送信する。
「参加許可権限種別」が「リーダ」、「管理メンバのいずれか一名」もしくは「いずれか一名」である場合、端末装置11−1は1つの端末装置11から参加承諾データを受信した時点で参加の許可を得たことになる。また「参加許可権限種別」が「全員一致」である場合、端末装置11−1は参加申請データの送信先として指定した端末装置11の全てから参加承諾データを受信した時点で参加の許可を得たことになる。端末装置11−1は参加の許可を得ると、ユーザデータ「K.Imai」の「会話グループ名」が「いろはグループ」となるようにユーザデータの更新を行う。その結果、ユーザ19−1は「いろはグループ」の会話に参加することができる。
また、図4に示される状態で、ユーザ19−1により例えば操作パネル131−2のボタン135が押下されると、上述した参加申請および参加承認に関する処理が行われ、参加承認がなされると、端末装置11−1の制御部111はユーザデータ「K.Imai」の「会話グループ名」が「ABCグループ」となり、「モニタグループ名」が空欄となるようにユーザデータを更新する。その結果、ユーザ19−1は「いろはグループ」の会話から離脱すると同時に「ABCグループ」の会話に参加することになる。
上記のように、会話グループが変更された場合、制御部111は新たに会話グループに指定された「ABCグループ」の会話音声がユーザ19−1にとってより判別し易くなるように、「ABCグループ」の音声の音量、周波数特性および音像位置に関し記憶部118に記憶されているパラメータを更新する。具体的には、制御部111は、例えば「ABCグループ」の音声の音量パラメータを「大」にし、周波数特性加工部115による加工処理のパラメータを「無」にし、音像位置のパラメータを「中央」にする。
上記のように記憶部118に記憶されているパラメータが更新されると、周波数特性加工部115、音像位置加工部116およびミキサ117は更新前の状態から更新後の状態に、所定時間をかけて徐々に推移するように、それぞれパラメトリックイコライザ処理のQ値、左右のゲインの増減率および全体のゲインの増減率を変化させる。その結果、「ABCグループ」の会話音声の音量は徐々に大きくなり、その周波数特性が徐々にフラットになり、さらにその音像位置が徐々に右から中央に向かい移動する。その後、所定時間が経過すると「ABCグループ」の音声が周波数特性の調整のされないフラットな音質で、中央で大きく発音されるようになる。従って、ユーザ19−1はその音声が会話音声であることを容易に知ることができる。また、上記のように「ABCグループ」の音声の音像位置等が連続的に変化するため、ユーザ19−1は「ABCグループ」の音声を容易に捕捉することができる。
ところで、新たに会話グループとして指定されたグループの音声に対し、上記とは異なる音量、周波数特性および音像位置を割り当てるようにしてもよい。例えば新たに会話グループとなったグループの音声に対し音量の変化を行わず、中心周波数「高」、音像位置「中央」となるように変更を加えるようにしてもよい。それらのパラメータの選択は任意である。
また、新たに会話グループとして指定されたグループの音声に割り当てられた周波数特性もしくは音像位置が、他のグループの音声に既に割り当てられている周波数特性もしくは音像位置と一致する場合、制御部111はそのような他のグループの音声に対し、いずれのグループの音声にも割り当てられていない周波数特性もしくは音像位置を割り当てる。その場合、他のグループの音声についても、新たに会話グループとなったグループの音声と同様に、周波数特性もしくは音像位置が所定時間をかけて徐々に変化するように周波数特性加工部115および音像位置加工部116による加工処理が施される。その結果、ユーザ19−1は周波数特性もしくは音像位置に変更の加えられる会話グループ以外のグループの音声に関しても、その音声を容易に捕捉することができる。
ユーザ19−1により、例えば操作パネル131−1のボタン136が押下されると、端末装置11−1の制御部111はユーザデータ「K.Imai」の「会話グループ名」が空欄となり、「モニタグループ名」が「ABCグループ」および「いろはグループ」を含むようにユーザデータを更新する。その結果、ユーザ19−1の音声が他のユーザ19に伝達されることはなくなり、また「いろはグループ」の他のメンバの会話が加工された後、ユーザ19−1に伝達されるようになる。すなわち、ユーザ19−1は「いろはグループ」の会話をモニタすることができるようになる。
また、ユーザ19−1により例えば操作パネル131−1のスライダ137が操作されると、その操作に応じて、端末装置11−1のミキサ117は「いろはグループ」のメンバの音声信号のゲイン調整を行う。また、ユーザ19−1により例えば操作パネル131−1のセレクタレバー138が操作されると、その操作に応じて、端末装置11−1の周波数特性加工部115は「いろはグループ」のメンバの音声信号に対するパラメトリックイコライザ処理の中心周波数を変化させる。さらに、ユーザ19−1により例えば操作パネル131−1のセレクタレバー139が操作されると、その操作に応じて、端末装置11−1の音像位置加工部116は「いろはグループ」のメンバの音声信号に対するゲイン調整処理における左右のゲイン率を変化させる。ユーザ19−1により会話音声もしくはモニタ音声の周波数特性もしくは音像位置の変更指示がなされた場合も、上述した会話グループの変更指示があった場合と同様に、発音される音声の周波数特性もしくは音像位置が所定時間をかけて徐々に変化するように、周波数特性加工部115および音像位置加工部116による加工処理が行われる。
また、ユーザ19−1により例えば操作パネル131−2のボタン140が押下されると、制御部111はグループDB1181およびユーザDB1182に基づき表示窓143の表示を「ABCグループ」のメンバの状態を示すものに変更する。
また、ユーザ19−1により例えば操作パネル131−1のボタン141が押下されると、制御部111はグループデータ「いろはグループ」の「ロック」が「Yes」となるようにグループデータの更新を行う。この更新がサーバ装置16のグループDB1651およびオンライン状態である他の全ての端末装置11のグループDB1181に反映される結果、「いろはグループ」のメンバであるユーザ19の使用する端末装置11においては、「いろはグループ」に対応する操作パネル131のボタン135の表示が「会話On」である場合、ボタン135の押下ができなくなる。すなわち、既に「いろはグループ」の会話に参加しているメンバが会話に継続参加もしくは離脱することはできるが、会話に未参加のメンバが新たに会話に参加できなくなる。
また、ユーザ19−1によりオプションボタン144における選択が変更されると、制御部111はグループDB1181およびユーザDB1182の「ユーザ名」に「K.Imai」を含むグループデータもしくはユーザデータを検索し、検索したデータの「ユーザ状態」(グループデータに関しては「ユーザ状態」に含まれる「K.Imai」に対応するデータ)が選択されたユーザ状態を示すデータとなるように更新する。さらに、ユーザ19−1によりオプションボタン144において「取込中」が選択された場合、その時点で会話グループとして指定されていたグループの会話からユーザ19−1が自動的に離脱される。すなわち、制御部111はユーザデータ「K.Imai」の「会話グループ名」が空欄となるようにユーザデータの更新を行う。また、ユーザ19−1によりオプションボタン144において「退席中」が選択された場合、その時点で会話グループとして指定されていたグループの会話からユーザ19−1が自動的に離脱されるとともに、その時点でモニタグループとして指定されていたグループのモニタも停止される。すなわち、制御部111はユーザデータ「K.Imai」の「会話グループ名」および「モニタグループ名」がともに空欄となるようにユーザデータの更新を行う。
また、ユーザ19−1はボタン145およびボタン146が操作画面に表示されている場合、表示窓143に表示されているメンバのうち、「オンライン」が「Yes」、「会話中」が「No」かつユーザ状態が「通常」となっているメンバを1人以上選択し、選択したメンバに対し会話への参加要請を行うことができる。なお、表示窓143において「オンライン」が「No」であるメンバは会話に参加できないため選択できないようになっている。また、「会話中」が「Yes」であるメンバは既に会話に参加しているため選択できないようになっている。また、ユーザ状態が「通常」もしくは「退席中」となっているメンバは、そのユーザ19が会話への参加要請を受けられないことを予め表明しているため選択できないようになっている。
ユーザ19−1により表示窓143に表示されているメンバのいずれかが選択され、ボタン145が押下されると、制御部111は選択されたメンバのユーザ名を検索キーとしてユーザDB1182からユーザデータを検索し、検索したユーザデータの「端末ID」により特定される端末装置11を送信先とする参加要請データを生成する。その際、チェックボックス147がチェックされていると、制御部111は参加要請データに強制参加を示すデータを含める。そのように生成された参加要請データは、管理データ送信部1122からサーバ装置16を介してユーザ19−1に選択されたユーザ19の端末装置11に送信される。
参加要請データに強制参加を示すデータが含まれている場合、参加要請データを受信した端末装置11の制御部111はユーザDB1182の自機に対応するユーザデータの「会話グループ名」が「いろはグループ」となるようにユーザデータの更新を行う。その結果、ユーザ19−1により参加要請のされたユーザ19が「いろはグループ」の会話に参加するようになる。
一方、参加要請データに強制参加を示すデータが含まれていない場合、参加要請データを受信した端末装置11の制御部111はディスプレイ13に例えば「いろはグループの会話への参加要請が来ています。参加しますか?」といった参加の承諾確認を促すメッセージを表示させる。そのメッセージに応じてユーザ19が承諾の操作を行った場合にのみ、制御部111は上記のユーザデータの更新を行う。その結果、ユーザ19−1により参加要請のされたユーザ19が「いろはグループ」の会話に参加するようになる。参加要請のなされたユーザ19が参加を拒否する操作を行うか、所定時間内に承諾の操作を行わなかった場合、ユーザデータの更新は行われず、ユーザ19−1により参加要請のなされたユーザ19が「いろはグループ」の会話に参加することはない。
また、ユーザ19−1はボタン146を押下する操作により、表示窓143に表示されているメンバのうち、「オンライン」が「Yes」、「会話中」が「No」かつユーザ状態が「通常」となっている全てのメンバに対し会話への参加要請を行うことができる。その際に音声システム1において行われる処理はボタン145が押下された場合の処理と同様であるが、ユーザ19−1は会話への参加要請の可能な全てのメンバを1人1人選択する必要がなく便利である。
以上説明したように、音声システム1によればユーザは自分が所属するグループの会話に参加しつつ、自分が所属する他のグループにおいて行われている会話をモニタすることができる。その際、各グループにおける会話の音声は、グループ毎に異なる周波数特性を持つように加工されて発音されるか、グループ毎に異なる音像位置となるように加工されて発音されるか、もしくはそれらの両方の加工が施されて発音される結果、ユーザはいずれの発言がいずれのグループにおけるものであるかを容易に識別することができる。さらに、ユーザは簡単な操作でモニタ中の会話に参加することもできる。その結果、ユーザ間に、より自由な会話の機会が生まれることが期待される。
ところで、上記の説明においては、音声信号の加工処理は各々の端末装置11に備えられる周波数特性加工部115および音像位置加工部116により行われるものとしたが、区分部114、周波数特性加工部115および音像位置加工部116をサーバ装置16に設け、サーバ装置16が聞き手にとってグループ毎に音声を分離可能とするための加工処理を各音声信号に施した後、端末装置11の各々に送信するようにしてもよい。また、区分部114はサーバ装置16に設けるが、周波数特性加工部115および音像位置加工部116は端末装置11に設けるようにし、サーバ装置16において音声信号を各グループに対応する音声グループに区分した後、それらの音声信号を端末装置11に送信するようにしてもよい。
また、上記の説明においては、区分部114による音声信号の区分は送信元の端末装置11の端末IDに基づき行われるものとしたが、例えば送信元の端末装置11の属性データを音声信号に付加し、音声信号を受信した端末装置11において、付加されている属性データに基づき音声信号の区分を行うようにしてもよい。
また、上記の説明においては、端末装置11間のデータはサーバ装置16を介して行われるものとしたが、端末装置11の各々が選択部164を備え、端末装置11の選択部164がグループDB1181およびユーザDB1182に基づき自機のユーザの音声信号を送信すべき端末装置11を選択するようにしてもよい。その場合、端末装置11はサーバ装置16を介することなく直接、他の端末装置11に音声信号および管理データを送信することが可能となり、サーバ装置16が不要となる。
また、上記の説明においては、端末装置11からユーザ19に対する通知はディスプレイ13における表示によるものとしたが、音により通知を行うようにしてもよい。
また、端末装置11およびサーバ装置16は、コンピュータにアプリケーションプログラムに従った処理を行わせることにより実現されてもよいし、専用のハードウェアにより実現されてもよい。
本発明の実施形態に係る音声システム1の全体構成を示したブロック図である。 本発明の実施形態に係るグループDBの構造を示した図である。 本発明の実施形態に係るユーザDBの構造を示した図である。 本発明の実施形態に係る操作画面を示した図である。
符号の説明
1…音声システム、10…ネットワーク、11…端末装置、12…キーボード、13…ディスプレイ、14…マイク、15…スピーカ、16…サーバ装置、111・161…制御部、112・163…送信部、113・162…受信部、114…区分部、115…周波数特性加工部、116…音像位置加工部、117…ミキサ、118・165…記憶部、164…選択部、1121・1631…音声信号送信部、1122・1632…管理データ送信部、1131・1621…音声信号受信部、1132・1622…管理データ受信部、1181・1651…グループDB、1182・1652…ユーザDB。

Claims (10)

  1. 1以上の端末装置をメンバとする端末グループが複数設定されている状況において、
    前記複数の端末グループのうち自己の端末装置をメンバとして含む1の端末グループを会話グループとして指定する会話グループ指定手段と、
    前記複数の端末グループのうち自己の端末装置をメンバとして含み、かつ前記会話グループとして指定されていない端末グループから1以上の端末グループをモニタグループとして指定するモニタグループ指定手段と、
    自己の端末装置のユーザの音声信号を受け取る音声信号入力手段と、
    前記音声信号入力手段により受け取られた音声信号を前記会話グループのメンバである他の端末装置を送信先として送信する音声信号送信手段と、
    前記会話グループもしくは前記モニタグループのいずれかのメンバである他の端末装置を送信元とする音声信号を受信する音声信号受信手段と、
    前記音声信号受信手段により受信された音声信号を、当該音声信号の送信元の端末装置がいずれの端末グループのメンバであるかに応じて、当該端末グループに対応する音声グループに区分する区分手段と、
    前記区分手段により1の音声グループに区分された音声信号の音像位置が、前記区分手段により前記1の音声グループとは異なる他の音声グループに区分された音声信号の音像位置と異なるように、少なくともいずれかの音声グループに区分された音声信号に加工を施す音像位置加工手段と、
    前記音像位置加工手段により加工の施された音声信号に関しては当該加工の施された音声信号を出力し、前記音像位置加工手段により加工の施されなかった音声信号に関しては当該加工の施されなかった音声信号を出力する音声信号出力手段と
    を備えることを特徴とする端末装置。
  2. 前記音像位置加工手段は、前記区分手段により前記会話グループに対応する音声グループに区分された音声信号の音像位置が中央もしくは略中央でない場合に当該音声信号の音像位置が中央もしくは略中央となるように当該音声信号に加工を施す
    ことを特徴とする請求項1に記載の端末装置。
  3. 前記会話グループ指定手段により会話グループとして指定される端末グループが変更された場合、前記音像位置加工手段は、新たに会話グループとして指定された端末グループに対応する音声グループに区分された音声信号の音像位置が、前記変更前において前記加工の施された後の当該音声信号の音像位置から中央もしくは略中央に向かい時間の経過に伴い推移するように加工を施す
    ことを特徴とする請求項2に記載の端末装置。
  4. 1以上の端末装置をメンバとする端末グループが複数設定されている状況において、
    前記複数の端末グループのうち自己の端末装置をメンバとして含む1の端末グループを会話グループとして指定する会話グループ指定手段と、
    前記複数の端末グループのうち自己の端末装置をメンバとして含み、かつ前記会話グループとして指定されていない端末グループから1以上の端末グループをモニタグループとして指定するモニタグループ指定手段と、
    自己の端末装置のユーザの音声信号を受け取る音声信号入力手段と、
    前記音声信号入力手段により受け取られた音声信号を前記会話グループのメンバである他の端末装置を送信先として送信する音声信号送信手段と、
    前記会話グループもしくは前記モニタグループのいずれかのメンバである他の端末装置を送信元とする音声信号を受信する音声信号受信手段と、
    前記音声信号受信手段により受信された音声信号を、当該音声信号の送信元の端末装置がいずれの端末グループのメンバであるかに応じて、当該端末グループに対応する音声グループに区分する区分手段と、
    前記区分手段により1の音声グループに区分された音声信号の周波数特性が、前記区分手段により前記1の音声グループとは異なる他の音声グループに区分された音声信号の周波数特性と異なるように、少なくともいずれかの音声グループに区分された音声信号に加工を施す周波数特性加工手段と、
    前記周波数特性加工手段により加工の施された音声信号に関しては当該加工の施された音声信号を出力し、前記周波数特性加工手段により加工の施されなかった音声信号に関しては当該加工の施されなかった音声信号を出力する音声信号出力手段と
    を備えることを特徴とする端末装置。
  5. 前記周波数特性加工手段は、前記区分手段により前記会話グループに対応する音声グループに区分された音声信号には当該音声信号の周波数特性を変更するための加工を施さない
    ことを特徴とする請求項4に記載の端末装置。
  6. 前記会話グループ指定手段により会話グループとして指定される端末グループが変更された場合、前記周波数特性加工手段は、新たに会話グループとして指定された端末グループに対応する音声グループに区分された音声信号の周波数特性が、前記変更前において前記加工の施された後の当該音声信号の周波数特性から前記加工の施されない当該音声信号の周波数特性に向かい時間の経過に伴い推移するように加工を施す
    ことを特徴とする請求項5に記載の端末装置。
  7. 前記区分手段により1の音声グループに区分された音声信号の音像位置が、前記区分手段により前記1の音声グループとは異なる他の音声グループに区分された音声信号の音像位置と異なるように、少なくともいずれかの音声グループに区分された音声信号に加工を施す音像位置加工手段
    をさらに備えることを特徴とする請求項4に記載の端末装置。
  8. 複数のグループの各々に関し当該グループのメンバである端末装置を示すメンバデータと、1の端末装置をメンバとして含むグループのうち前記1の端末装置が会話グループとして指定しているグループを示す会話グループデータと、前記1の端末装置がモニタグループとして指定しているグループを示すモニタグループデータとを記憶する記憶手段と、
    前記複数のグループのいずれかのメンバである端末装置を送信元とする音声信号を受信する音声信号受信手段と、
    前記音声信号受信手段により受信された音声信号の送信元の端末装置が前記会話グループデータにより示されるグループおよび前記モニタグループデータにより示されるグループのいずれかのメンバである場合、当該音声信号を前記1の端末装置を送信先として送信する音声信号送信手段と
    を備えることを特徴とするサーバ装置。
  9. 端末装置として機能する1以上のコンピュータをメンバとする端末グループが複数設定されている状況において、
    前記複数の端末グループのうち自己のコンピュータをメンバとして含む1の端末グループを会話グループとして指定する処理と、
    前記複数の端末グループのうち自己のコンピュータをメンバとして含み、かつ前記会話グループとして指定していない端末グループから1以上の端末グループをモニタグループとして指定する処理と、
    自己のコンピュータのユーザの音声信号を受け取る処理と、
    前記ユーザの音声信号を前記会話グループのメンバである他のコンピュータを送信先として送信する処理と、
    前記会話グループもしくは前記モニタグループのいずれかのメンバである他のコンピュータを送信元とする音声信号を受信する処理と、
    受信した音声信号を、当該音声信号の送信元のコンピュータがいずれの端末グループのメンバであるかに応じて、当該端末グループに対応する音声グループに区分する処理と、
    1の音声グループに区分した音声信号の音像位置が、前記1の音声グループとは異なる他の音声グループに区分した音声信号の音像位置と異なるように、少なくともいずれかの音声グループに区分した音声信号に加工を施す処理と、
    前記加工を施した音声信号に関しては当該加工の施された音声信号を出力し、前記加工を施さなかった音声信号に関しては当該加工の施されなかった音声信号を出力する処理と
    をコンピュータに実行させることを特徴とするプログラム。
  10. 端末装置として機能する1以上のコンピュータをメンバとする端末グループが複数設定されている状況において、
    前記複数の端末グループのうち自己のコンピュータをメンバとして含む1の端末グループを会話グループとして指定する処理と、
    前記複数の端末グループのうち自己のコンピュータをメンバとして含み、かつ前記会話グループとして指定していない端末グループから1以上の端末グループをモニタグループとして指定する処理と、
    自己のコンピュータのユーザの音声信号を受け取る処理と、
    前記ユーザの音声信号を前記会話グループのメンバである他のコンピュータを送信先として送信する処理と、
    前記会話グループもしくは前記モニタグループのいずれかのメンバである他のコンピュータを送信元とする音声信号を受信する処理と、
    受信した音声信号を、当該音声信号の送信元のコンピュータがいずれの端末グループのメンバであるかに応じて、当該端末グループに対応する音声グループに区分する処理と、
    1の音声グループに区分した音声信号の周波数特性が、前記1の音声グループとは異なる他の音声グループに区分した音声信号の周波数特性と異なるように、少なくともいずれかの音声グループに区分した音声信号に加工を施す処理と、
    前記加工を施した音声信号に関しては当該加工の施された音声信号を出力し、前記加工を施さなかった音声信号に関しては当該加工の施されなかった音声信号を出力する処理と
    をコンピュータに実行させることを特徴とするプログラム。
JP2005047659A 2005-02-23 2005-02-23 複数話者の音声信号を処理する端末装置、サーバ装置およびプログラム Withdrawn JP2006237864A (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2005047659A JP2006237864A (ja) 2005-02-23 2005-02-23 複数話者の音声信号を処理する端末装置、サーバ装置およびプログラム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2005047659A JP2006237864A (ja) 2005-02-23 2005-02-23 複数話者の音声信号を処理する端末装置、サーバ装置およびプログラム

Publications (1)

Publication Number Publication Date
JP2006237864A true JP2006237864A (ja) 2006-09-07

Family

ID=37045060

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2005047659A Withdrawn JP2006237864A (ja) 2005-02-23 2005-02-23 複数話者の音声信号を処理する端末装置、サーバ装置およびプログラム

Country Status (1)

Country Link
JP (1) JP2006237864A (ja)

Cited By (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008211448A (ja) * 2007-02-26 2008-09-11 Oki Electric Ind Co Ltd コールセンタ装置
JP2009169914A (ja) * 2007-12-21 2009-07-30 Taito Corp サービス提供システム、サービス提供方法、及びコンピュータプログラム
JPWO2008126130A1 (ja) * 2007-03-09 2010-07-15 パイオニア株式会社 レベル調節装置、信号処理装置、av処理装置およびプログラム
JP2010166424A (ja) * 2009-01-16 2010-07-29 Nec Corp 多地点会議システム、サーバ装置、音声ミキシング装置、及び多地点会議サービス提供方法
JP2010166425A (ja) * 2009-01-16 2010-07-29 Nec Corp 多地点会議システム、サーバ装置、音声ミキシング装置、及び多地点会議サービス提供方法
JP2012147196A (ja) * 2011-01-11 2012-08-02 Fujitsu Ltd Nam会話支援システムおよびnam会話支援方法
WO2014091965A1 (ja) * 2012-12-12 2014-06-19 Necカシオモバイルコミュニケーションズ株式会社 情報処理装置、情報処理方法及びプログラムを記録したコンピュータ読み取り可能な記録媒体
JP2015510716A (ja) * 2012-01-30 2015-04-09 インターナショナル・ビジネス・マシーンズ・コーポレーションInternational Business Machines Corporation 会議通話全体の会話を視覚化する方法、システム、およびコンピュータ・プログラム製品
WO2018139409A1 (ja) * 2017-01-27 2018-08-02 日本電気株式会社 無線端末、サーバ、無線端末の通信方法、記録媒体
JP2019165311A (ja) * 2018-03-19 2019-09-26 株式会社リコー サーバー、方法、プログラム及びシステム
JP2022016673A (ja) * 2019-03-06 2022-01-21 Kddi株式会社 音響信号の合成装置及びプログラム
WO2023176389A1 (ja) * 2022-03-15 2023-09-21 ソニーグループ株式会社 情報処理装置、情報処理方法、及び記録媒体
US11804975B1 (en) 2022-09-21 2023-10-31 International Business Machines Corporation Attentive listening in multiple online meetings

Cited By (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008211448A (ja) * 2007-02-26 2008-09-11 Oki Electric Ind Co Ltd コールセンタ装置
JPWO2008126130A1 (ja) * 2007-03-09 2010-07-15 パイオニア株式会社 レベル調節装置、信号処理装置、av処理装置およびプログラム
JP5000709B2 (ja) * 2007-03-09 2012-08-15 パイオニア株式会社 レベル調節装置、信号処理装置、av処理装置およびプログラム
JP2009169914A (ja) * 2007-12-21 2009-07-30 Taito Corp サービス提供システム、サービス提供方法、及びコンピュータプログラム
JP2010166424A (ja) * 2009-01-16 2010-07-29 Nec Corp 多地点会議システム、サーバ装置、音声ミキシング装置、及び多地点会議サービス提供方法
JP2010166425A (ja) * 2009-01-16 2010-07-29 Nec Corp 多地点会議システム、サーバ装置、音声ミキシング装置、及び多地点会議サービス提供方法
JP2012147196A (ja) * 2011-01-11 2012-08-02 Fujitsu Ltd Nam会話支援システムおよびnam会話支援方法
US10177926B2 (en) 2012-01-30 2019-01-08 International Business Machines Corporation Visualizing conversations across conference calls
US10574473B2 (en) 2012-01-30 2020-02-25 International Business Machines Corporation Visualizing conversations across conference calls
JP2015510716A (ja) * 2012-01-30 2015-04-09 インターナショナル・ビジネス・マシーンズ・コーポレーションInternational Business Machines Corporation 会議通話全体の会話を視覚化する方法、システム、およびコンピュータ・プログラム製品
US10200205B2 (en) 2012-01-30 2019-02-05 International Business Machines Corporation Visualizing conversations across conference calls
WO2014091965A1 (ja) * 2012-12-12 2014-06-19 Necカシオモバイルコミュニケーションズ株式会社 情報処理装置、情報処理方法及びプログラムを記録したコンピュータ読み取り可能な記録媒体
JPWO2018139409A1 (ja) * 2017-01-27 2019-11-14 日本電気株式会社 無線端末、サーバ、無線端末の通信方法、プログラム
WO2018139409A1 (ja) * 2017-01-27 2018-08-02 日本電気株式会社 無線端末、サーバ、無線端末の通信方法、記録媒体
US11393448B2 (en) 2017-01-27 2022-07-19 Nec Corporation Wireless terminal, server, communications method for wireless terminal, and recording medium for further enhancing voice synthesis in a mobile communication system
JP2019165311A (ja) * 2018-03-19 2019-09-26 株式会社リコー サーバー、方法、プログラム及びシステム
JP7052453B2 (ja) 2018-03-19 2022-04-12 株式会社リコー サーバー、方法、プログラム及びシステム
JP2022016673A (ja) * 2019-03-06 2022-01-21 Kddi株式会社 音響信号の合成装置及びプログラム
JP7212747B2 (ja) 2019-03-06 2023-01-25 Kddi株式会社 音響信号の合成装置及びプログラム
WO2023176389A1 (ja) * 2022-03-15 2023-09-21 ソニーグループ株式会社 情報処理装置、情報処理方法、及び記録媒体
US11804975B1 (en) 2022-09-21 2023-10-31 International Business Machines Corporation Attentive listening in multiple online meetings

Similar Documents

Publication Publication Date Title
JP2006237864A (ja) 複数話者の音声信号を処理する端末装置、サーバ装置およびプログラム
KR101659674B1 (ko) 보이스 링크 시스템
US9661270B2 (en) Multiparty communications systems and methods that optimize communications based on mode and available bandwidth
US9782675B2 (en) Systems and methods for interfacing video games and user communications
CN110910860B (zh) 线上ktv实现方法、装置、电子设备及存储介质
JP6451227B2 (ja) 情報処理装置、情報処理システム、プログラム、及び記録媒体
US20140171047A1 (en) Management of Mute and Unmute Requests During an Electronic-Conference Session
EP2892210B1 (en) Providing video telephony using broadcast receiving apparatus and SMS message
US20160294892A1 (en) Storage Medium Storing Program, Server Apparatus, and Method of Controlling Server Apparatus
US20170048284A1 (en) Non-transitory computer readable medium, information processing apparatus, and information processing system
CN113395305B (zh) 进行同步播放处理的方法、装置及电子设备
US20160134670A1 (en) Information processing system, information processing apparatus, information processing method, and non-transitory computer readable medium
CN114553841B (zh) 一种基于云服务的通讯方法及系统
JP2006203548A (ja) 複数話者の音声信号を処理する音声信号処理装置およびプログラム
EP3654639A1 (en) Communication system, carrier means, and terminal apparatus
JP2011077839A (ja) 情報共有システム
JP4425172B2 (ja) 通話装置、通話システム、及びプログラム
JP4562649B2 (ja) 映像音声会議システム
JP2006229602A (ja) 複数話者の音声信号を処理する端末装置、サーバ装置およびプログラム
US20230239406A1 (en) Communication system
JP6369212B2 (ja) 情報処理装置、情報処理システム、プログラム、及び記録媒体
CN113993114A (zh) 蓝牙广播方法、设备及计算机可读存储介质
JP6610076B2 (ja) 情報処理装置、情報処理システム、プログラム、及び記録媒体
JP2009246649A (ja) 映像会議装置、映像会議方法、映像会議プログラムおよび記録媒体
KR20060106211A (ko) 대화형 영상시스템 및 그 제어방법

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20071217

A761 Written withdrawal of application

Free format text: JAPANESE INTERMEDIATE CODE: A761

Effective date: 20090128