JP4802370B2

JP4802370B2 - COMMUNICATION CONTROL DEVICE AND METHOD, RECORDING MEDIUM, AND PROGRAM

Info

Publication number: JP4802370B2
Application number: JP2001021081A
Authority: JP
Inventors: 康昭高橋
Original assignee: Sony Corp
Current assignee: Sony Corp
Priority date: 2001-01-30
Filing date: 2001-01-30
Publication date: 2011-10-26
Anticipated expiration: 2021-01-30
Also published as: JP2002232576A

Description

【０００１】
【発明の属する技術分野】
本発明は、通信制御装置および方法、記録媒体、並びにプログラムに関し、特に、テレビ会議システムにおいて、複数の発言が重複した場合であっても、それぞれの発言を容易に聞き取ることができ、快適なコミュニケーションを図ることができるようにした通信制御装置および方法、記録媒体、並びにプログラムに関する。
【０００２】
【従来の技術】
近年、通信技術の発達に伴い、それぞれが遠隔地にいる３人以上のユーザが同時に会話することができる通話システムが提案されている。例えば、このような通話システムを利用して、テレビ会議を行うことが可能となる。
【０００３】
本出願人は、テレビ会議において、複数のユーザの発言のタイミングが重なった場合に、それぞれの発言を聞き易くするため、所定のユーザと他のユーザとの会話時間を記憶し、その記憶情報に基づいて、それぞれの音声の出力に対して重み付けをし、音量を制御することにより、主たる音声以外の音声を抑制することを特開2000-49948号公報に、先に開示している。
【０００４】
【発明が解決しようとする課題】
しかしながら、この先に提案した通話システムにおいては、各ユーザとの過去の会話時間に基づいて、各ユーザに対する他のユーザの発音の出力音量が制御されるため、頻繁に会話をしていなかった他のユーザからの音声が抑制されることになる。したがって、頻繁に会話をしていなかった他のユーザが突然、重要な発言をした場合に、その発言を聞き逃すおそれがあった。また、主たる発言以外の従たる発言の音量が抑制されるものの、それらの発言は、常時、出力されているため、現在会話しているユーザとの会話に集中できないという課題もあった。
【０００５】
本発明はこのような状況に鑑みてなされたものであり、複数のユーザが同時に発言した場合に、時間的にずらして出力することにより、３人以上が同時に会話する場合であっても、快適なコミュニケーションを図ることができるようにするものである。
【０００６】
【課題を解決するための手段】
本発明の通信制御装置は、複数の通信装置から送信される通話情報を受信する通話情報受信手段と、通話情報受信手段により受信された通話情報を記録する通話情報記録手段と、通話情報記録手段により記録された通話情報のうち、第１の通話情報と第２の通話情報が同時に送信されてきたと判定した場合、第１の通話情報と第２の通話情報を出力するタイミングの優先順位を設定する優先順位設定手段と、優先順位設定手段により設定された優先順位に基づいて、第１の通話情報と第２の通話情報を時間的にずらして出力する通話情報出力手段とを備え、優先順位設定手段は、第１の通話情報と第２の通話情報の出力履歴に基づいて、過去の通話情報の音量に較べ、より大きな音量の通話情報に、より高い優先順位を設定する。
【０００７】
通話情報出力手段は、優先順位設定手段により設定された優先順位に基づいて、発生期間のうちの開始のタイミングが早い第１の通話情報の出力が終了したとき、発生期間のうちの開始のタイミングが、第１の通話情報より遅い第２の通話情報の出力を開始するようにすることができる。
【００１２】
本発明の通信制御装置の通信制御方法は、複数の通信装置から送信される通話情報を受信する通話情報受信ステップと、通話情報受信ステップの処理により受信された通話情報を記録する通話情報記録ステップと、通話情報記録ステップの処理により記録された通話情報のうち、第１の通話情報と第２の通話情報が同時に送信されてきたと判定した場合、第１の通話情報と第２の通話情報を出力するタイミングの優先順位を設定する優先順位設定ステップと、優先順位設定ステップの処理により設定された優先順位に基づいて、第１の通話情報と第２の通話情報を時間的にずらして出力する通話情報出力ステップとを含み、優先順位設定ステップの処理においては、第１の通話情報と第２の通話情報の出力履歴に基づいて、過去の通話情報の音量に較べ、より大きな音量の通話情報に、より高い優先順位が設定される。
【００１３】
本発明の記録媒体のプログラムは、複数の通信装置から送信される通話情報を受信する通話情報受信ステップと、通話情報受信ステップの処理により受信された通話情報を記録する通話情報記録ステップと、通話情報記録ステップの処理により記録された通話情報のうち、第１の通話情報と第２の通話情報が同時に送信されてきたと判定した場合、第１の通話情報と第２の通話情報を出力するタイミングの優先順位を設定する優先順位設定ステップと、優先順位設定ステップの処理により設定された優先順位に基づいて、第１の通話情報と第２の通話情報を時間的にずらして出力する通話情報出力ステップとを含み、優先順位設定ステップの処理においては、第１の通話情報と第２の通話情報の出力履歴に基づいて、過去の通話情報の音量に較べ、より大きな音量の通話情報に、より高い優先順位が設定される。
【００１４】
本発明のプログラムは、コンピュータに、複数の通信装置から送信される通話情報を受信する通話情報受信ステップと、通話情報受信ステップの処理により受信された通話情報を記録する通話情報記録ステップと、通話情報記録ステップの処理により記録された通話情報のうち、第１の通話情報と第２の通話情報が同時に送信されてきたと判定した場合、第１の通話情報と第２の通話情報を出力するタイミングの優先順位を設定する優先順位設定ステップと、優先順位設定ステップの処理により設定された優先順位に基づいて、第１の通話情報と第２の通話情報を時間的にずらして出力する通話情報出力ステップとを含み、優先順位設定ステップの処理においては、第１の通話情報と第２の通話情報の出力履歴に基づいて、過去の通話情報の音量に較べ、より大きな音量の通話情報に、より高い優先順位が設定される処理を実行させる。
【００１５】
本発明の通信制御装置および方法、記録媒体、並びにプログラムにおいては、複数の通信装置から送信される通話情報が受信され、受信された通話情報が記録される。そして、記録された通話情報のうち、第１の通話情報と第２の通話情報が同時に送信されてきたと判定した場合、第１の通話情報と第２の通話情報を出力するタイミングの優先順位が設定され、設定された優先順位に基づいて、第１の通話情報と第２の通話情報が時間的にずらして出力される。また、第１の通話情報と第２の通話情報の出力履歴に基づいて、過去の通話情報の音量に較べ、より大きな音量の通話情報に、より高い優先順位が設定される。
【００１６】
【発明の実施の形態】
図１は、本発明を適用した通話システムの概念を説明する図である。なお、それぞれの装置の詳細な構成については、図２のブロック図を参照して後述する。
【００１７】
図１に示すように、この通話システムにおいては、ユーザA乃至Dが、それぞれに用意されている通話機器１A乃至１D（以下、通話機器１A乃至１Dのそれぞれを個々に区別する必要がない場合、まとめて通話機器１と称する。他の装置についても同様とする）を利用して、公衆回線網などよりなるネットワーク５を介して同時に通話をすることができ、例えば、遠隔地のユーザが電話会議などを行うことができる。なお、通話機器１Aは、音声処理装置２A、スピーカ３A、およびマイクロフォン４Aから構成されている。通話機器１B乃至１Dも同様に、それぞれ、音声処理装置２B乃至２D、スピーカ３B乃至３D、およびマイクロフォン４B乃至４Dから構成されている。
【００１８】
また、ネットワーク５には、ユーザA乃至Dから発言され、通話機器１からネットワーク５上に出力された音声情報を、各通話機器１に配布する通話制御サーバ６が接続されている。
【００１９】
通話制御サーバ６は、例えば、通話機器１Aを介してネットワーク５上に出力されたユーザAの音声情報の発生期間（発言期間）と、通話機器１Bを介してネットワーク５上に出力されたユーザBの音声情報の発生期間に、時間的に重複している部分がある場合、それぞれの音声情報が各通話機器１に出力されるタイミングの優先順位を設定し、優先順位に基づいて、それぞれの音声情報の出力のタイミングを制御する。
【００２０】
通話制御サーバ６は、例えば、ユーザAから発言された音声情報の優先順位を１位と、ユーザBから発言された音声情報の優先順位を２位と、それぞれ設定した場合、始めに、ユーザAの発言（音声情報）を各通話機器１に出力し、ユーザAの発言の出力が終了したとき、ユーザBの発言を各通話機器１に出力する。すなわち、通話制御サーバ６には、内部に音声情報の記憶部（音声情報記録部２３（図２参照））が設けられており、それぞれの音声情報が重複することなく、時間的にずれて出力されるため、複数のユーザが同時に発言をした場合であっても、１人のユーザの発言が他のユーザの発言により聞こえ難くなるといったことが抑制でき、各ユーザの全ての発言を容易に聞き取ることができる。
【００２１】
図２は、図１の通話システムを構成する装置の詳細な構成例を示すブロック図である。
【００２２】
通話機器１Aは、上述したように、音声処理装置２A、スピーカ３A、およびマイクロフォン４Aから構成されている。そして、音声処理装置２Aはさらに、内部に音声情報処理部１１A、送信部１２A、および受信部１３Aを有している。
【００２３】
音声情報処理部１１Aは、マイクロフォン４Aから入力されてきたユーザAの音声信号に、増幅、およびアナログディジタル変換処理などを施し、ユーザAの音声情報Aを生成する。また、音声情報処理部１１Aは、ネットワーク５のデータ伝送フォーマットに応じて、音声情報Aに所定の処理を施し、それを送信部１２Aに供給する。
【００２４】
また、音声情報処理部１１Aは、受信部１３Aにおいて受信され、供給されてきた音声情報（通話制御サーバ６により生成される出力音声情報）からなる信号に対して、増幅、およびディジタルアナログ変換処理などを施し、スピーカ３Aに出力する。
【００２５】
送信部１２Aは、音声情報処理部１１Aから供給されてきた音声情報Aをネットワーク５を介して通話制御サーバ６に送信する。
【００２６】
受信部１３Aは、ネットワーク５を介して通話制御サーバ６から送信されてき音声情報からなる信号を受信し、音声情報処理部１１Aに供給する。
【００２７】
ユーザB乃至Dにそれぞれ設けられている通話機器１B乃至１Dの音声処理装置２B乃至２Dは、通話機器１Aの音声処理装置２Aと同様に、音声情報処理部１１B乃至１１D、送信部１２B乃至１２D，並びに受信部１３B乃至１３Dをそれぞれ有している。
【００２８】
通話制御サーバ６の受信部２１は、各通話機器１の送信部１２から送信されてきた音声情報A乃至D（ユーザA乃至Dの発言）からなる信号（情報の送信先として通話制御サーバ６を指定する情報が含まれている信号）を受信し、音声情報処理部２２に供給する。受信部２１において受信される信号には、通話機器１A乃至１Dのうち、いずれの通話機器から送信されたものであるのかを示すアドレス情報も含められている。
【００２９】
音声情報処理部２２は、受信部２１から供給されてきた信号に対して、復調処理、アナログディジタル変換処理などを施して、ユーザA乃至Dのそれぞれの音声情報A乃至Dを取得し、音声情報記録部２３に供給する。
【００３０】
音声情報記録部２３は、例えば、ハードディスクなどの記録媒体、およびそのドライブから構成され、優先順位設定部２４からの指示に基づいて、音声情報処理部２２から供給されてきた音声情報A乃至Dを記録する。
【００３１】
優先順位設定部２４は、受信部２１からの通知に基づいて、音声情報A乃至Dの受信のタイミングを検出する。また、優先順位設定部２４は、受信部２１において受信された複数の音声情報の受信期間（ユーザA乃至Dの発言の期間）に、時間的に重複する部分があると判定した場合、各通話機器１のスピーカ３に音声情報（ユーザA乃至Dの発言）を出力させるタイミングの優先順位を、出力履歴情報記憶部２５に記憶されている出力履歴情報などに基づいて、受信された音声情報毎に設定する。そして、優先順位設定部２４は、設定した優先順位を後段の出力音声情報生成部２６に通知するとともに、その優先順位が設定されている音声情報を音声情報記録部２３から読み出し、出力音声情報生成部２６に供給する。
【００３２】
出力音声情報生成部２６は、優先順位設定部２４から供給されてきた音声情報を、通知された優先順位に基づいて並び替え、時間的に重複する部分がない音声情報としての出力音声情報を生成し、ネットワーク５の伝送フォーマットに応じた情報とし、それを送信部２７に供給する。
【００３３】
送信部２７は、出力音声情報生成部２６から供給されてきた出力音声情報（ユーザA乃至Dの音声情報が並び替えられた情報）をネットワーク５を介して、各通話機器１に送信する。
【００３４】
次に、図３のフローチャートを参照して、図１の通話制御サーバ６の通話制御処理について説明する。図４は、通話機器１から送信されてきた音声情報と、通話制御サーバ６において生成される出力音声情報の例を示す図であり、図３の説明において、適宜、参照する。
【００３５】
ステップS１において、優先順位設定部２４は、受信部２１からの通知に基づいて、音声情報を含む信号が通話機器１からネットワーク５を介して送信されてきたか否かを判定し、送信されてきたと判定するまで待機する。
【００３６】
優先順位設定部２４は、ステップS１で、音声情報を含む信号が、いずれかの通話機器１から送信されてきたと判定した場合、ステップS２に進み、音声情報処理部２２を制御し、音声情報を取得する。例えば、優先順位設定部２４は、ステップS１で、音声情報Aを含む信号が通話機器１Aから送信されてきたと判定した場合、ステップS２に進み、音声情報処理部２２を制御し、受信された信号に対して増幅およびアナログディジタル変換処理などを施し、音声情報A（ユーザAの発言）を取得する。
【００３７】
ステップS３において、優先順位設定部２４は、音声情報記録部２３を制御し、ステップS２で取得した音声情報を記録する。上述した例の場合、音声情報記録部２３は、優先順位設定部２４からの指示に基づいて、内蔵するハードディスクに音声情報Aを記録する。
【００３８】
以上の処理により、例えば、図４に示すような時刻t_A1乃至t_A2の期間の音声情報Aが、音声情報記録部２３に記録される。なお、図４は、横軸を時間軸としている。
【００３９】
そして、優先順位設定部２４は、ステップS４で、音声情報記録部２３に記録された音声情報に対して、通話機器１のスピーカ３に出力させるタイミングの優先順位を設定する。例えば、上述したように、時刻t_A1乃至t_A2の期間の音声情報Aが音声情報記録部２３に記録されており、他の通話機器（通話機器１B乃至１D）から、同時に音声情報が送信されてきていない場合（図４の時刻t_A1乃至t_D1までの期間の場合）、優先順位設定部２４は、音声情報Aを、最優先に出力する音声情報とし、その優先順位を１位として設定する。
【００４０】
また、優先順位設定部２４は、ステップS４で、設定した優先順位を出力音声情報生成部２６に対して通知するとともに、その優先順位を設定した音声情報を、音声情報記録部２３から読み出して供給する。優先順位設定部２４により実行される優先順位設定処理の詳細については、図５、図７、および図９のフローチャートを参照して後述する。
【００４１】
ステップS５において、出力音声情報生成部２６は、優先順位設定部２４から通知されてきた優先順位に基づいて、出力音声情報を生成し、送信部２７に供給する。上述した例のように、ステップS４で、音声情報Aの優先順位が１位として設定されている場合、出力音声情報生成部２６は、図４の出力音声情報の例に示すように、音声情報Aが最優先に通話機器１に送信され、スピーカ３から出力されるように、時刻t_out1乃至t_out2の期間の出力音声情報を生成する。なお、図４に示すように、時刻t_out1は時刻t_A1に、時刻t_out2は時刻t_A2に、それぞれ対応する（同一の）時刻となる。実際には、伝達遅延が発生するが、ここでは無視するものとする。
【００４２】
出力音声情報生成部２６は、ステップS６において、ステップS５で生成した出力音声情報の履歴を出力履歴情報として出力履歴情報記憶部２５に登録する。すなわち、音声情報生成部２６は、時刻t_out1乃至t_out2の期間に、音声情報Aを通話機器１のスピーカ３に出力させるように処理したことを出力履歴情報記憶部２５に登録する。
【００４３】
ステップS７において、送信部２７は、出力音声情報生成部２６から供給されてきた出力音声情報をネットワーク５を介して各通話機器１A乃至１Dに出力する。これにより、例えば、図４に示すように、ユーザAが時刻t_A1乃至t_A2のタイミングで発言した場合、時刻t_out1乃至t_out2（時刻t_A1乃至t_A2）の期間の出力音声情報が生成され、各通話機器１A乃至１Dのスピーカ３A乃至３Dに、ユーザAの発言として出力される。
【００４４】
ステップS８において、優先順位設定部２４は、優先順位が１位として設定されている音声情報が通話機器１のスピーカ３に出力されている間（時刻t_out1乃至t_out2の期間）に、いずれかの通話機器１から音声情報を含む信号が送信されてきたか否かを判定し、送信されてきたと判定した場合、ステップS２に戻り、それ以降の処理を繰り返し実行する。すなわち、受信された音声情報の優先順位がステップS４において設定され、ステップS５で、現在、出力している音声情報の出力が終了したときに出力される音声情報として（出力待ちの音声情報として）、出力音声情報が生成される。
【００４５】
例えば、図４に示すように、音声情報Aが通話機器１のスピーカ３に出力されている期間（時刻t_out1乃至t_out2の期間）に、時刻t_D1乃至t_D2の期間の音声情報Dを含む信号が通話機器１Dから送信されてきた場合、優先順位設定部２４は、ステップS４において、音声情報Dの優先順位を２位として設定する。そして、出力音声情報生成部２６は、優先順位が１位として設定されている音声情報Aの出力が終了したときに、音声情報Dが通話機器１のスピーカ３に出力されるように、音声情報Dを含む出力音声情報を生成する。すなわち、時刻t_D1にユーザDにより発言された音声情報Dは、時刻t_D1より遅い、時刻t_out2のタイミングで、各通話機器１のスピーカ３から出力されるように制御される。
【００４６】
一方、ステップS８において、優先順位設定部２４は、通話機器１から音声情報を含む信号が送信されてきていないと判定した場合、ステップS９に進み、優先順位が１位として設定されている音声情報の出力が終了したか否かを判定する。
【００４７】
優先順位設定部２４は、ステップS９で、優先順位が１位として設定されている音声情報の出力が終了していないと判定した場合、ステップS７に戻り、優先順位が１位として設定されている音声情報の出力を継続し、それ以降の処理を繰り返し実行する。
【００４８】
また、優先順位設定部２４は、ステップS９において、優先順位が１位として設定されている音声情報の出力が終了したと判定した場合、ステップS１０に進み、優先順位が２位以降として設定されている出力待ちの音声情報が存在するか否かを判定し、存在すると判定した場合、ステップS１１に進む。
【００４９】
ステップS１１において、優先順位設定部２４は、優先順位が２位以降として設定されている音声情報の優先順位を、それぞれ、１づつ繰り上げて、ステップS７に戻り、優先順位が１位として新たに設定された音声情報を各通話機器１のスピーカ３に出力させるべく、生成した出力音声情報を出力する。
【００５０】
一方、優先順位設定部２４は、ステップS１０で、優先順位が２位以降として設定されている出力待ちの音声情報が存在しないと判定した場合、ステップS１に戻り、それ以降の処理を繰り返し実行する。
【００５１】
上述した処理により、図４に示すように、時刻t_A1乃至t_A2でマイクロフォン４Aに入力されたユーザAの発言は、時刻t_out1乃至t_out2（時刻t_A1乃至t_A2）のタイミングでスピーカ３A乃至３Dに出力され、時刻t_D1乃至t_D2でマイクロフォン４Dに入力されたユーザDの発言は、時刻t_out2乃至t_out3のタイミングでスピーカ３A乃至３Dに出力される。また、同様に、時刻t_C1乃至t_C2でマイクロフォン４Cに入力されたユーザCの発言は、時刻t_out3乃至t_out4のタイミングでスピーカ３A乃至３Dに出力され、時刻t_B1乃至t_B2でマイクロフォン４Bに入力されたユーザBの発言は、時刻t_out4乃至t_out5のタイミングでスピーカ３A乃至３Dに出力される。
【００５２】
このように、複数のユーザからの発言期間が重複した場合、優先順位を設定し、優先順位に基づいて、それぞれの発言をずらして出力することにより、複数のユーザが同時に発言した場合であっても、各ユーザは発言内容を容易に聞き取ることができる。
【００５３】
また、以上においては、通話機器１から音声情報が通話制御サーバ６に送信され、優先順位に基づいて、スピーカ３からタイミングをずらして出力されるとしたが、本発明は、ユーザA乃至Dが、相互に顔を確認しながら会話ができるテレビ付き通話システム（テレビ会議システム）にも適用することができる。この場合、通話機器１にそれぞれ設けられているカメラから撮影された画像情報は、通話情報とともにネットワーク５を介して通話制御サーバ６に供給される。通話制御サーバ６は、音声情報を音声情報記録部２３に記録するとともに、画像情報も内蔵する記録部に記録し、音声情報がスピーカ３に出力されるタイミングと、画像情報が、通話機器１に設けられているモニタに表示されるタイミングが一致するように、優先順位に基づいて、出力音声／画像情報を生成し、通話機器１に送信する。
【００５４】
次に、図５のフローチャートを参照して、図３のステップS４において優先順位設定部２４により実行される優先順位設定処理について説明する。また、図６は、音声情報と、それにより生成される出力音声情報の他の例を示す図であり、図５の説明において、適宜、参照する。
【００５５】
ステップS２１において、優先順位設定部２４は、受信部２１からの通知に基づいて、複数の通話機器１から、同時に音声情報が送信されてきたか否か（ユーザA乃至Dのうち同時に発言した者がいるか否か）を判定する。
【００５６】
優先順位設定部２４は、ステップS２１で、複数の通話機器１から同時に音声情報が送信されてきていないと判定した場合、ステップS２２に進み、送信されてきた音声情報の優先順位を、既に設定されている優先順位に続く優先順位として（既に設定されている優先順位を含め、最下位の優先順位として）設定する。
【００５７】
すなわち、図６に示すように、時刻t_A11のタイミングで音声情報Aが受信された場合（複数の通話機器１から同時に音声情報が送信されてきていない場合）、音声情報Aの優先順位が１位として設定される。その後、上述したように、図３のステップS５で、出力音声情報が生成され、時刻t_out11（時刻t_A11）のタイミングで、各通話機器１のスピーカ３にユーザAの発言が出力される。また、図６に示すように、優先順位が１位として設定されている音声情報Aが出力されている間に、ユーザBが発言し、音声情報Bが受信された場合、優先順位設定部２４は、音声情報Bの優先順位を２位として設定し、出力待ちの音声情報とする。このように、複数の通話機器１から同時に音声情報が送信されてきていない場合、送信されてきた音声情報の順番に、より上位の優先順位が設定される。
【００５８】
一方、ステップS２１において、優先順位設定部２４は、受信部２１からの通知に基づいて、複数の通話機器１から、同時に音声情報が送信されてきたと判定した場合（複数のユーザが同時に発言した場合）、ステップS２３に進む。
【００５９】
優先順位設定部２４は、ステップS２３において、出力履歴情報記憶部２５に記憶されている出力履歴情報に基づいて、発言した回数が少ない順に、より上位の優先順位を設定する。例えば、図６に示すように、ユーザAとユーザCが同時（時刻t_A13（時刻t_C11））に発言した場合、優先順位設定部２４は、出力履歴情報に基づいて、ユーザAにより発言された音声情報Aは、既に１度出力されているのに対して、ユーザCの音声情報Cはまだ１度も出力されていないので、時刻t_A13乃至t_A14の期間の音声情報Aの優先順位より、より上位の優先順位を時刻t_C11乃至t_C12の音声情報Cに設定する。
【００６０】
すなわち、時刻t_A13においては、音声情報Bの優先順位が１位として設定され、出力されているため、音声情報Cの優先順位が２位として設定され、時刻t_A13乃至t_A14の期間の音声情報Aの優先順位が３位として設定される。これにより、音声情報Bの出力が終了したとき（時刻t_out13）、時刻t_C11乃至t_C12の期間の音声情報Cがスピーカ３に出力され、その出力が終了したとき（時刻t_out14）、時刻t_A13乃至t_A14の期間の音声情報Aが出力されることになる。なお、図６においては、時刻t_A13乃至t_A14の期間の音声情報Aの出力が終了したとき（時刻t_out15）、音声情報Dが出力される。
【００６１】
図５の説明に戻り、ステップS２２またはS２３の処理が実行された後、ステップS２４に進む。
【００６２】
ステップS２４において、優先順位設定部２４は、ステップS２２またはS２３で設定した優先順位を後段の出力音声情報生成部２６に通知するとともに、その優先順位が設定されている音声情報を、音声情報記録部２３から読み出し、出力音声情報生成部２６に供給する。その後、図３のステップS５以降の処理が実行される。
【００６３】
このように、発言回数がより少ないユーザからの発言を優先して出力することにより、すべてのユーザが平等に発言することができる。
【００６４】
次に、図７のフローチャートを参照して、図３のステップS４において優先順位設定部２４により実行される他の優先順位設定処理について説明する。
【００６５】
ステップS３１およびS３２の処理は、図５を参照して説明したステップS２１およびS２２の処理と同様の処理である。すなわち、優先順位設定部２４は、ステップS３１で、受信部２１からの通知に基づいて複数の通話機器１から同時に音声情報が送信されてきたか否かを判定し、同時に送信されてきていないと判定した場合、ステップS３２において、その音声情報の優先順位を、既に設定している優先順位に続く優先順位として設定する。
【００６６】
一方、ステップS３１において、優先順位設定部２４は、複数の通話機器１から同時に音声情報が送信されてきたと判定した場合、ステップS３３に進む。
【００６７】
ステップS３３において、優先順位設定部２４は、出力履歴情報記憶部２５に記憶されている出力履歴情報を読み出し、それに基づいて、過去の発言において、合計の発言時間が短い順に、より上位の優先順位を設定する。
【００６８】
図８は、通話機器１から送信されてきた音声情報と、通話制御サーバ６により生成された出力音声情報のさらに他の例を示す図である。
【００６９】
図８においては、ユーザBの発言と、ユーザCの発言のタイミングが同時（時刻t_B23（時刻t_C23））とされており、この場合、優先順位設定部２４は、ステップS３３において、ユーザBとユーザCの出力履歴情報を出力履歴情報記憶部２５から読み出し、それぞれの発言の合計時間を比較する。この例においては、ユーザBとユーザCは、過去に１度づつ発言している状態（時刻t_B21乃至t_B22の期間の音声情報B、および時刻t_C21乃至t_C22の期間の音声情報C）とされているが、時刻t_B21乃至t_B22の期間の方が、時刻t_C21乃至t_C22の期間より長いため、優先順位設定部２４は、時刻t_C23乃至t_C24の期間の音声情報Cに、時刻t_B23乃至t_B24の期間の音声情報Bよりも、より上位の優先順位を設定する。
【００７０】
そして、ステップS３４において、出力音声情報生成部２６に設定した優先順位を通知するとともに、その優先順位が設定されている音声情報を供給する。これにより、図３のステップS５において、図８に示すような出力音声情報が生成される。
【００７１】
なお、出力時間の合計が、より長い順に、より上位の優先順位を設定するようにしてもよい。
【００７２】
以上においては、過去の出力回数、または過去の出力時間の合計に基づいて、優先順位が設定されるとしたが、受信された音声情報の特徴に基づいて、優先順位を設定するようにしてもよい。
【００７３】
次に、このような場合に、図３のステップS４において優先順位設定部２４により実行される、さらに他の優先順位設定処理について、図９のフローチャートを参照して説明する。
【００７４】
ステップS４１およびS４２の処理は、図５を参照して説明したステップS２１およびS２２、図７を参照して説明したステップS３１およびS３２の処理と同様の処理であり、優先順位設定部２４は、受信部２１からの通知に基づいて、複数の通話機器１から同時に音声情報が送信されてきたか否かを判定し、同時に送信されてきていないと判定した場合、ステップS４２において、その音声情報の優先順位を、既に設定している優先順位に続く優先順位として設定する。
【００７５】
ステップS４１において、優先順位設定部２４は、複数の通話機器１から同時に音声情報が送信されてきたと判定した場合、ステップS４３に進む。
【００７６】
優先順位設定部２４は、ステップS４３で、出力履歴情報記憶部２５に記憶されている出力履歴情報を読み出し、今回、受信された音声情報の音量が、過去の音声情報の平均の音量に比べて、より大きく上回っている順に、より上位の優先順位を設定する。
【００７７】
例えば、図８に示す例のように、ユーザBの発言と、ユーザCの発言のタイミングが同時（時刻t_B23（時刻t_C23））とされた場合、優先順位設定部２４は、ステップS４３において、ユーザBによる時刻t_B21乃至t_B22の期間の音声情報Bの平均の音量と、時刻t_B23乃至t_B24の期間の音声情報Bの平均の音量を比較する。また、優先順位設定部２４は、ユーザCによる時刻t_C21乃至t_C22の期間の音声情報Cの平均の音量と、時刻t_C23乃至t_C24の期間の音声情報Cの平均の音量を比較し、今回の音声情報の音量が、過去の音声情報の平均の音量よりも大きく上回っている方の音声情報に、より上位の優先順位を設定する。例えば、時刻t_B23乃至t_B24の期間の音声情報Bの平均の音量と、時刻t_B21乃至t_B22の期間の音声情報Bの平均の音量との差が、時刻t_C23乃至t_C24の期間の音声情報Cの平均の音量と時刻t_C21乃至t_C22の期間の音声情報Cの平均の音量との差より大きいとき、音声情報Bに上位の優先順位が設定される。
【００７８】
ステップS４３で設定された優先順位と、その音声情報は、ステップS４４で、出力音声情報生成部２６に供給される。
【００７９】
一般的に、重要性がより高い発言は、大きな声で発言されるため、上述した処理により、より重要な発言を先に聞くことができ、電話会議などをよりスムーズに進めることができる。
【００８０】
このように、様々な情報に基づいて優先順位を設定することができる。例えば、受信された音声情報を周波数分析し、女性からの発言を、男性からの発言よりも優先させて出力するようにすることもできる。また、ユーザA乃至Dが、予め話し合い、それぞれの発言の優先順位を、自ら設定するようにしてもよい。
【００８１】
上述した一連の処理は、ハードウェアにより実行させることもできるが、ソフトウェアにより実行させることもできる。この場合、例えば、通話制御サーバ６は、図１０に示されるようなパーソナルコンピュータ４１により構成される。
【００８２】
図１０において、CPU（Central Processing Unit）５１は、ROM（Read Only Memory）５２に記憶されているプログラム、または、記憶部５８からRAM（Random Access Memory）５３にロードしたプログラムに従って各種の処理を実行する。RAM５３にはまた、CPU５１が各種の処理を実行する上において必要なデータなどが適宜記憶される。
【００８３】
CPU５１、ROM５２、およびRAM５３は、バス５４を介して相互に接続されている。このバス５４にはまた、入出力インタフェース５５も接続されている。
【００８４】
入出力インタフェース５５には、キーボード、マウスなどよりなる入力部５６、CRT(Cathode Ray Tube)，LCD(Liquid Crystal Display)などよりなるディスプレイ、並びにスピーカなどよりなる出力部５７、ハードディスクなどより構成される記憶部５８、モデム、ターミナルアダプタなどより構成される通信部５９が接続されている。通信部５９は、ネットワーク５を介しての通信処理を行う。
【００８５】
入出力インタフェース５５にはまた、必要に応じてドライブ６０が接続され、磁気ディスク６１、光ディスク６２、光磁気ディスク６３、或いは半導体メモリ６４などが適宜装着され、それから読み出されたコンピュータプログラムが、必要に応じて記憶部５８にインストールされる。
【００８６】
一連の処理をソフトウエアにより実行させる場合には、そのソフトウエアを構成するプログラムが、専用のハードウエアに組み込まれているコンピュータ、または、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば、汎用のパーソナルコンピュータなどに、ネットワークや記録媒体からインストールされる。
【００８７】
この記録媒体は、図１０に示すように、装置本体とは別に、ユーザにプログラムを提供するために配布される、プログラムが記録されている磁気ディスク６１（フロッピディスクを含む）、光ディスク６２（CD-ROM(Compact Disk-Read Only Memory)，DVD(Digital Versatile Disk)を含む）、光磁気ディスク６３（MD(Mini-Disk)を含む）、もしくは半導体メモリ６４などよりなるパッケージメディアにより構成されるだけでなく、装置本体に予め組み込まれた状態でユーザに提供される、プログラムが記録されているROM５２や、記憶部５８に含まれるハードディスクなどで構成される。
【００８８】
なお、本明細書において、記録媒体に記録されるプログラムを記述するステップは、記載された順序に従って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的あるいは個別に実行される処理をも含むものである。
【００８９】
また、本明細書において、システムとは、複数の装置により構成される装置全体を表すものである。
【００９０】
【発明の効果】
本発明の通信制御装置および方法、記録媒体、並びにプログラムによれば、複数のユーザが同時に発言した場合であっても、それぞれの発言を容易に聞き取ることができ、快適なコミュニケーションを図ることができる。
【図面の簡単な説明】
【図１】本発明を適用した通話システムの概念を示す図である。
【図２】図１の通話システムの各装置の構成例を示すブロック図である。
【図３】図１の通話制御サーバの処理を説明するフローチャートである。
【図４】音声情報と出力音声情報の例を示す図である。
【図５】図２の優先順位設定部の処理を説明するフローチャートである。
【図６】音声情報と出力音声情報の他の例を示す図である。
【図７】図２の優先順位設定部の他の処理を説明するフローチャートである。
【図８】音声情報と出力音声情報のさらに他の例を示す図である。
【図９】図２の優先順位設定部のさらに他の処理を説明するフローチャートである。
【図１０】パーソナルコンピュータの構成例を示すブロック図である。
【符号の説明】
６通話制御サーバ，２１受信部，２２音声情報処理部，２３音声情報記録部，２４優先順位設定部，２５出力履歴情報記憶部，２６出力音声情報生成部，２７送信部，５１ CPU，５２ ROM，５３ RAM，５４バス，５５入出力インタフェース，５６入力部，５７出力部，５８記憶部，５９通信部，６０ドライブ，６１磁気ディスク，６２光ディスク，６３光磁気ディスク，６４半導体メモリ[0001]
BACKGROUND OF THE INVENTION
The present invention relates to a communication control apparatus and method, a recording medium, and a program, and in particular, in a video conference system, even when a plurality of utterances are duplicated, each utterance can be easily heard and comfortable communication is achieved. The present invention relates to a communication control apparatus and method, a recording medium, and a program that can achieve the above.
[0002]
[Prior art]
In recent years, with the development of communication technology, a call system has been proposed in which three or more users who are in remote locations can talk simultaneously. For example, a video conference can be performed using such a telephone system.
[0003]
In the video conference, the applicant stores a conversation time between a predetermined user and another user in order to make it easier to hear each user's speech when the timings of the speech of a plurality of users overlap. JP-A-2000-49948 discloses in advance that weight other than the main sound is controlled by weighting the output of each sound and controlling the sound volume.
[0004]
[Problems to be solved by the invention]
However, in the call system proposed earlier, since the output volume of other users' pronunciations for each user is controlled based on the past conversation time with each user, The voice from the user is suppressed. Therefore, when another user who has not frequently talked suddenly made an important statement, there was a risk of missing the statement. Moreover, although the volume of subordinate utterances other than the main utterance is suppressed, there is a problem that these utterances are always output, and thus cannot be concentrated on the conversation with the user who is currently talking.
[0005]
The present invention has been made in view of such a situation, and when a plurality of users speak at the same time, by shifting the output in time, even if three or more people talk at the same time, the present invention is comfortable. It is intended to enable easy communication.
[0006]
[Means for Solving the Problems]
The communication control device of the present invention includes a call information receiving unit that receives call information transmitted from a plurality of communication devices, a call information recording unit that records call information received by the call information receiving unit, and a call information recording unit. Of the call information recorded by the first call information and the second call information Has been sent at the same time The priority setting means for setting the priority of the timing for outputting the first call information and the second call information, and the first call information and the first call based on the priority set by the priority setting means. Call information output means for shifting the call information of time 2 with respect to time, and the priority setting means is configured to output the volume of past call information based on the output history of the first call information and the second call information. Compared to the above, a higher priority is set for call information having a larger volume.
[0007]
The call information output means, when the output of the first call information whose start timing is early in the generation period is completed based on the priority set by the priority setting means, the start timing in the occurrence period However, it is possible to start outputting the second call information later than the first call information.
[0012]
The communication control method of the communication control device of the present invention includes a call information receiving step for receiving call information transmitted from a plurality of communication devices, and a call information recording step for recording the call information received by the processing of the call information receiving step. Among the call information recorded by the call information recording step, first call information and second call information Has been sent at the same time The first call information based on the priority set by the priority setting step for setting the priority of the timing for outputting the first call information and the second call information, and the priority set by the processing of the priority setting step. And a call information output step for outputting the second call information with a time shift, and in the processing of the priority setting step, based on the output history of the first call information and the second call information, As compared with the volume of the call information, higher priority is set for the call information having a larger volume.
[0013]
The recording medium program of the present invention includes a call information receiving step for receiving call information transmitted from a plurality of communication devices, a call information recording step for recording call information received by the processing of the call information receiving step, and a call Of the call information recorded by the process of the information recording step, the first call information and the second call information Has been sent at the same time The first call information based on the priority set by the priority setting step for setting the priority of the timing for outputting the first call information and the second call information, and the priority set by the processing of the priority setting step. And a call information output step for outputting the second call information with a time shift, and in the processing of the priority setting step, based on the output history of the first call information and the second call information, As compared with the volume of the call information, higher priority is set for the call information having a larger volume.
[0014]
A program according to the present invention includes a call information receiving step for receiving call information transmitted from a plurality of communication devices, a call information recording step for recording call information received by processing of the call information receiving step, and a call. Of the call information recorded by the process of the information recording step, the first call information and the second call information Has been sent at the same time The first call information based on the priority set by the priority setting step for setting the priority of the timing for outputting the first call information and the second call information, and the priority set by the processing of the priority setting step. And a call information output step for outputting the second call information with a time shift, and in the processing of the priority setting step, based on the output history of the first call information and the second call information, Compared with the volume of the call information, a process in which a higher priority is set for the call information having a larger volume is executed.
[0015]
In the communication control device and method, the recording medium, and the program of the present invention, call information transmitted from a plurality of communication devices is received, and the received call information is recorded. Of the recorded call information, the first call information and the second call information Has been sent at the same time In this case, the priority order of outputting the first call information and the second call information is set, and the first call information and the second call information are shifted in time based on the set priority order. Is output. Further, based on the output history of the first call information and the second call information, a higher priority is set for the call information having a larger volume compared to the volume of the previous call information.
[0016]
DETAILED DESCRIPTION OF THE INVENTION
FIG. 1 is a diagram for explaining the concept of a call system to which the present invention is applied. The detailed configuration of each device will be described later with reference to the block diagram of FIG.
[0017]
As shown in FIG. 1, in this call system, when users A to D do not have to individually distinguish each of the call devices 1A to 1D (hereinafter referred to as call devices 1A to 1D) prepared respectively, Collectively referred to as the telephone device 1. The same applies to other devices), and a telephone call can be made simultaneously via the network 5 such as a public line network. And so on. Note that the telephone device 1A includes a voice processing device 2A, a speaker 3A, and a microphone 4A. Similarly, the call devices 1B to 1D are configured by audio processing devices 2B to 2D, speakers 3B to 3D, and microphones 4B to 4D, respectively.
[0018]
The network 5 is connected to a call control server 6 that distributes voice information that is uttered by the users A to D and output from the call device 1 to the network 5 to each call device 1.
[0019]
For example, the call control server 6 generates the voice information generation period (speaking period) of the user A output to the network 5 via the telephone device 1A and the user B output to the network 5 via the telephone device 1B. If there is a portion that overlaps in time in the generation period of the voice information, the priority order of the timing at which the respective voice information is output to each call device 1 is set, and the respective voice information is based on the priority order. Control the timing of information output.
[0020]
For example, when the priority of the voice information spoken from the user A is set to the first and the priority of the voice information spoken from the user B is set to the second, the call control server 6 starts with the user A Is output to each call device 1, and when user A's output is completed, user B's statement is output to each call device 1. That is, the call control server 6 is provided with a voice information storage unit (speech information recording unit 23 (see FIG. 2)), and the voice information is output without being overlapped with time. Therefore, even when a plurality of users speak at the same time, it can be suppressed that one user's remarks are difficult to hear due to the remarks of other users, and all the remarks of each user can be easily heard. be able to.
[0021]
FIG. 2 is a block diagram showing a detailed configuration example of the devices constituting the call system of FIG.
[0022]
As described above, the telephone device 1A is composed of the voice processing device 2A, the speaker 3A, and the microphone 4A. The voice processing device 2A further includes a voice information processing unit 11A, a transmission unit 12A, and a reception unit 13A.
[0023]
The voice information processing unit 11A performs amplification, analog-digital conversion processing, and the like on the voice signal of the user A input from the microphone 4A to generate the voice information A of the user A. Also, the voice information processing unit 11A performs predetermined processing on the voice information A according to the data transmission format of the network 5, and supplies it to the transmission unit 12A.
[0024]
Also, the voice information processing unit 11A amplifies and digital-analog conversion processing for a signal composed of voice information (output voice information generated by the call control server 6) received and supplied by the receiving unit 13A. And output to the speaker 3A.
[0025]
The transmission unit 12A transmits the voice information A supplied from the voice information processing unit 11A to the call control server 6 via the network 5.
[0026]
The receiving unit 13A receives a signal composed of voice information transmitted from the call control server 6 via the network 5, and supplies the signal to the voice information processing unit 11A.
[0027]
The voice processing devices 2B to 2D of the telephone devices 1B to 1D provided for the users B to D, respectively, are the voice information processing units 11B to 11D, the transmission units 12B to 12D, and the voice processing device 2A of the telephone device 1A. The receiving units 13B to 13D are also provided.
[0028]
The receiving unit 21 of the call control server 6 uses signals (information transmission destinations of the call control server 6 as voice information destinations) composed of voice information A to D (users A to D) transmitted from the transmission unit 12 of each call device 1. A signal including information to be specified) is received and supplied to the audio information processing unit 22. The signal received by the receiving unit 21 includes address information indicating which one of the telephone devices 1A to 1D is transmitted.
[0029]
The audio information processing unit 22 performs demodulation processing, analog-digital conversion processing, and the like on the signal supplied from the reception unit 21 to acquire the audio information A to D of each of the users A to D, and the audio information This is supplied to the recording unit 23.
[0030]
The audio information recording unit 23 is composed of, for example, a recording medium such as a hard disk and its drive. The audio information recording unit 23 receives the audio information A to D supplied from the audio information processing unit 22 based on an instruction from the priority order setting unit 24. Record.
[0031]
The priority order setting unit 24 detects the reception timing of the audio information A to D based on the notification from the reception unit 21. In addition, when the priority order setting unit 24 determines that there is a temporally overlapping portion in the reception period of the plurality of audio information received by the reception unit 21 (the period of speech of the users A to D), The priority order of the timing at which the speaker 3 of the device 1 outputs the voice information (users A to D) is determined based on the output history information stored in the output history information storage unit 25 for each received voice information. Set to. Then, the priority order setting unit 24 notifies the set output priority order to the output audio information generation unit 26 at the subsequent stage, reads out the audio information for which the priority is set from the audio information recording unit 23, and generates output audio information. To the unit 26.
[0032]
The output sound information generation unit 26 rearranges the sound information supplied from the priority order setting unit 24 based on the notified priority order, and generates output sound information as sound information that does not overlap in time. Then, information corresponding to the transmission format of the network 5 is supplied to the transmission unit 27.
[0033]
The transmission unit 27 transmits the output audio information (information in which the audio information of the users A to D is rearranged) supplied from the output audio information generation unit 26 to each call device 1 via the network 5.
[0034]
Next, the call control processing of the call control server 6 in FIG. 1 will be described with reference to the flowchart in FIG. FIG. 4 is a diagram showing an example of the voice information transmitted from the call device 1 and the output voice information generated in the call control server 6, and will be referred to as appropriate in the description of FIG.
[0035]
In step S1, the priority order setting unit 24 determines whether or not a signal including voice information has been transmitted from the telephone device 1 via the network 5 based on the notification from the reception unit 21, and has been transmitted. Wait until it is judged.
[0036]
If the priority order setting unit 24 determines in step S1 that a signal including audio information has been transmitted from any one of the telephone devices 1, the priority setting unit 24 proceeds to step S2 to control the audio information processing unit 22 to obtain the audio information. get. For example, if the priority order setting unit 24 determines in step S1 that a signal including the audio information A has been transmitted from the call device 1A, the priority sequence setting unit 24 proceeds to step S2 and controls the audio information processing unit 22 to receive the received signal. Is subjected to amplification and analog-digital conversion processing to obtain voice information A (user A's remarks).
[0037]
In step S3, the priority order setting unit 24 controls the audio information recording unit 23 to record the audio information acquired in step S2. In the case of the example described above, the audio information recording unit 23 records the audio information A on the built-in hard disk based on an instruction from the priority order setting unit 24.
[0038]
With the above processing, for example, time t as shown in FIG. _A1 To t _A2 The audio information A in the period is recorded in the audio information recording unit 23. In FIG. 4, the horizontal axis is the time axis.
[0039]
Then, in step S4, the priority order setting unit 24 sets the priority order of the timing for outputting the audio information recorded in the audio information recording unit 23 to the speaker 3 of the telephone device 1. For example, as described above, the time t _A1 To t _A2 Is recorded in the voice information recording unit 23, and voice information is not simultaneously transmitted from other call devices (call devices 1B to 1D) (time t in FIG. 4). _A1 To t _D1 The priority order setting unit 24 sets the voice information A as the voice information that is output with the highest priority, and sets the priority order as the first.
[0040]
In step S4, the priority order setting unit 24 notifies the output voice information generation unit 26 of the set priority order, and reads and supplies the voice information in which the priority order is set from the voice information recording unit 23. To do. Details of the priority setting process executed by the priority setting unit 24 will be described later with reference to the flowcharts of FIGS. 5, 7, and 9.
[0041]
In step S <b> 5, the output audio information generation unit 26 generates output audio information based on the priority order notified from the priority order setting unit 24 and supplies the output audio information to the transmission unit 27. As in the example described above, when the priority order of the voice information A is set as the first rank in step S4, the output voice information generation unit 26, as shown in the example of the output voice information in FIG. The time t is set so that A is transmitted to the call device 1 with the highest priority and output from the speaker 3. _out1 To t _out2 The output audio information for the period is generated. In addition, as shown in FIG. _out1 Is the time t _A1 At time t _out2 Is the time t _A2 Are the corresponding (identical) times. In practice, a transmission delay occurs, but is ignored here.
[0042]
In step S6, the output audio information generation unit 26 registers the history of the output audio information generated in step S5 in the output history information storage unit 25 as output history information. That is, the voice information generation unit 26 _out1 To t _out2 During this period, the fact that the audio information A has been processed to be output to the speaker 3 of the calling device 1 is registered in the output history information storage unit 25.
[0043]
In step S <b> 7, the transmission unit 27 outputs the output voice information supplied from the output voice information generation unit 26 to the telephone devices 1 </ b> A to 1 </ b> D via the network 5. Thereby, for example, as shown in FIG. _A1 To t _A2 If you speak at the time _out1 To t _out2 (Time t _A1 To t _A2 ) Is generated and is output as a speech of the user A to the speakers 3A to 3D of the telephone devices 1A to 1D.
[0044]
In step S8, the priority order setting unit 24 outputs the audio information set with the first priority order to the speaker 3 of the telephone device 1 (time t _out1 To t _out2 In the period of (1), it is determined whether or not a signal including audio information has been transmitted from any of the telephone devices 1. If it is determined that the signal has been transmitted, the process returns to step S2, and the subsequent processing is repeatedly executed. That is, the priority order of the received voice information is set in step S4, and in step S5, the voice information output when the output of the currently output voice information is completed (as the voice information waiting for output). Output audio information is generated.
[0045]
For example, as shown in FIG. 4, the period (time t) when the audio information A is output to the speaker 3 of the telephone device 1. _out1 To t _out2 At time t) _D1 To t _D2 When the signal including the voice information D in the period is transmitted from the telephone equipment 1D, the priority order setting unit 24 sets the priority order of the voice information D as the second place in step S4. Then, the output audio information generation unit 26 outputs the audio information D so that the audio information D is output to the speaker 3 of the call device 1 when the output of the audio information A set with the first priority is finished. Output audio information including D is generated. That is, time t _D1 Voice information D uttered by user D at time t _D1 Later, time t _out2 Is controlled so as to be output from the speaker 3 of each call device 1 at the timing.
[0046]
On the other hand, if the priority setting unit 24 determines in step S8 that a signal including audio information has not been transmitted from the telephone device 1, the process proceeds to step S9, where the audio information is set with the first priority. It is determined whether or not the output of is completed.
[0047]
If the priority setting unit 24 determines in step S9 that the output of the audio information set with the first priority is not finished, the priority setting unit 24 returns to step S7 and the priority is set as the first. Continue to output audio information and repeat the subsequent processing.
[0048]
On the other hand, if the priority setting unit 24 determines in step S9 that the output of the audio information set with the first priority is finished, the process proceeds to step S10, where the priority is set as the second or higher. It is determined whether or not there is audio information waiting for output, and if it is determined that it exists, the process proceeds to step S11.
[0049]
In step S11, the priority order setting unit 24 increments the priority order of the audio information set with the priority order of second and higher by one, returns to step S7, and newly sets the priority order as first place. The generated output audio information is output to output the audio information to the speaker 3 of each call device 1.
[0050]
On the other hand, if the priority setting unit 24 determines in step S10 that there is no output-waiting voice information set with the priority set to second or higher, the process returns to step S1 and the subsequent processing is repeatedly executed. .
[0051]
As a result of the above-described processing, as shown in FIG. _A1 To t _A2 User A's speech input to the microphone 4A at time t _out1 To t _out2 (Time t _A1 To t _A2 ) And output to the speakers 3A to 3D at the timing t _D1 To t _D2 User D's speech input to the microphone 4D at time t _out2 To t _out3 Are output to the speakers 3A to 3D at the timing of Similarly, time t _C1 To t _C2 User C's speech input to the microphone 4C at time t _out3 To t _out4 Is output to the speakers 3A to 3D at the timing _B1 To t _B2 User B's speech input to the microphone 4B at time t _out4 To t _out5 Are output to the speakers 3A to 3D at the timing of
[0052]
In this way, when the speech periods from a plurality of users overlap, the priority order is set, and the plurality of users speak at the same time by shifting each speech based on the priority order. In addition, each user can easily hear the contents of the remarks.
[0053]
In the above description, the voice information is transmitted from the call device 1 to the call control server 6 and output from the speaker 3 at different timings based on the priority order. Also, the present invention can be applied to a telephone call system with a television (video conference system) that allows conversation while confirming faces to each other. In this case, the image information taken from the cameras provided in the call device 1 is supplied to the call control server 6 via the network 5 together with the call information. The call control server 6 records the sound information in the sound information recording unit 23 and also records the image information in a recording unit in which the sound information is output. The timing at which the sound information is output to the speaker 3 and the image information are stored in the call device 1. Based on the priority order, output audio / image information is generated and transmitted to the calling device 1 so that the timings displayed on the provided monitor match.
[0054]
Next, the priority order setting process executed by the priority order setting unit 24 in step S4 of FIG. 3 will be described with reference to the flowchart of FIG. FIG. 6 is a diagram showing another example of audio information and output audio information generated thereby, and is referred to as appropriate in the description of FIG.
[0055]
In step S21, based on the notification from the receiving unit 21, the priority order setting unit 24 determines whether or not voice information has been transmitted simultaneously from the plurality of call devices 1 (one of the users A to D who has spoken at the same time). Whether or not).
[0056]
If the priority order setting unit 24 determines in step S21 that the voice information has not been transmitted simultaneously from the plurality of calling devices 1, the priority order setting unit 24 proceeds to step S22, and the priority order of the transmitted voice information has already been set. Is set as a priority order that follows the set priority order (including the priority order that has already been set).
[0057]
That is, as shown in FIG. _A11 When the voice information A is received at the timing (when the voice information is not transmitted simultaneously from the plurality of telephone devices 1), the priority order of the voice information A is set as the first. After that, as described above, in step S5 in FIG. _out11 (Time t _A11 ), User A's message is output to the speaker 3 of each telephone device 1. Also, as shown in FIG. 6, when the user B speaks and the voice information B is received while the voice information A set with the first priority is being output, the priority setting unit 24 Sets the priority of the voice information B as the second priority and sets it as voice information waiting for output. As described above, when the voice information is not transmitted from the plurality of call devices 1 at the same time, a higher priority is set in the order of the transmitted voice information.
[0058]
On the other hand, when the priority setting unit 24 determines in step S21 that the voice information has been transmitted simultaneously from the plurality of calling devices 1 based on the notification from the receiving unit 21 (when a plurality of users speak at the same time). ), Go to step S23.
[0059]
In step S23, the priority order setting unit 24 sets a higher priority order in the order of decreasing number of statements based on the output history information stored in the output history information storage unit 25. For example, as shown in FIG. _A13 (Time t _C11 )), The priority order setting unit 24, based on the output history information, the voice information A spoken by the user A has already been output once, whereas the voice information C of the user C Has not been output yet, so time t _A13 To t _A14 The priority order higher than the priority order of audio information A during _C11 To t _C12 Set to audio information C.
[0060]
That is, time t _A13 , The priority order of the voice information B is set and output as the first place, so that the priority order of the voice information C is set as the second place and the time t _A13 To t _A14 The priority order of the audio information A during the period is set as the third place. As a result, when the output of the audio information B ends (time t _out13 ), Time t _C11 To t _C12 Is output to the speaker 3 and the output ends (time t _out14 ), Time t _A13 To t _A14 The audio information A during the period is output. In FIG. 6, time t _A13 To t _A14 When the output of audio information A during _out15 ), Audio information D is output.
[0061]
Returning to the description of FIG. 5, after the process of step S22 or S23 is executed, the process proceeds to step S24.
[0062]
In step S24, the priority order setting unit 24 notifies the priority set in step S22 or S23 to the output audio information generation unit 26 in the subsequent stage, and the audio information in which the priority is set is recorded in the audio information recording unit. 23, and is supplied to the output audio information generation unit 26. Thereafter, the processing after step S5 in FIG. 3 is executed.
[0063]
In this way, all users can speak equally by giving priority to the speech from a user with a smaller number of utterances.
[0064]
Next, another priority order setting process executed by the priority order setting unit 24 in step S4 of FIG. 3 will be described with reference to the flowchart of FIG.
[0065]
The processes in steps S31 and S32 are the same as the processes in steps S21 and S22 described with reference to FIG. That is, in step S31, the priority order setting unit 24 determines whether or not the voice information has been transmitted simultaneously from the plurality of call devices 1 based on the notification from the reception unit 21, and determines that they have not been transmitted simultaneously. In this case, in step S32, the priority order of the audio information is set as a priority order that follows the already set priority order.
[0066]
On the other hand, when the priority order setting unit 24 determines in step S31 that voice information has been transmitted from the plurality of call devices 1 simultaneously, the process proceeds to step S33.
[0067]
In step S33, the priority order setting unit 24 reads out the output history information stored in the output history information storage unit 25, and based on the output history information, the higher priority order in the order of shorter total speech time in past utterances. Set.
[0068]
FIG. 8 is a diagram showing still another example of the voice information transmitted from the call device 1 and the output voice information generated by the call control server 6.
[0069]
In FIG. 8, user B's utterance and user C's utterance timing are simultaneous (time t _B23 (Time t _C23 In this case, in step S33, the priority order setting unit 24 reads the output history information of the users B and C from the output history information storage unit 25, and compares the total times of the respective comments. In this example, user B and user C have spoken once in the past (time t _B21 To t _B22 Audio information B and time t _C21 To t _C22 Audio information C) for the period of time t _B21 To t _B22 During the period of time t _C21 To t _C22 The priority order setting unit 24 determines that the time t _C23 To t _C24 Audio information C for the period of _B23 To t _B24 A higher priority is set than the audio information B in the period.
[0070]
In step S34, the output voice information generating unit 26 is notified of the priority order set, and the voice information for which the priority order is set is supplied. Thereby, in step S5 of FIG. 3, output audio information as shown in FIG. 8 is generated.
[0071]
Note that higher priority may be set in the order of the longer total output time.
[0072]
In the above description, the priority order is set based on the past output count or the total of past output times. However, the priority order may be set based on the characteristics of the received audio information. Good.
[0073]
Next, still another priority setting process executed by the priority setting unit 24 in step S4 of FIG. 3 in such a case will be described with reference to the flowchart of FIG.
[0074]
The processing in steps S41 and S42 is the same as the processing in steps S21 and S22 described with reference to FIG. 5 and the processing in steps S31 and S32 described with reference to FIG. Based on the notification from the unit 21, it is determined whether or not the voice information has been transmitted simultaneously from the plurality of telephone devices 1, and if it is determined that the voice information has not been transmitted at the same time, the priority of the voice information is determined in step S42. Is set as a priority order that follows the already set priority order.
[0075]
In step S41, when the priority order setting unit 24 determines that the voice information has been transmitted simultaneously from the plurality of call devices 1, Step S43 Proceed to
[0076]
In step S43, the priority order setting unit 24 reads the output history information stored in the output history information storage unit 25, and the volume of the audio information received this time is larger than the average volume of the past audio information. , Higher priority is set in the order of greater value.
[0077]
For example, as in the example shown in FIG. 8, the timing of user B's speech and user C's speech are simultaneously _B23 (Time t _C23 )), The priority order setting unit 24 determines the time t by the user B in step S43. _B21 To t _B22 The average volume of audio information B during the period and time t _B23 To t _B24 The average volume of the audio information B during the period is compared. Further, the priority order setting unit 24 sets the time t by the user C. _C21 To t _C22 The average volume of audio information C during the period and time t _C23 To t _C24 Compare the average volume of the audio information C during the period, and set a higher priority to the audio information whose volume of the current audio information is much higher than the average volume of the past audio information . For example, time t _B23 To t _B24 The average volume of audio information B during the period and time t _B21 To t _B22 The difference from the average volume of audio information B during _C23 To t _C24 Average volume and time t of audio information C during the period _C21 To t _C22 When the difference from the average volume of the audio information C during the period is greater than the audio information C, a higher priority is set for the audio information B.
[0078]
The priority set in step S43 and the sound information thereof are supplied to the output sound information generation unit 26 in step S44.
[0079]
In general, since a message with higher importance is spoken with a loud voice, the above-described processing makes it possible to listen to a more important message first and to advance a conference call or the like more smoothly.
[0080]
In this way, priorities can be set based on various information. For example, the received voice information may be subjected to frequency analysis, and a message from a woman may be output with priority over a message from a man. In addition, the users A to D may discuss in advance and set the priority of each speech by themselves.
[0081]
The series of processes described above can be executed by hardware, but can also be executed by software. In this case, for example, the call control server 6 includes a personal computer 41 as shown in FIG.
[0082]
In FIG. 10, a CPU (Central Processing Unit) 51 executes various processes according to a program stored in a ROM (Read Only Memory) 52 or a program loaded from a storage unit 58 to a RAM (Random Access Memory) 53. To do. The RAM 53 also appropriately stores data necessary for the CPU 51 to execute various processes.
[0083]
The CPU 51, ROM 52, and RAM 53 are connected to each other via a bus 54. An input / output interface 55 is also connected to the bus 54.
[0084]
The input / output interface 55 includes an input unit 56 including a keyboard and a mouse, a display including a CRT (Cathode Ray Tube) and an LCD (Liquid Crystal Display), an output unit 57 including a speaker, and a hard disk. A communication unit 59 including a storage unit 58, a modem, a terminal adapter, and the like is connected. The communication unit 59 performs communication processing via the network 5.
[0085]
A drive 60 is connected to the input / output interface 55 as necessary, and a magnetic disk 61, an optical disk 62, a magneto-optical disk 63, a semiconductor memory 64, or the like is appropriately mounted, and a computer program read from the disk is required. Is installed in the storage unit 58 accordingly.
[0086]
When a series of processing is executed by software, a program constituting the software executes various functions by installing a computer incorporated in dedicated hardware or various programs. For example, it is installed in a general-purpose personal computer from a network or a recording medium.
[0087]
As shown in FIG. 10, this recording medium includes a magnetic disk 61 (including a floppy disk) on which a program is recorded and an optical disk 62 (CD -ROM (Compact Disk-Read Only Memory), DVD (Digital Versatile Disk) included), magneto-optical disk 63 (MD (Mini-Disk) included), or semiconductor memory 64, etc. Instead, it is configured by a ROM 52 on which a program is recorded and a hard disk included in the storage unit 58 provided to the user in a state of being pre-installed in the apparatus main body.
[0088]
In the present specification, the step of describing the program recorded in the recording medium is not limited to the processing performed in time series according to the described order, but is not necessarily performed in time series, either in parallel or individually. The process to be executed is also included.
[0089]
Further, in this specification, the system represents the entire apparatus constituted by a plurality of apparatuses.
[0090]
【The invention's effect】
According to the communication control device and method, the recording medium, and the program of the present invention , Even when a plurality of users speak at the same time, it is possible to easily listen to the respective comments and to achieve comfortable communication.
[Brief description of the drawings]
FIG. 1 is a diagram showing a concept of a call system to which the present invention is applied.
2 is a block diagram illustrating a configuration example of each device of the call system in FIG. 1. FIG.
FIG. 3 is a flowchart for explaining processing of the call control server in FIG. 1;
FIG. 4 is a diagram illustrating an example of audio information and output audio information.
FIG. 5 is a flowchart for explaining processing of a priority order setting unit in FIG. 2;
FIG. 6 is a diagram illustrating another example of audio information and output audio information.
FIG. 7 is a flowchart illustrating another process of the priority order setting unit in FIG. 2;
FIG. 8 is a diagram showing still another example of audio information and output audio information.
FIG. 9 is a flowchart for explaining still another process of the priority order setting unit in FIG. 2;
FIG. 10 is a block diagram illustrating a configuration example of a personal computer.
[Explanation of symbols]
6 call control server, 21 receiving unit, 22 voice information processing unit, 23 voice information recording unit, 24 priority order setting unit, 25 output history information storage unit, 26 output voice information generating unit, 27 transmitting unit, 51 CPU, 52 ROM , 53 RAM, 54 bus, 55 I / O interface, 56 input section, 57 output section, 58 storage section, 59 communication section, 60 drive, 61 magnetic disk, 62 optical disk, 63 magneto-optical disk, 64 semiconductor memory

Claims

In a communication control device that controls distribution of call information transmitted and received by a plurality of communication devices via a network,
Call information receiving means for receiving the call information transmitted from the plurality of communication devices;
Call information recording means for recording the call information received by the call information receiving means;
Of the call information recorded by the call information recording means, when it is determined that the first call information and the second call information are transmitted simultaneously , the first call information and the second call information are Priority setting means for setting the priority of output timing;
Call information output means for outputting the first call information and the second call information with a time shift based on the priority set by the priority setting means;
The priority setting means has a higher priority for the call information having a louder volume than the volume of the previous call information based on the output history of the first call information and the second call information. Set the communication control device.

The call information output means, when the output of the first call information whose start timing is early in the generation period ends based on the priority set by the priority setting means, the generation period The communication control apparatus according to claim 1, wherein a start timing of the second call information is started later than the first call information.

In a communication control method of a communication control device for controlling distribution of call information transmitted / received by a plurality of communication devices via a network,
A call information receiving step for receiving the call information transmitted from the plurality of communication devices;
A call information recording step for recording the call information received by the call information receiving step;
When it is determined that the first call information and the second call information are simultaneously transmitted among the call information recorded by the call information recording step, the first call information and the second call A priority setting step for setting a priority of timing for outputting information;
A call information output step for outputting the first call information and the second call information with a time shift based on the priority set by the priority setting step;
In the priority order setting step, based on the output history of the first call information and the second call information, the call information having a volume larger than the volume of the call information in the past is more A communication control method in which high priority is set.

In a recording medium of a communication control device that controls distribution of call information transmitted and received by a plurality of communication devices via a network,
A call information receiving step for receiving the call information transmitted from the plurality of communication devices;
A call information recording step for recording the call information received by the call information receiving step;
When it is determined that the first call information and the second call information are simultaneously transmitted among the call information recorded by the call information recording step, the first call information and the second call A priority setting step for setting a priority of timing for outputting information;
A call information output step for outputting the first call information and the second call information with a time shift based on the priority set by the priority setting step;
In the priority order setting step, based on the output history of the first call information and the second call information, the call information having a volume larger than the volume of the call information in the past is more A recording medium on which a computer-readable program with a high priority set is recorded.

In a communication control device that controls distribution of call information transmitted and received by a plurality of communication devices via a network,
On the computer,
A call information receiving step for receiving the call information transmitted from the plurality of communication devices;
A call information recording step for recording the call information received by the call information receiving step;
When it is determined that the first call information and the second call information are simultaneously transmitted among the call information recorded by the call information recording step, the first call information and the second call A priority setting step for setting a priority of timing for outputting information;
A call information output step for outputting the first call information and the second call information by shifting in time based on the priority set by the processing of the priority setting step;
Including
In the priority order setting step, based on the output history of the first call information and the second call information, the call information having a volume larger than the volume of the call information in the past is more A program that executes a process with a high priority.