JP2008252540A - Network communication system - Google Patents
Network communication system Download PDFInfo
- Publication number
- JP2008252540A JP2008252540A JP2007091462A JP2007091462A JP2008252540A JP 2008252540 A JP2008252540 A JP 2008252540A JP 2007091462 A JP2007091462 A JP 2007091462A JP 2007091462 A JP2007091462 A JP 2007091462A JP 2008252540 A JP2008252540 A JP 2008252540A
- Authority
- JP
- Japan
- Prior art keywords
- speaker
- sound emission
- control server
- control
- data
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04M—TELEPHONIC COMMUNICATION
- H04M3/00—Automatic or semi-automatic exchanges
- H04M3/42—Systems providing special services or facilities to subscribers
- H04M3/56—Arrangements for connecting several subscribers to a common circuit, i.e. affording conference facilities
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04M—TELEPHONIC COMMUNICATION
- H04M7/00—Arrangements for interconnection between switching centres
- H04M7/006—Networks other than PSTN/ISDN providing telephone service, e.g. Voice over Internet Protocol (VoIP), including next generation networks with a packet-switched transport layer
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Telephonic Communication Services (AREA)
Abstract
Description
この発明は、互いに離れた場所に設置された複数の通信装置をネットワーク接続して、互いに音声や映像を通信するネットワーク通信システムに関するものである。 The present invention relates to a network communication system in which a plurality of communication devices installed at locations distant from each other are connected to a network to communicate audio and video with each other.
従来、例えば、本社、支社、支店のような遠隔地間で会議を行うシステムが各種開示されている。このような会議システムでは、会議により臨場感を与えるために、特許文献1や特許文献2に示すように、話者検出を行い、現在発言中の話者の映像を、例えば強調するように表示させる等の処理を行っている。
上述のような会議システムでは、それぞれの会議装置の映像データ、音声データ、話者情報を管理する必要がある。このため、特許文献1では、ネットワークに集中制御装置を備え、当該集中制御装置により全てのデータおよび情報の通信制御を行っている。また、特許文献2では、ネットワーク接続されている複数の会議装置のうちで、一台に送信権を与え、送信許可が得られた会議装置のみが他の装置にデータや情報を送信している。
In the conference system as described above, it is necessary to manage video data, audio data, and speaker information of each conference device. For this reason, in
しかしながら、集中制御装置を用いる場合には、当該集中制御装置にデータが集中するため集中制御装置を大規模で処理が複雑なものにしなければならない。また、送信権を利用する場合には、送信権を持つ唯一の装置のみしかデータを送信できないため、フレキシビリティに欠けるものとなる。 However, when a centralized control device is used, since data concentrates on the centralized control device, the centralized control device must be made large-scale and complicated. Further, when the transmission right is used, data can be transmitted only by a single device having the transmission right, so that flexibility is lacking.
したがって、本発明の目的は、大規模なシステムを構成することなく、例えば放収音装置のような複数の会議装置の話者情報をほぼリアルタイムに取得し利用することができるネットワーク通信システムを提供することにある。 Therefore, an object of the present invention is to provide a network communication system that can acquire and use speaker information of a plurality of conference apparatuses such as sound emitting and collecting apparatuses almost in real time without constituting a large-scale system. There is to do.
この発明は、音声データを通信する音声データ通信網に接続し、それぞれが放収音を行う複数の放収音装置と、該複数の放収音装置間の接続制御を行う通信制御サーバと、を備え、音声データは通信制御サーバを介さずに、複数の放収音装置間で直接通信を行うネットワーク通信システムに関するものである。この発明のネットワーク通信システムは、複数の放収音装置にそれぞれに話者検出手段を備える。そして、この発明のネットワーク通信システムの通信制御サーバは、複数の放収音装置のそれぞれに対して話者検出情報取得制御を行い、複数の放収音装置は、話者検出情報取得制御を受け付けると、話者検出手段で取得した話者検出情報を通信制御サーバへ送信する、ことを特徴としている。 The present invention is connected to a voice data communication network for communicating voice data, each of which emits and collects sound, and a communication control server that controls connection between the plurality of sound emission and collection devices, And the voice data relates to a network communication system that performs direct communication between a plurality of sound emitting and collecting devices without using a communication control server. In the network communication system of the present invention, a plurality of sound emitting and collecting apparatuses each include a speaker detecting means. The communication control server of the network communication system according to the present invention performs speaker detection information acquisition control for each of the plurality of sound emission and collection devices, and the plurality of sound emission and collection devices accepts the speaker detection information acquisition control. The speaker detection information acquired by the speaker detection means is transmitted to the communication control server.
この構成では、通信制御サーバは、各放収音装置間での音声データの通信制御は行わず、各放収音装置間での接続開始等の接続制御のみを行う。このような接続制御とは別に、通信制御サーバは各放収音装置に対して話者検出情報の取得制御を行う。各放収音装置は、話者検出情報取得制御を受け付けると、発話者の有無を含む自装置周りの話者位置情報を取得して通信制御サーバへ送信する。通信制御サーバがこの話者位置情報を受け付けることで、ネットワークに接続された各放収音装置の話者位置情報が一括で管理される。この際、通信制御サーバは、データ量が大きいながらも通信速度が要求される音声データの通信制御を行う必要がないので、簡素な構成で且つ簡潔な処理により話者位置情報の取得、管理を行うことができる。 In this configuration, the communication control server does not perform audio data communication control between the sound emitting and collecting devices, but only performs connection control such as connection start between the sound emitting and collecting devices. Apart from such connection control, the communication control server performs acquisition control of speaker detection information for each sound emission and collection device. When each sound emission and collection device accepts the speaker detection information acquisition control, it acquires the speaker position information around its own device including the presence or absence of the speaker and transmits it to the communication control server. When the communication control server accepts the speaker position information, the speaker position information of each sound emitting and collecting apparatus connected to the network is collectively managed. At this time, the communication control server does not need to perform communication control of voice data that requires a high communication speed even though the amount of data is large. Therefore, it is possible to acquire and manage speaker position information with a simple configuration and simple processing. It can be carried out.
また、この発明のネットワーク通信システムの通信制御サーバは、複数の放収音装置による通信のスケジュールを予め記憶しており、該スケジュールにより設定された期間内で定期的に話者検出情報取得制御を行う、ことを特徴としている。 In addition, the communication control server of the network communication system of the present invention stores a schedule of communication by a plurality of sound emission and collection devices in advance, and performs speaker detection information acquisition control periodically within a period set by the schedule. It is characterized by doing.
この構成では、通信制御サーバは、スケジュールにより通信が行われている間でのみ、話者検出情報を取得する。これにより、必要な時にのみ話者検出情報を得ることができ、上述のシステムの簡素化とともに、ネットワークのリソースを有効に利用することができる。 In this configuration, the communication control server acquires the speaker detection information only while communication is performed according to the schedule. Thereby, speaker detection information can be obtained only when necessary, and the resources of the network can be used effectively together with the simplification of the system described above.
また、この発明のネットワーク通信システムの複数の放収音装置は、話者検出情報取得制御を受け付けた後の所定時間内に、新たな話者検出情報取得制御を受け付けなければ、話者検出情報の送信を停止することを特徴としている。 Further, the plurality of sound emitting and collecting apparatuses of the network communication system of the present invention provide speaker detection information unless new speaker detection information acquisition control is received within a predetermined time after the speaker detection information acquisition control is received. The transmission is stopped.
この構成では、各放収音装置で、通信制御サーバからの話者検出情報取得制御を受け続けることで、話者検出情報の送信が行われることで、例えば、会議の終了等で通信制御サーバが話者検出情報の取得制御を停止すれば、各放収音装置は、話者検出情報の送信を中止する。これにより、話者検出情報は、通信制御サーバからの要求が無くなれば、自動で送信されなくなる。 In this configuration, by transmitting and receiving the speaker detection information by continuing to receive the speaker detection information acquisition control from the communication control server in each sound emission and collection device, for example, at the end of the conference, the communication control server If the acquisition control of the speaker detection information is stopped, each sound emission and collection device stops transmitting the speaker detection information. Thereby, the speaker detection information is not automatically transmitted if there is no request from the communication control server.
また、この発明のネットワーク通信システムは、さらに、複数の放収音装置にそれぞれ対応し、映像の取得及び表示を行う複数の映像処理手段を備える。この発明のネットワーク通信システムの通信制御サーバは、取得した話者位置情報に基づく話者状況データを生成して複数の映像処理手段に与える。そして、この発明の複数の映像処理手段は、取得した話者状況データを表示することを特徴としている。 The network communication system according to the present invention further includes a plurality of video processing means corresponding to the plurality of sound emission and collection devices, respectively, for acquiring and displaying a video. The communication control server of the network communication system according to the present invention generates speaker situation data based on the acquired speaker position information and provides it to a plurality of video processing means. The plurality of video processing means of the present invention is characterized by displaying the acquired speaker status data.
この構成では、経時的に得られる話者位置情報群に基づく話者状況データが生成され、映像処理手段で表示される。これにより、発話中の話者の切り替わり等からなる話者状況を視覚的に取得することができる。 In this configuration, speaker status data based on the speaker position information group obtained over time is generated and displayed by the video processing means. Thereby, it is possible to visually acquire the speaker situation including the switching of the speaker who is speaking.
また、この発明のネットワーク通信システムの複数の映像処理手段は、話者状況データに基づいて、表示する映像の切替制御を行うことを特徴としている。 The plurality of video processing means of the network communication system according to the present invention is characterized in that switching control of video to be displayed is performed based on speaker status data.
この構成では、各映像処理手段により、話者状況データに基づいて、例えば、現在発話中の話者の映像を強調表示する等の表示切替制御が行える。 In this configuration, each video processing means can perform display switching control such as highlighting the video of the speaker who is currently speaking based on the speaker status data.
この発明によれば、通信制御サーバで制御データや音声データ等の全てを一括で管理して利用するような大きなシステムを用いることなく、簡素なシステム構成および簡素な処理で、通信している各放収音装置での話者情報を一括で管理して利用することができる。 According to the present invention, each communication is performed with a simple system configuration and a simple process without using a large system that manages and uses all of the control data, audio data, and the like collectively in the communication control server. The speaker information in the sound emission and collection device can be managed and used collectively.
本発明の実施形態に係るネットワーク通信システムついて、図を参照して説明する。以下の説明では、ネットワーク通信システムの主たる構成として、複数の放収音装置間で音声を通信する音声通信システム、特に、放収音装置とともに映像処理装置を備える映像付きの音声通信システムを例に説明する。なお、以下の説明では、映像処理装置を備える音声通信システムを説明するが、映像処理装置での処理は、話者検出情報に基づく処理の一例であり、映像処理装置が無くても良い。
図1は、本実施形態の音声通信システムの主要構成を示すブロック図である。
図2は放収音装置11Aの主要構成を示すブロック図である。
A network communication system according to an embodiment of the present invention will be described with reference to the drawings. In the following description, as a main configuration of a network communication system, an audio communication system that communicates audio between a plurality of sound emission and collection devices, particularly an audio communication system with a video that includes an image processing device together with a sound emission and collection device is taken as an example. explain. In the following description, an audio communication system including a video processing device will be described. However, the processing in the video processing device is an example of processing based on speaker detection information, and the video processing device may not be provided.
FIG. 1 is a block diagram showing the main configuration of the voice communication system of the present embodiment.
FIG. 2 is a block diagram showing the main configuration of the sound emission and
図3(A)は放収音装置11A〜11Dをメッシュ接続した態様での音声データ通信網201および制御データ通信網202を説明する図であり、図3(B)は放収音装置11A〜11Dと同じ構成からなる放収音装置11E〜11Jをカスケード接続した態様での音声データ通信網201および制御データ通信網202を説明する図である。
図4は、制御サーバ10の主要構成を示すブロック図である。
図5は、映像データ通信網203および話者状況データ通信網204の構成を示す図である。
3A is a diagram for explaining the voice
FIG. 4 is a block diagram showing the main configuration of the
FIG. 5 is a diagram showing the configuration of the video
音声通信システムは、それぞれ別の位置にある会議室101A〜101Dの放収音装置11A〜11Dおよび映像処理装置12A〜12Dを、それぞれルータ13A〜13Dを介してネットワーク200で接続する構成を有する。また、このネットワーク200には、ルータ13Eを介して制御サーバ10が接続している。そして、ネットワーク200は、一つまたは複数の物理層からなり、当該物理層上に、音声データを伝送する音声データ通信網201、制御データを伝送する制御データ通信網202、映像データを伝送する映像データ通信網203が形成されている。
The audio communication system has a configuration in which sound emitting and collecting
各会議室101A〜101Dのそれぞれには、放収音装置11A〜11D、映像処理装置12A〜12D、ルータ13A〜13Dが備えられている。これらの各会議室では、各装置の接続構成が同じであり、代表して会議室101Aを用いて説明する。
会議室101Aには、放収音装置11A、映像処理装置12A、ルータ13Aが設置されており、放収音装置11Aおよび映像処理装置12Aは、ルータ13Aを介してネットワーク200に接続している。
Each of the
In the
映像処理装置12Aは、放収音装置11Aの周りを撮像する撮像部と、撮像した映像から映像データを生成する映像データ生成部と、ネットワーク200の映像データ通信網203を経由して取得した映像データを表示する映像表示部と、ルータ13Aとのデータの入出力を行う入出力部とを備える。また、図5に示すように、映像処理装置12Aは、話者状況データを送受信する話者状況データ通信網204により制御サーバ10と接続している。
The
ルータ13Aは、他のルータ13B〜13Eと、例えば、IPSec−VPN等のセキュアなネットワーク200を形成する。より具体的には、ルータ13Aは、図3(A)に示すように、放収音装置11Aと他の放収音装置11B〜11Dとの間を接続する音声データ通信網201を形成し、放収音装置11Aと制御サーバ10との間を接続する制御データ通信網202を形成する。なお、ルータ13B〜13Dについても同様に対応する放収音装置11B〜11Dと制御サーバ10との間を接続する制御データ通信網202を形成する。すなわち、放収音装置11A〜11Dと制御サーバ10との間に制御データ通信網202が形成される。また、ルータ13Aは、図5に示すように、映像処理装置12Aと他の映像処理装置12B〜12Dとの間を接続する映像データ通信網203を形成する。
The
放収音装置11Aは、図2に示すように、制御部111、ネットワークI/F112、放音用ミキサ113、話者検出部114、送信音用ミキサ115、スピーカSP、マイクMICを備える。
As shown in FIG. 2, the sound emission and
制御部111は、放収音装置11Aの全体制御を行うとともに、ネットワークI/F112を制御して、自装置で収音した収音データを音声データ通信網201へ送信させ、話者検出部114で生成された話者検出データを制御データ通信網202へ送信させる。
The
制御部111は、制御サーバ10から話者検出要求を受け付けると、図示しないタイマにて計時して、定期的に話者検出部114へ話者検出制御を行う。また、制御部111は、話者検出要求を受け付けてから、所定時間以上新たな話者検出要求を受け付けなければ、話者検出部114に対する話者検出制御を停止する。
また、制御部111は、選択された接続モードに応じて、送信音用ミキサ115の処理を制御する。具体的には、図3(A)に示すようなメッシュ接続モードであるか、図3(B)に示すようなカスケード接続モードであるかにより処理制御を設定する。
When the
Further, the
ネットワークI/F112は、ルータ13Aを介して外部のネットワーク200と接続し、音声データ通信網201を介して入力される放収音装置11B〜11Dの収音データを、音声データ通信網201の通信データ形式から所定の音声データ形式に変換して、放音用ミキサ113および送信音用ミキサ115へ与える。ネットワークI/F112は、マイクMICで収音され、送信用ミキサ115で必要に応じてミキシングされた収音データを、音声データ通信網201の通信データ形式に変換して、音声データ通信網201を介して放収音装置11B〜11Dへ送信する。また、ネットワークI/F112は、話者検出部114で生成された話者検出データを、制御データ通信網202を介して制御サーバ10へ送信する。
The network I /
放音用ミキサ113は、他の放収音装置11B〜11Dで収音された音声データをミキシングしてスピーカSPへ出力する。
スピーカSPは、入力された音声データにより放音する。
マイクMICは、自装置周りの音声を収音して、収音データを話者検出部114および送信音用ミキサ115へ与える。
話者検出部114は、予め話者検出閾値が設定、記憶されており、入力された収音データのレベルが話者検出閾値以上であれば、自装置周りに在席する話者が発話中であると判断し、「発話有」を示す話者検出データを生成する。一方、話者検出部114は、入力された収音データのレベルが話者検出閾値未満であれば「発話者無」と判断し、発話無を示す話者検出データを生成する。
The
The speaker SP emits sound according to the input audio data.
The microphone MIC collects the sound around the own device and provides the collected sound data to the
The
送信音用ミキサ115は、制御部111からの制御に従い、メッシュ接続モードであれば、収音データをそのまま出力する。送信音用ミキサ115は、図3(B)に示すようなカスケード接続モードであれば、自装置の収音データに、他の放収音装置で収音した音声データをミキシングして出力する。この際、送信音用ミキサ115は、送信先を指定するデータを備え、送信先毎に送信用の音声データを生成する。具体的には、送信音用ミキサ115は、送信先を除く放収音装置で収音された音声データと、自装置の収音データとをミキシングして、送信先情報に関連付けして出力する。この処理は送信先毎に行われる。
In accordance with control from the
このような構成とすることで、放収音装置11A(11B〜11D)は、音声データ通信網201を利用して、音声データを直接放収音装置間で送受信する。また、放収音装置11A(11B〜11D)は、話者検出データを制御サーバ10からの話者検出要求に応じて取得し、制御サーバ10へ送信する。
With such a configuration, the sound emitting and collecting
制御サーバ10は、図4に示すように、通信制御部150、スケジュール制御部151、話者情報管理部152、ネットワークI/F153、表示部154を備える。
通信制御部150は、ネットワークI/F153を介して行われる放収音装置11A〜11Dとの制御データ通信網202を利用した通信の制御を行う。具体的には、通信制御部150は、音声データの送受信の制御は行わず、制御データ通信網202を利用して各放収音装置11A〜11D間の音声データ通信網201の確立や解除の制御を行う。また、通信制御部150は、各放収音装置11A〜11Dに対して、話者検出データの要求を実行する制御や話者検出データの受信制御を行う。また、通信制御部150は、話者状況データ通信網204を介して行われる話者状況データの通信の制御を行う。
As illustrated in FIG. 4, the
The
スケジュール制御部151は、タイマ機能を備え、予め入力された会議等のスケジュールを記憶し、会議の開始タイミングを検出すると、通信制御部150へ音声データ通信網201の確立制御を行うように通知する。また、会議の終了タイミングを検出すると、通信制御部150へ音声データ通信網201の解除制御を行うように通知する。また、スケジュール制御部151は、話者情報管理部152へ記憶されているスケジュールや現在会議実行中であるかどうかや時刻情報を与える。
The
話者情報管理部152は、通信制御部150を介して、各放収音装置11A〜11Dの話者検出データを取得し、スケジュール制御部151からのスケジュールや時刻情報とリンクさせて、時系列での話者情報を含む話者状況データを生成する。この際、話者情報と放収音装置とは関連付けされている。生成された話者状況データは、表示部154へ与えられるとともに記憶され、通信制御部150を介して外部の映像処理装置12A等から要求されれば、通信制御部150、ネットワークI/F153、話者状況データ通信網204を介して、要求元へ送信される。
The speaker
表示部154は、液晶パネル等からなり、話者情報管理部152から与えられたスケジュール、時刻情報、および話者状況データに基づいて、話者の変化が視覚的に取得できるようなグラフィカル表示を行う。これにより、制御サーバ10が設置された位置にいる人は、話者の状況を容易に且つ視覚的に確認することができる。
The
また、前述のように、制御サーバ10の外部に話者状況データを出力できることで、各会議室101A〜101Dで話者状況データを容易に利用することができる。例えば、話者状況データを映像処理装置12Aで利用する場合として、「発話有」情報を取得すると、当該「発話有」情報に関連付けされた放収音装置に対応する映像処理装置からの話者画像を他の映像処理装置からの画像よりも強調表示することができる。これにより、より発言者の判りやすい会議を提供することができる。
Further, as described above, since the speaker status data can be output to the outside of the
次に、本実施形態のネットワーク通信システムにおける、音声データ通信網201の確立および話者検出の処理フローについて、図6および図7を参照して、より具体的に説明する。
図6は音声データ通信網201の確立処理フローを示したフローチャートである。
図7は音声データ通信網201の確立後における話者検出の処理フローを示したフローチャートである。
Next, the processing flow for establishing the voice
FIG. 6 is a flowchart showing the establishment processing flow of the voice
FIG. 7 is a flowchart showing a processing flow of speaker detection after the establishment of the voice
なお、以下の説明では、放収音装置11Aから放収音装置11Bに接続を行う場合を示すが、他の放収音装置に対しても同様の処理を行えばよい。また、下記のような制御データ通信網202を利用した制御データの送受信は、具体的には、所謂SIPにより実現される。
In the following description, a case where connection is made from the sound emitting and collecting
まず、制御サーバ10は、予め設定、記憶されたスケジュールを読み出し(S101)、現在時刻を取得する(S102)。制御サーバ10は、取得時刻が読み出したスケジュールの会議開始時刻になると(S103:Y)、会議に参加する放収音装置の内の一つの放収音装置11Aへ、同じ会議に参加する他の放収音装置11Bへの発信要求を、制御データ通信網202を介して送信する(S104)。
First, the
放収音装置11Aは、これを利用するユーザ等の電源入力やタイマによる自動電源入力によりスタンバイ状態となっており(S201)、制御サーバ10から発信要求を検知すると、これを受信する(S202)。放収音装置11Aは、発信要求に従い、放収音装置11Bへの発呼を、制御データ通信網202を介して制御サーバ10へ送信し(S203)、制御サーバ10は、この発呼を中継して、制御データ通信網202を介して放収音装置11Bへ送信する(S105)。
The sound emission and
放収音装置11Bも、放収音装置11Aと同様に、予めスタンバイ状態にあり(S301)、制御サーバ10を介した放収音装置11Aからの呼に従い、着呼する(S302)。この際、制御サーバ10からは、制御データ通信網202を介して着信要求が送信されており(S106)、放収音装置11Bは、着呼の後に着信要求を受信する(S303)。
Similarly to the sound emission and
放収音装置11Bは、自身がビジーでないことを確認すると、音声データ通信網201での通信開始可能情報を、制御データ通信網202を介して制御サーバ10へ送信し(S304)、制御サーバ10は、この通信開始可能情報を中継して放収音装置11Aへ送信する(S107)。
When the sound emitting and collecting
放収音装置11Aは、通信開始可能情報を受信すると(S204)、音声データ通信網201での通信開始制御を、制御データ通信網202を利用し、制御サーバ10を介して、放収音装置11Bに送信する(S205→S108→S305)。放収音装置11Bは、この放収音装置11Aからの通信開始制御に、制御データ通信網202を利用し、制御サーバ10を介して、放収音装置11Aへ応答する(S305→S108→S205)。
When receiving the communication start enable information (S204), the sound emission and
このような通信開始制御の確認が終了すると、放収音装置11Aと放収音装置11Bとの間で音声データ通信網201による伝送経路が確立される(S206,S306)。
When the confirmation of such communication start control is completed, a transmission path by the voice
放収音装置11Aと放収音装置11Bとは、音声データ通信網201が確立されると、制御サーバ10を介することなく、音声データの送受信を行う(S207,S307)。
When the voice
このように、本実施形態の構成では、放収音装置間での音声データを送受信する音声データ通信網201の確立までは、制御サーバ10により先導的に実行され、音声データ通信網201が確立されれば、それぞれの放収音装置間で直接音声データを送受信することができる。これにより、制御サーバ10は、ミキシング機能を有する大規模で複雑なものを用いなくてもよい。
As described above, in the configuration of the present embodiment, until the establishment of the voice
次に、音声データ通信網201が確立されると、制御サーバ10は計時を開始する(S111)。制御サーバ10は、予め設定した話者検出要求送信タイミングを検出すると(S112:Y)、話者検出要求を接続が確立された各放収音装置11A,11Bへ、制御データ通信網202を介して送信する(S113)。一方で、制御サーバ10は、話者検出要求送信タイミングでなければ(S112:N)、計時とタイミング検出を継続する(S111)。
Next, when the voice
以下、放収音装置11Aと放収音装置11Bとは同じ処理を行うので、放収音装置11Aのみについて説明する。
放収音装置11Aは、話者検出要求を受け付けると(S211)、検出要求を受け付けたことを示す確認データを制御サーバ10へ制御データ通信網202を介して送信する(S212)。制御サーバ10は、この確認データを取得することで、放収音装置11Aが話者検出を開始するものと判断し(S114)、話者検出データの受信待機状態となる。
Hereinafter, since the sound emission and
When receiving the speaker detection request (S211), the sound emission and
放収音装置11Aは、計時を開始し(S213)、検出タイミングになると(S214:Y)、前述のように話者検出と話者検出データの生成とを実行し、制御サーバ10へ話者検出データを送信する(S215)。この際、放収音装置11Aは、制御データ通信網202を用いて、制御サーバ10へ話者検出データを送信する。
The sound emission and
放収音装置11Aは、話者検出および話者検出データの生成、送信を検出期間終了になるまで継続して行う(S216:N→S213)。ここで、検出期間終了は、例えば、次のように決定される。(1)放収音装置11Aは、制御サーバ10からの話者検出要求を受け付けて、話者検出を行う場合に、予め設定した所定時間に、新たな話者検出要求を受け付けなければ、終了を決定する。(2)放収音装置11Aは、図示していないが、制御サーバ10から話者検出要求の終了を示す話者検出要求終了データを受信した場合に、終了を決定する。なお、検出期間終了を検出した場合、放収音装置11Aは、制御サーバ10への話者検出データの取得・送信を停止する(S216:Y→S217)。
The sound emission and
制御サーバ10は、放収音装置11Aからの話者検出データを受信して記憶し(S115)、話者状況データの生成・更新を行う(S116)。すなわち、制御サーバ10は、話者検出データを初めて取得した場合には、話者状況データを新規に生成し、これ以降に順次話者検出データを取得すると、直前の話者状況データに対して、新たな話者検出データを付け加えるように更新する。このような話者状況データの生成・更新は、スケジュールで設定された会議終了タイミングか、ユーザにより操作入力された終了タイミングまで実行され続ける(S117→S111)。そして、終了時間を検出すると、制御サーバ10は、話者状況データの記憶を行い、終了処理を行う(S117:N→S118)。
The
このような処理を行うことで、制御サーバ10は、音声データの通信制御を行うことなく、各放収音装置11A〜11Dの話者検出データすなわち発話者情報を取得することができる。これにより、大規模で高価なサーバを用いることなく、前述のような話者検出データに基づく各種の応用処理を実現することができる。さらに、この際、話者検出データおよび話者状況データの送受信は、音声データ通信網201を用いないので、当該音声データ通信網201を伝送する音声データの送受信に影響を与えることも、これらの送受信による影響を与えられることもない。すなわち、独立して話者検出データおよび話者状況データの送受信を行うことができる。そして、このような話者検出データおよび話者状況データの送受信は、比較的データ量が小さいので、容量の大きくない伝送経路を用いても、音声データとのタイムラグを生じることなく、音声データと話者状況データとを各会議室101A〜101Dで利用することができる。
By performing such processing, the
101A〜101D−会議室、10−制御サーバ、11A〜11D−放収音装置、12A〜12D−映像処理装置、13A〜13E−ルータ、200−ネットワーク、201−音声データ通信網、202−制御データ通信網、203−映像データ通信網、204−話者状況データ通信網、
111−放収音装置の制御部、112−放収音装置のネットワークI/F、113−放音用ミキサ、114−話者検出部、115−送信音用ミキサ、
150−制御サーバ10の通信制御部、151−スケジュール制御部、152−話者情報管理部、153−制御サーバ10のネットワークI/F、154−表示部
101A to 101D-conference room, 10-control server, 11A to 11D-sound emitting and collecting device, 12A to 12D-video processing device, 13A to 13E-router, 200-network, 201-voice data communication network, 202-control data Communication network, 203-video data communication network, 204-speaker status data communication network,
111-Control unit of sound emission and collection device, 112-Network interface of sound emission and collection device, 113-Mixer for sound emission, 114-Speaker detection unit, 115-Mixer for transmission sound,
150-Communication control unit of
Claims (5)
前記複数の放収音装置はそれぞれに話者検出手段を備え、
前記通信制御サーバは、前記複数の放収音装置のそれぞれに対して話者検出情報取得制御を行い、
前記複数の放収音装置は、前記話者検出情報取得制御を受け付けると、前記話者検出手段で取得した話者検出情報を前記通信制御サーバへ送信する、
ネットワーク通信システム。 A plurality of sound emitting and collecting devices connected to a voice data communication network for communicating voice data, each of which emits and collects sound, and a communication control server that performs connection control between the plurality of sound emitting and collecting devices, Audio data is a network communication system that performs direct communication between a plurality of sound emitting and collecting devices without going through the communication control server,
Each of the plurality of sound emission and collection devices includes a speaker detection means,
The communication control server performs speaker detection information acquisition control for each of the plurality of sound emission and collection devices,
When the plurality of sound emission and collection devices accept the speaker detection information acquisition control, the speaker detection information acquired by the speaker detection means is transmitted to the communication control server.
Network communication system.
前記通信制御サーバは、取得した話者位置情報に基づく話者状況データを生成して前記複数の映像処理手段に与え、
前記複数の映像処理手段は、取得した話者状況データを表示する、請求項1〜3のいずれかに記載のネットワーク通信システム。 A plurality of video processing means corresponding to the plurality of sound emission and collection devices, respectively, for acquiring and displaying a video,
The communication control server generates speaker situation data based on the acquired speaker position information and gives the plurality of video processing means,
The network communication system according to claim 1, wherein the plurality of video processing means display acquired speaker status data.
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2007091462A JP5266656B2 (en) | 2007-03-30 | 2007-03-30 | Network communication system |
PCT/JP2008/054665 WO2008126626A1 (en) | 2007-03-30 | 2008-03-13 | Network communication system |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2007091462A JP5266656B2 (en) | 2007-03-30 | 2007-03-30 | Network communication system |
Related Child Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2012237429A Division JP5403137B2 (en) | 2012-10-29 | 2012-10-29 | Network communication system |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2008252540A true JP2008252540A (en) | 2008-10-16 |
JP5266656B2 JP5266656B2 (en) | 2013-08-21 |
Family
ID=39863753
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2007091462A Expired - Fee Related JP5266656B2 (en) | 2007-03-30 | 2007-03-30 | Network communication system |
Country Status (2)
Country | Link |
---|---|
JP (1) | JP5266656B2 (en) |
WO (1) | WO2008126626A1 (en) |
Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH08130723A (en) * | 1994-10-28 | 1996-05-21 | Nec Corp | Video conference system speaker discrimination device |
JP2002158983A (en) * | 2000-11-20 | 2002-05-31 | Matsushita Electric Ind Co Ltd | Multicast video conference terminal and video conference system |
JP2003069969A (en) * | 2001-08-22 | 2003-03-07 | Nippon Telegr & Teleph Corp <Ntt> | Multi-point conference system, directory server and conference terminal |
WO2006051624A1 (en) * | 2004-11-10 | 2006-05-18 | Fujitsu Limited | Contents server, and contents service system |
JP2006148479A (en) * | 2004-11-18 | 2006-06-08 | Ntt Comware Corp | Teleconference system |
JP2007036876A (en) * | 2005-07-28 | 2007-02-08 | Kyocera Corp | Communication method, communication system and communication terminal |
JP2007072739A (en) * | 2005-09-07 | 2007-03-22 | Hitachi Communication Technologies Ltd | Multipoint conference system, multipoint conference apparatus, and client terminal |
Family Cites Families (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2006345103A (en) * | 2005-06-07 | 2006-12-21 | Canon Inc | Media conference system, and control method, program and storage medium therefor |
-
2007
- 2007-03-30 JP JP2007091462A patent/JP5266656B2/en not_active Expired - Fee Related
-
2008
- 2008-03-13 WO PCT/JP2008/054665 patent/WO2008126626A1/en active Application Filing
Patent Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH08130723A (en) * | 1994-10-28 | 1996-05-21 | Nec Corp | Video conference system speaker discrimination device |
JP2002158983A (en) * | 2000-11-20 | 2002-05-31 | Matsushita Electric Ind Co Ltd | Multicast video conference terminal and video conference system |
JP2003069969A (en) * | 2001-08-22 | 2003-03-07 | Nippon Telegr & Teleph Corp <Ntt> | Multi-point conference system, directory server and conference terminal |
WO2006051624A1 (en) * | 2004-11-10 | 2006-05-18 | Fujitsu Limited | Contents server, and contents service system |
JP2006148479A (en) * | 2004-11-18 | 2006-06-08 | Ntt Comware Corp | Teleconference system |
JP2007036876A (en) * | 2005-07-28 | 2007-02-08 | Kyocera Corp | Communication method, communication system and communication terminal |
JP2007072739A (en) * | 2005-09-07 | 2007-03-22 | Hitachi Communication Technologies Ltd | Multipoint conference system, multipoint conference apparatus, and client terminal |
Also Published As
Publication number | Publication date |
---|---|
WO2008126626A1 (en) | 2008-10-23 |
JP5266656B2 (en) | 2013-08-21 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US7539486B2 (en) | Wireless teleconferencing system | |
JP6451227B2 (en) | Information processing apparatus, information processing system, program, and recording medium | |
CN108933809B (en) | Communication control method and apparatus, telepresence robot, and recording medium | |
JP5282701B2 (en) | Remote conference system, remote conference terminal, and remote conference method | |
JP5403137B2 (en) | Network communication system | |
JP2007235220A (en) | Multiple dwelling house interphone system | |
JP5266656B2 (en) | Network communication system | |
JP6369212B2 (en) | Information processing apparatus, information processing system, program, and recording medium | |
JP2009015572A (en) | Security system, terminal, information delivery method, and program | |
JP2008252177A (en) | Electronic conference system, information processor, and program | |
CN108781240A (en) | Intercom system | |
JP2017163466A (en) | Information processor and conference system | |
JP5682376B2 (en) | Communication device | |
US20210021968A1 (en) | Communications server and method | |
JP2008187657A (en) | Interphone system | |
JP6037480B1 (en) | Position display device, position display program, and video conference system | |
JP3205960B2 (en) | Video transmission control system and video / audio transmission control system | |
TWI413413B (en) | Network video conference equipment and its method of proceeding network video conference | |
JP2009239678A (en) | Video intercom system | |
JP3960357B2 (en) | Audio transmission system | |
JP6870363B2 (en) | Communication equipment, methods and programs | |
JP2007266978A (en) | Multiple dwelling house intercom system | |
JP2009055439A (en) | Apartment building interphone system | |
JP2008118235A (en) | Video conference system and control method for video conference system | |
JP6569400B2 (en) | Information processing apparatus, information processing system, program, and recording medium |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20100120 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20120828 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20121029 |
|
RD02 | Notification of acceptance of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7422 Effective date: 20121029 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20130409 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20130422 |
|
R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 Ref document number: 5266656 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
LAPS | Cancellation because of no payment of annual fees |