JP2008301124A

JP2008301124A - Mixer device

Info

Publication number: JP2008301124A
Application number: JP2007144205A
Authority: JP
Inventors: Tadao Furukawa; 忠雄古川
Original assignee: Yamaha Corp
Current assignee: Yamaha Corp
Priority date: 2007-05-30
Filing date: 2007-05-30
Publication date: 2008-12-11
Anticipated expiration: 2027-05-30
Also published as: JP4941107B2

Abstract

<P>PROBLEM TO BE SOLVED: To enable performing a multi-point conference by connecting terminal devices in the number larger than the number of input terminals of a mixer without compressing a communication band used for transmission and reception of voice data. <P>SOLUTION: The mixer device includes a mixing means which mixes and outputs voice data inputted to M (an integer of 2 or larger) input terminals. Based on a receiving condition of voice data transmitted from N (an integer equal to or larger than M) terminal devices via a communication network, at most M terminal devices are selected from among those terminal devices wherein users are speaking and those M terminal devices are assigned with different input terminals. To the terminal devices not selected, the output data of the mixing means is transmitted as it is, while, to the terminal devices selected by the selecting means, the output data of the mixing means is transmitted excluding the voice data received from the terminal device. <P>COPYRIGHT: (C)2009,JPO&INPIT

Description

本発明は、地理的に離れた複数の拠点間での遠隔会議を通信網を利用して実現する技術に関する。 The present invention relates to a technique for realizing a remote conference between a plurality of geographically separated bases using a communication network.

近年、ＡＤＳＬや光通信などの高速データ通信技術の普及に伴い、地理的に離れた複数の拠点の各々に設置された端末装置を用いて遠隔会議を行うことが一般になりつつある。このような遠隔会議のためのシステムは、利用者の発言を収音してその音声を示す音声データを通信網へ送出するとともに、その通信網から送信されてくる音声データを受信しその音声データの表す音声を再生する端末装置を上記複数の拠点の各々に設置するとともに、各端末装置から送信されてくる音声データをミキシングしそのミキシング結果に対応する音声データを上記各端末装置に配信するミキサ装置を上記通信網に接続することによって実現されるのである。
ところで、上記のようにして遠隔会議を実現する場合、上記ミキサ装置は各拠点に配置される端末装置の数と同数かそれよりも多数の入力端子を備えていなければならない。このため、上記のようにして実現される遠隔会議においては、ミキサ装置の入力端子数よりも多い数の端末装置を接続することはできず、事業規模の拡大に応じて拠点の数が増加したとしてもその増加に対応することができないという問題があった。
このような問題点を解決するための技術の一例としては、特許文献１に開示された技術が挙げられる。特許文献１には、複数の会議端末と各会議端末から送信されている音声データをミキシングして返信するミキサ装置とを多重化信号伝送手段たる通信網に接続するとともに、各会議端末の使用チャネルおよびミキシング対象のチャネルを指定する外部制御手段たるワークステーションを上記通信網に接続して多地点会議システムを構成することが開示されている。この特許文献１に開示された技術では、ミキシング対象のチャネルを上記ワークステーションによって適宜指定することで、ミキサ装置の入力端子数よりも多い数の会議端末を接続して遠隔会議を行うことが可能になっている。
特開平５−１１０６９５号公報 In recent years, with the widespread use of high-speed data communication technologies such as ADSL and optical communication, it is becoming common to conduct remote conferences using terminal devices installed at a plurality of geographically distant bases. Such a system for remote conferencing collects a user's speech and sends voice data indicating the voice to the communication network, and receives voice data transmitted from the communication network and receives the voice data. Are installed at each of the plurality of bases, and a mixer that mixes audio data transmitted from each terminal device and distributes audio data corresponding to the mixing result to each terminal device. This is realized by connecting the device to the communication network.
By the way, when realizing a remote conference as described above, the mixer device must have the same number of input terminals as the number of terminal devices arranged at each base or a larger number of input terminals. For this reason, in the remote conference realized as described above, it is not possible to connect more terminal devices than the number of input terminals of the mixer device, and the number of bases increased as the business scale expanded. However, there was a problem that it could not cope with the increase.
As an example of a technique for solving such a problem, a technique disclosed in Patent Document 1 can be cited. In Patent Document 1, a plurality of conference terminals and a mixer device that mixes and returns voice data transmitted from each conference terminal are connected to a communication network serving as a multiplexed signal transmission unit, and a channel used by each conference terminal In addition, it is disclosed that a multipoint conference system is configured by connecting a workstation as external control means for designating a mixing target channel to the communication network. In the technology disclosed in Patent Document 1, it is possible to perform a remote conference by connecting a larger number of conference terminals than the number of input terminals of the mixer device by appropriately specifying the channel to be mixed by the workstation. It has become.
Japanese Patent Laid-Open No. 5-110695

しかしながら、特許文献１に開示された技術では、使用チャネルの割り当てを行うための制御コマンドが各会議端末とワークステーションとの間で送受信されるとともに、ミキシング対象のチャネルを指定するための制御コマンドがミキサ装置とワークステーションとの間で送受信される。上記各制御コマンドを送受信するためには、通信帯域を割り当てる必要があるが、通信網にて利用可能な通信帯域は予め定まっているため、音声データ等の送受信に割り当て可能な通信帯域が減少する（すなわち、音声データの送受信に使用する通信帯域が圧迫される）。音声データの送受信に割り当て可能な通信帯域が減少してしまうと、音声データの送受信に許容範囲を超える遅延が生じるなどして遠隔会議の進行に支障が生じる場合がある。また、制御コマンドの送受信を司るワークステーションに障害が発生すると、各拠点から送信されてくる音声データのミキシングが不可能になり、会議通信ができなくなるといった問題もある。
本発明は上記課題に鑑みて為されたものであり、音声データの送受信に使用する通信帯域を圧迫することなく、ミキサの入力端子数よりも多数の端末装置を接続して多地点会議を行うことを可能にする技術を提供することを目的とする。 However, in the technique disclosed in Patent Document 1, a control command for assigning a use channel is transmitted and received between each conference terminal and a workstation, and a control command for designating a mixing target channel is provided. It is transmitted and received between the mixer device and the workstation. In order to transmit / receive each of the above control commands, it is necessary to allocate a communication band, but since a communication band that can be used in the communication network is determined in advance, the communication band that can be allocated to transmission / reception of voice data and the like decreases (In other words, the communication band used for transmission / reception of voice data is compressed). If the communication band that can be allocated for audio data transmission / reception decreases, a delay exceeding the allowable range may occur in audio data transmission / reception, which may hinder the progress of the remote conference. In addition, when a failure occurs in a workstation that controls transmission / reception of control commands, there is a problem that mixing of voice data transmitted from each base becomes impossible and conference communication cannot be performed.
The present invention has been made in view of the above problems, and performs a multipoint conference by connecting a larger number of terminal devices than the number of input terminals of a mixer without squeezing the communication band used for transmitting and receiving audio data. The purpose is to provide a technology that makes this possible.

上記課題を解決するために本発明は、最大でＭ（２以上の整数）個の音声データを受け取ってミキシングし、そのミキシング結果である音声データを出力するミキサ手段と、Ｎ（前記Ｍ以上の整数）台の端末装置の各々から通信網を介して送信されてくる音声データの受信状況、または受信した音声データの表す音声の音量レベルから前記Ｎ台の端末装置の各々についてその利用者が発言中であるか否かを判定し、その判定結果を示す判定結果データを出力する無音／有音検知手段と、利用者が発言中であることが前記判定結果データによって示されている端末装置のうちから最大でＭ台の端末装置を選択し、選択した端末装置の各々から受信した音声データを前記ミキサ手段に与えるとともに、選択されなかった端末装置には前記ミキサ手段から出力される音声データをそのまま送信する一方、前記選択した端末装置に対しては、前記ミキサ手段から出力される音声データから、その端末装置から受信した音声データを差し引いて送信する通信制御手段とを有することを特徴とするミキサ装置、を提供する。 In order to solve the above-mentioned problems, the present invention receives and mixes up to M (integer greater than or equal to 2) audio data, and outputs the audio data as a result of the mixing, and N (the above M or more) Integer) The user speaks about each of the N terminal devices from the reception status of the voice data transmitted from each of the terminal devices via the communication network or the volume level of the voice represented by the received voice data. A silence / sound detection means for determining whether the user is speaking, and a terminal device in which the determination result data indicates that the user is speaking. A maximum of M terminal devices are selected from among them, and audio data received from each of the selected terminal devices is supplied to the mixer means, and the mixer device is added to the unselected terminal devices. Communication control means for subtracting the voice data received from the terminal device from the voice data output from the mixer means and transmitting the voice data output from the terminal device to the selected terminal device. There is provided a mixer device characterized by comprising:

より好ましい態様においては、前記ミキサ装置の通信相手であるＮ台の端末装置の各々には予め優先順位が割り当てられており、前記ミキサ装置の通信制御手段は、新たな音声データを受信する度に、前記優先順位にしたがって最大でＭ台の端末装置を選択することを特徴とする。 In a more preferred aspect, a priority is assigned in advance to each of the N terminal apparatuses that are communication partners of the mixer apparatus, and the communication control means of the mixer apparatus receives new audio data each time. A maximum of M terminal devices are selected according to the priority order.

また、上記課題を解決するために本発明は、前記ミキサ装置の通信制御手段は、音声データの受信状況からその送信元である端末装置毎に優先順位を定め、その優先順位にしたがって最大でＭ台の端末装置を選択することを特徴とする。 Further, in order to solve the above-mentioned problem, according to the present invention, the communication control means of the mixer device determines a priority order for each terminal device that is the transmission source from the reception status of the audio data, and at most M according to the priority order. The terminal device is selected.

本発明によれば、ミキサの入力端子数よりも多数の端末装置を接続して多地点会議を行うことが可能になるといった効果を奏する。また、本発明においては、特許文献１に開示された技術とは異なり、音声データとは別に制御データの送受信を行う必要はないため、音声データの送受信に使用する通信帯域が圧迫されることはない。 According to the present invention, it is possible to perform a multipoint conference by connecting more terminal devices than the number of input terminals of the mixer. Also, in the present invention, unlike the technique disclosed in Patent Document 1, it is not necessary to transmit / receive control data separately from audio data, so that the communication band used for audio data transmission / reception is compressed. Absent.

以下、図面を参照しつつ本発明を実施するための最良の形態について説明する。
（Ａ：構成）
図１は、本発明の一実施形態に係るミキサ装置２０を有する多地点会議システムの構成例を示すブロック図である。図１に示すように、多地点会議システムは、会議端末１０−ｋ（ｋ＝１〜６）とミキサ装置２０とを、例えばインターネットなどの通信網３０に接続して構成されている。 The best mode for carrying out the present invention will be described below with reference to the drawings.
(A: Configuration)
FIG. 1 is a block diagram showing a configuration example of a multipoint conference system having a mixer device 20 according to an embodiment of the present invention. As shown in FIG. 1, the multipoint conference system is configured by connecting conference terminals 10-k (k = 1 to 6) and a mixer device 20 to a communication network 30 such as the Internet.

会議端末１０−ｋ（ｋ＝１〜６）の各々は、例えばパーソナルコンピュータなどのコンピュータ装置であり、企業の各支店や各事業所、本店などの拠点に１台ずつ配置されている。会議端末１０−ｋ（ｋ＝１〜６）の記憶部（例えば、ハードディスク：図示省略）には、遠隔会議を実現するための通信プログラムが予め記憶されている。会議端末１０−ｋ（ｋ＝１〜６）の制御部（例えば、ＣＰＵ：図示省略）は、上記通信プログラムにしたがって作動することにより、通信コネクション確立処理、音声データ送信処理および音声再生処理など遠隔会議を実現するための各種処理を実行する。 Each of the conference terminals 10-k (k = 1 to 6) is a computer device such as a personal computer, for example, and is disposed one by one at each branch office, each business office, or at a head office. A communication program for realizing a remote conference is stored in advance in a storage unit (for example, hard disk: not shown) of the conference terminal 10-k (k = 1 to 6). A control unit (e.g., CPU: not shown) of the conference terminal 10-k (k = 1 to 6) operates according to the communication program, thereby enabling remote control such as communication connection establishment processing, audio data transmission processing, and audio reproduction processing. Various processes for realizing the conference are executed.

通信コネクション確立処理とは、例えば会議端末１０−ｋの操作部（図示省略）に対して遠隔会議へ参加する旨の指示が入力されたことを契機に、通信網３０を介してミキサ装置２０との間に通信コネクションを確立する処理である。ここで、通信コネクションとは、その両端に位置する装置間のデータ授受を仲介する論理的通信路のことである。音声データ送信処理とは、マイクなどからなる音声入力部（図示省略）により利用者の発言を収音し、その音声を示す音声データを書き込んだ音声データパケットを上記通信コネクションを介して送信する処理である。この音声データパケットには、上記音声データの他にその送信元である会議端末１０−ｋの通信アドレスやその宛先であるミキサ装置２０の通信アドレスが書き込まれている。なお、本実施形態では、音声入力部により収音される音声の音量レベルが所定の閾値未満である場合には、意図的な発言ではないとみなして上記送信処理が行われることはない。これは、例えば利用者の独り言などのように会議の内容とは無関係な音声を示す音声データが上記通信コネクションを介して送受信されることを回避し、通信網３０にて割り当て可能な通信帯域が無駄に使用されることを回避するためである。そして、音声再生処理とは、上記通信コネクションを介してミキサ装置２０から受信した音声データパケットに含まれている音声データの表す音声をスピーカなどからなる音声出力部により再生する処理である。 The communication connection establishment process is, for example, when the instruction to participate in the remote conference is input to the operation unit (not shown) of the conference terminal 10-k via the communication network 30 and the mixer device 20. It is the process which establishes a communication connection between. Here, the communication connection is a logical communication path that mediates data exchange between devices located at both ends thereof. The voice data transmission process is a process of collecting a user's speech by a voice input unit (not shown) including a microphone and transmitting a voice data packet in which voice data indicating the voice is written via the communication connection. It is. In this audio data packet, in addition to the audio data, the communication address of the conference terminal 10-k that is the transmission source and the communication address of the mixer device 20 that is the destination are written. In the present embodiment, when the volume level of the sound collected by the sound input unit is less than a predetermined threshold, the transmission process is not performed assuming that the speech is not intentional. This is because, for example, voice data indicating voice that is irrelevant to the content of the conference, such as a user's monologue, is prevented from being transmitted and received via the communication connection, and a communication band that can be allocated in the communication network 30 is increased. This is to avoid uselessness. The audio reproduction process is a process for reproducing the audio represented by the audio data included in the audio data packet received from the mixer device 20 via the communication connection by an audio output unit including a speaker.

ミキサ装置２０は、通信網３０を介して会議端末１０−ｋ（ｋ＝１〜６）の各々との間に通信コネクションを確立して遠隔会議通信の制御を行う装置であり、各会議端末１０−ｋから送信されてくる音声データをミキシングして返信するためのミキサ部２４０を有している。ここで注目すべきは、図１を参照すれば明らかなように、ミキサ部２４０が３つの入力端子、すなわち、ミキサ装置２０が同時に通信コネクションの確立が可能な会議端末の数よりも少ない数の入力端子しか有していない点である。本実施形態では、入力端子を３つしか有さないミキサ部２４０を用いて６台の会議端末の会議通信を可能にするため、ミキサ装置２０は、ミキサ部２４０の他に、無音／有音検出部２１０と、通信制御部２２０とを有している。なお、本実施形態では、ミキサ部２４０が３つの入力端子を有する場合について説明するが、ミキサ部２４０はＭ（２以上の整数）個の入力端子を有していれば良い。また、本発明に係る多地点会議システムに含まれる会議端末の数は６台に限定されるものではなく、Ｎ（上記Ｍ以上の整数）台の会議端末が含まれていれば良い。 The mixer device 20 is a device that establishes a communication connection with each of the conference terminals 10-k (k = 1 to 6) via the communication network 30 and controls the remote conference communication. A mixer unit 240 is provided for mixing and returning the audio data transmitted from -k. It should be noted here that, as is clear from FIG. 1, the mixer unit 240 has three input terminals, that is, the mixer apparatus 20 has a number smaller than the number of conference terminals that can simultaneously establish communication connections. It has only an input terminal. In the present embodiment, in order to enable conference communication of six conference terminals using the mixer unit 240 having only three input terminals, the mixer device 20 includes a silence / sound in addition to the mixer unit 240. It has a detection unit 210 and a communication control unit 220. In the present embodiment, the case where the mixer unit 240 has three input terminals will be described. However, the mixer unit 240 only needs to have M (integer of 2 or more) input terminals. Further, the number of conference terminals included in the multipoint conference system according to the present invention is not limited to six, and it is sufficient that N (an integer greater than or equal to M) conference terminals are included.

無音／有音検出部２１０は、図１では、詳細な図示は省略したが、通信インタフェース（以下、「ＩＦ」）部、ＲＯＭやＲＡＭなどの記憶部および制御部を含んでいる。通信ＩＦ部は、例えばＮＩＣ（Network Interface Card）であり、通信網３０に接続されている。この通信ＩＦ部は、通信網３０を介して送信されてくる音声データパケットを受信し、上記制御部へ引き渡す一方、上記制御部から受け取った音声データパケットを通信網３０へ送出する。上記ＲＯＭには、各会議端末１０−ｋとの間に通信コネクションを確立する処理を制御部に実行させるためのコネクション管理プログラムやその確立状況を管理するためのコネクション管理テーブルが予め格納されている。一方、上記ＲＡＭ内には、音声データパケットをその送受信先である各会議端末１０−ｋ毎に記憶するため受信バッファおよび送信バッファの２種類のバッファが会議端末１０−ｋ毎に割り当てられる。ここで、受信バッファとは、通信網３０を介して受信した音声データパケットに含まれている音声データを蓄積し、通信制御部２２０などの後段の回路に引き渡すためのバッファである。送信バッファとは、上記後段の回路から引き渡される音声データを蓄積し、通信網３０へ順次送出するためのバッファである。本実施形態では、６組のバッファが上記ＲＡＭ内に予め設けられており、１台の会議端末１０−ｋ当たりに１組のバッファを割り当てることでその会議端末１０−ｋとの間に通信コネクションが確立される。つまり、ミキサ装置２０との間に同時に通信コネクションの確立が可能な会議端末の数は、上記各バッファのバッファサイズと何組の送信および受信バッファを上記ＲＡＭ内に設けることができるか（すなわち、ＲＡＭの空き記憶容量）によって定まる。このため、同時に通信コネクションを確立する必要がある会議端末の数が増加しても、上記ＲＡＭの増設により対処することが可能である。 The silent / sound detection unit 210 includes a communication interface (hereinafter referred to as “IF”) unit, a storage unit such as a ROM and a RAM, and a control unit, although detailed illustration is omitted in FIG. 1. The communication IF unit is, for example, a NIC (Network Interface Card) and is connected to the communication network 30. The communication IF unit receives a voice data packet transmitted via the communication network 30 and delivers it to the control unit, while sending the voice data packet received from the control unit to the communication network 30. In the ROM, a connection management program for causing the control unit to execute processing for establishing a communication connection with each conference terminal 10-k and a connection management table for managing the establishment status are stored in advance. . On the other hand, in the RAM, two types of buffers, a reception buffer and a transmission buffer, are allocated to each conference terminal 10-k in order to store voice data packets for each conference terminal 10-k that is a transmission / reception destination. Here, the reception buffer is a buffer for accumulating the audio data included in the audio data packet received via the communication network 30 and delivering it to a subsequent circuit such as the communication control unit 220. The transmission buffer is a buffer for accumulating voice data delivered from the subsequent circuit and sequentially sending it to the communication network 30. In this embodiment, six sets of buffers are provided in the RAM in advance, and a communication connection is established with the conference terminal 10-k by allocating one set of buffers per conference terminal 10-k. Is established. That is, the number of conference terminals that can simultaneously establish a communication connection with the mixer apparatus 20 is the buffer size of each buffer and how many transmission and reception buffers can be provided in the RAM (that is, RAM free memory capacity). For this reason, even if the number of conference terminals that need to establish a communication connection at the same time increases, it is possible to cope with the increase of the RAM.

コネクション管理テーブルは、図２（ａ）に示すように、会議端末１０−ｋの各々を一意に識別する識別子である端末識別子（例えば、通信アドレス）とその会議端末１０−ｋに割り当てた送信バッファおよび受信バッファの組を一意に識別する識別子（例えば、各バッファの先頭アドレスの組：以下、バッファ識別子）とを対応付けて格納することにより、会議端末１０−ｋ（ｋ＝１〜６）へのバッファの割り当て状況（すなわち、通信コネクションの確立状況）を管理するためのテーブルである。また、コネクション管理テーブルには、図２（ａ）に示すように、上記端末識別子およびバッファ識別子に対応付けて状態フラグが格納される。状態フラグとは、その状態フラグに対応する端末識別子で識別される会議端末１０−ｋとの間の通信状態（その会議端末１０−ｋの利用者が発言中である有音状態であるのか、それとも発言を行っていない無音状態であるのか）を示すフラグであり、上記コネクション管理プログラムにしたがって作動している制御部によって適宜更新される。具体的には、本実施形態では、有音状態である場合には、状態フラグは“１”にセットされ、無音状態である場合には、“０”にセットされる。 As shown in FIG. 2A, the connection management table includes a terminal identifier (for example, a communication address) that is an identifier for uniquely identifying each conference terminal 10-k and a transmission buffer assigned to the conference terminal 10-k. And an identifier for uniquely identifying a set of reception buffers (for example, a set of head addresses of each buffer: hereinafter referred to as a buffer identifier) is stored in association with each other to the conference terminal 10-k (k = 1 to 6). This is a table for managing the buffer allocation status (that is, the communication connection establishment status). Further, as shown in FIG. 2A, a status flag is stored in the connection management table in association with the terminal identifier and the buffer identifier. The status flag is a communication status with the conference terminal 10-k identified by the terminal identifier corresponding to the status flag (whether the user of the conference terminal 10-k is in a voiced state or not) Or a silent state where no speech is made) and is appropriately updated by the control unit operating according to the connection management program. Specifically, in the present embodiment, the state flag is set to “1” when in a sound state, and is set to “0” when in a silent state.

コネクション管理プログラムは、通信コネクションの確立または切断を要求する旨の通信メッセージを受信したこと、および、通信コネクションを介した音声データパケットの受信状況からコネクション管理テーブルの格納内容を更新する処理を上記制御部に実行させるプログラムである。より詳細に説明すると、コネクション管理プログラムにしたがって作動している制御部は、通信コネクションの確立を要求する旨の通信メッセージを通信網３０を介して受信すると、未割り当てのバッファ（バッファ識別子がコネクション管理テーブルに未登録のバッファ）のうちから１つを選択し、そのバッファ識別子とその通信メッセージの送信元アドレス（すなわち、会議端末１０−ｋを一意に示す端末識別子）とをコネクション管理テーブルに書き込むことでバッファの割り当てを行う。また、新たにバッファの割り当てを行う際には、上記制御部は該当する状態フラグの値を“０”にセットする。そして、上記制御部は、通信コネクションを確立済の会議端末１０−ｋから音声データパケットを受信すると、その音声データパケットの送信元アドレスに一致する端末識別子に対応付けてコネクション管理テーブルに格納されている状態フラグの値を“０”から“１”に更新し、その更新後の状態フラグの値と、値の更新が行われた状態フラグに対応するバッファ識別子とを含む判定結果データを上記状態フラグの更新が行われる度に通信制御部２２０に引き渡す。これにより、上記バッファ識別子を割り当てられた会議端末１０−ｋにて発言が開始されたことが通信制御部２２０に伝達されるのである。以降、無音／有音検知部２１０の制御部は、状態フラグが“１”である端末識別子で識別される会議端末１０−ｋからの音声データパケットの受信状況を監視し、一定時間経過してもその会議端末１０−ｋから新たな音声データパケットが送信されてこなければ、その会議端末１０−ｋの端末識別子に対応する状態フラグの値を“１”から“０”に更新し、その更新後の状態フラグの値と、値の更新が行われた状態フラグに対応するバッファ識別子とを含む判定結果データを上記状態フラグの更新が行われる度に通信制御部２２０に引き渡す。これにより、上記バッファ識別子を割り当てた会議端末１０−ｋにて発言が終了したことが通信制御部２２０に伝達されるのである。また、上記制御部は、通信ＩＦ部から受け取った音声データパケットに含まれている音声データを該当受信バッファ（音声データパケットの送信元アドレスに対応する受信バッファ）へ書き込む処理、各受信バッファから音声データを読み出して後段の回路へ供給する処理、および後段の回路から受け取った音声データを上記各送信バッファへ書き込む処理、および各送信バッファから読み出した音声データを含む音声データパケットを生成して通信ＩＦ部に引き渡す処理を実行する。 The connection management program controls the process of updating the stored contents of the connection management table based on the reception of the communication message requesting establishment or disconnection of the communication connection and the reception status of the voice data packet via the communication connection. This program is executed by the part. More specifically, when the control unit operating according to the connection management program receives a communication message requesting establishment of a communication connection via the communication network 30, an unallocated buffer (buffer identifier is connection management). One of the buffers not registered in the table is selected, and the buffer identifier and the source address of the communication message (that is, the terminal identifier uniquely indicating the conference terminal 10-k) are written in the connection management table. To allocate the buffer. In addition, when newly allocating a buffer, the control unit sets the value of the corresponding status flag to “0”. When the control unit receives the voice data packet from the conference terminal 10-k that has established the communication connection, the control unit stores the voice data packet in the connection management table in association with the terminal identifier that matches the source address of the voice data packet. The state flag value updated from “0” to “1”, and the determination result data including the updated state flag value and the buffer identifier corresponding to the state flag for which the value has been updated Each time the flag is updated, it is delivered to the communication control unit 220. As a result, the communication control unit 220 is informed that the speech has started at the conference terminal 10-k to which the buffer identifier is assigned. Thereafter, the control unit of the silence / sound detection unit 210 monitors the reception status of the voice data packet from the conference terminal 10-k identified by the terminal identifier whose status flag is “1”, and a certain time has passed. If no new voice data packet is transmitted from the conference terminal 10-k, the value of the status flag corresponding to the terminal identifier of the conference terminal 10-k is updated from “1” to “0”. The determination result data including the value of the later state flag and the buffer identifier corresponding to the state flag for which the value has been updated is delivered to the communication control unit 220 each time the state flag is updated. As a result, the end of the speech at the conference terminal 10-k to which the buffer identifier is assigned is transmitted to the communication control unit 220. In addition, the control unit writes the audio data included in the audio data packet received from the communication IF unit to the corresponding reception buffer (reception buffer corresponding to the transmission source address of the audio data packet), and the audio from each reception buffer. A process for reading out data and supplying it to the subsequent circuit, a process for writing the audio data received from the subsequent circuit to each of the transmission buffers, and generating an audio data packet including the audio data read from each of the transmission buffers to generate a communication IF The process of handing over to the part is executed.

通信制御部２２０は、図１に示すように、スイッチ回路２２１、記憶部２２２および制御部２２３を含んでいる。
スイッチ回路２２１は、無音／有音検知部２１０から出力される音声データを受け取ってミキサ部２４０に与える一方、ミキサ部２４０から出力される音声データを受け取って無音／有音検知部２１０に与えるものである。スイッチ回路２２１は、ミキサ部２４０に音声データを与えるための３系統のミキサ側入力ラインと同ミキサ部２４０から出力される音声データを受け取るための４系統のミキサ側出力ラインと、無音／有音検知部２１０の制御部の各々異なる出力ポートに接続されている６系統の端末側出力ラインと、同制御部の各々異なる入力ポートに接続されている６系統の端末側入力ラインとを有している。上記各端末側出力ラインは前述した６つの受信バッファの各々に割り当てられており、上記各端末側入力ラインは前述した６つの送信バッファの各々に割り当てられている。上記各端末側出力ラインは、対応する受信バッファから読み出される音声データを受け取るためのデータ線であり、上記各端末側入力ラインは、対応する送信バッファに音声データを供給するためのデータ線である。このように、受信バッファと端末側出力ラインとは１対１に対応し、送信バッファと端末側入力ラインも１対１に対応するのであるから、前述したバッファ識別子は、１組の端末側入力ラインおよび端末側出力ラインを一意に示す役割も担っている。逆に、端末側入力ラインが接続されている入力ポートおよび端末側出力ラインが接続されている出力ポートを一意に識別するポート識別子（例えば、ポート番号）を上記バッファ識別子に代えて用いても良い。 As illustrated in FIG. 1, the communication control unit 220 includes a switch circuit 221, a storage unit 222, and a control unit 223.
The switch circuit 221 receives the audio data output from the silence / sound detection unit 210 and supplies it to the mixer unit 240, while receiving the audio data output from the mixer unit 240 and supplies it to the silence / sound detection unit 210. It is. The switch circuit 221 includes three mixer-side input lines for supplying audio data to the mixer unit 240, four mixer-side output lines for receiving audio data output from the mixer unit 240, and silence / sound. There are six terminal-side output lines connected to different output ports of the control unit of the detection unit 210, and six terminal-side input lines connected to different input ports of the control unit. Yes. Each terminal-side output line is assigned to each of the six reception buffers described above, and each terminal-side input line is assigned to each of the six transmission buffers described above. Each terminal-side output line is a data line for receiving audio data read from a corresponding reception buffer, and each terminal-side input line is a data line for supplying audio data to a corresponding transmission buffer. . Thus, since the reception buffer and the terminal side output line correspond one-to-one and the transmission buffer and the terminal side input line also correspond one-to-one, the above-described buffer identifier is a set of terminal side input. It also plays a role of uniquely indicating the line and the terminal side output line. Conversely, a port identifier (for example, a port number) that uniquely identifies the input port to which the terminal side input line is connected and the output port to which the terminal side output line is connected may be used instead of the buffer identifier. .

スイッチ回路２２１のミキサ側入力ラインと端末側出力ラインの交差にはスイッチが設けられており、ミキサ側出力ラインと端末側入力ラインの交差にもスイッチが設けられている。これらスイッチは、例えば半導体スイッチであり、図示せぬ信号線によって制御部２２３に接続されている。上記各スイッチのオン／オフ制御は制御部２２３によって為され、オン状態にセットされると該当位置の端末側ラインを同該当位置のミキサ側ラインに接続するのである。例えば、図１では、オン状態にセットされたスイッチは●印で、オフ状態にセットされたスイッチは○印で示されている。 A switch is provided at the intersection of the mixer side input line and the terminal side output line of the switch circuit 221, and a switch is also provided at the intersection of the mixer side output line and the terminal side input line. These switches are, for example, semiconductor switches, and are connected to the control unit 223 by signal lines (not shown). The on / off control of each switch is performed by the control unit 223. When the switch is set to the on state, the terminal side line at the corresponding position is connected to the mixer side line at the corresponding position. For example, in FIG. 1, a switch set in the on state is indicated by a mark ●, and a switch set in the off state is indicated by a mark ◯.

記憶部２２２は、ＲＯＭなどの不揮発性メモリとＲＡＭなどの揮発性メモリを含んでいる。不揮発性メモリには、スイッチ回路２２１の各スイッチのオン／オフ制御を制御部２２３に実行させるための通信制御プログラムや図２（ｂ）に示す制御パターンテーブルが記憶されている。一方、揮発性メモリは、上記通信制御プログラムを実行する際のワークエリアとして利用され、その通信制御プログラムの実行過程で更新および参照される各種データが格納される。通信制御プログラムの実行過程で更新および参照されるデータの一例としては、ミキサ部２４０が有する３つの入力端子のうちの空いている端子の数を示す空き端子数カウンタが挙げられる。ここで、空いている入力端子とは、音声データを入力されていない入力端子（すなわち、対応するミキサ側入力ラインが端末側出力ラインの何れにも接続されていない入力端子）のことである。この空き端子数カウンタは、ミキサ装置２０の電源が投入されたことを契機としてその初期値である３にリセットされる。そして、上記通信制御プログラムにしたがって作動している制御部２２３によって、ミキサ部２４０の入力端子に会議端末１０−ｋを割り当てる処理が為される度に、空き端子数カウンタのカウンタ値は１ずつ減算され、逆に、その割り当てを解除する処理が為される度にそのカウンタ値は１ずつ加算される。 The storage unit 222 includes a nonvolatile memory such as a ROM and a volatile memory such as a RAM. In the nonvolatile memory, a communication control program for causing the control unit 223 to perform on / off control of each switch of the switch circuit 221 and a control pattern table shown in FIG. 2B are stored. On the other hand, the volatile memory is used as a work area when executing the communication control program, and stores various data updated and referred to in the execution process of the communication control program. An example of data that is updated and referred to in the execution process of the communication control program is a free terminal number counter that indicates the number of free terminals among the three input terminals of the mixer unit 240. Here, the vacant input terminal is an input terminal to which audio data is not input (that is, an input terminal in which the corresponding mixer-side input line is not connected to any of the terminal-side output lines). This empty terminal number counter is reset to 3 as its initial value when the power of the mixer device 20 is turned on. Each time the control unit 223 operating according to the communication control program performs the process of assigning the conference terminal 10-k to the input terminal of the mixer unit 240, the counter value of the free terminal number counter is decremented by one. On the contrary, the counter value is incremented by one each time the process of releasing the assignment is performed.

図２（ｂ）に示すように、制御パターンテーブルには、前述した６個のバッファ識別子の各々に対応付けて、４種類のスイッチパターンデータが格納されている。より詳細に説明すると、上記４種類のスイッチパターンデータのうちの１つは、値が０である状態フラグを対応付けられており、他の３つは、値が１である状態フラグを対応付けられている。そして、値が１である状態フラグに対応付けられている３つのスイッチパターンデータの各々には、１、２および３の何れかの値の空き端子数が対応付けられている。上記４種類のスイッチパターンデータの各々は、それらスイッチパターンデータに対応付けて制御パターンテーブルに格納されているバッファ識別子で識別される端末側入力ラインおよび端末側出力ライン上に設けられている各スイッチをオン状態にするのか、それともオフ状態にするのかを示すデータである。 As shown in FIG. 2B, the control pattern table stores four types of switch pattern data in association with each of the six buffer identifiers described above. More specifically, one of the four types of switch pattern data is associated with a state flag having a value of 0, and the other three are associated with a state flag having a value of 1. It has been. Each of the three switch pattern data associated with the status flag having a value of 1 is associated with the number of free terminals of any one of 1, 2, and 3. Each of the four types of switch pattern data includes a switch provided on the terminal-side input line and the terminal-side output line identified by a buffer identifier stored in the control pattern table in association with the switch pattern data. Is data that indicates whether to turn on or off.

図３（ａ）および（ｂ）は、制御パターンテーブルに格納されているスイッチパターンデータの一例を示す図である。具体的には、図３（ａ）は、値が０である状態フラグに対応付けて制御パターンテーブルに格納されているスイッチパターンデータ（例えば、図２（ｂ）のスイッチパターンデータ０４）を例示する図である。また、図３（ｂ）は、値が１である状態フラグおよび値が１である空き端子数に対応付けて制御パターンテーブルに格納されているスイッチパターンデータ（例えば、図２（ｂ）のスイッチパターンデータ０１）を例示する図である。図３（ａ）に示すように、１つのスイッチパターンデータには、スイッチ識別子と制御フラグとの組が合計７組含まれている。なお、図３（ｂ）においては、スイッチ識別子の配列順は図３（ａ）と同一であるため、制御フラグの部分についてのみ図示されている。スイッチ識別子とは、スイッチパターンデータに対応するバッファ識別子で識別される端末側入力ラインおよび端末側出力ライン上に設けられている各スイッチを一意に示す識別子である。一方、制御フラグとは、その制御フラグに対応するスイッチ識別子で識別されるスイッチをオン状態にするのか、オフ状態にするのかを示すフラグである。本実施形態では、制御フラグの値が１であれば、その制御フラグに対応するスイッチ識別子で識別されるスイッチをオン状態にすることを意味し、逆に、同制御フラグの値が０であれば、該当スイッチをオフ状態にすることを示している。 FIGS. 3A and 3B are diagrams showing an example of switch pattern data stored in the control pattern table. Specifically, FIG. 3A illustrates switch pattern data (for example, switch pattern data 04 in FIG. 2B) stored in the control pattern table in association with a state flag having a value of 0. It is a figure to do. FIG. 3B shows switch pattern data (for example, the switch shown in FIG. 2B) stored in the control pattern table in association with the status flag having a value of 1 and the number of empty terminals having a value of 1. It is a figure which illustrates pattern data 01). As shown in FIG. 3A, one switch pattern data includes a total of seven sets of switch identifiers and control flags. In FIG. 3B, since the switch identifiers are arranged in the same order as in FIG. 3A, only the control flag portion is shown. The switch identifier is an identifier uniquely indicating each switch provided on the terminal-side input line and the terminal-side output line identified by the buffer identifier corresponding to the switch pattern data. On the other hand, the control flag is a flag indicating whether the switch identified by the switch identifier corresponding to the control flag is to be turned on or turned off. In this embodiment, if the value of the control flag is 1, it means that the switch identified by the switch identifier corresponding to the control flag is turned on, and conversely, if the value of the control flag is 0. Indicates that the corresponding switch is turned off.

図３（ａ）を参照すれば明らかように、値が０である状態フラグに対応付けられているスイッチパターンデータは、そのスイッチパターンデータに対応するバッファ識別子で識別される端末側入力ラインとミキサ側出力ライン４との交差に位置するスイッチのみをオン状態にすることを示している。一方、図３（ｂ）を参照すれば明らかように、値が１である状態フラグおよび値が１である空き端末数に対応するスイッチパターンデータは、そのスイッチパターンデータに対応する端末側入力ラインをミキサ側出力ライン１に接続し、同端末側出力ラインをミキサ側入力ライン１に接続することを示すデータである。なお、図３では詳細な図示は省略したが、本実施形態では、値がｎ（ｎ＝１〜３）である空き端子数には、端末側入力ラインとミキサ側出力ラインｎとの交差に位置するスイッチ、および同端末側出力ラインとミキサ側入力ラインｎとの交差に位置するスイッチをオン状態にすることを示すスイッチパターンデータが対応付けられている。図２（ｂ）に示す制御パターンテーブルの格納内容は、通信制御プログラムにしたがって制御部２２３がスイッチ回路２２１の各スイッチのオン／オフ制御を行う際に利用される。制御部２２３が通信制御プログラムにしたがって行う処理については後に詳細に説明する。 As apparent from FIG. 3 (a), the switch pattern data associated with the status flag having a value of 0 includes the terminal side input line and the mixer identified by the buffer identifier corresponding to the switch pattern data. Only the switch located at the intersection with the side output line 4 is turned on. On the other hand, as apparent from FIG. 3B, the switch pattern data corresponding to the status flag having a value of 1 and the number of empty terminals having a value of 1 is the terminal side input line corresponding to the switch pattern data. Is connected to the mixer-side output line 1 and the terminal-side output line is connected to the mixer-side input line 1. Although detailed illustration is omitted in FIG. 3, in this embodiment, the number of empty terminals whose value is n (n = 1 to 3) is the intersection of the terminal side input line and the mixer side output line n. The switch pattern data indicating that the switch located and the switch located at the intersection of the terminal-side output line and the mixer-side input line n are turned on are associated with each other. The stored contents of the control pattern table shown in FIG. 2B are used when the control unit 223 performs on / off control of each switch of the switch circuit 221 in accordance with the communication control program. Processing performed by the control unit 223 according to the communication control program will be described in detail later.

ミキサ部２４０は、前述した３つの入力端子と、１つの出力端子とを有している。ミキサ部２４０は、各入力端子へ入力された音声データを加算して１つの音声データを生成し、上記出力端子から出力する。なお、本実施形態では、ミキサ部２４０が複数の入力端子を有している場合について説明したが、時分割方式などにより１つの入力端子を介してミキシング対象の複数の音声データを受け取るようにしてもよい。ミキサ部２４０の出力端子から出力される音声データは、減算器２５０ａ、２５０ｂおよび２５０ｃと、スイッチ回路２２１のミキサ側出力ライン４に与えられる。減算器２５０ａ、２５０ｂおよび２５０ｃの各々には、ミキサ部２４０から出力される音声データが与えられる他に、スイッチ回路２２１のミキサ側入力ライン１〜３の各々から出力される音声データが与えられる。なお、以下では、上記３つの減算器の各々を区別する必要がない場合には、「減算器２５０」と表記する。減算器２５０は、ミキサ部２４０から与えられる音声データから、スイッチ回路２２１から与えられる音声データを減算し、その減算結果を示す音声データをスイッチ回路２２１に与える。減算器２５０は、発言中の会議端末１０−ｋにてミキサ装置２０から送信されてくる音声データの表す音声の再生を行う際に、ハウリングが生じないようにするため、その会議端末１０−ｋにて収音した音声成分を差し引くものである。
以上がミキサ装置２０の構成である。 The mixer unit 240 has the above-described three input terminals and one output terminal. The mixer unit 240 adds the audio data input to each input terminal to generate one audio data, and outputs it from the output terminal. In the present embodiment, the case where the mixer unit 240 has a plurality of input terminals has been described, but a plurality of audio data to be mixed is received via one input terminal by a time division method or the like. Also good. The audio data output from the output terminal of the mixer unit 240 is given to the subtracters 250 a, 250 b and 250 c and the mixer side output line 4 of the switch circuit 221. Each of the subtracters 250a, 250b, and 250c is supplied with audio data output from each of the mixer-side input lines 1 to 3 of the switch circuit 221 in addition to the audio data output from the mixer unit 240. Hereinafter, when it is not necessary to distinguish each of the three subtractors, the subtractor 250 is referred to. The subtractor 250 subtracts the audio data provided from the switch circuit 221 from the audio data provided from the mixer unit 240 and provides the switch circuit 221 with audio data indicating the subtraction result. In order to prevent howling from occurring when the subtracter 250 reproduces the voice represented by the voice data transmitted from the mixer device 20 at the conference terminal 10-k that is speaking, the subtracter 250 uses the conference terminal 10-k. The sound component picked up at is subtracted.
The above is the configuration of the mixer device 20.

（Ｂ：動作）
次いで、多地点会議システムに含まれる各装置が実行する動作のうち、本発明の特徴を顕著に示す動作について図面を参照しつつ説明する．なお、本動作例では、会議端末１０−ｋの利用者である会議参加者ｋ（ｋ＝１〜６）の間で遠隔会議を行う旨の合意が予め為されており、以下に説明する動作の開始時点では、各会議端末１０−ｋ（ｋ＝１〜６）とミキサ装置２０の間に通信コネクションが確立されているものとする。 (B: Operation)
Next, among the operations performed by each device included in the multipoint conference system, operations that clearly show the features of the present invention will be described with reference to the drawings. In this operation example, an agreement has been made in advance that a remote conference is to be performed among conference participants k (k = 1 to 6) who are users of the conference terminal 10-k. Is assumed to be established between each conference terminal 10-k (k = 1 to 6) and the mixer device 20.

各会議端末１０−ｋから送出される音声データパケットには、その送信先アドレスとしてミキサ装置２０の通信アドレスが書き込まれている。このため、上記音声データパケットは通信網３０内のネットワーク機器（例えば、ルータ）により適宜ルーティングされてミキサ装置２０に到達する。ミキサ装置２０の無音／有音検知部２１０は、上記音声データパケットの受信状況とコネクション管理テーブル（図２（ａ）参照）の格納内容とから、各会議端末１０−ｋの利用者の発言状態の変化を判別し、その判別結果に応じた判定結果データを制御部２２３に引き渡す。より詳細に説明すると、無音／有音検知部２１０は、無音状態の会議端末１０−ｋから新たに音声データパケットを受信した場合には、その会議端末１０−ｋについて無音状態から有音状態に切り替わったことを示す判定結果データ（前述したように、内包している状態フラグの値が“１”である判定結果データ）を制御部２２３に引渡す。一方、有音状態の会議端末１０−ｋから一定時間に亘って音声データパケットを受信しなかった場合には、その会議端末１０−ｋについて有音状態から無音状態に切り替ったことを示す判定結果データ（前述したように、内包している状態フラグの値が“０”である判定結果データ）を制御部２２３に引き渡す。なお、無音状態の会議端末１０−ｋとは、端末識別子に対応付けてコネクション管理テーブルに格納されている状態フラグの値が“０”である会議端末１０−ｋのことであり、有音状態の会議端末１０−ｋとは、同状態フラグの値が“１”である会議端末１０−ｋのことである。 In the audio data packet transmitted from each conference terminal 10-k, the communication address of the mixer device 20 is written as the transmission destination address. Therefore, the voice data packet is appropriately routed by a network device (for example, a router) in the communication network 30 and reaches the mixer device 20. The silence / sound detection unit 210 of the mixer device 20 determines the speech state of the user of each conference terminal 10-k from the reception status of the audio data packet and the stored contents of the connection management table (see FIG. 2A). Is determined, and determination result data corresponding to the determination result is transferred to the control unit 223. More specifically, when a new voice data packet is received from the silent conference terminal 10-k, the silent / sound detection unit 210 changes the conference terminal 10-k from the silent state to the voiced state. The determination result data indicating that the switching has been performed (as described above, the determination result data in which the value of the included state flag is “1”) is delivered to the control unit 223. On the other hand, if a voice data packet has not been received from the conference terminal 10-k in the voiced state for a certain period of time, the determination indicating that the conference terminal 10-k has switched from the voiced state to the silent state. Result data (determination result data in which the value of the included state flag is “0” as described above) is delivered to the control unit 223. The silent conference terminal 10-k is a conference terminal 10-k in which the value of the status flag stored in the connection management table in association with the terminal identifier is “0”. The conference terminal 10-k is the conference terminal 10-k whose status flag value is “1”.

図４は、制御部２２３が通信制御プログラムにしたがって実行するスイッチ制御の流れを示すフローチャートである。図４に示すように、制御部２２３は、判定結果データを無音／有音検知部２１０から受け取ると（ステップＳＡ１００）、有音状態に切り替わったことを示すデータであるのか否かをその判定結果データに含まれている状態フラグの値を参照して判定する（ステップＳＡ１１０）。具体的には、有音／無音検知部２１０から受け取った判定結果データに含まれている状態フラグの値が“０”であれば、無音状態に切り替わったことを示す判定結果データであるからステップＳＡ１１０の判定結果は“Ｎｏ”になり、同状態フラグの値が“１”であれば、有音状態に切り替わったことを示す判定結果データであるからステップＳＡ１１０の判定結果は“Ｙｅｓ”になる。
以下、ステップＳＡ１００の判定結果が“Ｙｅｓ”である場合と、同判定結果が“Ｎｏ”である場合とに場合分けして制御部２２３の動作を説明する。 FIG. 4 is a flowchart showing a flow of switch control executed by the control unit 223 in accordance with the communication control program. As shown in FIG. 4, when the control unit 223 receives the determination result data from the silence / sound detection unit 210 (step SA100), the determination result indicates whether or not the data indicates that the sound state has been switched. The determination is made with reference to the value of the status flag included in the data (step SA110). Specifically, if the value of the state flag included in the determination result data received from the voice / silence detection unit 210 is “0”, the determination result data indicates that the state is switched to the silent state. The determination result of SA110 is “No”, and if the value of the same state flag is “1”, the determination result of step SA110 is “Yes” because it is determination result data indicating that the sound state has been switched. .
Hereinafter, the operation of the control unit 223 will be described for each of the case where the determination result in step SA100 is “Yes” and the case where the determination result is “No”.

（Ｂ−１：有音状態に切り替わったことを示す判定結果データを受け取った場合の動作）
ステップＳＡ１１０の判定結果が“Ｙｅｓ”である場合には、制御部２２３は、前述した空き端子数カウンタの値を参照し、新たに有音状態へ切り替わった会議端末１０−ｋから受信した音声データをミキサ部２４０へ入力可能であるか否かを判定する（ステップＳＡ１２０）。具体的には、制御部２２３は、空き端子数カウンタの値が１〜３の何れかである場合には、ミキサ部２４０への音声データの入力が可能であると判定し、空き端子数カウンタの値が０である場合には、ミキサ部２４０への音声データの入力は不可能であると判定する。 (B-1: Operation when receiving judgment result data indicating switching to a voiced state)
When the determination result in step SA110 is “Yes”, the control unit 223 refers to the value of the above-described empty terminal number counter and receives the audio data received from the conference terminal 10-k that has newly switched to the voiced state. Is input to the mixer section 240 (step SA120). Specifically, when the value of the free terminal number counter is any one of 1 to 3, the control unit 223 determines that audio data can be input to the mixer unit 240, and the free terminal number counter When the value of is 0, it is determined that audio data cannot be input to the mixer unit 240.

ステップＳＡ１２０の判定結果が“Ｙｅｓ”である場合には、制御部２２３は、新たに有音状態となった会議端末１０−ｋから送られてくる音声データをミキサ部２４０へ入力するべく、スイッチ回路２２１の該当スイッチのオン／オフ制御（ステップＳＡ１３０）を行った後に、空き端子数カウンタの値を１だけ減算し（ステップＳＡ１４０）、本制御処理を終了する。ステップＳＡ１３０にて制御部２２３が実行する処理は以下の通りである。制御部２２３は、まず、無音／有音検知部２１０から受け取った判定結果データに含まれているバッファ識別子に対応付けて制御パターンテーブルに格納されているスイッチパターンデータのうち、空き端子数カウンタのカウンタ値に対応するスイッチパターンデータを読み出す。そして、制御部２２３は、上記バッファ識別子に対応する端末側入力ラインおよび端末側出力ライン上に設けられているスイッチのオン／オフ制御をそのスイッチパターンデータにしたがって行う。これにより、空き端子数カウンタの値がｎ（ｎ＝１〜３）であれば、上記バッファ識別子に対応する端末側入力ラインはミキサ側出力ラインｎに接続され、同端末側出力ラインはミキサ側入力ラインｎに接続されることになる。一方、ステップＳＡ１２０の判定結果が“Ｎｏ”である場合には、制御部２２３は、ミキサ部２４０への音声データの入力が不能である旨を示す通信メッセージを返信するよう無音／有音検知部２１０を制御し（ステップＳＡ１５０）、本制御処理を終了する。このような動作が為される結果、会議端末１０−ｋ（ｋ＝１〜６）の各々の利用者が順次発言を開始した場合には、その開始が早い順に３人まで、その発言内容がミキサ装置２０によってミキシングされて各会議端末１０−ｋに配信されることになる。 When the determination result in step SA120 is “Yes”, the control unit 223 switches the switch to input the audio data transmitted from the conference terminal 10-k that is newly in a voiced state to the mixer unit 240. After the on / off control of the corresponding switch of the circuit 221 (step SA130), the value of the vacant terminal number counter is subtracted by 1 (step SA140), and this control process is terminated. The processing executed by the control unit 223 in step SA130 is as follows. First, the control unit 223 sets the free terminal number counter of the switch pattern data stored in the control pattern table in association with the buffer identifier included in the determination result data received from the silence / sound detection unit 210. Read the switch pattern data corresponding to the counter value. Then, the control unit 223 performs on / off control of switches provided on the terminal-side input line and the terminal-side output line corresponding to the buffer identifier according to the switch pattern data. Thus, if the value of the free terminal counter is n (n = 1 to 3), the terminal side input line corresponding to the buffer identifier is connected to the mixer side output line n, and the terminal side output line is connected to the mixer side. It will be connected to the input line n. On the other hand, if the determination result in step SA120 is “No”, the control unit 223 sends a silence / sound detection unit so as to return a communication message indicating that audio data cannot be input to the mixer unit 240. 210 is controlled (step SA150), and this control process is terminated. As a result of such an operation, when each user of the conference terminal 10-k (k = 1 to 6) starts to speak in sequence, the content of the statement is up to three people in the order of early start. It is mixed by the mixer device 20 and distributed to each conference terminal 10-k.

（Ｂ−２：無音状態に切り替わったことを示す判定結果データを受け取った場合の動作）
ステップＳＡ１１０の判定結果が“Ｎｏ”である場合の動作について説明する。
ステップＳＡ１１０の判定結果が“Ｎｏ”である場合は、制御部２２３は、その判定結果データに含まれているバッファ識別子に対応付けて制御パターンテーブルに格納されているスイッチパターンデータのうち、値が０である状態フラグに対応するスイッチパターンデータを読み出し、そのスイッチパターンデータにしたがって該当スイッチのオン／オフ制御を行い（ステップＳＡ１６０）、さらに、空き端子数カウンタの値に１を加算（ステップＳＡ１７０）して、本制御動作を完了する。上記動作が為される結果、判定結果データに含まれているバッファ識別子で識別される端末側入力ラインとミキサ側出力ライン４との交差に位置するスイッチのみがオン状態にされる。これにより、ミキサ部２４０の入力端子の１つが開放され、新たに発言を介した利用者の音声を示す音声データをその入力端子を介してミキサ部２４０に入力することが可能になる。 (B-2: Operation when receiving judgment result data indicating switching to the silent state)
The operation when the determination result in step SA110 is “No” will be described.
When the determination result in step SA110 is “No”, the control unit 223 sets the value among the switch pattern data stored in the control pattern table in association with the buffer identifier included in the determination result data. The switch pattern data corresponding to the status flag which is 0 is read out, the corresponding switch is turned on / off according to the switch pattern data (step SA160), and 1 is added to the value of the free terminal number counter (step SA170). Then, this control operation is completed. As a result of the above operation, only the switch located at the intersection of the terminal-side input line identified by the buffer identifier included in the determination result data and the mixer-side output line 4 is turned on. As a result, one of the input terminals of the mixer unit 240 is opened, and the audio data indicating the user's voice via a new message can be input to the mixer unit 240 via the input terminal.

以上に説明したように、本実施形態に係るミキサ装置２０によれば、スイッチ回路２２１に設けられている各スイッチのオン／オフ制御を制御部２２３に実行させることによって、ミキサ部２４０の入力端子数がミキサ装置２０に同時接続可能な会議端末数よりも少なくても、それら会議端末間の会議通信を仲介することが可能になる。なお、本実施形態によれば、同時に発言が可能な利用者の人数は上記入力端子数に制限されることになるが、一般に会議通信においては、会議参加者全員が同時に発言を開始することは稀であるから、特段の問題は生じない。また、本実施形態によれば、特許文献１に開示された技術のような制御コマンドの送受信を行う必要はないため、通信網３０にて利用可能な通信帯域を全て音声データの送受信に割り当てることが可能になる。 As described above, according to the mixer device 20 according to the present embodiment, the control unit 223 performs on / off control of each switch provided in the switch circuit 221, thereby allowing the input terminal of the mixer unit 240 to be input. Even if the number is less than the number of conference terminals that can be connected to the mixer device 20 at the same time, the conference communication between the conference terminals can be mediated. According to the present embodiment, the number of users who can speak at the same time is limited to the number of input terminals described above, but in general, in conference communication, all conference participants start speaking at the same time. Since it is rare, no particular problem arises. Moreover, according to this embodiment, since it is not necessary to perform transmission / reception of a control command like the technique disclosed in Patent Document 1, all communication bands available in the communication network 30 are allocated to transmission / reception of voice data. Is possible.

（Ｃ：変形）
以上本発明の一実施形態について説明したが、かかる実施形態に以下に述べる変形を加えても良いことは勿論である。
（１）上記実施形態では、ミキサ部２４０の入力端子に空きがある場合には、発言を開始した順（すなわち、無音状態から有音状態への切り替わりが早い順）にその送信元である会議端末１０−ｋを、上記空いている入力端子に割り当てた。しかし、各会議端末１０−ｋに予め優先順位を割り当てておき、その優先順位にしたがって、ミキサ部２４０の入力端子を割り当てても良い。具体的には、会議端末１０−ｋ（ｋ＝１〜６）の各々に互いに異なる優先順位を割り当てておき、各会議端末１０−ｋの各々の通信アドレスにその会議端末１０−ｋに割り当てられている優先順位を表す優先順位データを対応付けて格納した優先順位テーブルを記憶させておく。そして、ミキサ部２４０の入力端子に空きがある状況下では、前述した実施形態と同様に発言の開始順に、発言の開始が検知された会議端末１０−ｋを上記空いている入力端子に接続する処理を制御部２２３に実行させ、入力端子に空きがない状況下で新たに発言を検知した場合には、新たに発言が検知された会議端末１０−ｋの優先順位と、入力端子に割り当て済みの各会議端末１０−ｋの優先順位とを比較してミキサ部２４０への接続を制御する処理を制御部２２３に実行させるのである。例えば、新たに発言が検知された会議端末１０−ｋの優先順位が、入力端子へ割り当て済みの各会議端末１０−ｋの優先順位よりも高い場合には、それら割り当て済の会議端末１０−ｋのうちで最も優先順位が低いものの割り当てを解除し、上記新たに発言が検知された会議端末１０−ｋをその入力端子へ割り当てるのである。このようにすると、会議司会者の使用する会議端末１０−ｋに最も高い優先順位を割り当てておくことによって、その会議司会者は常にその発言を他の会議参加者へ伝達することが可能になり、議事進行を円滑にすることが可能になる。
また、各会議端末１０−ｋに固定的な優先順位を予め割り当てておくのではなく、各会議端末１０−ｋからの音声データパケットの受信状況に応じて、各会議端末１０−ｋの優先順位を定め、その優先順位にしたがってミキサ部２４０の入力端子を割り当てても良い。具体的には、音声データパケットの送信頻度が高い会議端末１０−ｋほど高い優先順位を割り当てる態様や、各会議端末１０−ｋについて発言可能時間（会議参加者の持ち時間）を定めておき、各会議端末１０−ｋ毎にミキサの入力端子への割り当てが行われている時間を集計し、その集計結果と上記発言可能時間との差が大きいほど優先順位を高くする態様が考えられる。 (C: deformation)
Although one embodiment of the present invention has been described above, it goes without saying that the following modifications may be added to this embodiment.
(1) In the above embodiment, when there is an empty input terminal of the mixer unit 240, the conference that is the transmission source in the order in which the speech is started (that is, the switching from the silent state to the voiced state is early). Terminal 10-k is assigned to the free input terminal. However, a priority order may be assigned to each conference terminal 10-k in advance, and the input terminal of the mixer unit 240 may be assigned according to the priority order. Specifically, different priorities are assigned to each of the conference terminals 10-k (k = 1 to 6), and the conference terminals 10-k are assigned to the respective communication addresses of the conference terminals 10-k. A priority order table storing priority order data representing the current priority order is stored. Then, under a situation where there is a vacancy in the input terminal of the mixer unit 240, the conference terminal 10-k in which the start of the utterance is detected is connected to the vacant input terminal in the order of the utterance as in the above-described embodiment. When processing is executed by the control unit 223 and a new speech is detected in a situation where there is no available input terminal, the priority of the conference terminal 10-k in which the new speech has been detected and the input terminal have already been assigned The control unit 223 is caused to execute processing for controlling the connection to the mixer unit 240 by comparing the priorities of the conference terminals 10-k. For example, when the priority of the conference terminal 10-k in which a new statement is detected is higher than the priority of each conference terminal 10-k assigned to the input terminal, the assigned conference terminal 10-k Of these, the assignment with the lowest priority is released, and the conference terminal 10-k with the newly detected speech is assigned to the input terminal. In this way, by assigning the highest priority to the conference terminal 10-k used by the conference presenter, the conference presenter can always transmit the remarks to other conference participants. , It will be possible to smooth the proceedings.
Further, instead of assigning a fixed priority to each conference terminal 10-k in advance, the priority of each conference terminal 10-k is determined according to the reception status of the voice data packet from each conference terminal 10-k. And the input terminals of the mixer section 240 may be assigned according to the priority order. Specifically, a mode in which a higher priority is assigned to a conference terminal 10-k having a higher transmission frequency of voice data packets, and a talkable time (time of conference participants) are determined for each conference terminal 10-k. It is possible to consider a mode in which the time for which the assignment to the input terminal of the mixer is performed for each conference terminal 10-k is summed up, and the priority is increased as the difference between the summed result and the available speech time increases.

（２）上記実施形態では、各会議端末１０−ｋ（ｋ＝１〜６）は、音声入力部へ入力された音声の音量レベルが所定の閾値を超えている場合に、その音声を示す音声データをミキサ装置２０へ送信した。しかし、音声入力部へ入力された音声の音量レベルに拘わらず、その音声を示す音声データをミキサ装置２０に送信させ、ミキサ装置２０の無音／有音検知部２１０にて、受信した音声データの示す音量レベルと所定の閾値とを比較させ、その音量レベルが上記閾値を越えている場合に有音と判定させても良い。 (2) In the above-described embodiment, each conference terminal 10-k (k = 1 to 6) has a sound indicating the sound when the volume level of the sound input to the sound input unit exceeds a predetermined threshold. Data was transmitted to the mixer device 20. However, regardless of the volume level of the sound input to the sound input unit, the sound data indicating the sound is transmitted to the mixer device 20, and the silence / sound detection unit 210 of the mixer device 20 transmits the received sound data. The volume level shown may be compared with a predetermined threshold value, and if the volume level exceeds the threshold value, it may be determined that there is sound.

（３）上記実施形態では、ミキサ部２４０の入力端子に空きがない状態で、それら入力端子に割り当てられていない会議端末１０−ｋについて発言の開始が検知された場合には、その会議端末１０−ｋへ宛てて、入力端子に空きがない旨を示すメッセージを送信し、その会議端末の利用者にその旨を通知した。しかし、ミキサ装置２０においては、空いている入力端子の数をコネクション管理テーブルを参照することによって特定することが可能であるから、その特定結果を、ミキサ装置２０と通信コネクションを確立している各会議端末１０−ｋに通知し、空き端子数を各会議参加者へ報知する処理を各会議端末１０−ｋに行わせても良い。 (3) In the above embodiment, when the start of speech is detected for the conference terminal 10-k that is not assigned to the input terminals in the state where the input terminals of the mixer unit 240 are not empty, the conference terminal 10 A message indicating that there is no available input terminal is transmitted to -k, and the user of the conference terminal is notified of this. However, in the mixer apparatus 20, since it is possible to specify the number of vacant input terminals by referring to the connection management table, the identification result is determined for each of the communication connections established with the mixer apparatus 20. You may make each conference terminal 10-k perform the process of notifying the conference terminal 10-k and notifying the number of empty terminals to each conference participant.

（４）上記実施形態では、スイッチ回路２２１をハードウェアで実現する場合について説明したが、ソフトウェアで実現しても勿論良い。また、上記実施形態では、本発明に係るミキサ装置に特徴的なスイッチ制御を制御部２２３に実行させる通信制御プログラムが同記憶部２２２に予め記憶されていた。しかし、例えばＣＤ−ＲＯＭ（Compact Disk−Read Only Memory）などのコンピュータ装置読み取り可能な記録媒体に上記通信制御プログラムを書き込んで配布しても良く、また、インターネットなどの電気通信回線を介したダウンロードにより上記制御プログラムを配布しても良い。 (4) Although the case where the switch circuit 221 is realized by hardware has been described in the above embodiment, it may be realized by software. In the above-described embodiment, a communication control program for causing the control unit 223 to perform switch control characteristic of the mixer device according to the present invention is stored in the storage unit 222 in advance. However, the communication control program may be written and distributed on a computer-readable recording medium such as a CD-ROM (Compact Disk-Read Only Memory) or downloaded via an electric communication line such as the Internet. The control program may be distributed.

本発明の一実施形態に係るミキサ装置２０を含む多地点会議システムの構成例を示すブロック図である。It is a block diagram which shows the structural example of the multipoint conference system containing the mixer apparatus 20 which concerns on one Embodiment of this invention. 同ミキサ装置２０に記憶されている各種テーブルの一例を示す図である。3 is a diagram showing an example of various tables stored in the mixer device 20. FIG. 同制御パターンテーブルに格納されているスイッチパターンデータの一例を示す図である。It is a figure which shows an example of the switch pattern data stored in the control pattern table. 同ミキサ装置２０が実行する動作の流れを示すフローチャートである。It is a flowchart which shows the flow of the operation | movement which the mixer apparatus 20 performs.

Explanation of symbols

１０−ｋ（ｋ＝１〜６）…会議端末、２０…ミキサ装置、２１０…無音／有音検出部、２２０…通信制御部、２２１…スイッチ回路、２２２…記憶部、２２３…制御部、２４０…ミキサ部、２５０Ａ，２５０Ｂ，２５０Ｃ…減算器、３０…通信網。 10-k (k = 1 to 6) ... conference terminal, 20 ... mixer device, 210 ... silence / sound detection unit, 220 ... communication control unit, 221 ... switch circuit, 222 ... storage unit, 223 ... control unit, 240 ... Mixer unit, 250A, 250B, 250C ... Subtractor, 30 ... Communication network.

Claims

Mixer means for receiving and mixing up to M (integer greater than or equal to 2) pieces of audio data, and outputting the audio data as a result of the mixing;
Each of the N terminal devices based on the reception status of audio data transmitted from each of the N (an integer greater than or equal to M) terminal devices via the communication network or the volume level of the voice represented by the received audio data A silence / sound detection means for determining whether the user is speaking or not and outputting determination result data indicating the determination result;
A maximum of M terminal devices are selected from the terminal devices indicated by the determination result data that the user is speaking, and audio data received from each of the selected terminal devices is sent to the mixer means. The audio data output from the mixer means is transmitted as it is to the terminal device that is not selected, while the terminal device is transmitted from the audio data output from the mixer means to the selected terminal device. Communication control means for subtracting and transmitting the received audio data from,
A mixer device comprising:

Each of the N terminal devices is assigned a priority in advance, and the communication control unit selects a maximum of M terminal devices according to the priority every time new voice data is received. The mixer apparatus according to claim 1.

The communication control means determines priority for each terminal device that is a transmission source based on the reception status of voice data, and selects a maximum of M terminal devices according to the priority. The mixer apparatus of description.