JP2018056766A

JP2018056766A - Television conference device

Info

Publication number: JP2018056766A
Application number: JP2016190006A
Authority: JP
Inventors: 剛志滝田; Tsuyoshi Takita; 本田　義雅; Yoshimasa Honda; 義雅本田
Original assignee: Panasonic Intellectual Property Management Co Ltd
Current assignee: Panasonic Intellectual Property Management Co Ltd
Priority date: 2016-09-28
Filing date: 2016-09-28
Publication date: 2018-04-05
Anticipated expiration: 2036-09-28
Also published as: JP6152961B1

Abstract

PROBLEM TO BE SOLVED: To easily display video data from each base to a viewer even while a number of bases is large, in a television conference device.SOLUTION: A communication control unit 103 receives video data and audio data of each device from a plurality of other base conference terminal devices 10-2-24. A video and audio synthesizing unit 105 determines screen layout and a plurality of pieces of video data of a display target according to a number of bases and priority of each base being participated in a television conference, and generates synthesized video data synthesizing a plurality of pieces of video data of the display target according to the screen layout. At this time, the video and audio synthesizing unit 105 always displays the video data of a first priority of all bases, and generates the synthesized video data such that the video data of a second priority of some bases having less than the first priority is switched to be displayed. A video and audio output control unit 106 displays synthesized video data on a screen of a display device 500.SELECTED DRAWING: Figure 1

Description

本発明は、複数の拠点のそれぞれに設置された装置と同時接続可能なテレビ会議装置に関する。 The present invention relates to a video conference apparatus that can be simultaneously connected to apparatuses installed in a plurality of bases.

複数の拠点を繋いで遠隔会議を行うことができるテレビ会議システムが普及している。特許文献１には、３拠点の映像データを同時にモニタの画面に表示するテレビ会議装置が記載されている。 Video conferencing systems that can perform remote conferences by connecting a plurality of bases have become widespread. Patent Document 1 describes a video conference apparatus that simultaneously displays video data of three sites on a monitor screen.

特開２０１２−２３１４２８号公報JP 2012-231428 A

近年、多くの拠点（例えば、２４拠点）と同時に接続できるテレビ会議装置が開発されている。 In recent years, video conference apparatuses that can be connected simultaneously with many sites (for example, 24 sites) have been developed.

各拠点からの映像データを、同一面積の領域に表示させると、拠点数が多い場合に、各映像データの表示面積が小さくなってしまい、視聴者には見づらい画面になってしまう。 If video data from each base is displayed in a region having the same area, the display area of each video data becomes small when the number of bases is large, resulting in a screen that is difficult for viewers to see.

本発明の目的は、拠点数が多い場合でも、各拠点からの映像データを視聴者に見易く表示することができるテレビ会議装置を提供することである。 An object of the present invention is to provide a video conference apparatus that can display video data from each base in an easy-to-view manner even when the number of bases is large.

本発明のテレビ会議装置は、ホスト拠点に設けられ、複数の他拠点のテレビ会議装置と同時に接続可能なテレビ会議装置であって、前記ホスト拠点を撮影して映像データを取得する映像入力部と、前記ホスト拠点の音声を収音して音声データを取得する音声入力部と、前記複数の他拠点の会議端末装置から、各々の映像データおよび音声データを受信する通信制御部と、テレビ会議に参加する拠点の数および各拠点の優先度に応じて画面レイアウトおよび表示対象の複数の映像データを決定し、前記画面レイアウトに従って前記表示対象の複数の映像データを合成した合成映像データを生成して画面に表示させる表示制御部と、を具備し、前記表示制御部は、第１優先度の全ての拠点の映像データを常に表示させ、前記第１優先度よりも低い第２優先度の一部の拠点の映像データを切り替えて表示させる。 The video conference device of the present invention is a video conference device provided at a host site and connectable simultaneously with a video conference device at a plurality of other sites, and a video input unit that captures the host site and acquires video data; An audio input unit that collects audio from the host site and acquires audio data; a communication control unit that receives video data and audio data from the conference terminal devices at the plurality of other sites; and a video conference. A screen layout and a plurality of video data to be displayed are determined according to the number of bases participating and the priority of each base, and composite video data is generated by combining the plurality of video data to be displayed according to the screen layout. A display control unit to be displayed on the screen, and the display control unit always displays the video data of all the bases having the first priority and is lower than the first priority. Switch the video data of a portion of base 2 priority is displayed.

本発明によれば、拠点数が多い場合でも、各拠点からの映像データを視聴者に見易く表示することができる。 According to the present invention, even when the number of bases is large, video data from each base can be displayed in an easy-to-view manner for the viewer.

本発明の実施の形態１に係るテレビ会議装置の構成を示すブロック図1 is a block diagram showing a configuration of a video conference apparatus according to Embodiment 1 of the present invention. 本発明の実施の形態１に係るテレビ会議装置の状態の遷移を示す状態遷移図State transition diagram showing state transition of the video conference apparatus according to Embodiment 1 of the present invention 本発明の実施の形態１に係るテレビ会議装置の動作を示すフロー図The flowchart which shows operation | movement of the video conference apparatus based on Embodiment 1 of this invention. 本発明の実施の形態１に係るテレビ会議装置の画面レイアウトの制御動作を示すフロー図The flowchart which shows the control operation of the screen layout of the video conference apparatus concerning Embodiment 1 of this invention 本発明の実施の形態１に係るテレビ会議装置の画面に表示される合成映像データの画面レイアウトの一例を示す図The figure which shows an example of the screen layout of the synthetic | combination video data displayed on the screen of the video conference apparatus based on Embodiment 1 of this invention. 本発明の実施の形態２に係るテレビ会議装置の画面レイアウトの制御動作を示すフロー図The flowchart which shows the control operation of the screen layout of the video conference apparatus concerning Embodiment 2 of this invention 本発明の実施の形態２に係るテレビ会議装置の画面に表示される合成映像データの画面レイアウトの一例を示す図The figure which shows an example of the screen layout of the synthetic | combination video data displayed on the screen of the video conference apparatus based on Embodiment 2 of this invention. 本発明の実施の形態３に係るテレビ会議装置の画面に表示される合成映像データの画面レイアウトの一例を示す図The figure which shows an example of the screen layout of the synthetic | combination video data displayed on the screen of the video conference apparatus based on Embodiment 3 of this invention.

以下、図面を適宜参照して、本発明の実施の形態につき、詳細に説明する。なお、以下では、同時に接続できる拠点数が２４であるテレビ会議システムを例に説明する。 Hereinafter, embodiments of the present invention will be described in detail with reference to the drawings as appropriate. In the following, a video conference system in which the number of sites that can be connected simultaneously is 24 will be described as an example.

（実施の形態１）
実施の形態１では、主として発言を行う参加者が居る第１優先度の発言拠点と、基本的に発言を行わず傍聴のみを行う参加者が居る、第１優先度よりも低い第２優先度の傍聴拠点とが固定されている場合について説明する。 (Embodiment 1)
In the first embodiment, a second priority lower than the first priority is present, where there is a first priority speech base where there is a participant who mainly speaks and a participant who does not speak and basically only listens. A case will be described in which the hearing base is fixed.

＜テレビ会議装置の構成および接続関係＞
まず、本発明の実施の形態１に係るテレビ会議装置１０の構成および接続関係について、図１を用いて詳細に説明する。 <Configuration and connection of video conference equipment>
First, the configuration and connection relationship of the video conference apparatus 10 according to Embodiment 1 of the present invention will be described in detail with reference to FIG.

各拠点には、それぞれ、テレビ会議装置１０が設置されている。ホスト拠点（多拠点接続装置（ＭＣＵ）、拠点番号１）のテレビ会議装置１０−１は、他の拠点（拠点番号２〜２４）のそれぞれに設置された各テレビ会議装置１０−２〜２４と、ネットワーク２０を介して接続し、音声データ及び映像データの送信／受信を行う。ネットワーク２０は、典型的にはインターネットである。 A video conference device 10 is installed at each base. The video conference apparatus 10-1 at the host site (multi-site connection device (MCU), site number 1) is connected to each video conference device 10-2 to 24 installed at each of the other sites (base numbers 2 to 24). And connected via the network 20 to transmit / receive audio data and video data. The network 20 is typically the Internet.

テレビ会議装置１０−１は、本体装置１００、ユーザ操作入力装置２００、映像入力装置３００、音声入力装置４００および表示装置５００から構成されている。 The video conference device 10-1 includes a main device 100, a user operation input device 200, a video input device 300, an audio input device 400, and a display device 500.

本体装置１００は、ユーザ操作入力装置２００、映像入力装置３００、音声入力装置４００および表示装置５００と接続している。 The main device 100 is connected to the user operation input device 200, the video input device 300, the audio input device 400, and the display device 500.

ユーザ操作入力装置２００は、ユーザによる拠点を選択する操作を検出し、選択された拠点を示す選択拠点情報を含む信号を有線又は無線により本体装置１００に送信する。ユーザ操作入力装置２００は、典型的にはリモコン又はタッチパネルである。 The user operation input device 200 detects an operation of selecting a base by the user, and transmits a signal including selected base information indicating the selected base to the main body device 100 by wire or wireless. The user operation input device 200 is typically a remote control or a touch panel.

映像入力装置３００は、本体装置１００が設置されている拠点を撮影して得られた映像データを本体装置１００に出力する。なお、映像入力装置３００が出力する映像データには、カメラが撮像した映像データの他に、ＰＣに保存された映像データ、ＤＶＤプレーヤにより再生された映像データ等がある。 The video input device 300 outputs video data obtained by photographing the location where the main device 100 is installed to the main device 100. The video data output from the video input device 300 includes video data saved by a PC, video data reproduced by a DVD player, and the like in addition to video data captured by a camera.

音声入力装置４００は、本体装置１００が設置されている拠点の音声を収音して得られた音声データ等を本体装置１００に出力する。なお、音声入力装置４００が出力する音声データには、マイクが収音した音声データの他に、ＰＣに保存された映像データとセットの音声データ、ＤＶＤプレーヤにより再生された映像データとセットの音声データ等がある。 The voice input device 400 outputs voice data and the like obtained by collecting the voice of the site where the main device 100 is installed to the main device 100. The audio data output from the audio input device 400 includes audio data collected by a microphone, video data stored in a PC and audio data set, video data reproduced by a DVD player, and audio data set. There are data.

表示装置５００は、本体装置１００から出力された映像データを画面に表示すると共に、本体装置１００から出力された音声データを図示しないスピーカから出力する。 The display device 500 displays the video data output from the main device 100 on a screen and outputs the audio data output from the main device 100 from a speaker (not shown).

本体装置１００は、ユーザ指示受信部１０１と、会議制御部１０２と、通信制御部１０３と、映像・音声符号化／復号部１０４と、映像・音声合成部１０５と、映像・音声出力制御部１０６と、静止画保持部１０７と、映像入力制御部１０８と、音声入力制御部１０９と、から主に構成される。なお、映像・音声合成部１０５と映像・音声出力制御部１０６とにより、表示制御部が構成される。 The main device 100 includes a user instruction receiving unit 101, a conference control unit 102, a communication control unit 103, a video / audio encoding / decoding unit 104, a video / audio synthesis unit 105, and a video / audio output control unit 106. And a still image holding unit 107, a video input control unit 108, and an audio input control unit 109. The video / audio synthesis unit 105 and the video / audio output control unit 106 constitute a display control unit.

ユーザ指示受信部１０１は、ユーザ操作入力装置２００から送信された信号を受信し、受信信号に含まれている選択拠点情報を抽出し、会議制御部１０２に出力する。選択拠点情報には、テレビ会議に参加する各拠点のＩＰアドレス（あるいはＩＳＤＮ番号）、および、優先度（発言拠点か傍聴拠点か）を示すフラグが含まれる。 The user instruction receiving unit 101 receives a signal transmitted from the user operation input device 200, extracts selected base information included in the received signal, and outputs it to the conference control unit 102. The selected base information includes an IP address (or ISDN number) of each base participating in the video conference and a flag indicating a priority (whether it is a speech base or a listening base).

会議制御部１０２は、ユーザ指示受信部１０１から入力した選択拠点情報に基づいて、通信制御部１０３と、映像・音声符号化／復号部１０４と、映像・音声合成部１０５と、におけるデータの入出力のタイミングを制御する。また、会議制御部１０２は、ユーザ指示受信部１０１から入力した選択拠点情報を映像・音声合成部１０５に出力する。また、会議制御部１０２は、選択拠点情報に基づいて、通信制御部１０３における発信処理及び呼の確立処理を制御すると共に、映像データを受信したか否かを監視する。 The conference control unit 102 receives data from the communication control unit 103, the video / audio encoding / decoding unit 104, and the video / audio synthesis unit 105 based on the selected base information input from the user instruction receiving unit 101. Control output timing. In addition, the conference control unit 102 outputs the selected base information input from the user instruction receiving unit 101 to the video / voice synthesis unit 105. In addition, the conference control unit 102 controls the transmission processing and call establishment processing in the communication control unit 103 based on the selected base information, and monitors whether video data has been received.

通信制御部１０３は、会議制御部１０２の制御に従ったタイミングで動作する。通信制御部１０３は、他のテレビ会議装置１０−２〜２４との間で呼を確立する。そして、通信制御部１０３は、呼を確立した後、他のテレビ会議装置１０−２〜２４が送信した映像データ及び音声データを、ネットワーク２０を介して受信し、映像・音声符号化／復号部１０４に出力する。また、通信制御部１０３は、呼を確立した後、映像・音声符号化／復号部１０４から入力した映像データ及び音声データを、ネットワーク２０を介して他のテレビ会議装置１０−２〜２４に送信する。なお、通信制御部１０３は、所定の通信プロトコルに従って動作する。通信プロトコルは、典型的にはＳＩＰ又はＨ．３２３である。 The communication control unit 103 operates at a timing according to the control of the conference control unit 102. The communication control unit 103 establishes a call with the other video conference apparatuses 10-2 to 24-24. Then, after establishing the call, the communication control unit 103 receives the video data and audio data transmitted from the other video conference apparatuses 10-2 to 24 through the network 20, and receives the video / audio encoding / decoding unit. To 104. Also, after establishing the call, the communication control unit 103 transmits the video data and audio data input from the video / audio encoding / decoding unit 104 to the other video conference apparatuses 10-2 to 24 through the network 20. To do. The communication control unit 103 operates according to a predetermined communication protocol. The communication protocol is typically SIP or H.264. H.323.

映像・音声符号化／復号部１０４は、会議制御部１０２の制御に従ったタイミングで動作する。映像・音声符号化／復号部１０４は、映像・音声合成部１０５から入力した映像データ、および、音声入力制御部１０９から入力した音声データを符号化して通信制御部１０３に出力する。また、映像・音声符号化／復号部１０４は、通信制御部１０３から入力した他のテレビ会議装置１０−２〜２４からの映像データおよび音声データを復号して映像・音声合成部１０５に出力する。 The video / audio encoding / decoding unit 104 operates at a timing according to the control of the conference control unit 102. The video / audio encoding / decoding unit 104 encodes the video data input from the video / audio synthesis unit 105 and the audio data input from the audio input control unit 109 and outputs the encoded data to the communication control unit 103. Also, the video / audio encoding / decoding unit 104 decodes video data and audio data from the other video conference apparatuses 10-2 to 24-24 input from the communication control unit 103 and outputs them to the video / audio synthesis unit 105. .

映像・音声合成部１０５は、会議制御部１０２の制御に従ったタイミングで動作する。映像・音声合成部１０５は、映像・音声符号化／復号部１０４から入力した他のテレビ会議装置１０−２〜２４からの映像データと、映像入力制御部１０８から入力した映像データと、に基づいて、会議制御部１０２から入力した選択拠点情報の拠点数に応じて、複数の映像データを合成した合成映像データを生成し、映像・音声出力制御部１０６に出力する。なお、映像・音声合成部１０５は、各テレビ会議装置１０−２〜２４から映像データを受信するまでの間、静止画保持部１０７に保持された静止画が表示されるように合成映像データを生成する。 The video / audio synthesis unit 105 operates at a timing according to the control of the conference control unit 102. The video / audio synthesizer 105 is based on the video data from the other video conference apparatuses 10-2 to 24-24 input from the video / audio encoding / decoding unit 104 and the video data input from the video input control unit 108. In accordance with the number of bases of the selected base information input from the conference control unit 102, composite video data obtained by combining a plurality of video data is generated and output to the video / audio output control unit 106. The video / audio synthesis unit 105 outputs the synthesized video data so that the still image held in the still image holding unit 107 is displayed until the video data is received from each of the video conference apparatuses 10-2 to 24-24. Generate.

また、映像・音声合成部１０５は、映像・音声符号化／復号部１０４から入力した他のテレビ会議装置１０−２〜２４からの音声データと、音声入力制御部１０９から入力した音声データを合成した合成音声データを生成し、映像・音声出力制御部１０６に出力する。また、映像・音声合成部１０５は、映像入力制御部１０８から入力した映像データを映像・音声符号化／復号部１０４に出力する。 Also, the video / audio synthesis unit 105 synthesizes the audio data input from the video / audio encoding / decoding unit 104 and the audio data input from the audio input control unit 109 with the audio data input from the other video conference apparatuses 10-2 to 10-24. The synthesized voice data is generated and output to the video / audio output control unit 106. Further, the video / audio synthesis unit 105 outputs the video data input from the video input control unit 108 to the video / audio encoding / decoding unit 104.

また、映像・音声合成部１０５は、選択拠点情報の拠点数、各拠点の優先度、および、内蔵するタイマの計時結果に応じて、合成映像データの画面レイアウトを変更する。なお、映像・音声合成部１０５による合成映像データのレイアウト変更の具体例については後述する。 In addition, the video / audio synthesis unit 105 changes the screen layout of the synthesized video data according to the number of bases of the selected base information, the priority of each base, and the time measurement result of the built-in timer. A specific example of the layout change of the synthesized video data by the video / audio synthesizer 105 will be described later.

映像・音声出力制御部１０６は、映像・音声合成部１０５から入力した合成映像データを表示装置５００の画面に表示させると共に、合成音声データを表示装置５００のスピーカから音声として出力させる。 The video / audio output control unit 106 displays the synthesized video data input from the video / audio synthesis unit 105 on the screen of the display device 500 and outputs the synthesized audio data from the speaker of the display device 500 as audio.

静止画保持部１０７は、他のテレビ会議装置１０−２〜２４から映像データを受信するまでの期間において、所定の静止画を表示装置５００の画面に表示させるための静止画データを予め保持している。 The still image holding unit 107 holds in advance still image data for displaying a predetermined still image on the screen of the display device 500 during a period until video data is received from the other video conference apparatuses 10-2 to 10-24. ing.

映像入力制御部１０８は、映像入力装置３００から入力した映像データを映像・音声合成部１０５に出力する。 The video input control unit 108 outputs the video data input from the video input device 300 to the video / audio synthesis unit 105.

音声入力制御部１０９は、音声入力装置４００から入力した音声データを映像・音声符号化／復号部１０４および映像・音声合成部１０５に出力する。 The audio input control unit 109 outputs the audio data input from the audio input device 400 to the video / audio encoding / decoding unit 104 and the video / audio synthesis unit 105.

＜テレビ会議装置の接続状態の遷移＞
次に、テレビ会議装置１０−１の接続状態の遷移について、図２を用いて詳細に説明する。 <Transition of video conferencing equipment connection status>
Next, the transition of the connection state of the video conference apparatus 10-1 will be described in detail with reference to FIG.

テレビ会議装置１０−１は、電源ＯＮとなることにより動作を開始する。テレビ会議装置１０−１は、電源ＯＮされた直後では非通信状態である（Ｓ１）。 The video conference apparatus 10-1 starts operating when the power is turned on. The video conference apparatus 10-1 is in a non-communication state immediately after being powered on (S1).

テレビ会議装置１０−１は、非通信状態（Ｓ１）において、他の１つのテレビ会議装置１０−ｉ（ｉは２から２４のいずれかの整数）と接続することにより、テレビ会議装置１０−ｉと一対一の通信状態（１：１通信状態）になる（Ｓ２）。そして、テレビ会議装置１０−１は、１：１通信状態（Ｓ２）において、通信状態であるテレビ会議装置１０−ｉとの接続を切断すると非通信状態になる（Ｓ１）。なお、テレビ会議装置１０−１は、非通信状態（Ｓ１）において、電源ＯＦＦとなることにより動作を終了する。 In the non-communication state (S1), the video conference apparatus 10-1 is connected to the other video conference apparatus 10-i (i is an integer from 2 to 24), whereby the video conference apparatus 10-i. And a one-to-one communication state (1: 1 communication state) (S2). Then, in the 1: 1 communication state (S2), the video conference device 10-1 becomes a non-communication state when the connection with the video conference device 10-i in the communication state is disconnected (S1). In addition, the video conference apparatus 10-1 ends the operation when the power is turned off in the non-communication state (S1).

また、テレビ会議装置１０−１は、１：１通信状態（Ｓ２）から、さらに他のテレビ会議装置１０−ｊ（ｊはｉ以外の２から２４のいずれかの整数）と接続することにより、複数の拠点のテレビ会議装置１０−ｉ、ｊと通信状態（ＭＣＵ通信状態）になる（Ｓ３）。 In addition, the video conference apparatus 10-1 is further connected to another video conference apparatus 10-j (j is an integer from 2 to 24 other than i) from the 1: 1 communication state (S2). A communication state (MCU communication state) is established with the video conference apparatuses 10-i, j at a plurality of bases (S3).

そして、テレビ会議装置１０−１は、通信状態にあるテレビ会議装置１０−ｊとの接続を切断すれば一対一の通信状態になり（Ｓ２）、さらに通信状態にあるテレビ会議装置１０−ｉとの接続を切断すれば非通信状態になる（Ｓ１）。 Then, the video conference apparatus 10-1 is in a one-to-one communication state when the connection with the video conference apparatus 10-j in communication is cut off (S2), and further, with the video conference apparatus 10-i in communication state If the connection is disconnected, the communication state is turned off (S1).

また、テレビ会議装置１０−１は、非通信状態（Ｓ１）において、他の全てのテレビ会議装置１０−２〜２４に対して一斉に発信することにより他の全てのテレビ会議装置１０−２〜２４と通信状態（ＭＣＵ通信状態）になる（Ｓ３）。そして、テレビ会議装置１０は、他の全てのテレビ会議装置１０−２〜２４との接続を一斉に切断すれば非通信状態になる（Ｓ１）。 In addition, the video conference apparatus 10-1 transmits all the other video conference apparatuses 10-2 to 24 at the same time in the non-communication state (S1), thereby transmitting all the other video conference apparatuses 10-2 to 10-2. 24 and a communication state (MCU communication state) (S3). And the video conference apparatus 10 will be in a non-communication state, if the connection with all the other video conference apparatuses 10-2-24 is cut | disconnected all at once (S1).

一斉に発信する方法としては、ユーザが発信時に発信先をテレビ会議装置１０−１に手入力する方法、又は、テレビ会議装置１０−１に予め記憶させておいた複数の発信先情報を登録したリストをユーザに選択させる方法等が考えられる。また、発信先を特定する方法としては、ＩＰアドレス、電話番号又は識別コード等が考えられる。 As a method of transmitting all at once, a method in which a user manually inputs a destination to the video conference device 10-1 at the time of outgoing or a plurality of destination information stored in advance in the video conference device 10-1 is registered. A method of allowing the user to select a list can be considered. Further, as a method for specifying the destination, an IP address, a telephone number, an identification code, or the like can be considered.

＜テレビ会議装置の動作＞
次に、テレビ会議装置１０−１の動作について、図３を用いて詳細に説明する。なお、図３は、テレビ会議装置１０−１が、他の全てのテレビ会議装置１０−２〜２４に対して一斉に発信する場合のフローである。 <Operation of video conference device>
Next, operation | movement of the video conference apparatus 10-1 is demonstrated in detail using FIG. FIG. 3 is a flow in the case where the video conference apparatus 10-1 transmits all other video conference apparatuses 10-2 to 24 all at once.

まず、ユーザ指示受信部１０１が、ユーザ操作入力装置２００から信号を受信し、受信した信号に含まれる選択拠点情報を抽出して会議制御部１０２に出力する。 First, the user instruction receiving unit 101 receives a signal from the user operation input device 200, extracts selected base information included in the received signal, and outputs it to the conference control unit 102.

会議制御部１０２は、選択拠点情報のＮ（Ｎは１以上の整数、図３ではＮ＝２３）拠点のそれぞれに設置されたテレビ会議装置１０−２〜２４に一斉発信を行うように通信制御部１０３を制御する。これにより、通信制御部１０３は、選択拠点のテレビ会議装置１０−２〜２４に一斉発信を行う（Ｓ１１）。具体的には、会議制御部１０２は、選択拠点情報が複数の発信先情報を記録した１つのリストの情報である場合、そのリストに登録されている発信先情報の発信先の数により拠点数Ｎを認識することができる。 The conference control unit 102 performs communication control so that simultaneous transmission is performed to the video conference apparatuses 10-2 to 24 installed in each of the N locations (N is an integer of 1 or more, N = 23 in FIG. 3) of the selected location information. The unit 103 is controlled. Thereby, the communication control part 103 performs simultaneous transmission to the video conference apparatuses 10-2-24 of a selection base (S11). Specifically, when the selected base information is information of one list in which a plurality of destination information is recorded, the conference control unit 102 determines the number of bases based on the number of destinations of the destination information registered in the list. N can be recognized.

また、映像・音声合成部１０５は、会議制御部１０２から入力した選択拠点情報の拠点数に基づいて、（Ｎ＋１）個以上の分割領域を有する画面レイアウト（以下、「初期画面レイアウト」という）を決定する（Ｓ１２）。なお、各分割領域には、いずれかの拠点が対応付けられている。 In addition, the video / sound synthesis unit 105 generates a screen layout (hereinafter referred to as “initial screen layout”) having (N + 1) or more divided areas based on the number of bases of the selected base information input from the conference control unit 102. Determine (S12). Note that one of the bases is associated with each divided region.

また、通信制御部１０３は、他の拠点の各テレビ会議装置１０−２〜２４との間で呼を確立する（Ｓ１３）。 In addition, the communication control unit 103 establishes a call with each of the video conference apparatuses 10-2 to 24 at other bases (S13).

次に、映像・音声合成部１０５は、映像入力制御部１０８から入力したテレビ会議装置１０−１の映像データ、および、他のテレビ会議装置１０−２〜２４の映像データのそれぞれが、初期画面レイアウトの、対応する分割領域に表示されるように合成映像データ（以下、「初期合成映像データ」という）を生成する。そして、映像・音声出力制御部１０６が、映像・音声合成部１０５から入力した初期合成映像データを表示装置５００の画面に表示させる（Ｓ１４）（図５（ａ）参照）。なお、他の各テレビ会議装置１０−２〜２４から映像データを受信するまでは、対応する分割領域に静止画データが表示される。 Next, the video / audio synthesizing unit 105 displays the video data of the video conference device 10-1 input from the video input control unit 108 and the video data of the other video conference devices 10-2 to 10-24 as initial screens. Composite video data (hereinafter referred to as “initial composite video data”) is generated so as to be displayed in the corresponding divided area of the layout. Then, the video / audio output control unit 106 displays the initial synthesized video data input from the video / audio synthesis unit 105 on the screen of the display device 500 (S14) (see FIG. 5A). Note that still image data is displayed in the corresponding divided areas until video data is received from the other video conference apparatuses 10-2 to 10-24.

他の全てのテレビ会議装置１０−２〜２４から映像データを受信した後（Ｓ１５：ＹＥＳ）、映像・音声合成部１０５は、初期合成映像データとは画面レイアウトが異なる新たな合成映像データ（以下、「更新合成映像データ」という）を生成する。そして、映像・音声出力制御部１０６は、映像・音声合成部１０５から入力した更新合成映像データを表示装置５００の画面に表示させる（Ｓ１６）。更新合成映像データは、全ての発言拠点のテレビ会議装置１０の映像データと、一部の傍聴拠点の映像データが表示されるようにレイアウトされた映像データである（図５（ｂ）参照）。 After receiving the video data from all the other video conference apparatuses 10-2 to 24 (S15: YES), the video / audio synthesizing unit 105 creates new synthesized video data (hereinafter referred to as a screen layout different from the initial synthesized video data). , “Updated composite video data”). Then, the video / audio output control unit 106 displays the updated synthesized video data input from the video / audio synthesis unit 105 on the screen of the display device 500 (S16). The updated composite video data is video data laid out so that the video data of the video conference apparatuses 10 at all the speech bases and the video data of some of the listening bases are displayed (see FIG. 5B).

その後、テレビ会議装置１０−１は、双方向通信を継続している間、映像・音声合成部１０５および映像・音声出力制御部１０６にて、更新合成映像データの画面レイアウトを制御する処理を行う（Ｓ１７）。 After that, the video conference apparatus 10-1 performs a process of controlling the screen layout of the updated synthesized video data in the video / audio synthesis unit 105 and the video / audio output control unit 106 while the bidirectional communication is continued. (S17).

以下、更新合成映像データの画面レイアウトの制御動作（Ｓ１７）の詳細について、図４を用いて説明する。 Details of the screen layout control operation (S17) of the updated composite video data will be described below with reference to FIG.

まず、映像・音声合成部１０５は、タイマをスタートさせる（Ｓ２１）。 First, the video / audio synthesis unit 105 starts a timer (S21).

タイマが満了した（所定時間Ｔを計時した）場合（Ｓ２２：ＹＥＳ）、更新合成映像データの画面レイアウトを変更する（図５（ｃ）、（ｄ）、（ｅ）参照）。そして、映像・音声出力制御部１０６は、映像・音声合成部１０５から入力した新たな更新合成映像データを表示装置５００の画面に表示させる（Ｓ２３）。 When the timer has expired (the predetermined time T has been counted) (S22: YES), the screen layout of the updated composite video data is changed (see FIGS. 5C, 5D, and 5E). Then, the video / audio output control unit 106 displays the new updated synthesized video data input from the video / audio synthesis unit 105 on the screen of the display device 500 (S23).

また、映像・音声合成部１０５は、タイマをリスタートさせる（Ｓ２４）。その後、フローはＳ２２に戻る。 In addition, the video / audio synthesizer 105 restarts the timer (S24). Thereafter, the flow returns to S22.

なお、タイマが満了するまでは、レイアウト変更は行われない（Ｓ２２：ＮＯ）。 The layout is not changed until the timer expires (S22: NO).

＜レイアウト変更の具体例＞
次に、映像・音声合成部１０５による合成映像データのレイアウト変更の具体例について、図５を用いて詳細に説明する。なお、図５において、画面内の各領域に記された数字は拠点番号に対応する。例えば、「１」と記された領域には、拠点番号１のテレビ会議装置１０−１で撮像された映像データが表示される。 <Specific example of layout change>
Next, a specific example of the layout change of the synthesized video data by the video / audio synthesis unit 105 will be described in detail with reference to FIG. In FIG. 5, the numbers written in each area in the screen correspond to the base numbers. For example, video data captured by the video conference apparatus 10-1 with the site number 1 is displayed in the area marked “1”.

図５（ａ）は、初期合成映像データの一例を示す。図５（ｂ）、（ｃ）、（ｄ）、（ｅ）は、それぞれ、更新合成映像データの一例を示す。 FIG. 5A shows an example of initial synthesized video data. FIGS. 5B, 5C, 5D, and 5E show examples of updated composite video data, respectively.

テレビ会議装置１０−１は、選択拠点情報に基づいて一斉発信を行った後、表示装置５００の画面に初期合成映像データを表示させる（図３のＳ１４）。初期合成映像データは、図５（ａ）に示すように、（Ｎ＋１）個以上（図５（ａ）では２５個）に等分された各分割領域に、対応する拠点の映像データ（あるいは静止画データ）が表示されるようにレイアウトされる。 The video conference device 10-1 performs initial transmission based on the selected base information, and then displays the initial synthesized video data on the screen of the display device 500 (S14 in FIG. 3). As shown in FIG. 5A, the initial composite video data is video data (or still images) corresponding to each divided area equally divided into (N + 1) or more (25 in FIG. 5A). Image data) is displayed.

テレビ会議装置１０−１は、全ての拠点との呼が確立した後（図３のＳ１５：ＹＥＳ）、更新合成映像データを表示装置５００の画面に表示させる（図３のＳ１６）。更新合成映像データは、図５（ｂ）に示すように、第１領域（図５（ｂ）の太線枠）に、全ての発言拠点（図５（ｂ）では拠点番号１、２、３、４）の映像データが表示され、第１領域以外の第２領域内に、所定数ｑ（図５（ｂ）ではｑ＝５）の傍聴拠点（図５（ｂ）では拠点番号５、６、７、８、９）の映像データが表示されるようにレイアウトされる。 The video conference apparatus 10-1 displays the updated composite video data on the screen of the display device 500 (S16 in FIG. 3) after the calls with all the bases are established (S15 in FIG. 3: YES). As shown in FIG. 5 (b), the updated composite video data is stored in the first area (thick line frame in FIG. 5 (b)) in all the speech bases (base numbers 1, 2, 3, 4) is displayed, and in a second area other than the first area, a predetermined number q (q = 5 in FIG. 5B) of listening sites (in FIG. 5B, site numbers 5, 6, 7, 8, 9) is displayed so that the video data is displayed.

そして、図５（ｂ）の更新合成映像データの表示を開始してから所定時間Ｔが経過した時点で（図４のＳ２２：ＹＥＳ）、テレビ会議装置１０−１は、図５（ｃ）に示すように、第１領域の表示状態を維持したまま第２領域の傍聴拠点の映像データを切り替え、第２領域に他の傍聴拠点（図５（ｃ）では拠点番号１０、１１、１２、１３、１４）の映像データが表示されるように更新合成映像データの画面レイアウトを変更する（図４のＳ２３）。 Then, when a predetermined time T has elapsed after the display of the updated composite video data in FIG. 5B is started (S22: YES in FIG. 4), the video conference apparatus 10-1 in FIG. As shown, the video data of the hearing base in the second area is switched while the display state of the first area is maintained, and the other listening bases (the base numbers 10, 11, 12, 13 in FIG. 5C) are switched to the second area. 14), the screen layout of the updated composite video data is changed so that the video data is displayed (S23 in FIG. 4).

その後、所定時間Ｔが経過する毎に、テレビ会議装置１０−１は、図５（ｄ）、（ｅ）に示すように、第２領域の傍聴拠点の映像データを切り替えるように更新合成映像データの画面レイアウトを変更する。 Thereafter, every time the predetermined time T elapses, the video conference device 10-1 updates the composite video data so as to switch the video data of the listening base in the second area, as shown in FIGS. 5 (d) and 5 (e). Change the screen layout.

さらに、図５（ｅ）の更新合成映像データの表示を開始してから所定時間Ｔが経過した時点で、テレビ会議装置１０−１は、再び図５（ｂ）に示すように、更新合成映像データの画面レイアウトを変更する。 Furthermore, when a predetermined time T has elapsed since the display of the updated composite video data in FIG. 5 (e) has started, the video conference device 10-1 again displays the updated composite video as shown in FIG. 5 (b). Change the screen layout of the data.

この結果、全ての傍聴拠点の映像データが、一定時間、画面に表示されることとなる。なお、全ての発言拠点の映像データは、常に画面に表示される。 As a result, the video data of all the listening bases are displayed on the screen for a certain time. Note that the video data of all the speech bases are always displayed on the screen.

また、図５（ａ）と図５（ｂ）との対比から明らかなように、一部の拠点の映像データのみを表示させる更新合成映像データの方が、全ての拠点の映像データを表示させる初期合成映像データよりも、各映像データの表示面積を大きくすることができる。 Further, as is clear from the comparison between FIG. 5A and FIG. 5B, the updated composite video data that displays only the video data of some bases displays the video data of all bases. The display area of each video data can be made larger than the initial synthesized video data.

＜効果＞
このように、本実施の形態では、全ての発言拠点の映像データを常に表示させるとともに、一部の傍聴拠点の映像データを順次切り替えて表示させるように画面レイアウトを制御する。これにより、全ての発言拠点の映像データを常に画面に表示させるとともに、全ての傍聴拠点の映像データを一定時間画面に表示させることができる。そして、全ての拠点の映像データを表示させる場合に比べて、各映像データの表示面積を大きくすることができるので、拠点数が多い場合でも、各拠点からの映像データを視聴者に見易く表示することができる。 <Effect>
As described above, in this embodiment, the screen layout is controlled so that the video data of all the speech bases are always displayed and the video data of some of the listening bases are sequentially switched and displayed. As a result, the video data of all the speech bases can always be displayed on the screen, and the video data of all the hearing bases can be displayed on the screen for a certain period of time. And since the display area of each video data can be enlarged compared to the case where video data of all bases is displayed, even when there are many bases, video data from each base is displayed in an easy-to-view manner for viewers. be able to.

（実施の形態２）
実施の形態２では、発言拠点が固定されておらず、全ての拠点が発言拠点になり得る場合について説明する。 (Embodiment 2)
In the second embodiment, a case will be described in which the speech bases are not fixed and all the bases can be speech bases.

＜テレビ会議装置の構成および接続関係＞
本実施の形態のテレビ会議装置１０の構成および接続関係は、実施の形態１で説明した図１に示したものと同一であるので、その説明を省略する。ただし、映像・音声符号化／復号部１０４および映像・音声合成部１０５に、以下の機能が追加される。 <Configuration and connection of video conference equipment>
Since the configuration and connection relationship of the video conference apparatus 10 of the present embodiment are the same as those shown in FIG. 1 described in the first embodiment, description thereof is omitted. However, the following functions are added to the video / audio encoding / decoding unit 104 and the video / audio synthesis unit 105.

映像・音声符号化／復号部１０４は、各テレビ会議装置１０−１〜２４の音声データのレベルを検出する（レベル検出部）。そして、映像・音声符号化／復号部１０４は、検出結果を映像・音声合成部１０５に出力する。 The video / audio encoding / decoding unit 104 detects the level of audio data of each video conference device 10-1 to 24 (level detection unit). Then, the video / audio encoding / decoding unit 104 outputs the detection result to the video / audio synthesis unit 105.

映像・音声合成部１０５は、音声データのレベルに応じて、各拠点の優先度（発言拠点か傍聴拠点か）を決定する。 The video / speech synthesizer 105 determines the priority of each site (whether it is a speech site or a listening site) according to the level of the audio data.

＜テレビ会議装置の動作＞
本実施の形態のテレビ会議装置１０−１の動作全体は、実施の形態１で説明した図３に示したものと同一であるので、その説明を省略する。本実施の形態は、更新合成映像データの画面レイアウトの制御動作（Ｓ１７）のみが実施の形態１と異なる。 <Operation of video conference device>
Since the entire operation of the video conference apparatus 10-1 of the present embodiment is the same as that shown in FIG. 3 described in the first embodiment, description thereof is omitted. The present embodiment is different from the first embodiment only in the screen layout control operation (S17) of the updated composite video data.

以下、本実施の形態のテレビ会議装置１０−１における、更新合成映像データの画面レイアウトの制御動作（Ｓ１７）の詳細について図６を用いて説明する。 Details of the screen layout control operation (S17) of the updated composite video data in the video conference apparatus 10-1 of the present embodiment will be described below with reference to FIG.

まず、映像・音声合成部１０５は、主タイマをスタートさせる（Ｓ３１）。 First, the video / audio synthesizer 105 starts a main timer (S31).

主タイマが満了した（所定時間Ｔ１を計時した）場合（Ｓ３２：ＹＥＳ）、第２領域の傍聴拠点の映像データを切り替えるように更新合成映像データの画面レイアウトを変更する。そして、映像・音声出力制御部１０６は、映像・音声合成部１０５から入力した新たな更新合成映像データを表示装置５００の画面に表示させる（Ｓ３３）。 If the main timer has expired (the predetermined time T1 has been counted) (S32: YES), the screen layout of the updated composite video data is changed so as to switch the video data at the listening base in the second area. Then, the video / audio output control unit 106 displays the new updated synthesized video data input from the video / audio synthesis unit 105 on the screen of the display device 500 (S33).

また、映像・音声合成部１０５は、タイマをリスタートさせる（Ｓ３４）。その後、フローはＳ３２に戻る。 In addition, the video / audio synthesizer 105 restarts the timer (S34). Thereafter, the flow returns to S32.

また、主タイマが満了していないタイミングで（Ｓ３２：ＮＯ）、映像・音声符号化／復号部１０４が、各テレビ会議装置１０−１〜２４の音声データのレベルを検出し、検出結果を映像・音声合成部１０５に出力する（Ｓ３５）。 At the timing when the main timer has not expired (S32: NO), the video / audio encoding / decoding unit 104 detects the level of the audio data of each of the video conference apparatuses 10-1 to 24 and displays the detection result as the video. Output to the speech synthesizer 105 (S35).

映像・音声合成部１０５は、テレビ会議装置１０−１〜２４の中で、音声データのレベルが閾値以上のものを発言拠点と認定し、他を傍聴拠点と認定する。そして、映像・音声合成部１０５は、新たな発言拠点が発生したか否かを判定する（Ｓ３６）。 The video / speech synthesizer 105 recognizes that the level of the voice data is equal to or higher than the threshold among the video conference apparatuses 10-1 to 24 as the speech base, and recognizes the other as the hearing base. Then, the video / speech synthesizer 105 determines whether or not a new speech base has occurred (S36).

新たな発言拠点が発生した場合（Ｓ３６：ＹＥＳ）、映像・音声合成部１０５は、当該発言拠点について個別タイマをスタートさせる（Ｓ３７）。また、映像・音声合成部１０５は、当該発言拠点の映像データが第１領域内に表示されるように更新合成映像データの画面レイアウトを変更する。そして、映像・音声出力制御部１０６は、映像・音声合成部１０５から入力した新たな更新合成映像データを表示装置５００の画面に表示させる（Ｓ３８）。その後、フローはＳ３２に戻る。 When a new speech base is generated (S36: YES), the video / voice synthesis unit 105 starts an individual timer for the speech base (S37). In addition, the video / audio synthesis unit 105 changes the screen layout of the updated synthesized video data so that the video data of the speech base is displayed in the first area. Then, the video / audio output control unit 106 displays the new updated synthesized video data input from the video / audio synthesis unit 105 on the screen of the display device 500 (S38). Thereafter, the flow returns to S32.

一方、新たな発言拠点が発生しなかった場合（Ｓ３６：ＮＯ）、映像・音声合成部１０５は、既存の発言拠点の参加者が新たな発言を行ったか否かを判定する（Ｓ３９）。 On the other hand, when a new speech base has not occurred (S36: NO), the video / speech synthesizer 105 determines whether or not a participant at an existing speech base has made a new speech (S39).

そして、既存の発言拠点の参加者が新たな発言を行った場合（Ｓ３９：ＹＥＳ）、映像・音声合成部１０５は、個別タイマをリスタートさせる（Ｓ４０）。その後、フローはＳ３２に戻る。 When a participant at an existing speech base makes a new speech (S39: YES), the video / speech synthesizer 105 restarts the individual timer (S40). Thereafter, the flow returns to S32.

一方、既存の発言拠点の参加者が新たな発言を行わなかった場合（Ｓ３９：ＮＯ）、映像・音声合成部１０５は、個別タイマが満了した（所定時間Ｔ２を計時した）か否かを判定する（Ｓ４１）。 On the other hand, when the participant at the existing speech base does not make a new speech (S39: NO), the video / speech synthesizer 105 determines whether or not the individual timer has expired (the predetermined time T2 has been counted). (S41).

個別タイマが満了した場合（Ｓ４１：ＹＥＳ）、映像・音声合成部１０５は、当該発言拠点の映像データが第１領域内に表示されないように更新合成映像データの画面レイアウトを変更する。そして、映像・音声出力制御部１０６は、映像・音声合成部１０５から入力した新たな更新合成映像データを表示装置５００の画面に表示させる（Ｓ３８）。その後、フローはＳ３２に戻る。 When the individual timer expires (S41: YES), the video / audio synthesis unit 105 changes the screen layout of the updated synthesized video data so that the video data of the speech base is not displayed in the first area. Then, the video / audio output control unit 106 displays the new updated synthesized video data input from the video / audio synthesis unit 105 on the screen of the display device 500 (S38). Thereafter, the flow returns to S32.

個別タイマが満了していない場合（Ｓ４１：ＮＯ）、フローはＳ３２に戻る。 If the individual timer has not expired (S41: NO), the flow returns to S32.

＜レイアウト変更の具体例＞
次に、映像・音声合成部１０５による合成映像データのレイアウト変更の具体例について、図７を用いて詳細に説明する。なお、図７において、画面内の各領域に記された数字は拠点番号に対応する。例えば、「１」と記された領域には、拠点番号１のテレビ会議装置１０−１で撮像された映像データが表示される。 <Specific example of layout change>
Next, a specific example of the layout change of the synthesized video data by the video / audio synthesis unit 105 will be described in detail with reference to FIG. In FIG. 7, the numbers written in each area in the screen correspond to the base numbers. For example, video data captured by the video conference apparatus 10-1 with the site number 1 is displayed in the area marked “1”.

図７（ａ）、（ｂ）、（ｃ）、（ｄ）、（ｅ）、（ｆ）は、それぞれ、更新合成映像データの一例を示す。 FIGS. 7A, 7B, 7C, 7D, 7E, and 7F show examples of updated composite video data, respectively.

テレビ会議装置１０−１は、全ての拠点との呼が確立した後（図３のＳ１５：ＹＥＳ）、更新合成映像データを表示装置５００の画面に表示させる（図３のＳ１６）。更新合成映像データは、図７（ａ）に示すように、第１領域（図７（ａ）の太線枠）に、全ての発言拠点（図７（ａ）では拠点番号１）の映像データが表示され、第１領域以外の第２領域内に、所定数ｑ（図７（ａ）ではｑ＝５）の傍聴拠点（図７（ａ）では拠点番号２、３、４、５、６）の映像データが表示されるようにレイアウトされる。このとき、発言拠点の映像データの表示面積を、傍聴拠点の映像データの表示面積よりも大きくするようにレイアウトしても良い。 The video conference apparatus 10-1 displays the updated composite video data on the screen of the display device 500 (S16 in FIG. 3) after the calls with all the bases are established (S15 in FIG. 3: YES). As shown in FIG. 7A, the updated composite video data includes video data of all the speech bases (base number 1 in FIG. 7A) in the first area (thick line frame in FIG. 7A). Displayed in a second area other than the first area, a predetermined number q (q = 5 in FIG. 7A) of the listening bases (base numbers 2, 3, 4, 5, 6 in FIG. 7A) The video data is laid out to be displayed. At this time, the display area of the video data at the speech base may be laid out so as to be larger than the display area of the video data at the hearing base.

そして、図７（ａ）の更新合成映像データの表示を開始してから所定時間Ｔ１が経過した時点で（図６のＳ３２：ＹＥＳ）、テレビ会議装置１０−１は、図７（ｂ）に示すように、第１領域の表示状態を維持したまま第２領域の傍聴拠点の映像データを切り替え、第２領域に他の傍聴拠点（図７（ｂ）では拠点番号７、８、９、１０、１１）の映像データが表示されるように更新合成映像データの画面レイアウトを変更する（図６のＳ３３）。 Then, when a predetermined time T1 has elapsed since the start of the display of the updated composite video data in FIG. 7A (S32 in FIG. 6: YES), the video conference apparatus 10-1 changes to FIG. 7B. As shown, the video data of the listening base in the second region is switched while maintaining the display state of the first region, and the other listening bases (base numbers 7, 8, 9, 10 in FIG. 7B) are switched to the second region. 11), the screen layout of the updated composite video data is changed so that the video data is displayed (S33 in FIG. 6).

その後、図７（ｂ）の更新合成映像データの表示を開始してから所定時間Ｔ１が経過する前に（図６のＳ３２：ＮＯ）、新たな発言拠点（拠点番号２）が発生した場合（図６のＳ３６：ＹＥＳ）、テレビ会議装置１０−１は、図７（ｃ）に示すように、第１領域に新たな発言拠点の映像データを加えるように更新合成映像データの画面レイアウトを変更する（図６のＳ３８）。このとき、第２領域の分割領域の数が増減する場合には、これに合わせて映像データを表示させる傍聴拠点の数を増減させる。図７（ｃ）の例では、拠点番号１２、１３、１４の映像データが追加で表示される。 Thereafter, when a new message base (site number 2) is generated before the predetermined time T1 has elapsed since the start of the display of the updated composite video data in FIG. 7B (S32: NO in FIG. 6) ( 6 (S36 in FIG. 6), the video conference apparatus 10-1 changes the screen layout of the updated composite video data so that the video data of the new speech base is added to the first area as shown in FIG. 7C. (S38 in FIG. 6). At this time, when the number of the divided areas of the second area increases or decreases, the number of listening bases that display the video data is increased or decreased accordingly. In the example of FIG. 7C, video data of base numbers 12, 13, and 14 are additionally displayed.

その後、拠点番号２の参加者が新たな発言を行い（図６のＳ３９：ＹＥＳ）、直近の発言から所定時間Ｔ２を経過する前であって、図７（ｃ）の更新合成映像データの表示を開始してから所定時間Ｔ１が経過した場合（図６のＳ３２：ＹＥＳ）、テレビ会議装置１０−１は、図７（ｄ）に示すように、第１領域の表示状態を維持したまま第２領域の傍聴拠点の映像データを切り替え、第２領域に他の傍聴拠点（図７（ｄ）では拠点番号１５、１６、１７、１８、１９、２０、２１、２２）の映像データが表示されるように更新合成映像データの画面レイアウトを変更する（図６のＳ３３）。 Thereafter, the participant with the base number 2 makes a new remark (S39 in FIG. 6: YES), and before the predetermined time T2 has elapsed since the most recent remark, the updated composite video data display in FIG. 7C is displayed. When the predetermined time T1 has elapsed since the start of the operation (S32: YES in FIG. 6), the video conference apparatus 10-1 maintains the display state of the first area as shown in FIG. The video data of the two sites is switched, and the video data of the other sites (base numbers 15, 16, 17, 18, 19, 20, 21, 22 in FIG. 7D) are displayed in the second region. Thus, the screen layout of the updated composite video data is changed (S33 in FIG. 6).

その後、拠点番号２の参加者が新たな発言を行わず（図６のＳ３９：ＮＯ）、直近の発言から所定時間Ｔ２を経過した場合（図６のＳ４１：ＹＥＳ）、テレビ会議装置１０−１は、図７（ｅ）に示すように、第１領域から発言拠点２の映像データを外すように更新合成映像データの画面レイアウトを変更する（図６のＳ３８）。 Thereafter, when the participant with the base number 2 does not make a new statement (S39: NO in FIG. 6) and the predetermined time T2 has passed since the latest statement (S41: YES in FIG. 6), the video conference apparatus 10-1 As shown in FIG. 7E, the screen layout of the updated composite video data is changed so that the video data of the speech base 2 is removed from the first area (S38 in FIG. 6).

その後、所定時間Ｔ１が経過した時点で、テレビ会議装置１０−１は、図７（ｆ）に示すように、第２領域の傍聴拠点の映像データを切り替えるように更新合成映像データの画面レイアウトを変更する。 Thereafter, when the predetermined time T1 elapses, the video conference device 10-1 changes the screen layout of the updated composite video data so as to switch the video data of the listening base in the second area as shown in FIG. change.

また、一部の拠点の映像データのみを表示させる更新合成映像データの方が、全ての拠点の映像データを表示させる初期合成映像データよりも、各映像データの表示面積を大きくすることができる。 In addition, the updated composite video data that displays only the video data of some sites can have a larger display area of each video data than the initial composite video data that displays the video data of all sites.

＜効果＞
このように、本実施の形態では、全ての発言拠点の映像データを常に表示させるとともに、一部の傍聴拠点の映像データを順次切り替えて表示させるように画面レイアウトを制御する。さらに、本実施の形態では、参加者が発言した拠点を発言拠点に加え、その拠点の映像データを表示させ、直近の発言から一定時間参加者の発言が無い拠点を発言拠点から外し、その拠点の映像データの表示を止めるように画面レイアウトを制御する。これにより、発言拠点が固定されていない場合であっても、全ての発言拠点の映像データを常に画面に表示させるとともに、全ての傍聴拠点の映像データを一定時間画面に表示させることができる。そして、全ての拠点の映像データを表示させる場合に比べて、各映像データの表示面積を大きくすることができるので、拠点数が多い場合でも、各拠点からの映像データを視聴者に見易く表示することができる。 <Effect>
As described above, in this embodiment, the screen layout is controlled so that the video data of all the speech bases are always displayed and the video data of some of the listening bases are sequentially switched and displayed. Furthermore, in this embodiment, the base where the participant speaks is added to the speech base, the video data of the base is displayed, the base where the participant does not speak for a certain period of time from the latest speech is removed from the speech base, and the base The screen layout is controlled to stop the display of the video data. Thereby, even when the speech base is not fixed, the video data of all speech bases can be always displayed on the screen, and the video data of all the hearing bases can be displayed on the screen for a certain period of time. And since the display area of each video data can be enlarged compared to the case where video data of all bases is displayed, even when there are many bases, video data from each base is displayed in an easy-to-view manner for viewers. be able to.

（実施の形態３）
実施の形態３では、主として発言を行う参加者が居る発言拠点と、基本的に発言を行わず傍聴のみを行う参加者が居る傍聴拠点とが予め決められ、傍聴拠点の参加者が質問等の発言を行うことがある場合について説明する。 (Embodiment 3)
In the third embodiment, a speech base where there is a participant who mainly speaks and a hearing base where there is a participant who does not speak basically and only listens are determined in advance. A case where a statement is sometimes made will be described.

＜テレビ会議装置の構成および接続関係＞
本実施の形態のテレビ会議装置１０の構成および接続関係は、実施の形態１で説明した図１に示したものと同一であるので、その説明を省略する。また、映像・音声符号化／復号部１０４および映像・音声合成部１０５の追加機能は、実施の形態２で説明したものと同一であるので、その説明を省略する。 <Configuration and connection of video conference equipment>
Since the configuration and connection relationship of the video conference apparatus 10 of the present embodiment are the same as those shown in FIG. 1 described in the first embodiment, description thereof is omitted. The additional functions of the video / audio encoding / decoding unit 104 and the video / audio synthesizing unit 105 are the same as those described in the second embodiment, and a description thereof will be omitted.

＜テレビ会議装置の動作＞
本実施の形態のテレビ会議装置１０−１の動作全体は、実施の形態１で説明した図３に示したものと同一であるので、その説明を省略する。また、本実施の形態の、更新合成映像データの画面レイアウトの制御動作（Ｓ１７）は、実施の形態２で説明した図６に示したものと同一であるので、その説明を省略する。 <Operation of video conference device>
Since the entire operation of the video conference apparatus 10-1 of the present embodiment is the same as that shown in FIG. 3 described in the first embodiment, description thereof is omitted. Further, the control operation (S17) of the screen layout of the updated composite video data in this embodiment is the same as that shown in FIG. 6 described in the second embodiment, and thus the description thereof is omitted.

＜レイアウト変更の具体例＞
次に、映像・音声合成部１０５による合成映像データのレイアウト変更の具体例について、図８を用いて詳細に説明する。なお、図８において、画面内の各領域に記された数字は拠点番号に対応する。例えば、「１」と記された領域には、拠点番号１のテレビ会議装置１０−１で撮像された映像データが表示される。 <Specific example of layout change>
Next, a specific example of the layout change of the synthesized video data by the video / audio synthesizer 105 will be described in detail with reference to FIG. In FIG. 8, the numbers written in the respective areas in the screen correspond to the base numbers. For example, video data captured by the video conference apparatus 10-1 with the site number 1 is displayed in the area marked “1”.

図８（ａ）、（ｂ）、（ｃ）、（ｄ）、（ｅ）、（ｆ）は、それぞれ、更新合成映像データの一例を示す。 8 (a), (b), (c), (d), (e), and (f) each show an example of updated composite video data.

図８（ａ）、（ｂ）は、実施の形態２で説明した図７（ａ）、（ｂ）と共通であるので、その説明を省略する。 8 (a) and 8 (b) are the same as FIGS. 7 (a) and 7 (b) described in the second embodiment, and a description thereof will be omitted.

図８（ｂ）の更新合成映像データの表示を開始してから所定時間Ｔ１が経過する前に（図６のＳ３２：ＮＯ）、拠点番号２の傍聴拠点が質問等の発言を行った場合（図６のＳ３６：ＹＥＳ）、拠点番号２の傍聴拠点は新たな発言拠点となり、テレビ会議装置１０−１は、図８（ｃ）に示すように、第２領域の一部（図８（ｂ）の拠点番号７の映像データが表示されていた領域）を第１領域とし、そこに新たな発言拠点（拠点番号２）の映像データを加えるように更新合成映像データの画面レイアウトを変更する（図６のＳ３８）。 When a predetermined time T1 elapses after the start of the display of the updated composite video data in FIG. 8B (S32: NO in FIG. 6), the hearing base of the base number 2 makes a question or the like ( 6 (S36 in FIG. 6), the listening base with the base number 2 becomes a new speech base, and the video conference apparatus 10-1 is a part of the second area (FIG. 8B) as shown in FIG. The area where the video data of the site number 7 of () is displayed) is the first area, and the screen layout of the updated composite video data is changed so that the video data of the new speech base (base number 2) is added thereto ( S38 of FIG. 6).

その後、拠点番号２の参加者が新たな発言を行い（図６のＳ３９：ＹＥＳ）、直近の発言から所定時間Ｔ２を経過する前であって、図７（ｃ）の更新合成映像データの表示を開始してから所定時間Ｔ１が経過した場合（図６のＳ３２：ＹＥＳ）、テレビ会議装置１０−１は、図８（ｄ）に示すように、第１領域の表示状態を維持したまま第２領域の傍聴拠点の映像データを切り替え、第２領域に他の傍聴拠点（図８（ｄ）では拠点番号１２、１３、１４、１５）の映像データが表示されるように更新合成映像データの画面レイアウトを変更する（図６のＳ３３）。 Thereafter, the participant with the base number 2 makes a new remark (S39 in FIG. 6: YES), and before the predetermined time T2 has elapsed since the most recent remark, the updated composite video data display in FIG. 7C is displayed. When the predetermined time T1 has elapsed since the start of the operation (S32: YES in FIG. 6), the video conference apparatus 10-1 maintains the display state of the first area as shown in FIG. 8D. The video data of the two listening areas is switched, and the video data of the other listening bases (the base numbers 12, 13, 14, and 15 in FIG. 8D) are displayed in the second area. The screen layout is changed (S33 in FIG. 6).

その後、拠点番号２の参加者が新たな発言を行わず（図６のＳ３９：ＮＯ）、直近の発言から所定時間Ｔ２を経過した場合（図６のＳ４１：ＹＥＳ）、テレビ会議装置１０−１は、第１領域から発言拠点２の映像データを外す（図６のＳ３８）。 Thereafter, when the participant with the base number 2 does not make a new statement (S39: NO in FIG. 6) and the predetermined time T2 has passed since the latest statement (S41: YES in FIG. 6), the video conference apparatus 10-1 Removes the video data of the speech base 2 from the first area (S38 in FIG. 6).

その後、所定時間Ｔ１が経過した時点で、テレビ会議装置１０−１は、図８（ｅ）に示すように、第２領域の傍聴拠点の映像データを切り替えるように更新合成映像データの画面レイアウトを変更する。 After that, when the predetermined time T1 has elapsed, the video conference apparatus 10-1 changes the screen layout of the updated composite video data so as to switch the video data of the listening base in the second area as shown in FIG. 8 (e). change.

その後、さらに所定時間Ｔ１が経過した時点で、テレビ会議装置１０−１は、図８（ｆ）に示すように、第２領域の傍聴拠点の映像データを切り替えるように更新合成映像データの画面レイアウトを変更する。 After that, when the predetermined time T1 further elapses, the video conference apparatus 10-1 displays the screen layout of the updated composite video data so as to switch the video data of the listening base in the second area as shown in FIG. 8 (f). To change.

＜効果＞
このように、本実施の形態では、全ての発言拠点の映像データを常に表示させるとともに、一部の傍聴拠点の映像データを順次切り替えて表示させるように画面レイアウトを制御する。さらに、本実施の形態では、参加者が発言した拠点を発言拠点に加え、その拠点の映像データを表示させ、直近の発言から一定時間参加者の発言が無い拠点を発言拠点から外し、その拠点の映像データの表示を止めるように画面レイアウトを制御する。これにより、発言拠点が固定されていない場合であっても、全ての発言拠点の映像データを常に画面に表示させるとともに、全ての傍聴拠点の映像データを一定時間画面に表示させることができる。そして、全ての拠点の映像データを表示させる場合に比べて、各映像データの表示面積を大きくすることができるので、拠点数が多い場合でも、各拠点からの映像データを視聴者に見易く表示することができる。 <Effect>
As described above, in this embodiment, the screen layout is controlled so that the video data of all the speech bases are always displayed and the video data of some of the listening bases are sequentially switched and displayed. Furthermore, in the present embodiment, the base where the participant speaks is added to the speech base, the video data of the base is displayed, the base where the participant does not speak for a certain period of time from the latest speech is removed from the speech base, and the base The screen layout is controlled to stop the display of the video data. Thereby, even when the speech base is not fixed, the video data of all speech bases can be always displayed on the screen, and the video data of all the hearing bases can be displayed on the screen for a certain period of time. And since the display area of each video data can be enlarged compared to the case where video data of all bases is displayed, even when there are many bases, video data from each base is displayed in an easy-to-view manner for viewers. be able to.

なお、本発明は、部材の種類、配置、個数等は前述の実施の形態に限定されるものではなく、その構成要素を同等の作用効果を奏するものに適宜置換する等、発明の要旨を逸脱しない範囲で適宜変更可能である。 The present invention is not limited to the above-described embodiments in terms of the type, arrangement, number, etc. of the members, and departs from the gist of the invention, such as appropriately replacing the constituent elements with those having the same operational effects. It is possible to change appropriately within the range not to be.

具体的には、上記の実施の形態では、映像を表示するまでに静止画を表示する場合について説明したが、本発明はこれに限られず、静止画以外のメッセージ等の文字情報を表示する、あるいは、黒画面のままとするようにしてもよい。 Specifically, in the above embodiment, the case where a still image is displayed before displaying a video has been described, but the present invention is not limited thereto, and character information such as a message other than a still image is displayed. Alternatively, the black screen may be left as it is.

また、上記の実施の形態では、同時に接続できる拠点数が２４であるテレビ会議システムを例に説明したが、本発明は同時に接続できる拠点数に制限は無い。 In the above embodiment, the video conference system in which the number of sites that can be connected simultaneously is 24 has been described as an example. However, the present invention has no limitation on the number of sites that can be connected simultaneously.

また、本発明では、ユーザの設定により、表示用の映像データと送信用の映像データとを別個に生成することができる。例えば、映像入力制御部１０８から出力された映像データを表示用の映像データとし、映像・音声合成部１０５で合成された映像データを送信用の映像データとすることができる。 In the present invention, display video data and transmission video data can be generated separately according to user settings. For example, the video data output from the video input control unit 108 can be used as display video data, and the video data synthesized by the video / audio synthesis unit 105 can be used as transmission video data.

本発明は、ホスト拠点に設けられ、ホスト拠点と異なる複数の拠点の相手装置と同時に接続可能なテレビ会議装置に用いるに好適である。 The present invention is suitable for use in a video conference apparatus that is provided at a host site and can be connected simultaneously with counterpart devices at a plurality of sites different from the host site.

１０テレビ会議装置
１００本体装置
１０１ユーザ指示受信部
１０２会議制御部
１０３通信制御部
１０４映像・音声符号化／復号部
１０５映像・音声合成部
１０６映像・音声出力制御部
１０７静止画保持部
１０８映像入力制御部
１０９音声入力制御部
２００ユーザ操作入力装置
３００映像入力装置
４００音声入力装置
５００表示装置 DESCRIPTION OF SYMBOLS 10 Video conference apparatus 100 Main body apparatus 101 User instruction | indication receiving part 102 Conference control part 103 Communication control part 104 Video | voice / audio encoding / decoding part 105 Video | voice / synthesizer 106 Video | voice / audio output control part 107 Still image holding part 108 Video input Control unit 109 Audio input control unit 200 User operation input device 300 Video input device 400 Audio input device 500 Display device

本発明のテレビ会議装置は、ホスト拠点に設けられ、複数の他拠点のテレビ会議装置と同時に接続可能なテレビ会議装置であって、前記ホスト拠点を撮影して映像データを取得する映像入力部と、前記ホスト拠点の音声を収音して音声データを取得する音声入力部と、前記複数の他拠点の会議端末装置から、各々の映像データおよび音声データを受信する通信制御部と、テレビ会議に参加する拠点の数および各拠点の優先度に応じて画面レイアウトおよび表示対象の複数の映像データを決定し、前記画面レイアウトに従って前記表示対象の複数の映像データを合成した合成映像データを生成して画面に表示させる表示制御部と、を具備し、前記表示制御部は、画面全体を、前記テレビ会議に参加する拠点の総数よりも少なく、かつ、第１優先度の拠点の総数よりも多い分割画面に分割した画面レイアウトを設定し、前記分割画面に、前記第１優先度の全ての拠点の映像データを常に表示させ、かつ、前記第１優先度よりも低い第２優先度の一部の拠点の映像データを、前記第２優先度の全ての拠点の映像データのいずれもが所定時間内の一部の時間に表示されるように、順次切り替えて表示させる。
The video conference device of the present invention is a video conference device provided at a host site and connectable simultaneously with a video conference device at a plurality of other sites, and a video input unit that captures the host site and acquires video data; An audio input unit that collects audio from the host site and acquires audio data; a communication control unit that receives video data and audio data from the conference terminal devices at the plurality of other sites; and a video conference. A screen layout and a plurality of video data to be displayed are determined according to the number of bases participating and the priority of each base, and composite video data is generated by combining the plurality of video data to be displayed according to the screen layout. comprising a display control unit for displaying on the screen, said display control unit, the entire screen, smaller than the total number of bases participating in the video conference, and the first priority The set screen layout divided into many split screen than the total number of bases in the split screen, always to display the image data of all the bases of the first priority, and lower than the first priority The video data of some bases of the second priority are sequentially switched and displayed so that all the video data of all the bases of the second priority are displayed at a part of the predetermined time. .

Claims

A video conference device provided at a host site and connectable simultaneously with a video conference device at a plurality of other sites,
A video input unit that captures the host site and obtains video data;
A voice input unit that collects voice of the host site and acquires voice data;
A communication control unit that receives each video data and audio data from the conference terminal device at the plurality of other sites,
A screen layout and a plurality of video data to be displayed are determined according to the number of bases participating in the video conference and the priority of each base, and composite video data obtained by combining the plurality of video data to be displayed according to the screen layout A display control unit for generating and displaying on the screen;
Comprising
The display control unit
Video data of all bases of the first priority are always displayed, and video data of some bases of the second priority lower than the first priority are switched and displayed.
Video conferencing equipment.

The display control unit
Displaying video data of some other bases of the second priority when a predetermined first time has elapsed since displaying the video data of some bases of the second priority.
The video conference apparatus according to claim 1.

A level detector for detecting the level of the audio data;
The display control unit
A site where the level of the audio data is equal to or higher than a threshold is recognized as the first priority site.
The video conference apparatus according to claim 1 or 2.

The display control unit
If the first priority base does not detect voice data at a level equal to or higher than the threshold at a predetermined second time, the base is recognized as the second priority base.
The video conference apparatus according to claim 3.