JP2018207337A

JP2018207337A - Television conference device

Info

Publication number: JP2018207337A
Application number: JP2017111619A
Authority: JP
Inventors: 剛志滝田; Tsuyoshi Takita; 熊澤　雅之; Masayuki Kumazawa; 雅之熊澤
Original assignee: Panasonic Intellectual Property Management Co Ltd
Current assignee: Panasonic Intellectual Property Management Co Ltd
Priority date: 2017-06-06
Filing date: 2017-06-06
Publication date: 2018-12-27
Anticipated expiration: 2037-06-06
Also published as: JP6803563B2

Abstract

To perform high accuracy grouping for each child base for a base in which a preset arbitration band is different from an actual network band.SOLUTION: A communication control unit 103 performs grouping of other television conference devices 10-2-24 based on network information. For example, the communication control unit 103 determines a base, in which RTT (Round-Trip Time) is less than or equal to a threshold value, as a base of wide band (HD resolution transmission group), and determines the base, in which the RTT is larger than the threshold value, as a base of narrow band (SD resolution transmission group). A video audio encoding/decoding unit 104 determines a video encoding parameter for each group. For example, the video audio encoding/decoding unit 104 sets an encoding parameter such that each base belonging to a HD resolution transmission group may have image resolution of 1920×1080 pixels, and sets a video encoding parameter such that each base belonging to a SD resolution transmission group may have the image resolution of 720×480 pixels.SELECTED DRAWING: Figure 1

Description

本発明は、複数の拠点のそれぞれに設置された装置と同時接続可能なテレビ会議装置に関する。 The present invention relates to a video conference apparatus that can be simultaneously connected to apparatuses installed in a plurality of bases.

複数の拠点を繋いで遠隔会議を行うことができるテレビ会議システムが普及している。ホスト拠点（親拠点）のテレビ会議装置（多拠点接続装置（ＭＣＵ））は、他の拠点（子拠点）から映像データおよび音声データを受信し、モニタの画面に各拠点の映像データを表示させ、スピーカから音声データを出力させる。特許文献１には、３拠点の映像データを同時にモニタの画面に表示するテレビ会議装置が記載されている。 Video conferencing systems that can perform remote conferences by connecting a plurality of bases have become widespread. The video conference device (multi-site connection unit (MCU)) at the host site (parent site) receives video data and audio data from other sites (child sites) and displays the video data of each site on the monitor screen. The audio data is output from the speaker. Patent Document 1 describes a video conference apparatus that simultaneously displays video data of three sites on a monitor screen.

また、近年、多くの拠点（例えば、２４拠点）と同時に接続できるテレビ会議装置が開発されている。一般に、テレビ会議装置は、エンコーダ数が接続拠点数よりも少なく、広帯域の子拠点と狭帯域の子拠点が混在している場合に、高レートで符号化可能な広帯域の子拠点宛の映像・音声データに対しても、狭帯域の子拠点に合わせて、低レートで符号化を行ってしまう傾向にある。 In recent years, video conference apparatuses that can be connected simultaneously with many sites (for example, 24 sites) have been developed. In general, video conferencing equipment has a smaller number of encoders than the number of connected bases, and when there are both a wideband child base and a narrowband child base, video / There is also a tendency for audio data to be encoded at a low rate in accordance with a narrow-band child base.

その問題を解決する手段の一つとして異速度通信機能がある。異速度通信機能では、帯域が所定の閾値より広い拠点群のＨＤ解像度送信グループと狭い拠点群のＳＤ解像度送信グループとに分け、グループ毎に異なるレートで符号化を行う。この機能により、広帯域の子拠点に対して高品質な映像・音声を送信することができる。 There is a different speed communication function as one of means for solving the problem. In the different speed communication function, the HD resolution transmission group of the base group having a wider band than a predetermined threshold is divided into the SD resolution transmission group of the narrow base group, and encoding is performed at a different rate for each group. With this function, high-quality video / audio can be transmitted to a broadband child base.

特開２０１２−２３１４２８号公報JP 2012-231428 A

拠点の中には、子拠点毎に設定された調停帯域と実際のネットワーク帯域が異なるものがある。特に、子拠点がモバイル端末である場合には、場所や時間によりネットワーク帯域が変化する。 Some bases have different mediation bandwidths and actual network bandwidths set for each child base. In particular, when the child base is a mobile terminal, the network bandwidth changes depending on the location and time.

しかしながら、従来は、調停帯域に基づいて異速度通信機能のグルーピングを行っているため、グルーピングの精度が低くなってしまう。 However, conventionally, since the grouping of the different speed communication function is performed based on the arbitration band, the accuracy of the grouping is lowered.

本発明の目的は、子拠点毎に予め設定された調停帯域と実際のネットワーク帯域が異なる拠点について、精度が高いグルーピングを行うことができるテレビ会議装置を提供することである。 An object of the present invention is to provide a video conference apparatus capable of performing grouping with high accuracy for a base where the mediation band preset for each child base is different from the actual network band.

本発明のテレビ会議装置は、ホスト拠点に設けられ、複数の他拠点と同時に接続可能なテレビ会議装置であって、前記ホスト拠点を撮影して映像データを取得する映像入力部と、ネットワークを介して、前記各他拠点との間で映像データを含むパケットの送受信を行う通信制御部と、複数の前記映像データを合成した合成映像データを生成して画面に表示させる表示制御部と、を具備し、前記通信制御部は、前記ネットワークに関する情報に基づいて前記他拠点のグルーピングを行い、前記表示制御部は、グループ毎に映像符号化パラメータを決定し、前記映像符号化パラメータに基づいて前記映像データを符号化する。 The video conference apparatus of the present invention is a video conference apparatus that is provided at a host base and can be connected simultaneously with a plurality of other bases, a video input unit that captures the host base and acquires video data, and a network. A communication control unit that transmits / receives a packet including video data to / from each of the other bases, and a display control unit that generates composite video data obtained by combining a plurality of the video data and displays the composite video data on a screen. The communication control unit performs grouping of the other bases based on the information on the network, and the display control unit determines a video encoding parameter for each group, and the video control parameter is determined based on the video encoding parameter. Encode the data.

本発明によれば、子拠点毎に予め設定された調停帯域と実際のネットワーク帯域が異なる拠点について、実際のネットワーク帯域に基づくグルーピングを行うことができる。 According to the present invention, it is possible to perform grouping based on an actual network band for a base whose actual network band is different from the mediation band preset for each child base.

本発明の一実施の形態に係るテレビ会議装置の構成を示すブロック図The block diagram which shows the structure of the video conference apparatus concerning one embodiment of this invention 本発明の一実施の形態に係るテレビ会議装置の状態の遷移を示す状態遷移図State transition diagram showing state transition of video conference apparatus according to one embodiment of the present invention 本発明の一実施の形態に係るテレビ会議装置の動作を示すフロー図The flowchart which shows operation | movement of the video conference apparatus based on one embodiment of this invention. 本発明の別の実施の形態に係るテレビ会議装置の動作を示すフロー図The flowchart which shows operation | movement of the video conference apparatus based on another embodiment of this invention.

以下、図面を適宜参照して、本発明の実施の形態につき、詳細に説明する。なお、以下では、同時に接続できる拠点数が２４であるテレビ会議システムを例に説明する。 Hereinafter, embodiments of the present invention will be described in detail with reference to the drawings as appropriate. In the following, a video conference system in which the number of sites that can be connected simultaneously is 24 will be described as an example.

（実施の形態）
＜テレビ会議装置の構成および接続関係＞
まず、本発明の一実施の形態に係るテレビ会議装置１０の構成および接続関係について、図１を用いて詳細に説明する。 (Embodiment)
<Configuration and connection of video conference equipment>
First, the configuration and connection relationship of the video conference apparatus 10 according to an embodiment of the present invention will be described in detail with reference to FIG.

各拠点には、それぞれ、テレビ会議装置１０が設置されている。ホスト拠点（拠点番号１）のテレビ会議装置１０−１は、他の拠点（拠点番号２〜２４）のそれぞれに設置された各テレビ会議装置１０−２〜２４と、ネットワーク２０を介して接続し、音声データ及び映像データの送信／受信を行う。ネットワーク２０は、典型的にはインターネットである。 A video conference device 10 is installed at each base. The video conference apparatus 10-1 at the host base (base number 1) is connected to each of the video conference apparatuses 10-2 to 24-24 installed at the other bases (base numbers 2 to 24) via the network 20. Audio data and video data are transmitted / received. The network 20 is typically the Internet.

テレビ会議装置１０−１は、本体装置１００、ユーザ操作入力装置２００、映像入力装置３００、音声入力装置４００および表示装置５００から構成されている。 The video conference device 10-1 includes a main device 100, a user operation input device 200, a video input device 300, an audio input device 400, and a display device 500.

本体装置１００は、ユーザ操作入力装置２００、映像入力装置３００、音声入力装置４００および表示装置５００と接続している。 The main device 100 is connected to the user operation input device 200, the video input device 300, the audio input device 400, and the display device 500.

ユーザ操作入力装置２００は、ユーザによる拠点を選択する操作を検出し、選択された拠点を示す選択拠点情報を含む信号を有線又は無線により本体装置１００に送信する。ユーザ操作入力装置２００は、典型的にはリモコン又はタッチパネルである。 The user operation input device 200 detects an operation of selecting a base by the user, and transmits a signal including selected base information indicating the selected base to the main body device 100 by wire or wireless. The user operation input device 200 is typically a remote control or a touch panel.

映像入力装置３００は、本体装置１００が設置されている拠点を撮影して得られた映像データを本体装置１００に出力する。なお、映像入力装置３００が出力する映像データには、カメラが撮像した映像データの他に、ＰＣに保存された映像データ、ＤＶＤプレーヤにより再生された映像データ等がある。 The video input device 300 outputs video data obtained by photographing the location where the main device 100 is installed to the main device 100. The video data output from the video input device 300 includes video data saved by a PC, video data reproduced by a DVD player, and the like in addition to video data captured by a camera.

音声入力装置４００は、本体装置１００が設置されている拠点の音声を集音して得られた音声データ等を本体装置１００に出力する。なお、音声入力装置４００が出力する音声データには、マイクが集音した音声データの他に、ＰＣに保存された映像データとセットの音声データ、ＤＶＤプレーヤにより再生された映像データとセットの音声データ等がある。 The voice input device 400 outputs voice data and the like obtained by collecting the voice of the site where the main device 100 is installed to the main device 100. The audio data output from the audio input device 400 includes audio data collected by a microphone, video data stored in a PC and audio data set, video data reproduced by a DVD player, and audio data set. There are data.

表示装置５００は、本体装置１００から出力された映像データを画面に表示すると共に、本体装置１００から出力された音声データを図示しないスピーカから出力する。 The display device 500 displays the video data output from the main device 100 on a screen and outputs the audio data output from the main device 100 from a speaker (not shown).

本体装置１００は、ユーザ指示受信部１０１と、会議制御部１０２と、通信制御部１０３と、映像・音声符号化／復号部１０４と、映像・音声合成部１０５と、映像・音声出力制御部１０６と、静止画保持部１０７と、映像入力制御部１０８と、音声入力制御部１０９と、から主に構成される。なお、映像・音声符号化／復号部１０４、映像・音声合成部１０５および映像・音声出力制御部１０６により、表示制御部が構成される。 The main device 100 includes a user instruction receiving unit 101, a conference control unit 102, a communication control unit 103, a video / audio encoding / decoding unit 104, a video / audio synthesis unit 105, and a video / audio output control unit 106. And a still image holding unit 107, a video input control unit 108, and an audio input control unit 109. The video / audio encoding / decoding unit 104, the video / audio synthesis unit 105, and the video / audio output control unit 106 constitute a display control unit.

ユーザ指示受信部１０１は、ユーザ操作入力装置２００から送信された信号を受信し、受信信号に含まれている選択拠点情報を抽出し、会議制御部１０２に出力する。選択拠点情報には、テレビ会議に参加する各拠点の発信先情報（ＩＰアドレスあるいはＩＳＤＮ番号）が含まれる。 The user instruction receiving unit 101 receives a signal transmitted from the user operation input device 200, extracts selected base information included in the received signal, and outputs it to the conference control unit 102. The selected base information includes destination information (IP address or ISDN number) of each base participating in the video conference.

会議制御部１０２は、ユーザ指示受信部１０１から入力した選択拠点情報に基づいて、通信制御部１０３と、映像・音声符号化／復号部１０４と、映像・音声合成部１０５と、におけるデータの入出力のタイミングを制御する。また、会議制御部１０２は、ユーザ指示受信部１０１から入力した選択拠点情報を映像・音声合成部１０５に出力する。また、会議制御部１０２は、選択拠点情報に基づいて、通信制御部１０３における発信処理及び呼の確立処理を制御すると共に、映像データを受信したか否かを監視する。 The conference control unit 102 receives data from the communication control unit 103, the video / audio encoding / decoding unit 104, and the video / audio synthesis unit 105 based on the selected base information input from the user instruction receiving unit 101. Control output timing. In addition, the conference control unit 102 outputs the selected base information input from the user instruction receiving unit 101 to the video / voice synthesis unit 105. In addition, the conference control unit 102 controls the transmission processing and call establishment processing in the communication control unit 103 based on the selected base information, and monitors whether video data has been received.

通信制御部１０３は、会議制御部１０２の制御に従ったタイミングで動作する。通信制御部１０３は、他のテレビ会議装置１０−２〜２４との間で呼を確立する。そして、通信制御部１０３は、呼を確立した後、他のテレビ会議装置１０−２〜２４が送信した映像データ及び音声データを含むパケットを、ネットワーク２０を介して受信し、映像・音声符号化／復号部１０４に出力する。また、通信制御部１０３は、呼を確立した後、映像・音声符号化／復号部１０４から入力した映像データ及び音声データを含むパケットを、ネットワーク２０を介して他のテレビ会議装置１０−２〜２４に送信する。なお、通信制御部１０３は、所定の通信プロトコルに従って動作する。通信プロトコルは、典型的にはＳＩＰ又はＨ．３２３である。 The communication control unit 103 operates at a timing according to the control of the conference control unit 102. The communication control unit 103 establishes a call with the other video conference apparatuses 10-2 to 24-24. Then, after establishing the call, the communication control unit 103 receives the packet including the video data and the audio data transmitted from the other video conference apparatuses 10-2 to 24 through the network 20, and performs the video / audio encoding. / Output to decoding section 104. In addition, after establishing the call, the communication control unit 103 transmits packets including video data and audio data input from the video / audio encoding / decoding unit 104 to other video conference apparatuses 10-2 to 10-2 through the network 20. 24. The communication control unit 103 operates according to a predetermined communication protocol. The communication protocol is typically SIP or H.264. H.323.

また、通信制御部１０３は、映像・音声符号化／復号部１０４が管理するネットワーク情報に基づいて他のテレビ会議装置１０−２〜２４のグルーピングを行う。例えば、通信制御部１０３は、ＲＴＴ（Ｒｏｕｎｄ−ＴｒｉｐＴｉｍｅ）が閾値以下の拠点を広帯域の拠点（ＨＤ解像度送信グループ）と判定し、ＲＴＴが閾値より大きい拠点を狭帯域の拠点（ＳＤ解像度送信グループ）と判定する。 In addition, the communication control unit 103 performs grouping of the other video conference apparatuses 10-2 to 10-24 based on network information managed by the video / audio encoding / decoding unit 104. For example, the communication control unit 103 determines a base whose RTT (Round-Trip Time) is equal to or less than a threshold as a broadband base (HD resolution transmission group), and a base whose RTT is larger than the threshold is a narrow-band base (SD resolution transmission group). ).

映像・音声符号化／復号部１０４は、会議制御部１０２の制御に従ったタイミングで動作する。映像・音声符号化／復号部１０４は、映像・音声合成部１０５から入力した映像データ、および、音声入力制御部１０９から入力した音声データを符号化して通信制御部１０３に出力する。 The video / audio encoding / decoding unit 104 operates at a timing according to the control of the conference control unit 102. The video / audio encoding / decoding unit 104 encodes the video data input from the video / audio synthesis unit 105 and the audio data input from the audio input control unit 109 and outputs the encoded data to the communication control unit 103.

映像データの符号化は、映像符号化パラメータに基づいて行われる。映像・音声符号化／復号部１０４は、グループ毎に、映像品質の主観評価に影響を与える映像符号化パラメータを決定する。映像符号化パラメータには、符号化ビットレート、符号化フレームレート、符号化解像度、パケットサイズ、ローパスフィルタ等が含まれる。例えば、映像・音声符号化／復号部１０４は、ＨＤ解像度送信グループに属する各拠点には１９２０×１０８０ピクセルの画面解像度となるように符号化パラメータを設定し、ＳＤ解像度送信グループに属する各拠点には７２０×４８０ピクセルの画面解像度となるように映像符号化パラメータを設定する。 The video data is encoded based on video encoding parameters. The video / audio encoding / decoding unit 104 determines a video encoding parameter that affects subjective evaluation of video quality for each group. The video encoding parameters include an encoding bit rate, an encoding frame rate, an encoding resolution, a packet size, a low pass filter, and the like. For example, the video / audio encoding / decoding unit 104 sets the encoding parameter so that the screen resolution of 1920 × 1080 pixels is set in each site belonging to the HD resolution transmission group, and the site belonging to the SD resolution transmission group. Sets the video encoding parameters so that the screen resolution is 720 × 480 pixels.

また、映像・音声符号化／復号部１０４は、通信制御部１０３から入力した他のテレビ会議装置１０−２〜２４からの映像データおよび音声データを復号して映像・音声合成部１０５に出力する。 Also, the video / audio encoding / decoding unit 104 decodes video data and audio data from the other video conference apparatuses 10-2 to 24-24 input from the communication control unit 103 and outputs them to the video / audio synthesis unit 105. .

また、映像・音声符号化／復号部１０４は、他のテレビ会議装置１０−２〜２４のネットワーク情報を管理する。ネットワーク情報には、各子拠点の装置の種別（モバイル端末であるか否か）、パケットロス頻度（所定時間内におけるパケットロスの回数）、ＩＰアドレス、ＲＴＴ、推定帯域等が含まれる。 The video / audio encoding / decoding unit 104 manages network information of the other video conference apparatuses 10-2 to 10-24. The network information includes the type of device at each child base (whether it is a mobile terminal), packet loss frequency (number of packet losses within a predetermined time), IP address, RTT, estimated bandwidth, and the like.

映像・音声合成部１０５は、会議制御部１０２の制御に従ったタイミングで動作する。映像・音声合成部１０５は、映像・音声符号化／復号部１０４から入力した他のテレビ会議装置１０−２〜２４からの映像データと、映像入力制御部１０８から入力した映像データと、に基づいて、会議制御部１０２から入力した選択拠点情報の拠点数に応じて、複数の映像データを合成した合成映像データを生成し、映像・音声出力制御部１０６に出力する。なお、映像・音声合成部１０５は、各テレビ会議装置１０−２〜２４から映像データを受信するまでの間、静止画保持部１０７に保持された静止画が表示されるように合成映像データを生成する。 The video / audio synthesis unit 105 operates at a timing according to the control of the conference control unit 102. The video / audio synthesizer 105 is based on the video data from the other video conference apparatuses 10-2 to 24-24 input from the video / audio encoding / decoding unit 104 and the video data input from the video input control unit 108. In accordance with the number of bases of the selected base information input from the conference control unit 102, composite video data obtained by combining a plurality of video data is generated and output to the video / audio output control unit 106. The video / audio synthesis unit 105 outputs the synthesized video data so that the still image held in the still image holding unit 107 is displayed until the video data is received from each of the video conference apparatuses 10-2 to 24-24. Generate.

また、映像・音声合成部１０５は、映像・音声符号化／復号部１０４から入力した他のテレビ会議装置１０−２〜２４からの音声データと、音声入力制御部１０９から入力した音声データを合成した合成音声データを生成し、映像・音声出力制御部１０６に出力する。また、映像・音声合成部１０５は、映像入力制御部１０８から入力した映像データを映像・音声符号化／復号部１０４に出力する。 The video / audio synthesis unit 105 synthesizes the audio data input from the video / audio encoding / decoding unit 104 and the audio data input from the audio input control unit 109 and the audio data input from the other video conference apparatuses 10-2 to 10-24. The synthesized voice data is generated and output to the video / audio output control unit 106. Further, the video / audio synthesis unit 105 outputs the video data input from the video input control unit 108 to the video / audio encoding / decoding unit 104.

映像・音声出力制御部１０６は、映像・音声合成部１０５から入力した合成映像データを表示装置５００の画面に表示させると共に、合成音声データを表示装置５００のスピーカから音声として出力させる。 The video / audio output control unit 106 displays the synthesized video data input from the video / audio synthesis unit 105 on the screen of the display device 500 and outputs the synthesized audio data from the speaker of the display device 500 as audio.

静止画保持部１０７は、他のテレビ会議装置１０−２〜２４から映像データを受信するまでの期間において、所定の静止画を表示装置５００の画面に表示させるための静止画データを予め保持している。 The still image holding unit 107 holds in advance still image data for displaying a predetermined still image on the screen of the display device 500 during a period until video data is received from the other video conference apparatuses 10-2 to 10-24. ing.

映像入力制御部１０８は、映像入力装置３００から入力した映像データを映像・音声合成部１０５に出力する。 The video input control unit 108 outputs the video data input from the video input device 300 to the video / audio synthesis unit 105.

音声入力制御部１０９は、音声入力装置４００から入力した音声データを映像・音声符号化／復号部１０４および映像・音声合成部１０５に出力する。 The audio input control unit 109 outputs the audio data input from the audio input device 400 to the video / audio encoding / decoding unit 104 and the video / audio synthesis unit 105.

＜テレビ会議装置の接続状態の遷移＞
次に、テレビ会議装置１０−１の接続状態の遷移について、図２を用いて詳細に説明する。 <Transition of video conferencing equipment connection status>
Next, the transition of the connection state of the video conference apparatus 10-1 will be described in detail with reference to FIG.

テレビ会議装置１０−１は、電源ＯＮとなることにより動作を開始する。テレビ会議装置１０−１は、電源ＯＮされた直後では非通信状態である（Ｓ１）。 The video conference apparatus 10-1 starts operating when the power is turned on. The video conference apparatus 10-1 is in a non-communication state immediately after being powered on (S1).

テレビ会議装置１０−１は、非通信状態（Ｓ１）において、他の１つのテレビ会議装置１０−ｉ（ｉは２から２４のいずれかの整数）と接続することにより、テレビ会議装置１０−ｉと一対一の通信状態（１：１通信状態）になる（Ｓ２）。そして、テレビ会議装置１０−１は、１：１通信状態（Ｓ２）において、通信状態であるテレビ会議装置１０−ｉとの接続を切断すると非通信状態になる（Ｓ１）。なお、テレビ会議装置１０−１は、非通信状態（Ｓ１）において、電源ＯＦＦとなることにより動作を終了する。 In the non-communication state (S1), the video conference apparatus 10-1 is connected to the other video conference apparatus 10-i (i is an integer from 2 to 24), whereby the video conference apparatus 10-i. And a one-to-one communication state (1: 1 communication state) (S2). Then, in the 1: 1 communication state (S2), the video conference device 10-1 becomes a non-communication state when the connection with the video conference device 10-i in the communication state is disconnected (S1). In addition, the video conference apparatus 10-1 ends the operation when the power is turned off in the non-communication state (S1).

また、テレビ会議装置１０−１は、１：１通信状態（Ｓ２）から、さらに他のテレビ会議装置１０−ｊ（ｊはｉ以外の２から２４のいずれかの整数）と接続することにより、複数の拠点のテレビ会議装置１０−ｉ、ｊと通信状態（ＭＣＵ通信状態）になる（Ｓ３）。 In addition, the video conference apparatus 10-1 is further connected to another video conference apparatus 10-j (j is an integer from 2 to 24 other than i) from the 1: 1 communication state (S2). A communication state (MCU communication state) is established with the video conference apparatuses 10-i, j at a plurality of bases (S3).

そして、テレビ会議装置１０−１は、通信状態にあるテレビ会議装置１０−ｊとの接続を切断すれば一対一の通信状態になり（Ｓ２）、さらに通信状態にあるテレビ会議装置１０−ｉとの接続を切断すれば非通信状態になる（Ｓ１）。 Then, the video conference apparatus 10-1 is in a one-to-one communication state when the connection with the video conference apparatus 10-j in communication is cut off (S2), and further, with the video conference apparatus 10-i in communication state If the connection is disconnected, the communication state is turned off (S1).

また、テレビ会議装置１０−１は、非通信状態（Ｓ１）において、他の全てのテレビ会議装置１０−２〜２４に対して一斉に発信することにより他の全てのテレビ会議装置１０−２〜２４と通信状態（ＭＣＵ通信状態）になる（Ｓ３）。そして、テレビ会議装置１０は、他の全てのテレビ会議装置１０−２〜２４との接続を一斉に切断すれば非通信状態になる（Ｓ１）。 In addition, the video conference apparatus 10-1 transmits all the other video conference apparatuses 10-2 to 24 at the same time in the non-communication state (S1), thereby transmitting all the other video conference apparatuses 10-2 to 10-2. 24 and a communication state (MCU communication state) (S3). And the video conference apparatus 10 will be in a non-communication state, if the connection with all the other video conference apparatuses 10-2-24 is cut | disconnected all at once (S1).

一斉に発信する方法としては、ユーザが発信時に発信先をテレビ会議装置１０−１に手入力する方法、又は、テレビ会議装置１０−１に予め記憶させておいた複数の発信先情報を登録したリストをユーザに選択させる方法等が考えられる。また、発信先を特定する方法としては、ＩＰアドレス、電話番号番又は識別コード等が考えられる。 As a method of transmitting all at once, a method in which a user manually inputs a destination to the video conference device 10-1 at the time of outgoing or a plurality of destination information stored in advance in the video conference device 10-1 is registered. A method of allowing the user to select a list can be considered. In addition, as a method for specifying a destination, an IP address, a telephone number, an identification code, or the like can be considered.

＜テレビ会議装置の動作＞
次に、テレビ会議装置１０−１の動作について、図３を用いて詳細に説明する。なお、図３は、テレビ会議装置１０−１が、他の全てのテレビ会議装置１０−２〜２４に対して一斉に発信する場合のフローである。 <Operation of video conference device>
Next, operation | movement of the video conference apparatus 10-1 is demonstrated in detail using FIG. FIG. 3 is a flow in the case where the video conference apparatus 10-1 transmits all other video conference apparatuses 10-2 to 24 all at once.

まず、ユーザ指示受信部１０１が、ユーザ操作入力装置２００から信号を受信し、受信した信号に含まれる選択拠点情報を抽出して会議制御部１０２に出力する。 First, the user instruction receiving unit 101 receives a signal from the user operation input device 200, extracts selected base information included in the received signal, and outputs it to the conference control unit 102.

会議制御部１０２は、選択拠点情報のＮ（Ｎは１以上の整数、図３ではＮ＝２３）拠点のそれぞれに設置されたテレビ会議装置１０−２〜２４に一斉発信を行うように通信制御部１０３を制御する。これにより、通信制御部１０３は、選択拠点のテレビ会議装置１０−２〜２４に一斉発信を行う（Ｓ１１）。具体的には、会議制御部１０２は、選択拠点情報が複数の発信先情報を記録した１つのリストの情報である場合、そのリストに登録されている発信先情報の発信先の数により拠点数Ｎを認識することができる。 The conference control unit 102 performs communication control so that simultaneous transmission is performed to the video conference apparatuses 10-2 to 24 installed in each of the N locations (N is an integer of 1 or more, N = 23 in FIG. 3) of the selected location information. The unit 103 is controlled. Thereby, the communication control part 103 performs simultaneous transmission to the video conference apparatuses 10-2-24 of a selection base (S11). Specifically, when the selected base information is information of one list in which a plurality of destination information is recorded, the conference control unit 102 determines the number of bases based on the number of destinations of the destination information registered in the list. N can be recognized.

また、映像・音声符号化／復号部１０４は、ネットワーク情報（各子拠点の装置の種別、パケットロス頻度、ＩＰアドレス、ＲＴＴ、推定帯域等）を初期化する（Ｓ１２）。 The video / audio encoding / decoding unit 104 initializes network information (device type of each child base, packet loss frequency, IP address, RTT, estimated bandwidth, etc.) (S12).

また、通信制御部１０３は、他の拠点の各テレビ会議装置１０−２〜２４との間で呼を確立する（Ｓ１３）。 In addition, the communication control unit 103 establishes a call with each of the video conference apparatuses 10-2 to 24 at other bases (S13).

その後、テレビ会議装置１０−１は、拠点番号２の拠点から順番に、ｎ番目（ｎは２からＮ＋１までのいずれかの整数）の拠点についてグルーピングを行う（Ｓ１４〜Ｓ２０）。具体的には、映像・音声符号化／復号部１０４が、各子拠点から受信したパケットデータを復号し、復号結果に基づいてネットワーク情報の管理（設定、更新）を行い（Ｓ１５）、通信制御部１０３が、ｎ番目の拠点へ発信した信号のＲＴＴが、閾値以下であれば広帯域の拠点と判定し（Ｓ１６、Ｓ１７：ＹＥＳ、Ｓ１８）、閾値より大きければ狭帯域の拠点と判定する（Ｓ１６、Ｓ１７：ＮＯ、Ｓ１９）。 Thereafter, the video conference apparatus 10-1 performs grouping on the n-th base (n is any integer from 2 to N + 1) in order from the base of the base number 2 (S14 to S20). Specifically, the video / audio encoding / decoding unit 104 decodes packet data received from each child base, manages (sets, updates) network information based on the decoding result (S15), and performs communication control. If the RTT of the signal transmitted to the n-th base is equal to or less than the threshold, the unit 103 determines that the base is a broadband base (S16, S17: YES, S18), and if it is greater than the threshold, determines that the base is a narrow base (S16). , S17: NO, S19).

グルーピングが完了した後（Ｓ２０：ＹＥＳ）、映像・音声符号化／復号部１０４は、グループ毎に、映像符号化パラメータを決定する（Ｓ２１）。 After the grouping is completed (S20: YES), the video / audio encoding / decoding unit 104 determines video encoding parameters for each group (S21).

＜テレビ会議装置の動作の変形例＞
次に、テレビ会議装置１０−１の動作の変形例について、図４を用いて詳細に説明する。図４は、通信途中において、グルーピングの精度を維持向上するための動作例である。図３と同じ処理に関しては、図３と同じステップ番号を付与して説明を省略する。 <Modified example of operation of video conference device>
Next, a modified example of the operation of the video conference apparatus 10-1 will be described in detail with reference to FIG. FIG. 4 is an operation example for maintaining and improving the grouping accuracy during communication. For the same processing as in FIG. 3, the same step numbers as in FIG.

図４では、通信制御部１０３は、Ｓ１２の後に、Ｎ拠点との間で呼を確立する（Ｓ２２）。そして、テレビ会議装置１０−１は、Ｓ１４の後に、ｎ番目の拠点のネットワーク情報を取得する（Ｓ２３）。図３のＳ２１の後に、一定時間待機し（Ｓ２４）、Ｎの値を更新する（Ｓ２５）。Ｎの値は、テレビ会議装置１０−１と接続している他のテレビ会議装置の数である。そして、Ｎの値が０よりも大きい（１以上）か否かを判定する（Ｓ２６）。Ｎの値が０よりも大きければ（Ｓ２６：ＹＥＳ）、テレビ会議装置１０−１と接続している他のテレビ会議装置が少なくとも１つは存在するためＳ１４に戻り、一方、Ｎの値が０であれば（Ｓ２６：ＮＯ）、テレビ会議装置１０−１と接続している他のテレビ会議装置が存在しないため本処理を終了する。 In FIG. 4, the communication control unit 103 establishes a call with the N bases after S12 (S22). And the video conference apparatus 10-1 acquires the network information of the n-th base after S14 (S23). After S21 in FIG. 3, the system waits for a certain time (S24), and updates the value of N (S25). The value of N is the number of other video conference apparatuses connected to the video conference apparatus 10-1. And it is determined whether the value of N is larger than 0 (1 or more) (S26). If the value of N is greater than 0 (S26: YES), there is at least one other video conference apparatus connected to the video conference apparatus 10-1, and therefore the process returns to S14, while the value of N is 0. If so (S26: NO), this process ends because there is no other video conference apparatus connected to the video conference apparatus 10-1.

特に子拠点がモバイル端末等である場合、場所や時間によってネットワーク帯域が変化するため、図３のように、通信開始時にＲＴＴの値に基づいて適切にグルーピングしたとしても、その後、グルーピングが不適切になってしまうことがある。 In particular, when the child base is a mobile terminal or the like, the network bandwidth changes depending on the location and time. Therefore, even if appropriate grouping is performed based on the RTT value at the start of communication as shown in FIG. It may become.

これに対して、図４は、通信途中において（Ｓ２６：ＹＥＳ）、各拠点について、定期的にＲＴＴの値を検知し、この検知したＲＴＴの値に基づいて、広帯域又は狭帯域の何れであるかを再判定する（Ｓ１７、Ｓ１８、Ｓ１９）。これにより、子拠点が場所や時間によってネットワーク帯域が変化するモバイル端末等であったとしても、グルーピングの精度を維持向上することができ、その結果、適切な映像符号化パラメータを決定（Ｓ２１）することができる。 On the other hand, in FIG. 4, during the communication (S26: YES), the RTT value is periodically detected for each site, and either wideband or narrowband is determined based on the detected RTT value. It is determined again (S17, S18, S19). Thereby, even if the child base is a mobile terminal or the like whose network bandwidth changes depending on the location and time, the grouping accuracy can be maintained and improved, and as a result, an appropriate video encoding parameter is determined (S21). be able to.

＜効果＞
このように、本実施の形態では、実際のネットワーク帯域と相関があるネットワーク情報に基づいてグルーピングを行うことができるので、子拠点毎に予め設定された調停帯域と実際のネットワーク帯域が異なる拠点について、子拠点毎に予め設定された調停帯域と実際のネットワーク帯域が異なる拠点について、精度が高いグルーピングを行うことができる。 <Effect>
As described above, in the present embodiment, grouping can be performed based on network information correlated with the actual network bandwidth, so that the mediation bandwidth preset for each child site differs from the actual network bandwidth. Therefore, it is possible to perform grouping with high accuracy for a base having a different mediation band from an arbitration band set in advance for each child base.

なお、本発明は、部材の種類、配置、個数等は前述の実施の形態に限定されるものではなく、その構成要素を同等の作用効果を奏するものに適宜置換する等、発明の要旨を逸脱しない範囲で適宜変更可能である。 The present invention is not limited to the above-described embodiments in terms of the type, arrangement, number, etc. of the members, and departs from the gist of the invention, such as appropriately replacing the constituent elements with those having the same operational effects. It is possible to change appropriately within the range not to be.

具体的には、上記の実施の形態では、ＲＴＴと閾値との大小関係に基づいてグルーピングを行う場合について説明したが、本発明はこれに限られず、他のネットワーク情報に基づいてグルーピングを行っても良い。例えば、パケットロスの頻度が閾値以下の拠点を広帯域の拠点と判定し、閾値より大きい拠点を狭帯域の拠点と判定するようにしても良い。あるいは、ＩＰアドレス等、他拠点の場所を推定可能な情報に基づいて、国内に存在する拠点を広帯域の拠点と判定し、海外に存在する拠点を狭帯域の拠点と判定するようにしても良い。あるいは、各子拠点の装置の種別を示す情報に基づいて、モバイル端末以外の拠点を広帯域の拠点と判定し、モバイル端末の拠点を狭帯域の拠点と判定するようにしても良い。 Specifically, in the above embodiment, the case where grouping is performed based on the magnitude relationship between the RTT and the threshold has been described. However, the present invention is not limited to this, and grouping is performed based on other network information. Also good. For example, a base whose packet loss frequency is less than or equal to a threshold may be determined as a broadband base, and a base greater than the threshold may be determined as a narrow-band base. Alternatively, based on information such as an IP address that can estimate the location of another base, a base that exists in Japan may be determined as a broadband base, and a base that exists overseas may be determined as a narrow-band base. . Alternatively, based on information indicating the type of device at each child base, a base other than the mobile terminal may be determined as a broadband base and the mobile terminal base may be determined as a narrow-band base.

また、上記の実施の形態では、映像を表示するまでに静止画を表示する場合について説明したが、本発明はこれに限られず、静止画以外のメッセージ等の文字情報を表示する、あるいは、黒画面のままとするようにしてもよい。 In the above-described embodiment, the case where a still image is displayed before the image is displayed has been described. However, the present invention is not limited to this, and character information such as a message other than the still image is displayed. The screen may be left as it is.

また、上記の実施の形態では、同時に接続できる拠点数が２４であるテレビ会議システムを例に説明したが、本発明は同時に接続できる拠点数に制限は無い。 In the above embodiment, the video conference system in which the number of sites that can be connected simultaneously is 24 has been described as an example. However, the present invention has no limitation on the number of sites that can be connected simultaneously.

また、本発明では、ユーザの設定により、表示用の映像データと送信用の映像データとを別個に生成することができる。例えば、映像入力制御部１０８から出力された映像データを表示用の映像データとし、映像・音声合成部１０５で合成された映像データを送信用の映像データとすることができる。 In the present invention, display video data and transmission video data can be generated separately according to user settings. For example, the video data output from the video input control unit 108 can be used as display video data, and the video data synthesized by the video / audio synthesis unit 105 can be used as transmission video data.

本発明は、ホスト拠点に設けられ、ホスト拠点と異なる複数の拠点の相手装置と同時に接続可能なテレビ会議装置に用いるに好適である。 The present invention is suitable for use in a video conference apparatus that is provided at a host site and can be connected simultaneously with counterpart devices at a plurality of sites different from the host site.

１０テレビ会議装置
１００本体装置
１０１ユーザ指示受信部
１０２会議制御部
１０３通信制御部
１０４映像・音声符号化／復号部
１０５映像・音声合成部
１０６映像・音声出力制御部
１０７静止画保持部
１０８映像入力制御部
１０９音声入力制御部
２００ユーザ操作入力装置
３００映像入力装置
４００音声入力装置
５００表示装置 DESCRIPTION OF SYMBOLS 10 Video conference apparatus 100 Main body apparatus 101 User instruction | indication receiving part 102 Conference control part 103 Communication control part 104 Video | voice / audio encoding / decoding part 105 Video | voice / synthesizer 106 Video | voice / audio output control part 107 Still image holding part 108 Video input Control unit 109 Audio input control unit 200 User operation input device 300 Video input device 400 Audio input device 500 Display device

Claims

A video conference device that is provided at a host site and can be connected simultaneously with a plurality of other sites.
A video input unit that captures the host site and obtains video data;
A communication control unit that transmits and receives packets including video data to and from each other site via a network;
A display control unit that generates composite video data obtained by combining a plurality of the video data and displays the composite video data on the screen;
Comprising
The communication control unit
Grouping the other bases based on information about the network,
The display control unit
Determining video encoding parameters for each group, and encoding the video data based on the video encoding parameters;
Video conferencing equipment.

The information about the network includes RTT (Round-Trip Time) of each other base,
The communication control unit
Grouping the other bases according to the magnitude relationship between the RTT and the threshold value,
The video conference apparatus according to claim 1.

The communication control unit
The base having the RTT equal to or lower than the threshold is determined as a broadband base, and the base having the RTT higher than the threshold is determined as a narrow band base.
The video conference apparatus according to claim 2.