JP2017069744A - Communication control device, program, recording medium, and communication control method - Google Patents
Communication control device, program, recording medium, and communication control method Download PDFInfo
- Publication number
- JP2017069744A JP2017069744A JP2015192734A JP2015192734A JP2017069744A JP 2017069744 A JP2017069744 A JP 2017069744A JP 2015192734 A JP2015192734 A JP 2015192734A JP 2015192734 A JP2015192734 A JP 2015192734A JP 2017069744 A JP2017069744 A JP 2017069744A
- Authority
- JP
- Japan
- Prior art keywords
- gpu
- cpu
- unit
- execution
- resource information
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Abstract
Description
本発明は、通信制御装置及びプログラム、記録媒体、並びに、通信制御方法に関し、例えば、多地点ビデオ会議サーバに適用し得るものである。 The present invention relates to a communication control device and program, a recording medium, and a communication control method, and can be applied to, for example, a multipoint video conference server.
従来、多地点ビデオ会議サーバは、映像のコーデック処理を含むすべての処理をＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）で行う構成としていた（特許文献１参照）。その結果、従来の多地点ビデオ会議サーバは、ＣＰＵの処理負荷がボトルネックとなり、同時接続数や同時会議開催数が制限される等の問題が内在していた。 Conventionally, a multipoint video conference server has a configuration in which all processing including video codec processing is performed by a CPU (Central Processing Unit) (see Patent Document 1). As a result, the conventional multipoint video conference server has a problem that the processing load of the CPU becomes a bottleneck and the number of simultaneous connections and the number of simultaneous conferences are limited.
昨今、映像出力処理（一例）に用いられるＧＰＵ（Ｇｒａｐｈｉｃｓ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）を搭載したＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）が、リリースされている。このＧＰＵを搭載したＣＰＵは、処理負荷のかかる映像出力処理を、ＧＰＵに割り当てる。 Recently, a CPU (Central Processing Unit) equipped with a GPU (Graphics Processing Unit) used for video output processing (an example) has been released. The CPU on which this GPU is mounted assigns a video output process requiring a processing load to the GPU.
しかしながら、多地点ビデオ会議サーバは、接続される端末に関わる映像や音声のコーデック処理（符号化処理、復号処理）、及び映像や音声の合成処理等を実行する。そのため、多地点ビデオ会議サーバにおける処理負荷は、接続する端末に関わる各処理量などに基づいて変動する。よって、多地点ビデオ会議サーバは、他の装置に比べて、ＣＰＵとＧＰＵに効率的に処理負荷を分散させる必要性に迫られている。 However, the multipoint video conference server executes video and audio codec processing (encoding processing and decoding processing) related to a connected terminal, video and audio synthesis processing, and the like. Therefore, the processing load in the multipoint video conference server varies based on each processing amount related to the connected terminal. Therefore, the multipoint video conference server is required to efficiently distribute the processing load to the CPU and the GPU as compared with other devices.
そのため、ＣＰＵとＧＰＵに効率的に処理負荷を分散できる通信制御装置及び通信制御プログラム、記録媒体、並びに、通信制御方法が望まれている。 Therefore, a communication control device, a communication control program, a recording medium, and a communication control method that can efficiently distribute the processing load between the CPU and the GPU are desired.
第１の本発明は、複数の通信装置に接続され、少なくとも１つのＣＰＵと、少なくとも１つのＧＰＵとを有する通信制御装置であって、（１）第１処理部の実行前における実行前ＣＰＵリソース情報と、実行前ＧＰＵリソース情報とを確認するリソース情報確認手段と、（２）前記第１処理部の実行後における実行後ＣＰＵリソース情報と、実行後ＧＰＵリソース情報とを推定するリソース情報推定手段と、（３）前記実行前ＣＰＵリソース情報と、前記実行前ＧＰＵリソース情報と、前記実行後ＣＰＵリソース情報と、前記実行後ＧＰＵリソース情報とに基づいて、前記第１処理部の実行を、ＣＰＵ及びＧＰＵのうち少なくとも１つの処理装置に割り当てる割当手段とを有することを特徴とする。 A first aspect of the present invention is a communication control device that is connected to a plurality of communication devices and has at least one CPU and at least one GPU, and (1) a pre-execution CPU resource before the execution of the first processing unit Resource information confirmation means for confirming information and pre-execution GPU resource information; (2) resource information estimation means for estimating post-execution CPU resource information and post-execution GPU resource information after execution of the first processing unit; And (3) executing the first processing unit based on the pre-execution CPU resource information, the pre-execution GPU resource information, the post-execution CPU resource information, and the post-execution GPU resource information. And assigning means for assigning to at least one processing device among the GPUs.
第２の本発明のプログラムは、複数の通信装置に接続され、少なくとも１つのＣＰＵと、少なくとも１つのＧＰＵとを有するコンピュータを、（１）第１処理部の実行前における実行前ＣＰＵリソース情報と、実行前ＧＰＵリソース情報とを確認するリソース情報確認手段と、（２）前記第１処理部の実行後における実行後ＣＰＵリソース情報と、実行後ＧＰＵリソース情報とを推定するリソース情報推定手段と、（３）前記実行前ＣＰＵリソース情報と、前記実行前ＧＰＵリソース情報と、前記実行後ＣＰＵリソース情報と、前記実行後ＧＰＵリソース情報とに基づいて、前記第１処理部の実行を、ＣＰＵ及びＧＰＵのうち少なくとも１つの処理装置に割り当てる割当手段として機能させることを特徴とする。 A program according to a second aspect of the present invention provides a computer connected to a plurality of communication devices and having at least one CPU and at least one GPU. (1) CPU resource information before execution before execution of the first processing unit Resource information confirmation means for confirming pre-execution GPU resource information; (2) resource information estimation means for estimating post-execution CPU resource information after execution of the first processing unit; and post-execution GPU resource information; (3) Based on the pre-execution CPU resource information, the pre-execution GPU resource information, the post-execution CPU resource information, and the post-execution GPU resource information, the execution of the first processing unit is performed by the CPU and the GPU. It is made to function as an allocation means to allocate to at least one processing apparatus.
第３の本発明は、第２の本発明のプログラムを記録したコンピュータ読み取り可能な記録媒体である。 The third aspect of the present invention is a computer-readable recording medium on which the program of the second aspect of the present invention is recorded.
第４の本発明は、複数の通信装置に接続され、少なくとも１つのＣＰＵと、少なくとも１つのＧＰＵとを有する通信制御装置の通信制御方法であって、前記通信制御装置は、（１）第１処理部の実行前における実行前ＣＰＵリソース情報と、実行前ＧＰＵリソース情報とを確認するリソース情報確認ステップと、（２）前記第１処理部の実行後における実行後ＣＰＵリソース情報と、実行後ＧＰＵリソース情報とを推定するリソース情報推定ステップと、（３）前記実行前ＣＰＵリソース情報と、前記実行前ＧＰＵリソース情報と、前記実行後ＣＰＵリソース情報と、前記実行後ＧＰＵリソース情報とに基づいて、前記第１処理部の実行を、ＣＰＵ及びＧＰＵのうち少なくとも１つの処理装置に割り当てるアプリケーション割当ステップとを有することを特徴とする。 A fourth aspect of the present invention is a communication control method for a communication control apparatus connected to a plurality of communication apparatuses and having at least one CPU and at least one GPU, the communication control apparatus comprising: (1) first A resource information confirmation step for confirming pre-execution CPU resource information and pre-execution GPU resource information before execution of the processing unit; (2) post-execution CPU resource information after execution of the first processing unit; and post-execution GPU Resource information estimation step for estimating resource information; (3) based on the pre-execution CPU resource information, the pre-execution GPU resource information, the post-execution CPU resource information, and the post-execution GPU resource information; An application allocating step for allocating execution of the first processing unit to at least one processing device of the CPU and the GPU. Characterized in that it.
本発明によれば、ＣＰＵとＧＰＵに効率的に処理負荷を分散できる。 According to the present invention, the processing load can be efficiently distributed to the CPU and the GPU.
（Ａ）第１の実施形態
以下、本発明による通信制御装置及びプログラム、記録媒体、並びに、通信制御方法の第１の実施形態を、図面を参照しながら詳述する。
(A) First Embodiment Hereinafter, a first embodiment of a communication control device and program, a recording medium, and a communication control method according to the present invention will be described in detail with reference to the drawings.
（Ａ−１）第１の実施形態の構成
図１は、第１の実施形態に係る会議システムの全体構成を示すブロック図である。
(A-1) Configuration of First Embodiment FIG. 1 is a block diagram showing an overall configuration of a conference system according to the first embodiment.
会議システム１には、会議サーバ１０と、４台の会議端末４０−１〜４０−４が配置されている。
In the
会議サーバ１０は、会議端末の接続許可及びアドレス変換機能を有する呼制御部２０（ゲートキーパ（以下、「ＧＫ」ともいう）２０）と、２人以上の参加者による多地点会議において、音声、映像、データを相互交換する機能を担っているメディア処理部３０（ＭＣＵ３０）と、主にメディア処理部３０の構成（処理）を制御するメディア制御部７００とを有している。
The
会議サーバ１０においては、仮想的に１又は複数の会議室が設定される。会議サーバ１０は、会議端末４０−１〜４０−４から受信した映像データを合成して、合成した映像データを会議端末４０−１〜４０−４に送信する。さらに、会議サーバ１０は、会議端末４０−１〜４０−４から受信した音声データを合成して、合成した音声データを会議端末４０−１〜４０−４に送信する。
In the
この実施形態の説明おいて、会議サーバ１０の一例は、次の通りである。会議サーバ１０は、４台の会議端末４０−１〜４０−４により一つの会議室が設定される。会議サーバ１０は、会議端末４０−１〜４０−４から受信した映像データを合成して、合成した映像データを会議端末４０−１〜４０−４に送信する。さらに、会議サーバ１０は、会議端末４０−１〜４０−４から受信した音声データを合成して、合成した音声データを会議端末４０−１〜４０−４に送信する。
In the description of this embodiment, an example of the
図１において、会議サーバ１０は、映像データと併せて音声データを会議端末４０−１〜４０−４から受信し、合成し、送信するものとしているが、映像データ、又は音声データのいずれかデータを会議端末４０−１〜４０−４から受信し、合成し、送信するようにしても良い。
In FIG. 1, the
また、図１において、会議端末４０−１〜４０−４は、会議サーバ１０（メディア処理部３０（ＭＣＵ３０））と、Ｈ.３２３準拠の方式で呼を接続するものとして説明するが、呼を接続する方式はＨ．３２３に限定されないものである。呼を接続する方式における他の一例は、ＳＩＰ（Ｓｅｓｓｉｏｎ Ｉｎｉｔｉａｔｉｏｎ Ｐｒｏｔｏｃｏｌ）などがある。 In FIG. 1, the conference terminals 40-1 to 40-4 are described as connecting the conference server 10 (media processing unit 30 (MCU 30)) with a H.323-compliant method. The connection method is H.264. It is not limited to H.323. Another example of a method for connecting calls is SIP (Session Initiation Protocol).
会議端末４０−１〜４０−４は、上述の通り会議サーバ１０に接続する端末であり、既存のビデオ会議システムにおける端末を適用するようにしても良い。なお、配置する会議端末４０の数は限定されないものである。
The conference terminals 40-1 to 40-4 are terminals connected to the
なお、メディア処理部３０（ＭＣＵ３０）と、メディア制御部７００の構成例は、後述される図３、図４を用いて説明される。
Configuration examples of the media processing unit 30 (MCU 30) and the
＜会議サーバ１０のハードウェア構成例＞
図２は、会議サーバ１０のハードウェア構成例を示すブロック図である。
<Hardware configuration example of
FIG. 2 is a block diagram illustrating a hardware configuration example of the
図２において、会議サーバ１０は、ＣＰＵ６１１と、ＧＰＵ６１２と、メモリ６１３（ＣＰＵ用メモリ６１３−１、ＧＰＵ用メモリ６１３−２）と、インタフェース６１４と、記憶装置６１５とを有している。
In FIG. 2, the
ＣＰＵ６１１は、少なくとも会議サーバ１０の一部の構成を制御する演算処理装置（プロセッサ）である。
The
例えば、ＣＰＵ６１１は、メモリ６１３（ＣＰＵ用メモリ６１３−１）に、記憶装置６１５に記憶されるプログラムをロードする。そして、ＣＰＵ６１１は、ロードしたプログラムを実行して、呼制御部２０、メディア処理部３０（ＭＣＵ３０）（後述）、メディア制御部７００（後述）を実現する。
For example, the
なお、ＣＰＵ６１１により実現されるメディア処理部３０（ＭＣＵ３０）の構成は、全ての構成、又は一部の構成である。ＣＰＵ６１１により実現されるメディア処理部３０（ＭＣＵ３０）の構成が一部の構成である場合、残りのメディア処理部３０（ＭＣＵ３０）の構成は、後述されるＧＰＵ６１２により実現される。
Note that the configuration of the media processing unit 30 (MCU 30) realized by the
ＧＰＵ６１２は、会議サーバ１０の一部の構成する演算処理装置である。さらに、ＧＰＵ６１２は、種々の映像データ、音声データを、映像符号化方式、音声符号化方式に基づいて処理するコーデックエンジンが搭載されている演算処理装置であり、ＣＰＵ６１１に比べて複数のタスクを同時に処理することができる演算処理装置である。
The GPU 612 is an arithmetic processing device that constitutes a part of the
例えば、ＧＰＵ６１２は、メモリ６１３（ＧＰＵ用メモリ６１３−２）にロードされたプログラムを用いる。ここで、ロードされたプログラムは、記憶装置６１５に記憶されるプログラムであり、ＣＰＵ６１１によって、メモリ６１３（ＧＰＵ用メモリ６１３−２）にロードされたプログラムである。そして、ＧＰＵ６１２は、ＣＰＵ６１１から命令を受信して、命令に関わるプログラムを実行して後述されるメディア処理部３０（ＭＣＵ３０）を実現する。
For example, the GPU 612 uses a program loaded in the memory 613 (GPU memory 613-2). Here, the loaded program is a program stored in the
なお、ＧＰＵ６１２により実現されるメディア処理部３０（ＭＣＵ３０）の構成は、一部の構成である。残りのメディア処理部３０（ＭＣＵ３０）の構成は、上述のＣＰＵ６１１にて実現される。
Note that the configuration of the media processing unit 30 (MCU 30) realized by the
メモリ６１３（ＣＰＵ用メモリ６１３−１、ＧＰＵ用メモリ６１３−２）は、演算処理装置が直接アクセスする１次記憶手段である。なお、ＣＰＵ用メモリ６１３−１は、ＣＰＵ６１１が使用するメモリ領域である。また、ＧＰＵ用メモリ６１３−２は、ＧＰＵ６１２が使用するメモリ領域である。
The memory 613 (CPU memory 613-1, GPU memory 613-2) is primary storage means directly accessed by the arithmetic processing unit. The CPU memory 613-1 is a memory area used by the
インタフェース６１４は、会議サーバ１０の外部に存在する装置と接続するための接続インタフェースである。インタフェース６１４は、ネットワーク（図示せず）を介して会議端末４０（４０−１〜４０−４）と接続される。
The
また、インタフェース６１４は、会議サーバ１０内におけるＣＰＵ６１１、ＧＰＵ６１２、メモリ６１３（ＣＰＵ用メモリ６１３−１、ＧＰＵ用メモリ６１３−２）と接続される。
The
記憶装置６１５は、ＣＰＵ６１１、若しくはＧＰＵ６１２（又はその両方）で実行されるプログラム等を記憶する装置である。記憶装置６１５は、ＵＳＢメモリやＳＳＤを一例とするフラッシュメモリ、ハードディスクを一例とする磁気記憶装置等である。さらに、記憶装置６１５は、このプログラム等が記憶されたＣＤ−ＲＯＭやＦＤを一例とする記憶媒体とその記憶媒体を読み取る記憶媒体読取装置を一対とした記憶装置等である。
The
＜メディア処理部３０（ＭＣＵ３０）内部の機能的構成例＞
図３は、メディア処理部３０（ＭＣＵ３０）内部の機能的構成例について示したブロック図である。
<Functional Configuration Example Inside Media Processing Unit 30 (MCU 30)>
FIG. 3 is a block diagram illustrating a functional configuration example inside the media processing unit 30 (MCU 30).
なお、図３においては記載を省略しているが、既存のＭＣＵ装置と同様に、データ信号処理装置等を有する構成としても良い。 In addition, although description is abbreviate | omitted in FIG. 3, it is good also as a structure which has a data signal processing apparatus etc. similarly to the existing MCU apparatus.
図３において、メディア処理部３０（ＭＣＵ３０）は、映像データ処理部３１、音声データ処理部３２、データ受信処理部３３（３３−１〜３３−４）、及びデータ送信処理部３７（３７−１〜３７−４）を有する。
In FIG. 3, a media processing unit 30 (MCU 30) includes a video
メディア処理部３０（ＭＣＵ３０）の各部（映像データ処理部３１、音声データ処理部３２、データ受信処理部３３、データ送信処理部３７）は、メディア制御部７００（図１）により、制御される。
Each unit (video
なお、データ受信処理部３３、データ送信処理部３７は、接続する会議端末４０と同数作成される。
Note that the same number of data
ここで、メディア処理部３０（ＭＣＵ３０）の各部の処理は、会議サーバ１０のハードウェア構成例を示すブロック図（図２）により、実現される。
Here, the processing of each unit of the media processing unit 30 (MCU 30) is realized by a block diagram (FIG. 2) showing an example of a hardware configuration of the
メディア処理部３０（ＭＣＵ３０）の各部の処理は、例えば、ＣＰＵ６１１、又はＧＰＵ６１２がアクセス可能な記憶装置６１５に記憶されたメディア処理プログラムにコーディングされている。そして、ＣＰＵ６１１、又はＧＰＵ６１２が記憶装置６１５からメディア処理プログラムを読み出して、コーディングされている処理を実行する。
The processing of each unit of the media processing unit 30 (MCU 30) is coded in, for example, a media processing program stored in the
メディア処理部３０（ＭＣＵ３０）の各部の構成例（データ受信処理部３３、映像データ処理部３１、音声データ処理部３２、及びデータ送信処理部３７）は、次の通りである。
A configuration example (data
ここで、メディア制御部７００（図１）は、呼制御部２０（ＧＫ２０）から、会議端末４０（４０−１〜４０−４）で利用可能な符号化方式とその仕様を受信しているものとする。 Here, the media control unit 700 (FIG. 1) has received from the call control unit 20 (GK20) the encoding schemes usable by the conference terminals 40 (40-1 to 40-4) and their specifications. And
なお、呼制御部２０（ＧＫ２０）は、会議サーバ１０と会議端末４０−１〜４０−４との間で呼が確立するとき、会議端末４０（４０−１〜４０−４）から、利用可能な符号化方式とその仕様を受信するものとする（または、呼制御部２０（ＧＫ２０）は、予め、利用可能な符号化方式とその仕様を記憶しているものとする）。
The call control unit 20 (GK20) can be used from the conference terminal 40 (40-1 to 40-4) when a call is established between the
＜データ受信処理部３３＞
データ受信処理部３３（３３−１〜３３−４）は、メディア制御部７００の指示により割り当てられたＣＰＵ６１１により、データ受信処理を行う機能を有する。
<Data
The data reception processing unit 33 (33-1 to 33-4) has a function of performing data reception processing by the
データ受信処理部３３（３３−１〜３３−４）は、会議端末４０（４０−１〜４０−４）から映像データ（符号化済）と音声データ（符号化済）を受信する。 The data reception processing unit 33 (33-1 to 33-4) receives video data (encoded) and audio data (encoded) from the conference terminals 40 (40-1 to 40-4).
データ受信処理部３３（３３−１〜３３−４）は、映像データ処理部３１に、受信した映像データ（符号化済）を送信し、音声データ処理部３２に、受信した音声データ（符号化済）を送信する。
The data reception processing unit 33 (33-1 to 33-4) transmits the received video data (encoded) to the video
＜映像データ処理部３１＞
映像データ処理部３１は、メディア制御部７００（図１）の指示により割り当てられたＣＰＵ６１１若しくはＧＰＵ６１２（又は、その両方）により、映像処理（映像復号、映像合成、映像符号化）を行う機能を有する。
<Video
The video
映像データ処理部３１は、映像データ復号部３４ａ（３４ａ−１〜３４ａ−４）、映像データ合成部３５ａ（３５ａ−１〜３５ａ−４）、及び映像データ符号化部３６ａ（３６ａ−１〜３６ａ−４）を有する。なお、映像データ復号部３４ａ、映像データ合成部３５ａ、映像データ符号化部３６ａは、接続する会議端末数と同数作成される。
The video
また、複数の映像データ合成部３５ａにおいて、映像データ合成部３５ａの入力される映像データと出力される映像データが同じである場合、複数の映像データ合成部３５ａは、１つの映像データ合成部３５ａで処理してもよい（なお、各映像データ合成部３５ａと各映像データ符号化部３６ａとの接続は、メディア制御部７００（図１）からの指示により、動的に変更可能である）。
In addition, in the plurality of video
また、映像データ符号化部３６ａは、会議室に対して１つ以上任意の数で作成される。映像データ符号化部３６ａは、メディア制御部７００の指示により、新たに作成されること、及び消去されることができるものとする。映像データ符号化部３６ａとデータ送信処理部３７の接続関係は、会議中であっても、メディア制御部７００の指示により、動的に変化させることができるものとする。
In addition, one or more video
また、複数の映像データ符号化部３６ａにおいて、映像データ符号化部３６ａに入力される映像データと出力される映像データが同じである場合、複数の映像データ符号化部３６ａは、１つの映像データ符号化部３６ａで処理してもよい（なお、各映像データ符号化部３６ａと各データ送信処理部３７との接続は、メディア制御部７００（図１）からの指示により、動的に変更可能である）。
In addition, in the plurality of video
ここで、映像データ処理部３１の各部（映像データ復号部３４ａ、映像データ合成部３５ａ、映像データ符号化部３６ａ）の構成は、次の通りである。
Here, the configuration of each unit (video data decoding unit 34a, video
＜＜映像データ復号部３４ａ＞＞
映像データ復号部３４ａ（３４ａ−１〜３４ａ−４）は、データ受信処理部３３（３３−１〜３３−４）から、映像データ（符号化済）を受信して、受信した映像データ（符号化済）を復号する。映像データ復号部３４ａ（３４ａ−１〜３４ａ−４）は、映像データ合成部３５ａ（３５ａ−１〜３５ａ−４）に、復号した映像データを送信する。
<< Video Data Decoding Unit 34a >>
The video data decoding unit 34a (34a-1 to 34a-4) receives video data (encoded) from the data reception processing unit 33 (33-1 to 33-4), and receives the received video data (code Decrypted). The video data decoding unit 34a (34a-1 to 34a-4) transmits the decoded video data to the video
ここで、映像データ復号部３４ａ（３４ａ−１〜３４ａ−４）は、映像データ（符号化済）を復号処理する際、後述されるメディア制御部７００により設定された符号化方式であり、会議端末４０（４０−１〜４０−４）にて用いられた符号化方式に基づいて、復号処理を行う。
Here, the video data decoding unit 34a (34a-1 to 34a-4) is an encoding method set by the
なお、会議端末４０において、資料共有（ＰＣ画面や特定のアプリウインドウ）などが行われている場合、映像データ復号部３４ａ（３４ａ−１〜３４ａ−４）は、上述の処理と並行して、データ受信処理部３３（３３−１〜３３−４）から、映像データ（資料共有）（符号化済）を受信して、受信した映像データ（資料共有）（符号化済）を復号する。映像データ復号部３４ａ（３４ａ−１〜３４ａ−４）は、映像データ合成部３５ａ（３５ａ−１〜３５ａ−４）に、復号した映像データ（資料共有）を送信する。
In the conference terminal 40, when document sharing (PC screen or specific application window) or the like is performed, the video data decoding unit 34a (34a-1 to 34a-4) performs the above processing in parallel. Video data (material sharing) (encoded) is received from the data reception processing unit 33 (33-1 to 33-4), and the received video data (material sharing) (encoded) is decoded. The video data decoding unit 34a (34a-1 to 34a-4) transmits the decoded video data (material sharing) to the video
＜＜映像データ合成部３５ａ＞＞
映像データ合成部３５ａ（３５ａ−１〜３５ａ−４）は、映像データ復号部３４ａ（３４ａ−１〜３４ａ−４）から、映像データ（復号済）を受信して、受信した映像データ（復号済）を合成する。映像データ合成部３５ａ（３５ａ−１〜３５ａ−４）は、合成された映像データを、映像データ符号化部３６ａ（３６ａ−１〜３６ａ−４）にする。
<< Video
The video
ここで、映像データ合成部３５ａは、合成処理を行う際、映像データ（合成済）の送信先となる会議端末４０（４０−１〜４０−４）に関わる映像データ（復号済）を除いて合成する。
Here, the video
例えば、映像データ合成部３５ａは、会議端末４０−１に関わる合成処理を行う際、映像データ復号部３４ａ−１から受信した映像データ（復号済）を除いて、映像データ復号部３４ａ−２〜３４ａ−４から受信した映像データ（復号済）を合成する。
For example, when the video
なおここで、映像データ合成部３５ａは、合成処理を行う際、全ての会議端末４０（４０−１〜４０−４）に関わる映像データ（復号済）を合成してもよい。
Here, the video
＜＜映像データ符号化部３６ａ＞＞
映像データ符号化部３６ａ（３６ａ−１〜３６ａ−４）は、映像データ合成部３５ａ（３５ａ−１〜３５ａ−４）から、映像データ（合成済）を受信して、受信した映像データ（合成済）を符号化する。
<< Video
The video
映像データ符号化部３６ａ（３６ａ−１〜３６ａ−４）は、会議端末４０（４０−１〜４０−４）に、符号化した映像データを送信する。
The video
なお、映像データ符号化部３６ａ（３６ａ−１〜３６ａ−４）は、映像データ（合成済）を符号化処理する際、後述されるメディア制御部７００により設定された符号化方式であり、会議端末４０（４０−１〜４０−４）にて用いられた符号化方式に基づいて、符号化処理を行う。
Note that the video
＜音声データ処理部３２＞
音声データ処理部３２は、メディア制御部７００の指示により割り当てられたＣＰＵ６１１若しくはＧＰＵ６１２（又は、その両方）により、音声処理（音声復号、音声合成、音声符号化）を行う機能を有する。
<Audio
The voice
音声データ処理部３２は、音声データ復号部３４ｂ（３４ｂ−１〜３４ｂ−４）、音声データ合成部３５ｂ（３５ｂ−１〜３５ｂ−４）、及び音声データ符号化部３６ｂ（３６ｂ−１〜３６ｂ−４）を有する。なお、音声データ復号部３４ｂ、音声データ合成部３５ｂ、音声データ符号化部３６ｂは、接続する会議端末数と同数作成される。
The audio
また、複数の音声データ合成部３５ｂにおいて、音声データ合成部３５ｂの入力される音声データと出力される音声データが同じである場合、複数の音声データ合成部３５ｂは、１つの音声データ合成部３５ｂで処理してもよい（なお、各音声データ合成部３５ｂと各音声データ符号化部３６ｂとの接続は、メディア制御部７００（図１）からの指示により、動的に変更可能である）。
In addition, in the plurality of sound data synthesizers 35b, when the sound data input to the sound data synthesizer 35b is the same as the sound data to be output, the plurality of sound data synthesizers 35b is one sound data synthesizer 35b. (The connection between each audio data synthesis unit 35b and each audio
また、音声データ符号化部３６ｂは、会議室に対して１つ以上任意の数で作成される。音声データ符号化部３６ｂは、メディア制御部７００の指示により、新たに作成されること、及び消去されることができるものとする。音声データ符号化部３６ｂとデータ送信処理部３７の接続関係は、会議中であっても、メディア制御部７００の指示により、動的に変化させることができるものとする。
In addition, one or more audio
また、複数の音声データ符号化部３６ｂにおいて、音声データ符号化部３６ｂに入力される音声データと出力される音声データが同じである場合、複数の音声データ符号化部３６ｂは、１つの音声データ符号化部３６ｂで処理してもよい（なお、各音声データ符号化部３６ｂと各データ送信処理部３７との接続は、メディア制御部７００（図１）からの指示により、動的に変更可能である）。
In addition, in the plurality of audio
ここで、音声データ処理部３２の各部（音声データ復号部３４ｂ、音声データ合成部３５ｂ、音声データ符号化部３６ｂ）の構成は、次の通りである。
Here, the configuration of each unit (the audio
＜＜音声データ復号部３４ｂ＞＞
音声データ復号部３４ｂ（３４ｂ−１〜３４ｂ−４）は、データ受信処理部３３（３３−１〜３３−４）から、音声データ（符号化済）を受信して、受信した音声データ（符号化済）を復号する。音声データ復号部３４ｂ（３４ｂ−１〜３４ｂ−４）は、音声データ合成部３５ｂ（３５ｂ−１〜３５ｂ−４）に、復号した音声データを送信する。
<< Audio
The audio
なお、音声データ復号部３４ｂ（３４ｂ−１〜３４ｂ−４）は、音声データ（符号化済）を復号処理する際、後述されるメディア制御部７００により指示された符号化方式であり、会議端末４０（４０−１〜４０−４）にて用いられた符号化方式に基づいて、復号処理を行う。
The audio
＜＜音声データ合成部３５ｂ＞＞
音声データ合成部３５ｂ（３５ｂ−１〜３５ｂ−４）は、音声データ復号部３４ｂ（３４ｂ−１〜３４ｂ−４）から、音声データ（復号済）を受信して、受信した音声データ（復号済）を合成する。音声データ合成部３５ｂ（３５ｂ−１〜３５ｂ−４）は、合成された音声データを、音声データ符号化部３６ｂ（３６ｂ−１〜３６ｂ−４）にする。
<< Sound Data Synthesizer 35b >>
The voice data synthesis unit 35b (35b-1 to 35b-4) receives the voice data (decoded) from the voice
ここで、音声データ合成部３５ｂ（３５ｂ−１〜３５ｂ−４）は、合成処理を行う際、音声データ（合成済）の送信先となる会議端末４０（４０−１〜４０−４）に関わる音声データ（復号済）を除いて合成する。 Here, the voice data synthesizer 35b (35b-1 to 35b-4) is involved in the conference terminals 40 (40-1 to 40-4) that are the transmission destinations of the voice data (synthesized) when performing the synthesis process. It is synthesized by excluding the voice data (decoded).
例えば、音声データ合成部３５ｂ−１は、会議端末４０−１に関わる合成処理を行う際、音声データ復号部３４ｂ−１から受信した音声データ（復号済）を除いて、音声データ復号部３４ｂ−２〜３４ｂ−４から受信した音声データ（復号済）を合成する。
For example, the voice data synthesizing unit 35b-1 excludes the voice data (decoded) received from the voice
＜＜音声データ符号化部３６ｂ＞＞
音声データ符号化部３６ｂ（３６ｂ−１〜３６ｂ−４）は、音声データ合成部３５ｂ（３５ｂ−１〜３５ｂ−４）から、音声データ（合成済）を受信して、受信した音声データ（合成済）を符号化する。
<< Audio
The voice
音声データ符号化部３６ｂ（３６ｂ−１〜３６ｂ−４）は、会議端末４０（４０−１〜４０−４）に、符号化した音声データを送信する。
The audio
なお、音声データ符号化部３６ｂ（３６ｂ−１〜３６ｂ−４）は、音声データ（合成済）を符号化処理する際、後述されるメディア制御部７００により指示された符号化方式であり、会議端末４０（４０−１〜４０−４）にて用いられた符号化方式に基づいて、符号化処理を行う。
Note that the audio
＜データ送信処理部３７＞
データ送信処理部３７（３７−１〜３７−４）は、メディア制御部７００の指示により割り当てられたＣＰＵ６１１により、データ送信処理を行う機能を有する。
<Data
The data transmission processing unit 37 (37-1 to 37-4) has a function of performing data transmission processing by the
データ送信処理部３７（３７−１〜３７−４）は、映像データ処理部３１（映像データ符号化部３６ａ（３６ａ−１〜３６ａ−４））から、映像データ（符号化済）を受信して、受信した映像データ（符号化済）を、会議端末４０（４０−１〜４０−４）に送信する。
The data transmission processing unit 37 (37-1 to 37-4) receives video data (encoded) from the video data processing unit 31 (video
データ送信処理部３７（３７−１〜３７−４）は、音声データ処理部３２（音声データ符号化部３６ｂ（３６ｂ−１〜３６ｂ−４））から、音声データ（符号化済）を受信して、受信した音声データ（符号化済）を、会議端末４０（４０−１〜４０−４）に送信する。
The data transmission processing unit 37 (37-1 to 37-4) receives the audio data (encoded) from the audio data processing unit 32 (audio
＜メディア制御部７００内部の機能的構成例＞
図４は、メディア制御部７００内部の機能的構成例について示したブロック図である。
<Example of Functional Configuration Inside
FIG. 4 is a block diagram showing an example of a functional configuration inside the
図４において、メディア制御部７００は、上限リソース情報取得部３１０と、使用リソース情報取得部３２０と、ＣＰＵ／ＧＰＵ処理割当候補取得部３３０と、ＣＰＵ/ＧＰＵ処理割当部３４０と、メディア機能制御部３５０とを有する。
4, the
ここで、各部の処理は、会議サーバ１０のハードウェア構成例を示すブロック図（図２）により、実現される。
Here, the process of each part is implement | achieved by the block diagram (FIG. 2) which shows the hardware structural example of the
各部の処理は、例えば、ＣＰＵ６１１がアクセス可能な記憶装置６１５に記憶された制御プログラムにコーディングされる。そして、ＣＰＵ６１１が記憶装置から制御プログラムを読み出して、コーディングされている処理を実行する。
The processing of each unit is coded in a control program stored in the
各部の構成例（上限リソース情報取得部３１０、使用リソース情報取得部３２０、ＣＰＵ／ＧＰＵ処理割当候補取得部３３０、ＣＰＵ/ＧＰＵ処理割当部３４０、及びメディア機能制御部３５０）は、次の通りである。
A configuration example of each unit (upper limit resource
＜上限リソース情報取得部３１０＞
上限リソース情報取得部３１０は、各リソースの上限値を取得するものである。例えば、上限リソース情報取得部３１０は、ＣＰＵ６１１の上限使用率であるＣＰＵ上限使用率Ｃｍａｘ、ＧＰＵ６１２の上限使用率であるＧＰＵ上限使用率Ｇｍａｘ、会議室数の上限数、１会議室における会議端末の上限接続数、会議端末４０との間で使用可能な映像符号化方式に関する１つの会議端末におけるＧＰＵ使用率及びＣＰＵ使用率、会議端末４０との間で使用可能な音声符号化方式に関する１つの会議端末におけるＧＰＵ使用率とＣＰＵ使用率、会議サーバ１０における伝送容量の上限値（１０Ｍｂｐｓ、１００Ｍｂｐｓ、１Ｇｂｐｓなど）等の情報を取得する。
<Upper limit resource
The upper limit resource
なお、会議端末４０との間で使用可能な映像符号化方式と音声符号化方式の一例は、「＜＜映像符号化方式と音声符号化方式の一例＞＞」の項目（後述）で、説明される。 An example of the video encoding method and the audio encoding method that can be used with the conference terminal 40 is described in the item “<< Example of video encoding method and audio encoding method >>” (described later). Is done.
また、映像符号化方式と音声符号化方式に関する１つの会議端末におけるＧＰＵ使用率及びＣＰＵ使用率の一例は、「＜＜符号化方式（ｚ）と、１つの会議端末におけるＧＰＵ使用率及びＣＰＵ使用率の一例＞＞」の項目（後述）で、説明される。 An example of the GPU usage rate and CPU usage rate in one conference terminal related to the video encoding method and the audio encoding method is “<< encoding method (z), GPU usage rate and CPU usage in one conference terminal” An example of the rate >> ”(described later) will be described.
＜使用リソース情報取得部３２０＞
使用リソース情報取得部３２０は、各リソースの現在使用している値（情報）を取得するものである。例えば、使用リソース情報取得部３２０は、メモリ６１３（ＣＰＵ用メモリ６１３−１）から、ＣＰＵ６１１の現在使用率であるＣＰＵ現在使用率Ｃ、ＧＰＵ６１２の現在使用率であるＧＰＵ現在使用率Ｇ、現在稼動中の会議室数、各稼動中会議室における現在の会議端末の接続数、各稼動中会議室における現在使用中の映像符号化方式、各稼動中会議室における現在使用中の音声符号化方式、会議サーバ１０における現在使用中の伝送容量を取得する。
<Used resource
The used resource
なお、ＣＰＵ現在使用率Ｃは、ＣＰＵ６１１により、所定の時間間隔、ＣＰＵのプログラムの開始時（終了時）などのタイミングに基づいて、メモリ６１３（ＣＰＵ用メモリ６１３−１）に記録されるものとする。
The CPU current usage rate C is recorded by the
また、ＧＰＵ現在使用率Ｇは、ＧＰＵ６１２により、所定の時間間隔、プログラムの実行時、プログラムの終了時などのタイミングに基づいて、ＧＰＵ現在使用率Ｇを、メモリ６１３（ＧＰＵ用メモリ６１３−２）に記録されるものとする。さらに、メモリ６１３（ＧＰＵ用メモリ６１３−２）に記録されるＧＰＵ現在使用率Ｇは、ＣＰＵ６１１により、アクセスされ、メモリ６１３（ＣＰＵ用メモリ６１３−１）に記録されるものとする。
Further, the GPU current usage rate G is determined by the
＜ＣＰＵ／ＧＰＵ処理割当候補取得部３３０＞
ＣＰＵ／ＧＰＵ処理割当候補取得部３３０は、メディア処理部３０（ＭＣＵ３０）の構成を、ＣＰＵ６１１、若しくはＧＰＵ６１２（又はその両方）に割り当てる割当候補の取得を行う（割当候補の一例は、「＜＜割当候補と、変更される会議端末に関するＧＰＵ使用率及びＣＰＵ使用率の一例＞＞」の項目（後述）で、説明される）。
<CPU / GPU processing allocation
The CPU / GPU process allocation
なお、ＣＰＵ／ＧＰＵ処理割当候補取得部３３０は、例えば、割当候補を、メモリ６１３（ＣＰＵ用メモリ６１３−１）、又は記憶装置６１５から取得するものとする。
Note that the CPU / GPU processing allocation
＜ＣＰＵ/ＧＰＵ処理割当部３４０＞
ＣＰＵ/ＧＰＵ処理割当部３４０は、ＣＰＵ／ＧＰＵ処理割当候補取得部３３０で取得された割当候補について、現在のリソース情報等を総合的に考慮して、実際に割当候補の内から一つを選択してメディア処理部３０（ＭＣＵ３０）の処理を割り当てるものである。なお、ＣＰＵ/ＧＰＵ処理割当部３４０は、メディア処理部３０（ＭＣＵ３０）の処理について、基本的にＧＰＵ６１２に処理を割り当てるのが効率的であるために、ＧＰＵ現在使用率Ｇが、ＧＰＵ上限使用率Ｇｍａｘに到達していなければ、優先的にＧＰＵ６１２に処理を割り当てる候補を選択するものとする（詳細については、動作の項で説明する）。
<CPU / GPU
The CPU / GPU
＜メディア機能制御部３５０＞
メディア機能制御部３５０は、メディア処理部３０に対して、映像符号化方式のパラメータの指示、又は音声符号化方式のパラメータの設定の指示、動作の制御等を行うものである。
<Media
The media
指示には、符号化方式（映像符号化方式、音声符号化方式）や、符号化方式の仕様（映像符号化方式の仕様、音声符号化方式の仕様）を含む。ここで、映像符号化方式の仕様の一例は、画素数、フレームレート、走査方式、伝送データ量などである。音声符号化方式の仕様の一例は、伝送データ量などである。 The instruction includes a coding scheme (video coding scheme, audio coding scheme) and coding scheme specifications (video coding scheme specifications, audio coding scheme specifications). Here, examples of the specifications of the video encoding method are the number of pixels, the frame rate, the scanning method, the amount of transmission data, and the like. An example of the specification of the speech coding scheme is the amount of transmission data.
＜＜映像符号化方式と音声符号化方式の一例＞＞
会議端末４０との間で使用可能な符号化方式が符号化方式（ｚ）である場合、映像符号化方式は映像符号化方式（ｚ）であり、音声符号化方式は音声符号化方式（ｚ）であるとする。
<< Examples of video coding system and audio coding system >>
When the encoding scheme that can be used with the conference terminal 40 is the encoding scheme (z), the video encoding scheme is the video encoding scheme (z), and the audio encoding scheme is the audio encoding scheme (z). ).
映像符号化方式（ｚ）は、１種類でも複数の種類でもよい。 The video encoding method (z) may be one type or a plurality of types.
また、映像符号化方式（ｚ）の仕様は、「画素数、フレームレート、走査方式、伝送データ量」などであり、「画素数、フレームレート、走査方式、伝送データ量」は、１種類でも複数の種類でよい。 The specification of the video encoding method (z) is “the number of pixels, the frame rate, the scanning method, the transmission data amount”, etc., and the “number of pixels, the frame rate, the scanning method, the transmission data amount” is one kind. There may be multiple types.
映像符号化方式（ｚ）の一例は、Ｈ.２６５／ＨＥＶＣ、Ｈ.２６４／ＭＰＥＧ−４ ＡＶＣなどである（その他の一例は、Ｈ．２６１、ＭＰＥＧ２、ＭＰＥＧ４等である）。 Examples of the video encoding method (z) are H.265 / HEVC, H.264 / MPEG-4 AVC, and the like (other examples are H.261, MPEG2, MPEG4, etc.).
なお、映像符号化方式（ｚ）の仕様の一例は、次のようになる。 An example of the specification of the video encoding method (z) is as follows.
Ｈ.２６５／ＨＥＶＣの場合、映像符号化方式（ｚ）の仕様の一例は、複数の「画素数、フレームレート、走査方式、伝送データ量」からなり、「３８４０×２１６０ドット、６０フレーム／秒、プログレッシブ、２８Ｍｂｐｓ」、「１９２０×１０８０ドット、６０フレーム／秒、プログレッシブ、１５Ｍｂｐｓ」、「１９２０×１０８０ドット、３０フレーム／秒、プログレッシブ、９Ｍｂｐｓ」、「１２８０×７２０ドット、３０フレーム／秒、プログレッシブ、４．５Ｍｂｐｓ」などである。 In the case of H.265 / HEVC, an example of the specification of the video encoding method (z) is composed of a plurality of “number of pixels, frame rate, scanning method, transmission data amount”, and “3840 × 2160 dots, 60 frames / second”. , Progressive, 28 Mbps "," 1920 x 1080 dots, 60 frames / second, progressive, 15 Mbps "," 1920 x 1080 dots, 30 frames / second, progressive, 9 Mbps "," 1280 x 720 dots, 30 frames / second, progressive , 4.5 Mbps ".
また、Ｈ.２６４／ＭＰＥＧ−４ ＡＶＣの場合、映像符号化方式（ｚ）の仕様の一例は、複数の「画素数、フレームレート、走査方式、伝送データ量」からなり、「１９２０×１０８０ドット、６０フレーム／秒、プログレッシブ、２８Ｍｂｐｓ」、「１９２０×１０８０ドット、３０フレーム／秒、プログレッシブ、１５Ｍｂｐｓ」、「１２８０×７２０ドット、３０フレーム／秒、プログレッシブ、９Ｍｂｐｓ」、「８００×４８０ドット、３０フレーム／秒、プログレッシブ、４．５Ｍｂｐｓ」などである。 In the case of H.264 / MPEG-4 AVC, an example of the specification of the video encoding method (z) is composed of a plurality of “number of pixels, frame rate, scanning method, transmission data amount”, and “1920 × 1080 dots”. , 60 frames / second, progressive, 28 Mbps ”,“ 1920 × 1080 dots, 30 frames / second, progressive, 15 Mbps ”,“ 1280 × 720 dots, 30 frames / second, progressive, 9 Mbps ”,“ 800 × 480 dots, 30 ” Frame / second, progressive, 4.5 Mbps ", and the like.
ここで、プロセッサ（ＧＰＵ／ＣＰＵ）の使用率は、Ｈ.２６５／ＨＥＶＣの方が、Ｈ.２６４／ＭＰＥＧ−４ ＡＶＣよりも、高くなる。 Here, the usage rate of the processor (GPU / CPU) is higher in H.265 / HEVC than in H.264 / MPEG-4 AVC.
またここで、プロセッサ（ＧＰＵ／ＣＰＵ）の使用率は、同じ符号化方式であるならば、映像符号化方式の仕様（画素数、フレームレート、伝送データ量）において数値が大きいほど、高くなる。なお、プロセッサ（ＧＰＵ／ＣＰＵ）の使用率は、同じ符号化方式であるならば、映像符号化方式の仕様（走査方式）においてプログレッシブの方がインターレスよりも、高くなる。 Here, the usage rate of the processor (GPU / CPU) increases as the numerical value increases in the specifications of the video encoding method (number of pixels, frame rate, amount of transmission data) if the encoding method is the same. Note that the usage rate of the processor (GPU / CPU) is higher in progressive than in interlaced in the specification of the video coding method (scanning method) if the same coding method is used.
音声符号化方式（ｚ）は、１種類でも複数の種類でよい。 The voice encoding method (z) may be one type or a plurality of types.
また、音声符号化方式（ｚ）の仕様は、「伝送データ量」などであり、「伝送データ量」は、１種類でも複数の種類でよい。 In addition, the specification of the speech encoding method (z) is “transmission data amount” or the like, and the “transmission data amount” may be one type or a plurality of types.
音声符号化方式の一例は、ＭＰＥＧ−４ ＡＡＣ−ＬＣ（ステレオ）、ＭＰＥＧ−４ ＡＡＣ−ＬＣ（モノラル）などである（その他の一例は、Ｇ．７１１、Ｇ．７２２．１、Ｇ．７２９等である）。 An example of the audio coding system is MPEG-4 AAC-LC (stereo), MPEG-4 AAC-LC (monaural), etc. (other examples are G.711, G.722.1, G.729, etc.) Is).
なお、音声符号化方式（ｚ）の仕様の一例は、次のようになる。 An example of the specification of the speech encoding method (z) is as follows.
ＭＰＥＧ−４ ＡＡＣ−ＬＣ（ステレオ）の場合、音声符号化方式（ｚ）の仕様の一例は、複数の「伝送データ量」からなり、「３２０ｋｂｐｓ」、「２５６ｋｂｐｓ」、「１９２ｋｂｐｓ」、「１２８ｋｂｐｓ」などである。 In the case of MPEG-4 AAC-LC (stereo), an example of the specification of the audio coding method (z) is composed of a plurality of “transmission data amounts”, “320 kbps”, “256 kbps”, “192 kbps”, “128 kbps”. Etc.
また、ＭＰＥＧ−４ ＡＡＣ−ＬＣ（モノラル）の場合、音声符号化方式（ｚ）の仕様の一例は、複数の「伝送データ量」からなり、「２５６ｋｂｐｓ」、「１９２ｋｂｐｓ」、「１２８ｋｂｐｓ」、「９６ｋｂｐｓ」などである。 In the case of MPEG-4 AAC-LC (monaural), an example of the specification of the audio coding method (z) is composed of a plurality of “transmission data amounts”, and “256 kbps”, “192 kbps”, “128 kbps”, “128 kbps”, “ 96 kbps ".
ここで、プロセッサ（ＧＰＵ／ＣＰＵ）の使用率は、ＭＰＥＧ−４ ＡＡＣ−ＬＣ（ステレオ）の方が、ＭＰＥＧ−４ ＡＡＣ−ＬＣ（モノラル）よりも、高くなる。 Here, the usage rate of the processor (GPU / CPU) is higher in MPEG-4 AAC-LC (stereo) than in MPEG-4 AAC-LC (mono).
またここで、プロセッサ（ＧＰＵ／ＣＰＵ）の使用率は、同じ符号化方式であるならば、音声符号化方式の仕様（伝送データ量）において数値が大きいほど、高くなる。 Here, the use rate of the processor (GPU / CPU) becomes higher as the numerical value is larger in the specification (transmission data amount) of the voice encoding method if the same encoding method is used.
＜＜符号化方式（ｚ）と、１つの会議端末におけるＧＰＵ使用率及びＣＰＵ使用率の一例＞＞
図５は、符号化方式（ｚ）と、１つの会議端末におけるＧＰＵ使用率であるＧｘ（ｚ）、及びＣＰＵ使用率であるＣｘ（ｚ）の関係の一例を示す図［１０００］である。符号化方式（ｚ）［１１１０（行）］は、次の通りである。
<< Example of encoding method (z), GPU usage rate and CPU usage rate in one conference terminal >>
FIG. 5 is a diagram [1000] illustrating an example of the relationship between the encoding method (z), Gx (z) that is the GPU usage rate in one conference terminal, and Cx (z) that is the CPU usage rate. The encoding method (z) [1110 (row)] is as follows.
符号化方式（ｚ）［１１１０（行）］の映像符号化方式（ｚ）［１１１２（行）］は、メディア処理部（ＭＣＵ）３０の映像データ処理部（復号部、合成部、符号化部）を、ＧＰＵ又はＣＰＵに割り当てる候補であるとする［１０３０（列）］。 The video encoding method (z) [1112 (row)] of the encoding method (z) [1110 (row)] is a video data processing unit (decoding unit, synthesizing unit, encoding unit) of the media processing unit (MCU) 30. ) Is a candidate to be assigned to the GPU or CPU [1030 (column)].
符号化方式（ｚ）［１１１０（行）］の音声符号化方式（ｚ）［１１１４（行）］は、メディア処理部（ＭＣＵ）３０の音声データ処理部（復号部、合成部、符号化部）を、ＧＰＵ又はＣＰＵに割り当てる候補であるとする［１０３０（列）］。 The audio encoding method (z) [1114 (row)] of the encoding method (z) [1110 (row)] is an audio data processing unit (decoding unit, synthesizing unit, encoding unit) of the media processing unit (MCU) 30. ) Is a candidate to be assigned to the GPU or CPU [1030 (column)].
また、符号化方式（ｚ）［１１１０（行）］は、「１つの会議端末におけるＧＰＵ使用率」であるｇｘ（ｚ）において、ｈ（ｚ）、ｉ（ｚ）、ｊ（ｚ）、ｋ（ｚ）、ｌ（ｚ）、ｍ（ｚ）の和となる［１０４０（列）の１０４２（列）］。なお、ｈ（ｚ）、ｉ（ｚ）、ｊ（ｚ）、ｋ（ｚ）、ｌ（ｚ）、ｍ（ｚ）は、符号化方式（ｚ）に関する１つの会議端末において、映像データ処理部の復号部、合成部、符号化部、音声データ処理部の復号部、合成部、符号化部に対応するＧＰＵ使用率である。 Also, the encoding method (z) [1110 (row)] is h (z), i (z), j (z), k in gx (z) which is “GPU usage rate in one conference terminal”. The sum of (z), l (z), and m (z) [1042 (column) 1042 (column)]. Note that h (z), i (z), j (z), k (z), l (z), and m (z) are video data processing units in one conference terminal related to the encoding method (z). Are the GPU usage rates corresponding to the decoding unit, the synthesizing unit, the encoding unit, and the decoding unit, the synthesizing unit, and the encoding unit of the audio data processing unit.
符号化方式（ｚ）［１１１０（行）］は、「１つの会議端末におけるＣＰＵ使用率」であるｃｘ（ｚ）において、ｒ（ｚ）、ｓ（ｚ）、ｔ（ｚ）、ｕ（ｚ）、ｖ（ｚ）、ｗ（ｚ）の和となる［１０４０（列）の１０４２（列）］。なお、ｒ（ｚ）、ｓ（ｚ）、ｔ（ｚ）、ｕ（ｚ）、ｖ（ｚ）、ｗ（ｚ）は、符号化方式（ｚ）に関する１つの会議端末において、映像データ処理部の復号部、合成部、符号化部、音声データ処理部の復号部、合成部、符号化部に対応するＣＰＵ使用率である。 The encoding method (z) [1110 (line)] is the r (z), s (z), t (z), u (z) in cx (z) which is “CPU usage rate in one conference terminal”. ), V (z), and w (z) [1040 (column) 1042 (column)]. Note that r (z), s (z), t (z), u (z), v (z), and w (z) are video data processing units in one conference terminal related to the encoding method (z). Are the CPU usage rates corresponding to the decoding unit, the synthesizing unit, the encoding unit, and the decoding unit, the synthesizing unit, and the encoding unit of the audio data processing unit.
ここで、符号化方式（ｚ）［１１１０（行）］の映像符号化方式（ｚ）［１１１２（行）］は、「符号化方式（ｚ）の仕様」として、画素数「ａ１（ｚ）×ａ２（ｚ）［ビット］」、フレームレート「ｂ（ｚ）［フレーム／秒］」、走査方式「ｄ（ｚ）」、伝送データ量「ｅ（ｚ）［Ｍｂｐｓ］」を有する［１０２０（列）］。 Here, the video encoding method (z) [1112 (row)] of the encoding method (z) [1110 (row)] has the number of pixels “a1 (z)” as the “specification of the encoding method (z)”. × 1020 (having a2 (z) [bit] ", frame rate" b (z) [frame / second] ", scanning method" d (z) ", and transmission data amount" e (z) [Mbps] " Column)].
符号化方式（ｚ）［１１１０（行）］の音声符号化方式（ｚ）［１１１４（行）］は、「符号化方式（ｚ）の仕様」として、伝送データ量「ｆ（ｚ）［Ｍｂｐｓ］」を有する［１０２０（列）］。 The speech encoding method (z) [1114 (row)] of the encoding method (z) [1110 (row)] is a transmission data amount “f (z) [Mbps] as“ specification of the encoding method (z) ”. ] ”[1020 (column)].
なお、映像符号化方式（ｚ）［１１１２（行）］の一例は、上述の「＜＜映像符号化方式と音声符号化方式の一例＞＞」の項目で示される、Ｈ.２６５／ＨＥＶＣ、Ｈ.２６４／ＭＰＥＧ−４ ＡＶＣなどである。 An example of the video encoding method (z) [1112 (line)] is H.265 / HEVC, which is indicated by the above item “<< Example of video encoding method and audio encoding method” >> H.264 / MPEG-4 AVC.
また、映像符号化方式（ｚ）［１１１２（行）］における「符号化方式（ｚ）の仕様［１０２０（列）］」の一例は、上述の「＜＜映像符号化方式と音声符号化方式の一例＞＞」の項目で示される、Ｈ.２６５／ＨＥＶＣにおける１つの「画素数、フレームレート、走査方式、伝送データ量」や、Ｈ.２６４／ＭＰＥＧ−４ ＡＶＣにおける１つの「画素数、フレームレート、走査方式、伝送データ量」である。 An example of the “encoding method (z) specification [1020 (column)]” in the video coding method (z) [1112 (row)] is the above-mentioned “<< video coding method and audio coding method. One example of >>>, one “number of pixels, frame rate, scanning method, amount of transmission data” in H.265 / HEVC, and one “number of pixels,” in H.264 / MPEG-4 AVC, Frame rate, scanning method, transmission data amount ".
なお、音声符号化方式（ｚ）［１１１４（行）］の一例は、上述の「＜＜映像符号化方式と音声符号化方式の一例＞＞」の項目で示される、ＭＰＥＧ−４ ＡＡＣ−ＬＣ（ステレオ）、ＭＰＥＧ−４ ＡＡＣ−ＬＣ（モノラル）などである。 An example of the audio encoding method (z) [1114 (line)] is MPEG-4 AAC-LC indicated by the above item “<< Example of video encoding method and audio encoding method >>”. (Stereo), MPEG-4 AAC-LC (monaural), and the like.
また、音声符号化方式（ｚ）［１１１４（行）］における「符号化方式（ｚ）の仕様［１０２０（列）］」の一例は、上述の「＜＜映像符号化方式と音声符号化方式の一例＞＞」の項目で示される、ＭＰＥＧ−４ ＡＡＣ−ＬＣ（ステレオ）における１つの「伝送データ量」や、ＭＰＥＧ−４ ＡＡＣ−ＬＣ（モノラル）の１つにおける「伝送データ量」である。 An example of the “encoding method (z) specification [1020 (column)]” in the audio encoding method (z) [1114 (row)] is the above-mentioned “<< video encoding method and audio encoding method. One example of “transmission data amount” in MPEG-4 AAC-LC (stereo) and “transmission data amount” in one of MPEG-4 AAC-LC (monaural), which are indicated by the item “Example of >>>” .
＜＜割当候補と、変更される会議端末に関するＧＰＵ使用率及びＣＰＵ使用率の一例＞＞
図６は、ＣＰＵ／ＧＰＵ処理割当候補取得部が取得する割当候補（割当候補（１）〜（４））を示す説明図である。さらに、図６は、割当候補と、変更される会議端末に関するＧＰＵ使用率及びＣＰＵ使用率の一例を示す図［２０００］である。
<< Example of allocation candidate and GPU usage rate and CPU usage rate for conference terminal to be changed >>
FIG. 6 is an explanatory diagram showing allocation candidates (allocation candidates (1) to (4)) acquired by the CPU / GPU process allocation candidate acquisition unit. Furthermore, FIG. 6 is a diagram [2000] illustrating an example of an allocation candidate, a GPU usage rate and a CPU usage rate regarding the conference terminal to be changed.
割当候補（ｐ）［２０１０（列）］は、４つであるものとし、割当候補（１）［２１１０（行）］、割当候補（２）［２１２０（行）］、割当候補（３）［２１３０（行）］、割当候補（４）［２１４０（行）］は、次の通りである。 Assume that there are four allocation candidates (p) [2010 (columns)], allocation candidates (1) [2110 (rows)], allocation candidates (2) [2120 (rows)], and allocation candidates (3) [ 2130 (row)] and allocation candidate (4) [2140 (row)] are as follows.
割当候補（１）［２１１０（行）］は、メディア処理部（ＭＣＵ）３０の映像データ処理部（復号部、合成部、符号化部）［２０２０（列）］を、ＧＰＵ［２０３０（列）］に割り当てる候補であり、メディア処理部（ＭＣＵ）３０の映像データ処理部（復号部、合成部、符号化部）を、ＧＰＵ［２０３０（列）］に割り当てる候補であるとする。 The allocation candidate (1) [2110 (row)] is the video data processing unit (decoding unit, synthesizing unit, encoding unit) [2020 (column)] of the media processing unit (MCU) 30 and GPU [2030 (column). , And the video data processing unit (decoding unit, synthesizing unit, encoding unit) of the media processing unit (MCU) 30 is a candidate to be allocated to GPU [2030 (column)].
割当候補（２）は、メディア処理部（ＭＣＵ）３０の映像データ処理部（復号部、合成部、符号化部）［２０２０（列）］を、ＧＰＵ［２０３０（列）］に割り当てる候補であり、メディア処理部（ＭＣＵ）３０の映像データ処理部（復号部、合成部、符号化部）［２０２０（列）］を、ＣＰＵ［２０３０（列）］に割り当てる候補であるとする。 The allocation candidate (2) is a candidate for allocating the video data processing unit (decoding unit, synthesizing unit, encoding unit) [2020 (column)] of the media processing unit (MCU) 30 to the GPU [2030 (column)]. The video data processing unit (decoding unit, synthesizing unit, encoding unit) [2020 (column)] of the media processing unit (MCU) 30 is a candidate to be assigned to the CPU [2030 (column)].
割当候補（３）は、メディア処理部（ＭＣＵ）３０の映像データ処理部（復号部、合成部、符号化部）［２０２０（列）］を、ＣＰＵ［２０３０（列）］に割り当てる候補であり、メディア処理部（ＭＣＵ）３０の映像データ処理部（復号部、合成部、符号化部）［２０２０（列）］を、ＧＰＵ［２０３０（列）］に割り当てる候補であるとする。 The allocation candidate (3) is a candidate for allocating the video data processing unit (decoding unit, synthesizing unit, encoding unit) [2020 (column)] of the media processing unit (MCU) 30 to the CPU [2030 (column)]. Suppose that the video data processing unit (decoding unit, synthesizing unit, encoding unit) [2020 (column)] of the media processing unit (MCU) 30 is a candidate to be assigned to the GPU [2030 (column)].
割当候補（４）は、メディア処理部（ＭＣＵ）３０の映像データ処理部（復号部、合成部、符号化部）を、ＣＰＵ［２０３０（列）］に割り当てる候補であり、メディア処理部（ＭＣＵ）３０の映像データ処理部（復号部、合成部、符号化部）［２０２０（列）］を、ＣＰＵ［２０３０（列）］に割り当てる候補であるとする。 The allocation candidate (4) is a candidate for allocating the video data processing unit (decoding unit, synthesizing unit, encoding unit) of the media processing unit (MCU) 30 to the CPU [2030 (column)], and the media processing unit (MCU) ) 30 video data processing units (decoding unit, synthesis unit, encoding unit) [2020 (column)] are candidates to be assigned to the CPU [2030 (column)].
割当候補（１）［２１１０（行）］は、「変更される会議端末に関するＧＰＵ使用率［％］であるＧｘ」において、Ｈ、Ｉ、Ｊ、Ｋ、L、Ｍの和となる［２０４０（列）の２０４２（列）］。なお、Ｈ、Ｉ、Ｊ、Ｋ、L、Ｍは、変更される会議端末において、映像データ処理部の復号部、合成部、符号化部、音声データ処理部の復号部、合成部、符号化部に対応するＧＰＵ使用率である。 The allocation candidate (1) [2110 (line)] is the sum of H, I, J, K, L, and M in “Gx that is the GPU usage rate [%] for the conference terminal to be changed” [2040 ( Column 2042 (column)]. H, I, J, K, L, and M are the video data processing unit decoding unit, synthesizing unit, encoding unit, audio data processing unit decoding unit, synthesizing unit, encoding at the conference terminal to be changed. GPU usage rate corresponding to a part.
割当候補（１）［２１１０（行）］は、ＣＰＵへの割り当てが無いので、「変更される会議端末に関するＣＰＵ使用率［％］であるＣｘ」において、「−」（つまり０［％］）となる［２０４０（列）の２０４４（列）］。 Since the allocation candidate (1) [2110 (row)] has no allocation to the CPU, “-” (that is, 0 [%]) in “Cx that is the CPU usage rate [%] regarding the conference terminal to be changed”. [2040 (column) 2044 (column)].
割当候補（２）［２１２０（行）］は、「変更される会議端末に関するＧＰＵ使用率［％］であるＧｘ」において、Ｈ、Ｉ、Ｊの和となる［２０４０（列）の２０４２（列）］。なお、Ｈ、Ｉ、Ｊ、は、変更される会議端末において、映像データ処理部の復号部、合成部、符号化部に対応するＧＰＵ使用率である。 Assignment candidate (2) [2120 (row)] is the sum of H, I, and J in “20x (column) 2042 (column) in“ Gx which is the GPU usage rate [%] for the conference terminal to be changed ””. ]]. H, I, and J are GPU usage rates corresponding to the decoding unit, the combining unit, and the encoding unit of the video data processing unit in the conference terminal to be changed.
割当候補（２）［２１２０（行）］は、「変更される会議端末に関するＣＰＵ使用率［％］であるＣｘ」において、Ｕ、Ｖ、Ｗの和となる［２０４０（列）の２０４２（列）］。なお、Ｕ、Ｖ、Ｗは、変更される会議端末において、音声データ処理部の復号部、合成部、符号化部に対応するＣＰＵ使用率である。 Assignment candidate (2) [2120 (row)] is the sum of U, V and W in “Cx which is the CPU usage rate [%] for the conference terminal to be changed” [2042 of 2040 (column) (column ]]. U, V, and W are CPU usage rates corresponding to the decoding unit, the synthesizing unit, and the encoding unit of the audio data processing unit in the conference terminal to be changed.
割当候補（３）［２１１０（行）］は、「変更される会議端末に関するＧＰＵ使用率［％］であるＧｘ」において、Ｋ、L、Ｍの和となる［２０４０（列）の２０４２（列）］。なお、Ｋ、L、Ｍは、変更される会議端末において、音声データ処理部の復号部、合成部、符号化部に対応するＧＰＵ使用率である。 Assignment candidate (3) [2110 (row)] is the sum of K, L, and M in “Gx that is the GPU usage rate [%] for the conference terminal to be changed” 2042 (column ]]. K, L, and M are GPU usage rates corresponding to the decoding unit, the synthesizing unit, and the encoding unit of the audio data processing unit in the conference terminal to be changed.
割当候補（３）［２１２０（行）］は、「変更される会議端末に関するＣＰＵ使用率［％］であるＣｘ」において、Ｒ、Ｓ、Ｔの和となる［２０４０（列）の２０４２（列）］。なお、Ｒ、Ｓ、Ｔは、変更される会議端末において、映像データ処理部の復号部、合成部、符号化部に対応するＣＰＵ使用率である。 Assignment candidate (3) [2120 (row)] is the sum of R, S, and T in “Cx which is CPU usage rate [%] for the conference terminal to be changed” [2040 (column) 2042 (column) ]]. Note that R, S, and T are CPU usage rates corresponding to the decoding unit, the combining unit, and the encoding unit of the video data processing unit in the conference terminal to be changed.
割当候補（４）［２１１０（行）］は、ＧＰＵへの割り当てが無いので、「変更される会議端末に関するＧＰＵ使用率［％］であるＧｘ」において、「−」（つまり０［％］）となる［２０４０（列）の２０４２（列）］。 Since the allocation candidate (4) [2110 (row)] has no allocation to the GPU, “-” (that is, 0 [%]) in “Gx that is the GPU usage rate [%] related to the conference terminal to be changed”. [2040 (column) 2042 (column)].
割当候補（４）［２１２０（行）］は、「変更される会議端末に関するＣＰＵ使用率［％］であるＣｘ」において、Ｒ、Ｓ、Ｔ、Ｕ、Ｖ、Ｗの和となる［２０４０（列）の２０４２（列）］。なお、Ｒ、Ｓ、Ｔ、Ｕ、Ｖ、Ｗは、変更される会議端末において、映像データ処理部の復号部、合成部、符号化部、音声データ処理部の復号部、合成部、符号化部に対応するＣＰＵ使用率である。 The allocation candidate (4) [2120 (row)] is the sum of R, S, T, U, V, and W in “Cx that is the CPU usage rate [%] regarding the conference terminal to be changed” [2040 ( Column 2042 (column)]. Note that R, S, T, U, V, and W are the video data processing unit decoding unit, the synthesis unit, the encoding unit, the audio data processing unit decoding unit, the synthesis unit, and the encoding in the conference terminal to be changed. CPU usage rate corresponding to each part.
ここで、「変更される会議端末に関するＧＰＵ使用率」の対象となる変更される会議端末が複数である場合、「Ｈ、Ｉ、Ｊ、Ｋ、L、Ｍ」は、「映像データ処理部の復号部、合成部、符号化部、音声データ処理部の復号部、合成部、符号化部」における、各々の「変更される会議端末に関するＧＰＵ使用率」の和となる。 Here, when there are a plurality of conference terminals to be changed that are targets of the “GPU usage rate for the conference terminal to be changed”, “H, I, J, K, L, M” It is the sum of the “GPU usage rate for the conference terminal to be changed” in the “decoding unit, synthesizing unit, encoding unit, decoding unit, synthesizing unit, encoding unit”.
また、「変更される会議端末に関するＧＰＵ使用率」の対象となる変更される会議端末が複数である場合であり、さらに、変更される会議端末の数がｎ、変更される会議端末で使用される符号化方式が同じ符号化方式（ｚ）である場合、「Ｈ、Ｉ、Ｊ、Ｋ、L、Ｍ」は、「映像データ処理部の復号部、合成部、符号化部、音声データ処理部の復号部、合成部、符号化部」における、各々の「変更される会議端末に関するＧＰＵ使用率」のｎ倍（ｎ×ｈ、ｎ×ｉ、ｎ×ｊ、ｎ×ｋ、ｎ×ｌ、ｎ×ｍ）となる。 In addition, there are a plurality of conference terminals to be changed that are targets of the “GPU usage rate for the conference terminal to be changed”, and the number of conference terminals to be changed is n, which is used by the conference terminal to be changed. “H, I, J, K, L, M” are “decoding unit, synthesizing unit, encoding unit, audio data processing of video data processing unit”, and the same encoding method (z). N times (n × h, n × i, n × j, n × k, n × l) of each “GPU usage rate for the conference terminal to be changed” in the “decoding unit, combining unit, and encoding unit”. , N × m).
なお、「変更される会議端末に関するＧＰＵ使用率」の対象となる変更される会議端末が１つである場合、「Ｈ、Ｉ、Ｊ、Ｋ、L、Ｍ」は、「映像データ処理部の復号部、合成部、符号化部、音声データ処理部の復号部、合成部、符号化部」における、「変更される会議端末に関するＧＰＵ使用率」の「ｈ、ｉ、ｊ、ｋ、ｌ、ｍ」である。 In addition, when there is one conference terminal to be changed that is a target of “GPU usage rate for the conference terminal to be changed”, “H, I, J, K, L, M” is “video data processing unit “H, i, j, k, l,” of “GPU usage rate for conference terminal to be changed” in “decoding unit, synthesizing unit, encoding unit, decoding unit of speech data processing unit, synthesizing unit, encoding unit” m ".
同様に、「変更される会議端末に関するＣＰＵ使用率」の対象となる変更される会議端末が複数である場合、「Ｒ、Ｓ、Ｔ、Ｕ、Ｖ、Ｗ」は、「映像データ処理部の復号部、合成部、符号化部、音声データ処理部の復号部、合成部、符号化部」における、各々の「変更される会議端末に関するＣＰＵ使用率」の和となる。 Similarly, when there are a plurality of conference terminals to be changed that are targets of the “CPU usage rate regarding the conference terminal to be changed”, “R, S, T, U, V, W” It is the sum of each “CPU usage rate for the conference terminal to be changed” in the “decoding unit, synthesizing unit, encoding unit, decoding unit, synthesizing unit, encoding unit”.
また、「変更される会議端末に関するＣＰＵ使用率」の対象となる変更される会議端末が複数である場合であり、さらに、変更される会議端末の数がｎ、変更される会議端末で使用される符号化方式が同じ符号化方式（ｚ）である場合、「Ｒ、Ｓ、Ｔ、Ｕ、Ｖ、Ｗ」は、「映像データ処理部の復号部、合成部、符号化部、音声データ処理部の復号部、合成部、符号化部」における、各々の「変更される会議端末に関するＧＰＵ使用率」のｎ倍（ｎ×ｒ、ｎ×ｓ、ｎ×ｔ、ｎ×ｕ、ｎ×ｖ、ｎ×ｗ）となる。 Further, there are a plurality of conference terminals to be changed that are targets of the “CPU usage rate regarding the conference terminal to be changed”, and the number of conference terminals to be changed is n, and the conference terminals to be changed are used. “R, S, T, U, V, W” are “decoding unit, synthesizing unit, encoding unit, audio data processing of video data processing unit”, and the same encoding method (z). N times (n × r, n × s, n × t, n × u, n × v) of each “GPU usage rate for the conference terminal to be changed” in the “decoding unit, combining unit, and encoding unit”. , N × w).
なお、「変更される会議端末に関するＣＰＵ使用率」の対象となる変更される会議端末が１つである場合、「Ｒ、Ｓ、Ｔ、Ｕ、Ｖ、Ｗ」は、「映像データ処理部の復号部、合成部、符号化部、音声データ処理部の復号部、合成部、符号化部」における、「変更される会議端末に関するＧＰＵ使用率」の「ｒ、ｓ、ｔ、ｕ、ｖ、ｗ」である。 In addition, when there is one conference terminal to be changed that is the target of “CPU usage rate regarding the conference terminal to be changed”, “R, S, T, U, V, W” “R, s, t, u, v,” of “GPU usage rate for conference terminal to be changed” in “decoding unit, synthesizing unit, encoding unit, decoding unit, synthesizing unit, encoding unit of audio data processing unit”. w ".
なお、変更される会議端末の数であるｎは、整数である。変更される会議端末の数であるｎは、例えば、会議サーバ１０の任意の会議室に会議端末４０が新たに追加される場合、若しくは削除される場合、又は会議サーバ１０に会議室が新たに追加される場合、若しくは削除される場合などに関する、変更される会議端末の数である。
Note that n, which is the number of conference terminals to be changed, is an integer. The number n of the conference terminals to be changed is, for example, when a conference terminal 40 is newly added to or deleted from an arbitrary conference room of the
それゆえ、変更される会議端末における変更の数であるｎは、「１、２、３、・・・と増える場合」、「−１、−２、−３、・・・と減る場合」、「新規の１つの会議室として接続される会議端末の数（２、３、４、・・・）である場合」、「現在のサービスされる１つの会議室が終了して、終了される１つの会議室に接続される会議端末の数（−２、−３、−４、・・・）である場合」などがある。 Therefore, n, which is the number of changes in the conference terminal to be changed, is “when 1, 2, 3,... Increases”, “−1, −2, −3,. “When the number of conference terminals connected as one new conference room (2, 3, 4,...)”, “One conference room that is currently serviced is terminated and terminated 1 The number of conference terminals connected to one conference room (−2, −3, −4,...) ”.
＜＜割当候補と、ＧＰＵ使用率及びＣＰＵ使用率の一例＞＞
図７は、ＣＰＵ／ＧＰＵ処理割当候補取得部が取得する割当候補（割当候補（１）〜（４））を示す説明図である。さらに、図７は、割当候補と、ＧＰＵ未使用率及びＣＰＵ未使用率の一例を示す図［３０００］である。
<< Examples of allocation candidates, GPU usage rate, and CPU usage rate >>
FIG. 7 is an explanatory diagram showing allocation candidates (allocation candidates (1) to (4)) acquired by the CPU / GPU process allocation candidate acquisition unit. Further, FIG. 7 is a diagram [3000] illustrating an example of an allocation candidate, a GPU unused rate, and a CPU unused rate.
割当候補（ｐ）［３０１０（列）］は、４つであるものとし、割当候補（１）［３１１０（行）］、割当候補（２）［３１２０（行）］、割当候補（３）［３１３０（行）］、割当候補（４）［３１４０（行）］は、次の通りである。 Assume that there are four allocation candidates (p) [3010 (columns)], allocation candidates (1) [3110 (rows)], allocation candidates (2) [3120 (rows)], and allocation candidates (3) [ 3130 (row)] and allocation candidate (4) [3140 (row)] are as follows.
割当候補（１）［３１１０（行）］は、メディア処理部（ＭＣＵ）３０の映像データ処理部（復号部、合成部、符号化部）［３０２０（列）］を、ＧＰＵ［３０３０（列）］に割り当てる候補であり、メディア処理部（ＭＣＵ）３０の映像データ処理部（復号部、合成部、符号化部）を、ＧＰＵ［３０３０（列）］に割り当てる候補であるとする。 The allocation candidate (1) [3110 (row)] is the video data processing unit (decoding unit, synthesis unit, encoding unit) [3020 (column)] of the media processing unit (MCU) 30 and GPU [3030 (column). ] And the video data processing unit (decoding unit, synthesizing unit, encoding unit) of the media processing unit (MCU) 30 is a candidate to be allocated to GPU [3030 (column)].
割当候補（２）は、メディア処理部（ＭＣＵ）３０の映像データ処理部（復号部、合成部、符号化部）［３０２０（列）］を、ＧＰＵ［３０３０（列）］に割り当てる候補であり、メディア処理部（ＭＣＵ）３０の映像データ処理部（復号部、合成部、符号化部）［３０２０（列）］を、ＣＰＵ［３０３０（列）］に割り当てる候補であるとする。 The allocation candidate (2) is a candidate for allocating the video data processing unit (decoding unit, synthesizing unit, encoding unit) [3020 (column)] of the media processing unit (MCU) 30 to the GPU [3030 (column)]. Assume that the video data processing unit (decoding unit, synthesizing unit, encoding unit) [3020 (column)] of the media processing unit (MCU) 30 is a candidate to be assigned to the CPU [3030 (column)].
割当候補（３）は、メディア処理部（ＭＣＵ）３０の映像データ処理部（復号部、合成部、符号化部）［３０２０（列）］を、ＣＰＵ［３０３０（列）］に割り当てる候補であり、メディア処理部（ＭＣＵ）３０の映像データ処理部（復号部、合成部、符号化部）［３０２０（列）］を、ＧＰＵ［３０３０（列）］に割り当てる候補であるとする。 The allocation candidate (3) is a candidate for allocating the video data processing unit (decoding unit, synthesizing unit, encoding unit) [3020 (column)] of the media processing unit (MCU) 30 to the CPU [3030 (column)]. Assume that the video data processing unit (decoding unit, synthesizing unit, encoding unit) [3020 (column)] of the media processing unit (MCU) 30 is a candidate to be assigned to the GPU [3030 (column)].
割当候補（４）は、メディア処理部（ＭＣＵ）３０の映像データ処理部（復号部、合成部、符号化部）を、ＣＰＵ［３０３０（列）］に割り当てる候補であり、メディア処理部（ＭＣＵ）３０の映像データ処理部（復号部、合成部、符号化部）［３０２０（列）］を、ＣＰＵ［３０３０（列）］に割り当てる候補であるとする。 The allocation candidate (4) is a candidate for allocating the video data processing unit (decoding unit, synthesizing unit, encoding unit) of the media processing unit (MCU) 30 to the CPU [3030 (column)], and the media processing unit (MCU) ) 30 video data processing units (decoding unit, synthesizing unit, encoding unit) [3020 (column)] are candidates to be assigned to the CPU [3030 (column)].
各々の割当候補（１）〜（４）［３１１０（行）〜３１４０（行）］において、「ＧＰＵ使用率［％］であるＧｘ＋Ｇ」は、「変更される会議端末に関するＧＰＵ使用率［％］であるＧｘ」と「ＧＰＵ現在使用率［％］であるＧ」との和である。さらに、「ＧＰＵ未使用率［％］であるＧｙ」は、「ＧＰＵ上限使用率［％］であるＧｍａｘ」から、「ＧＰＵ使用率［％］であるＧｘ＋Ｇ」を、差し引いたものとなる［３３１２（列）］。 In each allocation candidate (1) to (4) [3110 (row) to 3140 (row)], “Gx + G as GPU usage rate [%]” is “GPU usage rate [%] for conference terminal to be changed”. Is Gx ”and“ G is GPU current usage rate [%] ”. Further, “Gy which is a GPU unused rate [%]” is obtained by subtracting “Gx + G which is a GPU usage rate [%]” from “Gmax which is a GPU upper limit usage rate [%]” [3312. (Column)].
各々の割当候補（１）〜（４）［３１１０（行）〜３１４０（行）］において、「ＣＰＵ使用率［％］であるＣｘ＋Ｃ」は、「変更される会議端末に関するＣＰＵ使用率［％］であるＣｘ」と「ＧＰＵ現在使用率［％］であるＣ」との和である。さらに、「ＣＰＵ未使用率［％］であるＣｙ」は、「ＣＰＵ上限使用率［％］であるＣｍａｘ」から、「ＣＰＵ使用率［％］であるＣｘ＋Ｃ」を、差し引いたものとなる［３３１４（列）］。 In each of the allocation candidates (1) to (4) [3110 (row) to 3140 (row)], “Cx + C which is a CPU usage rate [%]” is “CPU usage rate [%] for the conference terminal to be changed”. Is Cx ”and“ C is GPU current usage rate [%] ”. Further, “Cy that is a CPU unused rate [%]” is obtained by subtracting “Cx + C that is a CPU usage rate [%]” from “Cmax that is a CPU upper limit usage rate [%]” [3314. (Column)].
なお、図７は、上述される「＜＜割当候補と、変更される会議端末に関するＧＰＵ使用率及びＣＰＵ使用率の一例＞＞」に記載から、接続される会議端末における変更の数であるｎにおいて、「会議サーバ１０の任意の会議室に会議端末４０が新たに追加される場合（ｎ＝１、２、３、・・・)、または「会議サーバ１０に会議室が新たに追加される場合（ｎ＝２、３、４、・・・）の場合」である。
Note that FIG. 7 shows the number of changes in the connected conference terminal from the description in “<< Example of allocation candidate, GPU usage rate and CPU usage rate related to changed conference terminal” >> In “when a conference terminal 40 is newly added to an arbitrary conference room of the conference server 10 (n = 1, 2, 3,...)” Or “a conference room is newly added to the
一方、接続される会議端末における変更の数であるｎにおいて、「会議サーバ１０の任意の会議室に会議端末４０が新たに削除される場合（ｎ＝−１、−２、−３、・・・）」、「会議サーバ１０に会議室が新たに削除される場合（ｎ＝−２、−３、−４、・・・）」などがある。 On the other hand, when n is the number of changes in the connected conference terminal, “when the conference terminal 40 is newly deleted in an arbitrary conference room of the conference server 10 (n = −1, −2, −3,... .) ”,“ When a conference room is newly deleted from the conference server 10 (n = −2, −3, −4,...) ”.
この場合、「変更される会議端末に関するＧＰＵ使用率［％］であるＧｘ」が、負の値となるので、「ＧＰＵ未使用率［％］であるＧｙ」は、図７の記載と異なるものとなる。 In this case, since “Gx which is the GPU usage rate [%] regarding the conference terminal to be changed” is a negative value, “Gy which is the GPU unused rate [%]” is different from the description of FIG. It becomes.
「ＧＰＵ未使用率［％］であるＧｙ」は、ＧＰＵ現在使用率［％］であるＧから、「変更される会議端末に関するＧＰＵ使用率［％］であるＧｘ」を、差し引いた形の記載となる（図示せず）。 “Gy that is the GPU unused rate [%]” is a description that is obtained by subtracting “Gx that is the GPU usage rate [%] regarding the conference terminal to be changed” from the G that is the GPU current usage rate [%]. (Not shown).
「ＣＰＵ未使用率［％］であるＣｙ」は、ＣＰＵ現在使用率［％］であるＣから、「変更される会議端末に関するＣＰＵ使用率［％］であるＣｘ」を、差し引いた形の記載となる（図示せず）。 “Cy which is a CPU unused rate [%]” is a description in which “Cx which is a CPU usage rate [%] related to a conference terminal to be changed” is subtracted from C which is a current CPU usage rate [%]. (Not shown).
（Ａ−２）第１の実施形態の動作
次に、以上のような構成を有する第１の実施形態の会議システム１の動作を、図面を参照しながら説明する。なお、以下では、メディア制御部７００の動作に特徴を有するため、この部分を中心に説明する。
(A-2) Operation of First Embodiment Next, the operation of the
図８は、メディア制御部７００の特徴動作（ＣＰＵ／ＧＰＵの処理割当）を示すフローチャートである。
FIG. 8 is a flowchart showing the characteristic operation (CPU / GPU process allocation) of the
図８で示すＣＰＵ／ＧＰＵの処理割当の動作は、例えば、会議サーバ１０の任意の会議室に会議端末４０が新たに追加される場合、若しくは削除される場合、又は会議サーバ１０に会議室が新たに追加される場合、若しくは削除される場合を契機として発生する。また、図８では、会議サーバ１０と、会議端末４０（４０−１〜４０−４）との間で呼が確立し、会議サーバ１０が会議端末４０（４０−１〜４０−４）から映像データ及び音声データを取集（受信）し、メディア処理部３０の構成（復号部、合成部、符号化部）を実現（実行）するために、ＣＰＵ６１１とＧＰＵ６１２に処理を割り当てる例を前提として説明する。なお、この実施形態におけるメディア制御部７００は、ＣＰＵ６１１とＧＰＵ６１２の処理割当において、映像データ処理部３１の処理部、又は音声データ処理部３２の処理部を単位として処理を割り当てるものとする。
The CPU / GPU process allocation operation shown in FIG. 8 is performed when, for example, a conference terminal 40 is newly added to or deleted from an arbitrary conference room of the
上限リソース情報取得部３１０は、ＣＰＵ上限使用率Ｃｍａｘ、ＧＰＵ上限使用率Ｇｍａｘ、会議室数の上限数、１会議室における端末の上限接続数、会議端末４０との間で使用可能な映像符号化方式におけるＧＰＵ使用率及びＣＰＵ使用率、会議端末４０との間で使用可能な音声符号化方式に関する１つの会議端末におけるＧＰＵ使用率とＣＰＵ使用率、会議サーバ１０における伝送容量の情報を取得する（Ｓ１０１）。なお、ＣＰＵ上限使用率Ｃｍａｘ、及びＧＰＵ上限使用率Ｇｍａｘは、予め所定の値が、設定されているものとする（例えば、理論上の上限値（１００％）、上限値の７０％の値等）。
The upper limit resource
使用リソース情報取得部３２０は、ＣＰＵ現在使用率Ｃ、ＧＰＵ現在使用率Ｇ、現在稼動中の会議室数、各稼動中会議室における現在の会議端末４０の接続数、各稼動中会議室における現在使用中の映像符号化方式、各稼動中会議室における現在使用中の音声符号化方式、会議サーバ１０における現在使用中の伝送容量の情報を取得する（Ｓ１０２）。
The used resource
ＣＰＵ／ＧＰＵ処理割当候補取得部３３０は、メディア処理部３０（ＭＣＵ３０）の構成（処理）の割当候補の取得する（Ｓ１０３）。
The CPU / GPU processing allocation
例えば、ＣＰＵ／ＧＰＵ処理割当候補取得部３３０が取得した割当候補は、一例として、図６、図７に示される４つの割当候補（割当候補（１）〜（４））とする。
For example, the allocation candidates acquired by the CPU / GPU process allocation
割当候補（１）［図６：２１１０（行）、図７：３１１０（行）］は、ＧＰＵ６１２のみに映像データ処理部３１の処理及び音声データ処理部３２の処理を割り当てる最も理想的な割当候補である。理由は、ＣＰＵ６１１が、メディア処理部３０の映像データ処理部３１及び音声データ処理部３２以外の他の処理について、実行できる汎用的なプロセッサであり、ＧＰＵ６１２が、映像データや音声データを処理する際に使用される並列処理ができるプロセッサであるためである。
Assignment candidate (1) [FIG. 6: 2110 (row), FIG. 7: 3110 (row)] is the most ideal assignment candidate for assigning the processing of the video
割当候補（２）［図６：２１２０（行）、図７：３１２０（行）］は、ＣＰＵ６１１に音声データ処理部３２の処理、ＧＰＵ６１２に映像データ処理部３１の処理を割り当てる２番目に理想的な割当候補である。割当候補（２）は、ＣＰＵ６１１に音声データ処理部３２の処理を割り当てる分だけ割当候補（１）に劣る。しかし、割当候補（２）は、処理負荷の大きい映像データ処理部３１の処理をＧＰＵ６１２に割り当てる点に優位性が存在する。図７の項目［３１２０（行）］の［３３１０（列）］では、図７の項目［３１１０（行）］の［３３１０（列）］に比べてＧＰＵ６１２の使用率Ｇｘ＋Ｇが若干下降し、ＣＰＵ６１１の使用率Ｃｘ＋Ｃが若干上昇する例が示されている。
The allocation candidate (2) [FIG. 6: 2120 (row), FIG. 7: 3120 (row)] is the second ideal to assign the processing of the audio
割当候補（３）［図６：２１３０（行）、図７：３１３０（行）］は、ＧＰＵ６１２に音声データ処理部３２の処理、ＣＰＵ６１１に映像データ処理部３１の処理を割り当てる３番目に理想的な割当候補である。割当候補（３）は、ＣＰＵ６１１に処理負荷の大きい映像データ処理部３１の処理を割り当てる分だけ割当候補（２）に劣る。しかし、割当候補（３）は、全ての処理をＣＰＵ６１１に割り当てず、音声データ処理部３２の処理をＧＰＵ６１２に割り当てる点に優位性が存在する。図７の項目［３１３０（行）］の［３３１０（列）］では、図７の項目［３１２０（行）］の［３３１０（列）］に比べて、負荷の大きい映像データ処理部３１の処理を割り当てる分だけ、ＧＰＵ６１２の使用率Ｇｘ＋ＧがＧＰＵ現在使用率Ｇに近づき、ＣＰＵ６１１の使用率Ｃｘ＋ＣがＣＰＵ上限使用率Ｃｍａｘに近づく例が示されている。
The allocation candidate (3) [FIG. 6: 2130 (row), FIG. 7: 3130 (row)] is the third ideal to assign the processing of the audio
割当候補（４）［図６：２１４０（行）、図７：３１４０（行）］は、ＣＰＵ６１１のみに映像データ処理部３１及びＣＰＵ６１１の処理を割り当てる４番目に理想的な割当候補である。割当候補（４）は、割当候補（１）〜割当候補（３）を適用することができない場合（言い換えれば、ＧＰＵ６１２が処理を実行できない場合）の割当候補である。また、図７の項目［３１４０（行）］の［３３１０（列）］では、ＣＰＵ６１１に全ての処理を割り当てているので、ＧＰＵ６１２の使用率Ｇｘ＋ＧがＧＰＵ現在使用率Ｇと等しくなり、かつ割当候補（１）〜割当候補（３）に比べて、ＣＰＵ６１１の使用率Ｃｘ＋ＣがＣＰＵ上限使用率Ｃｍａｘに最も近くなる例が示されている。
Assignment candidate (4) [FIG. 6: 2140 (row), FIG. 7: 3140 (row)] is the fourth ideal assignment candidate for assigning the processing of the video
ＣＰＵ/ＧＰＵ処理割当部３４０は、上述のステップＳ１０１で取得した上限リソース情報と、上述のステップＳ１０２で取得した現在のリソース情報とを総合的に判断して、上述のステップＳ１０３で取得された割当候補の内から１つを選択し、実際にＣＰＵ６１１とＧＰＵ６１２に、映像データ処理部３１の処理、音声データ処理部３２の処理を割り当てる（Ｓ１０４）。以下に、ＣＰＵ/ＧＰＵ処理割当部３４０の動作の一例を示す。
The CPU / GPU
まず、ＣＰＵ/ＧＰＵ処理割当部３４０は、ＧＰＵ上限使用率Ｇｍａｘと、ＧＰＵ現在使用率ＧとからＧＰＵ６１２に処理を割当可能なＧＰＵ６１２のリソース残量を算出する。同様に、ＣＰＵ/ＧＰＵ処理割当部３４０は、ＣＰＵ上限使用率Ｃｍａｘと、ＣＰＵ現在使用率ＣとからＣＰＵ６１１に処理を割当可能なＣＰＵ６１１のリソース残量を算出する。
First, the CPU / GPU
次に、ＣＰＵ/ＧＰＵ処理割当部３４０は、映像データ処理部３１内の処理量を算出（推定）する。同様に、ＣＰＵ/ＧＰＵ処理割当部３４０は、音声データ処理部３２内の処理量を算出する。
Next, the CPU / GPU
なお、算出（推定）される処理量の対象は、変更される会議端末であり、例えば、会議サーバ１０の任意の会議室に新たに追加（削除）される会議端末４０、会議サーバ１０に新たに追加（削除）される会議室に関わる会議端末４０である。
Note that the processing amount to be calculated (estimated) is the conference terminal to be changed. For example, the conference terminal 40 newly added (deleted) to any conference room of the
次に、ＣＰＵ/ＧＰＵ処理割当部３４０は、算出した映像データ処理部３１及び音声データ処理部３２内の処理量が、ＧＰＵリソース残量内に収まるか否か判定する。ＣＰＵ/ＧＰＵ処理割当部３４０は、当該処理量が、ＧＰＵリソース残量内に収まる場合には上述の割当候補（１）を適用する。また、ＣＰＵ/ＧＰＵ処理割当部３４０は、算出した映像データ処理部３１の処理量のみが、ＧＰＵリソース残量内に収まる場合には、上述の割当候補（２）を適用する。さらに、ＣＰＵ/ＧＰＵ処理割当部３４０は、算出した音声データ処理部３２内の処理量のみが、ＧＰＵリソース残量内に収まる場合には、上述の割当候補（３）を適用する。さらにまた、ＣＰＵ/ＧＰＵ処理割当部３４０は、算出した音声データ処理部３２内の処理量、又は算出した映像データ処理部３１の処理量が、ＧＰＵリソース残量内に収まらない場合には、上述の割当候補（４）を適用する。
Next, the CPU / GPU
そして、ＣＰＵ/ＧＰＵ処理割当部３４０は、適用した割当候補（１）〜割当候補（４）のいずれかに従って、ＣＰＵ６１１、若しくはＧＰＵ６１２（又はその両方）に、映像データ処理部３１の処理及び音声データ処理部３２の処理を割り当てる。
Then, the CPU / GPU
なお、変形例として、ＣＰＵ/ＧＰＵ処理割当部３４０は、例えば、稼働中会議室における映像符号化方式を用いて、映像データ処理部３１（映像データ符号化部３６ａ）の符号化処理を行う処理量が大きくて、割当候補（４）を適用せざるを得ない場合、上限リソース情報取得部３１０で取得した他の映像符号化方式（処理の軽い符号化方式）を用いた符号化処理を行うように制御しても良い。この場合、ＣＰＵ/ＧＰＵ処理割当部３４０は、会議端末４０に対して改めて通信を行い、他の映像符号化方式が使用可能か否か確認しても良い。そして、ＣＰＵ/ＧＰＵ処理割当部３４０は、改めて処理量を計算して、割当候補（１）〜割当候補（４）を適用するように制御する。この変形例では、ＣＰＵ６１１の使用率が上限（例えば、１００％）を超えるようなオーバーフローの状態に近づくことについて、未然に防ぐという効果が生じる。
As a modification, for example, the CPU / GPU
また、ＣＰＵ/ＧＰＵ処理割当部３４０は、例えば、会議サーバ１０における伝送容量が、上限に近づいていた場合には、上記とは逆に圧縮率の高い（処理の重い）映像符号化方式を用いた符号化処理を行うように制御しても良い。そして、ＣＰＵ/ＧＰＵ処理割当部３４０は、改めて処理量を計算して、割当候補（１）〜割当候補（４）を適用するように制御する。この変形例では、会議サーバ１０の伝送容量の圧迫を未然に防ぐという効果が生じる。
Further, for example, when the transmission capacity in the
他にも、ＣＰＵ/ＧＰＵ処理割当部３４０は、会議室数の上限の数、１会議室の端末の上限接続数、現在稼働中の会議室数、及び稼働中会議室における現在の端末の接続数の情報を加味して、割当候補（１）〜割当候補（４）を適用するようにしても良い。
In addition, the CPU / GPU
（Ａ−３）第１の実施形態の効果
第１の実施形態によれば、以下の効果を奏する。
(A-3) Effects of the First Embodiment According to the first embodiment, the following effects can be obtained.
メディア制御部７００が、ＧＰＵ上限使用率Ｇｍａｘ、ＧＰＵ現在使用率Ｇ等のリソース情報から、なるべくＧＰＵ６１２にメディア処理部３０（ＭＣＵ３０）の処理を割り当てるように制御することにより、第１の実施形態は、従来に比べて効率的にＣＰＵ６１１とＧＰＵ６１２に処理負荷を分散できるようになる。
In the first embodiment, the
よって、会議サーバ１０は、会議端末４０の同時接続数や、同時会議数のスケーラビリティを向上することが可能となる。
Therefore, the
（Ｂ）第２の実施形態
以下、本発明による通信制御装置及びプログラム、記録媒体、並びに、通信制御方法の第２の実施形態を、図面を参照しながら詳述する。
(B) Second Embodiment Hereinafter, a second embodiment of a communication control apparatus and program, a recording medium, and a communication control method according to the present invention will be described in detail with reference to the drawings.
（Ｂ−１）第２の実施形態の構成
第２の実施形態の多地点会議システム、及び会議サーバの構成についても、第１の実施形態と同様に、図１〜図７を用いて示すことができる。
(B-1) Configuration of Second Embodiment The configurations of the multipoint conference system and conference server of the second embodiment are also shown using FIGS. 1 to 7 as in the first embodiment. Can do.
以下では、第２の実施形態の会議サーバ１０（メディア制御部７００）の構成について、第１の実施形態との差異について説明する。 Hereinafter, differences between the configuration of the conference server 10 (media control unit 700) of the second embodiment and the first embodiment will be described.
第１の実施形態では、ＣＰＵ／ＧＰＵ処理割当候補取得部３３０は、映像データ処理部３１、又は音声データ処理部３２の処理部を単位として、ＣＰＵ６１１、若しくはＧＰＵ６１２（又はその両方）に処理を割り当てた割当候補を取得していた。第１の実施形態の割当候補は、メモリ６１３（ＣＰＵ用メモリ６１３−１、ＧＰＵ用メモリ６１３−２）の効率的な使用という意味（例えば、ＣＰＵ用メモリ６１３−１の内容を、ＧＰＵ用メモリ６１３−２にコピーする等のオーバヘッドが少ない）では有効であった。
In the first embodiment, the CPU / GPU processing allocation
一方、第２の実施形態では、ＣＰＵ／ＧＰＵ処理割当候補取得部３３０は、ＣＰＵ６１１、ＧＰＵ６１２の各プロセッサの特徴を生かした観点から処理の割当を行った候補を作成する。ＧＰＵ６１２は、一般にグラフィック処理など特定の単純作業を並列で行うことに向いていると考えられている。また、ＣＰＵ６１１は、複雑な処理を行うことに向いていると考えられている。
On the other hand, in the second embodiment, the CPU / GPU processing allocation
例えば、映像データ処理部３１において、映像データ復号部３４ａの処理、及び映像データ符号化部３６ａの処理は、ＧＰＵ６１２で実行されることに向いており、映像データ合成部３５ａの処理は、ＣＰＵ６１１で実行されることに向いている。また、音声データ処理部３２において、音声データ復号部３４ｂの処理、及び音声データ符号化部３６ｂの処理は、ＧＰＵ６１２で実行されることに向いており、音声データ合成部３５ｂの処理は、ＣＰＵ６１１で実行されることに向いている。
For example, in the video
（Ｂ−２）第２の実施形態の動作
次に、以上のような構成を有する第２の実施形態の会議システム１の動作を、図面を参照しながら説明する。なお、以下では、メディア制御部７００の動作に特徴を有するため、この部分を中心に説明する。
(B-2) Operation | movement of 2nd Embodiment Next, operation | movement of the
第２の実施形態のメディア制御部７００の動作も、第１の実施形態と同様に図８を用いて説明することができる。ただし、図８のステップＳ１０３の処理（割当候補の取得処理）、図８のステップＳ１０４の処理（割当候補の選択処理）が、第１の実施形態と異なるのでこの点を中心に説明する。
The operation of the
図８のステップＳ１０３の処理（割当候補の取得処理）は、次に示される処理となる。 The process of step S103 in FIG. 8 (assignment candidate acquisition process) is the process shown below.
ＣＰＵ／ＧＰＵ処理割当候補取得部３３０は、ＧＰＵ６１２に、映像データ復号部３４ａ（３４ａ−１〜３４ａ−４）の処理、映像データ符号化部３６ａ（３６ａ−１〜３６ａ−４）の処理、音声データ復号部３４ｂ（３４ｂ−１〜３４ｂ−４）の処理、及び音声データ符号化部３６ｂ（３６ｂ−１〜３６ｂ−４）の処理を割り当て、ＣＰＵ６１１に、映像データ合成部３５ａの処理、及び音声データ合成部３５ｂの処理を割り当てる割当候補（割当候補（５））を取得する。
The CPU / GPU processing allocation
ここで、図９は、ＣＰＵ／ＧＰＵ処理割当候補取得部が取得する割当候補（上述の割当候補（５））を示す説明図である。図９は、図６をベースに記載される。 Here, FIG. 9 is an explanatory diagram showing an allocation candidate (the above allocation candidate (5)) acquired by the CPU / GPU process allocation candidate acquisition unit. FIG. 9 is described based on FIG.
図８のステップＳ１０４の処理（割当候補の選択処理）は、次に示される処理となる。 The process of step S104 in FIG. 8 (assignment candidate selection process) is the following process.
その後、ＣＰＵ/ＧＰＵ処理割当部３４０は、第１の実施形態における上述のステップＳ１０４と同様に、割当候補（５）に従って、ＣＰＵ６１１とＧＰＵ６１２に処理を割り当てる（第１の実施形態と異なり、割当候補は一つであるので、複数の割当候補から選択する処理は必要としない）。
Thereafter, the CPU / GPU
（Ｂ−３）第２の実施形態の効果
第２の実施形態によれば、第１の実施形態と同様の効果を奏することができる。また、ＣＰＵ/ＧＰＵ処理割当部３４０が、ＣＰＵ６１１、ＧＰＵ６１２の各プロセッサの特徴を考慮して、得意とする処理を割り当てることができるので、第２の実施形態は、ＣＰＵ６１１、ＧＰＵ６１２の処理効率をより高めることが可能になる。
(B-3) Effect of Second Embodiment According to the second embodiment, the same effect as that of the first embodiment can be obtained. In addition, since the CPU / GPU
（Ｃ）第３の実施形態
以下、本発明による通信制御装置及びプログラム、記録媒体、並びに、通信制御方法の第２の実施形態を、図面を参照しながら詳述する。
(C) Third Embodiment Hereinafter, a second embodiment of a communication control device and program, a recording medium, and a communication control method according to the present invention will be described in detail with reference to the drawings.
（Ｃ−１）第３の実施形態の構成
第３の実施形態の多地点会議システム、及び会議サーバの構成についても、第１の実施形態と同様に図１〜図７を用いて示すことができる。
(C-1) Configuration of Third Embodiment The configurations of the multipoint conference system and conference server of the third embodiment can also be shown using FIGS. 1 to 7 as in the first embodiment. it can.
以下では、第３の実施形態の会議サーバ１０（メディア制御部７００）の構成について、第１、２の実施形態との差異について説明する。 Hereinafter, differences between the configuration of the conference server 10 (media control unit 700) of the third embodiment and the first and second embodiments will be described.
第１の実施形態では、ＣＰＵ／ＧＰＵ処理割当候補取得部３３０は、映像データ処理部３１、又は音声データ処理部３２を単位として、ＣＰＵ６１１、若しくはＧＰＵ６１２（又はその両方）に処理を割り当てた割当候補を作成していた。また、第２の実施形態では、ＣＰＵ／ＧＰＵ処理割当候補取得部３３０は、ＣＰＵ６１１、ＧＰＵ６１２の各プロセッサの特徴を生かした観点から処理を割り当てる割当候補（映像データ処理部３１と音声データ処理部３２における合成処理はＣＰＵ６１１、映像データ処理部３１と音声データ処理部３２における復号処理、符号化処理はＧＰＵ６１２に割当）を取得していた。
In the first embodiment, the CPU / GPU process allocation
一方、第３の実施形態のＣＰＵ／ＧＰＵ処理割当候補取得部３３０は、ＣＰＵ６１１、若しくはＧＰＵ６１２（又はその両方）に、映像データ処理部３１、又は音声データ処理部３２単位で処理を割り当てる割当候補を取得すること（第１の実施形態）に加えて、さらに、細部の構成（映像データ処理部３１における映像データ復号部３４ａ、映像データ合成部３５ａ、映像データ符号化部３６ａ、音声データ処理部３２における音声データ復号部３４ｂ、音声データ合成部３５ｂ、音声データ符号化部３６ｂ等）単位でも、処理を割り当てる割当候補を取得する（詳細については、動作の項で述べる）。
On the other hand, the CPU / GPU processing allocation
（Ｃ−２）第３の実施形態の動作
次に、以上のような構成を有する第３の実施形態の会議システム１の動作を、図面を参照しながら説明する。なお、以下では、メディア制御部７００の動作に特徴を有するため、この部分を中心に説明する。
(C-2) Operation of Third Embodiment Next, the operation of the
第３の実施形態のメディア制御部７００の動作も、第１の実施形態と同様に図８を用いて説明することができる。ただし、図８のステップＳ１０３の処理（割当候補の作成処理）、図８のステップＳ１０４の処理（割当候補の選択処理）が、第１の実施形態と異なるのでこの点を中心に説明する。
The operation of the
図８のステップＳ１０３の処理（割当候補の取得処理）は、次に示される処理となる。 The process of step S103 in FIG. 8 (assignment candidate acquisition process) is the process shown below.
ＣＰＵ／ＧＰＵ処理割当候補取得部３３０は、ＣＰＵ６１１、若しくはＧＰＵ６１２（又はその両方）に、映像データ処理部３１の内部構成（映像データ復号部３４ａ、映像データ合成部３５ａ、映像データ符号化部３６ａ）、又は音声データ処理部３２の内部構成（音声データ処理部３２、音声データ復号部３４ｂ、音声データ符号化部３６ｂ）を割り当てる割当候補を取得する。
The CPU / GPU processing allocation
図１０〜図１２は、ＣＰＵ／ＧＰＵ処理割当候補取得部が取得する割当候補（割当候補（１）、割当候補（１α）、割当候補（１β）、割当候補（２）、割当候補（２α）、割当候補（２β）、割当候補（３）、割当候補（３α）、割当候補（３β）、割当候補（４））を示す説明図である。図１０〜図１２では、映像データ処理部３１及び、音声データ処理部３２の内部構成単位で、処理を実行するＣＰＵ６１１、又はＧＰＵ６１２について示めされている。図１０〜図１２は、図６をベースに記載される。
10 to 12 show allocation candidates (allocation candidates (1), allocation candidates (1α), allocation candidates (1β), allocation candidates (2), allocation candidates (2α)) acquired by the CPU / GPU process allocation candidate acquisition unit. FIG. 11 is an explanatory diagram showing an allocation candidate (2β), an allocation candidate (3), an allocation candidate (3α), an allocation candidate (3β), and an allocation candidate (4)). 10 to 12, the
ここで、図１０〜図１２に示される割当候補は、第１の実施形態の割当候補（１）、割当候補（２）、割当候補（３）、割当候補（４）と、第３の実施形態において新たに追加される割当候補（１α）、割当候補（１β）、割当候補（２α）、割当候補（２β）、割当候補（３α）、割当候補（３β）である。 Here, the allocation candidates shown in FIGS. 10 to 12 are the allocation candidate (1), allocation candidate (2), allocation candidate (3), allocation candidate (4) of the first embodiment, and the third implementation. They are the allocation candidate (1α), the allocation candidate (1β), the allocation candidate (2α), the allocation candidate (2β), the allocation candidate (3α), and the allocation candidate (3β) that are newly added in the form.
割当候補（１α）は、割当候補（１）の音声データ処理部の合成部を、ＧＰＵからＣＰＵに変更したものである。 The allocation candidate (1α) is obtained by changing the synthesis unit of the voice data processing unit of the allocation candidate (1) from the GPU to the CPU.
割当候補（１β）は、割当候補（１）の音声データ処理部の合成部と復号部を、ＧＰＵからＣＰＵに変更したものである。 The allocation candidate (1β) is obtained by changing the synthesis unit and the decoding unit of the voice data processing unit of the allocation candidate (1) from the GPU to the CPU.
割当候補（２α）は、割当候補（２）の映像データ処理部の合成部を、ＧＰＵからＣＰＵに変更したものである。 The allocation candidate (2α) is obtained by changing the composition unit of the video data processing unit of the allocation candidate (2) from the GPU to the CPU.
割当候補（２β）は、割当候補（２）の映像データ処理部の合成部と復号部を、ＧＰＵからＣＰＵに変更したものである。 The allocation candidate (2β) is obtained by changing the combining unit and decoding unit of the video data processing unit of the allocation candidate (2) from the GPU to the CPU.
割当候補（３α）は、割当候補（３）の音声データ処理部の合成部を、ＧＰＵからＣＰＵに変更したものである。 The allocation candidate (3α) is obtained by changing the synthesis unit of the voice data processing unit of the allocation candidate (3) from the GPU to the CPU.
割当候補（３β）は、割当候補（３）の音声データ処理部の合成部と復号部を、ＧＰＵからＣＰＵに変更したものである。 The allocation candidate (3β) is obtained by changing the synthesis unit and the decoding unit of the voice data processing unit of the allocation candidate (3) from the GPU to the CPU.
なお、図１０〜図１２は一例であり、ＣＰＵ／ＧＰＵ処理割当候補取得部３３０は、これ以外にも様々なパターン（例えば、第２の実施形態における上述の割当候補（５）等）を取得しても良い。
10 to 12 are examples, and the CPU / GPU processing allocation
図８のステップＳ１０４の処理（割当候補の選択処理）は、次に示される処理となる。 The process of step S104 in FIG. 8 (assignment candidate selection process) is the following process.
その後、ＣＰＵ/ＧＰＵ処理割当部３４０は、上述のステップＳ１０４と同様に、図１０〜図１２で示される１０個の割当候補から１個の割当候補を選択して、選択された割当候補に従って、ＣＰＵ６１１、若しくはＧＰＵ６１２（又はその両方）に、映像データ処理部３１の処理及び音声データ処理部３２の処理を割り当てる。
Thereafter, the CPU / GPU
なお、図１０〜図１２の割当候補は、最もプロセッサの効率の良い割当候補から最もプロセッサの効率の悪い割当候補の順番に記載されている。そのため、ＣＰＵ/ＧＰＵ処理割当部３４０は、計算された処理量がＧＰＵ６１２のリソース残量以内の場合又はＣＰＵ６１１のリソース残量以内の場合、割当候補（１）、割当候補（１α）、割当候補（１β）、割当候補（２）、割当候補（２α）、割当候補（２β）、割当候補（３）、割当候補（３α）、割当候補（３β）、割当候補（４）の順に割当候補を検討することになる。
The assignment candidates in FIGS. 10 to 12 are described in the order of assignment candidates with the highest processor efficiency to assignment candidates with the lowest processor efficiency. Therefore, when the calculated processing amount is within the resource remaining amount of the
なお、ＣＰＵ/ＧＰＵ処理割当部３４０は、第２の実施形態における上述の割当候補（５）も含めて割当候補を検討する場合、割当候補（５）、割当候補（１）、割当候補（１α）、割当候補（１β）、割当候補（２）、割当候補（２α）、割当候補（２β）、割当候補（３）、割当候補（３α）、割当候補（３β）、割当候補（４）の順に、割当候補を検討することになる。ここで、割当候補を検討する際、割当候補（５）、割当候補（１）〜割当候補（４）の順とした理由は、第２の実施形態で述べたように、各プロセッサの特徴を考慮したためである。
Note that the CPU / GPU
（Ｃ−３）第３の実施形態の効果
第３の実施形態によれば、第１及び第２の実施形態に比べて、より詳細にＣＰＵ６１１とＧＰＵ６１２に処理負荷を分散できるようになる。
(C-3) Effect of Third Embodiment According to the third embodiment, the processing load can be distributed to the
（Ｄ）他の実施形態
上記各実施形態の説明においても、種々変形実施形態に言及したが、さらに、以下に例示するような変形実施形態も挙げることができる。
(D) Other Embodiments In the description of each of the above embodiments, various modified embodiments have been referred to. However, modified embodiments as exemplified below can also be cited.
上記第２、３の実施形態において、ＣＰＵ/ＧＰＵ処理割当部３４０は、映像データ合成部３５ａ単位で、ＣＰＵ６１１、又はＧＰＵ６１２に処理を割り当てていた。この変形例として、ＣＰＵ/ＧＰＵ処理割当部３４０は、例えば、合成映像のサイズを変更するリサイズ処理をＧＰＵ６１２に割り当て、リサイズ処理を除く映像合成処理をＣＰＵ６１１に割り当てる等のように、細分化された単位の処理をＣＰＵ６１１とＧＰＵ６１２に割り当てても良い。上記と同様に、他の構成（映像データ処理部３１における映像データ復号部３４ａ、映像データ符号化部３６ａ、音声データ復号部３４ｂ、音声データ合成部３５ｂ、及び音声データ符号化部３６ｂ）についても、各構成部において細分化された単位の処理を、ＣＰＵ６１１とＧＰＵ６１２に割り当てても良い。
In the second and third embodiments, the CPU / GPU
１…会議システム、１０…会議サーバ、２０…呼制御部、３０…メディア処理部、３１…映像データ処理部、３２…音声データ処理部、３３…データ受信処理部、３４ａ（３４ａ−１〜３４ａ−４）…映像データ復号部、３４ｂ（３４ｂ−１〜３４ｂ−４）…音声データ復号部、３５…映像データ合成部、３５ａ…映像データ合成部、３５ｂ…音声データ合成部、３６ａ（３６ａ−１〜３６ａ−４）…映像データ符号化部、３６ｂ（３６ｂ−１〜３６ｂ−４）…音声データ符号化部、３７…データ送信処理部、４０（４０−１〜４０−４）…会議端末、３１０…上限リソース情報取得部、３２０…使用リソース情報取得部、３３０…ＧＰＵ処理割当候補取得部、３４０…ＧＰＵ処理割当部、３５０…メディア機能制御部、６１１…ＣＰＵ、６１２…ＣＰＵ、６１３（６１３−１、６１３−２）…メモリ、６１４…インタフェース、６１５…記憶装置、７００…メディア制御部、Ｃ…ＣＰＵ現在使用率、Ｃｍａｘ…ＣＰＵ上限使用率、Ｇ…ＧＰＵ現在使用率、Ｇｍａｘ…ＧＰＵ上限使用率。
DESCRIPTION OF
Claims (7)
第１処理部の実行前における実行前ＣＰＵリソース情報と、実行前ＧＰＵリソース情報とを確認するリソース情報確認手段と、
前記第１処理部の実行後における実行後ＣＰＵリソース情報と、実行後ＧＰＵリソース情報とを推定するリソース情報推定手段と、
前記実行前ＣＰＵリソース情報と、前記実行前ＧＰＵリソース情報と、前記実行後ＣＰＵリソース情報と、前記実行後ＧＰＵリソース情報とに基づいて、前記第１処理部の実行を、ＣＰＵ及びＧＰＵのうち少なくとも１つの処理装置に割り当てる割当手段と
を有することを特徴とする通信制御装置。 A communication control device connected to a plurality of communication devices and having at least one CPU and at least one GPU,
Resource information confirmation means for confirming pre-execution CPU resource information and pre-execution GPU resource information before execution of the first processing unit;
Resource information estimation means for estimating post-execution CPU resource information and post-execution GPU resource information after execution of the first processing unit;
Based on the pre-execution CPU resource information, the pre-execution GPU resource information, the post-execution CPU resource information, and the post-execution GPU resource information, execution of the first processing unit is performed by at least one of the CPU and the GPU. And a allocating means for allocating to one processing device.
複数の通信装置のうち少なくとも１つの通信装置から送信された、映像情報、音声情報、又は映像情報及び音声情報を復号する復号部と、
復号された情報を合成する合成部と、
合成された情報を符号化する符号化部と
を有すること特徴とする請求項１に記載する通信制御装置。 The first processing unit includes:
A decoding unit that decodes video information, audio information, or video information and audio information transmitted from at least one of the plurality of communication devices;
A combining unit that combines the decrypted information;
The communication control apparatus according to claim 1, further comprising: an encoding unit that encodes the synthesized information.
前記実行後ＧＰＵリソース情報に基づく値が所定の閾値を超えていない場合、前記第１処理部の実行を、優先的にＧＰＵに割り当てる第１割当手段
を有することを特徴とする請求項１又は２に記載の通信制御装置。 The assigning means includes
3. A first allocation unit that preferentially allocates execution of the first processing unit to a GPU when a value based on the post-execution GPU resource information does not exceed a predetermined threshold. The communication control device according to 1.
前記合成部の実行を、優先的にＣＰＵに割り当て、
前記復号部及び符号化部の実行を、優先的にＧＰＵに割り当てる第２割当手段
を有することを特徴とする請求項２又は３に記載の通信制御装置。 The assigning means includes
Preferentially assign the execution of the synthesis unit to the CPU,
The communication control apparatus according to claim 2, further comprising: a second allocation unit that preferentially allocates execution of the decoding unit and the encoding unit to the GPU.
第１処理部の実行前における実行前ＣＰＵリソース情報と、実行前ＧＰＵリソース情報とを確認するリソース情報確認手段と、
前記第１処理部の実行後における実行後ＣＰＵリソース情報と、実行後ＧＰＵリソース情報とを推定するリソース情報推定手段と、
前記実行前ＣＰＵリソース情報と、前記実行前ＧＰＵリソース情報と、前記実行後ＣＰＵリソース情報と、前記実行後ＧＰＵリソース情報とに基づいて、前記第１処理部の実行を、ＣＰＵ及びＧＰＵのうち少なくとも１つの処理装置に割り当てる割当手段と
して機能させることを特徴とするプログラム。 A computer connected to a plurality of communication devices and having at least one CPU and at least one GPU,
Resource information confirmation means for confirming pre-execution CPU resource information and pre-execution GPU resource information before execution of the first processing unit;
Resource information estimation means for estimating post-execution CPU resource information and post-execution GPU resource information after execution of the first processing unit;
Based on the pre-execution CPU resource information, the pre-execution GPU resource information, the post-execution CPU resource information, and the post-execution GPU resource information, execution of the first processing unit is performed by at least one of the CPU and the GPU. A program which functions as an allocating means to be allocated to one processing device.
前記通信制御装置は、
第１処理部の実行前における実行前ＣＰＵリソース情報と、実行前ＧＰＵリソース情報とを確認するリソース情報確認ステップと、
前記第１処理部の実行後における実行後ＣＰＵリソース情報と、実行後ＧＰＵリソース情報とを推定するリソース情報推定ステップと、
前記実行前ＣＰＵリソース情報と、前記実行前ＧＰＵリソース情報と、前記実行後ＣＰＵリソース情報と、前記実行後ＧＰＵリソース情報とに基づいて、前記第１処理部の実行を、ＣＰＵ及びＧＰＵのうち少なくとも１つの処理装置に割り当てるアプリケーション割当ステップと
を有することを特徴とする通信制御方法。 A communication control method for a communication control device connected to a plurality of communication devices and having at least one CPU and at least one GPU,
The communication control device includes:
Resource information confirmation step for confirming pre-execution CPU resource information and pre-execution GPU resource information before execution of the first processing unit;
A resource information estimation step for estimating post-execution CPU resource information and post-execution GPU resource information after execution of the first processing unit;
Based on the pre-execution CPU resource information, the pre-execution GPU resource information, the post-execution CPU resource information, and the post-execution GPU resource information, execution of the first processing unit is performed by at least one of the CPU and the GPU. An application assignment step for assigning to one processing device.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2015192734A JP2017069744A (en) | 2015-09-30 | 2015-09-30 | Communication control device, program, recording medium, and communication control method |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2015192734A JP2017069744A (en) | 2015-09-30 | 2015-09-30 | Communication control device, program, recording medium, and communication control method |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JP2017069744A true JP2017069744A (en) | 2017-04-06 |
Family
ID=58495259
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2015192734A Pending JP2017069744A (en) | 2015-09-30 | 2015-09-30 | Communication control device, program, recording medium, and communication control method |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP2017069744A (en) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20220161070A (en) * | 2021-05-28 | 2022-12-06 | 주식회사 엘지유플러스 | Container-based gpu resource sharing mtehod and apparatus in cloud environment |
| KR102630705B1 (en) * | 2023-07-12 | 2024-01-29 | 주식회사 넥스톤 | Energy-saving network camera storage device and operation method of network camera storage device |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2011055234A (en) * | 2009-09-01 | 2011-03-17 | Ricoh Co Ltd | Electronic conference system, multi-point connection device, data communication method, program, and recording medium |
| JP2014505913A (en) * | 2010-12-14 | 2014-03-06 | アマゾン テクノロジーズ インク | Load balancing between general purpose and graphics processors |
| JP2014056425A (en) * | 2012-09-12 | 2014-03-27 | Nippon Telegr & Teleph Corp <Ntt> | Data management device, data management system, process allocation method, and process allocation program |
| US20150189234A1 (en) * | 2013-12-26 | 2015-07-02 | OnCam, Inc. | Real time stream provisioning infrastructure |
-
2015
- 2015-09-30 JP JP2015192734A patent/JP2017069744A/en active Pending
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2011055234A (en) * | 2009-09-01 | 2011-03-17 | Ricoh Co Ltd | Electronic conference system, multi-point connection device, data communication method, program, and recording medium |
| JP2014505913A (en) * | 2010-12-14 | 2014-03-06 | アマゾン テクノロジーズ インク | Load balancing between general purpose and graphics processors |
| JP2014056425A (en) * | 2012-09-12 | 2014-03-27 | Nippon Telegr & Teleph Corp <Ntt> | Data management device, data management system, process allocation method, and process allocation program |
| US20150189234A1 (en) * | 2013-12-26 | 2015-07-02 | OnCam, Inc. | Real time stream provisioning infrastructure |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20220161070A (en) * | 2021-05-28 | 2022-12-06 | 주식회사 엘지유플러스 | Container-based gpu resource sharing mtehod and apparatus in cloud environment |
| KR102574043B1 (en) * | 2021-05-28 | 2023-09-01 | 주식회사 엘지유플러스 | Container-based gpu resource sharing mtehod and apparatus in cloud environment |
| KR102630705B1 (en) * | 2023-07-12 | 2024-01-29 | 주식회사 넥스톤 | Energy-saving network camera storage device and operation method of network camera storage device |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN102447906B (en) | Low-latency video decoding | |
| JP5788995B2 (en) | Dynamic video switching | |
| US8711154B2 (en) | System and method for parallel video processing in multicore devices | |
| EP2909718B1 (en) | Media hardware resource allocation | |
| US20120262531A1 (en) | Scalable Video Encoding in a Multi-View Camera System | |
| US20130191485A1 (en) | Multi-party mesh conferencing with stream processing | |
| JP6191886B2 (en) | Dynamic insertion of synchronous prediction video frames | |
| CN111510743B (en) | Method, device, system, equipment and storage medium for scheduling transcoding resources | |
| JP2017069744A (en) | Communication control device, program, recording medium, and communication control method | |
| CN116567346A (en) | Video processing method, device, storage medium and computer equipment | |
| WO2001037565A1 (en) | Method and apparatus for controlling moving picture synthesis | |
| CN111385515A (en) | Video conference data transmission method and video conference data transmission system | |
| US9118806B2 (en) | Device and method for multistream bandwidth control in videoconferencing | |
| CN110784731B (en) | Data stream transcoding method, device, equipment and medium | |
| US9338468B2 (en) | Latency aware priority based multi-channel decoding | |
| CN113423011B (en) | Transcoding method for video file with any format | |
| JP2001094980A (en) | Data processor | |
| WO2016086371A1 (en) | Conference resource scheduling method and apparatus | |
| WO2017173953A1 (en) | Server, conference terminal, and cloud conference processing method | |
| US10616530B2 (en) | Multipoint video conference device and controlling method thereof | |
| US20160352794A1 (en) | Scalable architecture for media mixing | |
| CN114584786B (en) | Memory allocation method and system based on video decoding | |
| CN110022479A (en) | A kind of H265 hardware encoding method and live streaming platform based on Nvidia Maxwell2 video card | |
| US10951889B2 (en) | Image delivery device, image delivery program, and image delivery method | |
| CN115665106A (en) | Code stream scheduling method, code stream synthesizing method and code stream scheduling system |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20180515 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20181228 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20190108 |
|
| A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20190806 |