JP2014505913A - 汎用プロセッサとグラフィックスプロセッサとの間の負荷平衡化 - Google Patents
汎用プロセッサとグラフィックスプロセッサとの間の負荷平衡化 Download PDFInfo
- Publication number
- JP2014505913A JP2014505913A JP2013536943A JP2013536943A JP2014505913A JP 2014505913 A JP2014505913 A JP 2014505913A JP 2013536943 A JP2013536943 A JP 2013536943A JP 2013536943 A JP2013536943 A JP 2013536943A JP 2014505913 A JP2014505913 A JP 2014505913A
- Authority
- JP
- Japan
- Prior art keywords
- application
- gpu
- cpu
- computing device
- logic
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000012545 processing Methods 0.000 claims abstract description 24
- 238000012546 transfer Methods 0.000 claims description 9
- 230000005540 biological transmission Effects 0.000 claims description 5
- 238000004891 communication Methods 0.000 claims description 5
- 230000004044 response Effects 0.000 claims description 5
- 230000015654 memory Effects 0.000 description 34
- 238000000034 method Methods 0.000 description 14
- 230000006870 function Effects 0.000 description 11
- 230000003287 optical effect Effects 0.000 description 6
- 238000010586 diagram Methods 0.000 description 4
- 230000002085 persistent effect Effects 0.000 description 4
- 238000009877 rendering Methods 0.000 description 4
- 239000007787 solid Substances 0.000 description 3
- 230000008901 benefit Effects 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 238000011960 computer-aided design Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000004088 simulation Methods 0.000 description 2
- 230000003068 static effect Effects 0.000 description 2
- 230000001133 acceleration Effects 0.000 description 1
- 230000009471 action Effects 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 239000012141 concentrate Substances 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000009434 installation Methods 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 230000000116 mitigating effect Effects 0.000 description 1
- 230000008569 process Effects 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 230000005236 sound signal Effects 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
- 238000013024 troubleshooting Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F9/00—Arrangements for program control, e.g. control units
- G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
- G06F9/30—Arrangements for executing machine instructions, e.g. instruction decode
- G06F9/38—Concurrent instruction execution, e.g. pipeline or look ahead
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L47/00—Traffic control in data switching networks
- H04L47/70—Admission control; Resource allocation
- H04L47/80—Actions related to the user profile or the type of traffic
- H04L47/803—Application aware
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F9/00—Arrangements for program control, e.g. control units
- G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
- G06F9/46—Multiprogramming arrangements
- G06F9/50—Allocation of resources, e.g. of the central processing unit [CPU]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F9/00—Arrangements for program control, e.g. control units
- G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
- G06F9/46—Multiprogramming arrangements
- G06F9/50—Allocation of resources, e.g. of the central processing unit [CPU]
- G06F9/5005—Allocation of resources, e.g. of the central processing unit [CPU] to service a request
- G06F9/5027—Allocation of resources, e.g. of the central processing unit [CPU] to service a request the resource being a machine, e.g. CPUs, Servers, Terminals
- G06F9/5044—Allocation of resources, e.g. of the central processing unit [CPU] to service a request the resource being a machine, e.g. CPUs, Servers, Terminals considering hardware capabilities
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F9/00—Arrangements for program control, e.g. control units
- G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
- G06F9/46—Multiprogramming arrangements
- G06F9/50—Allocation of resources, e.g. of the central processing unit [CPU]
- G06F9/5083—Techniques for rebalancing the load in a distributed system
- G06F9/5088—Techniques for rebalancing the load in a distributed system involving task migration
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L47/00—Traffic control in data switching networks
- H04L47/70—Admission control; Resource allocation
- H04L47/72—Admission control; Resource allocation using reservation actions during connection setup
- H04L47/726—Reserving resources in multiple paths to be used simultaneously
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L67/00—Network arrangements or protocols for supporting network services or applications
- H04L67/01—Protocols
- H04L67/10—Protocols in which an application is distributed across nodes in the network
Landscapes
- Engineering & Computer Science (AREA)
- Software Systems (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Signal Processing (AREA)
- Computer Networks & Wireless Communication (AREA)
- Information Transfer Between Computers (AREA)
- Stored Programmes (AREA)
- Multi Processors (AREA)
- Image Processing (AREA)
- Image Generation (AREA)
Abstract
【選択図】なし
Description
付記1.
コンピューティングデバイスにおいて実行可能なプログラムを具現化する持続的コンピュータ可読媒体であって、プログラムは、
クライアントコンピューティングデバイスからクラウドコンピューティングリソースにおいてアプリケーションを実行するリクエストを取得するコードであって、アプリケーションはアプリケーションのライブラリから選択され、アプリケーションのそれぞれはそれぞれのリソース利用プロファイルに関連付けられ、各リソース利用プロファイルは、それぞれのアプリケーションがグラフィックス処理装置(GPU)リソースよりも多く中央処理装置(CPU)リソースを使用する傾向があるかどうか、またそれぞれのアプリケーションがCPUリソースよりもGPUリソースをより多く使用する傾向があるかどうかを示す、コードと、
少なくとも一部において、マシンインスタンスの現行のCPU負荷および現行のGPU負荷と、アプリケーションのリソース利用プロファイルとに基づいて、クラウドコンピューティングリソースからマシンインスタンスを選択するコードと、
マシンインスタンスの少なくとも1つのCPUの代わりに、マシンインスタンスの少なくとも1つのGPUでビデオエンコーダを実行するかどうかを判定するコードであって、ビデオエンコーダは、クライアントへの伝送のために、アプリケーションによって生成されたビデオ信号をビデオストリームへ符号化するように構成される、コードと、
マシンインスタンスにおいてアプリケーションを実行するコードと、
ビデオエンコーダが少なくとも1つのCPUの代わりに少なくとも1つのGPUで実行されることが判定されるときに、少なくとも1つのGPUでビデオエンコーダを実行するコードと、
ビデオエンコーダが少なくとも1つのGPUの代わりに少なくとも1つのCPUで実行されることが判定されるときに、少なくとも1つのCPUでビデオエンコーダを実行するコードと、を備える、持続的コンピュータ可読媒体。
付記2.
プログラムは、
ビデオエンコーダが少なくとも1つのCPUで実行中であり、かつ第1の基準セットが適合するときに、少なくとも1つのCPUから少なくとも1つのGPUへビデオエンコーダの実行を転送するコードと、
ビデオエンコーダが少なくとも1つのGPUで実行中であり、かつ第2の基準セットが適合するときに、少なくとも1つのGPUから少なくとも1つのCPUへビデオエンコーダの実行を転送するコードと、をさらに備える、付記1に記載の持続的コンピュータ可読媒体。
付記3.
少なくとも1つのグラフィックス処理装置(GPU)と少なくとも1つの中央処理装置(CPU)とを含む少なくとも1つのコンピューティングデバイスと、
少なくとも1つのコンピューティングデバイスにおいて実行可能なサーバアプリケーションであって、
少なくとも1つのコンピューティングデバイスにおいて第1のアプリケーションを実行するリクエストを取得する論理と、
第1のアプリケーションに関連付けられたリソース利用プロファイルが、第1のアプリケーションが比較的GPU集約的であるよりCPU集約的であることを示すときに、第1のアプリケーションに関連付けられた第2のアプリケーションを、少なくとも1つのCPUの代わりに少なくとも1つのGPUで実行されるように割り当てる論理と、
リソース利用プロファイルが、第1のアプリケーションが比較的CPU集約的であるよりGPU集約的であることを示すときに、第2のアプリケーションを、少なくとも1つのGPUの代わりに少なくとも1つのCPUで実行されるように割り当てる論理と、を備える、サーバアプリケーションと、を備える、システム。
付記4.
第2のアプリケーションは、第1のアプリケーションによって生成されたビデオ信号をビデオストリームに符号化するように構成されるビデオエンコーダに相当し、サーバアプリケーションは、ハードウェアビデオエンコーダが利用可能であるときに、少なくとも1つのCPUまたは少なくとも1つのGPUの代わりに、少なくとも1つのコンピューティングデバイスのハードウェアビデオエンコーダにおいてビデオエンコーダを実行する論理をさらに備える、付記3に記載のシステム。
付記5.
第2のアプリケーションの割り当ては、少なくとも一部において、少なくとも1つのGPUの現行の負荷および少なくとも1つのCPUの現行の負荷に基づく、付記3に記載のシステム。
付記6.
第2のアプリケーションの割り当ては、少なくとも一部において、少なくとも1つのGPUの現行の負荷および少なくとも1つのCPUの現行の負荷が互いに閾値だけ異なるかどうかに基づく、付記3に記載のシステム。
付記7.
第1のアプリケーションは、ゲームアプリケーションを含む、付記3に記載のシステム。
付記8.
第1のアプリケーションは、携帯電話アプリケーションを含む、付記3に記載のシステム。
付記9.
第2のアプリケーションは、データ通信ネットワーク上でのクライアントコンピューティングデバイスへの伝送のために、第1のアプリケーションによって生成されたビデオ信号をビデオストリームへ符号化するように構成されるビデオエンコーダを含む、付記3に記載のシステム。
付記10.
少なくとも1つのコンピューティングデバイスは、クライアントコンピューティングデバイスに含まれていない第1のアプリケーションを実行するための少なくとも1つの機能を含む、付記9に記載のシステム。
付記11.
リクエストは、アプリケーションのライブラリから第1のアプリケーションを選択し、アプリケーションのうちの少なくとも1つは、比較的GPU集約的であるよりCPU集約的であり、アプリケーションのうちの少なくとも1つは、比較的CPU集約的であるよりGPU集約的である、付記3に記載のシステム。
付記12.
少なくとも1つのコンピューティングデバイスにおいて実行可能な仮想化レイヤをさらに備え、仮想化レイヤは、リクエストに応答して少なくとも1つのCPUから少なくとも1つのGPUへ第2のアプリケーションの実行を転送する論理を備える、付記3に記載のシステム。
付記13.
第2のアプリケーションは、第1のアプリケーションの出力からビデオストリームを生成するように構成され、ビデオストリームは第2のアプリケーションの実行が転送されるときに中断されない、付記12に記載のシステム。
付記14.
少なくとも1つのコンピューティングデバイスにおいて実行可能な仮想化レイヤをさらに備え、仮想化レイヤは、リクエストに応答して少なくとも1つのGPUから少なくとも1つのCPUへ第2のアプリケーションの実行を転送する論理を備える、付記3に記載のシステム。
付記15.
少なくとも1つのコンピューティングデバイスは、複数のネットワーク設定されたコンピューティングデバイスを含み、サーバアプリケーションは、
少なくとも一部において、ネットワーク設定されたコンピューティングデバイスのうちの1つに関連付けられた現行のGPU負荷および現行のCPU負荷、ならびにリソース利用プロファイルに基づいて、第1のアプリケーションおよび第2のアプリケーションを実行するためのネットワーク設定されたコンピューティングデバイスのうちの1つを選択する論理をさらに備える、付記3に記載のシステム。
付記16.
ネットワーク設定されたコンピューティングデバイスは、クラウドコンピューティングリソースに相当する、付記15に記載のシステム。
付記17.
サーバアプリケーションは、現行のCPU負荷がCPU負荷閾値に適合するときに、ネットワーク設定されたコンピューティングデバイスのうちの1つの少なくとも1つのCPUにおいて実行中の少なくとも1つのアプリケーションを、ネットワーク設定されたコンピューティングデバイスのうちの1つの少なくとも1つのGPUにおいて実行されるように、再構成する論理をさらに備える、付記15に記載のシステム。
付記18.
サーバアプリケーションは、現行のGPU負荷がGPU負荷閾値に適合するときに、ネットワーク設定されたコンピューティングデバイスのうちの1つの少なくとも1つのGPUにおいて実行中の少なくとも1つのアプリケーションを、ネットワーク設定されたコンピューティングデバイスのうちの1つの少なくとも1つのCPUにおいて実行するように、再構成する論理をさらに備える、付記15に記載のシステム。
付記19.
少なくとも1つのコンピューティングデバイスにおいて、第1のアプリケーションを実行するリクエストを取得するステップであって、第1のアプリケーションは、少なくとも1つのグラフィックス処理装置(GPU)と少なくとも1つの中央処理装置(CPU)とで実行されるように構成され、第1のアプリケーションは、リソース利用プロファイルに関連付けられる、ステップと、
少なくとも1つのコンピューティングデバイスにおいて、少なくとも一部において、ネットワーク設定されたコンピューティングデバイスのうちの1つの現行のGPU負荷および現行のCPU負荷、ならびにリソース利用プロファイルに基づいて、複数のネットワーク設定されたコンピューティングデバイスのうちの1つを選択するステップと、
ネットワーク設定されたコンピューティングデバイスのうちの1つにおいて、第1のアプリケーションを実行するステップと、を含む、方法。
付記20.
リソース利用プロファイルは、第1のアプリケーションがGPUリソースよりも多くCPUリソースを使用する傾向があるかどうか、また第1のアプリケーションがCPUリソースよりもGPUリソースを多く使用する傾向があるかどうかを示す、付記19に記載の方法。
付記21.
選択するステップは、
少なくとも1つのコンピューティングデバイスにおいて、現行のGPU負荷がGPU利用の最大閾値未満であり、リソース利用プロファイルが、第1のアプリケーションがCPUリソースよりもGPUリソースを多く使用する傾向があることを示すときに、複数のネットワーク設定されたコンピューティングデバイスのうちの1つを選択するステップと、
少なくとも1つのコンピューティングデバイスにおいて、現行のCPU負荷がCPU利用の最大閾値未満であり、リソース利用プロファイルが、第1のアプリケーションがGPUリソースよりもCPUリソースをより多く使用する傾向があることを示すときに、複数のネットワーク設定されたコンピューティングデバイスのうちの1つを選択するステップと、をさらに含む、付記19に記載の方法。
付記22.
選択するステップは、
少なくとも1つのコンピューティングデバイスにおいて、現行のGPU負荷がGPU利用の最大閾値に適合し、リソース利用プロファイルが、第1のアプリケーションがGPUリソースよりもCPUリソースをより多く使用する傾向があることを示すときに、複数のネットワーク設定されたコンピューティングデバイスのうちの1つを選択するステップと、
少なくとも1つのコンピューティングデバイスにおいて、現行のCPU負荷がCPU利用の最大閾値に適合し、リソース利用プロファイルが、第1のアプリケーションがCPUリソースよりもGPUリソースをより多く使用する傾向があることを示すときに、複数のネットワーク設定されたコンピューティングデバイスのうちの1つを選択するステップと、をさらに含む、付記19に記載の方法。
付記23.
選択するステップは、少なくとも1つのコンピューティングデバイスにおいて、他の割り付けられたコンピューティングデバイスのいずれも、第1のアプリケーションを収容するために十分な処理リソースを有しないときに、ネットワーク設定されたコンピューティングデバイスのうちの1つとして、ネットワーク設定されたコンピューティングデバイスのうちの割り付けられていない1つを選択するステップをさらに含む、付記19に記載の方法。
付記24.
少なくとも1つのコンピューティングデバイスにおいて、少なくとも一部において、ネットワーク設定されたコンピューティングデバイスのうちの1つのリソース負荷に基づいて、ネットワーク設定されたコンピューティングデバイスのうちの1つの少なくとも1つのCPUの代わりに、ネットワーク設定されたコンピューティングデバイスのうちの1つの少なくとも1つのGPUで実行するように、第1のアプリケーションと共に動作する第2のアプリケーションを構成するステップをさらに含む、付記19に記載の方法。
付記25.
少なくとも1つのコンピューティングデバイスにおいて、少なくとも一部において、ネットワーク設定されたコンピューティングデバイスのうちの1つのリソース負荷に基づいて、ネットワーク設定されたコンピューティングデバイスのうちの1つの少なくとも1つのGPUの代わりに、ネットワーク設定されたコンピューティングデバイスのうちの1つの少なくとも1つのCPUで実行するように、第1のアプリケーションと共に動作する第2のアプリケーションを構成するステップをさらに含む、付記19に記載の方法。
付記26.
少なくとも1つのコンピューティングデバイスにおいて、少なくとも一部において、ネットワーク設定されたコンピューティングデバイスのうちの1つのリソース負荷に基づいて、ネットワーク設定されたコンピューティングデバイスのうちの1つの少なくとも1つのGPUで実行中の少なくとも1つのアプリケーションを、ネットワーク設定されたコンピューティングデバイスのうちの1つの少なくとも1つのCPUで実行するように構成するステップをさらに含む、付記19に記載の方法。
付記27.
少なくとも1つのコンピューティングデバイスにおいて、少なくとも一部において、ネットワーク設定されたコンピューティングデバイスのうちの1つのリソース負荷に基づいて、ネットワーク設定されたコンピューティングデバイスのうちの1つの少なくとも1つのCPUで実行中の少なくとも1つのアプリケーションを、ネットワーク設定されたコンピューティングデバイスのうちの1つの少なくとも1つのGPUで実行するように構成するステップをさらに含む、付記19に記載の方法。
付記28.
少なくとも1つのグラフィックス処理装置(GPU)と少なくとも1つの中央処理装置(CPU)とを含む少なくとも1つのコンピューティングデバイスと、
少なくとも1つのコンピューティングデバイスにおいて実行可能なサーバアプリケーションであって、
少なくとも1つのコンピューティングデバイスで第1のアプリケーションを実行するリクエストを取得する論理と、
少なくとも1つのCPUの現行の負荷および少なくとも1つのGPUの現行の負荷を判定する論理と、
少なくとも一部において、少なくとも1つのCPUの現行の負荷と少なくとも1つのGPUの現行の負荷とに基づいて、第1のアプリケーションに関連付けられた第2のアプリケーションを、少なくとも1つのCPUまたは少なくとも1つのGPUで実行する論理と、を備える、サーバアプリケーションと、を備える、システム。
付記29.
第2のアプリケーションは、少なくとも一部において、第1のアプリケーションのCPU消費測定基準およびGPU消費測定基準を提供するリソース利用プロファイルに基づいて、少なくとも1つのCPUまたは少なくとも1つのGPUで実行される、付記28に記載のシステム。
付記30.
第2のアプリケーションは、第1のアプリケーションによって生成されたビデオ信号をビデオストリームに符号化するように構成されるビデオエンコーダに相当する、付記28に記載のシステム。
付記31.
実行する論理は、ハードウェアビデオエンコーダが利用可能であるときに、少なくとも1つのCPUまたは少なくとも1つのGPUの代わりに、少なくとも1つのコンピューティングデバイスのハードウェアビデオエンコーダでビデオエンコーダを実行するようにさらに構成される、付記30に記載のシステム。
付記32.
少なくとも1つのコンピューティングデバイスにおいて実行可能な仮想化レイヤをさらに備え、仮想化レイヤは、リクエストに応答して第2のアプリケーションの実行を少なくとも1つのCPUから少なくとも1つのGPUへ転送する論理を備える、付記28に記載のシステム。
本出願は、2010年12月14日に出願された米国特許出願第12/967,171号の利益を主張し、これは、参照することにより本明細書に組み込まれる。
Claims (15)
- 少なくとも1つのグラフィックス処理装置(GPU)と少なくとも1つの中央処理装置(CPU)とを含む少なくとも1つのコンピューティングデバイスと、
前記少なくとも1つのコンピューティングデバイスにおいて実行可能なサーバアプリケーションであって、
前記少なくとも1つのコンピューティングデバイスにおいて第1のアプリケーションを実行するリクエストを取得する論理と、
前記第1のアプリケーションに関連付けられたリソース利用プロファイルが、前記第1のアプリケーションが比較的CPU集約的であるよりGPU集約的であることを示すときに、前記第1のアプリケーションに関連付けられた第2のアプリケーションを、前記少なくとも1つのCPUの代わりに前記少なくとも1つのGPUで実行されるように割り当てる論理と、
前記リソース利用プロファイルが、前記第1のアプリケーションが比較的CPU集約的であるよりGPU集約的であることを示すときに、前記第2のアプリケーションを、前記少なくとも1つのGPUの代わりに前記少なくとも1つのCPUで実行されるように割り当てる論理と、
を備える、サーバアプリケーションと、
を備える、システム。 - 前記第2のアプリケーションは、前記第1のアプリケーションによって生成されたビデオ信号をビデオストリームに符号化するように構成されるビデオエンコーダに相当し、前記サーバアプリケーションは、ハードウェアビデオエンコーダが利用可能であるときに、前記少なくとも1つのCPUまたは前記少なくとも1つのGPUの代わりに、前記少なくとも1つのコンピューティングデバイスの前記ハードウェアビデオエンコーダにおいて前記ビデオエンコーダを実行する論理をさらに備える、請求項1に記載のシステム。
- 前記第2のアプリケーションの前記割り当ては、少なくとも一部において、前記少なくとも1つのGPUの現行の負荷および前記少なくとも1つのCPUの現行の負荷に基づく、請求項1に記載のシステム。
- 前記第2のアプリケーションの前記割り当ては、少なくとも一部において、前記少なくとも1つのGPUの現行の負荷および前記少なくとも1つのCPUの現行の負荷が互いに閾値だけ異なるかどうかに基づく、請求項1に記載のシステム。
- 前記第2のアプリケーションは、データ通信ネットワーク上でのクライアントコンピューティングデバイスへの伝送のために、前記第1のアプリケーションによって生成されたビデオ信号をビデオストリームへ符号化するように構成されるビデオエンコーダを含む、請求項1に記載のシステム。
- 前記少なくとも1つのコンピューティングデバイスは、前記クライアントコンピューティングデバイスに含まれていない前記第1のアプリケーションを実行するための少なくとも1つの機能を含む、請求項5に記載のシステム。
- 前記リクエストは、アプリケーションのライブラリから前記第1のアプリケーションを選択し、前記アプリケーションのうちの少なくとも1つは、比較的GPU集約的であるよりCPU集約的であり、前記アプリケーションのうちの少なくとも1つは、比較的CPU集約的であるよりGPU集約的である、請求項1に記載のシステム。
- 前記少なくとも1つのコンピューティングデバイスにおいて実行可能な仮想化レイヤをさらに備え、前記仮想化レイヤは、リクエストに応答して前記少なくとも1つのCPUから前記少なくとも1つのGPUへ前記第2のアプリケーションの実行を転送する論理を備える、請求項1に記載のシステム。
- 前記第2のアプリケーションは、前記第1のアプリケーションの出力からビデオストリームを生成するように構成され、前記ビデオストリームは前記第2のアプリケーションの前記実行が転送されるときに中断されない、請求項8に記載のシステム。
- 前記少なくとも1つのコンピューティングデバイスにおいて実行可能な仮想化レイヤをさらに備え、前記仮想化レイヤは、リクエストに応答して前記少なくとも1つのGPUから前記少なくとも1つのCPUへ前記第2のアプリケーションの実行を転送する論理を備える、請求項1に記載のシステム。
- 前記少なくとも1つのコンピューティングデバイスは、複数のネットワーク設定されたコンピューティングデバイスを含み、
前記サーバアプリケーションは、
少なくとも一部において、前記ネットワーク設定されたコンピューティングデバイスのうちの1つに関連付けられた現行のGPU負荷および現行のCPU負荷、ならびに前記リソース利用プロファイルに基づいて、前記第1のアプリケーションおよび前記第2のアプリケーションを実行するための前記ネットワーク設定されたコンピューティングデバイスのうちの前記1つを選択する論理をさらに備える、
請求項1に記載のシステム。 - 前記サーバアプリケーションは、前記現行のCPU負荷がCPU負荷閾値に適合するときに、前記ネットワーク設定されたコンピューティングデバイスのうちの前記1つの前記少なくとも1つのCPUで実行中の少なくとも1つのアプリケーションを、前記ネットワーク設定されたコンピューティングデバイスのうちの前記1つの前記少なくとも1つのGPUで実行されるように、再構成する論理をさらに備える、請求項11に記載のシステム。
- 前記サーバアプリケーションは、前記現行のGPU負荷がGPU負荷閾値に適合するときに、前記ネットワーク設定されたコンピューティングデバイスのうちの前記1つの前記少なくとも1つのGPUで実行中の少なくとも1つのアプリケーションを、前記ネットワーク設定されたコンピューティングデバイスのうちの前記1つの前記少なくとも1つのCPUで実行するように、再構成する論理をさらに備える、請求項11に記載のシステム。
- 少なくとも1つのグラフィックス処理装置(GPU)と少なくとも1つの中央処理装置(CPU)とを含む少なくとも1つのコンピューティングデバイスと、
前記少なくとも1つのコンピューティングデバイスにおいて実行可能なサーバアプリケーションであって、
前記少なくとも1つのコンピューティングデバイスにおいて第1のアプリケーションを実行するリクエストを取得する論理と、
前記少なくとも1つのCPUの現行の負荷および前記少なくとも1つのGPUの現行の負荷を判定する論理と、
少なくとも一部において、前記少なくとも1つのCPUの前記現行の負荷と前記少なくとも1つのGPUの前記現行の負荷とに基づいて、前記第1のアプリケーションに関連付けられた第2のアプリケーションを、前記少なくとも1つのCPUまたは前記少なくとも1つのGPUで実行する論理と、
を備える、サーバアプリケーションと、
を備えるシステム。 - 前記第2のアプリケーションは、少なくとも一部において、前記第1のアプリケーションのCPU消費測定基準およびGPU消費測定基準を提供するリソース利用プロファイルに基づいて、前記少なくとも1つのCPUまたは前記少なくとも1つのGPUで実行される、請求項14に記載のシステム。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US12/967,171 US8830245B2 (en) | 2010-12-14 | 2010-12-14 | Load balancing between general purpose processors and graphics processors |
US12/967,171 | 2010-12-14 | ||
PCT/US2011/064348 WO2012082589A2 (en) | 2010-12-14 | 2011-12-12 | Load balancing between general purpose processors and graphics processors |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2014505913A true JP2014505913A (ja) | 2014-03-06 |
JP5745079B2 JP5745079B2 (ja) | 2015-07-08 |
Family
ID=46199904
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2013536943A Active JP5745079B2 (ja) | 2010-12-14 | 2011-12-12 | 汎用プロセッサとグラフィックスプロセッサとの間の負荷平衡化 |
Country Status (7)
Country | Link |
---|---|
US (3) | US8830245B2 (ja) |
EP (1) | EP2654911A4 (ja) |
JP (1) | JP5745079B2 (ja) |
KR (1) | KR101523861B1 (ja) |
CN (2) | CN108052395A (ja) |
CA (1) | CA2814420C (ja) |
WO (1) | WO2012082589A2 (ja) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2017069744A (ja) * | 2015-09-30 | 2017-04-06 | 沖電気工業株式会社 | 通信制御装置及びプログラム、記録媒体、並びに、通信制御方法 |
Families Citing this family (62)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US9069622B2 (en) * | 2010-09-30 | 2015-06-30 | Microsoft Technology Licensing, Llc | Techniques for load balancing GPU enabled virtual machines |
US8970603B2 (en) | 2010-09-30 | 2015-03-03 | Microsoft Technology Licensing, Llc | Dynamic virtual device failure recovery |
US8806054B1 (en) * | 2010-12-15 | 2014-08-12 | Amazon Technologies, Inc. | Sending application input commands over a network |
US9467507B2 (en) * | 2011-01-03 | 2016-10-11 | Verizon Patent And Licensing Inc. | Wireless network cloud computing resource management |
US9424052B2 (en) | 2011-03-21 | 2016-08-23 | Amazon Technologies, Inc. | Remotely emulating computing devices |
US9564672B2 (en) | 2011-03-22 | 2017-02-07 | Intel Corporation | Lightweight cavity filter structure |
US9312594B2 (en) | 2011-03-22 | 2016-04-12 | Intel Corporation | Lightweight cavity filter and radio subsystem structures |
US9345061B1 (en) | 2011-06-29 | 2016-05-17 | Amazon Technologies, Inc. | Remote access to mobile communication devices |
KR20130019674A (ko) * | 2011-08-17 | 2013-02-27 | 삼성전자주식회사 | 단말 및 그 단말에서 어플리케이션 수행 방법 |
US9058194B2 (en) * | 2012-03-02 | 2015-06-16 | Google Inc. | Software application previews |
WO2014019127A1 (en) | 2012-07-31 | 2014-02-06 | Intel Corporation (A Corporation Of Delaware) | Hybrid rendering systems and methods |
US8972956B2 (en) * | 2012-08-02 | 2015-03-03 | International Business Machines Corporation | Application deployment in heterogeneous environments |
EP2893435B1 (en) * | 2012-09-07 | 2019-05-08 | Carnegie Mellon University | Methods for hybrid gpu/cpu data processing |
US11082490B2 (en) | 2012-11-28 | 2021-08-03 | Nvidia Corporation | Method and apparatus for execution of applications in a cloud system |
DE112013005688T5 (de) * | 2012-11-28 | 2015-08-06 | Nvidia Corporation | Verfahren und System für eine wolkenbasierte virtualisierte Graphikverarbeitung für Fernanzeigen |
JP5919179B2 (ja) * | 2012-12-07 | 2016-05-18 | 日本電信電話株式会社 | 情報処理装置及び情報処理プログラム |
US9665921B2 (en) * | 2012-12-29 | 2017-05-30 | Futurewei Technologies, Inc. | Adaptive OpenGL 3D graphics in virtual desktop infrastructure |
EP2763038A3 (en) * | 2013-02-01 | 2017-03-01 | Samsung Electronics Co., Ltd | Method and apparatus for processing multimedia content on a graphic cloud |
US9298511B2 (en) | 2013-03-15 | 2016-03-29 | International Business Machines Corporation | Resolving deployment conflicts in heterogeneous environments |
US9292349B2 (en) | 2013-03-15 | 2016-03-22 | International Business Machines Corporation | Detecting deployment conflicts in heterogenous environments |
WO2014188642A1 (ja) * | 2013-05-22 | 2014-11-27 | 日本電気株式会社 | スケジュールシステム、スケジュール方法、及び、記録媒体 |
CN104298556B (zh) * | 2013-07-17 | 2018-01-09 | 华为技术有限公司 | 流处理单元的分配方法及装置 |
US9842532B2 (en) | 2013-09-09 | 2017-12-12 | Nvidia Corporation | Remote display rendering for electronic devices |
CN104580338B (zh) * | 2013-10-29 | 2018-09-07 | 华为技术有限公司 | 一种业务处理方法、系统及设备 |
EP2887219A1 (en) | 2013-12-23 | 2015-06-24 | Deutsche Telekom AG | System and method for mobile augmented reality task scheduling |
US10114431B2 (en) | 2013-12-31 | 2018-10-30 | Microsoft Technology Licensing, Llc | Nonhomogeneous server arrangement |
US20150188765A1 (en) * | 2013-12-31 | 2015-07-02 | Microsoft Corporation | Multimode gaming server |
CN106164839B (zh) * | 2014-02-04 | 2019-10-22 | 触觉实验室股份有限公司 | 以减小的等待时间提供对输入的视觉响应的方法 |
JP6373620B2 (ja) | 2014-04-01 | 2018-08-15 | 株式会社ソニー・インタラクティブエンタテインメント | ゲーム提供システム |
JP6055433B2 (ja) * | 2014-04-01 | 2016-12-27 | 株式会社ソニー・インタラクティブエンタテインメント | ゲーム提供サーバ |
JP6412708B2 (ja) | 2014-04-01 | 2018-10-24 | 株式会社ソニー・インタラクティブエンタテインメント | プロセッシングシステムおよびマルチプロセッシングシステム |
US9694281B2 (en) | 2014-06-30 | 2017-07-04 | Microsoft Technology Licensing, Llc | Data center management of multimode servers |
EP2995494B1 (en) * | 2014-09-11 | 2020-04-08 | Continental Automotive GmbH | Animation arrangement |
CN106796636A (zh) * | 2014-10-25 | 2017-05-31 | 迈克菲股份有限公司 | 计算平台安全方法和装置 |
US9690928B2 (en) | 2014-10-25 | 2017-06-27 | Mcafee, Inc. | Computing platform security methods and apparatus |
US10073972B2 (en) | 2014-10-25 | 2018-09-11 | Mcafee, Llc | Computing platform security methods and apparatus |
CN105808342B (zh) * | 2014-12-30 | 2019-12-13 | 中国电信股份有限公司 | 用于分配客户请求的方法、判断装置和系统 |
CN104572298B (zh) * | 2014-12-31 | 2017-11-24 | 北京四达时代软件技术股份有限公司 | 视频云平台的资源调度方法及装置 |
US9697046B2 (en) * | 2015-06-19 | 2017-07-04 | Vmware, Inc. | Managing resource reservations in a highly parallel application |
US10445850B2 (en) * | 2015-08-26 | 2019-10-15 | Intel Corporation | Technologies for offloading network packet processing to a GPU |
US10162684B2 (en) * | 2015-10-15 | 2018-12-25 | International Business Machines Corporation | CPU resource management in computer cluster |
KR101721341B1 (ko) * | 2015-12-31 | 2017-04-10 | 전북대학교산학협력단 | 이종 멀티코어 환경에서 사용되는 수행장치 결정 모듈 및 이를 이용한 수행장치 결정방법 |
US10277911B2 (en) * | 2016-01-22 | 2019-04-30 | Wowza Media Systems, LLC | Video processing workload management |
US10453445B2 (en) * | 2016-02-16 | 2019-10-22 | Carnegie Mellon University | System and method for multi-user GPU-accelerated speech recognition engine for client-server architectures |
US10579350B2 (en) | 2016-02-18 | 2020-03-03 | International Business Machines Corporation | Heterogeneous computer system optimization |
US10425472B2 (en) * | 2017-01-17 | 2019-09-24 | Microsoft Technology Licensing, Llc | Hardware implemented load balancing |
KR102091152B1 (ko) | 2017-03-22 | 2020-03-19 | 정기웅 | 계층적 네트워크에서 다중코어를 이용한 패킷 처리 방법 및 그 장치 |
CN107515736B (zh) * | 2017-07-01 | 2021-01-15 | 广州深域信息科技有限公司 | 一种在嵌入式设备上加速深度卷积网络计算速度的方法 |
WO2019075428A1 (en) * | 2017-10-12 | 2019-04-18 | Shouty, LLC | SYSTEMS AND METHODS FOR DIRECT CONTINUOUS DIFFUSION OF CLOUD STORAGE |
CN109726005B (zh) * | 2017-10-27 | 2023-02-28 | 伊姆西Ip控股有限责任公司 | 用于管理资源的方法、服务器系统和计算机可读介质 |
CN109981699A (zh) * | 2017-12-27 | 2019-07-05 | 中国移动通信集团云南有限公司 | 一种云计算系统的资源分配方法、装置及云计算系统 |
CN110275771B (zh) * | 2018-03-15 | 2021-12-14 | 中国移动通信集团有限公司 | 一种业务处理方法、物联网计费基础设施系统及存储介质 |
KR102034845B1 (ko) * | 2018-03-23 | 2019-10-21 | 에스케이플래닛 주식회사 | 선택적 인코딩 기반의 클라우드 스트리밍 서비스 방법 및 위한 장치 |
US11262831B2 (en) | 2018-08-17 | 2022-03-01 | Hewlett-Packard Development Company, L.P. | Modifications of power allocations for graphical processing units based on usage |
CN109788325B (zh) * | 2018-12-28 | 2021-11-19 | 网宿科技股份有限公司 | 视频任务分配方法及服务器 |
US11347621B1 (en) * | 2020-03-17 | 2022-05-31 | Core Scientific, Inc. | Application performance characterization and profiling as a service |
CN111258526B (zh) * | 2020-05-06 | 2020-08-28 | 上海幻电信息科技有限公司 | 投屏方法和系统 |
CN113259680B (zh) * | 2021-06-25 | 2021-10-01 | 腾讯科技(深圳)有限公司 | 视频流解码方法、装置、计算机设备和存储介质 |
US11947941B2 (en) | 2021-08-24 | 2024-04-02 | Red Hat, Inc. | Dynamic computation offloading to graphics processing unit |
CN113867961B (zh) * | 2021-09-30 | 2022-07-22 | 中国矿业大学(北京) | 一种异构gpu集群深度学习混合负载调度优化方法 |
CN114157850A (zh) * | 2021-11-26 | 2022-03-08 | 珠海视熙科技有限公司 | 一种数据传输方法、装置及计算机可读存储介质 |
WO2024034708A1 (ko) * | 2022-08-11 | 2024-02-15 | 엘지전자 주식회사 | 신호 처리 장치, 및 이를 구비하는 차량용 디스플레이 장치 |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2011523141A (ja) * | 2008-06-06 | 2011-08-04 | アップル インコーポレイテッド | マルチプロセッサにおけるデータパラレルコンピューティングのためのアプリケーションプログラミングインターフェイス |
US8284205B2 (en) * | 2007-10-24 | 2012-10-09 | Apple Inc. | Methods and apparatuses for load balancing between multiple processing units |
Family Cites Families (19)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH11261702A (ja) * | 1998-03-06 | 1999-09-24 | Fujitsu Ltd | 負荷予測によるシステム最適化制御装置 |
US7075541B2 (en) * | 2003-08-18 | 2006-07-11 | Nvidia Corporation | Adaptive load balancing in a multi-processor graphics processing system |
CN101091175B (zh) * | 2004-09-16 | 2012-03-14 | 辉达公司 | 负载均衡 |
US20060242647A1 (en) * | 2005-04-21 | 2006-10-26 | Kimbrel Tracy J | Dynamic application placement under service and memory constraints |
US7827491B2 (en) | 2006-05-12 | 2010-11-02 | Tran Bao Q | Systems and methods for video editing |
US7694160B2 (en) | 2006-08-31 | 2010-04-06 | Ati Technologies Ulc | Method and apparatus for optimizing power consumption in a multiprocessor environment |
US7444459B2 (en) * | 2006-12-12 | 2008-10-28 | Lsi Logic Corporation | Methods and systems for load balancing of virtual machines in clustered processors using storage related load information |
US8286196B2 (en) * | 2007-05-03 | 2012-10-09 | Apple Inc. | Parallel runtime execution on multiple processors |
US8861591B2 (en) * | 2007-05-11 | 2014-10-14 | Advanced Micro Devices, Inc. | Software video encoder with GPU acceleration |
EP2006770B1 (en) * | 2007-06-19 | 2014-01-01 | VirtualLogix SA | Load balancing |
KR101467558B1 (ko) * | 2007-07-26 | 2014-12-01 | 엘지전자 주식회사 | 그래픽데이터 처리 장치 및 방법 |
US8610725B2 (en) * | 2007-10-10 | 2013-12-17 | Apple Inc. | Framework for dynamic configuration of hardware resources |
US8610727B1 (en) * | 2008-03-14 | 2013-12-17 | Marvell International Ltd. | Dynamic processing core selection for pre- and post-processing of multimedia workloads |
US8199158B2 (en) * | 2008-06-11 | 2012-06-12 | Intel Corporation | Performance allocation method and apparatus |
US9081624B2 (en) * | 2008-06-26 | 2015-07-14 | Microsoft Technology Licensing, Llc | Automatic load balancing, such as for hosted applications |
CN101599009A (zh) * | 2009-04-30 | 2009-12-09 | 浪潮电子信息产业股份有限公司 | 一种异构多处理器上并行执行任务的方法 |
US20110102443A1 (en) * | 2009-11-04 | 2011-05-05 | Microsoft Corporation | Virtualized GPU in a Virtual Machine Environment |
US8669990B2 (en) * | 2009-12-31 | 2014-03-11 | Intel Corporation | Sharing resources between a CPU and GPU |
CN101908035B (zh) * | 2010-07-30 | 2012-09-05 | 北京华傲精创科技开发有限公司 | 视频编解码方法、gpu及其与cpu的交互方法及系统 |
-
2010
- 2010-12-14 US US12/967,171 patent/US8830245B2/en not_active Expired - Fee Related
-
2011
- 2011-12-12 KR KR1020137013285A patent/KR101523861B1/ko active IP Right Grant
- 2011-12-12 CN CN201711453810.2A patent/CN108052395A/zh active Pending
- 2011-12-12 EP EP11849333.7A patent/EP2654911A4/en not_active Ceased
- 2011-12-12 JP JP2013536943A patent/JP5745079B2/ja active Active
- 2011-12-12 CA CA2814420A patent/CA2814420C/en active Active
- 2011-12-12 CN CN201180055139.0A patent/CN103582509B/zh active Active
- 2011-12-12 WO PCT/US2011/064348 patent/WO2012082589A2/en active Application Filing
-
2014
- 2014-08-12 US US14/457,264 patent/US9052959B2/en active Active
-
2015
- 2015-05-20 US US14/717,579 patent/US9455931B2/en active Active
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US8284205B2 (en) * | 2007-10-24 | 2012-10-09 | Apple Inc. | Methods and apparatuses for load balancing between multiple processing units |
JP2011523141A (ja) * | 2008-06-06 | 2011-08-04 | アップル インコーポレイテッド | マルチプロセッサにおけるデータパラレルコンピューティングのためのアプリケーションプログラミングインターフェイス |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2017069744A (ja) * | 2015-09-30 | 2017-04-06 | 沖電気工業株式会社 | 通信制御装置及びプログラム、記録媒体、並びに、通信制御方法 |
Also Published As
Publication number | Publication date |
---|---|
WO2012082589A3 (en) | 2013-11-07 |
CA2814420A1 (en) | 2012-06-21 |
CN108052395A (zh) | 2018-05-18 |
WO2012082589A2 (en) | 2012-06-21 |
CN103582509A (zh) | 2014-02-12 |
US8830245B2 (en) | 2014-09-09 |
US9455931B2 (en) | 2016-09-27 |
US20150256485A1 (en) | 2015-09-10 |
KR20130108609A (ko) | 2013-10-04 |
EP2654911A2 (en) | 2013-10-30 |
CA2814420C (en) | 2016-06-07 |
US20140347372A1 (en) | 2014-11-27 |
EP2654911A4 (en) | 2018-01-03 |
JP5745079B2 (ja) | 2015-07-08 |
CN103582509B (zh) | 2018-01-12 |
US20120149464A1 (en) | 2012-06-14 |
US9052959B2 (en) | 2015-06-09 |
KR101523861B1 (ko) | 2015-05-28 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5745079B2 (ja) | 汎用プロセッサとグラフィックスプロセッサとの間の負荷平衡化 | |
US11077363B2 (en) | Video game overlay | |
US20180117463A1 (en) | Gaming System | |
CN102946409B (zh) | 从多个服务器向客户机递送单个终端用户体验 | |
CN102591418B (zh) | 具有qos保证的可缩放多媒体计算机系统体系结构 | |
US8924985B2 (en) | Network based real-time virtual reality input/output system and method for heterogeneous environment | |
CN111417978A (zh) | 游戏渲染中的内存管理 | |
US8888592B1 (en) | Voice overlay | |
US8902970B1 (en) | Altering streaming video encoding based on user attention | |
WO2010141522A1 (en) | Qualified video delivery | |
US9948691B2 (en) | Reducing input processing latency for remotely executed applications | |
US9392047B1 (en) | Facilitating application compatibility across devices | |
US9497238B1 (en) | Application control translation | |
JP6539278B2 (ja) | マルチモード・ゲーミング・サーバー | |
US9954718B1 (en) | Remote execution of applications over a dispersed network | |
Wen et al. | GBooster: Towards Acceleration of GPU-Intensive Mobile Applications | |
Kannan | Enhancing cloud gaming user experience through docker containers in fog nodes | |
US20230199062A1 (en) | Data center wide network storage load balancing | |
Cai et al. | Cloud Gaming | |
Zhuo | A Performance Comparison of VMware GPU Virtualization Techniques in Cloud Gaming | |
Chan et al. | A Hybrid Game Contents Streaming Method: Improving Graphic Quality Delivered on Cloud Gaming |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20140618 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20140701 |
|
A601 | Written request for extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A601 Effective date: 20141001 |
|
A602 | Written permission of extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A602 Effective date: 20141008 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20141222 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20150407 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20150430 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 5745079 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |