JP2017201517A - 動的pcieスイッチ再配置システムおよびその方法 - Google Patents
動的pcieスイッチ再配置システムおよびその方法 Download PDFInfo
- Publication number
- JP2017201517A JP2017201517A JP2017087142A JP2017087142A JP2017201517A JP 2017201517 A JP2017201517 A JP 2017201517A JP 2017087142 A JP2017087142 A JP 2017087142A JP 2017087142 A JP2017087142 A JP 2017087142A JP 2017201517 A JP2017201517 A JP 2017201517A
- Authority
- JP
- Japan
- Prior art keywords
- peripheral device
- device bus
- bus switch
- server
- peripheral
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 24
- 230000002093 peripheral effect Effects 0.000 claims abstract description 123
- 238000011144 upstream manufacturing Methods 0.000 claims abstract description 28
- 238000001514 detection method Methods 0.000 claims abstract description 17
- 238000012545 processing Methods 0.000 claims description 15
- 230000008569 process Effects 0.000 claims description 4
- 230000007246 mechanism Effects 0.000 abstract description 5
- 238000007726 management method Methods 0.000 description 35
- 238000010586 diagram Methods 0.000 description 16
- 238000004891 communication Methods 0.000 description 6
- 230000006870 function Effects 0.000 description 6
- 238000012360 testing method Methods 0.000 description 5
- 108010028984 3-isopropylmalate dehydratase Proteins 0.000 description 4
- 230000008707 rearrangement Effects 0.000 description 4
- 238000005516 engineering process Methods 0.000 description 3
- 230000003287 optical effect Effects 0.000 description 3
- 230000002085 persistent effect Effects 0.000 description 3
- 238000001816 cooling Methods 0.000 description 2
- 238000012544 monitoring process Methods 0.000 description 2
- 208000036758 Postinfectious cerebellitis Diseases 0.000 description 1
- 230000001133 acceleration Effects 0.000 description 1
- 238000003491 array Methods 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000004590 computer program Methods 0.000 description 1
- 230000008878 coupling Effects 0.000 description 1
- 238000010168 coupling process Methods 0.000 description 1
- 238000005859 coupling reaction Methods 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 239000000835 fiber Substances 0.000 description 1
- 230000036541 health Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000006855 networking Effects 0.000 description 1
- 229920002492 poly(sulfone) Polymers 0.000 description 1
- 230000011664 signaling Effects 0.000 description 1
- 239000000758 substrate Substances 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F13/00—Interconnection of, or transfer of information or other signals between, memories, input/output devices or central processing units
- G06F13/38—Information transfer, e.g. on bus
- G06F13/40—Bus structure
- G06F13/4004—Coupling between buses
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F13/00—Interconnection of, or transfer of information or other signals between, memories, input/output devices or central processing units
- G06F13/38—Information transfer, e.g. on bus
- G06F13/40—Bus structure
- G06F13/4004—Coupling between buses
- G06F13/4022—Coupling between buses using switching circuits, e.g. switching matrix, connection or expansion network
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F12/00—Accessing, addressing or allocating within memory systems or architectures
- G06F12/02—Addressing or allocation; Relocation
- G06F12/0223—User address space allocation, e.g. contiguous or non contiguous base addressing
- G06F12/023—Free address space management
- G06F12/0238—Memory management in non-volatile memory, e.g. resistive RAM or ferroelectric memory
- G06F12/0246—Memory management in non-volatile memory, e.g. resistive RAM or ferroelectric memory in block erasable memory, e.g. flash memory
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F13/00—Interconnection of, or transfer of information or other signals between, memories, input/output devices or central processing units
- G06F13/38—Information transfer, e.g. on bus
- G06F13/42—Bus transfer protocol, e.g. handshake; Synchronisation
- G06F13/4282—Bus transfer protocol, e.g. handshake; Synchronisation on a serial bus, e.g. I2C bus, SPI bus
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F2212/00—Indexing scheme relating to accessing, addressing or allocation within memory systems or architectures
- G06F2212/72—Details relating to flash memory management
- G06F2212/7202—Allocation control and policies
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- General Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Computer Hardware Design (AREA)
- Mathematical Physics (AREA)
- Multi Processors (AREA)
- Bus Control (AREA)
- Information Transfer Systems (AREA)
Abstract
Description
110、510、610 中央処理装置
120 ルート複合体
121、820 メモリ
122、140 PCIeエンドポイント
124 PCIeブリッジ
130、220、320、322、420、422、530、630 PCIeスイッチ
200 第一実施形態によるシステム配置
210、840 プロセッサ
230、330、332、430、432 PCIeスロット
240、340、440 グラフィックスプロセッシングユニット
252、254、256、352、354、356、358、452、454、456、458 経路
360、362、460 サーバ
300 第二実施形態によるシステム配置
400 第三実施形態によるシステム配置
500 第一実施形態によるサーバ
520、620 基板管理コントローラー
540、640 不揮発性メモリ
600 第二実施形態によるサーバ
650 シリアルペリフェラルインターフェースブリッジ
710 検出工程
720 選択行程
730 設定工程
800 コンピュータシステム
810 BIOS
830 ストレージ
850 ネットワークインターフェース
860 ノースブリッジ
870 サウスブリッジ
880 管理コントローラー
Claims (10)
- 管理コントローラーによりシステムの少なくとも一つの周辺機器用バススイッチを動的再配置する方法であって、
サーバシステムが、前記システムの各周辺機器用バススロットに接続されて、検出結果を生成するか否かを検出する検出工程と、
前記検出結果に基づいて、前記少なくとも一つの周辺機器用バススイッチに対し、周辺機器用バススイッチトポロジーを選択する選択工程と、
前記周辺機器用バススイッチトポロジーに基づいて、前記少なくとも一つの周辺機器用バススイッチの各ポートを、アップストリームポート配置、あるいは、ダウンストリームポート配置に設定する設定工程と、
を有する管理コントローラーにより周辺機器用バススイッチを動的再配置する方法。 - 前記アップストリームポート配置は、ルート複合体に接続されることを特徴とする、請求項1に記載の管理コントローラーによりシステムの少なくとも一つの周辺機器用バススイッチを動的再配置する方法。
- 前記ダウンストリームポート配置は、周辺機器用バスエンドポイントに接続されることを特徴とする、請求項1に記載の管理コントローラーによりシステムの少なくとも一つの周辺機器用バススイッチを動的再配置する方法。
- 前記サーバシステムに接続される周辺機器用バススロットがないことを検出するとき、前記周辺機器用バススイッチトポロジーは、前記少なくとも一つの周辺機器用バススイッチを設定して、前記システムの中央処理装置に接続することを特徴とする、請求項1に記載の管理コントローラーによりシステムの少なくとも一つの周辺機器用バススイッチを動的再配置する方法。
- 第一周辺機器用バススロットが第一サーバシステムに接続され、第二周辺機器用バススロットが第二サーバシステムに接続されることが検出されるとき、前記周辺機器用バススイッチトポロジーは、前記第一周辺機器用バススロットに接続される前記少なくとも一つの周辺機器用バススイッチの第一ポートを、前記アップストリームポート配置に設定し、前記第二周辺機器用バススロットに接続される前記少なくとも一つの周辺機器用バススイッチの第二ポートを、前記アップストリームポート配置に設定するとともに、その他の全てのポートを、前記ダウンストリームポート配置に設定することを特徴とする、請求項1に記載の管理コントローラーによりシステムの少なくとも一つの周辺機器用バススイッチを動的再配置する方法。
- 前記システムの周辺機器用バススロットに接続される単一サーバシステムのみが検出されるとき、前記周辺機器用バススイッチトポロジーは、前記少なくとも一つの周辺機器用バススイッチの一ポートを、前記アップストリームポート配置、および、前記少なくとも一つの周辺機器用バススイッチのその他の全ポートを、前記ダウンストリームポート配置に設定することを特徴とする、請求項1に記載の管理コントローラーによりシステムの少なくとも一つの周辺機器用バススイッチを動的再配置する方法。
- サーバ位置とサーバ数量に対し、サーバ配置を不揮発性メモリに保存する保存工程と、
前記システムの前記不揮発性メモリから、前記サーバ配置を読み取る読取工程と、
を有することを特徴とする、請求項1に記載の管理コントローラーによりシステムの少なくとも一つの周辺機器用バススイッチを動的再配置する方法。 - 前記保存工程は、内部集積回路信号をシリアルペリフェラルインターフェースブリッジに送信して、前記内部集積回路信号から変換されたシリアルペリフェラルインターフェース信号が、前記サーバ配置を前記不揮発性メモリに書き込む書き込み工程を有することを特徴とする、請求項7に記載の管理コントローラーによりシステムの少なくとも一つの周辺機器用バススイッチを動的再配置する方法。
- 前記保存工程は、内部集積回路信号を周辺機器用バススイッチに送信し、前記周辺機器用バススイッチは、前記サーバ配置を前記不揮発性メモリに書き込む書き込み工程を有することを特徴とする、請求項7に記載の管理コントローラーによりシステムの少なくとも一つの周辺機器用バススイッチを動的再配置する方法。
- 管理コントローラーによりシステムの少なくとも一つの周辺機器用バススイッチを動的再配置するシステムであって、
周辺機器用バススロットに接続される少なくとも一つの周辺機器用バススイッチと、
前記少なくとも一つの周辺機器用バススイッチのダウンストリームポートに接続される少なくとも一つのグラフィックスプロセッシングユニットと、
前記少なくとも一つの周辺機器用バススイッチに接続される管理コントローラーと、を有し、
前記管理コントローラーは、
サーバシステムが、各周辺機器用バススロットに接続されて、検出結果を生成するか否かを検出し、
前記検出結果に基づいて、少なくとも一つの周辺機器用バススイッチに、周辺機器用バススイッチトポロジーを選択し、
前記周辺機器用バススイッチトポロジーに基づいて、前記少なくとも一つの周辺機器用バススイッチの各ポートを、アップストリームポート配置、あるいは、ダウンストリームポート配置に設定することを特徴とする、管理コントローラーによりシステムの少なくとも一つの周辺機器用バススイッチを動的再配置するシステム。
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US15/149,032 US10387346B2 (en) | 2016-05-06 | 2016-05-06 | Dynamic PCIE switch reconfiguration mechanism |
US15/149,032 | 2016-05-06 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2017201517A true JP2017201517A (ja) | 2017-11-09 |
JP6360588B2 JP6360588B2 (ja) | 2018-07-18 |
Family
ID=58671518
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2017087142A Active JP6360588B2 (ja) | 2016-05-06 | 2017-04-26 | 動的pcieスイッチ再配置システムおよびその方法 |
Country Status (5)
Country | Link |
---|---|
US (1) | US10387346B2 (ja) |
EP (1) | EP3242218B1 (ja) |
JP (1) | JP6360588B2 (ja) |
CN (1) | CN107346293B (ja) |
TW (1) | TWI631470B (ja) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2022511581A (ja) * | 2019-11-15 | 2022-02-01 | バイドゥ ドットコム タイムス テクノロジー (ベイジン) カンパニー リミテッド | フレキシブルケーブル接続に基づく分散型aiトレーニングトポロジー |
Families Citing this family (24)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US11042496B1 (en) * | 2016-08-17 | 2021-06-22 | Amazon Technologies, Inc. | Peer-to-peer PCI topology |
CN108021521B (zh) * | 2017-12-01 | 2021-04-27 | 郑州云海信息技术有限公司 | 一种基于bmc更改系统拓扑配置的系统以及级联配置方法 |
CN108540319A (zh) * | 2018-04-02 | 2018-09-14 | 郑州云海信息技术有限公司 | 一种异构计算拓扑切换方法、系统及板卡 |
TWI665555B (zh) * | 2018-04-20 | 2019-07-11 | 緯穎科技服務股份有限公司 | 用於圖形處理器的儲存裝置以及組態設定調整方法 |
CN108845970B (zh) * | 2018-05-30 | 2021-07-27 | 郑州云海信息技术有限公司 | 一种自由切换gpu服务器拓扑的装置及方法 |
CN109032978A (zh) * | 2018-05-31 | 2018-12-18 | 郑州云海信息技术有限公司 | 一种基于bmc的文件传输方法、装置、设备及介质 |
CN109002591B (zh) * | 2018-06-26 | 2021-11-09 | 郑州云海信息技术有限公司 | 一种从服务器主板端调整PCIe拓扑的方法和系统 |
US10595444B1 (en) * | 2018-09-07 | 2020-03-17 | Quanta Computer Inc. | Rotatable board configuration to improve cooling |
US10855518B2 (en) * | 2018-11-07 | 2020-12-01 | Lenovo Enterprise Solutions (Singapore) Pte. Ltd. | Computer having an embedded switch |
US10833949B2 (en) | 2018-11-20 | 2020-11-10 | Amazon Technologies, Inc | Extension resource groups of provider network services |
US12106132B2 (en) | 2018-11-20 | 2024-10-01 | Amazon Technologies, Inc. | Provider network service extensions |
US10585833B1 (en) * | 2019-01-28 | 2020-03-10 | Quanta Computer Inc. | Flexible PCIe topology |
US10809789B1 (en) * | 2019-07-17 | 2020-10-20 | Dell Products L.P. | Peripheral component protection in information handling systems |
US11064017B2 (en) | 2019-09-24 | 2021-07-13 | Amazon Technologies, Inc. | Peripheral device enabling virtualized computing service extensions |
US11520530B2 (en) * | 2019-09-24 | 2022-12-06 | Amazon Technologies, Inc. | Peripheral device for configuring compute instances at client-selected servers |
US11569997B1 (en) | 2020-03-09 | 2023-01-31 | Amazon Technologies, Inc. | Security mechanisms for data plane extensions of provider network services |
TWI750726B (zh) * | 2020-07-09 | 2021-12-21 | 緯穎科技服務股份有限公司 | 伺服器裝置及其伺服模組連接辨識方法 |
US11509751B2 (en) * | 2020-12-23 | 2022-11-22 | Dell Products L.P. | Self-describing system using single-source/multi-destination cable |
CN112987900B (zh) * | 2021-02-24 | 2023-02-28 | 山东英信计算机技术有限公司 | 一种多路服务器及多路服务器信号互联系统 |
TWI793548B (zh) * | 2021-03-16 | 2023-02-21 | 英業達股份有限公司 | 自動調整PCIe通道配置之電路結構與方法 |
CN113656076A (zh) * | 2021-07-16 | 2021-11-16 | 新华三技术有限公司合肥分公司 | 一种基于硬件复用通道的bios启动方法及装置 |
US20230289318A1 (en) * | 2022-03-09 | 2023-09-14 | ZPE Systems, Inc. | Infrastructure management system |
CN114968862B (zh) * | 2022-08-01 | 2022-11-11 | 摩尔线程智能科技(北京)有限责任公司 | 图形处理器管理方法、装置和存储介质 |
CN116185599A (zh) * | 2022-10-25 | 2023-05-30 | 阿里巴巴(中国)有限公司 | 异构服务器系统及其使用方法 |
Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2006209456A (ja) * | 2005-01-28 | 2006-08-10 | Fujitsu Ltd | 複数の処理ノードをシリアルバスにより相互接続する装置 |
Family Cites Families (20)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US6836813B1 (en) | 2001-11-30 | 2004-12-28 | Advanced Micro Devices, Inc. | Switching I/O node for connection in a multiprocessor computer system |
CN2606396Y (zh) | 2002-11-18 | 2004-03-10 | 威盛电子股份有限公司 | 可使用除错系统开机的计算机系统 |
US7099969B2 (en) * | 2003-11-06 | 2006-08-29 | Dell Products L.P. | Dynamic reconfiguration of PCI Express links |
ATE350711T1 (de) * | 2004-02-27 | 2007-01-15 | Freescale Semiconductor Inc | Usb-sender |
US7539809B2 (en) * | 2005-08-19 | 2009-05-26 | Dell Products L.P. | System and method for dynamic adjustment of an information handling systems graphics bus |
US20080240230A1 (en) * | 2007-03-29 | 2008-10-02 | Horizon Semiconductors Ltd. | Media processor with an integrated TV receiver |
TW201015336A (en) * | 2008-10-03 | 2010-04-16 | Accusys Technology Ltd | Shared-storage bus switch |
US8742814B2 (en) * | 2009-07-15 | 2014-06-03 | Yehuda Binder | Sequentially operated modules |
US8891543B1 (en) * | 2011-05-23 | 2014-11-18 | Pluribus Networks Inc. | Method and system for processing packets in a network device |
CN102819517A (zh) | 2011-06-08 | 2012-12-12 | 鸿富锦精密工业(深圳)有限公司 | Pcie接口卡 |
RU2014106859A (ru) * | 2011-07-25 | 2015-08-27 | Серверджи, Инк. | Способ и система для построения маломощной компьютерной системы |
JPWO2013168289A1 (ja) * | 2012-05-11 | 2015-12-24 | 富士通株式会社 | 電子機器およびその制御方法 |
US9086919B2 (en) * | 2012-08-23 | 2015-07-21 | Dell Products, Lp | Fabric independent PCIe cluster manager |
US8924619B2 (en) * | 2013-03-15 | 2014-12-30 | Seagate Technology Llc | Unified message-based communications |
CN203241876U (zh) * | 2013-05-09 | 2013-10-16 | 浪潮电子信息产业股份有限公司 | 一种自适应配置的pcie扩展箱 |
KR20150047785A (ko) * | 2013-10-25 | 2015-05-06 | 삼성전자주식회사 | 서버 시스템 및 스토리지 시스템 |
MY175303A (en) * | 2014-09-11 | 2020-06-18 | Intel Corp | Apparatus for sideband signaling, method for sideband signaling and system for sideband signaling |
US9582366B2 (en) * | 2014-11-21 | 2017-02-28 | International Business Machines Corporation | Detecting and sparing of optical PCIE cable channel attached IO drawer |
CN104598403A (zh) | 2015-01-14 | 2015-05-06 | 浪潮电子信息产业股份有限公司 | 一种基于pcie交换器的集群存储系统 |
US9860113B2 (en) * | 2015-10-21 | 2018-01-02 | International Business Machines Corporation | Using an out-of-band network to reconfigure a bus interface port |
-
2016
- 2016-05-06 US US15/149,032 patent/US10387346B2/en active Active
- 2016-07-21 TW TW105123006A patent/TWI631470B/zh active
- 2016-08-12 CN CN201610659018.1A patent/CN107346293B/zh active Active
-
2017
- 2017-04-26 JP JP2017087142A patent/JP6360588B2/ja active Active
- 2017-05-05 EP EP17169698.2A patent/EP3242218B1/en active Active
Patent Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2006209456A (ja) * | 2005-01-28 | 2006-08-10 | Fujitsu Ltd | 複数の処理ノードをシリアルバスにより相互接続する装置 |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2022511581A (ja) * | 2019-11-15 | 2022-02-01 | バイドゥ ドットコム タイムス テクノロジー (ベイジン) カンパニー リミテッド | フレキシブルケーブル接続に基づく分散型aiトレーニングトポロジー |
Also Published As
Publication number | Publication date |
---|---|
US10387346B2 (en) | 2019-08-20 |
CN107346293B (zh) | 2019-08-16 |
EP3242218B1 (en) | 2020-01-15 |
CN107346293A (zh) | 2017-11-14 |
TW201740282A (zh) | 2017-11-16 |
TWI631470B (zh) | 2018-08-01 |
EP3242218A1 (en) | 2017-11-08 |
JP6360588B2 (ja) | 2018-07-18 |
US20170322899A1 (en) | 2017-11-09 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6360588B2 (ja) | 動的pcieスイッチ再配置システムおよびその方法 | |
JP6515132B2 (ja) | シャーシ管理システム及びシャーシ管理方法 | |
US11567895B2 (en) | Method, apparatus and system for dynamic control of clock signaling on a bus | |
TWI621068B (zh) | 伺服器機架電力管理 | |
US11301406B2 (en) | Method, apparatus and system for role transfer functionality for a bus master | |
US10127170B2 (en) | High density serial over LAN management system | |
TWI531907B (zh) | 基板管理系統架構 | |
JP6866975B2 (ja) | マルチマスタートポロジーシステムにおけるcpldキャッシュの適用 | |
US7809869B2 (en) | Throttling a point-to-point, serial input/output expansion subsystem within a computing system | |
TWI608357B (zh) | 共用匯流排埠之系統及共用匯流排埠之方法 | |
TWI647993B (zh) | 控制伺服器機櫃中氣流之系統及方法 | |
CN107194257B (zh) | 一种基于国产tcm芯片的可信系统 | |
US10101764B2 (en) | Automatic clock configuration system | |
US10489337B2 (en) | Method, apparatus and system for dynamic optimization of signal integrity on a bus | |
US9866474B2 (en) | Centralized server switch management | |
US11232060B2 (en) | Method, apparatus and system for power supply policy exchange on a bus | |
CN113824741A (zh) | 一种iic设备的通信方法、装置、设备、系统及介质 | |
US10489328B2 (en) | Universal sleds server architecture | |
US10146720B2 (en) | Flexible configuration server system | |
TWI573424B (zh) | 網路配置管理方法、伺服系統以及非暫態之電腦可讀儲存媒體 | |
CN118714015A (zh) | 一种带宽分配的计算机系统、带宽分配方法以及产品 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20180306 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20180605 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20180619 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20180622 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6360588 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |