JP2020154360A - Server cooling apparatus, server system and server cooling method - Google Patents
Server cooling apparatus, server system and server cooling method Download PDFInfo
- Publication number
- JP2020154360A JP2020154360A JP2019049402A JP2019049402A JP2020154360A JP 2020154360 A JP2020154360 A JP 2020154360A JP 2019049402 A JP2019049402 A JP 2019049402A JP 2019049402 A JP2019049402 A JP 2019049402A JP 2020154360 A JP2020154360 A JP 2020154360A
- Authority
- JP
- Japan
- Prior art keywords
- server
- rack
- coolant
- cooling
- heat
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Classifications
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
- Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management
Landscapes
- Cooling Or The Like Of Electrical Apparatus (AREA)
Abstract
Description
本開示は、サーバを冷却するサーバ冷却装置等に関する。 The present disclosure relates to a server cooling device for cooling a server and the like.
特許文献1には、熱交換器を挟んで2つのサーバ間で冷気を循環させる冷却技術が開示されている。
特許文献2には、サーバのリア側(後端)に水冷のための配管が設けられる冷却システムが開示されている。
特許文献3には、2つの計算ラックの前面側に冷却タワーを配し、全体を閉鎖構造としている閉鎖ループ冷却システムが開示されている。冷却タワーから各計算ラックのコンピュータ装置の前面から空気が供給され、コンピュータ装置の排気は、計算ラックの側面又は背面から冷却タワーに流入する。排気の熱は、冷却タワー内で水冷式の熱交換器で回収される。冷却された空気は、2つの計算ラックの前面へと循環して、コンピュータ装置の吸気として利用され、コンピュータ装置の各サーバを空冷する。特許文献3のシステムは、閉鎖構造であるため、コンピュータ装置で発生した熱は外部に伝わらない。 Patent Document 3 discloses a closed loop cooling system in which cooling towers are arranged on the front side of two calculation racks and the entire structure is closed. Air is supplied from the cooling tower from the front surface of the computer device of each calculation rack, and the exhaust gas of the computer device flows into the cooling tower from the side surface or the back surface of the calculation rack. The heat of the exhaust is recovered in the cooling tower by a water-cooled heat exchanger. The cooled air circulates to the front of the two computing racks and is used as intake air for the computer equipment to air-cool each server of the computer equipment. Since the system of Patent Document 3 has a closed structure, the heat generated by the computer device is not transferred to the outside.
さらに特許文献3のシステムは、高温となる部品に対して冷却プレートを取り付けて、直接液冷(Direct Liquid Cooling)することが開示されている。空冷と直接液冷のシステムを組み合わせると冷却能力を高めることができる。このとき直接液冷のための配管は、一般的に行われているように、計算ラックのリア側に配置される。 Further, the system of Patent Document 3 discloses that a cooling plate is attached to a component that becomes hot and direct liquid cooling is performed. The cooling capacity can be increased by combining an air cooling and direct liquid cooling system. At this time, the piping for direct liquid cooling is arranged on the rear side of the calculation rack as is generally performed.
特許文献2、3のように、水冷配管がラックのリア側に配置されると、サーバシステム全体の設置面積が大きくなってしまう。本開示は、省スペースで設置可能な液冷式のサーバ冷却装置等の提供を目的とする。
If the water-cooled pipe is arranged on the rear side of the rack as in
本開示に係るサーバ冷却装置は、第1のサーバを搭載可能な第1のラックの側面と第2のサーバを搭載可能な第2のラックの側面との間の領域に配置され、冷却液を給排液する、冷却液配管と、前記冷却液配管と前記第1のサーバ又は前記第2のサーバの発熱部に付加された受熱部とに接続され、前記冷却液を前記受熱部に対して給排液する給排手段と、を備える。 The server cooling device according to the present disclosure is arranged in an area between the side surface of the first rack on which the first server can be mounted and the side surface of the second rack on which the second server can be mounted, and cools the coolant. It is connected to a coolant pipe for supplying and draining liquid, the coolant pipe, and a heat receiving portion added to a heat generating portion of the first server or the second server, and the coolant is supplied to the heat receiving portion. It is provided with a water supply / drainage means for supplying / draining liquid.
本開示に係るサーバシステムは、前記第1のサーバと、前記第2のサーバと、前記第1のラックと、前記第2のラックと、第1のサーバを搭載可能な第1のラックの側面と第2のサーバを搭載可能な第2のラックの側面との間の領域に配置され、冷却液を給排液する、冷却液配管と、前記冷却液配管と前記第1のサーバ又は前記第2のサーバの発熱部に付加された受熱部とに接続され、前記冷却液を前記受熱部に対して給排液する給排手段と、を備える。
The server system according to the present disclosure includes a side surface of the first server, the second server, the first rack, the second rack, and the first rack on which the first server can be mounted. A coolant pipe that supplies and drains coolant, and the coolant pipe and the first server or the first server, which are arranged in an area between the second server and the side surface of a second rack on which a second server can be mounted. It is provided with a water supply / drainage means which is connected to a heat receiving part added to the heat generating part of the
本開示に係るサーバの冷却方法は、第1のサーバを搭載可能な第1のラックの側面と第2のサーバを搭載可能な第2のラックの側面との間の領域に、配置された冷却液配管を通して冷却液を給排し、前記冷却液配管と前記第1のサーバ又は前記第2のサーバの発熱部に付加された受熱部とに接続される給排手段により、前記冷却液を前記受熱部に給排する。 The server cooling method according to the present disclosure is a cooling method arranged in an area between a side surface of a first rack on which a first server can be mounted and a side surface of a second rack on which a second server can be mounted. The coolant is supplied and discharged through the liquid pipe, and the coolant is supplied by the supply and discharge means connected to the coolant pipe and the heat receiving portion added to the heat generating portion of the first server or the second server. Supply and discharge to the heat receiving part.
本開示によれば、省スペースで設置可能な液冷式のサーバ冷却装置等を提供できる。 According to the present disclosure, it is possible to provide a liquid-cooled server cooling device or the like that can be installed in a small space.
[第1実施形態]
本実施形態に係るサーバシステムと、そのサーバシステムに備えられ、サーバを冷却するサーバ冷却装置について説明する。
[First Embodiment]
The server system according to the present embodiment and the server cooling device provided in the server system for cooling the server will be described.
<<構成>>
図1は、第1実施形態のサーバシステムの水平断面図である。図2は、図1におけるA−A断面の鉛直方向断面図である。本実施形態に係るサーバ冷却装置が適用されるサーバシステムは、少なくとも2つのサーバラックを有する。図1及び図2において、サーバシステムは、サーバラック90a、90bを備える。サーバラック90aは、第1のラックの一例であり、サーバラック90bは、第2のラックの一例である。サーバラック90a、90bのそれぞれの数は、1つに限らず2つ以上でも良い。
<< Configuration >>
FIG. 1 is a horizontal sectional view of the server system of the first embodiment. FIG. 2 is a vertical sectional view of the AA cross section in FIG. The server system to which the server cooling device according to the present embodiment is applied has at least two server racks. In FIGS. 1 and 2, the server system includes server racks 90a and 90b. The
サーバ冷却装置は少なくとも直接液冷機構を有する。直接液冷機構は、冷却液が流れる配管からの冷却液をサーバ内に供給して、電子部品を冷却液で冷却する機構である。サーバ冷却装置は直接液冷機構に加えて、空冷機構を備えてもよい。液冷式の熱交換器を介する空冷機構は、間接液冷機構とも呼ぶ。第1実施形態に対応する図面では、直接液冷機構及び空冷機構の両方が示されている。 The server cooling device has at least a direct liquid cooling mechanism. The direct liquid cooling mechanism is a mechanism that supplies the cooling liquid from the piping through which the cooling liquid flows into the server and cools the electronic components with the cooling liquid. The server cooling device may include an air cooling mechanism in addition to the direct liquid cooling mechanism. The air cooling mechanism via a liquid-cooled heat exchanger is also called an indirect liquid-cooling mechanism. In the drawings corresponding to the first embodiment, both a direct liquid cooling mechanism and an air cooling mechanism are shown.
各図において、サーバラック90aの側の構成にはaの符号を付し、サーバラック90bの側の構成にはbの符号を付している。
In each figure, the configuration on the side of the
<サーバラック90a、90b>
サーバシステムのサーバラック90aには複数のサーバ20aが鉛直方向に搭載され、サーバラック90bには複数のサーバ20bが鉛直方向に搭載される。サーバ20a、20bは、第1のサーバ、第2のサーバの一例である。
<Server racks 90a, 90b>
A plurality of
本実施形態において、サーバラック90a、90bは、互いに間隔を空けて、床の上に、あるいは筐体の内部に横に並べて配置される。サーバラック90a、90bは、互いのサーバ20a、20bの一方の側面が向かい合い、さらに、サーバ20aのフロント側とサーバ20bのリア側が同じ方向を向くよう、配置される。このように、図1においてサーバラック90a、90bは、サーバシステムの中心点を中心に互いに点対称に配置されているといえる。
In the present embodiment, the server racks 90a and 90b are arranged side by side on the floor or inside the housing at intervals from each other. The server racks 90a and 90b are arranged so that one side surface of each of the
サーバラック90a、90bはラックマウント機構を有する。一般的にサーバラック90a、90bは米国電子工業会(EIA:Electronic Industries Alliance)規格(EIA−310規格)に準じた寸法に従って設計される。EIA−310規格に従うサーバラックは19インチラックと呼ばれる。ただし本実施形態を適用できるサーバラック90の規格は限定されない。 The server racks 90a and 90b have a rack mounting mechanism. Generally, the server racks 90a and 90b are designed according to the dimensions conforming to the Electronic Industries Alliance (EIA) standard (EIA-310 standard). A server rack that complies with the EIA-310 standard is called a 19-inch rack. However, the standard of the server rack 90 to which this embodiment can be applied is not limited.
<サーバ20a、20b>
サーバ20a、20bは、フロント側(前面)の開口部(吸気口)から空気を吸引し、リア側(背面)の開口部(排気口)から空気を排出する。ただし、サーバ20a、20bのフロント及びリアの向きは、互いに逆方向となっている。サーバ20a、20bはCPU(Central Processing Unit)やGPU(Graphics Processing Unit)などの高消費電力部品を備える。高消費電力部品は発熱し、高温になるため、特に冷却する必要がある。サーバ内を空気が通過することで、サーバ上の高消費電力部品を空冷することができる。また高消費電力部品はコールドプレート等を用いて直接液冷することができる。高消費電力部品は、サーバ20a、20bの開口部の近くに配置される。サーバ20a、20bは、図2に示すように、サーバラック90a、90bに多段に積み重ねられて搭載される。各サーバ20a、20bは、ラックマウントサーバであっても、ブレードサーバであってもよい。
<
The
サーバ冷却装置の空冷機構と直接液冷機構の詳細については、後述するが、本実施形態では空冷機構と直接液冷機構を組み合わせている。これにより、サーバ冷却装置の冷却能力を高めることができる。高発熱部品を直接液冷することにより、例えばサーバ全体の消費電力量の70%から80%に起因して発生した熱を除去することができる。残りの20%から30%の消費電力量により発生した熱は、空冷される。空冷の対象となる20%から30%の熱は、主に電源ユニット(AC−DC変換)、各部の電源回路(DC−DC変換)、並びに直接液冷を行わないLSI(Large-scale Integrated Circuit)及び各種電子部品での電力の消費により発生した熱である。 The details of the air cooling mechanism and the direct liquid cooling mechanism of the server cooling device will be described later, but in this embodiment, the air cooling mechanism and the direct liquid cooling mechanism are combined. As a result, the cooling capacity of the server cooling device can be increased. By directly liquid-cooling the high-heat-generating component, for example, the heat generated due to 70% to 80% of the total power consumption of the server can be removed. The heat generated by the remaining 20% to 30% of the power consumption is air-cooled. The 20% to 30% heat that is the target of air cooling is mainly the power supply unit (AC-DC conversion), the power supply circuit of each part (DC-DC conversion), and the LSI (Large-scale Integrated Circuit) that does not directly perform liquid cooling. ) And the heat generated by the consumption of electric power in various electronic components.
<ラックマウント機構>
サーバラック90aのラックマウント機構は、サーバ20aを固定するための4本の柱(柱11a、柱12a、柱13a、柱14a)を含む。同様に、サーバラック90bのラックマウント機構は、サーバ20bを固定するための4本の柱(柱11b、柱12b、柱13b、柱14b)を含む。EIA−310規格において、ラックの横幅は、柱の中心同士の間隔が465 mmとなるよう定められている。4本の柱には、EIA−310規格で設定されたEIAユニバーサルピッチで、サーバ20a、20bを取り付けるための取り付け穴が設けられる。サーバ20a、20bは、ラックマウントレールを介して4本の柱に対して取り付けられる。ラックマウントレールは、固定されるサーバ毎に固有の形状を有している。搭載するサーバ20a、20bの奥行寸法に合わせて、サーバラック90a、90bの奥行は設定される。サーバラック90の奥行は、一般的には柱の間隔が700 mmから800 mmの間となるよう設定される。本実施形態において、ラックマウント機構は、以上に限定されない。
<Rack mount mechanism>
The rack mounting mechanism of the
本実施形態において、サーバ20a、20bは、水平に、ラックマウント機構に対して固定されるが、垂直に固定されてもよい。サーバ20a、20bの天井側の面を上面、床側を下面とし、上面と下面以外であって吸気口側の面である全面及び排気口側の面である背面を除いた面を側面とする。
In the present embodiment, the
本実施形態におけるサーバ冷却装置のサーバ冷却装置における空冷機構の構成について説明する。 The configuration of the air cooling mechanism in the server cooling device of the server cooling device in the present embodiment will be described.
本開示においてサーバラック90a、90bの間の領域を冷却機構の主な配置領域と呼ぶ。冷却機構の主な配置領域は、サーバラック90a、90bの側面に挟まれた空間だけでなく、その空間をサーバラック90a、90bの側面に平行な方向に延長した空間、すなわち側面に挟まれた空間からサーバラック90a、90bの前後にはみ出た空間を含んでもよい。
In the present disclosure, the region between the
<隔壁30>
サーバ冷却装置における冷却機構の主な配置領域は、隔壁30a、30bによって他の領域と分離されてもよい。隔壁30の形状は図1の形態に限られない。隔壁30は1つであっても、2つ以上であってもよい。
<Split wall 30>
The main arrangement area of the cooling mechanism in the server cooling device may be separated from other areas by the
隔壁30a、30bのうち、サーバラック90aのフロント側の部分31a、サーバラック90bのフロント側の部分31b、サーバラック90aのリア側の部分32a、及びサーバラック90bのリア側の部分32bは、空気の流入及び流出を可能にするために、例えばメッシュ構造とされてもよい。隔壁の一部分31a、31b、32a、32bは壁がない構造であってもよい。
Of the
隔壁30が設けられると、例えばサーバラック90aの熱い排気が、サーバラック90bに吸気として引き込まれることを防ぐことができる。よってサーバ20a、20bの冷却効率を上げることができる。
When the partition wall 30 is provided, for example, it is possible to prevent the hot exhaust gas of the
<密閉筐体100>
サーバ冷却装置はさらに密閉筐体100を備えてもよい。密閉筐体100は、サーバラック90aとサーバラック90bと冷却機構の主な配置領域との全体の、例えば上下前後左右を密閉する。サーバラック90a、90bを囲い込むことにより、サーバ20の吸気及び排気は密閉筐体に閉じ込められる。サーバ20a、20bの開口部と、開口部の前後の密閉筐体100の壁の間には、空気の通路となる空間が設けられてもよい。密閉筐体100の密閉の程度は可能な限り高いことが好ましいが、密閉筐体100の内側に空気を留める程度であってもよい。
<
The server cooling device may further include a
密閉筐体100により、サーバ20aのフロント側とサーバ20bのリア側が同じ方向を向くよう、配置される場合、空気が密閉筐体100内で循環可能になる。
When the sealed
密閉筐体100が設けられると、サーバ20a、20bが置かれるマシン室の空気と、密閉筐体100内の空気を遮断することができる。空気が遮断されると、後述する冷却に使用する水の温度を、高くすることが可能になる。また、空気が遮断されることにより、サーバ20a、20bの吸気温度をマシン室の環境温度よりも高くすることが可能になる。よって水冷設備に関する消費電力を小さくすることができる。さらに、マシン室の空調設備をサーバ20の空冷に利用しないことが可能になる。よってマシン室の空調設備の消費電力を小さくすることができる。
When the
<熱交換器40>
本実施形態において空冷機構の主な配置領域の空気の流入及び流出が可能な部分に、液冷式の熱交換器40a、40bが収められる。熱交換器40a、40bは、第1の熱交換器、第2の熱交換器の一例である。例えば、熱交換器40は各サーバラックのリア側にそれぞれ設けられる。図1において、サーバシステムは、熱交換器40a、40bを備える。熱交換器40a、40bはサーバ20a、20bのリア側からの排気を吸気し、冷却する。熱交換器40a、40bは冷却した空気を、サーバ20a、20bのフロント側に吸気として供給する。熱交換器40a、40bは、熱交換器40a、40bの高さが、サーバラックの下部から上部までの高さと同じになるよう設計される。サーバシステムの外部から水冷式熱交換器40a、40bへの給液、及び外部への排液のための配管(図示せず)は、密閉筐体100の床下(図1の紙面奥側)、又は天井(図1の紙面手前側)から接続される。
<Heat exchanger 40>
In the present embodiment, the liquid-cooled
本実施形態に係るサーバ冷却装置の空冷機構は、水冷式の熱交換器40a、40bを用いるので、サーバ20a、20bは間接水冷されているともいえる。
Since the air cooling mechanism of the server cooling device according to the present embodiment uses water-cooled
本実施形態におけるサーバ冷却装置の直接液冷機構の構成について説明する。直接液冷機構は、冷却液配管及び冷却液給排手段を有する。 The configuration of the direct liquid cooling mechanism of the server cooling device in the present embodiment will be described. The direct liquid cooling mechanism includes a coolant pipe and a coolant supply / discharge means.
<冷却液配管>
図1に示すように、冷却機構の主な配置領域に冷却液供給用配管50a、50bと冷却液排出用配管60a、60bが配置される。冷却液供給用配管50a、50b及び冷却液排出用配管60a、60bは、冷却液配管の一例である。冷却液供給用配管50a、50bは、冷却液を外部から供給し、冷却液排出用配管60a、60bは冷却液を外部へ運び出す。冷却液供給用配管50a、50b及び冷却液排出用配管60a、60bは、サーバシステムの外部に、密閉筐体100の床下(紙面下側)、及び天井(紙面上側)から接続される。
<Coolant piping>
As shown in FIG. 1, the
冷却液はサーバシステムの外部の冷却装置で冷却されてもよい。冷却液の冷却には、空冷方式の他、地下水・海水・土壌等の熱容量の大きな排熱先を用いる方式やヒートポンプ等、様々な冷却方式が採用されてよい。 The coolant may be cooled by a cooling device external to the server system. In addition to the air cooling method, various cooling methods such as a method using a heat exhaust destination having a large heat capacity such as groundwater, seawater, and soil, a heat pump, and the like may be adopted for cooling the coolant.
本実施形態において冷却液供給用配管50a、50b及び冷却液排出用配管60a、60bは、図1に示すように熱交換器40a、40bの内側に配置される。図1において、冷却液供給用配管50a、50b及び冷却液排出用配管60a、60bの配置は、冷却機構の主な配置領域の奥行方向に並ぶ配置であるが、配置はこれに限定されない。例えば、冷却液配管は、図1の紙面左右方向に並ぶ配置であってもよい。
In the present embodiment, the
冷却液供給用配管50a、50b及び冷却液排出用配管60a、60bの材質及び形状は問わない。本実施形態において、冷却液供給用配管50a、50b及び冷却液排出用配管60a、60bがそれぞれ2本ずつ配置されているが、これに限られない。供給用と排液用の配管はそれぞれ1本ずつであってもよいし、2本より多くてもよい。本実施形態では、冷却液として水が用いられるが、その他冷媒となり得る液体が用いられてもよい。
The material and shape of the
冷却液供給用配管50a、50bは、給液用マニホールドを備える。冷却液排出用配管60a、60bは排液用マニホールドを備える。図1には、給液用マニホールドと排液用マニホールドが示されている。給液用マニホールドは、冷却液供給用配管50a、50bの冷却液の流れを分岐させ、後述する給排手段からサーバ内に分配する。排液用マニホールドは、給排手段を通ってきた冷却液を一つにまとめ、冷却液排出用配管60a、60bに排水する。本実施形態において給液用マニホールドと排液用マニホールドは、冷却液供給用配管50a、50b及び冷却液排出用配管60a、60bに直結、または一体に形成された金属製の分岐配管であり、直径は1インチ程度の物が用いられる。ただし給液用マニホールドと排液用マニホールドのサイズや材質は問わない。
The
冷却機構の主な配置領域内に冷却液配管を設けることで、省スペースでサーバの冷却機構を設けることができる。冷却液配管がサーバラックの側面側に配置されることにより、密閉筐体100内の空気の循環を妨げないようにすることができる。加えて、2つのサーバラックで冷却液配管を共有することで、部品を少なくすることができる。また2つのサーバラック90の間かつサーバ20の開口部の近くに冷却液配管を設けることで、後述の冷却液の給排手段の長さを短くすることができる。
By providing the coolant piping in the main arrangement area of the cooling mechanism, the server cooling mechanism can be provided in a small space. By arranging the coolant piping on the side surface side of the server rack, it is possible to prevent the air circulation in the sealed
<給排手段>
給排手段は、給液用マニホールドと排液用マニホールドと連通して接続され、冷却液配管(冷却液供給用配管50a、50b)の冷却液をサーバ20a、20bに付加された受熱部に分配する。本実施形態において、給排手段は直径10 mm程度のゴム製ホースである。ただし給排手段の冷却液の分配方法、材質やサイズは問わない。材質は金属、ガラス、樹脂であってもよい。給液用マニホールド及び排液用マニホールドと給排手段との接続及び、サーバ20a、20bと給排手段の接続には、例えばカプリングなどの流体継手を使用してもよい。
<Means of supply and discharge>
The water supply / discharge means is connected to the liquid supply manifold and the liquid drainage manifold in communication with each other, and distributes the coolant of the coolant pipes (
給排手段は供給手段51a、51b、52a、52bと、排出手段61a、61b、62a、62bとを含む。供給手段51a、51b、52a、52bは、給液用マニホールドから、サーバ20a、20bのフロント側又はリア側の給液口を介して、受熱部に冷却液を分配する。分配された冷却液によりサーバの受熱部は高発熱部品を冷却する。排出手段61a、61b、62a、62bは、受熱部を通って熱くなった冷却液をフロント側又はリア側の排液口から排液用マニホールドに排出する。
The supply / discharge means includes supply means 51a, 51b, 52a, 52b and discharge means 61a, 61b, 62a, 62b. The supply means 51a, 51b, 52a, 52b distributes the cooling liquid from the liquid supply manifold to the heat receiving portion via the liquid supply port on the front side or the rear side of the
<受熱部>
サーバ20a、20bの高発熱部品(図示せず)の上には、図1に破線で示すように、液冷式の受熱部が取り付けられる。受熱部として、一般的なサーバに取り付けられているヒートシンクを取り外して、コールドプレートが付加されてもよい。高発熱部品とコールドプレートの間には放熱グリースなど熱界面材料(TIM:Thermal interface material)が塗布される。コールドプレート内に水を流すことで、サーバ20a、20bの高発熱部品の熱を冷却水に移動させることができる。熱くなった冷却水は排出手段によりサーバの外に運び出される。空気を水冷する前述の間接水冷に対して、高発熱部品を水で直接冷却するこの冷却機構を直接水冷と呼ぶ。
<Heat receiving part>
As shown by the broken line in FIG. 1, a liquid-cooled heat receiving portion is mounted on the high heat generating component (not shown) of the
<<動作>>
<間接液冷(空冷)機構の動作>
サーバ20a、20bの放熱により、空気の対流が発生し、サーバ20a、20bの開口部から空気が排出される。サーバ20bのリア側から排気された空気は液冷式の熱交換器40aに吸気され、冷却される。熱交換器40aで冷却され、排気された空気は、サーバ20aのフロント側から吸気され、サーバ20aの冷却に利用される。サーバ20aのフロント側とサーバ20bのリア側が同じ方向を向くよう、配置されており、さらに2つのサーバラックは密閉筐体100により密閉されているため、空気は密閉筐体100内で循環する。よってサーバ20aの排気は熱交換器40bで冷却され、排気された空気は、サーバ20bのフロント側から吸気され、サーバ20bの冷却に利用される。本実施形態において密閉筐体100内の空気の流路は天井側から見て1つの閉曲線を描いている。
<< Operation >>
<Operation of indirect liquid cooling (air cooling) mechanism>
The heat radiation of the
<直接液冷機構の動作>
サーバシステムの外部から冷却水が冷却液配管に供給される。冷却水は冷却液供給用配管50aの給水用マニホールドを通り、第1の給水手段51aを用いて、サーバ20aのフロント側に分配される。分配された冷却水は、サーバ20a内のフロント側に位置する高発熱部品に付加されたコールドプレート内を流れ、高発熱部品を直接水冷する。コールドプレート内で吸熱し、温度が上がった冷却水は、第1の排水手段61aを用いて、サーバ20aから排水用マニホールドに移動する。温度が上がった冷却水は排水用マニホールドを通って冷却液排出用配管60aに排出される。サーバの熱は冷却液排出用配管を通ってサーバシステム外部に運ばれる。
<Operation of direct liquid cooling mechanism>
Cooling water is supplied to the coolant piping from the outside of the server system. The cooling water passes through the water supply manifold of the
サーバ20aのリア側においても同様に、給液用マニホールドから、第2の給水手段52aを用いて、冷却水が分配される。分配された冷却水はリア側に位置する高発熱部品を冷却し、第2の排水手段62aを用いて、サーバ20aから排液用マニホールドに移動する。温度が上がった冷却水は排水用マニホールドから排出用配管60bへ排出され、サーバの熱はサーバシステム外部に運ばれる。
Similarly, on the rear side of the
サーバ20bのフロント側及びリア側の直接水冷の動作も、サーバ20aの直接水冷の動作と同様である。
The direct water cooling operation on the front side and the rear side of the
本実施形態において、フロント側の給水口から給水された冷却水は、フロント側の排水口から排出されている。ただし冷却水の給排手段の態様はこれに限られない。フロント側の給水口から給水された冷却水は、コールドプレートを通って、リア側の排水口から排出される構成であってもよい。 In the present embodiment, the cooling water supplied from the water supply port on the front side is discharged from the drain port on the front side. However, the mode of the cooling water supply / discharge means is not limited to this. The cooling water supplied from the water supply port on the front side may be discharged from the drain port on the rear side through the cold plate.
<第1実施形態による効果>
特許文献2、3のように、水冷配管がラックのリア側に配置されると、サーバシステム全体の設置面積が大きくなってしまう。本実施形態によれば、冷却液配管が2つのサーバラックの間の領域に設けられているため、サーバシステムが省スペースで設置可能となる。
<Effect of the first embodiment>
If the water-cooled pipe is arranged on the rear side of the rack as in
特許文献3の冷却システムにおいて、排気はラックの側面から中央の冷却タワーに引き込まれる。よって専用のブレード構造のコンピュータボードが必要となり、コストが上昇する。また通常のラックマウントサーバに特許文献3の方式を適用すると、排気をラックの背面から中央の冷却タワーまで回り込ませるように引き込む必要が生じるので、ラックの奥行が長くなる。本実施形態によれば、サーバのリア側から熱交換器に空気を引き込む構成であるため、サーバの種類を問わない、省スペースで設置可能なサーバラックの冷却システムを提供することができる。 In the cooling system of Patent Document 3, the exhaust gas is drawn from the side surface of the rack to the central cooling tower. Therefore, a computer board with a dedicated blade structure is required, which increases the cost. Further, when the method of Patent Document 3 is applied to a normal rack mount server, it is necessary to draw the exhaust gas so as to wrap around from the back surface of the rack to the central cooling tower, so that the depth of the rack becomes long. According to the present embodiment, since the configuration is such that air is drawn into the heat exchanger from the rear side of the server, it is possible to provide a server rack cooling system that can be installed in a small space regardless of the type of server.
また本実施形態によれば、冷却液配管の配置が空気の流路の内側に設けられているため、サーバの排気を効率よく循環させるサーバシステムを提供することができる。 Further, according to the present embodiment, since the coolant piping is arranged inside the air flow path, it is possible to provide a server system that efficiently circulates the exhaust gas of the server.
さらに本実施形態によれば、サーバの排気は水冷式熱交換器により間接水冷され、高発熱部品は直接水冷されることから、水冷式サーバシステムを提供することが可能になる。加えて本実施形態によれば、サーバラックを密閉筐体で取り囲んでいるため、マシン室の空調に頼らずにサーバシステムを冷却することができる。したがってマシン室の空調設備を増強する場合に比べて、消費電力を抑えることができ、データセンター等の運営費を抑えることが可能になる。 Further, according to the present embodiment, the exhaust of the server is indirectly water-cooled by the water-cooled heat exchanger, and the high heat generating parts are directly water-cooled, so that it is possible to provide a water-cooled server system. In addition, according to the present embodiment, since the server rack is surrounded by a closed housing, the server system can be cooled without relying on air conditioning in the machine room. Therefore, the power consumption can be suppressed and the operating cost of the data center or the like can be suppressed as compared with the case of increasing the air conditioning equipment in the machine room.
[第1実施形態の変形例]
<ファン70>
本実施形態に係るサーバシステムのサーバ冷却装置は、空気を強制的に循環させる送風機としてブロアーファン70を備えてもよい。ファン70は、熱交換器40の吸気側又は排気側の冷却機構の主な配置領域内に設けられる。図3は、熱交換器40a、40bの排気側にファン70a、70bを備える場合を示す図である。
[Modified example of the first embodiment]
<Fan 70>
The server cooling device of the server system according to the present embodiment may include a blower fan 70 as a blower for forcibly circulating air. The fan 70 is provided in the main arrangement region of the cooling mechanism on the intake side or the exhaust side of the heat exchanger 40. FIG. 3 is a diagram showing a case where
ファン70a、70bを熱交換器40a、40bの吸気側に配置するか、排気側に配置するかは使用する部品や冷却対象の消費電力量などに応じて選択することができる。なお、吸気側と排気側の両方にファンを配置することも可能であるが、ファンの消費電力が増える割に、冷却性能は片側にファンを配置する場合と比較して大幅には改善しないなどデメリットが多い。よってファンは一般的に、熱交換器の両側には配置されない。
Whether the
直接液冷の対象でない部分での消費電力が大きい場合、熱交換器の冷却性能が不足することがある。ファン70a、70bを備えることにより、熱交換器のすぐ近くに、空気を強制循環させる機構を設けることで、空冷による冷却性能を高めることができる。
If the power consumption in the part that is not the target of direct liquid cooling is large, the cooling performance of the heat exchanger may be insufficient. By providing the
<中継手段>
本実施形態に係るサーバシステムのサーバ冷却装置は、さらに冷却液の中継手段を備えてもよい。図4は、給排手段がさらに中継手段56a、56b、57a、57bを備える場合を示す図である。図4においてサーバ20a、20bはフロント側及びリア側にそれぞれ、2つの給水口と2つの排水口と第1の受熱部と第2の受熱部とを備える。給水口及び排水口はそれぞれ、中継手段56a、56b、57a、57b、供給手段51a、51b、52a、52b、又は排出手段61a、61b、62a、62bを介して、サーバ内で受熱部に連通して接続されている。なお、給水口及び排水口の位置はフロント側及びリア側に限られず、サーバ20a、20bの側面、上面、下面に設けられてもよい。
<Relay means>
The server cooling device of the server system according to the present embodiment may further include a cooling liquid relay means. FIG. 4 is a diagram showing a case where the supply / discharge means further includes relay means 56a, 56b, 57a, 57b. In FIG. 4, the
供給手段51aが、サーバ20aのフロント側に給液口を介して、受熱部に水を分配した後、第1の中継手段56aは、フロント側の排液口から別の給水口に水を供給する。その後、水は別の受熱部の中を通り、排出手段61aへ排出される。
After the supply means 51a distributes water to the heat receiving portion via the liquid supply port on the front side of the
近年、CPUだけではなく複数のGPUを搭載可能とした薄型ラックマウントサーバなど、高性能かつ高密度なサーバが利用されている。高密度なサーバでは、直接水冷の対象となる高消費電力部品が多くなる。例えば1つのサーバ内に2個のCPUと8個のGPUが設けられる場合がある。この場合、CPUとGPUの水冷のための給排水部も、例えばサーバのフロント側とリア側にそれぞれに2か所ずつ設けたほうが有利となりうる。よって中継手段を設けることで高密度なサーバも効果的に冷却することができる。 In recent years, high-performance and high-density servers such as thin rack-mount servers that can mount not only CPUs but also a plurality of GPUs have been used. In high-density servers, many high-power consumption components are directly subject to water cooling. For example, two CPUs and eight GPUs may be provided in one server. In this case, it may be advantageous to provide two water supply / drainage units for water cooling of the CPU and GPU, for example, on the front side and the rear side of the server. Therefore, by providing the relay means, the high-density server can be effectively cooled.
<給排手段の変形例>
給排手段の態様は図1の態様に限られない。図5は、図1に示した給排手段の他の態様を示す図である。図5に示す供給手段51a、51b、52a、52bは、それぞれ分岐し、2つの受熱部に冷却液を供給する。図5に示す排出手段61a、61b、62a、62bは2つの受熱部からの冷却液を回収する。
<Modified example of supply / discharge means>
The mode of the supply / discharge means is not limited to the mode shown in FIG. FIG. 5 is a diagram showing another aspect of the supply / discharge means shown in FIG. The supply means 51a, 51b, 52a, and 52b shown in FIG. 5 are branched and supply the cooling liquid to the two heat receiving portions. The discharge means 61a, 61b, 62a, 62b shown in FIG. 5 collect the cooling liquid from the two heat receiving portions.
図1、図5において、給排手段はサーバ20a、20bの両方の、フロント側及びリア側に接続されているが、給排手段の配置はこれに限られない。給排手段はサーバのリア側に接続され、フロント側に接続されない構成であってもよいし、フロント側に接続され、リア側に接続されない構成であってもよい。
In FIGS. 1 and 5, the supply / discharge means are connected to the front side and the rear side of both the
サーバラック90に複数のサーバ20が搭載される場合、それぞれのサーバに対して給排手段が設けられてもよい。 When a plurality of servers 20 are mounted on the server rack 90, supply / discharge means may be provided for each server.
[第2実施形態]
図6は、第2実施形態によるサーバシステムの一例を示す図である。本実施形態において、第1実施形態と同様の構成には同じ符号を付した。
[Second Embodiment]
FIG. 6 is a diagram showing an example of a server system according to the second embodiment. In the present embodiment, the same components as those in the first embodiment are designated by the same reference numerals.
第2実施形態によるサーバシステムのサーバ冷却装置は、少なくとも冷却液配管50、60と給排手段52a、52b、62a、62bとを備える。図6において、サーバ20aの排気口とサーバ20bの排気口は同じ方向を向いて、床の上に配置されている。サーバラック90aは、第1のラックの一例であり、サーバラック90bは、第2のラックの一例である。サーバラック90a、90bのそれぞれの数は、1つに限らず2つ以上でも良い。
The server cooling device of the server system according to the second embodiment includes at
冷却液配管は、サーバ20aを搭載可能なサーバラック90aの側面とサーバ20bを搭載可能なサーバラック90bの側面との間の領域に配置され、冷却液を給排液する。冷却液配管は、給液用マニホールドを有する冷却液供給用配管50と、排液用マニホールドを有する冷却液排出用配管60とを備える。給液用マニホールドと排液用マニホールドは給排手段に連通して接続される。給排手段は、冷却液配管とサーバ20a、20bの発熱部に付加された受熱部とに接続され、冷却液を受熱部に対して給排液する。
The coolant piping is arranged in the area between the side surface of the
<第2実施形態の変形例>
第2実施形態において、冷却液供給用配管50と冷却液排出用配管60は1組に限られない。図7A、図7Bは、第2実施形態によるサーバシステムの第1の変形例と第2の変形例を示す図である。第1の変形例において、図1に示すサーバシステムのサーバラックと同様にサーバラック90a、90bは横に並べて、フロント側が異なる方向を向くように配置されている。冷却液供給配管50bは、供給手段52aを介してサーバラック90aのリア側に付された受熱部に冷却液を供給する。冷却液供給配管50aは、供給手段52bを介してサーバラック90bのリア側に付された受熱部に冷却液を供給する。第2の変形例において、サーバラック90a、90bは横に並べて、フロント側が同じ方向を向くように配置されている。冷却液供給配管50aは、供給手段51bを介してサーバラック90bのフロント側に付された受熱部に冷却液を供給する。
<Modified example of the second embodiment>
In the second embodiment, the
サーバラック90a、90bを第1の変形例、第2の変形例のように配置するときも、図6と同様に、サーバラック90a、90bは1組の冷却液配管50、60を共有してもよい。
When the
<第2実施形態による効果>
本実施形態によれば、冷却液配管が第1のサーバを搭載可能な第1のラックの側面と第2のサーバを搭載可能な第2のラックの側面との間の領域に配置され、給排手段は、第1のサーバ又は前記第2のサーバの発熱部に対して冷却液配管の冷却液を給排液するので、サーバシステムが省スペースで設置可能となる。
<Effect of the second embodiment>
According to the present embodiment, the coolant pipe is arranged in the area between the side surface of the first rack on which the first server can be mounted and the side surface of the second rack on which the second server can be mounted. Since the drainage means supplies and drains the coolant of the coolant pipe to the heat generating portion of the first server or the second server, the server system can be installed in a space-saving manner.
上述した各実施形態は本発明を具体化した一例に過ぎず、請求の範囲に記載された本発明の趣旨の範囲内であれば、種々変更することができるものである。 Each of the above-described embodiments is merely an example embodying the present invention, and various modifications can be made within the scope of the gist of the present invention described in the claims.
100 密閉筐体
20 サーバ
30 隔壁
40 熱交換器
50 冷却液供給用配管
60 冷却液排出用配管
70 ファン
100 Sealed housing 20 Server 30 Partition wall 40
Claims (10)
前記冷却液配管と前記第1のサーバ又は前記第2のサーバの発熱部に付加された受熱部とに接続され、前記冷却液を前記受熱部に対して給排液する給排手段と、を備える
サーバ冷却装置。 A coolant pipe that is arranged in the area between the side surface of the first rack on which the first server can be mounted and the side surface of the second rack on which the second server can be mounted and supplies and drains the coolant. ,
A water supply / drainage means that is connected to the coolant pipe and the heat receiving portion added to the heat generating portion of the first server or the second server and supplies / drains the cooling liquid to the heat receiving portion. Equipped with a server cooling device.
請求項1のサーバ冷却装置。 A heat exchanger arranged in the region and for cooling the air exhausted from the first server and the second server.
The server cooling device according to claim 1.
請求項2のサーバ冷却装置。 The heat exchanger cools the air exhausted from the first server and supplies the air to the second server, and cools the air exhausted from the second server. Including a second heat exchanger to supply one server,
The server cooling device of claim 2.
請求項3のサーバ冷却装置。 The coolant pipe is arranged inside the first heat exchanger and the second heat exchanger.
The server cooling device according to claim 3.
請求項3又は4のサーバ冷却装置。 A blower is provided on the exhaust side or the intake side of the first heat exchanger and the second heat exchanger.
The server cooling device according to claim 3 or 4.
前記第1のラック及び前記第2のラックは、互いの側面が対向し、一方のラックに搭載されるサーバの吸気口が他のラックに搭載されるサーバの排気口と同じ方向を向くよう配置され、
前記筐体内で空気の流路は前記第1のサーバと前記第2のサーバと前記第1の熱交換器及び前記第2の熱交換器との間で形成される
請求項3乃至5のいずれかのサーバ冷却装置。 A housing that surrounds the first rack and the second rack is provided.
The first rack and the second rack are arranged so that their side surfaces face each other and the intake port of the server mounted on one rack faces the same direction as the exhaust port of the server mounted on the other rack. Being done
Any of claims 3 to 5, wherein the air flow path in the housing is formed between the first server, the second server, the first heat exchanger, and the second heat exchanger. That server cooling device.
請求項1乃至6のいずれかのサーバ冷却装置。 The server cooling device according to any one of claims 1 to 6, wherein the region is partitioned by a partition wall, and the partition wall partially allows air to flow in and out.
前記第1の受熱部から前記第2の受熱部に冷却液を中継する中継手段を備える、
請求項1乃至7のいずれかのサーバ冷却装置。 The heat receiving unit includes a first heat receiving unit and a second heat receiving unit.
A relay means for relaying the coolant from the first heat receiving unit to the second heat receiving unit is provided.
The server cooling device according to any one of claims 1 to 7.
前記第2のサーバと、
前記第1のラックと、
前記第2のラックと、
請求項1乃至8のいずれかのサーバの冷却装置と、を備えるサーバシステム。 With the first server
With the second server
With the first rack
With the second rack
A server system comprising the cooling device for the server according to any one of claims 1 to 8.
前記冷却液配管と前記第1のサーバ又は前記第2のサーバの発熱部に付加された受熱部とに接続される給排手段により、前記冷却液を前記受熱部に給排する、
サーバの冷却方法。 Coolant is supplied and discharged through a coolant pipe arranged in the area between the side surface of the first rack on which the first server can be mounted and the side surface of the second rack on which the second server can be mounted.
The coolant is supplied to and discharged from the heat receiving portion by a supply and discharge means connected to the coolant pipe and the heat receiving portion added to the heat generating portion of the first server or the second server.
How to cool the server.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2019049402A JP7298216B2 (en) | 2019-03-18 | 2019-03-18 | Server cooling device, server system, and server cooling method |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2019049402A JP7298216B2 (en) | 2019-03-18 | 2019-03-18 | Server cooling device, server system, and server cooling method |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2020154360A true JP2020154360A (en) | 2020-09-24 |
JP7298216B2 JP7298216B2 (en) | 2023-06-27 |
Family
ID=72558990
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2019049402A Active JP7298216B2 (en) | 2019-03-18 | 2019-03-18 | Server cooling device, server system, and server cooling method |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP7298216B2 (en) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113093879A (en) * | 2021-04-08 | 2021-07-09 | 大连理工大学 | Blade type server heat dissipation cover plate for two-phase immersion type liquid cooling |
TWI785964B (en) * | 2021-04-27 | 2022-12-01 | 廣達電腦股份有限公司 | Coolant distribution unit and computer system |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2005018926A (en) * | 2003-06-27 | 2005-01-20 | Hitachi Ltd | Cooling structure of disk storage device |
JP2011187762A (en) * | 2010-03-10 | 2011-09-22 | Fujitsu Ltd | Cooling device and electronic device |
JP2011191974A (en) * | 2010-03-15 | 2011-09-29 | Fujitsu Ltd | Information device |
JP2012222214A (en) * | 2011-04-12 | 2012-11-12 | Fujitsu Ltd | Cooler, electronic apparatus, and cooling system |
JP2015163831A (en) * | 2013-09-17 | 2015-09-10 | パナソニックIpマネジメント株式会社 | Heat receiver, cooling device using the same, and electronic apparatus using the same |
-
2019
- 2019-03-18 JP JP2019049402A patent/JP7298216B2/en active Active
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2005018926A (en) * | 2003-06-27 | 2005-01-20 | Hitachi Ltd | Cooling structure of disk storage device |
JP2011187762A (en) * | 2010-03-10 | 2011-09-22 | Fujitsu Ltd | Cooling device and electronic device |
JP2011191974A (en) * | 2010-03-15 | 2011-09-29 | Fujitsu Ltd | Information device |
JP2012222214A (en) * | 2011-04-12 | 2012-11-12 | Fujitsu Ltd | Cooler, electronic apparatus, and cooling system |
JP2015163831A (en) * | 2013-09-17 | 2015-09-10 | パナソニックIpマネジメント株式会社 | Heat receiver, cooling device using the same, and electronic apparatus using the same |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113093879A (en) * | 2021-04-08 | 2021-07-09 | 大连理工大学 | Blade type server heat dissipation cover plate for two-phase immersion type liquid cooling |
CN113093879B (en) * | 2021-04-08 | 2023-11-24 | 大连理工大学 | Blade type server heat radiation cover plate for two-phase immersion liquid cooling |
TWI785964B (en) * | 2021-04-27 | 2022-12-01 | 廣達電腦股份有限公司 | Coolant distribution unit and computer system |
US11683910B2 (en) | 2021-04-27 | 2023-06-20 | Quanta Computer Inc. | Hot plug redundant pump for cooling system |
Also Published As
Publication number | Publication date |
---|---|
JP7298216B2 (en) | 2023-06-27 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US10743438B2 (en) | Liquid cooling device, liquid cooling system, and control method of liquid cooling device | |
US11516943B2 (en) | Direct liquid cooling system for cooling of electronic components | |
US7397661B2 (en) | Cooled electronics system and method employing air-to-liquid heat exchange and bifurcated air flow | |
US7969727B2 (en) | Cooling | |
US8929080B2 (en) | Immersion-cooling of selected electronic component(s) mounted to printed circuit board | |
JP5209802B2 (en) | Hot aisle containment type cooling system and method | |
US8605437B2 (en) | Cooling apparatus and electronic equipment | |
TWI392997B (en) | Cooling circulating system of server apparatus | |
JP5396416B2 (en) | Server apparatus and electronic equipment cooling system | |
US20100248609A1 (en) | Assembly For Providing A Downflow Return Air Supply | |
US9192077B2 (en) | Baffle for air flow redirection | |
TW201221036A (en) | Server rack | |
US20120201001A1 (en) | Electronic device and complex electronic device | |
US20110059687A1 (en) | Data center, cooling system, and method of cooling information technology device | |
GB2576032A (en) | Liquid cooled server module | |
US20100275618A1 (en) | System and method for cooling fluid distribution | |
JP7298216B2 (en) | Server cooling device, server system, and server cooling method | |
US20120100795A1 (en) | Air-conditioning system | |
CN113056161A (en) | Electronic device housing and edge computing system | |
JP2008060515A (en) | Cooling device for electronic control device | |
WO2009157080A1 (en) | Power supply unit | |
JP7459545B2 (en) | Server cooling equipment, electronic equipment, and server cooling methods | |
US20230180425A1 (en) | Electric cabinet with heat dissipation system | |
CN209949707U (en) | Air-cooling and water-cooling combined server group | |
US11937407B2 (en) | Photo-etched chassis cooling walls |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
RD01 | Notification of change of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7421 Effective date: 20211015 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20220215 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20221130 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20221206 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20230201 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20230516 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20230529 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 7298216 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |