JP2011076158A - Server operation system and server operation method - Google Patents
Server operation system and server operation method Download PDFInfo
- Publication number
- JP2011076158A JP2011076158A JP2009223962A JP2009223962A JP2011076158A JP 2011076158 A JP2011076158 A JP 2011076158A JP 2009223962 A JP2009223962 A JP 2009223962A JP 2009223962 A JP2009223962 A JP 2009223962A JP 2011076158 A JP2011076158 A JP 2011076158A
- Authority
- JP
- Japan
- Prior art keywords
- management device
- subsystem
- server
- master
- servers
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Landscapes
- Computer And Data Communications (AREA)
Abstract
Description
本発明は、複数のサーバを備えたシステムの冷却に関する。 The present invention relates to cooling a system including a plurality of servers.
昨今のＩＴインフラ統合に向けて、データセンターなどのサーバ室にブレードサーバを導入する動きが活発化している。ブレードサーバに代表される高密度サーバは、省スペースなどの利点があるものの、発熱密度が高いという問題がある。例えば、ブレードサーバを高密度に実装した場合、ラック１本あたりの発熱量は５〜３０ｋｗとなる場合もある。 For the recent IT infrastructure integration, the movement to introduce blade servers in server rooms such as data centers has become active. High-density servers represented by blade servers have the advantage of high heat generation density, although they have advantages such as space saving. For example, when blade servers are mounted at high density, the heat generation amount per rack may be 5 to 30 kW.
これに対して、従来のサーバ室の冷却設備は、通常、ラック１本あたりの発熱量を０．５〜２ｋｗ程度に想定して設けられている。そのため、ブレードサーバが導入したサーバ室では、十分な冷却が出来ずにホットスポットが発生し、ホットスポットの位置にあるサーバやＩＴ機器がオーバーヒートを起こす可能性がある。一方、このようなことを解消するために、冷却設備の運転を強めると、ホットスポット以外の箇所にとって冷却過多となり、電力を無駄に消費してしまう。 On the other hand, conventional server room cooling equipment is usually provided with a calorific value per rack of about 0.5 to 2 kw. For this reason, in the server room where the blade server is introduced, there is a possibility that a hot spot is generated without sufficient cooling, and the server and IT equipment at the hot spot position may overheat. On the other hand, if the operation of the cooling facility is strengthened in order to solve such a problem, excessive cooling is caused for portions other than the hot spot, and power is consumed wastefully.
ホットスポットによるオーバーヒートを防止し、サーバ室の過冷却による電力ロスを防ぐためには、サーバ室の温度を均一に保つ事が重要である。これについて、様々な手法が試みされてきた In order to prevent overheating due to hot spots and to prevent power loss due to overcooling of the server room, it is important to keep the temperature of the server room uniform. Various methods have been tried for this.
例えば、サーバルームの温度シミュレーションを行い、冷却設備とラックの最適な配置を事前に算出する手法が知られている。 For example, a method is known in which a temperature simulation of a server room is performed and an optimal arrangement of cooling equipment and racks is calculated in advance.
また、ラックに冷却装置を実装し、ラック単位やラック列単位で冷却する手法も知られている。 There is also known a method in which a cooling device is mounted on a rack and cooling is performed in units of racks or rack rows.
また、ホットアイルとコールドアイルを分離し、排気が他のサーバの吸気側に回り込まないようにサーバを配置する手法もある。 There is also a method in which the server is arranged so that the hot aisle and the cold aisle are separated so that the exhaust does not enter the intake side of another server.
また、システムに備えられた複数のサーバの負荷を分散させる技術として、各サーバの負荷状況を監視し、負荷の高いサーバのジョブやＶＭ（Ｖｉｒｔｕａｌ Ｍａｃｈｉｎｅ：仮想機械）を、負荷の低いサーバへ移動し、各サーバの負荷を均一にする手法が知られている。 In addition, as a technology to distribute the load of multiple servers provided in the system, the load status of each server is monitored, and high-load server jobs and virtual machines (VMs) are moved to low-load servers A method for making the load on each server uniform is known.
しかし、温度シミュレーションによる手法では、シミュレーション結果に応じてサーバを配置するが、シミュレーションデータの精度や、サーバ数の増減および動作状況などによっては、必ずしもシミュレーション通りの温度分布を得るとは限らない。 However, in the method based on the temperature simulation, the servers are arranged according to the simulation result. However, the temperature distribution according to the simulation is not always obtained depending on the accuracy of the simulation data, the increase / decrease in the number of servers, and the operation status.
また、ラックに冷却装置を実装し、ラック単位やラック列単位で冷却する手法では、ラックへの冷却装置の実装によるラックのサイズ増大、コストアップなどの問題がある。 Further, the method of mounting a cooling device in a rack and cooling in units of racks or rack rows has problems such as an increase in rack size and an increase in cost due to the mounting of the cooling device in the rack.
また、ホットアイルとコールドアイルを分離する手法では、サーバ室の冷却設備の位置の調整や、吸気／排気が同じ方向のサーバで統一する必要があるなど、運用上の制限が多い。 In addition, the method of separating hot aisle and cold aisle has many operational limitations such as adjustment of the position of the cooling equipment in the server room and the need to unify the intake / exhaust between servers in the same direction.
また、各サーバの負荷が均一であってもサーバ室内の温度分布が均一とは限らないため、サーバの負荷を均一化させる手法を適用してもサーバ室の温度を均一に保つ事が困難である。例えば、冷却設備の正面の空間は良く冷えるが、冷却装置から遠く離れた入り組んだ位置にある空間は、冷気が届かずあまり冷えない。これらの位置にあるサーバに同じ負荷を与えても、サーバ室の室温は均一にならず、ホットスポットが発生する可能性がある。 Also, even if the load on each server is uniform, the temperature distribution in the server room is not always uniform, so it is difficult to keep the temperature in the server room uniform even if a method for equalizing the server load is applied. is there. For example, the space in front of the cooling facility cools well, but the space in an intricate position far away from the cooling device does not reach the cooling air so much. Even if the same load is applied to the servers at these positions, the room temperature of the server room is not uniform, and a hot spot may occur.
本発明は、上記事情に鑑みてなされたものであり、サーバ室の温度分布を確実に均一に保つ技術を提供する。 The present invention has been made in view of the above circumstances, and provides a technique for reliably maintaining a uniform temperature distribution in a server room.
本発明の１つの態様は、サーバ運用システムである。このサーバ運用システムは、複数のサーバと、マスタ管理装置と、制御装置を備える。 One aspect of the present invention is a server operation system. This server operation system includes a plurality of servers, a master management device, and a control device.
マスタ管理装置は、上記複数のサーバが設けられた夫々の場所の温度を示す温度情報を取得可能である。 The master management apparatus can acquire temperature information indicating the temperature of each place where the plurality of servers are provided.
制御装置は、マスタ管理装置が得た温度情報に基づいて、上記複数のサーバが設けられた夫々の場所間での温度分布が均一になるように、該複数のサーバ間で負荷分布の調整を行う。 The control device adjusts the load distribution among the plurality of servers based on the temperature information obtained by the master management device so that the temperature distribution between the respective locations where the plurality of servers are provided is uniform. Do.
本発明の別の態様も、サーバ運用システムである。このサーバ運用システムは、エンクロージャ単位の複数のサブシステムにより構成される。 Another aspect of the present invention is also a server operation system. This server operation system is composed of a plurality of subsystems in units of enclosures.
サブシステムは、該サブシステムが設けられた場所の温度を示す温度情報を取得可能な管理装置と、１つ以上のサーバを格納するエンクロージャとを備える。 The subsystem includes a management device that can acquire temperature information indicating the temperature of a place where the subsystem is provided, and an enclosure that stores one or more servers.
これらの複数のサブシステムの管理装置のうちの１つはマスタ管理装置であり、他の管理装置はスレーブ管理装置である。 One of the management devices of the plurality of subsystems is a master management device, and the other management device is a slave management device.
各スレーブ管理装置は、自身が属するサブシステムの温度情報をマスタ管理装置に提供し、マスタ管理装置は、自身が属するサブシステムの温度情報と、各スレーブ管理装置から提供された夫々のサブシステムの温度情報とを制御装置に供する。 Each slave management device provides temperature information of the subsystem to which the slave management device belongs to the master management device, and the master management device provides temperature information of the subsystem to which the slave management device belongs and each subsystem provided by each slave management device. Provide temperature information to the controller.
制御装置は、マスタ管理装置が得た温度情報に基づいて、各サブシステムが設けられた夫々の場所間での温度分布が均一になるように、これらのサブシステムに格納されたサーバ間で負荷分布の調整を行う。 Based on the temperature information obtained by the master management device, the control device loads the servers among the servers stored in these subsystems so that the temperature distribution between the locations where each subsystem is provided is uniform. Adjust the distribution.
なお、上記態様のサーバ運用システムを方法に置き換えて表現したもの、該サーバ運用システムの一部の構成要素例えばサブシステムや管理装置、またはこれらの構成要素の一部の機能をコンピュータに実行せしめるプログラムも、本発明の態様としては有効である。 It should be noted that what is expressed by replacing the server operation system of the above aspect with a method, some components of the server operation system, such as a subsystem or a management device, or a program that causes a computer to execute some functions of these components Is also effective as an embodiment of the present invention.
本発明にかかる技術によれば、サーバ室の温度を均一に保つことを確実にできる。 According to the technology of the present invention, it is possible to ensure that the temperature of the server room is kept uniform.
説明の明確化のため、以下の記載及び図面は、適宜、省略及び簡略化がなされている。また、様々な処理を行う機能ブロックとして図面に記載される各要素は、ハードウェア的には、ＣＰＵ、メモリ、その他の回路で構成することができ、ソフトウェア的には、メモリにロードされたプログラムなどによって実現される。したがって、これらの機能ブロックがハードウェアのみ、ソフトウェアのみ、またはそれらの組合せによっていろいろな形で実現できることは当業者には理解されるところであり、いずれかに限定されるものではない。 For clarity of explanation, the following description and drawings are omitted and simplified as appropriate. Each element described in the drawings as a functional block for performing various processes can be configured by a CPU, a memory, and other circuits in terms of hardware, and a program loaded in the memory in terms of software. Etc. Therefore, it is understood by those skilled in the art that these functional blocks can be realized in various forms by hardware only, software only, or a combination thereof, and is not limited to any one.
本発明にかかる具体的な実施の形態の前に、まず、本発明にかかるサーバ運用技術の原理を説明する。
図１は、本発明にかかる技術の原理を説明するためのサーバ運用システム１００を示す。サーバ運用システム１００は、例えばサーバ室に設けられており、複数のサーバ１１０と、マスタ管理装置１２０と、制御装置１３０を備える。
Prior to a specific embodiment according to the present invention, first, the principle of the server operation technique according to the present invention will be described.
FIG. 1 shows a
マスタ管理装置１２０は、各サーバ１１０が設けられた夫々の場所の温度を示す温度情報を取得可能である。制御装置１３０は、マスタ管理装置１２０が得た各温度情報に基づいて、各サーバ１１０が設けられた夫々の場所間での温度分布が均一になるように、これらのサーバ間で負荷分布の調整を行う。なお、負荷分布の調整は、例えばジョブやＶＭの移動を含む。
The
図１において、構成要素間の線は、情報の受渡しが可能であることを示し、必ずしも実際の接続形態を示すものではない。マスタ管理装置１２０は、各サーバ１１０から該サーバの温度情報を取得可能であり、制御装置１３０は、マスタ管理装置１２０から温度情報を得ることができ、かつ各サーバ１１０間で負荷調整を行うことができれば、いかなる接続形態であってもよい。例えば、各サーバ１１０とマスタ管理装置１２０はネットワークにより接続され、該ネットワークを介して温度情報を受け渡し、制御装置１３０は、ネットワークを介して各サーバ１１０と接続する一方、マスタ管理装置１２０とは直接接続されるような接続形態が考えられる。また、マスタ管理装置１２０と各サーバ１１０とを接続するネットワークは、制御装置１３０と各サーバ１１０とを接続するネットワークとは異なるものであってもよい。さらに、マスタ管理装置１２０と制御装置１３０の片方または両方は、いずれかのサーバ１１０に設けられるようにしてもよい。両方がいずれかのサーバサーバ１１０に設けられる場合には、夫々が設けられるサーバは、同一であってもよく異なってもよい。
In FIG. 1, lines between components indicate that information can be exchanged, and do not necessarily indicate an actual connection form. The
また、制御装置２３０は、マスタ管理装置１２０から情報を受け取ることができ、サーバ間で負荷分布の調整を行うことができるものであれば、その構築の形態は１つに限定されることが無い。例えば、１つの構成要素として制御装置をいずれかのサブシステムにサーバとは別に設けるようにしてもよいし、いずれかのサーバに設けるようにしてもよい。さらに、例えば、各サーバ内で制御モジュールを設け、制御モジュール間での情報交換の結果に応じて負荷分布の調整を行うようにしてもよい。この場合、制御装置は、これらの制御モジュールにより構成される。
The
このサーバ運用システム１００によれば、各サーバが設けられた場所の実際の温度に基づいて、これらの場所間での温度分布が均一になるようにサーバ間の負荷分布が調整されるので、サーバ運用システム１００が設けられたサーバ室の温度を確実に均一に保つことができる。
According to the
本発明に係る技術は、１つのエンクロージャに集合された集合型サーバ装置により構成されたサーバ運用システムにも適用することができる。図２を参照して説明する。 The technology according to the present invention can also be applied to a server operation system configured by a collective server device that is aggregated in one enclosure. This will be described with reference to FIG.
図２に示すサーバ運用システム２００は、集合型サーバ装置（以下サブシステムという）を複数備える。図２において、例としてサブシステム２１０、サブシステム２２０、サブシステム２３０の３つのみを示す。これらのサブシステムは、ネットワーク２９０を介して接続されている。
The
各サブシステムは、エンクロージャ単位に構成されている。図示のように、サブシステム２１０は、複数のサーバ２１４と、管理装置２１６と、制御装置２８０と、これらを格納するエンクロージャ２１２を有する。サブシステム２２０は、複数のサーバ２２４と、管理装置２２６と、これらを格納するエンクロージャ２２２を有する。サブシステム２３０は、複数のサーバ２３４と、管理装置２３６と、これらを格納するエンクロージャ２３２を有する。
Each subsystem is configured in units of enclosures. As illustrated, the
マスタ管理装置２１６、スレーブ管理装置２２６、スレーブ管理装置２３６は、自身が属するサブシステムが設けられた場所（すなわち該サブシステムのエンクロージャが設けられた場所）の温度情報を取得可能である。すなわち、マスタ管理装置２１６はサブシステム２１０の温度情報を取得可能であり、スレーブ管理装置２２６はサブシステム２２０の温度情報を取得可能であり、スレーブ管理装置２３６はサブシステム２３０の温度情報を取得可能である。
The
これらの管理装置のうちの１つはマスタ管理装置であり、他はスレーブ管理装置である。例として、マスタ管理装置２１６はマスタ管理装置であり、スレーブ管理装置２２６とスレーブ管理装置２３６はスレーブ管理装置であるとする。
One of these management devices is a master management device and the other is a slave management device. As an example, it is assumed that the
スレーブ管理装置２２６とスレーブ管理装置２３６は、自身が属するサブシステムの温度情報を取得してネットワーク２９０を介してマスタ管理装置２１６に提供する。
The
マスタ管理装置２１６は、サブシステム２１０の温度情報、およびスレーブ管理装置２２６とスレーブ管理装置２３６が提供したサブシステム２２０とサブシステム２３０の温度情報を制御装置２８０に供する。
The
制御装置２８０は、マスタ管理装置２１６からの各温度情報に基づいて、各々のサブシステムが設けられた場所間での温度分布が均一になるように、サーバ間での負荷分布を調整する。
Based on the temperature information from the
図２に示すサーバ運用システム２００は、集合型サーバ装置が設けられた場所の温度が、該集合型サーバ装置に含まれる各サーバが設けられた場所の温度とほぼ一致であることを利用し、各サブシステムが設けられた場所の実際の温度に基づいて、これらの場所間での温度分布が均一になるようにサーバ間の負荷分布を調整するので、サーバ運用システム２００が設けられたサーバ室の温度を確実に均一に保つことができる。
The
また、サブシステム単位で温度情報を取得するので、サーバ毎に温度情報を取得することより、処理が簡単である。 Further, since temperature information is acquired in units of subsystems, processing is simpler than acquiring temperature information for each server.
なお、いずれの管理装置をマスタ管理装置とするかについて、固定であってもよいが、システム構築者などユーザにより設定できることが好ましい。こうすることによって、サブシステムの増減などの変動にも対応することができる。 Note that which management device is the master management device may be fixed, but is preferably set by a user such as a system builder. By doing so, it is possible to cope with fluctuations such as increase / decrease of subsystems.
さらに、各管理装置がネットワークを介した通信により自律的にマスタ管理装置とスレーブ管理装置の決定がなされることがより好ましい。こうすることにより、サブシステムの増減などの変動をより簡単に対応することができる。 Furthermore, it is more preferable that each management device autonomously determines a master management device and a slave management device by communication via a network. By doing so, it is possible to more easily cope with fluctuations such as increase / decrease in subsystems.
また、管理装置が温度情報を取得する方法としては、例えば、サブシステム毎に温度センサを設け、温度センサの測定値を温度情報として取得することができる。この温度センサは、例えば当該サブシステムのエンクロージャに設ければよい。 Moreover, as a method for the management device to acquire the temperature information, for example, a temperature sensor can be provided for each subsystem, and a measurement value of the temperature sensor can be acquired as the temperature information. For example, the temperature sensor may be provided in the enclosure of the subsystem.
昨今のサーバには吸気温度センサを設けられているものが多く、エンクロージャに格納されたサーバの吸気温度センサにより測定した温度と該エンクロージャ周辺の温度とがほぼ一致であることを利用して、管理装置は、自身が属するサブシステム内のサーバに元々備えられている吸気温度センサの測定値を該サブシステムの温度情報として取得するようにしてもよい。サーバに元々備えられた吸気温度センサを利用し、サブシステムの温度を測定する装置を別に設ける必要が無いため、この手法による温度情報の取得が好ましい。 Many recent servers are equipped with an intake air temperature sensor, and management is performed by utilizing the fact that the temperature measured by the intake air temperature sensor of the server stored in the enclosure is almost the same as the temperature around the enclosure. The apparatus may acquire the measured value of the intake air temperature sensor originally provided in the server in the subsystem to which the apparatus belongs as temperature information of the subsystem. Since it is not necessary to separately provide a device for measuring the temperature of the subsystem using the intake air temperature sensor originally provided in the server, it is preferable to acquire temperature information by this method.
なお、サーバに複数の吸気温度センサが備えられている場合には、いずれか１つの吸気温度センサの測定値を用いてもよく、これらの複数の吸気温度センサのうちの１つ以上の測定値の平均値を用いるようにしてもよい。エンクロージャに格納されたサーバのうち、吸気温度センサが備えられたサーバが複数ある場合においても、同様である。 If the server is provided with a plurality of intake air temperature sensors, the measured value of any one of the intake air temperature sensors may be used, and one or more measured values of the plurality of intake air temperature sensors may be used. You may make it use the average value of. The same applies when there are a plurality of servers provided with the intake air temperature sensor among the servers stored in the enclosure.
さらに、マスタ管理装置が、各サブシステムの設置された場所の位置を示す位置情報を取得し、制御装置が、各サブシステムの温度情報と位置情報とに基づいて調整を行うことが好ましい。 Furthermore, it is preferable that the master management apparatus acquires position information indicating the position of the place where each subsystem is installed, and the control apparatus adjusts based on the temperature information and position information of each subsystem.
例えば、制御装置は、サーバ間の負荷分布の調整のために負荷を移動する際に、サブシステム間での温度分布が均一になる前提下で、位置情報に基づいてサブシステムの密集度を求め、密集度が高い場所に設けられたサブシステムに含まれるサーバよりも、密集度の低い場所に設けられたサブシステムに含まれるサーバを優先的に移動先のサーバとして選定するようにすることができる。こうすることによって、温度分布の均一化をより効率良く行うことができる。 For example, when the load is moved to adjust the load distribution between servers, the control device calculates the density of the subsystem based on the position information on the assumption that the temperature distribution between the subsystems is uniform. It is possible to preferentially select a server included in a subsystem provided in a low-density place as a destination server over a server included in a subsystem provided in a high-density place. it can. By doing so, the temperature distribution can be made more uniform.
また例えば、制御装置は、サーバ間の負荷分布の調整のために負荷を移動する際に、サブシステム間での温度分布が均一になる前提下で、サーバ室に設けられた冷却装置の位置と、マスタ管理装置が得た位置情報とに基づいて、冷却装置までの距離が近いサブシステムに含まれるサーバほど該サーバを優先的に移動先のサーバとして選定するようにしてもよい。この手法も、温度分布の均一化をより効率良く行うことができる。 Further, for example, when the load is moved to adjust the load distribution between the servers, the control device assumes that the temperature distribution between the subsystems is uniform and the position of the cooling device provided in the server room. Based on the position information obtained by the master management device, the servers included in the subsystems closer to the cooling device may be preferentially selected as destination servers. This method can also make the temperature distribution uniform more efficiently.
なお、位置情報の具体的な取得手法については、実施の形態と共に説明する。
以下、上述した原理を踏まえ、本発明にかかる実施の形態を説明する。
図３は、本発明の実施の形態にかかるサーバ運用システム３００を示す。サーバ運用システム３００は、サーバ室３１０内に設けられており、サブシステム４００と、１つ以上のサブシステム５００と、冷却装置３２０および冷却装置３４０を備える。各サブシステムは、ネットワーク３９０を介して接続されている。なお、サブシステムおよび冷却装置の配置および数は、図示の例に限られることがない。
A specific method for acquiring position information will be described together with the embodiment.
Hereinafter, based on the above-described principle, an embodiment according to the present invention will be described.
FIG. 3 shows a
サブシステム４００は、制御装置４０２を備える。制御装置４０２は、ネットワーク３９０を介して各サブシステム（サブシステム４００およびサブシステム５００）内に含まれるサーバ間の負荷を調整可能である。制御装置４０２による調整の詳細は、後に説明する。制御装置４０２を備える点を除き、サブシステム４００は、各サブシステム５００と同じ構成を有し、ここでサブシステム５００の詳細構成について説明する。
The
図４は、サブシステム５００を示す。サブシステム５００は、エンクロージャ単位に構成されており、図４の上部は、エンクロージャの上からの透視図であり、図４の下部は、エンクロージャの背面図である。
FIG. 4 shows the
サブシステム５００は、エンクロージャ５１０と、複数のサーバ５２０と、管理装置５３０と、発信機５４０と、３つのレシーバ（レシーバ５５２、レシーバ５５４、レシーバ５５６）を備える。なお、サブシステム４００は、図４に示す各構成要素を備え、さらに制御装置４０２を有する。
The
管理装置５３０と複数のサーバ５２０は、エンクロージャ５１０に格納されている。各サーバ５２０は、１つ以上の吸気温度センサ５２２を有する。吸気温度センサ５２２の測定値は、管理装置５３０に送信される。
The
管理装置５３０は、プロセッサ（以下ＭＰＵという）５３１、ＭＰＵ５３１による処理時のデータを記憶するＲＡＭ５３２と、ネットワーク３９０と接続するためのＬＡＮボード５３４とＮＩＣ５３３、発信機５４０を制御するための制御回路（以下ＣＮＴという）５３５と、レシーバ５５２〜５５６を制御するためのＣＮＴ５３６を有する。ＭＰＵ５３１は、ＮＩＣ５３３を制御して、ＬＡＮボード５３４を介してネットワーク３９０による通信を行う。また、ＭＰＵ５３１は、ＣＮＴ５３５を介して発信機５４０を制御し、ＣＮＴ５３６を介して３つのレシーバ５５４〜５５６を制御する。管理装置５３０の各構成要素は、協働して管理装置５３０の機能を担い、それらの協働動作は、通常のコンピュータに備えられた相対応のものの動作と同様である。したがって、以下の説明において、管理装置５３０の機能についてのみ説明し、これらの機能を実現するために各構成要素の具体的な動作を省略する。
The
発信機５４０と３つのレシーバ５５４〜５５６は、エンクロージャ５１０に装着されている。発信機５４０は、管理装置５３０の制御に従って電波を発信でき、レシーバ５５４〜５５６は、管理装置５３０の制御に従って他のサブシステムにおける発信機からの電波を受信できる。
The
サブシステム４００と各サブシステム５００における管理装置５３０は、該管理装置がマスタ管理装置であるかスレーブ管理装置かによって一部の動作が異なる。マスタ管理装置は、複数の管理装置５３０のうちの１つであり、マスタ管理装置以外の管理装置５３０は、スレーブ管理装置である。
Some operations of the
本実施の形態のサーバ運用システム３００において、マスタ管理装置とスレーブ管理装置の決定は、各々の管理装置５３０間の調停により自律的に決定される。また、調停のためには、Ｐ０〜Ｐ３の４種類のパケットが使用される。Ｐ０は、マスタ名要求パケット（Ｍａｓｔｅｒ＿Ｎａｍｅ＿Ｉｎｑｕｉｒｙ）であり、Ｐ１は、マスタ宣言パケット（Ｍａｓｔｅｒ＿Ａｎｎｏｕｎｃｅｍｅｎｔ）である。また、Ｐ２は、エントリ・リクエストパケット（Ｅｎｔｒｙ＿Ｒｅｑｕｅｓｔ）であり、Ｐ３は、エントリ受付パケット（Ｅｎｔｒｙ＿Ａｃｃｅｐｔａｎｃｅ）である。以下の説明及び図示において、パケット名の後に「（Ｕｎｉｃａｓｔ）」を付けることにより該パケットがユニキャストのパケットであることを示し、「（Ｂｒｏａｄｃａｓｔ）」を付けることにより該パケットがブロードキャストのパケットであることを示す。また、「（Ｕｎｉｃａｓｔ）」と「（Ｂｒｏａｄｃａｓｔ）」のいずれも付けない場合には、該パケットが、ユニキャストとブロードキャストのいずれでもよいことを示す。
In the
図５は、管理装置５３０の状態遷移図である。説明しやすいように、複数の管理装置により形成されたネットワークを、以下管理装置ネットワークという。
FIG. 5 is a state transition diagram of the
管理装置ネットワークに新規に参加する管理装置５３０の状態は、初期状態の状態０である。なお、新規に参加する管理装置とは、マスタ管理装置であるかスレーブ管理装置であるかの設定がまだなされておらず、例えば既存のサーバ運用システムに追加されたサブシステムに含まれる管理装置である。
The state of the
状態０にある管理装置５３０は、管理装置ネットワークに参加するために、ブロードキャストのマスタ名要求パケットＰ０を送出し、マスタ管理装置からの返答を待つ状態（状態１）に遷移する。
In order to participate in the management apparatus network, the
管理装置ネットワークに既にマスタ管理装置がある場合には、該マスタ管理装置は、マスタ名要求パケットＰ０を受信してから所定の時間内にユニキャストのマスタ宣言パケットＰ１を返答する。マスタ名要求パケットＰ０を送出した新規の管理装置５３０は、所定の時間内に自身宛てのマスタ宣言パケットＰ１（Ｕｎｉｃａｓｔ）を受信すると、マスタ管理装置にユニキャストのエントリ・リクエストパケットＰ２を送信して、登録要求中状態（状態２）に遷移する。図５において、この遷移は、状態１から状態２までの実線で表されている。
When there is already a master management device in the management device network, the master management device returns a unicast master declaration packet P1 within a predetermined time after receiving the master name request packet P0. Upon receiving the master declaration packet P1 (Unicast) addressed to itself within a predetermined time, the
一方、マスタ名要求パケットＰ０を送信した新規の管理装置５３０は、所定の時間内に自身宛のマスタ宣言パケットＰ１（Ｕｎｉｃａｓｔ）を受信できない場合には、ブロードキャストのマスタ宣言パケットＰ１を送出して、マスタ管理装置（状態４）になる。図５において、この遷移は、状態１から状態４までの点線で表されている。
On the other hand, if the
登録要求中状態（状態２）にある管理装置５３０は、エントリ・リクエストパケットＰ２の送信から所定の時間以内にエントリ受付パケットＰ３を受信すると、スレーブ管理装置（状態３）になる。図５において、この遷移は、状態２から状態３までの実線で表されている。
When the
一方、登録要求中状態（状態２）にある管理装置５３０は、エントリ・リクエストパケットＰ２の送信から所定の時間が経過しても自身宛のエントリ受付パケットＰ３を受信できなかった場合には、初期状態（状態０）に戻る。
On the other hand, if the
また、スレーブ管理装置（状態３）が情報要求パケットＰ４を所定時間以上受信できなかった場合には、該管理装置５３０も初期状態（状態０）に戻る。これについて、マスタ管理装置とスレーブ管理装置の動作の説明時に説明する。
If the slave management apparatus (state 3) has not received the information request packet P4 for a predetermined time or more, the
上述した管理装置５３０の状態遷移を踏まえ、本実施の形態における各管理装置５３０による調停についてのいくつかのケースを説明する。
Based on the state transition of the
図６は、既に形成された管理装置ネットワークに新規の管理装置５３０が参加するシーケンスの１例を示す。既に形成された管理装置ネットワークとは、マスタ管理装置が既に決定された管理装置ネットワークを意味する。
FIG. 6 shows an example of a sequence in which a
図６に示すように、新規の管理装置５３０は、管理装置ネットワークに参加するために、ブロードキャストのマスタ名要求パケットＰ０を送信する。
As shown in FIG. 6, the
このマスタ名要求パケットＰ０を受信したマスタ管理装置は、所定の時間内に、上記新規の管理装置５３０にユニキャストのマスタ宣言パケットＰ１を返答する。
Upon receiving this master name request packet P0, the master management apparatus returns a unicast master declaration packet P1 to the
新規の管理装置５３０は、ブロードキャストのマスタ名要求パケットＰ０の送信後の所定の時間内に自分宛のマスタ宣言パケットＰ１を受信すると、マスタ宣言パケットＰ１を送信したマスタ管理装置にユニキャストのエントリ・リクエストパケットＰ２を送信する。
When the
マスタ管理装置は、エントリ・リクエストパケットＰ２を受信すると、所定の時間内にエントリ受付パケットＰ３を返送する。 When receiving the entry request packet P2, the master management apparatus returns the entry acceptance packet P3 within a predetermined time.
エントリ・リクエストパケットＰ２の送信後の所定の時間内にエントリ受付パケットＰ３を受信すると、上記新規の管理装置５３０はスレーブ管理装置になり、管理装置ネットワークへの参加が完了する。
When the entry acceptance packet P3 is received within a predetermined time after the entry request packet P2 is transmitted, the
図７は、既に形成された管理装置ネットワークに新規の管理装置５３０が参加するシーケンスの別の例を示す。
FIG. 7 shows another example of a sequence in which a
図６に示す例と同様に、管理装置ネットワークに参加するために、新規の管理装置５３０は、ブロードキャストのマスタ名要求パケットＰ０を送信する。
Similar to the example shown in FIG. 6, in order to participate in the management apparatus network, the
このマスタ名要求パケットＰ０を受信したマスタ管理装置は、所定の時間内に、上記新規の管理装置５３０にユニキャストのマスタ宣言パケットＰ１を返答する。
Upon receiving this master name request packet P0, the master management apparatus returns a unicast master declaration packet P1 to the
新規の管理装置５３０は、ブロードキャストのマスタ名要求パケットＰ０の送信後の所定の時間内に自分宛のマスタ宣言パケットＰ１を受信すると、マスタ宣言パケットＰ１を送信したマスタ管理装置にユニキャストのエントリ・リクエストパケットＰ２を送信する。
When the
マスタ管理装置は、エントリ・リクエストパケットＰ２を受信すると、所定の時間内にエントリ受付パケットＰ３を返送する。しかし、このエントリ・リクエストパケットＰ２は、何らかの弾みで新規管理装置に到達する前に消滅してしまう。 When receiving the entry request packet P2, the master management apparatus returns the entry acceptance packet P3 within a predetermined time. However, the entry request packet P2 disappears before reaching the new management device due to some momentum.
そのため、新規管理装置は、エントリ・リクエストパケットＰ２の送信後に所定時間が経過してもエントリ受付パケットＰ３を受信できないため（タイムアウト）、初期状態に戻り、ブロードキャストのマスタ名要求パケットＰ０を再度送信する。 For this reason, the new management device cannot receive the entry acceptance packet P3 even if a predetermined time has elapsed after the transmission of the entry request packet P2 (timeout), so returns to the initial state and transmits the broadcast master name request packet P0 again. .
その後、図６に示すシーケンスと同様の流れを経て、新規管理装置は、スレーブ管理装置になり、管理装置ネットワークへの参加が完了する。 Thereafter, through a flow similar to the sequence shown in FIG. 6, the new management device becomes a slave management device, and participation in the management device network is completed.
図８は、管理装置ネットワークがまだ形成されておらず、各管理装置５３０が管理装置ネットワークを形成するシーケンスの例を示す。
FIG. 8 shows an example of a sequence in which the management apparatus network is not yet formed and each
図８は、管理装置ネットワークがまだ形成されておらず、各管理装置５３０が管理装置ネットワークを形成するシーケンスの例を示す。また、分かりやすいように、３つの管理装置についてのみ図示および説明する。
FIG. 8 shows an example of a sequence in which the management apparatus network is not yet formed and each
この場合、全ての管理装置（新規１、新規２、新規３）は新規の管理装置である。これらの管理装置は、ブロードキャストのマスタ名要求パケットＰ０を送信する。 In this case, all the management devices (new 1, new 2, new 3) are new management devices. These management apparatuses transmit a broadcast master name request packet P0.
マスタ管理装置が無いため、各管理装置は、マスタ宣言パケットＰ１（Ｕｎｉｃａｓｔ）を受信できない。ここで、最も先にタイムアウトが発生した管理装置（図示の例では新規１）は、ブロードキャストのマスタ宣言パケットＰ１を送信し、マスタ管理装置になる。 Since there is no master management device, each management device cannot receive the master declaration packet P1 (Unicast). Here, the management device (new 1 in the illustrated example) that has timed out first transmits a broadcast master declaration packet P1 and becomes the master management device.
ブロードキャストのマスタ宣言パケットＰ１を受信した他の管理装置（新規２と新規３）は、マスタ管理装置である新規１にエントリ・リクエストパケットＰ２を送信する。 The other management devices (new 2 and new 3) that have received the broadcast master declaration packet P1 transmit the entry request packet P2 to the new 1 that is the master management device.
新規１は、他の管理装置からのエントリ・リクエストパケットＰ２を受信すると、発信元の管理装置にエントリ受付パケットＰ３を夫々送信する。 When the new 1 receives the entry request packet P2 from another management apparatus, the new 1 transmits an entry acceptance packet P3 to the originating management apparatus.
新規２と新規３は、エントリ受付パケットＰ３を受信すると夫々スレーブ管理装置になる。
これにより、管理装置ネットワークが形成される。
New 2 and new 3 respectively become slave management devices when they receive the entry acceptance packet P3.
Thereby, a management apparatus network is formed.
図９は、マスタ管理装置の競合が生じた場合に行われるシーケンスの例を示す。この例では、既に形成されている管理装置ネットワークに新規の管理装置の参加時に競合が起きている。 FIG. 9 shows an example of a sequence performed when a conflict of the master management devices occurs. In this example, there is a conflict when a new management device joins the already formed management device network.
新規の管理装置は、管理装置ネットワークに参加するために、ブロードキャストのマスタ名要求パケットＰ０を送信する。 The new management device transmits a broadcast master name request packet P0 in order to participate in the management device network.
マスタ名要求パケットＰ０を受信したマスタ装置は、ユニキャストのマスタ宣言パケットＰ１を新規管理装置に送信するが、このマスタ宣言パケットＰ１は、何らかの弾みで新規管理装置に到達する前に消滅してしまう。 The master device that has received the master name request packet P0 transmits a unicast master declaration packet P1 to the new management device, but this master declaration packet P1 disappears before reaching the new management device due to some momentum. .
そのため、新規管理装置は、マスタ名要求パケットＰ０の送信後に所定時間が経過してもマスタ宣言パケットＰ１を受信できないため、マスタ管理装置になり、ブロードキャストのマスタ宣言パケットＰ１を送信する。 Therefore, the new management apparatus cannot receive the master declaration packet P1 even if a predetermined time has elapsed after the transmission of the master name request packet P0. Therefore, the new management apparatus becomes the master management apparatus and transmits the broadcast master declaration packet P1.
すなわち、管理装置ネットワークにマスタ管理装置が２つもあり、競合が起きている。区別するために、マスタ管理装置になった新規管理装置を「新マスタ管理装置」といい、元々あったマスタ管理装置を「元マスタ管理装置」という。 That is, there are two master management devices in the management device network, and a conflict occurs. In order to make a distinction, a new management apparatus that has become a master management apparatus is referred to as a “new master management apparatus”, and an original master management apparatus is referred to as an “original master management apparatus”.
元マスタ管理装置は、新マスタ管理装置からのマスタ宣言パケットＰ１を受信すると、マスタ宣言パケットＰ１に含まれた新マスタ管理装置のＭＡＣアドレスと自分のＭＡＣアドレスを比較する。本実施の形態において、競合が起きた場合に、ＭＡＣアドレスの大きい方がマスタ管理装置になるように定められている。 When receiving the master declaration packet P1 from the new master management apparatus, the former master management apparatus compares the MAC address of the new master management apparatus included in the master declaration packet P1 with its own MAC address. In this embodiment, when a conflict occurs, it is determined that the larger MAC address becomes the master management device.
例として、元マスタ管理装置のＭＡＣアドレスが新マスタ管理装置のＭＡＣアドレスが大きいであるとする。そのため、元マスタ管理装置は、自身の状態を維持すべく、ブロードキャストのマスタ宣言パケットＰ１を送信する。 As an example, assume that the MAC address of the original master management device is larger than the MAC address of the new master management device. Therefore, the original master management apparatus transmits a broadcast master declaration packet P1 in order to maintain its own state.
元マスタ管理装置からのブロードキャストのマスタ宣言パケットＰ１を受信した新マスタ管理装置も、該マスタ宣言パケットＰ１に含まれた元マスタ管理装置のＭＡＣアドレスと自身のＭＡＣアドレスを比較する。そして、比較の結果に応じて、元マスタ管理装置にエントリ・リクエストパケットＰ２を送信し、スレーブ管理装置になる。
これにてマスタ管理装置の競合が解消される。
The new master management device that has received the broadcast master declaration packet P1 from the original master management device also compares the MAC address of the original master management device included in the master declaration packet P1 with its own MAC address. Then, according to the comparison result, the entry request packet P2 is transmitted to the original master management device, and the slave management device is obtained.
This eliminates the conflict of the master management device.
このように、サーバ運用システム３００において、各々の管理装置５３０により、自律的にマスタ管理装置とスレーブ管理装置の決定や更新がなされる。
In this way, in the
ここで、マスタ管理装置とスレーブ管理装置の機能を説明する。
サーバ運用システム３００における全ての管理装置５３０は、自身の属するサブシステムが設けられた場所の温度を示す温度情報を取得可能である。具体的には、自身の属するサブシステムに含まれる各サーバに備えられた吸気温度センサ５２２の測定値の平均値を温度情報として算出する。
Here, functions of the master management device and the slave management device will be described.
All the
スレーブ管理装置は、マスタ管理装置から定期的に送られてくる情報要求パケットＰ４を受信する度に、自身のサブシステムの温度情報を取得してネットワーク３９０を介してマスタ管理装置に送信すると共に、発信機５４０を発信させる。なお、発信機５４０から発信された電波には、発信時刻と、当該管理装置５３０内のＮＩＣ５３３のＭＡＣアドレスが含まれている。
Each time the slave management device receives the information request packet P4 sent periodically from the master management device, it acquires the temperature information of its subsystem and transmits it to the master management device via the
また、スレーブ管理装置は、前回の情報要求パケットＰ４の受信から所定の時間が経過しても次の情報要求パケットＰ４を受信できなかった場合には、初期状態（状態０）に戻る。これは、図５の状態遷移図における状態３（スレーブ状態）から状態０までの実線で表されている。 In addition, the slave management apparatus returns to the initial state (state 0) when the next information request packet P4 cannot be received even after a predetermined time has elapsed since the reception of the previous information request packet P4. This is represented by a solid line from state 3 (slave state) to state 0 in the state transition diagram of FIG.
マスタ管理装置は、ネットワーク３９０を介して定期的に情報要求パケットＰ４を各スレーブ管理装置に送信すると共に、情報要求パケットＰ４に応じて各スレーブ管理装置が送られてきた温度情報で管理リストを更新する。管理リストは、例えばＲＡＭ５３２に格納されている。
The master management device periodically transmits an information request packet P4 to each slave management device via the
図１０は、マスタ管理装置が管理する管理リスト、マスタ管理装置とスレーブ管理装置間での通信パターンを示す。 FIG. 10 shows a management list managed by the master management apparatus, and a communication pattern between the master management apparatus and the slave management apparatus.
分かりやすいように、スレーブ管理装置については、３つのスレーブ管理装置（スレーブ管理装置＃１、スレーブ管理装置＃２、スレーブ管理装置＃３）を例にする。 For easy understanding, the slave management device is exemplified by three slave management devices (slave management device # 1, slave management device # 2, and slave management device # 3).
管理リストには、スレーブ管理装置毎に、ＭＡＣアドレス、ＩＰアドレス、温度情報、位置情報とは対応付けて登録されている。位置情報は、当該スレーブ管理装置が属するサブシステムが設けられた場所の位置を示すものであり、それの詳細については後述する。 In the management list, the MAC address, the IP address, the temperature information, and the position information are registered in association with each slave management apparatus. The position information indicates the position of the place where the subsystem to which the slave management apparatus belongs is provided, and details thereof will be described later.
マスタ管理装置は、スレーブ管理装置が管理装置ネットワークに参加する際に発行したエントリ・リクエストパケットＰ２から該スレーブ管理装置のＭＡＣアドレスとＩＰアドレスを取得する。また、マスタ管理装置は、ネットワーク３９０を介して、管理リストに登録してある各ＩＰアドレス宛に、定期的に情報要求パケットＰ４を発行し温度情報を要求する。マスタ管理装置は、情報要求パケットＰ４に応じて各スレーブ管理装置が送ってきた最新の温度情報を、該スレーブ管理装置のＭＡＣアドレスとＩＰアドレスとを対応付けて管理リストに保持する。
The master management device acquires the MAC address and IP address of the slave management device from the entry request packet P2 issued when the slave management device joins the management device network. Further, the master management apparatus periodically issues an information request packet P4 to each IP address registered in the management list to request temperature information via the
図１０において、スレーブ管理装置＃１とマスタ管理装置間の通信パターンは、最も多い通信パターンである。この通信パターンでは、マスタ管理装置が定期的に発行する情報要求パケットＰ４はスレーブ管理装置＃１に届いており、スレーブ管理装置＃１は、情報要求パケットＰ４を受信する度に、自身のサブシステムの温度情報（図中温度情報＃１）を取得してマスタ管理装置に返送する。マスタ管理装置は、スレーブ管理装置＃１から温度情報＃１を受信する度に、受信した温度情報＃１で、スレーブ管理装置＃１に対応して保持されていた温度情報＃１を更新する。 In FIG. 10, the communication pattern between the slave management apparatus # 1 and the master management apparatus is the most common communication pattern. In this communication pattern, the information request packet P4 periodically issued by the master management apparatus reaches the slave management apparatus # 1, and the slave management apparatus # 1 receives its own subsystem every time it receives the information request packet P4. Temperature information (temperature information # 1 in the figure) is acquired and returned to the master management apparatus. Each time the master management device receives the temperature information # 1 from the slave management device # 1, the master management device updates the temperature information # 1 held corresponding to the slave management device # 1 with the received temperature information # 1.
スレーブ管理装置＃２とマスタ管理装置間の通信パターンは、情報要求パケットＰ４を受信してから所定の時間が経過しても、次の情報要求パケットＰ４がスレーブ管理装置に届かなかった場合のものである。図示のように、この場合、スレーブ管理装置＃２は、マスタ名要求パケットＰ０（ブロードキャスト）を発行する。これにより、マスタ管理装置の再選出が行われ、システム変更や故障などにより前のマスタ管理装置が機能しない状態になったとしても、新しいマスタ管理装置が自律的に選出される。なお、これにより選出された新しいマスタ管理装置は、新たに管理リストを作成する。 The communication pattern between the slave management device # 2 and the master management device is a case where the next information request packet P4 does not reach the slave management device even after a predetermined time has elapsed after receiving the information request packet P4. It is. As illustrated, in this case, the slave management apparatus # 2 issues a master name request packet P0 (broadcast). As a result, the master management device is re-selected, and a new master management device is autonomously selected even if the previous master management device does not function due to a system change or failure. Note that the new master management device selected in this way newly creates a management list.
スレーブ管理装置＃３とマスタ管理装置間の通信パターンは、マスタ管理装置が情報要求パケットＰ４の送信後、送信先のスレーブ管理装置から温度情報を受信できなかった場合のものである。図示のように、この場合、マスタ管理装置は、当該スレーブ管理装置（図中スレーブ管理装置＃３）についての登録内容を削除する。これにより、例えばシステム変更などによりスレーブ管理装置＃３の属するサブシステムが撤去された場合にも対応可能である。
The communication pattern between the slave
マスタ管理装置による位置情報の取得について説明する。本実施の形態において、マスタ管理装置は、三点測位法により、各スレーブ管理装置と自身の相対位置を当該スレーブ管理装置の位置情報として取得する。具体的には、マスタ管理装置は、自身のサブシステムのエンクロージャ５１０に設けられた３つのレシーバ５５２、５５４、５５６がスレーブ管理装置の属するサブシステム内の発信機５４０からの電波を受信する時間の差から該スレーブ管理装置と自身の相対位置を求める。すなわち、レシーバ５５２、レシーバ５５４、レシーバ５５６、およびＭＰＵ５３１は、測位デバイスを構成する。なお、三点測位法は、一般的に用いられる測距方法であるため、ここで詳細な説明を省略する。
Acquisition of position information by the master management apparatus will be described. In the present embodiment, the master management device acquires each slave management device and its relative position as position information of the slave management device by the three-point positioning method. Specifically, the master management device has a time period during which the three
マスタ管理装置は、このようにして取得した各サブシステムの温度情報と位置情報を、サブシステム４００に設けられた制御装置４０２に送信する。制御装置４０２は、マスタ管理装置から温度情報と位置情報に基づいて、各サブシステムが設けられた場所間で温度分布が均一になるように、各々のサーバ間で負荷分布の調整を行う。
The master management device transmits the temperature information and position information of each subsystem acquired in this way to the
具体的には、制御装置４０２は、まず、各サブシステムの温度情報に基づいて、各サブシステムが設けられた場所間での温度分布の偏りの有無を確認する。例えば、制御装置４０２は、各サブシステムの温度情報が示す温度の平均値を求め、該平均値との差が所定の閾値以上の温度のサブシステムがあれば、温度分布の偏りがあるとし、全てのサブシステムについて、その温度と上記平均値との差が所定の閾値より小さければ、温度分布の偏りが無いとする。
Specifically, the
温度分布の偏りが無い場合、制御装置４０２は、負荷分布の調整をしない。温度分布の偏りがあれば、制御装置４０２は、温度分布の偏りが無くなるように、サーバ間で負荷分布を調整する。この調整は、例えば温度の高いサブシステム内のサーバの負荷を、温度の低いサブシステム内に移動する手法が挙げられるが、温度分布の偏りを無くすことができれば、従来知られているいかなる負荷分布の調整手法を用いてもよい。
When there is no temperature distribution bias, the
制御装置４０２は、負荷分布の調整のために負荷を移動する際に、位置情報を参照して移動先のサーバの優先順位を決定する。図３に戻って説明する。
When the load is moved for adjusting the load distribution, the
図３に示すサーバ運用システム３００において、点線により囲まれた４つの領域（領域１〜領域４）のうち、領域１と領域３は、冷却装置３２０または冷却装置３４０に近い場所であり、領域２と領域４は、冷却装置３２０と冷却装置３４０のいずれからも離れた場所である。そのため、領域２と領域４は、領域１と領域３よりホットスポットになりやすい。また、領域２と領域４がホットスポットにならないように、従来のように単に冷却装置の冷却能力を強めれば、領域１と領域３は過冷却され、システム全体の冷却効率が悪い。
In the
それに対して、上述した本実施の形態のサーバ運用システム３００のように、各サブシステムが設けられた場所間での温度分布が均一になるようにサーバ間で負荷分布を調整することにより、冷却装置の冷却能力を効率よく利用できる。ここで、例えば、温度分布の偏りを解消するために、領域４内のサブシステムのサーバの負荷を温度の低いサブシステム内のサーバに移動する必要があり、温度の低いサブシステムが領域１と領域３内のサブシステムである場合を考える。この場合、領域１と領域３のいずれの領域内のサブシステムのサーバに負荷を移動するかを決める必要がある。
On the other hand, like the
本実施の形態において、制御装置４０２は、負荷分布の調整のために負荷を移動する際に、マスタ管理装置からの位置情報に基づいて、サブシステムの密集度が高い場所に設けられたサブシステムに含まれるサーバよりも、密集度の低い場所に設けられたサブシステムに含まれるサーバを優先的に移動先のサーバとして選定する。上記の例の場合、移動先として、領域１と領域３のいずれの領域内のサーバも移動先のサーバとすることができるが、本実施の形態では、制御装置４０２は、サブシステムの密集度が低いほうの領域１内のサーバを優先的に選定する。こうすることにより、より冷却効率を高めることができる。
In the present embodiment, when the
本実施の形態のサーバ運用システム３００は、本発明の技術的原理を説明する際に用いられたサーバ運用システム１００とサーバ運用システム２００を具現化したものであり、本発明の原理を説明する際に挙げた本発明の技術の効果を得ることができる。
The
以上、実施の形態をもとに本発明を説明した。実施の形態は例示であり、本発明の主旨から逸脱しない限り、さまざまな変更、増減を加えてもよい。これらの変更、増減が加えられた変形例も本発明の範囲にあることは当業者に理解されるところである。 The present invention has been described above based on the embodiment. The embodiment is an exemplification, and various changes and increases / decreases may be added without departing from the gist of the present invention. It will be understood by those skilled in the art that modifications to which these changes and increases / decreases are also within the scope of the present invention.
例えば、サーバ運用システム３００において、制御装置４０２は、サブシステムの密集度に基づいて負荷の移動先のサーバの優先度を決めるようにしているが、サーバ室に設けられた冷却装置の位置と、マスタ管理装置が得た位置情報とに基づいて、冷却装置までの距離が近いサブシステムに含まれるサーバほど該サーバを優先的に移動先のサーバとして選定するようにしてもよい。この手法も、温度分布の均一化をより効率良く行うことができる。例えば図３に示す配置例において、温度分布の均一化のみを考えると、領域４と領域３のいずれの領域内のサーバも負荷の移動先のサーバとすることができる場合、冷却装置３４０に近い位置の領域３に設けられたサブシステム内のサーバを優先的に選定する。
For example, in the
なお、冷却装置の位置情報は、例えば予め制御装置４０２に対して設定すればよい。
In addition, what is necessary is just to set the positional information on a cooling device with respect to the
また、各サブシステムの位置情報を取得することができれば、マスタ管理装置による各サブシステムの位置情報の取得手法も上述した手法に限られることが無い。例えば、各サブシステム内例えばエンクロージャにＧＰＳレシーバを備え、各スレーブ管理装置が自身のサブシステム内のＧＰＳレシーバの測定値を位置情報としてネットワークを介してマスタ管理装置に送信するようにしてもよい。この手法による位置情報は、マルチパスや電波の回り込みなどに影響されず、より精確である。 Further, if the position information of each subsystem can be acquired, the method for acquiring the position information of each subsystem by the master management apparatus is not limited to the above-described method. For example, a GPS receiver may be provided in each subsystem, for example, in an enclosure, and each slave management device may transmit the measurement value of the GPS receiver in its own subsystem to the master management device via the network as position information. The position information obtained by this method is more accurate without being affected by multipath or radio wave wraparound.
また例えば、サーバ運用システム３００による位置情報の取得と同じように三点測位法を用いるが、電波の代わりに超音波を利用してもよい。
Further, for example, the three-point positioning method is used in the same manner as the acquisition of position information by the
さらに、ネットワーク３９０を無線ＬＡＮで構成し、無線ＬＡＮの搬送波の強度を利用して各サブシステムの位置情報を得るようにしてもよい。この場合、予め３エンクロージャ以上に基準となる座標を与える必要があるが、ネットワークデバイスを測位デバイスとして用いることができるため、安価である。
Further, the
１００ サーバ運用システム １１０ サーバ
１２０ マスタ管理装置 １３０ 制御装置
２００ サーバ運用システム ２１０ サブシステム
２１２ エンクロージャ ２１４ サーバ
２１６ マスタ管理装置 ２２０ サブシステム
２２２ エンクロージャ ２２４ サーバ
２２６ スレーブ管理装置 ２３０ サブシステム
２３２ エンクロージャ ２３４ サーバ
２３６ スレーブ管理装置 ２８０ 制御装置
２９０ ネットワーク ３００ サーバ運用システム
３１０ サーバ室 ３２０ 冷却装置
３４０ 冷却装置 ３９０ ネットワーク
４００ サブシステム ４０２ 制御装置
５００ サブシステム ５１０ エンクロージャ
５２０ サーバ ５２２ 吸気温度センサ
５３０ 管理装置 ５３１ ＭＰＵ
５３２ ＲＡＭ ５３３ ＮＩＣ
５３４ ＬＡＮボード ５３５ ＣＮＴ
５３６ ＣＮＴ ５４０ 発信機
５５２ レシーバ ５５４ レシーバ
５５６ レシーバ
DESCRIPTION OF
532
534
536
Claims (15)
前記複数のサーバが設けられた夫々の場所の温度を示す温度情報を取得可能なマスタ管理装置と、
前記マスタ管理装置が得た温度情報に基づいて、前記複数のサーバが設けられた夫々の場所間での温度分布が均一になるように、該複数のサーバ間で負荷分布の調整を行う制御装置とを備えることを特徴とするサーバ運用システム。 Multiple servers,
A master management device capable of acquiring temperature information indicating the temperature of each location where the plurality of servers are provided;
A control device that adjusts the load distribution among the plurality of servers based on the temperature information obtained by the master management device so that the temperature distribution between the respective locations where the plurality of servers are provided is uniform. A server operation system comprising:
前記サブシステムは、
該サブシステムが設けられた場所の温度を示す温度情報を取得可能な管理装置と、
前記複数のサーバのうちの１つ以上を格納するエンクロージャとを有し、
前記複数のサブシステムの管理装置のうちの１つは前記マスタ管理装置であり、他の管理装置はスレーブ管理装置であり、
各前記スレーブ管理装置は、自身が属するサブシステムの温度情報を前記マスタ管理装置に提供し、
前記マスタ管理装置は、自身が属するサブシステムの温度情報と、各スレーブ管理装置から提供された夫々のサブシステムの温度情報とを前記制御装置に供し、
前記制御装置は、前記複数のサブシステムが設けられた夫々の場所間での温度分布が均一になるように、前記複数のサーバ間で負荷分布の調整を行うことを特徴とする請求項１に記載のサーバ運用システム。 Consists of multiple subsystems per enclosure,
The subsystem is
A management device capable of acquiring temperature information indicating the temperature of the place where the subsystem is provided;
An enclosure for storing one or more of the plurality of servers,
One of the management devices of the plurality of subsystems is the master management device, and the other management device is a slave management device,
Each slave management device provides temperature information of the subsystem to which it belongs to the master management device,
The master management device provides temperature information of the subsystem to which the master management device belongs and temperature information of each subsystem provided from each slave management device to the control device,
2. The control device according to claim 1, wherein the control device adjusts the load distribution among the plurality of servers so that the temperature distribution is uniform between the locations where the plurality of subsystems are provided. The server operation system described.
前記制御装置は、前記負荷分布の調整のために負荷を移動する際に、前記マスタ管理装置が得た位置情報に基づいて、サブシステムの密集度が高い場所に設けられたサブシステムに含まれるサーバよりも、前記密集度の低い場所に設けられたサブシステムに含まれるサーバを優先的に移動先のサーバとして選定することを特徴とする請求項２から４のいずれ１項に記載のサーバ運用システム。 The master management device can further acquire position information indicating the position of the place where each of the subsystems is provided,
The control device is included in a subsystem provided in a place where the density of the subsystem is high based on the positional information obtained by the master management device when moving the load for adjusting the load distribution. The server operation according to any one of claims 2 to 4, wherein a server included in a subsystem provided in a place with a lower density than a server is preferentially selected as a destination server. system.
前記マスタ管理装置は、さらに、各前記サブシステムが設けられた夫々の場所の位置を示す位置情報を取得可能であり、
前記制御装置は、前記負荷分布の調整のために負荷を移動する際に、冷却装置の位置と、前記マスタ管理装置が得た位置情報とに基づいて、冷却装置までの距離が近いサブシステムに含まれるサーバほど該サーバを優先的に移動先のサーバとして選定することを特徴とする請求項２から４のいずれか１項記載のサーバ運用システム。 It is installed in the server room where the cooling device is installed,
The master management device can further acquire position information indicating the position of each location where each of the subsystems is provided,
When the control device moves the load to adjust the load distribution, the control device determines whether the distance to the cooling device is close based on the position of the cooling device and the position information obtained by the master management device. 5. The server operation system according to claim 2, wherein the servers are preferentially selected as destination servers for the included servers. 6.
マスタ管理装置を含むサブシステムは、測位デバイスをさらに有し、
前記スレーブ管理装置は、温度情報の提供に際して、自身のサブシステムに設けられた発信器を発信させ、
前記測位デバイスは、三点測位法により前記発信器から受信した信号に基づいて該発信器が設けられたサブシステムの位置情報を取得することを特徴とする請求項５または６に記載のサーバ運用システム。 The subsystem including the slave management device further includes a transmitter,
The subsystem including the master management device further includes a positioning device,
The slave management device, when providing temperature information, causes a transmitter provided in its own subsystem to transmit,
The server operation according to claim 5 or 6, wherein the positioning device acquires position information of a subsystem provided with the transmitter based on a signal received from the transmitter by a three-point positioning method. system.
スレーブ管理装置は、温度情報と共に、自身のサブシステムに設けられたＧＰＳ受信機が得たＧＰＳ情報を位置情報としてマスタ管理装置に提供することを特徴とする請求項５または６に記載のサーバ運用システム。 Each management device includes a GPS receiver,
7. The server operation according to claim 5, wherein the slave management apparatus provides the master management apparatus with the temperature information and GPS information obtained by a GPS receiver provided in its subsystem as position information. system.
前記温度情報に基づいて、前記複数のサーバが設けられた夫々の場所間での温度分布が均一になるように、該複数のサーバ間で負荷分布の調整を行うことを特徴とするサーバ運用方法。 For each of the servers in a server system having a plurality of servers, obtain temperature information indicating the temperature of the place where the server is provided,
Based on the temperature information, the load distribution is adjusted between the plurality of servers so that the temperature distribution between the respective locations where the plurality of servers are provided is uniform. .
前記サブシステムは、該サブシステムが設けられた場所の温度を示す温度情報を取得可能な管理装置と、前記複数のサーバのうちの１つ以上を格納するエンクロージャとを有し、
前記複数のサブシステムの管理装置のうちの１つであるマスタ管理装置以外の他の管理装置であるスレーブ管理装置により、該スレーブ管理装置自身が属するサブシステムの温度情報を前記マスタ管理装置に提供し、
前記マスタ管理装置により、自身が属するサブシステムの温度情報と、各スレーブ管理装置から提供された夫々のサブシステムの温度情報とを集約し、
前記マスタ管理装置により集約された温度情報に基づいて、前記複数のサブシステムが設けられた夫々の場所間での温度分布が均一になるように、前記複数のサーバ間で負荷分布の調整を行うことを特徴とする請求項１０に記載のサーバ運用方法。 The server system is composed of a plurality of subsystems in units of enclosures,
The subsystem includes a management device that can acquire temperature information indicating a temperature of a place where the subsystem is provided, and an enclosure that stores one or more of the plurality of servers.
The slave management device other than the master management device that is one of the plurality of subsystem management devices provides the master management device with temperature information of the subsystem to which the slave management device itself belongs And
The master management device aggregates the temperature information of the subsystem to which it belongs and the temperature information of each subsystem provided from each slave management device,
Based on the temperature information collected by the master management device, the load distribution is adjusted among the plurality of servers so that the temperature distribution between the respective locations where the plurality of subsystems are provided is uniform. The server operation method according to claim 10.
該複数の管理装置間で、前記ネットワークを介した通信により自律的にマスタ管理装置とスレーブ管理装置の決定がなされることを特徴とする請求項１１に記載のサーバ運用方法。 Connecting the management devices of the plurality of subsystems via a network;
12. The server operation method according to claim 11, wherein a master management device and a slave management device are autonomously determined between the plurality of management devices through communication via the network.
前記負荷分布の調整のために負荷を移動する際に、前記マスタ管理装置が得た位置情報に基づいて、サブシステムの密集度が高い場所に設けられたサブシステムに含まれるサーバよりも、前記密集度の低い場所に設けられたサブシステムに含まれるサーバを優先的に移動先のサーバとして選定することを特徴とする請求項１１から１３のいずれ１項に記載のサーバ運用方法。 The master management device further acquires position information indicating the position of the place where each of the subsystems is provided,
When moving the load for adjusting the load distribution, based on the position information obtained by the master management device, than the server included in the subsystem provided in a place where the density of the subsystem is high, the server The server operation method according to any one of claims 11 to 13, wherein a server included in a subsystem provided in a place with low congestion is preferentially selected as a destination server.
前記マスタ管理装置により、さらに、各前記サブシステムが設けられた夫々の場所の位置を示す位置情報を取得し、
前記負荷分布の調整のために負荷を移動する際に、冷却装置の位置と、前記マスタ管理装置が得た位置情報とに基づいて、冷却装置までの距離が近いサブシステムに含まれるサーバほど該サーバを優先的に移動先のサーバとして選定することを特徴とする請求項１１から１３のいずれか１項記載のサーバ運用方法。 The server system is installed in a server room provided with a cooling device,
The master management device further acquires position information indicating the position of each location where each of the subsystems is provided,
When moving the load to adjust the load distribution, the server included in the subsystem that is closer to the cooling device based on the position of the cooling device and the position information obtained by the master management device. 14. The server operation method according to claim 11, wherein the server is preferentially selected as a destination server.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2009223962A JP5454058B2 (en) | 2009-09-29 | 2009-09-29 | Server operation system and server operation method |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2009223962A JP5454058B2 (en) | 2009-09-29 | 2009-09-29 | Server operation system and server operation method |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2011076158A true JP2011076158A (en) | 2011-04-14 |
| JP5454058B2 JP5454058B2 (en) | 2014-03-26 |
Family
ID=44020116
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2009223962A Expired - Fee Related JP5454058B2 (en) | 2009-09-29 | 2009-09-29 | Server operation system and server operation method |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP5454058B2 (en) |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2016186712A (en) * | 2015-03-27 | 2016-10-27 | 日本電気株式会社 | system |
| JP2017126238A (en) * | 2016-01-15 | 2017-07-20 | 日本電気株式会社 | System management device, information processing system, system management method, and program |
| JP2018018340A (en) * | 2016-07-28 | 2018-02-01 | 富士通株式会社 | Program, management method and management device |
| US10158526B2 (en) | 2015-03-27 | 2018-12-18 | Nec Corporation | System that manages server function |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2004126968A (en) * | 2002-10-03 | 2004-04-22 | Fujitsu Ltd | Job scheduling system for parallel computer |
| JP2007179437A (en) * | 2005-12-28 | 2007-07-12 | Fujitsu Ltd | Management system, management program and management method |
-
2009
- 2009-09-29 JP JP2009223962A patent/JP5454058B2/en not_active Expired - Fee Related
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2004126968A (en) * | 2002-10-03 | 2004-04-22 | Fujitsu Ltd | Job scheduling system for parallel computer |
| JP2007179437A (en) * | 2005-12-28 | 2007-07-12 | Fujitsu Ltd | Management system, management program and management method |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2016186712A (en) * | 2015-03-27 | 2016-10-27 | 日本電気株式会社 | system |
| US10158526B2 (en) | 2015-03-27 | 2018-12-18 | Nec Corporation | System that manages server function |
| JP2017126238A (en) * | 2016-01-15 | 2017-07-20 | 日本電気株式会社 | System management device, information processing system, system management method, and program |
| JP2018018340A (en) * | 2016-07-28 | 2018-02-01 | 富士通株式会社 | Program, management method and management device |
Also Published As
| Publication number | Publication date |
|---|---|
| JP5454058B2 (en) | 2014-03-26 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US8428629B2 (en) | Methods and apparatus for determining a communications mode and/or using a determined communications mode | |
| KR101332095B1 (en) | Packet communication system, communication method, and program | |
| US9445226B2 (en) | Method for improving location accuracy in multi-channel wireless networks | |
| KR101850802B1 (en) | Systems and methods for enhanced discovery | |
| CN105450555A (en) | Network on chip system and establishment method of network on chip communication link | |
| Mardini et al. | Rotated hybrid, energy-efficient and distributed (R-HEED) clustering protocol in WSN | |
| JP5454058B2 (en) | Server operation system and server operation method | |
| US20150281074A1 (en) | Data transfer control device and data transfer control method | |
| AU2004237633A1 (en) | Route discovery device and method in a mobile ad-hoc network | |
| JP2013026926A (en) | Radio communication system, slave station device, master station device, and radio communication system control method | |
| CN108055156B (en) | AP management method and device | |
| Jan et al. | Dependability and reliability analysis of intra cluster routing technique | |
| KR20210086702A (en) | Geographical area message distribution | |
| WO2020161561A1 (en) | Local service announcement in a stretched cluster | |
| JP2010068050A (en) | Wireless synchronization system and wireless synchronization method | |
| JP2020098459A (en) | Communication system, communication device, and control program | |
| CN109547959A (en) | A kind of fire-fighting wireless sensor network optimizing method, device and server | |
| WO2018098748A1 (en) | Communication method in distributed network, node, and system | |
| JPWO2009123202A1 (en) | Monitoring system | |
| WO2018098752A1 (en) | Message broadcast method for distributed network and node | |
| CN114885413A (en) | Ad-hoc network communication system, method and frame structure based on lightweight clock synchronization mechanism | |
| JP6274913B2 (en) | Mesh network system, relay device, mesh network control method, and program | |
| JP6898014B1 (en) | Wireless communication system, wireless communication method, relay station and wireless communication program | |
| WO2018098749A1 (en) | Message broadcasting method in distributed network and node | |
| Branch et al. | ESCORT: energy-efficient sensor network communal routing topology using signal quality metrics |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20120809 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20131002 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20131008 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20131125 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20131210 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20131223 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 5454058 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| LAPS | Cancellation because of no payment of annual fees |