JP2020030670A - 制御装置および制御プログラム - Google Patents

制御装置および制御プログラム Download PDF

Info

Publication number
JP2020030670A
JP2020030670A JP2018156454A JP2018156454A JP2020030670A JP 2020030670 A JP2020030670 A JP 2020030670A JP 2018156454 A JP2018156454 A JP 2018156454A JP 2018156454 A JP2018156454 A JP 2018156454A JP 2020030670 A JP2020030670 A JP 2020030670A
Authority
JP
Japan
Prior art keywords
storage
performance
unit
control
configuration
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2018156454A
Other languages
English (en)
Other versions
JP7048895B2 (ja
Inventor
克矢 新潟
Katsuya Niigata
克矢 新潟
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujitsu Ltd
Original Assignee
Fujitsu Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujitsu Ltd filed Critical Fujitsu Ltd
Priority to JP2018156454A priority Critical patent/JP7048895B2/ja
Publication of JP2020030670A publication Critical patent/JP2020030670A/ja
Application granted granted Critical
Publication of JP7048895B2 publication Critical patent/JP7048895B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • YGENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02DCLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00Energy efficient computing, e.g. low power processors, power management or thermal management
    • YGENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02DCLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D30/00Reducing energy consumption in communication networks
    • Y02D30/70Reducing energy consumption in communication networks in wireless communication networks

Landscapes

  • Debugging And Monitoring (AREA)

Abstract

【課題】ストレージシステムの構成に応じた入出力性能を低消費電力で発揮させる。【解決手段】ストレージシステムにおいて、性能計算部2aは、ストレージ部10と、ストレージ部に対するアクセスを制御するストレージ制御部20のいずれかにおける構成の変化を検出すると、構成の変化後におけるストレージ部およびストレージ制御部のそれぞれの入出力性能を計算する。状態制御部2bは、検出された構成の変化に応じたストレージ部およびストレージ制御部のそれぞれの入出力性能の変化状況に基づいて、ストレージ部またはストレージ制御部の電力制御状態を変化させる。【選択図】図1

Description

本発明は、制御装置および制御プログラムに関する。
ストレージシステムに含まれるストレージ制御部は、ホスト装置と複数の記憶装置が搭載されたストレージ部との間におけるデータの入出力を制御する。近年、データアクセスを高速化するために、ストレージ部に搭載される記憶装置としてHDD(Hard Disk Drive)に代わってSSD(Solid State Drive)が使用されることが多くなっている。
また、情報処理装置や記憶装置の電源制御状態を変更して、装置の消費電力を低減する技術がある。例えば、CPU(Central Processing Unit)のクロック周波数を低下させてCPUの消費電力を低減する技術や、アクセスが要求されない期間にHDDのディスク媒体の回転を停止させてHDDの消費電力を低減する技術がある。
また、情報処理装置の状態制御に関して、次のような提案がある。例えば、ストレージシステムの負荷を測定し、測定された負荷に応じてコントローラの電源を制御するようにしたストレージシステムが提案されている。また、RAID(Redundant Arrays of Independent Disks)グループを使用するアプリケーションのアプリケーションタイプを取得し、取得したアプリケーションタイプに対応する省電力モードをRAIDグループに適用するようにした、ストレージ装置の管理サーバが提案されている。さらに、他の情報処理装置が有する主記憶装置上のデータへのアクセス要求が自装置から発生したときに自装置の主記憶装置の例外事象を検出し、例外事象の検出に基づいて自装置の演算処理装置のクロック周波数または電圧を変更するようにした情報処理装置が提案されている。
特開2007−102409号公報 特開2014−10655号公報 特開2015−148890号公報
ところで、ホスト装置から見たストレージシステムの入出力性能は、ストレージ制御部の入出力性能とストレージ部の入出力性能とによって決まる。近年、上記のようなSSDの採用などによってストレージ部の入出力性能が向上し、これに伴って、より高性能なストレージ制御部が利用されることが多くなっている。
しかし、ストレージ制御部やストレージ部の入出力性能は、ストレージ制御部の内部構成やストレージ部に搭載された記憶装置の台数といったシステム構成によって変化する。このため、システム構成によっては、ストレージ制御部の入出力性能とストレージ部の入出力性能との差が大きくなる場合がある。ホスト装置から見たストレージシステムの入出力性能は、ストレージ制御部とストレージ部のうち入出力性能が小さい方の構成要素によって制限されてしまう。このため、入出力性能の差が大きい場合、入出力性能が大きい方の構成要素の処理能力は有効利用されておらず、この構成要素において無駄な電力が消費されている状態となる。
1つの側面では、本発明は、ストレージシステムの構成に応じた入出力性能を低消費電力で発揮できるようにした制御装置および制御プログラムを提供することを目的とする。
1つの案では、ストレージ部と、ストレージ部に対するアクセスを制御するストレージ制御部のいずれかにおける構成の変化を検出すると、構成の変化後におけるストレージ部およびストレージ制御部のそれぞれの入出力性能を計算する性能計算部と、構成の変化に応じたストレージ部およびストレージ制御部のそれぞれの入出力性能の変化状況に基づいて、ストレージ部またはストレージ制御部の電力制御状態を変化させる状態制御部と、を有する制御装置が提供される。
また、1つの案では、上記の制御装置と同様の処理をコンピュータに実行させる制御プログラムが提供される。
1つの側面では、ストレージシステムの構成に応じた入出力性能を低消費電力で発揮できる。
第1の実施の形態に係る制御システムの構成例を示す図である。 第2の実施の形態に係るストレージシステムの構成例を示す図である。 CMのハードウェア構成例を示す図である。 CMの処理機能の構成例を示す図である。 IO性能について説明するための図である。 CMの電力制御状態とIO性能との関係について説明するための図である。 記憶装置の電力制御状態とIO性能状態との関係について説明するための図である。 装置の構成変化についての第1の例を示す図である。 装置の構成変化についての第2の例を示す図である。 装置の構成変化についての第3の例を示す図である。 マスタCMの処理手順を示すフローチャートの例である。
以下、本発明の実施の形態について図面を参照して説明する。
〔第1の実施の形態〕
図1は、第1の実施の形態に係る制御システムの構成例を示す図である。図1に示す制御システムは、ストレージシステム1と制御装置2を含む。また、ストレージシステム1は、ストレージ部10とストレージ制御部20を含む。
ストレージ部10は、ストレージ制御部20からのアクセス制御対象となる記憶領域を有する。例えば、ストレージ部10は、ストレージ制御部20からのアクセス制御対象となる記憶装置11〜15を備える。ストレージ制御部20は、ストレージ部10に対するアクセスを制御するストレージ制御部20を含む。図1の例では、ストレージ制御部20にはホスト装置3が接続され、ストレージ制御部20は、ホスト装置3からの要求に応じてストレージ部10に対するアクセスを制御する。
ここで、ストレージ部10の入出力性能は、ストレージ部10の構成によって変化し得る。例えば、図1のようにストレージ部10が記憶装置11〜15を備える場合、ストレージ部10に対して新たな記憶装置を増設することや、記憶装置11〜15のうち故障した記憶装置を別の記憶装置に交換することが可能となる。また、記憶装置11〜15の一部が、例えばあらかじめ決められた時間に、スリープ状態になってその動作を停止することもあり得る。このように、ストレージ部10の構成は変化し得る。そして、ストレージ部10に搭載され、稼働中の記憶装置が多いほど、ストレージ部10の入出力性能は高くなる。
また、ストレージ制御部20の入出力性能も、ストレージ制御部20によって変化し得る。例えば、図1に示すように、ストレージ制御部20は、それぞれがストレージ部10に対するアクセスを制御する制御要素21,22を備える。制御要素21,22は、例えば、それぞれプロセッサを備えるコンピュータとして実現される。また、例えば、制御要素21,22のうちの一方が故障した場合、故障した制御要素が実行していたアクセス制御を他方の制御要素が引き継ぐことができる。すなわち、制御要素21,22の両方が稼働している状態と、制御要素21,22の一方のみが稼働している状態とがあり得る。このように、ストレージ制御部20の構成も変化し得る。そして、ストレージ制御部20において稼働中の制御要素が多いほど、ストレージ制御部20の入出力性能は高くなる。
制御装置2は、ストレージシステム1の状態を制御する。制御装置2は、性能計算部2aと状態制御部2bを有する。性能計算部2aと状態制御部2bの処理は、例えば、制御装置2が備える図示しないプロセッサが所定のプログラムを実行することで実現される。
なお、制御装置2は、例えば、ストレージ制御部20とは別体の装置として実現されてもよいし、制御要素21,22のいずれかと一体の装置として実現されてもよい。図1の破線は、制御装置2が制御要素21と一体の装置として実現された場合を示している。この場合、性能計算部2aと状態制御部2bの処理は、例えば、制御要素21が備える図示しないプロセッサが所定のプログラムを実行することで実現される。
性能計算部2aは、ストレージ部10とストレージ制御部20のいずれかにおける構成の変化を検出すると、その構成の変化後におけるストレージ部10およびストレージ制御部20のそれぞれの入出力性能を計算する。図1の例では、ストレージ部10に搭載され、稼働中の制御装置のそれぞれの入出力性能と台数とに基づいて、ストレージ部10の入出力性能が計算される。また、図1の例では、ストレージ制御部20において稼働中の制御要素のそれぞれの入出力性能と台数とに基づいて、ストレージ制御部20の入出力性能が計算される。
なお、入出力性能としては、例えば、IOPS(Input Output Per Second)が算出される。IOPSは、単位時間において要求に応じた入出力処理を実行できる回数を示す。
状態制御部2bは、構成の変化に応じたストレージ部10およびストレージ制御部20のそれぞれの入出力性能の変化状況に基づいて、ストレージ部10またはストレージ制御部20の電力制御状態を変化させる。電力制御状態を変化させることで、その装置の消費電力が変化するとともに、消費電力の変化に応じて入出力性能も変化する。状態制御部2bは、ストレージ部10またはストレージ制御部20の電力制御状態を変化させることで、その消費電力と入出力性能とを調整する。これにより、ストレージシステム1の構成に応じた入出力性能を低消費電力で発揮させることができる。
例えば、性能計算部2aによって構成の変化が検出される直前において、ストレージ部10の入出力性能とストレージ制御部20の入出力性能とが均衡していたとする。また、このとき、ストレージ部10とストレージ制御部20のいずれも、入出力性能および消費電力が最高となる電力制御状態に設定されていたとする。この状態から、構成が変化することで、ストレージ部10の入出力性能とストレージ制御部20の入出力性能との差分が生じることになる。このような差分が生じている状態では、入出力性能の高い方についてその入出力処理能力が有効に利用されておらず、無駄な電力が消費されている。
そこで、状態制御部2bは、入出力性能の差分が減少するように、ストレージ部10とストレージ制御部20のうち性能計算部2aによって算出された入出力性能が高い方の電力制御状態を変更する。この場合、ストレージ部10とストレージ制御部20のうち入出力性能が高い方について、消費電力が低下するように電力制御状態が変更される。これにより、消費電力を低減しながら、ストレージシステム1に現状の構成での最大限の入出力性能を発揮させることができる。
〔第2の実施の形態〕
図2は、第2の実施の形態に係るストレージシステムの構成例を示す図である。図2に示すストレージシステムは、CE(Controller Enclosure)100およびDE(Drive Enclosure)200a,200b,200c,・・・を備えたストレージ装置1000と、ホスト装置300とを含む。
CE100は、CM110,120を備える。CM110,120には、例えばSAN(Storage Area Network)を介して、ホスト装置300が接続されている。CM110,120は、ホスト装置300からの要求に応じて、DE200a,200b,200c,・・・に搭載された記憶装置に対するアクセスを制御するストレージ制御装置である。例えば、DE200a,200b,200c,・・・に搭載された記憶装置を用いて論理ボリュームが作成される。CM110,120は、ホスト装置300から論理ボリュームに対するアクセス要求を受けることで、DE200a,200b,200c,・・・に搭載された記憶装置にアクセスする。CM110,120は、例えば、それぞれ個別の論理ボリュームに対するアクセス制御を実行する。
また、CM110とCM120とは、互いに接続され、データを互いに送受信することができる。これによりCM110,120は、例えば、他方のCMの動作が故障などによって停止したことを検知できる。
さらに、CM110,120のうちの一方が故障などによって停止すると、他方のCMが停止したCMの処理を引き継ぐ(フェイルオーバ)。例えば、一方のCMが停止すると、他方のCMは、他方のCMがアクセス制御を担当していた論理ボリュームに対するアクセス制御を継続するとともに、停止したCMがアクセス制御を担当していた論理ボリュームに対するアクセス制御を開始する。
DE200a,200b,200c,・・・のそれぞれには、ホスト装置300からのアクセス対象となる複数の記憶装置が搭載されている。DE200a,200b,200c,・・・に搭載される記憶装置としては、HDD、SSDなどの不揮発性記憶装置が搭載される。なお、CM110,120に対しては、任意の台数のDEを接続可能になっている。また、CM110,120に対して接続するDEを増設することや、CM110,120に接続されたDEを取り外すことが可能になっている。
ホスト装置300は、DE200a,200b,200c,・・・に搭載された記憶装置へのアクセスを伴う各種の処理を実行する。例えば、ホスト装置300は、各種の業務処理を実行するためのサーバ装置として実現される。
なお、CE100は、図1のストレージ制御部20の一例であり、CM110,120は、図1の制御要素21,22の一例である。また、CM110,120は、図1の制御装置2の一例でもある。DE200a,200b,200c,・・・は、図1のストレージ部10の一例である。ホスト装置300は、図1のホスト装置3の一例である。
図3は、CMのハードウェア構成例を示す図である。図3では例として、CM110のハードウェア構成について示す。
CM110は、CPU111、RAM112、SSD113、ホストインタフェース(I/F)114およびドライブインタフェース(I/F)115を備える。
CPU111は、CM110全体を統括的に制御する。CPU111は、例えば、1または複数のプロセッサコアを備える。また、CPU111は、他方のCM120のCPUと接続され、このCPUとの間で通信できるようになっている。
RAM112は、CM110の主記憶装置として使用される。RAM112には、CPU111に実行させるOS(Operating System)プログラムやアプリケーションプログラムの少なくとも一部が一時的に格納される。また、RAM112には、CPU111による処理に必要な各種データが格納される。
SSD113は、CM110の補助記憶装置として使用される。SSD113には、OSプログラム、アプリケーションプログラム、および各種データが格納される。なお、SSD113の代わりに、HDDなどの他の種類の不揮発性記憶装置が用いられてもよい。
ホストインタフェース114は、ホスト装置300と通信するための通信インタフェースである。ドライブインタフェース115は、DE200a,200b,200c,・・・に搭載された記憶装置と通信するための通信インタフェースである。
以上のハードウェア構成により、CM110の処理機能を実現可能である。なお、CM120も、CM110と同様のハードウェア構成によって実現可能である。
ところで、ホスト装置300から見たストレージ装置1000のIO(Input Output)性能は、CE100のIO性能と、CE100に接続されたDE全体のIO性能によって決まる。CE100のIO性能は、例えば、CE100内のCMに搭載されたCPUの処理性能や、IO処理のためのプログラムによる処理性能によって決まる。CE100に接続されたDE全体のIO性能は、例えば、DEに搭載された記憶装置のIO性能や、記憶装置の搭載数によって決まる。
なお、以下の説明では、「CE100のIO性能」とは、CE100に搭載され、稼働しているCM110,120の台数を限定せずに、その時点でCE100に搭載され、稼働しているCMの全体としてのIO性能を示すこととする。また、「DE全体のIO性能」とは、CE100に接続されているDE200a,200b,200c,・・・の台数を限定せずに、その時点でCE100に接続されているDEの全体としてのIO性能を示すこととする。
また、図2に示した構成のストレージ装置1000では、DE200a,200b,200c,・・・に搭載される記憶装置として、HDDに代わり、より高速なIO処理が可能なSSDが用いられることが多くなっている。このように高性能な記憶装置が搭載されることによって、DE全体のIO性能も向上する。
一般的に、HDDとSSDとの間ではIO性能の差が非常に大きい。例えば、HDD単体のIOPSは100程度であるのに対し、SSD単体のIOPSは数万以上に達する。ここで、搭載される記憶装置が主にHDDであったときには、DE全体のIO性能よりCE100のIO性能の方が高いことが多かった。例えば、DE200a,200b,200c,・・・の全体として千台以上のHDDが搭載されるような大規模なシステムでない限り、CE100の能力不足が問題になることはなかった。
ところが、記憶装置としてSSDが多く用いられ、DE全体のIO性能が向上するのに伴って、CE100のIO性能も高める必要性が高くなりつつある。そのため近年では、CE100内のCM110,120に、より高性能なCPUが搭載されるようになってきている。
しかしながら、CE100のIO性能やDE全体のIO性能は、ストレージ装置1000の構成によって変化する。このため、ストレージ装置1000の構成によっては、CE100のIO性能とDE全体のIO性能との差が大きくなる(性能がアンバランスになる)場合がある。例えば、CE100内のCM110,120のうち何台が稼働しているか、CE100に対して何台のDEが接続されているか、DE内にどのような記憶装置が何台搭載されているか、DE内の記憶装置のうち何台が稼働しているかなどによって、IO性能の差が大きくなり得る。
CE100のIO性能とDE全体のIO性能との差が大きいということは、IO性能の大きい方の装置の処理能力が有効利用されておらず、これはこの装置で無駄な電力が消費されていることを示す。そこで、本実施の形態では、CM110,120やDE200a,200b,200c,・・・に搭載される記憶装置が備える電力制御状態の変更機能を用いて、IO性能がアンバランスの場合に、IO性能が高い方の装置のIO性能を落とす制御が行われる。これにより、無駄な電力消費を抑制する。
例として、次のような電力制御状態の変更機能が用いられる。例えば、CM110,120は、CPUのクロック周波数を変化させる機能を備える。例えば、クロック周波数を低下させることで、処理性能が低下するとともに電力消費量が減少する。また、DE200a,200b,200c,・・・に搭載される記憶装置は、パワーモードの設定機能を備える。例えば、パワーモードがハイからローに設定変更されることで、IO性能が低下するとともに電力消費量が減少する。なお、パワーモードがローの状態では、例えば、クロック周波数が低下する、アイドル状態で所定の回路の動作が停止する、といった制御が行われる。
図4は、CMの処理機能の構成例を示す図である。なお、図4では例としてCM110について示すが、CM120も同様の処理機能を備える。
CM110は、記憶部130、アクセス制御部141、MAID(Massive Array of Idle Disks)制御部142、構成検出部143、性能判定部144および電力状態制御部145を備える。なお、記憶部130は、例えば、RAM112、SSD113などのCM110が備える記憶装置の記憶領域によって実現される。アクセス制御部141、MAID制御部142、構成検出部143、性能判定部144および電力状態制御部145の処理は、例えば、CPU111が所定のプログラムを実行することで実現される。
記憶部130には、MAID制御情報131、CM性能情報132およびドライブ性能情報133が記憶される。MAID制御情報131には、待機状態において省電力状態に遷移させるMAID制御対象の記憶装置の識別情報と、それらの各記憶装置を省電力状態に遷移させる期間を示すタイマ情報とが登録される。CM性能情報132には、CM110の電力制御状態とIO性能との関係を示す情報が登録される。ドライブ性能情報133には、DE200a,200b,200c,・・・に搭載され得る記憶装置の機種ごとに、電力制御状態とIO性能との関係を示す情報が登録される。なお、CM性能情報132とドライブ性能情報133のいずれにも、IO性能としてIOPSが登録される。
アクセス制御部141は、CM110に接続されたDE内の記憶装置を用いて論理ボリュームを作成する。アクセス制御部141は、ホスト装置300からの要求に応じて、作成された論理ボリュームに対するアクセスを制御する。また、アクセス制御部141は、論理ボリュームに割り当てられた複数の記憶装置に対するアクセスをRAIDによって制御してもよい。
MAID制御部142は、MAID制御情報131に基づき、MAID制御の開始時刻になると、MAID制御対象の記憶装置を省電力状態に遷移させる。本実施の形態では、MAID制御により記憶装置はスリープ状態に遷移するものとする。また、MAID制御部142は、MAID制御の終了時刻になると、MAID制御対象の記憶装置をスリープ状態から通常状態に復帰させる。
構成検出部143は、CM110が起動したとき、CM110に接続されている装置の構成を検出する。例えば、構成検出部143は、稼働状態の他方のCM120が接続されているか、何台のDEが接続されているか、接続されている各DEにどのような機種の記憶装置が何台搭載されているかを検出する。また、構成検出部143は、装置の構成に変更があった場合、これを検出する。
性能判定部144は、構成検出部143による装置の構成の検出結果と、CM性能情報132およびドライブ性能情報133とに基づいて、CE100のIO性能とDE全体のIO性能とを算出する。各IO性能はIOPSとして算出される。性能判定部144は、CE100のIO性能とDE全体のIO性能とを比較し、それらがアンバランスであると判定した場合には、それらのうちIO性能が高い方の装置についての電力制御状態を変更するように電力状態制御部145に指示する。
電力状態制御部145は、性能判定部144からの指示に応じて、指示された装置の電力制御状態が変更するように制御する。例えば、電力状態制御部145は、CM110,120のクロック周波数を変更する、DE内の各記憶装置のパワーモードを変更する、といった制御を行う。
図5は、IO性能について説明するための図である。図5に示すグラフ151は、例として、ある機種の記憶装置についてのIO性能を示す。グラフ151では、読み出しデータサイズごとの読み出し時のIOPSと、書き込みデータサイズごとの書き込み時のIOPSとが示されている。本実施の形態では例として、このようなケースでは、読み出し時および書き込み時を含むすべてのデータサイズでのIOPSの最大値を、この機種の記憶装置のIO性能として用いる。グラフ151の例では、30万IOPSがIO性能として用いられる。なお、図5では記憶装置の例について記載したが、CMのIO性能についても同様に決定されるものとする。
図6は、CMの電力制御状態とIO性能との関係について説明するための図である。CM110は、電力制御状態として、CPU111のクロック周波数を変更できる。CM120も同様に、CM120が備えるCPUのクロック周波数を変更できる。図6に示すグラフ132aは、クロック周波数とIO性能(IOPS)との関係について示す。ここでは例として、グラフ132aが示すIOPSは、CE100のIOPS(すなわち、CM110,120の全体としてのIOPS)を示すものとする。
一例として、CM110,120は、グラフ132aに示すようにクロック周波数を1.5GHzから3GHzまでの間で連続的に変化させることができる。このような変化により、CE100のIOPSが15万から30万までの間で調整される。記憶部130のCM性能情報132には、このようなクロック周波数とIOPSとの関係を示す情報が登録される。
なお、CPUの電力制御状態の変更方法としては、例えば、マルチコアのCPUを用いた場合、クロック周波数を変更する方法の他、動作させるコアの数を変更する方法も適用可能である。
図7は、記憶装置の電力制御状態とIO性能状態との関係について説明するための図である。DE200a,200b,200c,・・・に搭載される記憶装置は、パワーモードの設定機能を備える。図7に示すグラフ133aは、ある機種の記憶装置についてのパワーモードとIO性能(IOPS)との関係を示す。一例として、この機種の記憶装置は、ハイとローの2段階のパワーモードに設定可能であり、ハイではIOPSが5万となり、ローではIOPSが2万5千まで落ちるものとする。記憶部130のドライブ性能情報133には、このようなパワーモードとIOPSとの関係が、記憶装置の機種ごとに登録される。
次に、図8〜図10を用い、装置の構成変化についての3パターンの具体例を挙げて、各パターンでの電力消費低減のための処理について説明する。なお、図8〜図10では、CM110がマスタCMであるものとする。また、図8〜図10では、電力制御状態(クロック周波数)とIOPSとの関係が図6のようになるCMと、電力制御状態(パワーモード)とIOPSとの関係が図7のようになるSSDとが用いられるものとする。
さらに、図8〜図10では、例として、DE全体のIO性能(IOPS)を、DEに搭載された個々の記憶装置のIOPSの合計値として算出する。この例のように、DE全体のIO性能は基本的に記憶装置の台数が多いほど高くなるが、実際の計算方法は、例えばRAIDによる制御方法などに応じたより複雑なものとなり得る。例えば、個々の記憶装置のIOPSの合計値に対して、0より大きく1未満の所定の係数を乗算することでDE全体のIO性能を計算する方法が考えられる。
図8は、装置の構成変化についての第1の例を示す図である。図8に示す時刻T1では、CE100において2台のCM110,120が正常に稼働している。CM110,120のクロック周波数は3GHzに設定されており、CE100のIO性能(CM110,120の全体としてのIO性能)は30万IOPSとなっている。また、このようなCE100に対して1台のDE200aが接続されている。DE200aには、同じ機種の6台のSSD201〜206が搭載されている。SSD201〜206のパワーモードはハイに設定されており、SSD201〜206のそれぞれのIO性能は5万IOPSである。これにより、DE全体のIO性能(DE200aの全体としてのIO性能)は30万IOPSとなっている。すなわち、CE100のIO性能とDE全体のIO性能とのバランスがとれた状態になっている。
また、SSD201〜206のうち、SSD201〜204はホスト装置300からの要求に応じた通常のIO処理用に利用されている一方、SSD205,206はデータバックアップ用に利用されている。SSD205,206に対するバックアップ処理は、例えば業務時間外など、1日の中の決まった時間帯に実行されるとする。このため、SSD205,206については、例えばAM9:00〜PM12:00の時間帯にMAID制御が行われるようにMAID制御情報131に設定されているとする。
時刻T2において、MAID制御の開始時刻になり、SSD205,206がスリープ状態になったとする。なお、パワーモードがローに設定された場合と異なり、スリープ状態では、SSD内の記録媒体(フラッシュメモリ)に対するIO処理が停止される。これにより、DE全体のIO性能は20万IOPSに低下する。このとき、DE200aが最高速度でCE100とのデータ送受信を行ったとしても、CE100のIO処理能力には過剰な余力がある状態となる。
そこで、マスタCMであるCM110は、MAID制御の開始に伴ってDE200aの全体としてのIO性能を計算し直す。そして、CM110は、CM110,120の電源制御状態を変更することでCE100のIO性能をDE全体のIO性能に近づけられるかを判定する。この例では、CM110,120のCPUのクロック周波数を30GHzから20GHzに低下させることで、CE100のIO性能を20万IOPSに低下させ、DE全体のIO性能と一致させることができる。このようにクロック周波数を変更することで、現状の構成での最大限のIO性能を発揮できるようにしながらも、CE100での電力消費量を低減することができる。
なお、図示しないが、CM110は、MAID制御の終了時刻になり、SSD205,206がスリープモードから復帰すると、CM110,120のCPUのクロック周波数を30GHzに戻す。これにより、CE100のIO性能とDE全体のIO性能の両方を、その時点の構成での最高値である30万IOPSに引き上げることができる。
図9は、装置の構成変化についての第2の例を示す図である。図9に示す時刻T11では、図8と同様に、CE100において2台のCM110,120が正常に稼働しており、CE100のIO性能は30万IOPSとなっている。また、このようなCE100に対して1台のDE200aが接続されている。DE200aには、同じ機種の6台のSSDが搭載されている。各SSDのIO性能は5万IOPSであり、これによりDE全体のIO性能(DE200aの全体としてのIO性能)は30万IOPSとなっている。すなわち、CE100のIO性能とDE全体のIO性能とのバランスがとれた状態になっている。
この状態から、時刻T12において、新たにDE200bが増設されたとする。DE200bには、同じ機種の6台のSSDが搭載されており、これらのSSDはDE200a内のSSDと同一機種であるとする。これにより、DE全体のIO性能(DE200a,200bの全体としてのIO性能)は、60万IOPSに増加する。このとき、CE100が最高速度でDE200a,200bとのデータ送受信を行ったとしても、DE200a,200bのIO処理能力には過剰な余力がある状態となる。
そこで、CM110は、DE200bが接続されたことを検出すると、DE200a,200bの全体としてのIO性能を計算し直す。そして、CM110は、DE200a,200b内の各記憶装置の電源制御状態を変更することでDE全体のIO性能をCE100のIO性能に近づけ、かつCE100のIO性能以下にすることができるかを判定する。この例では、各記憶装置のパワーモードをローに変更することで、DE全体のIO性能を30万IOPSに低下させ、CE100のIO性能と一致させることができる。このように各記憶装置のパワーモードを変更することで、現状の構成での最大限のIO性能を発揮できるようにしながらも、DE200a,200bでの電力消費量を低減することができる。
図10は、装置の構成変化についての第3の例を示す図である。図10に示す時刻T21では、図8、図9と同様に、CE100において2台のCM110,120が正常に稼働しており、CE100のIO性能は30万IOPSとなっている。また、図9の時刻T11と同様に、このようなCE100に対して1台のDE200aが接続されている。DE200aには、同じ機種の6台のSSDが搭載されている。各SSDのIO性能は5万IOPSであり、これによりDE全体のIO性能は30万IOPSとなっている。すなわち、CE100のIO性能とDE全体のIO性能とのバランスがとれた状態になっている。
この状態から、時刻T22において、CM120が故障して停止したとする。これにより、CE100のIO性能は15万IOPSに低下する。このとき、CE100(すなわちCM110)が最高速度でDE200aとのデータ送受信を行ったとしても、DE200aのIO処理能力には過剰な余力がある状態となる。
そこで、CM110は、CM120が停止したことを検出すると、CE100のIO性能を計算し直す。そして、CM110は、DE200a内の各記憶装置の電源制御状態を変更することでDE全体のIO性能をCE100のIO性能に近づけ、かつCE100のIO性能以下にすることができるかを判定する。この例では、各記憶装置のパワーモードをローに変更することで、DE全体のIO性能を15万IOPSに低下させ、CE100のIO性能と一致させることができる。このように各記憶装置のパワーモードを変更することで、現状の構成での最大限のIO性能を発揮できるようにしながらも、DE200aでの電力消費量を低減することができる。
次に、マスタCMの処理についてフローチャートを用いて説明する。
図11は、マスタCMの処理手順を示すフローチャートの例である。なお、図11では、例としてCM110の処理を示す。
[ステップS11]CM110の電源がオンになってCM110が起動したとき、CM110がマスタCMである場合には、ステップS11の処理が実行される。このとき、構成検出部143は、CM110に接続された装置の構成を検出する。具体的には、他方のCM120が接続されているか(動作しているか)否かが検出されるとともに、CM110に対して何台のDEが接続され、各DEにどのような種別の記憶装置が何台搭載されているかが検出される。
[ステップS12]電力状態制御部145は、接続が検出されたCMおよびDE内の記憶装置のそれぞれについて、IO性能が最高となるように電力制御状態を初期設定する。設定が完了すると、処理はステップS14に進められる。
なお、図示しないが、構成検出部143は、CM110でなくCM120がマスタCMである状態から、CM120の動作が停止したことを検出して、CM110がマスタCMに遷移した場合にも、ステップS11のように構成の検出を実行する。この場合、構成検出部143による構成の検出が完了すると、処理はステップS12をスキップしてステップS14に進められる。
[ステップS13]CM110が起動している状態では、構成検出部143は、CM110に接続された装置の構成の変化を監視する。構成検出部143は、構成の変化を検出した場合、処理をステップS14に進める。
この監視処理では、構成検出部143は、例えば、次のいずれかのイベントが発生したことを検出した場合に、構成が変化したと判定する。第1のイベントは、DEが増設される(CM110に新たなDEが接続される)ことである。第2のイベントは、他方のCM120またはDE内の記憶装置の故障である。第3のイベントは、MAID制御の開始である。この第3のイベントは、構成検出部143が、現在時刻がMAID制御情報131に登録されたMAID制御の開始時刻になったと判定することで検出される。
上記イベントのうち、第2のイベントと第3のイベントのいずれかの発生が検出されると、構成検出部143は、発生したイベントに対応する復帰イベントの発生を監視する(後述するステップS19に対応)。例えば、第2のイベントが発生すると、故障した装置(CM120または記憶装置)が取り外される。構成検出部143は、第2のイベントに対応する復帰イベントとして、取り外された装置の位置に新たな装置が接続される、というイベントの発生を監視する。また、第3のイベントが発生すると、構成検出部143は、現在時刻がMAID制御情報131に登録されたMAID制御の終了時刻になる、というイベントの発生を監視する。
[ステップS14]性能判定部144は、稼働しているCMについての、現在設定されている電力制御状態に対応するIOPSを、CM性能情報132から収集する。また、性能判定部144は、接続された各DEに搭載されている稼働中の記憶装置についての、現在設定されている電力制御状態に対応するIOPSを、ドライブ性能情報133から収集する。
[ステップS15]性能判定部144は、ステップS14で収集された情報に基づいて、CE100のIOPSと、DE全体のIOPSとを計算し、これらを比較する。
[ステップS16]性能判定部144は、ステップS15でのIOPSの比較結果に基づき、算出された各IOPSが一致する場合には、CE100およびDEの電力制御状態を変更しないと判定して、処理をステップS13に進める。一方、性能判定部144は、算出された各IOPSが一致しない場合、次のような処理を実行する。
性能判定部144は、まず、CE100とDE全体のうち、IOPSが小さい方について、電力制御状態を変更することでIOPSを向上させることができるかを判定する(向上可否判定処理)。IOPSを向上させることができない場合、性能判定部144は次のような処理を実行する。
性能判定部144は、DE全体のIOPSよりCE100のIOPSの方が大きい場合、CM性能情報132に基づき、CE100のIOPSがDE全体のIOPSと一致するような、稼働しているCMのクロック周波数を判定する。この場合、稼働しているCMのクロック周波数を低下させたときに、CE100のIOPSがDE全体のIOPSと一致するようなクロック周波数が判定される。性能判定部144は、クロック周波数が判定されると、処理をステップS17に進める。
また、性能判定部144は、CE100のIOPSよりDE全体のIOPSの方が大きい場合、ドライブ性能情報133に基づき、接続されたDE内の稼働している記憶装置について、次の判定条件に合致するパワーモードを判定する。この判定条件とは、CE100のIOPSとDE全体のIOPSとの差分が減少し、かつ、前者のIOPSが後者のIOPS以上となるようなパワーモードを示す。この場合、稼働している記憶装置のパワーモードを消費電力が低下するように変化させたときに、IOPSが上記条件を満たすようなパワーモードが判定される。性能判定部144は、上記判定条件を満たすようなパワーモードが存在する場合、処理をステップS17に進める。一方、性能判定部144は、上記判定条件を満たすようなパワーモードが存在しなかった場合には、CE100およびDEの電力制御状態を変更しないと判定して、処理をステップS13に進める。
一方、性能判定部144は、上記の向上可否判定処理でIOPSを向上させることができると判定した場合、次のような処理を実行する。
性能判定部144は、CE100のIOPSよりDE全体のIOPSの方が大きい場合、CM性能情報132に基づき、CE100のIOPSがDE全体のIOPSと一致するような、稼働しているCMのクロック周波数を判定する。この場合、稼働しているCMのクロック周波数を上昇させたときに、CE100のIOPSがDE全体のIOPSと一致するようなクロック周波数が判定される。性能判定部144は、クロック周波数が判定されると、処理をステップS17に進める。
また、性能判定部144は、DE全体のIOPSよりCE100のIOPSの方が大きい場合、ドライブ性能情報133に基づき、接続されたDE内の稼働している記憶装置について上記判定条件に合致するパワーモードを判定する。この場合、稼働している記憶装置のパワーモードを消費電力が増加するように変化させたときに、IOPSが上記判定条件を満たすようなパワーモードが判定される。性能判定部144は、上記判定条件を満たすようなパワーモードが存在する場合、処理をステップS17に進める。一方、性能判定部144は、上記判定条件を満たすようなパワーモードが存在しなかった場合には、CE100およびDEの電力制御状態を変更しないと判定して、処理をステップS13に進める。
[ステップS17]電力状態制御部145は、ステップS15での性能判定部144による判定結果に基づいて、CE100内のCMまたはDE内の記憶装置の電力制御状態を変更する。ステップS16でクロック周波数が判定された場合、電力状態制御部145は、稼働しているCMのクロック周波数を判定されたクロック周波数に変更する。また、ステップS16でパワーモードが判定された場合、電力状態制御部145は、稼働している記憶装置のパワーモードを判定されたパワーモードに変更する。
[ステップS18]構成検出部143は、ステップS13で検出された構成変化が、MAID制御または装置故障に関する構成変化であった場合、処理をステップS19に進め、それ以外の構成変化であった場合、処理をステップS13に進める。このステップS18では、ステップS13で前述の第2のイベントまたは第3のイベントが発生した場合、処理がステップS19に進められ、第1のイベントが発生した場合、処理がステップS13に進められる。なお、ステップS11,S12に続いてステップS14〜S18が実行された場合、処理は無条件でステップS13に進められる。
[ステップS19]構成検出部143は、ステップS13で発生したイベントに対応する復帰イベントの発生を監視する。ステップS13で第2のイベントが発生した場合、復帰イベントとして、故障して取り外された装置の位置に新たな装置が接続される、というイベントの発生が監視される。ステップS13で第3のイベントが発生した場合、復帰イベントとして、現在時刻がMAID制御情報131に登録されたMAID制御の終了時刻になる、というイベントの発生が監視される。構成検出部143は、復帰イベントの発生を検出すると、処理をステップS20に進める。
[ステップS20]電力状態制御部145は、ステップS17で電力制御状態が変更された各装置について、それらの電力制御状態を元に戻す。この後、処理はステップS13に進められる。
以上の図11の処理により、マスタCMは、構成が変化した場合に、変化後の構成による最大限のIO性能を最小限の消費電力によって発揮させることができる。
なお、上記の各実施の形態に示した装置(例えば、制御装置2、CM110,120)の処理機能は、コンピュータによって実現することができる。その場合、各装置が有すべき機能の処理内容を記述したプログラムが提供され、そのプログラムをコンピュータで実行することにより、上記処理機能がコンピュータ上で実現される。処理内容を記述したプログラムは、コンピュータで読み取り可能な記録媒体に記録しておくことができる。コンピュータで読み取り可能な記録媒体としては、磁気記憶装置、光ディスク、光磁気記録媒体、半導体メモリなどがある。磁気記憶装置には、ハードディスク装置(HDD)、磁気テープなどがある。光ディスクには、CD(Compact Disc)、DVD(Digital Versatile Disc)、ブルーレイディスク(Blu-ray Disc:BD、登録商標)などがある。光磁気記録媒体には、MO(Magneto-Optical disk)などがある。
プログラムを流通させる場合には、例えば、そのプログラムが記録されたDVD、CDなどの可搬型記録媒体が販売される。また、プログラムをサーバコンピュータの記憶装置に格納しておき、ネットワークを介して、サーバコンピュータから他のコンピュータにそのプログラムを転送することもできる。
プログラムを実行するコンピュータは、例えば、可搬型記録媒体に記録されたプログラムまたはサーバコンピュータから転送されたプログラムを、自己の記憶装置に格納する。そして、コンピュータは、自己の記憶装置からプログラムを読み取り、プログラムにしたがった処理を実行する。なお、コンピュータは、可搬型記録媒体から直接プログラムを読み取り、そのプログラムにしたがった処理を実行することもできる。また、コンピュータは、ネットワークを介して接続されたサーバコンピュータからプログラムが転送されるごとに、逐次、受け取ったプログラムにしたがった処理を実行することもできる。
1 ストレージシステム
2 制御装置
2a 性能計算部
2b 状態制御部
3 ホスト装置
10 ストレージ部
11〜15 記憶装置
20 ストレージ制御部
21,22 制御要素

Claims (6)

  1. ストレージ部と、前記ストレージ部に対するアクセスを制御するストレージ制御部のいずれかにおける構成の変化を検出すると、前記構成の変化後における前記ストレージ部および前記ストレージ制御部のそれぞれの入出力性能を計算する性能計算部と、
    前記構成の変化に応じた前記ストレージ部および前記ストレージ制御部のそれぞれの入出力性能の変化状況に基づいて、前記ストレージ部または前記ストレージ制御部の電力制御状態を変化させる状態制御部と、
    を有する制御装置。
  2. 前記ストレージ部および前記ストレージ制御部のいずれも入出力性能が最高となる電力制御状態に設定されている状態で、前記構成の変化が検出された場合、前記状態制御部は、前記ストレージ部と前記ストレージ制御部のうち計算された入出力性能が高い方の電力制御状態を、前記計算された入出力性能の差分が減少するように変更する、
    請求項1記載の制御装置。
  3. 前記ストレージ部は、複数の記憶装置を有し、
    前記構成の変化として前記複数の記憶装置の一部の動作が停止したことが検出された場合、前記状態制御部は、前記ストレージ部および前記ストレージ制御部について計算された入出力性能の差分が減少するように前記ストレージ制御部の電力制御状態を変更する、
    請求項1記載の制御装置。
  4. 前記ストレージ部は、1台以上の記憶装置を有し、
    前記構成の変化として前記ストレージ部に記憶装置が増設されたことが検出された場合、前記状態制御部は、前記ストレージ部および前記ストレージ制御部について計算された入出力性能の差分が減少するように前記ストレージ部が有する各記憶装置の電力制御状態を変更する、
    請求項1記載の制御装置。
  5. 前記ストレージ制御部は、それぞれ前記ストレージ部に対するアクセスを制御する複数の制御要素を有し、
    前記構成の変化として前記複数の制御要素の一部の動作が停止したことが検出された場合、前記状態制御部は、前記ストレージ部および前記ストレージ制御部について計算された入出力性能の差分が減少するように前記ストレージ部の電力制御状態を変更する、
    請求項1,3,4のいずれか1項に記載の制御装置。
  6. コンピュータに、
    ストレージ部と、前記ストレージ部に対するアクセスを制御するストレージ制御部のいずれかにおける構成の変化を検出すると、前記構成の変化後における前記ストレージ部および前記ストレージ制御部のそれぞれの入出力性能を計算し、
    前記構成の変化に応じた前記ストレージ部および前記ストレージ制御部のそれぞれの入出力性能の変化状況に基づいて、前記ストレージ部または前記ストレージ制御部の電力制御状態を変化させる、
    処理を実行させる制御プログラム。
JP2018156454A 2018-08-23 2018-08-23 制御装置および制御プログラム Active JP7048895B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2018156454A JP7048895B2 (ja) 2018-08-23 2018-08-23 制御装置および制御プログラム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2018156454A JP7048895B2 (ja) 2018-08-23 2018-08-23 制御装置および制御プログラム

Publications (2)

Publication Number Publication Date
JP2020030670A true JP2020030670A (ja) 2020-02-27
JP7048895B2 JP7048895B2 (ja) 2022-04-06

Family

ID=69622890

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2018156454A Active JP7048895B2 (ja) 2018-08-23 2018-08-23 制御装置および制御プログラム

Country Status (1)

Country Link
JP (1) JP7048895B2 (ja)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007102409A (ja) * 2005-10-03 2007-04-19 Hitachi Ltd ストレージシステムの省電力化方法及びストレージシステム
JP2008003719A (ja) * 2006-06-20 2008-01-10 Hitachi Ltd 省電力とパフォーマンスを両立したストレージシステム及び記憶制御方法
JP2009176033A (ja) * 2008-01-24 2009-08-06 Hitachi Ltd ストレージシステム及びその消費電力削減方法
JP2018101322A (ja) * 2016-12-21 2018-06-28 日本電気株式会社 ストレージアレイ装置、消費電力調整方法、および消費電力調整プログラム

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007102409A (ja) * 2005-10-03 2007-04-19 Hitachi Ltd ストレージシステムの省電力化方法及びストレージシステム
JP2008003719A (ja) * 2006-06-20 2008-01-10 Hitachi Ltd 省電力とパフォーマンスを両立したストレージシステム及び記憶制御方法
JP2009176033A (ja) * 2008-01-24 2009-08-06 Hitachi Ltd ストレージシステム及びその消費電力削減方法
JP2018101322A (ja) * 2016-12-21 2018-06-28 日本電気株式会社 ストレージアレイ装置、消費電力調整方法、および消費電力調整プログラム

Also Published As

Publication number Publication date
JP7048895B2 (ja) 2022-04-06

Similar Documents

Publication Publication Date Title
US8145932B2 (en) Systems, methods and media for reducing power consumption in multiple controller information handling systems
US7769947B2 (en) Management of data redundancy based on power availability in mobile computer systems
US8161317B2 (en) Storage system and control method thereof
US8301852B2 (en) Virtual storage migration technique to minimize spinning disks
US8356139B2 (en) Storage system for maintaining hard disk reliability
US10198353B2 (en) Device and method for implementing save operation of persistent memory
TWI585675B (zh) 磁碟驅動器速度管理方法與系統及其相關非暫態電腦可讀取存取媒體
US8959375B2 (en) System and method for power management of storage resources
US20090083483A1 (en) Power Conservation In A RAID Array
US11493984B1 (en) Data storage performance scaling based on external energy
US9021275B1 (en) Method and apparatus to exercise and manage a related set of power managed storage devices
US9141172B1 (en) Method and apparatus to manage and control a power state of a device set based on availability requirements of corresponding logical addresses
US20130117603A1 (en) Method for completing write operations to a raid drive pool with an abnormally slow drive in a timely fashion
JP2005267111A (ja) 記憶制御システム及び記憶制御システムの制御方法
US11921588B2 (en) System and method for data protection during power loss of a storage system
JP7048895B2 (ja) 制御装置および制御プログラム
US10528275B2 (en) Storage system, storage control device, and method of controlling a storage system
US8453007B2 (en) Storage device and recovery method
US20120054524A1 (en) Method and system for reducing power consumption of peripherals in an emergency shut-down
JP2008198141A (ja) ディスクアレイ装置、該ディスクアレイ装置に用いられる電源制御方法及び電源制御プログラム
WO2019054434A1 (ja) 故障予兆検出装置、故障予兆検出方法、及び、故障予兆検出プログラムが格納された記録媒体
JP6398727B2 (ja) 制御装置,ストレージ装置及び制御プログラム
US10768847B2 (en) Persistent memory module and method thereof
CN114063755A (zh) 存储系统的电源管理方法、装置、控制服务器和介质
JP4961275B2 (ja) ストレージ装置及びディスク装置の回転速度制御方法

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20210513

RD02 Notification of acceptance of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7422

Effective date: 20210524

RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20210524

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20220121

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20220222

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20220307

R150 Certificate of patent or registration of utility model

Ref document number: 7048895

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150