JP2016539397A - 保守可能な不揮発性メモリモジュールを有効化するサーバプラットフォームアーキテクチャのための方法および装置 - Google Patents

保守可能な不揮発性メモリモジュールを有効化するサーバプラットフォームアーキテクチャのための方法および装置 Download PDF

Info

Publication number
JP2016539397A
JP2016539397A JP2016519935A JP2016519935A JP2016539397A JP 2016539397 A JP2016539397 A JP 2016539397A JP 2016519935 A JP2016519935 A JP 2016519935A JP 2016519935 A JP2016519935 A JP 2016519935A JP 2016539397 A JP2016539397 A JP 2016539397A
Authority
JP
Japan
Prior art keywords
memory
volatile memory
module
modules
storage
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2016519935A
Other languages
English (en)
Inventor
ジアカス、ディミトリオス
エヌ. コーレイ、バッサム
エヌ. コーレイ、バッサム
ジェイ. クマー、モハン
ジェイ. クマー、モハン
ケイ. ナチムトゥ、ムルガサミー
ケイ. ナチムトゥ、ムルガサミー
ダン、ティ
ジェイ. ウンダーリッチ、ラッセル
ジェイ. ウンダーリッチ、ラッセル
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Intel Corp
Original Assignee
Intel Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Intel Corp filed Critical Intel Corp
Publication of JP2016539397A publication Critical patent/JP2016539397A/ja
Pending legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F15/00Digital computers in general; Data processing equipment in general
    • G06F15/76Architectures of general purpose stored program computers
    • G06F15/78Architectures of general purpose stored program computers comprising a single central processing unit
    • G06F15/7803System on board, i.e. computer system on one or more PCB, e.g. motherboards, daughterboards or blades
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00Error detection; Error correction; Monitoring
    • G06F11/07Responding to the occurrence of a fault, e.g. fault tolerance
    • G06F11/08Error detection or correction by redundancy in data representation, e.g. by using checking codes
    • G06F11/10Adding special bits or symbols to the coded information, e.g. parity check, casting out 9's or 11's
    • G06F11/1008Adding special bits or symbols to the coded information, e.g. parity check, casting out 9's or 11's in individual solid state devices
    • G06F11/1068Adding special bits or symbols to the coded information, e.g. parity check, casting out 9's or 11's in individual solid state devices in sector programmable memories, e.g. flash disk
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00Error detection; Error correction; Monitoring
    • G06F11/07Responding to the occurrence of a fault, e.g. fault tolerance
    • G06F11/08Error detection or correction by redundancy in data representation, e.g. by using checking codes
    • G06F11/10Adding special bits or symbols to the coded information, e.g. parity check, casting out 9's or 11's
    • G06F11/1076Parity data used in redundant arrays of independent storages, e.g. in RAID systems
    • G06F11/108Parity data distribution in semiconductor storages, e.g. in SSD
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00Error detection; Error correction; Monitoring
    • G06F11/07Responding to the occurrence of a fault, e.g. fault tolerance
    • G06F11/08Error detection or correction by redundancy in data representation, e.g. by using checking codes
    • G06F11/10Adding special bits or symbols to the coded information, e.g. parity check, casting out 9's or 11's
    • G06F11/1076Parity data used in redundant arrays of independent storages, e.g. in RAID systems
    • G06F11/1092Rebuilding, e.g. when physically replacing a failing disk
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00Error detection; Error correction; Monitoring
    • G06F11/07Responding to the occurrence of a fault, e.g. fault tolerance
    • G06F11/16Error detection or correction of the data by redundancy in hardware
    • G06F11/1658Data re-synchronization of a redundant component, or initial sync of replacement, additional or spare unit
    • G06F11/1662Data re-synchronization of a redundant component, or initial sync of replacement, additional or spare unit the resynchronized component or unit being a persistent storage device
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00Error detection; Error correction; Monitoring
    • G06F11/30Monitoring
    • G06F11/34Recording or statistical evaluation of computer activity, e.g. of down time, of input/output operation ; Recording or statistical evaluation of user activity, e.g. usability assessment
    • G06F11/3466Performance evaluation by tracing or monitoring
    • G06F11/3485Performance evaluation by tracing or monitoring for I/O devices
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F2201/00Indexing scheme relating to error detection, to error correction, and to monitoring
    • G06F2201/805Real-time

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Hardware Design (AREA)
  • Quality & Reliability (AREA)
  • Computing Systems (AREA)
  • Techniques For Improving Reliability Of Storages (AREA)
  • Human Computer Interaction (AREA)
  • Memory System (AREA)

Abstract

コンピュータシステム内のメモリコンポーネントの保守を容易化できるサーバアーキテクチャを実装する、複数のシステムおよび方法である。当該複数のシステムおよび方法は、システムメモリおよび大量ストレージ、並びにファームウェアメモリのために使用され得る複数の不揮発性メモリ(NVM)を含む不揮発性メモリ/ストレージモジュールを採用する。それぞれのNVM/ストレージモジュールは、コンピュータシステムの前面または背面装填ベイに収容され得る。当該複数のシステムおよび方法はさらに、シングル、デュアル、またはクアッドソケットプロセッサを採用し得、そこでは各プロセッサは、1または複数のメモリおよび/または入/出力(I/O)チャネルによって、前面または背面装填ベイに配置された、複数のNVM/ストレージモジュールのうちの少なくともいくつかに通信可能に連結される。コンピュータシステムの前面または背面装填ベイに収容され得るNVM/ストレージモジュールを採用することによって、当該複数のシステムおよび方法は、従来のサーバアーキテクチャを実装するコンピュータシステムでこれまで実現不可能であったメモリコンポーネントの保守性を提供する。

Description

本明細書に記載の複数の実施形態は概して、サーバアーキテクチャに関し、より具体的には不揮発性メモリコンポーネントの保守を容易化するよう構成されたサーバアーキテクチャを実装するシステムおよび方法に関する。
従来のサーバアーキテクチャを実装するコンピュータシステムは通常、筐体、筐体に搭載されたマザーボード、および筐体に搭載された1または複数の前面装填ベイを含む。マザーボードは、1または複数のプロセッサをそれぞれ収容するための、そこに連結された1または複数のプロセッサソケット、並びに1または複数のメザニン若しくはライザボードをそれぞれ収容するための、1または複数のドーターボードコネクタを有し得る。そのようなコンピュータシステムにおいて、前面装填ベイは通常、磁気媒体(例えば、ハードディスクドライブ)、光媒体(例えば、コンパクトディスク(CD)ドライブ、デジタルビデオディスク(DVD)ドライブ)等を含み得る大容量ストレージデバイスを収容するよう構成されている。そのような大容量ストレージデバイスは、業界標準のフォームファクタに準拠してよく、また「ホットスワップ可能」に構成されてよく、これは、当該大容量ストレージデバイスはコンピュータシステムをパワーダウンすることなく、それぞれの前面装填ベイから除去され、およびそこへ設置され得ることを意味する。メザニンまたはライザボードは通常、1または複数のダイナミックランダムアクセスメモリ(DRAM)ベースのデュアルインラインメモリモジュール(DIMM)のような1または複数のメモリモジュールを含むよう構成されており、それらの複数の部分は、システムメモリ並びにキャッシュメモリとして割り当てられてよい。
従来のサーバアーキテクチャを実装するそのようなコンピュータシステムにおいては、1または複数の故障したDIMMまたは他のメモリコンポーネントのようなメザニン若しくはライザボード上の1または複数の故障したコンポーネントを保守するためには、コンピュータシステムをパワーダウンし、筐体を開いて、故障したメモリコンポーネントにアクセスし、および/または置換することが一般に必要である。しかしながら、コンピュータシステム内のメモリコンポーネントのそのような保守は、たとえまれであったとしても、時間がかかり、複雑で高価であることが実証可能である。
本明細書に組み込まれ、その一部を構成する添付図面は、本明細書に記載の1または複数の実施形態を示し、詳細な説明と共にこれらの実施形態について説明する。
従来のサーバアーキテクチャを実装するコンピュータシステムの上部平面図である。 本願に従う、例示的なサーバアーキテクチャを実装する例示的なコンピュータシステムの上部平面図である。 業界標準のフォームファクタに準拠する例示的な不揮発性メモリ/ストレージモジュールの斜視図であり、1または複数のそのような不揮発性メモリ/ストレージモジュールが図2のコンピュータシステム内に含まれている。 図3aの不揮発性メモリ/ストレージモジュール内に含まれる例示的な複数のメモリコンポーネントのブロック図である。 図2のコンピュータシステムの第1の代替的な実施形態の上部平面図である。 図2のコンピュータシステムの第2の代替的な実施形態の上部平面図である。 図5aの第2の代替的な実施形態に含まれる例示的なメモリモジュールの平面図である。 図2のコンピュータシステム内のメモリを保守する例示的な方法を示すフロー図である。 図2のコンピュータシステムに含まれる複数の機能コンポーネントのブロック図である。
コンピュータシステム内のメモリコンポーネントの保守およびデュアルポーティングを容易化し得る、サーバアーキテクチャを実装するシステムおよび方法が開示されている。当該開示された複数のシステムおよび方法は、業界標準のフォームファクタに準拠し得る不揮発性メモリ/ストレージモジュールを採用し、永続メモリ、システムメモリ、および大容量ストレージ、並びにファームウェアメモリに使用され得る不揮発性メモリ(NVM)を含む。複数の不揮発性メモリ/ストレージモジュールはそれぞれ、コンピュータシステムの前面および/または背面装填ベイに収容されるよう構成され、さらにコンピュータシステムをパワーダウンすることなく、当該不揮発性メモリ/ストレージモジュールが複数の前面/背面装填ベイからそれぞれ除去およびそこへ設置され得るように、「ホットスワップ可能」であるよう構成される。当該開示された複数のシステムおよび方法はさらに、シングル、デュアル、またはクアッドソケットプロセッサを採用し得、そこでは各プロセッサは、1または複数のメモリおよび/または入/出力(I/O)チャネルによって、前面および/または背面装填ベイに配置された、複数の不揮発性メモリ/ストレージモジュールのうちの少なくともいくつかに通信可能に連結される。コンピュータシステムの前面および/または背面装填ベイに収容され得るホットスワップ可能な不揮発性メモリ/ストレージモジュールを採用することによって、当該開示された複数のシステムおよび方法は、従来のサーバアーキテクチャを実装するコンピュータシステムでこれまで実現不可能であったメモリコンポーネントの保守性を提供し得る。
さらに、不揮発性メモリ/ストレージモジュールを含むメモリサブシステムは、永続性の特性を有するので、そのような不揮発性メモリ/ストレージモジュールの保守は、それらのNVMモジュール上に格納されたデータを取得する潜在的必要性によって、より重要になる。対照的に、揮発性メモリモジュールの保守は、そのような揮発性メモリモジュール上に格納されたデータは、それらのモジュールが故障した場合、事実上失われるので、一般に重要性がより低くなっている。このため、揮発性メモリモジュールを含むメモリサブシステム(例えば、ダイナミックランダムアクセスメモリ(DRAM)ベースのメザニン若しくはライザボード)は従来、非常に少ない保守または非常に多い保守のいずれかを受けており、それはコンピュータシステムをパワーダウンすること、および故障した揮発性メモリモジュールにアクセスすべく、筐体を開くことを伴い得る。データを永続的に格納可能な不揮発性メモリ/ストレージモジュールを保守する重要性は、ホットスワッピングおよびデュアルポーティング機能を提供するもののような、容易に保守可能なサーバアーキテクチャおよびトポロジに対するニーズを増加させている。
図1は、従来のサーバアーキテクチャを実装するコンピュータシステム100を示す。図1に図示の通り、コンピュータシステム100は、筐体102、筐体102に搭載されたマザーボード104、および筐体102に搭載された複数の前面装填ベイ110.1、110.2、110.3、110.4を含む。マザーボード104は、複数の中央処理装置(CPU)(本明細書で「プロセッサ」とも呼ばれる)106.1、106.2をそれぞれ収容するための、マザーボード104に連結された複数のプロセッサソケット、および複数のメザニンボード、ライザボード、または任意の他の好適なプリント回路基板(PCB)のような、補助ボードの複数の群108.1、108.2、108.3をそれぞれ収容するためのドーターボードソケットの複数の群を有する。マザーボード104はマザーボードに連結された複数の入/出力(I/O)およびレガシコンポーネント112をさらに有し、コンピュータシステム100は筐体102に搭載された電源供給ユニット(PSU)114をさらに含む。
前面装填ベイ110.1、110.2、110.3、110.4の各々は、前面装填ベイ110.1に収容された大容量ストレージデバイス111のような、複数の大容量ストレージデバイスを収容するよう構成されている。前面装填ベイ110.1、110.2、110.3、110.4にそれぞれ収容された当該複数の大容量ストレージデバイス(例えば、大容量ストレージデバイス111)は、磁気媒体(例えば、ハードディスクドライブ)、光媒体(例えば、コンパクトディスク(CD)ドライブ、デジタルビデオディスク(DVD)ドライブ)等を含み得る。さらに、当該複数の大容量ストレージデバイス(例えば、大容量ストレージデバイス111)は、業界標準のフォームファクタに準拠してよく、また「ホットスワップ可能」に構成されてよく、これは当該複数の大容量ストレージデバイスが、コンピュータシステム110をパワーダウンすることなく、それぞれ前面装填ベイ110.1〜110.4から除去およびそこへ設置され得ることを意味する。
当該補助ボードの群108.1、108.2、108.3はそれぞれ、補助ボードの群108.1に含まれるメモリモジュール109のような複数のメモリモジュールを含むよう構成される。当該複数のメモリモジュール(例えば、メモリモジュール109)はそれぞれ、複数のダイナミックランダムアクセスメモリ(DRAM)ベースのダブルデータレート(DDR)DIMMのような、1または複数のデュアルインラインメモリモジュール(DIMM)を含み得、それらの複数の部分は、システムメモリおよびキャッシュメモリとして割り当てられてよい。当該複数のDRAMベースのメモリモジュール(例えば、メモリモジュール109)は、DDRメモリチャネル116.1、116.2、116.3、116.4のような複数のメモリまたはI/Oチャネルによって、プロセッサ106.1、106.2にそれぞれ通信可能に連結される。
具体的には、補助ボードの群108.1に含まれる複数のDRAMベースのメモリモジュールは、複数のDDRメモリチャネル116.1によりプロセッサ106.1に通信可能に連結され、補助ボードの群108.2に含まれる複数のDRAMベースのメモリモジュールは、複数のDDRメモリチャネル116.2によりプロセッサ106.1に通信可能に連結される。さらに、補助ボードの群108.2に含まれる複数のDRAMベースのメモリモジュールは、複数のDDRメモリチャネル116.3によりプロセッサ106.2に通信可能に連結され、補助ボードの群108.3に含まれる複数のDRAMベースのメモリモジュールは、複数のDDRメモリチャネル116.4によりプロセッサ106.2に通信可能に連結される。従来のサーバアーキテクチャを実装するコンピュータシステム100(図1を参照)においては、コンピュータシステム100をパワーダウンし、筐体102を開き、補助ボードの複数の群108.1、108.2、108.3に含まれる複数のDRAMベースのメモリモジュールのような複数の故障したメモリコンポーネントにアクセスし、および/または置換することが一般に必要である。コンピュータシステム100内の複数のメモリコンポーネントのそのような保守は、たとえまれであっても、時間がかかり、複雑で高価であることが実証可能である。
図2は、本願に従う、例示的なサーバアーキテクチャを実装する例示的なコンピュータシステム200の例示の実施形態を示す。図2に図示の通り、コンピュータシステム200は、筐体202、筐体202に搭載されたマザーボード204、および筐体202に搭載された複数の前面装填ベイ210.1、210.2、210.3、210.4を含む。マザーボード204は、複数のCPU(複数のプロセッサ)206.1、206.2、206.3、206.4をそれぞれ収容するためのマザーボード204に連結された複数のプロセッサソケットを有する。マザーボード204は、マザーボードに連結された複数の入/出力(I/O)およびレガシコンポーネント212.1、212.2をさらに含み得る。例えば、当該複数の入出力およびレガシコンポーネント212.1、212.2は、複数のintegrated drive electronics(IDE)コンポーネント、ユニバーサルシリアルバス(USB)コンポーネント、ローカルエリアネットワーク(LAN)コンポーネント、オーディオコンポーネント等を含み得る。コンピュータシステム200は、筐体202に搭載された複数の電源供給ユニット(PSU)214.1、214.2をさらに含み得る。
コンピュータシステム200(図2を参照)において、前面装填ベイ210.1、210.2、210.3、210.4の各々は、前面装填ベイ210.1内に収容された不揮発性メモリ/ストレージモジュール211のような複数の不揮発性メモリ/ストレージモジュールを収容するよう構成されている。前面装填ベイ210.1、210.2、210.3、210.4にそれぞれ収容された複数の不揮発性メモリ/ストレージモジュール(例えば、不揮発性メモリ/ストレージモジュール211)は、所望および/または要求により、永続メモリ、システムメモリ、および大容量ストレージ、並びにファームウェアメモリに使用され得る不揮発性メモリ(NVM)を含み得る。例えば、複数の不揮発性メモリ/ストレージモジュールにそれぞれ含まれる不揮発性メモリは、メモリセルごとにシングルビットを使用するNAND若しくはNORフラッシュメモリ、セルごとに2ビットを持つNANDフラッシュメモリのようなマルチレベルセル(MLC)メモリ、ポリマーメモリ、相変化メモリ(PCM)、ナノワイヤベースの電荷トラップメモリ、強誘電体トランジスタランダムアクセスメモリ(FeTRAM)、3次元クロスポイントメモリ、メモリ抵抗(メモリスタ)技術を使用する不揮発性メモリ、ovonic unified memory、カルコゲニドランダムアクセスメモリ(CRAM)、バイトアドレス指定可能な永続ランダムアクセスメモリ(BPRAM)、磁気抵抗型ランダムアクセスメモリ(MRAM)、プログラマブルメタライゼーションセル(PMC)メモリ、抵抗型ランダムアクセスメモリ(RRAM(登録商標))、強磁性体メモリ、スピントランスファートルクランダムアクセスメモリメモリ(SPRAM)、スピントンネリングRAM(STRAM)、誘電体メモリ、または任意の他の好適なNVM技術に基づく任意の他の好適な不揮発性メモリを含み得る。
本開示の目的として、複数の不揮発性メモリ/ストレージモジュール(例えば、不揮発性メモリ/ストレージモジュール211)にそれぞれ含まれる不揮発性メモリ(NVM)は、以下の複数の特性のうちの少なくともいくつかまたはそれより多くのものを有し得る。(1)NVMは、電力が除去された場合であっても、そのデータ内容を維持できる。 (2)NVMはランダムにアドレス指定可能である。 (3)NVMは、低レベルの粒度(例えば、バイトレベルの粒度)で、書き込み可能および消去可能である。(4)NVMは、システムメモリとして使用可能であり、システムメモリアドレス空間のすべてまたは一部を割り当て可能である。(5)NVMは、永続メモリ、大容量ストレージとして、および任意にはファームウェアメモリとして使用可能である。(6)NVMは、トランザクションプロトコル(すなわち、トランザクション識別子をサポートするプロトコル)を使用してバス経由で少なくとも1つのプロセッサに連結されることが可能であり、異なる複数のトランザクションを区別し、その結果、そのようなトランザクションはアウトオブオーダで完了され得、不揮発性メモリのシステムメモリとしての動作をサポートするのに十分小さなレベルの粒度でのアクセスを可能にする(例えば、64または128バイトのキャッシュラインサイズを使用して)。例えば、複数の不揮発性メモリ/ストレージモジュールはそれぞれ、ソリッドステートドライブ(SSD)、または任意の他の好適な永続データストレージ媒体として構成され得る。さらに、それぞれの不揮発性メモリ/ストレージモジュールをプロセッサに連結するバスは、それを経由してトランザクションプロトコルが実行され得るダブルデータレート(DDR)メモリバスであってよい。そのようなバスは、ペリフェラルコンポーネントインターコネクトエクスプレス(PCIe)バス、または好適なトランザクションペイロードサイズでトランザクションプロトコルを利用する任意の他の好適なバスであってよい。
前面装填ベイ210.1、210.2、210.3、210.4にそれぞれ収容された不揮発性メモリ/ストレージモジュール(例えば、不揮発性メモリ/ストレージモジュール211)は、複数のメモリチャネル(例えば、複数のDDRメモリチャネル)および/またはI/O若しくはファブリック相互接続によって、プロセッサ206.1、206.2、206.3、206.4にそれぞれ通信可能に連結される。具体的には、前面装填ベイ210.1に収容された複数の不揮発性メモリ/ストレージモジュールは、複数のDDRメモリチャネルおよび/またはI/O若しくはファブリック相互接続216.1により、プロセッサ206.1に通信可能に連結され、前面装填ベイ210.2に収容された複数の不揮発性メモリ/ストレージモジュールは、複数のDDRメモリチャネルおよび/またはI/O若しくはファブリック相互接続216.2により、プロセッサ206.2に通信可能に連結され、前面装填ベイ210.3に収容された複数の不揮発性メモリ/ストレージモジュールは、複数のDDRメモリチャネルおよび/またはI/O若しくはファブリック相互接続216.3により、プロセッサ206.3に通信可能に連結され、および前面装填ベイ210.4に収容された複数の不揮発性メモリ/ストレージモジュールは、複数のDDRメモリチャネルおよび/またはI/O若しくはファブリック相互接続216.4により、プロセッサ206.4に通信可能に連結される。
図3aは、コンピュータシステム200(図2を参照)のそれぞれの前面装填ベイ210.1、210.2、210.3、210.4のうちの選択された1つに収容され得る、例示的な不揮発性メモリ/ストレージモジュール300を示す。例えば、不揮発性メモリ/ストレージモジュール300は、業界標準の2.5インチのフォームファクタ、または任意の他の好適なフォームファクタに準拠するよう構成されてよく、およびホットスワップ可能にさらに構成されてよく、それは不揮発性メモリ/ストレージモジュール300が、コンピュータシステム200をパワーダウンすることなく、選択された前面装填ベイ210.1、210.2、210.3、または210.4から除去およびそこに設置され得ることを意味する。図3aに図示の通り、不揮発性メモリ/ストレージモジュール300は、NVMコントローラ302および不揮発性メモリ/ストレージサブシステム304を搭載し得る。
図3bは、不揮発性メモリ/ストレージモジュール300に組み込まれたNVMコントローラ302および不揮発性メモリ/ストレージサブシステム304を示す。図3bに図示の通り、不揮発性メモリ/ストレージサブシステム304は、複数のNVMデバイス304.1、304.2、304.nを含むことができ、それらの各々は、NVMコントローラ302に通信可能に連結される。NVMコントローラ302は、それぞれのNVMデバイス304.1〜304.nのうちの1または複数との間のデータ読み取り、またはデータ書き込みのために、プロセッサ(例えば、プロセッサ206.1、206.2、206.3、または206.4)によって発行されたデータ読み取り/書き込みリクエストを処理するよう動作可能である。本明細書に記載の通り、複数の不揮発性メモリ/ストレージモジュールに含まれる不揮発性メモリ(例えば、NVMデバイス304.1、304.2、304.nに具現化されるような)は、所望および/または要求により、永続メモリ、システムメモリ、および大容量ストレージ、並びにファームウェアメモリに使用され得る。一実施形態において、不揮発性メモリ/ストレージサブシステム304内のNVMデバイス304.1〜304.nは、NVMコントローラ302の制御下、システムメモリとしての使用と、大容量ストレージとしての使用との間で動的に共有され得、それによりコンピュータシステム200内のメモリ/ストレージ階層を平坦化する。
図4は、図2のコンピュータシステムの代替的な実施形態である、コンピュータシステム400を示す。図4に図示の通り、コンピュータシステム400は、筐体402、筐体402に搭載されたマザーボード404、および筐体402に搭載された複数の前面装填ベイ410.1、410.2、410.3、410.4を含む。マザーボード404は、複数のCPU(複数のプロセッサ)406.1、406.2をそれぞれ収容するための、マザーボードに連結された複数のプロセッサソケット、および補助ボードの群408をそれぞれ収容するためのドーターボードソケットの群を有する。マザーボード404は、マザーボードに連結された入/出力(I/O)およびレガシコンポーネント412をさらに有し得、またコンピュータシステム400は、筐体402に搭載された電源供給ユニット(PSU)414をさらに含み得る。
複数の補助ボード408はそれぞれ、メモリモジュール409のような複数のメモリモジュールを含むよう構成される。コンピュータシステム100(図1を参照)に関し本明細書に記載した通り、複数のメモリモジュール(例えば、メモリモジュール409)はそれぞれ、DRAMベースのDDR DIMMのような1または複数のDIMMを含み得る。複数の補助ボード408に連結された複数のDRAMベースのメモリモジュール(例えば、メモリモジュール409)は、第1の複数のメモリまたは入/出力チャネル(例えば、複数のDDRチャネル416.1)によって、プロセッサ406.1に通信可能に連結され、複数のDDRチャネル416.2のような第2の複数のメモリまたは入/出力チャネルによって、プロセッサ406.2に通信可能に連結される。
コンピュータシステム400(図4を参照)において、前面装填ベイ410.1、410.4の各々は、前面装填ベイ410.1内に収容された不揮発性メモリ/ストレージモジュール411のような複数の不揮発性メモリ/ストレージモジュールを収容するよう構成されている。コンピュータシステム200(図2を参照)に関し本明細書に記載した通り、それぞれの前面装填ベイ410.1、410.4に収容された複数の不揮発性メモリ/ストレージモジュール(例えば、不揮発性メモリ/ストレージモジュール411)は、所望および/または要求により、永続メモリ、システムメモリ、および大容量ストレージ、並びにファームウェアメモリに使用され得る不揮発性メモリ(NVM)を含むことができ、そのようなNVMは、任意の好適なNVM技術を使用して実装可能である。さらに、複数の大容量ストレージデバイス(例えば、大容量ストレージデバイス411)は、業界標準のフォームファクタに準拠してよく、ホットスワップ可能に構成されてよい。
前面装填ベイ410.2、410.3の各々は、前面装填ベイ410.2に収容された大容量ストレージデバイス413のような、複数の大容量ストレージデバイスを収容するよう構成されている。前面装填ベイ410.2、410.3にそれぞれ収容された複数の大容量ストレージデバイス(例えば、大容量ストレージデバイス413)は、磁気媒体(例えば、ハードディスクドライブ)、光媒体(例えば、コンパクトディスク(CD)ドライブ、デジタルビデオディスク(DVD)ドライブ)等を含み得る。さらに、複数の大容量ストレージデバイス(例えば、大容量ストレージデバイス413)は、業界標準のフォームファクタに準拠してよく、ホットスワップ可能に構成されてよい。
前面装填ベイ410.1、410.4にそれぞれ収容された複数の不揮発性メモリ/ストレージモジュール(例えば、不揮発性メモリ/ストレージモジュール411)は、複数のメモリチャネル(例えば、複数のDDRメモリチャネル)および/またはI/O若しくはファブリック相互接続によって、プロセッサ406.1、406.2にそれぞれ通信可能に連結される。具体的に、前面装填ベイ410.1に収容された複数の不揮発性メモリ/ストレージモジュールは、複数のDDRメモリチャネルおよび/またはI/O若しくはファブリック相互接続417.1によってプロセッサ406.1に通信可能に連結され、前面装填ベイ410.4に収容された複数の不揮発性メモリ/ストレージモジュールは、複数のDDRメモリチャネルおよび/またはI/O若しくはファブリック相互接続417.2によって、プロセッサ406.2に通信可能に連結される。複数の補助ボード408上の複数のDRAMベースのメモリモジュールを、前面装填ベイ410.1、410.4内に収容された複数の不揮発性メモリ/ストレージモジュールから物理的に分離することによって、永続データを保持する複数の不揮発性メモリ/ストレージモジュールの保守性は、向上される。
図5aは、図2のコンピュータシステムのさらなる代替的な実施形態である、コンピュータシステム500を示す。図5aに図示の通り、コンピュータシステム500は、筐体502、筐体502に搭載されたマザーボード504、および筐体502に搭載された複数の前面装填ベイ510.1、510.2、510.3、510.4を含む。マザーボード504は、複数のCPU(複数のプロセッサ)506.1、506.2をそれぞれ収容するための、マザーボードに連結された複数のプロセッサソケット、および補助ボードの複数の群508.1、508.2、508.3をそれぞれ収容するためのドーターボードソケットの複数の群を有する。マザーボード504は、マザーボードに連結された入/出力(I/O)およびレガシコンポーネント512をさらに有し得、コンピュータシステム500は、筐体502に搭載された電源供給ユニット(PSU)514をさらに含み得る。
補助ボードの複数の群508.1、508.2、508.3はそれぞれ、補助ボードの群508.1に含まれるメモリモジュール509のような複数のメモリモジュールを含むよう構成される。例えば、複数のメモリモジュール(例えば、メモリモジュール509)はそれぞれ、複数のDRAMベースのDDR DIMMのような1または複数のDIMMを含んでよい。補助ボードの群508.1に連結された複数のDRAMベースのメモリモジュール(例えば、メモリモジュール509)は、第1の複数のメモリまたは入/出力チャネル(例えば、複数のDDRチャネル516.1)によって、プロセッサ506.1に通信可能に連結され、補助ボードの群508.2に連結された複数のDRAMベースのメモリモジュールは、第2の複数のメモリまたは入/出力チャネル(例えば、複数のDDRチャネル516.2)によって、プロセッサ506.1に通信可能に連結される。さらに、補助ボードの群508.2に連結された複数のDRAMベースのメモリモジュールは、第3の複数のメモリまたは入/出力チャネル(例えば、複数のDDRチャネル516.3)によって、プロセッサ506.2に通信可能に連結され、補助ボードの群508.3に連結された複数のDRAMベースのメモリモジュールは、第4の複数のメモリまたは入/出力チャネル(複数のDDRチャネル516.4)によって、プロセッサ506.2に通信可能に連結される。
コンピュータシステム500(図5aを参照)において、前面装填ベイ510.3は、不揮発性メモリ/ストレージモジュール511のような複数の不揮発性メモリ/ストレージモジュールを収容するよう構成されている。例えば、前面装填ベイ510.3に収容された複数の不揮発性メモリ/ストレージモジュール(例えば、不揮発性メモリ/ストレージモジュール511)は、所望および/または要求により、永続メモリ、システムメモリ、および大容量ストレージ、並びにファームウェアメモリに使用され得る不揮発性メモリ(NVM)を含むことができ、そのようなNVMは、任意の好適なNVM技術を使用して実装可能である。さらに、複数の不揮発性メモリ/ストレージモジュール(例えば、不揮発性メモリ/ストレージモジュール511)は、業界標準のフォームファクタに準拠してよく、ホットスワップ可能に構成されてよい。
前面装填ベイ510.1、510.2、510.4の各々は、前面装填ベイ510.1に収容された大容量ストレージデバイス513のような、複数の大容量ストレージデバイスを収容するよう構成されている。前面装填ベイ510.1、510.2、510.4にそれぞれ収容された複数の大容量ストレージデバイス(例えば、大容量ストレージデバイス513)は、磁気媒体(例えば、ハードディスクドライブ)、光媒体(例えば、コンパクトディスク(CD)ドライブ、デジタルビデオディスク(DVD)ドライブ)等を含み得る。さらに、複数の大容量ストレージデバイス(例えば、大容量ストレージデバイス513)は、業界標準のフォームファクタに準拠してよく、ホットスワップ可能に構成されてよい。
一実施形態において、前面装填ベイ510.3に収容された複数の不揮発性メモリ/ストレージモジュール(例えば、不揮発性メモリ/ストレージモジュール511)は、補助ボードの群508.2に含まれるメモリモジュールの1または複数を介してプロセッサ506.1、506.2に通信可能に連結可能である。図5bは、例示的なメモリモジュール550を示し、それは、前面装填ベイ510.3内の不揮発性メモリ/ストレージモジュール511(または他の不揮発性メモリ/ストレージモジュール)をそれぞれのプロセッサ506.1、506.2に通信可能に連結するために、補助ボードの群508.2内の複数の補助ボードのうちの1つに位置され(またはそれぞれの補助ボードに接続された別のプリント回路基板(PCB)上に位置され)てよい。図5bに図示の通り、メモリモジュール550は、複数のメモリコンポーネント552.1、552.2およびコントローラ554を含み得る。例えば、メモリコンポーネント552.1、552.2はそれぞれ、揮発性メモリ(例えば、ダイナミックランダムアクセスメモリ(DRAM)、または任意の他の好適な揮発性メモリ)、または不揮発性メモリ(例えば、強誘電体ランダムアクセスメモリ(FRAM(登録商標))、または任意の他の好適な不揮発性メモリ)として構成されてよい。一実施形態において、メモリモジュール550は、DRAMベースのDDR DIMMとして構成されてよい。さらなる一実施形態において、それぞれのメモリコンポーネント552.1、552.2は、永続メモリおよび/または大容量ストレージに使用され得る不揮発性メモリ(NVM)を含む、複数の不揮発性メモリ/ストレージデバイスとして構成されてよい。別の実施形態において、それぞれのメモリコンポーネント552.1、552.2は、メモリモジュール550から省略されてよく、その場合、メモリモジュール550は、いわゆる「ダミーDIMM」として構成されてよい。メモリモジュール550は、マザーボード504に連結された1または複数のドーターボードソケットに収容されるよう構成された複数のコンタクト556、およびコントローラ554に連結され、I/O、ファブリック、光、ケーブル、または任意の他の好適な高帯域幅相互接続560(図5a、5bを参照)を実装するよう構成されたコネクタ558をさらに含む。例えば、高帯域幅相互接続560は、(1)前面装填ベイ510.3内の不揮発性メモリ/ストレージモジュール511(または他の不揮発性メモリ/ストレージモジュール)、(2)別の筐体上のメモリ、および/または(3)メモリモジュール550のような別のメモリモジュールに通信可能に接続されてよい。
コントローラ554に連結されたコネクタ558、およびマザーボード504上のドーターボードソケットに収容可能な複数のコンタクト556を提供することによって、マルチポート機能(例えば、デュアルポート機能)が、メモリモジュール550に追加され得、それによりマザーボード504上のそれぞれのプロセッサソケットから、前面装填ベイ510.3、別の筐体上のメモリ、および/またはメモリモジュール550のような別のメモリモジュールへの複数の接続が確立されることを可能にする。1または複数の高帯域幅相互接続562、564をそれぞれ、1または複数のボード外若しくは筐体外のメモリ拡張ベイに提供するために、メモリモジュール550(図5bを参照)のような1または複数のメモリモジュールが、補助ボードの複数の群508.1、508.3内の複数の補助ボードのうちの1または複数上に位置されてもよいことに留意されたい。
コンピュータシステム内のメモリを保守する例示的な方法が、図2および図6を参照して以下に記載される。ブロック602(図6を参照)に示される通り、1または複数のプロセッサ206.1、206.2、206.3、206.4および1または複数の前面装填ベイ210.1、210.2、210.3、210.4を含むコンピュータシステム200(図2を参照)のようなコンピュータシステムが提供され、各前面装填ベイは、1または複数の不揮発性メモリ/ストレージモジュールを収容する。ブロック604に示される通り、複数のメモリチャネルが、前面装填ベイ210.1、210.2、210.3、210.4内の複数の不揮発性メモリ/ストレージモジュールを、プロセッサ206.1、206.2、206.3、206.4にそれぞれ通信可能に連結するために提供される。ブロック606に示される通り、それぞれの前面装填ベイ210.1、210.2、210.3、210.4内の複数の不揮発性メモリ/ストレージモジュールのうちの1つが故障したか否かに関する決定がなされる。それぞれの前面装填ベイ210.1、210.2、210.3、210.4内の複数の不揮発性メモリ/ストレージモジュールのうちの1つが故障した場合、ブロック608に示される通り、故障した不揮発性メモリ/ストレージモジュール内に格納されたデータは、機能しているメモリ/ストレージモジュールまたはアレイに移行され、当該移行されたデータにアクセスするための複数のアドレスがそれに応じて再マッピングされる。そのようなデータ移行およびアドレスの再マッピングは、1または複数のデータミラーを使用してデータを複製すること、すなわちデータ冗長によって、少なくとも部分的に回避され得ることに留意されたい。ブロック610に示される通り、故障した不揮発性メモリ/ストレージモジュールは、それぞれの前面装填ベイから除去される。ブロック612に示される通り、動作可能な不揮発性メモリ/ストレージモジュールが、故障したモジュールの代わりに、それぞれの前面装填ベイに設置される。
図7は、特許請求された発明の装置および方法を実装するよう構成され得る、例示的なコンピュータシステム700を示す。図7に図示の通り、コンピュータシステム700は、少なくとも1つのメモリチャネル715によって、少なくとも1つのメモリ704および少なくとも1つの不揮発性メモリ/ストレージモジュール719に、通信可能に連結されたホストプロセッサ702を含み得る。不揮発性メモリ/ストレージモジュール719は、NVMコントローラ720および少なくとも1つのNVMデバイス712を含み得る。コンピュータシステム700はさらに、キーボード716およびディスプレイ718を含み得、各々はシステムバス714に通信可能に連結される。NVMコントローラ720は、NVMデバイス712内に格納可能な永続データにアクセスするよう動作可能である。ホストプロセッサ702は、NVMコントローラ720の複数の動作を制御するための1または複数の処理を含む、コンピュータシステム700内の様々な処理を実行するために、メモリ704または任意の他の好適なストレージ媒体のような、少なくとも1つの非一時的ストレージ媒体上に格納された複数の命令を実行するよう動作可能である。メモリ704は、ダイナミックランダムアクセスメモリ(DRAM)または任意の他の好適な揮発性メモリとして実装されてよい、揮発性メモリ710のような1または複数のメモリコンポーネントを含み得る。メモリ704はまた、ホストプロセッサ702によって実行可能なオペレーティングシステム706、並びにオペレーティングシステム706によって実行されてよい1または複数のアプリケーション708を格納するよう構成され得る。複数のアプリケーション708のうちの1つによって生成されるリクエストに応答して、ホストプロセッサ702は、揮発性メモリ710に対し、所望のデータ書き込み/読み取り操作、および/またはNVMコントローラ720を介してNVMデバイス712に対し、所望の書き込み/読み取り操作を実行すべくオペレーティングシステム706を実行し得る。
図7はコンピュータシステム700の例示的な実施形態を示しており、コンピュータシステム700の他の複数の実施形態は、図7に示された複数の装置コンポーネントより、多数の装置コンポーネントまたは少数の装置コンポーネントを含んでよいことに留意されたい。さらに、複数の装置コンポーネントは図7に示されたのとは異なるように配置されてよい。また、コンピュータシステム700の他の複数の実施形態に含まれる様々な装置コンポーネントにより実行される複数の機能は、本明細書に記載されたものとは異なるように複数のそれぞれのコンポーネント間で分散されてよい。
開示された複数のシステムおよび方法に関する上記複数の例示的な実施形態について記載したが、他の複数の代替的な実施形態または変形がなされ得る。例えば、複数の不揮発性メモリ/ストレージモジュール(例えば、不揮発性メモリ/ストレージモジュール300。図3aを参照)は、業界標準の2.5インチのフォームファクタ、または任意の他の好適なフォームファクタに準拠するよう構成されてよいことが本明細書に記載された。一実施形態において、複数の不揮発性メモリ/ストレージモジュールは、複数のregistered dual in−line memory module(RDIMM)、small outline dual in−line memory module(SODIMM)、load−reduced DIMM(LRDIMM)、mini−DIMM、unbuffered DIMM、または任意の他の好適なメモリモジュールとして構成されてよい。さらに、複数の前面装填ベイ(例えば、前面装填ベイ210.1、210.2、210.3、210.4)は、そのような複数のRDIMM、SODIMM、LRDIMM、mini‐DIMM、unbuffered DIMM等を収容するよう好適に構成されてよい。
マルチポート機能(例えば、デュアルポート機能)が、複数のDRAMベースのメモリモジュール(例えば、メモリモジュール550。図5bを参照)に追加され得、例えば、コンピュータシステムのマザーボード上の複数のプロセッサソケットから、複数の不揮発性メモリ/ストレージモジュールを収容する1または複数の前面装填ベイへの複数の接続を確立することを可能にすることが本明細書にまた記載された。一実施形態において、コントローラ554(図5bを参照)のようなコントローラ、並びにコネクタ558(図5bを参照)のようなコネクタを、メモリモジュール550内の代わりに、プロセッサボード上に位置付けることによって、そのような複数のデュアル接続は、複数のプロセッサソケットから複数の前面装填ベイへと確立され得る。
以下の複数の例は、開示された複数のシステムおよび方法のさらなる例示の複数の実施形態に関する。例1は、コンピュータシステム内の複数の不揮発性メモリコンポーネントの保守を容易化するよう構成されたサーバアーキテクチャを実装するコンピュータシステムである。コンピュータシステムは、筐体と、筐体に搭載されたマザーボードと、筐体に搭載された1または複数のモジュールベイと、を含む。マザーボードは、1または複数のプロセッサを収容するよう構成されている。モジュールベイのうちの1または複数は、1または複数の不揮発性メモリ/ストレージモジュールをそれぞれ収容するよう構成されている。各不揮発性メモリ/ストレージモジュールは、永続メモリおよび大容量ストレージ動作を実行するよう動作可能である。コンピュータシステムはさらに、1または複数の不揮発性メモリ/ストレージモジュールを1または複数のプロセッサにそれぞれ通信可能に連結するための1または複数の第1のメモリチャネルを含む。
例2において、例1の主題は任意に、複数の第1のメモリチャネルは、複数のダブルデータレート(DDR)メモリチャネル、複数の入/出力(I/O)相互接続、および複数のファブリック相互接続のうちの1つを含む複数の特徴を含み得る。
例3において、例1または2のうちのいずれか1つの主題は任意に、不揮発性メモリ/ストレージモジュールは、予め定められた業界標準のフォームファクタに準拠するよう構成された複数の特徴を含み得る。
例4において、例1から3のうちのいずれか1つの主題は任意に、不揮発性メモリ/ストレージモジュールは、ホットスワップ可能であるよう構成されている複数の特徴を含み得る。
例5において、例1から4のうちのいずれか1つの主題は任意に、不揮発性メモリ/ストレージモジュールのうちの少なくとも1つは、ソリッドステートドライブ(SSD)として構成されている複数の特徴を含み得る。
例6において、例1から5のうちのいずれか1つの主題は任意に、第1のメモリチャネルのうちの少なくとも1つは、ペリフェラルコンポーネントインターコネクトエクスプレス(PCIe)バスとして構成されている複数の特徴を含み得る。
例7において、例1の主題は任意に、マザーボードは、1または複数の補助ボードを収容するよう構成されており、補助ボードのうちの少なくとも1つは、1または複数のメモリモジュールを含むよう構成されている複数の特徴を含み得る。
例8において、例7の主題は任意に、メモリモジュールは、複数のダイナミックランダムアクセスメモリ(DRAM)ベースのメモリモジュール、および複数のDRAMベースのダブルデータレート(DDR)デュアルインラインメモリモジュールのうちの1つを含む複数の特徴を含み得る。
例9において、例7または8のうちのいずれか1つの主題は任意に、1または複数のメモリモジュールを1または複数のプロセッサにそれぞれ通信可能に連結するための1または複数の第2のメモリチャネルを含み得る。
例10は、コンピュータシステム内の不揮発性メモリコンポーネントの保守を容易化するよう構成されたサーバアーキテクチャを実装するコンピュータシステムである。コンピュータシステムは、筐体と、筐体に搭載されたマザーボードと、筐体に搭載された1または複数のモジュールベイと、を含む。マザーボードは、1または複数のプロセッサおよび1または複数の補助ボードを収容するよう構成されている。補助ボードのうちの少なくとも1つは、1または複数のメモリモジュールを含むよう構成されている。モジュールベイのうちの1または複数は、1または複数の不揮発性メモリ/ストレージモジュールをそれぞれ収容するよう構成されている。各不揮発性メモリ/ストレージモジュールは、永続メモリおよび大容量ストレージ動作を実行するよう動作可能である。上記コンピュータシステムはさらに、1または複数の不揮発性メモリ/ストレージモジュールを1または複数のメモリモジュールに通信可能に連結するための1または複数の第1のメモリチャネルと、1または複数のメモリモジュールを1または複数のプロセッサに通信可能に連結するための1または複数の第2のメモリチャネルと、を含む。
例11において、例10の主題は任意に、メモリモジュールのうちの少なくとも1つは、第1のメモリチャネルのうちの少なくとも1つを経由して、不揮発性メモリ/ストレージモジュールのうちの少なくとも1つにアクセスするよう動作可能なコントローラを含む複数の特徴を含み得る。
例12において、例10または11のうちのいずれか1つの主題は任意に、メモリモジュールのうちの少なくとも1つは、第2のメモリチャネルのうちの少なくとも1つを経由して、プロセッサのうちの少なくとも1つにアクセスするよう動作可能なコントローラを含む複数の特徴を含み得る。
例13において、例10から12のうちのいずれか1つの主題は任意に、複数のメモリモジュールは、複数のダイナミックランダムアクセスメモリ(DRAM)ベースのメモリモジュールおよび複数のDRAMベースのダブルデータレート(DDR)デュアルインラインメモリモジュールのうちの1つを含む複数の特徴を含み得る。
例14において、例10から13のうちのいずれか1つの主題は任意に、メモリモジュールのうちの少なくとも1つは、マルチポートメモリモジュールである、複数の特徴を含み得る。
例15において、例14の主題は任意に、マルチポートメモリモジュールは上記コントローラと、上記コントローラに通信可能に連結された複数の揮発性または不揮発性メモリサブモジュールと、上記コントローラおよび上記複数の揮発性または不揮発性メモリサブモジュールを上記第1のメモリチャネルのうちの1または複数に通信可能に連結するよう動作可能な第1の相互接続と、上記コントローラおよび上記複数の揮発性または不揮発性メモリサブモジュールを上記第2のメモリチャネルのうちの1または複数に通信可能に連結するよう動作可能な第2の相互接続と、を含む複数の特徴を含み得る。
例16において、例10から14のうちのいずれか1つの主題は任意に、メモリモジュールのうちの少なくとも1つは、ダミーのデュアルインラインメモリモジュール(DIMM)である、複数の特徴を含み得る。
例17において、例10の主題は任意に、不揮発性メモリ/ストレージモジュールは、予め定められた業界標準のフォームファクタに準拠するよう構成されている複数の特徴を含み得る。
例18において、例10から17のうちのいずれか1つの主題は任意に、不揮発性メモリ/ストレージモジュールは、ホットスワップ可能であるように構成される複数の特徴を含み得る。
例19は、コントローラと、上記コントローラに通信可能に連結された複数の揮発性または不揮発性メモリモジュールと、上記コントローラおよび上記複数の揮発性または不揮発性メモリモジュールを回路基板に通信可能に連結するよう動作可能な第1の相互接続と、上記コントローラおよび上記複数の揮発性または不揮発性メモリモジュールを1または複数のメモリチャネルに通信可能に連結するよう動作可能な第2の相互接続と、を含むマルチポートメモリモジュールである。
例20は、システムバスと、メモリバスと、上記システムバスに通信可能に連結されたディスプレイと、を備え、例19に記載の上記マルチポートメモリモジュールは、上記メモリバスに通信可能に連結されている、コンピュータシステムである。
例21は、1または複数のプロセッサおよび1または複数のメモリモジュールベイを含む、コンピュータシステムを提供する段階と、上記メモリモジュールベイ内の不揮発性メモリ/ストレージモジュールをプロセッサに通信可能に連結するための複数のメモリチャネルを提供する段階と、それぞれの上記メモリモジュールベイ内の上記不揮発性メモリ/ストレージモジュールのうちの1つが故障しているかどうかを決定する段階と、それぞれの上記メモリモジュールベイ内の上記不揮発性メモリ/ストレージモジュールのうちの1つが故障していると決定したら、上記故障した不揮発性メモリ/ストレージモジュールをそれぞれの上記メモリモジュールベイから除去する段階と、上記故障した不揮発性メモリ/ストレージモジュールの代わりに、動作可能な不揮発性メモリ/ストレージモジュールをそれぞれの上記メモリモジュールベイに設置する段階と、を備え、上記メモリモジュールベイのうちの1または複数は、1または複数の不揮発性メモリ/ストレージモジュールをそれぞれ収容し、各不揮発性メモリ/ストレージモジュールは、永続メモリおよび大容量ストレージ動作を実行するよう動作可能である、コンピュータシステム内のメモリを保守する方法である。
例22において、例21の主題は任意に、上記動作可能な不揮発性メモリ/ストレージモジュールを永続メモリおよび大容量ストレージのうちの1または複数として使用する段階を含み得る。
例23は、1または複数のプロセッサおよび1または複数のメモリモジュールベイを含む、コンピュータシステムを提供するための手段と、上記メモリモジュールベイ内の不揮発性メモリ/ストレージモジュールをプロセッサに通信可能に連結するための複数のメモリチャネルを提供するための手段と、それぞれの上記メモリモジュールベイ内の上記不揮発性メモリ/ストレージモジュールのうちの1つが故障しているかどうかを決定するための手段と、それぞれの上記メモリモジュールベイ内の上記不揮発性メモリ/ストレージモジュールのうちの1つが故障していると決定したら、上記故障した不揮発性メモリ/ストレージモジュールをそれぞれの上記メモリモジュールベイから除去するための手段と、上記故障した不揮発性メモリ/ストレージモジュールの代わりに、動作可能な不揮発性メモリ/ストレージモジュールをそれぞれの上記メモリモジュールベイに設置するための手段と、を含み、上記メモリモジュールベイのうちの1または複数は、1または複数の不揮発性メモリ/ストレージモジュールをそれぞれ収容し、各不揮発性メモリ/ストレージモジュールは、永続メモリおよび大容量ストレージ動作を実行するよう動作可能である、コンピュータシステム内のメモリを保守する方法である。
例24において、例23の主題は任意に、上記動作可能な不揮発性メモリ/ストレージモジュールを永続メモリおよび大容量ストレージのうちの1または複数として使用するための手段を含み得る。
本開示の主題の様々な実施形態の複数の例示が本明細書に記載されているが、当業者であれば、開示された本主題を実装する他の複数の方法が代替的に使用可能であることを理解するであろう。上記説明においては、開示された本主題の様々な態様が記載された。説明目的のため、開示された本主題の完全な理解を提供すべく、具体的な複数のシステム、装置、方法、および構成が記載された。しかしながら、本開示の利益を有する当業者であれば、本明細書に記載された具体的な詳細がなくても、当該主題は実施可能であることを理解するであろう。他の複数の例においては、開示された本主題を不明瞭にしないように、複数の周知の機能、コンポーネント、および/またはモジュールが省略、簡略化、または組み合わされた。
本明細書で採用される用語「動作可能」は、デバイス、システム、または装置が電源オン状態の場合、対応するデバイス、システム、装置等はその所望の機能を動作可能であるか、または動作するよう適合されていることを意味することに留意されたい。さらに、本開示の主題の様々な実施形態は、ハードウェア、ファームウェア、ソフトウェア、またはそれらのいくつかの組み合わせで実装されてよく、複数の命令、関数、プロシージャ、データ構造体、ロジック、アプリケーションプログラム、設計表現、および/またはシミュレーション、エミュレーション、および/または製造設計のためのフォーマットのような、機械によるアクセス時、その機械にタスクを実行させ、抽象データ型または低レベルハードウェアコンテキストを定義させ、または結果を生成させることをもたらすプログラムコードへの参照、またはとこれと併用して説明されてよい。
図面中に示される複数の技術は、格納されたコードおよび/またはデータを使用して実装され得、並びに/または汎用目的の複数のコンピュータ若しくはコンピューティングデバイスのような1または複数のコンピューティングデバイス上で実行され得ることにさらに留意されたい。そのような複数のコンピュータ若しくはコンピューティングデバイスは、機械可読ストレージ媒体(例えば、複数の磁気ディスク、光ディスク、ランダムアクセスメモリ(RAM)、リードオンリメモリ(ROM)、フラッシュメモリデバイス、相変化メモリ)、および機械可読通信媒体(例えば、搬送波、赤外線信号、デジタル信号等のような電気信号、光信号、音信号、または他の形態の伝搬信号)のような機械可読媒体を使用して、コードおよび/またはデータを格納および通信(内部でおよび/またはネットワークを介して他の複数のコンピューティングデバイスと)する。
本明細書で採用されるいずれの要素、動作、または命令も、明示的にそのように記載されない限り、本願において重要または必須であると解釈されるべきではない。また、本明細書で採用される通り、「a」という冠詞は、1または複数の項目を含むよう意図される。1項目のみが意図される場合、用語「1つ」または同様の文言が採用される。さらに、「基づく」という文言は、別途明示的に記載されない限り、「少なくとも部分的に基づく」ことを意味することが意図される。
本発明は、本明細書で開示された複数の特定の実施形態に限定されず、本発明は、以下の特許請求の範囲に属するいずれかのおよびすべての特定の実施形態および均等物を含むことが意図されている。

Claims (24)

  1. 筐体と、
    前記筐体に搭載されたマザーボードと、
    前記筐体に搭載された1または複数のモジュールベイと、を備え、
    前記マザーボードは、1または複数のプロセッサを収容し、
    前記モジュールベイのうちの1または複数は、1または複数の不揮発性メモリ/ストレージモジュールをそれぞれ収容し、各不揮発性メモリ/ストレージモジュールは、永続メモリおよび大容量ストレージ動作を実行し、
    前記1または複数の不揮発性メモリ/ストレージモジュールを前記1または複数のプロセッサにそれぞれ通信可能に連結するための1または複数の第1のメモリチャネルをさらに備える、サーバアーキテクチャを実装する、コンピュータシステム。
  2. 前記第1のメモリチャネルは、複数のダブルデータレート(DDR)メモリチャネル、複数の入/出力(I/O)相互接続、および複数のファブリック相互接続のうちの1つを含む、請求項1に記載のコンピュータシステム。
  3. 前記不揮発性メモリ/ストレージモジュールは、予め定められた業界標準のフォームファクタに準拠する、請求項1または2に記載のコンピュータシステム。
  4. 前記不揮発性メモリ/ストレージモジュールは、ホットスワップ可能である、請求項1または2に記載のシステム。
  5. 前記不揮発性メモリ/ストレージモジュールのうちの少なくとも1つは、ソリッドステートドライブ(SSD)である、請求項1に記載のコンピュータシステム。
  6. 前記第1のメモリチャネルのうちの少なくとも1つは、ペリフェラルコンポーネントインターコネクトエクスプレス(PCIe)バスである、請求項1、2、および5のいずれか一項に記載のコンピュータシステム。
  7. 前記マザーボードは、1または複数の補助ボードを収容し、前記補助ボードのうちの少なくとも1つは、1または複数のメモリモジュールを含む、請求項1に記載のコンピュータシステム。
  8. 前記メモリモジュールは、複数のダイナミックランダムアクセスメモリ(DRAM)ベースのメモリモジュール、および複数のDRAMベースのダブルデータレート(DDR)デュアルインラインメモリモジュールのうちの1つを含む、請求項7に記載のコンピュータシステム。
  9. 前記1または複数のメモリモジュールを前記1または複数のプロセッサにそれぞれ通信可能に連結するための1または複数の第2のメモリチャネルをさらに備える、請求項1、7、および8のいずれか一項に記載のコンピュータシステム。
  10. 筐体と、
    前記筐体に搭載されたマザーボードと、
    前記筐体に搭載された1または複数のモジュールベイと、を備え、
    前記マザーボードは、1または複数のプロセッサを収容し、
    前記マザーボードは、1または複数の補助ボードをさらに収容し、前記補助ボードのうちの少なくとも1つは、1または複数のメモリモジュールを含み、
    前記モジュールベイのうちの1または複数は、1または複数の不揮発性メモリ/ストレージモジュールをそれぞれ収容し、各不揮発性メモリ/ストレージモジュールは、永続メモリおよび大容量ストレージ動作を実行し、
    前記1または複数の不揮発性メモリ/ストレージモジュールを前記1または複数のメモリモジュールに通信可能に連結するための1または複数の第1のメモリチャネルと、
    前記1または複数のメモリモジュールを前記1または複数のプロセッサに通信可能に連結するための1または複数の第2のメモリチャネルと、をさらに備える、サーバアーキテクチャを実装する、コンピュータシステム。
  11. 前記メモリモジュールのうちの少なくとも1つは、前記第1のメモリチャネルのうちの少なくとも1つを経由して、前記不揮発性メモリ/ストレージモジュールのうちの少なくとも1つにアクセスするコントローラを含む、請求項10に記載のコンピュータシステム。
  12. 前記メモリモジュールのうちの少なくとも1つは、前記第2のメモリチャネルのうちの少なくとも1つを経由して、前記プロセッサのうちの少なくとも1つにアクセスするコントローラを含む、請求項10または11に記載のコンピュータシステム。
  13. 前記メモリモジュールは、複数のダイナミックランダムアクセスメモリ(DRAM)ベースのメモリモジュール、および複数のDRAMベースのダブルデータレート(DDR)デュアルインラインメモリモジュールのうちの1つを含む、請求項10または11に記載のコンピュータシステム。
  14. 前記メモリモジュールのうちの少なくとも1つは、マルチポートメモリモジュールである、請求項10または11に記載のコンピュータシステム。
  15. 前記マルチポートメモリモジュールは、
    コントローラと、
    前記コントローラに通信可能に連結された複数の揮発性または不揮発性メモリサブモジュールと、
    前記コントローラおよび前記複数の揮発性または不揮発性メモリサブモジュールを前記第1のメモリチャネルのうちの1または複数に通信可能に連結する第1の相互接続と、
    前記コントローラおよび前記複数の揮発性または不揮発性メモリサブモジュールを前記第2のメモリチャネルのうちの1または複数に通信可能に連結する第2の相互接続と、を含む、請求項14に記載のコンピュータシステム。
  16. 前記メモリモジュールのうちの少なくとも1つは、ダミーのデュアルインラインメモリモジュール(DIMM)である、請求項10または11に記載のコンピュータシステム。
  17. 前記不揮発性メモリ/ストレージモジュールは、予め定められた業界標準のフォームファクタに準拠する、請求項10または11に記載のコンピュータシステム。
  18. 前記不揮発性メモリ/ストレージモジュールは、ホットスワップ可能である、請求項10または11に記載のコンピュータシステム。
  19. コントローラと、
    前記コントローラに通信可能に連結された複数の揮発性または不揮発性メモリモジュールと、
    前記コントローラおよび前記複数の揮発性または不揮発性メモリモジュールを回路基板に通信可能に連結する第1の相互接続と、
    前記コントローラおよび前記複数の揮発性または不揮発性メモリモジュールを1または複数のメモリチャネルに通信可能に連結する第2の相互接続と、を備える、マルチポートメモリモジュール。
  20. システムバスと、
    メモリバスと、
    前記システムバスに通信可能に連結されたディスプレイと、を備え、
    請求項19に記載の前記マルチポートメモリモジュールは、前記メモリバスに通信可能に連結されている、コンピュータシステム。
  21. 1または複数のプロセッサおよび1または複数のメモリモジュールベイを含む、コンピュータシステムを提供する段階であって、前記メモリモジュールベイのうちの1または複数は、1または複数の不揮発性メモリ/ストレージモジュールをそれぞれ収容し、各不揮発性メモリ/ストレージモジュールは、永続メモリおよび大容量ストレージ動作を実行する、提供する段階と、
    前記メモリモジュールベイ内の前記不揮発性メモリ/ストレージモジュールを前記プロセッサに通信可能に連結するための複数のメモリチャネルを提供する段階と、
    それぞれのメモリモジュールベイ内の前記不揮発性メモリ/ストレージモジュールのうちの1つが故障しているかどうかを決定する段階と、
    それぞれの前記メモリモジュールベイ内の前記不揮発性メモリ/ストレージモジュールのうちの1つが故障していると決定したら、前記故障した不揮発性メモリ/ストレージモジュールをそれぞれの前記メモリモジュールベイから除去する段階と、
    前記故障した不揮発性メモリ/ストレージモジュールの代わりに、動作可能な不揮発性メモリ/ストレージモジュールをそれぞれの前記メモリモジュールベイに設置する段階と、を備える、コンピュータシステム内のメモリを保守する方法。
  22. 前記動作可能な不揮発性メモリ/ストレージモジュールを永続メモリおよび大容量ストレージのうちの1または複数として使用する段階をさらに備える、請求項21に記載の方法。
  23. 1または複数のプロセッサおよび1または複数のメモリモジュールベイを含む、コンピュータシステムを提供するための手段であって、前記メモリモジュールベイのうちの1または複数は、1または複数の不揮発性メモリ/ストレージモジュールをそれぞれ収容し、各不揮発性メモリ/ストレージモジュールは、永続メモリおよび大容量ストレージ動作を実行する、提供するための手段と、
    前記メモリモジュールベイ内の前記不揮発性メモリ/ストレージモジュールを前記プロセッサに通信可能に連結するための複数のメモリチャネルを提供するための手段と、
    それぞれの前記メモリモジュールベイ内の前記不揮発性メモリ/ストレージモジュールのうちの1つが故障しているかどうかを決定するための手段と、
    それぞれの前記メモリモジュールベイ内の前記不揮発性メモリ/ストレージモジュールのうちの1つが故障していると決定したら、前記故障した不揮発性メモリ/ストレージモジュールをそれぞれの前記メモリモジュールベイから除去するための手段と、
    前記故障した不揮発性メモリ/ストレージモジュールの代わりに、動作可能な不揮発性メモリ/ストレージモジュールをそれぞれの前記メモリモジュールベイに設置するための手段と、を備える、コンピュータシステム内のメモリを保守する方法。
  24. 前記動作可能な不揮発性メモリ/ストレージモジュールを永続メモリおよび大容量ストレージのうちの1または複数として使用するための手段をさらに備える、請求項23に記載の方法。
JP2016519935A 2013-11-27 2013-11-27 保守可能な不揮発性メモリモジュールを有効化するサーバプラットフォームアーキテクチャのための方法および装置 Pending JP2016539397A (ja)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/US2013/072159 WO2015080717A1 (en) 2013-11-27 2013-11-27 Method and apparatus for server platform architectures that enable serviceable nonvolatile memory modules

Publications (1)

Publication Number Publication Date
JP2016539397A true JP2016539397A (ja) 2016-12-15

Family

ID=53199497

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2016519935A Pending JP2016539397A (ja) 2013-11-27 2013-11-27 保守可能な不揮発性メモリモジュールを有効化するサーバプラットフォームアーキテクチャのための方法および装置

Country Status (7)

Country Link
US (1) US10331614B2 (ja)
EP (1) EP3074878A4 (ja)
JP (1) JP2016539397A (ja)
KR (1) KR101781769B1 (ja)
CN (1) CN105981004B (ja)
BR (1) BR112016009230B1 (ja)
WO (1) WO2015080717A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2019537186A (ja) * 2016-09-30 2019-12-19 インテル・コーポレーション Cpuソケット毎に追加メモリモジュールスロットを備えた拡張プラットフォーム

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10649672B1 (en) * 2016-03-31 2020-05-12 EMC IP Holding Company LLC Offloading device maintenance to an external processor in low-latency, non-volatile memory
US10649940B2 (en) 2018-03-05 2020-05-12 Samsung Electronics Co., Ltd. Modular system architecture for supporting multiple solid-state drives
US11157356B2 (en) 2018-03-05 2021-10-26 Samsung Electronics Co., Ltd. System and method for supporting data protection across FPGA SSDs
TWI654521B (zh) * 2018-04-26 2019-03-21 技嘉科技股份有限公司 照明假卡模組
KR20210034726A (ko) 2019-09-20 2021-03-31 삼성전자주식회사 메모리 모듈, 그것을 제어하는 메모리 제어기의 에러 정정 방법, 및 그것을포함하는 컴퓨팅 시스템
US20210279004A1 (en) * 2020-03-03 2021-09-09 Silicon Motion, Inc. Ssd system and ssd control system

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH07152647A (ja) * 1993-01-30 1995-06-16 Shushoku Zen 共有メモリマルチプロセッサ
JP2000305678A (ja) * 1999-03-29 2000-11-02 Sun Microsyst Inc コンピュータ・システムの電源を切らずに構成要素を追加および除去する方法および装置
JP2003044189A (ja) * 2001-07-30 2003-02-14 Fujitsu Ltd 情報処理装置及び回路基板並びにモジュール接続方法
JP2005276208A (ja) * 2004-03-24 2005-10-06 Hewlett-Packard Development Co Lp 通信リンク接続の永久メモリシステム
JP2010538372A (ja) * 2007-09-04 2010-12-09 マイクロン テクノロジー, インク. スケーラブル及び保守可能な固体ドライブ
JP2012058888A (ja) * 2010-09-07 2012-03-22 Buffalo Inc 記憶装置
JP2012530991A (ja) * 2009-06-26 2012-12-06 トムソン ライセンシング データ処理用の装置内のコンバインドメモリおよびストレージデバイス

Family Cites Families (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6223301B1 (en) * 1997-09-30 2001-04-24 Compaq Computer Corporation Fault tolerant memory
US6530033B1 (en) * 1999-10-28 2003-03-04 Hewlett-Packard Company Radial arm memory bus for a high availability computer system
US8266367B2 (en) * 2003-12-02 2012-09-11 Super Talent Electronics, Inc. Multi-level striping and truncation channel-equalization for flash-memory system
US6608564B2 (en) 2000-01-25 2003-08-19 Hewlett-Packard Development Company, L.P. Removable memory cartridge system for use with a server or other processor-based device
US6598174B1 (en) 2000-04-26 2003-07-22 Dell Products L.P. Method and apparatus for storage unit replacement in non-redundant array
US6528904B1 (en) 2000-09-29 2003-03-04 Intel Corporation Power management strategy to support hot swapping of system blades during run time
US7395041B2 (en) 2001-12-31 2008-07-01 Nokia Corporation Mobile phone and method of updating radio channel settings
US7103718B2 (en) 2002-09-03 2006-09-05 Hewlett-Packard Development Company, L.P. Non-volatile memory module for use in a computer system
US8140618B2 (en) * 2006-05-04 2012-03-20 Citrix Online Llc Methods and systems for bandwidth adaptive N-to-N communication in a distributed system
US7761625B2 (en) * 2006-09-28 2010-07-20 Virident Systems, Inc. Methods for main memory with non-volatile type memory modules, and related technologies
US8230145B2 (en) * 2007-07-31 2012-07-24 Hewlett-Packard Development Company, L.P. Memory expansion blade for multiple architectures
WO2009122694A1 (ja) * 2008-03-31 2009-10-08 パナソニック株式会社 キャッシュメモリ装置、キャッシュメモリシステム、プロセッサシステム
US20110047313A1 (en) * 2008-10-23 2011-02-24 Joseph Hui Memory area network for extended computer systems
US20110208900A1 (en) 2010-02-23 2011-08-25 Ocz Technology Group, Inc. Methods and systems utilizing nonvolatile memory in a computer system main memory
KR101491484B1 (ko) * 2010-06-18 2015-02-10 엘에스아이 코포레이션 스케일러블 스토리지 디바이스들
US8851408B2 (en) * 2011-07-26 2014-10-07 John Bihn Grain crushing apparatuses
WO2013112634A1 (en) * 2012-01-23 2013-08-01 The Regents Of The University Of California System and method for implementing transactions using storage device support for atomic updates and flexible interface for managing data logging
US9513845B2 (en) * 2012-03-30 2016-12-06 Violin Memory Inc. Memory module virtualization
WO2014026374A1 (zh) * 2012-08-17 2014-02-20 华为技术有限公司 服务器系统、管理方法及设备

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH07152647A (ja) * 1993-01-30 1995-06-16 Shushoku Zen 共有メモリマルチプロセッサ
JP2000305678A (ja) * 1999-03-29 2000-11-02 Sun Microsyst Inc コンピュータ・システムの電源を切らずに構成要素を追加および除去する方法および装置
JP2003044189A (ja) * 2001-07-30 2003-02-14 Fujitsu Ltd 情報処理装置及び回路基板並びにモジュール接続方法
JP2005276208A (ja) * 2004-03-24 2005-10-06 Hewlett-Packard Development Co Lp 通信リンク接続の永久メモリシステム
JP2010538372A (ja) * 2007-09-04 2010-12-09 マイクロン テクノロジー, インク. スケーラブル及び保守可能な固体ドライブ
JP2012530991A (ja) * 2009-06-26 2012-12-06 トムソン ライセンシング データ処理用の装置内のコンバインドメモリおよびストレージデバイス
JP2012058888A (ja) * 2010-09-07 2012-03-22 Buffalo Inc 記憶装置

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2019537186A (ja) * 2016-09-30 2019-12-19 インテル・コーポレーション Cpuソケット毎に追加メモリモジュールスロットを備えた拡張プラットフォーム

Also Published As

Publication number Publication date
BR112016009230A2 (pt) 2017-08-01
WO2015080717A1 (en) 2015-06-04
US10331614B2 (en) 2019-06-25
KR20160055938A (ko) 2016-05-18
KR101781769B1 (ko) 2017-09-25
CN105981004A (zh) 2016-09-28
EP3074878A4 (en) 2017-07-19
EP3074878A1 (en) 2016-10-05
US20160239460A1 (en) 2016-08-18
BR112016009230B1 (pt) 2022-07-26
CN105981004B (zh) 2020-08-21

Similar Documents

Publication Publication Date Title
JP2016539397A (ja) 保守可能な不揮発性メモリモジュールを有効化するサーバプラットフォームアーキテクチャのための方法および装置
US10108542B2 (en) Serial link storage interface (SLSI) hybrid block storage
US11275678B2 (en) Data storage device with spare blocks for replacing bad block in super block and operating method thereof
CN104115230A (zh) 高效pcms刷新机制背景
US11960900B2 (en) Technologies for fast booting with error-correcting code memory
US11341248B2 (en) Method and apparatus to prevent unauthorized operation of an integrated circuit in a computer system
US10810118B2 (en) Data storage device and operating method thereof
US20200167275A1 (en) System and Method for Providing Per Channel Frequency Optimization in a Double Data Rate Memory System
EP4155953A1 (en) Enabling logic for flexible configuration of memory module data width
US10515674B2 (en) Devices and systems to reduce the number of memory type range registers (MTRRS) used to map processor-associated memory
US20220012173A1 (en) Flexible configuration of memory module data width
US11669470B2 (en) Storage system with capacity scalability and method of operating the same
CN109643295B (zh) 从发起者节点访问耦合到目标节点的存储器
US20230385208A1 (en) Accelerated memory training through in-band configuration register update mode
US11847338B2 (en) Master slave managed memory storage
US11500559B2 (en) Systems and methods for configuring a data storage device
US20240249795A1 (en) Mode register update (mrupd) mode
US20240053891A1 (en) Chipset Attached Random Access Memory
US11537514B2 (en) Data storage device and operating method thereof
KR20240098462A (ko) 메모리 확장기 및 이를 포함하는 컴퓨팅 시스템
GB2546843A (en) Memory module having a memory controller for controlling non-volatile memory

Legal Events

Date Code Title Description
A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20170411

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20170711

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20170912

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20171211

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20180213

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20180626

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20180926

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20190108