JP2021190125A - メモリリソースを管理するためのシステム及び方法 - Google Patents

メモリリソースを管理するためのシステム及び方法 Download PDF

Info

Publication number
JP2021190125A
JP2021190125A JP2021089584A JP2021089584A JP2021190125A JP 2021190125 A JP2021190125 A JP 2021190125A JP 2021089584 A JP2021089584 A JP 2021089584A JP 2021089584 A JP2021089584 A JP 2021089584A JP 2021190125 A JP2021190125 A JP 2021190125A
Authority
JP
Japan
Prior art keywords
server
memory
switch
memory module
cxl
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2021089584A
Other languages
English (en)
Inventor
テジャ マラディ，クリシュナ
Teja Malladi Krishna
チャン，アンドリュー
Chang Andrew
秉 熙 崔
Byunghee Choi
エム ナジャファバディ，エフサン
M Najafabadi Ehsan
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Samsung Electronics Co Ltd
Original Assignee
Samsung Electronics Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from US17/026,087 external-priority patent/US11461263B2/en
Application filed by Samsung Electronics Co Ltd filed Critical Samsung Electronics Co Ltd
Publication of JP2021190125A publication Critical patent/JP2021190125A/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46—Multiprogramming arrangements
    • G06F9/50—Allocation of resources, e.g. of the central processing unit [CPU]
    • G06F9/5005—Allocation of resources, e.g. of the central processing unit [CPU] to service a request
    • G06F9/5027—Allocation of resources, e.g. of the central processing unit [CPU] to service a request the resource being a machine, e.g. CPUs, Servers, Terminals
    • G06F9/505—Allocation of resources, e.g. of the central processing unit [CPU] to service a request the resource being a machine, e.g. CPUs, Servers, Terminals considering the load
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L49/00—Packet switching elements
    • H04L49/90—Buffering arrangements
    • H04L49/9063—Intermediate storage in different physical parts of a node or terminal
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F15/00—Digital computers in general; Data processing equipment in general
    • G06F15/16—Combinations of two or more digital computers each having at least an arithmetic unit, a program unit and a register, e.g. for a simultaneous processing of several programs
    • G06F15/163—Interprocessor communication
    • G06F15/173—Interprocessor communication using an interconnection network, e.g. matrix, shuffle, pyramid, star, snowflake
    • G06F15/17306—Intercommunication techniques
    • G06F15/17331—Distributed shared memory [DSM], e.g. remote direct memory access [RDMA]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F12/00—Accessing, addressing or allocating within memory systems or architectures
    • G06F12/02—Addressing or allocation; Relocation
    • G06F12/08—Addressing or allocation; Relocation in hierarchically structured memory systems, e.g. virtual memory systems
    • G06F12/0802—Addressing of a memory level in which the access to the desired data or data block requires associative addressing means, e.g. caches
    • G06F12/0806—Multiuser, multiprocessor or multiprocessing cache systems
    • G06F12/0815—Cache consistency protocols
    • G06F12/0817—Cache consistency protocols using directory methods
    • G06F12/0828—Cache consistency protocols using directory methods with concurrent directory accessing, i.e. handling multiple concurrent coherency transactions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F12/00—Accessing, addressing or allocating within memory systems or architectures
    • G06F12/02—Addressing or allocation; Relocation
    • G06F12/0223—User address space allocation, e.g. contiguous or non contiguous base addressing
    • G06F12/0284—Multiple user address space allocation, e.g. using different base addresses
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F12/00—Accessing, addressing or allocating within memory systems or architectures
    • G06F12/02—Addressing or allocation; Relocation
    • G06F12/0223—User address space allocation, e.g. contiguous or non contiguous base addressing
    • G06F12/0292—User address space allocation, e.g. contiguous or non contiguous base addressing using tables or multilevel address translation means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F12/00—Accessing, addressing or allocating within memory systems or architectures
    • G06F12/02—Addressing or allocation; Relocation
    • G06F12/08—Addressing or allocation; Relocation in hierarchically structured memory systems, e.g. virtual memory systems
    • G06F12/0802—Addressing of a memory level in which the access to the desired data or data block requires associative addressing means, e.g. caches
    • G06F12/0806—Multiuser, multiprocessor or multiprocessing cache systems
    • G06F12/0811—Multiuser, multiprocessor or multiprocessing cache systems with multilevel cache hierarchies
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F12/00—Accessing, addressing or allocating within memory systems or architectures
    • G06F12/02—Addressing or allocation; Relocation
    • G06F12/08—Addressing or allocation; Relocation in hierarchically structured memory systems, e.g. virtual memory systems
    • G06F12/0802—Addressing of a memory level in which the access to the desired data or data block requires associative addressing means, e.g. caches
    • G06F12/0806—Multiuser, multiprocessor or multiprocessing cache systems
    • G06F12/0813—Multiuser, multiprocessor or multiprocessing cache systems with a network or matrix configuration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F12/00—Accessing, addressing or allocating within memory systems or architectures
    • G06F12/02—Addressing or allocation; Relocation
    • G06F12/08—Addressing or allocation; Relocation in hierarchically structured memory systems, e.g. virtual memory systems
    • G06F12/0802—Addressing of a memory level in which the access to the desired data or data block requires associative addressing means, e.g. caches
    • G06F12/0806—Multiuser, multiprocessor or multiprocessing cache systems
    • G06F12/0815—Cache consistency protocols
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F12/00—Accessing, addressing or allocating within memory systems or architectures
    • G06F12/02—Addressing or allocation; Relocation
    • G06F12/08—Addressing or allocation; Relocation in hierarchically structured memory systems, e.g. virtual memory systems
    • G06F12/0802—Addressing of a memory level in which the access to the desired data or data block requires associative addressing means, e.g. caches
    • G06F12/0806—Multiuser, multiprocessor or multiprocessing cache systems
    • G06F12/0815—Cache consistency protocols
    • G06F12/0831—Cache consistency protocols using a bus scheme, e.g. with bus monitoring or watching means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F12/00—Accessing, addressing or allocating within memory systems or architectures
    • G06F12/02—Addressing or allocation; Relocation
    • G06F12/08—Addressing or allocation; Relocation in hierarchically structured memory systems, e.g. virtual memory systems
    • G06F12/0802—Addressing of a memory level in which the access to the desired data or data block requires associative addressing means, e.g. caches
    • G06F12/0866—Addressing of a memory level in which the access to the desired data or data block requires associative addressing means, e.g. caches for peripheral storage systems, e.g. disk cache
    • G06F12/0868—Data transfer between cache memory and other subsystems, e.g. storage devices or host systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F13/00—Interconnection of, or transfer of information or other signals between, memories, input/output devices or central processing units
    • G06F13/14—Handling requests for interconnection or transfer
    • G06F13/16—Handling requests for interconnection or transfer for access to memory bus
    • G06F13/1605—Handling requests for interconnection or transfer for access to memory bus based on arbitration
    • G06F13/1652—Handling requests for interconnection or transfer for access to memory bus based on arbitration in a multiprocessor architecture
    • G06F13/1663—Access to shared memory
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F13/00—Interconnection of, or transfer of information or other signals between, memories, input/output devices or central processing units
    • G06F13/14—Handling requests for interconnection or transfer
    • G06F13/16—Handling requests for interconnection or transfer for access to memory bus
    • G06F13/1668—Details of memory controller
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F13/00—Interconnection of, or transfer of information or other signals between, memories, input/output devices or central processing units
    • G06F13/14—Handling requests for interconnection or transfer
    • G06F13/20—Handling requests for interconnection or transfer for access to input/output bus
    • G06F13/28—Handling requests for interconnection or transfer for access to input/output bus using burst mode transfer, e.g. direct memory access DMA, cycle steal
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F13/00—Interconnection of, or transfer of information or other signals between, memories, input/output devices or central processing units
    • G06F13/38—Information transfer, e.g. on bus
    • G06F13/40—Bus structure
    • G06F13/4004—Coupling between buses
    • G06F13/4022—Coupling between buses using switching circuits, e.g. switching matrix, connection or expansion network
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F13/00—Interconnection of, or transfer of information or other signals between, memories, input/output devices or central processing units
    • G06F13/38—Information transfer, e.g. on bus
    • G06F13/40—Bus structure
    • G06F13/4004—Coupling between buses
    • G06F13/4027—Coupling between buses using bus bridges
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F13/00—Interconnection of, or transfer of information or other signals between, memories, input/output devices or central processing units
    • G06F13/38—Information transfer, e.g. on bus
    • G06F13/42—Bus transfer protocol, e.g. handshake; Synchronisation
    • G06F13/4204—Bus transfer protocol, e.g. handshake; Synchronisation on a parallel bus
    • G06F13/4221—Bus transfer protocol, e.g. handshake; Synchronisation on a parallel bus being an input/output bus, e.g. ISA bus, EISA bus, PCI bus, SCSI bus
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F13/00—Interconnection of, or transfer of information or other signals between, memories, input/output devices or central processing units
    • G06F13/38—Information transfer, e.g. on bus
    • G06F13/42—Bus transfer protocol, e.g. handshake; Synchronisation
    • G06F13/4282—Bus transfer protocol, e.g. handshake; Synchronisation on a serial bus, e.g. I2C bus, SPI bus
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0602—Interfaces specially adapted for storage systems specifically adapted to achieve a particular effect
    • G06F3/0608—Saving storage space on storage systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0628—Interfaces specially adapted for storage systems making use of a particular technique
    • G06F3/0653—Monitoring storage devices or systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0628—Interfaces specially adapted for storage systems making use of a particular technique
    • G06F3/0655—Vertical data movement, i.e. input-output transfer; data movement between one or more hosts and one or more storage devices
    • G06F3/0659—Command handling arrangements, e.g. command buffers, queues, command scheduling
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0668—Interfaces specially adapted for storage systems adopting a particular infrastructure
    • G06F3/067—Distributed or networked storage systems, e.g. storage area networks [SAN], network attached storage [NAS]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46—Multiprogramming arrangements
    • G06F9/50—Allocation of resources, e.g. of the central processing unit [CPU]
    • G06F9/5005—Allocation of resources, e.g. of the central processing unit [CPU] to service a request
    • G06F9/5011—Allocation of resources, e.g. of the central processing unit [CPU] to service a request the resources being hardware resources other than CPUs, Servers and Terminals
    • G06F9/5016—Allocation of resources, e.g. of the central processing unit [CPU] to service a request the resources being hardware resources other than CPUs, Servers and Terminals the resource being the memory
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L12/00—Data switching networks
    • H04L12/02—Details
    • H04L12/10—Current supply arrangements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L47/00—Traffic control in data switching networks
    • H04L47/10—Flow control; Congestion control
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L49/00—Packet switching elements
    • H04L49/35—Switches specially adapted for specific applications
    • H04L49/351—Switches specially adapted for specific applications for local area network [LAN], e.g. Ethernet switches
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L49/00—Packet switching elements
    • H04L49/35—Switches specially adapted for specific applications
    • H04L49/356—Switches specially adapted for specific applications for storage area networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F12/00—Accessing, addressing or allocating within memory systems or architectures
    • G06F12/02—Addressing or allocation; Relocation
    • G06F12/04—Addressing variable-length words or parts of words
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F12/00—Accessing, addressing or allocating within memory systems or architectures
    • G06F12/02—Addressing or allocation; Relocation
    • G06F12/08—Addressing or allocation; Relocation in hierarchically structured memory systems, e.g. virtual memory systems
    • G06F12/0802—Addressing of a memory level in which the access to the desired data or data block requires associative addressing means, e.g. caches
    • G06F12/0804—Addressing of a memory level in which the access to the desired data or data block requires associative addressing means, e.g. caches with main memory updating
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F12/00—Accessing, addressing or allocating within memory systems or architectures
    • G06F12/02—Addressing or allocation; Relocation
    • G06F12/08—Addressing or allocation; Relocation in hierarchically structured memory systems, e.g. virtual memory systems
    • G06F12/10—Address translation
    • G06F12/1072—Decentralised address translation, e.g. in distributed shared memory systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2209/00—Indexing scheme relating to G06F9/00
    • G06F2209/50—Indexing scheme relating to G06F9/50
    • G06F2209/5022—Workload threshold
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2209/00—Indexing scheme relating to G06F9/00
    • G06F2209/50—Indexing scheme relating to G06F9/50
    • G06F2209/505—Clust
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2212/00—Indexing scheme relating to accessing, addressing or allocation within memory systems or architectures
    • G06F2212/10—Providing a specific technical effect
    • G06F2212/1008—Correctness of operation, e.g. memory ordering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2212/00—Indexing scheme relating to accessing, addressing or allocation within memory systems or architectures
    • G06F2212/10—Providing a specific technical effect
    • G06F2212/1016—Performance improvement
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2212/00—Indexing scheme relating to accessing, addressing or allocation within memory systems or architectures
    • G06F2212/10—Providing a specific technical effect
    • G06F2212/1016—Performance improvement
    • G06F2212/1024—Latency reduction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2212/00—Indexing scheme relating to accessing, addressing or allocation within memory systems or architectures
    • G06F2212/10—Providing a specific technical effect
    • G06F2212/1028—Power efficiency
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2212/00—Indexing scheme relating to accessing, addressing or allocation within memory systems or architectures
    • G06F2212/10—Providing a specific technical effect
    • G06F2212/1032—Reliability improvement, data loss prevention, degraded operation etc
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2212/00—Indexing scheme relating to accessing, addressing or allocation within memory systems or architectures
    • G06F2212/10—Providing a specific technical effect
    • G06F2212/1041—Resource optimization
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2212/00—Indexing scheme relating to accessing, addressing or allocation within memory systems or architectures
    • G06F2212/10—Providing a specific technical effect
    • G06F2212/1041—Resource optimization
    • G06F2212/1044—Space efficiency improvement
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2212/00—Indexing scheme relating to accessing, addressing or allocation within memory systems or architectures
    • G06F2212/15—Use in a specific computing environment
    • G06F2212/154—Networked environment
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2212/00—Indexing scheme relating to accessing, addressing or allocation within memory systems or architectures
    • G06F2212/16—General purpose computing application
    • G06F2212/163—Server or database system
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2212/00—Indexing scheme relating to accessing, addressing or allocation within memory systems or architectures
    • G06F2212/20—Employing a main memory using a specific memory technology
    • G06F2212/205—Hybrid memory, e.g. using both volatile and non-volatile memory
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2212/00—Indexing scheme relating to accessing, addressing or allocation within memory systems or architectures
    • G06F2212/30—Providing cache or TLB in specific location of a processing system
    • G06F2212/304—In main memory subsystem
    • G06F2212/3042—In main memory subsystem being part of a memory device, e.g. cache DRAM
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2212/00—Indexing scheme relating to accessing, addressing or allocation within memory systems or architectures
    • G06F2212/40—Specific encoding of data in memory or cache
    • G06F2212/401—Compressed data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2212/00—Indexing scheme relating to accessing, addressing or allocation within memory systems or architectures
    • G06F2212/62—Details of cache specific to multiprocessor cache arrangements
    • G06F2212/621—Coherency control relating to peripheral accessing, e.g. from DMA or I/O device
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2212/00—Indexing scheme relating to accessing, addressing or allocation within memory systems or architectures
    • G06F2212/65—Details of virtual memory and virtual address translation
    • G06F2212/657—Virtual address space management
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2212/00—Indexing scheme relating to accessing, addressing or allocation within memory systems or architectures
    • G06F2212/72—Details relating to flash memory management
    • G06F2212/7201—Logical to physical mapping or translation of blocks or pages
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2212/00—Indexing scheme relating to accessing, addressing or allocation within memory systems or architectures
    • G06F2212/72—Details relating to flash memory management
    • G06F2212/7208—Multiple device management, e.g. distributing data over multiple flash devices
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2213/00—Indexing scheme relating to interconnection of, or transfer of information or other signals between, memories, input/output devices or central processing units
    • G06F2213/0026—PCI express
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Signal Processing (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Software Systems (AREA)
  • Human Computer Interaction (AREA)
  • Computer Hardware Design (AREA)
  • Mathematical Physics (AREA)
  • Multi Processors (AREA)
  • Memory System Of A Hierarchy Structure (AREA)
  • Memory System (AREA)
  • Bus Control (AREA)

Abstract

【課題】メモリリソースを管理するためのシステム及び方法を提供する。【解決手段】本発明によるシステムは、キャッシュコヒーレントスイッチと第１のメモリモジュールとを有する第１のメモリサーバと、第２のメモリサーバと、第１のメモリサーバ及び第２のメモリサーバに接続されるサーバリンクスイッチと、を含み、第１のメモリモジュールは、キャッシュコヒーレントスイッチに接続され、キャッシュコヒーレントスイッチは、サーバリンクスイッチに接続される。【選択図】図１Ａ

Description

本発明は、コンピューティングシステムに係り、特に、一つ以上のサーバを含むシステム内のメモリリソースを管理するためのシステム及び方法に関する。
本背景セクションは、内容のみを提供することを意図する。このセクションの実施形態又は概念の開示は、先行技術として認められない。
一部のサーバシステムは、ネットワークプロトコルによって接続されたサーバのコレクションを含み得る。このようなシステム内の各サーバは、処理リソース（例えば、プロセッサ）及びメモリリソース（例えば、システムメモリ）を含み得る。ある場合では、一つのサーバの処理リソースが別のサーバのメモリリソースにアクセスすることが有利であり、いずれかのサーバの処理リソースを最小限に抑えながら、このようなアクセスを行うことが有利である。
従って、一つ以上のサーバを含むシステム内のメモリリソースを管理するための改善されたシステム及び方法が必要である。
特開２０２０−２０１９５７号公報
本発明は、上記従来技術に鑑みてなされたものであって、本発明の目的は、一つ以上のサーバを含むシステム内のメモリリソースを管理するための改善されたシステム及び方法を提供することにある。
上記目的を達成するためになされた本発明によるデータ記憶及び処理システムは、サーバリンクスイッチによって接続された一つ以上のサーバ及び一つ以上のメモリサーバを含む。各メモリサーバは、キャッシュコヒーレントスイッチを介してサーバリンクスイッチに接続された一つ以上のメモリモジュールを含む。各メモリモジュールは、強化した機能を提供するコントローラ（例えば、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）又は特定用途向け集積回路（ＡＳＩＣ））を含む。これらの機能は、サーバが（例えば、リモートダイレクトメモリアクセス（ＲＤＭＡ）を実行することによって）中央処理装置（ＣＰＵ）などのプロセッサにアクセスすることなく、メモリモジュールと相互作用できるようにすることを含む。
前記システムは、キャッシュコヒーレントスイッチ及び第１のメモリモジュールを含む第１のメモリサーバと、第２のメモリサーバと、前記第１のメモリサーバ及び前記第２のメモリサーバに接続されたサーバリンクスイッチと、を備え、前記第１のメモリモジュールは、前記キャッシュコヒーレントスイッチに接続され、前記キャッシュコヒーレントスイッチは、前記サーバリンクスイッチに接続される。
上記目的を達成するためになされた本発明によるサーバリンクスイッチは、第１のメモリモジュールの電源を無効にできる。
前記サーバリンクスイッチは、前記第１のメモリモジュールの電源を無効にするように前記キャッシュコヒーレントスイッチに指示することによって、前記第１のメモリモジュールへの電源を無効にし、前記キャッシュコヒーレントスイッチは、前記サーバリンクスイッチによって前記第１のメモリモジュールへの電源を無効にするように指示されると、前記第１のメモリモジュールの電源を無効にする。
上記目的を達成するためになされた本発明によるキャッシュコヒーレントスイッチは、前記第１のメモリモジュール内で重複排除を実行する。
前記キャッシュコヒーレントスイッチは、データを圧縮し、前記第１のメモリモジュール内に圧縮したデータを格納する。
前記サーバリンクスイッチは、前記第１のメモリモジュールの状態を照会する。
前記サーバリンクスイッチは、インテリジェントプラットホーム管理インターフェース（ＩＰＭＩ）を介して前記第１のメモリモジュールの状態を照会する。
前記状態を照会することは、電源状態、ネットワーク状態、及びエラーチェック状態からなるグループから選択された一つの状態を照会することを含む。
前記サーバリンクスイッチは、前記第１のメモリサーバに指示されたキャッシュ要求を一括する。
前記システムは、前記サーバリンクスイッチに接続された第３のメモリモジュールをさらに含み、前記サーバリンクスイッチは、前記第１のメモリサーバに格納されたデータと前記第３のメモリサーバに格納されたデータとの間で厳密な一貫性、逐次一貫性、因果一貫性、及びプロセッサ一貫性からなるグループから選択された一貫性レベルを維持する。
前記キャッシュコヒーレントスイッチは、メモリの第１の領域の充足度を監視し、前記メモリの前記第１の領域から前記メモリの第２の領域にデータを移動し、前記メモリの前記第１の領域は、揮発性メモリ内にあり、前記メモリの前記第２の領域は、永続メモリ内にある。
前記サーバリンクスイッチは、ＰＣＩｅスイッチを含む。
前記サーバリンクスイッチは、ＣＸＬスイッチを含む。
前記サーバリンクスイッチは、ＴｏＲ ＣＸＬスイッチを含む。
前記サーバリンクスイッチは、前記第２のメモリサーバから前記第１のメモリサーバにデータを送信し、前記データに対してフロー制御を実行する。
前記システムは、前記サーバリンクスイッチに接続された第３のメモリサーバをさらに含み、前記サーバリンクスイッチは、前記第２のメモリサーバから第１のパケットを受信し、前記第３のメモリサーバから第２のパケットを受信し、前記第１のパケット及び前記第２のパケットを前記第１のメモリサーバに送信する。
第１のメモリサーバと、第１のサーバと、第２のサーバと、前記第１のメモリサーバ、前記第１のサーバ、及び前記第２のサーバに接続されたサーバリンクスイッチと、を含み、前記第１のメモリサーバは、キャッシュコヒーレントスイッチと、第１のメモリモジュールと、を含み、前記第１のサーバは、内蔵プログラム処理回路を含み、前記第２のサーバは、内蔵プログラム処理回路を含むコンピューティングシステムにおいて、リモートダイレクトメモリアクセスを実行する方法は、前記サーバリンクスイッチによって前記第１のサーバから第１のパケットを受信する段階と、前記サーバリンクスイッチによって前記第２のサーバから第２のパケットを受信する段階と、前記第１のパケット及び前記第２のパケットを前記第１のメモリサーバに送信する段階と、を含む。
前記方法は、前記キャッシュコヒーレントスイッチによってデータを圧縮する段階と、前記第１のメモリモジュールに前記データを格納する段階と、をさらに含む。
前記方法は、前記サーバリンクスイッチによって前記第１のメモリサーバの状態を照会する段階をさらに含む。
システムは、キャッシュコヒーレントスイッチ、及び第１のメモリモジュールを含む第１のメモリサーバと、第２のメモリサーバと、前記第１のメモリサーバ及び前記第２のメモリサーバに接続されたサーバリンクスイッチング手段と、を備え、前記第１のメモリモジュールは、前記キャッシュコヒーレントスイッチに接続され、前記キャッシュコヒーレントスイッチは、前記サーバリンクスイッチング手段に接続される。
本発明によれば、サーバがリモートダイレクトメモリアクセス（ＲＤＭＡ）を実行することによって、プロセッサにアクセスすることなく、メモリモジュールと相互作用することができる。
本発明の一実施形態に係るキャッシュコヒーレント接続を使用して、メモリリソースをコンピューティングリソースに接続するためのシステムのブロック図である。 本発明の一実施形態に係るキャッシュコヒーレント接続を使用して、メモリリソースをコンピューティングリソースに接続するために拡張ソケットアダプタを使用するシステムのブロック図である。 本発明の一実施形態に係るイーサネットＴｏＲ（ｔｏｐ ｏｆ ｒａｃｋ）スイッチを使用してメモリを集合するシステムのブロック図である。 本発明の一実施形態に係るイーサネットＴｏＲスイッチ及び拡張ソケットアダプタを使用してメモリを集合するシステムのブロック図である。 本発明の一実施形態に係るメモリを集合するシステムのブロック図である。 本発明の一実施形態に係る拡張ソケットアダプタを使用してメモリを集合するシステムのブロック図である。 本発明の一実施形態に係るサーバを分けるシステムのブロック図である。 本発明の一実施形態に係る、図１Ａ〜図１Ｇに示す実施形態のための処理回路をバイパス（ｂｙｐａｓｓ）して、リモートダイレクトメモリアクセス（Ｒｅｍｏｔｅ Ｄｉｒｅｃｔ Ｍｅｍｏｒｙ Ａｃｃｅｓｓ：ＲＤＭＡ）転送を実行する方法を説明するためのフローチャートである。 本発明の一実施形態に係る、図１Ａ〜図１Ｄに示す実施形態のための処理回路の関与でＲＤＭＡ転送を実行する方法を説明するためのフローチャートである。 本発明の一実施形態に係る、図１Ｅ及び図１Ｆに示す実施形態のためのコンピュートエクスプレスリンク（ｃｏｍｐｕｔｅ ｅｘｐｒｅｓｓ ｌｉｎｋ：ＣＸＬ）スイッチを介してＲＤＭＡ転送を実行する方法を説明するためのフローチャートである。 本発明の一実施形態に係る、図１Ｇに示すＣＸＬスイッチを介してＲＤＭＡ転送を実行する方法を説明するためのフローチャートである。
以下、本発明を実施するための形態の具体例を、図面を参照しながら詳細に説明する。
図面を参照して、以下の詳細な説明は、本明細書で提供するメモリリソースを管理するためのシステム及び方法の例示的な実施形態の説明を意図しており、本明細書が構成又は利用され得る形態のみを示すことを意図するものではない。この説明は、例示する実施形態に関連する本明細書の特徴を提示する。しかし、同一又は同等の機能及び構造は、本明細書の範囲内に含まれることを意図している異なる実施形態によって達成できることを理解すべきである。本明細書の他の箇所に記載のように、同様の番号は同様の要素又は特徴を示すことを意図する。
ペリフェラル・コンポーネント・インターコネクト・エクスプレス（Ｐｅｒｉｐｈｅｒａｌ Ｃｏｍｐｏｎｅｎｔ Ｉｎｔｅｒｃｏｎｎｅｃｔ ｅｘｐｒｅｓｓ：ＰＣＩｅ）は、メモリへ接続する際の有用性を制限し得る、比較的高く可変レイテンシを有するコンピュータインターフェイスを指す。ＣＸＬは固定され、比較的短いパケットサイズを提供し、その結果、比較的高い帯域幅及び比較的低い固定レイテンシを提供し得るＰＣＩｅ５．０を介した通信のためのオープンな業界標準である。従って、ＣＸＬはキャッシュコヒーレンスをサポートすることができ、ＣＸＬはメモリへの接続に適している。ＣＸＬはさらに、サーバでホストとアクセラレータ、メモリデバイス、及びネットワークインターフェース回路（又は、「ネットワークインターフェースコントローラ」若しくは「ネットワークインターフェースカード」（ＮＩＣｓ））との接続を提供するために使用する。
ＣＸＬなどのキャッシュコヒーレンスプロトコルは、例えば、スカラー（ｓｃａｌａｒ）、ベクトル（ｖｅｃｔｏｒ）、及びバッファリングされた（ｂｕｆｆｅｒｅｄ）メモリシステムにおける異種処理のために使用する。ＣＸＬは、チャンネル、リタイマ（ｒｅｔｉｍｅｒ）、システムのＰＨＹ層、インターフェースの論理的な側面、及びＰＣＩｅ５．０のプロトコルを利用して、キャッシュコヒーレントインターフェースを提供するために使用する。ＣＸＬトランザクション層は、単一のリンクで同時に実行される２つの多重化サブプロトコルを含み、ＣＸＬ．ｉｏ、ＣＸＬ．ｃａｃｈｅ、及びＣＸＬ．ｍｅｍｏｒｙと呼ばれる。ＣＸＬ．ｉｏは、ＰＣＩｅに類似したＩ／Ｏセマンティック（ｓｅｍａｎｔｉｃｓ）を含む。ＣＸＬ．ｃａｃｈｅはキャッシュセマンティックを含み、ＣＸＬ．ｍｅｍｏｒｙはメモリセマンティックを含み、キャッシュセマンティックとメモリセマンティックは、いずれもオプションである。ＰＣＩｅと同様に、ＣＸＬは、（ｉ）分割可能なｘ１６、ｘ８、ｘ４の基本幅、（ｉｉ）８ＧＴ／ｓ及び１６ＧＴ／ｓに分解可能な３２ＧＴ／ｓ、１２８ｂ／１３０ｂのデータレート、（ｉｉｉ）３００Ｗ（ｘ１６コネクタで７５Ｗ）、及び（ｉｖ）プラグアンドプレイをサポートする。プラグアンドプレイをサポートするために、ＰＣＩｅ又はＣＸＬデバイスリンクは、Ｇｅｎ１のＰＣＩｅでトレーニングを開始し、ＣＸＬと交渉し、Ｇｅｎ１−５のトレーニングを完了してから、ＣＸＬトランザクションを開始する。
一実施形態において、以下でさらに詳細に説明するように、ネットワークによって共に接続される複数のサーバを含むシステムにおいて、メモリの集合又は「プール」（例えば、共に接続された複数のメモリセルを含むメモリの量）へのＣＸＬ接続の使用は、様々な利点を提供する。例えば、ＣＸＬパケットにパケット／スイッチング機能を提供することに加えて、さらなる機能を有するＣＸＬスイッチ（ここでは「強化機能ＣＸＬスイッチ」と記載する）は、メモリの集合を一つ以上の中央処理装置（ＣＰＵ）（又は「中央処理回路」）及び（強化機能を有する）一つ以上のネットワークインターフェース回路に接続するために使用する。このような構成は、（ｉ）メモリの集合が、異なる特性を有する様々な形態のメモリを含み、（ｉｉ）強化機能ＣＸＬスイッチが、メモリの集合を仮想化し、適切なタイプのメモリに異なる特性（例えば、アクセス頻度）のデータを格納し、（ｉｉｉ）強化機能ＣＸＬスイッチは、リモートダイレクトメモリアクセス（ＲＤＭＡ）がサーバの処理回路にほとんど又はまったく関与することなく実行されるように、ＲＤＭＡをサポートし得る。
本明細書に記載のように、メモリを「仮想化」するということは、処理回路とメモリとの間でメモリアドレス変換を実行することを意味する。
ＣＸＬスイッチは、（ｉ）単一レベルのスイッチングを介してメモリ及びアクセラレータの分解をサポートし、（ｉｉ）要求に基づいてドメイン間の時分割多重化を可能にする、リソースがドメイン間のオフライン又はオンラインを可能にし、（ｉｉｉ）ダウンストリームポートの仮想化をサポートする。ＣＸＬは、一実施形態において、それぞれがＬＤ−ＩＤ（論理デバイス識別子）を有する複数の論理デバイスに分割される集合デバイスを用いて、一対多及び多対一のスイッチングを可能にする（例えば、（ｉ）複数のループポートを一つのエンドポイントに接続し、（ｉｉ）一つのルートポートを複数のエンドポイントに接続し、（ｉｉｉ）複数のルートポートを複数のエンドポイントに接続することを可能にする）集合メモリを実装するために使用する。このような実施形態において、物理デバイスは、複数の論理デバイスに分割され、複数の論理デバイスそれぞれは、それぞれのイニシエータと認識される。デバイスは、一つの物理的機能（ＰＦ）及び複数（例えば、１６個）の分離した論理デバイスを有する。一実施形態において、論理デバイスの数（例えば、パーティションの数）は（例えば、１６個）に制限され、（デバイスを制御するために使用される物理的機能の）一つの制御パーティションもまた存在する。
一実施形態において、ファブリック（ｆａｂｒｉｃ）管理者は、（ｉ）デバイスの発見（ｄｉｓｃｏｖｅｒｙ）及び仮想ＣＸＬソフトウェアの生成を実行し、（ｉｉ）仮想ポートを物理ポートにバインドするために使用する。このようなファブリック管理者は、ＳＭＢｕｓ側波帯（ｓｉｄｅｂａｎｄ）を介した接続を介して動作する。ファブリック管理者は、ハードウェア、ソフトウェア、ファームウェア、又はこれらの組み合わせで実装し、例えば、ホスト内、メモリモジュール１３５の一つの中、強化機能ＣＸＬスイッチ１３０内、又はネットワークの他の場所に存在する。ファブリック管理者は、側波帯バス又はＰＣＩｅツリーを介して発生するコマンドを含むコマンドを発生することができる。
図１Ａを参照すると、一実施形態において、サーバシステムは、ＴｏＲ（ｔｏｐ ｏｆ ｒａｃｋ）イーサネット（登録商標）スイッチ１１０によって共に接続された複数のサーバ１０５を含む。このスイッチは、イーサネットプロトコルを使用することが説明されているが、他の適切なネットワークプロトコルも使用できる。各サーバは、一つ以上の処理回路１１５を含み、各処理回路１１５は、（ｉ）システムメモリ１２０（例えば、ダブルデータレート（バージョン４）（ＤＤＲ４）メモリ、又は任意の他の適切なメモリ）、（ｉｉ）一つ以上のネットワークインターフェース回路１２５、及び（ｉｉｉ）一つ以上のＣＸＬメモリモジュール１３５に接続される。処理回路１１５のそれぞれは、内蔵プログラム処理回路、例えば、ＣＰＵ（例えば、ｘ８６ ＣＰＵ）、グラフィックス処理装置（ＧＰＵ）、又はＡＲＭプロセッサである。一実施形態において、ネットワークインターフェース回路１２５は、メモリモジュール１３５の一つに（同じ半導体チップ、又は同じモジュールに）実装されるか、又は、ネットワークインターフェース回路１２５は、メモリモジュール１３５から分離してパッケージされる。
ここでの使用のように、「メモリモジュール」は、一つ以上のメモリダイを含むパッケージ（例えば、プリント回路基板及びプリント回路基板に接続された構成要素を含むパッケージ、又はプリント回路基板を含むエンクロージャ）であり、各メモリダイは、複数のメモリセルを含む。各メモリダイ、又はメモリダイのグループのセットの各々は、メモリモジュールのプリント回路基板にはんだ付けされた（又はコネクタを介してメモリモジュールのプリント回路基板に接続された）パッケージ（例えば、エポキシモールドコンパウンド（ＥＭＣ）パッケージ）内にある。メモリモジュール１３５のそれぞれは、ＣＸＬインターフェースを有し、ＣＸＬパケットとメモリダイのメモリインターフェイスとの間を変換するための、例えば、メモリモジュール１３５内でメモリのメモリ技術のために適切な信号に変換するためのコントローラ１３７（例えば、ＦＰＧＡ、ＡＳＩＣ、プロセッサ、及び／又はなど）を含む。ここでの使用のように、メモリダイの「メモリインターフェース」は、例えば、ＤＲＡＭの場合、メモリダイの技術に固有のインターフェースであり、例えば、メモリインターフェースは、ワードライン及びビットラインである。メモリモジュールはまた、以下でさらに詳細に説明するように、強化機能を提供するコントローラ１３７を含む。メモリモジュール１３５のそれぞれのコントローラ１３７は、キャッシュコヒーレントインターフェースを介して、例えば、ＣＸＬインターフェースを介して処理回路１１５に接続される。コントローラ１３７はまた、処理回路１１５をバイパスすることによって、異なるサーバ１０５間でのデータ送信（例えば、ＲＤＭＡ要求）を容易にする。ＴｏＲイーサネットスイッチ１１０及びネットワークインターフェース回路１２５は、異なるサーバのＣＸＬメモリデバイス間でのＲＤＭＡ要求を容易にするために、ＲＤＭＡインターフェースを含む（例えば、ＴｏＲイーサネットスイッチ１１０及びネットワークインターフェース回路１２５は、コンバージド（ｃｏｎｖｅｒｇｅｄ）イーサネットを介したＲＤＭＡ（ＲｏＣＥ）、インフィニバンド（ｉｎｆｉｎｉｂａｎｄ）、及びｉＷＡＲＰパケットのハードウェアオフロード又はハードウェア加速を提供する）。
システムのＣＸＬ相互接続は、ＣＸＬ１．１標準などのキャッシュコヒーレントプロトコル、又は一実施形態において、ＣＸＬ２．０標準、ＣＸＬの将来バージョン、又は任意の他の適切なプロトコル（例えば、キャッシュコヒーレントプロトコル）に従う。メモリモジュール１３５は、示したように処理回路１１５に直接取り付けられ、ＴｏＲイーサネットスイッチ１１０は、システムをより大きなサイズに（例えば、より多くのサーバ１０５で）拡張するために使用される。
一実施形態において、各サーバは、図１Ａに示すように、複数の直接取付けられたＣＸＬメモリモジュール１３５を装着する。各メモリモジュール１３５は、メモリ範囲としてホストの基本入力／出力システム（ＢＩＯＳ）にベースアドレスレジスタ（ＢＡＲ）のセットを露出する。一つ以上のメモリモジュール１３５は、ホストＯＳマップの後ろにあるメモリ空間を透明に管理するためにファームウェアを含む。メモリモジュール１３５のそれぞれは、例えば、ＤＲＡＭ、ＮＡＮＤフラッシュ、高帯域幅メモリ（ＨＢＭ）、低電力ＤＤＲ ＳＤＲＡＭ（ＬＰＤＤＲ ＳＤＲＡＭ）技術を含むメモリ技術のいずれか、又はこれらの組み合わせを含むが、これらに限定されず、また、キャッシュコントローラ又は異なる技術のメモリデバイス（異なる技術のいくつかのメモリデバイスを組み合わせたメモリモジュール１３５）のための分離した各分割コントローラを含む。各メモリモジュール１３５は、異なるインターフェイス幅（ｘ４〜ｘ１６）を含み、様々な関連のフォームファクタ、例えば、Ｕ．２、Ｍ．２、半分の高さ、半分の長さ（ＨＨＨＬ）、フル高さ、半分の長さ（ＦＨＨＬ）、Ｅ１．Ｓ、Ｅ１．Ｌ、Ｅ３．Ｓ、及びＥ３．Ｈのいずれかに従って構成される。
一実施形態において、前述のように、強化機能ＣＸＬスイッチ１３０は、ＦＰＧＡ（又はＡＳＩＣ）のコントローラ１３７を含み、ＣＸＬパケットのスイッチングを超えたさらなる特徴を提供する。強化機能ＣＸＬスイッチ１３０のコントローラ１３７はまた、メモリモジュール１３５の管理装置として動作し、ホスト制御プレーン処理を支援し、リッチ制御セマンティック及び統計を可能にする。コントローラ１３７は、さらなる「バックドア」（例えば、１００ギガビット・イーサネット（ＧｂＥ））ネットワークインターフェース回路１２５を含む。一実施形態において、コントローラ１３７は、リモート書き込み要求を受信すると、処理回路１１５へのキャッシュ無効命令の発生を可能にする、処理回路１１５にＣＸＬ Ｔｙｐｅ２デバイスとして存在する。一実施形態において、ＤＤＩＯ技術が有効になり、リモートデータがまず処理回路の最後のレベルのキャッシュ（ＬＬＣ）にプールされ、その後（キャッシュから）メモリモジュール１３５に書き込まれる。ここで使用される「Ｔｙｐｅ２」ＣＸＬデバイスは、トランザクションを開始し、オプションのコヒーレントキャッシュ及びホスト管理デバイスメモリを実装し、適用可能なトランザクションタイプには、すべてのＣＸＬ．ｃａｃｈｅ及びすべてのＣＸＬ．ｍｅｍトランザクションが含まれる。
前述のように、一つ以上のメモリモジュール１３５は、永続メモリ又は「永続ストレージ」（すなわち、外部電源が切断されたときにデータが失われないストレージ）を含む。メモリモジュール１３５が永続ストレージとして存在する場合、メモリモジュール１３５のコントローラ１３７は、永続ドメインを管理し、例えば、コントローラ１３７は、永続ストレージを要求することにより、処理回路１１５によって（例えば、アプリケーションが対応するオペレーティングシステム機能を呼び出した結果として）識別された永続ストレージにデータを格納する。このような実施形態において、ソフトウェアＡＰＩは、キャッシュ及びデータを永続ストレージにフラッシュする。
一実施形態において、ネットワークインターフェース回路１２５からメモリモジュール１３５へのダイレクトメモリ転送が可能になる。このような転送は、分散システムにおける高速通信のためのリモートメモリへの一方向転送である。このような実施形態において、メモリモジュール１３５は、より高速なＲＤＭＡ転送を可能にするために、システム内のネットワークインターフェース回路１２５にハードウェアの詳細を露出する。このようなシステムでは、処理回路１１５のデータダイレクトＩ／Ｏ（ＤＤＩＯ）が有効か無効かに応じて、２つのシナリオが発生する。ＤＤＩＯは、イーサネットコントローラ又はイーサネットアダプタと処理回路１１５のキャッシュとの間の直接通信を可能にする。処理回路１１５のＤＤＩＯが有効な場合、転送の目標は、処理回路の最後のレベルのキャッシュであり、このキャッシュからデータは、その後メモリモジュールに自動的にフラッシュされる。処理回路１１５のＤＤＩＯが無効の場合、メモリモジュール１３５は、（ＤＤＩＯなしで）宛先メモリモジュール１３５によってアクセスが直接受信されるようにするために、デバイス−バイアス（ｄｅｖｉｃｅ−ｂｉａｓ）モードで動作する。ホストチャネルアダプタ（ＨＣＡ）、バッファ、及び他の処理を備えたＲＤＭＡ対応のネットワークインターフェース回路１２５は、ＲＤＭＡ転送の他のモードに存在する目標メモリバッファ転送をバイパスする、このようなＲＤＭＡ転送を可能にするために採用する。例えば、このような実施形態において、バウンスバッファ（例えば、メモリ内の結果的な宛先がＲＤＭＡプロトコルによってサポートされていないアドレスの範囲内にある場合のリモートサーバ内のバッファ）の使用を回避する。一実施形態において、ＲＤＭＡは、（例えば、他のネットワークプロトコルを扱うために構成されたスイッチの使用のために）イーサネット以外の別の物理媒体オプションを使用する。ＲＤＭＡを有効にするサーバ間接続の例には、（イーサネットユーザーデータグラムプロトコル（ＵＤＰ）を使用する）インフィニバンド、ＲｏＣＥ、及び（ＴＣＰ／ＩＰを使用する）ｉＷＡＲＰを含むが、これらに限定されない。
図１Ｂは、処理回路１１５がメモリモジュール１３５を介してネットワークインターフェース回路１２５に接続されている、図１Ａと同様のシステムを示す。メモリモジュール１３５及びネットワークインターフェース回路１２５は、拡張ソケットアダプタ１４０にある。各拡張ソケットアダプタ１４０は、サーバ１０５のマザーボード上の拡張ソケット１４５、例えば、Ｍ．２コネクタに差し込む。従って、サーバは、拡張ソケット１４５に拡張ソケットアダプタ１４０を設置することによって変更された、任意の適切な（例えば、業界標準の）サーバである。このような実施形態において、（ｉ）各ネットワークインターフェース回路１２５は、メモリモジュール１３５の各々一つに統合されるか、又は（ｉｉ）各ネットワークインターフェース回路１２５は、ＰＣＩｅインターフェースを有する（ネットワークインタフェーイス回路１２５は、ＰＣＩｅエンドポイント（すなわち、ＰＣＩｅスレーブデバイス）である）。これにより、（ＰＣＩｅマスターデバイス、又は「ループポート」として動作する）ネットワークインターフェース回路１２５に接続されている処理回路１１５は、ループポート対エンドポイントＰＣＩｅ接続を介してネットワークインターフェース回路１２５と通信し、メモリモジュール１３５のコントローラ１３７は、ピアツーピアＰＣＩｅ接続を介してネットワークインターフェース回路１２５と通信する。
本発明の実施形態によると、内蔵プログラム処理回路と、第１のネットワークインターフェース回路と、第１のメモリモジュールと、を有する第１のサーバを含むシステムが提供され、前記第１のメモリモジュールは、第１のメモリダイと、コントローラと、を含み、コントローラは、メモリインターフェースを介して第１のメモリダイに、キャッシュコヒーレントインターフェースを介して内蔵プログラム処理回路に、及び第１のネットワークインターフェース回路に接続される。一実施形態において、第１のメモリモジュールは第２のメモリダイをさらに含み、第１のメモリダイは揮発性メモリを含み、第２のメモリダイは永続メモリを含む。一実施形態において、永続メモリは、ＮＡＮＤフラッシュを含む。一実施形態において、コントローラは、永続メモリのためのフラッシュ変換層を提供するように構成される。一実施形態において、キャッシュコヒーレントインターフェースは、コンピュートエクスプレスリンク（Ｃｏｍｐｕｔｅ Ｅｘｐｒｅｓｓ Ｌｉｎｋ：ＣＸＬ）インターフェースを含む。一実施形態において、第１のサーバは、第１のサーバの拡張ソケットに接続された拡張ソケットアダプタを含み、拡張ソケットアダプタは、第１のメモリモジュールと、第１のネットワークインターフェース回路と、を含む。一実施形態において、第１のメモリモジュールのコントローラは、拡張ソケットを介して内蔵プログラム処理回路に接続される。一実施形態において、拡張ソケットはＭ．２ソケットを含む。一実施形態において、第１のメモリモジュールのコントローラは、ピアツーピアＰＣＩｅ接続によって第１のネットワークインターフェース回路に接続される。一実施形態において、システムは、第２のサーバと、第１のサーバ及び第２のサーバに接続されたネットワークスイッチとをさらに含む。一実施形態において、ネットワークスイッチは、ＴｏＲイーサネットスイッチを含む。一実施形態において、第１のメモリモジュールのコントローラは、ネットワークスイッチ及び第１のネットワークインターフェース回路を介してストレート（ｓｔｒａｉｇｈｔ）ＲＤＭＡ要求を受信し、ネットワークスイッチ及び第１のネットワークインターフェース回路を介してストレートＲＤＭＡ応答を送信するように構成される。一実施形態において、第１のメモリモジュールのコントローラは、ネットワークスイッチ及び第１のネットワークインターフェイス回路を介してストレートＲＤＭＡ要求を受信し、ネットワークスイッチ及び第１のネットワークを介してストレートＲＤＭＡ応答を送信するように構成される。一実施形態において、第１のメモリモジュールのコントローラは、第２のサーバからデータを受信し、データを第１のメモリモジュールに格納し、キャッシュラインを無効化するためのコマンドを内蔵プログラム処理回路に送信する。一実施形態において、第１のメモリモジュールのコントローラは、ＦＰＧＡ又はＡＳＩＣを含む。本発明の一実施形態によると、コンピューティングシステムにおいてリモートダイレクトメモリアクセスを実行する方法が提供され、コンピューティングシステムは、第１のサーバ及び第２のサーバを含み、第１のサーバは、内蔵プログラム処理回路と、ネットワークインターフェース回路と、コントローラを有する第１のメモリモジュールと、を含み、前記方法は、第１のメモリモジュールのコントローラによってストレートＲＤＭＡ要求を受信する段階と、第１のメモリモジュールのコントローラによってストレートＲＤＭＡ応答を送信する段階と、を含む。一実施形態において、コンピューティングシステムは、第１のサーバ及び第２のサーバに接続されたイーサネットスイッチをさらに含み、ストレートＲＤＭＡ要求の受信は、イーサネットスイッチを介するストレートＲＤＭＡ要求の受信を含む。一実施形態において、前記方法は、第１のメモリモジュールのコントローラによって、内蔵プログラム処理回路から第１のメモリアドレスに対する読み取りコマンドを受信する段階と、第１のメモリモジュールのコントローラによって第１のメモリアドレスを第２のメモリアドレスに変換する段階と、第１のメモリモジュールのコントローラによって、第２のメモリアドレスにある第１のメモリモジュールからのデータを検索する段階と、をさらに含む。一実施形態において、前記方法は、第１のメモリモジュールのコントローラによってデータを受信する段階と、第１のメモリモジュールのコントローラによって第１のメモリモジュールにデータを格納する段階と、第１のメモリのコントローラによって内蔵プログラム処理回路へのキャッシュラインを無効化するためのコマンドを送信する段階と、をさらに含む。本発明の一実施形態によると、内蔵プログラム処理回路と、第１のネットワークインターフェース回路と、第１のメモリモジュールと、を有する第１のサーバを含むシステムが提供され、第１のメモリモジュールは、第１のメモリダイ、及びコントローラ手段を含み、コントローラ手段は、メモリインターフェースを介して第１のメモリダイに接続され、キャッシュコヒーレントインターフェースを介して内蔵プログラム処理回路に接続され、第１のネットワークインターフェース回路に接続される。
図１Ｃに示すように、一実施形態において、サーバシステムは、ＴｏＲイーサネットスイッチ１１０によって共に接続された複数のサーバ１０５を含む。それぞれのサーバは、一つ以上の処理回路１１５を含み、（ｉ）システムメモリ１２０（例えば、ＤＤＲ４メモリ）、（ｉｉ）一つ以上のネットワークインターフェース回路１２５、及び（ｉｉｉ）強化機能ＣＸＬスイッチ１３０に接続される。強化機能ＣＸＬスイッチ１３０は、複数のメモリモジュール１３５に接続される。すなわち、図１Ｃのシステムは、内蔵プログラム処理回路１１５と、ネットワークインターフェース回路１２５と、キャッシュコヒーレントスイッチ１３０と、第１のメモリモジュール１３５と、を有する第１のサーバ１０５を含む。図１Ｃのシステムにおいて、第１のメモリモジュール１３５は、（強化機能ＣＸＬスイッチである）キャッシュコヒーレントスイッチ１３０に接続され、キャッシュコヒーレントスイッチ１３０は、ネットワークインターフェース回路１２５に接続され、内蔵プログラム処理回路１１５は、キャッシュコヒーレントスイッチ１３０に接続される。
メモリモジュール１３５は、タイプ（ｔｙｐｅ）、フォームファクタ（ｆｏｒｍ ｆａｃｔｏｒ）又は技術タイプ（例えば、ＤＤＲ４、ＤＲＡＭ、ＬＰＤＤＲ、ＨＢＭ、ＮＡＮＤフラッシュ、又はその他の永続ストレージ（例えば、ＮＡＮＤフラッシュ））によってグループ化される。それぞれのメモリモジュールは、ＣＸＬインターフェースを有し、メモリモジュール１３５内のメモリに適合する信号とＣＸＬパケットとの間を変換するためのインターフェース回路を含む。一実施形態において、このようなインターフェース回路は、代わりに、強化機能ＣＸＬスイッチ１３０内にあり、それぞれのメモリモジュール１３５は、メモリモジュール１３５内のメモリの固有のインターフェースであるインターフェースを有する。一実施形態において、強化機能ＣＸＬスイッチ１３０は、メモリモジュール１３５に統合される（例えば、メモリモジュール１３５の他の構成要素と共にＭ．２フォームファクタパッケージに統合されるか、又は単一の集積回路に統合される）。
ＴｏＲイーサネットスイッチ１１０は、異なるサーバの集合メモリデバイス間のＲＤＭＡ要求を容易にするためのインターフェースハードウェアを含む。強化機能ＣＸＬスイッチ１３０は、（ｉ）ワークロードに基づいてデータを異なるメモリタイプにルーティングし、（ｉｉ）ホストアドレスをデバイスアドレスに仮想化し、及び／又は（ｉｉｉ）処理回路１１５をバイパスして、異なるサーバ間のＲＤＭＡ要求を容易にするために、一つ以上の回路（例えば、ＦＰＧＡ又はＡＳＩＣを含む）を含む。
メモリモジュール１３５は、拡張ボックス（例えば、エンクロージャのマザーボードを収容するエンクロージャと同じラック）にあり、これはあらかじめ決定された数（例えば、２０以上、又は１００以上）のメモリモジュール１３５を含み、メモリモジュール１３５のそれぞれは、適切なコネクタに接続される。モジュールはＭ．２フォームファクタ内にあり、コネクタはＭ．２コネクタである。一実施形態において、サーバ間の接続は、イーサネット以外の異なるネットワークを介して行われ、例えば、Ｗｉ−Ｆｉ（登録商標）又は５Ｇ接続などの無線接続である。各処理回路は、ｘ８６プロセッサ又は別のプロセッサ、例えば、ＡＲＭプロセッサ又はＧＰＵである。ＣＸＬリンク（ｌｉｎｋ）がインスタンス化されるＰＣＩｅリンクは、ＰＣＩｅ５．０又は別のバージョン（例えば、以前のバージョン又はそれ以降の（例えば、将来の）バージョン（例えば、ＰＣＩｅ６．０））である。一実施形態において、異なるキャッシュコヒーレントプロトコルは、ＣＸＬの代わりに、又はＣＸＬに加えて、システムで使用され、異なるキャッシュコヒーレントスイッチは、強化機能ＣＸＬスイッチ１３０の代わりに、又はそれに加えて使用される。このようなキャッシュコヒーレントプロトコルは、別の標準プロトコル又は（ＣＸＬがＰＣＩｅ５．０の変形的な方法と同様の方法で）標準プロトコルのキャッシュコヒーレントの変形である。標準プロトコルの例には、不揮発性デュアルインラインメモリモジュール（バージョンＰ）（ＮＶＤＩＭＭ−Ｐ）、アクセラレータ用キャッシュコヒーレントインターコネクト（ＣＣＩＸ）、及びオープンコヒーレントアクセラレータプロセッサインターフェース（ＯｐｅｎＣＡＰＩ）が含まれるが、これに限定されない。
システムメモリ１２０は、例えば、ＤＤＲ４メモリ、ＤＲＡＭ、ＨＢＭ、又はＬＰＤＤＲメモリを含む。メモリモジュール１３５は、分割されるか、又は多数のメモリタイプを処理するためのキャッシュコントローラを含む。メモリモジュール１３５は、異なるフォームファクタにあり、その例としては、ＨＨＨＬ、ＦＨＨＬ、Ｍ．２、Ｕ．２、メザニン（ｍｅｚｚａｎｉｎｅ）カード、ドーター（ｄａｕｇｈｔｅｒ）カード、Ｅ１．Ｓ、Ｅ１．Ｌ、Ｅ３．Ｌ、及びＥ３．Ｓを含むが、これに限定されない。
一実施形態において、システムは、それぞれのサーバが多数のＣＸＬ接続メモリモジュール１３５に集合する多数のサーバを含む集合構造を実装する。それぞれのメモリモジュール１３５は、複数の処理回路１１５にメモリデバイスとして別々に露出する多数のパーティションを含む。強化機能ＣＸＬスイッチ１３０のそれぞれの入力ポートは、強化機能ＣＸＬスイッチ１３０、及びこれに接続されたメモリモジュール１３５の多数の出力ポートに独立してアクセスする。本明細書で使用するように、強化機能ＣＸＬスイッチ１３０の「入力ポート」又は「アップストリームポート」は、ＰＣＩｅループポートに接続された（又は接続に適した）ポートであり、強化機能ＣＸＬスイッチ１３０の「出力ポート」又は「ダウンストリームポート」は、ＰＣＩｅエンドポイントに接続された（又は接続に適した）ポートである。図１Ａの実施形態の場合のように、それぞれのメモリモジュール１３５は、メモリ範囲としてホストＢＩＯＳにベースアドレスレジスタ（ＢＡＲ）の集合を露出する。メモリモジュール１３５のうちの一つ以上は、ホストＯＳマップの後ろにあるメモリ空間を透明に管理するためのファームウェアを含む。
一実施形態において、前述のように、強化機能ＣＸＬスイッチ１３０は、ＦＰＧＡ（又はＡＳＩＣ）のコントローラ１３７を含み、ＣＸＬパケットのスイッチング以上のさらなる機能を提供する。例えば、（前述のように）強化機能ＣＸＬスイッチ１３０は、メモリモジュール１３５を仮想化する。すなわち、変換層として動作し、処理回路側アドレス（又は「プロセッサ側」アドレス、すなわち、処理回路１１５によって発生したメモリ読み取り及び書き込みコマンドに含まれるアドレス）とメモリ側アドレス（すなわち、強化機能ＣＸＬスイッチ１３０によって使用されたアドレスをメモリモジュール１３５内のアドレス格納位置に）との間を変換し、それにより、メモリモジュール１３５の物理アドレスをマスキングし、メモリの仮想集合を提示する。強化機能ＣＸＬスイッチ１３０のコントローラ１３７はまた、メモリモジュール１３５のための管理デバイスとして動作し、ホスト制御プレーン処理を容易にする。コントローラ１３７は、処理回路１１５の関与なしにデータを透明に移動し、それに応じてメモリマップ（又は「アドレス変換テーブル」）を更新して、後続のアクセスを期待どおりに機能させる。コントローラ１３７は、（ｉ）ランタイムの間アップストリーム接続及びダウンストリーム接続を適切にバインド及びアンバインドし、（ｉｉ）メモリモジュール１３５の内部及び外部へのデータ転送に関する豊富な制御セマンティック及び統計を可能にするスイッチ管理デバイスを含む。コントローラ１３７は、他のサーバ１０５又は他のネットワーク機器に接続するための（ホストへの接続に使用されるネットワークインターフェイスに加えて）追加の「バックドア」１００ＧｂＥ又は他のネットワークインターフェース回路１２５を含む。一実施形態において、コントローラ１３７は、タイプ２のデバイスとして処理回路１１５に提供し、これはリモート書き込み要求を受信した場合、処理回路１１５のキャッシュ無効化命令の発生を可能にする。一実施形態において、ＤＤＩＯ技術が有効となり、リモートデータは、まず処理回路１１５の最後のレベルのキャッシュ（ＬＬＣ）にプールされ、その後（キャッシュから）メモリモジュール１３５に書き込まれる。
前述のように、一つ以上のメモリモジュール１３５は、永続ストレージを含む。メモリモジュール１３５が永続デバイスとして存在する場合、強化機能ＣＸＬスイッチ１３０のコントローラ１３７は、永続ストレージを要求することにより、処理回路１１５によって永続ドメインを管理する（例えば、対応するオペレーティングシステム機能の使用によって、識別されたデータを永続ストレージに格納する）。このような実施形態において、ソフトウェアＡＰＩは、キャッシュ及びデータを永続ストレージにフラッシュ（ｆｌｕｓｈ）する。
一実施形態において、メモリモジュール１３５へのダイレクトメモリ転送は、強化機能ＣＸＬスイッチ１３０のコントローラ１３７によって実行されるメモリモジュール１３５のコントローラによって実行される動作を有し、図１Ａ及び図１Ｂの実施形態に関する説明と同様の方法で実行することができる。
前述のように、一実施形態において、メモリモジュール１３５は、グループ、例えば、メモリを集約的な一つのグループ、ＨＢＭが重い別のグループ、制限された密度及び性能を有する別のグループ、並びに密度の高い異なるグループから構成される。このようなグループは、異なるフォームファクタを有するか、又は異なる技術に基づく。強化機能ＣＸＬスイッチ１３０のコントローラ１３７は、例えば、ワークロード、タグ付け、又はサービス品質（ＱｏＳ）に基づいて、インテリジェントにデータ及びコマンドをルーティングする。読み取り要求の場合、このようなファクタに基づくルーティングがないことがある。
強化機能ＣＸＬスイッチ１３０のコントローラ１３７はまた、前述のように、処理回路側アドレス及びメモリ側アドレスを仮想化して、強化機能ＣＸＬスイッチ１３０のコントローラ１３７のデータがどこに格納されるかを判断することを可能にする。強化機能ＣＸＬスイッチ１３０のコントローラ１３７は、情報又は命令に基づいてこのような判断を可能にし、処理回路１１５から受信する。例えば、オペレーティングシステムは、アプリケーションの低いレイテンシーストレージ、高帯域幅ストレージ、又は永続ストレージが割り当てられることを特定できるようにするメモリ割り当て機能を提供し、アプリケーションによって開始されるこのような要求は、メモリを割り当てる位置（メモリモジュール１３５のいずれか）を判断する際に、強化機能ＣＸＬスイッチ１３０のコントローラ１３７によって考慮される。例えば、高帯域幅がアプリケーションによって要求されるストレージは、ＨＢＭを含むメモリモジュール１３５に割り当てられ、アプリケーションによってデータの永続性が要求されるストレージは、ＮＡＮＤフラッシュを含むメモリモジュール１３５に割り当てられ、（アプリケーションによって要求されない）他のストレージは、比較的安価なＤＲＡＭを含むメモリモジュール１３５に格納される。一実施形態において、強化機能ＣＸＬスイッチ１３０のコントローラ１３７は、ネットワークの利用パターンに基づいて、特定のデータを格納する位置に関する判断を行う。例えば、強化機能ＣＸＬスイッチ１３０のコントローラ１３７は、物理アドレスの特定の範囲内のデータが他のデータよりも頻繁にアクセスされる利用パターンを監視することによって判断し、強化機能ＣＸＬスイッチ１３０のコントローラ１３７は、ＨＢＭを含むメモリモジュール１３５にこれらのデータをコピーし、新たな位置内のデータが同じ範囲の仮想アドレスに格納されるように、アドレス変換テーブルを変更する。一実施形態において、一つ以上のメモリモジュール１３５は、フラッシュメモリ（例えば、ＮＡＮＤフラッシュ）を含み、強化機能ＣＸＬスイッチ１３０のコントローラ１３７は、このフラッシュメモリのためのフラッシュ変換層を実装する。フラッシュ変換層は、（データを異なる位置に移動し、データの以前の位置を無効にすることにより）プロセッサ側メモリの位置の上書きをサポートし、ガーベジコレクション（例えば、無効と表示されたブロック内のデータの一部が閾値を超えた場合、別のブロックに移動した後、ブロック内の任意の有効なデータを削除すること）を実行する。
一実施形態において、強化機能ＣＸＬスイッチ１３０のコントローラ１３７は、物理的機能（ＰＦ）の転送に対するＰＦを容易にする。例えば、処理回路１１５の内の一つが一つの物理アドレスから別の物理アドレスにデータを移動する必要がある場合（同じ仮想アドレスを有し、この事実は処理回路１１５の動作に影響を与える必要がない）、又は処理回路１１５が必要とする場合（処理回路１１５が有する必要がある）２つの仮想アドレス間でデータを移動するために、強化機能ＣＸＬスイッチ１３０のコントローラ１３７は、処理回路１１５が関与することなく転送を監視できる。例えば、処理回路１１５は、ＣＸＬ要求を送信し、データは処理回路１１５に行かず、強化機能ＣＸＬスイッチ１３０の後で一つのメモリモジュール１３５から別のメモリモジュール１３５に送信される（例えば、データは、一つのメモリモジュール１３５から別のメモリモジュール１３５にコピーされる）。この状況では、処理回路１１５がＣＸＬ要求を開始したため、処理回路１１５は、一貫性を確保するためにキャッシュをフラッシュする必要がある。代わりに、タイプ２のメモリデバイス（例えば、メモリモジュール１３５の内の一つか、又はＣＸＬスイッチにも接続されるアクセラレータ）がＣＸＬ要求を開始し、スイッチが仮想化されていない場合、タイプ２のメモリデバイスは、メッセージを処理回路１１５に送信してキャッシュを無効にする。
一実施形態において、強化機能ＣＸＬスイッチ１３０のコントローラ１３７は、サーバ間のＲＤＭＡ要求を容易にする。リモートサーバ１０５は、このようなＲＤＭＡ要求を開始し、ＲＤＭＡ要求はＴｏＲイーサネットスイッチ１１０を介して送信され、ＲＤＭＡ要求に応答するサーバ１０５（「ローカルサーバ」）の強化機能ＣＸＬスイッチ１３０に到達する。強化機能ＣＸＬスイッチ１３０は、このようなＲＤＭＡ要求を受信するように構成され、受信サーバ１０５（すなわち、ＲＤＭＡ要求を受信するサーバ）内のメモリモジュール１３５のグループを自身のメモリ空間として取り扱う。ローカルサーバにおいて、強化機能ＣＸＬスイッチ１３０は、ＲＤＭＡ要求を直接ＲＤＭＡ要求（すなわち、ローカルサーバの処理回路１１５を介してルーティングされないＲＤＭＡ要求）として受信し、ＲＤＭＡ要求に対する直接応答を送信する（すなわち、ローカルサーバの処理回路１１５を介してルーティングされることなく応答を送信する）。リモートサーバにおいて、応答（例えば、ローカルサーバによって送信されたデータ）は、リモートサーバの強化機能ＣＸＬスイッチ１３０によって受信され、リモートサーバの処理回路１１５を介してルーティングされることなく、リモートサーバのメモリモジュール１３５に格納される。
図１Ｄは、図１Ｃと同様のシステムを示し、処理回路１１５は、強化機能ＣＸＬスイッチ１３０を介してネットワークインターフェース回路１２５に接続される。強化機能ＣＸＬスイッチ１３０、メモリモジュール１３５、及びネットワークインターフェース回路１２５は、拡張ソケットアダプタ１４０にある。拡張ソケットアダプタ１４０は、サーバ１０５のマザーボード上の拡張ソケット、例えば、ＰＣＩｅコネクタ１４５に差し込む回路基板又はモジュールである。従って、サーバは、ＰＣＩｅコネクタ１４５に拡張ソケットアダプタ１４０を設置することによってのみ変更される任意の適切なサーバであり得る。メモリモジュール１３５は、拡張ソケットアダプタ１４０のコネクタ（例えば、Ｍ．２コネクタ）に設置される。このような実施形態において、（ｉ）ネットワークインターフェース回路１２５は、強化機能ＣＸＬスイッチ１３０に統合されるか、又は（ｉｉ）各ネットワークインターフェース回路１２５がＰＣＩｅインターフェース（ネットワークインターフェース回路１２５は、ＰＣＩｅエンドポイントである）を有するので、ネットワークインターフェース回路１２５に接続された処理回路１１５は、ルートポート対エンドポイントＰＣＩｅ接続を介してネットワークインターフェース回路１２５と通信する。（処理回路１１５及びネットワークインターフェース回路１２５に接続されたＰＣＩｅ入力ポートを有する）強化機能ＣＸＬスイッチ１３０のコントローラ１３７は、ピアツーピアＰＣＩｅ接続を介してネットワークインターフェース回路１２５と通信する。
本発明の実施形態によると、内蔵プログラム処理回路と、ネットワークインターフェース回路と、キャッシュコヒーレントスイッチと、第１のメモリモジュールと、を有する第１のサーバを含み、第１のメモリモジュールはキャッシュコヒーレントスイッチに接続され、キャッシュコヒーレントスイッチはネットワークインターフェース回路に接続され、内蔵プログラム処理回路はキャッシュコヒーレントスイッチに接続される。一実施形態において、システムは、キャッシュコヒーレントスイッチに接続された第２のメモリモジュールをさらに含み、第１のメモリモジュールは揮発性メモリを含み、第２のメモリモジュールは永続メモリを含む。一実施形態において、キャッシュコヒーレントスイッチは、第１のメモリモジュール及び第２のメモリモジュールを仮想化するように構成される。一実施形態において、第１のメモリモジュールはフラッシュメモリを含み、キャッシュコヒーレントスイッチは、フラッシュメモリに対するフラッシュ変換層を提供するように構成される。一実施形態において、キャッシュコヒーレントスイッチは、第１のメモリモジュールで第１のメモリ位置のアクセス頻度を監視し、アクセス頻度が第１の閾値を超えているかを判断し、第１のメモリ位置のコンテンツを第２のメモリモジュール内にある第２のメモリ位置にコピーする。一実施形態において、第２のメモリモジュールはＨＢＭを含む。一実施形態において、キャッシュコヒーレントスイッチは、プロセッサ側アドレスをメモリ側アドレスにマッピングするためのテーブルを維持する。一実施形態において、システムは、第２のサーバと、第１のサーバ及び第２のサーバに接続されたネットワークスイッチとをさらに含む。一実施形態において、ネットワークスイッチは、ＴｏＲイーサネットスイッチを含む。一実施形態において、キャッシュコヒーレントスイッチは、ストレートＲＤＭＡ要求を受信し、ストレートＲＤＭＡ応答を送信するように構成される。一実施形態において、キャッシュコヒーレントスイッチは、ＴｏＲイーサネットスイッチ及びネットワークインターフェイス回路を介してリモートＲＤＭＡ要求を受信し、ＴｏＲイーサネットスイッチ及びネットワークインターフェイス回路を介してストレートＲＤＭＡ応答を送信するように構成される。一実施形態において、キャッシュコヒーレントスイッチは、ＣＸＬプロトコルをサポートするように構成される。一実施形態において、第１のサーバは、第１のサーバの拡張ソケットに接続された拡張ソケットアダプタを含み、拡張ソケットアダプタは、キャッシュコヒーレントスイッチ、及びメモリモジュールソケットを含み、第１のメモリモジュールは、メモリモジュールソケットを介してキャッシュコヒーレントスイッチに接続される。一実施形態において、メモリモジュールソケットはＭ．２ソケットを含む。一実施形態において、ネットワークインターフェース回路は、拡張ソケットアダプタ上にある。本発明の一実施形態によると、コンピューティングシステムにおいてリモートダイレクトメモリアクセスを実行する方法が提供され、コンピューティングシステムは、第１のサーバ及び第２のサーバを含み、第１のサーバは、内蔵プログラム処理回路と、ネットワークインターフェース回路と、キャッシュコヒーレントスイッチと、第１のメモリモジュールと、を有し、前記方法は、キャッシュコヒーレントスイッチによってストレートＲＤＭＡ要求を受信する段階と、キャッシュコヒーレントスイッチによってストレートＲＤＭＡ応答を送信する段階と、を含む。一実施形態において、コンピューティングシステムはイーサネットスイッチをさらに含み、ストレートＲＤＭＡ要求の受信は、イーサネットスイッチを介するストレートＲＤＭＡ要求の受信を含む。一実施形態において、前記方法は、キャッシュコヒーレントスイッチによって、内蔵プログラム処理回路から第１のメモリアドレスに対する読み取りコマンドを受信する段階と、キャッシュコヒーレントスイッチによって第１のメモリアドレスを第２のメモリアドレスに変換する段階と、キャッシュコヒーレントスイッチによって、第２のメモリアドレスで第１のメモリモジュールからのデータを検索する段階と、をさらに含む。一実施形態において、前記方法は、キャッシュコヒーレントスイッチによってデータを受信する段階と、キャッシュコヒーレントスイッチによって第１のメモリモジュールにデータを格納する段階と、キャッシュコヒーレントスイッチによって内蔵プログラム処理回路へのキャッシュラインを無効化するためのコマンドを送信する段階と、をさらに含む。本発明の実施形態によると、内蔵プログラム処理回路と、ネットワークインターフェース回路と、キャッシュコヒーレントスイッチング手段と、第１のメモリモジュールと、を有する第１のサーバを含むシステムが提供され、第１のメモリモジュールは、キャッシュコヒーレントスイッチング手段に接続され、キャッシュコヒーレントスイッチング手段は、ネットワークインターフェース回路に接続され、内蔵プログラム処理回路は、キャッシュコヒーレントスイッチング手段に接続される。
図１Ｅは、複数のサーバ１０５のそれぞれが、図示のように、ＰＣＩｅ機能を有するＴｏＲ ＰＣＩｅ５ ＣＸＬスイッチであるサーバリンクスイッチ１１２に接続されている実施形態を示している。サーバリンクスイッチ１１２は、ＴｏＲサーバリンクスイッチと呼ばれる。サーバリンクスイッチ１１２は、ＦＰＧＡ又はＡＳＩＣを含み、イーサネットスイッチよりも（スループット及びレイテンシーの観点から）優れた性能を提供する。それぞれのサーバ１０５は、強化機能ＣＸＬスイッチ１３０及び複数のＰＣＩｅコネクタを介してサーバリンクスイッチ１１２に接続された複数のメモリモジュール１３５を含む。サーバ１０５のそれぞれはまた、図示のように、一つ以上の処理回路１１５と、システムメモリ１２０と、を含む。サーバリンクスイッチ１１２はマスターとして動作し、強化機能ＣＸＬスイッチ１３０のそれぞれは、以下でより詳細に説明するように、スレーブとして動作する。
図１Ｅの実施形態において、サーバリンクスイッチ１１２は、異なるサーバ１０５から受信した多数のキャッシュ要求をグループ化又は一括（ｂａｔｃｈ）し、パケットをグループ化して制御オーバーヘッドを低減する。強化機能ＣＸＬスイッチ１３０は、（ｉ）ワークロードに基づいて異なるメモリタイプにデータをルーティングし、（ｉｉ）プロセッサ側アドレスをメモリ側アドレスに仮想化し、及び（ｉｉｉ）処理回路１１５をバイパスして、異なるサーバ１０５間のコヒーレント要求を容易にするために、スレーブコントローラ（例えば、スレーブＦＰＧＡ又はスレーブＡＳＩＣ）を含む。図１Ｅに示すシステムは、ＣＸＬ２．０ベースであり、ラック内に分散共有メモリを含み、サーバリンクスイッチ１１２を使用してリモートノードに自然に接続する。
サーバリンクスイッチ１１２は、他のサーバ又はクライアントに接続するためのさらなるネットワーク接続（例えば、図示のイーサネット接続、又は別の種類の接続、例えば、Ｗｉ−Ｆｉ接続又は５Ｇ接続などの無線接続）を有する。サーバリンクスイッチ１１２及び強化機能ＣＸＬスイッチ１３０はそれぞれ、ＡＲＭプロセッサなどの処理回路であるか、又はこれを有するコントローラを含む。ＰＣＩｅインターフェースは、ＰＣＩｅ５．０標準、又は以前のバージョン、若しくは将来のバージョンのＰＣＩｅ標準に準拠するか、又は別の標準（例えば、ＮＶＤＩＭＭ−Ｐ、ＣＣＩＸ、又はＯｐｅｎＣＡＰＩ）に準拠するインターフェイスを、ＰＣＩｅインターフェースの代わりに使用する。メモリモジュール１３５は、ＤＤＲ４ ＤＲＡＭ、ＨＢＭ、ＬＰＤＤＲ、ＮＡＮＤフラッシュ、又はＳＳＤ（Ｓｏｉｌｄ Ｓｔａｔｅ Ｄｒｉｖｅ）を含む様々なメモリタイプを含む。メモリモジュール１３５は、分割されるか、又は多数のメモリタイプを処理するためにキャッシュコントローラを含み、ＨＨＨＬ、ＦＨＨＬ、Ｍ．２、Ｕ．２、メザニンカード、ドーターカード、Ｅ１．Ｓ、Ｅ１．Ｌ、Ｅ３．Ｌ、又はＥ３．Ｓ．などの異なるフォームファクタである。
図１Ｅの実施形態において、強化機能ＣＸＬスイッチ１３０は、一対多及び多対一のスイッチングを可能にし、フリット（ｆｌｉｔ）（６４バイト）レベルでの微粒子ロード−ストアインターフェースを可能にする。各サーバは、集合したメモリデバイスを有し、各デバイスは、それぞれのＬＤ−ＩＤを有する複数の論理デバイスに分割される。サーバリンクスイッチ１１２は一対多の機能を可能にし、サーバ１０５の強化機能ＣＸＬスイッチ１３０は多対一の機能を可能にする。サーバリンクスイッチ１１２は、ＰＣＩｅスイッチ、ＣＸＬスイッチ、又はその両方である。このようなシステムにおいて、要求者は複数のサーバ１０５の処理回路１１５であり、回答者は多数の集合メモリモジュール１３５である。２つのスイッチ（前述のように、サーバリンクスイッチ１１２であるマスタースイッチ、及び強化機能ＣＸＬスイッチ１３０であるスレーブスイッチを有する）の層は、すべての通信を可能にする。各メモリモジュール１３５は、一つの物理的機能（ＰＦ）及び最大１６の分離した論理デバイスを含む。一実施形態において、論理デバイスの数（例えば、パーティションの数）は（例えば、１６に）制限し、（デバイスを制御するために使用される物理的機能である）一つの制御パーティションもまた存在する。それぞれのメモリモジュール１３５は、処理回路１１５が保持するキャッシュラインコピーを処理するために、ｃｘｌ．ｃａｃｈｅ、ｃｘｌ．ｍｅｍ及びｃｘｌ．ｉｏ、並びにアドレス変換サービス（ＡＴＳ）の実装を備えたタイプ２のデバイスである。強化機能ＣＸＬスイッチ１３０及びファブリック（ｆａｂｒｉｃ）管理者は、メモリモジュール１３５の発見を制御し、（ｉ）デバイスの発見、及び仮想ＣＸＬソフトウェアの作成を実行し、（ｉｉ）仮想ポートを物理ポートにバインドする。図１Ａ〜図１Ｄの実施形態のように、ファブリック管理者は、ＳＭＢｕｓ側波帯を介する接続を介して動作する。インテリジェントプラットフォーム管理インターフェース（Ｉｎｔｅｌｌｉｇｅｎｔ Ｐｌａｔｆｏｒｍ Ｍａｎａｇｅｍｅｎｔ Ｉｎｔｅｒｆａｃｅ：ＩＰＭＩ）又はＲｅｄｆｉｓｈ標準に準拠する（そして、標準で要求されない追加機能を提供する場合もある）インターフェースであるメモリモジュール１３５へのインターフェースは、構成可能性（ｃｏｍｐｏｓａｂｉｌｉｔｙ）を可能にする。
上記のように、一部の実施形態は、サーバリンクスイッチ１１２の一部であるマスターコントローラ（ＦＰＧＡ又はＡＳＩＣに実装される）、及び強化機能ＣＸＬスイッチ１３０の一部であるスレーブコントローラで階層構造を実装して、ロッド−ストアインターフェース（すなわち、キャッシュライン（例えば、６４バイト）の単位を有し、ソフトウェアドライバの関与なしにコヒーレンスドメイン内で動作するインターフェイス）を提供する。このようなロッド−ストアインターフェースは、個々のサーバ、ＣＰＵ、又はホストを超えてコヒーレンスドメインを拡張し、電気的又は光学的な物理媒体（例えば、両端での電気−光トランシーバの光接続）を含む。動作中に、（サーバリンクスイッチ１１２にある）マスターコントローラは、ラック上のすべてのサーバ１０５を起動（又は「再起動」）して構成する。マスターコントローラは、すべてのホストを可視化でき、（ｉ）各サーバを発見し、サーバクラスタに存在するサーバ１０５及びメモリモジュール１３５の数を発見し、（ｉｉ）各サーバ１０５を独立して構成し、（ｉｉｉ）ラックの構成に基づいて、異なるサーバでメモリの一部ブロックを有効又は無効にし（例えば、メモリモジュール１３５の内のいずれかを有効又は無効にし）、（ｉｖ）アクセスを制御し（例えば、あるサーバが他のサーバを制御し）、（ｖ）フロー制御を備え（例えば、すべてのホスト及びデバイス要求がマスターを通過するため、一つのサーバから別のサーバにデータを送信し、データに対してフロー制御を実行し）、（ｖｉ）要求又はパケット（例えば、マスターによって異なるサーバ１０５から受信した複数のキャッシュ要求）をグループ化又は一括し、（ｖｉｉ）リモートソフトウェアの更新、放送通信等を受信する。バッチ（ｂａｔｃｈ）モードでは、サーバリンクスイッチ１１２は、同じサーバ宛ての（例えば、第１のサーバ宛ての）複数のパケットを受信し、これらを共に（すなわち、それらの間で止まることなく）第１のサーバに送信する。例えば、サーバリンクスイッチ１１２は、第２のサーバから第１のパケットを受信し、第３のサーバから第２のパケットを受信し、第１のパケット及び第２のパケットを共に第１のサーバに送信する。各サーバ１０５は、マスターコントローラに、（ｉ）ＩＰＭＩネットワークインターフェース、（ｉｉ）システムイベントログ（ＳＥＬ）、及び（ｉｉｉ）ボード管理コントローラ（ＢＭＣ）を露出して、マスターコントローラが即座に性能を測定し、信頼性を測定して、サーバ１０５を再構成することを可能にする。
一実施形態において、高可用性ロッド−ストアインターフェースを容易にするソフトウェア構造が使用される。このようなソフトウェア構造は、信頼性、複製、一貫性（ｃｏｎｓｉｓｔｅｎｃｙ）、システムコヒーレンス（ｃｏｈｅｒｅｎｃｅ）、ハッシュ（ｈａｓｈｉｎｇ）、キャッシング（ｃａｃｈｉｎｇ）、及び持続性を提供する。ソフトウェア構造は、ＩＰＭＩを介してＣＸＬデバイス構成要素の周期的なハードウェアチェックを実行して（サーバの数が多いシステムで）信頼性を提供する。例えば、サーバリンクスイッチ１１２は、ＩＰＭＩインターフェースを介して、メモリサーバ１５０の状態を照会し、例えば、電源状態（メモリサーバ１５０の電源が適切に動作しているか否か）、ネットワーク状態（サーバリンクスイッチ１１２へのインターフェースが適切に動作しているかどうか）、及びエラーチェック状態（エラー状態がメモリサーバ１５０のいずれかのサブシステムに存在するか否か）を照会する。ソフトウェア構造は、マスターコントローラがメモリモジュール１３５に格納されたデータを複製し、複製間でデータの一貫性を保つことができるという点で、複製を提供する。
ソフトウェア構造は、マスターコントローラが異なる一貫性レベルで構成されるという点で一貫性を提供し、サーバリンクスイッチ１１２は、維持する一貫性レベルに従ってパケットフォーマットを調整する。例えば、最終的な一貫性が維持されている場合、サーバリンクスイッチ１１２は、要求を並べ替える一方、厳密な一貫性を保つために、サーバリンクスイッチ１１２は、スイッチで正確なタイムスタンプを有するすべての要求のスコアボードを維持する。ソフトウェア構造は、多数の処理回路１１５が同じメモリアドレスから読み取るか、又は同じメモリアドレスへ書き込むことができるという点でシステムの一貫性を提供し、マスターコントローラは、一貫性を維持するために（ディレクトリルックアップを使用して）アドレスのホームノードに到達するか、又は共通バスで要求をブロードキャストする責任がある。
ソフトウェア構造は、サーバリンクスイッチ１１２及び強化機能ＣＸＬスイッチ１３０が、起動時にすべてのノードにまたがってすべてのＣＸＬデバイスにデータを均等にマッピングするために（又は一つのサーバがダウン又は動作したときに調整するために）、複数のハッシュ関数と一貫するハッシュ化を使用するアドレスの仮想マッピングを維持するという点で、ハッシュ化を提供する。ソフトウェア構造は、マスターコントローラが（例えば、ライト−スルーキャッシュ又はライト−バックキャッシュを利用して）キャッシュとして動作するために（例えば、ＨＢＭ又は同様の機能を備えた技術を含むメモリモジュール１３５で）特定のメモリパーティションを指定するという点で、キャッシュを提供する。ソフトウェア構造は、マスターコントローラとスレーブコントローラとが永続ドメイン及びフラッシュを管理するという点で持続性を提供する。
一実施形態において、ＣＸＬスイッチ１３０の機能は、メモリモジュール１３５のコントローラに統合される。このような実施形態において、サーバリンクスイッチ１１２は、それにもかかわらず、マスターとして動作し、本明細書の他の箇所で説明しているように、強化した機能を有する。サーバリンクスイッチ１１２はまた、システムの他のストレージデバイスを管理することができ、例えば、サーバリンクスイッチ１１２によって形成されたＰＣＩｅネットワークの一部ではないクライアントマシンに接続するためのイーサネット接続（例えば、１００ＧｂＥ接続）を有する。
一実施形態において、サーバリンクスイッチ１１２は、強化した機能を有し、かつ、統合されたＣＸＬコントローラを含む。他の実施形態において、サーバリンクスイッチ１１２は、物理的なルーティングデバイスにすぎず、各サーバ１０５は、マスターＣＸＬコントローラを含む。このような実施形態において、異なるサーバのマスターは、マスター−スレーブ構造を交渉する。（ｉ）強化機能ＣＸＬスイッチ１３０、及び（ｉｉ）サーバリンクスイッチ１１２の知能機能は、一つ以上のＦＰＧＡ、一つ以上のＡＳＩＣ、一つ以上のＡＲＭプロセッサ、又はコンピューティング機能を備えた一つ以上のＳＳＤに実装される。サーバリンクスイッチ１１２は、例えば、独立した要求を並べ替えることにより、フロー制御を実行する。一実施形態において、インターフェースはロード−ストアであるので、ＲＤＭＡはオプションであるが、（１００ＧｂＥの代わりに）ＰＣＩｅ物理媒体を使用する介入ＲＤＭＡ要求が存在する。このような実施形態において、リモートホストは、サーバリンクスイッチ１１２を介して強化機能ＣＸＬスイッチ１３０に送信されるＲＤＭＡ要求を開始する。サーバリンクスイッチ１１２及び強化機能ＣＸＬスイッチ１３０は、ＲＤＭＡ ４ＫＢ要求又はＣＸＬのフリット（６４バイト）要求を優先する。
図１Ｃ及び図１Ｄに示すように、強化機能ＣＸＬスイッチ１３０は、このようなＲＤＭＡ要求を受信するように構成され、受信サーバ１０５（すなわち、ＲＤＭＡ要求を受信するサーバ）のメモリモジュール１３５のグループを自身のメモリスペースとして取り扱う。また、強化機能ＣＸＬスイッチ１３０は、処理回路１１５を介して仮想化し、リモート強化機能ＣＸＬスイッチ１３０に対するＲＤＭＡ要求を開始して、処理回路１１５が関与することなく、サーバ１０５間でデータを前後に移動させる。
図１Ｆは、図１Ｅのシステムと同様のシステムを示す。ここで、処理回路１１５は、強化機能ＣＸＬスイッチ１３０を介してネットワークインターフェース回路１２５に接続される。図１Ｄの実施形態のように、図１Ｆにおいて、強化機能ＣＸＬスイッチ１３０、メモリモジュール１３５、及びネットワークインターフェース回路１２５は、拡張ソケットアダプタ１４０上にある。拡張ソケットアダプタ１４０は、サーバ１０５のマザーボード上の、例えば、ＰＣＩｅコネクタ１４５などの拡張ソケットを差し込む回路基板又はモジュールである。従って、サーバは、ＰＣＩｅコネクタ１４５に拡張ソケットアダプタ１４０を設置することによってのみ変更される、任意の適切なサーバである。メモリモジュール１３５は、拡張ソケットアダプタ１４０のコネクタ（例えば、Ｍ．２コネクタ）に設置される。このような実施形態において、（ｉ）ネットワークインターフェース回路１２５は、強化機能ＣＸＬスイッチ１３０に統合されるか、（ｉｉ）それぞれのネットワークインターフェース回路１２５は、ＰＣＩｅインターフェースを有し（ネットワークインタフェーイス回路１２５は、ＰＣＩｅエンドポイントである）、これに接続された処理回路１１５は、ルートポート対エンドポイントＰＣＩｅ接続を介してネットワークインターフェース回路１２５と通信し、（処理回路１１５及びネットワークインターフェース回路１２５に接続されたＰＣＩｅ入力ポートを有する）強化機能ＣＸＬスイッチ１３０のコントローラ１３７は、ピアツーピアＰＣＩｅ接続を介してネットワークインタフェーイス回路１２５と通信する。
本発明の一実施形態によると、内蔵プログラム処理回路と、キャッシュコヒーレントスイッチと、第１のメモリモジュールと、を有する第１のサーバと、第２のサーバと、第１のサーバ及び第２のサーバに接続されたサーバリンクスイッチと、を含み、第１のメモリモジュールはキャッシュコヒーレントスイッチに接続され、キャッシュコヒーレントスイッチはサーバリンクスイッチに接続され、内蔵プログラム処理回路はキャッシュコヒーレントスイッチに接続される。一実施形態において、サーバリンクスイッチはＰＣＩｅスイッチを含む。一実施形態において、サーバリンクスイッチはＣＸＬスイッチを含む。一実施形態において、サーバリンクスイッチはＴｏＲ ＣＸＬスイッチを含む。一実施形態において、サーバリンクスイッチは、第１のサーバを発見するように構成される。一実施形態において、サーバリンクスイッチは、第１のサーバを再起動させるように構成される。一実施形態において、サーバリンクスイッチは、キャッシュコヒーレントスイッチが第１のメモリモジュールを無効にするように構成される。一実施形態において、サーバリンクスイッチは、第２のサーバから第１のサーバにデータを送信し、データに対してフロー制御を実行するように構成される。一実施形態において、システムは、サーバリンクスイッチに接続された第３のサーバをさらに含み、サーバリンクスイッチは、第２のサーバから第１のパケットを受信し、第３のサーバから第２のパケットを受信し、第１のパケット及び第２のパケットを第１のサーバに送信する。一実施形態において、システムは、キャッシュコヒーレントスイッチに接続された第２のメモリモジュールをさらに含み、第１のメモリモジュールは揮発性メモリを含み、第２のメモリモジュールは永続メモリを含む。一実施形態において、キャッシュコヒーレントスイッチは、第１のメモリモジュール及び第２のメモリモジュールを仮想化するように構成される。一実施形態において、第１のメモリモジュールはフラッシュメモリを含み、キャッシュコヒーレントスイッチは、フラッシュメモリのためのフラッシュ変換層を提供するように構成される。一実施形態において、第１のサーバは、第１のサーバの拡張ソケットに接続された拡張ソケットアダプタを含み、拡張ソケットアダプタは、キャッシュコヒーレントスイッチと、メモリモジュールソケットと、を含み、第１のメモリモジュールは、メモリモジュールソケットを介してキャッシュコヒーレントスイッチに接続される。一実施形態において、メモリモジュールソケットは、Ｍ．２ソケットを含む。一実施形態において、キャッシュコヒーレントスイッチは、コネクタを介してサーバリンクスイッチに接続され、コネクタは、拡張ソケットアダプタ上にある。本発明の一実施形態によると、コンピューティングシステムにおいてリモートダイレクトメモリアクセスを実行する方法が提供され、コンピューティングシステムは、第１のサーバと、第２のサーバと、第３のサーバと、第１のサーバ、第２のサーバ、及び第３のサーバに接続されたサーバリンクスイッチと、を含み、第１のサーバは、内蔵プログラム処理回路と、キャッシュコアラントスイッチと、第１のメモリモジュールと、を含み、前記方法は、サーバリンクスイッチによって第２のサーバから第１のパケットを受信する段階と、サーバリンクスイッチによって第３のサーバから第２のパケットを受信する段階と、第１のサーバに第１のパケット及び第２のパケットを送信する段階と、を含む。一実施形態において、前記方法は、キャッシュコヒーレントスイッチによってストレートＲＤＭＡ要求を受信する段階と、キャッシュコヒーレントスイッチによってストレートＲＤＭＡ応答を送信する段階と、をさらに含む。一実施形態において、ストレートＲＤＭＡ要求の受信は、サーバリンクスイッチを介するストレートＲＤＭＡ要求の受信を含む。一実施形態において、前記方法は、キャッシュコヒーレントスイッチによって内蔵プログラム処理回路から第１のメモリアドレスに対する読み取りコマンドを受信する段階と、キャッシュコヒーレントスイッチによって第１のメモリアドレスを第２のメモリアドレスに変換する段階と、キャッシュコヒーレントスイッチによって第２のメモリアドレスで第１のメモリモジュールからのデータを検索する段階と、をさらに含む。本発明の一実施形態によると、内蔵プログラム処理回路と、キャッシュコヒーレントスイッチング手段と、第１のメモリモジュールと、を含む第１のサーバと、第２のサーバと、第１のサーバ及び第２のサーバに接続されたサーバリンクスイッチと、を含み、第１のメモリモジュールはキャッシュコヒーレントスイッチング手段に接続され、キャッシュコヒーレントスイッチング手段はサーバリンクスイッチに接続され、内蔵プログラム処理回路はキャッシュコヒーレントスイッチング手段に接続される。
図１Ｇは、図示のように、複数のメモリサーバ１５０のそれぞれが、ＰＣＩｅ５．０ＣＸＬスイッチであるサーバリンクスイッチ１１２に接続されている実施形態を示している。図１Ｅ及び図１Ｆの実施形態のように、サーバリンクスイッチ１１２は、ＦＰＧＡ又はＡＳＩＣを含み、イーサネットスイッチよりも（スループット及びレイテンシーの観点から）優れた性能を提供する。図１Ｅ及び図１Ｆの実施形態のように、メモリサーバ１５０は、複数のＰＣＩｅコネクタを介してサーバリンクスイッチ１１２に接続された複数のメモリモジュール１３５を含む。図１Ｇの実施形態において、処理回路１１５及びシステムメモリ１２０はなくてもよく、メモリサーバ１５０の主な目的は、コンピューティングリソースを有する他のサーバ１０５によって使用するためのメモリを提供することである。
図１Ｇに示すように、サーバリンクスイッチ１１２は、異なるメモリサーバ１５０から受信した多数のキャッシュ要求をグループ化又は一括し、パケットをグループ化して制御オーバーヘッドを減少する。強化機能ＣＸＬスイッチ１３０は、（ｉ）ワークロードに基づいてデータを異なるメモリタイプにルーティングし、（ｉｉ）プロセッサ側アドレスを仮想化する（プロセッサ側アドレスをメモリ側アドレスに変換する）ための構成可能なハードウェア・ビルディング・ブロックを含む。図１Ｇに示すシステムは、ＣＸＬ２．０ベースであり、ラック内に構成可能なディスアグリゲーテッド（ｄｉｓａｇｇｒｅｇａｔｅｄ）共有メモリを含み、サーバリンクスイッチ１１２を使用してプールした（すなわち、集合した）メモリをリモートデバイスに提供する。
サーバリンクスイッチ１１２は、他のサーバ又はクライアントに接続するためのさらなるネットワーク接続（例えば、図示のイーサネット接続、又は別の種類の接続、例えば、Ｗｉ−Ｆｉ接続又は５Ｇ接続などの無線接続）を有する。サーバリンクスイッチ１１２及び強化機能ＣＸＬスイッチ１３０はそれぞれ、ＡＲＭプロセッサなどの処理回路であるか、又はこれを有するコントローラを含む。ＰＣＩｅインターフェースは、ＰＣＩｅ５．０標準、又はＰＣＩｅ標準の以前のバージョン、若しくは将来のバージョンに準拠するか、又は別の標準（例えば、ＮＶＤＩＭＭ−Ｐ、ＣＣＩＸ、又はＯｐｅｎＣＡＰＩ）をＰＣＩｅの代わりに使用する。メモリモジュール１３５は、ＤＤＲ４ ＤＲＡＭ、ＨＢＭ、ＬＰＤＤＲ、ＮＡＮＤフラッシュ、及びＳＳＤ（Ｓｏｉｌｄ Ｓｔａｔｅ Ｄｒｉｖｅ）を含む様々なメモリタイプを含む。メモリモジュール１３５は、分割されるか、又は多数のメモリタイプを処理するためにキャッシュコントローラを含み、ＨＨＨＬ、ＦＨＨＬ、Ｍ．２、Ｕ．２、メザニンカード、ドーターカード、Ｅ１．Ｓ、Ｅ１．Ｌ、Ｅ３．Ｌ、又はＥ３．Ｓ．などの異なるフォームファクタである。
図１Ｇの実施形態において、強化機能ＣＸＬスイッチ１３０は、一対多及び多対一のスイッチングを可能にし、フリット（６４バイト）レベルでの微粒子ロッド−ストアインターフェースを可能にする。各メモリサーバ１５０は、集合したメモリデバイスを有し、各デバイスは、それぞれのＬＤ−ＩＤを有する複数の論理デバイスに分割される。強化機能ＣＸＬスイッチ１３０は、コントローラ１３７（例えば、ＡＳＩＣ又はＦＰＧＡ）、及びデバイスの発見、列挙、分割、及び物理アドレスの範囲を提示するための回路（ＡＳＩＣ又はＦＰＧＡとは別か、又はその一部である）を含む。各メモリモジュール１３５は、一つの物理的機能（ＰＦ）及び最大１６の分離した論理デバイスを有する。一実施形態において、論理デバイスの数（例えば、パーティションの数）は（例えば、１６に）制限し、一つの制御パーティション（デバイスを制御するために使用される物理的機能である）もまた存在する。各メモリモジュール１３５は、処理回路１１５が保持するキャッシュラインコピーを処理するために、ｃｘｌ．ｃａｃｈｅ、ｃｘｌ．ｍｅｍ及びｃｘｌ．ｉｏ、並びにアドレス変換サービス（ＡＴＳ）の実装を備えたタイプ２のデバイスである。
強化機能ＣＸＬスイッチ１３０及びファブリック管理者は、メモリモジュール１３５の発見を制御し、（ｉ）デバイスの発見、及び仮想ＣＸＬソフトウェアの作成を実行し、（ｉｉ）仮想ポートを物理ポートにバインドする。図１Ａ〜図１Ｄの実施形態のように、ファブリック管理者は、ＳＭＢｕｓ側波帯を介する接続を介して動作する。ＩＰＭＩ又はＲｅｄｆｉｓｈ標準に準拠する（そして、標準で要求されない通加機能を提供する場合もある）インターフェースであるメモリモジュール１３５へのインターフェースは、構成可能性を可能にする。
図１Ｇの実施形態に対するビルディングブロックは、（前述のように）ＦＰＧＡ又はＡＳＩＣに実装され、メモリデバイス（例えば、メモリモジュール１３５）、ＳＳＤ、アクセラレータ（ＧＰＵ、ＮＩＣ）、ＣＸＬ及びＰＣＩｅ５コネクタ、並びにファームウェアの集合が可能なようにスイッチングするＣＸＬコントローラ１３７を含み、異種メモリ属性テーブル（ＨＭＡＴ）又は静的リソース・アフィニティ・テーブル（ＳＲＡＴ）などのオペレーティングシステムの高度な構成及び電源インターフェイス（ＡＣＰＩ）テーブルにデバイスの詳細を露出する。
一実施形態において、システムは構成可能性を提供する。システムは、ソフトウェアの構成に基づいて、オンライン及びオフラインのＣＸＬデバイス、並びに他のアクセラレータに対する機能を提供し、アクセラレータ、メモリ、ストレージデバイスリソースをグループ化し、それらをラック内の各メモリサーバ１５０に割り当てる。システムは、物理アドレス空間を隠し、ＨＢＭ及びＳＲＡＭなどのより高速なデバイスを使用して透明なキャッシュを提供する。
図１Ｇの実施形態において、強化機能ＣＸＬスイッチ１３０のコントローラ１３７は、（ｉ）メモリモジュール１３５を管理し、（ｉｉ）ＮＩＣ、ＳＳＤ、ＧＰＵ、ＤＲＡＭなどの異種デバイスを統合及び制御し、（ｉｉｉ）パワーゲーティングによってメモリデバイスへのストレージの動的再構成を実行する。例えば、サーバリンクスイッチ１１２は、（強化機能ＣＸＬスイッチ１３０にメモリモジュール１３５に対する電源を無効にするように指示することによって）メモリモジュール１３５の一つに対する電源を無効（すなわち、電源の遮断、又は電源の減少）にする。強化機能ＣＸＬスイッチ１３０は、メモリモジュール１３５に対する電源を無効にするため、サーバリンクスイッチ１１２によって指示されると、メモリモジュール１３５に対する電源を無効にする。このような無効化は、電源を保存することができ、メモリサーバ１５０内の他のメモリモジュール１３５の性能（例えば、スループット及びレイテンシ）を改善する。各リモートのサーバ１０５は、交渉に基づいて、メモリモジュール１３５及びこれらの接続の異なる論理ビューを見る。強化機能ＣＸＬスイッチ１３０のコントローラ１３７は、各リモートサーバが割り当てられたリソース及び接続を維持するように状態を維持し、（構成可能なチャンクサイズを使用して）メモリ容量を節約するためにメモリの圧縮又は重複排除を実行する。図１Ｇのディスアグリゲーテッド・ラックは、それ自体のＢＭＣを有する。また、ＩＰＭＩネットワークインターフェース及びシステムイベントログ（ＳＥＬ）をリモートデバイスに露出し、マスター（例えば、メモリサーバ１５０によって提供されるストレージを使用するリモートサーバ）が性能及び信頼性をその場で測定し、ディスアグリゲーテッド・ラックを再構成する。図１Ｅの実施形態について本明細書に記載のものと同様の方法で、図１Ｇのディスアグリゲーテッド・ラックは、信頼性、複製、一貫性、システムコヒーレンス、ハッシュ、キャッシング、及び持続性を提供し、例えば、コヒーレンスは、同じメモリアドレスからの読み取り又は同じメモリアドレスへの書き込みを行う複数のリモートサーバに提供され、各リモートサーバは異なる一貫性レベルで構成される。一実施形態において、サーバリンクスイッチは、第１のメモリサーバに格納されたデータと第２のメモリサーバに格納されたデータとの間の最終的な一貫性を維持する。サーバリンクスイッチ１１２は、異なるサーバ対ごとに異なる一貫性レベルを維持し、例えば、サーバリンクスイッチ１１２はまた、第１のメモリサーバに格納されたデータと第３のメモリサーバに格納されたデータとの間で厳密な一貫性、逐次一貫性、因果（ｃａｕｓａｌ）一貫性、又はプロセッサ一貫性である一貫性レベルを維持する。システムは、「ローカルバンド」（サーバリンクスイッチ１１２）及び「グローバルバンド」（ディスアグリゲーテッド・サーバ）のドメインにおける通信を使用する。書き込みは、他のサーバからの新たな読み取りで認識するように、「グローバルバンド」にフラッシュされる。強化機能ＣＸＬスイッチ１３０のコントローラ１３７は、永続ドメインを管理し、それぞれのリモートサーバに個別にフラッシュする。例えば、キャッシュコヒーレントスイッチは、メモリ（キャッシュで動作する揮発性メモリ）の第１の領域の充足度（ｆｕｌｌｎｅｓｓ）を監視することができ、充足度のレベルが閾値を超えると、キャッシュコヒーレントスイッチがメモリの第１の領域からメモリの第２の領域にデータを移動する。メモリの第２の領域は、永続メモリ内にある。フロー制御は、リモートサーバ間で強化機能ＣＸＬスイッチ１３０のコントローラ１３７によって優先順位が設定されるという点で処理することができ、認知された異なるレイテンシ及び帯域幅を提供する。
本発明の実施形態によると、キャッシュコヒーレントスイッチと、第１のメモリモジュールと、を有する第１のメモリサーバと、第２のメモリサーバと、第１のメモリサーバ及び第２のメモリサーバに接続されたサーバリンクスイッチと、を含み、第１のメモリモジュールはキャッシュコヒーレントスイッチに接続され、キャッシュコヒーレントスイッチはサーバリンクスイッチに接続される。一実施形態において、サーバリンクスイッチは、第１のメモリモジュールへの電源を無効にするように構成される。一実施形態において、サーバリンクスイッチは、第１のメモリモジュールへの電源を無効にするように、キャッシュコヒーレントスイッチに指示することによって、第１のメモリモジュールへの電源を無効にするように構成され、キャッシュコヒーレントスイッチは、第１のメモリモジュールへの電源を無効にするようにサーバリンクスイッチによって指示されると、第１のメモリモジュールへの電源を無効にするように構成される。一実施形態において、キャッシュコヒーレントスイッチは、第１メモリモジュール内で重複排除を実行するように構成される。一実施形態において、キャッシュコヒーレントスイッチは、データを圧縮し、圧縮したデータを第１のメモリモジュールに格納するように構成される。一実施形態において、サーバリンクスイッチは、第１のメモリサーバの状態を照会するように構成される。一実施形態において、サーバリンクスイッチは、ＩＰＭＩを介して第１のメモリサーバの状態を照会するように構成される。一実施形態において、状態の照会は、電源状態、ネットワーク状態、及びエラーチェック状態からなるグループから選択された状態を照会することを含む。一実施形態において、サーバリンクスイッチは、第１のメモリサーバに向かうキャッシュ要求を一括するように構成される。一実施形態において、システムは、サーバリンクスイッチに接続された第３のメモリサーバをさらに含み、サーバリンクスイッチは、第１のメモリサーバに格納されたデータと第３のメモリサーバに格納されたデータとの間で一貫性を維持するように構成され、一貫性レベルは、厳密な一貫性、逐次一貫性、因果一貫性及びプロセッサ一貫性からなるグループから選択される。一実施形態において、キャッシュコヒーレントスイッチは、メモリの第１の領域の充足度を監視し、メモリの第１の領域からメモリの第２の領域にデータを移動するように構成され、メモリの第１の領域は揮発性メモリ内にあり、メモリの第２の領域は永続メモリ内にある。一実施形態において、サーバリンクスイッチはＰＣＩｅスイッチを含む。一実施形態において、サーバリンクスイッチはＣＸＬスイッチを含む。一実施形態において、サーバリンクスイッチは、ラック上部（ＴｏＲ）ＣＸＬスイッチを含む。一実施形態において、サーバリンクスイッチは、第２のメモリサーバから第１のメモリサーバにデータを送信し、データに対してフロー制御を実行するように構成される。一実施形態において、システムは、サーバリンクスイッチに接続された第３のメモリサーバをさらに含み、サーバリンクスイッチは、第２のメモリサーバから第１のパケットを受信し、第３のメモリサーバから第２のパケットを受信し、第１のパケット及び第２のパケットを第１のメモリサーバに送信するように構成される。本発明の一実施形態によると、コンピューティングシステムにおいてＲＤＭＡを実行するための方法が提供され、コンピューティングシステムは、第１のメモリサーバと、第１のサーバと、第２のサーバと、第１のメモリサーバ、第１のサーバ及び第２のサーバに接続されるサーバリンクスイッチと、を含み、第１のメモリサーバは、キャッシュコヒーレントスイッチと、第１のメモリモジュールと、を含み、第１のサーバは内蔵プログラム処理回路を含み、第２のサーバは内蔵プログラム処理回路を含み、前記方法は、サーバリンクスイッチによって第１のサーバから第１のパケットを受信する段階と、サーバリンクスイッチによって第２のサーバから第２のパケットを受信する段階と、第１のパケット及び第２のパケットを第１のメモリサーバに送信する段階と、を含む。一実施形態において、前記方法は、キャッシュコヒーレントスイッチによってデータを圧縮する段階と、データを第１のメモリモジュールに格納する段階と、をさらに含む。一実施形態において、前記方法は、サーバリンクスイッチによって第１のメモリサーバの状態を照会する段階をさらに含む。本発明の一実施形態によると、キャッシュコヒーレントスイッチ及び第１のメモリモジュールを含む第１のメモリサーバと、第２のメモリサーバと、第１のメモリサーバ及び第２のメモリサーバに接続されるサーバリンクスイッチング手段と、を含み、第１のメモリモジュールはキャッシュコヒーレントスイッチに接続され、キャッシュコヒーレントスイッチはサーバリンクスイッチング手段に接続される。
図２Ａ〜図２Ｄは、様々な実施形態のフローチャートである。これらのフローチャートの実施形態において、処理回路１１５はＣＰＵであり、他の実施形態において、これらは他の処理回路（例えば、ＧＰＵ）である。図２Ａを参照すると、図１Ａ及び図１Ｂの任意の実施形態のメモリモジュール１３５のコントローラ１３７、又は図１Ｃ〜図１Ｇの任意の実施形態の強化機能ＣＸＬスイッチ１３０が処理回路１１５を介して仮想化し、別のサーバ１０５の強化機能ＣＸＬスイッチ１３０でＲＤＭＡ要求を開始して、（強化機能ＣＸＬスイッチ１３０のコントローラ１３７によって処理される仮想化と共に）いずれのサーバにも処理回路１１５を含むことなく、サーバ１０５間でデータを前後に移動する。例えば、Ｓ２０５において、メモリモジュール１３５のコントローラ１３７、又は強化機能ＣＸＬスイッチ１３０は、さらなるリモートメモリ（例えば、ＣＸＬメモリ又は集合メモリ）に対するＲＤＭＡ要求を生成する。Ｓ２１０において、メモリモジュール１３５のコントローラ１３７、又は強化機能ＣＸＬスイッチ１３０は、処理回路１１５をバイパスして（ＲＤＭＡインターフェースを有する）ＴｏＲイーサネットスイッチ１１０に要求を送信する。Ｓ２１５において、ＴｏＲイーサネットスイッチ１１０は、リモート処理回路１１５をバイパスして、リモート集合メモリへのＲＤＭＡアクセスを介して、メモリモジュール１３５のコントローラ１３７又はリモート強化機能ＣＸＬスイッチ１３０による処理のために、ＲＤＭＡ要求をリモートサーバ１０５にルーティングする。Ｓ２２０において、ＴｏＲイーサネットスイッチ１１０は、処理済みのデータを受信し、ＲＤＭＡを介してローカル処理回路１１５をバイパスして、データをローカルメモリモジュール１３５又はローカル強化機能ＣＸＬスイッチ１３０にルーティングする。Ｓ２２２において、図１Ａ及び図１Ｂの実施形態のメモリモジュール１３５のコントローラ１３７、又は強化機能ＣＸＬスイッチ１３０は、ＲＤＭＡ応答を直接（例えば、処理回路１１５によって転送されることなく）受信する。
このような実施形態において、リモートメモリモジュール１３５のコントローラ１３７、又はリモートサーバ１０５の強化機能ＣＸＬスイッチ１３０は、ストレートＲＤＭＡ要求を受信し、ストレートＲＤＭＡ応答を送信するように構成される。本明細書で使用しているように、リモートメモリモジュール１３５のコントローラ１３７、又は強化機能ＣＸＬスイッチ１３０が「ストレートＲＤＭＡ要求」を受信する（又は、このような要求を「ストレートに」受信する）ことは、リモートサーバ１０５の処理回路１１５によって転送又は処理されることなく、リモートメモリモジュール１３５のコントローラ１３７、又は強化機能ＣＸＬスイッチ１３０によって、このような要求を受信することを意味し、リモートメモリモジュール１３５のコントローラ１３７、又は強化機能ＣＸＬスイッチ１３０によって「ストレートＲＤＭＡ応答」を送信する（又は、そのような要求を「ストレートに」送信）ことは、リモートサーバ１０５の処理回路１１５によって転送又は処理されることなく、そのような応答を送信することを意味する。
図２Ｂを参照すると、別の実施形態において、ＲＤＭＡは、データ処理に関与するリモートサーバ１０５の処理回路１１５と共に実行される。例えば、Ｓ２２５において、処理回路１１５がイーサネットを介してデータ又はワークロード要求を送信する。Ｓ２３０において、ＴｏＲイーサネットスイッチ１１０が要求を受信し、これを複数のサーバ１０５の内の対応するサーバ１０５にルーティングする。Ｓ２３５において、要求がネットワークインターフェース回路１２５（例えば、１００ＧｂＥ対応のＮＩＣ）のポートを介してサーバ内で受信される。Ｓ２４０において、処理回路１１５（例えば、ｘ８６処理回路）がネットワークインターフェース回路１２５（例えば、ＰＣＩｅコネクタ）からの要求を受信する。Ｓ２４５において、処理回路１１５がメモリ（図１Ａ及び図１Ｂの実施形態では、集合メモリである）を共有するために、ＣＸＬ２．０プロトコルを介してＤＤＲ及び追加メモリリソースを使用して（例えば、共に）要求を処理する。
図２Ｃを参照すると、図１Ｅ及び図１Ｆの実施形態において、ＲＤＭＡは、リモートサーバ１０５の処理回路１１５が、データ処理に関与する状態で実行される。例えば、Ｓ２２５において、処理回路１１５は、イーサネット又はＰＣＩｅを介してデータ又はワークロード要求を送信する。Ｓ２３０において、ＴｏＲ ＰＣＩｅ５ ＣＸＬスイッチ３．１１２（サーバリンクスイッチ）が要求を受信し、これを複数のサーバ１０５の内の対応するサーバ１０５にルーティングする。Ｓ２３５において、要求がＰＣＩｅコネクタ１２５のポートを介してサーバ内で受信される。Ｓ２４０において、処理回路１１５（例えば、ｘ８６処理回路）がネットワークインターフェース回路１２５（例えば、ＰＣＩｅコネクタ）からの要求を受信する。Ｓ２４５において、処理回路１１５がメモリ（図１Ａ及び図１Ｂの実施形態では、集合メモリである）を共有するためにＣＸＬ２．０プロトコルを介してＤＤＲ及び追加メモリリソースを使用して（例えば、共に）、要求を処理する。Ｓ２５０において、処理回路１１５が異なるサーバからメモリコンテンツ（例えば、ＤＤＲ又は集合メモリのコンテンツ）にアクセスするための要件を識別する。Ｓ２５２において、処理回路１１５がＣＸＬプロトコル（例えば、ＣＸＬ１．１又はＣＸＬ２．０）を介して異なるサーバからメモリコンテンツ（例えば、ＤＤＲ又は集合メモリのコンテンツ）に対する要求を送信する。Ｓ２５４において、要求がローカルＰＣＩｅコネクタを介してＴｏＲ ＰＣＩｅ５スイッチ１１２に伝播され、次に要求をラック上の第２のサーバの第２のＰＣＩｅコネクタに送信する。Ｓ２５６において、第２の処理回路１１５（例えば、ｘ８６処理回路）が第２のＰＣＩｅコネクタからの要求を受信する。Ｓ２５８において、第２の処理回路１１５が集合メモリを共有するためにＣＸＬ２．０プロトコルを介して第２のＤＤＲ及び第２の追加メモリリソースを使用して、要求（例えば、メモリコンテンツの検索）を共に処理する。Ｓ２６０において、第２の処理回路（例えば、ｘ８６処理回路）が要求の結果をそれぞれのＰＣＩｅコネクタ及びＴｏＲ ＰＣＩｅ５スイッチ１１２を介して、元の処理回路に再送信する。
図２Ｄを参照すると、図１Ｇの実施形態において、ＲＤＭＡは、データ処理に関与するリモートサーバ１０５の処理回路１１５で実行される。例えば、Ｓ２２５において、処理回路１１５がイーサネットを介してデータ又はワークロード要求を送信する。Ｓ２３０において、ＴｏＲ ＰＣＩｅ５ ＣＸＬスイッチ１１２（サーバリンクスイッチ）が要求を受信し、これを複数のサーバ１０５の内の対応するサーバ１０５にルーティングする。Ｓ２３５において、要求がネットワークインターフェース回路１２５（例えば、１００ＧｂＥ対応のＮＩＣ）のポートを介してサーバ内で受信される。Ｓ２６２において、メモリモジュール１３５がＰＣＩｅコネクタから要求を受信する。Ｓ２６４において、メモリモジュール１３５のコントローラ１３７がローカルメモリを使用して要求を処理する。Ｓ２５０において、メモリモジュール１３５のコントローラ１３７が異なるサーバからメモリコンテンツ（例えば、集合メモリのコンテンツ）にアクセスするための要件を識別する。Ｓ２５２において、メモリモジュール１３５のコントローラ１３７がＣＸＬプロトコルを介して異なるサーバからメモリコンテンツ（例えば、集合メモリのコンテンツ）に対する要求を送信する。Ｓ２５４において、要求がローカルＰＣＩｅコネクタを介してＴｏＲ ＰＣＩｅ５ ＣＸＬスイッチ１１２に伝播され、次に要求をラック上の第２のサーバの第２のＰＣＩｅコネクタに送信する。Ｓ２６６において、第２のＰＣＩｅコネクタがメモリモジュール１３５のコントローラ１３７がメモリコンテンツを検索できるように、集合メモリを共有するためにＣＸＬプロトコルを介するアクセスを提供する。
本明細書で使用している「サーバ」は、少なくとも一つの内蔵プログラム処理回路（例えば、処理回路１１５）、少なくとも一つのメモリリソース（例えば、システムメモリ１２０）、及びネットワーク接続を提供するための少なくとも一つの回路（例えば、ネットワークインターフェース回路１２５）を含むコンピューティングシステムである。本明細書で使用する「一部」は、物の「少なくとも一部」を意味し、従って、物のすべて又はすべてよりも少ないことを意味する。従って、物の「一部」には、特別な場合として物全体を含み、つまり、物全体が物の一部であるという例である。
本明細書の背景セクションに提供する背景は、脈絡を設定するためにのみ含まれ、このセクションの内容は、従来技術と認められない。（例えば、ここに含まれる任意のシステム図において）記載されている任意の構成要素又は構成要素の任意の組み合わせは、ここに含まれる任意のフローチャートの動作の内一つ以上を実行するために使用する。また、（ｉ）動作は例示的な動作であり、明示的に説明していない様々な追加段階を含み、（ｉｉ）動作の時間的順序は変更される。
用語「処理回路」又は「コントローラ手段」は、本明細書では、データ又はデジタル信号を処理するために使用するハードウェア、ファームウェア、及びソフトウェアの任意の組み合わせを意味するために使用した。処理回路ハードウェアには、例えば、ＡＳＩＣ、汎用又は特殊目的のＣＰＵ、デジタル信号プロセッサ（ＤＳＰ）、ＧＰＵ及びＦＰＧＡなどのプログラム可能な論理装置が含まれる。本明細書で使用する処理回路において、それぞれの機能は、その機能を実行するように構成されたハードウェア、すなわちハードワイヤによって実行されるか、又はＣＰＵのようなより一般的な目的のハードウェアによって実行され、非一時的な記憶媒体に格納された命令を実行するように構成される。処理回路は、単一の印刷回路基板（ＰＣＢ）上に作製されるか、又は複数の相互接続されたＰＣＢに分散される。処理回路は、他の処理回路を含み得る。例えば、処理回路は、ＰＣＢ上で相互接続された２つの処理回路、ＦＰＧＡ、及びＣＰＵを含み得る。
本明細書で使用している「コントローラ」は回路を含み、「制御回路」又は「コントローラ回路」と記載することもある。同様に、「メモリモジュール」は、「メモリモジュール回路」又は「メモリ回路」と記載することもある。本明細書で使用している用語「配列」は、格納方法（例えば、連続するメモリ位置に格納されるか、又はリンクリストに格納されるか）に関係なく、順序付けられた一連の数字を意味する。ここで二番目の数が最初の数の「Ｙ％以内」である場合、二番目の数は最初の数の最小（１−Ｙ／１００）倍であり、二番目の数は最大（１＋Ｙ／１００）×最初の数である。本明細書で使用する用語「又は」は、「及び／又は」と解釈すべきであり、例えば、「Ａ又はＢ」は、「Ａ」又は「Ｂ」、又は「Ａ及びＢ」のいずれかを意味する。
本明細書で使用している方法（例えば、調整）又は第１の数量（例えば、第１の変数）が、第２の数量（例えば、第２の変数）に「基づく」と記載している場合、第２の数量は、方法に対する入力であるか、又は第１の数量に影響を与える。例えば、第２の数量は、第１の数量を計算する関数に対する入力（例えば、唯一の入力、又は複数の入力の内の一つ）であるか、あるいは第１の数量は第２の数量と同じであってもよく、又は第１の数量は、第２の数量と同じであってもよい（例えば、メモリ内の同じ位置に格納される）。
本明細書において、「第１」、「第２」、「第３」などの用語は、さまざまな要素、構成要素、領域、層及び／又はセクションを説明するために使用したが、これらの用語によって制限してはならない。これらの用語は、１つの要素、構成要素、領域、層又はセクションを他の要素、構成要素、領域、層又はセクションと区別するためにのみ使用した。従って、本明細書に記載の第１の要素、構成要素、領域、層又はセクションは、本発明の概念の思想や範囲を逸脱することなく、第２の要素、構成要素、領域、層又はセクションと指すことができる。
「下」を示す様々な空間的に相対的な用語は、一つの要素又は別の要素との特徴の関係を容易にするために使用した。そのような空間的に相対的な用語は、図に示す方向に加えて、使用中又は動作中のデバイスの他の方向を含むことを意図している。例えば、図のデバイスが裏返っている場合、他の要素又は機能の「下」として説明した要素は、他の要素又は機能の「上」に向けられる。従って、例示的な用語「下」は、上及び下の両方を含み得る。デバイスは、他の方向に配置されてもよく（例えば、９０度回転又は他の方向に）、ここで使用した空間的に相対的な記述子は、それに応じて解釈すべきである。また、一層が２つの層の間にあると記載する場合、それは２つの層の間の唯一の層であるか、又は一つ以上の中間層が存在し得ることも理解されるであろう。
本明細書で使用した用語は、特定の実施形態を説明することのみを目的としており、本発明の概念を制限することを意図するものではない。本明細書で使用した「実質的に」、「約」、及びこれと同様の用語は、程度の用語ではなく、近似値の用語として使用し、当業者が認識する測定値又は計算値の固有の変動を説明することを意図している。本明細書で使用している単数形は、文脈上明らかに他のことを示さない限り、複数形も含むことを意図している。本明細書において、「含む」という用語は、開示する特徴、数字、段階、動作、要素、及び／又は構成要素の存在を明示するが、一つ以上の他の特徴、数字、段階、動作、要素、構成要素、及び／又はこれらのグループの存在又は追加を排除するものではない。本明細書で使用した用語「及び／又は」は、関連して挙げられた一つ以上の項目の任意且つ全ての組み合わせを含む。「少なくとも一つ」のような表現は、要素のリストに先行する場合、要素全体のリストを修正し、リストの個々の要素を修正しない。また、本発明の実施形態を説明する際に使用される「し得る」という用語は、「本発明の一つ以上の実施形態」を意味する。また、「例示的」という用語は、例又は例示を指すことを意図している。本明細書で使用した用語「使用する」は、「利用する」という用語と同義と見なす。
要素又は層が、別の要素又は層「（上）に」、「接続される」、「結合される」又は「隣接する」と記載した場合、それは直接接続されるか、一つ以上の他の中間要素又は層が存在する。対照的に、要素又は層が別の要素又は層の「すぐ上に」、「直接接続される」、「直接結合される」又は「隣接する」と記載した場合、間にある要素又は層は存在しない。
本明細書で引用する任意の数値範囲は、引用された範囲内に含まれる同じ数値精度のすべてのサブ範囲を含むことを意図している。例えば、「１．０から１０．０まで」又は「１．０と１０．０との間」の範囲は、引用された最小値１．０と記載されている最大値１０．０との間、すなわち、１．０以上の最小値及び１０．０以下の最大値、例えば、２．４〜７．６を含むすべてのサブ範囲を含むことを意図している。本明細書で引用する任意の最大の数値制限は、そこに含まれるすべてのより低い数値制限を含むことを意図しており、本明細書で引用する任意の最小の数値制限は、そこに含まれるすべてのより高い数値限定を含むことを意図している。
メモリリソースを管理するためのシステム及び方法の例示的な実施形態を、本明細書で具体的に説明及び示したが、多くの修正及び変形が当業者に明らかであろう。従って、本開示の原理に従って構成されたメモリリソースを管理するためのシステム及び方法は、本明細書に具体的に記載されている以外に具体化され得ることを理解すべきである。本発明はまた、特許請求の範囲、及びその同等物で定義される。
１０５ サーバ
１１０ ＴｏＲイーサネットスイッチ
１１２ サーバリンクスイッチ
１１５ 処理回路
１２０ システムメモリ
１２５ ネットワークインターフェース回路
１３０ 強化機能ＣＸＬスイッチ
１３５ メモリモジュール
１３７ コントローラ
１４０ 拡張ソケットアダプタ
１４５ 拡張ソケット（ＰＣＩｅコネクタ）
１５０ メモリサーバ

Claims (20)

  1. キャッシュコヒーレントスイッチと、第１のメモリモジュールと、を有する第１のメモリサーバと、
    第２のメモリサーバと、
    前記第１のメモリサーバ及び前記第２のメモリサーバに接続されるサーバリンクスイッチと、を含み、
    前記第１のメモリモジュールは、前記キャッシュコヒーレントスイッチに接続され、
    前記キャッシュコヒーレントスイッチは、前記サーバリンクスイッチに接続される、ことを特徴とするシステム。
  2. 前記サーバリンクスイッチは、前記第１のメモリモジュールへの電源を無効にできる、ことを特徴とする請求項１に記載のシステム。
  3. 前記サーバリンクスイッチは、前記第１のメモリモジュールへの電源を無効にするように前記キャッシュコヒーレントスイッチに指示することによって、前記第１のメモリモジュールへの電源を無効にし、
    前記キャッシュコヒーレントスイッチは、前記サーバリンクスイッチによって前記第１のメモリモジュールへの電源を無効にするように指示されると、前記第１のメモリモジュールへの電源を無効にする、ことを特徴とする請求項２に記載のシステム。
  4. 前記キャッシュコヒーレントスイッチは、前記第１のメモリモジュール内でメモリの重複排除を実行する、ことを特徴とする請求項１に記載のシステム。
  5. 前記キャッシュコヒーレントスイッチは、データを圧縮し、前記第１のメモリモジュール内に圧縮したデータを格納する、ことを特徴とする請求項１に記載のシステム。
  6. 前記サーバリンクスイッチは、前記第１のメモリモジュールの状態を照会する、ことを特徴とする請求項１に記載のシステム。
  7. 前記サーバリンクスイッチは、インテリジェントプラットホーム管理インターフェース（ＩＰＭＩ）を介して前記第１のメモリモジュールの状態を照会する、ことを特徴とする請求項１に記載のシステム。
  8. 前記状態を照会することは、
    電源状態、ネットワーク状態、及びエラーチェック状態からなるグループから選択された一つの状態を照会することを含む、ことを特徴とする請求項７に記載のシステム。
  9. 前記サーバリンクスイッチは、前記第１のメモリサーバに指示されたキャッシュ要求を一括する、ことを特徴とする請求項１に記載のシステム。
  10. 前記システムは、
    前記サーバリンクスイッチに接続された第３のメモリサーバをさらに含み、
    前記サーバリンクスイッチは、前記第１のメモリサーバに格納されたデータと前記第３のメモリサーバに格納されたデータとの間で厳密な一貫性、逐次一貫性、因果一貫性、及びプロセッサ一貫性からなるグループから選択された一貫性レベルを維持する、ことを特徴とする請求項１に記載のシステム。
  11. 前記キャッシュコヒーレントスイッチは、
    メモリの第１の領域の充足度を監視し、
    前記メモリの前記第１の領域から前記メモリの第２の領域にデータを移動し、
    前記メモリの前記第１の領域は、揮発性メモリ内にあり、
    前記メモリの前記第２の領域は、永続メモリ内にある、ことを特徴とする請求項１に記載のシステム。
  12. 前記サーバリンクスイッチは、ＰＣＩｅスイッチを含む、ことを特徴とする請求項１に記載のシステム。
  13. 前記サーバリンクスイッチは、ＣＸＬスイッチを含む、ことを特徴とする請求項１に記載のシステム。
  14. 前記サーバリンクスイッチは、ＴｏＲ ＣＸＬスイッチを含む、ことを特徴とする請求項１３に記載のシステム。
  15. 前記サーバリンクスイッチは、前記第２のメモリサーバから前記第１のメモリサーバにデータを送信し、前記データに対してフロー制御を実行する、ことを特徴とする請求項１に記載のシステム。
  16. 前記システムは、
    前記サーバリンクスイッチに接続された第３のメモリサーバをさらに含み、
    前記サーバリンクスイッチは、
    前記第２のメモリサーバから第１のパケットを受信し、
    前記第３のメモリサーバから第２のパケットを受信し、
    前記第１のパケット及び前記第２のパケットを前記第１のメモリサーバに送信する、ことを特徴とする請求項１に記載のシステム。
  17. 第１のメモリサーバと、
    第１のサーバと、
    第２のサーバと、
    前記第１のメモリサーバ、前記第１のサーバ、及び前記第２のサーバに接続されたサーバリンクスイッチと、を含み、
    前記第１のメモリサーバは、キャッシュコヒーレントスイッチと、第１のメモリモジュールと、を含み、
    前記第１のサーバは、内蔵プログラム処理回路を含み、
    前記第２のサーバは、内蔵プログラム処理回路を含むコンピューティングシステムにおいて、
    前記サーバリンクスイッチによって前記第１のサーバから第１のパケットを受信する段階と、
    前記サーバリンクスイッチによって前記第２のサーバから第２のパケットを受信する段階と、
    前記第１のパケット及び前記第２のパケットを前記第１のメモリサーバに送信する段階と、を含む、コンピューティングシステムでリモートダイレクトメモリアクセスを実行する、ことを特徴とする方法。
  18. 前記方法は、
    前記キャッシュコヒーレントスイッチによってデータを圧縮する段階と、
    前記第１のメモリモジュールに前記データを格納する段階と、をさらに含む、ことを特徴とする請求項１７に記載の方法。
  19. 前記方法は、
    前記サーバリンクスイッチによって前記第１のメモリサーバの状態を照会する段階をさらに含む、ことを特徴とする請求項１７に記載の方法。
  20. キャッシュコヒーレントスイッチ、及び第１のメモリモジュールを含む第１のメモリサーバと、
    第２のメモリサーバと、
    前記第１のメモリサーバ及び前記第２のメモリサーバに接続されたサーバリンクスイッチング手段と、を含み、
    前記第１のメモリモジュールは、前記キャッシュコヒーレントスイッチに接続され、
    前記キャッシュコヒーレントスイッチは、前記サーバリンクスイッチング手段に接続される、ことを特徴とするシステム。
JP2021089584A 2020-05-28 2021-05-27 メモリリソースを管理するためのシステム及び方法 Pending JP2021190125A (ja)

Applications Claiming Priority (10)

Application Number Priority Date Filing Date Title
US202063031508P 2020-05-28 2020-05-28
US202063031509P 2020-05-28 2020-05-28
US63/031508 2020-05-28
US63/031509 2020-05-28
US202063057746P 2020-07-28 2020-07-28
US63/057746 2020-07-28
US202063068054P 2020-08-20 2020-08-20
US63/068054 2020-08-20
US17/026087 2020-09-18
US17/026,087 US11461263B2 (en) 2020-04-06 2020-09-18 Disaggregated memory server

Publications (1)

Publication Number Publication Date
JP2021190125A true JP2021190125A (ja) 2021-12-13

Family

ID=74859383

Family Applications (3)

Application Number Title Priority Date Filing Date
JP2021087728A Pending JP2021190121A (ja) 2020-05-28 2021-05-25 メモリリソースを管理するシステム及びその方法
JP2021089285A Pending JP2021190123A (ja) 2020-05-28 2021-05-27 キャッシュコヒーレントインターコネクトを使用するシステム及び方法
JP2021089584A Pending JP2021190125A (ja) 2020-05-28 2021-05-27 メモリリソースを管理するためのシステム及び方法

Family Applications Before (2)

Application Number Title Priority Date Filing Date
JP2021087728A Pending JP2021190121A (ja) 2020-05-28 2021-05-25 メモリリソースを管理するシステム及びその方法
JP2021089285A Pending JP2021190123A (ja) 2020-05-28 2021-05-27 キャッシュコヒーレントインターコネクトを使用するシステム及び方法

Country Status (6)

Country Link
US (1) US20210373951A1 (ja)
EP (4) EP3916563A1 (ja)
JP (3) JP2021190121A (ja)
KR (4) KR20210147865A (ja)
CN (4) CN113810312B (ja)
TW (4) TW202147123A (ja)

Families Citing this family (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11656967B2 (en) * 2020-02-13 2023-05-23 MemRay Corporation Method and apparatus for supporting persistence and computing device
US20210311871A1 (en) 2020-04-06 2021-10-07 Samsung Electronics Co., Ltd. System and method for aggregating server memory
US20210373951A1 (en) * 2020-05-28 2021-12-02 Samsung Electronics Co., Ltd. Systems and methods for composable coherent devices
DE102021121105A1 (de) * 2020-09-28 2022-03-31 Samsung Electronics Co., Ltd. Intelligente ablagespeichervorrichtung
US11442858B1 (en) * 2021-03-10 2022-09-13 Micron Technology, Inc. Bias control for a memory device
US20220318065A1 (en) * 2021-04-02 2022-10-06 Red Hat, Inc. Managing computer workloads across distributed computing clusters
US11755251B2 (en) * 2021-06-02 2023-09-12 Samsung Electronics Co., Ltd. Virtual computational storage devices
CN118056191A (zh) * 2021-06-09 2024-05-17 安法布里卡公司 具有可配置传输的多平面、多协议存储器交换机构造
US11782832B2 (en) * 2021-08-25 2023-10-10 Vmware, Inc. Low latency host processor to coherent device interaction
US11632337B1 (en) * 2021-10-11 2023-04-18 Cisco Technology, Inc. Compute express link over ethernet in composable data centers
TWI818385B (zh) * 2021-12-16 2023-10-11 神雲科技股份有限公司 儲存設備
US20230205705A1 (en) * 2021-12-23 2023-06-29 Advanced Micro Devices, Inc. Approach for providing indirect addressing in memory modules
US20230222068A1 (en) * 2022-01-11 2023-07-13 Flipkart Internet Private Limited System and method for optimizing cached memory comprising varying degrees of sla and crg
US11966590B2 (en) 2022-02-25 2024-04-23 Samsung Electronics Co., Ltd. Persistent memory with cache coherent interconnect interface
US20230281128A1 (en) * 2022-03-03 2023-09-07 Samsung Electronics Co., Ltd. Cache-coherent interconnect based near-data-processing accelerator
CN114896223A (zh) * 2022-04-07 2022-08-12 支付宝(杭州)信息技术有限公司 数据库实现装置、方法、系统、介质以及计算机程序产品
CN115982078A (zh) * 2023-01-19 2023-04-18 北京超弦存储器研究院 一种cxl内存模组及内存存储系统
CN116466879B (zh) * 2023-03-17 2023-12-29 北京超弦存储器研究院 一种cxl内存模组、内存数据的置换方法及计算机系统
CN116886751B (zh) * 2023-09-04 2024-01-19 浪潮(北京)电子信息产业有限公司 一种异构设备的高速通信方法、装置和异构通信系统

Family Cites Families (24)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7079535B2 (en) * 2000-07-28 2006-07-18 The Regents Of The Universtiy Of California Method and apparatus for real-time fault-tolerant multicasts in computer networks
US8725946B2 (en) * 2009-03-23 2014-05-13 Ocz Storage Solutions, Inc. Mass storage system and method of using hard disk, solid-state media, PCIe edge connector, and raid controller
US10877695B2 (en) * 2009-10-30 2020-12-29 Iii Holdings 2, Llc Memcached server functionality in a cluster of data processing nodes
US8937622B2 (en) * 2010-09-20 2015-01-20 Qualcomm Incorporated Inter-processor communication techniques in a multiple-processor computing platform
US9009406B2 (en) * 2010-12-10 2015-04-14 International Business Machines Corporation Determining server write activity levels to use to adjust write cache size
US20130318308A1 (en) * 2012-05-24 2013-11-28 Sonics, Inc. Scalable cache coherence for a network on a chip
US20140195672A1 (en) * 2013-01-09 2014-07-10 Microsoft Corporation Automated failure handling through isolation
KR102430561B1 (ko) * 2015-09-11 2022-08-09 삼성전자주식회사 듀얼 포트 디램을 포함하는 메모리 모듈
US10944842B2 (en) * 2016-05-27 2021-03-09 Home Box Office, Inc. Cached data repurposing
US20180024964A1 (en) * 2016-07-19 2018-01-25 Pure Storage, Inc. Disaggregated compute resources and storage resources in a storage system
US10503655B2 (en) * 2016-07-21 2019-12-10 Advanced Micro Devices, Inc. Data block sizing for channels in a multi-channel high-bandwidth memory
US10225344B2 (en) * 2016-08-12 2019-03-05 International Business Machines Corporation High-performance key-value store using a coherent attached bus
US10831404B2 (en) * 2018-02-08 2020-11-10 Alibaba Group Holding Limited Method and system for facilitating high-capacity shared memory using DIMM from retired servers
EP3796615B1 (en) * 2018-06-28 2023-06-07 Huawei Technologies Co., Ltd. Fault tolerance processing method, device, and server
US10599548B2 (en) * 2018-06-28 2020-03-24 Intel Corporation Cache monitoring
US10956230B2 (en) * 2018-10-01 2021-03-23 Vmware, Inc. Workload placement with forecast
US11100040B2 (en) * 2018-10-17 2021-08-24 Cisco Technology, Inc. Modular remote direct memory access interfaces
US11379254B1 (en) * 2018-11-18 2022-07-05 Pure Storage, Inc. Dynamic configuration of a cloud-based storage system
US11036658B2 (en) * 2019-01-16 2021-06-15 Advanced Micro Devices, Inc. Light-weight memory expansion in a coherent memory system
US11169854B2 (en) * 2019-01-31 2021-11-09 Hewlett Packard Enterprise Development Lp Node eligibility determinations
US11025544B2 (en) * 2019-06-07 2021-06-01 Intel Corporation Network interface for data transport in heterogeneous computing environments
US11573900B2 (en) * 2019-09-11 2023-02-07 Intel Corporation Proactive data prefetch with applied quality of service
US20200104275A1 (en) * 2019-12-02 2020-04-02 Intel Corporation Shared memory space among devices
US20210373951A1 (en) * 2020-05-28 2021-12-02 Samsung Electronics Co., Ltd. Systems and methods for composable coherent devices

Also Published As

Publication number Publication date
KR20210147871A (ko) 2021-12-07
EP3916564A1 (en) 2021-12-01
TW202147123A (zh) 2021-12-16
EP3916564B1 (en) 2024-06-05
EP3916565A1 (en) 2021-12-01
CN113746762A (zh) 2021-12-03
CN113742257A (zh) 2021-12-03
CN113742259A (zh) 2021-12-03
TW202145025A (zh) 2021-12-01
JP2021190121A (ja) 2021-12-13
JP2021190123A (ja) 2021-12-13
EP3916566B1 (en) 2024-05-08
KR20210147911A (ko) 2021-12-07
TW202213104A (zh) 2022-04-01
US20210373951A1 (en) 2021-12-02
TW202213105A (zh) 2022-04-01
EP3916563A1 (en) 2021-12-01
CN113810312A (zh) 2021-12-17
CN113810312B (zh) 2023-12-19
KR20210147867A (ko) 2021-12-07
EP3916566A1 (en) 2021-12-01
KR20210147865A (ko) 2021-12-07

Similar Documents

Publication Publication Date Title
US11416431B2 (en) System with cache-coherent memory and server-linking switch
EP3916566B1 (en) System and method for managing memory resources
US11526304B2 (en) Memcached server functionality in a cluster of data processing nodes
US10140245B2 (en) Memcached server functionality in a cluster of data processing nodes
US10135731B2 (en) Remote memory access functionality in a cluster of data processing nodes
US9648102B1 (en) Memcached server functionality in a cluster of data processing nodes
US11720290B2 (en) Memcached server functionality in a cluster of data processing nodes
KR20190112626A (ko) 어레이 내에서 솔리드 스테이트 드라이브들을 자율적으로 관리하는 메커니즘
TW202211035A (zh) 用於資源分配的系統、元件以及方法
CN117493237B (zh) 计算设备、服务器、数据处理方法和存储介质
US20240069755A1 (en) Computer system, memory expansion device and method for use in computer system

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20240401