JP2009187272A

JP2009187272A - 分散メモリマルチプロセッサシステムにおけるメモリ移行のための装置及び方法

Info

Publication number: JP2009187272A
Application number: JP2008026381A
Authority: JP
Inventors: Takeo Hosomi; 岳生細見
Original assignee: NEC Corp
Current assignee: NEC Corp
Priority date: 2008-02-06
Filing date: 2008-02-06
Publication date: 2009-08-20
Also published as: US20090198925A1; US8015372B2

Abstract

【課題】分散メモリマルチプロセッサシステムにおいて、対象となるラインを無効化することなく、メモリ移行を実現する装置および方法を提供すること。
【解決手段】移行先のセルを新セル、移行元を旧セルとした場合に、新セルが旧セルに移行するメモリラインのフェッチ要求を送出する。旧セルがフェッチ要求を受信し、新セルへデータを送信する。また、旧セルは新セルへディレクトリ情報の送信も行う。新セルはデータを受信しメモリを更新する。また、新セルはディレクトリ情報を受信し、ディレクトリ情報の更新も行う。
【選択図】図４

Description

本発明は分散メモリマルチプロセッサシステムにおけるメモリ移行のための装置及び方法に関する。

分散メモリマルチプロセッサシステムにおけるメモリ移行のための技術が特許文献１に開示されている。以降、図を参照しながら従来技術について説明する。

図８に従来技術の分散メモリマルチプロセッサシステムの構成を示す。

システムは、４つのセル５１０, ５１２, ５１４, ５１６を有し、それらがセル間ネットワーク５８０,５８２で接続される。セル５１０は２つのプロセッサ５２０Ａ,５２０Ｂを有し、それらはそれぞれキャッシュ５３０Ａ,５３０Ｂと接続している。セル５１０はさらにメモリコントローラ５５０を有し、メモリ５６０とディレクトリ５７０と接続している。セル内ネットワーク５４０は前記キャッシュ５３０Ａ, ５３０Ｂ、前記メモリコントローラ５５０、前記セル間ネットワーク５８０を接続している。

このようなシステムで、いかなるアドレスに対するプロセッサからのアクセスであっても最新のデータを提供することを保障するために、キャッシュ一貫性制御が実施される。このキャッシュ一貫性制御を実現するために、前記ディレクトリにはキャッシュへのフェッチ単位であるライン毎にディレクトリ情報が格納される。ディレクトリ情報は、例えば、どのセルのキャッシュがデータを保持しているかを示すビットマップと、メモリのデータが最新であるかどうかを示すクリーンビットからなる。ここで、メモリ５６０に格納されたデータのディレクトリ情報は、同じセル５１０のディレクトリ５７０に保持される。

このシステムでセル５１０のメモリ５６０からセル５１２のメモリ５６２に移行する場合、セル５１０を旧セル５１０と呼び、セル５１２を新セル５１２と呼ぶ。新セル５１２のメモリコントローラ５５２がメモリ移行のために有する手段を図９に示す。また旧セル５１０のメモリコントローラ５５０がメモリ移行のために有する手段を図１０に示す。

新セル５１２のメモリコントローラ５５２はフェッチ要求手段５５２１とメモリデータ更新手段５５２２を有する。旧セル５１０のメモリコントローラ５５０は、無効化手段５５０１とデータ送信手段５５０２を有する。

このシステムで旧セル５１０のメモリ５６０の一つのラインのデータを新セル５１２のメモリ５６２に移行する場合の動作を図１１のフローチャートに示す。

ステップＳ５０１において、新セル５１２のメモリコントローラ５５２のフェッチ要求手段５５２１が、移行するラインのフェッチ要求を旧セル５１０に送出する。ステップＳ５０３で、旧セル５１０のメモリコントローラ５５０の無効化手段５５０１が、前記フェッチ要求を受信し、ディレクトリ５７０に格納された情報に従って、システム内のキャッシュに保持された当該ラインのデータを無効化する処理を実施する。ステップＳ５０５で、前記ステップＳ５０３で実施した無効化処理完了後、前記メモリコントローラ５５０のデータ送信手段５５０２が、新セル５１２へ当該ラインのデータを送信する。ステップＳ５０７で、前記データを受信した新セル５１２の前記メモリコントローラ５５２のメモリデータ更新手段５５２２は、メモリ５６２を更新する。ここで、ディレクトリ５７２に格納された情報を初期化し、どのセルのキャッシュもデータを保持せずメモリに最新のデータが存在することを示す状態に設定する。

上記処理後、当該ラインのアクセス要求先が旧セル５１０から新セル５１２に移行し、新セル５１２のディレクトリ５７２に格納された情報がどのセルのキャッシュもデータを保持せずメモリに最新のデータが存在することを示す状態になっている。よって、一貫性を維持したままラインを旧セル５１０から新セル５１２に移行することが実現できている。
特開２００４−０５４９３１号公報

従来技術では、メモリ移行に伴って、旧セルから新セルにデータを移動する際にマルチプロセッサシステム内の当該ラインを所有しているキャッシュを無効化してしまう。そのため、旧ラインをアクセスしていたプロセッサにおいてキャッシュミスが発生し性能が低下するという問題があった。

本発明は、キャッシュの無効化を行わないメモリ移行を実現することを目的とする。

上記目的を達成するために本発明は、以下の特徴を有する。

本発明に係る分散メモリマルチプロセッサシステムにおけるメモリ移行装置は、一つ以上のキャッシュと、メモリ、メモリコントローラ、前記メモリに格納されたデータの状態を管理するディレクトリと、を有するセルが、セル間ネットワークによって複数接続された分散メモリマルチプロセッサシステムにおけるメモリ移行装置であって、第１のセルのメモリコントローラは、ディレクトリ情報更新手段を含み、第２のセルのメモリコントローラは、ディレクトリ情報送信手段を含み、前記ディレクトリ情報送信手段は、前記第２のセルのディレクトリから読み出したディレクトリ情報を第１のセルに送信する手段を有し、前記ディレクトリ情報更新手段は、前記ディレクトリ情報送信手段が送信した前記ディレクトリ情報を受けて、当該第１セルのディレクトリを更新することを特徴とする。

また、本発明に係る分散マルチプロセッサシステムにおけるメモリ移行方法は、一つ以上のキャッシュと、メモリ、メモリコントローラ、前記メモリに格納されたデータの状態を管理するディレクトリと、を有するセルが、セル間ネットワークによって複数接続された分散メモリマルチプロセッサシステムにおけるメモリ移行方法であって、メモリを移行する元のセルのディレクトリからディレクトリ情報を読み出し、メモリを移行する先のセルに送信する情報送信工程と、送信された前記ディレクトリ情報を受けて、前記移行する先のセルのディレクトリを更新する情報更新工程と、を含むことを特徴とする。

本発明の分散メモリマルチプロセッサシステムにおけるメモリ移行のための装置によれば、本発明の目的を達成することができる。その理由は、旧セルのディレクトリ情報を新セルにコピーすることで、システム内のキャッシング情報を新セルに引き継ぐことができるからである。

（第１の実施の形態）
本発明の第１の実施の形態について図面を参照して詳細に説明する。

図１に本発明の分散メモリマルチプロセッサシステムの構成を示す。

システムは、４つのセル１１０，１１２，１１４，１１６を有し、それらがセル間ネットワーク１８０，１８２で接続される。セル１１０は２つのプロセッサ１２０Ａ，１２０Ｂを有し、それらはそれぞれキャッシュ１３０Ａ，１３０Ｂと接続している。セル１１０はさらにメモリコントローラ１５０を有し、メモリ１６０とディレクトリ１７０と接続している。セル内ネットワーク１４０は前記キャッシュ１３０Ａ，１３０Ｂ、前記メモリコントローラ１５０、前記セル間ネットワーク１８０を接続している。

このようなシステムで、いかなるアドレスに対するプロセッサからのアクセスであっても最新のデータを提供することを保障するために、キャッシュ一貫性制御が実施される。このキャッシュ一貫性制御を実現するために、前記ディレクトリにはキャッシュへのフェッチ単位であるライン毎にディレクトリ情報が格納される。ディレクトリ情報は、例えば、どのセルのキャッシュがデータを保持しているかを示すビットマップと、メモリのデータが最新であるかどうかを示すクリーンビットからなる。図１に示した構成例では、４つのセルが存在するためビットマップは４ビットで構成される。あるビットが「１」の場合対応するセル内のキャッシュがデータを保持していることを示し、「０」の場合はどのキャッシュもデータを保持していないことを示す。またクリーンビットが「１」である場合はメモリのデータが最新であることを示し、「０」である場合は最新でないことを示す。「０」の場合、システム内である一つのキャッシュのみがデータを保持していることを暗に示す。ここで、メモリ１６０に格納されたデータのディレクトリ情報は、同じセル１１０のディレクトリ１７０に保持される。

このシステムでセル１１０のメモリ１６０からセル１１２のメモリ１６２に移行する場合、セル１１０を旧セル１１０と呼び、セル１１２を新セル１１２と呼ぶ。新セル１１２のメモリコントローラ１５２がメモリ移行のために有する手段を図２に示す。また旧セル１１０のメモリコントローラ１５０がメモリ移行のために有する手段を図３に示す。

新セル１１２のメモリコントローラ１５２はフェッチ要求手段１５２１とメモリデータ更新手段１５２２に加えて、ディレクトリ情報更新手段１５２３を有する。旧セル５１０のメモリコントローラ１５０は、データ送信手段１５０１とディレクトリ情報送信手段１５０２を有する。

このシステムで旧セル１１０のメモリ１６０の一つのラインのデータを新セル１１２のメモリ１６２に移行する場合の動作を図４のフローチャートに示す。

ステップＳ１０１において、新セル１１２のメモリコントローラ１５２のフェッチ要求手段１５２１が、移行するラインのフェッチ要求を旧セル１１０に送出する。ステップＳ１０３で、旧セル５１０のメモリコントローラ１５０のデータ送信手段１５０１が、前記フェッチ要求を受信し、メモリ１６０から当該ラインのデータを読み出し、新セル１１２へ送信する。ステップＳ１０５で、旧セル１１０のメモリコントローラ１５０のディレクトリ情報送信手段１５０２が、メモリ１６０から当該ラインのディレクトリ情報を読み出し、新セル１１２へ送信する。ステップＳ１０７で、前記データを受信した新セル１１２のメモリコントローラ１５２のメモリデータ更新手段１５２２が、メモリ１６２を更新する。ステップＳ１０９で、前記ディレクトリ情報を受信した新セル１１２のメモリコントローラ１５２のディレクトリ情報更新手段１５２３が、ディレクトリ１７２を更新する。

ここで、旧セル１１０でのステップＳ１０３とステップＳ１０５の処理は逆であっても構わない。また同時に行われてもよく、データとディレクトリ情報をまとめて新セル１１２に送信しても良い。また、新セル１１２でのステップＳ１０７とステップＳ１０９の処理も、同様に逆であっても構わない。また同時に行われても良い。

上記処理後、当該ラインのアクセス要求先が旧セル１１０から新セル１１２に移行する。この移行の手順は従来技術で示した特許文献１と同じ方法であっても構わない。

例えば、キャッシュ１３０Ａがデータを保持し、ディレクトリ１７０に格納されたディレクトリ情報が、ビットマップのセル１１０に対応するビットが「１」で他のビットが「０」であり、クリーンビットが「１」でありメモリに最新のデータを存在することを示す場合を想定する。上記メモリ移行処理により、前記ディレクトリ情報がそのままディレクトリ１７２にコピーされる。メモリ移行処理後、例えばプロセッサ１２２Ａからのアクセス要求があった場合、メモリコントローラ１５２はディレクトリ１７２からディレクトリ情報を読み出し、ビットマップのセル１１０に対応するビットが「１」で他のビットが「０」で、クリーンビットが「１」を読み出し、そのディレクトリ情報に従って一貫性を維持することができる。

また、例えば、キャッシュ１３０Ａがデータを保持し、ディレクトリ１７０に格納されたディレクトリ情報が、ビットマップのセル１１０に対応するビットが「１」で他のビットが「０」であり、クリーンビットが「０」でありメモリに最新のデータを存在しないことを示す場合を想定する。上記メモリ移行処理により、前記ディレクトリ情報がそのままディレクトリ１７２にコピーされる。メモリ移行処理後、例えばプロセッサ１２２Ａからのアクセス要求があった場合、メモリコントローラ１５２はディレクトリ１７２からディレクトリ情報を読み出し、ビットマップのセル１１０に対応するビットが「１」で他のビットが「０」で、クリーンビットが「０」を読み出し、そのディレクトリ情報に従って一貫性を維持することができる。

以上で示した本実施形態の構成及び動作により、本発明の目的である、キャッシュの無効化を行わないメモリ移行を実現することができる。

また、本実施形態においては、ディレクトリ情報送信手段が送信するディレクトリ情報には、アドレス以外の一貫性維持のためのデータの状態を管理する情報を含む。そのため、本実施形態では、キャッシュメモリの無効化を行わずにメモリ移行が実現できる。

（第２の実施の形態）
ディレクトリ情報として、自セル内は常にスヌープすることを想定し、自セル内のキャッシュ情報を記録しない方式が存在する。第１の実施の形態では、そのようなディレクトリ方式の場合に一貫性を維持できないケースが存在する。

例えば、セル１１０のプロセッサ１２０Ａがメモリ１６０のデータをアクセスした場合、ディレクトリ情報のビットマップは全て「０」、クリーンビットは「１」のままとするような制御方式を採用したとする。この場合、第１の実施の形態で示したメモリ移行処理を実施した場合の問題を以降説明する。このときキャッシュ１３０Ａにデータが格納され更新されているものとする。

旧セル１１０から新セル１１２に前記状態にあるラインに対してメモリ移行処理を実施したとする。これにより新セル１１２のディレクトリ１７２にはビットマップは全て「０」、クリーンビットは「１」の情報が格納されている状態となる。そのため、セル１１２内のプロセッサ１２２Ａがアクセスを行った場合、メモリコントローラ１５２はセル内の他のプロセッサ１２２Ｂのキャッシュ１３２Ｂをスヌープし保持していないことを確認する。そして、メモリ１６２からデータを読み出しキャッシュ１３２Ａに転送し、キャッシュ１３２Ａは転送された前記データを格納する。この転送されたデータはキャッシュ１３０Ａに格納された最新のデータとは異なるため一貫性が維持されていない状態となる。

本実施形態は、ディレクトリ情報として、自セル内のキャッシュ情報を記録しない方式でも、本発明の目的であるキャッシュの無効化を行わずにメモリ移行を実現する方式を提供することにある。

本発明の実施形態による新セル１１２のメモリコントローラ１５２がメモリ移行のために有する手段を図５に示す。第１の実施の形態で有するフェッチ要求手段１５２１、メモリデータ更新手段１５２２、ディレクトリ情報更新スダン１５２３に加えて、ディレクトリ情報変更手段１５２４が新たに加わる。

このシステムで旧セル１１０のメモリ１６０の一つのラインのデータを新セル１１２のメモリ１６２に移行する場合の動作を図６のフローチャートに示す。

ステップＳ１０１〜ステップＳ１０７までは第１実施形態と同一であるのでここではその説明を省略する。以降、第１実施形態と異なるステップＳ１１１とステップＳ１１３について説明する。

ステップＳ１１１で、新セル１１２のメモリコントローラ１５２のディレクトリ情報変更手段１５２４が、旧セル１１０のディレクトリ情報送信手段１５０２が送信したディレクトリ情報を受けて、ディレクトリ情報の変更を行う。変更処理の詳細については後述する。

ステップＳ１１３で、新セル１１２のメモリコントローラ１５２のディレクトリ情報更新手段１５２３がステップＳ１１１で変更されたディレクトリ情報をディレクトリ１７２に格納し更新する。

次に、ディレクトリ情報変更手段が行う、ディレクトリ情報の変換について述べる。ここで、ディレクトリ情報は第１の実施形態で示したように、クリーンビットとシステム内セル数分のビットマップからなるものとする。また旧セル１１０から新セル１１２へのメモリ移行を想定する。図７にその変換テーブルを示す。

例えば、クリーンビットが「１」でビットマップの全ビットが「０」の場合、旧セル１１０内のキャッシュがデータを保持している可能性があり、且つメモリに最新のデータが存在しない可能性があるため、クリーンビットは「０」、ビットマップは旧セル１１０に対応するビットのみを「１」に変更する。クリーンビットが「１」でビットマップに「１」のビットが存在する場合、メモリのデータが最新であることが保障されるので、クリーンビットは「１」のままとし、ビットマップは旧セル１１０に対応するビットを「１」、新セル１１２に対応するビットを「０」に変更する。クリーンビットが「０」で新セル１１２に対応するビットが「１」の場合、新セル１１２内のキャッシュのみがデータを保持しているので、クリーンビットを「１」に、ビットマップは新セル１１２に対応するビットを「０」に変更する。このビットマップの変更はビットマップを全ビット「０」に変更するのと等価である。クリーンビットが「０」で新セル１１２以外に対応するビットが「１」の場合、変更はなしとする。

上記処理により、例えば次のようなケースでステップＳ１１１のディレクトリ情報変更処理が有効に機能して、一貫性を維持することができる。

セル１１０のプロセッサ１２０Ａがメモリ１６０のデータをアクセスしキャッシュ１３０Ａに最新のデータを保持している状態であったとする。このとき、ディレクトリ情報のビットマップは全て「０」、クリーンビットは「１」のままとなる。この場合、上記で示したメモリ移行処理を実施した場合に、ステップＳ１１１で、クリーンビットは「０」ビットマップは旧セル１１０に対応するビットが「１」に変更される（図７参照）。メモリ以降後、新セル１１２のメモリコントローラ１５２にプロセッサ１２２Ａからのアクセスがあると、ディレクトリ１７２には前記ステップＳ１１１で変更された、セル１１０内のキャッシュが最新のデータを保持している可能性があることを示すディレクトリ情報を読み出すため、一貫性を維持することができる。

上記により、本実施形態は、ディレクトリ情報として自セル内のキャッシュ情報を記録しない方式で、本発明の目的であるキャッシュの無効化を行わずにメモリ移行を実現する方式を提供することができる。

本実施形態の変形として、新セル１５２のメモリコントローラが有するディレクトリ情報変更手段１５２４は、旧セル１１０のメモリコントローラ１５０にあり、ディレクトリ情報送信手段がディレクトリ１７０から読み出したディレクトリ情報を図７の変換規則に従って変更しても良い。セル間ネットワークにディレクトリ情報変更手段１５２４が接続され、そこを中継してディレクトリ情報が旧セル１１０から新セル１１２に転送されても良い。

また、ディレクトリ情報変更手段が行う変換は、新セル１１２にディレクトリ情報を移行した後に一貫性を維持できるものであれば良く、図７に示した変換規則に限定されることはない。

なお、上記実施形態の説明で記載した各構成は、互いに組み合わせることができる。

本発明は、データの一貫性制御が必要なシステムにおけるメモリ移行に適用できる。

第１、２実施形態の分散メモリマルチプロセッサシステムの構成を示す図である。第１実施形態の新セル１１２のメモリコントローラ１５２の構成を示す図である。第１実施形態の旧セル１１０のメモリコントローラ１５０の構成を示す図である。第１実施形態のメモリ移行の動作フローを示す図である。第２実施形態の新セル１１２のメモリコントローラ１５２の構成を示す図である。第２実施形態のメモリ移行の動作フローを示す図である。第２実施形態のディレクトリ情報変更手段１５２４が行うディレクトリ情報の変換規則を示す図である。従来技術の分散メモリマルチプロセッサシステムの構成を示す図である。従来技術の新セル５１２のメモリコントローラ５５２の構成を示す図である。従来技術の旧セル５１０のメモリコントローラ５５０の構成を示す図である。従来技術のメモリ移行の動作フローを示す図である。

符号の説明

１１０，１１２，１１４，１１６，５５０，５５２，５５４，５５６セル
１２０Ａ，１２０Ｂ，１２２Ａ，１２２Ｂ，５２０Ａ，５２０Ｂ，５２２Ａ，５２２Ｂプロセッサ
１３０Ａ，１３０Ｂ，１３２Ａ，１３２Ｂ，５３０Ａ，５３０Ｂ，５３２Ａ，５３２Ｂキャッシュ
１４０，１４２，５４０，５４２セル内ネットワーク
１５０，１５２，５５０，５５２メモリコントローラ
１６０，１６２，５６０，５６２メモリ
１７０，１７２，５７０，５７２ディレクトリ
１８０，１８０２，５８０，５８２セル間ネットワーク
１５０１，５５０２データ送信手段
１５０２ディレクトリ情報送信手段
１５２１，５５２１フェッチ要求手段
１５２２，５５２２メモリデータ更新手段
１５２３ディレクトリ情報更新手段
１５２４ディレクトリ情報変更手段
５５０１無効化手段

Claims

一つ以上のキャッシュと、メモリ、メモリコントローラ、前記メモリに格納されたデータの状態を管理するディレクトリと、を有するセルが、セル間ネットワークによって複数接続された分散メモリマルチプロセッサシステムにおけるメモリ移行装置であって、
第１のセルのメモリコントローラは、ディレクトリ情報更新手段を含み、
第２のセルのメモリコントローラは、ディレクトリ情報送信手段を含み、
前記ディレクトリ情報送信手段は、前記第２のセルのディレクトリから読み出したディレクトリ情報を第１のセルに送信する手段を有し、
前記ディレクトリ情報更新手段は、前記ディレクトリ情報送信手段が送信した前記ディレクトリ情報を受けて、当該第１セルのディレクトリを更新することを特徴とする、分散メモリマルチプロセッサシステムにおけるメモリ移行装置。
前記第１のセルのメモリコントローラは、フェッチ要求手段と、メモリデータ更新手段をさらに有し、
前記第２のセルのメモリコントローラは、データ送信手段をさらに有し、
前記第１のセルのフェッチ要求手段は、移行するラインのフェッチ要求を第２のセルに送出し、
前記第２のセルのデータ送信手段は、前記フェッチ要求を受けて移行するラインのデータをメモリから読み出して前記第１のセルに送出し、
前記ディレクトリ情報送信手段は、前記フェッチ要求を受けて移行するラインのディレクトリ情報をディレクトリから読み出して前記第１のセルに送出し、
前記第１のセルのメモリデータ更新手段は、前記データ送信手段が送出したデータを受信して、メモリのデータを更新することを特徴とする、請求項１記載の分散メモリマルチプロセッサシステムにおけるメモリ移行装置。
前記分散メモリマルチプロセッサシステムは、ディレクトリ情報変更手段を有し、
前記ディレクトリ情報変更手段は、前記第２のセルが送信した前記ディレクトリ情報を受信し、前記ディレクトリ情報を変換して前記第１のセルに送出することを特徴とする、請求項１又は２記載の分散メモリマルチプロセッサシステムにおけるメモリ移行装置。
前記ディレクトリ情報にはメモリのデータが最新であるかを示す情報が含まれることを特徴とする、請求項１から３のいずれか１項記載の分散マルチプロセッサシステムにおけるメモリ移行装置。
前記ディレクトリ情報にはデータを保持しているキャッシュを特定する情報が含まれることを特徴とする、請求項４記載の分散マルチプロセッサシステムにおけるメモリ移行装置。
一つ以上のキャッシュと、メモリ、メモリコントローラ、前記メモリに格納されたデータの状態を管理するディレクトリと、を有するセルが、セル間ネットワークによって複数接続された分散メモリマルチプロセッサシステムにおけるメモリ移行方法であって、
メモリを移行する元のセルのディレクトリからディレクトリ情報を読み出し、メモリを移行する先のセルに送信する情報送信工程と、
送信された前記ディレクトリ情報を受けて、前記移行する先のセルのディレクトリを更新する情報更新工程と、
を含むことを特徴とする、分散マルチプロセッサシステムにおけるメモリ移行方法。
移行するラインのフェッチ要求を、前記移行する元のセルに送出する工程と、
送出された前記フェッチ要求を受けて、移行するラインのデータとディレクトリ情報を読み出して、前記移行する先のセルに送出する工程と、
送出された前記移行するラインのデータを受信して、メモリのデータを更新する工程と、
を含むことを特徴とする、請求項６記載の分散マルチプロセッサシステムにおけるメモリ移行方法。
前記情報送信工程と前記情報更新工程の間に、ディレクトリ情報を変換する情報変更工程を含むことを特徴とする、請求項６又は７記載の分散マルチプロセッサシステムにおけるメモリ移行方法。