JP2012533826A - 分離によるバッチスケジューリング - Google Patents

Abstract

開示される主題によれば、コンピュータシステム内で実行しているスレッドによって発行された要求を分離するための技法が説明される。

Description

関連出願の参照
本出願は、以下の同時継続出願、すなわち、２００９年７月２３日に出願された「Ｓｃｈｅｄｕｌｉｎｇ Ｏｆ Ｂａｔｃｈ Ｓｃｈｅｄｕｌｉｎｇ」という表題の出願第１２／５０８，４５７号（整理番号第ＺＡＶ０１−０１３−ＵＳ）、および２００９年７月２２日に出願された「Ａｐｐｌｉｃａｔｉｏｎ Ｓｅｌｅｔｉｏｎ ｏｆ Ｍｅｍｏｒｙ Ｒｅｑｕｅｓｔ Ｓｃｈｅｄｕｌｉｎｇ」という表題の出願第１２／５０７，６７１号（整理番号第ＢＢＶ０１−０１４−ＵＳ）に関する。

チップマルチプロセッサ（ＣＭＰ）システムでは、ＤＲＡＭシステムはコア間で共有される。共有されたＤＲＡＭシステムでは、スレッドからの要求は、バンク衝突、バス衝突、または低バッファ衝突を引き起こすことによって、他のスレッドからの要求を遅らせる可能性があるだけでなく、他のスレッドのＤＲＡＭバンクレベルの並列処理を破壊する可能性がある。普通なら並行化されているはずのレイテンシを伴う要求は、事実上シリアル化される可能性がある。結果として、公平性とシステムスループットの両方が劣化する可能性があり、一部のスレッドは長期間にわたって処理されない（ｓｔａｒｖｅ）可能性がある。

公平で高性能のメモリスケジューリングを実行するための一手法は、本出願に一致しない場合を除いて、そのすべてが参照により本明細書に組み込まれている、Ｏｎｕｒ ＭｕｔｌｕおよびＴｈｏｍａｓ Ｍｏｓｃｉｂｒｏｄａの「Ｐａｒａｌｌｅｌｉｓｍ−Ａｗａｒｅ Ｂａｔｃｈ Ｓｃｈｅｄｕｌｉｎｇ：Ｅｎｈａｎｃｉｎｇ ｂｏｔｈ Ｐｅｒｆｏｒｍａｎｃｅ ａｎｄ Ｆａｉｒｎｅｓｓ ｏｆ Ｓｈａｒｅｄ ＤＲＡＭ Ｓｙｓｔｅｍｓ」／ＳＣＡ、６３〜７４ページ、２００８（２００８ Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｓｙｍｐｏｓｉｕｍ ｏｎ Ｃｏｍｐｕｔｅｒ Ａｒｃｈｉｔｅｃｔｕｒｅ）に示されるような並列処理認識バッチスケジューリング（ｐａｒａｌｌｅｌｉｓｍ−ａｗａｒｅ ｂａｔｃｈ ｓｃｈｅｄｕｌｉｎｇ）（ＰＡＲ−ＢＳ）と呼ばれるスケジューリングアルゴリズムを使用している。ＰＡＲ−ＢＳ設計は、２つの構想に基づく。すなわち、（１）要求バッチ処理、および（２）並列処理認識メモリスケジューリングである。第１に、ＰＡＲ−ＢＳは、公平性を提供して、要求の未処理（ｓｔａｒｖａｔｉｏｎ）を回避するために、ＤＲＡＭ要求をバッチの形で処理する。第２に、システムスループットを最適化するために、ＰＡＲ−ＢＳは、ＤＲＡＭバンク内でスレッドからの要求を並列処理し、それによって、スレッドが経験するメモリ関連の失速時間を削減する目的で、並列処理認識ＤＲＡＭスケジューリングポリシーを用いる。ＰＡＲ−ＢＳは、システムレベルのスレッド優先順位に関するサポートを組み込み、異なる優先順位を有するスレッドに対して、純粋に便宜主義的なサービスを含めて、異なるサービスレベルを提供することが可能である。

第１の態様では、本開示は、一般に、スレッドを第１のスレッドタイプおよび第２のスレッドタイプに分離することであって、第１のスレッドタイプのそれぞれのスレッドが、メモリにデータを求める少なくとも１つの第１のスレッド要求タイプを発行し、第２のスレッドタイプのそれぞれのスレッドが、メモリにデータを求める少なくとも１つの第２のスレッド要求タイプを発行する、分離すること、それぞれが単一のスレッド要求タイプの要求を主に含む第１のバッチを形成すること、それぞれの第１のバッチの要求を実行することを含む、メモリにデータを求める要求を実行する方法を説明する。

第２の態様では、本開示は、一般に、メモリにデータを求める要求を実行するために、コンピュータ可読媒体内で符号化されたソフトウェアを有するコンピュータプログラム製品を説明する。このソフトウェアは、実行されたとき、スレッドを第１のスレッドタイプおよび第２のスレッドタイプに分離することであって、第１のスレッドタイプのそれぞれのスレッドがメモリにデータを求める少なくとも１つの第１のスレッド要求タイプを発行し、第２のスレッドタイプのそれぞれのスレッドがメモリにデータを求める少なくとも１つの第２のスレッド要求タイプを発行する、分離すること、それぞれが単一のスレッド要求タイプの要求を主に含む第１のバッチを形成すること、それぞれの第１のバッチの要求を実行することを行うように動作可能な命令を含む。

第３の態様では、本開示は、一般に、複数のコアと、それらの複数のコアに動作可能に結合された、データを含むメモリと、それらの複数のコアに動作可能に結合されたコンピュータ可読媒体とを有するコンピュータシステムを説明する。このコンピュータ可読媒体は、コンピュータシステムによって実行されたとき、スレッドを第１のスレッドタイプおよび第２のスレッドタイプに分離することであって、第１のスレッドタイプのそれぞれのスレッドが、メモリにデータを求める少なくとも１つの第１のスレッド要求タイプを発行し、第２のスレッドタイプのそれぞれのスレッドが、メモリにデータを求める少なくとも１つの第２のスレッド要求タイプを発行する、分離すること、それぞれが単一のスレッド要求タイプの要求を主に含む第１のバッチを形成すること、それぞれの第１のバッチの要求を実行することを行うようにコンピュータシステムを構成するコンピュータ実行可能命令を含む。

前述の要約は、単に例示的であり、決して限定的であることが意図されない。上で説明された例示的な態様、実施形態、および特徴に加えて、さらなる態様、実施形態、および特徴は、図面および以下の発明を実施するための形態を参照することによって明らかになるであろう。

主題は、本明細書の結末部分で詳細に指摘され、明確に特許請求される。本開示の前述の特徴およびその他の特徴は、添付の図面と共に、以下の説明および添付の特許請求の範囲から十分明らかになるであろう。これらの図面は本開示によるいくつかの実施形態だけを示し、したがって、その範囲を限定すると見なされないことを理解し、本開示は、添付の図面の使用により、追加の特異性および詳細を用いて説明される。

コンピュータシステムを例示する図である。 オペレーティングシステムによって実行されているアプリケーションプログラムを例示する図である。 図３Ａのメモリコントローラのスケジューラの詳細図を含む、メモリコントローラに送信される要求を発行するスレッドに分割されているアプリケーションプログラムの概略図である。 方法、装置（システム）、およびコンピュータプログラム製品を例示する流れ図である。 すべて本開示の少なくともいくつかの実施形態に従って構成された、バッチの形で構成されているスレッドからの要求の概略図である。

以下の説明は、特許請求される主題の十分な理解をもたらすために、特定の詳細と共に様々な例を記載する。しかし、特許請求される主題は、本明細書で開示される特定の詳細のうちのいくつかまたはより多くの当該詳細なしに実行可能である点を当業者は理解されよう。さらに、状況によっては、よく知られている方法、手順、システム、構成要素、および／または回路は、特許請求される主題を不必要にあいまいにすることを回避するために、詳しく説明されていない。以下の詳細な説明では、その説明の一部を形成する添付の図面が参照される。図面では、別段文脈によって示されない限り、類似の符号は、通常、類似の構成要素を識別する。発明を実施するための形態、図面、および特許請求の範囲において説明される例示的な実施形態は、限定的なものとしない。本明細書で提示される主題の趣旨または範囲から逸脱せずに、その他の実施形態を利用することが可能であり、ここに提示される主題の趣旨および範囲から逸脱せずに、その他の変更を行うことも可能である。本明細書で一般に説明され、図面において例示される本開示の態様は、そのすべてが明示的に企図され、本開示の一部である幅広い異なる構成で構成、置換、組合せ、および設計され得る点を容易に理解されよう。

以下の説明では、コンピュータ内および／もしくはコンピューティングシステムメモリ内など、コンピューティングシステム内に格納されたデータビットおよび／もしくは２値デジタル信号に関するアルゴリズムならびに／または動作の記号表現が提示される場合がある。アルゴリズムは、一般に、所望される結果をもたらす動作および／または類似処理の自己無撞着シーケンスと見なすことが可能で、この場合、これらの動作は、格納されること、転送されること、組み合わされること、比較されること、および／もしくは、他の方法で操作されることが可能な電気信号、磁気信号ならびに／または電磁信号の形をとり得る物理量の物理処理を必要とする場合がある。様々な状況において、かかる信号は、ビット、データ、値、要素、記号、文字、用語、番号、数字などと呼ばれる場合がある。しかし、当業者は、かかる用語は物理量を意味するために使用され得る点を認識されよう。したがって、本明細書において「格納する」、「処理する」、「取り出す」、「計算する」、「決定する」などの用語が使用されるとき、これらは、コンピューティングプラットフォームのプロセッサ内、メモリ内、レジスタ内などの電子量および／もしくは磁気量を含む物理量として表されるデータを操作ならびに／または変換する、コンピュータ、あるいはセルラ電話などの類似の電子コンピューティングデバイスなど、コンピューティングプラットフォームの動作を指す場合がある。

本開示は、とりわけ、分離によるバッチスケジューリングに関する方法、装置、システム、およびコンピュータプログラム製品に関して描写される。本開示は、一定の基準に基づいて、スレッドからのメモリ内のデータに関する要求のバッチへのグループ化の発見を使用する。（１）それらのスレッドが、並列メモリと共に使用するために、どのくらい良好に設計されているかに基づいて、良好な設計スレッドおよび不良な設計スレッド、（２）それらのスレッドがその他のスレッドとどのくらい効果的に共働するかに基づいて、協調スレッドおよび非協調スレッド、（３）そのスレッドが発生したアプリケーションプログラムに基づいて、第１のアプリケーションスレッド、第２のアプリケーションスレッド、および第３のアプリケーションスレッド、（４）それらのスレッドが行う要求の相対数に基づいて、大規模要求スレッド、任意選択で、中規模要求スレッドおよび小規模要求スレッド、例えば、大規模要求スレッドは、平均数以上の要求を行うことが可能であり、小規模要求スレッドは、平均数未満のいくつかの要求を行うことが可能であるなど、様々な様式でこれらの要求をバッチにグループ化することが可能である。多くの他の改変形態が可能である。

図１は、本開示の少なくともいくつかの実施形態に従って構成されたコンピュータシステムを例示する。図１は、プロセッサ１１０と、メモリ１２０と、１つまたは複数のドライブ１３０とを含むコンピュータ１００を例示する。ドライブ１３０およびその関連するコンピュータ記憶媒体は、コンピュータ可読命令、データ構造、プログラムモジュール、およびその他のデータの記憶装置をコンピュータ１００に提供することが可能である。ドライブ１３０は、オペレーティングシステム１４０と、アプリケーションプログラム１５０と、プログラムモジュール１６０と、データベース１８０とを含むことが可能である。オペレーティングシステム１４０および／またはアプリケーションプログラム１５０は、例えば、コンピュータ１００に図４に指定される機能および／または動作、例えば、バッチスケジューリングアプリケーション１５５を実行させるためのプログラム命令を含むことが可能である。コンピュータ１００は、それを介してユーザがコマンドおよびデータを入力できるユーザ入力デバイス１９０を含むことが可能である。入力デバイスは、電子デジタイザと、マイクロフォンと、キーボードと、一般に、マウス、トラックボールまたはタッチパッドと呼ばれるポインティングデバイスとを含むことが可能である。その他の入力デバイスは、ジョイスティック、ゲームパッド、パラボラアンテナ、スキャナなどを含むことが可能である。

これらの入力デバイスおよびその他の入力デバイスは、システムバスに結合可能なユーザ入力インターフェースを介してプロセッサ１１０に結合可能であるか、あるいは当該入力デバイスは、パラレルポート、ゲームポート、もしくはユニバーサルシリアルバス（ＵＳＢ）など、その他のインターフェースまたはバス構造によって接続可能である。コンピュータ１００は、出力周辺インターフェース１９４などを介して接続可能なスピーカ、プリンタ、またはディスプレイ２０２など、周辺出力デバイスを含むことが可能である。

コンピュータ１００は、ネットワークインターフェース１９６に接続された遠隔コンピュータなど、１つまたは複数のコンピュータに対する論理接続を使用して、ネットワーキング環境で動作するように構成され得る。この遠隔コンピュータは、パーソナルコンピュータ（ＰＣ）、サーバ、ルータ、ネットワークＰＣ、ピアデバイス、またはその他の共通ネットワークノードであってよく、コンピュータ１００に関連して上で説明された要素の多くまたはすべてを含むことが可能である。

ネットワーキング環境は、事務所、企業広域ネットワーク（ＷＡＮ）、ローカルエリアネットワーク（ＬＡＮ）、イントラネット、およびインターネットを含むことが可能である。一例では、コンピュータ１００は、そこからデータが移動されている送信元機械であってよく、遠隔コンピュータは、宛先機械を備えてよく、またはその逆であってもよい。送信元ソース機械および宛先機械は、ネットワーク１０８または任意の他の手段によって接続できず、代わりに、データは、送信元プラットフォームによって書き込まれて、１つまたは複数の宛先プラットフォームによって読み取られることが可能な任意の媒体を経由して移動可能である。ＬＡＮまたはＷＬＡＮのネットワーキング環境では、コンピュータ１００は、ネットワークインターフェース１９６もしくはアダプタを介して、ＬＡＮまたはＷＡＮに接続可能である。ＷＡＮネットワーキング環境では、コンピュータ１００は、モデム、またはインターネットもしくはネットワーク１０８など、ＷＡＮ上で通信を確立するためのその他の手段を含むことが可能である。コンピュータ同士の間で通信リンクを確立するその他の手段を使用することも可能である。

コンピュータ周辺装置は、システムバスを介してコンピュータ１００のプロセッサ１１０およびメモリ１２０に結合された任意のデバイスを含むことが可能である。コンピュータ周辺装置は、ディスプレイ２０２、プリンタ、またはスピーカを含む出力周辺インターフェースと、ドライブ１３０と、キーボード、マウス、およびマイクロフォンなどのユーザ入力デバイス１９０と、ネットワークインターフェース１９６とに接続された任意のデバイスを含むことが可能である。コンピュータ周辺装置の構成要素は、電力を使用することが可能であり、スピーカ、発光ダイオードなどの照明要素、またはディスプレイに照明を提供するために使用されるバックライト、ＬＣＤ、ＬＥＤ、ＯＬＥＯ、ＣＲＴ、もしくはプラズマディスプレイなどのディスプレイ要素、または中央処理装置（ＣＰＵ）、グラフィック処理ユニット（ＧＰＵ）、メモリなどの半導体チップなど、任意のデバイスであってよい、コンピュータ周辺装置内の任意のデバイスを含むことが可能である。

図２は、本開示の少なくともいくつかの実施形態に従ってオペレーティングシステムによって実行されているアプリケーションプログラムを例示する。図２に示されるように、オペレーティングシステム１４０は、ドライブ１３０からアプリケーションプログラム１５０を実行することができる。オペレーティングシステム１４０および／またはアプリケーションプログラム１５０は、例えば、コンピュータ１００に図４に指定された機能および／または動作を実行させるためのプログラム命令を含むことが可能である。アプリケーションプログラム１５０は、マイクロプロセッサ１１１内のオペレーティングシステム１４０によって実行可能な任意のアプリケーション、プログラム、プログラムの部分、またはスレッドであってよい。アプリケーションプログラム１５０は、メモリコントローラ２１０を使用して、データ２３０をメモリ１２０内にロードすることが可能であり、メモリ１２０からデータ２３０にアクセスする。アプリケーションプログラム１５０は、１つまたは複数の要求２２６を使用して、メモリ１２０のメモリバンク１２２内にデータ２３０をロードし、メモリ１２０のメモリバンク１２２からデータ２３０にアクセスするなどのタスクを達成するために、スレッド２２０と呼ばれる複数のサブアプリケーションを実行することが可能である。スレッド２２０は、アプリケーションプログラム１５０によって実行可能である。アプリケーションプログラム１５０は、タスクの実行を、アプリケーションプログラムがそのタスクを達成するために必要と見なすだけの数のスレッド２２０に分割することが可能である。例えば、アプリケーションプログラム１５０が複数のページを有する文書を用いたワード処理プログラムであり、アプリケーションプログラム１５０がその文書のそれぞれのページのスペルチェックのタスクを達成するように構成され得る場合、アプリケーションプログラム１５０は、それぞれのスレッド２２０がその文書の一部をスペルチェックできるように、文書のスペルチェックのタスクを複数のスレッド２２０に分割することが可能である。それぞれのスレッド２２０は、実行のためにマルチプロセッサ１１１に送信可能である。マルチプロセッサ１１１内で実行されたとき、それぞれのスレッド２２０は、メモリ１２０内でデータ２３０に関する要求２２６を作成することが可能である。要求２２６は、マルチプロセッサ１１１が効率的に動作することができるように要求２２６を組織するように構成可能なメモリコントローラ２１０に送信可能である。

いくつかの実施形態では、図２に示されるように、マルチプロセッサ１１１は、２つ以上のスレッド２２０を同時に実行できるプロセッサを含むことが可能である。マルチプロセッサ１１１は、コア４１２および５１２として知られる複数のプロセッサを含むことが可能であり、またはマルチスレッドプロセッサとしても知られている、複数のスレッド２２０を同時に実行できる単一のプロセッサ（４１２もしくは５１２のうちの１つだけ）を含むことも可能である。図２は、２つのコア４１２および５１２を含む例示的なマルチプロセッサ１１１を示すが、任意の特定数のコアに限定されない。「コア」という用語は、本明細書において、単一のスレッドを処理することが可能であり、単一のスレッドを処理できるプロセッサまたはプロセッサ内の部分を指す場合がある任意のデバイスを指すために使用される場合がある。マルチスレッドプロセッサは、複数のコアを有するプロセッサと呼ばれる場合がある。複数のプロセッサを有するコンピュータ１００は、本明細書において、複数のコアを有するコンピュータ１００と呼ばれる場合がある。

図３は、本開示のいくつかの実施形態に従って、メモリコントローラに送信される要求を発行できるスレッドに分割されているアプリケーションプログラムの概略図を示す。図３に示されるように、アプリケーション１５０は、複数のスレッド２２０_ａ〜２２０_ｎに分割可能であり、この場合、ｎはスレッド２２０の数を表すことが可能であり、それぞれのスレッドは、アプリケーション１５０に関するタスクを実行することが可能であり、例えば、図２のマルチプロセッサ１１１上で実行可能である。このマルチプロセッサは、アプリケーションプログラム１５０から複数のスレッド２２０_ａ〜２２０_ｎを個々にまたは同時に受信および実行するように構成され得る。マルチプロセッサ上で実行されるそれぞれのスレッド２２０は、それぞれの他のスレッド２２０から独立して実行可能であり、メモリ１２０内に格納されたデータ２３０に関して複数の要求２２６_ａ１〜２２６_ｎｏ
を発行することが可能であり、この場合、第１の指数（ａ．．．ｎ）は、要求２２６に関連するスレッド２２０を表し、第２の指数（１．．．ｏ）は、特定のスレッド２２０に関連する要求２２６の数を表す。

それぞれのスレッド２２０は、メモリ１２０内に格納されたデータ２３０に関する要求２２６を発行することが可能であり、一例では、メモリ１２０内のメモリバンク１２２_ａ〜１２２_ｍ内に格納されたデータ２３０に関する要求２２６を発行することが可能であり、この場合、指数（ａ、ｂ．．．ｍ）は、メモリバンク１２２の数を表すことが可能である。メモリ１２０は、異なるメモリバンクからデータ２３０を追求する場合、複数の未解決のメモリ要求２２６が並列して処理されることを可能にし得る複数のメモリバンク１２２_ａから１２２_ｍを含むことが可能である。結果として、第１のメモリバンク１２２_ａおよび第２のメモリバンク１２２_ｂは、データ２３０に関する要求２２６の受信時に、メモリコントローラ２１０によって同時にアクセスされ得る。

それぞれのメモリバンク１２２は、指数（１．．．ｉ）が列の数を表す列Ｃ_１からＣ_ｉと、指数（１．．．ｊ）が行の数を表す行Ｒ_１からＲ_ｉとを含む二次元アレイであってよい。行は、連続的なメモリ位置内にデータを格納することが可能であり、例えば、１〜２キロバイト（ＫＢ）のサイズであってよい。メモリバンク１２２内のデータ２３０は、最大で１行を含み得る行バッファＲ_Ｂからアクセス可能である。一例では、それぞれのメモリバンク１２２は、１つの行バッファＲ_Ｂを含むことが可能である。メモリバンク１２２がデータ２３０に関するそれぞれの要求２２６にサービス提供するためにかかる時間は、それぞれの行バッファＲ_Ｂの状態に依存する可能性があり、３つの範疇のうちの１つに該当し得る。第１の範疇は、行ヒット（ｒｏｗ−ｈｉｔ）であってよく、この場合、要求２２６は、それぞれの行バッファＲ_Ｂ内で現在開放され、メモリコントローラ２１０がそれぞれのメモリバンク１２２に対する読取りコマンドまたは書込みコマンドだけを発行することを可能にし、結果として、ｔ_ＣＬのバンクアクセスレイテンシをもたらし得る行に対する可能性がある。

第２の範疇は、行閉鎖（ｒｏｗ ｃｌｏｓｅｄ）であってよく、この場合、行バッファＲ_Ｂ内には開放された行が存在しない可能性があり、その結果、メモリコントローラ２１０は、まず要求される行を開放するための起動コマンドを発行し、次いで、読取り／書込みコマンドを発行し、結果として、ｔ_ＲＣＤ＋ｔ_ＣＬの総レイテンシをもたらす必要があり、式中、ｔ_ＲＣＤは起動コマンドに関するレイテンシであり、ｔ_ＣＬは読取り／書込みコマンドに関するレイテンシである。第３の範疇は、行衝突（ｒｏｗ ｃｏｎｆｌｉｃｔ）であってよく、この場合、要求２２６は、それぞれの行バッファＲ_Ｂ内の現在の行とは異なる行に対する可能性があり、その結果、メモリコントローラ２１０は、まずプリチャージ（ｐｒｅｃｈａｒｇｅ）コマンドを発行して、（必要とされる行をアクティブ化することによって）必要とされる行を開放し、必要とされる行内のデータに関して読取り／書込みコマンドを発行する必要がある。これらのアクセスは、ｔ_ＲＰ＋ｔ_ＲＣＤ＋ｔ_ＣＬの最高総レイテンシを負う可能性があり、式中、ｔ_ＲＰは（行を閉鎖するための）行プリチャージに関するレイテンシであり、ｔ_ＲＣＤは起動コマンドに関するレイテンシであり、ｔ_ＣＬは読取り／書込みコマンドに関するレイテンシである。

メモリコントローラ２１０は、メモリ１２０およびマルチプロセッサと通信している形で構成可能であり、マルチプロセッサ内を含めて、システムに沿ってどこに配置されてもよい。メモリコントローラ２１０は、要求２２６がサービス提供されるのを待っている可能性がある間、要求２２６およびデータ２３０にバッファリングするように構成可能なメモリ要求バッファ２１１を含むことが可能である。メモリコントローラ２１０は、サービス提供されることになる次の要求２２６を選択するように構成可能なスケジューラ２１２を含むことが可能である。いくつかの実施形態では、スケジューラ２１２は２つのレベルを有し得る。サービス提供されることになる次の要求２２６を選択するとき、スケジューラ２１２は、メモリバンク１２２_ａ〜１２２_ｍの状態と、メモリコントローラ２１０をそれぞれのメモリバンク１２２に接続しているメモリバス２１４_ａ〜２１４_ｍの状態と、要求２２６の状態とを考慮するように構成可能である。要求２２６に関するメモリコマンドは、そのスケジューリングが、メモリバンク１２２_ａ〜１２２_ｍ、およびアドレス／データ／システムバスなど、いかなるリソース衝突も引き起こさず、いかなるメモリタイミング制約にも違反しない場合、スケジューラ２１２によってスケジュールされ得る。いかなる衝突も引き起こさないメモリコマンドは、準備ができていると見なすことができる。

図３Ａは、バッチアルゴリズム３０２およびバッチ内スケジューリングアルゴリズムまたはバッチ内並列処理認識スケジューリングアルゴリズム３５０を含むスケジューリングアルゴリズム３００の一部を示すスケジューラ２１２の詳細図を含む。あるいは、バッチ内スケジューリングアルゴリズムおよびバッチ内並列処理認識スケジューリングアルゴリズムの両方がスケジューリングアルゴリズムによって用いられることも可能である。

いくつかの例では、コンピュータシステム内で実行しているスレッドによって発行された要求を分離するための方法が説明される。このコンピュータシステムは、メモリバンクと通信して構成されたメモリコントローラを含むことが可能である。この方法は、その効率性に基づいて、スレッドを良好なスレッド（第１のスレッド）および不良なスレッド（第２のスレッド）に分離することを含むことが可能である。メモリバンクからデータを並列で抽出できるスレッドは、良好なスレッドであり、メモリバンクからデータを並列で抽出できないスレッドは、不良なスレッドである。この方法は、良好なスレッドによって主に発行された要求を含む要求の第１のバッチを形成すること、および不良なスレッドによって主に発行された要求を含む要求の第２のバッチとを形成することを含むことも可能である。

その他の例では、コンピュータシステム内で実行しているスレッドによって発行された要求を分離するための方法が説明される場合がある。このコンピュータシステムは、メモリバンクと通信して構成されたメモリコントローラを含むことが可能である。この方法は、どのスレッドが互いに効率的に動作し、どのスレッドが互いに効率的に動作しないかを決定することを含むことが可能である。互いに効率的に動作するスレッドは、異なるメモリバンクからデータを抽出することができる。互いに効率的に動作しないスレッドは、同じメモリバンクからデータを抽出することができる。この方法は、互いに効率的に動作することができるスレッドによって主に発行された要求を含む要求の第１のバッチを形成すること、および互いに効率的に動作することができないスレッドによって主に発行された要求を含む要求の第２のバッチを形成することを含むことも可能である。

さらにその他の例では、コンピュータシステム内で実行しているスレッドによって発行された要求を分離するための方法が説明される場合がある。このコンピュータシステムは、メモリバンクと通信して構成されたメモリコントローラを含むことが可能である。この方法は、スレッドによって行われた要求の数に基づいて、それらのスレッドを分離することを含むことが可能である。メモリバンクに対して多数の要求を発行することができるスレッドは、大きなスレッドと見なすことができ、メモリバンクに対して少数の要求を発行することができるスレッドは、小さなスレッドと見なすことができる。この方法は、大きなスレッドによって主に発行された要求を含む要求の第１のバッチを形成すること、および小さなスレッドによって主に発行された要求を含む要求の第２のバッチを形成することを含むことも可能である。

図３および図３Ａを再び参照すると、スレッド２２０_ａ〜２２０_ｎから要求２２６_ａ１〜２２６_ｎｏをスケジューリングする効率性を改善するために、メモリコントローラ２１０、および特にスケジューラ２１２は、スレッド内バンク並列処理を考慮に入れることが可能なスケジューリングアルゴリズム３００を使用することが可能であり、それぞれのスレッド２２０_ａ〜２２０_ｎにサービスの質（ＱｏＳ）を提供することが可能である。サービスの質は、異なるスレッド２２０_ａ〜２２０_ｎに異なる優先順位を提供するための能力、および／またはスレッド２２０_ａ〜２２０_ｎを実行するときに基礎パフォーマンスレベルを提供するための能力と見なすことができる。スケジューリングアルゴリズム３００は、公平性、およびＱｏＳ、ならびに高いＣＭＰシステムスループットに関して構成可能な基板を提供するように設計可能である。バッチ処理アルゴリズム３０２は、いくつかの未解決のメモリ要求２２６_ａ１〜２２６_ｎｏをバッチにグループ化するように構成可能である。スケジューリングアルゴリズム３００は、次のバッチが形成される前に、現在のバッチに属するすべての要求２２６_ａ１〜２２６_ｎｏがサービス提供されることを確実にするように構成されることも可能である。バッチ処理アルゴリズム３０２は、複数のバッチを同時に形成することが可能であり、この場合、それぞれのバッチは、本明細書で説明される一定の基準を使用して形成され得る。バッチ処理は、公平性を確実にするだけでなく、場合によってはスレッド不公平であるが、高いパフォーマンスのメモリコマンドスケジューリング最適化が実行され得る好都合な粒度（すなわち、バッチ）を提供することも可能である。

バッチ処理アルゴリズムは、メモリ要求バッファ内の未解決の要求をバッチと呼ばれる要求のセットにグループ化するように構成可能である。メモリスケジューラは、現在のバッチに属している要求をその他の要求に勝って優先順位付けすることによって、バッチの全域で要求を再順序付けすることを回避するように構成可能である。バッチの要求がサービス提供されると、例えば、そのバッチが仕上がったとき、最後のバッチ内に含まれていなかった、メモリ要求バッファ内の未解決の要求を含み得る次のバッチが次いでサービス提供され得る。複数のバッチを同時に形成することは、バッチ内の要求を再順序付けすることを可能にできる。

バッチ処理アルゴリズムは、以下のように作用するように構成可能である。メモリ要求バッファ内のそれぞれの要求は、その要求が現在のバッチ内のどのバッチに属すかを表示する関連するビットを有し得る。要求が第１のバッチに属する場合、例えば、関連するビットは、その要求が第１のバッチに属すことを表示するように設定可能であり、その要求はマーキングされたと見なすことができる。複数のバッチを形成することが可能であり、その場合、それらの要求のそれぞれは、本明細書で説明される一定の基準に基づいて、それらの要求がそれらの複数のバッチのうちのどの中に配置されることになるか、またはそれらの要求がそれらの複数のバッチのうちのどの一部であるかを表示するためにマーキングされる。メモリ要求バッファ内にマーキングされた要求が残されていないとき、例えば、これまでのバッチからの要求が完全にサービス提供されているとき、新しいバッチを形成することが可能である。

いくつかの実施形態では、バッチを形成するとき、バッチ処理アルゴリズムは、それぞれのスレッドに関するメモリバンクごとに未解決の要求のセット番号、すなわち、マーキングキャップ（ｍａｒｋｉｎｇ−ｃａｐ）をマークアップするように構成可能であり、これらの要求はバッチを形成することができる。このマーキングキャップは、あるバンクに関してスレッドによって発行されたいくつの要求がバッチの一部であってよいかを制限できるシステムパラメータとすることができる。例えば、このマーキングキャップが５であり、スレッドがメモリバンクに関して７個の未解決の要求を有する場合、バッチ処理アルゴリズムは、５個の最も古い要求だけをマーキングすることが可能である。例は、２、３、５、７、１０、２０、５０、またはより大きなマーキングキャップすら含む。さらに、本明細書で説明されるように、これらのマーキングキャップは、異なるタイプのバッチによって異なってよい。マーキングキャップが設定されていない場合、１つまたは複数のバッチが形成されるとき、すべての未解決の要求をマーキングすることが可能である。

バッチ処理アルゴリズムは、マーキングされた要求（バッチの形の要求）を所与のメモリバンク内のマーキングされていない要求に勝って優先順位付けするように構成可能である。所与のバンクに対してマーキングされた要求が存在しない場合、未解決のマーキングされていない要求をそのバンクに対してスケジューリングすることができる。２つのマーキングされた要求または２つのマーキングされていない要求の間で選択するために、ＦＲ−ＦＣＦＳなど、任意の既存のメモリスケジューリングアルゴリズムまたは新しいメモリスケジューリングアルゴリズムを用いることが可能である。

図４は、本開示の少なくともいくつかの実施形態に従って構成された方法、装置（システム）、およびコンピュータプログラム製品の流れ図である。図４の流れ図のそれぞれのブロック、および図４の流れ図のブロックの組合せは、コンピュータプログラム命令によって実装可能である点を理解されよう。これらのコンピュータプログラム命令は、コンピュータ上、もしくはプロセッサ上、または他のプログラマブルデータ処理装置上で実行する命令が流れ図の１つまたは複数のブロック内で指定される機能を実装するための手段を作成するように、コンピュータ上、もしくはプロセッサ上、または他のプログラマブルデータ処理装置上にロード可能である。これらのコンピュータプログラム命令は、記憶デバイス内に格納された命令が、流れ図の１つもしくは複数のブロック内で指定された機能および／または動作を実装できる命令手段を含む製品を作成するように、コンピュータ、もしくはプロセッサ、または他のプログラマブルデータ処理装置が特定の様式で機能あるいは動作するように指令できる記憶デバイス内に格納されることも可能である。これらのコンピュータプログラム命令は、コンピュータ上で、もしくはプロセッサ上で、または他のプログラマブル装置上で実行する命令が流れ図の１つもしくは複数のブロック内で指定された機能を実装するためのステップを提供するようにコンピュータ実装プロセスを作成するように、コンピュータ上で、または他のプログラマブルデータ処理装置上で一連の動作ステップを実行させるために、コンピュータ上、もしくはプロセッサ上、または他のプログラマブルデータ処理装置上にロードされることも可能である。

したがって、図４の流れ図のブロックは、指定された機能を実行するための手段の組合せ、指定された機能を実行するためのステップの組合せ、ならびに指定された機能および／または動作を実行するためのプログラム命令手段をサポートする。図４の流れ図のそれぞれのブロック、および図４の流れ図内のブロックの組合せは、指定された機能／動作／活動もしくはステップ、または専用ハードウェアおよびコンピュータ命令の組合せを実行する専用ハードウェアベースのコンピュータシステムによって実装可能である点も理解されよう。

かかるコンピュータ命令は、コンピュータ可読媒体（例えば、ディスケット、ＣＤ−ＲＯＭ、ＲＯＭ、もしくは固定ディスク）などの有形媒体上に固定されてよく、またはモデム、もしくは媒体上でネットワークに接続された通信アダプタなど、その他のインターフェースデバイスを経由して、コンピュータシステムに転送可能であってもよい。この媒体は、有形媒体（例えば、光通信線もしくはアナログ通信線）または無線技術（例えば、マイクロ波、赤外線伝送技術もしくはその他の伝送技術）を用いて実装された媒体であってよい。一連のコンピュータ命令は、このシステムに関して本明細書でこれまで説明された機能性のすべてまたは一部を実施する。

当業者は、かかるコンピュータ命令は、多くのコンピュータアーキテクチャまたはオペレーティングシステムと共に使用するために、いくつかのプログラミング言語で書込み可能である点を理解されたい。さらに、かかる命令は、半導体、磁気メモリデバイス、光メモリデバイス、またはその他のメモリデバイスなど、任意のメモリデバイス内に格納可能であり、光伝送技術、赤外線伝送技術、マイクロ波伝送技術、またはその他の伝送技術など、任意の通信技術を使用して送信可能である。かかるコンピュータプログラム製品は、コンピュータシステムを用いて（例えば、システムＲＯＭ上もしくは固定ディスク上に）事前にロードされた、印刷文書もしくは電子文書を伴う取出し可能媒体（例えば、シュリンクラップソフトウェア）として供給可能であるか、あるいはネットワーク上でサーバまたは電子掲示板（例えば、インターネットもしくはワールドワイドウェブ）から供給可能であることが予想される。

図４に示されるように、それぞれのバッチが１つまたは複数の要求を含む、スレッドの要求の１つまたは複数のバッチを形成するための方法５００を、ブロック５０１で開始することが可能である。方法５００を開始した後で、次いで、ブロック５０２において、スレッドを、スレッドタイプ、例えば、第１のスレッドタイプおよび第２のスレッドタイプ、または第１のスレッドタイプ、第２のスレッドタイプ、および第３のスレッドタイプに分離（それらのスレッドタイプとして識別）することが可能である。ブロック５０４において、それぞれのバッチは、類似または同じ１つもしくは複数のタイプの１つまたは複数のスレッドから発行された要求を含み得る、１つまたは複数のバッチを形成することが可能である。それぞれのバッチが１つまたは複数の要求を含む状態で、１つまたは複数のバッチを形成した後で、次いで、ブロック５０６において、１つまたは複数のバッチをメモリコントローラによって実行することが可能である。１つもしくは複数のバッチは一度に１回実行可能であり、またはコンピュータシステムに能力がある場合、その１つもしくは複数の要求バッチは一度に２回以上実行可能である。

スレッドの分離（識別）、および、したがって、異なるスレッドタイプからの要求のバッチ処理は、いくつかの異なる基準のうちのいずれかに基づいてよい。例えば、スレッドは、以下に分離可能である。（１）それらのスレッドが、並列メモリと共に使用するために、どのくらい良好に設計されているかに基づいて、良好な設計スレッドおよび不良な設計スレッド、（２）それらのスレッドがその他のスレッドとどのくらい効果的に共働するかに基づいて、協調スレッドおよび非協調スレッド、（３）そのスレッドが発生したアプリケーションプログラムに基づいて、第１のアプリケーションスレッド、第２のアプリケーションスレッド、および第３のアプリケーションスレッド、（４）それらのスレッドが行う要求の相対数に基づいて、大規模要求スレッド、任意選択で、中規模要求スレッドおよび小規模要求スレッド、例えば、大規模要求スレッドは、平均数以上の要求を行うことが可能であり、小規模要求スレッドは、平均数未満のいくつかの要求を行うことが可能であること、である。多くの他の改変形態が可能である。したがって、選択される基準に応じて、第１のスレッドタイプ、第２のスレッドタイプ、任意選択の第３のスレッドタイプ、任意選択の第４のスレッドタイプなどが存在し得る。

図５は、２つのスレッドタイプをもたらし得る基準を使用した一例であり、上述のように、選択される基準に応じて、３つ以上のスレッドタイプも可能であり得る。スレッド２２０_ａ〜２２０_ｎは、第１のスレッドタイプ２５０および第２のスレッドタイプ２５１に分離可能である。それぞれのスレッドタイプによって発行された要求、例えば、第１のスレッドタイプ２５０によって発行された第１の要求２６０、および第２のスレッドタイプ２５１によって発行された第２の要求２６１は、次いで、スレッド要求の１つまたは複数のバッチ２３２_ａ〜２３２_ｘに形成され得る。それぞれのバッチは、１つのスレッドタイプの要求を含むことが可能であり、例えば、例示されるように、第１のバッチ２３２_ａは、第１の要求２６０だけを含むことが可能であり、最後のバッチ２３２_ｘは、第２の要求２６１だけを含むことが可能である。もう１つの例では、それぞれのバッチ２３２_ａ〜２３２_ｘは、第１のスレッドタイプ２５０からの第１の要求２６０を主に含むことが可能であるか、または第２のスレッドタイプ２５１からの第２の要求２６１を主に含むことが可能である。このように、形成されたバッチ２３２_ａ〜２３２_ｘは、それぞれのスレッドタイプからの要求に関して均一であってよく、または主に均一であってもよい。この１つもしくは複数の要求バッチは一度に１回実行可能であり、またはコンピュータシステムに能力がある場合、その１つもしくは複数の要求バッチは一度に２回以上実行可能である。本明細書で使用される場合、主にという用語は、約５０％超、および約８０％超、約９５％超であってよく、または約９９％超であってもよい。

１つまたは複数のバッチが形成されると、スケジューリングアルゴリズムは、バッチ内の要求のサービスをスケジューリングするために、バッチ内スケジューリングアルゴリズムまたはバッチ内並列認識スケジューリングアルゴリズムを用いることが可能である。ＦＲ−ＦＣＦＳなど、任意のバッチ内スケジューリングアルゴリズムを使用することが可能である。

バッチ内で、バッチ内並列処理認識スケジューリングアルゴリズムは、第１に行ヒット要求を優先順位付けすることが可能である。第２に、本明細書に詳しく説明されるように、バンクレベルの並列処理を高めるために、より高いランクを有するスレッドからの要求をより低いランクを有するスレッドからの要求に勝って優先順位付けすることが可能である。最終的に、他に特別な条件がない限り、より古い要求をより新しい要求に勝って優先順位付けすることが可能である。

バッチ内並列処理認識スケジューリングアルゴリズムは、バッチ内のランクベースのスレッド優先順位付け方式を使用することが可能である。新しいバッチが形成されるとき、メモリスケジューラは、新しいバッチ内に要求を有するすべてのスレッド間のランキングを計算することが可能である。新しいバッチが処理される間、計算されたランキングは同じ状態にとどまり、より高くランク付けされたスレッドからの要求をより低くランク付けされたスレッドからの要求に勝って優先順位付けする。ランキングベースのスケジューリングの効果は、すべてのメモリバンクの全域で異なるスレッドを同じ順序で優先順位付けし、したがって、それぞれのスレッドの要求がすべてのバンクによって並列してサービス提供される可能性がより高いことである。

任意のランキングベースの方式が使用可能であるが、特定のランキング手順は、ＣＭＰスループットおよび公平性に対してかなりの影響を有する場合がある。良好なランキング方式は、メモリ集約型スレッドとメモリ非集約型スレッド（および、高いバンク並列処理を伴うスレッド）とを効果的に区別することが可能である。いくつかの実装形態では、最短ジョブ優先原理に適合するランキング方式を用いることが可能であり、この方式は、非集約型スレッドを集約型スレッドより高くランキングできる。

特許請求される主題は、範囲の点で、本明細書で説明される特定の実装形態に限定されない。例えば、いくつかの実装形態は、あるデバイス上またはデバイスの組合せ上で動作するために用いられるようなハードウェアの形であってよく、例えば、一方、その他の実装形態は、ソフトウェアおよび／またはファームウェアの形であってよい。同様に、特許請求される主題は、この点において範囲の点で限定されないが、いくつかの実装形態は、１つまたは複数の記憶媒体など、１つまたは複数の物品を含むことが可能である。ＣＤ−ＲＯＭ、コンピュータディスク、フラッシュメモリなど、この記憶媒体は、例えば、コンピュータシステム、コンピューティングプラットフォーム、またはその他のシステムなど、システムによって実行されるとき、結果として、例えば、これまで説明された実装形態のうちの１つなど、特許請求される主題に従ってプロセッサの実行をもたらし得る命令を格納していることが可能である。１つの可能性として、コンピューティングプラットフォームは、１つもしくは複数の処理ユニットまたはプロセッサと、ディスプレイ、キーボードおよび／またはマウスなど、１つもしくは複数の入出力デバイスと、静的ランダムアクセスメモリ、動的ランダムアクセスメモリ、フラッシュメモリ、および／またはハードドライブなど、１つもしくは複数のメモリとを含むことが可能である。

明細書における「ある実装形態」、「一実装形態」、「いくつかの実装形態」、または「その他の実装形態」の参照は、１つもしくは複数の実装形態に関して説明される特定の特徴、構造、または特性は少なくともいくつかの実装形態内に含まれ得るが、すべての実装形態内に含まれるとは限らないことを意味する場合がある。先の説明における「ある実装形態」、「一実装形態」、「いくつかの実装形態」の様々な出現は、すべて同じ実装形態を参照するとは限らない。さらに、「結合された」または「反応する」もしくは「に反応して」、あるいは「と通信している」などの用語または句が、本明細書または続く特許請求の範囲において使用される場合、これらの用語は広く解釈されるべきである。例えば、「に結合された」という句は、その句が使用される文脈に応じて適切に、通信可能に、電気的に、および／または動作可能に結合されていることを指す場合がある。

先の説明において、特許請求される主題の様々な態様が説明されている。説明のために、特定の番号、システム、および／または構成は、特許請求される主題の十分な理解をもたらすために記載された。しかし、当業者および本開示の利益を有する者は、特許請求される主題は、それらの特定の詳細なしに実行可能である点を理解されたい。その他の事例では、特許請求される主題をあいまいにしないように、よく知られている特徴は省略および／または簡素化された。本明細書において、いくつかの特徴が例示および／または説明されているが、当業者は、ここでまたは今後、多くの修正形態、代替形態、変更形態、および／または均等物を思いつくであろう。したがって、添付の特許請求の範囲は、特許請求される主題の真の趣旨に該当するすべてのかかる修正形態および／または変更形態をカバーすることが意図されることを理解されたい。

システムの態様のハードウェア実装形態とソフトウェア実装形態の間に差異はほとんどなく、ハードウェアの使用またはソフトウェアの使用は、一般に、費用対効果の兼ね合いを表す設計の選択である（しかし、ハードウェアとソフトウェアとの間の選択が重要になる可能性がある一定の状況では、常にそうであるとは限らない）。それによって本明細書で説明されるプロセス、および／もしくはシステム、ならびに／またはその他の技術が実現可能な様々な手段（例えば、ハードウェア、ソフトウェア、および／またはファームウェア）が存在し、好ましい手段は、それらのプロセス、および／もしくはシステム、ならびに／またはその他の技術が展開される状況によって異なることになる。例えば、実装者が、速度および精度が最重要であると決定した場合、その実装者は、ハードウェア手段および／またはファームウェア手段を主に選択することができ、柔軟性が最重要である場合、その実装者は、ソフトウェア実装形態を主に選択することができ、またはさらにこの場合も代替として、その実装者は、ハードウェア、ソフトウェア、および／またはファームウェアのいくつかの組合せを選択することができる。

前述の詳細な説明は、ブロック図、流れ図、および／もしくは例の使用を介したデバイスならびに／またはプロセスの様々な実施形態を記載している。かかるブロック図、流れ図、ならびに／あるいは例が１つもしくは複数の機能および／または動作を含む限り、かかるブロック図、流れ図、もしくは例の中のそれぞれの機能および／または動作は、幅広い範囲のハードウェア、ソフトウェア、ファームウェア、または実質的にそれらの任意の組合せによって、個々におよび／もしくは集合的に実装可能である点を当業者は理解されよう。一実装形態では、本明細書で説明された主題のいくつかの部分は、特定用途向け集積回路（ＡＳＩＣ）、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）、デジタル信号プロセッサ（ＤＳＰ）、またはその他の統合形式を介して実装可能である。しかし、当業者は、本明細書で開示された実施形態のうちのいくつかの態様は、全体としてまたは一部において、１つもしくは複数のコンピュータ上で実行している１つもしくは複数のコンピュータプログラム（例えば、１つもしくは複数のコンピュータシステム上で実行している１つもしくは複数プログラム）として、１つもしくは複数のプロセッサ上で実行している１つもしくは複数のプログラム（例えば、１つもしくは複数のマイクロプロセッサ上で実行している１つもしくは複数のプログラム）として、ファームウェアとして、または実質的にそれらの任意の組合せとして、集積回路内で等しく実行可能であり、回路の設計ならびに／またはソフトウェアおよび／もしくはファームウェアに関するコードの書込みは、本開示に照らして、十分当業者の能力範囲内にあることになる点を理解されよう。加えて、当業者は、本明細書で説明された主題の機構は、様々な形態のプログラム製品として供給されることが可能であり、本明細書で説明された主題の例示的な実施形態は、その供給を実際に実行するために使用される信号担持媒体の特定のタイプにかかわらず適用される点を理解されよう。信号担持媒体の例は、以下を含むが、これらに限定されない。すなわち、フロッピー（登録商標）ディスク、ハードディスクドライブ、コンパクトディスク（ＣＤ）、デジタルビデオディスク（ＤＶＤ）、デジタルテープ、コンピュータメモリなど、記録可能なタイプの媒体、ならびにデジタル通信媒体および／またはアナログ通信媒体（例えば、光ファイバーケーブル、導波管、有線通信リンク、無線通信リンクなど）など、伝送タイプの媒体である。

当業者は、本明細書に記載された形でデバイスおよび／またはプロセスを説明し、その後、かかる説明されたデバイスおよび／またはプロセスをデータ処理システムに統合するために技術的な手法を使用することは当技術分野において一般的である点を理解されよう。すなわち、十分な量の実験を介して、本明細書で説明されたデバイスおよび／またはプロセスの少なくとも一部をデータ処理システムに統合することが可能である。当業者は、典型的なデータ処理システムは、一般に、システムユニット筐体、ビデオディスプレイデバイス、揮発性メモリおよび不揮発性メモリなどのメモリ、マイクロプロセッサおよびデジタル信号プロセッサなどのプロセッサ、オペレーティングシステム、ドライバ、グラフィカルユーザインターフェース、およびアプリケーションプログラムなどの計算エンティティ、タッチパッドまたはスクリーンなどの１つもしくは複数の対話デバイス、ならびに／あるいはフィードバックループおよび制御モーター（例えば、位置および／または速度を感知するためのフィードバック、構成要素および／もしくは数量を移動ならびに／または調整するための制御モーター）を含む制御システムのうちの１つまたは複数を含む点を理解されよう。典型的なデータ処理システムは、一般に、データコンピューティングシステム／データ通信システムおよび／またはネットワークコンピューティングシステム／ネットワーク通信システムの内に見出される構成要素など、任意の適切な市販の構成要素を利用して実装可能である。

本明細書で説明される主題は、時には、異なる他の構成要素内に含まれた異なる構成要素、または異なる他の構成要素に接続された異なる構成要素を例示する。そのような示されたアーキテクチャは単なる例示であり、実際には、同じ機能性を達成する、多くのその他のアーキテクチャが実装可能である点を理解されよう。概念的な意味で、同じ機能性を達成するための構成要素のいずれの構成も、所望される機能性が達成されるように、有効に「関連付けられる」。したがって、特定の機能性を達成するために組み合わされる、本明細書のいずれの２つの構成要素も、アーキテクチャまたは中間構成要素にかかわらず、所望される機能性が達成されるように互いに「関連付けられる」と見なすことができる。同様に、そのように関連付けられたいずれの２つの構成要素も、所望される機能性を達成するために、互いに「動作可能に接続されている」または「動作可能に結合されている」と見なすこともでき、そのように関連付けられているいずれの２つの構成要素も、所望される機能性を達成するために、互いに「動作可能に結合続可能である」と見なすこともできる。動作可能に結合可能な特定の例は、物理的に噛み合わせ可能な（ｍａｔｅａｂｌｅ）構成要素および／もしくは物理的に相互作用する構成要素、ならびに／または無線で相互作用可能な構成要素および／もしくは無線で相互作用する構成要素、ならびに／または論理的に相互作用する構成要素および／もしくは論理的に相互作用可能な構成要素を含むが、これらに限定されない。

本明細書における実質的に任意の複数用語および／または単数用語の使用に関して、当業者は、文脈および／もしくは応用例に応じて、複数から単数にかつ／または単数から複数に変換することが可能である。分かりやすくするために、本明細書において、様々な単数／複数の置換が明示的に記載される場合がある。

概して、本明細書、および、特に添付の特許請求の範囲（例えば、添付の特許請求の範囲の本文）において使用される用語は、一般に、「開放的な」用語として意図される（例えば、「含んでいる」という用語は、「含むが、それに限定されない」と解釈されるべきであり、「有する」という用語は、「少なくとも含む」と解釈されるべきであり、「含む」という用語は、「含むが、それに限定されない」と解釈されるべきである、など）ことを理解されよう。当業者は、特定の数の導入される請求項の列挙が意図される場合、かかる意図は、特許請求の範囲内で明示的に列挙されることになり、かかる列挙がない場合、かかる意図は存在しない点をさらに理解されよう。例えば、理解の支援として、以下の特許請求の範囲は、請求項の列挙を導入するために、「少なくとも１つの」および「１つまたは複数の」という導入句の使用を含む場合がある。しかし、かかる句の使用は、同じ請求項が、導入句「１つもしくは複数の」または「少なくとも１つの」、ならびに「ａ」または「ａｎ」などの不定冠詞を含むときですら、不定冠詞「ａ」または「ａｎ」による請求項の列挙の導入が、そのように導入された請求項の列挙を含む任意の特定の請求項を１つのかかる列挙だけを含む発明に限定することを意味すると解釈されるべきではなく（例えば、「ａ」および／または「ａｎ」は、典型的には、「少なくとも１つの」または「１つもしくは複数の」を意味すると解釈されるべきである）、同じことは、請求項の列挙を導入するために使用される定冠詞の使用に関しても当てはまる。加えて、特定の数の導入された請求項の列挙が明示的に列挙されているときですら、当業者は、かかる列挙は、一般に、少なくとも列挙された数を意味する（例えば、修飾語句を伴わない「２つの列挙」の単なる列挙は、一般に、少なくとも２つの列挙、または２つ以上の列挙を意味する）と解釈されるべきである点を理解されよう。さらに、「Ａ、Ｂ、およびＣのうちの少なくとも１つの、など」に類似する表現方法が使用される場合、一般に、そのような構造は、当業者がその表現を理解するであろう意味が意図される（例えば、「Ａ、Ｂ、およびＣのうちの少なくとも１つを有するシステム」は、Ａだけを有するシステム、Ｂだけを有するシステム、Ｃだけを有するシステム、ＡとＢとを共に有するシステム、ＡとＣとを共に有するシステム、ＢとＣとを共に有するシステム、および／またはＡと、Ｂと、Ｃとを共に有するシステムなどを含むことになるが、これらに限定されない）。「Ａ、Ｂ、またはＣのうちの少なくとも１つ、など」に類似する表現方法が使用される場合、一般に、そのような構造は、当業者がその表現を理解するであろう意味が意図される（例えば、「Ａ、Ｂ、またはＣのうちの少なくとも１つを有するシステム」は、Ａだけを有するシステム、Ｂだけを有するシステム、Ｃだけを有するシステム、ＡとＢとを共に有するシステム、ＡとＣとを共に有するシステム、ＢとＣとを共に有するシステム、および／またはＡと、ＢとＣとを共に有するシステムなどを含むことになるが、これらに限定されない）。当業者は、明細書内であれ、特許請求の範囲内であれ、または図面内であれ、２つ以上の代替用語を提示する実質的にいかなる離接語および／または離接句も、それらの用語のうちの１つ、それらの用語のどちらか、またはそれらの用語の両方を含む可能性を企図すると理解されるべきである点をさらに理解されよう。例えば、「ＡまたはＢ」という成句は、「Ａ」、もしくは「Ｂ」、または「ＡおよびＢ」の可能性を含むと理解されることになる。

Claims (20)

1. メモリにデータを求める要求を実行するための方法であって、
   スレッドを第１のスレッドタイプおよび第２のスレッドタイプに分離することであって、前記第１のスレッドタイプのそれぞれのスレッドが、メモリにデータを求める少なくとも１つの第１のスレッド要求タイプを発行し、前記第２のスレッドタイプのそれぞれのスレッドが、前記メモリにデータを求める少なくとも１つの第２のスレッド要求タイプを発行する、分離すること、
   それぞれが単一のスレッド要求タイプの要求を主に含む第１のバッチを形成すること、
   それぞれの第１のバッチの前記要求を実行することを含む方法。
2. それぞれが単一のスレッド要求タイプの要求を主に含む第２のバッチを形成すること、
   それぞれの第２のバッチの前記要求を実行することをさらに含み、
   それぞれの第１のバッチの前記要求を前記実行することが、それぞれの第２のバッチの前記要求を前記実行することの前に発生する
   請求項１に記載の方法。
3. それぞれの第１のバッチの前記要求を前記実行することが、前記第２のバッチを形成することの前に発生する、前記請求項のいずれかに記載の方法。
4. それぞれの第１のバッチの前記要求を前記実行することが、別のバッチの任意の要求を実行する前にバッチのすべての要求を実行することを含む、前記請求項のいずれかに記載の方法。
5. それぞれの第１のバッチが、単一のスレッド要求タイプの要求を含む、前記請求項のいずれかに記載の方法。
6. 前記分離することが、前記スレッドを前記第１のスレッドタイプ、前記第２のスレッドタイプ、および第３のスレッドタイプに分離することを含み、前記第３のスレッドタイプのそれぞれのスレッドが、前記メモリにデータを求める少なくとも１つの第３のスレッド要求タイプを発行する、前記請求項のいずれかに記載の方法。
7. 前記分離することが、前記スレッドを前記第１のスレッドタイプおよび前記第２のスレッドタイプだけに分離することを含む、前記請求項のいずれかに記載の方法。
8. 前記分離することが、前記スレッドが、並列メモリと共に使用するために、どのくらい良好に設計されているかに基づいて分離することを含む、前記請求項のいずれかに記載の方法。
9. 前記分離することが、前記スレッドがその他のスレッドとどのくらい効果的に共働するかに基づいて分離することを含む、前記請求項のいずれかに記載の方法。
10. 前記分離することが、前記スレッドが発生したアプリケーションプログラムに基づいて分離することを含む、前記請求項のいずれかに記載の方法。
11. 前記分離することが、それぞれのスレッドが行う要求の相対数に基づいて分離することを含む、前記請求項のいずれかに記載の方法。
12. メモリにデータを求める要求を実行するために、コンピュータ可読媒体内に符号化されたソフトウェアを有するコンピュータプログラムであって、前記ソフトウェアが、実行されたとき、
    スレッドを第１のスレッドタイプおよび第２のスレッドタイプに分離することであって、前記第１のスレッドタイプのそれぞれのスレッドが、メモリにデータを求める少なくとも１つの第１のスレッド要求タイプを発行し、前記第２のスレッドタイプのそれぞれのスレッドが、前記メモリにデータを求める少なくとも１つの第２のスレッド要求タイプを発行する、分離すること、
    それぞれが単一のスレッド要求タイプの要求を主に含む第１のバッチを形成すること、
    それぞれの第１のバッチの前記要求を実行することを行うように動作可能な命令を含むコンピュータプログラム。
13. 実行されたとき、
    それぞれが単一のスレッドの要求タイプの要求を主に含む第２のバッチを形成し、
    それぞれの第２のバッチの前記要求を実行するように動作可能な命令をさらに含み、
    前記命令が、それぞれの第１のバッチの前記要求を実行し、次いで、それぞれの第２のバッチの前記要求を実行する、請求項１２に記載のコンピュータプログラム。
14. 前記命令が、それぞれの第１のバッチの前記要求を実行し、次いで、前記第２のバッチを形成する、請求項１２又は１３に記載のコンピュータプログラム。
15. それぞれの第１のバッチの前記要求を実行するための前記命令が、バッチのすべての要求を実行し、次いで、別のバッチの要求を実行するための命令を含む、請求項１２乃至１４のいずれかに記載のコンピュータプログラム。
16. それぞれの第１のバッチが、単一のスレッド要求タイプの要求を含む、請求項１２乃至１５のいずれかに記載のコンピュータプログラム。
17. 分離するための前記命令が、前記スレッドを前記第１のスレッドタイプ、前記第２のスレッドタイプ、および第３のスレッドタイプに分離するための命令を含み、前記第３のスレッドタイプのそれぞれのスレッドが、前記メモリにデータを求める少なくとも１つの第３のスレッド要求タイプを発行する、請求項１２乃至１６のいずれかに記載のコンピュータプログラム。
18. 分離するための前記命令が、前記スレッドを前記第１のスレッドタイプ、および前記第２のスレッドタイプに分離する命令を含む、請求項１２乃至１７のいずれかに記載のコンピュータプログラム。
19. 複数のコアと、
    前記複数のコアに動作可能に結合された、データを含むメモリと、
    前記複数のコアに動作可能に結合されたコンピュータ可読媒体とを備えるコンピュータシステムであって、
    前記コンピュータ可読媒体が、コンピュータシステムによって実行されたとき、
    スレッドを第１のスレッドタイプおよび第２のスレッドタイプに分離することであって、前記第１のスレッドタイプのそれぞれのスレッドが、前記メモリに前記データを求める少なくとも１つの第１のスレッド要求タイプを発行し、前記第２のスレッドタイプのそれぞれのスレッドが、前記メモリに前記データを求める少なくとも１つの第２のスレッド要求タイプを発行する、分離すること、
    それぞれが単一のスレッド要求タイプの要求を主に含む第１のバッチを形成すること、
    それぞれの第１のバッチの前記要求を実行することを行うようにコンピュータシステムを構成するコンピュータ実行可能命令を含む、コンピュータシステム。
20. 前記コンピュータ可読媒体が、前記コンピュータシステムによって実行されたとき、バッチのすべての要求を実行し、次いで、別のバッチの任意の要求を実行するように前記コンピュータシステムをさらに構成するコンピュータ実行可能な命令をさらに含む、請求項１９に記載のコンピュータシステム。

Images