JP2009118106A - ネットワーク装置 - Google Patents

Abstract

【課題】ＣＰＵとネットワークデバイスとの間のパケット送受信処理の効率化を図り、より高速なデータ送信を実現するネットワーク装置を得ること。
【解決手段】本発明にかかるネットワーク装置は、複数のＣＰＵおよびメモリを搭載し、外部装置宛の送信データおよび送信データの格納先情報を管理する機能を有するＯＳ（１０）と、格納先情報に基づいて、外部装置宛の送信データをＤＭＡ転送により取得し、ＤＭＡ転送が完了した旨を示す通知をＯＳ（１０）へ発行するＮＩＣ（５）と、を備え、ＯＳ（１０）では、第１のＣＰＵが、送信データをメモリ内の未使用領域へ格納する処理および格納先情報をメモリ内に確保しておいた複数の情報管理領域の中のいずれか一つに格納する処理を実行し、第２のＣＰＵが、ＮＩＣ（５）から通知を受け取り、メモリ内の領域を解放する。
【選択図】 図１

Description

本発明は、マルチコア／マルチプロセッサ対応ＯＳを搭載したマルチコア／マルチプロセッサ対応ＣＰＵおよび外部ネットワーク装置との接続のためのネットワークインタフェイスデバイスを備え、ＩＰパケットに代表される通信パケットの転送や上位レイヤプロトコルの処理を上記ＯＳ上のアプリケーションにて実行するネットワーク装置に関する。

近年、インターネットを利用した通信サービスが次々と登場し、アクセス網およびコア網におけるＩＰトラヒック量は年々増加している。このＩＰトラヒック量の増加に伴って、イーサネット（登録商標）規格(ＩＥＥＥ（Institute of Electrical and Electronics Engineers）８０２．３)に代表される有線ネットワークや、ＷｉＭＡＸ（Worldwide Interoperability for Microwave Access）（ＩＥＥＥ８０２．１６）に代表される無線ネットワークにおいて、伝送帯域の高速化の検討が進められている。特に有線通信では、１００Ｍｂｐｓや１Ｇｂｐｓ以上の１０Ｇｂｐｓのイーサネット（登録商標）規格が策定され、既に１０Ｇｂｐｓに対応したネットワークデバイスが製品化されている。

ところで、ＣＰＵ（Central Processing Unit）もクロックアップ、マルチコアプロセッサ／マルチプロセッサによる高性能化が進んでいるが、ＯＳ（Operating System）を搭載したＣＰＵおよびネットワークデバイスで構成される通信装置では、ＣＰＵとネットワークデバイスとの間のパケット送受信がボトルネックとなり、１０Ｇｂｐｓのような高速伝送帯域を収容することが困難である。

すなわち、汎用ＯＳを搭載したＣＰＵおよびネットワークデバイスで構成された従来の通信装置による送信処理では、上位レイヤによるデータ処理（メモリへの送信データ格納処理）が終了後、デバイスドライバは、送信データが格納された領域のアドレス情報を上位レイヤから受け取り、受け取ったアドレス情報をメモリ内に予め用意しておいた送信ディスクリプタへ格納する。ネットワークインタフェイスカード（以下、ＮＩＣと呼ぶ）は、定期的に送信ディスクリプタにアドレス情報が格納されているかどうかを確認し、格納されている場合、その情報が示す領域から送信データをＤＭＡ（Direct Memory Access）転送して自身内のキューに取り込み、外部ネットワークへ送信する。ＤＭＡ転送が完了すると、ＮＩＣは、その旨を通知するための転送完了割込みをＯＳに対して通知する。ＯＳ側では、転送完了割込みを受け取ると、送信ディスクリプタ内のアドレス情報が示す領域（送信済みとなった送信データが格納されている領域）を解放する（図６参照）。そして、上位レイヤによるデータ処理（図６に示した上位処理に相当）およびそれに続く処理が実行される。

そのため、たとえば下記特許文献１では、複数の上位プロセスが相互に影響し合うことを防止し、処理の高速化を図っている。

特開２００６−２６０５４３号公報

しかしながら、上述した従来の送信処理では、データを連続して送信する場合、特定のデータを送信した後、それまで使用していた送信バッファの解放が完了するまでの間は次のデータに対する処理を開始できないため（図６参照）、処理遅延が発生してしまい、効率的な送信処理が実現できていない、という問題があった。

本発明は、上記に鑑みてなされたものであって、ＣＰＵとネットワークデバイスとの間のパケット送受信処理の効率化を図り、より高速なデータ送信を実現するネットワーク装置を得ることを目的とする。

上述した課題を解決し、目的を達成するために、本発明は、複数のＣＰＵおよびメモリを搭載し、外部装置宛の送信データおよび当該送信データの格納先情報を管理する管理機能を有するデータ処理手段と、前記格納先情報に基づいて、前記データ処理手段が保持している外部装置宛の送信データをＤＭＡ転送により取得し、さらに、ＤＭＡ転送が完了した旨を示す転送完了通知を前記データ処理手段へ発行するＤＭＡ処理手段と、を備え、前記データ処理手段では、前記複数のＣＰＵの中の１つである第１のＣＰＵが、前記管理機能として、送信データを前記メモリ内の未使用領域へ格納する処理および当該送信データの格納先情報を前記メモリ内に予め確保しておいた複数の情報管理領域の中のいずれか一つに格納する処理を実行し、また、前記第１のＣＰＵとは異なる第２のＣＰＵが、前記ＤＭＡ処理手段から転送完了通知を受け取り、当該転送完了通知により特定される前記メモリ内の領域を解放することを特徴とする。

この発明によれば、送信データを共有メモリへ格納する処理と、データが読み出された後の共有メモリ内の領域を解放する処理とを異なるＣＰＵに振り分けて並列に実行するようにしたので、従来発生していた解放処理にかかる処理遅延分だけ処理時間を短縮し、送信処理を高速化することができる、という効果を奏する。

以下に、本発明にかかるネットワーク装置の実施の形態を図面に基づいて詳細に説明する。なお、以下の実施の形態にて説明するネットワーク装置としては、ＯＳを搭載したマルチコア／マルチプロセッサ対応ＣＰＵおよび外部ネットワーク装置との接続のためのネットワークインタフェイスデバイスで構成され、ＩＰパケットに代表される通信パケットの転送や上位レイヤプロトコルの処理をＯＳ上のアプリケーションにて実行するものを想定する。ただし、この実施の形態によりこの発明が限定されるものではない。

実施の形態１．
図１は、実施の形態１のネットワーク装置の機能ブロック構成の一例をパケット送信処理の流れとともに示す図である。このネットワーク装置は、データ格納処理実行手段に相当する上位レイヤ処理部１と、格納領域情報管理手段に相当する情報処理部２と、データ格納部３と、情報保持手段に相当する送信ディスクリプタ４−１および４−２と、ＮＩＣ（Network Interface Card）５と、により構成される。なお、上位レイヤ処理部１および情報処理部２における処理は、ＯＳ１０上のアプリケーションにより実行される。また、データ処理手段はＯＳ１０により実現される。

上位レイヤ処理部１は、データ送信時の上位レイヤ処理を行う。情報処理部２は、上位レイヤ処理部１から受け取ったメッセージブロックを予め指定された送信ディスクリプタ４−１または４−２へキューイングする。データ格納部３は、外部ネットワーク装置への送信データを格納する。なお、データ格納部３は送信データを格納するための複数の領域（送信バッファ）により構成される。送信ディスクリプタ４−１および４−２は、ＮＩＣ５が自身内部のキューに送信データをＤＭＡ転送する際に必要な、ＯＳ内のデータ格納領域（上記送信バッファに相当）の情報（アドレス情報）を含んだメッセージブロックを保持しておく。ＮＩＣ５は、外部ネットワークと接続する機能を有し、汎用ネットワークインタフェイスカードまたはＡＳＩＣ（Application Specific Integrated Circuit）／ＦＰＧＡ（Field Programmable Gate Array）／ＮＰＵ（Network Processing Unit）等のパケット処理（主にＭＡＣレイヤ：Ｅｔｈｅｒｎｅｔ（登録商標）処理）を特化して行うハードウェアネットワークインタフェイスデバイスである。ＯＳ１０は、マルチコア／マルチプロセッサ対応ＯＳであり、同一メモリ空間上に複数のＣＰＵを認識および使用可能となっている。

つづいて、上記構成のネットワーク装置によるデータ送信動作を図１および図２を参照しながら説明する。なお、実施の形態１のネットワーク装置におけるデータ送信動作に含まれる各処理を時系列的に示した図である。また、ＯＳ１０は、メモリ領域内の特定の領域を割り当てて用意しておいた２つの送信ディスクリプタ（送信ディスクリプタ４−１，４−２）のうちのいずれか一つを予め選択し、ＤＭＡ転送時に参照するためのディスクリプタ領域として設定（ＮＩＣ５に対して通知）しておくものとする。ここでは、送信ディスクリプタ４−１を選択しておくものとして説明を行う。

送信データが発生した場合、まず、上位レイヤ処理部１は、データ格納部３の未使用領域（未使用の送信バッファ）を確保して、その領域へ送信データを格納し、さらに、送信データを格納した領域（格納先）のアドレス情報を含んだメッセージブロックを情報処理部２へ発行する。

つぎに、情報処理部２は、上位レイヤ処理部１から受け取ったメッセージブロックを、送信ディスクリプタ４−１または４−２へ格納する。なお、ここでは送信ディスクリプタ４−１へ格納するものとする。

以降、上位レイヤ処理部１は、送信データが発生した場合、それをデータ格納部３の未使用領域へ送信データを格納して格納先のアドレス情報を含んだメッセージブロックを情報処理部２へ発行する処理を実行し、情報処理部２は、受け取ったメッセージブロックを送信ディスクリプタへ格納する処理を繰り返す。

以上の処理を本実施の形態では、同一のＣＰＵ（図２に示した例ではＣＰＵ＃０）が実行する。

一方、ＤＭＡ処理手段としての機能を有するＮＩＣ５は、予め通知されていたディスクリプタ領域（ここでは送信ディスクリプタ４−１）の状態を定期的にポーリング（監視）し、メッセージブロックが格納されていることを検出した場合、そのメッセージブロックが示す領域から自身内のキュー（図示せず）へ送信データをＤＭＡ転送して取得し、さらに、外部ネットワーク装置へ送信する。なお、ＯＳメモリ内のデータ格納領域（データ格納部３）から１回のＤＭＡ転送にて転送可能なフレーム数は、ＮＩＣ５の仕様およびパラメータ設定に依存しており、複数のフレームをまとめてＤＭＡ転送することも可能である。

また、ＤＭＡ転送が完了すると、ＮＩＣ５は、ＯＳ１０に対して、ＤＭＡ転送が完了した旨を示す転送完了割込みを通知する。なお、転送完了割込みの通知に代えて、ＯＳ１０がポーリングによりＤＭＡ転送が完了したことを検出するようにしてもよい。

ＯＳ１０は、転送完了割込み通知を受け取った場合、ＤＭＡ転送時にＮＩＣ５が参照するためのディスクリプタ領域を、それまで設定しておいた送信ディスクリプタ（この例では送信ディスクリプタ４−１）からもう一方の送信ディスクリプタ（送信ディスクリプタ４−２）へ変更する。すなわち、ＤＭＡ転送時に参照するディスクリプタ領域を他方の送信ディスクリプタ（＝送信ディスクリプタ４−２）に変更するようＮＩＣ５へ指示を出す。その後、ＮＩＣ５は、指示されたディスクリプタ領域のポーリングを行い、メッセージブロックを検出した場合には、その内容が示す領域から送信データを取得し、ＤＭＡ転送が完了した時点で、その旨を示す転送完了割込みを通知する。以降、同様の処理を繰り返す。

また、ＯＳ１０は、ディスクリプタ領域の変更処理につづいて、データ格納部３内のＤＭＡ転送が終了したデータを格納していた領域（受け取った転送完了割込み通知に対応した送信バッファ）を解放する。

以上の転送完了割込み通知を受け取ってから送信バッファを解放するまでの処理を、上述した上位レイヤ処理などを実行するＣＰＵとは異なる他のＣＰＵ（図２に示した例ではＣＰＵ＃１）が実行する。

このように、本実施の形態のネットワーク装置では、送信データが格納されたメモリから外部の装置へ接続されたＮＩＣに対して送信データをＤＭＡ転送する場合、送信データをメモリへ格納する処理および格納先（送信バッファ）の情報をメモリ内の所定の領域へ格納する処理と、ＤＭＡ転送が完了した旨を示す割込みが発生した場合に実行する、それまで使用していた送信バッファの解放処理を異なるＣＰＵに割り当てて並列に実行するようにした。これにより、従来発生していた解放処理にかかる処理遅延分だけ処理時間を短縮でき、送信処理の高速化を実現できる。

実施の形態２．
つづいて、実施の形態２のネットワーク装置について説明する。実施の形態１のネットワーク装置では、送信データをデータ格納部３が有する送信バッファへ格納する処理とデータ送信完了後に送信バッファを解放する処理とを異なるＣＰＵが実行する場合について示した（図１，図２参照）。これに対して、本実施の形態では、ＯＳ１０が送信ディスクリプタを上位レイヤ処理部が割当てられているＣＰＵと同じ数だけ用意し、送信データを送信バッファへ格納する処理および送信バッファを解放する処理を各ＣＰＵにおいて個別に実行する場合について説明する。

図３は、実施の形態２のネットワーク装置の機能ブロック構成の一例をパケット送信処理の流れとともに示す図である。なお、上述した実施の形態１と同じ処理を行う構成については同一の符号を付してその説明を省略する。

図３に示したように、本実施の形態のネットワーク装置は、実施の形態１の上位レイヤ処理部１と同様の処理を実行する複数の上位レイヤ処理部１ａ，１ｂ，１ｃと、実施の形態１の情報処理部２と同様の処理を実行する複数の情報処理部２ａ，２ｂ，２ｃと、データ格納部３と、実施の形態１の送信ディスクリプタ４−１および４−２と同様の処理を実行する複数の送信ディスクリプタ４ａ，４ｂ，４ｃと、ＮＩＣ５と、振分け手段に相当する割込み振分け部６と、を備える。

各上位レイヤ処理部にはいずれか一つの情報処理部および送信ディスクリプタが予め対応付けられ、各情報処理部は、対応する上位レイヤ処理部から受け取ったメッセージブロックを自身に対応付けられた送信ディスクリプタへ格納する。図３では、上位レイヤ処理部、情報処理部および送信ディスクリプタの組み合わせ（以下、送信データ格納処理ブロックと呼ぶ）の数が３の場合の例について示しているが、３以外であってもよい。なお、各送信データ格納処理ブロックは、異なるＣＰＵに割り当てられているものとする。また、互いに対応付けられた上位レイヤ処理部と情報処理部のペアがメモリ管理手段を構成する。すなわち、図３は、３つのメモリ管理手段を備えた場合の構成例を示している。

割込み振分け部６は、ＮＩＣ５からの転送完了割込みを受け取り、それを各ＣＰＵへ振分ける。

つづいて、実施の形態２のネットワーク装置によるデータ送信動作を図３および図４を参照しながら説明する。なお、図４は、実施の形態２のネットワーク装置におけるデータ送信動作に含まれる各処理を時系列的に示した図である。

ＯＳ１０は、複数の送信ディスクリプタのうちのいずれか一つを予め選択し、ＤＭＡ転送時に参照するためのディスクリプタ領域として設定（ＮＩＣ５に対して通知）しておくものとする。ここでは、送信ディスクリプタ４ａを設定しておくものとする。そして、カーネル空間内に割込み振分け部６を用意し、転送完了割込みが発生した場合、割込み振分け部６は、転送完了割込みを受け取り、その通知先として送信データ格納処理ブロックのうちのいずれか一つを選択する。

各送信データ格納処理ブロックでは、送信データが発生した場合、上位レイヤ処理部がデータ格納部３の未使用領域（未使用の送信バッファ）を確保して当該領域へ送信データを格納し、さらに、送信データを格納した領域（格納先）のアドレス情報を含んだメッセージブロックを自身と対応付けられた情報処理部へ発行する。情報処理部は、受け取ったメッセージブロックを、自身と対応付けられた送信ディスクリプタへ格納する。

ＮＩＣ５は、ＯＳ１０から予め通知されていたディスクリプタ領域の状態を定期的にポーリング（監視）し、メッセージブロックが格納されていることを検出した場合、送信データをＤＭＡ転送にて取得し、外部ネットワーク装置へ送信する。また、ＤＭＡ転送が完了すると、その旨を示す転送完了割込みをＯＳ１０に対して発行する。

ＯＳ１０では、転送完了割込み通知を受け取った場合、割込み振分け部６が、受け取った割込み通知に対応したスレッド／ＣＰＵへ割り込みを通知し、さらに、ＤＭＡ転送時にＮＩＣ５が参照するためのディスクリプタ領域を、それまで設定しておいた送信ディスクリプタ（この例では送信ディスクリプタ４ａ）から他の送信ディスクリプタへ変更する。

割込み振分け部６経由で転送完了割込みを受け取ったＣＰＵの上位レイヤ処理部では、受け取った転送完了割込みに対応する領域（送信バッファ）を解放する。

以上の処理を、すべての送信ディスクリプタが空になるまで（データ格納部３に格納された送信データがなくなるまで）繰り返す（図４参照）。図４は、各ＣＰＵに対応した送信データ格納処理ブロックが送信データのデータ格納部３（送信バッファ）への格納処理（図示した上位処理に相当）およびメッセージブロックの格納処理（図示したアドレス情報格納処理に相当）を個別に実行し、その後ＮＩＣ５から転送完了割込み通知を受け取った時点で割込み処理以降の処理（図示した割込み処理、変更処理（ディスクリプタ領域の変更処理）およびバッファ解放処理）を実行する様子を示している。

このように、本実施の形態では、上位レイヤ処理部、情報処理部および送信ディスクリプタにより構成されるブロック（送信データ格納処理ブロック）を複数設け、それらを互いに異なるＣＰＵが管理することとした。また、割り込み振分け部がＮＩＣからの転送完了割込みを対応するＣＰＵへ振分けることとした。すなわち、送信データが格納されたメモリから外部の装置へ接続されたＮＩＣに対して送信データをＤＭＡ転送する場合、送信データをメモリへ格納する処理、送信データの格納先情報をメモリ内の所定の領域へ格納する処理および送信バッファの解放処理を並列に実行することとした。これにより、従来発生していた解放処理にかかる処理遅延分だけ処理時間を短縮でき、送信処理の高速化を実現できる。

実施の形態３．
つづいて、実施の形態３のネットワーク装置について説明する。本実施の形態では、実施の形態２のネットワーク装置の変形例について説明する。具体的には、送信データに対する上位レイヤ処理の負荷を考慮し、各ＣＰＵにおける処理量を調整する機能を有するネットワーク装置について説明する。

図５は、実施の形態３のネットワーク装置の機能ブロック構成の一例をパケット送信処理の流れとともに示す図である。このネットワーク装置は、実施の形態２のネットワーク装置（図３参照）に対して、パケット振分け部７を追加した構成をとる。パケット振分け部７以外の構成については、上述した実施の形態２のネットワーク装置と同様であるため同一の符号を付してその説明を省略する。なお、パケット振分け部７が決定手段を構成する。

パケット振分け部７は、送信パケット（送信データ）が発生した場合、当該パケットについての上位レイヤ処理部における処理時間を見積もり、見積もり結果および各ＣＰＵの負荷状態に基づいてパケット（送信データ）をいずれか一つのＣＰＵ（上位レイヤ処理部）へ渡す。具体的には、各ＣＰＵにおける負荷状態（処理量）が均等化されるようにパケットの振分先を決定する。なお、各ＣＰＵにおける処理能力が同じである場合には、処理時間の見積もりを省略し、その時点で最も負荷の低い（処理量が少ない）ＣＰＵに対応する上位レイヤ処理部へパケットを振分けるようにしてもよい。

上位レイヤ処理部へパケットが振分けられた後の処理は実施の形態２で示したとおりである。

このように、本実施の形態では、送信データが発生した場合、上位レイヤ処理に要する時間を考慮して、その送信データを渡す上位レイヤ処理部を決定することとした。これにより、実施の形態２で示した効果に加えて、特定のＣＰＵにおける上位レイヤ処理負荷が高い場合、処理時間が長くなり、他のＣＰＵにおける送信処理に遅延を生じさせることを防止することができる。すなわち、更なる高速化を実現できる。

以上のように、本発明は、ＯＳを搭載したマルチコア／マルチプロセッサ対応ＣＰＵおよびネットワークインタフェイスデバイスを備えたネットワーク装置に有用であり、特に、高速なデータ送信処理が要求される通信ネットワークに好適に利用することができる。

実施の形態１のネットワーク装置の機能ブロック構成の一例をパケット送信処理の流れとともに示す図である。 実施の形態１のネットワーク装置におけるデータ送信動作に含まれる各処理を時系列的に示した図である。 実施の形態２のネットワーク装置の機能ブロック構成の一例をパケット送信処理の流れとともに示す図である。 実施の形態２のネットワーク装置におけるデータ送信動作に含まれる各処理を時系列的に示した図である。 実施の形態３のネットワーク装置の機能ブロック構成の一例をパケット送信処理の流れとともに示す図である。 従来技術を説明するための図である。

符号の説明

１、１ａ、１ｂ、１ｃ 上位レイヤ処理部
２、２ａ、２ｂ、２ｃ 情報処理部
３ データ格納部
４−１、４−２、４ａ、４ｂ、４ｃ 送信ディスクリプタ
５ ＮＩＣ（Network Interface Card）
６ 割込み振分け部
７ パケット振分け部

Claims (4)

1. 複数のＣＰＵおよびメモリを搭載し、外部装置宛の送信データおよび当該送信データの格納先情報を管理する管理機能を有するデータ処理手段と、
   前記格納先情報に基づいて、前記データ処理手段が保持している外部装置宛の送信データをＤＭＡ転送により取得し、さらに、ＤＭＡ転送が完了した旨を示す転送完了通知を前記データ処理手段へ発行するＤＭＡ処理手段と、
   を備え、
   前記データ処理手段では、
   前記複数のＣＰＵの中の１つである第１のＣＰＵが、前記管理機能として、送信データを前記メモリ内の未使用領域へ格納する処理および当該送信データの格納先情報を前記メモリ内に予め確保しておいた複数の情報管理領域の中のいずれか一つに格納する処理を実行し、
   また、前記第１のＣＰＵとは異なる第２のＣＰＵが、前記ＤＭＡ処理手段から転送完了通知を受け取り、当該転送完了通知により特定される前記メモリ内の領域を解放することを特徴とするネットワーク装置。
2. 複数のＣＰＵおよびメモリを搭載し、外部装置宛の送信データおよび当該送信データの格納先情報を管理するデータ処理手段と、
   前記格納先情報に基づいて、前記データ処理手段が保持している外部装置宛の送信データをＤＭＡ転送により取得し、さらに、ＤＭＡ転送が完了した旨を示す転送完了通知を前記データ処理手段へ発行するＤＭＡ処理手段と、
   を備え、
   前記データ処理手段は、
   送信データおよび送信データの格納先情報を管理するための構成として、
   送信データを前記メモリ内の未使用領域へ格納し、送信データの格納先情報を前記メモリ内に予め確保しておいた複数の情報管理領域の中のいずれか一つに格納し、さらに、前記ＤＭＡ処理手段から転送完了通知を受け取り、当該転送完了通知により特定される前記メモリ内の領域を解放する複数のメモリ管理手段、
   を備え、
   各メモリ管理手段をそれぞれ異なるＣＰＵ上で実現することを特徴とするネットワーク装置。
3. さらに、
   送信データが発生した場合、その時点における各ＣＰＵの負荷状態に基づいて、当該送信データを管理するＣＰＵを決定する決定手段、
   を備えることを特徴とする請求項２に記載のネットワーク装置。
4. 前記決定手段は、各ＣＰＵの負荷状態が均等化されるように、ＣＰＵを決定することを特徴とする請求項３に記載のネットワーク装置。

Images