JP2013513272A - 中央制御装置により制御されるデータパケットを受信し記憶する装置および方法 - Google Patents

中央制御装置により制御されるデータパケットを受信し記憶する装置および方法 Download PDF

Info

Publication number
JP2013513272A
JP2013513272A JP2012541530A JP2012541530A JP2013513272A JP 2013513272 A JP2013513272 A JP 2013513272A JP 2012541530 A JP2012541530 A JP 2012541530A JP 2012541530 A JP2012541530 A JP 2012541530A JP 2013513272 A JP2013513272 A JP 2013513272A
Authority
JP
Japan
Prior art keywords
queue
data
address
processor
queues
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2012541530A
Other languages
English (en)
Other versions
JP5795592B2 (ja
Inventor
コルガー ペーター
Original Assignee
ナパテック アクティーゼルスカブ
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ナパテック アクティーゼルスカブ filed Critical ナパテック アクティーゼルスカブ
Publication of JP2013513272A publication Critical patent/JP2013513272A/ja
Application granted granted Critical
Publication of JP5795592B2 publication Critical patent/JP5795592B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L47/00Traffic control in data switching networks
    • H04L47/50Queue scheduling
    • H04L47/62Queue scheduling characterised by scheduling criteria
    • H04L47/625Queue scheduling characterised by scheduling criteria for service slots or service orders
    • H04L47/6255Queue scheduling characterised by scheduling criteria for service slots or service orders queue load conditions, e.g. longest queue first
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L47/00Traffic control in data switching networks
    • H04L47/10Flow control; Congestion control
    • H04L47/12Avoiding congestion; Recovering from congestion
    • H04L47/125Avoiding congestion; Recovering from congestion by balancing the load, e.g. traffic engineering
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L47/00Traffic control in data switching networks
    • H04L47/50Queue scheduling
    • H04L47/62Queue scheduling characterised by scheduling criteria
    • H04L47/622Queue service order
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L47/00Traffic control in data switching networks
    • H04L47/70Admission control; Resource allocation
    • H04L47/78Architectures of resource allocation
    • H04L47/781Centralised allocation of resources
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L47/00Traffic control in data switching networks
    • H04L47/70Admission control; Resource allocation
    • H04L47/82Miscellaneous aspects
    • H04L47/828Allocation of resources per group of connections, e.g. per group of users
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L49/00Packet switching elements
    • H04L49/90Buffering arrangements
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L49/00Packet switching elements
    • H04L49/90Buffering arrangements
    • H04L49/9047Buffering arrangements including multiple buffers, e.g. buffer pools
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L47/00Traffic control in data switching networks
    • H04L47/50Queue scheduling
    • H04L47/56Queue scheduling implementing delay-aware scheduling
    • H04L47/568Calendar queues or timing rings

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Data Exchanges In Wide-Area Networks (AREA)

Abstract

いくつかの受信部がデータを受信し、複数のプロセッサ/プロセスによりデキューイングされるいくつかのキューにデータを記憶するアセンブリおよび方法である。1つのプロセッサについての選択されたキューの充填レベルが限界を超えたならば、パケットは別のプロセッサのキューに送信され、そのプロセッサはそのキューを、充填レベルが超過したキューが空になるまでデキューイングしないように指示される。こうして、パケット間の順序を維持しながらプロセス/プロセッサ間の負荷分散をすることができる。

Description

本発明は、パラレル受信技術を用いてデータパケットを受信し、中央での記憶アドレスの決定およびデータパケットの記憶を実現するやり方に関する。
第1の態様では、本発明は、データパケットを受信し記憶するための装置と、複数のデキューイングプロセッサまたはプロセスとを備え、装置が記憶部、制御部および複数のデータ受信・記憶要素を備えるアセンブリであって、
記憶部の複数のキューであって、アドレスによりそれぞれが定められる複数の記憶要素をそれぞれのキューが含む複数のキューに、記憶部が複数のデータパケットの少なくとも一部を保持するように構成され、
それぞれのプロセッサまたはプロセスが、キューの第1のグループの1つからデータをデキューイングするように構成され、個々の第1のグループのキューが重なり合わず、複数のプロセッサ/プロセスが、キューからのデータのデキューイングに関して情報を制御部に送信するように構成され、
それぞれのデータ受信・記憶部が、
・ データパケットにアクセスするかまたはデータパケットを受信するための手段と、
・ データパケットの少なくとも一部を記憶するためのアドレスを制御部から受信するための手段と、
・ 記憶部の受信されたアドレスにデータパケットの少なくとも一部が記憶されることを円滑化するための手段と
を備え、
制御部が、
・ キューの充填レベルに関する情報を決定するための手段と、
・ アドレスを、
− 受信された/アクセスされたデータパケットについて、第1のキューのグループのそれぞれからのキューをそれぞれが含む第2のキューのグループであって、第2のキューのグループ同士のキューが重なり合わない第2のキューのグループの1つを決定し、
− 決定された第2のグループの現在選択されている第1のキューの充填レベルが予め定められたレベルを超えるならば、決定された第2のグループの第2のキューを選択し、
− アドレスを、第2のグループの選択されたキューのアドレスとして選択する
ことによって選択するための手段と、
・ 受信された/アクセスされたデータパケットをもつ受信・記憶要素に、選択されたアドレスを送信するための手段と
を備え、
選択された第2のキューに関するプロセス/プロセッサが、予め定められたレベルを超過した選択された第1のキューが空になるまでこの第2のキューを処理しないように構成されているアセンブリに関する。
こういった意味合いで、その装置は、1個の筺体内の1個のハードウェアでもよいし、または、受信/記憶部とは別個の記憶部および/または制御部などの、いくつかの別個の要素により構成してもよい。その別個の要素は、取り外しができるように他の要素と相互に接続可能であるが、データを交換するように相互に接続されたものでもよい。この利点は、異なる要求または要件に適合させるように、受信/記憶要素の個数を変化させるかまたはそれらを取り替えられるということである。この交換は、TCPや、イーサネット(登録商標)、ブルートゥースなどの任意のデータ転送プロトコルのもとで行ってもよく、任意の種類のデータ転送を用いてもよく、有線または無線でもよい。
したがって、受信/記憶部は、それぞれが別個のPCBや、プロセッサ、FPGAなどにより実現されるいくつかの別個のハードウェアとして設けてもよい。あるいは、同じPCB/プロセッサ/FPGAにより多数の受信/記憶部を構成してもよい。制御部は受信/記憶部とは分かれていてもよく、または1つまたは複数の受信/記憶部のうちの一部を構成してもよい。
もちろん、プロセッサや、ソフトウェアにより制御されるかまたは物理的に組み込まれたもの、FPGA、特定用途向け回路、ASICSなどの個々の要素として、受信/記憶部の個々の手段を調達または成形してもよい。あるいは、複数のそうした手段を組み合わせて1個のそうしたプロセッサなどにしてもよい。
データパケットは、ネットワークや、データケーブル、データバス、トランクなどの上で伝送されるかまたはそれらにより搬送される、任意の種類のデータ単位でもよい。通常、データ単位は、UDPやTCPのデータパケットといったいくつかの異なる規格またはデータパケットの種類がその傘下にあるイーサネット(登録商標)規格などの、1つまたは複数のデータ規格に従う。データパケットは、通常、アドレスデータやペイロードなどのいくつかの異なる情報項目または種類をもち、それらはそれぞれ、データパケット内のよく定められたまたは知られた位置に配置されている。そうした位置や種類は、典型的にはデータパケットの種類ごとに異なるが、通常、データパケットの種類、したがってその個々の内容の位置は、実際のデータパケットから決定してもよく、その際は、アドレスデータおよび/またはペイロードなどの個々のデータ項目を、後で導出し、変更し、かつ/または解析に使用してもよい。その種類または規格は、パケットの特定のデータ項目により種類/規格が識別されるときなどにデータパケットから直接導出してもよく、または、データパケットのデータ項目の種類や位置を認識しその後にそうしたデータがそうした(1つまたは複数の)位置で見つかるであろうデータパケットの(1つまたは複数の)種類もしくは規格を決定することに基づくなどして、データパケットから導出されたデータから導出してもよい。
データパケットの任意の部分を記憶してもよい。データパケットを再度出力する必要がなければ、場所を取らないようにするために、例えばその中のアドレス指定情報を削除してもよい。
データパケットは並べ替えてもよく、その場合は、多数のやり方で、いくつかの理由により並べ替える。通常、コンピュータ間のデータ交換はファイル転送や、TCP転送、VoIPなどであり、その際は、個々のパケットの順序が重要である。通常、そうした転送のことをストリームと呼ぶ。
通常、データパケットのストリームは、単一の送信機から1つまたは複数の受信機に伝送されるデータパケットの列である。これらのデータパケットは、例えば、パケットのペイロードである、より小さな部分で伝送される単一のファイルなどに関する。そして、送信機と受信機、または中間の任意のネットワーク要素は、通常、パケット内でも表されるアドレスをもつ。加えて、個々のデータパケットの規格に応じて、データパケット中に他のストリーム識別情報があることもある。
したがって、例えばアドレスおよび/またはストリーム識別情報に基づいてストリームを識別してもよく、それによって、矛盾なく用いられるならば同じ情報を導出してもよく、後続する任意のプロセスでは単にその情報からストリームを識別してもよい。
別の状況では、データパケットの中に、その順序を決定するシーケンス番号またはタイムスタンプなどの情報を与えてもよい。したがって、この情報をパケットの並べ替えに用いてもよい。
記憶部はいくつかのキューを含み、各キューは、アドレスによりそれぞれが定められるいくつかの記憶要素を含む。通常、1つの記憶部は個別にアドレス指定可能な複数の要素をもち、そうした要素のいくつかによりキューを構成してもよい。1つのキューは複数の連続したアドレスを含むことが好ましいが、これは必須要件ではない。
データパケットは、異なるサイズをもってもよく、様々な個数のアドレスを占めてもよい。
もちろん、記憶部は、一体構造の記憶部か、または間隔を空けたいくつかの記憶要素により構成されるものなどの、任意の形態の記憶部でもよい。通常の記憶技術は、ハードドライブや、フロッピー(登録商標)ディスク、RAM、ROM、PROM、EPROM、EEPROM、フラッシュ、メモリカード、CD−ROM、DVD、メモリカードなどに基づいている。
別個の記憶部を設けるならば、アドレスは、実際の記憶部とその中の「ローカルアドレス」の両方の識別情報を記述することになる。
制御部は、任意の種類のプロセッサや、物理的に組み込まれるかもしくはソフトウェアにより制御されるものなどで構成してもよく、または、特定用途向け回路でもよい。制御部の動作は、個々のデータパケットについてのアドレスを決定することである。このやり方では、必要があればデータパケットの順序を取得してもよい。
制御部は、キューの充填レベルを決定することが可能である。こういった意味合いで、充填レベルは、キューにあるいくつかのデータパケットまたはキューによりふさがれるいくつかのアドレス指定可能な要素に関係し得る。この充填レベルは、データ/パケット/アドレスの量/個数またはパーセンテージ(そのときはこの個数/量を最大の個数/量と比較する)により表してもよい。
もちろん、任意の個数の受信/記憶部を用いてもよい。複数の受信/記憶部を用いるときは、パラレルの受信と記憶を行ってもよい。2,3,4,5,6,7,8,10,15,20個などか、またはそれより多い任意の個数の受信/記憶部を用いてもよい。以下でさらに記載するように、これらの受信/記憶部はすべて同一またはほぼ同一のものでよく、または様々な動作をする様々な回路として具体化、すなわち作成してもよい。各受信/記憶部が制御部をもってもよいが、必要なのは1つだけである。別の状況では、ただ1つの受信/記憶部が制御部を備えるが、その受信/記憶部は他の点では残りの受信/記憶部と同一である。
アクセス/受信手段は、実際にデータまたはデータパケットを受信かつ/または記憶してもよい。あるいは、他の位置で、または受信/記憶部がそれを用いて通信する装置で、データパケットを受信または記憶してもよく、それによって、データパケットのデータをリモートで読み取ることによりそのデータにアクセスするとともに、そのデータを他の装置に記憶する。後者の場合は、データパケットにリモートでアクセスするため、通常、処理が遅くなる。
あまり好ましくはないが、受信されたアドレスは、データパケットが記憶される、記憶部内の実際のアドレスでなくてもよい。あるいは、このアドレスを導出することができる情報を受信してもよい。
好ましくは、データパケットの記憶部への記憶はDMAにより行われる。これは、記憶部にデータを記憶する最も速いやり方である。
円滑化手段は、データ接続を介するなどして、データパケットの少なくとも一部を記憶部に直接記憶してもよく、または、別の場所に記憶する場合には、データパケットの記憶を円滑化してもよい。そのとき、アドレスをこの別の場所に転送してもよく、そこでデータパケットの記憶が行われる。
もちろん、受信手段、送信手段および円滑化手段は、この動作を処理し必要に応じてデータを伝達するのに必要なドライバやコネクタなどを備えてもよい。
この意味合いで、プロセッサまたはプロセスは、データのデキューイングと場合によってはその処理を円滑化する、任意の種類の回路またはプログラムでもよい。この処理は、データトラフィックの監視や、データパケットを異なる受信先などに分割することなどの、任意の種類の処理でもよい。また、その処理は、データパケットをアセンブリから出力し、サーバなどの後続するネットワーク要素に送信することでもよい。
個々の第1および第2のグループの(1つまたは複数の)キューは重なり合わず、それによって、任意のキューは1つの第1のグループおよび/または1つの第2のグループだけに属し、1つのプロセス/プロセッサによりデキューイングされる。したがって、プロセス/プロセッサによりデキューイングされるすべてのキューの充填レベルから、そのプロセス/プロセッサがどのくらい込んでいるかという指標を導出することができる。そして、あるプロセス/プロセッサが込みすぎているならば、データパケット/ストリーム/種類を別のプロセス/プロセッサのキューに送信することができる。
また、例えばそれぞれのキューが単一の優先度だけを扱い、異なるキューが異なる優先度を扱うように、第1のグループのキューをサービスの品質の操作に用いてもよい。その優先度は、データパケットまたはタイムスタンプから決定してもよい。
記憶部に記憶されたデータパケットまたはその一部をプロセス/プロセッサがデキューイングすると、それに応じて制御部に通知されて、今低下しているこのキューの正しい充填レベルを制御部が決定することが可能になる。
選択された第2のキューに関するプロセス/プロセッサが、予め定められたレベルを超過した選択された第1のキューが空になるまでこの第2のキューを処理しないように構成される。これは、そのプロセス/プロセッサにプログラムされた特徴でもよく、あるいは、記憶領域、またはプロセス/プロセッサに供給されるかもしくはプロセス/プロセッサが読み取る、プロセス/プロセッサが所与のキューからデキューイングできるかどうかを決定する指示により制御してもよい。
好ましい実施形態では、受信された/アクセスされたデータパケットに関する情報を生成し、生成された情報を制御部に送信するための手段を、それぞれのデータ受信・記憶要素がさらに備え、生成された情報を受信するための手段を制御部がさらに備え、生成され受信された情報にも基づいてアドレスを選択するように選択手段が構成される。
したがって、生成された情報から、アドレスと、必要があればキューを決定することができる。上記のように、データパケットをストリームや種類などに分割してもよい。同じ種類/ストリームなどのデータパケットを、(1つまたは複数の)同じキューに供給することが望ましいであろう。
一般に、生成された情報の少なくとも一部として、データパケットが受信された時点(タイムスタンプ)に関する情報を生成するように生成手段を構成してもよい。本実施形態では、異なる受信/記憶部からのデータパケットのタイムスタンプが比較可能であるように、受信/記憶部がタイミングの単位の同期をとることが好ましい。
この実施形態の利点は、例えばあるストリームのデータパケットが異なる受信/記憶部で受信されたならば、そのパケットおよび生成され制御部に送信された情報からストリームの識別情報を決定でき、受信の順序をタイムスタンプから決定でき、したがってデータパケットを所望のキューに例えば所望の順序で記憶できるということである。
好ましい実施形態では、キューのそれぞれが複数の連続するアドレスとして実現されており、制御手段が、
・ 各キューについて、データを加える次のアドレスまたはデータが加えられた最後のアドレスを識別する書出しポインタと、キューから読み取られる/デキューイングされる次のアドレスまたは読み取られた/デキューイングされた最後のアドレスを識別する読取りポインタとを保持するように構成され、
・ アドレスが選択されたときに、選択されたアドレスが関係するキューの書出しポインタを更新し、プロセッサ/プロセスから送信された情報に基づいて、データがデキューイングされたキューの読取りポインタを更新するための手段を備える。
読取り/書出しポインタを終点ポインタとして用いると、キューの取り扱いが非常に簡単になる。アドレスが連続的なときには、これは特に単純である。ふさがれるアドレスの個数(例えば充填レベルの指標)は、一方のポインタから他方のポインタを引き算することにより簡単に導出することができる。
異なるサイズのデータは異なる量の空き領域を、したがって異なる個数のアドレスを占めることがあるため、書出しポインタを更新するには、記憶されるデータパケットまたはその一部のサイズがわかっていることが必要な場合がある。
読取りポインタの更新は、データがデキューイングされたすべてのアドレスのリストか、または単に最新のまだデータを含むアドレスもしくは最初に解放されたアドレスに基づいて行うことができる。
しかしながら、多数の連続的なアドレスを設けることは、現実のシステムでは問題となるおそれがある。標準の記憶領域システムでは、最大サイズが例えば4MBであるブロックまたはセグメントが割り当てられる。アドレスは、セグメント/ブロック内では連続的であるが、セグメント/ブロックがメモリ内でランダムに割り当てられることもあるため、完全なアドレスでないことがある。
そうした状況では、記憶部のキューのアドレスが、予め定められた個数の物理アドレスのグループに分けられ、そのグループが不連続に配置される。この点で、「不連続に」とは、記憶領域の空間でそのグループは近接して配置されない(連続するアドレスをもたない)ことを意味する。そして、好ましくは、キューを実現するアドレスが、連続するアドレスとして定められた仮想アドレスであり、仮想アドレスと物理アドレスの間の変換を行うための手段を制御部がさらに備える。
したがって、任意の個数の連続的な仮想アドレスを割り当ててもよく、それらはその後、実際の物理アドレスに変換される。
これを得る1つのやり方は、いくつかの割り当て可能なセグメント/ブロックを記憶部が有し、割り当て可能なブロック/セグメントの1つの中のアドレスを各グループの物理アドレスが定め、第1の個数のビットのアドレスで各ブロック/セグメントが特定可能であり、第2の個数のビットを用いてブロック/セグメントの中のすべてのアドレスがアドレス指定可能であり、第1の個数のビットと第2の個数のビットの和に対応するいくつかのビットを物理アドレスが有し、少なくとも第1の個数のビットをもつ第1の部分と、少なくとも第2の個数のビットをもつ第2の部分とを仮想アドレスのそれぞれが含み、仮想アドレスの第1の部分を第1の個数のビットをもつ第3の部分に変換し、割り当てられたブロック/セグメントを識別し、第3の部分と第1の部分をもつアドレスとして物理アドレスを生成するように変換手段が構成されるというものである。
ある状況では、アセンブリは、キューをデキューイングするかどうかをプロセス/プロセッサに指示するための指示手段を備えてもよい。これらの指示手段は記憶部に記憶されたデータを含んでもよく、キューを処理するかどうかをそのデータから決定するようにプロセス/プロセッサが構成され、キューを空にしたときにそのデータを変更するようにプロセッサが構成される。
その状況では、指示手段は好ましくはプロセス/プロセッサとそのデータによって構成され、そのデータに基づいて、プロセッサ/プロセスはどの(1つまたは複数の)キューをデキューイングするかを決定することができる。
あるいは、プロセッサなどの別個の要素により、キューの長さを監視し、データを更新してもよい。
この状況では、データの読取り/デキューイングは、装置により記憶することとは切り離される。どのキューにデータを加えるかを知るために、装置または制御部は記憶手段のデータを読み取ることができるが、プロセス/プロセッサ自体がデータを更新し、許可されたプロセス/プロセッサだけが第2のグループのキューからデータをデキューイングするように作用する。
もちろん、データは他の時点で更新してもよく、または、キューを空にしたのとは別のプロセッサ/プロセスにより更新してもよい。プロセス/プロセッサにはいつキューを空にしたかがわかっており、その後別のプロセス/プロセッサにより次のキューをデキューイングできるようにデータを更新することもできるため、これは最も単純なやり方である。
本実施形態では、任意の第2のグループの中でパケットを処理/デキューイングする際に順序を維持しながら、プロセス/プロセッサ間の負荷分散をしてもよい。
記憶された(少なくとも一部の)データパケットをデキューイングかつ/または解析/処理する場合にこれらの順序が重要なときは特に、一度プロセス/プロセッサがこれらをデキューイング/処理し始めると、そうしたデータパケットを別のプロセス/プロセッサに割り当てることは困難である。本実施形態を用いて、そうしたデータパケットのグループ(通常はストリーム)のそれぞれを、プロセス/プロセッサのうちの別々の手段によりデキューイング/処理された別個のキューをそれぞれがもつ第2のキューのグループに割り当てる。こうして、データパケットが現在記憶されており第1のプロセス/プロセッサによりデキューイングされるキューが長くなりすぎるならば、すなわち第1のプロセス/プロセッサが込みすぎているならば、第2のプロセス/プロセッサによりデキューイングされる別のキューを同じ第2のグループから識別するが、第1のプロセス/プロセッサが関係する第2のグループ内のそのキューからすべてのデータパケットをデキューイングする前に第2のプロセス/プロセッサがデータパケットをデキューイングできないように決める。このやり方では、プロセス/プロセッサの全体でデータパケットのデキューイングの順序が維持される。
本発明の別の態様は、複数のデキューイングプロセッサまたはプロセスと、記憶部、制御部および複数のデータ受信・記憶要素を備える装置とを備えるアセンブリを動作させる方法であって、
記憶部の複数のキューであって、アドレスによりそれぞれが定められる複数の記憶要素をそれぞれのキューが含む複数のキューに、記憶部が複数のデータパケットの少なくとも一部を保持するステップと、
プロセッサまたはプロセスのそれぞれが、キューの第1のグループの1つからデータをデキューイングし、個々の第1のグループのキューが重なり合わず、プロセッサ/プロセスが、キューからのデータのデキューイングに関して情報を制御部に送信するステップと、
それぞれのデータ受信・記憶部が、
・ データパケットにアクセスするかまたはデータパケットを受信するステップと、
・ データパケットの少なくとも一部を記憶するためのアドレスを制御部から受信するステップと、
・ 記憶部の受信されたアドレスにデータパケットの少なくとも一部が記憶されることを円滑化するステップと、
制御部が、
・ キューの充填レベルに関する情報を決定するステップと、
・ アドレスを、
− 受信された/アクセスされたデータパケットについて、第1のキューのグループのそれぞれからのキューをそれぞれが含む第2のキューのグループであって、第2のグループ同士のキューが重なり合わない第2のキューのグループの1つを決定し、
− 決定された第2のグループの現在選択されている第1のキューの充填レベルが予め定められたレベルを超えるならば、決定された第2のグループの第2のキューを選択し、
− アドレスを、第2のグループの選択されたキューのアドレスとして選択する
ことによって選択するステップと、
・ 受信された/アクセスされたデータパケットをもつ受信・記憶要素に、選択されたアドレスを送信するステップと
を含み、
第2のグループの選択された第2のキューに関するプロセス/プロセッサに、予め定められたレベルを超過した第2のグループの選択された第1のキューが空になるまでこの第2のキューを処理しないように指示するステップをさらに含む方法に関する。
上記のように、データパケットにアクセスするステップでは、その装置内でデータパケットを受信することを要求するのではなく、装置がそれを用いて通信するリモートの要素で受信および/または記憶されたときにデータパケットにアクセスしてもよい。
一実施形態では、それぞれのデータ受信・記憶要素がさらに、受信された/アクセスされたデータパケットに関する情報を生成し、生成された情報を制御部に送信し、生成された情報を制御部がさらに受信し、生成され受信された情報にも基づいてアドレスを選択手段が選択する。この情報の生成は、いかなる種類のパケット解析やいかなる種類の情報の導出を用いて行ってもよい。上記のように、通常、ストリームまたは種類/プロトコルへの帰属には関連性がある。
特定の状況では、生成された情報の少なくとも一部として、データパケットが受信された時点に関する情報を生成手段が生成する。したがって、タイムスタンプの記録を行うことが好ましい。このやり方では、受信/記憶部がタイムスタンプを記録する処理を同期させることが好ましい。
キューのそれぞれを複数の連続するアドレスとして実現することができ、制御手段が、
・ 各キューについて、データを加える次のアドレスまたはデータが加えられた最後のアドレスを識別する書出しポインタと、キューから読み取られる/デキューイングされる次のアドレスまたは読み取られた/デキューイングされた最後のアドレスを識別する読取りポインタとを保持し、
・ アドレスが選択されたときに、選択されたアドレスが関係するキューの書出しポインタを更新し、
・ プロセッサ/プロセスから送信された情報に基づいて、データがデキューイングされたキューの読取りポインタを更新する。
上記のように、書出しポインタを更新するには、どのくらいのデータが記憶されているか、またはどのくらいのアドレスがデータパケットによりふさがれているかということが、わかっていることが必要な場合がある。
また、読取りポインタの更新は、データがキューイングされたすべてのアドレスまたは単に1つのアドレスを識別する情報に基づいて行うことができる。
好ましくは、記憶部のキューのアドレスが、予め定められた個数の物理アドレスのグループに分けられ、そのグループが不連続に配置され、キューを実現するアドレスが、連続するアドレスとして定められた仮想アドレスであり、制御部がさらに仮想アドレスと物理アドレスの間の変換を行う。
上記のように、好ましくはキューを処理するかどうかを記憶部に記憶されたデータからプロセス/プロセッサが決定し、キューを空にしたときにプロセッサ/プロセスまたは別の要素がデータを変更することを、指示するステップが含む。
以下では、図面を参照して、本発明の好ましい実施形態について記載する。
本発明による第1の実施形態を示す。 仮想アドレスから物理アドレスへの変換を示す。 図1のアロケータとアダプタの間でのクロックの同期を示す。 時系列でランダムに受信されたパケットを並べ替えるやり方を示す。 データパケット間の順序を維持しながらプロセッサ間で負荷分散することを示す。 アダプタ内の負荷分散を示す。
図1に、それぞれがWWWなどのネットワークに接続され、そこからデータを受信するいくつかのアダプタ12をもつ、データフレームを解析し送信するための装置の実施形態10を示す。
一般に、この種類のシステムは、多数のデータパケットを受信し、その記憶および/または送信を適当なやり方で円滑化するために用いることができる。通常、これらのデータパケットは、本システムによりモニタリングされるデータ接続上を、コンピュータの組またはネットワークの間で伝送される。したがって、通常、データパケットは本システム用のものではなく、本システムに向けた、またはそこからのものでもない。
このデータは、記憶されたときに、1つまたは複数の後続するプロセスまたはプロセッサ(図示せず)により処理してもよい。非常に大量のデータを扱うことを可能にするためには、迅速だが構造化されたデータの検索が実現されるように、構造化して記憶することが望ましい。また、単一のプロセッサで十分でないときは複数のプロセッサを設けて、それにより、プロセッサごとにデータを別々に記憶することが望ましい。
そのプロセッサは、データトラフィックを解析し、データを記憶し、かつ/または、プロセッサでの処理の結果に応じて他のネットワーク要素やコンピュータなどにデータを伝送するために、用いることができる。
代わりに、または付加的に、その後再度データを出力することも望ましく、しかも、または代わりに、それによって、そのように出力することが望ましいやり方または順番でデータを記憶することも望ましいであろう。
通常、データパケットは、データパケットのストリームの部分である。2つのプロセッサまたはコンピュータが対話するときに、データパケットのストリームが交換される。このストリームは、ファイルの転送か、またはVoice over IPなどの音声/映像の交換でもよい。ストリームは同様のデータパケットの列であり、データパケットのストリームへの帰属が決定可能であり、ストリームのすべてのデータパケットが所望の順序で一緒に記憶され、その後で同じプロセスまたはプロセッサにより扱われ、かつ/またはその順序で出力されることが望ましい。
受信されたデータフレームのストリームへの帰属は、フレームを解析することで決定される。この解析について、以下でさらに詳細に記載する。
本実施形態は、フレーム/パッケージを解析し、かつ/またはこれらを記憶するタスクを多数のアダプタ12で分割するセットアップを実現することを意図している。
より詳細には、WWWや任意の適当な種類のトランクまたはネットワークなどのネットワーク14から、アダプタ12はデータフレームを受信する。各アダプタ12は、他のアダプタ12とは無関係に複数のフレームを受信する。
好ましくは、すべての(場合によっては1つを除く)アダプタは同じものであり、それぞれ、ネットワークまたはデータケーブルからデータフレームを受信するように構成された要素であるいわゆるPHY20と、受信されたフレームを例えばコンピュータ上のデータバス上で通常用いられる規格に変換するいわゆるMAC回路22とを備える。
データフレームが受信されると、そのフレームは、回路24でタイムスタンプが与えられ、その後、解析回路26に供給される。解析回路26は、そのフレームが準拠する規格に関するデータ(VLANであるかどうか、かつ/またはMPLSのタグが付されているかどうかなど)や、場合によってはそこからのアドレスデータなどの、データフレームに関するデータを導出する。複数の異なる種類の規格が知られており、それらはそれぞれ、どの種類のデータ(アドレス、カプセル化、ペイロード、誤り訂正など)がフレーム内にあり、どこにそうしたデータがあるかを定める。特定の種類のパケットに応じて、異なる種類のデータを導出してもよい。
回路26は、データフレームのデータパケットストリームへの帰属や、中央記憶領域内のキューなどの、データフレームを識別するデータを出力する。そして、データフレームの長さ、ID/キューの識別情報およびデータフレームのタイムスタンプが、要求回路28内で、中央サーバメモリアロケータ、すなわち制御装置16に伝送され、その制御装置16は、データフレームが記憶される記憶領域18内のアドレスを返す。このアドレスは、やはりデータフレームを受信する転送回路30に返され、その後、その転送回路30は、共通のデータバス32を介して、PCI Express(PCIe)プロトコルを実行するなどして、識別されたアドレスにデータフレームを伝送する。この記憶にはダイレクトメモリアクセスを用いてもよく、そのことは、フレームが所望のアドレスに直接記憶され、さらなる解析が必要ないことを意味する。これはデータ記憶領域にデータを記憶する最も速いやり方であるが、物理アドレスがわかっている必要がある。
もちろん、代わりに、回路28は、タイムスタンプやパケットの長さと一緒に、またはそれらを伴わずに、フレームを識別する(種類やアドレスなどの)他の情報を出力してもよく、それによって、アロケータ自体が、フレームが加えられるキューを決定し、したがってフレームが記憶されるアドレスを導出することになる。
アロケータ16とアダプタ12の間における「帯域外」の通信は、低帯域幅の固定通信か、デイジーチェーンのトポロジーか、またはリング型のトポロジーでもよい。以下でさらに記載するように、この通信は、タイムスタンプ回路24のクロックを同期させるためにも用いられる。この通信に適したプロトコルは、10Gbpsのイーサネット(登録商標)のフロントポート(PHY)の帯域幅につきほぼ1Gbpsの全二重の帯域幅を要する標準の64b/66bコーデックでもよい。
上記の実施形態10では、記憶領域18内の任意の個数のキューにデータフレームを記憶してもよいことに留意されたい。どのキューにデータパケットを送信するかは、フレームのその後の運命に依存してもよい。フレームが1つまたは複数のプロセッサにより解析されるならば、プロセッサごとに1つのキューを設けてもよく、パケットを加える前のキューの長さがどのくらいかに応じてフレームをキューに送信してもよい。キューが長ければ、したがってプロセッサが込んでいれば、キューがより短い、したがってあまり込んでいないプロセッサにパケットを与えてもよい。
ほとんどのデータフレームがストリームに関するならば、同じストリームに関するフレームを異なるプロセッサにより解析するために異なるキューに伝送するのは望ましくないかもしれないことに留意されたい。このやり方では、好ましくは、新たに開始されるストリームからのその後のフレームをすべて、「欠乏状態の」プロセッサに割り当てることにより、プロセッサ間で任意の負荷分散を実行する。この負荷分散と同様に、この代替案について、以下でさらに記載する。
また、フレームが後の時点で記憶領域18から出力されるならば、出力されるフレームを、特定のキューに、フレームが出力される順序で与えてもよい。そうした出力について、以下でさらに記載する。
ある一定のサービスの品質が要求されるならば、任意のキューを、優先度が異なるいくつかのキューに分割して、より優先度の高いフレームがより優先度の低いフレームを追い越し、より迅速に扱われる(処理される、出力される、解析されるなど)ようにしてもよい。
アダプタ12内の負荷分散
図6では、アダプタ12のPHY20や、MAC22、タイムスタンプ割当て24などの一部の要素を、解析器26や、要求元28、転送回路30などの他の要素より高速に動かしてもよいことがわかる。この状況では、要素20〜24から受信しタイムスタンプを記録したデータパケットのフローを多数のパラレルなフローに分割するために、これらのより遅い要素の様々な「具体化」を行うことができる。図6では、単一のPHY20で受信されたデータパケットが、4つのパラレルなフローに分割されている。要素20〜30は直接図示していないが、それらの位置はフロー中に示している。
もちろん、必要があれば、個々のフローの間に負荷分散を実行してもよい。
図6の下側の線は代替案を示し、そこでは、アダプタ12内の単一のフローで取り扱われるデータパケットを、高速のPHY20により受信する。
多数のキューを用いた外部のプロセスまたはプロセッサの負荷分散
記憶領域18のキューからデータを読み取るプロセッサまたはプロセス(図示せず)の負荷分散を、いくつかのやり方で行うことができる。ストリームなどでのデータパケットの順序(受信の順序か、または個々のデータパケット内のデータにより定められる順序)に関連性がないならば、プロセッサごとに単一のキューを設けてもよい。1つのプロセッサキューが一杯になった(これをどのように決定できるかは、以下でさらに記載する)場合は、アロケータ16により、単により多くのデータパケットが(1つまたは複数の)他のキューに伝送されるようにしてもよい。
サービスの品質が要求されるならば、異なる優先度について異なるキューを用いてもよい。
例えばストリームのデータパケットの順序が望み通りに維持された場合については、あるスキームを図5に示しており、そこでは、全体で4つのデータフロー/ストリームを受信する2つのアダプタ12を図示している。
アダプタ12は、記憶領域18に記憶された全体で8つのキュー(no.#0〜#7)にデータパケットを伝送し、それについて、2つのプロセッサ(no.#0,#1)によって、キュー#0〜#3をプロセッサ#0により扱い、キュー#4〜#7をプロセッサ#1により扱うというスキームを用いてデキューイングをする。また、一般に、キュー#0および#4はストリーム#0に用いられ、キュー#1および#5はストリーム#1に用いられ、その他も同様である。
最初に、ストリーム#0のデータパケットがキュー#0に伝送されるが、このキューが次第に一杯になると、アロケータ16は、ストリーム#0からのデータパケットをキュー#4に伝送し始める。しかしながら、プロセッサ#0がキュー#0を空にするまで、プロセッサ#1はそうしたパケットをデキューイングし解析することができない。これを制御するために、ストリームごとに1ビットの4ビットが割り当てられ、その値により、各キューからのパケットをどのプロセッサが扱えるかを決定する。図5では、一番上のビットがストリーム#0へのアクセスを制御しており、その値は「0」なので、これは、プロセッサ#0がこのキューを扱うことができ、したがってキュー#0からのパケットをデキューイングできるということを意味する。
下部の2ビットが「1」であり、プロセッサ#1がストリーム#2および#3を取り扱うことができ、したがってキュー#6および#7からデキューイングできることを示しているとわかる。プロセッサが1つより多くのキューを処理することが可能なときは、ラウンドロビンや、優先度、キューの長さなどの任意の適当なやり方で、次に処理すべきキューを選択してもよい。
その4ビットはプロセッサにより制御され、記憶領域18に記憶される。2つより多くのプロセッサを用いるときは、プロセッサ#1がキューを空にしたら、プロセッサ#1が(1つまたは複数の)対応するビットを変更するか、またはプロセッサ#2が、プロセッサ#1のキューが空であることを認識し、(1つまたは複数の)対応するビットを変更し、次いでその対応するキューのデキューイングを開始するように、プロセッサの順序または順番を決める。制御装置により、同じ順序を用いて、1つのキューが一杯ならばどのキューに次のデータを加えるかを決定する。
そして、キュー内のデータの順序を維持するために、キューを変える場合は、空である新しいキューをアロケータ16が常に選択することになる。
もちろん、2つより多くのプロセッサが単一のキューを取り扱うことができれば、より多くのビットを用いて、フローごとに、どのプロセッサが現在そのフローを処理できるかを示す。
仮想アドレス−物理アドレス
そのセットアップを異なるシステムにより容易に適合させるためには、要求回路28や、転送回路30、アロケータ16だけでなく、記憶領域18内の、またはそれに接続された任意のデキューイング回路構成が仮想アドレス空間で動作することが好ましい。
所与の最大ブロックサイズだけがDMA用に割り当てられるという標準の要件のため、かつそうした割り当てられたブロックが、異なるシステムの、または動作の折に触れて同じ装置のメモリ内の異なるまたはランダムな位置に配置されることがあるという理由で、物理アドレスを用いた直接的な操作は厄介になる。したがって、仮想アドレスが好ましい。
現在、全体の長さが32ビットのアドレス(図2を参照)が2つの部分に分割され、そのうちの一方の部分が、割当て可能な最大サイズのブロック内のすべてのアドレスを指定するように構成されたいくつかのビットをもつ。この例では、最大サイズのブロックまたはセグメントのサイズは4MBであり、アドレスを指定するには22ビットが必要である。仮想アドレスと物理アドレスのこの部分は同じであり、単一のブロック/セグメント内でアドレス指定するのに用いられる。
物理的なブロック/セグメントが記憶領域18内の様々なアドレスに配置されることを避けるために、これらが異なるブロック/セグメントに配置されるかも知れないということにかかわらず、少なくとも各キューについて、仮想アドレスをすべて連続的なアドレスとして定める。したがって、その32ビットは、複数の連続的なアドレスとして解釈されることになる。これは、さらにいくつかの4Mバイトのブロック/セグメントに分割してもよいが、仮想的には連続して配置される。したがって、仮想アドレスは、最初の10ビットの部分が連続的な仮想ブロック/セグメントのうちの1つを示し、最後の22ビットがこのブロック/セグメント内の内部アドレスを指定するものと見ることができる。
物理的な実体の記憶領域18では、セグメント/ブロック内の最後の22ビットのアドレス指定は維持することができるが、仮想アドレスの最初の10ビットの部分は、物理的に割り当てられたブロック/セグメントのうちの1つのアドレス指定または識別情報に単に変換される。
この用途で、仮想アドレスの最初の10ビットを、実際に割り当てられるブロック/セグメントの実際の識別情報(すなわち10ビットのアドレス)に翻訳するために、ルックアップテーブルを設ける。このルックアップテーブル(LUT)は、本実施形態の初期化時に設定してもよい。これを図2に示す。
仮想アドレスを連続したアドレスとして定めるときに、以下で記載する読取り/書出しポインタも仮想アドレス空間内で用いることができる(これによってもやはり、例えばキューの長さの決定がより容易になる)ことに留意されたい。
もちろん、さらに以下でわかるように、プロセス/プロセッサがデータ項目を記憶領域18からデキューイングするならば、そのアドレスとサイズ(または、ふさがれるアドレス指定可能な要素の個数)を、物理アドレスまたは仮想アドレスとしてアロケータ16に戻してもよい。いずれの場合でも、それに応じてアロケータ16は仮想アドレスを決定し、ポインタを更新することができる。
タイミング−アロケータ16とアダプタ12の間におけるクロックの同期
受信されたフレームについてのタイムスタンプを信頼性があり比較可能なものにするためには、アダプタ12とアロケータ16でクロックを同期させることが望ましい。
現在、クロックの位相同期は、当技術分野で通常行われるように、転送されるデータ内に符号化されるが復元可能なクロック信号を、アロケータ16から転送回路30に転送されるデータとともに送信することにより得られる。図3に示すように、このクロック信号を導出し転送回路30と要求回路28の両方で用いるように、アダプタ12は構成される。
位相の同期をとってから、実際のクロック時間は2つのステップで同期がとられる。ステップ1では、アロケータ16にメッセージを伝送する指示をアロケータ16が各アダプタ12に伝送し、次いでアロケータ16は、そのメッセージを受信するときの全体の往復時間を決定する。ステップ2では、アロケータ16は、その時間をアロケータ16のクロック時間に適合させるように、アダプタ12に指示する。
より詳細には、ステップ1は、ローカルのアロケータ伝送時間のログを取りながら、アロケータ16が個々のアダプタ12に指示を伝送することを含む。その指示を受信すると、アダプタ12は直ちにメッセージをアロケータ16に伝送し、アロケータ16は受信時刻のログを取る。その指示とメッセージの内容は重要ではない。さて、アロケータ16は受信時刻から伝送時刻を引き算し、往復時間を導出する。この時間の半分が、アロケータ16と関係するアダプタ12の間におけるデータ伝送の時間遅延とみなされる。もちろん、アロケータ16と様々なアダプタ12の間には、異なる時間遅延がある場合もある。
ステップ2では、決定された時間遅延をアロケータ16の現在のローカル時刻に加えた値をローカルアダプタ時間に設定する指示が、アロケータ16からアダプタ12に伝送される。したがって、アダプタ12がこの指示を受信すると、その間にアロケータ16でのローカル時間が進んだ時刻に、そのローカル時間が設定されることになる。次いで、クロック信号のクロックサイクル内で、アロケータ16とアダプタ12のクロック時間の同期がとられる。位相またはクロックパルスも同期がとられるため、クロックは同期されたままになる。
次いで、この回復されたクロックも、受信されたデータパケットのタイムスタンプの記録に用いられる。したがって、すべてのタイムスタンプは、クロックサイクル内に同期がとられる。
いくつかの指示がアロケータ16とアダプタ12のいずれかとの間で待ち状態になることもあるため、それぞれの指示/要求に識別子が与えられる。現在、その識別子は、クロックと同期してシフトされ、折り返して先頭に戻る0と7の間(3ビット)のタイムスタンプである。したがって、アロケータ16は、指示を送るときにそのタイムスタンプを加え、アダプタ12は、その指示に応答するときに、その応答がどの指示に関するものかをアロケータ16が決定できるように、その応答の中にそのタイムスタンプをコピーすることになる。
もちろん、アロケータ16に対するアダプタ12のこの同期は、任意の個数のアダプタ12について行ってもよい。アダプタ12は、すべてのアダプタ12がアロケータ16と直接通信するスター型の構成か、リング型のトポロジーか、または1列のアダプタ12の端部にアロケータ16がありアダプタ12が1つまたは複数の他のアダプタ12を介してアロケータと通信するデイジーチェーンの構成で、アロケータ16に接続してもよい。
アロケータ16の動作
記憶領域18のそれぞれのキューについて、アロケータ16は、RIFO(Random In First Out)キューと、FIRO(First In Random Out)キューの2つのキューをもつ(図4を参照)。
FIROキューは、すべてのアダプタ12からの、記憶領域18の関係するキューに関する待ち状態の要求を保持する。書出しポインタがFIROキューの次の空いている位置を指し示す。アダプタ12から受信された要求は、この位置で受信され与えられる。
RIFOキューは、記憶領域のキューについてのフレームがいつ出力されるべきかに関する情報を、その順序とともに保持する。RIFOキュー内の各エントリはクロックの時点に関し、読取りポインタがRIFOキューの現在の時点を指し示す。
要求が受信されると、そのタイムスタンプが導出され、RIFOキューの対応する位置または時点に識別子が与えられる。あるアダプタ12からの情報またはそうしたアダプタ12での処理が他のアダプタからの情報/他のアダプタでの処理より時間がかかることがあるという理由で、この位置または時点は、同じ記憶領域のキューについての他のフレームより早い可能性があるということに留意されたい。
図4では、FIROキューの最初のフレームの伝送時刻が次のフレームより後であることがわかる。
RIFOキューの読取りポインタはクロックサイクルごとに1回進み、読取りポインタの新しい位置に識別子が見られるならば、FIROキューの対応する位置がアドレス指定され、伝送指示が関係するアダプタ12に伝送される。次いで、FIROキューの対応するエントリが取り除かれる(または、エンドポインタがこの位置に進む)。
もちろん、FIROキューとRIFOキューを円形のキューとして実装してもよい。
アダプタ12とアロケータ16の間の例えばデータ伝送による任意の時間遅延や、アダプタ12での処理時間を考慮するために、読取りポインタは、同期をとったクロックにより定められる、フレームのタイムスタンプ(それもFIRO内に記憶された要求内で送信される)を与えるのに用いられる実際の時点に対し、遅れた時点に関することが好ましい。この点に関して、RIFOキュー内の正しい位置にエントリが与えられると、関連した要求のタイムスタンプはもはや必要なくなり、テーブル内で場所を取らないようにするために捨てられる。
したがって、読取りポインタの時刻は、3,4,5,6,7,8,9,10などのいくつかの、またはそれより多くのクロックサイクルだけ、実際のクロックより遅れていることがある。そして、例えば時刻120でタイムスタンプが記録されたフレームを、FIROキューに送信し、時刻120でRIFOキューの中に入れてもよく、そこが時刻130でアドレス指定される(読取りポインタがその位置に進む)。
すべての時刻で、記憶領域18内のキューごとに、アロケータ16は、アダプタ12からの次のフレームが記憶される次のアドレスを識別する書出しポインタと、さらなる解析や送信などのためにデキューイングされるこのキューの次に記憶されるフレームのアドレスを識別する読取りポインタとの2つのポインタをもつ。新しいフレームが記憶されるときに、書出しのアドレスが関係する転送回路30に送信され、すなわち、送信されるその物理アドレスに次の仮想アドレスが変換され、次いで転送回路30がフレームの記憶を円滑化する。同時に、アロケータ16が、フレームのサイズに対応する値だけ、関係する書出しポインタを増加させる。
例えばプロセッサがさらに解析するフレームを1つまたは複数のキューが保持している状況では、そうしたキューのフレームの個数またはそのキューの充填レベルにより、このプロセッサがどのくらい込んでいるかが示される。これは、仮想アドレスを用いるときに、キューの書出しポインタと読取りポインタの間におけるアドレスの差により簡単に決定される。
記憶領域18からのフレームのデキューイングを、記憶領域に接続されたものなどの任意の装置またはプロセス/プロセッサにより、円滑化してもよい。記憶領域18からフレームをデキューイングすることにより、この装置/プロセス/プロセッサは、それに対応してこのキューの読取りポインタを変化させる。
一般に、フレームを記憶領域18に加えるとアロケータ16は書出しポインタを変化させ、フレームをデキューイングするとプロセス/プロセッサは読取りポインタを変化させる。もちろん、この情報は交換されることが望ましい。いくつかの方法やスキームがある。
ある状況では、データパケット交換用にDMAバス上の帯域幅を残すために、このデータをあまり頻繁に交換しないことが望ましい。この状況では、アロケータ16によりミラーリングまたは同期が開始される。データパケットが記憶領域18に書かれるたびに、アロケータ16は書出しポインタを更新してもよく、それによって、読取りポインタが更新されないため、アロケータ16には、個々のキュー(のデータフレームの個数または充填レベル)が増加するように見える。
もちろん、更新された書出しポインタを時々交換してもよいが、キューのサイズが予め定められた限界を超えるまでこれらのポインタを更新しないことが好ましい。このとき、アロケータ16は、キューの実際のサイズについての、したがって(1つまたは複数の)プロセス/プロセッサがどのくらい込んでいるかについての更新されたデータを取得するために、記憶領域18または(1つまたは複数の)プロセス/プロセッサからの読取りポインタを更新する。
ある状況では、更新された書出しポインタを(1つまたは複数の)プロセス/プロセッサが同時に受信してもよい。このやり方では、(1つまたは複数の)プロセス/プロセッサは、追加のパケットが記憶され、解析/デキューイングの準備ができたという情報がくる前にすべてのキューを空にした場合は、欠乏状態になり得る。これは、アロケータ16で書出しポインタを更新するときに、プロセス/プロセッサまたは記憶領域18で書出しポインタを更新することにより、避けることができる。そして、プロセス/プロセッサはキュー情報を更新し、データパケットがある限り動作し続ける。
あるいは、アロケータ16と(1つまたは複数の)プロセス/プロセッサがよりよく「通知された」状態を保つために、読取りポインタもより頻繁に更新してもよい。書出し/読取りポインタのこの同期は、バス32が込んでいないときに、または例えば最後の同期から最大遅延が経過したときに、行うことができる。
もちろん、キューまたは記憶領域18は円形でもよく、必要があれば特定の空き領域にキューを割り当ててもよい。
もちろん、1つのアダプタ12が同じストリームに関する多数のデータフレームを続けざまに受信する場合は、その後アロケータ16がRIFOキュー内の関連した位置で与えることになるいくつかの要求を、要求回路28が伝送する。関連するアダプタ12がRIFOキューの各エントリで識別される場合は、同じアダプタ12に関し、したがってこのアダプタ12だけに戻るRIFO内の多数の近接したエントリを、アロケータ16が識別してもよく、転送回路30が、この単純な要求に基づいて、キュー(アドレスデータ)だけでなく送信されるパケットの個数も識別する。
アダプタ12を介した記憶領域18からのデータの伝送
もちろん、記憶領域18内の1つまたは複数のキューに記憶されたデータパケットをデキューイングし、バス32を介して伝送し、アダプタ12を介して出力してもよい。記憶領域18に記憶されるデータパケットを記憶する場合と同様に、これはDMAを介して行ってもよく、それによって、例えば記憶領域18のプロセッサから介入されることなく、アダプタ12は記憶領域18内のデータパケットを直接読み取る。
パケットをデキューイングするスキームは、記憶領域18へのパケットの記憶について上述したものと同様である。
記憶領域18内のいくつかのキューからのデータパケットを、同じアダプタ12を介して出力してもよい。これらは、ラウンドロビンや、優先度、または任意の他の優先順位付けなどの任意の所望のスキームを用いて決めてもよい。アダプタ12では、異なるフローや、キュー、優先度などについて任意の個数のTxポートかまたはFIFOを設けてもよく、これらからのパケットを、単一のPHYかまたは様々なPHYを介して出力してもよい。
ある状況では、記憶領域18にデータを記憶するときと同様に、キューの読取り/書出しポインタが記憶領域18に記憶される。同じやり方で、アダプタ12は、読取り/書出しポインタをミラーリングし、データがあるように見える限りキューからデータをデキューイングし続けてもよい。ミラーリングは、上記のように、キューが詰まりすぎているかまたは空きすぎているように見えるときなどに、既定の最大時間間隔で行ってもよい。
プロセス/プロセッサは、読取りポインタと書出しポインタを常時監視してもよく、上記のように、アダプタ12が込みすぎているので(1つまたは複数の)関係するキューについてのデータパケットを別のキューと別のアダプタ12に送信すべきかどうかということを決定してもよい。
別の状況では、プロセッサまたはプロセスは、アダプタ12を介してどのデータパケットまたはアドレスを出力すべきかを定めてもよく、そうしたアドレスの指示をアダプタ12に送信してもよい。
1つのやり方は、プロセスまたはプロセッサが、プロセス/プロセッサにより更新された読取り/書出しポインタの特定の組を用いて、アダプタによりデキューイングされる特定のキューにそうしたパケットをコピーし、それをアダプタ12にミラーリングすることである。
別のやり方は、データパケットをコピーしないことに着目する。この状況では、データパケットが元のキューに維持されるが、データパケットのデキューイング用に別の組の読取り/書出しポインタを設けてもよい。実際、キューの元の読取り/書出しポインタが維持されるならば、もう1つのポインタが必要になる。その追加のポインタは、解析中にプロセス/プロセッサがキューの中のどこに来たかということを、したがって、読取りポインタと書出しポインタの間のアドレスのうちのどれをデキューイングしてよいかということを示す。この追加のポインタは、プロセッサ/プロセスにより維持され、アダプタに送信されるかまたは例えばDMAを用いてアダプタにより読み取られ、いつアドレスがデキューイングされたかを関係するアダプタがプロセッサ/プロセスまたは制御回路16に通知する。

Claims (12)

  1. データパケットを受信し記憶するための装置と、複数のデキューイングプロセッサまたはプロセスとを備え、前記装置が記憶部、制御部および複数のデータ受信・記憶要素を備えるアセンブリであって、
    前記記憶部の複数のキューであって、アドレスによりそれぞれが定められる複数の記憶要素をそれぞれのキューが含む複数のキューに、前記記憶部が複数のデータパケットの少なくとも一部を保持するように構成され、
    それぞれのプロセッサまたはプロセスが、前記キューの第1のグループの1つからデータをデキューイングするように構成され、個々の前記第1のグループの前記キューが重なり合わず、複数の前記プロセッサ/プロセスが、キューからのデータのデキューイングに関して情報を前記制御部に送信するように構成され、
    それぞれのデータ受信・記憶部が、
    ・ データパケットにアクセスするかまたはデータパケットを受信するための手段と、
    ・ 前記データパケットの少なくとも一部を記憶するためのアドレスを前記制御部から受信するための手段と、
    ・ 前記記憶部の受信された前記アドレスに前記データパケットの前記少なくとも一部が記憶されることを円滑化するための手段と
    を備え、
    前記制御部が、
    ・ 前記キューの充填レベルに関する情報を決定するための手段と、
    ・ アドレスを、
    − 受信された/アクセスされたデータパケットについて、第1のキューのグループのそれぞれからのキューをそれぞれが含む第2のキューのグループであって、前記第2のキューのグループ同士の前記キューが重なり合わない第2のキューのグループの1つを決定し、
    − 決定された前記第2のグループの現在選択されている第1のキューの前記充填レベルが予め定められたレベルを超えるならば、決定された前記第2のグループの第2のキューを選択し、
    − 前記アドレスを、前記第2のグループの前記選択されたキューのアドレスとして選択する
    ことによって選択するための手段と、
    ・ 受信された/アクセスされた前記データパケットをもつ前記受信・記憶要素に、選択された前記アドレスを送信するための手段と
    を備え、
    前記選択された第2のキューに関する前記プロセス/プロセッサが、前記予め定められたレベルを超過した前記選択された第1のキューが空になるまでこの第2のキューを処理しないように構成されているアセンブリ。
  2. 受信された/アクセスされた前記データパケットに関する情報を生成し、生成された前記情報を前記制御部に送信するための手段を、それぞれのデータ受信・記憶要素がさらに備え、
    生成された情報を受信するための手段を前記制御部がさらに備え、生成され受信された前記情報にも基づいて前記アドレスを選択するように前記選択手段が構成されている、請求項1に記載のアセンブリ。
  3. 生成された前記情報の少なくとも一部として、前記データパケットが受信された時点に関する情報を生成するように前記生成手段が構成されている、請求項2に記載のアセンブリ。
  4. 前記キューのそれぞれが複数の連続するアドレスとして実現されており、前記制御手段が、
    ・ 各キューについて、データを加える次のアドレスを識別する書出しポインタと、前記キューから読み取られる/デキューイングされる次のアドレスを識別する読取りポインタとを保持するように構成され、
    ・ アドレスが選択されたときに、選択された前記アドレスが関係する前記キューの前記書出しポインタを更新し、前記プロセッサ/プロセスから送信された情報に基づいて、データがデキューイングされた前記キューの前記読取りポインタを更新するための手段を備える、請求項1に記載のアセンブリ。
  5. 前記記憶部の前記キューの前記アドレスが、予め定められた個数の物理アドレスのグループに分けられ、前記グループが不連続に配置され、前記キューを実現する前記アドレスが、連続するアドレスとして定められた仮想アドレスであり、仮想アドレスと物理アドレスの間の変換を行うための手段を前記制御部がさらに備える、請求項4に記載のアセンブリ。
  6. 前記記憶部に記憶されたデータを前記指示手段が含み、キューを処理するかどうかを前記データから決定するように前記プロセス/プロセッサが構成され、キューを空にしたときに前記データを変更するように前記プロセッサが構成されている、請求項1に記載のアセンブリ。
  7. 複数のデキューイングプロセッサまたはプロセスと、記憶部、制御部および複数のデータ受信・記憶要素を備える装置とを備えるアセンブリを動作させる方法であって、
    前記記憶部の複数のキューであって、アドレスによりそれぞれが定められる複数の記憶要素をそれぞれのキューが含む複数のキューに、前記記憶部が複数のデータパケットの少なくとも一部を保持するステップと、
    前記プロセッサまたはプロセスのそれぞれが、前記キューの第1のグループの1つからデータをデキューイングし、個々の前記第1のグループの前記キューが重なり合わず、前記プロセッサ/プロセスが、キューからのデータのデキューイングに関して情報を前記制御部に送信するステップと、
    それぞれのデータ受信・記憶部が、
    ・ データパケットにアクセスするかまたはデータパケットを受信するステップと、
    ・ 前記データパケットの少なくとも一部を記憶するためのアドレスを前記制御部から受信するステップと、
    ・ 前記記憶部の受信された前記アドレスに前記データパケットの前記少なくとも一部が記憶されることを円滑化するステップと、
    前記制御部が、
    ・ 前記キューの充填レベルに関する情報を決定するステップと、
    ・ アドレスを、
    − 受信された/アクセスされたデータパケットについて、第1のキューのグループのそれぞれからのキューをそれぞれが含む第2のキューのグループであって、前記第2のグループ同士の前記キューが重なり合わない第2のキューのグループの1つを決定し、
    − 決定された前記第2のグループの現在選択されている第1のキューの前記充填レベルが予め定められたレベルを超えるならば、決定された前記第2のグループの第2のキューを選択し、
    − 前記アドレスを、前記第2のグループの前記選択されたキューのアドレスとして選択する
    ことによって選択するステップと、
    ・ 受信された/アクセスされた前記データパケットをもつ前記受信・記憶要素に、選択された前記アドレスを送信するステップと
    を含み、
    前記第2のグループの前記選択された第2のキューに関する前記プロセス/プロセッサに、前記予め定められたレベルを超過した前記第2のグループの前記選択された第1のキューが空になるまでこの第2のキューを処理しないように指示するステップをさらに含む方法。
  8. それぞれのデータ受信・記憶要素がさらに、受信された/アクセスされた前記データパケットに関する情報を生成し、生成された前記情報を前記制御部に送信し、
    生成された情報を前記制御部がさらに受信し、生成され受信された前記情報にも基づいて前記アドレスを前記選択手段が選択する、請求項7に記載の方法。
  9. 生成された前記情報の少なくとも一部として、前記データパケットが受信された時点に関する情報を前記生成手段が生成する、請求項8に記載の方法。
  10. 前記キューのそれぞれが複数の連続するアドレスとして実現されており、前記制御手段が、
    ・ 各キューについて、データを加える次のアドレスを識別する書出しポインタと、前記キューから読み取られる/デキューイングされる次のアドレスを識別する読取りポインタとを保持し、
    ・ アドレスが選択されたときに、選択された前記アドレスが関係する前記キューの前記書出しポインタを更新し、
    ・ 前記プロセッサ/プロセスから送信された情報に基づいて、データがデキューイングされた前記キューの前記読取りポインタを更新する、請求項9に記載の方法。
  11. 前記記憶部の前記キューの前記アドレスが、予め定められた個数の物理アドレスのグループに分けられ、前記グループが不連続に配置され、前記キューを実現する前記アドレスが、連続するアドレスとして定められた仮想アドレスであり、前記制御部がさらに仮想アドレスと物理アドレスの間の変換を行う、請求項10に記載の方法。
  12. キューを処理するかどうかを前記記憶部に記憶されたデータから前記プロセス/プロセッサが決定し、キューを空にしたときに前記プロセッサ/プロセスが前記データを変更することを、前記指示するステップが含む、請求項11に記載の方法。
JP2012541530A 2009-12-04 2010-12-06 中央制御装置により制御されるデータパケットを受信し記憶する装置および方法 Active JP5795592B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US26678809P 2009-12-04 2009-12-04
US61/266,788 2009-12-04
PCT/EP2010/068964 WO2011067408A1 (en) 2009-12-04 2010-12-06 An apparatus and a method of receiving and storing data packets controlled by a central controller

Publications (2)

Publication Number Publication Date
JP2013513272A true JP2013513272A (ja) 2013-04-18
JP5795592B2 JP5795592B2 (ja) 2015-10-14

Family

ID=43639962

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2012541530A Active JP5795592B2 (ja) 2009-12-04 2010-12-06 中央制御装置により制御されるデータパケットを受信し記憶する装置および方法

Country Status (8)

Country Link
US (1) US8934341B2 (ja)
EP (1) EP2507951B1 (ja)
JP (1) JP5795592B2 (ja)
KR (1) KR101720259B1 (ja)
CN (1) CN102754395B (ja)
BR (1) BR112012013383A2 (ja)
DK (1) DK2507951T5 (ja)
WO (1) WO2011067408A1 (ja)

Families Citing this family (25)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101720259B1 (ko) * 2009-12-04 2017-04-10 나파테크 에이/에스 중앙 제어기에 의해 제어되는 데이터 패킷들을 수신 및 저장하는 장치 및 방법
JP5816301B2 (ja) * 2011-01-28 2015-11-18 ナパテック アクティーゼルスカブ データパケットを受信及び転送する装置及び方法
US10102577B2 (en) * 2013-09-09 2018-10-16 Nex Services North America Llc Method and apparatus for order entry in an electronic trading system
US9397946B1 (en) 2013-11-05 2016-07-19 Cisco Technology, Inc. Forwarding to clusters of service nodes
US9655232B2 (en) 2013-11-05 2017-05-16 Cisco Technology, Inc. Spanning tree protocol (STP) optimization techniques
US9825857B2 (en) 2013-11-05 2017-11-21 Cisco Technology, Inc. Method for increasing Layer-3 longest prefix match scale
US9686180B2 (en) 2013-11-05 2017-06-20 Cisco Technology, Inc. Managing routing information for tunnel endpoints in overlay networks
US9674086B2 (en) * 2013-11-05 2017-06-06 Cisco Technology, Inc. Work conserving schedular based on ranking
US10951522B2 (en) 2013-11-05 2021-03-16 Cisco Technology, Inc. IP-based forwarding of bridged and routed IP packets and unicast ARP
US9769078B2 (en) 2013-11-05 2017-09-19 Cisco Technology, Inc. Dynamic flowlet prioritization
US9374294B1 (en) 2013-11-05 2016-06-21 Cisco Technology, Inc. On-demand learning in overlay networks
US9502111B2 (en) 2013-11-05 2016-11-22 Cisco Technology, Inc. Weighted equal cost multipath routing
US10778584B2 (en) 2013-11-05 2020-09-15 Cisco Technology, Inc. System and method for multi-path load balancing in network fabrics
US9509092B2 (en) 2013-11-06 2016-11-29 Cisco Technology, Inc. System and apparatus for network device heat management
US10116493B2 (en) 2014-11-21 2018-10-30 Cisco Technology, Inc. Recovering from virtual port channel peer failure
US10142163B2 (en) 2016-03-07 2018-11-27 Cisco Technology, Inc BFD over VxLAN on vPC uplinks
US10333828B2 (en) 2016-05-31 2019-06-25 Cisco Technology, Inc. Bidirectional multicasting over virtual port channel
US11509501B2 (en) 2016-07-20 2022-11-22 Cisco Technology, Inc. Automatic port verification and policy application for rogue devices
US10193750B2 (en) 2016-09-07 2019-01-29 Cisco Technology, Inc. Managing virtual port channel switch peers from software-defined network controller
CN108108148B (zh) * 2016-11-24 2021-11-16 舒尔电子(苏州)有限公司 一种数据处理方法和装置
US10547509B2 (en) 2017-06-19 2020-01-28 Cisco Technology, Inc. Validation of a virtual port channel (VPC) endpoint in the network fabric
CN108259369B (zh) * 2018-01-26 2022-04-05 迈普通信技术股份有限公司 一种数据报文的转发方法及装置
US20220043588A1 (en) * 2020-08-06 2022-02-10 Micron Technology, Inc. Localized memory traffic control for high-speed memory devices
US11748253B1 (en) * 2021-09-30 2023-09-05 Amazon Technologies, Inc. Address generation for page collision prevention in memory regions
US11789859B1 (en) 2021-09-30 2023-10-17 Amazon Technologies, Inc. Address generation for page collision prevention

Family Cites Families (36)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4025903A (en) 1973-09-10 1977-05-24 Computer Automation, Inc. Automatic modular memory address allocation system
FR2443735A1 (fr) 1978-12-06 1980-07-04 Cii Honeywell Bull Dispositif de controle automatique de la capacite memoire mise en oeuvre dans les systemes de traitements de l'information
US6141323A (en) 1996-06-03 2000-10-31 Whittaker Corporation Closed loop congestion control using a queue measurement system
US6430191B1 (en) 1997-06-30 2002-08-06 Cisco Technology, Inc. Multi-stage queuing discipline
JP3666258B2 (ja) 1997-08-28 2005-06-29 セイコーエプソン株式会社 プリンタ
US6735679B1 (en) 1998-07-08 2004-05-11 Broadcom Corporation Apparatus and method for optimizing access to memory
US6671747B1 (en) 2000-08-03 2003-12-30 Apple Computer, Inc. System, apparatus, method, and computer program for execution-order preserving uncached write combine operation
US6990598B2 (en) * 2001-03-21 2006-01-24 Gallitzin Allegheny Llc Low power reconfigurable systems and methods
US6594234B1 (en) 2001-05-31 2003-07-15 Fujitsu Network Communications, Inc. System and method for scheduling traffic for different classes of service
US7787370B1 (en) 2001-09-06 2010-08-31 Nortel Networks Limited Technique for adaptively load balancing connections in multi-link trunks
US20030056073A1 (en) 2001-09-18 2003-03-20 Terachip, Inc. Queue management method and system for a shared memory switch
US6967951B2 (en) * 2002-01-11 2005-11-22 Internet Machines Corp. System for reordering sequenced based packets in a switching network
CN1620782A (zh) 2002-02-22 2005-05-25 连宇通信有限公司 一种在无线分组数据通信中的优先级控制方法
US7463585B2 (en) 2002-05-16 2008-12-09 Broadcom Corporation System, method, and apparatus for load-balancing to a plurality of ports
US7289442B1 (en) 2002-07-03 2007-10-30 Netlogic Microsystems, Inc Method and apparatus for terminating selected traffic flows
EP1654819B1 (en) * 2003-08-15 2013-05-15 Napatech A/S A data merge unit, a method of producing an interleaved data stream, a network analyser and a method of analysing a network
US7680139B1 (en) 2004-03-25 2010-03-16 Verizon Patent And Licensing Inc. Systems and methods for queue management in packet-switched networks
US7359383B2 (en) 2004-03-29 2008-04-15 Hewlett-Packard Development Company, L.P. Load balancing with mesh tagging
US7941585B2 (en) * 2004-09-10 2011-05-10 Cavium Networks, Inc. Local scratchpad and data caching system
US20060123423A1 (en) * 2004-12-07 2006-06-08 International Business Machines Corporation Borrowing threads as a form of load balancing in a multiprocessor data processing system
JP2006189937A (ja) 2004-12-28 2006-07-20 Toshiba Corp 受信装置、送受信装置、受信方法及び送受信方法
US7623455B2 (en) 2005-04-02 2009-11-24 Cisco Technology, Inc. Method and apparatus for dynamic load balancing over a network link bundle
CN100596159C (zh) * 2005-12-01 2010-03-24 大唐软件技术有限责任公司 多进程消息处理方法以及多进程话单处理的方法
EP1804159B1 (en) 2005-12-30 2009-12-09 STMicroelectronics Belgium N.V. Serial in random out memory
JP4878185B2 (ja) 2006-03-17 2012-02-15 株式会社リコー データ通信回路および調停方法
US20080120480A1 (en) 2006-11-22 2008-05-22 International Business Machines Corporation Method and System For Preserving Critical Storage Contents Across A System Restart
CN100558080C (zh) * 2006-12-12 2009-11-04 华为技术有限公司 集群消息传送方法及分布式集群系统
KR100887417B1 (ko) 2007-04-11 2009-03-06 삼성전자주식회사 멀티 프로세서 시스템에서 불휘발성 메모리의 공유적사용을 제공하기 위한 멀티패쓰 억세스블 반도체 메모리장치
JP2008287600A (ja) 2007-05-18 2008-11-27 Seiko Epson Corp ホスト装置、情報処理装置、電子機器、プログラム及びリード制御方法
US8799620B2 (en) 2007-06-01 2014-08-05 Intel Corporation Linear to physical address translation with support for page attributes
US8078928B2 (en) 2007-10-12 2011-12-13 Oracle America, Inc. System and method for verifying the transmit path of an input/output component
JP5152201B2 (ja) 2008-01-21 2013-02-27 富士通株式会社 パケット処理装置およびパケット処理プログラム
JP5049834B2 (ja) * 2008-03-26 2012-10-17 株式会社東芝 データ受信装置、データ受信方法およびデータ処理プログラム
US8356125B1 (en) * 2008-05-15 2013-01-15 Xilinx, Inc. Method and apparatus for providing a channelized buffer
WO2010076649A2 (en) 2008-12-31 2010-07-08 Transwitch India Pvt. Ltd. Packet processing system on chip device
KR101720259B1 (ko) * 2009-12-04 2017-04-10 나파테크 에이/에스 중앙 제어기에 의해 제어되는 데이터 패킷들을 수신 및 저장하는 장치 및 방법

Also Published As

Publication number Publication date
US8934341B2 (en) 2015-01-13
KR101720259B1 (ko) 2017-04-10
DK2507951T5 (da) 2013-12-02
KR20120102732A (ko) 2012-09-18
EP2507951A1 (en) 2012-10-10
CN102754395B (zh) 2015-03-04
US20120300787A1 (en) 2012-11-29
DK2507951T3 (da) 2013-11-25
EP2507951B1 (en) 2013-08-14
JP5795592B2 (ja) 2015-10-14
WO2011067408A1 (en) 2011-06-09
CN102754395A (zh) 2012-10-24
BR112012013383A2 (pt) 2016-03-01

Similar Documents

Publication Publication Date Title
JP5795592B2 (ja) 中央制御装置により制御されるデータパケットを受信し記憶する装置および方法
JP5749732B2 (ja) キューの充填レベルの更新を制御することにより帯域幅を節約しながらデータを受信し記憶するアセンブリおよび方法
JP5711257B2 (ja) タイムスタンプの記録と中央制御装置を用いた多数のアダプタによるデータフレームの分散処理
EP2668753B1 (en) An apparatus and a method for receiving and forwarding data packets
JP5640234B2 (ja) マネージド・ネットワークでのレイヤ2のパケット集約及び断片化
US20060072578A1 (en) Reordering packets
US20120155256A1 (en) Mapped fifo buffering
US9450851B2 (en) Communication apparatus and method
WO2012163395A1 (en) An apparatus and a method of parallel receipt, forwarding and time stamping data packets using synchronized clocks
US9401879B1 (en) Systems and methods for sending and receiving information via a network device
WO2019095942A1 (zh) 一种数据传输方法及通信设备
WO2011067404A1 (en) An apparatus and a method of parallel receipt, forwarding and time stamping data packets using synchronized clocks

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20131122

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20141125

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20150107

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20150310

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20150511

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20150714

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20150813

R150 Certificate of patent or registration of utility model

Ref document number: 5795592

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250