JP2013030944A - Packet capture processing method and device - Google Patents

Packet capture processing method and device Download PDF

Info

Publication number
JP2013030944A
JP2013030944A JP2011164935A JP2011164935A JP2013030944A JP 2013030944 A JP2013030944 A JP 2013030944A JP 2011164935 A JP2011164935 A JP 2011164935A JP 2011164935 A JP2011164935 A JP 2011164935A JP 2013030944 A JP2013030944 A JP 2013030944A
Authority
JP
Japan
Prior art keywords
processing
packet
packet data
received
session
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2011164935A
Other languages
Japanese (ja)
Other versions
JP5742549B2 (en
Inventor
Yasuo Take
靖男 武
Kazuo Mizuta
一生 水田
Tomohiro Murayama
朋寛 村山
Original Assignee
Fujitsu Ltd
富士通株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujitsu Ltd, 富士通株式会社 filed Critical Fujitsu Ltd
Priority to JP2011164935A priority Critical patent/JP5742549B2/en
Publication of JP2013030944A publication Critical patent/JP2013030944A/en
Application granted granted Critical
Publication of JP5742549B2 publication Critical patent/JP5742549B2/en
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Abstract

PROBLEM TO BE SOLVED: To provide a packet capture processing method and device which enables all of the packet data flowing in a network to be collected and analyzed even during high load time, making it possible to obtain strict measurement results.SOLUTION: When packet capture processing load in a first processing device 10 increases, the first processing device 10 discriminates sessions of packet data which are received thereafter and transfers each packet data in units of sessions to a second processing device 20 for other processing by proxy, in which way the packet data are analyzed in a distributed manner. The first and the second processing devices 10 and 20 transfer the respective packet data analysis results to a third processing device 30, and the third processing device 30 totalizes the analysis results, performs statistical processing, and measures network quality, etc. The measurement results are referenced by a management supervise terminal 40, which accesses the third processing device 30 to retrieve the data.

Description

本発明は、パケットキャプチャ処理方法及び装置に関する。ネットワークに流れる様々なパケットデータに対して、何らかの要因により、ネットワークに流入するパケットデータが増え、ネットワークの許容量を超えて過負荷状態となった場合、パケットデータは、中継ルータで待ち行列に溜め込まれ、処理待ちとなる。   The present invention relates to a packet capture processing method and apparatus. If the packet data that flows into the network increases due to some reason for the various packet data that flows through the network and exceeds the allowable amount of the network, the packet data is queued at the relay router. Waiting for processing.
しかし、中継ルータの待ち行列の容量には限りがあり、待ち行列にパケットを溜め込むことができない場合は、パケットデータの転送待ちによる遅延や廃棄等が発生する。この状況が輻輳である。本発明は、このような状況が発生するネットワークの平常時又は輻輳時の品質を調査し、分析を行うために、ネットワークに流れるパケットデータを採取して、ネットワークの品質の測定を行うためのパケットキャプチャ処理方法及び装置に関する。   However, the capacity of the queue of the relay router is limited, and when packets cannot be stored in the queue, delay or discard due to packet data transfer waiting occurs. This situation is congestion. In the present invention, in order to investigate and analyze the quality of a network in which such a situation occurs in normal or congested state, a packet for collecting packet data flowing in the network and measuring the quality of the network is collected. The present invention relates to a capture processing method and apparatus.
ネットワークの品質を測定するパケットキャプチャ処理装置において、図5の(a)に示すように、ネットワークのパケットデータ量(トラヒック量)がパケットキャプチャ処理装置の処理能力を超えて流入する場合がある。処理能力を超えて流入されたパケットデータに対しては、計測漏れとなり、パケットキャプチャ処理装置は、パケット廃棄が発生したとして処理するため、パケット廃棄率を過大に計測してしまう傾向があった。   In the packet capture processing device that measures the quality of the network, as shown in FIG. 5A, the packet data amount (traffic amount) of the network may flow in excess of the processing capability of the packet capture processing device. For packet data that has flowed in beyond the processing capacity, the measurement is missed, and the packet capture processing device processes the packet discard as it occurs, so there is a tendency to excessively measure the packet discard rate.
上述の問題を防ぐため、パケットキャプチャ処理装置で、例えば、図5の(b)に示すように、処理能力の範囲内でサンプリング測定を行い、該サンプリング測定の結果を基に統計処理を行って品質計測を実施するなどの手法が用いられていた。   In order to prevent the above problems, the packet capture processing device performs sampling measurement within the range of processing capability, for example, as shown in FIG. 5B, and performs statistical processing based on the result of the sampling measurement. Techniques such as performing quality measurements were used.
なお、関連する技術として、下記特許文献1乃至3の技術がある。   In addition, there exists a technique of the following patent documents 1 thru | or 3 as a related technique.
特開2003−204358号公報JP 2003-204358 A 特開2001−103090号公報JP 2001-103090 A 特開2010−34721号公報JP 2010-34721 A
上述のように、従来の処理装置では、図5の(a)に示すように、処理能力を超えた際には、その間のパケットを計測対象とせず、計測漏れとする手法、又は図5の(b)に示すように、高負荷時にはサンプリング測定を行うなどの手法が用いられていた。或いは、高負荷時には、分析項目を絞る、特定の情報のみを収集する、特定のパケットのみを収集する等の手法等が提案されていた。   As described above, in the conventional processing apparatus, as shown in FIG. 5 (a), when the processing capacity is exceeded, the packet between them is not measured and the measurement is omitted, or FIG. As shown in (b), a method of performing sampling measurement at the time of high load has been used. Alternatively, methods such as narrowing down analysis items, collecting only specific information, and collecting only specific packets at the time of high load have been proposed.
しかし、これらの手法では、ネットワークに流れるパケットデータを全て採取するものではなく、一部のパケットデータを省略して分析しているため、ネットワークに流れるパケットデータを厳密に分析することができず、正確な測定結果を得ることができないものであった。本発明は、高負荷時においても、ネットワークに流れるパケットデータを全て採取して分析することを可能にし、厳密な測定結果を得ることができるパケットキャプチャ処理方法及び装置を提供する。   However, these methods do not collect all the packet data that flows through the network, but omit some packet data to analyze, so it is not possible to strictly analyze the packet data that flows through the network. Accurate measurement results could not be obtained. The present invention provides a packet capture processing method and apparatus that can collect and analyze all packet data flowing in a network even under high load and can obtain a precise measurement result.
上記課題を解決するパケットキャプチャ処理方法は、自装置の処理能力が予め定めた閾値を超えるパケットデータが受信されたか否かを判定するステップと、自装置の処理能力が予め定めた閾値を超えるパケットデータが受信されたとき、受信パケットデータが、既に自装置で処理しているセッションの後続のパケットデータか否かを判定し、自装置で処理しているセッションの後続のパケットデータである場合、該受信パケットデータを自装置で処理し、自装置で処理しているセッションのパケットデータでない場合、該受信パケットデータを、セッション対応に、他のパケットキャプチャ処理装置へ転送するステップと、を含むものである。   A packet capture processing method that solves the above problem includes a step of determining whether or not packet data whose processing capability exceeds a predetermined threshold is received, and a packet whose processing capability exceeds a predetermined threshold. When the data is received, it is determined whether the received packet data is the subsequent packet data of the session already processed by the own device, and if the received packet data is the subsequent packet data of the session processed by the own device, Processing the received packet data by its own device, and transferring the received packet data to another packet capture processing device corresponding to the session when the received packet data is not the packet data of the session being processed by the own device. .
また、上記課題を解決するパケットキャプチャ処理装置は、自装置の処理能力が予め定めた閾値を超えるパケットデータが受信されたか否かを判定する流量監視手段と、自装置の処理能力が予め定めた閾値を超えるパケットデータが受信されたとき、受信パケットデータが、既に自装置で処理しているセッションの後続のパケットデータか否かを判定し、自装置で処理しているセッションの後続のパケットデータである場合、該受信パケットデータを自装置で処理し、自装置で処理しているセッションのパケットデータでない場合、該受信パケットデータを、セッション対応に、他のパケットキャプチャ処理装置へ転送するセッション分散手段と、を備えたものである。   In addition, the packet capture processing device that solves the above-mentioned problem has a flow rate monitoring unit that determines whether or not packet data whose processing capability exceeds a predetermined threshold is received, and the processing capability of the own device is predetermined. When packet data exceeding the threshold is received, it is determined whether the received packet data is subsequent packet data of the session already processed by the own device, and subsequent packet data of the session processed by the own device. If this is the case, the received packet data is processed by the own device, and if it is not the packet data of the session being processed by the own device, the received packet data is transferred to another packet capture processing device corresponding to the session. Means.
ネットワークに流れるパケットデータに対して、高負荷時においても、サンプリング計測を行うことなく、他の処理装置と分散処理を行って、全てのパケットデータを採取して分析することが可能となり、厳密な測定結果を得ることが可能となる。   It is possible to collect and analyze all packet data by performing distributed processing with other processing devices without performing sampling measurement for packet data flowing through the network even under high load. Measurement results can be obtained.
開示のパケットキャプチャ処理装置の分散処理の実施例を示す図である。It is a figure which shows the Example of the distributed process of the disclosed packet capture processing apparatus. 各セッションのパケットデータの流れの一例及びパケットデータの分散処理の動作フロー例を示す図である。It is a figure which shows an example of the flow of packet data of each session, and the example of an operation | movement flow of the dispersion | distribution process of packet data. 転送パケットの最適化の具体例を示す図である。It is a figure which shows the specific example of optimization of a transfer packet. 第1、第2及び第3の処理装置の機能ブロックの構成例を示す図である。It is a figure which shows the structural example of the functional block of a 1st, 2nd and 3rd processing apparatus. 処理能力を超えるトラヒック量が流入された場合の従来の処理例を示す図である。It is a figure which shows the example of the conventional process when the traffic amount exceeding a processing capacity is inflowed.
開示のパケットキャプチャ処理装置は、パケット通信網を構成する、例えばルータやスイッチ等に接続される。そして、ルータ間、又はスイッチ間の伝送路で送受信するパケットを捕捉する。例えばルータやスイッチは、伝送路に送出するパケットを複製し、これをパケットキャプチャ処理装置に転送する。及び・又は、ルータやスイッチは、伝送路から受信したパケットを複製し、これをパケットキャプチャ処理装置に転送する。   The disclosed packet capture processing device is connected to, for example, a router or a switch constituting the packet communication network. And the packet transmitted / received by the transmission path between routers or between switches is captured. For example, a router or switch duplicates a packet to be sent to the transmission path and transfers it to the packet capture processing device. And / or the router or the switch duplicates the packet received from the transmission path and transfers it to the packet capture processing device.
他のキャプチャ方法として、開示のパケットキャプチャ処理装置は、ルータ間、又はスイッチ間の伝送路に配置され、受信したパケットを複製して、一方を伝送路に送信し、他方を自装置内に保持する。   As another capture method, the disclosed packet capture processing device is placed on the transmission path between routers or switches, duplicates the received packet, transmits one to the transmission path, and holds the other in its own device. To do.
図1に開示のパケットキャプチャ処理装置による分散処理の実施例を示す。パケットキャプチャ処理装置10,10’,10”は、例えば、上記パケット通信網の一例としてのローカルエリアネットワーク(LAN)に流れる各セッションa〜fのパケットデータを採取(キャプチャ)し、分析を行う。なお以下の説明では、「パケットキャプチャ処理装置」を単に「処理装置」と略称する。なお、ここで言うセッションは、同一の送信元装置から同一の受信先装置までの一連の通信である。   FIG. 1 shows an example of distributed processing by the disclosed packet capture processing apparatus. The packet capture processing devices 10, 10 ′, 10 ″, for example, collect (capture) packet data of each session a to f flowing in a local area network (LAN) as an example of the packet communication network and perform analysis. In the following description, “packet capture processing device” is simply abbreviated as “processing device”. The session referred to here is a series of communications from the same transmission source device to the same reception destination device.
ここで、第1の処理装置10におけるパケット分析の処理負荷が大きくなり、該処理負荷が第1の処理装置10の処理能力閾値を超えることが予想される状態となったとする。すると、第1の処理装置10は、それ以降に受信されるパケットデータのセッションを識別し、各パケットデータをセッション単位で振り分け、他の代行処理用の第2の処理装置20に転送し、第2の処理装置20によりパケットデータをセッション単位で分散させて分析する。   Here, it is assumed that the processing load of packet analysis in the first processing device 10 is increased and the processing load is expected to exceed the processing capability threshold of the first processing device 10. Then, the first processing device 10 identifies a session of packet data received thereafter, sorts each packet data in units of sessions, transfers it to the second processing device 20 for other proxy processing, The second processing device 20 analyzes the packet data distributed in session units.
第1の処理装置10及び第2の処理装置20は、それぞれパケットデータを分析した分析結果を、第3の処理装置30へ転送し、該第3の処理装置30は、第1の処理装置10及び第2の処理装置20から転送された分析結果を集約し統計処理を行い、ネットワーク品質等を測定する。該測定結果等は、マネージメント管理端末40が第3の処理装置30にアクセスし、該マネージメント管理端末40によって参照される。   The first processing device 10 and the second processing device 20 respectively transfer the analysis results obtained by analyzing the packet data to the third processing device 30, and the third processing device 30 Then, the analysis results transferred from the second processing device 20 are aggregated, statistical processing is performed, and network quality or the like is measured. The management result is referred to by the management management terminal 40 when the management management terminal 40 accesses the third processing device 30.
他の処理装置10’、10”も同様に、処理負荷が大きくなり、処理能力閾値を超えることが予想される状態となると、以降受信されるパケットデータを、セッション単位で振り分け、代行処理用の第2の処理装置20に転送し、第2の処理装置20によりパケットデータをセッション単位で分散処理させる。即ち、同一セッションのパケットデータは、同一の処理装置で処理されるようにし、同一セッションのパケットデータが別々の処理装置に転送されることがないように分散する。   Similarly, when the other processing apparatuses 10 ′ and 10 ″ are in a state where the processing load increases and the processing capacity threshold is expected to be exceeded, the packet data received thereafter is distributed in session units and used for proxy processing. The data is transferred to the second processing device 20, and the packet data is distributed in session units by the second processing device 20. That is, the packet data of the same session is processed by the same processing device, and the packet data of the same session is processed. The packet data is distributed so as not to be transferred to different processing devices.
図2の(a)は、第1の処理装置10でキャプチャしようとするネットワーク上の各セッションのパケットデータの流れの一例を示している。図2の(a)において、a1,a2はそれぞれセッションaの第1番目と第2番目の受信パケットデータを示している。また、b1,b2はそれぞれセッションbの第1番目と第2番目の受信パケットデータを示している。   FIG. 2A shows an example of the flow of packet data for each session on the network to be captured by the first processing apparatus 10. In FIG. 2A, a1 and a2 indicate the first and second received packet data of session a, respectively. B1 and b2 indicate the first and second received packet data of the session b, respectively.
c1,c2はセッションcの第1番目と第2番目の受信パケットデータを示している。d1,d2はセッションdの第1番目と第2番目の受信パケットデータを示している。e1,e2,e3はセッションeの第1番目と第2番目と第3番目の受信パケットデータを示している。f1はセッションfの第1番目の受信パケットデータを示している。   c1 and c2 indicate the first and second received packet data of the session c. d1 and d2 indicate the first and second received packet data of the session d. e1, e2, and e3 indicate the first, second, and third received packet data of the session e. f1 indicates the first received packet data of the session f.
各パケットデータは、図2の(a)に示すように左側から順番に第1の処理装置10で受信され、ここで、セッションcの第1番目のパケットデータc1の受信後に高負荷が発生し、セッションdの第2番目のパケットデータd2の受信後に高負荷が解除されたものとする。   Each packet data is received by the first processing device 10 in order from the left side as shown in FIG. 2A, where a high load occurs after the reception of the first packet data c1 of the session c. Assume that the high load is released after receiving the second packet data d2 of the session d.
図2の(b)は、該パケットデータを分散処理する動作フロー例を示している。第1の処理装置10では、パケットデータを受信すると(2−1)、第1の処理装置10で高負荷が発生している状態か否かを判定する(2−2)。高負荷が発生している状態か否かは、例えば、第1の処理装置10のCPU使用率や流入する転送パケット量(PPS:Packet Per Second)等を基に判定する構成とすることができる。   FIG. 2B shows an example of an operation flow for performing distributed processing on the packet data. When receiving the packet data (2-1), the first processing device 10 determines whether or not a high load is generated in the first processing device 10 (2-2). Whether or not a high load is occurring can be determined based on, for example, the CPU usage rate of the first processing apparatus 10 or the amount of transferred packets (PPS: Packet Per Second). .
高負荷が発生していない場合、第1の処理装置10は、受信したパケットデータのセッションを識別し、該セッションのパケットデータを第2の処理装置20に既に転送しているか否かを判定する(2−3)。セッションの識別は、具体的には、パケットに含まれる宛先アドレス(Destination Address:DA)、送信元アドレス(Source Address:SA)、セッション識別子などを抽出し、これらの組合せ、又は全てにより該パケットのセッションを識別する。   When the high load is not generated, the first processing device 10 identifies the session of the received packet data and determines whether the packet data of the session has already been transferred to the second processing device 20. (2-3). Specifically, the session is identified by extracting a destination address (Destination Address: DA), a source address (Source Address: SA), a session identifier, and the like included in the packet, and combining or all of these packets. Identifies the session.
受信したパケットデータが、既に第2の処理装置20に転送済みのセッションの後続のパケットデータでない場合、該受信パケットデータを第1の処理装置10の待ち行列(キュー)Q1に格納する(2−4)。具体的には、転送を決定したセッションが有った場合、該セッションを識別するための情報を保持しておき、受信したパケットから抽出した情報に基づく該パケットのセッションと、保持したセッション情報とを比較して転送済みセッションであるかを判定する。   If the received packet data is not subsequent packet data of a session that has already been transferred to the second processing device 20, the received packet data is stored in the queue (queue) Q1 of the first processing device 10 (2- 4). Specifically, when there is a session that has been determined to be transferred, information for identifying the session is retained, the session of the packet based on the information extracted from the received packet, the retained session information, To determine whether the session is already transferred.
受信したパケットデータが、既に第2の処理装置20に転送した受信パケットのセッションの後続のパケットデータであった場合、受信したパケットデータを第2の処理装置20へ転送し、該パケットデータを第2の処理装置20の待ち行列(キュー)Q2に格納させる(2−6)。   When the received packet data is subsequent packet data of the session of the received packet that has already been transferred to the second processing device 20, the received packet data is transferred to the second processing device 20, and the packet data is transferred to the second processing device 20. The data is stored in the queue (queue) Q2 of the second processing device 20 (2-6).
一方、高負荷が発生している場合、第1の処理装置10は、受信したパケットデータのセッションを識別し、該セッションのパケットデータを第1の処理装置10で既に受信しているか否かを判定する(2−5)。既に受信しているか否かの判定は、前記した高負荷が発生していない場合に記載の方法を用いることができる。   On the other hand, when a high load occurs, the first processing device 10 identifies the session of the received packet data, and determines whether or not the packet data of the session has already been received by the first processing device 10. Determine (2-5). The determination as to whether or not it has already been received can use the method described in the case where the above-described high load has not occurred.
受信したパケットデータが、既に第1の処理装置10で受信済みのセッションの後続のパケットデータでない場合、該受信したパケットデータを第2の処理装置20へ転送し、第2の処理装置20の待ち行列(キュー)Q2に格納させる(2−6)。   When the received packet data is not subsequent packet data of a session that has already been received by the first processing device 10, the received packet data is transferred to the second processing device 20 and the second processing device 20 waits. Store in the queue (queue) Q2 (2-6).
受信したパケットデータが、既に第1の処理装置10で受信済みのセッションの後続のパケットデータである場合、該受信したパケットデータを第1の処理装置10の待ち行列(キュー)Q1に格納する(2−4)。   When the received packet data is subsequent packet data of a session that has already been received by the first processing device 10, the received packet data is stored in a queue (queue) Q1 of the first processing device 10 ( 2-4).
上述の分散処理のフロー例によって、図2の(a)に示すパケットデータが具体的にどのように分散されるかを説明する。高負荷が発生する前に受信されたパケットデータa1,a2,b1,c1は、それぞれ第1の処理装置10の待ち行列(キュー)Q1に順番に格納される。   A specific description will be given of how the packet data shown in FIG. 2A is distributed by the above-described flow example of distributed processing. The packet data a1, a2, b1, c1 received before the high load is generated are sequentially stored in a queue (queue) Q1 of the first processing device 10.
次に、高負荷発生後に受信したパケットデータc2は、そのセッションcのパケットデータc1を既に第1の処理装置10で受信済みであるので、該パケットデータc2は、第1の処理装置10の待ち行列(キュー)Q1に格納される。   Next, since the packet data c2 received after the occurrence of high load has already been received by the first processing device 10 in the packet c1 of the session c, the packet data c2 It is stored in the matrix (queue) Q1.
次に受信されるパケットデータd1は、そのセッションdのパケットデータを第1の処理装置10では未だ受信していないので、該パケットデータd1は、第2の処理装置20の待ち行列(キュー)Q2に格納される。   Since the packet data d1 received next is not yet received by the first processing device 10 in the session d, the packet data d1 is stored in the queue (queue) Q2 of the second processing device 20. Stored in
次に受信されるパケットデータb2は、そのセッションbのパケットデータb1を第1の処理装置10既に受信しているので、該パケットデータb2は、第1の処理装置10の待ち行列(キュー)Q1に格納される。   Since the packet data b2 received next has already received the packet data b1 of the session b from the first processing device 10, the packet data b2 is stored in the queue (queue) Q1 of the first processing device 10. Stored in
次に受信されるパケットデータe1は、そのセッションeのパケットデータを第1の処理装置10では未だ受信していないので、該パケットデータe1は、第2の処理装置20の待ち行列(キュー)Q2に格納される。   Since the packet data e1 received next is not yet received by the first processing device 10 in the session e, the packet data e1 is stored in the queue (queue) Q2 of the second processing device 20. Stored in
次に受信されるパケットデータd2は、そのセッションdのパケットデータを第1の処理装置10では受信していないので、該パケットデータd2は、第2の処理装置20の待ち行列(キュー)Q2に格納される。   Since the packet data d2 received next is not received by the first processing device 10 in the session d, the packet data d2 is stored in the queue (queue) Q2 of the second processing device 20. Stored.
次に受信されるパケットデータe2は、高負荷の解除後であっても、そのセッションeのパケットデータe1を第2の処理装置20に転送済みであるのでので、該パケットデータe2は、第2の処理装置20の待ち行列(キュー)Q2に格納される。   Since the packet data e2 received next has already been transferred to the second processing device 20 even after the high load is released, the packet data e2 Are stored in a queue (queue) Q2 of the processing device 20.
次に受信されるパケットデータf1は、高負荷の解除後であり、そのセッションfのパケットデータを第2の処理装置20に転送していないので、該パケットデータf1は、第1の処理装置10の待ち行列(キュー)Q1に格納される。   The packet data f1 received next is after the release of the high load, and since the packet data of the session f has not been transferred to the second processing device 20, the packet data f1 is stored in the first processing device 10. Stored in the queue Q1.
次に受信されるパケットデータe3は、高負荷の解除後であっても、そのセッションeのパケットデータe1,e2を第2の処理装置20に転送済みであるのでので、該パケットデータe3は、第2の処理装置20の待ち行列(キュー)Q2に格納される。   Since the packet data e3 received next has been transferred to the second processing device 20 even after the high load is released, the packet data e3 It is stored in the queue (queue) Q2 of the second processing device 20.
前述したパケットキャプチャ処理方法は、第1の処理装置10が受信したパケットデータを分散処理のためにそのままの状態で代行処理用の第2の処理装置20へ転送するものであった。パケットデータが転送される第2の処理装置20では、パケットを受信すると該パケットをオペレーティングシステム(OS)に渡す。オペレーティングシステム(OS)は、該パケットの種別を識別して各種別に対応したアプリケーションソフトウェアを起動し、該受信パケットを該アプリケーションソフトウェア処理する。   In the packet capture processing method described above, the packet data received by the first processing device 10 is transferred to the second processing device 20 for proxy processing as it is for distributed processing. When the second processing device 20 to which the packet data is transferred receives the packet, it passes the packet to the operating system (OS). The operating system (OS) identifies the type of the packet, activates application software corresponding to each type, and processes the received packet on the application software.
そのため、上述の分散処理のパケットデータをそのまま代行処理用の第2の処理装置20へ転送する手法では、パケット毎の転送処理、及びパケット毎のオペレーティングシステム(OS)起動等によるオーバーヘッド処理の負荷が掛かり、第1及び第2の処理装置10,20での処理負荷が大きくなってしまう。   For this reason, in the method of transferring the packet data of the distributed processing as it is to the second processing device 20 for the proxy processing, there is a load of overhead processing due to transfer processing for each packet and activation of an operating system (OS) for each packet. As a result, the processing load on the first and second processing apparatuses 10 and 20 increases.
そこで上述のセッション単位に分散したパケットデータのうち、分析や測定に利用されるデータ部分のみを抽出し、分析や測定に不要なデータを廃棄し、該分析や測定に利用されるデータ部分のみを結合して転送パケットの最適化を行う。こうすることにより、パケット毎の転送処理やパケット毎のオペレーティングシステム(OS)起動等のオーバーヘッド処理の負荷を軽減することが可能となる。   Therefore, only the data part used for analysis and measurement is extracted from the packet data distributed in the above-mentioned session unit, the data unnecessary for analysis and measurement is discarded, and only the data part used for the analysis and measurement is discarded. Combined to optimize forwarding packets. By doing so, it is possible to reduce the overhead of overhead processing such as transfer processing for each packet and operating system (OS) activation for each packet.
転送パケットの最適化として、具体的には、例えば、セッション単位に分散した各パケットデータのペイロード部のデータを廃棄し、各パケットデータのヘッダ部のデータを結合する。該結合したデータをロングパケットに変換して、代行処理用の第2の処理装置20に転送する。   For optimization of the transfer packet, specifically, for example, the data in the payload portion of each packet data distributed in session units is discarded and the data in the header portion of each packet data is combined. The combined data is converted into a long packet and transferred to the second processing device 20 for proxy processing.
こうすることにより、ヘッダ情報などのオーバーヘッドとなる部分のデータ比率が高いロングパケットを使用して転送効率の向上を図ることができ、第1の処理装置10では、全てのパケットを処理するより、分散処理により処理負荷を軽減することができる。   By doing so, it is possible to improve the transfer efficiency by using a long packet with a high data ratio of the overhead part such as header information. In the first processing device 10, rather than processing all the packets, The processing load can be reduced by distributed processing.
図3に転送パケットの最適化の具体例を示す。図3の(a)は、第1の処理装置10から第2の処理装置20へ転送するパケットデータの一例を示している。図3の(a)に示すように、パケットデータd1,e1,d2,e2,e3を転送するものとする。   FIG. 3 shows a specific example of transfer packet optimization. FIG. 3A shows an example of packet data transferred from the first processing device 10 to the second processing device 20. Assume that packet data d1, e1, d2, e2, and e3 are transferred as shown in FIG.
第1の処理装置10は、それらの各パケットデータのうち、ペイロード部3−2のデータを削除し、ヘッダ部3−1のみのデータを図3の(b)に示すように記憶部3−3に格納する。第1の処理装置10は、記憶部3−3に格納したヘッダ部のみのデータを結合してロングパケットに変換する。   The first processing device 10 deletes the data in the payload section 3-2 from the packet data, and stores only the data in the header section 3-1 as shown in FIG. 3 is stored. The first processing device 10 combines the data of only the header part stored in the storage unit 3-3 and converts it into a long packet.
図3の(b)は、第2の処理装置20へ転送する各セッションのパケットデータを混在させてロングパケットに変換する実施例を示した。これに対して、図3の(c)に示すように、第2の処理装置20へ転送する各セッションのパケットデータを、セッション単位で分別し、セッション単位で振り分けて記憶部に格納する構成とすることができる。   FIG. 3B shows an embodiment in which packet data of each session transferred to the second processing device 20 is mixed and converted into a long packet. On the other hand, as shown in FIG. 3 (c), the packet data of each session transferred to the second processing device 20 is classified in session units, distributed in session units, and stored in the storage unit. can do.
すなわち、図3の(c)に示すように、セッションdのデータパケットd1,d2のみを第1の記憶部3−4に格納し、セッションeのデータパケットe1,e2,e3のみを第2の記憶部3−5に格納する。そして、第1の記憶部3−4に格納されたセッションdのデータパケットを結合してロングパケットに変換し、第2の記憶部3−5に格納されたセッションeのデータパケットを結合してロングパケットに変換する。こうすることにより、第2の処理装置20では、受信したロングパケットがセッション対応のものとなり、セッション単位での分析等の処理を効率良く行うことが可能となる。   That is, as shown in FIG. 3C, only the data packets d1, d2 of the session d are stored in the first storage unit 3-4, and only the data packets e1, e2, e3 of the session e are stored in the second storage unit 3-4. Store in the storage unit 3-5. Then, the data packet of session d stored in the first storage unit 3-4 is combined and converted into a long packet, and the data packet of session e stored in the second storage unit 3-5 is combined. Convert to long packet. By doing so, in the second processing device 20, the received long packet becomes session-compatible, and it is possible to efficiently perform processing such as analysis in session units.
図4に第1、第2及び第3の処理装置の機能ブロックの構成例を示す。第1の処理装置10は、受信制御部(キャプチャエンジン)11、セッション管理部12、流量監視部13、セッション分散部14、パケット分析部15、分析結果編集部16、送信制御部17、パケット最適化部18を備える。   FIG. 4 shows a configuration example of functional blocks of the first, second, and third processing apparatuses. The first processing apparatus 10 includes a reception control unit (capture engine) 11, a session management unit 12, a flow rate monitoring unit 13, a session distribution unit 14, a packet analysis unit 15, an analysis result editing unit 16, a transmission control unit 17, and a packet optimization The conversion unit 18 is provided.
受信制御部(キャプチャエンジン)11は、ネットワークを流れるパケットデータの採取を制御する。セッション管理部12は、受信パケットデータの送信元IPアドレス及び宛て先IPアドレスを基にセッションを識別し、受信パケットデータをセッション単位に管理する。   The reception control unit (capture engine) 11 controls collection of packet data flowing through the network. The session management unit 12 identifies a session based on the transmission source IP address and the destination IP address of the received packet data, and manages the received packet data on a session basis.
流量監視部13は、パケットデータの流量を監視し、予め設定された閾値を基に高負荷発生を判定し、その判定結果をセッション管理部12に通知する。高負荷発生の判定は、処理装置の処理能力に対して予め設定した閾値(例えば、処理能力の限界値の90%)、又は予め設定した転送パケット量(PPS)の閾値を超えた場合に、高負荷発生と判定する構成とすることができる。   The flow rate monitoring unit 13 monitors the flow rate of packet data, determines the occurrence of high load based on a preset threshold value, and notifies the session management unit 12 of the determination result. The determination of the occurrence of a high load is made when a preset threshold value (for example, 90% of the limit value of the processing capability) or a preset transfer packet amount (PPS) threshold value is exceeded for the processing capability of the processing device. It can be set as the structure determined to generate high load.
セッション分散部14は、セッション管理部12の管理のもとに、受信パケットデータをセッション単位で自装置のパケット分析部15に送出し、又は他の第2若しくは第3の処理装置に転送して、分析処理を分散化させる。パケット分析部15は、受信パケットデータをセッション単位で分析処理する。分析結果編集部16は、パケット分析部15で分析された分析結果を編集し、送信制御部17に渡す。   Under the management of the session management unit 12, the session distribution unit 14 sends the received packet data to the packet analysis unit 15 of its own device or transfers it to another second or third processing device. , Decentralize the analysis process. The packet analysis unit 15 analyzes the received packet data for each session. The analysis result editing unit 16 edits the analysis result analyzed by the packet analysis unit 15 and passes it to the transmission control unit 17.
パケット最適化部18は、セッション単位で分散した各パケットデータのペイロード部のデータを廃棄し、各パケットデータのヘッダ部のデータを結合し、結合したデータをロングパケットに変換し、送信制御部17に渡す。   The packet optimization unit 18 discards the data in the payload portion of each packet data distributed in session units, combines the data in the header portion of each packet data, converts the combined data into a long packet, and transmits the data in the transmission control unit 17. To pass.
送信制御部17は、分析結果編集部16で編集された分析結果を、第3の処理装置30の品質データ集約統計処理部38へ送信する。また、送信制御部17は、セッション分散部14で分散化され、パケット最適化部18でロングパケットに変換されたパケットデータを、転送先の第2の処理装置20又は第3の処理装置30へ送信する。   The transmission control unit 17 transmits the analysis result edited by the analysis result editing unit 16 to the quality data aggregation statistical processing unit 38 of the third processing device 30. Further, the transmission control unit 17 distributes the packet data distributed by the session distribution unit 14 and converted into a long packet by the packet optimization unit 18 to the second processing device 20 or the third processing device 30 that is the transfer destination. Send.
第2の処理装置20は、第1の処理装置10で受信されたパケットデータを分散処理する機能ブロックとして、受信制御部(キャプチャエンジン)21、パケット分析部25、分析結果編集部26、及び送信制御部27を備える。   The second processing device 20 includes a reception control unit (capture engine) 21, a packet analysis unit 25, an analysis result editing unit 26, and a transmission as functional blocks for distributed processing of packet data received by the first processing device 10. A control unit 27 is provided.
第2の処理装置20では、第1の処理装置10の送信制御部18から送信されたパケットデータを、受信制御部(キャプチャエンジン)21で受信し、パケット分析部25によりセッション単位で受信パケットデータの分析処理を行う。パケット分析部25の分析結果は、分析結果編集部26により編集され、送信制御部27に渡される。送信制御部27は、分析結果編集部26で編集された分析結果を、第3の処理装置30の品質データ集約統計処理部38へ送信する。   In the second processing device 20, the packet data transmitted from the transmission control unit 18 of the first processing device 10 is received by the reception control unit (capture engine) 21, and the packet analysis unit 25 receives the received packet data for each session. Perform the analysis process. The analysis result of the packet analysis unit 25 is edited by the analysis result editing unit 26 and passed to the transmission control unit 27. The transmission control unit 27 transmits the analysis result edited by the analysis result editing unit 26 to the quality data aggregation statistical processing unit 38 of the third processing device 30.
なお、上述したように、第1の処理装置10で受信されたパケットデータを分散処理するための機能ブロックを、独立した第2の処理装置20内に設ける構成のほかに、分析結果を集約し統計処理を行う第3の処理装置30内にそれらの機能ブロック設ける構成とすることができる。   As described above, the analysis results are aggregated in addition to the configuration in which the functional blocks for performing the distributed processing on the packet data received by the first processing device 10 are provided in the independent second processing device 20. It can be set as the structure which provides those functional blocks in the 3rd processing apparatus 30 which performs a statistical process.
第3の処理装置30でパケットデータの分析の分散処理を行う場合、第3の処理装置30内には、受信制御部(キャプチャエンジン)31、パケット分析部35、分析結果編集部36、及び送信制御部37を備える。それらの機能は、第2の処理装置20における受信制御部(キャプチャエンジン)21、パケット分析部25、分析結果編集部26、及び送信制御部27と同様であるので、重複した説明は省略する。   When the third processing device 30 performs distributed processing of packet data analysis, the third processing device 30 includes a reception control unit (capture engine) 31, a packet analysis unit 35, an analysis result editing unit 36, and a transmission. A control unit 37 is provided. Since these functions are the same as those of the reception control unit (capture engine) 21, the packet analysis unit 25, the analysis result editing unit 26, and the transmission control unit 27 in the second processing device 20, redundant description is omitted.
10 第1の処理装置
20 代行処理用の第2の処理装置
30 集約し統計処理を行う第3の処理装置
10’,10” 他の処理装置
DESCRIPTION OF SYMBOLS 10 1st processing apparatus 20 2nd processing apparatus for proxy processing 30 3rd processing apparatus which collects and performs statistical processing 10 ', 10 "Other processing apparatus

Claims (5)

  1. ネットワーク上のパケットデータを受信し分析するパケットキャプチャ処理方法において、
    自装置の処理能力が予め定めた閾値を超えるパケットデータが受信されたか否かを判定するステップと、
    自装置の処理能力が予め定めた閾値を超えるパケットデータが受信されたとき、受信パケットデータが、既に自装置で処理しているセッションの後続のパケットデータか否かを判定し、自装置で処理しているセッションの後続のパケットデータである場合、該受信パケットデータを自装置で処理し、自装置で処理しているセッションのパケットデータでない場合、該受信パケットデータを、セッション対応に、他のパケットキャプチャ処理装置へ転送するステップと、
    を含むことを特徴とするパケットキャプチャ処理方法。
    In a packet capture processing method for receiving and analyzing packet data on a network,
    Determining whether or not packet data whose processing capability of the device exceeds a predetermined threshold is received;
    When packet data whose processing capability exceeds a predetermined threshold is received, it is determined whether the received packet data is subsequent packet data of a session already processed by the device, and processed by the device. If the received packet data is not the packet data of the session being processed by the own device, the received packet data is changed to other session data corresponding to the session. Transferring to a packet capture processing device;
    A packet capture processing method comprising:
  2. 前記他のパケットキャプチャ処理装置へ転送する受信パケットデータに対して、ペイロード部を廃棄し、複数の受信パケットデータのヘッダ部を結合したロングパケットを編集し、該ロングパケットを前記他のパケットキャプチャ処理装置へ転送するステップを含むことを特徴とする請求項1に記載のパケットキャプチャ処理方法。   For the received packet data transferred to the other packet capture processing device, the payload part is discarded, a long packet obtained by combining the header parts of a plurality of received packet data is edited, and the long packet is processed by the other packet capture process. The packet capture processing method according to claim 1, further comprising a step of transferring to a device.
  3. 前記ロングパケットを編集する際に、前記受信パケットデータのヘッダ部をセッション単位に結合したロングパケットを編集するステップを含むことを特徴とする請求項2に記載のパケットキャプチャ処理方法。   3. The packet capture processing method according to claim 2, further comprising a step of editing a long packet obtained by combining a header part of the received packet data in session units when editing the long packet.
  4. ネットワーク上のパケットデータを受信し分析するパケットキャプチャ処理装置において、
    自装置の処理能力が予め定めた閾値を超えるパケットデータが受信されたか否かを判定する流量監視手段と、
    自装置の処理能力が予め定めた閾値を超えるパケットデータが受信されたとき、受信パケットデータが、既に自装置で処理しているセッションの後続のパケットデータか否かを判定し、既に自装置で処理しているセッションの後続のパケットデータである場合、該受信パケットデータを自装置で処理し、自装置で処理しているセッションのパケットデータでない場合、該受信パケットデータを、セッション対応に、他のパケットキャプチャ処理装置へ転送するセッション分散手段と、
    を備えたことを特徴とするパケットキャプチャ処理装置。
    In a packet capture processing device that receives and analyzes packet data on the network,
    Flow rate monitoring means for determining whether or not packet data whose processing capability exceeds a predetermined threshold value has been received;
    When packet data whose processing capability exceeds a predetermined threshold is received, it is determined whether the received packet data is subsequent packet data of a session already processed by the own device. If the received packet data is the subsequent packet data of the session being processed, the received packet data is processed by the own device, and if the received packet data is not the packet data of the session being processed by the own device, the received packet data is Session distribution means for transferring to a packet capture processing device of
    A packet capture processing device comprising:
  5. 前記他のパケットキャプチャ処理装置へ転送する受信データに対して、ペイロード部を廃棄し、複数の受信パケットデータのヘッダ部を結合したロングパケットを編集するパケット最適化手段を備えたことを特徴とする請求項4に記載のパケットキャプチャ処理装置。   A packet optimizing unit is provided that edits a long packet in which a payload portion is discarded and a header portion of a plurality of received packet data is combined with respect to received data transferred to the other packet capture processing device. The packet capture processing device according to claim 4.
JP2011164935A 2011-07-28 2011-07-28 Packet capture processing method and apparatus Expired - Fee Related JP5742549B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2011164935A JP5742549B2 (en) 2011-07-28 2011-07-28 Packet capture processing method and apparatus

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2011164935A JP5742549B2 (en) 2011-07-28 2011-07-28 Packet capture processing method and apparatus

Publications (2)

Publication Number Publication Date
JP2013030944A true JP2013030944A (en) 2013-02-07
JP5742549B2 JP5742549B2 (en) 2015-07-01

Family

ID=47787569

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2011164935A Expired - Fee Related JP5742549B2 (en) 2011-07-28 2011-07-28 Packet capture processing method and apparatus

Country Status (1)

Country Link
JP (1) JP5742549B2 (en)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2014171076A (en) * 2013-03-04 2014-09-18 Fujitsu Ltd Network monitoring system
JP2015534348A (en) * 2012-09-14 2015-11-26 ヒューレット−パッカード デベロップメント カンパニー エル.ピー.Hewlett‐Packard Development Company, L.P. Determination of load distribution for data units in packet inspection equipment.
US9553795B2 (en) 2013-05-22 2017-01-24 Fujitsu Limited Port switching method, analysis device, and recording medium
US10554509B2 (en) 2014-11-10 2020-02-04 Nec Corporation Information processing system and delay measurement method

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007116350A (en) * 2005-10-19 2007-05-10 Mitsubishi Electric Corp Load disperser
JP2010161546A (en) * 2009-01-07 2010-07-22 Hitachi Ltd Network relay apparatus and packet distribution method
JP2011049794A (en) * 2009-08-27 2011-03-10 Alaxala Networks Corp System and method of acquiring packet flow statistical value

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007116350A (en) * 2005-10-19 2007-05-10 Mitsubishi Electric Corp Load disperser
JP2010161546A (en) * 2009-01-07 2010-07-22 Hitachi Ltd Network relay apparatus and packet distribution method
JP2011049794A (en) * 2009-08-27 2011-03-10 Alaxala Networks Corp System and method of acquiring packet flow statistical value

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2015534348A (en) * 2012-09-14 2015-11-26 ヒューレット−パッカード デベロップメント カンパニー エル.ピー.Hewlett‐Packard Development Company, L.P. Determination of load distribution for data units in packet inspection equipment.
JP2014171076A (en) * 2013-03-04 2014-09-18 Fujitsu Ltd Network monitoring system
US9553795B2 (en) 2013-05-22 2017-01-24 Fujitsu Limited Port switching method, analysis device, and recording medium
US10554509B2 (en) 2014-11-10 2020-02-04 Nec Corporation Information processing system and delay measurement method

Also Published As

Publication number Publication date
JP5742549B2 (en) 2015-07-01

Similar Documents

Publication Publication Date Title
Rasley et al. Planck: Millisecond-scale monitoring and control for commodity networks
JP2018504050A (en) Traffic flow monitoring
US9391895B2 (en) Network system and switching method thereof
JP4774357B2 (en) Statistical information collection system and statistical information collection device
US8149705B2 (en) Packet communications unit
US8229705B1 (en) Performance monitoring in computer networks
JP5742549B2 (en) Packet capture processing method and apparatus
US10574546B2 (en) Network monitoring using selective mirroring
JPWO2008108403A1 (en) Node device, node system, statistical information management table replacement method and program used for the node device
US10237192B2 (en) Apparatus and system for optimizing communication networks
WO2016169121A1 (en) Link analysis method, device and system
Suárez-Varela et al. Reinventing netflow for openflow software-defined networks
US9154390B2 (en) Packet relay apparatus and measurement method for measuring discard number of data packets
JP2004274552A (en) Computer communication system, resource management method, program and recording medium
KR101466938B1 (en) Apparatus and Method of Subscriber Traffic Control in The Non-Symmetric Traffic Environment
KR100862727B1 (en) Method and system for traffic analysis
CN106230660B (en) The method and device of sFlow sampling
JP5440200B2 (en) Relay device and bandwidth control method
CN111213399A (en) Method for selecting packet processing function and apparatus thereof
Shang et al. Buffer management for reducing packet-in messages in openflow networks
Bolanowski et al. Stress test of network devices with maximum traffic load for second and third layer of ISO/OSI model
Liu et al. The dynamic nature of Congestion inInfiniBand
US10904150B1 (en) Distributed dynamic load balancing in network systems
JP4313779B2 (en) Congestion control method, congestion control program, and congestion control apparatus
Zaw et al. Large Flow Detection and Delay Measuring for Multipath Routing over SDN

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20140404

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20150115

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20150127

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20150319

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20150407

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20150420

R150 Certificate of patent or registration of utility model

Ref document number: 5742549

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

LAPS Cancellation because of no payment of annual fees