JP2019176366A - Information processing device, information processing method, and program - Google Patents

Information processing device, information processing method, and program Download PDF

Info

Publication number
JP2019176366A
JP2019176366A JP2018063613A JP2018063613A JP2019176366A JP 2019176366 A JP2019176366 A JP 2019176366A JP 2018063613 A JP2018063613 A JP 2018063613A JP 2018063613 A JP2018063613 A JP 2018063613A JP 2019176366 A JP2019176366 A JP 2019176366A
Authority
JP
Japan
Prior art keywords
transmission
network interface
processing unit
detected
link
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2018063613A
Other languages
Japanese (ja)
Other versions
JP6979913B2 (en
Inventor
隼 安土
Hayato Azuchi
隼 安土
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
PFU Ltd
Original Assignee
PFU Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by PFU Ltd filed Critical PFU Ltd
Priority to JP2018063613A priority Critical patent/JP6979913B2/en
Publication of JP2019176366A publication Critical patent/JP2019176366A/en
Application granted granted Critical
Publication of JP6979913B2 publication Critical patent/JP6979913B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Abstract

To provide an information processing device capable of preventing wasteful use of resources or untimely data transmission at the time of link down.SOLUTION: An information processing device includes: a plurality of network interface cards; a plurality of transmission processing units for preparing transmission data to be transmitted by the network interface cards; and a control unit for stopping the transmission processing units preparing transmission data to be transmitted by a network interface card whose link down is detected when the link down is detected in any of the network interface cards.SELECTED DRAWING: Figure 7

Description

本発明は、情報処理装置、情報処理方法、及びプログラムに関する。   The present invention relates to an information processing apparatus, an information processing method, and a program.

例えば、特許文献1には、複数の通信ポート11と複数の通信インタフェース12とを有し、通信異常検出部14が通信異常を検出した場合、接続切替部13を制御し、通信異常が検出されたネットワーク通信装置が接続された通信ポート11と接続され通信インタフェース12を変更させるネットワーク機器が開示されている。
特許文献2には、複数の入力ポートおよび複数の出力ポートに関連付けられ、関連付けられた出力ポートでリンク状態変化を検出し、出力ポートでのリンク状態変化を、出力ポートを介して、1つ以上の入力ポートに通知できるネットワーキング装置が開示されている。
特許文献3には、送信側では、映像データにタイムスタンプを付加したデータを送信し、受信側では、受信データに付加されているタイムスタンプに無線通信でかかる時間よりも長い時間を加算し、加算されたタイムスタンプの比較を行うタイムスタンプチェック部0819にタイムスタンプ値にかかわらずデータを廃棄する機能を持たせ、データ伝送開始を検出した時間から、設定された時間だけ、タイムスタンプチェック部0819に対してデータ廃棄を指示するデータ廃棄制御部0826を新たに設けた映像伝送システムが開示されている。
特許文献4には、パケット受信ドライバが、ネットワークインタフェースによるパケットの受信をループ処理によって待機し、ループ処理の合間において、ネットワークインタフェース105及びパケット受信ドライバのうちの少なくともいずれか一方の死活状態を示す情報を死活情報記憶部117rに書き込み、監視装置の監視部114は、死活情報記憶部を参照して、ネットワークインタフェース及びパケット受信ドライバのうちの少なくともいずれか一方の死活状態を監視する監視方法が開示されている。
For example, Patent Document 1 has a plurality of communication ports 11 and a plurality of communication interfaces 12, and when the communication abnormality detection unit 14 detects a communication abnormality, the connection switching unit 13 is controlled to detect the communication abnormality. A network device that is connected to a communication port 11 to which a network communication device is connected and changes the communication interface 12 is disclosed.
In Patent Document 2, a link state change is detected at an associated output port, and one or more link state changes at the output port are detected via the output port. A networking device capable of notifying the input port is disclosed.
In Patent Document 3, the transmission side transmits data with a time stamp added to video data, and the reception side adds a time longer than the time required for wireless communication to the time stamp added to the reception data, The time stamp check unit 0819 for comparing the added time stamps has a function of discarding data regardless of the time stamp value, and the time stamp check unit 0819 is set for a set time from the time when the start of data transmission is detected. A video transmission system in which a data discard control unit 0826 for instructing data discard is newly provided is disclosed.
In Patent Document 4, a packet reception driver waits for reception of a packet by a network interface by a loop process, and information indicating the alive state of at least one of the network interface 105 and the packet reception driver between the loop processes A monitoring method is disclosed in which the monitoring unit 114 of the monitoring device monitors the alive state of at least one of the network interface and the packet reception driver with reference to the alive information storage unit. ing.

特開2017−184087JP 2017-184087 特表2018−504825Special table 2018-504825 特開2006−203649JP 2006-203649 A 特開2017−151765JP 2017-151765

リンクダウン時におけるリソースの無駄遣い、又は、時機を逸したデータ送信を抑制することができる情報処理装置を提供することを目的とする。   It is an object of the present invention to provide an information processing apparatus capable of suppressing wasteful use of resources at the time of link down or data transmission that is missed.

本発明に係る情報処理装置は、複数のネットワークインタフェースカードと、前記ネットワークインタフェースカードで送信する送信データを準備する複数の送信処理部と、前記ネットワークインタフェースカードのいずれかにリンクダウンが検知された場合に、リンクダウンが検知されたネットワークインタフェースカードで送信する送信データの準備を、前記送信処理部に停止させる制御部とを有する。   The information processing apparatus according to the present invention includes a plurality of network interface cards, a plurality of transmission processing units that prepare transmission data to be transmitted by the network interface card, and a link down detected in any of the network interface cards. And a control unit that causes the transmission processing unit to stop preparing transmission data to be transmitted by the network interface card in which link down is detected.

好適には、前記送信処理部は、ループ処理によって、送信データを送信キューに蓄積し、前記制御部は、前記送信処理部に、前記ループ処理の一部を、送信失敗となる送信処理に置き換えて、送信データの準備を停止させる。   Preferably, the transmission processing unit accumulates transmission data in a transmission queue by loop processing, and the control unit replaces the transmission processing unit with a part of the loop processing by transmission processing that causes transmission failure. To stop preparation of transmission data.

好適には、複数の前記送信処理部は、共用されるコンピュータリソースを用いて、送信データの準備を行い、リンクダウンしているネットワークインタフェースカードに割り当てられた前記送信処理部は、共用されるコンピュータリソースの新規割当てを要求しない。   Preferably, the plurality of transmission processing units prepare transmission data using a shared computer resource, and the transmission processing unit allocated to the network interface card that is linked down is a shared computer. Do not request new allocation of resources.

好適には、複数の前記送信処理部は、共用される記録領域を用いて、送信データを蓄積するための送信キューを構成し、リンクダウンしているネットワークインタフェースカードに割り当てられた前記送信処理部は、送信キューのために、共用される記録領域の新規割当てを要求しない。   Preferably, the plurality of transmission processing units constitute a transmission queue for storing transmission data using a shared recording area, and the transmission processing units allocated to a network interface card that is linked down Does not require a new allocation of a shared recording area for the transmission queue.

好適には、リンクダウンが検知されたネットワークインタフェースカードのみに対して、蓄積されている送信データをフラッシュさせるフラッシュ処理部をさらに有する。   Preferably, there is further provided a flash processing unit for flushing the accumulated transmission data only to the network interface card in which the link down is detected.

好適には、前記フラッシュ処理部は、リンクダウンが検知された場合に、リンクダウンが検知されたネットワークインタフェースカードに対して、通信停止を指示し、その後に、通信開始を指示する。   Preferably, when the link down is detected, the flash processing unit instructs the network interface card in which the link down is detected to stop communication, and then instructs the communication start.

好適には、前記送信処理部は、前記ネットワークインタフェースカードのドライバの一部であり、前記ネットワークインタフェースカードのリンク状態を監視することなく、ループ処理で送信データを送信キューに蓄積し、前記制御部は、前記ネットワークインタフェースカードで検知されたリンクダウンに基づいて、前記送信処理部に、ループ処理の内容を置換させる。   Preferably, the transmission processing unit is a part of a driver of the network interface card, accumulates transmission data in a transmission queue by loop processing without monitoring a link state of the network interface card, and the control unit Causes the transmission processing unit to replace the contents of the loop processing based on the link down detected by the network interface card.

本発明に係る情報処理方法は、複数のネットワークインタフェースカードそれぞれに関して、それぞれの前記ネットワークインタフェースカードで送信する送信データを準備する送信準備ステップと、前記ネットワークインタフェースカードのいずれかにリンクダウンが検知された場合に、リンクダウンが検知されたネットワークインタフェースカードで送信する送信データの準備を停止させる停止ステップとを有する。   In the information processing method according to the present invention, for each of a plurality of network interface cards, a transmission preparation step of preparing transmission data to be transmitted by each of the network interface cards, and a link down is detected in any of the network interface cards A stop step of stopping preparation of transmission data to be transmitted by the network interface card in which link down is detected.

本発明に係るプログラムは、複数のネットワークインタフェースカードそれぞれに関して、それぞれの前記ネットワークインタフェースカードで送信する送信データを準備する送信準備ステップと、前記ネットワークインタフェースカードのいずれかにリンクダウンが検知された場合に、リンクダウンが検知されたネットワークインタフェースカードで送信する送信データの準備を停止させる停止ステップとをコンピュータに実行させる。   The program according to the present invention relates to a plurality of network interface cards, a transmission preparation step of preparing transmission data to be transmitted by each of the network interface cards, and when link down is detected in any of the network interface cards. And causing the computer to execute a stop step of stopping preparation of transmission data to be transmitted by the network interface card in which link down is detected.

リンクダウン時におけるリソースの無駄遣い、又は、時機を逸したデータ送信を抑制することができる。   It is possible to suppress waste of resources at the time of link down or data transmission that is missed.

ネットワーク装置10を含むネットワーク通信システム1のハードウェア構成を例示する図である。1 is a diagram illustrating a hardware configuration of a network communication system 1 including a network device 10. FIG. ネットワーク装置10のハードウェア構成を例示する図である。2 is a diagram illustrating a hardware configuration of a network device 10. FIG. ネットワーク装置10の機能ブロックを例示する図である。2 is a diagram illustrating a functional block of a network device 10. FIG. (A)は、制御プレーンコアのLANドライバ360(図3)をより詳細に説明する図であり、(B)は、データプレーンコアのLANドライバ460(図3)をより詳細に説明する図である。(A) is a diagram for explaining the LAN driver 360 (FIG. 3) in the control plane core in more detail, and (B) is a diagram for explaining the LAN driver 460 (FIG. 3) in the data plane core in more detail. is there. 制御プレーンコア及びデータプレーンコアと、LANカードのインタフェースとの間の関係を中心としたシステム構成を例示する図である。It is a figure which illustrates the system configuration centering on the relationship between a control plane core and a data plane core, and the interface of a LAN card. ループ処理を模式的に説明する図である。It is a figure which illustrates a loop process typically. リンクダウン時におけるネットワーク装置10の処理(S10)を説明するフローチャートである。It is a flow chart explaining processing (S10) of network device 10 at the time of link down. リンクアップ時におけるネットワーク装置10の処理(S20)を説明するフローチャートである。It is a flow chart explaining processing (S20) of network device 10 at the time of link up.

以下、本発明の実施形態を、図面を参照して説明する。
図1は、ネットワーク装置10を含むネットワーク通信システム1のハードウェア構成を例示する図である。
図1に例示するように、ネットワーク通信システム1は、複数のネットワーク装置10と、これらを接続するネットワークスイッチ20とを含む。
ネットワーク装置10は、ネットワークに接続して使用されるネットワーク機器である。ネットワーク装置10は、本発明に係る情報処理装置の一例である。本例のネットワーク装置は、LANケーブル及びネットワークスイッチ20を介してLANに接続しており、帯域制御機能及びファイアウォール機能などを有すると共に、他のネットワーク装置10と二重化して冗長構成によって耐障害性を高めている。具体的には、稼働中のネットワーク装置10A(Active)と、待機中のネットワーク装置10B(Standby)との間で生存監視パケットが送受信され、既定時間生存監視パケットが送受信されない場合に、待機中のネットワーク装置10Bが稼働状態となり、役割を引き継ぐ。
このような構成において、LANポートのリンクアップ/リンクダウンに関わらず、ネットワーク装置10の間で、生存監視パケット(ハートビートパケット)やLLC(Logical Link Control)パケットなどが送受信されている。
Embodiments of the present invention will be described below with reference to the drawings.
FIG. 1 is a diagram illustrating a hardware configuration of a network communication system 1 including a network device 10.
As illustrated in FIG. 1, the network communication system 1 includes a plurality of network devices 10 and a network switch 20 that connects them.
The network device 10 is a network device used by connecting to a network. The network device 10 is an example of an information processing device according to the present invention. The network device of this example is connected to the LAN via the LAN cable and the network switch 20 and has a bandwidth control function, a firewall function, etc., and is redundant with other network devices 10 to provide fault tolerance through a redundant configuration. It is increasing. Specifically, when the survival monitoring packet is transmitted and received between the operating network device 10A (Active) and the waiting network device 10B (Standby) and the predetermined time survival monitoring packet is not transmitted and received, The network device 10B becomes operational and takes over the role.
In such a configuration, survival monitoring packets (heartbeat packets), LLC (Logical Link Control) packets, and the like are transmitted and received between the network devices 10 regardless of the link up / down of the LAN port.

図2は、ネットワーク装置10のハードウェア構成を例示する図である。
図2に例示するように、ネットワーク装置10は、CPU100、メモリ102、複数のスロット104、サウスブリッジ106、ハードディスクドライブ108、コンパクトフラッシュ(登録商標)変換アダプタ110、DVDドライブ112、及び、LANカード120を有する。
CPU100は、中央処理装置である。本例のCPU100は、複数のコアからなるマルチコアプロセッサである。
メモリ102は、例えば、半導体メモリであり、CPU100に接続され、主記憶装置として機能する。
スロット104は、拡張スロットであり、例えば、LANカード120などが挿入される。本例のスロット104には、LANカード120が挿入されており、本例のLANカード120には、PCIスイッチを介して複数のインタフェース(#0〜#3)が設けられている。
サウスブリッジ106は、例えば、SATAバスなどを接続するICチップである。本例では、サウスブリッジ106には、ハードディスクドライブ108、コンパクトフラッシュ(登録商標)変換アダプタ110、及び、DVDドライブ112が接続されている。
FIG. 2 is a diagram illustrating a hardware configuration of the network device 10.
As illustrated in FIG. 2, the network device 10 includes a CPU 100, a memory 102, a plurality of slots 104, a south bridge 106, a hard disk drive 108, a compact flash (registered trademark) conversion adapter 110, a DVD drive 112, and a LAN card 120. Have
The CPU 100 is a central processing unit. The CPU 100 in this example is a multi-core processor including a plurality of cores.
The memory 102 is, for example, a semiconductor memory, is connected to the CPU 100, and functions as a main storage device.
The slot 104 is an expansion slot, and for example, a LAN card 120 or the like is inserted therein. A LAN card 120 is inserted into the slot 104 of this example, and the LAN card 120 of this example is provided with a plurality of interfaces (# 0 to # 3) via PCI switches.
The south bridge 106 is an IC chip that connects, for example, a SATA bus. In this example, a hard disk drive 108, a compact flash (registered trademark) conversion adapter 110, and a DVD drive 112 are connected to the south bridge 106.

LANカード120は、コンピュータなどの機器を通信ネットワークに接続するための拡張装置である。本例のLANカード120は、イーサネット(登録商標)に接続するためのカード型拡張装置であり、リンク状態を監視するLANコントローラと、送受信データを蓄積するFIFO(First In, First Out)とを内蔵する。なお、LANカード120は、本発明に係るネットワークインタフェースカードの一例であるが、これに限定されるものではなく、通信ネットワークのインタフェースとなるハードウェアであればよい。   The LAN card 120 is an expansion device for connecting a device such as a computer to a communication network. The LAN card 120 in this example is a card type expansion device for connecting to Ethernet (registered trademark), and includes a LAN controller that monitors the link state and a FIFO (First In, First Out) that accumulates transmission / reception data. To do. The LAN card 120 is an example of a network interface card according to the present invention, but is not limited thereto, and may be hardware that serves as an interface for a communication network.

本例のネットワーク装置10は、上記ハードウェア構成にデータプレーン開発キット(Data Plane Development Kit)を採用して、パケット処理の高速化を実現している。具体的には、上位アプリケーションソフトウェアからデータプレーン開発キット(図3の制御プレーンコア処理部300及びデータプレーンコア処理部400)にパケット送信が依頼されると、データプレーン開発キット(以下、DPDK)の送信キューに送信データがセットされる。DPDKは、LANカード120のLANコントローラに対して、送信データがあることを通知する。LANカード120のLANコントローラは、DPDKの送信キューから、送信データをDMAでLANカード120内のFIFOに取得する。LANカード120は、FIFOに蓄積された送信データを、伝送路に送出する。
このとき、DPDKの送信処理(データプレーンコア処理部400)は、ポートのリンクアップ/リンクダウン状態を意識せずに、到着した送信データを送信キューに繋ぐ。換言すると、DPDKの送信処理(データプレーンコア処理部400)は、リンクダウンが発生したとしても、送信キューに送信データを準備し続けるよう構成されている。
The network apparatus 10 of this example employs a data plane development kit (Data Plane Development Kit) in the hardware configuration described above, thereby realizing high-speed packet processing. Specifically, when packet transmission is requested from the upper application software to the data plane development kit (the control plane core processing unit 300 and the data plane core processing unit 400 in FIG. 3), the data plane development kit (hereinafter referred to as DPDK) Transmission data is set in the transmission queue. The DPDK notifies the LAN controller of the LAN card 120 that there is transmission data. The LAN controller of the LAN card 120 acquires transmission data from the transmission queue of the DPDK to the FIFO in the LAN card 120 by DMA. The LAN card 120 sends the transmission data stored in the FIFO to the transmission path.
At this time, the DPDK transmission process (data plane core processing unit 400) links the arrived transmission data to the transmission queue without being aware of the link up / link down state of the port. In other words, the DPDK transmission process (data plane core processing unit 400) is configured to continue preparing transmission data in the transmission queue even if a link down occurs.

図3は、ネットワーク装置10の機能ブロックを例示する図である。
図3に例示するように、ネットワーク装置10は、LANドライバの機能ブロックとして、制御プレーンコア処理部300と、データプレーンコア処理部400とを有する。
制御プレーンコア処理部300は、LANカード120などの制御処理を行う。本例の制御プレーンコア処理部300は、上位エンジン処理部320、LANドライバ共通部340、及びLANドライバ360を有する。上位エンジン処理部320は、上位層からの指示に応じて、制御に必要なデータを、LANドライバ共通部340及びLANドライバ360を介して、LANカード120に出力する。
FIG. 3 is a diagram illustrating functional blocks of the network device 10.
As illustrated in FIG. 3, the network device 10 includes a control plane core processing unit 300 and a data plane core processing unit 400 as functional blocks of the LAN driver.
The control plane core processing unit 300 performs control processing for the LAN card 120 and the like. The control plane core processing unit 300 of this example includes an upper engine processing unit 320, a LAN driver common unit 340, and a LAN driver 360. The upper engine processing unit 320 outputs data necessary for control to the LAN card 120 via the LAN driver common unit 340 and the LAN driver 360 in accordance with an instruction from the upper layer.

データプレーンコア処理部400は、パケット処理を行う。本例のデータプレーンコア処理部400は、上位エンジン処理部420、LANドライバ共通部440、及びLANドライバ460を有する。上位エンジン処理部420は、ファイアウォールなどの処理を実行する。LANドライバ共通部440は、上位エンジン処理部420からの指示に応じて、送受信するパケットに対してLANカード共通の処理を施す。LANドライバ460は、LANカード120に直接アクセスして、LANドライバ共通部440から指示されたパケットの送受信を行う。すなわち、受信パケットは、LANドライバ440でLANカード120から受け取り、LANドライバ共通部440を通過して、上位エンジン処理部420でファイアウォール機能などの固有機能を適用する。送信パケットは、上位エンジン処理部420からLANドライバ共通部440を通過して、LANドライバ460からLANカード120に受け渡される。データプレーンコア処理部400は、本発明に係る制御部の一例である。   The data plane core processing unit 400 performs packet processing. The data plane core processing unit 400 of this example includes an upper engine processing unit 420, a LAN driver common unit 440, and a LAN driver 460. The upper engine processing unit 420 executes processing such as a firewall. The LAN driver common unit 440 performs a process common to the LAN card on packets to be transmitted and received in response to an instruction from the upper engine processing unit 420. The LAN driver 460 directly accesses the LAN card 120 and transmits / receives a packet instructed from the LAN driver common unit 440. That is, the received packet is received from the LAN card 120 by the LAN driver 440, passes through the LAN driver common unit 440, and a unique function such as a firewall function is applied by the upper engine processing unit 420. The transmission packet passes from the upper engine processing unit 420 through the LAN driver common unit 440 and is transferred from the LAN driver 460 to the LAN card 120. The data plane core processing unit 400 is an example of a control unit according to the present invention.

図4(A)は、制御プレーンコアのLANドライバ360(図3)をより詳細に説明する図であり、図4(B)は、データプレーンコアのLANドライバ460(図3)をより詳細に説明する図である。
図4(A)に例示するように、制御プレーンコアのLANドライバ360は、リンクダウン検出部362、送信処理置換部364、及びフラッシュ処理部366を有する。
リンクダウン検出部362は、LANカード120のリンクダウンを検出する。本例のリンクダウン検出部362は、割り当てられたLANカード120のLANコントローラからの通知に基づいて、LANカード120のリンクダウン又はリンクアップを検出する。
4A is a diagram for explaining the LAN driver 360 (FIG. 3) in the control plane core in more detail, and FIG. 4B is a diagram showing the LAN driver 460 (FIG. 3) in the data plane core in more detail. It is a figure explaining.
As illustrated in FIG. 4A, the LAN driver 360 of the control plane core includes a link down detection unit 362, a transmission processing replacement unit 364, and a flash processing unit 366.
The link down detection unit 362 detects link down of the LAN card 120. The link down detection unit 362 of this example detects link down or link up of the LAN card 120 based on the notification from the LAN controller of the assigned LAN card 120.

送信処理置換部364は、データプレーンコアのLANドライバ460におけるループ処理の一部を、送信失敗となる送信処理に置き換えて、送信データの準備を停止させる。本例の送信処理置換部364は、リンクダウン検出部362によりリンクダウンが検出された場合に、データプレーンコアのLANドライバ460に対して、パケットを送信する送信処理を、処理結果を送信失敗として出力する疑似的送信処理(送信ドロップ処理)に置換させて、送信パケットの準備を停止させる。また、送信処理置換部364は、リンクダウン検出部362によりリンクアップが検出された場合に、データプレーンコアのLANドライバ460に対して、疑似的送信処理(送信ドロップ処理)を、パケットを送信する送信処理に置換させて、送信パケットの準備を再開させる。本例の送信処理置換部364は、送信関数の変更によって、送信処理と送信ドロップ処理とを相互に置換する。   The transmission processing replacement unit 364 replaces part of the loop processing in the LAN driver 460 of the data plane core with transmission processing that results in transmission failure, and stops preparation of transmission data. The transmission process replacement unit 364 of this example performs a transmission process of transmitting a packet to the LAN driver 460 of the data plane core when a link down is detected by the link down detection unit 362, and sets the processing result as a transmission failure. It is replaced with the pseudo transmission process (transmission drop process) to be output, and the preparation of the transmission packet is stopped. Also, the transmission processing replacement unit 364 transmits a packet to the data plane core LAN driver 460 in a pseudo transmission process (transmission drop process) when the link down detection unit 362 detects a link up. By replacing the transmission processing, the preparation of the transmission packet is resumed. The transmission process replacement unit 364 of this example replaces the transmission process and the transmission drop process with each other by changing the transmission function.

フラッシュ処理部366は、リンクダウン検出部362によりリンクダウンが検知されたLANカード120のみに対して、FIFOに蓄積されている送信データをフラッシュさせる。例えば、フラッシュ処理部366は、リンクダウン検出部362によりリンクダウンが検知された場合に、リンクダウンが検知されたLANカード120に対して、通信停止を指示し、その後に、通信開始を指示して、FIFO内の送信データを消去させる。通信開始の指示も行ってしまうことにより、リンクアップの割込みが受信可能な状態となる。
フラッシュ処理部366は、さらに、データプレーンコア処理部400のLANドライバ460に、送信キューを解放させてもよい。
The flash processing unit 366 flushes the transmission data stored in the FIFO only to the LAN card 120 in which the link down is detected by the link down detection unit 362. For example, when the link down detection unit 362 detects a link down, the flash processing unit 366 instructs the LAN card 120 in which the link down is detected to stop communication, and then instructs the communication start. Then, the transmission data in the FIFO is erased. By instructing the start of communication, a link-up interrupt can be received.
The flash processing unit 366 may further cause the LAN driver 460 of the data plane core processing unit 400 to release the transmission queue.

図4(B)に例示するように、データプレーンコアのLANドライバ460は、送信処理部462、及び、送信ドロップ処理部464を有する。
送信処理部462は、ループ処理の一部として、LANカード120で送信する送信データを準備する。より具体的には、送信処理部462は、送信キューに送信データを蓄積し、蓄積された送信データをLANカード120に転送して送信させる。すなわち、送信処理部462は、LANカード120のドライバの一部として、データプレーン開発キットに即したパケット送信処理を実行する。
ここで、ループ処理とは、複数種類の定型処理が順次繰り返し実行される処理である。すなわち、ループ処理とは、同種の処理が循環して繰り返されるものである。例えば、ループ処理には、定型処理の他に、非定型な処理が含まれてもよい。
As illustrated in FIG. 4B, the data plane core LAN driver 460 includes a transmission processing unit 462 and a transmission drop processing unit 464.
The transmission processing unit 462 prepares transmission data to be transmitted by the LAN card 120 as part of the loop processing. More specifically, the transmission processing unit 462 accumulates transmission data in the transmission queue and transfers the accumulated transmission data to the LAN card 120 for transmission. That is, the transmission processing unit 462 performs packet transmission processing conforming to the data plane development kit as part of the driver of the LAN card 120.
Here, the loop process is a process in which a plurality of types of fixed processes are repeatedly executed in sequence. That is, the loop process is a process in which the same kind of process is repeated in a cycle. For example, the loop process may include an atypical process in addition to the standard process.

送信ドロップ処理部464は、送信失敗となる送信処理を実行する。すなわち、送信ドロップ処理部464は、送信処理部462による送信処理の代替処理として、送信失敗である旨を出力する疑似的送信処理を実行する。   The transmission drop processing unit 464 executes transmission processing that results in transmission failure. That is, the transmission drop processing unit 464 executes a pseudo transmission process for outputting a message indicating that transmission has failed as an alternative process of the transmission process performed by the transmission processing unit 462.

LANドライバ460は、上記各処理に加えて、データプレーン開発キットに即したパケット受信処理をループ処理の一部として実行する。   In addition to the above processes, the LAN driver 460 executes a packet reception process in accordance with the data plane development kit as part of the loop process.

図5は、制御プレーンコア及びデータプレーンコアと、LANカードのインタフェースとの間の関係を中心としたシステム構成を例示する図である。
図5に例示するように、CPU100の複数のコア(#0〜#N)のうち、一つが制御プレーンコアとして割り当て、残りのN個のコアがデータプレーンコアとして割り当てられている。それぞれのデータプレーンコアが、ループ処理によってパケット送受信処理を実行している。
つまり、それぞれのデータプレーンコアでは、LANカード120のインタフェース毎に送信キュー及び受信キューを用意しており、送受信処理を無限ループで実行することで、高速なパケット処理を実現している。この高速パケット処理では、送信処理と受信処理を延々ループして実行している。仮に、ループ処理の中に、リンク状態を確認する処理を挿入すると、全体の処理速度が低下してしまう。
そこで、各データプレーンコアのLANドライバ460は、図6に示すように、制御プレーンコアのLANドライバ360の制御に応じて、ループ処理の一部として、送信処理部462による送信処理、又は、送信ドロップ処理部464を選択的に実行し、ループ処理の速度低下を抑制する。
FIG. 5 is a diagram illustrating a system configuration centering on the relationship between the control plane core and data plane core and the interface of the LAN card.
As illustrated in FIG. 5, one of the plurality of cores (# 0 to #N) of the CPU 100 is assigned as a control plane core, and the remaining N cores are assigned as data plane cores. Each data plane core executes packet transmission / reception processing by loop processing.
That is, in each data plane core, a transmission queue and a reception queue are prepared for each interface of the LAN card 120, and high-speed packet processing is realized by executing transmission / reception processing in an infinite loop. In this high-speed packet processing, transmission processing and reception processing are executed in a loop. If a process for checking the link state is inserted into the loop process, the overall processing speed is reduced.
Therefore, the LAN driver 460 of each data plane core, as shown in FIG. 6, performs transmission processing by the transmission processing unit 462 or transmission as part of the loop processing in accordance with the control of the LAN driver 360 of the control plane core. The drop processing unit 464 is selectively executed to suppress a decrease in loop processing speed.

また、複数のデータプレーンコア処理部400は、共用される記録領域を用いて、送信データを蓄積するための送信キューを構成している。リンクダウン状態が継続していると、LANカード120のFIFOが満タンとなり、データプレーンコア処理部400の送信キューに蓄積された送信データをFIFOに転送できないため、データプレーンコア処理部400の送信キューのデータを解放できず、滞留状態となる。これにより、共用される記録領域が枯渇し、送受信効率が低下する。
そこで、リンクダウンしたLANカード120に割り当てられたデータプレーンコアのLANドライバ460は、送信処理を送信ドロップ処理に置換して、送信キューのためのコンピュータリソースの新規割当てを行わないようにする。
The plurality of data plane core processing units 400 constitute a transmission queue for storing transmission data using a shared recording area. If the link-down state continues, the FIFO of the LAN card 120 is full and the transmission data accumulated in the transmission queue of the data plane core processing unit 400 cannot be transferred to the FIFO. The queue data cannot be released, and the queue is in a staying state. As a result, the shared recording area is depleted and transmission / reception efficiency is reduced.
Therefore, the LAN driver 460 of the data plane core assigned to the LAN card 120 that has been linked down replaces the transmission process with the transmission drop process so as not to newly assign a computer resource for the transmission queue.

図7は、リンクダウン時におけるネットワーク装置10の処理(S10)を説明するフローチャートである。
図7に例示するように、ステップ100(S100)において、いずれかのLANカード120のLANコントローラが、リンクダウンを検知するまで待機し(S100:No)、リンクダウンを検知すると(S100:Yes)、S105の処理に移行する。
FIG. 7 is a flowchart for explaining the processing (S10) of the network device 10 when the link is down.
As illustrated in FIG. 7, in step 100 (S100), the LAN controller of any of the LAN cards 120 waits until detecting a link down (S100: No), and when detecting a link down (S100: Yes). , The process proceeds to S105.

ステップ105(S105)において、リンクダウンを検知したLANカード120のLANコントローラは、製品ファームにリンク変化割込み通知し、リンクダウンを通知する。   In step 105 (S105), the LAN controller of the LAN card 120 that has detected the link down notifies the product firmware of a link change interrupt and notifies the link down.

ステップ110(S110)において、制御プレーンコア処理部300のDPDKでスレッドを起動する。
ステップ115(S115)において、制御プレーンコア処理部300のLANドライバ360のリンクダウン検出部362は、LANカード120からの割込み通知に基づいて、リンクダウンを検出する。
In step 110 (S110), a thread is activated in the DPDK of the control plane core processing unit 300.
In step 115 (S115), the link down detection unit 362 of the LAN driver 360 of the control plane core processing unit 300 detects link down based on the interrupt notification from the LAN card 120.

ステップ120(S120)において、送信処理置換部364は、リンクダウン検出部362によりリンクダウンが検出されると、リンクダウンしたLANカード120に割り当てられたデータプレーンコア処理部400のLANドライバ460に対して、送信処理を送信ドロップ処理に置換するよう指示する。
データプレーンコア処理部400のLANドライバ460は、送信処理置換部364からの指示に応じて、送信処理部462による送信処理を、送信ドロップ処理部464による送信ドロップ処理に置換する。
In step 120 (S120), when the link-down detecting unit 362 detects a link-down, the transmission processing replacing unit 364 sends the data-plane core processing unit 400 LAN driver 460 assigned to the linked-down LAN card 120 to the LAN driver 460. To instruct the transmission process to be replaced with the transmission drop process.
The LAN driver 460 of the data plane core processing unit 400 replaces the transmission processing by the transmission processing unit 462 with the transmission drop processing by the transmission drop processing unit 464 in response to an instruction from the transmission processing replacement unit 364.

ステップ125(S125)において、フラッシュ処理部366は、リンクダウンしたLANカード120に対して通信停止を指示し、その後に、通信開始を指示する。
LANカード120は、フラッシュ処理部366からの指示に応じて、通信を停止した後で、通信を開始し、FIFO内の送信パケットをフラッシュする。
In step 125 (S125), the flash processing unit 366 instructs the LAN card 120 that has been linked down to stop communication, and then instructs the communication to start.
In response to an instruction from the flash processing unit 366, the LAN card 120 stops communication, starts communication, and flushes the transmission packet in the FIFO.

このように、ネットワーク装置10は、いずれかのLANカード120でリンクダウンした場合に、このLANカード120に割り当てられたデータプレーンコアのLANドライバ460において、送信処理を送信ドロップ処理に置換して、送信データの準備を停止させる。さらに、ネットワーク装置10は、リンクダウンしたLANカード120に対して、フラッシュ処理を実行させて、FIFOに滞留した送信パケットがリンクアップ後に送出されないようにする。   In this way, when the network device 10 is linked down with any of the LAN cards 120, the LAN driver 460 of the data plane core assigned to the LAN card 120 replaces the transmission process with the transmission drop process, Stop preparing the transmission data. Furthermore, the network device 10 causes the LAN card 120 that has been linked down to execute a flush process so that the transmission packet that has accumulated in the FIFO is not sent out after the link up.

図8は、リンクアップ時におけるネットワーク装置10の処理(S20)を説明するフローチャートである。
図8に例示するように、ステップ200(S200)において、いずれかのLANカード120のLANコントローラが、リンクアップを検知するまで待機し(S200:No)、リンクアップを検知すると(S200:Yes)、S205の処理に移行する。
FIG. 8 is a flowchart for explaining the processing (S20) of the network device 10 at the time of link-up.
As illustrated in FIG. 8, in step 200 (S200), the LAN controller of any LAN card 120 waits until it detects link-up (S200: No), and detects link-up (S200: Yes). , The process proceeds to S205.

ステップ205(S205)において、リンクアップを検知したLANカード120のLANコントローラは、製品ファームにリンク変化割込み通知し、リンクアップを通知する。   In step 205 (S205), the LAN controller of the LAN card 120 that has detected the link up notifies the product firmware of a link change interrupt and notifies the link up.

ステップ210(S210)において、制御プレーンコア処理部300のDPDKでスレッドを起動する。
ステップ215(S215)において、制御プレーンコア処理部300のLANドライバ360のリンクダウン検出部362は、LANカード120からの割込み通知に基づいて、リンクアップを検出する。
In step 210 (S210), a thread is activated in the DPDK of the control plane core processing unit 300.
In step 215 (S215), the link down detection unit 362 of the LAN driver 360 of the control plane core processing unit 300 detects link up based on the interrupt notification from the LAN card 120.

ステップ220(S220)において、送信処理置換部364は、リンクダウン検出部362によりリンクアップが検出されると、リンクアップしたLANカード120に割り当てられたデータプレーンコア処理部400のLANドライバ460に対して、送信ドロップ処理を送信処理に置換するよう指示する。
データプレーンコア処理部400のLANドライバ460は、送信処理置換部364からの指示に応じて、送信ドロップ処理部464による送信ドロップ処理を、送信処理部462による送信処理に置換する。
In step 220 (S220), when the link-down detecting unit 362 detects a link up, the transmission processing replacing unit 364 sends the LAN driver 460 of the data plane core processing unit 400 assigned to the LAN card 120 linked up. The transmission drop process is instructed to be replaced with the transmission process.
The LAN driver 460 of the data plane core processing unit 400 replaces the transmission drop processing by the transmission drop processing unit 464 with the transmission processing by the transmission processing unit 462 in response to an instruction from the transmission processing replacement unit 364.

このように、ネットワーク装置10は、いずれかのLANカード120について、リンクアップが検出されると、送信ドロップ処理から送信処理に戻して、パケット送信を再開する。   In this way, when link up is detected for any of the LAN cards 120, the network device 10 returns from the transmission drop processing to the transmission processing and resumes packet transmission.

以上説明したように、本実施形態のネットワーク装置10は、いずれかのLANカード120においてリンクダウンが発生した場合に、対応するLANドライバ460の送信処理を送信ドロップ処理に置換することにより、このLANカード120で送信するパケットの準備を停止して、パケットの準備に要するコンピュータリソースの浪費を抑制する。
また、本ネットワーク装置10は、リンクダウンが発生した場合に、対応するLANカード120のFIFOをフラッシュさせて、時機を逸したデータ送信を抑制する。
As described above, the network device 10 according to the present embodiment replaces the transmission process of the corresponding LAN driver 460 with the transmission drop process when a link down occurs in any of the LAN cards 120, so that this LAN The preparation of the packet to be transmitted by the card 120 is stopped, and the waste of computer resources required for the preparation of the packet is suppressed.
In addition, when the link down occurs, the network device 10 flushes the FIFO of the corresponding LAN card 120 to suppress timely data transmission.

1…ネットワーク通信システム
10…ネットワーク装置
100…CPU
102…メモリ
104…スロット
120…LANカード
300…制御プレーンコア処理部
360…LANドライバ
362…リンクダウン検出部
364…送信処理置換部
366…フラッシュ処理部
400…データプレーンコア処理部
460…LANドライバ
462…送信処理部
464…送信ドロップ処理部
DESCRIPTION OF SYMBOLS 1 ... Network communication system 10 ... Network apparatus 100 ... CPU
DESCRIPTION OF SYMBOLS 102 ... Memory 104 ... Slot 120 ... LAN card 300 ... Control plane core process part 360 ... LAN driver 362 ... Link down detection part 364 ... Transmission process replacement part 366 ... Flash process part 400 ... Data plane core process part 460 ... LAN driver 462 ... Transmission processing unit 464 ... Transmission drop processing unit

Claims (9)

複数のネットワークインタフェースカードと、
前記ネットワークインタフェースカードで送信する送信データを準備する複数の送信処理部と、
前記ネットワークインタフェースカードのいずれかにリンクダウンが検知された場合に、リンクダウンが検知されたネットワークインタフェースカードで送信する送信データの準備を、前記送信処理部に停止させる制御部と
を有する情報処理装置。
Multiple network interface cards;
A plurality of transmission processing units for preparing transmission data to be transmitted by the network interface card;
An information processing apparatus comprising: a control unit that causes the transmission processing unit to stop preparing transmission data to be transmitted by the network interface card in which link down is detected when link down is detected in any of the network interface cards .
前記送信処理部は、ループ処理によって、送信データを送信キューに蓄積し、
前記制御部は、前記送信処理部に、前記ループ処理の一部を、送信失敗となる送信処理に置き換えて、送信データの準備を停止させる
請求項1に記載の情報処理装置。
The transmission processing unit accumulates transmission data in a transmission queue by loop processing,
The information processing apparatus according to claim 1, wherein the control unit causes the transmission processing unit to replace a part of the loop processing with a transmission process that results in a transmission failure and stop preparation of transmission data.
複数の前記送信処理部は、共用されるコンピュータリソースを用いて、送信データの準備を行い、
リンクダウンしているネットワークインタフェースカードに割り当てられた前記送信処理部は、共用されるコンピュータリソースの新規割当てを要求しない
請求項1に記載の情報処理装置。
The plurality of transmission processing units prepare transmission data using shared computer resources,
The information processing apparatus according to claim 1, wherein the transmission processing unit allocated to a network interface card that is linked down does not request a new allocation of a shared computer resource.
複数の前記送信処理部は、共用される記録領域を用いて、送信データを蓄積するための送信キューを構成し、
リンクダウンしているネットワークインタフェースカードに割り当てられた前記送信処理部は、送信キューのために、共用される記録領域の新規割当てを要求しない
請求項3に記載の情報処理装置。
The plurality of transmission processing units configure a transmission queue for storing transmission data using a shared recording area,
The information processing apparatus according to claim 3, wherein the transmission processing unit allocated to a network interface card that is linked down does not request a new allocation of a shared recording area for a transmission queue.
リンクダウンが検知されたネットワークインタフェースカードのみに対して、蓄積されている送信データをフラッシュさせるフラッシュ処理部
をさらに有する請求項2に記載の情報処理装置。
The information processing apparatus according to claim 2, further comprising: a flash processing unit that flushes stored transmission data only to a network interface card in which link down is detected.
前記フラッシュ処理部は、リンクダウンが検知された場合に、リンクダウンが検知されたネットワークインタフェースカードに対して、通信停止を指示し、その後に、通信開始を指示する
請求項5に記載の情報処理装置。
The information processing according to claim 5, wherein when the link-down is detected, the flash processing unit instructs the network interface card in which the link-down is detected to stop communication, and then instructs the communication start. apparatus.
前記送信処理部は、前記ネットワークインタフェースカードのドライバの一部であり、前記ネットワークインタフェースカードのリンク状態を監視することなく、ループ処理で送信データを送信キューに蓄積し、
前記制御部は、前記ネットワークインタフェースカードで検知されたリンクダウンに基づいて、前記送信処理部に、ループ処理の内容を置換させる
請求項1に記載の情報処理装置。
The transmission processing unit is a part of the driver of the network interface card, accumulates transmission data in a transmission queue in a loop process without monitoring the link state of the network interface card,
The information processing apparatus according to claim 1, wherein the control unit causes the transmission processing unit to replace the content of loop processing based on a link down detected by the network interface card.
複数のネットワークインタフェースカードそれぞれに関して、それぞれの前記ネットワークインタフェースカードで送信する送信データを準備する送信準備ステップと、
前記ネットワークインタフェースカードのいずれかにリンクダウンが検知された場合に、リンクダウンが検知されたネットワークインタフェースカードで送信する送信データの準備を停止させる停止ステップと
を有する情報処理方法。
For each of a plurality of network interface cards, a transmission preparation step of preparing transmission data to be transmitted by each of the network interface cards;
An information processing method comprising: a stop step of stopping preparation of transmission data to be transmitted by the network interface card in which link down is detected when link down is detected in any of the network interface cards.
複数のネットワークインタフェースカードそれぞれに関して、それぞれの前記ネットワークインタフェースカードで送信する送信データを準備する送信準備ステップと、
前記ネットワークインタフェースカードのいずれかにリンクダウンが検知された場合に、リンクダウンが検知されたネットワークインタフェースカードで送信する送信データの準備を停止させる停止ステップと
をコンピュータに実行させるプログラム。
For each of a plurality of network interface cards, a transmission preparation step of preparing transmission data to be transmitted by each of the network interface cards;
A program for causing a computer to execute a stop step of stopping preparation of transmission data to be transmitted by a network interface card in which link down is detected when link down is detected in any of the network interface cards.
JP2018063613A 2018-03-29 2018-03-29 Information processing equipment, information processing methods, and programs Active JP6979913B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2018063613A JP6979913B2 (en) 2018-03-29 2018-03-29 Information processing equipment, information processing methods, and programs

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2018063613A JP6979913B2 (en) 2018-03-29 2018-03-29 Information processing equipment, information processing methods, and programs

Publications (2)

Publication Number Publication Date
JP2019176366A true JP2019176366A (en) 2019-10-10
JP6979913B2 JP6979913B2 (en) 2021-12-15

Family

ID=68169022

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2018063613A Active JP6979913B2 (en) 2018-03-29 2018-03-29 Information processing equipment, information processing methods, and programs

Country Status (1)

Country Link
JP (1) JP6979913B2 (en)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115037786A (en) * 2022-08-09 2022-09-09 北京航天驭星科技有限公司 Method for improving data transmission efficiency and related equipment

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003530014A (en) * 2000-03-31 2003-10-07 インターナショナル・ビジネス・マシーンズ・コーポレーション Method and system for controlling the flow of a subpipe in a computer network
JP2007088949A (en) * 2005-09-22 2007-04-05 Fujitsu Ltd Information processing apparatus, communication load diffusing method and communication load diffusion program
JP2011041176A (en) * 2009-08-18 2011-02-24 Hitachi Kokusai Electric Inc Wireless communication system
JP2017046283A (en) * 2015-08-28 2017-03-02 株式会社Pfu Information processing apparatus, information processing method, and program
JP2017046286A (en) * 2015-08-28 2017-03-02 株式会社Pfu Information processing apparatus, information processing method, and program

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003530014A (en) * 2000-03-31 2003-10-07 インターナショナル・ビジネス・マシーンズ・コーポレーション Method and system for controlling the flow of a subpipe in a computer network
JP2007088949A (en) * 2005-09-22 2007-04-05 Fujitsu Ltd Information processing apparatus, communication load diffusing method and communication load diffusion program
JP2011041176A (en) * 2009-08-18 2011-02-24 Hitachi Kokusai Electric Inc Wireless communication system
JP2017046283A (en) * 2015-08-28 2017-03-02 株式会社Pfu Information processing apparatus, information processing method, and program
JP2017046286A (en) * 2015-08-28 2017-03-02 株式会社Pfu Information processing apparatus, information processing method, and program

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115037786A (en) * 2022-08-09 2022-09-09 北京航天驭星科技有限公司 Method for improving data transmission efficiency and related equipment
CN115037786B (en) * 2022-08-09 2022-11-01 北京航天驭星科技有限公司 Method for improving data transmission efficiency and related equipment

Also Published As

Publication number Publication date
JP6979913B2 (en) 2021-12-15

Similar Documents

Publication Publication Date Title
JP6528784B2 (en) Network function virtualization management and orchestration apparatus and system, management method and program
US9477632B2 (en) Access proxy for accessing peripheral component interconnect express endpoint device, PCIe exchanger and computer system
US10601657B2 (en) Instance node management method and management device
US9430266B2 (en) Activating a subphysical driver on failure of hypervisor for operating an I/O device shared by hypervisor and guest OS and virtual computer system
EP2641419B1 (en) A method and system for cell recovery in telecommunication networks
US7467322B2 (en) Failover method in a cluster computer system
US11640314B2 (en) Service provision system, resource allocation method, and resource allocation program
US8032786B2 (en) Information-processing equipment and system therefor with switching control for switchover operation
EP2757478A1 (en) Node device, communication system, and method for switching virtual switch
EP1942608A1 (en) Network interface control program and network interface controller
JP2006072591A (en) Virtual computer control method
US9210059B2 (en) Cluster system
CN1777137A (en) Data translation device and system based on ethernet and serial communication technology
JP5968841B2 (en) Network device and processor monitoring method
EP3618350A1 (en) Protection switching method, device and system
JP5262145B2 (en) Cluster system and information processing method
JP4964666B2 (en) Computer, program and method for switching redundant communication paths
US20140298076A1 (en) Processing apparatus, recording medium storing processing program, and processing method
JP6979913B2 (en) Information processing equipment, information processing methods, and programs
CN115801642B (en) RDMA communication management module, method, equipment and medium based on state control
JP6195316B2 (en) Information processing apparatus, information processing method, and program
JP2009176232A (en) Starting device, starting method, and starting program
CN113439245B (en) Method and coordinating device for providing a control application via a communication network for transmitting time-critical data
JP2021048505A (en) Information processing device, information processing method, and program
JP3415557B2 (en) Printer control method, printer device and printer system

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20201012

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20210730

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210928

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20211115

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20211116

R150 Certificate of patent or registration of utility model

Ref document number: 6979913

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150