JP2016192660A - Network system, network control method, control device, and operation management device - Google Patents

Network system, network control method, control device, and operation management device Download PDF

Info

Publication number
JP2016192660A
JP2016192660A JP2015071221A JP2015071221A JP2016192660A JP 2016192660 A JP2016192660 A JP 2016192660A JP 2015071221 A JP2015071221 A JP 2015071221A JP 2015071221 A JP2015071221 A JP 2015071221A JP 2016192660 A JP2016192660 A JP 2016192660A
Authority
JP
Japan
Prior art keywords
network
component
control
layer
virtual
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2015071221A
Other languages
Japanese (ja)
Inventor
悠介 篠原
Yusuke Shinohara
悠介 篠原
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
NEC Corp
Original Assignee
NEC Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by NEC Corp filed Critical NEC Corp
Priority to JP2015071221A priority Critical patent/JP2016192660A/en
Publication of JP2016192660A publication Critical patent/JP2016192660A/en
Pending legal-status Critical Current

Links

Images

Landscapes

  • Data Exchanges In Wide-Area Networks (AREA)

Abstract

PROBLEM TO BE SOLVED: To provide a network system, a network control method, a control device, and an operation management device, capable of optimizing configuration of a virtual network function.SOLUTION: A control device (11): monitors virtual components (VMM, VM, VNF) on a physical server and physical components (SV, 21A, 21B, 21C) on a network; manages at least one virtual network function (VNF) operating on a physical server according to network topology information regarding the components; stores operation policy with configured control conditions; and executes setting control for solving a problem of at least one of a virtual component and a physical component if problem occurrence is determined, at least at one component, at least on one layer, working on physical severs (31, 32) according to the control conditions of the operation policy.SELECTED DRAWING: Figure 18

Description

本発明は仮想ネットワーク機能を含むネットワークシステムに係り、特にネットワークの制御方法、制御装置および運用管理装置に関する。   The present invention relates to a network system including a virtual network function, and more particularly to a network control method, control apparatus, and operation management apparatus.

現在の通信システムでは、BRAS(Broadband Remote Access Server)、NAT(Network Address Translation)、ルータ、ファイヤウォールなどの様々なネットワーク機能(Network Function:NF)を専用のハードウェア機器(アプライアンス)により実現している。このために、ネットワークオペレータは、新たなネットワークサービスを立ち上げる場合、新たな専用のハートウェア機器の導入を強いられ、機器の購入費用や設置スペース等の多大なコストを必要とする。このような状況に鑑み、近年、ハードウェア機器で実行されるネットワーク機能をソフトウェアにより仮想的に実行する技術(ネットワーク機能の仮想化:Network Function Virtualization)が検討されている(非特許文献1)。ネットワークサービスの仮想化の一例として、特許文献1に、通信ノード装置上に複数の仮想ルータを構築し、これらの仮想ルータの資源を通信品質に応じて動的に配分する方法が開示されている。   In the current communication system, various network functions (Network Function: NF) such as BRAS (Broadband Remote Access Server), NAT (Network Address Translation), router, and firewall are realized by dedicated hardware equipment (appliance). Yes. For this reason, when starting up a new network service, the network operator is forced to introduce a new dedicated heartware device, and requires a large cost such as a device purchase cost and an installation space. In view of such a situation, in recent years, a technique (virtual network function virtualization) in which a network function executed by a hardware device is virtually executed by software has been studied (Non-Patent Document 1). As an example of network service virtualization, Patent Document 1 discloses a method of constructing a plurality of virtual routers on a communication node device and dynamically allocating resources of these virtual routers according to communication quality. .

また、複数の仮想ネットワーク機能(Virtual Network Function:VNF)を組み合わせた通信経路に通信フローを伝送することにより種々のネットワークサービスを提供する技術も検討されている(たとえば、非特許文献2を参照)。   In addition, a technique for providing various network services by transmitting a communication flow to a communication path in which a plurality of virtual network functions (VNFs) are combined has been studied (for example, see Non-Patent Document 2). .

特開2012−175418号公報JP 2012-175418 A

Network Functions Virtualization - Update White Paper, October 15-17, 2013 at the “SDN and OpenFlow World Congress”, Frankfurt-Germany (http://portal.etsi.org/NFV/NFV_White_Pater2.pdf)Network Functions Virtualization-Update White Paper, October 15-17, 2013 at the “SDN and OpenFlow World Congress”, Frankfurt-Germany (http://portal.etsi.org/NFV/NFV_White_Pater2.pdf)

ETSI GS NFV 001 v1.1.1 (2013-10)“Network Functions Virtualisation (NFV); Use Cases”(http://docbox.etsi.org/ISG/NFV/Open/Published/gs_NFV001v010101p%20-%20Use%20Cases.pdETSI GS NFV 001 v1.1.1 (2013-10) “Network Functions Virtualisation (NFV); Use Cases” (http://docbox.etsi.org/ISG/NFV/Open/Published/gs_NFV001v010101p%20-%20Use%20Cases .pd

上述した特許文献および非特許文献では、VNFの配置およびVNF間のパスを管理しているが、このようにして決定されたVNF配置がシステム全体のスループットを最適化するとは限らない。たとえば、VNFが動作する物理サーバ自体が過負荷状態にあれば、当該VNFのパフォーマンスは低下する。このように、各VNFが動作する下位レイヤを考慮しなければ、システム全体のスループットを最適化することはできない。   In the above-described patent document and non-patent document, the VNF arrangement and the path between the VNFs are managed. However, the VNF arrangement determined in this way does not always optimize the throughput of the entire system. For example, if the physical server itself on which the VNF operates is in an overload state, the performance of the VNF is degraded. Thus, the throughput of the entire system cannot be optimized without considering the lower layer in which each VNF operates.

たとえば、実際のVNFは仮想マシン(Virtual Machine:VM)上で起動され、VMは仮想マシンモニタ(Virtual Machine Monitor:VMM)上で生成、管理され、さらにVMMは物理サーバ上に実装される。したがって、実際のネットワークサービスは、VNFだけでなく、その下位レイヤである物理レイヤ、VM、VMM等を経由している。VNFおよびその下位レイヤの少なくとも一つのレイヤで、たとえば障害あるいは過負荷状態が発生すれば、ネットワークサービスのパフォーマンス低下を招来し、システム全体の性能を低下させる。   For example, an actual VNF is activated on a virtual machine (VM), a VM is generated and managed on a virtual machine monitor (VMM), and the VMM is mounted on a physical server. Therefore, the actual network service goes through not only the VNF but also the physical layer, VM, VMM, etc., which are lower layers thereof. If, for example, a failure or an overload condition occurs in at least one of the VNF and its lower layers, the performance of the network service is degraded, and the performance of the entire system is degraded.

そこで、本発明の目的は、仮想ネットワーク機能の配置を最適化できるネットワークシステム、ネットワーク制御方法および制御装置を提供することにある。   Therefore, an object of the present invention is to provide a network system, a network control method, and a control apparatus that can optimize the arrangement of virtual network functions.

本発明によるネットワーク制御装置は、ネットワークを制御する装置であって、前記ネットワークに含まれる物理サーバ上の仮想コンポーネントおよび前記ネットワークの物理コンポーネントの状態を監視し、これらのコンポーネントに関するネットワークトポロジ情報に基づいて前記物理サーバ上で動作する少なくとも一つの仮想ネットワーク機能を管理する管理手段と、制御条件が設定された運用ポリシを格納する格納手段と、前記運用ポリシの制御条件に従って前記物理サーバ上で動作する少なくとも一つのレイヤにおける少なくとも一つのコンポーネントで問題が発生したと判断された場合、前記仮想コンポーネントおよび前記物理コンポーネントの少なくとも一方に対して前記問題を解決する設定制御を実行する制御手段と、を有することを特徴とする。
本発明によるネットワーク制御方法は、ネットワークを制御する方法であって、管理手段が、前記ネットワークに含まれる物理サーバ上の仮想コンポーネントおよび前記ネットワークの物理コンポーネントを監視し、これらのコンポーネントに関するネットワークトポロジ情報に基づいて前記物理サーバ上で動作する少なくとも一つの仮想ネットワーク機能を管理し、制御条件が設定された運用ポリシを格納手段に格納し、制御手段が、前記運用ポリシの制御条件に従って前記物理サーバ上で動作する少なくとも一つのレイヤにおける少なくとも一つのコンポーネントで問題が発生したと判断された場合、前記仮想コンポーネントおよび前記物理コンポーネントの少なくとも一方に対して前記問題を解決する設定制御を実行する、ことを特徴とする。
本発明によるネットワークシステムは、ネットワークを制御する制御装置と、前記制御装置を介して前記ネットワークを管理する運用管理装置と、を有し、前記運用管理装置が前記制御装置に運用ポリシを設定し、前記制御装置が、ネットワークに含まれる物理サーバ上の仮想コンポーネントおよび前記ネットワークの物理コンポーネントの状態を監視し、これらのコンポーネントに関するネットワークトポロジ情報に基づいて前記物理サーバ上で動作する少なくとも一つの仮想ネットワーク機能を管理する管理手段と、前記運用ポリシの制御条件に従って前記物理サーバ上で動作する少なくとも一つのレイヤにおける少なくとも一つのコンポーネントで問題が発生したと判断された場合、前記仮想コンポーネントおよび前記物理コンポーネントの少なくとも一方に対して前記問題を解決する設定制御を実行する制御手段と、を有することを特徴とする。
本発明によるネットワーク運用管理装置は、上記ネットワークシステムにおける運用管理装置であって、前記物理サーバ上の仮想コンポーネントおよび前記ネットワークの物理コンポーネントの要求条件と前記運用ポリシとを前記制御装置に設定する手段と、前記制御装置により設定された、前記仮想ネットワーク機能、前記仮想コンポーネントおよび前記物理コンポーネントからなる拡張サービスチェインを表示部に表示する手段と、を有することを特徴とする。
本発明によるプログラムは、ネットワーク制御装置としてコンピュータを機能させるプログラムであって、ネットワークに含まれる物理サーバ上の仮想コンポーネントおよび前記ネットワークの物理コンポーネントを監視し、これらのコンポーネントに関するネットワークトポロジ情報に基づいて前記物理サーバ上で動作する少なくとも一つの仮想ネットワーク機能を管理する機能と、制御条件が設定された運用ポリシを格納手段に格納する機能と、前記運用ポリシの制御条件に従って前記物理サーバ上で動作する少なくとも一つのレイヤにおける少なくとも一つのコンポーネントで問題が発生したと判断された場合、前記仮想コンポーネントおよび前記物理コンポーネントの少なくとも一方に対して前記問題を解決する設定制御を実行する機能と、を前記コンピュータに実現することを特徴とする。
A network control device according to the present invention is a device for controlling a network, monitors the status of virtual components on a physical server included in the network and the physical components of the network, and based on network topology information related to these components. Management means for managing at least one virtual network function operating on the physical server; storage means for storing an operation policy in which control conditions are set; and at least operating on the physical server according to the control conditions of the operation policy Control means for executing setting control for solving the problem on at least one of the virtual component and the physical component when it is determined that a problem has occurred in at least one component in one layer; And wherein the Rukoto.
The network control method according to the present invention is a method for controlling a network, in which a management unit monitors a virtual component on a physical server included in the network and a physical component of the network, and includes network topology information related to these components. And managing at least one virtual network function operating on the physical server based on the management policy, storing an operation policy in which a control condition is set in a storage unit, and the control unit on the physical server according to the control condition of the operation policy. When it is determined that a problem has occurred in at least one component in at least one operating layer, setting control for solving the problem is performed on at least one of the virtual component and the physical component. To.
A network system according to the present invention includes a control device that controls a network, and an operation management device that manages the network via the control device, wherein the operation management device sets an operation policy in the control device, At least one virtual network function in which the control device monitors the status of the virtual components on the physical server included in the network and the physical components of the network, and operates on the physical server based on network topology information regarding these components And when the virtual component and the physical component are determined to have occurred in at least one component in at least one layer operating on the physical server in accordance with the control conditions of the operational policy. And a control means for executing a setting control to solve the problem for at least one of the bets, and having a.
A network operation management apparatus according to the present invention is an operation management apparatus in the network system, and means for setting a virtual component on the physical server, a requirement condition of the physical component of the network, and the operation policy in the control apparatus; And a means for displaying an extended service chain configured by the control device and comprising the virtual network function, the virtual component, and the physical component on a display unit.
A program according to the present invention is a program for causing a computer to function as a network control device, which monitors a virtual component on a physical server included in a network and a physical component of the network, and based on network topology information regarding these components. A function for managing at least one virtual network function operating on a physical server, a function for storing an operation policy in which a control condition is set in a storage means, and at least an operation on the physical server according to the control condition of the operation policy When it is determined that a problem has occurred in at least one component in one layer, setting control for solving the problem is performed on at least one of the virtual component and the physical component Characterized in that to achieve the ability to the computer.

本発明によれば、ネットワーク上での仮想ネットワーク機能の最適な配置を実現できる。   According to the present invention, optimal arrangement of virtual network functions on a network can be realized.

図1は本発明の実施形態を実装するネットワークの一例を示すシステム構成図である。FIG. 1 is a system configuration diagram showing an example of a network implementing an embodiment of the present invention. 図2は本発明の第1実施形態によるネットワークシステムの概略的動作を説明するための模式的なネットワーク図である。FIG. 2 is a schematic network diagram for explaining a schematic operation of the network system according to the first embodiment of the present invention. 図3は本発明の第1実施形態による制御装置の概略的構成を示すブロック図である。FIG. 3 is a block diagram showing a schematic configuration of the control device according to the first embodiment of the present invention. 図4は第1実施形態による制御装置に設けられたデータベースのデータ構成例を示す図である。FIG. 4 is a diagram illustrating a data configuration example of a database provided in the control device according to the first embodiment. 図5は第1実施形態におけるサーバの概略的構成を示すブロック図である。FIG. 5 is a block diagram showing a schematic configuration of the server in the first embodiment. 図6は本発明の第2実施形態によるネットワークシステムの概略的動作を説明するための模式的なネットワーク図である。FIG. 6 is a schematic network diagram for explaining the schematic operation of the network system according to the second embodiment of the present invention. 図7は第2実施形態による制御装置に設けられたデータベースのデータ構成例を示す図である。FIG. 7 is a diagram illustrating a data configuration example of a database provided in the control device according to the second embodiment. 図8は第2実施形態によるネットワークシステムの動作を示すシーケンス図である。FIG. 8 is a sequence diagram showing the operation of the network system according to the second embodiment. 図9は本発明の実施例2−1よるネットワークシステムの概略的動作を説明するための模式的なネットワーク図である。FIG. 9 is a schematic network diagram for explaining the schematic operation of the network system according to the embodiment 2-1 of the present invention. 図10は本発明の実施例2−2よるネットワークシステムの概略的動作を説明するための模式的なネットワーク図である。FIG. 10 is a schematic network diagram for explaining a schematic operation of the network system according to the embodiment 2-2 of the present invention. 図11は本発明の実施例2−3よるネットワークシステムの概略的動作を説明するための模式的なネットワーク図である。FIG. 11 is a schematic network diagram for explaining a schematic operation of the network system according to the embodiment 2-3 of the present invention. 図12は本発明の実施例2−4よるネットワークシステムの概略的動作を説明するための模式的なネットワーク図である。FIG. 12 is a schematic network diagram for explaining the schematic operation of the network system according to the embodiment 2-4 of the present invention. 図13は本発明の第3実施形態によるネットワークシステムの概略的動作を説明するための模式的なネットワーク図である。FIG. 13 is a schematic network diagram for explaining the schematic operation of the network system according to the third embodiment of the present invention. 図14は本発明の実施例3−1よるネットワークシステムの概略的動作を説明するための模式的なネットワーク図である。FIG. 14 is a schematic network diagram for explaining a schematic operation of the network system according to the embodiment 3-1 of the present invention. 図15は本発明の実施例3−2よるネットワークシステムの概略的動作を説明するための模式的なネットワーク図である。FIG. 15 is a schematic network diagram for explaining a schematic operation of the network system according to the embodiment 3-2 of the present invention. 図16は本発明の第4実施形態によるネットワークシステムの概略的動作を説明するための模式的なネットワーク図である。FIG. 16 is a schematic network diagram for explaining a schematic operation of the network system according to the fourth embodiment of the present invention. 図17は第4実施形態によるネットワークシステムの動作を示すシーケンス図である。FIG. 17 is a sequence diagram showing the operation of the network system according to the fourth embodiment. 図18は本発明の第5実施形態によるネットワークシステムの概略的動作を説明するための模式的なネットワーク図である。FIG. 18 is a schematic network diagram for explaining a schematic operation of the network system according to the fifth embodiment of the present invention. 図19は第5実施形態によるネットワークシステムにおける運用管理装置の概略的構成を示すブロック図である。FIG. 19 is a block diagram showing a schematic configuration of an operation management apparatus in the network system according to the fifth embodiment. 図20は第5実施形態における運用管理装置によるネットワーク可視化の一例である表示画面を模式的に示す図である。FIG. 20 is a diagram schematically showing a display screen which is an example of network visualization by the operation management apparatus in the fifth embodiment. 図21は第5実施形態における運用管理装置によるサービスチェイン可視化の一例である表示画面を模式的に示す図である。FIG. 21 is a diagram schematically showing a display screen which is an example of service chain visualization by the operation management apparatus in the fifth embodiment. 図22は第5実施形態における運用管理装置によるサービスチェイン可視化の他の例である表示画面を模式的に示す図である。FIG. 22 is a diagram schematically showing a display screen which is another example of service chain visualization by the operation management apparatus in the fifth embodiment. 図23は本発明の第6実施形態による制御装置の概略的構成を示すブロック図である。FIG. 23 is a block diagram showing a schematic configuration of a control device according to the sixth embodiment of the present invention. 図24は第6実施形態における物理スイッチの概略的構成を示すブロック図である。FIG. 24 is a block diagram showing a schematic configuration of a physical switch in the sixth embodiment. 図25は第6実施形態におけるサーバの概略的構成を示すブロック図である。FIG. 25 is a block diagram showing a schematic configuration of a server in the sixth embodiment. 図26は第6実施形態において採用されるオープンフロー技術について説明するための模式的なシステム構成図である。FIG. 26 is a schematic system configuration diagram for explaining the open flow technique employed in the sixth embodiment. 図27は図26におけるフローテーブルに格納されるエントリの構成を模式的に示すフォーマット図である。FIG. 27 is a format diagram schematically showing the configuration of entries stored in the flow table in FIG.

A.実施形態の概要
本発明の実施形態によれば、仮想ネットワーク機能(VNF)だけでなく、その下位レイヤの各コンポーネントもネットワークサービスを構成する一つの「ノード」として捉える。したがって、VNFおよびその下位レイヤのノードを含めたネットワークサービスを提供するパス(以下、拡張パスという。)に基づいてネットワークサービスを管理することができる。VNFとは異なるレイヤのリソースをも考慮して管理することにより、現実に即したネットワークサービスの最適化が可能となる。以下、図1に示すネットワークシステムを参照しながら本発明の実施形態の概要を説明する。
A. Outline of Embodiment According to the embodiment of the present invention, not only the virtual network function (VNF) but also each component in the lower layer is regarded as one “node” constituting the network service. Therefore, the network service can be managed based on a path that provides a network service including the VNF and its lower layer nodes (hereinafter referred to as an extension path). By managing in consideration of resources of a layer different from VNF, it is possible to optimize network services in accordance with reality. The outline of the embodiment of the present invention will be described below with reference to the network system shown in FIG.

<システム構成>
図1に示すように、制御装置10は、物理スイッチ等の物理ノードとVNFを提供可能なサーバとを含むネットワーク20を制御し、後述する拡張パスに基づいてVNFの配置および設定を制御する。ネットワーク20は複数の物理ノードおよびn個(n:1以上の整数)の物理サーバSV1〜SVnを含み、それらが隣接する物理ノードあるいは物理サーバと物理リンクにより接続されている。なお、制御装置10はネットワークの運用管理装置内に設けられてもよい。尚、以後の記載では、物理サーバSV1〜SVnを指して単に「サーバ」と記載することもある。
<System configuration>
As shown in FIG. 1, the control device 10 controls a network 20 including a physical node such as a physical switch and a server capable of providing VNF, and controls the arrangement and setting of the VNF based on an extended path described later. The network 20 includes a plurality of physical nodes and n (n: an integer of 1 or more) physical servers SV1 to SVn, which are connected to adjacent physical nodes or physical servers by physical links. The control device 10 may be provided in a network operation management device. In the following description, the physical servers SV1 to SVn may be simply referred to as “servers”.

各サーバは、仮想ネットワーク機能(VNF)レイヤ、VNFを起動するVMレイヤ、VMの生成および管理を行うVM管理レイヤ、およびVM管理機能を実装する物理レイヤからなるマルチレイヤ構成を有し、することができる。ここではネットワークサービスを構成する1以上のVNFをそれぞれ物理サーバSV1〜SVnに配置可能であるものとする。   Each server has a multi-layer configuration including a virtual network function (VNF) layer, a VM layer that starts VNF, a VM management layer that generates and manages VMs, and a physical layer that implements the VM management function Can do. Here, it is assumed that one or more VNFs constituting the network service can be arranged in the physical servers SV1 to SVn, respectively.

<拡張パス>
上述したように、各サーバがマルチレイヤ構成を有する場合、たとえば1種類以上のVNFからなるネットワークサービスは、実際には、各サーバのVNFだけでなく、下位レイヤである物理レイヤ、VMレイヤ、VM管理レイヤ等を経由した拡張パスとしてとらえることができる。制御装置10は、このような拡張パスに基づいてVNFを含む全てのレイヤのコンポーネントリソースを管理する。
<Extended path>
As described above, when each server has a multi-layer configuration, for example, a network service including one or more types of VNFs is not only a VNF of each server, but also a physical layer, a VM layer, and a VM that are lower layers. It can be considered as an extended path via the management layer. The control device 10 manages the component resources of all layers including the VNF based on such an extended path.

たとえば、VNFおよびその下位レイヤの少なくとも一つのレイヤで障害あるいは過負荷状態が発生すれば、制御装置10は、拡張パスのノードにおける障害あるいは過負荷状態として識別することができ、当該ノードの障害あるいは過負荷状態に対する適切な対策をとることができる。   For example, if a failure or an overload condition occurs in at least one of VNF and its lower layers, the control device 10 can identify the failure or overload condition in the node of the extended path, Appropriate measures against overload conditions can be taken.

より詳しくは、あるレイヤで障害、過負荷状態等の問題が発生した場合、同一レイヤあるいは下位レイヤにおいて当該問題を解決するための制御を行うことができる。たとえば、あるサーバのVNFあるいはVMで障害あるいは過負荷状態が発生した場合には、新たなVMを起動する、あるいは上流側のノードにおける物理レイヤで帯域制限を行う等の対処が可能である。また、ある物理リンクあるいは物理サーバで障害あるいは過負荷状態が発生すれば、障害あるいは過負荷状態の箇所を回避するようにネットワークサービスのパスを変更し、別のサーバで同じVNFを起動して対処することができる。また、このような問題解決制御を管理ツールを用いてポリシベースで行うこともできる。   More specifically, when a problem such as a failure or an overload state occurs in a certain layer, control for solving the problem can be performed in the same layer or a lower layer. For example, when a failure or an overload condition occurs in a VNF or VM of a server, it is possible to take measures such as starting a new VM or limiting the bandwidth in the physical layer in the upstream node. Also, if a failure or overload occurs in a physical link or physical server, change the network service path to avoid the location of the failure or overload and start the same VNF on another server can do. Such problem solving control can also be performed on a policy basis using a management tool.

このように拡張パスを用いて管理することでシステム全体のスループットを最適化することが可能となる。以下、図1に示すマルチレイヤ構成を一例として、本発明の実施形態について具体的に説明する。なお、VM管理レイヤノードは仮想マシンマネージャVMM(Virtual Machine Manager)、あるいはハイパバイザ(Hypervisor)とも呼ばれる。   By managing using the extended path in this way, it is possible to optimize the throughput of the entire system. Hereinafter, the embodiment of the present invention will be described in detail by taking the multilayer configuration shown in FIG. 1 as an example. The VM management layer node is also called a virtual machine manager VMM (Virtual Machine Manager) or a hypervisor.

1.第1実施形態
1.1)システム構成
図2に示すように、本発明の第1実施形態によるネットワークシステムは制御装置10と制御装置10が制御するネットワーク20とからなり、記載を簡単にするために、ネットワーク20は、2つの物理ノードN1およびN2と、その間に配置されたサーバ30と、を含むものとする。
1. 1. First Embodiment 1.1) System Configuration As shown in FIG. 2, the network system according to the first embodiment of the present invention includes a control device 10 and a network 20 controlled by the control device 10, and the description is simplified. In addition, it is assumed that the network 20 includes two physical nodes N1 and N2 and a server 30 disposed therebetween.

サーバ30は、隣接ノードと物理リンクで接続するための物理レイヤのコンポーネントSVと、VM管理レイヤのコンポーネントVMMと、VMレイヤのコンポーネントVMと、ネットワーク機能であるVNFレイヤのコンポーネントVNFと、からなるマルチレイヤ構成を有する。すなわち、サーバ30では、物理レイヤのコンポーネントSV上に複数の仮想ソフトウェア(VMM、VM、VNF)が階層的に起動している。したがって、この例における仮想ネットワーク機能VNFは、上述したように、物理ノードN1、N2、物理リンク、サーバ30のレイヤコンポーネントSV、VMMおよびVMをそれぞれノードとする一つの拡張パスとして扱われる。   The server 30 includes a physical layer component SV for connecting to an adjacent node through a physical link, a VM management layer component VMM, a VM layer component VM, and a VNF layer component VNF that is a network function. It has a layer structure. That is, in the server 30, a plurality of virtual software (VMM, VM, VNF) are hierarchically started on the physical layer component SV. Therefore, as described above, the virtual network function VNF in this example is handled as one extended path having the physical nodes N1, N2, the physical link, and the layer components SV, VMM, and VM of the server 30 as nodes.

<制御装置>
図3に例示するように、本実施形態による制御装置10は、拡張パス設定部101、ノード管理部102、データベース103、制御部104、および図示されていない記録装置を有し、ネットワーク20のネットワークリソース情報およびノード情報を収集すると共に、拡張パスに基づいてネットワーク20におけるネットワークサービスを最適化するようにパスおよびノード設定を制御する。
<Control device>
As illustrated in FIG. 3, the control device 10 according to the present embodiment includes an extended path setting unit 101, a node management unit 102, a database 103, a control unit 104, and a recording device (not shown). Resource information and node information are collected, and path and node settings are controlled to optimize network services in the network 20 based on the extended path.

拡張パス設定部101は、データベース103を参照して、特定のネットワークサービスを構成するために必要なノードを繋ぐ拡張パスの設定を行う。ノード管理部102は、拡張パスを構成する各ノード、すなわち物理スイッチ、仮想アプライアンス、仮想マシン等の物理リソースおよび仮想リソースを管理する。データベース103は、コンポーネントに関するネットワークトポロジ情報と各コンポーネントの使用状態、要求条件等のパラメータ情報とを格納する。   The extended path setting unit 101 refers to the database 103 and sets an extended path that connects nodes necessary for configuring a specific network service. The node management unit 102 manages each node constituting the extended path, that is, a physical resource and a virtual resource such as a physical switch, a virtual appliance, and a virtual machine. The database 103 stores network topology information about components and parameter information such as usage status and request conditions of each component.

制御部104は、ネットワーク20の物理リンク、物理ノードおよび上述した各コンポーネントノードの監視情報を取得してデータベース103を構成するとともに、上述した拡張パス設定部101、ノード管理部102およびデータベース103によるネットワークサービス管理動作を制御する。ここで、各コンポーネントノードの監視情報は各ノードの状態を示すリソース情報であり、たとえば通信量、CPU使用率、帯域占有率などの負荷情報、使用可能か否かの可用性情報などである。   The control unit 104 obtains the monitoring information of the physical link and the physical node of the network 20 and each of the component nodes described above to configure the database 103, and the network including the extended path setting unit 101, the node management unit 102 and the database 103 described above Control service management operations. Here, the monitoring information of each component node is resource information indicating the state of each node, for example, load information such as communication volume, CPU usage rate, bandwidth occupancy rate, availability information indicating whether or not it is usable.

なお、拡張パス設定部101、ノード管理部102および制御部104と同じ機能は、CPU(Central Processing Unit)あるいはコンピュータ上で、図示しないメモリに格納されたプログラムを実行することにより実現することもできる。   The same functions as those of the extended path setting unit 101, the node management unit 102, and the control unit 104 can also be realized by executing a program stored in a memory (not shown) on a CPU (Central Processing Unit) or a computer. .

<データベース>
図4に示すように、データベース103は、各レイヤのコンポーネントに関する情報、すなわち管理対象となる物理ノードおよび仮想ノードに関する情報を格納する。格納情報はネットワークトポロジ情報(コンポーネントおよびコンポーネント情報)とそのパラメータ情報とからなる。パラメータ情報は、各コンポーネントの使用状態、使用可否あるいは要求条件等を示す情報であり、監視情報を取得するごとに更新されうる。各コンポーネントに対応するコンポーネント情報とパラメータ情報との一例は以下の通りである。
<Database>
As shown in FIG. 4, the database 103 stores information on components of each layer, that is, information on physical nodes and virtual nodes to be managed. The stored information includes network topology information (component and component information) and parameter information thereof. The parameter information is information indicating the usage state, availability of use, request conditions, and the like of each component, and can be updated each time monitoring information is acquired. An example of component information and parameter information corresponding to each component is as follows.

・コンポーネントが物理リンクであれば、その接続関係がコンポーネント情報であり、当該ノードのリソース情報(たとえば通信帯域、使用帯域あるいは空き帯域等)がパラメータ情報である。
・コンポーネントが物理スイッチであれば、ノード識別情報がコンポーネント情報であり、そのノードのリソース情報(たとえば使用可否情報など)がパラメータ情報である。
・コンポーネントがサーバであれば、ノード識別情報がコンポーネント情報であり、そのノードのリソース情報(たとえばCPU使用率、メモリ使用率、あるいはメモリ空き容量などの負荷情報)がパラメータ情報である。
・コンポーネントが仮想マシンVMであれば、そのノード識別情報がコンポーネント情報であり、当該ノードのリソース情報(通信帯域、使用帯域あるいは空き帯域等)がパラメータ情報である。
・コンポーネントが仮想マシンモニタ(ハイパバイザ)であれば、ノード識別情報がコンポーネント情報であり、そのノードのリソース情報(たとえばCPU使用率、メモリ使用率、あるいはメモリ空き容量などの負荷情報)がパラメータ情報である。
・コンポーネントが仮想ネットワーク機能(VNF)であれば、当該ノード識別情報がコンポーネント情報であり、そのノードのリソース情報(たとえば必要なネットワーク通信帯域、必要なサーバあるいはVMのCPU能力等の要求情報)がパラメータ情報である。
If the component is a physical link, the connection relationship is component information, and the resource information of the node (for example, communication band, used band, free band, etc.) is parameter information.
If the component is a physical switch, the node identification information is component information, and the resource information (for example, availability information) of the node is parameter information.
If the component is a server, the node identification information is component information, and the resource information of the node (for example, load information such as CPU usage rate, memory usage rate, or memory free capacity) is parameter information.
If the component is a virtual machine VM, the node identification information is component information, and the resource information (communication band, used band, free band, etc.) of the node is parameter information.
If the component is a virtual machine monitor (hypervisor), the node identification information is component information, and the resource information of the node (for example, load information such as CPU usage rate, memory usage rate, or memory free capacity) is parameter information. is there.
If the component is a virtual network function (VNF), the node identification information is component information, and resource information of the node (for example, required network communication bandwidth, required server or VM CPU request information, etc.) Parameter information.

<サーバ>
図5に示すように、サーバ30は、制御部131、VMM132、ノード状態モニタ133、および図示しないメモリを提供する記憶装置を有する。VMM132は、複数のVNFを実行可能な複数の仮想マシンVM1、VM2、・・・を生成し管理する。ノード状態モニタ133は、VNFレイヤ、VMレイヤ、VMMレイヤおよび物理サーバレイヤにおけるそれぞれのコンポーネント状態(ノード状態)を監視し、これらの監視情報を格納する。制御部131は、周期的にあるいは制御装置10からの要求に応じて、監視情報を制御装置10へ送信する。その際、監視情報に何らかの差異が生じたときだけに監視情報あるいはその差分を制御装置10へ送信してもよい。また、サーバ30内で各ノードの障害あるいは過負荷情報等の問題の有無を検知し、検知情報と共に監視情報を通知することもできる。ただし、サーバ30が制御装置10に受信パケットを転送し、制御装置10がそれを分析してコンポーネント状態を監視するシステムでは、サーバ30にノード状態モニタ133は不要である。
<Server>
As illustrated in FIG. 5, the server 30 includes a control unit 131, a VMM 132, a node state monitor 133, and a storage device that provides a memory (not shown). The VMM 132 generates and manages a plurality of virtual machines VM1, VM2,... That can execute a plurality of VNFs. The node state monitor 133 monitors each component state (node state) in the VNF layer, the VM layer, the VMM layer, and the physical server layer, and stores the monitoring information. The control unit 131 transmits monitoring information to the control device 10 periodically or in response to a request from the control device 10. At that time, the monitoring information or the difference may be transmitted to the control device 10 only when some difference occurs in the monitoring information. It is also possible to detect whether there is a problem such as a failure of each node or a problem such as overload information in the server 30 and notify the monitoring information together with the detection information. However, in the system in which the server 30 transfers the received packet to the control apparatus 10 and the control apparatus 10 analyzes the packet to monitor the component state, the server 30 does not need the node state monitor 133.

なお、制御部131、VMM132、VM、VNFおよびノード状態モニタ133と同じ機能は、サーバ30のCPU(Central Processing Unit)あるいはコンピュータ上で、図示しないメモリに格納されたプログラムを実行することにより実現することもできる。   The same functions as those of the control unit 131, the VMM 132, the VM, the VNF, and the node state monitor 133 are realized by executing a program stored in a memory (not shown) on the CPU (Central Processing Unit) or the computer of the server 30. You can also.

1.2)動作
制御装置10の制御部104は、物理ノードN1、N2および物理リンクだけでなく、サーバ30のレイヤコンポーネントSV、VMM、VMおよびVNFのそれぞれの状態を監視情報としてモニタし、取得した監視情報をデータベース103に図4に例示する形式で格納する。
1.2) Operation The control unit 104 of the control device 10 monitors and acquires the status of each of the layer components SV, VMM, VM and VNF of the server 30 as well as the physical nodes N1 and N2 and the physical link as monitoring information. The monitored information is stored in the database 103 in the format illustrated in FIG.

制御装置10の拡張パス設定部101は、データベース103を参照して、特定のネットワークサービスを構成するために必要なノードを繋ぐパス(拡張パス)を設定する。ノード管理部102は、複数レイヤのそれぞれのノードからなる拡張パスの物理リソースおよび仮想リソースをデータベース103を参照しながら管理する。制御部104は、ノード管理部102の管理結果に従って、あるノードに障害あるいは過負荷状態等の問題発生が検知されると、当該ノードの問題を解消するようにノード単位で対処することができる。   The extended path setting unit 101 of the control device 10 refers to the database 103 and sets a path (extended path) that connects nodes necessary for configuring a specific network service. The node management unit 102 manages the physical resources and virtual resources of the extended path composed of the nodes in the plurality of layers with reference to the database 103. When the occurrence of a problem such as a failure or an overload state is detected in a certain node according to the management result of the node management unit 102, the control unit 104 can cope with each node so as to solve the problem of the node.

1.3)効果
上述したように、本発明の第1実施形態によれば、VNFの下位レイヤリソースを考慮した拡張パスに基づいてネットワークサービスを管理することにより、ネットワークサービスを最適経路で実現できる。さらに、制御装置10は、拡張パスの各ノードの監視情報に基づいて、ネットワークサービスが最適化されるようにノードあるいはサーバの設定を変更することが可能となる。
1.3) Effect As described above, according to the first embodiment of the present invention, the network service can be realized by the optimum route by managing the network service based on the extension path considering the lower layer resources of the VNF. . Furthermore, the control device 10 can change the setting of the node or the server so that the network service is optimized based on the monitoring information of each node in the extended path.

2.第2実施形態
本発明の第2実施形態によるネットワークシステムは、上述した第1実施形態と同様に、VNFの下位レイヤリソースを考慮した拡張パスに基づく管理に加えて、あるレイヤで発生した問題を解消するために、同一レイヤあるいは別のレイヤのノードに対して設定変更等を行うことができる。
2. Second Embodiment In the network system according to the second embodiment of the present invention, in the same way as in the first embodiment described above, in addition to the management based on the extended path considering the lower layer resources of VNF, the problem occurring in a certain layer In order to solve this problem, it is possible to change the settings for the nodes in the same layer or in different layers.

たとえば、拡張パスを構成する上位ノード(たとえばVNFレイヤノード)で障害あるいは過負荷状態等の問題が発生すると、当該ノードのレイヤより下位のノード(たとえばVMレイヤノード、物理レイヤノード)を制御することにより当該問題を解決することができる。以下、図6〜図12を参照しながら第2実施形態について詳述する。   For example, when a problem such as a failure or an overload state occurs in an upper node (for example, a VNF layer node) constituting an extended path, a node lower than the layer of the node (for example, a VM layer node or a physical layer node) is controlled. Can solve the problem. Hereinafter, the second embodiment will be described in detail with reference to FIGS.

2.1)システム構成
図6に示すように、本発明の第2実施形態によるネットワークシステムは制御装置10と制御装置10が制御するネットワーク20とからなり、ネットワーク20は、物理スイッチ21A、21Bおよび21Cと、物理スイッチ21Aと21Cの間に配置されたサーバ31と、物理スイッチ21Cと21Bの間に配置されたサーバ32と、を含むものとする。なお、ネットワーク20において、物理スイッチ21Aがエッジスイッチであるとする。
2.1) System Configuration As shown in FIG. 6, the network system according to the second embodiment of the present invention includes a control device 10 and a network 20 controlled by the control device 10, and the network 20 includes physical switches 21A, 21B and 21C, a server 31 disposed between the physical switches 21A and 21C, and a server 32 disposed between the physical switches 21C and 21B. In the network 20, it is assumed that the physical switch 21A is an edge switch.

サーバ31は、物理レイヤのコンポーネントSV1と、VM管理レイヤのコンポーネントVMM1と、VMレイヤのコンポーネントVM1と、VNFレイヤのコンポーネントVNF1と、からなるマルチレイヤ構成を有する。すなわち、サーバ31では、物理レイヤのコンポーネントSV1上に複数の仮想ソフトウェア(VMM1、VM1、VNF1)が階層的に起動している。サーバ32も同様に、物理レイヤのコンポーネントSV2と、VM管理レイヤのコンポーネントVMM2と、VMレイヤのコンポーネントVM2と、VNFレイヤのコンポーネントVNF2と、からなるマルチレイヤ構成を有し、物理レイヤのコンポーネントSV2上に複数の仮想ソフトウェア(VMM2、VM2、VNF2)が階層的に起動している。   The server 31 has a multi-layer configuration including a physical layer component SV1, a VM management layer component VMM1, a VM layer component VM1, and a VNF layer component VNF1. That is, in the server 31, a plurality of virtual software (VMM1, VM1, VNF1) are hierarchically activated on the physical layer component SV1. Similarly, the server 32 has a multi-layer configuration including a physical layer component SV2, a VM management layer component VMM2, a VM layer component VM2, and a VNF layer component VNF2, on the physical layer component SV2. A plurality of virtual software (VMM2, VM2, and VNF2) are hierarchically activated.

この例における仮想ネットワーク機能VNF1およびVNF2の各々は、物理スイッチ21A、物理リンク、サーバ31の各レイヤコンポーネント(SV1/VMM1/VM1/VNF1)、物理リンク、物理スイッチ21C、物理リンク、サーバ32の各レイヤコンポーネント(SV2/VMM2/VM2/VNF2)をそれぞれノードとする拡張パスに含まれるノードとして扱われる。   Each of the virtual network functions VNF1 and VNF2 in this example includes a physical switch 21A, a physical link, each layer component of the server 31 (SV1 / VMM1 / VM1 / VNF1), a physical link, a physical switch 21C, a physical link, and a server 32. Each of the layer components (SV2 / VMM2 / VM2 / VNF2) is treated as a node included in an extended path having a node.

制御装置10は、図3に示す第1実施形態と同様の構成および機能を有する。すなわち、制御部104は、各ノードから監視情報を取得してデータベース103へ格納し、ノード管理部102があるノードでの問題発生を検出すると、当該問題を解消するために同一レイヤあるいは別のレイヤのノードに対して設定変更を行う。   The control device 10 has the same configuration and function as the first embodiment shown in FIG. That is, the control unit 104 acquires monitoring information from each node and stores it in the database 103. When the node management unit 102 detects a problem in a certain node, the control unit 104 detects the occurrence of a problem in the same layer or another layer. Change the settings for the node.

図7に示すように、本実施形態におけるデータベース103には、図6に示すシステム構成に対応するネットワークトポロジ情報(コンポーネントおよびコンポーネント情報)とそのパラメータ情報とが格納される。データ構造は、図4に示す第1実施形態と同様であるから説明は省略する。   As shown in FIG. 7, the database 103 in this embodiment stores network topology information (components and component information) corresponding to the system configuration shown in FIG. 6 and its parameter information. The data structure is the same as that of the first embodiment shown in FIG.

また、サーバ31および32も、図5に示すサーバ30と同様の構成を有するので、説明は省略する。   Also, the servers 31 and 32 have the same configuration as the server 30 shown in FIG.

2.2)動作
図8に示すように、サーバ31および32のノード状態モニタ133は、各コンポーネント(ノード)の状態を監視し(動作S201)、各ノードの監視情報を制御装置10へ送信する(動作S202)。なお、上述したように、監視情報に何らかの差異が生じたときだけに監視情報あるいはその差分を制御装置10へ送信してもよいし、また、サーバ31、32内で各ノードの問題の有無を検知し、問題の有無を示す情報と共に監視情報を通知してもよい。
2.2) Operation As shown in FIG. 8, the node state monitor 133 of the servers 31 and 32 monitors the state of each component (node) (operation S201), and transmits the monitoring information of each node to the control device 10. (Operation S202). As described above, the monitoring information or the difference may be transmitted to the control device 10 only when some difference occurs in the monitoring information, and the presence / absence of the problem of each node in the servers 31 and 32 may be determined. The monitoring information may be notified together with information indicating whether there is a problem.

監視情報を取得した制御装置10は、監視情報によりデータベース103を更新すると共に、あるノードで障害あるいは過負荷状態等の何らかの問題が発生したときには、当該問題を解消するためのノード設定を決定し(動作S203)、設定処理が実行される(動作S204あるいはS205)。   The control device 10 that has acquired the monitoring information updates the database 103 with the monitoring information, and when a certain problem such as a failure or an overload occurs in a certain node, determines a node setting for solving the problem ( Operation S203), setting processing is executed (Operation S204 or S205).

たとえば、制御装置10が設定情報を物理スイッチへ通知する場合には、当該物理スイッチにおいて、パケット廃棄、帯域制限、経路切替等の処理が実行される(動作S204)。また、制御装置10が設定情報をサーバ31あるいは32へ通知する場合には、当該サーバにおいて、新規VNF起動、VNFのためのメモリ増加等の処理が実行される(動作S205)。以下、図6に示すシステムを一例として、本実施形態の具体例について詳述する。   For example, when the control device 10 notifies the physical switch of the setting information, processing such as packet discard, bandwidth limitation, and path switching is executed in the physical switch (Operation S204). Further, when the control device 10 notifies the server 31 or 32 of the setting information, processing such as new VNF activation and memory increase for VNF is executed in the server (operation S205). Hereinafter, a specific example of this embodiment will be described in detail using the system shown in FIG. 6 as an example.

<実施例2−1>
本発明の実施例2−1によれば、あるレイヤのノードで発生した問題を当該問題発生ノードより上流側にあるエッジノードで解消する。たとえば、あるサーバのVNFノードで過負荷状態になれば、エッジノードで当該VNFへのトラフィックを制限することで過負荷状態を解消することができる。
<Example 2-1>
According to the embodiment 2-1 of the present invention, a problem that has occurred in a node in a certain layer is solved by an edge node that is upstream from the problem occurrence node. For example, if an overload state occurs in a VNF node of a certain server, the overload state can be eliminated by restricting traffic to the VNF at an edge node.

図9に示すように、制御装置10はネットワーク20から各ノードの監視情報を取得し(動作S202)、上述したように拡張パスに基づいてVNF2ノードで障害あるいは過負荷状態等の問題が発生したことを検知したとする。この状態のままだと、パケットがVNF2ノードに到達してから廃棄等の処理がされる。そこで、制御装置10は、当該VNF2へのトラフィックのエッジノードとなる物理スイッチ21Aに対して、障害あるいは過負荷状態等の問題を解決するための設定を送信する(動作S203)。これにより、物理スイッチ21Aにおいて、当該VNF2へのトラフィックに対するパケット廃棄、帯域制限、経路切替等のトラフィック制御が実行される(動作S204)。エッジスイッチ21Aでトラフィックが減少するので、VNF1およびVNF2ノードの負荷を軽減することができる。   As shown in FIG. 9, the control device 10 acquires monitoring information of each node from the network 20 (operation S202), and a problem such as a failure or an overload state has occurred in the VNF2 node based on the extended path as described above. Is detected. If this state remains, processing such as discarding is performed after the packet reaches the VNF2 node. Therefore, the control device 10 transmits a setting for solving a problem such as a failure or an overload state to the physical switch 21A serving as an edge node of traffic to the VNF 2 (operation S203). As a result, traffic control such as packet discard, bandwidth limitation, and path switching for the traffic to the VNF 2 is executed in the physical switch 21A (operation S204). Since the traffic is reduced at the edge switch 21A, the load on the VNF1 and VNF2 nodes can be reduced.

<実施例2−2>
本発明の実施例2−2によれば、あるレイヤのノードで過負荷問題が発生すると、当該レイヤに同一機能のノードを新規に起動することにより、過負荷問題を解消する。
<Example 2-2>
According to the embodiment 2-2 of the present invention, when an overload problem occurs in a node of a certain layer, the overload problem is solved by newly starting a node having the same function in the layer.

図10に示すように、制御装置10はネットワーク20から各ノードの監視情報を取得し(動作S202)、上述したように拡張パスに基づいてVNF2ノードで過負荷状態の問題が発生したことを検知したとする。この場合、制御装置10は、VM2ノードの処理能力に影響しないかぎり、当該VNF2を起動しているサーバ32に対して、同一機能を有する新規のVNF2の起動を指示する(動作S203、S205)。これにより、VNF2ノードの処理能力が増大し、VNF2レイヤの過負荷状態を解消することができる。   As shown in FIG. 10, the control device 10 acquires monitoring information of each node from the network 20 (operation S202), and detects that an overload problem has occurred in the VNF2 node based on the extended path as described above. Suppose that In this case, as long as the processing capacity of the VM2 node is not affected, the control device 10 instructs the server 32 that is starting the VNF2 to start a new VNF2 having the same function (operations S203 and S205). Thereby, the processing capability of the VNF2 node is increased, and the overload state of the VNF2 layer can be eliminated.

同様に、VM2ノードが過負荷状態であれば、制御装置10は、VMM2ノードの処理能力に影響しない限り、当該VM2を起動しているサーバ32に対してVMM2レイヤの上に同一機能を有する新規のVM2およびVNF2を起動することで、元のVM2ノードの負荷を軽減することができる。   Similarly, if the VM2 node is in an overload state, the control device 10 has a new function having the same function on the VMM2 layer with respect to the server 32 that is starting the VM2 as long as the processing capacity of the VMM2 node is not affected. By starting up VM2 and VNF2, the load on the original VM2 node can be reduced.

<実施例2−3>
本発明の実施例2−3によれば、あるレイヤのノードで過負荷問題が発生すると、当該ノードの割り当てメモリを増加させることで処理能力を向上させ、過負荷問題を解消する。
<Example 2-3>
According to Embodiment 2-3 of the present invention, when an overload problem occurs in a node of a certain layer, the processing capacity is improved by increasing the allocated memory of the node, and the overload problem is solved.

図11に示すように、制御装置10はネットワーク20から各ノードの監視情報を取得し(動作S202)、上述したように拡張パスに基づいてVNF2ノードで過負荷状態の問題が発生したことを検知したとする。この場合、制御装置10は、VM2ノードの処理能力に影響しない限り、サーバ32に対して、当該VNF2に割り当てるメモリあるいは容量を増加させるように指示する(動作S203、S205)。これにより、VNF2ノードの処理能力が増大し、VNF2レイヤの過負荷状態を解消することができる。   As shown in FIG. 11, the control apparatus 10 acquires monitoring information of each node from the network 20 (operation S202), and detects that an overload problem has occurred in the VNF2 node based on the extended path as described above. Suppose that In this case, the control device 10 instructs the server 32 to increase the memory or capacity allocated to the VNF 2 as long as the processing capacity of the VM 2 node is not affected (operations S203 and S205). Thereby, the processing capability of the VNF2 node is increased, and the overload state of the VNF2 layer can be eliminated.

同様に、VM2ノードが過負荷状態であれば、制御装置10は、VMM2ノードの処理能力に影響しない限り、当該VM2に割り当てるメモリあるいは容量を増加させるように指示する(動作S203、S205)。これにより、VM2ノードの処理能力が増大し、VM2レイヤの過負荷状態を解消することができる。   Similarly, if the VM2 node is in an overload state, the control device 10 instructs to increase the memory or capacity allocated to the VM2 as long as the processing capacity of the VMM2 node is not affected (operations S203 and S205). As a result, the processing capacity of the VM2 node increases, and the overload state of the VM2 layer can be eliminated.

<実施例2−4>
本発明の実施例2−4は、上述した第1実施例の変形例であり、あるレイヤのノードで発生した問題を当該問題発生ノードの上流側にある直近の物理ノードで解消する。
<Example 2-4>
The embodiment 2-4 of the present invention is a modification of the first embodiment described above, and solves a problem that has occurred in a node of a certain layer at the nearest physical node upstream of the problem occurrence node.

図12において、上述したように拡張パスに基づいてサーバ32のVNF2ノードで障害あるいは過負荷状態の発生が検知された場合、制御装置10は、当該サーバ32の直近の物理スイッチ21Cに対して、当該VNF2へのトラフィックを制限することで過負荷状態を解消することができる(動作S203)。   In FIG. 12, when the occurrence of a failure or an overload state is detected in the VNF 2 node of the server 32 based on the extended path as described above, the control device 10 performs the following operation on the physical switch 21 </ b> C closest to the server 32. By limiting the traffic to the VNF 2, the overload state can be eliminated (operation S203).

3.第3実施形態
本発明の第3実施形態によるネットワークシステムは、上述した第1実施形態と同様に、VNFの下位レイヤリソースを考慮した拡張パスに基づく管理に加えて、あるレイヤで発生した問題を解消するために、当該問題が発生したノードの上流側にある物理スイッチに対して設定変更することで、当該ノードを回避するようにネットワークサービスのパスを変更する。以下、図13〜図17を参照しながら第3実施形態について詳述する。
3. Third Embodiment In the network system according to the third embodiment of the present invention, in the same way as in the first embodiment described above, in addition to the management based on the extended path considering the lower layer resources of VNF, the problem occurring in a certain layer In order to solve the problem, the network service path is changed so as to avoid the node by changing the setting of the physical switch on the upstream side of the node where the problem has occurred. Hereinafter, the third embodiment will be described in detail with reference to FIGS.

3.1)システム構成
図13に示すように、本発明の第3実施形態によるネットワークシステムは制御装置10と制御装置10が制御するネットワーク20とからなり、ネットワーク20は、物理ノードN1〜N3、物理ノードN1とN2の間に配置された現在使用されているサーバ31と、物理ノードN1とN3の間に配置された他のサーバ33と、を含むものとする。なお、サーバ31および33は上述した実施形態と同様のマルチレイヤ構成を有し、少なくともVNFレイヤとVMレイヤには同一機能のVNF1ノードとVM1ノードとが起動するものとする。
3.1) System Configuration As shown in FIG. 13, the network system according to the third embodiment of the present invention includes a control device 10 and a network 20 controlled by the control device 10, and the network 20 includes physical nodes N1 to N3, It is assumed that the currently used server 31 arranged between the physical nodes N1 and N2 and another server 33 arranged between the physical nodes N1 and N3 are included. The servers 31 and 33 have the same multi-layer configuration as in the above-described embodiment, and at least the VNF 1 node and the VM 1 node having the same function are activated in the VNF layer and the VM layer.

3.2)動作
図13において、VNF1のトラフィックがサーバ31のVNF1で処理されており、当該VNF1ノードおよびその下位ノードにおいて障害あるいは過負荷状態等の問題が発生したものとする(動作S301)。制御装置10はネットワーク20から各ノードの監視情報を取得し(動作S302)、上述したように、拡張パスに基づいてサーバ31のVNF1レイヤおよびその下位レイヤでの障害あるいは過負荷状態等の問題発生を検知する。この場合、制御装置10は、当該VNF1ノードへのトラフィックのパスをサーバ33へ変更するように上流側の物理ノードN1に対して設定変更を行う(動作S303)。これにより、物理ノードN1において、当該VNF2へのトラフィックに対するパス切替が実行され(動作S304)、サーバ31と同一機能のVNF1が起動したサーバ33を通して同一のネットワークサービスが提供される。
3.2) Operation In FIG. 13, it is assumed that the VNF1 traffic is processed by the VNF1 of the server 31, and a problem such as a failure or an overload state has occurred in the VNF1 node and its lower nodes (operation S301). The control device 10 acquires monitoring information of each node from the network 20 (operation S302), and as described above, a problem such as a failure or an overload state occurs in the VNF1 layer and its lower layers of the server 31 based on the extended path. Is detected. In this case, the control device 10 changes the setting of the upstream physical node N1 so as to change the traffic path to the VNF1 node to the server 33 (operation S303). As a result, the path switching for the traffic to the VNF 2 is executed in the physical node N1 (operation S304), and the same network service is provided through the server 33 in which the VNF 1 having the same function as the server 31 is activated.

なお、サーバ33に現用のサーバ31と同じVNF1およびVM1を生成するために、たとえばマイグレーション技術を用いることもできる。また、物理ノードN1でのトラフィックパスの切替は物理ノードN1のロードバランサにより実現されてもよい。この場合、制御装置10からの設定変更指示はロードバランサに対して行われる。以下、図14〜図17を参照しながら、本実施形態の具体例について説明する。   In order to generate the same VNF 1 and VM 1 as the active server 31 in the server 33, for example, a migration technique can be used. Further, switching of the traffic path in the physical node N1 may be realized by a load balancer of the physical node N1. In this case, a setting change instruction from the control device 10 is issued to the load balancer. Hereinafter, specific examples of the present embodiment will be described with reference to FIGS.

<実施例3−1>
図14に示すように、本発明の実施例3−1によるネットワークシステムは制御装置10と制御装置10が制御するネットワーク20とからなり、ネットワーク20は、物理スイッチ21A、21B、21C、21D、21Eと、物理スイッチ21Aと21Cの間に配置されたサーバ31と、物理スイッチ21Cと21Bの間に配置されたサーバ32と、物理スイッチ21Aと21Dの間に配置されたサーバ33と、物理スイッチ21Dと21Eの間に配置されたサーバ34と、を含むものとする。さらに、ネットワーク20において、物理スイッチ21Aがエッジスイッチであり、この物理スイッチ21Aに物理的あるいは仮想的にロードバランサLBが設けられているものとする。
<Example 3-1>
As shown in FIG. 14, the network system according to the embodiment 3-1 of the present invention includes a control device 10 and a network 20 controlled by the control device 10, and the network 20 includes physical switches 21A, 21B, 21C, 21D, and 21E. A server 31 disposed between the physical switches 21A and 21C, a server 32 disposed between the physical switches 21C and 21B, a server 33 disposed between the physical switches 21A and 21D, and the physical switch 21D. And the server 34 disposed between 21E and 21E. Furthermore, in the network 20, it is assumed that the physical switch 21A is an edge switch, and the physical switch 21A is provided with a load balancer LB physically or virtually.

サーバ31〜34は上述した実施形態と同様のマルチレイヤ構成を有し、サーバ31および33において、少なくともVNFレイヤとVMレイヤには同一機能のVNF1ノードとVM1ノードとが起動し、サーバ32および34において、少なくともVNFレイヤとVMレイヤには同一機能のVNF2ノードとVM2ノードとが起動するものとする。   The servers 31 to 34 have the same multi-layer configuration as in the above-described embodiment. In the servers 31 and 33, the VNF1 node and the VM1 node having the same function are activated at least in the VNF layer and the VM layer. In this case, it is assumed that the VNF 2 node and the VM 2 node having the same function are activated at least in the VNF layer and the VM layer.

この例における仮想ネットワーク機能VNF1およびVNF2の各々は、物理スイッチ21A、物理リンク、サーバ31の各レイヤコンポーネント(SV1/VMM1/VM1/VNF1)、物理リンク、物理スイッチ21C、物理リンク、サーバ32の各レイヤコンポーネント(SV2/VMM2/VM2/VNF2)をそれぞれノードとする拡張パスに含まれるノードとして扱われる。同様に、パス切替後の仮想ネットワーク機能VNF1およびVNF2の各々は、物理スイッチ21A、物理リンク、サーバ33の各レイヤコンポーネント(SV3/VMM3/VM1/VNF1)、物理リンク、物理スイッチ21D、物理リンク、サーバ34の各レイヤコンポーネント(SV4/VMM4/VM2/VNF2)をそれぞれノードとする拡張パスに含まれるノードとして扱われる。   Each of the virtual network functions VNF1 and VNF2 in this example includes a physical switch 21A, a physical link, each layer component of the server 31 (SV1 / VMM1 / VM1 / VNF1), a physical link, a physical switch 21C, a physical link, and a server 32. Each of the layer components (SV2 / VMM2 / VM2 / VNF2) is treated as a node included in an extended path having a node. Similarly, each of the virtual network functions VNF1 and VNF2 after path switching includes a physical switch 21A, a physical link, each layer component of the server 33 (SV3 / VMM3 / VM1 / VNF1), a physical link, a physical switch 21D, a physical link, Each layer component (SV4 / VMM4 / VM2 / VNF2) of the server 34 is treated as a node included in an extended path having a node as a node.

制御装置10は、図3に示す第1実施形態と同様の構成および機能を有する。すなわち、制御部104は、ネットワーク20の各ノードから監視情報を取得してデータベース103へ格納し、ノード管理部102があるノードでの問題発生を検出すると、当該問題を解消するためにエッジノードのロードバランサに対してパス切替の設定変更を行う。   The control device 10 has the same configuration and function as the first embodiment shown in FIG. That is, the control unit 104 acquires monitoring information from each node of the network 20 and stores the monitoring information in the database 103. When the node management unit 102 detects a problem occurrence in a node, Change the path switching setting for the load balancer.

図14において、VNF2のトラフィックがサーバ32のVNF2で処理されており、当該VNF2ノードおよびその下位ノードにおいて障害あるいは過負荷状態等の問題が発生したものとする(動作S301)。制御装置10はネットワーク20から各ノードの監視情報を取得し(動作S302)、上述したように拡張パスに基づいてサーバ32のVNF2レイヤおよびその下位レイヤでの障害あるいは過負荷状態等の問題発生を検知する。この場合、制御装置10は、当該VNF2ノードへのトラフィックの全部あるいは一部をサーバ33および34側のパスへ変更するようにエッジスイッチ21AのロードバランサLBに対して設定変更を行う(動作S303)。これにより、エッジスイッチ21Aにおいて、当該VNF2へのトラフィックに対する少なくとも一部の経路切替が実行され(動作S304)、サーバ31および32と同一機能のVNF1およびVNF2が生成されたサーバ33および34を通して問題発生前と同一のネットワークサービスを構成することができる。   In FIG. 14, it is assumed that the VNF2 traffic is processed by the VNF2 of the server 32, and a problem such as a failure or an overload state has occurred in the VNF2 node and its lower nodes (operation S301). The control device 10 acquires monitoring information of each node from the network 20 (operation S302), and generates a problem such as a failure or an overload state in the VNF2 layer and its lower layers of the server 32 based on the extended path as described above. Detect. In this case, the control device 10 changes the setting to the load balancer LB of the edge switch 21A so as to change all or part of the traffic to the VNF2 node to the path on the server 33 and 34 side (operation S303). . As a result, at the edge switch 21A, at least a part of the routes to the traffic to the VNF 2 is switched (operation S304), and a problem occurs through the servers 33 and 34 in which the VNF 1 and VNF 2 having the same function as the servers 31 and 32 are generated. The same network service as before can be configured.

<実施例3−2>
図15に示すように、本発明の実施例3−2によるネットワークシステムは、上述した実施例3−1と同様の構成を有するが、エッジスイッチ以外の物理スイッチ21にも物理的あるいは仮想的にロードバランサLBが設けられているものとする。また、サーバ31〜34は上述した実施形態と同様のマルチレイヤ構成を有し、サーバ32および34において、少なくともVNFレイヤとVMレイヤには同一機能のVNF2ノードとVM2ノードとが起動するものとする。
<Example 3-2>
As shown in FIG. 15, the network system according to the embodiment 3-2 of the present invention has the same configuration as that of the embodiment 3-1 described above. However, the physical switch 21 other than the edge switch is physically or virtually arranged. It is assumed that a load balancer LB is provided. In addition, the servers 31 to 34 have the same multi-layer configuration as the above-described embodiment, and in the servers 32 and 34, at least the VNF layer and the VM layer have the same function of the VNF 2 node and the VM 2 node. .

この例における仮想ネットワーク機能VNF1およびVNF2の各々は、物理スイッチ21A、物理リンク、サーバ31の各レイヤコンポーネント(SV1/VMM1/VM1/VNF1)、物理リンク、物理スイッチ21C、物理リンク、サーバ32の各レイヤコンポーネント(SV2/VMM2/VM2/VNF2)をそれぞれノードとする拡張パスに含まれるノードとして扱われる。同様に、パス切替後の仮想ネットワーク機能VNF1およびVNF2の各々は、物理スイッチ21A、物理リンク、サーバ31の各レイヤコンポーネント(SV1/VMM1/VM1/VNF1)、物理リンク、物理スイッチ21C、物理リンク、サーバ34の各レイヤコンポーネント(SV4/VMM4/VM2/VNF2)をそれぞれノードとする拡張パスに含まれるノードとして扱われる。   Each of the virtual network functions VNF1 and VNF2 in this example includes a physical switch 21A, a physical link, each layer component of the server 31 (SV1 / VMM1 / VM1 / VNF1), a physical link, a physical switch 21C, a physical link, and a server 32. Each of the layer components (SV2 / VMM2 / VM2 / VNF2) is treated as a node included in an extended path having a node. Similarly, each of the virtual network functions VNF1 and VNF2 after path switching includes a physical switch 21A, a physical link, each layer component of the server 31 (SV1 / VMM1 / VM1 / VNF1), a physical link, a physical switch 21C, a physical link, Each layer component (SV4 / VMM4 / VM2 / VNF2) of the server 34 is treated as a node included in an extended path having a node as a node.

制御装置10は、図3に示す第1実施形態と同様の構成および機能を有する。すなわち、制御部104は、ネットワーク20の各ノードから監視情報を取得してデータベース103へ格納し、ノード管理部102があるノードでの問題発生を検出すると、当該問題を解消するために、当該ノードの前段にある物理スイッチのロードバランサに対してパス切替の設定変更を行う。   The control device 10 has the same configuration and function as the first embodiment shown in FIG. That is, the control unit 104 acquires monitoring information from each node of the network 20 and stores it in the database 103. When the node management unit 102 detects a problem occurrence in a node, the control unit 104 Change the path switching setting for the load balancer of the physical switch in the previous stage.

図15において、VNF2のトラフィックがサーバ32のVNF2で処理されており、当該VNF2ノードおよびその下位ノードにおいて障害あるいは過負荷状態等の問題が発生したものとする(動作S301)。制御装置10はネットワーク20から各ノードの監視情報を取得し(動作S302)、上述したように拡張パスに基づいてサーバ32のVNF2レイヤおよびその下位レイヤでの障害あるいは過負荷状態等の問題発生を検知する。この場合、制御装置10は、当該VNF2ノードへのトラフィックの全部あるいは一部をサーバ34側のパスへ変更するようにサーバ32の前段に位置する物理スイッチ21CのロードバランサLBに対して設定変更を行う(動作S303)。これにより、物理スイッチ21Cにおいて、当該VNF2へのトラフィックの全部あるいは一部に対するパス切替が実行され(動作S304)、サーバ32と同一機能のVNF1およびVNF2が生成されたサーバ33および34を通して問題発生前と同一のネットワークサービスを構成することができる。   In FIG. 15, it is assumed that the VNF2 traffic is processed by the VNF2 of the server 32, and a problem such as a failure or an overload state has occurred in the VNF2 node and its lower nodes (operation S301). The control device 10 acquires monitoring information of each node from the network 20 (operation S302), and generates a problem such as a failure or an overload state in the VNF2 layer and its lower layers of the server 32 based on the extended path as described above. Detect. In this case, the control device 10 changes the setting to the load balancer LB of the physical switch 21C located in the preceding stage of the server 32 so that all or part of the traffic to the VNF2 node is changed to the path on the server 34 side. Perform (operation S303). Thereby, in the physical switch 21C, path switching for all or part of the traffic to the VNF 2 is executed (operation S304), and before the problem occurs through the servers 33 and 34 in which the VNF 1 and VNF 2 having the same function as the server 32 are generated. The same network service can be configured.

4.第4実施形態
本発明の第4実施形態によるシステムは3GPPシステムに適用可能である。
4). Fourth Embodiment A system according to a fourth embodiment of the present invention is applicable to a 3GPP system.

図16に示すように、本実施形態によれば、上述した制御装置10がMME(Mobile Management Entity)に対応し、上述したVNFがP−GW(Packet Data Network Gateway)に対応する。すなわち、図示するように、サーバ31および32がVNFレイヤにP−GWの機能を生成し、P−GW/VM/VMM/SVの各レイヤのノードの繋がりが拡張パスを構成する。   As shown in FIG. 16, according to the present embodiment, the control device 10 described above corresponds to an MME (Mobile Management Entity), and the VNF described above corresponds to a P-GW (Packet Data Network Gateway). That is, as shown in the figure, the servers 31 and 32 generate a P-GW function in the VNF layer, and the connection of nodes in each layer of the P-GW / VM / VMM / SV constitutes an extended path.

図16において、ユーザ端末UEは基地局eNBと無線接続し、基地局eNBとS−GW(Serving Gateway)との間およびS−GWとP−GWとの間に設定されたトンネル(GTP(GPRS Tunneling Protocol)トンネル)を通して外部ネットワーク(Packet Data Network)との間でパケット通信を行うことができる。既に説明したように、MMEの制御装置10は、ネットワークシステムから監視情報を収集してデータベース103に格納し、拡張パスに基づいて、あるレイヤのノードで障害あるいは過負荷状態等の問題が検知されると、S−GWに対してトンネルの変更を指示する。以下、現在使用しているP−GW(1)において障害あるいは過負荷状態等の問題が発生し、ユーザ端末UEのトラフィックのパスを変更する場合について説明する。   In FIG. 16, the user terminal UE is wirelessly connected to the base station eNB, and tunnels (GTP (GPRS (GPRS)) are set between the base station eNB and the S-GW (Serving Gateway) and between the S-GW and the P-GW. Packet communication can be performed with an external network (packet data network) through a tunneling protocol. As described above, the MME control device 10 collects monitoring information from the network system and stores it in the database 103. Based on the extended path, a problem such as a failure or an overload state is detected in a node of a certain layer. Then, it instructs the S-GW to change the tunnel. Hereinafter, a case where a problem such as a failure or an overload state occurs in the currently used P-GW (1) and the traffic path of the user terminal UE is changed will be described.

図17において、S−GWとP−GW(1)との間にトンネル(1)が設定され、サーバ31により仮想ネットワーク機能VNFとしてP−GW(1)が提供されている状態において、P−GW(1)およびその下位レイヤのノードで障害あるいは過負荷状態が検出され(動作S301)、障害/過負荷情報がMMEへ通知されたものとする(動作S302)。   In FIG. 17, in the state where the tunnel (1) is set between the S-GW and the P-GW (1) and the server 31 provides the P-GW (1) as the virtual network function VNF, the P- It is assumed that a failure or an overload state is detected in the GW (1) and its lower layer node (operation S301), and failure / overload information is notified to the MME (operation S302).

MMEは、サーバ31から障害/過負荷情報を受信すると、制御装置10のデータベース103を参照して、P−GWのリロケーションを実行する(動作S303)。MMEはP−GWリロケーション設定情報をS−GWへ通知し、これに従ってS−GWがトンネルのTEID(Tunnel Endpoint Identifier)あるいはIPアドレスをサーバ31のP−GW(1)からサーバ32のP−GW(2)へ変更する(動作S304)。こうして、S−GWとP−GW(2)との間のトンネル(2)が設定され、ユーザ端末UEのトラフィックがP−GW(2)を通したパスへ変更される。   When the MME receives the failure / overload information from the server 31, the MME refers to the database 103 of the control device 10 and executes P-GW relocation (operation S303). The MME notifies the S-GW of the P-GW relocation setting information, and the S-GW changes the tunnel TEID (Tunnel Endpoint Identifier) or IP address from the P-GW (1) of the server 31 to the P-GW of the server 32 accordingly. Change to (2) (operation S304). Thus, the tunnel (2) between the S-GW and the P-GW (2) is set, and the traffic of the user terminal UE is changed to a path through the P-GW (2).

上述したように、本実施例によれば、3GPPシステムにおいて、VNF(P−GW)の下位レイヤリソースを考慮した拡張パスに基づく管理を行うことができる。あるレイヤで問題が発生した場合、当該問題が発生したサーバ31の前段にあるスイッチ(S−GW)に対してトンネル設定を変更することで、当該サーバ31を回避するように仮想ネットワーク機能のパスを変更することが可能となる。   As described above, according to the present embodiment, in the 3GPP system, it is possible to perform management based on the extended path considering the lower layer resources of VNF (P-GW). If a problem occurs in a certain layer, the virtual network function path is avoided so as to avoid the server 31 by changing the tunnel setting for the switch (S-GW) in the previous stage of the server 31 in which the problem has occurred. Can be changed.

5.第5実施形態
本発明の第5実施形態によれば、ネットワーク20を制御する制御装置に運用ポリシを設定しておき、制御装置が運用ポリシに従って、上述した第1〜第4実施形態と同様のネットワーク制御を実行する。たとえば、拡張パスにおける所定レイヤのノードが所定値以上の負荷であれば、当該ノードを通るトラフィックの帯域制限、当該ノードを回避する経路変更等の処理を実行する、という運用ポリシを制御装置に設定できる。
5. Fifth Embodiment According to the fifth embodiment of the present invention, the operation policy is set in the control device that controls the network 20, and the control device is the same as that in the first to fourth embodiments described above according to the operation policy. Perform network control. For example, if a node of a predetermined layer in the extended path is a load greater than or equal to a predetermined value, an operation policy is set in the control device to execute processing such as bandwidth limitation of traffic passing through the node and route change to avoid the node. it can.

5.1)システム構成
図18に示すように、本発明の第5実施形態によるネットワークシステムでは、運用管理装置40が制御装置11に対して運用ポリシを設定し、制御装置11は運用ポリシに従ってネットワーク20を制御する。制御装置11は、図3に示す制御装置10と基本的に同じ構成および機能を有するが、図示しない記憶装置に運用ポリシが格納され、制御部104が運用ポリシを参照して制御を実行する点が第1〜第4実施形態とは異なっている。その他の構成および機能は上述した第1〜第4実施形態と同様であるから、図9と同じ参照番号を使用して説明は省略する。なお、制御装置11は運用管理装置40内に設けられてもよい。
5.1) System Configuration As shown in FIG. 18, in the network system according to the fifth embodiment of the present invention, the operation management apparatus 40 sets an operation policy for the control apparatus 11, and the control apparatus 11 performs networking according to the operation policy. 20 is controlled. The control device 11 has basically the same configuration and function as the control device 10 shown in FIG. 3, but the operation policy is stored in a storage device (not shown), and the control unit 104 executes control with reference to the operation policy. Is different from the first to fourth embodiments. Since other configurations and functions are the same as those in the first to fourth embodiments described above, the same reference numerals as those in FIG. The control device 11 may be provided in the operation management device 40.

図18において、オペレータが運用管理装置40に運用ポリシを設定すると、制御装置11は運用管理装置40に設定された運用ポリシに従ってネットワーク20の制御を行う。上述したように、制御装置11は、ネットワーク20の各ノードから監視情報を収集してデータベース103を更新する。あるノードにおいて障害あるいは過負荷状態等の問題が生じたことを運用ポリシに従って検出すると、制御装置11は、問題が発生したノードとは別のノードに対して問題を解決する処理を設定する。制御装置11によって対処設定されたノードは、該当するパケットに対して設定された処理を実行することで、問題を解決する。   In FIG. 18, when the operator sets an operation policy in the operation management apparatus 40, the control apparatus 11 controls the network 20 according to the operation policy set in the operation management apparatus 40. As described above, the control device 11 updates the database 103 by collecting monitoring information from each node of the network 20. When it is detected according to the operation policy that a problem such as a failure or an overload state has occurred in a certain node, the control device 11 sets a process for solving the problem for a node other than the node in which the problem has occurred. The node set by the control device 11 solves the problem by executing the processing set for the corresponding packet.

運用ポリシの制御対象パラメータの例は以下の通りである。
・VNF、VM、VMMおよび物理サーバの稼働率(CPUおよび/またはメモリの稼働率、使用量、使用率、消費電力等)。
・物理リンクおよび仮想リンクの通信帯域、使用帯域、使用率、トラフィック量等。
・ネットワークサービスの通信帯域、使用帯域、使用率、トラフィック量等。
これらのパラメータが所定の閾値を超えた場合あるいは下回った場合、制御装置11は当該ノードで問題が発生したものと判断し、ネットワーク20に対して問題を解決する処理を実行する。
Examples of operation policy control target parameters are as follows.
-VNF, VM, VMM, and physical server availability (CPU and / or memory availability, usage, usage, power consumption, etc.).
・ Communication bandwidth, usage bandwidth, usage rate, traffic volume, etc. of physical links and virtual links.
-Network service communication bandwidth, bandwidth used, usage rate, traffic volume, etc.
When these parameters exceed or fall below a predetermined threshold, the control device 11 determines that a problem has occurred in the node and executes processing for solving the problem on the network 20.

5.2)運用管理装置
図19において、運用管理装置40は、仮想リンク設定部401、要求条件およびポリシ設定部402、インターフェース403、およびユーザインターフェース404を有し、その他、図示しない制御部や記憶部を有する。ユーザインターフェース404はキーボード等の情報入力部とモニタ等の情報表示部とを含み、オペレータによる仮想リンク設定、要求条件設定および運用ポリシ設定、制御装置11により決定されたネットワーク上の拡張ノード配置の可視化、などを可能にする。
5.2) Operation Management Device In FIG. 19, the operation management device 40 includes a virtual link setting unit 401, a request condition and policy setting unit 402, an interface 403, and a user interface 404. Part. The user interface 404 includes an information input unit such as a keyboard and an information display unit such as a monitor, and virtual link setting by the operator, request condition setting and operation policy setting, and visualization of expansion node arrangement on the network determined by the control device 11 , And so on.

仮想リンク設定部401は、オペレータがユーザインターフェース404を通して入力したネットワークサービス(本実施形態では「サービスチェイン」ともいう。)から仮想リンクを生成する。要求条件およびポリシ設定部402は、要求条件設定部405およびポリシ設定部406を有し、オペレータの入力に基づいてサービスチェインを構成する際の要求条件および運用ポリシを生成する。以下、本実施形態による運用管理装置40の動作について図20〜図22を参照しながら説明する。   The virtual link setting unit 401 generates a virtual link from a network service (also referred to as “service chain” in the present embodiment) input by the operator through the user interface 404. The request condition and policy setting unit 402 includes a request condition setting unit 405 and a policy setting unit 406, and generates a request condition and an operation policy for configuring a service chain based on an operator input. Hereinafter, the operation of the operation management apparatus 40 according to the present embodiment will be described with reference to FIGS.

4.3)拡張パスの可視化
図20に例示するように、ユーザインターフェース404に表示された運用管理画面500は、入力ウィンドウ500aとネットワーク表示ウィンドウ500bとに分割されている。入力ウィンドウ500aにはサービスチェイン入力欄501と、複数の要求条件入力欄502と、運用ポリシ入力欄503が表示され、ネットワーク表示ウィンドウ500bには運用管理対象であるネットワークの物理的なトポロジと仮想ノードとが表示される。たとえば、運用管理装置40は、制御装置11のデータベース103からトポロジ情報および仮想ノード情報を取得し、取得した情報に基づいてネットワークの物理的構成および仮想ノードの構成を表示する。
4.3) Visualization of Extended Path As illustrated in FIG. 20, the operation management screen 500 displayed on the user interface 404 is divided into an input window 500a and a network display window 500b. The input window 500a displays a service chain input field 501, a plurality of request condition input fields 502, and an operation policy input field 503, and the network display window 500b displays the physical topology and virtual nodes of the network to be managed. Is displayed. For example, the operation management apparatus 40 acquires topology information and virtual node information from the database 103 of the control apparatus 11, and displays the physical configuration of the network and the configuration of the virtual node based on the acquired information.

図20において、ネットワーク表示ウィンドウ500bに例示されるネットワークトポロジでは、ネットワークノードAおよびBの各々がサーバA、B、Cに物理リンクで接続されている。また、各サーバは3つ仮想ネットワーク機能VNF_A、VNF_BおよびVNF_Cを配置可能であり、各VNFの下位レイヤのVMおよびVMMがそれぞれ仮想ノードとして表示されている。以下、説明を簡略化するために、サーバ(A)上にVNF_Aが、サーバ(B)および(C)の上にそれぞれ同じVM(B)およびVNF_Bが起動しているものとする。   In FIG. 20, in the network topology illustrated in the network display window 500b, each of the network nodes A and B is connected to the servers A, B, and C by physical links. Each server can arrange three virtual network functions VNF_A, VNF_B, and VNF_C, and VMs and VMMs of lower layers of each VNF are displayed as virtual nodes. Hereinafter, in order to simplify the description, it is assumed that VNF_A is activated on the server (A) and the same VM (B) and VNF_B are activated on the servers (B) and (C), respectively.

図21に示すように、オペレータがユーザインターフェース404を通してサービスチェイン入力欄501に次のようなサービスチェインを入力したとする:
A ⇔ VNF_A ⇔ VNF_B ⇔ B。
さらに、要求条件入力欄402に、ネットワークに要求される通信帯域、サーバおよびVMにそれぞれ要求されるCPU/メモリ能力が入力され、運用ポリシ入力欄503に次のような運用ポリシが入力されたとする:「サーバのCPU使用率>80%ならば、サービスチェインの設定変更あるいは経路変更を行う。」
As shown in FIG. 21, it is assumed that the operator inputs the following service chain in the service chain input field 501 through the user interface 404:
A V VNF_A ⇔ VNF_B B B.
Further, it is assumed that the communication bandwidth required for the network, the CPU / memory capacity required for the server and the VM are respectively input to the request condition input field 402, and the following operation policy is input to the operation policy input field 503. : “If the CPU usage rate of the server is greater than 80%, the service chain setting is changed or the route is changed.”

要求条件およびポリシ設定部402は、上記要求条件および運用ポリシを制御装置11へ送信して設定する。制御装置11は、運用管理装置40により設定された要求条件および運用ポリシに基づいて、たとえば次のような拡張パスの仮想リンクVL1、VL2およびVL3を生成して運用管理装置40へ送信する。
VL1:始点=NWノード(A) ; 終点=VNF_A
VL2:始点=VNF_A ; 終点=VNF_B(サーバB)
VL3:始点=VNF_B(サーバB); 終点=NWノード(B)
The request condition and policy setting unit 402 transmits the request condition and the operation policy to the control device 11 and sets them. Based on the request condition and operation policy set by the operation management device 40, the control device 11 generates, for example, the following extended path virtual links VL1, VL2, and VL3 and transmits them to the operation management device 40.
VL1: Start point = NW node (A); End point = VNF_A
VL2: start point = VNF_A; end point = VNF_B (server B)
VL3: Start point = VNF_B (server B); End point = NW node (B)

運用管理装置40は、図21に示すように、上記拡張パスの仮想リンクVL1、VL2およびVL3をネットワーク表示ウィンドウ500bに表示する。この状態で、VNF_Bノードが過負荷状態となり、そのサーバ(B)のCPU使用率が80%を超えたとする。   As shown in FIG. 21, the operation management apparatus 40 displays the virtual links VL1, VL2, and VL3 of the extended path on the network display window 500b. In this state, it is assumed that the VNF_B node is overloaded and the CPU usage rate of the server (B) exceeds 80%.

制御装置11は、VNF_Bノード、VM(B)ノード、VMM(B)ノードおよび物理サーバ(B)ノードからの監視情報により、サーバ(B)のCPU使用率が80%を超えたことを検知すると、VNF_Bノードの障害発生情報を運用管理装置40へ通知し、運用管理装置40はネットワーク表示ウィンドウ500bにVNF_Bノードの障害発生を表示する。   When the control device 11 detects that the CPU usage rate of the server (B) exceeds 80% based on the monitoring information from the VNF_B node, the VM (B) node, the VMM (B) node, and the physical server (B) node. The failure management information of the VNF_B node is notified to the operation management device 40, and the operation management device 40 displays the failure occurrence of the VNF_B node in the network display window 500b.

続いて、制御装置11は、データベース103を参照しながら、サーバ(B)の前段のノード(A)のスイッチの設定を変更し、たとえば図22に示すように、次のような新たな仮想リンクVL1、VL4およびVL5を生成して運用管理装置40へ送信する。
VL1:始点=NWノード(A) ; 終点=VNF_A
VL2:始点=VNF_A ; 終点=VNF_B(サーバC)
VL3:始点=VNF_B(サーバC); 終点=NWノード(B)
Subsequently, the control device 11 changes the switch setting of the node (A) in the previous stage of the server (B) while referring to the database 103, and for example, as shown in FIG. VL1, VL4, and VL5 are generated and transmitted to the operation management apparatus 40.
VL1: Start point = NW node (A); End point = VNF_A
VL2: start point = VNF_A; end point = VNF_B (server C)
VL3: Start point = VNF_B (server C); End point = NW node (B)

こうして、サーバ(B)上のVNF_Bノードおよびその下位ノードに障害が発生しても、サーバ(B)の前段のノード(A)の設定を変更することで、拡張パスの経路を問題を解決するように変更することができる。   Thus, even if a failure occurs in the VNF_B node on the server (B) and its lower nodes, the problem of the extended path route is solved by changing the setting of the node (A) in the previous stage of the server (B). Can be changed as follows.

なお、運用管理装置40の仮想リンク設定部401および要求条件およびポリシ設定部402と同じ機能は、プログラムを実行するプロセッサ(CPU:Central Processing Unit)と、プログラムを保持するROM(Read Only Memory)および情報を保持するRAM(Random Access Memory)等の記憶装置と、により実現することもできる。   Note that the same functions as the virtual link setting unit 401 and the request condition and policy setting unit 402 of the operation management apparatus 40 have a processor (CPU: Central Processing Unit) that executes a program, a ROM (Read Only Memory) that holds a program, and It can also be realized by a storage device such as a RAM (Random Access Memory) that holds information.

6.第6実施形態
本発明の第6実施形態による制御装置は、上述した各実施形態による拡張パスに基づいて、ネットワークにおけるネットワークサービスの経路を決定し、当該経路に沿って通信フローが転送されるように物理スイッチおよびサーバを制御する。以下、図23〜図27を参照しながら第6実施形態について詳述する。
6). Sixth Embodiment A control device according to a sixth embodiment of the present invention determines a network service route in the network based on the extended path according to each of the above-described embodiments, and the communication flow is transferred along the route. Control physical switches and servers. Hereinafter, the sixth embodiment will be described in detail with reference to FIGS. 23 to 27.

6.1)システム構成
図23に示すように、本発明の第6実施形態による制御装置12は、図2に示す制御装置11の制御部104にスイッチ制御部105の機能が追加されている。その他の基本的な構成および機能は上記実施形態と同様であるから説明は省略する。
6.1) System Configuration As shown in FIG. 23, in the control device 12 according to the sixth embodiment of the present invention, the function of the switch control unit 105 is added to the control unit 104 of the control device 11 shown in FIG. Since other basic configurations and functions are the same as those in the above embodiment, the description thereof is omitted.

図24に示すように、第6実施形態におけるネットワークノードである物理スイッチ21aは、データ転送部211、経路情報データベース212、および制御装置12と通信を行うためのインターフェース213を有する。物理スイッチ21aは、ネットワークサービスに属するフローを識別するための条件と当該フローのパケットの転送先とを含むデータを制御装置12から受信し、経路情報データベース212に格納する。データ転送部211は、経路情報データベース212に格納された条件および転送先情報に従って、ネットワークサービスに属するフローのパケットを識別し、対応する転送先(ノードあるいはサーバ)へ転送する。   As illustrated in FIG. 24, the physical switch 21 a that is a network node in the sixth embodiment includes a data transfer unit 211, a path information database 212, and an interface 213 for communicating with the control device 12. The physical switch 21 a receives data including a condition for identifying a flow belonging to the network service and a packet transfer destination of the flow from the control device 12 and stores the data in the route information database 212. The data transfer unit 211 identifies a packet of a flow belonging to the network service according to the conditions and transfer destination information stored in the route information database 212 and transfers the packet to a corresponding transfer destination (node or server).

図25に示すように、第6実施形態におけるサーバ30aは、複数のVNFをそれぞれ実行するための複数の仮想マシンVMと、複数の仮想マシンVMおよび隣接するネットワークノードの間の通信フローの切り替えを行う仮想スイッチ310とを有する。   As illustrated in FIG. 25, the server 30a according to the sixth embodiment switches a communication flow between a plurality of virtual machines VM for executing a plurality of VNFs and a plurality of virtual machines VM and adjacent network nodes. Virtual switch 310 to perform.

仮想スイッチ310は、本実施形態におけるネットワークトポロジの一つのスイッチと見なすことができ、データ転送部311と、経路情報データベース312と、制御装置12と通信を行うためのインターフェース313とを有する。仮想スイッチ310は、ネットワークサービスに属するフローを識別するための条件と当該フローのパケットの転送先とを含むデータを制御装置12から受信し、経路情報データベース312に格納する。データ転送部311は、経路情報データベース312に格納された条件および転送先情報に従って、隣接するネットワークサーバあるいは一つの仮想マシンVMから受信したパケットがネットワークサービスに属するフローであるか否かを識別し、対応する転送先(仮想マシンVMあるいはネットワークサーバ)へ転送する。したがって、一つのサーバ内にある仮想マシンVM間のパケット転送であれば、外部のネットワークノードへ転送することなくネットワークサービスを構成できる。   The virtual switch 310 can be regarded as one switch of the network topology in the present embodiment, and includes a data transfer unit 311, a path information database 312, and an interface 313 for communicating with the control device 12. The virtual switch 310 receives data including a condition for identifying a flow belonging to the network service and a packet transfer destination of the flow from the control device 12 and stores the data in the path information database 312. The data transfer unit 311 identifies whether a packet received from an adjacent network server or one virtual machine VM is a flow belonging to a network service according to the conditions and transfer destination information stored in the path information database 312. Transfer to the corresponding transfer destination (virtual machine VM or network server). Therefore, if a packet is transferred between virtual machines VMs in one server, a network service can be configured without transferring it to an external network node.

なお、制御装置12、物理スイッチ21aおよびサーバ30aは、既に述べたようにそれぞれの動作を制御するプログラムを実行するプロセッサ(CPU:Central Processing Unit)と、プログラムを保持するROM(Read Only Memory)および情報を保持するRAM(Random Access Memory)等の記憶装置と、により実現することもできる。   As described above, the control device 12, the physical switch 21a, and the server 30a include a processor (CPU: Central Processing Unit) that executes a program for controlling each operation, a ROM (Read Only Memory) that holds a program, It can also be realized by a storage device such as a RAM (Random Access Memory) that holds information.

上述したように、ネットワークサービスに属するフローを識別するための条件と当該フローのパケットの転送先とを含む情報を制御装置12が設定する集中制御型のネットワークアーキテクチャシステムは、たとえばオープンフロー(OpenFlow)、I2RS(Interface to the Routing System)、ForCES(Forwarding and Control Element Separation)等により実現することが可能である。以下、制御装置12および物理スイッチ21a/サーバ30aの実装例としてオープンフローを用いたものを示す。   As described above, a centralized control type network architecture system in which the control device 12 sets information including a condition for identifying a flow belonging to a network service and a packet transfer destination of the flow is, for example, an open flow (OpenFlow). It can be realized by I2RS (Interface to the Routing System), ForCES (Forwarding and Control Element Separation) and the like. Hereinafter, an example of using the OpenFlow as an implementation example of the control device 12 and the physical switch 21a / server 30a is shown.

6.2)オープンフロー
オープンフローは、通信をエンドツーエンドのフローとして認識し、フロー単位で経路制御、障害回復、負荷分散等を実行する。ここで、フローとは、例えば所定の属性を有する一連の通信パケット群のことであり、本実施形態においては設定されたネットワークサービスに属するフローをいう。以下、図26に示すネットワークを一例としてオープンフローについて説明する。
6.2) Open flow Open flow recognizes communication as an end-to-end flow, and performs path control, failure recovery, load balancing, etc. in units of flow. Here, the flow is, for example, a series of communication packet groups having predetermined attributes, and in this embodiment, refers to a flow belonging to a set network service. Hereinafter, OpenFlow will be described using the network shown in FIG. 26 as an example.

図26において、オープンフロースイッチ(OpenFlow Switch)601、602、603はオープンフロー技術を採用したネットワークスイッチであり、本実施形態では物理スイッチ21aあるいはサーバ30aの仮想スイッチ310に相当する。オープンフローコントローラ(OpenFlow Controller)604はオープンフロースイッチ601、602、603を制御する情報処理装置であり、本実施形態では制御装置12に相当する。   In FIG. 26, OpenFlow Switches 601, 602, and 603 are network switches adopting the OpenFlow technology, and correspond to the physical switch 21 a or the virtual switch 310 of the server 30 a in this embodiment. An open flow controller 604 is an information processing apparatus that controls the open flow switches 601, 602, and 603, and corresponds to the control apparatus 12 in this embodiment.

各オープンフロースイッチ601、602、603は、オープンフローコントローラ604との間にセキュアチャネル(Secure Channel)605が設定されており、セキュアチャネル605を通してオープンフローコントローラ604と通信する。オープンフローコントローラ604は、セキュアチャネル605を介して、オープンフロースイッチ601、602、603のフローテーブル(Flow Table)606の設定を行う。なお、セキュアチャネル605は、各オープンフロースイッチ601、602、603とコントローラ604との間の通信経路であって、通信の盗聴や改ざん等を防止するための処置がなされたものである。   Each OpenFlow switch 601, 602, 603 is configured with a secure channel (Secure Channel) 605 between the OpenFlow controller 604 and communicates with the OpenFlow controller 604 through the secure channel 605. The OpenFlow controller 604 sets a flow table (Flow Table) 606 of the OpenFlow switches 601, 602, and 603 via the secure channel 605. The secure channel 605 is a communication path between the OpenFlow switches 601, 602, and 603 and the controller 604, and has been treated to prevent eavesdropping or falsification of communication.

図27は、各オープンフロースイッチ601、602、603に設けられたフローテーブル606の各エントリ(フローエントリ)の構成例を示す。フローエントリは、スイッチが受信したパケットのヘッダに含まれる情報(例えば、宛先IPアドレスやVLAN ID等)と照合するためのマッチングルールを規定するマッチフィールド(Match Fields)と、パケットフロー毎の統計情報を示すフィールド(Counters)と、マッチングルールにマッチするパケットの処理方法を規定するアクションフィールド(Action)とで構成される。   FIG. 27 shows a configuration example of each entry (flow entry) in the flow table 606 provided in each open flow switch 601, 602, 603. The flow entry includes a match field (Match Fields) that defines a matching rule for matching with information (for example, destination IP address, VLAN ID, etc.) included in the header of the packet received by the switch, and statistical information for each packet flow. Field (Counters), and an action field (Action) that defines how to process a packet that matches the matching rule.

オープンフロースイッチ601、602、603は、パケットを受信すると、フローテーブル606を参照する。オープンフロースイッチ601、602、603は、受信したパケットのヘッダ情報にマッチするフローエントリを検索する。受信パケットのヘッダ情報にマッチするエントリが検索された場合、オープンフロースイッチ601、602、603は、検索されたエントリのアクションフィールドに定義された処理方法に従って、受信パケットを処理する。処理方法は、例えば、「受信パケットを所定のポートから転送する」、「受信したパケットを廃棄する」、「受信パケットのヘッダの一部を書き換えて、所定のポートへ転送する」といったことが規定されている。   When the open flow switches 601, 602, and 603 receive the packet, they refer to the flow table 606. The open flow switches 601, 602, and 603 search for a flow entry that matches the header information of the received packet. When an entry that matches the header information of the received packet is found, the OpenFlow switches 601, 602, and 603 process the received packet according to the processing method defined in the action field of the found entry. The processing method is defined, for example, as “forwarding a received packet from a predetermined port”, “discarding the received packet”, or “rewriting part of the header of the received packet and transferring to a predetermined port”. Has been.

一方、受信パケットのヘッダ情報にマッチするエントリが見つからない場合、オープンフロースイッチ601、602、603は、例えば、セキュアチャネル605を通してオープンフローコントローラ604へ受信パケットを転送し、オープンフローコントローラ604に対して受信パケットの処理方法を規定したフローエントリの設定を要求する。   On the other hand, when no entry matching the header information of the received packet is found, the OpenFlow switches 601, 602, 603, for example, transfer the received packet to the OpenFlow controller 604 through the secure channel 605, and Requests the setting of a flow entry that defines how to process received packets.

オープンフローコントローラ604は、受信パケットの処理方法を決定し、決定した処理方法を含むフローエントリをフローテーブル606に設定する。その後、オープンフロースイッチ601、602、603は、設定されたフローエントリにより、受信パケットと同一のフローに属する後続のパケットを処理する。   The open flow controller 604 determines a received packet processing method, and sets a flow entry including the determined processing method in the flow table 606. Thereafter, the OpenFlow switches 601, 602, and 603 process subsequent packets belonging to the same flow as the received packet according to the set flow entry.

6.3)効果
本発明の第6実施形態によれば、第1〜第5実施形態と同様に拡張パスに基づいて、ネットワークサービスのパスを決定し、当該パスに沿って通信フローが転送されるようにネットワークのノードあるいはサーバを制御するので、アンダーレイネットワークの通信特性および通信性能を考慮した最適なVNF配置が可能となる。
6.3) Effect According to the sixth embodiment of the present invention, the network service path is determined based on the extended path as in the first to fifth embodiments, and the communication flow is transferred along the path. Thus, the network node or server is controlled as described above, so that an optimal VNF arrangement can be made in consideration of the communication characteristics and communication performance of the underlay network.

特に、サーバ30a内に複数のVNFをそれぞれ実行する複数の仮想マシンを仮想スイッチにより切り替え可能に構成することで、ネットワークノードのパス切替とサーバ内での仮想マシンの切替とを同等に制御することができ、たとえばオープンフロー技術を用いた一括制御が可能となる。   In particular, by configuring a plurality of virtual machines that respectively execute a plurality of VNFs in the server 30a so that they can be switched by a virtual switch, the path switching of the network node and the switching of the virtual machines in the server can be controlled equally. For example, collective control using open flow technology becomes possible.

本発明は、仮想ネットワーク機能(VNF)をネットワーク上に配置するシステムで利用可能である。   The present invention can be used in a system in which a virtual network function (VNF) is arranged on a network.

10、11、12 制御装置
20 ネットワーク
21,21A〜21E 物理スイッチ
30、30a、31〜34 サーバ
40 運用管理装置
101 拡張パス設定部
102 ノード管理部
104 制御部
105 スイッチ制御部
131 制御部
132 VMM
133 ノード状態モニタ
211 データ転送部
212 経路情報データベース
213 インターフェース
401 仮想リンク設定部
402 要求条件およびポリシ設定部
403 インターフェース
404 ユーザインターフェース
405 要求条件設定部
406 ポリシ設定部
10, 11, 12 Control device 20 Network 21, 21A-21E Physical switch 30, 30a, 31-34 Server 40 Operation management device 101 Extended path setting unit 102 Node management unit 104 Control unit 105 Switch control unit 131 Control unit 132 VMM
133 Node state monitor 211 Data transfer unit 212 Path information database 213 Interface 401 Virtual link setting unit 402 Request condition and policy setting unit 403 Interface 404 User interface 405 Request condition setting unit 406 Policy setting unit

Claims (38)

ネットワークを制御する装置であって、
前記ネットワークに含まれる物理サーバ上の仮想コンポーネントおよび前記ネットワークの物理コンポーネントの状態を監視し、これらのコンポーネントに関するネットワークトポロジ情報に基づいて前記物理サーバ上で動作する少なくとも一つの仮想ネットワーク機能を管理する管理手段と、
制御条件が設定された運用ポリシを格納する格納手段と、
前記運用ポリシの制御条件に従って前記物理サーバ上で動作する少なくとも一つのレイヤにおける少なくとも一つのコンポーネントで問題が発生したと判断された場合、前記仮想コンポーネントおよび前記物理コンポーネントの少なくとも一方に対して前記問題を解決する設定制御を実行する制御手段と、
を有することを特徴とするネットワーク制御装置。
A device for controlling a network,
Management that monitors the status of the virtual components on the physical server included in the network and the physical components of the network, and manages at least one virtual network function operating on the physical server based on network topology information related to these components Means,
Storage means for storing an operation policy in which control conditions are set;
When it is determined that a problem has occurred in at least one component in at least one layer operating on the physical server in accordance with the control conditions of the operation policy, the problem is determined for at least one of the virtual component and the physical component. Control means for executing setting control to be solved;
A network control apparatus comprising:
前記管理手段が、前記物理サーバ上のレイヤごとの仮想コンポーネントの状態を監視することを特徴とする請求項1に記載のネットワーク制御装置。   The network control apparatus according to claim 1, wherein the management unit monitors a state of a virtual component for each layer on the physical server. 前記制御条件は前記ネットワークにおけるコンポーネントの負荷パラメータが所定値を超えているか否かを判断するための条件であることを特徴とする請求項1または2に記載のネットワーク制御装置。   The network control apparatus according to claim 1, wherein the control condition is a condition for determining whether or not a load parameter of a component in the network exceeds a predetermined value. 前記制御手段が、前記問題が発生したレイヤと同じレイヤまたは別のレイヤのコンポーネントに対して前記設定制御を実行することを特徴とする請求項1−3のいずれか1項に記載のネットワーク制御装置。   The network control apparatus according to claim 1, wherein the control unit performs the setting control on a component in the same layer as the layer in which the problem has occurred or in a different layer. . 前記物理サーバのいずれかのレイヤにおいて前記問題が発生した場合、前記制御手段が、当該問題が発生したコンポーネントへのトラフィックを制御するように、前記物理サーバより上流側に位置するコンポーネントに対して前記設定制御を実行することを特徴とする請求項1−4のいずれか1項に記載のネットワーク制御装置。   When the problem occurs in any layer of the physical server, the control unit controls the traffic to the component in which the problem has occurred with respect to the component located upstream from the physical server. The network control apparatus according to claim 1, wherein setting control is executed. 前記物理サーバより上流側に位置するコンポーネントが前記トラフィックに対するパケット廃棄、帯域制限および/またはパス切替を実行することを特徴とする請求項5に記載のネットワーク制御装置。   The network control apparatus according to claim 5, wherein a component located upstream from the physical server executes packet discard, bandwidth limitation, and / or path switching for the traffic. 前記物理サーバより上流側に位置するコンポーネントは当該物理サーバの前段に位置する物理スイッチまたは前記ネットワークのエッジに位置する物理スイッチであることを特徴とする請求項5または6に記載のネットワーク制御装置。   The network control device according to claim 5 or 6, wherein the component located upstream from the physical server is a physical switch located in a preceding stage of the physical server or a physical switch located at an edge of the network. 前記物理サーバより上流側に位置するコンポーネントにはロードバランサが設けられ、前記制御手段が前記ロードバランサに対して前記設定制御を実行することを特徴とする請求項5−7のいずれか1項に記載のネットワーク制御装置。   The component located upstream from the physical server is provided with a load balancer, and the control unit executes the setting control for the load balancer. The network control device described. 前記物理サーバのいずれかのレイヤにおいて前記問題が発生した場合、前記制御手段が、当該問題が発生したレイヤのコンポーネントの処理能力を増大させるように前記設定制御を実行することを特徴とする請求項1−4のいずれか1項に記載のネットワーク制御装置。   The said control means performs the said setting control so that the processing capability of the component of the layer in which the said problem generate | occur | produces when the said problem generate | occur | produces in any layer of the said physical server. The network control device according to any one of 1-4. 当該問題が発生したレイヤのコンポーネントと同じ機能のコンポーネントを新規に起動することを特徴とする請求項9に記載のネットワーク制御装置。   The network control device according to claim 9, wherein a component having the same function as that of the layer in which the problem has occurred is newly activated. 当該問題が発生したレイヤのコンポーネントに対する割り当てリソースを増大させることを特徴とする請求項9に記載のネットワーク制御装置。   The network control apparatus according to claim 9, wherein an allocation resource for a component of a layer in which the problem has occurred is increased. 前記ネットワークトポロジ情報が前記仮想ネットワーク機能のレイヤおよびその下位レイヤの仮想コンポーネントからなる拡張パスに関する情報であることを特徴とする請求項1−11のいずれか1項に記載のネットワーク制御装置。   The network control apparatus according to claim 1, wherein the network topology information is information related to an extended path including a virtual component of the virtual network function and a virtual component of a lower layer thereof. 前記管理手段が、前記拡張パスに基づいて、前記仮想ネットワーク機能からなるネットワークサービスを管理することを特徴とする請求項12に記載のネットワーク制御装置。   13. The network control apparatus according to claim 12, wherein the management unit manages a network service including the virtual network function based on the extended path. ネットワークを制御する方法であって、
管理手段が、前記ネットワークに含まれる物理サーバ上の仮想コンポーネントおよび前記ネットワークの物理コンポーネントの状態を監視し、これらのコンポーネントに関するネットワークトポロジ情報に基づいて前記物理サーバ上で動作する少なくとも一つの仮想ネットワーク機能を管理し、
制御条件が設定された運用ポリシを格納手段に格納し、
制御手段が、前記運用ポリシの制御条件に従って前記物理サーバ上で動作する少なくとも一つのレイヤにおける少なくとも一つのコンポーネントで問題が発生したと判断された場合、前記仮想コンポーネントおよび前記物理コンポーネントの少なくとも一方に対して前記問題を解決する設定制御を実行する、
ことを特徴とするネットワーク制御方法。
A method of controlling a network,
At least one virtual network function in which management means monitors the status of the virtual components on the physical server included in the network and the physical components of the network, and operates on the physical server based on network topology information related to these components Manage
Store the operation policy in which the control conditions are set in the storage means,
When it is determined that a problem has occurred in at least one component in at least one layer operating on the physical server in accordance with the control condition of the operation policy, the control unit applies to at least one of the virtual component and the physical component To execute setting control to solve the above problem,
A network control method.
前記管理手段が、前記物理サーバ上のレイヤごとの仮想コンポーネントの状態を監視することを特徴とする請求項14に記載のネットワーク制御方法。   The network control method according to claim 14, wherein the management unit monitors a state of a virtual component for each layer on the physical server. 前記制御条件は前記ネットワークにおけるコンポーネントの負荷パラメータが所定値を超えているか否かを判断するための条件であることを特徴とする請求項14または15に記載のネットワーク制御方法。   16. The network control method according to claim 14, wherein the control condition is a condition for determining whether or not a load parameter of a component in the network exceeds a predetermined value. 前記制御手段が、前記問題が発生したレイヤと同じレイヤまたは別のレイヤのコンポーネントに対して前記設定制御を実行することを特徴とする請求項16に記載のネットワーク制御方法。   The network control method according to claim 16, wherein the control unit performs the setting control on a component in a layer that is the same as or different from the layer in which the problem has occurred. 前記物理サーバのいずれかのレイヤにおいて前記問題が発生した場合、前記制御手段が、当該問題が発生したコンポーネントへのトラフィックを制御するように、前記物理サーバより上流側に位置するコンポーネントに対して前記設定制御を実行することを特徴とする請求項16または17に記載のネットワーク制御方法。   When the problem occurs in any layer of the physical server, the control unit controls the traffic to the component in which the problem has occurred with respect to the component located upstream from the physical server. 18. The network control method according to claim 16, wherein setting control is executed. 前記物理サーバより上流側に位置するコンポーネントが前記トラフィックに対するパケット廃棄、帯域制限および/またはパス切替を実行することを特徴とする請求項18に記載のネットワーク制御方法。   19. The network control method according to claim 18, wherein a component located upstream from the physical server executes packet discard, bandwidth limitation and / or path switching for the traffic. 前記物理サーバより上流側に位置するコンポーネントは当該物理サーバの前段に位置する物理スイッチまたは前記ネットワークのエッジに位置する物理スイッチであることを特徴とする請求項18または19に記載のネットワーク制御方法。   The network control method according to claim 18 or 19, wherein the component located upstream from the physical server is a physical switch located in a preceding stage of the physical server or a physical switch located at an edge of the network. 前記物理サーバより上流側に位置するコンポーネントにはロードバランサが設けられ、前記制御手段が前記ロードバランサに対して前記設定制御を実行することを特徴とする請求項18−20のいずれか1項に記載のネットワーク制御方法。   The component located upstream from the physical server is provided with a load balancer, and the control unit executes the setting control for the load balancer. The network control method described. 前記物理サーバのいずれかのレイヤにおいて前記問題が発生した場合、前記制御手段が、当該問題が発生したレイヤのコンポーネントの処理能力を増大させるように前記設定制御を実行することを特徴とする請求項16または17に記載のネットワーク制御方法。   The said control means performs the said setting control so that the processing capability of the component of the layer in which the said problem generate | occur | produces when the said problem generate | occur | produces in any layer of the said physical server. The network control method according to 16 or 17. 当該問題が発生したレイヤのコンポーネントと同じ機能のコンポーネントを新規に起動することを特徴とする請求項22に記載のネットワーク制御方法。   23. The network control method according to claim 22, wherein a component having the same function as that of the layer in which the problem has occurred is newly activated. 当該問題が発生したレイヤのコンポーネントに対する割り当てリソースを増大させることを特徴とする請求項22に記載のネットワーク制御方法。   23. The network control method according to claim 22, wherein an allocation resource for a component of a layer in which the problem occurs is increased. 前記ネットワークトポロジ情報が前記仮想ネットワーク機能のレイヤおよびその下位レイヤの仮想コンポーネントからなる拡張パスに関する情報であることを特徴とする請求項16−24のいずれか1項に記載のネットワーク制御方法。   The network control method according to any one of claims 16 to 24, wherein the network topology information is information related to an extended path composed of a virtual component of the virtual network function and a virtual component of a lower layer thereof. 前記管理手段が、前記拡張パスに基づいて、前記仮想ネットワーク機能からなるネットワークサービスを管理することを特徴とする請求項25に記載のネットワーク制御方法。   26. The network control method according to claim 25, wherein the management unit manages a network service including the virtual network function based on the extended path. ネットワークを制御する制御装置と、
前記制御装置を介して前記ネットワークを管理する運用管理装置と、
を有し、
前記運用管理装置が前記制御装置に運用ポリシを設定し、
前記制御装置が、
前記ネットワークに含まれる物理サーバ上の仮想コンポーネントおよび前記ネットワークの物理コンポーネントの状態を監視し、これらのコンポーネントに関するネットワークトポロジ情報に基づいて前記物理サーバ上で動作する少なくとも一つの仮想ネットワーク機能を管理する管理手段と、
前記運用ポリシの制御条件に従って前記物理サーバ上で動作する少なくとも一つのレイヤにおける少なくとも一つのコンポーネントで問題が発生したと判断された場合、前記仮想コンポーネントおよび前記物理コンポーネントの少なくとも一方に対して前記問題を解決する設定制御を実行する制御手段と、
を有することを特徴とするネットワークシステム。
A control device for controlling the network;
An operation management device for managing the network via the control device;
Have
The operation management device sets an operation policy in the control device,
The control device is
Management that monitors the status of the virtual components on the physical server included in the network and the physical components of the network, and manages at least one virtual network function operating on the physical server based on network topology information related to these components Means,
When it is determined that a problem has occurred in at least one component in at least one layer operating on the physical server in accordance with the control conditions of the operation policy, the problem is determined for at least one of the virtual component and the physical component. Control means for executing setting control to be solved;
A network system comprising:
前記管理手段が、前記物理サーバ上のレイヤごとの仮想コンポーネントの状態を監視することを特徴とする請求項27に記載のネットワークシステム。   28. The network system according to claim 27, wherein the management unit monitors a state of a virtual component for each layer on the physical server. 前記制御条件は前記ネットワークにおけるコンポーネントの負荷パラメータが所定値を超えているか否かを判断するための条件であることを特徴とする請求項27または28に記載のネットワークシステム。   29. The network system according to claim 27 or 28, wherein the control condition is a condition for determining whether or not a load parameter of a component in the network exceeds a predetermined value. 前記制御手段が、前記問題が発生したレイヤと同じレイヤまたは別のレイヤのコンポーネントに対して前記設定制御を実行することを特徴とする請求項29に記載のネットワークシステム。   30. The network system according to claim 29, wherein the control unit executes the setting control for components in the same layer as the layer in which the problem has occurred or in a different layer. 前記物理サーバのいずれかのレイヤにおいて前記問題が発生した場合、前記制御手段が、当該問題が発生したコンポーネントへのトラフィックを制御するように、前記物理サーバより上流側に位置するコンポーネントに対して前記設定制御を実行することを特徴とする請求項29または30に記載のネットワークシステム。   When the problem occurs in any layer of the physical server, the control unit controls the traffic to the component in which the problem has occurred with respect to the component located upstream from the physical server. The network system according to claim 29 or 30, wherein setting control is executed. 前記物理サーバのいずれかのレイヤにおいて前記問題が発生した場合、前記制御手段が、当該問題が発生したレイヤのコンポーネントの処理能力を増大させるように前記設定制御を実行することを特徴とする請求項29または30に記載のネットワークシステム。   The said control means performs the said setting control so that the processing capability of the component of the layer in which the said problem generate | occur | produces, when the said problem generate | occur | produces in any layer of the said physical server. The network system according to 29 or 30. 前記ネットワークトポロジ情報が前記仮想ネットワーク機能のレイヤおよびその下位レイヤの仮想コンポーネントからなる拡張パスに関する情報であることを特徴とする請求項29−32のいずれか1項に記載のネットワークシステム。   The network system according to any one of claims 29 to 32, wherein the network topology information is information related to an extended path including a virtual component of the virtual network function and a virtual component of a lower layer thereof. 前記管理手段が、前記拡張パスに基づいて、前記仮想ネットワーク機能からなるネットワークサービスを管理することを特徴とする請求項33に記載のネットワークシステム。   The network system according to claim 33, wherein the management unit manages a network service including the virtual network function based on the extended path. ネットワークを制御する制御装置が、前記ネットワークに含まれる物理サーバ上の仮想コンポーネントおよび前記ネットワークの物理コンポーネントの状態を監視し、これらのコンポーネントに関するネットワークトポロジ情報に基づいて前記物理サーバ上で動作する少なくとも一つの仮想ネットワーク機能を管理し、運用ポリシの制御条件に従って前記物理サーバ上で動作する少なくとも一つのレイヤにおける少なくとも一つのコンポーネントで問題が発生したと判断された場合、前記仮想コンポーネントおよび前記物理コンポーネントの少なくとも一方に対して前記問題を解決する設定制御を実行するシステムにおける、前記制御装置に運用ポリシを設定し前記制御装置を介して前記ネットワークを管理する運用管理装置であって、
前記物理サーバ上の仮想コンポーネントおよび前記ネットワークの物理コンポーネントの要求条件と前記運用ポリシとを前記制御装置に設定する手段と、
前記制御装置により設定された、前記仮想ネットワーク機能、前記仮想コンポーネントおよび前記物理コンポーネントからなる拡張パスを表示部に表示する手段と、
を有することを特徴とする運用管理装置。
A control device that controls the network monitors at least one of the virtual components on the physical server included in the network and the physical components of the network, and operates on the physical server based on network topology information regarding these components. When it is determined that a problem has occurred in at least one component in at least one layer that operates on the physical server according to the control condition of the operation policy, and manages at least one of the virtual component and the physical component An operation management apparatus that sets an operation policy in the control apparatus and manages the network via the control apparatus in a system that executes setting control that solves the problem with respect to one side,
Means for setting a requirement of the virtual component on the physical server and a physical component of the network and the operation policy in the control device;
Means for displaying, on a display unit, an extended path composed of the virtual network function, the virtual component, and the physical component set by the control device;
An operation management apparatus comprising:
前記物理サーバ上のレイヤごとの仮想コンポーネントおよび前記ネットワークの物理コンポーネントの要求条件と前記運用ポリシとを前記制御装置に設定し、前記制御装置が前記物理サーバ上のレイヤごとの仮想コンポーネントの状態を監視することを特徴とする請求項35に記載の運用管理装置。   The virtual device for each layer on the physical server and the requirements for the physical component of the network and the operation policy are set in the control device, and the control device monitors the status of the virtual component for each layer on the physical server. The operation management apparatus according to claim 35, wherein: 前記制御条件は前記ネットワークにおけるコンポーネントの負荷パラメータが所定値を超えているか否かを判断するための条件であることを特徴とする請求項35または36に記載の運用管理装置。   37. The operation management apparatus according to claim 35, wherein the control condition is a condition for determining whether or not a load parameter of a component in the network exceeds a predetermined value. ネットワーク制御装置としてコンピュータを機能させるプログラムであって、
ネットワークに含まれる物理サーバ上の仮想コンポーネントおよび前記ネットワークの物理コンポーネントを監視し、これらのコンポーネントに関するネットワークトポロジ情報に基づいて前記物理サーバ上で動作する少なくとも一つの仮想ネットワーク機能を管理する機能と、
制御条件が設定された運用ポリシを格納手段に格納する機能と、
前記運用ポリシの制御条件に従って前記物理サーバ上で動作する少なくとも一つのレイヤにおける少なくとも一つのコンポーネントで問題が発生したと判断された場合、前記仮想コンポーネントおよび前記物理コンポーネントの少なくとも一方に対して前記問題を解決する設定制御を実行する機能と、
を前記コンピュータに実現することを特徴とするプログラム。
A program for causing a computer to function as a network control device,
A function of monitoring a virtual component on a physical server included in a network and a physical component of the network, and managing at least one virtual network function operating on the physical server based on network topology information regarding these components;
A function for storing the operation policy in which the control condition is set in the storage means;
When it is determined that a problem has occurred in at least one component in at least one layer operating on the physical server in accordance with the control conditions of the operation policy, the problem is determined for at least one of the virtual component and the physical component. A function to execute the setting control to be solved;
Is implemented on the computer.
JP2015071221A 2015-03-31 2015-03-31 Network system, network control method, control device, and operation management device Pending JP2016192660A (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2015071221A JP2016192660A (en) 2015-03-31 2015-03-31 Network system, network control method, control device, and operation management device

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2015071221A JP2016192660A (en) 2015-03-31 2015-03-31 Network system, network control method, control device, and operation management device

Publications (1)

Publication Number Publication Date
JP2016192660A true JP2016192660A (en) 2016-11-10

Family

ID=57247130

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2015071221A Pending JP2016192660A (en) 2015-03-31 2015-03-31 Network system, network control method, control device, and operation management device

Country Status (1)

Country Link
JP (1) JP2016192660A (en)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020032169A1 (en) * 2018-08-10 2020-02-13 日本電気株式会社 Failure recovery control method, communication device, communication system, and program
WO2024105744A1 (en) * 2022-11-14 2024-05-23 日本電信電話株式会社 Network deployment device, network deployment method, and program
JP7528544B2 (en) 2020-06-04 2024-08-06 富士フイルムビジネスイノベーション株式会社 COMMUNICATION CONTROL DEVICE, COMMUNICATION CONTROL PROGRAM, AND COMMUNICATION CONTROL SYSTEM

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2012108382A1 (en) * 2011-02-07 2012-08-16 日本電気株式会社 Communication system, control device, communication node, and communication method
WO2013118690A1 (en) * 2012-02-10 2013-08-15 日本電気株式会社 Computer system and method for visualizing virtual network
JP2013157855A (en) * 2012-01-31 2013-08-15 Nec Corp Method of connecting virtual network, virtual network connection device, and program
JP2013535870A (en) * 2010-06-29 2013-09-12 ファーウェイ テクノロジーズ カンパニー リミテッド Asymmetric network address encapsulation
WO2013171944A1 (en) * 2012-05-15 2013-11-21 日本電気株式会社 Virtual machine management system, virtual machine management method, and program
WO2014006692A1 (en) * 2012-07-03 2014-01-09 富士通株式会社 Program for identifying flow to be controlled, method for identifying flow to be controlled, and device for identifying flow to be controlled
WO2014133025A1 (en) * 2013-02-27 2014-09-04 日本電気株式会社 Communication system, host controller, network control method, and program
JP2014527221A (en) * 2011-07-12 2014-10-09 インターナショナル・ビジネス・マシーンズ・コーポレーション Application resource manager on the cloud

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013535870A (en) * 2010-06-29 2013-09-12 ファーウェイ テクノロジーズ カンパニー リミテッド Asymmetric network address encapsulation
WO2012108382A1 (en) * 2011-02-07 2012-08-16 日本電気株式会社 Communication system, control device, communication node, and communication method
JP2014527221A (en) * 2011-07-12 2014-10-09 インターナショナル・ビジネス・マシーンズ・コーポレーション Application resource manager on the cloud
JP2013157855A (en) * 2012-01-31 2013-08-15 Nec Corp Method of connecting virtual network, virtual network connection device, and program
WO2013118690A1 (en) * 2012-02-10 2013-08-15 日本電気株式会社 Computer system and method for visualizing virtual network
WO2013171944A1 (en) * 2012-05-15 2013-11-21 日本電気株式会社 Virtual machine management system, virtual machine management method, and program
WO2014006692A1 (en) * 2012-07-03 2014-01-09 富士通株式会社 Program for identifying flow to be controlled, method for identifying flow to be controlled, and device for identifying flow to be controlled
WO2014133025A1 (en) * 2013-02-27 2014-09-04 日本電気株式会社 Communication system, host controller, network control method, and program

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020032169A1 (en) * 2018-08-10 2020-02-13 日本電気株式会社 Failure recovery control method, communication device, communication system, and program
JPWO2020032169A1 (en) * 2018-08-10 2021-08-10 日本電気株式会社 Disaster recovery control methods, communication devices, communication systems, and programs
JP7020556B2 (en) 2018-08-10 2022-02-16 日本電気株式会社 Disaster recovery control methods, communication devices, communication systems, and programs
JP7528544B2 (en) 2020-06-04 2024-08-06 富士フイルムビジネスイノベーション株式会社 COMMUNICATION CONTROL DEVICE, COMMUNICATION CONTROL PROGRAM, AND COMMUNICATION CONTROL SYSTEM
WO2024105744A1 (en) * 2022-11-14 2024-05-23 日本電信電話株式会社 Network deployment device, network deployment method, and program

Similar Documents

Publication Publication Date Title
WO2016157864A1 (en) Network system, network control method, and control apparatus
JP6721869B2 (en) Network system, network control method and control device
JP6648790B2 (en) Network system, network control method and control device
JP6761210B2 (en) Network system, network control method and control device
EP3251304B1 (en) Method and apparatus for connecting a gateway router to a set of scalable virtual ip network appliances in overlay networks
CN113660329B (en) Load balancing
CN107005584B (en) Method, apparatus, and storage medium for inline service switch
JP6436102B2 (en) Network management method and apparatus
EP3226495A1 (en) Allocation method, apparatus and system for cloud network communication path
WO2015015787A1 (en) Control device, management device, control method, management method, and program
US20170238171A1 (en) Method, Apparatus, and System for Migrating Virtual Network Function Instance
WO2015118875A1 (en) Optimal arrangement method for virtual network function, network control device, network management device, and network system
JP5904285B2 (en) Communication system, virtual network management device, communication node, communication method, and program
CN104065553A (en) Virtual network migration method and related equipment
EP3038296A1 (en) Pool element status information synchronization method, pool register and pool element
JP2016192660A (en) Network system, network control method, control device, and operation management device
JP2016192661A (en) Network system, network control method, and control device
WO2014157512A1 (en) System for providing virtual machines, device for determining paths, method for controlling paths, and program
Benet et al. Minimizing live VM migration downtime using OpenFlow based resiliency mechanisms
JP2015525982A (en) COMMUNICATION METHOD, COMMUNICATION SYSTEM, INFORMATION PROCESSING DEVICE, COMMUNICATION TERMINAL, AND PROGRAM
WO2016152080A1 (en) Network system, network control method, control device, and operation management device
JP6292128B2 (en) COMMUNICATION SYSTEM, NODE, CONTROL DEVICE, COMMUNICATION METHOD, AND PROGRAM
JP2015525983A (en) Communication method, information processing apparatus, communication system, communication terminal, and program
JP2015525981A (en) Communication method, information processing apparatus, communication system, program, node, and communication terminal

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20180215

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20181210

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20181218

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20190702