JP2020091680A - ストリーム処理パイプラインの自動生成方法、データストリーム処理プログラムおよびデータストリーム処理システム - Google Patents
ストリーム処理パイプラインの自動生成方法、データストリーム処理プログラムおよびデータストリーム処理システム Download PDFInfo
- Publication number
- JP2020091680A JP2020091680A JP2018228761A JP2018228761A JP2020091680A JP 2020091680 A JP2020091680 A JP 2020091680A JP 2018228761 A JP2018228761 A JP 2018228761A JP 2018228761 A JP2018228761 A JP 2018228761A JP 2020091680 A JP2020091680 A JP 2020091680A
- Authority
- JP
- Japan
- Prior art keywords
- node
- stream processing
- directed graph
- processing
- degree
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims description 120
- 230000010365 information processing Effects 0.000 claims abstract description 52
- 230000008569 process Effects 0.000 claims description 103
- 238000004891 communication Methods 0.000 claims description 36
- 238000010586 diagram Methods 0.000 description 47
- 230000005540 biological transmission Effects 0.000 description 14
- 238000011144 upstream manufacturing Methods 0.000 description 10
- 230000015556 catabolic process Effects 0.000 description 9
- 238000006731 degradation reaction Methods 0.000 description 9
- 238000010276 construction Methods 0.000 description 4
- 230000007423 decrease Effects 0.000 description 3
- 239000011159 matrix material Substances 0.000 description 3
- 230000000694 effects Effects 0.000 description 2
- 230000001174 ascending effect Effects 0.000 description 1
- 230000004888 barrier function Effects 0.000 description 1
- 230000006399 behavior Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000007796 conventional method Methods 0.000 description 1
- 230000006866 deterioration Effects 0.000 description 1
- 230000002542 deteriorative effect Effects 0.000 description 1
- 230000003203 everyday effect Effects 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 239000003550 marker Substances 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F9/00—Arrangements for program control, e.g. control units
- G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
- G06F9/46—Multiprogramming arrangements
- G06F9/48—Program initiating; Program switching, e.g. by interrupt
- G06F9/4806—Task transfer initiation or dispatching
- G06F9/4843—Task transfer initiation or dispatching by program, e.g. task dispatcher, supervisor, operating system
- G06F9/4881—Scheduling strategies for dispatcher, e.g. round robin, multi-level priority queues
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
- H04L41/14—Network analysis or design
- H04L41/145—Network analysis or design involving simulating, designing, planning or modelling of a network
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
- H04L41/50—Network service management, e.g. ensuring proper service fulfilment according to agreements
- H04L41/5041—Network service management, e.g. ensuring proper service fulfilment according to agreements characterised by the time relationship between creation and deployment of a service
- H04L41/5054—Automatic deployment of services triggered by the service manager, e.g. service implementation by automatic configuration of network components
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q10/00—Administration; Management
- G06Q10/06—Resources, workflows, human or project management; Enterprise or organisation planning; Enterprise or organisation modelling
- G06Q10/063—Operations research, analysis or management
- G06Q10/0631—Resource planning, allocation, distributing or scheduling for enterprises or organisations
- G06Q10/06315—Needs-based resource requirements planning or analysis
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L43/00—Arrangements for monitoring or testing data switching networks
- H04L43/08—Monitoring or testing based on specific metrics, e.g. QoS, energy consumption or environmental parameters
- H04L43/0876—Network utilisation, e.g. volume of load or congestion level
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L67/00—Network arrangements or protocols for supporting network services or applications
- H04L67/01—Protocols
- H04L67/10—Protocols in which an application is distributed across nodes in the network
Landscapes
- Engineering & Computer Science (AREA)
- Software Systems (AREA)
- Theoretical Computer Science (AREA)
- Computer Networks & Wireless Communication (AREA)
- Signal Processing (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
- Multimedia (AREA)
- Stored Programmes (AREA)
Abstract
Description
図1は、実施例に係るデータストリーム処理システムの構成を示す機能ブロック図である。図1に示すように、データストリーム処理システム9は、情報処理装置1およびストリーム処理基盤2を有する。
図8は、実施例に係るグラフ管理処理のフローチャートの一例を示す図である。
図9は、実施例に係る観測処理のフローチャートの一例を示す図である。なお、観測部12は、予め定められた期間ごとに、観測処理を実行する。
上記実施例によれば、情報処理装置1は、ストリーム処理基盤2における処理をノードとし、ノード間のデータの入出力関係をエッジとした有向グラフを生成する。情報処理装置1は、生成した有向グラフを構成するそれぞれのエッジの所定の重みを用いて、有向グラフの各ノードの次数を計算する。情報処理装置1は、計算した各ノードの次数に基づき、ノードが示す処理をパイプラインのステージに配備する。かかる構成によれば、情報処理装置1は、ストリーム処理基盤2において、効率的なパイプラインのデータフローを自動構築できる。例えば、情報処理装置1は、パイプラインの初段のステージへの不要な再入力の数を減らすことで、ストリーム処理基盤2の性能低下を防止することが可能となる。また、情報処理装置1は、サービス設計者がストリーム処理基盤2を意識しないで生成した有向グラフから、パイプラインのデータフローを自動構築できる。
なお、実施例では、データストリーム処理システム9が、情報処理装置1とストリーム処理基盤2とを有すると説明した。しかしながら、データストリーム処理システム9は、これに限定されない。データストリーム処理システム9を、ストリーム処理基盤2を含む情報処理装置1としても良い。また、データストリーム処理システム9は、サービス構成情報21を生成する装置と、観測部12を含む装置と、グラフ管理部11および配備部13を含む装置と、ストリーム処理基盤2とを有しても良い。かかる場合には、各装置間は、互いにネットワークで接続されれば良い。
2 ストリーム処理基盤
9 データストリーム処理システム
11 グラフ管理部
12 観測部
13 配備部
21 サービス構成情報
22 次数付き有向グラフ
23 エッジ重み情報
24 重み次数付き有向グラフ
Claims (6)
- コンピュータが
ストリーム処理基盤における処理をノードとし、ノード間のデータの入出力関係をエッジとした有向グラフを生成し、
該生成した前記有向グラフを構成するそれぞれのエッジの所定の重みを用いて、前記有向グラフの各ノードの次数を計算し、
該計算した各ノードの次数に基づき、ノードが示す処理をパイプラインのステージに配備する
処理を実行するストリーム処理パイプラインの自動生成方法。 - 前記ストリーム処理基盤に対して、処理間のデータの通信量を観測し、
該観測した処理間のデータの通信量から、前記有向グラフを構成するそれぞれのエッジの重みを計算し、
該次数を計算する処理は、前記有向グラフの各ノードについて、ノードに入力するエッジの重みと、当該ノードから出力するエッジの重みとを用いて、重み付きの次数を計算し、
該配備する処理は、各ノードの重み付きの次数が小さい程、前段のステージとなるように、ノードが示す処理をパイプラインのステージに配備する
処理を実行することを特徴とする請求項1に記載のストリーム処理パイプラインの自動生成方法。 - 該次数を計算する処理は、前記ノードに入力するエッジの重みから当該ノードから出力するエッジの重みを差し引いた値を重み付きの次数として計算する
処理を実行することを特徴とする請求項2に記載のストリーム処理パイプラインの自動生成方法。 - 該次数を計算する処理は、前記有向グラフのいずれかのエッジの重みに変化が生じたタイミングで、各ノードについて、前記重み付きの次数を再計算し、
該配備する処理は、特定のタイミングで、前記重み付きの次数を用いて、前記パイプラインを再構築する
処理を実行することを特徴とする請求項2または請求項3に記載のストリーム処理パイプラインの自動生成方法。 - コンピュータが
ストリーム処理基盤における処理をノードとし、ノード間のデータの入出力関係をエッジとした有向グラフを生成し、
該生成した前記有向グラフを構成するそれぞれのエッジの所定の重みを用いて、前記有向グラフの各ノードの次数を計算し、
該計算した各ノードの次数に基づき、ノードが示す処理をパイプラインのステージに配備する
処理をコンピュータに実行させるデータストリーム処理プログラム。 - 情報処理装置と、
ストリーム処理基盤と、を有し、
前記情報処理装置は、
ストリーム処理基盤における処理をノードとし、ノード間のデータの入出力関係をエッジとした有向グラフを構成するそれぞれのエッジの所定の重みを用いて、前記有向グラフの各ノードの次数を計算する計算部と、
前記計算部によって計算された各ノードの次数に基づき、ノードが示す処理をパイプラインのステージに配備する配備部と、
を有することを特徴とするデータストリーム処理システム。
Priority Applications (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2018228761A JP7211052B2 (ja) | 2018-12-06 | 2018-12-06 | ストリーム処理パイプラインの自動生成方法、データストリーム処理プログラムおよびデータストリーム処理システム |
EP19212803.1A EP3664374B1 (en) | 2018-12-06 | 2019-12-02 | Data stream processing method and data stream processing system |
US16/702,646 US11294717B2 (en) | 2018-12-06 | 2019-12-04 | Multiple stage data stream processing method and data stream processing system |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2018228761A JP7211052B2 (ja) | 2018-12-06 | 2018-12-06 | ストリーム処理パイプラインの自動生成方法、データストリーム処理プログラムおよびデータストリーム処理システム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2020091680A true JP2020091680A (ja) | 2020-06-11 |
JP7211052B2 JP7211052B2 (ja) | 2023-01-24 |
Family
ID=68762549
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2018228761A Active JP7211052B2 (ja) | 2018-12-06 | 2018-12-06 | ストリーム処理パイプラインの自動生成方法、データストリーム処理プログラムおよびデータストリーム処理システム |
Country Status (3)
Country | Link |
---|---|
US (1) | US11294717B2 (ja) |
EP (1) | EP3664374B1 (ja) |
JP (1) | JP7211052B2 (ja) |
Families Citing this family (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111814006A (zh) * | 2020-07-27 | 2020-10-23 | 深圳壹账通智能科技有限公司 | 图网络结构的分析方法、装置和计算机设备 |
CN112506960B (zh) * | 2020-12-17 | 2024-03-19 | 青岛以萨数据技术有限公司 | 基于ArangoDB引擎的多模型数据存储方法及系统 |
CN116562485B (zh) * | 2023-05-26 | 2023-11-21 | 江苏伟岸纵横科技股份有限公司 | 一种基于有向图的多线条应急演练系统构造及评价方法 |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20160110228A1 (en) * | 2014-06-17 | 2016-04-21 | Huawei Technologies Co., Ltd. | Service Scheduling Method, Apparatus, and System |
US20160269247A1 (en) * | 2015-03-13 | 2016-09-15 | Nec Laboratories America, Inc. | Accelerating stream processing by dynamic network aware topology re-optimization |
Family Cites Families (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP4128431B2 (ja) | 2002-11-27 | 2008-07-30 | 富士通株式会社 | 有向グラフ解析方法、解析装置及びそのプログラム |
US7603546B2 (en) * | 2004-09-28 | 2009-10-13 | Intel Corporation | System, method and apparatus for dependency chain processing |
JP2015215826A (ja) * | 2014-05-13 | 2015-12-03 | 富士通株式会社 | グラフデータ演算方法、グラフデータ演算システムおよびグラフデータ演算プログラム |
US9699205B2 (en) * | 2015-08-31 | 2017-07-04 | Splunk Inc. | Network security system |
US10437635B2 (en) | 2016-02-10 | 2019-10-08 | Salesforce.Com, Inc. | Throttling events in entity lifecycle management |
US10474771B2 (en) * | 2017-06-19 | 2019-11-12 | Honeywell International Inc. | Calculation order management for a sequential-modular process simulator |
-
2018
- 2018-12-06 JP JP2018228761A patent/JP7211052B2/ja active Active
-
2019
- 2019-12-02 EP EP19212803.1A patent/EP3664374B1/en active Active
- 2019-12-04 US US16/702,646 patent/US11294717B2/en active Active
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20160110228A1 (en) * | 2014-06-17 | 2016-04-21 | Huawei Technologies Co., Ltd. | Service Scheduling Method, Apparatus, and System |
US20160269247A1 (en) * | 2015-03-13 | 2016-09-15 | Nec Laboratories America, Inc. | Accelerating stream processing by dynamic network aware topology re-optimization |
Also Published As
Publication number | Publication date |
---|---|
US20200183740A1 (en) | 2020-06-11 |
EP3664374A1 (en) | 2020-06-10 |
JP7211052B2 (ja) | 2023-01-24 |
EP3664374B1 (en) | 2022-03-09 |
US11294717B2 (en) | 2022-04-05 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6716149B2 (ja) | ブロックチェーンベースのデータ処理方法および装置 | |
JP2020091680A (ja) | ストリーム処理パイプラインの自動生成方法、データストリーム処理プログラムおよびデータストリーム処理システム | |
CN110891021B (zh) | 一种路径计算方法、装置及计算机可读存储介质 | |
US20170331687A1 (en) | Optimizing the topology of a network with variable traffic demands | |
CN107770084B (zh) | 一种数据流量的管理方法及装置 | |
CN103782270A (zh) | 流处理系统的管理方法和相关设备及系统 | |
WO2018166249A1 (zh) | 一种网络业务传输的方法及系统 | |
WO2007084287A3 (en) | Flow transform for integrated circuit design and simulation having combined data flow, control flow, and memory flow views | |
JP6855909B2 (ja) | 作業支援システム、情報処理装置、及び作業支援方法 | |
US9736035B2 (en) | Method and apparatus for providing information for selecting clouds | |
CN115361332B (zh) | 容错路由的处理方法及装置、处理器和电子设备 | |
JP2020137073A (ja) | アプリケーション配置装置及びアプリケーション配置プログラム | |
US10009845B2 (en) | Activation method and portable terminal | |
CN111836274B (zh) | 一种业务处理的方法及装置 | |
US10796284B2 (en) | Collaborative scheduling | |
Fundo et al. | A hybrid rerouting scheme | |
Lei et al. | Vertical-mesh-conscious-dynamic routing algorithm for 3D NoCs | |
CN116992798B (zh) | 一种量子芯片设计调度方法、系统、电子设备及存储介质 | |
Mahapatra et al. | Design Space Exploration of an Execution-Driven Functional Simulation Methodology | |
WO2024104066A1 (en) | Distributed neural network encoder-decoder system and method for traffic engineering | |
JP5871892B2 (ja) | 下位ノードのリング網への収容設計装置及びリング網上の機能配備位置決定装置及びバックアップの配備位置決定装置及びバックアップ要否決定装置 | |
JP5419909B2 (ja) | キャッシュ設計装置、及びキャッシュ設計方法 | |
JP2005086675A (ja) | 光ネットワーク設計方法及び光ネットワーク設計プログラム | |
JP2009124651A (ja) | ネットワーク管理装置及びネットワーク運用監視システム | |
WO2021117081A1 (ja) | クラウドサービスのユーザ要件違反防止装置、ユーザ要件違反防止方法及びプログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20210909 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20220708 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20220712 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20220902 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20221213 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20221226 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7211052 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |