JP2019087039A - タスク管理システム、タスク管理方法、及びタスク管理プログラム - Google Patents
タスク管理システム、タスク管理方法、及びタスク管理プログラム Download PDFInfo
- Publication number
- JP2019087039A JP2019087039A JP2017214872A JP2017214872A JP2019087039A JP 2019087039 A JP2019087039 A JP 2019087039A JP 2017214872 A JP2017214872 A JP 2017214872A JP 2017214872 A JP2017214872 A JP 2017214872A JP 2019087039 A JP2019087039 A JP 2019087039A
- Authority
- JP
- Japan
- Prior art keywords
- task
- assignment
- node
- data
- processing
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F9/00—Arrangements for program control, e.g. control units
- G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
- G06F9/46—Multiprogramming arrangements
- G06F9/50—Allocation of resources, e.g. of the central processing unit [CPU]
- G06F9/5005—Allocation of resources, e.g. of the central processing unit [CPU] to service a request
- G06F9/5011—Allocation of resources, e.g. of the central processing unit [CPU] to service a request the resources being hardware resources other than CPUs, Servers and Terminals
- G06F9/5016—Allocation of resources, e.g. of the central processing unit [CPU] to service a request the resources being hardware resources other than CPUs, Servers and Terminals the resource being the memory
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F9/00—Arrangements for program control, e.g. control units
- G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
- G06F9/46—Multiprogramming arrangements
- G06F9/50—Allocation of resources, e.g. of the central processing unit [CPU]
- G06F9/5005—Allocation of resources, e.g. of the central processing unit [CPU] to service a request
- G06F9/5027—Allocation of resources, e.g. of the central processing unit [CPU] to service a request the resource being a machine, e.g. CPUs, Servers, Terminals
- G06F9/5033—Allocation of resources, e.g. of the central processing unit [CPU] to service a request the resource being a machine, e.g. CPUs, Servers, Terminals considering data affinity
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F9/00—Arrangements for program control, e.g. control units
- G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
- G06F9/46—Multiprogramming arrangements
- G06F9/50—Allocation of resources, e.g. of the central processing unit [CPU]
- G06F9/5005—Allocation of resources, e.g. of the central processing unit [CPU] to service a request
- G06F9/5027—Allocation of resources, e.g. of the central processing unit [CPU] to service a request the resource being a machine, e.g. CPUs, Servers, Terminals
- G06F9/5038—Allocation of resources, e.g. of the central processing unit [CPU] to service a request the resource being a machine, e.g. CPUs, Servers, Terminals considering the execution order of a plurality of tasks, e.g. taking priority or time dependency constraints into consideration
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F9/00—Arrangements for program control, e.g. control units
- G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
- G06F9/46—Multiprogramming arrangements
- G06F9/50—Allocation of resources, e.g. of the central processing unit [CPU]
- G06F9/5083—Techniques for rebalancing the load in a distributed system
Landscapes
- Engineering & Computer Science (AREA)
- Software Systems (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
Description
を解析させる(ステップS101)。具体的には、タスク解析モジュール132は、タスクのワード(文章又は語)をベクトル情報に変換(数値化)する。ワードをベクトル情報に変換する方法としては、例えば、word2vec等の公知の技術を用いることができる。
Claims (13)
- タスクを実行可能な複数のタスク処理ノードと、新規タスクを割り当てるタスク処理ノードを決定するタスク管理ノードとを有するタスク管理システムであって、
複数の前記タスク処理ノードのそれぞれは、自身に割り当てられたタスクである割当タスクが使用するデータをキャッシュ可能なメモリを備え、
前記タスク管理ノードは、
前記割当タスクと、前記割当タスクが割り当てられ、且つ、前記割当タスクが使用するデータがキャッシュされている前記タスク処理ノードとの対応関係を含むタスク割当情報を記憶し、
前記タスク管理ノードのプロセッサは、
前記新規タスクと、前記割当タスクとの類似度を判定し、
前記類似度に基づいて、前記タスク割当情報に含まれている前記タスク処理ノードの中から前記新規タスクを割り当てるタスク処理ノードを決定し、
前記決定したタスク処理ノードに前記新規タスクを割り当てる
タスク管理システム。 - 前記タスク管理ノードは、
前記割当タスクに、前記割当タスクを所定の解析方法により解析した解析結果を対応付けて記憶し、
前記タスク管理ノードのプロセッサは、
前記新規タスクを前記所定の解析方法で解析し、
前記新規タスクの解析結果と、前記割当タスクの前記解析結果とに基づいて、前記類似度を判定する
請求項1に記載のタスク管理システム。 - 前記割当タスク及び前記新規タスクは、自然言語処理に関するタスクであり、
前記所定の解析方法は、前記割当タスク又は前記新規タスクの語又は文章をベクトル化する方法である
請求項2に記載のタスク管理システム。 - 前記タスク処理ノードのプロセッサは、
自身の前記タスク処理ノードに割り当てられた前記新規タスクで使用するデータであって、前記メモリにキャッシュされていないデータを所定の記憶装置から取得して前記メモリにキャッシュする
請求項1から請求項3のいずれか一項に記載のタスク管理システム。 - 前記タスク処理ノードは、
前記割当タスクと、前記割当タスクで使用されるデータの内のキャッシュされているデータとの対応関係の情報を記憶し、
前記タスク管理ノードのプロセッサは、
所定の条件に従って、前記割当タスクについて、キャッシュされているデータを削除する際の優先順位を決定して前記タスク処理ノードに通知し、
前記タスク処理ノードのプロセッサは、
前記メモリに前記記憶装置から取得した前記データをキャッシュするための空き容量がない場合に、前記優先順位に従って、前記割当タスクで使用するデータを前記メモリから削除する
請求項4に記載のタスク管理システム。 - 前記タスク処理ノードのプロセッサは、
前記割当タスクで使用するデータであって、他の割当タスクで使用されないデータを前記メモリから削除する
請求項5に記載のタスク管理システム。 - 前記タスク管理ノードのプロセッサは、
前記割当タスクの最終実行日時、前記割当タスクと1以上の新規タスクとの類似度、新規タスクとの類似度を算出した回数、前記割当タスクを実行した実行ノードに対して前記新規タスクを割り当てた回数の少なくともいずれか1つに基づいて、前記優先順位を決定する
請求項5又は請求項6に記載のタスク管理システム。 - 前記タスク管理ノードのプロセッサは、
前記割当タスクで使用する全てのデータが前記メモリから削除された場合に、前記割当タスクを実行した前記タスク処理ノードを特定する情報を削除する
請求項5から請求項7のいずれか一項に記載のタスク管理システム。 - 前記タスク処理ノードは、
前記割当タスクと、前記割当タスクで使用されるデータの内のキャッシュされているデータとの対応関係の情報を記憶し、
前記タスク処理ノードのプロセッサは、
前記メモリに前記記憶装置から取得した前記データをキャッシュするための空き容量がない場合に、複数の前記割当タスクで使用されていないデータを前記メモリから削除する
請求項4から請求項8のいずれか一項に記載のタスク管理システム。 - 前記所定の記憶装置は、
前記複数のタスク処理ノードの少なくともいずれか1つに備えられている
請求項1から請求項9のいずれか一項に記載のタスク管理システム。 - 前記所定の記憶装置は、
前記タスク処理ノードと別体で構成されるデータ管理ノードに備えられている
請求項1から請求項9のいずれか一項に記載のタスク管理システム。 - タスクを実行可能な複数のタスク処理ノードと、新規タスクを割り当てるタスク処理ノードを決定するタスク管理ノードとを有するタスク管理システムによるタスク管理方法であって、
複数の前記タスク処理ノードのそれぞれは、自身に割り当てられたタスクである割当タスクが使用するデータをキャッシュ可能なメモリを備えており、
前記割当タスクと、前記割当タスクが割り当てられ、且つ、前記割当タスクが使用するデータがキャッシュされている前記タスク処理ノードとの対応関係を含むタスク割当情報を記憶し、
前記新規タスクと、前記割当タスクとの類似度を判定し、
前記類似度に基づいて、前記タスク割当情報に含まれている前記タスク処理ノードの中から前記新規タスクを割り当てるタスク処理ノードを決定し、
前記決定したタスク処理ノードに前記新規タスクを割り当てる
タスク管理方法。 - タスクを実行可能な複数のタスク処理ノードの中から新規タスクを割り当てるタスク処理ノードを決定するタスク管理ノードを構成するコンピュータに実行させるためのタスク管理プログラムであって、
前記コンピュータは、
複数の前記タスク処理ノードのそれぞれは、自身に割り当てられたタスクである割当タスクが使用するデータをキャッシュ可能なメモリを備え、
前記コンピュータに、
前記割当タスクと、前記割当タスクが割り当てられ、且つ、前記割当タスクが使用するデータがキャッシュされている前記タスク処理ノードとの対応関係を含むタスク割当情報を記憶させ、
前記新規タスクと、前記割当タスクとの類似度を判定させ、
前記類似度に基づいて、前記タスク割当情報に含まれている前記タスク処理ノードの中から前記新規タスクを割り当てるタスク処理ノードを決定させ、
前記決定したタスク処理ノードに前記新規タスクを割り当てさせる
タスク管理プログラム。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2017214872A JP7080033B2 (ja) | 2017-11-07 | 2017-11-07 | タスク管理システム、タスク管理方法、及びタスク管理プログラム |
US16/180,866 US10915362B2 (en) | 2017-11-07 | 2018-11-05 | Task management system, task management method, and task management program |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2017214872A JP7080033B2 (ja) | 2017-11-07 | 2017-11-07 | タスク管理システム、タスク管理方法、及びタスク管理プログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2019087039A true JP2019087039A (ja) | 2019-06-06 |
JP7080033B2 JP7080033B2 (ja) | 2022-06-03 |
Family
ID=66327286
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2017214872A Active JP7080033B2 (ja) | 2017-11-07 | 2017-11-07 | タスク管理システム、タスク管理方法、及びタスク管理プログラム |
Country Status (2)
Country | Link |
---|---|
US (1) | US10915362B2 (ja) |
JP (1) | JP7080033B2 (ja) |
Families Citing this family (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US11330042B2 (en) | 2018-05-17 | 2022-05-10 | International Business Machines Corporation | Optimizing dynamic resource allocations for storage-dependent workloads in disaggregated data centers |
US10893096B2 (en) | 2018-05-17 | 2021-01-12 | International Business Machines Corporation | Optimizing dynamical resource allocations using a data heat map in disaggregated data centers |
US10841367B2 (en) | 2018-05-17 | 2020-11-17 | International Business Machines Corporation | Optimizing dynamical resource allocations for cache-dependent workloads in disaggregated data centers |
US10936374B2 (en) | 2018-05-17 | 2021-03-02 | International Business Machines Corporation | Optimizing dynamic resource allocations for memory-dependent workloads in disaggregated data centers |
US11221886B2 (en) * | 2018-05-17 | 2022-01-11 | International Business Machines Corporation | Optimizing dynamical resource allocations for cache-friendly workloads in disaggregated data centers |
US10601903B2 (en) | 2018-05-17 | 2020-03-24 | International Business Machines Corporation | Optimizing dynamical resource allocations based on locality of resources in disaggregated data centers |
US10977085B2 (en) | 2018-05-17 | 2021-04-13 | International Business Machines Corporation | Optimizing dynamical resource allocations in disaggregated data centers |
CN109891513B (zh) * | 2018-08-03 | 2023-09-19 | 上海联影医疗科技股份有限公司 | 为医疗应用分配计算资源的系统和方法 |
CN111367647B (zh) * | 2020-03-31 | 2024-06-11 | 绿盟科技集团股份有限公司 | 一种任务指派方法及装置 |
CN113722060A (zh) * | 2021-07-30 | 2021-11-30 | 浪潮电子信息产业股份有限公司 | 一种告警任务管理方法、装置及相关组件 |
CN116720645A (zh) * | 2022-10-21 | 2023-09-08 | 荣耀终端有限公司 | 一种任务分配方法、分配设备及任务分配系统 |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2012059204A (ja) * | 2010-09-13 | 2012-03-22 | Nec Corp | 情報処理装置、情報処理方法およびコンピュータ・プログラム |
JP2012523048A (ja) * | 2009-04-03 | 2012-09-27 | グーグル インコーポレイテッド | ソフトウェアアプリケーションの起動コストを低減するためのシステムおよび方法 |
JP2015162109A (ja) * | 2014-02-27 | 2015-09-07 | 日本電信電話株式会社 | タスク割り当てサーバ、タスク割り当て方法およびプログラム |
US20160179581A1 (en) * | 2014-12-19 | 2016-06-23 | Netapp, Inc. | Content-aware task assignment in distributed computing systems using de-duplicating cache |
WO2016166844A1 (ja) * | 2015-04-15 | 2016-10-20 | 株式会社日立製作所 | 分散処理システム、タスク処理方法、記憶媒体 |
US20170316078A1 (en) * | 2016-04-28 | 2017-11-02 | Snowflake Computing, Inc. | Multi-Cluster Warehouse |
Family Cites Families (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US8166479B2 (en) * | 2007-06-26 | 2012-04-24 | Softlife Projects Limited As Applied Cytometry Systems | Optimizing data analysis through directional dependencies of a graph including plurality of nodes and attributing threading models and setting status to each of the nodes |
WO2012153200A1 (en) * | 2011-05-10 | 2012-11-15 | International Business Machines Corporation | Process grouping for improved cache and memory affinity |
JP5773554B2 (ja) * | 2012-02-27 | 2015-09-02 | 株式会社日立製作所 | タスク管理方法及びタスク管理装置 |
US20160006630A1 (en) * | 2013-05-17 | 2016-01-07 | Hitachi, Ltd. | Computer system evaluation method, computer system control method, and computer system |
JP2015001828A (ja) | 2013-06-14 | 2015-01-05 | 富士通株式会社 | 割当プログラム、割当装置および割当方法 |
WO2015121925A1 (ja) * | 2014-02-12 | 2015-08-20 | 株式会社日立製作所 | システム管理方法 |
-
2017
- 2017-11-07 JP JP2017214872A patent/JP7080033B2/ja active Active
-
2018
- 2018-11-05 US US16/180,866 patent/US10915362B2/en active Active
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2012523048A (ja) * | 2009-04-03 | 2012-09-27 | グーグル インコーポレイテッド | ソフトウェアアプリケーションの起動コストを低減するためのシステムおよび方法 |
JP2012059204A (ja) * | 2010-09-13 | 2012-03-22 | Nec Corp | 情報処理装置、情報処理方法およびコンピュータ・プログラム |
JP2015162109A (ja) * | 2014-02-27 | 2015-09-07 | 日本電信電話株式会社 | タスク割り当てサーバ、タスク割り当て方法およびプログラム |
US20160179581A1 (en) * | 2014-12-19 | 2016-06-23 | Netapp, Inc. | Content-aware task assignment in distributed computing systems using de-duplicating cache |
WO2016166844A1 (ja) * | 2015-04-15 | 2016-10-20 | 株式会社日立製作所 | 分散処理システム、タスク処理方法、記憶媒体 |
US20170316078A1 (en) * | 2016-04-28 | 2017-11-02 | Snowflake Computing, Inc. | Multi-Cluster Warehouse |
Also Published As
Publication number | Publication date |
---|---|
JP7080033B2 (ja) | 2022-06-03 |
US10915362B2 (en) | 2021-02-09 |
US20190138358A1 (en) | 2019-05-09 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP7080033B2 (ja) | タスク管理システム、タスク管理方法、及びタスク管理プログラム | |
US9317519B2 (en) | Storage system for eliminating duplicated data | |
US8832130B2 (en) | System and method for implementing on demand cloud database | |
US7325041B2 (en) | File distribution system in which partial files are arranged according to various allocation rules associated with a plurality of file types | |
KR101672901B1 (ko) | 분산 파일 시스템에서 소형 파일에 대한 접근성 향상을 위한 캐시 관리 시스템 | |
CN107451853B (zh) | 一种红包实时派发的方法、装置、系统及存储介质 | |
US10664452B2 (en) | Parallel processing of large data files on distributed file systems with dynamic workload balancing | |
CN109766318B (zh) | 文件读取方法及装置 | |
CN111597148A (zh) | 用于分布式文件系统的分布式元数据管理方法 | |
CN110245129B (zh) | 一种分布式全局数据去重方法和装置 | |
CN110196860A (zh) | 唯一标识分配方法及装置、电子设备、存储介质 | |
US10747773B2 (en) | Database management system, computer, and database management method | |
US11726788B2 (en) | Tuple checkout with notify in coordination namespace system | |
CN110309184B (zh) | 一种航空运价数据的缓存方法及系统 | |
CN117033831A (zh) | 一种客户端缓存方法、装置及其介质 | |
US10606795B2 (en) | Methods for managing a buffer cache and devices thereof | |
US20190266191A1 (en) | Graph partitioning method and apparatus | |
CN114390069B (zh) | 基于分布式缓存的数据访问方法与系统、设备及存储介质 | |
CN113835613B (zh) | 一种文件读取方法、装置、电子设备和存储介质 | |
Naylor et al. | Method of efficiently choosing a cache entry for castout | |
CN110659312B (zh) | 数据处理的方法、装置、设备和计算机存储介质 | |
KR102280443B1 (ko) | 셀렉트 쿼리 처리 시 네트워크 비용 절감을 위해 멀티 캐시를 구비한 클라우드 데이터베이스 시스템 | |
KR102157591B1 (ko) | 대용량 공간 데이터 환경에서 공간분석을 위한 공간질의 장치 및 그를 위한 컴퓨터로 읽을 수 있는 기록 매체 | |
WO2021106176A1 (ja) | ソフトウェア配置システム、ソフトウェア配置装置、ソフトウェア配置方法、拠点コンピュータおよびプログラム | |
US10938878B2 (en) | Separate cache servers for storing objects in different dedicated size ranges |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20200303 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20210224 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20210309 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20210412 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20211005 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20211206 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20220426 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20220524 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7080033 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |