JP2019523462A - マルチタスクスケジューリング方法、システム、アプリケーションサーバ及びコンピュータの読み取り可能な記憶媒体 - Google Patents

マルチタスクスケジューリング方法、システム、アプリケーションサーバ及びコンピュータの読み取り可能な記憶媒体 Download PDF

Info

Publication number
JP2019523462A
JP2019523462A JP2018537644A JP2018537644A JP2019523462A JP 2019523462 A JP2019523462 A JP 2019523462A JP 2018537644 A JP2018537644 A JP 2018537644A JP 2018537644 A JP2018537644 A JP 2018537644A JP 2019523462 A JP2019523462 A JP 2019523462A
Authority
JP
Japan
Prior art keywords
task
data
type
source
synchronization
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2018537644A
Other languages
English (en)
Other versions
JP6695984B2 (ja
Inventor
軍 付
軍 付
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ping An Technology Shenzhen Co Ltd
Original Assignee
Ping An Technology Shenzhen Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ping An Technology Shenzhen Co Ltd filed Critical Ping An Technology Shenzhen Co Ltd
Publication of JP2019523462A publication Critical patent/JP2019523462A/ja
Application granted granted Critical
Publication of JP6695984B2 publication Critical patent/JP6695984B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/21—Design, administration or maintenance of databases
    • G06F16/214—Database migration support
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46—Multiprogramming arrangements
    • G06F9/48—Program initiating; Program switching, e.g. by interrupt
    • G06F9/4806—Task transfer initiation or dispatching
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/27—Replication, distribution or synchronisation of data between databases or within a distributed database system; Distributed database system architectures therefor
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/27—Replication, distribution or synchronisation of data between databases or within a distributed database system; Distributed database system architectures therefor
    • G06F16/273—Asynchronous replication or reconciliation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46—Multiprogramming arrangements
    • G06F9/48—Program initiating; Program switching, e.g. by interrupt
    • G06F9/4806—Task transfer initiation or dispatching
    • G06F9/4843—Task transfer initiation or dispatching by program, e.g. task dispatcher, supervisor, operating system
    • G06F9/4881—Scheduling strategies for dispatcher, e.g. round robin, multi-level priority queues

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Software Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Computing Systems (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)
  • Stored Programmes (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

ＡＰＩインタフェースの呼び出しをパラメータ化するために、マルチタスクスケジューリング方法、アプリケーションサーバ及びコンピュータの読み取り可能な記憶媒体を提供する。マルチタスクスケジューリング方法、システム、アプリケーションサーバ及びコンピュータの読み取り可能な記憶媒体であって、前記方法は、データプラットフォームと少なくとも１つのデータソースとの第１の接続を確立し、且つ前記データプラットフォームと前記アプリケーションサーバとの第２の接続を確立するステップと、ユーザーの選択した同期する必要のあるソーステーブルとデータソースのタイプを受信し、各データソースの対応するテーブル作成タスクとデータ同期タスクを生成し、且つそれを予め設定されたワークフロースケジューリングエンジンに発行するステップと、ユーザーの選択した同期開始時刻になると、前記予め設定されたワークフロースケジューリングエンジンによって予め設定されたタスクスケジューリングインタフェーステンプレートを呼び出し、且つ同期パラメータを前記タスクスケジューリングインタフェーステンプレートに伝達するステップと、前記同期パラメータに基づき、前記タスクスケジューリングインタフェーステンプレートにおける対応するタスク実行スクリプトを呼び出し、各データソースの対応するテーブル作成タスクとデータ同期タスクを実行するステップと、を含む。本発明はＡＰＩインタフェースの呼び出しをパラメータ化し、データ同期の時に同期パラメータを伝達するだけで同期タスクを完了することができる。

Description

「関連出願の相互参照」
本願は、２０１７年６月２５日に中国国家知識産権局に出願された、中国特許出願第２０１７１０４９０４５４．５号の「マルチタスクスケジューリング方法、アプリケーションサーバ及びコンピュータの読み取り可能な記憶媒体」と題する中国特許出願の優先権を主張し、当該出願の全体が参照によりここに組み込まれる。
本発明は、コンピュータ情報技術の分野に関し、詳しく言えば、マルチタスクスケジューリング方法、アプリケーションサーバ及びコンピュータの読み取り可能な記憶媒体に関するものである。
従来のタスクスケジューリングインタフェース（例えば、ｏｏｚｉｅ ｗｅｂ ｓｅｒｖｉｃｅ ＡＰＩ）の設計では、異なる特定のファイル（例えば、実行スクリプト、スケジューリングスクリプトなど）を順次Ｈａｄｏｏｐ分散ファイルシステム（Ｈａｄｏｏｐ Ｄｉｓｔｒｉｂｕｔｅｄ Ｆｉｌｅ Ｓｙｓｔｅｍ、ＨＤＦＳ）に配置する必要があり、このような設計方法は、必ず配置プロセスを経なければならず、不便である。よって、従来技術のタスクスケジューリングインタフェースの設計は合理的でなく、改良する必要がある。
これに鑑みて、本発明は、マルチタスクスケジューリング方法、システム、アプリケーションサーバ及びコンピュータの読み取り可能な記憶媒体を提供し、ＡＰＩインタフェースの呼び出しをパラメータ化し、データ同期の時に同期パラメータを伝達するだけで同期タスクを完了することができ、配置プロセスが不要となる。
まず、上記の目的を達成するために、本発明はアプリケーションサーバを提供し、前記アプリケーションサーバは、プロセッサ上で動作可能なマルチタスクスケジューリングシステムが記憶されている記憶装置と、プロセッサと、を含み、前記マルチタスクスケジューリングシステムが前記プロセッサによって実行される時、
データプラットフォームと少なくとも１つのデータソースとの第１の接続を確立し、且つ前記データプラットフォームと前記アプリケーションサーバとの第２の接続を確立するステップと、
ユーザーの選択した同期する必要のあるソーステーブルとデータソースのタイプを受信し、予め解析して取得された各データソースのソーステーブル構造に基づき、各データソースの対応するテーブル作成タスクとデータ同期タスクを生成し、且つ前記生成された各データソースの対応するテーブル作成タスクとデータ同期タスクを予め設定されたワークフロースケジューリングエンジンに発行するステップと、
ユーザーの選択した同期開始時刻になると、前記予め設定されたワークフロースケジューリングエンジンによって特定のファイルシステムから予め設定されたタスクスケジューリングインタフェーステンプレートを呼び出し、且つ前記予め設定されたワークフロースケジューリングエンジンによって各データソースの対応するデータ同期タスクの同期パラメータを前記タスクスケジューリングインタフェーステンプレートに伝達するステップと、
各データソースの対応するデータ同期タスクの同期パラメータに基づき、前記タスクスケジューリングインタフェーステンプレートにおける対応するタスク実行スクリプトを呼び出し、各データソースの対応するテーブル作成タスクとデータ同期タスクを実行するステップと、を実現する。
また、上記の目的を達成するために、本発明は、アプリケーションサーバに適用されるマルチタスクスケジューリング方法を提供し、前記方法において、
データプラットフォームと少なくとも１つのデータソースとの第１の接続を確立し、且つ前記データプラットフォームと前記アプリケーションサーバとの第２の接続を確立し、
ユーザーの選択した同期する必要のあるソーステーブルとデータソースのタイプを受信し、予め解析して取得された各データソースのソーステーブル構造に基づき、各データソースの対応するテーブル作成タスクとデータ同期タスクを生成し、且つ前記生成された各データソースの対応するテーブル作成タスクとデータ同期タスクを予め設定されたワークフロースケジューリングエンジンに発行し、
ユーザーの選択した同期開始時刻になると、前記予め設定されたワークフロースケジューリングエンジンによって特定のファイルシステムから予め設定されたタスクスケジューリングインタフェーステンプレートを呼び出し、且つ前記予め設定されたワークフロースケジューリングエンジンによって各データソースの対応するデータ同期タスクの同期パラメータを前記タスクスケジューリングインタフェーステンプレートに伝達し、及び
各データソースの対応するデータ同期タスクの同期パラメータに基づき、前記タスクスケジューリングインタフェーステンプレートにおける対応するタスク実行スクリプトを呼び出し、各データソースの対応するテーブル作成タスクとデータ同期タスクを実行する。
好ましくは、前記タスクスケジューリングインタフェーステンプレートは、前記ワークフロースケジューリングエンジンから伝達された同期パラメータを受信するためのパラメータ設定スクリプトと、各データソースの対応するデータ同期タスクの同期パラメータに基づき、各データソースの対応するテーブル作成タスクとデータ同期タスクを実行するためのタスク実行スクリプトと、各データソースの対応するデータ同期タスクの実行順序を管理するためのタスクスケジューリングスクリプトと、を含む。
さらに、上記の目的を達成するために、本発明は、コンピュータの読み取り可能な記憶媒体を提供し、前記コンピュータの読み取り可能な記憶媒体にマルチタスクスケジューリングシステムが記憶されており、前記マルチタスクスケジューリングシステムが少なくとも１つのプロセッサによって実行されることにより、
データプラットフォームと少なくとも１つのデータソースとの第１の接続を確立し、且つ前記データプラットフォームと前記アプリケーションサーバとの第２の接続を確立するステップと、
ユーザーの選択した同期する必要のあるソーステーブルとデータソースのタイプを受信し、予め解析して取得された各データソースのソーステーブル構造に基づき、各データソースの対応するテーブル作成タスクとデータ同期タスクを生成し、且つ前記生成された各データソースの対応するテーブル作成タスクとデータ同期タスクを予め設定されたワークフロースケジューリングエンジンに発行するステップと、
ユーザーの選択した同期開始時刻になると、前記予め設定されたワークフロースケジューリングエンジンによって特定のファイルシステムから予め設定されたタスクスケジューリングインタフェーステンプレートを呼び出し、且つ前記予め設定されたワークフロースケジューリングエンジンによって各データソースの対応するデータ同期タスクの同期パラメータを前記タスクスケジューリングインタフェーステンプレートに伝達するステップと、
各データソースの対応するデータ同期タスクの同期パラメータに基づき、前記タスクスケジューリングインタフェーステンプレートにおける対応するタスク実行スクリプトを呼び出し、各データソースの対応するテーブル作成タスクとデータ同期タスクを実行するステップと、を実現する。
さらに、上記の目的を達成するために、本発明は、マルチタスクスケジューリングシステムを提供し、前記マルチタスクスケジューリングシステムは、
データプラットフォームと少なくとも１つのデータソースとの第１の接続を確立し、且つ前記データプラットフォームと前記アプリケーションサーバとの第２の接続を確立するための接続モジュールと、
ユーザーの選択した同期する必要のあるソーステーブルとデータソースのタイプを受信し、予め解析して取得された各データソースのソーステーブル構造に基づき、各データソースの対応するテーブル作成タスクとデータ同期タスクを生成し、且つ前記生成された各データソースの対応するテーブル作成タスクとデータ同期タスクを予め設定されたワークフロースケジューリングエンジンに発行するためのタスク発行モジュールと、
ユーザーの選択した同期開始時刻になると、前記予め設定されたワークフロースケジューリングエンジンによって特定のファイルシステムから予め設定されたタスクスケジューリングインタフェーステンプレートを呼び出し、且つ前記予め設定されたワークフロースケジューリングエンジンによって各データソースの対応するデータ同期タスクの同期パラメータを前記タスクスケジューリングインタフェーステンプレートに伝達するためのスケジューリングモジュールと、
各データソースの対応するデータ同期タスクの同期パラメータに基づき、前記タスクスケジューリングインタフェーステンプレートにおける対応するタスク実行スクリプトを呼び出し、各データソースの対応するテーブル作成タスクとデータ同期タスクを実行するための実行モジュールと、を含む。
従来技術と比べ、本発明の提供するアプリケーションサーバ、マルチタスクスケジューリング方法、システム及びコンピュータの読み取り可能な記憶媒体は、ユーザーの選択した同期する必要のあるソーステーブルとデータソースのタイプに基づき、各データソースの対応するテーブル作成タスクとデータ同期タスクを自動的に生成し、同時に、異なる特定のファイル（例えば、パラメータ設定スクリプト、タスク実行スクリプト及びタスクスケジューリングスクリプト）をタスクスケジューリングインタフェーステンプレートに一度に配置し、データ同期操作を行う場合、前記タスクスケジューリングインタフェーステンプレートを直接呼び出し、且つ各データソースの対応するデータ同期タスクの同期パラメータを前記タスクスケジューリングインタフェーステンプレートに伝達し、各データソースの対応するテーブル作成タスクとデータ同期タスクを自動的に実行することにより、マルチデータソースのデータ同期の完全自動化を実現し、配置プロセスが不要となり、ＡＰＩインタフェースの呼び出しをパラメータ化し、データ同期の時に同期パラメータを伝達するだけで同期タスクを完了することができる。
本発明に係る各実施例の選択可能な適用環境の概略図である。 図１におけるアプリケーションサーバの選択可能なハードウェアアーキテクチャの概略図である。 アプリケーションサーバにおけるマルチタスクスケジューリングシステムの一実施例の機能モジュールの概略図である。 本発明のマルチタスクスケジューリング方法の一実施例の実施フローチャートである。
実施例と図面を組み合わせて本発明の目的の実現、機能的特徴及び利点についてさらに説明する。
本発明の目的、技術的解決手段、及び利点をより明らかにするために、以下では、図面及び実施例を組み合わせて、本発明をさらに詳しく説明する。理解すべきものとして、本明細書に記載された具体的な実施例は、単に本発明を説明するためのものであり、本発明を限定するためのものではない。本発明の実施例に基づき、当業者が創造的な労力を要さずに、想到し得る他の実施例は、いずれも本発明の技術的範囲に属する。
なお、本発明では、「第１」、「第２」などに関するものは、目的を説明するためのみであり、その相対的な重要性を指示、又は暗示し、又は指示された技術的特徴の数を暗黙的に指定するものとして解釈されるべきではない。従って、「第１」、「第２」に限定された特徴は、明示的又は暗黙的に少なくとも１つの前記特徴を含むことができる。また、各実施例間の技術的解決手段は、互いに組み合わせることができるが、当業者が実現できることを基礎としなければならず、技術的解決手段の組み合わせは互いに矛盾し、又は実現できない場合、このような技術的解決手段の組み合わせは存在せず、本発明の特許請求の保護範囲に属しないと認めるべきである。
さらに、説明すべきものとして、本明細書において、用語「含む」、「備える」又はその他の任意の変形は、非排他的な包含をカバーすることを意図し、それにより一連の要素を含む他のプロセス、方法、物品又は装置は、これらの要素を含むだけでなく、明確に挙げられないその他の要素をも含み、又はこのようなプロセス、方法、物品又は装置の固有の要素をも含む。それ以上の制限がない場合、センテンス「１つの．．．を含む」によって限定された要素は、前記要素を含むプロセス、方法、物品又は装置において、また別の同じ要素が存在することを排除しない。
図１は、本発明に係る各実施例の選択可能な適用環境の概略図を示す。
本実施例において、本発明は、アプリケーションサーバ２、ネットワーク３、データプラットフォーム４、及びデータソース５を含むがそれらに限定されない適用環境に適用することができる。ただし、アプリケーションサーバ２は、ラックマウント型のサーバ、ブレードサーバ、タワーサーバ又はキャビネットサーバなどの演算装置であってもよく、アプリケーションサーバ２は、独立したサーバであってもよく、また複数のサーバからなるサーバクラスタであってもよい。ネットワーク３は、イントラネット（Ｉｎｔｒａｎｅｔ）、インターネット（Ｉｎｔｅｒｎｅｔ）、グローバル移動通信システム（Ｇｌｏｂａｌ Ｓｙｓｔｅｍ ｏｆ Ｍｏｂｉｌｅ ｃｏｍｍｕｎｉｃａｔｉｏｎ、ＧＳＭ(登録商標)）、広帯域符号分割多元接続（Ｗｉｄｅｂａｎｄ Ｃｏｄｅ Ｄｉｖｉｓｉｏｎ Ｍｕｌｔｉｐｌｅ Ａｃｃｅｓｓ、ＷＣＤＭＡ(登録商標)）、４Ｇネットワーク、５Ｇネットワーク、ブルートゥース(登録商標)（Ｂｌｕｅｔｏｏｔｈ(登録商標)）、Ｗｉ−Ｆｉなどの無線又は有線ネットワークであってもよい。
ただし、アプリケーションサーバ２は、ネットワーク３によってデータプラットフォーム４に通信可能に接続され、データプラットフォーム４は、ネットワーク３によって各データソース５にそれぞれ通信可能に接続される。データプラットフォーム４と各データソース５との間に、第１の接続（又はそれを第１タイプの接続と称する）が確立されることにより、データプラットフォーム４が前記第１の接続によって各データソース５とデータ伝送及び交換を行うことができるようになる。データプラットフォーム４とアプリケーションサーバ２との間に、第２の接続（又はそれを第２タイプの接続と称する）が確立されることにより、データプラットフォーム４が前記第２の接続によってアプリケーションサーバ２とデータ伝送及び交換を行うことができるようになる。
図２は、図１におけるアプリケーションサーバの選択可能なハードウェアアーキテクチャの概略図を示す。本実施例において、アプリケーションサーバ２は、システムバスを介して互いに通信可能に接続された記憶装置２１、プロセッサ２２、ネットワークインタフェース２３を含むが、それらに限定されない。なお、図２は構成要素２１−２３を有するアプリケーションサーバ２のみを示すが、理解すべきものとして、示した全ての構成要素を実施することを要求せず、代替可能な、より多く又はより少ない構成要素を実施することができる。
ただし、記憶装置２１は、少なくとも１種の読み取り可能な記憶媒体を含み、前記読み取り可能な記憶媒体は、フラッシュメモリ、ハードディスク、マルチメディアカード、カード型記憶装置（例えば、ＳＤ又はＤＸ記憶装置など）、ランダムアクセスメモリ（ＲＡＭ）、スタティックランダムアクセスメモリ（ＳＲＡＭ）、読み出し専用メモリ（ＲＯＭ）、電気的消去可能なプログラマブル読み出し専用メモリ（ＥＥＰＲＯＭ）、プログラマブル読み取り専用メモリ（ＰＲＯＭ）、磁気メモリ、磁気ディスク、光ディスクなどを含む。いくつかの実施例において、記憶装置２１は、アプリケーションサーバ２の内部記憶ユニットであってもよく、例えば、アプリケーションサーバ２のハードディスク又はメモリである。別の実施例において、記憶装置２１は、例えば、アプリケーションサーバ２に配置されたプラグインハードディスク、スマートメディアカード（Ｓｍａｒｔ Ｍｅｄｉａ(登録商標) Ｃａｒｄ、ＳＭＣ）、セキュアデジタル（Ｓｅｃｕｒｅ Ｄｉｇｉｔａｌ、ＳＤ）カード、フラッシュカード（Ｆｌａｓｈ Ｃａｒｄ）などのアプリケーションサーバ２の外部記憶機器であってもよい。当然のことながら、記憶装置２１は、さらにアプリケーションサーバ２の内部記憶ユニットと、その外部記憶機器の両者とも、含むことができる。本実施例において、記憶装置２１は、通常、例えばマルチタスクスケジューリングシステム２０のプログラムコードなどのアプリケーションサーバ２にインストールされているオペレーティングシステムや種々のアプリケーションソフトウェアを記憶するために用いられる。また、記憶装置２１は、既に出力されたか又は出力される各種データを一時的に記憶するために用いられる。
いくつかの実施例において、プロセッサ２２は、中央処理装置（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ、ＣＰＵ）、コントローラ、マイクロコントローラ、マイクロプロセッサ、又は他のデータ処理チップであってもよい。プロセッサ２２は、通常、アプリケーションサーバ２の全体動作を制御するために用いられ、例えば、アプリケーションサーバ２とのデータ交換又は通信に関わる制御及び処理などを実行する。本実施例において、プロセッサ２２は、記憶装置２１に記憶されたプログラムコードの実行やデータ処理に用いられ、例えば、マルチタスクスケジューリングシステム２０の実行などである。
ネットワークインタフェース２３は、無線ネットワークインタフェース又は有線ネットワークインタフェースを含むことができ、ネットワークインタフェース２３は、通常、アプリケーションサーバ２と他の電子機器との間に通信接続を確立するために用いられる。本実施例において、ネットワークインタフェース２３は、主に、ネットワーク３を介してアプリケーションサーバ２とデータプラットフォーム４を接続し、アプリケーションサーバ２とデータプラットフォーム４との間に、データ伝送チャネルと通信接続を確立するために用いられる。
以上、本発明の各実施例の適用環境及び関連機器のハードウェア構造及び機能について詳細に説明した。以下では、上記の適用環境及び関連機器に基づき、本発明の各実施例を提供する。
まず、本発明は、マルチタスクスケジューリングシステム２０を提供する。
図３は、アプリケーションサーバ２におけるマルチタスクスケジューリングシステム２０の一実施例の機能モジュールの概略図を示す。本実施例において、マルチタスクスケジューリングシステム２０は、１つ又は複数のモジュールに分割することができ、前記１つ又は複数のモジュールは、記憶装置２１に記憶されており、且つ１つ又は複数のプロセッサ（本実施例において、プロセッサ２２）によって実行されることにより、本発明を完了させる。例えば、図３において、マルチタスクスケジューリングシステム２０は、接続モジュール２０１、タスク発行モジュール２０２、スケジューリングモジュール２０３、及び実行モジュール２０４に分割することができる。本発明で言う機能モジュールとは、特定の機能を完了できる一連のコンピュータプログラム命令セグメントであり、プログラムよりもマルチタスクスケジューリングシステム２０のアプリケーションサーバ２における実行プロセスを説明することに適する。以下では、各機能モジュール２０１−２０４の機能について、詳細に説明する。
接続モジュール２０１は、データプラットフォーム４と少なくとも１つのデータソース５との第１の接続（又はそれを第１タイプの接続と称する）を確立し、且つデータプラットフォーム４とアプリケーションサーバ２（例えば、解析サーバ）との第２の接続（又はそれを第２タイプの接続と称する）を確立するために用いられる。
好ましくは、本実施例において、データプラットフォーム４はＨａｄｏｏｐデータプラットフォームを採用し、且つデータプラットフォーム４におけるデータ伝送ツールによって、データプラットフォーム４と各データソース５との第１の接続を確立する。例えば、前記データ伝送ツールはＨａｄｏｏｐ内に設けられたＳｑｏｏｐツールである。当業者であれば、その他の実施例において、前記データプラットフォームとデータ伝送ツールは他のタイプを用いることもできる。
タスク発行モジュール２０２は、ユーザーの選択した同期する必要のあるソーステーブル（一部又は全部）とデータソースのタイプを受信し、予め解析して取得された各データソースのソーステーブル構造に基づき、各データソースの対応するテーブル作成タスクとデータ同期タスク（又は、それをデータ抽出タスクと称する）を生成し、且つ前記生成された各データソースの対応するテーブル作成タスクとデータ同期タスクを予め設定されたワークフロースケジューリングエンジン（例えば、ｏｏｚｉｅスケジューリングエンジン）に発行するために用いられる。
好ましくは、本実施例において、前記データソースのタイプは、第１タイプのデータソース（例えば、ＭＳ ＳＱＬ Ｓｅｒｖｅｒデータソース）、第２タイプのデータソース（例えば、Ｏｒａｃｌｅデータソース）、第３タイプのデータソース（例えば、ＭｙＳＱＬデータソース）などを含むが、それらに限定されない。当業者であれば、他の実施例において、前記データソースのタイプの数が、異なるデータプラットフォームの要件に従って増加又は減少することができることが理解される。例えば、ユーザーは、第１タイプのデータソースにおける一部のソーステーブルを同期させることを選択することができる。
好ましくは、本実施例において、前記データソースのソーステーブル構造は、各データソースのデータタイプと含まれたフィールド情報などを含むが、それらに限定されない。
好ましくは、本実施例において、アプリケーションサーバ２内に、各データソース５の対応する解析スクリプトファイルが設けられており、並列スケジューリングメカニズムによって、データプラットフォーム４におけるデータ伝送ツールが各解析スクリプトファイルにおけるソーステーブル構造の解析タスクを並列実行するように制御し、解析によって、各データソースのソーステーブル構造を取得し、且つ前記第２の接続によって、解析して取得された各データソースのソーステーブル構造をアプリケーションサーバ２に返させる。
好ましくは、本実施例において、前記生成された各データソースの対応するテーブル作成タスクは、ユーザーの選択した同期する必要のあるソーステーブル（一部又は全部）と各ソーステーブルのタイプに基づき、前記選択されたソーステーブルのタイプに対応する目標テーブルを生成することを含む。好ましくは、本実施例において、前記ソーステーブルのタイプは、第１タイプのディメンションテーブル（即ち、データ量が少なく、設定に使用されたソーステーブルに関連する）、第２タイプのタスクテーブル（即ち、テーブル内のデータは絶えず更新及び追加され、且つ当日に当日以外の履歴データを更新する）、第３タイプのフローテーブル（即ち、テーブル内のデータは絶えず追加され、且つ当日に当日以外の履歴データを更新しない）を含むが、それらに限定されない。
具体的には、ユーザーの選択した同期する必要のあるソーステーブルのタイプが第１タイプのディメンションテーブル（即ち、データ量が少なく、設定に使用されたソーステーブルに関連する）である場合、前記第１タイプのディメンションテーブルのソーステーブル構造に対応する第１タイプの目標テーブルを生成し、ただし、前記第１タイプの目標テーブルの数は前記ユーザーの選択した同期する必要のある第１タイプのソーステーブル数によって確定される。
ユーザーの選択した同期する必要のあるソーステーブルのタイプが第２タイプのタスクテーブル（即ち、テーブル内のデータは絶えず更新及び追加され、且つ当日に当日以外の履歴データを更新する）である場合、前記第２タイプのタスクテーブルのソーステーブル構造に対応する第２タイプの目標テーブルを生成し、ただし、前記第２タイプの目標テーブルの数は前記ユーザーの選択した同期する必要のある第２タイプのソーステーブル数によって確定される。
ユーザーの選択した同期する必要のあるソーステーブルのタイプが第３タイプのフローテーブル（即ち、テーブル内のデータは絶えず追加され、且つ当日に当日以外の履歴データを更新しない）である場合、前記第３タイプのフローテーブルのソーステーブル構造に対応する第３タイプの目標テーブルを生成し、ただし、前記第３タイプの目標テーブルの数は前記ユーザーの選択した同期する必要のある第３タイプのソーステーブル数によって確定される。
好ましくは、本実施例において、前記生成された各データソースの対応するデータ同期タスクは、
ユーザーの選択した同期する必要のある開始時刻と終了時刻に基づき、各ソーステーブルからのデータ抽出の開始時刻とデータ抽出の終了時刻を確定し、
ユーザーの選択した同期する必要のあるソーステーブル数及び同期する目標側のユーザーに基づき、データ同期の各タスクに必要なリソース配置（例えば、ＣＰＵ、メモリ及び磁気ディスクなど）とリソース管理ノードを確定し、ただし、前記リソース配置はリストの方式によって実現することができ、前記リソース管理ノードはＨａｄｏｏｐリソース表現モデルとリソース割当モデルによって実現することができ、
前記同期する必要のあるソーステーブルの該当するフィールドと前記生成された各目標テーブルの該当するフィールドとの対応関係を確立し、且つソーステーブルと目標テーブルの該当するフィールドの対応関係に基づき、各ソーステーブルの対応するデータ抽出タスクを生成することを含む。
具体的には、ユーザーの選択した同期する必要のあるソーステーブルのタイプが第１タイプのディメンションテーブルである場合、前記同期する必要のある第１タイプのディメンションテーブルの該当するフィールドと前記生成された各第１タイプの目標テーブルの該当するフィールドとの対応関係を確立し、且つ第１タイプのディメンションテーブルと第１タイプの目標テーブルの該当するフィールドとの対応関係に基づき、各第１タイプのディメンションテーブルの対応するデータ抽出タスクを生成する。
ユーザーの選択した同期する必要のあるソーステーブルのタイプが第２タイプのタスクテーブルである場合、前記同期する必要のある第２タイプのタスクテーブルの該当するフィールドと前記生成された各第２タイプの目標テーブルの該当するフィールドとの対応関係を確立し、且つ第２タイプのタスクテーブルと第２タイプの目標テーブルの該当するフィールドとの対応関係に基づき、各第２タイプのタスクテーブルの対応するデータ抽出タスクを生成する。
ユーザーの選択した同期する必要のあるソーステーブルのタイプが第３タイプのフローテーブルである場合、前記同期する必要のある第３タイプのフローテーブルの該当するフィールドと前記生成された各第３タイプの目標テーブルの該当するフィールドとの対応関係を確立し、且つ第３タイプのフローテーブルと第３タイプの目標テーブルの該当するフィールドとの対応関係に基づき、各第３タイプのフローテーブルの対応するデータ抽出タスクを生成する。
スケジューリングモジュール２０３は、ユーザーの選択した同期開始時刻になると、前記予め設定されたワークフロースケジューリングエンジンによって特定のファイルシステムから予め設定されたタスクスケジューリングインタフェーステンプレートを呼び出し、且つ前記予め設定されたワークフロースケジューリングエンジンによって各データソースの対応するデータ同期タスクの同期パラメータを前記タスクスケジューリングインタフェーステンプレートに伝達するために用いられる。本実施形態では、前記特定のファイルシステムは分散ファイルシステム、例えば、Ｈａｄｏｏｐ分散ファイルシステム（Ｈａｄｏｏｐ Ｄｉｓｔｒｉｂｕｔｅｄ Ｆｉｌｅ Ｓｙｓｔｅｍ、ＨＤＦＳ）であり、前記タスクスケジューリングインタフェーステンプレートはｏｏｚｉｅ ｗｅｂ ｓｅｒｖｉｃｅ ＡＰＩ（Ａｐｐｌｉｃａｔｉｏｎ Ｐｒｏｇｒａｍｍｉｎｇ Ｉｎｔｅｒｆａｃｅ、アプリケーションプログラミングインタフェース）テンプレートである。ただし、前記タスクスケジューリングインタフェーステンプレートは前記特定のファイルシステムに予め配置される。
好ましくは、本実施例において、前記同期パラメータは、各タスクに必要なリソース配置ノードとリソース管理ノード、データ同期の開始時刻と終了時刻、前記同期パラメータを選択するユーザー名などの情報を含むが、それらに限定されない。
好ましくは、本実施例において、前記タスクスケジューリングインタフェーステンプレートは、パラメータ設定スクリプト、タスク実行スクリプト及びタスクスケジューリングスクリプトを含むが、それらに限定されない。ただし、前記パラメータ設定スクリプトはｓｈｅｌｌスクリプトであり、前記ワークフロースケジューリングエンジンから伝達された同期パラメータを受信するために用いられる。前記タスク実行スクリプトは、ＸＭＬ（Ｅｘｔｅｎｓｉｂｌｅ Ｍａｒｋｕｐ Ｌａｎｇｕａｇｅ、拡張可能なマークアップ言語）スクリプトであり、各データソースの対応するデータ同期タスクの同期パラメータに基づき、各データソースの対応するテーブル作成タスクとデータ同期タスクを実行するために用いられる。前記タスクスケジューリングスクリプトはＸＭＬスクリプトであり、各データソースの対応するデータ同期タスクの実行順序を管理するために用いられる。
好ましくは、本実施例において、前記タスク実行スクリプトは、第１タイプのディメンションテーブルからデータを抽出するための第１実行スクリプト、第２タイプのタスクテーブルからデータを抽出するための第２実行スクリプト、第３タイプのフローテーブルからデータを抽出するための第３実行スクリプトを含むが、それらに限定されない。
実行モジュール２０４は、各データソースの対応するデータ同期タスクの同期パラメータに基づき、前記タスクスケジューリングインタフェーステンプレートにおける対応するタスク実行スクリプトを呼び出し、各データソースの対応するテーブル作成タスクとデータ同期タスクを実行するために用いられる。
好ましくは、本実施例において、前記データ同期タスクの実行は、
前記タスクスケジューリングインタフェーステンプレートにおける各データソースの対応するタスク実行スクリプトを呼び出し、データ同期の各タスクに必要なリソース配置を取得し、各ソーステーブルから該当するフィールドに対応するデータ（メタデータ情報）をそれぞれ抽出し、且つ抽出されたデータを各目標テーブルの該当するフィールドにそれぞれ記憶することを含む。
具体的には、ユーザーの選択した同期する必要のあるソーステーブルのタイプが第１タイプのディメンションテーブルである場合、前記タスクスケジューリングインタフェーステンプレートにおける第１実行スクリプトを呼び出し、各第１タイプのディメンションテーブルから該当するフィールドに対応する第１データをそれぞれ抽出し、且つ抽出された第１データを各第１タイプの目標テーブルの該当するフィールドにそれぞれ記憶する。
ユーザーの選択した同期する必要のあるソーステーブルのタイプが第２タイプのタスクテーブルである場合、前記タスクスケジューリングインタフェーステンプレートにおける第２実行スクリプトを呼び出し、各第２タイプのタスクテーブルから該当するフィールドに対応する第２データをそれぞれ抽出し、且つ抽出された第２データを各第２タイプの目標テーブルの該当するフィールドにそれぞれ記憶する。
ユーザーの選択した同期する必要のあるソーステーブルのタイプが第３タイプのフローテーブルである場合、前記タスクスケジューリングインタフェーステンプレートにおける第３実行スクリプトを呼び出し、各第３タイプのフローテーブルから該当するフィールドに対応する第３データをそれぞれ抽出し、且つ抽出された第３データを各第３タイプの目標テーブルの該当するフィールドにそれぞれ記憶する。
好ましくは、他の実施例において、マルチタスクスケジューリングシステム２０がプロセッサ２２によって実行される時、さらに、
並列スケジューリングメカニズムによって、前記タスクスケジューリングインタフェーステンプレートにおける対応するタスク実行スクリプトを呼び出し、各データソースの対応するテーブル作成タスクとデータ同期タスクを並列実行し、各ソーステーブルから該当するフィールドに対応するデータをそれぞれ抽出し、且つ抽出されたデータを各目標テーブルの該当するフィールドにそれぞれ記憶するステップを実現する。
機能モジュール２０１−２０４によって、本発明の提供するマルチタスクスケジューリングシステム２０は、ユーザーの選択した同期する必要のあるソーステーブルとデータソースのタイプに基づき、各データソースの対応するテーブル作成タスクとデータ同期タスクを自動的に生成し、同時に、異なる特定のファイル（例えば、パラメータ設定スクリプト、タスク実行スクリプト及びタスクスケジューリングスクリプト）をタスクスケジューリングインタフェーステンプレートに一度に配置し、データ同期操作を行う場合、前記タスクスケジューリングインタフェーステンプレートを直接呼び出し、且つ各データソースの対応するデータ同期タスクの同期パラメータを前記タスクスケジューリングインタフェーステンプレートに伝達し、各データソースの対応するテーブル作成タスクとデータ同期タスクを自動的に実行することにより、マルチデータソースのデータ同期の完全自動化を実現し、配置プロセスが不要となり、ＡＰＩインタフェースの呼び出しをパラメータ化し、データ同期の時に同期パラメータを伝達するだけで同期タスクを完了することができる。
また、本発明は、さらにマルチタスクスケジューリング方法を提供する。
図４は本発明のマルチタスクスケジューリング方法の一実施例の実施フローチャートを示す。本実施例において、必要に応じて、図４に示したフローチャートにおけるステップの実行順序は変更されてもよく、一部のステップは省略されてもよい。
ステップＳ４１、データプラットフォーム４と少なくとも１つのデータソース５との第１の接続（又はそれを第１タイプの接続と称する）を確立し、且つデータプラットフォーム４とアプリケーションサーバ２（例えば、解析サーバ）との第２の接続（又はそれを第２タイプの接続と称する）を確立する。
好ましくは、本実施例において、データプラットフォーム４はＨａｄｏｏｐデータプラットフォームを採用し、且つデータプラットフォーム４におけるデータ伝送ツールによって、データプラットフォーム４と各データソース５との第１の接続を確立する。例えば、前記データ伝送ツールはＨａｄｏｏｐ内に設けられたＳｑｏｏｐツールである。当業者であれば、その他の実施例において、前記データプラットフォームとデータ伝送ツールは他のタイプを用いることもできる。
ステップＳ４２、ユーザーの選択した同期する必要のあるソーステーブル（一部又は全部）とデータソースのタイプを受信し、予め解析して取得された各データソースのソーステーブル構造に基づき、各データソースの対応するテーブル作成タスクとデータ同期タスク（又は、それをデータ抽出タスクと称する）を生成し、且つ前記生成された各データソースの対応するテーブル作成タスクとデータ同期タスクを予め設定されたワークフロースケジューリングエンジン（例えば、ｏｏｚｉｅスケジューリングエンジン）に発行する。
好ましくは、本実施例において、前記データソースのタイプは、第１タイプのデータソース（例えば、ＭＳ ＳＱＬ Ｓｅｒｖｅｒデータソース）、第２タイプのデータソース（例えば、Ｏｒａｃｌｅデータソース）、第３タイプのデータソース（例えば、ＭｙＳＱＬデータソース）などを含むが、それらに限定されない。当業者であれば、他の実施例において、前記データソースのタイプの数が、異なるデータプラットフォームの要件に従って増加又は減少することができることが理解される。例えば、ユーザーは、第１タイプのデータソースにおける一部のソーステーブルを同期させることを選択することができる。
好ましくは、本実施例において、前記データソースのソーステーブル構造は、各データソースのデータタイプと含まれたフィールド情報などを含むが、それらに限定されない。
好ましくは、本実施例において、アプリケーションサーバ２内に、各データソース５の対応する解析スクリプトファイルが設けられており、並列スケジューリングメカニズムによって、データプラットフォーム４におけるデータ伝送ツールが各解析スクリプトファイルにおけるソーステーブル構造の解析タスクを並列実行するように制御し、解析によって、各データソースのソーステーブル構造を取得し、且つ前記第２の接続によって、解析して取得された各データソースのソーステーブル構造をアプリケーションサーバ２に返させる。
好ましくは、本実施例において、前記生成された各データソースの対応するテーブル作成タスクは、ユーザーの選択した同期する必要のあるソーステーブル（一部又は全部）と各ソーステーブルのタイプに基づき、前記選択されたソーステーブルのタイプに対応する目標テーブルを生成することを含む。好ましくは、本実施例において、前記ソーステーブルのタイプは、第１タイプのディメンションテーブル（即ち、データ量が少なく、設定に使用されたソーステーブルに関連する）、第２タイプのタスクテーブル（即ち、テーブル内のデータは絶えず更新及び追加され、且つ当日に当日以外の履歴データを更新する）、第３タイプのフローテーブル（即ち、テーブル内のデータは絶えず追加され、且つ当日に当日以外の履歴データを更新しない）を含むが、それらに限定されない。
具体的には、ユーザーの選択した同期する必要のあるソーステーブルのタイプが第１タイプのディメンションテーブル（即ち、データ量が少なく、設定に使用されたソーステーブルに関連する）である場合、前記第１タイプのディメンションテーブルのソーステーブル構造に対応する第１タイプの目標テーブルを生成し、ただし、前記第１タイプの目標テーブルの数は前記ユーザーの選択した同期する必要のある第１タイプのソーステーブル数によって確定される。
ユーザーの選択した同期する必要のあるソーステーブルのタイプが第２タイプのタスクテーブル（即ち、テーブル内のデータは絶えず更新及び追加され、且つ当日に当日以外の履歴データを更新する）である場合、前記第２タイプのタスクテーブルのソーステーブル構造に対応する第２タイプの目標テーブルを生成し、ただし、前記第２タイプの目標テーブルの数は前記ユーザーの選択した同期する必要のある第２タイプのソーステーブル数によって確定される。
ユーザーの選択した同期する必要のあるソーステーブルのタイプが第３タイプのフローテーブル（即ち、テーブル内のデータは絶えず追加され、且つ当日に当日以外の履歴データを更新しない）である場合、前記第３タイプのフローテーブルのソーステーブル構造に対応する第３タイプの目標テーブルを生成し、ただし、前記第３タイプの目標テーブルの数は前記ユーザーの選択した同期する必要のある第３タイプのソーステーブル数によって確定される。
好ましくは、本実施例において、前記生成された各データソースの対応するデータ同期タスクは、
ユーザーの選択した同期する必要のある開始時刻と終了時刻に基づき、各ソーステーブルからのデータ抽出の開始時刻とデータ抽出の終了時刻を確定し、
ユーザーの選択した同期する必要のあるソーステーブル数及び同期する目標側のユーザーに基づき、データ同期の各タスクに必要なリソース配置（例えば、ＣＰＵ、メモリ及び磁気ディスクなど）とリソース管理ノードを確定し、ただし、前記リソース配置はリストの方式によって実現することができ、前記リソース管理ノードはＨａｄｏｏｐリソース表現モデルとリソース割当モデルによって実現することができ、
前記同期する必要のあるソーステーブルの該当するフィールドと前記生成された各目標テーブルの該当するフィールドとの対応関係を確立し、且つソーステーブルと目標テーブルの該当するフィールドの対応関係に基づき、各ソーステーブルの対応するデータ抽出タスクを生成することを含む。
具体的には、ユーザーの選択した同期する必要のあるソーステーブルのタイプが第１タイプのディメンションテーブルである場合、前記同期する必要のある第１タイプのディメンションテーブルの該当するフィールドと前記生成された各第１タイプの目標テーブルの該当するフィールドとの対応関係を確立し、且つ第１タイプのディメンションテーブルと第１タイプの目標テーブルの該当するフィールドとの対応関係に基づき、各第１タイプのディメンションテーブルの対応するデータ抽出タスクを生成する。
ユーザーの選択した同期する必要のあるソーステーブルのタイプが第２タイプのタスクテーブルである場合、前記同期する必要のある第２タイプのタスクテーブルの該当するフィールドと前記生成された各第２タイプの目標テーブルの該当するフィールドとの対応関係を確立し、且つ第２タイプのタスクテーブルと第２タイプの目標テーブルの該当するフィールドとの対応関係に基づき、各第２タイプのタスクテーブルの対応するデータ抽出タスクを生成する。
ユーザーの選択した同期する必要のあるソーステーブルのタイプが第３タイプのフローテーブルである場合、前記同期する必要のある第３タイプのフローテーブルの該当するフィールドと前記生成された各第３タイプの目標テーブルの該当するフィールドとの対応関係を確立し、且つ第３タイプのフローテーブルと第３タイプの目標テーブルの該当するフィールドとの対応関係に基づき、各第３タイプのフローテーブルの対応するデータ抽出タスクを生成する。
ステップＳ４３、ユーザーの選択した同期開始時刻になると、前記予め設定されたワークフロースケジューリングエンジンによって特定のファイルシステムから予め設定されたタスクスケジューリングインタフェーステンプレートを呼び出し、且つ前記予め設定されたワークフロースケジューリングエンジンによって各データソースの対応するデータ同期タスクの同期パラメータを前記タスクスケジューリングインタフェーステンプレートに伝達する。本実施形態では、前記特定のファイルシステムは分散ファイルシステム、例えば、Ｈａｄｏｏｐ分散ファイルシステム（Ｈａｄｏｏｐ Ｄｉｓｔｒｉｂｕｔｅｄ Ｆｉｌｅ Ｓｙｓｔｅｍ、ＨＤＦＳ）であり、前記タスクスケジューリングインタフェーステンプレートはｏｏｚｉｅ ｗｅｂ ｓｅｒｖｉｃｅ ＡＰＩ（Ａｐｐｌｉｃａｔｉｏｎ Ｐｒｏｇｒａｍｍｉｎｇ Ｉｎｔｅｒｆａｃｅ、アプリケーションプログラミングインタフェース）テンプレートである。ただし、前記タスクスケジューリングインタフェーステンプレートは前記特定のファイルシステムに予め配置される。
好ましくは、本実施例において、前記同期パラメータは、各タスクに必要なリソース配置ノードとリソース管理ノード、データ同期の開始時刻と終了時刻、前記同期パラメータを選択するユーザー名などの情報を含むが、それらに限定されない。
好ましくは、本実施例において、前記タスクスケジューリングインタフェーステンプレートは、パラメータ設定スクリプト、タスク実行スクリプト及びタスクスケジューリングスクリプトを含むが、それらに限定されない。ただし、前記パラメータ設定スクリプトはｓｈｅｌｌスクリプトであり、前記ワークフロースケジューリングエンジンから伝達された同期パラメータを受信するために用いられる。前記タスク実行スクリプトは、ＸＭＬ（Ｅｘｔｅｎｓｉｂｌｅ Ｍａｒｋｕｐ Ｌａｎｇｕａｇｅ、拡張可能なマークアップ言語）スクリプトであり、各データソースの対応するデータ同期タスクの同期パラメータに基づき、各データソースの対応するテーブル作成タスクとデータ同期タスクを実行するために用いられる。前記タスクスケジューリングスクリプトはＸＭＬスクリプトであり、各データソースの対応するデータ同期タスクの実行順序を管理するために用いられる。
好ましくは、本実施例において、前記タスク実行スクリプトは、第１タイプのディメンションテーブルからデータを抽出するための第１実行スクリプト、第２タイプのタスクテーブルからデータを抽出するための第２実行スクリプト、第３タイプのフローテーブルからデータを抽出するための第３実行スクリプトを含むが、それらに限定されない。
ステップＳ４４、各データソースの対応するデータ同期タスクの同期パラメータに基づき、前記タスクスケジューリングインタフェーステンプレートにおける対応するタスク実行スクリプトを呼び出し、各データソースの対応するテーブル作成タスクとデータ同期タスクを実行する。
好ましくは、本実施例において、前記データ同期タスクの実行は、
前記タスクスケジューリングインタフェーステンプレートにおける各データソースの対応するタスク実行スクリプトを呼び出し、データ同期の各タスクに必要なリソース配置を取得し、各ソーステーブルから該当するフィールドに対応するデータ（メタデータ情報）をそれぞれ抽出し、且つ抽出されたデータを各目標テーブルの該当するフィールドにそれぞれ記憶することを含む。
具体的には、ユーザーの選択した同期する必要のあるソーステーブルのタイプが第１タイプのディメンションテーブルである場合、前記タスクスケジューリングインタフェーステンプレートにおける第１実行スクリプトを呼び出し、各第１タイプのディメンションテーブルから該当するフィールドに対応する第１データをそれぞれ抽出し、且つ抽出された第１データを各第１タイプの目標テーブルの該当するフィールドにそれぞれ記憶する。
ユーザーの選択した同期する必要のあるソーステーブルのタイプが第２タイプのタスクテーブルである場合、前記タスクスケジューリングインタフェーステンプレートにおける第２実行スクリプトを呼び出し、各第２タイプのタスクテーブルから該当するフィールドに対応する第２データをそれぞれ抽出し、且つ抽出された第２データを各第２タイプの目標テーブルの該当するフィールドにそれぞれ記憶する。
ユーザーの選択した同期する必要のあるソーステーブルのタイプが第３タイプのフローテーブルである場合、前記タスクスケジューリングインタフェーステンプレートにおける第３実行スクリプトを呼び出し、各第３タイプのフローテーブルから該当するフィールドに対応する第３データをそれぞれ抽出し、且つ抽出された第３データを各第３タイプの目標テーブルの該当するフィールドにそれぞれ記憶する。
好ましくは、他の実施例において、該方法は、さらに、
並列スケジューリングメカニズムによって、前記タスクスケジューリングインタフェーステンプレートにおける対応するタスク実行スクリプトを呼び出し、各データソースの対応するテーブル作成タスクとデータ同期タスクを並列実行し、各ソーステーブルから該当するフィールドに対応するデータをそれぞれ抽出し、且つ抽出されたデータを各目標テーブルの該当するフィールドにそれぞれ記憶するステップを含む。
ステップＳ４１−Ｓ４４によって、本発明の提供するマルチタスクスケジューリング方法は、ユーザーの選択した同期する必要のあるソーステーブルとデータソースのタイプに基づき、各データソースの対応するテーブル作成タスクとデータ同期タスクを自動的に生成し、同時に、異なる特定のファイル（例えば、パラメータ設定スクリプト、タスク実行スクリプト及びタスクスケジューリングスクリプト）をタスクスケジューリングインタフェーステンプレートに一度に配置し、データ同期操作を行う場合、前記タスクスケジューリングインタフェーステンプレートを直接呼び出し、且つ各データソースの対応するデータ同期タスクの同期パラメータを前記タスクスケジューリングインタフェーステンプレートに伝達し、各データソースの対応するテーブル作成タスクとデータ同期タスクを自動的に実行することにより、マルチデータソースのデータ同期の完全自動化を実現し、配置プロセスが不要となり、ＡＰＩインタフェースの呼び出しをパラメータ化し、データ同期の時に同期パラメータを伝達するだけで同期タスクを完了することができる。
さらに、上記の目的を達成するために、本発明は、コンピュータの読み取り可能な記憶媒体（例えば、ＲＯＭ／ＲＡＭ、磁気ディスク、光ディスク）を提供し、前記コンピュータの読み取り可能な記憶媒体にマルチタスクスケジューリングシステム２０が記憶されており、マルチタスクスケジューリングシステム２０が少なくとも１つのプロセッサ２２によって実行されることにより、少なくとも１つのプロセッサ２２が上述したマルチタスクスケジューリング方法のステップを実行する。
上記実施形態の説明によって、当業者であれば、上記実施例の方法がソフトウェアと必要な汎用ハードウェアプラットフォームの方式によって実現することができ、当然のことながら、ハードウェアによって実現することもできるが、多くの場合では、前者がより好ましい実施形態であることは、明らかに理解されるものである。このような理解に基づき、本発明の技術的解決手段は、本質的に又は、従来技術に寄与する部分がソフトウェア製品の形で具体化することができ、前記コンピュータソフトウェア製品は、記憶媒体（例えば、ＲＯＭ／ＲＡＭ、磁気ディスク、光ディスク）に記憶され、複数の命令を含み、それにより１台の端末装置（携帯電話、コンピュータ、サーバ、エアコン、又はネットワーク装置など）で本発明の各実施例に記載の方法を実行する。
以上、図面を参照しながら本発明の好ましい実施例について説明したが、これで本発明の特許請求の範囲を限定するものではない。上記本発明による実施例のシーケンス番号は、単に説明するためのものであり、実施例の優劣を表すものではない。また、フローチャートには論理的な順序が示されているが、場合によっては、ここで異なる順序で示し又は説明したステップを実行することができる。
本発明の趣旨を逸脱しない限り、当業者であれば、種々の変形変更が可能である。例えば、ある実施例における特徴は他の実施例に適用してさらに別の実施例を得る。本明細書及び図面の記載を利用して行う同等の構造又は同等のプロセスの変換、又は他の関連技術分野における直接的又は間接的な利用の全てが、いずれも本発明に属することを理解されたい。
アプリケーションサーバ ２
ネットワーク ３
データプラットフォーム ４
データソース ５
記憶装置 ２１
プロセッサ ２２
ネットワークインタフェース ２３
マルチタスクスケジューリングシステム ２０
接続モジュール ２０１
タスク発行モジュール ２０２
スケジューリングモジュール ２０３
実行モジュール ２０４
処理ステップ Ｓ４１―Ｓ４４

Claims (20)

  1. アプリケーションサーバであって、プロセッサ上で動作可能なマルチタスクスケジューリングシステムが記憶されている記憶装置と、プロセッサと、を含み、前記マルチタスクスケジューリングシステムが前記プロセッサによって実行される時、
    データプラットフォームと少なくとも１つのデータソースとの第１の接続を確立し、且つ前記データプラットフォームと前記アプリケーションサーバとの第２の接続を確立するステップと、
    ユーザーの選択した同期する必要のあるソーステーブルとデータソースのタイプを受信し、予め解析して取得された各データソースのソーステーブル構造に基づき、各データソースの対応するテーブル作成タスクとデータ同期タスクを生成し、且つ前記生成された各データソースの対応するテーブル作成タスクとデータ同期タスクを予め設定されたワークフロースケジューリングエンジンに発行するステップと、
    ユーザーの選択した同期開始時刻になると、前記予め設定されたワークフロースケジューリングエンジンによって特定のファイルシステムから予め設定されたタスクスケジューリングインタフェーステンプレートを呼び出し、且つ前記予め設定されたワークフロースケジューリングエンジンによって各データソースの対応するデータ同期タスクの同期パラメータを前記タスクスケジューリングインタフェーステンプレートに伝達するステップと、
    各データソースの対応するデータ同期タスクの同期パラメータに基づき、前記タスクスケジューリングインタフェーステンプレートにおける対応するタスク実行スクリプトを呼び出し、各データソースの対応するテーブル作成タスクとデータ同期タスクを実行するステップと、を実現する
    ことを特徴とするアプリケーションサーバ。
  2. 前記タスクスケジューリングインタフェーステンプレートは、前記ワークフロースケジューリングエンジンから伝達された同期パラメータを受信するためのパラメータ設定スクリプトと、各データソースの対応するデータ同期タスクの同期パラメータに基づき、各データソースの対応するテーブル作成タスクとデータ同期タスクを実行するためのタスク実行スクリプトと、各データソースの対応するデータ同期タスクの実行順序を管理するためのタスクスケジューリングスクリプトと、を含む
    ことを特徴とする請求項１に記載のアプリケーションサーバ。
  3. 前記タスク実行スクリプトは、第１タイプのディメンションテーブルからデータを抽出するための第１実行スクリプトと、第２タイプのタスクテーブルからデータを抽出するための第２実行スクリプトと、第３タイプのフローテーブルからデータを抽出するための第３実行スクリプトと、を含む
    ことを特徴とする請求項２に記載のアプリケーションサーバ。
  4. 前記データ同期タスクの実行は、
    前記タスクスケジューリングインタフェーステンプレートにおける各データソースの対応するタスク実行スクリプトを呼び出し、データ同期の各タスクに必要なリソース配置を取得し、各ソーステーブルから該当するフィールドに対応するデータをそれぞれ抽出し、且つ抽出されたデータを各目標テーブルの該当するフィールドにそれぞれ記憶することを含む
    ことを特徴とする請求項２又は３に記載のアプリケーションサーバ。
  5. 前記データ同期タスクの実行は、
    ユーザーの選択した同期する必要のあるソーステーブルのタイプが第１タイプのディメンションテーブルである場合、前記タスクスケジューリングインタフェーステンプレートにおける第１実行スクリプトを呼び出し、各第１タイプのディメンションテーブルから該当するフィールドに対応する第１データをそれぞれ抽出し、且つ抽出された第１データを各第１タイプの目標テーブルの該当するフィールドにそれぞれ記憶することと、
    ユーザーの選択した同期する必要のあるソーステーブルのタイプが第２タイプのタスクテーブルである場合、前記タスクスケジューリングインタフェーステンプレートにおける第２実行スクリプトを呼び出し、各第２タイプのタスクテーブルから該当するフィールドに対応する第２データをそれぞれ抽出し、且つ抽出された第２データを各第２タイプの目標テーブルの該当するフィールドにそれぞれ記憶することと、
    ユーザーの選択した同期する必要のあるソーステーブルのタイプが第３タイプのフローテーブルである場合、前記タスクスケジューリングインタフェーステンプレートにおける第３実行スクリプトを呼び出し、各第３タイプのフローテーブルから該当するフィールドに対応する第３データをそれぞれ抽出し、且つ抽出された第３データを各第３タイプの目標テーブルの該当するフィールドにそれぞれ記憶することと、を含む
    ことを特徴とする請求項４に記載のアプリケーションサーバ。
  6. アプリケーションサーバに適用されるマルチタスクスケジューリング方法において、
    データプラットフォームと少なくとも１つのデータソースとの第１の接続を確立し、且つ前記データプラットフォームと前記アプリケーションサーバとの第２の接続を確立し、
    ユーザーの選択した同期する必要のあるソーステーブルとデータソースのタイプを受信し、予め解析して取得された各データソースのソーステーブル構造に基づき、各データソースの対応するテーブル作成タスクとデータ同期タスクを生成し、且つ前記生成された各データソースの対応するテーブル作成タスクとデータ同期タスクを予め設定されたワークフロースケジューリングエンジンに発行し、
    ユーザーの選択した同期開始時刻になると、前記予め設定されたワークフロースケジューリングエンジンによって特定のファイルシステムから予め設定されたタスクスケジューリングインタフェーステンプレートを呼び出し、且つ前記予め設定されたワークフロースケジューリングエンジンによって各データソースの対応するデータ同期タスクの同期パラメータを前記タスクスケジューリングインタフェーステンプレートに伝達し、及び
    各データソースの対応するデータ同期タスクの同期パラメータに基づき、前記タスクスケジューリングインタフェーステンプレートにおける対応するタスク実行スクリプトを呼び出し、各データソースの対応するテーブル作成タスクとデータ同期タスクを実行する
    ことを特徴とするマルチタスクスケジューリング方法。
  7. 前記タスクスケジューリングインタフェーステンプレートは、前記ワークフロースケジューリングエンジンから伝達された同期パラメータを受信するためのパラメータ設定スクリプトと、各データソースの対応するデータ同期タスクの同期パラメータに基づき、各データソースの対応するテーブル作成タスクとデータ同期タスクを実行するためのタスク実行スクリプトと、各データソースの対応するデータ同期タスクの実行順序を管理するためのタスクスケジューリングスクリプトと、を含む
    ことを特徴とする請求項６に記載のマルチタスクスケジューリング方法。
  8. 前記タスク実行スクリプトは、第１タイプのディメンションテーブルからデータを抽出するための第１実行スクリプトと、第２タイプのタスクテーブルからデータを抽出するための第２実行スクリプトと、第３タイプのフローテーブルからデータを抽出するための第３実行スクリプトと、を含む
    ことを特徴とする請求項７に記載のマルチタスクスケジューリング方法。
  9. 前記データ同期タスクの実行は、
    前記タスクスケジューリングインタフェーステンプレートにおける各データソースの対応するタスク実行スクリプトを呼び出し、データ同期の各タスクに必要なリソース配置を取得し、各ソーステーブルから該当するフィールドに対応するデータをそれぞれ抽出し、且つ抽出されたデータを各目標テーブルの該当するフィールドにそれぞれ記憶することを含む
    ことを特徴とする請求項８又は７に記載のマルチタスクスケジューリング方法。
  10. 前記データ同期タスクの実行は、
    ユーザーの選択した同期する必要のあるソーステーブルのタイプが第１タイプのディメンションテーブルである場合、前記タスクスケジューリングインタフェーステンプレートにおける第１実行スクリプトを呼び出し、各第１タイプのディメンションテーブルから該当するフィールドに対応する第１データをそれぞれ抽出し、且つ抽出された第１データを各第１タイプの目標テーブルの該当するフィールドにそれぞれ記憶することと、
    ユーザーの選択した同期する必要のあるソーステーブルのタイプが第２タイプのタスクテーブルである場合、前記タスクスケジューリングインタフェーステンプレートにおける第２実行スクリプトを呼び出し、各第２タイプのタスクテーブルから該当するフィールドに対応する第２データをそれぞれ抽出し、且つ抽出された第２データを各第２タイプの目標テーブルの該当するフィールドにそれぞれ記憶することと、
    ユーザーの選択した同期する必要のあるソーステーブルのタイプが第３タイプのフローテーブルである場合、前記タスクスケジューリングインタフェーステンプレートにおける第３実行スクリプトを呼び出し、各第３タイプのフローテーブルから該当するフィールドに対応する第３データをそれぞれ抽出し、且つ抽出された第３データを各第３タイプの目標テーブルの該当するフィールドにそれぞれ記憶することと、を含む
    ことを特徴とする請求項９に記載のマルチタスクスケジューリング方法。
  11. コンピュータの読み取り可能な記憶媒体であって、前記コンピュータの読み取り可能な記憶媒体にマルチタスクスケジューリングシステムが記憶されており、前記マルチタスクスケジューリングシステムが少なくとも１つのプロセッサによって実行されることにより、
    データプラットフォームと少なくとも１つのデータソースとの第１の接続を確立し、且つ前記データプラットフォームとアプリケーションサーバとの第２の接続を確立するステップと、
    ユーザーの選択した同期する必要のあるソーステーブルとデータソースのタイプを受信し、予め解析して取得された各データソースのソーステーブル構造に基づき、各データソースの対応するテーブル作成タスクとデータ同期タスクを生成し、且つ前記生成された各データソースの対応するテーブル作成タスクとデータ同期タスクを予め設定されたワークフロースケジューリングエンジンに発行するステップと、
    ユーザーの選択した同期開始時刻になると、前記予め設定されたワークフロースケジューリングエンジンによって特定のファイルシステムから予め設定されたタスクスケジューリングインタフェーステンプレートを呼び出し、且つ前記予め設定されたワークフロースケジューリングエンジンによって各データソースの対応するデータ同期タスクの同期パラメータを前記タスクスケジューリングインタフェーステンプレートに伝達するステップと、
    各データソースの対応するデータ同期タスクの同期パラメータに基づき、前記タスクスケジューリングインタフェーステンプレートにおける対応するタスク実行スクリプトを呼び出し、各データソースの対応するテーブル作成タスクとデータ同期タスクを実行するステップと、を実現する
    ことを特徴とするコンピュータの読み取り可能な記憶媒体。
  12. 前記タスクスケジューリングインタフェーステンプレートは、前記ワークフロースケジューリングエンジンから伝達された同期パラメータを受信するためのパラメータ設定スクリプトと、各データソースの対応するデータ同期タスクの同期パラメータに基づき、各データソースの対応するテーブル作成タスクとデータ同期タスクを実行するためのタスク実行スクリプトと、各データソースの対応するデータ同期タスクの実行順序を管理するためのタスクスケジューリングスクリプトと、を含む
    ことを特徴とする請求項１１に記載のコンピュータの読み取り可能な記憶媒体。
  13. 前記タスク実行スクリプトは、第１タイプのディメンションテーブルからデータを抽出するための第１実行スクリプトと、第２タイプのタスクテーブルからデータを抽出するための第２実行スクリプトと、第３タイプのフローテーブルからデータを抽出するための第３実行スクリプトと、を含む
    ことを特徴とする請求項１２に記載のコンピュータの読み取り可能な記憶媒体。
  14. 前記データ同期タスクの実行は、
    前記タスクスケジューリングインタフェーステンプレートにおける各データソースの対応するタスク実行スクリプトを呼び出し、データ同期の各タスクに必要なリソース配置を取得し、各ソーステーブルから該当するフィールドに対応するデータをそれぞれ抽出し、且つ抽出されたデータを各目標テーブルの該当するフィールドにそれぞれ記憶することを含む
    ことを特徴とする請求項１３又は１２に記載のコンピュータの読み取り可能な記憶媒体。
  15. 前記データ同期タスクの実行は、
    ユーザーの選択した同期する必要のあるソーステーブルのタイプが第１タイプのディメンションテーブルである場合、前記タスクスケジューリングインタフェーステンプレートにおける第１実行スクリプトを呼び出し、各第１タイプのディメンションテーブルから該当するフィールドに対応する第１データをそれぞれ抽出し、且つ抽出された第１データを各第１タイプの目標テーブルの該当するフィールドにそれぞれ記憶することと、
    ユーザーの選択した同期する必要のあるソーステーブルのタイプが第２タイプのタスクテーブルである場合、前記タスクスケジューリングインタフェーステンプレートにおける第２実行スクリプトを呼び出し、各第２タイプのタスクテーブルから該当するフィールドに対応する第２データをそれぞれ抽出し、且つ抽出された第２データを各第２タイプの目標テーブルの該当するフィールドにそれぞれ記憶することと、
    ユーザーの選択した同期する必要のあるソーステーブルのタイプが第３タイプのフローテーブルである場合、前記タスクスケジューリングインタフェーステンプレートにおける第３実行スクリプトを呼び出し、各第３タイプのフローテーブルから該当するフィールドに対応する第３データをそれぞれ抽出し、且つ抽出された第３データを各第３タイプの目標テーブルの該当するフィールドにそれぞれ記憶することと、を含む
    ことを特徴とする請求項１４に記載のコンピュータの読み取り可能な記憶媒体。
  16. マルチタスクスケジューリングシステムであって、
    データプラットフォームと少なくとも１つのデータソースとの第１の接続を確立し、且つ前記データプラットフォームとアプリケーションサーバとの第２の接続を確立するための接続モジュールと、
    ユーザーの選択した同期する必要のあるソーステーブルとデータソースのタイプを受信し、予め解析して取得された各データソースのソーステーブル構造に基づき、各データソースの対応するテーブル作成タスクとデータ同期タスクを生成し、且つ前記生成された各データソースの対応するテーブル作成タスクとデータ同期タスクを予め設定されたワークフロースケジューリングエンジンに発行するためのタスク発行モジュールと、
    ユーザーの選択した同期開始時刻になると、前記予め設定されたワークフロースケジューリングエンジンによって特定のファイルシステムから予め設定されたタスクスケジューリングインタフェーステンプレートを呼び出し、且つ前記予め設定されたワークフロースケジューリングエンジンによって各データソースの対応するデータ同期タスクの同期パラメータを前記タスクスケジューリングインタフェーステンプレートに伝達するためのスケジューリングモジュールと、
    各データソースの対応するデータ同期タスクの同期パラメータに基づき、前記タスクスケジューリングインタフェーステンプレートにおける対応するタスク実行スクリプトを呼び出し、各データソースの対応するテーブル作成タスクとデータ同期タスクを実行するための実行モジュールと、
    を含むことを特徴とするマルチタスクスケジューリングシステム。
  17. 前記タスクスケジューリングインタフェーステンプレートは、前記ワークフロースケジューリングエンジンから伝達された同期パラメータを受信するためのパラメータ設定スクリプトと、各データソースの対応するデータ同期タスクの同期パラメータに基づき、各データソースの対応するテーブル作成タスクとデータ同期タスクを実行するためのタスク実行スクリプトと、各データソースの対応するデータ同期タスクの実行順序を管理するためのタスクスケジューリングスクリプトと、を含む
    ことを特徴とする請求項１６に記載のマルチタスクスケジューリングシステム。
  18. 前記タスク実行スクリプトは、第１タイプのディメンションテーブルからデータを抽出するための第１実行スクリプトと、第２タイプのタスクテーブルからデータを抽出するための第２実行スクリプトと、第３タイプのフローテーブルからデータを抽出するための第３実行スクリプトと、を含む
    ことを特徴とする請求項１７に記載のマルチタスクスケジューリングシステム。
  19. 前記データ同期タスクの実行は、
    前記タスクスケジューリングインタフェーステンプレートにおける各データソースの対応するタスク実行スクリプトを呼び出し、データ同期の各タスクに必要なリソース配置を取得し、各ソーステーブルから該当するフィールドに対応するデータをそれぞれ抽出し、且つ抽出されたデータを各目標テーブルの該当するフィールドにそれぞれ記憶することを含む
    ことを特徴とする請求項１７又は１８に記載のマルチタスクスケジューリングシステム。
  20. 前記データ同期タスクの実行は、
    ユーザーの選択した同期する必要のあるソーステーブルのタイプが第１タイプのディメンションテーブルである場合、前記タスクスケジューリングインタフェーステンプレートにおける第１実行スクリプトを呼び出し、各第１タイプのディメンションテーブルから該当するフィールドに対応する第１データをそれぞれ抽出し、且つ抽出された第１データを各第１タイプの目標テーブルの該当するフィールドにそれぞれ記憶することと、
    ユーザーの選択した同期する必要のあるソーステーブルのタイプが第２タイプのタスクテーブルである場合、前記タスクスケジューリングインタフェーステンプレートにおける第２実行スクリプトを呼び出し、各第２タイプのタスクテーブルから該当するフィールドに対応する第２データをそれぞれ抽出し、且つ抽出された第２データを各第２タイプの目標テーブルの該当するフィールドにそれぞれ記憶することと、
    ユーザーの選択した同期する必要のあるソーステーブルのタイプが第３タイプのフローテーブルである場合、前記タスクスケジューリングインタフェーステンプレートにおける第３実行スクリプトを呼び出し、各第３タイプのフローテーブルから該当するフィールドに対応する第３データをそれぞれ抽出し、且つ抽出された第３データを各第３タイプの目標テーブルの該当するフィールドにそれぞれ記憶することと、を含む
    ことを特徴とする請求項１９に記載のマルチタスクスケジューリングシステム。
JP2018537644A 2017-06-25 2017-08-31 マルチタスクスケジューリング方法、システム、アプリケーションサーバ及びコンピュータの読み取り可能な記憶媒体 Active JP6695984B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
CN201710490454.5A CN107766132B (zh) 2017-06-25 2017-06-25 多任务调度方法、应用服务器及计算机可读存储介质
CN201710490454.5 2017-06-25
PCT/CN2017/100052 WO2019000630A1 (zh) 2017-06-25 2017-08-31 多任务调度方法、系统、应用服务器及计算机可读存储介质

Publications (2)

Publication Number Publication Date
JP2019523462A true JP2019523462A (ja) 2019-08-22
JP6695984B2 JP6695984B2 (ja) 2020-05-20

Family

ID=61264944

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2018537644A Active JP6695984B2 (ja) 2017-06-25 2017-08-31 マルチタスクスケジューリング方法、システム、アプリケーションサーバ及びコンピュータの読み取り可能な記憶媒体

Country Status (7)

Country Link
US (1) US11061925B2 (ja)
EP (1) EP3454209A4 (ja)
JP (1) JP6695984B2 (ja)
KR (1) KR102162872B1 (ja)
CN (1) CN107766132B (ja)
AU (1) AU2017409830B2 (ja)
WO (1) WO2019000630A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20220162466A (ko) * 2021-06-01 2022-12-08 성균관대학교산학협력단 스케줄러 기반의 워크플로우 프로세스 자동화 모델 장치

Families Citing this family (28)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108763341B (zh) * 2018-05-14 2023-07-25 中国平安人寿保险股份有限公司 电子装置、自动化建表方法及存储介质
CN110866062B (zh) * 2018-08-09 2023-11-24 菜鸟智能物流控股有限公司 基于分布式集群的数据同步方法以及装置
CN109684053B (zh) * 2018-11-05 2023-08-01 广东岭南通股份有限公司 大数据的任务调度方法和系统
CN109542920B (zh) * 2018-11-23 2021-11-19 泰康保险集团股份有限公司 一种数据传输方法、装置、介质和电子设备
CN109614446A (zh) * 2018-11-23 2019-04-12 金色熊猫有限公司 数据同步方法、装置、电子设备及存储介质
CN110209652B (zh) * 2019-05-20 2024-02-02 平安科技（深圳）有限公司 数据表迁移方法、装置、计算机设备和存储介质
CN110780937B (zh) * 2019-09-16 2023-12-08 腾讯大地通途（北京）科技有限公司 任务发布方法、装置、计算机可读存储介质及设备
CN110716987B (zh) * 2019-10-18 2023-06-20 浪潮软件股份有限公司 一种同步任务异步执行的方法和调度系统
CN111708750A (zh) * 2019-12-27 2020-09-25 山东鲁能软件技术有限公司 一种基于大数据平台存储适配方法，系统，设备及可读存储介质
CN111177247B (zh) * 2019-12-30 2023-10-20 腾讯科技（深圳）有限公司 一种数据转换的方法、装置及存储介质
CN111324434B (zh) * 2020-02-04 2023-03-21 支付宝(杭州)信息技术有限公司 计算任务的配置方法、装置及执行系统
CN111258742B (zh) * 2020-02-17 2023-08-04 杭州依图医疗技术有限公司 一种数据同步的方法、系统、计算设备及存储介质
KR102298342B1 (ko) * 2020-05-11 2021-09-06 주식회사제이앤케이씨 정보 연동 시스템 및 정보 연동 방법
CN111625331B (zh) * 2020-05-20 2023-06-16 拉扎斯网络科技（上海）有限公司 任务调度方法、装置、平台、服务器及存储介质
US11113105B1 (en) * 2020-06-09 2021-09-07 Infosys Limited Computer implemented system and method for generating platform agnostic digital worker
CN111913791B (zh) * 2020-07-02 2023-10-13 北京和瑞精湛医学检验实验室有限公司 任务调度方法、装置、设备和计算机可读存储介质
CN113760240A (zh) * 2020-09-02 2021-12-07 北京沃东天骏信息技术有限公司 一种生成数据模型的方法和装置
CN112487090A (zh) * 2020-11-30 2021-03-12 乐刷科技有限公司 数据同步方法、数据展示平台及计算机可读存储介质
CN112597242B (zh) * 2020-12-16 2023-06-06 四川新网银行股份有限公司 一种基于涉及批量任务的应用系统数据切片的抽取方法
CN112905339B (zh) * 2021-02-08 2024-02-13 中国工商银行股份有限公司 任务调度执行方法、装置及系统
CN112925622A (zh) * 2021-02-26 2021-06-08 北信源系统集成有限公司 系统定时任务处理方法、装置、电子设备及存储介质
CN113238846A (zh) * 2021-05-20 2021-08-10 浙江网商银行股份有限公司 任务调度的方法以及装置
CN113220694A (zh) * 2021-06-02 2021-08-06 中国农业银行股份有限公司 数据表的处理方法、装置、服务器及存储介质
CN113296915B (zh) * 2021-06-18 2023-07-18 瀚云科技有限公司 一种基于工业互联网平台的任务生成方法及系统
CN113918636B (zh) * 2021-10-21 2024-04-19 中通服公众信息产业股份有限公司 一种基于etl的数据处理量分析方法
WO2023101610A2 (en) * 2021-12-01 2023-06-08 Shopee IP Singapore Private Limited Device and method for synchronizing data between data sources
CN115834605B (zh) * 2023-02-20 2023-05-12 塔比星信息技术(深圳)有限公司 数据采集方法、装置、设备及存储介质
CN116860227B (zh) * 2023-07-12 2024-02-09 北京东方金信科技股份有限公司 一种基于大数据etl脚本编排的数据开发系统及方法

Family Cites Families (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6151608A (en) * 1998-04-07 2000-11-21 Crystallize, Inc. Method and system for migrating data
US7107589B1 (en) * 2001-09-28 2006-09-12 Siebel Systems, Inc. Infrastructure for the automation of the assembly of schema maintenance scripts
KR100491541B1 (ko) * 2003-08-01 2005-05-25 니트젠테크놀러지스 주식회사 네트웍 환경에서의 컨텐츠 동기화 시스템 및 동기화 방법
US7865574B1 (en) * 2003-10-09 2011-01-04 Sprint Communications Company L.P. System for processing data retrieved from an information service layer
CA2558892A1 (en) * 2004-03-13 2005-09-29 Cluster Resources, Inc. System and method for a self-optimizing reservation in time of compute resources
EP2438537A4 (en) * 2009-06-05 2013-05-01 Hewlett Packard Development Co SYSTEM AND METHOD FOR REPRESENTING USER INTERACTION WITH A WEB SERVICE
JP4959774B2 (ja) * 2009-11-30 2012-06-27 インターナショナル・ビジネス・マシーンズ・コーポレーション アプリケーション生成システム、方法及びプログラム
US9430505B2 (en) * 2011-04-18 2016-08-30 Infosys Limited Automated data warehouse migration
CN102339323B (zh) * 2011-11-11 2015-12-16 江苏鸿信系统集成有限公司 一种针对db2数据仓库进行数据抽取、调度及展现的方法
CN104781774A (zh) * 2012-09-12 2015-07-15 格林伊登美国控股有限责任公司 利用模板动态配置联络中心的系统和方法
JP2014106907A (ja) * 2012-11-29 2014-06-09 Ricoh Co Ltd 情報処理装置およびプログラム
US9805070B2 (en) 2013-07-09 2017-10-31 Oracle International Corporation Dynamic migration script management
US9607020B1 (en) * 2013-09-17 2017-03-28 Amazon Technologies, Inc. Data migration system
CN105095327A (zh) * 2014-05-23 2015-11-25 深圳市珍爱网信息技术有限公司 一种分布式etl系统及调度方法
CN104317843B (zh) * 2014-10-11 2017-08-25 上海瀚之友信息技术服务有限公司 一种数据同步etl系统
CN104410875B (zh) * 2014-11-25 2018-08-24 上海赛特斯信息科技股份有限公司 实现iptv盒端业务零配置自动开通的系统及方法
CN106156165A (zh) * 2015-04-16 2016-11-23 阿里巴巴集团控股有限公司 异构数据源之间的数据同步方法和装置
CN105045602B (zh) * 2015-08-24 2019-07-23 北京金山安全软件有限公司 一种构建Hadoop应用开发框架的方法、装置及电子装置
CN106528070B (zh) * 2015-09-15 2019-09-03 阿里巴巴集团控股有限公司 一种数据表生成方法及设备
US20170098180A1 (en) * 2015-10-05 2017-04-06 Yahoo! Inc. Method and system for automatically generating and completing a task
US10620974B2 (en) * 2017-02-13 2020-04-14 Microsoft Technology Licensing, Llc Gallery control with dynamically determined control template replica sizes

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20220162466A (ko) * 2021-06-01 2022-12-08 성균관대학교산학협력단 스케줄러 기반의 워크플로우 프로세스 자동화 모델 장치
KR102566983B1 (ko) * 2021-06-01 2023-08-14 성균관대학교산학협력단 스케줄러 기반의 워크플로우 프로세스 자동화 모델 장치

Also Published As

Publication number Publication date
EP3454209A1 (en) 2019-03-13
CN107766132B (zh) 2019-03-15
EP3454209A4 (en) 2020-01-01
US11061925B2 (en) 2021-07-13
AU2017409830B2 (en) 2019-10-03
US20210124757A1 (en) 2021-04-29
JP6695984B2 (ja) 2020-05-20
KR20190038750A (ko) 2019-04-09
WO2019000630A1 (zh) 2019-01-03
CN107766132A (zh) 2018-03-06
AU2017409830A1 (en) 2019-01-17
KR102162872B1 (ko) 2020-10-08

Similar Documents

Publication Publication Date Title
JP6695984B2 (ja) マルチタスクスケジューリング方法、システム、アプリケーションサーバ及びコンピュータの読み取り可能な記憶媒体
CN107689982B (zh) 多数据源数据同步方法、应用服务器及计算机可读存储介质
CN106557470B (zh) 数据提取方法和装置
CN107423404B (zh) 流程实例数据同步处理方法和装置
CN107294750B (zh) 一种云集群能自识别的分布配置管理方法和装置
CN111190823A (zh) Ui自动化测试方法、电子装置及计算机可读存储介质
CN110569250A (zh) 一种物联网网元的解析库的管理方法及装置
CN111580948A (zh) 任务调度方法、装置及计算机设备
CN112286664A (zh) 任务调度方法、装置、计算机设备及可读存储介质
CN108399095B (zh) 支持动态管理定时任务的方法、系统、设备和存储介质
CN110647564A (zh) Hive建表方法、电子装置及计算机可读存储介质
US10129328B2 (en) Centralized management of webservice resources in an enterprise
CN110908644B (zh) 状态节点的配置方法、装置、计算机设备和存储介质
CN111988429A (zh) 算法调度方法以及系统
CN111767126A (zh) 分布式批量处理的系统和方法
CN114675940A (zh) 应用实例构建方法、装置和设备
CN111400396A (zh) 数据同步脚本的生成方法、装置及计算机可读存储介质
CN113129049B (zh) 用于模型训练和应用的文件配置方法和系统
CN103297479A (zh) 一种插件升级的分布式检测方法及装置
CN113626007B (zh) 连接器模型的应用方法、装置及服务器
CN111708751B (zh) 一种基于Hue实现数据加载的方法，系统，设备及可读存储介质
CN108984992B (zh) 一种电路板设计方法和装置
CN115509513A (zh) Grpc服务层代码生成方法、装置、设备及存储介质
CN106557359B (zh) 一种任务调度方法及系统
CN113449035A (zh) 数据同步方法、装置、计算机设备及可读存储介质

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20180919

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20180919

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20191030

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20191227

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20200421

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20200422

R150 Certificate of patent or registration of utility model

Ref document number: 6695984

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250