JP2021114232A - 計算機システム及びデータ転送の制御方法 - Google Patents

計算機システム及びデータ転送の制御方法 Download PDF

Info

Publication number
JP2021114232A
JP2021114232A JP2020007467A JP2020007467A JP2021114232A JP 2021114232 A JP2021114232 A JP 2021114232A JP 2020007467 A JP2020007467 A JP 2020007467A JP 2020007467 A JP2020007467 A JP 2020007467A JP 2021114232 A JP2021114232 A JP 2021114232A
Authority
JP
Japan
Prior art keywords
data
data transfer
request
resource
cost
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2020007467A
Other languages
English (en)
Other versions
JP7248600B2 (ja
Inventor
大輔 伊藤
Daisuke Ito
大輔 伊藤
信一郎 齊藤
Shinichiro Saito
信一郎 齊藤
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hitachi Ltd
Original Assignee
Hitachi Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hitachi Ltd filed Critical Hitachi Ltd
Priority to JP2020007467A priority Critical patent/JP7248600B2/ja
Priority to US17/021,083 priority patent/US11095712B2/en
Publication of JP2021114232A publication Critical patent/JP2021114232A/ja
Application granted granted Critical
Publication of JP7248600B2 publication Critical patent/JP7248600B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00Network arrangements or protocols for supporting network services or applications
    • H04L67/01Protocols
    • H04L67/06Protocols specially adapted for file transfer, e.g. file transfer protocol [FTP]
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00Network arrangements or protocols for supporting network services or applications
    • H04L67/01Protocols
    • H04L67/10Protocols in which an application is distributed across nodes in the network
    • H04L67/1001Protocols in which an application is distributed across nodes in the network for accessing one among a plurality of replicated servers
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00Network arrangements or protocols for supporting network services or applications
    • H04L67/50Network services
    • H04L67/60Scheduling or organising the servicing of application requests, e.g. requests for application data transmissions using the analysis and optimisation of the required network resources
    • H04L67/62Establishing a time schedule for servicing the requests
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00Network arrangements or protocols for supporting network services or applications
    • H04L67/50Network services
    • H04L67/60Scheduling or organising the servicing of application requests, e.g. requests for application data transmissions using the analysis and optimisation of the required network resources
    • H04L67/63Routing a service request depending on the request content or context

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Information Transfer Between Computers (AREA)

Abstract

【課題】業務を行うシステムと当該システムからデータを取得するシステムとの間のデータ連携において、業務への影響を低減し、高速にシステム間のデータ転送を実現する。【解決手段】業務を実行する第1システムと、業務に関するデータを取得する第2システムとの間のデータ転送を制御する計算機システムであって、第1システムは、データを格納するリソースを管理する記憶部と、データ転送を制御する制御部と、を有し、第2システムはデータ取得部を有し、制御部は、複数のデータ転送方式の各々について第1システムの負荷を示すコストを算出し、コストに基づいて、適用するデータ転送方式を決定し、第2システムに通知し、データ取得部は、決定されたデータ転送方式に対応するステートを管理し、決定されたデータ転送方式及びステートに基づいて、リソースからデータを取得するためのリクエストを送信する。【選択図】図1

Description

本発明は、システム間のデータ連携に係るデータ転送技術に関する。
IoT(Internet of Things)の発展に伴い、センサ等のデバイスから収集したデータを分析することによって付加価値のあるソリューションを提供するサービスが登場している。
従来は非公開であったシステムの内部データベースを外部システムに公開し、外部システムによって活用するデータ連携のニーズが高まっている。データ連携の代表的な実現方式の一つに、クローズなシステム内にAPI(Application Program Interface)サーバを設置し、APIサーバを介して外部システムとの間のデータ連携を実現する方式がある。ここでクローズなシステムの本来の業務に支障をきたすことの無いよう、APIサーバは使用するリソースが低いことが望ましい。
データ連携の際のAPIサーバのリソースの使用量を削減する公知技術として、特許文献1及び特許文献2に記載された技術がある。
特許文献1には、「転送を要求するデータを複数の部分データに分割し、当該部分データのハッシュ値を送信することで各部分データの所有の有無を複数の送信装置に問合せ」ることが記載されている。
特許文献2には、「送信側中継装置が、端末からの送信側業務サーバへのアクセス状況をモニタリングし、その結果に基づきダウンロードデータの送信を制御する」ことが記載されている。
国際公開第2015/011840号 特開2013−89055号公報
しかし、特許文献1に記載の方法では、APIサーバは各外部システムに転送した部分データを表すステートを管理する必要があるため、メモリ消費量が増加し、性能低下に伴うクローズなシステムの業務への支障を解消できない。なお、本明細書では部分データをチャンクと呼ぶ。また、特許文献2に記載の方法では、業務への支障は解消されるが、データ連携に伴うデータの転送速度が低下する。
本発明は、業務を行うシステムと当該システムからデータを取得するシステムとの間のデータ連携において、業務への影響を低減し、高速にシステム間のデータ転送を実現するシステム及び方法を提供することを目的とする。
本願において開示される発明の代表的な一例を示せば以下の通りである。すなわち、演算装置、前記演算装置に接続される記憶装置、前記演算装置に接続されるネットワーク装置を有する計算機から構成される複数のシステムの間のデータ転送を制御する計算機システムであって、前記複数のシステムは、業務を実行する第1システムと、前記業務に関するデータを取得する第2システムとを含み、前記第1システムは、前記データを格納するリソースを管理する記憶部と、複数のデータ転送方式のいずれかのデータ転送方式に基づいて、前記第2システムへの前記データの転送を制御する制御部と、を有し、前記第2システムは、前記リソースから前記データを取得するデータ取得部を有し、前記制御部は、前記データ取得部からターゲットリソースにおける前記データ転送方式の問い合わせを受け付けた場合、前記複数のデータ転送方式の各々について前記第1システムの負荷を示すコストを算出し、前記コストに基づいて、適用するデータ転送方式を決定し、前記決定されたデータ転送方式に関する情報を前記第2システムに送信し、前記データ取得部は、データの転送状態を管理するための情報であって、前記決定されたデータ転送方式に基づく前記データ転送で使用するステートを管理し、前記決定されたデータ転送方式及び前記ステートに基づいて、前記リソースから前記データを取得するためのリクエストを送信する。
本発明によれば、業務を行うシステムと当該システムからデータを取得するシステムとの間のデータ連携において、業務への影響を低減し、高速にシステム間のデータ転送を実現できる。上記した以外の課題、構成及び効果は、以下の実施例の説明により明らかにされる。
実施例1の計算機システムの構成例を示す図である。 実施例1のAPI提供モジュールを実現する構成の一例を示す図である。 実施例1のデータ取得モジュールを実現する構成の一例を示す図である。 実施例1の追記リソース情報のデータ構造の詳細を説明する図である。 実施例1のコスト係数情報のデータ構造の詳細を説明する図である。 実施例1のステート情報の一例を示す図である。 実施例1の計算機システムにおけるデータ転送の処理フローの概要を説明するシーケンス図である。 実施例1のAPI提供モジュールが提供するAPIの一例を示す図である。 実施例1の計算機システムにおける時系列差分型の差分転送の処理フローを説明するシーケンス図である。 実施例1の計算機システムにおけるチャンク型の差分転送の処理フローを説明するシーケンス図である。 実施例1のリクエスト受付部が実行する処理を説明するフローチャートである。 実施例1のリクエスト受付部が実行する処理を説明するフローチャートである。 実施例1のコスト算出部が実行する処理の一例を説明するフローチャートである。 実施例1のリクエスト転送制御部が実行する処理の一例を説明するフローチャートである。 実施例1のデータ取得モジュールが実行する処理の一例を説明するフローチャートである。 実施例1のデータ取得モジュールが実行する処理の一例を説明するフローチャートである。 実施例1のデータ取得モジュールが実行する処理の一例を説明するフローチャートである。 実施例2の第1システムが保持する設定情報を説明する図である。
以下、本発明の実施例を、図面を用いて説明する。ただし、本発明は以下に示す実施例の記載内容に限定して解釈されるものではない。本発明の思想ないし趣旨から逸脱しない範囲で、その具体的構成を変更し得ることは当業者であれば容易に理解される。
以下に説明する発明の構成において、同一又は類似する構成又は機能には同一の符号を付し、重複する説明は省略する。
本明細書等における「第1」、「第2」、「第3」等の表記は、構成要素を識別するために付するものであり、必ずしも、数又は順序を限定するものではない。
図面等において示す各構成の位置、大きさ、形状、及び範囲等は、発明の理解を容易にするため、実際の位置、大きさ、形状、及び範囲等を表していない場合がある。したがって、本発明では、図面等に開示された位置、大きさ、形状、及び範囲等に限定されない。
図1は、実施例1の計算機システムの構成例を示す図である。
実施例1の計算機システムは、業務を実行する第1システム101と、第1システム101とは独立したシステムであって、業務に関するデータを取得する二つの第2システム102−1、102−2とから構成される。以下の説明では、第2システム102−1、102−2を区別しない場合、第2システム102と記載する。第1システム101及び第2システム102は、LAN(Local Area Network)及びWAN(Wide Area Network)等のネットワーク104を介して互いに接続される。
なお、計算機システムに含まれる第1システム101は二つ以上でもよい。また、計算機システムに含まれる第2システム102は、一つでもよいし、三つ以上でもよい。
第1システム101は、業務モジュール111及びAPI提供モジュール112を有し、データベース121−1、121−2を管理する。また、第1システム101は、追記リソース情報122及びコスト係数情報123を保持する。
業務モジュール111は、第1システム101の業務を実現するための各種処理を実行する。
データベース121−1、121−2はリソースを格納する。データベース121−1、121−2には、データの保存形式が異なるリソースが格納される。ここで、リソースとは、業務に関するデータを格納するテーブル及びファイル等を表す。以下の説明では、データベース121−1、121−2を区別しない場合、データベース121と記載する。
データベース121−1は、追記リソース141を格納する。ここで、追記リソース141は、保存されたデータそのものの更新を行わないように管理されるリソースである。データベース121−1がRDBである場合、追記リソース141は、INSERTだけが実行され、UPDATE及びDELETEは実行されない表である。
データベース121−2は、非追記リソース142を格納する。ここで、非追記リソース142は、保存されたデータそのものへの更新が可能なように管理されるリソースである。データベース121−2がRDBである場合、非追記リソース142は、UPDATE及びDELETEが実行可能な表である。
API提供モジュール112は、第2システム102に、データベース121へアクセスするためのAPIを提供する。API提供モジュール112は、リクエスト転送制御部131、リクエスト受付部132、及びコスト算出部133を含む。API提供モジュール112の詳細については図2を用いて説明する。
追記リソース情報122は、追記リソース141を管理するための情報である。追記リソース141のデータ構造の詳細は図4を用いて説明する。コスト係数情報123は、コスト算出部133がコストを算出する場合に用いるコスト係数を管理するための情報である。コスト係数情報123のデータ構造の詳細は図5を用いて説明する。
第2システム102は、データ取得モジュール151及びビッグデータ処理基盤152を有し、データレイク155を管理する。また、第2システム102は、ステート情報153及び差分転送方式情報154を保持する。
データ取得モジュール151は、第1システム101から業務に関するデータを取得する。データ取得モジュール151の詳細については図3を用いて説明する。
ビッグデータ処理基盤152は、第1システム101から受信したデータの保存、及び当該データを用いてデータ処理を実行する。
ステート情報153は、データの転送状態を管理するための情報である。データを取得するシステムが複数存在する場合、第2システム102は、当該システムの数だけステート情報153を保持する。ステート情報153の詳細は図6を用いて説明する。
差分転送方式情報154は、リソースからのデータの差分転送を行う場合のデータ転送方式を管理するための情報である。差分転送方式情報154には、時系列差分型及びチャンク型のいずれかを示す値が格納される。
図2は、実施例1のAPI提供モジュール112を実現する構成の一例を示す図である。
API提供モジュール112は、CPU201、主記憶装置202、二次記憶装置203、及び通信インターフェース204を備える計算機200によって実現される。なお、複数の計算機200を用いてAPI提供モジュール112を実現してもよい。また、計算機200のハードウェア構成は一例であってこれに限定されない。
CPU201は、主記憶装置202に格納されるプログラムを実行する。CPU201がプログラムにしたがって処理を実行することによって、特定の機能を実現するモジュールとして動作する。以下の説明では、モジュールを主語に処理を説明する場合、CPU201が当該モジュールを実現するプログラムを実行していることを示す。
主記憶装置202は、メモリ等の記憶装置であり、CPU201が実行するプログラム及びデータを格納する。また、主記憶装置202は、プログラムが一時的に使用するワークエリアとしても用いられる。
二次記憶装置203は、HDD(Hard Disk Drive)及びSSD(Solid State Drive)等の記憶装置であり、データを永続的に格納する。
通信インターフェース204は、ネットワークを介して外部装置と通信するためのインターフェースである。
図2に示すように、二次記憶装置203は、API提供プログラム211、追記リソース情報122、及びコスト係数情報123を格納する。
CPU201は、計算機200の起動時、二次記憶装置203からAPI提供プログラム211を読み出し、主記憶装置202にロードする。CPU201は、主記憶装置202にロードされたAPI提供プログラム211を実行することによってAPI提供モジュール112を実現する。
リクエスト転送制御部131は、第2システム102への業務に関するデータの転送を制御する。リクエスト受付部132は、第2システム102からの各種リクエストを受け付ける。コスト算出部133は、データ転送方式を決定するために用いるコストを算出する。
なお、API提供モジュール112に含まれる各機能部については、複数の機能部を一つの機能部にまとめてもよいし、一つの機能部を機能毎に複数の機能部に分けてもよい。例えば、リクエスト転送制御部131が、リクエスト受付部132及びコスト算出部133を含んでもよい。
図3は、実施例1のデータ取得モジュール151を実現する構成の一例を示す図である。
データ取得モジュール151は、CPU301、主記憶装置302、二次記憶装置303、及び通信インターフェース304を備える計算機300によって実現される。なお、複数の計算機300を用いてデータ取得モジュール151を実現してもよい。また、計算機300のハードウェア構成は一例であってこれに限定されない。
CPU301、主記憶装置302、二次記憶装置303、及び通信インターフェース304は、CPU201、主記憶装置202、二次記憶装置203、及び通信インターフェース204と同一のハードウェアであるため説明を省略する。
図3に示すように、二次記憶装置303は、データ取得制御プログラム311、ステート情報153、差分転送方式情報154を格納する。
CPU301は、計算機300の起動時、二次記憶装置303からデータ取得制御プログラム311を読み出し、主記憶装置302にロードする。CPU301は、主記憶装置302にロードされたデータ取得制御プログラム311を実行することによってデータ取得モジュール151を実現する。
図4は、実施例1の追記リソース情報122のデータ構造の詳細を説明する図である。
追記リソース情報122は、ID401、データベース名402、及びリソース名403から構成されるレコードを格納する表形式の情報である。一つのレコードは一つの追記リソース141に対応する。
ID401は、追記リソース情報122のレコードを一意に識別するための識別情報を格納するフィールドである。データベース名402は、追記リソース141を格納するデータベース121の名称を格納するフィールドである。リソース名403は、追記リソース141の名称を格納するフィールドである。
ID401が「1」のレコードは、第1データベース121−1に格納される、「cnc_1」という名称の追記リソース141を表す。
図5は、実施例1のコスト係数情報123のデータ構造の詳細を説明する図である。
コスト係数情報123は、ID501、データベース名502、リソース名503、データ転送方式504、及びコスト係数505から構成されるレコードを格納する表形式の情報である。一つのレコードは、リソースにおける、あるデータ転送方式のコスト係数に対応する。
ID501は、コスト係数情報123のレコードを一意に識別するための識別情報を格納するフィールドである。データベース名502は、データベース121の名称を格納するフィールドである。リソース名503は、リソースの名称を格納するフィールドである。
データ転送方式504は、データ転送方式を示す値を格納するフィールドである。データ転送方式504には、「時系列差分」及び「チャンク」のいずれかが格納される。なお、リソースの種別(追記リソース141及び非追記リソース142)毎にデータ転送方式を定めることができる。
コスト係数505は、コストを算出するために用いるコスト係数を格納するフィールド群である。コスト係数505は、データ量506及びレコード数507を含む。データ量506は、データ量に関するコスト係数を格納するフィールドである。レコード数507は、リソースに格納されるデータ(レコード)の数に関するコスト係数を格納するフィールドである。なお、データ量506及びレコード数507のいずれか一方のみでもよい。
ID501が「1」のレコードは、第1データベース121−1に格納される、「cnc_1」という名称のリソースにおける、「時系列差分」でのデータ転送方式のコスト係数を定義する。具体的には、データ量に関するコスト係数が「4/B」、レコードの数に関するコスト係数が「9/record」である。
なお、リソース単位ではなく、リソースの保存形式毎にコスト係数を定義してもよい。すなわち、追記リソース141及び非追記リソース142の各々のコスト係数を定義してもよい。
図6は、実施例1のステート情報153の一例を示す図である。
ステート情報153は、タイムスタンプ601、チャンクサイズ602、及びチャンク番号603を格納する。
タイムスタンプ601は、データ転送方式が時系列差分型の場合に使用するデータである。チャンクサイズ602及びチャンク番号603は、データ転送方式がチャンク型の場合に使用するデータである。
なお、データ取得モジュール151は、指定されたデータ転送方式に応じて、ステート情報153に、タイムスタンプ601、又は、チャンクサイズ602及びチャンク番号603のいずれか一方を格納するようにしてもよい。
図7は、実施例1の計算機システムにおけるデータ転送の処理フローの概要を説明するシーケンス図である。
まず、第1システム101と第2システム102との間でデータ転送を行うために、アクセス準備が行われる。
第2システム102は、第1システム101に、アクセス対象のリソースのデータ転送方式の問合せを行う(ステップS701)。ここでは、アクセス対象のリソースをリソースXとする。第1システム101は、当該問合せを受信した場合、リソースXのデータ転送方式を決定し、決定したデータ転送方式の情報を含む応答を第2システム102に送信する(ステップS702)。
リソースXに初めてアクセスする場合には以下のような処理が実行される。
第2システム102は、第1システム101に、リソースXの一括転送リクエストを送信する(ステップS711)。第1システム101は、一括転送リクエストを受信した場合、リソースXに格納される全データを第2システム102に一括で送信する(ステップS712)。
リソースXに二回目以降アクセスする場合、データ転送方式に応じて処理が異なる。
データ転送方式が時系列差分型である場合、第2システム102は、第1システム101に、タイムスタンプ(最終更新タイムスタンプ)を含む差分転送リクエストを送信する(ステップS721)。第1システム101は、差分転送リクエストを受信した場合、当該リクエストに含まれるタイムスタンプ以降のタイムスタンプを含むデータをデータベース121から読み出し、第2システム102に送信する(ステップS722)。
データ転送の種別がチャンク型である場合、第2システム102は、第1システム101に、チャンク番号(チャンク1)及びチャンクサイズを含む差分転送リクエストを送信する(ステップS731)。第1システム101は、差分転送リクエストを受信した場合、当該リクエストに含まれるチャンク番号に対応するデータをデータベース121から読み出し、第2システム102に送信する(ステップS732)。なお、第1システム101は、チャンク番号に対応するデータが更新されている場合にのみ、当該データを第2システム102に送信するようにしてもよい。これによって、第1システム101及び第2システム102間のネットワーク帯域の消費を抑えることができる。
第2システム102は、データを受信した後、第1システム101に、チャンク番号(チャンク2)及びチャンクサイズを含む差分転送リクエストを送信する(ステップS733)。第1システム101は、差分転送リクエストを受信した場合、当該リクエストに含まれるチャンク番号に対応するデータをデータベース121から読み出し、第2システム102に送信する(ステップS734)。
以降、チャンク番号の終端になるまで、同様の処理が繰り返し実行される。
図8は、実施例1のAPI提供モジュール112が提供するAPIの一例を示す図である。
API提供モジュール112のリクエスト受付部132は、第2システム102に対して図8に示すようなAPIを提供する。API801は、転送種別問合せを実現するAPIであり、API802は、一括転送リクエストを実現するAPIであり、API803は、強制一括転送を実現するAPIであり、API804は、時系列差分型の差分転送リクエストを実現するAPIであり、API805は、チャンク型の差分転送リクエストを実現するAPIである。
また、リクエスト受付部132は、第2システム102に提供するリソースの情報、例えば、データベース121及びリソースの名称等を提供する。なお、データベース121の名称は、セキュリティを考慮して、外部アクセス用の名称と、実際の名称とを分けて管理してもよい。リソースの名称についても同様に、アクセス用の名称と、実際の名称とを分けて管理してもよい。リクエスト受付部132は、第2システム102からリクエストを受信した場合、リクエストに含まれるデータベース121及びリソースの名称を変換する。
図9は、実施例1の計算機システムにおける時系列差分型の差分転送の処理フローを説明するシーケンス図である。ここでは、転送対象のデータが、第1データベース121−1に格納される追記リソース141に格納されているものとする。
第2システム102のデータ取得モジュール151は、時系列差分型の差分転送リクエストを第1システム101に送信する(ステップS901)。当該リクエストには、データベース121の名称、リソースの名称、及びタイムスタンプ(最終更新タイムスタンプ)が含まれる。
第1システム101のリクエスト受付部132は、時系列差分型の差分転送リクエストを受信した場合、追記リソース情報122を参照して、当該リクエストに含まれるデータベース121及びリソースの名称に一致するレコードを検索する(ステップS902)。
前述のレコードが存在する場合、リクエスト受付部132は、リクエスト転送制御部131に時系列差分型の差分転送リクエストを送信する(ステップS903)。当該リクエストには、データベース121の名称、リソースの名称、及びタイムスタンプ(最終更新タイムスタンプ)が含まれる。
リクエスト転送制御部131は、時系列差分型の差分転送リクエストを受信した場合、当該リクエストに含まれるデータベース121の名称に基づいて、アクセス対象の第1データベース121−1を特定する。リクエスト転送制御部131は、第1データベース121−1に、リソースの名称及びタイムスタンプ(最終更新タイムスタンプ)を含む、時系列差分型の差分転送リクエストを送信する(ステップS904)。
例えば、第1データベース121−1がRDBである場合、リクエスト転送制御部131は、以下のような時系列差分型の差分転送リクエストを送信する。
SELECT * FROM {リソース名} WHERE timestamp > {最終更新タイムスタンプ};
第1データベース121−1は、時系列差分型の差分転送リクエストを受信した場合、追記リソース141から、当該リクエストに含まれるタイムスタンプ以降のタイムスタンプを含むデータ、すなわち、差分データを読み出し、読み出されたデータをリクエスト転送制御部131に送信する(ステップS905)。
リクエスト転送制御部131は、データを受信した場合、リクエスト受付部132に当該データを送信する(ステップS906)。
リクエスト受付部132は、データを受信した場合、データ取得モジュール151に当該データを送信する(ステップS907)。
図10は、実施例1の計算機システムにおけるチャンク型の差分転送の処理フローを説明するシーケンス図である。ここでは、転送対象のデータが、第2データベース121−2に格納される非追記リソース142に格納されているものとする。
第2システム102のデータ取得モジュール151は、チャンク型の差分転送リクエストを第1システム101に送信する(ステップS1001)。当該リクエストには、データベース121の名称、リソースの名称、チャンクサイズ、チャンク番号、及びチャンクの特徴量が含まれる。チャンクの特徴量は、例えば、md5のハッシュ値である。
リクエスト受付部132は、チャンク型の差分転送リクエストを受信した場合、リクエスト転送制御部131にチャンク型の差分転送リクエストを送信する(ステップS1002)。当該リクエストには、データベース121の名称、リソースの名称、チャンクサイズ、チャンク番号、及びチャンクの特徴量が含まれる。
リクエスト転送制御部131は、チャンク型の差分転送リクエストを受信した場合、当該リクエストに含まれるデータベース121の名称に基づいて、アクセス対象の第2データベース121−2を特定する。リクエスト転送制御部131は、第2データベース121−2に、受信したリクエストに含まれる、リソースの名称、チャンクサイズ、チャンク番号、及びチャンクの特徴量に基づいて、チャンク型の差分転送リクエストを送信する(ステップS1003)。
例えば、第2データベース121−2がRDBである場合、リクエスト転送制御部131は、以下のようなチャンク型の差分転送リクエストを送信する。
SELECT * FROM {リソース名} LIMIT {チャンクサイズ} * ({チャンク番号} - 1),
{チャンクサイズ} * {チャンク番号};
第2データベース121−2は、チャンク型の差分転送リクエストを受信した場合、非追記リソース142から、当該リクエストに基づいて算出される範囲のデータ、すなわち、差分データを読み出し、読み出されたデータをリクエスト転送制御部131に送信する(ステップS1004)。例えば、式(1)の値から式(2)の値の範囲のデータが読み出される。
Figure 2021114232
Figure 2021114232
リクエスト転送制御部131は、データを受信した場合、チャンクの特徴量を算出し、当該チャンクの特徴量と、受信したチャンク型の差分転送リクエストに含まれるチャンクの特徴量とを比較して、データが更新されたか否かを判定する。データが更新されている場合、リクエスト転送制御部131は、受信したデータをリクエスト受付部132に送信する(ステップS1005)。
リクエスト受付部132は、データを受信した場合、データ取得モジュール151にデータを送信する(ステップS1006)。
以降、チャンク番号が最終のチャンク番号となるまで同様の処理が実行される。
図11A及び図11Bは、実施例1のリクエスト受付部132が実行する処理を説明するフローチャートである。
リクエスト受付部132は、リクエストの待ち状態中に第2システム102からリクエストを受信した場合(ステップS1101)、受信したリクエストがデータ転送方式の問合せであるか否かを判定する(ステップS1102)。
受信したリクエストがデータ転送方式の問合せである場合、リクエスト受付部132は、コスト算出部133にデータ転送方式の問合せを送信する(ステップS1103)。
リクエスト受付部132は、コスト算出部133からデータ転送方式を示す情報を受信した場合、第2システム102にデータ転送方式を示す情報を含む応答を送信する(ステップS1104)。その後、リクエスト受付部132は、リクエストの待ち状態に移行する。
ステップS1102において、受信したリクエストがデータ転送方式の問合せでないと判定された場合、リクエスト受付部132は、受信したリクエストが一括転送リクエストであるか否かを判定する(ステップS1105)。
受信したリクエストが一括転送リクエストである場合、リクエスト受付部132は、リクエスト転送制御部131に一括転送リクエストを送信する(ステップS1106)。
リクエスト受付部132は、リクエスト転送制御部131からデータを受信した場合、第2システム102にデータを送信する(ステップS1107)。その後、リクエスト受付部132は、リクエストの待ち状態に移行する。
ステップS1105において、受信したリクエストが一括転送リクエストでないと判定された場合、リクエスト受付部132は、受信したリクエストがチャンク型の差分転送リクエストであるか否かを判定する(ステップS1108)。
受信したリクエストがチャンク型の差分転送リクエストである場合、リクエスト受付部132は、リクエスト転送制御部131にチャンク型の差分転送リクエストを送信する(ステップS1109)。
リクエスト受付部132は、リクエスト転送制御部131からデータを受信した場合、第2システム102にデータを送信する(ステップS1110)。その後、リクエスト受付部132は、リクエストの待ち状態に移行する。
ステップS1108において、受信したリクエストがチャンク型の差分転送リクエストでないと判定された場合、リクエスト受付部132は、受信したリクエストが時系列差分型の差分転送リクエストであるか否かを判定する(ステップS1111)。
受信したリクエストが時系列差分型の差分転送リクエストでない場合、リクエスト受付部132は、リクエストの待ち状態に移行する。
受信したリクエストが時系列差分型の差分転送リクエストである場合、リクエスト受付部132は、追記リソース情報122を参照し(ステップS1112)、要求される追記リソース141が存在するか否かを判定する(ステップS1113)。
具体的には、リクエスト受付部132は、データベース名402及びリソース名403に、時系列差分型の差分転送リクエストに含まれるデータベース121及び追記リソース141の名称が格納されるレコードが存在するか否かを判定する。
要求される追記リソース141が存在しない場合、リクエスト受付部132は、第2システム102にエラーを通知する(ステップS1114)。その後、リクエスト受付部132は、リクエストの待ち状態に移行する。
要求される追記リソース141が存在する場合、リクエスト受付部132は、リクエスト転送制御部131に時系列差分型の差分転送リクエストを送信する(ステップS1115)。
リクエスト受付部132は、リクエスト転送制御部131からデータを受信した場合、第2システム102にデータを送信する(ステップS1116)。その後、リクエスト受付部132は、リクエストの待ち状態に移行する。
なお、ステップS1102、ステップS1105、ステップS1108、及びステップS1111の処理は実行順を入れ替えてもよい。
図12は、実施例1のコスト算出部133が実行する処理の一例を説明するフローチャートである。
コスト算出部133は、リクエスト受付部132からデータ転送方式の問合せを受信した場合、以下で説明する処理を開始する。
コスト算出部133は、データ転送方式の問合せに含まれるデータベース121及びリソースの名称に基づいてアクセス対象のリソースを特定し、アクセス対象のリソースのメトリクスを取得する(ステップS1201)。
リソースのメトリクスとは、データ転送のコストを見積もるための情報であり、本実施例では、メトリクスとしてデータ量及びレコード数が取得される。
次に、コスト算出部133は、コスト係数情報123からアクセス対象のリソースのコスト係数を取得する(ステップS1202)。
具体的には、コスト算出部133は、データ転送方式の問合せに含まれるデータベース121及びリソースの名称が、データベース名502及びリソース名503に格納されるレコードを検索する。コスト算出部133は、検索されたレコードのコスト係数505に設定された値を取得する。
次に、コスト算出部133は、メトリクス及びコスト係数を用いて、各データ転送方式のコストを算出する(ステップS1203)。コストの算出方法は後述する。
次に、コスト算出部133は、コストが最小となるデータ転送方式を選択し(ステップS1204)、リクエスト転送制御部131に選択されたデータ転送方式を通知する(ステップS1205)。その後、コスト算出部133は処理を終了する。
ここで、コストの具体的な算出方法について説明する。アクセス対象のリソースは第1データベース121−1に格納される「cnc_1」とする。アクセス対象のリソースのメトリクスは10GB、2G Recordとする。また、コスト係数情報123は、図5に示すものとする。
ステップS1202では、ID501が「1」、「2」のレコードのコスト係数505から値が取得される。すなわち、時系列差分型及びチャンク型の各々のコスト係数が取得される。
ステップS1203では、コスト算出部133は、時系列差分型のデータ転送方式のコストと、チャンク型のデータ転送方式のコストを算出する。時系列差分型のデータ転送方式のコストは、例えば、式(3)のように算出され、チャンク型のデータ転送方式のコストは、例えば、式(4)のように算出される。
Figure 2021114232
Figure 2021114232
ステップS1204では、コスト算出部133は、時系列差分型の方がチャンク型よりリソースの使用量が少ないと判定し、時系列差分型を選択する。
図13は、実施例1のリクエスト転送制御部131が実行する処理の一例を説明するフローチャートである。
リクエスト転送制御部131は、リクエストの待ち状態中にリクエスト受付部132からリクエストを受信した場合(ステップS1301)、受信したリクエストが一括転送リクエストであるか否かを判定する(ステップS1302)。
受信したリクエストが一括転送リクエストである場合、リクエスト転送制御部131は、当該リクエストに含まれるデータベース121の名称に一致するデータベース121に、一括転送リクエストを送信する(ステップS1303)。
リクエスト転送制御部131は、データベース121からデータを受信した場合、リクエスト受付部132にデータを送信する(ステップS1304)。その後、リクエスト転送制御部131は、リクエストの待ち状態に移行する。
ステップS1302において、受信したリクエストが一括転送リクエストではないと判定された場合、リクエスト転送制御部131は、受信したリクエストがチャンク型の差分転送リクエストであるか否かを判定する(ステップS1305)。
受信したリクエストがチャンク型の差分転送リクエストである場合、リクエスト転送制御部131は、当該リクエストに含まれるデータベース121の名称に一致するデータベース121に、チャンク型の差分転送リクエストを送信する(ステップS1306)。
リクエスト転送制御部131は、データベース121からデータを受信した場合、リクエスト受付部132にデータを送信する(ステップS1307)。その後、リクエスト転送制御部131は、リクエストの待ち状態に移行する。
なお、ステップS1306において、存在しないチャンクに対するチャンク型の差分転送リクエストが送信された場合、データベース121はエラーをリクエスト転送制御部131に通知する。この場合、ステップS1307では、データの送信の代わりにエラーが通知される。
ステップS1305において、受信したリクエストがチャンク型の差分転送リクエストでないと判定された場合、リクエスト転送制御部131は、受信したリクエストが時系列差分型の差分転送リクエストであるか否かを判定する(ステップS1308)。
受信したリクエストが時系列差分型の差分転送リクエストでないと判定された場合、リクエスト転送制御部131は、リクエストの待ち状態に移行する。
受信したリクエストが時系列差分型の差分転送リクエストである場合、リクエスト転送制御部131は、当該リクエストに含まれるデータベース121の名称に一致するデータベース121に、時系列差分型の差分転送リクエストを送信する(ステップS1309)。
リクエスト転送制御部131は、データベース121からデータを受信した場合、リクエスト受付部132にデータを送信する(ステップS1310)。その後、リクエスト転送制御部131は、リクエストの待ち状態に移行する。
図14、図15、及び図16は、実施例1のデータ取得モジュール151が実行する処理の一例を説明するフローチャートである。
図14は、リソースのデータ転送方式を問い合わせる場合に実行される処理を説明するフローチャートである。データ取得モジュール151は、ユーザからの指示に基づいて以下で説明する処理を開始する。
データ取得モジュール151は、API提供モジュール112に、アクセス対象のリソースのデータ転送方式の問合せを行う(ステップS1401)。
データ取得モジュール151は、API提供モジュール112からデータ転送方式を示す情報を含む応答を受信した場合、差分転送方式情報154を更新する(ステップS1402)。その後、データ取得モジュール151は処理を終了する。
例えば、データ取得モジュール151は、データベース121の名称、リソースの名称、及びデータ転送方式から構成されるデータを差分転送方式情報154に追加する。
このとき、データ取得モジュール151は、決定されたデータ転送方式に基づいて、ステート情報153に格納する値を決定する。例えば、データ転送方式が「チャンク型」の場合、チャンクサイズ及びチャンク番号がステート情報153に格納する値として決定される。データ転送方式が「時系列差分型」の場合、タイムスタンプがステート情報153に格納する値として決定される。
図15は、アクセス対象のリソースに初めてアクセスする場合に実行される処理を説明するフローチャートである。データ取得モジュール151は、ユーザからの指示に基づいて以下で説明する処理を開始する。
データ取得モジュール151は、API提供モジュール112に、一括転送リクエストを送信する(ステップS1501)。
データ取得モジュール151は、API提供モジュール112からデータを受信した場合、データレイク155に受信したデータを格納する(ステップS1502)。その後、データ取得モジュール151は処理を終了する。
図16は、アクセス対象のリソースに2回目以降にアクセスする場合に実行される処理を説明するフローチャートである。データ取得モジュール151は、ユーザからの指示に基づいて以下で説明する処理を開始する。
データ取得モジュール151は、差分転送方式情報154を参照し、アクセス対象のリソースのデータ転送方式を特定する(ステップS1601)。
次に、データ取得モジュール151は、データ転送方式が時系列差分型であるか否かを判定する(ステップS1602)。
データ転送方式が時系列差分型である場合、データ取得モジュール151は、ステート情報153からタイムスタンプ601を取得する(ステップS1621)。
次に、データ取得モジュール151は、データベース121の名称、リソースの名称、及びタイムスタンプ601を含む時系列差分型の差分転送リクエストをリクエスト受付部132に送信する(ステップS1622)。
データ取得モジュール151は、リクエスト受付部132からデータを受信した場合、受信したデータをデータレイク155に格納し(ステップS1623)、ステート情報153のタイムスタンプ601を更新する(ステップS1624)。その後、データ取得モジュール151は処理を終了する。
ステップS1602において、データ転送方式が時系列差分型でない、すなわち、データ転送方式がチャンク型であると判定された場合、データ取得モジュール151は、チャンクサイズを取得し、また、チャンク番号を初期化する(ステップS1611)。
チャンクサイズが存在しない場合、ユーザの初期設定に基づいてチャンクサイズが設定される。また、チャンク番号には1が設定される。データ取得モジュール151は、ステート情報153のチャンクサイズ602及びチャンク番号603に値を設定する。
次に、データ取得モジュール151は、ステート情報153のチャンク番号603を取得し(ステップS1612)、チャンク番号が末尾であるか否かを判定する(ステップS1613)。
チャンク番号が末尾である場合、データ取得モジュール151は処理を終了する。
チャンク番号が末尾ではない場合、データ取得モジュール151は、データベース121の名称、リソースの名称、チャンクサイズ、及びチャンク番号を含むチャンク型の差分転送リクエストをリクエスト受付部132に送信する(ステップS1614)。
データ取得モジュール151は、リクエスト受付部132から応答を受信した場合、受信した応答がエラーを通知する応答であるか否かを判定する(ステップS1615)。
受信した応答がエラーを通知する応答である場合、データ取得モジュール151は、ステート情報153のチャンク番号603を初期化する(ステップS1616)。その後、データ取得モジュール151は処理を終了する。
受信した応答がエラーを通知する応答でない、すなわち、データを含む応答である場合、データ取得モジュール151は、データをデータレイク155に格納し(ステップS1617)、ステート情報153のチャンク番号603を更新する(ステップS1618)。具体的には、現在のチャンク番号603の値に1を加算した値がチャンク番号603に格納される。その後、データ取得モジュール151は、ステップS1612に戻り、同様の処理を実行する。
実施例1によれば、API提供モジュール112(第1システム101)は、データ転送の処理負荷が小さいデータ転送方式を選択し、データ取得モジュール151(第2システム102)に通知する。
データ取得モジュール151は、通知されたデータ転送方式にしたがって、データベース121に格納されるリソースからデータを取得する。これによって、第1システム101上の業務への影響を低減できる。また、第1システム101及び第2システムの間では、データ転送が停止されないため、システム間のデータ転送を高速化できる。
また、データ取得モジュール151は、通知されたデータ転送方式に基づいて、ステートとして管理する情報を決定し、ステートを管理する。これによって、データ転送における第1システム101のメモリ使用量を削減できるため、第1システム101上の業務への影響を低減できる。
実施例2では、初回のデータアクセスに複数の制御形式を設ける。以下、実施例1との差異を中心に実施例2について説明する。
実施例2の計算機システムの構成は実施例1と同一である。実施例2の第1システム101及び第2システム102の構成は実施例1と同一である。ただし、実施例2では、第1システム101が図17に示すような設定情報1700を保持する。
図17は、実施例2の第1システム101が保持する設定情報1700を説明する図である。
設定情報1700には、初回のデータアクセスの制御形式が設定される。具体的には、no_restriction、slow、denyの三つの制御形式が定義されている。
no_restrictionは、特別な制約を課さない一括転送を行う制御形式である。slowは、第1システム101の負荷に応じて少しずつデータを転送する一括転送を行う制御形式である。denyは、一括転送を禁止する制御形式である。
ユーザは、予めいずれかの制御形式をAPI提供モジュール112に設定する。
slowの制御形式が設定された場合、リクエスト受付部132は、一括転送リクエストを受け付ける。リクエスト転送制御部131は、一括転送を行わず、チャンク単位にデータを分割して送信する。このとき、リクエスト転送制御部131は、第1システム101の負荷に応じて、転送量を調整する。これによって、第1システム101の負荷が低い場合にのみデータを転送するように制御できる。
denyの制御形式が設定された場合、リクエスト受付部132は、原則、一括転送リクエストを受け付けないように制御する。ただし、リクエスト受付部132は、強制一括送信を指示するAPI803は受け付けるように制御する。これによって、主にユーザのミス及び不注意に起因する不用意な一括転送を回避できる。
なお、本発明は上記した実施例に限定されるものではなく、様々な変形例が含まれる。また、例えば、上記した実施例は本発明を分かりやすく説明するために構成を詳細に説明したものであり、必ずしも説明した全ての構成を備えるものに限定されるものではない。また、各実施例の構成の一部について、他の構成に追加、削除、置換することが可能である。
また、上記の各構成、機能、処理部、処理手段等は、それらの一部又は全部を、例えば集積回路で設計する等によりハードウェアで実現してもよい。また、本発明は、実施例の機能を実現するソフトウェアのプログラムコードによっても実現できる。この場合、プログラムコードを記録した記憶媒体をコンピュータに提供し、そのコンピュータが備えるプロセッサが記憶媒体に格納されたプログラムコードを読み出す。この場合、記憶媒体から読み出されたプログラムコード自体が前述した実施例の機能を実現することになり、そのプログラムコード自体、及びそれを記憶した記憶媒体は本発明を構成することになる。このようなプログラムコードを供給するための記憶媒体としては、例えば、フレキシブルディスク、CD−ROM、DVD−ROM、ハードディスク、SSD(Solid State Drive)、光ディスク、光磁気ディスク、CD−R、磁気テープ、不揮発性のメモリカード、ROMなどが用いられる。
また、本実施例に記載の機能を実現するプログラムコードは、例えば、アセンブラ、C/C++、perl、Shell、PHP、Python、Java(登録商標)等の広範囲のプログラム又はスクリプト言語で実装できる。
さらに、実施例の機能を実現するソフトウェアのプログラムコードを、ネットワークを介して配信することによって、それをコンピュータのハードディスクやメモリ等の記憶手段又はCD−RW、CD−R等の記憶媒体に格納し、コンピュータが備えるプロセッサが当該記憶手段や当該記憶媒体に格納されたプログラムコードを読み出して実行するようにしてもよい。
上述の実施例において、制御線や情報線は、説明上必要と考えられるものを示しており、製品上必ずしも全ての制御線や情報線を示しているとは限らない。全ての構成が相互に接続されていてもよい。
101 第1システム
102 第2システム
104 ネットワーク
111 業務モジュール
112 API提供モジュール
121 データベース
122 追記リソース情報
123 コスト係数情報
131 リクエスト転送制御部
132 リクエスト受付部
133 コスト算出部
141 追記リソース
142 非追記リソース
151 データ取得モジュール
152 ビッグデータ処理基盤
153 ステート情報
154 差分転送方式情報
155 データレイク
200、300 計算機
201、301 CPU
202、302 主記憶装置
203、303 二次記憶装置
204、304 通信インターフェース
211 API提供プログラム
311 データ取得制御プログラム
1700 設定情報

Claims (12)

  1. 演算装置、前記演算装置に接続される記憶装置、前記演算装置に接続されるネットワーク装置を有する計算機から構成される複数のシステムの間のデータ転送を制御する計算機システムであって、
    前記複数のシステムは、業務を実行する第1システムと、前記業務に関するデータを取得する第2システムとを含み、
    前記第1システムは、前記データを格納するリソースを管理する記憶部と、複数のデータ転送方式のいずれかのデータ転送方式に基づいて、前記第2システムへの前記データの転送を制御する制御部と、を有し、
    前記第2システムは、前記リソースから前記データを取得するデータ取得部を有し、
    前記制御部は、
    前記データ取得部からターゲットリソースにおける前記データ転送方式の問い合わせを受け付けた場合、前記複数のデータ転送方式の各々について前記第1システムの負荷を示すコストを算出し、
    前記コストに基づいて、適用するデータ転送方式を決定し、
    前記決定されたデータ転送方式に関する情報を前記第2システムに送信し、
    前記データ取得部は、
    データの転送状態を管理するための情報であって、前記決定されたデータ転送方式に基づくデータ転送で使用するステートを管理し、
    前記決定されたデータ転送方式及び前記ステートに基づいて、前記リソースから前記データを取得するためのリクエストを送信することを特徴とする計算機システム。
  2. 請求項1に記載の計算機システムであって、
    前記データ取得部は、前記決定されたデータ転送方式に基づいて、前記ステートとして管理する値を決定することを特徴とする計算機システム。
  3. 請求項1に記載の計算機システムであって、
    前記第1システムは、前記データ転送方式の各々の前記コストを算出する場合に使用するコスト係数を管理するコスト係数情報を管理し、
    前記制御部は、
    前記コストを算出するために用いる、前記ターゲットリソースのメトリクスを取得し、
    前記コスト係数情報から前記複数のデータ転送方式の各々の前記コスト係数を取得し、
    前記メトリクスと前記複数のデータ転送方式の各々の前記コスト係数とに基づいて、前記複数のデータ転送方式の各々の前記コストを算出することを特徴とする計算機システム。
  4. 請求項3に記載の計算機システムであって、
    前記ターゲットリソースのメトリクスは、前記リソースに格納される前記データの数及び前記リソースのデータ量の少なくともいずれかであることを特徴とする計算機システム。
  5. 請求項3に記載の計算機システムであって、
    前記記憶部は、前記データの保存形式が異なる複数の種別のリソースを格納し、
    前記コスト係数情報は、前記リソースの種別、前記データ転送方式、及び前記コスト係数を含むレコードを格納することを特徴とする計算機システム。
  6. 請求項1に記載の計算機システムであって、
    前記制御部は、前記データ取得部から前記ターゲットリソースに対する一括転送リクエストを受信した場合、前記第1システムの負荷に応じて転送量を調整して、前記ターゲットリソースの前記データを前記第2システムに送信することを特徴とする計算機システム。
  7. 計算機システムが実行する複数のシステムの間のデータ転送の制御方法であって、
    前記複数のシステムは、
    前記計算機システムは、演算装置、前記演算装置に接続される記憶装置、前記演算装置に接続されるネットワーク装置を有する計算機から構成され、
    業務を実行する第1システムと、前記業務に関するデータを取得する第2システムとを含み、
    前記第1システムは、前記データを格納するリソースを管理する記憶部と、複数のデータ転送方式のいずれかのデータ転送方式に基づいて、前記第2システムへの前記データの転送を制御する制御部と、を有し、
    前記第2システムは、前記リソースから前記データを取得するデータ取得部を有し、
    前記データ転送の制御方法は、
    前記制御部が、前記データ取得部からターゲットリソースにおける前記データ転送方式の問い合わせを受け付けた場合、前記複数のデータ転送方式の各々について前記第1システムの負荷を示すコストを算出する第1のステップと、
    前記制御部が、前記コストに基づいて、適用するデータ転送方式を決定する第2のステップと、
    前記制御部が、前記決定されたデータ転送方式に関する情報を前記第2システムに送信する第3のステップと、
    前記データ取得部が、データの転送状態を管理するための情報であって、前記決定されたデータ転送方式に基づくデータ転送で使用するステートを管理する第4のステップと、
    前記データ取得部が、前記決定されたデータ転送方式及び前記ステートに基づいて、前記リソースから前記データを取得するためのリクエストを送信する第5のステップと、を含むことを特徴とするデータ転送の制御方法。
  8. 請求項7に記載のデータ転送の制御方法であって、
    前記第4のステップは、前記データ取得部が、前記決定されたデータ転送方式に基づいて、前記ステートとして管理する値を決定するステップを含むことを特徴とするデータ転送の制御方法。
  9. 請求項7に記載のデータ転送の制御方法であって、
    前記第1システムは、前記データ転送方式の各々の前記コストを算出する場合に使用するコスト係数を管理するコスト係数情報を管理し、
    前記第1のステップは、
    前記制御部が、前記コストを算出するために用いる、前記ターゲットリソースのメトリクスを取得するステップと、
    前記制御部が、前記コスト係数情報から前記複数のデータ転送方式の各々の前記コスト係数を取得するステップと、
    前記制御部が、前記メトリクスと前記複数のデータ転送方式の各々の前記コスト係数とに基づいて、前記複数のデータ転送方式の各々の前記コストを算出するステップと、を含むことを特徴とするデータ転送の制御方法。
  10. 請求項9に記載のデータ転送の制御方法であって、
    前記ターゲットリソースのメトリクスは、前記リソースに格納される前記データの数及び前記リソースのデータ量の少なくともいずれかであることを特徴とするデータ転送の制御方法。
  11. 請求項9に記載のデータ転送の制御方法であって、
    前記記憶部は、前記データの保存形式が異なる複数の種別のリソースを格納し、
    前記コスト係数情報は、前記リソースの種別、前記データ転送方式、及び前記コスト係数を含むレコードを格納することを特徴とするデータ転送の制御方法。
  12. 請求項7に記載のデータ転送の制御方法であって、
    前記制御部が、前記データ取得部から前記ターゲットリソースに対する一括転送リクエストを受信した場合、前記第1システムの負荷に応じて転送量を調整して、前記ターゲットリソースの前記データを前記第2システムに送信するステップを含むことを特徴とするデータ転送の制御方法。
JP2020007467A 2020-01-21 2020-01-21 計算機システム及びデータ転送の制御方法 Active JP7248600B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2020007467A JP7248600B2 (ja) 2020-01-21 2020-01-21 計算機システム及びデータ転送の制御方法
US17/021,083 US11095712B2 (en) 2020-01-21 2020-09-15 Computer system and control method for data transfer

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2020007467A JP7248600B2 (ja) 2020-01-21 2020-01-21 計算機システム及びデータ転送の制御方法

Publications (2)

Publication Number Publication Date
JP2021114232A true JP2021114232A (ja) 2021-08-05
JP7248600B2 JP7248600B2 (ja) 2023-03-29

Family

ID=76858296

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2020007467A Active JP7248600B2 (ja) 2020-01-21 2020-01-21 計算機システム及びデータ転送の制御方法

Country Status (2)

Country Link
US (1) US11095712B2 (ja)
JP (1) JP7248600B2 (ja)

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH1091549A (ja) * 1996-07-11 1998-04-10 Matsushita Electric Ind Co Ltd 情報転送装置、情報転送方法及び情報転送プログラムを記録したコンピュータ読み取り可能な記録媒体
JP2004056780A (ja) * 2003-05-30 2004-02-19 Matsushita Electric Ind Co Ltd データ受信ノード
JP2005284694A (ja) * 2004-03-30 2005-10-13 Fujitsu Ltd 3次元モデルデータ提供プログラム、3次元モデルデータ提供サーバ、及び3次元モデルデータ転送方法
JP2007538463A (ja) * 2004-05-18 2007-12-27 クゥアルコム・インコーポレイテッド データネットワークにおけるマルチキャストとユニキャストとのハイブリッド送信のための方法及び装置
JP2014132410A (ja) * 2013-01-07 2014-07-17 Fujitsu Ltd 通信装置および通信制御方法
US20170060633A1 (en) * 2015-08-27 2017-03-02 Qualcomm Incorporated Data Management for Multiple Processing Units Using Data Transfer Costs

Family Cites Families (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5694546A (en) * 1994-05-31 1997-12-02 Reisman; Richard R. System for automatic unattended electronic information transport between a server and a client by a vendor provided transport software with a manifest list
EP0978977A1 (en) * 1998-08-07 2000-02-09 International Business Machines Corporation A method and system for improving high speed internetwork data transfers
US6519029B1 (en) * 1999-03-22 2003-02-11 Arc Second, Inc. Low cost transmitter with calibration means for use in position measurement systems
US20140164262A1 (en) * 2012-12-11 2014-06-12 John D. Graham System and method for management of intangible assets
US7240099B2 (en) * 2000-03-06 2007-07-03 Sony Corporation System and method for efficiently performing data transfer operations
US20040024900A1 (en) * 2002-07-30 2004-02-05 International Business Machines Corporation Method and system for enhancing streaming operation in a distributed communication system
US9609003B1 (en) * 2007-06-12 2017-03-28 Icontrol Networks, Inc. Generating risk profile using data of home monitoring and security system
US7590589B2 (en) * 2004-09-10 2009-09-15 Hoffberg Steven M Game theoretic prioritization scheme for mobile ad hoc networks permitting hierarchal deference
US7698001B2 (en) * 2005-10-27 2010-04-13 Hewlett-Packard Development Company, L.P. Method and apparatus for improving performance of networking applications
US8601155B2 (en) * 2006-08-16 2013-12-03 Oracle America, Inc. Telemetry stream performance analysis and optimization
TWI342522B (en) * 2007-06-06 2011-05-21 Wistron Corp Light path management system and method for displaying user's working conditions on a screen
KR100908868B1 (ko) * 2007-09-28 2009-07-21 주식회사 넥스지 가상 인터페이스를 통해 연결된 서버와 클라이언트사이에서 각 회선별로 트래픽을 분배하여 데이터를전송하는 방법 및 시스템
US8009554B2 (en) * 2008-03-13 2011-08-30 Aspen Networks, Inc. Method for multiple link quality of service for voice and video over internet protocol
US8265086B2 (en) * 2009-06-26 2012-09-11 Nokia Corporation Multi-path transport
US8213331B2 (en) * 2009-12-13 2012-07-03 International Business Machines Corporation Managing data transfer in a network environment
JP5803924B2 (ja) * 2010-09-02 2015-11-04 日本電気株式会社 データ転送システム
JP5675548B2 (ja) 2011-10-19 2015-02-25 株式会社日立製作所 データ通信制御方法及びデータ通信制御システム
JP6062551B2 (ja) 2013-07-26 2017-01-18 株式会社日立製作所 差分データ転送システム及び方法
CN107231662B (zh) * 2016-03-25 2020-11-10 华为技术有限公司 一种sdn网络中多流传输的方法和设备

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH1091549A (ja) * 1996-07-11 1998-04-10 Matsushita Electric Ind Co Ltd 情報転送装置、情報転送方法及び情報転送プログラムを記録したコンピュータ読み取り可能な記録媒体
JP2004056780A (ja) * 2003-05-30 2004-02-19 Matsushita Electric Ind Co Ltd データ受信ノード
JP2005284694A (ja) * 2004-03-30 2005-10-13 Fujitsu Ltd 3次元モデルデータ提供プログラム、3次元モデルデータ提供サーバ、及び3次元モデルデータ転送方法
JP2007538463A (ja) * 2004-05-18 2007-12-27 クゥアルコム・インコーポレイテッド データネットワークにおけるマルチキャストとユニキャストとのハイブリッド送信のための方法及び装置
JP2014132410A (ja) * 2013-01-07 2014-07-17 Fujitsu Ltd 通信装置および通信制御方法
US20170060633A1 (en) * 2015-08-27 2017-03-02 Qualcomm Incorporated Data Management for Multiple Processing Units Using Data Transfer Costs

Also Published As

Publication number Publication date
US11095712B2 (en) 2021-08-17
US20210227021A1 (en) 2021-07-22
JP7248600B2 (ja) 2023-03-29

Similar Documents

Publication Publication Date Title
CN110311973B (zh) 一种面向多租户的影像云服务系统及方法
EP0279232A2 (en) A system and method for version level negotiation
EP1429517A1 (en) Access relaying apparatus
JP2014522011A (ja) 異種計算環境内のメインフレームのデータオブジェクトに対するアクセスを提供する工程
US9223896B2 (en) Screen generation method, and screen generation apparatus
US20090043864A1 (en) Method and System for Generating Globally Unique Identifiers
CN112579695A (zh) 一种数据同步方法和装置
CN107249045B (zh) 便携式内窥镜多模态信息同步存储方法和系统
US20070094278A1 (en) Data transfer services
JP2021114232A (ja) 計算機システム及びデータ転送の制御方法
CN113760852A (zh) 网络文件系统和基于网络文件系统的请求处理方法
JPWO2013186891A1 (ja) 進捗状況管理システム、及び進捗状況管理方法
EP3518120B1 (en) Indexing media asset aggregates in a multi-database environment
JP2016085522A (ja) 情報管理装置
KR20150028630A (ko) 캐시 데이터 관리 방법 및 장치
US20150074265A1 (en) Transmission apparatus, transmission method, computer-readable storage medium storing transmission program, and relay system
JP5395550B2 (ja) 撮像装置、情報処理装置、データ通信方法、プログラム
JP6193491B2 (ja) 計算機システム
CN116991815B (zh) 一种分布式存储系统的日志收集方法、装置、设备及介质
CN112783925B (zh) 分页检索方法和装置
JP5428918B2 (ja) 文書配信装置
US11514016B2 (en) Paging row-based data stored as objects
JP2003030243A (ja) 画像配信システム及び情報処理装置及びそれらの方法
JPH11120059A (ja) ネットワークシステム
CN116881343A (zh) 一种多账套的切换方法、装置、终端设备及存储介质

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20220512

TRDD Decision of grant or rejection written
A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20230222

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20230228

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20230316

R150 Certificate of patent or registration of utility model

Ref document number: 7248600

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150