JP2019117536A - データ送信プログラム、データ送信装置、及びデータ送信方法 - Google Patents
データ送信プログラム、データ送信装置、及びデータ送信方法 Download PDFInfo
- Publication number
- JP2019117536A JP2019117536A JP2017251512A JP2017251512A JP2019117536A JP 2019117536 A JP2019117536 A JP 2019117536A JP 2017251512 A JP2017251512 A JP 2017251512A JP 2017251512 A JP2017251512 A JP 2017251512A JP 2019117536 A JP2019117536 A JP 2019117536A
- Authority
- JP
- Japan
- Prior art keywords
- transmission
- data
- compression
- time
- group
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L67/00—Network arrangements or protocols for supporting network services or applications
- H04L67/01—Protocols
- H04L67/06—Protocols specially adapted for file transfer, e.g. file transfer protocol [FTP]
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L69/00—Network arrangements, protocols or services independent of the application payload and not provided for in the other groups of this subclass
- H04L69/04—Protocols for data compression, e.g. ROHC
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F11/00—Error detection; Error correction; Monitoring
- G06F11/07—Responding to the occurrence of a fault, e.g. fault tolerance
- G06F11/14—Error detection or correction of the data by redundancy in operation
- G06F11/1402—Saving, restoring, recovering or retrying
- G06F11/1446—Point-in-time backing up or restoration of persistent data
- G06F11/1458—Management of the backup or restore process
- G06F11/1464—Management of the backup or restore process for networked environments
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L47/00—Traffic control in data switching networks
- H04L47/50—Queue scheduling
- H04L47/62—Queue scheduling characterised by scheduling criteria
- H04L47/625—Queue scheduling characterised by scheduling criteria for service slots or service orders
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L67/00—Network arrangements or protocols for supporting network services or applications
- H04L67/01—Protocols
- H04L67/10—Protocols in which an application is distributed across nodes in the network
- H04L67/1097—Protocols in which an application is distributed across nodes in the network for distributed storage of data in networks, e.g. transport arrangements for network file system [NFS], storage area networks [SAN] or network attached storage [NAS]
Landscapes
- Engineering & Computer Science (AREA)
- Computer Networks & Wireless Communication (AREA)
- Signal Processing (AREA)
- Theoretical Computer Science (AREA)
- Quality & Reliability (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Computer Security & Cryptography (AREA)
- Information Transfer Between Computers (AREA)
Abstract
Description
図1は、通信システム10の構成例を示す図である。通信システム10は、通信装置100−1,2(以降、通信装置100と呼ぶ場合がある)、及びネットワーク200を有する。通信システム10は、例えば、通信装置100−1がデータ又はファイルを通信装置100−2に送信し、通信装置100−2の有するバックアップ用のデータベースに記憶するシステムである。通信システム10において、バックアップ用のデータは、例えば、定期的に更新される。
最初に第1の実施の形態について説明する。通信装置100−1は、送信対象のファイルそれぞれを、1以上のファイルを含む送信グループに分類する。そして、通信装置100−1は、送信グループそれぞれに属するファイルについて、第1圧縮方式で圧縮する第1圧縮時間、及び第1圧縮方式での圧縮後のファイルを送信する第1送信時間を算出する。通信装置100−1は、算出した第1圧縮時間と第1送信時間に基づいて、送信グループに属するファイルの送信順を、送信グループごとに決定する。
図2は、通信装置100の構成例を示す図である。通信装置100は、CPU(Central Processing Unit)110、ストレージ120、メモリ130、及びNIC(Network Interface Card)140−1〜n(以降、NIC140と呼ぶ場合がある)を有する。通信装置100は、他の通信装置とデータの送受信を行う装置である。
順序固定方式によるデータ送信について説明する。図3は、順序固定方式によるデータ送信のシーケンスの例を示す図である。通信装置100−1は、例えば、データ(又はファイル)を送信する契機が発生すると、データ送信を開始する。通信装置100−1は、固定順序(例えば、データD1、データD2、データD3の順序)で、データを順次圧縮し、送信する。
変動方式によるデータ送信について説明する。通信装置100は、複数の送信対象ファイルを、複数のファイルを含む送信グループに割り振り、送信グループ内での送信順を決定する。なお、第1の実施の形態では、通信装置100−1が1つの圧縮方式(第1圧縮方式)にのみ対応する場合について説明する。
次に第2の実施の形態について説明する。
図10は、変動方式によるデータ送信のシーケンスの例を示す図である。通信装置100−1は、データを送信する契機が発生すると、データ圧縮送信処理を行う(S100)。
次に第3の実施の形態について説明する。
第3の実施の形態における第1圧縮方式における圧縮時間及び送信時間は、図8と同様であるものとする。また、第3の実施の形態における第1圧縮方式に送信順ごとの送信完了時間は、図9と同様であるものとする。さらに、第3の実施の形態における変動方式によるデータ送信のシーケンスの例は、図5と同様であるため、以下図5のシーケンスを用いて説明する。
送信対象のファイルそれぞれを送信グループに分類し、
前記ファイルそれぞれについて、第1圧縮方式で圧縮する第1圧縮時間、及び前記第1圧縮方式での圧縮後のファイルを送信する第1送信時間を算出し、
前記第1圧縮時間及び前記第1送信時間に基づいて、前記送信グループに属するファイルの送信順を、前記送信グループごとに決定する処理を、
コンピュータに実行させるデータ送信プログラム。
最初に送信するファイルの圧縮を開始してから最後に送信するファイルの送信が完了するまでの送信完了時間が、最短となる送信順を前記送信グループに属するファイルの送信順と決定する処理を、
コンピュータに実行させる付記1記載のデータ送信プログラム。
最初に送信するファイルの圧縮を開始してから最後に送信するファイルの送信が完了するまでの送信完了時間が最短となる送信順における前記送信完了時間が、時間閾値以内である場合、前記送信順を前記送信グループに属するファイルの送信順と決定する処理を、
コンピュータに実行させる付記1記載のデータ送信プログラム。
前記送信完了時間が最短となる前記送信順における前記送信完了時間が、前記時間閾値より大きい場合、
前記送信グループに属するファイルそれぞれについて、前記第1圧縮方式とは異なる第2圧縮方式で圧縮する第2圧縮時間、及び前記第2圧縮方式での圧縮後のファイルを送信する第2送信時間を算出し、
前記第2圧縮方式での前記送信完了時間が最短となる送信順における前記送信完了時間が、前記時間閾値以内である場合、圧縮方式を前記第2圧縮方式と決定し、前記送信順を前記送信グループに属するファイルの送信順と決定する処理を、
コンピュータに実行させる付記3記載のデータ送信プログラム。
選択可能な全ての圧縮方式での前記送信完了時間が最短となる送信順における前記送信完了時間が、前記時間閾値より大きい場合、圧縮方式を前記第1圧縮方式と決定し、前記第1圧縮方式での前記送信完了時間が最短となる送信順を、前記送信グループに属するファイルの送信順と決定する処理を、
コンピュータに実行させる付記4記載のデータ送信プログラム。
さらに、前記第1圧縮方式以外の第2圧縮方式で圧縮する第2圧縮時間、及び前記第2圧縮方式での圧縮後のファイルを送信する第2送信時間を算出し、
前記第1圧縮時間、前記第1送信時間、前記第2圧縮時間、及び前記第2送信時間に基づき、前記送信グループに属するファイルの送信順を決定する処理を、
コンピュータに実行させる付記1記載のデータ送信プログラム。
最初に送信するファイルの圧縮を開始してから最後に送信するファイルの送信が完了するまでの送信完了時間が、最短となる圧縮方式及び送信順を、前記送信グループに属するファイルの圧縮方式及び送信順と決定する処理を、
コンピュータに実行させる付記1記載のデータ送信プログラム。
前記送信対象のファイルを前記送信グループに分類するとき、前記送信対象のファイルのデータサイズに応じて前記送信グループに分類する処理を、
コンピュータに実行させる付記1記載のデータ送信プログラム。
前記送信対象のファイルを前記送信グループに分類するとき、データサイズが所定サイズ範囲内のファイルを同じ送信グループに分類する処理を、
コンピュータに実行させる付記8記載のデータ送信プログラム。
前記送信対象のファイルを前記送信グループに分類するとき、前記送信グループに属するファイルのデータサイズの合計が、前記送信グループごとに同一又は近似するように前記送信グループに分類する処理を、
コンピュータに実行させる付記8記載のデータ送信プログラム。
前記送信対象のファイルは、バックアップ用のデータを含む
付記1記載の送信プログラム。
送信対象のファイルそれぞれを送信グループに分類する分類部と、
前記ファイルそれぞれについて、第1圧縮方式で圧縮する第1圧縮時間、及び前記第1圧縮方式での圧縮後のファイルを送信する第1送信時間を算出する算出部と、
前記第1圧縮時間及び前記第1送信時間に基づいて、前記送信グループに属するファイルの送信順を、前記送信グループごとに決定する決定部とを有する
データ送信装置。
送信対象のファイルそれぞれを送信グループに分類し、
前記ファイルそれぞれについて、第1圧縮方式で圧縮する第1圧縮時間、及び前記第1圧縮方式での圧縮後のファイルを送信する第1送信時間を算出し、
前記第1圧縮時間及び前記第1送信時間に基づいて、前記送信グループに属するファイルの送信順を、前記送信グループごとに決定する
データ送信方法。
100 :通信装置
110 :CPU
120 :ストレージ
130 :メモリ
200 :ネットワーク
221 :順序固定方式データ送信プログラム
222 :変動方式データ送信プログラム
2221 :送信グループ振分モジュール
2222 :送信グループ内データ送信モジュール
2223 :送信順決定モジュール
Claims (11)
- 送信対象のファイルそれぞれを送信グループに分類し、
前記ファイルそれぞれについて、第1圧縮方式で圧縮する第1圧縮時間、及び前記第1圧縮方式での圧縮後のファイルを送信する第1送信時間を算出し、
前記第1圧縮時間及び前記第1送信時間に基づいて、前記送信グループに属するファイルの送信順を、前記送信グループごとに決定する処理を、
コンピュータに実行させるデータ送信プログラム。 - 最初に送信するファイルの圧縮を開始してから最後に送信するファイルの送信が完了するまでの送信完了時間が、最短となる送信順を前記送信グループに属するファイルの送信順と決定する処理を、
コンピュータに実行させる請求項1記載のデータ送信プログラム。 - 最初に送信するファイルの圧縮を開始してから最後に送信するファイルの送信が完了するまでの送信完了時間が最短となる送信順における前記送信完了時間が、時間閾値以内である場合、前記送信順を前記送信グループに属するファイルの送信順と決定する処理を、
コンピュータに実行させる請求項1記載のデータ送信プログラム。 - 前記送信完了時間が最短となる前記送信順における前記送信完了時間が、前記時間閾値より大きい場合、
前記送信グループに属するファイルそれぞれについて、前記第1圧縮方式とは異なる第2圧縮方式で圧縮する第2圧縮時間、及び前記第2圧縮方式での圧縮後のファイルを送信する第2送信時間を算出し、
前記第2圧縮方式での前記送信完了時間が最短となる送信順における前記送信完了時間が、前記時間閾値以内である場合、圧縮方式を前記第2圧縮方式と決定し、前記送信順を前記送信グループに属するファイルの送信順と決定する処理を、
コンピュータに実行させる請求項3記載のデータ送信プログラム。 - さらに、前記第1圧縮方式以外の第2圧縮方式で圧縮する第2圧縮時間、及び前記第2圧縮方式での圧縮後のファイルを送信する第2送信時間を算出し、
前記第1圧縮時間、前記第1送信時間、前記第2圧縮時間、及び前記第2送信時間に基づき、前記送信グループに属するファイルの送信順を決定する処理を、
コンピュータに実行させる請求項1記載のデータ送信プログラム。 - 最初に送信するファイルの圧縮を開始してから最後に送信するファイルの送信が完了するまでの送信完了時間が、最短となる圧縮方式及び送信順を、前記送信グループに属するファイルの圧縮方式及び送信順と決定する処理を、
コンピュータに実行させる請求項1記載のデータ送信プログラム。 - 前記送信対象のファイルを前記送信グループに分類するとき、前記送信対象のファイルのデータサイズに応じて前記送信グループに分類する処理を、
コンピュータに実行させる請求項1記載のデータ送信プログラム。 - 前記送信対象のファイルを前記送信グループに分類するとき、データサイズが所定サイズ範囲内のファイルを同じ送信グループに分類する処理を、
コンピュータに実行させる請求項7記載のデータ送信プログラム。 - 前記送信対象のファイルを前記送信グループに分類するとき、前記送信グループに属するファイルのデータサイズの合計が、前記送信グループごとに同一又は近似するように前記送信グループに分類する処理を、
コンピュータに実行させる請求項7記載のデータ送信プログラム。 - 送信対象のファイルそれぞれを送信グループに分類する分類部と、
前記ファイルそれぞれについて、第1圧縮方式で圧縮する第1圧縮時間、及び前記第1圧縮方式での圧縮後のファイルを送信する第1送信時間を算出する算出部と、
前記第1圧縮時間及び前記第1送信時間に基づいて、前記送信グループに属するファイルの送信順を、前記送信グループごとに決定する決定部とを有する
データ送信装置。 - 送信対象のファイルそれぞれを送信グループに分類し、
前記ファイルそれぞれについて、第1圧縮方式で圧縮する第1圧縮時間、及び前記第1圧縮方式での圧縮後のファイルを送信する第1送信時間を算出し、
前記第1圧縮時間及び前記第1送信時間に基づいて、前記送信グループに属するファイルの送信順を、前記送信グループごとに決定する
データ送信方法。
Priority Applications (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2017251512A JP6940771B2 (ja) | 2017-12-27 | 2017-12-27 | データ送信プログラム、データ送信装置、及びデータ送信方法 |
EP18210405.9A EP3506097B1 (en) | 2017-12-27 | 2018-12-05 | Data transmitting program, data transmitting device, and data transmitting method |
US16/214,529 US10863005B2 (en) | 2017-12-27 | 2018-12-10 | Data transmitting program, data transmitting device, and data transmitting method |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2017251512A JP6940771B2 (ja) | 2017-12-27 | 2017-12-27 | データ送信プログラム、データ送信装置、及びデータ送信方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2019117536A true JP2019117536A (ja) | 2019-07-18 |
JP6940771B2 JP6940771B2 (ja) | 2021-09-29 |
Family
ID=64900721
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2017251512A Active JP6940771B2 (ja) | 2017-12-27 | 2017-12-27 | データ送信プログラム、データ送信装置、及びデータ送信方法 |
Country Status (3)
Country | Link |
---|---|
US (1) | US10863005B2 (ja) |
EP (1) | EP3506097B1 (ja) |
JP (1) | JP6940771B2 (ja) |
Families Citing this family (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110391873B (zh) * | 2018-04-20 | 2022-02-11 | 伊姆西Ip控股有限责任公司 | 用于确定数据传送方式的方法、装置以及计算机程序产品 |
CN113259424A (zh) * | 2021-04-29 | 2021-08-13 | 西安点告网络科技有限公司 | 一种跨区域数据传输方法及系统 |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2010141515A (ja) * | 2008-12-10 | 2010-06-24 | Fujitsu Ltd | データ転送装置、データ転送方法及びデータ転送プログラム |
JP2012190206A (ja) * | 2011-03-10 | 2012-10-04 | Nec Corp | データ処理スケジューリング装置、方法及びプログラム |
JP2015176337A (ja) * | 2014-03-14 | 2015-10-05 | 富士通株式会社 | データ転送方法、装置、及びシステム |
Family Cites Families (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2699430B2 (ja) | 1988-08-04 | 1998-01-19 | 日本電気株式会社 | データ転送方式 |
GB2271252A (en) * | 1992-10-03 | 1994-04-06 | Ibm | Data compression in a computer workstation |
US6138164A (en) | 1997-11-14 | 2000-10-24 | E-Parcel, Llc | System for minimizing screen refresh time using selectable compression speeds |
US7711772B2 (en) * | 2002-11-15 | 2010-05-04 | Schlumberger Technology Corporation | Web-based system and method for electronic data delivery |
US20040103215A1 (en) * | 2002-11-26 | 2004-05-27 | Bmc Software, Inc. | Selective compression of web-based data transmissions |
TW200947215A (en) * | 2008-05-07 | 2009-11-16 | Acer Inc | Method and computer system for accelerating file transmission |
CN101599986B (zh) * | 2008-06-02 | 2012-08-08 | 宏碁股份有限公司 | 加速文件传输速度的方法及计算机系统 |
US8533166B1 (en) * | 2010-08-20 | 2013-09-10 | Brevity Ventures LLC | Methods and systems for encoding/decoding files and transmission thereof |
JP5367749B2 (ja) * | 2011-03-25 | 2013-12-11 | 株式会社東芝 | サーバ装置、通信方法およびプログラム |
-
2017
- 2017-12-27 JP JP2017251512A patent/JP6940771B2/ja active Active
-
2018
- 2018-12-05 EP EP18210405.9A patent/EP3506097B1/en active Active
- 2018-12-10 US US16/214,529 patent/US10863005B2/en active Active
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2010141515A (ja) * | 2008-12-10 | 2010-06-24 | Fujitsu Ltd | データ転送装置、データ転送方法及びデータ転送プログラム |
JP2012190206A (ja) * | 2011-03-10 | 2012-10-04 | Nec Corp | データ処理スケジューリング装置、方法及びプログラム |
JP2015176337A (ja) * | 2014-03-14 | 2015-10-05 | 富士通株式会社 | データ転送方法、装置、及びシステム |
Also Published As
Publication number | Publication date |
---|---|
EP3506097A1 (en) | 2019-07-03 |
EP3506097B1 (en) | 2020-03-25 |
JP6940771B2 (ja) | 2021-09-29 |
US20190199832A1 (en) | 2019-06-27 |
US10863005B2 (en) | 2020-12-08 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US9298563B2 (en) | Changing a number of disk agents to backup objects to a storage device | |
CN107404541B (zh) | 一种对等网络传输邻居节点选择的方法及系统 | |
US20110145830A1 (en) | Job assignment apparatus, job assignment program, and job assignment method | |
US10001945B2 (en) | Method of storing data and data storage managing server | |
CN103873507A (zh) | 数据分块上传与存储系统及方法 | |
WO2015001850A1 (ja) | タスク割り当て判定装置、制御方法、及びプログラム | |
CN109981744B (zh) | 数据的分发方法、装置、存储介质及电子设备 | |
CN106302780B (zh) | 集群设备批量传输数据的方法、装置及系统、服务器 | |
CN107682417B (zh) | 一种数据节点的任务分配方法和装置 | |
CN112214288B (zh) | 基于Kubernetes集群的Pod调度方法、装置、设备和介质 | |
JP6940771B2 (ja) | データ送信プログラム、データ送信装置、及びデータ送信方法 | |
CN108875035B (zh) | 分布式文件系统的数据存储方法及相关设备 | |
CN109213774B (zh) | 数据的存储方法及装置、存储介质、终端 | |
CN113268329B (zh) | 一种请求调度方法、装置及存储介质 | |
CN112199175A (zh) | 一种任务队列生成方法、装置及设备 | |
CN108459926B (zh) | 数据异地备份方法、装置及计算机可读介质 | |
WO2024099308A1 (zh) | 一种密码子序列优化方法、装置、计算机设备及存储介质 | |
EP3396554A1 (en) | Backup control method and backup control device | |
CN107783990B (zh) | 一种数据压缩方法及终端 | |
CN112948104A (zh) | 负载均衡的数据采集方法及装置 | |
CN111131375A (zh) | 接口服务获取方法、装置、计算机设备及存储介质 | |
CN110765082A (zh) | Hadoop文件处理方法、装置、存储介质及服务器 | |
WO2018200770A1 (en) | Hash data structure biasing | |
CN111587417A (zh) | 用于数据存储的方法、设备、计算机程序和计算机程序产品 | |
CN115708078A (zh) | 一种数据存储方法及装置、存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20200911 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20210721 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20210803 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20210816 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6940771 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |