JP2019193129A - データ転送装置及びデータ転送方法、並びにデータ転送装置を備えたネットワークシステム - Google Patents
データ転送装置及びデータ転送方法、並びにデータ転送装置を備えたネットワークシステム Download PDFInfo
- Publication number
- JP2019193129A JP2019193129A JP2018084774A JP2018084774A JP2019193129A JP 2019193129 A JP2019193129 A JP 2019193129A JP 2018084774 A JP2018084774 A JP 2018084774A JP 2018084774 A JP2018084774 A JP 2018084774A JP 2019193129 A JP2019193129 A JP 2019193129A
- Authority
- JP
- Japan
- Prior art keywords
- data
- communication
- learning
- dictionary
- common dictionary
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Ceased
Links
Images
Landscapes
- Compression, Expansion, Code Conversion, And Decoders (AREA)
- Data Exchanges In Wide-Area Networks (AREA)
Abstract
Description
IoTでは、ログ情報等の類似データを繰り返し、通信で収集するという特性がある。IoTにおける通信では、例えば、3G/LTE/LPWA(Low Power,Wide Area)等の広域無線通信等が広く利用される。広域無線通信は、大量の通信を行うためには通信コストが高くなるといという課題がある。
しかし、特許文献1には、辞書を更新する手法、また、辞書の生成に利用するデータの選別については明示なく、何ら考慮されていない。そのため、ログ生成装置の処理負荷の増大を抑えた状態で、低負荷なテキストログ伝送を可能とするという効果に留まる。
つまり、特許文献1のように、事前に生成した辞書を用いてデータを圧縮する通信圧縮方式のシステムでは、システムの更新によって事前に想定していた通信内容と実際の通信内容に差異が生じた場合、圧縮率が想定より低下するという課題があった。
上記した以外の課題、構成及び効果は、以下の実施例の説明によって明らかにされる。
ただし、本発明は、TCP/IPにおけるデータ転送に限定されない。
そして、共通辞書により、通信データのパケット間の重複を排除し、一時辞書により、パケットごとの差異を吸収することで、高い圧縮率と細かな通信内容の変化への対応を実現するものである。
なお、本発明は、ネットワークシステムに含まれる各装置及びネットワークの数には限定されない。
また、ネットワークは、各装置を接続するネットワークの種別に限定されず、専用回線及びインターネット等のネットワークでもよい。また、端末100及びデータ転送装置110は、直接接続されてもよい。複数のデータ転送装置110は、直接接続されてもよい。
端末100は、図示していないが、データ通信機能を実現する演算装置、主記憶装置、及び有するネットワークインターフェースを有する。主記憶装置は、データ通信機能を実行するプログラムやデバイス情報、データ、等を記憶する。
また、中継装置130は、図示していないが、データの通信機能を実現する演算装置、主記憶装置、及びネットワークインターフェースを有する。
例えば、データ転送装置110−1は、端末100−1と端末100−2との間のTCP通信150において、TCP通信150を終端し、LAN140−1を介して端末100−1との間でTCP通信151を行う。
データ転送装置110−2は、TCP通信153では、TCP通信150において端末100−1が用いるIPアドレス及びポート番号を、データ転送装置110−2のIPアドレス及びポート番号として用いる。
具体的には、データ転送装置110(110−1)は、転送元(通信先)の端末100(100−1)からLAN140(140−1)を経由して受信したデータを圧縮し、WAN120へ転送する。
例えば、一つのネットワークインターフェース204上に複数の論理的なネットワークインターフェースを構成し、論理的なネットワークインターフェースを用いることもできる。
演算装置201が上述した各機能部(プログラム)を実行することによってデータ転送装置110が有する機能を実現できる。
この場合、演算装置201は、二次記憶装置203から、必要なプログラム及び情報を読み出し、主記憶装置202にプログラム及び情報をロードする。
次に、図4を用いて、TCP通信に使用されるTCPパケットについて説明する。
PCP416は優先度を表し、CFI417は、MACアドレスが正規フォーマットであるかを表し、VID418は、VLANのIDを表す。
共通辞書700のエントリは、符号key701と対応する記号列Value702、統計カウンタ703から構成される。一時辞書700’のエントリは、符号key701’と対応する記号列Value702’から構成される。
また、データ転送装置110は、圧縮された通信データを復号、展開するとき、符号key701を、対応する記号列Value702に復元する。
共通辞書700の作成方法及び利用方法の詳細については、後述する。
本例では、端末100−1から端末100−2へデータを転送する場合のデータ転送処理について説明する。
なお、端末100−2から端末100−1へデータを転送する場合も同様の処理となる。
図8のシーケンスに基づく動作は、以下のとおりである。
変数iが変数strの文字列の長さよりも長い場合(NO)、符号化部212は、output_bufferをプロトコル処理部215に渡す(ステップS1108)。
共通辞書を作成する処理の詳細については、図14を用いて後述する。
ステップS1304における判定には、所定の変数nのパケットに対して、符号化部212による符号化処理を行う際に、ステップS1102で読み込む共通辞書700を、既存の共通辞書と新規学習した共通辞書の2つの場合で実行する。
そして、既存の共通辞書と新規に学習して作成した共通辞書の圧縮率を比較し、新規に学習して作成した共通辞書の圧縮率が既存の共通辞書の圧縮率よりも低い場合は、さらに学習すると判定し、新規に学習して作成した共通辞書が既存の共通辞書の圧縮率よりも高い場合は、共通辞書学習部211による学習処理を終えると判定する。
所定の変数nは、システムの通信量に合わせて変化させて良い。
ステップS1304でさらに学習しないと判定した場合(YES)、作成した共通辞書を新規共通辞書として保存して処理を終える(ステップS1305)。
変数iが長さlength(str)よりも長い場合(NO)、共通辞書学習部211は、ヒット率の少ないkeyを削除する(ステップS1407)。
図15〜図17を参照して、実施例1から変更がある部分のみ、以下に示す。
学習データ選別部(学習データ選別プログラム)220は、類似デバイスが学習デバイスリストに登録済みか否かを判定する(ステップS1601)。
図18における通信先デバイスのデバイス情報180のTrafic1804、Compression1805、Hit for nth key1806のそれぞれが予め設定した割合(X%)、つまり、類似デバイス割合以内のデバイスか否かを判定する(ステップS16011〜ステップS16013)。
110 データ転送装置
120 WAN
140 LAN
130 中継装置
201 演算装置
202 主記憶装置
211 共通辞書学習部
212 符号化部
213 復号化部
214 転送制御部
215 プロトコル処理部
216 フロー情報保存部
217 学習デバイスリスト保存部
218 学習用データ保存部
219 共通辞書保存部
203 二次記憶装置
204 ネットワークインターフェース
500 フロー情報
600 学習デバイスリスト
700 共通辞書
700’ 一時辞書
160 デバイス情報
Claims (10)
- 通信デバイスの学習期間における通信データから圧縮用の共通辞書を構築する共通辞書学習部と、
ネットワークへ送信するデータをもとに前記共通辞書へエントリを追加しながら前記送信するデータの圧縮を行う符号化部と、
前記ネットワークを介して受信したデータに含まれる一時辞書と前記圧縮されたデータをもとに前記受信したデータの復号化を行う復号化部と、
前記共通辞書へ追加したエントリを一時辞書として、前記圧縮したデータと共に前記ネットワークへ送信し、前記ネットワークを介して受信した前記一時辞書を含む前記圧縮されたデータを受信する転送制御部と、
を備えることを特徴とするデータ転送装置。 - 請求項1に記載されたデータ転送装置において、
学習データ選別部をさらに有し、
前記学習データ選別部は、
通信先デバイスごとに、通信パラメータの統計を学習デバイスリスト保存部に記憶し、当該統計した統計値の差が所定の値以下である通信先デバイスが複数ある場合、前記通信先デバイスのうち一部の通信データを学習用の通信データから除外する
ことを特徴とするデータ転送装置。 - 複数の通信先デバイス間で通信データを、ネットワークを介して転送するデータ転送装置であって、
共通辞書学習部、符号化部、復号化部、転送制御部、を有し、
前記共通辞書学習部は、
前記転送制御部を介して受信した学習期間における通信データのコピーから前記通信データを圧縮するための情報を含む共通辞書を構築し、
前記符号化部は、
前記転送制御部から通信先デバイスのデバイス情報及び通信データを受け、当該通信データをもとに前記共通辞書へエントリを追加し、前記通信先デバイスから送信する前記通信データの圧縮を行い、
前記復号化部は、
前記符号化部にて圧縮された通信データを受信し、当該圧縮された通信データに含まれる一時辞書をもとに当該圧縮されたデータの復号化を行い、
前記転送制御部は、
前記共通辞書に追加したエントリを一時辞書として、前記符号化部にて符号化された圧縮データとともに、前記ネットワークを介して前記通信先デバイスへ送信し、
また、前記復号化部にて復号化された非圧縮データを、前記ネットワークを介して受信した前記一時辞書を含む前記圧縮データを受信する
ことを特徴とするデータ転送装置。 - 請求項1又は3に記載されたデータ転送装置において、
前記共通辞書は、前記通信データを圧縮するための情報を格納するエントリを含み、当該エントリは、符号、記号列を含む、前記通信データを圧縮するための情報であり、
前記符号化部は、前記通信データを符号化するとき、当該通信データに記号列が含まれているとき、前記記号列を前記符号に変換し、
前記復号化部は、前記圧縮されたデータを復号化するとき、前記符号を前記記号列に復元する
ことを特徴とすることを特徴とするデータ転送装置。 - 請求項1又は3に記載されたデータ転送装置において、
前記共通辞書学習部は、
前記共通辞書を構築するとき、
通信先デバイスごとに通信パラメータの統計を記憶し、
前記統計の値が所定の値以下の場合、
前記通信先デバイスのうち一部の通信データを学習用データから除外する
ことを特徴とするデータ転送装置。 - 第1ネットワークと第2ネットワークの間に請求項1又は請求項3又は請求項6に記載されたデータ転送装置を設け、複数の端末の間で通信データの転送を可能とするネットワークシステム。
- 通信デバイスの学習期間における通信データから圧縮用の共通辞書を構築する共通辞書学習ステップと、
ネットワークへ送信するデータをもとに前記共通辞書へエントリを追加しながら前記送信するデータの圧縮を行う符号化ステップと、
前記ネットワークを介して受信したデータに含まれる一時辞書と前記圧縮されたデータをもとに前記受信したデータの復号化を行う復号化ステップと、
前記共通辞書へ追加したエントリを一時辞書として、前記圧縮したデータと共に前記ネットワークへ送信し、前記ネットワークを介して受信した前記一時辞書を含む前記圧縮されたデータを受信する転送制御ステップと、
を備えることを特徴とするデータ転送方法。 - 複数の通信先デバイス間で通信データを転送するデータ転送方法であって、
転送制御部を介して受信した学習期間における通信データのコピーから前記通信データを圧縮するための情報を含む共通辞書を構築する共通辞書学習ステップと、
前記転送制御部から通信先デバイスのデバイス情報及び通信データを受け、当該通信データをもとに前記共通辞書へエントリを追加し、前記通信先デバイスから送信する前記通信データを圧縮する符号化ステップと、
前記符号化ステップにて圧縮された通信データを受信し、当該圧縮された通信データに含まれる一時辞書をもとに当該圧縮されたデータを復号化する復号化ステップと、
前記共通辞書に追加したエントリを一時辞書として、前記符号化部にて符号化された圧縮データとともに、前記通信先デバイスに送信し、前記復号化部にて復号化された非圧縮データを、前記ネットワークを介して受信した前記一時辞書を含む前記圧縮データを受信する転送制御ステップと、を有する
ことを特徴とするデータ転送方法。 - 請求項7又は8に記載されたデータ転送方法において、
前記共通辞書は、前記通信データを圧縮するための情報を格納するエントリを含み、当該エントリは、符号、記号列からなり、
前記符号化ステップは、前記通信データを符号化するとき、当該通信データに記号列が含まれているとき、前記記号列を前記符号に変換し、
前記復号化ステップは、前記圧縮された通信データを復号化するとき、前記符号を前記記号列に復元する
ことを特徴とすることを特徴とするデータ転送方法。 - 請求項7又は8に記載されたデータ転送方法において、
前記共通辞書学習ステップは、
前記共通辞書を構築するとき、
前記通信先デバイスごとに通信パラメータの統計を記憶するステップ、
前記統計の値が所定の値以下の場合、前記通信先デバイスのうち一部の通信データを学習用データから除外するステップを含む
ことを特徴とするデータ転送方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2018084774A JP2019193129A (ja) | 2018-04-26 | 2018-04-26 | データ転送装置及びデータ転送方法、並びにデータ転送装置を備えたネットワークシステム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2018084774A JP2019193129A (ja) | 2018-04-26 | 2018-04-26 | データ転送装置及びデータ転送方法、並びにデータ転送装置を備えたネットワークシステム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2019193129A true JP2019193129A (ja) | 2019-10-31 |
JP2019193129A5 JP2019193129A5 (ja) | 2020-12-24 |
Family
ID=68391048
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2018084774A Ceased JP2019193129A (ja) | 2018-04-26 | 2018-04-26 | データ転送装置及びデータ転送方法、並びにデータ転送装置を備えたネットワークシステム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2019193129A (ja) |
Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2000269822A (ja) * | 1999-03-12 | 2000-09-29 | Fujitsu Ltd | データ圧縮装置、及びデータ復元装置 |
JP2001313673A (ja) * | 2000-05-01 | 2001-11-09 | Ntt Docomo Inc | パケット伝送方法、パケット中継装置およびデータ端末 |
JP2004515942A (ja) * | 2000-11-16 | 2004-05-27 | テレフオンアクチーボラゲット エル エム エリクソン(パブル) | テンポラリ圧縮テーブルを用いた通信システム及び方法 |
JP2006079507A (ja) * | 2004-09-13 | 2006-03-23 | Matsushita Electric Ind Co Ltd | 電子メール装置 |
JP2011114546A (ja) * | 2009-11-26 | 2011-06-09 | Fujitsu Ltd | データ圧縮装置、データ伸長装置、データ圧縮プログラム、及びデータ伸長プログラム |
US20160119449A1 (en) * | 2013-07-03 | 2016-04-28 | Huawei Technologies Co., Ltd. | Packet compression method and apparatus |
JP2017184200A (ja) * | 2016-03-31 | 2017-10-05 | 富士通株式会社 | 符号化プログラム、符号化装置、符号化方法、復号化プログラム、復号化装置および復号化方法 |
-
2018
- 2018-04-26 JP JP2018084774A patent/JP2019193129A/ja not_active Ceased
Patent Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2000269822A (ja) * | 1999-03-12 | 2000-09-29 | Fujitsu Ltd | データ圧縮装置、及びデータ復元装置 |
JP2001313673A (ja) * | 2000-05-01 | 2001-11-09 | Ntt Docomo Inc | パケット伝送方法、パケット中継装置およびデータ端末 |
JP2004515942A (ja) * | 2000-11-16 | 2004-05-27 | テレフオンアクチーボラゲット エル エム エリクソン(パブル) | テンポラリ圧縮テーブルを用いた通信システム及び方法 |
JP2006079507A (ja) * | 2004-09-13 | 2006-03-23 | Matsushita Electric Ind Co Ltd | 電子メール装置 |
JP2011114546A (ja) * | 2009-11-26 | 2011-06-09 | Fujitsu Ltd | データ圧縮装置、データ伸長装置、データ圧縮プログラム、及びデータ伸長プログラム |
US20160119449A1 (en) * | 2013-07-03 | 2016-04-28 | Huawei Technologies Co., Ltd. | Packet compression method and apparatus |
JP2017184200A (ja) * | 2016-03-31 | 2017-10-05 | 富士通株式会社 | 符号化プログラム、符号化装置、符号化方法、復号化プログラム、復号化装置および復号化方法 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US20200252346A1 (en) | Method for Transmitting Service Stream in Flexible Ethernet and Apparatus | |
WO2022105884A1 (zh) | 数据传输方法、装置、网络设备、存储介质 | |
JP6158323B2 (ja) | 仮想デスクトップインフラ(vdi)における性能向上 | |
JP2011135586A (ja) | ハイブリッド有線無線通信装置及び通信方法 | |
US20060075134A1 (en) | Routing data packets in a compressed-header domain | |
CN102194499A (zh) | 一种压缩字典同步的方法和装置 | |
CN103237024B (zh) | Tcp/ip协议与ndn协议之间的数据转换传输方法 | |
RU2139636C1 (ru) | Протокол передачи пакетных данных для радиосвязи | |
KR960705436A (ko) | 표준 프로토콜을 이용하여 노드를 무선 통신망에 접속하는 방법 및 장치(Method and Apparatus for Connecting a Node to a Wireless Network Using a Standard Protocol) | |
US8391148B1 (en) | Method and apparatus for Ethernet data compression | |
US20060277179A1 (en) | Method for communication between computing devices using coded values | |
JP2022126808A (ja) | データ伝送方法、装置及び電子機器 | |
JP2014509483A (ja) | ワイヤレスネットワークにおけるトランスミッション・コントロール・プロトコルの性能を改善する機構 | |
EP3122012B1 (en) | Data processing method and apparatus for openflow network | |
JPWO2003003673A1 (ja) | ルーチング方法、ノード、パケット通信システム、プログラム、及び記録媒体 | |
CN109600318A (zh) | 一种监控sdn中应用程序的方法及sdn控制器 | |
US7564861B1 (en) | Systems and methods for compressing data | |
WO2015135482A1 (en) | Compressed source routing encoding | |
KR101724231B1 (ko) | 이더넷 헤더 압축을 통한 네트워크 전송 효율 향상 방법 및 장치 | |
CN112769743A (zh) | 一种报头压缩方法、装置及设备 | |
CN114189890A (zh) | 更新网络服务质量模型的方法、装置、设备及存储介质 | |
JP2019193129A (ja) | データ転送装置及びデータ転送方法、並びにデータ転送装置を備えたネットワークシステム | |
JPH08251236A (ja) | データ伝送システム、スイッチ、送信機及び受信機 | |
CN105959796B (zh) | 一种基于图像增量信息的通信方法及装置 | |
WO2013091373A1 (zh) | 鲁棒性头压缩反馈管理方法、装置及解压器 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20201116 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20201116 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20211126 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20220104 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20220202 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20220628 |
|
A045 | Written measure of dismissal of application [lapsed due to lack of payment] |
Free format text: JAPANESE INTERMEDIATE CODE: A045 Effective date: 20221025 |