CN110636064A - 一种基于gzip压缩的高速加密数据同步方法及系统 - Google Patents
一种基于gzip压缩的高速加密数据同步方法及系统 Download PDFInfo
- Publication number
- CN110636064A CN110636064A CN201910899326.5A CN201910899326A CN110636064A CN 110636064 A CN110636064 A CN 110636064A CN 201910899326 A CN201910899326 A CN 201910899326A CN 110636064 A CN110636064 A CN 110636064A
- Authority
- CN
- China
- Prior art keywords
- data
- client
- prefix
- gzip compression
- gzip
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000007906 compression Methods 0.000 title claims abstract description 42
- 230000006835 compression Effects 0.000 title claims abstract description 42
- 238000000034 method Methods 0.000 title claims abstract description 32
- 230000005540 biological transmission Effects 0.000 claims abstract description 24
- 230000006854 communication Effects 0.000 claims abstract description 22
- 238000004891 communication Methods 0.000 claims abstract description 20
- 238000004806 packaging method and process Methods 0.000 claims abstract description 6
- 230000003993 interaction Effects 0.000 claims description 26
- 238000005538 encapsulation Methods 0.000 claims description 8
- 230000000977 initiatory effect Effects 0.000 claims description 8
- 238000012545 processing Methods 0.000 claims description 6
- 238000012827 research and development Methods 0.000 abstract description 8
- 238000013144 data compression Methods 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 238000011160 research Methods 0.000 description 3
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000003203 everyday effect Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L63/00—Network architectures or network communication protocols for network security
- H04L63/04—Network architectures or network communication protocols for network security for providing a confidential data exchange among entities communicating through data packet networks
- H04L63/0428—Network architectures or network communication protocols for network security for providing a confidential data exchange among entities communicating through data packet networks wherein the data content is protected, e.g. by encrypting or encapsulating the payload
- H04L63/0442—Network architectures or network communication protocols for network security for providing a confidential data exchange among entities communicating through data packet networks wherein the data content is protected, e.g. by encrypting or encapsulating the payload wherein the sending and receiving network entities apply asymmetric encryption, i.e. different keys for encryption and decryption
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L67/00—Network arrangements or protocols for supporting network services or applications
- H04L67/01—Protocols
- H04L67/10—Protocols in which an application is distributed across nodes in the network
- H04L67/1095—Replication or mirroring of data, e.g. scheduling or transport for data synchronisation between network nodes
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L69/00—Network arrangements, protocols or services independent of the application payload and not provided for in the other groups of this subclass
- H04L69/04—Protocols for data compression, e.g. ROHC
Landscapes
- Engineering & Computer Science (AREA)
- Computer Security & Cryptography (AREA)
- Computer Networks & Wireless Communication (AREA)
- Signal Processing (AREA)
- Computer Hardware Design (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Computer And Data Communications (AREA)
Abstract
本发明公开了一种基于GZIP压缩的高速加密数据同步方法及系统，属于数据传输安全技术领域。本发明的基于GZIP压缩的高速加密数据同步方法利用GZIP压缩功能对客户端及服务端通信数据进行压缩，针对不同功能、不同业务建立统一的封装协议，实现客户端与服务端数据传输的安全。该发明的基于GZIP压缩的高速加密数据同步方法能够避免数据传输过慢影响服务器性能和客户反映时间，极大节省研发工作量，快速响应客户需求，提高客户满意度，具有很好的推广应用价值。
Description
技术领域
本发明涉及数据传输安全技术领域，具体提供一种基于GZIP压缩的高速加密数据同步方法及系统。
背景技术
面向零售客户的零售终端系统在推广和使用时，需要与服务器端进行数据传输和交互，随着业务功能的进一步拓展和客户不断提出的新需求，单个客户端与服务器之间需要传送的数据量日益增多。同时，由于终端系统在全国的进一步推广，客户端的数量不断增加，服务端需要同时保持通讯的客户端数量日益增多，网络传输过程中带宽压力越来越大，消耗的流量越来越多。传统的通讯方式已经不足以支撑业务需求，且明文的数据传输存在安全隐患。基于减少通讯过程中的数据量但不减少数据内容，提高通讯过程中的安全性，提高研发人员研发效率，降低研发工作量等多方面考虑，在服务器框架层和客户端HTTP框架间约定是很有必要的。
发明内容
本发明的技术任务是针对上述存在的问题，提供一种能够避免数据传输过慢影响服务器性能和客户反映时间，极大节省研发工作量，快速响应客户需求，提高客户满意度的基于GZIP压缩的高速加密数据同步方法。
本发明进一步的技术任务是提供一种基于GZIP压缩的高速加密数据同步系统。
为实现上述目的，本发明提供了如下技术方案：
一种基于GZIP压缩的高速加密数据同步方法，该方法利用GZIP压缩功能对客户端及服务端通信数据进行压缩，针对不同功能、不同业务建立统一的封装协议，实现客户端与服务端数据传输的安全。
作为优选，该方法包括以下步骤：
S1、服务端发起请求；
S2、判断服务端是否与客户端接口通讯交互，若是，则对数据进行压缩及对数据进行加密，之后客户端接收数据，若否，则客户端直接接收数据；
S3、判断客户端接收的数据内容是否存在加密前缀，若是则对数据进行解密及对数据进行解压，之后客户端对数据进行处理，若否，则客户端直接对数据进行处理。
作为优选，步骤S2中，对数据进行压缩时，采用GZIP压缩功能，在数据传输前，通过框架层对将进行网络交互的数据进行封装，在数据前增加#GZIP前缀。
作为优选，采用统一的封装协议通过框架层对将进行网络交互的数据进行封装，将数据压缩3-10倍。
作为优选，所述对数据进行加密时，为在对数据进行压缩后，服务端发送数据前采取RSA加密算法对数据进行加密，则在数据流前增加#RSA前缀。
作为优选，客户端对数据进行解密时，客户端的框架层对数据流前增加的前缀进行判断，确认加密算法，采用对应的解密算法对数据进行解密，在对应的数据传输到客户端后，客户端的框架层对前缀进行判断，确认加密算法是哪种，采取对应的解密算法，之后再进行数据解压出来，得到最初想要传输的实际数据。由于是在框架层封装，可以对于不同数据安全性要求的接口采取不同复杂度的加密算法，但可以同时使用GZIP压缩技术，研发人员只需指明加密算法，即可轻松实现数据的自动加密封装。
一种基于GZIP压缩的高速加密数据同步系统，该系统包括请求发起模块、接口通讯交互判断模块和数据加密前缀判断模块：
请求发起模块用于服务端发起请求；
接口通讯交互判断模块用于判断服务端是否与客户端接口通讯交互，若是，则对数据进行压缩及对数据进行加密，之后客户端接收数据，若否，则客户端直接接收数据；
数据加密前缀判断模块用于判断客户端接收的数据内容是否存在加密前缀，若是则对数据进行解密及对数据进行解压，之后客户端对数据进行处理，若否，则客户端直接对数据进行处理。
作为优选，接口通讯交互判断模块中，在对数据进行压缩时，采用GZIP压缩功能，在数据传输前，通过框架层对将进行网络交互的数据进行封装采用统一的封装协议通过框架层对将进行网络交互的数据进行封装，在数据前增加#GZIP前缀，将数据压缩3-10倍，所述对数据进行加密时，为在对数据进行压缩后，服务端发送数据前采取RSA加密算法对数据进行加密，则在数据流前增加#RSA前缀。
作为优选，数据加密前缀判断模块中，在客户端对数据进行解密时，客户端的框架层对数据流前增加的前缀进行判断，确认加密算法，采用对应的解密算法对数据进行解密。
与现有技术相比，本发明的基于GZIP压缩的高速加密数据同步方法具有以下突出的有益效果：所述基于GZIP压缩的高速加密数据同步方法提高了服务器端与客户端之间的数据传输速度和传输安全性。目前，一家直营连锁店的分店商品数据约为2万左右，加上店铺信息，系统参数等信息，数据量在20M左右，由于数据压缩前很零散，且数据量大，首次登陆时下载传输全部数据约需3-5分钟，每天的销售单据在几百单左右，上传数据总耗时约为10分钟左右，在采用数据压缩后，首次登陆下载传输全部数据仅需1分钟多，每天上传数据总耗时约为5分钟。同时，避免了之前因明文数据传输内容因涉及安全敏感单词被拦截导致数据传输失败的问题。研发人员也不必再考虑数据过大时单次传输网络超时问题，极大地提高了研发效率，具有良好的推广应用价值。
附图说明
图1是本发明所述基于GZIP压缩的高速加密数据同步方法的流程图。
具体实施方式
下面将结合附图和实施例，对本发明的基于GZIP压缩的高速加密数据同步方法及系统作进一步详细说明。
实施例
如图1所示，本发明的基于GZIP压缩的高速加密数据同步方法，利用GZIP压缩功能对客户端及服务端通信数据进行压缩，针对不同功能、不同业务建立统一的封装协议，实现客户端与服务端数据传输的安全。
该基于GZIP压缩的高速加密数据同步方法，利用GZIP压缩功能按照一定格式对客户端及服务端通信数据进行压缩，针对不同功能不同业务建立了统一的封装协议，实现了客户端与服务端进行数据传输时，在报文信息中无法获取任何明文内容，提高了数据安全性，且极大减少数据体积，减少传输过程中网络流量消耗。同时，由于在框架层自动对网络传输进行GZIP压缩的功能封装，让普通研发人员不必考虑数据超长，明文内容等问题，极大减少了研发时间。
该基于GZIP压缩的高速加密数据同步方法包括以下步骤：
S1、服务端发起请求。
S2、判断服务端是否与客户端接口通讯交互，若是，则对数据进行压缩及对数据进行加密，之后客户端接收数据，若否，则客户端直接接收数据。
对数据进行压缩时，采用GZIP压缩功能，在数据传输前，通过框架层对将进行网络交互的数据进行封装，在数据前增加#GZIP前缀。
采用统一的封装协议通过框架层对将进行网络交互的数据进行封装，将数据压缩3-10倍。对数据进行加密时，为在对数据进行压缩后，服务端发送数据前采取RSA加密算法对数据进行加密，则在数据流前增加#RSA前缀。
S3、判断客户端接收的数据内容是否存在加密前缀，若是则对数据进行解密及对数据进行解压，之后客户端对数据进行处理，若否，则客户端直接对数据进行处理。
客户端对数据进行解密时，客户端的框架层对数据流前增加的前缀进行判断，确认加密算法，采用对应的解密算法对数据进行解密，在对应的数据传输到客户端后，客户端的框架层对前缀进行判断，确认加密算法是哪种，采取对应的解密算法，之后再进行数据解压出来，得到最初想要传输的实际数据。由于是在框架层封装，可以对于不同数据安全性要求的接口采取不同复杂度的加密算法，但可以同时使用GZIP压缩技术，研发人员只需指明加密算法，即可轻松实现数据的自动加密封装。
该方法采取相同的数据压缩加密协议，减少服务器端的二次开发，提高了数据一致性，由于采用的压缩技术和加密算法都是流行的，被长期认可的，在各个平台上都有相应的支持，不用担心日后的可拓展性和稳定性。
本发明的基于GZIP压缩的高速加密数据同步系统，该系统包括请求发起模块、接口通讯交互判断模块和数据加密前缀判断模块。
请求发起模块用于服务端发起请求。
接口通讯交互判断模块用于判断服务端是否与客户端接口通讯交互，若是，则对数据进行压缩及对数据进行加密，之后客户端接收数据，若否，则客户端直接接收数据。
接口通讯交互判断模块中，在对数据进行压缩时，采用GZIP压缩功能，在数据传输前，通过框架层对将进行网络交互的数据进行封装采用统一的封装协议通过框架层对将进行网络交互的数据进行封装，在数据前增加#GZIP前缀，将数据压缩3-10倍，所述对数据进行加密时，为在对数据进行压缩后，服务端发送数据前采取RSA加密算法对数据进行加密，则在数据流前增加#RSA前缀。
数据加密前缀判断模块用于判断客户端接收的数据内容是否存在加密前缀，若是则对数据进行解密及对数据进行解压，之后客户端对数据进行处理，若否，则客户端直接对数据进行处理。
数据加密前缀判断模块中，在客户端对数据进行解密时，客户端的框架层对数据流前增加的前缀进行判断，确认加密算法，采用对应的解密算法对数据进行解密。
以上所述的实施例，只是本发明较优选的具体实施方式，本领域的技术人员在本发明技术方案范围内进行的通常变化和替换都应包含在本发明的保护范围内。
Claims (9)
1.一种基于GZIP压缩的高速加密数据同步方法，其特征在于：该方法利用GZIP压缩功能对客户端及服务端通信数据进行压缩，针对不同功能、不同业务建立统一的封装协议，实现客户端与服务端数据传输的安全。
2.根据权利要求1所述的基于GZIP压缩的高速加密数据同步方法，其特征在于：该方法包括以下步骤：
S1、服务端发起请求；
S2、判断服务端是否与客户端接口通讯交互，若是，则对数据进行压缩及对数据进行加密，之后客户端接收数据，若否，则客户端直接接收数据；
S3、判断客户端接收的数据内容是否存在加密前缀，若是则对数据进行解密及对数据进行解压，之后客户端对数据进行处理，若否，则客户端直接对数据进行处理。
3.根据权利要求2所述的基于GZIP压缩的高速加密数据同步方法，其特征在于：步骤S2中，对数据进行压缩时，采用GZIP压缩功能，在数据传输前，通过框架层对将进行网络交互的数据进行封装，在数据前增加#GZIP前缀。
4.根据权利要求3所述的基于GZIP压缩的高速加密数据同步方法，其特征在于：采用统一的封装协议通过框架层对将进行网络交互的数据进行封装，将数据压缩3-10倍。
5.根据权利要求4所述的基于GZIP压缩的高速加密数据同步方法，其特征在于：所述对数据进行加密时，为在对数据进行压缩后，服务端发送数据前采取RSA加密算法对数据进行加密，则在数据流前增加#RSA前缀。
6.根据权利要求5所述的基于GZIP压缩的高速加密数据同步方法，其特征在于：客户端对数据进行解密时，客户端的框架层对数据流前增加的前缀进行判断，确认加密算法，采用对应的解密算法对数据进行解密。
7.一种基于GZIP压缩的高速加密数据同步系统，其特征在于：该系统包括请求发起模块、接口通讯交互判断模块和数据加密前缀判断模块：
请求发起模块用于服务端发起请求；
接口通讯交互判断模块用于判断服务端是否与客户端接口通讯交互，若是，则对数据进行压缩及对数据进行加密，之后客户端接收数据，若否，则客户端直接接收数据；
数据加密前缀判断模块用于判断客户端接收的数据内容是否存在加密前缀，若是则对数据进行解密及对数据进行解压，之后客户端对数据进行处理，若否，则客户端直接对数据进行处理。
8.根据权利要求7所述的基于GZIP压缩的高速加密数据同步系统，其特征在于：接口通讯交互判断模块中，在对数据进行压缩时，采用GZIP压缩功能，在数据传输前，通过框架层对将进行网络交互的数据进行封装采用统一的封装协议通过框架层对将进行网络交互的数据进行封装，在数据前增加#GZIP前缀将数据压缩3-10倍，所述对数据进行加密时，为在对数据进行压缩后，服务端发送数据前采取RSA加密算法对数据进行加密，则在数据流前增加#RSA前缀。
9.根据权利要求8所述的基于GZIP压缩的高速加密数据同步系统，其特征在于：数据加密前缀判断模块中，在客户端对数据进行解密时，客户端的框架层对数据流前增加的前缀进行判断，确认加密算法，采用对应的解密算法对数据进行解密。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910899326.5A CN110636064A (zh) | 2019-09-23 | 2019-09-23 | 一种基于gzip压缩的高速加密数据同步方法及系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910899326.5A CN110636064A (zh) | 2019-09-23 | 2019-09-23 | 一种基于gzip压缩的高速加密数据同步方法及系统 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN110636064A true CN110636064A (zh) | 2019-12-31 |
Family
ID=68972323
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201910899326.5A Pending CN110636064A (zh) | 2019-09-23 | 2019-09-23 | 一种基于gzip压缩的高速加密数据同步方法及系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN110636064A (zh) |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111586072A (zh) * | 2020-05-19 | 2020-08-25 | 贺斌 | 一种数据传输方法、装置、电子设备及存储介质 |
| CN112261043A (zh) * | 2020-10-21 | 2021-01-22 | 深圳市思迅软件股份有限公司 | Pos系统数据交互方法、装置、计算机设备及存储介质 |
| CN112883400A (zh) * | 2021-03-11 | 2021-06-01 | 杭州网易云音乐科技有限公司 | 业务资源服务方法、装置、电子设备及存储介质 |
| CN115632817A (zh) * | 2022-09-22 | 2023-01-20 | 浪潮卓数大数据产业发展有限公司 | 一种安卓端反爬方法及装置 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN1947381A (zh) * | 2004-05-27 | 2007-04-11 | 思科技术公司 | 标识反向路径转发信息 |
| CN101668018A (zh) * | 2009-10-13 | 2010-03-10 | 金蝶软件（中国）有限公司 | 一种网络传输的方法及系统 |
| CN106453391A (zh) * | 2016-11-13 | 2017-02-22 | 北海和思科技有限公司 | 一种重复长数据加密传输的方法及系统 |
| CN108009098A (zh) * | 2016-10-27 | 2018-05-08 | 希捷科技有限公司 | 具有经压缩的正向映射的存储分层 |
| KR20180131059A (ko) * | 2017-05-31 | 2018-12-10 | 삼성에스디에스 주식회사 | 암호화 처리 방법 및 그 장치 |
-
2019
- 2019-09-23 CN CN201910899326.5A patent/CN110636064A/zh active Pending
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN1947381A (zh) * | 2004-05-27 | 2007-04-11 | 思科技术公司 | 标识反向路径转发信息 |
| CN101668018A (zh) * | 2009-10-13 | 2010-03-10 | 金蝶软件（中国）有限公司 | 一种网络传输的方法及系统 |
| CN108009098A (zh) * | 2016-10-27 | 2018-05-08 | 希捷科技有限公司 | 具有经压缩的正向映射的存储分层 |
| CN106453391A (zh) * | 2016-11-13 | 2017-02-22 | 北海和思科技有限公司 | 一种重复长数据加密传输的方法及系统 |
| KR20180131059A (ko) * | 2017-05-31 | 2018-12-10 | 삼성에스디에스 주식회사 | 암호화 처리 방법 및 그 장치 |
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111586072A (zh) * | 2020-05-19 | 2020-08-25 | 贺斌 | 一种数据传输方法、装置、电子设备及存储介质 |
| CN112261043A (zh) * | 2020-10-21 | 2021-01-22 | 深圳市思迅软件股份有限公司 | Pos系统数据交互方法、装置、计算机设备及存储介质 |
| CN112883400A (zh) * | 2021-03-11 | 2021-06-01 | 杭州网易云音乐科技有限公司 | 业务资源服务方法、装置、电子设备及存储介质 |
| CN115632817A (zh) * | 2022-09-22 | 2023-01-20 | 浪潮卓数大数据产业发展有限公司 | 一种安卓端反爬方法及装置 |
| CN115632817B (zh) * | 2022-09-22 | 2023-09-05 | 浪潮卓数大数据产业发展有限公司 | 一种安卓端反爬方法及装置 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110636064A (zh) | 一种基于gzip压缩的高速加密数据同步方法及系统 | |
| CN105376261B (zh) | 一种用于即时通讯消息的加密方法及系统 | |
| CN104580158A (zh) | 一种分布式平台文件与内容分发方法及系统 | |
| CN112383881B (zh) | 一种信息上报方法、装置、设备及存储介质 | |
| CN110620762A (zh) | 基于rdma的数据传输方法、网卡、服务器及介质 | |
| CN102055580A (zh) | 一种工业互联网中企业信息安全发送接收方法及通讯设备 | |
| CN106453391A (zh) | 一种重复长数据加密传输的方法及系统 | |
| CN112261062A (zh) | 支持多协议转换的物联网安全接入方法及网关、系统 | |
| CN110365729A (zh) | 响应式消息推送、接收方法和响应式消息推送系统 | |
| WO2011127804A1 (zh) | M2m中数据加密传输的方法、设备及系统 | |
| WO2016155495A1 (zh) | 数据交换方法、装置及设备 | |
| CN105612723A (zh) | 通过使用无线通信系统中的多个网络接口分配业务量的方法和装置 | |
| CN209545761U (zh) | 显示屏监控系统 | |
| CN109951378B (zh) | 一种即时通信中的文件加密传输与共享方法 | |
| CN101202965B (zh) | 用于面向无连接的安全的点到点短消息的传输方法 | |
| CN111372056A (zh) | 一种视频数据加密、解密处理方法及装置 | |
| CN109962888A (zh) | 一种防篡改业务访问方法、客户端以及服务器 | |
| CN110213346B (zh) | 加密信息的传输方法及装置 | |
| CN107534650A (zh) | 一种帧传输方法、装置和网络系统 | |
| CN111818517B (zh) | 多通道安全通信模组、通信系统及方法 | |
| CN104980266A (zh) | 数据通信方法和系统 | |
| CN110995730B (zh) | 数据传输方法、装置、代理服务器和代理服务器集群 | |
| CN103581034A (zh) | 一种报文镜像和加密传输方法 | |
| CN112953898A (zh) | 一种音视频加解密传输控制方法 | |
| WO2011041124A3 (en) | Method and apparatus for providing application service between a first protocol and a second protocol |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20191231 |