CN115277206B - 数据处理方法和服务器 - Google Patents

数据处理方法和服务器 Download PDF

Info

Publication number
CN115277206B
CN115277206B CN202210900117.XA CN202210900117A CN115277206B CN 115277206 B CN115277206 B CN 115277206B CN 202210900117 A CN202210900117 A CN 202210900117A CN 115277206 B CN115277206 B CN 115277206B
Authority
CN
China
Prior art keywords
file
data
processed
searched
identifier
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202210900117.XA
Other languages
English (en)
Other versions
CN115277206A (zh
Inventor
罗静
敦建征
张培
岳星华
单涛
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
CRSC Institute of Smart City Research and Design Co Ltd
Original Assignee
CRSC Institute of Smart City Research and Design Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by CRSC Institute of Smart City Research and Design Co Ltd filed Critical CRSC Institute of Smart City Research and Design Co Ltd
Priority to CN202210900117.XA priority Critical patent/CN115277206B/zh
Publication of CN115277206A publication Critical patent/CN115277206A/zh
Application granted granted Critical
Publication of CN115277206B publication Critical patent/CN115277206B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L63/00—Network architectures or network communication protocols for network security
    • H04L63/04—Network architectures or network communication protocols for network security for providing a confidential data exchange among entities communicating through data packet networks
    • H04L63/0428—Network architectures or network communication protocols for network security for providing a confidential data exchange among entities communicating through data packet networks wherein the data content is protected, e.g. by encrypting or encapsulating the payload
    • H04L63/0478—Network architectures or network communication protocols for network security for providing a confidential data exchange among entities communicating through data packet networks wherein the data content is protected, e.g. by encrypting or encapsulating the payload applying multiple layers of encryption, e.g. nested tunnels or encrypting the content with a first key and then with at least a second key
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/10—File systems; File servers
    • G06F16/17—Details of further file system functions
    • G06F16/174—Redundancy elimination performed by the file system
    • G06F16/1744—Redundancy elimination performed by the file system using compression, e.g. sparse files
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/60—Protecting data
    • G06F21/602—Providing cryptographic facilities or services
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/60—Protecting data
    • G06F21/62—Protecting access to data via a platform, e.g. using keys or access control rules
    • G06F21/6218—Protecting access to data via a platform, e.g. using keys or access control rules to a system of files or objects, e.g. local or distributed file system or database
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L63/00—Network architectures or network communication protocols for network security
    • H04L63/04—Network architectures or network communication protocols for network security for providing a confidential data exchange among entities communicating through data packet networks
    • H04L63/0428—Network architectures or network communication protocols for network security for providing a confidential data exchange among entities communicating through data packet networks wherein the data content is protected, e.g. by encrypting or encapsulating the payload
    • H04L63/045—Network architectures or network communication protocols for network security for providing a confidential data exchange among entities communicating through data packet networks wherein the data content is protected, e.g. by encrypting or encapsulating the payload wherein the sending and receiving network entities apply hybrid encryption, i.e. combination of symmetric and asymmetric encryption
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/06—Protocols specially adapted for file transfer, e.g. file transfer protocol [FTP]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L69/00—Network arrangements, protocols or services independent of the application payload and not provided for in the other groups of this subclass
    • H04L69/04—Protocols for data compression, e.g. ROHC
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2211/00—Indexing scheme relating to details of data-processing equipment not covered by groups G06F3/00 - G06F13/00
    • G06F2211/007—Encryption, En-/decode, En-/decipher, En-/decypher, Scramble, (De-)compress
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2221/00—Indexing scheme relating to security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F2221/21—Indexing scheme relating to G06F21/00 and subgroups addressing additional information or applications relating to security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F2221/2107—File encryption
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Security & Cryptography (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Hardware Design (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Bioethics (AREA)
  • General Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • Databases & Information Systems (AREA)
  • Computing Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Storage Device Security (AREA)

Abstract

本申请公开一种数据处理方法和服务器，涉及数据传输技术领域。方法包括：依据获取到的待查找文件标识查找字段映射表，获得与待查找文件标识对应的待处理文件，其中，待处理文件用于存储数据需求服务器需要的业务数据；对待处理文件进行文件加密，获得待发送文件；向数据需求服务器发送待发送文件，以供数据需求服务器对待发送文件进行处理，获得业务数据。满足数据需求服务器的数据使用需求，提升与数据需求服务器之间的数据交互效率。

Description

数据处理方法和服务器
技术领域
本申请涉及数据传输技术领域，具体涉及一种数据处理方法和服务器。
背景技术
随着数据处理技术的发展，不同的数据系统之间的数据交互频率越来越高，并且，对应的交互数据量也越来越大。但是，若某个数据系统直接将数据传输至目标处理系统，易导致数据被第三方设备恶意拦截，无法保证数据传输的安全性；若对数据进行加密后再进行传输，则会增加传输的数据量，占用数据带宽，降低数据传输效率。
发明内容
为此，本申请提供一种数据处理方法和服务器，解决如何保持数据的准确性、便捷性、安全性和高效率的与第三方系统进行数据交互的问题。
为了实现上述目的，本申请第一方面提供一种数据处理方法，方法包括：依据获取到的待查找文件标识查找字段映射表，获得与待查找文件标识对应的待处理文件，其中，待处理文件用于存储数据需求服务器需要的业务数据；对待处理文件进行文件加密，获得待发送文件；向数据需求服务器发送待发送文件，以供数据需求服务器对待发送文件进行处理，获得业务数据。
在一些具体实现中，对待处理文件进行文件加密，获得待发送文件，包括：依据对称加密算法对待处理文件进行文件加密，获得初始加密文件；将初始加密文件进行数据压缩，获得待处理压缩包；依据非对称加密算法，对待处理压缩包进行再次加密，获得待发送文件。
在一些具体实现中，依据获取到的待查找文件标识查找字段映射表，获得与待查找文件标识对应的待处理文件之前，还包括：依据多个数据文件及其对应的文件标识，生成字段映射表；其中，数据文件用于存储获取到的待存储数据，文件标识与数据文件一一对应。
在一些具体实现中，依据获取到的待查找文件标识查找字段映射表，获得与待查找文件标识对应的待处理文件之前，还包括：依据动作上报接口，从数据交互页面获取待查找文件标识，其中，动作上报接口是数据交互页面与预设数据库之间的接口。
在一些具体实现中，依据获取到的待查找文件标识查找字段映射表，获得与待查找文件标识对应的待处理文件之前，还包括：获取待存储数据；创建与待存储数据对应的待存储文件，并生成与待存储文件对应的文件标识；依据服务上报接口，将待存储文件及其对应的文件标识存储至预设数据库中。
在一些具体实现中，依据服务上报接口，将待存储文件及其对应的文件标识存储至预设数据库中，包括：依据服务上报接口，将待存储文件及其对应的文件标识发送至预设数据库，以供预设数据库基于行转列的数据存储方式，对待存储文件及其对应的文件标识进行存储。
在一些具体实现中，依据动作上报接口，从数据交互页面获取待查找文件标识，包括：依据异步的网页数据交互方式，与数据交互页面进行数据交互；通过动作上报接口获取待查找文件标识。
为了实现上述目的，本申请第二方面提供一种数据处理方法，方法包括：获取数据提供服务器发送的待发送文件，其中，待发送文件是数据提供服务器依据获取到的文件标识查找字段映射表，获得与文件标识对应的待处理文件，并对待处理文件进行文件加密获得的文件，待处理文件用于存储数据需求服务器需要的业务数据；对待发送文件进行解密，获得解密后的文件；对解密后的文件进行入库操作，获得业务数据。
为了实现上述目的，本申请第三方面提供一种数据提供服务器，其包括：查找模块，被配置为依据获取到的待查找文件标识查找字段映射表，获得与待查找文件标识对应的待处理文件，其中，待处理文件用于存储数据需求服务器需要的业务数据；加密模块，被配置为对待处理文件进行文件加密，获得待发送文件；发送模块，被配置为向数据需求服务器发送待发送文件，以供数据需求服务器对待发送文件进行处理，获得业务数据。
为了实现上述目的，本申请第四方面提供一种数据需求服务器，其包括：获取模块，被配置为获取数据提供服务器发送的待发送文件，其中，待发送文件是数据提供服务器依据获取到的文件标识查找字段映射表，获得与文件标识对应的待处理文件，并对待处理文件进行文件加密获得的文件，待处理文件用于存储数据需求服务器需要的业务数据；解密模块，被配置为对待发送文件进行解密，获得解密后的文件；确定模块，被配置为对解密后的文件进行入库操作，获得业务数据。
本申请中的数据处理方法和服务器，通过依据获取到的待查找文件标识查找字段映射表，获得与待查找文件标识对应的待处理文件，其中，待处理文件用于存储数据需求服务器需要的业务数据，文件标识用于表征数据需求服务器需要的业务数据对应的标识，加快对待处理文件的处理速度；对所述待处理文件进行文件加密，而非对业务数据本身进行加密，能够使获得的待发送文件占用的存储空间相对于加密的业务数据占用的存储空间较小，可有效减少传输的数据量，提升数据传输效率；并且，向数据需求服务器发送经过加密的待发送文件，能够使数据需求服务器可以安全准确的获取待发送文件，并对待发送文件进行处理，获得数据需求服务器需要的业务数据，满足数据需求服务器的数据使用需求，提升与数据需求服务器之间的数据交互效率。
附图说明
附图用来提供对本公开实施例的进一步理解，并且构成说明书的一部分，与本公开的实施例一起用于解释本公开，并不构成对本公开的限制。通过参考附图对详细示例实施例进行描述，以上和其它特征和优点对本领域技术人员将变得更加显而易见，在附图中。
图1示出本申请一实施例提供的数据处理方法的流程示意图。
图2示出本申请又一实施例提供的数据处理方法的流程示意图。
图3示出本申请实施例提供的数据提供服务器的组成方框图。
图4示出本申请实施例提供的数据需求服务器的组成方框图。
图5示出本申请实施例提供的数据处理系统的组成方框图。
图6示出本申请实施例提供的数据处理系统的工作方法流程图。
具体实施方式
以下结合附图对本申请的具体实施方式进行详细说明。应当理解的是，此处所描述的具体实施方式仅用于说明和解释本申请，并不用于限制本申请。对于本领域技术人员来说，本申请可以在不需要这些具体细节中的一些细节的情况下实施。下面对实施例的描述仅仅是为了通过示出本申请的示例来提供对本申请更好的理解。
为使本申请的目的、技术方案和优点更加清楚，下面将结合附图对本申请实施方式作进一步地详细描述。
图1示出本申请一实施例提供的数据处理方法的流程示意图。该数据处理方法可应用于数据提供服务器。如图1所示，数据处理方法包括但不限于如下步骤。
步骤S101，依据获取到的待查找文件标识查找字段映射表，获得与待查找文件标识对应的待处理文件。
其中，待处理文件用于存储数据需求服务器需要的业务数据。
步骤S102，对待处理文件进行文件加密，获得待发送文件。
步骤S103，向数据需求服务器发送待发送文件，以供数据需求服务器对待发送文件进行处理，获得业务数据。
在本实施例中，通过依据获取到的待查找文件标识查找字段映射表，获得与待查找文件标识对应的待处理文件，其中，待处理文件用于存储数据需求服务器需要的业务数据，文件标识用于表征数据需求服务器需要的业务数据对应的标识，加快对待处理文件的处理速度；对所述待处理文件进行文件加密，而非对业务数据本身进行加密，能够使获得的待发送文件占用的存储空间相对于加密的业务数据占用的存储空间较小，可有效减少传输的数据量，提升数据传输效率；并且，向数据需求服务器发送经过加密的待发送文件，能够使数据需求服务器可以安全准确的获取待发送文件，并对待发送文件进行处理，获得数据需求服务器需要的业务数据，满足数据需求服务器的数据使用需求，提升与数据需求服务器之间的数据交互效率。
本申请实施例提供了另一种可能的实现方式，其中，步骤S102中的对待处理文件进行文件加密，获得待发送文件，可以采用如下方式实现：
依据对称加密算法对待处理文件进行文件加密，获得初始加密文件；将初始加密文件进行数据压缩，获得待处理压缩包；依据非对称加密算法，对待处理压缩包进行再次加密，获得待发送文件。
其中，对称加密算法是在加密和解密过程中，都使用同一个密钥对文件进行处理。例如，对称加密算法包括：数据加密标准(Data Encryption Standard，DES)、高级加密标准(Advanced Encryption Standard，AES)和安全散列算法(Secure Hash Algorithm，SHA)中的任意一种或几种。
非对称加密算法需要两个密钥，即：公开密钥(publickey)和私有密钥(privatekey)。公钥与私钥是一对，如果用公钥对文件进行加密，只有用对应的私钥才能对加密后的文件进行解密，否则，将无法获得准确的文件内容。非对称加密算法中能够通过私钥的特有属性，保证加密后的文件仅能被具有私钥的接收方解密，从而保证数据传输的安全性。
通过不同类型的加密方式，对待处理文件进行文件加密，能够解决因对数据本身进行加密导致数据量巨大而占用过多传输带宽的问题，通过对初始加密文件进行数据压缩，获得待处理压缩包，进一步缩小待传输的数据；依据非对称加密算法，对待处理压缩包进行再次加密，获得待发送文件，以保证待发送文件在传输过程中的安全性。
在一些具体实现中，在执行步骤S101中的依据获取到的待查找文件标识查找字段映射表，获得与待查找文件标识对应的待处理文件之前，还包括：依据多个数据文件及其对应的文件标识，生成字段映射表。
其中，数据文件用于存储获取到的待存储数据，文件标识与数据文件一一对应。
例如，字段映射表可以包括字段1、字段2、……、字段n等，n表示字段的数量，n为大于或等于1的整数；字段n对应一组存储数据，该存储数据用于表征数据需求服务器需求的数据。每组存储数据可以采用数据文件的形式表示，也可以采用数据表格的形式表示，以上对于存储数据的表示形式仅是举例说明，可根据实际需要进行具体的设定，其他未说明的存储数据的表示形式也在本申请的保护范围之内，在此不再赘述。
通过将基于多个数据文件及其对应的文件标识，生成字段映射表，能够使数据提供服务器可以在查找数据时，基于待查找文件标识对该字段映射表进行查询，以便快速的获取到与该待查找文件标识对应的数据文件，提升对数据文件的处理速度。
在一些具体实现中，在执行步骤S101中的依据获取到的待查找文件标识查找字段映射表，获得与待查找文件标识对应的待处理文件之前，还包括：依据动作上报接口，从数据交互页面获取待查找文件标识。
其中，动作上报接口是数据交互页面与预设数据库之间的接口。例如，通过数据交互页面中的“上报”按钮，触发对待查找文件标识的上报流程，以使数据提供服务器通过动作上报接口，从数据交互页面获取待查找文件标识，并将该待查找文件标识反馈给预设数据库，以便于预设数据库对待查找文件标识进行处理，提升对文件的处理效率。
又例如，依据动作上报接口，从数据交互页面获取待查找文件标识，包括：依据异步的网页数据交互方式，与数据交互页面进行数据交互；通过动作上报接口获取待查找文件标识。
其中，异步的网页数据交互方式可以是采用异步的JavaScript和可扩展标记语言(Extensible Markup Language，XML)等形式表示的数据交互方式，能够快速地将增量更新呈现在数据交互页面上，而不需要重载整个数据交互页面，以使数据交互页面可以快速的响应用户的操作，提升用户的使用体验。其中，JavaScript是一种应用于客户端网页开发的脚本语言。
在一些具体实现中，在执行步骤S101中的依据获取到的待查找文件标识查找字段映射表，获得与待查找文件标识对应的待处理文件之前，还包括：获取待存储数据；创建与待存储数据对应的待存储文件，并生成与待存储文件对应的文件标识；依据服务上报接口，将待存储文件及其对应的文件标识存储至预设数据库中。
其中，待存储数据可以是用户通过数据交互页面输入的数据，也可以是预设数据库自动更新的数据。
通过创建与待存储数据对应的待存储文件，并生成与待存储文件对应的文件标识，能够便于依据文件标识对待存储文件进行访问和处理，进一步地，通过服务上报接口，将待存储文件及其对应的文件标识存储至预设数据库中，能够使预设数据库中的文件得到同步更新，降低用户从预设数据库中获取到错误数据的比例，提升数据的准确性。
在一些具体实现中，依据服务上报接口，将待存储文件及其对应的文件标识存储至预设数据库中，包括：依据服务上报接口，将待存储文件及其对应的文件标识发送至预设数据库，以供预设数据库基于行转列的数据存储方式，对待存储文件及其对应的文件标识进行存储。
其中，行转列的数据存储方式，能够加快对预设数据库中的数据进行查找和处理的速度。
一般而言，采用行存储的方式，在预设数据库中进行数据写入时，是一次性完成的，消耗的时间比采用列存储的方式少，并且能够保证数据的完整性；但是，在数据的读取过程中，会产生冗余数据,如果查看的数量大于预设数据量阈值，则会降低数据的处理效率。而采用行转列的数据存储方式，能够保证在数据的读取过程中，不会产生冗余数据，提升对数据的处理效率。
图2示出本申请又一实施例提供的数据处理方法的流程示意图。该数据处理方法可应用于数据需求服务器。如图2所示，数据处理方法包括但不限于如下步骤。
步骤S201，获取数据提供服务器发送的待发送文件。
其中，待发送文件是数据提供服务器依据获取到的文件标识查找字段映射表，获得与文件标识对应的待处理文件，并对待处理文件进行文件加密获得的文件，待处理文件用于存储数据需求服务器需要的业务数据。
步骤S202，对待发送文件进行解密，获得解密后的文件。
其中，解密方法是与数据提供服务器所使用的加密方法相对应的，例如，数据提供服务器可以采用公钥对待处理文件进行加密，获得待发送文件；对应的，数据需求服务器可以采用自己的私钥对待发送文件进行解密，获得待处理文件(即，解密后的文件)。
需要说明的是，上述公钥和私钥是配对使用的密钥，公钥是指可以对外公布的密钥，私钥只能由持有方(例如，数据需求服务器)自己知道，从而可以避免密钥在传输过程中被泄露，提升数据的传输安全性。
步骤S203，对解密后的文件进行入库操作，获得业务数据。
其中，可以对解密后的文件进行文件解析，获得其中存储的业务数据(即，数据需求服务器需要的业务数据)，并将该业务数据进行入库操作，例如，将该业务数据存储在数据需求服务器的存储空间中，或存储在数据需求服务器对应的数据库中，以方便数据需求服务器在进行对应业务处理时，快速查找到该业务数据，提升对业务的处理效率。
在本实施例中，通过获取数据提供服务器发送的待发送文件，该待发送文件是数据提供服务器依据获取到的文件标识查找字段映射表，获得与文件标识对应的待处理文件，并对待处理文件进行文件加密获得的文件，而非对业务数据本身进行加密，能够使获得的待发送文件占用的存储空间相对于加密的业务数据占用的存储空间较小，可有效减少传输的数据量，提升数据传输效率；对待发送文件进行解密，获得解密后的文件，可以安全准确的获取数据提供服务器发送的文件，降低数据被泄露的风险，提升数据的传输安全性；对解密后的文件进行入库操作，获得业务数据，以满足数据需求服务器的数据使用需求，提升与数据需求服务器之间的数据交互效率。
图3示出本申请实施例提供的数据提供服务器的组成方框图。如图3所示，数据提供服务器300包括但不限于如下模块。
查找模块301，被配置为依据获取到的待查找文件标识查找字段映射表，获得与待查找文件标识对应的待处理文件，其中，待处理文件用于存储业务需求服务器需要的业务数据。
加密模块302，被配置为对待处理文件进行文件加密，获得待发送文件。
发送模块303，被配置为向业务需求服务器发送待发送文件，以供业务需求服务器对待发送文件进行处理，获得业务数据。
例如，加密模块302，具体用于：依据对称加密算法对待处理文件进行文件加密，获得初始加密文件；将初始加密文件进行数据压缩，获得待处理压缩包；依据非对称加密算法，对待处理压缩包进行再次加密，获得待发送文件。
在一些具体实现中，数据提供服务器300，还包括：获取模块(图中未示出)，用于依据多个数据文件及其对应的文件标识，生成字段映射表；其中，数据文件用于存储获取到的待存储数据，文件标识与数据文件一一对应。
在一些具体实现中，数据提供服务器300，还包括：生成模块(图中未示出)，用于依据动作上报接口，从数据交互页面获取待查找文件标识，其中，动作上报接口是数据交互页面与预设数据库之间的接口。
在一些具体实现中，数据提供服务器300，还包括：文件处理模块(图中未示出)，用于获取待存储数据；创建与待存储数据对应的待存储文件，并生成与待存储文件对应的文件标识；依据服务上报接口，将待存储文件及其对应的文件标识存储至预设数据库中。
在一些具体实现中，依据服务上报接口，将待存储文件及其对应的文件标识存储至预设数据库中，包括：依据服务上报接口，将待存储文件及其对应的文件标识发送至预设数据库，以供预设数据库基于行转列的数据存储方式，对待存储文件及其对应的文件标识进行存储。
在一些具体实现中，依据动作上报接口，从数据交互页面获取待查找文件标识，包括：依据异步的网页数据交互方式，与数据交互页面进行数据交互；通过动作上报接口获取待查找文件标识。
本实施方式中的数据提供服务器的具体实施不局限于以上实施例，其他未说明的实施例也在数据提供服务器的保护范围之内。
在本实施方式中，通过使用查找模块依据获取到的待查找文件标识查找字段映射表，获得与待查找文件标识对应的待处理文件，其中，待处理文件用于存储数据需求服务器需要的业务数据，文件标识用于表征数据需求服务器需要的业务数据对应的标识，加快对待处理文件的处理速度；使用加密模块对所述待处理文件进行文件加密，而非对业务数据本身进行加密，能够使获得的待发送文件占用的存储空间相对于加密的业务数据占用的存储空间较小，可有效减少传输的数据量，提升数据传输效率；并且，使用发送模块向数据需求服务器发送经过加密的待发送文件，能够使数据需求服务器可以安全准确的获取待发送文件，并对待发送文件进行处理，获得数据需求服务器需要的业务数据，满足数据需求服务器的数据使用需求，提升与数据需求服务器之间的数据交互效率。
图4示出本申请实施例提供的数据需求服务器的组成方框图。如图4所示，数据需求服务器400包括但不限于如下模块。
获取模块401，被配置为获取数据提供服务器发送的待发送文件，其中，待发送文件是数据提供服务器依据获取到的文件标识查找字段映射表，获得与文件标识对应的待处理文件，并对待处理文件进行文件加密获得的文件，待处理文件用于存储业务需求服务器需要的业务数据。
解密模块402，被配置为对待发送文件进行解密，获得解密后的文件。
确定模块403，被配置为对解密后的文件进行入库操作，获得业务数据。
本实施方式中的数据提供服务器的具体实施不局限于以上实施例，其他未说明的实施例也在数据提供服务器的保护范围之内。
在本实施方式中，通过使用获取模块获取数据提供服务器发送的待发送文件，该待发送文件是数据提供服务器依据获取到的文件标识查找字段映射表，获得与文件标识对应的待处理文件，并对待处理文件进行文件加密获得的文件，而非对业务数据本身进行加密，能够使获得的待发送文件占用的存储空间相对于加密的业务数据占用的存储空间较小，可有效减少传输的数据量，提升数据传输效率；使用解密模块对待发送文件进行解密，获得解密后的文件，可以安全准确的获取数据提供服务器发送的文件，降低数据被泄露的风险，提升数据的传输安全性；使用确定模块对解密后的文件进行入库操作，获得业务数据，以满足数据需求服务器的数据使用需求，提升与数据需求服务器之间的数据交互效率。
值得一提的是，本实施方式中所涉及到的各模块均为逻辑模块，在实际应用中，一个逻辑单元可以是一个物理单元，也可以是一个物理单元的一部分，还可以以多个物理单元的组合实现。此外，为了突出本申请的创新部分，本实施方式中并没有将与解决本申请所提出的技术问题关系不太密切的单元引入，但这并不表明本实施方式中不存在其它的单元。
图5示出本申请实施例提供的数据处理系统的组成方框图。如图5所示，数据处理系统包括但不限于如下设备。
数据提供服务器501、动作上报接口502、服务上报接口503、预设数据库的存储设备504、数据需求服务器505和存储设备506。
其中，数据提供服务器501，用于通过调用动作上报接口502(例如，可通过javascript组件来实现该动作上报接口502)，以便从数据交互页面获取待查找文件标识，并基于该待查找文件标识查找字段映射表，获得与待查找文件标识对应的待处理文件，其中，待处理文件用于存储数据需求服务器501需要的业务数据，对待处理文件进行文件加密，获得待发送文件；数据提供服务器501通过调用服务上报接口503，将待发送文件发送给数据需求服务器505，以使数据需求服务器505可以对待发送文件进行处理，获取其需要的业务数据，并间该业务数据存储在存储设备506中。
数据提供服务器501，还用于通过动作上报接口502对数据提供服务器501中的系统函数进行回调操作，将获取到的待查找文件标识传输给数据提供服务器501。
服务上报接口503，用于将待存储文件及其对应的文件标识存储至预设数据库的存储设备504中。其中的预设数据库可以采用轻型数据库(如，SQLite数据库等)实现。
其中，SQLite数据库是遵守四个基本要素(即，原子性(Atomicity)、一致性(Consistency)、隔离性(Isolation)和持久性(Durability)的关系型数据库，该SQLite数据库可应用于嵌入式设备中。该SQLite数据库占用资源低，能够支持主流的操作系统，还可以与多种程序语言相结合，其处理速度相对于传统的数据库要快很多。
图6示出本申请实施例提供的数据处理系统的工作方法流程图。该数据处理系统通过SQLite数据库传输数据，以替代传统的基于数据字符串的方式与数据需求服务器505进行数据的交互，能够有效减少传输的数据量，提升数据传输效率。
如图6所示，数据处理系统的工作方法包括但不限于如下步骤。
步骤S601，数据提供服务器501依据多个数据文件及其对应的文件标识，生成字段映射表。
其中，数据文件用于存储获取到的待存储数据，文件标识与数据文件一一对应。
例如，字段映射表可以包括字段1、字段2、……、字段n等，n表示字段的数量，n为大于或等于1的整数；字段n对应一组存储数据，该存储数据用于表征数据需求服务器需求的数据。
又例如，字段映射表也可以是根据数据需求服务器505提供的需求数据和字段建立的映射表，以使数据提供服务器501可以基于该字段映射表，为数据需求服务器505提供其需要的数据。
步骤S602，数据提供服务器501依据动作上报接口502，从数据交互页面获取待查找文件标识。
其中，动作上报接口502是数据交互页面与预设数据库之间的接口。
例如，通过数据交互页面中的“上报”按钮，触发对待查找文件标识的上报流程，以使数据提供服务器501通过动作上报接口502，从数据交互页面获取待查找文件标识。
又例如，基于异步的网页数据交互方式(如，异步的JavaScript和XML等交互方式)，通过动作上报接口502从数据交互页面上获取待查找文件标识。
其中，通过使用异步的网页数据交互方式，能够快速地将增量更新呈现在数据交互页面上，而不需要重载(或刷新)整个数据交互页面，以使数据交互页面可以快速的响应用户的操作，提升用户的使用体验。
在一些具体实现中，预设数据库中的数据可以采用如下方式获取：
获取待存储数据；创建与待存储数据对应的待存储文件，并生成与待存储文件对应的文件标识；依据服务上报接口，将待存储文件及其对应的文件标识存储至预设数据库中。
步骤S603，数据提供服务器501依据获取到的待查找文件标识查找字段映射表，获得与待查找文件标识对应的待处理文件。
其中，待处理文件用于存储数据需求服务器505需要的业务数据。
步骤S604，数据提供服务器501依据对称加密算法对待处理文件进行文件加密，获得初始加密文件，并将初始加密文件进行数据压缩，获得待处理压缩包。
步骤S605，数据提供服务器501依据非对称加密算法，对待处理压缩包进行再次加密，获得待发送文件。
步骤S606，数据提供服务器501通过调用服务上报接口503，将待发送文件发送给数据需求服务器505。
步骤S607，数据需求服务器505在接收到待发送文件后，对该待发送文件进行解密，并将解密后的文件存储在第二存储设备506，以方便数据需求服务器505在进行具体业务处理时，获取解密后的文件中的业务数据。
需要说明的是，若数据需求服务器505因网络中断等异常原因，而无法获得待发送文件时，数据提供服务器501需要进行数据回滚(例如，再次向数据需求服务器505发送该待发送文件)，以保证数据需求服务器505可以获得该待发送文件，满足对应的业务需求。
数据需求服务器505在使用其获取到的业务数据完成对应的业务处理时，可以通过与上述步骤S603～步骤S606相似的处理方式，将数据需求服务器505的数据处理结果反馈给数据提供服务器501，从而使两个服务器之间可以进行准确、安全、高效的数据交互。
在本实施例中，通过将预设数据库作为数据交互的基础，数据提供服务器501与数据需求服务器之间进行数据交互时，能够采用行转列的数据存储方式进行数据传输，并对存储的待处理文件进行文件加密，获得初始加密文件，以解决传输的数据交互过程中，对数据本身进行加密导致数据量巨大而占用过多传输带宽的问题，提升数据传输效率；再对初始加密文件进行数据压缩，获得待处理压缩包，进一步地，使数据提供服务器依据非对称加密算法，对待处理压缩包进行再次加密，获得待发送文件，能够防止数据泄露，提升数据安全性；并且，即使预设数据库中的某些字段有新增或修改，也不会影响数据提供服务器501与数据需求服务器之间的数据传输，降低了运维成本。
可以理解的是，以上实施方式仅仅是为了说明本申请的原理而采用的示例性实施方式，然而本申请并不局限于此。对于本领域内的普通技术人员而言，在不脱离本申请的精神和实质的情况下，可以做出各种变型和改进，这些变型和改进也视为本申请的保护范围。

Claims (8)

1.一种数据处理方法，其特征在于，所述方法包括：
依据获取到的待查找文件标识查找字段映射表，获得与所述待查找文件标识对应的待处理文件，其中，所述待处理文件用于存储数据需求服务器需要的业务数据；
对所述待处理文件进行文件加密，获得待发送文件；
向所述数据需求服务器发送所述待发送文件，以供所述数据需求服务器对所述待发送文件进行处理，获得所述业务数据；
所述待查找文件标识用于表征数据需求服务器需要的业务数据对应的标识；
所述对所述待处理文件进行文件加密，获得待发送文件，包括：
依据对称加密算法对所述待处理文件进行文件加密，获得初始加密文件；
将所述初始加密文件进行数据压缩，获得待处理压缩包；
依据非对称加密算法，对所述待处理压缩包进行再次加密，获得所述待发送文件；
所述依据获取到的待查找文件标识查找字段映射表，获得与所述待查找文件标识对应的待处理文件之前，还包括：
依据动作上报接口，从数据交互页面获取所述待查找文件标识，其中，所述动作上报接口是数据交互页面与预设数据库之间的接口。
2.根据权利要求1所述的方法，其特征在于，所述依据获取到的待查找文件标识查找字段映射表，获得与所述待查找文件标识对应的待处理文件之前，还包括：
依据多个数据文件及其对应的文件标识，生成所述字段映射表；
其中，所述数据文件用于存储获取到的待存储数据，所述文件标识与所述数据文件一一对应。
3.根据权利要求1所述的方法，其特征在于，所述依据获取到的待查找文件标识查找字段映射表，获得与所述待查找文件标识对应的待处理文件之前，还包括：
获取待存储数据；
创建与所述待存储数据对应的待存储文件，并生成与所述待存储文件对应的文件标识；
依据服务上报接口，将所述待存储文件及其对应的文件标识存储至所述预设数据库中。
4.根据权利要求3所述的方法，其特征在于，所述依据服务上报接口，将所述待存储文件及其对应的文件标识存储至所述预设数据库中，包括：
依据所述服务上报接口，将所述待存储文件及其对应的文件标识发送至所述预设数据库，以供所述预设数据库基于行转列的数据存储方式，对所述待存储文件及其对应的文件标识进行存储。
5.根据权利要求1所述的方法，其特征在于，所述依据动作上报接口，从数据交互页面获取所述待查找文件标识，包括：
依据异步的网页数据交互方式，与所述数据交互页面进行数据交互；
通过所述动作上报接口获取所述待查找文件标识。
6.一种数据处理方法，其特征在于，所述方法包括：
获取数据提供服务器发送的待发送文件，其中，所述待发送文件是所述数据提供服务器依据获取到的文件标识查找字段映射表，获得与所述文件标识对应的待处理文件，并对所述待处理文件进行文件加密获得的文件，所述待处理文件用于存储数据需求服务器需要的业务数据；
对所述待发送文件进行解密，获得解密后的文件；
对所述解密后的文件进行入库操作，获得所述业务数据；
所述待查找文件标识用于表征数据需求服务器需要的业务数据对应的标识；
所述待发送文件是所述数据提供服务器依据对称加密算法对所述待处理文件进行文件加密，获得初始加密文件；将所述初始加密文件进行数据压缩，获得待处理压缩包；依据非对称加密算法，对所述待处理压缩包进行再次加密获得的文件；
所述待查找文件标识是依据动作上报接口从数据交互页面获取到的标识，其中，所述动作上报接口是数据交互页面与预设数据库之间的接口。
7.一种数据提供服务器，其特征在于，其包括：
查找模块，被配置为依据获取到的待查找文件标识查找字段映射表，获得与所述待查找文件标识对应的待处理文件，其中，所述待处理文件用于存储数据需求服务器需要的业务数据；
加密模块，被配置为对所述待处理文件进行文件加密，获得待发送文件；
发送模块，被配置为向所述数据需求服务器发送所述待发送文件，以供所述数据需求服务器对所述待发送文件进行处理，获得所述业务数据；
所述待查找文件标识用于表征数据需求服务器需要的业务数据对应的标识；
所述加密模块，具体用于：依据对称加密算法对所述待处理文件进行文件加密，获得初始加密文件；将所述初始加密文件进行数据压缩，获得待处理压缩包；依据非对称加密算法，对所述待处理压缩包进行再次加密，获得所述待发送文件；
所述数据提供服务器，还包括：生成模块，用于依据动作上报接口，从数据交互页面获取待查找文件标识，其中，动作上报接口是数据交互页面与预设数据库之间的接口。
8.一种数据需求服务器，其特征在于，其包括：
获取模块，被配置为获取数据提供服务器发送的待发送文件，其中，所述待发送文件是所述数据提供服务器依据获取到的文件标识查找字段映射表，获得与所述文件标识对应的待处理文件，并对所述待处理文件进行文件加密获得的文件，所述待处理文件用于存储数据需求服务器需要的业务数据；
解密模块，被配置为对所述待发送文件进行解密，获得解密后的文件；
确定模块，被配置为对所述解密后的文件进行入库操作，获得所述业务数据；
所述待查找文件标识用于表征数据需求服务器需要的业务数据对应的标识；
所述待发送文件是所述数据提供服务器依据对称加密算法对所述待处理文件进行文件加密，获得初始加密文件；将所述初始加密文件进行数据压缩，获得待处理压缩包；依据非对称加密算法，对所述待处理压缩包进行再次加密获得的文件；
所述待查找文件标识是依据动作上报接口从数据交互页面获取到的标识，其中，所述动作上报接口是数据交互页面与预设数据库之间的接口。
CN202210900117.XA 2022-07-28 2022-07-28 数据处理方法和服务器 Active CN115277206B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210900117.XA CN115277206B (zh) 2022-07-28 2022-07-28 数据处理方法和服务器

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210900117.XA CN115277206B (zh) 2022-07-28 2022-07-28 数据处理方法和服务器

Publications (2)

Publication Number Publication Date
CN115277206A CN115277206A (zh) 2022-11-01
CN115277206B true CN115277206B (zh) 2023-09-05

Family

ID=83770334

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210900117.XA Active CN115277206B (zh) 2022-07-28 2022-07-28 数据处理方法和服务器

Country Status (1)

Country Link
CN (1) CN115277206B (zh)

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106559427A (zh) * 2016-11-22 2017-04-05 台州库得软件有限公司 一种数据存储及数据传输系统
CN108259171A (zh) * 2018-01-12 2018-07-06 武汉斗鱼网络科技有限公司 Shader文件的保护方法及装置
CN108763582A (zh) * 2018-06-11 2018-11-06 腾讯科技（深圳）有限公司 文件搜索方法、装置、终端及存储介质
CN109040252A (zh) * 2018-08-07 2018-12-18 平安科技（深圳）有限公司 文件传输方法、系统、计算机设备和存储介质
GB202102242D0 (en) * 2021-02-17 2021-03-31 Intelligent Voice Ltd A private search service
CN112950370A (zh) * 2021-02-25 2021-06-11 未鲲(上海)科技服务有限公司 业务处理方法、装置、设备及存储介质

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106559427A (zh) * 2016-11-22 2017-04-05 台州库得软件有限公司 一种数据存储及数据传输系统
CN108259171A (zh) * 2018-01-12 2018-07-06 武汉斗鱼网络科技有限公司 Shader文件的保护方法及装置
CN108763582A (zh) * 2018-06-11 2018-11-06 腾讯科技（深圳）有限公司 文件搜索方法、装置、终端及存储介质
CN109040252A (zh) * 2018-08-07 2018-12-18 平安科技（深圳）有限公司 文件传输方法、系统、计算机设备和存储介质
GB202102242D0 (en) * 2021-02-17 2021-03-31 Intelligent Voice Ltd A private search service
CN112950370A (zh) * 2021-02-25 2021-06-11 未鲲(上海)科技服务有限公司 业务处理方法、装置、设备及存储介质

Also Published As

Publication number Publication date
CN115277206A (zh) 2022-11-01

Similar Documents

Publication Publication Date Title
EP2808803B1 (en) Data search device, data search method, data search program, data registration device, data registration method, data registration program and information processing device
US10664610B2 (en) Method and system for range search on encrypted data
CN105610793B (zh) 一种外包数据加密存储与密文查询系统及其应用方法
CN114329599B (zh) 一种数据查询方法、装置及存储介质
CN108270739B (zh) 一种管理加密信息的方法及装置
US20180365433A1 (en) Secret search system, secret search method, and computer readable medium
CN115422570B (zh) 一种分布式存储的数据处理方法及系统
WO2023160420A1 (zh) 群组消息加密方法、装置、设备和存储介质
CN114679272B (zh) 一种使用量子密钥加密的云存储系统及方法
CN112182600A (zh) 数据加密方法、数据解密方法及电子设备
CN113824553A (zh) 密钥管理方法、装置及系统
CN106487761B (zh) 一种消息传输方法和网络设备
CN115277206B (zh) 数据处理方法和服务器
US20230006813A1 (en) Encrypted information retrieval
CN115567263A (zh) 一种数据传输管理的方法、数据处理的方法和装置
CN111698192B (zh) 监控交易系统的方法、交易设备、监管设备及系统
CN109672522B (zh) 一种密钥查询方法及云平台
CN113452654B (zh) 一种数据解密的方法
CN112769744A (zh) 一种数据发送方法和装置
CN113783847B (zh) 消息交互方法、装置、计算机设备和存储介质
CN115023920B (zh) 股权激励系统中的数据处理的方法和装置
EP4154149B1 (en) Data storage server and client devices for securely storing data
CN111565178B (zh) 业务信息下发方法、装置、服务器、客户端及存储介质
EP4283485A2 (en) Multi-key information retrieval
CN116436647A (zh) 一种信息加密方法及终端

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant