CN110086789B - 一种数据传输的方法、装置、设备和介质 - Google Patents

一种数据传输的方法、装置、设备和介质 Download PDF

Info

Publication number
CN110086789B
CN110086789B CN201910310461.1A CN201910310461A CN110086789B CN 110086789 B CN110086789 B CN 110086789B CN 201910310461 A CN201910310461 A CN 201910310461A CN 110086789 B CN110086789 B CN 110086789B
Authority
CN
China
Prior art keywords
data
query
list
query data
data list
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201910310461.1A
Other languages
English (en)
Other versions
CN110086789A (zh
Inventor
董文辉
孔庆磊
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tencent Technology Shenzhen Co Ltd
Original Assignee
Tencent Technology Shenzhen Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tencent Technology Shenzhen Co Ltd filed Critical Tencent Technology Shenzhen Co Ltd
Priority to CN201910310461.1A priority Critical patent/CN110086789B/zh
Publication of CN110086789A publication Critical patent/CN110086789A/zh
Application granted granted Critical
Publication of CN110086789B publication Critical patent/CN110086789B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L63/00—Network architectures or network communication protocols for network security
    • H04L63/04—Network architectures or network communication protocols for network security for providing a confidential data exchange among entities communicating through data packet networks
    • H04L63/0428—Network architectures or network communication protocols for network security for providing a confidential data exchange among entities communicating through data packet networks wherein the data content is protected, e.g. by encrypting or encapsulating the payload
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L9/00—Cryptographic mechanisms or cryptographic arrangements for secret or secure communications; Network security protocols
    • H04L9/06—Cryptographic mechanisms or cryptographic arrangements for secret or secure communications; Network security protocols the encryption apparatus using shift registers or memories for block-wise or stream coding, e.g. DES systems or RC4; Hash functions; Pseudorandom sequence generators
    • H04L9/0643—Hash functions, e.g. MD5, SHA, HMAC or f9 MAC
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L9/00—Cryptographic mechanisms or cryptographic arrangements for secret or secure communications; Network security protocols
    • H04L9/32—Cryptographic mechanisms or cryptographic arrangements for secret or secure communications; Network security protocols including means for verifying the identity or authority of a user of the system or for message authentication, e.g. authorization, entity authentication, data integrity or data verification, non-repudiation, key authentication or verification of credentials
    • H04L9/3297—Cryptographic mechanisms or cryptographic arrangements for secret or secure communications; Network security protocols including means for verifying the identity or authority of a user of the system or for message authentication, e.g. authorization, entity authentication, data integrity or data verification, non-repudiation, key authentication or verification of credentials involving time stamps, e.g. generation of time stamps

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Security & Cryptography (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Computer Hardware Design (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Power Engineering (AREA)
  • Storage Device Security (AREA)
  • Information Transfer Between Computers (AREA)

Abstract

本申请属于网络安全技术领域，公开了一种数据传输的方法、装置、设备和介质，本申请公开的一种数据传输的方法包括，获取待传输的各查询数据和数据列表，分别针对每一查询数据，若数据列表中已经存在与该查询数据相同的查询数据，则仅将该相同的查询数据在数据列表中对应的统计频率增加一个步长，否则，将该查询数据添加到数据列表中并在数据列表中初始化该查询数据的统计频率；获得包含数据列表的加密数据的编码信息，并将该编码信息的图片信息发送至服务器，使得服务器基于图片信息获得数据列表。这样，对查询数据进行了去重，降低了消耗的系统以及传输资源，提高了数据传输的有效性和安全性。

Description

一种数据传输的方法、装置、设备和介质
技术领域
本申请涉及网络安全技术领域，尤其涉及一种数据传输的方法、装置、设备和介质。
背景技术
对于一些对网络接入进行限制的单位，由于查询数据无法网络实时传输至服务器，因此，通常采用对查询数据拍照的方式间接上传至服务器。例如，查询数据可以为入侵指标(Indicator of Compromise，IoC)查询结果。
但是，由于照片承载的查询数据的信息量较少，因此，查询数据的上传效率较低，并且重复的查询数据会耗费大量的传输资源，以及信息的安全性也较差。
由此，亟待需要一种可以高效并且安全性高的数据传输的技术方案。
发明内容
本申请实施例提供一种数据传输的方法、装置、设备和介质，用以在传输查询数据时，提高查询数据传输的效率以及安全性。
一方面，提供一种数据传输的方法，包括：
获取待传输的各查询数据和数据列表；
当各查询数据中包含有已经存入数据列表中的已保存查询数据时，分别将已保存查询数据在数据列表中对应的统计频率增加一个步长；
当各查询数据中包含有未存入数据列表中的未保存查询数据时，将未保存查询数据分别添加到数据列表中；
分别将数据列表中新添加的查询数据对应的统计频率初始化为基准值；
获得包含数据列表的加密数据的编码信息；
将编码信息的图片信息发送至服务器，使得服务器基于图片信息，获得数据列表的加密数据和数据列表。
一方面，提供一种数据传输的装置，包括：
获取单元，用于获取待传输的各查询数据和数据列表；
第一更新单元，用于当各查询数据中包含有已经存入数据列表中的已保存查询数据时，分别将已保存查询数据在数据列表中对应的统计频率增加一个步长；
存储单元，用于当各查询数据中包含有未存入数据列表中的未保存查询数据时，将未保存查询数据分别添加到数据列表中；
第二更新单元，用于分别将数据列表中新添加的查询数据对应的统计频率初始化为基准值；
获得单元，用于获得包含数据列表的加密数据的编码信息；
发送单元，用于将编码信息的图片信息发送至服务器，使得服务器基于图片信息，获得数据列表的加密数据和数据列表。
一方面，提供一种控制设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，处理器执行程序时执行上述任一种数据传输的方法的步骤。
一方面，提供一种计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现上述任一种数据传输的方法的步骤。
本申请实施例提供的一种数据传输的方法、装置、设备和介质中，获取待传输的各查询数据和数据列表，分别针对每一查询数据，若数据列表中已经存在与该查询数据相同的查询数据，则仅将该相同的查询数据在数据列表中对应的统计频率增加一个步长，否则，将该查询数据添加到数据列表中并在数据列表中初始化该查询数据的统计频率；获得包含数据列表的加密数据的编码信息，并将该编码信息的图片信息发送至服务器，使得服务器基于图片信息获得数据列表。这样，对查询数据进行了去重，降低了消耗的系统以及传输资源，提高了数据传输的有效性和安全性。
本申请的其它特征和优点将在随后的说明书中阐述，并且，部分地从说明书中变得显而易见，或者通过实施本申请而了解。本申请的目的和其他优点可通过在所写的说明书、权利要求书、以及附图中所特别指出的结构来实现和获得。
附图说明
此处所说明的附图用来提供对本申请的进一步理解，构成本申请的一部分，本申请的示意性实施例及其说明用于解释本申请，并不构成对本申请的不当限定。在附图中：
图1a为本申请实施方式中一种数据传输的应用场景示例图；
图1b为本申请实施方式中一种数据传输的方法的整体流程图；
图2为本申请实施方式中一种数据传输的方法的实施流程图；
图3a为本申请实施方式中一种数据标签的示例图；
图3b为本申请实施方式中一种查询数据和数据标签示例图；
图4为本申请实施方式中一种数据传输的方法的详细实施流程图；
图5a为本申请实施方式中一种IP类型查询数据的传输效果对比示例图；
图5b为本申请实施方式中一种MD5类型查询数据的传输效果对比示例图；
图6为本申请实施方式中一种数据传输的装置的结构示意图；
图7为本申请实施方式中一种控制设备的结构示意图。
具体实施方式
为了使本申请的目的、技术方案及有益效果更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。
首先，对本申请实施例中涉及的部分用语进行说明，以便于本领域技术人员理解。
控制设备：为可以安装各类应用程序并且能够将已安装的应用程序中提供的实体进行显示的电子设备，可以是移动的，也可以是固定的。例如，平板电脑、车载设备、个人数字助理(personal digital assistant，PDA)或其它能够实现上述功能的电子设备等。
IoC：是指特定的用以表明入侵行为的可观测对象，如，文件哈希、互联网协议(Internet Protocol Address，IP)地址、域名、网络或主机标识，以及工具等。IoC查询服务可以提供与恶意活动源、新型威胁以及攻击相关的情报信息，使得工作人员可以及时对网络威胁进行防范，避免设备遭受入侵损害。
对称加密(Symmetric Key Encryption)：需要对加密和解密使用相同密钥的加密算法。由于其速度快，对称性加密通常在消息发送方需要加密大量数据时使用。
下面介绍本申请实施例的设计思想。
对于一些对网络接入进行限制的单位，由于查询数据无法网络实时传输至服务器，因此，通常采用对查询数据拍照的方式间接上传至服务器。
例如，查询数据可以为入侵指标(Indicator of Compromise，IoC)查询结果IoC查询服务可以获取与恶意活动源、新型威胁以及攻击相关的情报信息，通过分析情报信息中包含的上网行为日志等信息，可以及时发现网络威胁，并采取相应的安全解决方案，实现对网络威胁的及时防范，保护网络设施如企业基础设施避免遭受入侵损害。
但是，由于照片承载的查询数据的信息量较少，因此，查询数据的上传效率较低，并且重复的查询数据会耗费大量的传输资源，以及信息的安全性也较差。
由此，亟待需要一种可以高效并且安全性高的数据传输的技术方案，在传输查询数据时，提高查询数据传输的效率以及安全性。
鉴于此，申请人考虑到针对重复的查询数据，可以仅统计查询数据出现的频率，从而减少耗费的传输资源，通过编码的方式，提高图片承载的查询数据的信息量，实现查询数据的有效传输，以及通过加密的方式，提高查询数据的安全性。
鉴于以上分析和考虑，本申请实施例中提供了一种数据传输的方案，获取待传输的各查询数据和数据列表，分别针对每一查询数据，若数据列表中已经存在与该查询数据相同的查询数据，则仅将该相同的查询数据在数据列表中对应的统计频率增加一个步长，否则，将该查询数据添加到数据列表中，并在数据列表中初始化该查询数据的统计频率；获得包含数据列表的加密数据的编码信息，并将该编码信息的图片信息发送至服务器，使得服务器基于图片信息，获得数据列表的加密数据以及数据列表。这样，减少了耗费的传输资源，提高了数据传输的效率和安全性。
本申请实施例中提供的一种数据传输的方案，主要应用于对网络接入存在限制的应用场景中，也可以应用于其它任何需要数据传输的应用场景中，在此不做限制。
为进一步说明本申请实施例提供的技术方案，下面结合附图以及具体实施方式对此进行详细的说明。虽然本申请实施例提供了如下述实施例或附图所示的方法操作步骤，但基于常规或者无需创造性的劳动在所述方法中可以包括更多或者更少的操作步骤。在逻辑上不存在必要因果关系的步骤中，这些步骤的执行顺序不限于本申请实施例提供的执行顺序。所述方法在实际的处理过程中或者装置执行时，可以按照实施例或者附图所示的方法顺序执行或者并行执行。
参阅图1a所示，为本申请提供的一种数据传输的应用场景示例图。该应用场景中，包括多个控制设备101和服务器102。可选的，针对无法进行网络连接的控制设备101，还可以包括终端设备103。
控制设备101：用于获取各查询数据，并将查询数据添加至数据列表后进行加密，以及将加密后的数据列表进行编码获得编码信息。若控制设备101可以进行网络连接，则控制设备还用于基于编码信息获得图片信息，并将图片信息通过网络直接发送至服务器102。若控制设备101不可以进行网络连接，则控制设备基于包含编码信息获得图片信息，并通过终端设备103拍照并上传至服务器102。其中，编码信息可以为二维码。
服务器102：用于解析以及解密图片信息，获得数据列表。
图1b为本申请实施方式中提供的一种数据传输的方法的整体流程图，参阅图1b所示，结合图1a所示的应用场景该方法的整体流程如下：
S110：控制设备101获取待传输的查询数据i。
其中，查询数据i，为第i条查询数据，i为自然数。
S111：若数据列表中已经存在与查询数据i相同的查询数据，则控制设备101将查询数据i在数据列表中对应的已保存查询数据的统计频率增加一个步长，并关联存储查询数据i的时间戳；否则，将查询数据i添加到数据列表中，并在数据列表中初始化查询数i据的统计频率，以及关联存储查询数据i的时间戳。其中，查询数据n，为第n条查询数据，n为自然数。
S112：控制设备101对数据列表进行加密，获得加密数据。
S113：控制设备101对加密数据进行编码，获得编码信息。
S114：控制设备101将包含编码信息的图片信息直接或通过终端设备103间接发送至服务器102，使得服务器102基于图片信息，获得数据列表的加密数据以及数据列表。
这样，采用去重机制，减少了耗费的传输资源，通过编码后的图片信息进行传输，图片信息承载的查询数据的数据量较大，实现了数据的有效传输，减少了分析人员的数据处理繁琐程度，降低了数据分析的时间成本，以及对数据列表进行加密传输，提高了用户隐私的安全性。
参阅图2所示，为本申请提供的一种数据传输的方法的实施流程图。该方法的具体流程如下：
步骤200：控制设备获取待传输的各查询数据和数据列表。
具体的，执行步骤200时，查询数据为待传输的设定时长内采集的数据，本申请实施例中，仅以IoC查询结果为例进行说明，实际应用中，也可以传输其它查询数据，在此不再赘述。
步骤201：当各查询数据中包含已经存入数据列表中的已保存查询数据时，控制设备分别将已保存查询数据在数据列表中对应的统计频率增加一个步长。
具体的，执行步骤201时，控制设备还获取各查询数据的时间戳，并在数据列表中对应各查询数据分别保存查询数据的时间戳。
其中，数据列表中至少包含查询数据，对应的统计频率和时间戳。步长为自然数，可选的，步长可以为1。查询数据与对应的统计频率和时间戳关联存储。
其中，时间戳的数据长度为4比特字节(bytes)，可以为一个或多个，并且时间戳的个数与统计频率相同。这是由于各重复查询数据的数据是相同的，但是，对应的时间戳是不同的，因此，分别针对每一新的重复的查询数据，在对数据列表中对应的统计频率增加一个步长，同时将该重复的查询数据的时间戳添加到数据列表中，并与已保存查询数据关联存储。
例如，假设IoC为IP类型，待传输的查询数据中查询数据3为116.136.20.119，对应的时间戳为T1；查询数据9也为116.136.20.119，对应的时间戳为T2；数据列表中包含已保存查询数据116.136.20.119，对应的时间戳为T3，统计频率为1。则控制设备判定数据列表中已经包含与查询数据3和查询数据9重复的查询数据116.136.20.119，则直接在数据列表中将已保存的查询数据116.136.20.119的统计频率更新为3，并在T3后面依次添加T1和T2。
可选的，数据列表中还可以包含查询数据的数据类型和数据长度。数据类型可以为：IP类型、消息摘要算法第五版(Message-Digest Algorithm 5，MD5)类型、域名(Domainname)类型等。其中，IP类型的数据长度为4bytes，MD5类型的数据长度为16bytes，Domainname类型的数据长度为64bytes。
一种实施方式中，在数据列表中，分别针对数据列表中的每一查询数据，创建一个相应的数据标签，一个查询数据的数据标签中包含该查询数据的数据类型、数据长度、统计频率以及时间戳。
参阅图3a所示，为一种数据标签的示例图。数据标签的数据标签格式为：数据类型、数据长度、统计频率以及时间戳。其中，时间戳为多个，时间戳k表示该查询数据的统计频率为k次，并添加了k个重复的查询数据的时间戳，k为自然数。
图3b为一种查询数据和数据标签示例图。参阅图3b所示，数据列表中存储的一条查询数据i，并关联存储相应的数据标签。其中，统计频率为k，并包含k各时间戳，i和k为自然数。
这样，分别针对每一查询数据，若数据列表中已经存在与该查询数据重复即相同的查询数据，则控制设备直接在数据列表中已保存的相应查询数据的统计频率增加一个步长，并将该查询数据的时间戳添加到数据列表中。通过统计频率和时间戳，实现了重复查询数据的去重，减少了耗费的传输资源以及分析耗费的时间成本，以及提高了分析人员数据分析的效率。
步骤202：当各查询数据中包含未存入数据列表中的未保存查询数据时，控制设备将未保存查询数据分别添加到数据列表中，并分别将数据列表中新添加的查询数据对应的统计频率初始化为基准值。
具体的，针对每一查询数据，若确定数据列表中不存在与该查询数据相同的查询数据，则针对该查询数据生成相应的数据标签，并将该查询数据以及相应的数据标签添加到数据列表中。其中，数据标签中的统计频率初始化为基准值。基准值为自然数，可以根据实际应用场景进行具体设定，例如，基准值可以为1。
本申请实施例中，仅以先执行步骤201，后执行步骤202为例进行说明，实际应用中，步骤201和步骤202可以先后执行，也可以并行执行，其执行顺序不做限定，以及每一查询数据可以按照采集顺序依次执行，也可以按照其他顺序执行，在此也不作限制。
进一步地，在执行步骤201和步骤202的过程中，针对每一待添加的查询数据，判断数据列表的长度是否高于预设长度门限值，若是，则创建并采用新的数据列表保存查询数据。其中，预设长度门限值可以根据实际应用场景进行设定，在此不作限制。如，预设长度门限值为100。
步骤203：控制设备获得包含数据列表的加密数据的编码信息。
具体的，控制设备采用预设的加密算法，对数据列表进行加密，获得包含数据列表的加密数据，并采用预设的编码算法，对加密数据、终端公钥以及指定查询数据的时间戳进行编码，获得包含数据列表的加密数据的编码信息。
可选的，加密算法可以采用对称加密，编码算法可以采用二维码编码，编码信息可以为通过二维码编码获得的二维码。
一种实施方式中，控制设备基于终端私钥、服务器的服务器公钥，以及数据列表中包含的指定查询数据的时间戳，生成对称密钥；根据对称密钥对数据列表进行加密，获得包含数据列表的加密数据；根据加密数据、终端公钥以及指定查询数据的时间戳，生成包含数据列表的加密数据的编码信息。可选的，指定查询数据的时间戳可以为数据列表中最后一条查询数据的时间戳。
假设控制设备和服务器分别拥有384bit-ECC公私密钥对。
控制设备的公私密钥对为(Prc，Pubc＝Prc*P)。
其中，Prc为控制设备的终端私钥，Pubc控制设备的终端公钥，P为比例参数。
服务器的公私密钥对为：(Prs，Pubs＝Prs*P)。
其中，Prs为服务器的服务器私钥，Pubs为服务器的服务器公钥，P为比例参数。
则控制设备基于终端私钥、服务器的服务器公钥，以及数据列表中包含的指定查询数据的时间戳，生成对称密钥时，可以采用以下公式：
k＝H(Pubs*Prc||TS)＝H(Prs*Prc*P||TS)；
其中，k为对称密钥，Pubs为服务器公钥，Prc为终端私钥，Prs为服务器私钥，P为比例参数，TS为指定查询数据的时间戳。
则控制设备根据对称密钥对数据列表进行加密，获得包含数据列表的加密数据时，可以采用以下公式：Enc(k)(IoC_List)。
其中，Enc(k)为采用对称密钥k的加密算法，IoC_List为数据列表，Enc(k)(IoC_List)为包含数据列表的加密数据，也可以称为密文。
则控制设备根据加密数据、终端公钥以及指定查询数据的时间戳，生成包含数据列表的加密数据的编码信息时，可以采用以下方式：
控制设备基于包含数据列表的Enc(k)(IoC_List)、终端公钥Pubc以及时间戳TS，生成相应的编码信息。
其中，编码信息可以为二维码，若对二维码的需求为信息容量大、可靠性高、快速生成和识读，可以采用矩阵二维码QR码，并选择数据容量最大的版本40，规格为177模块*177模块，纠错程度为L(7％)的情况下，最多可承载的比特数为13648比特(bits)。
实际应用中，可以根据实际需要选择编码信息的形式，本申请实施例中，仅以二维码为例进行说明，也可以采用其他编码形式，在此不做限制。
步骤204：控制设备将编码信息的图片信息发送至服务器。
具体的，执行步骤204时，若控制设备与服务器之间无法网络连接，即无法网络传输信息，则通过终端设备将编码信息的图片信息上传至服务器。
进一步地，若控制设备与服务器之间可以进行网络连接，则控制设备也可以直接将编码信息的图片信息发送至服务器。
步骤205：服务器基于图片信息，获得数据列表的加密数据和数据列表。
具体的，服务器基于编码信息的图片信息，对编码信息进行解析，获得包含数据列表的加密数据、终端公钥以及指定查询数据的时间戳，并根据终端公钥、服务器私钥以及指定查询数据的时间戳，获得对称密钥，以及根据对称密钥加密数据进行解密，获得包含各查询数据和相应数据标签的数据列表。
一种实施方式中，服务器基于二维码(编码信息)的图片信息，对二维码进行解析，获得包含数据列表的加密数据、终端公钥以及数据列表中最后一条查询数据(指定查询数据)的时间戳，并根据加密数据、终端公钥以及数据列表中最后一条查询数据的时间戳生成对称密钥，以及根据对称密钥对加密数据进行解密，获得包含各查询数据和相应数据标签的数据列表。
其中，根据终端公钥、服务器私钥以及指定查询数据的时间戳，获得对称密钥时，可以采用以下公式：
k＝H(Pubc*Prs||TS)＝H(Prc*Prs*P||TS)；
其中，k为对称密钥，Pubc为终端公钥，Prs为服务器私钥，Prc为终端公钥，Prs为服务器私钥，P为比例参数，TS为时间戳。
参阅图4所示，为本申请提供的一种数据传输的方法的详细实施流程图。下面采用一个具体的应用场景对上述实施例进行进一步详细说明，该方法的具体流程如下：
步骤400：控制设备获取待传输的一条查询数据。
步骤401：控制设备判断数据列表的长度是否高于预设长度门限值，若是，则执行步骤402，否则，执行步骤403。
步骤402：控制设备创建新的数据列表。
步骤403：控制设备判断该查询数据是否已经存在于数据列表中，若是，则执行步骤404，否则，执行步骤405。
步骤404：控制设备将数据列表中该查询数据对应的已保存查询数据的统计频率增加一个步长，并将该查询数据的时间戳与该已保存查询数据关联存储于数据列表中。
具体的，执行步骤404时，详细步骤参见上述步骤201。
步骤405：控制设备将该查询数据添加到数据列表中，并将该查询数据的统计频率初始化为基准值，以及将该查询数据的统计频率和时间戳与该查询数据关联存储于数据列表中。
具体的，执行步骤405时，详细步骤参见上述步骤202。
步骤406：控制设备对数据列表进行加密，获得包含数据列表的加密数据。
具体的，执行步骤406时，详细步骤参见上述步骤203。
步骤407：控制设备对加密数据进行编码，获得编码信息。
具体的，执行步骤407时，详细步骤参见上述步骤203。
步骤408：控制设备将编码信息的图片信息发送至服务器。
具体的，执行步骤408时，详细步骤参见上述步骤204。
步骤409：服务器基于图片信息，获得数据列表的加密数据和数据列表。
具体的，执行步骤409时，详细步骤参见上述步骤205。
传统技术中提供的数据传输的技术方案中，每一查询数据均添加到数据列表中，而不会考虑查询数据是否在设定时长内已经存在。下面将本申请实施例中提供的数据传输的技术方案与传统技术中提供的数据传输的技术方案进行对比说明：
假设获取设定时长1天内的待传输的各查询数据，查询数据的数量范围为0-300条。其中，各查询数据中有50％的查询数据出现了两次，有50％的查询数据出现了一次。
图5a所示为一种IP类型查询数据的传输效果对比示例图。参阅图5a所示，横轴为查询数据的数量，纵轴为数据列表的长度。随着查询数据的数量的增多，传统方式的数据列表的长度与本申请实施例的数据列表的长度之间的差值越来越大。
图5b为一种MD5类型查询数据的传输效果对比示例图。参阅图5b所示，横轴为查询数据的数量，纵轴为数据列表的长度。随着查询数据的数量的增多，传统方式的数据列表的长度与本申请实施例的数据列表的长度之间的差值越来越大。
综上，IP类型的查询数据的数据长度为4bytes，即每一查询数据的数据长度较小，两者数据列表的长度的差值也较小，因此，图5a所示为两者数据列表长度的差值的较低界限。而MD5类型的查询数据的数据长度为16bytes，即每一查询数据的数据长度较大，因此，两者数据列表的长度的差值也较大，图5b所示为两者数据列表长度的差值的较高界限。图5b所示的本申请实施例的最大数据列表长度，所需的个数仅为3个，可以满足数据采集传输的信息承载量要求。本申请实施例中提供的数据传输技术方案中，避免了重复数据的添加，减少了数据列表的长度，降低了查询数据的通信复杂度。
本申请实施例中，采用去重机制，减少了重复数据的传输，减少了耗费的数据传输资源，通过对加密数据进行编码的方式，提高了图片信息承载的查询数据的数据量，实现了对查询数据的高效传输，以及对数据列表进行加密提高了查询数据的安全性。
基于同一发明构思，本申请实施例中还提供了一种数据传输的装置，由于上述装置及设备解决问题的原理与一种数据传输的方法相似，因此，上述装置的实施可以参见方法的实施，重复之处不再赘述。
如图6示，其为本申请实施例提供的一种数据传输的装置的结构示意图。一种数据传输的装置包括：
获取单元601，用于获取待传输的各查询数据和数据列表；
第一更新单元602，用于当各查询数据中包含有已经存入数据列表中的已保存查询数据时，分别将已保存查询数据在数据列表中对应的统计频率增加一个步长；
存储单元603，用于当各查询数据中包含有未存入数据列表中的未保存查询数据时，将未保存查询数据分别添加到数据列表中；
第二更新单元604，用于分别将数据列表中新添加的查询数据对应的统计频率初始化为基准值；
获得单元605，用于获得包含数据列表的加密数据的编码信息；
发送单元606，用于将编码信息的图片信息发送至服务器，使得服务器基于图片信息，获得数据列表的加密数据和数据列表。
较佳的，第一更新单元602还用于：
获取各查询数据的时间戳；
在数据列表中对应各查询数据分别保存查询数据的时间戳。
较佳的，数据列表中，每一个查询数据的统计频率和时间戳，保存在查询数据对应的数据标签中；
编码信息为二维码；
加密数据是基于服务器的服务器私钥、终端公钥以及指定查询数据的时间戳进行解密的。
较佳的，获得单元605用于：
基于终端私钥、服务器的服务器公钥，以及数据列表中包含的指定查询数据的时间戳，生成对称密钥；
根据对称密钥对数据列表进行加密，获得包含数据列表的加密数据；
根据加密数据、终端公钥以及指定查询数据的时间戳，生成包含数据列表的加密数据的编码信息。
参阅图7所示，为一种控制设备的结构示意图。基于同一技术构思，本申请实施例还提供了一种控制设备，可以包括存储器701和处理器702。
所述存储器701，用于存储处理器702执行的计算机程序。存储器701可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序等；存储数据区可存储根据区块链节点的使用所创建的数据等。处理器702，可以是一个中央处理单元(central processing unit，CPU)，或者为数字处理单元等。本申请实施例中不限定上述存储器701和处理器702之间的具体连接介质。本申请实施例在图7中以存储器701和处理器702之间通过总线703连接，总线703在图7中以粗线表示，其它部件之间的连接方式，仅是进行示意性说明，并不引以为限。所述总线703可以分为地址总线、数据总线、控制总线等。为便于表示，图7中仅用一条粗线表示，但并不表示仅有一根总线或一种类型的总线。
存储器701可以是易失性存储器(volatile memory)，例如随机存取存储器(random-access memory，RAM)；存储器701也可以是非易失性存储器(non-volatilememory)，例如只读存储器，快闪存储器(flash memory)，硬盘(hard disk drive，HDD)或固态硬盘(solid-state drive，SSD)、或者存储器701是能够用于携带或存储具有指令或数据结构形式的期望的程序代码并能够由计算机存取的任何其他介质，但不限于此。存储器701可以是上述存储器的组合。
处理器702，用于调用所述存储器701中存储的计算机程序时执行如图2或图4中所示的实施例提供的数据传输的方法。
本申请实施例还提供了一种计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现上述任意方法实施例中的数据传输的方法。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到各实施方式可借助软件加通用硬件平台的方式来实现，当然也可以通过硬件。基于这样的理解，上述技术方案本质上或者说对相关技术做出贡献的部分可以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如ROM/RAM、磁碟、光盘等，包括若干指令用以使得一台控制设备(可以是个人计算机，服务器，或者网络设备等)执行各个实施例或者实施例的某些部分所述的方法。
最后应说明的是：以上实施例仅用以说明本申请的技术方案，而非对其限制；尽管参照前述实施例对本申请进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本申请各实施例技术方案的精神和范围。

Claims (8)

1.一种数据传输的方法，其特征在于，包括：
获取待传输的各查询数据、各查询数据的时间戳和数据列表；其中，所述数据列表中至少包含已保存查询数据，以及已保存查询数据的统计频率和时间戳；
当各查询数据中包含有已经存入所述数据列表中的已保存查询数据时，分别将已保存查询数据在所述数据列表中对应的统计频率增加一个步长，并在所述数据列表中对应已保存查询数据，保存各查询数据中相应的查询数据的时间戳；
当各查询数据中包含有未存入所述数据列表中的未保存查询数据时，将未保存查询数据分别添加到所述数据列表中，并在所述数据列表中对应未保存查询数据，保存未保存查询数据的时间戳；
分别将所述数据列表中新添加的查询数据对应的统计频率初始化为基准值；
获得包含所述数据列表的加密数据的编码信息；
将所述编码信息的图片信息发送至服务器，使得服务器基于所述图片信息，获得所述数据列表的加密数据和所述数据列表。
2.如权利要求1所述的方法，其特征在于，所述数据列表中，每一个查询数据的统计频率和时间戳，保存在查询数据对应的数据标签中；
所述编码信息为二维码；
所述加密数据是基于所述服务器的服务器私钥、终端公钥以及指定查询数据的时间戳进行解密的。
3.如权利要求1或2所述的方法，其特征在于，获得包含所述数据列表的加密数据的编码信息，包括：
基于终端私钥、所述服务器的服务器公钥，以及所述数据列表中包含的指定查询数据的时间戳，生成对称密钥；
根据所述对称密钥对所述数据列表进行加密，获得包含所述数据列表的加密数据；
根据所述加密数据、终端公钥以及所述指定查询数据的时间戳，生成包含所述数据列表的加密数据的编码信息。
4.一种数据传输的装置，其特征在于，包括：
获取单元，用于获取待传输的各查询数据、各查询数据的时间戳和数据列表；其中，所述数据列表中至少包含已保存查询数据，以及已保存查询数据的统计频率和时间戳；
第一更新单元，用于当各查询数据中包含有已经存入所述数据列表中的已保存查询数据时，分别将已保存查询数据在所述数据列表中对应的统计频率增加一个步长，并在所述数据列表中对应已保存查询数据，保存各查询数据中相应的查询数据的时间戳；
存储单元，用于当各查询数据中包含有未存入所述数据列表中的未保存查询数据时，将未保存查询数据分别添加到所述数据列表中，并在所述数据列表中对应未保存查询数据，保存未保存查询数据的时间戳；
第二更新单元，用于分别将所述数据列表中新添加的查询数据对应的统计频率初始化为基准值；
获得单元，用于获得包含所述数据列表的加密数据的编码信息；
发送单元，用于将所述编码信息的图片信息发送至服务器，使得服务器基于所述图片信息，获得所述数据列表的加密数据和所述数据列表。
5.如权利要求4所述的装置，其特征在于，所述数据列表中，每一个查询数据的统计频率和时间戳，保存在查询数据对应的数据标签中；
所述编码信息为二维码；
所述加密数据是基于所述服务器的服务器私钥、终端公钥以及指定查询数据的时间戳进行解密的。
6.如权利要求4或5所述的装置，其特征在于，所述获得单元用于：
基于终端私钥、所述服务器的服务器公钥，以及所述数据列表中包含的指定查询数据的时间戳，生成对称密钥；
根据所述对称密钥对所述数据列表进行加密，获得包含所述数据列表的加密数据；
根据所述加密数据、终端公钥以及所述指定查询数据的时间戳，生成包含所述数据列表的加密数据的编码信息。
7.一种控制设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现权利要求1-3任一项所述的方法的步骤。
8.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该计算机程序被处理器执行时实现权利要求1～3任一所述方法的步骤。
CN201910310461.1A 2019-04-17 2019-04-17 一种数据传输的方法、装置、设备和介质 Active CN110086789B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910310461.1A CN110086789B (zh) 2019-04-17 2019-04-17 一种数据传输的方法、装置、设备和介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910310461.1A CN110086789B (zh) 2019-04-17 2019-04-17 一种数据传输的方法、装置、设备和介质

Publications (2)

Publication Number Publication Date
CN110086789A CN110086789A (zh) 2019-08-02
CN110086789B true CN110086789B (zh) 2021-07-13

Family

ID=67415425

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910310461.1A Active CN110086789B (zh) 2019-04-17 2019-04-17 一种数据传输的方法、装置、设备和介质

Country Status (1)

Country Link
CN (1) CN110086789B (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110502910B (zh) * 2019-08-07 2021-03-30 珍岛信息技术（上海）股份有限公司 一种基于数据加密的云端信息存储系统
CN110826896A (zh) * 2019-10-31 2020-02-21 北京东软望海科技有限公司 数据处理控制方法、装置、计算机设备及存储介质
CN113709510A (zh) * 2021-08-06 2021-11-26 联想(北京)有限公司 高速率数据实时传输方法及装置、设备、存储介质

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101699822A (zh) * 2009-08-06 2010-04-28 腾讯科技（深圳）有限公司 一种文件上传方法、装置和海量存储系统
CN102831163A (zh) * 2012-07-20 2012-12-19 江苏缨思贝睿物联网科技有限公司 数据传送方法及数据传送系统
CN104133822A (zh) * 2013-07-15 2014-11-05 腾讯科技（深圳）有限公司 一种对存储器上的文件进行扫描的方法及装置
CN105335767A (zh) * 2014-08-11 2016-02-17 无锡市嘉邦电力管道厂 一种数据传输方法
KR20160028717A (ko) * 2014-09-04 2016-03-14 한국전자인증 주식회사 영상코드를 이용한 전자문서의 원본증명 확인문서 발급 시스템 및 방법
CN105740445A (zh) * 2016-02-02 2016-07-06 贵州大学 一种数据库查询方法及装置
CN107133294A (zh) * 2017-04-26 2017-09-05 上海斐讯数据通信技术有限公司 数据包信息存储方法及系统
CN107579817A (zh) * 2017-09-12 2018-01-12 广州广电运通金融电子股份有限公司 基于区块链的用户身份验证方法、装置及系统

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107797902B (zh) * 2016-09-06 2021-07-30 北京百度网讯科技有限公司 用于监控机器人操作系统的消息传输频率的方法和装置
CN108803502B (zh) * 2017-04-27 2022-07-26 横河电机株式会社 数据收集装置及系统、数据服务器、数据收集方法及计算机可读取的非易失性的记录介质
CN108400970B (zh) * 2018-01-20 2020-10-02 西安电子科技大学 云环境中相似数据消息锁定加密去重方法、云存储系统
CN108377237A (zh) * 2018-02-05 2018-08-07 江苏大学 用于云端密文存储的具有所有权管理的数据去重系统及其数据去重方法

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101699822A (zh) * 2009-08-06 2010-04-28 腾讯科技（深圳）有限公司 一种文件上传方法、装置和海量存储系统
CN102831163A (zh) * 2012-07-20 2012-12-19 江苏缨思贝睿物联网科技有限公司 数据传送方法及数据传送系统
CN104133822A (zh) * 2013-07-15 2014-11-05 腾讯科技（深圳）有限公司 一种对存储器上的文件进行扫描的方法及装置
CN105335767A (zh) * 2014-08-11 2016-02-17 无锡市嘉邦电力管道厂 一种数据传输方法
KR20160028717A (ko) * 2014-09-04 2016-03-14 한국전자인증 주식회사 영상코드를 이용한 전자문서의 원본증명 확인문서 발급 시스템 및 방법
CN105740445A (zh) * 2016-02-02 2016-07-06 贵州大学 一种数据库查询方法及装置
CN107133294A (zh) * 2017-04-26 2017-09-05 上海斐讯数据通信技术有限公司 数据包信息存储方法及系统
CN107579817A (zh) * 2017-09-12 2018-01-12 广州广电运通金融电子股份有限公司 基于区块链的用户身份验证方法、装置及系统

Also Published As

Publication number Publication date
CN110086789A (zh) 2019-08-02

Similar Documents

Publication Publication Date Title
US9852300B2 (en) Secure audit logging
US9122888B2 (en) System and method to create resilient site master-key for automated access
CN110086789B (zh) 一种数据传输的方法、装置、设备和介质
US10491403B2 (en) Data loss prevention with key usage limit enforcement
CN105681031B (zh) 一种存储加密网关密钥管理系统及方法
US8832040B2 (en) Method and apparatus of securely processing data for file backup, de-duplication, and restoration
EP3453135A2 (en) System and method for encryption and decryption based on quantum key distribution
US8064606B2 (en) Method and apparatus for securely registering hardware and/or software components in a computer system
EP3598714A1 (en) Method, device, and system for encrypting secret key
US8428265B2 (en) Method and apparatus of securely processing data for file backup, de-duplication, and restoration
US10587397B2 (en) Storage medium enterprise and block chain enabled communication
US11216576B1 (en) Systems, methods, and computer-readable media for utilizing anonymous sharding techniques to protect distributed data
US20120254136A1 (en) Method and apparatus of securely processing data for file backup, de-duplication, and restoration
US20080016352A1 (en) Method and apparatus for maintaining ephemeral keys in limited space
WO2018017168A2 (en) System and method for encryption and decryption based on quantum key distribution
Huchton et al. Building and evaluating a k-resilient mobile distributed file system resistant to device compromise
CN109254893B (zh) 一种业务数据稽核方法、装置、服务器和存储介质
US20120250857A1 (en) Method and apparatus of securely processing data for file backup, de-duplication, and restoration
CN117439799A (zh) 一种http请求数据防篡改的方法
US9002010B2 (en) Secure communication of information over a wireless link
Roth et al. A secure submission system for online whistleblowing platforms
US10984139B2 (en) Tamper-resistant data encoding for mobile devices
CN110611674B (zh) 不同计算机系统之间的协议交互方法、系统及存储介质
CN113709217A (zh) 一种基于点对点通讯软件的安全加密方法
CN111030984B (zh) 一种数据安全传输系统及方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant