CN110597766B - 一种数据传输方法及装置 - Google Patents
一种数据传输方法及装置 Download PDFInfo
- Publication number
- CN110597766B CN110597766B CN201910761736.3A CN201910761736A CN110597766B CN 110597766 B CN110597766 B CN 110597766B CN 201910761736 A CN201910761736 A CN 201910761736A CN 110597766 B CN110597766 B CN 110597766B
- Authority
- CN
- China
- Prior art keywords
- temporary file
- target data
- target
- fragment number
- data
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 63
- 230000005540 biological transmission Effects 0.000 title claims abstract description 61
- 238000003860 storage Methods 0.000 claims abstract description 21
- 239000012634 fragment Substances 0.000 claims description 127
- 238000004590 computer program Methods 0.000 claims description 6
- 238000012432 intermediate storage Methods 0.000 description 10
- 238000010586 diagram Methods 0.000 description 8
- 230000007547 defect Effects 0.000 description 6
- 238000005516 engineering process Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/10—File systems; File servers
- G06F16/14—Details of searching files based on file metadata
- G06F16/148—File search processing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/10—File systems; File servers
- G06F16/16—File or folder operations, e.g. details of user interfaces specifically adapted to file systems
Abstract
本申请提供了一种数据传输方法及装置。上述方法包括：根据查询请求查询目标数据；将查询到的上述目标数据的目标部分写入临时文件中；若写入上述临时文件的数据量达到预设阀值，则将上述临时文件上传至对象存储服务OSS。实施本申请，可以快速高效地实现客户端与服务器端之间大批量数据的传输。
Description
技术领域
本申请涉及计算机技术领域，尤其涉及一种数据传输方法及装置。
背景技术
随着互联网技术的发展，新时代的信息社会越来越离不开数据的大批量传输。数据传输的数据量随着时代的发展也越来越庞大。目前来看，客户端与服务器端之间仅仅只能流畅地传输少量的数据，而若希望能实现大批量数据的传输则只能依靠传统的拷贝方式。但传统拷贝方式冗余复杂，效率较低。因此，如何开辟新方法以实现客户端与服务器端之间高效的大批量数据传输成为了亟待解决的问题。
发明内容
本申请提出一种数据传输方法及装置，在读取数据时采用多线程方式大大提高了数据的读取效率，把文件当做一个分片进行上传，实现了追加上传，避免了分片会覆盖数据的缺点，将OSS作为中间存储，连接了客户端与服务器端，用户通过下载OSS的文件获取数据，最终实现了客户端与服务器端之间大批量数据的高效传输。
第一方面，本申请提出一种数据传输方法，所述方法包括：
根据查询请求查询目标数据；
将查询到的所述目标数据的目标部分写入临时文件中，所述目标部分是所述目标数据的任一部分，所述临时文件携带特征分片号，所述特征分片号用于指示所述目标部分在所述目标数据中的位置；
若写入所述临时文件的数据量达到预设阀值，则将所述临时文件上传至对象存储服务OSS。
在一种可能的实现方式中，所述根据查询请求查询目标数据，包括：
接收查询请求，所述查询请求包括目标特征；
获取携带所述目标特征的目标数据的通用唯一识别码；
根据所述通用唯一识别码在数据库中查询携带所述目标特征的目标数据。
在一种可能的实现方式中，所述方法还包括：
若检测到所述目标数据全部写入所述临时文件，将所述临时文件上传至OSS。
在一种可能的实现方式中，所述方法还包括：
向用户终端发送下载提示信息，所述下载提示信息包括所述目标数据的下载地址和下载时间，所述下载时间为用户可下载所述目标数据的时间。
第二方面，本申请提出一种数据传输方法，所述方法包括：
发送查询请求，以使服务器根据所述查询请求查询目标数据并将查询到的所述目标数据的目标部分写入临时文件中；
接收所述服务器发送的第一临时文件和第二临时文件，所述第一临时文件携带第一特征分片号，所述第二临时文件携带第二特征分片号，所述第一特征分片号用于指示所述第一临时文件的内容在目标数据中的位置，所述第二特征分片号用于指示所述第二临时文件的内容在所述目标数据中的位置；
根据所述第一特征分片号和所述第二特征分片号，对所述第一临时文件和所述第二临时文件进行拼接，得到所述目标数据。
在一种可能的实现方式中，所述根据所述第一特征分片号和所述第二特征分片号，对所述第一临时文件和所述第二临时文件进行拼接，得到所述目标数据，包括：
识别所述第一特征分片号与所述第二特征分片号，确定所述第一临时文件与所述第二临时文件的拼接顺序；
根据所述拼接顺序对所述第一临时文件与所述第二临时文件进行拼接，得到所述目标数据。
第三方面，本申请提出一种数据传输装置，包括：
查询单元，用于根据查询请求查询目标数据；
写入单元，用于将查询到的所述目标数据的目标部分写入临时文件中，所述目标部分是所述目标数据的任一部分，所述临时文件携带特征分片号，所述特征分片号用于指示所述目标部分在所述目标数据中的位置；
第一传输单元，用于若写入所述临时文件的数据量达到预设阀值，则将所述临时文件上传至对象存储服务OSS。
在一种可能的实现方式中，所述查询单元具体用于接收查询请求，所述查询请求包括目标特征；获取携带所述目标特征的目标数据的通用唯一识别码；根据所述通用唯一识别码在数据库中查询携带所述目标特征的目标数据。
在一种可能的实现方式中，所述装置还包括：
第二传输单元，用于若检测到所述目标数据全部写入所述临时文件，将所述临时文件上传至OSS。
在一种可能的实现方式中，所述装置还包括：
发送单元，用于向用户终端发送下载提示信息，所述下载提示信息包括所述目标数据的下载地址和下载时间，所述下载时间为用户可下载所述目标数据的时间。
第四方面，本申请提出一种数据传输装置，包括：
发送单元，用于发送查询请求，以使服务器根据所述查询请求查询目标数据并将查询到的所述目标数据的目标部分写入临时文件中；
接收单元，用于接收所述服务器发送的第一临时文件和第二临时文件，所述第一临时文件携带第一特征分片号，所述第二临时文件携带第二特征分片号，所述第一特征分片号用于指示所述第一临时文件的内容在目标数据中的位置，所述第二特征分片号用于指示所述第二临时文件的内容在所述目标数据中的位置；
拼接单元，用于根据所述第一特征分片号和所述第二特征分片号，对所述第一临时文件和所述第二临时文件进行拼接，得到所述目标数据。
在一种可能的实现方式中，所述拼接单元具体用于识别所述第一特征分片号与所述第二特征分片号，确定所述第一临时文件与所述第二临时文件的拼接顺序；根据所述拼接顺序对所述第一临时文件与所述第二临时文件进行拼接，得到所述目标数据。
第五方面，本申请提出一种数据传输装置，包括：收发器、处理器和存储器；所述收发器、所述处理器和所述存储器通过总线相互连接；其中，所述存储器用于存储计算机程序，所述计算机程序包括程序指令，所述处理器被配置用于调用所述程序指令，执行如第一方面所提出的方法。
第六方面，本申请提出一种数据传输装置，包括：收发器、处理器和存储器；所述收发器、所述处理器和所述存储器通过总线相互连接；其中，所述存储器用于存储计算机程序，所述计算机程序包括程序指令，所述处理器被配置用于调用所述程序指令，执行如第二方面所提出的方法。
第七方面，本申请提出一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序包括程序指令，所述程序指令当被处理器执行时，使所述处理器执行所述各方面所提出的方法。
第八方面，本申请实施例提供了一种包含程序指令的计算机程序产品，当其在计算机上运行时，使得计算机执行所述各方面所提出的方法。
实施本申请，在读取数据时采用多线程方式大大提高了数据的读取效率，把文件当做一个分片进行上传，实现了追加上传，避免了分片会覆盖数据的缺点，将OSS作为中间存储，连接了客户端与服务器端，用户通过下载OSS的文件获取数据，最终实现了客户端与服务器端之间大批量数据的高效传输。
附图说明
为了更清楚地说明本申请实施例或背景技术中的技术方案，下面将对本申请实施例或背景技术中所需要使用的附图进行说明。
图1是本申请提出的一种数据传输方法的流程图；
图2是本申请提出的另一种数据传输方法的流程图；
图3是本申请提出的一种数据传输方法的具体应用场景的流程图；
图4是本申请提出的另一种数据传输方法的流程图；
图5是本申请提出的另一种数据传输方法的流程图；
图6是本申请提出的另一种数据传输方法的具体应用场景的流程图；
图7是本申请提出的一种数据传输装置的结构示意图；
图8是本申请提出的另一种数据传输装置的结构示意图；
图9是本申请提出的另一种数据传输装置的结构示意图；
图10是本申请提出的另一种数据传输装置的结构示意图。
具体实施方式
本申请的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别不同的对象，而不是用于描述特定顺序。此外，术语“包括”和“具有”以及它们任何变形，意图在于覆盖不排他的包含。例如包含了一系列步骤或单元的过程、方法、系统、产品或设备没有限定于已列出的步骤或单元，而是可选地还包括没有列出的步骤或单元，或可选地还包括对于这些过程、方法或设备固有的其他步骤或单元。
现有的客户端与服务器端之间仅仅只能流畅地传输少量的数据，而若希望能实现大批量数据的传输则只能依靠传统的拷贝方式。但传统拷贝方式冗余复杂，效率较低。
图1是本申请提出的一种数据传输方法的流程图，上述方法包括以下内容：
101、根据查询请求查询目标数据。
具体的，该查询请求可以由客户端发出，该查询请求可以携带用户需要的目标特征，目标特征可以是“汽车”“手机”“书本”等。服务器接收客户端发送的查询请求，解析该查询请求，得到目标特征。由于，搜索引擎中存储了每条数据的索引字段与对应的通用唯一识别码(universally unique identifier，UUID)。服务器获取具有该目标特征的目标数据的通用唯一识别码。根据该通用唯一识别码在数据库中查询目标数据。
102、将查询到的上述目标数据的目标部分写入临时文件中。
具体的，上述目标部分是上述目标数据的任一部分，上述临时文件携带特征分片号，上述特征分片号用于指示上述目标部分在上述目标数据中的位置。每个临时文件携带不同的分片号，每个临时文件写入的内容不同。后续步骤中，可以利用特征分片号确定不同临时文件之间的拼接顺序。其中，特征分片号的设置不做限定。
103、若写入上述临时文件的数据量达到预设阀值，则将上述临时文件上传至对象存储服务OSS。
具体的，预先设定临时文件承载的阀值，当写入的目标数据的数据量达到该阀值时，将该临时文件上传至对象存储服务(object storage service，OSS)。举例来说，服务器每读取一条目标数据便写入本地的临时文件中，当写入10000条数据时，把该临时文件当做一个分片上传至OSS，分片号加1。上传完删除该本地临时文件，一直循环该步骤，直到数据读取完毕。OSS是一种安全、低成本、高可靠的云存储服务，用户可以在任何应用、任何时间、任何地点存储和访问任意类型的数据。实施此步骤，可以保证目标数据以分片的形式上传至OSS，而每次上传的临时文件携带的特征分片号不同，避免了数据之间的覆盖。
实施本申请实施例，可以在读取数据时采用多线程方式大大提高了数据的读取效率，把文件当做一个分片进行上传，实现了追加上传，避免了分片会覆盖数据的缺点，将OSS作为中间存储，连接了客户端与服务器端，用户通过下载OSS的文件获取数据，最终实现了客户端与服务器端之间大批量数据的高效传输。
图2是本申请提出的另一种数据传输方法的流程图，上述方法包括以下内容：
201、接收查询请求。
具体的，服务器接收客户端发送的查询请求，该查询请求可以携带目标特征。举例来说，若用户的查询请求可以是“华为最新款手机的性能”，则目标特征可以是“华为”“最新款手机”“性能”。
进一步的，在接收查询请求之前，服务还可以检测发送该查询请求的客户端是否具备查询权限，若具备查询权限，则接收该查询请求，若该客户端不具备查询权限，则服务器拒绝该客户端的查询请求。
202、获取携带上述目标特征的目标数据的通用唯一识别码。
具体的，由于，搜索引擎中存储了每条数据的索引字段与对应的通用唯一识别码(universally unique identifier，UUID)。服务器解析查询请求获得目标特征。服务器通过识别每条数据的索引字段确定携带该目标特征的目标数据，获取该目标数据的通过唯一识别码。搜索引擎中只存储了目标数据的索引字段，而目标数据的完整信息存储于数据库中。故服务器先获取目标数据对应的通用唯一识别码，然后根据该通用唯一识别码获取该目标数据。
实施该步骤有利于用户进行在线查询。
203、根据上述通用唯一识别码在数据库中查询携带上述目标特征的目标数据。
具体的，由于搜索引擎中只存储了数据的索引字段，完整的数据存储在数据库中，因此，服务器根据该通用唯一识别码在数据库中查询携带该目标特征的目标数据。为了提高查询效率，可以在子线程中开启其他线程批量读取数据库中的数据。
进一步的，若服务器未查询到该通用唯一识别码对应的目标数据，则记录错误信息，该错误信息可以是目标数据的索引字段与该目标数据存入该数据库的时间。服务器会定期审核、补正该错误信息。
204、将查询到的上述目标数据的目标部分写入临时文件中。
具体的，上述目标部分是上述目标数据的任一部分，上述临时文件携带特征分片号，上述特征分片号用于指示上述目标部分在上述目标数据中的位置。每个临时文件携带不同的特征分片号，每个临时文件写入的内容不同。不同的特征分片号可以避免分片之间的覆盖后续步骤中，OSS可以利用特征分片号确定不同临时文件之间的拼接顺序。其中，特征分片号的形式设置不做限定。
205、若写入上述临时文件的数据量达到预设阀值，则将上述临时文件上传至对象存储服务OSS。
具体的，为了将目标数据分片上传至对象存储服务OSS，对该临时文件设置预设阀值，当写入该临时文件的数据量达到该预设阀值时，临时文件不再继续写入数据，服务器将该临时文件上传至OSS。
若将目标数据以单个大文件的形式上传OSS，如果上传中断，则需重新上传全部数据。而本技术步骤以分片的形式上传目标数据可以避免这种情况。
206、若检测到上述目标数据全部写入上述临时文件，将上述临时文件上传至OSS。
具体的，当目标数据的大部分以分片的形式上传至OSS，而该目标数据的剩余部分即使全部写入临时文件，也无法达到该临时文件的预设阀值时，检测该目标数据是否全部写入该临时文件，若全部写入，则将该临时文件上传至OSS。
实施该步骤的目的是保证目标数据上传的完整性。
207、向用户终端发送下载提示信息。
具体的，上述下载提示信息可以是目标数据的下载地址和下载时间。上述下载时间可以是用户可下载该目标数据的时间，也可以是距离该用户下载该目标数据还需要等待的时间。
实施本申请实施例，可以在读取数据时采用多线程方式大大提高了数据的读取效率，把文件当做一个分片进行上传，实现了追加上传，避免了分片会覆盖数据的缺点，将OSS作为中间存储，连接了客户端与服务器端，用户通过下载OSS的文件获取数据，最终实现了客户端与服务器端之间大批量数据的高效传输。
图3是本申请提出的一种数据传输方法的具体应用场景的流程图，上述方法包括以下内容：
301、接收查询请求。
举例来说，接收客户端发送的查询请求“深圳市2018年车辆品牌销售状况”。该查询请求包括目标特征“深圳市”“2018年”“车辆品牌销售状况”。
302、获取携带上述目标特征的目标数据的通用唯一识别码。
举例来说，在Elasticsearch中获取携带目标特征“深圳市”“2018年”“车辆品牌销售状况”的目标数据的通用唯一识别码。Elasticsearch提供了一个分布式多用户能力的全文搜索引擎，是当前流行的企业级搜索引擎，设计用于云计算中，能够达到实时搜索，稳定，可靠，快速，安装使用方便。Elasticsearch中存储了每条数据的索引字段与对应的通用唯一识别码。
303、根据上述通用唯一识别码在数据库中查询携带上述目标特征的目标数据。
举例来说，根据该通用唯一识别码在HBase数据库中查询携带“深圳市”“2018年”“车辆品牌销售状况”目标特征的目标数据。HBase中存储了目标数据的完整数据。为了提高查询效率，在子线程中又开了若干个线程批量读取HBase数据库中的数据。
304、将查询到的上述目标数据的目标部分写入临时文件中。
举例来说，若查询到携带该目标特征的目标数据51000条，将该目标数据的目标部分写入临时文件，该目标部分可以是该目标数据的任一部分。该临时文件携带特征分片号，该特征分片号用于指示该目标部分在该目标数据中的位置。例如，目标部分可以为5000条，特征分片号为1，该特征分片号1指示该目标部分在该目标数据中位列第一位。
305、若写入上述临时文件的数据量达到预设阀值，则将上述临时文件上传至对象存储服务OSS。
举例来说，临时文件的预设阀值为5000条数据，当写入该临时文件的数据量达到5000条时，将该临时文件上传至OSS。
306、若检测到上述目标数据全部写入上述临时文件，将上述临时文件上传至OSS。
举例来说，该目标数据有51000条，前5000条数据已经分成10个分片，以10个临时文件的形式上传至OSS，该目标数据还剩余1000条。服务器将该剩余的1000条数据写入一个临时文件C，可见，写入的数据量未达到临时文件的预设阀值5000条，但服务器检测到该目标数据已全部写完，则将该临时文件C上传至OSS。
307、向用户终端发送下载提示信息。
举例来说，向用户终端发送下载提示信息，该下载提示信息可以是可供下载的统一资源定位符(uniform resource locator，URL)和下载时间，该下载时间是距离用户下载该目标数据的时间。当时间到，用户可以在浏览器中打开URL下载目标数据。
实施本申请实施例，可以在读取数据时采用多线程方式大大提高了数据的读取效率，把文件当做一个分片进行上传，实现了追加上传，避免了分片会覆盖数据的缺点，将OSS作为中间存储，连接了客户端与服务器端，用户通过下载OSS的文件获取数据，最终实现了客户端与服务器端之间大批量数据的高效传输。
图4是本申请提出的另一种数据传输方法的流程图，上述方法包括以下内容：
401、发送查询请求。
具体的，上述查询请求可以携带用户需要的目标特征。实施该步骤可以使服务器根据上述查询请求查询目标数据并将查询到的上述目标数据的目标部分写入临时文件中。
402、接收上述服务器发送的第一临时文件和第二临时文件。
具体的，检测该第一临时文件的上传地址与该第二临时文件的上传地址是否相同，若上传地址相同，则证明该第一临时文件与该第二临时文件是同一目标数据的不同部分。
接收服务器发送的该第一临时文件和该第二临时文件，该第一临时文件携带第一特征分片号，该第二临时文件携带第二特征分片号，该第一特征分片号用于指示该第一临时文件的内容在目标数据中的位置，该第二特征分片号用于指示该第二临时文件的内容在该目标数据中的位置。
403、根据上述第一特征分片号和上述第二特征分片号，对上述第一临时文件和上述第二临时文件进行拼接，得到上述目标数据。
具体的，接收目标数据的全部临时文件后，识别每一个临时文件的特征分片号，根据每一个临时文件对应的特征分片号，确定每一个临时文件的拼接顺序，根据该拼接顺序对每一个临时文件进行拼接，得到目标数据。
进一步的，OSS还可以采用如下拼接策略：每接收到一个临时文件，就识别该临时文件的特征识别码，根据该特征识别码确定该临时文件的内容在目标数据中的位置，将该临时文件与已完成拼接的部分进行拼接，最终得到目标数据。
实施本申请实施例，可以将OSS作为中间存储，连接了客户端与服务器端，用户通过下载OSS的文件获取数据，最终实现了客户端与服务器端之间大批量数据的高效传输。
图5是本申请提出的另一种数据传输方法的流程图，上述方法包括以下内容：
501、发送查询请求。
具体的，上述查询请求可以携带用户需要的目标特征。实施该步骤可以使服务器根据上述查询请求查询目标数据并将查询到的上述目标数据的目标部分写入临时文件中。
502、接收上述服务器发送的第一临时文件和第二临时文件。
具体的，检测该第一临时文件的上传地址与该第二临时文件的上传地址是否相同，若上传地址相同，则证明该第一临时文件与该第二临时文件是同一目标数据的不同部分。
接收服务器发送的该第一临时文件和该第二临时文件，该第一临时文件携带第一特征分片号，该第二临时文件携带第二特征分片号，该第一特征分片号用于指示该第一临时文件的内容在目标数据中的位置，该第二特征分片号用于指示该第二临时文件的内容在该目标数据中的位置。
503、识别上述第一特征分片号与上述第二特征分片号，确定上述第一临时文件与上述第二临时文件的拼接顺序。
具体的，识别该第一特征分片号与该第二特征分片号，确定该第一特征分片号与该第二特征分片号之间的顺序关系，而第一特征分片号对应第一临时文件，第二特征分片号对应第二临时文件，故该特征分片号之间的顺序关系即为第一临时文件与第二临时文件之间的拼接顺序。
504、根据上述拼接顺序对上述第一临时文件与上述第二临时文件进行拼接，得到上述目标数据。
具体的，若第一特征分片号在第二特征分片号的前面，则指示该第一临时文件在第二临时文件的前面，将第二临时文件拼接在第一临时文件的后面；若第一特征分片号在第二特征分片号的后面，则指示该第二临时文件在第一临时文件的前面，将该第一临时文件拼接在第二临时文件的后面。
实施本申请实施例，可以将OSS作为中间存储，连接了客户端与服务器端，用户通过下载OSS的文件获取数据，最终实现了客户端与服务器端之间大批量数据的高效传输。
图6是本申请提出的另一种数据传输方法的具体应用场景流程图，上述方法包括以下内容：
601、发送查询请求。
举例来说，向服务器发送查询请求“深圳市2018年车辆品牌销售状况”，该查询请求携带目标特征“深圳市”“2018年”“车辆品牌销售状况”。
602、接收上述服务器发送的第一临时文件和第二临时文件。
举例来说，接收服务器发送的第一临时文件和第二临时文件，该第一临时文件携带第一特征分片号，该第一特征分片号为1，该第二临时文件携带第二特征分片号，该第二特征分片号为2。
603、识别上述第一特征分片号与上述第二特征分片号，确定上述第一临时文件与上述第二临时文件的拼接顺序。
举例来说，识别该第一特征分片号与该第二特征分片号，该第一特征分片号为1，该第二特征分片号为2，按照设定的顺序规则，该第一特征分片号在该第二特征分片号前面，因此该第一临时文件的内容在该第二临时文件内容的前面。
604、根据上述拼接顺序对上述第一临时文件与上述第二临时文件进行拼接，得到上述目标数据。
举例来说，因为该第一特征分片号在该第二特征分片号的前面，故该第一临时文件的内容在该第二临时文件内容的前面，将该第二临时文件拼接到该第一临时文件的后面，得到目标数据。
实施本申请实施例，可以将OSS作为中间存储，连接了客户端与服务器端，用户通过下载OSS的文件获取数据，最终实现了客户端与服务器端之间大批量数据的高效传输。
图7是本申请提出的一种数据传输装置的结构示意图，上述装置包括：
查询单元701，用于根据查询请求查询目标数据；
写入单元702，用于将查询到的上述目标数据的目标部分写入临时文件中，上述目标部分是上述目标数据的任一部分，上述临时文件携带特征分片号，上述特征分片号用于指示上述目标部分在上述目标数据中的位置；
第一传输单元703，用于若写入上述临时文件的数据量达到预设阀值，则将上述临时文件上传至对象存储服务OSS。
如图7所示，上述装置还包括：
进一步的，上述查询单元701具体用于接收查询请求，上述查询请求包括目标特征；获取携带上述目标特征的目标数据的通用唯一识别码；根据上述通用唯一识别码在数据库中查询携带上述目标特征的目标数据。
进一步的，上述装置还包括：
第二传输单元704，用于若检测到上述目标数据全部写入上述临时文件，将上述临时文件上传至OSS。
进一步的，上述装置还包括：
发送单元705，用于向用户终端发送下载提示信息，上述下载提示信息包括上述目标数据的下载地址和下载时间，上述下载时间为用户可下载上述目标数据的时间。
可理解，图7所示的数据传输装置的具体实现方式还可参考图1、图2和图3所示的方法，这里不再一一详述。
在本申请实施例中，查询单元701根据查询请求查询目标数据；写入单元702将查询到的上述目标数据的目标部分写入临时文件中，上述目标部分是上述目标数据的任一部分，上述临时文件携带特征分片号，上述特征分片号用于指示上述目标部分在上述目标数据中的位置；若写入上述临时文件的数据量达到预设阀值，则第一传输单元703将上述临时文件上传至对象存储服务OSS。可见，本申请实施例可以在读取数据时采用多线程方式大大提高了数据的读取效率，把文件当做一个分片进行上传，实现了追加上传，避免了分片会覆盖数据的缺点，将OSS作为中间存储，连接了客户端与服务器端，用户通过下载OSS的文件获取数据，最终实现了客户端与服务器端之间大批量数据的高效传输。
图8是本申请提出的另一种数据传输装置的结构示意图，上述装置包括：
发送单元801，用于发送查询请求，以使服务器根据上述查询请求查询目标数据并将查询到的上述目标数据的目标部分写入临时文件中；
接收单元802，用于接收服务器发送的第一临时文件和第二临时文件，上述第一临时文件携带第一特征分片号，上述第二临时文件携带第二特征分片号，上述第一特征分片号用于指示上述第一临时文件的内容在目标数据中的位置，上述第二特征分片号用于指示上述第二临时文件的内容在上述目标数据中的位置；
拼接单元803，用于根据上述第一特征分片号和上述第二特征分片号，对上述第一临时文件和上述第二临时文件进行拼接，得到上述目标数据。
进一步的，上述拼接单元803具体用于识别上述第一特征分片号与上述第二特征分片号，确定上述第一临时文件与上述第二临时文件的拼接顺序；根据上述拼接顺序对上述第一临时文件与上述第二临时文件进行拼接，得到上述目标数据。
可理解，图8所示的数据传输装置的具体实现方式还可参考图4、图5和图6所示的方法，这里不再一一详述。
在本申请实施例中，发送单元801发送查询请求，以使服务器根据上述查询请求查询目标数据并将查询到的上述目标数据的目标部分写入临时文件中；接收单元802接收上述服务器发送的第一临时文件和第二临时文件，上述第一临时文件携带第一特征分片号，上述第二临时文件携带第二特征分片号，上述第一特征分片号用于指示上述第一临时文件的内容在目标数据中的位置，上述第二特征分片号用于指示上述第二临时文件的内容在上述目标数据中的位置；拼接单元803根据上述第一特征分片号和上述第二特征分片号，对上述第一临时文件和上述第二临时文件进行拼接，得到上述目标数据。可见，本申请实施例可以将OSS作为中间存储，连接了客户端与服务器端，用户通过下载OSS的文件获取数据，最终实现了客户端与服务器端之间大批量数据的高效传输。
请参阅图9，图9是本申请实施例提供的一种数据传输装置的结构示意图，该装置包括：至少一个处理器901，例如中央处理器(central processing unit,CPU)，至少一个存储器902，至少一个收发器903和至少一个总线904。其中，上述总线904可以是一组并行的数据线，用于实现上述处理器901、上述存储器902和上述收发器903的相互连接；上述存储器902可以是高速随机存取存储器(random access memory，RAM)，也可以是非易失性存储器(non-volatile memory)，例如至少一个只读存储器(read only memory，ROM)。
具体的，上述处理器901根据查询请求查询目标数据；上述处理器901将查询到的上述目标数据的目标部分写入临时文件中，上述目标部分是上述目标数据的任一部分，上述临时文件携带特征分片号，上述特征分片号用于指示上述目标部分在上述目标数据中的位置；若写入上述临时文件的数据量达到预设阀值，则上述收发器903将上述临时文件上传至对象存储服务OSS。
进一步的，上述收发器903接收查询请求，上述查询请求包括目标特征；上述处理器901获取携带上述目标特征的目标数据的通用唯一识别码；上述处理器901根据上述通用唯一识别码在数据库中查询携带上述目标特征的目标数据。
进一步的，若检测到上述目标数据全部写入上述临时文件，上述收发器903将上述临时文件上传至OSS。
进一步的，上述收发器903向用户终端发送下载提示信息，上述下载提示信息包括上述目标数据的下载地址和下载时间，上述下载时间为用户可下载上述目标数据的时间。
具体的，上述存储器902中可以存储程序指令，上述处理器901可用于调用程序指令执行图1、图2和图3所示的方法。
请参阅图10，图10是本申请实施例提供的一种数据传输装置的结构示意图，该装置包括：至少一个处理器1001，例如中央处理器(central processing unit,CPU)，至少一个存储器1002，至少一个收发器1003和至少一个总线1004。其中，上述总线1004可以是一组并行的数据线，用于实现上述处理器1001、上述存储器1002和上述收发器1003的相互连接；上述存储器1002可以是高速随机存取存储器(random access memory，RAM)，也可以是非易失性存储器(non-volatile memory)，例如至少一个只读存储器(read only memory，ROM)。
具体的，上述收发器1003发送查询请求，以使服务器根据上述查询请求查询目标数据并将查询到的上述目标数据的目标部分写入临时文件中；上述收发器1003接收服务器发送的第一临时文件和第二临时文件，上述第一临时文件携带第一特征分片号，上述第二临时文件携带第二特征分片号，上述第一特征分片号用于指示上述第一临时文件的内容在目标数据中的位置，上述第二特征分片号用于指示上述第二临时文件的内容在上述目标数据中的位置；上述处理器1001根据上述第一特征分片号和上述第二特征分片号，对上述第一临时文件和上述第二临时文件进行拼接，得到上述目标数据。
进一步的，上述处理器1001识别上述第一特征分片号与上述第二特征分片号，确定上述第一临时文件与上述第二临时文件的拼接顺序；上述处理器1001根据上述拼接顺序对上述第一临时文件与上述第二临时文件进行拼接，得到上述目标数据。
具体的，上述存储器1002中可以存储程序指令，上述处理器1001可用于调用程序指令执行图4、图5和图6所示的方法。
本领域普通技术人员可以理解上述实施例的各种方法中的全部或部分步骤是可以通过程序来指令相关的硬件来完成，该程序可以存储于计算机可读存储介质中，存储介质包括只读存储器(read only memory，ROM)、随机存储器(random access memory，RAM)、可编程只读存储器(programmable read only memory，PROM)、可擦除可编程只读存储器(erasable programmable read only memory，EPROM)、一次可编程只读存储器(one-timeprogrammable read-only memory，OTPROM)、电子抹除式可复写只读存储器(electrically-erasable programmable read-only memory，EEPROM)、只读光盘(compactdisc read-only memory，CD-ROM)或其他光盘存储器、磁盘存储器、磁带存储器、或者能够用于携带或存储数据的计算机可读的任何其他介质。
以上对本申请实施例公开的一种数据传输方法及装置进行了详细介绍，本文中应用了具体个例对本申请的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本申请的方法及其核心思想；同时，对于本领域的一般技术人员，依据本申请的思想，在具体实施方式及应用范围上均会有改变之处。综上所述，本说明书内容不应理解为对本申请的限制。
Claims (9)
1.一种数据传输方法，其特征在于，所述方法包括：
根据查询请求查询目标数据；
将查询到的所述目标数据的目标部分写入临时文件中，所述目标部分是所述目标数据的任一部分，所述临时文件携带特征分片号，所述特征分片号用于指示所述目标部分在所述目标数据中的位置，不同的临时文件携带不同的特征分片号，不同的临时文件写入的内容不同；
若写入所述临时文件的数据量达到预设阀值，则将所述临时文件上传至对象存储服务OSS；
向用户终端发送下载提示信息，所述下载提示信息包括所述目标数据的下载地址和下载时间，所述下载时间为用户可下载所述目标数据的时间。
2.根据权利要求1所述的方法，其特征在于，所述根据查询请求查询目标数据，包括：
接收查询请求，所述查询请求包括目标特征；
获取携带所述目标特征的目标数据的通用唯一识别码；
根据所述通用唯一识别码在数据库中查询携带所述目标特征的目标数据。
3.根据权利要求1或2所述的方法，其特征在于，所述方法还包括：
若检测到所述目标数据全部写入所述临时文件，将所述临时文件上传至OSS。
4.一种数据传输方法，其特征在于，所述方法包括：
发送查询请求，以使服务器根据所述查询请求查询目标数据并将查询到的所述目标数据的目标部分写入临时文件中，所述目标部分是所述目标数据的任一部分，所述临时文件携带特征分片号，所述特征分片号用于指示所述目标部分在所述目标数据中的位置，不同的临时文件携带不同的特征分片号，不同的临时文件写入的内容不同；
接收所述服务器发送的第一临时文件和第二临时文件，所述第一临时文件携带第一特征分片号，所述第二临时文件携带第二特征分片号，所述第一特征分片号用于指示所述第一临时文件的内容在目标数据中的位置，所述第二特征分片号用于指示所述第二临时文件的内容在所述目标数据中的位置；
根据所述第一特征分片号和所述第二特征分片号，对所述第一临时文件和所述第二临时文件进行拼接，得到所述目标数据，以使所述服务器向用户终端发送下载提示信息，所述下载提示信息包括所述目标数据的下载地址和下载时间，所述下载时间为用户可下载所述目标数据的时间。
5.根据权利要求4所述的方法，其特征在于，所述根据所述第一特征分片号和所述第二特征分片号，对所述第一临时文件和所述第二临时文件进行拼接，得到所述目标数据，包括：
识别所述第一特征分片号与所述第二特征分片号，确定所述第一临时文件与所述第二临时文件的拼接顺序；
根据所述拼接顺序对所述第一临时文件与所述第二临时文件进行拼接，得到所述目标数据。
6.一种数据传输装置，其特征在于，所述装置包括：
查询单元，用于根据查询请求查询目标数据；
写入单元，用于将查询到的所述目标数据的目标部分写入临时文件中，所述目标部分是所述目标数据的任一部分，所述临时文件携带特征分片号，所述特征分片号用于指示所述目标部分在所述目标数据中的位置，不同的临时文件携带不同的特征分片号，不同的临时文件写入的内容不同；
第一传输单元，用于若写入所述临时文件的数据量达到预设阀值，则将所述临时文件上传至对象存储服务OSS；
发送单元，用于向用户终端发送下载提示信息，所述下载提示信息包括所述目标数据的下载地址和下载时间，所述下载时间为用户可下载所述目标数据的时间。
7.一种数据传输装置，其特征在于，所述装置包括：
发送单元，用于发送查询请求，以使服务器根据所述查询请求查询目标数据并将查询到的所述目标数据的目标部分写入临时文件中，所述目标部分是所述目标数据的任一部分，所述临时文件携带特征分片号，所述特征分片号用于指示所述目标部分在所述目标数据中的位置，不同的临时文件携带不同的特征分片号，不同的临时文件写入的内容不同；
接收单元，用于接收所述服务器发送的第一临时文件和第二临时文件，所述第一临时文件携带第一特征分片号，所述第二临时文件携带第二特征分片号，所述第一特征分片号用于指示所述第一临时文件的内容在目标数据中的位置，所述第二特征分片号用于指示所述第二临时文件的内容在所述目标数据中的位置；
拼接单元，用于根据所述第一特征分片号和所述第二特征分片号，对所述第一临时文件和所述第二临时文件进行拼接，得到所述目标数据，以使所述服务器向用户终端发送下载提示信息，所述下载提示信息包括所述目标数据的下载地址和下载时间，所述下载时间为用户可下载所述目标数据的时间。
8.一种数据传输装置，其特征在于，包括处理器、存储器和收发器；所述处理器、所述存储器以及所述收发器通过总线相互连接；其中，所述存储器用于存储计算机程序，所述计算机程序包括程序指令，所述处理器被配置用于调用所述程序指令，执行如权利要求1至3任一项所述的方法。
9.一种数据传输装置，其特征在于，包括处理器、存储器和收发器；所述处理器、所述存储器以及所述收发器通过总线相互连接；其中，所述存储器用于存储计算机程序，所述计算机程序包括程序指令，所述处理器被配置用于调用所述程序指令，执行如权利要求4至5任一项所述的方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910761736.3A CN110597766B (zh) | 2019-08-16 | 2019-08-16 | 一种数据传输方法及装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910761736.3A CN110597766B (zh) | 2019-08-16 | 2019-08-16 | 一种数据传输方法及装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN110597766A CN110597766A (zh) | 2019-12-20 |
| CN110597766B true CN110597766B (zh) | 2024-01-05 |
Family
ID=68854662
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201910761736.3A Active CN110597766B (zh) | 2019-08-16 | 2019-08-16 | 一种数据传输方法及装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN110597766B (zh) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112965950A (zh) * | 2021-03-09 | 2021-06-15 | 浪潮云信息技术股份公司 | 一种实现流式数据写入对象存储的方法 |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106487841A (zh) * | 2015-08-27 | 2017-03-08 | 阿里巴巴集团控股有限公司 | 一种数据迁移方法及设备 |
| CN109995821A (zh) * | 2017-12-29 | 2019-07-09 | 中移(苏州)软件技术有限公司 | 文件上传的方法及系统、客户端、服务器、对象存储系统 |
| WO2019144159A1 (en) * | 2018-01-22 | 2019-07-25 | Spredfast, Inc. | Temporal optimization of data operations using distributed search and server management |
-
2019
- 2019-08-16 CN CN201910761736.3A patent/CN110597766B/zh active Active
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106487841A (zh) * | 2015-08-27 | 2017-03-08 | 阿里巴巴集团控股有限公司 | 一种数据迁移方法及设备 |
| CN109995821A (zh) * | 2017-12-29 | 2019-07-09 | 中移(苏州)软件技术有限公司 | 文件上传的方法及系统、客户端、服务器、对象存储系统 |
| WO2019144159A1 (en) * | 2018-01-22 | 2019-07-25 | Spredfast, Inc. | Temporal optimization of data operations using distributed search and server management |
Also Published As
| Publication number | Publication date |
|---|---|
| CN110597766A (zh) | 2019-12-20 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| EP3654618B1 (en) | Audio broadcasting method, device, and system, and smart broadcasting apparatus | |
| US11403262B2 (en) | Local networked storage linked to remote networked storage system | |
| US9912747B2 (en) | Browser and system for download and download method | |
| US10108501B2 (en) | Terminal backup and recovery method | |
| CN1988535A (zh) | 文件存储同步方法、系统及客户端 | |
| US20050267846A1 (en) | Information terminal device and content backup method | |
| CN102307210A (zh) | 一种数据下载系统及其数据管理和下载方法 | |
| CN110968478B (zh) | 日志采集方法、服务器及计算机存储介质 | |
| CN104919444A (zh) | 主题集合 | |
| CN105204964A (zh) | 基于云盘的数据备份方法及装置 | |
| CN110597766B (zh) | 一种数据传输方法及装置 | |
| US20090150395A1 (en) | System and method for updating file | |
| US9569552B2 (en) | Code based configuration of mobile devices | |
| CN105765570A (zh) | 音乐识别 | |
| CN117036115A (zh) | 合同数据的核验方法、装置和服务器 | |
| CN101977231A (zh) | 映像文件的下载方法 | |
| CN108965463B (zh) | 一种文件传输方法、装置和系统 | |
| EP3731491A1 (en) | Method and device for downloading resources | |
| CN113485921B (zh) | 文件系统的测试方法、装置、设备及存储介质 | |
| CN113849125B (zh) | 一种cdn服务器磁盘读取的方法、装置及系统 | |
| CN105871982A (zh) | 内容推送的方法、装置以及系统 | |
| WO2008141588A1 (fr) | Procédé et dispositif servant à mettre à jour des contenus de réseau | |
| CN114138961A (zh) | 有声电子书的播放处理方法、计算设备及计算机存储介质 | |
| CN110930163B (zh) | 一种房源委托业务的实现方法、系统及存储介质 | |
| CN110716961B (zh) | 一种数据处理方法及装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |