CN116389454A - 数据下载系统 - Google Patents
数据下载系统 Download PDFInfo
- Publication number
- CN116389454A CN116389454A CN202310201280.1A CN202310201280A CN116389454A CN 116389454 A CN116389454 A CN 116389454A CN 202310201280 A CN202310201280 A CN 202310201280A CN 116389454 A CN116389454 A CN 116389454A
- Authority
- CN
- China
- Prior art keywords
- data
- downloading
- download
- service system
- module
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000012545 processing Methods 0.000 claims abstract description 55
- 238000012795 verification Methods 0.000 claims description 30
- 230000001360 synchronised effect Effects 0.000 claims description 7
- 238000000034 method Methods 0.000 description 8
- 230000005540 biological transmission Effects 0.000 description 7
- 238000004891 communication Methods 0.000 description 7
- 230000003068 static effect Effects 0.000 description 4
- 238000012512 characterization method Methods 0.000 description 3
- 238000010586 diagram Methods 0.000 description 3
- 230000000694 effects Effects 0.000 description 3
- 238000011161 development Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000012827 research and development Methods 0.000 description 2
- 239000002699 waste material Substances 0.000 description 2
- 239000000835 fiber Substances 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L67/00—Network arrangements or protocols for supporting network services or applications
- H04L67/01—Protocols
- H04L67/06—Protocols specially adapted for file transfer, e.g. file transfer protocol [FTP]
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L67/00—Network arrangements or protocols for supporting network services or applications
- H04L67/01—Protocols
- H04L67/10—Protocols in which an application is distributed across nodes in the network
- H04L67/1097—Protocols in which an application is distributed across nodes in the network for distributed storage of data in networks, e.g. transport arrangements for network file system [NFS], storage area networks [SAN] or network attached storage [NAS]
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L67/00—Network arrangements or protocols for supporting network services or applications
- H04L67/34—Network arrangements or protocols for supporting network services or applications involving the movement of software or configuration parameters
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L67/00—Network arrangements or protocols for supporting network services or applications
- H04L67/50—Network services
- H04L67/56—Provisioning of proxy services
- H04L67/568—Storing data temporarily at an intermediate stage, e.g. caching
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
- Y02D30/00—Reducing energy consumption in communication networks
- Y02D30/50—Reducing energy consumption in communication networks in wire-line communication networks, e.g. low power modes or reduced link rate
Landscapes
- Engineering & Computer Science (AREA)
- Computer Networks & Wireless Communication (AREA)
- Signal Processing (AREA)
- Information Transfer Between Computers (AREA)
- Stored Programmes (AREA)
Abstract
本公开的实施例公开了数据下载系统。该系统的一具体实施方式包括:下载管理端、数据处理端、业务系统和云存储端,其中:下载管理端,设置业务系统的通用下载配置信息和每个下载模块的个性化下载配置;业务系统,用于根据通用下载配置信息和每个下载模块的个性化下载配置,对业务系统中的报表建立数据下载模块,从下载管理终端下载软件开发工具包,响应于接收到数据下载请求,利用软件开发工具包进行数据下载,将所下载的数据发送至数据处理端;数据处理端,用于基于所接收到的数据生成目标下载数据,将目标下载数据发送至云存储端;云存储端,用于对目标下载数据进行存储。该实施方式可以降低下载功能对业务系统的资源占用,提高下载并发数。
Description
技术领域
本公开的实施例涉及计算机技术领域,具体涉及数据下载系统。
背景技术
数据下载,是一项从业务系统中下载数据报表中的数据的技术。目前,在对数据进行下载时,通常采用的方式为:利用中间件接收数据下载请求,并根据数据下载请求中的标识判断待下载的数据是否已经预存于数据库中,若已经预存,则支持下载,若没有预存,则需要先将数据下载请求所请求的数据先预存成静态的离线数据后再进行下载;或者在接收到下载数据请求后,获取目标数据并根据目标数据创建目标数据表,最终从目标数据表中下载数据。
然而,当采用上述方式对数据进行下载时,经常会存在如下技术问题:
第一,利用中间件的方式需要判断所请求下载的数据否已经预存于数据库,若没有预存,则需要先将下载请求的数据先预存成静态的离线数据后才能进行下载,不能直接地进行大批量的数据下载,而且还造成数据的重复存储,浪费存储资源;
第二,创建目标数据表的方式将需要下载的数据查询出来后落地生成一张目标数据库表,最终对目标数据库表执行下载,造成了数据的重复存储,浪费存储资源。
发明内容
本公开的内容部分用于以简要的形式介绍构思,这些构思将在后面的具体实施方式部分被详细描述。本公开的内容部分并不旨在标识要求保护的技术方案的关键特征或必要特征,也不旨在用于限制所要求的保护的技术方案的范围。
本公开的一些实施例提出了数据下载系统,来解决以上背景技术部分提到的技术问题中的一项或多项。
第一方面,本公开的一些实施例提供了一种数据下载系统,其特征在于,上述数据下载系统包括:下载管理端、数据处理端、业务系统和云存储端,其中:上述下载管理端,用于接入上述业务系统,以及设置上述业务系统的通用下载配置信息和每个下载模块的个性化下载配置;上述业务系统,用于根据上述通用下载配置信息和上述每个下载模块的个性化下载配置,对上述业务系统中的每个报表建立数据下载模块,从上述下载管理终端下载用于数据下载的软件开发工具包,响应于接收到数据下载请求,利用上述软件开发工具包进行数据下载,将所下载的数据发送至上述数据处理端;上述数据处理端,用于基于所接收到的数据生成目标下载数据,将上述目标下载数据发送至上述云存储端;上述云存储端,用于对上述目标下载数据进行存储。
本公开的上述各个实施例具有如下有益效果:通过本公开的一些实施例的数据下载系统,可以使得各业务系统可以便捷地集成数据下载功能,减少功能的重复开发,节省研发资源,且可以在一定程度上避免数据的重复存储。具体来说,造成不能直接地进行大批量的数据下载,且数据的重复存储和存储资源浪费的原因在于:利用中间件的方式不仅需要对每个业务系统进行中间件开发,还需要判断所请求下载的数据否已经预存于数据库,若没有预存,则需要先将下载请求的数据先预存成静态的离线数据后才能进行下载。基于此,本公开的一些实施例的数据下载系统包括下载管理端、数据处理端、业务系统和云存储端。其中,上述下载管理端,用于接入上述业务系统,以及设置上述业务系统的通用下载配置信息和每个下载模块的个性化下载配置。由此,可以提供下载管理端业务系统接入,使得各业务系统能够对下载功能进行独立配置,无需针对每个业务系统开发中间件。业务系统下的数据通常以数据报表的形式提供给用户,而业务系统下会存在多张报表,每张报表的数据量不同,查询复杂度也不同,针对这种情况,下载管理平台支持以模块化的方式管理业务系统下各个报表的下载功能,从而进行个性化配置。上述业务系统,用于根据上述通用下载配置信息和上述每个下载模块的个性化下载配置,对上述业务系统中的每个报表建立数据下载模块,从上述下载管理终端下载用于数据下载的软件开发工具包,响应于接收到数据下载请求,利用上述软件开发工具包进行数据下载,将所下载的数据发送至上述数据处理端。上述数据处理端,用于基于所接收到的数据生成目标下载数据,将上述目标下载数据发送至上述云存储端,用于对上述目标下载数据进行存储。由此,在数据下载时,通过流式的方式读取数据,然后再流式传输到下载管理平台的数据处理服务端,在服务端接收并汇总数据,生成目标格式的文件,最后上传到云存储供用户下载。这样能够大幅降低下载功能对业务系统的资源占用,提高下载并发数。
附图说明
结合附图并参考以下具体实施方式,本公开各实施例的上述和其他特征、优点及方面将变得更加明显。贯穿附图中,相同或相似的附图标记表示相同或相似的元素。应当理解附图是示意性的,元件和元素不一定按照比例绘制。
图1是本公开的实施例可以应用于其中的示例性系统架构图;
图2是根据本公开的数据下载系统的一些实施例的时序图。
具体实施方式
下面将参照附图更详细地描述本公开的实施例。虽然附图中显示了本公开的某些实施例,然而应当理解的是,本公开可以通过各种形式来实现,而且不应该被解释为限于这里阐述的实施例。相反,提供这些实施例是为了更加透彻和完整地理解本公开。应当理解的是,本公开的附图及实施例仅用于示例性作用,并非用于限制本公开的保护范围。
另外还需要说明的是,为了便于描述,附图中仅示出了与有关发明相关的部分。在不冲突的情况下,本公开中的实施例及实施例中的特征可以相互组合。
需要注意,本公开中提及的“第一”、“第二”等概念仅用于对不同的装置、模块或单元进行区分,并非用于限定这些装置、模块或单元所执行的功能的顺序或者相互依存关系。
需要注意,本公开中提及的“一个”、“多个”的修饰是示意性而非限制性的,本领域技术人员应当理解,除非在上下文另有明确指出,否则应该理解为“一个或多个”。
本公开实施方式中的多个装置之间所交互的消息或者信息的名称仅用于说明性的目的,而并不是用于对这些消息或信息的范围进行限制。
下面将参考附图并结合实施例来详细说明本公开。
图1是本公开的一些实施例的数据下载系统的示例性系统架构100。
如图1所示,系统架构100可以包括下载管理端101、数据处理端102、业务系统103、云存储端104和网络105。其中,网络105用以在下载管理端101、数据处理端102、业务系统103和云存储端104之间提供通信链路的介质。网络105可以包括各种连接类型,例如有线、无线通信链路或者光纤电缆等等。
下载管理端101、数据处理端102、业务系统103和云存储端104可以通过网络105进行交互以接收或发送消息。
应该理解,图1中的下载管理端、数据处理端、业务系统、云存储端和网络的数目仅仅是示意性的。根据实现需要,可以具有任意数目的下载管理端、数据处理端、业务系统、云存储端和网络。
继续参考图2,示出了根据本公开的数据下载系统的一些实施例的时序图200。
本申请实施例中的数据下载系统可以包括:下载管理端(例如图1所示的下载管理端101)、数据处理端(例如图1所示的数据处理端102)、业务系统(例如图1所示的业务系统103)和云存储端(例如图1所示的云存储端104),其中:上述下载管理端,用于接入上述业务系统,以及设置上述业务系统的通用下载配置信息和每个下载模块的个性化下载配置;上述业务系统,用于根据上述通用下载配置信息和上述每个下载模块的个性化下载配置,对上述业务系统中的每个报表建立数据下载模块,从上述下载管理终端下载用于数据下载的软件开发工具包,响应于接收到数据下载请求,利用上述软件开发工具包进行数据下载,将所下载的数据发送至上述数据处理端;上述数据处理端,用于基于所接收到的数据生成目标下载数据,将上述目标下载数据发送至上述云存储端;上述云存储端,用于对上述目标下载数据进行存储。
如图2所示,在步骤201中,下载管理端接入业务系统。
在一些实施例中,下载管理端可以用于接入业务系统。上述接入可以是在上述下载管理端和上述业务系统之间建立通信连接。
在步骤202中,下载管理端设置业务系统的通用下载配置信息和每个下载模块的个性化下载配置。
在一些实施例中,上述下载管理端设置业务系统的通用下载配置信息和每个下载模块的个性化下载配置,可以包括以下步骤:
第一步,配置上述业务系统的线程池容量、线程池队列容量、执行模式和下载间隔,得到第一下载配置信息。其中,上述线程池容量可以是线程池中所包括的线程的最大数量。上述线程池队列容量可以是用于存放提交至上述线程池的下载任务的队列的最大长度。上述执行模式可以是下载任务的执行模式。上述执行模式可以包括同步下载模式和异步下载模式。上述下载间隔可以是两次下载任务之间的最小时间间隔。上述下载间隔可以用于控制下载频率,平衡业务系统的下载压力。
第二步,将上述业务系统的系统编码、系统名称和上述第一下载配置信息组合,得到通用下载配置信息。其中,上述系统编码可以用于唯一标识一个业务系统。
可选的,上述下载管理端设置业务系统的通用下载配置信息和每个下载模块的个性化下载配置,还可以包括以下步骤:
第一步,配置上述业务系统的每个下载模块的下载并行度、异步下载阈值和最大下载数据量,得到上述每个下载模块的第二配置信息。
其中,上述下载并行度可以是同时运行的下载任务的最大数量。上述异步下载阈值可以是用于区分下载模式的数据量的数值。实践中,当下载任务所下载的数据量小于等于上述异步下载阈值时,可以确定下载任务的下载模式是同步下载模式。当下载任务所下载的数据量大于上述异步下载阈值时,可以确定下载任务的下载模式是异步下载模式。由此,利用异步下载阈值用来界定业务系统的数据报表中数据的下载方式,改善用户的下载体验。上述最大下载数据量可以是执行下载任务时,业务系统中的数据报表能够承受的最大下载数据量。下载的数据量越多,业务系统所承担的压力就越大。上述最大下载数据量能够平衡业务系统的下载压力,维护业务系统的稳定。
第二步,将上述每个下载模块的模块编码、模块名称和对应的第二配置信息组合,得到上述每个下载模块的个性化配置信息。其中,上述模块编码可以用于唯一标识一个下载模块。
在步骤203中,业务系统根据通用下载配置信息和每个下载模块的个性化下载配置,对业务系统中的每个报表建立数据下载模块。
在一些实施例中,业务系统可以用于根据通用下载配置信息和每个下载模块的个性化下载配置,对业务系统中的每个报表建立数据下载模块。其中,上述业务系统中的每个报表均对应于一个数据下载模块。
在一些实施例的一些可选的实现方式中,业务系统还可以用于响应于上述业务系统开始启动,根据上述通用下载配置信息中的线程池容量和线程池队列容量,执行线程池初始化操作,得到线程池。
在步骤204中,业务系统从下载管理终端下载用于数据下载的软件开发工具包。
在一些实施例中,业务系统可以用于从下载管理终端下载用于数据下载的软件开发工具包。其中,上述下载管理终端中的软件开发工具包可以是预先生成的。
在步骤205中,业务系统响应于接收到数据下载请求,利用软件开发工具包进行数据下载。
在一些实施例中,业务系统响应于接收到数据下载请求,利用软件开发工具包进行数据下载,可以包括以下步骤:
第一步,响应于接收到上述用户端发送的数据下载请求,创建下载任务,得到新建下载任务。
第二步,将上述数据下载请求发送至上述数据处理端以进行下载请求校验。
第三步,接收上述数据处理端返回的校验结果信息。
第四步,响应于确定上述校验结果信息表征检验失败,将上述校验结果信息发送至上述用户端。其中,可以预先分别设置上述校验结果信息表征检验成功和检验失败的内容。实践中,可以根据实际应用需求进行设置,此处不做限定。作为示例,上述校验结果信息表征检验成功的内容可以为1,上述校验结果信息表征检验成功的内容可以为0。
在一些实施例的一些可选的实现方式中,上述数据处理端还可以用于执行以下步骤:
第一步,响应于接收到上述业务系统发送的上述数据下载请求,确定上述业务系统是否接入上述数据处理端、上述业务系统中是否存在与上述数据下载请求所请求的数据对应的数据下载模块、上述业务系统所接收到的上一个数据下载请求与上述数据下载请求之间的时间间隔是否小于上述业务系统的下载间隔、上述数据下载请求所请求的数据的数据量是否小于等于对应的数据下载模块的最大下载数据量。
第二步,响应于确定上述业务系统已接入上述数据处理端、且上述业务系统中存在与上述数据下载请求所请求的数据对应的数据下载模块、且上述业务系统所接收到的上一个数据下载请求与上述数据下载请求之间的时间间隔小于等于上述业务系统的下载间隔、且上述数据下载请求所请求的数据的数据量小于等于对应的数据下载模块的最大下载数据量,生成表征检验成功的校验结果信息。
第三步,响应于确定上述业务系统未接入上述数据处理端、或上述业务系统中不存在与上述数据下载请求所请求的数据对应的数据下载模块、或上述业务系统所接收到的上一个数据下载请求与上述数据下载请求之间的时间间隔大于上述业务系统的下载间隔、或上述数据下载请求所请求的数据的数据量大于对应的数据下载模块的最大下载数据量,生成表征检验失败的校验结果信息。
第四步,将校验结果信息发送至上述业务系统。
可选的,上述业务系统还可以用于执行以下步骤:
第一步,响应于确定上述校验结果信息表征检验成功,将上述数据下载请求所请求的数据所在的数据报表所对应的下载模块确定为目标下载模块。其中,上述业务系统中的各个下载模块可以与各个数据报表一一对应。
第二步,确定上述数据下载请求所请求的数据的数据量是否大于上述目标下载模块异步下载阈值。
第三步,响应于确定上述数据下载请求所请求的数据的数据量小于等于上述目标下载模块异步下载阈值,确定上述新建下载任务的下载模式是同步下载模式,以及执行以下同步下载步骤:
第一子步骤,查询上述数据下载请求所请求的数据,得到查询数据。
第二子步骤,基于上述查询数据生成目标下载数据。其中,可以将上述查询数据存储至目标格式的文件中,从而得到目标下载数据。作为示例,上述目标格式可以是.xls。
第三子步骤,将上述目标下载数据发送至上述用户端。
可选的,上述业务系统还可以用于执行以下步骤:
第一步,响应于确定上述数据下载请求所请求的数据的数据量大于上述目标下载模块的异步下载阈值,确定上述新建下载任务的下载模式是异步下载模式,以及执行以下异步下载步骤:
第一子步骤,将上述新建下载任务提交至上述线程池。
第二子步骤,向上述数据处理端申请下载并行度。
第三子步骤,接收上述数据处理端返回的下载并行度申请结果。其中,可以预先分别设置上述下载并行度申请结果表征申请成功和申请失败的内容。实践中,可以根据实际应用需求进行设置,此处不做限定。作为示例,上述下载并行度申请结果表征申请成功的内容可以为1,上述下载并行度申请结果表征检验失败的内容可以为0。
第四子步骤,响应于确定上述下载并行度申请结果表征申请失败,以预设的时间间隔继续向上述数据处理端申请下载并行度。实践中,可以根据实际应用需要设置上述时间间隔,此处不做限定。作为示例,上述时间间隔可以是20秒。
第五子步骤,响应于确定上述下载并行度申请结果表征申请成功,从上述数据处理端获取数据传输节点,以及与上述数据传输节点建立通信连接,以生成数据传输通道。
第六子步骤,对上述数据下载请求所请求的数据进行流式下载,以及通过上述数据传输通道将所下载的数据流式传输至上述数据处理端,以及接收上述数据处理端返回的数据接收结果。其中,上述流式下载可以是一种对数据边下载边传输的下载模式。
第七子步骤,响应于确定在预设时长内未接收到上述数据处理端返回的数据接收结果,重新与上述数据传输节点建立通信连接。实践中,可以根据实际应用需要设置上述预设时长,此处不做限定。作为示例,上述预设时长可以是30秒。
若在预设时长内未接收到上述数据处理端返回的数据接收结果,则可以表明与上述数据传输节点建立的通信连接中断了。
第八子步骤,响应于确定上述数据下载请求所请求的数据下载完毕,中断与上述数据传输节点间建立的通信连接。
上述数据处理端和业务系统所执行的步骤作为本公开的实施例的一个发明点,解决了背景技术提及的技术问题二“创建目标数据表的方式将需要下载的数据查询出来后落地生成一张目标数据库表,最终对目标数据库表执行下载,造成了数据的重复存储,浪费存储资源”。导致上述技术问题的因素往往如下:创建目标数据表的方式将需要下载的数据查询出来后落地生成一张目标数据库表,最终对目标数据库表执行下载,造成了数据的重复存储,浪费存储资源。如果解决了上述因素,就能达到降低资源消耗,提升下载性能,并维持业务系统的稳定运行的效果。为了达到这一效果,本公开根据上述数据下载请求所请求的数据的数据量与上述目标下载模块异步下载阈值之间的大小关系,确定数据下载模式。当上述数据下载请求所请求的数据的数据量小于等于上述目标下载模块异步下载阈值,确定上述新建下载任务的下载模式是同步下载模式。然后就在业务系统本地生成目标下载数据,并直接向用户交付,满足用户的下载体验。当上述数据下载请求所请求的数据的数据量大于上述目标下载模块的异步下载阈值,确定上述新建下载任务的下载模式是异步下载模式。然后将新建下载任务提交到线程池,并在下载完成后通知用户。流式读取数据并流式传输到下载管理平台的数据处理端,极大地降低资源消耗,提升下载性能,并能维持业务系统的稳定运行。
在步骤206中,业务系统将所下载的数据发送至数据处理端。
在一些实施例中,上述业务系统可以用于将所下载的数据发送至数据处理端。
在步骤207中,数据处理端基于所接收到的数据生成目标下载数据。
在一些实施例中,上述数据处理端可以用于基于所接收到的数据生成目标下载数据。其中,上述数据处理端将所接收到的数据加入上述目标格式的文件中,从而得到目标下载数据。
可选的,上述数据处理端还可以用于执行以下步骤:
第一步,响应于确定上述下载并行度申请结果表征申请成功,将当前时间确定为上述新建下载任务的开始时间并进行记录。其中,当上述目标下载模块的当前下载并行度小于等于该目标下载模块配置的下载并行度,则可以确定上述下载并行度申请结果表征申请成功。当上述目标下载模块的当前下载并行度大于该目标下载模块配置的下载并行度,则可以确定上述下载并行度申请结果表征申请失败。
第二步,创建目标格式的数据文件。作为示例,上述目标格式可以为.xsl。
第三步,响应于接收到上述业务终端流式传输的数据,将所接收到的数据追加至上述数据文件中,以及向上述业务终端发送数据接收结果。其中,上述数据接收结果可以是数据处理端用于通知上述业务终端已接收到传输的数据的信息。
第四步,响应于确定上述业务终端流式传输的数据接收完毕,将上述数据文件确定为目标下载数据。其中,当所接收的数据的数据总量与上述数据下载请求所请求的数据的数据总量相同时,可以确定上述业务终端流式传输的数据接收完毕。
第五步,生成下载完成通知消息,以及将上述下载完成通知消息发送至上述用户端。实践中,可以根据实际应用需要设置上述下载完成通知消息的内容,此处不做限定。
在步骤208中,数据处理端将目标下载数据发送至云存储端。
在一些实施例中,上述数据处理端可以用于将目标下载数据发送至云存储端。
在步骤209中,云存储端对目标下载数据进行存储。
在一些实施例中,上述云存储端可以用于对目标下载数据进行存储。
在一些实施例中,上述数据下载系统还可以包括用户端。上述用户端可以用于执行以下步骤:
第一步,向所述业务系统发送数据下载请求。
第二步,从所述云存储端下载目标下载数据。
本公开的上述各个实施例具有如下有益效果:通过本公开的一些实施例的数据下载系统,可以使得各业务系统可以便捷地集成数据下载功能,减少功能的重复开发,节省研发资源,且可以在一定程度上避免数据的重复存储。具体来说,造成不能直接地进行大批量的数据下载,且数据的重复存储和存储资源浪费的原因在于:利用中间件的方式不仅需要对每个业务系统进行中间件开发,还需要判断所请求下载的数据否已经预存于数据库,若没有预存,则需要先将下载请求的数据先预存成静态的离线数据后才能进行下载。基于此,本公开的一些实施例的数据下载系统包括下载管理端、数据处理端、业务系统和云存储端。其中,上述下载管理端,用于接入上述业务系统,以及设置上述业务系统的通用下载配置信息和每个下载模块的个性化下载配置。由此,可以提供下载管理端业务系统接入,使得各业务系统能够对下载功能进行独立配置,无需针对每个业务系统开发中间件。业务系统下的数据通常以数据报表的形式提供给用户,而业务系统下会存在多张报表,每张报表的数据量不同,查询复杂度也不同,针对这种情况,下载管理平台支持以模块化的方式管理业务系统下各个报表的下载功能,从而进行个性化配置。上述业务系统,用于根据上述通用下载配置信息和上述每个下载模块的个性化下载配置,对上述业务系统中的每个报表建立数据下载模块,从上述下载管理终端下载用于数据下载的软件开发工具包,响应于接收到数据下载请求,利用上述软件开发工具包进行数据下载,将所下载的数据发送至上述数据处理端。上述数据处理端,用于基于所接收到的数据生成目标下载数据,将上述目标下载数据发送至上述云存储端,用于对上述目标下载数据进行存储。由此,在数据下载时,通过流式的方式读取数据,然后再流式传输到下载管理平台的数据处理服务端,在服务端接收并汇总数据,生成目标格式的文件,最后上传到云存储供用户下载。这样能够大幅降低下载功能对业务系统的资源占用,提高下载并发数。
以上描述仅为本公开的一些较佳实施例以及对所运用技术原理的说明。本领域技术人员应当理解,本公开的实施例中所涉及的发明范围,并不限于上述技术特征的特定组合而成的技术方案,同时也应涵盖在不脱离上述发明构思的情况下,由上述技术特征或其等同特征进行任意组合而形成的其它技术方案。例如上述特征与本公开的实施例中公开的(但不限于)具有类似功能的技术特征进行互相替换而形成的技术方案。
Claims (8)
1.一种数据下载系统,其特征在于,所述数据下载系统包括:下载管理端、数据处理端、业务系统和云存储端,其中:
所述下载管理端,用于接入所述业务系统,以及设置所述业务系统的通用下载配置信息和每个下载模块的个性化下载配置;
所述业务系统,用于根据所述通用下载配置信息和所述每个下载模块的个性化下载配置,对所述业务系统中的每个报表建立数据下载模块,从所述下载管理终端下载用于数据下载的软件开发工具包,响应于接收到数据下载请求,利用所述软件开发工具包进行数据下载,将所下载的数据发送至所述数据处理端;
所述数据处理端,用于基于所接收到的数据生成目标下载数据,将所述目标下载数据发送至所述云存储端;
所述云存储端,用于对所述目标下载数据进行存储。
2.根据权利要求1所述的数据下载系统,其中,所述数据下载系统还包括用户端,所述用户端用于:
向所述业务系统发送数据下载请求;
从所述云存储端下载目标下载数据。
3.根据权利要求2所述的数据下载系统,其中,所述下载管理端还用于:
配置所述业务系统的线程池容量、线程池队列容量、执行模式和下载间隔,得到第一下载配置信息;
将所述业务系统的系统编码、系统名称和所述第一下载配置信息组合,得到通用下载配置信息。
4.根据权利要求3所述的数据下载系统,其中,所述下载管理端还用于:
配置所述业务系统的每个下载模块的下载并行度、异步下载阈值和最大下载数据量,得到所述每个下载模块的第二配置信息;
将所述每个下载模块的模块编码、模块名称和对应的第二配置信息组合,得到所述每个下载模块的个性化配置信息。
5.根据权利要求4所述的数据下载系统,其中,所述业务系统还用于:
响应于所述业务系统开始启动,根据所述通用下载配置信息中的线程池容量和线程池队列容量,执行线程池初始化操作,得到线程池。
6.根据权利要求5所述的数据下载系统,其中,所述业务系统还用于:
响应于接收到所述用户端发送的数据下载请求,创建下载任务,得到新建下载任务;
将所述数据下载请求发送至所述数据处理端以进行下载请求校验;
接收所述数据处理端返回的校验结果信息;
响应于确定所述校验结果信息表征检验失败,将所述校验结果信息发送至所述用户端。
7.根据权利要求6所述的数据下载系统,其中,所述数据处理端还用于:
响应于接收到所述业务系统发送的所述数据下载请求,确定所述业务系统是否接入所述数据处理端、所述业务系统中是否存在与所述数据下载请求所请求的数据对应的数据下载模块、所述业务系统所接收到的上一个数据下载请求与所述数据下载请求之间的时间间隔是否小于所述业务系统的下载间隔、所述数据下载请求所请求的数据的数据量是否小于等于对应的数据下载模块的最大下载数据量;
响应于确定所述业务系统已接入所述数据处理端、且所述业务系统中存在与所述数据下载请求所请求的数据对应的数据下载模块、且所述业务系统所接收到的上一个数据下载请求与所述数据下载请求之间的时间间隔小于等于所述业务系统的下载间隔、且所述数据下载请求所请求的数据的数据量小于等于对应的数据下载模块的最大下载数据量,生成表征检验成功的校验结果信息;
响应于确定所述业务系统未接入所述数据处理端、或所述业务系统中不存在与所述数据下载请求所请求的数据对应的数据下载模块、或所述业务系统所接收到的上一个数据下载请求与所述数据下载请求之间的时间间隔大于所述业务系统的下载间隔、或所述数据下载请求所请求的数据的数据量大于对应的数据下载模块的最大下载数据量,生成表征检验失败的校验结果信息;
将校验结果信息发送至所述业务系统。
8.根据权利要求6所述的数据下载系统,其中,所述业务系统还用于:
响应于确定所述校验结果信息表征检验成功,将所述数据下载请求所请求的数据所在的数据报表所对应的下载模块确定为目标下载模块,其中,所述业务系统中的各个下载模块与各个数据报表一一对应;
确定所述数据下载请求所请求的数据的数据量是否大于所述目标下载模块异步下载阈值;
响应于确定所述数据下载请求所请求的数据的数据量小于等于所述目标下载模块异步下载阈值,确定所述新建下载任务的下载模式是同步下载模式,以及执行以下同步下载步骤:
查询所述数据下载请求所请求的数据,得到查询数据;
基于所述查询数据生成目标下载数据;
将所述目标下载数据发送至所述用户端。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202310201280.1A CN116389454A (zh) | 2023-03-01 | 2023-03-01 | 数据下载系统 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202310201280.1A CN116389454A (zh) | 2023-03-01 | 2023-03-01 | 数据下载系统 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN116389454A true CN116389454A (zh) | 2023-07-04 |
Family
ID=86963885
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202310201280.1A Pending CN116389454A (zh) | 2023-03-01 | 2023-03-01 | 数据下载系统 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN116389454A (zh) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN117555619A (zh) * | 2024-01-11 | 2024-02-13 | 浙江惠瀜网络科技有限公司 | 数据预处理方法、装置、设备和介质 |
-
2023
- 2023-03-01 CN CN202310201280.1A patent/CN116389454A/zh active Pending
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN117555619A (zh) * | 2024-01-11 | 2024-02-13 | 浙江惠瀜网络科技有限公司 | 数据预处理方法、装置、设备和介质 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN109660400B (zh) | 流控配置方法及系统 | |
CN103841134B (zh) | 基于api发送、接收信息的方法、装置及系统 | |
CN108848530B (zh) | 一种获取网络资源的方法、装置及调度服务器 | |
US20040192282A1 (en) | Mobile telephony application platform | |
EP2512064A1 (en) | Data configuration method and apparatus | |
CN111611091A (zh) | 一种业务对象的服务调用方法、装置及介质 | |
CN109274777B (zh) | 一种导出配置文件的方法、装置、设备及可读存储介质 | |
US11025490B2 (en) | Method for dynamically managing a network service in a communication network | |
CN116389454A (zh) | 数据下载系统 | |
CN102118325B (zh) | 一种配置聊天客户终端的方法及装置、聊天客户终端 | |
CN103701867A (zh) | 一种处理调用请求的方法、系统及中心服务器 | |
CN112559461A (zh) | 文件传输方法及装置、存储介质及电子设备 | |
CN112988378A (zh) | 业务处理方法及装置 | |
CN111935242A (zh) | 数据传输方法、装置、服务器以及存储介质 | |
CN111083204A (zh) | 文件传输方法、装置及存储介质 | |
CN107547591A (zh) | 升级服务器、机顶盒、机顶盒升级文件下发方法及系统 | |
CN103024051B (zh) | 一种进行服务器分发的装置、方法和相应系统 | |
CN111061723A (zh) | 工作流实现方法及装置 | |
CN103248668B (zh) | 虚拟桌面服务参数的协商方法、装置及系统 | |
WO2020253330A1 (zh) | 客户端设备配置管理的方法和装置 | |
CN114710496A (zh) | 一种多节点负载均衡方法及装置 | |
CN111477229B (zh) | 语音识别请求处理方法和装置 | |
CN114139093A (zh) | 一种数据通讯方法、设备及介质 | |
CN112738823A (zh) | 接口数据的交互方法、分布式单元以及中心单元 | |
CN112799849A (zh) | 一种数据处理方法、装置、设备及存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |