CN111741080B - 网络文件分发方法及装置 - Google Patents

Abstract

本公开实施例公开了一种网络文件分发方法及装置。其中，该方法包括：在创建批量处理任务的同时，创建与所述批量处理任务对应的监控进程；在执行所述批量处理任务的过程中，通过所述监控进程周期性地查询所述批量处理任务的执行信息文件；在查询确认所述批量处理任务中对应于第一交互方的全部业务已执行完毕后，将当前的所述执行信息文件加入到所述第一交互方的可下载文件队列中。

Description

网络文件分发方法及装置

技术领域

本公开涉及计算机网络技术领域，具体涉及一种网络文件分发方法、装置、电子设备及存储介质。

背景技术

随着互联网技术的蓬勃发展，越来越多的用户会选择通过互联网来办理日常事务，越来越多的事务也会提供通过互联网办理的手段。其中，很多复杂事务可能会涉及到多方交互或大量数据的批量处理，为保证多个交互终端中系统数据的一致性，现有技术往往通过一些限制手段来确保各交互方数据同步的准确性和稳定性，避免不当的同步操作产生脏数据、或是过于频繁的同步操作影响系统性能。

其中，在复杂的业务场景下，提供互联网服务的平台系统往往要面对海量的业务请求，为了提升系统处理效率，平台系统通常会选择批量处理同类业务请求，这对多方数据的管理提出了更高的要求。典型地，在批量处理过程中，由于整个业务流程通常较为复杂，同时各方人员所关注的重点涉及不同的维度，为避免个别请求打断批量处理整体进程，现有技术中一般都是通过一种大而全的方式来记录全部业务处理信息，仅在整个批量处理的全部业务完成之后才开放同步权限，然后由各相关方按需查询或更新各自的同步信息。

然而，发明人在实现本公开实施例相关技术方案的过程中发现，现有技术中批处理文件的同步权限控制方式至少存在以下问题：一方面，大业务量、复杂流程和多方交互导致整个批量处理进程和文件较为庞大，一旦系统在初期配置上有所失误，现有方式很难及时发现问题并进行纠错；另一方面，现有方式各方人员均需要等待全部处理操作完成才可开展后续工作，使得系统整体性能受处理最慢的业务的影响，木桶效应明显，严重影响系统效率和绝大多数交互方的用户体验。

发明内容

针对现有技术中的上述技术问题，本公开实施例提出了一种网络文件分发方法、装置、电子设备及计算机可读存储介质，以解决现有技术中同步权限控制影响系统效率的问题。

本公开实施例的第一方面提供了一种网络文件分发方法，包括：

在创建批量处理任务的同时，创建与所述批量处理任务对应的监控进程；

在执行所述批量处理任务的过程中，通过所述监控进程周期性地查询所述批量处理任务的执行信息文件；

在查询确认所述批量处理任务中对应于第一交互方的全部业务已执行完毕后，将当前的所述执行信息文件加入到所述第一交互方的可下载文件队列中。

在一些实施例中，所述方法还包括：接收至少一个交互方的文件下载请求，根据所述下载请求向所述至少一个交互方返回对应的可下载文件队列。

在一些实施例中，所述方法还包括：向所述第一交互方发送通知消息，将所述可下载文件队列展示给所述第一交互方。

在一些实施例中，所述查询包括：通过交互方和业务状态所对应的两个字段进行组合查询。

在一些实施例中，所述查询包括：对所述批量处理任务进行预处理，根据所述预处理的结果对所述批量处理任务中的业务状态进行查询。

本公开实施例的第二方面提供了一种网络文件分发装置，包括：

任务创建模块，用于在创建批量处理任务的同时，创建与所述批量处理任务对应的监控进程；

查询模块，用于在执行所述批量处理任务的过程中，通过所述监控进程周期性地查询所述批量处理任务的执行信息文件；

访问控制模块，用于在查询确认所述批量处理任务中对应于第一交互方的全部业务已执行完毕后，将当前的所述执行信息文件加入到所述第一交互方的可下载文件队列中。

在一些实施例中，所述装置还包括：请求响应模块，用于接收至少一个交互方的文件下载请求，根据所述下载请求向所述至少一个交互方返回对应的可下载文件队列。

在一些实施例中，所述装置还包括：推送模块，用于向所述第一交互方发送通知消息，将所述可下载文件队列展示给所述第一交互方。

在一些实施例中，所述查询模块包括：组合查询模块，用于通过交互方和业务状态所对应的两个字段进行组合查询。

在一些实施例中，所述查询模块包括：预处理查询模块，用于对所述批量处理任务进行预处理，根据所述预处理的结果对所述批量处理任务中的业务状态进行查询。

本公开实施例的第三方面提供了一种电子设备，包括：

存储器以及一个或多个处理器；

其中，所述存储器与所述一个或多个处理器通信连接，所述存储器中存储有可被所述一个或多个处理器执行的指令，所述指令被所述一个或多个处理器执行时，所述电子设备用于实现如前述各实施例所述的方法。

本公开实施例的第四方面提供了一种计算机可读存储介质，其上存储有计算机可执行指令，当所述计算机可执行指令被计算装置执行时，可用来实现如前述各实施例所述的方法。

本公开实施例的第五方面提供了一种计算机程序产品，所述计算机程序产品包括存储在计算机可读存储介质上的计算机程序，所述计算机程序包括程序指令，当所述程序指令被计算机执行时，可用来实现如前述各实施例所述的方法。

根据本公开实施例所提出的技术方案，通过一个定时轮询的监控进程来查询批量处理文件的执行情况，可以用极低的代价控制多个交互方的同步文件访问权限，从而可实现按需的、实时的网络文件分发，减少了绝大多数交互方的等待时间，因而大幅提升了系统效率和用户体验。

附图说明

通过参考附图会更加清楚的理解本公开的特征和优点，附图是示意性的而不应理解为对本公开进行任何限制，在附图中：

图1是根据本公开的一些实施例所示的一种网络文件分发方法流程示意图；

图2是根据本公开的一些实施例所示的一种网络文件分发装置的模块结构示意图；

图3是根据本公开的一些实施例所示的一种电子设备的结构示意图。

具体实施方式

在下面的详细描述中，通过示例阐述了本公开的许多具体细节，以便提供对相关披露的透彻理解。然而，对于本领域的普通技术人员来讲，本公开显而易见的可以在没有这些细节的情况下实施。应当理解的是，本公开中使用“系统”、“装置”、“单元”和/或“模块”术语，是用于区分在顺序排列中不同级别的不同部件、元件、部分或组件的一种方法。然而，如果其他表达式可以实现相同的目的，这些术语可以被其他表达式替换。

应当理解的是，当设备、单元或模块被称为“在……上”、“连接到”或“耦合到”另一设备、单元或模块时，其可以直接在另一设备、单元或模块上，连接或耦合到或与其他设备、单元或模块通信，或者可以存在中间设备、单元或模块，除非上下文明确提示例外情形。例如，本公开所使用的术语“和/或”包括一个或多个相关所列条目的任何一个和所有组合。

本公开所用术语仅为了描述特定实施例，而非限制本公开范围。如本公开说明书和权利要求书中所示，除非上下文明确提示例外情形，“一”、“一个”、“一种”和/或“该”等词并非特指单数，也可包括复数。一般说来，术语“包括”与“包含”仅提示包括已明确标识的特征、整体、步骤、操作、元素和/或组件，而该类表述并不构成一个排它性的罗列，其他特征、整体、步骤、操作、元素和/或组件也可以包含在内。

参看下面的说明以及附图，本公开的这些或其他特征和特点、操作方法、结构的相关元素的功能、部分的结合以及制造的经济性可以被更好地理解，其中说明和附图形成了说明书的一部分。然而，可以清楚地理解，附图仅用作说明和描述的目的，并不意在限定本公开的保护范围。可以理解的是，附图并非按比例绘制。

本公开中使用了多种结构图用来说明根据本公开的实施例的各种变形。应当理解的是，前面或下面的结构并不是用来限定本公开。本公开的保护范围以权利要求为准。

由于互联网用户(尤其是移动互联网用户)的快速增长，当前通过互联网开展的业务必须要积极应对海量用户和任务的冲击。其中，采用批量处理方式可使得系统无需对每个业务请求单独分配资源并分别响应，是一种有效的缓解系统压力、增强系统支持能力的手段。但在节省资源的同时，批量处理对数据一致性和安全性的要求更高，需要更严格的同步权限管理，这种同步权限管理方式在某些方面对系统效率造成了一定的负面影响。举例来说，当前用户需求最大的移动应用场景中，以移动支付应用对系统安全性、稳定性和可靠性的要求最高，而移动支付应用目前全部通过第三方支付机构作为中介的代收/付业务来完成两端用户的交互；面对动辄上亿的用户和业务请求，代收/付业务只能采用批量处理方式来缓解系统压力。具体地，在每个结算周期内，第三方支付机构的系统平台会处理多个付款批次，每个付款批次包括多个付款交易；为保证数据的一致性和安全性，系统会为每个付款批次创建一个回盘文件(即回盘文件与付款批次有一一对应关系)，记录该付款批次中每个付款交易的具体信息(包括来自于哪个下游系统、处理状态等)，且当该付款批次中的所有付款交易都处理完毕(包括付款成功或付款失败)后，才允许下游系统下载该回盘文件。由于同一批次的业务中可能涉及多个下游系统，所以经常会出现绝大多数下游系统必须等待个别下游系统的业务处理完成后才能下载回盘文件进行数据同步的情况，这严重影响了系统效率和用户体验。另一方面，如果系统平台为每个下游系统分别创建回盘文件(即付款批次与回盘文件为一对多关系)，虽然能使下游系统尽快获得相应的回盘文件，但该方式失去了批量处理的意义，由于回盘文件的增多，系统平台的数据管理、存储和维护的各项成本都会相应增加。

有鉴于此，本公开实施例提供了一种网络文件分发方法，通过一个定时轮询的查询进程来监控批量处理文件的执行情况，从而主动向已完成相关业务的交互方推送分发当前文件，使得该交互方可提前进行数据同步等处理，因而大幅提升了系统效率和用户体验。在本公开的一个实施例中，如图1所示，所述网络文件分发方法包括：

S101，在创建批量处理任务的同时，创建与所述批量处理任务对应的监控进程。

其中，所述批量处理任务包括多个待处理业务，这些待处理业务分属于多个不同的交互方，通过一个统一的文件(回盘文件)来记录全部业务的执行情况，该文件原则上在任务执行过程中不允许被任何交互方访问，尤其是不允许被从外部写入(增删改)数据。可选地，根据业务处理周期，将一个业务处理周期中的全部业务放在一个批量处理任务中集中执行；业务处理周期可以是预设的固定值，也可以根据业务情况按需设置或调整，比如按照结算周期(通常为日结)来创建一个或多个付款批次的任务。

在本公开的实施例中，在创建任务的同时还创建与任务对应的监控进程，该监控进程与所述批量处理任务在同一设备中运行(优选运行在系统平台本地)，对回盘文件具有读取权限和复制权限(或部分修改访问权限的权限)。

S102，在执行所述批量处理任务的过程中，通过所述监控进程周期性地查询所述批量处理任务的执行信息文件。

现有技术中，记录任务执行情况的回盘文件只能在全部业务都处理完毕后才开放访问权限，由于任务处理时间无法精确控制，因此与批量处理任务相关联的交互方(比如下游系统)一般是通过定时轮询的方式来检查回盘文件是否可被访问，在确认其访问权限已开放时按需下载该回盘文件。现有技术的方式一方面需要全部交互方均等待任务全部完成才可开展后续工作，另一方面会产生过多的外部查询访问请求，需要系统平台逐一接收和应答，显然也会影响系统性能。在本公开的实施例中，通过本地运行的监控进程来替代多个交互方进行查询，显然可大幅减少查询请求的数量和为此消耗的资源，提升系统性能。其中，监控进程的查询周期可以是预设的固定值，也可根据需要动态设置和/或调整，比如在批量处理的初期以较大的时间间隔来查询，在后期以较小的时间间隔来查询等，在此不做出具体的限制。

S103，在查询确认所述批量处理任务中对应于第一交互方的全部业务已执行完毕后，将当前的所述执行信息文件加入到所述第一交互方的可下载文件队列中。

在本公开的实施例中，为解决各交互方平均等待时间过长的问题，调整了回盘文件的同步权限控制方式，在任一交互方的业务已全部执行完毕后就向其开放回盘文件的访问权限，避免绝大多数交互方的长时间等待。更具体地，监控进程对当前的执行信息文件中业务执行状态进行查询，确认对应于各个交互方的业务完成情况，当确定某一交互方所对应的业务已全部执行完毕后，向该交互方开放回盘文件的访问权限。其中，所述查询可以采用多种方式进行，只要能达到确认各个交互方的业务完成情况的效果即可，在此不做出具体的限制。

在本公开的一个优选实施例中，监控进程通过交互方和业务状态所对应的两个字段进行组合查询，比如当查询到“(交互方)渠道＝系统A”且“(业务)处理状态＝未完成或空”的记录为空时，确认下游系统A对应的业务都已处理完毕，将该回盘文件加入下游系统A的可下载文件队列。当然，本领域技术人员可以理解，这种查询方式的好处是不需要进行预处理，可以在任何状态下执行，但缺点是需要对每一个交互方建立一条查询语句并多次遍历全部业务，查询语句的计算量较大。在一个可选的实施例中，监控进程也可以先对批量处理任务进行预处理，然后按预处理结果进行少量查询即可确认业务完成情况。举例来说，监控进程在预处理后可以记录每个交互方最后一个业务的信息(比如内容、序号等)，在查询时仅确定这批最后一个业务的状态即可确定该交互方的全部业务是否已完成，因而可通过一条查询语句即完成状态确认；或者根据业务序号，仅需确认当前正在执行的业务的序号，就可以确认在先已有哪些业务完成，进而确认哪些交互方的业务已全部完成。又或者，预处理时可以把全部业务按交互方分组后再按组排序，这样一方面可以更方便地确认业务完成情况，另一方面优先级高的交互方显然也能更快获取回盘文件；但同时有可能造成一部分在先发生的业务等待时间过长，降低用户体验。

此外，本领域技术人员可以理解，上述预处理后通过业务序号来降低查询语句计算量的方式仅限于批量处理是顺序执行方式，当采用并发执行、随机执行或是失败重传等方式来操作时，单纯的序号比对可能并不能解决相关技术问题。在本公开另一个可选的实施例中，监控进程还可在查询时对信息进行记录，以降低每次查询时的遍历次数，比如遍历查询一次，记录状态为“未完成”的业务的交互方，拒绝这些交互方的访问请求，而放开其他交互方的访问权限，也可以达到仅通过一次查询就确定全部交互方的业务执行情况的目的。

在一些实施例中，可以依交互方的请求来分发回盘文件，即优选地，本公开的网络文件分发方法还包括：

接收至少一个交互方的文件下载请求，根据所述下载请求向所述交互方返回对应的可下载文件队列。

又或者，可以主动将回盘文件推送给具备访问权限的交互方，即优选地，本公开的网络文件分发方法还包括：

向所述第一交互方发送通知消息，将所述可下载文件队列展示给所述第一交互方。

在本公开的实施例中，由于在一个结算周期内的付款批次不会很多，因此回盘文件也不会很多，所以“可下载文件队列”是轻量级的，即便为每个下游系统分别创建“可下载文件队列”，也不会占用太多的平台系统的存储成本和维护成本，从而可以极高的性价比来提升系统效率。

根据本公开实施例所提出的网络文件分发方法，可以用极低的代价控制多个交互方的同步文件访问权限，从而可实现按需的、实时的网络文件分发，减少了绝大多数交互方的等待时间，因而大幅提升了系统执行效率，增强了系统的可靠性和稳定性，改善了用户体验。

图2是根据本公开的一些实施例所示的一种网络文件分发装置示意图。如图2所示，网络文件分发装置200包括任务创建模块201、查询模块202和访问控制模块203；其中，

任务创建模块201，用于在创建批量处理任务的同时，创建与所述批量处理任务对应的监控进程；

查询模块202，用于在执行所述批量处理任务的过程中，通过所述监控进程周期性地查询所述批量处理任务的执行信息文件；

访问控制模块203，用于在查询确认所述批量处理任务中对应于第一交互方的全部业务已执行完毕后，将当前的所述执行信息文件加入到所述第一交互方的可下载文件队列中。

在一些实施例中，所述装置还包括：请求响应模块，用于接收至少一个交互方的文件下载请求，根据所述下载请求向所述至少一个交互方返回对应的可下载文件队列。

在一些实施例中，所述装置还包括：推送模块，用于向所述第一交互方发送通知消息，将所述可下载文件队列展示给所述第一交互方。

在一些实施例中，所述查询模块包括：组合查询模块，用于通过交互方和业务状态所对应的两个字段进行组合查询。

在一些实施例中，所述查询模块包括：预处理查询模块，用于对所述批量处理任务进行预处理，根据所述预处理的结果对所述批量处理任务中的业务状态进行查询。

参考附图3，为本公开一个实施例提供的电子设备示意图。如图3所示，该电子设备300包括：

存储器330以及一个或多个处理器310；

其中，所述存储器330与所述一个或多个处理器310通信连接，所述存储器330中存储有可被所述一个或多个处理器执行的指令332，所述指令332被所述一个或多个处理器310执行，以使所述一个或多个处理器310执行本公开前述实施例中的方法。

具体地，处理器310和存储器330可以通过总线或者其他方式连接，图3中以通过总线340连接为例。处理器310可以为中央处理器(Central Processing Unit，CPU)。处理器310还可以为其他通用处理器、数字信号处理器(Digital Signal Processor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现场可编程门阵列(Field-Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等芯片，或者上述各类芯片的组合。

存储器330作为一种非暂态计算机可读存储介质，可用于存储非暂态软件程序、非暂态计算机可执行程序以及模块，如本公开实施例中的级联渐进网络等。处理器310通过运行存储在存储器330中的非暂态软件程序、指令以及功能模块332，从而执行处理器的各种功能应用以及数据处理。

存储器330可以包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需要的应用程序；存储数据区可存储处理器310所创建的数据等。此外，存储器330可以包括高速随机存取存储器，还可以包括非暂态存储器，例如至少一个磁盘存储器件、闪存器件、或其他非暂态固态存储器件。在一些实施例中，存储器330可选包括相对于处理器310远程设置的存储器，这些远程存储器可以通过网络(比如通过通信接口320)连接至处理器310。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。

本公开的一个实施例还提供一种计算机可读存储介质，所述计算机可读存储介质中存储有计算机可执行指令，所述计算机可执行指令被执行后执行本公开前述实施例中的方法。

前述的计算机可读取存储介质包括以存储如计算机可读指令、数据结构、程序模块或其他数据等信息的任何方式或技术来实现的物理易失性和非易失性、可移动和不可移动介质。计算机可读取存储介质具体包括，但不限于，U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、可擦除可编程只读存储器(EPROM)、电可擦可编程只读存储器(EEPROM)、闪存或其他固态存储器技术、CD-ROM、数字多功能盘(DVD)、HD-DVD、蓝光(Blue-Ray)或其他光存储设备、磁带、磁盘存储或其他磁性存储设备、或能用于存储所需信息且可以由计算机访问的任何其他介质。

尽管此处所述的主题是在结合操作系统和应用程序在计算机系统上的执行而执行的一般上下文中提供的，但本领域技术人员可以认识到，还可结合其他类型的程序模块来执行其他实现。一般而言，程序模块包括执行特定任务或实现特定抽象数据类型的例程、程序、组件、数据结构和其他类型的结构。本领域技术人员可以理解，此处所述的本主题可以使用其他计算机系统配置来实践，包括手持式设备、多处理器系统、基于微处理器或可编程消费电子产品、小型计算机、大型计算机等，也可使用在其中任务由通过通信网络连接的远程处理设备执行的分布式计算环境中。在分布式计算环境中，程序模块可位于本地和远程存储器存储设备的两者中。

本领域普通技术人员可以意识到，结合本文中所本公开的实施例描述的各示例的单元及方法步骤，能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本公开的范围。

所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本公开的技术方案本质上或者说对原有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本公开各个实施例所述方法的全部或部分步骤。

综上所述，本公开提出了一种网络文件分发方法、装置、电子设备及其计算机可读存储介质。本公开实施例通过一个定时轮询的监控进程来查询批量处理文件的执行情况，可以用极低的代价控制多个交互方的同步文件访问权限，从而可实现按需的、实时的网络文件分发，减少了绝大多数交互方的等待时间，因而大幅提升了系统效率和用户体验。

应当理解的是，本公开的上述具体实施方式仅仅用于示例性说明或解释本公开的原理，而不构成对本公开的限制。因此，在不偏离本公开的精神和范围的情况下所做的任何修改、等同替换、改进等，均应包含在本公开的保护范围之内。此外，本公开所附权利要求旨在涵盖落入所附权利要求范围和边界、或者这种范围和边界的等同形式内的全部变化和修改例。

Claims (5)

1.一种网络文件分发方法，其特征在于，包括：

在创建批量处理任务的同时，创建与所述批量处理任务对应的监控进程；

在执行所述批量处理任务的过程中，通过所述监控进程周期性地查询所述批量处理任务的执行信息文件，所述查询包括：通过交互方和业务状态所对应的两个字段进行组合查询；

在查询确认所述批量处理任务中对应于第一交互方的全部业务已执行完毕后，将当前的所述执行信息文件加入到所述第一交互方的可下载文件队列中；

接收至少一个交互方的文件下载请求，根据所述下载请求向所述至少一个交互方返回对应的可下载文件队列，或者，

向所述第一交互方发送通知消息，将所述可下载文件队列展示给所述第一交互方。

2.根据权利要求1所述的方法，其特征在于，所述查询包括：

对所述批量处理任务进行预处理，根据所述预处理的结果对所述批量处理任务中的业务状态进行查询。

3.一种网络文件分发装置，其特征在于，包括：

任务创建模块，用于在创建批量处理任务的同时，创建与所述批量处理任务对应的监控进程；

查询模块，用于在执行所述批量处理任务的过程中，通过所述监控进程周期性地查询所述批量处理任务的执行信息文件，所述查询包括：通过交互方和业务状态所对应的两个字段进行组合查询；

访问控制模块，用于在查询确认所述批量处理任务中对应于第一交互方的全部业务已执行完毕后，将当前的所述执行信息文件加入到所述第一交互方的可下载文件队列中；

请求响应模块或推送模块，其中，所述请求响应模块用于接收至少一个交互方的文件下载请求，根据所述下载请求向所述至少一个交互方返回对应的可下载文件队列；所述推送模块用于向所述第一交互方发送通知消息，将所述可下载文件队列展示给所述第一交互方。

4.根据权利要求3所述的装置，其特征在于，所述查询模块包括：

组合查询模块，用于通过交互方和业务状态所对应的两个字段进行组合查询。

5.根据权利要求3所述的装置，其特征在于，所述查询模块包括：

预处理查询模块，用于对所述批量处理任务进行预处理，根据所述预处理的结果对所述批量处理任务中的业务状态进行查询。