CN111405015A - 一种数据处理方法、装置、设备及存储介质 - Google Patents

一种数据处理方法、装置、设备及存储介质 Download PDF

Info

Publication number
CN111405015A
CN111405015A CN202010158007.1A CN202010158007A CN111405015A CN 111405015 A CN111405015 A CN 111405015A CN 202010158007 A CN202010158007 A CN 202010158007A CN 111405015 A CN111405015 A CN 111405015A
Authority
CN
China
Prior art keywords
file
data
server
current
state
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010158007.1A
Other languages
English (en)
Other versions
CN111405015B (zh
Inventor
邱城晓
熊涛
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
China Construction Bank Corp
Original Assignee
China Construction Bank Corp
CCB Finetech Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by China Construction Bank Corp, CCB Finetech Co Ltd filed Critical China Construction Bank Corp
Priority to CN202010158007.1A priority Critical patent/CN111405015B/zh
Publication of CN111405015A publication Critical patent/CN111405015A/zh
Application granted granted Critical
Publication of CN111405015B publication Critical patent/CN111405015B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/06—Protocols specially adapted for file transfer, e.g. file transfer protocol [FTP]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/24—Querying
    • G06F16/245—Query processing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/14—Session management
    • H04L67/146—Markers for unambiguous identification of a particular session, e.g. session cookie or URL-encoding

Abstract

本发明公开了一种数据处理方法、装置、设备及存储介质。该方法包括：查询数据库中的标记数据；根据所述标记数据判断当前服务器的状态是否为锁定状态，若是，则结束任务；若否，则执行文件下载操作，并锁定所述当前服务器，通过本发明的技术方案，能够实现集群部署模式下报文文件处理数据高一致性和报文文件下载服务高可用性。

Description

一种数据处理方法、装置、设备及存储介质
技术领域
本发明实施例涉及计算机技术，尤其涉及一种数据处理方法、装置、设备及存储介质。
背景技术
集群通信系统是一种用于集团调度指挥通信的移动通信系统，主要应用在专业移动通信领域。该系统具有的可用信道可为系统的全体用户共用，具有自动选择信道功能，它是共享资源、分担费用、共用信道设备及服务的多用途、高效能的无线调度通信系统。
在集群环境中，如何实现集群部署系统与不可修改的垄断系统之间数据文件传输的高可用和数据一致性成为亟需解决的问题。
发明内容
本发明实施例提供一种数据处理方法、装置、设备及存储介质，以实现集群部署模式下报文文件处理数据高一致性和报文文件下载服务高可用性。
第一方面，本发明实施例提供了数据处理，包括：
查询数据库中的标记数据；
根据所述标记数据判断当前服务器的状态是否为锁定状态，若是，则结束任务；
若否，则执行文件下载操作，并锁定所述当前服务器。
进一步的，其中，所述标记数据包括锁超时时间，根据所述标记数据判断当前服务器的状态是否为锁定状态，若是，则结束任务包括：
根据所述标记数据判断当前服务器的状态是否为锁定状态，若是，则获取当前时间；
根据所述当前时间和所述锁超时时间判断当前服务器的状态是否为锁超时状态；
若是，则执行执行文件下载操作，并锁定所述当前服务器；
若否，则结束任务。
进一步的，查询数据库中的标记数据包括：
预先建立定时任务；
当定时任务到达执行时间时，查询数据库中的标记数据。
进一步的，还包括：
若执行文件下载操作的时间超过第一预设时间，则结束文件下载操作。
进一步的，还包括：
于执行执行文件下载操作时，获取当前时间和文件列表；
将所述文件列表中满足下载条件的文件依次下载到本地，数据接收操作成功后，删除文件服务器上面的文件。
进一步的，将所述文件列表中满足下载条件的文件依次下载到本地包括：
将所述文件列表中文件大小大于0且文件最后修改时间和第二预设时间之和小于或者等于当前时间的文件依次下载到本地。
进一步的，还包括：
下载文件过程中，如果本地文件已经存在，则在原有文件名基础之上附加序号；
文件下载成功后，删除服务器上面的文件，同时打印警告日志。
第二方面，本发明实施例还提供了一种数据处理装置，该装置包括：
查询模块，用于查询数据库中的标记数据；
判断模块，用于根据所述标记数据判断当前服务器的状态是否为锁定状态，若是，则结束任务；
执行模块，用于若否，则执行文件下载操作，并锁定当前服务器。
第三方面，本发明实施例还提供了一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如本发明实施例中任一所述的数据处理方法。
第四方面，本发明实施例还提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如本发明实施例中任一所述的数据处理方法。
本发明实施例通过查询数据库中的标记数据；根据所述标记数据判断当前服务器的状态是否为锁定状态，若是，则结束任务；若否，则执行文件下载操作，并锁定所述当前服务器，能够实现集群部署模式下报文文件处理数据高一致性和报文文件下载服务高可用性。
附图说明
为了更清楚地说明本发明实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本发明的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。
图1是本发明实施例一中的一种数据处理方法的流程图；
图2是本发明实施例二中的一种数据处理方法的流程图；
图3是本发明实施例三中的一种数据处理装置的结构示意图；
图4是本发明实施例四中的一种计算机设备的结构示意图。
具体实施方式
下面结合附图和实施例对本发明作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅仅用于解释本发明，而非对本发明的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与本发明相关的部分而非全部结构。
应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释。同时，在本发明的描述中，术语“第一”、“第二”等仅用于区分描述，而不能理解为指示或暗示相对重要性。
实施例一
图1为本发明实施例一提供的一种数据处理方法的流程图，本实施例可适用于数据处理的情况，该方法可以由本发明实施例中的数据处理装置来执行，该装置可采用软件和/或硬件的方式实现，如图1所示，该方法具体包括如下步骤：
S110，查询数据库中的标记数据。
其中，所述标记数据可以为预先存储于数据库中的数据，例如可以是，update表set锁字段＝1，where主键and锁字段＝0。其中，0表示释放，1表示锁定。
具体的，一套程序部署了多台服务器，每台服务器上有一个线程，数据库中有一个控制表，控制表中有一条数据，所述数据为标记数据，在线程运行过程中，查询数据库中的标记数据。
S120，根据所述标记数据判断当前服务器的状态是否为锁定状态，若是，则执行S130；若否，则执行S140。
具体的，根据数据库中的标记数据判断当前服务器的状态是否为锁定状态，例如可以是，可以根据数据库中的锁标志确定当前服务器的状态为锁定状态，也可以根据数据库中的标记数据确定当前服务器的状态为释放状态。
S130，结束任务。
具体的，如果判断为锁定状态，则return，下次运行。
S140，执行文件下载操作，并锁定所述当前服务器。
具体的，只要服务器里面有一个服务器可用，下载文件就不存在问题，部署版本涉及重启时，采用轮起方式，下载文件一直是能够正常进行的。
可选的，查询数据库中的标记数据包括：
预先建立定时任务；
当定时任务到达执行时间时，查询数据库中的标记数据。
具体的，预先建立定时任务，，当定时任务到达执行时间时，查询数据库中的标记数据。例如可以是，定时任务，30秒执行一次。
具体的，结束任务为结束当前定时任务，例如可以是，return，本次定时任务结束。
具体的，在定时任务开始的时候，先去拿锁，拿到锁之后执行文件下载操作。若是没有拿到锁，则本次定时任务结束。
可选的，还包括：
若执行文件下载操作的时间超过第一预设时间，则结束文件下载操作。
软件系统以文件方式交互，一方是垄断性质软件，在不改垄断软件基础之上实现文件传输过程中，实现集群部署系统与垄断软件系统文件传输高可用和数据一致性：数据文件不丢，数据文件无脏读脏写。
本实施例的技术方案，通过查询数据库中的标记数据；根据所述标记数据判断当前服务器的状态是否为锁定状态，若是，则结束任务；若否，则执行文件下载操作，并锁定所述当前服务器，能够实现实现集群部署系统与不可修改的垄断系统之间数据文件传输的高可用和数据一致性。
实施例二
图2为本发明实施例二中的一数据处理方法的流程图，本实施例以上述实施例为基础进行优化，在本实施例中，其中，所述标记数据包括锁超时时间，根据所述标记数据判断当前服务器的状态是否为锁定状态，若是，则结束任务包括：根据所述标记数据判断当前服务器的状态是否为锁定状态，若是，则获取当前时间；根据所述当前时间和所述锁超时时间判断当前服务器的状态是否为锁超时状态；若是，则执行执行文件下载操作，并锁定所述当前服务器；若否，则结束任务。
如图2所示，本实施例的方法具体包括如下步骤：
S210，查询数据库中的标记数据，其中，所述标记数据包括锁超时时间。
S220，根据所述标记数据判断当前服务器的状态是否为锁定状态，若是，则执行S230；若否，则执行S250。
S230，获取当前时间。
其中，所述当前时间为执行定时任务的时间。
具体的，可以通过计时器获取当前时间，本发明实施例对此不进行限制。
S240，根据所述当前时间和所述锁超时时间判断当前服务器的状态是否为锁超时状态，若是，则执行S250，若否，则执行S260。
具体的，数据库中存储有控制表，控制表中存在一个字段，所述字段用于记录执行锁操作的时间戳，将字段记录的时间与当前时间进行比较，进而判断是否超时。
S250，执行文件下载操作，并锁定所述当前服务器。
S260，结束任务。
具体的，结束任务为结束当前定时任务，例如可以是，return，本次定时任务结束。
可选的，还包括：
于执行执行文件下载操作时，获取当前时间和文件列表；
将所述文件列表中满足下载条件的文件依次下载到本地，数据接收操作成功后，删除文件服务器上面的文件。
可选的，将所述文件列表中满足下载条件的文件依次下载到本地包括：
将所述文件列表中文件大小大于0且文件最后修改时间和第二预设时间之和小于或者等于当前时间的文件依次下载到本地。
其中，所述第二预设时间为系统设定，也可以为用户设定，本发明实施例对此不进行限制，所述第二预设时间优选为5s。
可选的，还包括：
下载文件过程中，如果本地文件已经存在，则在原有文件名基础之上附加序号；
文件下载成功后，删除服务器上面的文件，同时打印警告日志。
在一个具体的例子中，部署环境，x86云虚拟服务器，操作系统：Linux；数据库：Oracle RAC；项目框架结构：sping+iBatis；垄断性质软件：SWIFT alliance。基于以上背景，我们搭建框架，实现数据文件传输高可用和数据一致性。系统包括多台机器，对应的数据库是同一个数据库，数据库里面有个控制表，表里面有一条数据，有两个字段：锁标志、锁超时时间，线程运行过程中，查询数据库里面那条记录，判断锁定/释放，如果是锁定，return，下次运行，线程运行过程中：1.查询数据库里面那条记录，判断锁定/释放，如果是锁定，如果锁超时，执行锁定操作，如果锁定成功，执行文件下载逻辑，如果锁没有超时，return，定时任务下载再做，如果是释放状态，执行锁定状态，如果锁定成功，执行文件下载逻辑。
在另一个具体的例子中，查询sql语句：select控制key；from控制表where控制key＝‘报文文件下载’and(锁标志＝‘0’or(标志＝‘1’and最后锁定时间戳<sysdate-30分钟))；锁定操作sql语句：update控制表；set锁标志＝‘1’,最后锁定时间戳＝sysdate；where控制key＝‘报文文件下载’and(锁标志＝‘0’or(标志＝‘1’and最后锁定时间戳<sysdate-30分钟))释放锁sql语句：update控制表；set锁标志＝‘0’,最后锁定时间戳＝sysdate；where控制key＝‘报文文件下载’。
本发明实施例在成熟的Oracle数据库技术之上，使用数据库表记录控制报文文件下载服务，实现了集群部署模式下报文文件处理数据高一致性和报文文件下载服务高可用性。
本发明实施例设计线程竞争模式，竞争成功的线程执行文件接收操作，从而实现集群部署模式下，文件下载高可用，只要集群中有一个没有宕机就能继续做数据文件接收操作。设计“超时补偿机制”，当一个线程竞争成功后，超时未释放，则强制释放。下载数据文件时，获取文件服务器当前时间戳，获取文件列表，判断文件大小为0的跳过；判断(文件最后修改时间+5秒>文件服务器当前时间戳),如果满足条件跳过。满足下载条件的文件依次下载到本地，数据接收操作成功后，删除文件服务器上面的文件。下载文件过程中，如果本地文件已经存在，则在原有文件名基础之上附加序号，下载到本地，下载成功后，删除文件服务器上面的文件，同时打印警告日志。
本实施例的技术方案，通过查询数据库中的标记数据，其中，所述标记数据包括锁超时时间，根据所述标记数据判断当前服务器的状态是否为锁定状态，若否，则执行文件下载操作，并锁定所述当前服务器，若是，则获取当前时间；根据所述当前时间和所述锁超时时间判断当前服务器的状态是否为锁超时状态；若是，则执行执行文件下载操作，并锁定所述当前服务器；若否，则结束任务；能够实现集群部署模式下报文文件处理数据高一致性和报文文件下载服务高可用性。
实施例三
图3为本发明实施例三提供的一种数据处理装置的结构示意图。本实施例可适用于数据处理的情况，该装置可采用软件和/或硬件的方式实现，该装置可集成在任何提供数据处理的功能的设备中，如图3所示，所述数据处理装置具体包括：查询模块310、判断模块320和执行模块330。
其中，查询模块310，用于查询数据库中的标记数据；
判断模块320，用于根据所述标记数据判断当前服务器的状态是否为锁定状态，若是，则结束任务；
执行模块330，用于若否，则执行文件下载操作，并锁定当前服务器。
可选的，其中，判断模块具体用于：
根据所述标记数据判断当前服务器的状态是否为锁定状态，若是，则获取当前时间；
根据所述当前时间和所述锁超时时间判断当前服务器的状态是否为锁超时状态；
若是，则执行执行文件下载操作，并锁定所述当前服务器；
若否，则结束任务。
可选的，查询模块具体用于：
预先建立定时任务；
当定时任务到达执行时间时，查询数据库中的标记数据。
上述产品可执行本发明任意实施例所提供的方法，具备执行方法相应的功能模块和有益效果。
本实施例的技术方案，通过查询数据库中的标记数据；根据所述标记数据判断当前服务器的状态是否为锁定状态，若是，则结束任务；若否，则执行文件下载操作，并锁定所述当前服务器，能够实现集群部署模式下报文文件处理数据高一致性和报文文件下载服务高可用性。
实施例四
图4为本发明实施例四中的一种计算机设备的结构示意图。图4示出了适于用来实现本发明实施方式的示例性计算机设备12的框图。图4显示的计算机设备12仅仅是一个示例，不应对本发明实施例的功能和使用范围带来任何限制。
如图4所示，计算机设备12以通用计算设备的形式表现。计算机设备12的组件可以包括但不限于：一个或者多个处理器或者处理单元16，系统存储器28，连接不同系统组件(包括系统存储器28和处理单元16)的总线18。
总线18表示几类总线结构中的一种或多种，包括存储器总线或者存储器控制器，外围总线，图形加速端口，处理器或者使用多种总线结构中的任意总线结构的局域总线。举例来说，这些体系结构包括但不限于工业标准体系结构(ISA)总线，微通道体系结构(MAC)总线，增强型ISA总线、视频电子标准协会(VESA)局域总线以及外围组件互连(PCI)总线。
计算机设备12典型地包括多种计算机系统可读介质。这些介质可以是任何能够被计算机设备12访问的可用介质，包括易失性和非易失性介质，可移动的和不可移动的介质。
系统存储器28可以包括易失性存储器形式的计算机系统可读介质，例如随机存取存储器(RAM)30和/或高速缓存存储器32。计算机设备12可以进一步包括其它可移动/不可移动的、易失性/非易失性计算机系统存储介质。仅作为举例，存储系统34可以用于读写不可移动的、非易失性磁介质(图4未显示，通常称为“硬盘驱动器”)。尽管图4中未示出，可以提供用于对可移动非易失性磁盘(例如“软盘”)读写的磁盘驱动器，以及对可移动非易失性光盘(例如CD-ROM,DVD-ROM或者其它光介质)读写的光盘驱动器。在这些情况下，每个驱动器可以通过一个或者多个数据介质接口与总线18相连。存储器28可以包括至少一个程序产品，该程序产品具有一组(例如至少一个)程序模块，这些程序模块被配置以执行本发明各实施例的功能。
具有一组(至少一个)程序模块42的程序/实用工具40，可以存储在例如存储器28中，这样的程序模块42包括——但不限于——操作系统、一个或者多个应用程序、其它程序模块以及程序数据，这些示例中的每一个或某种组合中可能包括网络环境的实现。程序模块42通常执行本发明所描述的实施例中的功能和/或方法。
计算机设备12也可以与一个或多个外部设备14(例如键盘、指向设备、显示器24等)通信，还可与一个或者多个使得用户能与该计算机设备12交互的设备通信，和/或与使得该计算机设备12能与一个或多个其它计算设备进行通信的任何设备(例如网卡，调制解调器等等)通信。这种通信可以通过输入/输出(I/O)接口22进行。另外，本实施例中的计算机设备12，显示器24不是作为独立个体存在，而是嵌入镜面中，在显示器24的显示面不予显示时，显示器24的显示面与镜面从视觉上融为一体。并且，计算机设备12还可以通过网络适配器20与一个或者多个网络(例如局域网(LAN)，广域网(WAN)和/或公共网络，例如因特网)通信。如图所示，网络适配器20通过总线18与计算机设备12的其它模块通信。应当明白，尽管图中未示出，可以结合计算机设备12使用其它硬件和/或软件模块，包括但不限于：微代码、设备驱动器、冗余处理单元、外部磁盘驱动阵列、RAID系统、磁带驱动器以及数据备份存储系统等。
处理单元16通过运行存储在系统存储器28中的程序，从而执行各种功能应用以及数据处理，例如实现本发明实施例所提供的数据处理方法：查询数据库中的标记数据；根据所述标记数据判断当前服务器的状态是否为锁定状态，若是，则结束任务；若否，则执行文件下载操作，并锁定所述当前服务器。
实施例五
本发明实施例五提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如本申请所有发明实施例提供的数据处理方法：查询数据库中的标记数据；根据所述标记数据判断当前服务器的状态是否为锁定状态，若是，则结束任务；若否，则执行文件下载操作，并锁定所述当前服务器。
可以采用一个或多个计算机可读的介质的任意组合。计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子(非穷举的列表)包括：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本文件中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。
计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括——但不限于——电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读介质，该计算机可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。
计算机可读介质上包含的程序代码可以用任何适当的介质传输，包括——但不限于——无线、电线、光缆、RF等等，或者上述的任意合适的组合。
可以以一种或多种程序设计语言或其组合来编写用于执行本发明操作的计算机程序代码，所述程序设计语言包括面向对象的程序设计语言—诸如Java、Smalltalk、C++，还包括常规的过程式程序设计语言—诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中，远程计算机可以通过任意种类的网络——包括局域网(LAN)或广域网(WAN)—连接到用户计算机，或者，可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。
注意，上述仅为本发明的较佳实施例及所运用技术原理。本领域技术人员会理解，本发明不限于这里所述的特定实施例，对本领域技术人员来说能够进行各种明显的变化、重新调整和替代而不会脱离本发明的保护范围。因此，虽然通过以上实施例对本发明进行了较为详细的说明，但是本发明不仅仅限于以上实施例，在不脱离本发明构思的情况下，还可以包括更多其他等效实施例，而本发明的范围由所附的权利要求范围决定。

Claims (10)

1.一种数据处理方法，其特征在于，包括：
查询数据库中的标记数据；
根据所述标记数据判断当前服务器的状态是否为锁定状态，若是，则结束任务；
若否，则执行文件下载操作，并锁定所述当前服务器。
2.根据权利要求1所述的方法，其特征在于，其中，所述标记数据包括锁超时时间，根据所述标记数据判断当前服务器的状态是否为锁定状态，若是，则结束任务包括：
根据所述标记数据判断当前服务器的状态是否为锁定状态，若是，则获取当前时间；
根据所述当前时间和所述锁超时时间判断当前服务器的状态是否为锁超时状态；
若是，则执行执行文件下载操作，并锁定所述当前服务器；
若否，则结束任务。
3.根据权利要求1所述的方法，其特征在于，查询数据库中的标记数据包括：
预先建立定时任务；
当定时任务到达执行时间时，查询数据库中的标记数据。
4.根据权利要求1所述的方法，其特征在于，还包括：
若执行文件下载操作的时间超过第一预设时间，则结束文件下载操作。
5.根据权利要求2所述的方法，其特征在于，还包括：
于执行执行文件下载操作时，获取当前时间和文件列表；
将所述文件列表中满足下载条件的文件依次下载到本地，数据接收操作成功后，删除文件服务器上面的文件。
6.根据权利要求5所述的方法，其特征在于，将所述文件列表中满足下载条件的文件依次下载到本地包括：
将所述文件列表中文件大小大于0且文件最后修改时间和第二预设时间之和小于或者等于当前时间的文件依次下载到本地。
7.根据权利要求5所述的方法，其特征在于，还包括：
下载文件过程中，如果本地文件已经存在，则在原有文件名基础之上附加序号；
文件下载成功后，删除服务器上面的文件，同时打印警告日志。
8.一种数据处理装置，其特征在于，包括：
查询模块，用于查询数据库中的标记数据；
判断模块，用于根据所述标记数据判断当前服务器的状态是否为锁定状态，若是，则结束任务；
执行模块，用于若否，则执行文件下载操作，并锁定当前服务器。
9.一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现如权利要求1-7中任一所述的方法。
10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现如权利要求1-7中任一所述的方法。
CN202010158007.1A 2020-03-09 2020-03-09 一种数据处理方法、装置、设备及存储介质 Active CN111405015B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010158007.1A CN111405015B (zh) 2020-03-09 2020-03-09 一种数据处理方法、装置、设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010158007.1A CN111405015B (zh) 2020-03-09 2020-03-09 一种数据处理方法、装置、设备及存储介质

Publications (2)

Publication Number Publication Date
CN111405015A true CN111405015A (zh) 2020-07-10
CN111405015B CN111405015B (zh) 2022-09-30

Family

ID=71413235

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010158007.1A Active CN111405015B (zh) 2020-03-09 2020-03-09 一种数据处理方法、装置、设备及存储介质

Country Status (1)

Country Link
CN (1) CN111405015B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112925840A (zh) * 2021-03-09 2021-06-08 上海华客信息科技有限公司 数据导出方法、系统、设备及存储介质

Citations (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101183377A (zh) * 2007-12-10 2008-05-21 华中科技大学 一种基于消息中间件的高可用性数据库集群
WO2013036697A2 (en) * 2011-09-09 2013-03-14 Microsoft Corporation Clustered client failover
CN103514298A (zh) * 2013-10-16 2014-01-15 浪潮(北京)电子信息产业有限公司 一种实现文件锁的方法及元数据服务器
US20140137120A1 (en) * 2012-11-09 2014-05-15 Sap Ag Managing transactions within an application server
CN105912306A (zh) * 2016-04-12 2016-08-31 电子科技大学 一种高并发平台服务器的数据处理的方法
US20170083538A1 (en) * 2015-09-22 2017-03-23 Sap Se Database Processing After a Lock Condition
CN106776816A (zh) * 2016-11-24 2017-05-31 北京小米移动软件有限公司 加锁方法和装置
EP3185142A1 (en) * 2015-12-21 2017-06-28 Sap Se Distributed database transaction protocol
EP3217248A1 (en) * 2015-12-31 2017-09-13 Huawei Technologies Co., Ltd. Method and device for writing data, and system
CN107368498A (zh) * 2016-05-13 2017-11-21 阿里巴巴集团控股有限公司 优化MySQL悲观锁的锁等待超时时间的方法及装置
CN108667872A (zh) * 2017-03-31 2018-10-16 北京京东尚科信息技术有限公司 用于调度服务器的存档方法和装置
CN108874552A (zh) * 2018-06-28 2018-11-23 杭州云英网络科技有限公司 分布式锁执行方法、装置及系统、应用服务器和存储介质
CN109033359A (zh) * 2018-07-26 2018-12-18 北京天地和兴科技有限公司 一种多进程安全访问sqlite的方法
US20190042303A1 (en) * 2015-09-24 2019-02-07 Wangsu Science & Technology Co.,Ltd. Distributed storage-based file delivery system and method
CN109639794A (zh) * 2018-12-10 2019-04-16 杭州数梦工场科技有限公司 一种有状态集群恢复方法、装置、设备及可读存储介质
CN109783449A (zh) * 2018-12-13 2019-05-21 深圳壹账通智能科技有限公司 数据查询处理方法、平台、系统及可读存储介质
CN110162384A (zh) * 2019-04-19 2019-08-23 深圳壹账通智能科技有限公司 基于Redis分布式锁的超时时间动态调整方法及系统
CN110399383A (zh) * 2019-07-29 2019-11-01 中国工商银行股份有限公司 应用于服务器的数据处理方法、装置、计算设备、介质
CN110445864A (zh) * 2019-08-11 2019-11-12 西藏宁算科技集团有限公司 一种云计算环境下分布式锁的实现方法及系统

Patent Citations (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101183377A (zh) * 2007-12-10 2008-05-21 华中科技大学 一种基于消息中间件的高可用性数据库集群
WO2013036697A2 (en) * 2011-09-09 2013-03-14 Microsoft Corporation Clustered client failover
US20140137120A1 (en) * 2012-11-09 2014-05-15 Sap Ag Managing transactions within an application server
CN103514298A (zh) * 2013-10-16 2014-01-15 浪潮(北京)电子信息产业有限公司 一种实现文件锁的方法及元数据服务器
US20170083538A1 (en) * 2015-09-22 2017-03-23 Sap Se Database Processing After a Lock Condition
US20190042303A1 (en) * 2015-09-24 2019-02-07 Wangsu Science & Technology Co.,Ltd. Distributed storage-based file delivery system and method
EP3185142A1 (en) * 2015-12-21 2017-06-28 Sap Se Distributed database transaction protocol
EP3217248A1 (en) * 2015-12-31 2017-09-13 Huawei Technologies Co., Ltd. Method and device for writing data, and system
CN105912306A (zh) * 2016-04-12 2016-08-31 电子科技大学 一种高并发平台服务器的数据处理的方法
CN107368498A (zh) * 2016-05-13 2017-11-21 阿里巴巴集团控股有限公司 优化MySQL悲观锁的锁等待超时时间的方法及装置
CN106776816A (zh) * 2016-11-24 2017-05-31 北京小米移动软件有限公司 加锁方法和装置
CN108667872A (zh) * 2017-03-31 2018-10-16 北京京东尚科信息技术有限公司 用于调度服务器的存档方法和装置
CN108874552A (zh) * 2018-06-28 2018-11-23 杭州云英网络科技有限公司 分布式锁执行方法、装置及系统、应用服务器和存储介质
CN109033359A (zh) * 2018-07-26 2018-12-18 北京天地和兴科技有限公司 一种多进程安全访问sqlite的方法
CN109639794A (zh) * 2018-12-10 2019-04-16 杭州数梦工场科技有限公司 一种有状态集群恢复方法、装置、设备及可读存储介质
CN109783449A (zh) * 2018-12-13 2019-05-21 深圳壹账通智能科技有限公司 数据查询处理方法、平台、系统及可读存储介质
CN110162384A (zh) * 2019-04-19 2019-08-23 深圳壹账通智能科技有限公司 基于Redis分布式锁的超时时间动态调整方法及系统
CN110399383A (zh) * 2019-07-29 2019-11-01 中国工商银行股份有限公司 应用于服务器的数据处理方法、装置、计算设备、介质
CN110445864A (zh) * 2019-08-11 2019-11-12 西藏宁算科技集团有限公司 一种云计算环境下分布式锁的实现方法及系统

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
ZHENDONG YANG等: "Secure Model Based on Multi-cloud for Big Data Storage and Query", 《2016 INTERNATIONAL CONFERENCE ON ADVANCED CLOUD AND BIG DATA (CBD)》 *
宾海云: "浅谈MS SQL Server数据库锁机制及一种阻塞监测方法研究", 《信息与电脑》 *

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112925840A (zh) * 2021-03-09 2021-06-08 上海华客信息科技有限公司 数据导出方法、系统、设备及存储介质

Also Published As

Publication number Publication date
CN111405015B (zh) 2022-09-30

Similar Documents

Publication Publication Date Title
CN109254733B (zh) 用于存储数据的方法、装置和系统
CN110389935B (zh) 一种启动小程序的方法、设备和计算机存储介质
EP0648038A3 (en) A data processing system for providing user load levelling in a network
CN110968478B (zh) 日志采集方法、服务器及计算机存储介质
CN111444147A (zh) 一种数据页创建方法、装置、终端设备及存储介质
CN114385091A (zh) 网盘盘符的实现方法、装置、网盘及存储介质
CN113076304A (zh) 一种分布式版本管理方法、装置和系统
CN110851276A (zh) 一种业务请求处理方法、装置、服务器和存储介质
CN111831618A (zh) 数据写入方法、数据读取方法、装置、设备及存储介质
CN109766317B (zh) 一种文件的删除方法、装置、设备及存储介质
CN114780615A (zh) 错误码管理方法及其装置
CN111405015B (zh) 一种数据处理方法、装置、设备及存储介质
CN108520401B (zh) 用户名单管理方法、装置、平台及存储介质
CN108111598B (zh) 云盘数据的下发方法、装置及存储介质
CN113761052A (zh) 数据库同步方法和装置
CN110222046B (zh) 列表数据的处理方法、装置、服务器和存储介质
CN116701020A (zh) 消息延时处理方法、装置、设备、介质和程序产品
CN113127430A (zh) 镜像信息处理方法、装置、计算机可读介质及电子设备
CN116032614A (zh) 容器网络微隔离方法、装置、设备和介质
CN114036195A (zh) 一种数据请求处理方法、装置、服务器和存储介质
CN114528049A (zh) 一种基于InfluxDB实现API调用信息统计的方法及系统
CN113761051A (zh) 消息推送方法、数据获取方法、装置、系统、设备和介质
CN112925796A (zh) 一种写一致性控制方法、装置、设备及存储介质
CN113377724A (zh) 一种缓存空间管理方法、装置和存储介质
CN113254819A (zh) 一种页面渲染方法、系统、设备和存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
TA01 Transfer of patent application right

Effective date of registration: 20220916

Address after: 25 Financial Street, Xicheng District, Beijing 100033

Applicant after: CHINA CONSTRUCTION BANK Corp.

Address before: 25 Financial Street, Xicheng District, Beijing 100033

Applicant before: CHINA CONSTRUCTION BANK Corp.

Applicant before: Jianxin Financial Science and Technology Co.,Ltd.

TA01 Transfer of patent application right