CN112667656A - 交易数据的处理方法、装置、计算机设备和存储介质 - Google Patents

交易数据的处理方法、装置、计算机设备和存储介质 Download PDF

Info

Publication number
CN112667656A
CN112667656A CN202011419203.6A CN202011419203A CN112667656A CN 112667656 A CN112667656 A CN 112667656A CN 202011419203 A CN202011419203 A CN 202011419203A CN 112667656 A CN112667656 A CN 112667656A
Authority
CN
China
Prior art keywords
data
transaction data
processed
processing
fragmentation
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202011419203.6A
Other languages
English (en)
Inventor
张荣荣
李德俊
于辉
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Southern Power Grid Digital Grid Research Institute Co Ltd
CSG Finance Co Ltd
Original Assignee
Southern Power Grid Digital Grid Research Institute Co Ltd
CSG Finance Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Southern Power Grid Digital Grid Research Institute Co Ltd, CSG Finance Co Ltd filed Critical Southern Power Grid Digital Grid Research Institute Co Ltd
Priority to CN202011419203.6A priority Critical patent/CN112667656A/zh
Publication of CN112667656A publication Critical patent/CN112667656A/zh
Pending legal-status Critical Current

Links

Images

Landscapes

  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本申请涉及一种交易数据的处理方法、装置、计算机设备和存储介质。所述方法包括:获取待处理的交易数据;确定所述待处理的交易数据的分片方式;根据所述分片方式,对所述待处理的交易数据进行分片处理,得到至少两段分片数据;分别将各段分片数据分发至对应的目标服务器进行处理。采用本方法,实现了将各段分片数据分发至对应的目标服务器进行处理的目的,避免了在交易数据的数据量较大的情况下,单台服务器的服务性能有限,导致交易数据的处理效率较低的缺陷,从而提高了交易数据的处理效率。

Description

交易数据的处理方法、装置、计算机设备和存储介质
技术领域
本申请涉及数据处理技术领域,特别是涉及一种交易数据的处理方法、装置、计算机设备和存储介质。
背景技术
在日终账务处理时,对交易数据(比如结息数据)进行核算,是一种常见的处理方式。
传统技术中,针对交易数据的处理方式,一般是在日终作业时,将交易数据发送至单台服务器进行处理;但是,当交易数据的数据量较大,单台服务器的服务性能有限,导致交易数据的处理效率较低。
发明内容
基于此,有必要针对上述技术问题,提供一种能够提高交易数据的处理效率的交易数据的处理方法、装置、计算机设备和存储介质。
一种交易数据的处理方法,所述方法包括:
获取待处理的交易数据;
确定所述待处理的交易数据的分片方式;
根据所述分片方式,对所述待处理的交易数据进行分片处理,得到至少两段分片数据;
分别将各段分片数据分发至对应的目标服务器进行处理。
在其中一个实施例中,所述获取待处理的交易数据,包括:
从数据库中获取预设周期内的交易数据,作为所述待处理的交易数据。
在其中一个实施例中,所述确定所述待处理的交易数据的分片方式,包括:
获取所述待处理的交易数据的数据类型;
根据所述数据类型查询数据类型与分片方式的对应关系,得到所述待处理的交易数据的分片方式。
在其中一个实施例中,所述根据所述分片方式,对所述待处理的交易数据进行分片处理,得到至少两段分片数据,包括:
获取与所述分片方式对应的分片指令;
根据所述分片指令,按照预设顺序对所述待处理的交易数据进行分片处理,得到至少两段分片数据。
在其中一个实施例中,所述分别将各段分片数据分发至对应的目标服务器进行处理,包括:
从服务器集群中筛选出空闲的服务器,作为所述目标服务器;
分别将各段分片数据分发至对应的目标服务器,触发所述目标服务器对相应的分片数据进行处理,得到对应的处理结果。
在其中一个实施例中,所述分别将各段分片数据分发至对应的目标服务器进行处理,包括:
获取各个目标服务器的性能等级;
按照各个目标服务器的性能等级,分别将所述分片数据中的相应数量的分片数据发送至对应的目标服务器进行处理,得到对应的处理结果。
在其中一个实施例中,所述方法还包括:
获取各个所述目标服务器返回的处理结果;
根据所述处理结果,检查所述待处理的交易数据是否处理完毕;
若所述待处理的交易数据未处理完毕,则重新对所述待处理的交易数据中的未处理的交易数据进行处理。
一种交易数据的处理装置,所述装置包括:
获取模块,用于获取待处理的交易数据;
确定模块,用于确定所述待处理的交易数据的分片方式;
分片模块,用于根据所述分片方式,对所述待处理的交易数据进行分片处理,得到至少两段分片数据;
处理模块,用于分别将各段分片数据分发至对应的目标服务器进行处理。
一种计算机设备,包括存储器和处理器,所述存储器存储有计算机程序,所述处理器执行所述计算机程序时实现以下步骤:
获取待处理的交易数据;
确定所述待处理的交易数据的分片方式;
根据所述分片方式,对所述待处理的交易数据进行分片处理,得到至少两段分片数据;
分别将各段分片数据分发至对应的目标服务器进行处理。
一种计算机可读存储介质,其上存储有计算机程序,所述计算机程序被处理器执行时实现以下步骤:
获取待处理的交易数据;
确定所述待处理的交易数据的分片方式;
根据所述分片方式,对所述待处理的交易数据进行分片处理,得到至少两段分片数据;
分别将各段分片数据分发至对应的目标服务器进行处理。
上述交易数据的处理方法、装置、计算机设备和存储介质,通过获取待处理的交易数据,并确定待处理的交易数据的分片方式;然后根据分片方式,对待处理的交易数据进行分片处理,得到至少两段分片数据,最后分别将各段分片数据分发至对应的目标服务器进行处理;实现了将各段分片数据分发至对应的目标服务器进行处理的目的,避免了在交易数据的数据量较大的情况下,单台服务器的服务性能有限,导致交易数据的处理效率较低的缺陷,从而提高了交易数据的处理效率。
附图说明
图1为一个实施例中交易数据的处理方法的应用环境图;
图2为一个实施例中交易数据的处理方法的流程示意图;
图3为另一个实施例中交易数据的处理方法的流程示意图;
图4为又一个实施例中交易数据的处理方法的流程示意图;
图5为一个实施例中交易数据的处理装置的结构框图;
图6为一个实施例中计算机设备的内部结构图。
具体实施方式
为了使本申请的目的、技术方案及优点更加清楚明白,以下结合附图及实施例,对本申请进行进一步详细说明。应当理解,此处描述的具体实施例仅仅用以解释本申请,并不用于限定本申请。
本申请提供的交易数据的处理方法,可以应用于如图1所示的应用环境中。其中,分片服务器110通过网络与多个目标服务器120(比如120a、120b···120n)进行通信。参考图1,分片服务器110获取待处理的交易数据;确定待处理的交易数据的分片方式;根据分片方式,对待处理的交易数据进行分片处理,得到至少两段分片数据;分别将各段分片数据分发至对应的目标服务器(比如120a、120b···120n)进行处理,得到对应的处理结果。分片服务器110和目标服务器120可以用独立的服务器或者是多个服务器组成的服务器集群来实现。
在一个实施例中,如图2所示,提供了一种交易数据的处理方法,以该方法应用于图1中的分片服务器为例进行说明,包括以下步骤:
步骤S201,获取待处理的交易数据。
其中,交易数据一般是指财务公司中涉及交易的财务数据;待处理的交易数据是指未进行核算处理的交易数据,比如利息计提数据、结息数据等。
具体地,分片服务器从交易系统中提取出待处理的交易数据,或者从本地数据库中提取出待处理的交易数据。
步骤S202,确定待处理的交易数据的分片方式。
其中,分片方式是指对待处理的交易数据的切分方式,比如将数据量为1000的待处理的交易数据,切分成10段数据量为100的交易数据。需要说明的是,不同交易数据,对应的分片方式不一样。
具体地,分片服务器根据待处理的交易数据的数据类型,确定待处理的交易数据的分片方式。当然,分片服务器也可以根据待处理的交易数据的数据量大小、服务器数量和性能,综合确定待处理的交易数据的分片方式。
步骤S203,根据分片方式,对待处理的交易数据进行分片处理,得到至少两段分片数据。
其中,分片数据是指由待处理的交易数据切分而成的数据量较小的交易数据。
需要说明的是,至少两段分片数据是指两段或者两段以上分片数据,具体本申请不做限定。
举例说明,假设待处理的交易数据为数据量为1000的利息计提数据,则将数据量为1000的利息计提数据,切分成10段数据量为100的利息计提数据。这样,根据分片方式对待处理的交易数据进行分片处理,得到至少两段分片数据,有利于将数据量较大的交易数据切分成数据量较小的交易处理,便于后续目标服务器对其进行快速处理,从而提高了交易数据的处理效率。
步骤S204,分别将各段分片数据分发至对应的目标服务器进行处理。
其中,目标服务器是指对分片数据进行处理的服务器,可以是配置较低的服务器,也可以是配置较的服务器。
其中,目标服务器对分片数据进行的处理,包括分录的生成、总分核对、总账平衡检查、文件生成等。
具体地,分片服务器获取各个目标服务器的IP(Internet Protocol,网际互连协议)地址,比如192.168.100.10、192.168.100.11、192.168.100.12等;根据各个目标服务器的IP地址,分别将各段分片数据分发至对应的目标服务器进行处理;接收各个目标服务器返回的处理结果,将处理结果存储至数据库中。这样,可以减少服务器的负载压力和提高单台服务器的处理效率,从而提高了交易数据的处理效率。
举例说明,假设有5段分片数据,5个目标服务器,则通过分片服务器将这5段分片数据分发至5个目标服务器,每个目标服务器负责处理一段分片数据;接着,通过目标服务器对其接收到的一段分片数据进行核算处理,可以得到对应的核算处理结果。这样,实现了将各段分片数据分发至对应的目标服务器进行处理的目的,避免了在交易数据的数据量较大的情况下,单台服务器的服务性能有限,导致交易数据的处理效率较低的缺陷,从而提高了交易数据的处理效率。
再举例说明,假设有6段分片数据,3个目标服务器,则通过分片服务器将这6段分片数据分发至3个目标服务器,每个目标服务器负责处理两段分片数据;接着,通过目标服务器对其接收到的两段分片数据进行核算处理,可以得到对应的核算处理结果。
上述交易数据的处理方法中,通过获取待处理的交易数据,并确定待处理的交易数据的分片方式;然后根据分片方式,对待处理的交易数据进行分片处理,得到至少两段分片数据,最后分别将各段分片数据分发至对应的目标服务器进行处理;实现了将各段分片数据分发至对应的目标服务器进行处理的目的,避免了在交易数据的数据量较大的情况下,单台服务器的服务性能有限,导致交易数据的处理效率较低的缺陷,从而提高了交易数据的处理效率。
在一个实施例中,上述步骤S201,获取待处理的交易数据,包括:从数据库中获取预设周期内的交易数据,作为待处理的交易数据。
其中,预设周期是指交易数据的汇总周期,比如当天、昨天、一星期、一个月等。
具体地,分片服务器从数据库中获取预设周期内的交易数据,比如当天的交易数据;获取预设的数据类型获取指令,根据预设的数据类型获取指令,获取交易数据的数据类型,并将交易数据的数据类型和目标数据类型进行匹配,其中,目标数据类型用于描述需要进行核算处理的交易数据;若匹配成功,则将该交易数据识别为待处理的交易数据;参照此方法,可以从交易数据中筛选出待处理的交易数据。
本实施例提供的技术方案,从交易数据中筛选出数据类型与目标数据类型匹配的交易数据,作为待处理的交易数据,便于后续只对待处理的交易数据进行核算处理,进一步提高了交易数据的处理效率。
在一个实施例中,上述步骤S202,确定待处理的交易数据的分片方式,包括:获取待处理的交易数据的数据类型;根据数据类型查询数据类型与分片方式的对应关系,得到待处理的交易数据的分片方式。
其中,数据类型与分片方式的对应关系,是指不同的数据类型对应不同的分片方式。
具体地,分片服务器根据预设的数据类型获取指令,获取交易数据的数据类型;根据交易数据的数据类型,查询数据类型与分片方式的对应关系,得到与该数据类型对应的分片方式,作为待处理的交易数据的分片方式。
举例说明,假设待处理的交易数据为利息计提数据,则其对应的分片方式为将待处理的交易数据切分成最大数据量为1000的分片数据。
再举例说明,假设待处理的交易数据为结息数据,则其对应的分片方式为将待处理的交易数据切分成最大数据量为500的分片数据。
本实施例提供的技术方案,通过获取待处理的交易数据的数据类型,并根据数据类型查询数据类型与分片方式的对应关系,得到待处理的交易数据的分片方式,有利于后续根据分片方式,对待处理的交易数据进行分片处理,得到至少两段分片数据。
在一个实施例中,上述步骤S203,根据分片方式,对待处理的交易数据进行分片处理,得到至少两段分片数据,包括:获取与分片方式对应的分片指令;根据分片指令,按照预设顺序对待处理的交易数据进行分片处理,得到至少两段分片数据。
其中,预设顺序是指对待处理的交易数据的分片顺序,比如从首部到尾部,从尾部到首部。
具体地,分片服务器根据待处理的交易数据的分片方式,查询分片方式和分片指令的对应关系,得到与该分片方式对应的分片指令;根据分片指令,按照预设顺序对待处理的交易数据进行分片处理,得到至少两段分片数据。
举例说明,分片服务器将数据量为10000的利息计提数据,切分成10段数据量为1000的利息计提数据;再举例说明,分片服务器将数据量为5000的结息数据,切分成10段数据量为500的结息数据。
本实施例提供的技术方案,根据分片方式对待处理的交易数据进行分片处理,得到至少两段分片数据,有利于将数据量较大的交易数据切分成数据量较小的交易处理,便于后续目标服务器对其进行快速处理,从而提高了交易数据的处理效率。
在一个实施例中,上述步骤S204,分别将各段分片数据分发至对应的目标服务器进行处理,包括:从服务器集群中筛选出空闲的服务器,作为目标服务器;分别将各段分片数据分发至对应的目标服务器,触发目标服务器对相应的分片数据进行处理,得到对应的处理结果。
具体地,分片服务器获取服务器集群中包括的各个服务器的状态,并从服务器集群中包括的各个服务器中,筛选出状态为空闲的服务器,作为目标服务器;然后,分片服务器将各段分片数据分发至对应的目标服务器,通过目标服务器对相应的分片数据进行处理,得到对应的处理结果。
本实施例提供的技术方案,通过从服务器集群中筛选出空闲的服务器,作为目标服务器,并分别将各段分片数据分发至对应的目标服务器,触发目标服务器对相应的分片数据进行处理,有利于充分利用空闲的服务器的服务资源,进一步提高了交易数据的处理效率。
在一个实施例中,上述步骤S204,分别将各段分片数据分发至对应的目标服务器进行处理,包括:从服务器集群中筛选出性能等级大于预设等级的服务器,作为目标服务器;分别将各段分片数据分发至对应的目标服务器,触发目标服务器对相应的分片数据进行处理,得到对应的处理结果。
具体地,分片服务器获取服务器集群中包括的各个服务器的性能等级,并从服务器集群中包括的各个服务器中,筛选出性能等级大于预设等级的服务器,作为目标服务器;然后,分片服务器将各段分片数据分发至对应的目标服务器,通过目标服务器对相应的分片数据进行处理,得到对应的处理结果。
本实施例提供的技术方案,通过从服务器集群中筛选出性能等级较高的服务器,作为目标服务器,并分别将各段分片数据分发至对应的目标服务器,触发目标服务器对相应的分片数据进行处理,有利于充分利用性能等级较高的服务器对待处理的交易数据进行快速处理,进一步提高了交易数据的处理效率。
在一个实施例中,上述步骤S204,分别将各段分片数据分发至对应的目标服务器进行处理,包括:获取各个目标服务器的性能等级;按照各个目标服务器的性能等级,分别将分片数据中的相应数量的分片数据发送至对应的目标服务器进行处理,得到对应的处理结果。
具体地,分片服务器获取各个目标服务器的性能等级,根据各个目标服务器的性能等级,从得到的分片数据中确定与各个目标服务器对应数量的分片数据;然后,将与各个目标服务器对应数量的分片数据,分发至对应的目标服务器,触发各个目标服务器对相应数量的分片数据进行处理,得到对应的处理结果。
举例说明,假设有6段分片数据,3个目标服务器,分别是目标服务器A、目标服务器B、目标服务器C,对应的性能等级分别是第一级、第二级、第三级,则目标服务器A分配到的分片数据为3段,目标服务器B分配到的分片数据为2段,目标服务器C分配到的分片数据为1段;接着,目标服务器A对其接收到的3段分片数据进行处理,目标服务器B对其接收到的2段分片数据进行处理,目标服务器C对其接收到的1段分片数据进行处理。
本实施例提供的技术方案,按照各个目标服务器的性能等级,分别将分片数据中的相应数量的分片数据发送至对应的目标服务器进行处理,得到对应的处理结果,有利于充分利用各个目标服务器的处理性能,从而加快了待处理的交易数据的处理进程,进一步提高了交易数据的处理效率。
在一个实施例中,本申请提供的交易数据的处理方法还包括:获取各个目标服务器返回的处理结果;根据处理结果,检查待处理的交易数据是否处理完毕;若待处理的交易数据未处理完毕,则重新对待处理的交易数据中的未处理的交易数据进行处理。
具体地,分片服务器接收各个目标服务器返回的处理结果;获取预设的防漏检查指令,根据预设的防漏检查指令对各个目标服务器返回的处理结果进行检查,以确认待处理的交易数据是否处理完毕;若待处理的交易数据处理完毕,则将各个目标服务器返回的处理结果存储至数据库中;若待处理的交易数据未处理完毕,则从待处理的交易数据中筛选出未处理的交易数据,并重新对未处理的交易数据进行处理。
本实施例提供的技术方案,通过各个目标服务器返回的处理结果进行检查,有利于确认待处理的交易数据是否处理完毕,并在待处理的交易数据未处理完毕的情况下,重新对待处理的交易数据中的未处理的交易数据进行处理,有利于保证交易数据的处理成功率。
在一个实施例中,如图3所示,提供了另一种交易数据的处理方法,以该方法应用于图1中的分片服务器为例进行说明,包括以下步骤:
步骤S301,从数据库中获取预设周期内的交易数据,作为待处理的交易数据。
步骤S302,获取待处理的交易数据的数据类型。
步骤S303,根据数据类型查询数据类型与分片方式的对应关系,得到待处理的交易数据的分片方式。
步骤S304,获取与分片方式对应的分片指令。
步骤S305,根据分片指令,按照预设顺序对待处理的交易数据进行分片处理,得到至少两段分片数据。
步骤S306,从服务器集群中筛选出空闲的服务器,作为目标服务器。
步骤S307,分别将各段分片数据分发至对应的目标服务器,触发目标服务器对相应的分片数据进行处理,得到对应的处理结果。
步骤S308,获取各个目标服务器返回的处理结果。
步骤S309,若根据处理结果检查出待处理的交易数据未处理完毕,则重新对待处理的交易数据中的未处理的交易数据进行处理。
上述交易数据的处理方法,通过获取待处理的交易数据,并确定待处理的交易数据的分片方式;然后根据分片方式,对待处理的交易数据进行分片处理,得到至少两段分片数据,最后分别将各段分片数据分发至对应的目标服务器进行处理;实现了将各段分片数据分发至对应的目标服务器进行处理的目的,避免了在交易数据的数据量较大的情况下,单台服务器的服务性能有限,导致交易数据的处理效率较低的缺陷,从而提高了交易数据的处理效率。
为了更清晰阐明本申请实施例提供的交易数据的资源分离方法,以下以一个具体的实例对该交易数据的处理方法进行说明;在一个实施例中,如图4所示,提供了另一种交易数据的处理方法,具体包括如下内容:
会计引擎根据参数,对业务交易进行分片;将分片的数据分别交由对应的服务器进行处理;处理完成后,进行核对校验,检查是否存在未处理的交易;例如,分布式的会计引擎,通过参数对业务交易进行分片,把大量的交易拆分成小段,交由各个会计引擎进行处理,处理完成后再保存结果到业务交易流水中,再通过防错漏的措施,核对交易是否全部处理;最终完成分布式会计引擎的日终账务处理。这样,由多台会计引擎组成分布式的架构,对不同业务类型的交易流水进行数据分片,将分片后的数据交给对应的会计引擎进行处理,可以减少服务器的负载压力和提高单台会计引擎的处理的效率,减少日期账务处理的时间。
在本实施例中,利用分布式会计引擎,自动将业务交易进行分片处理,将服务器的资源利用起来,避免大数据量、单机处理容易出现的错误,提高了服务器的利用率,降低了对服务器的性能要求,提供了核算的效率。
应该理解的是,虽然图2-3的流程图中的各个步骤按照箭头的指示依次显示,但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明,这些步骤的执行并没有严格的顺序限制,这些步骤可以以其它的顺序执行。而且,图2-3中的至少一部分步骤可以包括多个步骤或者多个阶段,这些步骤或者阶段并不必然是在同一时刻执行完成,而是可以在不同的时刻执行,这些步骤或者阶段的执行顺序也不必然是依次进行,而是可以与其它步骤或者其它步骤中的步骤或者阶段的至少一部分轮流或者交替地执行。
在一个实施例中,如图5所示,提供了一种交易数据的处理装置,包括:获取模块510、确定模块520、分片模块530和处理模块540,其中:
获取模块510,用于获取待处理的交易数据。
确定模块520,用于确定待处理的交易数据的分片方式。
分片模块530,用于根据分片方式,对待处理的交易数据进行分片处理,得到至少两段分片数据。
处理模块540,用于分别将各段分片数据分发至对应的目标服务器进行处理。
在一个实施例中,获取模块510,还用于从数据库中获取预设周期内的交易数据,作为待处理的交易数据。
在一个实施例中,确定模块520,还用于获取待处理的交易数据的数据类型;根据数据类型查询数据类型与分片方式的对应关系,得到待处理的交易数据的分片方式。
在一个实施例中,分片模块530,还用于获取与分片方式对应的分片指令;根据分片指令,按照预设顺序对待处理的交易数据进行分片处理,得到至少两段分片数据。
在一个实施例中,处理模块540,还用于从服务器集群中筛选出空闲的服务器,作为目标服务器;分别将各段分片数据分发至对应的目标服务器,触发目标服务器对相应的分片数据进行处理,得到对应的处理结果。
在一个实施例中,处理模块540,还用于获取各个目标服务器的性能等级;按照各个目标服务器的性能等级,分别将分片数据中的相应数量的分片数据发送至对应的目标服务器进行处理,得到对应的处理结果。
在一个实施例中,本申请提供的交易数据的处理装置还包括检查模块,用于获取各个目标服务器返回的处理结果;根据处理结果,检查待处理的交易数据是否处理完毕;若待处理的交易数据未处理完毕,则重新对待处理的交易数据中的未处理的交易数据进行处理。
关于交易数据的处理装置的具体限定可以参见上文中对于交易数据的处理方法的限定,在此不再赘述。上述交易数据的处理装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中,也可以以软件形式存储于计算机设备中的存储器中,以便于处理器调用执行以上各个模块对应的操作。
在一个实施例中,提供了一种计算机设备,该计算机设备可以是服务器,其内部结构图可以如图6所示。该计算机设备包括通过系统总线连接的处理器、存储器和网络接口。其中,该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统、计算机程序和数据库。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的数据库用于存储待处理的交易数据、分片数据等数据。该计算机设备的网络接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现一种交易数据的处理方法。
本领域技术人员可以理解,图6中示出的结构,仅仅是与本申请方案相关的部分结构的框图,并不构成对本申请方案所应用于其上的计算机设备的限定,具体的计算机设备可以包括比图中所示更多或更少的部件,或者组合某些部件,或者具有不同的部件布置。
在一个实施例中,提供了一种计算机设备,包括存储器和处理器,存储器中存储有计算机程序,该处理器执行计算机程序时实现以下步骤:
获取待处理的交易数据;
确定待处理的交易数据的分片方式;
根据分片方式,对待处理的交易数据进行分片处理,得到至少两段分片数据;
分别将各段分片数据分发至对应的目标服务器进行处理。
在一个实施例中,处理器执行计算机程序时还实现以下步骤:从数据库中获取预设周期内的交易数据,作为待处理的交易数据。
在一个实施例中,处理器执行计算机程序时还实现以下步骤:获取待处理的交易数据的数据类型;根据数据类型查询数据类型与分片方式的对应关系,得到待处理的交易数据的分片方式。
在一个实施例中,处理器执行计算机程序时还实现以下步骤:获取与分片方式对应的分片指令;根据分片指令,按照预设顺序对待处理的交易数据进行分片处理,得到至少两段分片数据。
在一个实施例中,处理器执行计算机程序时还实现以下步骤:从服务器集群中筛选出空闲的服务器,作为目标服务器;分别将各段分片数据分发至对应的目标服务器,触发目标服务器对相应的分片数据进行处理,得到对应的处理结果。
在一个实施例中,处理器执行计算机程序时还实现以下步骤:获取各个目标服务器的性能等级;按照各个目标服务器的性能等级,分别将分片数据中的相应数量的分片数据发送至对应的目标服务器进行处理,得到对应的处理结果。
在一个实施例中,处理器执行计算机程序时还实现以下步骤:获取各个目标服务器返回的处理结果;根据处理结果,检查待处理的交易数据是否处理完毕;若待处理的交易数据未处理完毕,则重新对待处理的交易数据中的未处理的交易数据进行处理。
在一个实施例中,提供了一种计算机可读存储介质,其上存储有计算机程序,计算机程序被处理器执行时实现以下步骤:
获取待处理的交易数据;
确定待处理的交易数据的分片方式;
根据分片方式,对待处理的交易数据进行分片处理,得到至少两段分片数据;
分别将各段分片数据分发至对应的目标服务器进行处理。
在一个实施例中,计算机程序被处理器执行时还实现以下步骤:从数据库中获取预设周期内的交易数据,作为待处理的交易数据。
在一个实施例中,计算机程序被处理器执行时还实现以下步骤:获取待处理的交易数据的数据类型;根据数据类型查询数据类型与分片方式的对应关系,得到待处理的交易数据的分片方式。
在一个实施例中,计算机程序被处理器执行时还实现以下步骤:获取与分片方式对应的分片指令;根据分片指令,按照预设顺序对待处理的交易数据进行分片处理,得到至少两段分片数据。
在一个实施例中,计算机程序被处理器执行时还实现以下步骤:从服务器集群中筛选出空闲的服务器,作为目标服务器;分别将各段分片数据分发至对应的目标服务器,触发目标服务器对相应的分片数据进行处理,得到对应的处理结果。
在一个实施例中,计算机程序被处理器执行时还实现以下步骤:获取各个目标服务器的性能等级;按照各个目标服务器的性能等级,分别将分片数据中的相应数量的分片数据发送至对应的目标服务器进行处理,得到对应的处理结果。
在一个实施例中,计算机程序被处理器执行时还实现以下步骤:获取各个目标服务器返回的处理结果;根据处理结果,检查待处理的交易数据是否处理完毕;若待处理的交易数据未处理完毕,则重新对待处理的交易数据中的未处理的交易数据进行处理。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程,是可以通过计算机程序来指令相关的硬件来完成,所述的计算机程序可存储于一非易失性计算机可读取存储介质中,该计算机程序在执行时,可包括如上述各方法的实施例的流程。其中,本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用,均可包括非易失性和易失性存储器中的至少一种。非易失性存储器可包括只读存储器(Read-Only Memory,ROM)、磁带、软盘、闪存或光存储器等。易失性存储器可包括随机存取存储器(Random Access Memory,RAM)或外部高速缓冲存储器。作为说明而非局限,RAM可以是多种形式,比如静态随机存取存储器(Static Random Access Memory,SRAM)或动态随机存取存储器(Dynamic Random Access Memory,DRAM)等。
以上实施例的各技术特征可以进行任意的组合,为使描述简洁,未对上述实施例中的各个技术特征所有可能的组合都进行描述,然而,只要这些技术特征的组合不存在矛盾,都应当认为是本说明书记载的范围。
以上所述实施例仅表达了本申请的几种实施方式,其描述较为具体和详细,但并不能因此而理解为对发明专利范围的限制。应当指出的是,对于本领域的普通技术人员来说,在不脱离本申请构思的前提下,还可以做出若干变形和改进,这些都属于本申请的保护范围。因此,本申请专利的保护范围应以所附权利要求为准。

Claims (10)

1.一种交易数据的处理方法,其特征在于,所述方法包括:
获取待处理的交易数据;
确定所述待处理的交易数据的分片方式;
根据所述分片方式,对所述待处理的交易数据进行分片处理,得到至少两段分片数据;
分别将各段分片数据分发至对应的目标服务器进行处理。
2.根据权利要求1所述的方法,其特征在于,所述获取待处理的交易数据,包括:
从数据库中获取预设周期内的交易数据,作为所述待处理的交易数据。
3.根据权利要求1所述的方法,其特征在于,所述确定所述待处理的交易数据的分片方式,包括:
获取所述待处理的交易数据的数据类型;
根据所述数据类型查询数据类型与分片方式的对应关系,得到所述待处理的交易数据的分片方式。
4.根据权利要求1所述的方法,其特征在于,所述根据所述分片方式,对所述待处理的交易数据进行分片处理,得到至少两段分片数据,包括:
获取与所述分片方式对应的分片指令;
根据所述分片指令,按照预设顺序对所述待处理的交易数据进行分片处理,得到至少两段分片数据。
5.根据权利要求1所述的方法,其特征在于,所述分别将各段分片数据分发至对应的目标服务器进行处理,包括:
从服务器集群中筛选出空闲的服务器,作为所述目标服务器;
分别将各段分片数据分发至对应的目标服务器,触发所述目标服务器对相应的分片数据进行处理,得到对应的处理结果。
6.根据权利要求1所述的方法,其特征在于,所述分别将各段分片数据分发至对应的目标服务器进行处理,包括:
获取各个目标服务器的性能等级;
按照各个目标服务器的性能等级,分别将所述分片数据中的相应数量的分片数据发送至对应的目标服务器进行处理,得到对应的处理结果。
7.根据权利要求1至6任一项所述的方法,其特征在于,所述方法还包括:
获取各个所述目标服务器返回的处理结果;
根据所述处理结果,检查所述待处理的交易数据是否处理完毕;
若所述待处理的交易数据未处理完毕,则重新对所述待处理的交易数据中的未处理的交易数据进行处理。
8.一种交易数据的处理装置,其特征在于,所述装置包括:
获取模块,用于获取待处理的交易数据;
确定模块,用于确定所述待处理的交易数据的分片方式;
分片模块,用于根据所述分片方式,对所述待处理的交易数据进行分片处理,得到至少两段分片数据;
处理模块,用于分别将各段分片数据分发至对应的目标服务器进行处理。
9.一种计算机设备,包括存储器和处理器,所述存储器存储有计算机程序,其特征在于,所述处理器执行所述计算机程序时实现权利要求1至7中任一项所述的方法的步骤。
10.一种计算机可读存储介质,其上存储有计算机程序,其特征在于,所述计算机程序被处理器执行时实现权利要求1至7中任一项所述的方法的步骤。
CN202011419203.6A 2020-12-07 2020-12-07 交易数据的处理方法、装置、计算机设备和存储介质 Pending CN112667656A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011419203.6A CN112667656A (zh) 2020-12-07 2020-12-07 交易数据的处理方法、装置、计算机设备和存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011419203.6A CN112667656A (zh) 2020-12-07 2020-12-07 交易数据的处理方法、装置、计算机设备和存储介质

Publications (1)

Publication Number Publication Date
CN112667656A true CN112667656A (zh) 2021-04-16

Family

ID=75401281

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011419203.6A Pending CN112667656A (zh) 2020-12-07 2020-12-07 交易数据的处理方法、装置、计算机设备和存储介质

Country Status (1)

Country Link
CN (1) CN112667656A (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113344698A (zh) * 2021-06-30 2021-09-03 重庆富民银行股份有限公司 一种资产证券化收益分割方法及系统
CN113342839A (zh) * 2021-08-06 2021-09-03 北京开科唯识技术股份有限公司 数据处理方法、装置、终端设备和存储介质
CN113630408A (zh) * 2021-08-03 2021-11-09 Oppo广东移动通信有限公司 数据处理方法、装置、存储介质及服务器

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106330987A (zh) * 2015-06-15 2017-01-11 交通银行股份有限公司 动态负荷均衡方法
CN107508901A (zh) * 2017-09-04 2017-12-22 北京京东尚科信息技术有限公司 分布式数据处理方法、装置、服务器和系统
CN108920272A (zh) * 2018-06-08 2018-11-30 中国平安人寿保险股份有限公司 一种数据处理方法、装置、计算机设备及存储介质
CN110209496A (zh) * 2019-05-20 2019-09-06 中国平安财产保险股份有限公司 基于数据处理的任务分片方法、装置及分片服务器
CN110928665A (zh) * 2019-12-06 2020-03-27 深圳乐信软件技术有限公司 数据处理方法、装置、存储介质及终端
CN111210340A (zh) * 2020-01-03 2020-05-29 中国建设银行股份有限公司 一种自动任务处理方法、装置、服务器及存储介质

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106330987A (zh) * 2015-06-15 2017-01-11 交通银行股份有限公司 动态负荷均衡方法
CN107508901A (zh) * 2017-09-04 2017-12-22 北京京东尚科信息技术有限公司 分布式数据处理方法、装置、服务器和系统
CN108920272A (zh) * 2018-06-08 2018-11-30 中国平安人寿保险股份有限公司 一种数据处理方法、装置、计算机设备及存储介质
CN110209496A (zh) * 2019-05-20 2019-09-06 中国平安财产保险股份有限公司 基于数据处理的任务分片方法、装置及分片服务器
CN110928665A (zh) * 2019-12-06 2020-03-27 深圳乐信软件技术有限公司 数据处理方法、装置、存储介质及终端
CN111210340A (zh) * 2020-01-03 2020-05-29 中国建设银行股份有限公司 一种自动任务处理方法、装置、服务器及存储介质

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113344698A (zh) * 2021-06-30 2021-09-03 重庆富民银行股份有限公司 一种资产证券化收益分割方法及系统
CN113344698B (zh) * 2021-06-30 2023-04-25 重庆富民银行股份有限公司 一种资产证券化收益分割方法及系统
CN113630408A (zh) * 2021-08-03 2021-11-09 Oppo广东移动通信有限公司 数据处理方法、装置、存储介质及服务器
CN113630408B (zh) * 2021-08-03 2023-06-16 Oppo广东移动通信有限公司 数据处理方法、装置、存储介质及服务器
CN113342839A (zh) * 2021-08-06 2021-09-03 北京开科唯识技术股份有限公司 数据处理方法、装置、终端设备和存储介质

Similar Documents

Publication Publication Date Title
CN112667656A (zh) 交易数据的处理方法、装置、计算机设备和存储介质
CN110351357B (zh) 服务器限流方法、装置、计算机设备以及存储介质
CN108712426B (zh) 基于用户行为埋点的爬虫识别方法及系统
CN108664222B (zh) 一种区块链系统及其应用方法
CN107360117B (zh) 数据处理的方法、装置及系统
CN110139114B (zh) 虚拟资产数据的处理方法、装置、计算机设备和存储介质
CN106095597A (zh) 客户端数据处理方法及装置
WO2021068521A1 (zh) 一种本地存储引擎系统的数据处理方法、装置以及设备
CN109447804B (zh) 交易分流方法、设备和存储介质
CN110162274B (zh) 一种基于区块链的数据处理方法、装置及设备
CN112054919B (zh) 容器集群无状态下的id生成方法、装置、存储介质及系统
CN114020716A (zh) 对账系统中的大文件分布式处理方法及装置
CN111858014A (zh) 资源分配方法及装置
CN111522873B (zh) 区块生成方法、装置、计算机设备和存储介质
CN113220475A (zh) 交易数据处理方法、装置、计算机设备和存储介质
CN111985531A (zh) 异常资源需求集群的确定方法、装置、设备和存储介质
CN115904729A (zh) 一种连接分配的方法、装置、系统、设备及介质
CN111198756A (zh) 一种kubernetes集群的应用调度方法及装置
CN114448990B (zh) 一种基于融合cdn的资源调度方法、装置及设备
CN114070820B (zh) 一种域名重定向方法、装置、介质及电子设备
CN113204535B (zh) 路由方法及装置、电子设备和计算机可读存储介质
CN113722357B (zh) 数据文件校验方法、装置、电子设备及存储介质
CN115510366A (zh) 业务消息推送方法、装置、计算机设备和存储介质
CN113468195B (zh) 服务器数据缓存更新方法、系统和主数据库服务器
CN111464581A (zh) 一种面向广告机的多媒体文件分布式分发方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination