CN116737389A - 数据处理方法、装置、存储介质及计算机设备 - Google Patents
数据处理方法、装置、存储介质及计算机设备 Download PDFInfo
- Publication number
- CN116737389A CN116737389A CN202310813307.2A CN202310813307A CN116737389A CN 116737389 A CN116737389 A CN 116737389A CN 202310813307 A CN202310813307 A CN 202310813307A CN 116737389 A CN116737389 A CN 116737389A
- Authority
- CN
- China
- Prior art keywords
- data
- identifier
- processed
- processing
- new data
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000003672 processing method Methods 0.000 title abstract description 19
- 238000012545 processing Methods 0.000 claims abstract description 238
- 238000004364 calculation method Methods 0.000 claims abstract description 108
- 238000000034 method Methods 0.000 claims abstract description 38
- 230000004044 response Effects 0.000 claims abstract description 24
- 238000013507 mapping Methods 0.000 claims abstract description 15
- 238000004590 computer program Methods 0.000 claims description 8
- 230000001360 synchronised effect Effects 0.000 claims description 5
- 230000008569 process Effects 0.000 description 9
- 239000003814 drug Substances 0.000 description 7
- 238000004891 communication Methods 0.000 description 6
- 230000009471 action Effects 0.000 description 2
- 238000004422 calculation algorithm Methods 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 229940079593 drug Drugs 0.000 description 2
- 230000010365 information processing Effects 0.000 description 2
- 201000007100 Pharyngitis Diseases 0.000 description 1
- 230000002159 abnormal effect Effects 0.000 description 1
- 230000006835 compression Effects 0.000 description 1
- 238000007906 compression Methods 0.000 description 1
- 238000013479 data entry Methods 0.000 description 1
- 238000013499 data model Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 239000002699 waste material Substances 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F9/00—Arrangements for program control, e.g. control units
- G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
- G06F9/46—Multiprogramming arrangements
- G06F9/50—Allocation of resources, e.g. of the central processing unit [CPU]
- G06F9/5005—Allocation of resources, e.g. of the central processing unit [CPU] to service a request
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F9/00—Arrangements for program control, e.g. control units
- G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
- G06F9/46—Multiprogramming arrangements
- G06F9/50—Allocation of resources, e.g. of the central processing unit [CPU]
- G06F9/5061—Partitioning or combining of resources
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
- Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management
Abstract
本发明公开了一种数据处理方法、装置、存储介质及计算机设备,涉及大数据及数字医疗技术领域。其中方法包括:响应于接收到待处理的新数据,对预设的新数据标识进行递增计算,并将新数据与新数据标识进行映射存储;响应于新数据标识大于预设的数据处理标识,且数据处理标识与预设的处理完成标识相等,获取新数据标识对应的待处理数据;根据新数据标识对数据处理标识进行更新,并利用待处理数据对应的计算器,对待处理数据进行计算;响应于待处理数据计算完成,根据数据处理标识对处理完成标识进行更新,并输出待处理数据的处理结果。上述方法可以简化新数据的处理逻辑,保障数据计算的时效性和有序性,并提高计算资源的利用率。
Description
技术领域
本发明涉及大数据及数字医疗技术领域,尤其是涉及一种数据处理方法、装置、存储介质及计算机设备。
背景技术
软件系统一般会涉及到一种很常见的业务场景:实时分析新数据并输出新数据的处理结果,且处理结果会影响到下次的决策行为。以医疗场景为例,假设需要实时处理的新数据为用户购买药品的数据,新数据的处理结果为用户购买某种类型药品的概率,则通过该处理结果,可以做出为用户推送哪种药品的决策。在这种场景下,会要求新数据的处理结果尽可能及时。
在现有技术中,常用的数据处理方法主要采用定时器周期性触发计算任务并输出新数据的处理结果的方式。但是,这种方案存在两个问题:一是处理结果的实时性较低,会存在一个任务下发周期的时间延迟,二是当没有新数据产生的时候定时器依然下发计算指令,会浪费计算资源。
发明内容
有鉴于此,本申请提供了一种数据处理方法、装置、存储介质及计算机设备,主要目的在于解决数据计算不及时和计算资源未合理利用的技术问题。
根据本发明的第一个方面,提供了一种数据处理方法,该方法包括:
响应于接收到待处理的新数据,对预设的新数据标识进行递增计算,并将所述新数据与所述新数据标识进行映射存储;
响应于所述新数据标识大于预设的数据处理标识,且所述数据处理标识与预设的处理完成标识相等,获取所述新数据标识对应的待处理数据;
根据所述新数据标识对所述数据处理标识进行更新,并利用所述待处理数据对应的计算器,对所述待处理数据进行计算;
响应于所述待处理数据计算完成,根据所述数据处理标识对所述处理完成标识进行更新,并输出所述待处理数据的处理结果。
根据本发明的第二个方面,提供了一种数据处理装置,该装置包括:
数据接收模块,用于响应于接收到待处理的新数据,对预设的新数据标识进行递增计算,并将所述新数据与所述新数据标识进行映射存储;
标识比较模块,用于响应于所述新数据标识大于预设的数据处理标识,且所述数据处理标识与预设的处理完成标识相等,获取所述新数据标识对应的待处理数据;
数据计算模块,用于根据所述新数据标识对所述数据处理标识进行更新,并利用所述待处理数据对应的计算器,对所述待处理数据进行计算;
结果输出模块,用于响应于所述待处理数据计算完成,根据所述数据处理标识对所述处理完成标识进行更新,并输出所述待处理数据的处理结果。
根据本发明的第三个方面,提供了一种存储介质,其上存储有计算机程序,所述程序被处理器执行时实现上述数据处理方法。
根据本发明的第四个方面,提供了一种计算机设备,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,所述处理器执行所述程序时实现上述数据处理方法。
本发明提供的一种数据处理方法、装置、存储介质及计算机设备,通过在接收到待处理的新数据时,对预设的新数据标识进行递增计算,并将新数据与新数据标识进行映射存储,可以通过新数据标识实时记录每个接收到的新数据,并且,在新数据快速产生的场景下,能够保留住最近接收到的新数据的数据状态,从而能够对接收到的多个新数据的数据状态进行初步压缩,以最大化简化新数据的处理逻辑。此外,通过新数据标识、数据处理标识和处理完成标识之间的比较关系,判断计算器是否空闲以及是否有新数据未计算,并在计算器空闲且有新数据未计算的情况下,利用计算器对待处理的新数据进行计算,并输出计算结果,能够保障计算器在空闲的情况下能够持续的对接收到的新数据进行计算,从而能够降低新数据计算的延时时长,确保数据计算的时效性和有序性,并使得计算资源得到最大化利用。
上述说明仅是本申请技术方案的概述,为了能够更清楚了解本申请的技术手段,而可依照说明书的内容予以实施,并且为了让本申请的上述和其它目的、特征和优点能够更明显易懂,以下特举本申请的具体实施方式。
附图说明
此处所说明的附图用来提供对本发明的进一步理解,构成本申请的一部分,本发明的示意性实施例及其说明用于解释本发明,并不构成对本发明的不当限定。在附图中:
图1示出了本发明实施例提供的一种数据处理方法的流程示意图;
图2示出了本发明实施例提供的一种数据处理方法的场景示意图;
图3示出了本发明实施例提供的另一种数据处理方法的流程示意图;
图4示出了本发明实施例提供的一种数据处理装置的结构示意图;
图5示出了本发明实施例提供的另一种数据处理装置的结构示意图。
具体实施方式
下文中将参考附图并结合实施例来详细说明本发明。需要说明的是,在不冲突的情况下,本申请中的实施例及实施例中的特征可以相互组合。
在一个实施例中,如图1所示,提供了一种数据处理方法,以该方法应用于服务器等计算机设备为例进行说明,包括以下步骤:
101、响应于接收到待处理的新数据,对预设的新数据标识进行递增计算,并将新数据与新数据标识进行映射存储。
其中,待处理的新数据指的是业务系统上传至服务器中的未处理的数据。在本实施例中,新数据可以以单条数据为单位上传至服务器,也可以以数据包为单位上传至服务器,其中,上传的数据包中包含有至少一条新数据。
具体的,服务器可以实时监测业务系统上传的新数据,其中,针对接收到的每一条新数据,服务器均会对新数据标识进行一次递增计算,然后将该条新数据与递增后的新数据标识进行映射存储,并保存二者的映射关系。即针对接收到的每一条新数据,均会有一个新数据标识与其建立起一个映射关系,后续在数据计算的过程中,可以通过该新数据标识,在数据库中查询到与其对应的新数据和新数据的具体信息。其中,新数据标识可以在一个预设的初始值的基础上进行递增计算,也可以在此前累加过的数值的基础上进行递增计算,对于递增计算的初始值和递增步长,本实施例不做具体限定。
在本实施例中,新数据的具体信息可以根据业务系统的功能进行设置,本实施例在此不做具体限定。以医疗场景为例,用户在某药品采购平台购买了某种治疗慢性咽炎的药品之后,会生成一条购买数据发送至服务器,服务器响应于接收到该购买数据,会对新数据标识进行一次累加,例如,可以将新数据标识从0052累加到0053,然后将这条购买数据与新数据标识0053进行映射存储,进一步的,通过新数据标识0053,可以在数据库中查询到这条购买数据,包括购买药品的用户信息、购买时间、药品名称和价格信息等等。
102、响应于新数据标识大于预设的数据处理标识,且数据处理标识与预设的处理完成标识相等,获取新数据标识对应的待处理数据。
其中,新数据标识、数据处理标识和处理完成标识均为人为设置的标识,这三个标识可用于对服务器接收到的数据的数据状态进行标定。在本实施例中,针对每条接收到的新数据,均有三种状态,分别为未计算状态、计算中状态和已计算状态,其中,新数据标识可用于对接收到的新数据标识最大的数据进行标定,数据处理标识可用于对正在计算的新数据标识最大的数据进行标定,处理完成标识可用于对计算完成的新数据标识最大的数据进行标定。通过这三个标识,可以实现对所有数据的数据状态进行初步的压缩和合并。
在本实施例中,参照图2,针对服务器接收到的每一条新数据,新数据标识latest_flag均会递增一次,即新数据的进入会不断刷新新数据标识lastest_flag。进一步的,在数据开始计算后,服务器会将新数据标识latest_flag更新到数据处理标识max_flag中,在数据计算完成后,服务器会将数据处理标识max_flag数据更新到处理完成标识result_flag中。基于此,当新数据标识大于数据处理标识时,表明当前存在至少一条新数据处于未计算状态;当新数据标识等于数据处理标识时,表明当前没有新数据处于未计算状态。相应的,当数据处理标识大于处理完成标识时,表明当前计算器处于占用状态;当数据处理标识等于处理完成标识时,表明当前计算器处于空闲状态。因此,新数据标识、数据处理标识和处理完成标识这三个标识的基本关系为:新数据标识>=数据处理标识>=处理完成标识。
具体的,服务器可以启动一个新线程循环比较新数据标识、数据处理标识和处理完成标识这三个标识之间的数值关系。当检测到新数据标识大于数据处理标识,且数据处理标识与处理完成标识相等时,表明当前存在至少一条新数据处于未计算状态且当前计算器处于空闲状态,此时,可以获取新数据标识对应的待处理数据,以用于后续的计算。其中,服务器获取到的待处理数据为步骤101中与新数据标识映射存储的新数据,即通过新数据标识,可以查询到相应的待计算的新数据。在本实施例中,待处理数据可以包括至少一条新数据,这些新数据可以是服务器接收到的所有新数据,即全量数据,也可以是处于未计算状态的所有新数据,即增量数据。
103、根据新数据标识对数据处理标识进行更新,并利用待处理数据对应的计算器,对待处理数据进行计算。
其中,计算器指的是对新数据进行数据处理的虚拟装置,该虚拟装置可以封装有用于数据处理的数据模型、算法公式等流程代码,通过计算器,可以对待处理数据进行计算和处理,并输出相应的处理结果。
具体的,在获取到待处理数据之后,可以确定待处理数据对应的计算器。在本实施例中,可以根据待处理数据对应的业务渠道确定待处理数据对应的计算器,即服务器可以同时对接多个业务系统,并对多个业务系统上传的新数据进行计算,以此提高服务器的计算资源的利用率。此外,计算器也可以根据待处理数据的数据类型等其他属性确定,或者,服务器也可以仅部署一个计算器,该计算器即为待处理数据对应的计算器。需要说明的是,计算器可以部署在服务器本地,也可以部署在同一个服务器集群中的其他服务器中,对于计算器的数量和部署位置,本实施例不做具体限定。
进一步的,在确定了待处理数据对应的计算器之后,可以向该计算器下发计算指令,以使该计算器对获取到的待处理数据进行计算,此外,在计算指令下发之后,还可以根据新数据标识对数据处理标识进行更新,以利用数据处理标识对当前正在计算的新数据标识最大的数据进行标定和记录。
104、响应于待处理数据计算完成,根据数据处理标识对处理完成标识进行更新,并输出待处理数据的处理结果。
具体的,在待处理数据计算完成之后,服务器可以根据数据处理标识对处理完成标识进行更新,以利用处理完成标识对当前计算完成的新数据标识最大的数据进行标定和记录,然后,计算器会输出待处理数据的处理结果。进一步的,在计算完成之后,处理完成标识与数据处理标识相等,表明此时计算器处于空闲状态,如果此时新数据标识大于数据处理标识,则表明有未计算的新数据产生,此时,就可以继续处理未计算的新数据,并不断循环这个过程。通过这种方式,可以使计算器一直处于计算状态,且不会出现重复计算的情况,既保障了数据计算的及时性,又保障了数据计算的有序性。在医疗场景中,上述方法可以有效的提高医疗相关数据计算的及时性和有效性,并提升服务器的计算资源的利用率。
本实施例提供的数据处理方法,通过在接收到待处理的新数据时,对预设的新数据标识进行递增计算,并将新数据与新数据标识进行映射存储,可以通过新数据标识实时记录每个接收到的新数据,并且,在新数据快速产生的场景下,能够保留住最近接收到的新数据的数据状态,从而能够对接收到的多个新数据的数据状态进行初步压缩,以最大化简化新数据的处理逻辑。此外,通过新数据标识、数据处理标识和处理完成标识之间的比较关系,判断计算器是否空闲以及是否有新数据未计算,并在计算器空闲且有新数据未计算的情况下,利用计算器对待处理的新数据进行计算,并输出计算结果,能够保障计算器在空闲的情况下能够持续的对接收到的新数据进行计算,从而能够降低新数据计算的延时时长,确保数据计算的时效性和有序性,并使得计算资源得到最大化利用。
在一个可选的实施例中,步骤102中获取新数据标识对应的待处理数据可以通过以下步骤实现:首先获取新数据标识与处理完成标识之间的所有新数据标识,并将获取到的新数据标识确定为目标新数据标识,或者,获取新数据标识与预设的初始标识之间的所有新数据标识,并将获取到的新数据标识确定为目标新数据标识,然后基于新数据标识与新数据之间的映射关系,获取目标新数据标识对应的新数据,最后将获取到的新数据作为待处理数据。
具体的,服务器可以对服务器接收到的所有新数据进行处理,即采用全量计算的方式进行数据处理,也可以对处于未计算状态的所有新数据进行处理,即采用增量计算的方式进行数据处理。举例来说,假设当前新数据标识为0053,当前数据处理标识和处理完成标识相等,均为0050,初始标识为0000,则服务器可以获取0050至0053之间的所有新数据标识,即获取新数据标识0051、0052和0053,以获取到所有未计算的数据对应的新数据标识,然后获取新数据标识0051、0052和0053对应的新数据作为待处理数据,以实现数据的增量计算。或者,服务器也可以获取0000至0053之间的所有新数据标识,即获取新数据标识0001至0053,以获取所有新数据的新数据标识,然后获取新数据标识0001至0053对应的新数据作为待处理数据,以实现数据的全量计算。在本实施例中,数据计算方式可以根据实际情况进行配置,配置以后,服务器可以按照相应的计算方式进行数据处理。通过这种方式,可以支持用户进行定制化的数据处理,从而提升数据计算的灵活度。
在一个可选的实施例中,步骤103可以通过以下步骤实现:首先获取待处理数据对应的业务渠道,并根据待处理数据对应的业务渠道,确定待处理数据对应的计算器,然后向计算器下发计算指令,以使计算器对待处理数据进行计算,最后响应于计算指令下发成功,将数据处理标识更新为与新数据标识相等。
具体的,服务器可以根据待处理数据对应的业务渠道确定待处理数据对应的计算器,即服务器可以同时对接多个业务系统,并对多个业务系统上传的新数据进行计算,通过这种方式,可以有效的提高服务器的计算资源的利用率。此外,本实施例通过在计算指令下发成功之后,将数据处理标识更新为与新数据标识相等,可以确保数据处理标识更新的准确性,从而可以方便服务器对计算器的忙闲状态以及数据的计算状态进行准确判断。
在一个可选的实施例中,步骤104可以通过以下步骤实现:响应于待处理数据计算完成,判断待处理数据是否计算成功。若待处理数据计算失败,则不更新处理完成标识;若待处理数据计算成功,则将处理完成标识更新为与数据处理标识相等,并输出待处理数据的处理结果。
具体的,本实施例通过在数据计算成功时更新处理完成标识,在数据计算失败时不更新处理完成标识,可以使计算器在增量计算的方式下,能够在下一轮次的计算过程中重新获取未计算成功的数据,并进行再次计算,以此提高数据处理结果的准确度。举例来说,假设当前新数据标识为0053,当前数据处理标识为0050,当前处理完成标识为0045,那么,在数据计算失败的情况下,处理完成标识不更新,服务器可以获取0045至0053之间的所有新数据标识,从而获取到所有未计算的数据以及计算失败的数据,并进行下一轮次的数据处理;而在数据计算成功的情况下,服务器可以将处理完成标识更新为与数据处理标识相等,然后获取0050至0053之间的所有新数据标识,从而获取到所有未计算的数据,并进行下一轮次的数据处理。本实施例通过在计算失败的情况下自动回滚计算失败的数据,可以提高计算结果的准确性。
在一个可选的实施例中,上述数据处理方法还包括以下步骤:响应于新数据标识、数据处理标识和处理完成标识被更新,将更新后的新数据标识、数据处理标识和处理完成标识存储在第三方数据库中,进一步的,响应于当前服务器出现宕机故障后重新恢复至运行状态,在第三方数据中读取出新数据标识、数据处理标识和处理完成标识。
具体的,在服务器执行步骤101至104的过程中,如果新数据标识、数据处理标识和处理完成标识中的任一个标识被更新,则服务器可以将更新后的标识存储在第三方数据库中,并在服务器出现宕机故障并重新恢复至运行状态时,可以在第三方数据中读取出新数据标识、数据处理标识和处理完成标识,以此恢复数据处理的流程。可以理解的是,在服务器未出现宕机等异常状况时,也可以在第三方数据库中读取三个标识的更新结果,或者,服务器也可以将新数据标识、数据处理标识和处理完成标识的更新结果缓存在本地,并在本地服务器中读取三个标识的更新结果。本实施例通过分布式缓存新数据标识、数据处理标识和处理完成标识的更新结果,可以支持服务器在正常状态或者宕机状态恢复后对数据进行持续处理,以此避免了数据计算进度丢失的问题,从而有效的提升了数据处理的有序性和稳定性。
进一步的,作为上述实施例具体实施方式的细化和扩展,为了完整说明本实施例的实施过程,还提供了一种数据处理方法,在该实施例中,待处理数据对应的计算器为至少一个,且每个计算器对应一个数据处理标识。如图3所示,该方法包括以下步骤:
201、响应于接收到待处理的新数据,对预设的新数据标识进行递增计算,并将新数据与新数据标识进行映射存储。
具体的,步骤201的执行流程可以参见步骤101以及上述各实施例所述的方法流程,在此不再赘述。
202、响应于新数据标识大于全部计算器对应的数据处理标识,且任一个计算器对应的数据处理标识与处理完成标识相等,获取新数据标识对应的待处理数据。
具体的,当检测到新数据标识大于全部计算器对应的数据处理标识,且任一个计算器对应的数据处理标识与处理完成标识相等时,表明当前存在至少一条新数据处于未计算状态,且当前有至少一个计算器处于空闲状态,此时,可以获取新数据标识对应的待处理数据,以用于后续的计算。可以理解的是,步骤202的其他执行流程可以参见步骤102以及上述各实施例所述的方法流程,在此不再赘述。
203、将数据处理标识与处理完成标识相等的计算器确定为目标计算器,根据新数据标识对目标计算器对应的数据处理标识进行更新,并利用目标计算器,对待处理数据进行计算。
具体的,数据处理标识与处理完成标识相等的计算器为当前正处于空闲状态的计算器,本实施例通过将正处于空闲状态的计算器确定为目标计算器,并通过目标计算器对待处理数据进行计算,进而更新目标计算器对应的数据处理标识,可以使处于空闲状态的目标计算器重新进入到占用状态中,从而提高服务器计算资源的利用率。在本实施例中,待处理数据对应的计算器如果为多个,则多个计算器中配置的算法流程应是相同的,同时,每个计算器中处理的数据可以是重叠的或是不同的。可以理解的是,步骤203的其他执行流程可以参见步骤103以及上述各实施例所述的方法流程,在此不再赘述。
204、针对任一个计算器,响应于计算器中的待处理数据计算完成,根据计算器对应的数据处理标识对处理完成标识进行更新,并输出待处理数据的处理结果。
其中,当计算器为一个时,可以采用同步的方式对正在处理的数据进行计算,以避免计算资源被浪费,而当计算器为多个时,则可以采用异步的方式对正在处理的数据进行计算,以提高数据计算的效率。在其他实施例中,当计算器为一个时,也可以采用异步的方式对数据进行计算,当计算器为多个时,同样也可以采用同步的方式对数据进行计算。可以理解的是,各个计算器的计算方式,包括同步计算方式、异步计算方式、全量计算方式和增量计算方式,均可以根据实际情况进行配置,本实施例在此不做具体限定。
具体的,对于每个执行了计算任务的计算器,在数据计算完成之后,均可以根据执行了计算任务的计算器对应的数据处理标识对处理完成标识进行更新,以利用处理完成标识对当前计算完成的新数据标识最大的数据进行标定和记录。进一步的,每个计算器均可以输出与被处理数据对应的处理结果,以提高数据处理结果输出的速度。可以理解的是,步骤204的其他执行流程可以参见步骤104以及上述各实施例所述的方法流程,在此不再赘述。
205、响应于新数据标识、处理完成标识和每个计算器对应的数据处理标识被更新,将更新后的新数据标识、处理完成标识和每个计算器对应的数据处理标识存储在第三方数据库中。
206、响应于当前服务器出现宕机故障后重新恢复至运行状态,在第三方数据中读取出新数据标识、处理完成标识和每个计算器对应的数据处理标识。
具体的,步骤205和步骤206的执行流程可以参见上述各实施例所述的方法流程,在此不再赘述。
本实施例提供的数据处理方法,可以在数据量较多的场景下,通过多个计算器对待处理数据进行异步处理,从而可以通过多个计算器分别输出待处理数据的处理结果。通过这种方式,可以进一步降低数据处理的延时时长,并提高数据处理的时效性和计算效率,以及提升计算资源的利用率。
进一步的,作为图1至图3所示方法的具体实现,本实施例提供了一种数据处理装置,如图4所示,该装置包括:数据接收模块31、标识比较模块32、数据计算模块33、结果输出模块34,其中:
数据接收模块31,可用于响应于接收到待处理的新数据,对预设的新数据标识进行递增计算,并将所述新数据与所述新数据标识进行映射存储;
标识比较模块32,可用于响应于所述新数据标识大于预设的数据处理标识,且所述数据处理标识与预设的处理完成标识相等,获取所述新数据标识对应的待处理数据;
数据计算模块33,可用于根据所述新数据标识对所述数据处理标识进行更新,并利用所述待处理数据对应的计算器,对所述待处理数据进行计算;
结果输出模块34,可用于响应于所述待处理数据计算完成,根据所述数据处理标识对所述处理完成标识进行更新,并输出所述待处理数据的处理结果。
在具体的应用场景中,所述标识比较模块32,具体可用于获取所述新数据标识与所述处理完成标识之间的所有新数据标识,并将获取到的所述新数据标识确定为目标新数据标识;或者获取所述新数据标识与预设的初始标识之间的所有新数据标识,并将获取到的所述新数据标识确定为目标新数据标识;基于所述新数据标识与所述新数据之间的映射关系,获取所述目标新数据标识对应的新数据作为所述待处理数据。
在具体的应用场景中,所述数据计算模块33,具体可用于获取所述待处理数据对应的业务渠道,并根据所述待处理数据对应的业务渠道,确定所述待处理数据对应的计算器;向所述计算器下发计算指令,以使所述计算器对所述待处理数据进行计算;响应于所述计算指令下发成功,将所述数据处理标识更新为与所述新数据标识相等。
在具体的应用场景中,所述结果输出模块34,具体可用于响应于所述待处理数据计算完成,判断所述待处理数据是否计算成功;若所述待处理数据计算失败,则不更新所述处理完成标识;若所述待处理数据计算成功,则将所述处理完成标识更新为与所述数据处理标识相等,并输出所述待处理数据的处理结果。
在具体的应用场景中,所述待处理数据对应的计算器为至少一个,且每个所述计算器对应一个数据处理标识;所述标识比较模块32,具体还可用于响应于所述新数据标识大于全部所述计算器对应的数据处理标识,且任一个所述计算器对应的数据处理标识与所述处理完成标识相等,获取所述新数据标识对应的待处理数据;所述数据计算模块33,具体还可用于将所述数据处理标识与所述处理完成标识相等的计算器确定为目标计算器,根据所述新数据标识对所述目标计算器对应的数据处理标识进行更新,并利用所述目标计算器,对所述待处理数据进行计算。
在具体的应用场景中,所述结果输出模块34,具体还可用于针对任一个所述计算器,响应于所述计算器中的所述待处理数据计算完成,根据所述计算器对应的数据处理标识对所述处理完成标识进行更新,并输出所述待处理数据的处理结果;其中,当所述计算器为一个时,一个所述计算器采用同步的方式对所述待处理数据进行计算;当所述计算器为多个时,多个所述计算器采用异步的方式对所述待处理数据进行计算。
在具体的应用场景中,如图5所示,本装置还包括标识存储模块35和标识读取模块36,其中,所述标识存储模块35,可用于响应于所述新数据标识、所述数据处理标识和所述处理完成标识被更新,将更新后的所述新数据标识、所述数据处理标识和所述处理完成标识存储在第三方数据库中;所述标识读取模块36,可用于响应于当前服务器出现宕机故障后重新恢复至运行状态,在所述第三方数据中读取出所述新数据标识、所述数据处理标识和所述处理完成标识。
需要说明的是,本实施例提供的一种数据处理装置所涉及各功能单元的其它相应描述,可以参考图1至图3中的对应描述,在此不再赘述。
基于上述如图1至图3所示方法,相应的,本实施例还提供了一种存储介质,其上存储有计算机程序,该程序被处理器执行时实现上述如图1至图3所示的数据处理方法。
基于这样的理解,本申请的技术方案可以以软件产品的形式体现出来,该待识别软件产品可以存储在一个非易失性存储介质(可以是CD-ROM,U盘,移动硬盘等)中,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)执行本申请各个实施场景所述的方法。
基于上述如图1至图3所示的方法,以及图4和图5所示的数据处理装置实施例,为了实现上述目的,本实施例还提供了一种数据处理的计算机设备,具体可以为个人计算机、服务器、智能手机、平板电脑、智能手表、或者其它网络设备等,该计算机设备包括存储介质和处理器;存储介质,用于存储计算机程序和操作系统;处理器,用于执行计算机程序以实现上述如图1至图3所示的方法。
可选的,该计算机设备还可以包括内存储器、通信接口、网络接口、摄像头、射频(Radio Frequency,RF)电路,传感器、音频电路、WI-FI模块、显示屏(Display)、输入装置比如键盘(Keyboard)等,可选的,通信接口还可以包括USB接口、读卡器接口等。网络接口可选的可以包括标准的有线接口、无线接口(如WI-FI接口)等。
本领域技术人员可以理解,本实施例提供的一种操作动作的识别的计算机设备结构并不构成对该计算机设备的限定,可以包括更多或更少的部件,或者组合某些部件,或者不同的部件布置。
存储介质中还可以包括操作系统、网络通信模块。操作系统是管理上述计算机设备硬件和待识别软件资源的程序,支持信息处理程序以及其它待识别软件和/或程序的运行。网络通信模块用于实现存储介质内部各组件之间的通信,以及与信息处理计算机设备中其它硬件和软件之间通信。
通过以上的实施方式的描述,本领域的技术人员可以清楚地了解到本申请可以借助软件加必要的通用硬件平台的方式来实现,也可以通过硬件实现。通过响应于接收到待处理的新数据,对预设的新数据标识进行递增计算,并将新数据与新数据标识进行映射存储,然后响应于新数据标识大于预设的数据处理标识,且数据处理标识与预设的处理完成标识相等,获取新数据标识对应的待处理数据,进而根据新数据标识对数据处理标识进行更新,并利用待处理数据对应的计算器,对待处理数据进行计算,最后响应于待处理数据计算完成,根据数据处理标识对处理完成标识进行更新,并输出待处理数据的处理结果。与现有技术相比,上述方法可以简化新数据的处理逻辑,保障数据计算的时效性和有序性,并提高计算资源的利用率。
本领域技术人员可以理解附图只是一个优选实施场景的示意图,附图中的模块或流程并不一定是实施本申请所必须的。本领域技术人员可以理解实施场景中的装置中的模块可以按照实施场景描述进行分布于实施场景的装置中,也可以进行相应变化位于不同于本实施场景的一个或多个装置中。上述实施场景的模块可以合并为一个模块,也可以进一步拆分成多个子模块。
上述本申请序号仅仅为了描述,不代表实施场景的优劣。以上公开的仅为本申请的几个具体实施场景,但是,本申请并非局限于此,任何本领域的技术人员能思之的变化都应落入本申请的保护范围。
Claims (10)
1.一种数据处理方法,其特征在于,所述方法包括:
响应于接收到待处理的新数据,对预设的新数据标识进行递增计算,并将所述新数据与所述新数据标识进行映射存储;
响应于所述新数据标识大于预设的数据处理标识,且所述数据处理标识与预设的处理完成标识相等,获取所述新数据标识对应的待处理数据;
根据所述新数据标识对所述数据处理标识进行更新,并利用所述待处理数据对应的计算器,对所述待处理数据进行计算;
响应于所述待处理数据计算完成,根据所述数据处理标识对所述处理完成标识进行更新,并输出所述待处理数据的处理结果。
2.根据权利要求1所述的方法,其特征在于,所述获取所述新数据标识对应的待处理数据,包括:
获取所述新数据标识与所述处理完成标识之间的所有新数据标识,并将获取到的所述新数据标识确定为目标新数据标识;或者
获取所述新数据标识与预设的初始标识之间的所有新数据标识,并将获取到的所述新数据标识确定为目标新数据标识;
基于所述新数据标识与所述新数据之间的映射关系,获取所述目标新数据标识对应的新数据作为所述待处理数据。
3.根据权利要求1所述的方法,其特征在于,所述根据所述新数据标识对所述数据处理标识进行更新,并利用所述待处理数据对应的计算器,对所述待处理数据进行计算,包括:
获取所述待处理数据对应的业务渠道,并根据所述待处理数据对应的业务渠道,确定所述待处理数据对应的计算器;
向所述计算器下发计算指令,以使所述计算器对所述待处理数据进行计算;
响应于所述计算指令下发成功,将所述数据处理标识更新为与所述新数据标识相等。
4.根据权利要求1所述的方法,其特征在于,所述响应于所述待处理数据计算完成,根据所述数据处理标识对所述处理完成标识进行更新,并输出所述待处理数据的处理结果,包括:
响应于所述待处理数据计算完成,判断所述待处理数据是否计算成功;
若所述待处理数据计算失败,则不更新所述处理完成标识;
若所述待处理数据计算成功,则将所述处理完成标识更新为与所述数据处理标识相等,并输出所述待处理数据的处理结果。
5.根据权利要求1所述的方法,其特征在于,所述待处理数据对应的计算器为至少一个,且每个所述计算器对应一个数据处理标识;则所述响应于所述新数据标识大于预设的数据处理标识,且所述数据处理标识与预设的处理完成标识相等,获取所述新数据标识对应的待处理数据,包括:
响应于所述新数据标识大于全部所述计算器对应的数据处理标识,且任一个所述计算器对应的数据处理标识与所述处理完成标识相等,获取所述新数据标识对应的待处理数据;
所述根据所述新数据标识对所述数据处理标识进行更新,并利用所述待处理数据对应的计算器,对所述待处理数据进行计算,包括:
将所述数据处理标识与所述处理完成标识相等的计算器确定为目标计算器,根据所述新数据标识对所述目标计算器对应的数据处理标识进行更新,并利用所述目标计算器,对所述待处理数据进行计算。
6.根据权利要求5所述的方法,其特征在于,所述响应于所述待处理数据计算完成,根据所述数据处理标识对所述处理完成标识进行更新,并输出所述待处理数据的处理结果,包括:
针对任一个所述计算器,响应于所述计算器中的所述待处理数据计算完成,根据所述计算器对应的数据处理标识对所述处理完成标识进行更新,并输出所述待处理数据的处理结果;
其中,当所述计算器为一个时,一个所述计算器采用同步的方式对所述待处理数据进行计算;当所述计算器为多个时,多个所述计算器采用异步的方式对所述待处理数据进行计算。
7.根据权利要求1-6任一项所述的方法,其特征在于,所述方法还包括:
响应于所述新数据标识、所述数据处理标识和所述处理完成标识被更新,将更新后的所述新数据标识、所述数据处理标识和所述处理完成标识存储在第三方数据库中;
响应于当前服务器出现宕机故障后重新恢复至运行状态,在所述第三方数据中读取出所述新数据标识、所述数据处理标识和所述处理完成标识。
8.一种数据处理装置,其特征在于,所述装置包括:
数据接收模块,用于响应于接收到待处理的新数据,对预设的新数据标识进行递增计算,并将所述新数据与所述新数据标识进行映射存储;
标识比较模块,用于响应于所述新数据标识大于预设的数据处理标识,且所述数据处理标识与预设的处理完成标识相等,获取所述新数据标识对应的待处理数据;
数据计算模块,用于根据所述新数据标识对所述数据处理标识进行更新,并利用所述待处理数据对应的计算器,对所述待处理数据进行计算;
结果输出模块,用于响应于所述待处理数据计算完成,根据所述数据处理标识对所述处理完成标识进行更新,并输出所述待处理数据的处理结果。
9.一种存储介质,其上存储有计算机程序,其特征在于,所述计算机程序被处理器执行时实现权利要求1至7中任一项所述的方法的步骤。
10.一种计算机设备,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,其特征在于,所述计算机程序被处理器执行时实现权利要求1至7中任一项所述的方法的步骤。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202310813307.2A CN116737389A (zh) | 2023-07-04 | 2023-07-04 | 数据处理方法、装置、存储介质及计算机设备 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202310813307.2A CN116737389A (zh) | 2023-07-04 | 2023-07-04 | 数据处理方法、装置、存储介质及计算机设备 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN116737389A true CN116737389A (zh) | 2023-09-12 |
Family
ID=87916851
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202310813307.2A Pending CN116737389A (zh) | 2023-07-04 | 2023-07-04 | 数据处理方法、装置、存储介质及计算机设备 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN116737389A (zh) |
-
2023
- 2023-07-04 CN CN202310813307.2A patent/CN116737389A/zh active Pending
Similar Documents
Publication | Publication Date | Title |
---|---|---|
EP3816924A1 (en) | Method for accepting blockchain evidence storage transaction and system | |
CN111966631A (zh) | 一种可快速分发的镜像文件生成方法、系统、设备和介质 | |
CN111104178A (zh) | 一种动态库加载方法、终端装置及存储介质 | |
CN114676205A (zh) | 事件信息的处理方法及装置 | |
CN108647102B (zh) | 异构系统的服务请求处理方法、装置和电子设备 | |
CN112650449B (zh) | 缓存空间的释放方法、释放系统、电子设备及存储介质 | |
CN111626498A (zh) | 设备运行状态预测方法、装置、设备及存储介质 | |
CN116737389A (zh) | 数据处理方法、装置、存储介质及计算机设备 | |
CN108989088A (zh) | 一种日志上传方法和通信设备 | |
CN112860762B (zh) | 用于检测时间段重叠的方法和装置 | |
CN113873026A (zh) | 动态超时响应方法、装置、终端设备及存储介质 | |
CN111262727B (zh) | 服务的扩容方法、装置、设备及存储介质 | |
CN110865877B (zh) | 一种任务请求的响应方法及设备 | |
CN114138358A (zh) | 应用程序的启动优化方法、装置、设备和存储介质 | |
CN113805854A (zh) | 基于Linux系统的应用层Hook实现方法、系统、装置及存储介质 | |
CN109614246B (zh) | 一种消息处理的方法、装置及消息处理服务器 | |
CN112835759A (zh) | 测试数据处理方法、装置、电子设备以及存储介质 | |
CN113590447A (zh) | 埋点处理方法和装置 | |
CN114328549B (zh) | 数据处理方法、装置、电子设备及存储介质 | |
CN117270902B (zh) | Ota升级包生成方法和装置、ota升级方法和装置 | |
CN113434508B (zh) | 用于存储信息的方法和装置 | |
CN111176969B (zh) | 一种数据处理方法、装置、设备及存储介质 | |
CN115858324B (zh) | 基于ai的it设备故障处理方法、装置、设备和介质 | |
CN115953282B (zh) | 一种视频任务的处理方法及装置 | |
CN110264211B (zh) | 风控方法、系统、装置及设备 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |