CN113688175A - 一种数据处理方法和装置 - Google Patents

一种数据处理方法和装置 Download PDF

Info

Publication number
CN113688175A
CN113688175A CN202010417552.8A CN202010417552A CN113688175A CN 113688175 A CN113688175 A CN 113688175A CN 202010417552 A CN202010417552 A CN 202010417552A CN 113688175 A CN113688175 A CN 113688175A
Authority
CN
China
Prior art keywords
task
processed
logic
client
processing
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202010417552.8A
Other languages
English (en)
Inventor
郑国宾
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Jingdong Century Trading Co Ltd
Beijing Wodong Tianjun Information Technology Co Ltd
Original Assignee
Beijing Jingdong Century Trading Co Ltd
Beijing Wodong Tianjun Information Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Jingdong Century Trading Co Ltd, Beijing Wodong Tianjun Information Technology Co Ltd filed Critical Beijing Jingdong Century Trading Co Ltd
Priority to CN202010417552.8A priority Critical patent/CN113688175A/zh
Publication of CN113688175A publication Critical patent/CN113688175A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/25Integrating or interfacing systems involving database management systems
    • G06F16/252Integrating or interfacing systems involving database management systems between a Database Management System and a front-end application
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/24Querying
    • G06F16/245Query processing
    • G06F16/2455Query execution

Landscapes

  • Engineering & Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computational Linguistics (AREA)
  • Information Transfer Between Computers (AREA)

Abstract

本申请提供了一种数据处理方法和装置,所述方法包括:将待处理任务,以及对应的回调信息提交到任务处理平台,使所述任务平台在处理所述待处理任务时,通过所述回调信息中的接口标识对应的接口向所述客户端发送调用所述回调信息中的逻辑标识对应的业务处理逻辑的指令;接收到所述任务处理平台发送的指令时,根据所述指令中携带的逻辑标识查找到对应的业务处理逻辑,并响应给所述任务处理平台,使所述任务处理平台使用所述业务处理逻辑处理所述待处理任务,并将任务处理结果存储到分布式系统的数据库中。该方法能够降低分布式系统的接入复杂度,以及实现成本,且便于对任务信息的管理。

Description

一种数据处理方法和装置
技术领域
本发明涉及计算机处理技术领域,特别涉及一种数据处理方法和装置。
背景技术
在分布式系统中,每个客户端都会进行一些任务处理,由于应用的增多,处理任务的加大,各客户端独自进行任务处理的效率低下。
在实现本申请的过程中,发明人发现客户端处理大量任务,如导入导出excel,各客户端都需独自开发任务处理功能,在任务种类、数量繁多的时候,需要重复编写代码在各客户端上,大大增加了接入的复杂度,造成了人力物力的浪费,且不便于任务处理结果的管理。
发明内容
有鉴于此,本申请提供一种数据处理方法和装置,能够降低分布式系统的接入复杂度,以及实现成本,且便于对任务信息的管理。
为解决上述技术问题,本申请的技术方案是这样实现的:
在一个实施例中,提供了一种数据处理方法,所述方法包括:
将待处理任务,以及对应的回调信息提交到任务处理平台,使所述任务平台在处理所述待处理任务时,通过所述回调信息中的接口标识对应的接口向所述客户端发送调用所述回调信息中的逻辑标识对应的业务处理逻辑的指令;
接收到所述任务处理平台发送的指令时,根据所述指令中携带的逻辑标识查找到对应的业务处理逻辑,并响应给所述任务处理平台,使所述任务处理平台使用所述业务处理逻辑处理所述待处理任务,并将任务处理结果存储到分布式系统的数据库中。
在另一个实施例中,提供了一种数据处理方法,所述方法包括:
接收到客户端提交的待处理任务,以及回调信息时,存储到分布式系统的数据库中;其中,所述回调信息包括:回调业务处理逻辑的接口的接口标识和业务处理逻辑的逻辑标识;
当处理所述待处理任务时,通过所述接口标识对应的接口向所述客户端发送调用所述逻辑标识对应的业务处理逻辑的指令;
接收到客户端响应的所述逻辑标识对应的业务处理逻辑时,使用所述业务处理逻辑处理所述待处理任务,并将任务处理结果存储到分布式系统的数据库中。
在另一个实施例中,提供了一种数据处理装置,所述装置包括:发送单元、接收单元和查找单元;
所述发送单元,用于将待处理任务,以及对应的回调信息提交到任务处理平台,使所述任务平台在处理所述待处理任务时,通过所述回调信息中的接口标识对应的接口向所述客户端发送调用所述回调信息中的逻辑标识对应的业务处理逻辑的指令;将所述查找单元查找到的业务处理逻辑响应给所述任务处理平台,使所述任务处理平台使用所述业务处理逻辑处理所述待处理任务,并将任务处理结果存储到分布式系统的数据库中;
所述接收单元,用于接收所述任务处理平台发送的指令;
所述查找单元,用于当所述接收单元接收到所述任务处理平台发送的指令时,根据所述指令中携带的逻辑标识查找到对应的业务处理逻辑。
在另一个实施例中,提供了一种数据处理装置,所述装置包括:接收单元、存储单元、发送单元和处理单元;
所述接收单元,用于接收客户端提交的待处理任务,以及回调信息;接收客户端响应的逻辑标识对应的业务处理逻辑;
所述存储单元,用于当所述接收单元接收到客户端提交的待处理任务,以及回调信息时,存储到分布式系统的数据库中;其中,所述回调信息包括:回调业务处理逻辑的接口的接口标识和业务处理逻辑的逻辑标识;将所述处理单元获得的任务处理结果存储到分布式系统的数据库中;
所述发送单元,用于当处理所述接收单元接收到的待处理任务时,通过所述接口标识对应的接口向所述客户端发送调用所述逻辑标识对应的业务处理逻辑的指令;
所述处理单元,用于所述接收单元接收到客户端响应的所述逻辑标识对应的业务处理逻辑时,使用所述业务处理逻辑处理所述待处理任务。
在另一个实施例中,提供了一种电子设备,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,所述处理器执行所述程序时实现客户端侧的所述数据处理方法的步骤。
在另一个实施例中,提供了一种计算机可读存储介质,其上存储有计算机程序,该程序被处理器执行时实现客户端侧的所述数据处理方法的步骤。
在另一个实施例中,提供了一种电子设备,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,所述处理器执行所述程序时实现任务处理平台侧的所述数据处理方法的步骤。
在另一个实施例中,提供了一种计算机可读存储介质,其上存储有计算机程序,该程序被处理器执行时实现任务处理平台侧的所述数据处理方法的步骤。
由上面的技术方案可见,上述实施例中客户端配置处理待处理任务的业务处理逻辑,待任务处理平台处理客户端提交的待处理任务时,回调客户端配置的业务处理逻辑用于处理客户端提交到任务处理平台的待处理任务,并将任务处理结果统一存储到分布式系统的数据库中。该方案能够降低分布式系统的接入复杂度,以及实现成本,且便于对任务信息的管理。
附图说明
为了更清楚地说明本申请实施例中的技术方案,下面将对实施例描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本申请的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动性的前提下,还可以根据这些附图获得其他的附图。
图1为本申请实施例中分布式任务处理系统示意图;
图2为本申请实施例一中数据处理流程示意图;
图3为本申请实施例二中任务信息查询流程示意图;
图4为本申请实施例三中数据处理流程示意图;
图5为本申请实施例四中数据处理流程示意图;
图6为本申请实施例五中任务信息查询流程示意图;
图7为本申请实施例中提交的待处理任务对应的数据内容示意图;
图8为本申请实施例中针对图7所示的待处理任务进行处理后的处理结果对应的内容;
图9为客户端针对一任务可查询的查询信息示意图;
图10为本申请实施例中应用于上述客户端的数据处理装置结构示意图;
图11为本申请实施例中应用于上述任务处理平台的数据处理装置结构示意图;
图12为本发明实施例提供的一种电子设备的实体结构示意图;
图13为本发明实施例提供的另一种电子设备的实体结构示意图。
具体实施方式
下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅是本申请一部分实施例,而不是全部的实施例。基于本申请中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本申请保护的范围。
本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”、“第三”、“第四”等(如果存在)是用于区别类似的对象,而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换,以便这里描述的本发明的实施例例如能够以除了在这里图示或描述的那些以外的顺序实施。此外,术语“包括”和“具有”以及他们的任何变形,意图在于覆盖不排他的包含。例如,包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元,而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其他步骤或单元。
下面以具体实施例对本发明的技术方案进行详细说明。下面几个具体实施例可以相互结合,对于相同或相似的概念或过程可能在某些实施例不再赘述。
本申请实施了中提供了一种数据处理方法,应用于分布式任务处理系统中。参见图1,图1为本申请实施例中分布式任务处理系统示意图。图1中包括多个客户端和任务处理平台,也就是由多个客户端和一个任务处理平台组成一个分布式系统;其中,任务处理平台可以由一台或多台设备组成,本申请实施例中对此不进行限制。
本申请具体实现时,客户端还需进行如下配置:
客户端会配置处理待处理任务的业务处理逻辑,针对新增的待处理任务可以新增业务处理逻辑,也可以是与之前已配置的业务处理逻辑相同,直接使用已配置的业务处理逻辑也可以,针对每个业务处理逻辑分配唯一逻辑标识。
这里为每个业务处理逻辑分配的唯一逻辑标识在本客户端唯一即可。
如配置待处理任务1对应的业务处理逻辑的逻辑标识为1,待处理任务2对应的业务处理逻辑标识为2,待处理任务3对应的业务逻辑的逻辑标识为1。
本申请实施例中不同待处理任务对应的业务处理逻辑可以相同也可以不同。
本申请实施例中对待处理任务的类型不进行限制,如可以是导出、导出excel,表格、pdf等实现,本申请实施例中以导入、导出excel为例进行数据处理的相关描述。
配置向所述业务处理平台提交任务的接口;提交待处理任务的接口为任务处理平台暴露在外的接口;
配置回调业务处理逻辑的接口,用于任务处理平台调用某个客户端上的业务逻辑的接口;
配置查询任务信息的接口,用户客户端需要获取任务信息时,发送请求,以及任务处理平台响应任务信息的接口。
在具体实现时,可以将任务所需相关类提取成公共类(如数据类型:excel、列表、word等),以及与任务处理平台交互的相关接口封装成SDK,以便执行任务处理相关事宜时,引入该SDK即可。
任务处理平台不进行业务处理逻辑的相关配置,在获取客户端提交的待处理任务并进行任务处理时,通过泛化调用的方式调用客户端上对应的业务处理逻辑对待处理任务进行处理,并将处理结果,以及处理状态等任务信息实时存储在分布式系统的数据库中,以便客户端查询。
本申请实施例中具体实现时,可以通过页面的方式来为客户端提供任务提交,以及任务信息查询接口,以便于使用者方便实现,即不懂代码的使用者也可以通过客户端提交任务,查询任务信息;并将查询到的任务信息以页面、表格的方式呈现在客户端上。
下面结合附图,详细说明本申请实施例中实现数据处理的过程。
实施例一
参见图2,图2为本申请实施例一中数据处理流程示意图。具体步骤为:
步骤201,客户端将待处理任务,以及对应的回调信息提交到任务处理平台,使所述任务平台在处理所述待处理任务时,向所述客户端发送调用所述回调信息对应的业务处理逻辑的指令。
其中,所述回调信息包括:回调业务处理逻辑的接口的接口标识和业务处理逻辑的逻辑标识。
客户端有任务需要处理时,称该任务为待处理任务,将待处理任务,以及回调信息提交到任务处理平台,并不提交业务处理逻辑
本实施例在具体实现时,还需提交数据集合,其中,数据集合为导入excel的数据请求成功返回值:excel中每条数据调用业务逻辑之后返回的值;
还可以提交下述信息之一或任意组合信息:、自定义参数、请求成功返回值、应用名称、任务唯一标识、操作人;
应用名称为每个客户端应用对应的名称,用来区分客户端上的应用,以及其他应用;
任务唯一标识为每个待处理任务在的唯一值;
操作人为谁来进行待处理任务的提交。
任务处理平台接收到待处理任务存储到分布式系统的数据库中后,可以等待处理,也可以实时处理,至于何时处理,根据任务处理平台的具体情况确定什么时候处理所述待处理任务;
在确定处理所述待处理任务时,根据所述回调信息向提交任务的客户端发送调用对应逻辑标识的业务处理逻辑的指令,具体为,通过回调信息中的接口标识对应的接口调用逻辑标识对应的业务处理逻辑。
步骤202,接收到所述任务处理平台发送的指令时,根据所述指令中携带的回调信息查找到对应的业务处理逻辑,并响应给所述任务处理平台,使所述任务处理平台使用所述业务处理逻辑处理所述待处理任务,并将任务处理结果存储到分布式系统的数据库中。
客户端接收到所述指令时,根据所述指令中携带的逻辑标识在本地查找到对应的业务处理逻辑;并将所述业务处理逻辑通过所述接口标识对应的接口发送给所述任务处理平台。
任务处理平台获取到所述业务处理逻辑时,根据所述业务处理逻辑处理所述待处理任务,并将处理结果存储到分布式系统的数据库中,这里的分布式系统对应的数据库为对应客户端能够获取相关信息的数据库,可以查看本客户端的相关任务的任务信息,也可以根据实际需要配置每个客户端的访问权限,如客户端A可以查看客户端B和客户端C的相关任务信息,本申请实施例中对权限信息的配置并不进行限制,可以根据实际需要配置。
这样的实现方案便于任务处理平台对任务的任务信息进行统一管理。
该实施例中客户端配置处理待处理任务的业务处理逻辑,待任务处理平台处理待处理任务时,将对应的业务处理逻辑响应给所述任务处理平台,使所述任务处理平台处理所述任务,并将任务处理结果统一存储到分布式系统的数据库中。该方案在客户端上不需要重复实现接入的代码,能够降低任务处理的成本,且便于任务处理结果的管理。
实施例二
参见图3,图3为本申请实施例二中任务信息查询流程示意图。具体步骤为:
步骤301,接收到查询任务信息的请求时,通过所述查询任务信息的接口将所述请求发送给任务处理平台。
这里的任务信息可以是任务的处理状态,如是否处理成功,是否正在处理,已处理完成等,还可以是客户端提交的任务对应的数据,可以下载;还可以是处理完成的任务对应的数据,可以下载等;也可以为上述任务信息的任意组合,可以根据实际需要配置客户端从任务处理平台可获取的任务信息,本申请实施例中对此不进行限制。
任务处理平台接收到所述请求时,根据所述指令中携带的任务标识,以及任务信息的标识匹配到对应任务信息,并响应给所述客户端。
步骤302,接收到所述任务处理平台发送的获取所述请求所请求的任务信息时,进行输出。
本申请实施例中输出任务信息的方式可以为表格、页面等方式,如果针对输出的信息进行下载,则是对应的数据。
本实施例中任务处理平台统一存储分布式系统中各客户端提交的任务、任务处理的状态、任务处理结果等,当客户端需要获取某一任务信息时,可以通过配置的与平台交互的接口方便、高效地获取对应的信息,客户端侧不需要存储维护大量数据信息,节省存储和维护资源。
实施例三
参见图4,图4为本申请实施例三中数据处理流程示意图。具体步骤为:
步骤401,任务处理平台接收到客户端提交的待处理任务,以及回调信息时,存储到分布式系统的数据库中。
其中,所述回调信息包括:回调业务处理逻辑的接口的接口标识和业务处理逻辑的逻辑标识;
步骤402,当处理所述待处理任务时,通过接口标识对应的接口向所述客户端发送调用逻辑标识对应的业务处理逻辑的指令。
任务处理平台采用泛化调用的方式从对应客户端上获取对应的业务处理逻辑,来处理待处理任务,不在任务处理平台上配置业务处理逻辑。
步骤403,接收到客户端响应的所述逻辑标识对应的业务处理逻辑时,使用所述业务处理逻辑处理所述待处理任务,并将任务处理结果存储到分布式系统的数据库中。
本实施例中将任务处理结果存储到分布式系统文件中便于任务处理平台统一对任务处理结果的管理,客户端也可以通过配置的与任务管理平台交互的接口查询对应的任务信息,客户端可以不用存储并维护对应的任务信息,节省存储空间、管理资源等,还可以通过权限控制客户端之间的任务信息的访问,便于分布式系统的数据交互,不占用网络传输资源。
实施例四
参见图5,图5为本申请实施例四中数据处理流程示意图。具体步骤为:
步骤501,任务处理平台接收到客户端提交的待处理任务,以及回调信息时,存储到分布式系统的数据库中,并将所述待处理任务的任务标识写入消息队列。
客户端有待处理任务时,不在本地处理,将待处理任务和所述待处理任务对应的回调信息提交到任务处理平台。
任务处理平台接收到客户端提交的待处理任务时,将待处理任务存储到分布式系统的数据库中,为客户端备份一份数据,以便查看原始数据。
本申请实施例中具体实现时,将待处理任务的任务标识写入消息队列即可,不需要写入相关数据。
本申请实施例中具体实现时,默认可以按照写入消息队列的先后顺序执行对应的待处理任务;
还可以配置预设规则,用于对消息队列中的待处理任务进行排序,即将所述消息队列中的待处理任务按照预设规则排序,按照排序顺序处理所述待处理任务。
这里的预设规则的配置不进行限制,如可以为按照写入时间先后顺序来执行,还可以为待处理任务分配优先级,通过优先级的高低为待处理任务排序。
这里的优先级配置可以由客户端配置,也可以由任务处理平台配置,如针对一些需要优先处理的待处理任务配置高优先级;也可以部分配置优先级,部分任务不配置优先级,不配置优先级的任务默认按照最低优先级处理;还可以按照客户端配置优先级等来实现,如果客户端侧配置优先级,则在提交任务时,需要将对应的优先级也提交到任务处理平台上;若未提交,则默认最低优先级处理,针对同一优先级的待处理任务,按照客户端提交任务的时间的先后顺序排序,即按照写入消息队列的时间的先后顺序排序。
上述消息队列中的任务排序方式仅为一种举例,具体实现时可以根据实际需要配置实现方式,不限于上述实现方式。
步骤502,当处理所述待处理任务时,通过接口标识对应的接口向所述客户端发送调用逻辑标识对应的业务处理逻辑的指令。
任务处理平台采用泛化调用的方式从对应客户端上获取对应的业务处理逻辑,来处理待处理任务,不在任务处理平台上配置业务处理逻辑。
步骤503,接收到客户端响应的所述逻辑标识对应的业务处理逻辑时,使用所述业务处理逻辑处理所述待处理任务,并将任务处理结果存储到分布式系统的数据库中。
本实施例中任务处理平台将客户端提交的待处理任务的任务标识写入消息队列中进行排队,避免了数据的丢失,还可以削峰、异步、解耦,将任务处理结果存储到分布式系统文件中便于任务处理平台统一对任务处理结果的管理,客户端也可以通过配置的与任务管理平台交互的接口查询对应的任务信息,客户端可以不用存储并维护对应的任务信息,节省存储空间、管理资源等,还可以通过权限控制客户端之间的任务信息的访问,便于分布式系统的数据交互,不占用网络传输资源。
实施例五
参见图6,图6为本申请实施例五中任务信息查询流程示意图。具体步骤为:
步骤601,任务处理平台接收到所述客户端发送的查询任务信息的请求时,在分布式系统的数据库中获取所述请求所请求的任务信息。
这里的任务信息可以是任务的处理状态,如是否处理成功,是否正在处理,已处理完成等,还可以是客户端提交的任务对应的数据,可以下载;还可以是处理完成的任务对应的数据,可以下载等;也可以为上述任务信息的任意组合,可以根据实际需要配置客户端从任务处理平台可获取的任务信息,本申请实施例中对此不进行限制。
任务处理平台接收到所述指令时,根据所述指令中携带的任务标识,以及任务信息的标识匹配到对应任务信息。
步骤602,该任务处理平台将查询到的任务信息响应给所述客户端。
本实施例中将客户端提交的任务相关的任务信息存储到分布式系统文件中便于任务处理平台统一对任务信息进行管理,使客户端可以不用存储并维护对应的任务信息,节省存储空间、管理资源等,还可以通过权限控制客户端之间的任务信息的访问,便于分布式系统的数据交互,不占用网络传输资源。
实施例六
本实施例以上传商品信息到商品池为例。
本申请实施例中在进行任务导入时,可以开发一个界面来实现数据的导入,导出,通过导入、导出按钮来实现任务提交,也可以是其它方式提交待处理任务。
客户端1将待处理任务,以及待处理任务对应的回调信息(接口标识1和逻辑标识5)提交到任务处理平台;
参见图7,图7为本申请实施例中提交的待处理任务对应的数据内容示意图。如图7所示对应的内容分别为分销商编码、商品编码、分销价和租户编码。
任务处理平台将所述待处理任务对应的数据信息存储到分布式系统的数据库中,将所述待处理任务的任务标识8写入消息队列中,将回调信息与所述待处理任务的任务标识绑定写入消息队列,也可以绑定存储在消息队列之外的存储空间。其中,任务标识全局唯一,即所有客户端上报的待处理任务的标识全局唯一,也可以各自在对应客户端上唯一,此时则需要增加客户端标识来区分各任务。
假设消息队列中的待处理任务均未配置优先级,则按照其对应的写入时间的先后顺序排列所述待处理任务,并顺序执行。
待轮到客户端1上报的任务标识8对应的待处理任务的处理时,根据待处理任务8的回调信息通过接口1向客户端1回调逻辑标识5对应的业务处理逻辑。
客户端在本地获取逻辑标识5对应的业务处理逻辑并响应给任务处理平台。
任务处理平台根据客户端1响应的业务处理逻辑处理所述待处理任务8。
假设本申请实施例中针对图7所对应的待处理任务配置的业务处理逻辑为:添加分销商品,校验租户是否为空,起订数量是否为空,校验都通过的时候就保存商品信息到商品池中。
参见图8,图8为本申请实施例中针对图7所示的待处理任务进行处理后的处理结果对应的内容。
如图8所示的内容对应为结果、错误信息、分销商编码、商品编码、分销价和租户编码。
将该处理结果存储到分布式系统的数据库中,以便客户端查询。
参见图9,图9为客户端针对一任务可查询的查询信息示意图。如图9所示,可以查询的信息包括:任务标识(业务ID)、任务名称、任务进度、完成/失败、操作人(ERP)、执行时间、完成时间、创建时间、初始数据和执行结果。
上述给出的可查询信息为本申请实施例中的一个举例,具体实现时,可以根据实际需要设置可查询的内容,以及显示的方式,能够查询的信息均存储在分布式系统的数据库中,以便分布式系统的各客户端的查询。
基于同样的发明构思,本申请实施例中还提供一种数据处理装置。参见图10,图10为本申请实施例中应用于上述客户端的数据处理装置结构示意图。所述装置包括:发送单元1001、接收单元1002和查找单元1003;
发送单元1001,用于将待处理任务,以及对应的回调信息提交到任务处理平台,使所述任务平台在处理所述待处理任务时,通过所述回调信息中的接口标识对应的接口向所述客户端发送调用所述回调信息中的逻辑标识对应的业务处理逻辑的指令;将查找单元1003查找到的业务处理逻辑响应给所述任务处理平台,使所述任务处理平台使用所述业务处理逻辑处理所述待处理任务,并将任务处理结果存储到分布式系统的数据库中;
接收单元1002,用于接收所述任务处理平台发送的指令;
查找单元1003,用于当接收单元1002接收到所述任务处理平台发送的指令时,根据所述指令中携带的逻辑标识查找到对应的业务处理逻辑。
优选地,所述装置进一步包括:配置单元1004;
配置单元1004,用于配置处理所述待处理任务的业务处理逻辑,并分配唯一逻辑标识;配置向所述业务处理平台提交任务的接口,回调业务处理逻辑的接口,以及查询任务信息的接口。
优选地,所述装置进一步包括:输出单元1005;
发送单元1001,进一步用于通过所述配置单元配置的所述查询任务信息的接口向所述任务处理平台发送查询任务信息的请求;
接收单元1002,用于接收所述任务处理平台发送的任务信息;
输出单元1005,用于当接收单元1002接收到所述任务处理平台发送的获取所述请求所请求的任务信息时,进行输出。
基于同样的发明构思,本申请实施例中还提供一种数据处理装置。参见图11,图11为本申请实施例中应用于上述任务处理平台的数据处理装置结构示意图。所述装置包括:接收单元1101、存储单元1102、发送单元1103和处理单元1104;
接收单元1101,用于接收客户端提交的待处理任务,以及回调信息;接收客户端响应的逻辑标识对应的业务处理逻辑;
存储单元1102,用于当接收单元1101接收到客户端提交的待处理任务,以及回调信息时,存储到分布式系统的数据库中;其中,所述回调信息包括:回调业务处理逻辑的接口的接口标识和业务处理逻辑的逻辑标识;将处理单元1104获得的任务处理结果存储到分布式系统的数据库中;
发送单元1103,用于当处理接收单元1101接收到的待处理任务时,通过所述接口标识对应的接口向所述客户端发送调用所述逻辑标识对应的业务处理逻辑的指令;
处理单元1104,用于接收单元1101接收到客户端响应的所述逻辑标识对应的业务处理逻辑时,使用所述业务处理逻辑处理所述待处理任务。
优选地,
存储单元1102,进一步用于将所述待处理任务的任务标识写入消息队列。
优选地,所述装置进一步包括:排序单元1105;
排序单元1105,用于将所述消息队列中的待处理任务按照预设规则排序,使处理单元1104按照排序顺序处理所述待处理任务。
优选地,所述装置进一步包括:获取单元1106;
接收单元1101,进一步用于接收请求;
获取单元1106,用于接收单元1101接收到所述客户端发送的查询任务信息的请求时,在分布式系统的数据库中获取所述请求所请求的任务信息;
发送单元1103,用于将获取单元1106获取的任务信息响应给所述客户端。
上述实施例的单元可以集成于一体,也可以分离部署;可以合并为一个单元,也可以进一步拆分成多个子单元。
在另一个实施例中,还提供一种电子设备,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,所述处理器执行所述程序时实现所述客户端侧的数据处理方法的步骤。
在另一个实施例中,还提供一种计算机可读存储介质,其上存储有计算机指令,所述指令被处理器执行时可实现所述客户端侧的数据处理方法中的步骤。
图12为本发明实施例提供的一种电子设备的实体结构示意图。如图12所示,该电子设备可以包括:处理器(Processor)1210、通信接口(Communications Interface)1220、存储器(Memory)1230和通信总线1240,其中,处理器1210,通信接口1220,存储器1230通过通信总线1240完成相互间的通信。处理器1210可以调用存储器1230中的逻辑指令,以执行如下方法:
将待处理任务,以及对应的回调信息提交到任务处理平台,使所述任务平台在处理所述待处理任务时,通过所述回调信息中的接口标识对应的接口向所述客户端发送调用所述回调信息中的逻辑标识对应的业务处理逻辑的指令;
接收到所述任务处理平台发送的指令时,根据所述指令中携带的逻辑标识查找到对应的业务处理逻辑,并响应给所述任务处理平台,使所述任务处理平台使用所述业务处理逻辑处理所述待处理任务,并将任务处理结果存储到分布式系统的数据库中。
此外,上述的存储器1230中的逻辑指令可以通过软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储介质中。基于这样的理解,本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括:U盘、移动硬盘、只读存储器(ROM,Read-Only Memory)、随机存取存储器(RAM,Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
在另一个实施例中,还提供一种电子设备,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,所述处理器执行所述程序时实现所述任务处理平台侧的数据处理方法的步骤。
在另一个实施例中,还提供一种计算机可读存储介质,其上存储有计算机指令,所述指令被处理器执行时可实现所述任务处理平台侧的数据处理方法中的步骤。
图13为本发明实施例提供的另一种电子设备的实体结构示意图。如图13所示,该电子设备可以包括:处理器(Processor)1310、通信接口(Communications Interface)1320、存储器(Memory)1330和通信总线1340,其中,处理器1310,通信接口1320,存储器1330通过通信总线1340完成相互间的通信。处理器1310可以调用存储器1330中的逻辑指令,以执行如下方法:
接收到客户端提交的待处理任务,以及回调信息时,存储到分布式系统的数据库中;其中,所述回调信息包括:回调业务处理逻辑的接口的接口标识和业务处理逻辑的逻辑标识;
当处理所述待处理任务时,通过所述接口标识对应的接口向所述客户端发送调用所述逻辑标识对应的业务处理逻辑的指令;
接收到客户端响应的所述逻辑标识对应的业务处理逻辑时,使用所述业务处理逻辑处理所述待处理任务,并将任务处理结果存储到分布式系统的数据库中。
此外,上述的存储器1330中的逻辑指令可以通过软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储介质中。基于这样的理解,本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括:U盘、移动硬盘、只读存储器(ROM,Read-Only Memory)、随机存取存储器(RAM,Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
以上所描述的装置实施例仅仅是示意性的,其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下,即可以理解并实施。
通过以上的实施方式的描述,本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现,当然也可以通过硬件。基于这样的理解,上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来,该计算机软件产品可以存储在计算机可读存储介质中,如ROM/RAM、磁碟、光盘等,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)执行各个实施例或者实施例的某些部分所述的方法。
以上所述仅为本发明的较佳实施例而已,并不用以限制本发明,凡在本发明的精神和原则之内,所做的任何修改、等同替换、改进等,均应包含在本发明保护的范围之内。

Claims (13)

1.一种数据处理方法,其特征在于,所述方法包括:
将待处理任务,以及对应的回调信息提交到任务处理平台,使所述任务平台在处理所述待处理任务时,通过所述回调信息中的接口标识对应的接口向所述客户端发送调用所述回调信息中的逻辑标识对应的业务处理逻辑的指令;
接收到所述任务处理平台发送的指令时,根据所述指令中携带的逻辑标识查找到对应的业务处理逻辑,并响应给所述任务处理平台,使所述任务处理平台使用所述业务处理逻辑处理所述待处理任务,并将任务处理结果存储到分布式系统的数据库中。
2.根据权利要求1所述的方法,其特征在于,将所述待处理任务提交所述任务处理平台之前,所述方法进一步包括:
配置处理所述待处理任务的业务处理逻辑,并分配唯一逻辑标识;
配置向所述业务处理平台提交任务的接口,回调业务处理逻辑的接口,以及查询任务信息的接口。
3.根据权利要求2所述的方法,其特征在于,所述方法进一步包括:
通过所述查询任务信息的接口向所述任务处理平台发送查询任务信息的请求;
接收到所述任务处理平台发送的获取所述请求所请求的任务信息时,进行输出。
4.一种数据处理方法,其特征在于,所述方法包括:
接收到客户端提交的待处理任务,以及回调信息时,存储到分布式系统的数据库中;其中,所述回调信息包括:回调业务处理逻辑的接口的接口标识和业务处理逻辑的逻辑标识;
当处理所述待处理任务时,通过所述接口标识对应的接口向所述客户端发送调用所述逻辑标识对应的业务处理逻辑的指令;
接收到客户端响应的所述逻辑标识对应的业务处理逻辑时,使用所述业务处理逻辑处理所述待处理任务,并将任务处理结果存储到分布式系统的数据库中。
5.根据权利要求4所述的方法,其特征在于,所述接收到客户端提交的待处理任务,以及回调信息时,所述方法进一步包括:
将所述待处理任务的任务标识写入消息队列。
6.根据权利要求5所述的方法,其特征在于,所述方法进一步包括:
将所述消息队列中的待处理任务按照预设规则排序,按照排序顺序处理所述待处理任务。
7.根据权利要求4-6任一项所述的方法,其特征在于,所述方法进一步包括:
接收到所述客户端发送的查询任务信息的请求时,在分布式系统的数据库中获取所述请求所请求的任务信息,并响应给所述客户端。
8.一种数据处理装置,其特征在于,所述装置包括:发送单元、接收单元和查找单元;
所述发送单元,用于将待处理任务,以及对应的回调信息提交到任务处理平台,使所述任务平台在处理所述待处理任务时,通过所述回调信息中的接口标识对应的接口向所述客户端发送调用所述回调信息中的逻辑标识对应的业务处理逻辑的指令;将所述查找单元查找到的业务处理逻辑响应给所述任务处理平台,使所述任务处理平台使用所述业务处理逻辑处理所述待处理任务,并将任务处理结果存储到分布式系统的数据库中;
所述接收单元,用于接收所述任务处理平台发送的指令;
所述查找单元,用于当所述接收单元接收到所述任务处理平台发送的指令时,根据所述指令中携带的逻辑标识查找到对应的业务处理逻辑。
9.一种数据处理装置,其特征在于,所述装置包括:接收单元、存储单元、发送单元和处理单元;
所述接收单元,用于接收客户端提交的待处理任务,以及回调信息;接收客户端响应的逻辑标识对应的业务处理逻辑;
所述存储单元,用于当所述接收单元接收到客户端提交的待处理任务,以及回调信息时,存储到分布式系统的数据库中;其中,所述回调信息包括:回调业务处理逻辑的接口的接口标识和业务处理逻辑的逻辑标识;将所述处理单元获得的任务处理结果存储到分布式系统的数据库中;
所述发送单元,用于当处理所述接收单元接收到的待处理任务时,通过所述接口标识对应的接口向所述客户端发送调用所述逻辑标识对应的业务处理逻辑的指令;
所述处理单元,用于所述接收单元接收到客户端响应的所述逻辑标识对应的业务处理逻辑时,使用所述业务处理逻辑处理所述待处理任务。
10.一种电子设备,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,其特征在于,所述处理器执行所述程序时实现如权利要求1-3任一项所述的方法。
11.一种计算机可读存储介质,其上存储有计算机程序,其特征在于,该程序被处理器执行时实现权利要求1-3任一项所述的方法。
12.一种电子设备,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,其特征在于,所述处理器执行所述程序时实现如权利要求4-7任一项所述的方法。
13.一种计算机可读存储介质,其上存储有计算机程序,其特征在于,该程序被处理器执行时实现权利要求4-7任一项所述的方法。
CN202010417552.8A 2020-05-18 2020-05-18 一种数据处理方法和装置 Pending CN113688175A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010417552.8A CN113688175A (zh) 2020-05-18 2020-05-18 一种数据处理方法和装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010417552.8A CN113688175A (zh) 2020-05-18 2020-05-18 一种数据处理方法和装置

Publications (1)

Publication Number Publication Date
CN113688175A true CN113688175A (zh) 2021-11-23

Family

ID=78575323

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010417552.8A Pending CN113688175A (zh) 2020-05-18 2020-05-18 一种数据处理方法和装置

Country Status (1)

Country Link
CN (1) CN113688175A (zh)

Citations (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20030093467A1 (en) * 2001-11-01 2003-05-15 Flying Wireless, Inc. Server for remote file access system
US20120317164A1 (en) * 2009-12-30 2012-12-13 Zte Corporation Services Cloud System and Service Realization Method
KR20140069827A (ko) * 2012-11-30 2014-06-10 한국과학기술정보연구원 작업 실행 관리 방법, 작업 실행 관리 장치, 및 작업 실행을 관리하는 프로그램을 저장하는 저장매체
CN104239125A (zh) * 2014-09-28 2014-12-24 北京奇艺世纪科技有限公司 对象处理方法、分布式文件系统及客户端设备
US20150295984A1 (en) * 2014-04-14 2015-10-15 PetroGrid LLC Multi Web Application Management Framework System and Method
US20150370871A1 (en) * 2014-06-23 2015-12-24 International Business Machines Corporation Etl tool interface for remote mainframes
CN107508787A (zh) * 2016-06-14 2017-12-22 腾讯科技(深圳)有限公司 一种任务执行方法、装置及系统
CN108243246A (zh) * 2017-12-25 2018-07-03 北京市天元网络技术股份有限公司 一种边缘计算资源调度方法、边缘设备及系统
US20190073311A1 (en) * 2017-09-05 2019-03-07 International Business Machines Corporation Distributed safe data commit in a data storage system
CN110245029A (zh) * 2019-05-21 2019-09-17 中国平安财产保险股份有限公司 一种数据处理方法、装置、存储介质和服务器
CN110309931A (zh) * 2018-03-20 2019-10-08 腾讯科技(深圳)有限公司 一种业务优化方法及装置
US20200004854A1 (en) * 2018-06-29 2020-01-02 International Business Machines Corporation Sending notifications in a multi-client database environment
CN110691092A (zh) * 2019-10-09 2020-01-14 恩亿科(北京)数据科技有限公司 一种数据处理方法、装置、电子设备及可读存储介质

Patent Citations (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20030093467A1 (en) * 2001-11-01 2003-05-15 Flying Wireless, Inc. Server for remote file access system
US20120317164A1 (en) * 2009-12-30 2012-12-13 Zte Corporation Services Cloud System and Service Realization Method
KR20140069827A (ko) * 2012-11-30 2014-06-10 한국과학기술정보연구원 작업 실행 관리 방법, 작업 실행 관리 장치, 및 작업 실행을 관리하는 프로그램을 저장하는 저장매체
US20150295984A1 (en) * 2014-04-14 2015-10-15 PetroGrid LLC Multi Web Application Management Framework System and Method
US20150370871A1 (en) * 2014-06-23 2015-12-24 International Business Machines Corporation Etl tool interface for remote mainframes
CN104239125A (zh) * 2014-09-28 2014-12-24 北京奇艺世纪科技有限公司 对象处理方法、分布式文件系统及客户端设备
CN107508787A (zh) * 2016-06-14 2017-12-22 腾讯科技(深圳)有限公司 一种任务执行方法、装置及系统
US20190073311A1 (en) * 2017-09-05 2019-03-07 International Business Machines Corporation Distributed safe data commit in a data storage system
CN108243246A (zh) * 2017-12-25 2018-07-03 北京市天元网络技术股份有限公司 一种边缘计算资源调度方法、边缘设备及系统
CN110309931A (zh) * 2018-03-20 2019-10-08 腾讯科技(深圳)有限公司 一种业务优化方法及装置
US20200004854A1 (en) * 2018-06-29 2020-01-02 International Business Machines Corporation Sending notifications in a multi-client database environment
CN110245029A (zh) * 2019-05-21 2019-09-17 中国平安财产保险股份有限公司 一种数据处理方法、装置、存储介质和服务器
CN110691092A (zh) * 2019-10-09 2020-01-14 恩亿科(北京)数据科技有限公司 一种数据处理方法、装置、电子设备及可读存储介质

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
HIROSHI NISHIDA: "Optimal Client-Server Assignment for Internet Distributed Systems", 《IEEE TRANSACTIONS ON PARALLEL AND DISTRIBUTED SYSTEMS》, vol. 24, no. 3, 12 June 2012 (2012-06-12) *
张慧翔;张新家;: "一种业务逻辑可重构的三层应用服务器设计与实现", 计算机应用, no. 04, 10 April 2006 (2006-04-10) *
郑国宾: "Web Services性能测试关键技术研究", 《中国知网硕士学位论文电子期刊》, 15 May 2019 (2019-05-15) *

Similar Documents

Publication Publication Date Title
CN108874558B (zh) 分布式事务的消息订阅方法、电子装置及可读存储介质
CN104750690B (zh) 一种查询处理方法、装置及系统
CN107113341B (zh) 用于数据划分的分布式关系数据库管理系统中事务的高吞吐量处理的系统
CN108182111A (zh) 任务调度系统、方法和装置
CA2047737A1 (en) Object oriented distributed processing system
CN113220431B (zh) 跨云的分布式数据任务调度方法、设备及存储介质
CN108734566A (zh) 征信数据查询方法、终端设备及介质
CN108762735B (zh) 工作流引擎的管理方法及装置、存储介质、终端
CN111381940B (zh) 分布式数据处理方法及装置
CN112817748A (zh) 一种基于安卓虚拟机处理任务的方法、计算机设备
CN112488579A (zh) 任务指派方法及装置、电子设备、存储介质
CN105786941B (zh) 一种信息挖掘方法和装置
CN107463391A (zh) 任务处理方法、装置及设备
CN113688175A (zh) 一种数据处理方法和装置
CN111967975A (zh) 业务问题处理系统及工作方法
CN114840586A (zh) 一种数据转换方法、设备、服务器及计算机可读存储介质
CN113849286A (zh) 对账数据导入方法、系统、设备及计算机可读存储介质
CN107679198A (zh) 信息的查询方法及装置
CN113239921A (zh) 一种ocr识别服务的任务分级与分发方法及系统
CN116263717A (zh) 基于事件的订单业务处理方法及装置
CN107102901A (zh) 一种任务处理方法和装置
AU2008214725B2 (en) Interface module
CN111353766A (zh) 分布式业务系统的业务流程处理系统及方法
CN107305564B (zh) 一种数据处理的方法和设备
CN110673931A (zh) 单证合成的分布式计算方法、单证合成系统及其控制装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination