CN110795215A - 一种数据处理方法、计算机设备、存储介质 - Google Patents

一种数据处理方法、计算机设备、存储介质 Download PDF

Info

Publication number
CN110795215A
CN110795215A CN201810865671.2A CN201810865671A CN110795215A CN 110795215 A CN110795215 A CN 110795215A CN 201810865671 A CN201810865671 A CN 201810865671A CN 110795215 A CN110795215 A CN 110795215A
Authority
CN
China
Prior art keywords
processing
data
processed
node
flow information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201810865671.2A
Other languages
English (en)
Inventor
程峰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Alibaba Group Holding Ltd
Original Assignee
Alibaba Group Holding Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Alibaba Group Holding Ltd filed Critical Alibaba Group Holding Ltd
Priority to CN201810865671.2A priority Critical patent/CN110795215A/zh
Publication of CN110795215A publication Critical patent/CN110795215A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00Arrangements for program control, e.g. control units
    • G06F9/06Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46Multiprogramming arrangements
    • G06F9/48Program initiating; Program switching, e.g. by interrupt
    • G06F9/4806Task transfer initiation or dispatching
    • G06F9/4843Task transfer initiation or dispatching by program, e.g. task dispatcher, supervisor, operating system
    • G06F9/4881Scheduling strategies for dispatcher, e.g. round robin, multi-level priority queues
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00Arrangements for program control, e.g. control units
    • G06F9/06Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46Multiprogramming arrangements
    • G06F9/50Allocation of resources, e.g. of the central processing unit [CPU]
    • G06F9/5005Allocation of resources, e.g. of the central processing unit [CPU] to service a request
    • G06F9/5027Allocation of resources, e.g. of the central processing unit [CPU] to service a request the resource being a machine, e.g. CPUs, Servers, Terminals

Landscapes

  • Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Information Transfer Between Computers (AREA)

Abstract

本申请实施例公开了一种数据处理方法和装置。所述方法包括:获取待处理数据,根据待处理数据携带的处理流程信息确定处理节点,来对待处理数据进行处理,使得处理节点的流程定义不再需要预先部署在各个处理节点上或处理节点组成的处理系统上,打破了各个处理节点只能为预先部署的一种处理流程提供处理的限制,不同的待处理数据可以携带不同的处理流程信息,无须重新进行部署,就可以灵活地实时变更处理流程,各个处理节点实现了同时为多种处理流程进行处理,对于各个处理节点的扩容或缩量,不再仅对预先部署的一种处理流程有效,而可以对多种处理流程统一生效,提高资源的利用效率。

Description

一种数据处理方法、计算机设备、存储介质
技术领域
本申请涉及数据处理技术领域,具体涉及一种数据处理方法、一种计算机设备、一种计算机可读存储介质。
背景技术
流式计算是不同于批量计算的一种计算方式,流式计算更加强调计算数据流和低时延。在流式计算中,无法确定数据的到来时刻和到来顺序,不同于批量计算等待数据集成全部就绪后才启动计算处理,流式计算是一种常驻计算服务,一旦启动将一直处于等待事件触发的状态,一旦有小批量数据进入流式数据存储,处理节点立刻处理并迅速得到结果。
目前的流式计算框架中,流式计算系统可以对待处理数据执行多种处理,需要有多种处理节点,每种处理节点可以由多个服务器组成,流式计算流程需要由多种处理节点来处理待处理数据。
申请人经研究发现,对于流式计算流程来说,通常必须预先设计流式计算流程的路由定义(即计算逻辑),根据流式计算流程的路由定义,来部署流式计算系统。在整个运行期间,流式计算的路由定义不可更改。这样的流式计算系统存在的缺点是流程的路由定义是预先部署确定的,一旦流程需要发生变化,就要重新部署整个系统,无法灵活变更。为一种流程部署的服务节点只能作为该流程的计算资源,不能被其他流程所共享,导致对于该流程的服务节点进行扩容或缩量,仅对该流式计算流程有效,对于其他流程则无法生效。
发明内容
鉴于上述问题,提出了本申请以便提供一种克服上述问题或者至少部分地解决上述问题的数据处理方法、以及计算机设备、计算机可读存储介质。
依据本申请的一个方面,提供了一种数据处理方法,包括:获取待处理数据;
根据所述待处理数据携带的处理流程信息,确定处理节点;
将所述待处理数据发送到处理节点进行处理。
可选地,所述根据所述待处理数据携带的处理流程信息,确定处理节点包括:
根据所述处理流程信息包括的处理结果与处理节点的关系信息,查找当前处理节点产生的处理结果对应的下一个处理节点。
可选地,所述处理节点包括第一处理节点,所述根据所述待处理数据携带的处理流程信息,确定处理节点包括:
根据所述处理流程信息,确定第一处理节点;
所述将所述待处理数据发送到处理节点进行处理包括:
将所述待处理数据发送给第一处理节点;
由所述第一处理节点对待处理数据进行处理,得到第一处理结果。
可选地,所述处理流程信息包括第一处理结果与第二处理节点的关系信息,所述处理节点包括第二处理节点,所述根据所述待处理数据携带的处理流程信息,确定处理节点还包括:
根据所述处理流程信息和第一处理结果,确定第二处理节点;
所述将所述待处理数据发送到处理节点进行处理还包括:
将所述待处理数据发送给第二处理节点;
由所述第二处理节点对待处理数据进行处理,得到第二处理结果。
可选地,所述处理流程信息包括处理结果与处理流程结束的关系信息,所述根据所述待处理数据携带的处理流程信息,确定处理节点还包括:
根据所述第一处理结果或第二处理结果,以及处理流程信息,确定所述处理流程结束。
可选地,在所述将所述待处理数据发送到处理节点进行处理之后,所述方法还包括:
将所述处理节点的处理结果和待处理数据返回给调度节点,其中,所述调度节点和处理节点归属于同一流式计算系统;
由所述调度节点根据所述处理结果和待处理数据携带的处理流程信息,确定下一个处理节点。
可选地,所述处理流程信息包括处理流程决策表或处理流程决策树。
可选地,在所述获取待处理数据之前,所述方法还包括:
根据所述待处理数据需经过的处理流程,添加处理流程信息到待处理数据中。
可选地,所述根据所述待处理数据需经过的处理流程,添加处理流程信息到待处理数据中包括:
根据待处理数据的来源,确定需经过的处理流程;
查找需经过的处理流程对应的处理流程信息,添加到所述待处理数据中。
可选地,在所述根据所述待处理数据需经过的处理流程,添加处理流程信息到待处理数据中之前,所述方法还包括:
修改所述处理流程相应的处理流程信息。
可选地,所述方法还包括:
扩大或缩小所述处理节点的计算资源。
相应地,根据本申请的另一方面,还提供了一种计算机设备,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,所述处理器执行所述计算机程序时实现如上述一个或多个的方法。
相应地,根据本申请的另一方面,还提供了一种计算机可读存储介质,其上存储有计算机程序,该程序被处理器执行时实现如上述一个或多个的方法。
依据本申请实施例,通过获取待处理数据,根据待处理数据携带的处理流程信息确定处理节点,来对待处理数据进行处理,使得处理节点的流程定义不再需要预先部署在各个处理节点上或处理节点组成的处理系统上,打破了各个处理节点只能为预先部署的一种处理流程提供处理的限制,不同的待处理数据可以携带不同的处理流程信息,无须重新进行部署,就可以灵活地实时变更处理流程,各个处理节点实现了同时为多种处理流程进行处理,对于各个处理节点的扩容或缩量,不再仅对预先部署的一种处理流程有效,而可以对多种处理流程统一生效,提高资源的利用效率。
上述说明仅是本申请技术方案的概述,为了能够更清楚了解本申请的技术手段,而可依照说明书的内容予以实施,并且为了让本申请的上述和其它目的、特征和优点能够更明显易懂,以下特举本申请的具体实施方式。
附图说明
通过阅读下文优选实施方式的详细描述,各种其他的优点和益处对于本领域普通技术人员将变得清楚明了。附图仅用于示出优选实施方式的目的,而并不认为是对本申请的限制。而且在整个附图中,用相同的参考符号表示相同的部件。在附图中:
图1示出了数据处理过程的示意图;
图2示出了根据本申请实施例一的一种数据处理方法实施例的流程图;
图3示出了根据本申请实施例二的一种数据处理方法实施例的流程图;
图4示出了改进的流式计算过程的示意图;
图5示出了根据本申请实施例三的一种数据处理装置实施例的结构框图;
图6示出了可被用于实现本公开中所述的各个实施例的示例性系统。
具体实施方式
下面将参照附图更详细地描述本公开的示例性实施例。虽然附图中显示了本公开的示例性实施例,然而应当理解,可以以各种形式实现本公开而不应被这里阐述的实施例所限制。相反,提供这些实施例是为了能够更透彻地理解本公开,并且能够将本公开的范围完整的传达给本领域的技术人员。
为使本领域技术人员更好地理解本申请,以下对本申请涉及的概念进行说明:
待处理数据包括输入到流式计算系统中的数据,具体可以包括任意适用的数据,本申请实施例对此不做限制。例如,输入流式计算系统的,不间断的数据,也称为流式数据(即待处理数据)。
在本申请中,待处理数据携带有处理流程信息。处理流程信息用于确定待处理数据在流式计算系统中所需要经过的处理节点,以及在各个处理节点之间的处理流程,也可以称为路由信息。例如,数据A(即待处理数据)首先需要经过处理节点1,然后处理节点1对数据A进行处理后,得到处理结果X或Y,若处理结果为X,则由处理节点2继续对数据A进行处理,若处理结果为Y,则由处理节点3继续对数据A进行处理,上述处理流程可以由处理流程信息确定。
其中,处理节点用于对待处理数据进行处理,在流式计算系统中,对待处理数据需要执行多种处理,每种处理对应一种处理节点,一个处理节点可以由至少一台服务器组成,或者其他任意适用的组成方式,本申请实施例对此不做限制。例如,处理节点1负责对验证码进行验证,由100台服务器组成,处理节点2负责对客户端账号的登录地点进行安全检测,由80台服务器组成,处理节点3负责对客户端所处网络环境进行安全检测,由70台服务器组成。
在本申请的一种可选实施例中,处理流程信息包括处理结果与处理节点的关系信息,关系信息包括各种处理结果下待处理数据所需经过的下一个处理节点,例如,采用处理流程决策表或处理流程决策树来表示这种关系信息。处理流程信息还可以包括处理结果与处理流程结束的关系信息,即在不同的处理节点上某种处理结果与处理流程结束之间的对应关系,用于确定处理流程何时结束。
在本申请的一种可选实施例中,将处理流程信息确定的首个需要经过的处理节点,记为第一处理节点。相应的,第一处理节点对待处理数据进行处理,所得到的结果,记为第一处理结果。而根据第一处理节点和处理流程信息确定的第二个需要经过的处理节点,记为第二处理节点。相应的,第二处理节点对待处理数据进行处理,所得到的结果,记为第二处理结果。当然,还可以存在第三处理节点、第四处理节点、第n处理节点等,具体可以包括任意适用的处理节点,本申请实施例对此不做限制。
在本申请的一种可选实施例中,根据处理流程信息,确定处理节点的步骤可以由流式计算系统中的调度节点专门负责,即专门设有服务器用于根据处理流程信息、或者处理结果和处理流程信息,确定下一个要经过的处理节点。
值得说明的是,在流式计算系统中,除了由调度节点确定处理节点外,还可以在各个处理节点上新增一个用于确定处理节点的服务,由每个处理节点来确定下一个处理节点,而无需将待处理数据和处理结果发送给调度节点来确定。
在本申请的一种可选实施例中,处理流程信息包括处理流程决策表或处理流程决策树。描述数据处理流程的决策表,记为处理流程决策表,描述数据处理流程的决策树,记为处理流程决策树。
处理流程决策表是一种以表格形式表现规则的工具,非常适用于描述处理判断条件较多,各条件又相互组合,有多种决策方案的情况,处理流程决策表可将多个条件及与这些条件满足后要执行动作以图形化形式进行对应,处理流程决策表可以提供用户全可视化,图形化的操作方式,通过鼠标点击就可以快速定义出与业务相匹配的决策表。
例如,处理流程决策表中每条记录包含4个字段,第一字段表示处理节点顺序,从1开始,步进值是1;第二字段表示需要经过的处理节点;第三字段与第四字段表示处理节点处理的结果,返回结果0则将数据发送到第三字段表示的决策表记录行对应的处理节点,返回结果1则将数据发送到第四字段表示的决策表记录行对应的处理节点。
处理流程决策树是另一种构建规则的方式,以一颗树形结构来表现规则,处理流程决策树表现业务规则更为形象,便于快速定义出与业务相匹配的决策树。
在本申请的一种可选实施例中,处理节点是对计算资源的一种封装,计算资源用于对待处理数据进行计算来完成相应的处理,可以包括软件和硬件等,例如,服务器,或者其他任意适用的计算资源,本申请实施例对此不做限制。
根据本申请的一种实施例,在流式计算的架构中,流式计算系统存在的缺点是流程的路由定义是预先部署确定的,一旦流程需要发生变化,就要重新部署整个系统,无法灵活变更。为一种流程部署的服务节点只能作为该流程的计算资源,不能被其他流程所共享,导致对于该流程的服务节点进行扩容或缩量,仅对该流式计算流程有效,对于其他流程则无法生效。如图1所示的数据处理过程的示意图,本申请提供了一种数据处理机制,通过获取待处理数据,根据待处理数据携带的处理流程信息确定处理节点,来对待处理数据进行处理,使得处理节点的流程定义不再需要预先部署在各个处理节点上或处理节点组成的处理系统上,打破了各个处理节点只能为预先部署的一种处理流程提供处理的限制,不同的待处理数据可以携带不同的处理流程信息,无须重新进行部署,就可以灵活地实时变更处理流程,各个处理节点实现了同时为多种处理流程进行处理,对于各个处理节点的扩容或缩量,不再仅对预先部署的一种处理流程有效,而可以对多种处理流程统一生效,提高资源的利用效率。本申请适用但不局限于上述应用场景。
参照图2,示出了根据本申请实施例一的一种数据处理方法实施例的流程图,该方法具体可以包括以下步骤:
步骤101,获取待处理数据。
在本申请实施例中,流式计算系统获取待处理数据,具体可以由流式计算系统中的调度节点先获取待处理数据,或者可以由流式计算系统中的处理节点上的数据总线(一种负责确定处理节点的服务)获取待处理数据,或者其他任意适用的方式,本申请实施例对此不做限制。
步骤102,根据所述待处理数据携带的处理流程信息,确定处理节点。
在本申请实施例中,待处理数据携带有处理流程信息,确定处理节点的实现方式包括多种,例如,根据处理流程信息,查找当前处理节点产生的处理结果对应的下一个处理节点;或者根据处理流程信息,确定第一处理节点;或者根据处理流程信息和第一处理节点的第一处理结果,确定第二处理节点;或者根据第一处理结果或第二处理结果,以及处理流程信息,确定处理流程结束,或者其他任意适用的实现方式,本申请实施例对此不做限制。
例如,处理流程信息为处理流程决策表,获取到待处理数据后,提取出处理流程决策表,查询处于第一行的处理节点为处理节点1,则表明待处理数据首先需要经过处理节点1的处理,处理节点1对待处理数据进行处理后,得到处理结果,根据处理结果在第一行进行查询,确定下一个处理的处理节点为处理节点2或者处理节点3。
步骤103,将所述待处理数据发送到处理节点进行处理。
在本申请实施例中,在每次确定处理节点后,将待处理数据发送到处理节点进行处理。处理节点对待处理数据处理后,再次根据待处理数据携带的处理流程信息确定下一个处理节点,再将待处理数据发送到下一个处理节点进行处理。
由于待处理数据中携带处理流程信息,每次处理完,都可以根据处理流程信息判定数据处理流程的下一个处理节点,所以不同的待处理数据携带的处理流程信息也可以各自不同,流入流式计算系统的待处理数据可以具有各种处理流程信息。
依据本申请实施例,通过获取待处理数据,根据待处理数据携带的处理流程信息确定处理节点,来对待处理数据进行处理,使得处理节点的流程定义不再需要预先部署在各个处理节点上或处理节点组成的处理系统上,打破了各个处理节点只能为预先部署的一种处理流程提供处理的限制,不同的待处理数据可以携带不同的处理流程信息,无须重新进行部署,就可以灵活地实时变更处理流程,各个处理节点实现了同时为多种处理流程进行处理,对于各个处理节点的扩容或缩量,不再仅对预先部署的一种处理流程有效,而可以对多种处理流程统一生效,提高资源的利用效率。
在本申请的一种可选实施例中,根据所述待处理数据携带的处理流程信息,确定处理节点的一种实现方式可以包括:根据处理流程信息包括的处理结果与处理节点的关系信息,查找当前处理节点产生的处理结果对应的下一个处理节点。
处理流程信息中包含每个处理节点的每种处理结果所对应的下一个处理节点,在当前处理节点对待处理数据进行处理,并产生处理结果后,在处理流程信息中查找与之对应的下一个处理节点。
在本申请的一种可选实施例中,在将所述待处理数据发送到处理节点进行处理之后,还可以包括:将处理节点的处理结果和待处理数据返回给调度节点;由调度节点根据所述处理结果和待处理数据携带的处理流程信息,确定下一个处理节点。
一种实现方式中,调度节点和处理节点归属于同一流式计算系统,流式计算系统中设置有可以用于确定处理节点的调度节点,当一个处理节点产生处理结果后,将处理结果和待处理数据一同返回给调度节点,由调度节点根据处理结果和处理流程信息,确定下一个处理节点,然后将待处理数据发送到确定的下一个处理节点。
在本申请的一种可选实施例中,还可以包括:扩大或缩小处理节点的计算资源。例如,增加某一种处理节点的服务器数量。各个处理节点实现了同时为多种处理流程进行处理,对于各个处理节点的扩容或缩量,不再仅对预先部署的一种处理流程有效,而可以对多种处理流程统一生效,提高资源的利用效率。
参照图3,示出了根据本申请实施例二的一种数据处理方法实施例的流程图,该方法具体可以包括以下步骤:
步骤201,根据所述待处理数据需经过的处理流程,添加处理流程信息到待处理数据中。
在本申请实施例中,流式计算系统预先针对不同的处理流程,定义了对应的处理流程信息,待处理数据刚流入流式计算系统时,还没有携带处理流程信息,需要先确定待处理数据需经过的处理流程,然后添加对应的处理流程信息到待处理数据中。
在本申请的一种可选实施例中,根据所述待处理数据需经过的处理流程,添加处理流程信息到待处理数据中的一种实现方式可以包括:根据待处理数据的来源,确定需经过的处理流程;查找需经过的处理流程对应的处理流程信息,添加到待处理数据中。
通常来自不同的业务的待处理数据,所需经过的处理流程也不同,例如,来自支付业务的用户登录数据,和来自通讯业务的用户登录数据,所需经过的安全检测的处理流程就是不同的。待处理数据的来源包括各种业务系统、各种客户端、各种网站页面等,或者其他任意适用的来源,本申请实施例对此不做限制。
在本申请的一种可选实施例中,在根据所述待处理数据需经过的处理流程,添加处理流程信息到待处理数据中之前,还可以包括:修改处理流程相应的处理流程信息。
业务需求或者用户需求可能发生变化,需要调整对于待处理数据的处理流程,仅需要在添加到待处理数据之前,对处理流程信息进行修改即可,而且还可以不停止流式计算系统的运行,随时修改,避免了要重新部署整个处理系统才能变更处理流程的限制,提高了处理系统的处理流程的灵活性。
步骤203,根据所述处理流程信息,确定第一处理节点。
在本申请实施例中,处理流程信息中记录了待处理数据所需经过的第一个处理节点。
步骤204,将所述待处理数据发送给第一处理节点。
在本申请实施例中,确定第一处理节点后,将待处理数据发送给第一处理节点,值得说明的是,待处理数据携带有处理流程信息,也会被一同发送到第一处理节点。
步骤205,由所述第一处理节点对待处理数据进行处理,得到第一处理结果。
步骤206,根据所述处理流程信息和第一处理结果,确定第二处理节点。
在本申请实施例中,处理流程信息包括第一处理结果与第二处理节点的关系信息,即处理流程信息中包含第一处理结果所对应的第二处理节点,当然,不同的处理结果可以对应不同的处理节点,也就是说第一处理节点的下一个可能的处理节点包括第二处理节点,可能还包括第三处理节点、第四处理节点等,此处不进行一一列举,仅以第二处理节点进行说明。
步骤207,将所述待处理数据发送给第二处理节点。
在本申请实施例中,确定第二处理节点后,将待处理数据发送给第二处理节点,值得说明的是,待处理数据携带有处理流程信息,也会被一同发送到第二处理节点。
步骤208,由所述第二处理节点对待处理数据进行处理,得到第二处理结果。
步骤209,根据所述第一处理结果或第二处理结果,以及处理流程信息,确定所述处理流程结束。
在本申请实施例中,处理流程信息包括处理结果与处理流程结束的关系信息。第一处理结果或第二处理结果都有可能对应的是处理流程结束,在处理流程信息中查找第一处理结果或第二处理结果所对应的是否处理流程结束,若对应处理流程结束,则对于待处理数据的处理可以结束。
依据本申请实施例,通过根据待处理数据需经过的处理流程,添加处理流程信息到待处理数据中,获取待处理数据,根据处理流程信息,确定第一处理节点,将待处理数据发送给第一处理节点,由第一处理节点对待处理数据进行处理,得到第一处理结果,根据处理流程信息和第一处理结果,确定第二处理节点,将待处理数据发送给第二处理节点,由第二处理节点对待处理数据进行处理,得到第二处理结果,根据第一处理结果或第二处理结果,以及处理流程信息,确定处理流程结束,使得处理节点的流程定义不再需要预先部署在各个处理节点上或处理节点组成的处理系统上,打破了各个处理节点只能为预先部署的一种处理流程提供处理的限制,不同的待处理数据可以携带不同的处理流程信息,无须重新进行部署,就可以灵活地实时变更处理流程,各个处理节点实现了同时为多种处理流程进行处理,对于各个处理节点的扩容或缩量,不再仅对预先部署的一种处理流程有效,而可以对多种处理流程统一生效,提高资源的利用效率。
为使本领域技术人员更好地理解本申请,以下通过具体的示例对本申请的一种实现方式进行说明。
如图4所示的改进的流式计算过程的示意图。
步骤1,输入数据(即待处理数据)发送至数据总线,数据自带的处理流程信息route(也成路由信息)。数据总线是一种负责确定数据处理流程的服务,数据总线获取输入数据中的route信息(即处理流程信息),判定首先需要经过的服务节点(即处理节点)是服务节点1,并将输入数据发送到服务节点1。
步骤2,服务节点1收到数据总线发送的输入数据,之后进行处理。
步骤3,将处理结果与输入数据一并返回数据总线。
步骤4,数据总线根据输入数据的处理流程信息与服务节点1的处理结果,判定输入数据的下一个经过节点。如果服务节点1的处理结果是0,则将输入数据发送到服务节点2,如果服务节点1的处理结果是1,则将输入数据发送到服务节点3。
步骤5,服务节点2收到数据总线发送的输入数据后进行处理,并将处理结果与输入数据一并返回数据总线。
步骤6,数据总线根据输入数据的处理流程信息与服务节点2的处理结果,判定输入数据的下一个经过节点;如果服务节点2的处理结果是0,则将输入数据发送到服务节点3;如果服务节点2的处理结果是1,则处理流程完结。
步骤7,服务节点3收到数据总线发送的输入数据后进行处理,并将处理结果与输入数据一并返回数据总线。
步骤8,当数据总线收到服务节点3的返回结果后,该输入数据的处理流程完结。
参照图5,示出了根据本申请实施例三的一种数据处理装置实施例的结构框图,具体可以包括:
数据获取模块301,用于获取待处理数据;
节点确定模块302,用于根据所述待处理数据携带的处理流程信息,确定处理节点;
数据处理模块303,用于将所述待处理数据发送到处理节点进行处理。
在本申请的一种实施例中,可选地,所述节点确定模块包括:
节点查找子模块,用于根据所述处理流程信息包括的处理结果与处理节点的关系信息,查找当前处理节点产生的处理结果对应的下一个处理节点。
在本申请的一种实施例中,可选地,所述处理节点包括第一处理节点,所述节点确定模块包括:
第一节点确定子模块,用于根据所述处理流程信息,确定第一处理节点;
所述数据处理模块包括:
第一发送子模块,用于将所述待处理数据发送给第一处理节点;
第一处理子模块,用于由所述第一处理节点对待处理数据进行处理,得到第一处理结果。
在本申请的一种实施例中,可选地,所述处理流程信息包括第一处理结果与第二处理节点的关系信息,所述处理节点包括第二处理节点,所述节点确定模块还包括:
第二节点确定子模块,用于根据所述处理流程信息和第一处理结果,确定第二处理节点;
所述数据处理模块还包括:
第二发送子模块,用于将所述待处理数据发送给第二处理节点;
第二处理子模块,用于由所述第二处理节点对待处理数据进行处理,得到第二处理结果。
在本申请的一种实施例中,可选地,所述处理流程信息包括处理结果与处理流程结束的关系信息,所述节点确定模块还包括:
结束确定子模块,用于根据所述第一处理结果或第二处理结果,以及处理流程信息,确定所述处理流程结束。
在本申请的一种实施例中,可选地,所述装置还包括:
数据返回模块,用于在所述将所述待处理数据发送到处理节点进行处理之后,将所述处理节点的处理结果和待处理数据返回给调度节点,其中,所述调度节点和处理节点归属于同一流式计算系统;
确定模块,用于由所述调度节点根据所述处理结果和待处理数据携带的处理流程信息,确定下一个处理节点。
在本申请的一种实施例中,可选地,所述处理流程信息包括处理流程决策表或处理流程决策树。
在本申请的一种实施例中,可选地,所述装置还包括:
信息添加模块,用于在所述获取待处理数据之前,根据所述待处理数据需经过的处理流程,添加处理流程信息到待处理数据中。
在本申请的一种实施例中,可选地,所述信息添加模块包括:
流程确定子模块,用于根据待处理数据的来源,确定需经过的处理流程;
添加子模块,用于查找需经过的处理流程对应的处理流程信息,添加到所述待处理数据中。
在本申请的一种实施例中,可选地,所述装置还包括:
信息修改模块,用于在所述根据所述待处理数据需经过的处理流程,添加处理流程信息到待处理数据中之前,修改所述处理流程相应的处理流程信息。
在本申请的一种实施例中,可选地,所述装置还包括:
资源扩大缩小模块,用于扩大或缩小所述处理节点的计算资源。
依据本申请实施例,通过获取待处理数据,根据待处理数据携带的处理流程信息确定处理节点,来对待处理数据进行处理,使得处理节点的流程定义不再需要预先部署在各个处理节点上或处理节点组成的处理系统上,打破了各个处理节点只能为预先部署的一种处理流程提供处理的限制,不同的待处理数据可以携带不同的处理流程信息,无须重新进行部署,就可以灵活地实时变更处理流程,各个处理节点实现了同时为多种处理流程进行处理,对于各个处理节点的扩容或缩量,不再仅对预先部署的一种处理流程有效,而可以对多种处理流程统一生效,提高资源的利用效率。
对于装置实施例而言,由于其与方法实施例基本相似,所以描述的比较简单,相关之处参见方法实施例的部分说明即可。
本公开的实施例可被实现为使用任意适当的硬件,固件,软件,或及其任意组合进行想要的配置的系统。图6示意性地示出了可被用于实现本公开中所述的各个实施例的示例性系统(或装置)400。
对于一个实施例,图6示出了示例性系统400,该系统具有一个或多个处理器402、被耦合到(一个或多个)处理器402中的至少一个的系统控制模块(芯片组)404、被耦合到系统控制模块404的系统存储器406、被耦合到系统控制模块404的非易失性存储器(NVM)/存储设备408、被耦合到系统控制模块404的一个或多个输入/输出设备410,以及被耦合到系统控制模块406的网络接口412。
处理器402可包括一个或多个单核或多核处理器,处理器402可包括通用处理器或专用处理器(例如图形处理器、应用处理器、基频处理器等)的任意组合。在一些实施例中,系统400能够作为本申请实施例中所述的浏览器。
在一些实施例中,系统400可包括具有指令的一个或多个计算机可读介质(例如,系统存储器406或NVM/存储设备408)以及与该一个或多个计算机可读介质相合并被配置为执行指令以实现模块从而执行本公开中所述的动作的一个或多个处理器402。
对于一个实施例,系统控制模块404可包括任意适当的接口控制器,以向(一个或多个)处理器402中的至少一个和/或与系统控制模块404通信的任意适当的设备或组件提供任意适当的接口。
系统控制模块404可包括存储器控制器模块,以向系统存储器406提供接口。存储器控制器模块可以是硬件模块、软件模块和/或固件模块。
系统存储器406可被用于例如为系统400加载和存储数据和/或指令。对于一个实施例,系统存储器406可包括任意适当的易失性存储器,例如,适当的DRAM。在一些实施例中,系统存储器406可包括双倍数据速率类型四同步动态随机存取存储器(DDR4SDRAM)。
对于一个实施例,系统控制模块404可包括一个或多个输入/输出控制器,以向NVM/存储设备408及(一个或多个)输入/输出设备410提供接口。
例如,NVM/存储设备408可被用于存储数据和/或指令。NVM/存储设备408可包括任意适当的非易失性存储器(例如,闪存)和/或可包括任意适当的(一个或多个)非易失性存储设备(例如,一个或多个硬盘驱动器(HDD)、一个或多个光盘(CD)驱动器和/或一个或多个数字通用光盘(DVD)驱动器)。
NVM/存储设备408可包括在物理上作为系统400被安装在其上的设备的一部分的存储资源,或者其可被该设备访问而不必作为该设备的一部分。例如,NVM/存储设备408可通过网络经由(一个或多个)输入/输出设备410进行访问。
(一个或多个)输入/输出设备410可为系统400提供接口以与任意其他适当的设备通信,输入/输出设备410可以包括通信组件、音频组件、传感器组件等。网络接口412可为系统400提供接口以通过一个或多个网络通信,系统400可根据一个或多个无线网络标准和/或协议中的任意标准和/或协议来与无线网络的一个或多个组件进行无线通信,例如接入基于通信标准的无线网络,如WiFi,2G或3G,或它们的组合进行无线通信。
对于一个实施例,(一个或多个)处理器402中的至少一个可与系统控制模块404的一个或多个控制器(例如,存储器控制器模块)的逻辑封装在一起。对于一个实施例,(一个或多个)处理器402中的至少一个可与系统控制模块404的一个或多个控制器的逻辑封装在一起以形成系统级封装(SiP)。对于一个实施例,(一个或多个)处理器402中的至少一个可与系统控制模块404的一个或多个控制器的逻辑集成在同一模具上。对于一个实施例,(一个或多个)处理器402中的至少一个可与系统控制模块404的一个或多个控制器的逻辑集成在同一模具上以形成片上系统(SoC)。
在各个实施例中,系统400可以但不限于是:浏览器、工作站、台式计算设备或移动计算设备(例如,膝上型计算设备、手持计算设备、平板电脑、上网本等)。在各个实施例中,系统400可具有更多或更少的组件和/或不同的架构。例如,在一些实施例中,系统400包括一个或多个摄像机、键盘、液晶显示器(LCD)屏幕(包括触屏显示器)、非易失性存储器端口、多个天线、图形芯片、专用集成电路(ASIC)和扬声器。
其中,如果显示器包括触摸面板,显示屏可以被实现为触屏显示器,以接收来自用户的输入信号。触摸面板包括一个或多个触摸传感器以感测触摸、滑动和触摸面板上的手势。所述触摸传感器可以不仅感测触摸或滑动动作的边界,而且还检测与所述触摸或滑动操作相关的持续时间和压力。
本申请实施例还提供了一种非易失性可读存储介质,该存储介质中存储有一个或多个模块(programs),该一个或多个模块被应用在终端设备时,可以使得该终端设备执行本申请实施例中各方法步骤的指令(instructions)。
在一个示例中提供了一种计算机设备,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,其特征在于,所述处理器执行所述计算机程序时实现如本申请实施例的方法。
在一个示例中还提供了一种计算机可读存储介质,其上存储有计算机程序,其特征在于,该程序被处理器执行时实现如本申请实施例的一个或多个的方法。
本申请实施例公开了一种数据处理方法和装置,示例1包括一种数据处理方法,包括:
获取待处理数据;
根据所述待处理数据携带的处理流程信息,确定处理节点;
将所述待处理数据发送到处理节点进行处理。
示例2可包括示例1所述的方法,其中,所述根据所述待处理数据携带的处理流程信息,确定处理节点包括:
根据所述处理流程信息包括的处理结果与处理节点的关系信息,查找当前处理节点产生的处理结果对应的下一个处理节点。
示例3可包括示例1和/或示例2所述的方法,其中,所述处理节点包括第一处理节点,所述根据所述待处理数据携带的处理流程信息,确定处理节点包括:
根据所述处理流程信息,确定第一处理节点;
所述将所述待处理数据发送到处理节点进行处理包括:
将所述待处理数据发送给第一处理节点;
由所述第一处理节点对待处理数据进行处理,得到第一处理结果。
示例4可包括示例1-示例3一个或多个所述的方法,其中,所述处理流程信息包括第一处理结果与第二处理节点的关系信息,所述处理节点包括第二处理节点,所述根据所述待处理数据携带的处理流程信息,确定处理节点还包括:
根据所述处理流程信息和第一处理结果,确定第二处理节点;
所述将所述待处理数据发送到处理节点进行处理还包括:
将所述待处理数据发送给第二处理节点;
由所述第二处理节点对待处理数据进行处理,得到第二处理结果。
示例5可包括示例1-示例4一个或多个所述的方法,其中,所述处理流程信息包括处理结果与处理流程结束的关系信息,所述根据所述待处理数据携带的处理流程信息,确定处理节点还包括:
根据所述第一处理结果或第二处理结果,以及处理流程信息,确定所述处理流程结束。
示例6可包括示例1-示例5一个或多个所述的方法,其中,在所述将所述待处理数据发送到处理节点进行处理之后,所述方法还包括:
将所述处理节点的处理结果和待处理数据返回给调度节点,其中,所述调度节点和处理节点归属于同一流式计算系统;
由所述调度节点根据所述处理结果和待处理数据携带的处理流程信息,确定下一个处理节点。
示例7可包括示例1-示例6一个或多个所述的方法,其中,所述处理流程信息包括处理流程决策表或处理流程决策树。
示例8可包括示例1-示例7一个或多个所述的方法,其中,在所述获取待处理数据之前,所述方法还包括:
根据所述待处理数据需经过的处理流程,添加处理流程信息到待处理数据中。
示例9可包括示例1-示例8一个或多个所述的方法,其中,所述根据所述待处理数据需经过的处理流程,添加处理流程信息到待处理数据中包括:
根据待处理数据的来源,确定需经过的处理流程;
查找需经过的处理流程对应的处理流程信息,添加到所述待处理数据中。
示例10可包括示例1-示例9一个或多个所述的方法,其中,在所述根据所述待处理数据需经过的处理流程,添加处理流程信息到待处理数据中之前,所述方法还包括:
修改所述处理流程相应的处理流程信息。
示例11可包括示例1-示例10一个或多个所述的方法,其中,所述方法还包括:
扩大或缩小所述处理节点的计算资源。
示例12包括一种数据处理装置,包括:
数据获取模块,用于获取待处理数据;
节点确定模块,用于根据所述待处理数据携带的处理流程信息,确定处理节点;
数据处理模块,用于将所述待处理数据发送到处理节点进行处理。
示例13可包括示例12所述的装置,其中,所述节点确定模块包括:
节点查找子模块,用于根据所述处理流程信息包括的处理结果与处理节点的关系信息,查找当前处理节点产生的处理结果对应的下一个处理节点。
示例14可包括示例12和/或示例13所述的装置,其中,所述处理节点包括第一处理节点,所述节点确定模块包括:
第一节点确定子模块,用于根据所述处理流程信息,确定第一处理节点;
所述数据处理模块包括:
第一发送子模块,用于将所述待处理数据发送给第一处理节点;
第一处理子模块,用于由所述第一处理节点对待处理数据进行处理,得到第一处理结果。
示例15可包括示例12-示例14一个或多个所述的装置,其中,所述处理流程信息包括第一处理结果与第二处理节点的关系信息,所述处理节点包括第二处理节点,所述节点确定模块还包括:
第二节点确定子模块,用于根据所述处理流程信息和第一处理结果,确定第二处理节点;
所述数据处理模块还包括:
第二发送子模块,用于将所述待处理数据发送给第二处理节点;
第二处理子模块,用于由所述第二处理节点对待处理数据进行处理,得到第二处理结果。
示例16可包括示例12-示例15一个或多个所述的装置,其中,所述处理流程信息包括处理结果与处理流程结束的关系信息,所述节点确定模块还包括:
结束确定子模块,用于根据所述第一处理结果或第二处理结果,以及处理流程信息,确定所述处理流程结束。
示例17可包括示例12-示例16一个或多个所述的装置,其中,所述装置还包括:
数据返回模块,用于在所述将所述待处理数据发送到处理节点进行处理之后,将所述处理节点的处理结果和待处理数据返回给调度节点,其中,所述调度节点和处理节点归属于同一流式计算系统;
确定模块,用于由所述调度节点根据所述处理结果和待处理数据携带的处理流程信息,确定下一个处理节点。
示例18可包括示例12-示例17一个或多个所述的装置,其中,所述处理流程信息包括处理流程决策表或处理流程决策树。
示例19可包括示例12-示例18个或多个所述的装置,其中,所述装置还包括:
信息添加模块,用于在所述获取待处理数据之前,根据所述待处理数据需经过的处理流程,添加处理流程信息到待处理数据中。
示例20可包括示例12-示例19一个或多个所述的装置,其中,所述信息添加模块包括:
流程确定子模块,用于根据待处理数据的来源,确定需经过的处理流程;
添加子模块,用于查找需经过的处理流程对应的处理流程信息,添加到所述待处理数据中。
示例21可包括示例12-示例20一个或多个所述的装置,其中,所述装置还包括:
信息修改模块,用于在所述根据所述待处理数据需经过的处理流程,添加处理流程信息到待处理数据中之前,修改所述处理流程相应的处理流程信息。
示例22可包括示例12-示例21一个或多个所述的装置,其中,所述装置还包括:
资源扩大缩小模块,用于扩大或缩小所述处理节点的计算资源。
示例23包括一种计算机设备,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,所述处理器执行所述计算机程序时实现如示例1-11一个或多个的方法。
示例24包括一种计算机可读存储介质,其上存储有计算机程序,该程序被处理器执行时实现如示例1-11一个或多个的方法。
虽然某些实施例是以说明和描述为目的的,各种各样的替代、和/或、等效的实施方案、或计算来达到同样的目的实施例示出和描述的实现,不脱离本申请的实施范围。本申请旨在覆盖本文讨论的实施例的任何修改或变化。因此,显然本文描述的实施例仅由权利要求和它们的等同物来限定。

Claims (13)

1.一种数据处理方法,其特征在于,包括:
获取待处理数据;
根据所述待处理数据携带的处理流程信息,确定处理节点;
将所述待处理数据发送到处理节点进行处理。
2.根据权利要求1所述的方法,其特征在于,所述根据所述待处理数据携带的处理流程信息,确定处理节点包括:
根据所述处理流程信息包括的处理结果与处理节点的关系信息,查找当前处理节点产生的处理结果对应的下一个处理节点。
3.根据权利要求1所述的方法,其特征在于,所述处理节点包括第一处理节点,所述根据所述待处理数据携带的处理流程信息,确定处理节点包括:
根据所述处理流程信息,确定第一处理节点;
所述将所述待处理数据发送到处理节点进行处理包括:
将所述待处理数据发送给第一处理节点;
由所述第一处理节点对待处理数据进行处理,得到第一处理结果。
4.根据权利要求3所述的方法,其特征在于,所述处理流程信息包括第一处理结果与第二处理节点的关系信息,所述处理节点包括第二处理节点,所述根据所述待处理数据携带的处理流程信息,确定处理节点还包括:
根据所述处理流程信息和第一处理结果,确定第二处理节点;
所述将所述待处理数据发送到处理节点进行处理还包括:
将所述待处理数据发送给第二处理节点;
由所述第二处理节点对待处理数据进行处理,得到第二处理结果。
5.根据权利要求3或4所述的方法,其特征在于,所述处理流程信息包括处理结果与处理流程结束的关系信息,所述根据所述待处理数据携带的处理流程信息,确定处理节点还包括:
根据所述第一处理结果或第二处理结果,以及处理流程信息,确定所述处理流程结束。
6.根据权利要求1所述的方法,其特征在于,在所述将所述待处理数据发送到处理节点进行处理之后,所述方法还包括:
将所述处理节点的处理结果和待处理数据返回给调度节点,其中,所述调度节点和处理节点归属于同一流式计算系统;
由所述调度节点根据所述处理结果和待处理数据携带的处理流程信息,确定下一个处理节点。
7.根据权利要求1所述的方法,其特征在于,所述处理流程信息包括处理流程决策表或处理流程决策树。
8.根据权利要求1所述的方法,其特征在于,在所述获取待处理数据之前,所述方法还包括:
根据所述待处理数据需经过的处理流程,添加处理流程信息到待处理数据中。
9.根据权利要求8所述的方法,其特征在于,所述根据所述待处理数据需经过的处理流程,添加处理流程信息到待处理数据中包括:
根据待处理数据的来源,确定需经过的处理流程;
查找需经过的处理流程对应的处理流程信息,添加到所述待处理数据中。
10.根据权利要求1所述的方法,其特征在于,在所述根据所述待处理数据需经过的处理流程,添加处理流程信息到待处理数据中之前,所述方法还包括:
修改所述处理流程相应的处理流程信息。
11.根据权利要求1所述的方法,其特征在于,所述方法还包括:
扩大或缩小所述处理节点的计算资源。
12.一种计算机设备,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,其特征在于,所述处理器执行所述计算机程序时实现如权利要求1-11一个或多个的方法。
13.一种计算机可读存储介质,其上存储有计算机程序,其特征在于,该程序被处理器执行时实现如权利要求1-11一个或多个的方法。
CN201810865671.2A 2018-08-01 2018-08-01 一种数据处理方法、计算机设备、存储介质 Pending CN110795215A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810865671.2A CN110795215A (zh) 2018-08-01 2018-08-01 一种数据处理方法、计算机设备、存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810865671.2A CN110795215A (zh) 2018-08-01 2018-08-01 一种数据处理方法、计算机设备、存储介质

Publications (1)

Publication Number Publication Date
CN110795215A true CN110795215A (zh) 2020-02-14

Family

ID=69425407

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810865671.2A Pending CN110795215A (zh) 2018-08-01 2018-08-01 一种数据处理方法、计算机设备、存储介质

Country Status (1)

Country Link
CN (1) CN110795215A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2024045016A1 (zh) * 2022-08-31 2024-03-07 华为技术有限公司 一种节点的配置方法、装置以及系统

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105791016A (zh) * 2016-03-09 2016-07-20 浪潮通信信息系统有限公司 一种基于流式计算的分布式故障管理告警处理系统
CN107909330A (zh) * 2017-08-31 2018-04-13 平安科技(深圳)有限公司 工作流数据处理方法、装置、存储介质和计算机设备
CN108241722A (zh) * 2016-12-23 2018-07-03 北京金山云网络技术有限公司 一种数据处理系统、方法及装置

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105791016A (zh) * 2016-03-09 2016-07-20 浪潮通信信息系统有限公司 一种基于流式计算的分布式故障管理告警处理系统
CN108241722A (zh) * 2016-12-23 2018-07-03 北京金山云网络技术有限公司 一种数据处理系统、方法及装置
CN107909330A (zh) * 2017-08-31 2018-04-13 平安科技(深圳)有限公司 工作流数据处理方法、装置、存储介质和计算机设备

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2024045016A1 (zh) * 2022-08-31 2024-03-07 华为技术有限公司 一种节点的配置方法、装置以及系统

Similar Documents

Publication Publication Date Title
US10949158B2 (en) Screenshot method and apparatus
CN110209652B (zh) 数据表迁移方法、装置、计算机设备和存储介质
US20160328281A1 (en) Application error detection method for cloud streaming service, and apparatus and system therefor
US9727394B2 (en) Establishing causality order of computer trace records
US20160345283A1 (en) Method and apparatus for adjacent node registration, and method and system for cross-node registration
US10108520B2 (en) Systems and methods for service demand based performance prediction with varying workloads
CN111897660B (zh) 模型部署方法、模型部署装置及终端设备
CN111694639A (zh) 进程容器地址的更新方法、装置和电子设备
US9946712B2 (en) Techniques for user identification of and translation of media
US20170171307A1 (en) Method and electronic apparatus for processing picture
CN110795215A (zh) 一种数据处理方法、计算机设备、存储介质
CN107634978B (zh) 一种资源调度方法及装置
CN111324470B (zh) 用于生成信息的方法及装置
JP2021170319A (ja) 情報を取得するための方法及び装置
CN114327846A (zh) 集群的扩容方法、装置、电子设备及计算机可读存储介质
CN111355689B (zh) 一种流数据处理方法及装置
CN115754413A (zh) 示波器及数据处理方法
KR101674324B1 (ko) 실시간 제어 응용에 적용되는 태스크 스케쥴링 장치 및 방법
JP2010039526A (ja) コンピュータプログラムおよびマスター計算機
CN114238157A (zh) 工作量证明的获取装置、方法、电子设备、存储介质
CN113055199B (zh) 网关访问方法、装置及网关设备
US20170286181A1 (en) Deployment and execution of sensing and computational tasks in a network of computing devices
JP2023539273A (ja) 対象の追加方式を決定するための方法、装置、電子機器及び媒体
CN109377177B (zh) 流程处理方法、装置、设备和计算机可读存储介质
US11431349B2 (en) Method, electronic device and computer program product for processing data

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
REG Reference to a national code

Ref country code: HK

Ref legal event code: DE

Ref document number: 40023519

Country of ref document: HK