CN113760400A - 一种请求处理方法和装置 - Google Patents
一种请求处理方法和装置 Download PDFInfo
- Publication number
- CN113760400A CN113760400A CN202110041259.0A CN202110041259A CN113760400A CN 113760400 A CN113760400 A CN 113760400A CN 202110041259 A CN202110041259 A CN 202110041259A CN 113760400 A CN113760400 A CN 113760400A
- Authority
- CN
- China
- Prior art keywords
- subtask
- processing
- sub
- execution
- task
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000003672 processing method Methods 0.000 title abstract description 13
- 238000012545 processing Methods 0.000 claims abstract description 167
- 238000000034 method Methods 0.000 claims abstract description 51
- 230000008569 process Effects 0.000 claims description 23
- 238000004590 computer program Methods 0.000 claims description 9
- 101150039208 KCNK3 gene Proteins 0.000 description 18
- 230000006870 function Effects 0.000 description 16
- 101150083764 KCNK9 gene Proteins 0.000 description 15
- 238000010586 diagram Methods 0.000 description 13
- 230000000903 blocking effect Effects 0.000 description 7
- 238000004891 communication Methods 0.000 description 7
- 238000005516 engineering process Methods 0.000 description 5
- 230000007246 mechanism Effects 0.000 description 4
- 230000003287 optical effect Effects 0.000 description 4
- 230000001419 dependent effect Effects 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- 238000012986 modification Methods 0.000 description 3
- 230000001360 synchronised effect Effects 0.000 description 3
- 238000013461 design Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 239000000835 fiber Substances 0.000 description 2
- 230000006872 improvement Effects 0.000 description 2
- 235000012054 meals Nutrition 0.000 description 2
- 230000000644 propagated effect Effects 0.000 description 2
- 230000004044 response Effects 0.000 description 2
- 239000004065 semiconductor Substances 0.000 description 2
- 239000000243 solution Substances 0.000 description 2
- 238000011144 upstream manufacturing Methods 0.000 description 2
- -1 Task2 Proteins 0.000 description 1
- 230000002159 abnormal effect Effects 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000007796 conventional method Methods 0.000 description 1
- 239000013256 coordination polymer Substances 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000005538 encapsulation Methods 0.000 description 1
- 235000013305 food Nutrition 0.000 description 1
- 230000002452 interceptive effect Effects 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 239000013307 optical fiber Substances 0.000 description 1
- 230000002441 reversible effect Effects 0.000 description 1
- 239000012086 standard solution Substances 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F9/00—Arrangements for program control, e.g. control units
- G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
- G06F9/44—Arrangements for executing specific programs
- G06F9/448—Execution paradigms, e.g. implementations of programming paradigms
- G06F9/4488—Object-oriented
- G06F9/449—Object-oriented method invocation or resolution
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F8/00—Arrangements for software engineering
- G06F8/30—Creation or generation of source code
- G06F8/31—Programming languages or programming paradigms
- G06F8/315—Object-oriented languages
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F9/00—Arrangements for program control, e.g. control units
- G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
- G06F9/46—Multiprogramming arrangements
- G06F9/48—Program initiating; Program switching, e.g. by interrupt
- G06F9/4806—Task transfer initiation or dispatching
- G06F9/4843—Task transfer initiation or dispatching by program, e.g. task dispatcher, supervisor, operating system
- G06F9/4881—Scheduling strategies for dispatcher, e.g. round robin, multi-level priority queues
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F9/00—Arrangements for program control, e.g. control units
- G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
- G06F9/46—Multiprogramming arrangements
- G06F9/50—Allocation of resources, e.g. of the central processing unit [CPU]
- G06F9/5005—Allocation of resources, e.g. of the central processing unit [CPU] to service a request
- G06F9/5027—Allocation of resources, e.g. of the central processing unit [CPU] to service a request the resource being a machine, e.g. CPUs, Servers, Terminals
- G06F9/5038—Allocation of resources, e.g. of the central processing unit [CPU] to service a request the resource being a machine, e.g. CPUs, Servers, Terminals considering the execution order of a plurality of tasks, e.g. taking priority or time dependency constraints into consideration
Abstract
本发明公开了一种请求处理方法和装置，涉及计算机技术领域。该方法的一具体实施方式包括：接收网络请求，根据所述网络请求携带的参数，确定处理所述网络请求的接口，获取所述接口的请求处理逻辑；确定所述请求处理逻辑包含的多个子逻辑，通过所述多个子逻辑将所述网络请求拆分为多个子任务；按照子逻辑之间的执行关系异步处理各个子任务，得到处理结果并通过所述接口返回。该实施方式通过预先设定子逻辑之间的执行关系，并将请求拆分为多个子任务，子任务之间不必按照现有全串行方式处理，以此大量减少接口的调用耗时，且整体编码复杂度有所降低。
Description
技术领域
本发明涉及计算机技术领域，尤其涉及一种请求处理方法和装置。
背景技术
交互场景中的某些核心页面或模块承载了大量的流量，如首页、活动页、订单列表，这些流量入口一般通过调用分布式服务(如dubbo、 jsf)http接口等获取数据，要求高并发场景下的低耗时、高可用。
传统的接口调用方式为同步阻塞，即顺序执行请求背后的业务逻辑，因而响应时间为所有业务逻辑的响应耗时总和，当依赖外部服务繁多、流程复杂时，很难满足业务系统的性能需求。针对这种场景，目前主流解决方案主要有以下几种：
1、半异步：通过JDK线程池，Future接口采用多线程一次性发起多个请求给多个服务；
2、全异步：通过Callback回调机制，结合异步线程调用服务。
在实现本发明的过程中，发明人发现现有技术至少存在如下问题：
方式一中等待异步调用接口的结果，会阻塞接收请求的主线程，高并发请求会导致线程数过多，造成CPU性能浪费；并发请求中如果有调用顺序依赖，则必须分步执行，导致编码逻辑复杂，线程间互相等待等问题。
方式二中，当依赖服务是两个或两个以上时，无法统一处理不同服务的返回结果，因而仅适用于简单场景；缺少对异常、阻塞、超时等情况的统一处理机制。
发明内容
有鉴于此，本发明实施例提供一种请求处理方法和装置，至少能够解决现有没有对复杂的逻辑进行统筹调度，以减少耗时的标准解决方案。
为实现上述目的，根据本发明实施例的一个方面，提供了一种请求处理方法，包括：
接收网络请求，根据所述网络请求携带的参数，确定处理所述网络请求的接口，获取所述接口的请求处理逻辑；
确定所述请求处理逻辑包含的多个子逻辑，通过所述多个子逻辑将所述网络请求拆分为多个子任务；
按照子逻辑之间的执行关系异步处理各个子任务，得到处理结果并通过所述接口返回。
可选的，在所述接收网络请求之前，还包括：
接收对所述多个子逻辑之间执行关系的编排操作；其中，执行关系包括执行顺序和强依赖关系，所述执行顺序为全并行、全串行或串并结合，强依赖关系存在于全串行或串并结合中；
所述通过所述多个子逻辑将所述网络请求拆分为多个子任务，还包括：
将所述多个子任务之间的执行关系添加到任务执行信息中，之后与所述多个任务一同添加到线程池中等待执行；其中，所述多个子任务之间的执行关系等于所述多个子逻辑之间的执行关系。
可选的，包括：将首子任务和所述任务执行信息添加到线程池中；其中，首子任务为所述多个子任务中首先执行的任务，数量为一个或多个；
之后再将与所述首子任务相关联的其他任务添加到线程池中。
可选的，所述按照子逻辑之间的执行关系异步处理各个子任务，得到处理结果并通过所述接口返回，包括：
从线程池中调度首子任务，在处理所述首子任务之前，通过所述执行关系，判断下一子任务与所述首子任务之间是否存在强依赖关系；
若存在，则处理所述首子任务，将首处理结果作为所述下一子任务的入参；或
若不存在，则在处理所述首子任务的同时，处理所述下一子任务；
在处理所述下一子任务之前，通过所述任务执行信息，判断再下一子任务与所述下一子任务之间是否存在强依赖关系；
重复上述步骤，直至所有子任务处理完毕，得到最终处理结果并通过所述接口返回。
可选的，在所述判断下一子任务与所述首子任务之间是否存在强依赖关系之前，还包括：
获取所述首子任务加入所述线程池的时间点，判断所述时间点与当前时间点的差值是否大于预设时间差；
若大于，则不处理所述首子任务，并停止处理与所述首子任务相关联的其他任务，生成执行失败结果并通过所述接口返回；或
若小于或等于，则判断所述下一子任务与所述首子任务之间是否存在强依赖关系。
可选的，还包括：在执行任一子任务的过程中，若出现异常，则中断所述任一子任务和其他子任务的处理进程，生成执行失败结果并通过所述接口返回。
为实现上述目的，根据本发明实施例的另一方面，提供了一种请求处理装置，包括：
请求接收模块，用于接收网络请求，根据所述网络请求携带的参数，确定处理所述网络请求的接口，获取所述接口的请求处理逻辑；
任务拆分模块，用于确定所述请求处理逻辑包含的多个子逻辑，通过所述多个子逻辑将所述网络请求拆分为多个子任务；
任务处理模块，用于按照子逻辑之间的执行关系异步处理各个子任务，得到处理结果并通过所述接口返回。
可选的，还包括关系编排模块，用于：
接收对所述多个子逻辑之间执行关系的编排操作；其中，执行关系包括执行顺序和强依赖关系，所述执行顺序为全并行、全串行或串并结合，强依赖关系存在于全串行或串并结合中；
所述任务拆分模块，用于：
将所述多个子任务之间的执行关系添加到任务执行信息中，之后与所述多个任务一同添加到线程池中等待执行；其中，所述多个子任务之间的执行关系等于所述多个子逻辑之间的执行关系。
可选的，所述任务拆分模块，用于：
将首子任务和所述任务执行信息添加到线程池中；其中，首子任务为所述多个子任务中首先执行的任务，数量为一个或多个；
之后再将与所述首子任务相关联的其他任务添加到线程池中。
可选的，所述任务处理模块，用于：
从线程池中调度首子任务，在处理所述首子任务之前，通过所述执行关系，判断下一子任务与所述首子任务之间是否存在强依赖关系；
若存在，则处理所述首子任务，将首处理结果作为所述下一子任务的入参；或
若不存在，则在处理所述首子任务的同时，处理所述下一子任务；
在处理所述下一子任务之前，通过所述任务执行信息，判断再下一子任务与所述下一子任务之间是否存在强依赖关系；
重复上述步骤，直至所有子任务处理完毕，得到最终处理结果并通过所述接口返回。
可选的，所述任务处理模块，还用于：
获取所述首子任务加入所述线程池的时间点，判断所述时间点与当前时间点的差值是否大于预设时间差；
若大于，则不处理所述首子任务，并停止处理与所述首子任务相关联的其他任务，生成执行失败结果并通过所述接口返回；或
若小于或等于，则判断所述下一子任务与所述首子任务之间是否存在强依赖关系。
可选的，还包括异常处理模块，用于：
在执行任一子任务的过程中，若出现异常，则中断所述任一子任务和其他子任务的处理进程，生成执行失败结果并通过所述接口返回。
为实现上述目的，根据本发明实施例的再一方面，提供了一种请求处理电子设备。
本发明实施例的电子设备包括：一个或多个处理器；存储装置，用于存储一个或多个程序，当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现上述任一所述的请求处理方法。
为实现上述目的，根据本发明实施例的再一方面，提供了一种计算机可读介质，其上存储有计算机程序，所述程序被处理器执行时实现上述任一所述的请求处理方法。
根据本发明所述提供的方案，上述发明中的一个实施例具有如下优点或有益效果：基于JDK本身的Completable异步编程技术，结合线程池，通过制定子逻辑间执行顺序和强依赖关系，实现在高并发场景中全异步、非阻塞主线程的效果，以提高请求处理效率；另外设定全局超时时间，统一处理超时任务，减少处理结果无效的情况。
上述的非惯用的可选方式所具有的进一步效果将在下文中结合具体实施方式加以说明。
附图说明
附图用于更好地理解本发明，不构成对本发明的不当限定。其中：
图1是根据本发明实施例的一种请求处理方法的主要流程示意图；
图2(a)～(d)示出了不同执行顺序的执行逻辑示意图；
图3是根据本发明实施例的一种可选的请求处理方法的流程示意图；
图4是根据本发明实施例的另一种可选的请求处理方法的流程示意图；
图5是一具体地流程示意图；
图6是根据本发明实施例的一种请求处理装置的主要模块示意图；
图7是本发明实施例可以应用于其中的示例性系统架构图；
图8是适于用来实现本发明实施例的移动设备或服务器的计算机系统的结构示意图。
具体实施方式
以下结合附图对本发明的示范性实施例做出说明，其中包括本发明实施例的各种细节以助于理解，应当将它们认为仅仅是示范性的。因此，本领域普通技术人员应当认识到，可以对这里描述的实施例做出各种改变和修改，而不会背离本发明的范围和精神。同样，为了清楚和简明，以下的描述中省略了对公知功能和结构的描述。
对于本方案涉及的词语，做解释如下：
Dubbo、jsf：都是主流的分布式服务治理框架，用于实现集群间高性能的RPC服务调用。
Callback回调机制(函数)：一个通过函数指针调用的函数。如果把函数的指针(地址)作为参数传递给另一个函数，当这个指针被用来调用其所指向的函数时，就说这是回调函数。回调函数不是由该函数的实现方直接调用的，而是在特定的事件或条件发生时由另外的一方调用的，用于对该事件或条件进行响应。
CompletableFuture异步编程：指Java 8中新增的CompletableFuture 类，让Java拥有了完整的非阻塞编程模型，能够将回调放到与任务不同的线程中执行，也能将回调作为继续执行的同步函数，在与任务相同的线程中执行。它避免了传统回调最大的问题，那就是能够将控制流分离到不同的事件处理器中。CompletableFuture弥补了Future模式的缺点。在异步的任务完成后，需要用其结果继续操作时，无需等待。可以直接通过thenAccept、thenApply、thenCompose等方式将前面异步处理的结果交给另外一个异步事件处理线程来处理。
ThreadPoolExecutor线程池：线程池就是创建若干个可执行的线程放入一个池(容器)中，有任务需要处理时，会提交到线程池中的任务队列，处理完之后线程并不会被销毁，而是仍然在线程池中等待下一个任务，而ThreadPoolExecutor是JDK实现的一种线程池，通常可以在执行大量异步任务时提供增强的性能。
参见图1，示出的是本发明实施例提供的一种请求处理方法的主要流程图，包括如下步骤：
S101：接收网络请求，根据所述网络请求携带的参数，确定处理所述网络请求的接口，获取所述接口的请求处理逻辑；
S102：确定所述请求处理逻辑包含的多个子逻辑，通过所述多个子逻辑将所述网络请求拆分为多个子任务；
S103：按照子逻辑之间的执行关系异步处理各个子任务，得到处理结果并通过所述接口返回。
上述实施方式中，对于步骤S101，本方案适用于所有借助接口处理网络请求的场景，如电商场景。基于JDK1.8中的CompletableFuture 异步编程技术，结合ThreadPoolExecutor线程池，解决高并发服务中的接口异步非阻塞调用问题。
不同接口处理请求的逻辑不同，每个逻辑其实均由多个子逻辑关联而来，这些子逻辑之间的执行顺序需要由业务人员根据具体业务场景预先设定，综合考虑总结以下几种情形：
1、全并行，参见图2(a)所示，直接使用多线程并发即可
2、全串行，参见图2(b)所示，需考虑执行顺序，参考链表结构 task1》task2》task3，可以将任务封装为单个任务节点，首尾相连。Ta sk任务的封装对象中，包含了下一个将要执行的Task任务，在定义节点时也就指定了执行顺序。
3、串并结合：
①先并行后串行，参见图2(c)所示，此时会产生不同的情况：T ask1和Task2都执行完毕再执行Task3，或者Task1和Task2任意一个执行完毕即可执行Task3。
②先串行后并行，参见图2(d)所示，Task1下一个节点有Task2 和Task3多个节点，执行完毕直接同时调度Task2和Task3执行即可。
根据上述描述可知，对于存在串行结构的执行顺序，存在一定的强依赖关系，例如“先并行后串行”中，因为Task1和Task2下一个任务节点都是Task3，所以需要Task3任务对象中需要增加一个布尔属性 (布尔属性主要出现在表单元素上，控制元素的某个状态)，用于标识当前任务执行是否强依赖于上一节点Task1和Task2执行完毕。
综上，无论异步任务调度多么复杂，都是以上几种情形的组合，使用方可以将这几个基础流程抽象出来，做成技术中间件，以便根据自身所需实现的业务场景任意编排顺序，所有子任务的调度和执行过程可不比再关系，进而从繁琐的编码中解放出来，完成了任务执行调度核心逻辑设计。
Web服务接收用户通过客户端发送的网络请求，可以根据网络请求的参数，确定其处理场景，进而采用与该场景对应的接口处理该网络请求。其中，Web服务指的是系统的类型，是一种泛称，通常理解的p c网页、移动端浏览器、手机app均包含在内。网络请求，指浏览器或者 app应用通过http/tcp协议从服务端获取信息的过程。请求中携带的信息包括但不限于文字、图片、音频、视频，都是字节流信息，这个信息交换过程就是请求。
对于步骤S102，实际操作中，一个请求也需要多个步骤协同完成，因而在将接口的请求处理逻辑拆分为多个子逻辑后，可以按照该子逻辑拆分网络请求，得到多个子任务。
例如，接收点餐请求，按照自助点餐处理逻辑将其拆分为：Task1 -根据点餐菜单，通知后厨备菜；Task2-计算买卖价格，收钱结账；Tas k3-打包饭菜，交给用户。例如，仓库物品处理请求，按照仓库物品处理逻辑将其拆分为：Task1-根据物品标识，定位储区和储位；Task2-下发拣货任务，从该储区该储位拣货；Task3-拣货后进行打包出库操作。
对于步骤S103，根据上述步骤描述可知，子逻辑之间具有一定的执行顺序，且有些子逻辑之间具有强依赖关系，例如点餐请求中Task3 是需要Task1处理完成后才可以执行的。因而在后续采用子逻辑处理子任务时，需严格按照该执行顺序和强依赖关系进行。
以上述点餐请求为例，现有传统方式是完全按照同步的方式，即T ask1之后完后才执行Task2，Task2执行完后才执行Task3。由于Task1 耗时最长，且是首子任务，所以需要首先执行，但Task2是可以不依赖于Task1的执行结果的，是可以与Task1并行执行的，因而现有方式处理存在效率低的问题，因为Task1和Task2之间有大量无意义的等待时间。本方案通过预先设置子逻辑之间的执行顺序，此时会首先执行Tas k1，并立刻开始Task2进行结算，在Task1完成后再交给Task3处理，提高整个点餐服务处理效率。
另外，需要说明的是，无论哪种请求，最终处理结果均只有一个。因而对于存在子逻辑并行的场景，虽处理结果为多个，但最终仍是需要整合的。
上述实施例所提供的方法，通过预先设定子逻辑之间的执行关系，并将请求拆分为多个子任务，子任务之间不必按照现有全串行方式处理，以此大量减少接口的调用耗时，且整体编码复杂度有所降低。
参见图3，示出了根据本发明实施例的一种可选的请求处理方法流程示意图，包括如下步骤：
S301：接收网络请求，根据所述网络请求携带的参数，确定处理所述网络请求的接口，获取所述接口的请求处理逻辑；
S302：确定所述请求处理逻辑包含的多个子逻辑，通过所述多个子逻辑将所述网络请求拆分为多个子任务；
S303：将所述多个子任务之间的执行关系添加到任务执行信息中；其中，所述多个子任务之间的执行关系等于所述多个子逻辑之间的执行关系；
S304：将首子任务和所述任务执行信息添加到线程池中首子任务，之后再将与所述首子任务相关联的其他任务添加到线程池中；其中，首子任务为所述多个子任务中首先执行的任务，数量为一个或多个首子任务；
S305：从线程池中调度首子任务，在处理所述首子任务之前，通过所述执行关系，判断下一子任务与所述首子任务之间是否存在强依赖关系；
S306：若存在，则处理所述首子任务，将首处理结果作为所述下一子任务的入参；
S307：若不存在，则在处理所述首子任务的同时，处理所述下一子任务；
S308：在处理所述下一子任务之前，通过所述任务执行信息，判断再下一子任务与所述下一子任务之间是否存在强依赖关系；
S309：重复上述步骤，直至所有子任务处理完毕，得到最终处理结果并通过所述接口返回。
上述实施方式中，对于步骤S301和S302可参见图1所示步骤S101 和S102的描述，在此不再赘述。
上述实施方式中，对于步骤S303～S304，基于JDK1.8中的Complet ableFuture异步编程技术，结合ThreadPoolExecutor线程池，解决高并发服务中的接口异步非阻塞调用问题。
所有的子任务都需提交给线程池进行异步调度的，关键代码如下：
线程池虽存储了多个任务，但是对于这些任务之间的执行顺序和强依赖关系是不确定的，所以需要构建一个任务执行信息，用于存储多个任务之间的执行关系(执行顺序和强依赖关系)。最终线程池中存储的是多个任务和相应任务执行信息。
另外，可以优先将首子任务和任务执行信息一同存储至线程池中，之后再将其他子任务存储至线程池中，以提高任务存储效率，为后续优先执行首子任务、提高任务处理效率提供基础。需要说明的是，首子任务的数量可以是多个，如图2(a)中的首子任务Task1、Task2和T ask3，也可以是一个，如图2(b)中的首子任务Task1。
对于步骤S305～S307，首先处理线程池中的首子任务，以避免后续处理时需判断其是否为第一个子任务的操作，进一步提高任务处理效率。
在执行首子任务处理之前，首先需判断下一个任务是否与该任务存在强依赖关系，若不存在强依赖关系，则在执行Task1时，立马执行 Task2，如点餐请求中的Task1和Task2，否则，只有在执行完Task1后，再执行Task2，如仓库物品处理请求中的Task1和Task2。
对于位于首子任务之后且与首子任务存在强依赖关系的下一子任务，需将首子任务执行结果作为当前Task的入参。下一子任务需再增加Map属性，key为任务id，value为强依赖的上游任务，在上游任务执行前将上一任务节点信息put进去，使用时get即可，伪代码如下：
另外，子任务均需要实现TaskCallBack接口，在任务执行完毕后，会回调该接口的complete方法，返回结果和入参，伪代码如下：
且所有任务都需实现TaskHandle接口，handle方法为实际业务逻辑实现，异步线程所执行的实际内容
对于步骤S308～S309，在处理下一子任务时，同样需判断该下一子任务与再下一子任务之间是否存在强依赖关系，如果存在强依赖关系，则需在执行完Task2之后再执行Task3，将Task2执行结果作为Task3的入参，如仓库物品处理请求中的Task2和Task3，否则，在执行Task2 同时，可以立刻执行Task3，如点餐请求中的Task2和Task3。
重复上述操作，直至与本次网络请求对应的所有子任务处理完毕为止，将最终的处理结果通过接口返回给客户端。
进一步的，还可以指定全局超时时间，统一异常处理机制，具体参见图4所示：
每个任务对象中有timeout属性，启动首子任务时也会指定全局的超时时间，伪代码初始化方式如下：
TaskNode taskNode＝new TaskNode.Builder<String,String>()
.id("task1").next(t2).timeout(500L).build()；
Tasks.start(10000L,taskNode)；
若首子任务加入线程池的时间点，与当前时间点的时间差超过预设时间差，则表示该首子任务处理超时，即没必要继续处理，相应后续子任务也终止处理，最终返回执行失败结果给客户端。
更进一步的，针对子任务执行过程中的异常，可以用TaskExceptio n类自定义异常信息，方便调用方统一处理：
在处理首子任务和后续任一子任务的过程中，若执行出现异常，则直接停止处理，并返回执行失败结果给客户端。
上述实施例所提供的方法，当基于JDK本身的Completable异步编程技术，结合线程池，通过制定子逻辑间执行顺序和强依赖关系，实现在高并发场景中全异步、非阻塞效果，以提高请求处理效率；另外设定全局超时时间，统一处理超时任务，减少处理结果无效的情况。
参见图5所示，为整体流程示意图：
1、Web服务接收客户端传输的网络请求，确定处理该网络请求的接口，获取该接口中的请求处理逻辑；
2、根据请求处理逻辑中的多个子逻辑，将网络请求拆分为多个子任务，并根据子逻辑之间的执行关系确定子任务之间的执行关系；
3、将多个子任务和存储其执行关系的任务执行信息一同存储至线程池中；优选地，先存储首子任务和任务执行信息；
4、首先从线程池中拉取首子任务，从任务执行信息中判断其与下一子任务之前是否存在强依赖关系，并根据判断结果进行相应操作；
5、继续处理下一子任务、再下一子任务，直至所有子任务处理完毕为止，得到处理结果；
6、将最终处理结果通过接口返回给客户端。
参见图6，示出了本发明实施例提供的一种请求处理装置600的主要模块示意图，包括：
请求接收模块601，用于接收网络请求，根据所述网络请求携带的参数，确定处理所述网络请求的接口，获取所述接口的请求处理逻辑；
任务拆分模块602，用于确定所述请求处理逻辑包含的多个子逻辑，通过所述多个子逻辑将所述网络请求拆分为多个子任务；
任务处理模块603，用于按照子逻辑之间的执行关系异步处理各个子任务，得到处理结果并通过所述接口返回。
本发明实施装置还包括关系编排模块604(图中未标出)，用于：
接收对所述多个子逻辑之间执行关系的编排操作；其中，执行关系包括执行顺序和强依赖关系，所述执行顺序为全并行、全串行或串并结合，强依赖关系存在于全串行或串并结合中；
所述任务拆分模块603，用于：
将所述多个子任务之间的执行关系添加到任务执行信息中，之后与所述多个任务一同添加到线程池中等待执行；其中，所述多个子任务之间的执行关系等于所述多个子逻辑之间的执行关系。
本发明实施装置中，所述任务拆分模块602，用于：
将首子任务和所述任务执行信息添加到线程池中；其中，首子任务为所述多个子任务中首先执行的任务，数量为一个或多个；
之后再将与所述首子任务相关联的其他任务添加到线程池中。
本发明实施装置中，所述任务处理模块603，用于：
从线程池中调度首子任务，在处理所述首子任务之前，通过所述执行关系，判断下一子任务与所述首子任务之间是否存在强依赖关系；
若存在，则处理所述首子任务，将首处理结果作为所述下一子任务的入参；或
若不存在，则在处理所述首子任务的同时，处理所述下一子任务；
在处理所述下一子任务之前，通过所述任务执行信息，判断再下一子任务与所述下一子任务之间是否存在强依赖关系；
重复上述步骤，直至所有子任务处理完毕，得到最终处理结果并通过所述接口返回。
本发明实施装置中，所述任务处理模块603，还用于：
获取所述首子任务加入所述线程池的时间点，判断所述时间点与当前时间点的差值是否大于预设时间差；
若大于，则不处理所述首子任务，并停止处理与所述首子任务相关联的其他任务，生成执行失败结果并通过所述接口返回；或
若小于或等于，则判断所述下一子任务与所述首子任务之间是否存在强依赖关系。
本发明实施装置还包括异常处理模块605(图中未标出)，用于：
在执行任一子任务的过程中，若出现异常，则中断所述任一子任务和其他子任务的处理进程，生成执行失败结果并通过所述接口返回。
另外，在本发明实施例中所述装置的具体实施内容，在上面所述方法中已经详细说明了，故在此重复内容不再说明。
图7示出了可以应用本发明实施例的示例性系统架构700。
如图7所示，系统架构700可以包括终端设备701、702、703，网络704和服务器705(仅仅是示例)。网络704用以在终端设备701、 702、703和服务器705之间提供通信链路的介质。网络704可以包括各种连接类型，例如有线、无线通信链路或者光纤电缆等等。
用户可以使用终端设备701、702、703通过网络704与服务器70 5交互，以接收或发送消息等。终端设备701、702、703上可以安装有各种通讯客户端应用。
终端设备701、702、703可以是具有显示屏并且支持网页浏览的各种电子设备，服务器705可以是提供各种服务的服务器。
需要说明的是，本发明实施例所提供的方法一般由服务器705执行，相应地，装置一般设置于服务器705中。
应该理解，图7中的终端设备、网络和服务器的数目仅仅是示意性的。根据实现需要，可以具有任意数目的终端设备、网络和服务器。
下面参考图8，其示出了适于用来实现本发明实施例的终端设备的计算机系统800的结构示意图。图8示出的终端设备仅仅是一个示例，不应对本发明实施例的功能和使用范围带来任何限制。
如图8所示，计算机系统800包括中央处理单元(CPU)801，其可以根据存储在只读存储器(ROM)802中的程序或者从存储部分80 8加载到随机访问存储器(RAM)803中的程序而执行各种适当的动作和处理。在RAM 803中，还存储有系统800操作所需的各种程序和数据。CPU 801、ROM 802以及RAM 803通过总线804彼此相连。输入/输出(I/O)接口805也连接至总线804。
以下部件连接至I/O接口805：包括键盘、鼠标等的输入部分806；包括诸如阴极射线管(CRT)、液晶显示器(LCD)等以及扬声器等的输出部分807；包括硬盘等的存储部分808；以及包括诸如LAN卡、调制解调器等的网络接口卡的通信部分809。通信部分809经由诸如因特网的网络执行通信处理。驱动器810也根据需要连接至I/O接口805。可拆卸介质811，诸如磁盘、光盘、磁光盘、半导体存储器等等，根据需要安装在驱动器810上，以便于从其上读出的计算机程序根据需要被安装入存储部分808。
特别地，根据本发明公开的实施例，上文参考流程图描述的过程可以被实现为计算机软件程序。例如，本发明公开的实施例包括一种计算机程序产品，其包括承载在计算机可读介质上的计算机程序，该计算机程序包含用于执行流程图所示的方法的程序代码。在这样的实施例中，该计算机程序可以通过通信部分809从网络上被下载和安装，和/或从可拆卸介质811被安装。在该计算机程序被中央处理单元(CP U)801执行时，执行本发明的系统中限定的上述功能。
需要说明的是，本发明所示的计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质或者是上述两者的任意组合。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子可以包括但不限于：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机访问存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本发明中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。而在本发明中，计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读介质，该计算机可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。计算机可读介质上包含的程序代码可以用任何适当的介质传输，包括但不限于：无线、电线、光缆、RF等等，或者上述的任意合适的组合。
附图中的流程图和框图，图示了按照本发明各种实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分，上述模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个接连地表示的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图或流程图中的每个方框、以及框图或流程图中的方框的组合，可以用执行规定的功能或操作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。
描述于本发明实施例中所涉及到的模块可以通过软件的方式实现，也可以通过硬件的方式来实现。所描述的模块也可以设置在处理器中，例如，可以描述为：一种处理器包括请求接收模块、任务拆分模块、任务处理模块。其中，这些模块的名称在某种情况下并不构成对该模块本身的限定，例如，请求接收模块还可以被描述为“网络请求接收模块”。
作为另一方面，本发明还提供了一种计算机可读介质，该计算机可读介质可以是上述实施例中描述的设备中所包含的；也可以是单独存在，而未装配入该设备中。上述计算机可读介质承载有一个或者多个程序，当上述一个或者多个程序被一个该设备执行时，使得该设备包括：
接收网络请求，根据所述网络请求携带的参数，确定处理所述网络请求的接口，获取所述接口的请求处理逻辑；
确定所述请求处理逻辑包含的多个子逻辑，通过所述多个子逻辑将所述网络请求拆分为多个子任务；
按照子逻辑之间的执行关系异步处理各个子任务，得到处理结果并通过所述接口返回。
根据本发明实施例的技术方案，基于JDK本身的Completable异步编程技术，结合线程池，通过制定子逻辑间执行顺序和强依赖关系，实现在高并发场景中全异步、非阻塞效果，以提高请求处理效率；另外设定全局超时时间，统一处理超时任务，减少处理结果无效的情况。
上述具体实施方式，并不构成对本发明保护范围的限制。本领域技术人员应该明白的是，取决于设计要求和其他因素，可以发生各种各样的修改、组合、子组合和替代。任何在本发明的精神和原则之内所作的修改、等同替换和改进等，均应包含在本发明保护范围之内。
Claims (10)
1.一种请求处理方法，其特征在于，包括：
接收网络请求，根据所述网络请求携带的参数，确定处理所述网络请求的接口，获取所述接口的请求处理逻辑；
确定所述请求处理逻辑包含的多个子逻辑，通过所述多个子逻辑将所述网络请求拆分为多个子任务；
按照子逻辑之间的执行关系异步处理各个子任务，得到处理结果并通过所述接口返回。
2.根据权利要求1所述的方法，其特征在于，在所述接收网络请求之前，还包括：
接收对所述多个子逻辑之间执行关系的编排操作；其中，执行关系包括执行顺序和强依赖关系，所述执行顺序为全并行、全串行或串并结合，强依赖关系存在于全串行或串并结合中；
所述通过所述多个子逻辑将所述网络请求拆分为多个子任务，还包括：
将所述多个子任务之间的执行关系添加到任务执行信息中，之后与所述多个任务一同添加到线程池中等待执行；其中，所述多个子任务之间的执行关系等于所述多个子逻辑之间的执行关系。
3.根据权利要求2所述的方法，其特征在于，包括：
将首子任务和所述任务执行信息添加到线程池中；其中，首子任务为所述多个子任务中首先执行的任务，数量为一个或多个；
之后再将与所述首子任务相关联的其他任务添加到线程池中。
4.根据权利要求3所述的方法，其特征在于，所述按照子逻辑之间的执行关系异步处理各个子任务，得到处理结果并通过所述接口返回，包括：
从线程池中调度首子任务，在处理所述首子任务之前，通过所述执行关系，判断下一子任务与所述首子任务之间是否存在强依赖关系；
若存在，则处理所述首子任务，将首处理结果作为所述下一子任务的入参；或
若不存在，则在处理所述首子任务的同时，处理所述下一子任务；
在处理所述下一子任务之前，通过所述任务执行信息，判断再下一子任务与所述下一子任务之间是否存在强依赖关系；
重复上述步骤，直至所有子任务处理完毕，得到最终处理结果并通过所述接口返回。
5.根据权利要求4所述的方法，其特征在于，在所述判断下一子任务与所述首子任务之间是否存在强依赖关系之前，还包括：
获取所述首子任务加入所述线程池的时间点，判断所述时间点与当前时间点的差值是否大于预设时间差；
若大于，则不处理所述首子任务，并停止处理与所述首子任务相关联的其他任务，生成执行失败结果并通过所述接口返回；或
若小于或等于，则判断所述下一子任务与所述首子任务之间是否存在强依赖关系。
6.根据权利要求4所述的方法，其特征在于，还包括：
在执行任一子任务的过程中，若出现异常，则中断所述任一子任务和其他子任务的处理进程，生成执行失败结果并通过所述接口返回。
7.一种请求处理装置，其特征在于，包括：
请求接收模块，用于接收网络请求，根据所述网络请求携带的参数，确定处理所述网络请求的接口，获取所述接口的请求处理逻辑；
任务拆分模块，用于确定所述请求处理逻辑包含的多个子逻辑，通过所述多个子逻辑将所述网络请求拆分为多个子任务；
任务处理模块，用于按照子逻辑之间的执行关系异步处理各个子任务，得到处理结果并通过所述接口返回。
8.根据权利要求7所述的装置，其特征在于，所述任务处理模块，用于：
从线程池中调度首子任务，在处理所述首子任务之前，通过所述执行关系，判断下一子任务与所述首子任务之间是否存在强依赖关系；
若存在，则处理所述首子任务，将首处理结果作为所述下一子任务的入参；或
若不存在，则在处理所述首子任务的同时，处理所述下一子任务；
在处理所述下一子任务之前，通过所述任务执行信息，判断再下一子任务与所述下一子任务之间是否存在强依赖关系；
重复上述步骤，直至所有子任务处理完毕，得到最终处理结果并通过所述接口返回。
9.一种电子设备，其特征在于，包括：
一个或多个处理器；
存储装置，用于存储一个或多个程序，
当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如权利要求1-6中任一所述的方法。
10.一种计算机可读介质，其上存储有计算机程序，其特征在于，所述程序被处理器执行时实现如权利要求1-6中任一所述的方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110041259.0A CN113760400A (zh) | 2021-01-13 | 2021-01-13 | 一种请求处理方法和装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110041259.0A CN113760400A (zh) | 2021-01-13 | 2021-01-13 | 一种请求处理方法和装置 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN113760400A true CN113760400A (zh) | 2021-12-07 |
Family
ID=78786300
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110041259.0A Pending CN113760400A (zh) | 2021-01-13 | 2021-01-13 | 一种请求处理方法和装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113760400A (zh) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114416369A (zh) * | 2022-01-19 | 2022-04-29 | 重庆长安汽车股份有限公司 | 一种仪表内部数据分发方法及系统 |
| CN115225712A (zh) * | 2022-07-01 | 2022-10-21 | 福建天泉教育科技有限公司 | 一种接口编排方法及终端 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103019651A (zh) * | 2012-08-02 | 2013-04-03 | 青岛海信传媒网络技术有限公司 | 复杂任务的并行处理方法和装置 |
| CN108319495A (zh) * | 2017-01-16 | 2018-07-24 | 阿里巴巴集团控股有限公司 | 任务处理方法及装置 |
| CN108681565A (zh) * | 2018-04-28 | 2018-10-19 | 百度在线网络技术（北京）有限公司 | 区块链数据并行处理方法、装置、设备和存储介质 |
| CN109491777A (zh) * | 2018-11-12 | 2019-03-19 | 北京字节跳动网络技术有限公司 | 任务执行方法、装置、设备及存储介质 |
| CN110489213A (zh) * | 2018-05-15 | 2019-11-22 | 华为技术有限公司 | 一种任务处理方法及处理装置、计算机系统 |
-
2021
- 2021-01-13 CN CN202110041259.0A patent/CN113760400A/zh active Pending
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103019651A (zh) * | 2012-08-02 | 2013-04-03 | 青岛海信传媒网络技术有限公司 | 复杂任务的并行处理方法和装置 |
| CN108319495A (zh) * | 2017-01-16 | 2018-07-24 | 阿里巴巴集团控股有限公司 | 任务处理方法及装置 |
| CN108681565A (zh) * | 2018-04-28 | 2018-10-19 | 百度在线网络技术（北京）有限公司 | 区块链数据并行处理方法、装置、设备和存储介质 |
| CN110489213A (zh) * | 2018-05-15 | 2019-11-22 | 华为技术有限公司 | 一种任务处理方法及处理装置、计算机系统 |
| CN109491777A (zh) * | 2018-11-12 | 2019-03-19 | 北京字节跳动网络技术有限公司 | 任务执行方法、装置、设备及存储介质 |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114416369A (zh) * | 2022-01-19 | 2022-04-29 | 重庆长安汽车股份有限公司 | 一种仪表内部数据分发方法及系统 |
| CN114416369B (zh) * | 2022-01-19 | 2024-04-26 | 重庆长安汽车股份有限公司 | 一种仪表内部数据分发方法及系统 |
| CN115225712A (zh) * | 2022-07-01 | 2022-10-21 | 福建天泉教育科技有限公司 | 一种接口编排方法及终端 |
| CN115225712B (zh) * | 2022-07-01 | 2023-11-21 | 福建天泉教育科技有限公司 | 一种接口编排方法及终端 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US9721219B2 (en) | High-load business process scalability | |
| CN111897633A (zh) | 一种任务处理的方法和装置 | |
| CN113760400A (zh) | 一种请求处理方法和装置 | |
| US20150066571A1 (en) | High-load business process scalability | |
| CN114564435A (zh) | 异构多核芯片的核间通信方法、装置及介质 | |
| CN110851276A (zh) | 一种业务请求处理方法、装置、服务器和存储介质 | |
| CN115794262A (zh) | 任务处理方法、装置、设备、存储介质以及程序产品 | |
| CN111858040A (zh) | 一种资源调度方法和装置 | |
| US20100122255A1 (en) | Establishing future start times for jobs to be executed in a multi-cluster environment | |
| CN113742057A (zh) | 一种任务执行方法和装置 | |
| CN113051055A (zh) | 一种任务处理方法和装置 | |
| CN110489219B (zh) | 一种调度功能对象的方法、装置、介质和电子设备 | |
| CN113535371A (zh) | 一种多线程异步加载资源的方法和装置 | |
| CN113760498A (zh) | 消息消费方法、装置、电子设备和计算机可读介质 | |
| CN115525411A (zh) | 处理业务请求的方法、装置、电子设备和计算机可读介质 | |
| CN110019059B (zh) | 一种定时同步的方法和装置 | |
| CN109284177B (zh) | 一种数据更新方法和装置 | |
| CN113760487B (zh) | 一种业务处理方法和装置 | |
| CN114168626A (zh) | 一种数据库操作的处理方法、装置、设备及介质 | |
| CN114490050A (zh) | 一种数据同步方法和装置 | |
| CN114371935A (zh) | 网关处理方法、网关、设备及介质 | |
| CN115129438A (zh) | 任务分布式调度的方法和装置 | |
| CN113778659A (zh) | 多线程处理方法和装置 | |
| CN112182003A (zh) | 一种数据同步方法和装置 | |
| CN112905273A (zh) | 一种服务调用方法和装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |