CN113778635A - 处理用户请求的方法、装置、设备和计算机可读介质 - Google Patents

处理用户请求的方法、装置、设备和计算机可读介质 Download PDF

Info

Publication number
CN113778635A
CN113778635A CN202110004517.8A CN202110004517A CN113778635A CN 113778635 A CN113778635 A CN 113778635A CN 202110004517 A CN202110004517 A CN 202110004517A CN 113778635 A CN113778635 A CN 113778635A
Authority
CN
China
Prior art keywords
user request
processing
user
matrix
artificial intelligence
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202110004517.8A
Other languages
English (en)
Inventor
刘颖
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Jingdong Century Trading Co Ltd
Beijing Wodong Tianjun Information Technology Co Ltd
Original Assignee
Beijing Jingdong Century Trading Co Ltd
Beijing Wodong Tianjun Information Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Jingdong Century Trading Co Ltd, Beijing Wodong Tianjun Information Technology Co Ltd filed Critical Beijing Jingdong Century Trading Co Ltd
Priority to CN202110004517.8A priority Critical patent/CN113778635A/zh
Publication of CN113778635A publication Critical patent/CN113778635A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46—Multiprogramming arrangements
    • G06F9/48—Program initiating; Program switching, e.g. by interrupt
    • G06F9/4806—Task transfer initiation or dispatching
    • G06F9/4843—Task transfer initiation or dispatching by program, e.g. task dispatcher, supervisor, operating system
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46—Multiprogramming arrangements
    • G06F9/50—Allocation of resources, e.g. of the central processing unit [CPU]
    • G06F9/5005—Allocation of resources, e.g. of the central processing unit [CPU] to service a request
    • G06F9/5027—Allocation of resources, e.g. of the central processing unit [CPU] to service a request the resource being a machine, e.g. CPUs, Servers, Terminals
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46—Multiprogramming arrangements
    • G06F9/54—Interprogram communication
    • G06F9/546—Message passing systems or structures, e.g. queues
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00—General purpose image data processing
    • G06T1/20—Processor architectures; Processor configuration, e.g. pipelining
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2209/00—Indexing scheme relating to G06F9/00
    • G06F2209/54—Indexing scheme relating to G06F9/54
    • G06F2209/547—Messaging middleware
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2209/00—Indexing scheme relating to G06F9/00
    • G06F2209/54—Indexing scheme relating to G06F9/54
    • G06F2209/548—Queue

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Software Systems (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Information Transfer Between Computers (AREA)

Abstract

本发明公开了处理用户请求的方法、装置、设备和计算机可读介质，涉及计算机技术领域。该方法的一具体实施方式包括：接收一个或多个用户请求；将所述用户请求组成用户请求矩阵，采用人工智能模型处理所述用户请求矩阵；将所述人工智能模型输出的所述用户请求矩阵的处理结果矩阵，拆分为多个用户请求处理结果；针对用户反馈所述用户请求处理结果。该实施方式能够加快处理用户请求的速度，以避免排队等待的情况。

Description

处理用户请求的方法、装置、设备和计算机可读介质
技术领域
本发明涉及计算机技术领域，尤其涉及一种处理用户请求的方法、装置、设备和计算机可读介质。
背景技术
随着人工智能领域的发展，很多简单的识别与决策将由机器所替代，如：文本分类、序列标注、图像识别和语音识别等。这些技术赋予居家环境、车载环境和网上购物等领域智能化的体验。
人工智能的实现离不开模型，人工智能(AI)模型在训练完成后用来进行预测。
在实现本发明过程中，发明人发现现有技术中至少存在如下问题：当有多个用户同时访问人工智能模型时，由于待处理的用户请求数量较多，导致出现排队等待的情况。
发明内容
有鉴于此，本发明实施例提供一种处理用户请求的方法、装置、设备和计算机可读介质，能够加快处理用户请求的速度，以避免排队等待的情况。
为实现上述目的，根据本发明实施例的一个方面，提供了一种处理用户请求的方法，包括：
接收一个或多个用户请求；
将所述用户请求组成用户请求矩阵，采用人工智能模型处理所述用户请求矩阵；
将所述人工智能模型输出的所述用户请求矩阵的处理结果矩阵，拆分为多个用户请求处理结果；
针对用户反馈所述用户请求处理结果。
所述将所述用户请求组成用户请求矩阵，采用人工智能模型处理所述用户请求矩阵，包括：
基于预设时延确定处理请求数量；
将所述用户请求转换为用户请求向量；
依据所述处理请求数量和所述用户请求向量，得到所述用户请求矩阵，并采用人工智能模型处理所述用户请求矩阵。
所述依据所述处理请求数量和所述用户请求向量，得到所述用户请求矩阵，包括：
所述处理请求数量的所述用户请求向量，得到所述用户请求矩阵；
或，
将预设时间段内小于所述处理请求数量的所述用户请求向量，得到所述用户请求矩阵。
所述将所述用户请求组成用户请求矩阵，采用人工智能模型处理所述用户请求矩阵，包括：
将所述用户请求组成用户请求矩阵后，通过工作节点采用人工智能模型处理所述用户请求矩阵，所述工作节点的状态是空闲；
更新所述工作节点的状态。
所述将所述用户请求组成用户请求矩阵，采用人工智能模型处理所述用户请求矩阵，包括：
将所述用户请求组成用户请求矩阵后，通过工作节点采用人工智能模型处理所述用户请求矩阵；
所述工作节点的状态始终为忙碌，所述工作节点是随机确定的。
所述将所述人工智能模型输出的所述用户请求矩阵的处理结果矩阵，拆分为多个用户请求处理结果，包括：
依据所述用户请求的标识，将所述人工智能模型输出的所述用户请求矩阵的处理结果矩阵，拆分为所述标识对应的用户请求处理结果。
所述接收一个或多个用户请求，包括：
通过多线程网络库，接收一个或多个用户请求。
根据本发明实施例的第二方面，提供了一种处理用户请求的装置，包括：
中转模块，用于接收并发送一个或多个用户请求；
输入模块，用于转发所述一个或多个用户请求；
计算模块，用于将所述用户请求组成用户请求矩阵，采用人工智能模型处理所述用户请求矩阵；将所述人工智能模型输出的所述用户请求矩阵的处理结果矩阵，拆分为多个用户请求处理结果；
输出模块，用于发送所述用户请求处理结果；
所述中转模块，还用于针对用户反馈所述用户请求处理结果。
根据本发明实施例的第三方面，提供了一种处理用户请求的电子设备，包括：
一个或多个处理器；
存储装置，用于存储一个或多个程序，
当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如上述的方法。
根据本发明实施例的第四方面，提供了一种计算机可读介质，其上存储有计算机程序，所述程序被处理器执行时实现如上述的方法。
上述发明中的一个实施例具有如下优点或有益效果：接收一个或多个用户请求；将所述用户请求组成用户请求矩阵，采用人工智能模型处理所述用户请求矩阵；将所述人工智能模型输出的所述用户请求矩阵的处理结果矩阵，拆分为多个用户请求处理结果；针对用户反馈所述用户请求处理结果。基于用户请求矩阵一次能够处理多个用户请求，因而能够加快处理用户请求的速度，以避免排队等待的情况。
上述的非惯用的可选方式所具有的进一步效果将在下文中结合具体实施方式加以说明。
附图说明
附图用于更好地理解本发明，不构成对本发明的不当限定。其中：
图1是根据本发明实施例的处理用户请求的方法的主要流程的示意图；
图2是根据本发明实施例的采用人工智能模型处理用户请求矩阵的流程示意图；
图3是根据本发明实施例的得到用户请求矩阵的示意图；
图4是根据本发明实施例的另一个得到用户请求矩阵的示意图；
图5是根据本发明实施例的工作节点处理用户请求矩阵的流程示意图；
图6是根据本发明实施例的另一个工作节点处理用户请求矩阵的流程示意图；
图7是根据本发明实施例的处理用户请求的装置的主要结构的示意图；
图8是根据本发明实施例的处理用户请求的装置的处理用户请求的结构示意图；
图9是本发明实施例可以应用于其中的示例性系统架构图；
图10是适于用来实现本发明实施例的终端设备或服务器的计算机系统的结构示意图。
具体实施方式
以下结合附图对本发明的示范性实施例做出说明，其中包括本发明实施例的各种细节以助于理解，应当将它们认为仅仅是示范性的。因此，本领域普通技术人员应当认识到，可以对这里描述的实施例做出各种改变和修改，而不会背离本发明的范围和精神。同样，为了清楚和简明，以下的描述中省略了对公知功能和结构的描述。
目前，人工智能模型的常规调用方法是将人工智能模型封装成服务。对外提供服务时，接收用户请求，每进行一次预测，则计算一次。
当使用人工智能模型的用户数量较大时，有多个用户同时访问人工智能模型，由于待处理的用户请求数量较多，导致出现排队等待的情况。
为了解决待处理的用户请求数量较多，导致出现排队等待的情况，可以采用以下本发明实施例中的技术方案。
参见图1，图1是根据本发明实施例的处理用户请求的方法主要流程的示意图，将多个用户请求组成用户请求矩阵，进而一次性处理多个用户请求，提高处理效率。如图1所示，具体包括以下步骤：
S101、接收一个或多个用户请求。
在面对多用户的智能化产品领域的应用场景中可以实施本发明实施例中的技术方案。应用场景包括但不限于以下几种：智能音箱，智能翻译，智能问答和智能推荐等。
作为一个示例，在智能音箱的应用场景中，通过智能音箱接收用户请求。智能音箱与服务器连接，将接收到的用户请求发送至服务器。服务器接收到多个用户请求，采用本发明实施例中的技术方案对用户请求进行意图分类。
在本发明实施例中，通过多线程网络库(ZMQ)，接收一个或多个用户请求。通过ZMQ接收用户请求，能够简化接收用户请求的环节，提高接收用户请求的效率。
ZMQ(ZeroMQ)是一个基于消息队列的多线程网络库。类似于socket的一系列接口，ZMQ与socket的区别是：普通的socket是端到端的关系，即1:1的关系，而ZMQ却是可以N：M的关系。socket点对点连接需要显式地建立连接、销毁连接、选择协议TCP/UDP和处理错误等，而ZMQ屏蔽了这些细节，让网络编程更为简单。
S102、将用户请求组成用户请求矩阵，采用人工智能模型处理用户请求矩阵。
一般来说，人工智能模型的计算是采用矩阵的数据格式，也就是说人工智能模型每进行一次运算，可一次最多计算出一个批次的预测结果。但是传统的做法是针对一个用户请求进行一次运算。一个用户请求的计算量远小于人工智能模型实际计算能力，实际上浪费了计算资源。
在本发明实施例中，为了充分利用人工智能模型的实际计算能力，将多个用户请求组成用户请求矩阵，采用人工智能模型处理用户请求矩阵。
参见图2，图2是根据本发明实施例的采用人工智能模型处理用户请求矩阵的流程示意图，具体包括以下步骤：
S201、基于预设时延确定处理请求数量。
人工智能模型处理用户请求需要时间。一般来说，处理用户请求的数量越大，则处理时间越长。如：人工智能模型处理一条用户请求耗时20毫秒(ms)。同样的人工智能模型，同时处理5条用户请求耗时65ms，同时处理10条用户请求耗时85ms。
上述处理用户请求的时长称为时延。随着人工智能模型处理用户请求数量的增加，处理每条用户请求的平均耗时在减少。因此，可以根据实际应用场景预设时延。进而，基于预设时延确定处理请求数量。如：预设时延小于等于90ms，针对于该应用场景，将处理请求数量确定为10条。
S202、将用户请求转换为用户请求向量。
用户请求是调用人工智能模型所处理的信息。作为一个示例，用户请求可以是语音、文字和图像中的一种或多种。
为了便于人工智能模型处理用户请求，需要将用户请求转换为用户请求向量。作为一个示例，用户请求包括文字的情况下，可以采用以下任一方式，将用户请求转换为用户请求向量：word2vec、one-hot、TF-IDF和N-gram。
需要说明的是，S201与S202的执行并无先后顺序，即按照下述任一中方式实现S201和S202。先执行S201，再执行S202；先执行S202，再执行S201；同时执行S201和S202。
S203、依据处理请求数量和用户请求向量，得到用户请求矩阵，并采用人工智能模型处理用户请求矩阵。
基于处理请求数量拼接用户请求向量，得到用户请求矩阵，继而采用人工智能模型处理用户请求矩阵。可以理解的是，用户请求矩阵中包括多个用户请求向量。
在本发明的一个实施例中，可以将处理请求数量的用户请求向量，得到用户请求矩阵。
参见图3，图3是根据本发明实施例的得到用户请求矩阵的示意图。
处理请求数量为10条，则将10条用户请求拼接，得到用户请求矩阵。可见，用户请求矩阵中包括10条用户请求。
可以理解的是，人工智能模型一次性最多处理10条用户请求，在积攒到10条用户请求后，就可以拼接得到用户请求矩阵，进而一次性处理10条用户请求。
在本发明的一个实施例中，将预设时间段内小于处理请求数量的用户请求向量，得到用户请求矩阵。
考虑到需要集中处理预设时间段内的用户请求，那么可以将预设时间段内小于处理请求数量的用户请求向量，得到用户请求矩阵。得到的用户请求矩阵中，包括预设时间段内的用户请求，继而一次性处理预设时间段的用户请求。
参见图4，图4是根据本发明实施例的另一个得到用户请求矩阵的示意图。图4中，处理请求数量为10条，预设时间段内包括6条用户请求，为了及时处理预设时间段内的用户请求，则无需填满用户请求矩阵，以上述6条用户请求拼接得到用户请求矩阵。
在图2的实施例中，将用户请求组成用户请求矩阵，继而人工智能模型一次性处理多条用户请求。
人工智能模型多基于图像处理器(GPU)处理用户请求矩阵。作为一个示例，将GPU分为多个工作节点。每个工作节点(worker)负责一个人工智能模型的计算任务。
那么，在同一个时间，由多个工作节点计算多个人工智能模型的计算任务。工作节点的状态包括两种，空闲和忙碌。工作节点的状态为空闲，则说明工作节点可以处理人工智能模型的计算任务。工作节点的状态为忙碌，则说明工作节点不能处理人工智能模型的计算任务。
参见图5，图5是根据本发明实施例的工作节点处理用户请求矩阵的流程示意图，具体包括以下步骤：
S501、将用户请求组成用户请求矩阵后，通过工作节点采用人工智能模型处理用户请求矩阵，工作节点的状态是空闲。
将用户请求组成用户请求矩阵之后，需要分配工作节点，以通过工作节点采用人工智能模型处理用户请求矩阵。
具体来说，工作节点是依据状态确定的。检测工作节点的状态，获知状态是空闲的工作节点和状态是忙碌的工作节点。选择空闲的工作节点，采用人工智能模型处理用户请求矩阵。
S502、更新工作节点的状态。
通过空闲的工作节点，采用人工智能模型处理用户请求矩阵，则可以更新该工作节点的状态，以便基于工作节点的状态分配任务，处理用户请求矩阵。即将该工作节点的状态由空闲更新为忙碌。
在图5的实施例中，通过空闲的工作节点，采用人工智能模型处理用户请求矩阵。
参见图6，图6是根据本发明实施例的另一个工作节点处理用户请求矩阵的流程示意图，具体包括以下步骤：
S601、将用户请求组成用户请求矩阵后，通过工作节点采用人工智能模型处理所述用户请求矩阵。
将用户请求组成用户请求矩阵之后，需要分配工作节点，以通过工作节点采用人工智能模型处理用户请求矩阵。
在工作节点的状态均是忙碌的情况下，则可以随机确定一个忙碌的工作节点。在该忙碌的工作节点完成当前的任务后，则采用人工智能模型处理用户请求矩阵。
S602、工作节点的状态始终为忙碌，工作节点是随机确定的。
由于所有工作节点的状态均是忙碌，则随机选择工作节点处理用户请求矩阵。那么，该工作节点的状态始终为忙碌。
在图6的实施例中，通过随机选择忙碌的工作节点，采用人工智能模型处理用户请求矩阵。
S103、将人工智能模型输出的用户请求矩阵的处理结果矩阵，拆分为多个用户请求处理结果。
工作节点采用人工智能模型处理用户请求矩阵，人工智能模型输出用户请求矩阵的处理结果矩阵。处理结果矩阵包括多个用户请求的处理结果。进而拆分处理结果矩阵，得到多个用户请求处理结果。
在本发明的一个实施例中，依据用户请求的标识，将人工智能模型输出的用户请求矩阵的处理结果矩阵，拆分为标识对应的用户请求处理结果。
对于每个用户请求可以建立标识。可以理解的是，依据标识能够唯一确定用户请求。作为一个示例，基于接收到用户请求的时间建立标识，以区分多个用户请求。
那么，在用户请求向量中包括标识，进而在处理结果矩阵中也包括标识，继而依据该标识拆分处理结果矩阵得到用户请求处理结果。
S104、针对用户反馈用户请求处理结果。
对于每个用户，向用户反馈用户请求处理结果。
在上述实施例中，接收一个或多个用户请求；将所述用户请求组成用户请求矩阵，采用人工智能模型处理所述用户请求矩阵；将所述人工智能模型输出的所述用户请求矩阵的处理结果矩阵，拆分为多个用户请求处理结果；针对用户反馈所述用户请求处理结果。基于用户请求矩阵一次能够处理多个用户请求，因而能够加快处理用户请求的速度，以避免排队等待的情况。
参见图7，图7是根据本发明实施例的处理用户请求的装置的主要结构的示意图，处理用户请求的装置可以实现处理用户请求的方法，如图7所示，处理用户请求的装置具体包括：
中转模块701，用于接收并发送一个或多个用户请求；
输入模块702，用于转发所述一个或多个用户请求；
计算模块703，用于将所述用户请求组成用户请求矩阵，采用人工智能模型处理所述用户请求矩阵；将所述人工智能模型输出的所述用户请求矩阵的处理结果矩阵，拆分为多个用户请求处理结果；
输出模块704，用于发送所述用户请求处理结果；
所述中转模块701，还用于针对用户反馈所述用户请求处理结果。
参见图8，图8是根据本发明实施例的处理用户请求的装置的处理用户请求的结构示意图。
中转模块与用户1、用户2和用户2交互。中转模块接收并发送一个或多个用户请求至输入模块。
输入模块转发一个或多个用户请求至计算模块。计算模块中包括四个工作节点。工作节点用于将所述用户请求组成用户请求矩阵，采用人工智能模型处理所述用户请求矩阵；将所述人工智能模型输出的所述用户请求矩阵的处理结果矩阵，拆分为多个用户请求处理结果。
输出模块接收计算模块输出的用户请求处理结果，并将用户请求处理结果发送至中转模块。中转模块针对用户反馈所述用户请求处理结果。
在本发明的一个实施例中，计算模块703，具体用于基于预设时延确定处理请求数量；
将所述用户请求转换为用户请求向量；
依据所述处理请求数量和所述用户请求向量，得到所述用户请求矩阵，并采用人工智能模型处理所述用户请求矩阵。
在本发明的一个实施例中，计算模块703，具体用于所述处理请求数量的所述用户请求向量，得到所述用户请求矩阵；
或，
将预设时间段内小于所述处理请求数量的所述用户请求向量，得到所述用户请求矩阵。
在本发明的一个实施例中，计算模块703，具体用于将所述用户请求组成用户请求矩阵后，通过工作节点采用人工智能模型处理所述用户请求矩阵，所述工作节点的状态是空闲；
更新所述工作节点的状态。
在本发明的一个实施例中，计算模块703，具体用于将所述用户请求组成用户请求矩阵后，通过工作节点采用人工智能模型处理所述用户请求矩阵；
所述工作节点的状态始终为忙碌，所述工作节点是随机确定的。
在本发明的一个实施例中，计算模块703，具体用于依据所述用户请求的标识，将所述人工智能模型输出的所述用户请求矩阵的处理结果矩阵，拆分为所述标识对应的用户请求处理结果。
在本发明的一个实施例中，输入模块701，具体用于通过多线程网络库，接收一个或多个用户请求。
图9示出了可以应用本发明实施例的处理用户请求的方法或处理用户请求的装置的示例性系统架构900。
如图9所示，系统架构900可以包括终端设备901、902、903，网络904和服务器905。网络904用以在终端设备901、902、903和服务器905之间提供通信链路的介质。网络904可以包括各种连接类型，例如有线、无线通信链路或者光纤电缆等等。
用户可以使用终端设备901、902、903通过网络904与服务器905交互，以接收或发送消息等。终端设备901、902、903上可以安装有各种通讯客户端应用，例如购物类应用、网页浏览器应用、搜索类应用、即时通信工具、邮箱客户端、社交平台软件等(仅为示例)。
终端设备901、902、903可以是具有显示屏并且支持网页浏览的各种电子设备，包括但不限于智能手机、平板电脑、膝上型便携计算机和台式计算机等等。
服务器905可以是提供各种服务的服务器，例如对用户利用终端设备901、902、903所浏览的购物类网站提供支持的后台管理服务器(仅为示例)。后台管理服务器可以对接收到的产品信息查询请求等数据进行分析等处理，并将处理结果(例如目标推送信息、产品信息--仅为示例)反馈给终端设备。
需要说明的是，本发明实施例所提供的处理用户请求的方法一般由服务器905执行，相应地，处理用户请求的装置一般设置于服务器905中。
应该理解，图9中的终端设备、网络和服务器的数目仅仅是示意性的。根据实现需要，可以具有任意数目的终端设备、网络和服务器。
下面参考图10，其示出了适于用来实现本发明实施例的终端设备的计算机系统1000的结构示意图。图10示出的终端设备仅仅是一个示例，不应对本发明实施例的功能和使用范围带来任何限制。
如图10所示，计算机系统1000包括中央处理单元(CPU)1001，其可以根据存储在只读存储器(ROM)1002中的程序或者从存储部分1008加载到随机访问存储器(RAM)1003中的程序而执行各种适当的动作和处理。在RAM 1003中，还存储有系统1000操作所需的各种程序和数据。CPU 1001、ROM 1002以及RAM 1003通过总线1004彼此相连。输入/输出(I/O)接口1005也连接至总线1004。
以下部件连接至I/O接口1005：包括键盘、鼠标等的输入部分1006；包括诸如阴极射线管(CRT)、液晶显示器(LCD)等以及扬声器等的输出部分1007；包括硬盘等的存储部分1008；以及包括诸如LAN卡、调制解调器等的网络接口卡的通信部分1009。通信部分1009经由诸如因特网的网络执行通信处理。驱动器1010也根据需要连接至I/O接口1005。可拆卸介质1011，诸如磁盘、光盘、磁光盘、半导体存储器等等，根据需要安装在驱动器1010上，以便于从其上读出的计算机程序根据需要被安装入存储部分1008。
特别地，根据本发明公开的实施例，上文参考流程图描述的过程可以被实现为计算机软件程序。例如，本发明公开的实施例包括一种计算机程序产品，其包括承载在计算机可读介质上的计算机程序，该计算机程序包含用于执行流程图所示的方法的程序代码。在这样的实施例中，该计算机程序可以通过通信部分1009从网络上被下载和安装，和/或从可拆卸介质1011被安装。在该计算机程序被中央处理单元(CPU)1001执行时，执行本发明的系统中限定的上述功能。
需要说明的是，本发明所示的计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质或者是上述两者的任意组合。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子可以包括但不限于：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机访问存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本发明中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。而在本发明中，计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读介质，该计算机可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。计算机可读介质上包含的程序代码可以用任何适当的介质传输，包括但不限于：无线、电线、光缆、RF等等，或者上述的任意合适的组合。
附图中的流程图和框图，图示了按照本发明各种实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分，上述模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个接连地表示的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图或流程图中的每个方框、以及框图或流程图中的方框的组合，可以用执行规定的功能或操作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。
描述于本发明实施例中所涉及到的模块可以通过软件的方式实现，也可以通过硬件的方式来实现。所描述的模块也可以设置在处理器中，例如，可以描述为：一种处理器包括中转模块、输入模块、计算模块和输出模块。其中，这些模块的名称在某种情况下并不构成对该模块本身的限定，例如，输入模块还可以被描述为“用于转发所述一个或多个用户请求”。
作为另一方面，本发明还提供了一种计算机可读介质，该计算机可读介质可以是上述实施例中描述的设备中所包含的；也可以是单独存在，而未装配入该设备中。上述计算机可读介质承载有一个或者多个程序，当上述一个或者多个程序被一个该设备执行时，使得该设备包括：
接收一个或多个用户请求；
将所述用户请求组成用户请求矩阵，采用人工智能模型处理所述用户请求矩阵；
将所述人工智能模型输出的所述用户请求矩阵的处理结果矩阵，拆分为多个用户请求处理结果；
针对用户反馈所述用户请求处理结果。
根据本发明实施例的技术方案，接收一个或多个用户请求；将所述用户请求组成用户请求矩阵，采用人工智能模型处理所述用户请求矩阵；将所述人工智能模型输出的所述用户请求矩阵的处理结果矩阵，拆分为多个用户请求处理结果；针对用户反馈所述用户请求处理结果。基于用户请求矩阵一次能够处理多个用户请求，因而能够加快处理用户请求的速度，以避免排队等待的情况。
上述具体实施方式，并不构成对本发明保护范围的限制。本领域技术人员应该明白的是，取决于设计要求和其他因素，可以发生各种各样的修改、组合、子组合和替代。任何在本发明的精神和原则之内所作的修改、等同替换和改进等，均应包含在本发明保护范围之内。

Claims (10)

1.一种处理用户请求的方法，其特征在于，包括：
接收一个或多个用户请求；
将所述用户请求组成用户请求矩阵，采用人工智能模型处理所述用户请求矩阵；
将所述人工智能模型输出的所述用户请求矩阵的处理结果矩阵，拆分为多个用户请求处理结果；
针对用户反馈所述用户请求处理结果。
2.根据权利要求1所述处理用户请求的方法，其特征在于，所述将所述用户请求组成用户请求矩阵，采用人工智能模型处理所述用户请求矩阵，包括：
基于预设时延确定处理请求数量；
将所述用户请求转换为用户请求向量；
依据所述处理请求数量和所述用户请求向量，得到所述用户请求矩阵，并采用人工智能模型处理所述用户请求矩阵。
3.据权利要求2所述处理用户请求的方法，其特征在于，所述依据所述处理请求数量和所述用户请求向量，得到所述用户请求矩阵，包括：
所述处理请求数量的所述用户请求向量，得到所述用户请求矩阵；
或，
将预设时间段内小于所述处理请求数量的所述用户请求向量，得到所述用户请求矩阵。
4.根据权利要求1所述处理用户请求的方法，其特征在于，所述将所述用户请求组成用户请求矩阵，采用人工智能模型处理所述用户请求矩阵，包括：
将所述用户请求组成用户请求矩阵后，通过工作节点采用人工智能模型处理所述用户请求矩阵，所述工作节点的状态是空闲；
更新所述工作节点的状态。
5.根据权利要求1所述处理用户请求的方法，其特征在于，所述将所述用户请求组成用户请求矩阵，采用人工智能模型处理所述用户请求矩阵，包括：
将所述用户请求组成用户请求矩阵后，通过工作节点采用人工智能模型处理所述用户请求矩阵；
所述工作节点的状态始终为忙碌，所述工作节点是随机确定的。
6.根据权利要求1所述处理用户请求的方法，其特征在于，所述将所述人工智能模型输出的所述用户请求矩阵的处理结果矩阵，拆分为多个用户请求处理结果，包括：
依据所述用户请求的标识，将所述人工智能模型输出的所述用户请求矩阵的处理结果矩阵，拆分为所述标识对应的用户请求处理结果。
7.根据权利要求1所述处理用户请求的方法，其特征在于，所述接收一个或多个用户请求，包括：
通过多线程网络库，接收一个或多个用户请求。
8.一种处理用户请求的装置，其特征在于，包括：
中转模块，用于接收并发送一个或多个用户请求；
输入模块，用于转发所述一个或多个用户请求；
计算模块，用于将所述用户请求组成用户请求矩阵，采用人工智能模型处理所述用户请求矩阵；将所述人工智能模型输出的所述用户请求矩阵的处理结果矩阵，拆分为多个用户请求处理结果；
输出模块，用于发送所述用户请求处理结果；
所述中转模块，还用于针对用户反馈所述用户请求处理结果。
9.一种处理用户请求的电子设备，其特征在于，包括：
一个或多个处理器；
存储装置，用于存储一个或多个程序，
当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如权利要求1-7中任一所述的方法。
10.一种计算机可读介质，其上存储有计算机程序，其特征在于，所述程序被处理器执行时实现如权利要求1-7中任一所述的方法。
CN202110004517.8A 2021-01-04 2021-01-04 处理用户请求的方法、装置、设备和计算机可读介质 Pending CN113778635A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110004517.8A CN113778635A (zh) 2021-01-04 2021-01-04 处理用户请求的方法、装置、设备和计算机可读介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110004517.8A CN113778635A (zh) 2021-01-04 2021-01-04 处理用户请求的方法、装置、设备和计算机可读介质

Publications (1)

Publication Number Publication Date
CN113778635A true CN113778635A (zh) 2021-12-10

Family

ID=78835389

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110004517.8A Pending CN113778635A (zh) 2021-01-04 2021-01-04 处理用户请求的方法、装置、设备和计算机可读介质

Country Status (1)

Country Link
CN (1) CN113778635A (zh)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2016210014A1 (en) * 2015-06-25 2016-12-29 Microsoft Technology Licensing, Llc Memory bandwidth management for deep learning applications
CN106503791A (zh) * 2015-09-04 2017-03-15 百度（美国）有限责任公司 用于有效神经网络部署的系统和方法
CN111841016A (zh) * 2019-04-28 2020-10-30 北京达佳互联信息技术有限公司 游戏ai系统、游戏ai的信息处理方法、装置和存储介质

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2016210014A1 (en) * 2015-06-25 2016-12-29 Microsoft Technology Licensing, Llc Memory bandwidth management for deep learning applications
CN106503791A (zh) * 2015-09-04 2017-03-15 百度（美国）有限责任公司 用于有效神经网络部署的系统和方法
CN111841016A (zh) * 2019-04-28 2020-10-30 北京达佳互联信息技术有限公司 游戏ai系统、游戏ai的信息处理方法、装置和存储介质

Similar Documents

Publication Publication Date Title
US11762697B2 (en) Method and apparatus for scheduling resource for deep learning framework
US11188380B2 (en) Method and apparatus for processing task in smart device
CN111478781B (zh) 一种消息广播的方法和装置
CN111200606A (zh) 深度学习模型任务处理方法、系统、服务器及存储介质
CN112104679B (zh) 处理超文本传输协议请求的方法、装置、设备和介质
CN112398669B (zh) 一种Hadoop部署方法和装置
CN113760488A (zh) 调度任务的方法、装置、设备和计算机可读介质
CN115794262A (zh) 任务处理方法、装置、设备、存储介质以及程序产品
CN114116149A (zh) 一种任务调度方法、装置、设备及介质
CN111858040A (zh) 一种资源调度方法和装置
CN107342929B (zh) 一种新消息通知的发送方法、装置及系统
CN110389976B (zh) 一种多接口数据的调度方法和装置
CN111752728B (zh) 消息传输方法及装置
CN111435315A (zh) 分配资源的方法、装置、设备和计算机可读介质
CN111831503B (zh) 一种基于监控代理的监控方法和监控代理装置
CN115361382A (zh) 基于数据群组的数据处理方法、装置、设备和存储介质
CN115599571A (zh) 一种数据处理方法、装置、电子设备及存储介质
CN113778635A (zh) 处理用户请求的方法、装置、设备和计算机可读介质
CN113127561B (zh) 业务单号的生成方法、装置、电子设备和存储介质
CN112860447B (zh) 一种不同应用间的交互方法和系统
CN115250276A (zh) 分布式系统及数据处理的方法和装置
CN109840073B (zh) 业务流程的实现方法和装置
CN113722115A (zh) 调用接口的方法、装置、设备和计算机可读介质
CN113760482A (zh) 一种任务处理方法、装置和系统
CN113572704A (zh) 一种信息处理方法、生产端、消费端和服务器

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination