CN111866159A - 人工智能服务的调用方法、系统、设备和存储介质 - Google Patents

人工智能服务的调用方法、系统、设备和存储介质 Download PDF

Info

Publication number
CN111866159A
CN111866159A CN202010735632.8A CN202010735632A CN111866159A CN 111866159 A CN111866159 A CN 111866159A CN 202010735632 A CN202010735632 A CN 202010735632A CN 111866159 A CN111866159 A CN 111866159A
Authority
CN
China
Prior art keywords
service
idle
target
processed
state
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202010735632.8A
Other languages
English (en)
Inventor
赵勇
朱刚
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Argos Intelligent Technology Suzhou Co Ltd
Original Assignee
Argos Intelligent Technology Suzhou Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Argos Intelligent Technology Suzhou Co Ltd filed Critical Argos Intelligent Technology Suzhou Co Ltd
Priority to CN202010735632.8A priority Critical patent/CN111866159A/zh
Publication of CN111866159A publication Critical patent/CN111866159A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/50—Network services
    • H04L67/60—Scheduling or organising the servicing of application requests, e.g. requests for application data transmissions using the analysis and optimisation of the required network resources
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46—Multiprogramming arrangements
    • G06F9/48—Program initiating; Program switching, e.g. by interrupt
    • G06F9/4806—Task transfer initiation or dispatching
    • G06F9/4843—Task transfer initiation or dispatching by program, e.g. task dispatcher, supervisor, operating system
    • G06F9/4881—Scheduling strategies for dispatcher, e.g. round robin, multi-level priority queues
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46—Multiprogramming arrangements
    • G06F9/54—Interprogram communication
    • G06F9/546—Message passing systems or structures, e.g. queues
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/50—Network services
    • H04L67/51—Discovery or management thereof, e.g. service location protocol [SLP] or web services
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/50—Network services
    • H04L67/60—Scheduling or organising the servicing of application requests, e.g. requests for application data transmissions using the analysis and optimisation of the required network resources
    • H04L67/63—Routing a service request depending on the request content or context
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2209/00—Indexing scheme relating to G06F9/00
    • G06F2209/54—Indexing scheme relating to G06F9/54
    • G06F2209/548—Queue

Landscapes

  • Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

本发明公开了人工智能服务的调用方法、系统、设备和存储介质。该人工智能服务的调用方法包括：获取服务请求端的待处理数据，根据待处理数据生成服务请求信息；根据服务请求信息获取至少一个待选择服务的服务状态；判断至少一个待选择服务中是否存在服务状态为空闲的待选择服务；若当前存在服务状态为空闲的待选择服务，则将服务状态为空闲的待选择服务作为目标服务，发送目标服务的服务地址，以使得目标服务可以用于处理待处理数据。通过上述方式，本发明能够降低生产成本，提高资源利用效率。

Description

人工智能服务的调用方法、系统、设备和存储介质
技术领域
本发明涉及人工智能领域，特别是涉及人工智能服务的调用方法、系统、设备和存储介质。
背景技术
人工智能(Artificial Intelligence，简称AI)是计算机科学的一个分支，它企图了解智能的实质，并生产出一种新的能以人类智能相似的方式做出反应的智能机器，该领域的研究包括机器人、语言识别、图像识别、自然语言处理和专家系统等。人工智能从诞生以来，理论和技术日益成熟，应用领域也不断扩大。近几年深度学习等人工智能技术越来越多的应用到工业检测领域，以提高检测结果的一致性、稳定性，减轻人工的劳动强度等。
在某些工业检测场景，如：纺织、皮革、板材等的检测，要求人工智能运算系统能实时不间断地进行检测，其运算能力要求很高，提供的运算服务需要能够解决大数据量的运算吞吐，才能使整个人工智能检测系统落地。
目前，通过提高运算硬件的成本(如采购人工智能工作站)、控制采样数据量或减少输入、优化人工智能运算模型来达到所需的运算能力，但是这些手段不符合工厂低成本、高标准的需求、不适用于小目标、高标准的场景、不利于技术方案的快速落地。
有鉴于上述的缺陷，本设计人，积极加以研究创新，以期创设一种人工智能服务的调用方法、系统、设备和存储介质，使其更具有产业上的利用价值。
发明内容
本发明主要解决的技术问题是提供一种人工智能服务的调用方法、系统、设备和存储介质，能够降低生产成本，提高资源利用效率。
为解决上述技术问题，本发明采用的一个技术方案是：提供一种人工智能服务的调用方法，包括：获取服务请求端的待处理数据，根据所述待处理数据生成服务请求信息；根据所述服务请求信息获取至少一个待选择服务的服务状态；判断所述至少一个待选择服务中是否存在所述服务状态为空闲的待选择服务；若当前存在所述服务状态为空闲的待选择服务，则将所述服务状态为空闲的待选择服务作为目标服务，发送所述目标服务的服务地址，以使得所述目标服务可以用于处理所述待处理数据。
其中，所述发送所述空闲服务的服务地址的步骤，包括：若当前存在至少一个所述服务状态为空闲的待选择服务，则从所述至少一个所述服务状态为空闲的待选择服务中选择一个作为目标服务，返回所述目标服务的服务地址。
其中，所述从所述至少一个空闲服务中选择一个作为目标服务的步骤，包括：根据最近最小使用算法从所述至少一个空闲服务中选择一个作为所述目标服务。
其中，所述从所述至少一个所述服务状态为空闲的待选择服务中选择一个作为目标服务的步骤之后，包括：将所述目标服务的标记状态更改为忙碌。
其中，所述发送所述目标服务的服务地址的步骤之后，包括：判断所述目标服务是否使用完毕，若所述目标服务已经使用完毕，则向所述服务请求段返回所述待处理数据的处理结果，并将所述目标服务的服务状态更改为空闲。
其中，所述方法还包括：获取待加入服务发送的服务注册信息，根据所述服务注册信息将所述待加入服务作为所述待选择服务。
其中，所述根据所述服务请求信息判断当前是否存在空闲服务的步骤之后，包括：若当前不存在空闲服务，则向所述服务请求端返回忙碌信息；根据所述忙碌消息将所述待处理数据归还至所述服务请求端的待处理队列。
为解决上述技术问题，本发明采用的另一个技术方案是：提供一种人工智能服务的调用系统，包括：请求模块，用于获取服务请求端的待处理数据，根据所述待处理数据生成服务请求信息；状态模块，用于根据所述服务请求信息获取至少一个待选择服务的服务状态；判断模块，用于判断所述至少一个待选择服务中是否存在所述服务状态为空闲的待选择服务；目标模块，用于若当前存在所述服务状态为空闲的待选择服务，则将所述服务状态为空闲的待选择服务作为目标服务，发送所述目标服务的服务地址，以使得所述目标服务可以用于处理所述待处理数据。
为解决上述技术问题，本发明采用的又一个技术方案是：提供一种人工智能服务的调用设备，包括：处理器和存储器，所述处理器耦接所述存储器，所述存储器中存储有计算机程序，所述处理器执行所述计算机程序以实现如上所述的方法。
为解决上述技术问题，本发明采用的又一个技术方案是：提供一种计算机可读存储介质，存储有计算机程序，所述计算机程序能够被处理器执行以实现如上所述的方法。
本发明的有益效果是：区别于现有技术的情况，本发明获取服务请求端的待处理数据，根据待处理数据生成服务请求信息；根据服务请求信息选择服务状态为空闲的待选择服务作为目标服务，发送目标服务的服务地址，以使得目标服务可以用于处理待处理数据，从而实现了对待选择服务的调用，可以降低生产运营成本，缩短延时时长，提升生产效率，提升资源的合理利用率。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本发明提供的人工智能服务系统的架构示意图；
图2是本发明提供的人工智能服务的调用方法的第一实施例的流程示意图；
图3是本发明提供的人工智能服务的调用方法的第二实施例的流程示意图；
图4是本发明提供的人工智能服务的调用系统的一实施例的结构示意图；
图5是本发明提供的人工智能服务的调用设备的一实施例的结构示意图；
图6是本发明提供的存储介质的一实施例的结构示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
请参阅图1，图1是本发明提供的人工智能服务系统的架构示意图。人工智能服务系统10包括AI(Artificial Intelligence，人工智能)服务请求端11、服务注册调度中心12、AI芯片硬件13和14，其中，AI芯片硬件13和14中分别运行有一个AI运算服务。AI运算服务运行在每个运算硬件上，服务实现依赖于方案本身AI运行模型的实现，例如PyTorch、TensorFlow等业界主流框架。基于以上的几个框架，AI运算服务可选用gRPC(GoogleRemote Procedure Call Protocol，谷歌远程过程调用框架)实现。在其他实施场景中，服务注册调度中心12可以连接更多个AI芯片硬件或者仅连接一个AI芯片硬件。服务注册调度中心12也可以连接更多个AI服务请求端11。当连接多个AI服务请求端时，这多个AI服务请求端采用并发方式，使用线程池或进程池。这样，能保证最低延迟是AI芯片硬件13和14的延迟时间，而不累积请求端的延时。
AI服务请求端11可以是人工智能检测方案的业务或客户端，其负责采集到数据后请求AI运算服务进行检测。服务注册调度中心12可以用于服务地址注册、服务状态标记、服务调度算法，可选用云端服务注册中心方案并改进，例如Consul。例如，有新的AI芯片硬件被启用时，需要向服务注册调度中心进行服务地址注册，服务注册调度中心12还根据AI服务请求端11发送的服务请求为AI服务请求端分配AI芯片硬件(例如分配AI芯片硬件14)，以使得AI芯片硬件14运行的AI运算服务可以被AI服务请求端调用。进一步地，服务注册调度中心12将被调用的和/或被释放的AI运算服务和/或该AI运算服务的芯片硬件标注服务状态，例如忙碌、空闲等等。
AI服务请求端11获取到服务注册调度中心12为其分配的AI运算服务和/或该AI运算服务的芯片硬件的地址后，占用该AI运算服务，与AI运算服务进行RPC(RemoteProcedure Call Protocol，远程过程调用协议)通信。等AI运算服务使用完毕后，获取运算结果，AI服务请求端11释放该AI运算服务。
进一步地，服务注册调度中心12如果发现AI运算服务全部忙碌，则归还数据到待处理队列。实际实现时，还可以按需求看是否直接忽略该数据。更进一步地的可以警告并增加AI运算服务。
请参阅图2，图2是本发明提供的人工智能服务的调用方法的第一实施例的流程示意图。本发明提供的人工智能服务的调用方法应用于图1所示的人工智能服务系统，包括如下步骤：
S201：获取服务请求端的待处理数据，根据所述待处理数据生成服务请求信息。
在一个具体的实施场景中，获取服务请求端的待处理数据，根据待处理数据生成服务请求信息。具体地，不同的待处理数据类型以及数据量所需的AI运算服务不同，因此根据待处理数据生成服务请求信息。
当存在多个服务请求端时，采集到各自的待处理数据后，并发发送各自对应的服务请求信息，例如，使用线程池或者进程池。
S202：根据所述服务请求信息获取至少一个待选择服务的服务状态。
在一个具体的实施场景中，当前存在多个待选择服务，若该待选择服务已经被占用，则该待选择服务的服务状态为忙碌，若该待选择服务尚未被占用，则该待选择服务的服务状态为空闲。当获取到服务请求信息后，响应该服务请求信息获取至少一个待选择服务的服务状态。可以是依次获取至少一个待选择服务的服务状态，直至获取的待选择服务的服务状态为空闲。还可以是一次性获取全部的待选择服务的服务状态。
在本实施场景中，待选择服务为AI运算服务，在其他实施场景中，该待选择服务还可以是其他数据处理服务。
S203：判断所述至少一个待选择服务中是否存在所述服务状态为空闲的待选择服务。若是，执行步骤S204。若否，执行步骤S205。
在一个具体的实施场景中，判断至少一个待选择服务中是否存在服务状态为空闲的待选择服务。可依次获取至少一个待选择服务的服务状态，直至获取的待选择服务的服务状态为空闲，则判定当前存在服务状态为空闲的待选择服务。或者可以获取全部的待选择服务的服务状态，判断其中是否存在服务状态为空闲，若存在，则判定当前存在服务状态为空闲的待选择服务。
S204：将所述服务状态为空闲的待选择服务作为目标服务，发送所述目标服务的服务地址。
在一个具体的实施场景中，将服务状态为空闲的待选择服务作为目标服务，例如，依次获取至少一个待选择服务的服务状态，直至获取的待选择服务的服务状态为空闲，则该服务状态为空闲的待选择服务为目标服务。可以获取全部的待选择服务的服务状态，从服务状态为空闲的待选择服务中选择一个作为目标服务。当存在多个服务状态为空闲的待选择服务时，则从中任意选择一个作为目标服务。
进一步地，在其他实施场景中，当存在多个服务状态为空闲的待选择服务时，使用LRU(Least Recently Used，最近最少使用)算法从中选择一个作为待选择服务。以此种方式，能够均衡各个待处理服务所在运算硬件的负载。
更进一步地，可以根据待处理数据的特征和/或处理需求，例如待处理数据的数据量，待处理数据的数据类型，待处理数据的精度要求等等选择匹配的服务状态为空闲的待选择服务。例如待处理数据为图片，则选择服务状态为空闲的可以处理图片数据的待选择服务作为目标服务。
在本实施场景中，每个运算硬件都运行一个待选择服务，当选定目标服务后，将目标服务的服务地址即该目标服务所在的运算硬件的硬件地址发送给服务请求端，从而使得服务请求端可以根据该服务地址访问并占用该目标服务，使用该目标服务处理待处理数据，获得处理结果。
S205：向所述服务请求端返回忙碌信息，根据所述忙碌消息将所述待处理数据归还至所述服务请求端的待处理队列。
在一个具体的实施场景中，遍历完全部的待选择服务后，没有找到服务状态为空闲的待选择服务，或者是获取全部的待选择服务的服务状态后，未能找到服务状态为空闲的待选择服务，则判定当前不存在服务状态为空闲的待选择服务，则向服务请求端返回忙碌信息，以通知该服务请求端的用户当前无法处理该待处理数据。
进一步地，将待处理数据归还至所述服务请求端的待处理队列。在本实施场景中，当服务请求端存在多个待处理数据，发送了多个服务请求信息时，或者多个服务请求端发送多个服务请求信息时，根据发送的时间或者服务请求信息的优先级或者服务请求端的优先级，对多个待处理数据进行排序，生成待处理队列。按照待处理队列的顺序依次对待处理数据进行处理，即依次为待处理数据分配对应的待选择服务。
当将待处理数据返回至待处理队列时，可以将待处理数据放置于原先的位置，或者将待处理数据放置于最后，或者根据实际情况对待处理队列的顺序进行合理调整，此处不进行限制。
通过上述描述可知，在本实施例中，获取服务请求端的待处理数据，根据待处理数据生成服务请求信息；根据服务请求信息选择服务状态为空闲的待选择服务作为目标服务，发送目标服务的服务地址，以使得目标服务可以用于处理待处理数据，从而实现了对待选择服务的调用，可以降低生产运营成本，缩短延时时长，提升生产效率，提升资源的合理利用率。
请参阅图3，图3是本发明提供的人工智能服务的调用方法的第二实施例的流程示意图。本发明提供的人工智能服务的调用方法应用于图1所示的人工智能服务系统，包括如下步骤：
S301：获取服务请求端的待处理数据，根据所述待处理数据生成服务请求信息。
S302：根据所述服务请求信息获取至少一个待选择服务的服务状态。
S303：判断所述至少一个待选择服务中是否存在所述服务状态为空闲的待选择服务。若是，执行步骤S304。若否，执行步骤S307。
S304：将所述服务状态为空闲的待选择服务作为目标服务，发送所述目标服务的服务地址。
在一个具体的实施场景中，步骤S301-S304与本发明提供的人工智能服务的调用方法的第一实施例中的步骤S201-S204基本一致，此处不再进行赘述。
S305：将所述目标服务的服务状态更改为忙碌。
在一个具体的实施场景中，当目标服务的服务地址被发送后，将该目标服务的服务状态更改为忙碌，从而其他待处理数据不可以选择该目标进行处理。在其他实施场景中，还可以是目标服务对待处理数据进行处理时，即该目标服务被占用时，将该目标服务的服务状态更改为忙碌。
S306：当所述目标服务已经使用完毕时，则向所述服务请求端返回所述待处理数据的处理结果，并将所述目标服务的服务状态更改为空闲。
在一个具体的实施场景中，当目标服务已经使用完毕，向服务请求端返回待处理数据的处理结果，进一步地，服务请求信息或者待处理数据中包括有服务请求端的标识，从而目标服务可以将处理结果返回给服务请求端。当目标服务不在处理待处理数据或者目标服务返回处理结果后，将目标服务的服务状态更改为空闲。从而其他待处理数据可以使用该目标服务进行处理。
S307：获取待加入服务发送的服务注册信息，根据所述服务注册信息将所述待加入服务作为所述待选择服务。
在一个具体的实施场景中，当前不存在服务状态为空闲的待选择服务时，可以加入待加入服务作为新的待选择服务，从而避免待处理数据不能及时得到处理的问题。
获取待加入服务的服务注册信息，服务注册信息包括待加入服务的服务地址，感觉服务注册信息将待加入服务注册，作为新的待选择服务。进一步地，注册成功后，将该新的待选择服务的服务状态标记为空闲，从而使得该新的待选择服务可以用于处理待处理数据。
进一步地，在其他实施场景中，可以统计当前服务状态为空闲的待选择服务。若当前服务状态为空闲的待选择服务的数量大于预设阈值，则断开若干个服务状态为空闲的待选择服务，避免资源浪费。这些被断开连接的待选择服务可以在后续重新注册作为新的待选择服务，用于对待处理数据的处理。
通过上述描述可知，在本实施例中，根据当前的使用需求灵活的增删待选择服务的个数，可以适应不同的算力要求，实现对资源的合理使用，避免资源不足或者资源浪费，提升数据处理的时效性，降低数据距离的延迟。
请参阅图4，图4是本发明提供的人工智能服务的调用系统的一实施例的结构示意图。人工智能服务的调用系统20包括请求模块21、状态模块22、判断模块23和目标模块24。
请求模块21用于获取服务请求端的待处理数据，根据所述待处理数据生成服务请求信息；状态模块22用于根据所述服务请求信息获取至少一个待选择服务的服务状态；判断模块23用于判断所述至少一个待选择服务中是否存在所述服务状态为空闲的待选择服务；目标模块24用于若当前存在所述服务状态为空闲的待选择服务，则将所述服务状态为空闲的待选择服务作为目标服务，发送所述目标服务的服务地址，以使得所述目标服务可以用于处理所述待处理数据。
目标模块24还用于若当前存在至少一个所述服务状态为空闲的待选择服务，则从所述至少一个所述服务状态为空闲的待选择服务中选择一个作为目标服务，返回所述目标服务的服务地址。
目标模块24还用于根据最近最小使用算法从所述至少一个服务状态为空闲的待选择服务中选择一个作为所述目标服务。
目标模块24还用于将所述目标服务的服务状态更改为忙碌。
目标模块24还用于判断所述目标服务是否使用完毕，若所述目标服务已经使用完毕，则向所述服务请求段返回所述待处理数据的处理结果，并将所述目标服务的服务状态更改为空闲。
目标模块24还用于获取待加入服务发送的服务注册信息，根据所述服务注册信息将所述待加入服务作为所述待选择服务。
目标模块24还用于若当前不存在空闲服务，则向所述服务请求端返回忙碌信息；根据所述忙碌消息将所述待处理数据归还至所述服务请求端的待处理队列。
根据上述描述可知，在本实施例中人工智能服务的调用系统获取服务请求端的待处理数据，根据待处理数据生成服务请求信息；根据服务请求信息选择服务状态为空闲的待选择服务作为目标服务，发送目标服务的服务地址，以使得目标服务可以用于处理待处理数据，从而实现了对待选择服务的调用，可以降低生产运营成本，缩短延时时长，提升生产效率，提升资源的合理利用率。
请参阅图5，图5是本发明提供的人工智能服务的调用设备的一实施例的结构示意图，图像处理设备30包括处理器31、存储器32。处理器31耦接存储器32。存储器32中存储有计算机程序，处理器31在工作时执行该计算机程序以实现如图2-图3所示的方法。详细的方法可参见上述，在此不再赘述。
根据上述描述可知，在本实施例中人工智能服务的调用设备获取服务请求端的待处理数据，根据待处理数据生成服务请求信息；根据服务请求信息选择服务状态为空闲的待选择服务作为目标服务，发送目标服务的服务地址，以使得目标服务可以用于处理待处理数据，从而实现了对待选择服务的调用，可以降低生产运营成本，缩短延时时长，提升生产效率，提升资源的合理利用率。
请参阅图6，图6是本发明提供的存储介质的一实施例的结构示意图。计算机可读存储介质40中存储有至少一个计算机程序41，计算机程序41用于被处理器执行以实现如图2-图3所示的方法，详细的方法可参见上述，在此不再赘述。在一个实施例中，计算机可读存储介质40可以是终端中的存储芯片、硬盘或者是移动硬盘或者优盘、光盘等其他可读写存储的工具，还可以是服务器等等。
根据上述描述可知，在本实施例中存储介质中的计算机程序可以用于获取服务请求端的待处理数据，根据待处理数据生成服务请求信息；根据服务请求信息选择服务状态为空闲的待选择服务作为目标服务，发送目标服务的服务地址，以使得目标服务可以用于处理待处理数据，从而实现了对待选择服务的调用，可以降低生产运营成本，缩短延时时长，提升生产效率，提升资源的合理利用率。
区别于现有技术，本发明根据服务请求信息选择服务状态为空闲的待选择服务作为目标服务，发送目标服务的服务地址，以使得目标服务可以用于处理待处理数据，从而实现了对待选择服务的调用，可以降低生产运营成本，缩短延时时长，提升生产效率，提升资源的合理利用率。
以上所述仅为本发明的实施方式，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本发明的专利保护范围内。

Claims (10)

1.一种人工智能服务的调用方法，其特征在于，包括：
获取服务请求端的待处理数据，根据所述待处理数据生成服务请求信息；
根据所述服务请求信息获取至少一个待选择服务的服务状态；
判断所述至少一个待选择服务中是否存在所述服务状态为空闲的待选择服务；
若当前存在所述服务状态为空闲的待选择服务，则将所述服务状态为空闲的待选择服务作为目标服务，发送所述目标服务的服务地址，以使得所述目标服务可以用于处理所述待处理数据。
2.根据权利要求1所述的人工智能服务的调用方法，其特征在于，所述发送所述空闲服务的服务地址的步骤，包括：
若当前存在至少一个所述服务状态为空闲的待选择服务，则从所述至少一个所述服务状态为空闲的待选择服务中选择一个作为目标服务，返回所述目标服务的服务地址。
3.根据权利要求2所述的人工智能服务的调用方法，其特征在于，所述从所述至少一个空闲服务中选择一个作为目标服务的步骤，包括：
根据最近最小使用算法从所述至少一个服务状态为空闲的待选择服务中选择一个作为所述目标服务。
4.根据权利要求2所述的人工智能服务的调用方法，其特征在于，所述从所述至少一个所述服务状态为空闲的待选择服务中选择一个作为目标服务的步骤之后，包括：
将所述目标服务的服务状态更改为忙碌。
5.根据权利要求1所述的人工智能服务的调用方法，其特征在于，所述发送所述目标服务的服务地址的步骤之后，包括：
判断所述目标服务是否使用完毕，若所述目标服务已经使用完毕，则向所述服务请求段返回所述待处理数据的处理结果，并将所述目标服务的服务状态更改为空闲。
6.根据权利要求1所述的人工智能服务的调用方法，其特征在于，所述方法还包括：
获取待加入服务发送的服务注册信息，根据所述服务注册信息将所述待加入服务作为所述待选择服务。
7.根据权利要求1所述的人工智能服务的调用方法，其特征在于，所述根据所述服务请求信息判断当前是否存在空闲服务的步骤之后，包括：
若当前不存在空闲服务，则向所述服务请求端返回忙碌信息；
根据所述忙碌消息将所述待处理数据归还至所述服务请求端的待处理队列。
8.一种人工智能服务的调用系统，其特征在于，包括：
请求模块，用于获取服务请求端的待处理数据，根据所述待处理数据生成服务请求信息；
状态模块，用于根据所述服务请求信息获取至少一个待选择服务的服务状态；
判断模块，用于判断所述至少一个待选择服务中是否存在所述服务状态为空闲的待选择服务；
目标模块，用于若当前存在所述服务状态为空闲的待选择服务，则将所述服务状态为空闲的待选择服务作为目标服务，发送所述目标服务的服务地址，以使得所述目标服务可以用于处理所述待处理数据。
9.一种人工智能服务的调用设备，其特征在于，包括：处理器和存储器，所述处理器耦接所述存储器，所述存储器中存储有计算机程序，所述处理器执行所述计算机程序以实现如权利要求1-7任一项所述的方法。
10.一种计算机可读存储介质，其特征在于，存储有计算机程序，所述计算机程序能够被处理器执行以实现如权利要求1-7任一项所述的方法。
CN202010735632.8A 2020-07-28 2020-07-28 人工智能服务的调用方法、系统、设备和存储介质 Pending CN111866159A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010735632.8A CN111866159A (zh) 2020-07-28 2020-07-28 人工智能服务的调用方法、系统、设备和存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010735632.8A CN111866159A (zh) 2020-07-28 2020-07-28 人工智能服务的调用方法、系统、设备和存储介质

Publications (1)

Publication Number Publication Date
CN111866159A true CN111866159A (zh) 2020-10-30

Family

ID=72947834

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010735632.8A Pending CN111866159A (zh) 2020-07-28 2020-07-28 人工智能服务的调用方法、系统、设备和存储介质

Country Status (1)

Country Link
CN (1) CN111866159A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023115579A1 (zh) * 2021-12-24 2023-06-29 北京小米移动软件有限公司 一种人工智能ai服务提供方法和装置
CN118277120A (zh) * 2023-09-19 2024-07-02 华为技术有限公司 一种管理系统服务的方法及相关装置

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108287759A (zh) * 2017-01-10 2018-07-17 阿里巴巴集团控股有限公司 处理数据过程中的调度方法、装置和系统
US20190108069A1 (en) * 2016-09-30 2019-04-11 Tencent Technology (Shenzhen) Company Limited Distributed resource allocation method, allocation node, and access node
CN110659134A (zh) * 2019-09-04 2020-01-07 腾讯云计算（北京）有限责任公司 一种应用于人工智能平台的数据处理方法及装置
CN111427677A (zh) * 2020-03-20 2020-07-17 网易（杭州）网络有限公司 人工智能产品的生成方法、装置和服务器

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20190108069A1 (en) * 2016-09-30 2019-04-11 Tencent Technology (Shenzhen) Company Limited Distributed resource allocation method, allocation node, and access node
CN108287759A (zh) * 2017-01-10 2018-07-17 阿里巴巴集团控股有限公司 处理数据过程中的调度方法、装置和系统
CN110659134A (zh) * 2019-09-04 2020-01-07 腾讯云计算（北京）有限责任公司 一种应用于人工智能平台的数据处理方法及装置
CN111427677A (zh) * 2020-03-20 2020-07-17 网易（杭州）网络有限公司 人工智能产品的生成方法、装置和服务器

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023115579A1 (zh) * 2021-12-24 2023-06-29 北京小米移动软件有限公司 一种人工智能ai服务提供方法和装置
CN118277120A (zh) * 2023-09-19 2024-07-02 华为技术有限公司 一种管理系统服务的方法及相关装置

Similar Documents

Publication Publication Date Title
CN112784989B (zh) 推理系统、推理方法、电子设备及计算机存储介质
CN114741207B (zh) 一种基于多维度组合并行的gpu资源调度方法和系统
CN108776934A (zh) 分布式数据计算方法、装置、计算机设备及可读存储介质
CN115328663A (zh) 基于PaaS平台进行资源调度的方法、装置、设备和存储介质
CN111338785B (zh) 资源调度方法及装置、电子设备、存储介质
CN112463290A (zh) 动态调整计算容器的数量的方法、系统、装置和存储介质
CN111880911A (zh) 一种任务负载调度方法、装置、设备及可读存储介质
WO2020134133A1 (zh) 一种资源配置方法、变电站及计算机可读存储介质
CN113986534A (zh) 任务调度方法、装置、计算机设备和计算机可读存储介质
CN113259415B (zh) 一种网络报文处理方法、装置及网络服务器
CN115220921B (zh) 资源调度方法及相关装置、图形处理器、摄像器件和介质
CN111866159A (zh) 人工智能服务的调用方法、系统、设备和存储介质
CN111124640A (zh) 任务分配方法及系统、存储介质、电子装置
CN110738156A (zh) 一种基于消息中间件的人脸识别系统及方法
CN115550354A (zh) 一种数据处理方法、装置及计算机可读存储介质
CN107634978B (zh) 一种资源调度方法及装置
CN115640113A (zh) 多平面弹性调度方法
CN107870822B (zh) 基于分布式系统的异步任务控制方法及系统
CN117221326A (zh) 软件负载均衡调度方法、系统、电子设备和存储介质
CN116932147A (zh) 流式作业处理方法、装置、电子设备及介质
CN115114022A (zh) 对gpu资源进行使用的方法、系统、设备及介质
CN115878309A (zh) 资源分配方法、装置、处理核、设备和计算机可读介质
CN117076057B (zh) 一种ai服务请求调度的方法、装置、设备及介质
CN115994022B (zh) 算法服务的调用方法、装置、电子设备和存储介质
CN118069371B (zh) 集群算力调度方法、装置、设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WD01 Invention patent application deemed withdrawn after publication
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20201030