CN113835876A - 一种基于国产cpu和os的人工智能加速卡调度方法及装置 - Google Patents

一种基于国产cpu和os的人工智能加速卡调度方法及装置 Download PDF

Info

Publication number
CN113835876A
CN113835876A CN202110954086.1A CN202110954086A CN113835876A CN 113835876 A CN113835876 A CN 113835876A CN 202110954086 A CN202110954086 A CN 202110954086A CN 113835876 A CN113835876 A CN 113835876A
Authority
CN
China
Prior art keywords
accelerator card
artificial intelligent
tcp connection
intelligent accelerator
scheduling
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202110954086.1A
Other languages
English (en)
Inventor
姜玉哲
孙桂刚
李超
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Inspur Software Group Co Ltd
Original Assignee
Inspur Software Group Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Inspur Software Group Co Ltd filed Critical Inspur Software Group Co Ltd
Priority to CN202110954086.1A priority Critical patent/CN113835876A/zh
Publication of CN113835876A publication Critical patent/CN113835876A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46—Multiprogramming arrangements
    • G06F9/50—Allocation of resources, e.g. of the central processing unit [CPU]
    • G06F9/5005—Allocation of resources, e.g. of the central processing unit [CPU] to service a request
    • G06F9/5027—Allocation of resources, e.g. of the central processing unit [CPU] to service a request the resource being a machine, e.g. CPUs, Servers, Terminals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L43/00—Arrangements for monitoring or testing data switching networks
    • H04L43/10—Active monitoring, e.g. heartbeat, ping or trace-route
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/50—Network services
    • H04L67/60—Scheduling or organising the servicing of application requests, e.g. requests for application data transmissions using the analysis and optimisation of the required network resources
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L69/00—Network arrangements, protocols or services independent of the application payload and not provided for in the other groups of this subclass
    • H04L69/16—Implementation or adaptation of Internet protocol [IP], of transmission control protocol [TCP] or of user datagram protocol [UDP]
    • H04L69/163—In-band adaptation of TCP data exchange; In-band control procedures

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Software Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Cardiology (AREA)
  • Computer Security & Cryptography (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

本发明公开一种基于国产CPU和OS的人工智能加速卡调度方法及装置，涉及资源调度技术领域，为更好的调度加速卡，采用方案涉及基于国产CPU和OS的服务器、部署于服务器的多张人工智能加速卡、部署于集群管理工具的调度中心；首先，将服务器作为推送视频流的客户端，人工智能加速卡作为监听客户端端口的tcp服务端；随后，建立tcp连接池，调度中心监控tcp连接池的剩余连接数；最后，客户端需要处理数据时，向调度中心发起请求，调度中心根据用户选择的调度策略给客户端分配tcp连接，客户端即可通过分配的tcp连接将采集的图像发送至相应的人工智能加速卡。本发明可以提高人工智能加速卡处理图像数据的效率。

Description

一种基于国产CPU和OS的人工智能加速卡调度方法及装置
技术领域
本发明涉及技术资源调度领域，具体的说是一种基于国产CPU和OS的人工智能加速卡调度方法及装置。
背景技术
随着国内企业信息化和深度学习的发展，很多企业和政府在实际的业务中用到越来越多的人工智能技术。由于国产CPU和操作系统软硬件环境在指令集、操作系统层面的特殊性，应用GPU进行人工智能推理还具有一定的技术难度。比如人脸识别技术常被公司和政府机构用来做打卡、门禁、口罩检测等功能，随着摄像头数量的增加，如何快速准确的进行识别成为现在迫切需要解决的问题。
发明内容
本发明针对目前技术发展的需求和不足之处，提供一种基于国产CPU和OS的人工智能加速卡调度方法及装置。
首先，本发明提供一种基于国产CPU和OS的人工智能加速卡调度方法，解决上述技术问题采用的技术方案如下：
一种基于国产CPU和OS的人工智能加速卡调度方法，其实现过程涉及基于国产CPU和OS的服务器、部署于服务器的多张人工智能加速卡、部署于集群管理工具的调度中心；
首先，将服务器作为推送视频流的客户端，人工智能加速卡作为监听客户端端口的tcp服务端；
随后，建立tcp连接池，调度中心监控tcp连接池的剩余连接数；
最后，客户端需要处理数据时，向调度中心发起请求，调度中心根据用户选择的调度策略给客户端分配tcp连接，客户端即可通过分配的tcp连接将采集的图像发送至相应的人工智能加速卡。
具体的，所涉及调度策略包括最少资源占比策略、加速卡亲和策略；
(A)所述最少资源占比策略由人工智能加速卡的利用率和模型数来决定，采用以下分段函数对人工智能加速卡的利用率进行处理：
Figure BDA0003219598500000021
Figure BDA0003219598500000022
其中，Usage表示人工智能加速卡的利用率，其范围是0-1，这里只用sin函数
Figure BDA0003219598500000023
部分，所以需要对利用率进行变换；当人工智能加速卡利用率大于80％时，速度会急速下降，系数
Figure BDA0003219598500000024
是根据测试得到的；p表示人工智能加速卡的利用率；
(B)采用加速卡亲和策略时，数据会依次发送给每张人工智能加速卡，人工智能加速卡在返回结果时会将计算时间返回给调度中心；调用中心会根据上一次的计算时间给出相应的概率，然后选取概率最大的人工智能加速卡作为目标加速卡；但当某张指定人工智能加速卡的利用率高于80％时，调度中心会为其更换目标加速卡；当所有人工智能加速卡利用率都高于80％时，调度中心会选择最初的概率最大的人工智能加速卡。
更具体的，所涉及调度中心监控tcp连接池的剩余连接数，同时收集运行在人工智能加速卡的模型及其利用率；
在开启人工智能加速卡的亲和策略时，所述调度中心还会收集人工智能加速卡处理数据的速度，以便根据人工智能加速卡的实际运行情况，合理分配资源。
更具体的，所涉及调度中心监控tcp连接池的剩余连接数，当一段时间内tcp连接池的剩余连接数过多时，所述调度中心会减少tcp连接池的数目，反之则增加tcp连接池的数目。
更具体的，所涉及调度中心每1min收集一次tcp连接池的剩余连接数，若是5分钟内剩余连接数的平均大于10，则将tcp连接池减少10，相应的，若是剩余连接数在5分钟内都为0，则增加10。
其次，本发明提供一种基于国产CPU和OS的人工智能加速卡调度装置，解决上述技术问题采用的技术方案如下：
一种基于国产CPU和OS的人工智能加速卡调度装置，其结构包括：
基于国产CPU和OS的服务器，作为推送视频流的客户端，用于将采集的图像发送给人工智能加速卡；
多张人工智能加速卡，部署于服务器，用于监听客户端端口；
调度中心，用于根据用户选择的调度策略给客户端分配tcp连接，使客户端采集的图像通过tcp连接发送给相应的人工智能加速卡。
具体的，所涉及调度策略包括最少资源占比策略、加速卡亲和策略；
(A)所述最少资源占比策略由人工智能加速卡的利用率和模型数来决定，采用以下分段函数对人工智能加速卡的利用率进行处理：
Figure BDA0003219598500000031
Figure BDA0003219598500000032
其中，Usage表示人工智能加速卡的利用率，其范围是0-1，这里只用sin函数
Figure BDA0003219598500000033
部分，所以需要对利用率进行变换；当人工智能加速卡利用率大于80％时，速度会急速下降，系数
Figure BDA0003219598500000034
是根据测试得到的；p表示人工智能加速卡的利用率；
(B)采用加速卡亲和策略时，数据会依次发送给每张人工智能加速卡，人工智能加速卡在返回结果时会将计算时间返回给调度中心；调用中心会根据上一次的计算时间给出相应的概率，然后选取概率最大的人工智能加速卡作为目标加速卡；但当某张指定人工智能加速卡的利用率高于80％时，调度中心会为其更换目标加速卡；当所有人工智能加速卡利用率都高于80％时，调度中心会选择最初的概率最大的人工智能加速卡。
更具体的，所涉及调度中心监控tcp连接池的剩余连接数，同时收集运行在人工智能加速卡的模型及其利用率；
在开启人工智能加速卡的亲和策略时，所述调度中心还会收集人工智能加速卡处理数据的速度，以便根据人工智能加速卡的实际运行情况，合理分配资源。
更具体的，所涉及调度中心监控tcp连接池的剩余连接数，当一段时间内tcp连接池的剩余连接数过多时，所述调度中心会减少tcp连接池的数目，反之则增加tcp连接池的数目。
更具体的，所涉及调度中心每1min收集一次tcp连接池的剩余连接数，若是5分钟内剩余连接数的平均大于10，则将tcp连接池减少10，相应的，若是剩余连接数在5分钟内都为0，则增加10。
本发明的一种基于国产CPU和OS的人工智能加速卡调度方法及装置，与现有技术相比具有的有益效果是：
(1)本发明实现了在国产CPU和OS下基于人工智能加速卡的管理，有效的提高了数据处理速率；
(2)本发明能够自动进行tcp连接池的扩充和伸缩，适应不同客户端并发的应用场景。
附图说明
附图1是本发明的连接框图。
具体实施方式
为使本发明的技术方案、解决的技术问题和技术效果更加清楚明白，以下结合具体实施例，对本发明的技术方案进行清楚、完整的描述。
实施例一：
结合附图1,本实施例提出一种基于国产CPU和OS的人工智能加速卡调度方法，其实现过程涉及基于国产CPU和OS的服务器、部署于服务器的多张人工智能加速卡、部署于集群管理工具zookeeper或nacos的调度中心；
首先，将服务器作为推送视频流的客户端，人工智能加速卡作为监听客户端端口的tcp服务端；
随后，建立tcp连接池，调度中心监控tcp连接池的剩余连接数；
最后，客户端需要处理数据时，向调度中心发起请求，调度中心根据用户选择的调度策略给客户端分配tcp连接，客户端即可通过分配的tcp连接将采集的图像发送至相应的人工智能加速卡。
这一调度过程中，需要补充的是：每个人工智能加速卡的初始tcp连接池大小为摄像头的个数，默认情况下用于检测、去重、关键点检测和提取特征的数据会分别发往运行此模型的人工智能加速卡。这是理论的情况，但在实际情况中，摄像头下并不是每时都有人脸，在没有人脸的情况下就只有检测服务在运行，若此时还只往一张人工智能加速卡发送数据的话，其他三张加速卡就会处于空闲状态，造成了资源的浪费。因此，调度中心会根据用户选择的调度策略给客户端分配tcp连接，从而提高人工智能加速卡处理数据的效率。
本实施例中，用户可以选择的调度策略包括最少资源占比策略、加速卡亲和策略。其中：
(A)所述最少资源占比策略由人工智能加速卡的利用率和模型数来决定，采用以下分段函数对人工智能加速卡的利用率进行处理：
Figure BDA0003219598500000061
Figure BDA0003219598500000062
其中，Usage表示人工智能加速卡的利用率，其范围是0-1，这里只用sin函数
Figure BDA0003219598500000063
部分，所以需要对利用率进行变换；当人工智能加速卡利用率大于80％时，速度会急速下降，系数
Figure BDA0003219598500000064
是根据测试得到的；p表示人工智能加速卡的利用率；
(B)采用加速卡亲和策略时，数据会依次发送给每张人工智能加速卡，人工智能加速卡在返回结果时会将计算时间返回给调度中心；调用中心会根据上一次的计算时间给出相应的概率，然后选取概率最大的人工智能加速卡作为目标加速卡；但当某张指定人工智能加速卡的利用率高于80％时，调度中心会为其更换目标加速卡；当所有人工智能加速卡利用率都高于80％时，调度中心会选择最初的概率最大的人工智能加速卡。
本实施例中，调度中心监控tcp连接池的剩余连接数，同时收集运行在人工智能加速卡的模型及其利用率；
在开启人工智能加速卡的亲和策略时，所述调度中心还会收集人工智能加速卡处理数据的速度，以便根据人工智能加速卡的实际运行情况，合理分配资源。
本实施例中，调度中心每1min收集一次tcp连接池的剩余连接数，若是5分钟内剩余连接数的平均大于10，则将tcp连接池减少10，相应的，若是剩余连接数在5分钟内都为0，则增加10。
实施例二：
结合附图1,本实施例提出一种基于国产CPU和OS的人工智能加速卡调度装置，其结构包括：
基于国产CPU和OS的服务器，作为推送视频流的客户端，用于将采集的图像发送给人工智能加速卡；
多张人工智能加速卡，部署于服务器，用于监听客户端端口；
调度中心，用于根据用户选择的调度策略给客户端分配tcp连接，使客户端采集的图像通过tcp连接发送给相应的人工智能加速卡。
上述调度装置工作过程中，需要补充的是：每个人工智能加速卡的初始tcp连接池大小为摄像头的个数，默认情况下用于检测、去重、关键点检测和提取特征的数据会分别发往运行此模型的人工智能加速卡。这是理论的情况，但在实际情况中，摄像头下并不是每时都有人脸，在没有人脸的情况下就只有检测服务在运行，若此时还只往一张人工智能加速卡发送数据的话，其他三张加速卡就会处于空闲状态，造成了资源的浪费。因此，调度中心会根据用户选择的调度策略给客户端分配tcp连接，从而提高人工智能加速卡处理数据的效率。
本实施例中，用户可以选的的调度策略包括最少资源占比策略、加速卡亲和策略。其中：
(A)所述最少资源占比策略由人工智能加速卡的利用率和模型数来决定，采用以下分段函数对人工智能加速卡的利用率进行处理：
Figure BDA0003219598500000071
Figure BDA0003219598500000072
其中，Usage表示人工智能加速卡的利用率，其范围是0-1，这里只用sin函数
Figure BDA0003219598500000073
部分，所以需要对利用率进行变换；当人工智能加速卡利用率大于80％时，速度会急速下降，系数
Figure BDA0003219598500000081
是根据测试得到的；p表示人工智能加速卡的利用率；
(B)采用加速卡亲和策略时，数据会依次发送给每张人工智能加速卡，人工智能加速卡在返回结果时会将计算时间返回给调度中心；调用中心会根据上一次的计算时间给出相应的概率，然后选取概率最大的人工智能加速卡作为目标加速卡；但当某张指定人工智能加速卡的利用率高于80％时，调度中心会为其更换目标加速卡；当所有人工智能加速卡利用率都高于80％时，调度中心会选择最初的概率最大的人工智能加速卡。
本实施例中，调度中心监控tcp连接池的剩余连接数，同时收集运行在人工智能加速卡的模型及其利用率；在开启人工智能加速卡的亲和策略时，所述调度中心还会收集人工智能加速卡处理数据的速度，以便根据人工智能加速卡的实际运行情况，合理分配资源。
本实施例中，调度中心监控tcp连接池的剩余连接数，当一段时间内tcp连接池的剩余连接数过多时，所述调度中心会减少tcp连接池的数目，反之则增加tcp连接池的数目。具体的，调度中心每1min收集一次tcp连接池的剩余连接数，若是5分钟内剩余连接数的平均大于10，则将tcp连接池减少10，相应的，若是剩余连接数在5分钟内都为0，则增加10。
综上可知，采用本发明的一种基于国产CPU和OS的人工智能加速卡调度方法及装置，可以提高图像数据的处理效率。
基于本发明的上述具体实施例，本技术领域的技术人员在不脱离本发明原理的前提下，对本发明所作出的任何改进和修饰，皆应落入本发明的专利保护范围。

Claims (10)

1.一种基于国产CPU和OS的人工智能加速卡调度方法，其特征在于,其实现过程涉及基于国产CPU和OS的服务器、部署于服务器的多张人工智能加速卡、部署于集群管理工具的调度中心；
首先，将服务器作为推送视频流的客户端，人工智能加速卡作为监听客户端端口的tcp服务端；
随后，建立tcp连接池，调度中心监控tcp连接池的剩余连接数；
最后，客户端需要处理数据时，向调度中心发起请求，调度中心根据用户选择的调度策略给客户端分配tcp连接，客户端即可通过分配的tcp连接将采集的图像发送至相应的人工智能加速卡。
2.根据权利要求1所述的一种基于国产CPU和OS的人工智能加速卡调度方法，其特征在于，所述调度策略包括最少资源占比策略、加速卡亲和策略；
(A)所述最少资源占比策略由人工智能加速卡的利用率和模型数来决定，采用以下分段函数对人工智能加速卡的利用率进行处理：
Figure FDA0003219598490000011
Figure FDA0003219598490000012
其中，Usage表示人工智能加速卡的利用率，其范围是0-1，这里只用sin函数
Figure FDA0003219598490000013
部分，所以需要对利用率进行变换；当人工智能加速卡利用率大于80％时，速度会急速下降，系数
Figure FDA0003219598490000014
是根据测试得到的；p表示人工智能加速卡的利用率；
(B)采用加速卡亲和策略时，数据会依次发送给每张人工智能加速卡，人工智能加速卡在返回结果时会将计算时间返回给调度中心；调用中心会根据上一次的计算时间给出相应的概率，然后选取概率最大的人工智能加速卡作为目标加速卡；但当某张指定人工智能加速卡的利用率高于80％时，调度中心会为其更换目标加速卡；当所有人工智能加速卡利用率都高于80％时，调度中心会选择最初的概率最大的人工智能加速卡。
3.根据权利要求2所述的一种基于国产CPU和OS的人工智能加速卡调度方法，其特征在于，所述调度中心监控tcp连接池的剩余连接数，同时收集运行在人工智能加速卡的模型及其利用率；
在开启人工智能加速卡的亲和策略时，所述调度中心还会收集人工智能加速卡处理数据的速度，以便根据人工智能加速卡的实际运行情况，合理分配资源。
4.根据权利要求3所述的一种基于国产CPU和OS的人工智能加速卡调度方法，其特征在于，所述调度中心监控tcp连接池的剩余连接数，当一段时间内tcp连接池的剩余连接数过多时，所述调度中心会减少tcp连接池的数目，反之则增加tcp连接池的数目。
5.根据权利要求4所述的一种基于国产CPU和OS的人工智能加速卡调度方法，其特征在于，所述调度中心每1min收集一次tcp连接池的剩余连接数，若是5分钟内剩余连接数的平均大于10，则将tcp连接池减少10，相应的，若是剩余连接数在5分钟内都为0，则增加10。
6.一种基于国产CPU和OS的人工智能加速卡调度装置，其特征在于，其结构包括：
基于国产CPU和OS的服务器，作为推送视频流的客户端，用于将采集的图像发送给人工智能加速卡；
多张人工智能加速卡，部署于服务器，用于监听客户端端口；
调度中心，用于根据用户选择的调度策略给客户端分配tcp连接，使客户端采集的图像通过tcp连接发送给相应的人工智能加速卡。
7.根据权利要求6所述的一种基于国产CPU和OS的人工智能加速卡调度装置，其特征在于，所述调度策略包括最少资源占比策略、加速卡亲和策略；
(A)所述最少资源占比策略由人工智能加速卡的利用率和模型数来决定，采用以下分段函数对人工智能加速卡的利用率进行处理：
Figure FDA0003219598490000031
Figure FDA0003219598490000032
其中，Usage表示人工智能加速卡的利用率，其范围是0-1，这里只用sin函数
Figure FDA0003219598490000033
部分，所以需要对利用率进行变换；当人工智能加速卡利用率大于80％时，速度会急速下降，系数
Figure FDA0003219598490000034
是根据测试得到的；p表示人工智能加速卡的利用率；
(B)采用加速卡亲和策略时，数据会依次发送给每张人工智能加速卡，人工智能加速卡在返回结果时会将计算时间返回给调度中心；调用中心会根据上一次的计算时间给出相应的概率，然后选取概率最大的人工智能加速卡作为目标加速卡；但当某张指定人工智能加速卡的利用率高于80％时，调度中心会为其更换目标加速卡；当所有人工智能加速卡利用率都高于80％时，调度中心会选择最初的概率最大的人工智能加速卡。
8.根据权利要求7所述的一种基于国产CPU和OS的人工智能加速卡调度装置，其特征在于，所述调度中心监控tcp连接池的剩余连接数，同时收集运行在人工智能加速卡的模型及其利用率；
在开启人工智能加速卡的亲和策略时，所述调度中心还会收集人工智能加速卡处理数据的速度，以便根据人工智能加速卡的实际运行情况，合理分配资源。
9.根据权利要求8所述的一种基于国产CPU和OS的人工智能加速卡调度装置，其特征在于，所述调度中心监控tcp连接池的剩余连接数，当一段时间内tcp连接池的剩余连接数过多时，所述调度中心会减少tcp连接池的数目，反之则增加tcp连接池的数目。
10.根据权利要求9所述的一种基于国产CPU和OS的人工智能加速卡调度装置，其特征在于，所述调度中心每1min收集一次tcp连接池的剩余连接数，若是5分钟内剩余连接数的平均大于10，则将tcp连接池减少10，相应的，若是剩余连接数在5分钟内都为0，则增加10。
CN202110954086.1A 2021-08-19 2021-08-19 一种基于国产cpu和os的人工智能加速卡调度方法及装置 Pending CN113835876A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110954086.1A CN113835876A (zh) 2021-08-19 2021-08-19 一种基于国产cpu和os的人工智能加速卡调度方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110954086.1A CN113835876A (zh) 2021-08-19 2021-08-19 一种基于国产cpu和os的人工智能加速卡调度方法及装置

Publications (1)

Publication Number Publication Date
CN113835876A true CN113835876A (zh) 2021-12-24

Family

ID=78960833

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110954086.1A Pending CN113835876A (zh) 2021-08-19 2021-08-19 一种基于国产cpu和os的人工智能加速卡调度方法及装置

Country Status (1)

Country Link
CN (1) CN113835876A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114682520A (zh) * 2022-04-12 2022-07-01 浪潮软件集团有限公司 一种基于国产cpu和人工智能加速卡的次品分拣装置
CN117170879A (zh) * 2023-11-01 2023-12-05 之江实验室 面向智能芯片的设备管理装置和方法

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114682520A (zh) * 2022-04-12 2022-07-01 浪潮软件集团有限公司 一种基于国产cpu和人工智能加速卡的次品分拣装置
CN117170879A (zh) * 2023-11-01 2023-12-05 之江实验室 面向智能芯片的设备管理装置和方法
CN117170879B (zh) * 2023-11-01 2024-03-12 之江实验室 面向智能芯片的设备管理装置和方法

Similar Documents

Publication Publication Date Title
CN113835876A (zh) 一种基于国产cpu和os的人工智能加速卡调度方法及装置
CN108776934B (zh) 分布式数据计算方法、装置、计算机设备及可读存储介质
CN111258737B (zh) 一种资源调度的方法、装置和过滤式调度器
CN108829512B (zh) 一种云中心硬件加速计算力的分配方法、系统和云中心
CN109800261B (zh) 双数据库连接池的动态控制方法、装置及相关设备
CN111030945A (zh) 容灾方法、容灾网关、存储介质、装置以及系统
CN109117244B (zh) 一种虚拟机资源申请排队机制的实现方法
CN112817753A (zh) 任务的处理方法及装置、存储介质、电子装置
CN115220921A (zh) 资源调度方法及相关装置、图形处理器、摄像器件和介质
CN112486642A (zh) 资源调度方法、装置、电子设备及计算机可读存储介质
CN107479966B (zh) 一种基于多核心cpu的信令采集方法
CN110516738B (zh) 一种分布式比对聚类方法、装置、电子设备及存储介质
CN109800085B (zh) 资源配置的检测方法、装置、存储介质和电子设备
CN114371931A (zh) 服务集群资源分配方法、装置及计算机设备
CN111539281B (zh) 分布式人脸识别方法及系统
CN107870822B (zh) 基于分布式系统的异步任务控制方法及系统
CN111736988A (zh) 一种异构加速方法、设备、装置及计算机可读存储介质
CN110266787B (zh) 一种混合云管理系统、方法及计算机设备
CN112817732B (zh) 一种适应云边协同多数据中心场景下的流数据处理方法及系统
CN111147603A (zh) 一种推理服务网络化的方法及装置
CN113419842B (zh) 一种基于JavaScript构建边缘计算微服务的方法、装置
CN111124682B (zh) 一种弹性资源分配方法、装置、电子设备和存储介质
CN114741200A (zh) 面向数据中台的计算资源分配方法、装置及电子设备
CN111885350A (zh) 一种图像处理方法、系统、服务器及存储介质
CN113190347A (zh) 一种边缘云系统及任务管理方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination