CN109254851A - 一种调度gpu的方法及相关装置 - Google Patents

一种调度gpu的方法及相关装置 Download PDF

Info

Publication number
CN109254851A
CN109254851A CN201811158935.7A CN201811158935A CN109254851A CN 109254851 A CN109254851 A CN 109254851A CN 201811158935 A CN201811158935 A CN 201811158935A CN 109254851 A CN109254851 A CN 109254851A
Authority
CN
China
Prior art keywords
gpu
task
function
utilization rate
identification
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201811158935.7A
Other languages
English (en)
Inventor
周志刚
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Wuhan Douyu Network Technology Co Ltd
Original Assignee
Wuhan Douyu Network Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Wuhan Douyu Network Technology Co Ltd filed Critical Wuhan Douyu Network Technology Co Ltd
Priority to CN201811158935.7A priority Critical patent/CN109254851A/zh
Publication of CN109254851A publication Critical patent/CN109254851A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46—Multiprogramming arrangements
    • G06F9/50—Allocation of resources, e.g. of the central processing unit [CPU]
    • G06F9/5005—Allocation of resources, e.g. of the central processing unit [CPU] to service a request
    • G06F9/5027—Allocation of resources, e.g. of the central processing unit [CPU] to service a request the resource being a machine, e.g. CPUs, Servers, Terminals
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/94—Hardware or software architectures specially adapted for image or video understanding
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/96—Management of image or video recognition tasks

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Software Systems (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • General Engineering & Computer Science (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Abstract

本发明实施例公开了一种调度GPU的方法，用于使任务调度更加合理高效。本发明实施例方法包括：接收图片识别请求，图片识别请求用于请求识别图片；通过调用系统函数Struct Task将图片识别请求进行转换，得到识别任务，并将识别任务放入任务队列，任务队列用于缓存识别任务；通过while循环从任务队列中取出当前识别任务；通过调用系统API函数EnumNvidiaDisplayHandle获取系统GPU的数量；通过调用系统API函数GPU_GetUsages获取各系统GPU的使用率；根据各系统GPU的使用率，确定使用率最小的系统GPU，并将当前识别任务分配给使用率最小的系统GPU执行。

Description

一种调度GPU的方法及相关装置
技术领域
本发明涉及开发平台领域，尤其涉及一种调度GPU的方法及相关装置。
背景技术
对于直播平台来说，需要对直播平台所直播的内容进行审核，以确认直播的内容是正规合法的内容，而不能是色情直播。现有技术中，确认直播的内容是否正规合法，可以通过鉴黄服务框架的机器来进行识别。而实际应用中，对于鉴黄服务框架来说，由于直播间数量比较多，那么对于一台识别服务化的机器则满足不了线上的需求，因此需要有多台识别机器。
因此，如何更有效率的调度该多台识别机器以提高调度效率，是现在急需解决的问题。
发明内容
本发明实施例提供了一种调度GPU的方法，用于使任务调度更加合理高效。
本发明实施例的第一方面提供了一种调度GPU的方法，包括：接收图片识别请求，所述图片识别请求用于请求识别图片；通过调用系统函数Struct Task将所述图片识别请求进行转换，得到识别任务，并将所述识别任务放入任务队列，所述任务队列用于缓存识别任务；通过while循环从所述任务队列中取出当前识别任务；通过调用系统API函数EnumNvidiaDisplayHandle获取系统GPU的数量；通过调用系统API函数GPU_GetUsages获取所述各系统GPU的使用率；根据所述各系统GPU的使用率，确定使用率最小的系统GPU，并将所述当前识别任务分配给所述使用率最小的系统GPU执行。
在一种可能的实施例中，所述通过while循环从所述任务队列中取出当前识别任务包括：创建线程对象Tread tread；通过函数thread(boost::bind(&Run,NULL))将所述线程对象绑定执行函数，以使得所述线程对象执行所述执行函数，所述Run函数为所述执行函数，所述执行函数用于从所述任务队列中取出所述当前识别函数；基于所述while循环，通过所述执行函数中的函数Task t＝ReadTask()从所述任务队列中取出所述当前识别任务，所述t用于表示所述当前识别任务。
在一种可能的实施例中，所述通过调用系统API函数EnumNvidiaDisplayHandle获取系统GPU的数量包括：通过调用系统API函数EnumNvidiaDisplayHandle判断所述所有的系统GPU是否存在；若所述系统API函数EnumNvidiaDisplayHandle的返回值为NvStatus_OK，则所述系统GPU的数量增加1，直至通过if循环遍历完所述所有的系统GPU，所述if循环的返回值nCount为所述系统GPU的数量。
在一种可能的实施例中，所述通过调用系统API函数GPU_GetUsages获取所述各系统GPU的使用率包括：通过for循环函数for(nNo＝0；nNo<nCount,++nNo)遍历所有系统GPU的句柄，所述nNo为遍历的系统GPU的起始下标，所述nCount为所有系统GPU的数量；基于所述for循环函数，通过调用系统API函数GPU_GetUsages获取所述各系统GPU的使用率。
在一种可能的实施例中，所述根据所述各系统GPU的使用率，确定使用率最小的系统GPU包括：定义当前系统GPU的使用率为最小使用率nMinUsage，并将所述当前系统GPU初始化为第一个系统GPU；通过for循环函数从第二个系统GPU开始遍历所述所有系统GPU；若当前遍历的系统GPU的使用率小于所述最小使用率，则将所述当前遍历的系统GPU的使用率更新为所述最小使用率，并将所述当前遍历的系统GPU的编号作为最小系统GPU编号，直至遍历结束；将遍历结束后的最小系统GPU编号对应的系统GPU确定为所述使用率最小的系统GPU。
在一种可能的实施例中，所述方法还包括：定义存储接口和删除接口，所述存储接口用于在所述识别队列中插入任务，所述删除接口用于在所述识别队列中删除任务。
在一种可能的实施例中，所述主机器定义存储接口和删除接口包括：所述主机器定义自动锁对象，所述自动锁对象用于进行多线程的同步互斥；所述主机器将所述自动锁对象传入互斥变量wirte_mutex；所述主机器调用接口push_back将所述任务存入到所述任务队列的尾端；所述主机器取出所述任务队列的头端的任务；所述主机器调用接口pop_front将所述任务队列的头端的任务删除。
本发明实施例的第二方面提供了一种服务器，包括：收发单元，用于接收图片识别请求，所述图片识别请求用于请求识别图片；转换单元，用于通过调用系统函数StructTask将所述图片识别请求进行转换，得到识别任务，并将所述识别任务放入任务队列，所述任务队列用于缓存识别任务；提取单元，用于通过while循环从所述任务队列中取出当前识别任务；获取单元，用于通过调用系统API函数EnumNvidiaDisplayHandle获取系统GPU的数量；通过调用系统API函数GPU_GetUsages获取所述各系统GPU的使用率；确定单元，用于根据所述各系统GPU的使用率，确定使用率最小的系统GPU，并将所述当前识别任务分配给所述使用率最小的系统GPU执行。
本发明第三方面提供了一种电子设备，包括存储器、处理器，其特征在于，所述处理器用于执行存储器中存储的计算机管理类程序时实现如上述任意一项所述的方法的步骤。
本发明第四方面提供了一种计算机可读存储介质，其上存储有计算机管理类程序，其特征在于：所述计算机管理类程序被处理器执行时实现如上述任意一项所述的方法的步骤。
从以上技术方案可以看出，本发明实施例具有以下优点：接收图片识别请求，所述图片识别请求用于请求识别图片；通过调用系统函数Struct Task将所述图片识别请求进行转换，得到识别任务，并将所述识别任务放入任务队列，所述任务队列用于缓存识别任务；通过while循环从所述任务队列中取出当前识别任务；通过调用系统API函数EnumNvidiaDisplayHandle获取系统GPU的数量；通过调用系统API函数GPU_GetUsages获取所述各系统GPU的使用率；根据所述各系统GPU的使用率，确定使用率最小的系统GPU，并将所述当前识别任务分配给所述使用率最小的系统GPU执行。本发明实施例中，首先获取系统中GPU显卡的数量，然后对所有的识别任务设计一个任务队列，本文的调度模型中，则会不定时的获取每块GPU显卡当前的使用率，依据使用率，来分配任务到对应的GPU上进行处理。从而防止有的GPU处于空闲，而有的GPU又处于满负荷运行，使得调度更为合理和高效。
附图说明
图1为本发明实施例提供的一种可能的调度GPU的方法的流程图；
图2为本发明实施例提供的一种可能的服务器的结构示意图；
图3为本发明实施例提供的一种可能的电子设备的硬件结构示意图；
图4为本发明实施例提供的一种可能的计算机可读存储介质的硬件结构示意图。
具体实施方式
本发明实施例提供了一种调度GPU的方法，用于使任务调度更加合理高效。
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
本申请的说明书和权利要求书及上述附图中的术语“第一”、“第二”、“第三”、“第四”等(如果存在)是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的实施例能够以除了在这里图示或描述的内容以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
请参阅图1，为本发明实施例提供的一种获取数据的方法的流程图，具体包括：
101、接收图片识别请求；
服务器接收图片识别请求，其中该图片识别请求用于请求识别图片。
本申请实施例中，使用HTTP的请求形式，通过向服务器发送图片识别请求，以请求服务器对图片进行鉴黄，并返回鉴黄结果。需要说明的是，该图片识别请求中需要携带上房间号，图片ID，图片内容。具体实现如下：
本实施例中，基于开源的BOOST库提供的HTTP请求来创建HTTP的图片识别请求，包括：
创建一个请求的数据流存储对象boost::asio::streambuf request，将其绑定到STL的输出流对象上std::ostream request_stream(&request)，然后输入一些http的头信息：
request_stream<<"POST"<<url<<"HTTP/1.0\r\n"，其中url是鉴黄服务器的http接口地址。
request_stream<<"Host:"<<host<<":"<<port<<"\r\n"，其中host则对应的是接口名称，port对应的是端口号。
request_stream<<"Accept:*/*\r\n"；
request_stream<<"Content-Length:"<<data.length()<<"\r\n"；
request_stream<<"Content-Type:application/x-www-form-urlencoded\r\n"；
request_stream<<"Connection:close\r\n\r\n"；
再输入房间号，图片ID号和图片内容,图片高度和图片宽带，以得到该图片识别请求：
request_stream<<roomid；request_stream<<pictureId；request_stream<<pictoureData；request_stream<<width；request_stream<<height；
在得到图片识别请求后，将该请求消息发送出去，使得服务器接收图片识别请求，具体地，通过boost提供的接口boost::asio::write(socket,request)将图片识别请求通过socket方式发送到服务器上。
102、通过调用系统函数Struct Task将图片识别请求进行转换，得到识别任务，并将识别任务放入任务队列；
服务器接收到图片识别请求后，首先对每一个图片识别请求，需要将该图片识别请求进行打包成一个任务，从而后续将任务放到任务队列中，有请求过来时，服务器则将请求打包成任务放入到任务队列中。服务器后续则从任务队列中不断的取任务来分配到其他识别服务机器上。具体设计如下：
Struct Task{
Int Count；Int imagId；Int RoomId；Data imagedata；String imagename；Intscore；Int type；
}
服务器收到一个图片识别请求则会将其转换成这样一个结构的对象，即一个这样的结构对象就是一个识别任务，识别完成后，则将结果赋值给此对象的识别分数score。
当同一时刻有大量的请求到来时，为了不会丢失请求，本文设计了任务队列。当大量请求来时，先将请求转换成一个识别任务，然后将任务放入到任务队列中，这样任务队列可以将同时并发的请求转换成非并发的请求。因此，本文会对任务使用一个任务队列来缓存所有的识别任务，并且会使用队列中的任务来调度到对应的GPU进行执行。
103、通过while循环从任务队列中取出当前识别任务；
服务器需要从任务队列中取出当前识别任务来调度识别机器来进行识别。具体实现如下：
封装了一个C++语言的类来完成任务队列的存储删除取任务：
Class TaskQueue{
由于队列是不断的进行插入任务和取任务删除任务，所以本文使用STL的list链表来作为任务的队列，具体实现函数如下：
std::list<Task>lst_buffer；
接着对于任务队列为了防止多线程操作，造成队列数据污染，所以需要加入锁来进行多线程的同步互斥，那么定义一个互斥变量Mutex write_mutex和往队列存储任务的接口PostTask，具体实现函数如下：
Void PostTask(Task t){
首先定义一个自动锁对象ScopedLock lock，然后其传入本文定义的互斥变量write_mutex，具体实现函数包括：
ScopedLock lock(write_mutex)；
然后调用list的接口push_back来将任务存入到队列的尾端。
lst_buffer.push_back(t)；
}
接下来需要编写取任务队列的接口ReadTask，具体实现函数如下：
Task ReadTask(){
类似的，首先定义一个自动锁对象ScopedLock lock，然后其传入本文定义的互斥变量write_mutex。
ScopedLock lock(write_mutex)；
然后从队列中取出队列头部的一个任务t：
Task t＝lst_buffer.front()；
接着则调用接口pop_front将队列头部的任务删除掉：
lst_buffer.pop_front()；
然后返回取出的任务：Return t；
}。
另外，服务器需要从队列中不断的获取当前识别任务，为后续来进行任务的调度。本文则会创建一个独立的线程来不断的取任务，具体包括：
首先创建一个线程对象Thread thread；
然后线程对象绑定其执行函数。
thread(boost::bind(&Run,NULL))；
绑定后，此线程则会去执行Run函数，接下来编写Run函数：
Void Run(){
需要说明的是，该Run函数是一个while循环来不断的从任务队列中取当前识别任务，具体实现如下：
While(true){
首先从队列获取任务t：
Task t＝ReadTask()；
如果队列中没有任务，则线程会暂停一会，减少CPU的消耗。
If(t＝＝NULL){
Sleep(10)；
}
如果队列中有当前识别任务，则后续会进行任务调度。
Else{
}。
104、通过调用系统API函数EnumNvidiaDisplayHandle获取系统GPU的数量；
首先本文需要获取当前系统GPU的数量，从而为后续GPU的调度提供调度的数量。具体则通过显卡提供的API函数EnumNvidiaDisplayHandle来枚举当前GPU数量。具体实现如下：
设计一个数组来存储所有的GPU的句柄。
NvPhysicalGpuHandle gpuhandle[Max]＝{0}；
本文编写一个循环来遍历GPU，查看其是否存在，如果不存在则说明是最后一个。首先定义一个显卡数量变量，并初始化为0：int nCount＝0；
然后编写循环来遍历所有的显卡GPU，具体实现函数如下：
for(int nIndex＝0；nIndex<0xFFFFFFFF；++nIndex){
再通过调用系统提供的API函数EnumNvidiaDisplayHandle来判断当前枚举的GPU是否存在，如果存在返回值则是NvStatus_OK，否则则是失败。如果返回成功，本文则将数量加1，如果返回失败则直接返回nCount值，即表示GPU的数量，具体实现函数如下：
if(EnumNvidiaDisplayHandle(nIndex,&nvDisplayCardHandle)＝＝NvStatus_OK){
gpuhandle[nCount]＝nvDisplayCardHandle；
如果存在，则将当前GPU的句柄存储到句柄数组中。
105、通过调用系统API函数GPU_GetUsages获取所述各系统GPU的使用率；
在获取到当前系统GPU的数量和GPU的句柄数组后，需要编写接口来查询每块GPU当前的使用率，从而后续则可以依据使用率来进行任务调度。具体实现如下：
首先定义一个数组来存储当前GPU的使用率，int GpuUsage[Max]＝{0}；
并且此数组对应于上个步骤中的GPU的句柄数组，接下来编写for循环来遍历GPU的所有句柄：
首先定义一个遍历起始下标int nNo＝0，并且在上个步骤中获取到了显卡GPU的数量：
for(nNo＝0；nNo<nCount；++nNo){
接下来则调用系统API函数GPU_GetUsages来获取显卡的使用率，具体实现函数如下：
GPU_GetUsages(pCardInfo->sGpuInfo[nIndex].nvGpuHandle,pnvUsages)；
GpuUsage[nNo]＝pnvUsages->nUsage；
}
因此通过循环则可以得到所有GPU的使用率。
需要注意的是，由于使用率是一个动态变化的，所以需要通过定时器来不断的获取使用率，从而实时的进行更新。本文则编写一个定时器函数来每间隔预置时长如10秒钟来获取一次使用率，具体实现如下：
首先编写一个定时器的回调函数，此函数则是定时器到时会去执行的函数；VoidTimerFunc(){
再调用上面编写的获取GPU使用率的功能来更新每块显卡的使用率：
for(nNo＝0；nNo<nCount；++nNo){
接下来则调用系统API函数GPU_GetUsages来获取显卡的使用率，具体实现函数如下：
GPU_GetUsages(pCardInfo->sGpuInfo[nIndex].nvGpuHandle,pnvUsages)；
GpuUsage[nNo]＝pnvUsages->nUsage；
}
}
接下来调用系统API函数SetTimer来创建一个定时器，其函数原型如下：
UINT_PTR SetTimer(
HWND hWnd,
UINT_PTR nIDEvent,UINT nElapse,
TIMERPROC lpTimerFunc//
)；
其中，hwnd用于表示窗口句柄；nIDEvent用于表示定时器ID，多个定时器时，可以通过该ID判断是哪个定时器；nElapse用于表示时间间隔，该单位为毫秒；lpTimerFunc用于表示回调函数。
具体调用则是通过函数SetTimer(NULL,0,10000,TimerFunc)；其中窗口句柄设置为NULL，ID则设置为0，时间间隔则设置为10秒即10000毫秒，定时器的回调函数则设置为之前编写的TimerFunc。
106、根据所述各系统GPU的使用率，确定使用率最小的系统GPU，并将所述当前识别任务分配给所述使用率最小的系统GPU执行。
在分配任务时，需要获取当前GPU使用率最小的显卡来分配执行任务。具体实现如下：首先本文定义一个当前GPU使用的最小的变量nMinUsage，并且初始化为第一个GPU显卡，Int nMinUsage＝GpuUsage[0]；
并且定义一个变量来记录当前最小的GPU的编号int nMinNo＝0；
接下来则遍历循环查找使用率最小的GPU，需要说明的是，由于第一块已经赋值给nMinUsage，此时循环则从第二块GPU显卡开始。
for(int nNo＝1；nNo<nCount；++nNo){
如果当前遍历的GPU的使用率低于最小的使用率则替换掉当前最小的GPU使用率，并且记录其编号，具体实现函数如下：
if(GpuUsage[nNo]<nMinUsage){
nMinUsage＝GpuUsage[nNo]；
nMinNo＝nNo。
}
}
通过以上查询即可得到当前最小的GPU使用率的编号nMinNo，并将该当前识别任务分配给使用率最小的系统GPU执行。
本发明实施例中，提出了一种充分利用GPU的方案：首先获取系统中GPU显卡的数量，然后对所有的识别任务设计一个任务队列，本文的调度模型中，则会不定时的获取每块GPU显卡当前的使用率，依据使用率，来分配任务到对应的GPU上进行处理。从而防止有的GPU处于空闲，而有的GPU又处于满负荷运行，使得调度更为合理和高效。
实施例2、一种违规图片的识别方法；
实际应用中，随着人工智能深度学习的普及，现在都会采用深度学习来智能的识别图片中是否包含有色情内容。通常深度学习比较消耗计算机资源，而对于直播平台来说，同时存在上万个直播间，并且要不间断的每隔预置时长30秒对直播间内容进行截图，查看其是否包含色情内容。因此会通过专用的深度学习机器，其具有大量的图形处理器(graphics processing unit，GPU)计算资源。对于鉴黄服务框架则要利用好深度学习机器，并且使得程序更具有健壮性，同时又能满足对直播平台的所有直播间都能够覆盖到。因此本文提供一种违规图片的识别方法，具体实现包括以下：
步骤1、直播平台服务器遍历所有直播间，以获得各直播间的直播信息；
本发明实施例，通过设计一个对直播平台的直播间内容是否涉及违规内容的服务化框架的平台，那么对于在线直播的每一个直播间都需要对其进行违规内容的智能识别。那么直播平台服务器则需要去遍历所有当前在直播的直播间，然后依次对每个直播间请求鉴黄服务，得到鉴黄结果。具体实现如下：
对于当前直播平台的每一个直播间，直播平台会设计各直播间的直播信息，包括直播间的房间号，直播状态(是否在直播)，直播间的名称即房间号，直播间的分区，直播间的视频流地址等其他信息。为了效率方面的提升，本申请实施例中，设计了一个Redis，其中Redis是一个开源的使用ANSI C语言编写、支持网络、可基于内存亦可持久化的日志型、Key-Value数据库，作为内存的数据存储和查询数据库。由于每个直播间房间号都是不一样的，所以本实施例中，使用房间号做为KEY值，而房间的其他信息做为Value来存储。
需要说明的是，本申请实施例中，会使用一个map来存储直播间的直播信息。包括创建一个map对象：Map<string,string>mapInfo；然后将直播间的直播信息都存储到map对象中，例如mapInfo[stauts]＝1，其中status标示当前直播间是否开播，status为1表示开播，status为0表示关播；例如Mapinfo[name]＝“666”，其中name表示直播间的名称；例如mapinfo[type]＝“户外”；其中type表示直播间的分类；mapinfo[url]＝www.douyu.aaaaa.com，其中url表示视频流的地址。
再创建一个redis对象redisContext来链接内存数据库，具体函数表现包括：redisContext*context＝redisConnect("127.0.0.1",6379)，其中"127.0.0.1"表示IP地址，6379表示端口号。
可选的，链接完内存数据库后，可使用redis对象redisCommand来存储这个数据，具体函数表现包括：redisCommand(context,"SET key:％s％s",roomid,Mapinfo)，其中参数context表示之前创建的对象，roomid表示房间号作为key值，mapinfo则是直播间的其他信息。
生成了redis的内存数据库后，则可以从中获取到所有的直播间信息，并且从中取出当前正在直播的直播间的视频流地址。
步骤2、直播平台服务器从待审核直播间的直播视频中截取关键帧图片；
在步骤101中从内存数据库可以得到每个直播间的直播信息，从而得到了当前正在直播的直播间的视频流地址信息。有了视频流地址，则可以从视频中截取关键帧的图片内容作为后续的图片鉴黄识别，即依据图片内容通过深度学习的模型来识别图片是否包含违规内容。
本申请实施例中，可以使用开源的视频编解码库FFMPEG来对视频截取关键帧图片，该关键帧图片用于进行鉴黄识别。首先调用FFMPEG的库初始化接口av_register_all()来初始化。接下来调用应用程序编程接口(application programming interface，API)函数av_open_input_file(&pFormatCtx,url,NULL,0,NULL)打开视频流。再得到视频流的上下文指针，即pCodecCtx＝pFormatCtx->streams[videoStream]->codec；创建一帧视频帧对象，即pFrame＝avcodec_alloc_frame()；并创建一帧图像帧对象pFrameRGB＝avcodec_alloc_frame()，再创建得到视频帧对象和图像帧对象后，再填充视频帧，具体函数表现包括：
avpicture_fill((AVPicture*)pFrameRGB,buffer,PIX_FMT_RGB24,pCodecCtx->width,pCodecCtx->height)。
填充视频帧后，解码该视频帧，具体解码方式可通过以下函数实现：
avcodec_decode_video(pCodecCtx,pFrame,&frameFinished,packet.data,packet.size)，从中可以得到当前视频的一个关键帧，函数表现如下：sws_scale(pSWSCtx,pFrame->data,pFrame->linesize,0,pCodecCtx->height,pFrameRGB->data,pFrameRGB->linesize)。
步骤3、直播平台服务器向鉴黄服务器发送请求消息；
直播平台服务器截取到了视频流的关键帧图片，获取到了对应的图片内容后，接下来则是设计如何将图片内容来调用鉴黄服务，即请求鉴黄服务器对图片内容进行鉴黄识别。本申请实施例中，使用HTTP的请求形式，直播平台服务器通过向鉴黄服务器发送请求消息，以请求鉴黄服务器的HTTP服务来对图片进行鉴黄，并请求鉴黄服务返回鉴黄结果。需要说明的是，该请求消息中需要携带上房间号，图片ID，图片内容。具体实现如下：
本实施例中，基于开源的BOOST库提供的HTTP请求来创建HTTP的请求消息，包括：
创建一个请求的数据流存储对象boost::asio::streambuf request，将其绑定到STL的输出流对象上std::ostream request_stream(&request)，然后输入一些http的头信息：
request_stream<<"POST"<<url<<"HTTP/1.0\r\n"，其中url是鉴黄服务器的http接口地址。
request_stream<<"Host:"<<host<<":"<<port<<"\r\n"，其中host则对应的是接口名称，port对应的是端口号。
request_stream<<"Accept:*/*\r\n"；
request_stream<<"Content-Length:"<<data.length()<<"\r\n"；
request_stream<<"Content-Type:application/x-www-form-urlencoded\r\n"；
request_stream<<"Connection:close\r\n\r\n"；
再输入房间号，图片ID号和图片内容,图片高度和图片宽带，以得到该请求消息：
request_stream<<roomid；request_stream<<pictureId；request_stream<<pictoureData；
request_stream<<width；request_stream<<height；
在得到请求消息后，将该请求消息发送出去，具体地，通过boost提供的接口boost::asio::write(socket,request)将请求消息通过socket方式发送到鉴黄服务器上。
步骤4、鉴黄服务器搭建接收接口；
需要说明的是，本申请实施例提供的是一个鉴黄服务，服务是以提供对外的http的接口，服务不断的接收http的请求来完成对应的请求的功能，并在请求中调用鉴黄模块来实现对关键帧图片的鉴黄结果。所以本步骤中，会搭建一个鉴黄服务的HTTP的服务程序来接收请求鉴黄的请求消息。类似的，本申请实施例中，基于开源库BOOST来搭建一个HTTP的服务器程序来接收请求消息。
首先创建boost的对象，具体实现函数包括：boost::asio::ip::tcp::resolverresolver(io_service_)；然后绑定服务器的ip和端口号，具体实现函数包括：boost::asio::ip::tcp::resolver::query query(address,port，其中address表示服务器的ip，port表示端口号。然后绑定该端口以进行侦听，具体地，实现函数包括：通过函数acceptor_.bind(endpoint)实现端口绑定；通过函数acceptor_.listen()实现侦听。
当帧听到请求后，创建异步处理接口来处理请求，具体函数实现如下：acceptor_.async_accept(new_connection_->socket(),boost::bind(&server::handle_accept,this,boost::asio::placeholders::error))；需要说明的是，异步处理接口则在接口server::handle_accept中处理。另外，在此接口server::handle_accept中，创建一个链接对象开始处理请求，创建链接对象的实现函数包括：connection_manager_.start(new_connection_)。
在创建了链接对象后，需要对请求进行解析，即首先创建解析对象，具体实现函数包括：result；request_parser::result_type result；然后调用prase方法来进行解析，具体函数实现包括：request_parser_.parse(request_,buffer_.data(),buffer_.data()+bytes_transferred)。在解析完请求消息后，从中获取到对应的参数信息包括房价号，图片ID，图片内容，图片宽度和图片高度等。
步骤5、鉴黄服务器创建鉴黄识别服务功能得到图片识别结果。
鉴黄服务器接收到鉴黄图片的请求消息，并获取了请求消息的内容后，需要去调用鉴黄模块来识别待识别图片即关键帧图片，并得到待识别图片的识别结果。首先，创建鉴黄模块的句柄对象，void*pHandle＝ai_create()；然后通过调用其接口ai_create来创建句柄pHandle。得到句柄后，需要初始化鉴黄模块，具体的，可调用其对应的接口ai_init来初始化，ai_init(pHandle,ModuleFilePath,binGPU)，其中pHandle是创建的模块的句柄，ModuleFilePath是模型的文件名称，binGPU是选择的GPU芯片的编号。在初始化鉴黄模块后，调用其接口ai_predict来识别图片，并得到图片的打分，分值越高则说明违规的可能性越大，具体函数实现如下:ai_predict(pHandle,image,width,height,score)；其中参数pHandle是创建的句柄，image是图片的内容，width是图片的宽带，height是图片的高度，且识别结果存储在score字段，即通过score可以知道图片是否涉及违规。
步骤6、直播平台服务器接收鉴黄服务器发送的鉴别结果；
步骤7、直播平台服务器确定打分超过预设数值；
步骤8、直播平台服务器确认关键帧图片违规，并对关键帧图片对应的直播间进行预置处理。
在鉴黄服务器得到了鉴别结果后，则需要将该鉴别结果返回给请求者即直播平台服务器，需要说明的是，鉴别结果则是该待识别图片的打分的分值，该分值则表明了待识别图片是违规内容的分值。例如，满分是100分，本文则设定为鉴别结果为90分及以上的待识别图片为违规图片。具体实现如下：
鉴黄服务器得到了请求消息后则调用鉴黄服务器的识别模块，根据识别模块得到了识别结果。接下来则需要将识别结果返回给直播平台服务器，具体数值则通过http的返回给直播平台服务器。具体地，先定义一个返回的buffers，函数实现包括：std::vector<boost::asio::const_buffer>buffers。再填充相应的头信息：
buffers.push_back(boost::asio::buffer(h.name))；
buffers.push_back(boost::asio::buffer(misc_strings::name_value_separator))。
在填充完相应的头信息后，继续填充相应的结果请求数据，具体函数实现如下：buffers.push_back(boost::asio::buffer(content))，其中content即为相应的结果。本申请实施例中，则需要将识别的分数填入到相应结果中。
在得到了请求结果后，鉴黄服务器会将鉴黄识别模块识别的分数返回给直播平台服务器，对于直播间内容审核人员则可以得到审核的分数，例如系统可以自动的对识别分数高的认为是违禁的直播间推送给审核人员，从而可以人为的做二次确认，如果确认有问题则可以对直播间进行警告或者处罚。另外，本实施例可以通过自动识别过滤出不需要人为确认的直播间，从而减少审核人员的工作量。
实施例3、一种管理多台识别机器的方法
另外，实际应用中，对于鉴黄服务框架来说，由于直播间数量比较多，并且对于每一个直播间都是采取每隔预置时长如30秒钟会截取直播间的视频中的一张图片来调用鉴黄服务，那么对于一台识别服务化的机器则满足不了线上的需求。因此需要有多台基于GPU的识别机器(深度学习使用GPU进行大量的计算)。而对于识别服务框架则需要设计一种方法来依据请求来调度不同的识别机器，同时对于多台机器也可以起到容灾备份的目的。因此本申请实施例还提供了一种管理多台识别机器的方法，具体的实现方法如下所示：
步骤1、设计基于每台机器进行编号和IP分配。
首先对于每一台鉴黄机器，都具有CPU资源和GPU资源，那么每台机器都可以独立的进行鉴黄图片的识别得到识别的分数。因此首先需要对每台机器进行编号以及分配其固定的IP地址，具体编号则可以按照机器编写序号。例如机器1编写其序号为NO1，然后对于的IP地址则可以分配为192.168.1.1；对于机器2则可以编写序号为NO2，其对应的IP地址也可以分配为192.168.1.2；故对于每一台机器都可以按照此种方法进行编号和分配IP地址，需要注意的是，必须需要保障每台机器的编号都是唯一的，并且IP也是唯一的。
步骤2、设计一台机器做为主机器，即master机器。
挑选多台机器中的其中一台机器做为master机器，其具有管理其他机器的智能，相当于是一个管理中心。
步骤3、设计数据结构来管理所有的机器注册和注销。
本文在设计一个内存数据结构来对所有机器的注册和注销进行管理。首先定义一个结构体AiMachine表明是一台机器。
Struct AiMachine{
String name；String ip；String no；
}
其中该数据结构包含有机器的名称name，机器的IP地址ip，机器的编号no。定义好机器信息后，接下来本文定义一个管理类Manager来管理机器的注册和注销：
Class Manager{
首先定义一个存储变量来存储所有的机器，本文可以使用STL的list结构来存储机器的结构信息，具体函数实现如下：
Stl::list<AiMachine>m_list；
其中list链表则存储所有注册的机器信息。
再编写接口来注册一台机器，具体函数实现如下：
Void Register(const AiMachine&data){
本文则通过调用list链表的push_back来存储机器信息，从而实现了注册一台机器到管理类中，具体函数实现如下：
m_list.push_back(data)；
}
Void UnRegister(cont string&name){
需要说明的是，本文还可以通过机器的名称来注销一台机器，包括：
首先定义一个迭代器list<AiMachine>::iterator itr；
然后对迭代器进行初始化itr＝m_list.begin()；
接下来则遍历链表查找该台机器进行注销：
For(；itr！＝m_list.end()；++itr){
需要说明的是，itr！＝m_list.end()表示不是链表的结尾。
通过if函数对比机器的名称是否一致，如果一致则说明是该台机器，则通过链表的删除接口erase来删除该台机器，具体实现函数如下：
需要说明的是，本申请实施例中，还可以通过IP地址来进行注销的接口，具体实现函数如下：
Void UnRegister(cont string&ip){
首先定义一个迭代器，实现函数包括：list<AiMachine>::iterator itr；
然后对迭代器进行初始化，实现函数包括：itr＝m_list.begin()；
接下来则遍历链表查找该台机器进行注销。
For(；itr！＝m_list.end()；++itr){
其中itr！＝m_list.end()表示不是链表的结尾。
再通过If函数对比机器的ip是否一致，如果一致则说明是该台机器，则通过链表的删除接口erase来删除该台机器，具体实现函数如下：
最后，再编写获取实例个数的接口，具体实现函数如下：
Int Getcount(){
Return m_list.size()；
}
}
步骤4、设计副机器即非master机器的注册。
首先本文挑选了一台机器做为master机器用来管理其他的机器，每台非master机器都有master机器的IP地址，本文设计当非master机器开机启动后，则会请求连接master机器，从而告知master机器现在有一台鉴黄识别机器启动了，需要注册到识别机器群中，使得master后续可以调度识别任务到此台机器中。具体实现本文则可以通过在master创建一个传输控制协议(transmission control protocol，TCP)网络通道，非master机器启动后，创建TCP通道来连接master机器，并告知master该非master机器的名称，非master机器的编号。具体可以设计这样一条协议，使得当非master机器启动后则发送该协议到master机器中，具体的，该协议可为如下协议：
type@＝register/name@＝machine1/no@＝3/。
当master机器收到此协议后，则通过管理类Manager来管理机器的注册。即首先定义一个AiMachine data对象，然后给其进行赋值，具体实现函数如下：
Data.name＝machine1；data.no＝3；data.ip＝ip；
其中ip地址则可以通过链接过来的socket获取到，然后管理类Manager mgr；可以通过其注册方法mgr.register(data)来实现注册。
步骤5、设计非master机器的注销。
当任意一台非master机器注册后，如果非master机器存在问题或者其他原因可以主动的进行注销，注销后则master机器不会再往其发送图片鉴黄识别任务。具体注销也是通过发送一条注销的协议type@＝unregister/；那么master机器收到后则可以对该台机器进行注销。当master收到此协议后，则通过管理类Manager来管理机器的注销。其中ip地址则可以通过连接过来的socket获取到。然后管理类Manager mgr通过其注册方法mgr.unregister(ip)来实现注销。
步骤6、设计非master机器的心跳包活策略。
需要说明的是，当任意一台非master机器注册后，如果非master机器由于程序原因导致崩溃或者卡死等其他原因，并且最终其由于有问题所以并不会进行注销操作，这样则会导致其处于假死状态或者机器已经关闭了。那么如果其没有在master机器进行注销，将导致master机器以为此机器一直存在，并不断的发送识别任务，而最终所有的识别任务都失效了。因此需要设计一种心跳保活的策略，非master每隔预置时长如30s则向master机器发送一个心跳包，同时master机器也会给对方回复一个心跳包，从而只要机器存活，则双方不断的发送心跳包，告知对方都存活。当任意一方收不到对方的心跳包后则认为对方出现了问题，则会重现进行注销和注册。可选的，本实施例中，心跳协议则可以设计成type@＝keeplive/，可以理解的是，master机器和非master机器双方都是发送这样的协议内容。
实施例4、一种任务的调度方法；
另外，对于鉴黄服务框架来说，当直播间同时开播数量比较多时会造成请求非常多，并且很有可能同一时间的请求量非常大，这样会导致很多请求超时得不到处理。那么基于有多台识别服务的机器来说，如何合理的设计使得所有的请求任务不会造成超时或者丢弃，同时对于多台识别机器又能满负荷的进行识别任务，并且不会导致一台识别任务很多，而其他机器又处于空闲状态。基于此本文在将所有的鉴黄识别请求在master机器上设计成了缓存队列的形式，同时在master机器上也设计了负载均衡的调度控制，使得任务尽量均匀的分布到不同的机器上，同时当有机器处于停机或者崩溃时，调度可以将任务分发到其他机器，而不影响整个机器的性能，同时当任务超时或者识别失败时，master机器可以将任务再次发送给其他机器进行识别，防止失败任务丢弃掉。因此本文还提供了一种任务的调度方法，具体的实现方法如下所示：
步骤1、设计请求任务的数据结构打包成一个任务。
首先对每一个请求，需要将请求进行打包成一个任务，从而后续将任务放到任务队列中，有请求过来时，master机器则将请求打包成任务放入到任务队列中。Master机器后续则从任务队列中不断的取任务来分配到其他识别服务机器上。具体设计如下：
Struct Task{
Int Count；Int imagId；Int RoomId；Data imagedata；String imagename；Intscore；Int type；
}
收到一个图片识别请求则会将其转换成这样一个结构的对象，即一个这样的结构对象就是一个识别任务，识别完成后，则将结果赋值给此对象的识别分数score。
步骤2、设计请求任务的队列。
当同一时刻有大量的请求到来时，为了不会丢失请求，本文设计了任务队列。当大量请求来时，先将请求转换成一个识别任务，然后将任务放入到任务队列中，这样任务队列可以将同时并发的请求转换成非并发的请求。Master机器则从任务队列中取出任务来调度识别机器来进行识别。具体实现如下：
封装了一个C++语言的类来完成任务队列的存储删除取任务：
Class TaskQueue{
由于队列是不断的进行插入任务和取任务删除任务，所以本文使用STL的list链表来作为任务的队列，具体实现函数如下：
std::list<Task>lst_buffer；
接着对于任务队列为了防止多线程操作，造成队列数据污染，所以需要加入锁来进行多线程的同步互斥，那么定义一个互斥变量Mutex write_mutex和往队列存储任务的接口PostTask，具体实现函数如下：
Void PostTask(Task t){
首先定义一个自动锁对象ScopedLock lock，然后其传入本文定义的互斥变量write_mutex，具体实现函数包括：
ScopedLock lock(write_mutex)；
然后调用list的接口push_back来将任务存入到队列的尾端。
lst_buffer.push_back(t)；
}
接下来我们需要编写取任务队列的接口ReadTask，具体实现函数如下：
Task ReadTask(){
类似的，首先定义一个自动锁对象ScopedLock lock，然后其传入本文定义的互斥变量write_mutex。
ScopedLock lock(write_mutex)；
然后从队列中取出队列头部的一个任务t：
Task t＝lst_buffer.front()；
接着则调用接口pop_front将队列头部的任务删除掉：
lst_buffer.pop_front()；
然后返回取出的任务：Return t；
}。
步骤3、Master机器创建线程不断的从队列取任务。
Master机器则需要从队列中不断的获取任务，为后续来进行任务的调度。本文则会创建一个独立的线程来不断的取任务，具体包括：
首先创建一个线程对象Thread thread；
然后线程对象绑定其执行函数。
thread(boost::bind(&Run,NULL))；
绑定后，此线程则会去执行Run函数，接下来编写Run函数：
Void Run(){
需要说明的是，该Run函数是一个while循环来不断的从任务队列中取任务，具体实现如下：
While(true){
首先从队列获取任务t：
Task t＝ReadTask()；
如果队列中没有任务，则线程会暂停一会，减少CPU的消耗。
If(t＝＝NULL){
Sleep(10)；
}
如果队列中有任务，则后续会进行任务调度。
Else{
}。
步骤4、Master机器进行任务调度。
Master机器从队列中获取到了可以执行的任务后，则需要进行任务的调度。系统中搭建了多个识别服务的机器，并且master机器对识别服务的所有实例进行了管理，那么此时则可以获取到所有存活的实例来进行任务的调度。
首先创建一个任务实例的管理对象Manager：Manager mgr；
在通过调用接口Getcount()获取现有实例的总数：Int nCount＝mgr.Getcount()；然后本文的调度策略可以使用随机调度，从现有识别任务中进行随机的调度。从理论上来说，随机调度是可以分布比较均匀的。
具体实现如下：
依据时间设置随机种子。
首先获取当前系统时间，即Time time＝Time()；
然后调用系统函数srand来设置随机种子：srand(time)；接着则生成一个随机数nRand：Int nRand＝Rand()；然后从随机数据中对实例个数求余数，那么余数是谁则落在那个实例上去调度识别任务：Int no＝nRand％nCount；从而取出一个任务则会调用一次生成随机数据，来调度任务。再通过序号从识别实例中获取对应的实例：AiMachine ai＝Mgr.GetAiMachine(no)；然后调用该实例来进行任务的识别。
实施例5、一种图片识别方法；
对于本文的鉴黄识别服务来说，每种图片都会使用GPU资源，而GPU是整个识别中的最核心的资源，同时是也是最容易产生瓶颈的资源，而通过整个系统的运行，本文发现对于直播间来说，采取使用预置时长的策略来截取视频中的图片进行识别，发现对于很多情况下，连续的一段时间内，直播间的内容没有发送很大的变化。可以理解的是，图片若相似的，其对应的识别结果也是相似的，因此可以通过GPU的算法来对图片进行相似度的识别，如果图片相似则直接返回之前的识别结果，从而不会调用到GPU的识别资源，以减少产生瓶颈的可能性。那么需要设计一套可以使用图片相似过来同样图片的算法，故本文提供了一种图片识别方法，具体实现如下：
步骤1、设计历史特征的图片命名。
对于直播间来说，相似图片的识别只会对同一个直播间来说，不同的直播间直播的内容不一样，所以也不存在相似图的识别问题。那么对于每个直播间来说直播间号是直播平台唯一区分每个直播间的标识信息，那么对于每个直播间需要进行识别的图片本文则会对图片进行命名，其中命名包括该图片所属的直播间号加上时间戳，从而即可以知道该图片所属的直播间，也不会存在图片有重名的情况，还可以知道图片产生的时间。具体实现如下：
ImageName＝RoomId+Time()；
其中ImageName是图片的名称；RoomId是房间号；Time()则是获取系统时间戳。
步骤2、设计历史特征的存储和更新。
对于直播间来说，需要设计一个队列来存储历史特征。由于当前识别的图片可能和之前的图片是相似的，所以本文设置队列长度是N张图片，如10张图片，每次都和这10张图片进行对比。可以理解的是，队列长度设置太长或者太短都会影响效果，如果设置太长，那么对比会消耗大量时间，如果设置太短那么有可能是相似的没有对比到，因此队列长度的设置可以基于实际应用场景。本文使用STL的链表list来存储图片的历史特征，具体实现如下：
Struct ImageData{
Image；ImageName；ImageFeature；Score；
}
其中，该结构ImageData来存储一个图片的特征和图片，其中结构中包括图片的原始数据Image，图片的名称ImageName，图片的特征数据ImageFeature，Score则是图片识别的分数值。
然后定义一个链表变量list<ImageData*>listImageData来存储一个房间的历史特征。对于整个直播网站来说，需要查询所有的直播间，所以本文使用了STL的键值对容器map来存储所有直播间的历史特征，其中键使用房间号，而值则使用了链表变量，具体实现函数包括：Map<int,list<ImageData*>*>mapListData。
接下来则编写接口来实现读取历史特征和更新历史特征。当直播间有一张图片需要进行识别时，首先会依据该图片的所属房间号来拉取对应的所有历史特征值，其中本文则编写了接口GetImagData来获取该房间的所有特征值，输入参数为房间号nRoomId，具体实现函数包括：
list<ImageData*>*GetImagData(int nRoomId){
首先定义一个迭代器：
Map<int,list<ImageData*>*>::iterator itr；
然后通过房间号来查找对应的所有特征值的链表，并返回查找到的结果：
Itr＝mapListData.find(nRoomId)；其中调用map容器的find函数来查找。
Return(*itr).second；
}
在得到了该房间的所有特征值的链表后，可以遍历链表来一一匹配图像的特征值。
同样的首先定义一个链表的迭代器itr，具体实现函数如下：
list<ImageData*>::itrator itr；
然后初始化迭代器：itr＝listImageData.begain()；
进而编写For循环来对比特征值是否相似：
For(；itr！＝listImageData.end()；++itr){
其中调用了相似度检测的算法接口similardetect_predict，其输入参数有2个，一个是链表中的图片特征，另一个则是当前需要对比的图片的特征，其中返回值Result则是返回结果，需要说明的是，如果返回值是true则表明相似，否则不相似。
Int Result＝similardetect_predict((*itr).ImageFeature,ImageFeature)；
If(Result＝＝True){
Return True；
}
}
如果当前图片和历史特征对比都没有相似的，则说明当前直播间的直播内容变化很大，所以需要将历史特征进行更新，踢掉存在时间最久的特征，并且将当前的特征更新到特征库中。具体则是通过调用其接口pop_front函数listImageData.pop_front()来踢掉存在时间最久的特征数据；然后通过函数listImageData.push_back(ImageData)将最新的特征存储到链表中。
步骤3、识别服务流程修改。
本文加入了相似图的识别流程后，那么整个鉴黄的识别流程则发生了变化，鉴黄服务框架收到鉴黄的请求后，首先会则会获取该直播间的历史特征，并将请求与历史特征进行比较，如果匹配上，则直接返回历史特征图片识别的鉴黄分数结果，那么此流程则终止，不需要进行后续的基于GPU的深度学习的鉴黄识别模块，从而可以节省GPU资源，而整个匹配都是使用CPU进行计算。而如果请求在历史特征库中都没有找到相似图片，则整个流程需要使用GPU的深度学习的鉴黄识别模块，并且将识别的结果更新到历史特征库中。从而历史特征库总是保存最近的图片识别结果。
上面从调度GPU的方法的角度对本发明实施例进行了描述，下面从服务器的角度对本发明实施例进行描述。
请参阅图2，图2为本发明实施例提供的一种可能的服务器的实施例示意图，其中，该服务器具体包括：
收发单元201，用于接收图片识别请求，所述图片识别请求用于请求识别图片；
转换单元202，用于通过调用系统函数Struct Task将所述图片识别请求进行转换，得到识别任务，并将所述识别任务放入任务队列，所述任务队列用于缓存识别任务；
提取单元203，用于通过while循环从所述任务队列中取出当前识别任务；
获取单元204，用于通过调用系统API函数EnumNvidiaDisplayHandle获取系统GPU的数量；通过调用系统API函数GPU_GetUsages获取所述各系统GPU的使用率；
确定单元205，用于根据所述各系统GPU的使用率，确定使用率最小的系统GPU，并将所述当前识别任务分配给所述使用率最小的系统GPU执行。
请参阅图3，图3为本发明实施例提供的电子设备的实施例示意图。
如图3所示，本发明实施例提供了一种电子设备，包括存储器310、处理器320及存储在存储器320上并可在处理器320上运行的计算机程序311，处理器320执行计算机程序311时实现以下步骤：接收图片识别请求，所述图片识别请求用于请求识别图片；通过调用系统函数Struct Task将所述图片识别请求进行转换，得到识别任务，并将所述识别任务放入任务队列，所述任务队列用于缓存识别任务；通过while循环从所述任务队列中取出当前识别任务；通过调用系统API函数EnumNvidiaDisplayHandle获取系统GPU的数量；通过调用系统API函数GPU_GetUsages获取所述各系统GPU的使用率；根据所述各系统GPU的使用率，确定使用率最小的系统GPU，并将所述当前识别任务分配给所述使用率最小的系统GPU执行。
可选的，在一种可能的实施例中，所述处理器320具体用于：创建线程对象Treadtread；通过函数thread(boost::bind(&Run,NULL))将所述线程对象绑定执行函数，以使得所述线程对象执行所述执行函数，所述Run函数为所述执行函数，所述执行函数用于从所述任务队列中取出所述当前识别函数；基于所述while循环，通过所述执行函数中的函数Taskt＝ReadTask()从所述任务队列中取出所述当前识别任务，所述t用于表示所述当前识别任务。
可选的，在一种可能的实施例中，所述处理器320具体用于：通过调用系统API函数EnumNvidiaDisplayHandle判断所述所有的系统GPU是否存在；若所述系统API函数EnumNvidiaDisplayHandle的返回值为NvStatus_OK，则所述系统GPU的数量增加1，直至通过if循环遍历完所述所有的系统GPU，所述if循环的返回值nCount为所述系统GPU的数量。
可选的，在一种可能的实施例中，所述处理器320具体用于：通过for循环函数for(nNo＝0；nNo<nCount,++nNo)遍历所有系统GPU的句柄，所述nNo为遍历的系统GPU的起始下标，所述nCount为所有系统GPU的数量；基于所述for循环函数，通过调用系统API函数GPU_GetUsages获取所述各系统GPU的使用率。
可选的，在一种可能的实施例中，所述处理器320具体用于：定义当前系统GPU的使用率为最小使用率nMinUsage，并将所述当前系统GPU初始化为第一个系统GPU；通过for循环函数从第二个系统GPU开始遍历所述所有系统GPU；若当前遍历的系统GPU的使用率小于所述最小使用率，则将所述当前遍历的系统GPU的使用率更新为所述最小使用率，并将所述当前遍历的系统GPU的编号作为最小系统GPU编号，直至遍历结束；将遍历结束后的最小系统GPU编号对应的系统GPU确定为所述使用率最小的系统GPU。
可选的，在一种可能的实施例中，所述处理器320还用于：定义存储接口和删除接口，所述存储接口用于在所述识别队列中插入任务，所述删除接口用于在所述识别队列中删除任务。
可选的，在一种可能的实施例中，所述处理器320具体用于：所述主机器定义自动锁对象，所述自动锁对象用于进行多线程的同步互斥；所述主机器将所述自动锁对象传入互斥变量wirte_mutex；所述主机器调用接口push_back将所述任务存入到所述任务队列的尾端；所述主机器取出所述任务队列的头端的任务；所述主机器调用接口pop_front将所述任务队列的头端的任务删除。
由于本实施例所介绍的电子设备为实施本发明实施例中一种服务器所采用的设备，故而基于本发明实施例中所介绍的方法，本领域所属技术人员能够了解本实施例的电子设备的具体实施方式以及其各种变化形式，所以在此对于该电子设备如何实现本发明实施例中的方法不再详细介绍，只要本领域所属技术人员实施本发明实施例中的方法所采用的设备，都属于本发明所欲保护的范围。
请参阅图4，图4为本发明实施例提供的一种计算机可读存储介质的实施例示意图。
如图4所示，本实施例提供了一种计算机可读存储介质400，其上存储有计算机程序411，该计算机程序411被处理器执行时实现如下步骤：接收图片识别请求，所述图片识别请求用于请求识别图片；通过调用系统函数Struct Task将所述图片识别请求进行转换，得到识别任务，并将所述识别任务放入任务队列，所述任务队列用于缓存识别任务；通过while循环从所述任务队列中取出当前识别任务；通过调用系统API函数EnumNvidiaDisplayHandle获取系统GPU的数量；通过调用系统API函数GPU_GetUsages获取所述各系统GPU的使用率；根据所述各系统GPU的使用率，确定使用率最小的系统GPU，并将所述当前识别任务分配给所述使用率最小的系统GPU执行。
可选的，在一种可能的实施例中，该计算机程序411被处理器执行时具体用于实现如下步骤：创建线程对象Tread tread；通过函数thread(boost::bind(&Run,NULL))将所述线程对象绑定执行函数，以使得所述线程对象执行所述执行函数，所述Run函数为所述执行函数，所述执行函数用于从所述任务队列中取出所述当前识别函数；基于所述while循环，通过所述执行函数中的函数Task t＝ReadTask()从所述任务队列中取出所述当前识别任务，所述t用于表示所述当前识别任务。
可选的，在一种可能的实施例中，该计算机程序411被处理器执行时具体用于实现如下步骤：通过调用系统API函数EnumNvidiaDisplayHandle判断所述所有的系统GPU是否存在；若所述系统API函数EnumNvidiaDisplayHandle的返回值为NvStatus_OK，则所述系统GPU的数量增加1，直至通过if循环遍历完所述所有的系统GPU，所述if循环的返回值nCount为所述系统GPU的数量。
可选的，在一种可能的实施例中，该计算机程序411被处理器执行时具体用于实现如下步骤：通过for循环函数for(nNo＝0；nNo<nCount,++nNo)遍历所有系统GPU的句柄，所述nNo为遍历的系统GPU的起始下标，所述nCount为所有系统GPU的数量；基于所述for循环函数，通过调用系统API函数GPU_GetUsages获取所述各系统GPU的使用率。
可选的，在一种可能的实施例中，该计算机程序411被处理器执行时具体用于实现如下步骤：定义当前系统GPU的使用率为最小使用率nMinUsage，并将所述当前系统GPU初始化为第一个系统GPU；通过for循环函数从第二个系统GPU开始遍历所述所有系统GPU；若当前遍历的系统GPU的使用率小于所述最小使用率，则将所述当前遍历的系统GPU的使用率更新为所述最小使用率，并将所述当前遍历的系统GPU的编号作为最小系统GPU编号，直至遍历结束；将遍历结束后的最小系统GPU编号对应的系统GPU确定为所述使用率最小的系统GPU。
可选的，在一种可能的实施例中，该计算机程序411被处理器执行时还用于实现如下步骤：定义存储接口和删除接口，所述存储接口用于在所述识别队列中插入任务，所述删除接口用于在所述识别队列中删除任务。
可选的，在一种可能的实施例中，该计算机程序411被处理器执行时具体用于实现如下步骤：所述主机器定义自动锁对象，所述自动锁对象用于进行多线程的同步互斥；所述主机器将所述自动锁对象传入互斥变量wirte_mutex；所述主机器调用接口push_back将所述任务存入到所述任务队列的尾端；所述主机器取出所述任务队列的头端的任务；所述主机器调用接口pop_front将所述任务队列的头端的任务删除。
需要说明的是，在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详细描述的部分，可以参见其它实施例的相关描述。
本领域内的技术人员应明白，本发明的实施例可提供为方法、系统、或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式计算机或者其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
尽管已描述了本发明的优选实施例，但本领域内的技术人员一旦得知了基本创造概念，则可对这些实施例作出另外的变更和修改。所以，所附权利要求意欲解释为包括优选实施例以及落入本发明范围的所有变更和修改。
显然，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样，倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包括这些改动和变型在内。

Claims (10)

1.一种调度图形处理器GPU的方法，其特征在于，包括：
接收图片识别请求，所述图片识别请求用于请求识别图片；
通过调用系统函数Struct Task将所述图片识别请求进行转换，得到识别任务，并将所述识别任务放入任务队列，所述任务队列用于缓存识别任务；
通过while循环从所述任务队列中取出当前识别任务；
通过调用系统API函数EnumNvidiaDisplayHandle获取系统GPU的数量；
通过调用系统API函数GPU_GetUsages获取所述各系统GPU的使用率；
根据所述各系统GPU的使用率，确定使用率最小的系统GPU，并将所述当前识别任务分配给所述使用率最小的系统GPU执行。
2.根据权利要求1所述的方法，其特征在于，所述通过while循环从所述任务队列中取出当前识别任务包括：
创建线程对象Tread tread；
通过函数thread(boost::bind(&Run,NULL))将所述线程对象绑定执行函数，以使得所述线程对象执行所述执行函数，所述Run函数为所述执行函数，所述执行函数用于从所述任务队列中取出所述当前识别函数；
基于所述while循环，通过所述执行函数中的函数Task t＝ReadTask()从所述任务队列中取出所述当前识别任务，所述t用于表示所述当前识别任务。
3.根据权利要求1所述的方法，其特征在于，所述通过调用系统API函数EnumNvidiaDisplayHandle获取系统GPU的数量包括：
通过调用系统API函数EnumNvidiaDisplayHandle判断所述所有的系统GPU是否存在；
若所述系统API函数EnumNvidiaDisplayHandle的返回值为NvStatus_OK，则所述系统GPU的数量增加1，直至通过if循环遍历完所述所有的系统GPU，所述if循环的返回值nCount为所述系统GPU的数量。
4.根据权利要求1所述的方法，其特征在于，所述通过调用系统API函数GPU_GetUsages获取所述各系统GPU的使用率包括：
通过for循环函数for(nNo＝0；nNo<nCount,++nNo)遍历所有系统GPU的句柄，所述nNo为遍历的系统GPU的起始下标，所述nCount为所有系统GPU的数量；
基于所述for循环函数，通过调用系统API函数GPU_GetUsages获取所述各系统GPU的使用率。
5.根据权利要求1所述的方法，其特征在于，所述根据所述各系统GPU的使用率，确定使用率最小的系统GPU包括：
定义当前系统GPU的使用率为最小使用率nMinUsage，并将所述当前系统GPU初始化为第一个系统GPU；
通过for循环函数从第二个系统GPU开始遍历所述所有系统GPU；
若当前遍历的系统GPU的使用率小于所述最小使用率，则将所述当前遍历的系统GPU的使用率更新为所述最小使用率，并将所述当前遍历的系统GPU的编号作为最小系统GPU编号，直至遍历结束；
将遍历结束后的最小系统GPU编号对应的系统GPU确定为所述使用率最小的系统GPU。
6.根据权利要求1所述的方法，其特征在于，所述方法还包括：
定义存储接口和删除接口，所述存储接口用于在所述识别队列中插入任务，所述删除接口用于在所述识别队列中删除任务。
7.根据权利要求6所述的方法，其特征在于，所述主机器定义存储接口和删除接口包括：
所述主机器定义自动锁对象，所述自动锁对象用于进行多线程的同步互斥；
所述主机器将所述自动锁对象传入互斥变量wirte_mutex；
所述主机器调用接口push_back将所述任务存入到所述任务队列的尾端；
所述主机器取出所述任务队列的头端的任务；
所述主机器调用接口pop_front将所述任务队列的头端的任务删除。
8.一种服务器，其特征在于，包括：
收发单元，用于接收图片识别请求，所述图片识别请求用于请求识别图片；
转换单元，用于通过调用系统函数Struct Task将所述图片识别请求进行转换，得到识别任务，并将所述识别任务放入任务队列，所述任务队列用于缓存识别任务；
提取单元，用于通过while循环从所述任务队列中取出当前识别任务；
获取单元，用于通过调用系统API函数EnumNvidiaDisplayHandle获取系统GPU的数量；通过调用系统API函数GPU_GetUsages获取所述各系统GPU的使用率；
确定单元，用于根据所述各系统GPU的使用率，确定使用率最小的系统GPU，并将所述当前识别任务分配给所述使用率最小的系统GPU执行。
9.一种计算机可读存储介质，包括指令，当其在计算机上运行时，使得计算机执行如权利要求1-7任意一项所述的方法。
10.一种包含指令的计算机程序产品，当其在计算机上运行时，使得计算机执行如权利要求1-7任意一项所述的方法。
CN201811158935.7A 2018-09-30 2018-09-30 一种调度gpu的方法及相关装置 Pending CN109254851A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201811158935.7A CN109254851A (zh) 2018-09-30 2018-09-30 一种调度gpu的方法及相关装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201811158935.7A CN109254851A (zh) 2018-09-30 2018-09-30 一种调度gpu的方法及相关装置

Publications (1)

Publication Number Publication Date
CN109254851A true CN109254851A (zh) 2019-01-22

Family

ID=65045084

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201811158935.7A Pending CN109254851A (zh) 2018-09-30 2018-09-30 一种调度gpu的方法及相关装置

Country Status (1)

Country Link
CN (1) CN109254851A (zh)

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110769275A (zh) * 2019-10-09 2020-02-07 北京达佳互联信息技术有限公司 直播数据流的处理方法、装置及系统
CN110769311A (zh) * 2019-10-09 2020-02-07 北京达佳互联信息技术有限公司 直播数据流的处理方法、装置及系统
CN111225234A (zh) * 2019-12-23 2020-06-02 广州市百果园信息技术有限公司 视频审核方法、视频审核装置、设备和存储介质
CN111552550A (zh) * 2020-04-26 2020-08-18 星环信息科技（上海）有限公司 一种基于图形处理器gpu资源的任务调度方法、设备及介质
CN111625358A (zh) * 2020-05-25 2020-09-04 浙江大华技术股份有限公司 一种资源分配方法、装置、电子设备及存储介质
CN111694648A (zh) * 2020-06-09 2020-09-22 北京百度网讯科技有限公司 一种任务调度方法、装置以及电子设备
CN111782407A (zh) * 2020-08-04 2020-10-16 支付宝(杭州)信息技术有限公司 用于执行gpu中的控制任务的方法、装置及gpu
CN112529761A (zh) * 2019-09-18 2021-03-19 珠海格力电器股份有限公司 基于视频图像识别的并发请求的处理方法及存储介质

Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102006314A (zh) * 2009-09-02 2011-04-06 中国银联股份有限公司 多服务器自适应任务调度方法及装置
CN102567101A (zh) * 2012-01-12 2012-07-11 郑州金惠计算机系统工程有限公司 Wap手机传媒色情图像识别、监管的多进程管理系统
CN104320677A (zh) * 2014-10-17 2015-01-28 深圳市同洲电子股份有限公司 一种审核服务器、主控服务器及视频检测系统
CN104506946A (zh) * 2014-12-04 2015-04-08 南京阅视网络科技有限公司 一种基于图像识别的电视节目识别方法和系统
CN105915953A (zh) * 2016-06-12 2016-08-31 腾讯科技（深圳）有限公司 直播视频鉴别的方法、装置和系统
CN106161611A (zh) * 2016-06-30 2016-11-23 武汉斗鱼网络科技有限公司 直播平台上传和获取图像的系统及其方法
US20160366139A1 (en) * 2012-04-20 2016-12-15 Ologn Technologies Ag Secure Zone for Secure Purchases
CN107135257A (zh) * 2017-04-28 2017-09-05 东方网力科技股份有限公司 一种节点集群中任务分配的方法、节点和系统
CN107168782A (zh) * 2017-04-24 2017-09-15 复旦大学 一种基于Spark与GPU的并行计算系统
CN107682719A (zh) * 2017-09-05 2018-02-09 广州数沃信息科技有限公司 一种直播内容健康度的监测评估方法及装置
CN107885762A (zh) * 2017-09-19 2018-04-06 北京百度网讯科技有限公司 智能大数据系统、提供智能大数据服务的方法和设备
CN108021430A (zh) * 2016-10-31 2018-05-11 杭州海康威视数字技术股份有限公司 一种分布式任务处理方法及装置

Patent Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102006314A (zh) * 2009-09-02 2011-04-06 中国银联股份有限公司 多服务器自适应任务调度方法及装置
CN102567101A (zh) * 2012-01-12 2012-07-11 郑州金惠计算机系统工程有限公司 Wap手机传媒色情图像识别、监管的多进程管理系统
US20160366139A1 (en) * 2012-04-20 2016-12-15 Ologn Technologies Ag Secure Zone for Secure Purchases
CN104320677A (zh) * 2014-10-17 2015-01-28 深圳市同洲电子股份有限公司 一种审核服务器、主控服务器及视频检测系统
CN104506946A (zh) * 2014-12-04 2015-04-08 南京阅视网络科技有限公司 一种基于图像识别的电视节目识别方法和系统
CN105915953A (zh) * 2016-06-12 2016-08-31 腾讯科技（深圳）有限公司 直播视频鉴别的方法、装置和系统
CN106161611A (zh) * 2016-06-30 2016-11-23 武汉斗鱼网络科技有限公司 直播平台上传和获取图像的系统及其方法
CN108021430A (zh) * 2016-10-31 2018-05-11 杭州海康威视数字技术股份有限公司 一种分布式任务处理方法及装置
CN107168782A (zh) * 2017-04-24 2017-09-15 复旦大学 一种基于Spark与GPU的并行计算系统
CN107135257A (zh) * 2017-04-28 2017-09-05 东方网力科技股份有限公司 一种节点集群中任务分配的方法、节点和系统
CN107682719A (zh) * 2017-09-05 2018-02-09 广州数沃信息科技有限公司 一种直播内容健康度的监测评估方法及装置
CN107885762A (zh) * 2017-09-19 2018-04-06 北京百度网讯科技有限公司 智能大数据系统、提供智能大数据服务的方法和设备

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112529761A (zh) * 2019-09-18 2021-03-19 珠海格力电器股份有限公司 基于视频图像识别的并发请求的处理方法及存储介质
CN110769275A (zh) * 2019-10-09 2020-02-07 北京达佳互联信息技术有限公司 直播数据流的处理方法、装置及系统
CN110769311A (zh) * 2019-10-09 2020-02-07 北京达佳互联信息技术有限公司 直播数据流的处理方法、装置及系统
CN111225234A (zh) * 2019-12-23 2020-06-02 广州市百果园信息技术有限公司 视频审核方法、视频审核装置、设备和存储介质
CN111552550A (zh) * 2020-04-26 2020-08-18 星环信息科技（上海）有限公司 一种基于图形处理器gpu资源的任务调度方法、设备及介质
CN111625358A (zh) * 2020-05-25 2020-09-04 浙江大华技术股份有限公司 一种资源分配方法、装置、电子设备及存储介质
CN111625358B (zh) * 2020-05-25 2023-06-20 浙江大华技术股份有限公司 一种资源分配方法、装置、电子设备及存储介质
CN111694648A (zh) * 2020-06-09 2020-09-22 北京百度网讯科技有限公司 一种任务调度方法、装置以及电子设备
CN111694648B (zh) * 2020-06-09 2023-08-15 阿波罗智能技术(北京)有限公司 一种任务调度方法、装置以及电子设备
CN111782407A (zh) * 2020-08-04 2020-10-16 支付宝(杭州)信息技术有限公司 用于执行gpu中的控制任务的方法、装置及gpu
CN111782407B (zh) * 2020-08-04 2023-11-21 支付宝(杭州)信息技术有限公司 用于执行gpu中的控制任务的方法、装置及gpu

Similar Documents

Publication Publication Date Title
CN109254851A (zh) 一种调度gpu的方法及相关装置
CN110971939B (zh) 一种违规图片的识别方法及相关装置
WO2020108303A1 (zh) 一种基于异构计算的任务处理方法及软硬件框架系统
US8094560B2 (en) Multi-stage multi-core processing of network packets
CN112051993B (zh) 状态机模板的生成及任务处理方法、装置、介质及设备
CN1318968C (zh) 执行实时操作的方法和系统
CN106354729B (zh) 一种图数据处理方法、装置和系统
CN110245008A (zh) 定时任务处理方法、系统和设备
CN109995859A (zh) 一种调度方法、调度服务器及计算机可读存储介质
US11132221B2 (en) Method, apparatus, and computer-readable medium for dynamic binding of tasks in a data exchange
CN106528169B (zh) 一种基于AnGo动态演化模型的Web系统开发可复用方法
CN114661752A (zh) 分布式数据库的计划调度方法、装置和系统
CN109302477A (zh) 一种任务的调度方法及相关装置
CN116028233B (zh) 一种ai计算资源的数字对象组织与共享方法和装置
CN110971928B (zh) 一种图片识别方法及相关装置
CN110968434B (zh) 一种管理机器的方法及相关装置
Duran-Limon et al. Reconfiguration of resources in middleware
Denninnart Cost-and QoS-Efficient Serverless Cloud Computing
CN117493025B (zh) 资源分配方法、装置、设备及存储介质
US20230216806A1 (en) Network node simulation method based on linux container
Liu et al. BUST: enabling scalable service orchestration
Zhang High-performance scheduling of deep learning tasks in collaborative edge computing
Sakellariou et al. Communicating sequential processes for distributed constraint satisfaction
Singhvi Towards Performant and Efficient Data Processing Services
CN116860406A (zh) 基于消息队列系统的调度方法、装置、设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20190122