CN110162398A - 一种疾病分析模型的调度方法、装置及终端设备 - Google Patents

一种疾病分析模型的调度方法、装置及终端设备 Download PDF

Info

Publication number
CN110162398A
CN110162398A CN201910288569.5A CN201910288569A CN110162398A CN 110162398 A CN110162398 A CN 110162398A CN 201910288569 A CN201910288569 A CN 201910288569A CN 110162398 A CN110162398 A CN 110162398A
Authority
CN
China
Prior art keywords
gpu
diseases
pond
diseases analysis
model
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201910288569.5A
Other languages
English (en)
Other versions
CN110162398B (zh
Inventor
朱军明
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ping An Technology Shenzhen Co Ltd
Original Assignee
Ping An Technology Shenzhen Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ping An Technology Shenzhen Co Ltd filed Critical Ping An Technology Shenzhen Co Ltd
Priority to CN201910288569.5A priority Critical patent/CN110162398B/zh
Publication of CN110162398A publication Critical patent/CN110162398A/zh
Priority to PCT/CN2019/103109 priority patent/WO2020206911A1/zh
Application granted granted Critical
Publication of CN110162398B publication Critical patent/CN110162398B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00Arrangements for program control, e.g. control units
    • G06F9/06Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46Multiprogramming arrangements
    • G06F9/50Allocation of resources, e.g. of the central processing unit [CPU]
    • G06F9/5005Allocation of resources, e.g. of the central processing unit [CPU] to service a request
    • G06F9/5027Allocation of resources, e.g. of the central processing unit [CPU] to service a request the resource being a machine, e.g. CPUs, Servers, Terminals
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00General purpose image data processing
    • G06T1/20Processor architectures; Processor configuration, e.g. pipelining
    • GPHYSICS
    • G16INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16HHEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/50ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for simulation or modelling of medical disorders
    • GPHYSICS
    • G16INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16HHEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/70ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for mining of medical data, e.g. analysing previous cases of other patients

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Public Health (AREA)
  • Medical Informatics (AREA)
  • Data Mining & Analysis (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Biomedical Technology (AREA)
  • Databases & Information Systems (AREA)
  • Physics & Mathematics (AREA)
  • Pathology (AREA)
  • Software Systems (AREA)
  • Epidemiology (AREA)
  • General Health & Medical Sciences (AREA)
  • Primary Health Care (AREA)
  • General Engineering & Computer Science (AREA)
  • Medical Treatment And Welfare Office Work (AREA)

Abstract

本发明适用于计算机数据处理技术领域,提供了一种疾病分析模型的调度方法、装置及终端设备,所述方法包括:接收用户发送的疾病分析请求,所述疾病分析请求携带待分析的医院数据;通过分析所述医院数据得到所述医院数据对应的病种信息,根据所述病种信息从多个疾病分析模型中确定出目标疾病分析模型;在所述疾病分析请求中携带上所述目标疾病分析模型的模型名称,并将所述疾病分析请求添加至疾病分析请求队列;根据所述模型名称和GPU池的当前状态,将所述疾病分析请求队列中的疾病分析请求分配至GPU池中的GPU。本发明根据所述模型名称和GPU池的当前状态,将携带有模型名称的疾病分析请求分配给GPU池中的GPU,使得GPU资源分配更合理,提高了数据处理效率。

Description

一种疾病分析模型的调度方法、装置及终端设备
技术领域
本发明属于计算机数据处理技术领域,尤其涉及一种疾病分析模型的调度方法、装置及终端设备。
背景技术
随着图形处理器(Graphics Processing Unit,GPU)技术的不断进步,GPU逐渐成为计算系统中最重要的加速部件之一。GPU技术在世界各地的政府、实验室、大学、大型以及中小企业等得到广泛的应用,越来越多的算法被移植到GPU芯片上执行。
目前,基于深度学习技术等的分析模型,例如,用于疾病分析的神经网络模型等等,通常被分配给指定的GPU芯片执行,GPU资源分配不合理,影响了数据处理效率。
发明内容
有鉴于此,本发明实施例提供了一种疾病分析模型的调度方法、装置及终端设备,以解决现有技术存在的疾病分析模型被分配给指定的GPU执行,GPU资源分配不合理,影响了数据处理效率的技术问题。
本发明实施例的第一方面提供了一种疾病分析模型的调度方法,包括:
接收用户发送的疾病分析请求,所述疾病分析请求携带待分析的医院数据;
分析所述医院数据得到所述医院数据对应的病种信息,根据所述病种信息从多个疾病分析模型中确定出目标疾病分析模型,所述目标疾病分析模型用于分析所述医院数据获得疾病分析结果;
在所述疾病分析请求中携带上所述目标疾病分析模型的模型名称,并将所述疾病分析请求添加至疾病分析请求队列;
根据所述模型名称和GPU池的当前状态,将所述疾病分析请求队列中的疾病分析请求分配至GPU池中的GPU,所述GPU池中的GPU被配置成调用目标疾病分析模型处理所述疾病分析请求。
本发明实施例的第二方面提供了一种疾病分析模型的调度装置,包括:
接收单元,用于接收用户发送的疾病分析请求,所述疾病分析请求携带待分析的医院数据;
分析单元,用于分析所述医院数据得到所述医院数据对应的病种信息,根据所述病种信息从多个疾病分析模型中确定出目标疾病分析模型,所述目标疾病分析模型用于分析所述医院数据获得疾病分析结果;
添加单元,用于在所述疾病分析请求中携带上所述目标疾病分析模型的模型名称,并将所述疾病分析请求添加至疾病分析请求队列;
第一分配单元,用于根据所述模型名称和GPU池的当前状态,将所述疾病分析请求队列中的疾病分析请求分配至GPU池中的GPU,所述GPU池中的GPU被配置成调用目标疾病分析模型处理所述疾病分析请求。
本发明实施例的第三方面提供了一种终端设备,包括存储器以及处理器,所述存储器中存储有可在所述处理器上运行的计算机程序,所述处理器执行所述计算机程序时,实现如下步骤:
接收用户发送的疾病分析请求,所述疾病分析请求携带待分析的医院数据;
分析所述医院数据得到所述医院数据对应的病种信息,根据所述病种信息从多个疾病分析模型中确定出目标疾病分析模型,所述目标疾病分析模型用于分析所述医院数据获得疾病分析结果;
在所述疾病分析请求中携带上所述目标疾病分析模型的模型名称,并将所述疾病分析请求添加至疾病分析请求队列;
根据所述模型名称和GPU池的当前状态,将所述疾病分析请求队列中的疾病分析请求分配至GPU池中的GPU,所述GPU池中的GPU被配置成调用目标疾病分析模型处理所述疾病分析请求。
本发明实施例的第四方面提供了一种计算机可读存储介质,所述计算机可读存储介质存储有计算机程序,所述计算机程序被处理器执行时实现如下步骤:
接收用户发送的疾病分析请求,所述疾病分析请求携带待分析的医院数据;
分析所述医院数据得到所述医院数据对应的病种信息,根据所述病种信息从多个疾病分析模型中确定出目标疾病分析模型,所述目标疾病分析模型用于分析所述医院数据获得疾病分析结果;
在所述疾病分析请求中携带上所述目标疾病分析模型的模型名称,并将所述疾病分析请求添加至疾病分析请求队列;
根据所述模型名称和GPU池的当前状态,将所述疾病分析请求队列中的疾病分析请求分配至GPU池中的GPU,所述GPU池中的GPU被配置成调用目标疾病分析模型处理所述疾病分析请求。
在本发明实施例中,通过先接收用户发送的携带待分析的医院数据的疾病分析请求;分析所述医院数据得到所述医院数据对应的病种信息,根据所述病种信息从多个疾病分析模型中确定出目标疾病分析模型;在所述疾病分析请求中携带上所述目标疾病分析模型的模型名称,并将所述疾病分析请求添加至疾病分析请求队列;最后根据所述模型名称和GPU池的当前状态,将所述疾病分析请求队列中的疾病分析请求分配至GPU池。本发明实施例通过在所述疾病分析请求中携带上所述目标疾病分析模型的模型名称,然后根据模型名称和GPU池的当前状态,将疾病分析请求分配给GPU池中的GPU,由于综合考虑到了模型名称和GPU池的当前状态,使得GPU资源分配更合理,提高了数据处理效率。
附图说明
为了更清楚地说明本发明实施例中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动性的前提下,还可以根据这些附图获得其他的附图。
图1是本发明实施例提供的一种疾病分析模型的调度方法的具体实现流程图;
图2是本发明实施例提供的另一种疾病分析模型的调度方法的具体实现流程图;
图3是本发明实施例提供的另一种疾病分析模型的调度方法的具体实现流程图;
图4是本发明实施例提供的另一种疾病分析模型的调度方法的具体实现流程图;
图5是本发明实施例提供的另一种疾病分析模型的调度方法的具体实现流程图;
图6是本发明实施例提供的一种疾病分析模型的调度装置的结构示意图;
图7是本发明实施例提供的另一种疾病分析模型的调度装置的结构示意图;
图8是本发明实施例提供的终端设备的示意图。
具体实施方式
以下描述中,为了说明而不是为了限定,提出了诸如特定系统结构、技术之类的具体细节,以便透彻理解本发明实施例。然而,本领域的技术人员应当清楚,在没有这些具体细节的其它实施例中也可以实现本发明。在其它情况中,省略对众所周知的系统、装置、电路以及方法的详细说明,以免不必要的细节妨碍本发明的描述。
另外,在本发明中若涉及“第一”或“第二”等的描述仅用于描述目的,而不能理解为指示或暗示其相对重要性或者隐含指明所指示的技术特征的数量。由此,限定有“第一”或“第二”等的特征可以明示或者隐含地包括至少一个该特征。
为了说明本发明所述的技术方案,下面通过具体实施例来进行说明。
图1示出了本发明实施例提供的疾病分析模型的调度方法的实现流程,该调度方法流程包括步骤S101至S104。该调度方法适用于需要对疾病分析模型分配GPU资源的情形。该疾病分析模型的调度方法由疾病分析模型的调度装置执行,所述疾病分析模型的调度装置配置于终端设备,可由软件和/或硬件实现。各步骤的具体实现原理如下。
S101,接收用户发送的疾病分析请求,所述疾病分析请求携带待分析的医院数据。
其中,用户指的是医护工作者,例如医生和护士等。当用户给病人拍完胸部CT,或做完腹部彩超、或进行心电探测等之后,获取到医院数据,例如CT、彩超、心电信号等。此时,通常需要根据这些医院数据进行病人的疾病分析,得到是否健康,是否患有某种疾病的分析结果。用户将携带有医院数据的疾病分析请求发送至服务器。服务器接收疾病分析请求,进行疾病分析模型的调度,以完成疾病分析。
S102,分析所述医院数据得到所述医院数据对应的病种信息,根据所述病种信息从多个疾病分析模型中确定出目标疾病分析模型,所述目标疾病分析模型用于分析所述医院数据获得疾病分析结果。
其中,服务器存储有多个不同的疾病分析模型,不同的疾病诊断模型用于对不同病种的医院数据进行分析。
病种信息表示医院数据可能存在的疾病类型,包括心血管疾病类型、肺疾病类型、肝疾病类型、脑疾病类型等。
也就是说,服务器中存储有用于分析心血管疾病、肺疾病、肝疾病、脑疾病等的疾病分析模型,每个疾病分析模型用于分析一种病种的医院数据,从而得到疾病分析结果。
例如,心电信号分析模型用于分析心电信号,得到心电图正常、左/右心房肥大、双心房肥大、左/右心室肥大、双心室肥大、各类心肌梗死、各类心律失常等等心血管疾病类型的分析结果。当医院数据为心电信号数据,根据分析心电信号数据得到对应的病种信息为心血管疾病类型,此时,目标疾病分析模型为对应分析心电信号的心电信号分析模型,该心电信号分析模型用于分析心电信号,得到心血管疾病类型的诊断结果。
需要说明的是,利用疾病分析模型分析医院数据得到何种分析结果,根疾病分析模型的属性相关。疾病分析模型包括但不限于:线性模型(如逻辑斯特回归模型)、基于核函数的支持向量机(Support Vector Machine,SVM)模型(如采用核函数的SVM)、深度神经网络模型(如卷积神经网络(Convolutional Neural Network,CNN))等,本发明对此不做具体限定。
通过分析医院数据,得到医院数据对应的病种信息,从而从多个疾病分析模型中确定出分析医院数据的目标疾病分析模型。本发明实施例不需要人为选定模型,提高了智能化水平。
可选地,如图2所示,所述通过分析所述医院数据得到所述医院数据对应的病种信息,包括步骤201至202。
S201,提取所述医院数据中存在于预设关键字库中的关键字。
S202,获取与所述关键字对应的病种信息,作为所述医院数据对应的病种信息。
其中,每个医院数据都包括存在于预设关键字库中的某一个关键字,比如,预设关键字库包括:肺、心、肝、腿骨等。每个关键字对应一个病种信息,如,关键字“心”对应的病种信息为心血管疾病;关键字“肺”对应的病种信息为肺部疾病;等等。提取出预设关键字库中存在的关键字后,获取与关键字对应的病种信息,从而将所述病种信息作为所述医院数据对应的病种信息,以便在后续的步骤中根据所述病种信息从多个疾病分析模型中确定出目标疾病分析模型,利用所述目标疾病分析模型分析所述医院数据得出疾病分析结果。
示例性地,医院数据为心电信号数据时,数据中会包含“心”这个关键字,这个关键字与预设关键字库中的关键字匹配,则将关键字库中的关键字对应的病种信息,即心血管疾病,作为所述医院数据的病种信息。也就是说,通过将医院数据中的关键字与关键字库中的关键字进行匹配,将匹配成功的关键字对应的病种信息作为所述医院数据对应的病种信息。
S103,在所述疾病分析请求中携带上所述目标疾病分析模型的模型名称,并将所述疾病分析请求添加至疾病分析请求队列。
其中,为了对获取到的疾病分析请求携带的医院数据进行准确分析,得到疾病诊断结果,将目标疾病分析模型的模型名称写进所述疾病分析请求。模型名称为预设定的名称,可以按照预设规则进行命名,也可以随机命名,只需要保证每个疾病分析模型的名称不同即可,本发明对模型名称不作具体限定。
也就是说,当确定所述医院数据对应的病种信息之后,就知道需要用哪种疾病分析模型,即目标疾病分析模型来处理这个医院数据以得到疾病分析结果,本发明实施例中将目标疾病分析模型的模型名称携带进疾病分析请求,因此,在后续服务器处理这个请求的过程中,能给该请求分配目标疾病分析模型,提高分配效率,缩短数据处理过程。
由于服务器接收到的疾病分析请求通常不止一个,因此,在本发明实施例中,将服务器接收到的疾病分析请求添加至疾病分析请求队列,对队列中的疾病分析请求作后续调度处理。
S104,根据所述模型名称和GPU池的当前状态,将所述疾病分析请求队列中的疾病分析请求分配至GPU池中的GPU,所述GPU池中的GPU被配置成调用目标疾病分析模型处理所述疾病分析请求。
其中,GPU池包括若干个GPU,所述GPU池中的GPU被配置成调用目标疾病分析模型处理所述疾病分析请求。当要处理所述疾病分析请求队列中的疾病分析请求时,确定GPU池中的目标GPU,建立线程调用目标GPU对疾病分析请求进行处理,线程建立时,根据疾病分析请求携带的模型名称从GPU池中调用不同数量的GPU对请求进行处理,从而得到疾病分析结果。在本发明实施例中,可以采用单线程,每次调用一个GPU,这种方式数据处理效率偏低;也可以采用多线程,同时建立与目标GPU数量相同或大于目标GPU数量的多个线程,从而实现多线程服务,提升系统的整体性能,提高数据处理效率。此外,在采用多线程时,在GPU池的GPU资源足够的情况下,还可以同时处理多个疾病分析请求,进一步提高了数据处理效率。
需要说明的是,每个疾病分析模型所需GPU数量是不相同的,跟疾病分析模型的自身属性有关,本发明对此不做具体限定。在本发明实施例中,根据所述模型名称和GPU池的当前状态,将请求分配至GPU池中的GPU,由于综合考虑了模型名称和GPU池的当前状态,从而能解决现有技术中对GPU资源固定分配,导致处理效率低下,资源浪费的技术问题。
可选地,如图3所示,作为本发明一实施例,所述根据所述模型名称和GPU池的当前状态,将所述疾病分析请求队列中的疾病分析请求分配至GPU池中的GPU,包括步骤301至303。
S301,获取所述疾病分析请求队列中的队列头请求,根据所述队列头请求携带的模型名称确定所述队列头请求需要使用的目标疾病分析模型,并确定所述目标疾病分析模型所需GPU的目标数量。
S302,若GPU池中空闲GPU的数量大于或等于所述目标数量,则从所述空闲GPU中确定目标数量的目标GPU,将所述队列头请求分配至所述目标GPU;所述目标GPU被配置成初始化所述目标疾病分析模型句柄,处理所述疾病分析请求直至完成,在完成之后释放所述目标疾病分析模型句柄,并释放所述目标GPU至GPU池。
S303,若GPU池中空闲GPU的数量小于所述目标数量,则暂停分配所述队列头请求,直至所述GPU池中空闲GPU的数量大于或等于所述目标数量。
在本发明实施例中,每次从疾病分析请求队列中取出队列头请求,对队列头请求进行分配。由于队列头请求携带有目标疾病分析模型的模型名称,因而可以确定出该队列头请求所需的目标疾病分析模型,每个目标疾病分析模型所需的GPU数量是一定的,因此,根据GPU池中空闲GPU的数量,对队列头请求做出处理。
在这种情况下,每个疾病分析模型所需的GPU数量是确定的,但是每个疾病分析模型并未分配固定的GPU,而是将空闲GPU置于GPU池,根据GPU池的情况,分配队列头请求。
当GPU池中空闲GPU的数量大于或等于目标疾病分析模型所需的GPU数量时,则将队列头请求分配至GPU池中目标数量的目标GPU。目标GPU被分配队列头请求后,才开始初始化所述目标疾病分析模型句柄,处理所述疾病分析请求直至完成。当目标GPU处理完所述队列头请求,则释放所述目标疾病分析模型句柄,此时目标GPU为空闲状态。也即是说,当目标GPU处理完队列头请求后,释放所述目标GPU至GPU池。
可选地,作为本发明另一实施例,如图4所示,步骤103所述在所述疾病分析请求中携带上所述目标疾病分析模型的模型名称,并将所述疾病分析请求添加至疾病分析请求队列,包括步骤403。
S403,在所述疾病分析请求中携带上所述目标疾病分析模型的模型名称,并将所述疾病分析请求添加至与所述模型名称对应的疾病分析请求队列。
相应的,步骤104所述根据所述模型名称和GPU池的当前状态,将所述疾病分析请求队列中的疾病分析请求分配至GPU池中的GPU,包括步骤404至406。
S404,获取每个所述模型名称对应的GPU池的状态信息;其中,GPU池中的GPU被配置成已经完成目标疾病分析模型句柄的初始化。
S405,若模型名称对应的GPU池的状态信息为空闲,则将携带有所述模型名称的所述队列头请求分配至所述GPU池中的GPU,并将所述GPU池的状态信息标记为忙碌;若所述GPU池中的GPU处理完所述疾病分析请求,标记所述GPU池的状态信息为空闲。
S406,若模型名称对应的GPU池的状态信息为忙碌,则暂停分配携带有所述模型名称的所述队列头请求,直至所述GPU池的状态信息为空闲。
在本发明实施例中,在所述疾病分析请求中携带所述目标疾病分析模型的模型名称之后,将所述疾病分析请求添加至与所述模型名称对应的疾病分析请求队列。也就是说,对应每个疾病分析模型,分别设一个疾病分析请求队列,当接收到多个疾病分析请求时,将每个疾病分析请求添加至对应的疾病请求队列中,从而针对每个疾病请求队列而言,调用对应的GPU池的GPU完成疾病请求的处理。
需要指出的是,每个疾病请求队列有对应的GPU池,每个GPU池的GPU数量为疾病分析模型所需的GPU数量,由于GPU池的GPU已经确定了需要处理的医院数据的类型,因而每个GPU被配置为已经完成疾病分析模型句柄初始化,并且每个GPU对应的疾病分析模型是固定的,因而,在完成疾病分析请求的处理之后,也不需要释放疾病分析模型句柄,这样设置不需频繁初始化和释疾病分析模型句柄,提高了数据处理效率。
当模型名称对应的GPU池状态为空闲时,代表可以处理对应疾病请求队列中的队列头请求,将队列头请求分配至所述GPU池,当将携带有所述模型名称的所述队列头请求分配至所述GPU池中的GPU,将所述GPU池的状态信息标记为忙碌;若所述GPU池中的GPU处理完所述疾病分析请求,标记所述GPU池的状态信息为空闲,以便处理下一个队列头请求。当模型名称对应的GPU池的状态为忙碌时,代表GPU池当前存在处理任务,不能处理对应的疾病请求队列中的队列头请求,此时,暂停分配携带有所述模型名称的所述队列头请求,直至所述GPU池的状态信息为空闲。
本发明实施例中,每个疾病分析模型对应设置有GPU池,因而各个GPU池中的每个GPU都被配置为已经完成疾病分析模型句柄初始化,在处理完一个队列头请求之后也不许释放疾病分析模型句柄,进一步提高了数据处理效率。
可选地,在上述图4所述实施例的基础上,如图5所示,步骤403在所述疾病分析请求中携带上所述目标疾病分析模型的模型名称,并将所述疾病分析请求添加至与所述模型名称对应的疾病分析请求队列之前,还包括步骤501至503。
S501,针对每个疾病分析模型,获取历史预设时长内的请求数量、单次处理的平均时长、以及所需GPU数量。
S502,根据所述请求数量、所述平均时长和所述所需GPU数量加权计算得到每个疾病分析模型的GPU资源占比。
S503,根据所述GPU资源占比,为每个疾病分析模型分配对应的GPU池,将模型名称和GPU池进行关联存储。
在本发明实施例中,历史预设时长可以根据经验进行选择设置,可以为一个月,一个星期,本发明对此不做具体限制。在步骤501中,获取每个疾病分析模型所需的GPU数量,以及每个疾病分析模型的统计数据,统计数据包括,请求数量和单次处理的平均时长。
在步骤502中,结合所述请求数量、平均时长和所需GPU数量计算每个疾病分析模型的GPU资源占比。从而在步骤503中,根据所述GPU资源占比,为每个疾病分析模型分配对应的GPU池。
需要说明的是,计算系统的GPU资源是有限的,在本发明实施例中,为了最大限度利用有限的GPU资源,计算出每个疾病分析模型的GPU资源占比之后分配GPU资源,以实现资源最大化利用,提升计算系统的性能。
可选地,所述根据所述请求数量、所述平均时长和所述所需GPU数量加权计算得到每个疾病分析模型的GPU资源占比,包括:
根据公式计算疾病分析模型i的GPU资源占比Gi,其中,疾病分析模型i在历史预设时长内的请求数量为Xi,单次处理的平均时长为Yi,所需GPU数量为Zi;A、B和C为预设常数。
需要说明的是,A、B和C为经验值,为预设常数,也可以根据需要选择设置,本发明对此不做具体限定。
对应于上文实施例所述的疾病分析模型的调度方法,图6示出了本发明实施例提供的疾病分析模型的调度装置的结构框图,为了便于说明,仅示出了与本发明实施例相关的部分。
参照图6,该疾病分析模型的调度装置包括:
接收单元61,用于接收用户发送的疾病分析请求,所述疾病分析请求携带待分析的医院数据;
分析单元62,用于分析所述医院数据得到所述医院数据对应的病种信息,根据所述病种信息从多个疾病分析模型中确定出目标疾病分析模型,所述目标疾病分析模型用于分析所述医院数据获得疾病分析结果;
添加单元63,用于在所述疾病分析请求中携带上所述目标疾病分析模型的模型名称,并将所述疾病分析请求添加至疾病分析请求队列;
第一分配单元64,用于根据所述模型名称和GPU池的当前状态,将所述疾病分析请求队列中的疾病分析请求分配至GPU池中的GPU,所述GPU池中的GPU被配置成调用目标疾病分析模型处理所述疾病分析请求。
可选地,所述第一分配单元64具体用于:
获取所述疾病分析请求队列中的队列头请求,根据所述队列头请求携带的模型名称确定所述队列头请求需要使用的目标疾病分析模型,并确定所述目标疾病分析模型所需GPU的目标数量;
若GPU池中空闲GPU的数量大于或等于所述目标数量,则从所述空闲GPU中确定目标数量的目标GPU,将所述队列头请求分配至所述目标GPU;所述目标GPU被配置成初始化所述目标疾病分析模型句柄,处理所述疾病分析请求直至完成,在完成之后释放所述目标疾病分析模型句柄,并释放所述目标GPU至GPU池;
若GPU池中空闲GPU的数量小于所述目标数量,则暂停分配所述队列头请求,直至所述GPU池中空闲GPU的数量大于或等于所述目标数量。
可选地,所述添加单元63,具体用于:
在所述疾病分析请求中携带上所述目标疾病分析模型的模型名称,并将所述疾病分析请求添加至与所述模型名称对应的疾病分析请求队列。
相应的,所述第一分配单元64具体用于:
获取每个所述模型名称对应的GPU池的状态信息;其中,GPU池中的GPU被配置成已经完成目标疾病分析模型句柄的初始化;
若模型名称对应的GPU池的状态信息为空闲,则将携带有所述模型名称的所述队列头请求分配至所述GPU池中的GPU,并将所述GPU池的状态信息标记为忙碌;若所述GPU池中的GPU处理完所述疾病分析请求,标记所述GPU池的状态信息为空闲;
若模型名称对应的GPU池的状态信息为忙碌,则暂停分配携带有所述模型名称的所述队列头请求,直至所述GPU池的状态信息为空闲。
可选地,如图7所示,所述疾病分析模块的调度装置,还包括第二分配单元55,用于:
针对每个疾病分析模型,获取历史预设时长内的请求数量、单次处理的平均时长、以及所需GPU数量;
根据所述请求数量、所述平均时长和所述所需GPU数量加权计算得到每个疾病分析模型的GPU资源占比;
根据所述GPU资源占比,为每个疾病分析模型分配对应的GPU池,将模型名称和GPU池进行关联存储。
可选地,所述根据所述请求数量、所述平均时长和所述所需GPU数量加权计算得到每个疾病分析模型的GPU资源占比,包括:
根据公式计算疾病分析模型i的GPU资源占比Gi,其中,疾病分析模型i在历史预设时长内的请求数量为Xi,单次处理的平均时长为Yi,所需GPU数量为Zi;A、B和C为预设常数。
可选地,所述分析所述医院数据得到所述医院数据对应的病种信息,包括:
提取所述医院数据中存在于预设关键字库中的关键字;
获取与所述关键字对应的病种信息,作为所述医院数据对应的病种信息。
图8是本发明一实施例提供的终端设备的示意图。如图8所示,该实施例的终端设备8包括:处理器80、存储器81以及存储在所述存储器81中并可在所述处理器80上运行的计算机程序82,例如疾病分析模型的调度的程序。所述处理器80执行所述计算机程序82时实现上述各个疾病分析模型的调度方法实施例中的步骤,例如图1所示的步骤101至104。或者,所述处理器80执行所述计算机程序82时实现上述各装置实施例中各模块/单元的功能,例如图6所示单元61至64的功能。
示例性的,所述计算机程序82可以被分割成一个或多个模块/单元,所述一个或者多个模块/单元被存储在所述存储器81中,并由所述处理器80执行,以完成本发明。所述一个或多个模块/单元可以是能够完成特定功能的一系列计算机程序指令段,该指令段用于描述所述计算机程序82在所述终端设备8中的执行过程。
所述终端设备8可以是服务器、桌上型计算机、笔记本、掌上电脑及云端服务器等计算设备。所述终端设备可包括,但不仅限于,处理器80、存储器81。本领域技术人员可以理解,图8仅仅是终端设备8的示例,并不构成对终端设备8的限定,可以包括比图示更多或更少的部件,或者组合某些部件,或者不同的部件,例如所述终端设备还可以包括输入输出设备、网络接入设备、总线等。
所称处理器80可以是中央处理单元(Central Processing Unit,CPU),还可以是其他通用处理器、数字信号处理器(Digital Signal Processor,DSP)、专用集成电路(Application Specific Integrated Circuit,ASIC)、现场可编程门阵列(Field-Programmable Gate Array,FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
所述存储器81可以是所述终端设备8的内部存储单元,例如终端设备8的硬盘或内存。所述存储器81也可以是所述终端设备8的外部存储设备,例如所述终端设备8上配备的插接式硬盘,智能存储卡(Smart Media Card,SMC),安全数字(Secure Digital,SD)卡,闪存卡(Flash Card)等。进一步地,所述存储器81还可以既包括所述终端设备8的内部存储单元也包括外部存储设备。所述存储器81用于存储所述计算机程序以及所述终端设备所需的其他程序和数据。所述存储器81还可以用于暂时地存储已经输出或者将要输出的数据。
所属领域的技术人员可以清楚地了解到,为了描述的方便和简洁,仅以上述各功能单元、模块的划分进行举例说明,实际应用中,可以根据需要而将上述功能分配由不同的功能单元、模块完成,即将所述装置的内部结构划分成不同的功能单元或模块,以完成以上描述的全部或者部分功能。实施例中的各功能单元、模块可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中,上述集成的单元既可以采用硬件的形式实现,也可以采用软件功能单元的形式实现。另外,各功能单元、模块的具体名称也只是为了便于相互区分,并不用于限制本申请的保护范围。上述系统中单元、模块的具体工作过程,可以参考前述方法实施例中的对应过程,在此不再赘述。
在上述实施例中,对各个实施例的描述都各有侧重,某个实施例中没有详述或记载的部分,可以参见其它实施例的相关描述。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
所述集成的模块/单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储介质中。基于这样的理解,本发明实现上述实施例方法中的全部或部分流程,也可以通过计算机程序来指令相关的硬件来完成,所述的计算机程序可存储于一计算机可读存储介质中。
以上所述实施例仅用以说明本发明的技术方案,而非对其限制;尽管参照前述实施例对本发明进行了详细的说明,本领域的普通技术人员应当理解:其依然可以对前述各实施例所记载的技术方案进行修改,或者对其中部分技术特征进行等同替换;而这些修改或者替换,并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围,均应包含在本发明的保护范围之内。

Claims (10)

1.一种疾病分析模型的调度方法,其特征在于,包括:
接收用户发送的疾病分析请求,所述疾病分析请求携带待分析的医院数据;
分析所述医院数据得到所述医院数据对应的病种信息,根据所述病种信息从多个疾病分析模型中确定出目标疾病分析模型,所述目标疾病分析模型用于分析所述医院数据获得疾病分析结果;
在所述疾病分析请求中携带上所述目标疾病分析模型的模型名称,并将所述疾病分析请求添加至疾病分析请求队列;
根据所述模型名称和GPU池的当前状态,将所述疾病分析请求队列中的疾病分析请求分配至GPU池中的GPU,所述GPU池中的GPU被配置成调用目标疾病分析模型处理所述疾病分析请求。
2.如权利要求1所述的调度方法,其特征在于,所述根据所述模型名称和GPU池的当前状态,将所述疾病分析请求队列中的疾病分析请求分配至GPU池中的GPU,包括:
获取所述疾病分析请求队列中的队列头请求,根据所述队列头请求携带的模型名称确定所述队列头请求需要使用的目标疾病分析模型,并确定所述目标疾病分析模型所需GPU的目标数量;
若GPU池中空闲GPU的数量大于或等于所述目标数量,则从所述空闲GPU中确定目标数量的目标GPU,将所述队列头请求分配至所述目标GPU;所述目标GPU被配置成初始化所述目标疾病分析模型句柄,处理所述疾病分析请求直至完成,在完成之后释放所述目标疾病分析模型句柄,并释放所述目标GPU至GPU池;
若GPU池中空闲GPU的数量小于所述目标数量,则暂停分配所述队列头请求,直至所述GPU池中空闲GPU的数量大于或等于所述目标数量。
3.如权利要求1所述的调度方法,其特征在于,所述在所述疾病分析请求中携带上所述目标疾病分析模型的模型名称,并将所述疾病分析请求添加至疾病分析请求队列,包括:
在所述疾病分析请求中携带上所述目标疾病分析模型的模型名称,并将所述疾病分析请求添加至与所述模型名称对应的疾病分析请求队列。
4.如权利要求3所述的调度方法,其特征在于,所述根据所述模型名称和GPU池的当前状态,将所述疾病分析请求队列中的疾病分析请求分配至GPU池中的GPU,包括:
获取每个所述模型名称对应的GPU池的状态信息;其中,GPU池中的GPU被配置成已经完成目标疾病分析模型句柄的初始化;
若模型名称对应的GPU池的状态信息为空闲,则将携带有所述模型名称的所述队列头请求分配至所述GPU池中的GPU,并将所述GPU池的状态信息标记为忙碌;若所述GPU池中的GPU处理完所述疾病分析请求,标记所述GPU池的状态信息为空闲;
若模型名称对应的GPU池的状态信息为忙碌,则暂停分配携带有所述模型名称的所述队列头请求,直至所述GPU池的状态信息为空闲。
5.如权利要求3或4所述的调度方法,其特征在于,在所述疾病分析请求中携带上所述目标疾病分析模型的模型名称,并将所述疾病分析请求添加至与所述模型名称对应的疾病分析请求队列之前,还包括:
针对每个疾病分析模型,获取历史预设时长内的请求数量、单次处理的平均时长、以及所需GPU数量;
根据所述请求数量、所述平均时长和所述所需GPU数量加权计算得到每个疾病分析模型的GPU资源占比;
根据所述GPU资源占比,为每个疾病分析模型分配对应的GPU池,将模型名称和GPU池进行关联存储。
6.如权利要求5所述的调度方法,其特征在于,所述根据所述请求数量、所述平均时长和所述所需GPU数量加权计算得到每个疾病分析模型的GPU资源占比,包括:
根据公式计算疾病分析模型i的GPU资源占比Gi,其中,疾病分析模型i在历史预设时长内的请求数量为Xi,单次处理的平均时长为Yi,所需GPU数量为Zi;A、B和C为预设常数。
7.如权利要求1至4任一项所述的调度方法,其特征在于,所述分析所述医院数据得到所述医院数据对应的病种信息,包括:
提取所述医院数据中存在于预设关键字库中的关键字;
获取与所述关键字对应的病种信息,作为所述医院数据对应的病种信息。
8.一种疾病分析模型的调度装置,其特征在于,包括:
接收单元,用于接收用户发送的疾病分析请求,所述疾病分析请求携带待分析的医院数据;
分析单元,用于分析所述医院数据得到所述医院数据对应的病种信息,根据所述病种信息从多个疾病分析模型中确定出目标疾病分析模型,所述目标疾病分析模型用于分析所述医院数据获得疾病分析结果;
添加单元,用于在所述疾病分析请求中携带上所述目标疾病分析模型的模型名称,并将所述疾病分析请求添加至疾病分析请求队列;
第一分配单元,用于根据所述模型名称和GPU池的当前状态,将所述疾病分析请求队列中的疾病分析请求分配至GPU池中的GPU,所述GPU池中的GPU被配置成调用目标疾病分析模型处理所述疾病分析请求。
9.一种终端设备,包括存储器以及处理器,所述存储器中存储有可在所述处理器上运行的计算机程序,其特征在于,所述处理器执行所述计算机程序时,实现如权利要求1至7任一项所述的调度方法的步骤。
10.一种计算机可读存储介质,所述计算机可读存储介质存储有计算机程序,其特征在于,所述计算机程序被处理器执行时实现如权利要求1至7任一项所述的调度方法的步骤。
CN201910288569.5A 2019-04-11 2019-04-11 一种疾病分析模型的调度方法、装置及终端设备 Active CN110162398B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN201910288569.5A CN110162398B (zh) 2019-04-11 2019-04-11 一种疾病分析模型的调度方法、装置及终端设备
PCT/CN2019/103109 WO2020206911A1 (zh) 2019-04-11 2019-08-28 一种疾病分析模型的调度方法、装置及终端设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910288569.5A CN110162398B (zh) 2019-04-11 2019-04-11 一种疾病分析模型的调度方法、装置及终端设备

Publications (2)

Publication Number Publication Date
CN110162398A true CN110162398A (zh) 2019-08-23
CN110162398B CN110162398B (zh) 2024-05-03

Family

ID=67639256

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910288569.5A Active CN110162398B (zh) 2019-04-11 2019-04-11 一种疾病分析模型的调度方法、装置及终端设备

Country Status (2)

Country Link
CN (1) CN110162398B (zh)
WO (1) WO2020206911A1 (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111026552A (zh) * 2019-12-09 2020-04-17 腾讯科技(深圳)有限公司 资源的调度方法、装置、电子设备和计算机可读存储介质
CN111190712A (zh) * 2019-12-25 2020-05-22 北京推想科技有限公司 一种任务调度方法、装置、设备及介质
WO2020206911A1 (zh) * 2019-04-11 2020-10-15 平安科技(深圳)有限公司 一种疾病分析模型的调度方法、装置及终端设备

Citations (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102901951A (zh) * 2011-07-26 2013-01-30 张朝晖 基于gpu的雷达信号脉内特征实时分析实现方案
CN104781845A (zh) * 2012-12-19 2015-07-15 英特尔公司 处理视频内容
US20150293785A1 (en) * 2014-04-15 2015-10-15 Nicholas J. Murphy Processing accelerator with queue threads and methods therefor
US20160275909A1 (en) * 2015-03-16 2016-09-22 Tata Consultancy Services Limited Concurrent principal component analysis computation
CN106919442A (zh) * 2015-12-24 2017-07-04 中国电信股份有限公司 多gpu调度装置和分布式计算系统以及多gpu调度方法
CN107767928A (zh) * 2017-09-15 2018-03-06 深圳市前海安测信息技术有限公司 基于人工智能的医学影像报告生成系统及方法
CN108012156A (zh) * 2017-11-17 2018-05-08 深圳市华尊科技股份有限公司 一种视频处理方法及控制平台
CN108288502A (zh) * 2018-04-11 2018-07-17 平安科技(深圳)有限公司 疾病预测方法及装置、计算机装置及可读存储介质
CN108597600A (zh) * 2018-03-19 2018-09-28 武汉大学人民医院 单导心贴数据智能诊断云计算系统及其处理方法
CN108648829A (zh) * 2018-04-11 2018-10-12 平安科技(深圳)有限公司 疾病预测方法及装置、计算机装置及可读存储介质
US10109030B1 (en) * 2016-12-27 2018-10-23 EMC IP Holding Company LLC Queue-based GPU virtualization and management system
CN109300052A (zh) * 2018-10-30 2019-02-01 平安医疗健康管理股份有限公司 基于线上问诊的保险推荐方法、设备、服务器及可读介质
CN109493972A (zh) * 2018-10-30 2019-03-19 平安医疗健康管理股份有限公司 基于预测模型的数据处理方法、装置、服务器及存储介质
US20190090976A1 (en) * 2009-05-29 2019-03-28 Jack Wade System and method for enhanced data analysis with specialized video enabled software tools for medical environments

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102005036998B4 (de) * 2005-08-05 2014-11-20 Siemens Aktiengesellschaft Vorrichtung zur automatischen Detektion von Auffälligkeiten in medizinischen Bilddaten
US20100186017A1 (en) * 2009-01-21 2010-07-22 Raghavendra Eeratta System and method for medical image processing
CN109582425B (zh) * 2018-12-04 2020-04-14 中山大学 一种基于云端与终端gpu融合的gpu服务重定向系统及方法
CN110162398B (zh) * 2019-04-11 2024-05-03 平安科技(深圳)有限公司 一种疾病分析模型的调度方法、装置及终端设备

Patent Citations (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20190090976A1 (en) * 2009-05-29 2019-03-28 Jack Wade System and method for enhanced data analysis with specialized video enabled software tools for medical environments
CN102901951A (zh) * 2011-07-26 2013-01-30 张朝晖 基于gpu的雷达信号脉内特征实时分析实现方案
CN104781845A (zh) * 2012-12-19 2015-07-15 英特尔公司 处理视频内容
US20150293785A1 (en) * 2014-04-15 2015-10-15 Nicholas J. Murphy Processing accelerator with queue threads and methods therefor
US20160275909A1 (en) * 2015-03-16 2016-09-22 Tata Consultancy Services Limited Concurrent principal component analysis computation
CN106919442A (zh) * 2015-12-24 2017-07-04 中国电信股份有限公司 多gpu调度装置和分布式计算系统以及多gpu调度方法
US10109030B1 (en) * 2016-12-27 2018-10-23 EMC IP Holding Company LLC Queue-based GPU virtualization and management system
CN107767928A (zh) * 2017-09-15 2018-03-06 深圳市前海安测信息技术有限公司 基于人工智能的医学影像报告生成系统及方法
CN108012156A (zh) * 2017-11-17 2018-05-08 深圳市华尊科技股份有限公司 一种视频处理方法及控制平台
CN108597600A (zh) * 2018-03-19 2018-09-28 武汉大学人民医院 单导心贴数据智能诊断云计算系统及其处理方法
CN108648829A (zh) * 2018-04-11 2018-10-12 平安科技(深圳)有限公司 疾病预测方法及装置、计算机装置及可读存储介质
CN108288502A (zh) * 2018-04-11 2018-07-17 平安科技(深圳)有限公司 疾病预测方法及装置、计算机装置及可读存储介质
CN109300052A (zh) * 2018-10-30 2019-02-01 平安医疗健康管理股份有限公司 基于线上问诊的保险推荐方法、设备、服务器及可读介质
CN109493972A (zh) * 2018-10-30 2019-03-19 平安医疗健康管理股份有限公司 基于预测模型的数据处理方法、装置、服务器及存储介质

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020206911A1 (zh) * 2019-04-11 2020-10-15 平安科技(深圳)有限公司 一种疾病分析模型的调度方法、装置及终端设备
CN111026552A (zh) * 2019-12-09 2020-04-17 腾讯科技(深圳)有限公司 资源的调度方法、装置、电子设备和计算机可读存储介质
CN111026552B (zh) * 2019-12-09 2023-03-03 腾讯科技(深圳)有限公司 资源的调度方法、装置、电子设备和计算机可读存储介质
CN111190712A (zh) * 2019-12-25 2020-05-22 北京推想科技有限公司 一种任务调度方法、装置、设备及介质

Also Published As

Publication number Publication date
CN110162398B (zh) 2024-05-03
WO2020206911A1 (zh) 2020-10-15

Similar Documents

Publication Publication Date Title
JP6894532B2 (ja) ジョブサーバを使用した大規模な分散システムでの機械学習モデルのトレーニング
Guo et al. Cloud resource scheduling with deep reinforcement learning and imitation learning
Kc et al. Scheduling hadoop jobs to meet deadlines
Zuo et al. Self-adaptive learning PSO-based deadline constrained task scheduling for hybrid IaaS cloud
CN110162398A (zh) 一种疾病分析模型的调度方法、装置及终端设备
CN112416585B (zh) 面向深度学习的gpu资源管理与智能化调度方法
KR20180077218A (ko) 계산 그래프들 프로세싱
US20090094613A1 (en) Method of managing workloads in a distributed processing system
CN108549583A (zh) 大数据处理方法、装置、服务器及可读存储介质
CN108694077A (zh) 基于改进二进制蝙蝠算法的分布式系统任务调度方法
CN112764893B (zh) 数据处理方法和数据处理系统
CN110333946A (zh) 一种基于人工智能cpu数据处理系统及方法
CN108776833A (zh) 一种数据处理方法、系统及计算机可读存储介质
US20240168812A1 (en) Managing computer resources for clinical applications
Dewangan et al. Energy-aware autonomic resource scheduling framework for cloud
CN111144701B (zh) 一种分布式环境下etl作业调度资源分类评估的方法
Jain et al. A deadline-constrained time-cost-effective salp swarm algorithm for resource optimization in cloud computing
Zhou et al. Asynchronous progress design for a MPI-based PGAS one-sided communication system
CN109117247A (zh) 一种基于异构多核拓扑感知的虚拟资源管理系统及方法
de Freitas Cunha et al. An SMDP approach for Reinforcement Learning in HPC cluster schedulers
Wang et al. GPARS: Graph predictive algorithm for efficient resource scheduling in heterogeneous GPU clusters
CN113485845A (zh) 一种多线程人工智能资源分配方法及装置
CN110109861A (zh) 一种任务执行方法及装置
Yurievna et al. Analysis of the Clinical Data in the Jupyter Environment
Babu et al. A Novel Improved Grey Wolf Optimization Algorithm Based Resource Management Strategy for Big Data Systems

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant