CN114257614B - 一种多业务模式的医院大数据平台系统及资源调度方法 - Google Patents

一种多业务模式的医院大数据平台系统及资源调度方法 Download PDF

Info

Publication number
CN114257614B
CN114257614B CN202111454227.XA CN202111454227A CN114257614B CN 114257614 B CN114257614 B CN 114257614B CN 202111454227 A CN202111454227 A CN 202111454227A CN 114257614 B CN114257614 B CN 114257614B
Authority
CN
China
Prior art keywords
platform
node
computing
control module
management control
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202111454227.XA
Other languages
English (en)
Other versions
CN114257614A (zh
Inventor
应志野
曾筱茜
殷晋
杨波
蒋静文
辜永红
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
West China Hospital of Sichuan University
Original Assignee
West China Hospital of Sichuan University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by West China Hospital of Sichuan University filed Critical West China Hospital of Sichuan University
Priority to CN202111454227.XA priority Critical patent/CN114257614B/zh
Publication of CN114257614A publication Critical patent/CN114257614A/zh
Application granted granted Critical
Publication of CN114257614B publication Critical patent/CN114257614B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/12—Protocols specially adapted for proprietary or special-purpose networking environments, e.g. medical networks, sensor networks, networks in vehicles or remote metering networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46—Multiprogramming arrangements
    • G06F9/50—Allocation of resources, e.g. of the central processing unit [CPU]
    • G06F9/5005—Allocation of resources, e.g. of the central processing unit [CPU] to service a request
    • G06F9/5011—Allocation of resources, e.g. of the central processing unit [CPU] to service a request the resources being hardware resources other than CPUs, Servers and Terminals
    • G06F9/5022—Mechanisms to release resources
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46—Multiprogramming arrangements
    • G06F9/50—Allocation of resources, e.g. of the central processing unit [CPU]
    • G06F9/5005—Allocation of resources, e.g. of the central processing unit [CPU] to service a request
    • G06F9/5027—Allocation of resources, e.g. of the central processing unit [CPU] to service a request the resource being a machine, e.g. CPUs, Servers, Terminals
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H40/00—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices
    • G16H40/40—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices for the management of medical equipment or devices, e.g. scheduling maintenance or upgrades
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L63/00—Network architectures or network communication protocols for network security
    • H04L63/02—Network architectures or network communication protocols for network security for separating internal from external traffic, e.g. firewalls
    • H04L63/0209—Architectural arrangements, e.g. perimeter networks or demilitarized zones
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/02—Protocols based on web technology, e.g. hypertext transfer protocol [HTTP]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/10—Protocols in which an application is distributed across nodes in the network
    • H04L67/1097—Protocols in which an application is distributed across nodes in the network for distributed storage of data in networks, e.g. transport arrangements for network file system [NFS], storage area networks [SAN] or network attached storage [NAS]
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management

Landscapes

  • Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • General Business, Economics & Management (AREA)
  • Medical Informatics (AREA)
  • General Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Business, Economics & Management (AREA)
  • Biomedical Technology (AREA)
  • Physics & Mathematics (AREA)
  • Epidemiology (AREA)
  • Primary Health Care (AREA)
  • Public Health (AREA)
  • Computer Hardware Design (AREA)
  • Computer Security & Cryptography (AREA)
  • Medical Treatment And Welfare Office Work (AREA)

Abstract

本发明公开一种多业务模式的医院大数据平台系统及资源调度方法，其系统架构包括：综合基础服务平台；资源调度服务平台，满足各种环境下的资源调度；共享存储服务平台，提供多种数据库，满足主流数据存储的需求；算力平台，提供多种类型的硬件节点，满足各种各样的算力需求；所述综合基础服务平台、资源调度服务平台、共享存储服务平台、算力平台之间通过业务/管理网连接实现数据传输、调度控制、登录管理。本发明所公开的多业务模式的医院大数据平台系统，可以满足医院多业务融合；本发明所公开一种多业务模式的医院大数据平台系统的资源调度方法，可以对现有算力资源进行资源类型切换，提示算力资源利用率，最大程度满足用户算力需求。

Description

一种多业务模式的医院大数据平台系统及资源调度方法
技术领域
本发明涉及医疗系统大数据集成领域，具体涉及一种多业务模式的医院大数据平台系统及资源调度方法。
背景技术
随着我国医学事业的发展，国内医院信息化建设已经取得了显著成果，各类子业务系统，如结构化数据及相关应用（his、nis、emr、lims）、大数据及相关应用（区域卫生平台、医院管理、临床大数据）、生物信息及相关应用（癌症筛查与诊治、遗传病筛查与诊治、罕见病筛查与诊治、靶点药物设计、）、影像数据及应用（pacs）、人工智能及相关应用（智能诊疗、医疗机器人、智能药物研发、智能影像识别）均以建成并投入使用，规范了医疗服务流程，提高了医疗服务质量和效率，在医院日常工作中起着重要作用。然而由于各医院的各子业务系统的规划实施、经费投入方面的不同，且各业务系统相对独立建设，前期建设成本高、结构复杂、数据分数，无法实现有效的资源共享；跨业务模块的通信采用单独的中间件或接口进行，后期利用率不均衡，资源浪费严重；运维管理成本高；新的计算力产品无法快速、规模化引入；算力资源零散，无法统一调度。鉴于此，多业务（传统信息化数据、大数据、高性能计算、人工智能）融合发展成为必然和趋势。
发明内容
为解决上述现有技术中的不足，本发明出于实际业务开展需要，提供一种多业务模式的医院大数据平台系统及资源调度方法，实现医院内多种大数据业务的融合及高效运行，提升现有算力利用率、数据使用率，拓展可开展业务类型。
为实现上述技术目的，本发明采用的技术方案是：
一种多业务模式的医院大数据平台系统，其系统架构包括：综合基础服务平台；资源调度服务平台，满足各种环境下的资源调度；共享存储服务平台，提供多种数据库，满足主流数据存储的需求；算力平台，提供多种类型的硬件节点，满足各种各样的算力需求；所述综合基础服务平台、资源调度服务平台、共享存储服务平台、算力平台之间通过业务/管理网连接实现数据传输、调度控制、登录管理。
进一步地，所述综合基础服务平台包括管理控制模块：对外提供WEB平台，实现平台状态查看、人机交互操作、记账/计费、用户数据上传下载；监控模块：按照策略监控各服务、设备的使用状态、利用率、告警信息，并通过接口传输给管理控制模块对外进行展示；域名解析模块：实现IP地址和主机名、服务名的对应与解析，便于高效简洁的查询和使用资源；地址分配模块：通过DHCP技术实现IP地址分配、PXE网络引导参数同步等，实现物理设备和IP地址的一对一绑定；文件传输模块：通过TFTP协议和NFS协议对外提供服务，便于物理设备获取PXE网络引导的系统镜像和进入操作系统后需要装载的配置文件、应用程序。
优选的，所述资源调度服务平台包括slurm、K8S、OpenStack、Hyper-V。
优选的，所述共享存储服务平台包括NAS存储、非结构化数据库、结构化数据库。
优选的，所述算力平台包括多路节点、CPU计算节点、内存计算节点、GPU计算节点、FPGA计算节点、芯片计算节点。
进一步地，还包括与所述业务/管理网连接的安全管理平台和VPN防火墙，所述安全管理平台包括但不限于安管平台、入侵检测、漏洞扫描、堡垒机、审计；所述VPN防火墙连接外网与所述业务/管理网，实现网络隔离，隐藏内部网络架构，保证数据安全可控，同时可以按需可控的提供数据访问服务。
进一步地，还包括IPMI/BMC带外管理，所述IPMI/BMC带外管理分别与所述综合基础服务平台、资源调度服务平台、共享存储服务平台、算力平台连接，满足硬件设备的带宽监控管理、开关机控制、告警信息查看、故障判断等业务需求；还包括Infiniband高速网：所述Infiniband高速网分别与所述综合基础服务平台、资源调度服务平台、共享存储服务平台、算力平台连接，满足计算、存储的通信需求。
一种多业务模式的医院大数据平台系统的资源调度方法：步骤包括：
S1、用户上传任务数据及脚本到综合基础服务平台的管理控制模块并提交任务；
S2、管理控制模块对脚本进行检查；
S2.1、任务脚本异常，流程结束；
S2.2、任务脚本正常，继续下一步；
S3、管理控制模块检查算力资源是否满足；
S3.1、检查其它类型的算力资源是否有空闲节点；
S3.1.1、无空闲节点，资源不满足，任务告警并退出，流程结束；
S3.1.2、有空闲节点，调度后可以满足算力资源需求，启动子流程；
S3.1.2.1子流程：算力资源关机，成功执行后继续下一步；
S3.1.2.2子流程：算力资源开机，成功执行后跳转到“S4根据任务需求分配算力资源”；
S3.2、算力资源满足，继续下一步；
S4、资源调度服务平台根据任务需求分配算力资源；
S5、算力平台分配的算力节点根据任务数据和脚本启动程序进行计算；
S6、管理控制模块检查计算结果；
S6.1计算异常结束，启动告警流程；
管理控制模块标记任务异常并告警，并跳转到“S8计算节点释放资源”
S6.2、计算正常结束，流程继续；
S7、管理控制模块根据计算结果记账计费；
S8、计算节点释放资源；
S9、管理控制模块标记计算节点状态为开机，资源调度状态为空闲；流程结束。
进一步地，算力资源开机通过综合基础服务平台的管理控制模块进行操作，具体流程为：
P1、在管理控制模块中指定需要开机的节点和资源调度类型；
P2、管理控制模块根据资源类型和节点的算力类型匹配配置文件，并下发新的配置文件给地址分配模块；
P3、管理控制模块通过IPMI协议对节点进行开机操作；
P4、节点开机后调用PXE协议，第1次通过DHCP协议从地址分配中获取IP地址和引导信息、参数；
P5、节点根据引导信息、参数从文件传输中获取对应的系统镜像；
P6、节点加载系统镜像并启动和进入操作系统；
P7、节点进入操作系统后通过DHCP协议从地址分配中第2次获取IP地址；
P8、节点根据IP地址从域名解析中获取节点名和其它节点的名称；
P9、节点从文件传输中获取操作系统启动后需要加载的程序、配置文件，并根据域名解析数据和配置文件去挂载共享存储；
P10、节点向资源调度服务中对应的平台进行注册；
P11、节点进行自检并向综合基础服务平台的管理控制模块反馈状态；
P12、综合基础服务平台的管理控制模块根据反馈的状态进行决策；
P12.1、状态异常，则通过IPMI协议重启节点，跳转到“P4获取IP及引导信息”重新开始；
P12.2、状态正常则继续下一步；
P13、管理控制模块标记节点状态为开机，资源调度状态为空闲，等待资源调度分配作业，流程结束。
进一步地，算力资源关机通过综合基础服务平台的管理控制模块进行操作，具体流程为：
T1、在管理控制模块中选择需要关机的节点；
T2、管理控制模块检查节点状态，查看是否有作业任务在进行；
T2.1、节点有任务进行，判断是否需要放弃任务；
T2.1.1、不放弃任务，判断是否需要等待作业任务执行完；
T2.1.1.1、等待任务执行完，放弃关机计划，流程结束；
T2.1.1.2、等待预定时间，重新启动关机流程，跳转到“T1选择节点”重新开始；
T2.1.2、放弃任务，流程跳转到“T3 退出资源调度”继续流程；
T2.2节点无任务进行，继续下一步；
T3、节点退出资源调度；
T4、节点卸载共享存储；
T5、管理控制模块通过IPMI协议对节点进行快速关机；
T6、管理控制模块检查节点关机状态；
T6.1、关机状态异常，跳转到“T5快速关机”重新开始；
T6.2、关机状态正常，继续下一步；
T7、管理控制标记节点状态为关机，资源调度状态为空闲，流程结束。
与现有技术相比，本发明的有意效果有：
本发明所提供的多业务模式的医院大数据平台系统，可以满足医院多业务融合;本发明提供的多业务模式的医院大数据平台系统的资源调度方法，可以对现有算力资源进行资源类型切换，提示算力资源利用率，最大程度满足用户算力需求，本发明的算力节点操作系统是从文件传输服务中获取的，无需本地硬盘，降低了硬件成本，同时避免硬件故障带来的不便，且保障了数据安全性。
附图说明
图1是本发明实施例的系统架构示意图；
图2是本发明实施例中算力资源调度的流程示意图；
图3是本发明实施例中算力资源开机的流程示意图；
图4是本发明实施例中算力资源关机的流程示意图。
具体实施方式
为使本申请实施例的目的、技术方案和优点更加清楚，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本申请一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本申请实施例的组件可以以各种不同的配置来布置和设计。因此，以下对在附图中提供的本申请的实施例的详细描述并非旨在限制要求保护的本申请的范围，而是仅仅表示本申请的选定实施例。基于本申请中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
一种多业务模式的医院大数据平台系统，如图1所示，其系统架构包括：综合基础服务平台10；资源调度服务平台20，满足各种环境下的资源调度；共享存储服务平台30，提供多种数据库，满足主流数据存储的需求；算力平台40，提供多种类型的硬件节点，满足各种各样的算力需求；所述综合基础服务平台10、资源调度服务平台20、共享存储服务平台30、算力平台40之间通过业务/管理网60连接，所述业务/管理网60为标准以太网网络，采用1G/1.25G/10G/25G/40G/50G/100G等主流网络带宽标准，满足各软硬件、业务系统的数据传输、调度控制、登录管理等传输需求。
所述综合基础服务平台10包括管理控制模块、监控模块、域名解析模块、地址分配模块、文件传输模块等子服务；其中所述管理控制模块对外提供WEB平台，实现平台状态查看、人机交互操作、记账/计费、用户数据上传下载、等功能；所述监控模块按照策略监控各服务、设备的使用状态、利用率、告警信息等，并通过接口传输给管理控制模块对外进行展示；所述域名解析模块实现IP地址和主机名、服务名的对应与解析，便于高效简洁的查询和使用资源；所述地址分配模块通过DHCP技术实现IP地址分配、PXE网络引导参数同步等，实现物理设备和IP地址的一对一绑定；所述文件传输模块通过TFTP协议和NFS协议对外提供服务，便于物理设备获取PXE网络引导的系统镜像和进入操作系统后需要装载的配置文件、应用程序。
所述资源调度服务平台20包括slurm、K8S、OpenStack、Hyper-V等子服务。其中：所述Slurm用于linus操作系统环境下的cpu、内存、GPU资源调度，适用场景包括基因组装、基因拼接、基因对比、材料研制、药物研制、内存计算等；所述K8S用于docker容器环境下的资源调度，适用场景包括人工智能、业务流编排等；所述OpenStack用于虚拟化和云计算环境下的资源调度；所述Hyper-V用于Windows虚拟化的资源调度。
共享存储服务平台30包括NAS存储、非结构化数据库、结构化数据库等子服务，可以满足主流数据存储的需求。
算力平台40包括多路节点、CPU计算节点、内存计算节点、GPU计算节点、FPGA计算节点、芯片计算节点等多种类型的硬件节点，满足各种各样的算力需求。
还包括安全管理平台50，所述安全管理平台50与所述业务/管理网60连接，所述安全管理平台50参考GB/T 25058-2019 信息安全技术 网络安全等级保护实施指南、GB/T25070-2019 信息安全技术 网络安全等级保护安全设计技术要求等国家标准、法律法规进行，由医院根据实际定级需要进行细化和完善，包括但不限于安管平台、入侵检测、漏洞扫描、堡垒机、审计等。
还包括VPN防火墙90，所述VPN防火墙90与所述业务/管理网60连接，外网包括互联网、传感器/5G专网、区域医疗卫生平台、社保专网、医保专网、银行专网、分院/合作医院、院内网络等通过所述VPN防火墙90连接业务/管理网，实现网络隔离，隐藏了内部网络架构，保证数据安全可控，同时可以按需可控的提供数据访问服务。
还包括IPMI/BMC带外管理70，所述IPMI/BMC带外管理70分别与所述综合基础服务平台10、资源调度服务平台20、共享存储服务平台30、算力平台40连接，所述IPMI/BMC带外管理70为标准以太网网络，采用100M/1G网络带宽标准，满足硬件设备的带宽监控管理、开关机控制、告警信息查看、故障判断等业务需求。
还包括Infiniband高速网80，所述Infiniband高速网80分别与所述综合基础服务平台10、资源调度服务平台20、共享存储服务平台30、算力平台40连接，所述Infiniband高速网80为高带宽低延迟专用网络，采用专用协议（SDR/QDR/FDR/EDR/HDR/NDR/XDR/GDR）,实现10G-400Gbps的纳秒级延迟通信，满足计算、存储的通信需求。
本发明所提供的多业务模式的医院大数据平台系统，可以满足医院多业务融合。
本发明还提供一种多业务模式的医院大数据平台系统的资源调度方法，如图2所示的算力资源调度流程示意图，具体步骤如下：
S1、用户上传任务数据及脚本到综合基础服务10的管理控制模块并提交任务；
S2、管理控制模块对脚本进行检查；
S2.1、任务脚本异常，例如缺少参数、程序路径错误等，任务告警退出，流程结束；
S2.2、任务脚本正常，继续下一步；
S3、管理控制模块检查算力资源是否满足；
S3.1、检查其它类型的算力资源是否有空闲节点；
S3.1.1、无空闲节点，资源不满足，任务告警并退出，流程结束；
S3.1.2、有空闲节点，调度后可以满足算力资源需求，启动子流程；
S3.1.2.1子流程：算力资源关机，成功执行后继续下一步；
S3.1.2.2子流程：算力资源开机，成功执行后跳转到“S4根据任务需求分配算力资源”；
S3.2、算力资源满足，继续下一步；
S4、资源调度服务20根据任务需求分配算力资源；
S5、算力平台40分配的算力节点根据任务数据和脚本启动程序进行计算；
S6、管理控制模块检查计算结果；
S6.1计算异常结束，启动告警流程；
管理控制模块标记任务异常并告警，并跳转到“S8计算节点释放资源”
S6.2、计算正常结束，流程继续；
S7、管理控制模块根据计算结果记账计费；
S8、计算节点释放资源；
S9、管理控制模块标记计算节点状态为开机，资源调度状态为空闲；流程结束。
在步骤S3.1.2.2中，算力资源开机通过综合基础服务10的管理控制模块进行操作，如图3所示的算力资源开机的流程示意图，具体流程为：
P1、在管理控制模块中指定需要开机的节点和资源调度类型，如slurm资源、K8S资源等；
P2、管理控制模块根据资源类型和节点的算力类型（如多路、CPU、GPU等）匹配配置文件，并下发新的配置文件给地址分配模块；
P3、管理控制模块通过IPMI协议对节点进行开机操作；
P4、节点开机后调用PXE协议，第1次通过DHCP协议从地址分配中获取IP地址和引导信息、参数；
P5、节点根据引导信息、参数从文件传输中获取对应的系统镜像；
P6、节点加载系统镜像并启动和进入操作系统；
P7、节点进入操作系统后通过DHCP协议从地址分配中第2次获取IP地址；
P8、节点根据IP地址从域名解析中获取节点名和其它节点的名称；
P9、节点从文件传输中获取操作系统启动后需要加载的程序、配置文件，并根据域名解析数据和配置文件去挂载共享存储；
P10、节点向资源调度服务中对应的平台进行注册；
P11、节点进行自检并向综合基础服务10的管理控制模块反馈状态；
P12、综合基础服务10的管理控制模块根据反馈的状态进行决策；
P12.1、状态异常，则通过IPMI协议重启节点，跳转到“P4 获取IP及引导信息”重新开始；
P12.2、状态正常则继续下一步；
P13、管理控制模块标记节点状态为开机，资源调度状态为空闲，等待资源调度分配作业，流程结束。
在步骤S3.1.2.1中，算力资源关机通过综合基础服务10的管理控制服务进行操作，如图4所示的算力资源关机的流程示意图，具体流程为：
T1、在管理控制模块中选择需要关机的节点；
T2、管理控制模块检查节点状态，查看是否有作业任务在进行；
T2.1、节点有任务进行，判断是否需要放弃任务；
T2.1.1、不放弃任务，判断是否需要等待作业任务执行完；
T2.1.1.1、等待任务执行完，放弃关机计划，流程结束；
T2.1.1.2、等待一定时间，重新启动关机流程，跳转到“T1选择节点”重新开始；
T2.1.2、放弃任务，流程跳转到“T3退出资源调度”继续流程；
T2.2节点无任务进行，继续下一步；
T3、节点退出资源调度；
T4、节点卸载共享存储；
T5、管理控制模块通过IPMI协议对节点进行快速关机；
T6、管理控制模块检查节点关机状态；
T6.1、关机状态异常，跳转到“T5快速关机”重新开始；
T6.2、关机状态正常，继续下一步；
T7、管理控制标记节点状态为关机，资源调度状态为空闲，流程结束。
本发明提供的多业务模式的医院大数据平台系统的资源调度方法，可以对现有算力资源进行资源类型切换，提示算力资源利用率，最大程度满足用户算力需求，本发明的算力节点操作系统是从文件传输服务中获取的，无需本地硬盘，降低了硬件成本，同时避免硬件故障带来的不便，且保障了数据安全性。
当然，本发明还可有其它多种实施例，在不背离本发明精神及其实质的情况下，熟悉本领域的技术人员可根据本发明作出各种相应的改变和变形，但这些相应的改变和变形都应属于本发明所附的权利要求的保护范围。

Claims (9)

1.一种多业务模式的医院大数据平台系统，其特征在于：其系统架构包括：综合基础服务平台（10），所述综合基础服务平台（10）包括管理控制模块；资源调度服务平台（20），满足各种环境下的资源调度；共享存储服务平台（30），提供多种数据库，满足主流数据存储的需求；算力平台（40），提供多种类型的硬件节点，满足各种各样的算力需求；所述综合基础服务平台（10）、资源调度服务平台（20）、共享存储服务平台（30）、算力平台（40）之间通过业务/管理网（60）连接实现数据传输、调度控制、登录管理；
资源调度方法步骤包括：
S1、用户上传任务数据及脚本到综合基础服务平台（10）的管理控制模块并提交任务；
S2、管理控制模块对脚本进行检查；
S2.1、任务脚本异常，流程结束；
S2.2、任务脚本正常，继续下一步；
S3、管理控制模块检查算力资源是否满足；
S3.1、检查其它类型的算力资源是否有空闲节点；
S3.1.1、无空闲节点，资源不满足，任务告警并退出，流程结束；
S3.1.2、有空闲节点，调度后满足算力资源需求，启动子流程；
S3.1.2.1子流程：算力资源关机，成功执行后继续下一步；
S3.1.2.2子流程：算力资源开机，成功执行后跳转到“S4根据任务需求分配算力资源”；
S3.2、算力资源满足，继续下一步；
S4、资源调度服务平台（20）根据任务需求分配算力资源；
S5、算力平台（40）分配的算力节点根据任务数据和脚本启动程序进行计算；
S6、管理控制模块检查计算结果；
S6.1计算异常结束，启动告警流程；
管理控制模块标记任务异常并告警，并跳转到“S8计算节点释放资源”
S6.2、计算正常结束，流程继续；
S7、管理控制模块根据计算结果记账计费；
S8、计算节点释放资源；
S9、管理控制模块标记计算节点状态为开机，资源调度状态为空闲；流程结束。
2.根据权利要求1所述的多业务模式的医院大数据平台系统，其特征在于：所述管理控制模块：对外提供WEB平台，实现平台状态查看、人机交互操作、记账/计费、用户数据上传下载；监控模块：按照策略监控各服务、设备的使用状态、利用率、告警信息，并通过接口传输给管理控制模块对外进行展示；域名解析模块：实现IP地址和主机名、服务名的对应与解析，便于高效简洁的查询和使用资源；地址分配模块：通过DHCP技术实现IP地址分配、PXE网络引导参数同步，实现物理设备和IP地址的一对一绑定；文件传输模块：通过TFTP协议和NFS协议对外提供服务，便于物理设备获取PXE网络引导的系统镜像和进入操作系统后需要装载的配置文件、应用程序。
3.根据权利要求1所述的多业务模式的医院大数据平台系统，其特征在于：所述资源调度服务平台（20）包括slurm、K8S、OpenStack、Hyper-V。
4.根据权利要求1所述的多业务模式的医院大数据平台系统，其特征在于：所述共享存储服务平台（30）包括NAS存储、非结构化数据库、结构化数据库。
5.根据权利要求1所述的多业务模式的医院大数据平台系统，其特征在于：所述算力平台（40）包括多路节点、CPU计算节点、内存计算节点、GPU计算节点、FPGA计算节点、芯片计算节点。
6.根据权利要求1所述的多业务模式的医院大数据平台系统，其特征在于：还包括与所述业务/管理网（60）连接的安全管理平台（50）和VPN防火墙（90），所述安全管理平台（50）包括安管平台、入侵检测、漏洞扫描、堡垒机、审计；所述VPN防火墙（90）连接外网与所述业务/管理网（60），实现网络隔离，隐藏内部网络架构，保证数据安全可控，同时按需可控的提供数据访问服务。
7.根据权利要求1所述的多业务模式的医院大数据平台系统，其特征在于：还包括IPMI/BMC带外管理（70），所述IPMI/BMC带外管理（70）分别与所述综合基础服务平台（10）、资源调度服务平台（20）、共享存储服务平台（30）、算力平台（40）连接，满足硬件设备的带宽监控管理、开关机控制、告警信息查看、故障判断；还包括Infiniband高速网（80）：所述Infiniband高速网（80）分别与所述综合基础服务平台（10）、资源调度服务平台（20）、共享存储服务平台（30）、算力平台（40）连接，满足计算、存储的通信需求。
8.根据权利要求1所述的多业务模式的医院大数据平台系统：其特征在于：算力资源开机通过综合基础服务平台（10）的管理控制模块进行操作，具体流程为：
P1、在管理控制模块中指定需要开机的节点和资源调度类型；
P2、管理控制模块根据资源类型和节点的算力类型匹配配置文件，并下发新的配置文件给地址分配模块；
P3、管理控制模块通过IPMI协议对节点进行开机操作；
P4、节点开机后调用PXE协议，第1次通过DHCP协议从地址分配中获取IP地址和引导信息、参数；
P5、节点根据引导信息、参数从文件传输中获取对应的系统镜像；
P6、节点加载系统镜像并启动和进入操作系统；
P7、节点进入操作系统后通过DHCP协议从地址分配中第2次获取IP地址；
P8、节点根据IP地址从域名解析中获取节点名和其它节点的名称；
P9、节点从文件传输中获取操作系统启动后需要加载的程序、配置文件，并根据域名解析数据和配置文件去挂载共享存储；
P10、节点向资源调度服务中对应的平台进行注册；
P11、节点进行自检并向综合基础服务平台（10）的管理控制模块反馈状态；
P12、综合基础服务平台（10）的管理控制模块根据反馈的状态进行决策；
P12.1、状态异常，则通过IPMI协议重启节点，跳转到“P4获取IP及引导信息”重新开始；
P12.2、状态正常则继续下一步；
P13、管理控制模块标记节点状态为开机，资源调度状态为空闲，等待资源调度分配作业，流程结束。
9.根据权利要求1所述的多业务模式的医院大数据平台系统：其特征在于：算力资源关机通过综合基础服务平台（10）的管理控制模块进行操作，具体流程为：
T1、在管理控制模块中选择需要关机的节点；
T2、管理控制模块检查节点状态，查看是否有作业任务在进行；
T2.1、节点有任务进行，判断是否需要放弃任务；
T2.1.1、不放弃任务，判断是否需要等待作业任务执行完；
T2.1.1.1、等待任务执行完，放弃关机计划，流程结束；
T2.1.1.2、等待预定时间，重新启动关机流程，跳转到“T1选择节点”重新开始；
T2.1.2、放弃任务，流程跳转到“T3 退出资源调度”继续流程；
T2.2节点无任务进行，继续下一步；
T3、节点退出资源调度；
T4、节点卸载共享存储；
T5、管理控制模块通过IPMI协议对节点进行快速关机；
T6、管理控制模块检查节点关机状态；
T6.1、关机状态异常，跳转到“T5快速关机”重新开始；
T6.2、关机状态正常，继续下一步；
T7、管理控制标记节点状态为关机，资源调度状态为空闲，流程结束。
CN202111454227.XA 2021-12-01 2021-12-01 一种多业务模式的医院大数据平台系统及资源调度方法 Active CN114257614B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111454227.XA CN114257614B (zh) 2021-12-01 2021-12-01 一种多业务模式的医院大数据平台系统及资源调度方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111454227.XA CN114257614B (zh) 2021-12-01 2021-12-01 一种多业务模式的医院大数据平台系统及资源调度方法

Publications (2)

Publication Number Publication Date
CN114257614A CN114257614A (zh) 2022-03-29
CN114257614B true CN114257614B (zh) 2023-03-28

Family

ID=80791513

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111454227.XA Active CN114257614B (zh) 2021-12-01 2021-12-01 一种多业务模式的医院大数据平台系统及资源调度方法

Country Status (1)

Country Link
CN (1) CN114257614B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116578538B (zh) * 2023-07-13 2023-10-27 天津中新智冠信息技术有限公司 跨平台文件处理方法、装置、电子设备及存储介质

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102009005455A1 (de) * 2009-01-21 2010-07-22 Siemens Aktiengesellschaft Computersystem zum Verwalten, Speichern und Austausch von computergestützten medizinischen Taskflows
CN102685233A (zh) * 2012-05-11 2012-09-19 上海交通大学 移动医疗保健远程监控系统及其数据传输方法
CN103942034A (zh) * 2014-03-21 2014-07-23 深圳华大基因科技服务有限公司 任务调度方法及实现该方法的电子装置
CN109347909A (zh) * 2014-09-01 2019-02-15 广东电网有限责任公司信息中心 Proxzone服务平台的工作方法
CN109543421A (zh) * 2018-12-12 2019-03-29 四川大学华西医院 一种基于多项式数论加密算法的医疗信息保护系统及方法
CN111951935A (zh) * 2019-05-16 2020-11-17 上海宽带技术及应用工程研究中心 面向医疗大数据处理的医疗云系统、方法、系统和介质
CN112102904A (zh) * 2019-06-18 2020-12-18 杭州中软安人网络通信股份有限公司 中医药大数据云服务系统

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102009005455A1 (de) * 2009-01-21 2010-07-22 Siemens Aktiengesellschaft Computersystem zum Verwalten, Speichern und Austausch von computergestützten medizinischen Taskflows
CN102685233A (zh) * 2012-05-11 2012-09-19 上海交通大学 移动医疗保健远程监控系统及其数据传输方法
CN103942034A (zh) * 2014-03-21 2014-07-23 深圳华大基因科技服务有限公司 任务调度方法及实现该方法的电子装置
CN109347909A (zh) * 2014-09-01 2019-02-15 广东电网有限责任公司信息中心 Proxzone服务平台的工作方法
CN109543421A (zh) * 2018-12-12 2019-03-29 四川大学华西医院 一种基于多项式数论加密算法的医疗信息保护系统及方法
CN111951935A (zh) * 2019-05-16 2020-11-17 上海宽带技术及应用工程研究中心 面向医疗大数据处理的医疗云系统、方法、系统和介质
CN112102904A (zh) * 2019-06-18 2020-12-18 杭州中软安人网络通信股份有限公司 中医药大数据云服务系统

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
廖宏建 ; 杨玉宝 ; 唐连章 ; 卫建安 ; .基于云计算的动漫渲染实验平台研究与实现.实验室研究与探索.(第07期),全文. *

Also Published As

Publication number Publication date
CN114257614A (zh) 2022-03-29

Similar Documents

Publication Publication Date Title
CN102857363B (zh) 一种虚拟网络的自主管理系统和方法
US10728179B2 (en) Distributed virtual switch configuration and state management
CN108206847B (zh) Cdn管理系统、方法及装置
US11327795B1 (en) Efficient worker utilization
US20180101408A1 (en) Node selection for a new application in a multi-tenant cloud hosting environment
US9450783B2 (en) Abstracting cloud management
US10360122B2 (en) Tracking cloud installation information using cloud-aware kernel of operating system
US10091138B2 (en) In service upgrades for a hypervisor or hardware manager hosting virtual traffic managers
CN103645957B (zh) 一种虚拟机资源管控方法及装置
US8055725B2 (en) Method, apparatus and program product for remotely restoring a non-responsive computing system
WO2016183553A1 (en) Query dispatch and execution architecture
CN107220100A (zh) 一种开发运维方法、装置及云计算PaaS平台
CN1659539A (zh) 一种具有虚拟服务模块的网络系统
CN107451147A (zh) 一种kafka集群动态切换的方法和装置
CN109634716A (zh) 防脑裂的OpenStack虚拟机高可用管理端装置及管理方法
CN108667639A (zh) 一种私有云环境下的资源管理方法及管理服务器
WO2022134809A1 (zh) 模型训练处理方法、装置、计算机设备及介质
CN114257614B (zh) 一种多业务模式的医院大数据平台系统及资源调度方法
CN113821268A (zh) 一种与OpenStack Neutron融合的Kubernetes网络插件方法
CN112698838A (zh) 多云容器部署系统及其容器部署方法
CN106802790B (zh) 基于云平台的应用用户使用信息管理的方法、设备及系统
CN103034545B (zh) 基于ace的通信框架和方法、及功能模块间的通信方法
CN114579250A (zh) 一种构建虚拟集群的方法、装置及存储介质
US10496507B2 (en) Dynamic personality configurations for pooled system management engine
CN109669979A (zh) 数据的处理方法及装置、存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant