CN114553870A - 基于分布式集群的数据处理方法及装置 - Google Patents

基于分布式集群的数据处理方法及装置 Download PDF

Info

Publication number
CN114553870A
CN114553870A CN202210148489.1A CN202210148489A CN114553870A CN 114553870 A CN114553870 A CN 114553870A CN 202210148489 A CN202210148489 A CN 202210148489A CN 114553870 A CN114553870 A CN 114553870A
Authority
CN
China
Prior art keywords
data processing
data
processed
target node
server
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202210148489.1A
Other languages
English (en)
Other versions
CN114553870B (zh
Inventor
周琦超
朱力伟
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Manteia Data Technology Co ltd In Xiamen Area Of Fujian Pilot Free Trade Zone
Original Assignee
Manteia Data Technology Co ltd In Xiamen Area Of Fujian Pilot Free Trade Zone
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Manteia Data Technology Co ltd In Xiamen Area Of Fujian Pilot Free Trade Zone filed Critical Manteia Data Technology Co ltd In Xiamen Area Of Fujian Pilot Free Trade Zone
Priority to CN202210148489.1A priority Critical patent/CN114553870B/zh
Publication of CN114553870A publication Critical patent/CN114553870A/zh
Application granted granted Critical
Publication of CN114553870B publication Critical patent/CN114553870B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00Network arrangements or protocols for supporting network services or applications
    • H04L67/01Protocols
    • H04L67/10Protocols in which an application is distributed across nodes in the network
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00Arrangements for program control, e.g. control units
    • G06F9/06Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46Multiprogramming arrangements
    • G06F9/54Interprogram communication
    • G06F9/547Remote procedure calls [RPC]; Web services
    • GPHYSICS
    • G16INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16HHEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00ICT specially adapted for the handling or processing of medical images
    • G16H30/20ICT specially adapted for the handling or processing of medical images for handling medical images, e.g. DICOM, HL7 or PACS
    • GPHYSICS
    • G16INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16HHEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H40/00ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices
    • G16H40/60ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices for the operation of medical equipment or devices
    • G16H40/67ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices for the operation of medical equipment or devices for remote operation
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L43/00Arrangements for monitoring or testing data switching networks
    • H04L43/04Processing captured monitoring data, e.g. for logfile generation
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L43/00Arrangements for monitoring or testing data switching networks
    • H04L43/06Generation of reports
    • YGENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02DCLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00Energy efficient computing, e.g. low power processors, power management or thermal management

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Software Systems (AREA)
  • Biomedical Technology (AREA)
  • Theoretical Computer Science (AREA)
  • Epidemiology (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Primary Health Care (AREA)
  • Public Health (AREA)
  • Business, Economics & Management (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • General Business, Economics & Management (AREA)
  • Data Mining & Analysis (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Radiology & Medical Imaging (AREA)
  • Debugging And Monitoring (AREA)

Abstract

本申请公开了一种基于分布式集群的数据处理方法及装置。其中,该方法包括:第一目标节点服务器接收中央服务器发送的第一数据处理请求;基于第一数据处理请求,运行多种类型的服务模块对待处理数据进行数据处理;在数据处理过程,调用第一目标节点服务器所在服务器集群中的所有显卡同时执行数据处理过程;在监测到数据处理过程中任意服务模块产生异常时,对产生异常的服务模块进行重启;将产生异常的服务模块中未处理完毕的待处理数据返回至中央服务器,其中,未处理完毕的待处理数据用于在第二目标节点服务器中重新进行数据处理。本申请解决了现有技术中数据处理效率低,一旦系统崩溃,原等待执行的任务无法继续执行的技术问题。

Description

基于分布式集群的数据处理方法及装置
技术领域
本申请涉及医疗系统领域,具体而言,涉及一种基于分布式集群的数据处理方法及装置。
背景技术
在医院使用的数以万计的医学成像设备中,DICOM(Digital Imaging andCommunications In Medicine)即医学数字成像和通信,是部署最为广泛的医疗信息标准之一。现有的AccuContour定位为放射治疗的图像工作站,辅助医生进行轮廓勾画、图像配准、计划查看、剂量查看等图像处理工作。基于自主研发的人工智能算法,AccuContour可以在3-5分钟自动完成OAR、GTV、CTV的勾画,从而减少医生靶区勾画的工作量,帮助医生提升放疗的工作效率。但目前AccuContour软件的各个模块结构复杂,开发成本高,软件崩溃后任务将会丢失,需要手动重新发起请求。
针对上述的问题,目前尚未提出有效的解决方案。
发明内容
本申请实施例提供了一种基于分布式集群的数据处理方法及装置,以至少解决现有技术中数据处理效率低,一旦系统崩溃,原等待执行的任务无法继续执行的技术问题。
根据本申请实施例的一个方面,提供了一种基于分布式集群的数据处理方法,包括:第一目标节点服务器接收中央服务器发送的第一数据处理请求,其中,第一目标节点服务器中包括:多种类型的服务模块,其中,多种类型的服务模块用于对待处理数据进行不同的数据处理;基于第一数据处理请求,运行多种类型的服务模块对待处理数据进行数据处理;在数据处理过程,调用第一目标节点服务器所在服务器集群中的所有显卡同时执行数据处理过程;在监测到数据处理过程中任意服务模块发送异常时,对发送异常的服务模块进行重启;将异常的服务模块中未处理完毕的待处理数据返回至中央服务器,其中,未处理完毕的待处理数据用于在第二目标节点服务器中重新进行数据处理。
可选地,基于第一数据处理请求,运行多种类型的服务模块对待处理数据进行数据处理,包括:在数据处理过程中,对多种类型的服务模块的运行状态进行实时监测,得到实时监测结果,其中,多种类型的服务模块相互独立运行;将实时监测结果转换为中央服务器可识别的第一网络通讯包;将第一网络通讯包发送至中央服务器。
可选地,在数据处理过程,调用第一目标节点服务器所在服务器集群中的所有显卡同时执行数据处理过程,包括:服务器集群中的多个节点服务器均安装有显卡调度服务;基于显卡调度服务,第一目标节点服务器将实时调用第一目标节点服务器所在服务器集群中的所有显卡同时执行数据处理过程。
可选地,在监测到数据处理过程中任意服务模块发生异常时,对发生异常的服务模块进行重启之后,还包括:在实时监测结果指示任意服务模块出现数据处理异常的情况下,第一目标节点服务器将对异常的服务模块进行检测,得到异常检测报告;将异常检测报告发送给中央服务器,其中,异常检测报告用于对数据处理过程中出现的异常进行异常分析。
可选地,将异常的服务模块中未处理完毕的待处理数据返回至中央服务器,包括:第一目标节点服务器将未处理完毕的待处理数据转换为中央服务器可识别的第二网络通讯包;将第二网络通讯包发送给中央服务器。
可选地,第一目标节点服务器接收中央服务器发送的第二数据处理请求;基于第二数据处理请求,第一目标节点服务器至少对多种类型的服务模块进行以下之一操作:安装、卸载、监控。
可选地,第二目标节点服务器用于指示:任意服务器集群中未发生数据处理异常的节点服务器,其中,任意服务器集群中的多个节点服务器中均安装有显卡调度服务与多种类型的服务模块。
根据本申请实施例的另一方面,提供了一种基于分布式集群的数据处理方法,包括:中央服务器接收多个客户端发送的第一数据处理请求;基于第一数据处理请求,中央服务器对待处理数据进行预处理,得到预处理结果;基于预处理结果,中央服务器将待处理数据发送给第一目标节点服务器;中央服务器接收第一目标节点服务器返回的第一数据处理结果,并将第一数据处理结果发送至多个客户端。
可选地,基于第一数据处理请求,中央服务器对待处理数据进行预处理,得到预处理结果,包括:确定待处理数据中的错误数据,并将错误数据返回给多个客户端;确定待处理数据的数据类型。
可选地,基于预处理结果,中央服务器将待处理数据发送给第一目标节点服务器,包括:中央服务器基于待处理数据的数据类型,确定中央服务器中处理待处理数据的目标插件,其中,目标插件是以下至少一个:运维处理插件、业务处理插件;将待处理数据发送给目标插件,其中,目标插件用于将待处理数据处理成第一目标节点服务器可识别的第三网络通讯包;将第三网络通讯包发送给第一目标节点服务器。
可选地,中央服务器接收第一目标节点服务器返回的第一数据处理结果,还包括:接收第一目标节点服务器返回的异常检测报告;将异常检测报告存储在数据库或实体文件中。
可选地,中央服务器接收第一目标节点服务器返回的第一数据处理结果,还包括:接收第一目标节点服务器返回的未处理完毕的待处理数据;对未处理完毕的待处理数据进行预处理,确定未处理完毕的待处理数据的数据类型;基于未处理完毕的待处理数据的数据类型,确定处理未处理完毕的待处理数据的目标插件;基于目标插件,将未处理完毕的待处理数据转换为第二目标节点服务器可识别的第四网络通讯包;将第四网络通讯包发送至第二目标节点服务器。
可选地,将第一数据处理结果发送至多个客户端,包括:中央服务器将第一数据处理结果转换为多个客户端可识别的第五网络通讯包;将第五网络通讯包发送到多个客户端。
可选地,中央服务器接收运维工具发送的第二数据处理请求,其中,第二数据处理请求至少用于对第一目标节点服务器中的多种类型的服务模块进行安装、卸载、监控;中央服务器将第二数据处理请求发送至第一目标节点服务器;接收第一目标节点服务器对第二数据处理请求进行处理得到的第二数据处理结果;中央服务器将第二数据处理结果转换为运维工具可识别的第六网络通讯包;将第六网络通讯包发送到运维工具。
可选地,根据上述步骤,还包括:在中央服务器与服务器集群发生断电关机的情况下,中央服务器将自动缓存所有未执行完毕的任务,等待重启后继续执行。
根据本申请的另一方面,还提供了一种基于分布式集群的数据处理装置,包括:接收模块,用于第一目标节点服务器接收中央服务器发送的第一数据处理请求,其中,第一目标节点服务器中包括:多种类型的服务模块,其中,多种类型的服务模块用于对待处理数据进行不同的数据处理;运行模块,用于基于第一数据处理请求,运行多种类型的服务模块对待处理数据进行数据处理;调用模块,用于在数据处理过程,调用第一目标节点服务器所在服务器集群中的所有显卡同时执行数据处理过程;重启模块,用于在监测到数据处理过程中任意服务模块发送异常时,对发送异常的服务模块进行重启;返回模块,用于将异常的服务模块中未处理完毕的待处理数据返回至中央服务器,其中,未处理完毕的待处理数据用于在第二目标节点服务器中重新进行数据处理。
根据本申请的另一方面,还提供了一种非易失性存储介质,该非易失性存储介质包括存储的程序,其中,在程序运行时控制非易失性存储介质所在设备执行上述的数据处理方法。
根据本申请的另一方面,还提供了一种处理器,该处理器用于运行程序,其中,程序运行时执行上述的基于分布式集群的数据处理方法。
在本申请实施例中,采用节点服务器接收中央服务器分配的待处理数据,调用多显卡对待处理数据进行处理,在数据处理发生异常的情况下,节点服务器将异常数据返回中央服务器,等待中央服务器重新分配,对异常数据重新进行数据处理的方式,达到了在高效率处理数据,且在数据处理发生崩溃时,可自动重新处理异常数据的目的,从而实现了高效率、持久化处理数据的技术效果,进而解决了现有技术中数据处理效率低,一旦系统崩溃,原等待执行的任务无法继续执行技术问题。
附图说明
此处所说明的附图用来提供对本申请的进一步理解,构成本申请的一部分,本申请的示意性实施例及其说明用于解释本申请,并不构成对本申请的不当限定。在附图中:
图1是根据本申请实施例的一种用于实现基于分布式集群的数据处理方法的计算机终端的硬件结构框图;
图2是根据本申请实施例的一种基于分布式集群的数据处理方法的流程图;
图3是根据本申请实施例的一种基于分布式集群的数据处理方法的原理示意图;
图4是根据本申请实施例的一种基于分布式集群的数据处理方法的交互流程图;
图5是根据本申请实施例的另一种基于分布式集群的数据处理方法的流程图;
图6是根据本申请实施例的一种基于分布式集群的数据处理装置的结构图。
具体实施方式
为了使本技术领域的人员更好地理解本申请方案,下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本申请一部分的实施例,而不是全部的实施例。基于本申请中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都应当属于本申请保护的范围。
需要说明的是,本申请的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象,而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换,以便这里描述的本申请的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外,术语“包括”和“具有”以及他们的任何变形,意图在于覆盖不排他的包含,例如,包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元,而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
为了便于描述,以下对本申请实施例涉及的部分名词或术语进行说明:
HTTP网络通讯:超文本传输协议(Hyper Text Transfer Protocol),是一个简单的-响应协议。
RPC网络通讯:远程过程调用(Remote Procedure Call),是一种通过网络从远程计算机程序上请求服务,而不需要了解底层网络技术的协议。
MQ通讯:是一种应用程序对应用程序的通信方式,应用程序通过写和检索出入队列的针对应用程序的数据来通信,而无需专用连接来链接它们。
网络通讯包:网络通信中传输的数据块。
根据本申请实施例,提供了一种基于分布式集群的数据处理方法的实施例,需要说明的是,在附图的流程图示出的步骤可以在诸如一组计算机可执行指令的计算机系统中执行,并且,虽然在流程图中示出了逻辑顺序,但是在某些情况下,可以以不同于此处的顺序执行所示出或描述的步骤。
本申请实施例所提供的基于分布式集群的数据处理方法可以在移动终端、计算机终端或者类似的运算装置中执行。图1示出了一种用于实现基于分布式集群的数据处理方法的计算机终端(或移动设备)的硬件结构框图。如图1所示,计算机终端10(或移动设备10)可以包括一个或多个(图中采用102a、102b,……,102n来示出)处理器102(处理器102可以包括但不限于微处理器MCU或可编程逻辑器件FPGA等的处理装置)、用于存储数据的存储器104、以及用于通信功能的传输模块106。除此以外,还可以包括:显示器、输入/输出接口(I/O接口)、通用串行总线(USB)端口(可以作为I/O接口的端口中的一个端口被包括)、网络接口、电源和/或相机。本领域普通技术人员可以理解,图1所示的结构仅为示意,其并不对上述电子装置的结构造成限定。例如,计算机终端10还可包括比图1中所示更多或者更少的组件,或者具有与图1所示不同的配置。
应当注意到的是上述一个或多个处理器102和/或其他数据处理电路在本文中通常可以被称为“数据处理电路”。该数据处理电路可以全部或部分的体现为软件、硬件、固件或其他任意组合。此外,数据处理电路可为单个独立的处理模块,或全部或部分的结合到计算机终端10(或移动设备)中的其他元件中的任意一个内。如本申请实施例中所涉及到的,该数据处理电路作为一种处理器控制(例如与接口连接的可变电阻终端路径的选择)。
存储器104可用于存储应用软件的软件程序以及模块,如本申请实施例中的基于分布式集群的数据处理方法对应的程序指令/数据存储装置,处理器102通过运行存储在存储器104内的软件程序以及模块,从而执行各种功能应用以及数据处理,即实现上述的基于分布式集群的数据处理方法。存储器104可包括高速随机存储器,还可包括非易失性存储器,如一个或者多个磁性存储装置、闪存、或者其他非易失性固态存储器。在一些实例中,存储器104可进一步包括相对于处理器102远程设置的存储器,这些远程存储器可以通过网络连接至计算机终端10。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
传输模块106用于经由一个网络接收或者发送数据。上述的网络具体实例可包括计算机终端10的通信供应商提供的无线网络。在一个实例中,传输装置106包括一个网络适配器(Network Interface Controller,NIC),其可通过基站与其他网络设备相连从而可与互联网进行通讯。在一个实例中,传输装置106可以为射频(Radio Frequency,RF)模块,其用于通过无线方式与互联网进行通讯。
显示器可以例如触摸屏式的液晶显示器(LCD),该液晶显示器可使得用户能够与计算机终端10(或移动设备)的用户界面进行交互。
此处需要说明的是,在一些可选实施例中,上述图1所示的计算机设备(或移动设备)可以包括硬件元件(包括电路)、软件元件(包括存储在计算机可读介质上的计算机代码)、或硬件元件和软件元件两者的结合。应当指出的是,图1仅为特定具体实例的一个实例,并且旨在示出可存在于上述计算机设备(或移动设备)中的部件的类型。
在上述运行环境下,本申请实施例提供了如图2所示的基于分布式集群的数据处理方法。
图2是根据本申请实施例的一种基于分布式集群的数据处理方法的流程图,如图2所示,该方法包括如下步骤:
步骤S202,第一目标节点服务器接收中央服务器发送的第一数据处理请求;
步骤S204,基于第一数据处理请求,运行多种类型的服务模块对待处理数据进行数据处理;在一些实施例中,上述服务模块可以通过插件的形式实现,这样可以实现使用机构(例如医院)的实际需求灵活设置。例如,上述服务模块包括但不限于以下插件:运维处理插件、业务处理插件。
步骤S206,在数据处理过程,调用第一目标节点服务器所在服务器集群中的所有显卡同时执行数据处理过程;
步骤S208,在监测到数据处理过程中任意服务模块发送异常时,对发送异常的服务模块进行重启;
步骤S210,将异常的服务模块中未处理完毕的待处理数据返回至中央服务器,其中,未处理完毕的待处理数据用于在第二目标节点服务器中重新进行数据处理。
本申请一些实施例中,采用节点服务器接收中央服务器分配的待处理数据,调用多显卡对待处理数据进行处理,在数据处理发生异常的情况下,节点服务器将异常数据返回中央服务器,等待中央服务器重新分配,对异常数据重新进行数据处理的方式,达到了在高效率处理数据,且在数据处理发生崩溃时,可自动重新处理异常数据的目的,从而实现了高效率、持久化处理数据的技术效果,进而解决了现有技术中数据处理效率低,一旦系统崩溃,原等待执行的任务无法继续执行技术问题。
图3是根据本申请实施例的一种基于分布式集群的数据处理方法的结构示意图,如图3所示,该结构示意图中主要包括:多个客户端通过RPC通讯与中央服务器中的业务处理插件建立通讯,业务处理插件基于多个客户端发送的数据处理请求,通过MQ通讯,将待处理数据分配至多个节点服务器,其中,每个节点服务器将基于待处理数据的数据类型,将待处理数据分配至对应的服务模块中进行数据处理;运维工具通过HTTP通讯与中央服务器中的运维处理插件建立通讯,运维处理插件基于运维工具发送的数据处理请求,通过HTTP通讯,至少对多个节点服务器上的服务模块进行:注册、安装、卸载、监控操作。
本申请一些实施例中,各个节点服务器上的服务模块数据处理完毕后,均通过MQ通讯将数据处理结果返回至中央服务器,由中央服务器将数据处理结果响应至客户端。
本申请一些可选地实施例中,中央服务器通过HTTP通讯与多个节点服务器上的服务监控模块建立连接,实时获取多个节点服务器上多种类型的服务模块的运行状态,其中,服务监控模块用于在节点服务器中对所有服务模块的运行状态进行实时监控。
图4是根据本申请实施例的一种基于分布式集群的数据处理方法的交互流程图,如图4所示,该流程主要包括:客户端向中央服务器发送业务请求的交互流程、运维工具向中央服务器发送业务请求的交互流程。
在客户端向中央服务器发送业务请求的交互流程中,客户端通过RPC网络通讯向中央服务器发送业务请求,由中央服务器进行业务请求预处理,并基于RPC网络通讯将错误的业务请求返回;中央服务器通过MQ通讯将业务分发至节点服务器。进行与业务请求对应的业务服务处理;节点服务器通过MQ通讯将业务处理结果返回至中央服务器;中央服务器通过RPC网络通讯将业务结果响应值客户端。
在运维工具向中央服务器发送业务请求的交互流程中,运维工具通过HTTP网络通讯向中央服务器发送服务管理请求;基于服务管理请求,中央服务器通过HTTP网络通讯至少对节点服务器进行服务安装、卸载、更新操作;节点服务器对节点服务器上的服务模块进行安装、卸载、更新等操作;节点服务器通过HTTP网络通讯将服务管理结果返回至中央服务器中;中央服务器基于HTTP通讯将服务管理结果响应至运维工具。
可选地,在步骤S202中,通过如下步骤实现第一目标节点服务器接收中央服务器发送的第一数据处理请求。具体地,多个客户端通过RPC通讯与中央服务器进行通讯,向中央服务器发送第一数据处理请求;中央服务器接收到第一数据处理请求后,基于第一数据处理请求的数据类型,通过MQ通信将第一数据处理请求发送到第一目标节点服务器进行数据处理,其中,中央节点服务器在数据发送过程中已将第一数据处理请求处理成第一目标节点服务器上多种类型的服务模块可识别网络通讯包。
可选地,在步骤S204中,基于第一数据处理请求,运行多种类型的服务模块对待处理数据进行数据处理。具体地,在数据处理过程中,对多种类型的服务模块的运行状态进行实时监测,得到实时监测结果,其中,多种类型的服务模块相互独立运行;将实时监测结果转换为中央服务器可识别的第一网络通讯包;将第一网络通讯包发送至中央服务器。
本申请一些可选地实施例中,第一目标节点服务器接收到第一数据处理请求后,基于待处理数据的数据类型,运行对应的服务模块处理待处理数据,其中,对待处理数据进行数据处理的服务模块至少包括:勾画服务模块、配准服务模块、导出服务模块、剂量叠加服务模块。
可选地,在步骤S206中,在数据处理过程,调用第一目标节点服务器所在服务器集群中的所有显卡同时执行数据处理过程。具体地,服务器集群中的多个节点服务器均安装有显卡调度服务;基于显卡调度服务,第一目标节点服务器将实时调用第一目标节点服务器所在服务器集群中的所有显卡同时执行数据处理过程。
本申请一些实施例中,每个节点服务器所在的主机上均可安装多张显卡,其中,各个节点服务器中均已安装显卡调度服务。在数据处理过程中,每个节点服务器均可通过显卡调度服务对所在服务器集群中的所有显卡进行实时调度。例如,一张显卡可进行一个序列的勾画,若第一目标节点服务器所在服务器集群中有3台主机,每台主机装有3张显卡,基于显卡调度服务,第一目标节点服务器可同时发起9个序列的勾画操作,将9个序列的总体勾画时间缩短为原来的九分之一,提高了数据处理效率。
可选地,在步骤S208中,在监测到数据处理过程中任意服务模块发生异常时,对发生异常的服务模块进行重启。具体地,在实时监测结果指示任意服务模块出现数据处理异常的情况下,第一目标节点服务器将对异常的服务模块进行检测,得到异常检测报告;将异常检测报告发送给中央服务器,其中,异常检测报告用于对数据处理过程中出现的异常进行异常分析。
本申请一些可选地实施例中,在数据处理过程中,当第一目标节点服务器通过服务监控模块监测到任意服务模块出现异常崩溃时,第一目标节点服务器将检测该异常,生成异常检测报告,将异常检测报告上传至中央服务器,自动重新启动发生异常的服务模块,其中,节点服务器将异常检测报告处理成中央服务器可识别的网络通讯包。
需要说明的是,在将异常检测报告上传至中央服务器时,可以采用多种方式,例如,可以通过MQ网络通讯的方式上传异常检测报告,也可以采用HTTP的方式上传异常检测报告,也可以通过RPC方式上传异常检测报告。
本申请一些实施例中,中央服务器将异常检测报告存档保存,以备后期维护人员进行异常分析和提供最佳解决方案。
可选地,在步骤S210中,将异常的服务模块中未处理完毕的待处理数据返回至中央服务器,包括:第一目标节点服务器将未处理完毕的待处理数据转换为中央服务器可识别的第二网络通讯包;将第二网络通讯包发送给中央服务器。
本申请一些实施例中,第一目标节点服务器通过MQ通讯,将未处理完毕的待处理数据返回至中央服务器,然后,中央服务器将未处理完毕的待处理数据重新分配至第二目标节点服务器中,由第二目标节点服务器重新对未处理完毕的待处理数据进行数据处理,以实现相关业务服务的持久化。需要说明的是,第二目标节点服务器用于指示:任意服务器集群中未发生数据处理异常的节点服务器,其中,任意服务器集群中的多个节点服务器中均安装有显卡调度服务与多种类型的服务模块。
可选地,第一目标节点服务器接收中央服务器发送的第二数据处理请求;基于第二数据处理请求,第一目标节点服务器至少对多种类型的服务模块进行以下之一操作:安装、卸载、监控。
本申请一些可选地实施例中,目标对象基于不同的业务需求,对节点服务器中服务模块进行替换、更新,实现业务的变更,而不需要配备新的节点服务器,达到了节约成本的目的。
根据本申请实施例的另一方面,还提供了一种如图5所示的基于分布式集群的数据处理方法。
图5是根据本申请实施例的另一种基于分布式集群的数据处理方法的流程图,如图5所示,该方法包括如下步骤:
步骤S502,中央服务器接收多个客户端发送的第一数据处理请求;
步骤S504,基于第一数据处理请求,中央服务器对待处理数据进行预处理,得到预处理结果;
步骤S506,基于预处理结果,中央服务器将待处理数据发送给第一目标节点服务器;
步骤S508,中央服务器接收第一目标节点服务器返回的第一数据处理结果,并将第一数据处理结果发送至多个客户端。
可选地,在步骤S502中,中央服务器通过以下方法接收多个客户端发送的第一数据处理请求。例如,目标对象通过客户端上的可视化界面,查看节点服务器的服务模块界面,并在客户端中发起具体业务的处理请求,如导出、打开、勾画、配准、剂量叠加、计划对比等;然后,客户端通过RPC通讯将具体业务的处理请求发送至中央服务器。
本申请一些实施例中,中央服务器通过MQ通讯将具体业务的处理请求发送至第一目标节点服务器,由第一目标节点服务器对待处理数据进行数据处理。
可选地,在步骤S504中,基于第一数据处理请求,中央服务器对待处理数据进行预处理,得到预处理结果。具体地,确定待处理数据中的错误数据,并将错误数据返回给多个客户端;确定待处理数据的数据类型。
可选地,在步骤S506中,基于预处理结果,中央服务器将待处理数据发送给第一目标节点服务器。具体地,中央服务器基于待处理数据的数据类型,确定中央服务器中处理待处理数据的目标插件,其中,目标插件是以下至少一个:运维处理插件、业务处理插件;将待处理数据发送给目标插件,其中,目标插件用于将待处理数据处理成第一目标节点服务器可识别的第三网络通讯包;将第三网络通讯包发送给第一目标节点服务器。
可选地,在步骤S508中,中央服务器接收第一目标节点服务器返回的第一数据处理结果,并将第一数据处理结果发送至多个客户端。
本申请一些实施例中,中央服务器接收第一目标节点服务器返回的第一数据处理结果,还包括:接收第一目标节点服务器返回的异常检测报告;将异常检测报告存储在数据库或实体文件中。
本申请一些可选地实施例中,中央服务器接收第一目标节点服务器返回的第一数据处理结果,还包括:接收第一目标节点服务器返回的未处理完毕的待处理数据;对未处理完毕的待处理数据进行预处理,确定未处理完毕的待处理数据的数据类型;基于未处理完毕的待处理数据的数据类型,确定处理未处理完毕的待处理数据的目标插件;基于目标插件,将未处理完毕的待处理数据转换为第二目标节点服务器可识别的第四网络通讯包;将第四网络通讯包发送至第二目标节点服务器。
可选地,将第一数据处理结果发送至多个客户端,包括:中央服务器将第一数据处理结果转换为多个客户端可识别的第五网络通讯包;将第五网络通讯包发送到多个客户端。
本申请一些实施例中,中央服务器在将第一数据处理结果发送至多个客户端前,通过中央服务器中的业务处理插件,将第一数据处理结果转换为多个客户端可识别的网络通讯包,再通过RPC网络通讯将第一数据结果响应至多个客户端。
可选地,中央服务器接收运维工具发送的第二数据处理请求,其中,第二数据处理请求至少用于对第一目标节点服务器中的多种类型的服务模块进行安装、卸载、监控。具体地,中央服务器将第二数据处理请求发送至第一目标节点服务器;接收第一目标节点服务器对第二数据处理请求进行处理得到的第二数据处理结果;中央服务器将第二数据处理结果转换为运维工具可识别的第六网络通讯包;将第六网络通讯包发送到运维工具。
本申请一些实施例中,中央服务器在将第二数据处理结果发送至多个客户端前,通过中央服务器中的运维处理插件,将第二数据处理结果转换为运维工具可识别的网络通讯包,再通过HTTP网络通讯将第二数据处理结果响应至运维工具。
本申请一些实施例中,中央服务器通过以下方式接收第二数据处理请求。例如,目标对象通过运维工具上的可视化界面,查看节点服务器上的服务模块,并发起至少对节点服务器上的服务模块进行安装、卸载、监控的第二数据处理请求;然后,运维工具通过HTTP网络通讯,向中央服务器发送第二数据处理请求,由中央服务器通过HTP通讯将第二数据处理请求发送至第一目标节点服务器中。
本申请一些可选地实施例中,在中央服务器与服务器集群发生断电关机的情况下,中央服务器将自动缓存所有未执行完毕的任务,等待重启后继续执行。
图6是根据本申请实施例的一种基于分布式集群的数据处理装置,如图6所示,该装置包括以下模块:
接收模块60,用于第一目标节点服务器接收中央服务器发送的第一数据处理请求,其中,第一目标节点服务器中包括:多种类型的服务模块,其中,多种类型的服务模块用于对待处理数据进行不同的数据处理;
运行模块62,用于基于第一数据处理请求,运行多种类型的服务模块对待处理数据进行数据处理;
调用模块64,用于在数据处理过程,调用第一目标节点服务器所在服务器集群中的所有显卡同时执行数据处理过程;
重启模块66,用于在监测到数据处理过程中任意服务模块发送异常时,对发送异常的服务模块进行重启;
返回模块68,用于将异常的服务模块中未处理完毕的待处理数据返回至中央服务器,其中,未处理完毕的待处理数据用于在第二目标节点服务器中重新进行数据处理。
本申请一些实施例中,运行模块中包括:检测单元,用于在数据处理过程中,对多种类型的服务模块的运行状态进行实时监测,得到实时监测结果,其中,多种类型的服务模块相互独立运行;转换单元,用于将实时监测结果转换为中央服务器可识别的第一网络通讯包;将第一网络通讯包发送至中央服务器。
本申请一些可选地实施例中,调用模块中包括:安装单元,用于在服务器集群中的多个节点服务器中安装显卡调度服务;调用单元,用于基于显卡调度服务,第一目标节点服务器将实时调用第一目标节点服务器所在服务器集群中的所有显卡同时执行数据处理过程。
根据本申请实施例的另一方面,还提供了一种非易失性存储介质,非易失性存储介质包括存储的程序,其中,在程序运行时控制非易失性存储介质所在设备执行上述的基于分布式集群的数据处理方法。
具体地,上述存储介质用于存储执行以下功能的程序指令,实现以下功能:第一目标节点服务器接收中央服务器发送的第一数据处理请求,其中,第一目标节点服务器中包括:多种类型的服务模块,其中,多种类型的服务模块用于对待处理数据进行不同的数据处理;基于第一数据处理请求,运行多种类型的服务模块对待处理数据进行数据处理;在数据处理过程,调用第一目标节点服务器所在服务器集群中的所有显卡同时执行数据处理过程;在监测到数据处理过程中任意服务模块发送异常时,对发送异常的服务模块进行重启;将异常的服务模块中未处理完毕的待处理数据返回至中央服务器,其中,未处理完毕的待处理数据用于在第二目标节点服务器中重新进行数据处理。
上述本申请实施例序号仅仅为了描述,不代表实施例的优劣。
在本申请的上述实施例中,对各个实施例的描述都各有侧重,某个实施例中没有详述的部分,可以参见其他实施例的相关描述。
在本申请所提供的几个实施例中,应该理解到,所揭露的技术内容,可通过其它的方式实现。其中,以上所描述的装置实施例仅仅是示意性的,例如所述单元的划分,可以为一种逻辑功能划分,实际实现时可以有另外的划分方式,例如多个单元或组件可以结合或者可以集成到另一个系统,或一些特征可以忽略,或不执行。另一点,所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口,单元或模块的间接耦合或通信连接,可以是电性或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外,在本申请各个实施例中的各功能单元可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现,也可以采用软件功能单元的形式实现。
所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储介质中。基于这样的理解,本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以使得一台计算机设备(可为个人计算机、服务器或者网络设备等)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括:U盘、只读存储器(ROM,Read-Only Memory)、随机存取存储器(RAM,Random Access Memory)、移动硬盘、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述仅是本申请的优选实施方式,应当指出,对于本技术领域的普通技术人员来说,在不脱离本申请原理的前提下,还可以做出若干改进和润饰,这些改进和润饰也应视为本申请的保护范围。

Claims (10)

1.一种基于分布式集群的数据处理方法,其特征在于,包括:
第一目标节点服务器接收中央服务器发送的第一数据处理请求,其中,所述第一目标节点服务器中包括:多种类型的服务模块,其中,所述多种类型的服务模块用于对待处理数据进行不同的数据处理;
基于所述第一数据处理请求,运行所述多种类型的服务模块对所述待处理数据进行数据处理;
在数据处理过程,调用所述第一目标节点服务器所在服务器集群中的所有显卡同时执行所述数据处理过程;
在监测到所述数据处理过程中任意服务模块发送异常时,对发送异常的服务模块进行重启;
将所述异常的服务模块中未处理完毕的待处理数据返回至所述中央服务器,其中,所述未处理完毕的待处理数据用于在第二目标节点服务器中重新进行数据处理。
2.根据权利要求1所述的方法,其特征在于,所述方法还包括:
在所述数据处理过程中,对所述多种类型的服务模块的运行状态进行实时监测,得到实时监测结果,其中,所述多种类型的服务模块相互独立运行;
将所述实时监测结果转换为所述中央服务器可识别的第一网络通讯包;
将所述第一网络通讯包发送至所述中央服务器。
3.根据权利要求1所述的方法,其特征在于,在数据处理过程,调用所述第一目标节点服务器所在服务器集群中的所有显卡同时执行所述数据处理过程,包括:
所述服务器集群中的多个节点服务器均安装有显卡调度服务;
基于所述显卡调度服务,所述第一目标节点服务器将实时调用所述第一目标节点服务器所在服务器集群中的所有显卡同时执行所述数据处理过程。
4.根据权利要求2所述的方法,其特征在于,对发生异常的服务模块进行重启之后,所述方法还包括:
在所述实时监测结果指示任意服务模块出现数据处理异常的情况下,所述第一目标节点服务器将对异常的服务模块进行检测,得到异常检测报告;
将所述异常检测报告发送给所述中央服务器,其中,所述异常检测报告用于对数据处理过程中出现的异常进行异常分析。
5.根据权利要求1所述的方法,其特征在于,所述方法还包括:
所述第一目标节点服务器接收所述中央服务器发送的第二数据处理请求;
基于所述第二数据处理请求,所述第一目标节点服务器至少对所述多种类型的服务模块进行以下之一操作:安装、卸载、监控。
6.一种基于分布式集群的数据处理方法,其特征在于,包括:
中央服务器接收多个客户端发送的第一数据处理请求;
基于所述第一数据处理请求,所述中央服务器对待处理数据进行预处理,得到预处理结果;
基于所述预处理结果,所述中央服务器将所述待处理数据发送给第一目标节点服务器;
所述中央服务器接收所述第一目标节点服务器返回的第一数据处理结果,并将所述第一数据处理结果发送至所述多个客户端。
7.根据权利要求6所述的方法,其特征在于,基于所述第一数据处理请求,所述中央服务器对待处理数据进行预处理,得到预处理结果,包括:
确定所述待处理数据中的错误数据,并将所述错误数据返回给所述多个客户端;
确定所述待处理数据的数据类型。
8.根据权利要求7所述的方法,其特征在于,所述中央服务器接收所述第一目标节点服务器返回的第一数据处理结果,包括:
接收所述第一目标节点服务器返回的未处理完毕的待处理数据;
对所述未处理完毕的待处理数据进行预处理,确定所述未处理完毕的待处理数据的数据类型;
基于所述未处理完毕的待处理数据的数据类型,确定处理所述未处理完毕的待处理数据的目标插件;
基于所述目标插件,将所述未处理完毕的待处理数据转换为第二目标节点服务器可识别的第四网络通讯包;
将所述第四网络通讯包发送至所述第二目标节点服务器。
9.一种基于分布式集群的数据处理装置,其特征在于,包括:
接收模块,用于第一目标节点服务器接收中央服务器发送的第一数据处理请求,其中,所述第一目标节点服务器中包括:多种类型的服务模块,其中,所述多种类型的服务模块用于对待处理数据进行不同的数据处理;
运行模块,用于基于所述第一数据处理请求,运行所述多种类型的服务模块对所述待处理数据进行数据处理;
调用模块,用于在数据处理过程,调用所述第一目标节点服务器所在服务器集群中的所有显卡同时执行所述数据处理过程;
重启模块,用于在监测到所述数据处理过程中任意服务模块发送异常时,对发送异常的服务模块进行重启;
返回模块,用于将所述异常的服务模块中未处理完毕的待处理数据返回至所述中央服务器,其中,所述未处理完毕的待处理数据用于在第二目标节点服务器中重新进行数据处理。
10.一种非易失性存储介质,其特征在于,所述非易失性存储介质包括存储的程序,其中,在所述程序运行时控制所述非易失性存储介质所在设备执行权利要求1至8中任意一项所述的基于分布式集群的数据处理方法。
CN202210148489.1A 2022-02-17 2022-02-17 基于分布式集群的数据处理方法及装置 Active CN114553870B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210148489.1A CN114553870B (zh) 2022-02-17 2022-02-17 基于分布式集群的数据处理方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210148489.1A CN114553870B (zh) 2022-02-17 2022-02-17 基于分布式集群的数据处理方法及装置

Publications (2)

Publication Number Publication Date
CN114553870A true CN114553870A (zh) 2022-05-27
CN114553870B CN114553870B (zh) 2024-02-27

Family

ID=81675770

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210148489.1A Active CN114553870B (zh) 2022-02-17 2022-02-17 基于分布式集群的数据处理方法及装置

Country Status (1)

Country Link
CN (1) CN114553870B (zh)

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20080228865A1 (en) * 2007-03-15 2008-09-18 Nazareno Brier Cruzada Electronic personal computing and videophone system consisting of a remote server system providing dynamic, subscription based virtual computing services & resources, a thin client hardware device connected to a television set and wireless keyboard & mouse, and a wireless mobile device (a Pocket PC Phone)
CN102135889A (zh) * 2010-12-25 2011-07-27 许继集团有限公司 嵌入式系统通讯方式的快速构建方法
CN107705838A (zh) * 2017-09-30 2018-02-16 武汉联影医疗科技有限公司 一种医学影像的传输方法、装置、服务器、介质及系统
US20180293341A1 (en) * 2016-08-24 2018-10-11 Improbable Worlds Ltd Simulation Systems and Methods
CN108665963A (zh) * 2018-05-15 2018-10-16 上海商汤智能科技有限公司 一种影像数据分析方法及相关设备
CN110442450A (zh) * 2019-07-10 2019-11-12 北京云派网络科技有限公司 图像处理设备、方法、装置以及素材计算与渲染的系统
CN110795241A (zh) * 2019-10-18 2020-02-14 北京并行科技股份有限公司 一种作业调度管理方法、调度中心和系统
CN213211724U (zh) * 2020-08-18 2021-05-14 深圳开立生物医疗科技股份有限公司 一种dicom多功能系统以及医学图像处理系统

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20080228865A1 (en) * 2007-03-15 2008-09-18 Nazareno Brier Cruzada Electronic personal computing and videophone system consisting of a remote server system providing dynamic, subscription based virtual computing services & resources, a thin client hardware device connected to a television set and wireless keyboard & mouse, and a wireless mobile device (a Pocket PC Phone)
CN102135889A (zh) * 2010-12-25 2011-07-27 许继集团有限公司 嵌入式系统通讯方式的快速构建方法
US20180293341A1 (en) * 2016-08-24 2018-10-11 Improbable Worlds Ltd Simulation Systems and Methods
CN107705838A (zh) * 2017-09-30 2018-02-16 武汉联影医疗科技有限公司 一种医学影像的传输方法、装置、服务器、介质及系统
CN108665963A (zh) * 2018-05-15 2018-10-16 上海商汤智能科技有限公司 一种影像数据分析方法及相关设备
CN110442450A (zh) * 2019-07-10 2019-11-12 北京云派网络科技有限公司 图像处理设备、方法、装置以及素材计算与渲染的系统
CN110795241A (zh) * 2019-10-18 2020-02-14 北京并行科技股份有限公司 一种作业调度管理方法、调度中心和系统
CN213211724U (zh) * 2020-08-18 2021-05-14 深圳开立生物医疗科技股份有限公司 一种dicom多功能系统以及医学图像处理系统

Also Published As

Publication number Publication date
CN114553870B (zh) 2024-02-27

Similar Documents

Publication Publication Date Title
CN110377590B (zh) 基于物联网的数据采集系统、方法及计算机可读存储介质
CN103281359A (zh) 云桌面系统及运行方法
EP3865998A1 (en) Cluster management method, apparatus and system
CN112948212A (zh) Rpa任务状态监控方法、装置及计算机存储介质
CN105591782A (zh) 测试设备的管理方法及装置
US20190384691A1 (en) Methods for providing an enterprise synthetic monitoring framework
CN114070763B (zh) 基于改进的rest协议的测试方法、客户端、服务器及介质
CN114691390A (zh) 用户态程序的处理方法和装置、存储介质及处理器
CN114237538A (zh) 一种投屏控制方法、服务器、投屏设备和系统
EP4120631A1 (en) Network connection method and device for training participant end of common training model
CN111078463A (zh) 数据备份的方法、装置和系统
CN112600842A (zh) 集群shell方法、装置、电子设备及计算机可读存储介质
CN114553870A (zh) 基于分布式集群的数据处理方法及装置
CN110290206B (zh) 一种用于网吧环境的分布式计算系统及方法
CN109062599B (zh) 微服务架构下代码更新的管理方法和装置
CN111162938A (zh) 数据处理系统及方法
CN111767176A (zh) 一种远程控制终端设备的方法和装置
CN115629936A (zh) 获取设备信息的方法及装置、计算机可读存储介质
CN114125024B (zh) 音频传输方法、电子设备及可读存储介质
CN112885296B (zh) 故障信息的获取方法及装置、存储介质及电子装置
KR20160096243A (ko) 시맨틱 정보 분석을 지원할 수 있는 IoT 서비스 시스템 및 방법
CN113760469A (zh) 分布式计算的方法和装置
CN113973044A (zh) 一种升级方法、升级系统和计算机设备
CN111190773A (zh) 一种云主机宕机时的重启方法及其系统
CN110768855A (zh) 链路化性能测试的方法和装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant