CN114093505B - 一种基于云边端架构的病理检测系统及方法 - Google Patents

一种基于云边端架构的病理检测系统及方法 Download PDF

Info

Publication number
CN114093505B
CN114093505B CN202111361578.6A CN202111361578A CN114093505B CN 114093505 B CN114093505 B CN 114093505B CN 202111361578 A CN202111361578 A CN 202111361578A CN 114093505 B CN114093505 B CN 114093505B
Authority
CN
China
Prior art keywords
cloud
edge
pathological
layer
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202111361578.6A
Other languages
English (en)
Other versions
CN114093505A (zh
Inventor
陈静
肖恭翼
李娜
葛菁
王迪
郭莹
王筠
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Qilu University of Technology
Shandong Computer Science Center National Super Computing Center in Jinan
Original Assignee
Shandong Computer Science Center National Super Computing Center in Jinan
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shandong Computer Science Center National Super Computing Center in Jinan filed Critical Shandong Computer Science Center National Super Computing Center in Jinan
Priority to CN202111361578.6A priority Critical patent/CN114093505B/zh
Publication of CN114093505A publication Critical patent/CN114093505A/zh
Application granted granted Critical
Publication of CN114093505B publication Critical patent/CN114093505B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/20—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/10—Protocols in which an application is distributed across nodes in the network
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/10—Protocols in which an application is distributed across nodes in the network
    • H04L67/1097—Protocols in which an application is distributed across nodes in the network for distributed storage of data in networks, e.g. transport arrangements for network file system [NFS], storage area networks [SAN] or network attached storage [NAS]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/12—Protocols specially adapted for proprietary or special-purpose networking environments, e.g. medical networks, sensor networks, networks in vehicles or remote metering networks

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Biomedical Technology (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Computing Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Medical Informatics (AREA)
  • Signal Processing (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Computational Linguistics (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • Public Health (AREA)
  • Evolutionary Computation (AREA)
  • Pathology (AREA)
  • Databases & Information Systems (AREA)
  • Epidemiology (AREA)
  • Primary Health Care (AREA)
  • Medical Treatment And Welfare Office Work (AREA)

Abstract

本发明涉及一种基于云边端架构的病理检测系统及方法，包括云平台层、通信网络层、边缘层；云平台层包括云计算服务器中心、数据库、云端文件存储系统以及一个MQTT服务器；网络通信层包括多种网络通信方式；边缘层就是集成在医疗机构内的各个设备组件，包括边缘设备、本地文件存储系统以及病理切片扫描仪；本发明提供了基于Kubeedge管理平台的云边端架构的病理检测方法，实现边缘设备物模型创建、病理图像模型训练、镜像下发、病理图像检测推理、边缘数据上传等，可有效节省医院病理科的人力、时间成本，提高病理诊断的质量和效率。

Description

一种基于云边端架构的病理检测系统及方法
技术领域
本发明属于以边缘计算为基础，对医疗影像进行人工智能处理和识别、云边端架构模型训练的交叉领域。具体涉及到基于人工智能模型，以云边端架构为基础的对病理图像诊断的系统及方法。
背景技术
人工智能已经广泛应用于医疗领域，医疗行业长期存在资源分配不均、医疗成本过高、病理科医生培养周期长、优质医生缺少等问题。随着人工智能技术不断进步，人工智能在医疗领域逐渐得到应用，辅助医生进行病变检测，实现疾病早期筛查，提高了医生诊断准确率与效率。目前我国病理诊断面临着医疗资源分布不均、病理医生数量严重缺乏、水平参差不齐等难题。人工智能病理检测系统可有效节省医院病理科的人力、时间成本，提高病理诊断的质量和效率。
目前已有一些边缘侧的病理检测系统，但由于现有医疗机构大多采用医疗内网模式，网络带宽较小，边缘侧病理检测系统在应用时存在一些不足：第一，系统架构不稳定，不能有效管理边缘侧病理检测的终端设备，很难进行大规模部署。第二，医疗内网封闭且网络带宽小，病理图像数据量大，难以高效传输到云平台，云平台不能进一步进行模型训练，导致病理模型更新迭代速度慢，病理图像检测识别准确度难以提高。
发明内容
本发明为解决上述的需求和现有技术的缺陷，提出了一种云边端架构为基础病理图像检测系统；
本发明以Kubeedge管理平台为基础，提供了一个稳定的云边端架构，云中心服务器能有效管理医疗机构中的边缘设备，支持大规模部署和集中管理。
本发明还提供了一种基于云边端架构的病理检测方法、计算机设备及存储介质。
术语解释：
1、MQTT服务器，MQTT Broker，也称为MQTT消息服务器，是运行了MQTT消息服务器软件的一台服务器或一个服务器集群。MQTT Broker负责接收来自客户端的网络连接，并处理客户端的订阅/取消订阅(Subscribe/Unsubscribe)、消息发布(Publish)请求，同时也会将客户端发布的消息转发给其他订阅者。
2、Kubernetes，Kubernetes云计算平台，一个开源的容器管理平台。它支持自动化、大规模部署、应用容器化管理。在Kubernetes平台中，用户可以创建多个容器，每个容器里运行一个或者多个应用实例，然后通过内置的负载均衡策略对这些容器进行管理。
3、Kubeedge管理平台，Kubeedge平台，一个支持边缘计算的开发平台。
4、API，Application Programming Interface，应用程序编程接口，是一些预先定义的函数，目的是提供应用程序与开发人员基于某软件或硬件得以访问一组例程的能力，无需访问源码，或理解内部工作机制的细节。
5、mqtt.NewClientOptions()函数，云服务器中心通过mqtt.NewClientOptions()函数对Kubeedge平台下MQTT服务器的传输端口建立连接。其定义了mqttURL地址、连接等待最大时长、建立连接时要提供用户名和密码以及传输链接所需规则。
6、NewDatetime()函数，用于返回当前系统时间。镜像下发至各个医疗机构下属的文件存储系统上并触发触发器，在存储动作发生前，执行该函数获取当前系统时间，并同时存储到文件存储系统里。
7、MD5，全称是Message-Digest Algorithm 5(信息-摘要算法)，在90年代初由MITLaboratory for Computer Science和RSA Data Security Inc的Ronald L.Rivest开发出来，经MD2、MD3和MD4发展而来。
8、CNN卷积神经网络，Convolutional Neural Networks，是一类包含卷积计算且具有深度结构的前馈神经网络，是深度学习的代表算法之一。卷积神经网络仿造生物的视知觉机制构建，可以进行监督学习和非监督学习，其隐含层内的卷积核参数共享和层间连接的稀疏性使得卷积神经网络能够以较小的计算量对格点化特征，例如图像和音频，进行学习、有稳定的效果且对数据没有额外的特征工程要求。
本发明的技术方案为：
一种基于云边端架构的病理检测系统，包括云平台层、通信网络层、边缘层；
所述云平台层包括云计算服务器中心、数据库、云端文件存储系统以及MQTT服务器；
所述云计算服务器中心用于病理检测模型的训练；所述云端文件存储系统用于存储病理检测模型、病理图像训练集、镜像；所述数据库用于存储寻址目录；所述MQTT服务器是云平台层与边缘层进行信息交互的代理服务器，提供云平台层与边缘层信息交互功能；
所述边缘层是集成在医疗机构内部中的各个设备，包括边缘设备、本地文件存储系统以及病理切片扫描仪；
所述本地文件存储系统用于存储历史和最新版本的病理检测模型、可执行程序、病理图像及其检测结果；所述本地文件存储系统与云平台层进行信息交互；所述病理切片扫描仪用于全信息、全方位快速扫描病理切片，获取数字化病理图像。
进一步优选的，云平台层与边缘层信息交互功能包括：指令下发、Pod启动、获取边缘设备状态信息、Pod容器工作数据收发以及工作日志、数据传递。
根据本发明优选的，所述数据库、云端文件存储系统与云计算服务器中心处于同一局域网内。
根据本发明优选的，所述边缘设备选用Jeston Nx Xavier。
进一步优选的，云端文件存储系统用于存储病理检测模型、训练集、测试集、模型参数配置文件、Docker配置文件以及镜像文件。
进一步优选的，所述数据库用于存储医疗机构名称、边缘设备ID号、文件存储的寻址目录。
一种基于云边端架构的病理检测方法，以Kubeedge管理平台为云端，边缘设备为边缘层，数字扫描仪为终端设备，实现病理图像检测模型的训练、镜像下发和病理图像检测识别，具体实现步骤如下：
步骤1：云端创建物模型：以Yaml文件创建物模型和设备，指定终端设备所属的node节点，管理终端设备；
步骤2：病理图像预处理和病理图像检测模型训练：云端对病理图像进行裁剪预处理后，云端利用CNN卷积神经网络进行病理图像检测模型训练，将训练好的病理图像检测模型存储到云端文件存储系统，存储路径保存到数据库中；
步骤3：生成镜像并下发：云端将训练好的病理图像检测模型生成镜像，发送至MQTT服务器，提供给边缘层进行订阅；
步骤4：边缘层进行病理识别诊断：边缘设备拉取镜像，数字扫描仪上传待检测的病理图像，边缘设备进行推理诊断，诊断结果传送给医护人员，医护人员给出最终反馈，最终反馈结果和病理图片存入本地文件存储系统中；
步骤5：边缘层数据上传：边缘层采用网络闲时传输模式，将本地文件存储系统中存储的病理图像发送到MQTT服务器，等待云服务器计算中心进行订阅；云服务器计算中心对收取到的数据进行存储，数据文件保存到云端文件存储系统，存储路径保存到数据库中。
根据本发明优选的，步骤1中，在Kubeedge管理平台中创建设备和设备模型(物模型)；
创建设备的实现过程包括：调用创建好的设备api，继承访问方式，指定该设备所属的node节点，随机生成设备号，创建病理切片扫描仪在Kubeedge管理平台中所对应的设备，并根据传输的内容包括病理图像和病理图像识别结果，将传输流设定为二进制传输，病理图像和病理图像识别结果均属于二进制文本传输；
创建设备模型的实现过程包括：以Yaml配置文件创建Kubeedge管理平台的设备api，访问方式设置为读写。
根据本发明优选的，步骤2中，病理图像预处理和病理图像检测模型训练，具体实现步骤如下：
步骤2.1：数据预处理：云计算服务器中心对从各个医疗机构获取的病理图像进行预处理，包括：首先，裁剪病理图像，统一图像大小，尽可能的使病理特征占据图像的绝大部分，并去除可能带有的敏感信息；然后，对病变区域进行标注；将得到的病理图像划分为训练集、测试集与验证集；
步骤2.2：数据训练：将训练集送入CNN卷积神经网络进行训练：首先，病理图像在输入层进行归一化操作；然后，在卷积层对输入的病理图像进行特征提取，输出的特征图传递至池化层进行特征选择和信息过滤；最后，由输出层输出每个像素的分类结果；
对训练集的病理图像进行5次卷积和2次池化，得到训练好的病理检测模型。
步骤2.3：将训练好的病理检测模型存入云端的文件存储系统。
进一步优选的，步骤2.1中，将病理图像的数据集打上标签，夜间网络闲时，发送至MQTT服务器，云计算服务器中心进行订阅和存储获得。
根据本发明优选的，步骤3中，生成镜像并下发，具体实现过程如下：
步骤3.1：生成镜像：将训练好的病理检测模型及代码通过Pyinstaller插件生成可执行程序，以Dockerfile配置文件配置环境的方式打包成为镜像；
步骤3.2：创建服务与容器：在云计算服务器中心生成一个Deployment，这个Deployment将在云服务器中心生成一个服务(Service)，并对所有边缘设备生成一个对应的Pod容器；
步骤3.3：镜像下发：云服务器中心通过mqtt.NewClientOptions()函数对Kubeedge管理平台MQTT服务器的传输端口建立连接，将镜像下发至各个医疗机构下属的本地文件存储系统上，并触发触发器NewDatetime()函数加上时间戳进行存储，边缘设备将最新时间戳镜像进行拉取并覆盖旧镜像；
步骤3.4：启动Pod容器：边缘设备拉取到镜像，Pod容器检测到新镜像已存在，Pod容器被激活，边缘设备将设备信息和容器信息存入MQTT服务器监听文件目录；
步骤3.5：MQTT服务器将监听到的更新内容进行订阅接收，传送给云计算服务器中心进行处理，针对容器信息，云服务器将Pod容器的状态更新为Running，并和设备信息一块更新到UI界面。
根据本发明优选的，步骤4中，边缘层进行病理识别诊断，具体通过以下步骤实现：
步骤4.1：标本数字化：所述病理切片扫描仪将生物制的标本镜像全信息、全方位快速扫描，获取病理图像；
步骤4.2：边缘设备初步诊断：数字化后的病理图像上传到边缘设备进行识别与推理；
步骤4.3：返回初步识别结果：边缘设备返回病理图像的初步诊断识别结果；
步骤4.4：医护人员对初步诊断识别结果进行反馈，给出最终诊断识别结果，将最终诊断识别结果与该病理图像存入到本地文件存储系统中。
一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现基于云边端架构的病理检测方法的步骤。
一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现基于云边端架构病理检测方法的步骤。
本发明达到的有益效果为：
1、系统化。本发明提供了成熟的Kubeedge管理平台作为管理边缘侧的一种方法，支持大规模节点接入、模型自动下发，操作简便。
2、轻量化。本发明采用开源的边缘计算管理平台，高性价比且使用体积小、低功耗的边缘设备，更有利于远距离、经济落后医疗机构使用。
3、持续更新。本发明解决了医疗机构内部的数据孤岛问题，病理图像数据和模型可不断训练、更新迭代模型，保证模型的识别能力和推理能力。
4、实时处理。本发明边缘设备具备较强的GPU算力，突发病理检测需求能够及时得到信息反馈。
附图说明
图1为本发明基于云边端架构病理检测系统的架构示意图；
图2为云服务器计算中心病理图像预处理、模型训练、生成可执行程序并打包成镜像的流程示意图；
图3为Kubeedge管理平台示意图；
图4为云服务器向各医疗机构下发镜像的流程示意图；
图5为云计算服务器中心通过Kubeedge平台与边缘设备信息交互的流程示意图；
图6为边缘层进行病理识别诊断的流程示意图；
图7为实施例2中对食管早癌病理图像裁剪后效果示例图；
图8为实施例2中对病理图像分类标注的示意图；
图9为病理检测模型的训练结果示意图。
具体实施方式
下面结合说明书附图和实施例对本发明作进一步限定，但不限于此。
实施例1
一种基于云边端架构的病理检测系统，包括云平台层、通信网络层、边缘层；云端部署在云平台层中，边缘层部署在医疗机构内部，通过通信网络层建立连接。
如图1、图3所示，云平台层包括云计算服务器中心、数据库、云端文件存储系统、MQTT服务器以及Go环境、Kubernetes、Kubeedge平台、Docker等软件。软件集成在云计算服务器中心。
云计算服务器中心用于病理检测模型的训练；数据库与云端文件存储系统构成云平台层数据核心。
云端文件存储系统用于存储病理检测模型、训练集、测试集、模型参数配置文件、Docker配置文件以及镜像文件等文件；
数据库用于存储医疗机构名称、边缘设备ID号、文件存储的寻址目录。对接入云平台的医疗机构及其边缘设备进行记录，如医疗机构记录为Hospital-name1，其边缘设备通过ID号进行记录，如Hospital-name1-E1ID。
MQTT服务器是云平台层与边缘层进行信息交互的代理服务器，提供云平台层与边缘层信息交互功能；云平台层与边缘层信息交互功能包括：指令下发、Pod启动、获取边缘设备状态信息、Po d容器工作数据收发以及工作日志、数据传递。
网络通信层包括有线和无线两种网络通信方式；是为了解决现有技术不足以及医疗机构采用内网边缘设备接入管理困难和网络带宽不足的问题，为Kubedge平台中的云服务器与边缘层提供通讯。
边缘层是集成在医疗机构内部中的各个设备，包括边缘设备、本地文件存储系统以及病理切片扫描仪；
边缘设备即带有强大算力的GPU设备，能快速处理大量的的病理图像识别和推理的需求。边缘设备选用Jeston Nx Xavier，该设备功耗需求极低其体积很小。
本地文件存储系统是医疗机构中的数据核心。用于存储历史和最新版本的病理检测模型、可执行程序、病理图像及其检测结果；本地文件存储系统与云平台层进行信息交互；传输数据量较大，所以与云平台层云端文件存储系统以有线方式连接。
病理切片扫描仪用于全信息、全方位快速扫描病理切片，获取数字化病理图像。
数据库、云端文件存储系统与云计算服务器中心同属一层，处于同一局域网内。图1中，边缘设备与云平台层的交互为无线网络，本地文件存储系统与云平台层的交互为有线网络，以解决医疗内网边缘层设备接入管理困难及网络带宽不足问题。
云平台层或边缘层作为消息发送方，接收者作为订阅方，具体通过以下步骤实现：
a、消息发送方建立连接：云平台层或边缘层均可作为消息发送方。将消息通过MQTT监听端口发送至MQTT服务器中，先向MQTT服务器请求发起连接；
b、对发送的消息进行封装：将希望接收消息的边缘设备ID号通过MD5加密生成128位哈希值(Hash值)，封装成消息的主题(Topic)，发送到MQTT服务器；
c、等待消息订阅：MQTT服务器根据加密协议对加密的主题(Topic)进行解密，解密获取边缘设备ID号，激发所对应的边缘设备的MQTT监听端口，等待所希望接收的边缘设备进行订阅；
d、消息订阅完成：通过MQTT监听边缘设备的端口，如果检测到新增消息，对MQTT服务器发起会话，MQTT服务器验证其ID号是否为所希望接收者，边缘设备收取消息，会话结束。
实施例2
一种基于云边端架构的病理检测方法，本实施例为食管早癌病理图像诊断，以Kubeedge管理平台为云端，边缘设备为边缘层，数字扫描仪为终端设备，实现病理图像检测模型的训练、镜像下发和病理图像检测识别，具体实现步骤如下：
步骤1：云端创建物模型：以Yaml文件创建物模型和设备，指定终端设备所属的node节点，管理终端设备；
创建设备的实现过程包括：调用创建好的设备api，继承访问方式，指定该设备所属的node节点，随机生成设备号，创建病理切片扫描仪在Kubeedge管理平台中所对应的设备，并根据传输的内容包括病理图像和病理图像识别结果，将传输流设定为二进制传输，病理图像和病理图像识别结果均属于二进制文本传输；
创建设备模型(物模型)的实现过程包括：以Yaml配置文件创建Kubeedge管理平台的设备api，访问方式设置为读写。
步骤2：病理图像预处理和病理图像检测模型训练：云端对从医疗机构数据库获取的食管早癌病理图像进行裁剪预处理后，云端利用CNN卷积神经网络进行病理图像检测模型训练，将训练好的病理图像检测模型存储到云端文件存储系统，存储路径保存到数据库中；具体实现步骤如下：
步骤2.1：数据预处理：采用网络闲时传输模式，云平台层将云端文件存储系统中的食管早癌病理图像的数据集打上标签传输至MQTT服务器，本地文件存储系统建立VPN连接，从MQTT服务器上下载镜像进行存储。进行预处理，包括：首先，裁剪病理图像，统一图像大小，尽可能的使病理特征占据图像的绝大部分，裁剪效果示例如图7所示，并去除包括病人姓名、性别和年龄等可能带有的敏感信息；然后，对病变区域进行标注；将得到的病理图像划分为训练集、测试集与验证集；训练目标为该病理图像是否存在癌变组织。训练集和测试集根据病理特征分为High(高级别，图8中c所示)、Low(低级别，图8中b所示)、Normal(正常，图8中a所示)三类，分别存储于三个文件夹下。High、Low、Normal成为数据的label，不同label带有不同标签值。
步骤2.2：数据训练：os.path()函数读取数据文件路径，将训练集送入CNN卷积神经网络进行训练：首先，病理图像在输入层进行归一化操作；然后，在卷积层对输入的病理图像进行特征提取，输出的特征图传递至池化层进行特征选择和信息过滤；最后，由输出层输出每个像素的分类结果；
对训练集的病理图像进行5次卷积和2次池化，分别对训练集的High、Low、Normal类别的数据以初始通道数为3的CNN卷积神经网络对病理图像数据进行5次卷积，
每次卷积层提取图像特征的计算过程如式(I)所示：
Figure BDA0003359167810000081
式(I)中，l表示当前卷积所处的卷积层数，
Figure BDA0003359167810000082
表示连接第l-1层的第i个特征图像和第l层的第j个特征图像的卷积核，x为第l-1层的第i个特征图像，b表示第l层的偏置，f()表示非线性激活函数。
CNN卷积神经网络中，5层卷积层的卷积核分别设置为11×11,1×7,7×1,3×3和1×1，激活函数均使用ReLU，第一层卷积层的步幅设置为2，其他各卷积层的步幅均设置为1。2层池化层均采用max_pooling方式，局部感受野均为3×3，步幅均为2。
卷积函数：conv2d(input_op,kernel,(1,dh,dw,1),padding＝padding)
输入模型为4维的Tensor：(N,Cin,Hin,Win)＝(160,103,300,3)；
输出模型为：(Ni,Cou+,Hou+,Wout)；
其中：
Figure BDA0003359167810000083
out(Woutj)＝(Win-kernel_Win+1)/dWin；out(Hou+j)＝(Hin-kernel_Hin+1)/dHin。
如图2所示，病理检测模型训练完成后，输入测试集对病理检测模型进行测试，同样分别以高、中、低类别的数据进行测试，每个类别的测试均产生一次准确值的结果,并将训练结果存储到云端文件存储系统中，训练结果如图9所示。
步骤2.3：将训练好的病理检测模型存入云端的文件存储系统：使用Pyinstaller插件将训练好的病理检测模型代码打包为可执行程序，通过Dockerfile指定该可执行程序的运行环境，然后打包成镜像，将镜像与Dockerfile配置文件存入云端文件存储系统。
步骤3：生成镜像并下发：云端将训练好的病理图像检测模型生成镜像，发送至MQTT服务器，提供给边缘层进行订阅；具体实现过程如下：
步骤3.1：生成镜像：将训练好的病理检测模型及代码通过Pyinstaller插件生成可执行程序，以Dockerfile配置文件配置环境的方式打包成为镜像；
步骤3.2：创建服务与容器：在云计算服务器中心生成一个Deployment，这个Deployment将在云服务器中心生成一个服务(Service)，并对所有边缘设备生成一个对应的Pod容器；
步骤3.3：镜像下发：如图4所示，云服务器向云端文件存储系统提取最新镜像文件，云服务器对该次下发镜像文件进行封装，将封装完毕的镜像发送至MQTT服务器，云服务器中心通过mqtt.NewClientOptions()函数对Kubeedge管理平台MQTT服务器的传输端口建立连接，将镜像下发至各个医疗机构下属的本地文件存储系统上，并触发触发器NewDatetime()函数加上时间戳进行存储，边缘设备将最新时间戳镜像进行拉取并覆盖旧镜像；
步骤3.4：启动Pod容器：边缘设备拉取到镜像，Pod容器检测到新镜像已存在，Pod容器被激活，边缘设备将设备信息和容器信息存入MQTT服务器监听文件目录；
步骤3.5：MQTT服务器将监听到的更新内容进行订阅接收，传送给云计算服务器中心进行处理，针对容器信息，云服务器将Pod容器的状态更新为Running，并和设备信息一块更新到UI界面。
挂载于边缘设备的Pod所使用的镜像通过MQTT服务器下发至各个医疗机构的本地文件存储系统中。当边缘设备从本地文件存储系统成功拉取镜像，Pod便启动成功；边缘设备拉取到的镜像包括病理检测识别模型和可执行程序以及运行环境，以边缘设备具有强大算力为基础，对病理切片扫描仪上传的所需识别的病理图像进行快速诊断和推理，然后将结果最终返回至医疗工作者。
如图5所示，步骤3.4、步骤3.5中，云计算服务器中心对边缘设备下发消息，具体实现过程如下：
①由云计算服务器中心通过Yaml文件启动Deployment和Pod。其中Yaml配置文件设定了Po d的数量(与边缘设备的数量一致)以及对MQTT服务器的监听端口和监听策略。此时的Pod的状态为PodInitializing。
②云服务器将要发送的信息封装上标签(MQTT协议)以后提交到MQTT服务器以后等待订阅。
③边缘设备请求对MQTT服务器发起会话，对封装的消息进行订阅和获取。
④边缘设备成功接收到来自云计算服务器中心下发的消息和Pod配置信息。
⑤边缘设备向本地文件存储系统拉取Pod所需的镜像，最终Pod启动完毕。若边缘设备未能成功接收到来自云计算服务器中心下发的镜像和Pod配置信息，可在云服务器计算中心或者边缘设备查看边缘节点的日志信息。
⑥边缘设备接收到来自云计算服务器中心下发的消息和Pod配置信息，将此次会话成功的消息封装标签后发送至MQTT服务器，等待云服务器计算中心的订阅。
⑦云计算服务器中心对MQTT中的消息进行订阅，检测到边缘设备将镜像成功拉取，Pod状态变为Running。
步骤4：如图6所示，边缘层进行病理识别诊断：边缘设备拉取镜像，数字扫描仪上传待检测的病理图像，边缘设备进行推理诊断，诊断结果传送给医护人员，医护人员给出最终反馈，最终反馈结果和病理图片存入本地文件存储系统中；具体通过以下步骤实现：
步骤4.1：标本数字化：病理切片扫描仪将生物制的标本镜像全信息、全方位快速扫描，获取病理图像；
步骤4.2：边缘设备初步诊断：数字化后的病理图像上传到边缘设备进行识别与推理；
步骤4.3：返回初步识别结果：边缘设备返回病理图像的初步诊断识别结果；
步骤4.4：医护人员对初步诊断识别结果进行反馈，给出最终诊断识别结果，将最终诊断识别结果与该病理图像存入到本地文件存储系统中。
步骤5：边缘层数据上传：边缘层采用网络闲时传输模式，将本地文件存储系统中存储的病理图像发送到MQTT服务器，等待云服务器计算中心进行订阅；云服务器计算中心对收取到的数据进行存储，数据文件保存到云端文件存储系统，存储路径保存到数据库中。
本地文件存储系统向云平台层上传新数据集，步骤5的具体实现过程如下：
步骤5.1：如图6所示，将边缘设备检测诊断的病理切片图像与医疗工作者最终诊断结果存储到本地文件存储系统中，形成新的数据集。
步骤5.2：如图6所示，本地文件存储系统向云平台层发起连接，同样采用网络闲时传输模式将新数据集传输至云平台。
步骤5.3：如图1所示，本地文件存储系统对数据包进行封装，发往MQTT服务器等待云服务器的订阅。
步骤5.4：云服务器对数据包进行订阅，数据下载完成，数据包存储到文件存储系统，寻址目录存入数据库。
实施例3
一种计算机设备，包括存储器和处理器，存储器存储有计算机程序，处理器执行计算机程序时实现实施例2所述的基于云边端架构的病理检测方法的步骤。
实施例4
一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现实施例2所述的基于云边端架构的病理检测方法的步骤。
至此，以结合多个图例对此发明系统流程和运行步骤做出了详细说明和指示。以上说明均为对本发明的一种优选实施方案，是为了更好理解系统的运作流程，并非对本发明保护范围的限制。但相反，任何基于本发明的修饰或者更改，都应该被纳入本发明的保护范围之内。

Claims (10)

1.一种基于云边端架构的病理检测方法，其特征在于，运行于基于云边端架构的病理检测系统中，基于云边端架构的病理检测系统包括云平台层、通信网络层、边缘层；所述云平台层包括云计算服务器中心、数据库、云端文件存储系统以及MQTT服务器；所述云计算服务器中心用于病理检测模型的训练；所述云端文件存储系统用于存储病理检测模型、训练集、镜像；所述数据库用于存储寻址目录；所述MQTT服务器是云平台层与边缘层进行信息交互的代理服务器，提供云平台层与边缘层信息交互功能；所述边缘层就是集成在医疗机构内部中的各个设备，包括边缘设备、本地文件存储系统以及病理切片扫描仪；所述本地文件存储系统用于存储历史和最新版本的病理检测模型、可执行程序、病理图像及其检测结果；所述本地文件存储系统与云平台层进行信息交互；所述病理切片扫描仪用于全信息、全方位快速扫描病理切片，获取数字化病理图像；
以Kubeedge管理平台为云端，边缘设备为边缘层，数字扫描仪为终端设备，实现病理图像检测模型的训练、镜像下发和病理图像检测识别，具体实现步骤如下：
步骤1：云端创建物模型：创建物模型和设备，指定终端设备所属的node节点，管理终端设备；
步骤2：病理图像预处理和病理图像检测模型训练：云端对病理图像进行预处理后，云端利用CNN卷积神经网络进行病理图像检测模型训练，将训练好的病理图像检测模型存储到云端文件存储系统，存储路径保存到数据库中；
步骤3：生成镜像并下发：云端将训练好的病理图像检测模型生成镜像，发送至MQTT服务器，提供给边缘层进行订阅；
步骤4：边缘层进行病理识别诊断：边缘设备拉取镜像，数字扫描仪上传待检测的病理图像，边缘设备进行推理诊断，诊断结果传送给医护人员，医护人员给出最终反馈，最终反馈结果和病理图片存入本地文件存储系统中；
步骤5：边缘层数据上传：边缘层将本地文件存储系统中存储的病理图像发送到MQTT服务器，等待云服务器计算中心进行订阅；云服务器计算中心对收取到的数据进行存储，数据文件保存到云端文件存储系统，存储路径保存到数据库中。
2.根据权利要求1所述的一种基于云边端架构的病理检测方法，其特征在于，云平台层与边缘层信息交互功能包括：指令下发、Pod启动、获取边缘设备状态信息、Pod容器工作数据收发以及工作日志、数据传递。
3.根据权利要求1所述的一种基于云边端架构的病理检测方法，其特征在于，所述数据库、云端文件存储系统与云计算服务器中心处于同一局域网内；所述边缘设备选用JestonNx Xavier。
4.根据权利要求1所述的基于云边端架构的病理检测方法，其特征在于，步骤1中，在Kubeedge管理平台中创建设备和设备模型；
创建设备的实现过程包括：调用创建好的设备api，继承访问方式，指定该设备所属的node节点，随机生成设备号，创建病理切片扫描仪在Kubeedge管理平台中所对应的设备，并根据传输的内容包括病理图像和病理图像识别结果，将传输流设定为二进制传输，病理图像和病理图像识别结果均属于二进制文本传输；
创建设备模型的实现过程包括：以Yaml配置文件创建Kubeedge管理平台的设备api，访问方式设置为读写。
5.根据权利要求1所述的基于云边端架构的病理检测方法，其特征在于，步骤2中，病理图像预处理和病理图像检测模型训练，具体实现步骤如下：
步骤2.1：数据预处理：云计算服务器中心对从各个医疗机构获取的病理图像进行预处理，包括：首先，裁剪病理图像，统一图像大小，并去除敏感信息；然后，对病变区域进行标注；将得到的病理图像划分为训练集、测试集与验证集；
步骤2.2：数据训练：将训练集送入CNN卷积神经网络进行训练：首先，病理图像在输入层进行归一化操作；然后，在卷积层对输入的病理图像进行特征提取，输出的特征图传递至池化层进行特征选择和信息过滤；最后，由输出层输出每个像素的分类结果；
对训练集的病理图像进行5次卷积和2次池化，得到训练好的病理检测模型；
步骤2.3：将训练好的病理检测模型存入云端的文件存储系统。
6.根据权利要求5所述的基于云边端架构的病理检测方法，其特征在于，步骤2.1中，将病理图像的数据集打上标签，夜间网络闲时，发送至MQTT服务器，云计算服务器中心进行订阅和存储获得。
7.根据权利要求1所述的基于云边端架构的病理检测方法，其特征在于，步骤3中，生成镜像并下发，具体实现过程如下：
步骤3.1：生成镜像：将训练好的病理检测模型及代码通过Pyinstaller插件生成可执行程序，以Dockerfile配置文件配置环境的方式打包成为镜像；
步骤3.2：创建服务与容器：在云计算服务器中心生成一个Deployment，这个Deployment将在云服务器中心生成一个服务，并对所有边缘设备生成一个对应的Pod容器；
步骤3.3：镜像下发：云服务器中心通过mqtt.NewClientOptions()函数对Kubeedge管理平台MQTT服务器的传输端口建立连接，将镜像下发至各个医疗机构下属的本地文件存储系统上，并触发触发器NewDatetime()函数加上时间戳进行存储，边缘设备将最新时间戳镜像进行拉取并覆盖旧镜像；
步骤3.4：启动Pod容器：边缘设备拉取到镜像，Pod容器检测到新镜像已存在，Pod容器被激活，边缘设备将设备信息和容器信息存入MQTT服务器监听文件目录；
步骤3.5：MQTT服务器将监听到的更新内容进行订阅接收，传送给云计算服务器中心进行处理，针对容器信息，云服务器将Pod容器的状态更新为Running，并和设备信息一块更新到UI界面。
8.根据权利要求1-7任一所述的基于云边端架构的病理检测方法，其特征在于，步骤4中，边缘层进行病理识别诊断，具体通过以下步骤实现：
步骤4.1：标本数字化：所述病理切片扫描仪将生物制的标本镜像全信息、全方位快速扫描，获取病理图像；
步骤4.2：边缘设备初步诊断：数字化后的病理图像上传到边缘设备进行识别与推理；
步骤4.3：返回初步识别结果：边缘设备返回病理图像的初步诊断识别结果；
步骤4.4：医护人员对初步诊断识别结果进行反馈，给出最终诊断识别结果，将最终诊断识别结果与该病理图像存入到本地文件存储系统中。
9.一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1-8任一所述的基于云边端架构的病理检测方法的步骤。
10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1-8任一所述的基于云边端架构的病理检测方法的步骤。
CN202111361578.6A 2021-11-17 2021-11-17 一种基于云边端架构的病理检测系统及方法 Active CN114093505B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111361578.6A CN114093505B (zh) 2021-11-17 2021-11-17 一种基于云边端架构的病理检测系统及方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111361578.6A CN114093505B (zh) 2021-11-17 2021-11-17 一种基于云边端架构的病理检测系统及方法

Publications (2)

Publication Number Publication Date
CN114093505A CN114093505A (zh) 2022-02-25
CN114093505B true CN114093505B (zh) 2022-06-17

Family

ID=80301269

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111361578.6A Active CN114093505B (zh) 2021-11-17 2021-11-17 一种基于云边端架构的病理检测系统及方法

Country Status (1)

Country Link
CN (1) CN114093505B (zh)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114841952B (zh) * 2022-04-28 2024-05-03 华南理工大学 一种云边协同的早产儿视网膜病变检测系统及检测方法
CN114979246A (zh) * 2022-05-18 2022-08-30 京东方科技集团股份有限公司 业务管理方法、系统、配置服务器及边缘计算设备
CN114979144B (zh) * 2022-05-19 2023-10-31 中国电信股份有限公司 云边通信方法、装置及电子设备
CN115277728A (zh) * 2022-07-01 2022-11-01 阳光电源股份有限公司 一种模型文件的下发方法、系统及云服务器

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105872046A (zh) * 2016-03-30 2016-08-17 东北大学 一种ct设备的云端虚拟机控制系统及方法
CN107066829A (zh) * 2017-05-26 2017-08-18 西安华虹智能科技有限公司 基于云计算的病理分析系统及方法
CN107358055A (zh) * 2017-07-21 2017-11-17 湖州师范学院 智能辅助诊断系统
CN109712705A (zh) * 2018-12-19 2019-05-03 中国石油大学(华东) 一种基于深度学习的胆石病智能诊断app
CN109872814A (zh) * 2019-03-04 2019-06-11 中国石油大学(华东) 一种基于深度学习的胆石病智能辅助诊断系统
CN111477323A (zh) * 2020-04-03 2020-07-31 无锡新智微信息科技有限公司 基于人工智能的重大疾病机器识别系统
CN111785364A (zh) * 2020-06-15 2020-10-16 杭州思柏信息技术有限公司 一种互联网+宫颈图像智能辅助阅片方法及辅助阅片系统
CN111863237A (zh) * 2020-05-29 2020-10-30 东莞理工学院 一种基于深度学习的移动端疾病智能辅助诊断系统
CN113435604A (zh) * 2021-06-16 2021-09-24 清华大学 一种联邦学习优化方法及装置

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10332639B2 (en) * 2017-05-02 2019-06-25 James Paul Smurro Cognitive collaboration with neurosynaptic imaging networks, augmented medical intelligence and cybernetic workflow streams
CN107368671A (zh) * 2017-06-07 2017-11-21 万香波 基于大数据深度学习的良性胃炎病理诊断支持系统和方法
CN107609503A (zh) * 2017-09-05 2018-01-19 刘宇红 智能癌变细胞识别系统及方法、云平台、服务器、计算机
CN108806793A (zh) * 2018-04-17 2018-11-13 平安科技（深圳）有限公司 病变监测方法、装置、计算机设备和存储介质
US10878311B2 (en) * 2018-09-28 2020-12-29 General Electric Company Image quality-guided magnetic resonance imaging configuration
CN112289437B (zh) * 2020-10-28 2023-02-24 南通市第一人民医院 一种基于边缘计算架构的糖尿病辅助治疗云平台系统

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105872046A (zh) * 2016-03-30 2016-08-17 东北大学 一种ct设备的云端虚拟机控制系统及方法
CN107066829A (zh) * 2017-05-26 2017-08-18 西安华虹智能科技有限公司 基于云计算的病理分析系统及方法
CN107358055A (zh) * 2017-07-21 2017-11-17 湖州师范学院 智能辅助诊断系统
CN109712705A (zh) * 2018-12-19 2019-05-03 中国石油大学(华东) 一种基于深度学习的胆石病智能诊断app
CN109872814A (zh) * 2019-03-04 2019-06-11 中国石油大学(华东) 一种基于深度学习的胆石病智能辅助诊断系统
CN111477323A (zh) * 2020-04-03 2020-07-31 无锡新智微信息科技有限公司 基于人工智能的重大疾病机器识别系统
CN111863237A (zh) * 2020-05-29 2020-10-30 东莞理工学院 一种基于深度学习的移动端疾病智能辅助诊断系统
CN111785364A (zh) * 2020-06-15 2020-10-16 杭州思柏信息技术有限公司 一种互联网+宫颈图像智能辅助阅片方法及辅助阅片系统
CN113435604A (zh) * 2021-06-16 2021-09-24 清华大学 一种联邦学习优化方法及装置

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
宋玉磊.基于DBN脑血管病智慧健康管理模式的移动平台研究.《中国优秀博硕士学位论文全文数据库(硕士)医药卫生科技辑》.2018,(第6期), *
方捷.基于微服务的智慧健康服务平台的设计与实现.《中国优秀博硕士学位论文全文数据库(硕士)信息科技辑》.2020,(第8期), *

Also Published As

Publication number Publication date
CN114093505A (zh) 2022-02-25

Similar Documents

Publication Publication Date Title
CN114093505B (zh) 一种基于云边端架构的病理检测系统及方法
US11888883B2 (en) Threat disposition analysis and modeling using supervised machine learning
CN112632566B (zh) 漏洞扫描方法和装置、存储介质及电子设备
US20080177564A1 (en) Method and apparatus of supporting business performance management with active shared data spaces
CN109933317B (zh) 埋点方法、装置、服务器及可读存储介质
Mehdipour et al. Fog computing realization for big data analytics
WO2021184776A1 (zh) 图像识别方法、装置、计算机设备和存储介质
US20120198052A1 (en) Method for Retrieving the Implemented Data Model from a Device
CN112416396B (zh) 一种应用程序更新方法和系统
CN110430068A (zh) 一种特征工程编排方法及装置
US20230195449A1 (en) Methods and systems for continuous asynchronous code deployment
CN109800081A (zh) 一种大数据任务的管理方法及相关设备
CN110365659B (zh) 一种小样本场景下的网络入侵检测数据集的构造方法
CN114091572A (zh) 模型训练的方法、装置、数据处理系统及服务器
Bhatia et al. Plant disease detection using deep learning
CN109585013A (zh) 一种分布式医学诊断分析方法及系统
CN107046555A (zh) 医学影像文件的传输方法及装置
CN114677584A (zh) 一种双注意力机制配电站水浸识别方法及系统
Issac et al. Development and deployment of a big data pipeline for field-based high-throughput cotton phenotyping data
Chen et al. Flyfdetect: A smart home privacy protection framework via federated learning
CN111798967A (zh) 一种智慧超声检测系统
Upadrista et al. The iot standards reference model
Verma et al. Policy enabled caching for distributed AI
Udayakumar Hybrid Deep Learning Techniques for Plant Pathogen and Disease Diagnosis using the Internet of Bio-Nano Things.
CN110969188B (zh) 一种基于深度学习的外泌体电镜图片判断系统及判断方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
TR01 Transfer of patent right

Effective date of registration: 20221207

Address after: 250014 No. 19, ASTRI Road, Lixia District, Shandong, Ji'nan

Patentee after: SHANDONG COMPUTER SCIENCE CENTER(NATIONAL SUPERCOMPUTER CENTER IN JINAN)

Patentee after: Qilu University of Technology

Address before: 250014 No. 19, ASTRI Road, Ji'nan, Shandong

Patentee before: SHANDONG COMPUTER SCIENCE CENTER(NATIONAL SUPERCOMPUTER CENTER IN JINAN)

TR01 Transfer of patent right