CN109360646B - 基于人工智能的病理辅助诊断系统 - Google Patents

基于人工智能的病理辅助诊断系统 Download PDF

Info

Publication number
CN109360646B
CN109360646B CN201811011060.8A CN201811011060A CN109360646B CN 109360646 B CN109360646 B CN 109360646B CN 201811011060 A CN201811011060 A CN 201811011060A CN 109360646 B CN109360646 B CN 109360646B
Authority
CN
China
Prior art keywords
image
pathological image
pixel
module
task
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201811011060.8A
Other languages
English (en)
Other versions
CN109360646A (zh
Inventor
王书浩
刘灿城
高翔
王朗
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Thorough Future Technology Co ltd
Original Assignee
Thorough Image (beijing) Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Thorough Image (beijing) Technology Co Ltd filed Critical Thorough Image (beijing) Technology Co Ltd
Priority to CN201811011060.8A priority Critical patent/CN109360646B/zh
Publication of CN109360646A publication Critical patent/CN109360646A/zh
Application granted granted Critical
Publication of CN109360646B publication Critical patent/CN109360646B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/20—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • General Health & Medical Sciences (AREA)
  • Public Health (AREA)
  • Biomedical Technology (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Primary Health Care (AREA)
  • Epidemiology (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • Pathology (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Quality & Reliability (AREA)
  • Measuring And Recording Apparatus For Diagnosis (AREA)

Abstract

本发明公开了一种基于人工智能的病理辅助诊断系统，采用分布式异构集群系统，包括：数据存储模块、分布式计算模块和任务调度模块；分布式计算模块与数据存储模块和任务调度模块通信连接；其中，数据存储模块用于：接收客户端触发的操作指令，存储全扫描病理图像，并在图像分析任务进行时，为全图读取的病理图像提供缓存空间；分布式计算模块用于：按照异构计算的方式，并行执行病理图像的分析任务和深度学习模型对应的计算任务；任务调度模块用于：管理所述分布式计算模块对应执行的各项任务；能够解决多层级、大尺寸、高分辨率的图像的分析处理问题，提高了分析效率，由于采用了集群系统，使得系统能够增量扩展，同时也提高了系统的容错性。

Description

基于人工智能的病理辅助诊断系统
技术领域
本发明涉及医疗技术领域，特别涉及一种基于人工智能的病理辅助诊断系统。
背景技术
随着人工智能技术的不断发展进步，人工智能也逐步地与医疗领域相结合。其中凭借人工智能技术在图像识别领域的发展，人工智能技术在医疗图像的应用取得一定成效，但相比于X光、CT等医疗影像，全扫描病理图像的人工智能辅助诊断面临着更大的挑战。
现有的医疗人工智能辅助诊断系统主要有两类：第一类是应用于普通医疗影像的人工智能辅助诊断，例如CT、磁共振、超声等医疗影像。这类影像的尺寸较小，能够在单机上一次性完成对全图的分析。系统通过识别出影像中的可能病变区域，辅助医生做进一步的诊断。第二类是单机的病理图像的辅助诊断系统，通常集成在专门的病理诊断分析设备上。配合数字病理扫描仪，将数字化的病理图像传到分析设备，在本地完成病理图像的分析，辅助医生做进一步的诊断。但这种人工智能的病理辅助诊断系统存在着一定的缺陷，比如，针对第一类的技术，主要应用于普通医疗影像，其分析模型无法迁移到病理图像的诊断，且只能支持普通分辨率图像，无法处理超高分辨率的病理全扫描图像。针对第二类的技术，处理速度慢，由于病理全扫描图像的尺寸过大，导致分析时间过长，难以发挥辅助诊断的作用；且本地的分析系统难以支持大规模的神经网络，诊断的准确率较低；另外，这种单机方式是集成在分析仪器上的本地分析系统，扩展性差且容错性差。
发明内容
本发明提供一种基于人工智能的病理辅助诊断系统，旨在通过建立分布式异构集群系统，解决多层级、大尺寸、高分辨率的全扫描病理图像的分析处理问题，提高分析效率、扩展性以及容错性。
本发明提供了一种基于人工智能的病理辅助诊断系统，所述基于人工智能的病理辅助诊断系统包括：数据存储模块、分布式计算模块和任务调度模块；所述分布式计算模块与所述数据存储模块和所述任务调度模块通信连接；其中：
所述数据存储模块用于：接收客户端触发的操作指令，存储全扫描病理图像，并在图像分析任务进行时，为全图读取的病理图像提供缓存空间；
所述分布式计算模块用于：按照异构计算的方式，并行执行病理图像的分析任务和深度学习模型对应的计算任务；
所述任务调度模块用于：管理所述分布式计算模块对应执行的各项任务。
优选地，所述数据存储模块包括：分布式文件系统和分布式缓存；
所述分布式文件系统用于：存储病理图像对应的大规模图像数据，以及每个病理图像文件对应的预设份数的冗余文件；
所述分布式缓存构建在所述分布式文件系统上，用于提前加载并缓存待分析的病理图像。
优选地，所述基于人工智能的病理辅助诊断系统还包括深度学习分析模块；
所述深度学习分析模块用于：
基于深度学习，对病理图像进行图像分析，得到目标区域对应的概率图。
优选地，所述分布式计算模块包括：前处理模块、异构计算模块和后处理模块；
所述前处理模块用于：处理所述数据存储模块中存储的任意大小的病理图像；
所述异构计算模块用于：并行执行所述前处理模块处理后的病理图像所对应的图像分析任务；
所述后处理模块用于：接收所述任务调度模块收集的所述异构计算模块执行的所有子任务的结果，拼接所述深度学习分析模块生成的对应图像分块的概率图，并对拼接的概率图进行图像处理，得到最终的图像分析结果。
优选地，所述前处理模块用于：
采用分块的方式，将待处理的病理图像划分为一系列的分块图像，并对划分后的分块图像进行并行处理。
优选地，所述后处理模块还用于：
对拼接的概率图进行二值化图像处理后，得到病理图像对应的最终分析结果。
优选地，所述深度学习分析模块还用于：
对病理图像进行交叉式卷积处理，对交叉式卷积处理后的病理图像进行图像分析，得到病理图像对应的概率图。
其中，对病理图像进行交叉式卷积处理包括：
确定病理图像F中第i行第j列的像素点在第一方向上的第一差值因子λ1i,j和在第二方向上的第二差值因子λ2i,j；其中，第一方向和第二方向为交叉的方向，且第一差值因子为λ1i,j＝(|fi-1,j-1-fi+1,j+1|-|fi-1,j+1-fi+1,j-1|)2，第二差值因子为：λ2i,j＝(|fi-1,j-fi+1,j|-|fi,j-1-fi,j+1|)2；fi,j表示病理图像F中第i行第j列的像素点的像素值；
在第i行第j列的像素点的第一差值因子λ1i,j大于第一预设差值、且第二差值因子λ2i,j不大于第二预设差值时，确定病理图像F中第i行第j列的像素点的补偿系数ki,j：
ki,j＝a1fi-1,j-1+a3fi-1,j+1+a7fi+1,j-1+a9fi+1,j+1-a5fi,j；其中，a1,a3,a5,a7,a9为预设的常数，且a1+a3+a7+a9＝a5；
在第一差值因子λ1i,j不大于第一预设差值、且第二差值因子λ2i,j大于第二预设差值时，确定病理图像F中第i行第j列的像素点的补偿系数ki,j：
ki,j＝a2fi-1,j+a4fi,j-1+a6fi,j+1+a8fi+1,j-a5fi,j；其中，a2,a4,a5,a6,a8为预设的常数，且a2+a4+a6+a8＝a5；
在第一差值因子λ1i,j不大于第一预设差值、且第二差值因子λ2i,j不大于第二预设差值，或者在第一差值因子λ1i,j大于第一预设差值、且第二差值因子λ2i,j大于第二预设差值时，确定病理图像F中第i行第j列的像素点的补偿系数ki,j：
ki,j＝a1fi-1,j-1+a2fi-1,j+a3fi-1,j+1+a4fi,j-1+a6fi,j+1+a7fi+1,j-1+a8fi+1,j+a9fi+1,j+1-2a5fi,j；
在确定每个像素点的补偿系数后，对病理图像F中相应的像素点进行补偿处理，确定处理后的病理图像G；
其中，gi,j＝fi,j+μki,j；gi,j为处理后的病理图像G中第i行第j列的像素点的像素值，μ为调整系数，μ∈[0,1]，且
优选地，所述任务调度模块用于：
所述分布式计算模块每完成一个分块图像分析的子任务，则增加一个计数；
当子任务完成的计数等于整个病理图像对应的分块图像的总任务数时，判断整个病理图像的所有分块图像分析完成，则收集所有分块图像对应的子任务的执行结果，调用所述后处理模块。
优选地，所述任务调度模块用于：集群任务的管理。
本发明一种基于人工智能的病理辅助诊断系统可以达到如下有益效果：
所述基于人工智能的病理辅助诊断系统采用分布式异构集群系统；该基于人工智能的病理辅助诊断系统包括：数据存储模块、分布式计算模块和任务调度模块；所述分布式计算模块与所述数据存储模块和所述任务调度模块通信连接；其中：所述数据存储模块用于：接收客户端触发的操作指令，存储全扫描病理图像，并在图像分析任务进行时，为全图读取的病理图像提供缓存空间；所述分布式计算模块用于：按照异构计算的方式，并行执行病理图像的分析任务和深度学习模型对应的计算任务；所述任务调度模块用于：管理所述分布式计算模块对应执行的各项任务；能够解决多层级、大尺寸、高分辨率的图像的分析处理问题，提高了分析效率，由于采用了集群系统，使得系统能够增量扩展，同时也提高了系统的容错性。
本发明的其它特征和优点将在随后的说明书中阐述，并且，部分地从说明书中变得显而易见，或者通过实施本发明而了解。本发明的目的和其他优点可通过在所写的说明书、权利要求书、以及附图中所指出的内容来实现和获得。
下面通过附图和实施例，对本发明的技术方案做进一步描述。
附图说明
附图用来提供对本发明的进一步理解，并且构成说明书的一部分，与本发明的实施例一起用于解释本发明，并不构成对本发明的限制。在附图中：
图1是本发明基于人工智能的病理辅助诊断系统的一种实施方式的功能模块示意图；
图2是本发明基于人工智能的病理辅助诊断系统中图1所述实施例中，数据存储模块100的一种实施方式的功能模块示意图；
图3是本发明基于人工智能的病理辅助诊断系统的另一种实施方式的功能模块示意图；
图4是本发明基于人工智能的病理辅助诊断系统中的深度学习分析模块400的一种实施方式的功能模块示意图；
图5是本发明基于人工智能的病理辅助诊断系统中图1所述实施例中，分布式计算模块200的一种实施方式的功能模块示意图；
图6是本发明基于人工智能的病理辅助诊断系统的前处理模块210进行病理图像切分的图像示意图；
图7是本发明基于人工智能的病理辅助诊断系统的深度学习分析模块400进行交叉式卷积处理时的像素点示意图；
图8是本发明基于人工智能的病理辅助诊断系统在一个具体的应用场景中的系统架构示意图。
具体实施方式
以下结合附图对本发明的优选实施例进行说明，应当理解，此处所描述的优选实施例仅用于说明和解释本发明，并不用于限定本发明。
本发明提供了一种基于人工智能的病理辅助诊断系统，旨在通过建立分布式异构集群系统，解决多层级、大尺寸、高分辨率的全扫描病理图像的分析处理问题，提高分析效率、扩展性以及容错性。该基于人工智能的病理辅助诊断系统采用分布式异构的计算系统架构，具有高性能、高可用、可扩展的特点，能加速大规模神经网络运算，支持人工智能运用。另外，由于该基于人工智能的病理辅助诊断系统(以下简称“辅助诊断系统”)能够针对大规模全扫描病理图像(Whole Slide Image，WSI)的分析处理进行深度优化，支持大尺度、高分辨率和多层的图像处理，因此，本发明基于人工智能的病理辅助诊断系统同样适用于卫星遥感图像分析等需要处理大规模图像的场景。本发明基于人工智能的病理辅助诊断系统的下述实施例中，仅以全扫描病理图像为例进行描述。
如图1所示，图1是本发明基于人工智能的病理辅助诊断系统的一种实施方式的功能模块示意图；本发明基于人工智能的病理辅助诊断系统采用分布式异构集群系统，所述基于人工智能的病理辅助诊断系统包括：数据存储模块100、分布式计算模块200和任务调度模块300；所述分布式计算模块200与所述数据存储模块100和所述任务调度模块300通信连接；其中：
所述数据存储模块100用于：接收客户端触发的操作指令，存储全扫描病理图像，并在图像分析任务进行时，为全图读取的病理图像提供缓存空间；
所述分布式计算模块200用于：按照异构计算的方式，并行执行病理图像的分析任务和深度学习模型对应的计算任务；
所述任务调度模块300用于：管理所述分布式计算模块200对应执行的各项任务。
本发明实施例中，基于人工智能的病理辅助诊断系统中的数据存储模块100采用分布式文件存储系统，能够为大尺寸的图像提供对应的存储空间；同时，为了提高图像分析处理效率，数据存储模块100还提供了分布式缓存空间，以便于在进行图像分析时，为全图读取的病理图像提供对应的缓存。所述分布式计算模块200按照异构计算的方式，并行执行对应的图像分析任务和深度学习模型对应的计算任务。其中，所描述的“异构计算”可以理解为：在异构计算系统上进行的并行计算。另外，所述任务调度模块300利用自动化的任务调度引擎进行任务的分配管理，使得不同类型的任务能够并行执行。
采用本发明所提供的基于人工智能的病理辅助诊断系统能够解决多层级、大尺寸、高分辨率的图像的分析处理问题，提高了分析效率，由于采用了集群系统，使得系统能够增量扩展，同时也提高了系统的容错性。
在本发明一优选的实施例中，如图2所示，图2是本发明基于人工智能的病理辅助诊断系统中图1所述实施例中，数据存储模块100的一种实施方式的功能模块示意图；本发明实施例中，所述数据存储模块100包括：分布式文件系统110和分布式缓存120；
所述分布式文件系统110用于：存储病理图像对应的大规模图像数据，以及每个病理图像文件对应的预设份数的冗余文件；
所述分布式缓存120构建在所述分布式文件系统110上，用于提前加载并缓存待分析的病理图像。
本发明实施例中，由于一张全扫描病理图像的大小约为1-4G，而所有终端的图像基本上都会传输到人工智能云平台进行存储。在云平台存储时，每一个文件会保存3份的冗余，以确保图像数据安全。分布式文件系统110能够实现对大规模图像数据的存储，并且易于扩展。另外，由于图像分析任务进行时，需要对图片进行全图的读取，因此，为了提高图片读取效率，在分布式文件系统110上，构建了高性能分布式缓存120，提前将准备分析的图像加载到缓存中，在后续进行图像分析时，基于大规模深度神经网络的分析模型会从高速的分布式缓存120中读取图片进行分析。
在本发明一优选的实施例中，如图3所示，图3是本发明基于人工智能的病理辅助诊断系统的另一种实施方式的功能模块示意图；如图3所示，本发明基于人工智能的病理辅助诊断系统还包括深度学习分析模块400；
所述深度学习分析模块400用于：
基于深度学习，对病理图像进行图像分析，得到目标区域对应的概率图。
如图4所示，图4是本发明基于人工智能的病理辅助诊断系统中的深度学习分析模块的图像示意图；基于人工智能的病理辅助诊断系统利用深度学习对于每个图像的分析，得到目标区域的概率图。
在本发明一优选的实施例中，如图5所示，图5是本发明基于人工智能的病理辅助诊断系统中图1所述实施例中，分布式计算模块200的一种实施方式的功能模块示意图；本发明基于人工智能的病理辅助诊断系统中，图1所述实施例中的所述分布式计算模块200包括：前处理模块210、异构计算模块220和后处理模块230；其中：
所述前处理模块210用于：处理所述数据存储模块100中存储的任意大小的病理图像；
所述异构计算模块220用于：并行执行所述前处理模块210处理后的病理图像所对应的图像分析任务；
所述后处理模块230用于：接收所述任务调度模块300收集的所述异构计算模块200执行的所有子任务的结果，拼接所述深度学习分析模块400生成的对应图像分块的概率图，得到最终的图像分析结果。
在本发明一优选的实施例中，所述前处理模块210用于：
采用分块的方式，将待处理的病理图像划分为一系列的分块图像，并对划分后的分块图像进行并行处理。
针对大规模图像处理的前处理模块210能处理任意大小的图像，病理全扫描图像最大分辨率的层级大概是200000×150000的图像，无法一次性加载到对应的GPU的显存中处理，因此，前处理模块210采用分块的方法，将全扫描病理图像进行分割，得到划分后一系列小的分开图像，并针对每个小的分块图像进行单独处理。在处理时，每个分块图像作为一个单独的任务由所述异构计算模块220在分布式异构的集群上并行处理，然后再将每一个分块图像的处理结果进行汇总从而得出分析结果。
在本发明一优选的实施例中，所述后处理模块230还用于：
对拼接的概率图进行二值化图像处理后，得到病理图像对应的最终分析结果。
所述任务调度模块300还用于：
所述分布式计算模块200每完成一个分块图像分析的子任务，则增加一个计数；当子任务完成的计数等于整个病理图像对应的分块图像的总任务数时，判断整个病理图像的所有分块图像分析完成，则收集所有分块图像对应的子任务的执行结果，调用所述后处理模块230。
所述任务调度模块300用于：
集群任务的管理。
本发明实施例中，采用分布式异构系统的基于人工智能的病理辅助诊断系统中，任务调度模块300的任务调度引擎负责集群任务的管理。由于每一张病理全扫描图像经过前处理模块210的分块处理后，都会生成大约数万张300*300的小的分块图像，因此就需要所述异构计算模块220处理数千个子任务，小的分块图像任务处理完后，后处理模块230会将结果汇总，执行后处理任务。所述任务调度模块300的自动化任务调度引擎通过任务分配管理，使得大量的前处理、分块图像分析、后处理的任务能够并行执行，充分利用了集群的性能。另外，对于执行失败的任务，任务调度模块300会重新调度至分布式计算模块200进行自动重试。
在本发明一优选的实施例中，所述深度学习分析模块400还用于：
对病理图像进行交叉式卷积处理，对交叉式卷积处理后的病理图像进行图像分析，得到病理图像对应的概率图。
其中，本实施例中的“交叉式卷积处理”指的是基于特定卷积核在两个互相垂直方向上对像素进行卷积处理，同时对不同的像素可能会从不同方向上进行卷积处理，不同方向是交叉的。具体的，对病理图像进行交叉式卷积处理包括步骤A1-A6：
步骤A1：确定病理图像F中第i行第j列的像素点在第一方向上的第一差值因子λ1i,j和在第二方向上的第二差值因子λ2i,j；其中，第一方向和第二方向为交叉的方向，且第一差值因子为λ1i,j＝(|fi-1,j-1-fi+1,j+1|-|fi-1,j+1-fi+1,j-1|)2，第二差值因子为：λ2i,j＝(|fi-1,j-fi+1,j|-|fi,j-1-fi,j+1|)2；fi,j表示病理图像F中第i行第j列的像素点的像素值。
本发明实施例中，根据像素点的变化趋势方向，对不同的像素点从不同的方向(第一方向和第二方向)进行卷积处理。其中，第一方向为倾斜方向，第二方向为水平或垂直方向；参见图7(a)所示，第一方向可以为m轴方向，或者为n轴方向，即与水平方向或垂直方向之间夹角为45°的方向；第二方向为x轴方向或y轴方向。
本发明实施例中，将像素点分为三类：对角变化像素点、水平变化像素点和混合变化像素点。具体的，如图7(b)～7(e)所示，图中有阴影的像素点的像素值相同或相近，无阴影的像素点的像素值相同或相近，但是二者之间的像素值差异较大，从而形成图像中的边界或像素值不连续的区域。图7(b)中，像素变化趋势为倾斜变化的，此时将像素点fi,j定义为对角变化像素点；图7(c)中，像素变化趋势为水平变化的(或垂直变化的)，此时将像素点fi,j定义为水平变化像素点；其中，若像素变化趋势为垂直变化的，也将相应的像素点定义为水平变化像素点，即水平变化像素点指的是水平方向或垂直方向变化的像素点(沿着x轴或y轴变化)。对于其他的像素点，其变化趋势包含水平变化和对角变化，统一归为混合变化像素点，如图7(d)和7(e)所示。
具体的，本发明实施例中通过第一差值因子和第二差值因子来判断像素点的变化趋势，进而确定像素点属于上述三类中的哪一类。像素点在第一方向上的差值因子(即第一差值因子)用于表示该像素点在对角线上的其他像素点之间的变化程度，且第一差值因子λ1i,j＝(|fi-1,j-1-fi+1,j+1|-|fi-1,j+1-fi+1,j-1|)2。当第一差值因子小于第一预设差值时，说明该像素点的对角像素差值的差值不大，如图7(c)或7(e)所示；当第一差值因子大于第一预设阈值时，说明该像素点的对角像素差值的差值比较大，如图7(b)或7(d)所示。
同理，像素点在第二方向上的差值因子(即第二差值因子)用于表示该像素点在水平方向或垂直方向上的其他像素点之间的变化程度，且第二差值因子λ2i,j＝(|fi-1,j-fi+1,j|-|fi,j-1-fi,j+1|)2。同样的，当第二差值因子小于第二预设差值时，说明该像素点在水平方向或垂直方向上的像素差值的差值不大，如图7(b)或7(e)所示；当第二差值因子大于第二预设差值时，说明该像素点在水平方向或垂直方向上的像素差值的差值较大，如图7(c)或7(d)所示。
其中，需要说明的是，fi,j表示病理图像F中第i行第j列的像素点的像素值，相应的，fi-1,j表示第i-1行第j列的像素点的像素值，fi+1,j+1表示第i+1行第j+1列的像素点的像素值。当病理图像为灰度图像时，该像素值可以为像素点的灰度值(0～255)。同时，可以预先对病理图像F进行扩展处理，即将m×n的病理图像F扩展为(m+2)×(n+2)的图像，以保证可以对全部像素点进行卷积处理；对图像进行扩展是比较成熟的技术，此处不做赘述。
步骤A2：在第i行第j列的像素点的第一差值因子λ1i,j大于第一预设差值、且第二差值因子λ2i,j不大于第二预设差值时，确定病理图像F中第i行第j列的像素点的补偿系数ki,j：
ki,j＝a1fi-1,j-1+a3fi-1,j+1+a7fi+1,j-1+a9fi+1,j+1-a5fi,j；其中，a1,a3,a5,a7,a9为预设的常数，且a1+a3+a7+a9＝a5。
本发明实施例中，当第一差值因子λ1i,j大于第一预设差值、且第二差值因子λ2i,j不大于第二预设差值时，说明该像素点fi,j具有对角变化趋势而没有水平变化趋势，则该像素点属于对角变化像素点，如图7(b)所示。此时基于像素点周围邻域的像素值进行卷积处理来确定相应的补偿系数ki,j，其卷积核如图7(f)所示。
具体的，由于图像的像素值为离散值，基于二阶差分公式，在第一方向上像素点fi,j的两个二阶差分分别为fi-1,j-1+fi+1,j+1-2fi,j和fi-1,j+1+fi+1,j-1-2fi,j，将两个二阶差分组合即可得出fi,j的二阶差分为：fi-1,j-1+fi-1,j+1+fi+1,j-1+fi+1,j+1-4fi,j。由于离散的二阶差分相当于连续的二阶导数，同样的，二阶差分也可表示离散值的凹凸性，从而在第一方向上确定的二阶差分可以表示在第一方向上像素值的变化趋势，为该二阶差分增加设置相应系数a1,a3,a5,a7,a9后即可确定可以表示在第一方向上像素值的变化趋势的补偿系数ki,j:
ki,j＝a1fi-1,j-1+a3fi-1,j+1+a7fi+1,j-1+a9fi+1,j+1-a5fi,j；对于此时的卷积核，如图7(f)所示，a2,a4,a6,a8均为0，且a5为负值。
步骤A3：在第一差值因子λ1i,j不大于第一预设差值、且第二差值因子λ2i,j大于第二预设差值时，确定病理图像F中第i行第j列的像素点的补偿系数ki,j确定病理图像F中第i行第j列的像素点的补偿系数ki,j：
ki,j＝a2fi-1,j+a4fi,j-1+a6fi,j+1+a8fi+1,j-a5fi,j；其中，a2,a4,a5,a6,a8为预设的常数，且a2+a4+a6+a8＝a5。
与上述步骤A2类似，当第一差值因子λ1i,j不大于第一预设差值、且第二差值因子λ2i,j大于第二预设差值时，该像素点属于水平变化像素点，如图7(c)所示。同时，此时在水平方向和竖直方向上确定的像素点fi,j的二阶差分分别为fi-1,j+fi+1,j-2fi,j和fi,j-1+fi,j+1-2fi,j，与上述步骤A2相同的，可以确定表示在第二方向上像素值的变化趋势的补偿系数ki,j:
ki,j＝a2fi-1,j+a4fi,j-1+a6fi,j+1+a8fi+1,j-a5fi,j。
步骤A4：在第一差值因子λ1i,j不大于第一预设差值、且第二差值因子λ2i,j不大于第二预设差值，或者在第一差值因子λ1i,j大于第一预设差值、且第二差值因子λ2i,j大于第二预设差值时，确定病理图像F中第i行第j列的像素点的补偿系数ki,j：
ki,j＝a1fi-1,j-1+a2fi-1,j+a3fi-1,j+1+a4fi,j-1+a6fi,j+1+a7fi+1,j-1+a8fi+1,j+a9fi+1,j+1-2a5fi,j。
本发明实施例中，在第一差值因子λ1i,j大于第一预设差值、且第二差值因子λ2i,j大于第二预设差值时，说明该像素点具有水平变化和对角变化两种趋势，其属于混合变化像素点，如图7(d)所示。在第一差值因子λ1i,j不大于第一预设差值、且第二差值因子λ2i,j不大于第二预设差值时，该像素点的水平变化和对角变化趋势均不明显(比如像素点邻域8个像素的像素值相同或相似)，或者因为该像素点在四个方向(水平方向、垂直方向、以及两个对角方向)上均具有变化趋势，导致两个差值因子不大，比如图7(e)所示，此时的像素点均为混合变化像素点。
对于混合变化像素点，基于四个方向(水平方向、垂直方向、以及两个对角方向)的二阶差分来确定计算补偿系数时的卷积核。具体的，补偿系数ki,j：
ki,j＝a1fi-1,j-1+a2fi-1,j+a3fi-1,j+1+a4fi,j-1+a6fi,j+1+a7fi+1,j-1+a8fi+1,j+a9fi+1,j+1-2a5fi,j；此时，图7(f)中，卷积核中间的a5为-2a5。
步骤A5：在确定每个像素点的补偿系数后，对病理图像F中相应的像素点进行补偿处理，确定处理后的病理图像G；
其中，gi,j＝fi,j+μki,j；gi,j为处理后的病理图像G中第i行第j列的像素点的像素值，μ为调整系数，μ∈[0,1]，且
本发明实施例中，在确定可以表示像素点变化趋势的补偿系数后，即可对病理图像F进行补偿处理，以突出像素点之间的变化趋势，从而突出病理图像中的纹理。其中，调节系数μ用于调节补偿系数的权重，且为了避免完全消除像素点fi,j导致计算结果不准确，限制同时，在对像素点进行补偿后，像素点的像素值可能超出允许范围，此时可以进行归一化处理，或者直接将超出范围的像素值修改为允许范围内的最大值或最小值。例如，当像素值为灰度值时，若gi,j大于255，则将gi,j修正为255；若gi,j小于0，则将gi,j修正为0；当gi,j在0～255范围内时，可以不作处理。
本发明实施例中，通过两个交叉方向上的差值因子判断像素点的变化趋势，进而基于二阶差分有针对性地对像素点进行补偿，使得补偿后的病理图像能够准确表征不同方向的变化趋势，可以使得后续分析结果更加精确。
基于图1至图7所述实施例的描述，在一具体的应用场景中，如图8所示，图8是本发明基于人工智能的病理辅助诊断系统在一个具体的应用场景中的系统架构示意图。对应于以上实施例的描述，本发明实施例中，数据存储模块100采用分布式结构，基于“消息队列”与客户端进行信息交互；分布式计算模块200具备前处理、后处理、以及分布式异构集群工作节点的全部功能，任务调度模块300利用分布式任务队列服务进行任务调度，任务调度模块300将对应的任务进行分配并发送至分布式异构集群工作节点进行处理。
由于本发明基于人工智能的病理辅助诊断系统构建了分布式异构集群，能够处理大规模深度学习分析任务。为了获得精确的分析结果，也需要依赖于大规模的深度神经网络，大规模的深度神经网络在计算中需要生成大量中间层，每一层都代表着不同维度的特征和分类信息，这是一个计算密集的任务。利用CPU结合GPU异构并行处理的优势能大大加速深度学习的分析过程，从而解决了深度学习计算密集，耗时长的问题。由于本发明基于人工智能的病理辅助诊断系统所采用的集群系统可以增量扩展，并能方便地修改或扩展系统以适应变化的环境而无需中断其运行。因此，得益于分布式架构的设计，通过单纯的硬件扩展，就能使系统性能得到接近线性的增长，并且集群系统能有效地支持所有终端用户对运算资源的共享，从而解决了扩展性差的问题。另外，本发明基于人工智能的病理辅助诊断系统所部署的存储单元和处理单元的多重性，每一个服务都有多重冗余，因此，集群系统具有在系统出现局部故障的情况下继续正常运行的能力，解决了容错性差的问题。
本领域内的技术人员应明白，本发明的实施例可提供为方法、系统、或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。
本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
显然，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样，倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包含这些改动和变型在内。

Claims (7)

1.一种基于人工智能的病理辅助诊断系统，其特征在于，所述基于人工智能的病理辅助诊断系统采用分布式异构集群系统，所述基于人工智能的病理辅助诊断系统包括：数据存储模块、分布式计算模块和任务调度模块；所述分布式计算模块与所述数据存储模块和所述任务调度模块通信连接；其中：
所述数据存储模块用于：接收客户端触发的操作指令，存储全扫描病理图像，并在图像分析任务进行时，为全图读取的病理图像提供缓存空间；
所述分布式计算模块用于：按照异构计算的方式，并行执行病理图像的分析任务和深度学习模型对应的计算任务；
所述任务调度模块用于：管理所述分布式计算模块对应执行的各项任务；
所述基于人工智能的病理辅助诊断系统还包括深度学习分析模块；
所述深度学习分析模块用于：
基于深度学习，对病理图像进行图像分析，得到目标区域对应的概率图；
所述深度学习分析模块还用于：
对病理图像进行交叉式卷积处理，对交叉式卷积处理后的病理图像进行图像分析，得到病理图像对应的概率图；
其中，对病理图像进行交叉式卷积处理包括：
确定病理图像F中第i行第j列的像素点在第一方向上的第一差值因子λ1i,j和在第二方向上的第二差值因子λ2i,j；其中，第一方向和第二方向为交叉的方向，且第一差值因子为λ1i,j＝(|fi-1,j-1-fi+1,j+1|-|fi-1,j+1-fi+1,j-1|)2，第二差值因子为：λ2i,j＝(|fi-1,j-fi+1,j|-|fi,j-1-fi,j+1|)2；fi,j表示病理图像F中第i行第j列的像素点的像素值；
在第i行第j列的像素点的第一差值因子λ1i,j大于第一预设差值、且第二差值因子λ2i,j不大于第二预设差值时，确定病理图像F中第i行第j列的像素点的补偿系数ki,j：
ki,j＝a1fi-1,j-1+a3fi-1,j+1+a7fi+1,j-1+a9fi+1,j+1-a5fi,j；其中，a1,a3,a5,a7,a9为预设的常数，且a1+a3+a7+a9＝a5；
在第一差值因子λ1i,j不大于第一预设差值、且第二差值因子λ2i,j大于第二预设差值时，确定病理图像F中第i行第j列的像素点的补偿系数ki,j：
ki,j＝a2fi-1,j+a4fi,j-1+a6fi,j+1+a8fi+1,j-a5fi,j；其中，a2,a4,a5,a6,a8为预设的常数，且a2+a4+a6+a8＝a5；
在第一差值因子λ1i,j不大于第一预设差值、且第二差值因子λ2i,j不大于第二预设差值，或者在第一差值因子λ1i,j大于第一预设差值、且第二差值因子λ2i,j大于第二预设差值时，确定病理图像F中第i行第j列的像素点的补偿系数ki,j：
ki,j＝a1fi-1,j-1+a2fi-1,j+a3fi-1,j+1+a4fi,j-1+a6fi,j+1+a7fi+1,j-1+a8fi+1,j+a9fi+1,j+1-2a5fi,j；
在确定每个像素点的补偿系数后，对病理图像F中相应的像素点进行补偿处理，确定处理后的病理图像G；
其中，gi,j＝fi,j+μki,j；gi,j为处理后的病理图像G中第i行第j列的像素点的像素值，μ为调整系数，μ∈[0,1]，且
2.如权利要求1所述的基于人工智能的病理辅助诊断系统，其特征在于，所述数据存储模块包括：分布式文件系统和分布式缓存；
所述分布式文件系统用于：存储病理图像对应的大规模图像数据，以及每个病理图像文件对应的预设份数的冗余文件；
所述分布式缓存构建在所述分布式文件系统上，用于提前加载并缓存待分析的病理图像。
3.如权利要求1所述的基于人工智能的病理辅助诊断系统，其特征在于，所述分布式计算模块包括：前处理模块、异构计算模块和后处理模块；
所述前处理模块用于：处理所述数据存储模块中存储的任意大小的病理图像；
所述异构计算模块用于：并行执行所述前处理模块处理后的病理图像所对应的图像分析任务；
所述后处理模块用于：接收所述任务调度模块收集的所述异构计算模块执行的所有子任务的结果，拼接所述深度学习分析模块生成的对应图像分块的概率图，并对拼接的概率图进行图像处理，得到最终的图像分析结果。
4.如权利要求3所述的基于人工智能的病理辅助诊断系统，其特征在于，所述前处理模块用于：
采用分块的方式，将待处理的病理图像划分为一系列的分块图像，并对划分后的分块图像进行并行处理。
5.如权利要求3所述的基于人工智能的病理辅助诊断系统，其特征在于，所述后处理模块还用于：
对拼接的概率图进行二值化图像处理后，得到病理图像对应的最终分析结果。
6.如权利要求3所述的基于人工智能的病理辅助诊断系统，其特征在于，所述任务调度模块用于：
所述分布式计算模块每完成一个分块图像分析的子任务，则增加一个计数；
当子任务完成的计数等于整个病理图像对应的分块图像的总任务数时，判断整个病理图像的所有分块图像分析完成，则收集所有分块图像对应的子任务的执行结果，调用所述后处理模块。
7.如权利要求1或2所述的基于人工智能的病理辅助诊断系统，其特征在于，所述任务调度模块用于：
集群任务的管理。
CN201811011060.8A 2018-08-31 2018-08-31 基于人工智能的病理辅助诊断系统 Active CN109360646B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201811011060.8A CN109360646B (zh) 2018-08-31 2018-08-31 基于人工智能的病理辅助诊断系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201811011060.8A CN109360646B (zh) 2018-08-31 2018-08-31 基于人工智能的病理辅助诊断系统

Publications (2)

Publication Number Publication Date
CN109360646A CN109360646A (zh) 2019-02-19
CN109360646B true CN109360646B (zh) 2019-08-06

Family

ID=65350391

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201811011060.8A Active CN109360646B (zh) 2018-08-31 2018-08-31 基于人工智能的病理辅助诊断系统

Country Status (1)

Country Link
CN (1) CN109360646B (zh)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111200606A (zh) * 2019-12-31 2020-05-26 深圳市优必选科技股份有限公司 深度学习模型任务处理方法、系统、服务器及存储介质
CN114387201B (zh) * 2021-04-08 2023-01-17 透彻影像科技(南京)有限公司 一种基于深度学习和强化学习细胞病理图像辅助诊断系统
CN112988395B (zh) * 2021-04-20 2021-08-24 宁波兰茜生物科技有限公司 一种可扩展异构边缘计算架构的病理分析方法及装置
CN113936776B (zh) * 2021-10-19 2023-03-24 赛维森(广州)医疗科技服务有限公司 分布式的多病种人工智能病理分析系统
CN116386902B (zh) * 2023-04-24 2023-12-19 北京透彻未来科技有限公司 基于深度学习的大肠癌人工智能辅助病理诊断系统

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107368670A (zh) * 2017-06-07 2017-11-21 万香波 基于大数据深度学习的胃癌病理诊断支持系统和方法
CN107516090B (zh) * 2017-09-11 2021-09-17 北京百度网讯科技有限公司 一体化人脸识别方法和系统
CN108305249B (zh) * 2018-01-24 2022-05-24 福建师范大学 基于深度学习的全尺度病理切片的快速诊断和评分方法
CN108364288B (zh) * 2018-03-01 2022-04-05 北京航空航天大学 用于乳腺癌病理图像的分割方法和装置

Also Published As

Publication number Publication date
CN109360646A (zh) 2019-02-19

Similar Documents

Publication Publication Date Title
CN109360646B (zh) 基于人工智能的病理辅助诊断系统
CN104063835B (zh) 一种卫星遥感图像实时并行处理系统及处理方法
Sauter et al. New Python-based methods for data processing
CN103999121B (zh) 用于将图像基元部署至计算构造的图像流管线控制器
US20160035124A1 (en) Segmenting objects in multimedia data
US20190332419A1 (en) Data processing architecture for improved data flow
CN112988395B (zh) 一种可扩展异构边缘计算架构的病理分析方法及装置
CN108628267B (zh) 一种物方扫描成像系统的分离式、分布式操控方法
DE102021121332A1 (de) Bewertung von qualitativer streaming-erfahrung unter verwendung von sitzungsleistungsmetadaten
CN116263701A (zh) 算力网络任务调度方法、装置、计算机设备及存储介质
CN113128681A (zh) 一种多边缘设备辅助的通用cnn推理加速系统
Toma et al. Adaptive quality optimization of computer vision tasks in resource-constrained devices using edge computing
Zhang et al. End-to-end latency optimization of multi-view 3D reconstruction for disaster response
Ahn et al. Scissionlite: Accelerating distributed deep neural networks using transfer layer
CN113706390A (zh) 图像转换模型训练方法和图像转换方法、设备及介质
CN114913098A (zh) 图像处理超参数优化方法、系统、设备及存储介质
CN110046658A (zh) 远程操作设备的方法和相关装置
CN110083357A (zh) 界面构建方法、装置、服务器及存储介质
Dobrescu et al. Parallel image and video processing on distributed computer systems
Rodriguez-Conde et al. Cloud-assisted collaborative inference of convolutional neural networks for vision tasks on resource-constrained devices
WO2023089725A1 (ja) 情報処理装置、情報処理システム、情報処理方法、及び、記録媒体
US11682100B2 (en) Dynamic allocation of system of chip resources for efficient signal processing
WO2019045584A1 (ru) Способ миграции виртуальных ресурсов в центрах обработки данных
Chien et al. Paradigm: An architecture for distributed vision processing
JP7167315B2 (ja) 画像処理装置、画像処理装置の作動方法、および画像処理装置の作動プログラム

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
TR01 Transfer of patent right

Effective date of registration: 20221031

Address after: 100000 608, Floor 6, No. 39, Lianhuachi East Road, Haidian District, Beijing

Patentee after: Beijing Thorough Future Technology Co.,Ltd.

Address before: 100000 No. 141, 1st Floor, Building B, Building 1, No. 38 A, Zhongguancun Street, Haidian District, Beijing

Patentee before: TOUCHE IMAGE (BEIJING) TECHNOLOGY Co.,Ltd.

TR01 Transfer of patent right