CN109410187A - 用于在全片图像中检测癌症转移的系统、方法和介质 - Google Patents

用于在全片图像中检测癌症转移的系统、方法和介质 Download PDF

Info

Publication number
CN109410187A
CN109410187A CN201811184640.7A CN201811184640A CN109410187A CN 109410187 A CN109410187 A CN 109410187A CN 201811184640 A CN201811184640 A CN 201811184640A CN 109410187 A CN109410187 A CN 109410187A
Authority
CN
China
Prior art keywords
block
queue
full
model
sheet image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201811184640.7A
Other languages
English (en)
Other versions
CN109410187B (zh
Inventor
宋麒
孙善辉
孔斌
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Keya Medical Technology Co Ltd
Original Assignee
Kunlun Beijing Medical Cloud Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from US16/049,809 external-priority patent/US10846854B2/en
Application filed by Kunlun Beijing Medical Cloud Technology Co Ltd filed Critical Kunlun Beijing Medical Cloud Technology Co Ltd
Publication of CN109410187A publication Critical patent/CN109410187A/zh
Application granted granted Critical
Publication of CN109410187B publication Critical patent/CN109410187B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • G06T7/0012Biomedical image inspection
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • G06N3/045Combinations of networks
    • GPHYSICS
    • G16INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16HHEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/20ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30004Biomedical image processing
    • G06T2207/30096Tumor; Lesion

Abstract

本公开的实施例提供了用于在全片图像中检测癌症转移的系统、方法和介质。该系统可以包括配置为接收全片图像和学习模型的通信接口。全片图像由图像采集设备获取。该系统还可以包括存储器,该存储器被配置为将从全片图像得出的多个区块存储在队列中。该系统还可以进一步包括至少一个处理器,所述处理器被配置为将学习模型并行地应用于存储在队列中的至少两个区块,以获得各自对应于区块的检测映射,并基于检测映射检测癌症转移。

Description

用于在全片图像中检测癌症转移的系统、方法和介质
相关申请的交叉引用
本申请基于并要求2017年10月13日提交的美国临时申请No.62/572,046的优先权,该临时申请通过引用整体并入本文。
技术领域
本公开涉及用于在全片图像中检测癌症转移的系统和方法,更具体地,涉及通过根据异步队列处理全片图像的区块来检测癌症转移的系统和方法。
背景技术
早期诊断可以显著降低乳腺癌的死亡率。研究表明,当乳腺癌早期被诊断时,五年生存率可从24%提高至99%。临床上,淋巴结中的癌症转移是早期诊断通常采用的标准,鉴于它们通常是乳腺癌转移的首要位置。千兆像素全片图像(WSI)有用,但它们有两个主要限制。首先,虽然病理学家信息图像模态已被广泛用于此目的,但是当前的检查过程需要穷尽地检查极大的WSI(例如,200,000×100,000)以找到可能的转移。此过程非常耗时且容易出错。此外,由于图像和结构的复杂性较大,病理学家之间的观察者间和观察者自身的差异很大,特别是对于那些缺乏临床经验的人。
因此,准确高效地检测使用WSI成像的淋巴结中的癌症转移对于早期乳腺癌诊断是至关重要的。学习网络,例如具有强大分层架构的卷积神经网络(CNN),已经应用于癌症转移检测以提高准确性。例如,使用CNN的自动检测可以明显优于病理学家。然而,由于WSI的大尺寸和大的差异,这些方法面临计算上的挑战。例如,为了实现高精度,当前的方法通常将WSI划分为严重重叠的图像块并且用强大但计算密集的模型(例如,Inception V3)分析每个图像块,这非常耗时。
一种方法是将像素分组为超像素,因此不再在像素级上进行计算,从而显著减少了计算量。但是,这种方法通常使用“手工制作”的特征,这些特征并非专门针对WSI检测问题而设计。另一种方法是利用现有技术的深度CNN来解决这个问题。然而,由于CNN的结构限制,输入图像应具有固定的尺寸。因此,WSI通常被分成小图像块(例如,256×256),每个图像块都被独立处理。这些尝试在计算上成本高且不能容易适用于真实的临床设置。
从临床观点来看,检测方法的计算效率决定了它能否作为病理学家的日常工具。因此,需要基于计算机辅助诊断(CAD)的癌症转移检测系统和方法来辅助真实的临床应用。
本公开的实施例通过基于学习模型准确并有效地在全片图像中检测癌症转移的系统和方法解决了上述问题。
发明内容
本公开的实施例提供了用于在全片图像中检测癌症转移的系统。该系统可以包括被配置为接收全片图像和学习模型的通信接口。所述全片图像由图像采集设备来获取。该系统还可以包括存储器,该存储器被配置为将从全片图像得出的多个区块存储在队列中。该系统还可以进一步包括至少一个处理器,该处理器被配置为将学习模型并行地应用于存储在队列中的至少两个区块,以获得各自对应于区块的检测映射,并基于所述检测映射来检测癌症转移。
本公开的实施例还提供了用于在全片图像中检测癌症转移的方法。该方法可以包括接收所述全片图像和学习模型。所述全片图像由图像采集设备来获取。该方法还可以进一步包括将从所述全片图像得出的多个区块读取到队列中,并从队列中读取至少两个区块。该方法还可以包括由处理器将学习模型并行地应用于存储在所述队列中的所述至少两个区块,以获得各自对应于区块的检测映射;并由处理器基于所述检测映射来检测癌症转移。
本公开的实施例还提供了一种其上存储有指令的非暂时性计算机可读介质,当由一个以上处理器执行时,所述指令使得所述一个以上处理器执行用于在全片图像中检测癌症转移的方法。该方法可以包括接收所述全片图像和学习模型。所述全片图像由图像采集设备来获取。该方法还可以进一步包括将从所述全片图像得出的多个区块读取到队列中,并从所述队列中读取至少两个区块。该方法还可以包括将所述学习模型并行地应用于存储在所述队列中的所述至少两个区块,以获得各自对应于区块的检测映射;并基于所述检测映射来检测癌症转移。
应当理解,前面的一般性描述和下面的详细描述都只是示例性和说明性的,并不是对要求保护的本发明的限制。
附图说明
图1示出了根据本公开的实施例的示例性癌症转移检测系统的示意图。
图2示出了根据本公开的实施例的示例性图像处理设备的框图。
图3示出了根据本公开的实施例的示例性WSI和用于处理该WSI的异步队列。
图4A示出了根据本公开的实施例的示例性重叠区块。
图4B示出了根据本公开的实施例的在CNN模型和全卷积神经网络(FCN)模型之间的示例性转换。
图5示出了根据本公开的实施例的用于在WSI中检测癌症转移的示例性过程的流程图。
具体实施方式
现在将详细参考示例性实施例,其示例在附图中示出。在附图各处将尽可能使用相同的附图标记来表示相同或相似的部件。
图1示出了根据本公开的一些实施例的示例性癌症转移检测系统100。与本公开一致,癌症转移检测系统100被配置为在由图像采集装置105获取的WSI中检测癌症转移。WSI是用于病理学中的数字成像技术。WSI,通常也称为“虚拟显微镜”,以计算机生成的方式模拟传统的光学显微镜。图像采集设备105可以分两步生成WSI:第一步利用专用硬件(扫描仪)来数字化玻璃切片,其产生大的代表性数字图像(所谓的“数字切片”),并且第二步采用专用软件(例如,虚拟切片查看器)来查看和/分析这些数字文件。
尽管使用WSI作为示例进行描述,但是可以预期所公开的系统和方法也可以应用或适用于处理使用各种其他成像模态获取的图像,包括磁共振成像(MRI)、功能性MRI(例如,fMRI、动态对比增强磁共振(DCE-MRI)和扩散MRI)、计算机断层摄影(CT)、锥形束CT(CBCT)、螺旋CT、正电子发射断层成像(PET)、单光子发射计算机断层成像(SPECT)、X射线成像、光学断层扫描、荧光成像、超声成像和放射治疗射野成像等。
如图1所示,癌症转移检测系统100可包括用于执行两个阶段的组件,训练阶段和检测阶段。为了执行训练阶段,癌症转移检测系统100可以包括训练数据库101和模型训练设备102。为了执行检测阶段,癌症转移检测系统100可以包括图像处理设备103和WSI数据库104。在一些实施例中,癌症转移检测系统100可包括比如图1所示的组件更多或更少的组件。例如,当预先训练好并提供用于癌症转移检测的学习模型时,癌症转移检测系统100可以仅包括图像处理设备103和WSI数据库104。
癌症转移检测系统100可以可选地包括网络106以便利癌症转移检测系统100的各种组件之间的通信,各组件例如数据库101和104,设备102、103和105。例如,网络106可以是局域网(LAN)、无线网络、云计算环境(例如,软件即服务、平台即服务、基础架构即服务)、客户端-服务器、广域网(WAN)等。在一些实施例中,网络106可以由有线数据通信系统或设备代替。
在一些实施例中,癌症转移检测系统100的各种组件可以彼此远离或在不同的位置,并且如图1所示通过网络106连接。在一些替代实施例中,癌症转移检测系统100的某些组件可位于同一站点上或位于一个设备内。例如,训练数据库101可以位于模型训练设备102的现场或者作为模型训练设备102的一部分。作为另一个例子,模型训练设备102和图像处理设备103可以在同一计算机或处理设备内。
如图1所示,模型训练设备102可以与训练数据库101通信以接收一组或数组训练数据。每组训练数据可以包括WSI图像及其对应的地面真值检测映射,其将检测结果提供给WSI图像的各个像素。存储在训练数据库101中的训练图像可以从包含用于病理学使用的先前获取的医学图像的医学图像数据库获得。
模型训练设备102可以使用从训练数据库101接收的训练数据来训练用于在WSI中检测癌症转移的学习模型。模型训练设备102可以用由执行训练过程的软件专门编程的硬件来实现。例如,模型训练设备102可以包括处理器和非暂时性计算机可读介质。所述处理器可以通过执行存储在计算机可读介质中的训练过程的指令来进行训练。模型训练设备102可以另外包括输入和输出接口,以与训练数据库101、网络106和/或用户接口(未示出)通信。用户接口可用于选择训练数据集,调整训练过程的一个以上参数,选择或修改学习模型的框架,和/或手动或半自动地提供与用于训练的图像相关联的检测结果。
与一些实施例一致,学习模型可以是CNN模型或FCN模型。可以使用监督学习来训练CNN/FCN模型。CNN/FCN模型的架构包括将输入转换为输出的不同层的堆叠。不同层的示例可包括一个以上卷积层或全卷积层、非线性算子层、池化层或子采样层、全连接层和/或最终损失层。每层可以连接一个上游层和一个下游层。
如本文所使用的,“训练”学习模型是指确定学习模型中的至少一个层的一个以上参数。例如,CNN模型的卷积层可以包括至少一个滤波器或核。可以通过例如基于反向传播的训练过程来确定至少一个滤波器的一个以上参数,例如核权重、尺寸、形状和结构。
根据本公开,FCN模型可以由模型训练设备102使用训练数据直接训练或者从训练好的CNN模型转换得到。在一些实施例中,CNN模型中的卷积层可以被转换为FCN模型中的全卷积层。与仅能处理设定尺寸的输入的CNN模型不同,FCN模型可以处理任意尺寸的输入(例如,整个WSI)。因此,FCN模型可以为图像处理设备103提供比CNN模型更大的灵活性。使用从CNN(例如,Inception V3)转换的FCN与使用CNN架构本身得到的概率映射相同,除了后者使用足够小的步幅。
图像处理设备103可以从模型训练设备102接收至少一个FCN模型。图像处理设备103可以包括处理器和非暂时性计算机可读介质(结合图2详细讨论)。所述处理器可以执行存储在介质中的癌症转移检测过程的指令。图像处理设备103可以另外包括输入和输出接口(结合图2详细讨论)以与WSI数据库104、网络106和/或用户接口(未示出)通信。所述用户接口可用于选择用于诊断的WSI、初始化检测过程、显示WSI图像和/或检测结果。
图像处理设备103可以与WSI数据库104通信以接收一个以上WSI。在一些实施例中,存储在WSI数据库104中的WSI可以从由病理科维护的医学图像数据库获得。WSI可以由图像采集设备105来获取。图像处理设备103可以使用从模型训练设备102接收的训练好的模型来预测WSI的各个像素或超像素是否对应于癌症转移,并输出检测映射。与一些实施例一致,WSI可以被划分为区块(例如,图像块),并且图像处理设备103可以在每个区块中执行癌症转移检测。在一些实施例中,图像处理设备103可以与从存储器读出并处理区块的速度不同的速度将区块读入存储器中并将它们存储在队列中。在一些实施例中,图像处理设备103可以包括用于并行处理区块的数个处理器。因此,队列是具有不同输入和输出速度的异步队列。可以融合为区块获得的检测映射以获得对于整个WSI的检测结果。在一些实施例中,WSI及其对应的检测映射可以自动存储在训练数据库101中并且成为额外的训练样本。
图2示出了根据本公开的一些实施例的示例性图像处理设备103。在一些实施例中,图像处理设备103可以是专用计算机或通用计算机。例如,图像处理设备103可以是用于执行图像获取和图像处理任务的为医院定制的计算机。如图2所示,图像处理设备103可以包括通信接口202、存储器204、存储装置206和处理器208。
通信接口202可以包括网络适配器、电缆连接器、串行连接器、USB连接器、并行连接器、高速数据传输适配器(例如光纤、USB3.0、雷电接口及类似)、无线网络适配器(例如WiFi适配器)、电信(3G、4G/LTE及类似)适配器等。图像处理设备103可以通过通信接口202连接到系统100和网络106的其他组件。在一些实施例中,通信接口202可以从WSI数据库104接收WSI 220,并且从模型训练设备102接收FCN模型230。
存储器204/存储装置206可以是非暂时性计算机可读介质,诸如只读存储器(ROM)、随机存取存储器(RAM)、相变随机存取存储器(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM),电可擦除可编程只读存储器(EEPROM)、其他类型的随机存取存储器(RAM)、闪存盘或其他形式的闪存、高速缓存、寄存器、静态存储器、光盘只读存储器(CD-ROM)、数字通用光盘(DVD)或其他光学存储器、盒式磁带或其他磁存储设备、或任何其他可用于存储能够被计算机设备访问的信息或指令的非暂时性介质等。
在一些实施例中,存储器204可以存储训练好的模型,例如,FCN模型230或CNN模型,以及在执行计算机程序时使用或生成的数据,例如WSI 220等。在一些实施例中,存储装置206可以存储计算机可执行指令,例如一个以上图像处理程序。与本公开一致,存储装置206可以另外存储区块队列262。在一些实施例中,存储在存储器204中的WSI可以被分成多个区块。每个区块是包含WSI的子集的图像块。在一些实施例中,区块可以与其他区块部分重叠。可以逐个地从存储器204读取区块并将其存储在存储装置206中以形成区块队列262。在一些实施例中,区块可以以第一速度被读取并存储在区块队列262中。
处理器208可以是包括一个以上通用处理设备的处理设备,例如微处理器、中央处理单元(CPU)、图形处理单元(GPU)等。更具体地,处理器可以是复杂指令集计算(CISC)微处理器、精简指令集计算(RISC)微处理器、超长指令字(VLIW)微处理器、运行其他指令集的处理器、或运行指令集组合的处理器。所述处理器还可以是一个以上专用处理设备,诸如专用集成电路(ASIC)、现场可编程门阵列(FPGA)、数字信号处理器(DSP)、片上系统(SoC)等。处理器208可以通信地耦合到存储装置206并且被配置为执行存储在其上的计算机可执行指令。
在一些实施例中,处理器208可以包括数个区块处理器282-286。处理器208可以从区块队列262读取图像区块并将它们分布在区块处理器282-286中。与本公开一致,区块处理器282-286可以并行地分析区块以确定各个区块的检测映射。在一些实施例中,因为区块分析是相对耗时的,所以可以以低于将区块读入区块队列262的第一速度的第二速度从区块队列262中读出区块。即,区块队列262可以是一个异步队列。在一些实施例中,可以使用FCN模型分析区块以确定各个区块的癌症转移检测映射。在一些实施例中,检测映射可以是指示区块中的各个像素对应于癌症转移的概率的概率映射。尽管描述集中在第二速度(从队列262中读出区块的速度)低于第一速度(将区块读入队列262的速度)的实施例,但是可以想到在一些实施例中,第二速度可以高于第一速度。在那种情况下,处理器208可以包括数个区块读取器以并行地将区块读入到队列262中。
处理器208可以另外包括概率映射处理器288。概率映射处理器288可以被配置为对各个区块的检测映射(例如,概率映射)进行后处理以获得对个整个WSI的癌症转移检测结果。
图3示出了根据本公开的实施例的示例性WSI 310和用于处理该WSI 310的异步队列262。WSI可能非常大(例如,200,000×100,000),因此分析整个WSI的计算成本很高。在一些实施例中,WSI 310被预处理以分割组织区域和非组织区域。通过仅分析组织区域,可以减小计算任务的大小。在一些实施例中,图像处理设备103可以进一步将组织区域划分为小区块,例如,区块312-316。区块由区块读取器242读入存储装置206并存储在区块队列262中。在一些实施例中,区块(例如,区块A-O)按照其被存储装置206接收的顺序存储在区块队列262中。
与本公开一致,存储在区块队列262中的区块可以由处理器208读出并分配给不同的线程。例如,可以将区块分配给多个区块处理器282-286以进行并行处理。每个区块处理器282-286确定正被分析的区块的检测映射(例如,概率映射)。可以融合检测映射以获得整个WSI的整体检测映射320。例如,检测映射可以放置在整个检测映射320中对应于WSI 310中的各个区块位置的位置。在一些实施例中,可以对整个检测映射320进行后处理以获得预测结果。
在一些实施例中,区块处理器282-286可能成为计算瓶颈,因为CNN模型只能采用设定尺寸的区块。因为CNN模型的全连接层等同于FCN模型的全卷积层,所以在一些实施例中,模型训练设备102可以通过将CNN模型的最后全连接层转换成等效的卷积层来将训练好的CNN转换为FCN模型并使其完全卷积。在转换之后,FCN可以接受任意尺寸的输入(例如,整个WSI 310),并输出概率映射。概率映射的尺寸取决于原始CNN的感受野k和下采样率d。无论边界如何,概率映射的尺寸都是原始WSI尺寸乘以因子1/d。
在一些实施例中,基于以下公式,可以将区块的概率映射中的各个像素xprob(xprob=0,1,2,…)映射回原始WSI中的位置xWSI(xprob=0,1,2,…):
换句话说,概率映射中的每个预测值xprob取决于原始WSI的像素xWSI及其左右的像素。因此,由FCN产生的结果概率等于由原始CNN以步幅c对于WSI所产生的概率。基于WSI的尺寸sizeWSI,可以根据以下公式确定概率映射的尺寸sizeprob(可能要对边界像素进行补零):
在一个特定示例中,假设要分析的WSI具有图像尺寸163,840×93,184,并且使用Inception V3模型进行分析。原始的Inception V3模型可以采用尺寸为299×299的输入并产生单个预测值。换句话说,该模型的有效感受野尺寸为299。当Inception V3模型对原始输入进行5次下采样(使用池化或步幅为2的卷积)时,其使用因子25=32对输入图像进行下采样。在一些实施例中,模型训练设备102可以将该Inception V3模型的最后全连接层转换为等效的卷积层并使其完全卷积。所得到的FCN模型将能够采用可变尺寸的输入。在该特定示例中,根据公式(2),其将产生尺寸为的概率映射。
在一些实施例中,例如在上面的特定示例中,由于有限的存储器大小,整个千兆像素WSI可能不被馈送到单个GPU存储器中。因此,可以将WSI划分为区块用于使用数个线程进行并行处理。与本公开一致,区块可以与其他区块部分重叠,以便FCN模型产生与使用CNN模型时等效的结果。例如,对于感受野为k且下采样率为d的CNN模型,重叠尺寸可确定为k-d。例如,图4A示出了根据本公开的实施例的示例性重叠区块412和414。如图所示,区块412和414在每个维度中共享至少一些公共像素。注意图4A未必按比例绘制以显示重叠的程度。例如,在上述实施例中,当区块尺寸为2091时,重叠尺寸仅为267。
图4B示出了根据本公开的实施例的从CNN模型到FCN模型的示例性转换,并且解释了使用重叠区块背后的概念。出于说明目的,使用下采样因子d=2且有效感受野k=4的一维CNN,但实际上使用二维或更高维的CNN来处理WSI。因此,一维CNN采用尺寸为4的输入并提供尺寸为1的输出。将CNN转换为FCN之后,FCN可以接收任意尺寸的输入。例如,如果输入尺寸是8,则将有3个输出单元(图4B上部)。该结果等效于原始CNN以步幅2对所述输入的评估(图4B的下部)。也就是说,为了使FCN产生等效的预测结果,输入部分应该在彼此之间重叠k-d=2。
图5示出了根据本公开的实施例的用于检测WSI中癌症转移的示例性过程500的流程图。例如,方法500可以由癌症转移检测系统100实现,或者更具体地,可以由图1中的图像处理设备103实现。然而,方法500不限于该示例性实施例。方法500可以包括如下所述的步骤S502-S514。应了解,为执行本文中提供的本公开,一些步骤可以是可选的。此外,一些步骤可以同时执行,或者以与图5中所示不同的顺序执行。
在步骤S502中,图像处理设备103可以接收WSI和学习模型。例如,图像处理设备103可以从WSI数据库104接收WSI 220。可以由模型训练设备102预先或在运行中训练学习模型。在一些实施例中,学习模型可以是诸如Inception V3模型的CNN模型或FCN模型230。可以由模型训练设备102直接使用从训练数据库101获得的训练数据来训练FCN模型230,或者从训练好的CNN模型转换得到FCN模型230。该转换可以由模型训练设备102或由图像处理设备103执行。在一些实施例中,CNN模型的全连接层可以被转换为卷积层并且被使得完全卷积。
在步骤S504中,WSI 220可以被划分为多个区块。每个区块可以包括WSI 220的像素子集。在一些实施例中,当由CNN转换成的FCN用于图像分析时,可以划分区块使得它们如图4A所示彼此重叠。例如,对于感受野尺寸k和下采样因子d,可以在每个图像维度中将重叠尺寸设置为k-d。
在步骤S506中,图像区块(例如,区块330-316或412-414)可以由区块读取器242读入存储装置204中。在步骤S508中,可以将区块添加到存储器206中的区块队列262中。在一些实施例中,区块队列262可以是异步的。换句话说,区块队列262可以是缓冲队列,使得区块以与从队列中读出区块的速度不同的速度读入队列。例如,每秒可以将五个区块读入区块队列262,而只有三个区块从队列中读出。因此,区块队列262有助于隐藏输入/输出延迟。
在步骤S510中,处理器208可以将区块从区块队列262读取到数个线程中。例如,过程208可以将一个区块读取到区块处理器282-286的各个之中。在一些实施例中,数个线程中的区块可以并行处理,例如同时处理。在步骤S512中,可以应用学习模型来分析各个线程中的区块,例如,通过区块处理器282-286之一,并获得概率映射。概率映射指示各个区块像素对应于癌症转移的可能性。
在步骤S514中,可以融合在步骤S512中获得的数个概率映射以确定整个WSI的检测/预测结果。在一些实施例中,各个概率映射的预测结果(例如,像素值)可以一一映射到WSI的像素,例如根据公式(1)。因为区块可以彼此重叠,因此一些WSI像素可能具有从不同概率映射所映射的数个预测结果。可以使用各种方法来融合这些预测结果。例如,可以将最大概率值分配作为WSI像素的预测结果。作为另一个例子,可以选择均值或中值。针对整个WSI确定的整体检测映射可以提供给病理学家以供查看。
本公开的另一方面涉及一种存储指令的非暂时性计算机可读介质,所述指令在被执行时使一个以上处理器执行如上所述的方法。计算机可读介质可以包括易失性或非易失性的、磁性的、半导体的、磁带的、光学的、可移动的、不可移动的或其他类型的计算机可读介质或计算机可读存储设备。例如,如所公开的,计算机可读介质可以是其上存储有计算机指令的存储设备或存储器模块。在一些实施例中,计算机可读介质可以是其上存储有计算机指令的盘或闪存驱动器
本公开的系统和方法已经使用大尺寸的WSI进行了验证。通过使用CNN架构(Inception V3模型)创建基线。在基线实验中,WSI以步幅128被划分为尺寸为299×299的区块。在不实现本公开中公开的异步队列的情况下顺序地评估区块。一批区块(27个区块)一次读入GPU存储器并使用训练好的Inception V3模型进行处理。在第二个实验中,实现异步队列以隐藏I/O延迟,并且使用3个线程将区块读取到3个GPU中以由Inception V3模型进行并行处理。在第三个实验中,训练好的InceptionV3被转换为FCN模型。在这个实验中,WSI以步幅1824被分成尺寸为2091×2091的重叠区块。这意味着相邻图像块的重叠尺寸为267。验证表明第二个实验(仅限队列实现)与基线实验相比,时间缩短了50%以上,第三个实验(使用队列实现和模型转换)可以将处理时间缩短85%以上。
对于本领域技术人员显而易见的是,可以对所公开的系统和相关方法进行各种修改和变化。考虑到所公开的系统和相关方法的说明书和实践,其他实施例对于本领域技术人员来说是显而易见的。
旨在将说明书和示例仅视为示例性的,真正的范围由所附权利要求及其等同物指示。

Claims (20)

1.一种用于在全片图像中检测癌症转移的系统,其特征在于,所述系统包括:
通信接口,配置为接收全片图像和学习模型,所述全片图像由图像采集设备获取;
存储器,配置为将从所述全片图像得出的多个区块存储在队列中;以及至少一个处理器,配置为:
将学习模型并行地应用于存储在所述队列中的至少两个区块,以获得各自对应于区块的检测映射;和
基于所述检测映射来检测癌症转移。
2.根据权利要求1所述的系统,其特征在于,所述学习模型是卷积神经网络模型。
3.根据权利要求2所述的系统,其特征在于,所述处理器进一步配置为将所述卷积神经网络模型转换为全卷积神经网络模型。
4.根据权利要求3所述的系统,其特征在于,所述多个区块包括部分重叠的区块。
5.根据权利要求4所述的系统,其特征在于,所述重叠的区块在每个维度中共享k-d个像素,其中,k是所述卷积神经网络模型的感受野,并且d是下采样率。
6.根据权利要求3所述的系统,其特征在于,为了将所述卷积神经网络模型转换为全卷积神经网络模型,所述处理器被进一步配置为将所述卷积神经网络模型的全连接层转换为等效的全卷积层。
7.根据权利要求1所述的系统,其特征在于,所述检测映射是指示所述全片图像中的各个像素的对应于癌症转移的概率的概率映射。
8.根据权利要求1所述的系统,其特征在于,所述学习模型是全卷积神经网络模型。
9.根据权利要求1所述的系统,其特征在于,所述队列是由所述处理器将所述多个区块以第一速度读入所述队列并且以不同于所述第一速度的第二速度从所述队列中读出的异步队列。
10.一种用于在全片图像中检测癌症转移的方法,其特征在于,所述方法包括:
接收所述全片图像和学习模型,所述全片图像由图像采集设备来获取;
将从所述全片图像得出的多个区块读入队列;
从所述队列中读取至少两个区块;
由处理器将所述学习模型并行地应用于存储在所述队列中的所述至少两个区块,以获得各自对应于区块的检测映射;以及
由所述处理器基于所述检测映射来检测所述癌症转移。
11.根据权利要求10所述的方法,其特征在于,所述学习模型是卷积神经网络模型。
12.根据权利要求11所述的方法,其特征在于,所述方法进一步包括将所述卷积神经网络模型转换为全卷积神经网络模型。
13.根据权利要求12所述的方法,其特征在于,所述多个区块包括部分重叠的区块。
14.根据权利要求13所述的方法,其特征在于,所述重叠区块在每个维度中共享k-d个像素,其中,k是所述卷积神经网络模型的感受野,并且d是下采样率。
15.根据权利要求12所述的方法,其特征在于,所述转换进一步包括将所述卷积神经网络模型的全连接层转换为等效的全卷积层。
16.根据权利要求10所述的方法,其特征在于,所述检测映射是指示所述全片图像中的各个像素的对应于癌症转移的概率的概率映射。
17.根据权利要求10所述的方法,其特征在于,所述方法进一步包括基于训练图像来训练全卷积神经网络模型。
18.根据权利要求10所述的方法,其特征在于,所述队列是异步队列,其中,以第一速度将所述多个区块读入到所述队列中并且以不同于所述第一速度的第二速度从所述队列中读出所述至少两个区块。
19.一种其上存储有计算机程序的非暂时性计算机可读的介质,其特征在于,所述计算机程序在由至少一个处理器执行时执行用于在全片图像中检测癌症转移的方法,所述方法包括:
接收所述全片图像和学习模型,所述全片图像由图像采集设备来获取;
将从所述全片图像得出的多个区块读入队列;
从所述队列中读取至少两个区块;
将所述学习模型并行地应用于存储在所述队列中的所述至少两个区块,以获得各自对应于区块的检测映射;以及
基于所述检测映射来检测所述癌症转移。
20.根据权利要求19所述的非暂时性计算机可读的介质,其特征在于,所述学习模型是全卷积神经网络模型。
CN201811184640.7A 2017-10-13 2018-10-11 用于在全片图像中检测癌症转移的系统、方法和介质 Active CN109410187B (zh)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
US201762572046P 2017-10-13 2017-10-13
US62/572,046 2017-10-13
US16/049,809 2018-07-31
US16/049,809 US10846854B2 (en) 2017-10-13 2018-07-31 Systems and methods for detecting cancer metastasis using a neural network

Publications (2)

Publication Number Publication Date
CN109410187A true CN109410187A (zh) 2019-03-01
CN109410187B CN109410187B (zh) 2021-02-12

Family

ID=65466970

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201811184640.7A Active CN109410187B (zh) 2017-10-13 2018-10-11 用于在全片图像中检测癌症转移的系统、方法和介质

Country Status (1)

Country Link
CN (1) CN109410187B (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110111895A (zh) * 2019-05-15 2019-08-09 天津医科大学肿瘤医院 一种鼻咽癌远端转移预测模型的建立方法
CN111105424A (zh) * 2019-12-19 2020-05-05 广州柏视医疗科技有限公司 淋巴结自动勾画方法及装置

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104143102A (zh) * 2014-08-05 2014-11-12 四川九成信息技术有限公司 在线图像数据处理方法
CN105531665A (zh) * 2013-06-21 2016-04-27 微软技术许可有限责任公司 用于虚拟存储设备的高速缓存降级
CN106600578A (zh) * 2016-11-22 2017-04-26 武汉大学 基于遥感影像的特征函数空间滤值回归模型并行化方法
US20170161891A1 (en) * 2015-12-03 2017-06-08 Case Western Reserve University Scaling up convolutional networks

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105531665A (zh) * 2013-06-21 2016-04-27 微软技术许可有限责任公司 用于虚拟存储设备的高速缓存降级
CN104143102A (zh) * 2014-08-05 2014-11-12 四川九成信息技术有限公司 在线图像数据处理方法
US20170161891A1 (en) * 2015-12-03 2017-06-08 Case Western Reserve University Scaling up convolutional networks
CN106600578A (zh) * 2016-11-22 2017-04-26 武汉大学 基于遥感影像的特征函数空间滤值回归模型并行化方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
DAYONG WANG等: "Deep Learning for Identifying Metastatic Breast Cancer", 《ARXIV:1606.05718V1 [Q-BIO.QM]》 *
HUANGJING LIN等: "ScanNet: A Fast and Dense Scanning Framework for Metastatic Breast Cancer Detection from Whole-Slide Images", 《ARXIV:1707.09597V1 [CS.CV]》 *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110111895A (zh) * 2019-05-15 2019-08-09 天津医科大学肿瘤医院 一种鼻咽癌远端转移预测模型的建立方法
CN111105424A (zh) * 2019-12-19 2020-05-05 广州柏视医疗科技有限公司 淋巴结自动勾画方法及装置

Also Published As

Publication number Publication date
CN109410187B (zh) 2021-02-12

Similar Documents

Publication Publication Date Title
US11614610B2 (en) Systems, devices, and methods for image processing to generate an image having predictive tagging
JP2022525198A (ja) 陽電子放射断層撮影を用いた腫瘍セグメンテーションのための深層畳み込みニューラルネットワーク
US10846854B2 (en) Systems and methods for detecting cancer metastasis using a neural network
US10039501B2 (en) Computer-aided diagnosis (CAD) apparatus and method using consecutive medical images
Yamanakkanavar et al. A novel M-SegNet with global attention CNN architecture for automatic segmentation of brain MRI
CN111210444A (zh) 多模态磁共振影像的分割方法、装置及介质
CN115471448A (zh) 基于人工智能的胸腺瘤组织病理的分型方法及装置
CN109410187A (zh) 用于在全片图像中检测癌症转移的系统、方法和介质
US20220222812A1 (en) Device and method for pneumonia detection based on deep learning
Tse et al. Strategies for implementing hardware-assisted high-throughput cellular image analysis
Zhao et al. Segmentation then prediction: a multi-task solution to brain tumor segmentation and survival prediction
Ahmed et al. Convid-net: an enhanced convolutional neural network framework for covid-19 detection from x-ray images
Liu et al. The generation of virtual immunohistochemical staining images based on an improved cycle-gan
Upendra et al. CNN-based cardiac motion extraction to generate deformable geometric left ventricle myocardial models from cine MRI
CN115984257A (zh) 一种基于多尺度transformer的多模态医学图像融合方法
Wan et al. C2BNet: A Deep Learning Architecture with Coupled Composite Backbone for Parasitic EGG Detection in Microscopic Images
Mansour et al. Kidney segmentations using cnn models
Hao et al. MFUnetr: A transformer-based multi-task learning network for multi-organ segmentation from partially labeled datasets
Leng et al. Multimodal cross enhanced fusion network for diagnosis of Alzheimer’s disease and subjective memory complaints
Wu et al. Automated multi-channel segmentation for the 4D myocardial velocity mapping cardiac MR
Zhang et al. Segmentation of left ventricle myocardium in porcine cardiac cine MR images using a hybrid of fully convolutional neural networks and convolutional LSTM
Wang et al. Preparing CT imaging datasets for deep learning in lung nodule analysis: Insights from four well-known datasets
Tomassini et al. A Double-Stage 3D U-Net for On-Cloud Brain Extraction and Multi-Structure Segmentation from 7T MR Volumes
Carmo et al. Automated computed tomography and magnetic resonance imaging segmentation using deep learning: a beginner's guide
Guennich et al. An Improved Model for Semantic Segmentation of Brain Lesions Using CNN 3D

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CP01 Change in the name or title of a patent holder
CP01 Change in the name or title of a patent holder

Address after: Block B, Mingyang International Center, 46 xizongbu Hutong, Dongcheng District, Beijing, 100005

Patentee after: Beijing Keya ark Medical Technology Co.,Ltd.

Address before: Block B, Mingyang International Center, 46 xizongbu Hutong, Dongcheng District, Beijing, 100005

Patentee before: BEIJING CURACLOUD TECHNOLOGY Co.,Ltd.

CP03 Change of name, title or address
CP03 Change of name, title or address

Address after: 3f301, East Tower, hadmen square, 8 Chongwenmenwai Street, Dongcheng District, Beijing 100062

Patentee after: Beijing Keya ark Medical Technology Co.,Ltd.

Address before: Block B, Mingyang International Center, 46 xizongbu Hutong, Dongcheng District, Beijing, 100005

Patentee before: Beijing Keya ark Medical Technology Co.,Ltd.

CP01 Change in the name or title of a patent holder
CP01 Change in the name or title of a patent holder

Address after: 3f301, East Tower, hadmen square, 8 Chongwenmenwai Street, Dongcheng District, Beijing 100062

Patentee after: Keya Medical Technology Co.,Ltd.

Address before: 3f301, East Tower, hadmen square, 8 Chongwenmenwai Street, Dongcheng District, Beijing 100062

Patentee before: Beijing Keya ark Medical Technology Co.,Ltd.