CN113939844A - 基于多分辨率特征融合的用于在显微镜图像上检测组织病变的计算机辅助诊断系统 - Google Patents

基于多分辨率特征融合的用于在显微镜图像上检测组织病变的计算机辅助诊断系统 Download PDF

Info

Publication number
CN113939844A
CN113939844A CN202080035952.0A CN202080035952A CN113939844A CN 113939844 A CN113939844 A CN 113939844A CN 202080035952 A CN202080035952 A CN 202080035952A CN 113939844 A CN113939844 A CN 113939844A
Authority
CN
China
Prior art keywords
image
data
image data
neural network
convolutional neural
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202080035952.0A
Other languages
English (en)
Inventor
陈翰博
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tencent America LLC
Original Assignee
Tencent America LLC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tencent America LLC filed Critical Tencent America LLC
Publication of CN113939844A publication Critical patent/CN113939844A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/253—Fusion techniques of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G06V10/806—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/69—Microscopic objects, e.g. biological cells or cellular parts
    • G06V20/695—Preprocessing, e.g. image segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/69—Microscopic objects, e.g. biological cells or cellular parts
    • G06V20/698—Matching; Classification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00—Indexing scheme for image data processing or generation, in general
    • G06T2200/24—Indexing scheme for image data processing or generation, in general involving graphical user interfaces [GUIs]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10056—Microscopic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20016—Hierarchical, coarse-to-fine, multiscale or multiresolution image processing; Pyramid transform
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30024—Cell structures in vitro; Tissue sections in vitro
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30096—Tumor; Lesion

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Multimedia (AREA)
  • Software Systems (AREA)
  • Medical Informatics (AREA)
  • Computing Systems (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Molecular Biology (AREA)
  • Databases & Information Systems (AREA)
  • Biomedical Technology (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Quality & Reliability (AREA)
  • Radiology & Medical Imaging (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Mathematical Physics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Biology (AREA)
  • Computer Graphics (AREA)
  • Computer Hardware Design (AREA)
  • Image Analysis (AREA)
  • Investigating Or Analysing Biological Materials (AREA)

Abstract

本公开的实施例包括一种方法、设备和计算机可读介质，涉及接收图像数据以检测组织病变，通过至少一个第一卷积神经网络传递图像数据，分割图像数据，融合分割的图像数据，以及检测组织病变。

Description

基于多分辨率特征融合的用于在显微镜图像上检测组织病变 的计算机辅助诊断系统
相关申请的交叉引用
本申请要求于2019年10月31日向美国专利商标局提交的美国专利申请第16/670,321号的优先权，在先申请的全部内容通过引用并入本文。
背景技术
近来，已经提出了不同的计算机辅助诊断(Computer-Aided Diagnosis,CAD)系统，以从医学图像中自动或半自动地分类、检测和分割组织病变。提出的这种系统可以帮助医生增加他们的处理量并提高诊断质量。一些全自动系统也可以单独工作，以进行预诊断或提供第二意见。这种系统还可以降低医疗成本并改善患者的健康。
传统的CAD系统是基于人类设计的算法和规则设计的。这种系统提供了简单的解释但性能有限。最近，CAD系统已经包括集成机器学习模型，例如，卷积神经网络(Convolutional Neural Networks，CNN)或其它深度学习方法。机器学习模型需要大量的训练。然而，一旦存在足够的训练数据，具有集成的机器学习模型的CAD系统可以给出专家级诊断，并且有时甚至可以胜过人类专家。
然而，大多数现有CAD系统直接采用为非临床任务(例如，手写检测或照片分类)设计的机器学习模型。目前还没有设计用于在显微镜下检测组织病变的CAD系统。
医生需要来自CAD系统的实时响应。然而，难以实时处理具有高分辨率的大图像。
此外，医生通常首先以小幅度(例如4x幅度)检查组织图像，然后切换到更高的变焦透镜(例如10x、20x和40x幅度)，从而以更高的细节水平(分辨率尺度)检查组织图像。诊断通常基于不同尺度的融合信息。现有系统无法融合不同尺度的信息进行诊断。
当整块组织太大而不能在显微镜下单次检查时，医生必须来回移动切片以检查其中的不同部分。没有现有系统旨在融合这种全局信息。
通常，CNN处理的图像基于局部特征，这对于组织图像而言可能是混乱的。例如，细胞核的暗斑是癌细胞的特征。然而，由于处理的差异，一些切片的斑点可能整体较暗。然而，通过仅查看局部信息，医生难以对这些切片做出正确的决定。
此外，典型的CNN对图像中物体的大小敏感，而同一对象(例如，细胞核)的大小以不同的幅度变化。提出的解决这个问题的一种方案是为每个分辨率训练单独的CNN模型。然而，这将显著地增加模型的大小和计算成本。提出的另一种方案是融合不同幅度的训练样本，并针对不同分辨率训练一个模型。然而，这种方法会降低CNN的性能。
本文公开的内容解决了上述问题，并提出了一种从显微图像检测细胞级组织病变的有效系统。此外，本公开提出了一种修改的CNN，以在进行计算时实现全局信息的集成。此外，这种修改的CNN利用单个模型独立地处理不同的分辨率，以便降低计算成本而不降低性能。
发明内容
本文公开了一种自动检测显微镜图像上的病变的CAD系统。系统可以将放大的组织图像(例如，MSI或WSI)作为输入，并自动处理图像，以识别图像上的病变或异常组织(例如癌细胞)。系统可分割病变区域并将病变分类为亚型。与传统系统不同，这里公开的系统可以分层处理图像，并且能够融合来自不同尺度的信息。所公开的系统也符合医生和病理学家的普遍做法：通过切换镜头的放大倍数来检查不同尺度的组织。
根据实施例的一个方面，提供了一种检测组织病变的方法，包括：从用户界面接收图像数据，所述图像数据包括原始图像数据；通过至少一个第一卷积神经网络传递所述图像数据，从而基于所述图像数据生成第一卷积神经网络特征，并且基于所述图像数据生成第一图像分割数据；通过至少一个第二卷积神经网络，传递所述第一卷积神经网络特征和所述第一图像分割数据，从而连接和加权所述第一图像分割数据，并生成第二图像分割数据；以及，分析所述第二图像分割数据，从而检测存在的组织病变。
根据实施例的另一个方面，所述图像数据可以包括多个分辨率尺度，并且，所述第一卷积神经网络特征可以包括为所述多个分辨率尺度中的每个分辨率尺度独立计算的特征。
根据实施例的另一个方面，所述第一图像分割数据可以是课程分割数据，其中，所述课程分割数据可以小于所述原始图像数据，并且所述课程分割数据的每个像素可以指示所述原始图像数据中的对应区域的类别。
根据实施例的另一个方面，所述第一图像分割数据可以是基于单个图像计算的。
根据实施例的另一个方面，所述第一图像分割数据可以通过传递来自不同图像视图和尺度的全局特征进行加权，以创建多层感知。
根据实施例的另一个方面，所述通过所述至少一个第一卷积神经网络传递所述图像数据，所述通过所述至少一个第二卷积神经网络传递所述第一卷积神经网络特征和所述第一图像分割数据，以及所述分析可以是实时执行的。
根据实施例的另一个方面，所接收到的图像数据可以来自显微镜图像、或全切片图像、或所述显微镜图像和所述全切片图像。
根据实施例的另一个方面，所述方法可以进一步包括将检测到的组织病变分类为亚型。
根据实施例的另一个方面，所述方法可以进一步包括显示分析结果。
根据实施例的另一个方面，所述分析结果可以显示在计算机上或通过增强现实显示。
根据实施例的另一个方面，提供了一种装置，包括：至少一个存储器，用于存储计算机程序代码；以及，至少一个处理器，用于访问所述至少一个存储器，根据所述计算机程序代码进行操作，所述计算机程序代码包括：接收代码，用于使得所述至少一个处理器从用户界面接收图像数据，所述图像数据包括原始图像数据；第一传递代码，用于使得所述至少一个处理器通过至少一个第一卷积神经网络传递所述图像数据，从而基于所述图像数据生成第一卷积神经网络特征，并且基于所述图像数据生成第一图像分割数据；第二传递代码，用于使得所述至少一个处理器通过至少一个第二卷积神经网络，传递所述第一卷积神经网络特征和所述第一图像分割数据，从而连接和加权所述第一图像分割数据，并生成第二图像分割数据；以及，分析代码，用于使得所述至少一个处理器分析所述第二图像分割数据，从而检测存在的组织病变。
根据实施例的另一个方面，所述图像数据可以包括多个分辨率尺度，并且，所述第一卷积神经网络特征可以包括为所述多个分辨率尺度中的每个分辨率尺度独立计算的特征。
根据实施例的另一个方面，所述第一图像分割数据可以是课程分割数据，其中，所述课程分割数据可以小于所述原始图像数据，并且所述课程分割数据的每个像素可以指示所述原始图像数据中的对应区域的类别。
根据实施例的另一个方面，所述第一传递代码可以进一步用于基于单个图像计算第一图像分割数据。
根据实施例的另一个方面，所述第二传递代码可以进一步用于通过传递来自不同图像视图和尺度的全局特征，对所述第一图像分割数据进行加权，以创建多层感知。
根据实施例的另一个方面，所述接收代码、所述第一传递代码和所述第二传递代码可以配置为实时操作。
根据实施例的另一个方面，所接收到的图像数据可以来自显微镜图像、或全切片图像、或所述显微镜图像和所述全切片图像。
根据实施例的另一个方面，所述计算机程序代码可以进一步包括分类代码，用于使得所述至少一个处理器将检测到的组织病变分类为亚型。
根据实施例的另一个方面，所述计算机代码可以进一步包括显示代码，用于使得所述至少一个处理器显示分析结果。
根据实施例的另一个方面，提供了一种非易失性计算机可读介质，所述非易失性计算机可读介质存储指令，所述指令包括一个或多个指令，当由设备的一个或多个处理器执行时，使得所述一个或多个处理器执行操作，包括：从用户界面接收图像数据，所述图像数据包括原始图像数据；通过至少一个第一卷积神经网络传递所述图像数据，从而基于所述图像数据生成第一卷积神经网络特征，并且基于所述图像数据生成第一图像分割数据；通过至少一个第二卷积神经网络，传递所述第一卷积神经网络特征和所述第一图像分割数据，从而连接和加权所述第一图像分割数据，并生成第二图像分割数据；以及，分析所述第二图像分割数据，从而检测存在的组织病变。
附图说明
图1是根据实施例的可以在其中实施本文描述的方法、装置和系统的环境的示意图。
图2是由在此描述的装置和系统的实现方式提供的环境的图示。
图3是本文描述的方法、装置和系统的实施例的示意图。
图4是根据本公开实施例的各种组件的示意图400。
图5示出了根据本公开实施例的流程图。
具体实施方式
为了使本申请的目标、技术方案和优点更加清晰和可理解，将参考附图进一步详细描述实施例。应该理解的是，本文中描述的具体实现仅用于解释本申请，而不是限制本申请。
图1是计算机辅助诊断系统的应用环境的示意图，其中，计算机辅助诊断系统基于多分辨率特征融合在显微镜图像上检测组织病变。如图1所示，相机11可以捕获显微镜5下的视图。计算机1可以基于捕获的图像计算并生成图形。用户可以在显微镜5下观察组织切片6。计算结果的反馈可以存储并显示在计算机监视器2上，或显微镜5的增强现实监视器10上，或作为计算机生成的语音提供，或打印在打印机3提供的纸上。
当装载新的切片时，系统可以开始收集显微镜5下的组织照片。可以将获取照片的变焦透镜的参数一起发送到计算机1。系统可以融合该信息并生成诊断。诊断可以包括：组织类型、是否有异常发现、癌症等异常发现的类型、异常发现的照片和照片上异常发现的区域。
图1所示的系统部件可以包括：显微镜5，放大和检查切片6的设备。当切换物镜时，显微镜5可以向计算机1发送信号，以指示当前正在使用物镜的计算机，或者计算机1发送请求信号以获取此类信息。数码相机11可以安装在透镜管上，以捕获显微镜5下的视图。增强现实(Augmented reality，AR)透镜10可以安装在目镜上，以将虚拟屏幕覆盖在切片6的视图顶部。计算机1可以是图像计算和数据存储设备。麦克风(未示出)可以是用户用来控制系统的语音输入设备。监视器2可以显示结果。打印机3可以打印结果。扬声器4可以提供计算机生成的语音。
系统的核心可以是图像处理系统，该图像处理系统能够融合来自不同视图和不同尺度的信息。图3示出了系统的一种实现方式。
图3是公开的多尺度多视图显微镜图像处理系统300的图示。该系统由多个CNN(梯形)和多层感知器(矩形)组成。圆角矩形表示系统300的输入和输出数据。箭头指示系统300内的数据流。
如图2所示，系统可以包括级联的CNN。首先，可以将图像传递到CNN_A 302，以计算低阶特征。然后，对于每个分辨率尺度，可以独立地计算CNN_Bi 303。根据图像的尺度(由透镜参数7给出)，可以将低阶特征传递到对应的CNN_Bi303-305以计算粗略分割。粗略分割可以小于原始图像，并且每个像素可以指示原始图像上的对应区域的类别。CNN_C 307可恢复粗略分割的空间分辨率，以生成初始分割。CNN_A 302中的低阶特征可被复制并连接到CNN_C 307中，以帮助恢复分辨率。可以纯粹基于单个图像，而没有任何上下文信息，计算初始分割。然后，可以通过融合其他视图和其他尺度的信息来修正初始分割。
这里，初始分割可以与原始图像连接。如果可用，来自较低和较高分辨率尺度的重采样分割也可以连接在一起。然后，可以将连接的图像传递到CNN_D 313和CNN_E 314中，以计算最终分割。在CNN_D 313中，可以对多个卷积层进行加权。可以通过将来自其他视图和其他尺度的全局特征传递到多层感知器中，从而计算权重。由CNN_D 313计算的卷积特征可以作为图像的代表性特征，并与全局特征融合以供进一步使用。
所提出的图像处理系统还可以扩展为实时处理大图像。对于MSI，图像通常非常大。典型的CNN可能需要花几秒钟来完成整个图像的处理。因此，获得结果需要一定的等待时间，这会损害用户体验。然而，使用当前公开的系统，首先可以将图像下采样为低分辨率尺度，但是足够小以可实时计算。
在计算完成之后，可以立即显示结果，所以用户可以得到快速反馈。然后，系统可以开始逐片处理原始但高分辨率的图像，同时更新结果。这样，用户可以不断的实时接收更新的结果。此外，通过融合以低分辨率计算的特征和分割，结果将比直接处理原始图像精确。
图5示出了根据本公开实施例的流程图500。方便地，流程图500示出了基于多分辨率特征融合在显微镜图像上自动检测组织病变的能力。
在S501，从用户界面输入医学成像。在S502，通过至少一个第一CNN传递医学成像的图像数据，从而基于图像数据生成第一卷积神经网络CNN特征，并基于图像数据生成第一图像分割数据。在S503，通过至少一个第二卷积神经网络，传递第一CNN特征和第一图像分割数据，从而连接和加权第一图像分割数据，并生成第二图像分割数据。在S504，分析第二图像分割数据，从而检测组织病变(如果存在)。
根据本公开提供的某些优点，所公开的系统可以实时地在显微镜图像上进行分类、定位和分割病变。该系统可以改进传统的CNN，以在同一切片上融合先前不同视图和不同尺度的观察结果。该系统可以降低针对不同尺度训练单独CNN的成本而不降低准确性。
此外，所公开的系统可以分级地处理大图像，与计算步骤同时更新结果。因此，用户不需要等待计算结束才检查结果。相反，用户可以首先得到粗略结果，然后显示器会不断更新修正后的结果，直到计算完成。
此外，可以通过增加或减少卷积层来修改网络架构。此外，所公开的系统可以扩展到处理其他类型的大图像数据，例如，卫星遥感图像。
本文公开的技术可以通过计算机可读指令实现为计算机软件，并且物理地存储在一个或多个计算机可读介质中。例如，图4示出了计算机系统400，其适于实现所公开主题的某些实施例。
所述计算机软件可通过任何合适的机器代码或计算机语言进行编码，通过汇编、编译、链接等机制创建包括指令的代码，所述指令可由计算机中央处理单元(CPU)，图形处理单元(GPU)等直接执行或通过译码、微代码等方式执行。
所述指令可以在各种类型的计算机或其组件上执行，包括例如个人计算机、平板电脑、服务器、智能手机、游戏设备、物联网设备等。
图4所示的用于计算机系统400的组件本质上是示例性的，并不用于对实现本申请实施例的计算机软件的使用范围或功能进行任何限制。也不应将组件的配置解释为与计算机系统400的示例性实施例中所示的任一组件或其组合具有任何依赖性或要求。
计算机系统400可以包括某些人机界面输入设备。这种人机界面输入设备可以通过触觉输入(如：键盘输入、滑动、数据手套移动)、音频输入(如：声音、掌声)、视觉输入(如：手势)、嗅觉输入(未示出)，对一个或多个人类用户的输入做出响应。所述人机界面设备还可用于捕获某些媒体，气与人类有意识的输入不必直接相关，如音频(例如：语音、音乐、环境声音)、图像(例如：扫描图像、从静止影像相机获得的摄影图像)、视频(例如二维视频、包括立体视频的三维视频)。
人机界面输入设备可包括以下中的一个或多个(仅绘出其中一个)：键盘401、鼠标402、触控板403、触摸屏410、操纵杆405、麦克风406、扫描仪407和照相机408。例如，相机408可以是用于心脏计算机断层扫描的X射线设备或其他医疗技术，从中可以获得S101或S501的图像。
计算机系统400还可以包括某些人机界面输出设备。这种人机界面输出设备可以通过例如触觉输出、声音、光和嗅觉/味觉来刺激一个或多个人类用户的感觉。这样的人机界面输出设备可包括触觉输出设备(例如通过触摸屏410、或操纵杆405的触觉反馈，但也可以有不用作输入设备的触觉反馈设备)、音频输出设备(例如，扬声器409、耳机(未示出))、视觉输出设备(例如，包括阴极射线管屏幕、液晶屏幕、等离子屏幕、有机发光二极管屏的屏幕410，其中每一个都具有或没有触摸屏输入功能、每一个都具有或没有触觉反馈功能——其中一些可通过诸如立体画面输出的手段输出二维视觉输出或三维以上的输出；虚拟现实眼镜(未示出)、全息显示器和放烟箱(未示出))以及打印机(未示出)。
计算机系统400还可以包括人可访问的存储设备及其相关介质，如包括具有CD/DVD的高密度只读/可重写式光盘(CD/DVD ROM/RW)420或类似介质421的光学介质、拇指驱动器422、可移动硬盘驱动器或固体状态驱动器423，诸如磁带和软盘(未示出)的传统磁介质，诸如安全软件保护器(未示出)等的基于ROM/ASIC/PLD的专用设备，等等。
本领域技术人员还应当理解，结合所公开的主题使用的术语“计算机可读介质”不包括传输介质、载波或其它瞬时信号。
计算机系统400还可以包括通往一个或多个通信网络的接口。例如，网络可以是无线的、有线的、光学的。网络还可为局域网、广域网、城域网、车载网络和工业网络、实时网络、延迟容忍网络等等。网络还包括以太网、无线局域网、蜂窝网络(GSM、3G、4G、5G、LTE等)等局域网、电视有线或无线广域数字网络(包括有线电视、卫星电视、和地面广播电视)、车载和工业网络(包括CANBus)等等。某些网络通常需要外部网络接口适配器，用于连接到某些通用数据端口或外围总线449(例如，计算机系统400的USB端口)；其它系统通常通过连接到如下所述的系统总线集成到计算机系统400的核心(例如，以太网接口集成到PC计算机系统或蜂窝网络接口集成到智能电话计算机系统)。通过使用这些网络中的任何一个，计算机系统400可以与其它实体进行通信。所述通信可以是单向的，仅用于接收(例如，无线电视)，单向的仅用于发送(例如CAN总线到某些CAN总线设备)，或双向的，例如通过局域或广域数字网络到其它计算机系统。上述的每个网络和网络接口可使用某些协议和协议栈。
上述的人机界面设备、人可访问的存储设备以及网络接口可以连接到计算机系统400的核心440。
核心440可包括一个或多个中央处理单元(CPU)441、图形处理单元(GPU)442、以现场可编程门阵列(FPGA)443形式的专用可编程处理单元、用于特定任务的硬件加速器444等。这些设备以及只读存储器(ROM)145、随机存取存储器446、内部大容量存储器(例如内部非用户可存取硬盘驱动器、固态硬盘等)447等可通过系统总线448进行连接。在某些计算机系统中，可以以一个或多个物理插头的形式访问系统总线448，以便可通过额外的中央处理单元、图形处理单元等进行扩展。外围装置可直接附接到核心的系统总线448，或通过外围总线449进行连接。外围总线的体系结构包括外部控制器接口PCI、通用串行总线USB等。
CPU 441、GPU 442、FPGA 443和加速器444可以执行某些指令，这些指令组合起来可以构成上述计算机代码。该计算机代码可以存储在ROM 445或RAM446中。过渡数据也可以存储在RAM 446中，而永久数据可以存储在例如内部大容量存储器447中。通过使用高速缓冲存储器可实现对任何存储器设备的快速存储和检索，高速缓冲存储器可与一个或多个CPU 441、GPU 442、大容量存储器447、ROM 445、RAM 446等紧密关联。
所述计算机可读介质上可具有计算机代码，用于执行各种计算机实现的操作。介质和计算机代码可以是为本申请的目的而特别设计和构造的，也可以是计算机软件领域的技术人员所熟知和可用的介质和代码。
作为实施例而非限制，具有体系结构400的计算机系统，特别是核心440，可以作为处理器(包括CPU、GPU、FPGA、加速器等)提供执行包含在一个或多个有形的计算机可读介质中的软件的功能。这种计算机可读介质可以是与上述的用户可访问的大容量存储器相关联的介质，以及具有非易失性的核心440的特定存储器，例如核心内部大容量存储器447或ROM445。实现本申请的各种实施例的软件可以存储在这种设备中并且由核心440执行。根据特定需要，计算机可读介质可包括一个或一个以上存储设备或芯片。该软件可以使得核心740特别是其中的处理器(包括CPU、GPU、FPGA等)执行本文所述的特定过程或特定过程的特定部分，包括定义存储在RAM 446中的数据结构以及根据软件定义的过程来修改这种数据结构。另外或作为替代，计算机系统可以提供逻辑硬连线或以其它方式包含在电路(例如，加速器444)中的功能，该电路可以代替软件或与软件一起运行以执行本文所述的特定过程或特定过程的特定部分。在适当的情况下，对软件的引用可以包括逻辑，反之亦然。在适当的情况下，对计算机可读介质的引用可包括存储执行软件的电路(如集成电路(IC))，包含执行逻辑的电路，或两者兼备。本申请包括任何合适的硬件和软件组合。
附图中出现的参考数字的部分列表如下所示：
1:计算机(computer),
2:监视器(monitor),
3:打印机(printer)。
4:扬声器(speaker),
5:显微镜(microscope),
6:组织切片(tissue slide),
7:镜头参数(lens Param),
8:变焦镜头(zoom lens),
9:观察者(observer),
10:增强现实设备(augmented reality device),
11:相机(camera),
12:多视图融合(multi-view fusion),
13:多尺度融合(multi-scale fusion),
300:多尺度多视角显微图像处理系统(multi-scale multi-view microscopyimage processing system),
301:图像(image),
302:卷积神经网络_A(CNN_A),
303-305:卷积神经网络_Bi(CNN_Bi)
306:分割(segmentation),
307:卷积神经网络_C(CNN_C),
308:低点分割(low segmentation),
309:初始分割(initial segmentation),
310:高点分割(high segmentation),
311:全局特征(global features),
312:多层感知器(multi-layer perception),
313:卷积神经网络_D(CNN_D),
314:卷积神经网络_E(CNN_E),
315:融合(fuse),
316:新的全局特征(new global features),
317:最终分割(final segmentation),
318:连接开关(connection switch),
319:连接(concatenation),以及，
320:权重(weighting),
上述公开提供了说明和描述，但并非旨在穷举或将实施限制为所公开的精确形式。根据上述公开内容可以进行修改和变化，或者可以从实施方式的实践中获得修改和变化。
如本文所用，术语组件旨在广义地解释为硬件、固件或硬件和软件的组合。
显然，这里描述的系统和/或方法可以使用不同形式的硬件、固件或硬件和软件的组合来实现。用于实施这些系统和/或方法的实际专用控制硬件、或软件代码不限制实现。因此，在没有参考特定软件代码的情况下，在本文描述系统和/或方法的操作和行为——应当理解，可以设计软件和硬件，以基于本文的描述来实现系统和/或方法。
尽管在权利要求中记载，和/或，在说明书中公开了多个特征的特定组合，但这些组合并不旨在限制可能实施方式的公开。事实上，这些特征中的许多特征可以以权利要求中未具体记载和/或说明书中未公开的方式组合。尽管下面列出的每个从属权利要求可能仅直接依赖于一个权利要求，但可能实现的公开包括每个从属权利要求与权利要求集合中的所有其他权利要求的组合。
除非明确说明，否则此处使用的任何元素、行为或指令均不应被解释为关键或必要的。此外，如本文所用，冠词“一个(a)”和“一个(an)”旨在包括一个或多个项目，并且可以与“一个或多个”互换使用。此外，如本文所用，术语“集合(set)”旨在包括一个或多个项目(例如，相关项目、不相关项目、相关项目和不相关项目的组合等)，并且可以与“一个或多个”互换使用。如果仅打算使用一项，则使用术语“一个(one)”或类似的语言。此外，如本文所用，术语“具有(has)”、“具有(have)”、“具有(having)”等意为开放式术语。此外，除非另有明确说明，否则短语“基于(based on)”旨在表示“至少部分基于(based,at least inpart,on)”。

Claims (20)

1.一种检测组织病变的方法，其特征在于，所述方法包括：
从用户界面接收图像数据，所述图像数据包括原始图像数据；
通过至少一个第一卷积神经网络传递所述图像数据，从而基于所述图像数据生成第一卷积神经网络特征，并且基于所述图像数据生成第一图像分割数据；
通过至少一个第二卷积神经网络，传递所述第一卷积神经网络特征和所述第一图像分割数据，从而连接和加权所述第一图像分割数据，并生成第二图像分割数据；以及，
分析所述第二图像分割数据，从而检测存在的组织病变。
2.根据权利要求1所述的方法，其特征在于，所述图像数据包括多个分辨率尺度，并且，所述第一卷积神经网络特征包括为所述多个分辨率尺度中的每个分辨率尺度独立计算的特征。
3.根据权利要求1所述的方法，其特征在于，所述第一图像分割数据是小于所述原始图像数据的课程分割数据，并且所述课程分割数据的每个像素指示所述原始图像数据中的对应区域的类别。
4.根据权利要求1所述的方法，其特征在于，所述第一图像分割数据是基于单个图像计算的。
5.根据权利要求1所述的方法，其特征在于，所述第一图像分割数据通过传递来自不同图像视图和尺度的全局特征进行加权，以创建多层感知。
6.根据权利要求1所述的方法，其特征在于，所述通过所述至少一个第一卷积神经网络传递所述图像数据，所述通过所述至少一个第二卷积神经网络传递所述第一卷积神经网络特征和所述第一图像分割数据，以及所述分析是实时执行的。
7.根据权利要求1所述的方法，其特征在于，所接收到的图像数据来自显微镜图像、或全切片图像、或所述显微镜图像和所述全切片图像。
8.根据权利要求1所述的方法，其特征在于，所述方法进一步包括将检测到的组织病变分类为亚型。
9.根据权利要求1所述的方法，其特征在于，所述方法进一步包括显示分析结果。
10.根据权利要求9所述的方法，其特征在于，所述分析结果显示在计算机上或通过增强现实显示。
11.一种装置，其特征在于，包括：
至少一个存储器，用于存储计算机程序代码；以及，
至少一个处理器，用于访问所述至少一个存储器，根据所述计算机程序代码进行操作，所述计算机程序代码包括：
接收代码，用于使得所述至少一个处理器从用户界面接收图像数据，所述图像数据包括原始图像数据；
第一传递代码，用于使得所述至少一个处理器通过至少一个第一卷积神经网络传递所述图像数据，从而基于所述图像数据生成第一卷积神经网络特征，并且基于所述图像数据生成第一图像分割数据；
第二传递代码，用于使得所述至少一个处理器通过至少一个第二卷积神经网络，传递所述第一卷积神经网络特征和所述第一图像分割数据，从而连接和加权所述第一图像分割数据，并生成第二图像分割数据；以及，
分析代码，用于使得所述至少一个处理器分析所述第二图像分割数据，从而检测存在的组织病变。
12.根据权利要求11所述的装置，其特征在于，所述图像数据包括多个分辨率尺度，并且，所述第一卷积神经网络特征包括为所述多个分辨率尺度中的每个分辨率尺度独立计算的特征。
13.根据权利要求11所述的装置，其特征在于，所述第一图像分割数据是小于所述原始图像数据的课程分割数据，并且所述课程分割数据的每个像素指示所述原始图像数据中的对应区域的类别。
14.根据权利要求11所述的装置，其特征在于，所述第一传递代码进一步用于基于单个图像计算第一图像分割数据。
15.根据权利要求11所述的装置，其特征在于，所述第二传递代码进一步用于通过传递来自不同图像视图和尺度的全局特征，对所述第一图像分割数据进行加权，以创建多层感知。
16.根据权利要求11所述的装置，其特征在于，所述接收代码、所述第一传递代码和所述第二传递代码配置为实时操作。
17.根据权利要求11所述的装置，其特征在于，所接收到的图像数据来自显微镜图像、或全切片图像、或所述显微镜图像和所述全切片图像。
18.根据权利要求11所述的装置，其特征在于，所述计算机程序代码进一步包括分类代码，用于使得所述至少一个处理器将检测到的组织病变分类为亚型。
19.根据权利要求11所述的装置，其特征在于，所述计算机代码进一步包括显示代码，用于使得所述至少一个处理器显示分析结果。
20.一种非易失性计算机可读介质，其特征在于，所述非易失性计算机可读介质存储指令，所述指令包括一个或多个指令，当由设备的一个或多个处理器执行时，使得所述一个或多个处理器执行操作，包括：
从用户界面接收图像数据，所述图像数据包括原始图像数据；
通过至少一个第一卷积神经网络传递所述图像数据，从而基于所述图像数据生成第一卷积神经网络特征，并且基于所述图像数据生成第一图像分割数据；
通过至少一个第二卷积神经网络，传递所述第一卷积神经网络特征和所述第一图像分割数据，从而连接和加权所述第一图像分割数据，并生成第二图像分割数据；以及，
分析所述第二图像分割数据，从而检测存在的组织病变。
CN202080035952.0A 2019-10-31 2020-08-20 基于多分辨率特征融合的用于在显微镜图像上检测组织病变的计算机辅助诊断系统 Pending CN113939844A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US16/670,321 2019-10-31
US16/670,321 US11341635B2 (en) 2019-10-31 2019-10-31 Computer aided diagnosis system for detecting tissue lesion on microscopy images based on multi-resolution feature fusion
PCT/US2020/047134 WO2021086474A1 (en) 2019-10-31 2020-08-20 Computer aided diagnosis system for detecting tissue lesion on microscopy images based on multi-resolution feature fusion

Publications (1)

Publication Number Publication Date
CN113939844A true CN113939844A (zh) 2022-01-14

Family

ID=75689030

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202080035952.0A Pending CN113939844A (zh) 2019-10-31 2020-08-20 基于多分辨率特征融合的用于在显微镜图像上检测组织病变的计算机辅助诊断系统

Country Status (5)

Country Link
US (2) US11341635B2 (zh)
EP (1) EP3915085A4 (zh)
JP (1) JP7214301B2 (zh)
CN (1) CN113939844A (zh)
WO (1) WO2021086474A1 (zh)

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CA3067824A1 (en) 2017-06-26 2019-01-03 The Research Foundation For The State University Of New York System, method, and computer-accessible medium for virtual pancreatography
US20200137380A1 (en) * 2018-10-31 2020-04-30 Intel Corporation Multi-plane display image synthesis mechanism
CN110619318B (zh) * 2019-09-27 2021-03-02 腾讯科技（深圳）有限公司 基于人工智能的图像处理方法、显微镜、系统和介质
KR20220108158A (ko) * 2019-12-09 2022-08-02 얀센 바이오테크 인코포레이티드 병변으로 덮인 체표면적 백분율에 기초한 피부 질환의 중증도 결정 방법
CN115223165B (zh) * 2022-09-20 2022-12-27 珠海横琴圣澳云智科技有限公司 待判读细胞图像的获取方法和装置
CN115406815B (zh) * 2022-11-02 2023-02-03 杭州华得森生物技术有限公司 基于多源数据融合的肿瘤细胞检测设备及其方法
US11978185B1 (en) * 2022-11-22 2024-05-07 Pramana, Inc. System and methods for color gamut normalization for pathology slides
CN117929393B (zh) * 2024-03-21 2024-06-07 广东金鼎光学技术股份有限公司 一种镜头缺陷检测方法、系统、处理器及存储介质

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9430829B2 (en) 2014-01-30 2016-08-30 Case Western Reserve University Automatic detection of mitosis using handcrafted and convolutional neural network features
EP3149653A4 (en) 2014-05-29 2017-06-14 Beijing Kuangshi Technology Co., Ltd. Facial landmark localization using coarse-to-fine cascaded neural networks
US20170124409A1 (en) 2015-11-04 2017-05-04 Nec Laboratories America, Inc. Cascaded neural network with scale dependent pooling for object detection
US9760807B2 (en) * 2016-01-08 2017-09-12 Siemens Healthcare Gmbh Deep image-to-image network learning for medical image analysis
US10420523B2 (en) * 2016-03-21 2019-09-24 The Board Of Trustees Of The Leland Stanford Junior University Adaptive local window-based methods for characterizing features of interest in digital images and systems for practicing same
US9589374B1 (en) 2016-08-01 2017-03-07 12 Sigma Technologies Computer-aided diagnosis system for medical images using deep convolutional neural networks
GB201705911D0 (en) * 2017-04-12 2017-05-24 Kheiron Medical Tech Ltd Abstracts
GB201709672D0 (en) * 2017-06-16 2017-08-02 Ucl Business Plc A system and computer-implemented method for segmenting an image
CA3067824A1 (en) * 2017-06-26 2019-01-03 The Research Foundation For The State University Of New York System, method, and computer-accessible medium for virtual pancreatography
CN107527069A (zh) * 2017-08-22 2017-12-29 京东方科技集团股份有限公司 图像处理方法、装置、电子设备及计算机可读介质
EP3625765B1 (en) * 2017-12-29 2024-03-20 Leica Biosystems Imaging, Inc. Processing of histology images with a convolutional neural network to identify tumors
US10657425B2 (en) * 2018-03-09 2020-05-19 Ricoh Company, Ltd. Deep learning architectures for the classification of objects captured with a light-field camera
US10304193B1 (en) * 2018-08-17 2019-05-28 12 Sigma Technologies Image segmentation and object detection using fully convolutional neural network
US11250563B2 (en) * 2019-10-31 2022-02-15 Tencent America LLC Hierarchical processing technique for lesion detection, classification, and segmentation on microscopy images

Also Published As

Publication number Publication date
JP2022530249A (ja) 2022-06-28
EP3915085A1 (en) 2021-12-01
JP7214301B2 (ja) 2023-01-30
EP3915085A4 (en) 2022-03-30
WO2021086474A1 (en) 2021-05-06
US20220245809A1 (en) 2022-08-04
US11341635B2 (en) 2022-05-24
US20210133958A1 (en) 2021-05-06
US11810297B2 (en) 2023-11-07

Similar Documents

Publication Publication Date Title
CN113939844A (zh) 基于多分辨率特征融合的用于在显微镜图像上检测组织病变的计算机辅助诊断系统
TWI715117B (zh) 醫療影像處理方法及裝置、電子設備及儲存介質
TWI724669B (zh) 病灶檢測方法及其裝置及其設備及儲存媒體
US10692602B1 (en) Structuring free text medical reports with forced taxonomies
Rajaraman et al. Visualizing and explaining deep learning predictions for pneumonia detection in pediatric chest radiographs
US11276164B2 (en) Classifier trained with data of different granularity
CN109191451B (zh) 异常检测方法、装置、设备和介质
CN109460756B (zh) 医学影像处理方法、装置、电子设备及计算机可读介质
US20220254134A1 (en) Region recognition method, apparatus and device, and readable storage medium
WO2020118152A1 (en) Heat map based medical image diagnostic mechanism
US11250563B2 (en) Hierarchical processing technique for lesion detection, classification, and segmentation on microscopy images
CN116187448B (zh) 一种信息展示的方法、装置、存储介质及电子设备
US20220375610A1 (en) Multi-Variable Heatmaps for Computer-Aided Diagnostic Models
WO2024074921A1 (en) Distinguishing a disease state from a non-disease state in an image
CN110533120B (zh) 器官结节的图像分类方法、装置、终端及存储介质
Adegun et al. Deep convolutional network-based framework for melanoma lesion detection and segmentation
Wu et al. Pneumonia detection based on RSNA dataset and anchor-free deep learning detector
CN113994371B (zh) 图像分析的方法和设备
TWI836394B (zh) 醫療影像處理之方法、裝置及電腦程式
US11961231B2 (en) Method and system for medical image interpretation
US20240070892A1 (en) Stereovision annotation tool
US20220108124A1 (en) Information processing system, information processing apparatus, information processing method, and non-transitory storage medium
US20240203039A1 (en) Interpretable task-specific dimensionality reduction
JP2024045916A (ja) 識別装置、識別方法、プログラム
CN117392124A (zh) 一种医学超声图像分级方法、系统、服务器、介质及设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
REG Reference to a national code

Ref country code: HK

Ref legal event code: DE

Ref document number: 40065769

Country of ref document: HK

SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination