CN110073404B - 数字组织病理学和显微解剖 - Google Patents

数字组织病理学和显微解剖 Download PDF

Info

Publication number
CN110073404B
CN110073404B CN201780065356.5A CN201780065356A CN110073404B CN 110073404 B CN110073404 B CN 110073404B CN 201780065356 A CN201780065356 A CN 201780065356A CN 110073404 B CN110073404 B CN 110073404B
Authority
CN
China
Prior art keywords
image
tissue
region
patches
interest
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201780065356.5A
Other languages
English (en)
Other versions
CN110073404A (zh
Inventor
宋斌
格雷戈里·楚
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nantomics LLC
Original Assignee
Nantomics LLC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nantomics LLC filed Critical Nantomics LLC
Publication of CN110073404A publication Critical patent/CN110073404A/zh
Application granted granted Critical
Publication of CN110073404B publication Critical patent/CN110073404B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/217—Validation; Performance evaluation; Active pattern learning techniques
    • G06F18/2193—Validation; Performance evaluation; Active pattern learning techniques based on specific statistical tests
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/23—Clustering techniques
    • G06F18/232—Non-hierarchical techniques
    • G06F18/2321—Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions
    • G06F18/23213—Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions with fixed number of clusters, e.g. K-means clustering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2411—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on the proximity to a decision surface, e.g. support vector machines
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2413—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on distances to training or reference patterns
    • G06F18/24133—Distances to prototypes
    • G06F18/24137—Distances to cluster centroïds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2413—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on distances to training or reference patterns
    • G06F18/24147—Distances to closest patterns, e.g. nearest neighbour classification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2415—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on parametric or probabilistic models, e.g. based on likelihood ratio or false acceptance rate versus a false rejection rate
    • G06F18/24155—Bayesian classification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/285—Selection of pattern recognition techniques, e.g. of classifiers in a multi-classifier system
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/29—Graphical models, e.g. Bayesian networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N7/00—Computing arrangements based on specific mathematical models
    • G06N7/01—Probabilistic graphical models, e.g. probabilistic networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00—General purpose image data processing
    • G06T1/20—Processor architectures; Processor configuration, e.g. pipelining
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/187—Segmentation; Edge detection involving region growing; involving region merging; involving connected component labelling
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G06V10/443—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components by matching or filtering
    • G06V10/449—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters
    • G06V10/451—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters with interaction between the filter responses, e.g. cortical complex cells
    • G06V10/454—Integrating the filters into a hierarchical structure, e.g. convolutional neural networks [CNN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/50—Extraction of image or video features by performing operations within image blocks; by using histograms, e.g. histogram of oriented gradients [HoG]; by summing image-intensity values; Projection analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/778—Active pattern-learning, e.g. online learning of image or video features
    • G06V10/7796—Active pattern-learning, e.g. online learning of image or video features based on specific statistical tests
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/69—Microscopic objects, e.g. biological cells or cellular parts
    • G06V20/695—Preprocessing, e.g. image segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10056—Microscopic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20021—Dividing image into blocks, subimages or windows
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20112—Image segmentation details
    • G06T2207/20156—Automatic seed setting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30024—Cell structures in vitro; Tissue sections in vitro

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Computing Systems (AREA)
  • Software Systems (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Biology (AREA)
  • Medical Informatics (AREA)
  • Databases & Information Systems (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • Probability & Statistics with Applications (AREA)
  • Mathematical Physics (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Quality & Reliability (AREA)
  • Biodiversity & Conservation Biology (AREA)
  • Algebra (AREA)
  • Computational Mathematics (AREA)
  • Mathematical Analysis (AREA)
  • Mathematical Optimization (AREA)
  • Pure & Applied Mathematics (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)
  • Investigating Or Analysing Biological Materials (AREA)

Abstract

提供了一种生成数字图像中的感兴趣区域的至少一种形状的计算机实现的方法。所述方法包括：由图像处理引擎获得对生物样本的数字组织图像的访问；由所述图像处理引擎将所述数字组织图像拼接成图像块的合集；由所述图像处理引擎从所述图像块的合集中识别靶组织图像块集，所述靶组织图像块集与所述图像块的合集内的像素内容相关联；由所述图像处理引擎给所述靶组织图像块集的每个靶组织图像块分配表示所述靶组织图像块落入感兴趣类内的概率的初始类概率分数，所述初始类概率分数由在每个靶组织图像块上执行的训练后的分类器生成；由所述图像处理引擎通过识别具有满足第一种子区域准则的初始类概率分数的靶组织图像块来生成第一组织区域种子图像块集，所述第一组织区域种子图像块集包括所述靶组织图像块集的子集；由所述图像处理引擎通过识别具有满足第二种子区域准则的初始类概率分数的靶组织图像块来生成第二组织区域种子图像块集，所述第二组织区域种子图像块集包括所述靶组织图像块集的子集；由所述图像处理引擎计算所述第二组织区域种子图像块集中的每个图像块的感兴趣区域分数，该感兴趣区域分数与所述第二组织区域种子图像块集的邻近图像块的初始类概率分数和第二组织区域种子图像块集中的图像块到所述第一组织区域种子图像块集内的图像块的距离相关；以及由所述图像处理引擎通过基于邻近图像块的感兴趣区域分数对邻近图像块进行分组来生成一个或多个感兴趣区域形状。

Description

数字组织病理学和显微解剖
相关申请的交叉引用
本申请要求2016年10月21日提交的美国临时申请No.62/411,290和2017年9月12日提交的美国临时申请No.62/557,737的优先权。本文引用的这些和所有其他外在材料通过引用整体地并入。
引言
本技术一般地涉及组织病理学(histopathology)、组织的显微镜检查，目的是确定组织是否患病和/或研究患病的组织。可以从身体的任何部位移除组织，所述任何部位包括例如乳房肿块、肠、肾、肝、子宫内膜、肺、胸、淋巴结、肌肉、神经、皮肤、睾丸、甲状腺等的标本。
本公开的技术涉及识别数字图像内的感兴趣区域(regions of interest)，例如，从背景场景中识别前景对象或识别数字组织病理学图像内的癌细胞。
可以在包括活组织检查(biopsy)、外科手术或尸检的多种环境中从受试者收集组织。在从受试者移除组织之后，它们通过被放置在诸如福尔马林的固定剂中以防止组织腐烂来为化学固定做准备。然后将组织冷冻或者置于熔融蜡中。然后切割组织的切片并将它们置于载玻片上。
一旦组织切片在载玻片上，病理学家就通过显微镜来观察载玻片以确定组织是否患病，并且如果患病，则确定疾病的阶段。例如，病理学家可以确定乳房肿块是否包括乳腺癌细胞，如果包括乳腺癌细胞，则病理学家可以确定癌的等级和/或阶段。然而，这些确定存在技术问题的原因在于它们常常是不可靠的、昂贵的且费时的，并且一般地要求由多个病理学家进行验证以使假确定(包括假阳性和假阴性)的可能性最小化。
本发明的实施例解决上述技术问题，并且提供了使用神经网络，更具体地说，卷积神经网络来确定组织是否很可能患病的技术解决方案。
附图说明
图1图示可实现本发明的实施例的一个或多个方面的分布式计算机系统的框图；
图2图示可实现本发明的实施例的一个或多个方面的电子设备的框图；
图3图示可实现本发明的实施例的一个或多个方面的电子设备的架构图；
图4图示由可实现本发明的实施例的一个或多个方面的电子设备执行的过程；
图5图示卷积神经网络的层，其中层被修改以便与本发明的实施例一起使用；
图6图示由实现本发明的实施例的一个或多个方面的电子设备执行的过程；
图7图示要由实现本发明的实施例的一个或多个方面的电子设备处理的组织的256×256像素图像块；
图8图示要由实现本发明的实施例的一个或多个方面的电子设备处理的组织的400×400像素图像块。
图9A-9F图示示出要由实现本发明的实施例的一个或多个方面的电子设备处理的组织的多个图像块的图；
图10图示在替代实施例中可代替图6的实施例的至少一些步骤或者除了图6的实施例的至少一些步骤之外还使用的条件随机场模型；
图11图示出由实现本发明的实施例的一个或多个方面的电子设备生成的感兴趣区域边界的图；
虽然参考以上附图描述本发明，但是附图旨在为说明性的，并且本发明考虑了本发明的精神内的其他实施例。
本发明的具体实施方式
现在将在下文中参考附图更充分地描述本发明，附图通过图示来示出可以用来实践本发明的具体实施例。然而，本发明可以被以许多不同的形式具体实现，而不应该被解释为限于本文阐述的实施例；相反，这些实施例被提供为使得本公开将是彻底且完整的，并且向本领域的技术人员充分地传达本发明的范围。除了别的之外，还可以将本发明具体实现为设备或方法。因此，本发明可以采取全硬件实施例、全软件实施例或组合软件和硬件方面的实施例的形式。以下详细描述因此不应在限定意义上进行。
贯穿本说明书和权利要求书，除非上下文另外清楚地规定，否则以下术语采取本文显式地关联的含义。如本文所使用的短语“在一个实施例中”、“在实施例中”等不一定指代相同的实施例，但是它可以。此外，如本文所使用的短语“在另一实施例中”不一定指代不同的实施例，但是它可以。因此，如下所述，在不脱离本发明的范围或精神的情况下，可以容易地组合本发明的各种实施例。
另外，如本文所使用的，除非上下文另外清楚地规定，否则术语“或”是包括性“或”操作符，并且相当于术语“和/或”。除非上下文另外清楚地规定，否则术语“基于”不是排他性的并且允许基于未描述的附加因素。另外，贯穿本说明书，“一”、“一个”和“该”的含义包括复数引用。“在……中”的含义包括“在……中”和“在……上”。
应注意的是，本文的描述不旨在作为全面的概述，因此，为了清楚和简洁起见，可以简化概念。
本申请中提及的所有文献特此通过引用整体地并入。本申请中描述的任何过程可以被以任何顺序执行并且可以省略该过程中的步骤中的任一个。还可以将过程与其他过程或其他过程的步骤组合。
图1图示可以实践本发明的环境的一个实施例的组件。可能不需要所有组件来实践本发明，并且在不脱离本发明的精神或范围的情况下，可以在组件的布置和类型方面做出变化。如图所示，系统100包括一个或多个局域网(“LAN”)/广域网(“WAN”)112、一个或多个无线网络110、一个或多个有线或无线客户端设备106、移动或其他无线客户端设备102-106、服务器107-109、光学显微镜系统111，并且可以包括一个或多个数据暂存器或数据库或者与之进行通信。各种客户端设备102-106可以包括例如台式计算机、笔记本电脑、机顶盒、平板、蜂窝电话、智能电话等。服务器107-109可包括例如一个或多个应用服务器、内容服务器、搜索服务器等。
光学显微镜系统111可以包括显微镜、目镜组装件、相机、滑动平台以及如图2中所示的电子设备200的组件。尽管图2示出光学显微镜系统111通信地耦合到服务器109，然而它还可以耦合到服务器107-109、网络112、无线网络110中的任一个或全部和/或客户端设备102-106中的任一个。
图2图示根据本发明的一个实施例的可实现用于交互式视频生成和渲染的系统和方法的一个或多个方面的电子设备200的框图。电子设备200的实例可以包括服务器(例如，服务器107-109)、光学显微镜系统111和客户端设备，例如，客户端设备102-106。一般而言，电子设备200可包括处理器/CPU 202、存储器230、电源206和输入/输出(I/O)组件/设备240，例如，麦克风、扬声器、显示器、触摸屏、键盘、鼠标、键区、显微镜、GPS组件等，其可以例如可操作来提供图形用户界面。
用户可以经由电子设备200的触摸屏提供输入。触摸屏可以通过例如确定用户是否正在用用户的身体的一部分(诸如他的或她的手指)触摸触摸屏来确定用户是否正在提供输入。电子设备200还可包括连接电子设备200的前述元件的通信总线204。网络接口214可包括接收器和发送器(或收发器)，以及用于无线通信的一个或多个天线。
处理器202可包括任何类型的处理设备中的一个或多个，例如，中央处理单元(CPU)和图形处理单元(GPU)。另外，例如，处理器可以是中央处理逻辑或其他逻辑，可以包括硬件、固件、软件或其组合，以执行一个或多个功能或动作，或者以从一个或多个其他组件引起一个或多个功能或动作。另外，基于期望的应用或需要，中央处理逻辑或其他逻辑可以包括例如软件控制的微处理器、离散逻辑(例如，专用集成电路(ASIC)、可编程/编程逻辑器件、包含指令等的存储器设备)或用硬件具体实现的组合逻辑。此外，逻辑还可以被完全具体实现为软件。
可包括随机存取存储器(RAM)212和只读存储器(ROM)232的存储器230可由任何类型的存储器设备中的一个或多个(例如，主存储设备(可由CPU直接地访问)或辅存储设备(可由CPU间接地访问)(例如，闪速存储器、磁盘、光盘等))来启用。RAM可包括操作系统221、数据存储部224(其可以包括一个或多个数据库)以及程序和/或应用222(其可包括例如数字组织病理学和显微解剖系统223的软件方面)。ROM 232还可包括电子设备的基本输入/输出系统(BIOS)220。
数字组织病理学和显微解剖系统223的软件方面旨在广泛地包括或者表示实现或者促进根据本发明的实施例的方法和系统所必需的所有编程、应用、算法、软件和其他工具。用于交互式视频生成和渲染程序的系统和方法的元件可以存在于单个服务器计算机上或者分布在多个计算机、服务器、设备或实体当中，所述实体可包括广告商、发布者、数据提供者等。如果用于交互式视频生成和渲染程序的系统和方法分布在多个计算机、服务器、设备或实体当中，则此类多个计算机将例如像图1上所示的那样通信。
电源206包含一个或多个电力组件，并且方便到电子设备200的电力的供应和管理。
输入/输出组件(包括输入/输出(I/O)接口240)可包括例如用于方便电子设备200的任何组件、外部设备的组件(例如，网络或系统100的其他设备的组件)和终端用户之间的通信的任何接口。例如，此类组件可包括网卡，所述网卡可以是接收器、发送器、收发器和一个或多个输入/输出接口的集成。例如，网卡可促进与网络的其他设备进行有线或无线通信。在无线通信的情况下，天线可方便这种通信。另外，一些输入/输出接口240和总线204能促进电子设备200的组件之间的通信，并且在示例中可以简化由处理器202执行的处理。
在电子设备200是服务器的情况下，它可以包括能发送或接收信号(例如，通过有线或无线网络)的计算设备，或者可以处理或存储信号(例如，在存储器作为物理存储器状态)的计算设备。服务器可以是应用服务器，所述应用服务器包括用于经由网络向另一设备提供一个或多个应用(例如，用于交互式视频生成和渲染的系统和方法的各方面)的配置。另外，应用服务器可以例如托管Web站点，所述Web站点可提供用于管理用于交互式视频生成和渲染的系统和方法的示例方面的用户界面。
能够通过有线和/或无线网络来发送、接收并处理数据的任何计算设备都可以作为服务器，诸如在方便用于交互式视频生成和渲染的系统和方法的实施方式的各方面时。因此，作为服务器的设备可以包括诸如专用机架式服务器、台式计算机、笔记本电脑、机顶盒、组合前面设备中的一个或多个的集成设备等的设备。
服务器的配置和性能可能差异很大，但是它们一般地包括一个或多个中央处理单元、存储器、海量数据存储部、电源、有线或无线网络接口、输入/输出接口，以及诸如Windows Server、Mac OS X、Unix、Linux、FreeBSD等的操作系统。
例如，服务器可以被配置或包括配置的设备，以通过一个或多个网络向另一设备提供数据或内容，诸如在方便用于交互式视频生成和渲染的示例系统和方法的各方面时。例如，一个或多个服务器可以用于托管Web站点(诸如web站点www.microsoft.com)。一个或多个服务器可以托管各种站点，诸如商业站点、信息站点、社交网络网站、教育站点、维基站点、金融站点、政府站点、个人站点等。
例如，服务器还可以提供各种服务，诸如Web服务、第三方服务、音频服务、视频服务、电子邮件服务、HTTP或HTTPS服务、即时消息传送(IM)服务、短消息服务(SMS)服务、多媒体消息传送服务(MMS)服务、文件转移协议(FTP)服务、IP语音(VOIP)服务、日历服务、电话服务等，所有的这些服务都可以与用于交互式视频生成和渲染的示例系统和方法的示例方面相结合地工作。内容可以包括例如文本、图像、音频、视频等。
在用于交互式视频生成和渲染的系统和方法的示例方面中，客户端设备可以包括例如能够通过有线和/或无线网络来发送和接收数据的任何计算设备。此类客户端设备可以包括台式计算机以及便携式设备，诸如蜂窝电话、智能电话、显示寻呼机、射频(RF)设备、红外(IR)设备、个人数字助理(PDA)、手持式计算机、支持GPS的设备、平板计算机、配备有传感器的设备、笔记本电脑、机顶盒、可穿戴计算机、组合前面设备中的一个或多个的集成设备等。
如可以在用于交互式视频生成和渲染的示例系统和方法中使用的客户端设备在性能和特征方面可能差异很大。例如，蜂窝电话、智能电话或平板可以具有数字键区以及可以仅显示文本的几行单色液晶显示器(LCD)。在另一示例中，支持Web的客户端设备可以具有物理或虚拟键盘、数据存储部(诸如闪存或SD卡)、加速度计、陀螺仪、GPS或其他位置感知功能，以及可以显示文本和图形的2D或3D触敏彩色屏幕。
如可以在用于交互式视频生成和渲染的示例系统和方法中使用的客户端设备(例如客户端设备102-106)可以运行各种操作系统，包括诸如Windows、iOS或Linux的个人计算机操作系统以及诸如iOS、Android、Windows Mobile等的移动操作系统。客户端设备可以用于运行被配置为从另一计算设备发送或者接收数据的一个或多个应用。客户端应用可以提供并接收文本内容、多媒体信息等。客户端应用可以执行诸如以下各项的动作：浏览网页、使用web搜索引擎、与存储在智能电话上的各种apps交互、经由电子邮件、SMS或MMS发送和接收消息、玩游戏(诸如幻想体育联盟)、接收广告、观看在本地存储的或流式传输的视频或者参与社交网络。
在用于交互式视频生成和渲染的系统和方法的示例方面中，一个或多个网络(例如网络110或112)可以将服务器和客户端设备与其他计算设备耦合，包括通过无线网络耦合到客户端设备。可以使得网络能够采用任何形式的计算机可读介质以便将信息从一个电子设备传送到另一电子设备。网络除了包括局域网(LAN)、广域网(WAN)、直接连接(诸如通过通用串行总线(USB)端口、其他形式的计算机可读介质或其任何组合)之外还可以包括因特网。在一组互连的LAN(包括基于不同架构和协议的那些LAN)上，路由器作为LAN之间的链路，从而使得数据能够被从一个LAN发送到另一LAN。
LAN内的通信链路可以包括双绞线对或同轴电缆，而网络之间的通信链路可以利用模拟电话线路、电缆线路、光学线路、包括T1、T2、T3和T4的完全或部分专用数字线路、集成服务数字网络(ISDN)、数字订户线路(DSL)、包括卫星链路的无线链路、光纤链路或为本领域的技术人员所知的其他通信链路。此外，远程计算机和其他相关电子设备能经由调制解调器和电话链路远程地连接到LAN或WAN。
如在用于交互式视频生成和渲染的示例系统和方法中一样，无线网络(诸如无线网络110)可以将设备与网络耦合。无线网络可以采用独立自组织网络、网状网络、无线LAN(WLAN)网络、蜂窝网络等。
无线网络可以进一步包括通过无线电链路等连接的终端、网关、路由器等的自主系统。这些连接器可以被配置为自由地且随机地移动，并且可以任意地组织它们，使得无线网络的拓扑可以快速地改变。无线网络可以进一步采用多种接入技术，包括用于蜂窝系统的第二(2G)、第三代(3G)、第四代(4G)、长期演进(LTE)无线电接入、WLAN、无线路由器(WR)网等。诸如2G、2.5G、3G、4G和将来的接入网络的接入技术可以为客户端设备(诸如具有各种程度的移动性的客户端设备)实现广域覆盖范围。例如，无线网络可以通过诸如以下各项的无线电网络接入技术来使得能实现无线电连接：全球移动通信系统(GSM)、通用移动电信系统(UMTS)、通用分组无线电服务(GPRS)、增强型数据GSM环境(EDGE)、3GPP长期演进(LTE)、高级LTE、宽带码分多址(WCDMA)、蓝牙、802.11b/g/n等。无线网络实际上可以包括任何无线通信机制，通过所述无线通信机制，信息可以在客户端设备与另一计算设备、网络等之间传输。
网际协议(IP)可以通过数字通信网络的网络来发送数据通信包，网际协议可以包括诸如TCP/IP、UDP、DECnet、NetBEUI、IPX、Appletalk等的协议。网际协议的版本包括IPv4和IPv6。因特网包括局域网(LAN)、广域网(WAN)、无线网络以及可以允许在局域网之间传送数据包的长途公用网络。可以在网络中的节点之间将数据包发送到站点，每一个站点均具有唯一本地网络地址。可以经由连接到因特网的访问节点通过因特网从用户站点发送数据通信数据包。如果目标站点的站点地址被包括在数据包的包头中，则可以通过网络节点将数据包转发到连接到网络的任何目标站点。可以经由通过网关和服务器所确定的路径来路由通过因特网传送的每个数据包，所述网关和服务器根据目标地址和连接到目标站点的网络路径的可用性来切换数据包。
例如，数据包包头可以包括源端口(16个比特)、目的端口(16个比特)、序列号(32个比特)、确认号(32个比特)、数据偏移(4个比特)、预留的(6个比特)、校验和(16个比特)、紧急指针(16个比特)、选项(长度为8个比特的倍数的可变位数)、填充(可以由全零组成并且包括许多比特，使得包头在32比特边界上结束)。以上提到的所有包头的位数都可以更高或更低。
可用于交互式视频生成和渲染的示例系统和方法的“内容递送网络”或“内容分发网络”(CDN)一般指代分布式计算机系统，所述分布式计算机系统包括通过一个或多个网络链接的自主计算机的合集以及被设计来方便各种服务(诸如代表内容提供者对内容、流媒体和应用的存储、缓存或传输)的软件、系统、协议和技术。此类服务可以利用辅助技术，包括但不限于“云计算”、分布式存储、DNS请求处理、供应、数据监控和报告、内容定向、个性化和商业智能。CDN还可以使得实体能够全部或部分代表第三方操作和/或管理第三方的Web站点基础设施。
对等(或P2P)计算机网络主要依靠网络中的参与者的计算能力和带宽，而不是依赖于将它集中在一组给定的专用服务器中。P2P网络通常被用于通过大量临时连接来连接节点。纯对等网络不具有客户端或服务器的概念，而仅具有同时地充当网络上的其他节点的“客户端”和“服务器”两者的相等对等节点。
本发明的一个实施例包括与数字组织病理学和显微解剖有关的系统、方法以及有形地存储能够由计算机处理器执行的计算机程序逻辑的一个或多个非暂时性计算机可读存储介质。
如上面所提及的，要求多个病理学家审查并做出关于组织样本(“样本”)是患病的，尤其是患有癌症的确定是不可靠的、昂贵的和费时的。
本发明的实施例包括确定样本是否是患病的。在下面描述的实施例尤其涉及癌症。然而，本发明的实施例可以用于确定其他疾病。
本发明的实施方式涉及通过使用计算机视觉来确定样本是否是癌性的。计算机视觉涉及对来自一个或多个数字图像中的有用信息的自动提取、分析和理解。例如，计算机视觉可以用于通过确定人的面部在数字图像中的位置、确定该人的眼睛的位置并且测量该人的瞳孔间距离来确定相片中该人的年龄。
在机器学习领域，卷积神经网络(“CNN”)是可以在计算机视觉的领域中使用的人工神经网络。Christian Szegedy等人的文章Rethinking the Inception Architecturefor Computer Vision(arXiv:1512.00567v3[cs.CV]11Dec 2015)讨论了CNN在计算机视觉中的应用。如图5所示，CNN有多层，并且每层中有多个参数(输入大小)。图5包括关于层的类型、图像块大小和每层的输入大小的信息。参数的值决定CNN的输出。
可以给CNN提供组织样本的图像的输入，CNN可以输出所述图像是癌还是非癌的概率。组织样本的图像可以是切片图像，特别是数字组织病理学图像。在CNN做出这种确定之前，根据本发明的实施例，可以使用相关图像(即，癌细胞的图像和没有癌细胞的图像)来训练CNN。
图3图示可实现本发明的实施例的一个或多个方面的电子设备的架构图。图3包括图像处理引擎301。图像处理引擎301可以通过图2的程序和/或应用222来实现，图2的程序和/或应用222可包括例如数字组织病理学和显微解剖系统223的软件方面。图像处理引擎301包括训练引擎302，其训练CNN 315。
图4图示由训练引擎302执行的CNN训练过程。如图4中所示，由训练引擎302对CNN315的训练包括多个步骤。在步骤401中，CNN 315接收不同类型/组的数字组织图像的多个图像块。例如，所述多个图像块可以包括多个正常图像块和多个阳性图像块(训练图像块302A)。训练图像块302A是较大的图像的部分。在这种情况下，较大的图像可以是生物样本的数字图像，其可以具有阳性图像块和正常图像块。训练图像块还可以来自多个较大的图像。阳性图像块是已知为癌的图像块，正常图像块是已知为非癌的图像块(即，它们可能先前已由病理学家或计算机视觉确定为癌或非癌)。癌的类型可以包括但不限于乳腺癌、膀胱癌、脑癌、肺癌、胰腺癌、皮肤癌、结肠直肠癌、前列腺癌、胃癌、肝癌、宫颈癌、食道癌、白血病、非霍奇金淋巴瘤、肾癌、子宫癌、胆管癌、骨癌、卵巢癌、胆囊癌、胃肠癌、口腔癌、咽喉癌、眼癌、盆腔癌、脊髓癌、睾丸癌、阴道癌、外阴癌和甲状腺癌。
在步骤401中，在识别具有与输入图像块类似的特性的图像块时，训练引擎302可以向CNN 315的尚未训练的分类器提供大量正常图像块和大量阳性图像块(训练图像块302A)(例如1000、5000、10000、20000、30000、40000、50000、75000或100000个阳性图像块以及相等数量、不等数量或基本上类似数量(诸如1％、3％、5％或10％内的数量)的正常图像块)作为输入，以训练CNN 315图像块。如果没有足够数量的唯一的正常或阳性图像块，则训练引擎302可以复制特定图像块组(即，阳性的或正常的)中的随机选择的现有训练图像块(或由用户选择的图像块)并且修改该图像块。例如，可以通过使图像块旋转90、180或270度来修改它和/或可以修改图像块的颜色方案并且/或者可以向图像块添加畸变并且/或者可以将图像块转换为灰度和/或可以裁切图像块的一部分和/或可以倒转图像块和/或可以重新调整图像块的大小。训练图像块可进行转换，所述转换可包括：旋转、倾斜、仿射、平移、镜像等。如上面所提及的，可以选择随机补图像块，然后可以应用随机修改方案。在涉及变量(诸如旋转角)的情况下，可以使用随机数来选择变量的值。
所得到的CNN 315的训练分类器可以是以下类型的分类器中的至少一种：支持矢量机、softmax、决策树、随机森林、k最近邻、线性和二次判别分析、岭回归、多层感知器(MLP)、超管、贝叶斯网、k均值聚类和/或朴素贝叶斯。
除了提供多个正常图像块和阳性图像块之外，对于每个图像块，训练引擎302给CNN 315提供针对每个图像块的正确输出的值。例如，如果图像块是正常的则可以提供0，而如果图像块是阳性的(即，癌或另一疾病)则提供1。
在步骤403中，训练引擎302在CNN 315中将CNN 315架构的一个或多个全连接层的输入大小设置为新值，该新值是基于多个图像块中的图像块的类型的基数来确定的。例如，在两种类型的图像块(正常的和阳性的)的情况下，图像块的类型的基数将是2。更具体地，可以将CNN 315的softmax层的输入大小(如图5的最后一行中所示)设置为1x1x2。
在步骤405中，训练引擎302在CNN 315中填充一个或多个全连接层的参数(例如，CNN参数309)的值的分布。值的分布可以是高斯分布、泊松分布或用户生成的分布。CNN参数309确定CNN如何基于其训练进行分类。
多个图像块然后可以由训练引擎302输入到CNN 315中，并且每个图像块的初始类概率分数由CNN 315生成并存储在存储器中(多个图像块的第一初始类概率分数)。初始类概率分数表示特定图像块落入一组正常图像块或一组阳性图像块内的概率(以进行每个图像块的第一分类)。步骤405将第一分类设置为当前分类。
在步骤407中，训练引擎302在CNN 315中调整一个或多个全连接层的参数309的值。
在步骤409中，在步骤407中调整参数的值之后，多个图像块由训练引擎302输入到CNN 315中，并且每个图像块的类概率分数在调整之后被确定，并由CNN 315指派，且作为调整后的类概率分数存储在存储器中(以进行多个图像块的调整后的分类)。调整前(或在最新调整之前)图像块的类概率分数可以被称为第一初始类概率分数，调整后图像块的概率分数可以被称为第二初始类概率分数。
然后，在步骤411中，训练引擎302确定多个图像块的经调整后的类概率分数(有时称为第一初始类概率分数)是否比多个图像块的当前类概率分数(有时称为第二初始类概率分数)更准确。也就是说，在步骤411中，确定了在步骤407中调整的参数是否产生比在步骤407中的调整之前使用的参数值更准确的概率。步骤411的确定可以包括确定多个图像块的经调整后的类概率分数与多个图像块的正确初始类概率分数之间的差的平方和小于多个图像块的当前类概率分数与多个图像块的正确初始类概率分数之间的差的平方和。如果经调整后的类概率分数被确定为比当前类概率分数更准确，则经调整后的分类被设置为新的当前分类。该过程可从步骤411返回到步骤407，并继续迭代步骤407-411。也就是说，可以多次调整参数以找到最佳参数集。
一旦已经根据图4中的过程训练了CNN并且已经设置/调整了最优参数，则可以使用CNN来针对概率未知的生物样本的图像的图像块确定初始类概率。也就是说，一旦分类器被训练，它就可以准备好与“测试”图像块一起使用。测试图像块是来自实际活患者的组织样本的图像块。
图6示出用于接收生物样本的数字组织图像，确定其很可能患有癌的部分以及在样本内患有癌的特定区域的可能性的方法。使用受训的分类器来执行该方法。
在步骤601中，图像处理引擎301获得对生物样本的数字组织图像的访问。数字图像可以具有各种形式，例如，SVS、TIFF、VMS、VMU、NDPI、SCN、MRXS、SVSLIDE、BIF、PDF、JPG、BMP、GIF和任何其他数字图像格式。此外，数字图像可以位于服务器(例如，一个或多个服务器107-109)上，它可以是大图像(大小为许多GB)，图像可以被存储在云端并且可以在云端执行图6中的所有分析。云可以包括服务器107-109。然而，还可以在一个或多个客户端设备102-106或服务器107-109和/或客户端设备102-106的组合处执行图6的步骤。处理可以是并行的，并且在多个服务器上进行。
在步骤603中，拼贴生成引擎303将数字组织图像拼接成图像块307的合集。例如，每个拼贴/块图像块可以小于或等于1000×1000个像素，小于或等于400×400个像素，小于或等于256×256个像素或任何其他合适数量的像素。拼接步骤可以由一个或多个计算机迭代地或并行地执行。拼接可以包括创建具有均匀大小和均匀形状的图像块。块图像块的大小可以是分类器如何被训练的函数。例如，如果使用400×400块图像块来训练分类器/CNN，则拼贴生成引擎303可以将图像拼接成相同大小(400×400)的块图像块或者在用来训练分类器的块图像块的大小的1％、3％、5％、10％、20％、25％或30％内。
在步骤603中，块图像块307可以或者可以不具有均匀大小和形状。例如，一个块图像块的尺寸可以是400×400，另一块图像块可以是300×300或300×200。块图像块也不必是正方形，它们可以是矩形、圆、椭圆或更复杂的形状。各种过程可以被用于诸如彭罗斯(Penrose)拼接、大块排除和/或有界框的拼接。
在步骤603中，所生成的块图像块可以是重叠的或非重叠的。也就是说，可以或者可以不在多于一个拼贴/块图像块中包括数字图像的相同区域。
在步骤605中，图像块识别引擎304从拼接图像块中识别/选择一组靶组织图像块，靶组织图像块与像素内容相关。例如，识别可以包括基于图像块内的像素的颜色通道过滤图像块。例如，图像块识别可以与图像块的差异性相关。图像块的差异性图像块可以是基于特定图像块中的红绿蓝(RGB)通道和/或色调、饱和度、值(HSV)和/或色调饱和度和/或辉度(HLS)和/或色调饱和度强度(HIS)的差异性。此步骤有助于确保考虑仅包括细胞的图像块。一旦步骤605完成，仅具有细胞的图像块就被识别/选择。此类图像块被示出在图9A中(尽管在图9A的图像块中未示出细胞，然而图9A是图像块的代表性图并且假定了图9A中的每个图像块实际上包括多个染色细胞)。
在步骤607中，在将请求发送到CNN 315之前，概率确定引擎305可以根据绑定到数字组织图像的生物样本元数据所定义的分类器选择标准，从CNN 315中的先验(Apriori)算法训练的分类器中选择特定的训练分类器。生物样本元数据包括与下列中的至少一种相关联的数字信息：组织类型、组织供体、扫描仪、染色、染色技术、制备者的标识符、图像大小、样本识别符、跟踪识别符、版本号、文件类型、图像日期、症状、诊断、治疗医师的识别信息、组织供体的病史、组织供体的人口统计信息、组织供体的家族病史和组织供体的种类。可以使用多重免疫组织化学(IHC)(例如，由PerkinElmer提供的技术；参见http://www.perkinelmer.com/lab-solutions)。IHC系统允许用于生成组织的非常复杂的数字图像。IHC系统提供用于从生物标签捕获许多不同波长的光，所述生物标签粘附到不同类型的细胞。一旦载玻片被扫描，系统就可合成地重新创建期望的染色载玻片。因此，可以使用这种系统来基于生物标签用途、靶细胞的类型(例如，肿瘤细胞、正常细胞、T细胞、NK细胞、B细胞等)生成基于光的波长的训练数据。一旦经过训练，就可以使用CNN 315来基于生物标签识别感兴趣区域。
概率确定引擎305然后应请求而将图9A中的每个图像块发送到CNN 315(其已被训练，并且因此包括先验(Apriori)算法训练的分类器的数据库，如上面所讨论的)以分配表示靶组织图像块落入感兴趣类内的概率的初始类概率分数。感兴趣类可包括以下类型的组织中的至少一种：异常组织、良性组织、恶性组织、骨组织、皮肤组织、神经组织、间质组织、肌肉组织、结缔组织、瘢痕组织、淋巴组织、脂肪、上皮组织、神经组织和血管。感兴趣类还可以是癌或非癌(即，阳性的或正常的)。感兴趣类还可以是不同类型的癌。也就是说，输入图像块是癌的概率(在0与1之间)(1是图像块包含癌的100％可能性而0是图像块包含癌的0％可能性)。CNN 315将概率输出到概率确定引擎305。尽管图3示出概率确定引擎305与CNN315之间的直接通信，然而在两者之间可以有多个节点并且CNN可以使用多个服务器来串行地或并行地处理请求。
图9B是示出如由CNN 315确定并由CNN 315传送到概率确定引擎305的25个代表性图像块中的每一个的初始类概率分数的代表性图。在图9A-9F中，为了参考和描述的容易，仅在附图中标记列号和行号，使得可通过使用以下表示法来识别行号和列号来参考每个图像块：(列号,行号)。可以看出，例如，在图9B中，图像块(1,1)包括癌细胞的概率是0.4，图像块(2,2)包括癌细胞的概率是是0.8，图像块(5,1)包括癌的概率是0.05，图像块(4,2)包括癌的概率是0.9，依此类推。这些概率基于特定图像块单独具有癌细胞的可能性并且在计算特定图像块的概率时不考虑任何其他图像块的概率。每个图像块的初始类概率被存储在RAM或其他存储器中。
在步骤609中，分类引擎311通过识别具有满足第一种子区域准则的初始类概率分数的靶组织图像块来生成第一组织区域种子位置图像块集。此第一种子区域准则可以被认为是位置准则。例如，准则可以是识别具有0.9或更高的初始类概率的任何图像块。使用图9B中指派的初始类概率，图9C示出所生成的第一组织区域种子图像块集。特别地，图9C示出所生成的第一组织区域种子图像块集包括图像块(2,4)、图像块(3,3)、图像块(3,4)和图像块(4,2)。所生成的第一组织区域种子图像块集在图9C中通过在该图像块的初始类概率下面划线来代表性地指示。第一组织区域种子图像块集的概率被存储在RAM或其他存储器中。种子图像块可以被认为是围绕来构建感兴趣区域的初始种子位置。
在步骤611中，分类引擎311通过识别具有满足第二种子区域准则的初始类概率分数的靶组织图像块来生成第二组织区域种子图像块集。可以仅在步骤609中生成的第一组织区域图像块集附近(即，在离步骤609中生成的第一组织区域图像块集的预定数量的邻居内)执行步骤611的处理。此第二种子区域准则可以被认为是形状准则。也就是说，所生成的第二种子区域准则图像块通常将形成形状，该形状通常是连续的。例如，准则可以是识别具有0.5或更高的初始类概率的任何图像块(第二种子区域准则一般地比第一种子区域准则低且更容易满足)。使用图9B中指派的初始类概率，图9D示出所生成的第二组织区域种子图像块集。特别地，图9D示出所生成的第二组织区域种子图像块集包括图像块(1,3)、图像块(2,2)、图像块(2,3)、图像块(2,4)、图像块(3,2)、图像块(3,3)、图像块(3,4)、图像块(4,2)、图像块(4,3)、图像块(5,2)和图像块(5,3)。所生成的第二组织区域种子图像块集在图9D中通过用较大的字体大小示出所生成的图像块的初始类概率来代表性地指示。第二组织区域种子图像块集被存储在RAM或其他存储器中。
在步骤613中，分类引擎311确定感兴趣区域并为第二组织区域种子图像块集(在步骤611中生成)中的每个图像块计算感兴趣区域分数，该感兴趣区域分数与第二组织区域种子图像块集的邻近图像块的初始类概率分数和第二组织区域种子图像块集中的每个图像块到第一组织区域种子图像块集内的图像块的距离图像块相关。邻近图像块可以指代第一邻居(相邻邻居)、第二邻居(在第二邻居图像块之间的一个图像块)、第三邻居(在第三邻居之间的两个图像块)或任何其他级别的邻居。可以用图像块或者用像素测量距离。在此步骤中，分类引擎311基于邻居细化第二组织区域种子图像块集中的每个图像块的分数。
感兴趣区域(ROI)313是一个或多个连接的图像块的组。可以针对第一组织区域种子图像块集、第二组织区域种子图像块集或第一组织区域种子图像块集和第二组织区域种子图像块集的组合集来单独地计算ROI 313。两个图像块在其8个邻居(假设为正方形或矩形图像块的4个边邻居和4个拐角邻居图像块)中的一个处于同一组织区域种子图像块集中的情况下被连接。图像块还可以是除正方形或矩形以外的形状。图像块可以是例如多边形、六边形(凸的和凹的)、五边形、三角形、八边形、非圆形、圆形、椭圆形、梯形、椭圆形、不规则形等。一旦确定了一个或多个ROI 313，就可以由分类引擎311计算用于每个ROI 313的感兴趣区域分数(“ROI分数”)。ROI 313分数可以是ROI 313的大小的函数(即，包括ROI的图像块或像素的数量)。这种记分方法利用肿瘤细胞往往成群存在的事实。因此，如果图像块有包含肿瘤/癌的高概率，并且其若干邻居也具有包含肿瘤的高概率，则此ROI更可能是肿瘤并且ROI分数反映此高概率。
在步骤613的一个实施例中，分类引擎311通过将连接的邻居图像块分组在一起并计算每个ROI 313的质心来从第一组织区域种子图像块集生成ROI的列表。这就产生了ROI的列表L_high。分类引擎311还通过将连接的邻居图像块分组在一起并且计算每个ROI的质心来从第二组织区域种子图像块集生成ROI的列表。这就产生了ROI的列表L_low。L_high中的每个ROI中被指派了如下分数。如果L_high中的图像块的大小(图像块的数量)是1，则ROI被指派了0.2的分数；如果大小是2，则ROI被指派了0.3的分数；如果大小是3，则ROI被指派了0.4的分数；如果大小是4，则ROI被指派了0.5的分数；如果大小是5，则ROI被指派了0.6的分数；如果大小是6，则ROI被指派了0.7的分数；如果大小是7，则ROI被指派了0.8的分数；如果大小是8，则ROI被指派了0.9的分数；如果大小是9或更大，则ROI被指派了1.0的分数。上述映射是示例并且可以使用大小到分数的不同映射(例如，作为图像块的大小的函数)。
一旦执行了上述初始记分，如果L_low中的ROI足够接近于L_high中的ROI，则分类引擎311提高L_high中的ROI的分数。这意味着如果具有高概率(例如，>＝0.9)的图像块被具有较低概率但仍然是显著肿瘤概率(例如，>＝0.5)的图像块围绕(或在附近)，则我们更加确定L_high中的此ROI是肿瘤。足够接近可以被定义为两个ROI质心之间的距离小于图像块的预定数量(例如，5或6或7或8或9或10或11或12或13或14或15)。
分数提高被计算如下。如果与L_high中的ROI足够接近的L_low中的ROI的大小是5个图像块，则我们将L_high的ROI分数提高0.05，如果大小是10个图像块，则我们将L_high中的ROI分数提高0.10，而如果大小是15个图像块，则我们将L_high中的ROI分数提高0.15。在5-10与10-15之间的大小被舍入到最近大小，同时提高限定分数。分数有1.0的最高限度(如果分数被提高至1.0以上)。最终输出可以是ROI的列表L_high，各自具有质心位置和分数。可以将ROI和分数渲染在显示器上。
ROI可以标定不同类型的遮罩(masks)。ROI可以包括用于使前景与图像中的背景分开的对象前景遮罩。ROI可以包括例如组织遮罩，从而标定组织的区域并且排除没有组织的区域。这可以用于将处理资源集中到组织ROI。ROI可以包括显微解剖遮罩，其可以用于进行激光(或其他类型的)显微解剖以便切除靶ROI以供进一步处理。基于ROI的大小和ROI的质量，只有某些ROI可用作显微解剖遮罩。也就是说，某些ROI(例如，总体上太小或者在某些点处太窄的ROI)可能不适用于显微解剖。
例如，如图9E中所示，在包括图像块(2,4)、图像块(3,3)、图像块(3,4)和图像块(4,2)的L_high中存在单个ROI。如图9F中所示，在包括图像块(1,3)、图像块(2,2)、图像块(2,3)、图像块(2,4)、图像块(3,2)、图像块(3,3)、图像块(3,4)、图像块(4,2)、图像块(4,3)、图像块(5,2)和图像块(5,3)的L_low中也存在单个ROI。
L_high中的ROI的大小(图像块的数量)是4，所以初始ROI分数将是0.5。然而，基于上面的分数提高规则，因为L_high和L_low中的ROI的质心在10个图像块内，并且L_low中的ROI的大小是11(图像块(1,3)、图像块(2,2)、图像块(2,3)、图像块(2,4)、图像块(3,2)、图像块(3,3)、图像块(3,4)、图像块(4,2)、图像块(4,3)、图像块(5,2)和图像块(5,3))所以，在将11向下舍入到10之后，分数被从0.5提高了0.10以得到0.6的最终分数。
在替代方案中，可更一般地使用如图10中所示的条件随机场模型来实现通过步骤609、611和613所服务的目的。条件随机场模型是条件概率分布，其中不需要显式地表示输入变量之间的依赖性。这与在步骤609、611和613中执行的显式表示形成对照。条件随机场的输出是考虑输入标签和初始类概率分数的关系性质的改良概率分数。具体地，初始类概率的关系性质通过图10中的k(fi,fj)来表示，例如，当输入数据xj远离xi时，k(fi,fj)在位置(p)和特征(I)两个方面都会增加。针对p和I给定标签数据μ和输入数据，通过遍及参数w和θ使E(x)最小化来完成图10中的条件随机场参数的训练。使用迭代消息传递算法完成对新数据的推理。然后可以使用改良概率分数来生成感兴趣区域形状和分数。应注意的是在图10中，底行中的符号u(“如果邻居是不同类则u＝1...”)是指代公式中的μ。此方法在Philipp Krahenbuhl等人的“Efficient Inference in Fully Connected CRFs withGaussian Edge Potentials”(Advances in Neural Information Processing Systems24(2011)109-117)中进行了更详细的描述。
在步骤615中，分类引擎311通过基于其感兴趣区域分数对邻近图像块进行分组来生成感兴趣区域形状。
一旦计算出ROI，分类引擎311就通过基于其感兴趣区域分数对邻近图像块进行分组来生成感兴趣区域形状。
一旦使用步骤609、611和613和/或条件随机场模型在“图像块层”建立了ROI，就可以在“细胞层”执行附加处理。特别地，对于形状中的每个边界图像块(即，第二组织区域种子图像块集的连接图像块)，则CNN 315的受训的分类器用于在细胞层次的训练信息可用的情况下(也就是说，在存在使用细胞(与图像块相反)来训练的先验(Apriori)算法数据库的情况下)使用CNN 315的分类器来将图像块中的每个细胞分类为阳性的或阴性的。
特别地，如果在一个细胞图像块(包括单个细胞的小图像块或具有其他细胞和非细胞的小部分的单个细胞)上训练CNN 315的分类器，则细胞被识别，且包括单个细胞的图像块被发送到CNN 315的分类器，以用于分类，并返回患癌概率作为输出。
在替代方案中，可在每个边界图像块上使用全卷积神经网络(FCNN)来识别区分肿瘤细胞和非肿瘤细胞的精确边界线。特别地，FCNN将输出描述每个像素包含肿瘤的概率的逐像素预测。在训练期间，FCNN将学习上采样权重以将激活变换成逐像素预测。参见Jonathan Long等人的“Fully Convolutional Networks for Semantic Segmentation”，以及示出逐像素预测的图1。
作为上述“细胞层”处理的结果，一些包括第二组织区域种子图像块集的连接图像块的形状的边界图像块将变得更小。例如，参考图9F，如果图像块(1,3)的左半部分包括非癌细胞并且图像块的右半部分(1,3)包括癌细胞，则紧跟“细胞层”处理之后，形状将收缩并且将不再包括图像块(1,3)的左半部分。因此，ROI的形状将通过“细胞层”处理来细化。
图11图示出由实现本发明的实施例的一个或多个方面的电子设备生成的感兴趣区域边界的图。
本发明的实施例的技术可以有其他用途。例如，一个这种用途可以是以背景对象为对照，检测出前景。例如，该技术/系统可以被用在自动车辆或部分自动车辆中的车辆避障中。可以使用由车辆在被驱动的过程中或者在车辆附近拍摄的相片来训练CNN 315。训练将包括此类图像，该类图像被拼接成图像块并且每个训练图像块将包括有关图像块是在前景还是背景中的数据(例如，如果是背景则为1.0，如果是前景则为0.0)。
一旦CNN 315被训练，它然后就可以用于确定由移动车辆或者在移动车辆附近拍摄的图像的图像块中的对象是在背景还是前景中。系统可以包括安装在车辆上或在车辆附近(例如，在标志、交通灯等上)(并且由系统经由例如无线电通信实时地接收)的多个相机。图像可以由经训练后的CNN 315的系统处理以确定图像的图像块是在背景还是前景中。也就是说，系统可以识别特定对象是在诸如草地、天空、建筑物或道路的背景中。系统还可以确定对象距离车辆很远。另一方面，系统可以确定特定对象是在诸如附近的车辆、行人或坑洞的前景中。确定前景中有什么是有用的，如此以来车辆可以确定需要避开前景中的对象以避免发生碰撞，而不用避开背景中的对象。
如上面所讨论的，可以在多于两个类/类型的对象/图像上训练CNN 315。也就是说，可以使用例如患癌等级G1、G2、G3、G4…GN的图像块来训练CNN 315，而不是仅在两类图像块(诸如癌/非癌，在上面详细地讨论了)上训练CNN 315图像块。然后将训练CNN 315以识别图像块处于等级G1、G2、G3、G4…GN之一中的概率。这可以通过两种方法中的一种来完成。首先，可以使用离散输出方法。在离散输出方法中，除了如图5中所示的CNN 315的最终(softmax)层会被从2个类改变为N个类从而允许在N个类上训练CNN 315之外，用于图像块级分类的架构与上述的架构类似。在N个类是非有序的情况下(例如，如果类是诸如狗、猫、猪等的动物)，则系统将在步骤607处返回N个类中的每一个的结果，然后针对N个类中的每一个，遍历步骤609、611、613和615。
作为替代方案，可以使用连续输出方法。在连续输出方法中，可以在softmax层中使用回归而不是分类。回归的示例可以是最小二乘拟合或任何曲线拟合。例如，如果存在5个类(患癌等级G1、G2、G3、G4和G5)，则我们可以使用0.0至5.0的范围来表示类。也就是说，例如，如果CNN 315将图像块确定为很可能是类型G1，则它可以输出接近于1.0的浮点数，如果CNN 315将图像块确定为很可能是类型G2，则它可以输出接近于2.0的浮动点数，依此类推。诸如2.1的值将表明，尽管图像块很可能是与2(G2)相关联的类型，然而它更可能是3.0(G3)而不是1.0(G1)。连续分类方法仅与有序类一起使用。
系统还可以被用在土地勘测中。例如，可以使用各种土地和/或水特征(诸如建筑物、田地、河流、湖泊等)的图像/图像块来训练CNN 315。一旦CNN 315被训练，它就可以接收多个航空相片并对它们进行分类并确定图像的特定图像块是否是湖泊、河流、田地、森林、道路等。
系统还可以用于确定特定牙齿是否包含蛀洞和/或感染或其他问题。经训练后的CNN 315可以接收来自一个或多个角度的一颗牙齿或多颗牙齿的一个或多个图像和/或来自一个或多个角度的X射线作为输入。系统然后可以通过使用经训练后的CNN 315来确定此类图像和/或X射线的若干图像块是否很可能包括蛀洞。
系统还可以用于分析X射线、MRI、CT等。例如，系统可以在骨折与非骨折的骨骼上训练，并确定例如X射线图像是否包括骨折骨。可以在MRI和/或CT输出上类似地训练系统。
还可以在诸如黑素瘤的皮肤疾病上训练CNN 315。CNN 315可以用阳性(黑素瘤)和非黑素瘤(正常)图像块来训练，且一旦被训练，就确定皮肤活组织检查的载玻片或皮肤的相片是否可能很可能包括黑素瘤。
还可以在视频游戏中的对象上训练CNN 315。渲染视频游戏的每个帧可以具有前景对象和背景场景。如上面所讨论的，可训练CNN 315以区分两者。系统还可以用于为增强现实(AR)游戏创建遮罩。例如，可以识别感兴趣点(例如，地标等)周围的区域。此区域然后可被遮掩并用AR内容或其他覆盖图替换。此外，可以创建基于感兴趣区域学习玩游戏的AI过程。AI过程然后变成游戏中的非玩家实体以挑战玩家。
虽然在本文中描述了某些说明性实施例，但是应该理解的是，那些实施例仅通过示例而非限制来呈现。虽然已经特别示出并描述了实施例，但是应理解的是，可以做出形式和细节上的各种变化。尽管已经将各种实施例描述为具有特定特征和/或组件的组合，然而其他实施例也可以具有来自如上面所讨论的实施例中的任一个的任何特征和/或组件的组合。

Claims (44)

1.一种生成数字图像中的感兴趣区域的至少一种形状的计算机实现的方法，所述方法包括：
由图像处理引擎获得对生物样本的数字组织图像的访问；
由所述图像处理引擎将所述数字组织图像拼接成图像块的合集；
由所述图像处理引擎图像块从所述图像块的合集中识别靶组织图像块集，所述靶组织图像块集与所述图像块的合集内的像素内容相关联；
由所述图像处理引擎给所述靶组织图像块集的每个靶组织图像块分配表示所述靶组织图像块落入感兴趣类内的概率的初始类概率分数，所述初始类概率分数由在每个靶组织图像块上执行的训练后的分类器生成；
由所述图像处理引擎通过识别具有满足第一种子区域准则的初始类概率分数的靶组织图像块来生成第一组织区域种子图像块集，所述第一组织区域种子图像块集包括所述靶组织图像块集的子集；
由所述图像处理引擎通过识别具有满足第二种子区域准则的初始类概率分数的靶组织图像块来生成第二组织区域种子图像块集，所述第二组织区域种子图像块集包括所述靶组织图像块集的子集；
由所述图像处理引擎计算所述第二组织区域种子图像块集中的每个图像块的感兴趣区域分数，该感兴趣区域分数与所述第二组织区域种子图像块集的邻近图像块的初始类概率分数和第二组织区域种子图像块集中的图像块到所述第一组织区域种子图像块集内的图像块的距离相关；以及
由所述图像处理引擎通过基于邻近图像块的感兴趣区域分数对邻近图像块进行分组来生成一个或多个感兴趣区域形状。
2.根据权利要求1所述的方法，其中，拼接所述数字组织图像的步骤包括创建具有均匀大小和均匀形状的图像块。
3.根据权利要求2所述的方法，其中，所述均匀大小和均匀形状的图像块包括小于或等于1,000个像素乘1000个像素的图像块正方形块。
4.根据权利要求3所述的方法，其中，所述图像块正方形块小于或等于400个像素乘400个像素。
5.根据权利要求4所述的方法，其中，所述图像块正方形块小于或等于256个像素乘256个像素。
6.根据权利要求1所述的方法，其中，拼接所述数字组织图像的步骤包括创建具有非均匀大小和形状的图像块。
7.根据权利要求1所述的方法，其中，所述图像块的合集包括非重叠图像块。
8.根据权利要求1所述的方法，其中，识别所述靶组织图像块集的步骤包括基于所述图像块内的像素的颜色通道过滤所述图像块的合集。
9.根据权利要求8所述的方法，还包括过滤图像块合集的图像块，图像块与颜色通道的差异性相关。
10.根据权利要求1所述的方法，其中，受训的分类器包括受训的神经网络。
11.根据权利要求1所述的方法，其中，受训的分类器包括以下类型的分类器中的至少一种的训练的实施方式：支持矢量机、softmax、决策树、随机森林、k最近邻、线性和二次判别分析、岭回归、多层感知器（MLP）、超管、贝叶斯网、k均值聚类和朴素贝叶斯。
12.根据权利要求1所述的方法，还包括使计算设备将所述感兴趣区域形状渲染在显示器上。
13.根据权利要求1所述的方法，其中，所述感兴趣区域形状包括至少一个组织遮罩。
14.根据权利要求13所述的方法，其中，所述至少一个组织遮罩包括显微解剖遮罩。
15.根据权利要求1所述的方法，其中，所述感兴趣类包括至少一种癌类。
16.根据权利要求15所述的方法，其中，所述至少一种癌类包括以下类型的癌中的一种：乳腺癌、膀胱癌、脑癌、肺癌、胰腺癌、皮肤癌、结肠直肠癌、前列腺癌、胃癌、肝癌、宫颈癌、食道癌、白血病、非霍奇金淋巴瘤、肾癌、子宫癌、胆管癌、骨癌、卵巢癌、胆囊癌、胃肠癌、口腔癌、咽喉癌、眼癌、盆腔癌、脊髓癌、睾丸癌、阴道癌、外阴癌和甲状腺癌。
17.根据权利要求1所述的方法，其中，所述感兴趣类包括以下类型的组织中的至少一种：异常组织、良性组织、恶性组织、骨组织、皮肤组织、神经组织、间质组织、肌肉组织、结缔组织、瘢痕组织、淋巴组织、脂肪、上皮组织、神经组织和血管。
18.根据权利要求1所述的方法，其中，所述数字组织图像包括组织样本载玻片的切片图像。
19.根据权利要求18所述的方法，其中，所述切片图像包括数字组织病理学图像。
20.根据权利要求1所述的方法，还包括获得对先验（Apriori）算法训练的分类器的数据库的访问。
21.根据权利要求20所述的方法，还包括根据绑定到所述数字组织图像的生物样本元数据所定义的分类器选择准则来从所述先验（Apriori）算法训练的分类器中选择受训的分类器。
22.根据权利要求21所述的方法，其中，所述生物样本元数据包括与下列中的至少一种相关联的数字信息：组织类型、组织供体、扫描仪、染色、染色技术、制备者的标识符、图像大小、样本识别符、跟踪识别符、版本号、文件类型、图像日期、症状、诊断、治疗医师的识别信息、所述组织供体的病史、所述组织供体的人口统计信息、所述组织供体的家族病史和所述组织供体的种类。
23.根据权利要求1所述的方法，其中，计算所述第二组织区域种子图像块集中的每个图像块的感兴趣区域分数包括计算邻近图像块之间的条件随机场（CRF），该感兴趣区域与邻近图像块相关图像块。
24.根据权利要求1所述的方法，其中，图像块计算所述第二组织区域种子图像块集中的每个图像块的与邻近图像块相关的感兴趣区域分数包括评估最近邻。
25.根据权利要求1所述的方法，其中，所述感兴趣区域形状包括由图像块组成的形状。
26.根据权利要求1所述的方法，其中，所述感兴趣区域形状包括图像块形状子图像块层特征。
27.根据权利要求26所述的方法，其中，所述数字组织图像包括组织图像数据，并且所述感兴趣区域形状包括细胞层次下的子块层形状。
28.根据权利要求26所述的方法，其中，生成所述感兴趣区域形状的步骤包括根据细胞层次训练的神经网络来在所述第二组织区域种子图像块集中的图像块内按细胞类型对细胞进行分类。
29.根据权利要求27所述的方法，其中，生成所述感兴趣区域形状的步骤包括经由训练后的全卷积神经网络标定细胞之间的边界。
30.根据权利要求29所述的方法，其中，所述训练后的全卷积神经网络在图像块训练图像块内的已知细胞类型上进行块层次训练。
31.根据权利要求1所述的方法，其中，在不考虑所述靶组织图像块集的任何其他图像块的初始类概率的情况下执行分配靶组织图像块的初始类概率分数。
32.根据权利要求1所述的方法，其中，所述第二组织区域种子图像块集的邻近图像块包括与所述第二组织区域种子图像块集中的至少一个图像块相邻的一个或多个图像块。
33.根据权利要求1所述的方法，进一步包括，通过以下方法训练受训的分类器，该方法包括：
由卷积神经网络接收数字组织图像的多个图像块，所述多个图像块包括多个正常图像块和多个阳性图像块；
由所述卷积神经网络将所述卷积神经网络的架构的一个或多个全连接层的输入大小设置为新值，所述新值是基于所述多个图像块中的图像块的类型的基数来确定的；
由所述卷积神经网络填充所述一个或多个全连接层的参数的值的分布；
由所述卷积神经网络调整所述一个或多个全连接层的参数的值；
由所述卷积神经网络向所述多个图像块中的每一个分配初始类概率分数，所述初始类概率分数表示所述靶组织图像块落入一组正常图像块或一组阳性图像块内的概率；以及
确定所述多个图像块的第一初始类概率分数是否比所述多个图像块的第二初始类概率分数更准确。
34.根据权利要求33所述的方法，其中，多个数字组织图像包括阳性图像块基数10%以内的正常图像块基数。
35.根据权利要求33所述的方法，其中，所述确定所述多个图像块的第一初始类概率分数比所述多个图像块的第二初始类概率分数更准确包括确定所述多个图像块的第一初始类概率分数与所述多个图像块的正确初始类概率分数之间的差的平方和小于所述多个图像块的第二初始类概率分数与所述多个图像块的正确初始类概率分数之间的差的平方和。
36.根据权利要求35所述的方法，其中，所述多个图像块的第二初始类概率分数的分配比所述多个图像块的第一初始类概率分数的分配更早发生。
37.根据权利要求33所述的方法，其中，所述一个或多个全连接层包括softmax层。
38.根据权利要求33所述的方法，其中，所述图像块的类型是所述正常图像块和所述阳性图像块。
39.根据权利要求33所述的方法，其中，所述新值包括1x1x2。
40.根据权利要求33所述的方法，其中，所述一个或多个全连接层的参数的值的分布是高斯分布。
41.一种生成数字图像中的感兴趣区域的至少一种形状的计算机实现的方法，所述方法包括：
由图像处理引擎获得对生物样本的数字组织图像的访问；
由所述图像处理引擎将所述数字组织图像拼接成图像块的合集，所述图像块的合集包括靶组织图像块集；
由所述图像处理引擎给所述靶组织图像块集的每个靶组织图像块分配表示所述靶组织图像块落入感兴趣类内的概率的初始类概率分数，所述初始类概率分数由在每个靶组织图像块上执行的训练后的分类器生成；
由所述图像处理引擎通过识别具有满足第一种子区域准则的初始类概率分数的靶组织图像块来生成第一组织区域种子图像块集，所述第一组织区域种子图像块集包括所述靶组织图像块集的子集；
由所述图像处理引擎通过识别具有满足第二种子区域准则的初始类概率分数的靶组织图像块来生成第二组织区域种子图像块集，所述第二组织区域种子图像块集包括所述靶组织图像块集的子集；
由所述图像处理引擎计算所述第二组织区域种子图像块集中的每个图像块的感兴趣区域分数，该感兴趣区域分数与所述第二组织区域种子图像块集的邻近图像块的初始类概率分数和第二组织区域种子图像块集中的图像块到所述第一组织区域种子图像块集内的图像块的距离相关；以及
由所述图像处理引擎通过基于邻近图像块的感兴趣区域分数对邻近图像块进行分组来生成一个或多个感兴趣区域形状。
42.一种生成数字图像中的感兴趣区域的至少一种形状的计算机实现的方法，所述方法包括：
由图像处理引擎获得对生物样本的数字组织图像的访问；
由所述图像处理引擎将所述数字组织图像拼接成图像块的合集；
由所述图像处理引擎从所述图像块的合集中的每个图像块中获得多个特征，所述多个特征在包括所述多个特征作为维度的多维特征空间中定义图像块特征矢量；
由所述图像处理引擎给所述图像块的合集中的每个图像块分配表示所述图像块落入感兴趣类内的概率的初始类概率分数，所述初始类概率分数由在所述图像块的合集中的每个图像块上执行的受训的分类器使用所述图像块的合集中的每个图像块的多个特征来生成；
由所述图像处理引擎通过识别在所述图像块的合集中具有满足第一准则的初始类概率分数的图像块来生成第一组织区域种子图像块集；
由所述图像处理引擎通过识别在所述图像块的合集中具有满足第二准则的初始类概率分数的图像块来生成第二组织区域种子图像块集；以及
对所述图像块的合集中的每个块，由所述图像处理引擎生成一个或多个感兴趣区域形状，所述感兴趣区域形状与其在所述第一组织区域种子图像块集和所述第二组织区域种子图像块集中的成分相关。
43.一种数字图像感兴趣区域生成系统，所述系统包括：
数据库，所述数据库被配置为存储生物样本的数字组织图像；
图像处理引擎，所述图像处理引擎被配置为：
获得对所述生物样本的数字组织图像的访问；
将所述数字组织图像拼接成图像块的合集；
从所述图像块的合集中识别靶组织图像块集，所述靶组织图像块集与所述图像块的合集内的像素内容相关联；
给所述靶组织图像块集的每个靶组织图像块分配表示所述靶组织图像块落入感兴趣类内的概率的初始类概率分数，所述初始类概率分数由在每个靶组织图像块上执行的受训的分类器生成；
通过识别具有满足第一种子区域准则的初始类概率分数的靶组织图像块来生成第一组织区域种子图像块集，所述第一组织区域种子图像块集包括所述靶组织图像块集的子集；
通过识别具有满足第二种子区域准则的初始类概率分数的靶组织图像块来生成第二组织区域种子图像块集，所述第二组织区域种子图像块集包括所述靶组织图像块集的子集；
计算所述第二组织区域种子图像块集中的每个图像块的感兴趣区域分数，该感兴趣区域分数与所述第二组织区域种子图像块集的邻近图像块的初始类概率分数和第二组织区域种子图像块集中的图像块到所述第一组织区域种子图像块集内的图像块的距离相关；并且
通过基于邻近图像块的感兴趣区域分数对邻近图像块进行分组来生成一个或多个感兴趣区域形状。
44.一种数字图像感兴趣区域生成系统，所述系统包括：
数据库，所述数据库被配置为存储生物样本的数字组织图像；
图像处理引擎，所述图像处理引擎被配置为：
从所述数据库获得对所述生物样本的数字组织图像的访问；
将所述数字组织图像拼接成图像块的合集；
从所述图像块的合集中的每个图像块中获得多个特征，所述多个特征在包括所述多个特征作为维度的多维特征空间中定义图像块特征矢量；
给所述图像块的合集中的每个图像块分配表示所述图像块落入感兴趣类内的概率的初始类概率分数，所述初始类概率分数由在所述图像块的合集中的每个图像块上执行的受训的分类器使用所述图像块的合集中的每个图像块的多个特征来生成；
通过识别在所述图像块的合集中具有满足第一准则的初始类概率分数的图像块来生成第一组织区域种子图像块集；
通过识别在所述图像块的合集中具有满足第二准则的初始类概率分数的图像块来生成第二组织区域种子图像块集；并且
对所述图像块的合集中的每个块，生成一个或多个感兴趣区域形状，所述感兴趣区域与其在所述第一组织区域种子图像块集和所述第二组织区域种子图像块集中的成分相关。
CN201780065356.5A 2016-10-21 2017-10-23 数字组织病理学和显微解剖 Active CN110073404B (zh)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US201662411290P 2016-10-21 2016-10-21
US62/411,290 2016-10-21
US201762557737P 2017-09-12 2017-09-12
US62/557,737 2017-09-12
PCT/US2017/057925 WO2018076023A1 (en) 2016-10-21 2017-10-23 Digital histopathology and microdissection

Publications (2)

Publication Number Publication Date
CN110073404A CN110073404A (zh) 2019-07-30
CN110073404B true CN110073404B (zh) 2023-03-21

Family

ID=61971028

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201780065356.5A Active CN110073404B (zh) 2016-10-21 2017-10-23 数字组织病理学和显微解剖

Country Status (8)

Country Link
US (2) US10607343B2 (zh)
EP (1) EP3513378B1 (zh)
JP (1) JP6955004B2 (zh)
KR (1) KR102222796B1 (zh)
CN (1) CN110073404B (zh)
AU (1) AU2017345812B2 (zh)
CA (1) CA3040518C (zh)
WO (1) WO2018076023A1 (zh)

Families Citing this family (41)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
AU2017345812B2 (en) 2016-10-21 2019-12-05 Nantomics, Llc Digital histopathology and microdissection
US10573003B2 (en) * 2017-02-13 2020-02-25 Amit Sethi Systems and methods for computational pathology using points-of-interest
JP6931870B2 (ja) * 2017-02-15 2021-09-08 国立研究開発法人理化学研究所 細胞の再プログラム化を検出するための方法及び装置
US10529453B2 (en) * 2017-07-31 2020-01-07 Definiens Gmbh Tool that analyzes image data and generates and displays a confidence indicator along with a cancer score
US10769788B2 (en) * 2017-09-12 2020-09-08 Nantomics, Llc Few-shot learning based image recognition of whole slide image at tissue level
US10846854B2 (en) * 2017-10-13 2020-11-24 Shenzhen Keya Medical Technology Corporation Systems and methods for detecting cancer metastasis using a neural network
US10740896B2 (en) * 2017-12-29 2020-08-11 Leica Biosystems Imaging, Inc. Processing of histology images with a convolutional neural network to identify tumors
US10262235B1 (en) 2018-02-26 2019-04-16 Capital One Services, Llc Dual stage neural network pipeline systems and methods
US10354122B1 (en) * 2018-03-02 2019-07-16 Hong Kong Applied Science and Technology Research Institute Company Limited Using masks to improve classification performance of convolutional neural networks with applications to cancer-cell screening
US10789696B2 (en) * 2018-05-24 2020-09-29 Tfi Digital Media Limited Patch selection for neural network based no-reference image quality assessment
KR102172213B1 (ko) * 2018-06-04 2020-10-30 주식회사 딥바이오 투 페이스 질병 진단 시스템 및 그 방법
KR102151723B1 (ko) * 2018-08-07 2020-09-03 주식회사 딥바이오 다중 색 모델 및 뉴럴 네트워크를 이용한 질병 진단 시스템 및 방법
KR102215269B1 (ko) * 2018-08-07 2021-02-15 주식회사 딥바이오 진단 결과 생성 시스템 및 방법
KR102185893B1 (ko) * 2018-08-07 2020-12-02 주식회사 딥바이오 뉴럴 네트워크를 이용한 질병의 진단 시스템 및 방법
US11446008B2 (en) 2018-08-17 2022-09-20 Tokitae Llc Automated ultrasound video interpretation of a body part with one or more convolutional neural networks
CN112585696A (zh) * 2018-08-30 2021-03-30 应用材料公司 用于自动肿瘤检测和分类的系统
EP3620984B1 (en) * 2018-09-06 2024-04-10 Accenture Global Solutions Limited Digital quality control using computer visioning with deep learning
CN109427060A (zh) * 2018-10-30 2019-03-05 腾讯科技（深圳）有限公司 一种影像识别的方法、装置、终端设备和医疗系统
EP3651116B1 (en) * 2018-11-08 2022-04-06 Holo Surgical Inc. Autonomous segmentation of three-dimensional nervous system structures from medical images
CN109859159B (zh) * 2018-11-28 2020-10-13 浙江大学 一种基于多模态分割网络的宫颈病变区域分割方法和装置
CN111401107B (zh) * 2019-01-02 2023-08-18 上海大学 基于特征融合神经网络的多模态人脸识别方法
WO2020146037A1 (en) 2019-01-09 2020-07-16 Google Llc Augmented reality laser capture microdissection machine
CN110216082B (zh) * 2019-05-23 2020-07-14 上海交通大学 荧光标记种子动态识别方法和系统
WO2021016087A1 (en) * 2019-07-19 2021-01-28 Arizona Board Of Regents On Behalf Of Arizona State University Systems for the generation of source models for transfer learning to application specific models
KR102068277B1 (ko) 2019-10-04 2020-02-11 주식회사 루닛 이미지 분석 방법 및 시스템
KR102068279B1 (ko) 2019-10-04 2020-01-20 주식회사 루닛 이미지 분석 방법 및 시스템
WO2021141757A1 (en) * 2020-01-06 2021-07-15 PAIGE.AI, Inc. Systems and methods for analyzing electronic images for quality control
JP7382240B2 (ja) * 2020-01-30 2023-11-16 富士フイルムヘルスケア株式会社 医用画像処理装置及び医用画像処理方法
CN111242242B (zh) * 2020-02-27 2022-04-12 武汉大学 一种基于置信度选择的宫颈组织病理全玻片图像自动分类方法
CN111524108B (zh) * 2020-04-15 2023-02-10 四川赛康智能科技股份有限公司 一种变电站设备检测方法及设备
US11662938B2 (en) 2020-05-11 2023-05-30 Nantcell, Inc. Object storage and access management systems and methods
US20240156416A1 (en) * 2021-03-16 2024-05-16 Deep Bio Inc. Prognosis prediction method using result of disease diagnosis through neural network and system therefor
WO2022201416A1 (ja) * 2021-03-25 2022-09-29 日本電気株式会社 検査支援装置、検査支援方法、および記録媒体
WO2022201417A1 (ja) * 2021-03-25 2022-09-29 日本電気株式会社 検査支援装置、検査支援方法、および記録媒体
JP7132676B1 (ja) * 2021-04-09 2022-09-07 楽天グループ株式会社 画像生成装置、画像生成方法及びプログラム
US11948687B2 (en) 2021-05-24 2024-04-02 Nantcell, Inc. Deep learning models for region-of-interest determination
US20220392080A1 (en) * 2021-06-03 2022-12-08 Electronics And Telecommunications Research Institute Apparatus and method for supporting attention test based on attention map and attention movement map
KR20230056174A (ko) * 2021-10-20 2023-04-27 주식회사 뷰노 딥러닝 기반의 의료 영상 분석 방법
KR20230056175A (ko) * 2021-10-20 2023-04-27 주식회사 뷰노 의료 영상 분석 방법
KR20230094670A (ko) * 2021-12-21 2023-06-28 주식회사 뷰노 인공 신경망을 이용한 이미지 데이터에 대한 분류 방법 및 이를 위한 장치
WO2023189662A1 (ja) * 2022-03-31 2023-10-05 国立大学法人九州工業大学 画像処理・解析装置および画像処理・解析方法

Family Cites Families (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20020186875A1 (en) * 2001-04-09 2002-12-12 Burmer Glenna C. Computer methods for image pattern recognition in organic material
US20040208390A1 (en) * 2003-04-18 2004-10-21 Medispectra, Inc. Methods and apparatus for processing image data for use in tissue characterization
AU2003270687B2 (en) * 2002-09-13 2008-05-08 Life Technologies Corporation Interactive and automated tissue image analysis with global training database and variable-abstraction processing in cytological specimen classification and laser capture microdissection applications
WO2005050563A2 (en) * 2003-11-17 2005-06-02 Aureon Biosciences Corporation Pathological tissue mapping
CA2595248A1 (en) * 2005-01-18 2006-07-27 Trestle Corporation System and method for creating variable quality images of a slide
US8170330B2 (en) 2007-10-30 2012-05-01 Siemens Aktiengesellschaft Machine learning for tissue labeling segmentation
US10776606B2 (en) * 2013-09-22 2020-09-15 The Regents Of The University Of California Methods for delineating cellular regions and classifying regions of histopathology and microanatomy
WO2015069824A2 (en) * 2013-11-06 2015-05-14 Lehigh University Diagnostic system and method for biological tissue analysis
JP6588444B2 (ja) * 2014-01-28 2019-10-09 ベンタナ メディカル システムズ， インコーポレイテッド 全スライド組織セグメント化のための適応分類
US9430829B2 (en) 2014-01-30 2016-08-30 Case Western Reserve University Automatic detection of mitosis using handcrafted and convolutional neural network features
EP3146463B1 (en) 2014-05-23 2020-05-13 Ventana Medical Systems, Inc. Systems and methods for detection of biological structures and/or patterns in images
EP3207499A4 (en) 2014-10-17 2018-09-19 Cireca Theranostics, LLC Methods and systems for classifying biological samples, including optimization of analyses and use of correlation
WO2016075096A1 (en) * 2014-11-10 2016-05-19 Ventana Medical Systems, Inc. Classifying nuclei in histology images
WO2016093090A1 (ja) * 2014-12-09 2016-06-16 コニカミノルタ株式会社 画像処理装置及び画像処理プログラム
CN105574859B (zh) * 2015-12-14 2018-08-21 中国科学院深圳先进技术研究院 一种基于ct图像的肝脏肿瘤分割方法及装置
JP6713162B2 (ja) 2016-01-19 2020-06-24 国立大学法人豊橋技術科学大学 画像認識装置、画像認識方法、及び画像認識プログラム
US10667778B2 (en) * 2016-09-14 2020-06-02 University Of Louisville Research Foundation, Inc. Accurate detection and assessment of radiation induced lung injury based on a computational model and computed tomography imaging
AU2017345812B2 (en) 2016-10-21 2019-12-05 Nantomics, Llc Digital histopathology and microdissection
US10769788B2 (en) 2017-09-12 2020-09-08 Nantomics, Llc Few-shot learning based image recognition of whole slide image at tissue level
WO2019113895A1 (zh) 2017-12-14 2019-06-20 深圳市柔宇科技有限公司 控制方法和电子装置

Also Published As

Publication number Publication date
JP6955004B2 (ja) 2021-10-27
US11682195B2 (en) 2023-06-20
US20200151875A1 (en) 2020-05-14
CA3040518C (en) 2023-05-23
KR20190068607A (ko) 2019-06-18
US10607343B2 (en) 2020-03-31
EP3513378B1 (en) 2021-02-17
AU2017345812B2 (en) 2019-12-05
US20180114317A1 (en) 2018-04-26
AU2017345812A1 (en) 2019-05-09
CN110073404A (zh) 2019-07-30
EP3513378A1 (en) 2019-07-24
US20230129222A1 (en) 2023-04-27
EP3513378A4 (en) 2020-05-06
KR102222796B1 (ko) 2021-03-03
WO2018076023A1 (en) 2018-04-26
CA3040518A1 (en) 2018-04-26
JP2020504349A (ja) 2020-02-06

Similar Documents

Publication Publication Date Title
CN110073404B (zh) 数字组织病理学和显微解剖
US10769788B2 (en) Few-shot learning based image recognition of whole slide image at tissue level
KR102382401B1 (ko) 조직 레벨의 전체 슬라이드 이미지의 적은 수의 사진 학습 기반 이미지 인식
JP7384960B2 (ja) 腫瘍を識別するための畳み込みニューラルネットワークを用いた組織像の処理
TWI755853B (zh) 圖像處理方法、電子設備和電腦可讀儲存介質
KR102605969B1 (ko) 이미지 분류 방법, 장치 및 디바이스, 저장 매체, 그리고 의료 전자 디바이스
CN110379020B (zh) 一种基于生成对抗网络的激光点云上色方法和装置
CN112089392A (zh) 胶囊内窥镜控制方法、装置、设备、系统及存储介质
US20200320701A1 (en) Image processing method and apparatus and neural network model training method
WO2021114636A1 (zh) 基于多模态数据的病灶分类方法、装置、设备及存储介质
JP2017059090A (ja) 生成装置、生成方法、及び生成プログラム
CN116797554A (zh) 图像处理方法以及装置
US12002262B2 (en) Digital histopathology and microdissection
JP2022548453A (ja) 画像分割方法及び装置、電子デバイス並びに記憶媒体
Suchecki et al. Understanding aesthetics in photography using deep convolutional neural networks
CN115909511A (zh) 活体检测方法和系统
CN116863543A (zh) 活体检测方法及装置、电子设备、计算机可读存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant