CN109903280A - 肿瘤确定系统、方法及存储介质 - Google Patents

肿瘤确定系统、方法及存储介质 Download PDF

Info

Publication number
CN109903280A
CN109903280A CN201910146428.XA CN201910146428A CN109903280A CN 109903280 A CN109903280 A CN 109903280A CN 201910146428 A CN201910146428 A CN 201910146428A CN 109903280 A CN109903280 A CN 109903280A
Authority
CN
China
Prior art keywords
image
module
detection model
analysis
division
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201910146428.XA
Other languages
English (en)
Other versions
CN109903280B (zh
Inventor
淳秋坪
石峰
詹翊强
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shanghai United Imaging Intelligent Healthcare Co Ltd
Original Assignee
Shanghai United Imaging Intelligent Healthcare Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shanghai United Imaging Intelligent Healthcare Co Ltd filed Critical Shanghai United Imaging Intelligent Healthcare Co Ltd
Priority to CN201910146428.XA priority Critical patent/CN109903280B/zh
Publication of CN109903280A publication Critical patent/CN109903280A/zh
Priority to US16/657,355 priority patent/US11200668B2/en
Application granted granted Critical
Publication of CN109903280B publication Critical patent/CN109903280B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/285—Selection of pattern recognition techniques, e.g. of classifiers in a multi-classifier system
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/22—Image preprocessing by selection of a specific region containing or referencing a pattern; Locating or processing of specific regions to guide the detection or recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/87—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using selection of the recognition techniques, e.g. of a classifier in a multiple classifier system
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/69—Microscopic objects, e.g. biological cells or cellular parts
    • G06V20/698—Matching; Classification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10056—Microscopic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30024—Cell structures in vitro; Tissue sections in vitro
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30096—Tumor; Lesion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/03—Recognition of patterns in medical or anatomical images

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Multimedia (AREA)
  • Data Mining & Analysis (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Databases & Information Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Quality & Reliability (AREA)
  • Radiology & Medical Imaging (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Mathematical Physics (AREA)
  • Investigating Or Analysing Biological Materials (AREA)
  • Image Analysis (AREA)

Abstract

本发明实施例公开了一种肿瘤确定系统、方法及存储介质。该方法包括：图像获取模块，用于获取被检组织的病理图像；图像提取模块，用于从被检组织的病理图像提取一种或多种尺寸的分析图像；分析模块，用于基于一个或多个已训练的检测模型对所述分析图像进行分析以得到多个分类特征，其中，每个已训练的检测模型用于确定至少一种分类特征；输出模块，用于根据分类特征确定并输出肿瘤识别结果。本发明实施例的技术方案，可以解决现有技术中肿瘤分型依赖医生的经验，肿瘤分型的准确性较低的问题，达到了自动进行肿瘤分型和肿瘤分级的技术效果。

Description

肿瘤确定系统、方法及存储介质
技术领域
本发明实施例涉及图像处理技术领域，尤其涉及一种肿瘤确定系统、方法及存储介质。
背景技术
脑胶质瘤也称作脑胶质细胞瘤，是因为大脑和脊髓胶质细胞癌变所产生的最常见的原发性颅脑恶性肿瘤，其发病率约占颅内肿瘤的46％。在1998年，世界卫生组织公布了按照死亡率的排位顺序，恶性胶质瘤居34岁以下肿瘤患者死亡原因的第2位，是35～54岁肿瘤患者死亡原因的第3位。胶质细胞瘤偏良性者生长缓慢，病程较长，自出现症状至就诊时间平均两年，恶性者瘤体生长快，病程短，自出现症状到就诊时多数在3个月之内，70％～80％多在半年之内，严重危害患者的身体健康。
脑部胶质瘤的临床症状可分为两方面，一是颅内压增高症状，如头痛、呕吐、视力减退、复视、精神症状等；二是肿瘤压迫、浸润、破坏脑组织所产生的局灶症状，早期可表现为刺激症状如局限性癫痫，后期表现为神经功能缺失症状如瘫痪。当出现以上症状时，需及时到医院就医。
在传统的脑胶质细胞瘤分型评估诊断中，主要是通过以下步骤：(1)活检，(2)切片，(3)染色，(4)医生经验识别，(5)诊断结果。活检是活体组织检查的简称，也称为外科病理学检查，是指应诊断、治疗的需要，通过切取、钳取或穿刺等方式，从患者体内取出病变组织，进行病理学检查的技术。活检取出的组织经过甲醛固定、脱水、石蜡包埋等步骤后被切成很薄的切片，然后再经过贴片、烤片、脱蜡、水化、染色等步骤才能制成可以在显微镜下观察的切片。染色的目的是使细胞组织内的不同结构呈现不同的颜色以便于观察。经过染色后，可显示细胞内不同的细胞器及内含物以及不同类型的细胞组织。病理医生先肉眼观察标本，再将标本置于显微镜下观察，然后根据病理切片在显微镜下所见的描述综合分析判断结果。最后，病理医生根据观察结果给出病理报告。
但传统的人工方式对病理切片进行检查存在以下弊端：1、有些肿瘤特征不好找，比如细胞核分裂，低年资医生可能会忽略，高年资医生需要很多时间去对图像逐一寻找；2、在整张载玻片上，医生会逐步缩小查找范围，直到定位某些特征。在这个过程中，不同医生可能有不同的查看方式，选择不同的查看区域，最终导致诊断不一致的情况出现。
综上，现有技术的肿瘤分型依赖医生的经验，而且肿瘤分型的准确性较低。
发明内容
本发明实施例提供了一种肿瘤确定系统、方法及存储介质，以解决现有技术中肿瘤分型依赖医生的经验，肿瘤分型的准确性较低的问题。
第一方面，本发明实施例提供了一种肿瘤确定系统，包括：
图像获取模块，用于获取被检组织的病理图像；
图像提取模块，用于从被检组织的病理图像提取一种或多种尺寸的分析图像；
分析模块，用于基于一个或多个已训练的检测模型对所述分析图像进行分析以得到多个分类特征，其中，每个已训练的检测模型至少用于确定一种分类特征；
输出模块，用于根据所述分类特征确定并输出肿瘤识别结果。
第二方面，本发明实施例还提供了一种肿瘤确定方法，基于第一方面所述的肿瘤确定系统，包括：
获取图像获取模块获取的被检组织的病理图像；
通过图像提取模块从被检组织的病理图像提取一种或多种尺寸的分析图像；
控制分析模块基于一个或多个已训练的检测模型对所述分析图像进行分析以得到多个分类特征，其中，每个已训练的检测模型至少用于确定一种分类特征；
通过输出模块根据所述分类特征确定并输出肿瘤识别结果。
第三方面，本发明实施例还提供了一种计算机可执行指令的存储介质，其上存储有计算机程序，该计算机程序被计算机处理器执行时实现本发明任意实施例所提供的肿瘤确定方法。
本发明实施例提供的肿瘤确定系统的技术方案，通过图像获取模块获取的被检组织的病理图像；通过图像提取模块从被检组织的病理图像提取一种或多种尺寸的分析图像；控制分析模块基于一个或多个已训练的检测模型对分析图像进行分析以得到多个分类特征，其中，每个已训练的检测模型至少用于确定一种分类特征；通过输出模块根据分类特征确定并输出肿瘤识别结果。上述方案解决了现有技术中肿瘤分型依赖医生的经验，肿瘤分型的准确性较低的问题，依据病理医生的诊断思路实现了肿瘤的自动分型与分级。
附图说明
为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图做一简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1a是本发明实施例一提供的肿瘤确定系统的结构框图；
图1b是本发明实施例一提供的又一肿瘤确定系统的结构框图；
图2a是本发明实施例一提供的人机交互界面示意图；
图2b是本发明实施例一提供的又一人机交互界面示意图；
图3是本发明实施例一提供的分析图像的示意图；
图4a是本发明实施例一提供的“荷包蛋状”细胞示意图；
图4b是本发明实施例一提供的核分裂示意图；
图4c是本发明实施例一提供的细胞坏死示意图；
图4d是本发明实施例一提供的血管内皮细胞增生示意图；
图4e是本发明实施例一提供的少突细胞瘤示意图；
图4f是本发明实施例一提供的星形细胞瘤示意图；
图5是本发明实施例二提供的肿瘤确定方法的流程图；
图6本发明实施例三提供的检测模型训练方法的流程图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚，以下将参照本发明实施例中的附图，通过实施方式清楚、完整地描述本发明的技术方案，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
本领域技术人员可以理解的是，病理切片可以认为是医生诊断病情的黄金标准，病理医生通常会通过检查患者的生物组织样品后给出诊断意见，并且对肿瘤进行详细的肿瘤分型和分级。以脑部胶质瘤为例，病理医生在获得肿瘤组织病理图像后，可以通过观察病理图像中是否存在大量“荷包蛋状”的细胞单元、核分裂现象、细胞坏死、血管内皮细胞增生等特征对肿瘤进行肿瘤分型与分级。因此，基于病理医生的诊断流程提出了下述各种技术方案，以实现自动进行肿瘤分型以及肿瘤分级。
实施例一
图1a是本发明实施例一提供的肿瘤确定系统的结构框图。该系统包括：图像获取模块11、图像提取模块12、分析模块13和输出模块14，图像获取模块11用于获取被检组织的病理图像；图像提取模块12用于从被检组织的病理图像提取一种或多种尺寸的分析图像；分析模块13用于基于一个或多个已训练的检测模型对分析图像进行分析以得到多个分类特征，其中，每个已训练的检测模型用于确定至少一种分类特征；输出模块14用于根据分类特征确定并输出肿瘤识别结果。
其中，病理图像优选为被检组织的CT图像或MR图像，或者为被检组织的切片的显微图像，本实施例以病理图像为被检组织的切片的显微图像为例进行说明。
可以理解的是，如图1b所示，该肿瘤确定系统通常还包括存储模块15，用于存储病理图像和分析图像。
其中，图像获取模块11可以是具有读取功能或接收功能的读取模块，用于接收或读取被检组织的病理图像，并将病理图像存储于存储模块15；或者是具有拍摄功能的显微镜装置，直接获取被检组织的病理图像。若图像获取模块为显微镜装置，该肿瘤确定系统通常还包括图像读取模块，用于从显微镜获取被检组织的病理图像，然后将病理图像存储于存储模块15中。
其中，图像提取模块12在从病理图像上提取分析图像之前，通常需要用户在人机交互界面上的尺寸输入框输入一种或多种需求尺寸，或者在人机交互界面17上的尺寸选择菜单(参见图2a)上选择一个或多个尺寸，然后根据用户的输入或选择的一个或多个尺寸从病理图像上提取对应尺寸的分析图像。可以理解的是，如果分析图像的尺寸是固定的单个尺寸或者固定的多个尺寸，也可以将该单个尺寸或该多个尺寸设置为默认尺寸。图像提取模块12直接根据默认尺寸从病理图像上提取分析图像，并将分析图像存储于存储模块15的指定位置，简单、快捷，无需每次进行分析图像的尺寸设置。
具体地，图像提取模块12通过滑动窗口从病理图像上提取分析图像，以获取两种尺寸的分析图像为例，使用预设的滑动窗口策略在完整的大尺寸的病理图像上获取重叠延伸(overlap)为10％、尺寸为512*512的图像块作为分析图像；同样地，还可以获取重叠延伸(overlap)为10％、尺寸为1024*1024的图像块作为分析图像，如图3所示。在实际处理中，可以根据实际情况采用其他重叠延伸的数值和图像块尺寸。
优选地，本实施例还提供了模型选择模块16，用于为用户提供可选择的已训练的检测模型。考虑到输出模块14需要基于多个分类特征来确定肿瘤识别结果，因此用户需要在模型选择模块为每个分类特征选择合适的已训练的检测模型，然后由分析模块13控制所选择的已训练的检测模型对分析图像进行分析，以得到相应的分类特征。
为了便于模型选择，本实施例还设置有检测模型组，该检测模型组包括识别某一人体部位的肿瘤分类特征的已训练的检测模型。基于此，本实施例的人机交互界面上设置有模型选择菜单(参见图2a)。如果用户在人机交互界面上的模型选择菜单上选择了某个检测模型组，则选择了该检测模型组所封装的所有已训练的检测模型。
可以理解的是，如果每个人体部位对应一个检测模型组，那么模型选择模块16可以通过人体部位确定检测模型组。如图2b所示，用户在人机交互界面上的人体部位选择菜单选择人体部位之后，比如头部、胸部、腹部、盆腔等，模型选择模块16即可根据所选的人体部位在模型选择菜单输出对应的检测模型组。
为了满足不同的用户需求，本实施例为每个人体部位设置了基于不同算法构建的检测模型组，此时，如图2b所示，用户通常需要在人机交互界面的人体部位选择菜单输入或选择人体部位，模型选择模块根据接收的人体部位筛选检测模型组，然后用户通过模型选择菜单，从筛选出来的检测模型组中选择需要的检测模型组。其中，本实施例已训练的检测模型优选基于深度学习模型构建，比如YOLO、Fast R-CNN、UNet、VNet和FCN等卷积神经网络模型。
可以理解的是，对于每个已训练的检测模型，通常会对应一个或几个优选分析图像尺寸，因此，本实施例的图像提取模块可以获取用户在模型选择模块所选择的检测模型组，然后根据该检测模型组确定并输出分析图像的优选尺寸明细，如果用户默认或接收该尺寸明细，则直接根据该尺寸明细从被检组织的病理图像上提取对应尺寸的分析图像。
在用户确定了检测模型组，即确定了已训练的检测模型，以及图像提取模块根据用户需求提取了相应尺寸的分析图像之后，分析模块控制已训练的检测模型对分析图像进行分析，以得到多个分类特征，其中，每个已训练的检测模型用于确定至少一种分类特征。优选地，每个已训练的检测模型用于确定一种分类特征。
示例性的，以脑部胶质细胞瘤为例，可能涉及到的细胞分类特征有：大量“荷包蛋状”细胞单元(如图4a所示)、核分裂(如图4b所示)、细胞坏死(如图4c所示)以及血管内皮细胞增生(如图4d所示)，其中，核分裂又分为有核分裂和无核分裂。
如果检测模型组包括一个已训练的检测模型，且用户设置有两种分析尺寸的分析图像，那么分析模块将两种尺寸的分析图像输入至该已训练的检测模型中，该已训练的检测模型对这两种尺寸的分析图像进行分析，并输出分类特征的识别结果。具体为：是否有大量“荷包蛋状”细胞单元、是否为核分裂、是否有细胞坏死以及是否有血管内皮细胞增生。需要说明的是，该已训练的检测模型优选采用小尺寸的分析图像分析是否存在大量的“荷包蛋状”细胞单元及核分裂现象，采用大尺寸的分析图像分析是否存在细胞坏死、血管内皮细胞增生。
如果检测模型组包括四个已训练的检测模型，对应两种尺寸的分析图像。可以设定第一个已训练的检测模型对小尺寸分析图像进行分析，用于确定有无大量“煎蛋状”细胞单元；设定第二个已训练的检测模型对大尺寸的分析图像进行分析，用于确定有无有核分裂；设定第三个已训练的检测模型对大尺寸的分析图像进行分析，用于确定有无无核分裂；设定第四个已训练的检测模型对两种尺寸的分析图像进行分析，用于确定有无细胞增生和细胞坏死。上述各个已训练的检测模型在对所接收的分析图像进行分析后，输出是否存在相应分类特征的标识。
本实施例的肿瘤识别结果为肿瘤分型，或者为肿瘤分型和肿瘤分级。以脑部胶质细胞瘤为例，可能涉及到的肿瘤识别结果中的肿瘤分型有：少突细胞瘤的范畴(如图4e所示)和星形细胞瘤的范畴(如图4f所示)，肿瘤分级可以包括星形细胞瘤(WHOⅡ级，参见世界卫生组织中枢神经系统肿瘤分类方法)、胶质母细胞瘤(WHOⅣ级)和间变型星形细胞瘤(WHOⅢ级)。
输出模块根据得到的分类特征确定了肿瘤识别结果，仍以脑部胶质瘤为例，当识别出大量“荷包蛋状”细胞单元时，可以确定肿瘤识别结果是少突细胞瘤的范畴，否则，可以确定肿瘤识别结果是星形细胞瘤的范畴；当识别出大量“荷包蛋状”细胞单元，且未识别出细胞坏死或是血管内皮细胞增生中任一种现象时，可以确定肿瘤识别结果是少突细胞瘤；当识别出大量“荷包蛋状”细胞单元，且识别出细胞坏死或是血管内皮细胞增生中任一种现象时，可以确定肿瘤识别结果是间变性少突细胞瘤；
当未识别出大量“荷包蛋状”细胞单元，且未识别出细胞核分裂，以及未识别出细胞坏死或是血管内皮细胞增生中任一种现象时，可以确定肿瘤识别结果是星形细胞瘤(WHOⅡ级)；当未识别出大量“荷包蛋状”细胞单元，未识别出细胞核分裂，同时还识别出细胞坏死或是血管内皮细胞增生中任一种现象时，可以确定肿瘤识别结果是胶质母细胞瘤；当未识别出大量“荷包蛋状”细胞单元，识别出细胞核分裂，同时还识别出细胞坏死或是血管内皮细胞增生中任一种现象时，可以确定肿瘤识别结果是胶质母细胞瘤(WHOⅣ级)；当未识别出大量“荷包蛋状”细胞单元，识别出细胞核分裂，未识别出细胞坏死或是血管内皮细胞增生中任一种现象时，可以确定肿瘤识别结果是间变型星形细胞瘤(WHOⅢ级)。
输出模块在确定了肿瘤分型，或者肿瘤分型和肿瘤分级之后，将肿瘤分型，或者肿瘤分型和肿瘤分级输出至人机交互界面的结果显示区，后者可使医生清楚地了解到肿瘤识别结果所基于的分类特征，使得肿瘤识别结果更加具有解释性以及说服力，有利于医生接受。
本发明实施例提供的肿瘤确定系统的技术方案，通过图像获取模块获取的被检组织的病理图像；通过图像提取模块从被检组织的病理图像提取一种或多种尺寸的分析图像；控制分析模块基于一个或多个已训练的检测模型对分析图像进行分析以得到多个分类特征，其中，每个已训练的检测模型至少用于确定一种分类特征；通过输出模块根据分类特征确定并输出肿瘤识别结果。上述方案解决了现有技术中肿瘤分型依赖医生的经验，肿瘤分型的准确性较低的问题，依据病理医生的诊断思路实现了肿瘤的自动分型与分级。
实施例二
图5是本发明实施例二提供的肿瘤确定方法的流程图。本实施例可适用于自动进行肿瘤分型的情况，尤其适合于自动进行肿瘤分型以及肿瘤分级的情况。该方法可以由本发明实施例提供的肿瘤确定系统来执行，该系统可以由软件和/或硬件的方式实现。参见图1a、图1b和图5，本发明实施例的方法可以具体包括如下步骤：
S110、获取图像获取模块获取的被检组织的病理图像。
可以理解的是，该肿瘤确定系统通常还包括存储模块15，用于存储病理图像和分析图像。
其中，图像获取模块11可以是具有读取功能或接收功能的读取模块，用于接收或读取被检组织的病理图像，并将病理图像存储于存储模块15；或者是具有拍摄功能的显微镜，直接获取被检组织的病理图像。若图像获取模块11为显微镜装置，染色后的肿瘤切片可以放置于具有自动位移功能的微动平台上，通过具有拍摄功能的显微镜获取被检组织的病理图像。具体的，控制显微镜基于遍历的方式对肿瘤切片进行拍摄，得到病理图像。其中，不同病理图像之间可以具有相同的区域。该肿瘤确定系统通常还包括图像读取模块和图像拼接模块，图像读取模块用于从显微镜读取或接收被检组织的病理图像，然后将病理图像存储于存储模块中。图像拼接模块采用预设的基于特征提取的图像拼接算法，将所有病理图像拼接成一幅完整的大尺寸的病理图像。
S120、通过图像提取模块从被检组织的病理图像提取一种或多种尺寸的分析图像。
在得到上述病理图像的基础上，图像提取模块12通过滑动窗口在病理图像上进行滑动，提取一种尺寸或是多种尺寸的图像作为分析图像。具体地，可以通过不同尺寸的滑动窗口获取不同尺寸的分析图像。获取不同尺寸的分析图像的目的在于可以同时兼顾识别效率和识别准确性，因为分析图像的尺寸越大，包含的细节特征越多，识别的准确度越高，但是识别效率会有所降低；反之亦然。
以获取两种尺寸的分析图像为例，使用预设的滑动窗口策略在完整的大尺寸的病理图像上获取重叠延伸(overlap)为10％、尺寸为512*512的图像块作为分析图像；同样地，还可以获取重叠延伸(overlap)为10％、尺寸为1024*1024的图像块作为分析图像，如图3所示。在实际处理中，可以根据实际情况采用其他重叠延伸的数值和图像块尺寸。
S130、控制分析模块基于一个或多个已训练的检测模型对分析图像进行分析以得到多个分类特征，其中，每个已训练的检测模型用于确定至少一种分类特征。
在用户确定了已训练的检测模型，图像提取模块12根据用户需求提取了相应尺寸的分析图像之后，分析模块13控制用户确定的一个或多个已训练的检测模型对分析图像进行分析，以得到多个分类特征，其中，每个已训练的检测模型用于确定至少一种分类特征。优选地，每个已训练的检测模型用于确定一种分类特征。
S140、通过输出模块根据得到的分类特征确定并输出肿瘤识别结果。
输出模块14得到分类特征后，根据得到的分类特征确定肿瘤识别结果。其中，肿瘤识别结果可以是肿瘤分型，还可以是肿瘤分型和肿瘤分级。
输出模块14在确定了肿瘤识别结果后，将肿瘤分型输出至人机交互界面的结果显示区，或者将肿瘤分型和肿瘤分级输出至人机交互界面的结果显示区(参见图2a和图2b)。另外，在输出肿瘤识别结果的同时，还可以输出分类特征，使得医生可以清楚地了解到肿瘤识别结果所基于的分类特征，使得肿瘤识别结果更加具有解释性以及说服力，有利于医生接受。
本发明实施例的技术方案，包括：获取图像获取模块获取的被检组织的病理图像；通过图像提取模块从被检组织的病理图像提取一种或多种尺寸的分析图像；控制分析模块基于一个或多个已训练的检测模型对所述分析图像进行分析以得到多个分类特征，其中，每个已训练的检测模型用于确定至少一种分类特征；通过输出模块根据分类特征确定并输出肿瘤识别结果。上述技术方案解决了现有技术中肿瘤分型依赖医生的经验，肿瘤分型的准确性较低的问题，依据病理医生的诊断思路实现了肿瘤的自动分型和分级。
实施例三
图6本发明实施例三提供的检测模型训练方法的流程图。本实施例与上述各实施例相同或相应的术语的解释在此不再赘述。在本实施例中，可选的，可以通过如下步骤得到已训练的检测模型：
S210、构建检测模型。
基于深度学习算法，比如卷积神经网络的YOLO、Fast R-CNN、UNet、VNet和FCN算法构建检测模型。本实施例以所有检测模型均基于YOLO算法构建为例，检测模型可以是：首先通过特征提取网络对输入的分析图像进行特征提取，得到固定尺寸例如m×m的特征图；然后将输入的分析图像划分为m×m个网格单元，若具有正确标记的金标准(ground truth)中某个目标的中心坐标落在哪个网格单元中，则由该网格单元来预测该目标。
可以理解的是，因为每个网格单元都有固定数量的边框，例如YOLO v3中是3个边框，只有金标准中交并比(IOU)最大的边框才被用来预测该目标。其中，金标准可以理解为：在有监督学习中，数据是有标记的，以(x,t)的形式出现，其中x是输入数据，t是标记。正确的t标记是金标准，错误的t标记则不是金标准。进一步的，边框的坐标可以通过如下公式预测：
bx＝σ(tx)+cx
by＝σ(ty)+cy
其中，tx、ty、tw、th表示检测模型的预测输出；cx和cy表示网格单元的坐标，例如，第0行第1列的网格单元的坐标cx为0，cy为1；pw、ph为预测前边框的大小；bx、by、bw、bh分别为预测所得边框的中心坐标和预测边框的大小。
S220、对已构建的检测模型进行训练。
在对检测模型训练之前，先确定每个检测模型所对应的分析图像的图像尺寸和所对应的分类特征。示例性的，每个检测模型对应一个分类特征和两种尺寸的分析图像，那么对于脑部胶质瘤，需要通过5个已训练的检测模型来识别其分类特征。
请至少两位经验丰富的病理科医生对用于模型训练的大尺寸的病理图像进行诊断，标记出每个病理图像的分类特征，然后通过滑动窗口从包含某分类特征的病理图像中提取512*512尺寸的分析图像N1张，1024*1024尺寸的分析图像N2张，然后将小尺寸分析图像、大尺寸分析图像和该分类特征的标识输入该分类特征对应的检测模型中，以对该分类特征对应的检测模型进行训练。以此类推，完成每个分类特征对应的检测模型的训练，得到各个分类特征对应的已训练的检测模型，使已训练的检测模型具有自动识别分类特征的能力。
实施例四
本发明实施例四提供了一种包含计算机可执行指令的存储介质，所述计算机可执行指令在由计算机处理器执行时用于执行一种肿瘤确定方法，包括：
获取图像获取模块获取的被检组织的病理图像；
通过图像提取模块从被检组织的病理图像提取一种或多种尺寸的分析图像；
控制分析模块基于一个或多个已训练的检测模型对所述分析图像进行分析以得到多个分类特征，其中，每个已训练的检测模型用于确定至少一种分类特征；
通过输出模块根据得到的分类特征确定并输出肿瘤识别结果。
当然，本发明实施例所提供的一种包含计算机可执行指令的存储介质，其计算机可执行指令不限于如上所述的方法操作，还可以执行本发明任意实施例所提供的肿瘤确定方法中的相关操作。
通过以上关于实施方式的描述，所属领域的技术人员可以清楚地了解到，本发明可借助软件及必需的通用硬件来实现，当然也可以通过硬件实现，但很多情况下前者是更佳的实施方式。依据这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如计算机的软盘、只读存储器(Read-Only Memory,ROM)、随机存取存储器(RandomAccess Memory,RAM)、闪存(FLASH)、硬盘或光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述的方法。
注意，上述仅为本发明的较佳实施例及所运用技术原理。本领域技术人员会理解，本发明不限于这里所述的特定实施例，对本领域技术人员来说能够进行各种明显的变化、重新调整和替代而不会脱离本发明的保护范围。因此，虽然通过以上实施例对本发明进行了较为详细的说明，但是本发明不仅仅限于以上实施例，在不脱离本发明构思的情况下，还可以包括更多其他等效实施例，而本发明的范围由所附的权利要求范围决定。

Claims (10)

1.一种肿瘤确定系统，其特征在于，包括：
图像获取模块，用于获取被检组织的病理图像；
图像提取模块，用于从被检组织的病理图像提取一种或多种尺寸的分析图像；
分析模块，用于基于一个或多个已训练的检测模型对所述分析图像进行分析以得到多个分类特征，其中，每个已训练的检测模型用于确定至少一种分类特征；
输出模块，用于根据所述分类特征确定并输出肿瘤识别结果。
2.根据权利要求1所述的系统，其特征在于，所述图像提取模块用于根据输入或设定的一个或多个尺寸，从被检组织的病理图像上提取对应尺寸的分析图像。
3.根据权利要求1所述的系统，其特征在于，还包括模型选择模块；
所述模型选择模块提供用于选择的多个检测模型组，其中，每个检测模型组包括一个或多个已训练的检测模型；
所述分析模块用于控制检测模型组对分析图像进行分析，以得到每个已训练的检测模型对应的一个分类特征。
4.根据权利要求3所述的系统，其特征在于，所述模型选择模块还用于根据输入或设定的人体部位确定检测模型组。
5.根据权利要求4所述的系统，其特征在于，所述图像提取模块还用于根据输入或设定的检测模型组确定分析图像的尺寸明细，并根据所确定的尺寸明细从被检组织的病理图像提取对应尺寸的分析图像。
6.根据权利要求1所述的系统，其特征在于，所述图像获取模块为显微镜装置。
7.根据权利要求1-6任一所述的系统，其特征在于，所述肿瘤识别结果为肿瘤分型，或者为肿瘤分型和肿瘤分级。
8.一种肿瘤确定方法，其特征在于，基于权利要求1-7任一所述的肿瘤确定系统，包括：
获取图像获取模块获取的被检组织的病理图像；
通过图像提取模块从被检组织的病理图像提取一种或多种尺寸的分析图像；
控制分析模块基于一个或多个已训练的检测模型对所述分析图像进行分析以得到多个分类特征，其中，每个已训练的检测模型用于确定至少一种分类特征；
通过输出模块根据所述分类特征确定并输出肿瘤识别结果。
9.根据权利要求8所述的方法，其特征在于，所述控制分析模块基于一个或多个已训练的检测模型对所述分析图像进行分析以得到多个分类特征，包括：
控制分析模块基于多个已训练的检测模型对所述分析图像进行分析，以得到每个已训练的检测模型对应的一个分类特征。
10.一种包含计算机可执行指令的存储介质，其特征在于，所述计算机可执行指令在由计算机处理器执行时用于执行如权利要求8或9所述的肿瘤确定方法。
CN201910146428.XA 2019-02-27 2019-02-27 肿瘤确定系统、方法及存储介质 Active CN109903280B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN201910146428.XA CN109903280B (zh) 2019-02-27 2019-02-27 肿瘤确定系统、方法及存储介质
US16/657,355 US11200668B2 (en) 2019-02-27 2019-10-18 Methods and devices for grading a tumor

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910146428.XA CN109903280B (zh) 2019-02-27 2019-02-27 肿瘤确定系统、方法及存储介质

Publications (2)

Publication Number Publication Date
CN109903280A true CN109903280A (zh) 2019-06-18
CN109903280B CN109903280B (zh) 2020-09-29

Family

ID=66945524

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910146428.XA Active CN109903280B (zh) 2019-02-27 2019-02-27 肿瘤确定系统、方法及存储介质

Country Status (2)

Country Link
US (1) US11200668B2 (zh)
CN (1) CN109903280B (zh)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111080583A (zh) * 2019-12-03 2020-04-28 上海联影智能医疗科技有限公司 医学图像检测方法、计算机设备和可读存储介质
CN111091559A (zh) * 2019-12-17 2020-05-01 山东大学齐鲁医院 基于深度学习的小肠镜下淋巴瘤辅助诊断系统
CN111105416A (zh) * 2019-12-31 2020-05-05 北京理工大学重庆创新中心 一种骨髓细胞增生程度自动分级方法及系统
CN111582370A (zh) * 2020-05-08 2020-08-25 重庆工贸职业技术学院 一种基于粗糙集优化的脑转移瘤预后指标约简及分类方法
CN112085113A (zh) * 2020-09-14 2020-12-15 四川大学华西医院 一种重症肿瘤影像识别系统及方法
CN112365440A (zh) * 2020-10-10 2021-02-12 天津大学 基于yolov3的乳腺病理学图像有丝分裂检测装置和方法
CN113130030A (zh) * 2021-05-11 2021-07-16 首都医科大学附属北京天坛医院 一种颅内动脉瘤稳定性的评价方法、装置以及设备

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113344849B (zh) * 2021-04-25 2023-01-24 山东师范大学 一种基于YOLOv5的微乳头检测系统
CN117152746B (zh) * 2023-10-27 2024-03-26 南方医科大学 一种基于yolov5网络的宫颈细胞分类参数获取方法

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101234026A (zh) * 2008-03-07 2008-08-06 李立 一种乳腺病变定量化影像评价系统及其应用方法
US20130330274A1 (en) * 2012-05-22 2013-12-12 University of Virginia Patent Foundation d/b/a University of Virginia Licensing & Ventures Group Compositions and methods for detecting and treating cancer
CN104881568A (zh) * 2015-04-27 2015-09-02 苏州敏宇医疗科技有限公司 一种基于云计算的肿瘤治疗疗效早期评价的系统和方法
CN104933711A (zh) * 2015-06-10 2015-09-23 南通大学 一种肿瘤病理图像自动快速分割方法
WO2017171720A1 (en) * 2016-03-29 2017-10-05 Flagship Biosciences, Inc. Digital image analysis of inflammatory cells and mediators of inflammation
CN108573490A (zh) * 2018-04-25 2018-09-25 王成彦 一种针对肿瘤影像数据的智能读片系统
CN108717554A (zh) * 2018-05-22 2018-10-30 复旦大学附属肿瘤医院 一种甲状腺肿瘤病理组织切片图像分类方法及其装置
CN109271969A (zh) * 2018-10-29 2019-01-25 北京青燕祥云科技有限公司 一种脑胶质瘤分级评价方法及其装置

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1846869B1 (en) * 2005-01-27 2011-10-05 Cambridge Research & Instrumentation, Inc. Classifying image features
US8121362B2 (en) * 2007-04-30 2012-02-21 Siemens Medical Solutions Usa, Inc. Registration of medical images using learned-based matching functions
US8280134B2 (en) * 2008-09-22 2012-10-02 Cambridge Research & Instrumentation, Inc. Multi-spectral imaging including at least one common stain
SG11201405548RA (en) * 2012-03-09 2014-10-30 Seno Medical Instr Inc Statistical mapping in an optoacoustic imaging system
EP3155592B1 (en) * 2014-06-10 2019-09-11 Leland Stanford Junior University Predicting breast cancer recurrence directly from image features computed from digitized immunohistopathology tissue slides
WO2019051464A1 (en) * 2017-09-11 2019-03-14 Lang Philipp K INCREASED REALITY DISPLAY FOR VASCULAR AND OTHER INTERVENTIONS, COMPENSATION FOR CARDIAC AND RESPIRATORY MOVEMENT
US11379516B2 (en) * 2018-03-29 2022-07-05 Google Llc Similar medical image search
JPWO2019208703A1 (ja) * 2018-04-26 2021-04-30 日本電気株式会社 情報処理装置
CN109544534B (zh) * 2018-11-26 2020-10-16 上海联影智能医疗科技有限公司 一种病灶图像检测装置、方法和计算机可读存储介质
US10957442B2 (en) * 2018-12-31 2021-03-23 GE Precision Healthcare, LLC Facilitating artificial intelligence integration into systems using a distributed learning platform

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101234026A (zh) * 2008-03-07 2008-08-06 李立 一种乳腺病变定量化影像评价系统及其应用方法
US20130330274A1 (en) * 2012-05-22 2013-12-12 University of Virginia Patent Foundation d/b/a University of Virginia Licensing & Ventures Group Compositions and methods for detecting and treating cancer
CN104881568A (zh) * 2015-04-27 2015-09-02 苏州敏宇医疗科技有限公司 一种基于云计算的肿瘤治疗疗效早期评价的系统和方法
CN104933711A (zh) * 2015-06-10 2015-09-23 南通大学 一种肿瘤病理图像自动快速分割方法
WO2017171720A1 (en) * 2016-03-29 2017-10-05 Flagship Biosciences, Inc. Digital image analysis of inflammatory cells and mediators of inflammation
CN108573490A (zh) * 2018-04-25 2018-09-25 王成彦 一种针对肿瘤影像数据的智能读片系统
CN108717554A (zh) * 2018-05-22 2018-10-30 复旦大学附属肿瘤医院 一种甲状腺肿瘤病理组织切片图像分类方法及其装置
CN109271969A (zh) * 2018-10-29 2019-01-25 北京青燕祥云科技有限公司 一种脑胶质瘤分级评价方法及其装置

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
周彩存等主编: "《肿瘤学》", 31 January 2010 *
张家林: "《证券投资 人工智能》", 31 January 2017 *
杨志炜等: "影像组学在脑胶质瘤分级中的应用研究", 《磁共振成像》 *
王奇峰等: "一种新型肿瘤组织起源分子标志物的建立与评价", 《中国癌症杂志》 *

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111080583A (zh) * 2019-12-03 2020-04-28 上海联影智能医疗科技有限公司 医学图像检测方法、计算机设备和可读存储介质
CN111080583B (zh) * 2019-12-03 2024-02-27 上海联影智能医疗科技有限公司 医学图像检测方法、计算机设备和可读存储介质
CN111091559A (zh) * 2019-12-17 2020-05-01 山东大学齐鲁医院 基于深度学习的小肠镜下淋巴瘤辅助诊断系统
CN111105416A (zh) * 2019-12-31 2020-05-05 北京理工大学重庆创新中心 一种骨髓细胞增生程度自动分级方法及系统
CN111105416B (zh) * 2019-12-31 2022-09-09 北京理工大学重庆创新中心 一种骨髓细胞增生程度自动分级方法及系统
CN111582370A (zh) * 2020-05-08 2020-08-25 重庆工贸职业技术学院 一种基于粗糙集优化的脑转移瘤预后指标约简及分类方法
CN111582370B (zh) * 2020-05-08 2023-04-07 重庆工贸职业技术学院 一种基于粗糙集优化的脑转移瘤预后指标约简及分类方法
CN112085113A (zh) * 2020-09-14 2020-12-15 四川大学华西医院 一种重症肿瘤影像识别系统及方法
CN112365440A (zh) * 2020-10-10 2021-02-12 天津大学 基于yolov3的乳腺病理学图像有丝分裂检测装置和方法
CN113130030A (zh) * 2021-05-11 2021-07-16 首都医科大学附属北京天坛医院 一种颅内动脉瘤稳定性的评价方法、装置以及设备
CN113130030B (zh) * 2021-05-11 2022-09-23 首都医科大学附属北京天坛医院 一种颅内动脉瘤稳定性的评价方法、装置以及设备

Also Published As

Publication number Publication date
CN109903280B (zh) 2020-09-29
US11200668B2 (en) 2021-12-14
US20200273162A1 (en) 2020-08-27

Similar Documents

Publication Publication Date Title
CN109903280A (zh) 肿瘤确定系统、方法及存储介质
CN107358605B (zh) 用于识别糖尿病视网膜病变的深度神经网络装置及系统
Welikala et al. Genetic algorithm based feature selection combined with dual classification for the automated detection of proliferative diabetic retinopathy
CN108694718A (zh) 直肠癌术前同期新辅助放化疗疗效评估系统和方法
CN108717554A (zh) 一种甲状腺肿瘤病理组织切片图像分类方法及其装置
CN107369151A (zh) 基于大数据深度学习的胃肠间质瘤病理诊断支持系统和方法
CN108553079A (zh) 基于眼底图像的病变识别系统
CN111954805A (zh) 用于光学组织学图像的分析和远程解译的系统和方法
Hu et al. Unified diagnosis framework for automated nuclear cataract grading based on smartphone slit-lamp images
Kauppi Eye fundus image analysis for automatic detection of diabetic retinopathy
CN110084237A (zh) 肺结节的检测模型构建方法、检测方法和装置
Xie et al. Interpretable classification from skin cancer histology slides using deep learning: A retrospective multicenter study
CN108352062A (zh) 用于组织识别的方法和设备
Yang et al. Development and validation of two artificial intelligence models for diagnosing benign, pigmented facial skin lesions
CN113887662A (zh) 一种基于残差网络的图像分类方法、装置、设备及介质
Miao et al. Classification of diabetic retinopathy based on multiscale hybrid attention mechanism and residual algorithm
CN109003659A (zh) 胃幽门螺旋杆菌感染病理诊断支持系统和方法
Akyol et al. A decision support system for early-stage diabetic retinopathy lesions
CN210776809U (zh) 一种望诊图像质量评价系统、设备及存储介质
Agrawal et al. Quantitative analysis of research on artificial intelligence in retinopathy of prematurity
Lee et al. Using pattern recognition and discriminant analysis of functional perfusion data to create “angioprints” for normal and perturbed angiogenic microvascular networks
Sivasangari et al. Diabetic Retinopathy Detection Using Convolution Neural Network
Swiderska et al. A deep learning approach for Meibomian gland appearance evaluation
Suwandi et al. A Systematic Literature Review: Diabetic Retinopathy Detection Using Deep Learning
Abinaya et al. A systematic review: Intellectual detection and prediction of cancer using dl techniques

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant