CN112949723B - 一种子宫内膜病理图像分类方法 - Google Patents

一种子宫内膜病理图像分类方法 Download PDF

Info

Publication number
CN112949723B
CN112949723B CN202110248565.1A CN202110248565A CN112949723B CN 112949723 B CN112949723 B CN 112949723B CN 202110248565 A CN202110248565 A CN 202110248565A CN 112949723 B CN112949723 B CN 112949723B
Authority
CN
China
Prior art keywords
image
endometrial
images
endometrium
network
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110248565.1A
Other languages
English (en)
Other versions
CN112949723A (zh
Inventor
李奇灵
钟德星
韩露
赵蓝波
赵惊涛
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Xi'an Meijiajia Medical Technology Co ltd
First Affiliated Hospital of Medical College of Xian Jiaotong University
Original Assignee
Xi'an Meijiajia Medical Technology Co ltd
First Affiliated Hospital of Medical College of Xian Jiaotong University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Xi'an Meijiajia Medical Technology Co ltd, First Affiliated Hospital of Medical College of Xian Jiaotong University filed Critical Xi'an Meijiajia Medical Technology Co ltd
Priority to CN202110248565.1A priority Critical patent/CN112949723B/zh
Publication of CN112949723A publication Critical patent/CN112949723A/zh
Application granted granted Critical
Publication of CN112949723B publication Critical patent/CN112949723B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/55—Clustering; Classification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/58—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/583—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/044—Recurrent networks, e.g. Hopfield networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • G06V10/267—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion by performing operations on regions, e.g. growing, shrinking or watersheds
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H10/00—ICT specially adapted for the handling or processing of patient-related medical or healthcare data
    • G16H10/20—ICT specially adapted for the handling or processing of patient-related medical or healthcare data for electronic clinical trials or questionnaires
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G16H30/20—ICT specially adapted for the handling or processing of medical images for handling medical images, e.g. DICOM, HL7 or PACS

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • Molecular Biology (AREA)
  • Computational Linguistics (AREA)
  • Mathematical Physics (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Primary Health Care (AREA)
  • Public Health (AREA)
  • Library & Information Science (AREA)
  • Databases & Information Systems (AREA)
  • Medical Informatics (AREA)
  • Epidemiology (AREA)
  • Radiology & Medical Imaging (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Multimedia (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种子宫内膜病理图像分类方法，包括步骤：一、收集子宫内膜图像和其对应的临床特征；二、构建子宫内膜基团图像数据库；三、构建并训练图像分类网络；四、图像分类网络的测试；五、子宫内膜病理图像分类。本发明需要快速的识别子宫内膜细胞、子宫内膜细胞群落、子宫内膜微组织是否病变，通过改进稀释扫描器网络跳过路径实现对历史子宫内膜图像的快速分割，加快读片速度，利用两个LSTM模型和Incept ion‑v3CNN图像模型同步处理图像特征，获取临床特征，形象直观、快速、准确地进行子宫内膜细胞及微组织病理分类，从而为子宫内膜癌筛查工作的开展奠定基础，减轻人群筛查工作量大、工作效率低等问题。

Description

一种子宫内膜病理图像分类方法
技术领域
本发明属于子宫内膜病理图像分类技术领域，具体涉及一种子宫内膜病理图像分类方法。
背景技术
近年来子宫内膜癌的发病率及死亡率在全世界范围内均呈上升趋势。在有些地区，子宫内膜癌发病率甚至超过宫颈癌，成为女性生殖系统最常见的恶性肿瘤。因此子宫内膜癌筛查势在必行。现有利用细胞学及微组织学图像鉴别子宫内膜病理图像，然而，子宫内膜由于受体内激素水平、卵巢功能、宫内节育器等多因素影响，主要靠人工阅片，效率低，工作强度大，另外现如今病理医师缺乏，大大限制了子宫内膜癌筛查项目的开展。近年来，国内外学者已逐渐将大数据和人工智能技术与医学相互融合，为子宫内膜病理筛查提供新的思路与途径。但是由于制片和染色方式的差异、背景的复杂性、细胞形态的多样性和不规则性等诸多问题，子宫内膜病理图像分类的鲁棒性、客观性、准确性均难以保证。
发明内容
本发明所要解决的技术问题在于针对上述现有技术中的不足，提供一种子宫内膜病理图像分类方法，需要快速的识别子宫内膜细胞、子宫内膜细胞群落、子宫内膜微组织是否病变，通过改进稀释扫描器网络跳过路径实现对历史子宫内膜图像的快速分割，加快读片速度，利用两个LSTM模型和Inception-v3 CNN图像模型同步处理图像特征，获取临床特征，形象直观、快速、准确地进行子宫内膜细胞及微组织病理分类，从而为子宫内膜癌筛查工作的开展奠定基础，减轻人群筛查工作量大、工作效率低等问题，便于推广使用。
为解决上述技术问题，本发明采用的技术方案是：一种子宫内膜病理图像分类方法，其特征在于，该方法包括以下步骤：
步骤一、收集子宫内膜图像和其对应的临床特征：收集历史子宫内膜图像和该子宫内膜图像对应的临床特征，所述子宫内膜图像包括阳性子宫内膜图像和阴性子宫内膜图像；
所述临床特征包括临床病理特征文字、子宫内膜分子分型；
步骤二、构建子宫内膜基团图像数据库，过程如下：
步骤201、构建U-Net稀释扫描器网络，并根据公式
Figure GDA0004002066690000021
对U-Net稀释扫描器网络的跳过连接进行优化，其中，i为U-Net稀释扫描器网络的层数且i＝0,1,2,3,4，j为U-Net稀释扫描器网络的列数且j＝0,1,2,3,4，Xi,j为U-Net稀释扫描器网络中第i层第j列的节点，D(·)为下采样运算，U(·)为上采样运算，H(·)为卷积运算，卷积运算的卷积层卷积核尺寸为3*3，[·]为集合，k为U-Net稀释扫描器网络的局部列数且k＝0,...,j-1；
其中，Xi-1,j中i不取0；
步骤202、利用优化后的U-Net稀释扫描器网络对每张子宫内膜图像进行遍历，每张子宫内膜图像的遍历过程均相同，任一子宫内膜图像的遍历过程为：利用优化后的U-Net稀释扫描器网络对任一子宫内膜图像进行遍历，每遍历完一次，根据公式
Figure GDA0004002066690000022
计算子宫内膜图像的损失L，其中，N为子宫内膜图像的像素数目，n为子宫内膜图像的像素数目编号，C为给定的图像分类数目，c为给定的图像分类数目编号，yn,c为子宫内膜图像上第n个像素对应的第c类的目标标签，pn,c为子宫内膜图像上第n个像素对应的第c类的预测概率；
直至子宫内膜图像的损失L小于损失阈值Δ时，结束该张子宫内膜图像的遍历，再对优化后的U-Net稀释扫描器网络遍历完成的子宫内膜图像进行图像分割，获取该张子宫内膜图像的子宫内膜基团图像；
所述子宫内膜基团图像包括子宫内膜细胞图像、子宫内膜细胞群落图像、子宫内膜微组织图像；
步骤203、标定每张子宫内膜基团图像的阴阳性，对每张子宫内膜基团标定图像匹配其对应的临床特征，通过多张子宫内膜基团标定图像构建子宫内膜基团图像数据库，将子宫内膜基团图像数据库分为训练集和测试集；
步骤三、构建并训练图像分类网络，过程如下：
步骤301、构建将图像转化为向量特征的第一LSTM语言模型、将向量特征转换成具有临床特征的病历文字的第二LSTM语言模型以及将向量特征转换为特征图谱并分类输出的Inception-v3 CNN图像模型，第一LSTM语言模型、第二LSTM语言模型和Inception-v3CNN图像模型构成图像分类网络，其中，第一LSTM语言模型的输入为子宫内膜基团标定图像，第二LSTM语言模型的输入为第一LSTM语言模型的输出，Inception-v3 CNN图像模型的输入为第一LSTM语言模型的输出，图像分类网络的输出为Inception-v3 CNN图像模型的图像输出和第二LSTM语言模型的具有临床特征的病历文字输出，且Inception-v3 CNN图像模型的图像输出和第二LSTM语言模型的具有临床特征的病历文字输出同步输出；
其中，第二LSTM语言模型输出的具有临床特征的病历文字中的临床特征为子宫内膜基团标定图像对应的临床特征；
步骤302、从训练集中调取一张子宫内膜基团标定图像，并输入至第一LSTM语言模型，将第一LSTM语言模型的输出输入至Inception-v3 CNN图像模型，同时将第一LSTM语言模型的输出输入至第二LSTM语言模型，同步获取图像分类结果和病历文字；
步骤303、选取交叉熵作为图像分类网络的损失目标函数并计算样本对的损失值，将损失目标函数计算的损失值送入优化器，对图像分类网络的权重参数集合更新；
步骤304、从训练集中调取新的一张子宫内膜基团标定图像，循环步骤302至步骤303，直至图像分类网络的损失目标函数计算的损失值小于损失目标函数阈值，此时，得到图像分类网络的最终权重参数训练结果，并确定最终训练完成的图像分类网络；
步骤四、图像分类网络的测试：将测试集中子宫内膜基团标定图像对应的临床特征作为测试集的GroundTruth，利用测试集对图像分类网络进行测试，测试集中每张子宫内膜基团标定图像对图像分类网络的测试过程均相同；
测试集中任一张子宫内膜基团标定图像对图像分类网络的测试过程：从测试集中调取一张子宫内膜基团标定图像送入训练完成的图像分类网络，得到该测试的子宫内膜基团标定图像对应的图像分类结果和病历文字，利用病历文字和测试集的GroundTruth比较，获取图像分类网络的准确度；
使图像分类网络的正确率达99％以上；
步骤五、子宫内膜病理图像分类，过程如下：
步骤501、获取子宫内膜标本，将子宫内膜标本进行制片及染色，利用图像采集模块扫描整张细胞块切片，获取实际子宫内膜图像；
步骤502、利用优化后的U-Net稀释扫描器网络遍历实际子宫内膜图像，并进行图像分割，获取实际子宫内膜图像的多张子宫内膜基团图像；
步骤503、将多张子宫内膜基团图像依次送入至训练好的图像分类网络中进行子宫内膜病理图像阴阳性分类及病历文字预输出；
步骤504、利用疾病高危因素对子宫内膜病理图像阴阳性分类结果进行修正。
上述的一种子宫内膜病理图像分类方法，其特征在于：步骤一和步骤五中，历史子宫内膜图像和实际子宫内膜图像均可通过HE染色、巴氏或免疫化学染色。
上述的一种子宫内膜病理图像分类方法，其特征在于：所述临床病理特征文字包括细胞核极向、细胞核异常增大、细胞核深染、细胞无需分裂；
所述子宫内膜分子分型包括POLE超突变型、MSI高突变型、低拷贝数型、高拷贝数型。
上述的一种子宫内膜病理图像分类方法，其特征在于：步骤203中，所述子宫内膜基团图像数据库中数据样本不少于2000张，所述训练集和所述测试集中数据样本的数量比例为7:3。
上述的一种子宫内膜病理图像分类方法，其特征在于：步骤303中，选取交叉熵作为图像分类网络的损失目标函数并计算样本对的损失值，将损失目标函数计算的损失值送入Adam优化器。
上述的一种子宫内膜病理图像分类方法，其特征在于：所述疾病高危因素包括患者年龄、过往病史、经期时间和经量。
上述的一种子宫内膜病理图像分类方法，其特征在于：步骤504中，利用疾病高危因素对子宫内膜病理图像阴阳性分类结果进行修正过程：利用子宫内膜病理图像阴阳性分类结果和疾病高危因素进行数据融合，获取修正后的子宫内膜病理图像阴阳性分类结果，其中，子宫内膜病理图像阴阳性分类结果具有第一权重，疾病高危因素具有第二权重，且第一权重与第二权重之和为1。
本发明与现有技术相比具有以下优点：
1、本发明需要快速的识别子宫内膜细胞、子宫内膜细胞群落、子宫内膜微组织是否病变，但是现有公开的数据库中缺乏子宫内膜基团图像数据库，这为子宫内膜病理图像分类带来了阻碍，导致子宫内膜病理图像智能分类缺失，本发明通过改进稀释扫描器网络跳过路径实现对历史子宫内膜图像的快速分割，加快读片速度，能够对细胞、细胞群落、微组织进行病理图像分类，大大降低病理医生工作量，便于推广使用。
2、本发明通过将病理与临床结合，利用两个LSTM模型和Inception-v3CNN图像模型同步处理图像特征，获取临床特征，形象直观、快速、准确地进行子宫内膜细胞及微组织病理分类，从而为子宫内膜癌筛查工作的开展奠定基础，减轻人群筛查工作量大、工作效率低等问题，使用效果好。
3、本发明方法步骤简单，通过对子宫内膜标本进行制片及染色，利用图像采集模块扫描整张细胞块切片，获取实际子宫内膜图像，同时记录实际子宫内膜图像对应的临床特征，利用优化后的U-Net稀释扫描器网络遍历实际子宫内膜图像，并进行图像分割，获取实际子宫内膜图像的多张子宫内膜基团图像，将多张子宫内膜基团图像依次送入至训练好的图像分类网络中进行子宫内膜病理图像阴阳性分类及病历文字预输出，最后利用疾病高危因素对子宫内膜病理图像阴阳性分类结果进行修正，分类结果可靠，便于推广使用。
综上所述，本发明需要快速的识别子宫内膜细胞、子宫内膜细胞群落、子宫内膜微组织是否病变，通过改进稀释扫描器网络跳过路径实现对历史子宫内膜图像的快速分割，加快读片速度，利用两个LSTM模型和Inception-v3 CNN图像模型同步处理图像特征，获取临床特征，形象直观、快速、准确地进行子宫内膜细胞及微组织病理分类，从而为子宫内膜癌筛查工作的开展奠定基础，减轻人群筛查工作量大、工作效率低等问题，便于推广使用。
下面通过附图和实施例，对本发明的技术方案做进一步的详细描述。
附图说明
图1为本发明的方法流程框图。
图2为本发明U-Net稀释扫描器网络节点的跳过连接关系示意图。
具体实施方式
如图1和图2所示，本发明的一种子宫内膜病理图像分类方法，包括以下步骤：
步骤一、收集子宫内膜图像和其对应的临床特征：收集历史子宫内膜图像和该子宫内膜图像对应的临床特征，所述子宫内膜图像包括阳性子宫内膜图像和阴性子宫内膜图像；
所述临床特征包括临床病理特征文字、子宫内膜分子分型；
本实施例中，所述临床病理特征文字包括细胞核极向、细胞核异常增大、细胞核深染、细胞无需分裂；
所述子宫内膜分子分型包括POLE超突变型、MSI高突变型、低拷贝数型、高拷贝数型。
步骤二、构建子宫内膜基团图像数据库，过程如下：
步骤201、构建U-Net稀释扫描器网络，并根据公式
Figure GDA0004002066690000071
对U-Net稀释扫描器网络的跳过连接进行优化，其中，i为U-Net稀释扫描器网络的层数且i＝0,1,2,3,4，j为U-Net稀释扫描器网络的列数且j＝0,1,2,3,4，Xi,j为U-Net稀释扫描器网络中第i层第j列的节点，D(·)为下采样运算，U(·)为上采样运算，H(·)为卷积运算，卷积运算的卷积层卷积核尺寸为3*3，[·]为集合，k为U-Net稀释扫描器网络的局部列数且k＝0,...,j-1；
其中，Xi-1,j中i不取0；
步骤202、利用优化后的U-Net稀释扫描器网络对每张子宫内膜图像进行遍历，每张子宫内膜图像的遍历过程均相同，任一子宫内膜图像的遍历过程为：利用优化后的U-Net稀释扫描器网络对任一子宫内膜图像进行遍历，每遍历完一次，根据公式
Figure GDA0004002066690000072
计算子宫内膜图像的损失L，其中，N为子宫内膜图像的像素数目，n为子宫内膜图像的像素数目编号，C为给定的图像分类数目，c为给定的图像分类数目编号，yn,c为子宫内膜图像上第n个像素对应的第c类的目标标签，pn,c为子宫内膜图像上第n个像素对应的第c类的预测概率；
直至子宫内膜图像的损失L小于损失阈值Δ时，结束该张子宫内膜图像的遍历，再对优化后的U-Net稀释扫描器网络遍历完成的子宫内膜图像进行图像分割，获取该张子宫内膜图像的子宫内膜基团图像；
所述子宫内膜基团图像包括子宫内膜细胞图像、子宫内膜细胞群落图像、子宫内膜微组织图像；
步骤203、标定每张子宫内膜基团图像的阴阳性，对每张子宫内膜基团标定图像匹配其对应的临床特征，通过多张子宫内膜基团标定图像构建子宫内膜基团图像数据库，将子宫内膜基团图像数据库分为训练集和测试集；
本实施例中，步骤203中，所述子宫内膜基团图像数据库中数据样本不少于2000张，所述训练集和所述测试集中数据样本的数量比例为7:3。
需要说明的是，需要快速的识别子宫内膜细胞、子宫内膜细胞群落、子宫内膜微组织是否病变，但是现有公开的数据库中缺乏子宫内膜基团图像数据库，这为子宫内膜病理图像分类带来了阻碍，导致子宫内膜病理图像智能分类缺失，本发明通过改进稀释扫描器网络跳过路径实现对历史子宫内膜图像的快速分割，加快读片速度，能够对细胞、细胞群落、微组织进行病理图像分类，大大降低病理医生工作量。
步骤三、构建并训练图像分类网络，过程如下：
步骤301、构建将图像转化为向量特征的第一LSTM语言模型、将向量特征转换成具有临床特征的病历文字的第二LSTM语言模型以及将向量特征转换为特征图谱并分类输出的Inception-v3 CNN图像模型，第一LSTM语言模型、第二LSTM语言模型和Inception-v3CNN图像模型构成图像分类网络，其中，第一LSTM语言模型的输入为子宫内膜基团标定图像，第二LSTM语言模型的输入为第一LSTM语言模型的输出，Inception-v3 CNN图像模型的输入为第一LSTM语言模型的输出，图像分类网络的输出为Inception-v3 CNN图像模型的图像输出和第二LSTM语言模型的具有临床特征的病历文字输出，且Inception-v3 CNN图像模型的图像输出和第二LSTM语言模型的具有临床特征的病历文字输出同步输出；
其中，第二LSTM语言模型输出的具有临床特征的病历文字中的临床特征为子宫内膜基团标定图像对应的临床特征；
步骤302、从训练集中调取一张子宫内膜基团标定图像，并输入至第一LSTM语言模型，将第一LSTM语言模型的输出输入至Inception-v3 CNN图像模型，同时将第一LSTM语言模型的输出输入至第二LSTM语言模型，同步获取图像分类结果和病历文字；
步骤303、选取交叉熵作为图像分类网络的损失目标函数并计算样本对的损失值，将损失目标函数计算的损失值送入优化器，对图像分类网络的权重参数集合更新；
本实施例中，步骤303中，选取交叉熵作为图像分类网络的损失目标函数并计算样本对的损失值，将损失目标函数计算的损失值送入Adam优化器。
步骤304、从训练集中调取新的一张子宫内膜基团标定图像，循环步骤302至步骤303，直至图像分类网络的损失目标函数计算的损失值小于损失目标函数阈值，此时，得到图像分类网络的最终权重参数训练结果，并确定最终训练完成的图像分类网络；
需要说明的是，通过将病理与临床结合，利用两个LSTM模型和Inception-v3 CNN图像模型同步处理图像特征，获取临床特征，形象直观、快速、准确地进行子宫内膜细胞及微组织病理分类，从而为子宫内膜癌筛查工作的开展奠定基础，减轻人群筛查工作量大、工作效率低等问题。
步骤四、图像分类网络的测试：将测试集中子宫内膜基团标定图像对应的临床特征作为测试集的GroundTruth，利用测试集对图像分类网络进行测试，测试集中每张子宫内膜基团标定图像对图像分类网络的测试过程均相同；
测试集中任一张子宫内膜基团标定图像对图像分类网络的测试过程：从测试集中调取一张子宫内膜基团标定图像送入训练完成的图像分类网络，得到该测试的子宫内膜基团标定图像对应的图像分类结果和病历文字，利用病历文字和测试集的GroundTruth比较，获取图像分类网络的准确度；
使图像分类网络的正确率达99％以上；
步骤五、子宫内膜病理图像分类，过程如下：
步骤501、获取子宫内膜标本，将子宫内膜标本进行制片及染色，利用图像采集模块扫描整张细胞块切片，获取实际子宫内膜图像；
步骤502、利用优化后的U-Net稀释扫描器网络遍历实际子宫内膜图像，并进行图像分割，获取实际子宫内膜图像的多张子宫内膜基团图像；
步骤503、将多张子宫内膜基团图像依次送入至训练好的图像分类网络中进行子宫内膜病理图像阴阳性分类及病历文字预输出；
步骤504、利用疾病高危因素对子宫内膜病理图像阴阳性分类结果进行修正。
本实施例中，步骤一和步骤五中，历史子宫内膜图像和实际子宫内膜图像均可通过HE染色、巴氏或免疫化学染色。
本实施例中，所述疾病高危因素包括患者年龄、过往病史、经期时间和经量。
本实施例中，步骤504中，利用疾病高危因素对子宫内膜病理图像阴阳性分类结果进行修正过程：利用子宫内膜病理图像阴阳性分类结果和疾病高危因素进行数据融合，获取修正后的子宫内膜病理图像阴阳性分类结果，其中，子宫内膜病理图像阴阳性分类结果具有第一权重，疾病高危因素具有第二权重，且第一权重与第二权重之和为1。
本发明方法步骤简单，通过对子宫内膜标本进行制片及染色，利用图像采集模块扫描整张细胞块切片，获取实际子宫内膜图像，同时记录实际子宫内膜图像对应的临床特征，利用优化后的U-Net稀释扫描器网络遍历实际子宫内膜图像，并进行图像分割，获取实际子宫内膜图像的多张子宫内膜基团图像，将多张子宫内膜基团图像依次送入至训练好的图像分类网络中进行子宫内膜病理图像阴阳性分类及病历文字预输出，最后利用疾病高危因素对子宫内膜病理图像阴阳性分类结果进行修正，分类结果可靠，通过改进稀释扫描器网络跳过路径实现对历史子宫内膜图像的快速分割，加快读片速度，利用两个LSTM模型和Inception-v3 CNN图像模型同步处理图像特征，获取临床特征，形象直观、快速、准确地进行子宫内膜细胞及微组织病理分类，从而为子宫内膜癌筛查工作的开展奠定基础，减轻人群筛查工作量大、工作效率低等问题。
以上所述，仅是本发明的较佳实施例，并非对本发明作任何限制，凡是根据本发明技术实质对以上实施例所作的任何简单修改、变更以及等效结构变化，均仍属于本发明技术方案的保护范围内。

Claims (7)

1.一种子宫内膜病理图像分类方法，其特征在于，该方法包括以下步骤：
步骤一、收集子宫内膜图像和其对应的临床特征：收集历史子宫内膜图像和该子宫内膜图像对应的临床特征，所述子宫内膜图像包括阳性子宫内膜图像和阴性子宫内膜图像；
所述临床特征包括临床病理特征文字、子宫内膜分子分型；
步骤二、构建子宫内膜基团图像数据库，过程如下：
步骤201、构建U-Net稀释扫描器网络，并根据公式
Figure FDA0004002066680000011
对U-Net稀释扫描器网络的跳过连接进行优化，其中，i为U-Net稀释扫描器网络的层数且i＝0,1,2,3,4，j为U-Net稀释扫描器网络的列数且j＝0,1,2,3,4，Xi,j为U-Net稀释扫描器网络中第i层第j列的节点，D(·)为下采样运算，U(·)为上采样运算，H(·)为卷积运算，卷积运算的卷积层卷积核尺寸为3*3，[·]为集合，k为U-Net稀释扫描器网络的局部列数且k＝0,...,j-1；
其中，Xi-1,j中i不取0；
步骤202、利用优化后的U-Net稀释扫描器网络对每张子宫内膜图像进行遍历，每张子宫内膜图像的遍历过程均相同，任一子宫内膜图像的遍历过程为：利用优化后的U-Net稀释扫描器网络对任一子宫内膜图像进行遍历，每遍历完一次，根据公式
Figure FDA0004002066680000012
计算子宫内膜图像的损失L，其中，N为子宫内膜图像的像素数目，n为子宫内膜图像的像素数目编号，C为给定的图像分类数目，c为给定的图像分类数目编号，yn,c为子宫内膜图像上第n个像素对应的第c类的目标标签，pn,c为子宫内膜图像上第n个像素对应的第c类的预测概率；
直至子宫内膜图像的损失L小于损失阈值Δ时，结束该张子宫内膜图像的遍历，再对优化后的U-Net稀释扫描器网络遍历完成的子宫内膜图像进行图像分割，获取该张子宫内膜图像的子宫内膜基团图像；
所述子宫内膜基团图像包括子宫内膜细胞图像、子宫内膜细胞群落图像、子宫内膜微组织图像；
步骤203、标定每张子宫内膜基团图像的阴阳性，对每张子宫内膜基团标定图像匹配其对应的临床特征，通过多张子宫内膜基团标定图像构建子宫内膜基团图像数据库，将子宫内膜基团图像数据库分为训练集和测试集；
步骤三、构建并训练图像分类网络，过程如下：
步骤301、构建将图像转化为向量特征的第一LSTM语言模型、将向量特征转换成具有临床特征的病历文字的第二LSTM语言模型以及将向量特征转换为特征图谱并分类输出的Inception-v3 CNN图像模型，第一LSTM语言模型、第二LSTM语言模型和Inception-v3 CNN图像模型构成图像分类网络，其中，第一LSTM语言模型的输入为子宫内膜基团标定图像，第二LSTM语言模型的输入为第一LSTM语言模型的输出，Inception-v3 CNN图像模型的输入为第一LSTM语言模型的输出，图像分类网络的输出为Inception-v3 CNN图像模型的图像输出和第二LSTM语言模型的具有临床特征的病历文字输出，且Inception-v3 CNN图像模型的图像输出和第二LSTM语言模型的具有临床特征的病历文字输出同步输出；
其中，第二LSTM语言模型输出的具有临床特征的病历文字中的临床特征为子宫内膜基团标定图像对应的临床特征；
步骤302、从训练集中调取一张子宫内膜基团标定图像，并输入至第一LSTM语言模型，将第一LSTM语言模型的输出输入至Inception-v3 CNN图像模型，同时将第一LSTM语言模型的输出输入至第二LSTM语言模型，同步获取图像分类结果和病历文字；
步骤303、选取交叉熵作为图像分类网络的损失目标函数并计算样本对的损失值，将损失目标函数计算的损失值送入优化器，对图像分类网络的权重参数集合更新；
步骤304、从训练集中调取新的一张子宫内膜基团标定图像，循环步骤302至步骤303，直至图像分类网络的损失目标函数计算的损失值小于损失目标函数阈值，此时，得到图像分类网络的最终权重参数训练结果，并确定最终训练完成的图像分类网络；
步骤四、图像分类网络的测试：将测试集中子宫内膜基团标定图像对应的临床特征作为测试集的GroundTruth，利用测试集对图像分类网络进行测试，测试集中每张子宫内膜基团标定图像对图像分类网络的测试过程均相同；
测试集中任一张子宫内膜基团标定图像对图像分类网络的测试过程：从测试集中调取一张子宫内膜基团标定图像送入训练完成的图像分类网络，得到该测试的子宫内膜基团标定图像对应的图像分类结果和病历文字，利用病历文字和测试集的GroundTruth比较，获取图像分类网络的准确度；
使图像分类网络的正确率达99％以上；
步骤五、子宫内膜病理图像分类，过程如下：
步骤501、获取子宫内膜标本，将子宫内膜标本进行制片及染色，利用图像采集模块扫描整张细胞块切片，获取实际子宫内膜图像；
步骤502、利用优化后的U-Net稀释扫描器网络遍历实际子宫内膜图像，并进行图像分割，获取实际子宫内膜图像的多张子宫内膜基团图像；
步骤503、将多张子宫内膜基团图像依次送入至训练好的图像分类网络中进行子宫内膜病理图像阴阳性分类及病历文字预输出；
步骤504、利用疾病高危因素对子宫内膜病理图像阴阳性分类结果进行修正。
2.按照权利要求1所述的一种子宫内膜病理图像分类方法，其特征在于：步骤一和步骤五中，历史子宫内膜图像和实际子宫内膜图像均可通过HE染色、巴氏或免疫化学染色。
3.按照权利要求1所述的一种子宫内膜病理图像分类方法，其特征在于：所述临床病理特征文字包括细胞核极向、细胞核异常增大、细胞核深染、细胞无需分裂；
所述子宫内膜分子分型包括POLE超突变型、MSI高突变型、低拷贝数型、高拷贝数型。
4.按照权利要求1所述的一种子宫内膜病理图像分类方法，其特征在于：步骤203中，所述子宫内膜基团图像数据库中数据样本不少于2000张，所述训练集和所述测试集中数据样本的数量比例为7:3。
5.按照权利要求1所述的一种子宫内膜病理图像分类方法，其特征在于：步骤303中，选取交叉熵作为图像分类网络的损失目标函数并计算样本对的损失值，将损失目标函数计算的损失值送入Adam优化器。
6.按照权利要求1所述的一种子宫内膜病理图像分类方法，其特征在于：所述疾病高危因素包括患者年龄、过往病史、经期时间和经量。
7.按照权利要求6所述的一种子宫内膜病理图像分类方法，其特征在于：步骤504中，利用疾病高危因素对子宫内膜病理图像阴阳性分类结果进行修正过程：利用子宫内膜病理图像阴阳性分类结果和疾病高危因素进行数据融合，获取修正后的子宫内膜病理图像阴阳性分类结果，其中，子宫内膜病理图像阴阳性分类结果具有第一权重，疾病高危因素具有第二权重，且第一权重与第二权重之和为1。
CN202110248565.1A 2021-03-08 2021-03-08 一种子宫内膜病理图像分类方法 Active CN112949723B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110248565.1A CN112949723B (zh) 2021-03-08 2021-03-08 一种子宫内膜病理图像分类方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110248565.1A CN112949723B (zh) 2021-03-08 2021-03-08 一种子宫内膜病理图像分类方法

Publications (2)

Publication Number Publication Date
CN112949723A CN112949723A (zh) 2021-06-11
CN112949723B true CN112949723B (zh) 2023-02-14

Family

ID=76228529

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110248565.1A Active CN112949723B (zh) 2021-03-08 2021-03-08 一种子宫内膜病理图像分类方法

Country Status (1)

Country Link
CN (1) CN112949723B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113520317A (zh) * 2021-07-05 2021-10-22 汤姆飞思（香港）有限公司 基于oct的子宫内膜检测分析方法、装置、设备及存储介质
CN113378984B (zh) * 2021-07-05 2023-05-02 国药(武汉)医学实验室有限公司 一种医学图像分类方法、系统、终端以及存储介质

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109805963A (zh) * 2019-03-22 2019-05-28 深圳开立生物医疗科技股份有限公司 一种子宫内膜分型的判定方法及系统
US10354122B1 (en) * 2018-03-02 2019-07-16 Hong Kong Applied Science and Technology Research Institute Company Limited Using masks to improve classification performance of convolutional neural networks with applications to cancer-cell screening
CN112270676A (zh) * 2020-11-13 2021-01-26 上海理工大学 一种mri图像子宫内膜癌肌层浸润深度计算机辅助判断方法
CN112380900A (zh) * 2020-10-10 2021-02-19 深圳视见医疗科技有限公司 基于深度学习的子宫颈液基细胞数字图像分类方法及系统

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10354122B1 (en) * 2018-03-02 2019-07-16 Hong Kong Applied Science and Technology Research Institute Company Limited Using masks to improve classification performance of convolutional neural networks with applications to cancer-cell screening
CN109805963A (zh) * 2019-03-22 2019-05-28 深圳开立生物医疗科技股份有限公司 一种子宫内膜分型的判定方法及系统
CN112380900A (zh) * 2020-10-10 2021-02-19 深圳视见医疗科技有限公司 基于深度学习的子宫颈液基细胞数字图像分类方法及系统
CN112270676A (zh) * 2020-11-13 2021-01-26 上海理工大学 一种mri图像子宫内膜癌肌层浸润深度计算机辅助判断方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
UNet++: A Nested U-Net Architecture for Medical Image Segmentation;Zongwei Zhou et al.;《arxiv.org》;20180718;第1-8页 *
基于Res-Bi-LSTM的人脸表情识别;梁华刚 等;《计算机工程与应用》;20200701;第56卷(第13期);第204-209页 *

Also Published As

Publication number Publication date
CN112949723A (zh) 2021-06-11

Similar Documents

Publication Publication Date Title
CN111739075B (zh) 一种结合多尺度注意力的深层网络肺部纹理识别方法
CN110659692B (zh) 基于强化学习和深度神经网络的病理图像自动标注方法
CN112949723B (zh) 一种子宫内膜病理图像分类方法
CN113256636B (zh) 一种自底向上的寄生虫虫种发育阶段及图像像素分类方法
CN112819821B (zh) 一种细胞核图像检测方法
CN110728666B (zh) 基于数字病理玻片进行慢性鼻窦炎的分型方法及其系统
CN109146891B (zh) 一种应用于mri的海马体分割方法、装置及电子设备
CN110826467B (zh) 一种电子显微镜图像重建系统及其方法
CN113724842B (zh) 一种基于注意力机制的宫颈组织病理辅助诊断方法
CN117291913B (zh) 一种水工混凝土结构表观裂缝测量方法
CN114972254A (zh) 一种基于卷积神经网络的宫颈细胞图像分割方法
CN115965602A (zh) 一种基于改进的YOLOv7和Swin-Unet的异常细胞检测方法
CN112819768A (zh) 基于dcnn的癌症全视野数字病理切片生存分析方法
CN112950583A (zh) 病理图像中细胞计数模型训练方法及装置
CN113838009A (zh) 一种基于半监督机制的异常细胞检测假阳性抑制方法
CN115471701A (zh) 基于深度学习和迁移学习的肺腺癌组织学亚型分类方法
CN114972202A (zh) 一种基于轻量级的神经网络的Ki67病理细胞快速检测计数方法
CN114140437A (zh) 一种基于深度学习的眼底硬渗出物分割方法
CN114049935A (zh) 一种基于多卷积神经网络的her2图像分类系统
CN114627123B (zh) 综合双流加权网络和空间注意力机制的白带细胞检测方法
CN117437633A (zh) 染色体图像质量评估方法、装置、计算机设备和存储介质
CN110739051B (zh) 利用鼻息肉病理图片建立嗜酸性粒细胞占比模型的方法
CN112149518A (zh) 基于began和yolov3模型的松果检测方法
CN117132802A (zh) 一种田间小麦病虫害识别方法、装置及存储介质
CN112508958B (zh) 一种轻量多尺度的生物医学图像分割方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
TA01 Transfer of patent application right

Effective date of registration: 20211112

Address after: 710061 No. 277, Yanta West Road, Xi'an City, Shaanxi Province

Applicant after: THE FIRST AFFILIATED HOSPITAL OF MEDICAL COLLEGE OF XI'AN JIAOTONG University

Applicant after: XI'AN MEIJIAJIA MEDICAL TECHNOLOGY CO.,LTD.

Address before: 710061 Room 501, block B, software apartment, block BC, No. 18, electronic 1st Road, Yanta District, Xi'an City, Shaanxi Province

Applicant before: XI'AN MEIJIAJIA MEDICAL TECHNOLOGY CO.,LTD.

TA01 Transfer of patent application right
GR01 Patent grant
GR01 Patent grant