CN116386803A - 一种基于图的细胞病理报告生成方法 - Google Patents

一种基于图的细胞病理报告生成方法 Download PDF

Info

Publication number
CN116386803A
CN116386803A CN202310247097.5A CN202310247097A CN116386803A CN 116386803 A CN116386803 A CN 116386803A CN 202310247097 A CN202310247097 A CN 202310247097A CN 116386803 A CN116386803 A CN 116386803A
Authority
CN
China
Prior art keywords
cell
image
model
report
node
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202310247097.5A
Other languages
English (en)
Inventor
李武军
周洋帆
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nanjing University
Original Assignee
Nanjing University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nanjing University filed Critical Nanjing University
Priority to CN202310247097.5A priority Critical patent/CN116386803A/zh
Publication of CN116386803A publication Critical patent/CN116386803A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G16INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16HHEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H15/00ICT specially adapted for medical reports, e.g. generation or transmission thereof
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/70Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/60Type of objects
    • G06V20/69Microscopic objects, e.g. biological cells or cellular parts
    • YGENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02TCLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00Road transport of goods or passengers
    • Y02T10/10Internal combustion engine [ICE] based vehicles
    • Y02T10/40Engine management systems

Landscapes

  • Engineering & Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Medical Informatics (AREA)
  • Multimedia (AREA)
  • General Physics & Mathematics (AREA)
  • Primary Health Care (AREA)
  • Molecular Biology (AREA)
  • Biomedical Technology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Public Health (AREA)
  • Epidemiology (AREA)
  • Artificial Intelligence (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computing Systems (AREA)
  • Databases & Information Systems (AREA)
  • Software Systems (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

本发明公开了一种基于图的细胞病理报告生成方法,包括以下两个内容:基于图的细胞病理报告生成模型,以及对生成的模型进行训练。本发明通过构建细胞图的方式对细胞空间结构进行显式建模,并有效融合细胞空间结构特征和细胞形态特征,能够自动生成高质量的细胞病理报告。本发明相比于已有方法,能够显著提升细胞病理报告生成的质量,在临床场景中可以辅助医生完成繁琐的细胞病理报告编写工作、提升病理诊断的效率,同时报告中所给出的结论也能辅助确认诊断的准确性。

Description

一种基于图的细胞病理报告生成方法
技术领域
本发明涉及病理诊断,特别是一种基于图的细胞病理报告生成方法。
背景技术
病理诊断是目前最可靠的肿瘤诊断方法,被喻为“金标准”,为病情判断和临床治疗提供关键依据。在诊断流程中,病理医生需要在完整的病理切片中挑选一些典型区域并撰写细胞病理报告,这些报告需详细描述区域中细胞的形态以及组织是否发生炎症、癌变等异常,以构成诊断结论的重要依据。然而手动编写细胞病理报告是一项繁琐、重复性高的工作,为诊断过程带来大量额外负担,因此开发深度学习模型辅助医生对选定的组织病理图像块进行细胞病理报告生成,能够有效提升病理诊断的效率,同时报告中所给出的诊断结论也能辅助医生进一步确认诊断的准确性。
目前关于细胞病理报告生成的研究工作较少,已有工作主要根据医学报告的特点,对报告生成模块进行改进,而在视觉特征提取方面大多沿用对自然图像提取特征的思路,忽略了病理图像与自然图像在结构上的不同,因此没有为一个重要特征——细胞空间结构信息——进行显式建模,导致所生成的细胞病理报告质量存在不足。自然图像通常由不同的对象和背景构成,主要描述重点对象的特征和行为;病理图像则通常由大量特征相似的细胞构成,描述的重点在于细胞整体的状态和细胞间关系,例如细胞拥挤程度、细胞排列、异常细胞出现的频率等,此类信息需由细胞形态特征以及细胞空间结构特征共同得出。因此,需要一种方法对细胞空间结构特征进行显式建模、并与细胞形态特征进行有效融合,以自动生成高质量的细胞病理报告、在临床诊断中辅助病理医生的工作。
发明内容
发明目的:本发明的目的是提供一种基于图的细胞病理报告生成方法,从而通过构建细胞图的方式对细胞空间结构进行显式建模,有效融合细胞空间结构特征和细胞形态特征,显著提升细胞病理报告的生成质量。
技术方案:本发明所述的一种基于图的细胞病理报告生成方法,包括以下步骤:
(1)基于图的细胞病理报告生成模型:对输入图像构建细胞图;使用卷积神经网络对细胞图进行节点特征提取和全局特征提取;使用图神经网络对细胞图进行邻节点特征聚合和节点特征更新;将细胞节点特征和图像全局特征输入编码器-解码器结构的Transformer网络,输出细胞病理报告;
(2)对步骤(1)生成的模型进行训练:输入训练数据集、验证数据集和待训练模型,对数据集中所有图像建立细胞图并存储;将训练集数据分批次输入模型;使用模型处理输入图像,在单词生成阶段,基于标记文本和掩码注意力一次性生成所有位置单词的可能性预测;计算交叉熵损失,并对模型参数进行梯度下降更新;基于模型在验证数据集的表现,选择最优模型并输出。
步骤(1)中所述的模型包含建图模块、提取细胞节点特征的ResNet网络、提取图像全局特征的ResNet网络、GIN图神经网络,以及编码器-解码器结构的Transformer网络。
所述步骤(1)具体为:
(1.1)输入待处理的图像I;
(1.2)统一图像I的尺度,并对I进行强度归一化;
(1.3)将图像I输入建图模块,使用HoverNet网络对I中所有细胞进行分割,并在每个细胞处截取大小的图像块,共产生n个细胞图像块;
(1.4)使用一个冻结的ResNet网络产生各细胞图像块的视觉特征向量集合
Figure SMS_1
将图像块中心坐标添加至/>
Figure SMS_2
中对应向量的尾部,得到所有图像块的特征向量集合/>
Figure SMS_3
(1.5)使用k近邻算法,根据G中向量之间的欧式距离确定细胞间连线,得到构建完成的细胞图
Figure SMS_4
其中/>
Figure SMS_5
代表细胞节点集,ε代表边集;
(1.6)使用可训练的ResNet网络对细胞节点对应的图像块进行细胞形态特征提取,得到节点特征向量集
Figure SMS_6
(1.7)使用另一可训练的ResNet网络提取图像全局特征,获取向量e;
(1.8)使用GIN图神经网络聚合细胞图中各节点邻居特征并更新节点向量,GIN包含若干层,每层均产生节点向量集
Figure SMS_7
(1.9)计算并输出GIN各层所产生的节点向量的加权和
Figure SMS_8
Figure SMS_9
(1.10)将e与
Figure SMS_10
集合中的向量构成序列,输入至Transformer编码器,产生编码向量序列T;
(1.11)T输入Transformer解码器,解码器通过z步推断自回归的生成单词序列w=[w1,w2,…,wz];
(1.12)将单词序列w组合为文本并输出。
所述步骤(2)具体为:
(2.1)输入训练数据集
Figure SMS_11
和验证数据集/>
Figure SMS_12
其中/>
Figure SMS_13
指图像集,/>
Figure SMS_14
指图像对应的标记文本集合;输入待训练的细胞病理报告生成模型N;
(2.2)对数据集中所有图像建立细胞图并存储;
(2.3)将训练细胞图以及对应的原图分批次输入N;
(2.4)N使用ResNet和GIN图神经网络对输入的细胞图提取细胞节点特征、图像整体特征,输入Transformer编码器,输出编码向量序列T;
(2.5)将T和图像对应的标记文本y=[y1,y2,…,yz]输入Transformer解码器,采用掩码注意力的方式,在生成单词wt时,隐藏[yt,…,yz],由此一次性生成位置1~z单词的可能性预测P=[p1,p2,…pz];
(2.6)根据y与P计算交叉熵损失;
(2.7)对N所包含的ResNet网络、GIN图神经网络和Transformer网络进行梯度下降;
(2.8)使用
Figure SMS_15
的全部图像训练一轮后,令经过训练的N在/>
Figure SMS_16
上生成细胞病理报告,并计算与/>
Figure SMS_17
的BLEU-4分数;
(2.9)训练若干轮后,输出在
Figure SMS_18
上获得最佳BLEU-4分数的模型N。
一种计算机存储介质,其上存储有计算机程序,该计算机程序被处理器执行时实现上述的一种基于图的细胞病理报告生成方法。
一种计算机设备,包括储存器、处理器及存储在存储器上并可在处理器上运行的计算机程序,所述处理器执行所述计算机程序时实现上述的一种基于图的细胞病理报告生成方法。
有益效果:与现有技术相比,本发明具有如下优点:本发明所提供的方法首次在报告生成模型中显式地对病理图像中的关键信息(即细胞空间结构)进行建模,并有效地融合了细胞形态特征、细胞空间结构特征和背景特征用以生成报告。相比于已有方法,本发明能够显著提升细胞病理报告的生成质量,在临床病理诊断场景中能够自动生成细胞病理报告、并提供诊断结果参考,提高病理诊断工作的效率。
附图说明
图1为本发明所述方法的工作流程图。
图2为本发明所述方法的结构示意图。
具体实施方式
下面结合附图对本发明的技术方案作进一步说明。
一种基于图的细胞病理报告生成方法,包括以下步骤:
(1)基于图的细胞病理报告生成模型,所述的模型包含建图模块、提取细胞节点特征的ResNet网络、提取图像全局特征的ResNet网络、GIN图神经网络,以及编码器-解码器结构的Transformer网络,其工作流程如图1所示,模型结构如图2所示。对输入图像构建细胞图;使用卷积神经网络对细胞图进行节点特征提取和全局特征提取;使用图神经网络对细胞图进行邻节点特征聚合和节点特征更新;将细胞节点特征和图像全局特征输入编码器-解码器结构的Transformer网络,输出细胞病理报告;
(1.1)输入待处理的图像I;
(1.2)将图像I的尺度缩放至500×500,并对I进行强度归一化,将像素值放缩至0-255之间;
(1.3)将图像I输入建图模块,使用HoverNet网络对I中所有细胞进行分割,并在每个细胞处截取36×36大小的图像块,共产生n个细胞图像块;
(1.4)使用一个冻结的ResNet网络产生各细胞图像块的视觉特征向量集合
Figure SMS_19
将图像块中心坐标添加至/>
Figure SMS_20
中对应向量的尾部,得到所有图像块的特征向量集合/>
Figure SMS_21
(1.5)使用k近邻算法,根据G中向量之间的欧式距离确定细胞间连线,得到构建完成的细胞图
Figure SMS_22
其中/>
Figure SMS_23
代表细胞节点集,ε代表边集;
(1.6)使用可训练的ResNet网络对细胞节点对应的图像块进行细胞形态特征提取,得到节点特征向量集
Figure SMS_24
(1.7)使用另一可训练的ResNet网络提取图像全局特征,获取向量e;
(1.8)使用GIN图神经网络聚合细胞图中各节点邻居特征并更新节点向量,GIN共4层,每层均产生节点向量集
Figure SMS_25
(1.9)计算并输出GIN各层所产生的节点向量的加权和
Figure SMS_26
Figure SMS_27
(1.10)将e与
Figure SMS_28
集合中的向量构成序列,输入至Transformer编码器,产生编码向量序列T;
(1.11)T输入Transformer解码器,解码器通过z步推断自回归的生成单词序列w=[w1,w2,…,wz];
(1.12)将单词序列W组合为文本并输出。
(2)对步骤(1)生成的模型进行训练:输入训练数据集、验证数据集和待训练模型,对数据集中所有图像建立细胞图并存储;将训练集数据分批次输入模型;使用模型处理输入图像,在单词生成阶段,基于标记文本和掩码注意力一次性生成所有位置单词的可能性预测;计算交叉熵损失,并对模型参数进行梯度下降更新;基于模型在验证数据集的表现,选择最优模型并输出。
(2.1)输入训练数据集
Figure SMS_29
和验证数据集/>
Figure SMS_30
其中/>
Figure SMS_31
指图像集,
Figure SMS_32
指图像对应的标记文本集合;输入待训练的细胞病理报告生成模型N;
(2.2)对数据集中所有图像建立细胞图并存储;
(2.3)将训练细胞图以及对应的原图分批次输入N,其中一个批次包含16张细胞图;
(2.4)N使用ResNet和GIN图神经网络对输入的细胞图提取细胞节点特征、图像整体特征,输入Transformer编码器,输出编码向量序列T;
(2.5)将T和图像对应的标记文本y=[y1,y2,…,yz]输入Transformer解码器,采用掩码注意力的方式,在生成单词wt时,隐藏[yt,…,yz],由此一次性生成位置1~z单词的可能性预测P=[p1,p2,…pz];
(2.6)根据y与P计算交叉熵损失;
(2.7)对N所包含的ResNet网络、GIN图神经网络和Transformer网络进行梯度下降;
(2.8)使用
Figure SMS_33
的全部图像训练一轮后,令经过训练的N在/>
Figure SMS_34
上生成细胞病理报告,并计算与/>
Figure SMS_35
的BLEU-4分数;
(2.9)训练20轮后,输出在
Figure SMS_36
上获得最佳BLEU-4分数的模型N。
本发明所提出的方法在实际病理图像数据集上进行了实验。在实验结果中,本发明在图像描述生成任务指标CIDE-r和SPICE上相对于已有方法中最好的结果分别提升了13.4%和10.2%,在诊断结论准确性方面,相对于已有方法的最好结果提升了5.5%,证明了本发明能够显著提升细胞病理报告的生成质量,在临床诊断中具有更高的应用价值。

Claims (6)

1.一种基于图的细胞病理报告生成方法,其特征在于,包括以下步骤:
(1)基于图的细胞病理报告生成模型:对输入图像构建细胞图;使用卷积神经网络对细胞图进行节点特征提取和全局特征提取;使用图神经网络对细胞图进行邻节点特征聚合和节点特征更新;将细胞节点特征和图像全局特征输入编码器-解码器结构的Transformer网络,输出细胞病理报告;
(2)对步骤(1)生成的模型进行训练:输入训练数据集、验证数据集和待训练模型,对数据集中所有图像建立细胞图并存储;将训练集数据分批次输入模型;使用模型处理输入图像,在单词生成阶段,基于标记文本和掩码注意力一次性生成所有位置单词的可能性预测;计算交叉熵损失,并对模型参数进行梯度下降更新;基于模型在验证数据集的表现,选择最优模型并输出。
2.根据权利要求1所述的一种基于图的细胞病理报告生成方法,其特征在于,步骤(1)中所述的模型包含建图模块、提取细胞节点特征的ResNet网络、提取图像全局特征的ResNet网络、GIN图神经网络,以及编码器-解码器结构的Transformer网络。
3.根据权利要求1所述的一种基于图的细胞病理报告生成方法,其特征在于,所述步骤(1)具体为:
(1.1)输入待处理的图像I;
(1.2)统一图像I的尺度,并对I进行强度归一化;
(1.3)将图像I输入建图模块,使用HoverNet网络对I中所有细胞进行分割,并在每个细胞处截取大小的图像块,共产生n个细胞图像块;
(1.4)使用一个冻结的ResNet网络产生各细胞图像块的视觉特征向量集合
Figure FDA0004126330280000011
将图像块中心坐标添加至/>
Figure FDA0004126330280000012
中对应向量的尾部,得到所有图像块的特征向量集合/>
Figure FDA0004126330280000013
(1.5)使用k近邻算法,根据G中向量之间的欧式距离确定细胞间连线,得到构建完成的细胞图
Figure FDA0004126330280000014
其中v代表细胞节点集,ε代表边集;
(1.6)使用可训练的ResNet网络对细胞节点对应的图像块进行细胞形态特征提取,得到节点特征向量集
Figure FDA0004126330280000015
(1.7)使用另一可训练的ResNet网络提取图像全局特征,获取向量e;
(1.8)使用GIN图神经网络聚合细胞图中各节点邻居特征并更新节点向量,GIN包含若干层,每层均产生节点向量集
Figure FDA0004126330280000021
(1.9)计算并输出GIN各层所产生的节点向量的加权和
Figure FDA0004126330280000022
Figure FDA0004126330280000023
(1.10)将e与
Figure FDA0004126330280000024
集合中的向量构成序列,输入至Transformer编码器,产生编码向量序列T;
(1.11)T输入Transformer解码器,解码器通过z步推断自回归的生成单词序列w=[w1,w2,…,wz];
(1.12)将单词序列w组合为文本并输出。
4.根据权利要求1所述的一种基于图的细胞病理报告生成方法,其特征在于,所述步骤(2)具体为:
(2.1)输入训练数据集
Figure FDA0004126330280000025
和验证数据集/>
Figure FDA0004126330280000026
其中/>
Figure FDA0004126330280000027
指图像集,y指图像对应的标记文本集合;输入待训练的细胞病理报告生成模型N;
(2.2)对数据集中所有图像建立细胞图并存储;
(2.3)将训练细胞图以及对应的原图分批次输入N;
(2.4)N使用ResNet和GIN图神经网络对输入的细胞图提取细胞节点特征、图像整体特征,输入Transformer编码器,输出编码向量序列T;
(2.5)将T和图像对应的标记文本y=[y1,y2,…,yz]输入Transformer解码器,采用掩码注意力的方式,在生成单词wt时,隐藏[yt,…,yz],由此一次性生成位置1~z单词的可能性预测P=[p1,p2,…pz];
(2.6)根据y与P计算交叉熵损失;
(2.7)对N所包含的ResNet网络、GIN图神经网络和Transformer网络进行梯度下降;
(2.8)使用
Figure FDA0004126330280000028
的全部图像训练一轮后,令经过训练的N在/>
Figure FDA0004126330280000029
上生成细胞病理报告,并计算与/>
Figure FDA00041263302800000210
的BLEU-4分数;
(2.9)训练若干轮后,输出在
Figure FDA00041263302800000211
上获得最佳BLEU-4分数的模型N。
5.一种计算机存储介质,其上存储有计算机程序,其特征在于,该计算机程序被处理器执行时实现如权利要求1-4中任一项所述的一种基于图的细胞病理报告生成方法。
6.一种计算机设备,包括储存器、处理器及存储在存储器上并可在处理器上运行的计算机程序,其特征在于,所述处理器执行所述计算机程序时实现如权利要求1-4中任一项所述的一种基于图的细胞病理报告生成方法。
CN202310247097.5A 2023-03-15 2023-03-15 一种基于图的细胞病理报告生成方法 Pending CN116386803A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310247097.5A CN116386803A (zh) 2023-03-15 2023-03-15 一种基于图的细胞病理报告生成方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310247097.5A CN116386803A (zh) 2023-03-15 2023-03-15 一种基于图的细胞病理报告生成方法

Publications (1)

Publication Number Publication Date
CN116386803A true CN116386803A (zh) 2023-07-04

Family

ID=86977932

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310247097.5A Pending CN116386803A (zh) 2023-03-15 2023-03-15 一种基于图的细胞病理报告生成方法

Country Status (1)

Country Link
CN (1) CN116386803A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117153343A (zh) * 2023-08-16 2023-12-01 丽水瑞联医疗科技有限公司 一种胎盘多尺度分析系统

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117153343A (zh) * 2023-08-16 2023-12-01 丽水瑞联医疗科技有限公司 一种胎盘多尺度分析系统
CN117153343B (zh) * 2023-08-16 2024-04-05 丽水瑞联医疗科技有限公司 一种胎盘多尺度分析系统

Similar Documents

Publication Publication Date Title
WO2020168844A1 (en) Image processing method, apparatus, equipment, and storage medium
CN110428428B (zh) 一种图像语义分割方法、电子设备和可读存储介质
WO2022001623A1 (zh) 基于人工智能的图像处理方法、装置、设备及存储介质
CN110738207A (zh) 一种融合文字图像中文字区域边缘信息的文字检测方法
CN111612008A (zh) 基于卷积网络的图像分割方法
CN110706214B (zh) 融合条件随机与残差的三维U-Net大脑肿瘤分割方法
CN107480702B (zh) 面向hcc病理图像识别的特征选择与特征融合方法
Gao et al. A convolutional neural network and graph convolutional network based framework for classification of breast histopathological images
CN109948575B (zh) 超声图像中眼球区域分割方法
CN112765370B (zh) 知识图谱的实体对齐方法、装置、计算机设备和存储介质
CN112949707B (zh) 一种基于多尺度语义信息监督的跨模态人脸图像生成方法
CN116580257A (zh) 特征融合模型训练及样本检索方法、装置和计算机设备
Shan et al. SCA-Net: A spatial and channel attention network for medical image segmentation
CN116386803A (zh) 一种基于图的细胞病理报告生成方法
CN114496099A (zh) 细胞功能注释方法、装置、设备及介质
CN116386148B (zh) 基于知识图谱引导的小样本动作识别方法及系统
CN113361589A (zh) 基于迁移学习与知识蒸馏的珍稀濒危植物叶片识别方法
Ying et al. Efficient multi-objective evolutionary neural architecture search for U-Nets with diamond atrous convolution and Transformer for medical image segmentation
Yu et al. MagConv: Mask-guided convolution for image inpainting
CN116524352A (zh) 一种遥感图像水体提取方法及装置
CN110992320A (zh) 一种基于双重交错的医学图像分割网络
CN113554655B (zh) 基于多特征增强的光学遥感图像分割方法及装置
Wu et al. Automatic segmentation of colon, small intestine, and duodenum based on scale attention network
CN114331894A (zh) 一种基于潜在特征重构和掩模感知的人脸图像修复方法
CN113688715A (zh) 面部表情识别方法及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination