CN116386803A - 一种基于图的细胞病理报告生成方法 - Google Patents
一种基于图的细胞病理报告生成方法 Download PDFInfo
- Publication number
- CN116386803A CN116386803A CN202310247097.5A CN202310247097A CN116386803A CN 116386803 A CN116386803 A CN 116386803A CN 202310247097 A CN202310247097 A CN 202310247097A CN 116386803 A CN116386803 A CN 116386803A
- Authority
- CN
- China
- Prior art keywords
- cell
- image
- model
- report
- node
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 31
- 230000000877 morphologic effect Effects 0.000 claims abstract description 8
- 210000004027 cell Anatomy 0.000 claims description 74
- 239000013598 vector Substances 0.000 claims description 36
- 238000012549 training Methods 0.000 claims description 20
- 238000013528 artificial neural network Methods 0.000 claims description 15
- 230000007170 pathology Effects 0.000 claims description 10
- 238000000605 extraction Methods 0.000 claims description 7
- 238000004590 computer program Methods 0.000 claims description 6
- 238000012795 verification Methods 0.000 claims description 6
- 238000013507 mapping Methods 0.000 claims description 5
- 230000001413 cellular effect Effects 0.000 claims description 4
- 230000000120 cytopathologic effect Effects 0.000 claims description 4
- 230000000007 visual effect Effects 0.000 claims description 4
- 230000004931 aggregating effect Effects 0.000 claims description 3
- 230000002776 aggregation Effects 0.000 claims description 3
- 238000004220 aggregation Methods 0.000 claims description 3
- 238000013527 convolutional neural network Methods 0.000 claims description 3
- 230000000873 masking effect Effects 0.000 claims description 3
- 238000012545 processing Methods 0.000 claims description 3
- 210000004692 intercellular junction Anatomy 0.000 claims description 2
- 238000010606 normalization Methods 0.000 claims description 2
- 238000003745 diagnosis Methods 0.000 abstract description 11
- 238000010827 pathological analysis Methods 0.000 abstract description 4
- 230000001575 pathological effect Effects 0.000 description 4
- 230000002159 abnormal effect Effects 0.000 description 2
- 238000003759 clinical diagnosis Methods 0.000 description 2
- 239000000284 extract Substances 0.000 description 2
- 206010061218 Inflammation Diseases 0.000 description 1
- 206010028980 Neoplasm Diseases 0.000 description 1
- 230000006399 behavior Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000013136 deep learning model Methods 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 201000010099 disease Diseases 0.000 description 1
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 230000004054 inflammatory process Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 235000013599 spices Nutrition 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H15/00—ICT specially adapted for medical reports, e.g. generation or transmission thereof
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/60—Type of objects
- G06V20/69—Microscopic objects, e.g. biological cells or cellular parts
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
- Y02T10/00—Road transport of goods or passengers
- Y02T10/10—Internal combustion engine [ICE] based vehicles
- Y02T10/40—Engine management systems
Landscapes
- Engineering & Computer Science (AREA)
- General Health & Medical Sciences (AREA)
- Health & Medical Sciences (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Evolutionary Computation (AREA)
- Medical Informatics (AREA)
- Multimedia (AREA)
- General Physics & Mathematics (AREA)
- Primary Health Care (AREA)
- Molecular Biology (AREA)
- Biomedical Technology (AREA)
- Life Sciences & Earth Sciences (AREA)
- Public Health (AREA)
- Epidemiology (AREA)
- Artificial Intelligence (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Computing Systems (AREA)
- Databases & Information Systems (AREA)
- Software Systems (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Abstract
本发明公开了一种基于图的细胞病理报告生成方法,包括以下两个内容:基于图的细胞病理报告生成模型,以及对生成的模型进行训练。本发明通过构建细胞图的方式对细胞空间结构进行显式建模,并有效融合细胞空间结构特征和细胞形态特征,能够自动生成高质量的细胞病理报告。本发明相比于已有方法,能够显著提升细胞病理报告生成的质量,在临床场景中可以辅助医生完成繁琐的细胞病理报告编写工作、提升病理诊断的效率,同时报告中所给出的结论也能辅助确认诊断的准确性。
Description
技术领域
本发明涉及病理诊断,特别是一种基于图的细胞病理报告生成方法。
背景技术
病理诊断是目前最可靠的肿瘤诊断方法,被喻为“金标准”,为病情判断和临床治疗提供关键依据。在诊断流程中,病理医生需要在完整的病理切片中挑选一些典型区域并撰写细胞病理报告,这些报告需详细描述区域中细胞的形态以及组织是否发生炎症、癌变等异常,以构成诊断结论的重要依据。然而手动编写细胞病理报告是一项繁琐、重复性高的工作,为诊断过程带来大量额外负担,因此开发深度学习模型辅助医生对选定的组织病理图像块进行细胞病理报告生成,能够有效提升病理诊断的效率,同时报告中所给出的诊断结论也能辅助医生进一步确认诊断的准确性。
目前关于细胞病理报告生成的研究工作较少,已有工作主要根据医学报告的特点,对报告生成模块进行改进,而在视觉特征提取方面大多沿用对自然图像提取特征的思路,忽略了病理图像与自然图像在结构上的不同,因此没有为一个重要特征——细胞空间结构信息——进行显式建模,导致所生成的细胞病理报告质量存在不足。自然图像通常由不同的对象和背景构成,主要描述重点对象的特征和行为;病理图像则通常由大量特征相似的细胞构成,描述的重点在于细胞整体的状态和细胞间关系,例如细胞拥挤程度、细胞排列、异常细胞出现的频率等,此类信息需由细胞形态特征以及细胞空间结构特征共同得出。因此,需要一种方法对细胞空间结构特征进行显式建模、并与细胞形态特征进行有效融合,以自动生成高质量的细胞病理报告、在临床诊断中辅助病理医生的工作。
发明内容
发明目的:本发明的目的是提供一种基于图的细胞病理报告生成方法,从而通过构建细胞图的方式对细胞空间结构进行显式建模,有效融合细胞空间结构特征和细胞形态特征,显著提升细胞病理报告的生成质量。
技术方案:本发明所述的一种基于图的细胞病理报告生成方法,包括以下步骤:
(1)基于图的细胞病理报告生成模型:对输入图像构建细胞图;使用卷积神经网络对细胞图进行节点特征提取和全局特征提取;使用图神经网络对细胞图进行邻节点特征聚合和节点特征更新;将细胞节点特征和图像全局特征输入编码器-解码器结构的Transformer网络,输出细胞病理报告;
(2)对步骤(1)生成的模型进行训练:输入训练数据集、验证数据集和待训练模型,对数据集中所有图像建立细胞图并存储;将训练集数据分批次输入模型;使用模型处理输入图像,在单词生成阶段,基于标记文本和掩码注意力一次性生成所有位置单词的可能性预测;计算交叉熵损失,并对模型参数进行梯度下降更新;基于模型在验证数据集的表现,选择最优模型并输出。
步骤(1)中所述的模型包含建图模块、提取细胞节点特征的ResNet网络、提取图像全局特征的ResNet网络、GIN图神经网络,以及编码器-解码器结构的Transformer网络。
所述步骤(1)具体为:
(1.1)输入待处理的图像I;
(1.2)统一图像I的尺度,并对I进行强度归一化;
(1.3)将图像I输入建图模块,使用HoverNet网络对I中所有细胞进行分割,并在每个细胞处截取大小的图像块,共产生n个细胞图像块;
(1.7)使用另一可训练的ResNet网络提取图像全局特征,获取向量e;
(1.11)T输入Transformer解码器,解码器通过z步推断自回归的生成单词序列w=[w1,w2,…,wz];
(1.12)将单词序列w组合为文本并输出。
所述步骤(2)具体为:
(2.2)对数据集中所有图像建立细胞图并存储;
(2.3)将训练细胞图以及对应的原图分批次输入N;
(2.4)N使用ResNet和GIN图神经网络对输入的细胞图提取细胞节点特征、图像整体特征,输入Transformer编码器,输出编码向量序列T;
(2.5)将T和图像对应的标记文本y=[y1,y2,…,yz]输入Transformer解码器,采用掩码注意力的方式,在生成单词wt时,隐藏[yt,…,yz],由此一次性生成位置1~z单词的可能性预测P=[p1,p2,…pz];
(2.6)根据y与P计算交叉熵损失;
(2.7)对N所包含的ResNet网络、GIN图神经网络和Transformer网络进行梯度下降;
一种计算机存储介质,其上存储有计算机程序,该计算机程序被处理器执行时实现上述的一种基于图的细胞病理报告生成方法。
一种计算机设备,包括储存器、处理器及存储在存储器上并可在处理器上运行的计算机程序,所述处理器执行所述计算机程序时实现上述的一种基于图的细胞病理报告生成方法。
有益效果:与现有技术相比,本发明具有如下优点:本发明所提供的方法首次在报告生成模型中显式地对病理图像中的关键信息(即细胞空间结构)进行建模,并有效地融合了细胞形态特征、细胞空间结构特征和背景特征用以生成报告。相比于已有方法,本发明能够显著提升细胞病理报告的生成质量,在临床病理诊断场景中能够自动生成细胞病理报告、并提供诊断结果参考,提高病理诊断工作的效率。
附图说明
图1为本发明所述方法的工作流程图。
图2为本发明所述方法的结构示意图。
具体实施方式
下面结合附图对本发明的技术方案作进一步说明。
一种基于图的细胞病理报告生成方法,包括以下步骤:
(1)基于图的细胞病理报告生成模型,所述的模型包含建图模块、提取细胞节点特征的ResNet网络、提取图像全局特征的ResNet网络、GIN图神经网络,以及编码器-解码器结构的Transformer网络,其工作流程如图1所示,模型结构如图2所示。对输入图像构建细胞图;使用卷积神经网络对细胞图进行节点特征提取和全局特征提取;使用图神经网络对细胞图进行邻节点特征聚合和节点特征更新;将细胞节点特征和图像全局特征输入编码器-解码器结构的Transformer网络,输出细胞病理报告;
(1.1)输入待处理的图像I;
(1.2)将图像I的尺度缩放至500×500,并对I进行强度归一化,将像素值放缩至0-255之间;
(1.3)将图像I输入建图模块,使用HoverNet网络对I中所有细胞进行分割,并在每个细胞处截取36×36大小的图像块,共产生n个细胞图像块;
(1.7)使用另一可训练的ResNet网络提取图像全局特征,获取向量e;
(1.11)T输入Transformer解码器,解码器通过z步推断自回归的生成单词序列w=[w1,w2,…,wz];
(1.12)将单词序列W组合为文本并输出。
(2)对步骤(1)生成的模型进行训练:输入训练数据集、验证数据集和待训练模型,对数据集中所有图像建立细胞图并存储;将训练集数据分批次输入模型;使用模型处理输入图像,在单词生成阶段,基于标记文本和掩码注意力一次性生成所有位置单词的可能性预测;计算交叉熵损失,并对模型参数进行梯度下降更新;基于模型在验证数据集的表现,选择最优模型并输出。
(2.2)对数据集中所有图像建立细胞图并存储;
(2.3)将训练细胞图以及对应的原图分批次输入N,其中一个批次包含16张细胞图;
(2.4)N使用ResNet和GIN图神经网络对输入的细胞图提取细胞节点特征、图像整体特征,输入Transformer编码器,输出编码向量序列T;
(2.5)将T和图像对应的标记文本y=[y1,y2,…,yz]输入Transformer解码器,采用掩码注意力的方式,在生成单词wt时,隐藏[yt,…,yz],由此一次性生成位置1~z单词的可能性预测P=[p1,p2,…pz];
(2.6)根据y与P计算交叉熵损失;
(2.7)对N所包含的ResNet网络、GIN图神经网络和Transformer网络进行梯度下降;
本发明所提出的方法在实际病理图像数据集上进行了实验。在实验结果中,本发明在图像描述生成任务指标CIDE-r和SPICE上相对于已有方法中最好的结果分别提升了13.4%和10.2%,在诊断结论准确性方面,相对于已有方法的最好结果提升了5.5%,证明了本发明能够显著提升细胞病理报告的生成质量,在临床诊断中具有更高的应用价值。
Claims (6)
1.一种基于图的细胞病理报告生成方法,其特征在于,包括以下步骤:
(1)基于图的细胞病理报告生成模型:对输入图像构建细胞图;使用卷积神经网络对细胞图进行节点特征提取和全局特征提取;使用图神经网络对细胞图进行邻节点特征聚合和节点特征更新;将细胞节点特征和图像全局特征输入编码器-解码器结构的Transformer网络,输出细胞病理报告;
(2)对步骤(1)生成的模型进行训练:输入训练数据集、验证数据集和待训练模型,对数据集中所有图像建立细胞图并存储;将训练集数据分批次输入模型;使用模型处理输入图像,在单词生成阶段,基于标记文本和掩码注意力一次性生成所有位置单词的可能性预测;计算交叉熵损失,并对模型参数进行梯度下降更新;基于模型在验证数据集的表现,选择最优模型并输出。
2.根据权利要求1所述的一种基于图的细胞病理报告生成方法,其特征在于,步骤(1)中所述的模型包含建图模块、提取细胞节点特征的ResNet网络、提取图像全局特征的ResNet网络、GIN图神经网络,以及编码器-解码器结构的Transformer网络。
3.根据权利要求1所述的一种基于图的细胞病理报告生成方法,其特征在于,所述步骤(1)具体为:
(1.1)输入待处理的图像I;
(1.2)统一图像I的尺度,并对I进行强度归一化;
(1.3)将图像I输入建图模块,使用HoverNet网络对I中所有细胞进行分割,并在每个细胞处截取大小的图像块,共产生n个细胞图像块;
(1.7)使用另一可训练的ResNet网络提取图像全局特征,获取向量e;
(1.11)T输入Transformer解码器,解码器通过z步推断自回归的生成单词序列w=[w1,w2,…,wz];
(1.12)将单词序列w组合为文本并输出。
4.根据权利要求1所述的一种基于图的细胞病理报告生成方法,其特征在于,所述步骤(2)具体为:
(2.2)对数据集中所有图像建立细胞图并存储;
(2.3)将训练细胞图以及对应的原图分批次输入N;
(2.4)N使用ResNet和GIN图神经网络对输入的细胞图提取细胞节点特征、图像整体特征,输入Transformer编码器,输出编码向量序列T;
(2.5)将T和图像对应的标记文本y=[y1,y2,…,yz]输入Transformer解码器,采用掩码注意力的方式,在生成单词wt时,隐藏[yt,…,yz],由此一次性生成位置1~z单词的可能性预测P=[p1,p2,…pz];
(2.6)根据y与P计算交叉熵损失;
(2.7)对N所包含的ResNet网络、GIN图神经网络和Transformer网络进行梯度下降;
5.一种计算机存储介质,其上存储有计算机程序,其特征在于,该计算机程序被处理器执行时实现如权利要求1-4中任一项所述的一种基于图的细胞病理报告生成方法。
6.一种计算机设备,包括储存器、处理器及存储在存储器上并可在处理器上运行的计算机程序,其特征在于,所述处理器执行所述计算机程序时实现如权利要求1-4中任一项所述的一种基于图的细胞病理报告生成方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202310247097.5A CN116386803A (zh) | 2023-03-15 | 2023-03-15 | 一种基于图的细胞病理报告生成方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202310247097.5A CN116386803A (zh) | 2023-03-15 | 2023-03-15 | 一种基于图的细胞病理报告生成方法 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN116386803A true CN116386803A (zh) | 2023-07-04 |
Family
ID=86977932
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202310247097.5A Pending CN116386803A (zh) | 2023-03-15 | 2023-03-15 | 一种基于图的细胞病理报告生成方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN116386803A (zh) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN117153343A (zh) * | 2023-08-16 | 2023-12-01 | 丽水瑞联医疗科技有限公司 | 一种胎盘多尺度分析系统 |
-
2023
- 2023-03-15 CN CN202310247097.5A patent/CN116386803A/zh active Pending
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN117153343A (zh) * | 2023-08-16 | 2023-12-01 | 丽水瑞联医疗科技有限公司 | 一种胎盘多尺度分析系统 |
CN117153343B (zh) * | 2023-08-16 | 2024-04-05 | 丽水瑞联医疗科技有限公司 | 一种胎盘多尺度分析系统 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
WO2020168844A1 (en) | Image processing method, apparatus, equipment, and storage medium | |
CN110428428B (zh) | 一种图像语义分割方法、电子设备和可读存储介质 | |
WO2022001623A1 (zh) | 基于人工智能的图像处理方法、装置、设备及存储介质 | |
CN110738207A (zh) | 一种融合文字图像中文字区域边缘信息的文字检测方法 | |
CN111612008A (zh) | 基于卷积网络的图像分割方法 | |
CN110706214B (zh) | 融合条件随机与残差的三维U-Net大脑肿瘤分割方法 | |
CN107480702B (zh) | 面向hcc病理图像识别的特征选择与特征融合方法 | |
Gao et al. | A convolutional neural network and graph convolutional network based framework for classification of breast histopathological images | |
CN109948575B (zh) | 超声图像中眼球区域分割方法 | |
CN112765370B (zh) | 知识图谱的实体对齐方法、装置、计算机设备和存储介质 | |
CN112949707B (zh) | 一种基于多尺度语义信息监督的跨模态人脸图像生成方法 | |
CN116580257A (zh) | 特征融合模型训练及样本检索方法、装置和计算机设备 | |
Shan et al. | SCA-Net: A spatial and channel attention network for medical image segmentation | |
CN116386803A (zh) | 一种基于图的细胞病理报告生成方法 | |
CN114496099A (zh) | 细胞功能注释方法、装置、设备及介质 | |
CN116386148B (zh) | 基于知识图谱引导的小样本动作识别方法及系统 | |
CN113361589A (zh) | 基于迁移学习与知识蒸馏的珍稀濒危植物叶片识别方法 | |
Ying et al. | Efficient multi-objective evolutionary neural architecture search for U-Nets with diamond atrous convolution and Transformer for medical image segmentation | |
Yu et al. | MagConv: Mask-guided convolution for image inpainting | |
CN116524352A (zh) | 一种遥感图像水体提取方法及装置 | |
CN110992320A (zh) | 一种基于双重交错的医学图像分割网络 | |
CN113554655B (zh) | 基于多特征增强的光学遥感图像分割方法及装置 | |
Wu et al. | Automatic segmentation of colon, small intestine, and duodenum based on scale attention network | |
CN114331894A (zh) | 一种基于潜在特征重构和掩模感知的人脸图像修复方法 | |
CN113688715A (zh) | 面部表情识别方法及系统 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |