CN113470777B - 一种肿瘤辅助诊断报告生成方法、装置、电子设备、存储介质 - Google Patents
一种肿瘤辅助诊断报告生成方法、装置、电子设备、存储介质 Download PDFInfo
- Publication number
- CN113470777B CN113470777B CN202110627078.6A CN202110627078A CN113470777B CN 113470777 B CN113470777 B CN 113470777B CN 202110627078 A CN202110627078 A CN 202110627078A CN 113470777 B CN113470777 B CN 113470777B
- Authority
- CN
- China
- Prior art keywords
- image
- text
- tvec
- target
- network
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000003745 diagnosis Methods 0.000 title claims abstract description 42
- 206010028980 Neoplasm Diseases 0.000 title claims abstract description 31
- 238000000034 method Methods 0.000 title claims abstract description 30
- 238000012549 training Methods 0.000 claims description 12
- 210000004185 liver Anatomy 0.000 claims description 9
- 230000015654 memory Effects 0.000 claims description 9
- 238000004590 computer program Methods 0.000 claims description 8
- 238000002372 labelling Methods 0.000 claims description 7
- 230000006870 function Effects 0.000 claims description 5
- 230000008569 process Effects 0.000 claims description 5
- 230000002779 inactivation Effects 0.000 claims description 4
- 239000000284 extract Substances 0.000 abstract 2
- 230000004927 fusion Effects 0.000 description 5
- 238000012545 processing Methods 0.000 description 4
- 238000011160 research Methods 0.000 description 4
- 201000011510 cancer Diseases 0.000 description 3
- 238000013461 design Methods 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 230000007246 mechanism Effects 0.000 description 2
- VYPSYNLAJGMNEJ-UHFFFAOYSA-N Silicium dioxide Chemical compound O=[Si]=O VYPSYNLAJGMNEJ-UHFFFAOYSA-N 0.000 description 1
- 238000009825 accumulation Methods 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 238000003491 array Methods 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000002457 bidirectional effect Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 230000034994 death Effects 0.000 description 1
- 231100000517 death Toxicity 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 239000003814 drug Substances 0.000 description 1
- 238000013399 early diagnosis Methods 0.000 description 1
- 230000036541 health Effects 0.000 description 1
- 208000019423 liver disease Diseases 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000003058 natural language processing Methods 0.000 description 1
- 230000008520 organization Effects 0.000 description 1
- 238000012216 screening Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H15/00—ICT specially adapted for medical reports, e.g. generation or transmission thereof
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T11/00—2D [Two Dimensional] image generation
- G06T11/60—Editing figures and text; Combining figures or text
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
- G16H50/20—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems
Landscapes
- Engineering & Computer Science (AREA)
- Health & Medical Sciences (AREA)
- Medical Informatics (AREA)
- Public Health (AREA)
- Epidemiology (AREA)
- General Health & Medical Sciences (AREA)
- Primary Health Care (AREA)
- Biomedical Technology (AREA)
- Data Mining & Analysis (AREA)
- Databases & Information Systems (AREA)
- Pathology (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Medical Treatment And Welfare Office Work (AREA)
- Apparatus For Radiation Diagnosis (AREA)
- Measuring And Recording Apparatus For Diagnosis (AREA)
Abstract
本发明提供了一种肿瘤辅助诊断报告生成方法、装置、电子设备、存储介质，初始化后的图像编码器提取图像特征G，初始化后的文本编码器后提取影像所见的文本特征Tvec和病史的文本特征Svec；将图像特征G和影像所见的文本特征Tvec输入目标注意力网络TANet，提取对目标敏感的图像特征G2T；将病史的文本特征Svec和影像所见的文本特征Tvec输入目标注意力网络TANet，提取对目标敏感的文本特征S2T；对G2T和G2S拼接作为多模态生成网络MGNet的输入，顺序的生成单词最后形成诊断报告。本发明结合TANet增强原始的图像特征和病史文本特征，再融合这两种模态的特征生成辅助诊断报告，从而辅助医生生成报告书，提高工作效率。
Description
技术领域
本发明属于深度神经网络、图像处理、自然语言处理技术领域，具体涉及一种基于多模态医疗数据的肿瘤辅助诊断报告生成方法、装置、电子设备、存储介质。
背景技术
随着大数据时代的到来，医疗体系也逐渐进入信息化时代。临床电子病历数据的积累为医学研究领域提供了重要的信息来源。除病历文字信息外，影像数据也是临床医学的重要分析材料之一。世界卫生组织发布的2020全球癌症负担数据显示：中国新发癌症457万人，占全球23.7％，癌症死亡人数位居全球第一。其原因包括缺乏有效的肿瘤筛查机制，阻碍了患者的早期诊断以及有效的后期治疗。因此基于计算机和多模态医疗数据的辅助诊断有着重要意义。
目前针对利用多模态医疗数据进行辅助诊断的研究受到广泛关注。其中，医疗文本数据与医学影像数据之间的信息融合是研究的重点之一。现有研究存在以下问题：其一，部分融合模型只拥有输入和共同表达这两部分，这种设计虽然考虑了文本数据和医学影像的关联，但忽略了各个模态自身的特异性对融合带来的负面影像，从而降低融合质量。其二，部分融合模型将提取的全部信息直接进行融合，未考虑增强重点信息，忽略冗余信息，去除无关信息，从而使模型无法得到良好的精度。
发明内容
针对现有技术中存在不足，本发明提供了基于多模态医疗数据的肿瘤辅助诊断报告生成方法、装置、电子设备、存储介质。
本发明是通过以下技术手段实现上述技术目的的。
一种肿瘤辅助诊断报告生成方法，具体包括：
采集包括肝脏CT影像、影像所见t和病史s的多模态数据集，根据诊断报告对多模态数据集进行人工标注；
初始化图像编码器后将采集的肝脏CT影像作为输入，提取图像特征G，初始化文本编码器后将影像所见t和病史s作为输入，提取影像所见的文本特征Tvec和病史的文本特征Svec；
将图像特征G和影像所见的文本特征Tvec输入目标注意力网络TANet，提取对目标敏感的图像特征G2T；将病史的文本特征Svec和影像所见的文本特征Tvec输入目标注意力网络TANet，提取对目标敏感的文本特征S2T；
对目标敏感的图像特征G2T和病史文本特征G2S拼接作为多模态生成网络MGNet的输入，顺序的生成单词最后形成诊断报告。
进一步地，所述对目标敏感的图像特征G2T的生成公式为：
MB(G,Tvec)＝Wm[B1(G,Tvec),…,Bp(G,Tvec)]T
G2T＝LN(G+MLP.LN(G+MB(G,Tvec))/)
其中：WQ、WK、WV、Wm为可训练参数，B()为一个注意力层，MB()为多个注意力层，p为注意力头个数，MLP为前馈网络，LN为带有残差连接的两层范数，d表示向量纬度，m表示最大序列长度。
更进一步地，所述对目标敏感的文本特征S2T的生成公式为：
MB(Svec,Tvec)＝Wm′[B1(Svec,Tvec),…,Bq(Svec,Tvec)]T
S2T＝LN(Svec+MLP.LN(Svec+MB(Svec,Tvec))/)
其中WQ′、WK′、WV′、Wm′为可训练参数。
进一步地，所述多模态生成网络MGNet采用编码器-解码器的结构，所述编码器将输入序列转化为一个上下文向量，然后将上下文向量传递给解码器，解码器顺序输出，且每个时间步骤的输出在下一个时间步骤中被馈送到底部解码器；循环上述过程，直到特殊标记[SEP]被激活，则完成解码输出预测结果。
更进一步地，所述拼接时采用[CLS]标记开始、[SEP]标记一类特征结束。
进一步地，还包括最小化损失函数L，进行反向传播，更新辅助诊断报告生成模块的权值参数θ，进行迭代运算；最后训练权值参数θ，直到训练辅助诊断报告生成模块收敛。
一种肿瘤辅助诊断报告生成装置，包括：
采集标注模块，用于采集多模态数据集，并根据诊断报告对多模态数据集中的每份数据进行标注；
辅助诊断报告生成模块，包括图像编码器、文本编码器、目标注意力网络模块和多模态生成网络模块，所述图像编码器用于提取图像特征G；所述文本编码器用于输出影像所见的文本特征Tvec和病史的文本特征Svec；所述目标注意力网络模块包括网络A和网络B，网络A用于提取对目标敏感的图像特征G2T，网络B用于提取对目标敏感的文本特征S2T；所述多模态生成网络模块用于对图像特征G2T和病史文本特征G2S的拼接结果编码、解码。
上述技术方案中，所述辅助诊断报告生成模块开始训练前需要设置的模型参数至少包括学习率、随机失活和迭代次数，还可设置最大序列长度或批处理数据量大小。
一种电子设备，包括存储器和处理器；
所述存储器用于存储计算机程序；
所述处理器用于执行所述计算机程序并在执行所述计算机程序时实现上述肿瘤辅助诊断报告生成方法。
一种存储介质，所述存储介质存储有计算机程序，所述计算机程序被处理器执行时使所述处理器执行上述肿瘤辅助诊断报告生成方法。
本发明的有益效果为：本发明通过建立目标注意力网络TANet，来捕获目标敏感的其他模态信息，解决信息冗余的问题。由于影像所见具有较高的准确性、重要性和精炼度，选取它作为目标来提取由影像所见增强后的图像特征和病史文本特征；然后，将两者提取的特征结合起来，输入多模态生成网络MGNet进行编码解码，以生成用于肿瘤辅助诊断的报告，从而利用多模态数据的关联性和特异性提高了诊断报告的准确性，辅助医生撰写报告书，提高工作效率。
附图说明
图1为本发明所述基于多模态医疗数据的肿瘤辅助诊断报告生成方法流程图；
图2为本发明辅助诊断报告生成模块结构框图；
图3为本发明所述基于多模态医疗数据的肿瘤辅助诊断报告生成装置结构框图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚明了，下面结合具体实施方式并参照附图，对本发明进一步详细说明。应该理解，这些描述只是示例性的，而并非要限制本发明的范围。此外，在以下说明中，省略了对公知结构和技术的描述，以避免不必要地混淆本发明的概念。
图1是本发明提出的肿瘤辅助诊断报告生成方法流程图，下面结合图1对本发明的技术方案进行详细的阐述。
本发明提出的一种基于多模态医疗数据的肿瘤辅助诊断报告生成方法，具体包括如下步骤：
步骤(1)，采集多模态数据集
所述多模态数据集是根据医院提供的肝病病人真实非公开数据自行构造，每份数据包括肝脏CT影像、影像所见t和病史s，其中肝脏CT影像为图像数据，影像所见和病史为文本数据。
步骤(2)，对自行构造的多模态数据集，根据诊断报告对每份数据进行标注，标注的内容包括诊断结果和依据。
步骤(3)，初始化图像编码器
所述图像编码器为预训练ResNet152模型，该模型为CVPR在2016年收录论文《Deepresidual learning for image recognition》中所提出的预训练图像识别模型。
步骤(4)，将肝脏CT影像作为步骤(3)初始化后图像编码器的输入，提取图像特征G。具体的，首先将肝脏CT影像的原始影像缩放为224*224，然后输入图像编码器，取最后一个卷积层输出的图像特征：ResNet(I)＝{Ri|Ri∈R2048，i＝1,2,…,49}，然后使用线性变换函数将图像特征投影到文本特征的相同空间：G＝WvResNet(I)，其中Wv为可训练参数，纬度为2048*768，R表示向量空间，I指代肝脏CT影像。
步骤(5)，初始化文本编码器
所述文本编码器为预训练BERT模型，该模型为谷歌公司在2018年论文《BERT:Pre-training of Deep Bidirectional Transformers for Language Understanding》中所提出的语言模型。由于文本数据为中文，所以采用中文预训练语言模型BERT-Base-Chinese。
步骤(6)，将影像所见t和病史s作为步骤(5)初始化后文本编码器的输入，经过文本编码器的多层转换网络后，输出影像所见的文本特征Tvec∈Rn×d和病史的文本特征Svec∈Rm×d，其中n和m表示最大序列长度，均为128；d表示向量纬度，取768。
步骤(7)，建立目标注意力网络TANet(包括网络A和网络B)，如图2所示。
本发明设计了一个目标-内容匹配层，该层采用多头目标注意机制来实现目标与内容的匹配。将目标特征(影像所见的文本特征Tvec)作为查询向量Q、内容特征(包括图像特征G和病史的文本特征)作为键向量K和值向量V，以便利用目标来指导模型(即目标注意力网络TANet)将与目标密切相关的内容区域分配较高的权重；最后，采用前馈网络MLP和带有残差连接的两层范数LN来获得目标敏感的特征。
步骤(8)，将图像特征G和影像所见的文本特征Tvec作为步骤(7)建立网络A的输入，其中影像所见的文本特征Tvec作为目标，提取对目标敏感的图像特征G2T＝{i1,…,i128}；对于目标敏感的图像特征所对应的生成公式如下所述：
MB(G,Tvec)＝Wm[B1(G,Tvec),…,Bp(G,Tvec)]T
G2T＝LN(G+MLP.LN(G+MB(G,Tvec))/)
其中WQ、WK、WV、Wm为可训练参数，纬度分别为768*64、768*64、768*64和768*768；B()为一个注意力层，MB()为多个注意力层；本实施例中注意力头个数p取12。
步骤(9)，将病史的文本特征Svec和影像所见的文本特征Tvec作为步骤(7)建立网络B的输入，其中影像所见的文本特征Tvec作为目标，提取对目标敏感的文本特征S2T＝{s1,…,s128}。对于目标敏感的病史文本特征所对应的生成公式如下所述：
MB(Svec,Tvec)＝Wm′[B1(Svec,Tvec),…,Bq(Svec,Tvec)]T
S2T＝LN(Svec+MLP.LN(Svec+MB(Svec,Tvec))/)
其中WQ′、WK′、WV′、Wm′为可训练参数，纬度分别为768*64、768*64、768*64和768*768；本实施例中注意力头个数q取12。
步骤(10)，初始化多模态生成网络MGNet
多模态生成网络MGNet采用编码器-解码器的结构，编码器将输入序列转化为一个上下文向量，然后将上下文向量传递给解码器，解码器顺序输出，且每个时间步骤的输出在下一个时间步骤中被馈送到底部解码器；循环此过程，直到特殊标记[SEP]被激活，则完成解码输出预测结果。其中编码器-解码器为谷歌公司在2018年论文《Attention is All YouNeed》中所提出的模型结构。
步骤(11)，对目标敏感的图像特征G2T和病史文本特征G2S拼接作为步骤(10)建立多模态生成网络MGNet的输入，为了区别图像特征G2T和文本特征G2S，拼接时采用[CLS]标记开始、[SEP]标记一类特征结束，最终输入如下所述：
[CLS]i1 i2…i128[SEP]s1 s2…s128[SEP]
步骤(12)，将步骤(11)拼接结果输入到多模态生成网络MGNet的编码器后，编码器的输出传递给多模态生成网络MGNet的解码器，解码器生成首个单词a0；在下一个时间步骤将a0送到底部解码器；循环此过程，直到特殊标记[SEP]被激活，则完成解码输出预测结果Output＝{a0,a1,…,aJ-1,[SEP]}，其中J为总的时间步骤数；顺序的生成单词最后形成诊断报告。
步骤(13)，最小化损失函数L，进行反向传播，更新辅助诊断报告生成模块的权值参数θ(包括可训练参数以及图像编码器、文本编码器、多模态生成网络的编码器和解码器的参数)，进行迭代运算；最后训练θ，直到训练辅助诊断报告生成模块收敛。
所述损失函数L对应的生成公式如下所述：
其中ai为第i时间步骤对应的标签序列，aj为第j时间步输出的预测序列。
另外，辅助诊断报告生成模块开始训练前需要设置的模型参数至少包括学习率、随机失活和迭代次数；根据实际应用需要，还可设置最大序列长度、批处理数据量大小等模型参数；在本实施例中，学习率为2e-5、随机失活为0.1、训练轮数为20。
如图3所示，本发明基于多模态医疗数据的肿瘤辅助诊断报告生成装置，包括采集标注模块、辅助诊断报告生成模块，其中辅助诊断报告生成模块包括图像编码器、文本编码器、目标注意力网络模块和多模态生成网络模块。采集标注模块用于采集多模态数据集，并根据诊断报告对多模态数据集中的每份数据进行标注；图像编码器用于提取图像特征G；文本编码器用于输出影像所见的文本特征Tvec和病史的文本特征Svec；目标注意力网络模块包括网络A和网络B，网络A用于提取对目标敏感的图像特征G2T，网络B用于提取对目标敏感的文本特征S2T；多模态生成网络模块用于对图像特征G2T和病史文本特征G2S的拼接结果编码、解码。
基于与基于多模态医疗数据的肿瘤辅助诊断报告生成方法相同的发明构思，本申请还提供了一种电子设备，该电子设备包括一个或多个处理器和一个或多个存储器，存储器中存储了计算机可读代码，其中，计算机可读代码当由一个或多个处理器执行时，进行基于多模态医疗数据的肿瘤辅助诊断报告生成。其中，存储器可以包括非易失性存储介质和内存储器；非易失性存储介质可存储操作系统和计算机可读代码。该计算机可读代码包括程序指令，该程序指令被执行时，可使得处理器执行任意一种基于多模态医疗数据的肿瘤辅助诊断报告生成方法。处理器用于提供计算和控制能力，支撑整个电子设备的运行。存储器为非易失性存储介质中的计算机可读代码的运行提供环境，该计算机可读代码被处理器执行时，可使得处理器执行任意一种基于多模态医疗数据的肿瘤辅助诊断报告生成方法。
应当理解的是，处理器可以是中央处理单元(Central Processing Unit，CPU)，该处理器还可以是其他通用处理器、数字信号处理器(Digital Signal Processor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现场可编程门阵列(Field-Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。其中，通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
本申请的实施例中还提供一种计算机可读存储介质，所述计算机可读存储介质存储有计算机可读代码，所述计算机可读代码中包括程序指令，所述处理器执行所述程序指令，实现本申请的基于多模态医疗数据的肿瘤辅助诊断报告生成方法。
其中，所述计算机可读存储介质可以是前述实施例所述电子设备的内部存储单元，例如所述计算机设备的硬盘或内存。所述计算机可读存储介质也可以是所述电子设备的外部存储设备，例如所述电子设备上配备的插接式硬盘、智能存储卡(SmartMedia Card，SMC)、安全数字(Secure Digital，SD)卡、闪存卡(Flash Card)等。
所述实施例为本发明的优选的实施方式，但本发明并不限于上述实施方式，在不背离本发明的实质内容的情况下，本领域技术人员能够做出的任何显而易见的改进、替换或变型均属于本发明的保护范围。
Claims (8)
1.一种肿瘤辅助诊断报告生成方法，其特征在于：
采集包括肝脏CT影像、影像所见t和病史s的多模态数据集，根据诊断报告对多模态数据集进行人工标注；
初始化图像编码器后将采集的肝脏CT影像作为输入，提取图像特征G，初始化文本编码器后将影像所见t和病史s作为输入，提取影像所见的文本特征Tvec和病史的文本特征Svec；
将图像特征G和影像所见的文本特征Tvec输入目标注意力网络TANet，提取对目标敏感的图像特征G2T；将病史的文本特征Svec和影像所见的文本特征Tvec输入目标注意力网络TANet，提取对目标敏感的文本特征S2T；
对目标敏感的图像特征G2T和病史文本特征G2S拼接作为多模态生成网络MGNet的输入，顺序的生成单词最后形成诊断报告；
所述对目标敏感的图像特征G2T的生成公式为：
MB(G，Tvec)＝Wm[B1(G，Tvec)，...，Bp(G，Tvec)]T
G2T＝LN(G+MLP(LN(G+MB(G，Tvec))))
其中：WQ、WK、WV、Wm为可训练参数，B()为一个注意力层，MB()为多个注意力层，p为注意力头个数，MLP为前馈网络，LN为带有残差连接的两层范数，d表示向量纬度，m表示最大序列长度；
所述对目标敏感的文本特征S2T的生成公式为：
MB(Svec，Tvec)＝Wm′[B1(Svec，Tvec)，...，Bq(Svec，Tvec)]T
S2T＝LN(Svec+MLP(LN(Svec+MB(svec，Tvec))))
其中WQ′、WK′、WV′、Wm′为可训练参数。
2.根据权利要求1所述的肿瘤辅助诊断报告生成方法，其特征在于，所述多模态生成网络MGNet采用编码器-解码器的结构，所述编码器将输入序列转化为一个上下文向量，然后将上下文向量传递给解码器，解码器顺序输出，且每个时间步骤的输出在下一个时间步骤中被馈送到底部解码器；循环上述过程，直到特殊标记[SEP]被激活，则完成解码输出预测结果。
3.根据权利要求2所述的肿瘤辅助诊断报告生成方法，其特征在于，所述拼接时采用[CLS]标记开始、[SEP]标记一类特征结束。
4.根据权利要求1所述的肿瘤辅助诊断报告生成方法，其特征在于，还包括最小化损失函数L，进行反向传播，更新辅助诊断报告生成模块的权值参数θ，进行迭代运算；最后训练θ直到训练辅助诊断报告生成模块收敛。
5.一种实现权利要求1-4任一项所述的肿瘤辅助诊断报告生成方法的肿瘤辅助诊断报告生成装置，其特征在于，包括：
采集标注模块，用于采集多模态数据集，并根据诊断报告对多模态数据集中的每份数据进行标注；
辅助诊断报告生成模块，包括图像编码器、文本编码器、目标注意力网络模块和多模态生成网络模块，所述图像编码器用于提取图像特征G；所述文本编码器用于输出影像所见的文本特征Tvec和病史的文本特征Svec；所述目标注意力网络模块包括网络A和网络B，网络A用于提取对目标敏感的图像特征G2T，网络B用于提取对目标敏感的文本特征S2T；所述多模态生成网络模块用于对图像特征G2T和病史文本特征G2S的拼接结果编码、解码。
6.根据权利要求5所述的肿瘤辅助诊断报告生成装置，其特征在于，所述辅助诊断报告生成模块开始训练前需要设置的模型参数至少包括学习率、随机失活和迭代次数，还可设置最大序列长度或批处理数据量大小。
7.一种电子设备，其特征在于，包括存储器和处理器；
所述存储器用于存储计算机程序；
所述处理器用于执行所述计算机程序并在执行所述计算机程序时实现如权利要求1-4任一项所述的肿瘤辅助诊断报告生成方法。
8.一种存储介质，其特征在于，所述存储介质存储有计算机程序，所述计算机程序被处理器执行时使所述处理器执行如权利要求1-4任一项所述的肿瘤辅助诊断报告生成方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110627078.6A CN113470777B (zh) | 2021-06-04 | 2021-06-04 | 一种肿瘤辅助诊断报告生成方法、装置、电子设备、存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110627078.6A CN113470777B (zh) | 2021-06-04 | 2021-06-04 | 一种肿瘤辅助诊断报告生成方法、装置、电子设备、存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN113470777A CN113470777A (zh) | 2021-10-01 |
| CN113470777B true CN113470777B (zh) | 2024-04-09 |
Family
ID=77872346
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110627078.6A Active CN113470777B (zh) | 2021-06-04 | 2021-06-04 | 一种肿瘤辅助诊断报告生成方法、装置、电子设备、存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113470777B (zh) |
Families Citing this family (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114464326A (zh) * | 2022-01-12 | 2022-05-10 | 山东大学 | 基于多模态颈动脉数据的冠心病预测系统 |
| CN116758341B (zh) * | 2023-05-31 | 2024-03-19 | 北京长木谷医疗科技股份有限公司 | 一种基于gpt的髋关节病变智能诊断方法、装置及设备 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108376558A (zh) * | 2018-01-24 | 2018-08-07 | 复旦大学 | 一种多模态核磁共振影像病历报告自动生成方法 |
| CN111916207A (zh) * | 2020-08-07 | 2020-11-10 | 杭州深睿博联科技有限公司 | 一种基于多模态融合的疾病识别方法及装置 |
| WO2021022752A1 (zh) * | 2019-08-07 | 2021-02-11 | 深圳先进技术研究院 | 一种多模态三维医学影像融合方法、系统及电子设备 |
| CN112614561A (zh) * | 2020-12-24 | 2021-04-06 | 北京工业大学 | 一种基于层级自注意力序列编码的脑ct医学报告生成方法 |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US11423538B2 (en) * | 2019-04-16 | 2022-08-23 | Covera Health | Computer-implemented machine learning for detection and statistical analysis of errors by healthcare providers |
-
2021
- 2021-06-04 CN CN202110627078.6A patent/CN113470777B/zh active Active
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108376558A (zh) * | 2018-01-24 | 2018-08-07 | 复旦大学 | 一种多模态核磁共振影像病历报告自动生成方法 |
| WO2021022752A1 (zh) * | 2019-08-07 | 2021-02-11 | 深圳先进技术研究院 | 一种多模态三维医学影像融合方法、系统及电子设备 |
| CN111916207A (zh) * | 2020-08-07 | 2020-11-10 | 杭州深睿博联科技有限公司 | 一种基于多模态融合的疾病识别方法及装置 |
| CN112614561A (zh) * | 2020-12-24 | 2021-04-06 | 北京工业大学 | 一种基于层级自注意力序列编码的脑ct医学报告生成方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN113470777A (zh) | 2021-10-01 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Xue et al. | Multimodal recurrent model with attention for automated radiology report generation | |
| WO2022199462A1 (zh) | 医学图像报告生成模型的训练方法及图像报告生成方法 | |
| Liu et al. | Clinically accurate chest x-ray report generation | |
| CN107977361B (zh) | 基于深度语义信息表示的中文临床医疗实体识别方法 | |
| CN111316281B (zh) | 基于机器学习的自然语言情境中数值数据的语义分类方法以及系统 | |
| CN109545302A (zh) | 一种基于语义的医学影像报告模板生成方法 | |
| CN113470777B (zh) | 一种肿瘤辅助诊断报告生成方法、装置、电子设备、存储介质 | |
| US20210019665A1 (en) | Machine Learning Model Repository Management and Search Engine | |
| CN112712879A (zh) | 医学影像报告的信息提取方法、装置、设备及存储介质 | |
| US11468989B2 (en) | Machine-aided dialog system and medical condition inquiry apparatus and method | |
| CN111105013B (zh) | 对抗网络架构的优化方法、图像描述生成方法和系统 | |
| CN112154509A (zh) | 具有用于文本注释的演变领域特异性词典特征的机器学习模型 | |
| WO2023165012A1 (zh) | 问诊方法和装置、电子设备及存储介质 | |
| CN115331769B (zh) | 基于多模态融合的医学影像报告生成方法及装置 | |
| Beddiar et al. | Automatic captioning for medical imaging (MIC): a rapid review of literature | |
| CN113707257A (zh) | 一种3d颅脑mri医学影像报告自动生成方法及系统 | |
| CN115205880A (zh) | 一种医学影像报告生成方法及装置 | |
| Chen et al. | Knowledge-powered deep breast tumor classification with multiple medical reports | |
| Xu et al. | Deep image captioning: A review of methods, trends and future challenges | |
| Hartsock et al. | Vision-language models for medical report generation and visual question answering: A review | |
| CN112700862B (zh) | 目标科室的确定方法、装置、电子设备及存储介质 | |
| Patel et al. | FEDS-filtered edit distance surrogate | |
| Milosevic et al. | Applications of AI in multi-modal imaging for cardiovascular disease | |
| Thirumagal et al. | GAN models in natural language processing and image translation | |
| CN116368490A (zh) | 电子装置及其控制方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |