CN118072899A - 一种基于扩散模型文本生成技术的骨密度报告生成平台 - Google Patents
一种基于扩散模型文本生成技术的骨密度报告生成平台 Download PDFInfo
- Publication number
- CN118072899A CN118072899A CN202410212649.3A CN202410212649A CN118072899A CN 118072899 A CN118072899 A CN 118072899A CN 202410212649 A CN202410212649 A CN 202410212649A CN 118072899 A CN118072899 A CN 118072899A
- Authority
- CN
- China
- Prior art keywords
- bone mineral
- mineral density
- text
- bone
- report
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 210000000988 bone and bone Anatomy 0.000 title claims abstract description 63
- 229910052500 inorganic mineral Inorganic materials 0.000 title claims abstract description 62
- 239000011707 mineral Substances 0.000 title claims abstract description 62
- 238000009792 diffusion process Methods 0.000 title claims abstract description 29
- 238000005516 engineering process Methods 0.000 title claims abstract description 14
- 230000037182 bone density Effects 0.000 claims abstract description 66
- 238000004364 calculation method Methods 0.000 claims abstract description 7
- 238000004458 analytical method Methods 0.000 claims abstract description 6
- 239000013598 vector Substances 0.000 claims description 60
- 238000003745 diagnosis Methods 0.000 claims description 25
- 230000004927 fusion Effects 0.000 claims description 12
- 238000000605 extraction Methods 0.000 claims description 10
- 230000000007 visual effect Effects 0.000 claims description 9
- 239000011159 matrix material Substances 0.000 claims description 6
- 238000000034 method Methods 0.000 claims description 6
- 238000010606 normalization Methods 0.000 claims description 6
- 238000012552 review Methods 0.000 claims description 6
- 230000002457 bidirectional effect Effects 0.000 claims description 4
- 238000013527 convolutional neural network Methods 0.000 claims description 4
- 238000013528 artificial neural network Methods 0.000 claims description 3
- 201000010099 disease Diseases 0.000 claims description 3
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 claims description 3
- 238000013507 mapping Methods 0.000 claims description 3
- 238000005070 sampling Methods 0.000 claims description 3
- 238000012545 processing Methods 0.000 claims description 2
- 238000013523 data management Methods 0.000 abstract description 5
- 238000007726 management method Methods 0.000 abstract description 4
- 238000010586 diagram Methods 0.000 description 5
- 238000013473 artificial intelligence Methods 0.000 description 3
- 238000007405 data analysis Methods 0.000 description 3
- 238000011161 development Methods 0.000 description 2
- 208000020084 Bone disease Diseases 0.000 description 1
- 208000001132 Osteoporosis Diseases 0.000 description 1
- 208000001164 Osteoporotic Fractures Diseases 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 238000013136 deep learning model Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 239000003814 drug Substances 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000035876 healing Effects 0.000 description 1
- 238000010191 image analysis Methods 0.000 description 1
- 239000012633 leachable Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000003058 natural language processing Methods 0.000 description 1
- 230000000750 progressive effect Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
Landscapes
- Measuring And Recording Apparatus For Diagnosis (AREA)
- Medical Treatment And Welfare Office Work (AREA)
Abstract
本发明公开一种基于扩散模型文本生成技术的骨密度报告生成平台，涉及医疗数据管理、信息共享和云计算技术领域。所述骨密度报告生成平台包括：骨密度测量设备，用于获取骨密度图像和骨密度数据；信息采集设备，用于输入目标人员的相关数据；中心云平台，用于根据设定的骨密度判定标准对所述骨密度数据进行自动化分析计算，确定骨密度判定结果，并生成电子骨密度报告，同时按照设定的排序方式对所述基础信息、所述骨密度数据和所述电子骨密度报告进行存储；远程设备，用于登录所述中心云平台，根据身份信息确定用户身份，并登录进入对应的平台界面，调取或修改电子骨密度报告。本发明能够提高骨密度数据管理的效率和骨密度数据判定结果的准确性。
Description
技术领域
本发明涉及医疗数据管理、信息共享及云计算技术领域技术领域，特别是涉及一种基于扩散模型文本生成技术的骨密度报告生成平台。
背景技术
在现代医学中，医生需要使用多模态临床信息(如骨密度图像、患者基本信息和骨密度检测数据)，依靠丰富的专业知识及经验对患者的骨骼疾病做出诊断分析，并给出诊断报告。然而，骨质疏松患者数量大，骨骼脆性高，骨质疏松性骨折愈合周期长等问题导致诊断报告数据读取的管理效率难以保证。另一方面，撰写医学报告对于医生来说是容易出错的，并且高密度的患者数量使得医生撰写报告十分费时及繁琐。电子病历系统的推广，为骨密度数据管理提供了新的思路，但是现有技术仍存在用户数据读取效率低等问题，且报告的生成仍然依赖于医生的专业知识及影像分析方面的专业技能，大量的临床数据使得医生面临巨大压力，漏诊和误诊的情况也时有发生。
近年来，随着人工智能技术的快速发展，多模态数据分析和生成式AI的出现、发展和应用，可以在一定程度上减少医生的诊断和撰写报告的时间，并在一定程度上避免漏诊和误诊。其中，多模态数据分析技术作为人工智能领域的重要分支，旨在提取不同模态数据的特征并进行多模态融合，能够充分利用多模态数据的医学信息；生成式AI作为人工智能领域的新兴研究方向，能够根据需求进行数据生成，其在自然语言处理领域的成功应用为医学报告的自动生成提供了新的思路。
在现有的多模态骨密度分析模型中，通常将医学影像和骨密度数据等不同模态的数据馈送至深度学习模型以产生模态特定的特征，用于后续诊断决策。其往往忽视了模态之间的关联，因此亟需一种能够综合考虑各模态间相互关联的多模态融合策略。同时，现有的医学报告生成主要基于图像生成简单的句子，忽视了多模态医学特征与文本特征之间存在的鸿沟，只是将报告与临床信息进行对齐。
因此需要设计一种高精度的融合多模态临床信息进行报告生成和骨密度数据管理的平台来解决上述问题。
发明内容
本发明的目的是提供一种基于扩散模型文本生成技术的骨密度报告生成平台，能够提高骨密度数据管理的效率和骨密度数据判定结果的准确性。
为实现上述目的，本发明提供了如下方案：
一种基于扩散模型文本生成技术的骨密度报告生成平台，包括：
骨密度测量设备，用于获取目标人员的骨密度图像并测量骨密度数据；
信息采集设备，用于输入目标人员的基础信息、所述骨密度图像和所述骨密度数据；
中心云平台，用于根据设定的骨密度判定标准对所述骨密度数据进行自动化分析计算，确定骨密度判定结果，并基于所述判定结果和所述骨密度图像生成电子骨密度报告，同时按照设定的排序方式对所述基础信息、所述骨密度数据和所述电子骨密度报告进行存储；
远程设备，用于登录所述中心云平台，根据输入的身份信息确定用户身份，并登录进入对应的平台界面，调取或修改所述电子骨密度报告。
可选地，所述中心云平台包括电子骨密度报告生成单元；
所述电子骨密度报告生成单元，具体包括：
特征提取模块，用于对判定结果和骨密度图像进行特征提取，得到单一模态的特征序列；
特征融合模块，用于对单一模态的特征序列进行多模态融合，得到多模态统一的特征序列；
报告生成模块，用于根据多模态统一的特征序列进行病情诊断和文本生成，得到电子骨密度报告。
可选地，所述特征提取模块，包括：
文本特征向量处理子模块，用于使用预训练的BERT模型为以文本形式表示的骨密度判定结果生成对应的文本特征向量XText；
视觉特征向量子模块，用于将以图像形式表示的骨密度图像输入到卷积神经网络，提取图像中的语义信息，得到视觉特征向量XImage。
可选地，所述特征融合模块，包括：
第一运算子模块：通过以下表达式计算每个模态的Query、Key和Value矩阵，作为双向多模态注意单元的输入：
其中，LP(·)表示线性投影层，Norm(·)表示归一化层，n＝0，1分别表示第1和第2个双向多模态注意单元的索引；XText表示文本特征向量；XImage表示视觉特征向量；
第二运算子模块：将的每个模态的Query、Key和Value矩阵输入双向多模态注意单元，用于捕获文本和图像的模态间关系，得到多模态关联的隐向量和/>
其中，Attention(·)计算表达式如下所示：
其中，超参数dk为缩放因子；
第三运算子模块：将的隐向量和/>输入归一化层和多层感知机MLP并使用残差连接，得到该双向多模态注意单元的输出/>和/>
第四运算子模块：将的双向多模态注意单元的输出和/>作为下一个双向多模态注意单元的输入，重复以上步骤直至得到最终的隐向量χText和χImage；
第五运算子模块：连接的最终隐向量得到多模态统一的特征向量χText+Image＝χIext+χImage。
可选地，所述报告生成模块，包括：
诊断子模块，用于使用多模态统一的特征向量χText+Image作为条件，基于连续文本扩散模型进行有条件文本生成，得到综合骨密度诊断结果；
报告生成子模块，用于使用结构化表示方式整合目标人员的基础信息、骨密度图像、骨密度数据和综合骨密度诊断结果，得到完整的电子骨密度报告。
可选地，所述诊断子模块，包括：
第一诊断子单元：生成随机高斯噪声并与条件向量即多模态统一的特征向量χText+Image进行拼接，得到/>
第二诊断子单元：使用基于Transformer架构的去噪网络执行逆向扩散过程，转换概率/>可通过如下式子计算得到：
其中，μθ(·),σθ(·)分别为由去噪网络预测得到的期望及标准差,则逆向扩散过程的中间变量可通过根据分布/>采样得到，/>可通过如下式子计算得：
第三诊断子单元：在步骤2中，由于每次去噪会破坏中间变量中的条件向量，因此将步骤2中的每一个中间变量中条件向量位置上的部分替换成初始条件向量χText+Image；
第四诊断子单元：经过T步去噪操作得到最终的去噪结果取出/>中非条件向量位置上的结果即为生成的词嵌入向量/>使用神经网络对词嵌入向量执行rounding操作，将连续的词嵌入向量映射到离散的文本，得到综合骨密度诊断结果。
可选地，所述远程设备，包括：
患者显示界面，用于根据输入的身份信息调取电子骨密度报告，供患者查阅诊断结果；
医生显示界面，用于根据输入的身份信息调取或修改电子骨密度报告，供医生查阅及按需修改诊断结果。
根据本发明提供的具体实施例，本发明公开了以下技术效果：
本发明公开了一种基于扩散模型文本生成技术的骨密度报告生成平台，使用双向多模态注意单元捕获不同模态内部关系及模态之间的关系，可以充分提高骨密度诊断结果准确性；本发明使用扩散模型进行有条件文本生成，可以充分提高报告生成性能；本发明使用中心云平台进行数据分析及存储，使用远程设备进行报告调取和修改，可以显著提高骨密度数据管理效率。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1为本发明提供的基于扩散模型文本生成技术的骨密度报告生成平台的框架示意图；
图2为本实施例中的骨密度判定标准示意图；
图3为本实施例中对单一模态的特征序列进行多模态融合的示意图；
图4为本实施例中双向多模态注意单元结构示意图；
图5为本实施例中使用扩散模型进行有条件文本生成的流程示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
本发明的目的是提供一种基于扩散模型文本生成技术的骨密度报告生成平台，能够提高骨密度数据管理的效率和骨密度数据判定结果的准确性。
为使本发明的上述目的、特征和优点能够更加明显易懂，下面结合附图和具体实施方式对本发明作进一步详细的说明。
如图1所示，本发明提供的基于扩散模型文本生成技术的骨密度报告生成平台包括：
骨密度测量设备，用于获取目标人员的骨密度图像并测量骨密度数据；
信息采集设备，用于输入目标人员的基础信息、骨密度图像和骨密度数据；
中心云平台，用于根据设定的骨密度判定标准对骨密度数据进行自动化分析计算，确定骨密度判定结果，并基于判定结果和骨密度图像生成电子骨密度报告，同时按照设定的排序方式对基础信息、骨密度数据和电子骨密度报告进行存储；
远程设备，用于登录中心云平台，根据输入的身份信息确定用户身份，并登录进入医生显示界面或患者显示界面，调取或修改电子骨密度报告。
在一个具体实施例中，根据输入的目标人员的基础信息和骨密度数据，基于如图2所示的判定标准确定骨密度判定结果，得到文本形式的判定结果。其中，骨密度数据是基于双能X线骨密度仪测量得到的。
在一个具体实施例中，基于判定结果和骨密度图像生成电子骨密度报告，包括：
特征提取模块，用于对判定结果和骨密度图像进行特征提取，得到单一模态的特征序列；
特征融合模块，用于对单一模态的特征序列进行多模态融合，得到多模态统一的特征序列；
报告生成模块，用于根据多模态统一的特征序列进行病情诊断和文本生成，得到电子骨密度报告。
在一个具体实施例中，特征提取模块，包括：
使用预训练的BERT模型为以文本形式表示的骨密度判定结果生成对应的文本特征向量XText；
将以图像形式表示的骨密度图像输入到卷积神经网络，提取图像中的语义信息，得到视觉特征向量XImage。
具体的，用于图像特征提取的卷积神经网络使用ResNet模型进行大量的卷积操作后，将标准的可学习的位置嵌入和dropout操作添加至每个视觉表示，得到蕴含位置信息的视觉特征向量。
在一个具体实施例中，对单一模态的特征序列进行多模态融合，如图3所示，包括以下步骤：
步骤1：通过以下表达式计算每个模态的Query、Key和Value矩阵，作为双向多模态注意单元的输入：
其中，LP(·)表示线性投影层，Norm(·)表示归一化层，n＝0，1分别表示第1和第2个双向多模态注意单元的索引；
步骤2：将每个模态的Query、Key和Value矩阵输入双向多模态注意单元，用于捕获文本和图像的模态间关系，双向多模态注意单元的结构示意图如图4所示，得到多模态关联的隐向量和/>
其中，Attention(·)计算表达式如下所示：
其中，超参数dk为缩放因子；
步骤3：将隐向量和/>输入归一化层和多层感知机MLP并使用残差连接，得到该双向多模态注意单元的输出/>和/>
步骤4：将双向多模态注意单元的输出和/>作为下一个双向多模态注意单元的输入，重复步骤1～步骤3，得到最终的隐向量χText和χImage；
步骤5：连接最终隐向量得到多模态统一的特征向量χText+Image＝χText+XImage。
在一个具体实施例中，报告生成模块包括：
使用多模态统一的特征向量χText+Image作为条件，基于连续文本扩散模型进行有条件文本生成，得到综合骨密度诊断结果；
使用结构化表示方式整合目标人员的基础信息、骨密度图像、骨密度数据和综合骨密度诊断结果，得到完整的电子骨密度报告。
在一个具体实施例中，基于连续文本扩散模型进行有条件文本生成，如图5所示，包括以下步骤：
步骤1：生成随机高斯噪声并与条件向量即多模态统一的特征向量χText+Image进行拼接，得到/>在统一的特征空间中进行有条件文本生成；
步骤2：使用基于Transformer架构的去噪网络执行逆向扩散过程，转换概率/>可通过如下式子计算得到:
其中，μθ(·),σθ(·)分别为由去噪网络预测得到的期望及标准差,则逆向扩散过程的中间变量可通过根据分布/>采样得到，/>可通过如下式子计算得:
步骤3：在步骤2中，由于每次去噪会破坏中间变量中的条件向量，因此将步骤2中的每一个中间变量中条件向量位置上的部分替换成初始条件向量χText+Image；
步骤4：经过T步去噪操作得到最终的去噪结果取出/>中非条件向量位置上的结果即为生成的词嵌入向量/>使用神经网络对词嵌入向量执行rounding操作，将连续的词嵌入向量映射到离散的文本，得到综合骨密度诊断结果。
在一个具体实施例中，远程设备包括：
患者显示界面，用于根据所述输入的身份信息调取所述电子骨密度报告，供患者查阅诊断结果；
医生显示界面，用于根据所述输入的身份信息调取或修改所述电子骨密度报告，供医生查阅及按需修改诊断结果。
本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。
本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处。综上所述，本说明书内容不应理解为对本发明的限制。
Claims (7)
1.一种基于扩散模型文本生成技术的骨密度报告生成平台，其特征在于，包括：
骨密度测量设备，用于获取目标人员的骨密度图像并测量骨密度数据；
信息采集设备，用于输入目标人员的基础信息、所述骨密度图像和所述骨密度数据；
中心云平台，用于根据设定的骨密度判定标准对所述骨密度数据进行自动化分析计算，确定骨密度判定结果，并基于所述判定结果和所述骨密度图像生成电子骨密度报告，同时按照设定的排序方式对所述基础信息、所述骨密度数据和所述电子骨密度报告进行存储；
远程设备，用于登录所述中心云平台，根据输入的身份信息确定用户身份，并登录进入对应的平台界面，调取或修改所述电子骨密度报告。
2.根据权利要求1所述的基于扩散模型文本生成技术的骨密度报告生成平台，其特征在于，所述中心云平台包括电子骨密度报告生成单元；
所述电子骨密度报告生成单元，具体包括：
特征提取模块，用于对判定结果和骨密度图像进行特征提取，得到单一模态的特征序列；
特征融合模块，用于对单一模态的特征序列进行多模态融合，得到多模态统一的特征序列；
报告生成模块，用于根据多模态统一的特征序列进行病情诊断和文本生成，得到电子骨密度报告。
3.根据权利要求2所述的基于扩散模型文本生成技术的骨密度报告生成平台，其特征在于，所述特征提取模块，包括：
文本特征向量处理子模块，用于使用预训练的BERT模型为以文本形式表示的骨密度判定结果生成对应的文本特征向量XText；
视觉特征向量子模块，用于将以图像形式表示的骨密度图像输入到卷积神经网络，提取图像中的语义信息，得到视觉特征向量XImage。
4.根据权利要求2所述的基于扩散模型文本生成技术的骨密度报告生成平台，其特征在于，所述特征融合模块，包括：
第一运算子模块：通过以下表达式计算每个模态的Query、Key和Value矩阵，作为双向多模态注意单元的输入：
其中，LP(·)表示线性投影层，Norm(·)表示归一化层，n＝0，1分别表示第1和第2个双向多模态注意单元的索引；XText表示文本特征向量；XImage表示视觉特征向量；
第二运算子模块：将的每个模态的Query、Key和Value矩阵输入双向多模态注意单元，用于捕获文本和图像的模态间关系，得到多模态关联的隐向量和/>
其中，Attention(·)计算表达式如下所示：
其中，超参数dk为缩放因子；
第三运算子模块：将的隐向量和/>输入归一化层和多层感知机MLP并使用残差连接，得到该双向多模态注意单元的输出/>和/>
第四运算子模块：将的双向多模态注意单元的输出和/>作为下一个双向多模态注意单元的输入，重复以上步骤直至得到最终的隐向量χText和χImage；
第五运算子模块：连接的最终隐向量得到多模态统一的特征向量χText+Image＝χText+χImage。
5.根据权利要求2所述的基于扩散模型文本生成技术的骨密度报告生成平台，其特征在于，所述报告生成模块，包括：
诊断子模块，用于使用多模态统一的特征向量χText+Image作为条件，基于连续文本扩散模型进行有条件文本生成，得到综合骨密度诊断结果；
报告生成子模块，用于使用结构化表示方式整合目标人员的基础信息、骨密度图像、骨密度数据和综合骨密度诊断结果，得到完整的电子骨密度报告。
6.根据权利要求5所述的基于扩散模型文本生成技术的骨密度报告生成平台，其特征在于，所述诊断子模块，包括：
第一诊断子单元：生成随机高斯噪声并与条件向量即多模态统一的特征向量χText+Image进行拼接，得到/>
第二诊断子单元：使用基于Transformer架构的去噪网络执行逆向扩散过程，转换概率/>可通过如下式子计算得到：
其中，μθ(·),σθ(·)分别为由去噪网络预测得到的期望及标准差,则逆向扩散过程的中间变量可通过根据分布/>采样得到，/>可通过如下式子计算得：
第三诊断子单元：在步骤2中，由于每次去噪会破坏中间变量中的条件向量，因此将步骤2中的每一个中间变量中条件向量位置上的部分替换成初始条件向量χText+Image；
第四诊断子单元：经过T步去噪操作得到最终的去噪结果取出/>中非条件向量位置上的结果即为生成的词嵌入向量/>使用神经网络对词嵌入向量执行rounding操作，将连续的词嵌入向量映射到离散的文本，得到综合骨密度诊断结果。
7.根据权利要求1所述的基于扩散模型文本生成技术的骨密度报告生成平台，其特征在于，所述远程设备，包括：
患者显示界面，用于根据输入的身份信息调取电子骨密度报告，供患者查阅诊断结果；
医生显示界面，用于根据输入的身份信息调取或修改电子骨密度报告，供医生查阅及按需修改诊断结果。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202410212649.3A CN118072899A (zh) | 2024-02-27 | 2024-02-27 | 一种基于扩散模型文本生成技术的骨密度报告生成平台 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202410212649.3A CN118072899A (zh) | 2024-02-27 | 2024-02-27 | 一种基于扩散模型文本生成技术的骨密度报告生成平台 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN118072899A true CN118072899A (zh) | 2024-05-24 |
Family
ID=91107057
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202410212649.3A Pending CN118072899A (zh) | 2024-02-27 | 2024-02-27 | 一种基于扩散模型文本生成技术的骨密度报告生成平台 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN118072899A (zh) |
Citations (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113470777A (zh) * | 2021-06-04 | 2021-10-01 | 江苏大学 | 一种肿瘤辅助诊断报告生成方法、装置、电子设备、存储介质 |
| CN113631080A (zh) * | 2019-03-29 | 2021-11-09 | 佳能株式会社 | 信息处理装置和信息处理方法 |
| CN114708952A (zh) * | 2022-06-02 | 2022-07-05 | 合肥综合性国家科学中心人工智能研究院(安徽省人工智能实验室) | 一种图像标注方法、装置、存储介质和电子设备 |
| CN114743630A (zh) * | 2022-04-01 | 2022-07-12 | 杭州电子科技大学 | 一种基于跨模态对比学习的医学报告生成方法 |
| CN115206478A (zh) * | 2022-04-28 | 2022-10-18 | 上海商汤智能科技有限公司 | 医学报告生成方法以及装置、电子设备、可读存储介质 |
| CN115293128A (zh) * | 2022-08-04 | 2022-11-04 | 上海大学 | 基于多模态对比学习放射学报告生成模型训练方法及系统 |
| CN115312151A (zh) * | 2022-08-10 | 2022-11-08 | 腾讯科技（深圳）有限公司 | 数据信息生成方法、装置、计算机设备和存储介质 |
| CN115331769A (zh) * | 2022-07-15 | 2022-11-11 | 北京大学 | 基于多模态融合的医学影像报告生成方法及装置 |
| CN116245828A (zh) * | 2023-02-09 | 2023-06-09 | 复旦大学附属儿科医院 | 一种融合医学领域知识的胸部x线质量评价方法 |
| CN116631567A (zh) * | 2023-07-21 | 2023-08-22 | 紫东信息科技(苏州)有限公司 | 一种胃镜检查报告生成装置、设备及计算机可读存储介质 |
| CN117352121A (zh) * | 2023-11-02 | 2024-01-05 | 北京邮电大学 | 一种医学影像报告的生成方法及装置 |
| CN117393098A (zh) * | 2023-10-24 | 2024-01-12 | 电子科技大学 | 基于视觉先验和跨模态对齐网络的医疗影像报告生成方法 |
-
2024
- 2024-02-27 CN CN202410212649.3A patent/CN118072899A/zh active Pending
Patent Citations (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113631080A (zh) * | 2019-03-29 | 2021-11-09 | 佳能株式会社 | 信息处理装置和信息处理方法 |
| CN113470777A (zh) * | 2021-06-04 | 2021-10-01 | 江苏大学 | 一种肿瘤辅助诊断报告生成方法、装置、电子设备、存储介质 |
| CN114743630A (zh) * | 2022-04-01 | 2022-07-12 | 杭州电子科技大学 | 一种基于跨模态对比学习的医学报告生成方法 |
| CN115206478A (zh) * | 2022-04-28 | 2022-10-18 | 上海商汤智能科技有限公司 | 医学报告生成方法以及装置、电子设备、可读存储介质 |
| CN114708952A (zh) * | 2022-06-02 | 2022-07-05 | 合肥综合性国家科学中心人工智能研究院(安徽省人工智能实验室) | 一种图像标注方法、装置、存储介质和电子设备 |
| CN115331769A (zh) * | 2022-07-15 | 2022-11-11 | 北京大学 | 基于多模态融合的医学影像报告生成方法及装置 |
| CN115293128A (zh) * | 2022-08-04 | 2022-11-04 | 上海大学 | 基于多模态对比学习放射学报告生成模型训练方法及系统 |
| CN115312151A (zh) * | 2022-08-10 | 2022-11-08 | 腾讯科技（深圳）有限公司 | 数据信息生成方法、装置、计算机设备和存储介质 |
| CN116245828A (zh) * | 2023-02-09 | 2023-06-09 | 复旦大学附属儿科医院 | 一种融合医学领域知识的胸部x线质量评价方法 |
| CN116631567A (zh) * | 2023-07-21 | 2023-08-22 | 紫东信息科技(苏州)有限公司 | 一种胃镜检查报告生成装置、设备及计算机可读存储介质 |
| CN117393098A (zh) * | 2023-10-24 | 2024-01-12 | 电子科技大学 | 基于视觉先验和跨模态对齐网络的医疗影像报告生成方法 |
| CN117352121A (zh) * | 2023-11-02 | 2024-01-05 | 北京邮电大学 | 一种医学影像报告的生成方法及装置 |
Non-Patent Citations (4)
| Title |
|---|
| HONG-YU ZHOU 等: "A transformer-based representation-learning model with unified processing of multimodal input for clinical diagnostics", 《NATURE BIOMEDICAL ENGINEERING》, vol. 7, 12 January 2023 (2023-01-12), pages 743 - 755 * |
| 呆呆的猫: "【扩散模型】1、扩散模型|到底什么是扩散模型", Retrieved from the Internet <URL:https://blog.csdn.net/jiaoyangwm/article/details/129439761> * |
| 数据派THU: "从大一统视角理解扩散模型（Diffusion Models）", Retrieved from the Internet <URL:https://rmh.pdnews.cn/Pc/ArtInfoApi/article?id=31908002> * |
| 机器学习算法与自然语言处理: "扩撒模型如何用在医学上？最新《扩散模型医学图像分析》综述， 25页pdf全面阐述医学图像扩散模型方法体系", Retrieved from the Internet <URL:https://mp.weixin.qq.com/s?__biz=MzI4MDYzNzg4Mw==&mid=2247553894&idx=5&sn=793e99f7d6cb3c185c4c8984ae3ad1ef&chksm=ebb72bb2dcc0a2a4077ce748e7989ba1b087c54e746ceb8c95b10c3c615811999ac246938398&scene=27> * |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Xue et al. | Multimodal recurrent model with attention for automated radiology report generation | |
| US10929420B2 (en) | Structured report data from a medical text report | |
| CN111316281B (zh) | 基于机器学习的自然语言情境中数值数据的语义分类方法以及系统 | |
| CN112712879B (zh) | 医学影像报告的信息提取方法、装置、设备及存储介质 | |
| CN113241135A (zh) | 一种基于多模态融合的疾病风险预测方法和系统 | |
| CN115293128A (zh) | 基于多模态对比学习放射学报告生成模型训练方法及系统 | |
| CN116340778B (zh) | 基于多模态的医疗大模型构建方法及其相关设备 | |
| CN114708976A (zh) | 辅助诊断技术的方法、装置、设备及存储介质 | |
| CN115205880A (zh) | 一种医学影像报告生成方法及装置 | |
| CN112216379A (zh) | 一种基于智能联合学习的疾病诊断系统 | |
| Hartsock et al. | Vision-language models for medical report generation and visual question answering: A review | |
| Li et al. | A medical ai diagnosis platform based on vision transformer for coronavirus | |
| Zhu et al. | REALM: RAG-Driven Enhancement of Multimodal Electronic Health Records Analysis via Large Language Models | |
| CN117391092A (zh) | 一种基于对比学习的电子病历多模态医疗语义对齐方法 | |
| CN110060749B (zh) | 基于sev-sdg-cnn的电子病历智能诊断方法 | |
| CN116258136A (zh) | 检错模型训练方法、医学影像报告检测方法、系统及设备 | |
| Qin | Research on the application of intelligent speech recognition technology in medical big data fog computing system | |
| CN118072899A (zh) | 一种基于扩散模型文本生成技术的骨密度报告生成平台 | |
| CN116956869A (zh) | 文本标准化方法、装置、电子设备及存储介质 | |
| CN112966153B (zh) | 术语映射方法、装置、电子设备以及存储介质 | |
| CN110289065A (zh) | 一种辅助生成医学电子报告的控制方法以及装置 | |
| Wang et al. | Knowledge-Enhanced Medical Visual Question Answering: A Survey (Invited Talk Summary) | |
| CN118098482B (zh) | 基于5g技术的智慧医疗管理系统及方法 | |
| CN117009501B (zh) | 一种摘要信息生成方法及相关装置 | |
| Sonntag et al. | Design and implementation of a semantic dialogue system for radiologists |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |