CN115240844B - 辅助诊断模型的训练方法、装置、电子设备及存储介质 - Google Patents
辅助诊断模型的训练方法、装置、电子设备及存储介质 Download PDFInfo
- Publication number
- CN115240844B CN115240844B CN202210837466.1A CN202210837466A CN115240844B CN 115240844 B CN115240844 B CN 115240844B CN 202210837466 A CN202210837466 A CN 202210837466A CN 115240844 B CN115240844 B CN 115240844B
- Authority
- CN
- China
- Prior art keywords
- multimedia information
- embedding
- text
- lesion
- focus
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000003745 diagnosis Methods 0.000 title claims abstract description 174
- 238000000034 method Methods 0.000 title claims abstract description 51
- 238000012549 training Methods 0.000 title claims abstract description 39
- 230000003902 lesion Effects 0.000 claims abstract description 132
- 230000000007 visual effect Effects 0.000 claims abstract description 52
- 230000004927 fusion Effects 0.000 claims abstract description 15
- 230000006870 function Effects 0.000 claims description 38
- 239000013598 vector Substances 0.000 claims description 26
- 238000012790 confirmation Methods 0.000 claims description 6
- 239000000126 substance Substances 0.000 claims description 3
- 238000010586 diagram Methods 0.000 description 12
- 210000000481 breast Anatomy 0.000 description 10
- 238000002604 ultrasonography Methods 0.000 description 10
- 230000003211 malignant effect Effects 0.000 description 9
- 238000004891 communication Methods 0.000 description 8
- 238000004590 computer program Methods 0.000 description 6
- 238000012545 processing Methods 0.000 description 6
- 230000009189 diving Effects 0.000 description 4
- 239000000284 extract Substances 0.000 description 4
- 238000002405 diagnostic procedure Methods 0.000 description 3
- 230000003287 optical effect Effects 0.000 description 3
- 230000008569 process Effects 0.000 description 3
- 238000013473 artificial intelligence Methods 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 2
- 230000006866 deterioration Effects 0.000 description 2
- 230000003993 interaction Effects 0.000 description 2
- 238000006467 substitution reaction Methods 0.000 description 2
- 238000003491 array Methods 0.000 description 1
- 230000001413 cellular effect Effects 0.000 description 1
- 238000012512 characterization method Methods 0.000 description 1
- 238000013527 convolutional neural network Methods 0.000 description 1
- 230000007812 deficiency Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 239000013307 optical fiber Substances 0.000 description 1
- 210000000056 organ Anatomy 0.000 description 1
- 238000007639 printing Methods 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 230000001953 sensory effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
- G16H50/20—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
- G16H50/70—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for mining of medical data, e.g. analysing previous cases of other patients
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02A—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
- Y02A90/00—Technologies having an indirect contribution to adaptation to climate change
- Y02A90/10—Information and communication technologies [ICT] supporting adaptation to climate change, e.g. for weather forecasting or climate simulation
Landscapes
- Engineering & Computer Science (AREA)
- Health & Medical Sciences (AREA)
- Medical Informatics (AREA)
- Public Health (AREA)
- Data Mining & Analysis (AREA)
- Biomedical Technology (AREA)
- Databases & Information Systems (AREA)
- Pathology (AREA)
- Epidemiology (AREA)
- General Health & Medical Sciences (AREA)
- Primary Health Care (AREA)
- Medical Treatment And Welfare Office Work (AREA)
Abstract
本公开提供了一种辅助诊断模型的训练方法、装置、电子设备及存储介质，所述方法包括：将第一多媒体信息样本输入至多媒体分支中，获取病灶视觉特征嵌入；将既往病史文本信息输入至文本分支中，获取文本特征嵌入；基于病灶视觉特征嵌入和文本特征嵌入融合后的特征，确认预测病灶等级分类，以及病灶嵌入特征；将病灶嵌入特征输入至生成模块中，获取预测诊断文本信息；基于第一多媒体信息样本对应的标记病灶等级分类、预测病灶等级分类、第一多媒体信息样本对应的标记诊断文本信息和预测诊断文本信息确认损失函数；基于损失函数调整辅助诊断模型的参数，直至损失函数满足第一条件，确认辅助诊断模型训练完成。
Description
技术领域
本公开涉及人工智能技术领域，尤其涉及一种辅助诊断模型的训练方法、装置、电子设备及存储介质。
背景技术
超声检查时需要两名专业医生，进行扫描及诊断的医生往往需要5至10年的经验，加重了医疗资源的紧张；此外，出具一份医疗诊断报告耗时长，可重复性工作较多且容易出错，增加了医生的工作强度。
发明内容
本公开提供了一种辅助诊断模型的训练方法、装置、电子设备及存储介质，以至少解决现有技术中存在的以上技术问题。
根据本公开的第一方面，提供一种辅助诊断模型的训练方法，包括：
将第一多媒体信息样本输入至辅助诊断模型包括的多媒体分支中，获取所述第一多媒体信息样本对应的病灶视觉特征嵌入；
将所述第一多媒体信息样本对应的既往病史文本信息输入至所述辅助诊断模型包括的文本分支中，获取所述既往病史文本信息对应的文本特征嵌入；
基于所述病灶视觉特征嵌入和所述文本特征嵌入融合后的特征，确认所述第一多媒体信息样本的对应的预测病灶等级分类，以及所述第一多媒体信息样本对应的病灶嵌入特征；
将所述病灶嵌入特征输入至所述辅助诊断模型包括的生成模块中，获取所述第一多媒体信息样本对应的预测诊断文本信息；
基于所述第一多媒体信息样本对应的标记病灶等级分类、所述预测病灶等级分类、所述第一多媒体信息样本对应的标记诊断文本信息和所述预测诊断文本信息确认损失函数；
基于所述损失函数调整所述辅助诊断模型的参数，直至所述损失函数满足第一条件，确认所述辅助诊断模型训练完成。
上述方案中，所述将第一多媒体信息样本输入至辅助诊断模型包括的多媒体分支中，获取所述第一多媒体信息样本对应的病灶视觉特征嵌入，包括：
将所述第一多媒体信息样本输入至所述多媒体分支包括的第一特征编码器和线性层中，获取所述第一多媒体信息样本对应的病灶视觉特征嵌入。
上述方案中，所述将所述第一多媒体信息样本对应的既往病史文本信息输入至所述辅助诊断模型包括的文本分支中，获取所述既往病史文本信息对应的文本特征嵌入，包括：
将所述既往病史文本信息输入至所述文本分支包括的第二特征编码器和注意力嵌入层中，获取所述既往病史文本信息对应的文本特征嵌入。
上述方案中，所述基于所述病灶视觉特征嵌入和所述文本特征嵌入融合后的特征，确认所述第一多媒体信息样本的对应的预测病灶等级分类，以及所述第一多媒体信息样本对应的病灶嵌入特征，包括：
对所述病灶视觉特征嵌入和所述文本特征嵌入进行融合，确认融合后的特征；所述融合后的特征包括与所述第一多媒体信息样本对应的病灶状态的特征；
将所述融合后的特征输入至所述辅助诊断模型包括的分类层中，确认所述分类层的输出为所述第一多媒体信息样本对应的预测病灶等级分类；
基于所述预测病灶等级分类，确认所述第一多媒体信息样本对应的病灶等级嵌入特征；
基于所述融合后的特征和所述病灶等级嵌入特征，确认所述第一多媒体信息样本对应的病灶嵌入特征。
上述方案中，所述将所述病灶嵌入特征输入至所述辅助诊断模型包括的生成模块中，获取所述第一多媒体信息样本对应的预测诊断文本信息，包括：
将所述病灶嵌入特征，以及第一预测词汇拼接组成的向量输入至所述生成模块中，所述生成模块输出第一预测词汇与第二预测词汇所组成的向量；其中，所述第一预测词汇为最近一次所述生成模块输出的预测词汇；
将所述病灶嵌入特征、所述第一预测词汇和所述第二预测词汇拼接组成的向量输入至所述生成模块中，所述生成模块输出第一预测词汇、第二预测词汇与所述第三预测词汇所组成的向量；
直至所述病灶嵌入特征中全部词汇被预测完成，确认全部预测词汇所组成的向量为所述第一多媒体信息样本对应的预测诊断文本信息；
其中，所述生成模块包括至少一组多头注意力层和前馈层所组成的结构。
上述方案中，所述基于所述第一多媒体信息样本对应的标记病灶等级分类、所述预测病灶等级分类、所述第一多媒体信息样本对应的标记诊断文本信息和所述预测诊断文本信息确认损失函数，包括：
基于所述第一多媒体信息样本对应的标记病灶等级分类和所述预测病灶等级分类，确认第一子损失值；
基于所述第一多媒体信息样本对应的标记诊断文本信息和所述预测诊断文本信息确认第二子损失值；
基于所述第一子损失值和所述第二子损失值确认所述损失函数。
上述方案中，所述基于所述第一多媒体信息样本对应的标记病灶等级分类和所述预测病灶等级分类，确认第一子损失值，包括：
基于所述第一多媒体信息样本中第一病灶对应的第一等级的预测病灶等级分类的对数值，与所述第一病灶对应的第一等级的标记病灶等级分类的乘积，确认所述第一子损失值。
上述方案中，所述基于所述第一多媒体信息样本对应的标记诊断文本信息和所述预测诊断文本信息确认第二子损失值，包括：
基于所述预测诊断文本信息包括的第一文本信息的预测值的对数值，以及所述标记诊断文本信息包括的第一文本信息的标记值的乘积，确认所述第二子损失值。
根据本公开的第二方面，提供一种辅助诊断方法，应用基于上述第一方面训练完成的辅助诊断模型，包括：
将待辅助诊断多媒体信息输入至所述辅助诊断模型包括的多媒体分支中，获取所述待辅助诊断多媒体信息对应的第一病灶视觉特征嵌入；
将所述待辅助诊断多媒体信息对应的既往病史文本信息输入至所述辅助诊断模型包括的文本分支中，获取所述既往病史文本信息对应的第一文本特征嵌入；
基于所述第一病灶视觉特征嵌入和所述第一文本特征嵌入融合后的特征，确认所述待辅助诊断多媒体信息的对应的病灶等级分类，以及所述待辅助诊断多媒体信息对应的第一病灶嵌入特征；
将所述第一病灶嵌入特征输入至所述辅助诊断模型包括的生成模块中，获取所述待辅助诊断多媒体信息对应的辅助诊断文本信息。
根据本公开的第三方面，提供了一种辅助诊断模型的训练装置，包括：
第一输入单元，用于将第一多媒体信息样本输入至辅助诊断模型包括的多媒体分支中，获取所述第一多媒体信息样本对应的病灶视觉特征嵌入；
第二输入单元，用于将所述第一多媒体信息样本对应的既往病史文本信息输入至所述辅助诊断模型包括的文本分支中，获取所述既往病史文本信息对应的文本特征嵌入；
第一融合单元，用于基于所述病灶视觉特征嵌入和所述文本特征嵌入融合后的特征，确认所述第一多媒体信息样本的对应的预测病灶等级分类，以及所述第一多媒体信息样本对应的病灶嵌入特征；
第三输入单元，用于将所述病灶嵌入特征输入至所述辅助诊断模型包括的生成模块中，获取所述第一多媒体信息样本对应的预测诊断文本信息；
损失确认单元，用于基于所述第一多媒体信息样本对应的标记病灶等级分类、所述预测病灶等级分类、所述第一多媒体信息样本对应的标记诊断文本信息和所述预测诊断文本信息确认损失函数；
调整单元，用于基于所述损失函数调整所述辅助诊断模型的参数，直至所述损失函数满足第一条件，确认所述辅助诊断模型训练完成。
根据本公开的第三方面，提供了一种辅助诊断装置，包括：
第四输入单元，用于将待辅助诊断多媒体信息输入至所述辅助诊断模型包括的多媒体分支中，获取所述待辅助诊断多媒体信息对应的第一病灶视觉特征嵌入；
第五输入单元，用于将所述待辅助诊断多媒体信息对应的既往病史文本信息输入至所述辅助诊断模型包括的文本分支中，获取所述既往病史文本信息对应的第一文本特征嵌入；
第二融合单元，用于基于所述第一病灶视觉特征嵌入和所述第一文本特征嵌入融合后的特征，确认所述待辅助诊断多媒体信息的对应的病灶等级分类，以及所述待辅助诊断多媒体信息对应的第一病灶嵌入特征；
生成单元，用于将所述第一病灶嵌入特征输入至所述辅助诊断模型包括的生成模块中，获取所述待辅助诊断多媒体信息对应的辅助诊断文本信息。
根据本公开的第五方面，提供了一种电子设备，包括：
至少一个处理器；以及
与所述至少一个处理器通信连接的存储器；其中，
所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行本公开所述的方法。
根据本公开的第六方面，提供了一种存储有计算机指令的非瞬时计算机可读存储介质，所述计算机指令用于使所述计算机执行本公开所述的方法。
本公开的一种辅助诊断模型的训练方法，包括：将第一多媒体信息样本输入至辅助诊断模型包括的多媒体分支中，获取所述第一多媒体信息样本对应的病灶视觉特征嵌入；将所述第一多媒体信息样本对应的既往病史文本信息输入至所述辅助诊断模型包括的文本分支中，获取所述既往病史文本信息对应的文本特征嵌入；基于所述病灶视觉特征嵌入和所述文本特征嵌入融合后的特征，确认所述第一多媒体信息样本的对应的预测病灶等级分类，以及所述第一多媒体信息样本对应的病灶嵌入特征；将所述病灶嵌入特征输入至所述辅助诊断模型包括的生成模块中，获取所述第一多媒体信息样本对应的预测诊断文本信息；基于所述第一多媒体信息样本对应的标记病灶等级分类、所述预测病灶等级分类、所述第一多媒体信息样本对应的标记诊断文本信息和所述预测诊断文本信息确认损失函数；基于所述损失函数调整所述辅助诊断模型的参数，直至所述损失函数满足第一条件，确认所述辅助诊断模型训练完成；如此，可以结合既往病史和病灶多媒体信息生成病灶的最终特征，并通过生成模块将上述病灶的最终特征生成辅助诊断报告文本，所述辅助诊断报告文本能够反应病灶的真实情况，缩短了医生的操作时间，提升医生生成诊断报告文本的效率。
应当理解，本部分所描述的内容并非旨在标识本公开的实施例的关键或重要特征，也不用于限制本公开的范围。本公开的其它特征将通过以下的说明书而变得容易理解。
附图说明
通过参考附图阅读下文的详细描述，本公开示例性实施方式的上述以及其他目的、特征和优点将变得易于理解。在附图中，以示例性而非限制性的方式示出了本公开的若干实施方式，其中：
在附图中，相同或对应的标号表示相同或对应的部分。
图1示出了本公开实施例提供的辅助诊断模型的训练方法的一种可选流程示意图；
图2示出了本公开实施例提供的辅助诊断模型的训练方法的另一种可选流程示意图；
图3示出了本公开实施例提供的辅助诊断模型的示意性框图；
图4示出了本公开实施例提供的辅助诊断方法的可选流程示意图；
图5示出了本公开实施例提供的辅助诊断模型的训练装置的可选结构示意图；
图6示出了本公开实施例提供的辅助诊断装置的可选结构示意图；
图7示出了本公开实施例一种电子设备的组成结构示意图。
具体实施方式
为使本公开的目的、特征、优点能够更加的明显和易懂，下面将结合本公开实施例中的附图，对本公开实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本公开一部分实施例，而非全部实施例。基于本公开中的实施例，本领域技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本公开保护的范围。
在超声检查项目中，通常配备有两位医生，其中具有5至10年经验的医生负责扫查器官依据影像并结合患者既往病史作出诊断进行口述，另一位医生将口述的内容进行书面记录形成诊断报告。医生通过诊断报告传达对患者医学扫描的发现和诊断，是医生和患者之间主要的媒介。打印(生成)一份医疗诊断报告平均需要五到十分钟，费时又费力且很容易出错，可重复性工作较多。这极大的增加了医生的工作强度，又进一步加重了医疗资源的紧张。
针对相关技术中存在的缺陷，本公开提供可一种辅助诊断模型的训练方法，以至少解决上述部分或全部技术问题。
在临床中对乳腺病灶良恶性的分类一般采用BIRADS等级，分为2、3、4A、4B、4C、5六个类别。其中BIRADS被判别为2的通常是囊性、实性、形态规则且边界清楚的良性病灶，没有恶化的风险；BIRADS为3的病灶是临床上典型的良性改变，恶化风险小于等于2％；BIRADS为4A、4B、4C的在超声上的表现通常是具有一种、两种、三或四种恶性征象的病灶，恶化风险分别为3％～10％、10％～50％、50％～95％；而BIRADS为5的95％的概率是恶性。因此正确判别BIRADS等级对于病灶的诊断非常重要。其次既往病史等信息对乳腺病灶的诊断通常也有重要的意义。故本公开提供一种辅助诊断模型的训练方法，对乳腺超声扫查视频和既往病史联合训练，通过融合两种特征同时输出病灶BIRADS等级预测结果，并自动生成辅助诊断报告。
图1示出了本公开实施例提供的辅助诊断模型的训练方法的一种可选流程示意图，将根据各个步骤进行说明。
在一些实施例中，所述辅助诊断模型包括多媒体分支、文本分支、融合模块和生成模块。
步骤S101，将第一多媒体信息样本输入至辅助诊断模型包括的多媒体分支中，获取所述第一多媒体信息样本对应的病灶视觉特征嵌入。
在一些实施例中，所述多媒体分支包括第一特征编码器和线性层，辅助诊断模型的训练装置(以下简称第一装置)将所述第一多媒体信息样本输入至所述第一特征编码器中，提取所述第一多媒体信息样本中的第一潜在特征，然后将所述第一潜在特征输入至所述线性层中，获取所述第一多媒体信息样本对应的病灶视觉特征嵌入。
其中，所述第一多媒体信息样本中包括第一图像样本和/或第一视频样本；所述第一图像样本可以是病灶的超声图像样本，所述第一视频样本可以是病灶的超声视频样本。在执行步骤S101之前，所述第一装置还可以：确认第一训练集，所述第一训练集中包括第一多媒体信息样本，以及所述第一多媒体信息样本对应的既往病史文本信息。
步骤S102，将所述第一多媒体信息样本对应的既往病史文本信息输入至所述辅助诊断模型包括的文本分支中，获取所述既往病史文本信息对应的文本特征嵌入。
在一些实施例中，所述文本分支包括第二特征编码器和注意力嵌入层，所述第一装置将所述既往病史文本信息输入至所述第二特征编码器中，获得所述既往病史文本信息的第二潜在特征，将所述第二潜在特征输入至所述注意力嵌入层中，获取所述文本特征嵌入。其中，所述注意力嵌入层可以包括病灶状态的词汇注意力热图，所述第一装置将所述第二潜在特征输入至所述注意力嵌入层后，对所述病灶状态的词汇注意力热图与所述第二潜在特征进行加权求和，获得所述文本特征嵌入。
步骤S103，基于所述病灶视觉特征嵌入和所述文本特征嵌入融合后的特征，确认所述第一多媒体信息样本的对应的预测病灶等级分类，以及所述第一多媒体信息样本对应的病灶嵌入特征。
在一些实施例中，所述辅助诊断模型还包括融合模块，所述融合模块可以包括Add&LayerNorm和分类层，所述第一装置将所述多媒体特征嵌入和所述文本特征嵌入输入至所述融合模块中，获得与所述第一多媒体信息样本对应的病灶状态的融合后的特征；将所述融合后的特征输入至所述辅助诊断模型包括的分类层中，确认所述分类层的输出为所述第一多媒体信息样本对应的预测病灶等级分类；基于所述预测病灶等级分类，确认所述第一多媒体信息样本对应的病灶等级嵌入特征。
具体实施时，所述预测病灶等级分类可以包括所述病灶对应各等级的概率值，基于所述预测病灶等级分类、所述第一多媒体信息样本对应的标记病灶等级分类可以确认所述第一多媒体信息样本对应的病灶等级嵌入特征。
在一些实施例中，所述第一装置基于所述融合后的特征和所述病灶等级嵌入特征，确认所述第一多媒体信息样本对应的病灶嵌入特征。
步骤S104，将所述病灶嵌入特征输入至所述辅助诊断模型包括的生成模块中，获取所述第一多媒体信息样本对应的预测诊断文本信息。
在一些实施例中，生成模块包括至少一组多头注意力层和前馈层所组成的结构，即多头自注意力层和前馈层所组成的结构为一组，所述生成模块中包括至少一组叠加的多头自注意力层和前馈层。
在一些是实施例中，所述第一装置将所述病灶嵌入特征作为所述生成模块的输入，以及第一预测词汇拼接组成的向量输入至所述生成模块中，所述生成模块输出第一预测词汇与第二预测词汇所组成的向量；其中，所述第一预测词汇为最近一次所述生成模块输出的预测词汇；将所述病灶嵌入特征、所述第一预测词汇和所述第二预测词汇拼接组成的向量输入至所述生成模块中，所述生成模块输出第一预测词汇、第二预测词汇与所述第三预测词汇所组成的向量；直至所述病灶嵌入特征中全部词汇被预测完成，确认全部预测词汇所组成的向量为所述第一多媒体信息样本对应的预测诊断文本信息。
其中，所述第二预测词汇为所述生成模块基于第一预测词汇拼接组成的向量和所述病灶嵌入特征输出的预测词汇；所述第三预测词汇为所述生成模块基于病灶嵌入特征、所述第一预测词汇和所述第二预测词汇拼接组成的向量输出的预测词汇。
步骤S105，基于所述第一多媒体信息样本对应的标记病灶等级分类、所述预测病灶等级分类、所述第一多媒体信息样本对应的标记诊断文本信息和所述预测诊断文本信息确认损失函数。
在一些实施例中，所述第一装置基于所述第一多媒体信息样本对应的标记病灶等级分类和所述预测病灶等级分类，确认第一子损失值；基于所述第一多媒体信息样本对应的标记诊断文本信息和所述预测诊断文本信息确认第二子损失值；基于所述第一子损失值和所述第二子损失值确认所述损失函数。
具体实施时，所述第一装置基于所述第一多媒体信息样本中第一病灶对应的第一等级的预测病灶等级分类的对数值，与所述第一病灶对应的第一等级的标记病灶等级分类的乘积，确认所述第一子损失值；基于所述预测诊断文本信息包括的第一文本信息的预测值的对数值，以及所述标记诊断文本信息包括的第一文本信息的标记值的乘积，确认所述第二子损失值。
具体的，第一子损失值L1可以由下式确定：
其中，yij∈{0,1}n*k表征第一多媒体信息样本中，第i个病灶状态(良性或恶性)的第j个标记病灶等级分类(BIRADS)；pij∈(0,1)n*k表示第一多媒体信息样本中，第i个病灶状态(良性或恶性)的第j个预测病灶等级分类(BIRADS)；其中，n表征病灶状态，n＝2；k表征病灶等级分类，k＝6。
第二子损失值L2可以由下式确定：
其中，l是预测诊断文本信息或标记诊断文本信息中包含词汇量的数量，a表征该词汇所在的位置，v是词汇长度；yw,ab表征标记诊断文本信息中第a个词汇对应全部词汇潜入表第b个词汇的概率标签，pw,ab表征预测诊断文本信息中第a个预测词汇对应所述词汇潜入表中第b个词汇的概率值。其中，所述词汇潜入表可以预先设置，其中包括诊断文本信息中的词汇，或诊断文本信息以外的词汇。
步骤S106，基于所述损失函数调整所述辅助诊断模型的参数，直至所述损失函数满足第一条件，确认所述辅助诊断模型训练完成。
在一些实施例中，所述第一装置基于所述第一子损失值和所述第二子损失值加权求和的结果确认所述损失函数；其中，所述第一子损失值和所述第二子损失值的权重可以通过网格搜索的方式确认。
在一些实施例中，所述第一装置对调整参数后的所述辅助诊断模型重复进行训练，每一次训练完成均确认当前损失函数，直至当前损失函数满足第一条件，则确认所述辅助诊断模型训练完成。其中，所述第一条件可以包括所述损失函数对应的数值不再变化、所述损失函数对应的数值小于第一预设值或者所述损失函数趋于平稳。
如此，通过本公开实施例提供的辅助诊断模型的训练方法，可以结合既往病史和病灶多媒体信息生成病灶的最终特征，并通过生成模块将上述病灶的最终特征生成辅助诊断报告文本，所述辅助诊断报告文本能够反应病灶的真实情况，医生可以基于所述辅助诊断报告文本生成最终的诊断报告文本(如对所述辅助诊断报告文本进行新增、修改、删除等造作)缩短了医生的操作时间，提升医生生成诊断报告文本的效率。
图2示出了本公开实施例提供的辅助诊断模型的训练方法的另一种可选流程示意图；图3示出了本公开实施例提供的辅助诊断模型的示意性框图，将结合图2和图3进行说明。
如图3所示，以第一多媒体信息样本为乳腺超声视频和/或乳腺超声图像为例，辅助诊断模型包括分类模块和生成模块，其中所述分类模块包括多媒体分支和文本分支；所述分类模块读取多个乳腺超声视频并通过多视图视频编码器(第一特征编码器)提取全局视觉特征(病灶视觉特征嵌入)，即所述分类模块读取一个乳腺超声视频，并通过第一特征编码器提取所述乳腺超声视频的全局视觉特征。同时文本编码器读取既往病史文本信息，提取文本特征嵌入。为了模拟医生诊断流程，根据患者的既往病史或影像的指示筛选病灶的视觉表现，视觉和文本特征通过“Add&LayerNorm”的操作进行融合，依据融合特征对BIRADS进行预测并生成病灶的最终特征。生成模块我们将上面得到的病灶最终特征作为初始输入，并逐字生成诊断报告文本。
步骤S201，获取病灶视觉特征嵌入。
在一些实施例中，多媒体分支包括第一特征编码器和线性层，所述第一特征编码器可以是Two-Stream Inflated 3D ConvNets(I3D)，第一装置基于所述第一特征编码器对第一多媒体信息样本提取第一潜在特征，随后通过线性层得到第一多媒体信息样本包括的病灶视觉特征嵌入
其中n＝2，代表病灶状态(良性、恶性)的特征嵌入，e1是病灶视觉特征嵌入的维度。
步骤S202，获取文本特征嵌入。
在一些实施例中，在文本分支包括第二特征编码器和注意力嵌入层；假设输入的既往病史文本信息由长度为l的词嵌入向量{w1,w2,…,wl}组成，
e2是词嵌入量的维度；采用Transformer作为第二特征编码器提取既往病史文本信息的第二潜在特征
e2是第二潜在特征的维度。随后通过注意力嵌入层Ftxt＝softmax(QHT)H得到文本特征嵌入
e4是文本特征嵌入的维度，其中softmax(QHT)是既往病史文本信息中m个病灶状态的词汇注意力热图，只关注既往病史文本信息中与病灶状态最相关的词，通过softmax(QHT)H，词汇的加权求和对既往病史文本信息进行总结得到文本特征嵌入。同上n＝2，
随机初始化，通过注意力过程不断学习，e5可以根据实际需求或实验结果设置。
步骤S203，确认病灶等级嵌入特征和第一子损失值。
在一些实施例中，所述第一装置将多媒体分支得到的病灶视觉特征嵌入Fimg和文本分支得到的文本特征嵌入Ftxt通过融合模块，即“Add&LayerNorm”的操作进行融合，得到融合后的特征Ffuse：
Ffuse＝LayerNorm(Fimg+Ftxt)
Ffuse中包含与病灶状态相关的特征，然后在融合模块后接一个分类层进一步对病灶的BIRADS等级分类，得到预测病灶等级分类p，
随机初始化，k＝6表示BIRADS类别个数，e6可以根据实际需求或实验结果设置。
p＝softmax(FfuseXT)
由此，病灶等级嵌入特征(病灶BIRADS等级嵌入特征)Fbirads：
其中，y为标记病灶等级分类。
在一些实施例中，所述第一装置可以确认所述融合后的特征Ffuse和所述病灶等级嵌入特征Fbirads之和，为所述第一多媒体信息样本对应的病灶嵌入特征Fall，即：
Fall＝Ffuse+Fbirads
步骤S204，获取预测诊断文本信息。
在一些实施例中，所述生成模块由掩码多头注意力层(masked multi-head self-attention)和前馈层(feed-forward)的组合叠加N次组成。
将分类模块得到的病灶嵌入特征Fall作为生成模块的初始输入，当预测报告中词汇位置
的嵌入特征时，将Fall与当前预测词汇先前的所有词汇嵌入向量拼接作为生成模块的输入。随后得到每个词汇的嵌入向量
l是报告文本长度。基于此预测报告的词汇可以通过下式确认：
pw＝softmax(GWT)
其中，
是整个词汇嵌入表，v是词汇长度，e7和e8为特征嵌入维度，可以根据实际需求或实验结果设置。
最后通过加权词嵌入向量生成最终的报告
步骤S205，确认辅助诊断模型的损失函数。
在一些实施例中，所述损失函数包括第一子损失值和第二子损失值。
第一子损失值可以采用交叉熵损失确认：
其中，yij∈{0,1}n*k表征第一多媒体信息样本中，第i个病灶状态(良性或恶性)的第j个标记病灶等级分类(BIRADS)；pij∈(0,1)n*k表示第一多媒体信息样本中，第i个病灶状态(良性或恶性)的第j个预测病灶等级分类(BIRADS)；其中，n表征病灶状态，n＝2；k表征病灶等级分类，k＝6。
生成模块的第二子损失值L2采用交叉熵损失，用来计算标记诊断文本信息和预测诊断文本信息之间的差距：
其中，l是预测诊断文本信息或标记诊断文本信息中包含词汇量的数量，a表征该词汇所在的位置，v是词汇长度；yw,ab表征标记诊断文本信息中第a个词汇对应全部词汇潜入表第b个词汇的概率标签，pw,ab表征预测诊断文本信息中第a个预测词汇对应所述词汇潜入表中第b个词汇的概率值。其中，所述词汇潜入表可以预先设置，其中包括诊断文本信息中的词汇，或诊断文本信息以外的词汇。
通过分类模块和生成模块的步骤就得到了BIRADS分类损失和报告词汇损失，使用这两个损失的加权和来优化模型：
Loss＝αL1+βL2
其中，权重α、β通过网格搜索的方法确定。
步骤S205，基于损失函数调整辅助诊断模型的参数。
所述第一装置将乳腺超声视频(第一多媒体信息样本)，以及对应的既往病史文本信息作为输入数据，病灶良恶性、BIRADS及诊断报告作为金标准，联合训练优化Loss，当Loss趋于稳定时就得到了一个训练好的多任务模型。
如此，通过将乳腺超声视频和既往病史文档组成的数据对联合训练，不仅充分结合了视频和既往病史所包含的有用信息，而且可以同时输出BIRADS分类结果并自动生成诊断报告，可以大大减轻医生的压力。
图4示出了本公开实施例提供的辅助诊断方法的可选流程示意图，将根据各个步骤进行说明。
在一些实施例中，图4所示的辅助诊断方法应用基于步骤S101至步骤S106、步骤S201至步骤S205训练完成的辅助诊断模型。
步骤S301，将待辅助诊断多媒体信息输入至所述辅助诊断模型包括的多媒体分支中，获取所述待辅助诊断多媒体信息对应的第一病灶视觉特征嵌入。
在一些实施例中，待辅助诊断多媒体信息可以包括待辅助诊断图像和/或待辅助诊断视频。
在一些实施例中，辅助诊断装置(以下简称第二装置)将所述待辅助诊断多媒体信息输入至第一特征编码器和线性层中，获取所述待辅助诊断多媒体信息对应的第一病灶视觉特征嵌入。
步骤S302，将所述待辅助诊断多媒体信息对应的既往病史文本信息输入至所述辅助诊断模型包括的文本分支中，获取所述既往病史文本信息对应的第一文本特征嵌入。
在一些实施例中，所述第二装置将所述待辅助诊断多媒体信息对应的既往病史文本信息输入至第二特征编码器和注意力嵌入层中，获取所述既往病史文本信息对应的第一文本特征嵌入。
步骤S303，基于所述第一病灶视觉特征嵌入和所述第一文本特征嵌入融合后的特征，确认所述待辅助诊断多媒体信息的对应的病灶等级分类，以及所述待辅助诊断多媒体信息对应的第一病灶嵌入特征。
在一些实施例中，所述第二装置将所述第一病灶视觉特征嵌入和所述第一文本特征嵌入输入至融合模块中，获取融合后的特征；基于所述融合后的特征，确认所述待辅助诊断多媒体信息的对应的病灶等级分类；基于所述融合后的特征和所述病灶等级分类，所述待辅助诊断多媒体信息对应的第一病灶嵌入特征。
步骤S304，将所述第一病灶嵌入特征输入至所述辅助诊断模型包括的生成模块中，获取所述待辅助诊断多媒体信息对应的辅助诊断文本信息。
在一些实施例中，所述第二装置将所述第一病灶嵌入特征输入至所述生成模块中，获取所述待辅助诊断多媒体信息对应的辅助诊断文本信息。
后续，医生可以针对辅助诊断文本信息进行新增、修改、删除等操作，相比现有技术极大缩短了医生的操作时间，提升医生生成诊断报告文本的效率；此外，对于两名医生进行的超声检查项目，应用了本公开提供的辅助诊断方法后，可以缩减为仅需一名医生进行，可以有效减缓医疗资源紧张的情景。
图5示出了本公开实施例提供的辅助诊断模型的训练装置的可选结构示意图，将根据各个部分进行说明。
在一些实施例中，辅助诊断模型的训练装置500包括第一输入单元501、第二输入单元502、第一融合单元503、第三输入单元504、损失单元505和调整单元506。
所述第一输入单元501，用于将第一多媒体信息样本输入至辅助诊断模型包括的多媒体分支中，获取所述第一多媒体信息样本对应的病灶视觉特征嵌入；
所述第二输入单元502，用于将所述第一多媒体信息样本对应的既往病史文本信息输入至所述辅助诊断模型包括的文本分支中，获取所述既往病史文本信息对应的文本特征嵌入；
所述第一融合单元503，用于基于所述病灶视觉特征嵌入和所述文本特征嵌入融合后的特征，确认所述第一多媒体信息样本的对应的预测病灶等级分类，以及所述第一多媒体信息样本对应的病灶嵌入特征；
所述第三输入单元504，用于将所述病灶嵌入特征输入至所述辅助诊断模型包括的生成模块中，获取所述第一多媒体信息样本对应的预测诊断文本信息；
所述损失确认单元，用于基于所述第一多媒体信息样本对应的标记病灶等级分类、所述预测病灶等级分类、所述第一多媒体信息样本对应的标记诊断文本信息和所述预测诊断文本信息确认损失函数；
所述调整单元506，用于基于所述损失函数调整所述辅助诊断模型的参数，直至所述损失函数满足第一条件，确认所述辅助诊断模型训练完成。
所述第一数据单元，具体用于将所述第一多媒体信息样本输入至所述多媒体分支包括的第一特征编码器和线性层中，获取所述第一多媒体信息样本对应的病灶视觉特征嵌入。
所述第二输入单元502，具体用于将所述既往病史文本信息输入至所述文本分支包括的第二特征编码器和注意力嵌入层中，获取所述既往病史文本信息对应的文本特征嵌入。
所述第一融合单元503，具体用于对所述病灶视觉特征嵌入和所述文本特征嵌入进行融合，确认融合后的特征；所述融合后的特征包括与所述第一多媒体信息样本对应的病灶状态的特征；
将所述融合后的特征输入至所述辅助诊断模型包括的分类层中，确认所述分类层的输出为所述第一多媒体信息样本对应的预测病灶等级分类；
基于所述预测病灶等级分类，确认所述第一多媒体信息样本对应的病灶等级嵌入特征；
基于所述融合后的特征和所述病灶等级嵌入特征，确认所述第一多媒体信息样本对应的病灶嵌入特征。
所述第三输入单元504，具体用于将所述病灶嵌入特征，以及第一预测词汇拼接组成的向量输入至所述生成模块中，所述生成模块输出第一预测词汇与第二预测词汇所组成的向量；其中，所述第一预测词汇为最近一次所述生成模块输出的预测词汇；
将所述病灶嵌入特征、所述第一预测词汇和所述第二预测词汇拼接组成的向量输入至所述生成模块中，所述生成模块输出第一预测词汇、第二预测词汇与所述第三预测词汇所组成的向量；
直至所述病灶嵌入特征中全部词汇被预测完成，确认全部预测词汇所组成的向量为所述第一多媒体信息样本对应的预测诊断文本信息；
其中，所述生成模块包括至少一组多头注意力层和前馈层所组成的结构。
所述损失确认单元，具体用于基于所述第一多媒体信息样本对应的标记病灶等级分类和所述预测病灶等级分类，确认第一子损失值；基于所述第一多媒体信息样本对应的标记诊断文本信息和所述预测诊断文本信息确认第二子损失值；基于所述第一子损失值和所述第二子损失值确认所述损失函数。
所述损失确认单元，具体用于基于所述第一多媒体信息样本中第一病灶对应的第一等级的预测病灶等级分类的对数值，与所述第一病灶对应的第一等级的标记病灶等级分类的乘积，确认所述第一子损失值。
所述损失确认单元，具体用于基于所述预测诊断文本信息包括的第一文本信息的预测值的对数值，以及所述标记诊断文本信息包括的第一文本信息的标记值的乘积，确认所述第二子损失值。
图6示出了本公开实施例提供的辅助诊断装置的可选结构示意图，将根据各个部分进行说明。
在一些实施例中，辅助诊断装置600包括第四输入单元601、第五输入单元602、第二融合单元603和生成单元604。
第四输入单元601，用于将待辅助诊断多媒体信息输入至所述辅助诊断模型包括的多媒体分支中，获取所述待辅助诊断多媒体信息对应的第一病灶视觉特征嵌入；
第五输入单元602，用于将所述待辅助诊断多媒体信息对应的既往病史文本信息输入至所述辅助诊断模型包括的文本分支中，获取所述既往病史文本信息对应的第一文本特征嵌入；
第二融合单元603，用于基于所述第一病灶视觉特征嵌入和所述第一文本特征嵌入融合后的特征，确认所述待辅助诊断多媒体信息的对应的病灶等级分类，以及所述待辅助诊断多媒体信息对应的第一病灶嵌入特征；
生成单元604，用于将所述第一病灶嵌入特征输入至所述辅助诊断模型包括的生成模块中，获取所述待辅助诊断多媒体信息对应的辅助诊断文本信息。
本公开的技术方案中，所涉及的用户个人信息的获取，存储和应用等，均符合相关法律法规的规定，且不违背公序良俗。
根据本公开的实施例，本公开还提供了一种电子设备和一种可读存储介质。
图7示出了可以用来实施本公开的实施例的示例电子设备800的示意性框图。电子设备旨在表示各种形式的数字计算机，诸如，膝上型计算机、台式计算机、工作台、个人数字助理、服务器、刀片式服务器、大型计算机、和其它适合的计算机。电子设备还可以表示各种形式的移动装置，诸如，个人数字处理、蜂窝电话、智能电话、可穿戴设备和其它类似的计算装置。本文所示的部件、它们的连接和关系、以及它们的功能仅仅作为示例，并且不意在限制本文中描述的和/或者要求的本公开的实现。
如图7所示，电子设备800包括计算单元801，其可以根据存储在只读存储器(ROM)802中的计算机程序或者从存储单元808加载到随机访问存储器(RAM)803中的计算机程序，来执行各种适当的动作和处理。在RAM 803中，还可存储电子设备800操作所需的各种程序和数据。计算单元801、ROM 802以及RAM 803通过总线804彼此相连。输入/输出(I/O)接口805也连接至总线804。
电子设备800中的多个部件连接至I/O接口805，包括：输入单元806，例如键盘、鼠标等；输出单元807，例如各种类型的显示器、扬声器等；存储单元808，例如磁盘、光盘等；以及通信单元809，例如网卡、调制解调器、无线通信收发机等。通信单元809允许电子设备800通过诸如因特网的计算机网络和/或各种电信网络与其他设备交换信息/数据。
计算单元801可以是各种具有处理和计算能力的通用和/或专用处理组件。计算单元801的一些示例包括但不限于中央处理单元(CPU)、图形处理单元(GPU)、各种专用的人工智能(AI)计算芯片、各种运行机器学习模型算法的计算单元、数字信号处理器(DSP)、以及任何适当的处理器、控制器、微控制器等。计算单元801执行上文所描述的各个方法和处理，例如辅助诊断模型的训练方法和/或辅助诊断方法。例如，在一些实施例中，辅助诊断模型的训练方法和/或辅助诊断方法可被实现为计算机软件程序，其被有形地包含于机器可读介质，例如存储单元808。在一些实施例中，计算机程序的部分或者全部可以经由ROM 802和/或通信单元809而被载入和/或安装到电子设备800上。当计算机程序加载到RAM 803并由计算单元801执行时，可以执行上文描述的辅助诊断模型的训练方法和/或辅助诊断方法的一个或多个步骤。备选地，在其他实施例中，计算单元801可以通过其他任何适当的方式(例如，借助于固件)而被配置为执行辅助诊断模型的训练方法和/或辅助诊断方法。
本文中以上描述的系统和技术的各种实施方式可以在数字电子电路系统、集成电路系统、场可编程门阵列(FPGA)、专用集成电路(ASIC)、专用标准产品(ASSP)、芯片上系统的系统(SOC)、负载可编程逻辑设备(CPLD)、计算机硬件、固件、软件、和/或它们的组合中实现。这些各种实施方式可以包括：实施在一个或者多个计算机程序中，该一个或者多个计算机程序可在包括至少一个可编程处理器的可编程系统上执行和/或解释，该可编程处理器可以是专用或者通用可编程处理器，可以从存储系统、至少一个输入装置、和至少一个输出装置接收数据和指令，并且将数据和指令传输至该存储系统、该至少一个输入装置、和该至少一个输出装置。
用于实施本公开的方法的程序代码可以采用一个或多个编程语言的任何组合来编写。这些程序代码可以提供给通用计算机、专用计算机或其他可编程数据处理装置的处理器或控制器，使得程序代码当由处理器或控制器执行时使流程图和/或框图中所规定的功能/操作被实施。程序代码可以完全在机器上执行、部分地在机器上执行，作为独立软件包部分地在机器上执行且部分地在远程机器上执行或完全在远程机器或服务器上执行。
在本公开的上下文中，机器可读介质可以是有形的介质，其可以包含或存储以供指令执行系统、装置或设备使用或与指令执行系统、装置或设备结合地使用的程序。机器可读介质可以是机器可读信号介质或机器可读储存介质。机器可读介质可以包括但不限于电子的、磁性的、光学的、电磁的、红外的、或半导体系统、装置或设备，或者上述内容的任何合适组合。机器可读存储介质的更具体示例会包括基于一个或多个线的电气连接、便携式计算机盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦除可编程只读存储器(EPROM或快闪存储器)、光纤、便捷式紧凑盘只读存储器(CD-ROM)、光学储存设备、磁储存设备、或上述内容的任何合适组合。
为了提供与用户的交互，可以在计算机上实施此处描述的系统和技术，该计算机具有：用于向用户显示信息的显示装置(例如，CRT(阴极射线管)或者LCD(液晶显示器)监视器)；以及键盘和指向装置(例如，鼠标或者轨迹球)，用户可以通过该键盘和该指向装置来将输入提供给计算机。其它种类的装置还可以用于提供与用户的交互；例如，提供给用户的反馈可以是任何形式的传感反馈(例如，视觉反馈、听觉反馈、或者触觉反馈)；并且可以用任何形式(包括声输入、语音输入或者、触觉输入)来接收来自用户的输入。
可以将此处描述的系统和技术实施在包括后台部件的计算系统(例如，作为数据服务器)、或者包括中间件部件的计算系统(例如，应用服务器)、或者包括前端部件的计算系统(例如，具有图形用户界面或者网络浏览器的用户计算机，用户可以通过该图形用户界面或者该网络浏览器来与此处描述的系统和技术的实施方式交互)、或者包括这种后台部件、中间件部件、或者前端部件的任何组合的计算系统中。可以通过任何形式或者介质的数字数据通信(例如，通信网络)来将系统的部件相互连接。通信网络的示例包括：局域网(LAN)、广域网(WAN)和互联网。
计算机系统可以包括客户端和服务器。客户端和服务器一般远离彼此并且通常通过通信网络进行交互。通过在相应的计算机上运行并且彼此具有客户端-服务器关系的计算机程序来产生客户端和服务器的关系。服务器可以是云服务器，也可以为分布式系统的服务器，或者是结合了区块链的服务器。
应该理解，可以使用上面所示的各种形式的流程，重新排序、增加或删除步骤。例如，本发公开中记载的各步骤可以并行地执行也可以顺序地执行也可以不同的次序执行，只要能够实现本公开公开的技术方案所期望的结果，本文在此不进行限制。
此外，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或隐含地包括至少一个该特征。在本公开的描述中，“多个”的含义是两个或两个以上，除非另有明确具体的限定。
以上所述，仅为本公开的具体实施方式，但本公开的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本公开揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本公开的保护范围之内。因此，本公开的保护范围应以所述权利要求的保护范围为准。
Claims (12)
1.一种辅助诊断模型的训练方法，其特征在于，所述方法包括：
将第一多媒体信息样本输入至辅助诊断模型包括的多媒体分支中，获取所述第一多媒体信息样本对应的病灶视觉特征嵌入；
将所述第一多媒体信息样本对应的既往病史文本信息输入至所述辅助诊断模型包括的文本分支中，获取所述既往病史文本信息对应的文本特征嵌入；
基于所述病灶视觉特征嵌入和所述文本特征嵌入融合后的特征，确认所述第一多媒体信息样本的对应的预测病灶等级分类，以及所述第一多媒体信息样本对应的病灶嵌入特征；
将所述病灶嵌入特征输入至所述辅助诊断模型包括的生成模块中，获取所述第一多媒体信息样本对应的预测诊断文本信息；
基于所述第一多媒体信息样本对应的标记病灶等级分类、所述预测病灶等级分类、所述第一多媒体信息样本对应的标记诊断文本信息和所述预测诊断文本信息确认损失函数；
基于所述损失函数调整所述辅助诊断模型的参数，直至所述损失函数满足第一条件，确认所述辅助诊断模型训练完成；
其中，所述基于所述病灶视觉特征嵌入和所述文本特征嵌入融合后的特征，确认所述第一多媒体信息样本的对应的预测病灶等级分类，以及所述第一多媒体信息样本对应的病灶嵌入特征，包括：
对所述病灶视觉特征嵌入和所述文本特征嵌入进行融合，确认融合后的特征；所述融合后的特征包括与所述第一多媒体信息样本对应的病灶状态的特征；
将所述融合后的特征输入至所述辅助诊断模型包括的分类层中，确认所述分类层的输出为所述第一多媒体信息样本对应的预测病灶等级分类；
基于所述预测病灶等级分类，确认所述第一多媒体信息样本对应的病灶等级嵌入特征；
基于所述融合后的特征和所述病灶等级嵌入特征，确认所述第一多媒体信息样本对应的病灶嵌入特征。
2.根据权利要求1所述的方法，其特征在于，所述将第一多媒体信息样本输入至辅助诊断模型包括的多媒体分支中，获取所述第一多媒体信息样本对应的病灶视觉特征嵌入，包括：
将所述第一多媒体信息样本输入至所述多媒体分支包括的第一特征编码器和线性层中，获取所述第一多媒体信息样本对应的病灶视觉特征嵌入。
3.根据权利要求1所述的方法，其特征在于，所述将所述第一多媒体信息样本对应的既往病史文本信息输入至所述辅助诊断模型包括的文本分支中，获取所述既往病史文本信息对应的文本特征嵌入，包括：
将所述既往病史文本信息输入至所述文本分支包括的第二特征编码器和注意力嵌入层中，获取所述既往病史文本信息对应的文本特征嵌入。
4.根据权利要求1所述的方法，其特征在于，所述将所述病灶嵌入特征输入至所述辅助诊断模型包括的生成模块中，获取所述第一多媒体信息样本对应的预测诊断文本信息，包括：
将所述病灶嵌入特征，以及第一预测词汇拼接组成的向量输入至所述生成模块中，所述生成模块输出第一预测词汇与第二预测词汇所组成的向量；其中，所述第一预测词汇为最近一次所述生成模块输出的预测词汇；
将所述病灶嵌入特征、所述第一预测词汇和所述第二预测词汇拼接组成的向量输入至所述生成模块中，所述生成模块输出第一预测词汇、第二预测词汇与第三预测词汇所组成的向量；
直至所述病灶嵌入特征中全部词汇被预测完成，确认全部预测词汇所组成的向量为所述第一多媒体信息样本对应的预测诊断文本信息；
其中，所述生成模块包括至少一组多头注意力层和前馈层所组成的结构。
5.根据权利要求1所述的方法，其特征在于，所述基于所述第一多媒体信息样本对应的标记病灶等级分类、所述预测病灶等级分类、所述第一多媒体信息样本对应的标记诊断文本信息和所述预测诊断文本信息确认损失函数，包括：
基于所述第一多媒体信息样本对应的标记病灶等级分类和所述预测病灶等级分类，确认第一子损失值；
基于所述第一多媒体信息样本对应的标记诊断文本信息和所述预测诊断文本信息确认第二子损失值；
基于所述第一子损失值和所述第二子损失值确认所述损失函数。
6.根据权利要求5所述的方法，其特征在于，所述基于所述第一多媒体信息样本对应的标记病灶等级分类和所述预测病灶等级分类，确认第一子损失值，包括：
基于所述第一多媒体信息样本中第一病灶对应的第一等级的预测病灶等级分类的对数值，与所述第一病灶对应的第一等级的标记病灶等级分类的乘积，确认所述第一子损失值。
7.根据权利要求5所述的方法，其特征在于，所述基于所述第一多媒体信息样本对应的标记诊断文本信息和所述预测诊断文本信息确认第二子损失值，包括：
基于所述预测诊断文本信息包括的第一文本信息的预测值的对数值，以及所述标记诊断文本信息包括的第一文本信息的标记值的乘积，确认所述第二子损失值。
8.一种辅助诊断方法，其特征在于，应用于基于权利要求1至7任一项训练完成的辅助诊断模型，所述方法包括：
将待辅助诊断多媒体信息输入至所述辅助诊断模型包括的多媒体分支中，获取所述待辅助诊断多媒体信息对应的第一病灶视觉特征嵌入；
将所述待辅助诊断多媒体信息对应的既往病史文本信息输入至所述辅助诊断模型包括的文本分支中，获取所述既往病史文本信息对应的第一文本特征嵌入；
基于所述第一病灶视觉特征嵌入和所述第一文本特征嵌入融合后的特征，确认所述待辅助诊断多媒体信息的对应的病灶等级分类，以及所述待辅助诊断多媒体信息对应的第一病灶嵌入特征；
将所述第一病灶嵌入特征输入至所述辅助诊断模型包括的生成模块中，获取所述待辅助诊断多媒体信息对应的辅助诊断文本信息。
9.一种辅助诊断模型的训练装置，其特征在于，所述装置包括：
第一输入单元，用于将第一多媒体信息样本输入至辅助诊断模型包括的多媒体分支中，获取所述第一多媒体信息样本对应的病灶视觉特征嵌入；
第二输入单元，用于将所述第一多媒体信息样本对应的既往病史文本信息输入至所述辅助诊断模型包括的文本分支中，获取所述既往病史文本信息对应的文本特征嵌入；
第一融合单元，用于基于所述病灶视觉特征嵌入和所述文本特征嵌入融合后的特征，确认所述第一多媒体信息样本的对应的预测病灶等级分类，以及所述第一多媒体信息样本对应的病灶嵌入特征；
第三输入单元，用于将所述病灶嵌入特征输入至所述辅助诊断模型包括的生成模块中，获取所述第一多媒体信息样本对应的预测诊断文本信息；
损失确认单元，用于基于所述第一多媒体信息样本对应的标记病灶等级分类、所述预测病灶等级分类、所述第一多媒体信息样本对应的标记诊断文本信息和所述预测诊断文本信息确认损失函数；
调整单元，用于基于所述损失函数调整所述辅助诊断模型的参数，直至所述损失函数满足第一条件，确认所述辅助诊断模型训练完成；
所述第一融合单元，具体用于对所述病灶视觉特征嵌入和所述文本特征嵌入进行融合，确认融合后的特征；所述融合后的特征包括与所述第一多媒体信息样本对应的病灶状态的特征；将所述融合后的特征输入至所述辅助诊断模型包括的分类层中，确认所述分类层的输出为所述第一多媒体信息样本对应的预测病灶等级分类；基于所述预测病灶等级分类，确认所述第一多媒体信息样本对应的病灶等级嵌入特征；基于所述融合后的特征和所述病灶等级嵌入特征，确认所述第一多媒体信息样本对应的病灶嵌入特征。
10.一种辅助诊断装置，其特征在于，应用于基于权利要求1至7任一项训练完成的辅助诊断模型，所述装置包括：
第四输入单元，用于将待辅助诊断多媒体信息输入至所述辅助诊断模型包括的多媒体分支中，获取所述待辅助诊断多媒体信息对应的第一病灶视觉特征嵌入；
第五输入单元，用于将所述待辅助诊断多媒体信息对应的既往病史文本信息输入至所述辅助诊断模型包括的文本分支中，获取所述既往病史文本信息对应的第一文本特征嵌入；
第二融合单元，用于基于所述第一病灶视觉特征嵌入和所述第一文本特征嵌入融合后的特征，确认所述待辅助诊断多媒体信息的对应的病灶等级分类，以及所述待辅助诊断多媒体信息对应的第一病灶嵌入特征；
生成单元，用于将所述第一病灶嵌入特征输入至所述辅助诊断模型包括的生成模块中，获取所述待辅助诊断多媒体信息对应的辅助诊断文本信息。
11.一种电子设备，其特征在于，包括：
至少一个处理器；以及
与所述至少一个处理器通信连接的存储器；其中，
所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行权利要求1-7中任一项所述的方法；
或者，执行权利要求8所述的方法。
12.一种存储有计算机指令的非瞬时计算机可读存储介质，其特征在于，所述计算机指令用于使所述计算机执行根据权利要求1-7中任一项所述的方法；
或者，执行权利要求8所述的方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210837466.1A CN115240844B (zh) | 2022-07-15 | 2022-07-15 | 辅助诊断模型的训练方法、装置、电子设备及存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210837466.1A CN115240844B (zh) | 2022-07-15 | 2022-07-15 | 辅助诊断模型的训练方法、装置、电子设备及存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN115240844A CN115240844A (zh) | 2022-10-25 |
| CN115240844B true CN115240844B (zh) | 2023-04-18 |
Family
ID=83673685
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202210837466.1A Active CN115240844B (zh) | 2022-07-15 | 2022-07-15 | 辅助诊断模型的训练方法、装置、电子设备及存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN115240844B (zh) |
Family Cites Families (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| AU2004251359B2 (en) * | 2003-06-25 | 2009-01-22 | Siemens Medical Solutions Usa, Inc. | Systems and methods for automated diagnosis and decision support for breast imaging |
| US10803581B2 (en) * | 2017-11-06 | 2020-10-13 | Beijing Keya Medical Technology Co., Ltd. | System and method for generating and editing diagnosis reports based on medical images |
| US20190139643A1 (en) * | 2017-11-08 | 2019-05-09 | International Business Machines Corporation | Facilitating medical diagnostics with a prediction model |
| CN110335665B (zh) * | 2019-04-01 | 2021-07-20 | 佛山原子医疗设备有限公司 | 一种应用于医学图像辅助诊断分析的以图搜图方法及系统 |
| CN114068002A (zh) * | 2020-08-07 | 2022-02-18 | 四川医枢科技股份有限公司 | 乳腺及甲状腺肿瘤临床决策、教学、科研辅助支持系统及方法 |
| CN112801168A (zh) * | 2021-01-25 | 2021-05-14 | 江苏大学 | 一种肿瘤影像的病灶区域预测分析方法、系统及终端设备 |
| CN112992308B (zh) * | 2021-03-25 | 2023-05-16 | 腾讯科技（深圳）有限公司 | 医学图像报告生成模型的训练方法及图像报告生成方法 |
| CN113159186A (zh) * | 2021-04-23 | 2021-07-23 | 杭州电子科技大学 | 一种基于半监督学习的医学图像自动标注方法 |
| CN112992317B (zh) * | 2021-05-10 | 2021-11-02 | 明品云(北京)数据科技有限公司 | 一种医学数据处理方法、系统、设备及介质 |
| CN114188021B (zh) * | 2021-12-13 | 2022-06-10 | 浙江大学 | 一种基于多模态融合的儿童肠套叠诊断智能分析系统 |
| CN114581382B (zh) * | 2022-02-21 | 2023-02-21 | 北京医准智能科技有限公司 | 一种针对乳腺病灶的训练方法、装置及计算机可读介质 |
-
2022
- 2022-07-15 CN CN202210837466.1A patent/CN115240844B/zh active Active
Also Published As
| Publication number | Publication date |
|---|---|
| CN115240844A (zh) | 2022-10-25 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN113705187B (zh) | 预训练语言模型的生成方法、装置、电子设备和存储介质 | |
| EP3913542A2 (en) | Method and apparatus of training model, device, medium, and program product | |
| CN115409990B (zh) | 一种医学图像分割方法、装置、设备及存储介质 | |
| CN115131297A (zh) | 一种髋关节检测方法、设备及装置 | |
| CN117112829B (zh) | 医疗数据跨模态检索方法、装置和相关设备 | |
| CN111403028B (zh) | 医疗文本分类方法及装置、存储介质、电子设备 | |
| CN113590777A (zh) | 文本信息处理方法、装置、电子设备和存储介质 | |
| CN115240844B (zh) | 辅助诊断模型的训练方法、装置、电子设备及存储介质 | |
| CN117038099A (zh) | 医疗类术语标准化方法以及装置 | |
| CN114792097B (zh) | 预训练模型提示向量的确定方法、装置及电子设备 | |
| CN115186738B (zh) | 模型训练方法、装置和存储介质 | |
| CN115861255A (zh) | 用于图像处理的模型训练方法、装置、设备、介质及产品 | |
| CN112182253B (zh) | 一种数据处理方法、设备以及计算机可读存储介质 | |
| CN112541557B (zh) | 生成式对抗网络的训练方法、装置及电子设备 | |
| CN111091915B (zh) | 医疗数据处理方法及装置、存储介质、电子设备 | |
| CN113553863B (zh) | 文本生成方法、装置、电子设备和存储介质 | |
| CN115661449B (zh) | 图像分割与图像分割模型的训练方法、装置 | |
| CN111915556B (zh) | 一种基于双分支网络的ct图像病变检测方法、系统、终端及存储介质 | |
| CN116257613B (zh) | 数据生产方法、装置、电子设备及存储介质 | |
| CN115358976B (zh) | 一种图像识别方法、装置、设备及存储介质 | |
| CN114896993B (zh) | 翻译模型的生成方法、装置、电子设备及存储介质 | |
| CN115082742A (zh) | 图像分类模型的训练方法、装置、电子设备及存储介质 | |
| CN117747036A (zh) | 基于大模型的病历生成方法、病历的大模型的生成方法 | |
| CN115904338A (zh) | 预训练语言模型的训练方法、语言处理方法和装置 | |
| CN114998273A (zh) | 血管图像处理方法、装置、电子设备及存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| CP03 | Change of name, title or address | ||
| CP03 | Change of name, title or address |
Address after: Room 3011, 2nd Floor, Building A, No. 1092 Jiangnan Road, Nanmingshan Street, Liandu District, Lishui City, Zhejiang Province, 323000 Patentee after: Zhejiang Yizhun Intelligent Technology Co.,Ltd. Address before: No. 1202-1203, 12 / F, block a, Zhizhen building, No. 7, Zhichun Road, Haidian District, Beijing 100083 Patentee before: Beijing Yizhun Intelligent Technology Co.,Ltd. |