CN117012373A - 一种葡萄胎辅助检查模型的训练方法、应用方法及系统 - Google Patents
一种葡萄胎辅助检查模型的训练方法、应用方法及系统 Download PDFInfo
- Publication number
- CN117012373A CN117012373A CN202311278501.1A CN202311278501A CN117012373A CN 117012373 A CN117012373 A CN 117012373A CN 202311278501 A CN202311278501 A CN 202311278501A CN 117012373 A CN117012373 A CN 117012373A
- Authority
- CN
- China
- Prior art keywords
- model
- sub
- training
- data set
- target
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 235000009754 Vitis X bourquina Nutrition 0.000 title claims abstract description 128
- 235000012333 Vitis X labruscana Nutrition 0.000 title claims abstract description 128
- 235000014787 Vitis vinifera Nutrition 0.000 title claims abstract description 128
- 210000001161 mammalian embryo Anatomy 0.000 title claims abstract description 128
- 238000012549 training Methods 0.000 title claims abstract description 114
- 238000000034 method Methods 0.000 title claims abstract description 56
- 238000007689 inspection Methods 0.000 title claims abstract description 48
- 240000006365 Vitis vinifera Species 0.000 title 1
- 241000219095 Vitis Species 0.000 claims abstract description 127
- 238000000605 extraction Methods 0.000 claims abstract description 75
- 238000010191 image analysis Methods 0.000 claims abstract description 64
- 230000015654 memory Effects 0.000 claims description 45
- 230000002457 bidirectional effect Effects 0.000 claims description 32
- 239000013598 vector Substances 0.000 claims description 30
- 238000012545 processing Methods 0.000 claims description 27
- 238000007405 data analysis Methods 0.000 claims description 18
- 230000006870 function Effects 0.000 claims description 18
- 230000007246 mechanism Effects 0.000 claims description 14
- 238000011176 pooling Methods 0.000 claims description 9
- 230000008569 process Effects 0.000 claims description 9
- 238000011160 research Methods 0.000 claims description 9
- 238000013441 quality evaluation Methods 0.000 claims description 6
- 230000004927 fusion Effects 0.000 claims description 4
- 238000005457 optimization Methods 0.000 claims description 3
- 102100033814 Alanine aminotransferase 2 Human genes 0.000 claims 1
- 101710096000 Alanine aminotransferase 2 Proteins 0.000 claims 1
- 238000012935 Averaging Methods 0.000 claims 1
- 238000010586 diagram Methods 0.000 description 12
- 238000004458 analytical method Methods 0.000 description 6
- 238000004364 calculation method Methods 0.000 description 6
- 239000011159 matrix material Substances 0.000 description 5
- 230000006403 short-term memory Effects 0.000 description 5
- 238000005516 engineering process Methods 0.000 description 4
- 230000007787 long-term memory Effects 0.000 description 4
- 230000000873 masking effect Effects 0.000 description 4
- 230000009286 beneficial effect Effects 0.000 description 3
- 238000013135 deep learning Methods 0.000 description 3
- 238000012986 modification Methods 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- 238000006467 substitution reaction Methods 0.000 description 3
- 230000004913 activation Effects 0.000 description 2
- 238000013145 classification model Methods 0.000 description 2
- 238000013527 convolutional neural network Methods 0.000 description 2
- 238000003745 diagnosis Methods 0.000 description 2
- 230000002708 enhancing effect Effects 0.000 description 2
- 238000003709 image segmentation Methods 0.000 description 2
- 239000000463 material Substances 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 238000007781 pre-processing Methods 0.000 description 2
- 210000001519 tissue Anatomy 0.000 description 2
- 208000026487 Triploidy Diseases 0.000 description 1
- 206010046788 Uterine haemorrhage Diseases 0.000 description 1
- 206010046910 Vaginal haemorrhage Diseases 0.000 description 1
- 231100000071 abnormal chromosome number Toxicity 0.000 description 1
- 230000002159 abnormal effect Effects 0.000 description 1
- 201000011510 cancer Diseases 0.000 description 1
- 238000012512 characterization method Methods 0.000 description 1
- 230000001427 coherent effect Effects 0.000 description 1
- 238000004195 computer-aided diagnosis Methods 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000002059 diagnostic imaging Methods 0.000 description 1
- 201000010099 disease Diseases 0.000 description 1
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000004720 fertilization Effects 0.000 description 1
- 230000001605 fetal effect Effects 0.000 description 1
- 238000002372 labelling Methods 0.000 description 1
- 230000003902 lesion Effects 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 230000005906 menstruation Effects 0.000 description 1
- 230000001394 metastastic effect Effects 0.000 description 1
- 206010061289 metastatic neoplasm Diseases 0.000 description 1
- 238000003058 natural language processing Methods 0.000 description 1
- 239000013307 optical fiber Substances 0.000 description 1
- 210000000056 organ Anatomy 0.000 description 1
- 230000001575 pathological effect Effects 0.000 description 1
- 238000004393 prognosis Methods 0.000 description 1
- 230000002250 progressing effect Effects 0.000 description 1
- 230000004083 survival effect Effects 0.000 description 1
- 230000009885 systemic effect Effects 0.000 description 1
- 210000000251 trophoblastic cell Anatomy 0.000 description 1
- 238000002604 ultrasonography Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
- 238000012800 visualization Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
- G16H50/20—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
- G06F16/36—Creation of semantic tools, e.g. ontology or thesauri
- G06F16/367—Ontology
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/044—Recurrent networks, e.g. Hopfield networks
- G06N3/0442—Recurrent networks, e.g. Hopfield networks characterised by memory or gating, e.g. long short-term memory [LSTM] or gated recurrent units [GRU]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/0464—Convolutional networks [CNN, ConvNet]
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H15/00—ICT specially adapted for medical reports, e.g. generation or transmission thereof
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H30/00—ICT specially adapted for the handling or processing of medical images
- G16H30/20—ICT specially adapted for the handling or processing of medical images for handling medical images, e.g. DICOM, HL7 or PACS
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Health & Medical Sciences (AREA)
- Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- General Health & Medical Sciences (AREA)
- General Engineering & Computer Science (AREA)
- Life Sciences & Earth Sciences (AREA)
- General Physics & Mathematics (AREA)
- Biomedical Technology (AREA)
- Artificial Intelligence (AREA)
- Public Health (AREA)
- Medical Informatics (AREA)
- Evolutionary Computation (AREA)
- Computational Linguistics (AREA)
- Epidemiology (AREA)
- Computing Systems (AREA)
- Primary Health Care (AREA)
- Software Systems (AREA)
- Biophysics (AREA)
- Mathematical Physics (AREA)
- Molecular Biology (AREA)
- Databases & Information Systems (AREA)
- Animal Behavior & Ethology (AREA)
- Pathology (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Radiology & Medical Imaging (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Evolutionary Biology (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种葡萄胎辅助检查模型的训练方法、应用方法及系统，包括：构建初始实体关系抽取子模型、初始图像分析子模型和初始结果报告生成子模型；获取数据集并采用文本数据集对初始实体关系抽取子模型进行训练，得到目标实体关系抽取子模型；采用医学影像数据集对初始图像分析子模型进行训练，得到目标图像分析子模型；采用文本数据集和大模型训练数据集对初始结果报告生成子模型进行训练，得到目标结果报告生成子模型；将目标实体关系抽取子模型、目标图像分析子模型和目标结果报告生成子模型组合成为目标葡萄胎辅助检查模型。本发明实施例能够高效地训练出准确度高，适用范围广的葡萄胎辅助检查模型，提高医学领域中葡萄胎辅助检查的效率。
Description
技术领域
本发明涉及计算机技术领域，尤其涉及一种葡萄胎辅助检查模型的训练方法、应用方法及系统。
背景技术
葡萄胎是一种由空卵受精、三倍体等染色体数目的异常导致的妊娠滋养细胞的疾病，也常常表现为停经，阴道流血，HCG升高，超声未见明确胎心等，但是，传统的检查方法存在着准确性低、依赖医生经验和时间成本高的问题。更重要的是，一旦怀疑葡萄胎，医生务必立即对其进行吸宫术，且需要竭尽所能的清理干净宫腔内的异常组织，以免病变组织残留甚至部分侵袭性葡萄胎可能导致全身播散，进展为多器官转移性恶性肿瘤。一旦发生误诊，将进一步影响后续诊疗方案，直接影响患者的预后和生存。
在医学影像领域，计算机辅助诊断技术已经取得了显著进展。利用深度学习算法，特别是卷积神经网络（CNN），可以实现对医学影像的自动分析和病变检测。然而在葡萄胎诊断领域目前依然没有借助于深度学习算法技术来进行自动判别的先例。
发明内容
本发明旨在至少在一定程度上解决相关技术中的技术问题之一。为此，本发明提出一种训练效果好、时间成本低的葡萄胎辅助检查模型的训练方法、应用方法及系统。
一方面，本发明实施例提供了一种葡萄胎辅助检查模型的训练方法，包括：
构建初始实体关系抽取子模型、初始图像分析子模型和初始结果报告生成子模型；
获取预处理后的文本数据集、医学影像数据集和大模型训练数据集；其中，所述文本数据集中包括葡萄胎的医学文献、研究论文、临床指南至少之一；
采用所述文本数据集对所述初始实体关系抽取子模型进行模型训练，得到目标实体关系抽取子模型；其中，所述初始实体关系抽取子模型用于抽取文本数据的实体和关系以生成葡萄胎知识图谱；
采用所述医学影像数据集对所述初始图像分析子模型进行模型训练，得到目标图像分析子模型；其中，所述目标图像分析子模型用于对医学影像数据进行数据分析；
采用所述文本数据集和所述大模型训练数据集对所述初始结果报告生成子模型进行模型训练，得到目标结果报告生成子模型；其中，所述目标结果报告生成子模型用于根据数据分析结果生成报告；
将所述目标实体关系抽取子模型、所述目标图像分析子模型和所述目标结果报告生成子模型组合成为目标葡萄胎辅助检查模型。
可选地，所述构建初始实体关系抽取子模型、初始图像分析子模型和初始结果报告生成子模型，包括：
结合注意力机制、双向长短时记忆网络和条件随机场构建初始实体关系抽取子模型；
基于改进U-Net网络，结合所述葡萄胎知识图谱构建初始图像分析子模型；其中，所述改进U-Net网络是在U-Net网络的基础上剔除解码器，并在编码器顶部添加全局池化层和全连接层得到；
结合自然语言生成算法和模板匹配算法，构建基于知识增强的预训练大模型作为初始结果报告生成子模型。
可选地，抽取葡萄胎文本数据的实体和关系以生成葡萄胎知识谱图，包括：
通过GloVe预训练模型将所述文本数据集转换为词嵌入表示，得到词向量；
将所述词向量输入所述初始实体关系抽取子模型进行文本数据的实体和关系抽取处理，得到第一处理结果；
对所述第一处理结果进行建模表示，并采用图数据库存储所述第一处理结果，得到葡萄胎知识图谱。
可选地，所述结合注意力机制、双向长短时记忆网络和条件随机场构建初始实体关系抽取子模型的步骤中，所述初始实体关系抽取子模型包括：
双向长短时记忆网络子模块，用于对输入的文本序列进行编码，采用前向和后向的方式对所述文本序列进行处理，并对隐藏状态进行拼接处理；
注意力机制子模块，用于通过注意力权重，将所述双向长短时记忆网络的所述隐藏状态进行加权平均，得到聚合的上下文信息；
实体识别子模块，用于通过条件随机场，根据所述上下文信息确定实体词汇，并对所述词汇进行标签标记处理，输出最优实体标签序列；
关系抽取子模块，用于在确定实体词汇的基础上，通过所述条件随机场，根据所述上下文信息确定各个实体之间的依赖关系，并对所述依赖关系进行标签标记处理，输出最优关系标签序列。
可选地，所述对输入的文本序列进行编码，采用前向和后向的方式对所述文本序列进行处理，并对隐藏状态进行拼接处理，包括：
将所有特征连接起来作为嵌入层的输入；
构造参数不同的两个连续的双向长短时记忆网络层，在每个所述双向长短时记忆网络层中，前向长短时记忆网络从左到右计算所述文本序列中每个单词的第一序列表示；后向长短时记忆网络从右到左计算所述文本序列中每个单词的第二序列表示；
连接所述第一序列表示和所述第二序列表示得到所述文本序列中每个单词的表示。
可选地，所述通过注意力权重，将所述双向长短时记忆网络的所述隐藏状态进行加权平均，得到聚合的上下文信息，包括：
根据注意力矩阵计算当前目标隐藏状态与所有隐藏状态之间的相似度；
计算所有所述双向长短时记忆网络的输出结果的加权和；
将目标词的所述加权和和双向长短时记忆网络输出连接成中间向量，将所述中间向量输入到tanh函数得到输出结果，得到上下文信息。
可选地，所述采用所述医学影像数据集对所述初始图像分析子模型进行模型训练，得到目标图像分析子模型，包括：
从所述医学影像数据集中获取一张第一医疗影像；
对所述第一医疗影像进行特征提取，得到第一特征图；
对所述第一特征图进行全局池化处理，得到固定长度的第一特征向量；
对所述第一特征向量进行全连接处理，得到葡萄胎的类别预测结果；
采用交叉熵损失函数度量类别预测结果与所述第一医疗影像对应的标注之间的差异，并根据差异调整所述图像分析子模型的参数；
重复执行所述从所述医学影像数据集中获取一张第一医疗影像的步骤，直至所述交叉熵损失函数收敛或者执行次数达到预定义的第一执行次数，得到目标图像分析子模型。
可选地，所述采用所述文本数据集和所述大模型训练数据集对所述初始结果报告生成子模型进行模型训练，得到目标结果报告生成子模型，包括：
将所述文本数据集和所述大模型训练数据集进行数据融合，得到第一训练数据集；
采用知识掩码预训练方法，根据知识图谱建立语义、实体和关系的掩码机制；
根据掩码机制，采用第一训练数据集对GPT-2预训练大模型进行预训练，得到知识增强的葡萄胎预训练大模型；
将数据分析结果作为输入文本，通过知识增强的所述葡萄胎预训练大模型，生成结果报告文本内容；
获取所述结果报告文本内容的质量评估结果，根据所述质量评估结果进行模型优化，得到目标结果报告生成子模型。
另一方面，本发明实施例还提供了一种葡萄胎辅助检查模型的应用方法，包括：
获取医学影像；
通过如上所述的训练方法训练得到的目标葡萄胎辅助检查模型对所述医学影像进行辅助检查，得到辅助检查结果。
另一方面，本发明实施例还提供了一种葡萄胎辅助检查模型的训练系统，包括：
第一模块，用于构建初始实体关系抽取子模型、初始图像分析子模型和初始结果报告生成子模型；
第二模块，用于获取预处理后的文本数据集、医学影像数据集和大模型训练数据集；其中，所述文本数据集中包括葡萄胎的医学文献、研究论文、临床指南至少之一；
第三模块，用于采用所述文本数据集对所述初始实体关系抽取子模型进行模型训练，得到目标实体关系抽取子模型；其中，所述初始实体关系抽取子模型用于抽取文本数据的实体和关系以生成葡萄胎知识图谱；
第四模块，用于采用所述医学影像数据集对所述初始图像分析子模型进行模型训练，得到目标图像分析子模型；其中，所述目标图像分析子模型用于对医学影像数据进行数据分析；
第五模块，用于采用所述文本数据集和所述大模型训练数据集对所述初始结果报告生成子模型进行模型训练，得到目标结果报告生成子模型；其中，所述目标结果报告生成子模型用于根据数据分析结果生成报告；
第六模块，用于将所述目标实体关系抽取子模型、所述目标图像分析子模型和所述目标结果报告生成子模型组合成为目标葡萄胎辅助检查模型。
另一方面，本发明实施例还提供了一种电子设备，包括：处理器以及存储器；存储器用于存储程序；处理器执行程序实现如上所述的方法。
另一方面，本发明实施例还提供了一种计算机存储介质，其中存储有处理器可执行的程序，处理器可执行的程序在由处理器执行时用于实现如上所述的方法。
本发明实施例具有如下有益效果：构建初始葡萄胎辅助检查模型；其中，初始葡萄胎辅助检查模型包括初始实体关系抽取子模型、初始图像分析子模型和初始结果报告生成子模型；获取预处理后的文本数据集、医学影像数据集和大模型训练数据集；采用文本数据集对初始实体关系抽取子模型进行模型训练，得到目标实体关系抽取子模型；其中，葡萄胎文本数据包括医学文献、研究论文、临床指南至少之一；采用医学影像数据集对初始图像分析子模型进行模型训练，得到目标图像分析子模型；采用文本数据集和大模型训练数据集对初始结果报告生成子模型进行模型训练，得到目标结果报告生成子模型的整体步骤，能够高效地训练出准确度高，适用范围广的葡萄胎辅助检查模型，提高医学领域中葡萄胎辅助检查的效率。
附图说明
附图用来提供对本发明技术方案的进一步理解，并且构成说明书的一部分，与本发明的实施例一起用于解释本发明的技术方案，并不构成对本发明技术方案的限制。
图1是本发明实施例提供的葡萄胎辅助检查模型的训练方法的步骤图；
图2是本发明实施例提供的实体关系抽取子模型的子模块示意图；
图3是本发明实施例提供的实体关系抽取子模型的结构框图；
图4是本发明实施例提供的改进U-Net模型的模型结构图；
图5是本发明实施例提供的基于知识增强的预训练大模型结构框图；
图6是本发明实施例提供的葡萄胎辅助检查模型的应用方法的步骤图；
图7是本发明实施例提供的葡萄胎辅助检查模型的训练系统的结构示意图；
图8是本发明实施例提供的一种电子设备的结构示意图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本发明，并不用于限定本发明。
需要说明的是，虽然在系统示意图中进行了功能模块划分，在流程图中示出了逻辑顺序，但是在某些情况下，可以以不同于系统中的模块划分，或流程图中的顺序执行所示出或描述的步骤。说明书和权利要求书及上述附图中的术语“第一/S100”、“第二/S200”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。
在本文中提及“实施例”意味着，结合实施例描述的特定特征、结构或特性可以包含在本发明的至少一个实施例中。在说明书中的各个位置出现该短语并不一定均是指相同的实施例，也不是与其它实施例互斥的独立的或备选的实施例。本领域技术人员显式地和隐式地理解的是，本文所描述的实施例可以与其它实施例相结合。
参照图1，该方法包括以下步骤S100~S600。
S100、构建初始实体关系抽取子模型、初始图像分析子模型和初始结果报告生成子模型。
具体地，步骤S100可以包括以下步骤S110~S130。
S110、结合注意力机制、双向长短时记忆网络和条件随机场构建初始实体关系抽取子模型。
进一步地，参照图2和图3，本发明实施例构建的初始实体关系抽取子模型可以包括双向长短时记忆网络子模块201、注意力机制子模块202、实体识别子模块203和关系抽取子模块204。对初始实体关系抽取子模型的各个子模块进行介绍如下：
（1）双向长短时记忆网络子模块201，用于对输入的文本序列进行编码，采用前向和后向的方式对文本序列进行处理，并对隐藏状态进行拼接处理。
在本发明实施例中，双向长短时记忆网络子模块201包括两个连续的双向长短时记忆网络层，用于获取每个单词的表示。
双向长短时记忆网络子模块201的工作步骤可以包括以下步骤①~③。
①将所有特征连接起来作为嵌入层的输入。
②构造参数不同的两个连续的双向长短时记忆网络层，在每个双向长短时记忆网络层中，前向长短时记忆网络从左到右计算文本序列中每个单词的第一序列表示；后向长短时记忆网络从右到左计算文本序列中每个单词的第二序列表示。
③连接第一序列表示和第二序列表示得到文本序列中每个单词的表示。
（2）注意力机制子模块202，用于通过注意力权重，将双向长短时记忆网络的隐藏状态进行加权平均，得到聚合的上下文信息。
如图3中注意力机制的部分所示，注意力机制子模块202使用点积注意力确定权重，然后利用这些权重对双向长短时记忆网络输出结果进行加权平均计算。具体地，采用矩阵乘法进行双向长短时记忆网络输出结果对应位置元素相乘，然后将对应位置的乘积相加，得到分数，作为注意力权重，表示每个位置的重要性；采用矩阵乘法使用上步骤获得的双向长短时记忆网络输出结果进行加权平均计算；将目标词的加权和和双向长短时记忆网络输出连接成中间向量，将中间向量输入到tanh函数得到输出结果，作为聚合的上下文信息。
引入注意力机制，通过计算注意力权重，将双向长短时记忆网络的隐藏状态加权平均，得到一个聚合的上下文表示，使模型能够自动学习对于实体和关系抽取任务重要的上下文信息。
更为具体地，注意力机制子模块202的工作步骤可以包括以下步骤④~⑥。
④根据注意力矩阵A计算当前目标隐藏状态与所有隐藏状态之间的相似度。
注意力矩阵中的注意力权重值/>捕捉到第/>个当前目标隐藏状态/>和第/>个隐藏状态/>的相似度分数表示如下：
其中，；L表示句子的长度；/>表示第k个隐藏状态。
⑤计算所有双向长短时记忆网络的输出结果的加权和。加权和的计算公式为：
其中，表示所有双向长短时记忆网络的输出结果的加权和；/>为加权值。
⑥将目标词的加权和和双向长短时记忆网络输出连接成中间向量，将中间向量输入到tanh函数得到输出结果，得到上下文信息。上下文信息的计算公式为：
其中，表示上下文信息；/>表示权重矩阵。
注意力机制子模块202顶部的tanh层用于预测具有每个可能标签的单词的置信度分数作为网络的输出分数，具体计算公式为：
其中，权重矩阵集合和偏置向量集合/>是模型的参数，是句子的长度。
（3）实体识别子模块203，用于通过条件随机场，根据上下文信息确定实体词汇，并对词汇进行标签标记处理，输出最优实体标签序列。
如图3中条件随机场的部分所示，实体识别子模块203使用条件随机场算法对上下文序列进行实体标签标记，从而确定文本中的实体词汇。具体而言，定义实体类型数目作为条件随机场算法的参数，并构建条件随机场函数；将上下文序列作为条件随机场算法的输入，使用条件随机场算法预测方法直接输出最优的实体预测序列，作为输入的文本序列最终的实体标记。
（4）关系抽取子模块204，用于在确定实体词汇的基础上，通过条件随机场，根据上下文信息确定各个实体之间的依赖关系，并对依赖关系进行标签标记处理，输出最优关系标签序列。
如图3中条件随机场的部分所示，关系抽取子模块204使用条件随机场算法对上下文序列进行关系标签标记，从而确定文本中的关系词汇。具体而言，定义关系类型数目作为条件随机场算法的参数，并构建条件随机场函数；将上下文序列作为条件随机场算法的输入，使用条件随机场算法预测方法直接输出最优的关系预测序列，作为输入的文本序列最终的关系标记。
S120、基于改进U-Net网络，结合葡萄胎知识图谱构建初始图像分析子模型；其中，改进U-Net网络是在U-Net网络的基础上剔除解码器，并在编码器顶部添加全局池化层和全连接层得到。
在本发明实施例中，图像分析子模型包括类别预测和情况分析两部分，类别预测部分用于对医学影像进行类别预测，判断医学影像中是否存在葡萄胎，得到类别预测结果；情况分析部分用于根据医学影像的类别预测结果和实际表现，与构造的葡萄胎知识图谱相结合，能够确定该医学影像中葡萄胎的具体情况。
具体而言，在类别预测部分，本发明实施例采用改进U-Net网络构造类别预测模型。参照图4，本发明的改进U-Net网络具体可以为：修改了原U-Net的网络结构，去除U-Net网络的解码器，只保留编码器作为特征提取器，将U-Net图像分割模型转换为图像特征提取器；在编码器顶部添加全局池化层，用于将特征提取器提取的特征图进行全局最大池化，将整个特征图转化为固定长度的特征向量，捕捉图像的全局上下文信息，减少模型的参数量；在全局池化层之后添加一个全连接层，用于将特征向量映射到不同的葡萄胎类别；最后，利用softmax激活函数，将特征向量转换为每个类别的概率。整个模型训练过程中，采用交叉熵损失函数，用于度量预测类别与真实类别之间的差异。
通过对U-Net模型进行改进，增加了一些层结构，使U-Net模型从用于图像分割任务变为用于特征类别表示，能够更好地补货葡萄胎图像中的类别特征表示。
在情况分析部分，采用最近邻匹配算法，用于将类别预测时提取的影像特征向量与葡萄胎知识图谱中的实体和属性表征词向量进行最近邻匹配，确定与该影像特征匹配的葡萄胎实体和属性；基于匹配的结果，在葡萄胎知识图谱中进行推理，利用葡萄胎知识图谱中的关系和规则，推理出该医疗影像中葡萄胎的具体情况。
S130、结合自然语言生成算法和模板匹配算法，构建基于知识增强的预训练大模型作为初始结果报告生成子模型。
参照图5，自然语言生成算法采用GPT-2预训练大模型作为基础，结合前面的图像分析子模型产生的预测类别和具体情况、影像特征和患者信息等构建输入文本，输入GPT-2预训练大模型进行处理，进而输出预测结果文本。结合模板匹配算法，根据预测结果输出规范的报告文件。
GPT-2(Generative Pre-trained Transformer 2)是一种基于Transformer架构的预训练语言模型，能够生成连贯的文本。在本发明中，采用大规模文本数据和大规模的知识图谱等数据对GPT-2预训练自然语言模型进行微调，用于自动生成葡萄胎预测结果报告的文本内容。可以采用大规模文本数据和大规模的知识图谱等数据对GPT-2预训练大模型进行微调，以使得该大模型更为适用。
模板匹配算法是：根据预定义的规则查找生成的葡萄胎预测结果的文本内容，将匹配到葡萄胎结果的结果文本填入预设的模板，形成最终规范的结果报告。
S200、获取预处理后的文本数据集、医学影像数据集和大模型训练数据集；其中，文本数据集中包括葡萄胎的医学文献、研究论文、临床指南至少之一。
收集与葡萄胎相关的文本数据，包括医学文献、研究论文、临床指南至少之一，尽可能确保数据具有多样性和广泛性，覆盖不同领域的葡萄胎知识。对收集的文本数据构造带有实体和关系标注的训练数据，尽可能使得数据集中有足够的样本覆盖不同的实体和关系类型。将标注后的文本数据整理称为文本数据集。
收集葡萄胎的医学影像数据，采用医学影像预处理方法，对葡萄胎的医学影像数据进行去噪、增强和分割等操作，提取影像中的感兴趣区域，将预处理后的医学影像数据整理称为医学影像数据集。
收集医学影像数据的影像特征、葡萄胎具体情况的描述文本和模拟的患者信息文本，作为大模型训练数据集。
S300、采用文本数据集对初始实体关系抽取子模型进行模型训练，得到目标实体关系抽取子模型；其中，初始实体关系抽取子模型用于抽取文本数据的实体和关系以生成葡萄胎知识图谱。
步骤S300可以包括以下步骤：
（1）通过GloVe预训练模型将文本数据转换为词嵌入表示，得到词向量；
GloVe（Global Vectors for Word Representation）是一种预训练词嵌入模型，旨在将词汇表示为向量，以捕获词汇间的语义关系，能够融合全局上下文信息来生成高质量的词嵌入向量。
在本发明实施例中，采用GloVe预训练模型将文本序列转换为词嵌入表示，得到词向量，这些词向量作为输入，用于传递给实体关系抽取子模型。
（2）将词向量输入初始实体关系抽取子模型进行实体关系抽取，得到第一处理结果；
（3）将第一处理结果和真实的实体和关系进行比对，得到抽取差异值；
（4）根据抽取差异值优化初始实体关系抽取子模型的模型参数，得到目标实体关系抽取子模型。
该目标实体关系抽取子模型用于抽取输入的葡萄胎相关文本数据中的实体和关系，抽取到实体和关系后，可以对该实体和关系进行建模表示，并采用图数据库存储该实体和关系，构建成葡萄胎知识图谱。
S400、采用医学影像数据集对初始图像分析子模型进行模型训练，得到目标图像分析子模型；其中，目标分析子模型用于对医学影像数据进行数据分析。
具体地，图像分析子模型的工作过程为已在步骤S120中进行了介绍，此处不再赘述。基于图像分析子模型的工作过程，对该子模型进行训练的步骤可以包括以下步骤S410~S460。
S410、从医学影像数据集中获取一张第一医学影像。
S420、对第一医学影像进行特征提取，得到第一特征图。
S430、对第一特征图进行全局池化处理，得到固定长度的第一特征向量。
S440、对第一特征图进行全连接处理以及softmax激活函数计算，得到医学影像的类别预测结果。
S450、采用交叉熵损失函数度量类别预测结果与第一医学影像对应的标注之间的差异，并根据差异调整图像分析子模型。
S460、重复执行从医学影像数据中获取一张第一医学影像的步骤，直至交叉熵损失函数收敛或者执行次数达到预定义的第一执行次数，得到目标图像分析子模型。
S500、采用文本数据集和大模型训练数据集对初始结果报告生成子模型进行模型训练，得到目标结果报告生成子模型；目标结果报告生成子模型用于根据图像分析子模型得到的数据分析结果生成结果报告。
具体地，参照图5，步骤S500可以包括以下步骤S510~S550。
S510、将文本数据集和大模型训练数据集进行数据融合，得到第一训练数据集。
S520、采用知识掩码预训练方法，根据知识图谱建立语义、实体和关系的掩码机制。
具体地，知识掩码是一种用于预训练模型的模型训练方法，通过在模型的输入或隐藏状态中引入掩码信息（即隐藏或标记数据中的特定部分，以便在特定人物中引导模型的训练和学习），来指导模型关注特定的语义、实体或关系。
本发明实施例基于知识掩码，构造语义掩码、实体掩码和关系掩码构建知识图谱，来强化模型对特定领域知识的学习和理解。
语义掩码：通过定义一组与葡萄胎主题或概念相关的词汇作为掩码，将模型的输入中与这些词汇相关的部分进行掩盖，使模型更专注于学习与葡萄胎主题相关的语义。
实体掩码：从葡萄胎知识图谱中提取实体信息，将实体表示为词汇或短语，然后将这些实体作为掩码，模型在预训练过程中将侧重于学习与这些实体相关的信息，使模型更好地理解特定实体的语义和上下文。
关系掩码：基于葡萄胎知识图谱中的关系信息，创建与特定关系相关的掩码。模型将被引导着学习这些关系对应的语义。通过定义一组与葡萄胎词汇相关的掩码，使模型更关注与这些关系相关的语义信息。
通过如上知识掩码机制，可以在模型训练过程中引导模型关注特定的葡萄胎知识信息，使模型更加专注于葡萄胎领域特定的语义、实体和关系。
S530、根据掩码机制，采用第一训练数据集对GPT-2预训练大模型进行预训练，得到知识增强的葡萄胎预训练大模型。
S540、将数据分析结果作为输入文本，通过知识增强的葡萄胎预训练大模型，生成结果报告文本内容。
具体地，将步骤S120最终获得的数据分析结果包含葡萄胎影响预测结果以及葡萄胎知识图谱的推理结果拼接在一起，构建成知识增强的葡萄胎预训练大模型的输入文本，通过输入该文本，模型生成结果报告文本内容。
S550、获取结果报告的质量评估结果，根据质量评估结果进行模型优化，得到目标结果报告生成子模型。
S600、将目标实体关系抽取子模型、目标图像分析子模型和目标结果报告生成子模型组合成为目标葡萄胎辅助检查模型。
根据目标实体关系抽取子模型所抽取得到的葡萄胎实体和关系，构造葡萄胎知识图谱。将目标图像分析子模型结合葡萄胎知识图谱对医学影像进行分析得到的预测结果作为目标结果报告生成子模型的输入，由目标结果报告生成子模型根据预测结果生成。
在一些实施例中，目标实体关系抽取子模型生成结果报告时还可以采用图表、图像、热图等可视化工具，将关键的信息进行可视化展示，将生成的结果报告集成到医疗信息系统中，提供给医生查看。
另一方面，如图6所示，本发明实施例还提供了一种葡萄胎辅助检查模型的应用方法，包括：
获取医学影像；通过如上的训练方法训练得到的目标葡萄胎辅助检查模型对医学影像进行辅助检查，得到辅助检查结果。
另一方面，如图 7所示，本发明实施例还提供了一种葡萄胎辅助检查模型的训练系统，包括：
第一模块，用于构建初始实体关系抽取子模型、初始图像分析子模型和初始结果报告生成子模型；
第二模块，用于获取预处理后的文本数据集、医学影像数据集和大模型训练数据集；其中，文本数据集中包括葡萄胎的医学文献、研究论文、临床指南至少之一；
第三模块，用于采用文本数据集对初始实体关系抽取子模型进行模型训练，得到目标实体关系抽取子模型；其中，初始实体关系抽取子模型用于抽取文本数据的实体和关系以生成葡萄胎知识图谱；
第四模块，用于采用医学影像数据集对初始图像分析子模型进行模型训练，得到目标图像分析子模型；其中，目标图像分析子模型用于对医学影像数据进行数据分析；
第五模块，用于采用文本数据集和大模型训练数据集对初始结果报告生成子模型进行模型训练，得到目标结果报告生成子模型；其中，目标结果报告生成子模型用于根据数据分析结果生成报告；
第六模块，用于将目标实体关系抽取子模型、目标图像分析子模型和目标结果报告生成子模型组合成为目标葡萄胎辅助检查模型。
另一方面，如图8所示，本发明实施例还提供了一种电子设备，包括：处理器以及存储器；存储器用于存储程序；处理器执行程序实现如上的方法。
另一方面，本发明实施例还提供了一种计算机存储介质，其中存储有处理器可执行的程序，处理器可执行的程序在由处理器执行时用于实现如上的方法。
本发明实施例具有如下有益效果：
1、本发明实施例能够高效地训练出准确度高，适用范围广的葡萄胎辅助检查模型，提高医学领域中葡萄胎辅助检查的效率；
2、训练得到的目标葡萄胎辅助检查模型具有以下有益效果：该模型基于葡萄胎领域的医学知识和专家经验，构建葡萄胎知识图谱，采用医学影像预处理技术，对葡萄胎相关的影像数据进行去噪、增强和分割等操作，以提取感兴趣区域，构建改进的U-Net图像分类模型，对提取的葡萄胎图像特征进行分类，判断是否为葡萄胎，将医学影像分析结果与葡萄胎知识图谱相结合，利用知识图谱的推理能力，对葡萄胎进行进一步的定位、分级和情况分析，通过图谱中的相关关系和约束条件，推断葡萄胎的类型、分级和其他相关特征，采用基于知识增强的预训练大模型，对葡萄胎的辅助检查问题进行自然语言处理，通过对医学报告文本进行编码和特征抽取，结合医学知识图谱和临床实践，生成葡萄胎的辅助检查结果，根据葡萄胎的辅助检查结果，自动生成详细的预测结果报告，采用自然语言生成算法和模板匹配技术，结合医学知识库和临床实践，生成规范化的报告文本，并提供可视化展示。解决了现有的葡萄胎医疗辅助检查方法存在辅助检查准确性低、依赖医生经验和时间成本高，基于深度学习医疗辅助检查缺乏领域知识，辅助检查过程不可靠、不可控的问题，通过对U-Net图像分类模型的改进，模型能够更好地捕捉葡萄胎图像中的特征，并进行准确的分类和判断；将医学影像分析结果与葡萄胎知识图谱相结合，通过知识图谱的推理能力，对葡萄胎进行更深入、准确和全面的辅助检查结果。
以下介绍本发明实施例的一个应用实例：
构建初始实体关系抽取子模型、初始图像分析子模型和初始结果报告生成子模型；
获取预处理后的文本数据集、医学影像数据集和大模型训练数据集；其中，文本数据集中包括葡萄胎的医学文献、研究论文、临床指南至少之一；
采用文本数据集对初始实体关系抽取子模型进行模型训练，得到目标实体关系抽取子模型；其中，初始实体关系抽取子模型用于抽取文本数据的实体和关系以生成葡萄胎知识图谱；
采用医学影像数据集对初始图像分析子模型进行模型训练，得到目标图像分析子模型；其中，目标图像分析子模型用于对医学影像数据进行数据分析；
采用文本数据集和大模型训练数据集对初始结果报告生成子模型进行模型训练，得到目标结果报告生成子模型；其中，目标结果报告生成子模型用于根据数据分析结果生成报告；
将目标实体关系抽取子模型、目标图像分析子模型和目标结果报告生成子模型组合成为目标葡萄胎辅助检查模型。
在一些可选择的实施例中，在方框图中提到的功能/操作可以不按照操作示图提到的顺序发生。例如，取决于所涉及的功能/操作，连续示出的两个方框实际上可以被大体上同时地执行或所述方框有时能以相反顺序被执行。此外，在本发明的流程图中所呈现和描述的实施例以示例的方式被提供，目的在于提供对技术更全面的理解。所公开的方法不限于本文所呈现的操作和逻辑流程。可选择的实施例是可预期的，其中各种操作的顺序被改变以及其中被描述为较大操作的一部分的子操作被独立地执行。
所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备（可以是个人计算机，服务器，或者网络设备等）执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器（ROM，Read-Only Memory）、随机存取存储器（RAM，Random Access Memory）、磁碟或者光盘等各种可以存储程序代码的介质。
在流程图中表示或在此以其他方式描述的逻辑和/或步骤，例如，可以被认为是用于实现逻辑功能的可执行指令的定序列表，可以具体实现在任何计算机可读介质中，以供指令执行系统、装置或设备（如基于计算机的系统、包括处理器的系统或其他可以从指令执行系统、装置或设备取指令并执行指令的系统）使用，或结合这些指令执行系统、装置或设备而使用。就本说明书而言，“计算机可读介质”可以是任何可以包含、存储、通信、传播或传输程序以供指令执行系统、装置或设备或结合这些指令执行系统、装置或设备而使用的装置。
计算机可读介质的更具体的示例（非穷尽性列表）包括以下：具有一个或多个布线的电连接部（电子装置）、便携式计算机盘盒（磁装置）、随机存取存储器（RAM）、只读存储器（ROM）、可擦除可编辑只读存储器（EPROM或闪速存储器）、光纤装置以及便携式光盘只读存储器（CDROM）。另外，计算机可读介质甚至可以是可在其上打印所述程序的纸或其他合适的介质，因为可以例如通过对纸或其他介质进行光学扫描，接着进行编辑、解译或必要时以其他合适方式进行处理来以电子方式获得所述程序，然后将其存储在计算机存储器中。
在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不一定指的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施例或示例中以合适的方式结合。
尽管已经示出和描述了本发明的实施例，本领域的普通技术人员可以理解：在不脱离本发明的原理和宗旨的情况下可以对这些实施例进行多种变化、修改、替换和变型，本发明的范围由权利要求及其等同物限定。
以上是对本发明的较佳实施进行了具体说明，但本发明并不限于所述实施例，熟悉本领域的技术人员在不违背本发明精神的前提下还可做出种种的等同变形或替换，这些等同的变形或替换均包含在本发明权利要求所限定的范围内。
Claims (10)
1.一种葡萄胎辅助检查模型的训练方法，其特征在于，包括：
构建初始实体关系抽取子模型、初始图像分析子模型和初始结果报告生成子模型；
获取预处理后的文本数据集、医学影像数据集和大模型训练数据集；其中，所述文本数据集中包括葡萄胎的医学文献、研究论文、临床指南至少之一；
采用所述文本数据集对所述初始实体关系抽取子模型进行模型训练，得到目标实体关系抽取子模型；其中，所述初始实体关系抽取子模型用于抽取文本数据的实体和关系以生成葡萄胎知识图谱；
采用所述医学影像数据集对所述初始图像分析子模型进行模型训练，得到目标图像分析子模型；其中，所述目标图像分析子模型用于对医学影像数据进行数据分析；
采用所述文本数据集和所述大模型训练数据集对所述初始结果报告生成子模型进行模型训练，得到目标结果报告生成子模型；其中，所述目标结果报告生成子模型用于根据数据分析结果生成报告；
将所述目标实体关系抽取子模型、所述目标图像分析子模型和所述目标结果报告生成子模型组合成为目标葡萄胎辅助检查模型。
2.根据权利要求1所述的一种葡萄胎辅助检查模型的训练方法，其特征在于，所述构建初始实体关系抽取子模型、初始图像分析子模型和初始结果报告生成子模型，包括：
结合注意力机制、双向长短时记忆网络和条件随机场构建初始实体关系抽取子模型；
基于改进U-Net网络，结合所述葡萄胎知识图谱构建初始图像分析子模型；其中，所述改进U-Net网络是在U-Net网络的基础上剔除解码器，并在编码器顶部添加全局池化层和全连接层得到；
结合自然语言生成算法和模板匹配算法，构建基于知识增强的预训练大模型作为初始结果报告生成子模型。
3.根据权利要求1所述的一种葡萄胎辅助检查模型的训练方法，其特征在于，抽取葡萄胎文本数据的实体和关系以生成葡萄胎知识谱图，包括：
通过GloVe预训练模型将所述文本数据集转换为词嵌入表示，得到词向量；
将所述词向量输入所述初始实体关系抽取子模型进行文本数据的实体和关系抽取处理，得到第一处理结果；
对所述第一处理结果进行建模表示，并采用图数据库存储所述第一处理结果，得到葡萄胎知识图谱。
4.根据权利要求2所述的一种葡萄胎辅助检查模型的训练方法，其特征在于，所述结合注意力机制、双向长短时记忆网络和条件随机场构建初始实体关系抽取子模型的步骤中，所述初始实体关系抽取子模型包括：
双向长短时记忆网络子模块，用于对输入的文本序列进行编码，采用前向和后向的方式对所述文本序列进行处理，并对隐藏状态进行拼接处理；
注意力机制子模块，用于通过注意力权重，将所述双向长短时记忆网络的所述隐藏状态进行加权平均，得到聚合的上下文信息；
实体识别子模块，用于通过条件随机场，根据所述上下文信息确定实体词汇，并对所述词汇进行标签标记处理，输出最优实体标签序列；
关系抽取子模块，用于在确定实体词汇的基础上，通过所述条件随机场，根据所述上下文信息确定各个实体之间的依赖关系，并对所述依赖关系进行标签标记处理，输出最优关系标签序列。
5.根据权利要求4所述的一种葡萄胎辅助检查模型的训练方法，其特征在于，所述对输入的文本序列进行编码，采用前向和后向的方式对所述文本序列进行处理，并对隐藏状态进行拼接处理，包括：
将所有特征连接起来作为嵌入层的输入；
构造参数不同的两个连续的双向长短时记忆网络层，在每个所述双向长短时记忆网络层中，前向长短时记忆网络从左到右计算所述文本序列中每个单词的第一序列表示；后向长短时记忆网络从右到左计算所述文本序列中每个单词的第二序列表示；
连接所述第一序列表示和所述第二序列表示得到所述文本序列中每个单词的表示。
6.根据权利要求4所述的一种葡萄胎辅助检查模型的训练方法，其特征在于，所述通过注意力权重，将所述双向长短时记忆网络的所述隐藏状态进行加权平均，得到聚合的上下文信息，包括：
根据注意力矩阵计算当前目标隐藏状态与所有隐藏状态之间的相似度；
计算所有所述双向长短时记忆网络的输出结果的加权和；
将目标词的所述加权和和双向长短时记忆网络输出连接成中间向量，将所述中间向量输入到tanh函数得到输出结果，得到上下文信息。
7.根据权利要求1所述的一种葡萄胎辅助检查模型的训练方法，其特征在于，所述采用所述医学影像数据集对所述初始图像分析子模型进行模型训练，得到目标图像分析子模型，包括：
从所述医学影像数据集中获取一张第一医疗影像；
对所述第一医疗影像进行特征提取，得到第一特征图；
对所述第一特征图进行全局池化处理，得到固定长度的第一特征向量；
对所述第一特征向量进行全连接处理，得到葡萄胎的类别预测结果；
采用交叉熵损失函数度量类别预测结果与所述第一医疗影像对应的标注之间的差异，并根据差异调整所述图像分析子模型的参数；
重复执行所述从所述医学影像数据集中获取一张第一医疗影像的步骤，直至所述交叉熵损失函数收敛或者执行次数达到预定义的第一执行次数，得到目标图像分析子模型。
8.根据权利要求1所述的一种葡萄胎辅助检查模型的训练方法，其特征在于，所述采用所述文本数据集和所述大模型训练数据集对所述初始结果报告生成子模型进行模型训练，得到目标结果报告生成子模型，包括：
将所述文本数据集和所述大模型训练数据集进行数据融合，得到第一训练数据集；
采用知识掩码预训练方法，根据知识图谱建立语义、实体和关系的掩码机制；
根据掩码机制，采用第一训练数据集对GPT-2预训练大模型进行预训练，得到知识增强的葡萄胎预训练大模型；
将数据分析结果作为输入文本，通过知识增强的所述葡萄胎预训练大模型，生成结果报告文本内容；
获取所述结果报告文本内容的质量评估结果，根据所述质量评估结果进行模型优化，得到目标结果报告生成子模型。
9.一种葡萄胎辅助检查模型的应用方法，其特征在于，包括：
获取医学影像；
通过如权利要求1~8任一项所述的训练方法训练得到的目标葡萄胎辅助检查模型对所述医学影像进行辅助检查，得到辅助检查结果。
10.一种葡萄胎辅助检查模型的训练系统，其特征在于，包括：
第一模块，用于构建初始实体关系抽取子模型、初始图像分析子模型和初始结果报告生成子模型；
第二模块，用于获取预处理后的文本数据集、医学影像数据集和大模型训练数据集；其中，所述文本数据集中包括葡萄胎的医学文献、研究论文、临床指南至少之一；
第三模块，用于采用所述文本数据集对所述初始实体关系抽取子模型进行模型训练，得到目标实体关系抽取子模型；其中，所述初始实体关系抽取子模型用于抽取文本数据的实体和关系以生成葡萄胎知识图谱；
第四模块，用于采用所述医学影像数据集对所述初始图像分析子模型进行模型训练，得到目标图像分析子模型；其中，所述目标图像分析子模型用于对医学影像数据进行数据分析；
第五模块，用于采用所述文本数据集和所述大模型训练数据集对所述初始结果报告生成子模型进行模型训练，得到目标结果报告生成子模型；其中，所述目标结果报告生成子模型用于根据数据分析结果生成报告；
第六模块，用于将所述目标实体关系抽取子模型、所述目标图像分析子模型和所述目标结果报告生成子模型组合成为目标葡萄胎辅助检查模型。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311278501.1A CN117012373B (zh) | 2023-10-07 | 2023-10-07 | 一种葡萄胎辅助检查模型的训练方法、应用方法及系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311278501.1A CN117012373B (zh) | 2023-10-07 | 2023-10-07 | 一种葡萄胎辅助检查模型的训练方法、应用方法及系统 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN117012373A true CN117012373A (zh) | 2023-11-07 |
| CN117012373B CN117012373B (zh) | 2024-02-23 |
Family
ID=88571301
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202311278501.1A Active CN117012373B (zh) | 2023-10-07 | 2023-10-07 | 一种葡萄胎辅助检查模型的训练方法、应用方法及系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN117012373B (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117649917A (zh) * | 2024-01-29 | 2024-03-05 | 北京大学 | 检验报告生成模型的训练方法及装置、检验报告生成方法 |
Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20200135174A1 (en) * | 2018-10-24 | 2020-04-30 | Tencent America LLC | Multi-task training architecture and strategy for attention-based speech recognition system |
| CN112529908A (zh) * | 2020-12-03 | 2021-03-19 | 北京航空航天大学 | 一种基于级联卷积网络的数字病理图像分割方法及其模型 |
| CN112800776A (zh) * | 2021-03-10 | 2021-05-14 | 湖北工业大学 | 双向gru关系抽取数据处理方法、系统、终端、介质 |
| CN112992317A (zh) * | 2021-05-10 | 2021-06-18 | 明品云(北京)数据科技有限公司 | 一种医学数据处理方法、系统、设备及介质 |
| WO2021212682A1 (zh) * | 2020-04-21 | 2021-10-28 | 平安国际智慧城市科技股份有限公司 | 知识抽取方法、装置、电子设备及存储介质 |
| CN113744183A (zh) * | 2021-07-27 | 2021-12-03 | 山东师范大学 | 肺结节检测方法及系统 |
| CN114188021A (zh) * | 2021-12-13 | 2022-03-15 | 浙江大学 | 一种基于多模态融合的儿童肠套叠诊断智能分析系统 |
| CN114580421A (zh) * | 2022-03-08 | 2022-06-03 | 西南石油大学 | 一种基于改进神经网络的页岩气实体识别方法 |
-
2023
- 2023-10-07 CN CN202311278501.1A patent/CN117012373B/zh active Active
Patent Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20200135174A1 (en) * | 2018-10-24 | 2020-04-30 | Tencent America LLC | Multi-task training architecture and strategy for attention-based speech recognition system |
| WO2021212682A1 (zh) * | 2020-04-21 | 2021-10-28 | 平安国际智慧城市科技股份有限公司 | 知识抽取方法、装置、电子设备及存储介质 |
| CN112529908A (zh) * | 2020-12-03 | 2021-03-19 | 北京航空航天大学 | 一种基于级联卷积网络的数字病理图像分割方法及其模型 |
| CN112800776A (zh) * | 2021-03-10 | 2021-05-14 | 湖北工业大学 | 双向gru关系抽取数据处理方法、系统、终端、介质 |
| CN112992317A (zh) * | 2021-05-10 | 2021-06-18 | 明品云(北京)数据科技有限公司 | 一种医学数据处理方法、系统、设备及介质 |
| CN113744183A (zh) * | 2021-07-27 | 2021-12-03 | 山东师范大学 | 肺结节检测方法及系统 |
| CN114188021A (zh) * | 2021-12-13 | 2022-03-15 | 浙江大学 | 一种基于多模态融合的儿童肠套叠诊断智能分析系统 |
| CN114580421A (zh) * | 2022-03-08 | 2022-06-03 | 西南石油大学 | 一种基于改进神经网络的页岩气实体识别方法 |
Non-Patent Citations (1)
| Title |
|---|
| 韩毅 等: ""知识增强型预训练语言模型综述"", 《计算机科学与探索》, no. 07, pages 1439 - 1461 * |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117649917A (zh) * | 2024-01-29 | 2024-03-05 | 北京大学 | 检验报告生成模型的训练方法及装置、检验报告生成方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN117012373B (zh) | 2024-02-23 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Xiong et al. | Reinforced transformer for medical image captioning | |
| Soudani et al. | An image-based segmentation recommender using crowdsourcing and transfer learning for skin lesion extraction | |
| CN106777013B (zh) | 对话管理方法和装置 | |
| Gadermayr et al. | Multiple instance learning for digital pathology: A review of the state-of-the-art, limitations & future potential | |
| CN112364174A (zh) | 基于知识图谱的病人病历相似度评估方法及系统 | |
| CN117012373B (zh) | 一种葡萄胎辅助检查模型的训练方法、应用方法及系统 | |
| WO2023204944A1 (en) | Training of text and image models | |
| CN111598875A (zh) | 甲状腺结节自动检测模型构建方法、系统及装置 | |
| CN112784879A (zh) | 一种基于小样本域自适应的医学影像分割或分类方法 | |
| CN110660041A (zh) | 基于深度神经网络的肺部退行性疾病判别技术 | |
| CN113012774B (zh) | 病案自动编码方法、装置、电子设备及存储介质 | |
| CN115545021A (zh) | 一种基于深度学习的临床术语识别方法与装置 | |
| CN115048537A (zh) | 一种基于图像-文本多模态协同表示的病害识别系统 | |
| Wang et al. | Prototype transfer generative adversarial network for unsupervised breast cancer histology image classification | |
| CN116883768A (zh) | 基于多模态特征融合的肺结节智能分级方法及系统 | |
| US20220083878A1 (en) | Label inference system | |
| CN114464326A (zh) | 基于多模态颈动脉数据的冠心病预测系统 | |
| CN111898528B (zh) | 数据处理方法、装置、计算机可读介质及电子设备 | |
| CN117115817A (zh) | 基于多模态融合的细胞形态学识别方法及装置 | |
| CN114359741B (zh) | 基于区域特征的图像描述模型注意力机制评价方法与系统 | |
| JP4328362B2 (ja) | 言語解析モデル学習装置、言語解析モデル学習方法、言語解析モデル学習プログラム及びその記録媒体 | |
| Liu et al. | Describe like a pathologist: Glomerular immunofluorescence image caption based on hierarchical feature fusion attention network | |
| CN115762721A (zh) | 一种基于计算机视觉技术的医疗影像质控方法和系统 | |
| He et al. | Statistical dependency guided contrastive learning for multiple labeling in prenatal ultrasound | |
| Tang et al. | Detection of large-droplet macrovesicular steatosis in donor livers based on segment-anything model |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |