CN117995393A - 医疗鉴别诊断方法、装置、电子设备及存储介质 - Google Patents
医疗鉴别诊断方法、装置、电子设备及存储介质 Download PDFInfo
- Publication number
- CN117995393A CN117995393A CN202410407132.XA CN202410407132A CN117995393A CN 117995393 A CN117995393 A CN 117995393A CN 202410407132 A CN202410407132 A CN 202410407132A CN 117995393 A CN117995393 A CN 117995393A
- Authority
- CN
- China
- Prior art keywords
- medical
- model
- differential diagnosis
- current
- text
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000003748 differential diagnosis Methods 0.000 title claims abstract description 185
- 238000000034 method Methods 0.000 title claims abstract description 79
- 238000003058 natural language processing Methods 0.000 claims abstract description 55
- 238000012549 training Methods 0.000 claims abstract description 52
- 230000008014 freezing Effects 0.000 claims abstract description 24
- 238000007710 freezing Methods 0.000 claims abstract description 24
- 238000012216 screening Methods 0.000 claims abstract description 19
- 238000004590 computer program Methods 0.000 claims description 18
- 238000000354 decomposition reaction Methods 0.000 claims description 16
- 239000011159 matrix material Substances 0.000 claims description 16
- 238000011282 treatment Methods 0.000 claims description 9
- 238000012545 processing Methods 0.000 claims description 4
- 238000010586 diagram Methods 0.000 description 7
- 201000010099 disease Diseases 0.000 description 3
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 description 3
- 230000006870 function Effects 0.000 description 3
- 230000009286 beneficial effect Effects 0.000 description 2
- 238000010276 construction Methods 0.000 description 2
- 238000013527 convolutional neural network Methods 0.000 description 2
- 238000013135 deep learning Methods 0.000 description 2
- 230000001360 synchronised effect Effects 0.000 description 2
- 238000013459 approach Methods 0.000 description 1
- 238000013473 artificial intelligence Methods 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 125000004122 cyclic group Chemical group 0.000 description 1
- 238000003745 diagnosis Methods 0.000 description 1
- 238000002405 diagnostic procedure Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 238000009472 formulation Methods 0.000 description 1
- 238000012423 maintenance Methods 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 208000024891 symptom Diseases 0.000 description 1
- 230000009897 systematic effect Effects 0.000 description 1
- 238000013519 translation Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
- G16H50/20—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F40/00—Handling natural language data
- G06F40/20—Natural language analysis
- G06F40/237—Lexical tools
- G06F40/242—Dictionaries
Landscapes
- Engineering & Computer Science (AREA)
- Health & Medical Sciences (AREA)
- Public Health (AREA)
- Medical Informatics (AREA)
- Biomedical Technology (AREA)
- General Health & Medical Sciences (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Databases & Information Systems (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Pathology (AREA)
- Artificial Intelligence (AREA)
- Epidemiology (AREA)
- Primary Health Care (AREA)
- Medical Treatment And Welfare Office Work (AREA)
Abstract
本发明涉及一种医疗鉴别诊断方法、装置、电子设备及存储介质，该方法包括：获取医疗文本数据，并对医疗文本数据进行筛选，得到大语言模型的中文医疗词典，中文医疗词典用于应用到大语言模型的模型词典中。通过医疗文本数据对大语言模型进行自然语言处理任务的continue预训练，得到医疗大模型。对医疗大模型进行冻结处理，并通过低秩参数对医疗大模型进行微调，以对医疗大模型的下游任务进行对齐，得到医疗鉴别诊断大模型。将当前病历文本作为医疗鉴别诊断大模型的输入，以调用医疗鉴别诊断大模型对当前病历文本进行处理，并输出当前病历文本的鉴别诊断结果。该方法基于大模型使用医疗语料做continue预训练，提高了医疗知识掌握程度和鉴别诊断预测准确度。
Description
技术领域
本发明涉及医疗技术领域，特别是涉及一种医疗鉴别诊断方法、装置、电子设备及存储介质。
背景技术
医疗鉴别诊断是医生在诊断过程中经常使用的系统方法，主要用来识别并区分可能导致类似症状的多种疾病或病状。简而言之，鉴别诊断就是指定一个可能的疾病列表，疾病列表中的疾病内容能够解释患者当前的临床表现。由于医生对于其他科室或者专业外的其他医疗知识掌握程度有限，使得人工智能系统能够在一定程度上给予医生一些鉴别诊断列表。
目前，现有的医疗鉴别诊断系统方法主要有以下几种，一种是基于规则的专家系统方法，主要是利用专家总结出来的诊断规则构建知识库，然后通过推理引擎进行病症鉴别。还有一种是基于深度学习的算法模型，通过使用卷积神经网络（CNN）或者循环神经网络（RNN）来分析医疗数据，使得模型能够从数据中自动学习特征并推理出对应的诊断内容。还有一种是基于开源大语言模型，通过大语言模型在海量的医疗文本语料库中进行预训练，学习医学语言的通用模式、结构和语义，使得训练后的大语言模型具备很强的医疗知识理解能力和推理能力，最后直接使用Prompt构造智能让大模型推理出相应的鉴别诊断结果。但是，基于规则的专家系统方法虽然具备一定的可解释性，但是需要大量的人力参与和规则制定进行维护，且知识覆盖范围有限。基于深度学习的算法模型需要大量的已标注数据集，且最终模型输出的结果质量取决于训练数据的质量。此外，基于开源大模型的方式虽然具有较强的知识理解能力和推理能力，但是大语言模型对于医疗领域的知识掌握程度有限，容易导致最终输出结果存在歧义。
综上所述，现有的医疗鉴别诊断方法对于医疗领域知识的掌握程度有限，且医疗鉴别诊断的预测结果准确性较低。
发明内容
基于此，有必要针对上述技术问题，提供一种对于医疗领域知识的掌握度较好且医疗鉴别诊断的预测结果准确度较高的医疗鉴别诊断方法、装置、电子设备及存储介质。
本发明提供了一种医疗鉴别诊断方法，所述方法包括：
获取医疗文本数据，并对所述医疗文本数据进行筛选，得到大语言模型的中文医疗词典，所述中文医疗词典用于应用到所述大语言模型的模型词典中；
通过所述医疗文本数据对所述大语言模型进行自然语言处理任务的continue预训练，得到医疗大模型；
对所述医疗大模型进行冻结处理，并通过低秩参数对所述医疗大模型进行微调，以对所述医疗大模型的下游任务进行对齐，得到医疗鉴别诊断大模型；
将当前病历文本作为所述医疗鉴别诊断大模型的输入，以调用所述医疗鉴别诊断大模型对所述当前病历文本进行处理，并输出所述当前病历文本的鉴别诊断结果。
在其中一个实施例中，所述医疗文本数据至少包括医疗文献、医疗问答、医疗知识图谱以及医疗电子病历；
所述获取医疗文本数据，并对所述医疗文本数据进行筛选，得到大语言模型的中文医疗词典，包括：
获取所述医疗文献、医疗问答、医疗知识图谱以及医疗电子病历，并从所述医疗文献、医疗问答、医疗知识图谱以及医疗电子病历中筛选出所述中文医疗词典；
将所述中文医疗词典作为所述模型词典应用到所述大语言模型中。
在其中一个实施例中，所述通过所述医疗文本数据对所述大语言模型进行自然语言处理任务的continue预训练，得到医疗大模型，包括：
将所述大语言模型中的其他transformer层进行冻结处理，并通过所述医疗文本数据对所述大语言模型中的新自然语言处理任务的嵌入层进行训练，以提升所述自然语言处理任务与其他任务的医疗语义空间理解；
基于所述通过所述医疗文本数据对所述大语言模型中的新自然语言处理任务的嵌入层进行训练，生成所述医疗大模型。
在其中一个实施例中，所述对所述医疗大模型进行冻结处理，并通过低秩参数对所述医疗大模型进行微调，以对所述医疗大模型的下游任务进行对齐，得到医疗鉴别诊断大模型，包括：
获取所述低秩参数，所述低秩参数为低秩的矩阵参数；
对所述医疗大模型进行冻结处理，并调用所述低秩参数通过低秩分解的方式对所述医疗大模型的下游任务进行对齐处理，生成所述医疗鉴别诊断大模型。
在其中一个实施例中，所述将当前病历文本作为所述医疗鉴别诊断大模型的输入，以调用所述医疗鉴别诊断大模型对所述当前病历文本进行处理，并输出所述当前病历文本的鉴别诊断结果，包括：
获取当前患者的所述当前病历文本，并调用所述医疗鉴别诊断大模型通过新自然语言处理任务的嵌入层以及transformer层对所述当前病历文本进行低秩分解；
基于所述调用所述医疗鉴别诊断大模型通过新自然语言处理任务的嵌入层以及transformer层对所述当前病历文本进行低秩分解，获取所述当前病历文本对应的矩阵维度。
在其中一个实施例中，所述将当前病历文本作为所述医疗鉴别诊断大模型的输入，以调用所述医疗鉴别诊断大模型对所述当前病历文本进行处理，并输出所述当前病历文本的鉴别诊断结果，还包括：
调用所述医疗鉴别诊断大模型根据所述当前病历文本对应的矩阵维度生成所述当前病历文本的鉴别诊断结果。
在其中一个实施例中，所述方法还包括：
调用所述大语言模型对所述医疗文本数据进行上下文分析，以根据所述医疗文本数据的上下文，对所述医疗文本数据对应的鉴别诊断结果进行预测；
基于所述医疗文本数据对应的鉴别诊断结果生成所述自然语言处理任务，并通过所述自然语言处理任务对所述大语言模型进行continue预训练。
本发明还提供了一种医疗鉴别诊断装置，所述装置包括：
数据筛选模块，用于获取医疗文本数据，并对所述医疗文本数据进行筛选，得到大语言模型的中文医疗词典，所述中文医疗词典用于应用到所述大语言模型的模型词典中；
模型预训练模块，用于通过所述医疗文本数据对所述大语言模型进行自然语言处理任务的continue预训练，得到医疗大模型；
模型微调模块，用于对所述医疗大模型进行冻结处理，并通过低秩参数对所述医疗大模型进行微调，以对所述医疗大模型的下游任务进行对齐，得到医疗鉴别诊断大模型；
鉴别诊断预测模块，用于将当前病历文本作为所述医疗鉴别诊断大模型的输入，以调用所述医疗鉴别诊断大模型对所述当前病历文本进行处理，并输出所述当前病历文本的鉴别诊断结果。
本发明还提供了一种电子设备，包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现如上述任一种所述的医疗鉴别诊断方法。
本发明还提供了一种计算机存储介质，存储有计算机程序，所述计算机程序被处理器执行时实现如上述任一种所述的医疗鉴别诊断方法。
本发明还提供了一种计算机程序产品，包括计算机程序，所述计算机程序被处理器执行时实现如上述任一种所述的医疗鉴别诊断方法。
上述医疗鉴别诊断方法、装置、电子设备及存储介质，通过获取大量的医疗文本数据，并对医疗文本数据进行筛选，得到用于应用到所述大语言模型的模型词典中的中文医疗词典。随后，通过医疗文本数据对大语言模型进行自然语言处理任务的continue预训练，得到医疗大模型。然后，对该医疗大模型进行冻结处理，并通过低秩参数对医疗大模型进行微调，以对医疗大模型的下游任务进行对齐，得到医疗鉴别诊断大模型。最后，将当前病历文本作为医疗鉴别诊断大模型的输入，以调用医疗鉴别诊断大模型对当前病历文本进行处理，并输出当前病历文本的鉴别诊断结果。该方法基于大语言模型使用医疗词汇和医疗语料做continue预训练，有助于专业医疗信息知识掌握，从而更好的理解病历与做鉴别诊断的推理。另外，使用低秩参数微调对齐方式能够激发大模型的鉴别诊断预测能力，比直接使用prompt构造指令让大模型推理出鉴别诊断的结果更专一并且输出的鉴别诊断结果准确度更高。
附图说明
为了更清楚地说明本发明或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明提供的医疗鉴别诊断方法流程示意图之一；
图2为本发明提供的具体实施例中医疗鉴别诊断方法的医疗鉴别诊断训练流程示意图；
图3为本发明提供的具体实施例中医疗鉴别诊断方法的鉴别诊断预测流程示意图；
图4为本发明提供的医疗鉴别诊断方法流程示意图之二；
图5为本发明提供的医疗鉴别诊断方法流程示意图之三；
图6为本发明提供的医疗鉴别诊断方法流程示意图之四；
图7为本发明提供的医疗鉴别诊断方法流程示意图之五；
图8为本发明提供的医疗鉴别诊断方法流程示意图之六；
图9为本发明提供的医疗鉴别诊断装置结构示意图；
图10为本发明提供的计算机设备的内部结构图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地说明，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
下面结合图1-图10描述本发明的医疗鉴别诊断方法、装置、电子设备及存储介质。
如图1所示，在一个实施例中，一种医疗鉴别诊断方法，包括以下步骤：
步骤S110，获取医疗文本数据，并对医疗文本数据进行筛选，得到大语言模型的中文医疗词典，中文医疗词典用于应用到大语言模型的模型词典中。
具体的，服务器获取大量的医疗语料，即医疗文本数据，并对该医疗语料进行筛选，得到用于应用到大语言模型的模型词典中的中文医疗词典。
其中，医疗语料包括但不仅限于医疗文献、医疗问答、医疗知识图谱、医疗电子病历。
结合图2和图3所示，在具体的实施例中，本发明提供的医疗鉴别诊断方法，主要分为两部分，一部分是医疗大语言模型中文医疗词典和continue预训练部分，该部分通过医疗语料筛选出中文医疗的词典应用到大模型词典中。步骤S120，通过医疗文本数据对大语言模型进行自然语言处理任务的continue预训练，得到医疗大模型。
具体的，服务器通过医疗文本数据对大语言模型进行自然语言处理任务（nexttoken任务）的continue预训练，得到医疗大模型。
其中，next token任务是一种自然语言处理任务，其目标是根据给定的上下文，预测下一个可能的词或标记。这个任务可以用于语言模型的训练和生成文本的任务中。在next token任务中，模型会根据已经出现的文本序列来预测下一个可能的词或标记。这个任务可以用于生成文本、自动补全、机器翻译等多种应用场景。
结合图2和图3所示，在具体的实施例中，使用医疗语料对开源大语言模型进行next token任务的continue预训练，生成医疗大模型。这步训练时，将其他transformer层冻结，只训练new token embedding层（新自然语言处理任务嵌入层），为了让中文医疗token（自然语言处理任务）和其他token（其他任务）在医疗语义空间理解比较好。
其中，continue预训练是一种预训练模型，它是基于大规模的中文文本数据进行训练得到的。continue预训练模型具有强大的语言理解和生成能力，可以用于多种自然语言处理任务。另外，continue预训练模型的训练过程包括两个阶段：预训练和微调。在预训练阶段，模型通过大规模的中文文本数据进行自监督学习，学习到了丰富的语言知识和语义表示。在微调阶段，模型使用有标注的任务数据进行有监督学习，通过进一步优化模型参数来适应具体任务。
步骤S130，对医疗大模型进行冻结处理，并通过低秩参数对医疗大模型进行微调，以对医疗大模型的下游任务进行对齐，得到医疗鉴别诊断大模型。
具体的，服务器对医疗大模型进行冻结处理，并通低秩参数对医疗大模型进行微调，实现对医疗大模型的下游任务进行对齐，得到最终的医疗鉴别诊断大模型。
结合图2和图3所示，在具体的实施例中，本发明提供的医疗鉴别诊断方法，另一部分是鉴别诊断对齐任务，该部分通过冻结医疗的大模型，使用额外较少的低秩参数进行微调，实现下游任务对齐功能。在对齐任务的过程中，冻结医疗的大模型为了保持基本的医疗知识不被微调所干扰，使用额外的低秩分解的方式去做对齐任务，且该低秩的矩阵参数是可训练的。
步骤S140，将当前病历文本作为医疗鉴别诊断大模型的输入，以调用医疗鉴别诊断大模型对当前病历文本进行处理，并输出当前病历文本的鉴别诊断结果。
具体的，服务器将当前患者的病历文本作为医疗鉴别诊断大模型的输入，来调用医疗鉴别诊断大模型对当前患者的病历文本进行处理，并输出当前病历文本的鉴别诊断结果。
结合图2和图3所示，在具体的实施例中，本发明提供的医疗鉴别诊断方法，通过中文医疗的词典和使用医疗语料continue预训练，让大语言模型更好的掌握医疗的知识和遇到医疗词汇不会被拆开，以免让大模型理解上产生歧义。另外，通过鉴别诊断对齐任务功能使得大模型专一的任务模型能让模型更聚焦，激活大模型对于鉴别诊断的功能。
上述医疗鉴别诊断方法，通过获取大量的医疗文本数据，并对医疗文本数据进行筛选，得到用于应用到所述大语言模型的模型词典中的中文医疗词典。随后，通过医疗文本数据对大语言模型进行自然语言处理任务的continue预训练，得到医疗大模型。然后，对该医疗大模型进行冻结处理，并通过低秩参数对医疗大模型进行微调，以对医疗大模型的下游任务进行对齐，得到医疗鉴别诊断大模型。最后，将当前病历文本作为医疗鉴别诊断大模型的输入，以调用医疗鉴别诊断大模型对当前病历文本进行处理，并输出当前病历文本的鉴别诊断结果。该方法基于大语言模型使用医疗词汇和医疗语料做continue预训练，有助于专业医疗信息知识掌握，从而更好的理解病历与做鉴别诊断的推理。另外，使用低秩参数微调对齐方式能够激发大模型的鉴别诊断预测能力，比直接使用prompt构造指令让大模型推理出鉴别诊断的结果更专一并且输出的鉴别诊断结果准确度更高。
如图4所示，在一个实施例中，本发明提供的医疗鉴别诊断方法，获取医疗文本数据，并对医疗文本数据进行筛选，得到大语言模型的中文医疗词典，具体包括以下步骤：
步骤S112，获取医疗文献、医疗问答、医疗知识图谱以及医疗电子病历，并从医疗文献、医疗问答、医疗知识图谱以及医疗电子病历中筛选出中文医疗词典。
具体的，服务器获取医疗文献、医疗问答、医疗知识图谱以及医疗电子病历等医疗语料，并从医疗文献、医疗问答、医疗知识图谱以及医疗电子病历中筛选出中文医疗词典。
步骤S114，将中文医疗词典作为模型词典应用到大语言模型中。
具体的，服务器将步骤S112中筛选出来的中文医疗词典作为模型词典应用到开源的大语言模型中。
如图5所示，在一个实施例中，本发明提供的医疗鉴别诊断方法，通过医疗文本数据对大语言模型进行自然语言处理任务的continue预训练，得到医疗大模型，具体包括以下步骤：
步骤S122，将大语言模型中的其他transformer层进行冻结处理，并通过医疗文本数据对大语言模型中的新自然语言处理任务的嵌入层进行训练，以提升自然语言处理任务与其他任务的医疗语义空间理解。
具体的，服务器将大语言模型中的其他transformer层进行冻结处理，并通过医疗文本数据对大语言模型中的新自然语言处理任务的嵌入层（new token embedding层）进行训练，以提升自然语言处理任务与其他任务的医疗语义空间理解。
步骤S124，基于通过医疗文本数据对大语言模型中的新自然语言处理任务的嵌入层进行训练，生成医疗大模型。
具体的，服务器基于步骤S122中医疗文本数据对大语言模型中的新自然语言处理任务的嵌入层进行训练，生成预训练好的医疗大模型。
如图6所示，在一个实施例中，本发明提供的医疗鉴别诊断方法，对医疗大模型进行冻结处理，并通过低秩参数对医疗大模型进行微调，以对医疗大模型的下游任务进行对齐，得到医疗鉴别诊断大模型，具体包括以下步骤：
步骤S132，获取低秩参数，低秩参数为低秩的矩阵参数。
具体的，服务器获取由可训练的低秩的矩阵参数构成的低秩参数。
步骤S134，对医疗大模型进行冻结处理，并调用低秩参数通过低秩分解的方式对医疗大模型的下游任务进行对齐处理，生成医疗鉴别诊断大模型。
具体的，服务器对医疗大模型进行冻结处理，以使医疗大模型保持原始的医疗知识不被模型微调过程干扰，再调用步骤S132中得到的额外低秩参数通过低秩分解的方式对医疗大模型的下游任务进行对齐处理，生成最终的医疗鉴别诊断大模型。
如图7所示，在一个实施例中，本发明提供的医疗鉴别诊断方法，将当前病历文本作为医疗鉴别诊断大模型的输入，以调用医疗鉴别诊断大模型对当前病历文本进行处理，并输出当前病历文本的鉴别诊断结果，具体包括以下步骤：
步骤S142，获取当前患者的当前病历文本，并调用医疗鉴别诊断大模型通过新自然语言处理任务的嵌入层以及transformer层对当前病历文本进行低秩分解。
具体的，服务器获取当前患者的当前病历文本，并调用医疗鉴别诊断大模型通过新自然语言处理任务的嵌入层以及transformer层对当前病历文本进行低秩分解。
步骤S144，基于调用医疗鉴别诊断大模型通过新自然语言处理任务的嵌入层以及transformer层对当前病历文本进行低秩分解，获取当前病历文本对应的矩阵维度。
具体的，服务器基于步骤S142中调用医疗鉴别诊断大模型通过新自然语言处理任务的嵌入层以及transformer层对当前病历文本进行低秩分解，获取当前病历文本对应的矩阵维度，例如图3中所示的“d*h”。
步骤S146，调用医疗鉴别诊断大模型根据当前病历文本对应的矩阵维度生成当前病历文本的鉴别诊断结果。
具体的，服务器调用医疗鉴别诊断模型根据当前病历文本对应的矩阵维度生成并输出当前病历文本的鉴别诊断结果。
如图8所示，在一个实施例中，本发明提供的医疗鉴别诊断方法，还包括以下步骤：
步骤S810，调用大语言模型对医疗文本数据进行上下文分析，以根据医疗文本数据的上下文，对医疗文本数据对应的鉴别诊断结果进行预测。
具体的，服务器调用大语言模型对医疗文本数据进行上下文分析，以根据医疗文本数据的上下文，对医疗文本数据对应的鉴别诊断结果进行预测。
步骤S820，基于医疗文本数据对应的鉴别诊断结果生成自然语言处理任务，并通过自然语言处理任务对大语言模型进行continue预训练。
具体的，服务器基于医疗文本数据对应的鉴别诊断结果生成自然语言处理任务，并通过自然语言处理任务对大语言模型进行continue预训练。
下面对本发明提供的医疗鉴别诊断装置进行描述，下文描述的医疗鉴别诊断装置与上文描述的医疗鉴别诊断方法可相互对应参照。
如图9所示，在一个实施例中，一种医疗鉴别诊断装置，包括数据筛选模块910、模型预训练模块920、模型微调模块930以及鉴别诊断预测模块940。
数据筛选模块910用于获取医疗文本数据，并对医疗文本数据进行筛选，得到大语言模型的中文医疗词典，中文医疗词典用于应用到大语言模型的模型词典中。
模型预训练模块920用于通过医疗文本数据对大语言模型进行自然语言处理任务的continue预训练，得到医疗大模型。
模型微调模块930用于对医疗大模型进行冻结处理，并通过低秩参数对医疗大模型进行微调，以对医疗大模型的下游任务进行对齐，得到医疗鉴别诊断大模型。
鉴别诊断预测模块940用于将当前病历文本作为医疗鉴别诊断大模型的输入，以调用医疗鉴别诊断大模型对当前病历文本进行处理，并输出当前病历文本的鉴别诊断结果。
在本实施例中，本发明提供的医疗鉴别诊断装置，数据筛选模块具体用于：
获取医疗文献、医疗问答、医疗知识图谱以及医疗电子病历，并从医疗文献、医疗问答、医疗知识图谱以及医疗电子病历中筛选出中文医疗词典。
将中文医疗词典作为模型词典应用到大语言模型中。
在本实施例中，本发明提供的医疗鉴别诊断装置，模型预训练模块具体用于：
将大语言模型中的其他transformer层进行冻结处理，并通过医疗文本数据对大语言模型中的新自然语言处理任务的嵌入层进行训练，以提升自然语言处理任务与其他任务的医疗语义空间理解。
基于通过医疗文本数据对大语言模型中的新自然语言处理任务的嵌入层进行训练，生成医疗大模型。
在本实施例中，本发明提供的医疗鉴别诊断装置，模型微调模块具体用于：
获取低秩参数，低秩参数为低秩的矩阵参数。
对医疗大模型进行冻结处理，并调用低秩参数通过低秩分解的方式对医疗大模型的下游任务进行对齐处理，生成医疗鉴别诊断大模型。
在本实施例中，本发明提供的医疗鉴别诊断装置，鉴别诊断预测模块具体用于：
获取当前患者的当前病历文本，并调用医疗鉴别诊断大模型通过新自然语言处理任务的嵌入层以及transformer层对当前病历文本进行低秩分解。
基于调用医疗鉴别诊断大模型通过新自然语言处理任务的嵌入层以及transformer层对当前病历文本进行低秩分解，获取当前病历文本对应的矩阵维度。
在本实施例中，本发明提供的医疗鉴别诊断装置，鉴别诊断预测模块具体还用于：
调用医疗鉴别诊断大模型根据当前病历文本对应的矩阵维度生成当前病历文本的鉴别诊断结果。
在本实施例中，本发明提供的医疗鉴别诊断装置，还包括上下文分析模块，用于：
调用大语言模型对医疗文本数据进行上下文分析，以根据医疗文本数据的上下文，对医疗文本数据对应的鉴别诊断结果进行预测。
基于医疗文本数据对应的鉴别诊断结果生成自然语言处理任务，并通过自然语言处理任务对大语言模型进行continue预训练。
图10示例了一种电子设备的实体结构示意图，该电子设备可以是智能终端，其内部结构图可以如图10所示。该电子设备包括通过系统总线连接的处理器、存储器和网络接口。其中，该电子设备的处理器用于提供计算和控制能力。该电子设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统和计算机程序。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该电子设备的网络接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现医疗鉴别诊断方法，该方法包括：
获取医疗文本数据，并对医疗文本数据进行筛选，得到大语言模型的中文医疗词典，中文医疗词典用于应用到大语言模型的模型词典中；
通过医疗文本数据对大语言模型进行自然语言处理任务的continue预训练，得到医疗大模型；
对医疗大模型进行冻结处理，并通过低秩参数对医疗大模型进行微调，以对医疗大模型的下游任务进行对齐，得到医疗鉴别诊断大模型；
将当前病历文本作为医疗鉴别诊断大模型的输入，以调用医疗鉴别诊断大模型对当前病历文本进行处理，并输出当前病历文本的鉴别诊断结果。
本领域技术人员可以理解，图10中示出的结构，仅仅是与本发明方案相关的部分结构的框图，并不构成对本发明方案所应用于其上的电子设备的限定，具体的电子设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。
另一方面，本发明还提供了一种计算机存储介质，存储有计算机程序，计算机程序被处理器执行时实现医疗鉴别诊断方法，该方法包括：
获取医疗文本数据，并对医疗文本数据进行筛选，得到大语言模型的中文医疗词典，中文医疗词典用于应用到大语言模型的模型词典中；
通过医疗文本数据对大语言模型进行自然语言处理任务的continue预训练，得到医疗大模型；
对医疗大模型进行冻结处理，并通过低秩参数对医疗大模型进行微调，以对医疗大模型的下游任务进行对齐，得到医疗鉴别诊断大模型；
将当前病历文本作为医疗鉴别诊断大模型的输入，以调用医疗鉴别诊断大模型对当前病历文本进行处理，并输出当前病历文本的鉴别诊断结果。
又一方面，提供了一种计算机程序产品或计算机程序，该计算机程序产品或计算机程序包括计算机指令，该计算机指令存储在计算机可读存储介质中。电子设备的处理器从计算机可读存储介质读取该计算机指令，处理器执行该计算机指令时实现医疗鉴别诊断方法，该方法包括：
获取医疗文本数据，并对医疗文本数据进行筛选，得到大语言模型的中文医疗词典，中文医疗词典用于应用到大语言模型的模型词典中；
通过医疗文本数据对大语言模型进行自然语言处理任务的continue预训练，得到医疗大模型；
对医疗大模型进行冻结处理，并通过低秩参数对医疗大模型进行微调，以对医疗大模型的下游任务进行对齐，得到医疗鉴别诊断大模型；
将当前病历文本作为医疗鉴别诊断大模型的输入，以调用医疗鉴别诊断大模型对当前病历文本进行处理，并输出当前病历文本的鉴别诊断结果。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，该计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本发明所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)或闪存。易失性存储器可包括随机存取存储器(RAM)或者外部高速缓冲存储器。
作为说明而非局限，RAM以多种形式可得，诸如静态RAM(SRAM)、动态RAM(DRAM)、同步DRAM(SDRAM)、双倍数据率SDRAM(DDRSDRAM)、增强型SDRAM(ESDRAM)、同步链路(Synchlink)DRAM(SLDRAM)、存储器总线(Rambus)直接RAM(RDRAM)、直接存储器总线动态RAM(DRDRAM)、以及存储器总线动态RAM(RDRAM)等。
以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。
以上所述实施例仅表达了本发明的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对本发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变形和改进，这些都属于本发明的保护范围。因此，本发明专利的保护范围应以所附权利要求为准。
Claims (10)
1.一种医疗鉴别诊断方法，其特征在于，所述方法包括：
获取医疗文本数据，并对所述医疗文本数据进行筛选，得到大语言模型的中文医疗词典，所述中文医疗词典用于应用到所述大语言模型的模型词典中；
通过所述医疗文本数据对所述大语言模型进行自然语言处理任务的continue预训练，得到医疗大模型；
对所述医疗大模型进行冻结处理，并通过低秩参数对所述医疗大模型进行微调，以对所述医疗大模型的下游任务进行对齐，得到医疗鉴别诊断大模型；
将当前病历文本作为所述医疗鉴别诊断大模型的输入，以调用所述医疗鉴别诊断大模型对所述当前病历文本进行处理，并输出所述当前病历文本的鉴别诊断结果。
2.根据权利要求1所述的医疗鉴别诊断方法，其特征在于，所述医疗文本数据至少包括医疗文献、医疗问答、医疗知识图谱以及医疗电子病历；
所述获取医疗文本数据，并对所述医疗文本数据进行筛选，得到大语言模型的中文医疗词典，包括：
获取所述医疗文献、医疗问答、医疗知识图谱以及医疗电子病历，并从所述医疗文献、医疗问答、医疗知识图谱以及医疗电子病历中筛选出所述中文医疗词典；
将所述中文医疗词典作为所述模型词典应用到所述大语言模型中。
3.根据权利要求1所述的医疗鉴别诊断方法，其特征在于，所述通过所述医疗文本数据对所述大语言模型进行自然语言处理任务的continue预训练，得到医疗大模型，包括：
将所述大语言模型中的其他transformer层进行冻结处理，并通过所述医疗文本数据对所述大语言模型中的新自然语言处理任务的嵌入层进行训练，以提升所述自然语言处理任务与其他任务的医疗语义空间理解；
基于所述通过所述医疗文本数据对所述大语言模型中的新自然语言处理任务的嵌入层进行训练，生成所述医疗大模型。
4.根据权利要求3所述的医疗鉴别诊断方法，其特征在于，所述对所述医疗大模型进行冻结处理，并通过低秩参数对所述医疗大模型进行微调，以对所述医疗大模型的下游任务进行对齐，得到医疗鉴别诊断大模型，包括：
获取所述低秩参数，所述低秩参数为低秩的矩阵参数；
对所述医疗大模型进行冻结处理，并调用所述低秩参数通过低秩分解的方式对所述医疗大模型的下游任务进行对齐处理，生成所述医疗鉴别诊断大模型。
5.根据权利要求4所述的医疗鉴别诊断方法，其特征在于，所述将当前病历文本作为所述医疗鉴别诊断大模型的输入，以调用所述医疗鉴别诊断大模型对所述当前病历文本进行处理，并输出所述当前病历文本的鉴别诊断结果，包括：
获取当前患者的所述当前病历文本，并调用所述医疗鉴别诊断大模型通过新自然语言处理任务的嵌入层以及transformer层对所述当前病历文本进行低秩分解；
基于所述调用所述医疗鉴别诊断大模型通过新自然语言处理任务的嵌入层以及transformer层对所述当前病历文本进行低秩分解，获取所述当前病历文本对应的矩阵维度。
6.根据权利要求5所述的医疗鉴别诊断方法，其特征在于，所述将当前病历文本作为所述医疗鉴别诊断大模型的输入，以调用所述医疗鉴别诊断大模型对所述当前病历文本进行处理，并输出所述当前病历文本的鉴别诊断结果，还包括：
调用所述医疗鉴别诊断大模型根据所述当前病历文本对应的矩阵维度生成所述当前病历文本的鉴别诊断结果。
7.根据权利要求1至6任一项所述的医疗鉴别诊断方法，其特征在于，所述方法还包括：
调用所述大语言模型对所述医疗文本数据进行上下文分析，以根据所述医疗文本数据的上下文，对所述医疗文本数据对应的鉴别诊断结果进行预测；
基于所述医疗文本数据对应的鉴别诊断结果生成所述自然语言处理任务，并通过所述自然语言处理任务对所述大语言模型进行continue预训练。
8.一种医疗鉴别诊断装置，其特征在于，所述装置包括：
数据筛选模块，用于获取医疗文本数据，并对所述医疗文本数据进行筛选，得到大语言模型的中文医疗词典，所述中文医疗词典用于应用到所述大语言模型的模型词典中；
模型预训练模块，用于通过所述医疗文本数据对所述大语言模型进行自然语言处理任务的continue预训练，得到医疗大模型；
模型微调模块，用于对所述医疗大模型进行冻结处理，并通过低秩参数对所述医疗大模型进行微调，以对所述医疗大模型的下游任务进行对齐，得到医疗鉴别诊断大模型；
鉴别诊断预测模块，用于将当前病历文本作为所述医疗鉴别诊断大模型的输入，以调用所述医疗鉴别诊断大模型对所述当前病历文本进行处理，并输出所述当前病历文本的鉴别诊断结果。
9.一种电子设备，包括存储器和处理器，所述存储器存储有计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至7中任一项所述的方法的步骤。
10.一种计算机存储介质，存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至7中任一项所述的方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202410407132.XA CN117995393A (zh) | 2024-04-07 | 2024-04-07 | 医疗鉴别诊断方法、装置、电子设备及存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202410407132.XA CN117995393A (zh) | 2024-04-07 | 2024-04-07 | 医疗鉴别诊断方法、装置、电子设备及存储介质 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN117995393A true CN117995393A (zh) | 2024-05-07 |
Family
ID=90891096
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202410407132.XA Pending CN117995393A (zh) | 2024-04-07 | 2024-04-07 | 医疗鉴别诊断方法、装置、电子设备及存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN117995393A (zh) |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20180101750A1 (en) * | 2016-10-11 | 2018-04-12 | Xerox Corporation | License plate recognition with low-rank, shared character classifiers |
| CN117253576A (zh) * | 2023-10-30 | 2023-12-19 | 来未来科技(浙江)有限公司 | 基于中文医疗大模型的门诊电子病历生成方法 |
| US20240020486A1 (en) * | 2022-07-12 | 2024-01-18 | Salesforce, Inc. | Systems and methods for finetuning with learned hidden representations of parameter changes |
| CN117436480A (zh) * | 2023-10-31 | 2024-01-23 | 东北大学 | 一种Mindspore框架下的大模型及推荐方法 |
| CN117574921A (zh) * | 2023-11-27 | 2024-02-20 | 西安电子科技大学 | 一种中文牙科智能诊疗问答方法、电子设备及存储介质 |
| CN117786069A (zh) * | 2023-12-15 | 2024-03-29 | 讯飞医疗科技股份有限公司 | 医疗问答方法、装置、系统、机器人、存储介质及设备 |
-
2024
- 2024-04-07 CN CN202410407132.XA patent/CN117995393A/zh active Pending
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20180101750A1 (en) * | 2016-10-11 | 2018-04-12 | Xerox Corporation | License plate recognition with low-rank, shared character classifiers |
| US20240020486A1 (en) * | 2022-07-12 | 2024-01-18 | Salesforce, Inc. | Systems and methods for finetuning with learned hidden representations of parameter changes |
| CN117253576A (zh) * | 2023-10-30 | 2023-12-19 | 来未来科技(浙江)有限公司 | 基于中文医疗大模型的门诊电子病历生成方法 |
| CN117436480A (zh) * | 2023-10-31 | 2024-01-23 | 东北大学 | 一种Mindspore框架下的大模型及推荐方法 |
| CN117574921A (zh) * | 2023-11-27 | 2024-02-20 | 西安电子科技大学 | 一种中文牙科智能诊疗问答方法、电子设备及存储介质 |
| CN117786069A (zh) * | 2023-12-15 | 2024-03-29 | 讯飞医疗科技股份有限公司 | 医疗问答方法、装置、系统、机器人、存储介质及设备 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Balakrishnan et al. | Intelligent diagnosis systems | |
| US10878570B2 (en) | Knockout autoencoder for detecting anomalies in biomedical images | |
| US10936628B2 (en) | Automatic processing of ambiguously labeled data | |
| JP7483751B2 (ja) | 教師なしデータ拡張を使用した機械学習モデルのトレーニング | |
| CN112036154A (zh) | 基于问诊对话的电子病历生成方法、装置和计算机设备 | |
| CN115599901B (zh) | 基于语义提示的机器问答方法、装置、设备及存储介质 | |
| CN117995392B (zh) | 鉴别诊断生成方法、装置、电子设备及存储介质 | |
| CN117995373B (zh) | 医院查房记录生成方法、装置、电子设备及存储介质 | |
| CN115398446A (zh) | 使用符号编程的机器学习算法搜索 | |
| CN117672450A (zh) | 一种基于知识图谱的个性化药物推荐方法与系统 | |
| CN118133971A (zh) | 基于大语言模型的医疗问答方法和装置 | |
| Michael | Simultaneous learning and prediction | |
| CN111783473B (zh) | 医疗问答中最佳答案的识别方法、装置和计算机设备 | |
| WO2021205136A1 (en) | System and method for medical triage through deep q-learning | |
| CN117995393A (zh) | 医疗鉴别诊断方法、装置、电子设备及存储介质 | |
| CN116992833A (zh) | 对话生成模型的训练方法、装置、设备及介质 | |
| Damyanova | Quality attributes in AI-ML-based systems: differences and challenges | |
| Kwisthout et al. | Predictive coding and the Bayesian brain: Intractability hurdles that are yet to be overcome. | |
| CN118132735B (zh) | 医疗规则库的生成方法和装置 | |
| Galitsky | Kolmogorov-Arnold network for word-level explainable meaning representation | |
| Torri | Textual eXplanations for intuitive machine learning | |
| Gao | The Problems of “Artificial Intelligence” in Modern Philosophy and Science | |
| Su et al. | Deep knowledge tracing with learning curves | |
| JP7558411B2 (ja) | 連想記憶装置 | |
| CN116884440A (zh) | 语音情感识别方法、装置、计算机设备及存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |