CN115116576A - 融合知识的中医诊断报告自动化生成方法、系统及终端 - Google Patents
融合知识的中医诊断报告自动化生成方法、系统及终端 Download PDFInfo
- Publication number
- CN115116576A CN115116576A CN202210772104.9A CN202210772104A CN115116576A CN 115116576 A CN115116576 A CN 115116576A CN 202210772104 A CN202210772104 A CN 202210772104A CN 115116576 A CN115116576 A CN 115116576A
- Authority
- CN
- China
- Prior art keywords
- diagnosis
- knowledge
- patient
- chinese medicine
- traditional chinese
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000003745 diagnosis Methods 0.000 title claims abstract description 403
- 239000003814 drug Substances 0.000 title claims abstract description 138
- 238000000034 method Methods 0.000 title claims abstract description 49
- 238000000605 extraction Methods 0.000 claims description 97
- 230000001815 facial effect Effects 0.000 claims description 65
- 230000015654 memory Effects 0.000 claims description 25
- 238000013145 classification model Methods 0.000 claims description 22
- 238000007781 pre-processing Methods 0.000 claims description 18
- 230000004927 fusion Effects 0.000 claims description 13
- 238000006243 chemical reaction Methods 0.000 claims description 11
- 238000004590 computer program Methods 0.000 claims description 7
- 238000013527 convolutional neural network Methods 0.000 claims description 5
- 230000007246 mechanism Effects 0.000 claims description 5
- 238000002405 diagnostic procedure Methods 0.000 claims description 4
- 238000013507 mapping Methods 0.000 claims description 3
- 238000012549 training Methods 0.000 description 14
- 238000005516 engineering process Methods 0.000 description 8
- 238000010586 diagram Methods 0.000 description 7
- 208000024891 symptom Diseases 0.000 description 4
- 208000011580 syndromic disease Diseases 0.000 description 4
- 238000013135 deep learning Methods 0.000 description 3
- 230000000694 effects Effects 0.000 description 3
- 230000009286 beneficial effect Effects 0.000 description 2
- 201000010099 disease Diseases 0.000 description 2
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 238000012545 processing Methods 0.000 description 2
- 238000011160 research Methods 0.000 description 2
- 238000012795 verification Methods 0.000 description 2
- MCSXGCZMEPXKIW-UHFFFAOYSA-N 3-hydroxy-4-[(4-methyl-2-nitrophenyl)diazenyl]-N-(3-nitrophenyl)naphthalene-2-carboxamide Chemical compound Cc1ccc(N=Nc2c(O)c(cc3ccccc23)C(=O)Nc2cccc(c2)[N+]([O-])=O)c(c1)[N+]([O-])=O MCSXGCZMEPXKIW-UHFFFAOYSA-N 0.000 description 1
- 206010063385 Intellectualisation Diseases 0.000 description 1
- 208000031975 Yang Deficiency Diseases 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 239000011248 coating agent Substances 0.000 description 1
- 238000000576 coating method Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 230000007812 deficiency Effects 0.000 description 1
- 230000002950 deficient Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 235000005911 diet Nutrition 0.000 description 1
- 230000000378 dietary effect Effects 0.000 description 1
- 235000021004 dietary regimen Nutrition 0.000 description 1
- 229940079593 drug Drugs 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 239000002932 luster Substances 0.000 description 1
- 230000008569 process Effects 0.000 description 1
- 230000000750 progressive effect Effects 0.000 description 1
- 238000012216 screening Methods 0.000 description 1
- 238000002560 therapeutic procedure Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H15/00—ICT specially adapted for medical reports, e.g. generation or transmission thereof
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H20/00—ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance
- G16H20/90—ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance relating to alternative medicines, e.g. homeopathy or oriental medicines
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
- G16H50/70—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for mining of medical data, e.g. analysing previous cases of other patients
Landscapes
- Engineering & Computer Science (AREA)
- Health & Medical Sciences (AREA)
- Medical Informatics (AREA)
- Public Health (AREA)
- General Health & Medical Sciences (AREA)
- Epidemiology (AREA)
- Primary Health Care (AREA)
- Data Mining & Analysis (AREA)
- Pharmacology & Pharmacy (AREA)
- Alternative & Traditional Medicine (AREA)
- Biomedical Technology (AREA)
- Databases & Information Systems (AREA)
- Pathology (AREA)
- Medical Treatment And Welfare Office Work (AREA)
Abstract
本发明的融合知识的中医诊断报告自动化生成方法、系统及终端，通过获取采集的患者四诊数据并进行预处理，并提取预处理后的患者四诊数据中的四诊特征；基于所述四诊特征获得对应的四诊识别结果，并将其转换为中医知识图谱数据，提取知识特征；将所述四诊特征与所述知识特征融合获得中医诊断特征，从而生成对应的中医诊断报告。本发明充分利用四诊数据和丰富的中医知识图谱可以获得具有中医特色、符合中医诊断规范的文本表达结果。这既能够提升医生的诊断效率，也能够提升病人的就医体验。
Description
技术领域
本发明涉及文本生成领域，特别是涉及一种融合知识的中医诊断报告自动化生成方法、系统及终端。
背景技术
当前智慧医疗和互联网诊断技术发展迅速，中医诊断相关的研究也在面向智能化和数字化进发。针对医疗资源特别是优质中医资源紧缺的问题日趋严重。如何合理应用AI技术辅助提升医疗诊断效率，同时提升病人的诊断满意度备受关注。因此，利用文本生成技术完成相关中医智能诊断报告自动化生成，将有助于相关医疗资源的节约和诊断效率提升。
文本生成技术是一种生成近似自然语言序列的方法，主要包括利用文本、语音、图像和视频等作为输入生成文本的方式。随着深度学习技术的发展，文本生成技术已经被广泛的应用在了许多实践任务中，并取得了良好的效果。在医疗相关领域内，也有针对特定任务的内容生成方法，相关方法的研究大多是利用传统规则模板、检索或深度学习方法生成文本。基于规则模板和检索的医疗文本生成技术所获得的文本内容单一、形式不够灵活，并不能应用于复杂多样的医疗场景；单纯利用深度学习方法生成医疗文本的方式会存在专业知识缺乏、内容不可控，模型效果有限的问题。
发明内容
鉴于以上所述现有技术的缺点，本发明的目的在于提供一种融合知识的中医诊断报告自动化生成方法、系统及终端，用于解决现有技术中以上技术问题。
为实现上述目的及其他相关目的，本发明提供一种融合知识的中医诊断报告自动化生成方法，所述方法包括：获取采集的患者四诊数据并进行预处理；提取预处理后的患者四诊数据中的四诊特征；基于所述四诊特征获得对应的四诊识别结果，并将其转换为中医知识图谱数据；根据所述中医知识图谱数据提取知识特征；将所述四诊特征与所述知识特征融合，获得中医诊断特征；基于所述中医诊断特征生成对应的中医诊断报告。
于本发明的一实施例中，所述患者四诊数据包括：面部图像数据、舌体图像数据、脉诊数据、患者体质文本数据以及患者主诉文本数据。
于本发明的一实施例中，所述提取预处理后的患者四诊数据中的四诊特征包括：基于特征提取模型，提取预处理后的患者四诊数据中的四诊特征；其中，所述四诊特征包括：面部图像特征、舌体图像特征、脉诊特征、患者体质文本特征以及患者主诉文本特征；其中，所述特征提取模型包括：面部特征提取模型，用于根据预处理后的面部图像数据获得面部图像特征；舌体特征提取模型，用于根据预处理后的舌体图像数据获得舌体图像特征；脉诊特征提取模型，用于根据预处理后的脉诊数据获得脉诊特征；体质文本特征提取模型，用于根据预处理后的患者体质文本数据获得患者体质文本特征；主诉文本特征提取模型，用于根据预处理后的患者主诉文本数据获得患者主诉文本特征；并且其中，所述面部特征提取模型以及舌体特征提取模型采用深度卷积神经网络，所述脉诊特征提取模型采用长短时记忆网络，所述体质文本特征提取模型以及主诉文本特征提取模型采用语言模型。
于本发明的一实施例中，所述基于所述四诊特征获得对应的四诊识别结果，并将其转换为中医知识图谱数据包括：基于诊断结果识别模型，根据所述诊断特征获得对应的四诊识别结果；其中，所述四诊识别结果包括：面部诊断分类结果、舌体诊断分类结果、脉诊诊断分类结果、患者体质诊断分类结果以及患者主诉关键词提取结果；分别获取与所述面部诊断分类结果、舌体诊断分类结果、脉诊诊断分类结果、患者体质诊断分类结果以及患者主诉关键词提取结果相关联的中医知识图谱数据；其中，所述诊断结果识别模型包括：面部诊断分类模型，用于根据所述面部图像特征获得面部诊断分类结果；舌体诊断分类模型，用于根据所述舌体图像特征获得舌体诊断分类结果；脉诊诊断分类模型，用于根据所述脉诊特征获得脉诊诊断分类结果；体质文本诊断分类模型，用于根据所述患者体质文本特征获得患者体质诊断分类结果；主诉文本关键词提取模型，用于根据所述患者主诉文本特征获得患者主诉关键词提取结果。
于本发明的一实施例中，所述根据所述中医知识图谱数据提取知识特征包括：利用知识图谱表示方法，根据与所述面部诊断分类结果、舌体诊断分类结果、脉诊诊断分类结果、患者体质诊断分类结果以及患者主诉关键词提取结果相关联的中医知识图谱数据获取知识特征。
于本发明的一实施例中，将所述四诊特征与所述知识特征融合，获得中医诊断特征包括：对所述面部图像特征以及舌体图像特征进行融合，以获得图像特征；对所述患者体质文本特征以及患者主诉文本特征进行融合，以获得文本特征；将所述图像特征、脉诊特征、知识特征以及文本特征利用注意力机制进行融合，以获得中医诊断特征。
于本发明的一实施例中，所述基于所述中医诊断特征获得对应的中医诊断报告包括：基于中医诊断报告生成模型，根据所述中医诊断特征生成中医诊断报告。
于本发明的一实施例中，所述方法还包括：对所述中医诊断报告进行推理校验，以输出校验合格的中医诊断报告。
为实现上述目的及其他相关目的，本发明提供一种融合知识的中医诊断报告自动化生成系统，所述系统包括：数据获取与预处理模块，用于获取采集的患者四诊数据并进行预处理；特征提取模块，连接所述数据获取与预处理模块，用于提取预处理后的患者四诊数据中的四诊特征；识别与转换模块，连接所述特征提取模块，用于基于所述四诊特征获得对应的四诊识别结果，并将其转换为中医知识图谱数据；知识特征提取模块，连接所述识别与转换模块，用于根据所述中医知识图谱数据提取知识特征；特征融合模块，连接所述特征提取模块以及知识特征提取模块，用于将所述四诊特征与所述知识特征融合，获得中医诊断特征；诊断报告生成模块，连接所述特征融合模块，用于基于所述中医诊断特征生成对应的中医诊断报告。
为实现上述目的及其他相关目的，本发明提供一种融合知识的中医诊断报告自动化生成终端，包括：一或多个存储器及一或多个处理器；所述一或多个存储器，用于存储计算机程序；所述一或多个处理器，连接所述存储器，用于运行所述计算机程序以执行所述融合知识的中医诊断报告自动化生成方法。
如上所述，本发明是一种融合知识的中医诊断报告自动化生成方法、系统及终端，具有以下有益效果：本发明通过获取采集的患者四诊数据并进行预处理，并提取预处理后的患者四诊数据中的四诊特征；基于所述四诊特征获得对应的四诊识别结果，并将其转换为中医知识图谱数据，提取知识特征；将所述四诊特征与所述知识特征融合获得中医诊断特征，从而生成对应的中医诊断报告。本发明充分利用四诊数据和丰富的中医知识图谱可以获得具有中医特色、符合中医诊断规范的文本表达结果。这既能够提升医生的诊断效率，也能够提升病人的就医体验。
附图说明
图1显示为本发明一实施例中的融合知识的中医诊断报告自动化生成方法的流程示意图。
图2显示为本发明一实施例中的特征融合示意图。
图3显示为本发明一实施例中的融合知识的中医诊断报告自动化生成系统的结构示意图。
图4显示为本发明一实施例中的融合知识的中医诊断报告自动化生成系统的结构示意图。
图5显示为本发明一实施例中的融合知识的中医诊断报告自动化生成终端的结构示意图。
具体实施方式
以下通过特定的具体实例说明本发明的实施方式，本领域技术人员可由本说明书所揭露的内容轻易地了解本发明的其他优点与功效。本发明还可以通过另外不同的具体实施方式加以实施或应用，本说明书中的各项细节也可以基于不同观点与应用，在没有背离本发明的精神下进行各种修饰或改变。需说明的是，在不冲突的情况下，以下实施例及实施例中的特征可以相互组合。
需要说明的是，在下述描述中，参考附图，附图描述了本发明的若干实施例。应当理解，还可使用其他实施例，并且可以在不背离本发明的精神和范围的情况下进行机械组成、结构、电气以及操作上的改变。下面的详细描述不应该被认为是限制性的，并且本发明的实施例的范围仅由公布的专利的权利要求书所限定。这里使用的术语仅是为了描述特定实施例，而并非旨在限制本发明。空间相关的术语，例如“上”、“下”、“左”、“右”、“下面”、“下方”、““下部”、“上方”、“上部”等，可在文中使用以便于说明图中所示的一个元件或特征与另一元件或特征的关系。
在通篇说明书中，当说某部分与另一部分“连接”时，这不仅包括“直接连接”的情形，也包括在其中间把其它元件置于其间而“间接连接”的情形。另外，当说某种部分“包括”某种构成要素时，只要没有特别相反的记载，则并非将其它构成要素，排除在外，而是意味着可以还包括其它构成要素。
其中提到的第一、第二及第三等术语是为了说明多样的部分、成分、区域、层及/或段而使用的，但并非限定于此。这些术语只用于把某部分、成分、区域、层或段区别于其它部分、成分、区域、层或段。因此，以下叙述的第一部分、成分、区域、层或段在不超出本发明范围的范围内，可以言及到第二部分、成分、区域、层或段。
再者，如同在本文中所使用的，单数形式“一”、“一个”和“该”旨在也包括复数形式，除非上下文中有相反的指示。应当进一步理解，术语“包含”、“包括”表明存在所述的特征、操作、元件、组件、项目、种类、和/或组，但不排除一个或多个其他特征、操作、元件、组件、项目、种类、和/或组的存在、出现或添加。此处使用的术语“或”和“和/或”被解释为包括性的，或意味着任一个或任何组合。因此，“A、B或C”或者“A、B和/或C”意味着“以下任一个：A；B；C；A和B；A和C；B和C；A、B和C”。仅当元件、功能或操作的组合在某些方式下内在地互相排斥时，才会出现该定义的例外。
本发明提供一种融合知识的中医诊断报告自动化生成方法、系统及终端，通过获取采集的患者四诊数据并进行预处理，并提取预处理后的患者四诊数据中的四诊特征；基于所述四诊特征获得对应的四诊识别结果，并将其转换为中医知识图谱数据，提取知识特征；将所述四诊特征与所述知识特征融合获得中医诊断特征，从而生成对应的中医诊断报告。本发明充分利用四诊数据和丰富的中医知识图谱可以获得具有中医特色、符合中医诊断规范的文本表达结果。这既能够提升医生的诊断效率，也能够提升病人的就医体验。
下面以附图为参考，针对本发明的实施例进行详细说明，以便本发明所述技术领域的技术人员能够容易地实施。本发明可以以多种不同形态体现，并不限于此处说明的实施例。
如图1展示本发明实施例中的一种融合知识的中医诊断报告自动化生成方法的流程示意图。
所述方法包括：
步骤S11：获取采集的患者四诊数据并进行预处理。
可选的，所述患者四诊数据包括：面部图像数据、舌体图像数据、脉诊数据、患者体质文本数据以及患者主诉文本数据。具体的，所述面部图像数据利用面诊仪采集，所述舌体图像数据利用舌诊仪采集，所述脉诊数据利用脉诊仪采集。所述患者体质文本数据以及患者主诉文本数据可以直接文字输入也可以以问卷的形式进行采集。
可选的，基于不同格式或类型的数据，所述患者四诊数据进行相应的预处理，留下价值高的数据；例如对于图像数据，由于采集设备或拍摄环境与角度的关系，需要对采集的面部和舌部图像数据进行筛选与裁剪预处理，以获得人脸和舌象中有助于训练中医舌、面诊断模型的人脸部位和舌体部分。对于脉诊数据去掉不重要或是不具有参考性的脉信号数据；对于患者体质文本数据以及患者主诉文本数据去掉格式不正确或是无关语句，例如语气词或是非所问文字数据。
步骤S12：提取预处理后的患者四诊数据中的四诊特征。
可选的，所述提取预处理后的患者四诊数据中的四诊特征包括：
基于特征提取模型，提取预处理后的患者四诊数据中的四诊特征；其中，所述四诊特征包括：面部图像特征、舌体图像特征、脉诊特征、患者体质文本特征以及患者主诉文本特征；
其中，所述特征提取模型包括：
面部特征提取模型，用于根据预处理后的面部图像数据获得面部图像特征；其中，所述面部特征提取模型由带有面部图像特征的面部图像样本训练获得；
舌体特征提取模型，用于根据预处理后的舌体图像数据获得舌体图像特征；其中，所述舌体特征提取模型由带有舌体图像特征的舌体图像样本训练获得；
脉诊特征提取模型，用于根据预处理后的脉诊数据获得脉诊特征；其中，所述脉诊特征提取模型由带有脉诊特征的脉诊数据样本训练获得；
体质文本特征提取模型，用于根据预处理后的患者体质文本数据获得患者体质文本特征；其中，所述体质文本特征提取模型由带有患者体质文本特征的患者体质文本数据样本训练获得；
主诉文本特征提取模型，用于根据预处理后的患者主诉文本数据获得患者主诉文本特征；其中，所述体质文本特征提取模型由带有患者体质文本特征的患者体质文本数据样本训练获得；其中，所述主诉文本特征提取模型由带有患者主诉文本特征的患者主诉文本数据样本训练获得；
并且其中，所述面部特征提取模型以及舌体特征提取模型采用深度卷积神经网络，所述脉诊特征提取模型采用长短时记忆网络，所述体质文本特征提取模型以及主诉文本特征提取模型采用语言模型。
步骤S13：基于所述四诊特征获得对应的四诊识别结果，并将其转换为中医知识图谱数据。
可选的，步骤S13包括：
基于诊断结果识别模型，根据所述诊断特征获得对应的四诊识别结果；其中，所述四诊识别结果包括：面部诊断分类结果、舌体诊断分类结果、脉诊诊断分类结果、患者体质诊断分类结果以及患者主诉关键词提取结果；
其中，所述诊断结果识别模型包括：
面部诊断分类模型，用于根据所述面部图像特征获得面部诊断分类结果；其中，所述面部诊断分类模型由标记有面部诊断分类结果的面部图像特征样本训练获得；所述面部诊断分类结果包括：面色、光泽、唇色等面属性。
舌体诊断分类模型，用于根据所述舌体图像特征获得舌体诊断分类结果；其中，所述舌体诊断分类模型由标记有舌体诊断分类结果的面部图像特征样本训练获得；所述舌体诊断分类结果包括：舌色、舌形、苔色、苔质等。同时对舌属性进行细粒度特征的分类，如舌色包括淡红、红、绛、紫黯等。
脉诊诊断分类模型，用于根据所述脉诊特征获得脉诊诊断分类结果；其中，所述脉诊诊断分类模型由标记有脉诊诊断分类结果的脉诊特征样本训练获得；所述脉诊诊断分类结果的类别包括：弦、滑、虚、实、涩等分类。
体质文本诊断分类模型，用于根据所述患者体质文本特征获得患者体质诊断分类结果；其中，所述体质文本诊断分类模型由标记有患者体质诊断分类结果的患者体质文本特征样本训练获得；所述患者体质诊断分类结果的类别包括：气虚质、阳虚质、平和质等分类。
主诉文本关键词提取模型，用于根据所述患者主诉文本特征获得患者主诉关键词提取结果。其中，所述主诉文本关键词提取模型由标记有主诉关键词的患者主诉文本特征样本训练获得。
分别获取与所述面部诊断分类结果、舌体诊断分类结果、脉诊诊断分类结果、患者体质诊断分类结果以及患者主诉关键词提取结果相关联的中医知识图谱数据；具体的，预先将面诊、舌诊、脉诊、体质分类模型的具体分类结果与包含中医证候、中医疾病、中医症状、中医治法和中药方剂等主要内容的中医知识图谱相关联，通过知识融合与对齐后可获得四诊结果的中医知识图谱表述。据此，可以从文本角度完成中医知识图谱对四诊数据的增强。
步骤S14：根据所述中医知识图谱数据提取知识特征。
可选的，步骤S14：利用知识图谱表示方法，根据与所述面部诊断分类结果、舌体诊断分类结果、脉诊诊断分类结果、患者体质诊断分类结果以及患者主诉关键词提取结果相关联的中医知识图谱数据获取知识特征。该知识特征包括文本和图关系特征。
步骤S15：将所述四诊特征与所述知识特征融合，获得中医诊断特征。
可选的，将原始四诊特征和利用知识图谱增强后的知识特征共同映射到统一的多模态向量空间中，融合对齐图像、脉、知识和文本表示，以获得最终的中医诊断特征。
可选的，将所述四诊特征与所述知识特征融合，获得中医诊断特征包括：对所述面部图像特征以及舌体图像特征进行融合，以获得图像特征；对所述患者体质文本特征以及患者主诉文本特征进行融合，以获得文本特征；将所述图像特征、脉诊特征、知识特征以及文本特征利用注意力机制进行融合，以获得中医诊断特征，如图2所示。
将四诊特征、各诊断模型结果与中医知识图谱融合的文本生成技术合理充分的应用在中医诊断任务中，既能够提升医生的诊断效率，也能够提升病人的就医体验。
步骤S16：基于所述中医诊断特征生成对应的中医诊断报告。
可选的，步骤S16包括：基于中医诊断报告生成模型，根据所述中医诊断特征生成中医诊断报告。优选的，基于融合后的中医诊断特征表示，训练transformer结构的中医诊断报告生成模型。
可选的，所述中医诊断报告生成模型可从摘要和详细内容两个角度生成包括四诊描述、当前症状、所属证候、病因解释、对应治法、用药处方、以及注意事项、食疗方案等8个模块的内容。
可选的，方法还包括：对所述中医诊断报告进行推理校验，以输出校验合格的中医诊断报告。具体的，由于医疗诊断的特殊性，相较于一般文本生成方法重点关注的生成文本自然性、流畅性和一致性等指标，中医诊断报告生成模型还需关注生成结果的合理性与专业性。因此需要利用中医知识图谱对模型生成的中医诊断报告进行推理校验，以保证生成结果的实用性。
与上述实施例原理相似的是，本发明提供一种融合知识的中医诊断报告自动化生成系统。
以下结合附图提供具体实施例：
如图3展示本发明实施例中的一种融合知识的中医诊断报告自动化生成系统的结构示意图。
所述系统包括：
数据获取与预处理模块31，用于获取采集的患者四诊数据并进行预处理；
特征提取模块32，连接所述数据获取与预处理模块31，用于提取预处理后的患者四诊数据中的四诊特征；
识别与转换模块33，连接所述特征提取模块32，用于基于所述四诊特征获得对应的四诊识别结果，并将其转换为中医知识图谱数据；
知识特征提取模块34，连接所述识别与转换模块33，用于根据所述中医知识图谱数据提取知识特征；
特征融合模块35，连接所述特征提取模块32以及知识特征提取模块34，用于将所述四诊特征与所述知识特征融合，获得中医诊断特征；
诊断报告生成模块36，连接所述特征融合模块35，用于基于所述中医诊断特征生成对应的中医诊断报告。
由于该融合知识的中医诊断报告自动化生成系统的实现原理已在前述实施例中进行了叙述，因此此处不作重复赘述。
可选的，所述患者四诊数据包括：面部图像数据、舌体图像数据、脉诊数据、患者体质文本数据以及患者主诉文本数据。
可选的，所述特征提取模块32用于基于特征提取模型，提取预处理后的患者四诊数据中的四诊特征；其中，所述四诊特征包括：面部图像特征、舌体图像特征、脉诊特征、患者体质文本特征以及患者主诉文本特征；
其中，所述特征提取模型包括：面部特征提取模型，用于根据预处理后的面部图像数据获得面部图像特征；舌体特征提取模型，用于根据预处理后的舌体图像数据获得舌体图像特征；脉诊特征提取模型，用于根据预处理后的脉诊数据获得脉诊特征；体质文本特征提取模型，用于根据预处理后的患者体质文本数据获得患者体质文本特征；主诉文本特征提取模型，用于根据预处理后的患者主诉文本数据获得患者主诉文本特征；并且其中，所述面部特征提取模型以及舌体特征提取模型采用深度卷积神经网络，所述脉诊特征提取模型采用长短时记忆网络，所述体质文本特征提取模型以及主诉文本特征提取模型采用语言模型。
可选的，所述识别与转换模块33用于基于诊断结果识别模型，根据所述诊断特征获得对应的四诊识别结果；其中，所述四诊识别结果包括：面部诊断分类结果、舌体诊断分类结果、脉诊诊断分类结果、患者体质诊断分类结果以及患者主诉关键词提取结果；分别获取与所述面部诊断分类结果、舌体诊断分类结果、脉诊诊断分类结果、患者体质诊断分类结果以及患者主诉关键词提取结果相关联的中医知识图谱数据；
其中，所述诊断结果识别模型包括：面部诊断分类模型，用于根据所述面部图像特征获得面部诊断分类结果；舌体诊断分类模型，用于根据所述舌体图像特征获得舌体诊断分类结果；脉诊诊断分类模型，用于根据所述脉诊特征获得脉诊诊断分类结果；体质文本诊断分类模型，用于根据所述患者体质文本特征获得患者体质诊断分类结果；主诉文本关键词提取模型，用于根据所述患者主诉文本特征获得患者主诉关键词提取结果。
可选的，所述知识特征提取模块34用于利用知识图谱表示方法，根据与所述面部诊断分类结果、舌体诊断分类结果、脉诊诊断分类结果、患者体质诊断分类结果以及患者主诉关键词提取结果相关联的中医知识图谱数据获取知识特征。
可选的，所述特征融合模块35用于对所述面部图像特征以及舌体图像特征进行融合，以获得图像特征；对所述患者体质文本特征以及患者主诉文本特征进行融合，以获得文本特征；将所述图像特征、脉诊特征、知识特征以及文本特征利用注意力机制进行融合，以获得中医诊断特征。
可选的，所述诊断报告生成模块36用于基于中医诊断报告生成模型，根据所述中医诊断特征生成中医诊断报告。
可选的，所述融合知识的中医诊断报告自动化生成系统系统还包括：校验模块，连接所述诊断报告生成模块，用于对所述中医诊断报告进行推理校验，以输出校验合格的中医诊断报告。
为了更好的说明上述融合知识的中医诊断报告自动化生成系统，本发明提供以下具体实施例。
实施例1：一种融合知识的中医诊断报告自动化生成系统。如图4所示，为中医诊断报告自动化生成系统的结构示意图。
所述系统包括：数据采集和预处理模块、特征提取模块、诊断识别与转换模块、知识特征提取模块、特征融合模块、诊断报告生成模块和生成结果校验模块，每个模块详细内容如下：
数据采集和预处理模块，利用面诊仪和舌诊仪采集面部和舌部图像，利用脉诊仪采集脉诊数据，利用问卷采集体质和主诉数据。对于图像数据，由于采集设备或拍摄环境与角度的关系，需要对采集的面部和舌部图像数据进行筛选与裁剪预处理，以获得人脸和舌象中有助于训练中医舌、面诊断模型的人脸部位和舌体部分。
特征提取模块，由于所采集四诊数据的类型为图像、脉信号和文本，因此分别采用深度卷积神经网络、长短时记忆网络和语言模型提取图像、脉和文本特征。
诊断识别与转换模块，该模块包含四诊诊断识别和诊断结果转换两部分。四诊诊断识别由面诊、舌诊、脉诊、体质分类和主诉关键词提取等5个模型组成。每个模型分别基于步骤二中提取的数据特征训练模型，从而获得四诊诊断结果。诊断结果转换是将面诊、舌诊、脉诊、体质分类模型的具体分类结果与包含中医证候、中医疾病、中医症状、中医治法和中药方剂等主要内容的中医知识图谱相关联，通过知识融合与对齐后可获得四诊结果的中医知识图谱表述。据此，可以从文本角度完成中医知识图谱对四诊数据的增强。
知识特征提取模块，即对四诊结果转换后的中医知识图谱数据利用知识图谱表示方法提取增强后数据的知识特征，该知识特征包括文本和图关系特征。
特征融合模块，将原始数据特征和利用知识图谱增强后的知识特征共同映射到统一的多模态向量空间中，融合对齐图像、脉、知识和文本表示，以获得最终的中医四诊特征。特征融合由递进的两部分组成，首先，对面和舌特征进行融合，获得融合后的图像特征，对体质和主诉特征进行融合，获得融合后的文本特征；然后，对图像特征、知识特征、文本特征和脉特征利用注意力机制进行融合。
诊断报告生成模块，基于融合后的四诊特征表示，训练transformer结构的中医诊断报告生成模型。该模型可从摘要和详细内容两个角度生成包括四诊描述、当前症状、所属证候、病因解释、对应治法、用药处方、以及注意事项、食疗方案等8个模块的内容。
生成结果校验模块，由于医疗诊断的特殊性，相较于一般文本生成方法重点关注的生成文本自然性、流畅性和一致性等指标，中医诊断报告生成模型还需关注生成结果的合理性与专业性。因此需要利用中医知识图谱对模型生成结果进行推理校验，以保证生成结果的实用性。
本实施例相较于一般的文本生成方法，首先将四诊诊断识别模型结果利用中医知识图谱进行数据增强，然后融合图像、脉、文本和知识特征训练中医文本生成方法，能够更充分利用四诊数据和丰富的中医知识图谱信息，以“图文并茂”的形式增加生成模型的领域知识，可以获得具有中医特色、符合中医诊断规范的文本表达结果。这既能够提升医生的诊断效率，也能够提升病人的就医体验。
如图5展示本发明实施例中的融合知识的中医诊断报告自动化生成终端50的结构示意图。
所述融合知识的中医诊断报告自动化生成终端50包括：存储器51及处理器52。所述存储器51用于存储计算机程序；所述处理器52运行计算机程序实现如图1所述的融合知识的中医诊断报告自动化生成方法。
可选的，所述存储器51的数量均可以是一或多个，所述处理器52的数量均可以是一或多个，而图5中均以一个为例。
可选的，所述融合知识的中医诊断报告自动化生成终端50中的处理器52会按照如图1所述的步骤，将一个或多个以应用程序的进程对应的指令加载到存储器51中，并由处理器52来运行存储在第一存储器51中的应用程序，从而实现如图1所述融合知识的中医诊断报告自动化生成方法中的各种功能。
可选的，所述存储器51，可能包括但不限于高速随机存取存储器、非易失性存储器。例如一个或多个磁盘存储设备、闪存设备或其他非易失性固态存储设备；所述处理器52，可能包括但不限于中央处理器(Central Processing Unit，简称CPU)、网络处理器(Network Processor，简称NP)等；还可以是数字信号处理器(Digital SignalProcessing，简称DSP)、专用集成电路(Application Specific Integrated Circuit，简称ASIC)、现场可编程门阵列(Field－Programmable Gate Array，简称FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。
可选的，所述处理器52可以是通用处理器，包括中央处理器(Central ProcessingUnit，简称CPU)、网络处理器(Network Processor，简称NP)等；还可以是数字信号处理器(Digital Signal Processing，简称DSP)、专用集成电路(Application SpecificIntegrated Circuit，简称ASIC)、现场可编程门阵列(Field－Programmable Gate Array，简称FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。
本发明还提供计算机可读存储介质，存储有计算机程序，所述计算机程序运行时实现如图1所示的融合知识的中医诊断报告自动化生成方法。所述计算机可读存储介质可包括，但不限于，软盘、光盘、CD-ROM(只读光盘存储器)、磁光盘、ROM(只读存储器)、RAM(随机存取存储器)、EPROM(可擦除可编程只读存储器)、EEPROM(电可擦除可编程只读存储器)、磁卡或光卡、闪存、或适于存储机器可执行指令的其他类型的介质/机器可读介质。所述计算机可读存储介质可以是未接入计算机设备的产品，也可以是已接入计算机设备使用的部件。
综上所述，本发明的融合知识的中医诊断报告自动化生成方法、系统及终端，通过获取采集的患者四诊数据并进行预处理，并提取预处理后的患者四诊数据中的四诊特征；基于所述四诊特征获得对应的四诊识别结果，并将其转换为中医知识图谱数据，提取知识特征；将所述四诊特征与所述知识特征融合获得中医诊断特征，从而生成对应的中医诊断报告。本发明充分利用四诊数据和丰富的中医知识图谱可以获得具有中医特色、符合中医诊断规范的文本表达结果。这既能够提升医生的诊断效率，也能够提升病人的就医体验。所以，本发明有效克服了现有技术中的种种缺点而具高度产业利用价值。
上述实施例仅示例性说明本发明的原理及其功效，而非用于限制本发明。任何熟悉此技术的人士皆可在不违背本发明的精神及范畴下，对上述实施例进行修饰或改变。因此，但凡所属技术领域中具有通常知识者在未脱离本发明所揭示的精神与技术思想下所完成的一切等效修饰或改变，仍应由本发明的权利要求所涵盖。
Claims (10)
1.一种融合知识的中医诊断报告自动化生成方法，其特征在于，所述方法包括：
获取采集的患者四诊数据并进行预处理；
提取预处理后的患者四诊数据中的四诊特征；
基于所述四诊特征获得对应的四诊识别结果，并将其转换为中医知识图谱数据；
根据所述中医知识图谱数据提取知识特征；
将所述四诊特征与所述知识特征融合，获得中医诊断特征；
基于所述中医诊断特征生成对应的中医诊断报告。
2.根据权利要求1中所述的融合知识的中医诊断报告自动化生成方法，其特征在于，所述患者四诊数据包括：面部图像数据、舌体图像数据、脉诊数据、患者体质文本数据以及患者主诉文本数据。
3.根据权利要求2中所述的融合知识的中医诊断报告自动化生成方法，其特征在于，所述提取预处理后的患者四诊数据中的四诊特征包括：
基于特征提取模型，提取预处理后的患者四诊数据中的四诊特征；其中，所述四诊特征包括：面部图像特征、舌体图像特征、脉诊特征、患者体质文本特征以及患者主诉文本特征；
其中，所述特征提取模型包括：
面部特征提取模型，用于根据预处理后的面部图像数据获得面部图像特征；
舌体特征提取模型，用于根据预处理后的舌体图像数据获得舌体图像特征；
脉诊特征提取模型，用于根据预处理后的脉诊数据获得脉诊特征；
体质文本特征提取模型，用于根据预处理后的患者体质文本数据获得患者体质文本特征；
主诉文本特征提取模型，用于根据预处理后的患者主诉文本数据获得患者主诉文本特征；
并且其中，所述面部特征提取模型以及舌体特征提取模型采用深度卷积神经网络，所述脉诊特征提取模型采用长短时记忆网络，所述体质文本特征提取模型以及主诉文本特征提取模型采用语言模型。
4.根据权利要求3中所述的融合知识的中医诊断报告自动化生成方法，其特征在于，所述基于所述四诊特征获得对应的四诊识别结果，并将其转换为中医知识图谱数据包括：
基于诊断结果识别模型，根据所述诊断特征获得对应的四诊识别结果；其中，所述四诊识别结果包括：面部诊断分类结果、舌体诊断分类结果、脉诊诊断分类结果、患者体质诊断分类结果以及患者主诉关键词提取结果；
分别获取与所述面部诊断分类结果、舌体诊断分类结果、脉诊诊断分类结果、患者体质诊断分类结果以及患者主诉关键词提取结果相关联的中医知识图谱数据；
其中，所述诊断结果识别模型包括：
面部诊断分类模型，用于根据所述面部图像特征获得面部诊断分类结果；
舌体诊断分类模型，用于根据所述舌体图像特征获得舌体诊断分类结果；
脉诊诊断分类模型，用于根据所述脉诊特征获得脉诊诊断分类结果；
体质文本诊断分类模型，用于根据所述患者体质文本特征获得患者体质诊断分类结果；
主诉文本关键词提取模型，用于根据所述患者主诉文本特征获得患者主诉关键词提取结果。
5.根据权利要求4中所述的融合知识的中医诊断报告自动化生成方法，其特征在于，所述根据所述中医知识图谱数据提取知识特征包括：
利用知识图谱表示方法，根据与所述面部诊断分类结果、舌体诊断分类结果、脉诊诊断分类结果、患者体质诊断分类结果以及患者主诉关键词提取结果相关联的中医知识图谱数据获取知识特征。
6.根据权利要求3中所述的融合知识的中医诊断报告自动化生成方法，其特征在于，将所述四诊特征与所述知识特征融合，获得中医诊断特征包括：
对所述面部图像特征以及舌体图像特征进行融合，以获得图像特征；
对所述患者体质文本特征以及患者主诉文本特征进行融合，以获得文本特征；
将所述图像特征、脉诊特征、知识特征以及文本特征利用注意力机制进行融合，以获得中医诊断特征。
7.根据权利要求1中所述的融合知识的中医诊断报告自动化生成方法，其特征在于，所述基于所述中医诊断特征获得对应的中医诊断报告包括：
基于中医诊断报告生成模型，根据所述中医诊断特征生成中医诊断报告。
8.根据权利要求7中所述的融合知识的中医诊断报告自动化生成方法，其特征在于，所述方法还包括：
对所述中医诊断报告进行推理校验，以输出校验合格的中医诊断报告。
9.一种融合知识的中医诊断报告自动化生成系统，其特征在于，所述系统包括：
数据获取与预处理模块，用于获取采集的患者四诊数据并进行预处理；
特征提取模块，连接所述数据获取与预处理模块，用于提取预处理后的患者四诊数据中的四诊特征；
识别与转换模块，连接所述特征提取模块，用于基于所述四诊特征获得对应的四诊识别结果，并将其转换为中医知识图谱数据；
知识特征提取模块，连接所述识别与转换模块，用于根据所述中医知识图谱数据提取知识特征；
特征融合模块，连接所述特征提取模块以及知识特征提取模块，用于将所述四诊特征与所述知识特征融合，获得中医诊断特征；
诊断报告生成模块，连接所述特征融合模块，用于基于所述中医诊断特征生成对应的中医诊断报告。
10.一种融合知识的中医诊断报告自动化生成终端，其特征在于，包括：一或多个存储器及一或多个处理器；
所述一或多个存储器，用于存储计算机程序；
所述一或多个处理器，连接所述存储器，用于运行所述计算机程序以执行如权利要求8所述的方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210772104.9A CN115116576A (zh) | 2022-06-30 | 2022-06-30 | 融合知识的中医诊断报告自动化生成方法、系统及终端 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210772104.9A CN115116576A (zh) | 2022-06-30 | 2022-06-30 | 融合知识的中医诊断报告自动化生成方法、系统及终端 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN115116576A true CN115116576A (zh) | 2022-09-27 |
Family
ID=83329434
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202210772104.9A Pending CN115116576A (zh) | 2022-06-30 | 2022-06-30 | 融合知识的中医诊断报告自动化生成方法、系统及终端 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN115116576A (zh) |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115830009A (zh) * | 2023-02-07 | 2023-03-21 | 智慧眼科技股份有限公司 | 基于专家知识图谱推理的面诊系统、方法、设备及介质 |
| CN116821779A (zh) * | 2023-08-31 | 2023-09-29 | 中南大学湘雅医院 | 一种针对胃肠健康的大数据识别方法 |
| CN117611581A (zh) * | 2024-01-18 | 2024-02-27 | 之江实验室 | 一种基于多模态信息的舌象识别方法、装置及电子设备 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109431463A (zh) * | 2018-10-23 | 2019-03-08 | 南开大学 | 基于中西医样本标记的深度学习中医智能诊疗系统 |
| CN114360715A (zh) * | 2022-01-11 | 2022-04-15 | 平安科技（深圳）有限公司 | 体质辨识方法、装置、电子设备及存储介质 |
| CN114373539A (zh) * | 2021-12-28 | 2022-04-19 | 上海国民集团健康科技有限公司 | 中西医临床数据的处理方法、系统、存储介质及终端 |
| CN114512228A (zh) * | 2022-02-08 | 2022-05-17 | 吾征智能技术(北京)有限公司 | 一种中医疾病辅助诊断系统、设备及存储介质 |
-
2022
- 2022-06-30 CN CN202210772104.9A patent/CN115116576A/zh active Pending
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109431463A (zh) * | 2018-10-23 | 2019-03-08 | 南开大学 | 基于中西医样本标记的深度学习中医智能诊疗系统 |
| CN114373539A (zh) * | 2021-12-28 | 2022-04-19 | 上海国民集团健康科技有限公司 | 中西医临床数据的处理方法、系统、存储介质及终端 |
| CN114360715A (zh) * | 2022-01-11 | 2022-04-15 | 平安科技（深圳）有限公司 | 体质辨识方法、装置、电子设备及存储介质 |
| CN114512228A (zh) * | 2022-02-08 | 2022-05-17 | 吾征智能技术(北京)有限公司 | 一种中医疾病辅助诊断系统、设备及存储介质 |
Non-Patent Citations (1)
| Title |
|---|
| 王忆勤;郭睿;许朝霞;燕海霞;徐;郝一鸣;刘国萍;许文杰;李学良;珠穆朗玛;谢艳虹;: "中医四诊客观化研究在冠心病诊断中的应用", 中医杂志, no. 03, 2 February 2016 (2016-02-02), pages 199 - 203 * |
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115830009A (zh) * | 2023-02-07 | 2023-03-21 | 智慧眼科技股份有限公司 | 基于专家知识图谱推理的面诊系统、方法、设备及介质 |
| CN116821779A (zh) * | 2023-08-31 | 2023-09-29 | 中南大学湘雅医院 | 一种针对胃肠健康的大数据识别方法 |
| CN116821779B (zh) * | 2023-08-31 | 2023-11-14 | 中南大学湘雅医院 | 一种针对胃肠健康的大数据识别方法 |
| CN117611581A (zh) * | 2024-01-18 | 2024-02-27 | 之江实验室 | 一种基于多模态信息的舌象识别方法、装置及电子设备 |
| CN117611581B (zh) * | 2024-01-18 | 2024-05-14 | 之江实验室 | 一种基于多模态信息的舌象识别方法、装置及电子设备 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Lin et al. | Pmc-clip: Contrastive language-image pre-training using biomedical documents | |
| CN115116576A (zh) | 融合知识的中医诊断报告自动化生成方法、系统及终端 | |
| US10878570B2 (en) | Knockout autoencoder for detecting anomalies in biomedical images | |
| CN110675951A (zh) | 智能化的疾病诊断方法及装置、计算机设备与可读介质 | |
| Tizhoosh et al. | Searching images for consensus: can AI remove observer variability in pathology? | |
| Gonçalves et al. | A survey on attention mechanisms for medical applications: are we moving toward better Algorithms? | |
| CN118170892B (zh) | 体检报告影像学检查辅助解读方法及装置 | |
| Zheng et al. | Detecting Dementia from Face-Related Features with Automated Computational Methods | |
| CN116227594A (zh) | 面向多源数据的医疗行业高可信度知识图谱的构建方法 | |
| Sun et al. | Pathasst: A generative foundation ai assistant towards artificial general intelligence of pathology | |
| Ruan et al. | An efficient tongue segmentation model based on u-net framework | |
| Wang et al. | Multiscale feature fusion for skin lesion classification | |
| Li et al. | A medical ai diagnosis platform based on vision transformer for coronavirus | |
| CN117633558A (zh) | 基于视觉语言模型的多激励融合零样本病变检测方法 | |
| CN115910327B (zh) | 小样本癌症事件分析方法、装置、设备以及存储介质 | |
| CN116860947A (zh) | 面向文本阅读理解的选择题生成方法、系统及存储介质 | |
| CN111243728A (zh) | 一种智能中医四诊信息融合系统、方法及存储介质 | |
| CN116186315A (zh) | 视觉问答方法、装置、电子设备及存储介质 | |
| Yue et al. | Progressive feature enhancement network for automated colorectal polyp segmentation | |
| CN113674866B (zh) | 一种面向医疗文本的预训练方法 | |
| CN116956869A (zh) | 文本标准化方法、装置、电子设备及存储介质 | |
| CN114238587A (zh) | 阅读理解方法、装置、存储介质及计算机设备 | |
| Wu et al. | PathInsight: Instruction Tuning of Multimodal Datasets and Models for Intelligence Assisted Diagnosis in Histopathology | |
| Asri et al. | Advanced Visual and Textual Co-context Aware Attention Network with Dependent Multimodal Fusion Block for Visual Question Answering | |
| Han et al. | Multilevel contrast strategy for unpaired image-to-image translation |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |