CN115830009A - 基于专家知识图谱推理的面诊系统、方法、设备及介质 - Google Patents
基于专家知识图谱推理的面诊系统、方法、设备及介质 Download PDFInfo
- Publication number
- CN115830009A CN115830009A CN202310071368.6A CN202310071368A CN115830009A CN 115830009 A CN115830009 A CN 115830009A CN 202310071368 A CN202310071368 A CN 202310071368A CN 115830009 A CN115830009 A CN 115830009A
- Authority
- CN
- China
- Prior art keywords
- diagnosis
- preset
- expert knowledge
- features
- diagnosed
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000003745 diagnosis Methods 0.000 title claims abstract description 93
- 238000000034 method Methods 0.000 title claims abstract description 41
- 230000001815 facial effect Effects 0.000 claims abstract description 52
- 230000004927 fusion Effects 0.000 claims abstract description 34
- 238000004590 computer program Methods 0.000 claims description 15
- 238000000605 extraction Methods 0.000 claims description 8
- 230000011218 segmentation Effects 0.000 claims description 7
- 238000005192 partition Methods 0.000 claims description 6
- 238000010276 construction Methods 0.000 claims description 3
- 239000003814 drug Substances 0.000 abstract description 6
- 238000005516 engineering process Methods 0.000 description 7
- 230000008569 process Effects 0.000 description 7
- 238000004891 communication Methods 0.000 description 6
- 210000000056 organ Anatomy 0.000 description 6
- 201000010099 disease Diseases 0.000 description 5
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 description 5
- 238000013473 artificial intelligence Methods 0.000 description 4
- 210000004369 blood Anatomy 0.000 description 4
- 239000008280 blood Substances 0.000 description 4
- 238000010586 diagram Methods 0.000 description 4
- 230000006870 function Effects 0.000 description 4
- 230000009471 action Effects 0.000 description 3
- 206010027145 Melanocytic naevus Diseases 0.000 description 2
- 230000007547 defect Effects 0.000 description 2
- 210000003128 head Anatomy 0.000 description 2
- 238000010801 machine learning Methods 0.000 description 2
- 238000005070 sampling Methods 0.000 description 2
- 210000000952 spleen Anatomy 0.000 description 2
- 206010063385 Intellectualisation Diseases 0.000 description 1
- 208000007256 Nevus Diseases 0.000 description 1
- 230000004913 activation Effects 0.000 description 1
- 230000002146 bilateral effect Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 230000017531 blood circulation Effects 0.000 description 1
- 210000001124 body fluid Anatomy 0.000 description 1
- 239000010839 body fluid Substances 0.000 description 1
- 230000007423 decrease Effects 0.000 description 1
- 238000005315 distribution function Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 210000001061 forehead Anatomy 0.000 description 1
- 230000036541 health Effects 0.000 description 1
- 238000007689 inspection Methods 0.000 description 1
- 210000003734 kidney Anatomy 0.000 description 1
- 210000002429 large intestine Anatomy 0.000 description 1
- 210000004185 liver Anatomy 0.000 description 1
- 210000004072 lung Anatomy 0.000 description 1
- 239000002932 luster Substances 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000004393 prognosis Methods 0.000 description 1
- 230000000750 progressive effect Effects 0.000 description 1
- 230000001850 reproductive effect Effects 0.000 description 1
- 201000004700 rosacea Diseases 0.000 description 1
- 210000000813 small intestine Anatomy 0.000 description 1
- 239000000126 substance Substances 0.000 description 1
- 230000008961 swelling Effects 0.000 description 1
- 230000001052 transient effect Effects 0.000 description 1
- 230000002087 whitening effect Effects 0.000 description 1
- 238000004383 yellowing Methods 0.000 description 1
Images
Landscapes
- Image Analysis (AREA)
Abstract
本申请公开了一种基于专家知识图谱推理的面诊系统、方法、设备及介质，涉及中医面诊领域，包括：区域划分模块，用于利用人脸解析模型对与诊断目标对应的若干角度拍摄到的待诊断面部图像进行区域划分，得到多个待检测区域；特征融合模块，用于通过预设残差网络模型对待诊断面部图像以及待检测区域分别进行特征提取，并对提取到的特征进行特征融合得到融合后特征；特征预测模块，用于利用预设决策模型对融合后特征进行识别预测得到特征预测结果；诊断推理模块，用于基于特征预测结果以及预设专家知识图谱进行面诊知识推理得到面诊结果。本申请通过结合预设专家知识图谱进行推理以得到相应面诊结果，有效增强了结果的准确性，并保证了结果的专业性。
Description
技术领域
本发明涉及中医面诊领域，特别涉及一种基于专家知识图谱推理的面诊系统、方法、设备及存储介质。
背景技术
传统的面诊技术主要依靠医生的专业知识与其肉眼观察到的特征进行面象分类，由于医生水平的参差不齐导致面诊结果存在一定的主观性。为客观的进行面诊，目前现有的智能面诊技术中主要通过现有的基于人工智能的面诊分类技术实现，也即通过人工智能中计算机视觉等技术实现。虽然已为中医望诊的客观化、智能化及标准化提供了必要条件，但现有技术方案存在一定的缺陷，现有的常用的方法往往使用较为过时的机器学习模型，并且没有根据面诊分类问题进行改进，导致准确性较低，应用价值低，且对于面诊分类判断缺乏相应的专家理论知识支持，使得面诊结果缺乏可信度、专业性不高。
发明内容
有鉴于此，本发明的目的在于提供一种基于专家知识图谱推理的面诊系统、方法、设备及存储介质，有效增强了结果的准确性和可信度，并保证了结果的专业性。其具体方案如下：
第一方面，本申请提供了一种基于专家知识图谱推理的面诊系统，包括：
区域划分模块，用于利用基于预设面诊分区数据库训练后得到的人脸解析模型对与当前诊断目标对应的若干角度拍摄到的待诊断面部图像进行区域划分，得到各所述待诊断面部图像的多个待检测区域；
特征融合模块，用于通过预设残差网络模型对所述待诊断面部图像以及相应的所述待检测区域分别进行特征提取，并对提取到的特征进行特征融合，以得到相应的融合后特征；
特征预测模块，用于利用预设决策模型对所述融合后特征进行识别预测，以得到相应的特征预测结果；
诊断推理模块，用于基于所述特征预测结果以及预设专家知识图谱进行面诊知识推理，以得到与所述诊断目标对应的面诊结果。
可选的，所述区域划分模块，包括：
区域标记单元，用于对基于所述人脸解析模型对所述待诊断面部图像进行区域划分后得到的待检测区域进行相应的区域名称标记。
可选的，所述区域划分模块，还包括：
模型训练单元，用于利用所述预设面诊分区数据库对预先基于语义分割网络构建的待训练模型进行训练，以得到所述人脸解析模型。
可选的，所述特征融合模块，包括：
特征提取单元，用于按照预设的待提取特征的维度数量参数，并利用相应的预设残差网络模型对所述待诊断面部图像以及相应的所述待检测区域分别进行特征提取。
可选的，所述特征融合模块，包括：
特征融合单元，用于基于预设特征融合规则对从提取到的特征中确定出对应于同一所述待检测区域的目标特征，并对所述目标特征进行融合。
可选的，所述特征融合模块，包括：
面色特征提取单元，用于通过预设残差网络模型对所述待诊断面部图像进行特征识别，以得到相应的面色特征。
可选的，所述基于专家知识图谱推理的面诊系统，还包括：
知识图谱构建单元，用于预先基于预设旋转嵌入算法并结合预设面诊专家知识库构建相应的专家知识图谱，以得到所述预设专家知识图谱。
第二方面，本申请提供了一种基于专家知识图谱推理的面诊方法，包括：
利用基于预设面诊分区数据库训练后得到的人脸解析模型对与当前诊断目标对应的若干角度拍摄到的待诊断面部图像进行区域划分，得到各所述待诊断面部图像的多个待检测区域；
通过预设残差网络模型对所述待诊断面部图像以及相应的所述待检测区域分别进行特征提取，并对提取到的特征进行特征融合，以得到相应的融合后特征；
利用预设决策模型对所述融合后特征进行识别预测，以得到相应的特征预测结果；
基于所述特征预测结果以及预设专家知识图谱进行面诊知识推理，以得到与所述诊断目标对应的面诊结果。
第三方面，本申请提供了一种电子设备，包括：
存储器，用于保存计算机程序；
处理器，用于执行所述计算机程序，以实现前述的基于专家知识图谱推理的面诊方法的步骤。
第四方面，本申请提供了一种计算机可读存储介质，用于保存计算机程序，所述计算机程序被处理器执行时实现前述的基于专家知识图谱推理的面诊方法的步骤。
可见，本申请中提供了一种基于专家知识图谱推理的面诊系统、方法、设备及介质，区域划分模块，用于利用基于预设面诊分区数据库训练后得到的人脸解析模型对与当前诊断目标对应的若干角度拍摄到的待诊断面部图像进行区域划分，得到各所述待诊断面部图像的多个待检测区域；特征融合模块，用于通过预设残差网络模型对所述待诊断面部图像以及相应的所述待检测区域分别进行特征提取，并对提取到的特征进行特征融合，以得到相应的融合后特征；特征预测模块，用于利用预设决策模型对所述融合后特征进行识别预测，以得到相应的特征预测结果；诊断推理模块，用于基于所述特征预测结果以及预设专家知识图谱进行面诊知识推理，以得到与所述诊断目标对应的面诊结果。本申请在得到特征预测结果后结合预设专家知识图谱进行推理，以得到相应的面诊结果，这样一来，提供了更为可靠的面诊结果，避免了现有技术中由于利用单一模型进行预测面诊时导致的结果不可信的情况，有效增强了结果的准确性和可信度，并保证了结果的专业性以及可解释性。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。
图1为本申请提供的一种基于专家知识图谱推理的面诊系统的装置结构示意图；
图2为本申请提供的一种具体的基于专家知识图谱推理的面诊方法流程示意图；
图3为本申请提供的一种专家知识图谱的部分示意图；
图4为本申请提供的一种基于专家知识图谱推理的面诊方法流程图；
图5为本申请提供的一种电子设备结构图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
传统的面诊技术主要依靠医生的专业知识与其肉眼观察到的特征进行面象分类，由于医生水平的参差不齐导致面诊结果存在一定的主观性。为客观的进行面诊，目前现有技术中主要通过现有的基于人工智能的面诊分类技术实现，也即通过人工智能中计算机视觉等技术实现。但此技术方案存在一定的缺陷，现有的常用的方法往往使用较为过时的机器学习模型，并且没有根据面诊分类问题进行改进，导致准确性较低，应用价值低。同时，这些方法对于面诊分类判断缺乏相应的专家理论知识支持，使得面诊结果缺乏可信度、专业性不高。为此，本申请通过结合预设专家知识图谱进行推理以得到相应面诊结果，有效增强了结果的准确性和可信度，并保证了结果的专业性。
参见图1所示，本发明实施例公开了一种基于专家知识图谱推理的面诊系统，该系统包括：区域划分模块11、特征融合模块12、特征预测模块13、诊断推理模块14。
区域划分模块11，用于利用基于预设面诊分区数据库训练后得到的人脸解析模型对与当前诊断目标对应的若干角度拍摄到的待诊断面部图像进行区域划分，得到各所述待诊断面部图像的多个待检测区域。
本实施例中，由于面部不同区域反映着体内不同器官的健康情况，主要包括心区、肝区、肺区、脾区、肾区，其次还有小肠区、大肠区、生殖区等。因此在中医面诊的过程中，不仅仅需要观察完整人脸的颜色，上述区域的划分是面诊步骤中很重要的一步，然后再对不同区域的特征进行判断。结合图2所示，在本实施例中，首先需对若干角度拍摄到的待诊断面部图像进行区域划分。其中，所述若干角度拍摄到的待诊断面部图像包括正面的待诊断面部图像、左侧面的待诊断面部图像以及右侧面的待诊断面部图像。进一步的，所述区域划分模块，包括：区域标记单元，用于对基于所述人脸解析模型对所述待诊断面部图像进行区域划分后得到的待检测区域进行相应的区域名称标记。进一步的，所述区域划分模块，还包括：模型训练单元，用于利用所述预设面诊分区数据库对预先基于语义分割网络构建的待训练模型进行训练，以得到所述人脸解析模型。其中，所述语义分割网络包括但不限于BiSeNet（Bilateral Segmentation Network，双边分割网络）。
特征融合模块12，用于通过预设残差网络模型对所述待诊断面部图像以及相应的所述待检测区域分别进行特征提取，并对提取到的特征进行特征融合，以得到相应的融合后特征。
本实施例中，考虑到不同角度的所述待诊断面部图像可能包含一些公共区域，例如左右侧脸中均能获取眼周的皮肤状况。因此在通过预设残差网络模型对所述待诊断面部图像以及相应的所述待检测区域分别进行特征提取之后，还需要对提取到的特征进行特征融合，以得到相应的融合后特征。需要理解的是，不同的区域对应不同的预设残差网络模型，相应的，在对所述待诊断面部图像进行特征识别时也通过对应的预设残差网络模型来实现，所述预设残差网络模型维ResNet（Residual Network ResNet）模型。
具体的，所述特征融合模块，包括：特征提取单元，用于按照预设的待提取特征的维度数量参数，并利用相应的预设残差网络模型对所述待诊断面部图像以及相应的所述待检测区域分别进行特征提取。其中，所述预设的待提取特征的维度数量参数可以由用户进行自主配置。例如，所述预设的待提取特征的维度数量参数可以为512维。可以理解的是，所述特征融合模块，包括：特征融合单元，用于基于预设特征融合规则对从提取到的特征中确定出对应于同一所述待检测区域的目标特征，并对所述目标特征进行融合。其中，具体可以通过加权求和的方式进行特征融合。
本实施例中，所述特征融合模块，包括：面色特征提取单元，用于通过预设残差网络模型对所述待诊断面部图像进行特征识别，以得到相应的面色特征。进一步需要理解的是，面部皮肤的光泽是脏腑精气外荣的表现，可以反映脏腑精气的盛衰，对判断病情的轻重和预后有重要的意义。其中，当面部皮肤光明润泽时，表明人体精充神旺、气血津液充足、脏腑功能正常。因此在通过预设残差网络模型对所述待诊断面部图像时，除了对面部颜色进行特征识别之外，还对面部光泽进行特征识别。
特征预测模块13，用于利用预设决策模型对所述融合后特征进行识别预测，以得到相应的特征预测结果。
本实施例中，得到所述融合后特征之后，所述融合后特征包括融合后的各所述待检测区域的区域特征、所述面色特征以及面部光泽特征。参见图2所示，需要基于预设专家知识图谱从所述融合后特征中确定出需要预测的具体特征，进而可以得到相应的特征预测结果。可知，不同的所述待检测区域的位置不同，且各所述待检测区域需要预测的特征也不相同，部分所述待检测区域的具体位置及需要预测的具体特征如下表一所示。
表一
例如，心区位于面部的额头1/3至发际处，主要预测的特征的具体内容为分别判断是否有青春痘、是否有斑、是否有痣（痦子）、是否有横纹（较浅）、是否有横纹（较深）、是否有血丝。脾区位于面部的鼻头，主要预测的特征的具体内容为分别判断是否发红、是否酒糟鼻、是否肿大、是否发黄、是否发白。对于所述融合后特征中的融合后的各所述待检测区域的区域特征、所述面色特征以及面部光泽特征，分别利用相应的预设决策模型进行特征识别。其中，所述预设决策模型包括但不限于ResNet模型。这样一来，根据所述预设专家知识图谱建立了如图3所示的部分面部区域表征和其所表示的对应器官疾病的关系，为智能中医面诊的推断提供了可靠的依据。
诊断推理模块14，用于基于所述特征预测结果以及预设专家知识图谱进行面诊知识推理，以得到与所述诊断目标对应的面诊结果。
本实施例中，为根据专家知识进行诊断推理，在进行诊断之前，具体还包括：知识图谱构建单元，用于预先基于预设旋转嵌入算法并结合预设面诊专家知识库构建相应的专家知识图谱，以得到所述预设专家知识图谱。其中，所述预设旋转嵌入算法为RotatE算法。
具体的，结合图3所示，将所述待检测区域和具体病症作为实体，具体的所述 特征预测结果作为关系，通过建立三元组存储来构建面诊领域的专家知识图谱。如果使用图3所示的部分专家知识图谱来预测所述诊断目标的心区存在红血丝的情况下的具体病症结果，实体“[心区]”拥有6个与之相关的三元组，通过所述预设专家知识图谱中“[有红血丝]”的推理路径可以得到所述诊断目标可能“[血液循环系统不好]”。
需要理解的是，本实施例中具体通过RotatE模型将实体和关系映射到复数向量空间，并将每个关系r定义为从头实体h到尾实体t间的旋转。其中，所述头实体h为所述待检测区域，所述尾实体t为相应的病症结果，所述关系r为所述特征预测结果。对于一个三元关系
，期望
，且模长
，其中∘表示元素乘积。采用自对抗负采样损失L来优化模型学习实体和关系的向量表示如下所示：
其中，
为sigmoid函数（一种激活函数），
为固定值，
为第i各负采样的三元组，k为向量嵌入的维度,
为距离函数
为进行负三元组采样的分布函数，具体可以表现为：
通过前述实施过程完成知识图谱的建立后，即可根据特征预测结果进行知识推理，最终得到与所述诊断目标对应的所述面诊结果。这样一来，在面诊过程中融合了专家知识，提高了诊断效果和可解释性。进一步的，可以理解的是，本实施例中，利用基于中医面诊专业面部分区知识创建的预设面诊分区数据库，对若干角度拍摄到的所述待诊断面部图像进行分割和特征融合，从而得到整个面部和与不同器官对应的所述待检测区域的特征预测结果，相比于现有的智能面诊技术中直接通过单一模型得出病症结果而言，更符合面诊医学理论，从而能够提升最终面诊分类的效果。
由此可见，本申请实施例中通过区域划分模块，用于利用基于预设面诊分区数据库训练后得到的人脸解析模型对与当前诊断目标对应的若干角度拍摄到的待诊断面部图像进行区域划分，得到各所述待诊断面部图像的多个待检测区域；特征融合模块，用于通过预设残差网络模型对所述待诊断面部图像以及相应的所述待检测区域分别进行特征提取，并对提取到的特征进行特征融合，以得到相应的融合后特征；特征预测模块，用于利用预设决策模型对所述融合后特征进行识别预测，以得到相应的特征预测结果；诊断推理模块，用于基于所述特征预测结果以及预设专家知识图谱进行面诊知识推理，以得到与所述诊断目标对应的面诊结果。本申请在得到特征预测结果后结合预设专家知识图谱进行推理，以得到相应的面诊结果，这样一来，提供了更为可靠的面诊结果，避免了现有技术中由于利用单一模型进行预测面诊时导致的结果不可信的情况，有效增强了结果的准确性和可信度，并保证了结果的专业性以及可解释性。
参见图4所示，本发明实施例公开了一种基于专家知识图谱推理的面诊方法，该方法包括:
步骤S11、利用基于预设面诊分区数据库训练后得到的人脸解析模型对与当前诊断目标对应的若干角度拍摄到的待诊断面部图像进行区域划分，得到各所述待诊断面部图像的多个待检测区域。
步骤S12、通过预设残差网络模型对所述待诊断面部图像以及相应的所述待检测区域分别进行特征提取，并对提取到的特征进行特征融合，以得到相应的融合后特征。
步骤S13、利用预设决策模型对所述融合后特征进行识别预测，以得到相应的特征预测结果。
步骤S14、基于所述特征预测结果以及预设专家知识图谱进行面诊知识推理，以得到与所述诊断目标对应的面诊结果。
其中，关于上述步骤S11至步骤S14的具体过程可以参考前述实施例公开的相应内容，在此不再进行赘述。
由此可见，本申请实施例中，首先利用基于预设面诊分区数据库训练后得到的人脸解析模型对与当前诊断目标对应的若干角度拍摄到的待诊断面部图像进行区域划分，得到各所述待诊断面部图像的多个待检测区域。之后通过预设残差网络模型对所述待诊断面部图像以及相应的所述待检测区域分别进行特征提取，并对提取到的特征进行特征融合，以得到相应的融合后特征。然后利用预设决策模型对所述融合后特征进行识别预测，以得到相应的特征预测结果。然后基于所述特征预测结果以及预设专家知识图谱进行面诊知识推理，以得到与所述诊断目标对应的面诊结果。本申请在得到特征预测结果后结合预设专家知识图谱进行推理，以得到相应的面诊结果，这样一来，提供了更为可靠的面诊结果，避免了现有技术中由于利用单一模型进行预测面诊时导致的结果不可信的情况，有效增强了结果的准确性和可信度，并保证了结果的专业性以及可解释性。
进一步的，本申请实施例还公开了一种电子设备，图5是根据一示例性实施例示出的电子设备20结构图，图中的内容不能认为是对本申请的使用范围的任何限制。
图5为本申请实施例提供的一种电子设备20的结构示意图。该电子设备 20，具体可以包括：至少一个处理器21、至少一个存储器22、电源23、通信接口24、输入输出接口25和通信总线26。其中，所述存储器22用于存储计算机程序，所述计算机程序由所述处理器21加载并执行，以实现前述任一实施例公开的基于专家知识图谱推理的面诊方法中的相关步骤。另外，本实施例中的电子设备20具体可以为电子计算机。
本实施例中，电源23用于为电子设备20上的各硬件设备提供工作电压；通信接口24能够为电子设备20创建与外界设备之间的数据传输通道，其所遵 循的通信协议是能够适用于本申请技术方案的任意通信协议，在此不对其进 行具体限定；输入输出接口25，用于获取外界输入数据或向外界输出数据，其具体的接口类型可以根据具体应用需要进行选取，在此不进行具体限定。
另外，存储器22作为资源存储的载体，可以是只读存储器、随机存储器、 磁盘或者光盘等，其上所存储的资源可以包括操作系统221、计算机程序222 等，存储方式可以是短暂存储或者永久存储。
其中，操作系统221用于管理与控制电子设备20上的各硬件设备以及计算 机程序222，其可以是Windows Server、Netware、Unix、Linux等。计算机程序222除了包括能够用于完成前述任一实施例公开的由电子设备20执行的基于专家知识图谱推理的面诊方法的计算机程序之外，还可以进一步包括能够用于完成其他特定工作的计算机程序。
进一步的，本申请还公开了一种计算机可读存储介质，用于存储计算机程序；其中，所述计算机程序被处理器执行时实现前述公开的基于专家知识图谱推理的面诊方法。关于该方法的具体步骤可以参考前述实施例中公开的相应内容，在此不再进行赘述。
本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其它实施例的不同之处，各个实施例之间相同或相似部分互相参见即可。对于实施例公开的装置而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。
专业人员还可以进一步意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、计算机软件或者二者的结合来实现，为了清楚地说明硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本申请的范围。
结合本文中所公开的实施例描述的方法或算法的步骤可以直接用硬件、处理器执行的软件模块，或者二者的结合来实施。软件模块可以置于随机存储器（RAM）、内存、只读存储器（ROM）、电可编程ROM、电可擦除可编程ROM、寄存器、硬盘、可移动磁盘、CD-ROM、或技术领域内所公知的任意其它形式的存储介质中。
最后，还需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
以上对本申请所提供的技术方案进行了详细介绍，本文中应用了具体个例对本申请的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本申请的方法及其核心思想；同时，对于本领域的一般技术人员，依据本申请的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本申请的限制。
Claims (10)
1.一种基于专家知识图谱推理的面诊系统，其特征在于，包括：
区域划分模块，用于利用基于预设面诊分区数据库训练后得到的人脸解析模型对与当前诊断目标对应的若干角度拍摄到的待诊断面部图像进行区域划分，得到各所述待诊断面部图像的多个待检测区域；
特征融合模块，用于通过预设残差网络模型对所述待诊断面部图像以及相应的所述待检测区域分别进行特征提取，并对提取到的特征进行特征融合，以得到相应的融合后特征；
特征预测模块，用于利用预设决策模型对所述融合后特征进行识别预测，以得到相应的特征预测结果；
诊断推理模块，用于基于所述特征预测结果以及预设专家知识图谱进行面诊知识推理，以得到与所述诊断目标对应的面诊结果。
2.根据权利要求1所述的基于专家知识图谱推理的面诊系统，其特征在于，所述区域划分模块，包括：
区域标记单元，用于对基于所述人脸解析模型对所述待诊断面部图像进行区域划分后得到的待检测区域进行相应的区域名称标记。
3.根据权利要求1所述的基于专家知识图谱推理的面诊系统，其特征在于，所述区域划分模块，还包括：
模型训练单元，用于利用所述预设面诊分区数据库对预先基于语义分割网络构建的待训练模型进行训练，以得到所述人脸解析模型。
4.根据权利要求1所述的基于专家知识图谱推理的面诊系统，其特征在于，所述特征融合模块，包括：
特征提取单元，用于按照预设的待提取特征的维度数量参数，并利用相应的预设残差网络模型对所述待诊断面部图像以及相应的所述待检测区域分别进行特征提取。
5.根据权利要求1所述的基于专家知识图谱推理的面诊系统，其特征在于，所述特征融合模块，包括：
特征融合单元，用于基于预设特征融合规则对从提取到的特征中确定出对应于同一所述待检测区域的目标特征，并对所述目标特征进行融合。
6.根据权利要求1所述的基于专家知识图谱推理的面诊系统，其特征在于，所述特征融合模块，包括：
面色特征提取单元，用于通过预设残差网络模型对所述待诊断面部图像进行特征识别，以得到相应的面色特征。
7.根据权利要求1至6任一项所述的基于专家知识图谱推理的面诊系统，其特征在于，还包括：
知识图谱构建单元，用于预先基于预设旋转嵌入算法并结合预设面诊专家知识库构建相应的专家知识图谱，以得到所述预设专家知识图谱。
8.一种基于专家知识图谱推理的面诊方法，其特征在于，包括：
利用基于预设面诊分区数据库训练后得到的人脸解析模型对与当前诊断目标对应的若干角度拍摄到的待诊断面部图像进行区域划分，得到各所述待诊断面部图像的多个待检测区域；
通过预设残差网络模型对所述待诊断面部图像以及相应的所述待检测区域分别进行特征提取，并对提取到的特征进行特征融合，以得到相应的融合后特征；
利用预设决策模型对所述融合后特征进行识别预测，以得到相应的特征预测结果；
基于所述特征预测结果以及预设专家知识图谱进行面诊知识推理，以得到与所述诊断目标对应的面诊结果。
9.一种电子设备，其特征在于，包括：
存储器，用于保存计算机程序；
处理器，用于执行所述计算机程序以实现如权利要求8所述的基于专家知识图谱推理的面诊方法。
10.一种计算机可读存储介质，其特征在于，用于保存计算机程序，所述计算机程序被处理器执行时实现如权利要求8所述的基于专家知识图谱推理的面诊方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310071368.6A CN115830009B (zh) | 2023-02-07 | 2023-02-07 | 基于专家知识图谱推理的面诊系统、方法、设备及介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310071368.6A CN115830009B (zh) | 2023-02-07 | 2023-02-07 | 基于专家知识图谱推理的面诊系统、方法、设备及介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN115830009A true CN115830009A (zh) | 2023-03-21 |
| CN115830009B CN115830009B (zh) | 2023-05-09 |
Family
ID=85520827
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202310071368.6A Active CN115830009B (zh) | 2023-02-07 | 2023-02-07 | 基于专家知识图谱推理的面诊系统、方法、设备及介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN115830009B (zh) |
Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106971147A (zh) * | 2017-03-06 | 2017-07-21 | 武汉嫦娥医学抗衰机器人股份有限公司 | 一种基于人脸区域分割的中医面诊系统及面诊方法 |
| CN113140309A (zh) * | 2021-04-14 | 2021-07-20 | 五邑大学 | 中医面色诊断方法及装置 |
| CN114121269A (zh) * | 2022-01-26 | 2022-03-01 | 北京鹰之眼智能健康科技有限公司 | 一种基于人脸特征检测的中医面诊辅助诊断方法、装置和存储介质 |
| US20220121884A1 (en) * | 2011-09-24 | 2022-04-21 | Z Advanced Computing, Inc. | System and Method for Extremely Efficient Image and Pattern Recognition and Artificial Intelligence Platform |
| CN114582487A (zh) * | 2022-01-26 | 2022-06-03 | 北京博瑞彤芸科技股份有限公司 | 基于中医知识图谱的中医辅助诊疗的方法及系统 |
| CN115116576A (zh) * | 2022-06-30 | 2022-09-27 | 上海国民集团健康科技有限公司 | 融合知识的中医诊断报告自动化生成方法、系统及终端 |
| CN115602273A (zh) * | 2022-10-19 | 2023-01-13 | 广东省中医院（广州中医药大学第二附属医院、广州中医药大学第二临床医学院、广东省中医药科学院）（Cn） | 一种结合临床知识图谱与多模态信息融合的中医辅助决策方法及系统 |
-
2023
- 2023-02-07 CN CN202310071368.6A patent/CN115830009B/zh active Active
Patent Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20220121884A1 (en) * | 2011-09-24 | 2022-04-21 | Z Advanced Computing, Inc. | System and Method for Extremely Efficient Image and Pattern Recognition and Artificial Intelligence Platform |
| CN106971147A (zh) * | 2017-03-06 | 2017-07-21 | 武汉嫦娥医学抗衰机器人股份有限公司 | 一种基于人脸区域分割的中医面诊系统及面诊方法 |
| CN113140309A (zh) * | 2021-04-14 | 2021-07-20 | 五邑大学 | 中医面色诊断方法及装置 |
| CN114121269A (zh) * | 2022-01-26 | 2022-03-01 | 北京鹰之眼智能健康科技有限公司 | 一种基于人脸特征检测的中医面诊辅助诊断方法、装置和存储介质 |
| CN114582487A (zh) * | 2022-01-26 | 2022-06-03 | 北京博瑞彤芸科技股份有限公司 | 基于中医知识图谱的中医辅助诊疗的方法及系统 |
| CN115116576A (zh) * | 2022-06-30 | 2022-09-27 | 上海国民集团健康科技有限公司 | 融合知识的中医诊断报告自动化生成方法、系统及终端 |
| CN115602273A (zh) * | 2022-10-19 | 2023-01-13 | 广东省中医院（广州中医药大学第二附属医院、广州中医药大学第二临床医学院、广东省中医药科学院）（Cn） | 一种结合临床知识图谱与多模态信息融合的中医辅助决策方法及系统 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN115830009B (zh) | 2023-05-09 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Bechar et al. | Semi-supervised superpixel classification for medical images segmentation: application to detection of glaucoma disease | |
| CN111951933B (zh) | 眼底彩照图像分级方法、装置、计算机设备及存储介质 | |
| CN111832581B (zh) | 肺部特征识别方法、装置、计算机设备及存储介质 | |
| CN112927799B (zh) | 融合多示例学习和多任务深度影像组学的生存期分析系统 | |
| CN110807757A (zh) | 基于人工智能的图像质量评估方法、装置及计算机设备 | |
| CN109726661A (zh) | 图像处理方法及装置、介质和计算设备 | |
| CN113706564A (zh) | 基于多种监督方式的睑板腺分割网络的训练方法及装置 | |
| CN112509583A (zh) | 一种基于调度操作票系统的辅助监督方法及系统 | |
| CN112801434A (zh) | 性能指标健康度的监测方法、装置、设备和存储介质 | |
| CN111080746A (zh) | 图像处理方法、装置、电子设备和存储介质 | |
| CN116664930A (zh) | 基于自监督对比学习的个性化联邦学习图像分类方法及系统 | |
| CN109241930B (zh) | 用于处理眉部图像的方法和装置 | |
| Wu et al. | Segmentation of HE-stained meningioma pathological images based on pseudo-labels | |
| WO2017145172A1 (en) | System and method for extraction and analysis of samples under a microscope | |
| CN115830009A (zh) | 基于专家知识图谱推理的面诊系统、方法、设备及介质 | |
| Sarnecki et al. | A robust nonlinear tissue-component discrimination method for computational pathology | |
| CN116469579A (zh) | 脑部状态监测方法、设备、存储介质及装置 | |
| CN111651626B (zh) | 图像分类方法、装置及可读存储介质 | |
| CN111582404B (zh) | 内容分类方法、装置及可读存储介质 | |
| CN114496099A (zh) | 细胞功能注释方法、装置、设备及介质 | |
| CN113627464A (zh) | 图像处理方法、装置、设备和存储介质 | |
| CN114283406A (zh) | 细胞图像识别方法、装置、设备、介质及计算机程序产品 | |
| CN115830720A (zh) | 活体检测方法、装置、计算机设备和存储介质 | |
| CN112801238A (zh) | 一种图像分类方法、装置、电子设备及存储介质 | |
| Yoshitomi et al. | Facial Expression Analysis and its Visualization While Writing Messages. |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| CP03 | Change of name, title or address |
Address after: No. 205, Building B1, Huigu Science and Technology Industrial Park, No. 336 Bachelor Road, Bachelor Street, Yuelu District, Changsha City, Hunan Province, 410000 Patentee after: Wisdom Eye Technology Co.,Ltd. Address before: Building 14, Phase I, Changsha Zhongdian Software Park, No. 39 Jianshan Road, Changsha High tech Development Zone, Changsha City, Hunan Province, 410205 Patentee before: Wisdom Eye Technology Co.,Ltd. |
|
| CP03 | Change of name, title or address |