CN113197549A - 一种通过人脸识别技术诊断疾病的系统 - Google Patents

Abstract

本发明公开一种通过人脸识别技术诊断疾病的系统，包括控制器、存储器、寄存储器、RGB‑D相机机和用户端；其还包括图像采集模块、图像处理模块、计算模块、对比模块和诊断模块；所述图像采集模块用于采集患者的脸部区域图像；所述图像处理模块用于对采集的图像进行三维处理；所述计算模块用于对三维处理后的图像进行距离和颜色方面的计算；所述对比匹配模块用于姜计算后的信息与健康人和典型病人的面部信息对比并匹配；所述诊断模块用于根据对比的信息给出诊断的可能性结果并给出治疗建议。将人工智能、医学影像学、医学有效结合，对人脸的图像进行采集、三维处理、计算、匹配，最终实现全面诊断，客观数据与主观判断相互结合。

Description

一种通过人脸识别技术诊断疾病的系统

技术领域

本发明涉及一种通过人脸识别技术诊断疾病的系统，属于计算机医学图像处理技术领域。

背景技术

在医学诊断学领域，某些疾病发展到一定程度时，可出现特征性面容与表情，对疾病的诊断具有重要价值。西医大体上将患病面容分为十三种，即急性病面容，慢性病面容，贫血面容，肝病面容，肾病面容，甲状腺功能亢进面容，粘液性水肿面容，二尖瓣面容，肢端肥大症面容，伤寒面容，苦笑面容，满月面容以及面具面容。而中医望闻问切中望诊指出望神，望色。神分为得神、少神、失神、假神四种；色分为青色、赤色、黄色、白色、黑色五种。

不论中医还是西医，体格检查主要通过医生和患者一对一地进行诊断，工作效率低下，且对医护人员专业要求性高，易产生误诊状况。

随着计算机技术的不断发展，人脸识别技术应用到医院诊断中，基于影像学和网络大数据，充分保存并挖掘患者病例中蕴藏的丰富信息，避免了人的主观因素。但与此同时，医学里面的中医学与西医学结合不够紧密，医学、计算机科学与影像学的结合也并不成熟，缺少足量研究成果。

发明内容

针对上述现有技术存在的问题，本发明提供一种通过人脸识别技术诊断疾病的系统，从而解决现有技术中诊断结果易偏差、准确率低、不够全面的问题。

为了实现上述目的，本发明采用的技术方案是：一种通过人脸识别技术诊断疾病的系统，包括控制器、存储器、寄存储器、RGB-D相机机和用户端；其还包括图像采集模块、图像处理模块、计算模块、对比模块和诊断模块；所述图像采集模块、图像处理模块、计算模块、对比模块和诊断模块位于诊断系统内；所述图像采集模块用于采集患者的脸部区域图像；所述图像处理模块用于对采集的图像进行三维处理；所述计算模块用于对三维处理后的图像进行距离和颜色方面的计算；所述对比匹配模块用于姜计算后的信息与健康人和典型病人的面部信息对比并匹配；所述诊断模块用于根据对比的信息给出诊断的可能性结果并给出治疗建议。

进一步的，所述图像采集模块包括输入模块、轮廓提取模块、关键点定位模块与机区域分割模块；所述输入模块用于输入摄像头采集患者的脸部区域的图像；所述轮廓提取模块用于提取面部轮廓；所述关键点定位模块用于确认五官的位置；所述区域分割模块用于将面部分割成多个子区域。

进一步的，所述图像处理模块包括光线修正模块、特殊印记识别模块、清洁度补偿模块以及三维成像模块；所述光纤修正模块用于对非标准白光下的图像进行管线修正处理；所述特殊印记识别模块用于识别疤痕、胎记以及其他非病理性特殊皮肤；所述清洁度补偿模块用于对面部清洁度进行补偿修正；所述三维成像模块用于确定患者面部三维立体形态。

进一步的，所述计算模块包括光泽模块、距离模块、干燥模块、颜色模块以及纹理模块；所述光泽模块用于计算各子区域的光泽度数值；所述距离模块用于计算各子区域的距离竖直、所述干燥模块用于计算各子区域的干燥度数值；所述颜色模块用于计算各子区域的颜色代码；所述纹理模块用于计算各子区域的纹理密度值。

进一步的，所述对比模块包括健康人对比模块和典型病人对比模块；所述健康人对比模块用于对比计算得到的数据与健康人的数据；所述典型病人对比模块用于对比计算得到的数据与典型病人的数据。

本发明的有益效果是：本发明具有以下几个方面的技术效果：

(1)将人工智能、医学影像学、医学有效结合，对人脸的图像进行采集、三维处理、计算、匹配，最终实现全面诊断，客观数据与主观判断相互结合。

(2)实现了中西结合的诊断，诊断更具有先进性，便利性。

(3)计算模块算法具有创新性,将先进的算法与本系统结合，并配比置信区间，提高了系统的准确性，降低误诊率。

(4)使诊断结果更加精准，提高了效率，并且保存海量病例，形成共享数据库，对人类医学和计算机科学的发展有着推动意义。

附图说明

图1为本发明的结构示意图。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚明了，下面通过附图及实施例，对本发明进行进一步详细说明。但是应该理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限制本发明的范围。

除非另有定义，本文所使用的所有的技术术语和科学术语与属于本发明的技术领域的技术人员通常理解的含义相同，本文中在本发明的说明书中所使用的术语只是为了描述具体的实施例的目的，不是旨在于限制本发明。

本实施例为一种基于人脸识别技术诊断疾病的系统，本系统应用于计算机医学图像处理技术领域。参照图1，该系统包括图像采集模块、图像处理模块、计算模块、对比模块和诊断模块，其中所述图像采集模块、图像处理模块、计算模块、对比模块和诊断模块位于诊断系统内；所述图像采集模块用于采集患者的脸部区域图像；所述图像处理模块用于对采集的图像进行三维处理；所述计算模块用于对三维处理后的图像进行距离和颜色方面的计算；所述对比匹配模块用于姜计算后的信息与健康人和典型病人的面部信息对比并匹配；所述诊断模块用于根据对比的信息给出诊断的可能性结果并给出治疗建议。

本实施例优选的，图像采集模块包括输入模块、轮廓提取模块、关键点定位模块与机区域分割模块；所述输入模块用于输入摄像头采集患者的脸部区域的图像；所述轮廓提取模块用于提取面部轮廓；所述关键点定位模块用于确认五官的位置；所述区域分割模块用于将面部分割成多个子区域。

本实施例优选的，图像处理模块包括光线修正模块、特殊印记识别模块、清洁度补偿模块以及三维成像模块；所述光纤修正模块用于对非标准白光下的图像进行管线修正处理；所述特殊印记识别模块用于识别疤痕、胎记以及其他非病理性特殊皮肤；所述清洁度补偿模块用于对面部清洁度进行补偿修正；所述三维成像模块用于确定患者面部三维立体形态。

本实施例优选的，计算模块包括光泽模块、距离模块、干燥模块、颜色模块以及纹理模块；所述光泽模块用于计算各子区域的光泽度数值；所述距离模块用于计算各子区域的距离竖直、所述干燥模块用于计算各子区域的干燥度数值；所述颜色模块用于计算各子区域的颜色代码；所述纹理模块用于计算各子区域的纹理密度值。

本实施例优选的，对比模块包括健康人对比模块和典型病人对比模块；所述健康人对比模块用于对比计算得到的数据与健康人的数据；所述典型病人对比模块用于对比计算得到的数据与典型病人的数据。

本系统工作原理：具体步骤为，在标准光源下使用RGB-D相机拍摄问诊者的自然光图像以及红外热图像，包括面部轮廓、五官位置和面部分割的子区域；将拍摄采集到的图像传输到图像处理模块，图像处理模块对采集的图像使用表面法线，曲率，UV-Map或CNN法进行三维处理，包括光线修复，特殊印记识别、面部清洁和面部三维立体成像；将处理后的数据输送到计算模块，计算出面部各五官和子区域的距离和颜色深度的数据，输送到对比匹配模块；对比匹配模块根据Softmax函数法则，将计算模块传输的数据与健康人和典型病人面部的大数据进行匹配，并将匹配结果输送到诊断模块；诊断模块根据匹配结果给出相应中医和西医两方面的诊断和治疗建议。

进一步的，输入模块首先定位人脸位置，捕捉人脸图像，通过联合贝叶斯人脸校验法在已经检测到人脸的基础上，自动找到人脸上的眼睛鼻子嘴和脸的轮廓等标志性特征位置，最后将提取到的人脸信息进行区域分割，分割成三个部分。第一部分包括：t区、鼻梁、鼻翼、鼻头；第二部分包括：颧骨、眉毛最深处、眉毛最高点、最外层的眉毛、沿眉毛下侧的骨与眼窝的交界处、上眼窝、眼角；第三部分包括：嘴部。

进一步的，图像处理模块对采集的图像使用表面法线，曲率，UV-Map或CNN法进行三维处理，包括光线修复，特殊印记识别、面部清洁和面部三维立体成像。

进一步的，计算模块处理器计算出面部各五官和子区域的距离、光泽度数值、纹理密度数值、颜色数值以及水密度数值。

对于识别面部特征采用以下算法进行进行图像计算筛选。

clear all；

close all；

F＝imread(‘face9.jpg’)；

F＝rgb2gray(F)；(将图像转化为灰度图)

level＝graythresh(F)；

BW＝im2bw(F,level)；(将图像二值化)

[n1 n2]＝size(BW)；

H＝floor(n1/10)；(将图像分割成10个快)

W＝floor(n2/10)；

h1＝1；

h2＝H；

s＝H*W；(求得块的面积)

h_i＝H；

w_i＝W；

for i＝1:10

w1＝1；w2＝W；(对应列初始化)

for j＝1:10

if(w1<＝w_i||w2>＝9*W)||(h1<＝h_i||h2>＝n1-h_i)(判断是否在图片四周的区域)

loc＝find(BW(h1:h2,w1:w2)＝＝0)

[num,～]＝size(loc)；

pr＝num*100/s；(计算灰度为黑色的像素占的比例)

if pr<100

BW(h1:h2,w1:w2)＝0；

end

％figure,imshow(BW)；

％hold on

end

w1＝w1+W；(跳到下一个块对应的列)

w2＝w2+W；

end

h1＝h1+H；(跳到下一个块对应的行)

h2＝h2+H；

end

L＝bwlabel(BW,8)；(区域标记)

BB＝regionprops(L,’BoundingBox’)；(得到包围的矩形框)

Bd＝cat(1,BB.BoundingBox)；

[Bd_i,～]＝size(Bd)；

mx＝0；

for k＝1:Bd_i

p＝Bd(k,3)*Bd(k,4)；

(如果满足面积块大，而且宽/高<1.8，则跳到Bd的该行，阈值设定为1.8)if p>mx&&(Bd(k,3)/Bd(k,4))<1.8

mx＝p；

j＝k；

end

end

imshow(F)；hold on；(显示图片)

(画出矩形框)

rectangle(‘Position’,Bd(j,:),…

‘EdgeColor’,‘r’,‘LineWidth’,3)；

title(‘标记图像’,‘FontWeight’,‘Bold’)、

上述基于matlab进行图像的筛选计算，举例中设定的特征识别的矩阵面积阈值为1.8，将大于1.8的特征图像作为相似特征，以进行下一步的筛选。

基于上述提供的特征识别模块所使用的算法举例，对比匹配模块配合使用以下算法进行：

上述置信度选取为60，用来衡量图像与模型中的差距，低于时即可认为结果不准确。

进一步的，对比匹配模块根据Softmax函数法则，将计算模块传输的数据与健康人和典型病人面部的大数据进行匹配，将匹配值在数据库内进行综合分析，输出问诊者的体质特征和类型，匹配计算得到的数据与健康人和典型病人的相似度。

进一步的，诊断模块先将根据匹配结果保存至数据库，再将病人健康状况与疾病匹配度输出，最后结合已有数据库内容，全面分析，给出相应中医和西医两方面的诊断和治疗建议。

本发明将人工智能、医学影像学、医学有效结合，对人脸的图像进行采集、三维处理、计算、匹配，最终实现全面诊断，客观数据与主观判断相互结合。实现了中西结合的诊断，诊断更具有先进性，便利性。计算模块算法具有创新性,将先进的算法与本系统结合，并配比置信区间，提高了系统的准确性，降低误诊率。使诊断结果更加精准，提高了效率，并且保存海量病例，形成共享数据库，对人类医学和计算机科学的发展有着推动意义。

以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换或改进等，均应包含在本发明的保护范围之内。

Claims (5)

1.一种通过人脸识别技术诊断疾病的系统，其特征在于，包括控制器、存储器、寄存储器、RGB-D相机机和用户端；其还包括图像采集模块、图像处理模块、计算模块、对比模块和诊断模块；所述图像采集模块、图像处理模块、计算模块、对比模块和诊断模块位于诊断系统内；所述图像采集模块用于采集患者的脸部区域图像；所述图像处理模块用于对采集的图像进行三维处理；所述计算模块用于对三维处理后的图像进行距离和颜色方面的计算；所述对比匹配模块用于姜计算后的信息与健康人和典型病人的面部信息对比并匹配；所述诊断模块用于根据对比的信息给出诊断的可能性结果并给出治疗建议。

2.根据权利要求1所述的一种通过人脸识别技术诊断疾病的系统，其特征在于，所述图像采集模块包括输入模块、轮廓提取模块、关键点定位模块与机区域分割模块；所述输入模块用于输入摄像头采集患者的脸部区域的图像；所述轮廓提取模块用于提取面部轮廓；所述关键点定位模块用于确认五官的位置；所述区域分割模块用于将面部分割成多个子区域。

3.根据权利要求1所述的一种通过人脸识别技术诊断疾病的系统，其特征在于，所述图像处理模块包括光线修正模块、特殊印记识别模块、清洁度补偿模块以及三维成像模块；所述光纤修正模块用于对非标准白光下的图像进行管线修正处理；所述特殊印记识别模块用于识别疤痕、胎记以及其他非病理性特殊皮肤；所述清洁度补偿模块用于对面部清洁度进行补偿修正；所述三维成像模块用于确定患者面部三维立体形态。

4.根据权利要求1所述的一种通过人脸识别技术诊断疾病的系统，其特征在于，所述计算模块包括光泽模块、距离模块、干燥模块、颜色模块以及纹理模块；所述光泽模块用于计算各子区域的光泽度数值；所述距离模块用于计算各子区域的距离竖直、所述干燥模块用于计算各子区域的干燥度数值；所述颜色模块用于计算各子区域的颜色代码；所述纹理模块用于计算各子区域的纹理密度值。

5.根据权利要求1所述的一种通过人脸识别技术诊断疾病的系统，其特征在于，所述对比模块包括健康人对比模块和典型病人对比模块；所述健康人对比模块用于对比计算得到的数据与健康人的数据；所述典型病人对比模块用于对比计算得到的数据与典型病人的数据。

Images