CN104318265A - 半侧空间忽略计算机辅助诊疗系统的左右视觉分界线定位方法 - Google Patents

Abstract

本发明属于计算机辅助认知康复领域，具体涉及一种半侧空间忽略计算机辅助诊疗系统的左右视觉分界线定位方法。本发明包括：预处理；人脸检测；边缘检测；内眼角定位；判定视觉分界线位置。与使用虚拟现实技术方法相比较，本发明借助普通摄像头就可集成到通用的计算机辅助系统中，无需额外设备，适合医院和家庭使用。与通过人工检测视觉分界线与屏幕对齐方法相比较，本发明能够自动、实时地定位被测者视觉分界线位置，给出方向提示，可以在测试过程中始终保持被测者视觉分界线处于合理范围内。本发明使用设备简单，算法实现容易，易于集成到现有系统中，也可用于其他需要定位被测者头部位置的场合，应用范围广泛。

Description

半侧空间忽略计算机辅助诊疗系统的左右视觉分界线定位方法

技术领域

本发明属于计算机辅助认知康复领域，具体涉及一种半侧空间忽略计算机辅助诊疗系统的左右视觉分界线定位方法。

背景技术

半侧空间忽略是脑损伤后在感觉性输入和运动性输出的密切关系中产生的，患者不能注意到从对侧来的视觉、听觉、触觉的刺激。即使从左侧打招呼，也只能从右侧寻找打招呼的人。这种只能注意右侧的反应，而不注意左侧，是半侧空间忽视的一个特征。半侧空间忽视是从范围很广的感觉形态的输入和运动性或者言语性反应的关联中，产生的空间性偏差的一种病态。患者对这种病态漠不关心，也是其另一特征。半侧空间忽视基本上是右侧半球损伤所致的左侧空间特有的忽视，故也叫左侧忽视。

进行正确的神经行为或认知测试是对半侧空间忽略患者予以正确诊断与康复治疗的关键。以往主要通过纸笔测验来完成。由于采用的方法及实验条件的不同，难以避免测试过程中的系统误差，很难进行横向比较。利用逻辑运算严格、标准统一、通用的计算机软件进行临床科研和教学工作已是一种必然的趋势。采用计算机软件技术对半侧空间忽略患者进行测试和训练使神经行为测量更加客观、规范、定量化，全部测试由计算机过程控制从而消除了由于主试者引入的系统误差；每次测试由计算机自动生成测试项目，使同一受试者前、后重复测验得以实现，使测量训练更加规范化、程序化和定量化，能提高认知能力测量的可信度和认知训练的有效性。

早在二十世纪70年代日美等发达国家就开始尝试将认知评估量表电脑化成为电脑认知评估系统。80年代后随着计算机技术的飞速发展及电脑的普及，计算机认知训练系统在欧美相继开发成功。90年已经有大量电脑多媒体软件产品进行电脑辅助训练治疗，其中一些软件涉及各种原因引起的认知障碍，针对各类认知障碍患者进行个体化训练，得到较理想效果。

虽然利用计算机辅助诊断治疗认知障碍有诸多优点，但软件系统无法满足临床及患者的需求仍然是其未能广泛应用的重要因素。目前，计算机辅助诊断治疗软件系统主要的类型有虚拟现实系统，机器人辅助系统和计算机图形图像显示系统等。虚拟现实系统是当前最新的计算机辅助系统。但这些方法受当前虚拟现实技术发展的限制，硬件设备昂贵，患者需要佩戴专用头盔或眼镜，不适用于临床或家庭的使用。机器人辅助系统目前主要用于治疗，无法用于准确测试，由于技术不成熟不能广泛应用到临床。作为最成熟的诊断治疗方法，计算机图形图像显示系统能够利用计算机软件模拟经典的纸笔测试实验，使测试训练更加规范化、程序化和定量化。通常，计算机屏幕作为显示目标的白纸，而屏幕上的图形图像相当于纸上画的测试内容。为了达到准确测试的目的，被测者的左右视觉分界线应始终对准屏幕左右区域的分界处(本文称为屏幕中间)。因此，被测者双眼与计算机屏幕的相对位置将直接影响到测试结果的正确性。目前的测试环节需要人工调节和监测被测者视觉分界线的位置，很难保证测试过程中被测者的身体活动对视觉分界线的位置产生偏移，从而影响测试结果。

针对上述问题，本发明使用普通的摄像头安装到测试屏幕正上方，通过摄像头对被测者双眼进行定位跟踪，依据双眼的图像特征，结合图像处理技术，自动、实时地判定被测者的视觉分界线是否位于屏幕中间。在测试过程中，被测者的视觉分界线始终通过运行在后台的定位程序进行捕获，如果视觉分界线超出预定的屏幕中间区域，则给出提示并暂停测试，直至视觉分界线返回到屏幕中间区域内。该方法仅利用安装有摄像头的普通计算机就能快速、简便地集成到半侧空间忽略计算机辅助系统中，以提高系统的准确性、易用性。

发明内容

本发明的目的在于提供一种提高半侧空间忽略计算机辅助系统测试的准确率和自动化水平的半侧空间忽略计算机辅助诊疗系统的左右视觉分界线定位方法。

本发明的目的是这样实现的：

(1)预处理

(1.1)读入一幅摄像头图像；

(1.2)将彩色图像转换为灰度图像，各个像素的RGB三个分量通过计算对应的灰度值

Gray＝R*0.299+G*0.587+B*0.114

(2)人脸检测

(2.1)选择一个训练样本集来生成一个人脸检测器，训练样本集使用MITEx人脸数据库，从数据库的图片中提取出Haar特征，依据Adaboost算法从特征中筛选出有效的人脸特征，得到人脸检测器；

(2.2)使用人脸检测器对步骤(1)中的图片进行检测：将一个20*20的窗口在图片上遍历，并且对每一个窗口中的图像进行特征检测以判断是否为人脸，将图片按比例缩小，对缩小后的图片重复遍历过程，直到图片缩放到了预先设定的大小后停止，将检测到的结果在原始图片中表示出来，结束整个人脸检测的过程；

(3)边缘检测

为提取内眼角，利用SUSAN算子先对人脸检测区域进行边缘分割，在步骤(2)中检测出的人脸区域内使用SUSAN算子检测图像中的边缘，选取半径r做成一个圆形模板，计算模板内中心像素(x_c,y_c)的灰度值I(x_c,y_c)和其它像素(x,y)的灰度值I(x,y)的差 $c(x,y,)=\left\{\begin{array}{cc}1& \mathrm{if}|I(x,y)-I(x_c,y_c)\≤t|\\ 0& \mathrm{otherwise}\end{array}\right.,$ 如果差值小于预定阈值t，则像素(x,y)的结果值c(x,y)设为1，否则为0，圆形区域内所有结果值为1的像素点构成的区域称为USAN，当模板在图像中每个位置遍历，如果模板位于背景内部或目标内部，USAN的面积能达到最大值；如果模板位于目标边缘，USAN的面积近似为最大值的一半，即圆形模板内只有一半的点的灰度值与中心点灰度值相同，选取半径r和阈值t，将图像中USAN的面积为一半的点检索出来就得到该图像的所有边缘；

(4)内眼角定位

对步骤(3)得到的边缘图像进一步使用Harris算法进行角点检测，获得图像中内眼角的位置：生成一个矩形模板，使该模板在图像中遍历，然后通过模板在原图像的基础上生成一个2×2的结构矩阵M，

$M=G\left(\mathrm{\σ}\right)\⊗\left[\begin{array}{cc}{I}_x^2& I_x{I}_y\\ I_x{I}_y& I_y^2\end{array}\right]$

其中I_x指的是图像中2×2矩阵内像素点在X轴方向上的差分，I_y指的是图像中2×2矩阵内像素点在Y轴方向上的差分

$G\left(\mathrm{\σ}\right)=\frac{1}{2\mathrm{\π}{\mathrm{\σ}}^2}\exp [-\frac{x^2+y^2}{2{\mathrm{\σ}}^2}]$

用I表示图像的像素红、黄、蓝三个分量，即I＝{R,G,B},对这个模板求矩阵的特征值，建立度量函数R，

R＝detM-k(traceM)²

其中detM为矩阵M的行列式，traceM为矩阵M的迹，得到了特征矩阵的R后，如果R值大于预定阈值th且为局部极大值，则检测到的点即为角点，被检测出的角点通常会有4个，即双眼内外眼角，而识别出的面部区域内，内眼角通常会位于图像中左右近似对称分布，且距离最短的两个角点位置；

(5)判定视觉分界线位置

将人脸图像的两内眼角间的中垂线作为视觉分界线中垂线将与图像的上下边缘相交，M1、M2两点间虚线表示图像中间线，M1_L、M2_L间虚线和M1_R、M2_R间虚线分别表示中间区域左右边界，如果内眼角中垂线的上下交点均位于该区域内，则认为当前的视觉分界线与屏幕中间对齐，其它情况被认为没有对齐。

本发明的有益效果在于：

与使用虚拟现实技术方法相比较，本发明借助普通摄像头就可集成到通用的计算机辅助系统中，无需额外设备，适合医院和家庭使用。

与通过人工检测视觉分界线与屏幕对齐方法相比较，本发明能够自动、实时地定位被测者视觉分界线位置，给出方向提示，可以在测试过程中始终保持被测者视觉分界线处于合理范围内。

本发明使用设备简单，算法实现容易，易于集成到现有系统中，也可用于其他需要定位被测者头部位置的场合，应用范围广泛。

附图说明

图1视觉分界线位置判断规则；

图2算法流程图。

具体实施方式

下面结合附图对本发明做进一步描述。

为提高半侧空间忽略计算机辅助系统测试的准确率和自动化水平，本发明对人眼视觉左右分界线定位进行了深入研究，提出基于图像识别的自动化地判断视觉分界线与计算机屏幕位置关系的方法。

针对以往人工判定及监测视觉分界线与屏幕中间对齐的问题，本发明实现一种自动的判定方法。该方法能够在测试过程中自动判断视觉分界线与屏幕中间是否对齐，无需人工干预。

以下对本发明方法做进一步的说明，具体内容如下：

本发明将普通摄像头安装到测试屏幕正上方，通过图像识别技术定位被测者双内眼角在图像上的位置来确定视觉分界线与屏幕的位置关系。将摄像头捕获的人脸图像经过一系列预处理后，运用人脸识别技术检测图像中人脸的区域，再通过SUSAN算子对人脸区域进行边缘检测。以此结果通过Harris角点检测提取双眼内眼角位置，计算两个内眼角连线的中垂线作为视觉分界线，将该视觉分界线与计算机屏幕上下边线的两个交点作为判断视觉分界线位置的标准。各部分具体步骤说明如下：

摄像头固定到计算机屏幕上方正中间位置，采集摄像头拍摄的人脸图像。

步骤一、预处理

1)读入一幅摄像头图像。

2)将彩色图像转换为灰度图像，各个像素的RGB三个分量通过公式(1)计算其对应的灰度值。

Gray＝R*0.299+G*0.587+B*0.114   (1)

步骤二、人脸检测

人脸检测使用常用的Adaboost算法，具体步骤如下：

1)首先选择一个训练样本集来生成一个人脸检测器，训练样本集可以使用MITEx人脸数据库。从数据库的图片中提取出上万个Haar特征。提取特征后依据Adaboost算法原理从这些特征中筛选出一些有效的人脸特征，得到人脸检测器。

2)使用该人脸检测器对步骤一中的图片进行检测。具体是将一个20*20的窗口在图片上遍历，并且对每一个窗口中的图像进行特征检测以判断是否为人脸，完成全过程之后，将图片按一定比例缩小，然后对缩小后的图片重复遍历过程。直到图片缩放到了预先设定的大小后就停止，最后将检测到的结果在原始图片中表示出来，整个人脸检测的过程结束。

步骤三、边缘检测

为提取内眼角，本发明利用SUSAN算子先对人脸检测区域进行边缘分割。具体算法是在步骤二中检测出的人脸区域内使用SUSAN算子检测图像中的边缘。首先选取适当的半径r做成一个圆形模板。通过公式(2)计算模板内中心像素(x_c,y_c)的灰度值I(x_c,y_c)和其它像素(x,y)的灰度值I(x,y)的差。如果差值小于预定阈值t，则该像素(x,y)的结果值c(x,y)设为1，否则为0。该圆形区域内所有结果值为1的像素点构成的区域称为USAN。当模板在图像中每个位置遍历，如果模板位于背景内部或目标内部，USAN的面积能达到最大值；如果模板位于目标边缘，USAN的面积近似为最大值的一半，即圆形模板内只有一半的点的灰度值与中心点灰度值相同。选取适当的半径r和阈值t，将图像中USAN的面积为一半的点检索出来就得到该图像的所有边缘。

$c(x,y,)=\left\{\begin{array}{cc}1& \mathrm{if}|I(x,y)-I(x_c,y_c)\≤t|\\ 0& \mathrm{otherwise}\end{array}\right.---\left(2\right)$

步骤四、内眼角定位

对步骤三得到的边缘图像进一步使用Harris算法进行角点检测，获得图像中内眼角的位置。具体算法为：生成一个矩形模板，使该模板在图像中遍历，然后通过这个模板在原图像的基础上生成一个2×2的结构矩阵M。这个2×2的结构矩阵M的形式如公式(3)。

$M=G\left(\mathrm{\σ}\right)\⊗\left[\begin{array}{cc}{I}_x^2& I_x{I}_y\\ I_x{I}_y& I_y^2\end{array}\right]---\left(3\right)$

其中I_x指的是图像中某一2×2矩阵内像素点在X轴方向上的差分，I_y指的是图像中某一2×2矩阵内像素点在Y轴方向上的差分。其中

$G\left(\mathrm{\σ}\right)=\frac{1}{2\mathrm{\π}{\mathrm{\σ}}^2}\exp [-\frac{x^2+y^2}{2{\mathrm{\σ}}^2}]---\left(4\right)$

用I表示图像的像素红、黄、蓝三个分量，即I＝{R,G,B},对这个模板求矩阵的特征值，然后建立度量函数R。R的表达式如公式(5)所示：

R＝detM-k(traceM)²   (5)

其中detM为矩阵M的行列式，traceM为矩阵M的迹。得到了特征矩阵的R后，如果R值大于某一预定阈值th且为局部极大值，则检测到的该点即为角点。被检测出的角点通常会有4个，即双眼内外眼角。而识别出的面部区域内，内眼角通常会位于图像中左右近似对称分布，且距离最短的两个角点位置。

步骤五、视觉分界线位置判定

本发明将人脸图像的两内眼角间的中垂线作为视觉分界线。该中垂线将与图像的上下边缘相交，如图1所示。

图1中的矩形代表摄像头获取的原始图像。M1、M2两点间虚线表示图像中间线，M1_L、M2_L间虚线和M1_R、M2_R间虚线分别表示中间区域左右边界。如果内眼角中垂线的上下交点均位于该区域内，则认为当前的视觉分界线与屏幕中间对齐，即图中E1E2连线所示。其它8种情况被认为没有对齐，其中，A1A2需向右平移；B1B2、C1C2、F1F2需顺时针旋转；D1D2、G1G2、H1H2需逆时针旋转；I1I2需向左平移。根据以上情况可以给出被测者头部需要平移或旋转的方向提示。

本发明利用普通摄像头，图像定位被测者视觉分界线，该功能可以在一个后台线程内运行，的具体实施方法如下：

1.硬件配置环境

本发明使用的硬件包括：(1)一台通用计算机；(2)一个普通摄像头。

2.软件配置环境

多线程程序；OpenCV

3.获取图像

摄像头安装到计算机屏幕上方正中间位置。将摄像头连接到计算机，被测者端坐在计算机屏幕前，在此过程中计算机实时获取头部图像。

4.人脸检测

在获取的某一幅被测者面部图像进行人脸检测。OpenCV的人脸检测模型已经建立为一个XML文件，其中包含了harr特征的分类器的训练结果。可以通过加载这个文件而省略掉自己建立人脸检测器的过程。只需要将待检测图片和相关设定传递给OpenCV的目标检测算法即可得到一个检测到的人脸结果图像。

5.内眼角检测

针对检测出的人脸区域内的图像，使用OpenCV实现边缘检测。具体使用像素数37的模板，阈值设定为5，可以将人脸区域内边缘清晰地检测出来。将检测出来的边缘图像使用OpenCV中的cornerHarris函数可以检测出角点位置。从检测出的角点中定位图像左右两侧近似对称且距离最短的两点，即为内眼角点。

6.视觉分界线定位

计算内眼角点连线的中垂线与原始图像的上下边界角点。将屏幕宽度的1/10作为屏幕的中间区域，判断中垂线的两个端点是否在该区域内，如果都在该区域内，无输出，如果不在该区域内则根据本发明的判断规则给出偏移或旋转方向。

Claims (1)

1.半侧空间忽略计算机辅助诊疗系统的左右视觉分界线定位方法，其特征在于：

(1)预处理

(1.1)读入一幅摄像头图像；

(1.2)将彩色图像转换为灰度图像，各个像素的RGB三个分量通过计算对应的灰度值Gray＝R*0.299+G*0.587+B*0.114

(2)人脸检测

(2.1)选择一个训练样本集来生成一个人脸检测器，训练样本集使用MITEx人脸数据库，从数据库的图片中提取出Haar特征，依据Adaboost算法从特征中筛选出有效的人脸特征，得到人脸检测器；

(2.2)使用人脸检测器对步骤(1)中的图片进行检测：将一个20*20的窗口在图片上遍历，并且对每一个窗口中的图像进行特征检测以判断是否为人脸，将图片按比例缩小，对缩小后的图片重复遍历过程，直到图片缩放到了预先设定的大小后停止，将检测到的结果在原始图片中表示出来，结束整个人脸检测的过程；

(3)边缘检测

为提取内眼角，利用SUSAN算子先对人脸检测区域进行边缘分割，在步骤(2)中检测出的人脸区域内使用SUSAN算子检测图像中的边缘，选取半径r做成一个圆形模板，计算模板内中心像素(x_c,y_c)的灰度值I(x_c,y_c)和其它像素(x,y)的灰度值I(x,y)的差 $c(x,y)=\left\{\begin{array}{cc}1& \mathrm{if}|I(x,y)-I(x_c,y_c)\≤t|\\ 0& \mathrm{otherwise}\end{array}\right.,$ 如果差值小于预定阈值t，则像素(x,y)的结果值c(x,y)设为1，否则为0，圆形区域内所有结果值为1的像素点构成的区域称为USAN，当模板在图像中每个位置遍历，如果模板位于背景内部或目标内部，USAN的面积能达到最大值；如果模板位于目标边缘，USAN的面积近似为最大值的一半，即圆形模板内只有一半的点的灰度值与中心点灰度值相同，选取半径r和阈值t，将图像中USAN的面积为一半的点检索出来就得到该图像的所有边缘；

(4)内眼角定位

对步骤(3)得到的边缘图像进一步使用Harris算法进行角点检测，获得图像中内眼角的位置：生成一个矩形模板，使该模板在图像中遍历，然后通过模板在原图像的基础上生成一个2×2的结构矩阵M，

$M=G\left(\mathrm{\σ}\right)\⊗\left[\begin{array}{cc}{I}_x^2& I_x{I}_y\\ I_x{I}_y& I_y^2\end{array}\right]$

其中I_x指的是图像中2×2矩阵内像素点在X轴方向上的差分，I_y指的是图像中2×2矩阵内像素点在Y轴方向上的差分

$G\left(\mathrm{\σ}\right)=\frac{1}{2\mathrm{\π}{\mathrm{\σ}}^2}\exp [-\frac{x^2+y^2}{2{\mathrm{\σ}}^2}]$

用I表示图像的像素红、黄、蓝三个分量，即I＝{R,G,B},对这个模板求矩阵的特征值，建立度量函数R，

R＝detM-k(traceM)²

其中detM为矩阵M的行列式，traceM为矩阵M的迹，得到了特征矩阵的R后，如果R值大于预定阈值th且为局部极大值，则检测到的点即为角点，被检测出的角点通常会有4个，即双眼内外眼角，而识别出的面部区域内，内眼角通常会位于图像中左右近似对称分布，且距离最短的两个角点位置；

(5)判定视觉分界线位置

将人脸图像的两内眼角间的中垂线作为视觉分界线中垂线将与图像的上下边缘相交，M1、M2两点间虚线表示图像中间线，M1_L、M2_L间虚线和M1_R、M2_R间虚线分别表示中间区域左右边界，如果内眼角中垂线的上下交点均位于该区域内，则认为当前的视觉分界线与屏幕中间对齐，其它情况被认为没有对齐。