CN109830281A - 一种基于机器视觉的“叫名反应”评估系统及方法 - Google Patents

Abstract

本发明公开了一种基于机器视觉的“叫名反应”评估系统及方法，涉及孤独症的机器智能辅助分析领域，包括测试模块、采集模块和评估模块；所述测试模块被配置为进行叫名测试，所述采集模块被配置为记录在所述测试模块进行的测试过程，并将记录的信息实时传输给所述评估模块，所述评估模块被配置为在线实时地分析所述采集模块传输的信息，并控制所述叫名测试的进程。“叫名反应”是孤独症早期诊断的一个重要场景，本发明利用无接触式机器视觉技术对“叫名反应”患者的行为表现进行捕捉和分析，从而为孤独症的早期筛查提供客观的判断依据，有望解决在偏远地区孤独症诊断医疗资源不足的现状。

Description

一种基于机器视觉的“叫名反应”评估系统及方法

技术领域

本发明涉及孤独症的机器智能辅助分析领域，尤其涉及一种基于机器视觉的“叫名反应”评估系统及方法。

背景技术

孤独症谱系障碍(Autism spectrum disorder，ASD)，又称自闭症，是一种广泛性的发育障碍，其最主要的病理表现为：缺乏应有的社会行为和沟通能力，兴趣狭窄，存在重复刻板性行为等异常行为。其发病逐年增长，在世界范围内率高达1/100，中国的患病率保守估计为1/100，美国甚至达到1/58。孤独症发病原因不明，且无完全治愈的方法，也无特效药物治疗，以早期行为治疗为主要治疗手段。研究表明早期诊断后的早期干预治疗，能够实现最高25％的患儿有效恢复。目前的临床诊断是专业医师通过与患儿进行1-2小时的互动通过其行为表现及与其父母的叙述，进行综合诊断。尚无客观诊断工具及评估标准，诊断主观性较强，具备诊断资格的医师数量严重不足。近年来，越来越多的研究者通过各种技术手段来辅助进行自闭症的早期诊断和干预。而在诊断和干预过程中，一个不可或缺测试场景就是“叫名反应”(Response to name，RTN)。患有自闭症的婴幼儿(18-36个月)，对通常对父母的呼唤声充耳不闻，叫名反应不敏感通常是家长较早发现的ASD的表现之一，也有证据表明叫名反应不敏感不仅可以从正常儿童中识别出ASD，也可较好地分辨ASD与具有其他发育问题的儿童，叫名反应是自闭症早期筛查的一个核心要点。

传统的RTN是专业医师在诊疗室进行测试的，测试流程较为复杂，不易推广进行。近年来，机器视觉技术的飞速发展，通过机器智能辅助系统进行RTN测试成为可能。机器视觉是一种通过图像处理、机器学习等技术将从视觉传感器获得的图片、视频进行处理，实现对特定信息的测量和判断的技术手段。行人检测与跟踪、人脸信息分析是机器视觉中重要的研究和应用领域。其中，视线估计技术是通过机器视觉技术观察人注意力的重要依据。眼神交流是人与人之间沟通的重要方式，这也是孤独症诊断过程中医生观察一个核心点。将行人跟踪、人脸识别、视线估计等重要技术应用到RTN中，是一个行之有效且易于推广和广泛实施的方法。

因此，本领域的技术人员致力于开发一种基于机器视觉的“叫名反应”评估系统，为孤独症的早期筛查提供一个客观的判断依据。

发明内容

有鉴于现有技术的上述缺陷，本发明所要解决的是孤独症诊断主观性较强、具备诊断资质的专业医师严重不足，以及缺乏孤独症的客观诊断工具和评估标准的技术问题。

为实现上述目的，本发明提供了一种基于机器视觉的“叫名反应”评估系统及方法，通过一个无接触式视觉系统对实验范式中患儿的行为表现进行捕捉和分析，该评估系统包括测试模块、采集模块和评估模块。所述测试模块被配置为进行叫名测试，所述采集模块被配置为记录在所述测试模块进行的测试过程，并将记录的信息实时传输给所述评估模块，所述评估模块被配置为在线实时地分析所述采集模块传输的信息，并控制所述叫名测试的进程。

进一步地，所述采集模块包括高清摄像头和深度传感器；所述测试模块包括第一检测位点、第二检测位点、第一座位、桌子和第二座位；所述第一检测位点位于所述第一座位左斜后方45°位置，所述第二检测位点位于所述第一座位右斜后方45°位置；所述第一座位和所述第二座位在所述桌子的两侧面对面摆放，所述第一座位、所述桌子、所述第二座位的中心在同一条直线上。

进一步地，所述高清摄像头高85厘米，所述深度传感器高170厘米，所述第一座位和所述第二座位高30厘米且高度是可调节的，所述桌子高60厘米。

进一步地，所述高清摄像头具有自动调节亮度和自动对焦功能，且具有65°、78°和90°三个拍摄视角，所述高清摄像头帧率为30fps。

进一步地，所述评估模块分析和评估的信息包括面部特征信息、参与者所在位置、参与者的头部姿态、参与者头部的三维空间位置、语音识别；所述面部特征信息包括面部特征点、人眼虹膜中心、视线方向、面部表情。

进一步地，使用该评估系统的“叫名反应”评估方法包括如下步骤：

步骤1：测试者在测试前将患者的名字输入到评估模块中，当所述采集模块通过语音识别检测到所述测试者呼叫了所述患者的名字后，实时传输到所述评估模块，所述评估模块提示开始测试，或者所述测试者通过触发物理按键的方式开始测试；

步骤2：收到所述评估模块提示后，进行叫名测试；

步骤3：收到所述评估模块提示后，重复步骤2；

步骤4：根据所述评估模块提示，结束测试或者重复步骤2后再结束测试；

其中，每两轮叫名测试的时间间隔不少于5分钟，所述评估模块自动计算所述步骤2、所述步骤3、所述步骤4的分数，并于测试结束后累加得到总分数。

在本发明的一个较佳实施例中，测试开始前，所述测试者邀请所述患者坐在所述第一座位上玩玩具，且所述患者家长或抚养人坐在所述第二座位，等待2-3分钟后，开始进行所述第一轮测试。

进一步地，所述步骤2包括以下具体步骤：

步骤2.1：所述测试者对所述患者进行第一次叫名，如果所述患者对所述第一次叫名“有回应”，得“0”分，不再进行第二次叫名；如果所述患者对所述第一次叫名“无回应”，则准备进行所述第二次叫名；

步骤2.2：所述测试者对所述患者进行第二次叫名，如果所述患者对第二次叫名“有回应”，得“1”分，如果所述患者对第二次叫名“无回应”，得“2”分；

其中，每一轮测试最多进行两次叫名，两次叫名间隔小于1分钟。

进一步地，采用机器视觉方法来判断所述患者对叫名是否“有回应”，具体操作为：

首先，使用所述测试者的面部区域或者基于虹膜中心定位进行视线估计来表征所述测试者的眼睛区域，使用所述患者的眉心特征点来近似表征所述患者的视线起始点。

然后，将有界平面区域定义为穿过所述测试者的面部特征点且平行于相机平面的半径为15厘米的圆形区域；将患者视线的空间向量定义为起始点为所述患者的眉心特征点、方向为所述患者的视线估计结果的空间向量。

最后，计算在3秒内所述患者视线的空间向量穿过所述有界平面区域的次数，如果所述次数大于25次，则判断所述患者转头看向所述测试者；如果所述次数不到25次，则判断所述患者未转头看向所述测试者。

进一步地，所述“有回应”包括所述患者转头看向所述测试者并有眼神接触和所述患者转头看向所述测试者但没有眼神接触；所述“无回应”包括所述患者短暂停顿手中的活动但没有转头和所述患者简单应声但没有转头。

进一步地，所述步骤4包括以下具体步骤：

步骤4.1：如果所述步骤2和所述步骤3的分数均为“0”分，则结束测试；否则，进入步骤4.2；

步骤4.2：重复所述步骤2，并在所得分数基础上加“1”分；

步骤4.3：结束测试。

进一步地，所述步骤2和所述步骤3中的所述测试者为医护专业人员，所述步骤4中的所述测试者为所述患者家长或抚养人；所述步骤2和所述步骤4中所述测试者位于所述第一检测位点，所述步骤3中所述测试者位于所述第二检测位点。

与现有技术相比，通过本发明的实施，达到了以下明显的技术效果：

1、基于机器视觉技术，将动作检测与跟踪、人脸信息分析、目光交流检测、视线估计等应用于孤独症早期诊断的重要场景“叫名反应”中，提供一种精确的、客观的机器智能辅助诊断系统；

2、该系统提供了一个客观的评估结果，有望解决孤独症诊断主观性较强、具备诊断资质的专业医师严重不足的问题；

3、该系统操作方法和设备简单，且易于推广和实施。

以下将结合附图对本发明的构思、具体结构及产生的技术效果作进一步说明，以充分地了解本发明的目的、特征和效果。

附图说明

图1是本发明的一个较佳实施例的测试流程图；

图2是本发明的一个较佳实施例的测试场景布置的简单示意图；

图3是本发明的一个较佳实施例的测试场景布置正视的简单示意图；

图4是本发明的一个较佳实施例的测试场景布置俯视的简单示意图。

其中，1-第一检测位点，2-第二检测位点，3-第一座位，4-桌子，5-第二座位，6-高清摄像头，7-深度传感器。

具体实施方式

以下参考说明书附图介绍本发明的多个优选实施例，使其技术内容更加清楚和便于理解。本发明可以通过许多不同形式的实施例来得以体现，本发明的保护范围并非仅限于文中提到的实施例。

在附图中，结构相同的部件以相同数字标号表示，各处结构或功能相似的组件以相似数字标号表示。附图所示的每一组件的尺寸和厚度是任意示出的，本发明并没有限定每个组件的尺寸和厚度。为了使图示更清晰，附图中有些地方适当夸大了部件的厚度。

具体实施例1：

一、利用该评估系统进行“叫名反应”的整个测试流程如下。

该基于机器视觉的“叫名反应”评估系统包括测试模块、采集模块和评估模块。测试模块用于进行“叫名反应”测试；采集模块至少包括高清摄像头6和深度传感器7，用于记录整个测试过程，并将收集到的信息传输给评估模块；评估模块至少包括一台计算机，该计算机安装有软件用于在线实时地分析和评估采集模块传输的信息。

其中，高清摄像头6为罗技公司的BRIO高清摄像头，深度传感器7为微软公司的深度传感器Kinect 1.0。

其中，高清摄像头6具有三个可选择的视角：65°、78°和90°，且高清摄像头6可以自动调节亮度并自动对焦，最高可以以每秒60帧的全高清1080p进行视频录制。高清摄像头6用于以高帧率采集高清彩色图像，用于分析患者儿童的面部信息。

其中，深度传感器7可以采集整个场景中的彩色图像、深度信息并记录语音信息，用于分析患者儿童和测试者的位置、头部姿态和进行语音识别。

如图2所示，测试模块包括第一检测位点1、第二检测位点2、第一座位3、桌子4和第二座位5。采集模块包括高清摄像头6和深度传感器7。第一检测位点1位于第一座位3左斜后方45°位置，第二检测位点2位于第一座位3右斜后方45°位置。第一座位3和第二座位5在桌子4的两侧面对面摆放。

测试开始前，测试者在测试前将患者的名字输入到计算机中。测试者站在第一检测位点1或第二检测位点2，桌子4上放有几个玩具，第一座位3和第二座位5面对面摆放。第一座位3和第二座位5为儿童座椅。邀请患者坐在第一座位3上玩玩具，患者家长或抚养人坐在第二座位5。如果孩子没有玩玩具，患者家长或抚养人可以示范给孩子玩玩具。

等待2-3分钟后，测试者呼叫患者的名字。当采集模块通过语音识别检测到测试者呼叫了患者的名字后，实时传输到计算机，计算机进行在线实时的分析，并提示准备进入“叫名反应”测试流程。

计算机给出进行测试的正式指令后，测试者开始第一轮测试。

其中，采集模块能够采集到整个检测场景的彩色图像信息和语音信息，具体包括：测试者、患者儿童和患者儿童家长或抚养人的位置信息、头部的三维空间位置信息、骨架信息、头部姿态、面部表情、视线方向、语音信息；以及桌子4、第一座位3和第二座位5的尺寸和位置信息等。

如图1所示，测试者会对患者进行两轮或三轮“叫名反应”测试，每一轮测试间隔不少于5分钟。每一轮测试最多进行两次叫名，两次叫名间隔小于1分钟，根据计算机的提示决定是否进行第二次叫名。

如图1所示，在第一轮测试中，测试者站在孩子左后方(也即第一检测位点1)。测试者用正常的音调、清晰的发音(平时讲话的声音)叫孩子(即患者儿童)的名字(可以叫孩子的小名或昵称或家中常唤他的名字)，观察孩子的行为表现。

如果孩子会转头看向测试者并有眼神的接触，或者孩子会转头朝向测试者但没有眼神接触，则认为孩子对叫名“有回应”；如果孩子短暂停顿手中的活动但没有转头，或者孩子简单应声“哎”但没有转头，则认为孩子对叫名“无回应”。

如果孩子对第一次叫名“有回应”，得“0”分；如果孩子对第一次叫名“无回应”，则根据计算机系统提示在1分钟内进行第二次叫名，如果孩子对第二次叫名“有回应”，得“1”分，如果孩子对第二次叫名“无回应”，得“2”分。该轮测试最多进行两次叫名。

至此，第一轮测试结束。第一轮测试和第二轮测试的间隔不少于5分钟。

在第二轮测试中，测试者站在孩子右后方(也即第二检测位点2)。然后重复第一轮测试内容。

根据计算机系统提示决定是否进行第三轮测试。如果第一轮测试和第二轮测试的得分均为“0”分，则不进行第三轮测试。否则，进行第三轮测试，第二轮测试和第三轮测试的间隔不少于5分钟。在第三轮测试中，测试者站在孩子左后方(也即第一检测位点1)。然后重复第一轮测试内容，且在所得分数基础上加“1”分。

至多进行三轮测试。至此，叫名反应测试结束。计算机系统自动累加该三轮测试的得分，得到所述患者的总分数。

第一轮测试和第二轮测试的测试者为医护专业人员，第三轮测试的测试者为孩子的家长或抚养人(比如父母)。

二、测试场景布置的精确尺寸和位置参数信息如下：

测试场地为一个长4米，宽2.5米的长方形区域，该长方形区域具有第一长边(上)、第二长边(下)、第一短边(左)和第二短边(右)。

如图3和图4所示，高清摄像头6高85厘米，被设置为靠近第一长边，且与第一长边相距25厘米，且高清摄像头6的对称轴与第二短边相距215厘米；深度传感器7高170厘米，被设置为靠近第二短边，深度传感器7与第二短边相距35厘米，且深度传感器7的对称轴与第一长边相距120厘米。

第一检测位点1和第二检测位点2是直径为40厘米的圆形区域，第一检测位点1被设置为靠近第一长边，且位于第一座位3左斜后方45°位置；第二检测位点2被设置为靠近第二长边，且位于第一座位3右斜后方45°位置；第一检测位点1的圆心与第一座位3的最近距离是70厘米，第二检测位点2的圆心与第一座位3的最近距离也是70厘米。

第一座位3和第二座位5是边长为38厘米的正方形，且座位的边长分别与第一长边、第一短边平行，第一座位3和第二座位5高30厘米。

桌子4是边长为60厘米的正方形，且桌子4的边长分别与第一长边、第一短边平行，桌子4高60厘米。

第一座位3和桌子4之间相距6厘米，桌子4和第二座位5之间相距15厘米，第二座位5与第二短边相距77厘米；第一座位3、桌子4、第二座位5的中心在同一条直线上，且该直线与第一长边平行，且该直线与第一长边相距140厘米。

三、判断小孩子对测试者的叫名是否有回应的具体分析方法如下。

评估思路在于，当计算机系统通过语音识别检测到测试者叫小孩子的名字时，小孩子是否会在规定的时间内看向测试者，即小孩子与测试者的目光交流检测。该目光交流检测的关键在于：(1)检测小孩子的头部位置、面部朝向以判断小孩子的视线方向；(2)通过程式化的方式判断小孩子与测试者是否有目光交流。

(1)判断小孩子的视线方向

通过深度传感器7(Kinect SDK)获取测试者和小孩子的骨架信息，从而实现行人检测及跟踪，确定测试者和小孩子的位置。然后基于高清摄像头6采集到的图像检测测试者和小孩子的面部特征。人面部特征点检测的步骤：首先基于OpenCV的级联分类(CascadeClassification)算法进行人脸检测，再通过监督下降的方法(Supervised DescentMethod，SDM)来检测人脸的特征点(参考文献[1])。在本实施例中，人的面部至少可以被捕捉到68个特征点。获取人脸特征点后可以利用POSIT算法确定小孩子的头部朝向(参考文献[2])。

参考文献[1]Xiong,X.,&De la Torre,F.(2013,June).Supervised descentmethod and its applications to face alignment.In Computer Vision and PatternRecognition(CVPR),2013 IEEE Conference on(pp.532-539).IEEE；参考文献[2]Dementhon,D.F.,&Davis,L.S.(1995).Model-based object pose in 25 lines ofcode.International journal of computer vision,15(1-2),123-141.

小孩子视线方向的估计：在获取的人脸图像上截取眼区域图像部分，将两类不同半径的卷积核分别与眼区域图像卷积获取卷积后的图像，将两类卷积后的图像相除获取卷积商矩阵。通过计算商矩阵最大值处对应的位置及卷积核的半径来获得人眼的中心和半径(参考文献[3])。后通过人脸特征点和头部朝向，并结合人眼中心坐标、眼角坐标以及头部朝向最终确定小孩子的视线方向(参考文献[4])。

参考文献[3]Cai H,Liu B,Zhang J,et al.Visual Focus of AttentionEstimation Using Eye Center Localization[J].IEEE Systems Journal,2017,PP(99):1-6；参考文献[4]H.Cai et al.,"Sensing-enhanced Therapy System for AssessingChildren with Autism Spectrum Disorders:A Feasibility Study,"in IEEE SensorsJournal.doi:10.1109/JSEN.2018.2877662.

(2)小孩子与测试者的目光交流检测

首先，使用所述测试者的面部区域来近似或者基于虹膜中心定位的视线估计表征所述测试者的眼睛区域，使用所述患者的眉心特征点来近似表征所述患者的视线起点。

然后，将有界平面区域定义为穿过所述测试者的面部特征点且平行于相机平面的半径为15厘米的圆形区域；将患者视线的空间向量定义为起始点为所述患者的眉心特征点、方向为所述患者的视线估计结果的空间向量。其中，视线估计的方式主要包括通过面部朝向近似、基于虹膜中心定位两种方式。

最后，计算在3秒内所述患者视线的空间向量穿过所述有界平面区域的次数，如果所述次数大于25次，则判断所述患者转头看向所述测试者，即“有回应”；如果所述次数不到25次，则判断所述患者未转头看向所述测试者，即“无回应”。

具体实施例2：

在第一轮测试中，测试者站在孩子右后方(也即第二检测位点2)；在第二轮测试中，测试者站在孩子左后方(也即第一检测位点1)；在第三轮测试中，测试者站在孩子右后方(也即第二检测位点2)。该具体实施例的其他内容同具体实施例1。

以上详细描述了本发明的较佳具体实施例。应当理解，本领域的普通技术无需创造性劳动就可以根据本发明的构思做出诸多修改和变化。因此，凡本技术领域中技术人员依本发明的构思在现有技术的基础上通过逻辑分析、推理或者有限的实验可以得到的技术方案，皆应在由权利要求书所确定的保护范围内。

Claims (10)

1.一种基于机器视觉的“叫名反应”评估系统，其特征在于，包括测试模块、采集模块和评估模块；所述测试模块被配置为进行叫名测试，所述采集模块被配置为记录在所述测试模块进行的测试过程，并将记录的信息实时传输给所述评估模块，所述评估模块被配置为在线实时地分析所述采集模块传输的信息，并控制所述叫名测试的进程。

2.如权利要求1所述的基于机器视觉的“叫名反应”评估系统，其特征在于，所述采集模块包括高清摄像头和深度传感器；所述测试模块包括第一检测位点、第二检测位点、第一座位、桌子和第二座位；所述第一检测位点位于所述第一座位左斜后方45°位置，所述第二检测位点位于所述第一座位右斜后方45°位置；所述第一座位和所述第二座位在所述桌子的两侧面对面摆放，所述第一座位、所述桌子、所述第二座位的中心在同一条直线上。

3.如权利要求1所述的基于机器视觉的“叫名反应”评估系统，其特征在于，所述高清摄像头高85厘米，所述深度传感器高170厘米，所述第一座位和所述第二座位高30厘米且高度是可调节的，所述桌子高60厘米。

4.如权利要求1所述的基于机器视觉的“叫名反应”评估系统，其特征在于，所述高清摄像头具有自动调节亮度和自动对焦功能，且具有65°、78°和90°三个拍摄视角，所述高清摄像头帧率为30fps。

5.如权利要求1所述的基于机器视觉的“叫名反应”评估系统，其特征在于，所述评估模块分析和评估的信息包括参与者的面部特征信息、位置、头部的三维空间位置、头部姿态、骨架信息、语音信息；所述面部特征信息包括面部特征点、人眼虹膜中心、视线方向、面部表情。

6.一种使用如权利要求1至5中任一权利要求所述的基于机器视觉的“叫名反应”评估系统的“叫名反应”评估方法，其特征在于，包括如下步骤：

步骤1：测试者在测试前将患者的名字输入到评估模块中，当所述采集模块通过语音识别检测到所述测试者呼叫了所述患者的名字后，实时传输到所述评估模块，所述评估模块提示开始测试，或者所述测试者通过触发物理按键的方式开始测试；

步骤2：收到所述评估模块提示后，进行叫名测试；

步骤3：收到所述评估模块提示后，重复步骤2；

步骤4：根据所述评估模块提示，结束测试或者重复步骤2后再结束测试；

其中，每两轮叫名测试的时间间隔不少于5分钟，所述评估模块自动计算所述步骤2、所述步骤3、所述步骤4的分数，并于测试结束后累加得到总分数。

7.如权利要求6所述的“叫名反应”评估方法，其特征在于，所述步骤2包括以下具体步骤：

步骤2.1：所述测试者对所述患者进行第一次叫名，如果所述患者对所述第一次叫名“有回应”，得“0”分，不再进行第二次叫名；如果所述患者对所述第一次叫名“无回应”，则准备进行所述第二次叫名；

步骤2.2：所述测试者对所述患者进行第二次叫名，如果所述患者对第二次叫名“有回应”，得“1”分，如果所述患者对第二次叫名“无回应”，得“2”分；

其中，每一轮测试最多进行两次叫名，两次叫名间隔小于1分钟。

8.如权利要求7所述的“叫名反应”评估方法，其特征在于，所述评估模块自动计算在3秒内所述患者视线的空间向量穿过有界平面区域的次数，如果所述次数大于25次，则判断所述患者对叫名“有回应”；如果所述次数不到25次，则判断所述患者对叫名“无回应”。

9.如权利要求6所述的“叫名反应”评估方法，其特征在于，所述步骤4包括以下具体步骤：

步骤4.1：如果所述步骤2和所述步骤3的分数均为“0”分，则结束测试；否则，进入步骤4.2；

步骤4.2：重复所述步骤2，并在所得分数基础上加“1”分；

步骤4.3：结束测试。

10.如权利要求6所述的“叫名反应”评估方法，其特征在于，所述步骤2和所述步骤3中的所述测试者为医护专业人员，所述步骤4中的所述测试者为所述患者家长或抚养人；所述步骤2和所述步骤4中所述测试者位于所述第一检测位点，所述步骤3中所述测试者位于所述第二检测位点。