CN102176222B

CN102176222B - 多传感器信息采集分析系统及自闭症儿童监护辅助系统

Info

Publication number: CN102176222B
Application number: CN 201110066836
Authority: CN
Inventors: 解仑; 弓飞; 王志良
Original assignee: University of Science and Technology Beijing USTB
Current assignee: University of Science and Technology Beijing USTB
Priority date: 2011-03-18
Filing date: 2011-03-18
Publication date: 2013-05-01
Anticipated expiration: 2031-03-18
Also published as: CN102176222A

Abstract

本发明属于机器人领域，涉及一种多传感器信息采集分析系统以及使用该系统的、针对自闭症儿童进行实时监护及辅助治疗的机器人装置及其控制技术。本发明的多传感器信息采集分析系统多传感器、采集器、信息输出设备采用控制器局域网（CAN）现场总线进行通信信息的传输，这种分布式信息融合技术使设备的挂载和裁剪更为方便和高效。采用多信息融合技术，增加了机器人获取交互对象情感的途径，提高了人机交互的亲和度和交互成功率。

Description

多传感器信息采集分析系统及自闭症儿童监护辅助系统

技术领域

本发明属于机器人领域，涉及一种多传感器信息采集分析系统以及使用该系统的、针对自闭症儿童进行实时监护及辅助治疗的机器人装置及其控制技术。

背景技术

随着诊断技术的完善和人们对儿童自闭症认识的普及和提高，越来越多的自闭症儿童被发现，但由于自闭症病因复杂，目前仍然没有非常有针对性的治疗方案。现阶段，行为干预和特殊教育训练等方法是最为有效的自闭症矫治方法，但对于自闭症患者及其家庭，乃至专门的矫治机构来说，这方面的知识和辅助资源甚为稀少；而且即使有一些国内外的经典教材，对于非专业人员来说，学习和运用也极为不便，无法真正掌握。对于普通家庭，去专业矫治机构治疗一方面有许多不便，如出行、工作等等，更重要的是高昂的矫治费用绝大多数的家庭无法承受。

自闭症患者只有早发现、早介入、早治疗，才有可能收到良好的矫治效果。由于自闭症病症的特殊性，患者具有较强的行为能力，且都存在一定程度的自残和暴力倾向，如若自闭症患者在儿童时期没有得到良好的矫治，待到进入青春期或成年，将给家庭带来极大的生活和精神负担，给社会带来极大的安全问题。

发明内容

为了能够使自闭症儿童得到及时的、有效的矫治，本发明的目的之一是提供一种自闭症儿童介入治疗装置及其控制技术，对自闭症儿童进行实时行为监控及辅助治疗。

本发明的第二个目的在于提供一种人机交互过程中机器人对交互对象的情感捕捉和情感交互技术，进而提高机器人人机交互中的亲和力和交互成功率。

本发明解决其技术问题所采用的技术方案是：

一种多传感器信息采集分析系统，包括：超声波距离采集分析系统，全向声源定位系统，容式触摸信号采集系统，视觉采集系统，脑电波采集系统以及承载外壳；所述多传感器信息采集分析系统由三轮式全向移动及控制装置承载；

所述超声波距离采集分析系统包括 6组超声波距离传感器（15），均匀分布在承载外形壳底部边沿；通过对分时采集的距离数据进行分析处理，判断机器人周围环境空间，精度可达1cm；在与自闭症儿童交互的过程中提供合适的距离，以确保视频采集模块能够以最佳的角度采集自闭症儿童的行为举止和面部表情；同时为机器人运动提供自动避让障碍和规划运动路径的功能；

全向声源定位系统由4个安装在抽拉框架顶部4个顶角的麦克（16）构成的全向声源定位系统，通过分析处理接收到的声音信号，计算出声源位置，为自闭症儿童的视觉实时监护提供较为准确的方位信息，提高视觉采集系统工作的效率，同时，该系统的数据将作为语音采集与识别模块的软开关，以提高该模块的工作效率；

容式触摸传感器（17）分布于机器人顶部外形壳多达9处，所述容式触摸传感器系统通过检测系统电极在与人体接触时电容的变化判断是否有人体触摸机器人，该感知信号输入触摸控制器后经处理将结果通过CAN总线上传治疗中心系统；

视觉采集模块通过安装于抽拉框架顶部的200万像素CMOS网络摄像头（18），对自闭症儿童的行为进行视频采集，并对自闭症儿童的异常行为和表情进行分析记录，为特殊教育训练中的自闭症儿童情感分析和训练内容规划提供分析依据；并在必要时作出相应的预警；其控制信号及视频数据信号可通过以太网和WIFI两种方式与治疗中心系统工控机通信。

脑电波采集处理模块则通过脑电波采集器对自闭症儿童不同时刻不同情境时的脑电波进行采集，并通过蓝牙将数据提交到中治疗中心系统，该系统通过相应软件分析系统，分析记录重要信息，为专业的医师治疗提供有效的数据参考。

所述承载外壳为一流线型外壳，安装于设备承载器（4）上方，抽拉框架则通过承载外壳的预留口外露；该承载外壳载有超声波距离传感器（15）、容式触摸传感器（17）、LCD触摸显示屏交互模块（19）以及LED多功能信息输出模块（20）。

一种自闭症儿童监护辅助系统，包括三轮式全向移动控制装置、多传感器信息采集分析系统、RS232-CAN信号转换模块及治疗中心系统；其特征在于：

所述三轮式全向移动控制装置包括三轮式底盘（1）、电机座板（2）、光电码盘（3）、设备承载器（4）、光纤陀螺仪（5）及基于ARM7处理器的控制平台（6）,其特征在于：

所述三轮式底盘，其上通过电机座板（2）安装有3个双片6轮毂齿全向轮（7），等距均匀分布在底盘（1）外边缘，且具有相同圆心，通过齿轮传动组（8）与直流驱动电机（9）相耦合，每个全向轮（7）拥有独立的齿轮传动组和直流驱动电机及其控制器（10）；

所述光电码盘（3）为安装于底盘（1）中部和后部的一组轴向相互垂直的全向轮式光电码盘, 用以测定该装置移动的实际距离；

所述设备承载器（4）包括3块立支架（11）、2块六角板（12）和1个抽拉框架（13），第一六角板（121）安装在电机座板（2）上，且搭载有电池（14）、基于ARM7处理器的控制平台（6）、光纤陀螺仪（5）及直流电机控制器（10）；

第二六角板（122）通过3块立支架固定，其上搭载有抽拉框架（13），用于安放设备。

所述光纤陀螺仪（5）受控于基于ARM7处理器的控制平台（6），为该装置提供角度信息。

所述治疗中心系统包括核心工业控制计算机，语音采集识别模块，语音合成模块，LCD触摸显示屏交互模块，LED多功能信息输出模块，网络信息收发模块；

所述核心工业控制计算机为华北工控机，安装于抽拉框架上层滑轨（131）处；该工控机安装有Windows XP操作系统，中心系统软件均运行于该工控机之上，软件设计与更新方便，易于操作和维护；

所述语音采集识别模块由无线麦克、无线麦克信号接收器、语音识别芯片及电路、语音识别软件构成，实现交互过程中交互对象语音信息的识别；无线麦克语音信号通过工业控制计算机的音频输入口与治疗中心系统连接，语音识别芯片及电路通过并行接口（LPT）连接到工业控制计算机；

所述语音合成模块由语音合成芯片及电路、语音合成软件、扩音电路及音箱构成，实现机器人的语言表达功能；与上述语音采集识别模块共同完成机器人与儿童患者的语言交互；该模块挂载与CAN总线之上，通过RS232-CAN信号转换模块与治疗中心系统通信；

所述LCD触摸显示屏交互模块由LCD触摸显示屏及相应的交互软件构成，实现更具操作性和亲近性的人机交互；通过工业控制计算机视频接口与治疗中心系统连接；

所述LED多功能信息输出模块通过控制一系列多色LED灯以不同的形式显示不同的颜色，以表示儿童机器人在与自闭症儿童交互过程中的情绪及其变化,同时作为警示信号的输出介质；该模块挂载于CAN总线之上，通过RS232-CAN信号转换模块与治疗中心系统通信；

所述网络信息收发模块通过与工业控制计算机相连接的无线网卡实现治疗中心系统与家庭无线网络的互联互通，以完成自闭症儿童的病理特征信息的传输、实时监控信息的传输，以及相关治疗信息的获取；

所述治疗中心系统为各功能模块的总控制中心，多传感器信息采集分析系统服务于并受控于该治疗中心系统，治疗中心系统依据多传感器信息采集分析系统的各种信息对机器人的行为表现进行决策控制；多传感器信息采集分析系统中，视觉采集系统摄像头通过USB接口连接工业控制计算机，脑电波采集系统通过蓝牙信号与配备USB蓝牙适配器的工业控制计算机相连，其他传感器信息采集分析系统则挂载于CAN总线之上，通过RS232-CAN信号转换模块与治疗中心系统通信。

上述技术方案可以进一步的改进为：所述抽拉框架包含2组设备滑轨，分别为上层滑轨（131）及下层滑轨（132）。

上述技术方案可以进一步的改进为：所述装置采用双后轮驱动方式，即同时有两个全向轮作为主驱动轮，提高驱动能力。

上述技术方案可以进一步的改进为：所述装置采用双电池组并联供电，供电电池分别置于第一六角板后方两侧的主动轮之上。

本发明的优点和积极效果在于：

1）机器人有较强的环境适应能力，行动灵活；等距同心三轮式驱动装置控制简单、运动灵活，采用双前轮驱动提高了机器人的驱动能力和负载能力；引入V_Rotation旋转因子，通过增量式PID控制整个调节的过程，实现机器人任意方向精确的直线及弧线运动，且没有运动半径限制；可实现自动避让障碍和路径规划；

2）多传感器、采集器、信息输出设备采用控制器局域网（CAN）现场总线进行通信信息的传输，这种分布式信息融合技术使设备的挂载和裁剪更为方便和高效。

3）采用多信息融合技术，增加了机器人获取交互对象情感的途径，提高了人机交互的亲和度和交互成功率。

4）结构紧凑，外形易于自闭症儿童接受；可灵活、高效、实时的对自闭症儿童进行监护、交互和异常行为预警；可作为自闭症特殊教育训练强有力的辅助治疗工具，同时可为相关人员提供丰富的自闭症矫治指导资料。

5）具有音视频分析记录功能，网络数据交换功能，可实现患者病历信息的有效收集和传输，利于资料收集和病情分析，为治疗提供参考和依据。

附图说明

图1是本发明机器人的机械结构图。

图2是本发明机器人的等距同心三轮式移动装置的俯视图。

图3是本发明机器人的等距同心三轮式移动装置的立体图。

图4是本发明机器人的等距同心三轮式底盘的俯视图。

图5是本发明机器人六角板的俯视图。

图6是本发明机器人抽拉框架的结构图。

图7是本发明机器人的承载外壳结构图。

图8是本发明机器人的各功能模块之间的关系图。

图9是本发明机器人CAN总线设备控制/通信核心电路电气连接原理图。

图10是本发明机器人全向轮运动控制核心电路电气连接原理图。

图11是本发明机器人实时监护模式下的控制流程图。

具体实施方式

下面结合附图与实例做进一步说明。

如图1至图6所示，详细的描绘了本发明的等距同心三轮式运动机构，共有3个呈等距均匀分布且共圆心的双片6轮毂齿全向轮，每个全向轮由2片相错60°的主动轮和6×2个均匀分布的从动轮组成，主动轮与从动轮转动方向垂直，每组全向轮通过传动齿轮组与驱动直流电机轴相连接，直流电机带有高精度光电码盘，可实现电机运动参数的精确反馈。该电机通过直流电机控制器驱动控制，且采用双前轮驱动的方式，提高驱动能力，其运动速度灵活可调，能够完成变速启动、变速停止、匀速/变速直线或曲线运动等多速度等级的快速响应动作，使机器人动作更友好，易于被自闭症儿童接受。机构内侧边缘装有2个运动角度相互垂直的光电码盘，形成x-y直角坐标系，通过计算该光电码盘转动圈数及角度值可得到机器人的运动里程，提高机器人定位精度。机构中心位置安装有1个光纤陀螺仪，其可精确的计算机器人的角度信息，并引入V_Rotation旋转因子，通过增量式PID控制整个调节的过程，使其具有高精度的方向感应和控制。如图10所示，是本发明机器人全向轮运动控制核心电路电气连接原理图。该机构驱动系统采用ARM7处理器LPC2138，操作系统为uC/OS-II实时多任务操作系统，保证了程序的执行效率和更新便捷。

图7是本发明机器人的承载外壳结构图，图8所示为本发明中信息采集系统与分析控制系统的关系图，本发明所采用多传感器信息采集分析系统包括：

1）6组超声波距离传感器，均匀分布在全向轮运动机构外边沿。通过对分时采集的距离数据进行分析处理，判断机器人周围环境空间，精度可达1cm。在与自闭症儿童交互的过程中提供合适的距离，以确保视频采集模块能够以最佳的角度采集自闭症儿童的行为举止和面部表情；同时为机器人运动提供自动避让障碍和规划运动路径的功能。

2）由4个呈方形分布的MIC构成的全向声源定位系统，通过分析处理接收到的声音信号，计算出声源位置，为自闭症儿童的视觉实时监护提供较为准确的方位信息（空间定位，精确定位患者头部位置），提高视觉采集系统工作的效率。同时，该系统的数据将作为语音采集与识别模块的软开关，以提高该模块的工作效率。

3）视觉采集模块通过机器人携带的摄像头，对自闭症儿童的行为进行视频采集，并对自闭症儿童的异常行为和表情进行分析记录，为特殊教育训练中的自闭症儿童情感分析和训练内容规划提供分析依据；并在必要时作出相应的预警。

4）脑电波采集处理模块则通过脑电波采集器对自闭症儿童不同时刻不同情境时的脑电波进行采集，并通过蓝牙将数据提交到中心处理系统，该系统通过相应软件分析系统，分析记录重要信息，为专业的医师治疗提供有效的数据参考。

5）分布于机器人顶部外形壳多达16处（需要时可任意增减）的容式触摸传感器系统利用人体带电的原理，通过检测系统电极在与人体接触时电容的变化判断是否有人体触摸机器人。在与自闭症儿童进行交互训练过程中增强相互感知能力，提高交互成功率和交互治疗效果。

6）本发明中所有涉及控制器局域网（CAN）现场总线通信的系统或模块，均采用以PIC18F2480+CTM8251T为核心的控制/通信电路设计，如图9所示。其中PIC18F2480为采用16位RISC（精简指令集）指令系统的28引脚单片机，是目前世界上运行最快的8位单片机之一。该单片机具有CAN2.0B接口，可以直接与CAN收发器连接而不必配备单独的CAN控制器。CTM8251T收发器可将CAN控制器的逻辑电平转换为CAN总线的差分电平，并且具有DC 2500V隔离功能、ESD保护功能及TVS管防总线过压、低电磁辐射、高抗电磁干扰能力、使用无需外加元件等特点，其传输速率最高可达1Mbit/s，至少可连接110个节点设备，极大地提高了本发明的分布式设备扩展能力。

本发明的监护辅助治疗中心系统主体为一工业控制计算机（安装有Windows操作系统），其附属结构包括非特定人语音采集识别模块、非特定人语音合成模块、LED多功能信息输出模块和LCD人机交互模块。其中LED多功能信息输出模块，通过控制一系列多色LED灯，进而以不同的形式如快闪、渐变、持续等显示不同的颜色，以表示儿童机器人在与自闭症儿童交互过程中的情绪及其变化；同时可作为警示信号的输出介质。

该中心系统通过对上述信息采集系统/模块所采集的信息进行综合分析处理，最终形成需要的信息输出，包括位置路径控制、语音输出、图像输出、信息记录、信息网络发送、资料调取等操作。下面结合实例详细说明。

图11所示是本发明机器人实时监护模式下的控制流程图日常行为情绪实时监控。该情境中，本发明机器人将时刻跟随自闭症儿童，并通过超声波距离采集系统的配合使机器人自动避让障碍物，与自闭症儿童保持最佳距离，同时结合全向声源定位系统的角度信息，精确定位患者位置，以便使视频采集模块采集儿童的全部行为动作；监护辅助治疗中心系统将对所采集的视频信号进行实时行为识别、人脸识别及表情识别，记录特征值，并通过数据库比对方式发现异常或危险行为表现，做出相应预警，如报警信号提醒儿童监护人，同时利用音响、LED信息输出模块尝试以患者喜欢的颜色、声音等信息吸引患者，转移患者注意力，以达到避免患者继续危险行为的目的。该过程中所有视频、音频信息将被存储，以备专业治疗医师或机构作为诊断参考。

语言交互能力训练。该情境中，自闭症儿童通过语音采集识别模块、语音合成模块和触摸LCD触摸显示屏交互模块与机器人进行交互，如机器人通过LCD显示屏显示对于患者陌生的事物，同时通过语音合成模块告诉患者这是什么，不停重复教授，直到机器人通过语音识别模块检测到自闭症儿童正确描述该物；与此同时，视频采集系统调用表情识别功能对患者表情实时监测，根据患者表情决策训练强度和进度，如患者表现轻松则增加训练强度，如患者表现烦躁或紧张则放慢训练速度，并调用患者熟悉的事物进行交互，以缓解患者不良情绪。

关注度训练与检测。该情境中，主要通过脑电波采集系统对患者进行实时脑电波采集分析，并将脑电波信号与关注度相关联，通过关注度游戏来训练自闭症儿童的关注能力，同时配合触摸传感器系统，使自闭症儿童能够在合理的训练指导下，关注指定目标，以达到训练自闭症儿童正常的关注能力；同时，视觉采集摄像头通过追踪自闭症儿童的双眼来判断其关注目标，实时检测训练效果，提高人机交互能力。

自闭症治疗信息查询学习。该情境主要为自闭症儿童的监护人设计，可实现家庭教育训练中各种学习资料、实例教程、专业指导、经验交流的信息更新和调取，为治疗过程中的家长提供实用而有效的指导。

自闭症儿童病征采集记录与传输。该情境主要为专业的医师治疗提供有效的病理表现记录，通过无线以太网与互联网连接，方便的上传数据给治疗医师或机构，为更专业、更深层次的病情诊断和分析提供依据。

Claims

1.一种多传感器信息采集分析系统，包括：超声波距离采集分析系统，全向声源定位系统，容式触摸信号采集系统，视觉采集系统，脑电波采集系统以及承载外壳；

所述超声波距离采集分析系统包括6组超声波距离传感器(15)，均匀分布在承载外壳底部边沿；通过对分时采集的距离数据进行分析处理，判断机器人周围环境空间，精度为1cm；同时为机器人运动提供自动避让障碍和规划运动路径的功能；

全向声源定位系统由4个安装在抽拉框架顶部4个顶角的麦克(16)构成的全向声源定位系统，通过分析处理接收到的声音信号，计算出声源位置，为自闭症儿童的视觉实时监护提供方位信息，同时，该系统的数据作为语音采集与识别模块的软开关；

容式触摸信号采集系统(17)分布于机器人顶部外形壳的9处位置，所述容式触摸信号采集系统通过检测系统电极在与人体接触时电容的变化判断是否有人体触摸机器人，所述电容变化信号输入触摸控制器后经处理将结果通过CAN总线上传治疗中心系统；

视觉采集系统通过安装于抽拉框架顶部的200万像素CMOS网络摄像头(18)，对自闭症儿童的行为进行视频采集，并对自闭症儿童的异常行为和表情进行分析记录并作出相应的预警；其控制信号及视频数据信号通过以太网和WIFI两种方式与治疗中心系统工业控制计算机通信；

脑电波采集系统通过脑电波采集器对自闭症儿童不同时刻不同情境时的脑电波进行采集，并通过蓝牙将数据提交到治疗中心系统，该系统通过软件分析记录上述采集的信息；

所述承载外壳为一流线型外壳，安装于设备承载器(4)上方，抽拉框架则通过承载外壳的预留口外露；该承载外壳载有超声波距离传感器(15)、容式触摸传感器(17)、LCD触摸显示屏交互模块(19)以及LED多功能信息输出模块(20)。

2.一种自闭症儿童监护辅助系统，包括三轮式全向移动控制装置、如权利要求1所述的多传感器信息采集分析系统、RS232-CAN信号转换模块及治疗中心系统；其特征在于：

所述三轮式全向移动控制装置包括三轮式底盘(1)、电机座板(2)、光电码盘(3)、设备承载器(4)、光纤陀螺仪(5)及基于ARM7处理器的控制平台(6)；

所述三轮式底盘，其上通过电机座板(2)安装有3个双片6轮毂齿全向轮(7)，等距均匀分布在底盘(1)外边缘，且具有相同圆心，通过齿轮传动组(8)与直流驱动电机(9)相耦合，每个全向轮(7)拥有独立的齿轮传动组和直流驱动电机及其控制器(10)；

所述光电码盘(3)为安装于底盘(1)中部和后部的一组轴向相互垂直的全向轮式光电码盘，用以测定本三轮式全向移动控制装置移动的实际距离；

所述设备承载器(4)包括3块立支架(11)、2块六角板(12)和1个抽拉框架(13)，第一六角板(121)安装在电机座板(2)上，且搭载有电池(14)、基于ARM7处理器的控制平台(6)、光纤陀螺仪 (5)及直流电机控制器(10)；

第二六角板(122)通过3块立支架固定，其上搭载有抽拉框架(13)，用于安放设备;

所述光纤陀螺仪(5)受控于基于ARM7处理器的控制平台(6)，为本三轮式全向移动控制装置提供角度信息；

所述治疗中心系统包括工业控制计算机，语音采集识别模块，语音合成模块，LCD触摸显示屏交互模块，LED多功能信息输出模块，网络信息收发模块；

所述工业控制计算机为华北工控机，安装于抽拉框架上层滑轨(131)处；该工业控制计算机安装有Windows XP操作系统，中心系统软件均运行于该工业控制计算机之上；

所述语音采集识别模块由无线麦克、无线麦克信号接收器、语音识别芯片及电路、语音识别软件构成，实现交互过程中交互对象语音信息的识别；无线麦克语音信号通过工业控制计算机的音频输入口与治疗中心系统连接，语音识别芯片及电路通过并行接口连接到工业控制计算机；

所述语音合成模块由语音合成芯片及电路、语音合成软件、扩音电路及音箱构成，实现机器人的语言表达功能；与上述语音采集识别模块共同完成机器人与儿童患者的语言交互；该语音合成模块挂载与CAN总线之上，通过RS232-CAN信号转换模块与治疗中心系统通信；

所述LCD触摸显示屏交互模块由LCD触摸显示屏及相应的交互软件构成；通过工业控制计算机视频接口与治疗中心系统连接；

所述LED多功能信息输出模块通过控制一系列多色LED灯以不同的形式显示不同的颜色，以表示儿童机器人在与自闭症儿童交互过程中的情绪及其变化，同时作为警示信号的输出介质；该LED多功能信息输出模块挂载于CAN总线之上，通过RS232-CAN信号转换模块与治疗中心系统通信；

3.根据权利要求2所述的一种自闭症儿童监护辅助系统，其特征在于：所述抽拉框架包含2组设备滑轨，分别为上层滑轨(131)及下层滑轨(132)。

4.根据权利要求2所述的一种自闭症儿童监护辅助系统，其特征在于：所述三轮式全向移动控制装置采用双后轮驱动方式，即同时有两个全向轮作为主驱动轮。

5.根据权利要求2所述的一种自闭症儿童监护辅助系统，其特征在于：所述三轮式全向移动控制装置采用双电池组并联供电，供电电池分别置于第一六角板后方两侧的主动轮之上。