CN102354349B - 提高孤独症儿童社会互动能力的人机互动多模态早期干预系统 - Google Patents
提高孤独症儿童社会互动能力的人机互动多模态早期干预系统 Download PDFInfo
- Publication number
- CN102354349B CN102354349B CN 201110328413 CN201110328413A CN102354349B CN 102354349 B CN102354349 B CN 102354349B CN 201110328413 CN201110328413 CN 201110328413 CN 201110328413 A CN201110328413 A CN 201110328413A CN 102354349 B CN102354349 B CN 102354349B
- Authority
- CN
- China
- Prior art keywords
- children
- camera
- modal
- module
- human
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Landscapes
- User Interface Of Digital Computer (AREA)
- Electrically Operated Instructional Devices (AREA)
Abstract
一种提高孤独症儿童社会互动能力的人机互动多模态早期干预系统。该系统包括一台多点触摸屏，一台计算机和三台分别安装在触摸屏左边、右边以及中上方的摄像头，摄像头带麦克风通过USB接口与计算机相连，系统设有视觉信号处理、语音信号处理、物理交互界面、多模态融合、智能控制台和真实场景模拟六个基本模块，其融合计算机视觉，语音识别，行为识别，智能体和虚拟现实技术来支持提高孤独症儿童的社会互动能力。通过半年时间跟踪数名儿童在此学习环境中的发展变化，其中多数儿童的社会互动能力有了明显提高，另外儿童的互动能力也有一定地进步。
Description
技术领域
本发明涉及一种计算机科学、认知科学和教育学的人机互动多模态智能学习系统，尤其涉及提髙孤独症儿童社会互动能力的人机互动多模态早期干预系统。
背景技术
儿童孤独症又称自闭症，是发生于儿童早期的一种由于神经系统失调导致的发育障碍，其病征包括不正常的社交能力、沟通能力、兴趣和行为模式。虽然孤独症发现于1943年，但是对孤独症的研究与治疗直到20世纪80年代才得到真正重视，长期以来，儿童孤独症病因仍然是个谜，很多研究人员怀疑孤独症是由基因控制，再由环境因素触发，目前尚无任何有效药物可以治疗，只能靠长期的教育干预帮助患儿逐渐好转，否则将导致终身残障。在发达国家，有很多干预训练机构及专业训练人员来帮助孤独症儿童，使他们能恢复到正常儿童的社会交流能力。我国对孤独症儿童的教育干预方法有一定研究，但对孤独症儿童的干预训练机构很少。我国孤独症的发病率以每年10％-17％速度增长。卫生部在2010年7月正式发布《儿童孤独症诊疗康复指南》，《指南》强调儿童孤独症的最佳治疗时间一般在6岁之前，其早期的正确诊断和干预治疗非常关键。但到目前为止国内仅有少数几家的民营康复训练学习机构，康复训练人员严重不足，致使许多患儿在最佳康复训练年龄错失了康复训练时机，导致不可逆转的终身残障。社会交流能力是儿童学习的基础，孤独症儿童，由于缺乏社会交流能力，使得学习过程比正常发展的儿童更加困难。最近研究证明了计算机辅助学习对孤独症儿童的有效性，因为孤独症儿童对人与人之间的交流感到不适应，他们更易于接收电子技术设备。计算机可以创造一个安全的，可重复的，可预测控制的训练学习环境更有助于孤独症儿童的学习。研究证明学习者能在多模态互动环境中比在单一模态非互动环境中获得更好的学习效果，并指出多模态互动是学习语言的最好途径。我国目前针对孤独症儿童的多模态人机互动学习研究尚为空白。国外的相关研究主要是采用各种虚拟现实技术辅助孤独症儿童学习，为儿童创造一个安全，可控制的学习环境，尚未建立一套针对提高孤独症儿童社会互动能力的、自适应于不同儿童个体的、多模态人机互动系统。
发明内容
本发明目的旨在建立多模态融合互动式的智能学习系统来有效干预、提高孤独症儿童的社交能力。此系统专门针对提高孤独症儿童的社会互动能力设计学习目标、建立相应的学习活动；根据在学习过程观察到的儿童的行为，认知和心理状态来调整学习活动以满足不同儿童个体的社会认知需求。
实现上述目的的技术方案：一种提髙孤独症儿童社会互动能力的人机互动多模态早期干预系统，包括一台多点触摸屏，3个带麦克风的摄像头，计算机，3个摄像头分别安装在多点触摸屏的左边、右边以及中上方并通过USB接口与计算机相连(见图1)，系统设置有视觉信号处理、语音信号处理、物理交互界面、多模态融合、智能控制台和真实场景模拟六个基本模块，摄像头将获取的儿童的视频及音频信号传输给计算机，计算机通过视觉信号处理来检测儿童的注意力和表情，通过语音信号处理辨别儿童的声音，触摸屏捕捉儿童的动作，多模态信息融合模块把检测到的儿童的注意力、表情、声音和手势动作信号融合产生儿童的学习状态，然后反馈给智能控制台，智能控制台根据设计的学习活动内容产生儿童与虚拟动画人物之间基于游戏的互动，真实场景模拟根据多模态信息融合模块与智能控制台发出的指令显示不同的虚拟场景和输出各种声音(见图2)。
视觉信号处理包括表情识别，视线跟踪和头部姿态估计；语音信号处理解决的关键问题是针对儿童的语音识别；物理交互界面通过触摸屏识别儿童在虚拟环境中触摸的准确位置；多模态融合处理和合成检测到的儿童的注意力、表情、声音和手势动作信号然后创建儿童学习状态；智能控制台根据学习活动内容产生儿童与虚拟动画人物之间基于游戏的互动；真实场景模拟采用三维动画和语音合成技术模仿真实社会场景，其负责根据多模态信息融合模块与智能控制台发出的指令显示不同的虚拟场景。在此系统中，使用者通过前端模块(视觉、语音处理及物理交互界面)直接与学习环境互动，后端模块(多模态融合、智能控制台及真实场景模拟)根据使用者的行为产生相应的互动虚拟场景。这个学习环境模拟真实世界，使用者可以通过说，看，指或触摸来表达对事物的兴趣。
按上述方案，所述的第1摄像头(2-1)和第3摄像头(2-3)选用Logitech Quickcam摄像头，第2摄像头(2-2)选用Mironu Webcam摄像头。
按上述方案，所述的触摸屏(1)尺寸为42英寸。
按上述方案，所述的视觉信号处理模块，采用C++编程语言实现基于特征点方法的儿童注意力检测，以及基于稀疏表示表情识别方法的儿童心理状态估计。
按上述方案，所述的语音信号处理模块，分析儿童语音信号中的语调频率和共振峰频率参数，采用C++编程语言实现基于隐马尔科夫模型的儿童语音识别算法。
按上述方案，所述的物理交互界面，采用基于PQLabs的Java编程语言，检测儿童在虚拟环境中触摸的准确位置。
按上述方案，所述的多模态融合模块是基于Internet Communications Engine中间件的平台。
按上述方案，所述的智能控制台模块是基于FAtiMA结构，采用Java编程语言实现。
按上述方案，所述的真实场景模拟模块采用Maya动画技术和SuperCollider声音输出软件工具。
本发明的有益效果在于：第一、让孤独症儿童可以在一个安全的不受限制的自由空间里通过人机互动游戏形式探索不同社交场景和提高社会互动及合作技巧；第二、能够根据不同孤独症儿童的个体学习经验、当前学习状态和需求，通过变换与真实世界相仿的虚拟场景来调整学习活动以达到学习目标，支持包含不同的儿童发展路径；第三、通过实时检测多模态社会信号(包括视觉，听觉及触觉信号)来估计儿童的学习状态，认知状态(例如：注意力)，心理状态(例如：高兴或悲伤等)和学习行为；第四、采用多模态智能学习环境的方式，融合计算机视觉、语音识别、行为识别、结合儿童发展的心理机能理论、虚拟现实技术来支持提高孤独症儿童的社会互动能力。
附图说明
图1为人机多模态互动学习环境
图中：1.多点触摸屏，2-1.第1摄像头，2-2.第2摄像头，2-3.第3摄像头，3.计算机，4.虚拟场景，5.虚拟动画人物。
图2为本发明的系统框图
具体实施方式
下面结合附图具体说明实施方案。本发明的一种提髙孤独症儿童社会互动能力的人机互动多模态早期干预系统，包括一台多点触摸屏1，第1摄像头2-1，第2摄像头2-2，第3摄像头2-3，计算机3，第1摄像头、第3摄像头和第2摄像头分别安装在多点触摸屏的左边、右边以及中上方，3个摄像头带麦克风通过USB接口与计算机相连(见图1)，系统设置有视觉信号处理、语音信号处理、物理交互界面、多模态融合、智能控制台和真实场景模拟六个基本模块，摄像头将获取的儿童的视频及音频信号传输给计算机，计算机通过视觉信号处理来检测儿童的注意力和表情，通过语音信号处理辨别儿童的声音，触摸屏捕捉儿童的动作，多模态信息融合模块把检测到的儿童的注意力、表情、声音和手势动作信号融合产生儿童的学习状态，然后反馈给智能控制台，智能控制台根据设计的学习活动内容产生儿童与虚拟动画人物5之间基于游戏的互动，真实场景模拟根据多模态信息融合模块与智能控制台发出的指令显示不同的虚拟场景4和输出各种声音(见图2)。
本发明的视觉信号处理系统，采用三个摄像头，获得宽广的观察视野，从而使得儿童的行为在学习过程中不受外界条件的约束，并基于HAAR特征，熵原理图像分割和改进的主动形状模板的方法提取人脸面部特征，然后采用基于光子流与人脸三维模型的算法来跟踪特征点，最后基于特征点的算法估计头部姿态。在获取头部姿态的基础上，依据眼角和瞳孔的空间位置关系来确定眼睛的凝视方向。同时采用基于稀疏表示的表情识别方法来估计儿童的心理状态。
本实施例采用PQLabs提供的42英寸多点触摸屏。对于孤独症儿童而言，触摸是一个非常重要的社会信号。触摸屏是儿童与虚拟世界最直接的交流方式。在此学习环境中，儿童将通过触摸屏与学习环境进行互动，物理交互界面模块识别儿童在虚拟环境中触摸的准确位置，例如，在一个虚拟花园里，儿童是触摸到了花还是其中的动画人物。
语音识别部分，本发明着重分析儿童语音信号中的语调频率和共振峰频率等参数设计了基于隐马尔科夫模型(HMM)的适于互动学习环境的儿童语音识别算法。儿童发音和说话特点与成人不同，在声道长度，共振峰频率和语调频率等方面有很大区别。在互动环境中，儿童的语调含有很多情感，情绪成分。
多模态信息融合是本发明学习环境中不可缺少的模块，它处理和合成前端多重信号然后创建后端事件。此模块把儿童的头部姿态、眼睛凝视方向、表情、声音和手势动作信号融合产生儿童的学习状态，然后反馈给智能控制台。
本发明的智能体设计基于儿童发展理论和FAtiMA结构。FAtiMA适用于控制有情感的虚拟人物行为。本发明同时采用监督学习方法建立儿童模型使智能控制台能为不同的儿童选择合适的学习目标和活动。儿童模型的建立基于：1)年龄、性别等静态信息，2)之前与学习环境互动的信息，3)当前与学习环境互动的实时信息。智能控制台根据学习活动内容产生儿童与虚拟动画人物之间基于游戏的互动。儿童在虚拟场景中与动画人物之间进行交流，其间不同场景的变换不是事先设定而是根据在互动过程中观察到的儿童的行为，认知和心理状态来选择，这更利于儿童的个体训练和自我提高，充分体现了以儿童个体为中心的学习理念。
真实场景模拟采用三维动画和语音合成技术模仿真实社会场景，其负责根据多模态信息融合模块与智能控制台发出的指令显示不同的虚拟场景和输出各种声音等。本发明采用基于Maya的动画技术模拟真实场景以及SuperCollider软件输出声音。
[0022]整个学习环境的实现通过不同的编程语言和软件完成相应的模块：1、视觉处理：C++编程语言；2、语音处理：C++编程语言；3、交互界面：基于PQLabs的Java编程语言；4、智能控制台：基于FAtiMA结构的Java编程语言；5、真实场景模拟：采用Maya和SuperCollider等软件工具，各模块信息采用了基于Internet Communications Engine(ICE)中间件的平台来融合。
本发明的系统是学习系统，包括两种类型的学习目标，一种是基于发展理论划分的三个阶段的具体学习目标，如增强儿童对事物因果关系的理解(微观目标)，另一种是关于儿童社会交流技巧的发展变化和把这些技巧推广运用到新场景的能力(宏观目标)。基于微观的学习成果由面向任务的方法来评定，它与每个独立的学习目标和相应的学习活动相关。例如评估与共同注意和对他人的信念和愿望推理这一学习目标相关的学习成果，申请人利用视觉跟踪技术来检测儿童视线是否成功跟随他人的社会线索和根据儿童响应的快慢来评定。
从宏观上，结合社会交流问卷(social communication questionnaire，SCQ方法，社会反应量表(social responsiveness scale，SRS及心理教育量表修订版(psycho-educationalprofile-revised，PEP-R)与定性测评来评定儿童社会交流技巧的发展变化和把这些技巧推广运用到新场景的能力。在整个研究过程中申请人通过半年时间跟踪5名儿童在此学习环境中的发展变化，发现其中3名儿童的社会互动能力有了明显提高，另外两名儿童的互动能力也有一定地进步，例如，在刚开始使用此学习系统时，儿童需要辅导人员提示去完成任务，在训练过程中，辅导人员提示次数逐渐减少，最后儿童能独立正确地完成任务，并能在不同的场景下运用所学到的技巧。
Claims (6)
1.一种提髙孤独症儿童社会互动能力的人机互动多模态早期干预系统，特征在于： 该系统包括一台多点触摸屏（1），第1摄像头（2-1），第2摄像头(2-2)，第3摄像头（2-3），计算机（3），第1摄像头、第3摄像头和第2摄像头分别安装在多点触摸屏的左边、右边以及中上方，3个摄像头带麦克风通过USB接口与计算机相连，系统设置有视觉信号处理、语音信号处理、物理交互界面、多模态融合、智能控制台和真实场景模拟六个基本模块，摄像头将获取的儿童的视频及音频信号传输给计算机，计算机通过视觉信号处理来检测儿童的注意力和表情，通过语音信号处理辨别儿童的声音，触摸屏捕捉儿童的动作，多模态信息融合模块把检测到的儿童的注意力、表情、声音和手势动作信号融合产生儿童的学习状态，然后反馈给智能控制台，智能控制台根据设计的学习活动内容产生儿童与虚拟动画人物（5）之间基于游戏的互动，其间不同场景的变换不是事先设定而是根据在互动过程中观察到的儿童的行为，认知和心理状态来选择，真实场景模拟根据多模态信息融合模块与智能控制台发出的指令显示不同的虚拟场景（4）和输出各种声音;
其中，所述的第1摄像头(2-1)和第3摄像头(2-3)选用Logitech Quickcam摄像头，第2摄像头(2-2) 选用 Mironu Webcam摄像头;
所述的视觉信号处理模块，采用C++编程语言实现基于特征点方法的儿童注意力检测，以及基于稀疏表示表情识别方法的儿童心理状态估计;
所述的语音信号处理模块, 分析儿童语音信号中的语调频率和共振峰频率参数, 采用C++编程语言实现基于隐马尔科夫模型的儿童语音识别算法。
2.如权利要求1所述的提髙孤独症儿童社会互动能力的人机互动多模态早期干预系统，其特征在于：所述的多点触摸屏（1）尺寸为42寸触摸屏。
3.如权利要求1所述的提髙孤独症儿童社会互动能力的人机多模态早期干预系统，其特征在于：所述的物理交互界面采用基于PQLabs的Java 编程语言检测儿童在虚拟环境中触摸的准确位置。
4.如权利要求1所述的提髙孤独症儿童社会互动能力的人机互动多模态早期干预系统，其特征在于：所述的多模态融合模块是基于Internet Communications Engine中间件的平台。
5.如权利要求1所述的提髙孤独症儿童社会互动能力的人机互动多模态早期干预系统，其特征在于：所述的智能控制台模块是基于FAtiMA结构，采用Java编程语言实现。
6.如权利要求1所述的提髙孤独症儿童社会互动能力的人机互动多模态早期干预系统，其特征在于：所述的真实场景模拟模块采用Maya动画技术和SuperCollider声音输出软件工具。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN 201110328413 CN102354349B (zh) | 2011-10-26 | 2011-10-26 | 提高孤独症儿童社会互动能力的人机互动多模态早期干预系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN 201110328413 CN102354349B (zh) | 2011-10-26 | 2011-10-26 | 提高孤独症儿童社会互动能力的人机互动多模态早期干预系统 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN102354349A CN102354349A (zh) | 2012-02-15 |
| CN102354349B true CN102354349B (zh) | 2013-10-02 |
Family
ID=45577912
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN 201110328413 Active CN102354349B (zh) | 2011-10-26 | 2011-10-26 | 提高孤独症儿童社会互动能力的人机互动多模态早期干预系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN102354349B (zh) |
Families Citing this family (44)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP5926210B2 (ja) * | 2012-03-21 | 2016-05-25 | 国立大学法人浜松医科大学 | 自閉症診断支援システム及び自閉症診断支援装置 |
| CN102821163B (zh) * | 2012-08-29 | 2015-02-18 | 无锡中盛医疗设备有限公司 | 面向自闭症患者的3d云端服务系统 |
| CN103123619B (zh) * | 2012-12-04 | 2015-10-28 | 江苏大学 | 基于情感上下文的视觉语音多模态协同分析方法 |
| CN103258450B (zh) * | 2013-03-22 | 2015-04-22 | 华中师范大学 | 面向孤独症儿童的智能学习平台 |
| CN103164995A (zh) * | 2013-04-03 | 2013-06-19 | 湖南第一师范学院 | 儿童体感交互式学习系统及方法 |
| CN103268392A (zh) * | 2013-04-15 | 2013-08-28 | 福建中医药大学 | 一种情景互动的认知功能训练系统及其使用方法 |
| CN103794110B (zh) * | 2014-01-24 | 2016-05-04 | 西安交通大学 | 智能化孤独症儿童认知沟通行为早期训练系统 |
| CN104306006A (zh) * | 2014-10-15 | 2015-01-28 | 东南大学 | 便携式工作记忆评测与训练装置 |
| CN104635927A (zh) * | 2015-01-27 | 2015-05-20 | 深圳富泰宏精密工业有限公司 | 互动显示系统及方法 |
| CN104874087B (zh) * | 2015-04-02 | 2018-03-16 | 西安交通大学 | 一种针对孤独症儿童康复训练的手持终端系统 |
| CN104800950A (zh) * | 2015-04-22 | 2015-07-29 | 中国科学院自动化研究所 | 自闭症儿童辅助机器人及系统 |
| CN105224910B (zh) * | 2015-08-28 | 2017-07-18 | 华中师范大学 | 一种训练共同注意力的系统及方法 |
| CN105280044B (zh) * | 2015-11-17 | 2018-03-20 | 东南大学 | 一种面向孤独症谱系障碍儿童的智能教学系统 |
| CN107583276B (zh) * | 2016-07-07 | 2020-01-24 | 苏州狗尾草智能科技有限公司 | 游戏参数控制方法、装置及游戏控制方法、装置 |
| CN106295184B (zh) * | 2016-08-10 | 2018-09-21 | 深圳先进技术研究院 | 用于情感康复的智能可穿戴设备 |
| CN106887170B (zh) * | 2017-02-21 | 2019-12-20 | 戴雨霖 | 基于虚拟现实和手势检测的乘坐公交车训练系统 |
| CN110582811A (zh) * | 2017-03-03 | 2019-12-17 | 贝赫维尔有限责任公司 | 用于影响行为改变的动态多感官模拟系统 |
| CN107785061A (zh) * | 2017-10-10 | 2018-03-09 | 东南大学 | 孤独症谱系障碍儿童情绪能力干预系统 |
| CN107833611A (zh) * | 2017-11-06 | 2018-03-23 | 广州优涵信息技术有限公司 | 一种基于虚拟现实的自闭症康复训练方法 |
| CN108304155A (zh) * | 2018-01-26 | 2018-07-20 | 广州源创网络科技有限公司 | 一种人机交互控制方法 |
| CN108744220B (zh) * | 2018-03-14 | 2021-07-09 | 青岛同昌康复设备科技有限公司 | 一种基于3d打印技术的多感官训练系统 |
| CN109431523B (zh) * | 2018-10-19 | 2022-08-30 | 昆山杜克大学 | 基于非社会性声音刺激行为范式的孤独症初级筛查装置 |
| CN109272259A (zh) * | 2018-11-08 | 2019-01-25 | 梁月竹 | 一种孤独症谱系障碍儿童情绪能力干预系统及方法 |
| CN109599162A (zh) * | 2018-11-15 | 2019-04-09 | 东南大学 | 一种孤独症谱系障碍儿童合作能力干预系统及方法 |
| CN111326253A (zh) * | 2018-12-14 | 2020-06-23 | 深圳先进技术研究院 | 自闭症谱系障碍患者的多模态情感认知能力的评估方法 |
| CN109939325A (zh) * | 2019-01-30 | 2019-06-28 | 上海市精神卫生中心（上海市心理咨询培训中心） | 一种基于虚拟现实技术的神经发育障碍音乐训练系统 |
| CN110196642B (zh) * | 2019-06-21 | 2022-05-17 | 济南大学 | 一种基于意图理解模型的导航式虚拟显微镜 |
| CN110313923B (zh) * | 2019-07-05 | 2022-08-16 | 昆山杜克大学 | 基于联合注意能力测试和音视频行为分析的孤独症早期筛查系统 |
| CN110364260A (zh) * | 2019-07-05 | 2019-10-22 | 昆山杜克大学 | 基于指示性语言范式的孤独症早期评估装置及系统 |
| CN110931111A (zh) * | 2019-11-27 | 2020-03-27 | 昆山杜克大学 | 基于虚拟现实及多模态信息的孤独症辅助干预系统及方法 |
| ES2831166A1 (es) * | 2019-12-05 | 2021-06-07 | Univ Castilla La Mancha | Procedimiento de reproduccion de contenido multimedia de ayuda mediante audio en interfaces visuales de usuario, y dispositivo que implementa dicho procedimiento |
| CN111134693B (zh) * | 2019-12-09 | 2021-08-31 | 上海交通大学 | 基于虚拟现实技术的自闭症儿童辅助检测方法、系统及终端 |
| CN111309143A (zh) * | 2020-01-19 | 2020-06-19 | 南京康龙威康复医学工程有限公司 | 一种儿童多感官训练系统 |
| CN111309153B (zh) * | 2020-03-25 | 2024-04-09 | 北京百度网讯科技有限公司 | 人机交互的控制方法和装置、电子设备和存储介质 |
| CN111739612A (zh) * | 2020-06-28 | 2020-10-02 | 华中师范大学 | 一种基于关键反应训练模式的孤独症自适应干预系统 |
| CN112259218A (zh) * | 2020-09-29 | 2021-01-22 | 垒途智能教科技术研究院江苏有限公司 | 一种基于vr交互技术的听觉刺激儿童自闭症的训练方法 |
| CN112487949B (zh) * | 2020-11-27 | 2023-05-16 | 华中师范大学 | 一种基于多模态数据融合的学习者行为识别方法 |
| CN112734609A (zh) * | 2021-01-06 | 2021-04-30 | 西安康宸科技有限公司 | 一种基于人工智能的儿童早期发展管理系统 |
| CN113382163B (zh) * | 2021-05-18 | 2023-06-27 | 岭南师范学院 | 一种基于红外热像跟踪的自闭症儿童行为捕捉系统 |
| CN113506624B (zh) * | 2021-08-16 | 2023-08-08 | 北京阿叟阿巴科技有限公司 | 基于逐层泛化推送逻辑的孤独症儿童认知能力评估干预系统 |
| CN114038562A (zh) * | 2021-11-10 | 2022-02-11 | 中南大学湘雅二医院 | 一种心理发育评估方法、装置、系统及电子设备 |
| CN113974589B (zh) * | 2021-11-12 | 2022-09-06 | 中国科学院自动化研究所 | 多模态行为范式评估优化系统及认知能力评价方法 |
| CN114974571B (zh) * | 2022-05-27 | 2023-03-24 | 浙江大学医学院附属儿童医院 | 多模态数据驱动的孤独症检测系统、设备及存储介质 |
| CN114849009B (zh) * | 2022-06-02 | 2023-09-26 | 朱宏锐 | 一种婴幼儿孤独症行为训练装置及训练方法 |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN1916992A (zh) * | 2005-08-19 | 2007-02-21 | 陈修志 | 交互式学习机及其运作方法 |
| CN102176222A (zh) * | 2011-03-18 | 2011-09-07 | 北京科技大学 | 多传感器信息采集分析系统及自闭症儿童监护辅助系统 |
-
2011
- 2011-10-26 CN CN 201110328413 patent/CN102354349B/zh active Active
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN1916992A (zh) * | 2005-08-19 | 2007-02-21 | 陈修志 | 交互式学习机及其运作方法 |
| CN102176222A (zh) * | 2011-03-18 | 2011-09-07 | 北京科技大学 | 多传感器信息采集分析系统及自闭症儿童监护辅助系统 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN102354349A (zh) | 2012-02-15 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN102354349B (zh) | 提高孤独症儿童社会互动能力的人机互动多模态早期干预系统 | |
| Arbib et al. | Schizophrenia and the mirror system: an essay | |
| CN108919950A (zh) | 基于Kinect的孤独症儿童互动影像装置及方法 | |
| CN110931111A (zh) | 基于虚拟现实及多模态信息的孤独症辅助干预系统及方法 | |
| CN110070944A (zh) | 基于虚拟环境和虚拟角色的社会功能评估训练系统 | |
| CN111063416A (zh) | 一种基于虚拟现实的阿尔兹海默症康复训练及能力评估系统 | |
| CN107030691A (zh) | 一种看护机器人的数据处理方法及装置 | |
| Togler et al. | Living interfaces: the thrifty faucet | |
| Czerwinski et al. | Building an AI that feels: AI systems with emotional intelligence could learn faster and be more helpful | |
| CN111081371A (zh) | 基于虚拟现实的孤独症早期筛查评估系统及方法 | |
| CN107463780A (zh) | 一种3d虚拟自闭症治疗系统及治疗方法 | |
| Zhang et al. | The application of virtual reality technology in physical education teaching and training | |
| Gallagher | Moral agency, self-consciousness, and practical wisdom | |
| Takacs | Special education and rehabilitation: teaching and healing with interactive graphics | |
| CN107544675A (zh) | 脑控式虚拟现实方法 | |
| Wang et al. | Research progress of artificial psychology and artificial emotion in China | |
| CN204791614U (zh) | 智能少年学习机器人 | |
| Li et al. | A framework for using games for behavioral analysis of autistic children | |
| Wang | Application of augmented reality technology in children’s picture books based on educational psychology | |
| CN106976096A (zh) | 有效提升教学效率的教学机器人 | |
| CN112230777A (zh) | 一种基于非接触式交互的认知训练系统 | |
| CN108145717A (zh) | 一种基于机器人互动的自闭症康复训练系统 | |
| Faria et al. | Towards ai-based interactive game intervention to monitor concentration levels in children with attention deficit | |
| CN110827598B (zh) | 一种电子战装备虚拟操作训练系统及其训练方法 | |
| Al-Qbilat | Accessibility requirements for human-robot interaction for socially assistive robots |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| C10 | Entry into substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| C14 | Grant of patent or utility model | ||
| GR01 | Patent grant |