CN108145717A - 一种基于机器人互动的自闭症康复训练系统 - Google Patents

Abstract

本发明公开了一种基于机器人互动的自闭症康复训练系统，包括：互动信号发生器和机器人；其中，互动信号发生器具有特定动作示范及特定语音示范功能；机器人内设置有麦克风阵列及内部语音识别代码、动作执行模块和语音对话模块；麦克风阵列及内部语音识别代码实时识别外部语音，并通过内部代码调用语音对话模块或动作执行模块；机器人通过语音对话模块生成不同情境的触发指令，触发不同情境下的语音对话；动作执行模块根据调用指令控制机器人完成对应的动作。本发明是在康复课程的研发过程中设计、提出的，是在不断的探索和尝试中建立的一种人机交互关系的模型，反映了人机交互训练课程中各个角色彼此之间的互动关系，三者呈现出稳固的三角关系。

Description

一种基于机器人互动的自闭症康复训练系统

技术领域

本发明涉及自闭症康复技术领域，尤其涉及一种基于机器人互动的自闭症康复训练系统。

背景技术

自闭症，又称孤独症，是发病于儿童早期的、以社交沟通障碍和局限兴趣及刻板行为为两大核心症状的精神发育障碍。全球现有自闭症患者3500万，其中40％是儿童，中国自闭症患儿数达100多万。社交沟通障碍作为自闭症的核心障碍之一，不仅会对社会适应行为有很大的影响，也会导致自闭症个体无法很好的融入学校、家庭、社区，进而影响到个体的生活质量，因此，社交沟通障碍的康复训练对于自闭症患者来说十分重要。

对于自闭症进行干预的方法很多。其中，应用行为分析方法(Applied BehaviorAnalysis，缩写ABA)是最广为人知的综合干预模式之一，可以提高自闭症儿童的社交沟通能力。自闭症儿童的很多干预方法，都以ABA作为基础，如关键技能训练法(PivotalResponse Treatment，缩写PRT)。PRT主要通过对自闭症儿童关键性技能的训练，使这些技能能够影响到其他领域的发展，进而增强自闭症儿童对外界刺激认知和行为的反应、社会环境的适应、人际互动的有效性以及自我控制和监管的能力，达到协调、平衡发展的目的。

近几年来，人机交互技术也被越来越多的应用于自闭症的康复之中，很多研究证明了其有效性。人机交互模式区别于传统的人人交互模式，有着很多的优点。首先，机器人可以代替康复师完成大量的、重复的动作，利用机器人进行训练，可以减少密集行为训练中康复师的工作量，康复师可以根据情境更加灵活的进行强化、反馈；其次，相比于人，机器人身形娇小，面孔简单，更能吸引自闭症儿童的兴趣，引发共同注意；再次，机器人能作为自闭症儿童的同伴，相比于正常人，自闭症儿童更喜欢与机器人互动。

发明内容

本发明提出了一种基于机器人互动的自闭症康复训练系统，包括：互动信号发生器和机器人，互动信号发生器与机器人的互动，互动信号发生器与机器人进行社会交往技能的初步示范，机器人作为互动信号发生器的助手和“学生”，示范模仿需要习得的动作，配合互动信号发生器完成课程。

所述互动信号发生器具有特定动作示范及特定语音示范功能；所述机器人内设置有麦克风阵列及内部语音识别代码、动作执行模块和语音对话模块；所述麦克风阵列及内部语音识别代码实时识别外部语音，并通过内部代码调用所述语音对话模块或所述动作执行模块；所述机器人通过所述语音对话模块生成不同情境的触发指令，触发不同情境下的语音对话；所述动作执行模块根据调用指令控制所述机器人完成对应的动作。

本发明中，所述机器人进一步包括传感器触发模块；所述传感器触发模块分别设置在所述机器人的头、手和脚上；所述传感器触发模块通过触碰可以触发所述机器人的语音对话模块。

本发明中，所述互动信号发生器内设置有指令接收器；所述互动信号发生器通过所述指令接收器接受指令并完成特定动作示范及特定语音示范。

本发明中，所述机器人进一步设置有动作触发模块、摄像头及内部摄像识别代码，所述机器人通过摄像头捕捉并识别画面，与机器人内部预设的图片进行配对，通过代码对配对结果作出反应，调用所述语音对话模块或所述动作执行模块。

本发明中，所述机器人与所述互动信号发生器内设置有通讯模块，所述机器人与所述互动信号发生器建立通讯。所述机器人与所述互动信号发生器设置有内部沟通机制；当所述机器人与所述互动信号发生器被同时开启，并处于同一网络中，用户在用语音控制机器人的语音对话模块进入一个课程情境时，所述机器人可通过内部网络传输协议控制互动信号发生器进入相应课程情境；此时，该基于机器人互动的自闭症康复训练系统将完全启动，无需人为操控，自主完成一个对自闭症儿童训练的康复课程。

根据班杜拉社会学习理论，自闭症儿童可以通过观察和模仿互动信号发生器与机器人之间的互动来进行有效的学习；机器人与自闭症儿童进行互动，机器人作为自闭症儿童的模仿对象和学习伙伴，吸引、示范、陪同自闭症儿童完成课程；及互动信号发生器与自闭症儿童互动，在三者的互动关系中，互动信号发生器是主导者。

本发明的有益效果在于：本发明是在康复课程的研发过程中设计、提出的，是在不断的探索和尝试中建立的一种人机交互关系的模型，反映了人机交互训练课程中各个角色彼此之间的互动关系，三者呈现出稳固的三角关系。

附图说明

图1为本发明自闭症康复训练系统的结构示意图。

图2为本发明中机器人的各模块示意图。

图3为本发明中结构化课程框架图。

图4为本发明中机器人语音对话模块的对话系统图。

具体实施方式

结合以下具体实施例和附图，对本发明作进一步的详细说明。实施本发明的过程、条件、实验方法等，除以下专门提及的内容之外，均为本领域的普遍知识和公知常识，本发明没有特别限制内容。

如图1-图2所示，本发明提出了一种基于机器人互动的自闭症康复训练系统，包括：互动信号发生器和机器人；其中，互动信号发生器具有特定动作示范及特定语音示范功能。互动信号发生器可以主动示范训练课程中的特定动作或对话。机器人设置有所述机器人内设置有麦克风阵列及内部语音识别代码、动作执行模块和语音对话模块；所述麦克风阵列及内部语音识别代码实时识别外部语音，并通过内部代码调用所述语音对话模块或所述动作执行模块；所述机器人通过所述语音对话模块生成不同情境的触发指令，触发不同情境下的语音对话；所述动作执行模块根据调用指令控制所述机器人完成对应的动作。

本发明中，语音指令对应动作执行模块实现的动作具体如下：

本发明中，通过语音对话模块生成不同情境的触发指令，触发机器人在不同情境下的语音对话，例如：机器人接收到的语音指令是“你好”，那么机器人就将在“你好”情境下与自闭症患者产生对话。机器人语音对话模块的对话系统如下图4所示。

本发明中，机器人进一步包括传感器触发模块；所述传感器触发模块分别设置在所述机器人的头、手和脚上；所述传感器触发模块通过触碰可以触发所述机器人的语音对话模块。每个模块可触发多组不同的语音，以随机概率调用。触发语音包含但不限于如下语音：

本发明中，所述机器人进一步设置有动作触发模块、摄像头及内部摄像识别代码，所述机器人通过摄像头捕捉并识别画面，与机器人内部预设的图片进行配对，通过代码对配对结果作出反应，调用所述语音对话模块或所述动作执行模块。

本发明中，互动信号发生器内设置有指令接收器，互动信号发生器通过指令接收器接受指令并完成特定动作示范及特定语音示范，以此实现训练课程中的互动示范。

本发明结合硬件系统、计算机软件编程等构建结构化课程，将课程的开发过程进行结构化分层，形成一个自顶向下的纵向结构，包含“课程、情节、模块、函数、软件、硬件”六个层面。其中，课程、情节、模块三个层面涉及教育康复的内容，而函数、软件、硬件三个层面涉及机器人核心控制技术。

图3以社会交往课程之一《打招呼-挥手》课程为例，对课程进行结构化分解，对应动作目标，研发编制基于LabVIEW语言环境的机器人应用程序，生成驱动函数，由机器人做出动作。在本发明中，应用的机器人是法国Aldebaran Robotics公司研制的一款人工智能仿人机器人——NAO。NAO是目前教育领域应用最广泛的人形机器人，精巧的机械结构，强大的处理器和先进的传感器能够支持它完成各种复杂的动作；NAO外形可爱，多次被用于自闭症干预实验之中；同时NAO提供了一个开放的编程构架，使用户可以使用诸如LabVIEW、Python、C++、Java、Matlab、.NET及Urbiscript语言进行编程，本发明中主要应用的是LabVIEW语言开发环境。课程的具体结构框架如图1所示。

自闭症儿童、指机器人、互动信号发生器三者呈现出稳固的三角关系，三者之间的互动是两两之间互动的集合。包含：

(1)互动信号发生器与机器人的互动，互动信号发生器与机器人进行社会交往技能的初步示范，机器人作为互动信号发生器的助手和“学生”，示范模仿需要习得的动作，配合互动信号发生器完成课程；根据班杜拉社会学习理论，自闭症儿童可以通过观察和模仿互动信号发生器与机器人之间的互动来进行有效的学习。

(2)机器人与自闭症儿童进行互动，机器人作为自闭症儿童的模仿对象和学习伙伴，吸引、示范、陪同自闭症儿童完成课程。

(3)互动信号发生器与自闭症儿童互动，在三者的互动关系中，互动信号发生器是主导者，互动信号发生器辅助自闭症儿童与机器人之间的互动。

本发明服务于社交沟通主题课程，基于LabVIEW平台，开发机器人语音触发模块。共开发语音触发指令40余个，包含30余个语音触发动作指令和10余个语音触发舞蹈指令。其中语音触发机器人动作包含诸多常见动作，如打招呼，挥挥手，看一看，听一听，向前走，向右转等；语音触发机器人舞蹈包含课程律动舞蹈，舞蹈动作均经过设计，包含《我的朋友在哪里》，《笑一个吧》，《好朋友拉拉手》等多个舞蹈。

本发明中，开发传感器触发模块：机器人设有11个传感器，通过触摸传感器，可以建立起儿童与机器人的互动，产生视觉、听觉、触觉、本体觉等多感官的刺激，增强自闭症儿童的感觉统合能力。有研究认为，儿童在发育过程中神经系统具有可塑性,利用这种可塑性，对自闭症儿童提供一种感觉输入的控制,使其能够统合这些感觉,促进脑神经生理发展,达到改善儿童运动协调、语言功能等目的。

本发明中，所述机器人与所述互动信号发生器设置有内部沟通机制，通过通讯模块建立通讯；当所述机器人与所述互动信号发生器被同时开启，并处于同一网络中，用户在用语音控制机器人的语音对话模块进入课程情境时，所述机器人可通过内部网络传输协议控制互动信号发生器进入相应课程情境，所述自闭症康复训练系统，自主完成一个对自闭症儿童训练的康复课程。

实施例

在本实施例中，举例康复训练目标中的1个主题的1门康复训练课程：

主题：《你好》

第一课：《看》

教学目标与内容：对别人的问候表示惊讶(关注)

1、关注“看”的动作，并模仿。

2、找到“看”的图片，并能对相同的动作进行配对。

3、学习舞蹈我的朋友在哪里，并掌握标志性动作1^2^3^4^5

4、听到叫自己的名字能关注。

课前准备：启动机器人和互动信号发生器，并用语音控制机器人的语音对话模块进入“你好”情境，机器人可通过内部网络传输协议控制互动信号发生器进入相应课程情境。

情节一：看一看(情绪诱导视频)

1.播放情绪诱导视频《看》，调动儿童情绪，吸引儿童注意力，激发兴趣。

2.请儿童关注视频中机器人的动作“看一看”，互动信号发生器请机器人现场做演示。

3.再次播放视频，重点引导儿童对“看”这一标志性动作的关注。互动信号发生器请机器人和儿童一起模仿视频中的动作。

说明：互动信号发生器与机器人的互动：通过互动信号发生器发送语音指令“看一看”，触发控制机器人，机器人在接收到“看一看”的语音指令后，触发动作执行模块，做出“看一看”的动作。

情节二：听一听(示范对话)

1.互动信号发生器与机器人示范视频中互相问好的情节与动作。

机器人走到儿童和互动信号发生器面前。

互动信号发生器说话：机器人！

机器人(转头)说话：我看到你了！

说明：互动信号发生器与机器人的互动：通过互动信号发生器发送语音指令，同时调用机器人的动作执行模块以及语音对话模块。

情节三：找一找(匹配游戏)

建立模仿“看”的概念，通过图片匹配训练完成认知。

1.播放两张图片，一张是“看”的图片，一张是“没有看”的图片。

2.请儿童挑选卡片，进行匹配。互动信号发生器请机器人宣布游戏规则：“小朋友，看一看你手中的图片和屏幕上的哪一张是一样的？”

3.如果儿童做对了，机器人就称赞儿童，“小朋友你真棒”，并且给儿童一个动画奖励；如果做错了，机器人提醒儿童：“小朋友你再想一想吧……”，如果儿童30s内没有反应，机器人将自主进入语音对话模块，随机调用语言、反复提醒儿童进行互动，直到儿童做出选择为止。

游戏规则：大屏幕上出现两张图片，一个人在看，一个没有看，请儿童拿手中在看的图片与屏幕上的图片匹配。寻找正确，屏幕上出现看的动画。

说明：互动信号发生器、机器人与自闭症患者三者的互动：互动信号发生器通过“请机器人宣布游戏规则”的语音调用机器人的特定语音；同时开启机器人的摄像识别功能：如果儿童在机器人前面展示的图片和机器人内部的预设图片相一致，则调用语音“小朋友你真棒”；反之则调用语音“小朋友你再想一想吧……”，如果儿童30s内没有反应，机器人将自主进入语音对话模块，随机调用语言、反复提醒儿童进行互动，直到儿童做出选择为止。

情节四：跳一跳(舞蹈视频)

1.互动信号发生器通过通讯模块控制播放舞蹈视频《我的朋友在哪里》，请儿童观看，引出看这一标志性动作。

2.互动信号发生器请机器人来跳舞，如果有愿意的小朋友可以和机器人一起跳舞。互动信号发生器说话：“机器人，我们和小朋友一起跳舞吧。”

机器人说话：“小朋友我们一起来跳舞吧”！

说明：互动信号发生器与机器人的互动：互动信号发生器通过语音“一起来跳舞吧”调用机器人动作执行模块中的舞蹈模块。

情节五：学一学(简单对话)

引导儿童学习“看”这一标志性动作，互动信号发生器请机器人和儿童交替学习。

互动信号发生器说话：“机器人！”

机器人(转头看)说话：“我看到你了！

互动信号发生器请儿童呼唤“机器人”

儿童：“机器人！”

机器人(转头看)：“xx，我看到你了。”

说明：互动信号发生器、机器人与自闭症患者三者的互动：互动信号发生器与机器人再次做出示范，而后儿童模仿互动信号发生器语言，通过呼喊“机器人”的语音调用机器人的动作执行模块以及语音对话模块，如果儿童30s内没有反应，机器人将自主进入语音对话模块，随机调用语言、反复提醒儿童进行互动，直到儿童做出选择为止。

情节六：玩一玩(简单游戏)

简单游戏《我的朋友在哪里》

游戏规则：互动信号发生器请儿童藏在桌子或椅子后面，呼唤“机器人，我在这里”，“机器人”听到后向呼唤名字的儿童走过去，说“xx，我看到你啦！”并与儿童抱抱。

说明：自闭症患者与机器人的互动：语音“机器人，我在这里”触发机器人的语音识别功能以及摄像识别功能，捕捉声音来源，并将声音来源的头像与机器人内部的预设头像相配对，当声音来源头像与预设头像相一致时，触发机器人语音对话模块以及动作执行模块中的复杂动作“走-拥抱”，如果儿童30s内没有反应，机器人将自主进入语音对话模块，随机调用语言、反复提醒儿童进行互动，直到儿童做出选择为止。

情节七：做一做(分解动作)

1.儿童在互动信号发生器带领下，和机器人一起学习分解动作。互动信号发生器发指令，请机器人做，请儿童模仿。机器人请儿童听指令做动作，并带领儿童一起做。

(互动信号发生器与儿童跟随机器人学习动作)

2.互动信号发生器、机器人和儿童一起进行律动表演。

(互动信号发生器与儿童练习动作)

说明：互动信号发生器、机器人与自闭症患者三者的互动：语音控制机器人做舞蹈动作中的分解动作，每次一个动作，让儿童模仿。

情节八：说一说(互动对话)

互动信号发生器请机器人呼唤儿童名字，儿童“转头看”。

机器人说话：“XX！”

儿童(转头看)说话：“机器人！(我看到你了)”。

动作正确：“你真棒”！

动作错误：“请你想一想？”“做的对吗？让我们再来一次”。

说明：互动信号发生器、机器人与自闭症患者三者的互动：互动信号发生器语音触发机器人的语音识别功能以及摄像识别功能，并使机器人随机呼喊儿童名字，当机器人捕捉到的儿童的动作和语音均正确时，触发机器人的语音对话模块“你真棒”；反之，则触发机器人的语音对话模块，并随即调用“请你想一想？”“做的对吗？让我们再来一次”，如果儿童30s内没有反应，机器人将自主进入语音对话模块，随机调用语言、反复提醒儿童进行互动，直到儿童做出选择为止。

情节九：乐一乐(互动游戏)

互动游戏《我的朋友在哪里》

游戏规则：请儿童和机器人藏在桌子或椅子后面，一个儿童站在中间，其中一人呼唤儿童的名字，儿童听到后向呼唤名字的儿童走过去，与这个儿童抱抱。

本发明的保护内容不局限于以上实施例。在不背离发明构思的精神和范围下，本领域技术人员能够想到的变化和优点都被包括在本发明中，并且以所附的权利要求书为保护范围。

Claims (6)

1.一种基于机器人互动的自闭症康复训练系统，其特征在于，包括：互动信号发生器和机器人；其中，

所述互动信号发生器具有特定动作示范及特定语音示范功能；

所述机器人内设置有麦克风阵列及内部语音识别代码、动作执行模块和语音对话模块；

所述麦克风阵列及内部语音识别代码实时识别外部语音，并通过内部代码调用所述语音对话模块或所述动作执行模块；

所述机器人通过所述语音对话模块生成不同情境的触发指令，触发不同情境下的语音对话；

所述动作执行模块根据调用指令控制所述机器人完成对应的动作。

2.如权利要求1所述的基于机器人互动的自闭症康复训练系统，其特征在于，所述机器人进一步包括传感器触发模块；所述传感器触发模块分别设置在所述机器人的头、手和脚上；所述传感器触发模块通过触碰可以触发所述机器人的语音对话模块。

3.如权利要求1所述的基于机器人互动的自闭症康复训练系统，其特征在于，所述互动信号发生器内设置有指令接收器；所述互动信号发生器通过所述指令接收器接受指令并完成特定动作示范及特定语音示范。

4.如权利要求1所述的基于机器人互动的自闭症康复训练系统，其特征在于，所述机器人进一步设置有动作触发模块、摄像头及内部摄像识别代码，所述机器人通过摄像头捕捉并识别画面，与机器人内部预设的图片进行配对，通过代码对配对结果作出反应，调用所述语音对话模块或所述动作执行模块。

5.如权利要求1所述的基于机器人互动的自闭症康复训练系统，其特征在于，所述机器人与所述互动信号发生器内设置有通讯模块，所述机器人与所述互动信号发生器建立通讯。

6.如权利要求5所述的基于机器人互动的自闭症康复训练系统，其特征在于，所述机器人与所述互动信号发生器设置有内部沟通机制；当所述机器人与所述互动信号发生器被同时开启，并处于同一网络中，用户在用语音控制机器人的语音对话模块进入课程情境时，所述机器人可通过内部网络传输协议控制互动信号发生器进入相应课程情境，所述自闭症康复训练系统，自主完成一个对自闭症儿童训练的康复课程。