CN108899081A - 一种面向自闭症辅助康复的人机交互系统 - Google Patents
一种面向自闭症辅助康复的人机交互系统 Download PDFInfo
- Publication number
- CN108899081A CN108899081A CN201810612997.4A CN201810612997A CN108899081A CN 108899081 A CN108899081 A CN 108899081A CN 201810612997 A CN201810612997 A CN 201810612997A CN 108899081 A CN108899081 A CN 108899081A
- Authority
- CN
- China
- Prior art keywords
- user
- robot
- autism
- rehabilitation
- sensitivity factor
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 title abstract description 5
- 201000010099 disease Diseases 0.000 title abstract description 3
- 230000002452 interceptive effect Effects 0.000 title abstract description 3
- 230000001149 cognitive effect Effects 0.000 claims abstract description 50
- 230000035945 sensitivity Effects 0.000 claims abstract description 41
- 206010003805 Autism Diseases 0.000 claims abstract description 33
- 208000020706 Autistic disease Diseases 0.000 claims abstract description 33
- 238000012549 training Methods 0.000 claims abstract description 28
- 230000008451 emotion Effects 0.000 claims abstract description 23
- 238000013507 mapping Methods 0.000 claims abstract description 10
- 230000014509 gene expression Effects 0.000 claims description 71
- 230000003993 interaction Effects 0.000 claims description 51
- 238000012360 testing method Methods 0.000 claims description 36
- 230000002996 emotional effect Effects 0.000 claims description 26
- 238000000034 method Methods 0.000 claims description 22
- 238000004088 simulation Methods 0.000 claims description 16
- 238000004364 calculation method Methods 0.000 claims description 11
- 230000019771 cognition Effects 0.000 claims description 8
- 238000011156 evaluation Methods 0.000 claims description 6
- 230000003068 static effect Effects 0.000 claims description 6
- 238000004140 cleaning Methods 0.000 claims description 5
- 230000008859 change Effects 0.000 claims description 4
- 230000007704 transition Effects 0.000 claims description 3
- 238000013473 artificial intelligence Methods 0.000 abstract description 2
- 238000009098 adjuvant therapy Methods 0.000 abstract 1
- 230000008569 process Effects 0.000 description 15
- 238000004891 communication Methods 0.000 description 13
- 238000010586 diagram Methods 0.000 description 8
- 230000005540 biological transmission Effects 0.000 description 6
- 238000007726 management method Methods 0.000 description 6
- 238000012545 processing Methods 0.000 description 6
- 230000009471 action Effects 0.000 description 5
- 230000006870 function Effects 0.000 description 5
- 230000015572 biosynthetic process Effects 0.000 description 4
- 230000001815 facial effect Effects 0.000 description 4
- 238000003786 synthesis reaction Methods 0.000 description 4
- 230000008901 benefit Effects 0.000 description 3
- 239000012634 fragment Substances 0.000 description 3
- 230000009191 jumping Effects 0.000 description 3
- 230000033001 locomotion Effects 0.000 description 3
- 230000003997 social interaction Effects 0.000 description 3
- 238000012546 transfer Methods 0.000 description 3
- 230000006399 behavior Effects 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 2
- 238000013480 data collection Methods 0.000 description 2
- 238000013523 data management Methods 0.000 description 2
- 238000001514 detection method Methods 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 230000010354 integration Effects 0.000 description 2
- 238000007781 pre-processing Methods 0.000 description 2
- 238000011867 re-evaluation Methods 0.000 description 2
- 206010012559 Developmental delay Diseases 0.000 description 1
- 208000012239 Developmental disease Diseases 0.000 description 1
- 208000012202 Pervasive developmental disease Diseases 0.000 description 1
- 206010042008 Stereotypy Diseases 0.000 description 1
- 210000001015 abdomen Anatomy 0.000 description 1
- 230000003187 abdominal effect Effects 0.000 description 1
- 230000005856 abnormality Effects 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 208000029560 autism spectrum disease Diseases 0.000 description 1
- 230000006741 behavioral dysfunction Effects 0.000 description 1
- 230000003542 behavioural effect Effects 0.000 description 1
- 239000003181 biological factor Substances 0.000 description 1
- 230000036760 body temperature Effects 0.000 description 1
- 210000004556 brain Anatomy 0.000 description 1
- 230000003930 cognitive ability Effects 0.000 description 1
- 230000003920 cognitive function Effects 0.000 description 1
- 230000008878 coupling Effects 0.000 description 1
- 238000010168 coupling process Methods 0.000 description 1
- 238000005859 coupling reaction Methods 0.000 description 1
- 238000007405 data analysis Methods 0.000 description 1
- 230000000593 degrading effect Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 208000035475 disorder Diseases 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000008030 elimination Effects 0.000 description 1
- 238000003379 elimination reaction Methods 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 230000004927 fusion Effects 0.000 description 1
- 208000011977 language disease Diseases 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 230000003340 mental effect Effects 0.000 description 1
- 230000004630 mental health Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 230000008447 perception Effects 0.000 description 1
- 230000008092 positive effect Effects 0.000 description 1
- 208000020016 psychiatric disease Diseases 0.000 description 1
- 230000004044 response Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H40/00—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices
- G16H40/60—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices for the operation of medical equipment or devices
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H20/00—ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance
- G16H20/70—ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance relating to mental therapies, e.g. psychological therapy or autogenous training
Landscapes
- Health & Medical Sciences (AREA)
- Engineering & Computer Science (AREA)
- Public Health (AREA)
- Epidemiology (AREA)
- Biomedical Technology (AREA)
- Primary Health Care (AREA)
- Medical Informatics (AREA)
- General Health & Medical Sciences (AREA)
- Social Psychology (AREA)
- Developmental Disabilities (AREA)
- Hospice & Palliative Care (AREA)
- Psychology (AREA)
- Child & Adolescent Psychology (AREA)
- Psychiatry (AREA)
- Business, Economics & Management (AREA)
- General Business, Economics & Management (AREA)
- Rehabilitation Tools (AREA)
- Manipulator (AREA)
Abstract
本发明提供一种面向自闭症辅助康复的人机交互系统，能够为自闭症儿童的康复提供辅助治疗。所述系统包括：采集模块和机器人，所述机器人包括：认知服务模块；所述采集模块，用于采集用户的皮温和心率；所述认知服务模块，用于根据采集的用户的皮温和心率，按照预先确定的皮温、心率与敏感度因子之间的映射关系，确定敏感度因子，根据确定的敏感度因子，利用预先建立的情感计算模型，预测用户在下一时刻的情感状态，并显示出与用户在下一时刻的情感状态相对应的题目，以便于对用户进行认知服务训练。本发明涉及人工智能领域。
Description
技术领域
本发明涉及人工智能领域，特别是指一种面向自闭症辅助康复的人机交互系统。
背景技术
自闭症，是一种由多种生物因素引起的大脑广泛发育障碍性疾病。目前认为儿童孤独症是一种精神发育障碍性疾病，具有社会交往、言语沟通和认知功能特定的发育延迟和偏离的特征，其严重的社会交往障碍和语言障碍及刻板重复等行为异常导致严重、广泛存在于儿童发育过程中的行为功能障碍，使大部分患儿不能融入社会，严重影响患儿身心健康及生活质量，给家庭和社会带来了沉重的负担。
现有技术中，还没有针对自闭症的辅助康复系统。
发明内容
本发明要解决的技术问题是提供一种面向自闭症辅助康复的人机交互系统，以解决现有技术所存在的没有针对自闭症的辅助康复系统的问题。
为解决上述技术问题，本发明实施例提供一种面向自闭症辅助康复的人机交互系统，包括：采集模块和机器人，所述机器人包括：认知服务模块；
所述采集模块，用于采集用户的皮温和心率；
所述认知服务模块，用于根据采集的用户的皮温和心率，按照预先确定的皮温、心率与敏感度因子之间的映射关系，确定敏感度因子，根据确定的敏感度因子，利用预先建立的情感计算模型，预测用户在下一时刻的情感状态，并显示出与用户在下一时刻的情感状态相对应的题目，以便于对用户进行认知服务训练。
进一步地，所述预先确定的皮温、心率与敏感度因子之间的映射关系为：
其中，s表示敏感度因子，p表示皮温，v表示心率，e即自然常数值。
进一步地，所述机器人还包括：建立模块；
所述建立模块，用于将敏感度因子引入到认知重评策略中，建立基于敏感度因子的认知重评因子，以影响基于有限状态机的情感状态转移，建立情感计算模型。
进一步地，所述认知重评因子表示为：
其中，τ表示认知重评因子，c表示人格评估值的总和，ρ为个性特征的认知重评能力，s表示敏感度因子。
进一步地，所述机器人，还用于识别用户的语音，对识别出的语音进行分类，并根据分类结果与用户进行语音交互。
进一步地，所述机器人还包括：触摸屏；
所述机器人，用于根据预测出的用户在下一时刻的情感状态，在触摸屏上显示出与用户在下一时刻的情感状态相对应的1种或多种认知服务训练模式中的题目，以便于对用户进行认知服务训练；
所述认知服务训练模式包括：表情学习、表情测试、表情模仿、表情拼图和情景测试中的一种或多种。
进一步地，所述系统还包括：本地云端；
所述本地云端，由用户所述环境的本地静态设备和移动设备和移动设备互相连接而形成，用于对采集模块采集的数据进行清理、消除冗余和整合。
进一步地，所述机器人，还用于接收用户输入的针对所述题目的测试结果，并生成对每个测试结果是否正确的评价和/或每种认知服务训练模式的正确率。
进一步地，所述系统还包括：服务器；
所述机器人还包括：电机和位于机器人面部的LED；
所述服务器，用于控制机器人电机的转动和机器人面部的LED。
进一步地，所述系统还包括：远程云端；
所述远程云端包括：分布式MySQL数据库和分布式并行处理器；
所述分布式并行处理器，用于利用实时采集的数据匹配分布式MySQL中的历史信息，提取出已有特殊情况的信息；还用于针对用户康复状态的变化，进行模型更新。
本发明的上述技术方案的有益效果如下：
上述方案中，通过采集模块采集用户的皮温和心率两种生理信号；认知服务模块根据采集的用户的皮温和心率，按照预先确定的皮温、心率与敏感度因子之间的映射关系，确定敏感度因子，根据确定的敏感度因子，利用预先建立的情感计算模型，预测用户在下一时刻的情感状态，并显示出与用户在下一时刻的情感状态相对应的题目，以便于对用户进行认知服务训练，这样，通过人体的生理信号皮温、心率引入敏感度因子，基于敏感度因子，利用机器人的情感计算模型，提高系统与用户的情感匹配度，促进人机交互的和谐与自然，从而为自闭症儿童的康复提供辅助治疗。
附图说明
图1为本发明实施例提供的面向自闭症辅助康复的人机交互系统的结构示意图；
图2为本发明实施例提供的面向自闭症辅助康复的人机交互系统的详细结构示意图；
图3为本发明实施例提供的服务器架构示意图；
图4为本发明实施例提供的服务器业务流程示意图；
图5为本发明实施例提供的远程云端数据库原理示意图；
图6为本发明实施例提供的表情学习逻辑流程示意图；
图7为本发明实施例提供的表情测试逻辑意图；
图8为本发明实施例提供的表情模仿逻辑示意图；
图9为本发明实施例提供的表情拼图逻辑示意图。
具体实施方式
为使本发明要解决的技术问题、技术方案和优点更加清楚，下面将结合附图及具体实施例进行详细描述。
本发明针对现有的没有针对自闭症的辅助康复系统的问题，提供一种面向自闭症辅助康复的人机交互系统。
如图1所示，本发明实施例提供的面向自闭症辅助康复的人机交互系统，包括：采集模块1和机器人2，所述机器人2包括：认知服务模块21；
所述采集模块1，用于采集用户的皮温和心率；
所述认知服务模块21，用于根据采集的用户的皮温和心率，按照预先确定的皮温、心率与敏感度因子之间的映射关系，确定敏感度因子，根据确定的敏感度因子，利用预先建立的情感计算模型，预测用户在下一时刻的情感状态，并显示出与用户在下一时刻的情感状态相对应的题目，以便于对用户进行认知服务训练。
本发明实施例所述的面向自闭症辅助康复的人机交互系统，通过采集模块采集用户的皮温和心率两种生理信号；认知服务模块根据采集的用户的皮温和心率，按照预先确定的皮温、心率与敏感度因子之间的映射关系，确定敏感度因子，根据确定的敏感度因子，利用预先建立的情感计算模型，预测用户在下一时刻的情感状态，并显示出与用户在下一时刻的情感状态相对应的题目，以便于对用户进行认知服务训练，这样，通过人体的生理信号皮温、心率引入敏感度因子，基于敏感度因子，利用机器人的情感计算模型，提高系统与用户的情感匹配度，促进人机交互的和谐与自然，从而为自闭症儿童的康复提供辅助治疗。
本实施例中，所述用户包括但不限于自闭症儿童。
本实施例中，所述采集模块为用户体征信息采集模块，包括：温度传感器和心率传感器；所述采集模块用于实时采集用户的皮温和心率两种生理信号，并通过通信模块(例如，Wi-Fi通信)将采集的这两种生理信号传输至机器人的认知服务模块，作为机器人认知服务模块预测用户情感状态的输入。
如图2所示，所述机器人还包括：触摸屏(例如，腹部触摸显示屏)、核心控制板、底层控制板、机器人电机、面部LED、通信模块(例如，Wi-Fi通信模块)、串口通信模块、电源和外壳。
本实施例中，所述腹部触摸显示屏可以是7寸(16:9)工业级高级触摸屏，保证触摸界面具备清晰的画质、良好的反应速度并可工作于较为恶劣的环境下。所述核心控制板采用Mini210s开发板，基于Cortext-A8设计研发，处理器型号S5PV210。S5PV210主频为1GHz，S5PV210且搭载了PowerVR SGX540进行处理，具有512M DDR2内存，同时MLC NAND Flash高达4GB。所述底层控制板是利用STM32单片机开发的，底层控制板通过串口与机器人核心控制板进行通信，并通过接收到的不同控制指令控制机器人电机及面部LED，最终达到对机器人运动与表情的控制，从而使机器人完成不同的动作和情绪表达。所述电源作用是为整个系统供电，输出5V电压。直接供电对象包括核心控制板、底层控制板、电机、面部LED、触摸式显示屏等。所述外壳由硬质PVC材料制成，具有卡通外形，增强交互的趣味性，并且具有良好的硬度和耐心，有效保证机器人本地的防护性。
本实施例中，所述机器人电机包括：颈部电机、臂部电机和主-从轮式底盘电机，通过控制指令来完成整个机器人的各种动作展示。面部LED包括：2个耳灯、2个眼灯和1个嘴灯，用来完成不动的表情展示。
本实施例中，通过基于UART通信协议的串口控制指令来控制机器人电机转动和面部LED，从而实现机器人的不同动作，电机和面部LED的控制指令包括：左转头、右转头、头回中间、上抬头下抬头、摇头、前进、后退、左转、右转等。采用控制指令的并行传输，能够提高数据的传输速度。
本实施例中，如图2所示，所述人机交互系统，也可以包括：服务器，所述采集模块也可以将实时采集的生理信号传输至所述服务器，以便于所述服务器对采集的生理信息进行管理。
如图3所示，所述服务器，通过Swing展示层框架和Spring后台框架实现MVC架构(其中，View层(即视图展示层)用于展示和与用户交互，Controller层(即控制层)用户接受用户的请求，Service层(即服务层)用户封装具体的业务逻辑)的数据处理系统，不等层之间均为面向接口编程，所述数据处理系统通过实现DAO层(即数据库访问层)、Domain层、Service层、View层从而实现各层功能的解耦，降低了系统的耦合性，提升了系统的维护性和可扩展性。所述服务器主要负责与机器人的通信、机器人控制和数据管理等任务。即：所述服务器主要由系统登录、用户管理、受试者管理、测试数据管理、数据库操作、通信、交互过程逻辑处理等功能模块组成，如图4所示，首先是用户登录服务器，如果账号密码不完全正确，则出现错误提示，若账号密码都正确，则进入服务器。然后可以选择用户管理、受试者管理、测试结果管理等功能进行操作。与此同时，服务器开启Socket链接监听线程，与机器人进行数据通信。
本实施例中，机器人的通信模块(例如，Wi-Fi通信模块)通过Socket通信，实现机器人和服务器之间数据的无线传输。
如图2和5所示，所述系统还包括：云端，所述云端可以包括远程云端和本地云端；所述远程云端包括：分布式MySQL数据库和分布式并行处理器；
所述分布式并行处理器，用于利用实时采集的数据匹配分布式MySQL中的历史信息，提取出已有特殊情况的信息；还用于针对用户康复状态的变化，进行模型更新。
本实施例中，所述远程云端在数据中心实施，建立分布式MySQL数据库进行大数据分析，以实现情感检测的高准确性和及时的情感交互；其中，所述分布式MySQL数据库采用MyCat作为分布式中间件，有效的实现了云端分布式数据库的负载均衡，且实现数据分布式存储，能够保证数据的一致性和安全性。
本实施例中，所述远程云端包括：MySQL数据库和分布式并行处理器，其中，
所述MySQL数据库为分布式MySQL数据库，能够将用户的以往数据与实时收集的数据结合起来进行大数据增强分析，这样可以提高敏感度因子提取的准确性，同时也提高了情感转移的准确性；
所述分布式并行处理器包括：历史信息匹配、模型更新；用于利用实时采集的数据匹配分布式MySQL中的历史信息，能比本地云端更快的提取出已有特殊情况的信息，以便及早对自闭症患者进行治疗；还用于根据用户长时间数据的更新，对比更早些的历史信息，可以针对用户康复状态的变化，进行模型更新，进一步完善输出行为的决策支持。
本实施例中，使用本地云端中的动态设备(即机器人，用户体征信息采集模块)收集用户的生理信号，位置信息和其他数据。围绕移动用户，采用移动协作的方法(如：机器人根据用户移动轨迹而移动)，根据用户的位置，可以动态形成以用户为中心的数据收集字段，从而有效确保数据收集的连续性。
本实施例中，由于移动的机器人难以处理大量的感知数据(RBF网络处理)，会产生大量的冗余和无效数据，从而降低了收集数据的质量。因此，本实例可以使用本地静态设备协作(例如，本地局域网中的计算机)，为了提高本地数据预处理能力，抽象本地静态网络设备(例如，交换机，路由器)的计算单元，形成资源池，以提供强大的计算能力。本地云环境中的协作数据预处理提供的功能包括：数据清理、消除冗余、数据整合。
本实施例中，所述数据清理包括：通过检查数据的格式、完整性、合理性，清理收集的数据，识别出不确定、不准确、不完整或不合理的数据，然后修改或删除它们以提高数据质量。
本实施例中，所述消除冗余包括：冗余检测，数据过滤和其他手段来减少收集数据的冗余。
本实施例中，所述数据整合包括：整合生理信号特征相关的情感信息，保证数据的原子性，减少数据传输的开销。由于用户产生移动数据的特殊性，将用户视为一个单位，将时空标签作为主关键字。
作为一可选实施例，所述系统还包括：本地云端；
所述本地云端，由用户所述环境的本地静态设备和移动设备和移动设备互相连接而形成，用于对采集模块采集的数据进行清理、消除冗余和整合。
本实施例中，由于移动环境复杂，收集到的数据将是嘈杂和冗余的，因此，通过各种短距离无线电通信技术，将附近的静态设备和移动设备互相连接形成本地云端，对收集到的嘈杂和冗余的数据进行预处理，以提高数据质量并减少冗余。
本实施例中，所述采集模块可以将实时采集的生理信号直接传输至服务器、机器人和/或远程终端，也可以在本地云端预处理后，由本地云端将预处理后的数据发送至服务器、机器人和/或远程终端。
由图2-图5可知，本发明实施例所述的人机交互系统中，机器人用于从软硬件上实现机器人的稳定运行，向自闭症儿童提供表情认知服务。云端数据库用于实现整个系统的云端存储。服务器实现和机器人端数据的传输，用户信息和测试数据的存储与管理。用户体征信息采集模块，通过多传感器采集用户的生理信号，输入到机器人，促进人机交互的和谐与自然。
在前述面向自闭症辅助康复的人机交互系统的具体实施方式中，进一步地，所述预先确定的皮温、心率与敏感度因子之间的映射关系为：
其中，s表示敏感度因子，p表示皮温，v表示心率，e即自然常数值。
本实施例中，可以采用三层径向基函数(Radical Basis Function)网络来拟合皮温、心率与敏感度之间的映射关系，得到：
本实施例中，所述机器人还包括：建立模块；在根据敏感度因子，预测用户在下一时刻的情感状态之前，还需根据个体对外界刺激敏感度与情感状态转移的关系，将敏感度因子引入到Gross认知重评策略中，建立基于敏感度因子的Gross认知重评因子，用以影响基于有限状态机的情感状态转移，实现机器人的情感计算模型，具体的：
所述建立模块，用于将敏感度因子引入到认知重评策略中，建立基于敏感度因子的认知重评因子，以影响基于有限状态机的情感状态转移，建立情感计算模型；其中，
所述认知重评因子表示为：
其中，τ表示认知重评因子，c∈[0,1]表示人格评估值的总和，ρ为个性特征的认知重评能力，s表示敏感度因子。
本实施例中，根据个体的生理信号建立敏感度因子，结合Gross情感调节理论的认知重评策略与有限状态机建立情感计算模型。有利于提高系统与用户交互过程中的情感匹配度，促进交互的自然与和谐。
在前述面向自闭症辅助康复的人机交互系统的具体实施方式中，进一步地，所述机器人，还用于识别用户的语音，对识别出的语音进行分类，并根据分类结果与用户进行语音交互。
本实施例中，所述机器人，采用Cortex-A8处理器实现机器人端的软件运行和数据处理，例如，识别用户的语音，对识别出的语音进行分类，并根据分类结果与用户进行语音交互。
本实施例中，所述语音交互的过程分为：语音识别和语音合成两个部分；其中，
语音识别过程包括：创建识别对象、设置识别参数、开始识别和识别结果调用；
语音合成过程包括：创建合成对象、设置合成参数、开始合成语音和语音结果输出。
在前述面向自闭症辅助康复的人机交互系统的具体实施方式中，进一步地，所述机器人，用于根据预测出的用户在下一时刻的情感状态，在触摸屏上显示出与用户在下一时刻的情感状态相对应的1种或多种认知服务训练模式中的题目，以便于对用户进行认知服务训练。
本实施例中，所述机器人，基于Android系统，运用Java编程实现针对生活中常见六种情感状态/表情的认知服务训练，用户可通过触摸屏进行认知服务训练，实现触控交互，触控交互主要实现了表情学习、表情模仿、表情拼图、表情测试和情景测试等多模式的训练模式，自闭症儿童通过和触摸屏交互，完成不同的训练。每种认知服务训练模式可以提供多种测试难度。测试过程中，系统可以通过语音播放测试题目，更利于用户的交互。
本实施例中，六种常见情感状态包括：愉快、惊讶、厌恶、愤怒、恐惧、悲伤；认知服务训练模式包括：表情学习、表情测试、表情模仿、表情拼图和情景测试中的一种或多种，在实际应用中，可以由实际应用场景确定。
本实施例中，表情学习模式有六种情感图片，用户根据触控屏幕显示的表情图片进行学习。学习过程中产生的数据会保存到云端数据库。图6为表情学习逻辑流程示意图，进入表情学习模式，先记录一下开始时间，然后开始学习不同的表情，如果完成学习，则记录结束时间并退出学习。如果选择其他表情，则继续重复上述过程直到完成学习用户通过观察六种表情图片进行表情学习；
本实施例中，在表情测试模式，用户根据题目要求，从待选图片中选择符合题目要求的图片，用户选择的结果会被存入云端数据库。表情测试分为不同的难度等级，适用于不同年龄层和不同患病程度的患者。图7为表情测试逻辑流程示意图，进入表情测试模式，随机显示三张表情图，然后输出情景语音，如果没有听清可重复播放。如果表情选择正确，则跳转到鼓励界面。如果表情选择错误，则跳转到错误页面并语音提示，然后返回原测试界面。选择其他表情测试则重复上述过程，选择结束则退出测试。
本实施例中，在表情模仿模式，用户模仿系统随机显示的表情图片，医生可以在旁边指导并帮助患儿完成表情的模仿。在表情模仿过程中，数据会同步上传到云端数据库。便于医务人员和患儿家长了解患者的康复进展，并对以后的治疗方案提供有效的依据。图8为表情模仿逻辑流程示意图，进入表情模仿模式，先记录一下开始时间，然后开始模仿表情，如果模仿正确则记录模仿结果，并返回原界面。如果模仿错误，则跳转到错误界面，然后记录模仿结果并返回原界面。如果选择其他表情，则继续重复上述过程。如果完成学习，则记录结束时间并退出学习。
本实施例中，表情拼图分为四个难度，第一个难度是从四张碎片表情图中选择正确的四张放置在正确的位置，拼凑成一张完整的表情图片。第二个难度是从六张碎片表情图中选择正确的四张放置在正确的位置，拼凑成一张完整的表情图片。第三个难度是从两张眼睛图片中选择正确的图片匹配题目图片。第四个难度是从两张嘴巴图片中选择正确的图片匹配题目图片。用户选择的结果会被同步录入到云端数据库。图9为表情拼图逻辑流程示意图，进入表情拼图模式，记录开始时间。产生表情碎片并显示，然后选择表情碎片并移动到指定位置，四张表情碎片完全拼接后，判断拼图是否正确，如果正确，则跳转到正确界面，然后按上述流程继续完成其他表情拼图。如果拼图错误，则跳转到错误界面，同时输出提示音，然后重新拼图直至正确。结束拼图时记录结束时间，测试数据写入数据库并退出表情拼图模式。
本实施例中，情景测试模式分为三个难度，用户根据系统给定的情景，从四张、六张或者八张表情图片中选择最符合给定情景的表情，用户选择的结果会被存入云端数据库。情景测试：分为三个难度，用户根据系统给定的情景，从四张、六张或者八张表情图片中选择最符合给定情景的表情，用户选择的结果会被存入数据库服务器。
本实施例中，例如，确定用户在下一时间的情感状态是开心，那么机器人的认知服务训练模式即表情学习、表情测试、表情模仿、表情拼图和/或情景测试，会优先出开心的表情所对应的题目。
本实施例中，可以假设机器人每十分钟计算一次下一时刻用户的情感状态并出题目，这个时间是可以人为修改的，在机器人的app里可以手动修改时间为2分钟、5分钟等等。
在前述面向自闭症辅助康复的人机交互系统的具体实施方式中，进一步地，所述认知服务训练模式包括：表情学习、表情测试、表情模仿、表情拼图和情景测试中的一种或多种。
在前述面向自闭症辅助康复的人机交互系统的具体实施方式中，进一步地，所述机器人，还用于接收用户输入的针对所述题目的测试结果，并生成对每个测试结果是否正确的评价和/或每种认知服务训练模式的正确率。
本实施例中，机器人的触摸屏可以显示用户在每种认知服务训练模式的正确率，也可以显示详细的结果，例如，每道题目的选项和是否正确。
本实施例中，用户可以选择查看今天和之前所有的测试结果。
综上，本发明实施例所述的人机交互系统的优点和积极效果在于：
1)采用两种不同的交互模式：触控交互和语音交互。在不同的行为模式上和用户产生交互，降低自闭症儿童在交互过程中的障碍，有利于提高交互的有效性和辅助康复效果。
2)采用云端融合(本地云端和远端云端)技术，可以保证用户数据的安全性、一致性、随时可用性和对用户的透明性。体温传感器和心率传感器实时采集用户的生理信号，并与云端数据一起作为反馈，影响用户的交互。
3)根据个体的生理信号建立敏感度因子，结合Gross情感调节理论的认知重评策略与有限状态机建立情感计算模型，有利于提高系统与用户交互过程中的情感匹配度，促进交互的自然与和谐。
4)认知服务训练模式分为多种，每种模式又分为不同的难度等级，作为一种可行的康复手段，锻炼自闭症患者的社会交往和认知能力。为不同年龄和不同程度的自闭症儿童患者提供了有效的治疗方案。
需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。
以上所述是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明所述原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。
Claims (10)
1.一种面向自闭症辅助康复的人机交互系统，其特征在于，包括：采集模块和机器人，所述机器人包括：认知服务模块；
所述采集模块，用于采集用户的皮温和心率；
所述认知服务模块，用于根据采集的用户的皮温和心率，按照预先确定的皮温、心率与敏感度因子之间的映射关系，确定敏感度因子，根据确定的敏感度因子，利用预先建立的情感计算模型，预测用户在下一时刻的情感状态，并显示出与用户在下一时刻的情感状态相对应的题目，以便于对用户进行认知服务训练。
2.根据权利要求1所述的面向自闭症辅助康复的人机交互系统，其特征在于，所述预先确定的皮温、心率与敏感度因子之间的映射关系为：
其中，s表示敏感度因子，p表示皮温，v表示心率，e即自然常数值。
3.根据权利要求1所述的面向自闭症辅助康复的人机交互系统，其特征在于，所述机器人还包括：建立模块；
所述建立模块，用于将敏感度因子引入到认知重评策略中，建立基于敏感度因子的认知重评因子，以影响基于有限状态机的情感状态转移，建立情感计算模型。
4.根据权利要求3所述的面向自闭症辅助康复的人机交互系统，其特征在于，所述认知重评因子表示为：
其中，τ表示认知重评因子，c表示人格评估值的总和，ρ为个性特征的认知重评能力，s表示敏感度因子。
5.根据权利要求1所述的面向自闭症辅助康复的人机交互系统，其特征在于，所述机器人，还用于识别用户的语音，对识别出的语音进行分类，并根据分类结果与用户进行语音交互。
6.根据权利要求1所述的面向自闭症辅助康复的人机交互系统，其特征在于，所述机器人还包括：触摸屏；
所述机器人，用于根据预测出的用户在下一时刻的情感状态，在触摸屏上显示出与用户在下一时刻的情感状态相对应的1种或多种认知服务训练模式中的题目，以便于对用户进行认知服务训练；
所述认知服务训练模式包括：表情学习、表情测试、表情模仿、表情拼图和情景测试中的一种或多种。
7.根据权利要求1所述的面向自闭症辅助康复的人机交互系统，其特征在于，所述系统还包括：本地云端；
所述本地云端，由用户所述环境的本地静态设备和移动设备和移动设备互相连接而形成，用于对采集模块采集的数据进行清理、消除冗余和整合。
8.根据权利要求1所述的面向自闭症辅助康复的人机交互系统，其特征在于，所述机器人，还用于接收用户输入的针对所述题目的测试结果，并生成对每个测试结果是否正确的评价和/或每种认知服务训练模式的正确率。
9.根据权利要求1所述的面向自闭症辅助康复的人机交互系统，其特征在于，所述系统还包括：服务器；
所述机器人还包括：电机和位于机器人面部的LED；
所述服务器，用于控制机器人电机的转动和机器人面部的LED。
10.根据权利要求1所述的面向自闭症辅助康复的人机交互系统，其特征在于，所述系统还包括：远程云端；
所述远程云端包括：分布式MySQL数据库和分布式并行处理器；
所述分布式并行处理器，用于利用实时采集的数据匹配分布式MySQL中的历史信息，提取出已有特殊情况的信息；还用于针对用户康复状态的变化，进行模型更新。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201810612997.4A CN108899081B (zh) | 2018-06-14 | 2018-06-14 | 一种面向自闭症辅助康复的人机交互系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201810612997.4A CN108899081B (zh) | 2018-06-14 | 2018-06-14 | 一种面向自闭症辅助康复的人机交互系统 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN108899081A true CN108899081A (zh) | 2018-11-27 |
| CN108899081B CN108899081B (zh) | 2021-08-31 |
Family
ID=64344912
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201810612997.4A Active CN108899081B (zh) | 2018-06-14 | 2018-06-14 | 一种面向自闭症辅助康复的人机交互系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN108899081B (zh) |
Cited By (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109621151A (zh) * | 2018-12-12 | 2019-04-16 | 上海玺翎智能科技有限公司 | 一种虚拟现实vr+听觉统合治疗儿童自闭症及评估方法 |
| CN110152160A (zh) * | 2019-04-23 | 2019-08-23 | 北京阿叟阿巴科技有限公司 | 自闭症康复干预系统 |
| CN112331305A (zh) * | 2020-10-30 | 2021-02-05 | 中国科学院软件研究所 | 一种计算机辅助的自闭症儿童情感社交康复训练系统 |
| CN113096805A (zh) * | 2021-04-12 | 2021-07-09 | 华中师范大学 | 一种自闭症情绪认知与干预系统 |
| CN115295124A (zh) * | 2022-09-30 | 2022-11-04 | 北京智精灵科技有限公司 | 一种多模态的认知提升方法及系统 |
| CN116259401A (zh) * | 2023-01-17 | 2023-06-13 | 重庆电子工程职业学院 | 一种康复机器人性能分析方法 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20150099946A1 (en) * | 2013-10-09 | 2015-04-09 | Nedim T. SAHIN | Systems, environment and methods for evaluation and management of autism spectrum disorder using a wearable data collection device |
| CN104809503A (zh) * | 2015-04-21 | 2015-07-29 | 江苏卓顿信息科技有限公司 | 一种基于神经网络深度学习的心理顾问机器人系统 |
| CN107833611A (zh) * | 2017-11-06 | 2018-03-23 | 广州优涵信息技术有限公司 | 一种基于虚拟现实的自闭症康复训练方法 |
| CN108145717A (zh) * | 2017-03-24 | 2018-06-12 | 华东师范大学 | 一种基于机器人互动的自闭症康复训练系统 |
-
2018
- 2018-06-14 CN CN201810612997.4A patent/CN108899081B/zh active Active
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20150099946A1 (en) * | 2013-10-09 | 2015-04-09 | Nedim T. SAHIN | Systems, environment and methods for evaluation and management of autism spectrum disorder using a wearable data collection device |
| CN104809503A (zh) * | 2015-04-21 | 2015-07-29 | 江苏卓顿信息科技有限公司 | 一种基于神经网络深度学习的心理顾问机器人系统 |
| CN108145717A (zh) * | 2017-03-24 | 2018-06-12 | 华东师范大学 | 一种基于机器人互动的自闭症康复训练系统 |
| CN107833611A (zh) * | 2017-11-06 | 2018-03-23 | 广州优涵信息技术有限公司 | 一种基于虚拟现实的自闭症康复训练方法 |
Non-Patent Citations (3)
| Title |
|---|
| JUAN C. TORRADO 等: "Emotional Self-Regulation of Individuals with Autism Spectrum Disorders:Smartwatches for Monitoring and Interaction", 《SENSORS》 * |
| 乔红 等: "可用于孤独症辅助康复的医疗机器人系统研究", 《机器人技术与应用》 * |
| 黄智慧: "孤独症儿童情绪解读训练模型与实验研究", 《中国优秀硕士学位论文全文数据库》 * |
Cited By (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109621151A (zh) * | 2018-12-12 | 2019-04-16 | 上海玺翎智能科技有限公司 | 一种虚拟现实vr+听觉统合治疗儿童自闭症及评估方法 |
| CN110152160A (zh) * | 2019-04-23 | 2019-08-23 | 北京阿叟阿巴科技有限公司 | 自闭症康复干预系统 |
| CN110152160B (zh) * | 2019-04-23 | 2021-08-31 | 北京阿叟阿巴科技有限公司 | 自闭症康复干预系统 |
| CN112331305A (zh) * | 2020-10-30 | 2021-02-05 | 中国科学院软件研究所 | 一种计算机辅助的自闭症儿童情感社交康复训练系统 |
| CN113096805A (zh) * | 2021-04-12 | 2021-07-09 | 华中师范大学 | 一种自闭症情绪认知与干预系统 |
| CN113096805B (zh) * | 2021-04-12 | 2024-02-13 | 华中师范大学 | 一种自闭症情绪认知与干预系统 |
| CN115295124A (zh) * | 2022-09-30 | 2022-11-04 | 北京智精灵科技有限公司 | 一种多模态的认知提升方法及系统 |
| CN116259401A (zh) * | 2023-01-17 | 2023-06-13 | 重庆电子工程职业学院 | 一种康复机器人性能分析方法 |
| CN116259401B (zh) * | 2023-01-17 | 2023-10-27 | 重庆电子工程职业学院 | 一种康复机器人性能分析方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN108899081B (zh) | 2021-08-31 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN108899081B (zh) | 一种面向自闭症辅助康复的人机交互系统 | |
| WO2018171223A1 (zh) | 一种看护机器人的数据处理方法及装置 | |
| CN110890140A (zh) | 基于虚拟现实的自闭症康复训练及能力评估系统及方法 | |
| CN110931111A (zh) | 基于虚拟现实及多模态信息的孤独症辅助干预系统及方法 | |
| TWI713000B (zh) | 線上學習輔助方法、系統、設備以及電腦可讀取記錄媒體 | |
| CN108919950A (zh) | 基于Kinect的孤独症儿童互动影像装置及方法 | |
| AU2007342471A1 (en) | Situated simulation for training, education, and therapy | |
| KR102152500B1 (ko) | 발달장애 아동 언어치료 방법 및 장치 | |
| US20200184843A1 (en) | Information processing apparatus, information processing method, and computer program | |
| Nomikou et al. | Educating attention: Recruiting, maintaining, and framing eye contact in early natural mother–infant interactions | |
| Ghafghazi et al. | AI-augmented behavior analysis for children with developmental disabilities: building toward precision treatment | |
| JP2022508544A (ja) | 視覚型仮想エージェント | |
| CN111695442A (zh) | 一种基于多模态融合的在线学习智能辅助系统 | |
| Bertacchini et al. | A social robot connected with chatGPT to improve cognitive functioning in ASD subjects | |
| Maroto-Gómez et al. | Active learning based on computer vision and human–robot interaction for the user profiling and behavior personalization of an autonomous social robot | |
| CN111009318A (zh) | 一种基于虚拟现实技术的自闭症训练系统、方法及装置 | |
| Al-Azani et al. | A comprehensive literature review on children’s databases for machine learning applications | |
| Brümmer et al. | Practice as a shared accomplishment | |
| Tsiakas et al. | An interactive learning and adaptation framework for adaptive robot assisted therapy | |
| Chandra et al. | Opportunities for social robots in the stuttering clinic: A review and proposed scenarios | |
| JP2022524093A (ja) | 仮想エージェントチーム | |
| Wedyan | Augmented reality and novel virtual sample generation algorithm based autism diagnosis system | |
| CN110812803A (zh) | 用于认知能力提升的交互式辅助干预系统 | |
| CN117204850A (zh) | 一种基于虚拟现实的微小意识状态检测装置及方法 | |
| Lim et al. | Artificial intelligence concepts for mental health application development: Therapily for mental health care |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |