CN109599162A - 一种孤独症谱系障碍儿童合作能力干预系统及方法 - Google Patents
一种孤独症谱系障碍儿童合作能力干预系统及方法 Download PDFInfo
- Publication number
- CN109599162A CN109599162A CN201811358435.8A CN201811358435A CN109599162A CN 109599162 A CN109599162 A CN 109599162A CN 201811358435 A CN201811358435 A CN 201811358435A CN 109599162 A CN109599162 A CN 109599162A
- Authority
- CN
- China
- Prior art keywords
- module
- training
- trainer
- human
- autism
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 26
- 208000029560 autism spectrum disease Diseases 0.000 title claims abstract description 14
- 230000002452 interceptive effect Effects 0.000 title claims abstract description 12
- 238000012549 training Methods 0.000 claims abstract description 112
- 230000009471 action Effects 0.000 claims abstract description 38
- 230000008569 process Effects 0.000 claims description 11
- 230000003068 static effect Effects 0.000 claims description 11
- 230000033001 locomotion Effects 0.000 claims description 7
- 238000011084 recovery Methods 0.000 claims description 6
- 238000009415 formwork Methods 0.000 claims description 5
- 230000001144 postural effect Effects 0.000 claims description 3
- 235000013399 edible fruits Nutrition 0.000 claims description 2
- 206010003805 Autism Diseases 0.000 abstract description 21
- 208000020706 Autistic disease Diseases 0.000 abstract description 21
- 230000003993 interaction Effects 0.000 abstract description 8
- 230000003542 behavioural effect Effects 0.000 abstract 1
- 230000036544 posture Effects 0.000 description 21
- 230000000694 effects Effects 0.000 description 6
- 210000000707 wrist Anatomy 0.000 description 5
- 238000011156 evaluation Methods 0.000 description 3
- 230000008901 benefit Effects 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 239000000284 extract Substances 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 230000007246 mechanism Effects 0.000 description 2
- 239000000203 mixture Substances 0.000 description 2
- 238000012545 processing Methods 0.000 description 2
- 238000011160 research Methods 0.000 description 2
- 230000033764 rhythmic process Effects 0.000 description 2
- 238000005070 sampling Methods 0.000 description 2
- 208000024891 symptom Diseases 0.000 description 2
- 201000001880 Sexual dysfunction Diseases 0.000 description 1
- 230000006399 behavior Effects 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 208000030251 communication disease Diseases 0.000 description 1
- 208000028831 congenital heart disease Diseases 0.000 description 1
- 238000011217 control strategy Methods 0.000 description 1
- 230000002950 deficient Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 230000008451 emotion Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 210000003414 extremity Anatomy 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 230000007472 neurodevelopment Effects 0.000 description 1
- 230000008447 perception Effects 0.000 description 1
- 230000035479 physiological effects, processes and functions Effects 0.000 description 1
- 230000035807 sensation Effects 0.000 description 1
- 230000036301 sexual development Effects 0.000 description 1
- 231100000872 sexual dysfunction Toxicity 0.000 description 1
- 230000000392 somatic effect Effects 0.000 description 1
- 230000003238 somatosensory effect Effects 0.000 description 1
- 238000001228 spectrum Methods 0.000 description 1
- 230000004006 stereotypic behavior Effects 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H20/00—ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance
- G16H20/30—ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance relating to physical therapies or activities, e.g. physiotherapy, acupressure or exercising
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/20—Movements or behaviour, e.g. gesture recognition
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H40/00—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices
- G16H40/60—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices for the operation of medical equipment or devices
- G16H40/67—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices for the operation of medical equipment or devices for remote operation
Landscapes
- Engineering & Computer Science (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Primary Health Care (AREA)
- Biomedical Technology (AREA)
- Public Health (AREA)
- Epidemiology (AREA)
- Medical Informatics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- General Physics & Mathematics (AREA)
- Biophysics (AREA)
- Psychiatry (AREA)
- Social Psychology (AREA)
- Human Computer Interaction (AREA)
- Physics & Mathematics (AREA)
- Physical Education & Sports Medicine (AREA)
- Multimedia (AREA)
- Theoretical Computer Science (AREA)
- Life Sciences & Earth Sciences (AREA)
- Business, Economics & Management (AREA)
- General Business, Economics & Management (AREA)
- Rehabilitation Tools (AREA)
Abstract
本发明提供一种孤独症谱系障碍儿童合作能力干预系统及方法，该系统包括桌面客户端，浏览器端和服务器端；训练者首次使用本系统时，通过浏览器端在网站上注册账号，在客户端用账号登录成功后入训练，训练结束后桌面客户端中的数据上传模块将整个训练的得分传送到服务器端，训练者可以在服务器端查询历史训练得分，辅导者可以根据得分制定适合孤独症儿童的计划。本发明适用于多人交互，能准确追踪定位参与训练的儿童同时能高效准确的识别每个儿童肢体动作表达和手势表达。将面对面的合作能力训练形式转化成更容易被孤独症儿童接受的人机交互形式呈现，使得孤独症儿童在虚拟场景中进行合作行为训练，达到培养孤独症儿童的合作意识，提高合作能力。
Description
技术领域
本发明属于生理评测的技术领域，尤其涉及一种孤独症谱系障碍儿童合作能力干预系统及方法。
背景技术
孤独症谱系障碍(Autism Spectrum Disorder，ASD)是一组以社会交往障碍、语言交流障碍、兴趣或活动范围狭窄以及重复刻板行为为主要核心症状的神经发育性障碍，是根据典型孤独症的核心症状进行拓展定义的广泛意义上的孤独症。
合作能力是一种相对复杂的社会功能，与模仿、共同注意和心理理论等社会性能力之间存在紧密联系。孤独症个体却在这些社会性功能上存在核心缺陷。而合作是儿童社会性发展的重要组成部分，因此对孤独症儿童进行合作能力训练具有非常重要的意义。
卡内基梅隆大学人机交互研究所曾发布了一份关于儿童学习方式的研究报告。报告指出基于体感技术的教学和游戏的学习方式是更有效果的，比简单的移动平台游戏更好。使用体感设备训练的儿童在想法上和动作上得到立体化的参与，能够高融合信息感知和构建学习情境，学习效率更高。
对于孤独症儿童的教育康复，应用信息化辅助手段有助于儿童社会沟通、情感表达等各方面能力提升。将体感训练应用到孤独症儿童康复训练中，是孤独症康复教育中的一大创新。目前，体感训练在孤独症教育康复中存在一些问题，比如教育康复类训练资源匮乏，能够应用到孤独症康复训练中的教育训练数量极少，很少有适合孤独症儿童的训练内容，缺乏应用效能评估机制，没有衡量孤独症儿童训练效果的标准，只能孤独症儿童一个人参与训练不能从根本上提高孤独症儿童的社交能力，并且在训练过程中不能够精准的排除他人的干扰。
发明内容
发明目的：为克服上述体感训练中缺少评估机制，不能够让多个孤独症儿童一起参与训练和排除在训练过程中出现他人干扰的问题，本发明提供一种孤独症谱系障碍儿童合作能力干预系统及方法。
技术方案：本发明提供一种孤独症谱系障碍儿童合作能力干预系统，该系统包括桌面客户端，浏览器端和服务器端；
所述桌面客户端包括用户登录模块、数据上传模块、训练内容模块、动作识别模块；所述浏览器端包括注册模块、登录模块、密码找回模块、结果查询模块；
所述注册模块，用于提供训练者首次使用时注册账号；
所述用户登录模块，用于供注册完成的训练者使用账号在桌面客户端登录；
所述训练内容模块，用于为登录成功的训练者提供特定的任务训练，对训练者进行手臂姿势训练，并根据动作识别模块反馈的数据，计算训练得分；
所述动作识别模块，用于采集训练者的训练数据，并转换成训练任务需要的数据格式，反馈给训练内容模块；
所述数据上传模块，用于将训练内容模块计算得到的训练得分传送到服务器端；
所述登录模块，用于训练者在浏览器端使用账号登录；
所述密码找回模块，用于训练者在忘记密码的情况下重新设置密码；
所述结果查询模块，用于供在浏览器端使用登录模块登录成功的训练者查询历史得分。
进一步的，所述动作识别模块包括人体跟踪模块和人体动作识别模块；所述人体跟踪模块用于识别和跟踪人体；所述人体动作识别模块用于在训练过程中识别训练者手臂姿势。
进一步的，所述人体动作识别模块、人体跟踪模块共用Kinect传感器，上述两个模块利用Kinect传感器进行动作捕捉，获取Kinect传感器捕获的深度图像数据和RGB彩色数据。
一种孤独症谱系障碍儿童合作能力干预系统的方法，具体包括如下步骤：
步骤1，训练者在客户端用注册账号登录，进入训练内容模块的训练程序；
步骤2，在当前段训练任务中人体动作识别模块识别训练者的手臂姿势，并进行模板匹配；将匹配到的模板中的手臂姿势设置成可识别的字符串传送给训练内容模块；
步骤3，训练内容模块对上述字符串解析，并对该段训练任务的完成情况打分，记录得分；
步骤4，训练内容模块进行下一段任务训练内容；
步骤5，整段任务结束后桌面客户端显示整段训练过程记录的得分，同时数据上传模块将得分送给服务器端。
进一步的，所述模板匹配采用的是人体动作识别模块中的静态姿势识别算法；利用人体静态姿势识别算法得到的多组手臂姿势特征向量角，并计算均值建立特征向量角模板库；再利用人体静态姿势识别算法得到当前训练者的手臂姿势的特征向量角，将与当前训练者的手臂姿势的特征向量角距离最小的模板作为识别结果。
进一步的，所述人体跟踪模块采用多目标跟踪算法识别和跟踪人体，训练开始前，人体跟踪模块认定视野范围内最近的人体为训练者，采集训练者的身高、肩宽特征，训练时，并进行存储，训练时，人体跟踪模块实时识别与跟踪训练者，把视野范围内的最近的人体的特征与存储的特征匹配，匹配一致的判定为训练者。
有益效果：本发明适用于多人交互，能准确追踪定位参与训练的儿童同时能高效准确的识别每个儿童肢体动作表达和手势表达。将面对面的合作能力训练形式转化成更容易被孤独症儿童接受的人机交互形式呈现，使得孤独症儿童在虚拟场景中进行合作行为训练，达到培养孤独症儿童的合作意识，提高合作能力。
附图说明
图1为本发明的整体系统架构图；
图2为本发明桌面客户端架构图；
图3为本发明的训练者识别跟踪流程图；
图4为本发明的服务端架构图。
具体实施方式
构成本发明的一部分的附图用来提供对本发明的进一步理解，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。
如图1-2所示，本发明提供一种孤独症谱系障碍儿童合作能力干预系统，该系统包括桌面客户端，浏览器端和服务器端；
所述桌面客户端包括用户登录模块、数据上传模块、训练内容模块、动作识别模块；所述浏览器端包括注册模块、登录模块、密码找回模块、结果查询模块；所述注册模块用于提供训练者首次使用时账号注册；所述服务器端包括数据接口模块，业务逻辑模块，数据库操作模块；
所述用户登录模块用于供注册完成的训练者使用账号在客户端登录；
所述训练内容模块用于为登录成功的训练者提供特定的任务训练，对训练者进行手臂姿势训练，并根据动作识别模块反馈的数据，计算训练得分；
所述动作识别模块用于采集训练者的训练数据，并转换成训练任务需要的数据格式，反馈给训练内容模块；
数据上传模块用于将训练内容模块计算得到的训练得分传送到服务器端；
登录模块用于训练者在浏览器端使用账号登录；
所述密码找回模块，用于训练者在忘记密码的情况下重新设置密码；
结果查询模块用于给在浏览器端使用登录模块登录成功的训练者查询历史得分；
所述动作识别模块包括人体跟踪模块和人体动作识别模块；所述人体跟踪模块用于识别和跟踪人体，防止他人干扰训练；所述人体动作识别模块用于在训练过程中识别训练者手臂姿势。
所述人体动作识别模块、人体跟踪模块共用Kinect传感器，上述两个模块利用Kinect传感器进行动作捕捉，获取Kinect传感器捕获的深度图像数据和RGB彩色数据。
本实施例中可以两个训练者一起完成；
本实施例中训练内容模块包含交通指挥训练模块和合作接音符训练模块两个部分，交通指挥训练模块的客户端软件采用Winform+Flash，合作接音符训练模块的客户端软件采用Unity3D作为开发平台；
交通指挥训练任务是一个双人合作的体感游戏，通过两人的合作将不同颜色的汽车配合不同的动作连接，从左边成功运至右边。训练者1和训练者2按照左右相对位置进行区分。训练者1的左手控制一条可上下调节角度的公路，连接左边的三层公路与一层公路，训练者1右手控制一条可上下调节角度的公路，连接一层公路与训练者1右手边的三层公路。训练者2同理；游戏开始时，红色、蓝色或黄色小车随机从上、中、下层道路出发，小车每成功通过训练者指挥的道路时，给该训练者计一分，同时出现正确提示动画和鼓励音效。对于有颜色的路段，小车必须驶上与小车颜色相同的路段才算正确通过。如果小车驶到路段的末端，训练者未能做出正确的交互，遇到无路可走的情况时，小车掉落，整体合作失败，游戏开始下一轮。游戏设计了难度调节，可根据不同的儿童的能力进行选择。可以改变训练者1和训练者2中间的相连接的道路频繁变化和颜色变化；
合作接音符训练任务是音乐类训练游戏，随着背景音乐的节奏，左上角和右上角的音响会有音符掉落，音符掉落的远近位置随机。两名参与训练的儿童分别控制一辆地面上的小车，通过自身的移动控制小车的移动，用车顶的篮筐尽量多的接住掉下来的音符。训练游戏开始前，红色小车和白色小车在路中间排成一条直线，等待训练者进入。先进入游戏活动范围的训练者控制红色小车，后进入的训练者控制白色小车，训练者通过自己在活动范围内的左右移动控制小车的左右行驶。若中途有训练者离开活动范围，则该训练者控制的小车回到起始位置，不影响另一位训练者继续游戏。中途离开活动范围的训练者可以重新进入活动区域，继续当前训练任务。合作接音符训练任务根据背景音乐节奏的快慢，分为三个不同的难度等级，音符掉落频率不同，下落速度不同，快速跑动达成连击的难度不同。为了保障训练任务的趣味性，不同的难度等级有多种不同的背景音乐可以选择；
一种非孤独症谱系障碍儿童合作能力干预的方法，具体包括如下步骤：
游戏开始前，控制者利用多人交互技术取得控制权，所述多人交互技术采用先申请后控制策略，系统识别做出规定手势的控制者，控制者控制系统监管整个训练过程；如果控制者离开Kinect捕捉范围后，控制者的控制权解除，其他用户可以申请控制系统；本实施例中控制为老师；
步骤1，训练者在客户端用注册账号登录，进入训练内容模块的训练程序；
步骤2，人体动作识别模块识别训练者1和训练者2的手臂姿势，并进行模板匹配；将匹配到的模板中的手臂姿势设置成可识别的字符串传送给训练内容模块；
步骤3，训练内容模块对上述字符串解析，并对该段任务的完成情况打分，记录得分；
步骤4，训练内容模块调整下一段任务训练内容；
步骤5，整段任务结束后桌面客户端显示整段训练过程记录的得分，同时数据上传模块将得分送给服务器端。
本实施例中合作能力训练模块的训练内容主要在Flash中，以Flash主动发出指令进行Winform和Flash间通信。游戏开始时，Flash发送“start”给Winform，当Winform接收到“start”时，开始对Kinect数据实时进行处理，当捕捉到训练者1左手水平伸直，Winform给Flash端发送“1-1-2”，三个数字，中间以“-”隔开，第一位数，“1”表示训练者1，“2”表示训练者2；第二位数，“1”表示左手，“2”表示右手；第三位数，“1”表示指向上层道路，“2”表示指向中间的道路，“3”表示指向下层道路。Flash中接收到Winform端的传值后，对传来的字符串按照上述的规则进行解析，并且调整训练场景中下一个任务，整个训练全部结束后，Flash发送“end”给Winform，并且将整段训练过程中记录的得分数据发送给Winform端。Winform端收到“end”后，停止向Flash发送数据，并且解析Flash发来的得分数据，然后将结果上传到服务器。
所述模板匹配采用的是人体动作识别模块中的静态姿势识别算法；利用人体静态姿势识别算法得到的多组手臂姿势特征向量角，并计算均值建立特征向量角模板库；再利用人体静态姿势识别算法得到当前训练者的手臂姿势的特征向量角，将与当前训练者的手臂姿势的特征向量角距离最小的模板作为识别结果。
本实施例中，在处理左边姿态时选取左腕、左肘、左肩、胸部、脊柱五个关节点，处理右边姿态时选取右腕、右肘、右肩、胸部、脊柱五个关节点。利用KinectV2以每秒30帧的采样率采样骨骼数据。
对骨骼数据先进行预处理，利用平均滤波算法对上述五个关节点的坐标进行处理，把连续N个采样值看做一个骨架状态的N次测量值，然后取N次的平均值作为该状态的值，公式如下：
其中：N取6，设置每六次采样取一次平均值，Pix，Piy，Piz表示第i次采集的关节点在X，Y，Z轴上的坐标，i为采样的次数，1≤i≤N，PX，Py，Pz表示N次采集的关节的在X，Y，Z轴上的平均坐标。滤波之后得到的骨架信息作为特征提取的基础；
基于上述得到的骨架信息提取对长度不敏感的角度特征，从而避免距离特征对于不同身高臂长的人差异性。将左右半边分开计算，分别为：左腕到左肘、左肘到左肩、左肩到胸部、胸部到脊柱的向量，右腕到右肘、右肘到右肩、右肩到胸部、胸部到脊柱的向量，具体的静态姿势识别的特征向量角计算公式如下：
其中VI为左腕到左肘的向量，Vj为左肘到左肩的向量VIx是VI在X方向上的坐标值，VIy是Vi在Y方向上的坐标值，VIz是VI在Z方向上的坐标值。Vjx、Vjy、Vjz分别是Vj在X、Y、Z方向上的坐标值。角度0I-J就是人体手肘部的特征向量角值。
本实施例中识别6种静态姿势；分别为：左手向左上方伸直，左手水平伸直，左手向左下方伸直，右手向右上方伸直、右手水平伸直、右手向右下方伸直；每个动作采集30组标准动作数据，提取出30组特征向量角，然后取其均值作为特征向量角模板库；
按照上述特征向量角提取的方法提取当前动作的特征向量角，分别左特征向量角和右特征向量角。把左特征向量角与左特征向量角模板库进行匹配，右特征向量与左特征向量角模板库进行匹配。将与当前动作特征向量角距离最小的模板作为识别结果，距离计算公式，计算公式为：
其中g为模板库中第g个模板，0＜g≤m，m为模板库中模板总个数，dg表示当前动作特征向量角与特征向量角模板库中第g个模板的特征征向量角的距离，n为特征向量角的维度，ak为当前动作特征向量角维度为k的特征向量角，1≤k≤n；bgk(0<g≤m,1≤i≤n)为第g个模板特征向量角维度为k的特征向量角。
如图3所示，在整个训练过程中，所述人体跟踪模块采用多目标跟踪算法识别和跟踪人体，每当有人体进入Kinect视野范围内时，Kinect会为该人体分配一个骨架ID；只要该人体不走出Kinect的视野范围，他的骨架ID保持不变；训练前，距离Kinect最近骨架ID的为训练者；人体跟踪模块记录训练者的身高、肩宽特征，并进行存储，训练时，人体跟踪模块实时跟踪训练者，把视野范围内的最近的人体的特征与存储的的特征匹配，匹配一致的认定为训练者。如果训练者中途离开；人体跟踪模块将距离Kinect最近的人体的骨架ID的身高、肩宽特征与记录的训练者的高、肩宽特征进行匹配，如果匹配一致则认定该人体为训练者，更新骨架ID，让训练者继续训练，不一致则等待离开的训练者加入。
本实施例中Kinect最支持同时获取6个人的骨架信息。
如图4所示的本系统整个服务器架构图，桌面客户端与服务器端之间仅存在数据存取关系，服务器端并不控制的视图展示，而是由桌面客户端自己控制，服务器端仅提供数据接口，在桌面客户端——服务器端的体系中只需用到控制器和模型两个模块，控制器中接收桌面桌面客户端发送的HTTP请求，调用相应的模型，再将模型返回值封装成JSON串返回桌面桌面客户端。浏览器端则是完整的MVC架构，用户请求发送给控制器，控制器依赖请求选择加载哪个模型，并将数据和用户指令传递给模型，模型进行业务逻辑处理以及必要的存储数据的操作，根据业务逻辑选择不同的视图并返回给用户，等待用户的下一步操作。另外需要说明的是，在上述具体实施方式中所描述的各个具体技术特征，在不矛盾的情况下，可以通过任何合适的方式进行组合。为了避免不必要的重复，本发明对各种可能的组合方式不再另行说明。
Claims (6)
1.一种孤独症谱系障碍儿童合作能力干预系统，其特征在于，该系统包括桌面客户端，浏览器端和服务器端；
所述桌面客户端包括用户登录模块、数据上传模块、训练内容模块、动作识别模块；所述浏览器端包括注册模块、登录模块、密码找回模块、结果查询模块；
所述注册模块，用于提供训练者首次使用时注册账号；
所述用户登录模块，用于供注册完成的训练者使用账号在桌面客户端登录；
所述训练内容模块，用于为登录成功的训练者提供特定的任务训练，对训练者进行手臂姿势训练，并根据动作识别模块反馈的数据，计算训练得分；
所述动作识别模块，用于采集训练者的训练数据，并转换成训练任务需要的数据格式，反馈给训练内容模块；
所述数据上传模块，用于将训练内容模块计算得到的训练得分传送到服务器端；
所述登录模块，用于训练者在浏览器端使用注册账号登录；
所述密码找回模块，用于训练者在忘记密码的情况下重新设置密码；
所述结果查询模块，用于供在浏览器端使用登录模块登录成功的训练者查询历史得分。
2.根据权利要求1所述的一种孤独症谱系障碍儿童合作能力干预系统，其特征在于，所述动作识别模块包括人体跟踪模块和人体动作识别模块；所述人体跟踪模块用于识别和跟踪人体；所述人体动作识别模块用于在训练过程中识别训练者手臂姿势。
3.根据权利要求2所述的一种孤独症谱系障碍儿童合作能力干预系统，其特征在于，所述人体动作识别模块、人体跟踪模块共用Kinect传感器，上述两个模块利用Kinect传感器进行动作捕捉，获取Kinect传感器捕获的深度图像数据和RGB彩色数据。
4.根据权利要求3所述的一种孤独症谱系障碍儿童合作能力干预系统的方法，其特征在于，具体包括如下步骤：
步骤1，训练者在客户端用注册账号登录，进入训练内容模块的训练程序；
步骤2，在当前段训练任务中人体动作识别模块识别训练者的手臂姿势，并进行模板匹配；将匹配到的模板中的手臂姿势设置成可识别的字符串传送给训练内容模块；
步骤3，训练内容模块对上述字符串解析，并对该段训练任务的完成情况打分，记录得分；
步骤4，训练内容模块进行下一段任务训练内容；
步骤5，整段任务结束后桌面客户端显示整段训练过程记录的得分，同时数据上传模块将得分送给服务器端。
5.根据权利要求4所述的方法，其特征在于：所述模板匹配采用的是人体动作识别模块中的静态姿势识别算法；利用人体静态姿势识别算法得到的多组手臂姿势特征向量角，并计算均值建立特征向量角模板库；再利用人体静态姿势识别算法得到当前训练者的手臂姿势的特征向量角，将与当前训练者的手臂姿势的特征向量角距离最小的模板作为识别结果。
6.根据权利要求4或5所述的方法，其特征在于：所述人体跟踪模块采用多目标跟踪算法识别和跟踪人体，训练开始前，人体跟踪模块认定视野范围内最近的人体为训练者，采集训练者的身高、肩宽特征，训练时，并进行存储，训练时，人体跟踪模块实时识别与跟踪训练者，把视野范围内的最近的人体的特征与存储的特征匹配，匹配一致的判定为训练者。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201811358435.8A CN109599162A (zh) | 2018-11-15 | 2018-11-15 | 一种孤独症谱系障碍儿童合作能力干预系统及方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201811358435.8A CN109599162A (zh) | 2018-11-15 | 2018-11-15 | 一种孤独症谱系障碍儿童合作能力干预系统及方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN109599162A true CN109599162A (zh) | 2019-04-09 |
Family
ID=65958596
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201811358435.8A Pending CN109599162A (zh) | 2018-11-15 | 2018-11-15 | 一种孤独症谱系障碍儿童合作能力干预系统及方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN109599162A (zh) |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110934599A (zh) * | 2019-12-20 | 2020-03-31 | 东南大学 | 一种自然场景下婴幼儿共同注意评估方法及系统 |
| CN111489808A (zh) * | 2020-04-27 | 2020-08-04 | 成都工业学院 | 一种自闭症谱系障碍儿童康复训练辅助系统 |
| CN112466433A (zh) * | 2019-08-19 | 2021-03-09 | 陈燕惠 | 儿童抽动障碍四阶段chen干预技术 |
| JP7462178B1 (ja) | 2022-09-21 | 2024-04-05 | 株式会社バイオネット研究所 | 動体自動追跡装置、動体自動追跡方法、及び動体自動追跡プログラム |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102184661A (zh) * | 2011-03-17 | 2011-09-14 | 南京大学 | 儿童孤独症语言训练系统及基于物联网的集中训练中心 |
| CN102354349A (zh) * | 2011-10-26 | 2012-02-15 | 华中师范大学 | 提高孤独症儿童社会互动能力的人机互动多模态早期干预系统 |
| CN107180235A (zh) * | 2017-06-01 | 2017-09-19 | 陕西科技大学 | 基于Kinect的人体动作识别算法 |
-
2018
- 2018-11-15 CN CN201811358435.8A patent/CN109599162A/zh active Pending
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102184661A (zh) * | 2011-03-17 | 2011-09-14 | 南京大学 | 儿童孤独症语言训练系统及基于物联网的集中训练中心 |
| CN102354349A (zh) * | 2011-10-26 | 2012-02-15 | 华中师范大学 | 提高孤独症儿童社会互动能力的人机互动多模态早期干预系统 |
| CN107180235A (zh) * | 2017-06-01 | 2017-09-19 | 陕西科技大学 | 基于Kinect的人体动作识别算法 |
Non-Patent Citations (1)
| Title |
|---|
| 李杨韬: "基于手势识别的认知训练系统研制", 《中国硕士学位论文电子期刊 基础科学》 * |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112466433A (zh) * | 2019-08-19 | 2021-03-09 | 陈燕惠 | 儿童抽动障碍四阶段chen干预技术 |
| CN110934599A (zh) * | 2019-12-20 | 2020-03-31 | 东南大学 | 一种自然场景下婴幼儿共同注意评估方法及系统 |
| CN111489808A (zh) * | 2020-04-27 | 2020-08-04 | 成都工业学院 | 一种自闭症谱系障碍儿童康复训练辅助系统 |
| JP7462178B1 (ja) | 2022-09-21 | 2024-04-05 | 株式会社バイオネット研究所 | 動体自動追跡装置、動体自動追跡方法、及び動体自動追跡プログラム |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109599162A (zh) | 一种孤独症谱系障碍儿童合作能力干预系统及方法 | |
| CA3146658A1 (en) | Interactive personal training system | |
| CN106448295A (zh) | 基于捕捉的远程教学系统及其方法 | |
| CN110739040A (zh) | 一种上下肢康复评定训练系统 | |
| CN107670261A (zh) | 一种基于动作捕捉技术的互联网运动辅助系统 | |
| CN111144275A (zh) | 一种基于人脸识别的跑步智能测试系统及方法 | |
| CN113144540A (zh) | 一种智能安全健身指导装置、系统及方法 | |
| CN107293175A (zh) | 一种基于体感技术的机车手信号操作训练方法 | |
| WO2022034771A1 (ja) | プログラム、方法、情報処理装置 | |
| CN109543652A (zh) | 一种智慧滑雪训练器及其训练结果显示方法、云服务器 | |
| TW201121614A (en) | Digital contents based on integration of virtual objects and real image | |
| Tsangouri et al. | An interactive facial-expression training platform for individuals with autism spectrum disorder | |
| Estepa et al. | Development of a Kinect-based exergaming system for motor rehabilitation in neurological disorders | |
| Huang et al. | Miss yoga: a yoga assistant mobile application based on keypoint detection | |
| CN109003139A (zh) | 一种支持智能交互的文化广场系统及方法 | |
| Yang et al. | Research on face recognition sports intelligence training platform based on artificial intelligence | |
| Paithane | Yoga posture detection using machine learning | |
| JP6884306B1 (ja) | システム、方法、情報処理装置 | |
| Wang et al. | [Retracted] Intelligent Somatosensory Interactive Activities Restore Motor Function to Children with Autism | |
| Hou et al. | RETRACTED ARTICLE: An auxiliary training system for swimming in coastal areas based on remote sensing images and virtual simulation technology | |
| Liu et al. | Judgment of Athlete Action Safety in Sports Competition Based on LSTM Recurrent Neural Network Algorithm | |
| CN116271757A (zh) | 一种基于ai技术的篮球练习的辅助系统和方法 | |
| Xue et al. | [Retracted] Internet Football Training Teaching Data Analysis Based on an Embedded Sensor Network | |
| CN215231970U (zh) | 一种智能安全健身指导装置 | |
| Wang | [Retracted] Long Jump Action Recognition Based on Deep Convolutional Neural Network |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20190409 |
|
| RJ01 | Rejection of invention patent application after publication |