CN109846497A - 一种基于视觉的自闭症辅助早筛方法及装置 - Google Patents

一种基于视觉的自闭症辅助早筛方法及装置 Download PDF

Info

Publication number
CN109846497A
CN109846497A CN201910053035.4A CN201910053035A CN109846497A CN 109846497 A CN109846497 A CN 109846497A CN 201910053035 A CN201910053035 A CN 201910053035A CN 109846497 A CN109846497 A CN 109846497A
Authority
CN
China
Prior art keywords
test
tester
language
self
round
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201910053035.4A
Other languages
English (en)
Inventor
刘洪海
刘晶晶
张婉绮
王志永
吉斌
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
CHILDREN''S HOSPITAL OF FUDAN University
Shanghai Jiaotong University
Original Assignee
Shanghai Jiaotong University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shanghai Jiaotong University filed Critical Shanghai Jiaotong University
Priority to CN201910053035.4A priority Critical patent/CN109846497A/zh
Publication of CN109846497A publication Critical patent/CN109846497A/zh
Pending legal-status Critical Current

Links

Landscapes

  • Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)

Abstract

本发明公开了一种基于视觉的自闭症辅助早筛方法，涉及医学诊断工程技术领域，通过使用不同的物体，进行至少两轮以上的语音回应测试，给出受测试者的评价指标。所述语音回应测试包括以下步骤：通过识别测试者的语音指令开始计时，在规定时间内，利用3D摄像头和彩色摄像头，基于物体识别技术和手部追踪技术，获取受测试者手中的测试物体与测试者手部的距离，自动判断受测试者是否对测试者的语音指令作出回应。本发明还公开了一种用于所述早筛方法的自闭症早筛装置，包括桌子、两个凳子、3D摄像头、彩色摄像头、主机和语音识别模块。本发明公开的技术方案基于视觉技术，辅助自闭症的早筛，对自闭症的早期诊断和干预能够起到很好的效果。

Description

一种基于视觉的自闭症辅助早筛方法及装置
技术领域
本发明涉及医学诊断工程技术领域，尤其涉及一种基于视觉的自闭症辅助早筛方法及装置。
背景技术
自闭症是一种广泛性发育障碍的代表性疾病。自闭症患者主要表现为三大类核心症状，即：社会交往障碍、交流障碍、兴趣狭窄和刻板重复的行为方式。尽管自闭症的确切病因未明，目前也没有方法可以完全治愈，但是尽早地发现和治疗，会明显改善症状。
自闭症的早期诊断主要是由专业医生完成的。医生基于相关早筛量表，通过与家长的谈话，了解儿童的发育史，与受试儿童互动并观察其表现，综合地给出诊断结果。
近年来，随着人工智能的快速发展，有越来越多的研究用工程技术的手段对自闭症进行早期诊断。有研究表明，注意力和社交水平的降低，是12个月至24个月的自闭症患者的早期症状。多数工程性研究着重于受测试者的注意力检测、步态分析、不当的行为检测等方面。然而，对语言回应的减少也是自闭症的典型早期标志之一，这方面的机器辅助方法很少见。
因此，本领域的技术人员致力于开发一种基于视觉的自闭症辅助早筛方法及装置，利用视觉摄像头辅助判断受测试者对语言的回应；该方法能利用基于视觉的物体识别技术和手部追踪技术，在一定时间内通过位置坐标计算玩具和手之间的距离来判断受测试者对语言是否有回应，从而辅助自闭症的早筛。
发明内容
有鉴于现有技术的上述缺陷，本发明所要解决的技术问题是如何在一定时间内通过位置坐标计算测试物体和手之间的距离，以此来判断年龄为16-30个月的不会讲话的孩子对语言是否有回应。
为实现上述目的，本发明提供了一种基于视觉的自闭症辅助早筛方法，包括以下步骤：
步骤S1测试者对受测试者进行第一轮语言回应测试，若受测试者作出回应，则直接进入步骤S3；
步骤S2测试者对受测试者进行第二轮语言回应测试；
步骤S3测试者对受测试者进行第三轮语言回应测试，若受测试者作出回应，则直接进入步骤S5；
步骤S4测试者对受测试者进行第四轮语言回应测试；
步骤S5测试结束，并根据评估指标给出测试结果；
其中，所述第一轮语言回应测试、所述第二轮语言回应测试、所述第三轮语言回应测试、所述第四轮语言回应测试均包括如下步骤：
步骤a测试者将测试物体交给受测试者把玩，2-3分钟后进入步骤b；
步骤b测试者向受测试者发出语音指令：让受测试者将手中的测试物体递给测试者；
步骤c在所述语音指令发出后，并开始计时；
步骤d利用3D摄像头和彩色摄像头，通过物体识别技术和手部追踪技术，获取测试物体和测试者的手的坐标，然后计算测试物体与测试者的手之间的距离；
步骤e在测试时间内判断所述距离是否符合要求，得出受测试者在本轮测试中是否针对所述语音指令作出回应的结论。
进一步地，所述测试物体包括至少两个不同的物体。
进一步地，所述第一轮语言回应测试与所述第二轮语言回应测试中使用相同的测试物体，所述第三轮语言回应测试和所述第四轮语言回应测试中使用相同的测试物体；所述第一轮语言回应测试和所述第二轮语言回应测试中使用的测试物体不用于所述第三轮语言回应测试和所述第四轮语言回应测试中使用的测试物体。
进一步地，所述步骤d包括以下步骤：
步骤41基于物体识别技术，通过处理所述3D摄像头的视频流，获取所述测试物体在以所述3D摄像头为原点的世界坐标系中的三维坐标；
步骤42基于手部追踪技术，通过处理所述彩色摄像头的视频流，获取所述测试者的手在以所述彩色摄像头为原点的二维坐标系中的二维坐标；
步骤43将所述测试者的手的二维坐标转换为所述世界坐标系的坐标，然后计算所述测试者的手与所述测试物体之间的距离。
进一步地，所述步骤41包括以下步骤：
物体检测：基于Blob分析的方法，从视频中检测测试中出现的所有物体；
物体识别：对检测到的所有物体进行特征提取，并进行分类；
坐标计算：获得所述测试物体在以3D摄像头为原点的世界坐标系中的三维坐标。
进一步地，所述测试时间为3s。
进一步地，所述距离的要求为5cm，当所述距离小于5cm时，认为所述受测试者作出回应；否则，认为所述受测试者未作出回应。
进一步地，所述测试者与所述受测试者相对而坐。
进一步地，所述测试者在每轮测试结束后，会收到相关信息，获悉本轮测试受测试者的反应情况。
本发明还提供了一种自闭症辅助早筛装置，包括主机，位于实验场地内的桌子、两张凳子、视频处理模块、语音识别模块和测试物体；所述凳子分别位于所述桌子两侧；所述视频处理模块包括分别与所述主机相连的3D摄像头和彩色摄像头，用于记录测试的整个过程；所述3D摄像头固定在所述桌子的正上方，用于检测与识别所述测试物体；所述彩色摄像头固定在所述受测试者坐的所述凳子一侧，用于识别所述测试者和所述受测试者的手部；所述语音识别模块与所述主机通讯，用于识别所述测试者的语音指令；所述测试物体包括至少两个不同的玩具。
进一步地，通过明确所述实验场地的尺寸、所述桌子的尺寸、所述凳子的尺寸、所述3D摄像头的安装位置、所述彩色摄像头的安装位置及固定俯角，分别建立以所述3D摄像头为原点的世界坐标系和以所述彩色摄像头为原点的二维坐标系，通过在主机中处理不同坐标系下的数据及坐标转换，用于计算所述玩具与所述测试者的手之间的距离。
本发明公开的基于视觉的自闭症辅助早筛方法及装置，至少具有以下有益的技术效果：
(1)提供了一种基于视觉从受测试者对语言的回应来辅助自闭症的早筛的新方法。
(2)受测试者是否对语言有回应的判断是通过计算在测试者发出指令后的3秒内玩具和测试者手的距离来实现的。
(3)本方法操作简单、误差小。
以下将结合附图对本发明的构思、具体结构及产生的技术效果作进一步说明，以充分地了解本发明的目的、特征和效果。
附图说明
图1是本发明的一个较佳实施例的测试装置的立体示意图；
图2是本发明的一个较佳实施例的测试装置的正视示意图；
图3是本发明的一个较佳实施例的测试装置的俯视示意图；
图4是本发明的一个较佳实施例的评估指标示意图。
具体实施方式
以下参考说明书附图介绍本发明的一个优选实施例，使其技术内容更加清楚和便于理解。本发明可以通过许多不同形式的实施例来得以体现，本发明的保护范围并非仅限于文中提到的实施例。
在附图中，结构相同的部件以相同数字标号表示，各处结构或功能相似的组件以相似数字标号表示。附图所示的每一组件的尺寸和厚度是任意示出的，本发明并没有限定每个组件的尺寸和厚度。为了使图示更清晰，附图中有些地方适当夸大了部件的厚度。
如图1和图2所示，本实施例中用于基于视觉的自闭症辅助早筛方法的装置包括主机(图中未示出)，位于实验场地内的桌子1、两张凳子2、视频处理模块、语音识别模块(图中未示出)和测试物体(图中未示出)。视频处理模块包括3D摄像头3和彩色摄像头4。
实验场地长为4m，宽为2.5m；放有一张桌子1和两张凳子2，桌子1的长、宽、高各为0.6m、0.6m和0.5m，凳子2的长、宽、高各为0.3m、0.3m和0.28m，两个凳子2分别位于桌子1的两侧，桌子1与凳子2间距0.15m；彩色摄像头4和3D摄像头3被固定在特定的位置，记录实验的整体过程。3D摄像头3在桌子1中心正上方，距离桌子1顶面1m。3D摄像头3选用微软公司生产的kinect。
如图2和图3所示，彩色摄像头4在受测试者坐的凳子2位置一侧，距离两张凳子2中心连线0.93m，与两张凳子2中心连线垂直的桌子1中线的距离为0.75m，距离地面0.93m，俯角为15°，与两张凳子2中心连线夹角为60°。
在本实施例中，通过明确实验场地的尺寸，桌子1和凳子2的尺寸，桌子1和凳子2的摆放位置，3D摄像头3的安装位置以及彩色摄像头4的安装位置，预先建立以3D摄像头3为原点的世界坐标系和以彩色摄像头4为原点的二维坐标系，分别建立两个坐标系之间的转换关系，通过3D摄像头3和彩色摄像头4之间的校准，将上述坐标系及相互之间的转换关系保存在主机(图中未示出)中。值得注意的是，实验场地的尺寸，桌子1和凳子2的尺寸，桌子1和凳子2的摆放位置，3D摄像头3的安装位置以及彩色摄像头4的安装位置等参数并不仅局限于本实施例中的数值，可以根据实际选用的实验场地的尺寸，桌子1和凳子2的尺寸，桌子1和凳子2的摆放位置，3D摄像头3的安装位置以及彩色摄像头4的安装位置等来确定具体数值，目的是为了能保证3D摄像头3和彩色摄像头4能够将测试过程拍摄下来，以便准确识别测试物体和测试者的手；同时也为了能预先建立好坐标体系。
在测试过程中用到的测试物体包括两个玩具，一个紫色的毛绒玩具熊和一个绿色的球。测试物体不仅限于本实施例中的玩具，还可以选用其他易于识别的物体，可以根据受测试者的不同喜好，选用不同的测试物体。需要注意的是，对于每一种测试物体，都要事先在主机中建模和分类，便于视频识别。
主机可以布置在实验场地内，也可以布置在实验场地外。语音识别模块选用麦克风获取语音指令，然后传送给主机，由主机进行识别并记录时间。麦克风可以选用kinect自带的麦克风阵列，也可以选用额外的麦克风。额外的麦克风固定安装在桌子1靠近测试者的一侧，也可以固定在测试者身上。麦克风选用无线麦克风，与主机进行通讯。
在进行自闭症辅助早筛测试时，按照如下步骤进行：
首先引导受测试者坐下，测试者坐在受测试者对面，然后进行第一轮语言回应测试。测试者拿出球，递给受测试者，让受测试者自由地玩球。2-3分钟过后，测试者以正常清晰的语调发出指令：“球给阿姨/叔叔”。如果受测试者对该指令有回应，就不用进入第二轮语言回应测试；否则需要进行第二轮语言回应测试。当受测试者没有回应时，在一分钟内，还可再进行一次第一轮语言回应测试进行确认。如果两次测试都是没有回应，则需要进行第二轮语言回应测试。第二轮语言回应测试与第一轮语言回应测试相同，采用相同的测试物体。不管第一轮语言回应测试受测试者是否有反应，都需要进行第三轮语言回应测试。第三轮语言回应测试与第一轮语言回应测试相似，不同之处，仅在于测试物体改用紫色的毛绒玩具熊。测试者拿出毛绒玩具熊给受测试者，让他自由地玩。2-3分钟过后，测试者以正常清晰的语调发出指令：“熊给阿姨/叔叔”。如果受测试者对这句话有回应，就不用进入第四轮语言回应测试；否则需要进行第四轮语言回应测试。当受测试者没有回应时，在一分钟内，还可再进行一次第三轮语言回应测试进行确认。如果两次测试都是没有回应，则需要进行第四轮语言回应测试。第四轮语言回应测试与第三轮语言回应测试相同，使用相同的测试物体。
每两轮测试之间的时间间隔不得少于3分钟。注意事项：第一轮和第三轮语言回应测试中，测试者在发出指令时不能伸手示意；第二轮和第四轮语言回应测试中，测试者在发出指令时要伸手示意；测试者要在受测试者专注玩的时候发出指令。
在进行测试时，对于受测试者是否作出回应，不由人工作出判断，而是由本实施例中的装置进行自动判断，通过处理3D摄像头3和彩色摄像头4的视频流，基于物体识别技术和手部追踪技术，判断在测试者发出语音指令后的3s内，测试物体与测试者的手之间的距离是否小于5cm。如果小于5cm，则认为受测试者作出回应，否则，认为受测试者未作出回应。语言回应测试的测试原理如下：
通过语音识别技术获取识别测试者发出的语音指令，记录指令发出的时间，主机开始计时；
物体识别技术主要分为物体检测和物体识别两部分。物体检测用基于Blob分析的方法在给定条件(如面积、周长、质心等)下，统计满足要求的连通域，从而检测3D摄像头3拍摄的场景中出现的测试物体，对于检测到的测试物体，该方法以矩形框明确其位置；物体识别对于检测到的测试物体提取梯度直方图特征，并用支持向量机进行分类；
手部追踪技术基于深度学习，以ssd_mobilenet_v1_coco模型为起点，用迁移学习训练模型。用训练好的模型对彩色摄像头4的视频流进行手的追踪；测试者和受测试者的每只手都会以矩形框框出，标示其位置；
通过处理3D摄像头3的视频流，得到玩具位置的三维坐标(xi yi zi)，i＝1表示是玩具球的位置，i＝2表示是玩具熊的位置；
通过处理彩色摄像头4的视频流，得到手的位置的二维坐标(uj yj)，j＝1l、1r、2l、2r，分别表示测试者的左手、测试者的右手、受测试者的左手、受测试者的右手；将人手在彩色摄像头4坐标系下的二维坐标(uj yj)转换到以3D摄像头3为原点的世界坐标系下的三维坐标(xj yj zj)；
物体i与人手j之间的距离di,j可用如下公式计算：
对于第一、二轮测试，i＝1，在主机检测到语音指令后的3s内，若能达到d1,1l＜5cm或d1,1r＜5cm，表示受测试者对语言有回应；
对于第三、四轮测试，i＝2，在主机检测到语音指令后的3s内，若能达到d2,1l＜5cm或d2,1r＜5cm，表示受测试者对语言有回应。
di,j的误差来源主要分为三部分：一是标定3D摄像头3和彩色摄像头4带来的误差；二是物体识别出错带来的误差；三是手部追踪出错带来的误差；其中第一部分误差只有1-2个像素，可以忽略不记；第二、三部分误差可以通过卡尔曼滤波法消除。
如图3所示，显示了本实施例中的测试流程图及每一轮语音回应测试的评价指标。
第一轮语音回应测试中，有回应评分0分；无回应，1分钟内进行第二次语言的回应的测试，有回应评分1分，无回应评分2分；
第二轮语音回应测试中，有回应评分1分；无回应，1分钟内进行第二次语言的回应的测试，有回应评分2分，无回应评分3分；
第三轮语音回应测试中，有回应评分0分；无回应，1分钟内进行第二次语言的回应的测试，有回应评分1分，无回应评分2分；
第四轮语音回应测试中，有回应评分1分；无回应，1分钟内进行第二次语言的回应的测试，有回应评分2分，无回应评分3分；
总分等于每轮分数之和。
以上详细描述了本发明的较佳具体实施例。应当理解，本领域的普通技术无需创造性劳动就可以根据本发明的构思作出诸多修改和变化。因此，凡本技术领域中技术人员依本发明的构思在现有技术的基础上通过逻辑分析、推理或者有限的实验可以得到的技术方案，皆应在由权利要求书所确定的保护范围内。

Claims (10)

1.一种基于视觉的自闭症辅助早筛方法，其特征在于，包括以下步骤：
步骤S1测试者对受测试者进行第一轮语言回应测试，若受测试者作出回应，则直接进入步骤S3；
步骤S2测试者对受测试者进行第二轮语言回应测试；
步骤S3测试者对受测试者进行第三轮语言回应测试，若受测试者作出回应，则直接进入步骤S5；
步骤S4测试者对受测试者进行第四轮语言回应测试；
步骤S5测试结束，并根据评估指标给出测试结果；
其中，所述第一轮语言回应测试、所述第二轮语言回应测试、所述第三轮语言回应测试、所述第四轮语言回应测试均包括如下步骤：
步骤a测试者将测试物体交给受测试者把玩，2-3分钟后进入步骤b；
步骤b测试者向受测试者发出语音指令：让受测试者将手中的测试物体递给测试者；
步骤c在所述语音指令发出后，并开始计时；
步骤d利用3D摄像头和彩色摄像头，通过物体识别技术和手部追踪技术，获取测试物体和测试者的手的坐标，然后计算测试物体与测试者的手之间的距离；
步骤e在测试时间内判断所述距离是否符合要求，得出受测试者在本轮测试中是否针对所述语音指令作出回应的结论。
2.如权利要求1所述的自闭症辅助早筛方法，其特征在于，所述测试物体包括至少两个不同的物体。
3.如权利要求2所述的自闭症辅助早筛方法，其特征在于，所述第一轮语言回应测试与所述第二轮语言回应测试中使用相同的测试物体，所述第三轮语言回应测试和所述第四轮语言回应测试中使用相同的测试物体；所述第一轮语言回应测试和所述第二轮语言回应测试中使用的测试物体不用于所述第三轮语言回应测试和所述第四轮语言回应测试中使用的测试物体。
4.如权利要求1所述的自闭症辅助早筛方法，其特征在于，所述步骤d包括以下步骤：
步骤41基于物体识别技术，通过处理所述3D摄像头的视频流，获取所述测试物体在以所述3D摄像头为原点的世界坐标系中的三维坐标；
步骤42基于手部追踪技术，通过处理所述彩色摄像头的视频流，获取所述测试者的手在以所述彩色摄像头为原点的二维坐标系中的二维坐标；
步骤43将所述测试者的手的二维坐标转换为所述世界坐标系的坐标，然后计算所述测试者的手与所述测试物体之间的距离。
5.如权利要求4所述的自闭症辅助早筛方法，其特征在于，所述步骤41包括以下步骤：
物体检测：基于Blob分析的方法，从视频中检测测试中出现的所有物体；
物体识别：对检测到的所有物体进行特征提取，并进行分类；
坐标计算：获得所述测试物体在以3D摄像头为原点的世界坐标系中的三维坐标。
6.如权利要求1所述的自闭症辅助早筛方法，其特征在于，所述测试时间为3s。
7.如权利要求1所述的自闭症辅助早筛方法，其特征在于，所述距离的要求为5cm，当所述距离小于5cm时，认为所述受测试者作出回应；否则，认为所述受测试者未作出回应。
8.如权利要求1-7任一项所述的自闭症辅助早筛方法，其特征在于，所述测试者与所述受测试者相对而坐。
9.一种用于如权利要求8所述的自闭症辅助早筛方法的自闭症辅助早筛装置，其特征在于，包括主机，位于实验场地内的桌子、两张凳子、视频处理模块、语音识别模块和测试物体；所述凳子分别位于所述桌子两侧；所述视频处理模块包括分别与所述主机相连的3D摄像头和彩色摄像头，用于记录测试的整个过程；所述3D摄像头固定在所述桌子的正上方，用于检测与识别所述测试物体；所述彩色摄像头固定在所述受测试者坐的所述凳子一侧，用于识别所述测试者和所述受测试者的手部；所述语音识别模块与所述主机通讯，用于识别所述测试者的语音指令；所述测试物体包括至少两个不同的玩具。
10.如权利要求9所述的自闭症辅助早筛装置，其特征在于，通过明确所述实验场地的尺寸、所述桌子的尺寸、所述凳子的尺寸、所述3D摄像头的安装位置、所述彩色摄像头的安装位置及固定俯角，分别建立以所述3D摄像头为原点的世界坐标系和以所述彩色摄像头为原点的二维坐标系，通过在主机中处理不同坐标系下的数据及坐标转换，用于计算所述玩具与所述测试者的手之间的距离。
CN201910053035.4A 2019-01-21 2019-01-21 一种基于视觉的自闭症辅助早筛方法及装置 Pending CN109846497A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910053035.4A CN109846497A (zh) 2019-01-21 2019-01-21 一种基于视觉的自闭症辅助早筛方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910053035.4A CN109846497A (zh) 2019-01-21 2019-01-21 一种基于视觉的自闭症辅助早筛方法及装置

Publications (1)

Publication Number Publication Date
CN109846497A true CN109846497A (zh) 2019-06-07

Family

ID=66895339

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910053035.4A Pending CN109846497A (zh) 2019-01-21 2019-01-21 一种基于视觉的自闭症辅助早筛方法及装置

Country Status (1)

Country Link
CN (1) CN109846497A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110364260A (zh) * 2019-07-05 2019-10-22 昆山杜克大学 基于指示性语言范式的孤独症早期评估装置及系统

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20140089399A1 (en) * 2012-09-24 2014-03-27 Anthony L. Chun Determining and communicating user's emotional state
CN104219992B (zh) * 2012-03-21 2017-03-29 国立大学法人浜松医科大学 自闭症诊断辅助系统以及自闭症诊断辅助装置
CN107168525A (zh) * 2017-04-21 2017-09-15 北京师范大学 一种运用精细手势识别装置辅助自闭症儿童配对训练的系统及方法
CN108498068A (zh) * 2018-04-18 2018-09-07 北京中启睿宝教育科技有限公司 一种基于眼动特征的儿童共同注意分析方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104219992B (zh) * 2012-03-21 2017-03-29 国立大学法人浜松医科大学 自闭症诊断辅助系统以及自闭症诊断辅助装置
US20140089399A1 (en) * 2012-09-24 2014-03-27 Anthony L. Chun Determining and communicating user's emotional state
CN107168525A (zh) * 2017-04-21 2017-09-15 北京师范大学 一种运用精细手势识别装置辅助自闭症儿童配对训练的系统及方法
CN108498068A (zh) * 2018-04-18 2018-09-07 北京中启睿宝教育科技有限公司 一种基于眼动特征的儿童共同注意分析方法

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
HAIBIN CAI ET AL: "Sensing-Enhanced Therapy System for Assessing Children With Autism Spectrum Disorders: A Feasibility Study", 《2018 IEEE》 *
PABLO G. ESTEBAN ET AL: "How to Build a Supervised Autonomous System for Robot-Enhanced Therapy for Children with Autism Spectrum Disorder", 《PALADYN, J. BEHAV. ROBOT》 *
WANQI ZHANG ET AL: "Detection for Joint Attention Based on A Multi-sensor Visual System", 《2018 25TH INTERNATIONAL CONFERENCE ON MECHATRONICS AND MACHINE VISION IN PRACTICE (M2VIP)》 *
WENBO LIU ET AL: "Response to Name: A Dataset and A Multimodal Machine Learning Framework towards Autism Study", 《 2017 SEVENTH INTERNATIONAL CONFERENCE ON AFFECTIVE COMPUTING AND INTELLIGENT INTERACTION (ACII)》 *

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110364260A (zh) * 2019-07-05 2019-10-22 昆山杜克大学 基于指示性语言范式的孤独症早期评估装置及系统

Similar Documents

Publication Publication Date Title
CN110363129B (zh) 基于微笑范式和音视频行为分析的孤独症早期筛查系统
CN106095089A (zh) 一种获取感兴趣目标信息的方法
JP6850723B2 (ja) 顔表情識別システム、顔表情識別方法及び顔表情識別プログラム
CN111081371A (zh) 基于虚拟现实的孤独症早期筛查评估系统及方法
CN106060142A (zh) 一种能够检查视力的手机及使用其进行视力检查的方法
CN107080524A (zh) 智能体检一体机
CN110309813A (zh) 一种基于深度学习的人眼状态检测的模型训练方法、检测方法、装置、移动端设备及服务器
CN110135242A (zh) 基于低分辨率红外热成像深度感知的情绪识别装置及方法
CN115586834A (zh) 一种智能心肺复苏培训系统
CN110472582A (zh) 基于眼部识别的3d人脸识别方法、装置和终端
CN109717878A (zh) 一种用于孤独症共同注意诊断范式的检测系统及使用方法
CN109276243A (zh) 脑电心理测试方法及终端设备
CN104535059A (zh) 针对全盲人群的室内定位系统
CN109063643A (zh) 一种用于脸部信息部分隐藏条件下的面部表情痛苦度识别方法
CN109598226A (zh) 基于Kinect彩色及深度信息在线考试作弊判断方法
CN109846497A (zh) 一种基于视觉的自闭症辅助早筛方法及装置
CN111462082A (zh) 一种病灶图片识别装置、方法、设备及可读存储介质
CN111012315A (zh) 一种基于人认知功能的脑健康诊断设备
CN110364260A (zh) 基于指示性语言范式的孤独症早期评估装置及系统
CN109830281A (zh) 一种基于机器视觉的“叫名反应”评估系统及方法
CN105096669A (zh) 利用虚拟技术训练幼儿日常交流能力的方法
CN109634407A (zh) 一种基于多模人机传感信息同步采集与融合的控制方法
US11087157B2 (en) Image detection method and image detection device utilizing dual analysis
CN113269079B (zh) 基于视频层次化比对分析和等级行为范式的儿童孤独症早期评估装置及系统
TWI687904B (zh) 互動式訓練及檢測裝置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
TA01 Transfer of patent application right

Effective date of registration: 20210331

Address after: 200240 No. 800, Dongchuan Road, Shanghai, Minhang District

Applicant after: SHANGHAI JIAO TONG University

Applicant after: CHILDREN''S HOSPITAL OF FUDAN University

Address before: 200240 No. 800, Dongchuan Road, Shanghai, Minhang District

Applicant before: SHANGHAI JIAO TONG University

TA01 Transfer of patent application right
CB03 Change of inventor or designer information

Inventor after: Liu Honghai

Inventor after: Xu Xiu

Inventor after: Xu Qiong

Inventor after: Liu Jingjing

Inventor after: Zhang Wanqi

Inventor after: Wang Zhiyong

Inventor after: Li Huiping

Inventor after: Ji Bin

Inventor before: Liu Honghai

Inventor before: Liu Jingjing

Inventor before: Zhang Wanqi

Inventor before: Wang Zhiyong

Inventor before: Ji Bin

CB03 Change of inventor or designer information