CN112618912B - 一种调节视听时间整合窗系统 - Google Patents

一种调节视听时间整合窗系统 Download PDF

Info

Publication number
CN112618912B
CN112618912B CN202011640303.1A CN202011640303A CN112618912B CN 112618912 B CN112618912 B CN 112618912B CN 202011640303 A CN202011640303 A CN 202011640303A CN 112618912 B CN112618912 B CN 112618912B
Authority
CN
China
Prior art keywords
visual
task
audio
difficulty
integration
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202011640303.1A
Other languages
English (en)
Other versions
CN112618912A (zh
Inventor
陈楚侨
周晗昱
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Institute of Psychology of CAS
Original Assignee
Institute of Psychology of CAS
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Institute of Psychology of CAS filed Critical Institute of Psychology of CAS
Priority to CN202011640303.1A priority Critical patent/CN112618912B/zh
Publication of CN112618912A publication Critical patent/CN112618912A/zh
Application granted granted Critical
Publication of CN112618912B publication Critical patent/CN112618912B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61M—DEVICES FOR INTRODUCING MEDIA INTO, OR ONTO, THE BODY; DEVICES FOR TRANSDUCING BODY MEDIA OR FOR TAKING MEDIA FROM THE BODY; DEVICES FOR PRODUCING OR ENDING SLEEP OR STUPOR
    • A61M21/00—Other devices or methods to cause a change in the state of consciousness; Devices for producing or ending sleep by mechanical, optical, or acoustical means, e.g. for hypnosis
    • A61M21/02—Other devices or methods to cause a change in the state of consciousness; Devices for producing or ending sleep by mechanical, optical, or acoustical means, e.g. for hypnosis for inducing sleep or relaxation, e.g. by direct nerve stimulation, hypnosis, analgesia
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61M—DEVICES FOR INTRODUCING MEDIA INTO, OR ONTO, THE BODY; DEVICES FOR TRANSDUCING BODY MEDIA OR FOR TAKING MEDIA FROM THE BODY; DEVICES FOR PRODUCING OR ENDING SLEEP OR STUPOR
    • A61M21/00—Other devices or methods to cause a change in the state of consciousness; Devices for producing or ending sleep by mechanical, optical, or acoustical means, e.g. for hypnosis
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H20/00—ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance
    • G16H20/70—ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance relating to mental therapies, e.g. psychological therapy or autogenous training
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61M—DEVICES FOR INTRODUCING MEDIA INTO, OR ONTO, THE BODY; DEVICES FOR TRANSDUCING BODY MEDIA OR FOR TAKING MEDIA FROM THE BODY; DEVICES FOR PRODUCING OR ENDING SLEEP OR STUPOR
    • A61M21/00—Other devices or methods to cause a change in the state of consciousness; Devices for producing or ending sleep by mechanical, optical, or acoustical means, e.g. for hypnosis
    • A61M2021/0005—Other devices or methods to cause a change in the state of consciousness; Devices for producing or ending sleep by mechanical, optical, or acoustical means, e.g. for hypnosis by the use of a particular sense, or stimulus
    • A61M2021/0027—Other devices or methods to cause a change in the state of consciousness; Devices for producing or ending sleep by mechanical, optical, or acoustical means, e.g. for hypnosis by the use of a particular sense, or stimulus by the hearing sense
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61M—DEVICES FOR INTRODUCING MEDIA INTO, OR ONTO, THE BODY; DEVICES FOR TRANSDUCING BODY MEDIA OR FOR TAKING MEDIA FROM THE BODY; DEVICES FOR PRODUCING OR ENDING SLEEP OR STUPOR
    • A61M21/00—Other devices or methods to cause a change in the state of consciousness; Devices for producing or ending sleep by mechanical, optical, or acoustical means, e.g. for hypnosis
    • A61M2021/0005—Other devices or methods to cause a change in the state of consciousness; Devices for producing or ending sleep by mechanical, optical, or acoustical means, e.g. for hypnosis by the use of a particular sense, or stimulus
    • A61M2021/0044—Other devices or methods to cause a change in the state of consciousness; Devices for producing or ending sleep by mechanical, optical, or acoustical means, e.g. for hypnosis by the use of a particular sense, or stimulus by the sight sense
    • A61M2021/005—Other devices or methods to cause a change in the state of consciousness; Devices for producing or ending sleep by mechanical, optical, or acoustical means, e.g. for hypnosis by the use of a particular sense, or stimulus by the sight sense images, e.g. video

Landscapes

  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Psychology (AREA)
  • Engineering & Computer Science (AREA)
  • Anesthesiology (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • Physics & Mathematics (AREA)
  • Acoustics & Sound (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Hematology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Animal Behavior & Ethology (AREA)
  • Primary Health Care (AREA)
  • Child & Adolescent Psychology (AREA)
  • Developmental Disabilities (AREA)
  • Hospice & Palliative Care (AREA)
  • Psychiatry (AREA)
  • Social Psychology (AREA)
  • Epidemiology (AREA)
  • Medical Informatics (AREA)
  • Pain & Pain Management (AREA)
  • Electrically Operated Instructional Devices (AREA)
  • Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)

Abstract

本发明公开了一种调节视听时间整合窗系统，确定被试起始任务难度；将起始任务难度下的视觉刺激材料以动画界面方式呈现，并结合与呈现的视觉刺激材料具有多种时间错位间隔的听觉刺激材料对被试开展多试次的视听同步整合任务；被试对每个试次任务作出音画是否一致的判断，并给出被试判断结果是否正确的结果反馈；任务结束后，给出被试视听同步整合结果反馈界面；根据上次视听同步整合结果调整下次任务难度。本发明采用更生动有趣的动画，将视听同步整合方法融入“打地鼠“等动画游戏中，吸引和维持儿童的注意力，采用个性化地选择不同步条件下视听信息错位的时间间隔，从而调整任务的难度，更有效地改善不同群体的视听时间整合能力。

Description

一种调节视听时间整合窗系统
技术领域
本发明涉及感知觉技术领域，具体涉及一种调节视听时间整合窗系统，适用于儿童、青少年等，当然也可以用于成年人群中。
背景技术
视听整合能力对我们的日常生活尤为重要。比如，噪音环境下通过观察唇形变化可以加强人们对语言的理解，视听通道的信息冗余还有利于我们更快更准地探测和定位目标，并能促进情绪识别和社会互动。在整合视听信息时，时间接近性是大脑决定将两个感觉刺激捆绑或者分离的重要线索之一。换言之，只有当一对感觉刺激(如言语声音和唇动图像)呈现的时间差小于某个范围时，我们的大脑才可能把它们觉知为同步的，并将其整合捆绑到一起；这个特定的时间范围被称为“视听时间整合窗”。如果视听时间整合窗过大，就意味着个体视听不同步觉察的敏感性下降，需要更长的时间差才能把视、听信息分离，错误地把不相关的、本该分离的刺激整合到了一起，进而会使我们感知到的客体变得混乱、模糊化和难以预测，损害阅读能力和言语的沟通理解。以往的研究发现，视听整合能力在孤独症、阅读障碍、精神分裂症等神经发育性疾病中均存在显著的缺损。
目前以提高视听时间整合能力为目的、运用于成人的感知觉整合方法，即“调节视听时间整合窗的方法”，主要包括单感觉通道时序判断和视听双通道同步性判断两种。
(1)单感觉通道时序整合方法：在每个试次中，给被试一先一后呈现两个视觉刺激(如一个光圈在屏幕左侧，另一个在屏幕右侧)，被试需要按键判断这两个视觉刺激谁先出现。根据被试每次的反应，逐次提供判断正确与否的反馈。通过反馈学习提高被试的时序判断能力。(听觉时序判断方法的原理同视觉通道)有研究发现，单通道时序判断能力的提升，可以有迁移效应，即进一步带来视听时间整合能力的改善，但其效果不及视听双通道同步判断方法。
(2)视听(双通道)同步性整合方法：在执行任务过程中，给被试呈现一对视觉和听觉刺激(一个光圈，一个纯音刺激)，这两个刺激在呈现的时间上可能是同时的，也可能存在一定的时间间隔。被试需要判断这对视听刺激是否是同时呈现的。但是在儿童青少年群体中应用，存在如下缺陷：
成年人群体中采用的调节视听时间整合窗的方法，任务难度大多是固定的，即“一刀切”模式，所有参与者采用相同的视听时间错位程度。但是，在临床群体中，视听时间整合窗往往异常增大，一开始就采用高难度(视听错位程度很小的判断条件)可能会导致效果大打折扣，也会给参与的孩子带来挫折感。
另外，成年人群体中绝大多数采用的刺激材料为简单、无意义的视听刺激(如光圈和纯音)。一项元分析指出，相比采用简单无意义的刺激，当刺激材料涉及言语信息时，视听整合能力与孤独症临床症状的相关关系更强。目前在成年人群体中采用的调节视听时间整合窗的方法，形式单调枯燥，即不断重复地在屏幕上出现无意义的视听刺激，需要被试按键判断同时与否。此种形式在儿童青少年群体中的适用性不强，无法吸引并维持他们的注意和兴趣。
由此可见，以往的视听整合形式枯燥，无法很好地吸引儿童青少年的注意，且采用的刺激材料又多为无意义的简单视听刺激(如几何图形、纯音刺激)，效果是否能迁移到其他任务及更高级的认知领域存在争议。
发明内容
为了解决现有枯燥单一成年版视听同步整合任务对儿童或青少年开展视听整合效果差的技术问题，实现儿童青少年视听时间整合能力的提高，为此，本发明提供了一种适于儿童青少年群体的调节视听时间整合窗的方法。
本发明采用如下技术方案：
确定被试起始执行的视听同步整合任务难度，并生成相应难度的视听同步整合任务；将起始任务难度下的视觉刺激材料以动画界面方式呈现，并结合与呈现的视觉刺激材料具有多种时间错位间隔的听觉刺激材料对被试开展多试次的视听同步整合；被试对每个试次任务作出音画是否同步的判断，并给出被试判断结果是否正确的结果反馈；所有试次任务结束后，给出被试视听同步整合结果反馈界面；根据上次视听同步整合结果调整下次执行任务难度。
进一步地，所述的视觉刺激材料以“打地鼠”游戏呈现，并采用趣味的言语作为听觉刺激材料；被试通过按键判断视听同步整合任务中的音画是否同步，根据被试的判断结果，给出判断正确时的正性音频反馈或判断错误时的负性音频反馈。
视听同步整合任务难度包括高、中、低三种任务难度：
高难度条件下的视觉与听觉信息时间错位范围SOA为±300ms，±200ms，±100ms；
中难度条件下的视觉与听觉信息时间错位范围SOA为±400ms，±300ms，±200ms；
低难度条件下的视觉与听觉信息时间错位范围SOA为±500ms，±400ms，±300ms。
所述的根据上次视听同步整合结果调整下次执行任务难度，其具体方法是：被试在执行同一难度任务时，若在设定的连续天数之内，在视觉与听觉信息时间错位范围SOA最大条件下所得判断正确率都超过设定的阈值，则提高下次执行任务的难度。
视听同步整合任务中的视听刺激材料不同步的任务与视听刺激材料同步的任务呈任意组合。
优选地，视听刺激材料不同步的任务试次与视听刺激材料同步的任务试次呈1:1配置。
同一难度任务中，视听刺激材料同步试次为12-60次，视听刺激材料不同步试次中的各时间错位条件下的任务试次保持一致。
执行任务结束后，为被试提供完成本次任务的视听同步整合反馈结果包括：总体准确率、在各个SOA条件下的判断准确率和反应速度。
确定被试起始执行的视听同步整合任务难度的方法是：对被试进行视听同步整合任务前测，根据前测结果确定起始执行任务的难度。
本发明技术方案具有如下优点：
A.本发明提供一种适用于健康和临床儿童青少年的调节视听时间整合窗系统，采用更生动有趣的动画，将视听同步整合任务融入“打地鼠“等动画游戏中，以更好地吸引和维持儿童的注意力。同时，该方法可以根据参与者在执行过程中的表现，个性化地选择不同步条件下视听信息错位的时间间隔，从而调整的难度，进而更有效地改善不同群体的视听时间整合能力。
B.本发明中的执行任务难度是根据被试的表现进行实时调整，即当被试在较低一级任务难度的成绩较好(正确率连续两天>＝70％)时，通过反馈整合结果确定是否将下次任务难度进行升级，升级至更高的难度，从而使得任务难度与被试的整合能力相匹配，以达到最优的整合效果。
C.本发明为提高儿童青少年的视听时间整合能力，开发设计出的“儿童版调节视听时间整合窗系统”，参与者通过观看动画版的言语视频，判断视觉言语刺激(唇形运动)和听觉言语刺激(趣味言语声音)是否在时间上同步出现，根据参与者的反应给出即时的反馈，旨在通过反馈学习提高参与者觉察视听信息时间错位的敏感度，并有望进一步提高其言语沟通能力。
D.本发明中所提供的执行任务难度可以根据参与者执行过程中的视听时间整合能力结果进行实时的调整，所有试次任务结束后会提供整合结果报告，且所设定的整合任务简单可行(仅需观看视频，按键反应即可；每次执行任务时长20-30分钟)，可运用于健康的儿童青少年，也可运用于言语沟通能力存在障碍的各类临床患者群体(例如，高功能孤独症、精神分裂症等)。
附图说明
为了更清楚地说明本发明具体实施方式，下面将对具体实施方式中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施方式，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明所提供的调节视听时间整合窗方法流程图；
图2为本发明所提供的“打地鼠”视听同步整合界面图示；
图3为本发明所提供的反馈式视听同步整合的反馈界面。
具体实施方式
下面将结合附图对本发明的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
如图1所示，本发明提供了一种调节视听时间整合窗系统，具体如下：
确定被试起始任务难度；将起始任务难度下的视觉刺激材料以动画界面方式呈现，并结合与呈现的视觉刺激材料具有多种时间错位间隔的听觉刺激材料对被试开展多试次试验；被试对每个试次任务作出音画是否一致的判断，并给出被试判断结果是否正确的结果反馈；任务结束后，给出被试视听同步整合结果反馈界面；根据上次视听同步整合结果调整下次任务的难度。这里优选的视觉刺激材料以“打地鼠”游戏呈现，并采用趣味性生活言语作为听觉刺激材料，吸引儿童高效完成任务。
本发明中视听同步整合任务难度优选包括高、中、低三种任务难度：
高难度条件下的视觉与听觉信息时间错位范围SOA为±300ms，±200ms，±100ms；
中难度条件下的视觉与听觉信息时间错位范围SOA为±400ms，±300ms，±200ms；
低难度条件下的视觉与听觉信息时间错位范围SOA为±500ms，±400ms，±300ms。
上述的视听刺激材料不同步的任务与视听刺激材料同步(SOA＝0)的任务采用任意组合。视听刺激材料不同步的任务试次与视听刺激材料同步的任务试次优选呈1:1配置。
当然还可以进一步细分更多种难度条件的视听同步整合任务，比如多于3种难度条件的情况。也可以通过调整SOA值，设定高于±500ms的视觉与听觉信息时间错位范围，比如设定SOA为±600ms、±700ms或更高。也可以设定更高难度条件的SOA值，比如设定小于±100ms的SOA值，本发明不局限于上述权利要求书中所限定的SOA值，可以根据儿童的情况进行设定，比如对于低功能孤独症儿童，SOA等于500ms时，依然很难判断出视听不同步时，则可以设定更大的SOA范围，比如SOA为±800ms等，具体不再赘述。本发明中所设定的SOA＝500ms是考虑大多数功能较好的儿童，此种情况下很容易判断出视听不同步。
所有试次任务结束后，系统会为被试提供视听同步整合结果反馈界面。这里反馈内容如图3所示，优选包括总体准确率、在各个SOA条件下的判断准确率和反应速度。
根据上次视听同步整合结果调整下次待执行任务的难度，并生成相应难度的视听同步整合任务。具体的调节视听同步整合任务难度的方法是：被试在执行同一难度的任务时，若在设定的连续天数之内(比如两天)，每天在视觉与听觉信息时间错位范围SOA最大条件下所得判断正确率都超过设定的阈值，则提高下次执行视听同步整合任务的难度，否则，被试维持当前难度。
所有被试起始任务难度均设置为“低难度”，比如在低难度条件下，若被试连续两天在视听错位最大的条件下(500或-500ms)判断正确率不低于70％，则任务难度升高一级(即升高至中等难度)。随后，若又连续两天SOA＝400或-400ms的条件下的判断正确率连续两天不低于70％，则升至最高难度，并维持至结束。
在执行过程中，本发明中的任务难度是根据被试的表现进行实时调整，当被试在较低一级任务难度的成绩较好(正确率连续两天>＝70％)时，升级至更高的难度，从而使得任务的难度与被试的视听时间窗整合能力相匹配，以达到最优的整合效果。
本发明在对被试执行初始任务之前，可以直接采用低难度条件下的视觉与听觉信息时间错位范围SOA，当然还可以选取其它难度的任务进行。为了确切了解被试的视听时间整合能力，优选对被试进行更简单的刺激类型(如闪光和纯音，发音节的短视频)，也可以为同步性判断任务，但是实验过程中可以不给出“正确或者错误”的反馈。在充分获知被试视听整合功能后再选取与其自身相适应的任务难度，在执行任务过程中，本发明可以根据判断正确率调整任务难度，匹配被试自身视听整合能力，更贴合被试真实情况，使视听同步整合效果更准确、有效。
由于需要较高的难度条件才能有效提高成绩，测查的视觉、听觉信息时间错位范围(stimulus onset asynchrony,SOA)是根据被试在前一任务的行为(判断正确率的高低)表现得到的。为了避免反应倾向(response bias)，执行任务过程中视听刺激同步(SOA＝0；60试次)和不同步(SOA不为0)的六种条件，每种条件(重复10试次)各占一半。
同一难度的任务中，视听刺激材料同步试次优选为12-60次，视听刺激材料不同步试次中的各时间错位条件下的任务试次相等，总的不同步任务试次与同步任务试次优选相等；当然，不同步的各时间错位条件呈现次数可以不同，如为了提高难度，难度高的条件(SOA小的条件)呈现次数可以更多一些，这里不再赘述。
采用上述设定任务难度等级时，也可以依据儿童的智力及配合度等因素进行匹配试次数量，对于配合度不高的孩子，可以适当减少执行任务次数。即根据被试视听时间整合能力的实际情况，可以实时地动态调整任务的难度和次数。
本发明中被试通过按键判断任务中的音画是否一致，根据被试的判断结果，给出判断正确时的正性音频反馈或判断错误时的负性音频反馈。考虑到临床患者的持续注意能力有限，需要提高任务的趣味性。根据最新的一项元分析研究发现，视听整合能力的缺损与孤独症相关症状呈现显著的正相关关系；且相比简单的非言语视听信息，当视听刺激涉及言语信息时，感觉整合能力和症状的相关关系更强。结合此结论，为了使干预有更好的迁移效应，在任务中采用富有趣味性的动画言语视频。
如图1所示，首先通过简单的视听刺激类型判断孩子的视听同步整合能力的大小。通过设定SOA值后再让孩子执行任务。
如图2所示，借用打地鼠小游戏，将人类说话的动态面孔镶嵌入小动物的外形轮廓中。在每个试次任务中，一只小地鼠从地下钻出来，镶嵌的人物说一句话(如：“快来打我呀”或“我在这里呀”)。通过操控，使得这段说话的小视频是音画同步或者音画错位的。受试者需要做的是按键判断音画是否同步来打掉小地鼠(同步-Y键；不同步-N键)。只有当判断正确时，小地鼠才能被成功打掉，此时会伴有一个正性反馈(小地鼠被打入地洞，同时伴有“答对了，你真棒”的音频)。当判断错误时，小地鼠就未被打掉，此时会伴有一个负性反馈(小地鼠一直停留在地面上，同时出现“打错了，真遗憾”的音频)。每次持续时间为20-30分钟，当然还可以采用其他趣味动物游戏，并匹配趣味性的音频，这里不再赘述。
所有试次任务结束后，会给参与者提供一个反馈界面，如图3所示，包括本次所有试次任务的总体准确率、在各个SOA条件下的判断准确率和反应速度等，可以直观且即时地给参与者提供本次任务表现的反馈。同时，这些结果也会保存在excel文档中，以供实验主试者对参与者视听时间整合能力的变化有一个实时的追踪。
本发明所提供的整合方法通过趣味游戏作为任务任务内容，通过内嵌计算机中，作为家庭作业在参与者家中完成。任务每天执行一次，每次20-30分钟，可以根据实际情况调整次数。在所有任务执行前和执行结束后，参与者可以进行视听时间整合能力和言语能力的神经心理测评，从而考察整合的效果。
本发明所提供的方法还可以通过系统实现，比如调节视听时间整合窗系统包括显示屏、存储器和处理器等，存储器中存储视听同步整合任务数据库，通过显示屏进行选择对应难度的整合任务，处理器对被试执行各试次整合任务所作出的视听同步判断进行分析，得出整合反馈结果，并通过显示屏反馈给被试，根据反馈结果，处理器对存储器中的视听同步整合任务数据库进行不同难度条件下任务的自动调取，达到反馈式逐步提升被试视听整合能力的目的，改善被试各方面的能力。
显然，上述实施例仅仅是为清楚地说明所作的举例，而并非对实施方式的限定。对于所属领域的普通技术人员来说，在上述说明的基础上还可以做出其它不同形式的变化或变动。这里无需也无法对所有的实施方式予以穷举。而由此所引伸出的显而易见的变化或变动仍处于本发明的保护范围之中。

Claims (7)

1.一种调节视听时间整合窗系统，其特征在于，包括显示屏、存储器和处理器，存储器中存储视听同步整合任务数据库，通过显示屏进行选择对应难度的整合任务，确定被试起始执行的视听同步整合任务难度，并生成相应难度的视听同步整合任务；将起始任务难度下的视觉刺激材料以动画界面方式呈现，并结合与呈现的视觉刺激材料具有多种时间错位间隔的听觉刺激材料对被试开展多试次的视听同步整合；被试对每个试次任务作出音画是否同步的判断，处理器对被试执行各试次整合任务所作出的视听同步判断进行分析，并在每个试次被试判断后都给出判断结果是否正确的结果反馈，得出反馈结果，通过显示屏反馈给被试，采用逐试次反馈的方式促进被试的反馈学习；在所有试次任务结束后，显示器还会给出被试视听同步整合整体任务结果的反馈界面；根据反馈结果，处理器对存储器中的视听同步整合任务数据库进行不同难度条件下任务的自动调取，根据上次视听同步整合结果调整下次执行任务难度，达到反馈式逐步提升被试视听整合能力的目的，改善被试各方面的能力；
视听同步整合任务难度包括高、中、低三种任务难度：
高难度条件下的视觉与听觉信息时间错位范围SOA为±300ms，±200ms，±100ms；
中难度条件下的视觉与听觉信息时间错位范围SOA为±400ms，±300ms，±200ms；
低难度条件下的视觉与听觉信息时间错位范围SOA为±500ms，±400ms，±300ms；
所述的根据上次视听同步整合结果调整下次执行任务难度，其具体方法是：被试在执行同一难度任务时，若在设定的连续天数之内，在视觉与听觉信息时间错位范围SOA最大条件下所得判断正确率都超过设定的阈值，则提高下次执行任务的难度。
2.根据权利要求1所述的调节视听时间整合窗系统，其特征在于，所述的视觉刺激材料以“打地鼠”游戏呈现，并采用趣味的言语作为听觉刺激材料；被试通过按键判断视听同步整合任务中的音画是否同步，根据被试的判断结果，给出判断正确时的正性音频反馈或判断错误时的负性音频反馈。
3.根据权利要求1所述的调节视听时间整合窗系统，其特征在于，
视听同步整合任务中的视听刺激材料不同步的任务与视听刺激材料同步的任务呈任意组合。
4.根据权利要求3所述的调节视听时间整合窗系统，其特征在于，视听刺激材料不同步的任务试次与视听刺激材料同步的任务试次呈1:1配置。
5.根据权利要求4所述的调节视听时间整合窗系统，其特征在于，同一难度任务中，视听刺激材料同步试次为12-60次，视听刺激材料不同步试次中的各时间错位条件下的任务试次保持一致。
6.根据权利要求1所述的调节视听时间整合窗系统，其特征在于，执行任务结束后，为被试提供完成本次任务的视听同步整合反馈结果包括：总体准确率、在各个SOA条件下的判断准确率和反应速度。
7.根据权利要求1-6任一项所述的调节视听时间整合窗系统，其特征在于，确定被试起始执行的视听同步整合任务难度的方法是：对被试进行视听同步整合任务前测，根据前测结果确定起始执行任务的难度。
CN202011640303.1A 2020-12-31 2020-12-31 一种调节视听时间整合窗系统 Active CN112618912B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011640303.1A CN112618912B (zh) 2020-12-31 2020-12-31 一种调节视听时间整合窗系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011640303.1A CN112618912B (zh) 2020-12-31 2020-12-31 一种调节视听时间整合窗系统

Publications (2)

Publication Number Publication Date
CN112618912A CN112618912A (zh) 2021-04-09
CN112618912B true CN112618912B (zh) 2023-09-26

Family

ID=75290515

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011640303.1A Active CN112618912B (zh) 2020-12-31 2020-12-31 一种调节视听时间整合窗系统

Country Status (1)

Country Link
CN (1) CN112618912B (zh)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106390391A (zh) * 2016-09-06 2017-02-15 常州大学 振动触感反馈多动症康复训练系统
CN106569604A (zh) * 2016-11-04 2017-04-19 天津大学 视听双模态语义匹配和语义失配协同刺激脑机接口范式
CN107833611A (zh) * 2017-11-06 2018-03-23 广州优涵信息技术有限公司 一种基于虚拟现实的自闭症康复训练方法
CN110675923A (zh) * 2019-10-08 2020-01-10 中国科学院心理研究所 一种基于便携式眼动仪的视听整合方法
CN112017750A (zh) * 2020-08-28 2020-12-01 中国科学院宁波材料技术与工程研究所慈溪生物医学工程研究所 康复运动的自适应训练方法、装置、介质及康复机器人

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20120094263A1 (en) * 2010-10-19 2012-04-19 The Regents Of The University Of California Video games for training sensory and perceptual skills

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106390391A (zh) * 2016-09-06 2017-02-15 常州大学 振动触感反馈多动症康复训练系统
CN106569604A (zh) * 2016-11-04 2017-04-19 天津大学 视听双模态语义匹配和语义失配协同刺激脑机接口范式
CN107833611A (zh) * 2017-11-06 2018-03-23 广州优涵信息技术有限公司 一种基于虚拟现实的自闭症康复训练方法
CN110675923A (zh) * 2019-10-08 2020-01-10 中国科学院心理研究所 一种基于便携式眼动仪的视听整合方法
CN112017750A (zh) * 2020-08-28 2020-12-01 中国科学院宁波材料技术与工程研究所慈溪生物医学工程研究所 康复运动的自适应训练方法、装置、介质及康复机器人

Also Published As

Publication number Publication date
CN112618912A (zh) 2021-04-09

Similar Documents

Publication Publication Date Title
Lavelli et al. Interdyad differences in early mother–infant face-to-face communication: Real-time dynamics and developmental pathways.
Bertelson et al. The psychology of multimodal perception
Vatakis et al. Facilitation of multisensory integration by the “unity effect” reveals that speech is special
Deroy et al. Multisensory constraints on awareness
EP3605421A1 (en) Communication analysis device, measurement/feedback device used therefor, and interaction device
US11944453B2 (en) Clinical fitting assistance using software analysis of stimuli
KR102104202B1 (ko) 가상 현실을 사용한 인지행동치료 장치
Evans et al. Auditory-visual cross-modal perception of communicative stimuli in tufted capuchin monkeys (Cebus apella).
Freud et al. Speech rate adjustment of adults during conversation
Berdasco-Muñoz et al. Visual scanning of a talking face in preterm and full-term infants.
Lewis et al. Looking behavior and audiovisual speech understanding in children with normal hearing and children with mild bilateral or unilateral hearing loss
CN112618912B (zh) 一种调节视听时间整合窗系统
CN110675923B (zh) 一种基于便携式眼动仪的视听整合方法
Thomas et al. Meaningful sounds enhance visual sensitivity to human gait regardless of synchrony
Vatakis The role of stimulus properties and cognitive processes in the quality of the multisensory perception of synchrony
Turjman On the role of mirror neurons in the sense of self
Bruce et al. Multisensory integration and maternal sensitivity are related to each other and predictive of expressive vocabulary in 24-month-olds
WO2022065446A1 (ja) 感情判定装置、感情判定方法及び感情判定プログラム
Prince et al. Taking synchrony seriously: A perceptual-level model of infant synchrony detection
Ochs et al. From emotions to interpersonal stances: Multi-level analysis of smiling virtual characters
Chen An investigation of Laughter and Crying: from behavioural, physiological and neuroimaging studies
Song Effect of sound in videos on gaze: contribution to audio-visual saliency modelling
Keough The role of prior experience in the integration of aerotactile speech information
Perception Modulating subjective timing through looming and receding biological motion
Dorn et al. A cross‐linguistic study of multisensory perceptual narrowing in German and Swedish infants during the first year of life

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant