CN110675923B - 一种基于便携式眼动仪的视听整合方法 - Google Patents

Abstract

本发明公开了一种基于便携式眼动仪的视听整合方法，录制几段带有视听资料的短视频，每段短视频中设置并排两个显示画面，其中一个画面与声音同步，另一个画面与声音存在时间错位；受试者通过观看短视频，寻找同步的视频并予以关注；观看完所录制的几段短视频后，受试者面向计算机屏幕进行口头描述所观看的视频内容；通过眼动仪实时记录受试者的眼动轨迹，并通过计算机保存受试者口头报告的视频数据；根据受试者的眼动轨迹和口头报告视频数据，生成视听整合评价结果。本发明通过几分钟的简短视频实验，可以比较全面地展示受试者根据时间线索对视听信息进行整合的能力，且实验操作简单可行，可运用于学龄儿童‑老年人等各个年龄段的健康人群，刻画视听整合能力的发展和变化轨迹。

Description

一种基于便携式眼动仪的视听整合方法

技术领域

本发明涉及视听整合技术领域，具体涉及一种基于便携式眼动仪的视听整 合方法。

背景技术

视听整合能力对我们的日常生活尤为重要。比如，噪音环境下通过观 察唇形变化可以加强人们对语言的理解，视听通道的信息冗余还有利于我 们更快更准地探测和定位目标，并能促进情绪识别和社会互动。在整合视 听信息时，时间接近性是大脑决定将两个感觉刺激捆绑或者分离的重要线 索之一。换言之，只有当一对感觉刺激(如言语声音和唇动图像)呈现的 时间差小于某个范围时，我们的大脑才可能把它们觉知为同步的，并将其整合捆绑到一起；这个特定的时间范围被称为“视听时间整合窗”。如果 视听时间整合窗过大，就意味着个体视听不同步觉察的敏感性下降，需要 更长的时间差才能把视、听信息分离，错误地把不相关的、本该分离的刺 激整合到了一起，进而会使我们感知到的客体变得混乱、模糊化和难以预 测，损害阅读能力和言语的沟通理解。以往的研究发现，视听整合能力在 孤独症、阅读障碍、精神分裂症等神经发育性疾病中均存在显著的缺损。

目前，探测个体视听时间整合窗的方法主要有以下5种：

(1)视听同步性判断任务：采用恒定刺激法，向受试者呈现一对“有 一定程度时间错位的视觉刺激和听觉刺激”(比如一个闪光和一个纯音、 发出一个音节的嘴型和对应的语音)，受试者需要按键判断刚刚呈现的这 对视听刺激是否是同时呈现的(同时vs不同时)。根据被试的反应，拟合 出心理物理曲线，找到“受试者有较高概率报告视听刺激同时呈现的时间 窗口”即为时间整合窗；

(2)声音诱发闪光错觉任务：向受试者呈现一个闪光刺激，搭配两个 声音刺激(其中一个声音刺激与闪光刺激同时呈现，另一个声音滞后于闪 光刺激)，受试者报告看到了几个闪光刺激。研究发现，受到声音刺激的 影响，受试者会产生闪光错觉，报告看到了两次闪光。实验中通过操纵第 二个声音刺激滞后于闪光刺激的时间，找到在多大的时间窗口内，受试者 会产生闪光错觉，即为视听时间整合窗；

(3)McGurk任务的变式：向受试者呈现一个短视频：视觉发音“ga” 的影像搭配听觉“ba”的语音，受试者会产生视听融合，觉知为“da”， 即为McGurk效应。实验中通过操纵视听信息的错位时间，找到在多大的时 间窗口内，受试者会产生McGurk效应，即为视听时间整合窗；

(4)习惯化范式：该任务主要运用于婴幼儿群体，先反复给受试者呈 现视听信息同步的影像材料，使其对该刺激习惯化，然后呈现视听不同步 的新异视频，考察婴幼儿是否能觉察出视听刺激的时间错位，进而表现出 对该新异刺激的兴趣(即注视时间延长)；

(5)视听同步性偏好任务：该任务适用于婴幼儿群体，向受试者呈现 两个并排的视频画面，其中一个视听信息同步，另一个是听信息存在一定 程度的时间错位，考察婴幼儿是否能明显表现出对视听同步刺激的偏好。

针对现有的考察视听时间整合窗的方法，其不足之处如下：

(1)上述的前三个范式(视听同步性判断任务、声音诱发闪光错觉任 务以及McGurk变式任务)适用于儿童青少年及成年人，但是采用的刺激材 料为无意义的闪光和纯音刺激，或者简单的音节视频，生态效度不高，而 日常生活中交流互动的言语刺激往往会复杂很多。因此，这些实验得出的 结论无法很好地推广到实验室以外的现实情境中去，且无法很好地反映视 听时间整合窗与更高级的言语沟通、社交功能的联系。

(2)习惯化范式主要适用于婴幼儿群体，很好地克服了年龄较小的群 体无法口头报告的缺陷，但是其实验时间很长(需要较长的时间使受试者 对重复出现的同步视频习惯化)。采用人工编码的方式记录受试者对新异 不同步视频的注视时间，准确性不高，耗时耗力。另外，也无法检测受试 者注视视频时的注视模式和眼动轨迹，无法进一步深入考察视听不同步信 息觉察背后的机制。

(3)视听同步性偏好任务适用于婴幼儿群体，其内在假设在于婴幼儿 若能觉察出视听信息的错位，会对“日常生活中常见的”视听同步性视频 表现出注视偏好，很好地克服了年龄较小的群体无法口头报告的缺陷。也 有相关的实验结合眼动仪，记录婴儿实验过程中的眼动轨迹。但是，该任 务的刺激材料相对简单，无法吸引年龄更大的受试者的兴趣，不适用于年 龄更大的群体。更重要的是，该实验中“不同步视频的视听信息具体错位 时间”是提前确定的，无法根据受试者的特征(如年龄、健康状况等)进 行调整。

发明内容

本发明的目的在于解决上述背景技术中存在的不足，旨在通过简易可 行且生态效度高的眼动测查工具，系统地考察健康及临床群体的视听整合 能力，有利于进一步探讨视听整合能力与更高级的言语、社交功能的关系， 为后期可能的临床干预提供指导。为此，本发明提供了一种基于便携式眼 动仪的视听整合方法。

为解决上述技术问题，本发明采用如下技术方案：

一种基于便携式眼动仪的视听整合方法，所述视听整合方法包括：录 制几段带有视听资料的短视频，每段短视频中设置并排两个显示画面，其 中一个画面与声音同步，另一个画面与声音存在时间错位；受试者通过观 看短视频，寻找同步的视频并予以关注；观看完所录制的几段短视频后， 受试者面向计算机屏幕进行口头描述所观看的视频内容；通过眼动仪实时 记录受试者的眼动轨迹，并通过计算机保存受试者口头报告的视频数据；根据受试者的眼动轨迹和口头报告视频数据，生成视听整合评价结果。

录制四段短视频，每段短视频中视频的播放速度为25帧/秒，每段短 视频的播放时间为1min。

所录制的四段短视频中包括：其中两段短视频满足听觉刺激领先视觉 刺激的条件，另外两段短视频为满足视觉刺激领先听觉刺激的条件。

每段短视频被截成多个以句子为单位的小段视频，由一个小段视频向 另一个小段视频切换时设置闪屏，闪屏后重新设置切换后的两显示画面与 声音间所存在的同步和异步，受试者重新寻找一次“并列的两个显示画面 中哪一个与声音保持同步”。

两显示画面呈左右并列分布，且左右两显示画面保持与声音的同步比 例各为50％。

每段短视频播放完毕后，受试者面向计算机屏幕，通过口头报告、概 括所看到的视频内容，同时采用眼动仪和计算机分别对受试者的眼睛及视 频数据进行采集。

在对受试者进行实验前，通过设定输入视听信息错位的具体时间间隔 确定实验的难度。

所生成的视听整合评价结果主要包括：

(a)看同步视频的时间比例，用以衡量对视听不同步觉察的敏感度；

(b)看面孔的时间比例及模式，即注视眼睛和嘴巴的时间和比例；

(c)第一次看嘴部所需的时间。

本发明技术方案，具有如下优点：

A.本发明提供的视听时间整合能力探测方法，依托便携式眼动仪，通 过几分钟简短实验，让受试者观看短视频后，通过计算机可以实时计算并 反馈出受试者对时间错位的视听言语信息的觉察敏感性，并记录受试者观 看动态视频的注视模式；本发明实验简短易操作，且采用的视频材料贴近 现实生活，生态效度更高，所得结论有更好的推广性；

B.本发明采用的实验材料为贴近现实生活的言语视频，生动有趣，可 以适用于学龄儿童-老年人等各个年龄段的健康人群，刻画视听整合能力的 发展和变化轨迹，也可运用于言语沟通能力存在障碍的各类临床患者群体 (例如，高功能孤独症、精神分裂症等)，考察视听整合能力在临床群体 中的异常表现，有助于推进后期针对性的干预和治疗；

C.另外，本发明在对受试者进行实验前可以根据受试者的特点，事先 调整不同步视频视听信息错位的时间间隔，从而调整实验的难度，进而更 有效地检测不同群体的视听时间整合能力；本发明除了考察视听不同步觉 察敏感性，还附带记录了注视模式、言语理解能力等指标，能深入考察视 听整合的内在机制及其与更高级的语言能力的关系。

具体实施方式

下面将对本发明的技术方案进行清楚、完整地描述，显然，所描述的 实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实 施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其 他实施例，都属于本发明保护的范围。

本发明提供了一种基于便携式眼动仪的视听整合方法，录制几段带有 视听资料的短视频，每段短视频中设置并排两个显示画面，其中一个画面 与声音同步，另一个画面与声音存在时间错位；受试者通过观看短视频， 寻找同步的视频并予以关注；观看完所录制的几段短视频后，受试者面向 计算机屏幕进行口头描述所观看的视频内容；通过眼动仪实时记录受试者 的眼动轨迹，并通过计算机保存受试者口头报告的视频数据；根据受试者的眼动轨迹和口头报告视频数据，生成视听整合评价结果。通过计算机程 序可以实时计算并反馈出受试者对时间错位的视听言语信息的觉察敏感 性，并记录受试者观看动态视频的注视模式。

例如，本发明中所录制的带有视听资料的短视频一共录制四段，每段 为1min的短视频，视频中一个年轻女性正视屏幕，自然地介绍动物相关的 小知识。语篇材料的情绪效价、唤醒度、趣味性和易理解度都经过打分， 均属于中性情绪，中等唤醒度，比较有趣，通俗易懂的语篇。视频播放速 度为25帧/秒，因此每帧为40毫秒。

每段视频中采用左/右两个并排的呈现视频的画面，当然还可以采用上 下分布方式。其中只有一个画面和声音是同步的，另一个跟声音存在一定 程度的时间错位。对于不同步的视频画面来说，四段视频材料中有两段是 听觉刺激领先视觉刺激的条件，另两段是视觉刺激领先听觉刺激。本发明 中不限制设置四段短视频，还可以设置六段或更多段短视频进行测试。

每段一分钟的短视频可以被截成6-7个以句子为单位的小段视频，每个 小段视频的播放时间可以设定在10秒左右，所设定的具体时间不作为对本 发明的限制；同时，播放完一个小段视频后设定发生闪屏一次，闪屏时间 也可以设置，闪屏后再播放下一个小段视频，也就是说每隔10秒会出现闪 屏，闪屏后是左边还是右边的显示画面与声音同步有可能会发生切换，也 有可能保持不变。也就是说，每隔10秒左右受试者需要重新找一次“左右哪个视频与声音同步”。在实验设计的过程中，左/右同步的比例各半，通 过伪随机设置确定每个小段视频是左边还是右边画面同步。

本发明通过便携式tobii眼动仪(采样率为90HZ)，由于其为现有技术， 这里不对其工作原理进行详细说明，通过便携式tobii眼动仪考察被试对视 听信息不同步的觉察能力，以及在完成该任务时被试注视动态(说话)面 孔的注视模式。

在整个任务中，受试者被要求仔细观看视频，寻找同步的视频，在找 到后只关注同步的视频。每段1分钟的短视频结束后，受试者需要面向电 脑屏幕，口头报告、概括视频的内容(即给视频总结一个标题)，以考察 受试者对语篇的理解。

本实验在正式开始前，需要输入视听信息错位的具体时间间隔，用于 确定实验的难度。具体而言，输入两个数值：听觉领先视觉刺激的条件(A-V) 与视觉领先听觉刺激的条件(V-A)。由于每帧视频呈现时间为40毫秒，输入 的数值为正整数，即代表画面和音频错位多少帧。例如，在A-V条件输入5， 即意味着接下去的实验中听觉领先的两个视频，具体错位间隔是听觉刺激 领先视觉刺激40×5＝200毫秒。更重要的是，错位时间的确定是本发明的关键，实验者可以通过预实验事先确认错位的时间间隔，即对感兴趣年龄 段的健康受试者进行预实验，找到在某一个错位条件下，同步性判别正确 率显著高于猜测水平，但又不会导致天花板效应(指测验题目过于容易， 而致使大部分受试者得分普遍较高的现象)。在这种实验条件下，能保证 实验难度适中，吸引受试者的注意力。

本实验通过tobii眼动仪实时记录受试者的眼动轨迹，并通过计算机内 置摄像机保存下受试者口头报告视频内容时的视频数据。通过将实验数据 与所编写的计算机程序相关联，在实验结束时就能立即生成实验结果文档， 获知受试者的视听整合能力测评结果。依据实验条件将四段视频分成两组 (两段视频为听觉刺激领先视觉刺激的条件(A-V)，另两段是视觉刺激领 先听觉刺激的条件(V-A))，分别报告A-V，V-A两种条件的实验结果。主 要关注的指标包括如下四项：

(a)看同步视频的时间比例，用以衡量对视听不同步觉察的敏感度， 注视同步视频的时间比例越高，反映其不同步觉察敏感性越强；

(b)看面孔的时间比例，对面孔的回避可能是导致包括孤独症在内的 临床群体言语沟通障碍的机制；

(c)具体看面孔的模式，即注视眼睛和嘴巴的时间和比例，即对眼睛、 嘴巴注意资源分配的异常可能是视听整合失败的内在机制；

(d)第一次看嘴部所需的时间，由于在该任务中，通过嘴型判断是否 同步是适应性的策略，因此越快注视嘴巴是越高效的表现。

另外，需要提取口头报告的视频，对受试者概括主题的情况进行编码 和打分，反映其语言理解能力，该指标同时能考察个体的认知资源，反映 受试者是否由于视听同步性觉察而占用大量认知资源，进而影响正常的语 言理解。

本发明能根据人群的特点和需要调整视听信息错位的时间间隔，调整 任务难度，从而更有效地检测不同群体的视听时间整合能力；能及时地生 成直观且量化的视听整合能力的指标，如观看同步视频的时间比例以反映 对不同步视听信息的觉察敏感性；能生成其他附加的指标，比较系统地展 示注视动态视频的具体模式(如对面孔、眼睛、嘴部的注视偏好)，有利 于揭示视听整合的内在机制。

本发明通过记录受试者口头报告语篇内容的视频，考察其语言理解能 力，且后续的工作可以进一步对受试者的面部表情、语音语调进行编码， 获得更丰富的信息。

举例而言，本发明所提供的视听整合方法已在精神分裂症患者中进行 使用和测评，用以评估该疾病人群的视听整合能力。现展示一名15岁的女 性儿童期精神分裂症患者的测试数据(难度水平通过12-16岁健康青少年的 预实验确定：A-V条件200毫秒；V-A条件240毫秒)：在听觉刺激领先视 觉刺激的条件下(A-V)，该患者注视同步视频的比例为47.6％；而在视觉刺激 领先听觉刺激的条件下(V-A)，她注视同步视频的比例为51.2％。由此可 见，该患者观看同步和异步两种视频的时间大致为对半开，几乎难以准确 觉察视听信息的不同步性。再进一步探究她的注视模式：在对面孔的注视 过程中，该患者仅有24％(V-A条件)和33％(A-V条件)的时间注视嘴巴 区域，且首次注视嘴巴区域的时间长达3秒。说话过程中唇形的运动是帮 助我们利用时间线索整合视听信息、加深言语理解的关键，该患者对嘴巴 区域注意分配的减少，以及对嘴巴区域注意投入的速度减慢，提示她无法 采用适应性的策略判别视听信息同步与否，可能是导致她视听整合失败的 内在机制。最后，我们也初步编码了她对语篇理解的报告视频，发现她只 能记住并提取片段式的信息，无法截取整段视频的主要内容。这一结果提 示，在视听不同步觉察的过程中，可能耗费了患者大量认知资源，从而使 其无法动用足够的认知资源以实现言语理解(当然不排除另一种可能性在 于分裂症患者的语言理解能力本身存在缺损，这一假设可以通过其他测试 语言能力的评估工具来检验)。

显然，上述实施例仅仅是为清楚地说明所作的举例，而并非对实施方 式的限定。对于所属领域的普通技术人员来说，在上述说明的基础上还可 以做出其它不同形式的变化或变动。这里无需也无法对所有的实施方式予 以穷举。而由此所引伸出的显而易见的变化或变动仍处于本发明的保护范 围之中。

Claims (8)

1.一种基于便携式眼动仪的视听整合方法，其特征在于，所述视听整合方法包括：录制几段带有视听资料的短视频，每段短视频中设置并排两个显示画面，其中一个画面与声音同步，另一个画面与声音存在时间错位；受试者通过观看短视频，寻找同步的视频并予以关注；观看完所录制的几段短视频后，受试者面向计算机屏幕进行口头描述所观看的视频内容；通过眼动仪实时记录受试者的眼动轨迹，并通过计算机保存受试者口头报告的视频数据；根据受试者的眼动轨迹和口头报告视频数据，生成视听整合评价结果。

2.根据权利要求1所述的基于便携式眼动仪的视听整合方法，其特征在于，录制四段短视频，每段短视频中视频的播放速度为25帧/秒，每段短视频的播放时间为1min。

3.据权利要求2所述的基于便携式眼动仪的视听整合方法，其特征在于，所录制的四段短视频中包括：其中两段短视频满足听觉刺激领先视觉刺激的条件，另外两段短视频为满足视觉刺激领先听觉刺激的条件。

4.根据权利要求3所述的基于便携式眼动仪的视听整合方法，其特征在于，每段短视频被截成多个以句子为单位的小段视频，由一个小段视频向另一个小段视频切换时设置闪屏，闪屏后重新设置切换后的两显示画面与声音间所存在的同步和异步，受试者重新寻找一次“并列的两个显示画面中哪一个与声音保持同步”。

5.根据权利要求4所述的基于便携式眼动仪的视听整合方法，其特征在于，两显示画面呈左右并列分布，且左右两显示画面保持与声音的同步比例各为50％。

6.根据权利要求1所述的基于便携式眼动仪的视听整合方法，其特征在于，每段短视频播放完毕后，受试者面向计算机屏幕，通过口头报告、概括所看到的视频内容，同时采用眼动仪和计算机分别对受试者的眼睛及视频数据进行采集。

7.根据权利要求1所述的基于便携式眼动仪的视听整合方法，其特征在于，在对受试者进行实验前，通过设定输入视听信息错位的时间间隔确定实验的难度。

8.根据权利要求1所述的基于便携式眼动仪的视听整合方法，其特征在于，所生成的视听整合评价结果主要包括：

(a)看同步视频的时间比例，用以衡量对视听不同步觉察的敏感度；

(b)看面孔的时间比例及模式，即注视眼睛和嘴巴的时间和比例；

(c)第一次看嘴部所需的时间。