CN107491496A - 利用视觉认知过程触发的网页浏览控制方法 - Google Patents

Abstract

本发明提供一种利用视觉认知过程触发的网页浏览控制方法，解决现有网页无法利用大脑认知过程检测手段。在用户启动浏览器同时启动网页处理引擎和认知过程检测引擎，其中认知过程检测引擎至少能够识别两种可用于脑机接口操作的视觉认知过程，每种过程可以输出一组指令，用户在浏览器中输入网址后，浏览器加载页面，网页处理引擎对网页内容进行解析识别，当认知检测引擎检测到指令组A中的指令时，将该指令发送到浏览器中，浏览器将对应区域网页进行放大显示，将该区域内的网页链接以及其它浏览命令映射到第二组用于脑机接口操作的视觉认知过程指令组B中，分配相应的触发认知过程的视觉刺激。本发明为残障人士带来全新的交互体验，提高生活质量。

Description

利用视觉认知过程触发的网页浏览控制方法

技术领域

本发明涉及一种利用视觉认知过程触发的网页浏览控制方法。

背景技术

随着认知科学研究的深入，越来越多的大脑认知过程分析方法涌现出来。现阶段已经利用这些分析方法已经实现了一部分的控制功能，但这种控制还是比较原始的初级控制，还有诸多的问题有待解决。为了实现通过对大脑认知过程进行分析识别来实现直接、自然地控制计算机和其它设备，需要对原有的设备操作模式进行改造适配。现有的网页无法利用大脑认知过程检测手段，例如脑机接口技术，进行浏览操纵的问题。

发明内容

本发明的目的是提供一种利用视觉认知过程触发的网页浏览控制方法，以常用的网页浏览器为基础，无需特殊改造，使得用户仅通过基于视觉反馈的脑机接口技术实现万维网网页的全网浏览。

本发明所采用的技术方案是这样的：一种利用视觉认知过程触发的网页浏览控制方法，如下：

用户启动浏览器后，浏览器跳转到预先设定好的主页，网页处理引擎和认知检测引擎同时启动；其中，两组指令对应于视觉认知过程，指令组A包括页面导航指令若干，指令组B包括链接选择指令；

步骤一：浏览器将当前网页及网页相关信息传送导网页处理引擎进行解析，网页处理引擎根据网页的尺寸确定屏幕缩放尺度，浏览器根据该尺度对屏幕上显示的网页进行缩放，同时浏览器对网页在屏幕上所占区域进行水平四等分，在每一部分上分配一种触发认知过程的视觉刺激；

步骤二：认知检测引擎检测到四区域对应四种刺激中的一个时，将指令组A中的对应指令发送给浏览器，浏览器将该区域进行放大匹配整个网页显示区域的尺寸，重复步骤一；

步骤三：如果认知检测引擎检测到指令组A中的导航命令，将该指令反馈到浏览器中，浏览器将网页和当前显示区域的尺寸位置信息发送到网页处理引擎中，网页处理引擎将网页中的DOM元素进行遍历，如果该元素是链接元素，则判断该元素位置是否在当前显示区域内，如是则将该元素存入数据链表中；

当遍历结束后，浏览器在网页显示区域上覆盖一个半透明的面板，按照脑机接口范式的设计，将链表中的元素依次序呈现在屏幕上，每个元素对应指令组B中的一个指令，如元素数量大于指令组B能提供的指令个数，将链表按照指令组B的长度分段，同时指令组B中的最后一个指令定为切换命令，每段中的元素分配剩下的指令；

如果认知检测引擎检测到指令组B对应的视觉认知活动，则发送对应指令给浏览器，浏览器执行相应的网页元素操作，包括但不限于点击、返回和前进等操作，返回步骤一。

本发明针对认知检测技术和人机交互技术发展现状，将网页浏览和视觉认知过程分析技术相结合，以常用的网页浏览器为基础，无需特殊改造，使得用户仅通过基于视觉反馈的脑机接口技术实现万维网网页的全网浏览，用户可以在摆脱键盘和鼠标的情况下利用脑机接口技术进行网上冲浪，为残障人士带来全新的交互体验，提高生活质量。

附图说明

图1为浏览器对网页在屏幕上所占区域进行水平四等分界面图；

图2为浏览器的链接选择界面图；

具体实施方式

下面根据附图举例对本发明做进一步说明：

实施例1

本实施例的一种利用视觉认知过程触发的网页浏览控制方法基于运行于常规的网页浏览器之上的插件工作。该插件与网页处理引擎和认知检测引擎进行通信。网页处理引擎由常规的网页浏览器提供，本实施例可与多种已经公开的，可识别多种视觉认知状态的认知检测引擎联合使用，例如视觉刺激诱发脑电P300电位检测系统、视觉稳态诱发电位SSVEP检测系统，进行网页浏览操作时，网页被发送到网页处理引擎，本实施例的方法通过分析网页处理引擎的处理结果，将网页内容和浏览控制命令转化可以在屏幕上显示的视觉刺激并反馈到浏览器进行显示，认知引擎检测用户正在选择的视觉刺激编号，将结果发送到浏览器进行相应操作。

本实施例中，通过认知检测引擎识别的命令主要分为两类，分别在浏览的两个阶段对应不同的视觉刺激和用户动作：

1.网页感兴趣区域选择

在网页加载完成之后，浏览器进入区域选择状态，将网页在屏幕上的现实区域进行水平四等分，其中每一部分分配一种视觉刺激。认知检测引擎检测到其中一种视觉刺激，浏览器将对应区域进行放大。如果用户想跳转到该区域对应的链接，或返回到放大前网页，进行眨眼动作，认知检测引擎检测眨眼次数，根据眨眼次数进行相应操作。而具体眨眼次数与操作对应关系由用户自定义。

2.链接跳转

用户进入链接跳转模式后，网页处理引擎提取当前区域中的链接存入链表传递给浏览器，浏览器将链接转化为脑机接口范式中的视觉刺激，根据范式不同，视觉刺激包括但不限于闪烁、放大和变色等。认知检测引擎检测用户正在注视哪一种视觉刺激，控制浏览器进行跳转。同时认知检测引擎检测用户是否眨眼，根据眨眼次数不同，执行返回网页浏览步骤命令或其它操作。

用户启动浏览器后，浏览器跳转到预先设定好的主页，网页处理引擎和认知检测引擎同时启动；两组指令对应于视觉认知过程，指令组A和指令组B。指令组A包括页面导航指令若干，指令组B包括链接选择指令。视觉认知过程包括所有能诱发特异性脑电活动的视觉刺激过程，例如视觉稳态诱发电位(SSVEP)。

步骤一：浏览器将当前网页及网页相关信息传送导网页处理引擎进行解析，网页处理引擎根据网页的尺寸确定屏幕缩放尺度，浏览器根据该尺度对屏幕上显示的网页进行缩放，如图1所示，同时浏览器对网页在屏幕上所占区域进行水平四等分，在每一部分上分配一种触发认知过程的视觉刺激。

步骤二：认知检测引擎检测到四区域对应四种刺激中的一个时，将指令组A中的对应指令发送给浏览器，浏览器将该区域进行放大匹配整个网页显示区域的尺寸，重复步骤一；

步骤三：如果认知检测引擎检测到指令组A中的导航命令，将该指令反馈到浏览器中，浏览器将网页和当前显示区域的尺寸位置信息发送到网页处理引擎中。网页处理引擎将网页中的DOM元素进行遍历，如果该元素是链接元素，则判断该元素位置是否在当前显示区域内，如是则将该元素存入数据链表中；

当遍历结束后，浏览器在网页显示区域上覆盖一个半透明的面板，按照脑机接口范式的设计，将链表中的元素依次序呈现在屏幕上，如图2所示。每个元素对应指令组B中的一个指令，如元素数量大于指令组B能提供的指令个数，将链表按照指令组B的长度分段，同时指令组B中的最后一个指令定为切换命令，每段中的元素分配剩下的指令。

如果认知检测引擎检测到指令组B对应的视觉认知活动，则发送对应指令给浏览器。浏览器执行相应的网页元素操作，包括但不限于点击、返回和前进等操作，返回步骤一；

实施例2

1.在用户启动浏览器同时启动网页处理引擎和认知检测引擎，用户在浏览器中输入网址后，浏览器加载页面，并计算网页实际尺寸和屏幕尺寸，将网页缩放到屏幕尺寸，网页处理引擎对网页内容进行解析识别。将脑机接口指令映射到网页上十字等分的四个区域，用户通过脑机接口发出浏览四个区域其中之一的指令后，浏览器对该区域网页进行放大显示，使得该区域显示尺寸与屏幕显示尺寸一致。

2.认知检测引擎检测用户是否下达进入链接网页处理引擎将该区域的内容进行解析与存储，遍历网页的DOM树结构，判断每一个元素的类型和在网页上的位置，如果该元素是网页链接且在当前放大显示区域内，则将该链接存入链表中。遍历结束后，将该区域内的网页链接以及其它浏览命令映射到另一种脑机接口范式中，分配相应的视觉刺激。

3.用户通过注视脑机接口视觉刺激下达浏览命令，如果认知检测引擎检测到用户正在注视某个刺激，浏览器则跳转到该刺激对应的链接，或进行其它对应操作。本实施例适用于利用脑机接口进行网页浏览的各种设备。

结合视觉认知过程分析技术，可通过多种类型的视觉认知检测技术控制网页的各种浏览操作，包括利用网页链接在页面之间进行跳转和前进、后退等在浏览历史中跳转。

Claims (1)

1.一种利用视觉认知过程触发的网页浏览控制方法，其特征在于，方法如下：

用户启动浏览器后，浏览器跳转到预先设定好的主页，网页处理引擎和认知检测引擎同时启动；其中，两组指令对应于视觉认知过程，指令组A包括页面导航指令若干，指令组B包括链接选择指令；

步骤一：浏览器将当前网页及网页相关信息传送导网页处理引擎进行解析，网页处理引擎根据网页的尺寸确定屏幕缩放尺度，浏览器根据该尺度对屏幕上显示的网页进行缩放，同时浏览器对网页在屏幕上所占区域进行水平四等分，在每一部分上分配一种触发认知过程的视觉刺激；

步骤二：认知检测引擎检测到四区域对应四种刺激中的一个时，将指令组A中的对应指令发送给浏览器，浏览器将该区域进行放大匹配整个网页显示区域的尺寸，重复步骤一；

步骤三：如果认知检测引擎检测到指令组A中的导航命令，将该指令反馈到浏览器中，浏览器将网页和当前显示区域的尺寸位置信息发送到网页处理引擎中，网页处理引擎将网页中的DOM元素进行遍历，如果该元素是链接元素，则判断该元素位置是否在当前显示区域内，如是则将该元素存入数据链表中；

当遍历结束后，浏览器在网页显示区域上覆盖一个半透明的面板，按照脑机接口范式的设计，将链表中的元素依次序呈现在屏幕上，每个元素对应指令组B中的一个指令，如元素数量大于指令组B能提供的指令个数，将链表按照指令组B的长度分段，同时指令组B中的最后一个指令定为切换命令，每段中的元素分配剩下的指令；

如果认知检测引擎检测到指令组B对应的视觉认知活动，则发送对应指令给浏览器，浏览器执行相应的网页元素操作，包括但不限于点击、返回和前进等操作，返回步骤一。