CN113377212B - 基于脑电检测的眼动跟踪ar界面导航系统及方法 - Google Patents

基于脑电检测的眼动跟踪ar界面导航系统及方法 Download PDF

Info

Publication number
CN113377212B
CN113377212B CN202110939030.9A CN202110939030A CN113377212B CN 113377212 B CN113377212 B CN 113377212B CN 202110939030 A CN202110939030 A CN 202110939030A CN 113377212 B CN113377212 B CN 113377212B
Authority
CN
China
Prior art keywords
family
electroencephalogram
band
frequency
pass filter
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110939030.9A
Other languages
English (en)
Other versions
CN113377212A (zh
Inventor
贾明霖
孔德春
姚远
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nantong Zhongguxin Intelligent Technology Co ltd
Original Assignee
Nanjing Zhongguxin Information Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nanjing Zhongguxin Information Technology Co ltd filed Critical Nanjing Zhongguxin Information Technology Co ltd
Priority to CN202110939030.9A priority Critical patent/CN113377212B/zh
Publication of CN113377212A publication Critical patent/CN113377212A/zh
Application granted granted Critical
Publication of CN113377212B publication Critical patent/CN113377212B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/015—Input arrangements based on nervous system activity detection, e.g. brain waves [EEG] detection, electromyograms [EMG] detection, electrodermal response detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/44—Arrangements for executing specific programs
    • G06F9/451—Execution arrangements for user interfaces
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Software Systems (AREA)
  • Human Computer Interaction (AREA)
  • Dermatology (AREA)
  • Biomedical Technology (AREA)
  • General Health & Medical Sciences (AREA)
  • Neurology (AREA)
  • Neurosurgery (AREA)
  • Computer Graphics (AREA)
  • Computer Hardware Design (AREA)
  • Health & Medical Sciences (AREA)
  • Measurement And Recording Of Electrical Phenomena And Electrical Characteristics Of The Living Body (AREA)

Abstract

本发明公开一种基于脑电检测的眼动跟踪AR界面导航系统及方法。本发明涉及脑机接口技术领域，解决现有AR界面导航技术无法解放双手，实用效果差的问题。本发明的基于脑电检测的眼动跟踪AR界面导航系统包括：6通道脑电信号采集模块、AR设备主机以及AR眼镜，6通道脑电信号采集模块与AR设备主机通信连接，AR设备主机与AR眼镜连接，可实现基于脑电检测的眼动跟踪AR界面导航，不需要双手进行操作，最大限度解放双手，在佩戴AR眼镜的时候，双手可以做一些其他的操作，这对AR技术在巡检、军用、娱乐等方面的应用具有重要意义，此外，本发明的基于脑电检测的眼动跟踪AR界面导航系统的界面导航的准确率得到显著提高。

Description

基于脑电检测的眼动跟踪AR界面导航系统及方法
技术领域
本发明涉及脑机接口技术领域，尤其涉及一种基于脑电检测的眼动跟踪AR界面导航系统及方法。
背景技术
随着AR技术的飞速发展，AR眼镜将足够轻量化、外观时尚，而且足以取代手机或计算机，可以为使用者提供具有临场感的逼真虚拟社交环境，同时场景感和AI算法将帮助处理日常任务，为使用者提供直观的3D虚拟内容，并将数字和真实世界自然融合。此外，有了AR 眼镜，即使不低头看手机，也能同时身处数字和真实世界，应用场景足够灵活。其中，AR界面导航是整个AR技术中最重要的问题之一，因为这将需要全新的界面，并颠覆人类与计算机交互的惯有方式。
现有的AR界面导航分为两个大类：用手操作模式和语音识别模式。用手操作模式又包括以下几种类型。
1)手势识别操控模式：在AR眼镜的形态下使用手势进行交互是一种符合自然和习惯的交互模式，拿取东西、放置物品，我们人类天生习惯于用手和这个世界做交互，在AR眼镜界面导航中要使用手势作为交互，首先得保证这台AR眼镜具有手势识别的功能，其次，也要考虑识别的效度、精度和准度。
2)按键/触摸屏操控模式：正如手机会带一些简单的硬按键一样，有些AR眼镜也会自带一些按键或触屏来支持用户输入。比如市场上有些AR眼镜上带了三个硬按键，我们在系统层级上为单击它们定义了确定、返回、息屏/亮屏的操作语义，在设计具体的应用时，也可以增加定义双击、长按等操作。又比如Google最早的一代AR眼镜，在眼镜的一侧增加了触控板来支持用户进行输入。
3)遥控器操控模式：遥控器作为外接设备，也是提供AR眼镜界面可交互的一种方式。这种交互比起上面两种交互方式来说是最不容易累的，因为手势如果要被识别，需要抬高手臂让你的手势进入AR眼镜能看得见的地方，而按键和触屏，因为它本身就在AR眼镜上，你也必须抬起手臂让手指能够得着它们。这样两种操作方式虽然可以给手臂做做运动，但总归不是持久之计，使用遥控器就会舒适很多。对于人们来说，这也是一种非常熟悉的交互方式，就像电视机遥控器一样。另外，因为戴着AR眼镜，再看手机屏幕并不是那么方便，需要考虑如何设计让用户在盲操作的情况下依然较为方便的使用手机屏幕作为遥控器。
现有的技术在实际使用过程中缺点如下：
用手操控技术的缺点：
1)手势识别操控方式的缺点：
首先人手不能得到解放，需要双手或单手做出各种动作以达到让系统识别的目的，时间久了人比较容易疲劳。手势如果要被识别，对动作幅度有要求，需要抬高手臂让你的手势进入AR眼镜能看得见的地方，否则就不能被识别，体验不是很好。目前手势识别分辨率不是很高，可能需要多次重复做同一个动作才能让系统识别，体验不是很好。
2)按键/触摸屏操控方式的缺点：
人的双手不能得到解放，在需要双手对其他设备同步操作的场景，现场人员的处理会非常麻烦，所以会限制技术的应用场景。人比较容易疲劳：手上的按键或屏幕也无法盲按操作，需要不停的低头看操作终端，人很容易疲劳，交互体验很差。
3)遥控器操控方式的缺点：
需要配套遥控器，系统的硬件成本增加；在AR眼镜观看的同时需要一直携带者遥控器并用手操作，增加操作人员的负担。遥控器也可以用手机来替代，但需要在手机上要另外下载安装一个专属APP，同时操作也还是需要用手操作。
语音识别操控方式的缺点：
语音识别主要通过声音判断操作指令，受外部环境噪音的干扰后会导致分辨率不高，甚至无法识别，但实际操作环境往往会有很大噪音，所以体验效果及使用场景会非常受限。
由此可见，用手操控模式都会涉及到无法解放双手的问题，而AR的应用场景中，尤其是工业场景，更多的是利用AR眼镜的远程专家协助，解决现场人员实际操作问题，所以无法解放双手是用手操控模式无法解决的问题。在很多实际环境中，外接环境非常嘈杂，如工厂、户外作业环境，语音识别会受非常大的干扰，实用效果就会非常差。因此，如何使用户可以在无需外接操作设备的情况下进行操作，最大限度的解放双手，在佩戴AR眼镜的时候，双手可以做一些其他的操作，这对AR技术在巡检、军用、娱乐等方面的应用具有重要意义。
发明内容
本发明提供一种基于脑电检测的眼动跟踪AR界面导航系统及方法，以解决现有AR界面导航技术无法解放双手，实用效果差的问题。
本发明提供一种基于脑电检测的眼动跟踪AR界面导航系统，包括：6通道脑电信号采集模块、AR设备主机以及AR眼镜，所述6通道脑电信号采集模块与所述AR设备主机通信连接，所述AR设备主机与所述AR眼镜连接；所述6通道脑电信号采集模块，用于采集脑电信号，得到6路脑电信号，将所述6路脑电信号发送至AR设备主机；所述 AR设备主机包括无线通讯模块、软件滤波模块、并行列队竞争模块以及界面导航模块；所述无线通讯模块，用于接收所述脑电信号；所述软件滤波模块，用于对所述6路脑电信号进行滤波处理；所述并行列队竞争模块，用于对滤波处理后的6路脑电信号进行并行列队竞争处理，输出最终脑电信号频率；所述界面导航模块，用于根据所述最终脑电信号频率确定目标按钮，从而实现界面导航；所述AR眼镜，用于显示6个按钮，所述6 个按钮分别按照不同的预设频率闪烁，以使得当人眼凝视所述按钮2秒以上，人脑产生一个与所述按钮的预设频率相同的脑电信号。
进一步地，所述6通道脑电信号采集模块包括放大电路、第一带通滤波器、第二带通滤波器、第三带通滤波器、第四带通滤波器、第五带通滤波器、第六带通滤波器、ADC 电路以及MCU；所述放大电路分别通过第一带通滤波器、第二带通滤波器、第三带通滤波器、第四带通滤波器、第五带通滤波器以及第六带通滤波器与所述ADC电路的6个通道连接，所述ADC电路与所述MCU连接，所述MCU与所述无线通讯模块通信连接；所述第一带通滤波器、第二带通滤波器、第三带通滤波器、第四带通滤波器、第五带通滤波器以及第六带通滤波器的中心频率分别与6个按钮的闪烁频率一致。
进一步地，所述第一带通滤波器、第二带通滤波器、第三带通滤波器、第四带通滤波器、第五带通滤波器以及第六带通滤波器的中心频率分别为7.3Hz、8.06Hz、9.25Hz、10.42Hz、11.62Hz、12.9Hz。
进一步地，所述并行列队竞争模块，用于按照以下方式对滤波处理后的6路脑电信号进行处理，输出最终脑电信号频率：
以所述滤波处理后的6路脑电信号作为并行列队竞争算法的输入数据，设定并行列队竞争算法的初始参数，所述初始参数包括最小家族数N0，目标家族数Nt，子代数m；
在每个通道中截取1024个点的AD数据，然后对所述AD数据进行FFT变换，剔除谐波频率后得出相应的信号频率和幅值，所述信号频率是以闪烁频率为中心频率的频率范围，频率范围是±1％；将所述信号频率和幅值作为家族内的单个个体，然后在所述信号频率、ADC电路的采样频率的约束范围内，随机产生N0个个体作为初始家族从而产生N0组操作条件；ADC电路的采样频率在如下集合内逐一采集：{50Hz， 100Hz，200Hz，300Hz，400Hz}；
计算每个通道的目标函数值，所述目标函数值代表6个界面按钮的闪烁频率；
计算出N0组操作条件所对应的信号频率，N0组操作条件所对应的信号频率值为：f(1)＝＝{f1,f2,f3,f4,f5,f6}＝{7.3Hz,8.06Hz,9.25Hz,10.42Hz,11.62Hz,12.9Hz}；
按照各家族的适应性将它们排成一个列队，所述适应性是每个通道的输出目标函数值所对应的信号幅值最大数据；
根据非支配排序等级和拥挤度距离分配搜索空间，处于非支配排序等级靠前的家族，分配较少的搜索空间，等级靠后的家族，分配较大的搜索空间；当各家族间处于同一等级时，拥挤度距离较小的家族分配较小的搜索空间，拥挤度距离较大的家族分配较大的搜索空间；搜索空间分配方法如下：
设D(K)为第K代时分配给最差家族的搜索空间，当K＝l时，D(K):[B，A]，B和A 指第一代搜索空间内所对应的向量；各个家族根据在列队中的位置分配搜索空间，搜索空间的分配方案如下：
Figure GDA0003276860690000041
第k个个体的搜索空间是以点Wk为中心，以kΔ(K)/m为边长向量的一个矩形区域，矩形区域中变量的下界和上界的计算公式为：
Lkj＝max(xkj-Δjk/2m，aj) 公式1；
Ukj＝min(xkj+Δjk/2m，bj) 公式2；
j＝1，2,……s；k＝1,2,……,m；aj为在搜索空间中变量的上界向量，bj为在搜索空间中变量的下界向量；
向量[1/m，2/m，……，m/m]称为分配比例系数向量，从此向量可看出，当m较大时，列队中相邻家族分配的搜索空间相差较小，这将产生搜索空间的重叠，使搜索效率降低，m在5-10之间，最多不超过20；
根据公式1和公式2可计算出：
家族1分配的搜索区域为：7.1≤x1≤7.3；x2∈{50Hz，100Hz，200Hz，300Hz，400Hz}
家族2分配的搜索区域为：8.0≤x1≤8.2；x2∈{50Hz，100Hz，200Hz，300Hz，400Hz}
家族3分配的搜索区域为：9.1≤x1≤9.4；x2∈{50Hz，100Hz，200Hz，300Hz，400Hz}
家族4分配的搜索区域为：10.2≤x1≤10.6；x2∈{50Hz，100Hz，200Hz，300Hz，400Hz}
家族5分配的搜索区域为：11.5≤x1≤11.7；x2∈{50Hz，100Hz，200Hz，300Hz，400Hz}
家族6分配的搜索区域为：12.7≤x1≤13.0；x2∈{50Hz，100Hz，200Hz，300Hz，400Hz}
各家族在各自的搜索空间内进行繁殖，随机产生m个子代个体；其中，在各自的搜索区域内，分别按照{50Hz，100Hz，200Hz，300Hz，400Hz}这5个采集频率进行AD数据采集，截取1024个数据进行FFT变换，剔除谐波频率后得出相应的信号频率和幅值，所得到的频率为进行了1代繁殖；
同一家族内，m个子代个体和父代个体一起进行非支配排序，只保留各自家族的非支配解，构成新的家族；其中，在进行了m代繁殖后，得到m个子代个体，按照其与目标函数的相关性从大到小进行排序；
判断当前家族数Ni是否大于最小家族数N0；若满足该条件，则进行下一步，否则再随机补充家族到初始家族数N0，重新执行随机生成初始家族；判断当前家族数Ni是否大于目标家族数Nt；若满足该条件，则进行下一步，否则重新执行随机生成初始家族；
当6个通道都输出计算结果后，进行二次排序，然后输出最终结果，所述最终结果为最终脑电信号频率。
第二方面，本发明提供一种基于脑电检测的眼动跟踪AR界面导航方法，应用于以上所述的基于脑电检测的眼动跟踪AR界面导航系统，所述方法包括：
AR眼镜显示6个按钮，所述6个按钮分别按照不同的预设频率闪烁，以使得当人眼凝视所述按钮2秒以上，人脑产生一个与所述按钮的预设频率相同的脑电信号；
6通道脑电信号采集模块采集脑电信号，得到6路脑电信号，将所述6路脑电信号发送至AR设备主机；
AR设备主机获取6通道脑电信号采集模块所采集的脑电信号，对6路脑电信号进行滤波处理，对滤波处理后的6路脑电信号进行并行列队竞争处理，输出最终脑电信号频率，根据所述最终脑电信号频率确定目标按钮，从而实现界面导航。
进一步地，6通道脑电信号采集模块采集脑电信号，得到6路脑电信号包括：
6通道脑电信号采集模块接收脑电信号；
6通道脑电信号采集模块通过放大电路对所述脑电信号进行信号放大；
6通道脑电信号采集模块将信号放大后的脑电信号传输至6个带通滤波器，6路带通滤波器中心频率分别与6个按钮的闪烁频率一致；
6通道脑电信号采集模块的MCU通过SPI接口与ADC电路进行数据通讯，把采集到的6个通道的脑电信号发送到AR设备主机。
进一步地，所述6路带通滤波器中心频率分别7.3Hz、8.06Hz、9.25Hz、10.42Hz、11.62Hz、12.9Hz。
进一步地，对滤波处理后的6路脑电信号进行处理，输出最终脑电信号频率包括：
以所述滤波处理后的6路脑电信号作为并行列队竞争算法的输入数据，设定并行列队竞争算法的初始参数，所述初始参数包括最小家族数N0，目标家族数Nt，子代数m；
在每个通道中截取1024个点的AD数据，然后对所述AD数据进行FFT变换，剔除谐波频率后得出相应的信号频率和幅值，所述信号频率是以闪烁频率为中心频率的频率范围，频率范围是±1％；将所述信号频率和幅值作为家族内的单个个体，然后在所述信号频率、ADC电路的采样频率的约束范围内，随机产生N0个个体作为初始家族从而产生N0组操作条件；ADC电路的采样频率在如下集合内逐一采集：{50Hz， 100Hz，200Hz，300Hz，400Hz}；
计算每个通道的目标函数值，所述目标函数值代表6个界面按钮的闪烁频率；
计算出N0组操作条件所对应的信号频率，N0组操作条件所对应的信号频率值为：f(1)＝＝{f1,f2,f3,f4,f5,f6}＝{7.3Hz,8.06Hz,9.25Hz,10.42Hz,11.62Hz,12.9Hz}；
按照各家族的适应性将它们排成一个列队，所述适应性是每个通道的输出目标函数值所对应的信号幅值最大数据；
根据非支配排序等级和拥挤度距离分配搜索空间，处于非支配排序等级靠前的家族，分配较少的搜索空间，等级靠后的家族，分配较大的搜索空间；当各家族间处于同一等级时，拥挤度距离较小的家族分配较小的搜索空间，拥挤度距离较大的家族分配较大的搜索空间；搜索空间分配方法如下：
设D(K)为第K代时分配给最差家族的搜索空间，当K＝l时，D(K):[B，A]，B和A 指第一代搜索空间内所对应的向量；各个家族根据在列队中的位置分配搜索空间，搜索空间的分配方案如下：
Figure GDA0003276860690000061
第k个个体的搜索空间是以点Wk为中心，以kΔ(K)/m为边长向量的一个矩形区域，矩形区域中变量的下界和上界的计算公式为：
Lkj＝max(xkj-Δjk/2m，aj) 公式1；
Ukj＝min(xkj+Δjk/2m，bj) 公式2；
j＝1，2,……s；k＝1,2,……,m；aj为在搜索空间中变量的上界向量，bj为在搜索空间中变量的下界向量；
向量[1/m，2/m，……，m/m]称为分配比例系数向量，从此向量可看出，当m较大时，列队中相邻家族分配的搜索空间相差较小，这将产生搜索空间的重叠，使搜索效率降低，m在5-10之间，最多不超过20；
根据公式1和公式2可计算出：
家族1分配的搜索区域为：7.1≤x1≤7.3；x2∈{50Hz，100Hz，200Hz，300Hz，400Hz}
家族2分配的搜索区域为：8.0≤x1≤8.2；x2∈{50Hz，100Hz，200Hz，300Hz，400Hz}
家族3分配的搜索区域为：9.1≤x1≤9.4；x2∈{50Hz，100Hz，200Hz，300Hz，400Hz}
家族4分配的搜索区域为：10.2≤x1≤10.6；x2∈{50Hz，100Hz，200Hz，300Hz，400Hz}
家族5分配的搜索区域为：11.5≤x1≤11.7；x2∈{50Hz，100Hz，200Hz，300Hz，400Hz}
家族6分配的搜索区域为：12.7≤x1≤13.0；x2∈{50Hz，100Hz，200Hz，300Hz，400Hz}
各家族在各自的搜索空间内进行繁殖，随机产生m个子代个体；其中，在各自的搜索区域内，分别按照{50Hz，100Hz，200Hz，300Hz，400Hz}这5个采集频率进行AD数据采集，截取1024个数据进行FFT变换，剔除谐波频率后得出相应的信号频率和幅值，所得到的频率为进行了1代繁殖；
同一家族内，m个子代个体和父代个体一起进行非支配排序，只保留各自家族的非支配解，构成新的家族；其中，在进行了m代繁殖后，得到m个子代个体，按照其与目标函数的相关性从大到小进行排序；
判断当前家族数Ni是否大于最小家族数N0；若满足该条件，则进行下一步，否则再随机补充家族到初始家族数N0，重新执行随机生成初始家族；判断当前家族数Ni是否大于目标家族数Nt；若满足该条件，则进行下一步，否则重新执行随机生成初始家族；
当6个通道都输出计算结果后，进行二次排序，然后输出最终结果，所述最终结果为最终脑电信号频率。
由以上技术方案可知，本发明的基于脑电检测的眼动跟踪AR界面导航系统及方法，可实现基于脑电检测的眼动跟踪AR界面导航，不需要双手进行操作，最大限度解放双手，在佩戴AR眼镜的时候，双手可以做一些其他的操作，这对AR技术在巡检、军用、娱乐等方面的应用具有重要意义，此外，本发明的基于脑电检测的眼动跟踪AR界面导航系统的界面导航的准确率得到显著提高。
附图说明
为了更清楚地说明本发明的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，对于本领域普通技术人员而言，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1为本发明的本发明的基于脑电检测的眼动跟踪AR界面导航系统示意图。
图2为本发明的本发明的基于脑电检测的眼动跟踪AR界面导航系统的AR眼镜App界面示意图。
图3为本发明的本发明的基于脑电检测的眼动跟踪AR界面导航系统的AR眼镜App界面按钮闪烁频率示意图。
图4为本发明的本发明的基于脑电检测的眼动跟踪AR界面导航系统的6通道脑电信号采集模块原理图。
图5为本发明的本发明的基于脑电检测的眼动跟踪AR界面导航系统的并行列队竞争算法流程示意图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚，下面将结合本发明具体实施例及相应的附图对本发明技术方案进行清楚、完整地描述。显然，所描述的实施例仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。以下结合附图，详细说明本发明各实施例提供的技术方案。
请参阅图1，本发明提供一种基于脑电检测的眼动跟踪AR界面导航系统，包括：6通道脑电信号采集模块1、AR设备主机2以及AR眼镜3，6通道脑电信号采集模块1 与AR设备主机2通信连接，AR设备主机2与AR眼镜3连接。
其中，6通道脑电信号采集模块1，用于采集脑电信号，得到6路脑电信号，将6路脑电信号发送至AR设备主机2。脑电波(Electroencephalogram,EEG)是一种使用电生理指标记录大脑活动的方法，大脑在活动时，大量神经元同步发生的突触后电位经总和后形成的。它记录大脑活动时的电波变化，是脑神经细胞的电生理活动在大脑皮层或头皮表面的总体反映。眼动跟踪指的是通过研究人眼关注位置，通过脑-机系统反馈，跟踪对界面的反馈。增强现实(Augmented Reality，AR)技术是一种将虚拟信息与真实世界巧妙融合的技术，广泛运用了多媒体、三维建模、实时跟踪及注册、智能交互、传感等多种技术手段，将计算机生成的文字、图像、三维模型、音乐、视频等虚拟信息模拟仿真后，应用到真实世界中，两种信息互为补充，从而实现对真实世界的“增强”。AR眼镜是利用增强现实技术制作的头戴式现实系统，界面导航是实现用户无需触摸屏幕即可翻动页面的技术。
具体地，AR设备主机2包括无线通讯模块21、软件滤波模块22、并行列队竞争模块23以及界面导航模块24。无线通讯模块21，用于接收脑电信号；软件滤波模块22，用于对6路脑电信号进行滤波处理；并行列队竞争模块23，用于对滤波处理后的6路脑电信号进行并行列队竞争处理，输出最终脑电信号频率；界面导航模块24，用于根据最终脑电信号频率确定目标按钮，从而实现界面导航。
AR眼镜3，用于显示6个按钮，如图2和图3所示，6个按钮分别按照不同的预设频率闪烁，以使得当人眼凝视按钮2秒以上，人脑产生一个与按钮的预设频率相同的脑电信号。
请参阅图4，6通道脑电信号采集模块1包括放大电路10、第一带通滤波器11、第二带通滤波器12、第三带通滤波器13、第四带通滤波器14、第五带通滤波器15、第六带通滤波器16、ADC电路17以及MCU18。放大电路10分别通过第一带通滤波器11、第二带通滤波器12、第三带通滤波器13、第四带通滤波器14、第五带通滤波器15以及第六带通滤波器16与ADC电路17的6个通道连接，ADC电路17与MCU18连接，MCU18 与无线通讯模块21通信连接。第一带通滤波器11、第二带通滤波器12、第三带通滤波器13、第四带通滤波器14、第五带通滤波器15以及第六带通滤波器16的中心频率分别与6个按钮的闪烁频率一致。第一带通滤波器11、第二带通滤波器12、第三带通滤波器 13、第四带通滤波器14、第五带通滤波器15以及第六带通滤波器16的中心频率分别为 7.3Hz、8.06Hz、9.25Hz、10.42Hz、11.62Hz、12.9Hz。
请参阅图5，在本实施例中，并行列队竞争模块23，用于按照以下方式对滤波处理后的6路脑电信号进行处理，输出最终脑电信号频率：
设定算法初始参数：以所述滤波处理后的6路脑电信号作为并行列队竞争算法的输入数据，设定并行列队竞争算法的初始参数，所述初始参数包括最小家族数N0，目标家族数Nt，子代数m；
随机生成初始家族：在每个通道中截取1024个点的AD数据，然后对所述AD数据进行FFT变换，剔除谐波频率后得出相应的信号频率和幅值，所述信号频率是以闪烁频率为中心频率的频率范围，频率范围是±1％；将所述信号频率和幅值作为家族内的单个个体，然后在所述信号频率、ADC电路17的采样频率的约束范围内，随机产生N0个个体作为初始家族从而产生N0组操作条件；根据奈奎斯特采样定律，采样频率需要大于信号频率的2倍，因此在本发明专利中，ADC电路17的采样频率在如下集合内逐一采集： {50Hz，100Hz，200Hz，300Hz，400Hz}。
计算每个通道的目标函数值，所述目标函数值代表6个界面按钮的闪烁频率；
计算出N0组操作条件所对应的信号频率，N0组操作条件所对应的信号频率值为：f(1)＝＝{f1,f2,f3,f4,f5,f6}＝{7.3Hz,8.06Hz,9.25Hz,10.42Hz,11.62Hz,12.9Hz}；
排序:按照各家族的适应性将它们排成一个列队，所述适应性是每个通道的输出目标函数值所对应的信号幅值最大数据；
分配家族搜索空间:根据非支配排序等级和拥挤度距离分配搜索空间，处于非支配排序等级靠前的家族，分配较少的搜索空间，等级靠后的家族，分配较大的搜索空间；当各家族间处于同一等级时，拥挤度距离较小的家族分配较小的搜索空间，拥挤度距离较大的家族分配较大的搜索空间；搜索空间分配方法如下：
设D(K)为第K代时分配给最差家族的搜索空间，当K＝l时，D(K):[B，A]，B和A 指第一代搜索空间内所对应的向量；各个家族根据在列队中的位置分配搜索空间，搜索空间的分配方案如下：
Figure GDA0003276860690000091
第k个个体的搜索空间是以点Wk为中心，以kΔ(K)/m为边长向量的一个矩形区域，矩形区域中变量的下界和上界的计算公式为：
Lkj＝max(xkj-Δjk/2m，aj) 公式1；
Ukj＝min(xkj+Δjk/2m，bj) 公式2；
j＝1，2,……s；k＝1,2,……,m；aj为在搜索空间中变量的上界向量，bj为在搜索空间中变量的下界向量；
向量[1/m，2/m，……，m/m]称为分配比例系数向量，从此向量可看出，当m较大时，列队中相邻家族分配的搜索空间相差较小，这将产生搜索空间的重叠，使搜索效率降低，m在5-10之间，最多不超过20；
根据公式1和公式2可计算出：
家族1分配的搜索区域为：7.1≤x1≤7.3；x2∈{50Hz，100Hz，200Hz，300Hz，400Hz}
家族2分配的搜索区域为：8.0≤x1≤8.2；x2∈{50Hz，100Hz，200Hz，300Hz，400Hz}
家族3分配的搜索区域为：9.1≤x1≤9.4；x2∈{50Hz，100Hz，200Hz，300Hz，400Hz}
家族4分配的搜索区域为：10.2≤x1≤10.6；x2∈{50Hz，100Hz，200Hz，300Hz，400Hz}
家族5分配的搜索区域为：11.5≤x1≤11.7；x2∈{50Hz，100Hz，200Hz，300Hz，400Hz}
家族6分配的搜索区域为：12.7≤x1≤13.0；x2∈{50Hz，100Hz，200Hz，300Hz，400Hz}
各家族在各自的搜索空间内进行繁殖，随机产生m个子代个体；具体到本发明中，在各自的搜索区域内，分别按照{50Hz，100Hz，200Hz，300Hz，400Hz}这5个采集频率进行AD数据采集，截取1024个数据进行FFT变换，剔除谐波频率后得出相应的信号频率和幅值，所得到的频率就可以认为是进行了1代繁殖。
同一家族内，m个子代个体和父代个体一起进行非支配排序，只保留各自家族的非支配解，构成新的家族；具体到本发明中，在进行了m代繁殖后，得到m个子代个体，按照其与目标函数的相关性从大到小进行排序。
判断当前家族数Ni是否大于最小家族数N0；若满足该条件，则进行下一步，否则再随机补充家族到初始家族数N0，重新执行随机生成初始家族；判断当前家族数Ni是否大于目标家族数Nt；若满足该条件，则进行下一步，否则重新执行随机生成初始家族；
二次排序：当6个通道都输出计算结果后，进行二次排序，然后输出最终结果，所述最终结果为最终脑电信号频率。
经过实验，采用本发明的基于脑电检测的眼动跟踪AR界面导航系统的并行列队竞争算法与传统FFT算法得到的最终脑电信号频率以及误差对比如下：
表1 AR眼镜界面中并行列队竞争算法和传统FFT算法的误差对比
Figure GDA0003276860690000111
由上表可知，本发明的基于脑电检测的眼动跟踪AR界面导航系统的界面导航的准确率得到显著提高。
本发明还提供一种基于脑电检测的眼动跟踪AR界面导航方法，应用于以上实施例的基于脑电检测的眼动跟踪AR界面导航系统，方法包括：
AR眼镜显示6个按钮，6个按钮分别按照不同的预设频率闪烁，以使得当人眼凝视按钮2秒以上，人脑产生一个与按钮的预设频率相同的脑电信号。
6通道脑电信号采集模块采集脑电信号，得到6路脑电信号，将6路脑电信号发送至AR设备主机。
AR设备主机获取6通道脑电信号采集模块所采集的脑电信号，对6路脑电信号进行滤波处理，对滤波处理后的6路脑电信号进行并行列队竞争处理，输出最终脑电信号频率，根据最终脑电信号频率确定目标按钮，从而实现界面导航。
在本实施例中，6通道脑电信号采集模块采集脑电信号，得到6路脑电信号包括：6通道脑电信号采集模块接收脑电信号。6通道脑电信号采集模块通过放大电路对脑电信号进行信号放大。6通道脑电信号采集模块将信号放大后的脑电信号传输至6个带通滤波器，6路带通滤波器中心频率分别与6个按钮的闪烁频率一致。6通道脑电信号采集模块的MCU通过SPI接口与ADC电路进行数据通讯，把采集到的6个通道的脑电信号发送到AR设备主机。
在本实施例中，6路带通滤波器中心频率分别7.3Hz、8.06Hz、9.25Hz、10.42Hz、11.62Hz、12.9Hz。
在本实施例中，对滤波处理后的6路脑电信号进行处理，输出最终脑电信号频率包括：
以所述滤波处理后的6路脑电信号作为并行列队竞争算法的输入数据，设定并行列队竞争算法的初始参数，所述初始参数包括最小家族数N0，目标家族数Nt，子代数m；
在每个通道中截取1024个点的AD数据，然后对所述AD数据进行FFT变换，剔除谐波频率后得出相应的信号频率和幅值，所述信号频率是以闪烁频率为中心频率的频率范围，频率范围是±1％；将所述信号频率和幅值作为家族内的单个个体，然后在所述信号频率、ADC电路17的采样频率的约束范围内，随机产生N0个个体作为初始家族从而产生N0组操作条件；ADC电路17的采样频率在如下集合内逐一采集：{50Hz，100Hz， 200Hz，300Hz，400Hz}；
计算每个通道的目标函数值，所述目标函数值代表6个界面按钮的闪烁频率；
计算出N0组操作条件所对应的信号频率，N0组操作条件所对应的信号频率值为：f(1)＝＝{f1,f2,f3,f4,f5,f6}＝{7.3Hz,8.06Hz,9.25Hz,10.42Hz,11.62Hz,12.9Hz}；
按照各家族的适应性将它们排成一个列队，所述适应性是每个通道的输出目标函数值所对应的信号幅值最大数据；
根据非支配排序等级和拥挤度距离分配搜索空间，处于非支配排序等级靠前的家族，分配较少的搜索空间，等级靠后的家族，分配较大的搜索空间；当各家族间处于同一等级时，拥挤度距离较小的家族分配较小的搜索空间，拥挤度距离较大的家族分配较大的搜索空间；搜索空间分配方法如下：
设D(K)为第K代时分配给最差家族的搜索空间，当K＝l时，D(K):[B，A]，B和A 指第一代搜索空间内所对应的向量；各个家族根据在列队中的位置分配搜索空间，搜索空间的分配方案如下：
Figure GDA0003276860690000121
第k个个体的搜索空间是以点Wk为中心，以kΔ(K)/m为边长向量的一个矩形区域，矩形区域中变量的下界和上界的计算公式为：
Lkj＝max(xkj-Δjk/2m，aj) 公式1；
Ukj＝min(xkj+Δjk/2m，bj) 公式2；
j＝1，2,……s；k＝1,2,……,m；aj为在搜索空间中变量的上界向量，bj为在搜索空间中变量的下界向量；
向量[1/m，2/m，……，m/m]称为分配比例系数向量，从此向量可看出，当m较大时，列队中相邻家族分配的搜索空间相差较小，这将产生搜索空间的重叠，使搜索效率降低，m在5-10之间，最多不超过20；
根据公式1和公式2可计算出：
家族1分配的搜索区域为：7.1≤x1≤7.3；x2∈{50Hz，100Hz，200Hz，300Hz，400Hz}
家族2分配的搜索区域为：8.0≤x1≤8.2；x2∈{50Hz，100Hz，200Hz，300Hz，400Hz}
家族3分配的搜索区域为：9.1≤x1≤9.4；x2∈{50Hz，100Hz，200Hz，300Hz，400Hz}
家族4分配的搜索区域为：10.2≤x1≤10.6；x2∈{50Hz，100Hz，200Hz，300Hz，400Hz}
家族5分配的搜索区域为：11.5≤x1≤11.7；x2∈{50Hz，100Hz，200Hz，300Hz，400Hz}
家族6分配的搜索区域为：12.7≤x1≤13.0；x2∈{50Hz，100Hz，200Hz，300Hz，400Hz}
各家族在各自的搜索空间内进行繁殖，随机产生m个子代个体；其中，在各自的搜索区域内，分别按照{50Hz，100Hz，200Hz，300Hz，400Hz}这5个采集频率进行AD数据采集，截取1024个数据进行FFT变换，剔除谐波频率后得出相应的信号频率和幅值，所得到的频率为进行了1代繁殖；
同一家族内，m个子代个体和父代个体一起进行非支配排序，只保留各自家族的非支配解，构成新的家族；其中，在进行了m代繁殖后，得到m个子代个体，按照其与目标函数的相关性从大到小进行排序；
判断当前家族数Ni是否大于最小家族数N0；若满足该条件，则进行下一步，否则再随机补充家族到初始家族数N0，重新执行随机生成初始家族；判断当前家族数Ni是否大于目标家族数Nt；若满足该条件，则进行下一步，否则重新执行随机生成初始家族；
当6个通道都输出计算结果后，进行二次排序，然后输出最终结果，所述最终结果为最终脑电信号频率。
本发明实施例还提供一种存储介质，本发明实施例还提供一种存储介质，存储介质中存储有计算机程序，计算机程序被处理器执行时实现本发明提供的基于脑电检测的眼动跟踪AR界面导航方法的各实施例中的部分或全部步骤。的存储介质可为磁碟、光盘、只读存储记忆体(英文：Read-OnlyMemory，简称：ROM)或随机存储记忆体(英文：RandomAccessMemory，简称：RAM)等。
本领域的技术人员可以清楚地了解到本发明实施例中的技术可借助软件加必需的通用硬件平台的方式来实现。基于这样的理解，本发明实施例中的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在存储介质中，如ROM/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例或者实施例的某些部分的方法。
本说明书中各个实施例之间相同相似的部分互相参见即可。以上所述的本发明实施方式并不构成对本发明保护范围的限定。

Claims (2)

1.一种基于脑电检测的眼动跟踪AR界面导航系统，其特征在于，包括：6通道脑电信号采集模块(1)、AR设备主机(2)以及AR眼镜(3)，所述6通道脑电信号采集模块(1)与所述AR设备主机(2)通信连接，所述AR设备主机(2)与所述AR眼镜(3)连接；
所述6通道脑电信号采集模块(1)，用于采集脑电信号，得到6路脑电信号，将所述6路脑电信号发送至AR设备主机(2)；
所述AR设备主机(2)包括无线通讯模块(21)、软件滤波模块(22)、并行列队竞争模块(23)以及界面导航模块(24)；所述无线通讯模块(21)，用于接收所述脑电信号；所述软件滤波模块(22)，用于对所述6路脑电信号进行滤波处理；所述并行列队竞争模块(23)，用于对滤波处理后的6路脑电信号进行并行列队竞争处理，输出最终脑电信号频率；所述界面导航模块(24)，用于根据所述最终脑电信号频率确定目标按钮，从而实现界面导航；
所述AR眼镜(3)，用于显示6个按钮，所述6个按钮分别按照不同的预设频率闪烁，以使得当人眼凝视所述按钮2秒以上，人脑产生一个与所述按钮的预设频率相同的脑电信号；
所述6通道脑电信号采集模块(1)包括放大电路(10)、第一带通滤波器(11)、第二带通滤波器(12)、第三带通滤波器(13)、第四带通滤波器(14)、第五带通滤波器(15)、第六带通滤波器(16)、ADC电路(17)以及MCU(18)；
所述放大电路(10)分别通过第一带通滤波器(11)、第二带通滤波器(12)、第三带通滤波器(13)、第四带通滤波器(14)、第五带通滤波器(15)以及第六带通滤波器(16)与所述ADC电路(17)的6个通道连接，所述ADC电路(17)与所述MCU(18)连接，所述MCU(18)与所述无线通讯模块(21)通信连接；
所述第一带通滤波器(11)、第二带通滤波器(12)、第三带通滤波器(13)、第四带通滤波器(14)、第五带通滤波器(15)以及第六带通滤波器(16)的中心频率分别与6个按钮的闪烁频率一致；
所述第一带通滤波器(11)、第二带通滤波器(12)、第三带通滤波器(13)、第四带通滤波器(14)、第五带通滤波器(15)以及第六带通滤波器(16)的中心频率分别为7.3Hz、8.06Hz、9.25Hz、10.42Hz、11.62Hz、12.9Hz；
所述并行列队竞争模块(23)，用于按照以下方式对滤波处理后的6路脑电信号进行处理，输出最终脑电信号频率：
以所述滤波处理后的6路脑电信号作为并行列队竞争算法的输入数据，设定并行列队竞争算法的初始参数，所述初始参数包括最小家族数N0，目标家族数Nt，子代数m；
在每个通道中截取1024个点的AD数据，然后对所述AD数据进行FFT变换，剔除谐波频率后得出相应的信号频率和幅值，所述信号频率是以闪烁频率为中心频率的频率范围，频率范围是±1％；将所述信号频率和幅值作为家族内的单个个体，然后在所述信号频率、ADC电路(17)的采样频率的约束范围内，随机产生N0个个体作为初始家族从而产生N0组操作条件；ADC电路(17)的采样频率在如下集合内逐一采集：{50Hz，100Hz，200Hz，300Hz，400Hz}；
计算每个通道的目标函数值，所述目标函数值代表6个界面按钮的闪烁频率；
计算出N0组操作条件所对应的信号频率，N0组操作条件所对应的信号频率值为：f(1)＝＝{f1,f2,f3,f4,f5,f6}＝{7.3Hz,8.06Hz,9.25Hz,10.42Hz,11.62Hz,12.9Hz}；
按照各家族的适应性将它们排成一个列队，所述适应性是每个通道的输出目标函数值所对应的信号幅值最大数据；
根据非支配排序等级和拥挤度距离分配搜索空间，处于非支配排序等级靠前的家族，分配较少的搜索空间，等级靠后的家族，分配较大的搜索空间；当各家族间处于同一等级时，拥挤度距离较小的家族分配较小的搜索空间，拥挤度距离较大的家族分配较大的搜索空间；搜索空间分配方法如下：
设D(K)为第K代时分配给最差家族的搜索空间，当K＝l时，D(K):[B，A]，B和A指第一代搜索空间内所对应的向量；各个家族根据在列队中的位置分配搜索空间，搜索空间的分配方案如下：
Figure FDA0003276860680000021
第k个个体的搜索空间是以点Wk为中心，以kΔ(K)/m为边长向量的一个矩形区域，矩形区域中变量的下界和上界的计算公式为：
Lkj＝max(xkj-Δjk/2m，aj) 公式1；
Ukj＝min(xkj+Δjk/2m，bj) 公式2；
j＝1，2,……s；k＝1,2,……,m；aj为在搜索空间中变量的上界向量，bj为在搜索空间中变量的下界向量；
向量[1/m，2/m，……，m/m]称为分配比例系数向量，从此向量可看出，当m较大时，列队中相邻家族分配的搜索空间相差较小，这将产生搜索空间的重叠，使搜索效率降低，m在5-10之间；
根据公式1和公式2可计算出：
家族1分配的搜索区域为：7.1≤x1≤7.3；x2∈{50Hz，100Hz，200Hz，300Hz，400Hz}
家族2分配的搜索区域为：8.0≤x1≤8.2；x2∈{50Hz，100Hz，200Hz，300Hz，400Hz}
家族3分配的搜索区域为：9.1≤x1≤9.4；x2∈{50Hz，100Hz，200Hz，300Hz，400Hz}
家族4分配的搜索区域为：10.2≤x1≤10.6；x2∈{50Hz，100Hz，200Hz，300Hz，400Hz}
家族5分配的搜索区域为：11.5≤x1≤11.7；x2∈{50Hz，100Hz，200Hz，300Hz，400Hz}
家族6分配的搜索区域为：12.7≤x1≤13.0；x2∈{50Hz，100Hz，200Hz，300Hz，400Hz}
各家族在各自的搜索空间内进行繁殖，随机产生m个子代个体；其中，在各自的搜索区域内，分别按照{50Hz，100Hz，200Hz，300Hz，400Hz}这5个采集频率进行AD数据采集，截取1024个数据进行FFT变换，剔除谐波频率后得出相应的信号频率和幅值，所得到的频率为进行了1代繁殖；
同一家族内，m个子代个体和父代个体一起进行非支配排序，只保留各自家族的非支配解，构成新的家族；其中，在进行了m代繁殖后，得到m个子代个体，按照其与目标函数的相关性从大到小进行排序；
判断当前家族数Ni是否大于最小家族数N0；若满足该条件，则进行下一步，否则再随机补充家族到初始家族数N0，重新执行随机生成初始家族；判断当前家族数Ni是否大于目标家族数Nt；若满足该条件，则进行下一步，否则重新执行随机生成初始家族；
当6个通道都输出计算结果后，进行二次排序，然后输出最终结果，所述最终结果为最终脑电信号频率。
2.一种基于脑电检测的眼动跟踪AR界面导航方法，应用于权利要求1所述的基于脑电检测的眼动跟踪AR界面导航系统，其特征在于，所述方法包括：
AR眼镜显示6个按钮，所述6个按钮分别按照不同的预设频率闪烁，以使得当人眼凝视所述按钮2秒以上，人脑产生一个与所述按钮的预设频率相同的脑电信号；
6通道脑电信号采集模块采集脑电信号，得到6路脑电信号，将所述6路脑电信号发送至AR设备主机；
AR设备主机获取6通道脑电信号采集模块所采集的脑电信号，对6路脑电信号进行滤波处理，对滤波处理后的6路脑电信号进行并行列队竞争处理，输出最终脑电信号频率，根据所述最终脑电信号频率确定目标按钮，从而实现界面导航；
6通道脑电信号采集模块采集脑电信号，得到6路脑电信号包括：
6通道脑电信号采集模块接收脑电信号；
6通道脑电信号采集模块通过放大电路对所述脑电信号进行信号放大；
6通道脑电信号采集模块将信号放大后的脑电信号传输至6个带通滤波器，6路带通滤波器中心频率分别与6个按钮的闪烁频率一致；
6通道脑电信号采集模块的MCU通过SPI接口与ADC电路进行数据通讯，把采集到的6个通道的脑电信号发送到AR设备主机；
所述6路带通滤波器中心频率分别7.3Hz、8.06Hz、9.25Hz、10.42Hz、11.62Hz、12.9Hz；
对滤波处理后的6路脑电信号进行处理，输出最终脑电信号频率包括：
以所述滤波处理后的6路脑电信号作为并行列队竞争算法的输入数据，设定并行列队竞争算法的初始参数，所述初始参数包括最小家族数N0，目标家族数Nt，子代数m；
在每个通道中截取1024个点的AD数据，然后对所述AD数据进行FFT变换，剔除谐波频率后得出相应的信号频率和幅值，所述信号频率是以闪烁频率为中心频率的频率范围，频率范围是±1％；将所述信号频率和幅值作为家族内的单个个体，然后在所述信号频率、ADC电路(17)的采样频率的约束范围内，随机产生N0个个体作为初始家族从而产生N0组操作条件；ADC电路(17)的采样频率在如下集合内逐一采集：{50Hz，100Hz，200Hz，300Hz，400Hz}；
计算每个通道的目标函数值，所述目标函数值代表6个界面按钮的闪烁频率；
计算出N0组操作条件所对应的信号频率，N0组操作条件所对应的信号频率值为：f(1)＝＝{f1,f2,f3,f4,f5,f6}＝{7.3Hz,8.06Hz,9.25Hz,10.42Hz,11.62Hz,12.9Hz}；
按照各家族的适应性将它们排成一个列队，所述适应性是每个通道的输出目标函数值所对应的信号幅值最大数据；
根据非支配排序等级和拥挤度距离分配搜索空间，处于非支配排序等级靠前的家族，分配较少的搜索空间，等级靠后的家族，分配较大的搜索空间；当各家族间处于同一等级时，拥挤度距离较小的家族分配较小的搜索空间，拥挤度距离较大的家族分配较大的搜索空间；搜索空间分配方法如下：
设D(K)为第K代时分配给最差家族的搜索空间，当K＝l时，D(K):[B，A]，B和A指第一代搜索空间内所对应的向量；各个家族根据在列队中的位置分配搜索空间，搜索空间的分配方案如下：
Figure FDA0003276860680000041
第k个个体的搜索空间是以点Wk为中心，以kΔ(K)/m为边长向量的一个矩形区域，矩形区域中变量的下界和上界的计算公式为：
Lkj＝max(xkj-Δjk/2m，aj) 公式1；
Ukj＝min(xkj+Δjk/2m，bj) 公式2；
j＝1，2,……s；k＝1,2,……,m；aj为在搜索空间中变量的上界向量，bj为在搜索空间中变量的下界向量；
向量[1/m，2/m，……，m/m]称为分配比例系数向量，从此向量可看出，当m较大时，列队中相邻家族分配的搜索空间相差较小，这将产生搜索空间的重叠，使搜索效率降低，m在5-10之间；
根据公式1和公式2可计算出：
家族1分配的搜索区域为：7.1≤x1≤7.3；x2∈{50Hz，100Hz，200Hz，300Hz，400Hz}
家族2分配的搜索区域为：8.0≤x1≤8.2；x2∈{50Hz，100Hz，200Hz，300Hz，400Hz}
家族3分配的搜索区域为：9.1≤x1≤9.4；x2∈{50Hz，100Hz，200Hz，300Hz，400Hz}
家族4分配的搜索区域为：10.2≤x1≤10.6；x2∈{50Hz，100Hz，200Hz，300Hz，400Hz}
家族5分配的搜索区域为：11.5≤x1≤11.7；x2∈{50Hz，100Hz，200Hz，300Hz，400Hz}
家族6分配的搜索区域为：12.7≤x1≤13.0；x2∈{50Hz，100Hz，200Hz，300Hz，400Hz}
各家族在各自的搜索空间内进行繁殖，随机产生m个子代个体；其中，在各自的搜索区域内，分别按照{50Hz，100Hz，200Hz，300Hz，400Hz}这5个采集频率进行AD数据采集，截取1024个数据进行FFT变换，剔除谐波频率后得出相应的信号频率和幅值，所得到的频率为进行了1代繁殖；
同一家族内，m个子代个体和父代个体一起进行非支配排序，只保留各自家族的非支配解，构成新的家族；其中，在进行了m代繁殖后，得到m个子代个体，按照其与目标函数的相关性从大到小进行排序；
判断当前家族数Ni是否大于最小家族数N0；若满足该条件，则进行下一步，否则再随机补充家族到初始家族数N0，重新执行随机生成初始家族；判断当前家族数Ni是否大于目标家族数Nt；若满足该条件，则进行下一步，否则重新执行随机生成初始家族；
当6个通道都输出计算结果后，进行二次排序，然后输出最终结果，所述最终结果为最终脑电信号频率。
CN202110939030.9A 2021-08-16 2021-08-16 基于脑电检测的眼动跟踪ar界面导航系统及方法 Active CN113377212B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110939030.9A CN113377212B (zh) 2021-08-16 2021-08-16 基于脑电检测的眼动跟踪ar界面导航系统及方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110939030.9A CN113377212B (zh) 2021-08-16 2021-08-16 基于脑电检测的眼动跟踪ar界面导航系统及方法

Publications (2)

Publication Number Publication Date
CN113377212A CN113377212A (zh) 2021-09-10
CN113377212B true CN113377212B (zh) 2021-11-16

Family

ID=77577295

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110939030.9A Active CN113377212B (zh) 2021-08-16 2021-08-16 基于脑电检测的眼动跟踪ar界面导航系统及方法

Country Status (1)

Country Link
CN (1) CN113377212B (zh)

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102065275A (zh) * 2009-11-17 2011-05-18 中国科学院电子学研究所 智能视频监控系统中多目标跟踪方法
CN106774847A (zh) * 2016-11-24 2017-05-31 天津大学 基于虚拟现实技术的三维视觉P300‑Speller系统
CN111694425A (zh) * 2020-04-27 2020-09-22 中国电子科技集团公司第二十七研究所 一种基于ar-ssvep的目标识别方法及系统
CN112764547A (zh) * 2021-02-07 2021-05-07 中国人民解放军国防科技大学 一种基于脑电和眼动信号的射击控制系统及控制方法
CN112859628A (zh) * 2021-01-19 2021-05-28 华南理工大学 基于多模态脑机接口与增强现实的智能家居控制方法
CN113250768A (zh) * 2021-06-17 2021-08-13 汉谷云智(武汉)科技有限公司 一种热电联产供热机组热电负荷优化方法

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20040073129A1 (en) * 2002-10-15 2004-04-15 Ssi Corporation EEG system for time-scaling presentations
US8758018B2 (en) * 2009-12-31 2014-06-24 Teledyne Scientific & Imaging, Llc EEG-based acceleration of second language learning
CN110037696A (zh) * 2019-04-24 2019-07-23 广州贝方医疗设备有限公司 基于眼电开关的脑电生物反馈系统

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102065275A (zh) * 2009-11-17 2011-05-18 中国科学院电子学研究所 智能视频监控系统中多目标跟踪方法
CN106774847A (zh) * 2016-11-24 2017-05-31 天津大学 基于虚拟现实技术的三维视觉P300‑Speller系统
CN111694425A (zh) * 2020-04-27 2020-09-22 中国电子科技集团公司第二十七研究所 一种基于ar-ssvep的目标识别方法及系统
CN112859628A (zh) * 2021-01-19 2021-05-28 华南理工大学 基于多模态脑机接口与增强现实的智能家居控制方法
CN112764547A (zh) * 2021-02-07 2021-05-07 中国人民解放军国防科技大学 一种基于脑电和眼动信号的射击控制系统及控制方法
CN113250768A (zh) * 2021-06-17 2021-08-13 汉谷云智(武汉)科技有限公司 一种热电联产供热机组热电负荷优化方法

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
A Sliding Window Common Spatial Pattern for Enhancing Motor Imagery Classification in EEG-BCI;Pramod Gaur et al.;《IEEE Transactions on Instrumentation and Measurement》;20210118;全文 *
基于眼动和脑电的界面认知评价研究;黄剑伟;《万方学位论文数据库》;20140918;全文 *
用列队竞争算法求解布局-分配问题;沈堃 等;《武汉理工大学学报》;20060302;第27卷(第12期);全文 *

Also Published As

Publication number Publication date
CN113377212A (zh) 2021-09-10

Similar Documents

Publication Publication Date Title
US10838496B2 (en) Human-machine interaction method based on visual stimulation
Jin et al. An improved P300 pattern in BCI to catch user’s attention
Fazel-Rezai et al. P300 brain computer interface: current challenges and emerging trends
Z. Allison et al. A four-choice hybrid P300/SSVEP BCI for improved accuracy
CN103699216B (zh) 一种基于运动想象和视觉注意混合脑机接口的电子邮件通信系统及方法
WO2017084416A1 (zh) 一种基于运动想象脑-机接口的反馈系统
Kawala-Janik et al. Game controller based on biomedical signals
Liu et al. SincNet-based hybrid neural network for motor imagery EEG decoding
WO2002050652A2 (en) Method and system for initiating activity based on sensed electrophysiological data
He et al. Motor imagery EEG signals analysis based on Bayesian network with Gaussian distribution
CN107239137B (zh) 一种基于虚拟键盘的文字输入方法及装置
CN106560765A (zh) 一种虚拟现实中内容交互的方法和装置
US10860104B2 (en) Augmented reality controllers and related methods
CN105511600A (zh) 一种基于混合现实的多媒体人机交互平台
CN110221684A (zh) 装置控制方法、系统、电子装置及计算机可读存储介质
WO2019144025A1 (en) Neuro-adaptive body sensing for user states framework (nabsus)
Nijholt The future of brain-computer interfacing (keynote paper)
De Paolis et al. The effects of touchless interaction on usability and sense of presence in a virtual environment
Fang et al. Recent advances of P300 speller paradigms and algorithms
Gentile et al. Novel human-to-human interactions from the evolution of HCI
CN110688013A (zh) 一种基于ssvep的英文键盘拼写系统及拼写方法
CN113377212B (zh) 基于脑电检测的眼动跟踪ar界面导航系统及方法
CN108348157A (zh) 利用多用途电容式触摸传感器的心率检测
CN106020497A (zh) 显示设备、系统及显示处理方法
CN107272905B (zh) 一种基于eog和emg的交互方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
TR01 Transfer of patent right
TR01 Transfer of patent right

Effective date of registration: 20220725

Address after: Room 443, No. 42, Guangzhou road, Zhongxing Street, Nantong Development Zone, Jiangsu Province, 226000

Patentee after: Nantong zhongguxin Intelligent Technology Co.,Ltd.

Address before: 210012 East, floor 2, building B2, No. 118, software Avenue, Yuhuatai District, Nanjing, Jiangsu Province

Patentee before: NANJING ZHONGGUXIN INFORMATION TECHNOLOGY CO.,LTD.