CN112859628A - 基于多模态脑机接口与增强现实的智能家居控制方法 - Google Patents

基于多模态脑机接口与增强现实的智能家居控制方法 Download PDF

Info

Publication number
CN112859628A
CN112859628A CN202110068284.8A CN202110068284A CN112859628A CN 112859628 A CN112859628 A CN 112859628A CN 202110068284 A CN202110068284 A CN 202110068284A CN 112859628 A CN112859628 A CN 112859628A
Authority
CN
China
Prior art keywords
user
augmented reality
interface
button
electroencephalogram
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202110068284.8A
Other languages
English (en)
Inventor
李远清
李伦康
瞿军
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
South China University of Technology SCUT
Original Assignee
South China University of Technology SCUT
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by South China University of Technology SCUT filed Critical South China University of Technology SCUT
Priority to CN202110068284.8A priority Critical patent/CN112859628A/zh
Publication of CN112859628A publication Critical patent/CN112859628A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B15/00—Systems controlled by a computer
    • G05B15/02—Systems controlled by a computer electric
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B19/00—Programme-control systems
    • G05B19/02—Programme-control systems electric
    • G05B19/418—Total factory control, i.e. centrally controlling a plurality of machines, e.g. direct or distributed numerical control [DNC], flexible manufacturing systems [FMS], integrated manufacturing systems [IMS] or computer integrated manufacturing [CIM]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/015—Input arrangements based on nervous system activity detection, e.g. brain waves [EEG] detection, electromyograms [EMG] detection, electrodermal response detection
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00—Program-control systems
    • G05B2219/20—Pc systems
    • G05B2219/26—Pc applications
    • G05B2219/2642—Domotique, domestic, home control, automation, smart house
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2218/00—Aspects of pattern recognition specially adapted for signal processing
    • G06F2218/12—Classification; Matching
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
    • Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
    • Y02P90/02—Total factory control, e.g. smart factories, flexible manufacturing systems [FMS] or integrated manufacturing systems [IMS]

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Automation & Control Theory (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Dermatology (AREA)
  • General Health & Medical Sciences (AREA)
  • Neurology (AREA)
  • Neurosurgery (AREA)
  • Human Computer Interaction (AREA)
  • Manufacturing & Machinery (AREA)
  • Quality & Reliability (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

本发明公开了基于多模态脑机接口与增强现实的智能家居控制方法，将各模块按图1所示顺序连接好，并使用户正常佩戴脑电信号采集帽和增强现实设备；“开始”按钮会以一个固定的频率进行闪烁，此时脑电信号处理模块仅对采集到的用户脑电进行SSVEP信号检测，若某用户正在注视闪烁的按钮，则其对应的脑电采集帽将会有稳态视觉诱发电位SSVEP的出现，当用户进入设备菜单主界面后，将增强现实知识库中的可操作智能家居设备排列成二维矩阵的形式，采用改进的P300的行列式刺激范式此方式在需要选择的目标较多时，可大大提高操作时的时间效率；实现多用户通过脑机接口与增强现实技术对现实中的智能家居设备进行控制，为脑机接口在实际应用中提供了一个接入点。

Description

基于多模态脑机接口与增强现实的智能家居控制方法
技术领域
本发明属于智能家居控制技术领域，具体涉及基于多模态脑机接口与增强现实的智能家居控制方法。
背景技术
在当今社会中，科技不断发展，残疾人或手脚活动不便的人群也有了一些科技辅助设备，如何更好地服务该人群也成了科技发展的一个方向，为了提高该人群得活动和工作生活能力，特进行了如下的调研和分析：申请号为201711166187.2和201910524880.5的发明是将SSVEP脑电信号与眼动信号相结合的控制方式。前者通过眼动信号在增强现实设备显示的界面中进行被控对象的选择，然后采用SSVEP脑电信号进行进一步的控制；后者是将眼动信号与SSVEP信号直接融合到多模态神经网络中得到控制指令。采用脑眼结合的方式优点是解放了双手，但缺点是难以区分实际操作时的眼动与无目的性的眼动，并且频繁的操作会对用户的用眼习惯造成影响；申请号为201910416699.2的发明，结合了图像处理和SSVEP等方式对机械臂进行控制，图像处理用来选择操作对象，SSVEP进行被控设备的操作，优点是该方法能提供一种所见即所得的控制效果，注意力无需在刺激界面和机械臂之间来回转移，缺点是SSVEP的可使用频率带宽有限，机械臂的操作精度受到限制；申请号201610789801.X的发明，是采用了脑电加肌电的控制方式，通过SSVEP信号对被控对象进行选择，然后通过咬齿和舌动肌电信号对被控设备进行控制。此方式的控制的准确性较高，但缺点是SSVEP信号可使用的频率带款有限，限制了被控设备数量的扩展；申请号为201910466601.4的发明是一种采用了P300和增强现实结合的控制方法，该方法将被控设备进行编号，然后通过感知系统对设备进行感知，再通过P300进行控制，此方法仅采用了单一模态的P300脑电信号，在设备编号较大的时候，控制的效率会大幅降低。由于非侵入式脑机接口采集的脑电信号不是高信噪比的信号，目前对该信号的分析和使用中仍有不低的错误率。一般基于单模态脑机接口的控制方法中，一旦需要实现的控制指令较多时，系统要么控制效率低下，要么错误率会较高。
发明内容
本发明的目的在于提供基于多模态脑机接口与增强现实的智能家居控制方法，以解决上述背景技术中提出的问题。
为实现上述目的，本发明提供如下技术方案：基于多模态脑机接口与增强现实的智能家居控制方法，步骤一：将各模块按图1所示顺序连接好，并使用户正常佩戴脑电信号采集帽和增强现实设备；增强现实设备开启后，会出现如图2所示界面，图中“开始”按钮会以一个固定的频率进行闪烁，此时脑电信号处理模块仅对采集到的用户脑电进行SSVEP信号检测，若某用户正在注视闪烁的按钮，则其对应的脑电采集帽将会有稳态视觉诱发电位SSVEP的出现，通过提取其频域特征，通过计算按钮闪烁的频率的窄带范围平均能量和宽带范围的平均能量的比率α；判断该值是否已达到某一阈值，若达到，则表示用户进行了选择操作，进入设备菜单主界面，若未达到，不行任何操作，各设备状态不变；
步骤二：当用户进入设备菜单主界面后，增强现实设备中会出现如图3所示的界面，在该界面中将增强现实知识库中的可操作智能家居设备排列成二维矩阵的形式，采用改进的P300的行列式刺激范式此方式在需要选择的目标较多时，可大大提高操作时的时间效率，传统的P300刺激范式是整行(整列)一起闪烁，虽然将P300的闪烁轮数从n2数量级降到了n数量级，但是仍存在误选的情况，且误选后只能删除并重选，本步骤中将原本需要选择的按钮闪烁移至了矩阵外的特殊图标{A，B，C}和{1，2，3，4，5}上；具体流程为：流程1：进入该菜单后仅闪烁A，B，C三个按钮，矩阵内的智能家居按钮不闪烁，对用户的脑电信号进行P300检测，若检测到用户脑电信号存在P300信号，则说明用户进行了操作，此时被选的一行整体标记(变色)；流程2：若流程1中完成了选择，增强现实会出先如图4所示的界面，A，B，C三个按钮停止闪烁，“1”“2”“3”“4”“5”“撤销”“确定”等按钮开始进行闪烁；数字标记的按钮主要用于激发用户的P300脑电信号，文字标记的按钮闪烁用于激发SSVEP脑电信号；脑电信号处理模块检测到P300信号，则表示用户对数字标记的按钮进行了选择，此时将该列进行标记(变色)，矩阵中某一个智能家居设备的行和列均被标记后，增强现实界面会如图5所示(例为智能家居7已被标记)，表示用户已经选定了设备，接下来用户只需要盯着“确定”按钮即可，此时脑电信号处理模块若检测到“确定”按钮激发的SSVEP信号后，即可进入智能家居设备的可执行操作的菜单界面中；此步骤中的两轮P300检测可能偶尔由于用户疲劳产生误差，此流程中提供了两种方式对错误进行修正：①通过运动想象的左右手运动进行想象使矩阵中对行的标记进行标记的上下(列标记的左右)移动，回到用户真正想操作的行(列)，②矩阵下方的“撤销”和“确认”两个按钮分别以不同的频率进行闪烁，若用户在P300检测中选择了错误的目标，则可通过注视“撤销”按钮的闪烁，若脑电处理模块检测到了对应于“撤销”的SSVEP信号，则返回前一步的操作。若此步骤中操作无误则进入下一个步骤；
步骤三：此步骤中用户已经成功选则了需要选择的智能家居设备，增强现实界面中此时将显示具体智能家居设备的可执行操作菜单，如图6所示，此步骤中的选择和操作过程同步骤二，但多了一个回到主界面的选项，该选项与“撤销”“确定”按钮闪烁方式一样，均为某一固定频率，但位置会偏向角落一些，防止用户视觉疲劳造成的误触，方便用户操作完具体设备后回到主界面进行其他设备的操作；此步骤中完成具体功能的选择与确认后进入步骤4，并且不会进行页面的跳转，而是回到刚进入该页面的状态，即图6所示界面，便于用户进行该设备的下一步操作；若用户需要操作其他智能家居设备，只需注视“主界面”按钮，即可直接返回如图3所示的界面；
步骤四：用户在步骤三中完成了智能家居设备的选择与操作后，网络服务模块中的信号融合单元将会从增强现实知识库中取出当前增强现实设备中显示的界面和标记信息，并与脑电信处理模块输出的结果进行整合，并输出到智能家居控制器，通过该控制器将控制信号转发到具体智能家居设备完成控制功能。
优选的，上述步骤一和步骤二中的增强现实模块中显示的界面发生跳转时，增强现实设备将会把跳转时间发送给网络服务模块，网络服务模块将会把时间信息发给脑电信号处理模块进行刺激画面和脑电检测的同步。
优选的，在检测到用户有脑电信号的变化时，网络服务模块将具体的脑电信号分析后的结果记录在增强现实知识库中，用来反馈给增强现实设备更新界面。
优选的，上述步骤二中图标进行P300刺激闪烁时，每组图标({A，B，C}或者{1，2，3，4，5})重复闪烁n遍，在每遍闪烁中，组内各图标均按顺序各闪烁一次，脑机接口客户端对采集到的头皮脑电信号进行带通滤波，然后将对应于每个P300按钮闪烁的数据截取0-600ms的采样点，对这些采样点进行1/6下采样，将对应于每个P300按钮闪烁的下采样后得到的数据连接构成一个特征向量，之后再将n次采集所得的所有P300按钮闪烁对应的特征向量进行分类识别，以确定使用者想要选择的目标。
与现有技术相比，本发明的有益效果是：本发明可以实现多用户通过脑机接口与增强现实技术对现实中的智能家居设备进行控制，为脑机接口在实际应用中提供了一个接入点；能为在养老院，医院中为大量手脚不便的人群在生活上带来极大的便利。
传统脑机接口在与增强现实结合时，若不添加其他辅助外设，控制效果会有诸多限制，如P300的刺激时间过长，SSVEP频带宽度较窄无法满足大量选项；若添加辅助外设，如语音录制设备、眼动跟踪设备，则增加了用户的使用成本和学习成本，本发明将多种脑机接口进行了结合，既提高了脑机接口的稳定性与准确性又满足了脑机接口在使用时的快速性和舒适性。
附图说明
图1为本发明的原理示意图；
图2为本发明的增强现实界面初始界面的示意图；
图3为本发明的用户进行目标行选择示意图；
图4为本发明用户进行目标列选择示意图；
图5为本发明的目标行和目标列均已完成选择的示意图；
图6为本发明的智能家居设备具体功能选项界面的示意图；
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
实施例1
请参阅图1至图6，本发明提供一种技术方案：基于多模态脑机接口与增强现实的智能家居控制方法，步骤一：将各模块按图1所示顺序连接好，并使用户正常佩戴脑电信号采集帽和增强现实设备；增强现实设备开启后，会出现如图2所示界面，图中“开始”按钮会以一个固定的频率进行闪烁，此时脑电信号处理模块仅对采集到的用户脑电进行SSVEP信号检测，若某用户正在注视闪烁的按钮，则其对应的脑电采集帽将会有稳态视觉诱发电位SSVEP的出现，通过提取其频域特征，通过计算按钮闪烁的频率的窄带范围平均能量和宽带范围的平均能量的比率α；判断该值是否已达到某一阈值，若达到，则表示用户进行了选择操作，进入设备菜单主界面，若未达到，不行任何操作，各设备状态不变；
步骤二：当用户进入设备菜单主界面后，增强现实设备中会出现如图3所示的界面，在该界面中将增强现实知识库中的可操作智能家居设备排列成二维矩阵的形式，采用改进的P300的行列式刺激范式此方式在需要选择的目标较多时，可大大提高操作时的时间效率，传统的P300刺激范式是整行(整列)一起闪烁，虽然将P300的闪烁轮数从n2数量级降到了n数量级，但是仍存在误选的情况，且误选后只能删除并重选，本步骤中将原本需要选择的按钮闪烁移至了矩阵外的特殊图标{A，B，C}和{1，2，3，4，5}上；具体流程为：流程1：进入该菜单后仅闪烁A，B，C三个按钮，矩阵内的智能家居按钮不闪烁，对用户的脑电信号进行P300检测，若检测到用户脑电信号存在P300信号，则说明用户进行了操作，此时被选的一行整体标记(变色)；流程2：若流程1中完成了选择，增强现实会出先如图4所示的界面，A，B，C三个按钮停止闪烁，“1”“2”“3”“4”“5”“撤销”“确定”等按钮开始进行闪烁；数字标记的按钮主要用于激发用户的P300脑电信号，文字标记的按钮闪烁用于激发SSVEP脑电信号；脑电信号处理模块检测到P300信号，则表示用户对数字标记的按钮进行了选择，此时将该列进行标记(变色)，矩阵中某一个智能家居设备的行和列均被标记后，增强现实界面会如图5所示(例为智能家居7已被标记)，表示用户已经选定了设备，接下来用户只需要盯着“确定”按钮即可，此时脑电信号处理模块若检测到“确定”按钮激发的SSVEP信号后，即可进入智能家居设备的可执行操作的菜单界面中；此步骤中的两轮P300检测可能偶尔由于用户疲劳产生误差，此流程中提供了两种方式对错误进行修正：①通过运动想象的左右手运动进行想象使矩阵中对行的标记进行标记的上下(列标记的左右)移动，回到用户真正想操作的行(列)，②矩阵下方的“撤销”和“确认”两个按钮分别以不同的频率进行闪烁，若用户在P300检测中选择了错误的目标，则可通过注视“撤销”按钮的闪烁，若脑电处理模块检测到了对应于“撤销”的SSVEP信号，则返回前一步的操作。若此步骤中操作无误则进入下一个步骤；
步骤三：此步骤中用户已经成功选则了需要选择的智能家居设备，增强现实界面中此时将显示具体智能家居设备的可执行操作菜单，如图6所示，此步骤中的选择和操作过程同步骤二，但多了一个回到主界面的选项，该选项与“撤销”“确定”按钮闪烁方式一样，均为某一固定频率，但位置会偏向角落一些，防止用户视觉疲劳造成的误触，方便用户操作完具体设备后回到主界面进行其他设备的操作；此步骤中完成具体功能的选择与确认后进入步骤4，并且不会进行页面的跳转，而是回到刚进入该页面的状态，便于用户进行该设备的下一步操作；若用户需要操作其他智能家居设备，只需注视“主界面”按钮，即可直接返回如图3所示的界面；
步骤四：用户在步骤三中完成了智能家居设备的选择与操作后，网络服务模块中的信号融合单元将会从增强现实知识库中取出当前增强现实设备中显示的界面和标记信息，并与脑电信处理模块输出的结果进行整合，并输出到智能家居控制器，通过该控制器将控制信号转发到具体智能家居设备完成控制功能。
本实施例中，优选的，上述步骤一和步骤二中的增强现实模块中显示的界面发生跳转时，增强现实设备将会把跳转时间发送给网络服务模块，网络服务模块将会把时间信息发给脑电信号处理模块进行刺激画面和脑电检测的同步。
本实施例中，优选的，在检测到用户有脑电信号的变化时，网络服务模块将具体的脑电信号分析后的结果记录在增强现实知识库中，用来反馈给增强现实设备更新界面。
本实施例中，优选的，上述步骤二中图标进行P300刺激闪烁时，每组图标({A，B，C}或者{1，2，3，4，5})重复闪烁n遍，在每遍闪烁中，组内各图标均按顺序各闪烁一次，脑机接口客户端对采集到的头皮脑电信号进行带通滤波，然后将对应于每个P300按钮闪烁的数据截取0-600ms的采样点，对这些采样点进行1/6下采样，将对应于每个P300按钮闪烁的下采样后得到的数据连接构成一个特征向量，之后再将n次采集所得的所有P300按钮闪烁对应的特征向量进行分类识别，以确定使用者想要选择的目标。
尽管已经示出和描述了本发明的实施例，对于本领域的普通技术人员而言，可以理解在不脱离本发明的原理和精神的情况下可以对这些实施例进行多种变化、修改、替换和变型，本发明的范围由所附权利要求及其等同物限定。

Claims (4)

1.基于多模态脑机接口与增强现实的智能家居控制方法，其特征在于：
步骤一：将各模块按图1所示顺序连接好，并使用户正常佩戴脑电信号采集帽和增强现实设备；增强现实设备开启后，会出现如图2所示界面，图中“开始”按钮会以一个固定的频率进行闪烁，此时脑电信号处理模块仅对采集到的用户脑电进行SSVEP信号检测，若某用户正在注视闪烁的按钮，则其对应的脑电采集帽将会有稳态视觉诱发电位SSVEP的出现，通过提取其频域特征，通过计算按钮闪烁的频率的窄带范围平均能量和宽带范围的平均能量的比率α；判断该值是否已达到某一阈值，若达到，则表示用户进行了选择操作，进入设备菜单主界面，若未达到，不行任何操作，各设备状态不变；
步骤二：当用户进入设备菜单主界面后，增强现实设备中会出现如图3所示的界面，在该界面中将增强现实知识库中的可操作智能家居设备排列成二维矩阵的形式，采用改进的P300的行列式刺激范式此方式在需要选择的目标较多时，可大大提高操作时的时间效率，传统的P300刺激范式是整行(整列)一起闪烁，虽然将P300的闪烁轮数从n2数量级降到了n数量级，但是仍存在误选的情况，且误选后只能删除并重选，本步骤中将原本需要选择的按钮闪烁移至了矩阵外的特殊图标{A，B，C}和{1，2，3，4，5}上；具体流程为：流程1：进入该菜单后仅闪烁A，B，C三个按钮，矩阵内的智能家居按钮不闪烁，对用户的脑电信号进行P300检测，若检测到用户脑电信号存在P300信号，则说明用户进行了操作，此时被选的一行整体标记(变色)；流程2：若流程1中完成了选择，增强现实会出先如图4所示的界面，A，B，C三个按钮停止闪烁，“1”“2”“3”“4”“5”“撤销”“确定”等按钮开始进行闪烁；数字标记的按钮主要用于激发用户的P300脑电信号，文字标记的按钮闪烁用于激发SSVEP脑电信号；脑电信号处理模块检测到P300信号，则表示用户对数字标记的按钮进行了选择，此时将该列进行标记(变色)，矩阵中某一个智能家居设备的行和列均被标记后，增强现实界面会如图5所示(例为智能家居7已被标记)，表示用户已经选定了设备，接下来用户只需要盯着“确定”按钮即可，此时脑电信号处理模块若检测到“确定”按钮激发的SSVEP信号后，即可进入智能家居设备的可执行操作的菜单界面中；此步骤中的两轮P300检测可能偶尔由于用户疲劳产生误差，此流程中提供了两种方式对错误进行修正：①通过运动想象的左右手运动进行想象使矩阵中对行的标记进行标记的上下(列标记的左右)移动，回到用户真正想操作的行(列)，②矩阵下方的“撤销”和“确认”两个按钮分别以不同的频率进行闪烁，若用户在P300检测中选择了错误的目标，则可通过注视“撤销”按钮的闪烁，若脑电处理模块检测到了对应于“撤销”的SSVEP信号，则返回前一步的操作。若此步骤中操作无误则进入下一个步骤；
步骤三：此步骤中用户已经成功选则了需要选择的智能家居设备，增强现实界面中此时将显示具体智能家居设备的可执行操作菜单，如图6所示，此步骤中的选择和操作过程同步骤二，但多了一个回到主界面的选项，该选项与“撤销”“确定”按钮闪烁方式一样，均为某一固定频率，但位置会偏向角落一些，防止用户视觉疲劳造成的误触，方便用户操作完具体设备后回到主界面进行其他设备的操作；此步骤中完成具体功能的选择与确认后进入步骤4，并且不会进行页面的跳转，而是回到刚进入该页面的状态，即图6所示界面，便于用户进行该设备的下一步操作；若用户需要操作其他智能家居设备，只需注视“主界面”按钮，即可直接返回如图3所示的界面；
步骤四：用户在步骤三中完成了智能家居设备的选择与操作后，网络服务模块中的信号融合单元将会从增强现实知识库中取出当前增强现实设备中显示的界面和标记信息，并与脑电信处理模块输出的结果进行整合，并输出到智能家居控制器，通过该控制器将控制信号转发到具体智能家居设备完成控制功能。
2.根据权利要求1所述的基于多模态脑机接口与增强现实的智能家居控制方法，其特征在于：上述步骤一和步骤二中的增强现实模块中显示的界面发生跳转时，增强现实设备将会把跳转时间发送给网络服务模块，网络服务模块将会把时间信息发给脑电信号处理模块进行刺激画面和脑电检测的同步。
3.根据权利要求2所述的基于多模态脑机接口与增强现实的智能家居控制方法，其特征在于：在检测到用户有脑电信号的变化时，网络服务模块将具体的脑电信号分析后的结果记录在增强现实知识库中，用来反馈给增强现实设备更新界面。
4.根据权利要求1所述的基于多模态脑机接口与增强现实的智能家居控制方法，其特征在于：上述步骤二中图标进行P300刺激闪烁时，每组图标({A，B，C}或者{1，2，3，4，5})重复闪烁n遍，在每遍闪烁中，组内各图标均按顺序各闪烁一次，脑机接口客户端对采集到的头皮脑电信号进行带通滤波，然后将对应于每个P300按钮闪烁的数据截取0-600ms的采样点，对这些采样点进行1/6下采样，将对应于每个P300按钮闪烁的下采样后得到的数据连接构成一个特征向量，之后再将n次采集所得的所有P300按钮闪烁对应的特征向量进行分类识别，以确定使用者想要选择的目标。
CN202110068284.8A 2021-01-19 2021-01-19 基于多模态脑机接口与增强现实的智能家居控制方法 Pending CN112859628A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110068284.8A CN112859628A (zh) 2021-01-19 2021-01-19 基于多模态脑机接口与增强现实的智能家居控制方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110068284.8A CN112859628A (zh) 2021-01-19 2021-01-19 基于多模态脑机接口与增强现实的智能家居控制方法

Publications (1)

Publication Number Publication Date
CN112859628A true CN112859628A (zh) 2021-05-28

Family

ID=76007186

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110068284.8A Pending CN112859628A (zh) 2021-01-19 2021-01-19 基于多模态脑机接口与增强现实的智能家居控制方法

Country Status (1)

Country Link
CN (1) CN112859628A (zh)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113377212A (zh) * 2021-08-16 2021-09-10 南京中谷芯信息科技有限公司 基于脑电检测的眼动跟踪ar界面导航系统及方法
CN113434040A (zh) * 2021-06-07 2021-09-24 西北工业大学 基于增强现实诱发的脑机接口技术方法
CN114327074A (zh) * 2021-12-29 2022-04-12 中国工商银行股份有限公司 界面功能选择方法、装置、计算机设备、存储介质
CN115277665A (zh) * 2022-08-08 2022-11-01 北京视友科技有限责任公司 基于互联网的脑机接口系统
CN116168807A (zh) * 2022-12-19 2023-05-26 广州华见智能科技有限公司 一种基于脑电波的中医医生诊疗系统

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103399639A (zh) * 2013-08-14 2013-11-20 天津医科大学 基于ssvep和p300联合脑机接口方法及装置
CN105446158A (zh) * 2015-12-31 2016-03-30 华南理工大学 一种基于多模态脑机接口的智能家电控制护理装置及方法
CN106339091A (zh) * 2016-08-31 2017-01-18 博睿康科技（常州）股份有限公司 一种基于脑机接口穿戴系统的增强现实交互方法
CN108897418A (zh) * 2018-05-15 2018-11-27 天津大学 一种穿戴式脑-机接口装置、人机交互系统及方法
CN110209073A (zh) * 2019-05-31 2019-09-06 湖南大佳数据科技有限公司 基于增强现实的脑机交互载人移动平台系统
US20190369727A1 (en) * 2017-06-29 2019-12-05 South China University Of Technology Human-machine interaction method based on visual stimulation
CN110956701A (zh) * 2019-10-24 2020-04-03 中国人民解放军军事科学院国防科技创新研究院 生活辅助系统及生活辅助方法

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103399639A (zh) * 2013-08-14 2013-11-20 天津医科大学 基于ssvep和p300联合脑机接口方法及装置
CN105446158A (zh) * 2015-12-31 2016-03-30 华南理工大学 一种基于多模态脑机接口的智能家电控制护理装置及方法
CN106339091A (zh) * 2016-08-31 2017-01-18 博睿康科技（常州）股份有限公司 一种基于脑机接口穿戴系统的增强现实交互方法
US20190369727A1 (en) * 2017-06-29 2019-12-05 South China University Of Technology Human-machine interaction method based on visual stimulation
CN108897418A (zh) * 2018-05-15 2018-11-27 天津大学 一种穿戴式脑-机接口装置、人机交互系统及方法
CN110209073A (zh) * 2019-05-31 2019-09-06 湖南大佳数据科技有限公司 基于增强现实的脑机交互载人移动平台系统
CN110956701A (zh) * 2019-10-24 2020-04-03 中国人民解放军军事科学院国防科技创新研究院 生活辅助系统及生活辅助方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
丁佳等: "基于视觉双特征的并行联合脑-机接口范式的研究", 《科学技术与工程》 *

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113434040A (zh) * 2021-06-07 2021-09-24 西北工业大学 基于增强现实诱发的脑机接口技术方法
CN113434040B (zh) * 2021-06-07 2024-01-05 西北工业大学 基于增强现实诱发的脑机接口技术方法
CN113377212A (zh) * 2021-08-16 2021-09-10 南京中谷芯信息科技有限公司 基于脑电检测的眼动跟踪ar界面导航系统及方法
CN113377212B (zh) * 2021-08-16 2021-11-16 南京中谷芯信息科技有限公司 基于脑电检测的眼动跟踪ar界面导航系统及方法
CN114327074A (zh) * 2021-12-29 2022-04-12 中国工商银行股份有限公司 界面功能选择方法、装置、计算机设备、存储介质
CN115277665A (zh) * 2022-08-08 2022-11-01 北京视友科技有限责任公司 基于互联网的脑机接口系统
CN115277665B (zh) * 2022-08-08 2024-06-11 北京视友科技有限责任公司 基于互联网的脑机接口系统
CN116168807A (zh) * 2022-12-19 2023-05-26 广州华见智能科技有限公司 一种基于脑电波的中医医生诊疗系统
CN116168807B (zh) * 2022-12-19 2024-03-19 广州华见智能科技有限公司 一种基于脑电波的中医医生诊疗系统

Similar Documents

Publication Publication Date Title
CN112859628A (zh) 基于多模态脑机接口与增强现实的智能家居控制方法
CN101681201B (zh) 脑波接口系统、脑波接口装置、方法
JP4630382B2 (ja) 脳波インタフェースシステムに組み込まれる補正装置、方法およびコンピュータプログラム
JPH01118920A (ja) 入力装置及び入力方法
KR20170136317A (ko) 전자 장치 및 그의 동작 방법
CA2817909A1 (en) Analyte testing method and system with high and low analyte trends notification
CN101366032A (zh) 用于医疗信息系统的基于决策的显示
CN106797672B (zh) 移动终端及其控制方法
EP3549042A1 (en) Information displaying system, information displaying program, and information displaying method
CN106873774A (zh) 基于视线跟踪的交互控制方法、装置及智能终端
CN114296578A (zh) 显示设备及数据采集方法
CN107785066B (zh) 修改心搏类型的方法、装置及系统
WO2022156213A1 (zh) 基于手势的显示界面控制方法、装置、设备及存储介质
CN103561634A (zh) 具有高低分析物趋势通知的分析物测试方法和系统
EP3080998A2 (en) System and method for controlling the display of an image stream
KR20160101605A (ko) 제스처 입력 처리 방법 및 이를 지원하는 전자 장치
Zhong et al. A dynamic user interface based BCI environmental control system
US20190282111A1 (en) Input device, measurement system, and computer-readable medium
EP1214905B9 (en) Electrocardiographic system with a communication device
CN105938403A (zh) 一种基于指纹识别的光标控制方法及装置
US11237712B2 (en) Information processing device, biomedical-signal measuring system, display method, and recording medium storing program code
EP2811369A1 (en) Method of moving a cursor on a screen to a clickable object and a computer system and a computer program thereof
CN104699279A (zh) 可悬浮操作的位移检测装置和包含该装置的电脑系统
JP2020151082A (ja) 情報処理装置、情報処理方法、プログラムおよび生体信号計測システム
CN108009620A (zh) 一种大礼拜计数方法、系统和装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20210528

RJ01 Rejection of invention patent application after publication