CN117337421A - 可穿戴式脑电图传感器及使用该传感器的设备控制方法 - Google Patents

可穿戴式脑电图传感器及使用该传感器的设备控制方法 Download PDF

Info

Publication number
CN117337421A
CN117337421A CN202180094969.8A CN202180094969A CN117337421A CN 117337421 A CN117337421 A CN 117337421A CN 202180094969 A CN202180094969 A CN 202180094969A CN 117337421 A CN117337421 A CN 117337421A
Authority
CN
China
Prior art keywords
features
image
electronic device
machine learning
learning model
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202180094969.8A
Other languages
English (en)
Inventor
I·特洛伊西
J·迪根
C·麦克法登
N·赛伦西
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Envisiontec GmbH
Original Assignee
Envisiontec GmbH
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Envisiontec GmbH filed Critical Envisiontec GmbH
Publication of CN117337421A publication Critical patent/CN117337421A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/015—Input arrangements based on nervous system activity detection, e.g. brain waves [EEG] detection, electromyograms [EMG] detection, electrodermal response detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16—Constructional details or arrangements
    • G06F1/1613—Constructional details or arrangements for portable computers
    • G06F1/163—Wearable computers, e.g. on a belt
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/012—Head tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0346—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of the device orientation or free movement in a 3D space, e.g. 3D mice, 6-DOF [six degrees of freedom] pointers using gyroscopes, accelerometers or tilt-sensors
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/0482—Interaction with lists of selectable items, e.g. menus
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04842—Selection of displayed objects or displayed text elements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04847—Interaction techniques to control parameter settings, e.g. interaction with sliders or dials
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/048—Activation functions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/42—Global feature extraction by analysis of the whole pattern, e.g. using frequency domain transformations or autocorrelation
    • G06V10/422—Global feature extraction by analysis of the whole pattern, e.g. using frequency domain transformations or autocorrelation for representing the structure of the pattern or shape of an object therefor
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
    • G06V10/751—Comparing pixel values or logical combinations thereof, or feature values having positional relevance, e.g. template matching
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/761—Proximity, similarity or dissimilarity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/70—Labelling scene content, e.g. deriving syntactic or semantic representations
    • H—ELECTRICITY
    • H05—ELECTRIC TECHNIQUES NOT OTHERWISE PROVIDED FOR
    • H05B—ELECTRIC HEATING; ELECTRIC LIGHT SOURCES NOT OTHERWISE PROVIDED FOR; CIRCUIT ARRANGEMENTS FOR ELECTRIC LIGHT SOURCES, IN GENERAL
    • H05B47/00—Circuit arrangements for operating light sources in general, i.e. where the type of light source is not relevant
    • H05B47/10—Controlling the light source
    • H05B47/105—Controlling the light source in response to determined parameters
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • H—ELECTRICITY
    • H05—ELECTRIC TECHNIQUES NOT OTHERWISE PROVIDED FOR
    • H05B—ELECTRIC HEATING; ELECTRIC LIGHT SOURCES NOT OTHERWISE PROVIDED FOR; CIRCUIT ARRANGEMENTS FOR ELECTRIC LIGHT SOURCES, IN GENERAL
    • H05B47/00—Circuit arrangements for operating light sources in general, i.e. where the type of light source is not relevant
    • H05B47/10—Controlling the light source
    • H05B47/175—Controlling the light source by remote control
    • H05B47/19—Controlling the light source by remote control via wireless transmission

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • Multimedia (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • Evolutionary Computation (AREA)
  • Computer Hardware Design (AREA)
  • Biomedical Technology (AREA)
  • Medical Informatics (AREA)
  • Mathematical Physics (AREA)
  • Data Mining & Analysis (AREA)
  • Computational Linguistics (AREA)
  • Dermatology (AREA)
  • Neurosurgery (AREA)
  • Neurology (AREA)
  • Databases & Information Systems (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biophysics (AREA)
  • Molecular Biology (AREA)
  • User Interface Of Digital Computer (AREA)
  • Image Analysis (AREA)
  • Measurement And Recording Of Electrical Phenomena And Electrical Characteristics Of The Living Body (AREA)

Abstract

本文公开根据检测到的大脑活动控制电子设备的系统和方法。例如，系统包括可穿戴耳罩式电子设备，该设备有一组干式脑电图传感器、摄像头、处理器和编程指令。编程指令使处理器从摄像头接收图像，处理图像以识别与已知设备相对应的特征，并从EEG传感器接收脑电波信号。系统通过比较脑电波信号来测量大脑的活动水平。在检测到(a)与已知设备相对应的特征和(b)偏离基线至少阈值水平的大脑活动水平时，系统会生成指令信号，该信号被配置为使已知设备启动，并将该指令信号传送到已知设备的控制器。

Description

可穿戴式脑电图传感器及使用该传感器的设备控制方法
相关申请的交叉引用
本申请要求2021年11月5日提交的第17/520,255号美国专利申请和2021年11月5日提交的第17/520,237号美国专利申请的优先权，这两份申请均要求根据《美国法典》第35编第119(e)条享有2020年12月30日提交的第63/132,001号美国临时申请的权益，所有这些申请的公开内容均通过引用全文并入本文。
背景技术
脑电图是一种电生理监测方法，可在人的头皮上非侵入性地记录电活动，已被证明能代表大脑表层下的宏观活动。脑机界面(BCI)是一种通信系统，可通过将大脑信号转化为机器指令，以帮助用户与外部环境进行交互。使用脑电图(EEG)信号因其可用性和可靠性而成为最常见的BCI方法。然而，现有的BCI在正常的日常活动中穿戴起来往往不舒适、难看和/或笨重。
本文描述解决上述问题和/或其他问题的方法和系统。
发明内容
本公开内容描述涉及可穿戴脑电传感器和相关设备控制方法以及开发在环境中可控对象的数据库的方法的实施方案。在一个实施方案中，公开了检测人的脑电波的系统。该系统包括外壳，该外壳被配置成可套在人的耳朵上。外壳包括耳朵上的桥、从所述桥向前延伸至人的太阳穴上方的第一部分和从所述桥向后延伸的第二部分。该系统还包括设置在第二部分中的第一干式脑电图(EEG)传感器、设置在第一部分中的第二干式EEG传感器、电源、处理器、与处理器通信的摄像头以及与处理器通信的发射器。
本公开文本的实施方案可包括以下一个或多个可选特征。在某些实施方案中，摄像头设置在第一部分中，摄像头被配置为当将外壳穿戴在耳朵上时捕捉穿戴者视场中对象的图像。在某些实施方案中，系统包括从外壳向下延伸的柔性听筒，当人穿戴时，该柔性听筒定位在耳垂下方；以及第三干式脑电图传感器，其设置在柔性听筒中。系统可进一步包括设置在外壳中的位置传感器或方向传感器。在某些实施例中，系统包括设置在外壳中的存储器。存储器可容纳数据存储，所述数据存储包含代表与已知设备相关的特征的数据，这些特征是从已知设备的捕获图像中提取的。
在一个实施方案中，公开了一种控制环境中一个或多个对象的方法。该方法包括，通过电子设备的处理器，接收来自电子设备摄像头的图像，所述电子设备具有EEG传感器；并处理图像以识别与已知设备对应的特征。该方法包括从至少两个EEG传感器接收脑电波信号，并比较所述脑电波信号以测量大脑活动水平。在检测到(a)与已知设备对应的特征和(b)大脑活动水平偏离基线至少阈值水平时，该方法包括生成指令信号，该指令信号被配置为使已知设备启动并将指令信号传送到已知设备(或已知设备的控制器)。
本公开的实施方案可包括以下一个或多个可选特征。在一些实施方案中，处理图像以识别与已知设备对应的特征包括：从图像中提取一个或多个图像特征，并将图像特征与一个或多个与已知设备对应的已知特征进行比较，其中已知特征是从已知设备先前捕获的图像中提取的。将图像特征与一个或多个已知特征进行比较可包括确定至少阈值数量的图像特征与对应于该已知设备的已知特征相对应。所述特征可包括印在已知设备的表面的符号或符号图案。该方法还可包括以每秒至少两次的速率接收图像。
在某些实施例中，电子设备包括惯性测量单元(IMU)，并且该方法进一步包括，响应于确定已知设备具有可调节的设定点，使用IMU调节所述设定点。在一些实施例中，电子设备包括惯性测量单元(IMU)，并且该方法进一步包括，响应于确定已知设备是电子用户界面，使用IMU在电子用户界面上选择将发生启动的位置。
在一个实施方案中，公开了一种控制环境中一个或多个对象的系统。该系统包括可穿戴耳罩式电子设备，其具有一组干式EEG传感器、摄像头、处理器和编程指令。所述编程指令被配置为使处理器接收来自摄像头的图像，处理图像以识别与已知设备相对应的特征，并接收来自至少两个EEG传感器的脑电波信号。该系统比较脑电波信号，以测量大脑活动水平。在检测到(a)与已知设备相对应的特征和(b)脑活动水平偏离基线至少阈值水平时，系统生成指令信号，该指令信号配置为使已知设备启动，并将指令信号传送到已知设备(或已知设备的控制器)。
本公开的实施方案可包括以下一个或多个可选特征。脑波信号可包括β波信号。与已知设备相对应的特征可以包括已知设备表面的形状。该特征可包括印在已知设备表面的符号或符号图案。在一些实施例中，系统进一步包括惯性测量单元(IMU)和附加编程指令，这些附加编程指令被配置为使处理器响应于确定已知设备具有可调节的设定点来使用IMU来调节设定点。在一些实施例中，系统进一步包括惯性测量单元(IMU)和附加编程指令，这些附加编程指令被配置为使处理器响应于确定已知设备是电子用户界面，使用IMU在电子用户界面上选择将发生启动的位置。
可穿戴耳罩式电子设备可进一步包括外壳，该外壳被配置为适于套在人的耳朵上，该外壳包括耳朵上的桥、从所述桥向前延伸至人的太阳穴上方位置的第一部分以及从所述桥向后延伸的第二部分。可穿戴耳罩式电子设备可进一步包括设置在第二部分中的第一干式脑电图(EEG)传感器、设置在第一部分中的第二干式EEG传感器、电源和与处理器通信的发射器。
可穿戴耳罩式电子设备可进一步包括数据存储，其中包含与已知设备相对应的已知特征，已知特征是从已知设备的先前捕获的图像中提取的。编程指令可包括从接收的图像中提取一个或多个图像特征并将图像特征与已知特征进行比较以识别已知设备的指令。将图像特征与已知特征进行比较的指令可包括确定阈值数量的图像特征与已知特征相对应的指令。
在一个实施方案中，公开了一种在环境中开发对象数据库的方法。该方法包括使用具有摄像头的移动设备捕捉环境中对象的图像。对于每个对象，该方法包括通过用户界面接收对对象的用户选择，并响应于接收到的用户选择，创建对象的可识别特征模式。创建可识别特征模式的方法是，识别一个或多个图像中与对象相关的特征，并通过移动设备与可穿戴电子设备之间的通信链路将这些特征传输到可穿戴电子设备，使可穿戴电子设备将所述模式保存到可穿戴电子设备的数据存储。
本公开的实施方案可以包括以下一个或多个可选特征。在一些实施例中，该方法进一步包括接收与所选对象相关联的可执行指令，并通过通信链路将该可执行指令传输到可穿戴电子设备，从而使可穿戴电子设备将该可执行指令与所述模式相关联。当可穿戴电子设备执行可执行指令时，可使可穿戴电子设备调整对象的设置。识别特征可包括在一个或多个图像中定位一个或多个关键点，并为所述关键点分配标识符。标识符可包括二进制鲁棒独立基本特征(BRIEF)描述符。接收对对象的用户选择可包括接收对对象图像的用户选择。
在一个实施例中，公开了一种训练机器学习模型的方法。该方法包括使用具有摄像头的移动设备捕捉环境中对象的图像。对于每个对象，该方法包括通过用户界面接收对对象的用户选择，接收与所选对象相关联的指令，以及响应于接收到的用户选择，训练机器学习模型以识别所述对象。该方法通过接收对象的多个图像并基于多个图像训练机器学习模型来训练机器学习模型识别对象。该方法进一步包括通过移动设备和可穿戴电子设备之间的通信链路将训练好的模型和指令传输到可穿戴电子设备，使可穿戴电子设备将训练好的机器学习模型保存到可穿戴电子设备中的数据存储，并将指令与训练的机器学习模型相关联。
本公开文本的实施方案可包括以下一个或多个可选特征。使可穿戴电子设备将指令与经训练的机器学习模型关联，可进一步使可穿戴电子设备响应于经训练的机器学习模型，在可穿戴电子设备捕获的图像中识别出对象而执行指令。执行指令时，可使对象从第一状态改变为不同状态。机器学习模型可包括神经网络。接收多幅图像可包括从多个角度捕捉对象的视频。机器学习模型可配置为确定对象出现在图像中的概率，机器学习模型可进一步配置为在确定的概率满足概率阈值时识别对象。
该方法可进一步包括确定多个图像中一个或多个图像的一个或多个目标区域，并基于多个图像中一个或多个目标区域内的部分训练机器学习模型。在一些实施例中，该方法包括接收所选对象的参考图像，并识别参考图像中与所选对象相关的参考特征。该方法可进一步包括在多个图像中的一个或多个图像中围绕对象构建一个边界框，从边界框内每个图像的部分提取特征，并将提取的特征与参考特征进行比较。根据与参考特征相匹配的所提取的特征的阈值数量，该方法可包括在边界框内的图像部分上训练机器学习模型。在一些实施例中，该方法包括调整围绕对象的边界框的尺寸、位置或方向，直到提取的特征的阈值数量与参考特征相匹配。
在一个实施方案中，公开了一种训练机器学习模型的系统。该系统包括移动设备，其具有用于捕捉环境中对象的图像的摄像头。移动设备被配置为通过用户界面接收对对象的用户选择，接收与所选对象相关联的指令，并训练机器学习模型以识别对象。系统通过以下方式训练机器学习模型识别对象：接收对象的多个图像，根据多个图像训练机器学习模型，通过移动设备和可穿戴电子设备之间的通信链路将训练的模型和指令传输到可穿戴电子设备，使可穿戴电子设备将所述训练的机器学习模型保存到可穿戴电子设备中的数据存储，并将指令与所述训练的机器学习模型相关联。
本公开文本的实施方案可包括以下一个或多个可选特征。接收多个图像可包括从多个角度捕捉对象的视频。移动设备可进一步配置为确定多个图像中一个或多个图像的一个或多个目标区域，并基于多个图像中一个或多个目标区域内的部分训练机器学习模型。在一些实施例中，移动设备被配置为接收所选对象的参考图像，并识别参考图像中与所选对象相关的参考特征。移动设备可在多个图像中的一个或多个图像中围绕对象构建边界框，从边界框内每个图像的部分提取特征，并将提取的特征与参考特征进行比较。根据与参考特征相匹配的所提取的特征的阈值数量，移动设备可在边界框内的图像部分上训练机器学习模型。移动设备可被配置为调整围绕对象的边界框的尺寸、位置或方向，直到提取的特征的阈值数量与参考特征相匹配。
附图说明
图1示出基于大脑活动控制设备的示例性环境；
图2示出示例性的可穿戴EEG设备；
图3是检测大脑活动的方法的流程图；
图4是检测待控制的设备的方法的流程图；
图5是训练机器学习模型的方法的流程图；
图6A和6B示出基于大脑活动来控制光标位置的示例性环境；
图7示出用于管理示例性可穿戴EEG设备的数据存储的示例性环境；
图8示出数据存储的细节；
图9A和9B示出根据大脑活动来控制设备的示例性环境；以及
图10示出本公开的任何电子元件所包含的内部硬件的框图。
具体实施方式
本文中使用的单数形式"一个"("a"、"an")和"所述"("the")包括复数形式，除非上下文另有明确规定。除非另有定义，否则本文使用的所有技术和科学术语与本领域普通技术人员通常理解的含义相同。本文中使用的术语"包括"(或"包含")是指"包括(或包含)，但不限于"。本文中使用的术语"示例性"意指"通过实施例的方式"，并不表示特定的示例性项目是优选或必需的。
在本文件中，当使用"第一"和"第二"等术语修饰一个名词或短语时，除非特别说明，否则只是为了将一个项目与另一个项目区分开来，并不要求顺序。当术语"约"用于数值时，其目的是包括与数值接近但不完全相同的值。例如，在某些实施例中，术语"约"可包括数值的+/-10％以内的数值。
本公开内容一般涉及开发在环境中可控对象的数据库、检测大脑活动以及基于检测到的大脑活动控制一个或多个电气或电子设备的方法和系统。图1示出基于大脑活动控制设备130的示例性环境100。环境100包括与可穿戴EEG设备200相关联的用户102。在此，可穿戴EEG设备200贴在用户102的耳朵上，并配置为通过一个或多个EEG传感器220监测用户102的大脑活动(图2)。可穿戴EEG设备200与能够控制设备130的一个或多个功能或特性的设备控制器120进行无线通信。无线通信可遵循通信协议，如近距离无线通信(NFC)、蓝牙、WiFi、红外线(IrDA)或其他允许无线传输和/或接收信息的技术。设备控制器120可以接收指令，并响应于接收的指令，根据指令控制、操作或调整设备130。在此，设备控制器120能够打开和关闭灯泡。在其他实施例中，设备控制器120可以调整设定点，例如气候控制系统的温度设置，或电视或音频系统的电台和/或音量。设备控制器120可以调整更复杂的参数，例如设置的时间曲线。设备控制器120还可以调整虚拟设置，例如计算机屏幕上光标或其他对象的位置，或倒计时器的剩余时间。设备控制器120包括开关、晶体管或能够使设备130改变状态的其他设备(如微处理器或集成电路)。例如，设备控制器120可以关闭包括设备130和电源的电路，也可以打开设备130和电源之间的电路，从而打开和关闭设备。设备控制器120还可以包括用于调节设备130的一个或多个功能的电路，例如灯光亮度控制、音量控制、风扇速度控制或其他控制装置。可由设备控制器120控制的设备130的其他实施例包括远程控制的门、窗、天窗、百叶窗或遮阳帘等，厨房电器例如烤面包机、搅拌机、烤箱、炉灶、垃圾处理器、垃圾压缩机，卫生管道设备例如水槽、淋浴器或马桶，物联网(IoT)设备例如智能插头，以及可使用计算机控制的任何其他设备。
在某些实施例中，可穿戴EEG设备200和与用户102相关联的计算设备104进行无线通信。计算设备104可以直接控制设备130的一个或多个功能或特性。计算设备104可以使用有线或无线通信通道向设备传输指令。例如，计算设备104可以传输红外或射频(RF)信号来控制音频、视频或其他电子设备，例如，使设备改变其状态。例如，如果设备是电视机，则指令可以是启动电视机的电源开关，从而从开转为关)或反之亦然；转到或切换到不同的电台。计算设备104还可以向声控设备(如虚拟助手)发送音频信号。或者，计算设备104可以与设备控制器120通信，以允许计算设备104通过设备控制器120控制设备130的一个或多个功能或特性。例如，计算设备104可以传输信号(如光信号或带有指令的通信)以打开或关闭智能插座或控制智能用具，如烤箱、炖锅、洗衣机/烘干机、冰箱、车库门开启器、洗碗机、真空吸尘器、报警系统、气候控制系统等。计算设备的实例包括智能手机、平板电脑、便携式电脑或其他能够与可穿戴EEG设备200无线通信并例如通过与设备控制器120接口直接或间接控制设备130的一个或多个功能或特性的设备。
可穿戴EEG设备200还包括成像系统240(图2)，例如摄像头，能够接收成像系统240视场114中对象的图像。成像系统240可配置为捕捉用户视场中对象的图像。对此，灯泡位于成像系统240的视场114中。可穿戴EEG设备200可检测用户102的大脑活动，表明用户102正在关注用户视场中的对象(例如灯泡)。响应于检测到的大脑活动，可穿戴EEG设备200可以向设备控制器120发送信号，使设备控制器120打开灯。该信号可以是传输编程指令和/或编码数据包的数字信号，当设备控制器120的处理器接收到该信号时，将使处理器触发设备控制器120采取行动，例如打开或关闭设备130。所述信号也可以是定时的脉冲序列(如调制红外信号的脉冲序列)，当设备控制器120接收到该脉冲序列并被其处理器识别时，将促使处理器激活或关闭或改变设备130的状态。
图2示出示例性可穿戴EEG设备200。设备200包括外壳210，支撑和/或包含设备200的其他组件。外壳210可配置成戴在用户102的耳朵上。外壳210可以由硬质或半硬质材料(例如塑料)形成，并且可以弯曲或以其他方式成形，以贴合用户的头部的侧面。外壳210可以是细长结构，具有前部211、中部212和后部213。当设备穿戴在用户耳朵上时，前部211将从用户耳朵向用户面部延伸，后部213将从用户耳朵向用户头部和/或颈部的后部延伸。中部212连接前部211和后部213，用作用户耳朵上方的桥，并且其包括半圆形凹槽230，半圆形凹槽230的大小和位置可放置在耳朵上、在耳朵的耳轮后方(也可从耳朵的耳轮向上延伸)。可选地，半圆形凹槽230可包括由凝胶、弹性体(如硅胶或其他弹性或类似橡胶的材料)或其他弹性材料形成的衬垫235，以提供更舒适的贴合，并有助于防止装置在使用过程中从用户耳朵上脱落。
外壳210可包括两个或多个EEG传感器和成像系统240的安装位置。在此，作为干式EEG传感器的三个EEG传感器220a、220b、220c安装在外壳210上(本文可使用参考编号220来统称EEG传感器)。干式EEG传感器能够在不使用导电胶或导电膏的情况下工作。然而，湿式EEG传感器也属于本公开的范围。在一些实施例中，可穿戴EEG设备200被配置为将三个EEG传感器220a、220b、220c分别定位在描述头皮电极位置的国际10-20系统的位置T4、F8和A2附近。
如图所示，第一EEG传感器220a安装在外壳210的中部212上，这样使得当用户102穿戴可穿戴EEG设备200时，第一EEG传感器220a将在用户耳后(即耳朵的耳轮下方或耳朵的耳轮与用户头部后部之间的位置)在用户大脑的颞叶上方与用户102接触。
第二EEG传感器220b安装在外壳210的前部211上，使得第二EEG传感器220b就能在用户太阳穴或太阳穴附近在用户大脑额叶上方的位置与用户102接触。
第三EEG传感器220c安装在外壳210上，使第三EEG传感器220c在用户头部上在相对低于第一脑电图EEG传感器220a和在第一EEG传感器220a下方的第二EEG图传感器220b的位置与用户102接触。例如，第三EEG传感器220c的位置可与穿戴时用户耳垂下方的位置相对应。在某些实施例中，第三EEG传感器220c安装在从外壳210的中部212或后部部分213向外(例如向下)延伸的柔性听筒250上。柔性听筒250可以由凝胶、弹性体(如硅胶或其他弹性或类似橡胶的材料)或其他材料制成，可以与衬垫235一体或分离。柔性听筒250可包括从外壳210内的电气元件通向第三EEG传感器220c的布线。在某些实施例中，布线包括贝内克雷(Benecreat)铝布线。柔性听筒250可以用布和/或衬垫覆盖，以提供额外的舒适度。柔性听筒250可以弯曲，以便于将可穿戴EEG设备200放置在用户102的耳朵上，并将可穿戴EEG设备200牢固地固定在用户102上。在某些实施例中，柔性听筒250即使在剧烈活动时也能将可穿戴EEG设备200固定在用户102上。当用户102穿戴可穿戴EEG设备200时，柔性听筒250可对用户102的耳朵施加夹持力。在一些实施例中，外壳210被配置为将柔性听筒250的夹持力转换到EEG传感器220上，使EEG传感器220紧紧地压在用户102上，以方便接收强EEG信号。
如图1和图2所示，成像系统240安装在壳体210的前部211的前端，其镜头朝向用户面部并被配置为捕捉成像系统240的视场114中的对象的图像。成像系统240可以安装在外壳210上，以便视场114包括用户102穿戴可穿戴EEG设备200时用户102的眼睛的视场内的设备130。
外壳210可封装可穿戴EEG设备200的其他组件，例如，保护组件免受损坏或暴露于危险中。这些组件可包括例如如图10所示的项目，包括包含发射器的通信设备1010、与发射器通信的处理器1005、EEG传感器(图2中的220、图10中的1020)和成像系统(图2中的240、图10中的1040)。这些组件还可以包括布线和接口组件，例如信号调节组件(如带通滤波器)，其中一些组件可以安装在封装在外壳210内的印刷电路板(PCB)上。处理器1005可以具有包含编程指令的相关的存储器，这些指令在执行时会使处理器1005执行各种方法，例如检测大脑活动并根据检测到的大脑活动控制一个或多个设备130。所述组件还可以包括为可穿戴EEG设备200的电气组件供电的电源1080(例如可充电电池)。电池的大小可以允许在两次充电之间延长可穿戴EEG设备200的使用。此外，处理器1005可以是低功耗组件，例如被设计用于移动电话。电池可通过电连接或感应式无线充电进行充电，并且可穿戴EEG设备200可从环境中收集能量，以延长充电之间的时间。在一些实施例中，可穿戴EEG设备200包括设置在外壳210部分上的光伏装置。
如上所述，在某些实施例中，三个EEG传感器220设置在外壳210上，使EEG传感器220在用户头部的特定位置与用户102接触。例如，第三EEG传感器220c可在EEG信号强度较低的位置与用户102的耳朵下方接触。在此位置，第三EEG传感器220c可通过放置在颅骨的中线矢状面上或其附近，充当相对于其他两个EEG传感器220a、220b的地面基准，在此位置基本上检测不到侧半球皮质活动。第二EEG传感器220b可在用户太阳穴附近与用户接触，该位置的EEG信号强度相对较高。在某些实施例中，滤波器(如带通滤波器)会衰减相关性较低的来自第二传感器220b的信号。例如，带通滤波器可以通过β波(例如，20-30Hz范围内的信号)，同时衰减δ、θ、γ和α波。在某些实施例中，处理器1005可以调整滤波器的参数，例如，通过α波信号以代替β波信号，或者在通过α波信号和通过β波信号之间切换。第一EEG传感器220a可在EEG信号强度相对低于第二EEG传感器220b的位置处在用户耳朵后面与用户接触。
设备的某些变体可能会在不同位置设置额外的EEG传感器。其他设备可能具有少于三个传感器。例如，系统在运行时可能只将第一EEG传感器220a安装在用户的太阳穴和额叶上，第三EEG传感器220c提供基准参考。或者，系统在运行时只需将第二EEG传感器220b设置在用户耳朵的耳轮下方和颞叶上方，并由第三EEG传感器220c提供基准参考。
图3示出一种检测大脑活动的方法300，该方法用于确定设备用户的大脑活动何时表明用户的专注度提高。在步骤302，方法300包括由可穿戴EEG设备的处理器或与可穿戴EEG设备通信并靠近可穿戴EEG设备的独立电子设备的处理器接收来自一个或多个EEG传感器220的滤波后的EEG信号。处理器可以例如使用模数转换器(ADC)对滤波后的脑电波信号进行采样来确定通带中脑电波信号的代表性振幅304。代表性振幅可以是均方根(rms)值或其他代表通带的频率范围内的大脑活动水平的值。在某些实施例中，随着时间的推移，处理器确定来自第一EEG传感器220a和第二EEG传感器220b的脑电波信号的代表性振幅之间的差值306，以确定脑活动的水平。滤波器和ADC可以安装在与处理器PCB接口的子PCB上。在某些实施例中，EEG传感器对脑电波信号进行滤波和采样，并例如通过串行或并行数据总线向处理器提供信号的数字表示。处理器可以以不规则或有规律的时间间隔接收302EEG信号，例如每秒两次。在步骤306，处理器可通过比较第一间隔的一个水平和前一个(或后一个)间隔的第二水平，进一步测量间隔之间大脑活动的代表性水平的变化。
在某些实施例中，处理器会将测得的大脑活动的代表性水平的变化与阈值308进行比较。当大脑活动的代表性水平的变化超过阈值时，处理器可确定用户的专注度提高。阈值可以基于用户的大脑活动的基线水平。在一些实施例中，例如，通过在计算设备上执行的应用程序710(图7)或通过可穿戴EEG设备200上的启动器，例如，通过按压位于外壳210上的按钮，用户触发可穿戴EEG设备200以确定用户的大脑活动的基线水平。在其他实施例中，可穿戴EEG设备200自动确定用户102的大脑活动的基线水平，例如，作为一段时间内的平均水平，在该段时间内用户102的大脑活动的代表性水平存在波动。
在某些实施例中，可穿戴EEG设备200包括数据存储800(图8)，其中包含已知设备的描述性信息。参考图2，成像系统240被配置为捕捉成像系统240的视场114中对象的图像。当设备130出现在成像系统240的视场中时，可穿戴EEG设备200可基于成像系统240捕捉到的图像来识别设备130，并从数据存储800中包含的已知设备中选择设备130。下文在讨论图4时将描述示例性图像识别方法。
在步骤310，处理器1005可以响应用户增加的关注度，执行控制所选设备130的功能。在某些实施例中，数据存储800还包含与每个已知设备相关联的图案或特征808(图8)。图案可以是设备130先前捕获的图像，或者图案可以包括从设备130先前捕获的图像(例如，通过图像处理)中提取的设备130的特征。所提取的特征可以包括设备130表面的颜色、几何特征(例如检测到的设备130的边缘)或设备130表面的图案、纹理或形状。在某些实施例中，图案包括与设备130相关联的April标签、条形码、QR码或其他形式的计算机可读数据，例如，粘贴在设备表面的数据。在某些实施例中，所提取的特征包括印在设备130表面的符号或符号图案，例如徽标。提取的特征可包括与设备130相关联的旋钮、开关或其他控件，或与设备130相关联的文本或其他显示信息。
图4示出检测待控制的设备130的方法400。在步骤402中，处理器1005可以从成像系统240接收图像，并在步骤404从接收的图像中提取特征。所述特征可以包括图像的特征，例如整体形状以及角、边缘、角和边缘之间的关系、颜色、图案等。在某些实施例中，处理器1005会执行比例不变特征变换(SIFT)或类似算法，以定位图像的一个或多个“关键点”。“关键点”是一种不受图像中形状的大小、长宽比或其他不对称影响的特征。处理器可以构建比例空间，以确保关键点与比例无关，确保关键点旋转不变(不受图像方向的影响)，并为关键点分配唯一标识符。在某些实施例中，唯一标识符可以是128位或256位二进制鲁棒独立基本特征(BRIEF)描述符。在某些实施例中，处理器会执行“加速片段测试特征”(FAST)拐角检测算法来提取特征。处理器1005可以执行软件库的功能，例如python模块ORB(定向FAST和旋转BRIEF)，以执行特征提取。在步骤406中，处理器1005可以将接收到的图像和/或从接收到的图像中提取的特征与数据存储800中包含的与已知设备相关联的特征进行比较。例如，处理器1005可以将分配给图像关键点的唯一标识符与分配给已知设备的先前捕获的图像的关键点的唯一标识符进行比较。当提取的特征的阈值数量与先前捕获的图像的特征相匹配时，处理器1005可以在步骤408从已知设备中选择设备130。例如，数据存储800中包含的每个已知图像可包括30个或更多个从设备130的先前捕获的图像中提取的特征808。在此实施例中，当有十个以上的特征匹配时，处理器1005可以从已知设备中选择设备130。当一个以上的已知设备具有的从设备130的捕获图像中提取的匹配特征数量超过阈值时，处理器1005还可以选择具有最多匹配特征的设备130。
或者，为了在408中对设备进行分类，可穿戴EEG设备200可以使用机器学习算法来识别设备130。例如，处理器1005可以将接收到的图像提供给深度学习神经网络，如经过训练可以识别已知对象的卷积神经网络(CNN)。图5示出训练机器学习模型(例如深度学习神经网络)以识别待控制的已知设备130的方法500。在某些实施例中，用户(或其他受监督的训练者)使用已知对象的若干图像来训练深度学习神经网络。在步骤502中，方法500包括接收对象选择。例如，用户可以通过获取对象的图像，例如通过应用程序710(图7)，使系统选择场景中的该对象作为已知设备130。用户可通过应用程序710对所选对象进行标注或注释。系统可首先获取对象的单个参考图像，并如上所述从图像中提取特征。在步骤504，方法500包括接收对象图像。例如，用户可以让系统获取一张或多张静态图像，或以固定帧频(如每秒60帧)获取一段时间(如10秒)的连续视频。系统可在与对象的不同角度、与对象的不同距离、不同的照明条件下和/或其他可提供对象在图像中的外观变化的情况下获取附加图像。例如，当用户在对象周围行走和/或走向或远离对象时，和/或增加或减少照射在对象上的光线时，系统可以获取对象的视频。在某些实施例中，系统从对象的图像的数据存储中接收附加图像。这些附加的图像作为附加训练图像用于训练深度学习网络，以将对象识别为已知设备130。
在某些实施例中，系统会对附加图像进行图像处理，以准备将附加图像用作训练图像。例如，系统可以确定已知设备周围的目标区域，并裁剪掉附加图像中与已知设备无关的部分。在某些实施例中，用户可以在附加图像中围绕已知设备绘制边界框，而系统则会忽略边界框外的图像部分。在某些实施例中，边界框是通过图像处理自动确定的。例如，系统可以应用图像处理算法来提取第一张(参考)图像中对象的特征，如关键点。然后，系统可将从参考图像中提取的特征与从附加图像中提取的特征进行比较。系统可将一个或多个边界框应用于附加图像，并调整边界框的各个方面，如尺寸和方向，直到阈值数量的从边界框内的附加图像部分提取的特征与从参考图像提取的特征相匹配。例如，在处理图像时，系统可上下调整边界框的尺寸，或上下、前后调整边界框的位置或方向，和/或调整线性或角度值的范围。系统可放弃与匹配特征阈值数量无关的边界框尺寸和/或角度范围。与匹配特征的阈值数量相关的一组尺寸和/或方向可保留用于训练。如果没有任何边界框能产生匹配特征的阈值数量(即无法从整个图像中提取匹配特征的阈值数量)，系统可丢弃参考图像本身。因此，在训练深度学习网络之前，系统为实现图像处理算法而遵循的流程会忽略与已知设备无关的图像或附加图像的部分。在步骤506中，方法500包括训练机器学习模型。边界框内包含的附加图像部分可以输入到深度学习神经网络中，从而训练深度学习神经网络在各种情况下识别已知设备(例如，包括各种放大率、方向和照明)。训练完成后，深度学习神经网络可以预测已知设备出现在新获取图像中的概率。在步骤508中，方法500包括将训练的深度学习神经网络传输到可穿戴EEG设备200。一个或多个经训练的深度学习神经网络可以存储在可穿戴EEG设备200的数据存储800中，并应用于可穿戴EEG设备200获取的图像。在一些实施例中，一个或多个深度学习神经网络可以确定已知设备130出现在新获取的图像中的概率。当预测概率满足或超过阈值时，一个或多个深度学习神经网络可检测到已知设备130位于新获取的图像中。在步骤510和512中，方法500包括接收与已知设备130相关联的指令，并将相关联的指令传输到可穿戴EEG设备200。如图8所述，用户可以提供与一个或多个深度学习神经网络相关联的指令或功能，以便当深度学习神经网络识别到对象时，可穿戴EEG设备200执行相关联的指令或功能。
当可穿戴脑电图设备200对对象进行分类，并且该对象满足一个或多个其他阈值条件时，系统可在410中选择该设备作为EEG设备200控制的对象。例如，系统可以在EEG设备的摄像头视场中检测到多个设备。为了确定哪个设备将被控制，系统可以要求待控制的设备在至少一个阈值时间段内位于视场的中心位置，例如中心点上方或视场中心点的阈值距离内。系统还可能要求，当设备位于中心位置或视场内时，用户的焦点已经增加，以便选择待控制的设备(确定焦点是否增加的方法在上文图3的讨论中描述)。一旦EEG设备220选择设备130作为待控制的设备，可穿戴EEG设备200就可以控制412设备130的一个或多个功能或特征。
可穿戴EEG设备200可进一步包括与处理器1005通信并向处理器1005提供位置/方位信息的加速度计、惯性测量单元(IMU)或其他位置/方位传感器260(图2)。在某些实施例中，IMU设置在外壳210中用户耳朵和太阳穴之间的位置，或其他能够很好地跟踪用户头部运动的合适位置。处理器1005可以确定设备130包括能够接收位置/方位信息的电子接口。例如，处理器1005可以确定设备130能够发现蓝牙鼠标、轨迹球或其他无线位置控制计算机外围设备。处理器1005可以使可穿戴EEG设备200与设备130对接(例如配对)，并使用来自位置/方位传感器260的信息来控制光标位置或与设备130相关的其他焦点。例如，可穿戴EEG设备200可以根据蓝牙人机接口设备(HID)配置文件将相对X轴和Y轴数据传输到设备130。X轴和Y轴数据可指示设备光标从其当前位置移动的像素数。EEG设备200的用户102可通过改变可穿戴EEG设备200的方向来调整光标在显示屏上的位置，从而改变位置/方位传感器260的方向。例如，用户头部的上下倾斜会引起IMU方向的相应变化。当用户头部上下倾斜时，系统将测量位置/方位的一个或多个值的变化。系统可通过比例常数对测量到的位置/方位变化进行缩放，以确定向上或向下移动光标的像素数。然后，系统将经缩放的测量数据作为(例如)相对Y轴数据发送到设备130，使光标响应用户头部的上下倾斜而上下移动。同样，当用户头部左右移动时，系统可向设备130发送相对X轴数据，从而使设备的光标来回移动。
例如，图6A示出用于控制计算机系统的可控显示屏幕602上光标604的位置的示例性环境600。环境600包括计算机系统的可控显示屏幕602，其显示可选窗口606和光标604。计算机系统可包括设备控制器应用程序，并通过近场或其他无线通信协议与EEG设备直接通信。另外，环境600还可以包括便携式电子设备614，在该设备上安装设备控制器应用程序。一旦EEG设备200使用诸如上文在图4的讨论中所描述的方法识别到显示屏幕602，它就可以使用EEG设备200的移动来控制光标604的移动和激活。在图6A中，光标604显示为位于显示屏幕602的右下角附近，但实际上光标604可以从显示屏幕602的任何位置开始。
EEG设备200的用户102可以通过改变可穿戴EEG设备200的方向来调整光标在显示屏上的位置，从而改变位置/方位传感器260的方位。然后，便携式电子设备614或计算机系统的设备控制器应用会生成指令，将光标移动到与位置/方位传感器移动相对应的位置。例如，参考图6B，光标604已被移动到计算机屏幕602上的较高位置，以响应可穿戴EEG设备200向上倾斜。在某些实施例中，当系统检测到某个触发点时，系统将确定参考点，例如光标604在显示屏幕602上的位置，例如确定用户的焦点至少在最短时间内保持在阈值或阈值以上，或确定光标604和/或显示屏幕602至少在最短时间内位于EEG设备200的成像系统视场的中心位置(即在中心点的阈值范围内)。当触发发生时，系统确定EEG设备位置/方位传感器的初始位置和/或方位值，并将该信息保存到板载存储器中。系统测量位置/方位传感器的一个或多个值与参考点相比的变化。
处理器可进一步确定设备130能够接收选择事件(例如鼠标左键单击)，例如根据蓝牙人机接口设备(HID)配置文件。处理器可以使可穿戴EEG设备200向设备130发送选择事件，以响应确定用户的关注度已经提高。在所示的实施例中，用户可将光标604定位在窗口606内(例如，在可选择的关闭按钮上方，在窗口标题栏中显示为X)，并选择窗口或窗口的功能(例如，选择关闭功能以关闭窗口)。由此，可穿戴EEG设备200就可以控制大型演示屏幕、视频游戏、移动计算平台(如智能电话)、智能电视、汽车信息娱乐系统以及其他具有可移动光标的电子设备。用户102可以将光标定位在所需位置，然后通过聚焦于该位置，使屏幕上的位置或对象被选中。在某些实施例中，可穿戴EEG设备200将同时与多个设备130配对。在某些实施例中，只有当设备130包含在可穿戴EEG设备200的数据存储800中并被可穿戴EEG设备200识别时，可穿戴EEG设备200才会与设备130配对。
图7示出用于管理可穿戴EEG设备200的数据存储800的示例性环境700。在此，与用户102相关联的计算设备104可以执行应用程序710，该应用程序管理可穿戴EEG设备200的数据存储800中的已知设备。在某些实施例中，应用程序710在远程服务器上执行，例如用户102通过计算设备104访问的网络服务器。应用程序710可以在计算设备104的成像系统的视场714中捕获对象(例如设备130)的图像，并例如通过图像处理从捕获的设备130的图像中提取特征。在一些实施例中，设备130的图像通过计算机网络或总线上传到计算设备104。应用程序710可以向用户102展示设备130的图像。作为响应，用户102可以选择设备130作为已知设备，将其包含在可穿戴EEG设备200的数据存储800中。作为响应，应用程序710可以使计算设备104将所选设备130(以及与所选设备130相关联的模式)传输到可穿戴EEG设备200。可穿戴EEG设备200可以将所选设备和与所选设备相关联的模式808(例如捕获的图像和/或提取的特征)添加到数据存储800中。在一些实施例中，计算设备104接收包含在可穿戴EEG设备200的数据存储800中的已知设备列表。应用程序710可以向用户102显示该列表，以便用户102可以从数据存储800中包含的已知设备列表中选择要删除的设备。响应于用户102的选择，应用程序710可以使计算设备104将所选的设备传输到可穿戴EEG设备200，从而使可穿戴EEG设备200从数据存储800中移除所选的设备。通过这种方式使用应用程序710，用户可以添加、删除和更新包含在可穿戴EEG设备200的数据存储800中的已知设备列表中的对象。
图8示出数据存储800的细节。在某些实施例中，已知设备列表包括与每个设备130相关联的功能804。示例性功能包括激活/禁用、打开/关闭、进入到序列中的下一个元素或位置(例如，将收音机或电视接收器调到下一个电台，或切换气候控制系统的COOL、OFF和HEAT设置，或冷却风扇的速度)。某些设备130可能具有不止一个相关功能804。例如，具有多种风扇速度的冷却风扇可能还包括一个可以打开和关闭的灯。如图7所示，灯泡可以在"开"和"关"状态之间切换。此外，与灯泡相关的运动传感器(在检测到灯附近的运动时可激活灯)也可在激活状态和非激活状态之间切换。在某些实施例中，应用程序710允许用户102选择由可穿戴EEG设备200执行的功能，以响应用户增加的关注度。此处选择的功能是灯泡的状态。应用程序710可以提供与每个已知设备相关的功能列表供用户选择。应用程序710可以允许用户定义与每个已知设备(或一组已知设备)相关的附加功能804。例如，应用程序710可以允许用户根据指令语言或脚本语言(如TCL、perl或python)的语法或通用计算语言(如Java)的语法输入附加功能。应用程序710可以使计算设备104将所定义和/或所选择的功能传输到可穿戴EEG设备200，从而使可穿戴EEG设备200响应用户注意力的增加而执行功能。在一些实施例中，应用程序710可以从与设备或设备类别相关联的功能库中下载功能。应用程序710还可以将功能上传到存储库，例如，在经过适当程度的测试之后。
在某些实施例中，已知设备列表包括与每个设备130相关联的设置806。处理器1005可以例如基于从位置/方位传感器260接收到的信息来确定可穿戴EEG设备200的位置或方向的变化。响应于确定位置或方向的变化，处理器1005可以执行控制所选设备130设置的功能。例如，当用户的头部从朝下的位置移动到更朝上的位置时，处理器1005可以使所选设备130的音量设置增大。同样，当用户的头部从朝上的位置移动到朝下的位置时，处理器1005可以使所选设备130的音量设置降低。与设备130相关功能的情况一样，应用程序710可以允许用户102定义与每个已知设备(或已知设备组)相关的附加功能804，并根据位置或方向的变化选择由可穿戴EEG设备200控制的设置。这样，用户102可基于聚焦水平来激活或停用设备130，并可基于用户头部的移动调整设备130的设置。
图9A示出用于控制与设备130相关的设置806的示例性环境900。环境900包括由设备控制器120控制的灯泡130。设备控制器120包括能够开关灯泡130的激活控制器904和能够例如通过调节流过灯泡130的电流来调节灯泡130亮度的调光控制器906。在此，调光控制器906的设置806是相对较低的值，对应于低亮度水平。参照图9B，调光控制器906的设置806已被移动到较高的值，以响应可穿戴EEG设备200向上倾斜。检测设备和检测可穿戴EEG设备移动的过程可以如上所述。例如，系统可以计算亮度的增加或减少，以匹配(或作为)设备偏航增加或减少的量。如前所述，为了响应检测到的大脑活动，可穿戴EEG设备200还可以向设备控制器120发送信号，使设备控制器120通过激活控制器904打开或关闭灯光。以这种方式使用可穿戴EEG设备200，用户102可以根据聚焦水平打开或关闭灯光130，并且用户可以根据用户头部的运动调整灯光130的亮度。可穿戴EEG设备200可用于激活/禁用和调整各种设备130的设置，包括打开和关闭风扇并控制其速度、激活/禁用音频设备并调整音量、激活/禁用气候控制系统并调整温度等。虽然图9A和9B示出可穿戴EEG设备200与设备130及其设备控制器120的直接通信，但通信可通过一个或多个中间设备确定路线，如图1、6A、6B和7中所示。
图10示出可包括在系统的任何电子组件中的示例性硬件，例如可穿戴EEG设备200的内部处理系统。电气总线1000充当信息高速公路，将图示的其他硬件组件互连起来。处理器1005是系统的中央处理设备，用于执行编程指令所需的计算和逻辑运算。本文和权利要求书中使用的术语"处理器"和"处理设备"可指单个处理器1005或共同执行一组操作的任意数量的处理器，例如中央处理器(CPU)、图形处理单元(GPU)、远程服务器或这些处理器的组合。只读存储器(ROM)、随机存取存储器(RAM)、闪存、硬盘驱动器和其他能够存储电子数据的设备构成存储器设备1025的实例。存储设备可包括存储数据和/或指令的单个设备或多个设备。本发明的各种实施例可包括包含编程指令的计算机可读介质，这些编程指令被配置为使一个或多个处理器执行上文图中所述的功能。
可选的显示接口1030可以将来自总线1000的信息以可视、图形或字母数字格式显示在显示设备1035上，例如显示在车辆的仪表盘显示系统上。还可提供音频接口和音频输出(如扬声器)。与外部设备的通信可使用各种通信设备1010进行，如无线天线、射频识别(RFID)标签和/或短程或近场通信收发器，其中每个都可选择通过一个或多个通信系统与设备的其他组件通信连接。通信设备1010可包括发射器、收发器或其他装置，它们被配置为可通信地连接到通信网络，如互联网、Wi-Fi或局域网或蜂窝电话数据网络，或与附近的一个或多个设备建立直接通信连接，如蓝牙发射器或红外光发射器。
硬件还可包括用户界面传感器1045，用于接收来自键盘或键盘、操纵杆、触摸屏、触摸板、遥控器、指向设备和/或麦克风等输入设备1050的数据。此外，还可从可捕捉视频和/或静态图像的摄像头1040接收数字影像帧。系统还可以接收来自一个或多个传感器1020(例如EEG传感器220)和运动/位置传感器1070(如惯性测量传感器)的数据。
在第一个实施例中，系统包括外壳，该外壳被配置成可套在人的耳朵上。外壳包括位于耳朵上的桥、从所述桥向前延伸至人的太阳穴上方位置的第一部分以及从桥向后延伸的第二部分。该系统还包括设置在第二部分中的第一干式脑电图(EEG)传感器、设置在第一部分中的第二干式EEG传感器、电源、处理器、与处理器通信的摄像头以及与处理器通信的发射器。
可选地，在上述实施例中，摄像头设置在第一部分中，并被配置为在人将外壳戴在耳朵上时捕捉视场中对象的图像。
可选地，或在上述任何实施例中，该系统包括从外壳向下延伸的柔性听筒，当人穿戴时，该柔性听筒定位在耳垂下方，第三干式脑电图传感器设置在柔性听筒中。
可选地，或在上述任何实施例中，系统还包括安装在外壳中的位置传感器或方位传感器。
可选地，或在上述任何实施例中，系统包括设置在外壳中的存储器。可选地，存储器容纳数据存储，该数据存储包含代表与已知设备相关联的特征的数据，这些特征是从已知设备的捕获图像中提取的。
在第二个实施例中，一种控制环境中一个或多个对象的方法包括，通过电子设备的处理器，从电子设备的摄像头接收图像，该电子设备具有脑电图传感器；并处理图像以识别与已知设备相对应的特征。该方法包括从至少两个脑电图传感器接收脑电波信号，并比较脑电波信号以测量大脑活动水平。在检测到(a)与已知设备对应的特征和(b)大脑活动水平偏离基线至少阈值水平时，该方法包括生成指令信号，该指令信号被配置为使已知设备启动，并将指令信号传送到已知设备(或已知设备的控制器)。
可选地，在上述实施例中，处理图像以识别与已知设备对应的特征包括：从图像中提取一个或多个图像特征，并将所述图像特征与一个或多个与已知设备对应的已知特征进行比较，其中已知特征是从已知设备的先前拍摄的图像中提取的。
可选地，或在上述任何实施例中，将图像特征与一个或多个已知特征进行比较包括确定至少阈值数量的图像特征与对应于该已知设备的已知特征相对应。
可选地，或在上述任何实施例中，特征包括印在已知设备表面的符号或符号图案。
可选地，或在上述任何实施例中，该方法还包括以每秒至少两次的速率接收图像。
可选地，或在上述任何实施例中，电子设备包括惯性测量单元(IMU)，该方法进一步包括，响应于确定已知设备包括可调节的设定点，使用IMU调节设定点。
可选地，或在上述任何实施例中，电子设备包括惯性测量单元(IMU)，该方法进一步包括，响应于确定已知设备是电子用户界面，使用IMU在电子用户界面上选择将发生启动的位置。
在第三个实施例中，控制环境系统中一个或多个对象的系统包括可穿戴耳罩式电子设备，该设备具有一组干式脑电图传感器、摄像头、处理器和编程指令。编程指令被配置为使处理器接收来自摄像头的图像，处理图像以识别与已知设备相对应的特征，并接收来自至少两个脑电图传感器的脑电波信号。系统通过比较脑电波信号来测量大脑活动水平。在检测到(a)与已知设备相对应的特征和(b)脑活动水平偏离基线至少阈值水平时，系统生成指令信号，所述指令信号配置为使已知设备启动，并将指令信号传送到已知设备(或已知设备的控制器)。
可选地，在上述实施方案中，脑电波信号包括β波信号。
可选地，或在上述任何实施例中，与已知设备相对应的特征包括已知设备表面的形状。
可选地，或在上述任何实施例中，特征包括印在已知设备表面的符号或符号图案。
可选地，或在上述任何实施例中，系统进一步包括惯性测量单元(IMU)和附加编程指令，这些指令被配置为使处理器响应于确定已知设备具有可调节的设定点，使用IMU来调节设定点。
可选地，或在上述任何实施例中，系统进一步包括惯性测量单元(IMU)和附加编程指令，这些指令被配置为使处理器响应于确定已知设备是电子用户界面，使用IMU在电子用户界面上选择将发生启动的位置。
可选地，或在上述任何实施例中，可穿戴耳罩式电子设备进一步包括外壳，该外壳被配置成可套在人的耳朵上，该外壳包括在耳朵上的桥、从所述桥向前延伸至人的太阳穴上方位置的第一部分，以及从所述桥向后延伸的第二部分。
可选地，或在上述任何实施例中，可穿戴耳罩式电子设备进一步包括设置在第二部分中的第一干式脑电图(EEG)传感器、设置在第一部分中的第二干式脑电图传感器、电源以及与处理器通信的发射器。
可选地，或在上述任何实施例中，可穿戴耳罩式电子设备进一步包括数据存储，其包含与已知设备相对应的已知特征，已知特征是从先前捕获的已知设备图像中提取的。编程指令包括从接收到的图像中提取一个或多个图像特征并将图像特征与已知特征进行比较以识别已知设备的指令。可选地，将图像特征与已知特征进行比较的指令包括确定阈值数量的图像特征与已知特征相对应的指令。
在第四个实施例中，开发环境中对象数据库的方法包括使用具有摄像头的移动设备捕捉环境中对象的图像。对于每个对象，该方法包括通过用户界面接收对对象的用户选择，并响应于接收到的用户选择，创建对象的可识别特征模式。创建可识别特征模式的方法是：在一张或多张图像中识别与对象相关的特征，并通过移动设备与可穿戴电子设备之间的通信链路将这些特征传输到可穿戴电子设备，使可穿戴电子设备将该模式保存到可穿戴电子设备中的数据存储。
可选地，在上述实施例中，该方法进一步包括接收与所选对象相关联的可执行指令，并通过通信链路将该可执行指令传输至可穿戴电子设备，从而使可穿戴电子设备将该可执行指令与所述模式相关联。可选地，可执行指令在被可穿戴电子设备执行时，会使可穿戴电子设备调整对象的设置。
可选地，或在上述任何实施例中，识别特征包括在一个或多个图像中定位一个或多个关键点，并为关键点分配标识符。可选地，标识符包括二进制鲁棒独立基本特征(BRIEF)描述符。
可选地，或在上述任何实施例中，接收对对象的用户选择包括接收对对象图像的用户选择。
在第五个实施例中，训练机器学习模型的方法包括使用具有摄像头的移动设备捕捉环境中对象的图像。对于每个对象，该方法包括通过用户界面接收对对象的用户选择，接收与所选对象相关联的指令，以及响应于接收用户选择，训练机器学习模型以识别对象。该方法通过接收对象的多个图像并基于多个图像训练机器学习模型来训练机器学习模型识别对象。该方法进一步包括通过移动设备和可穿戴电子设备之间的通信链路将训练的模型和指令传输到可穿戴电子设备，使可穿戴电子设备将训练的机器学习模型保存到可穿戴电子设备中的数据存储，并将指令与训练的机器学习模型相关联。
可选地，在上述实施例中，使可穿戴电子设备将指令与训练的机器学习模型关联，进一步使可穿戴电子设备响应于训练的机器学习模型在可穿戴电子设备捕获的图像中识别出对象而执行指令。可选地，指令在执行时会使对象从第一状态变为不同状态。
可选地，或在上述任何实施例中，机器学习模型包括神经网络。
可选地，或在上述任何实施例中，接收多幅图像包括从多个角度捕捉对象的视频。
可选地，或在上述任何实施例中，机器学习模型被配置为确定对象出现在图像中的概率，机器学习模型被进一步配置为在确定的概率满足概率阈值时识别对象。
可选地，或在上述任何实施例中，该方法进一步包括确定多个图像中一个或多个图像的一个或多个目标区域，并基于多个图像中一个或多个目标区域内的部分训练机器学习模型。
可选地，或在上述任何实施例中，该方法包括接收所选对象的参考图像，并识别参考图像中与所选对象相关的参考特征。
可选地，或在上述任何实施例中，该方法进一步包括在多个图像中的一个或多个图像中围绕对象构建边界框，从边界框内的每个图像的部分中提取特征，并将提取的特征与参考特征进行比较。根据与参考特征相匹配的提取特征的阈值数量，该方法包括在边界框内的图像部分上训练机器学习模型。
可选地，或在上述任何实施例中，该方法包括调整对象周围边界框的尺寸、位置或方向，直到提取特征的阈值数量与参考特征相匹配。
在第六个实施例中，用于训练机器学习模型的系统包括移动设备，该移动设备具有摄像头，用于捕捉环境中对象的图像。移动设备被配置为通过用户界面接收对对象的用户选择，接收与所选对象相关联的指令，并训练机器学习模型以识别对象。系统通过以下方式训练机器学习模型识别对象：接收对象的多个图像，根据多个图像训练机器学习模型，通过移动设备和可穿戴电子设备之间的通信链路将训练的模型和指令传输到可穿戴电子设备，使可穿戴电子设备将训练的机器学习模型保存到可穿戴电子设备中的数据存储，并将指令与训练的机器学习模型相关联。
可选地，在上述实施方案中，接收多幅图像包括从多个角度捕捉对象的视频。
可选地，或在上述任何实施例中，移动设备进一步配置为确定多个图像中一个或多个图像的一个或多个目标区域，并基于多个图像中一个或多个目标区域内的部分来训练机器学习模型。
可选地，或在上述任何实施例中，移动设备被配置为接收所选对象的参考图像，并识别参考图像中与所选对象相关的已知特征。移动设备在多个图像中的一个或多个图像中围绕对象构建边界框，从边界框内的每个图像的部分提取特征，并将提取的特征与已知特征进行比较。根据与已知特征匹配的提取特征的阈值数量，移动设备在边界框内的图像部分上训练机器学习模型。
可选地，或在上述任何实施例中，移动设备被配置为调整围绕对象的边界框的尺寸、位置或方向，直到提取的特征的阈值数量与已知特征相匹配。
在本文中，"电子设备"或"计算设备"是指包括处理器和内存的设备。每个设备可以拥有自己的处理器和/或内存，也可以与其他设备共享处理器和/或内存，如虚拟机或容器安排。存储器将包含或接收编程指令，当处理器执行这些指令时，会使电子设备根据编程指令执行一个或多个操作。
术语"存储器"、"存储器件"、"计算机可读介质"、"数据存储器"、"数据存储设备"等均指存储计算机可读数据、程序指令或两者的非暂态设备。除非另有特别说明，否则术语"存储器"、"存储器件"、"计算机可读介质"、"数据存储器"、"数据存储设施"及类似术语旨在包括单个设备实施例、多个存储器件共同或集体存储一组数据或指令的实施例，以及这些设备中的单个扇区。计算机程序产品是一种存储有编程指令的存储设备。
术语"处理器"和"处理设备"是指电子设备中配置用于执行编程指令的硬件组件，如微处理器或其他逻辑电路。处理器和存储器可以是微控制器、定制可配置集成电路、可编程片上系统或其他电子设备的元件，可通过编程执行各种功能。除非另有特别说明，单数术语"处理器"或"处理设备"旨在包括单处理设备实施例和多个处理设备共同或集体执行处理的实施例。
成像系统"是指任何能够以光学方式观察对象并将对该对象的解读转换为电子信号的设备或系统。数码相机就是成像设备的一个实施例。
机器学习模型"或"模型"是指一组算法例程和参数，可根据一组输入特征预测真实世界过程的输出(如对象的识别或分类)，而无需明确编程。软件例程的结构(例如子例程的数量和它们之间的关系)和/或参数值可以在训练过程中确定，训练过程可以使用被建模的真实世界过程的实际结果。据了解，此类系统或模型必然植根于计算机技术，事实上，如果没有计算机技术，此类系统或模型是无法实现的，甚至是不存在的。虽然机器学习系统利用各种类型的统计分析，但机器学习系统与统计分析的区别在于，它无需明确的编程就能学习，并且植根于计算机技术。机器学习模型可以在样本数据集(称为"训练数据")上进行训练。
术语"边界框"是指表示对象位置的矩形框。边界框在数据中可以用x轴和y轴坐标[xmax,ymax]以及x轴和y轴坐标[xmin,ymin]来表示，前者对应于边界框的第一个角(如右上角)，后者对应于与第一个角相对的矩形角(如左下角)。它可以计算为包含对象所有点的最小矩形，也可以选择加上一个额外的空间以允许误差。对象的点可以是一个或多个传感器检测到的点，例如摄像头捕捉到的图像像素。
在本文中，术语"无线通信"指的是一种通信协议，在这种协议中，信源和目的地之间的通信路径至少有一部分是通过空气而不是物理导体传输信号的，如Wi-Fi网络、蓝牙连接或通过其他短程或近场通信协议进行的通信。然而，术语"无线通信"并不一定要求整个通信路径都是无线的，因为通信路径的一部分也可能包括设置在发射器之前或接收器之后的物理导体，这些物理导体有助于在路径的无线位置上进行通信。
当本文件使用"前方"和"后方"或"前方"和"后方"等相对位置术语时，其目的是涵盖这样一种安排，即装置由人穿戴，人面向的方向被认为是前方或前方。
虽然本发明已通过具体实施例进行了描述，但对于本领域的技术人员来说，其他替代方案、修改和变型也是显而易见的。因此，在所附权利要求书的精神和范围内，将包括所有这些替代方案、修改和变化。

Claims (40)

1.一种用于检测人的脑电波的系统，该系统包括：
外壳，其配置为可套在人的耳朵上，所述外壳包括：
位于耳朵上的桥，
从所述桥向前延伸到人的太阳穴上方的位置的第一部分，以及
从所述桥向后延伸的第二部分；
安装在第二部分中的第一干式脑电图(EEG)传感器；
设置在第一部分中的第二干式EEG传感器；
电源；
处理器；
与处理器通信的摄像头；以及
与处理器通信的发射器。
2.根据权利要求1所述的系统，其中摄像头设置在第一部分中，并被配置为当人将外壳戴在耳朵上时捕捉人的视场中的对象的图像。
3.根据权利要求1的系统，还包括：
从外壳向下延伸的柔性听筒，并且被定位成当人佩戴时，该听筒适配在耳垂下方；以及
设置在柔性听筒中的第三干式EEG传感器。
4.根据权利要求1所述的系统，还包括设置在外壳中的位置传感器或方位传感器。
5.根据权利要求1所述的系统，还包括设置在外壳中的存储器，其中该存储器容纳一个数据存储区，该数据存储区包含表示与已知设备相关的特征的数据，这些特征是从已知设备的捕获图像中提取的。
6.一种控制环境中一个或多个对象的方法，包括通过电子设备的处理器：
从电子设备的摄像头接收图像，电子设备包括EEG传感器；
处理所述图像以识别与已知设备相对应的特征；
接收来自至少两个EEG传感器的脑电波信号，并对所述脑电波信号进行比较，以测量大脑活动水平；
在检测到(a)与已知设备对应的特征和(b)大脑活动水平偏离基线至少阈值水平时，生成指令信号，该信号被配置为使已知设备启动；以及
将所述指令信号传送到所述已知的设备或该已知设备的控制器。
7.根据权利要求6所述的方法，其中所述处理图像以识别与已知设备相对应的特征包括：
从所述图像中提取一个或多个图像特征；以及
将所述图像特征与一个或多个对应于所述已知设备的已知特征进行比较，所述已知特征是从所述已知设备先前捕获的图像中提取的。
8.根据权利要求7所述的方法，其中，将所述图像特征与一个或多个对应于所述已知设备的已知特征进行比较，包括确定至少阈值数量的图像特征与对应于该已知设备的已知特征相对应。
9.根据权利要求6所述的方法，其中：
所述电子设备还包括惯性测量单元(IMU)；以及
其中，该方法进一步包括，根据确定所述已知设备包括可调节的设定点，使用所述IMU来调节所述设定点。
10.根据权利要求6所述的方法，其中：
所述电子设备还包括惯性测量单元(IMU)；以及
其中，该方法进一步包括，根据确定所述已知设备是电子用户界面，使用所述IMU在该电子用户界面上选择将发生所述启动的位置。
11.根据权利要求6所述的方法，还包括以每秒至少两次的速度接收所述图像。
12.根据权利要求6所述的方法，其中所述特征包括印在所述已知设备的表面的符号或符号图案。
13.一种用于控制环境中一个或多个对象的系统，该系统包括：
可穿戴耳罩式电子设备，包括一组干式脑电图(EEG)传感器、摄像头、处理器，和编程指令，所述编程指令被配置为使所述处理器：
从所述摄像头接收图像；
处理所述图像以识别与已知设备相对应的特征；
接收来自至少两个EEG传感器的脑电波信号，并对所述脑电波信号进行比较以测量大脑活动水平；
在检测到(a)与已知设备对应的特征和(b)大脑活动水平偏离基线至少阈值水平时，生成指令信号，该信号被配置为使已知设备启动；以及
将所述指令信号传送到所述已知的设备或该已知设备的控制器。
14.根据权利要求13所述的系统，其中可穿戴耳罩式电子设备包括：
外壳，其配置为可套在人的耳朵上，所述外壳包括：
位于耳朵上的桥，
从所述桥向前延伸到人的太阳穴上方的位置的第一部分，以及
从所述桥向后延伸的第二部分；
安装在第二部分中的第一干式脑电图(EEG)传感器；
安装在第一部分中的第二干式EEG传感器；
电源；以及
与所述处理器通信的发射器。
15.根据权利要求13所述的系统，还包括：
惯性测量单元(IMU)；以及
附加编程指令，其配置为使处理器根据确定所述已知设备包括可调节的设定点，使用所述IMU来调节所述设定点。
16.根据权利要求13所述的系统，还包括：
惯性测量单元(IMU)；以及
附加编程指令，其配置为使处理器根据确定已知设备是电子用户界面，从而使用所述IMU在电子用户界面上选择将发生启动的位置。
17.根据权利要求13所述的系统，其中所述可穿戴耳罩式电子设备进一步包括：
数据存储，其包含与所述已知设备相对应的已知特征，所述已知特征是从所述已知设备先前捕获的图像中提取的；以及
其中所述编程指令包括指令以用于：
从接收到的图像中提取一个或多个图像特征；以及
将所述图像特征与所述已知特征进行比较，以识别已知设备。
18.根据权利要求17所述的系统，其中将所述图像特征与所述已知特征进行比较的指令包括确定阈值数量的图像特征与所述已知特征相对应的指令。
19.根据权利要求13所述的系统，其中脑波信号包括β波信号。
20.根据权利要求13所述的系统，其中所述特征包括已知设备表面的形状。
21.一种在环境中开发对象数据库的方法，该方法包括：
使用带有摄像头的移动设备捕捉环境中的对象的图像，
对于每个对象：
通过用户界面接收对于所述对象的用户选择；以及
根据接收到所述用户选择，通过以下方式创建所述对象的可识别特征的模式：
识别一个或多个图像中与所述对象相关的特征，以及
通过移动设备和可穿戴电子设备之间的通信链路，将所述特征传输到可穿戴电子设备，使可穿戴电子设备将所述图案保存到可穿戴电子设备中的数据存储。
22.根据权利要求21所述的方法，还包括：
接收与所选对象相关联的可执行指令；以及
经由所述通信链路将所述可执行指令发送到所述可穿戴电子设备指令，使所述可穿戴电子设备将所述可执行指令与所述图案相关联。
23.根据权利要求22所述的方法，其中，当所述可执行指令由所述可穿戴电子设备执行时，使所述可穿戴电子设备调整所述对象的设置。
24.根据权利要求21所述的方法，其中识别所述特征包括在一个或多个图像中定位一个或多个关键点，并为所述关键点分配标识符。
25.根据权利要求24所述的方法，其中所述标识符包括二进制鲁棒独立基本特征(BRIEF)描述符。
26.根据权利要求21所述的方法，其中接收用户对于对象的选择包括接收用户对于对象图像的选择。
27.一种训练机器学习模型的方法，该方法包括：
使用带有摄像头的移动设备捕捉环境中对象的图像；
对于每个对象：
通过用户界面接收对于所述对象的用户选择；
接收与所选对象相关联的指令；
根据接收到所述用户选择，通过以下方式训练机器学习模型以识别所述对象：
接收所述对象的多个图像；以及
基于所述多个图像来训练所述机器学习模型；以及
经由所述移动设备与所述可穿戴电子设备之间的通信链路，将训练好的模型和指令传输到所述可穿戴电子设备，使所述可穿戴电子设备将训练好的机器学习模型保存到可穿戴电子设备中的数据存储区，并将所述指令与所述训练好的机器学习模型相关联。
28.根据权利要求27所述的方法，还包括：
确定所述多个图像中的一个或多个图像的一个或多个目标区域；以及
其中，训练所述机器学习模型是基于一个或多个目标区域内的多个图像中的部分。
29.根据权利要求27所述的方法，还包括：
接收所选对象的参考图像；
识别与所述参考图像中的所选对象相关的参考特征；
在所述多个图像中的一个或多个图像中，围绕所述对象构建边界框；
从所述边界框内的每个图像的所述部分中提取特征；
将提取的特征与参考特征进行比较；以及
根据与参考特征相匹配的提取特征的阈值数量，在边界框内的图像部分上训练机器学习模型。
30.根据权利要求29所述的方法，还包括：
调整在所述对象周围的边界框的尺寸、位置或方向，直到阈值数量的提取的特征与参考特征匹配。
31.根据权利要求27所述的方法，其中接收多个图像包括从多个角度捕捉所述对象的视频。
32.根据权利要求27所述的方法，其中，使所述可穿戴电子设备将所述指令与训练好的机器学习模型相关联，进一步使所述可穿戴电子设备根据训练好的机器学习模型在所述可穿戴电子设备捕获的图像中识别出对象从而执行所述指令。
33.根据权利要求32所述的方法，其中所述指令在被执行时，使得所述对象从第一状态改变到不同状态。
34.根据权利要求27所述的方法，其中所述机器学习模型包括神经网络。
35.根据权利要求27所述的方法，其中所述机器学习模型被配置为确定所述在所述图像中的概率，并且其中所述机器学习模型被进一步配置为当所确定的概率满足概率阈值时识别所述对象。
36.一种用于训练机器学习模型的系统，该方法包括：
移动设备，其具有用于捕捉环境中的对象的图像的摄像头，其中该移动设备被配置为：
经由用户界面接收一个对象的用户选择；
接收与所选对象相关联的指令；以及
通过以下方式训练所述机器学习模型以识别所述对象：
接收所述对象的多个图像；
基于所述多个图像来训练所述机器学习模型；以及
经由所述移动设备和所述可穿戴电子设备之间的通信链路，将训练好的模型和所述指令传输到可穿戴电子设备，使可穿戴电子设备将所述训练好的机器学习模型保存到所述可穿戴电子设备中的数据存储区，并将所述指令与训练好的机器学习模型相关联。
37.根据权利要求36所述的系统，其中所述移动设备进一步配置为：
确定所述多个图像中的一个或多个图像的一个或多个目标区域；以及
根据所述一个或多个目标区域内的多个图像中的部分的图像，来训练所述机器学习模型。
38.根据权利要求36所述的系统，其中所述移动设备进一步配置为：
接收所选对象的参考图像；
识别与所述参考图像中的与所选对象相关的已知特征；
在所述多个图像中的一个或多个图像中，围绕所述对象构建边界框；
从所述边界框内的每幅图像的所述部分中提取特征；
将提取的特征与已知特征进行比较；以及
根据与已知特征相匹配的提取特征的阈值数量，在边界框内的图像部分上训练机器学习模型。
39.根据权利要求38所述的系统，其中所述移动设备进一步配置为：
调整对象周围边界框的尺寸、位置或方向，直到阈值数量的提取的特征与已知特征相匹配。
40.根据权利要求36所述的系统，其中接收多个图像包括从多个角度捕获的所述对象的视频。
CN202180094969.8A 2020-12-30 2021-12-22 可穿戴式脑电图传感器及使用该传感器的设备控制方法 Pending CN117337421A (zh)

Applications Claiming Priority (6)

Application Number Priority Date Filing Date Title
US202063132001P 2020-12-30 2020-12-30
US63/132,001 2020-12-30
US17/520,237 2021-11-05
US17/520,255 US11500463B2 (en) 2020-12-30 2021-11-05 Wearable electroencephalography sensor and device control methods using same
US17/520,255 2021-11-05
PCT/US2021/073077 WO2022147412A1 (en) 2020-12-30 2021-12-22 Wearable electroencephalography sensor and device control methods using same

Publications (1)

Publication Number Publication Date
CN117337421A true CN117337421A (zh) 2024-01-02

Family

ID=82117264

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202180094969.8A Pending CN117337421A (zh) 2020-12-30 2021-12-22 可穿戴式脑电图传感器及使用该传感器的设备控制方法

Country Status (6)

Country Link
US (4) US11500463B2 (zh)
EP (1) EP4268124A4 (zh)
JP (1) JP2024504041A (zh)
KR (1) KR20230134508A (zh)
CN (1) CN117337421A (zh)
WO (1) WO2022147412A1 (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11500463B2 (en) * 2020-12-30 2022-11-15 Imagine Technologies, Inc. Wearable electroencephalography sensor and device control methods using same
WO2024020408A1 (en) * 2022-07-19 2024-01-25 Imagine Technologies, Inc. Method of developing a data set of objects from images and uses thereof
CN118101358A (zh) * 2022-11-15 2024-05-28 神基科技股份有限公司 物联网装备管理系统及其运作方法

Family Cites Families (54)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8291346B2 (en) * 2006-11-07 2012-10-16 Apple Inc. 3D remote control system employing absolute and relative position detection
US11471091B2 (en) * 2010-07-29 2022-10-18 Kulangara Sivadas Mind strength trainer
US8766783B1 (en) * 2010-11-05 2014-07-01 Google Inc. Methods and systems for remotely controlling electronics
TW201238562A (en) 2011-03-25 2012-10-01 Univ Southern Taiwan Brain wave control system and method
WO2013144629A1 (en) 2012-03-27 2013-10-03 Myndplay Ltd Improvements relating to control mechanisms
WO2013177592A2 (en) * 2012-05-25 2013-11-28 Emotiv Lifesciences, Inc. System and method for providing and aggregating biosignals and action data
US11662819B2 (en) * 2015-05-12 2023-05-30 Medibotics Method for interpreting a word, phrase, and/or command from electromagnetic brain activity
US9814426B2 (en) 2012-06-14 2017-11-14 Medibotics Llc Mobile wearable electromagnetic brain activity monitor
US9968297B2 (en) * 2012-06-14 2018-05-15 Medibotics Llc EEG glasses (electroencephalographic eyewear)
US20140250397A1 (en) 2013-03-04 2014-09-04 Honeywell International Inc. User interface and method
US9996154B2 (en) * 2013-05-09 2018-06-12 Samsung Electronics Co., Ltd. Apparatus and method of controlling display apparatus
US10558272B2 (en) 2013-06-20 2020-02-11 Uday Parshionikar Gesture control via eye tracking, head tracking, facial expressions and other user actions
SG11201606480XA (en) * 2014-02-14 2016-09-29 Univ Singapore System, device and methods for brainwave-based technologies
US10520378B1 (en) * 2014-03-20 2019-12-31 Invent.Ly, Llc Wearable user input device and sensors system to detect injury
US10852838B2 (en) 2014-06-14 2020-12-01 Magic Leap, Inc. Methods and systems for creating virtual and augmented reality
US9799301B2 (en) 2014-10-09 2017-10-24 Nedim T. SAHIN Method, system, and apparatus for battery life extension and peripheral expansion of a wearable data collection device
EP3064130A1 (en) * 2015-03-02 2016-09-07 MindMaze SA Brain activity measurement and feedback system
KR20160126452A (ko) * 2015-04-23 2016-11-02 엘지전자 주식회사 복수의 디바이스에 대한 원격제어를 수행할 수 있는 원격제어장치
US10165949B2 (en) 2015-06-14 2019-01-01 Facense Ltd. Estimating posture using head-mounted cameras
US20160371884A1 (en) * 2015-06-17 2016-12-22 Microsoft Technology Licensing, Llc Complementary augmented reality
US20170103440A1 (en) 2015-08-01 2017-04-13 Zhou Tian Xing Wearable augmented reality eyeglass communication device including mobile phone and mobile computing via virtual touch screen gesture control and neuron command
US10289205B1 (en) * 2015-11-24 2019-05-14 Google Llc Behind the ear gesture control for a head mountable device
US9712736B2 (en) * 2015-12-15 2017-07-18 Intel Coprporation Electroencephalography (EEG) camera control
US9818031B2 (en) 2016-01-06 2017-11-14 Orcam Technologies Ltd. Crowd-sourced vision-based information collection
US20170259167A1 (en) 2016-03-14 2017-09-14 Nathan Sterling Cook Brainwave virtual reality apparatus and method
EP3457909A4 (en) * 2016-05-18 2019-10-30 Given Imaging Ltd. SYSTEMS AND METHODS FOR SELECTING IN VIVO CAPTURED DISPLAY IMAGES
US20170337747A1 (en) * 2016-05-20 2017-11-23 Patrick M. HULL Systems and methods for using an avatar to market a product
US10044712B2 (en) 2016-05-31 2018-08-07 Microsoft Technology Licensing, Llc Authentication based on gaze and physiological response to stimuli
WO2018022597A1 (en) 2016-07-25 2018-02-01 Ctrl-Labs Corporation Methods and apparatus for inferring user intent based on neuromuscular signals
IL281241B (en) * 2016-08-22 2022-08-01 Magic Leap Inc An augmented reality display device with deep learning sensors
US20180095635A1 (en) * 2016-10-04 2018-04-05 Facebook, Inc. Controls and Interfaces for User Interactions in Virtual Spaces
US10324531B2 (en) * 2016-12-27 2019-06-18 Immersion Corporation Haptic feedback using a field of view
WO2018182534A1 (en) * 2017-03-31 2018-10-04 Agency For Science, Technology And Research A computer system for acquiring a control command
AU2018258679B2 (en) 2017-04-27 2022-03-31 Magic Leap, Inc. Light-emitting user input device
CN111226187A (zh) * 2017-06-30 2020-06-02 华为技术有限公司 通过镜子与用户交互的系统和方法
US20210264679A1 (en) * 2017-07-25 2021-08-26 Facebook Technologies, Llc Smart sensor
US20190054371A1 (en) 2017-08-18 2019-02-21 Lenovo Enterprise Solutions (Singapore) Pte. Ltd. Control of a video display headset using input from sensors disposed about the brain of a user
US10809796B2 (en) 2017-09-29 2020-10-20 Apple Inc. Monitoring a user of a head-wearable electronic device
US10827942B2 (en) 2018-01-03 2020-11-10 Intel Corporation Detecting fatigue based on electroencephalogram (EEG) data
KR20200108888A (ko) 2018-01-18 2020-09-21 뉴레이블 인크. 고속, 정확, 및 직관적 사용자 상호작용들을 위한 적응들을 갖는 뇌-컴퓨터 인터페이스
WO2019168920A1 (en) * 2018-02-28 2019-09-06 Novel Effect, Inc. System and method for integrating special effects with a text source
US10901508B2 (en) 2018-03-20 2021-01-26 X Development Llc Fused electroencephalogram and machine learning for precognitive brain-computer interface for computer control
US10551921B2 (en) * 2018-03-23 2020-02-04 Abl Ip Holding Llc Electroencephalography control of controllable device
KR102651413B1 (ko) 2018-10-17 2024-03-27 삼성전자주식회사 전자 장치 및 전자 장치의 제어 방법
KR20200046191A (ko) * 2018-10-19 2020-05-07 한국전자통신연구원 실시간 사용자 행위 분석에 의한 계층적 상황인지 및 디바이스 자율 구성 장치 및 그 방법
GB2579827A (en) * 2018-12-14 2020-07-08 Brainpatch Ltd Brain interfacing apparatus and method
WO2020160288A1 (en) * 2019-02-01 2020-08-06 Starkey Laboratories, Inc. Efficient wellness measurement in ear-wearable devices
CN111316319A (zh) 2019-03-15 2020-06-19 深圳市大疆创新科技有限公司 图像处理方法、电子设备及计算机可读存储介质
TWI732374B (zh) 2019-12-10 2021-07-01 財團法人工業技術研究院 物件辨識方法及裝置
US11610303B2 (en) 2020-03-03 2023-03-21 The University Court Of The University Of Edinburgh Data processing apparatus and method
US20210326646A1 (en) 2020-04-20 2021-10-21 Chooch Intelligence Technologies Co. Automated generation of training data for contextually generated perceptions
US20220000409A1 (en) * 2020-07-05 2022-01-06 Hsin-Yin Chiang On-ear electroencephalographic monitoring device
US11541534B2 (en) * 2020-07-14 2023-01-03 Intrinsic Innovation Llc Method and system for object grasping
US11500463B2 (en) * 2020-12-30 2022-11-15 Imagine Technologies, Inc. Wearable electroencephalography sensor and device control methods using same

Also Published As

Publication number Publication date
US20240036650A1 (en) 2024-02-01
EP4268124A1 (en) 2023-11-01
US20230018742A1 (en) 2023-01-19
US11461991B2 (en) 2022-10-04
WO2022147412A1 (en) 2022-07-07
KR20230134508A (ko) 2023-09-21
EP4268124A4 (en) 2024-05-15
JP2024504041A (ja) 2024-01-30
US20220206576A1 (en) 2022-06-30
US11816266B2 (en) 2023-11-14
US11500463B2 (en) 2022-11-15
US20220207281A1 (en) 2022-06-30

Similar Documents

Publication Publication Date Title
US11461991B2 (en) Method of developing a database of controllable objects in an environment
US11074466B2 (en) Anti-counterfeiting processing method and related products
CN109074819A (zh) 基于操作-声音的多模式命令的优选控制方法及应用其的电子设备
CN103295028B (zh) 手势操作控制方法、装置及智能显示终端
CN116193560A (zh) 确定发射机天线与人体的接近以限制发射机输出功率
CN107111882B (zh) 条纹集合查找方法、装置以及系统
CN103400108A (zh) 人脸识别方法、装置和移动终端
US20140340498A1 (en) Using distance between objects in touchless gestural interfaces
WO2019015418A1 (zh) 解锁控制方法及相关产品
US11151398B2 (en) Anti-counterfeiting processing method, electronic device, and non-transitory computer-readable storage medium
CN109238306A (zh) 基于穿戴式设备的计步数据校验方法、装置、存储介质及终端
KR102163996B1 (ko) 사용자 기기의 비접촉식 인식 기능 성능 향상 방법 및 장치
CN108375912A (zh) 智能家居控制方法及相关产品
CN109711477A (zh) 一种自动驾驶模型的训练方法及装置
CN112925409A (zh) 信息处理装置以及计算机可读介质
CN112558754A (zh) 信息处理装置、存储介质及信息处理方法
CN109040457A (zh) 一种屏幕亮度调节方法及移动终端
WO2024020408A1 (en) Method of developing a data set of objects from images and uses thereof
WO2023027578A1 (en) Nose-operated head-mounted device
CN107749942A (zh) 悬浮拍摄方法、移动终端及计算机可读存储介质
CN114593081A (zh) 智能控制方法、装置、存储介质及终端设备
CN108628445B (zh) 脑电波采集方法及相关产品
CN108573138B (zh) 电子装置、解锁控制方法及相关产品
CN113031758A (zh) 信息处理装置以及计算机可读介质
CN113495617A (zh) 设备控制的方法、装置、终端设备以及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination