CN109862822A - 识别影响个体的工作记忆负荷的感官输入 - Google Patents

识别影响个体的工作记忆负荷的感官输入 Download PDF

Info

Publication number
CN109862822A
CN109862822A CN201680090342.4A CN201680090342A CN109862822A CN 109862822 A CN109862822 A CN 109862822A CN 201680090342 A CN201680090342 A CN 201680090342A CN 109862822 A CN109862822 A CN 109862822A
Authority
CN
China
Prior art keywords
sense organ
working memory
individual
memory load
input
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201680090342.4A
Other languages
English (en)
Other versions
CN109862822B (zh
Inventor
拉尔斯·安德森
马修·约翰·劳伦森
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Telefonaktiebolaget LM Ericsson AB
Original Assignee
Telefonaktiebolaget LM Ericsson AB
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Telefonaktiebolaget LM Ericsson AB filed Critical Telefonaktiebolaget LM Ericsson AB
Publication of CN109862822A publication Critical patent/CN109862822A/zh
Application granted granted Critical
Publication of CN109862822B publication Critical patent/CN109862822B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/16—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state
    • A61B5/168—Evaluating attention deficit, hyperactivity
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B3/00—Apparatus for testing the eyes; Instruments for examining the eyes
    • A61B3/10—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions
    • A61B3/11—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions for measuring interpupillary distance or diameter of pupils
    • A61B3/112—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions for measuring interpupillary distance or diameter of pupils for measuring diameter of pupils
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/0033—Features or image-related aspects of imaging apparatus classified in A61B5/00, e.g. for MRI, optical tomography or impedance tomography apparatus; arrangements of imaging apparatus in a room
    • A61B5/0036—Features or image-related aspects of imaging apparatus classified in A61B5/00, e.g. for MRI, optical tomography or impedance tomography apparatus; arrangements of imaging apparatus in a room including treatment, e.g., using an implantable medical device, ablating, ventilating
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/0059—Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence
    • A61B5/0077—Devices for viewing the surface of the body, e.g. camera, magnifying lens
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/02—Detecting, measuring or recording pulse, heart rate, blood pressure or blood flow; Combined pulse/heart-rate/blood pressure determination; Evaluating a cardiovascular condition not otherwise provided for, e.g. using combinations of techniques provided for in this group with electrocardiography or electroauscultation; Heart catheters for measuring blood pressure
    • A61B5/0205—Simultaneously evaluating both cardiovascular conditions and different types of body conditions, e.g. heart and respiratory condition
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/16—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state
    • A61B5/163—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state by tracking eye movement, gaze, or pupil change
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/16—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state
    • A61B5/165—Evaluating the state of mind, e.g. depression, anxiety
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/24—Detecting, measuring or recording bioelectric or biomagnetic signals of the body or parts thereof
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/24—Detecting, measuring or recording bioelectric or biomagnetic signals of the body or parts thereof
    • A61B5/316—Modalities, i.e. specific diagnostic methods
    • A61B5/318—Heart-related electrical modalities, e.g. electrocardiography [ECG]
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/24—Detecting, measuring or recording bioelectric or biomagnetic signals of the body or parts thereof
    • A61B5/316—Modalities, i.e. specific diagnostic methods
    • A61B5/369—Electroencephalography [EEG]
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/24—Detecting, measuring or recording bioelectric or biomagnetic signals of the body or parts thereof
    • A61B5/316—Modalities, i.e. specific diagnostic methods
    • A61B5/369—Electroencephalography [EEG]
    • A61B5/377—Electroencephalography [EEG] using evoked responses
    • A61B5/378—Visual stimuli
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/24—Detecting, measuring or recording bioelectric or biomagnetic signals of the body or parts thereof
    • A61B5/316—Modalities, i.e. specific diagnostic methods
    • A61B5/369—Electroencephalography [EEG]
    • A61B5/377—Electroencephalography [EEG] using evoked responses
    • A61B5/38—Acoustic or auditory stimuli
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/24—Detecting, measuring or recording bioelectric or biomagnetic signals of the body or parts thereof
    • A61B5/316—Modalities, i.e. specific diagnostic methods
    • A61B5/369—Electroencephalography [EEG]
    • A61B5/377—Electroencephalography [EEG] using evoked responses
    • A61B5/381—Olfactory or gustatory stimuli
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/40—Detecting, measuring or recording for evaluating the nervous system
    • A61B5/4005—Detecting, measuring or recording for evaluating the nervous system for evaluating the sensory system
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N5/00—Computing arrangements using knowledge-based models
    • G06N5/02—Knowledge representation; Symbolic representation
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B2503/00—Evaluating a particular growth phase or type of persons or animals
    • A61B2503/20—Workers
    • A61B2503/24—Computer workstation operators
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/02—Detecting, measuring or recording pulse, heart rate, blood pressure or blood flow; Combined pulse/heart-rate/blood pressure determination; Evaluating a cardiovascular condition not otherwise provided for, e.g. using combinations of techniques provided for in this group with electrocardiography or electroauscultation; Heart catheters for measuring blood pressure
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/02—Detecting, measuring or recording pulse, heart rate, blood pressure or blood flow; Combined pulse/heart-rate/blood pressure determination; Evaluating a cardiovascular condition not otherwise provided for, e.g. using combinations of techniques provided for in this group with electrocardiography or electroauscultation; Heart catheters for measuring blood pressure
    • A61B5/024—Detecting, measuring or recording pulse rate or heart rate
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/103—Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/107—Measuring physical dimensions, e.g. size of the entire body or parts thereof
    • A61B5/1079—Measuring physical dimensions, e.g. size of the entire body or parts thereof using optical or photographic means
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/40—Detecting, measuring or recording for evaluating the nervous system
    • A61B5/4076—Diagnosing or monitoring particular conditions of the nervous system
    • A61B5/4088—Diagnosing of monitoring cognitive diseases, e.g. Alzheimer, prion diseases or dementia
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/48—Other medical applications
    • A61B5/4836—Diagnosis combined with treatment in closed-loop systems or methods
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/68—Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient
    • A61B5/6887—Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient mounted on external non-worn devices, e.g. non-medical devices
    • A61B5/6897—Computer input devices, e.g. mice or keyboards

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Public Health (AREA)
  • Animal Behavior & Ethology (AREA)
  • Surgery (AREA)
  • Molecular Biology (AREA)
  • Medical Informatics (AREA)
  • General Health & Medical Sciences (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Biophysics (AREA)
  • Veterinary Medicine (AREA)
  • Biomedical Technology (AREA)
  • Pathology (AREA)
  • Psychiatry (AREA)
  • Psychology (AREA)
  • Physiology (AREA)
  • Neurology (AREA)
  • Developmental Disabilities (AREA)
  • Hospice & Palliative Care (AREA)
  • Child & Adolescent Psychology (AREA)
  • Cardiology (AREA)
  • Social Psychology (AREA)
  • Educational Technology (AREA)
  • Neurosurgery (AREA)
  • Ophthalmology & Optometry (AREA)
  • Radiology & Medical Imaging (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • General Engineering & Computer Science (AREA)
  • Dentistry (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Theoretical Computer Science (AREA)
  • Pulmonology (AREA)
  • Acoustics & Sound (AREA)
  • Data Mining & Analysis (AREA)
  • Artificial Intelligence (AREA)
  • Software Systems (AREA)
  • General Physics & Mathematics (AREA)
  • Computing Systems (AREA)

Abstract

在本发明的一个方面，提供了一种识别影响个体的工作记忆负荷的感官输入的方法。该方法包括：使用传感器设备监测(S101)个体的工作记忆负荷，检测(S102)个体的工作记忆负荷的增加，并且响应于检测到的增加，识别(S103)影响个体的工作记忆负荷的至少一个感官输入。

Description

识别影响个体的工作记忆负荷的感官输入
技术领域
本发明涉及一种识别影响个体的工作记忆负荷的感官输入的方法、一种用于识别影响个体的工作记忆负荷的感官输入的设备、相应的计算机程序和相应的计算机程序产品。
背景技术
精神集中使人们不太容易分心，但是涉及相当大的认知紧张。人们可以在多大程度上专注于某项任务取决于该任务的确切性质和难度以及与任务相比分心的方式(例如，视觉、口头)。
工作记忆是人们的头脑中可以容易地访问的少量信息。工作记忆用于认知任务，例如推理和解决问题。保留在一个人的工作记忆中的信息是暂时的；它会消失，除非它被存储在长期记忆中。此外，可以存储在工作记忆中的信息量是有限的。竞争的感官输入(即，干扰)可导致高的工作记忆负荷，这可能限制一个人的认知能力。瞳孔直径的测量结果可以用于获得与不同认知活动中的工作记忆需求有关的信息。
认知负荷可以通过在人正在经历各种脑力过程时测量瞳孔反应来举例说明。研究表明执行计算所需的脑力劳动以及该劳动在整个任务过程中如何变化。
例如，已经进行了一项研究，该研究试图将不同的瞳孔测量结果(即，注视持续时间和瞳孔大小)与记忆负荷和处理负荷相关联。该研究发现，注视持续时间随着工作记忆容量之内和之上二者的目标数量而增加表明，在自由观看时，注视持续时间对实际记忆负荷以及处理负荷是敏感的，而瞳孔大小仅指示处理负荷。因此，可以得出结论，注视持续时间对于目标的记忆负荷是选择性的。相反，瞳孔大小的变化对于分离诸如在自由观看搜索任务中的目标编码之类的记忆累积的实例来说太慢。瞳孔大小最有可能反映整体处理负荷，其包含若干认知过程。
任务执行对人类瞳孔的影响被称为“任务诱发的瞳孔反应”。最近的工作，例如Proceedings of the 2008symposium on Eye tracking research&applications(ETRA′08)，pages69-72，ACM New York，2008的J.Klingner、R.Kumar和P.Hanrahan的“Measuringthe Task-Evoked Pupillary Response with a Remote Eye Tracker”，已经发现，远程视频眼动仪具有足够的精度以用于详细的任务诱发的瞳孔测量。
脑电图(EEG)是一种技术，通过该技术测量头皮、前额或耳内区域上的电信号以确定大脑活动。在文献中已经表明，EEG测量可以与认知任务相关联。例如，EEG信号的测量可以用于以相对高的准确度对脑力任务进行分类。作为示例，指导受试者在头脑中撰写给朋友的信函而不发声的脑力信函写作可以区别于对两个多位数相乘(例如，49×78)进行心算的任务。
许多设备和相关方法可用于收集关于在受试者或用户的局部区域中具有何种感官输入(即，用户可感测到的附近的东西)的知识。下面给出一些示例。
成像传感器可以用于识别传感器视场内的物体。由于能够以高精度识别图像或视频中的对象的机器学习算法的发展，图像传感器在对象识别中的使用变得特别强大。
光场相机能够捕获关于从场景发出的光场的数据。因此，与按照标准相机仅记录单个平面相比，可以获得更多的数据。如此，可以使用具有单个镜头的单个相机获得3D图像。
基于LIDAR(“光检测和测距”)的传感器能够扫描其环境以获得其环境的3D地图，并因此向能够识别对象的算法提供数据。最近，“片上”实现或LIDAR已经成为原型，为低至10美元的低成本实现提供了途径。RADAR(“无线电检测和测距”)也具有识别对象的能力。
音频传感器，即麦克风，也可以用于识别不同的事件。已经开发了用于基于事件产生的声音来识别事件的算法。当与定向麦克风结合时，这允许用户将动作(事件)和位置与事件相关联。
已经开发出能够识别气味的设备(所谓的电子鼻)。虽然这些在背后的技术方面差别很大，但是一些极其强大的设备现在以大众市场价格出售，并且实际上已经被并入到诸如检测酒精或大麻的使用的设备中。
许多设备和相关方法可用于模糊来自用户的感官输入，即，掩蔽或消除感官输入，使得用户不再注意到它。下面给出一些示例。
增强现实(AR)是一种允许通过人为地添加与环境融合的计算机生成内容来改变物理环境对用户的显示方式的技术。这可以是视觉内容，例如，使用AR头戴式耳机。AR在娱乐(媒体、游戏)方面具有潜力，而且在教育和专业用途方面也具有潜力。
最近，一些“主动听力”设备已经上市或公布。示例包括多普勒实验室(DopplerLabs)的“Here One”和韦弗利实验室(Waverly Labs)的“Pilot”。Pilot演示了向听力设备添加智能的能力(据称它将在讲不同语言的用户之间进行转换)，而Here One会修改听到或听不到各种声音的等级。
能够合成气味的设备可在市场上买到或已经公布，例如“Cyrano”。其他团队致力于通过使用风扇将气味定位在屏幕的某个部分上来展现气味的屏幕。气味可以被另一种气味掩盖，其中第一种气味被更强烈的第二种气味所取代，或者可以通过使用白色气味掩盖第一种气味。科学家发现，与其中许多波长的组合产生白色(看似无色)光的白光相似，具有许多气味成分的混合物可产生难以区分的气味。
内容过滤是一种改变或限制数字内容的方式(例如广告、不适当的材料或潜在的恶意应用程序)第一种气味。内容过滤软件的使用原因各不相同，其中一个原因可能是在浏览互联网时阻止不必要的干扰。AR的使用提供了“真实世界”广告拦截的可能性，其阻拦例如AR设备用户的物理环境中的品牌徽标和广告。
生产率应用是计算机程序，其例如通过过滤或阻止分散注意力的内容，通过设置定时器，或通过考虑用户的注意力跨度来安排工作和休息，有助于提高生产率并改善注意力和集中度。
但是，现有解决方案存在问题。
关于识别和消除可能分散注意力的感官输入：
·工作记忆负荷：现有的解决方案要求用户积极思考分散注意力的因素，这本身对用户的工作记忆负荷是有害的；
·普遍性：现有的解决方案仅针对某些类型的干扰(例如，阻拦网站广告)或仅关注用户的感官输入之一(例如，仅阻止音频输入)。
关于反馈/控制：
·注意力检测：现有的解决方案不能直接测量用户的实际工作记忆负荷，并因此具有较少的与对干扰项消除的需要以及应当消除哪些干扰项有关的信息；
·消除的效果：现有的解决方案不能直接测量消除用户的工作记忆负荷上的各干扰项的有效性。
发明内容
本发明的一个目的是解决或至少减轻本领域中如何提供识别影响个体的工作记忆负荷的感官输入的方法的问题。
在本发明的第一方面，通过一种识别影响个体的工作记忆负荷的感官输入的方法来实现该目的。该方法包括：使用传感器设备监测个体的工作记忆负荷，检测个体的工作记忆负荷的增加，并且响应于检测到的增加，识别影响个体的工作记忆负荷的至少一个感官输入。
在本发明的第二方面，通过一种用于识别影响个体的工作记忆负荷的感官输入的设备来实现该目的。该识别包括：传感器识别，被配置为监测个体的工作记忆负荷；以及处理单元，被配置为检测个体的工作记忆负荷的增加，并且响应于检测到增加，识别影响个体的工作记忆负荷的至少一个感官输入。
因此，传感器设备用于监测个体的工作记忆负荷。在一个示例中，个体坐在她的计算机前面，并且计算机的内置相机被用作传感器设备，传感器设备用于通过监测个体的一只或两只眼睛来监测工作记忆负荷。
示例相机还可以与计算机的处理单元结合使用，计算机的处理单元用于检测个体的工作记忆负荷的任何增加。例如，处理单元可以在个体的相机进行监测期间检测工作记忆负荷的变化(例如以个体的一只或两只眼睛的瞳孔大小的突然增加的形式)。这种检测表明个体的工作记忆负荷增加。
在检测到这种情况时，计算机的处理单元可以识别影响个体的工作记忆负荷的至少一个感官输入。例如，计算机的内置麦克风与处理单元结合使用，并且登记声音可能是导致检测到的工作记忆负荷增加的感官输入。
这种影响个体的工作记忆负荷的感官输入的识别是非常有利的，并且如将在下面的各种实施例中讨论的那样，可以用于许多目的。
在本发明的实施例中，在识别出影响个体的工作记忆负荷的至少一个感官输入之后，处理单元被配置为减小所识别的至少一个感官输入对个体的工作记忆负荷的影响。
例如，如果个体居住在其中诸如供暖设备、照明和盲控、厨房设备的激活等许多功能与任何计算机、平板电脑、智能电话等一起连接到局域网(例如，无线局域网(WLAN))的互连家庭(connected home)中，则可以启动动作以减轻感官输入对个体的工作记忆负荷的负面影响。
现在，如果个体当前操作的平板电脑或智能电话的相机和处理单元通过观察到增大的瞳孔直径而监测并检测到工作记忆负荷的变化，个体的平板电脑的处理单元可以通过测量环境温度或与供暖控制系统通信来识别出家中的供暖设备被设置为过高的温度而对个体的工作记忆负荷产生负面影响。
结果，平板电脑的处理单元通过WLAN向家庭供暖控制系统(即所识别的感官输入的源)发送控制信号以降低温度，从而有利地减小所识别的至少一个感官输入对个体的工作记忆负荷的影响。
应注意，在该示例中，稍微过高的室内温度通常不会导致工作记忆负荷的突然变化，而是导致在延长的时间段内必然会监测到的变化。
在另一示例中，个体佩戴配备有降噪能力的一对耳机，并且个体当前正在操作的平板电脑的相机和处理单元检测到瞳孔大小的增大，从而指示个体的工作记忆负荷的增加。
降噪耳机还配备有作为感官输入检测设备的麦克风，麦克风与耳机的处理单元结合，用于登记令人不安的背景噪声。在从计算机接收到指示已经检测到工作记忆负荷的增加的无线或有线信号之后，降噪耳机的处理单元通过使个体经受如下信号来启动对所识别的感官输入的对策，从而有效地抵消背景噪声，其中所述信号是背景噪声的异相表示。
在本发明的另一实施例中，通过识别在时间上与检测到的工作记忆负荷的增加一致的感官输入来有利地执行识别影响个体的工作记忆负荷的感官输入，其中所识别的至少一个感官输入被当做是影响个体的工作记忆负荷的感官输入。
这在发生导致工作记忆负荷的相当突然的增加的感官输入的情况下(例如当个体经受对工作记忆负荷产生直接影响的声音或光时)是有利的。然而，如果个体受到不太明显的感官输入，例如温度变化(通常是慢得多的过程)，则充当感官输入检测设备的处理单元可能必须评估在最近的一段时间内(例如，在最近10分钟期间内)已经发生的事件。作为示例，感官输入检测设备可以是与处理单元结合使用的用于评估在最近10分钟内是否发生温度升高的温度传感器，或者甚至是评估特定化学物质是否存在于环境空气中的气体传感器。
在本发明的另一实施例中，对于每个识别的感官输入，有利地确定所识别的至少一个感官输入影响个体的工作记忆负荷的量度。例如，该量度可以被配置为假定是10到100之间的值，其中10意味着小的影响，而100意味着对个体的工作记忆负荷的主要影响。
在本发明的另一实施例中，与特定感官输入相关联的量度可以存储在数据库中供以后使用。在实践中，在个体经受多个感官输入的情况下，可能难以评估哪个或哪些特定输入对个体的影响最大。
在本发明的实施例中，通过利用包括与每种类型的感官输入相关联的量度的数据库，被配置为减小感官输入的影响的处理单元可以通过评估数据库而断定一个或几个不同的感官输入通常比其他感官输入对个体的影响更大，并且因此减小这些高影响感官输入的影响。
有利地，在本发明的实施例中，可以利用学习阶段，在该学习阶段期间，有意地使个体经受不同的感官输入，同时监测个体的工作记忆负荷的变化。此外，估计与每个感官输入相关联的量度并将其存储在数据库中以供后续使用。
在上述示例中，借助于分析由相机捕获的图像的处理单元来检测个体的工作负荷的变化。然而，可设想其他传感器设备，例如EEG传感器、心电图(EKG)传感器、心率计等。
此外，如上面已经参考在本领域中已知的内容所讨论的，可以设想许多不同的感官输入检测设备。
还提供了一种包括计算机可执行指令的计算机程序，当计算机可执行指令在设备中包括的处理单元上执行时，使得所述设备执行根据本发明的第一方面的方法步骤。
还提供了一种包括计算机可读介质的计算机程序产品，在所述计算机可读介质上包含所述设备的计算机程序。
一般地，除非本文另有明确说明，否则权利要求中使用的所有术语根据其技术领域中的普通含义来解释。除非另有明确说明，否则对“一/一个/所述元件、设备、组件、装置、步骤等”的所有引用应被开放地解释为指代元件、设备、组件、装置、步骤等的至少一个实例。除非明确声明，否则本文所公开的任何方法的步骤不一定严格按所公开的顺序来执行。
附图说明
现在通过举例的方式参考附图描述本发明，其中：
图1示出了根据本发明实施例的用于识别影响个体的工作记忆负荷的感官输入的设备；
图2示出了图1的设备的俯视图，其中用户坐在该设备的前面；
图3示出了根据本发明实施例的识别影响个体的工作记忆负荷的感官输入的方法的流程图；
图4示出了根据本发明另一实施例的识别影响个体的工作记忆负荷的感官输入的方法的流程图；
图5示出了图1的设备的俯视图，其中用户坐在该设备的前面，该设备配备有一对具有降噪能力的耳机；
图6示出了根据本发明又一实施例的识别影响个体的工作记忆负荷的感官输入的方法的流程图；
图7示出了根据本发明再一实施例的识别影响个体的工作记忆负荷的感官输入的方法的流程图；
图8示出了根据本发明再一实施例的识别影响个体的工作记忆负荷的感官输入的方法的流程图；和
图9示出了根据本发明另一实施例的用于识别影响个体的工作记忆负荷的感官输入的设备。
具体实施方式
现在将在下文参考其中示出本发明的特定实施例的附图来更全面地描述本发明。然而，本发明可以按多种不同形式来实现，并且不应当被解释为受到本文阐述的实施例的限制；相反，通过示例的方式给出这些实施例，使得本公开将是详尽和完整的，并且向本领域技术人员充分地传达本发明的范围。在说明书全文中，相似的标记指代相似的要素。
图1示出了根据本发明实施例的用于识别影响个体的工作记忆负荷的感官输入的设备10。该设备是并且在前视图中示出了以台式计算机10的形式例示的设备，其具有屏幕11、相机12、麦克风13和扬声器14。
图2示出了台式计算机10的俯视图，其中用户20坐在它的前面。可以看出，相机12、麦克风13和扬声器14可操作地耦接到以一个或多个微处理器实现的处理单元15，所述一个或多个微处理器被布置为执行下载到与微处理器15相关联的合适存储介质17(例如，随机存取存储器(RAM)、闪存、硬盘驱动器、云服务或其他信息存储设备)的计算机程序16。处理单元15被布置为当包括计算机可执行指令的适当计算机程序16被下载到存储介质17并被处理单元15执行时控制台式计算机10的操作。存储介质17还可以是包括计算机程序16的计算机程序产品。备选地，计算机程序16可以通过合适的计算机程序产品(例如，数字通用盘(DVD)或存储棒)被传输给存储介质。作为另一备选，计算机程序可以通过网络下载到存储介质17。处理单元15可以替代地以数字信号处理器(DSP)、专用集成电路(ASIC)、现场可编程门阵列(FPGA)、复杂可编程逻辑器件(CPLD)等的形式来体现。
如前面所讨论的，在实施例中，计算机10被配置为例如在用户执行认知需求高的任务的同时识别对用户的注意力具有不期望影响的事件。
从图2中可以看出，当坐在屏幕11的前面时，计算机10的用户20位于相机12的视场中。下面将参考图2并进一步参考图3描述识别影响个体(即，用户20)的工作记忆负荷的感官输入的方法，其中图3示出了该方法的流程图。
在步骤S101中，使用传感器设备监测个体的工作记忆负荷。在该特定示例性实施例中，传感器设备由监测用户20的一只或两只眼睛的相机12实现。现在，如果用户20被特定感官输入分散注意力，则工作记忆负荷将增加，这通常导致用户眼睛的瞳孔增大。
在本发明的实施例中，设想如果用户的一只眼睛的瞳孔直径的增加高于阈值(例如0.5mm)，则认为用户20的工作记忆负荷增加。进一步设想使用不同的阈值；例如，0.2mm的增加表示第一工作记忆负荷值A，0.4mm的增加表示第二工作记忆负荷值B，0.6mm的增加表示第三工作记忆负荷值C，等等。
在步骤S102中，相机12(或分析由相机12捕获的图像的处理单元15)例如通过得出用户眼睛的瞳孔直径增加了一定阈值以上的结论，检测用户20的工作记忆负荷的增加。
在步骤S103中，响应于检测到的用户工作记忆负荷的增加，感官输入检测设备(在该特定实施例中例示为从麦克风13接收信号的处理单元15)有利地识别影响用户20的工作记忆负荷的一个或多个感官输入。在该示例中，计算机20的内置麦克风13登记可能是导致检测到的用户20的工作记忆负荷的变化的感官输入的声音。
在实施例中，有利地由处理单元15识别在时间上与检测到的工作记忆负荷的增加一致的感官输入(在该示例中是声音)，从而将其当做是导致所述增加的感官输入。因此，如果恰好在检测到工作记忆负荷的增加之前记录了声音，则该声音被当做是导致所述增加的感官输入。
在实施例中，在识别出影响用户20的工作记忆负荷的感官输入之后，采取动作来减小该感官输入对工作记忆负荷的影响，如下面将讨论的。
在图4的流程图所示的实施例中，在步骤S103中麦克风13已经记录了被当做是导致工作记忆负荷增加的感官输入的声音之后，计算机10的处理单元15断定用户20自身刚刚启动了计算机10的音频播放器，并且在步骤S104a中有利地降低音频播放器经由计算机10的扬声器14正输出的声音等级，因为所选择的音频等级太高并因此影响用户20的工作记忆负荷。因此，在该特定实施例中，使用处理单元15控制所识别的感官输入的源(在这种情况下是计算机扬声器14)来减小所识别的感官输入对用户的工作记忆负荷的影响。
在参考图5和图6所示的另一实施例中，通过启动对所识别的一个感官输入的对策来减小感官输入对用户的工作记忆负荷的影响。
从图5中可以看出，用户20佩戴一对耳机21，在该示例中，耳机21配备有降噪能力。现在，与处理单元15协作的计算机10的相机12在如图6所示的步骤S101和S102中监测和检测用户20的工作记忆负荷的增加，并且耳机21的处理单元和麦克风(未示出)用作感官输入检测设备，其用于在步骤S103中登记干扰背景噪声，如所识别的声音22所示。
在从计算机10接收到指示在步骤S102中已检测到工作记忆负荷增加的无线或有线信号23之后，降噪耳机21的处理单元在步骤S104b中通过使个体经受信号24以有利地启动对所识别的感官输入的对策，从而有效地抵消背景噪声23，其中信号24是背景噪声23的异相表示。
在上述实施例中，相机12用作传感器设备，其用于通过检测用户眼睛的瞳孔大小的变化，与处理单元15协作地监测和检测用户20的工作记忆负荷的增加。可以进一步设想相机12用作凝视检测器，其具有跟踪用户的视觉注意力的方向及其持续时间的能力。
通常，人们倾向于在针对某一任务使用某一对象时看着该对象，如在膝上型计算机处工作的人将花费大部分任务时间看着膝上型计算机。因此，如果他们的注视突然转移，则这可能表明他们已经分心了。当注视转移到提供感官输入(例如，发出声音，显示变化图像等)的另一对象时，这可以指示该对象正在引起注意力分散。
然而，人们也可能转移注视以集中注意力或寻找灵感，例如向天空看。
通过跟踪用户的注视，特别是记录她将注视从她正在用于她的任务的设备改变到提供感官输入的对象的次数，可以测量用户可能多频繁地被分心。可以针对给定用户学习签名“灵感”或“集中注意力”注视，并将其从该测量中减量。
此外，设想配备有相机的佩戴设备被用作传感器设备，其用于与佩戴设备(例如，虚拟现实(VR)耳机或谷歌Glass型眼镜)的处理单元协作用于监测和检测用户的工作记忆负荷的增加。
此外，设想了能够识别用户参与的特定活动以及可能地用户在这些活动中的效率的活动跟踪传感器设备。
与注视类似，一个人的运动可以用于评估他们被分心的可能性。因此，如果传感器设备是运动跟踪传感器，并且如果用户经常移动位置，特别是响应于提供感官输入的对象(例如，电视)而移动位置，则传感器的输出可以提供对象注意力分散的指示。因此，通过监测人的运动，并且如果可能的话将其运动与房间中的物体相关联，则可以对其是否被分心以及通过什么被分心进行测量。
活动跟踪传感器设备还可以跟踪任务的进度，例如，在文档中写入的单词的数量、图形文件的文件大小的增加、在Excel文件中调整的单元格的数量等。
可以设想除相机之外的各种传感器设备，例如，EEG传感器、EKG传感器、心率计等。
可以进一步组合不同的属性以检测用户的工作记忆负荷的增加，例如通过考虑瞳孔大小、注视、心率、活动、EEG等中的两个或更多个的组合。
此外，可以设想用于识别影响个体的工作记忆负荷的感官输入的多种类型的设备，例如膝上型计算机、平板电脑、智能电话、智能手表(使用例如心率作为工作记忆负荷的量度)、电视机等。
在又一实施例中，用户20在设备10的学习阶段期间有意地经受不同的感官输入，同时监测个体的工作记忆负荷的变化。此外，估计与每个特定感官输入相关联的量度并将其存储在数据库中以供后续使用。
例如，对于任何给定的用户，当用户在她的工作环境中实际上没有受到任何(干扰的)感官输入时，可以记录标称工作记忆负荷。将该最低的工作记忆负荷表示为“LoadNOM”，并且其对应于表示为“PupilSizeNOM”的瞳孔大小。
现在，用户受到不同的感官输入，并且检测到用户眼睛的瞳孔大小的增加以及工作记忆负荷的相应增加，如下面的表1中所示。
因此，在本发明的实施例中，将任何识别的感官输入的表示以及所述任何识别的感官输入影响个体的工作记忆负荷的相应量度输入如表1所示的数据库中。
进一步参考图7的流程图。
在第一轮中，用户20经历从她的播放列表之一(即，用户确实欣赏的音乐)选择的并通过她的计算机的扬声器14播放的音乐的三个不同声级，同时相机12在步骤S101中监测用户眼睛的瞳孔大小，并且处理单元15在步骤S102中分别针对三个(增加的)声级(声级1、声级2和声级3)检测到0.1mm的增大、0.3mm的增大和0.5mm的增大，它们在步骤S105中被认为对应于工作记忆负荷相对于LoadNOM的10％、30％和50％增大。在步骤S103中，由麦克风13和处理单元15识别不同的声音。
因此，对于影响用户20的工作记忆负荷的多个感官输入中的每个识别的感官输入，确定每个识别的感官输入影响用户20的工作记忆负荷的量度并将其输入数据库中。该评估通常由处理单元15执行，但是替代地可以由相机12本身执行。所记录的三个声音及其对工作记忆负荷的相应影响对应于表1中的项目1、2和3。
在第二轮中，用户20在冬日期间受到与办公室的室内照明相对应的照明条件。同样，相机12监测用户眼睛的瞳孔大小，并且处理单元15检测到0.2mm的增大，其被认为对应于工作记忆负荷相对于LoadNOM的20％增大。这与表1中的项目4相对应。
在第三轮中，用户20受到办公室空调系统启动的声音的影响。相机12监测用户眼睛的瞳孔大小，并且处理单元15检测到0.1mm的增大，其被认为对应于工作记忆负荷相对于LoadNOM的10％增大。这与表1中的项目5相对应。
表1.记录的感官输入相对工作记忆负荷的增加。
表1举例说明了五个不同的项目，而在现实生活场景中，可以记录数十个不同的感官输入，以便覆盖可能发生并因此增加用户的工作记忆负荷的大量情况。
应当注意，可以通过有意地使用户20经受感官输入而构建诸如表1之类的数据库，但是也可以在用户20“自然地”经受感官输入时构建数据库。此外，可以将自然发生的感官输入添加到包括使用户20有意经受的感官输入在内的数据库。
在参考图8的流程图所示的另一实施例中，利用表1的数据库来选择应当减少用户20所经受的多个感官输入中的哪一个以有效地减少用户20的工作记忆负荷。
如果检测到用户20的工作记忆负荷的增加，则可以消除或模糊一些感官输入(即，声音、视觉输入、甚至可能是气味)以便减少用户工作记忆的负荷。
换句话说，由于在用户的位置内(即，在那些活动可以影响用户感觉的距离内)发生的干扰提供对用户的任务的执行没有贡献的感官输入，因此可以减轻或者甚至消除这些感官输入的存在。
假设图2的用户20受到多个感官输入的影响，例如表1中列出的感官输入，则在步骤S102中处理单元15检测到负荷增加之后，在步骤S103中，麦克风13关于可听感官输入进行识别并且光度计(未示出)识别室内照明。在这种情况下，可能出现的问题涉及区分哪个感官输入最大程度地影响用户20。
通过在步骤S103a中转到表1的数据库，假设计算机10的音频播放器以声级2输出音乐，则处理单元15断定以声级2进行播放的音频播放器对用户20的影响与室内照明和空调声音共同的影响一样大。
因此，计算机10的处理单元15可以在步骤S104a中确定要关闭音频播放器，或者至少应当降低其输出声级，从而有利地减少用户20的工作记忆负荷。
图9示出了用于识别影响个体的工作记忆负荷的感官输入的设备10。设备10包括适于监测个体的工作记忆负荷的监测装置30、适于检测个体的工作记忆负荷的增加的检测装置31以及适于响应于检测到增加而识别影响个体的工作记忆负荷的至少一个感官输入的识别装置32。
监测装置30、检测装置31和识别装置32可以包括用于接收和提供信息的通信接口以及进一步地包括用于存储数据的本地存储设备，并且可以由以一个或多个微处理器的形式实现的处理器来实现(类似于前面讨论的)，所述一个或多个微处理器被布置为执行下载到与微处理器相关联的合适存储介质(例如，RAM、闪存或硬盘驱动器)的计算机程序。
已经参考一些实施例在上文中主要地描述了本发明。然而，如本领域技术人员容易理解的，除了上文所公开的实施例之外的其它实施例同样可能在由所附专利权利要求限定的本发明的范围内。

Claims (24)

1.一种识别影响个体(20)的工作记忆负荷的感官输入的方法，包括：
使用传感器设备(12)监测(S101)个体(20)的工作记忆负荷；
检测(S102)所述个体(20)的工作记忆负荷的增加；
响应于检测到增加，识别(S103)影响所述个体(20)的工作记忆负荷的至少一个感官输入。
2.根据权利要求1所述的方法，其中，识别(S103)影响所述个体(20)的工作记忆负荷的至少一个感官输入包括：
识别在时间上与检测到的工作记忆负荷的增加一致的至少一个感官输入。
3.根据权利要求1或2所述的方法，还包括：
减小(S104a，S104b)所识别的至少一个感官输入对所述个体(20)的工作记忆负荷的影响。
4.根据权利要求3所述的方法，其中，减小(S104a)所述影响包括：
控制所识别的至少一个感官输入的源(14)以减小所识别的至少一个感官输入对所述个体(20)的工作记忆负荷的影响。
5.根据权利要求3或4所述的方法，其中，减小(104b)所述影响包括：
启动对所识别的至少一个感官输入(22)的对策(24)，以减小所识别的至少一个感官输入对所述个体(20)的工作记忆负荷的影响。
6.根据权利要求1至5中任一项所述的方法，其中，识别(S103)影响所述个体(20)的工作记忆负荷的至少一个感官输入包括：
识别影响所述个体的工作记忆负荷的多个感官输入；并且其中，所述方法还包括：
对于影响所述个体(20)的工作记忆负荷的所述多个感官输入中的每个识别的感官输入，确定(S105)所述每个识别的感官输入影响所述个体(20)的工作记忆负荷的量度。
7.根据权利要求6所述的方法，其中，识别(S103)影响所述个体(20)的工作记忆负荷的至少一个感官输入包括：
使所述个体(20)经受所述多个感官输入。
8.根据权利要求6或7所述的方法，其中，确定(S105)所述每个识别的感官输入影响所述个体(20)的工作记忆负荷的量度还包括：
在数据库中输入任何识别的感官输入的表示以及所述任何识别的感官输入影响所述个体(20)的工作记忆负荷的相应量度。
9.根据权利要求6至8中任一项所述的方法，其中，减小(S104a，S104b)所识别的至少一个感官输入对所述个体(20)的工作记忆负荷的影响包括：
如果识别出多个感官输入，则评估(S103a)所述数据库以确定所识别的感官输入中的哪一个对工作记忆负荷具有高影响；其中
减小所确定的一个或多个具有高影响的感官输入对所述个体(20)的工作记忆负荷的影响。
10.根据权利要求1至9中任一项所述的方法，其中，所识别的感官输入包括以下项中的一项或多项：声音输入、视觉输入、温度变化、湿度变化、气味。
11.根据权利要求1至10中任一项所述的方法，其中，被配置为监测所述个体(20)的工作记忆负荷的所述传感器设备(12)选自包括以下项的组：成像传感器、心率计、脑电图EEG传感器、心电图EKG传感器。
12.一种包括计算机可执行指令的计算机程序(16)，当所述计算机可执行指令在设备(10)中所包括的处理单元(15)上执行时，使所述设备(10)执行权利要求1至11中任一项所述的步骤。
13.一种计算机程序产品，包括计算机可读介质(17)，所述计算机可读介质中包含根据权利要求12所述的计算机程序(16)。
14.一种用于识别影响个体(20)的工作记忆负荷的感官输入的设备(10)，所述设备包括：
传感器设备(12)，被配置为监测所述个体(20)的工作记忆负荷；以及
处理单元(15)，被配置为检测所述个体(20)的工作记忆负荷的增加，并且响应于检测到增加，识别影响所述个体(20)的工作记忆负荷的至少一个感官输入。
15.根据权利要求14所述的设备(10)，其中，所述处理单元(15)被配置为：在识别影响所述个体(20)的工作记忆负荷的至少一个感官输入时，进行以下操作：
识别在时间上与检测到的工作记忆负荷的增加一致的至少一个感官输入。
16.根据权利要求14或15所述的设备(10)，其中，所述处理单元(15)被配置为：
减小(S104a，S104b)所识别的至少一个感官输入对所述个体(20)的工作记忆负荷的影响。
17.根据权利要求16所述的设备(10)，其中，所述处理单元(15)被配置为：
控制所识别的至少一个感官输入的源(14)以减小所识别的至少一个感官输入对所述个体(20)的工作记忆负荷的影响。
18.根据权利要求16或17所述的设备(10)，其中，所述处理单元被配置为：
启动对所识别的至少一个感官输入(22)的对策(24)，以减小所识别的至少一个感官输入对所述个体(20)的工作记忆负荷的影响。
19.根据权利要求14至18中任一项所述的设备(10)，其中，所述处理单元(15)被配置为：在识别影响所述个体(20)的工作记忆负荷的至少一个感官输入时，进行以下操作：
识别影响所述个体的工作记忆负荷的多个感官输入；并且其中，所述处理单元(15)还被配置为：
对于影响所述个体(20)的工作记忆负荷的所述多个感官输入中的每个识别的感官输入，确定所述每个识别的感官输入影响所述个体(20)的工作记忆负荷的量度。
20.根据权利要求19所述的设备(10)，还被配置为：
使所述个体(20)经受所述多个感官输入。
21.根据权利要求19或20所述的设备(10)，其中，所述处理单元(15)还被配置为：在确定所述每个识别的感官输入影响所述个体(20)的工作记忆负荷的量度时，进行以下操作：
在数据库中输入任何识别的感官输入的表示以及所述任何识别的感官输入影响所述个体(20)的工作记忆负荷的相应量度。
22.根据权利要求19至21中任一项所述的设备(10)，其中，所述处理单元(15)还被配置为：在减小所识别的至少一个感官输入对所述个体(20)的工作记忆负荷的影响时，进行以下操作：
如果识别出多个感官输入，则评估所述数据库以确定所识别的感官输入中的哪一个对工作记忆负荷具有高影响；其中
减小所确定的一个或多个具有高影响的感官输入对所述个体(20)的工作记忆负荷的影响。
23.根据权利要求14至22中任一项所述的设备(10)，其中，所识别的感官输入包括以下项中的一项或多项：声音输入、视觉输入、温度变化、湿度变化、气味。
24.根据权利要求14至23中任一项所述的设备(10)，其中，被配置为监测所述个体(20)的工作记忆负荷的所述传感器设备(12)选自包括以下项的组：成像传感器、心率计、脑电图EEG传感器、心电图EKG传感器。
CN201680090342.4A 2016-10-26 2016-10-26 识别影响个体的工作记忆负荷的感官输入 Active CN109862822B (zh)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/EP2016/075748 WO2018077397A1 (en) 2016-10-26 2016-10-26 Identifying sensory inputs affecting working memory load of an individual

Publications (2)

Publication Number Publication Date
CN109862822A true CN109862822A (zh) 2019-06-07
CN109862822B CN109862822B (zh) 2022-06-28

Family

ID=57233401

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201680090342.4A Active CN109862822B (zh) 2016-10-26 2016-10-26 识别影响个体的工作记忆负荷的感官输入

Country Status (16)

Country Link
US (3) US11259730B2 (zh)
EP (2) EP4026487A1 (zh)
KR (1) KR102295808B1 (zh)
CN (1) CN109862822B (zh)
AU (1) AU2016427629B2 (zh)
BR (1) BR112019008188A2 (zh)
CO (1) CO2019003977A2 (zh)
ES (1) ES2912347T3 (zh)
IL (1) IL265860B (zh)
MX (1) MX2019004825A (zh)
PH (1) PH12019500719A1 (zh)
PL (1) PL3531892T3 (zh)
RU (1) RU2734865C1 (zh)
SG (1) SG11201903028RA (zh)
WO (1) WO2018077397A1 (zh)
ZA (1) ZA201902305B (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
BR112019016292A2 (pt) * 2017-03-17 2020-04-07 Ericsson Telefon Ab L M método e aparelho para permitir alteração de sinal de áudio adaptativa e meio de armazenamento legível por máquina
CN111580734A (zh) * 2020-04-30 2020-08-25 联想(北京)有限公司 控制方法、装置、眼镜及存储介质
US20220293241A1 (en) * 2021-03-12 2022-09-15 Facebook Technologies, Llc Systems and methods for signaling cognitive-state transitions

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20070165019A1 (en) * 2005-07-12 2007-07-19 Hale Kelly S Design Of systems For Improved Human Interaction
CN101690666A (zh) * 2009-10-13 2010-04-07 北京工业大学 汽车驾驶员驾驶工作负荷计算方法
CN102727223A (zh) * 2012-06-18 2012-10-17 天津大学 基于多生理参数pca融合的脑力负荷测量方法
CN103239227A (zh) * 2012-02-07 2013-08-14 联想(北京)有限公司 睡眠质量检测装置及其检测方法
CN104777977A (zh) * 2015-03-27 2015-07-15 深圳市金立通信设备有限公司 一种终端
WO2015164807A1 (en) * 2014-04-25 2015-10-29 Texas State University Detection of brain injury and subject state with eye movement biometrics

Family Cites Families (36)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6434419B1 (en) * 2000-06-26 2002-08-13 Sam Technology, Inc. Neurocognitive ability EEG measurement method and system
KR100397374B1 (ko) * 2001-02-10 2003-09-13 학교법인 포항공과대학교 뇌파를 이용한 가전기기 원격제어장치 및 그 방법
JP4537703B2 (ja) * 2001-06-13 2010-09-08 コンピュメディクス・リミテッド 意識を監視するための装置
US8374687B2 (en) * 2006-01-21 2013-02-12 Honeywell International Inc. Rapid serial visual presentation triage prioritization based on user state assessment
US20070225577A1 (en) * 2006-03-01 2007-09-27 Honeywell International Inc. System and Method for Providing Sensor Based Human Factors Protocol Analysis
JP4840060B2 (ja) * 2006-10-03 2011-12-21 ソニー株式会社 ヘッドホン、ノイズ低減処理システム及びノイズ低減処理方法
RU61899U1 (ru) * 2006-10-16 2007-03-10 Закрытое акционерное общество Промышленная группа "Метран" Сенсорное устройство ввода информации (варианты)
US8356004B2 (en) * 2007-12-13 2013-01-15 Searete Llc Methods and systems for comparing media content
US20100185113A1 (en) * 2009-01-21 2010-07-22 Teledyne Scientific & Imaging, Llc Coordinating System Responses Based on an Operator's Cognitive Response to a Relevant Stimulus and to the Position of the Stimulus in the Operator's Field of View
US8190543B2 (en) * 2008-03-08 2012-05-29 Tokyo Electron Limited Autonomous biologically based learning tool
JP5127576B2 (ja) 2008-06-11 2013-01-23 ヤマハ発動機株式会社 精神作業負荷検出装置及びそれを備えた自動二輪車
US8602789B2 (en) * 2008-10-14 2013-12-10 Ohio University Cognitive and linguistic assessment using eye tracking
US20100250322A1 (en) * 2009-03-27 2010-09-30 Michael Roy Norwood Simplified user interface and method for computerized task management systems
US9173582B2 (en) * 2009-04-24 2015-11-03 Advanced Brain Monitoring, Inc. Adaptive performance trainer
US20100292545A1 (en) * 2009-05-14 2010-11-18 Advanced Brain Monitoring, Inc. Interactive psychophysiological profiler method and system
JP2011005177A (ja) * 2009-06-29 2011-01-13 Sony Corp 生体信号測定用装具及び生体信号測定方法
RU2428927C2 (ru) * 2009-11-03 2011-09-20 Константин Викторович Константинов Способ нормализации психофизиологического состояния
IN2014DN01817A (zh) * 2011-08-09 2015-05-15 Univ Ohio
US9764109B2 (en) * 2011-11-19 2017-09-19 Yale University Method of correlating brain activity
US9030495B2 (en) 2012-11-21 2015-05-12 Microsoft Technology Licensing, Llc Augmented reality help
US9265458B2 (en) * 2012-12-04 2016-02-23 Sync-Think, Inc. Application of smooth pursuit cognitive testing paradigms to clinical drug development
CA2935813C (en) * 2013-01-08 2021-12-21 Interaxon Inc. Adaptive brain training computer system and method
US20140272839A1 (en) * 2013-03-13 2014-09-18 Zachary CUTLER Behavior modification methods and systems
US11426069B2 (en) * 2013-03-13 2022-08-30 The Henry M. Jackson Foundation For The Advancement Of Military Medicine, Inc. Enhanced neuropsychological assessment with eye tracking
CA3187490A1 (en) 2013-03-15 2014-09-18 Interaxon Inc. Wearable computing apparatus and method
EP3038700B1 (en) * 2013-08-27 2020-03-11 Halo Neuro, Inc. Method and system for providing electrical stimulation to a user
EP3131453B1 (en) * 2014-04-17 2021-01-20 The Regents of the University of California Portable brain activity sensing platform for assessment of visual field deficits
US10571539B2 (en) * 2014-06-12 2020-02-25 Northwestern University Pattern analysis based on fMRI data collected while subjects perform working memory tasks allowing high-precision diagnosis of ADHD
CA2964778A1 (en) * 2014-10-23 2016-04-28 The Regents Of The University Of California Methods of enhancing cognition and systems for practicing the same
GB2538698B (en) * 2015-04-02 2019-05-15 Cambridge Cognition Ltd Systems and methods for assessing cognitive function
EP3302257B1 (en) * 2015-06-02 2023-10-11 Koninklijke Philips N.V. System for supporting an elderly, frail and/or diseased person
WO2016198030A1 (es) 2015-06-12 2016-12-15 Corporación Universidad De La Costa Cuc Mecanismo multicanal portable para la medición de variables fisiológicas en extremidades humanas
RU165429U1 (ru) * 2016-02-11 2016-10-20 Владимир Валентинович Петраш Устройство для психофизиологического экспресс-контроля функционального состояния персонала, работающего на опасных производственных объектах
US9711056B1 (en) * 2016-03-14 2017-07-18 Fuvi Cognitive Network Corp. Apparatus, method, and system of building and processing personal emotion-based computer readable cognitive sensory memory and cognitive insights for enhancing memorization and decision making skills
US10839712B2 (en) * 2016-09-09 2020-11-17 International Business Machines Corporation Monitoring learning performance using neurofeedback
CN108703762A (zh) 2018-05-24 2018-10-26 中国航天员科研训练中心 一种基于心算和工作记忆等的脑力负荷诱发技术

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20070165019A1 (en) * 2005-07-12 2007-07-19 Hale Kelly S Design Of systems For Improved Human Interaction
CN101690666A (zh) * 2009-10-13 2010-04-07 北京工业大学 汽车驾驶员驾驶工作负荷计算方法
CN103239227A (zh) * 2012-02-07 2013-08-14 联想(北京)有限公司 睡眠质量检测装置及其检测方法
CN102727223A (zh) * 2012-06-18 2012-10-17 天津大学 基于多生理参数pca融合的脑力负荷测量方法
WO2015164807A1 (en) * 2014-04-25 2015-10-29 Texas State University Detection of brain injury and subject state with eye movement biometrics
CN104777977A (zh) * 2015-03-27 2015-07-15 深圳市金立通信设备有限公司 一种终端

Also Published As

Publication number Publication date
CO2019003977A2 (es) 2019-05-10
ES2912347T3 (es) 2022-05-25
IL265860A (en) 2019-06-30
KR20190058565A (ko) 2019-05-29
AU2016427629B2 (en) 2019-10-24
PH12019500719A1 (en) 2019-12-02
IL265860B (en) 2022-02-01
MX2019004825A (es) 2019-07-04
RU2734865C1 (ru) 2020-10-23
EP3531892A1 (en) 2019-09-04
EP4026487A1 (en) 2022-07-13
AU2016427629A1 (en) 2019-05-16
EP3531892B1 (en) 2022-04-06
WO2018077397A1 (en) 2018-05-03
BR112019008188A2 (pt) 2019-07-09
US20220265186A1 (en) 2022-08-25
CN109862822B (zh) 2022-06-28
ZA201902305B (en) 2022-10-26
KR102295808B1 (ko) 2021-09-01
US20230329611A1 (en) 2023-10-19
SG11201903028RA (en) 2019-05-30
PL3531892T3 (pl) 2022-08-16
US11259730B2 (en) 2022-03-01
US11723570B2 (en) 2023-08-15
US20190282156A1 (en) 2019-09-19

Similar Documents

Publication Publication Date Title
Stopczynski et al. The smartphone brain scanner: a portable real-time neuroimaging system
US11301775B2 (en) Data annotation method and apparatus for enhanced machine learning
Fritz et al. Leveraging biometric data to boost software developer productivity
Huynh et al. Engagemon: Multi-modal engagement sensing for mobile games
Abdelrahman et al. Classifying attention types with thermal imaging and eye tracking
CN114222960A (zh) 用于计算机生成现实的多模态输入
US11723570B2 (en) Identifying sensory inputs affecting working memory load of an individual
US11324436B2 (en) Knowledge discovery based on brainwave response to external stimulation
Beltrán et al. Computational techniques for eye movements analysis towards supporting early diagnosis of Alzheimer’s disease: a review
JP2015229040A (ja) 感情分析システム、感情分析方法および感情分析プログラム
US20130096397A1 (en) Sensitivity evaluation system, sensitivity evaluation method, and program
US20150215412A1 (en) Social network service queuing using salience
Zhao et al. Rapid ocular responses are modulated by bottom-up-driven auditory salience
WO2019086856A1 (en) Systems and methods for combining and analysing human states
JP4868360B2 (ja) 興味傾向情報出力装置、興味傾向情報出力方法、及びプログラム
US20180240157A1 (en) System and a method for generating personalized multimedia content for plurality of users
Sun et al. Biosensors toward behavior detection in diagnosis of alzheimer’s disease
JP2008046802A (ja) インタラクション情報出力装置、インタラクション情報出力方法、及びプログラム
CN116392123A (zh) 一种基于游戏交互和眼动追踪的多动症筛查方法及系统
Suchalova et al. The Research on Controlling Virtual Reality by EEG Sensor
JPWO2019176846A1 (ja) 判定システムおよび判定方法
Strle et al. Physiological Signals and Affect as Predictors of Advertising Engagement
WO2023032058A1 (ja) ビデオセッション評価端末、ビデオセッション評価システム及びビデオセッション評価プログラム
Oravec From Polygraphs to Truth Machines: Artificial Intelligence in Lie Detection
WO2024134621A1 (en) Systems and methods for assessing social skills in virtual reality

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
REG Reference to a national code

Ref country code: HK

Ref legal event code: DE

Ref document number: 40005596

Country of ref document: HK

GR01 Patent grant
GR01 Patent grant