CN108366765A - 用于检测对阈下刺激做出反应的阈下面部反应的系统和方法 - Google Patents

用于检测对阈下刺激做出反应的阈下面部反应的系统和方法 Download PDF

Info

Publication number
CN108366765A
CN108366765A CN201780004122.XA CN201780004122A CN108366765A CN 108366765 A CN108366765 A CN 108366765A CN 201780004122 A CN201780004122 A CN 201780004122A CN 108366765 A CN108366765 A CN 108366765A
Authority
CN
China
Prior art keywords
threshold
facial
response data
under
stimulation
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
CN201780004122.XA
Other languages
English (en)
Inventor
李康
郑璞
马尔兹奥·波佐利
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Niuluosi Co
Nuralogix Corp
Original Assignee
Niuluosi Co
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Niuluosi Co filed Critical Niuluosi Co
Publication of CN108366765A publication Critical patent/CN108366765A/zh
Withdrawn legal-status Critical Current

Links

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/16—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/103—Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/11—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb
    • A61B5/1104—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb induced by stimuli or drugs
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/103—Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/11—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb
    • A61B5/1107—Measuring contraction of parts of the body, e.g. organ, muscle
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/103—Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/11—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb
    • A61B5/1126—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb using a particular sensing technique
    • A61B5/1128—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb using a particular sensing technique using image analysis
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/145—Measuring characteristics of blood in vivo, e.g. gas concentration, pH value; Measuring characteristics of body fluids or tissues, e.g. interstitial fluid, cerebral tissue
    • A61B5/14535—Measuring characteristics of blood in vivo, e.g. gas concentration, pH value; Measuring characteristics of body fluids or tissues, e.g. interstitial fluid, cerebral tissue for measuring haematocrit
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/44—Detecting, measuring or recording for evaluating the integumentary system, e.g. skin, hair or nails
    • A61B5/441—Skin evaluation, e.g. for skin disorder diagnosis
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/48—Other medical applications
    • A61B5/4884—Other medical applications inducing physiological or psychological stress, e.g. applications for stress testing
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7235—Details of waveform analysis
    • A61B5/7264—Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems
    • A61B5/7267—Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems involving training the classification device
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/044—Recurrent networks, e.g. Hopfield networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/10—Image acquisition
    • G06V10/12—Details of acquisition arrangements; Constructional details thereof
    • G06V10/14—Optical characteristics of the device performing the acquisition or on the illumination arrangements
    • G06V10/143—Sensing or illuminating at different wavelengths
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G06V40/171—Local features and components; Facial parts ; Occluding parts, e.g. glasses; Geometrical relationships
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/174—Facial expression recognition
    • G06V40/176—Dynamic expression
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/70—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for mining of medical data, e.g. analysing previous cases of other patients

Landscapes

  • Health & Medical Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Theoretical Computer Science (AREA)
  • Medical Informatics (AREA)
  • Pathology (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • Surgery (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Animal Behavior & Ethology (AREA)
  • Artificial Intelligence (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Physiology (AREA)
  • Software Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Mathematical Physics (AREA)
  • Computing Systems (AREA)
  • Multimedia (AREA)
  • Dentistry (AREA)
  • Psychiatry (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • Child & Adolescent Psychology (AREA)
  • Developmental Disabilities (AREA)
  • Hospice & Palliative Care (AREA)
  • Psychology (AREA)
  • Social Psychology (AREA)
  • Computational Linguistics (AREA)
  • Human Computer Interaction (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Signal Processing (AREA)

Abstract

一种用于检测人类对象对阈下刺激的阈下面部反应的系统和方法。方法包括：接收捕获的与向多个人类对象呈现阈下目标刺激大致时间锁定的第一面部反应数据；接收捕获的与向多个人类对象呈现阈下衬托刺激大致时间锁定的第二面部反应数据；接收捕获的来自目标人类对象的针对阈下刺激的未识别面部反应数据；使用利用阈下反应训练集训练的机器学习模型，来确定目标人类对象的未识别面部反应数据是对阈下目标刺激做出反应的目标概率测量，阈下反应训练集包括第一捕获的面部反应数据和捕获的第二面部反应数据；以及输出目标概率测量。

Description

用于检测对阈下刺激做出反应的阈下面部反应的系统和方法
技术领域
以下内容通常涉及检测人类阈下(subliminal)反应，更具体地涉及一种用于检测阈下刺激反应中的阈下面部反应的系统和方法。
背景技术
人类具有多种表现情绪的方式作为对各种刺激的反应。一些刺激是有意识地感知的(称为高于阈值或在阈上(supraliminal)水平)，并且有一些刺激不是有意识地感知的(称为低于阈值或在阈下水平)。
此外，我们对阈下刺激的大部分情绪反应物理地表现在人脸上。
具体地，阈下反应指的是人类即使在低于临界水平时对感觉刺激作出反应的情况，在这种情况下刺激没有被有意识地感知。近一个世纪以来对人类阈下反应的科学研究已经建立，阈下反应是真实而强健的人类反应。阈下反应反映了超出意识控制的人类神经系统的反应。这些系统包括自主神经交感神经系统和副交感神经系统，以及更高的皮质下结构和皮层结构。
传统上，已经使用行为技术(例如，测量对刺激的反应时间)和/或神经影像技术(例如，通过脑电图(EEG)、皮肤电流反应(GSR)、功能磁共振成像(fMRI)、事件相关电位(ERP)等)来检测阈下反应。检测阈下反应的常规方法通常是侵略性的、侵入的、非常昂贵的和/或需要高技术专业知识来操作。因此，这些技术通常只能用于大量资金医疗和研究目的，而不适用于包括实际应用(例如，市场分析)的广泛的日常使用。
用于检测情绪的一些常规技术(例如，计算机视觉)仅依赖于面部表情并且对于检测阈下反应是无效的。与基于面部表情的方法不同，基于生理信息的方法能够检测到一些阈下的情绪反应。通常，研究人员通过将传感器附着到面部或身体上来检测这些生理信号。测谎仪、肌电图(EMG)和脑电图(EEG)是这种技术的示例，并且技术性强、有侵入性和/或昂贵。而且，它们对于对象的运动伪影(motion artifact)和操纵有主观性。
基于成像技术(例如，fMRI)来检测情绪反应不需要将传感器附着到身体。然而，这种技术昂贵并且容易受到可能导致不可靠读数的运动伪影的影响。或者，可以采用高光谱成像来捕获心脏输出量或“血液流量”的增加或减少，其然后可以与情绪状态相关联。使用高光谱图像存在的缺点包括在存储和处理方面的成本和复杂性。
其他常规方法涉及使用阈下呈现来改变对象行为或控制对象意识。这样的常规方法涉及当对象暴露于阈下信息时将做出什么行为，而不是测量对象对阈下刺激的阈下反应。
发明内容
在一方面中，提供了一种用于检测目标人类对象对阈下刺激的阈下面部反应的计算机实现的方法，方法包括：接收捕获的与向多个人类对象呈现阈下目标刺激大致时间锁定的第一面部反应数据；接收捕获的与向多个人类对象呈现阈下衬托刺激(foil stimuli)大致时间锁定的第二面部反应数据；接收捕获的来自目标人类对象的针对阈下刺激的未识别面部反应数据；使用利用阈下反应训练集训练的机器学习模型，来确定目标人类对象的未识别面部反应数据是对所述阈下目标刺激做出反应的目标概率测量，该阈下反应训练集包括第一捕获的面部反应数据和捕获的第二面部反应数据；以及输出目标概率测量。
在特定情况下，该方法还包括确定目标人类的未识别面部反应数据是对阈下衬托刺激做出反应的衬托概率测量，以及输出衬托概率测量。
在另一种情况下，该方法还包括确定针对对阈下目标刺激做出反应的目标人类对象的未识别面部反应数据的强度测量，以及输出强度测量。
在又一种情况下，阈下目标刺激和阈下衬托刺激包括视觉刺激。
在又一种情况下，阈下目标刺激和阈下衬托刺激包括听觉刺激。
在又一种情况下，阈下目标刺激和阈下衬托刺激被呈现小于约一秒。
在又一种情况下，阈下目标刺激和阈下衬托刺激被呈现小于约二十毫秒。
在又一种情况下，第一面部反应数据、第二面部反应数据和未识别面部反应数据从对象的面部上的预定感兴趣区域(ROI)被捕获，并且针对每个ROI对反应数据求平均。
在又一种情况下，第一面部反应数据、第二面部反应数据和未识别面部反应数据各自包括透皮光学成像数据、面部表情数据、热成像数据、和眼睛跟踪数据中的至少一个。
在又一种情况下，透皮光学成像数据是通过使用利用血红蛋白浓度(HC)训练集训练的机器学习模型来确定来自表示人类对象的HC变化的捕获的图像序列中的位平面集合的位值而获取的，其中位平面集合是被确定为约最大化信噪比(SNR)的那些位平面的集合，HC训练集包括来自从HC已知的一组对象捕获的图像的每个位平面的位值。
在一方面中，提供了一种用于检测目标人类对象对阈下刺激的阈下面部反应的系统，该系统包括一个或多个处理器和数据存储设备，该一个或多个处理器被配置为执行：面部反应模块，用于接收从输入感测设备捕获的与刺激设备向多个人类对象呈现阈下目标刺激大致时间锁定的第一面部反应数据，该面部反应模块还接收从输入感测设备捕获的与刺激设备向多个人类对象呈现阈下衬托刺激大致时间锁定的第二面部反应数据；该面部反应模块还接收从输入感测设备捕获的来自目标人类对象的针对由刺激设备呈现的阈下刺激的未识别面部反应数据；机器学习模块，用于使用利用阈下反应训练集训练的机器学习模型，来确定目标人类对象的未识别面部反应数据是对阈下目标刺激做出反应的目标概率测量，该阈下反应训练集包括第一捕获的面部反应数据和捕获的第二面部反应数据；以及输出模块，用于输出目标概率测量。
在特定情况下，机器学习模块还确定目标人类对象的未识别面部反应数据是对阈下衬托刺激做出反应的衬托概率测量，并且输出模块输出该衬托概率测量。
在又一种情况下，机器学习模块还确定针对对阈下目标刺激做出反应的目标人类对象的未识别面部反应数据的强度测量，并且输出模块输出该强度测量。
在又一种情况下，刺激设备将阈下目标刺激和阈下衬托刺激呈现为视觉刺激。
在又一种情况下，刺激设备将阈下目标刺激和阈下衬托刺激呈现为听觉刺激。
在又一种情况下，刺激设备将阈下目标刺激和阈下衬托刺激呈现小于约一秒。
在又一种情况下，刺激设备将阈下目标刺激和阈下衬托刺激呈现小于约二十毫秒。
在又一种情况下，第一面部反应数据、第二面部反应数据和未识别面部反应数据从对象的面部上的预定感兴趣区域(ROI)被捕获，并且面部反应模块或机器学习模块针对每个ROI对反应数据求平均。
在又一种情况下，第一面部反应数据，第二面部反应数据和未识别面部反应数据各自包括透皮光学成像数据、面部表情数据、热成像数据、和眼睛跟踪数据中的至少一个。
在又一种情况下，透皮光学成像数据是通过使用利用血红蛋白浓度(HC)训练集训练的机器学习模型来确定来自表示人类对象的HC变化的捕获的图像序列中的位平面集合的位值而获取的，其中位平面集合是被确定为约最大化信噪比(SNR)的那些位平面的集合，该HC训练集包括来自从HC已知的一组对象捕获的图像的每个位平面的位值。
本文考虑和描述了这些和其他方面。应该理解，前面的概述阐述了用于检测对阈下刺激做出反应的阈下面部反应的系统和方法的代表性方面，以帮助本领域读者理解以下详细描述。
附图说明
在以下参考附图的详细描述中，本发明的特征将变得更加显著，其中：
图1是根据实施例的用于检测对阈下刺激的阈下面部反应的系统的框图；
图2是存储器单元的图示；
图3是根据实施例的用于检测对阈下刺激的阈下面部反应的方法的流程图；
图4示出了来自皮肤表皮层和皮下层的光的再发射(re-emission)；以及
图5是示出特定人类对象在特定时间点的血红蛋白浓度的变化一组表面图像和相应透皮(transdermal)图像。
具体实施方式
现在将参考附图描述实施例。为了图示的简单和清楚，在认为合适的情况下，可以在图中重复附图标记以指示相应或类似的元件。此外，阐述了许多具体细节以便提供对本文描述的实施例的透彻理解。然而，本领域的普通技术人员将会理解，可以在没有这些具体细节的情况下实践本文描述的实施例。在其他情况下，公知的方法、过程和组件未被详细描述以免混淆在此描述的实施例。而且，该描述不被认为是限制本文描述的实施例的范围。
贯穿本说明书使用的各种术语可以被阅读和理解如下，除非上下文另有指示：如贯穿全文使用的“或”是包含性的，如同写成“和/或”；贯穿全文使用的单数冠词和代词包括复数形式，反之亦然；类似地，性别代词包括它们的配对的代词，因此代词不应被理解为由单一性别限制本文中描述的任何使用、实施、表现等；应当将“示例性”理解为“说明性的”或“示例性的”，而不一定要比其他实施例更“优选的”。术语的其他定义可以在本文阐述；如通过阅读本说明书将理解的，这些可能适用于这些术语的先前和随后的实例。
本文中例示的执行指令的任何模块、单元、组件、服务器、计算机、终端、引擎或设备可以包括或以其他方式访问计算机可读介质，诸如存储介质、计算机存储介质、或(移除/或不可移除的)数据存储设备，例如磁盘、光盘或磁带。计算机存储介质可以包括以用于存储信息(例如计算机可读指令、数据结构、程序模块或其他数据)的任何方法或技术实现的易失性和非易失性、可移除和不可移除介质。计算机存储介质的示例包括RAM、ROM、EEPROM、闪存或其他存储技术、CD-ROM、数字多功能盘(DVD)、或其他光存储、盒式磁带、磁带、磁盘存储或其他磁存储设备、或任何其他可用于存储所需信息并可由应用程序、模块或两者访问的介质。任何这样的计算机存储介质可以是该设备的部分或可访问或可连接到该设备。此外，除非上下文另外清楚地指出，否则本文阐述的任何处理器或控制器可以实现为单个处理器或多个处理器。多个处理器可以被排列或分布，并且即使可以例示单个处理器，本文中提到的任何处理功能可以由一个或多个处理器执行。本文描述的任何方法、应用或模块可以使用计算机可读/可执行指令来实现，该指令可以被存储或以其他方式由计算机可读介质保存或由一个或多个处理器执行。
以下内容通常涉及检测人类阈下反应，并且更具体地涉及用于检测对阈下刺激的阈下面部反应的系统和方法。
本文描述的系统和方法的实施例中，提供了用于解决检测人类阈下反应的技术问题的技术方法，该技术方法基于使用远程、非触摸、非攻击性和非侵入性系统检测来检查他们对阈下刺激的面部反应。在某些情况下，这些方法很可能隐蔽地实现。这种方法利用了人类面部对各种刺激(包括视觉和听觉刺激(阈下或阈上))高度敏感的事实，并且可以使用光学成像技术远程地和非攻击性地测量阈下和阈上面部反应。
转向图1，示出了用于检测阈下面部反应1300的系统。该系统1300包括一个或多个刺激设备1302、一个或多个输入感测装置1304、处理单元1306、存储设备1308、和输出设备1320。处理单元1306包括面部反应模型1310、机器学习模块1312，其包括训练集1316和计算反应模型1318、以及输出模块1314。与处理单元1306通信的存储设备1308提供数据存储库。输出设备1320可以是适于提供由输出模块输出的信息的任何设备；例如，电脑显示器或平板电脑显示器。
在示例性实施例中，系统1300通过一个或多个刺激设备1302向人类对象呈现目标阈下感官刺激。刺激可以是视觉、听觉或其他感官刺激。产生视觉刺激的刺激设备1302可以是例如计算机监视器或光显示器。在该示例中，视觉刺激通过刺激设备1302暂时呈现。作为示例，视觉刺激可以持续小于约1秒并优选地小于约20毫秒。目标视觉刺激的两侧可以是刺激前视觉掩蔽(mask)(例如，噪声模式)和刺激后视觉掩蔽(例如，相同的噪声模式或不同的噪声模式)。刺激前掩蔽用于阻止感官检测阈下刺激的存在并将信息发送到阈上水平。刺激后掩蔽用于“擦除”感官中任何阈下刺激的痕迹。视觉掩蔽通常在临界水平以上，即在阈上水平。在某些情况下，目标视觉刺激可以穿插在视觉掩蔽中不止一次地呈现给人类对象。
为了确保目标刺激反应的特异性，还可以通过刺激设备1302向人类对象呈现衬托阈下视觉刺激。在该示例中，视觉刺激也是通过刺激设备1302暂时呈现的，例如，持续时间小于1秒或优选地小于约20毫秒。除了其信息内容外，这些衬托视觉刺激在所有方面与目标刺激类似。例如，目标阈下刺激可以包括人类对象已知的面部，并且衬托视觉刺激可以是人类对象未知的面部。
在其他实施例中，刺激设备1302可以向人类对象呈现阈下目标听觉刺激。刺激设备1302可以是例如扬声器或耳机。在该示例中，目标听觉刺激通过刺激设备1302被暂时呈现，例如持续约20毫秒。在目标听觉刺激之前和之后，目标听觉刺激两侧可以是超声音频掩蔽。在某些情况下，目标音频刺激可以不止一次与音频掩蔽一起呈现给人类对象。
为了确保与目标相关的反应的特异性，刺激设备1302还可以将两侧是阈上刺激的衬托阈下刺激呈现给相同的人类对象。除了其信息内容外，衬托听觉刺激与目标听觉刺激类似。例如，目标听觉刺激可以是人类对象已知的人的名字，而衬托阈下刺激可能是人类对象未知的人的名字。
在其他实施例中，刺激设备1302可以包括听觉和视觉阈下刺激的组合。在又一些实施例中，刺激设备1302可以包括以其他感官和感知形态的形式的对人类对象的其他类型的刺激；例如触觉刺激。
在通过刺激设备1302将目标刺激和衬托刺激呈现给人类对象期间，通过输入感测设备1304捕获与目标刺激和衬托刺激的开始和持续时间时间锁定的面部反应。在实施例中，输入感测设备1304包括常规数码摄像机205。数码摄像机205用于使用本文描述的透皮光学成像方法来捕获透皮血液流量反应。在另一实施例中，数字摄像机205可以用于捕获人类对象的面部表情(或微表情)。在又一些实施例中，输入感测设备1304可以包括热视频相机以捕获人类对象的面部热反应。在又一些实施例中，输入感测设备1304可以包括红外照相机以捕获关于人类对象的眼睛运动和/或瞳孔扩张的信息。
在一些情况下，并且特别是对于透皮面部血液流量，可以将人受试者的面部分成多个感兴趣区域；例如，额头、鼻子、脸颊等。感兴趣区域可以手动或自动选择。
在另一实施例中，输入感测设备1304将包括输入设备的组合，例如捕获与透皮光学成像(TOI)、热成像、眼球跟踪和面部表情(或微表情)中的两项或更多项相关数据。在这种情况下，所捕获的数据将是多维的，因为数据是从人类对象面部的多个区域捕获的。例如，面部表情和透皮光学成像方法可以同时完成，因为二者都使用光学数码相机205。例如，如果数码相机205包括热成像组件，则还可以包括热成像。同样，例如，如果存在从数码相机205发出或与邻近数码相机205的红外光源，还可以包括眼睛跟踪。
作为多维捕获的输入数据的示例，可使用TOI技术获得透皮面部血液流量数据。应该理解，可以替代地或附加地使用其他上述技术。使用TOI，输入感测设备1304可以从人类对象的面部上的一组感兴趣区域(ROI)捕获面部血液流量数据。感兴趣区域可以包括例如额头、鼻子、左右脸颊、下巴等。来自每个感兴趣区域的数据将是该特定感兴趣区域中面部血液流量变化的时间序列。在面部热反应数据的情况下，多维捕获的输入数据还将来自不同的兴趣区域；例如，额头、鼻子、眼睑等。在多维面部表情数据的情况下，输入感测设备1304可以捕获不同情绪状态和类型的面部表情；例如，喜悦、愤怒、悲伤等。每种面部情绪类型的数据可以包括逐时表示强度变化的数据或该特定情绪的概率。在多维眼球追踪数据的情况下，输入感测设备1304可以捕获眼球运动方向的变化、眼球运动的速度、每个时间点上右眼和左眼的瞳孔扩张。情绪概率可以使用利用被标记数据的训练集的合适的统计分析来确定。
由输入感测设备1304捕获的透皮光学成像技术使用这样的事实：即交感神经系统和副交感神经系统具有由对各种刺激的反应引起的血液流量变化。已经发现，个体的血液流量由交感神经系统和副交感神经系统控制，其超出绝大多数人的有意识控制。因此，通过监测他们的血液流量可以容易地检测到个体内部经历的反应。内部系统通过调节自主神经系统(ANS)的激活来使人类准备应对环境中的不同情况，包括刺激的结果。基本的刺激反应具有不同的ANS特征。面部大部分部位如眼睑、脸颊和下巴的血液流量主要由交感神经血管舒张神经元控制，而在鼻子和耳朵中流动的血液主要由交感神经血管收缩神经元控制；相反，额头区域的血液流量受到交感神经和副交感神经血管两者舒张的支配。因此，不同的内部反应状态在面部的不同部分上具有不同的空间和时间激活模式。通过从系统获取血红蛋白数据，可以提取各种特定面部区域中的面部血红蛋白浓度(HC)变化。
通过解释HC变化来指定血液流量数据信号。例如，系统100可以通过随时间观察(或绘制)所选ROI HC强度值的所得时间曲线(例如，形状)，来随时间监测由所选ROI包含的静态HC变化。在一些情况下，系统100可以通过观察(或绘制)随时间推移的空间分散(ROI之间的HC分布)，来监视跨多个ROI的更复杂的迁移HC变化。
已经发现，可以从传统数码相机205拍摄的原始图像中分离血红蛋白浓度(HC)。现在参考图4，示出了光从皮肤再发射的图示。光201在皮肤202下面行进，并在穿过不同的皮肤组织后再发射203。重新发射的光203然后可以被光学照相机205捕获。影响再发射的光的主要发色团(chromophore)是黑色素和血红蛋白。由于黑色素和血红蛋白具有不同的颜色特征，已经发现可以获得主要反映表皮下的HC的图像，如图5所示。
在特定情况下，可以通过分析从相机205接收的视频图像序列中的位平面，来确定和隔离一组接近最大化信噪比(SNR)的位平面以实现隔离HC。高SNR位平面的确定是参考构成捕获的视频序列的图像的HC训练集做出的，在一些情况下，与其他设备(例如从人类对象收集的EKG、气动呼吸、血压、激光多普勒数据)一起提供以提供基本事实来训练训练集。
位平面是数字图像的基本方面。通常，数字图像由一定数量的像素组成(例如，宽度X高度为1920X1080像素)。数字图像的每个像素具有一个或多个通道(例如，颜色通道，红色、绿色和蓝色(RGB))。每个通道都有一个动态范围，每个通道每个像素通常为8位，但对于高动态范围图像偶尔会有每通道10位。因此，这样的位阵列组成了所谓的位平面。在示例中，对于每个彩色视频的图像，存在三个通道(例如，红色、绿色和蓝色(RGB))，每个通道8位。因此，对于彩色图像的每个像素，通常有24层每层1位。在这种情况下的位平面是所有像素上的图像的特定层的单个1位图的视图。对于这种类型的彩色图像，因此通常有24个位平面(即，每个平面1位图像)。因此，对于每秒30帧的1秒彩色视频，至少有720(30X24)个位平面。本文描述的实施例中，申请人认识到使用位值用于位平面而不是仅使用例如每个通道的平均值的优点。因此，可以实现更高水平的准确性来进行HC变化的预测，并且如描述的那样进行预测，因为使用位平面为训练机器学习模型提供了更大的数据基础。
取决于信号特性，可以使用一个或多个滤波器对原始信号进行预处理。这种滤波器可以包括例如Butterworth滤波器、Chebycheff滤波器等。使用来自两个或更多ROI的滤波信号，机器学习被用来系统地识别将明显增加信号差异(例如，SNR改善大于0.1db)的位平面和不作贡献或减少信号差异的位平面。摒弃后者后，剩余的位平面图像可以最佳地确定粗体流。
机器学习过程涉及使用沿时间维度的每个位平面的每个像素中的位值来操纵位平面矢量(例如，24位平面X 60hz)。在一个实施例中，该过程需要减去和增加每个位平面以最大化该时间段内所有ROI中的信号差异。在某些情况下，为了获得可靠和稳健的计算模型，整个数据集可以分为三组：训练集(例如，整个对象数据的80％)、测试集(例如，整个对象数据的10％)和外部验证集(例如，整个对象数据的10％)。时间段可以根据原始数据的长度(例如15秒、60秒或120秒)变化。加法或减法以像素方式进行。现有的机器学习算法、长短期记忆(LSTM)神经网络或其合适的替代方案被有效使用并且获得关于精确度方面的差异改进的信息：哪个(或哪些)位平面贡献最佳信息、以及哪个(或哪些)不符合特征选择。长短期记忆(LSTM)神经网络允许我们执行组特征选择和分类。下面将更详细地讨论LSTM机器学习算法。从这个过程中，获得了与图像序列隔离的位平面的集合以反映HC中时间变化。
由一个或多个输入感测设备1304捕获的数据被发送到面部反应模型1310以供处理单元1306处理。在一些情况下，面部反应模型1310可以替代地集成到输入感测设备1304。
由机器学习模块1312使用机器学习方法可以分析由面部反应模型1310接收的表示人类对象针对目标和衬托阈下刺激的面部反应的捕获的数据。机器学习模块1312(无论是受监督的还是无人监督的)旨在使用捕获的数据来将对衬托阈下刺激的阈下面部反应的模式与对目标阈下刺激的阈下面部反应的模式进行最优地区分。机器学习模块1312还可以开发计算反应模型1318以表征人类对象对目标阈下刺激的阈下反应与人类对象对衬托阈下刺激的阈下反应的关系。在这种情况下，捕获的数据表示训练集1316，机器学习模块1312基于该训练集用于细化反应模型1318。
机器学习模块1312可以使用多种机器学习方法。例如，机器学习模块1312可以使用长短期记忆(LSTM)神经网络、GPNet、或其合适的替代方案以有效地提高对目标阈下刺激和衬托阈下刺激的反应之间的差异的精确度。如本文所描述的，长短期记忆(LSTM)神经网络允许机器学习模块1312执行组特征选择和分类。
使用阈下数据的训练集1316，由机器学习模块1312进行的机器学习方法可以用于构建用于对目标刺激的反应和对衬托刺激的反应的计算模型。使用与人类对象的训练集相关的数据来创建反应模型1318；优选那些包括具有不同皮肤类型、性别、年龄等的新的多种族组合的训练对象。当这些对象暴露于阈下目标刺激和阈下衬托刺激时，训练集1316包括针对训练对象的面部反应。例如，一组视觉刺激是熟悉的人的图片作为目标阈下刺激和未知人的图片作为衬托阈下刺激。在另一示例中，刺激可以包括阈下呈现的声音、听觉、视觉组合或其他感官和/或感知形式。
在示例性实施例中，机器学习模块1312使用机器学习方法，该机器学习方法涉及捕获的反应数据的一部分(例如，捕获的反应数据的70％、80％或90％)并使用剩余的捕获的反应数据以验证机器学习模型。
机器学习模块1312可以建立反应模型1318以区分对目标和衬托阈下的反应。为了构建反应模型318，机器学习模块1312从多个人类对象摄取面部反应的捕获数据。表示训练集1316的捕获数据作为当人类对象被呈现特定阈下刺激时的时间点的时间的函数被提取。在一些情况下，为了例如在热成像或透皮光学成像中增加信噪比(SNR)，可以将人类对象的面部分成多个感兴趣区域(ROI)，优选地根据它们的差异基础自主神经系统(ANS)调节机制而分类。使用人脸跟踪软件可以自动检测ROI。机器学习模块1312然后可以平均每个ROI中的数据。这些信息可以构成训练集1316的基础。
一旦机器学习模块1312开发了反应模型1318，机器学习模块1312就可以捕获对任何人类对象的刺激的未识别的面部反应数据，并将捕获的数据应用到反应模型1318。通过应用到反应模型1318，机器学习模块1312可以识别由一个或多个输入感测设备1304捕获的人类对象的阈下反应是针对阈下目标刺激还是针对衬托刺激。然后，输出模块1314可以利用来自机器学习模块1312的信息并且输出(1)人类对象的阈下反应状态属于阈下目标刺激还是衬托刺激的估计的统计概率，和/或(2)这种反应的归一化强度测量。可以使用所有对象的数据，通过合适的统计学方法来确定归一化强度，以计算其针对特定阈下刺激的面部阈下反应水平的均值和标准化，然后使用这些参数来产生每个对象的z分数，该z分数代表他或她对特定阈下刺激的反应强度。可以例如使用下列项来确定Z分数：
Z＝(原始分数-平均值)/标准差。
在一些情况下，在长时间运行的(一个或多个)刺激设备1302(诸如长时间运行的视频流)的情况下、和在人类对象的阈下状态改变并强度随时间波动的情况下，输出模块1314可以随时间改变概率估计和强度分数。这种改变可以依赖于基于移动时间窗(例如10、15或20秒)的阈下反应数据。应该理解，在这些情况下，分类的可信度(阈下目标刺激对比衬托刺激)可能小于100％。
在一些实施例中，机器学习模块1312可以使用长短期记忆(LSTM)神经网络架构，其是特定于连续数据分析和预测的神经网络模型的分类。LSTM神经网络包含至少三层细胞。第一层是输入层，其接受输入数据。第二层(并且可能是附加的)是隐藏层，其由存储器单元1400(在图2中示出)组成。最后一层是输出层，它基于使用逻辑(Logistic)回归的隐藏层生成输出值。
如图2所示，每个存储器单元1400包括输入门1402、具有自循环连接(self-recurrent connection)(到其自身的连接)1410的神经元1404、遗忘门(forget gate)1406和输出门1408。自回归循环连接1410可以具有1.0的权重，这确保了除任何外部干扰外，存储器单元的状态可以从一个时间步到另一个时间步保持持续。门用来调节存储器单元本身与其环境之间的相互作用。输入门1402允许或阻止输入信号改变存储单元1400的状态。另一方面，输出门1408可以允许或阻止存储器单元的状态影响与对象存储器单元1400通信的其他存储器单元。同样，遗忘门1406可以根据需要调制存储器单元的自循环连接1410，允许单元1400记住或遗忘其先前的状态。
以下等式描述了如何在每个时间步t更新存储器单元的层。在这些等式中：
xt是在时间t处到存储单元层的输入阵列。在此应用中，这是所有ROI处的血液流量信号：
Wi,Wf,Wc,Wo,Ui,Uf,Uc,Uo and Vo是权重矩阵；以及
bi,bf,bc and bo是偏置向量。
首先，我们计算时间t处存储器单元的状态的值it、输入门、以及候选值
it＝σ(Wixt+Uiht-1+bi)
其次，我们计算存储器单元的遗忘门在时间t处的激活值ft：
ft＝σ(Wfxt+Ufht-1+bf)
给定输入门激活值it、遗忘门激活值ft和候选状态值我们可以计算在时间t处的存储器单元的新状态Ct：
利用存储器单元的新状态，我们可以计算它们的输出门的值和随后其输出：
ot＝σ(Woxt+Uoht-1+VoCt+bo)
ht＝ot*tanh(Ct)
基于存储器单元的模型，对于每个时间步处的血液流量分布，可以计算存储器单元的输出。因此，从输入序列x0，x1，x2，...，xn中，LSTM层中的存储器单元将产生表示序列h0，h，h2，...，hn。
目标是将序列分类成不同的条件。逻辑回归输出层根据来自LSTM隐藏层的表示序列而生成每个条件的概率。时间步t处的概率向量可以通过下式计算：
pt＝softmax(Woutputht+boutput)
其中Woutput是从隐藏层到输出层的权重矩阵，是boutput输出层的偏置向量。具有最大累积概率的条件将是该序列的预测条件。
转到图3，示出了用于创建阈下面部反应的训练集和用于确定阈下反应模型的方法1500的流程图。
在块1504处，一个或多个刺激设备1302向人类对象呈现目标刺激，已知该目标刺激具有人类对象将以特定方式(即，以观察到的反应可以被标记的方式)进行反应的适当的置信度。每个阈下目标刺激的两侧可以是刺激前掩蔽和/或刺激后掩蔽。当刺激设备1302呈现目标刺激时，在块1510处，一个或多个输入感测设备1304捕获与阈下目标刺激的呈现大致时间锁定的面部反应数据(即，当阈下目标刺激呈现给对象时接收的反应数据)。
在块1506处，一个或多个刺激设备1302向人类对象呈现阈下衬托刺激。每个阈下衬托刺激的两侧可以是刺激前掩蔽和/或刺激后掩蔽。当刺激设备1302呈现阈下衬托刺激时，在块1512处，一个或多个输入感测设备1304捕获与阈下衬托刺激的呈现大致时间锁定的面部反应数据(即，当阈下衬托刺激呈现给对象时的反应数据)。
在块1508，面部反应模块1310确定是否需要更多捕获的反应数据。如果需要更多捕获的反应数据，则刺激设备1302再次在块1504处呈现目标刺激，并且在块1506处呈现衬托刺激。如果不需要更多捕获的反应数据，则在块1514处，面部反应模块1310通过标记捕获的反应数据来创建训练集1316，优选地包括针对目标刺激和衬托刺激两者的反应数据。
在1516，机器学习模块1312将机器学习方法应用于训练集1316，并且在1518，通过创建计算反应模型1318或改进现有计算反应模型1318来开发计算反应模型1318。
在另一实施例中，方法1500还可以包括在1520处由输入感测设备1304从单独的人类对象捕获对刺激的未识别的面部反应数据。机器学习模块1312然后在1522处使用机器学习技术对未识别的面部反应数据采用反应模型1318以确定人类对象的阈下反应是针对阈下目标刺激还是针对衬托刺激。机器学习模块1312还可以产生未识别的面部反应数据的归一化强度测量。在1524处，输出模块1314将向输出设备1320输出：对未识别的面部反应数据是针对阈下目标刺激还是针对衬托刺激的确定、以及反应强度测量。
在另一实施例中，可以使用指向或(以手表，手腕带，手带，衣服，鞋类，眼镜或方向盘的形式)直接附接到任何身体部位(例如，手腕或前额)的皮肤的光学传感器。从这些身体区域，系统还可以提取阈下反应的血液流量数据。
在又一些实施例中，系统可以安装在机器人和与人类交互的机器人的变体(例如，安卓、类人体(humanoid))中以使机器人能够检测机器人正在交互的人类的面部或其他部位的阈下反应。因此，配备透皮光学成像能力的机器人可以读取人类的阈下反应，以增强人机交互。
申请人认识到了如本文描述的系统和方法的实质性优点。例如，前述实施例可以远程、非攻击性、非侵入性地和在某些情况下隐蔽地检测人类对象的面部的阈下反应。此外，除了机器学习方法之外，前述实施例使用数据驱动方法，其允许计算模型的发展以高精确度检测对特定阈下刺激的特定阈下反应。此外，部分由于使用数据驱动方法的上述实施例，计算反应模型1318可以基于人类对象的大样本。因此，反应模型1318可以以高精确度被应用于新的、先前未被捕获的人类对象(只要新的对象与计算反应模型1318所基于的对象的样本类似)。
上述系统和方法可以应用于多个领域。在一个实施例中，该系统可以安装在警察局，并且在对象被阈下暴露于重要的犯罪相关信息与不相关信息时，收集对象的视频，，从而确定对象是否对某一特定犯罪有所了解。在另一实施例中，该系统可用于情报或政府机构中以用于安全许可和相关目的。另一实施例是在用于检测威胁或走私的入境处，例如乘客是否携带爆炸物或非法物品。
其他实施例包括市场营销、广告和销售，具体地，因为阈下反应可以预测购买行为和品牌忠诚度。在实施例中，系统可以收集当使用给定产品或浏览零售环境中暴露于商业广告时的个人的视频。然后可以实时分析视频以提供关于产品或广告的多个方面的实时用户反馈。所述实施例可以帮助识别引起消费者购买决定所需的阈下刺激和反应，以及产品是被正面还是负面被接收。
在又一实施例中，该系统可以用作情感神经科学中的工具。例如，该系统可以耦接MRI、近红外光谱学(NIRS)或EEG系统以不仅测量与对象的情绪相关的神经活动还测量阈下的面部反应变化。收集的面部阈下反应数据可用于提供关于对象的单独的有意识和阈下反应的额外和分别的信息。
其他应用可以变得明显。
尽管已经参照某些具体实施方式描述了本发明，但是对于本领域技术人员而言，在不脱离在所附权利要求中概述的本发明的精神和范围的情况下，各种修改是显而易见的。本公开的全部内容通过引用合并于此。

Claims (20)

1.一种用于检测目标人类对象对阈下刺激的阈下面部反应的计算机实现的方法，所述方法包括：
接收捕获的与向多个人类对象呈现阈下目标刺激大致时间锁定的第一面部反应数据；
接收捕获的与向所述多个人类对象呈现阈下衬托刺激大致时间锁定的第二面部反应数据；
接收捕获的来自所述目标人类对象的针对阈下刺激的未识别面部反应数据；
使用利用阈下反应训练集训练的机器学习模型，来确定所述目标人类对象的未识别面部反应数据是对所述阈下目标刺激做出反应的目标概率测量，所述阈下反应训练集包括第一捕获的面部反应数据和捕获的第二面部反应数据；以及
输出所述目标概率测量。
2.根据权利要求1所述的方法，还包括确定所述目标人类对象的未识别面部反应数据是对所述阈下衬托刺激做出反应的衬托概率测量，以及输出所述衬托概率测量。
3.根据权利要求1所述的方法，还包括确定针对对所述阈下目标刺激做出反应的所述目标人类对象的未识别面部反应数据的强度测量，以及输出所述强度测量。
4.根据权利要求1所述的方法，其中，所述阈下目标刺激和所述阈下衬托刺激包括视觉刺激。
5.根据权利要求1所述的方法，其中，所述阈下目标刺激和所述阈下衬托刺激包括听觉刺激。
6.根据权利要求1所述的方法，其中，所述阈下目标刺激和所述阈下衬托刺激被呈现小于约一秒。
7.根据权利要求6所述的方法，其中，所述阈下目标刺激和所述阈下衬托刺激被呈现小于约二十毫秒。
8.根据权利要求1所述的方法，其中，所述第一面部反应数据、所述第二面部反应数据和所述未识别面部反应数据从所述对象的面部上的预定感兴趣区域(ROI)被捕获，并且其中，针对每个所述ROI对反应数据求平均。
9.根据权利要求1所述的方法，其中，所述第一面部反应数据、所述第二面部反应数据和所述未识别面部反应数据各自包括透皮光学成像数据、面部表情数据、热成像数据、和眼睛跟踪数据中的至少一个。
10.根据权利要求11所述的方法，其中，所述透皮光学成像数据是通过使用利用血红蛋白浓度(HC)训练集训练的机器学习模型来确定来自表示所述人类对象的HC变化的捕获的图像序列中的位平面集合的位值而获取的，其中所述位平面集合是被确定为约最大化信噪比(SNR)的那些位平面的集合，所述HC训练集包括来自从HC已知的一组对象捕获的图像的每个位平面的位值。
11.一种用于检测目标人类对象对阈下刺激的阈下面部反应的系统，所述系统包括一个或多个处理器和数据存储设备，所述一个或多个处理器被配置为执行：
面部反应模块，用于接收从输入感测设备捕获的与刺激设备向多个人类对象呈现阈下目标刺激大致时间锁定的第一面部反应数据，所述面部反应模块还接收从所述输入感测设备捕获的与所述刺激设备向所述多个人类对象呈现阈下衬托刺激大致时间锁定的第二面部反应数据；所述面部反应模块还接收从所述输入感测设备捕获的来自所述目标人类对象的针对由所述刺激设备呈现的阈下刺激的未识别面部反应数据；
机器学习模块，用于使用利用阈下反应训练集训练的机器学习模型，来确定所述目标人类对象的未识别面部反应数据是对所述阈下目标刺激做出反应的目标概率测量，所述阈下反应训练集包括第一捕获的面部反应数据和捕获的第二面部反应数据；以及
输出模块，用于输出所述目标概率测量。
12.根据权利要求11所述的系统，其中，所述机器学习模块还确定所述目标人类对象的未识别面部反应数据是对所述阈下衬托刺激做出反应的衬托概率测量，并且其中，所述输出模块输出所述衬托概率测量。
13.根据权利要求11所述的系统，其中，所述机器学习模块还确定针对对所述阈下目标刺激做出反应的所述目标人类对象的未识别面部反应数据的强度测量，并且其中，所述输出模块输出所述强度测量。
14.根据权利要求11所述的系统，其中，所述刺激设备将所述阈下目标刺激和所述阈下衬托刺激呈现为视觉刺激。
15.根据权利要求11所述的系统，其中，所述刺激设备将所述阈下目标刺激和所述阈下衬托刺激呈现为听觉刺激。
16.根据权利要求11所述的系统，其中，所述刺激设备将所述阈下目标刺激和所述阈下衬托刺激呈现小于约一秒。
17.根据权利要求16所述的系统，其中，所述刺激设备将所述阈下目标刺激和所述阈下衬托刺激呈现小于约二十毫秒。
18.根据权利要求11所述的系统，其中，所述第一面部反应数据、所述第二面部反应数据和所述未识别面部反应数据从所述对象的面部上的预定感兴趣区域(ROI)被捕获，并且其中，所述面部反应模块或所述机器学习模块针对每个所述ROI对反应数据求平均。
19.根据权利要求11所述的系统，其中，所述第一面部反应数据、所述第二面部反应数据和所述未识别面部反应数据各自包括透皮光学成像数据、面部表情数据、热成像数据、和眼睛跟踪数据中的至少一个。
20.根据权利要求11所述的系统，其中，所述透皮光学成像数据是通过使用利用血红蛋白浓度(HC)训练集训练的机器学习模型来确定来自表示所述人类对象的HC变化的捕获的图像序列中的位平面集合的位值而获取的，其中所述位平面集合是被确定为约最大化信噪比(SNR)的那些位平面的集合，所述HC训练集包括来自从HC已知的一组对象捕获的图像的每个位平面的位值。
CN201780004122.XA 2016-11-14 2017-11-14 用于检测对阈下刺激做出反应的阈下面部反应的系统和方法 Withdrawn CN108366765A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US201662421508P 2016-11-14 2016-11-14
US62/421,508 2016-11-14
PCT/CA2017/051355 WO2018085946A1 (en) 2016-11-14 2017-11-14 System and method for detecting subliminal facial responses in response to subliminal stimuli

Publications (1)

Publication Number Publication Date
CN108366765A true CN108366765A (zh) 2018-08-03

Family

ID=62109103

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201780004122.XA Withdrawn CN108366765A (zh) 2016-11-14 2017-11-14 用于检测对阈下刺激做出反应的阈下面部反应的系统和方法

Country Status (5)

Country Link
US (1) US10360443B2 (zh)
EP (1) EP3349654A4 (zh)
CN (1) CN108366765A (zh)
CA (1) CA2998687A1 (zh)
WO (1) WO2018085946A1 (zh)

Families Citing this family (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10279257B2 (en) * 2015-01-14 2019-05-07 Podop, Inc. Data mining, influencing viewer selections, and user interfaces
CN116269262A (zh) 2016-12-01 2023-06-23 松下知识产权经营株式会社 生物体信息检测装置、生物体信息检测方法及存储介质
US11471083B2 (en) * 2017-10-24 2022-10-18 Nuralogix Corporation System and method for camera-based stress determination
CN110213325B (zh) * 2019-04-02 2021-09-24 腾讯科技（深圳）有限公司 数据处理方法以及数据推送方法
CN110705413B (zh) * 2019-09-24 2022-09-20 清华大学 基于视线方向和lstm神经网络的情感预测方法及系统
US11482049B1 (en) 2020-04-14 2022-10-25 Bank Of America Corporation Media verification system
US11594032B1 (en) 2021-02-17 2023-02-28 Bank Of America Corporation Media player and video verification system
US11928187B1 (en) 2021-02-17 2024-03-12 Bank Of America Corporation Media hosting system employing a secured video stream
US11527106B1 (en) 2021-02-17 2022-12-13 Bank Of America Corporation Automated video verification
US11790694B1 (en) 2021-02-17 2023-10-17 Bank Of America Corporation Video player for secured video stream
US11526548B1 (en) 2021-06-24 2022-12-13 Bank Of America Corporation Image-based query language system for performing database operations on images and videos
US11941051B1 (en) 2021-06-24 2024-03-26 Bank Of America Corporation System for performing programmatic operations using an image-based query language
US11784975B1 (en) 2021-07-06 2023-10-10 Bank Of America Corporation Image-based firewall system
US11627547B1 (en) 2022-06-07 2023-04-11 Rev Llc Data-driven encampment management systems and methods

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2007106083A1 (en) * 2006-03-13 2007-09-20 Ivs Psychotechnologies Corporation Psychological testing or teaching a subject using subconscious image exposure
WO2008055078A2 (en) * 2006-10-27 2008-05-08 Vivometrics, Inc. Identification of emotional states using physiological responses
US20110256520A1 (en) * 2010-04-19 2011-10-20 Innerscope Research, Inc. Short imagery task (sit) research method
CN103826532A (zh) * 2011-08-22 2014-05-28 Isis创新有限公司 生命体征的远程监控
CN105354821A (zh) * 2015-09-30 2016-02-24 浙江大学 一种阈下视觉靶刺激的呈现方法和呈现系统
WO2016049757A1 (en) * 2014-10-01 2016-04-07 Nuralogix Corporation System and method for detecting invisible human emotion
WO2016093789A1 (ru) * 2014-12-08 2016-06-16 Ирина Александровна КУЗЬМИЧЕВА Способ автоматизированного построения семантической сферы человека

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2094159B1 (en) * 2006-08-25 2012-03-28 Brain & Science LLC System and method for detecting a specific cognitive-emotional state in a subject
WO2008130907A1 (en) * 2007-04-17 2008-10-30 Mikos, Ltd. System and method for using three dimensional infrared imaging to identify individuals
US8255267B2 (en) * 2007-07-13 2012-08-28 Wahrheit, Llc System and method for determining relative preferences
US8221127B1 (en) * 2010-01-16 2012-07-17 Poulsen Peter D Subliminal or near-subliminal conditioning using diffuse visual stimuli
US9503786B2 (en) * 2010-06-07 2016-11-22 Affectiva, Inc. Video recommendation using affect
US9015084B2 (en) * 2011-10-20 2015-04-21 Gil Thieberger Estimating affective response to a token instance of interest
US9824607B1 (en) * 2012-01-23 2017-11-21 Hrl Laboratories, Llc Brain machine interface for extracting user intentions with subliminal decision-related stimuli
US20140228701A1 (en) * 2013-02-11 2014-08-14 University Of Washington Through Its Center For Commercialization Brain-Computer Interface Anonymizer
US9302179B1 (en) * 2013-03-07 2016-04-05 Posit Science Corporation Neuroplasticity games for addiction
WO2014145944A1 (en) * 2013-03-15 2014-09-18 Frank Nemirofsky Personal device-enabled lifestyle, commerce and exchange tracking system
US10279257B2 (en) * 2015-01-14 2019-05-07 Podop, Inc. Data mining, influencing viewer selections, and user interfaces
US20170150907A1 (en) * 2015-02-04 2017-06-01 Cerebral Assessment Systems, LLC Method and system for quantitative assessment of visual motor response
US10736526B2 (en) * 2016-03-31 2020-08-11 Vdynamics Llc Modification of behavior or physical characteristics through visual stimulation

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2007106083A1 (en) * 2006-03-13 2007-09-20 Ivs Psychotechnologies Corporation Psychological testing or teaching a subject using subconscious image exposure
WO2008055078A2 (en) * 2006-10-27 2008-05-08 Vivometrics, Inc. Identification of emotional states using physiological responses
US20110256520A1 (en) * 2010-04-19 2011-10-20 Innerscope Research, Inc. Short imagery task (sit) research method
CN103826532A (zh) * 2011-08-22 2014-05-28 Isis创新有限公司 生命体征的远程监控
WO2016049757A1 (en) * 2014-10-01 2016-04-07 Nuralogix Corporation System and method for detecting invisible human emotion
WO2016093789A1 (ru) * 2014-12-08 2016-06-16 Ирина Александровна КУЗЬМИЧЕВА Способ автоматизированного построения семантической сферы человека
CN105354821A (zh) * 2015-09-30 2016-02-24 浙江大学 一种阈下视觉靶刺激的呈现方法和呈现系统

Also Published As

Publication number Publication date
US10360443B2 (en) 2019-07-23
US20190073523A1 (en) 2019-03-07
EP3349654A4 (en) 2018-11-14
WO2018085946A1 (en) 2018-05-17
CA2998687A1 (en) 2018-05-14
EP3349654A1 (en) 2018-07-25

Similar Documents

Publication Publication Date Title
CN108366765A (zh) 用于检测对阈下刺激做出反应的阈下面部反应的系统和方法
US11497423B2 (en) System and method for detecting physiological state
US20200050837A1 (en) System and method for detecting invisible human emotion
Aydın Deep learning classification of neuro-emotional phase domain complexity levels induced by affective video film clips
Haynes et al. Decoding mental states from brain activity in humans
Zhou et al. Tackling mental health by integrating unobtrusive multimodal sensing
US20150099987A1 (en) Heart rate variability evaluation for mental state analysis
US11471083B2 (en) System and method for camera-based stress determination
JP2004529702A (ja) ポリグラフ検査のための熱画像解析
Liu et al. Transdermal optical imaging revealed different spatiotemporal patterns of facial cardiovascular activities
US20220148728A1 (en) System and method for analyzing stress of user and managing individual mental health, using hmd device having biosignal sensors mounted therein
WO2017136928A1 (en) System and method for detecting invisible human emotion in a retail environment
Pinti et al. The role of anterior prefrontal cortex (area 10) in face-to-face deception measured with fNIRS
Bakhtyari et al. ADHD detection using dynamic connectivity patterns of EEG data and ConvLSTM with attention framework
JP7262658B2 (ja) 血液バイオマーカのカメラに基づく数量化のためのシステム及び方法
Maiorana A survey on biometric recognition using wearable devices
Date et al. Deep learning for natural image reconstruction from electrocorticography signals
Jeroh Determination of stress in humans using data fusion of off-the-shelf wearable sensors data for electrocardiogram and galvanic skin response
Yan et al. When do visual category representations emerge in infants’ brains?
Tan et al. The predominant functional connections of recognizing fear and surprise expression: a MEG study
WO2023054643A1 (ja) 不穏およびせん妄センシング装置並びに不穏およびせん妄センシング方法
WO2023153418A1 (ja) 対象の脳波の強度を推定するシステム、方法、およびプログラム
Pinfi et al. Non-invasive optical imaging of brain function with fNIRS: current status and way forward
Zhu Computational Methods for Predicting Behavior from Neuroimaging Data
Zhu Neurophysiological Variations and Pattern Recognition in Food Decision-Making Process

Legal Events

Date Code Title Description
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WW01 Invention patent application withdrawn after publication
WW01 Invention patent application withdrawn after publication

Application publication date: 20180803