CN108882894A - 用于在零售环境中检测不可见人类情感的系统和方法 - Google Patents

用于在零售环境中检测不可见人类情感的系统和方法 Download PDF

Info

Publication number
CN108882894A
CN108882894A CN201780022045.0A CN201780022045A CN108882894A CN 108882894 A CN108882894 A CN 108882894A CN 201780022045 A CN201780022045 A CN 201780022045A CN 108882894 A CN108882894 A CN 108882894A
Authority
CN
China
Prior art keywords
people
product
price
affective state
invisible
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201780022045.0A
Other languages
English (en)
Inventor
李康
郑璞
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Niuluosi Co
Nuralogix Corp
Original Assignee
Niuluosi Co
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Niuluosi Co filed Critical Niuluosi Co
Publication of CN108882894A publication Critical patent/CN108882894A/zh
Pending legal-status Critical Current

Links

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/0059—Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence
    • A61B5/0077—Devices for viewing the surface of the body, e.g. camera, magnifying lens
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B3/00—Apparatus for testing the eyes; Instruments for examining the eyes
    • A61B3/10—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions
    • A61B3/113—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions for determining or recording eye movement
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/145—Measuring characteristics of blood in vivo, e.g. gas concentration, pH value; Measuring characteristics of body fluids or tissues, e.g. interstitial fluid, cerebral tissue
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/145—Measuring characteristics of blood in vivo, e.g. gas concentration, pH value; Measuring characteristics of body fluids or tissues, e.g. interstitial fluid, cerebral tissue
    • A61B5/1455—Measuring characteristics of blood in vivo, e.g. gas concentration, pH value; Measuring characteristics of body fluids or tissues, e.g. interstitial fluid, cerebral tissue using optical sensors, e.g. spectral photometrical oximeters
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/16—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/16—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state
    • A61B5/165—Evaluating the state of mind, e.g. depression, anxiety
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/044—Recurrent networks, e.g. Hopfield networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00—Commerce
    • G06Q30/02—Marketing; Price estimation or determination; Fundraising
    • G06Q30/0201—Market modelling; Market analysis; Collecting market data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00—Commerce
    • G06Q30/02—Marketing; Price estimation or determination; Fundraising
    • G06Q30/0207—Discounts or incentives, e.g. coupons or rebates
    • G06Q30/0238—Discounts or incentives, e.g. coupons or rebates at point-of-sale [POS]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/10—Image acquisition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/56—Extraction of image or video features relating to colour
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/188—Capturing isolated or intermittent images triggered by the occurrence of a predetermined event, e.g. an object reaching a predetermined position
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B2503/00—Evaluating a particular growth phase or type of persons or animals
    • A61B2503/12—Healthy persons not otherwise provided for, e.g. subjects of a marketing survey
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/08—Detecting, measuring or recording devices for evaluating the respiratory organs
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/16—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state
    • A61B5/163—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state by tracking eye movement, gaze, or pupil change
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/24—Detecting, measuring or recording bioelectric or biomagnetic signals of the body or parts thereof
    • A61B5/316—Modalities, i.e. specific diagnostic methods
    • A61B5/318—Heart-related electrical modalities, e.g. electrocardiography [ECG]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/01—Indexing scheme relating to G06F3/01
    • G06F2203/011—Emotion or mood input determined on the basis of sensed human body parameters such as pulse, heart rate or beat, temperature of skin, facial expressions, iris, voice pitch, brain activity patterns
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/174—Facial expression recognition

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Biomedical Technology (AREA)
  • General Health & Medical Sciences (AREA)
  • Biophysics (AREA)
  • Molecular Biology (AREA)
  • Business, Economics & Management (AREA)
  • General Physics & Mathematics (AREA)
  • Veterinary Medicine (AREA)
  • Animal Behavior & Ethology (AREA)
  • Public Health (AREA)
  • Surgery (AREA)
  • Medical Informatics (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Development Economics (AREA)
  • Strategic Management (AREA)
  • Accounting & Taxation (AREA)
  • Finance (AREA)
  • Pathology (AREA)
  • Entrepreneurship & Innovation (AREA)
  • General Engineering & Computer Science (AREA)
  • Psychiatry (AREA)
  • Multimedia (AREA)
  • Data Mining & Analysis (AREA)
  • General Business, Economics & Management (AREA)
  • Game Theory and Decision Science (AREA)
  • Marketing (AREA)
  • Economics (AREA)
  • Psychology (AREA)
  • Social Psychology (AREA)
  • Optics & Photonics (AREA)
  • Hospice & Palliative Care (AREA)
  • Educational Technology (AREA)
  • Developmental Disabilities (AREA)
  • Child & Adolescent Psychology (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)

Abstract

提供了一种用于在零售环境中检测不可见人类情感的系统。该系统包括相机和图像处理单元。相机在零售环境中经配置以在产品或服务的价格变得可见之前和期间捕获人的图像序列。图像处理单元经训练以确定所捕获的图像序列中表示人的血红蛋白浓度(HC)变化的多个图像的位面集，并基于HC变化检测人的不可见情感状态。图像处理单元是使用包括具有已知情感状态的一组主体的训练集来训练的。

Description

用于在零售环境中检测不可见人类情感的系统和方法
技术领域
下文总体涉及市场分析，并且更具体地，涉及用于在零售环境中检测不可见人类情感的基于图像捕获的系统和方法。
背景技术
零售环境、定价、和促销的学问或艺术是复杂的。许多因素可以影响消费者支出和伫足，包括但不限于商店位置和布局、员工行为、清洁度、产品放置、展示、价格、和促销。孤立地理解这些因素中的每一者是较为容易的，但是，组合起来却可能很难以增加利润为目的而将它们平衡。
为了更好地解决这个问题，一些零售商聘请了内部和外部顾问，他们将科学和经验结合应用于分析影响利润的各种因素。虽然这些顾问提供了有价值的信息，但他们仍然只是进行了一定程度的预测而非分析。他们的经验可能会使他们以不一定受现实支持的方式来对如何优化因素进行预测。让这些顾问任意规律地屡次重访零售地点的成本可能超过收益。此外，对因素的任何变化进行的评估可能是昂贵且缓慢的。
使用销售数据执行的市场分析可以在宏观层面上提供一定程度的洞察，但是，它本身并不能描绘消费者所做出的行为和决策。虽然消费者通常有针对购物和购买行为的逻辑基础，但很难知晓他们在零售环境中做出的决定。此外，在其他情况下，关于难以被衡量的消费者的购物和购买行为的逻辑原因是较少的。这些决策与行为通常伴随有他人无法察觉的生理反应。
发明内容
在一个方面，提供了一种用于在零售环境中检测不可见人类情感的系统，在该零售环境中，产品通过产品展示台以示于人，该系统包括：价格显示设备，用于根据销售点事件选择性地显示产品的至少一个价格；相机，该相机被配置为在销售点事件之前和期间捕获人的图像序列；以及处理单元，该处理单元经训练以确定所捕获的图像序列中表示人的血红蛋白浓度(HC)变化的多个图像的位面集、基于HC变化检测人的不可见情感状态、并输出在所检测到的不可见情感状态，处理单元是使用包括具有已知情感状态的主体的HC变化的训练集来训练的。
在另一方面，提供了一种用于在零售环境中检测不可见人类情感的方法，在该零售环境中，产品通过产品展示台以示于人，该方法包括：价格显示设备根据销售点事件选择性地显示产品的至少一个价格；相机在销售点事件之前和期间捕获人的图像序列；以及处理单元确定所捕获的图像序列中表示人的血红蛋白浓度(HC)变化的多个图像的位面集、基于HC变化检测人的不可见情感状态、并输出所检测到的不可见情感状态，处理单元是使用包括具有已知情感状态的主体的HC变化的训练集来训练的。
附图说明
本发明的特征在参考附图的下列详细描述中将变得更加清楚，其中：
图1是根据一个实施例的采用用于检测不可见人类情感的系统的零售地点的示意性平面图；
图2是图1的具有透皮光学成像相机的系统的价格显示单元的正视图；
图3是用于图1的不可见情感检测的系统的各种组件的框图；
图4示出了光从皮肤表皮和皮下层的再发射；
图5是一组表面及相应的透皮图像，示出了与特定时间点的特定人类主体的不可见情感相关的血红蛋白浓度的变化；
图6是将经历积极、消极、以及中性情感状态的主体的前额的血红蛋白浓度变化示出为时间(秒)的函数的绘图；
图7是将经历积极、消极、以及中性情感状态的主体的鼻子的血红蛋白浓度变化示出为时间(秒)的函数的绘图；
图8是将经历积极、消极、以及中性情感状态的主体的面颊的血红蛋白浓度变化示出为时间(秒)的函数的绘图；
图9是示出全自动透皮光学成像和不可见情感检测系统的流程图；
图10是系统生成的示例性报告；
图11是用于经优化的血红蛋白图像组合的数据驱动机器学习系统的图示；
图12是用于多维不可见情感模型建立的数据驱动的机器学习系统的图示；
图13是自动不可见情感检测系统的图示；
图14是存储器单元；以及
图15示出了根据另一实施例的用于检测不可见人类情感的相机。
具体实施方式
现在将参考附图描述实施例。为说明的简单和清楚起见，在认为适当的情况下，可以在附图之间重复参考标号以指示对应的或类似的元件。此外，阐述了许多具体细节以便提供对本文描述的实施例的透彻的理解。然而，本领域普通技术人员将理解，可以在没有这些具体细节的情况下实施本文描述的实施例。在其他实例中，未详细描述公知的方法、过程以及组件以免模糊本文描述的实施例。此外，本说明不应被认为限制本文描述的实施例的范围。
除非上下文另有指示，否则可以如下解读和理解本说明书通篇所使用的各个术语：如通篇使用的，“或”是包括性的，如同写成“和/或”；如通篇使用的，单数冠词和代词包括它们的复数形式，反之亦然；类似地，性别代词包括它们的对应代词，从而代词不应被理解为将本文描述的任何内容限制为由单个性别使用、实现、执行等；“示例性”应被理解为“说明性”或“举例”并且不一定相对于其他实施例是“优选”的。可以在本文陈述术语的其他定义；如通过阅读本说明书将理解的，这些其他定义可应用于那些术语的在先和后续的实例。
本文举例的执行指令的任意模块、单元、组件、服务器、计算机、终端、引擎或设备可包括计算机可读介质或以其他方式访问计算机可读介质，计算机可读介质例如是存储介质、计算机存储介质、或诸如磁盘、光盘、或磁带之类的数据存储设备(可移除的和/或不可移除的)。计算机存储介质可包括以用于存储信息(例如，计算机可读指令、数据结构、程序模块、或其他数据)的任意方法或技术实现的易失性和非易失性、可移除和不可移除介质。计算机存储介质的示例包括RAM、ROM、EEPROM、闪速存储器或其他存储器技术、CD-ROM、数字通用盘(DVD)或其他光存储装置、磁带盒、磁带、磁盘存储装置或其他磁存储设备、或可用于存储期望信息并可由应用、模块或二者访问的任意其他介质。任意这类计算机存储介质可以是设备的一部分或可被访问或可被连接。此外，除非上下文另有清楚指示，否则本文陈述的任意处理器或控制器可被实现为单个处理器或多个处理器。多个处理器可以是阵列式的或分布式的，并且可以通过一个或多个处理器来执行本文提及的任意处理功能，即使可能以单个处理器为例。本文描述的任意方法、应用或模块可以使用可由这类计算机可读介质存储或以其他方式保持并且由一个或多个处理器执行的计算机可读/可执行指令来实现。
以下总体涉及市场分析，更具体地涉及用于在零售环境中检测不可见人类情感的基于图像捕获的系统和方法，并且具体地是在一系列图像或视频中捕获的个体的不可见情感状态。该系统提供了在零售环境中以高置信度检测不可见情感状态的远程且非侵入性的途径。
图1示出了根据实施例的用于在零售环境中检测不可见人类情感的系统20。零售环境具有其上展示产品的一组产品展示台24。产品展示台24可以是例如放置产品的置物架、悬挂产品的产品货架等。系统20包括位于产品展示台24内或附近的一组价格显示设备28。一对壁挂式销售点(“PoS”)相机32被配置为当消费者位于PoS记录器面前时观察消费者的面部。计算机系统34通过有线或无线通信介质(例如以太网、通用串行总线(“USB”)、IEEE802.11(“Wi-Fi”)、蓝牙等)与价格显示设备24和PoS相机32通信。
现在转向图2，其更详细地示出了价格显示设备28中的一者。价格显示设备28具有显示部分36，该显示部分包括显示器，该显示器被配置为呈现邻近的产品展示台24上的产品的产品信息和价格。显示器可以是任何类型的合适显示器，例如LCD或LED。价格显示设备28还具有隐形或可见相机38，其被配置为捕获查看价格显示设备28的消费者的图像序列。相机38可以是用于捕获消费者面部的图像序列的任何合适的相机类型，例如CMOS或CCD相机。价格显示设备28中的存储器使得能够存储所捕获的图像，直到图像可以被传送到计算机系统34。在价格显示设备28与计算机系统34无线通信的情况下，价格显示设备28包括合适类型的无线电装置。在所示实施例中，价格显示设备28包括Wi-Fi模块，用于经由与计算机系统34通信的无线接入点(未示出)与计算机系统34通信。价格显示设备28的处理器对图像序列的捕获及它们的存储和到计算机系统34的传输进行协调。价格显示设备28可以是壁挂式的、放置在物架顶端、悬挂在挂物架上等，并且可以通过内部电池、外部电池组、耦接至电源插座等方式被供电。
相机38可以配备有透镜以使得能够从更宽的角度捕获图像，并且价格显示设备28或计算机系统34可以被配置为变换图像序列以补偿由透镜引入的任何失真。
运动传感器40使得能够检测在价格显示设备28的前方区域中的运动。运动传感器40被配置为感测距价格显示设备28的预定距离内的运动。
价格显示设备28被配置为在运动传感器40检测到运动之前不显示相关产品的价格。一旦运动传感器40检测到运动，价格显示设备28检查经由相机38捕获的图像以确定是否可在捕获的图像中检测到面部。如果检测到面部，则触发销售点事件，价格显示设备28根据该销售点事件呈现相关产品的价格，同时继续经由相机38捕获图像序列。然后，将在其中检测到面部的时间段期间内捕获的图像序列与对价格相对图像序列何时被显示的指示以及价格显示设备28的标识符一起发送到计算机系统34。
在其他实施例中，价格显示设备28可以在将价格呈现之前和之后的预定时间段内将图像序列发送到计算机系统34。
在其他实施例中，价格显示设备28可以连续地而非仅仅在销售点事件期间呈现相关产品的价格，并且可以将其中面部被检测到的图像序列发送到计算机系统34。在其他实施例中，价格显示设备28可以在图像序列被捕获的同时连续地将它们发送到计算机系统34。在一些实施例中，价格显示设备28呈现的价格可以是印刷静止显示。
每个相机周围的物体/产品及其位置可以记录在计算机系统中。然后，计算机系统34可以使用视线跟踪来分析图像流以确定消费者在图像序列期间正在看什么，从而识别消费者正在对什么做出反应。通过这种方式，每个相机可以记录所检测到的消费者响应于不止一种可能的刺激的不可见情感。例如，这种刺激可以是实际产品。就这方面而言，计算机系统34被配置为在消费者关注特定产品时确定消费者的生理反应。
PoS相机32捕获连续图像序列并将其传送到计算机系统34。通过这种方式，可以记录和分析消费者对销售点事件的反应，诸如对总额或任何折扣的知悉。
在根据图15中所示的另一实施例的另一配置中，一个或多个单独的相机(例如相机1100)被放置在诸如零售地点的墙壁、置物架、天花板之类的各种位置，并且被配置为捕获图像序列并将它们连续传输到计算机系统。相机的位置及其存在感可被隐藏或淹没，以削弱其存在对消费者的情感影响。相机可以与运动传感器耦接，并且可以被配置为在运动传感器检测到运动时将图像序列发送到计算机系统。相机1100被配置为捕获在零售地点中与身着一套服装的服装模特1104和其上层叠毛衣的一组置物架1108a、1108b邻近的消费者的图像序列。服装模特1104和置物架1108a、1108b相对于相机1100的位置被记录到计算机系统。当检测到不可见人类情感时(在检测到从相机1100接收到的图像序列中的不可见人类情感时)，计算机系统采用视线跟踪来确定消费者是否正在注视服装模特1104或置物架1108a、1108b中的特定一者。
可以从相机38拍摄的原始图像中分离出血红蛋白浓度(HC)，并且HC中的空间-时间变化可以与人类情感相关联。现在参考图4，示出光从皮肤的再发射的图示。光(201)在皮肤(202)下面行进，并且在穿过不同的皮肤组织之后再发射(203)。然后可以通过光学相机捕获再发射的光(203)。影响再发射的光的主要发色团是黑色素和血红蛋白。由于黑色素和血红蛋白具有不同的颜色特征，已经发现，可以获得如图5所示的主要反映表皮下面的HC的图像。
系统20实现了两步骤方法以生成适合于输出人类主体的情感状态属于多个情感中的一个情感的估计统计概率以及给定任意主体的视频序列时该情感状态的标准化强度量度的规则。系统可检测的情感对应于系统被针对其进行训练的情感。
现在参考图3，单独示出了用于在零售环境中检测不可见情感的系统20的各种组件。计算机系统34包括图像处理单元104、图像滤波器106、图像分类机105、和存储设备101。计算机系统34的处理器从存储设备101索取计算机可读指令并执行它们以实现图像处理单元104、图像滤波器106、和图像分类机105。图像分类机105配置有从使用训练图像集训练的另一计算机系统导出的训练配置数据102，并且可操作来针对从相机38所捕获的图像生成、由图像滤波器106处理、并被存储在存储设备102上的图像的查询集103执行分类。
交感神经系统和副交感神经系统对情感有反应。已经发现，个体的血流是由交感神经系统和副交感神经系统控制的，这超出绝大多数个体的意识控制。因此，可以通过监测个体的血流来容易地检测个体内在经历的情感。内在情感系统通过调整自主神经系统(ANS)的激活来使人类准备好处理环境中的不同情况；交感神经系统和副交感神经系统在情感调节中起不同的作用，前者上调战斗-逃跑(fight-flight)反应而后者用于下调应激反应。基本情感具有不同的ANS特征。大部分面部(例如，眼睑、面颊以及下巴)中的血流主要由交感神经血管扩张神经元控制，而鼻子和耳朵中的血流主要由交感神经血管收缩神经元控制；相反，前额区域中的血流由交感神经血管扩张和副交感神经血管扩张二者进行神经支配。因此，不同的内在情感状态在面部的不同部分具有不同的空间和时间激活模式。通过从系统捕获血红蛋白数据，可以提取各个特定面部区域中的面部血红蛋白浓度(HC)变化。然后将来自个体的这些多维和动态数据阵列与下面将更详细讨论的基于规范数据的计算模型进行比较。通过这种比较，可以做出关于个体的内在情感状态的基于可靠统计的推论。由于ANS所控制的面部血红蛋白活动不易服从意识控制，因此这类活动提供了进入个体的真正最深处情感的良好窗口。
现在参考图9，显示了示出由系统20执行的不可见情感检测的方法的流程图。系统20执行图像记录(registration)701以记录关于具有未知情感状态的主体的所捕获的视频序列的输入、血红蛋白图像提取702、ROI选择703、多ROI空间-时间血红蛋白数据提取704、不可见情感模型705应用、数据映射706(用于映射变化的血红蛋白模式)、情感检测707、以及报告生成708。图13描绘了自动不可见情感检测系统的另一此类图示。
图像处理单元从每个相机获取每个所捕获的图像或视频流，并对图像执行操作以生成主体的相应的经优化的HC图像。图像处理单元分离出所捕获的视频序列中的HC。在示例性实施例中，使用相机以每秒30帧的速度拍摄主体的面部的图像。将理解的是，可以利用可替代的数字相机和照明条件来执行该处理。
通过以下处理来实现对HC的分离：分析视频序列中的位面以确定并分离出提供高信噪比(SNR)的位面集并因此优化面部表皮(或任意部分的人类表皮)上的不同情感状态之间的信号区分。参考构成所捕获的视频序列的图像的第一训练集来确定高SNR位面，该图像的第一训练集与来自从其获得训练集的人类主体的EKG、气动呼吸、血压、激光多普勒数据相耦合。EKG和气动呼吸数据被用来移除HC数据中的心脏、呼吸、以及血压数据以防止这类活动掩盖HC数据中的更微秒的情感相关的信号。第二步骤包括训练机器以使用从大量人类主体的样本的经优化的“位面”图像中提取的感兴趣区域(“ROI”)中的表皮HC变化的空间-时间信号模式来建立针对特定情感的计算模型。
为进行训练，捕获暴露于已知引起特定情感反应的刺激的测试主体的视频图像。可以宽泛地对反应进行分组(中性、积极、消极)，或更详细地对反应进行分组(痛苦、高兴、焦虑、悲伤、沮丧、好奇、喜悦、厌恶、愤怒、惊讶、蔑视等)。在另外的实施例中，可以捕获每个情感状态中的等级。优选地，主体受指示以不在面部表达任何情感，从而所测量的情感反应是不可见情感并且与HC中的变化相分离。为确保主体不在面部表情中“泄漏”情感，可以利用面部情感表情检测程序来分析表面图像序列。如下所述，还可以使用EKG机、气动呼吸机、连续血压机、以及激光多普勒机来采集EKG、气动呼吸、血压、以及激光多普勒数据，并且这些数据提供了额外的信息以降低来自位面分析的噪声。
手动或自动地为视频图像定义情感检测的ROI(例如，前额、鼻子、以及脸颊)。基于本领域关于HC具体表明其情感状态的ROI的知识来优选地选择这些ROI。使用包括所有三个R、G、B通道的所有位面的本地图像来提取在特定情感状态(例如，积极)下每个ROI上在特定时间段(例如，10秒)内改变的信号。可以针对其他情感状态(例如，消极或中性)重复该处理。EKG和气动呼吸数据可被用来滤除图像序列上的心脏、呼吸器、以及血压信号以防止非情感系统HC信号掩盖真实的情感相关的HC信号。可以对EKG、呼吸、以及血压数据使用快速傅里叶变换(FFT)以获取EKG、呼吸、以及血压的峰值频率，然后可以使用陷波滤波器来移除具有以这些频率为中心的时间频率的ROI上的HC活动。可以使用独立分量分析(ICA)来实现相同的目的。
现在参考图11，示出了用于优化的血红蛋白图像组合的数据驱动机器学习的图示。通过使用来自两个或不止两个情感状态901和902的ROI的经滤波的信号，采用机器学习903来系统地识别将显著增加不同情感状态之间的信号区分的位面904以及不影响或降低不同情感状态之间的信号区分的位面。在丢弃后者之后，获得最优地区分感兴趣的情感状态的剩余位面图像905。为进一步改善SNR，可以将结果重复地反馈到机器学习903处理直到SNR达到最优渐近值。
机器学习处理涉及使用图像减法和加法来操纵位面向量(例如，8×8×8、16×16×16)以针对一部分(例如，70％、80％、90％)主体数据来最大化一段时间内不同情感状态之间的所有ROI中的信号差异，并验证剩余主体数据。以像素方式执行加法或减法。使用现有机器学习算法(长短期存储(LSTM)神经网络、或适当的机器训练的替代算法(例如，深度学习))来高效地获取关于以下各项的的信息：不同情感状态之间的区分在精度方面的提升、贡献最佳信息的(一个或多个)位面以及在特征选择方面没有影响的位面。长短期存储(LSTM)神经网络或适当的替代算法允许我们执行组特征选择和分类。下面更详细地讨论LSTM算法。通过该处理，获取将被从图像序列分离出以反映HC中的时间变化的位面集。图像滤波器被配置为在下述后续步骤中分离出所识别的位面。
图像分类机105配置有来自训练计算机系统的、先前已使用上面的方法并利用所捕获的图像的训练集训练的训练配置数据102。以这种方式，图像分类机105受益于训练计算机系统执行的训练。图像分类机104将所捕获的图像分类为与情感状态相对应。在第二步骤中，使用从上面提供的经优化的位面图像导出的主体情感数据的新训练集，再次采用机器学习来建立针对感兴趣的情感状态(例如，积极、消极以及中性)的计算模型。
现在参考图12，示出了用于多维不可见情感模型建立的数据驱动的机器学习的图示。为创建这样的模型，招募第二组训练主体(优选地，具有不同皮肤类型的新的多种族训练主体组)，并在他们暴露于引起已知情感反应(例如，积极、消极、中性)的刺激时获取图像序列1001。示例性刺激集是已常用于诱发情感的国际情绪图片系统(InternationalAffective Picture System)以及其他良好建立的情感诱发范例。对图像序列1001应用图像滤波器以生成高HC SNR图像序列。刺激还可包括非视觉方面，例如，听觉、味觉、嗅觉、触觉、或其他感觉刺激、或其组合。
使用从位面滤波图像1002导出的主体情感数据1003的该新训练集，再次使用机器学习来建立针对感兴趣的情感状态(例如，积极、消极以及中性)的计算模型1003。注意，用于识别最优地区分感兴趣的情感状态的剩余位面滤波图像的感兴趣的情感状态与用于建立针对感兴趣的情感状态的计算模型的状态必须是相同的。对于不同的感兴趣的情感状态，必须在后者开始之前重复前者。
机器学习处理同样涉及一部分主体数据(例如，70％、80％、90％的主体数据)并使用剩余的主体数据来验证模型。该第二机器学习处理因此产生经训练的情感的单独的多维(空间和时间)计算模型1004。
为建立不同的情感模型，当主体正在观察特定情感诱发刺激时，每个主体的面部图像的每个像素上的面部HC变化数据被(从步骤1)作为时间的函数提取。为提高SNR，根据前面提到的不同底层ANS调节机制来将主体的面部划分为多个ROI，并且平均每个ROI中的数据。
现在参考图4，显示了示出主体前额的血红蛋白分布差异的绘图。虽然人类和基于计算机的面部表情检测系统均不可检测任何面部表情差异，但透皮图像示出了积极401、消极402以及中性403条件之间的血红蛋白分布的显著差异。在图7和图8中分别可以看出主体的鼻子和面颊的血红蛋白分布的差异。
同样可以使用长短期存储(LSTM)神经网络、或诸如非线性支持向量机之类的适当的替代物、以及深度学习来评估跨主体的血红蛋白变化的通用时间-空间模式的存在。在来自一部分(例如，70％、80％、90％)主体的透皮数据上训练长短期存储(LSTM)神经网络或替代物以获取针对三个不可见情感分类中的每个不可见情感分类的多维计算模型。然后在来自剩余训练主体的数据上测试这些模型。
这些模型形成了训练配置数据102的基础。
遵循这些步骤，现在可以从零售环境中的任何消费者的相机32、38获取视频序列，并将从所选位面中提取的HC应用于针对感兴趣的情感状态的计算模型。输出将是：(1)主体的情感状态属于所训练的情感中的一个情感的估计统计概率，以及(2)这样的情感状态的标准化强度量度。对于长的运行视频流，当情感状态变化并且强度波动时，可以报告依赖于基于移动时间窗口(例如，10秒)的HC数据的概率估计和强度得分随时间的变化。将理解的是，分类的置信水平可以小于100％。
现在将更详细地描述针对以下操作的两个示例实现方式：(1)获取关于情感状态之间的区分在精度方面的改进的信息，(2)识别贡献最佳信息的位面以及在特征选择方面没有影响的位面，以及(3)评估跨主体的血红蛋白变化的通用空间-时间模式的存在。一个这样的实现方式是递归神经网络。
一个递归神经网络被称为长短期存储(LSTM)神经网络，该LSTM神经网络是被指定用于序列数据分析和预测的一类神经网络模型。LSTM神经网络包括至少三层单元。第一层为输入层，接受输入数据。第二层(以及可能的额外层)为隐藏层，包括存储单元(见图14)。最后一层为输出层，该输出层使用逻辑回归来基于隐藏层生成输出值。
如所示出的，每个存储单元包括四个主要元素：输入门、具有自递归连接(到它自身的连接)的神经元、遗忘门以及输出门。自递归连接具有1.0的权重并确保(除任何外部干扰以外)存储单元的状态从一个时间步骤到另一时间步骤可以保持不变。这些门用于调制存储单元自身与其环境之间的交互。输入门准许或防止传入信号更改存储单元的状态。另一方面，输出门可以准许或防止存储单元的状态影响其他神经元。最后，遗忘门可以调制存储单元的自递归连接，准许该单元按需记住或遗忘其之前的状态。
下面的等式描述了如何在每个时间步骤t对存储单元层进行更新。在这些等式中：xt为时刻t时到存储单元层的输入阵列。在本申请中，这是所有ROI处的血流信号：
Wi、Wf、Wc、wo、Ui、Uf、Uc、Uo以及Vo为权重矩阵；并且bi、bf、bc以及bo为偏差向量。
首先，我们计算在时刻t时输入门it和存储单元的状态的候选值的值：
it＝σ(Wixt+Uiht-1+bi)
然后，我们计算在时刻t时存储单元的遗忘门的激活ft的值：
ft＝σ(Wfxt+Ufht-1+bf)
给定输入门激活it、遗忘门激活ft以及候选状态值的值，我们可以计算在时刻t时存储单元的新状态Ct：
利用存储单元的新状态，我们可以计算它们的输出门的值并随后计算它们的输出：
ot＝σ(Woxt+Uoht-1+VoCt+bo)
ht＝ot*tanh(Ct)
基于存储单元的模型，对于在每个时间步骤的血流分布，我们可以计算来自存储单元的输出。因此，根据输入序列x0、x1、x2、……、xn，LSTM层中的存储单元将产生表征序列h0、h1、h2、……、hn。
目标是将序列分类到不同的条件。逻辑回归输出层基于来自LSTM隐藏层的表征序列来生成每个条件的概率。可以如下计算在时间步骤t的概率向量：
pt＝softmax(Woutput ht+boutput)
其中，Woutput为从隐藏层到输出层的权重矩阵，并且boutput为输出层的偏差向量。具有最大累计概率的条件将是该序列的预测条件。
计算机系统34记录从各种相机38、32捕获的图像流，并且使用上述处理确定检测到的不可见情感。然后将所检测到的不可见情感同产品信息(可以包括产品标识符、显示的产品价格、图像序列被捕获的时间以及消费者查看产品的时间长度)一起记录。计算机系统34可以被配置为在检测到不可见情感时将图像序列丢弃。
现在参考图10，其示出了阐述计算机系统34的输出的示例性报告。计算机系统34通过相机来记录图像序列，其中每个图像序列是与具有产品ID的产品相关联的。使用上述处理来分析每个图像序列，并将其分类为具有正(+5.00)或负(-5.00)情感偏差和强度(0.00-5.00)。这些度量被记录在由计算机系统34维护的数据库中。然后，计算机系统34计算结果并根据请求生成报告，例如图10中所示的报告。生成的报告指示结果被计算的周期和针对每个相机的统计度量。
由计算机系统执行的面部识别可用来将图像序列与先前由其他相机捕获以提供标准化基线的图像序列匹配。此外，相机的位置可以由计算机系统记录，并且关于人们在零售环境中的最后已知位置的知识可以用于辅助计算机系统所执行的面部识别。
在实施例中，通知系统可用于提供对所检测到的不可见人类情感、面部图像、以及其位置的通知。例如，如果消费者在特定相机前面作出积极反应，则可通知销售员并指示他们与出现在图像中的消费者交谈。在计算机系统确定视线跟踪的情况下，通知还可以指示当检测到不可见的人类情感时消费者正在查看哪个产品。
虽然已经参考某些具体的实施例描述了本发明，但在不脱离如所附权利要求所概述的本发明的精神和范围的情况下，对其的各种修改对于本领域技术人员将是明显的。上述所有参考文献的全部公开内容通过引用结合于此。

Claims (16)

1.一种用于在零售环境中检测不可见人类情感的系统，在该零售环境中，产品通过产品展示台以示于人，所述系统包括：
价格显示设备，用于根据销售点事件选择性地显示所述产品的至少一个价格；
相机，该相机被配置为在所述销售点事件之前和期间捕获所述人的图像序列；以及
处理单元，该处理单元经训练以确定所捕获的图像序列中表示所述人的血红蛋白浓度(HC)变化的多个图像的位面集、基于所述HC变化检测所述人的不可见情感状态、并输出在所检测到的不可见情感状态，所述处理单元是使用包括具有已知情感状态的主体的HC变化的训练集来训练的。
2.根据权利要求1所述的系统，其中，基于所述HC变化检测所述人的不可见情感状态包括：生成所述人的情感状态符合来自所述训练集的已知情感状态的估算统计概率，以及对这样确定的情感状态的标准化强度度量。
3.根据权利要求1所述的系统，其中，所述销售点事件包括所述价格显示设备显示价格。
4.根据权利要求1所述的系统，其中，所述销售点事件包括所述价格显示设备临时显示优惠价格。
5.根据权利要求1所述的系统，其中，所述相机与所述价格显示设备是一体的。
6.根据权利要求1所述的系统，还包括运动传感器，用以检测所述产品展示台附近的区域中的运动，并且一旦检测到所述区域中的运动，触发所述相机捕获图像序列，并触发所述价格显示设备显示价格。
7.根据权利要求1所述的系统，其中，所述处理单元被配置为接收所述相机和所述产品的位置，以执行视线跟踪以分析所述图像序列，从而确定所述人在所述销售点事件期间是否查看所述产品，并且如果所述人在所述销售点事件期间没有查看所述产品，则将所述图像序列丢弃。
8.根据权利要求1所述的系统，还包括通知系统，用于显示指示所述人被检测到的不可见情感状态的通知。
9.一种用于在零售环境中检测不可见人类情感的方法，在该零售环境中，产品通过产品展示台以示于人，所述方法包括：
价格显示设备根据销售点事件选择性地显示所述产品的至少一个价格；
相机在所述销售点事件之前和期间捕获所述人的图像序列；以及
处理单元确定所捕获的图像序列中表示所述人的血红蛋白浓度(HC)变化的多个图像的位面集、基于所述HC变化检测所述人的不可见情感状态、并输出所检测到的不可见情感状态，所述处理单元是使用包括具有已知情感状态的主体的HC变化的训练集来训练的。
10.根据权利要求9所述的方法，其中，基于所述HC变化检测所述人的不可见情感状态包括：生成所述人的情感状态符合来自所述训练集的已知情感状态的估算统计概率，以及对这样确定的情感状态的标准化强度度量。
11.根据权利要求9所述的方法，其中，所述销售点事件包括价格显示设备显示价格。
12.根据权利要求9所述的方法，其中，所述销售点事件包括价格显示设备临时显示优惠价格。
13.根据权利要求9所述的方法，其中，所述相机与所述价格显示设备是一体的。
14.根据权利要求9所述的方法，还包括：运动传感器检测所述产品展示台附近的区域中的运动，并且一旦检测到所述区域中的运动，触发所述相机捕获图像序列，并触发所述价格显示设备显示价格。
15.根据权利要求9所述的方法，还包括：所述处理单元接收所述相机和所述产品的位置，执行视线跟踪以分析所述图像序列，从而确定所述人在所述销售点事件期间是否查看所述产品，并且如果所述人在所述销售点事件期间没有查看所述产品，则将所述图像序列丢弃。
16.根据权利要求9所述的方法，还包括通知系统显示指示所述人被检测到的不可见情感状态的通知。
CN201780022045.0A 2016-02-08 2017-02-08 用于在零售环境中检测不可见人类情感的系统和方法 Pending CN108882894A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US201662292574P 2016-02-08 2016-02-08
US62/292,574 2016-02-08
PCT/CA2017/050140 WO2017136928A1 (en) 2016-02-08 2017-02-08 System and method for detecting invisible human emotion in a retail environment

Publications (1)

Publication Number Publication Date
CN108882894A true CN108882894A (zh) 2018-11-23

Family

ID=59562878

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201780022045.0A Pending CN108882894A (zh) 2016-02-08 2017-02-08 用于在零售环境中检测不可见人类情感的系统和方法

Country Status (5)

Country Link
US (2) US10705603B2 (zh)
EP (1) EP3413797A1 (zh)
CN (1) CN108882894A (zh)
CA (1) CA3013948A1 (zh)
WO (1) WO2017136928A1 (zh)

Families Citing this family (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109069072B (zh) * 2016-02-08 2021-11-30 纽洛斯公司 欺骗检测系统和方法
CA3013948A1 (en) * 2016-02-08 2017-08-17 Nuralogix Corporation System and method for detecting invisible human emotion in a retail environment
US11707216B2 (en) * 2016-07-21 2023-07-25 Comcast Cable Communications, Llc Recommendations based on biometric feedback from wearable device
WO2018033137A1 (zh) * 2016-08-19 2018-02-22 北京市商汤科技开发有限公司 在视频图像中展示业务对象的方法、装置和电子设备
EP3429123B1 (en) * 2017-05-16 2019-07-24 Shenzhen Goodix Technology Co., Ltd. Advertisement playback system and advertisement playback method
WO2019005515A1 (en) * 2017-06-30 2019-01-03 Carrier Corporation PROPERTY BUYER FEEDBACK APPLICATION
US11471083B2 (en) 2017-10-24 2022-10-18 Nuralogix Corporation System and method for camera-based stress determination
WO2021007652A1 (en) * 2019-07-18 2021-01-21 Nuralogix Corporation System and method for detection of synthesized videos of humans
US10964176B2 (en) * 2019-08-08 2021-03-30 Toshiba Tec Kabushiki Kaisha Security apparatus in a shopping environment, and a method thereof
US20230081918A1 (en) * 2020-02-14 2023-03-16 Venkat Suraj Kandukuri Systems and Methods to Produce Customer Analytics
CN115944293B (zh) * 2023-03-15 2023-05-16 汶上县人民医院 一种基于神经网络的肾脏透析用血红蛋白水平预测系统
CN116884068B (zh) * 2023-07-14 2024-01-26 广州云天数据技术有限公司 基于人工智能的运维和物联网管理方法、平台及存储介质

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20050054935A1 (en) * 2003-09-08 2005-03-10 Rice Robert R. Hyper-spectral means and method for detection of stress and emotion
JP4590555B2 (ja) * 2004-09-02 2010-12-01 国立大学法人長岡技術科学大学 感性状態判別方法及び装置
JP4911557B2 (ja) * 2004-09-16 2012-04-04 株式会社リコー 画像表示装置、画像表示制御方法、プログラム及び情報記録媒体
US20090318773A1 (en) * 2008-06-24 2009-12-24 Searete Llc, A Limited Liability Corporation Of The State Of Delaware Involuntary-response-dependent consequences
US8219438B1 (en) * 2008-06-30 2012-07-10 Videomining Corporation Method and system for measuring shopper response to products based on behavior and facial expression
US20120245443A1 (en) * 2009-11-27 2012-09-27 Hirokazu Atsumori Biological light measurement device
US20120257035A1 (en) * 2011-04-08 2012-10-11 Sony Computer Entertainment Inc. Systems and methods for providing feedback by tracking user gaze and gestures
CN103596507B (zh) * 2011-06-17 2015-11-25 株式会社日立制作所 生物体光计测装置
EP2972678A4 (en) * 2013-03-15 2016-11-02 Interaxon Inc CLOTHING COMPUTER APPARATUS AND ASSOCIATED METHOD
JP2014239871A (ja) * 2013-05-07 2014-12-25 安東　秀夫 生体活動検出方法、生体活動測定装置、生体活動検出信号の転送方法および生体活動情報を利用したサービスの提供方法
US20140365272A1 (en) * 2013-06-07 2014-12-11 Bby Solutions, Inc. Product display with emotion prediction analytics
WO2015098977A1 (ja) * 2013-12-25 2015-07-02 旭化成株式会社 脈波測定装置、携帯機器、医療機器システム、及び生体情報コミュニケーションシステム
WO2016049757A1 (en) * 2014-10-01 2016-04-07 Nuralogix Corporation System and method for detecting invisible human emotion
US9836756B2 (en) * 2015-06-24 2017-12-05 Intel Corporation Emotional engagement detector
CA3013948A1 (en) * 2016-02-08 2017-08-17 Nuralogix Corporation System and method for detecting invisible human emotion in a retail environment

Also Published As

Publication number Publication date
US20200319706A1 (en) 2020-10-08
US20190041984A1 (en) 2019-02-07
US10705603B2 (en) 2020-07-07
EP3413797A1 (en) 2018-12-19
US11320902B2 (en) 2022-05-03
WO2017136928A1 (en) 2017-08-17
CA3013948A1 (en) 2017-08-17

Similar Documents

Publication Publication Date Title
CN108882894A (zh) 用于在零售环境中检测不可见人类情感的系统和方法
US20200050837A1 (en) System and method for detecting invisible human emotion
US10806390B1 (en) System and method for detecting physiological state
CN109069072A (zh) 欺骗检测系统和方法
Generosi et al. A deep learning-based system to track and analyze customer behavior in retail store
US10360443B2 (en) System and method for detecting subliminal facial responses in response to subliminal stimuli
CN108885758A (zh) 用于进行在线市场调查的系统和方法
CN110140181A (zh) 用于确定人的特征的设备
CN110135357A (zh) 一种基于远程遥感的幸福感实时检测方法
Aroyo et al. Can a humanoid robot spot a liar?
Peng et al. Large-scale sleep condition analysis using selfies from social media
Kodavade et al. Lie detection using thermal imaging feature extraction from periorbital tissue and cutaneous muscle
EP3757950A1 (en) Method and system for classifying banknotes based on neuroanalysis

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
WD01 Invention patent application deemed withdrawn after publication
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20181123