CN110249337A - 使用眼睛追踪相机对面部表情分类 - Google Patents

使用眼睛追踪相机对面部表情分类 Download PDF

Info

Publication number
CN110249337A
CN110249337A CN201880009128.0A CN201880009128A CN110249337A CN 110249337 A CN110249337 A CN 110249337A CN 201880009128 A CN201880009128 A CN 201880009128A CN 110249337 A CN110249337 A CN 110249337A
Authority
CN
China
Prior art keywords
user
image
expression
machine learning
label
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201880009128.0A
Other languages
English (en)
Inventor
阿夫尼什·苏德
史蒂文·希克松
维韦克·夸特拉
尼古拉斯·杜福尔
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Google LLC
Original Assignee
Google LLC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Google LLC filed Critical Google LLC
Publication of CN110249337A publication Critical patent/CN110249337A/zh
Pending legal-status Critical Current

Links

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/68—Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient
    • A61B5/6801—Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient specially adapted to be attached to or worn on the body surface
    • A61B5/6802—Sensor mounted on worn items
    • A61B5/6803—Head-worn items, e.g. helmets, masks, headphones or goggles
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/16—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state
    • A61B5/165—Evaluating the state of mind, e.g. depression, anxiety
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S3/00—Direction-finders for determining the direction from which infrasonic, sonic, ultrasonic, or electromagnetic waves, or particle emission, not having a directional significance, are being received
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16—Constructional details or arrangements
    • G06F1/1613—Constructional details or arrangements for portable computers
    • G06F1/163—Wearable computers, e.g. on a belt
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2413—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on distances to training or reference patterns
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/0304—Detection arrangements using opto-electronic means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G06V10/443—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components by matching or filtering
    • G06V10/449—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters
    • G06V10/451—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters with interaction between the filter responses, e.g. cortical complex cells
    • G06V10/454—Integrating the filters into a hierarchical structure, e.g. convolutional neural networks [CNN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/20—Scenes; Scene-specific elements in augmented reality scenes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/174—Facial expression recognition
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/61—Control of cameras or camera modules based on recognised objects
    • H04N23/611—Control of cameras or camera modules based on recognised objects where the recognised objects include parts of the human body
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/16—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state
    • A61B5/163—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state by tracking eye movement, gaze, or pupil change
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7235—Details of waveform analysis
    • A61B5/7264—Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems
    • A61B5/7267—Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems involving training the classification device
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7271—Specific aspects of physiological measurement analysis
    • A61B5/7275—Determining trends in physiological measurement data; Predicting development of a medical condition based on physiological measurements, e.g. determining a risk factor
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/01—Indexing scheme relating to G06F3/01
    • G06F2203/011—Emotion or mood input determined on the basis of sensed human body parameters such as pulse, heart rate or beat, temperature of skin, facial expressions, iris, voice pitch, brain activity patterns
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18—Eye characteristics, e.g. of the iris
    • G06V40/19—Sensors therefor
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/332—Displays for viewing with the aid of special glasses or head-mounted displays [HMD]
    • H04N13/344—Displays for viewing with the aid of special glasses or head-mounted displays [HMD] with head-mounted left-right displays

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Multimedia (AREA)
  • Molecular Biology (AREA)
  • Biomedical Technology (AREA)
  • Data Mining & Analysis (AREA)
  • Biophysics (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Medical Informatics (AREA)
  • Human Computer Interaction (AREA)
  • Computational Linguistics (AREA)
  • Mathematical Physics (AREA)
  • Psychiatry (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • Animal Behavior & Ethology (AREA)
  • Surgery (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Pathology (AREA)
  • Databases & Information Systems (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Signal Processing (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Hospice & Palliative Care (AREA)
  • Developmental Disabilities (AREA)
  • Psychology (AREA)
  • Social Psychology (AREA)
  • Child & Adolescent Psychology (AREA)
  • Educational Technology (AREA)

Abstract

在多个用户表露出多个表情的同时捕获多个用户的图像。使用在由多个第一用户穿戴的一个或多个头戴式设备(HMD)中实现的一个或多个眼睛追踪传感器来捕获图像。训练机器学习算法以推断指示图像中用户的表情的标签。使用在由用户穿戴的HMD中实现的眼睛追踪传感器来捕获用户的实况图像。使用已经被训练以用于预测指示表情的标签的机器学习算法来推断在实况图像中用户表露出的表情的标签。通过将图像与表露出表情子集的用户的个性化图像进行组合，可以个性化用户的图像和实况图像。

Description

使用眼睛追踪相机对面部表情分类
背景技术
沉浸式虚拟现实(VR)、增强现实(AR)或混合现实(MR)系统通常利用向用户呈现立体影像的头戴式显示器(HMD)，以便在三维场景中提供临场感(3D)。通常的HMD被设计为在大约为180°的接近人眼视场或与人眼视场相同的视场上产生立体图像。例如，商业HMD的视场目前是100-110°。多个用户可以在由沉浸式VR、AR或MR系统产生的相同3-D场景中彼此交互。例如，用户可以使用3D视频会议彼此交互，同时在虚拟影院中共同观看电影或YouTube视频、虚拟徒步穿过Google Earth中的地区或者同时坐在虚拟3D教室中收听由(真实的或虚拟的)教授进行的讲座。可以使用用户的捕获图像或表示用户的化身(avatar)来表示3D场景中的用户。例如，沉浸式VR、AR或MR系统可以使用相机来捕获用户的图像，然后所述用户的图像将被插入到虚拟3-D场景中。再例如，可以将表示用户的化身插入到虚拟3-D场景中。在任何一种情况下，面部表情都不容易通过用户的表示来传达。HMD遮挡包括用户眼睛的用户面部的大部分，这使得难以在用户的所捕获的图像中传达情绪，并且化身的面部上的表情通常不传达相对应的用户的实际情绪状态。HMD的遮挡也限制了评估用户对VR内容的响应的概率。
附图说明
通过参考附图，可以更好地理解本公开，并且本公开的多个特征和优点对于本领域的技术人员可以是显而易见的。在不同附图中的相同的附图标记的使用指示相似或完全相同的项。
图1是图示出根据一些实施例的、被配置为推断与用户的面部表情相对应的情绪的标签的处理系统的图。
图2图示出根据一些实施例的、包括被配置为经由显示器提供虚拟现实(VR)、增强现实(AR)或混合现实(MR)功能的电子设备的显示系统。
图3图示出根据一些实施例的、可以使用机器学习算法来推断的用户的面部表情集合。
图4图示出根据一些实施例的、基于用户穿戴的HMD中的眼睛追踪传感器可见的用户面部的一部分的图像来推断表情的标签的过程。
图5图示出根据一些实施例的、被修改以反映用户的所推断的表情的化身集合。
图6是根据一些实施例的、训练用于推断由眼睛追踪传感器捕获的一个或多个用户的图像中的表情的标签的机器学习算法的方法的流程图。
图7是根据一些实施例的、推断由集成在HMD中的一个或多个眼睛追踪传感器捕获到的用户图像中的表情的标签的方法的流程图。
具体实施方式
处理系统可以从用户面部的未被遮挡的正面图像推断用户表情。处理系统的一些实施例可以实现特征追踪和神经网络算法以检测指示面部变形的参数的值，诸如指示用户面部上的独立肌肉群中的肌肉收缩状态的动作单元。例如，用户的面部表情可以由在面部各处分布的大约46个面部动作单元的值来表征。用HMD遮挡用户的面部使基于穿戴HMD的用户的图像来推断用户表情的任务显著复杂化。若干个动作单元肌肉群位于用户面部的被HMD遮挡的区域中并且被遮挡的动作单元包括情绪的关键指示，诸如眉毛抬起、脸颊抬起、眨眼和眯眼。专用光学或压电传感器可以并入到HMD中并用于追踪HMD内的面部表情。然而，需要修改当前可用的商用HMD以并入专用光学或压电传感器。从HMD内收集的表情数据可以与由外部相机捕获的用户的图像组合以对用户表情建模，但是此方法还需要将常规HMD与诸如外部相机的附加硬件进行组合。
至少部分地为了解决常规实践中的这些缺点，可以使用由集成在遮挡用户的面部的一部分的HMD中的眼睛追踪传感器捕获到的、表示用户面部的一部分的图像(或诸如接近传感器的其他传感器流)来训练处理系统以标记来自与对应的情绪集合相关联的用户表情集合的表情。在一些实施例中，机器学习模型预测由眼睛追踪传感器捕获的图像中的用户的表情(或动作单元)的标签。例如，可以训练卷积神经网络(CNN)算法以从包括愤怒、闭眼、快乐、中性和惊讶的集合中识别实况用户图像中的表情的标签。再例如，可以训练CNN算法以从包括眉部下降、上眼睑抬起、脸颊抬起、闭眼、左眉部抬起、左眼眨眼、中性、右眉部抬起、右眼眨眼和眯眼的集合中识别动作单元的标签。用于确定用户的当前表情的动作单元与在HMD中实现的眼睛追踪器可见的肌肉群相对应。眼睛追踪传感器不可见的肌肉群的动作单元——例如前额区域或嘴部/下颌区域中的肌肉群——未被用于确定用户的当前表情。
为了训练机器学习模型，在用户穿戴并入了一个或多个眼睛追踪传感器的HMD时，眼睛追踪传感器从范围广泛的个体获取图像。通过在为群组中的每个个体收集数据时要求个体表露出某些行动单元或(由动作单元的总体组成的)表情，建立群组训练数据(眼睛追踪相机图像)中的个体的图像与标签(动作单元或表情)之间的对应关系。有监督学习被用于训练机器学习模型以基于所建立的对应关系来预测其他获取到的图像的标签。机器学习模型的一些实施例被训练来仅基于用户的眼睛区域的图像来预测标签。例如，可以将后续获取到的(或实况的)图像作为输入提供给机器学习模型，然后所述机器学习模型响应于输入而生成预测标签。机器学习模型的一些实施例是通过以下来“个性化”的：训练机器学习模型以基于实况图像和与用户第一次穿戴头戴式装置时捕获到的表情子集相对应的个性化图像的小集合来预测用户图像的标签。例如，可以训练机器学习算法以从眼睛追踪器图像中减去用户的平均中性图像，然后基于经修改的眼睛追踪器图像来识别标签。基于在用户已被指令维持中性情绪或预定情绪集合时获取到的图像来构建平均中性图像。还可以训练机器学习模型以基于诸如表露出中性表情、惊讶表情和愤怒表情的用户图像的个性化图像的其他组合来预测用户图像的标签。
一旦经训练，机器学习算法就可以根据由用户穿戴的HMD中的眼睛追踪传感器获取到的实况输入图像流识别用户的当前表情。例如，机器学习算法可以仅基于由眼睛追踪传感器捕获到的输入图像来生成视频流的每个图像中的用户的预测表情(或动作单元)的标签。如果机器学习算法是个性化的，则机器学习算法使用从实况输入流中获取到的图像和先前获取到的用户的个性化图像来识别用户的当前表情。在HMD的初始化过程期间，在用户第一次戴上HMD时指令用户表露出一系列表情并且眼睛追踪传感器在用户正在表露出表情时捕获个性化图像。然后将捕获到的个性化图像(或其组合或子集)作为附加输入提供给机器学习算法，所述机器学习算法使用输入连同实况图像流来预测图像中用户表情的标签。例如，可以从获取到的图像中减去用户的平均中性图像，之后识别来自实况流的经修改的图像中的表情或动作单元的标签。在一些实施例中，当前表情被用于修改用户的面部的3D模型的表示或表示用户的化身来反映当前表情。在一些实施例中，由机器学习算法推断的表情被用于评估VR内容在引起期望的情绪响应方面的有效性、使交互式内容适合当前用户情绪状态、学习用户行为模型以通知新VR内容的创建等。
图1是图示出根据一些实施例的、被配置为推断与用户105的面部表情相对应的情绪的标签的处理系统100的图。处理系统100包括头戴式设备(HMD)110，其由用户105穿戴并用于向用户105提供虚拟现实(VR)、增强现实(AR)或混合现实(MR)内容。一个或多个眼睛追踪传感器115被集成在HMD 110中，使得眼睛追踪传感器115能够在用户穿戴HMD 110时追踪用户105的眼睛。眼睛追踪传感器115的一些实施例能够通过从由眼睛追踪传感器115捕获到的视频流中的图像中提取眼睛位置和定向来测量眼睛位置或眼睛移动。例如，眼睛追踪传感器115可以包括红外光源来生成光，所述光从眼睛反射并由眼睛追踪传感器115中的相对应的传感器感测以生成眼睛的图像，然后对所述眼睛的图像进行分析以确定眼睛注视的位置和定向。HMD 110的一些实施例集成其他传感器，诸如接近传感器。
处理系统100还包括处理器120和存储器125。处理器120被配置为执行指令，诸如存储在存储器125中的指令，并将指令的结果存储在存储器125中。处理器120还被配置为通过可以被实现为有线连接、无线连接或其组合的通信链路130与HMD 110通信。处理器120可以通过链路130提供信息，诸如用于在HMD处显示VR、AR或MR图像的像素值。处理器120还可以通过链路130接收信息，诸如由眼睛追踪传感器115捕获到的图像。然后处理器120可以将接收到的信息存储在存储器125中。处理器120还被配置为基于从HMD 110接收到的信息或从存储器125存取的信息来渲染图像。图像在显示器135上渲染。尽管为了清楚起见，将显示器135描绘为电视屏幕或监视器，但是显示器的一些实施例在诸如蜂窝电话、平板计算机、头戴式显示器(HMD)等的其他设备中实现。
存储器125用于存储表示机器学习算法140的信息，机器学习算法140用于识别由眼睛追踪传感器115捕获到的用户105的图像中的表情或情绪。机器学习算法140的一些实施例被实现为卷积神经网络(CNN)算法。机器学习算法140被训练为使用在其他用户表露出与诸如愤怒、闭眼、快乐、中性以及惊讶等情绪相关联的预定的表情集合的同时捕获到的其他用户的图像来推断用户105的表情的标签。例如，可以告知其他用户在穿戴诸如HMD 110的HMD时模仿预定的表情集合。再例如，在其他用户穿戴诸如HMD 110的HMD时，可以向其他用户示出预定的表情集合的图像并且然后要求其他用户模仿表情。诸如图1中所示的眼睛追踪传感器115的眼睛追踪传感器在用户表露出预定的表情集合的同时捕获图像。然后训练机器学习算法140以基于在用户的图像与在那些图像中由用户表达的情绪之间所建立的对应关系来预测情绪的标签。
在一些实施例中，机器学习算法140基于其他用户的图像的子集来进行“个性化”。例如，机器学习算法140可以“学习”通过将其他用户的图像的子集与特定用户的图像的子集组合来提高特定用户的情绪的所预测的标签的准确性。子集的一个示例是包括特定用户在表露出中性表情时的图像的图像子集。然后可以对中性表情图像进行平均(例如通过对图像中的对应的像素值进行平均)来定义特定用户的平均中性表情。机器学习算法140可以通过从特定用户的图像中减去平均中性图像并且然后基于经修改的图像来预测标签以提高特定用户的情绪和图像的所预测的标签的准确度。例如，对机器学习算法140的输入(P(I))可以从以下中取得：
其中I是用户(u)的原始图像并且N是用户的中性图像集合。还可以使用其他子集来代替中性图像集合或者除了中性图像集合之外还可以使用其他子集。子集可以是(例如由工程师)预先确定的或者子集可以在训练过程期间由机器学习算法140确定。
然后，经训练的机器学习算法140被用于基于在用户105穿戴HMD 110时由眼睛追踪传感器115捕获到的图像来推断用户105的表情的标签。机器学习算法140的一些实施例被训练为使用TensorFlow库的Inception结构的变体。例如，可以使用每个回合(epoch)逐步衰减预定步进值的预定学习率来训练机器学习算法140。为了防止过拟合，可以选择激进的(aggressive)L2权重衰减。Softmax交叉熵函数可以与L2正则化一起用作损失：
其中N是样本数，C是类，和分别是第n样本的第c类的真实样本(ground-truth)标签和softmax激活函数，并且w是网络权重。
HMD 110的一些实施例通过链路130向处理器120提供表示由眼睛追踪传感器115捕获到的图像的信息。例如，图像可以是由眼睛追踪传感器115实时捕获的图像的实况视频流的一部分。通过链路130接收到的信息可以存储在存储器125中。机器学习算法140的一些实施例将从用户105的图像中取得的参数值和指示与预定表情集合相对应的面部变形的参数值进行比较。例如，可以将从图像中取得的动作单元的值和与预定集合中的每个表情相关联的动作单元的值(或值的范围)进行比较。机器学习算法140从预定集合中识别一个表情，所述一个表情产生从用户105的图像中取得的参数值和指示与所识别的表情相对应的面部变形的参数值之间的最佳匹配。参数的一些实施例是与用户105的面部的、眼睛追踪传感器115可见的一部分相关联的动作单元。例如，参数可以包括这样的集合中的动作单元，所述集合包括眉部下降、上眼睑抬起、脸颊抬起、闭眼、左眉部抬起、左眼眨眼、中性、右眉部抬起、右眼眨眼和眯眼。动作单元的值指示每个特性的程度，例如眉部下降动作单元的大值指示(相对于中性表情)眉部下降较多并且眉部下降动作单元的小值指示(相对于中性表情)眉部下降较少。
如果机器学习算法140已个性化，则在HMD 110的初始化过程期间要求用户105表露出预定的表情集合的子集，诸如中性表情。例如，在开始VR、AR或MR会话之前，可以要求用户105表露出用于个性化机器学习算法140的表情子集并且眼睛追踪传感器115可以在用户105表露出表情子集的同时捕获用户105的图像。个性化图像145存储在存储器125中。然后，机器学习算法140可以通过将个性化图像145与由眼睛追踪传感器115捕获到的图像组合来推断用户105的情绪标签。例如，机器学习算法140可以通过从实况图像中减去平均中性图像并根据经修改的图像推断出情绪的标签来推断在实况输入图像流中用户105的情绪的标签。如本文所讨论的，机器学习算法140还可以基于与其他表情相关联的个性化图像145并使用个性化图像145与捕获到的图像的其他组合来推断情绪的标签。
图2图示出根据一些实施例的，包括被配置为经由显示器提供VR、AR或MR功能的电子设备205的显示系统200。电子设备205的所图示的实施例可包括便携式用户设备，诸如HMD、平板计算机、支持计算的蜂窝电话(例如“智能手机”)、笔记本计算机、个人数字助理(PDA)、游戏控制台系统等。在其他实施例中，电子设备205可以包括固定装置，诸如医学成像设备、安全成像传感器系统、工业机器人控制系统、无人机控制系统等。为了便于说明，本文在HMD系统的示例场境(context)中大体描述电子设备205；然而电子设备205不限于这些示例实施方式。
在图2中示出安置在用户210的头部上的电子设备205。因此，电子设备205用于实现图1中所示的HMD 110的一些实施例。如图所示，电子设备205包括外壳215，外壳215包括生成用于向用户呈现的图像的显示器220。在所示实施例中，显示器220由用于向对应的左眼和右眼显示立体图像的左显示器221和右显示器222形成。然而在其他实施例中，显示器220是生成用于向左眼和右眼显示的单独的立体图像的单个单片式显示器220。电子设备205还包括设置在外壳215的面向用户的表面235中的对应孔或其他开口中的目镜透镜225和230。显示器220设置在外壳215内的目镜透镜225和230的远端。目镜透镜225与左眼显示器221对准并且目镜透镜230与右眼显示器222对准。
在立体显示模式中，影像由左眼显示器221显示并且由用户的左眼经由目镜透镜225观看。影像同时由右眼显示器222显示并且由用户的右眼经由目镜透镜225观看。由左眼和右眼观看的影像被配置成为用户创建立体视图。显示器220、221、222的一些实施例被制造为包括包围显示器220、221、222的一个或多个外边缘的边框(图2中未示出)。在那种情况下，透镜225、透镜230或其他光学设备被用于组合由显示器220、221、222产生的图像，使得用户看不到显示器220、221、222周围的边框。作为替代，透镜225、230合并图像以跨显示器220、221、222之间的边界显现为连续的。
控制和支持显示器220的操作的电子组件中的一些或全部以及电子设备205的其他组件在外壳215内实现。电子设备205的一些实施例包括用于检测电子设备205的位置或定向的一个或多个传感器240、245。尽管为了清楚起见示出了两个传感器240、245，但是电子设备205可以包括更多或更少的传感器。传感器240、245可以包括加速度计、磁力计、陀螺仪检测器、位置传感器、红外传感器等，传感器240、245可以被实现为微机电(MEMS)传感器。
电子设备205还实现眼睛追踪传感器250、251，其被配置为通过测量用户210的注视点或者测量眼睛相对于用户210的头部的运动来追踪用户210的眼睛的移动和位置。如本文所讨论的，眼睛追踪传感器250、251的一些实施例实现用于测量眼睛运动的非接触光学方法。然而，其他类型的眼睛追踪器也可以被用于追踪用户210的眼睛的移动和位置。例如，可以使用诸如专门设计的隐形眼镜、放置在眼睛附近的电极等的眼睛附加装置来检测眼睛运动。电子设备205的一些实施例还实现其他传感器，诸如可用于检测面部变形的接近传感器。由眼睛追踪传感器250、251捕获到的图像被提供至处理系统，诸如图1所示的处理系统100。例如，在用户210正在使用电子设备205时由眼睛追踪传感器250、251捕获到的实况图像流可以被提供至诸如图1中所示的处理器120的处理器，其如本文所讨论实现机器学习算法以在用户105穿戴电子设备205时推断由用户105所表露出的情绪的标签。
图3示出了根据一些实施例的、可以使用机器学习算法推断的用户的面部表情的集合300。面部表情包括中性表情301、愤怒表情302、惊讶表情303、快乐表情304和闭眼表情305。中性表情301的特征是中性的眉毛位置、脸颊没有抬起和中性的眼睑位置(例如没有抬起、眨眼或眯眼)。愤怒表情302的特征是下降的眉毛位置、脸颊没有抬起、合窄的眼睑。惊讶表情303的特征是抬起的眉毛位置、脸颊没有抬起和张宽的眼睑。快乐表情304的特征是中性或略微下降的眉毛位置、高程度的脸颊抬起和中性或略微合窄的眼睑。闭眼表情304的特征是闭合的眼睑。集合300中的面部表情的附加特性——诸如其他动作单元的量度在一些情况下可以用于进一步表征对应的表情。
表情301-305可以由指示表露出多个表情的多个第一用户的面部变形的参数值表示。例如，数值可用于表示诸如表情301-305中的眉毛抬起、脸颊抬起、眨眼和眯眼的动作单元的值。然后，机器学习算法可以通过分析根据用户正在表露出表情301-305时由一个或多个眼睛追踪传感器捕获到的用户图像所生成的数值来推断指示对应的情绪的表情的标签。如本文所讨论的，HMD中的眼睛追踪传感器仅能够捕获用户面部的、在用户眼睛附近的区域中的部分的图像。因此，训练机器学习模型以基于HMD中的眼睛追踪传感器可见的用户面部部分的特性来推断表情301-305的标签。机器学习模型不限于使用任何特定的特性集合，或者甚至是人会认为是可感测的特性来推断表情301-305的标签。例如，作为机器学习过程的一部分，机器学习模型可以被配置为识别用于推断表情301-305的标签的特征。
图4示出了根据一些实施例的，基于用户穿戴的HMD中的眼睛追踪传感器可见的用户面部的一部分的图像来推断表情的标签的过程400。过程400由图1中所示的处理系统100的一些实施例执行。诸如图1所示的眼睛追踪传感器115的眼睛追踪传感器捕获用户面部的一部分的图像405。过程400使用被训练为基于个性化图像来推断标签的机器学习算法来推断图像405中所示的表情的标签。例如，过程400可以基于表示用户的平均中性图像的个性化图像410来推断标签。然而除了个性化图像410之外，机器学习算法的一些实施例使用其他个性化图像。此外，机器学习算法的一些实施例不使用个性化图像410来推断用户表情的标签。
机器学习算法组合捕获到的图像405和个性化图像410以形成组合图像415。在所图示的实施例中，机器学习算法可以从捕获到的图像405中减去个性化图像410(在这种情况下是用户的平均中性图像)以形成组合图像415。然而在其他实施例中，机器学习算法可以使用捕获到的图像405与一个或多个个性化图像410的其他组合来生成组合图像415。如本文所讨论的，组合可以是预定的或者组合可以由机器学习算法选择。例如，机器学习算法可以生成(正或负)权重，其应用于用户的中性图像、快乐图像和愤怒图像以生成个性化图像410，然后将个性化图像410与捕获到的图像405组合以形成组合图像415。
通过机器学习算法生成不同表情的概率的分布420。例如，分布420指示用户的图像指示中性表情的概率421、图像指示愤怒表情的概率422、图像指示闭眼表情的概率423、图像指示快乐表情的概率424和图像指示惊讶表情的概率425。可以通过将从组合图像415中取得的参数值(诸如指示面部变形的动作单元)与在训练过程期间已由机器学习算法学习的参数的对应值进行比较来确定不同表情的概率。在所图示的实施例中，概率422大于其他概率421、423、424、425中的任一个。因此愤怒表情对应于从组合图像415中取得的参数值和指示与愤怒表情相对应的面部变形的参数值之间的最佳匹配。因此，机器学习算法推断出图像405中的表情被标记为愤怒表情。
在一些实施例中，表情的所推断的标签用于修改用户的表示以反映当前表情。例如，用户可以由化身430表示，化身430被赋予愤怒表情以反映由机器学习算法根据由眼睛追踪传感器捕获到的图像405所推断的愤怒表情。再例如，可以基于所推断的标签修改用户的面部的3D模型以反映用户的最可能的情绪。在一些实施例中，由机器学习算法推断的表情被用于评估VR、AR或MR内容在引起期望的情绪响应方面的有效性、使交互式内容适合当前用户情绪状态、学习用户行为模型以通知新的VR、AR或MR内容的创建等。
图5图示出根据一些实施例的、经修改以反映用户的所推断的表情的化身集合500。可以使用图1中所示的处理系统100和图4中所示的过程400的一些实施例根据由眼睛追踪传感器捕获到的图像推断用户的表情。例如，化身505被修改为呈现与由机器学习算法根据用户的图像510所推断的愤怒表情的标签相对应的愤怒表情。再例如，化身515被修改为呈现与由机器学习算法根据用户的图像520所推断的快乐表情的标签相对应的快乐表情。再例如，化身525被修改为呈现与由机器学习算法根据用户的图像530所推断的惊讶表情的标签相对应的惊讶表情。
图6是根据一些实施例的、训练用于推断由眼睛追踪传感器捕获到的一个或多个用户的图像中的表情的标签的机器学习算法的方法600的流程图。方法600在图1中所示的处理系统100的一些实施例中实现。训练是基于集成在由一个或多个用户穿戴的HMD中的一个或多个眼睛追踪传感器(或诸如接近传感器的其他传感器)捕获到的图像来执行的。
在框605处，指令用户表露出从表情集合中选择的表情，所述表情集合包括诸如中性表情、快乐表情、愤怒表情、惊讶表情和闭眼表情等表情。指令可以以书面形式、口头形式或使用图示出表情的图像来提供。在框610处，眼睛追踪传感器在用户表露出所选择的表情的同时捕获用户的图像。在某些情况下，并非全部用户都能够表露出表情集合中的全部表情。例如，并非每个人都能够完成右眉部抬起或左眉部抬起。因此，某些用户可能会绕过某些表情。然而，即使在某些用户没有表露出表情集合中的全部表情的情况下，也可以有效地训练机器学习算法。
在判定框615处，系统确定集合中是否存在附加表情。如果是，则方法600进行到框605处并且指令用户表露出集合中的另一个表情。如果否并且用户在捕获过程期间已经表露出集合中的全部表情，则方法600进行到判定框620处。
在判定框620处，系统确定在被用于训练机器学习算法的用户群组中是否存在附加用户。如果是，则方法600进行到框605处并且指令下一个用户表露出从集合中选择的表情。如果否，则方法进行到框625处。尽管方法600用于在随后的时间间隔期间捕获穿戴相同HMD的一系列用户的图像，但是并非在方法600的全部实施例中都需要这样。例如，可以使用由多个用户穿戴的多个HMD来捕获表露出表情集合的多个用户的图像。可以在不同的时间间隔期间或同时地捕获穿戴不同HMD的多个用户的图像。
在框625处，选择用户图像的子集并且将所述用户图像的子集用于个性化机器学习算法。例如，用户中的每一个的中性图像可以被选择并被用于生成平均中性图像。如本文所讨论的，图像可以是预定的或是作为用于训练机器学习算法的有监督学习过程的一部分而被选择的。框625是可选的(如虚线框所示)并且对于训练不实现个性化的机器学习算法的实施例不是必需的。
在框630处，将用户群组中用户中的每一个的个性化图像与其他捕获到的图像组合以形成群组中用户中的每一个的个性化数据集合。例如，可以从捕获到的图像中减去群组中用户中的每一个的平均中性图像以形成用户中的每一个的个性化数据集合。如本文所讨论的，图像子集的其他组合可用于形成每一个用户的个性化图像。框630是可选的(如虚线框所示)并且对于训练不实现个性化的机器学习算法的实施例不是必需的。
在框635处，使用有监督学习来训练用于推断用户的捕获到的图像中的表情的标签的机器学习算法。为了清楚起见，在方法600中，框625、630、635被描绘为顺序步骤。然而，机器学习算法的一些实施例的有监督学习包括：选择形成个性化图像的图像子集，确定用于推断表情的标签的个性化图像和捕获到的图像的组合，并且然后训练机器学习算法以基于识别个性化图像的组合来推断标签。
在框640处，将机器学习算法的表示存储在诸如图1中所示的存储器125的非暂时性计算机可读介质中。
图7是根据一些实施例的、推断由集成在HMD中的一个或多个眼睛追踪传感器捕获到的用户的图像中的表情的标签的方法700的流程图。方法700在图1中所示的处理系统100的一些实施例中实现。例如，方法700可以使用诸如图1中所示的处理器120的一些实施例的处理器来实现。
在框705处，要求用户表露出表情子集并且HMD中的一个或多个眼睛追踪传感器在用户表露出子集的同时捕获用户的图像。例如，HMD可以被用于显示表示表情子集的图片并且可以指令用户表露出用户的眼睛追踪传感器捕获的图像的对应的表情。框705处的个性化图像的捕获可以在初始化过程期间执行，所述初始化过程在用户第一次穿戴HMD时执行。框705是可选的(如虚线框所示)并且在不实现个性化的实施例中不是必需的。
在框710处，由一个或多个眼睛追踪传感器捕获用户的图像。例如，眼睛追踪传感器可以捕获图像，所述图像是表示在用户穿戴HMD时眼睛追踪传感器从HMD内可见的用户面部的一部分的实况图像流的一部分。捕获到的图像被存储或以其他方式对处理器可用以供后续处理。
在框715处，处理器将捕获到的图像与个性化图像组合。例如，如本文所讨论的，处理器可以从捕获到的图像中减去平均中性图像。框715是可选的(如虚线框所示)并且在不实现个性化的实施例中不是必需的。
在框720处，处理器应用机器学习算法以推断在捕获到的图像中的用户表情的标签。如果实现了个性化，则机器学习算法基于通过将捕获到图像与个性化图像组合而形成的经修改的图像来推断表情的标签。例如，机器学习算法可以推断指示中性表情、愤怒表情、快乐表情、惊讶表情、闭眼表情等的标签。机器学习算法的一些实施例根据图6中所示的方法600来训练。
在框725处，处理器基于捕获到的图像中的表情的所推断的标签来修改用户的表示。例如，处理器可以修改用户的化身以表示与所推断的标签相对应的情绪。框725是可选的(如虚线框所示)并且在方法700的所有实施例中都不是必需的。例如，表情的所推断的标签可以用于其他目的，诸如评估由穿戴HMD的用户观看的内容在引起期望的情绪响应方面的有效性、基于所推断的标签调整由穿戴HMD的用户观看的交互式内容以及生成用户行为模型以通知供穿戴HMD的用户观看的内容的创建。
在判定框730处，处理器确定是否存在要处理的附加图像。例如，如果处理器正在推断实况图像流中的表情的标签，则处理器可以确定下一图像已经从眼睛追踪传感器到达以用于处理。如果是，则方法700进行到框710处。如果否，则方法700进行到框735处并且方法700结束。
在一些实施例中，上述技术的某些方面可以由执行软件的处理系统中的一个或多个处理器实现。软件包括存储或以其他方式有形地体现在非暂时性计算机可读存储介质上的一个或多个可执行指令集合。软件可以包括指令和某些数据，所述指令和某些数据在由一个或多个处理器执行时，操纵一个或多个处理器以执行上述技术的一个或多个方面。非暂时性计算机可读存储介质可包括例如磁盘或光盘存储设备、固态存储设备——诸如闪存、高速缓存、随机存取存储器(RAM)或其他一个或多个非易失性存储设备等。存储在非暂时性计算机可读存储介质上的可执行指令可以处于源代码、汇编语言代码、目标代码或由一个或多个处理器解译或以其他方式能够执行的其他指令格式。
计算机可读存储介质可以包括在使用期间可由计算机系统访问以用于向计算系统提供指令和/或数据的任何存储介质或存储介质的组合。这样的存储介质可以包括但不限于光学介质(例如光盘(CD)、数字多功能光盘(DVD)、蓝光光盘)、磁介质(例如软盘、磁带或磁性硬盘驱动器)、易失性存储器(例如随机存取存储器(RAM)或高速缓冲存储器)、非易失性存储器(例如只读存储器(ROM)或闪存)或基于微机电系统(MEMS)的存储介质。计算机可读存储介质可以嵌入在计算系统(例如系统RAM或ROM)中、固定地附接到计算系统(例如磁性硬盘驱动器)、可移除地附接到计算系统(例如光盘或基于通用串行总线(USB)的闪存)或经由有线或无线网络耦合到计算机系统(例如网络可访问存储(NAS))。
注意的是，并非需要上述一般性描述中的全部活动或元素，可能不需要特定活动或设备的一部分，并且除了那些所描述的，可以执行一个或多个进一步的活动或者包括一个或多个进一步的元素。此外，活动被列出的顺序不一定是它们执行的顺序。而且，已经参考特定实施例描述了概念。然而，本领域普通的技术人员认识到的是，在不脱离如所附权利要求书中所阐述的本公开的范围的情况下，可以进行各种修改和改变。因此，说明书和附图应被视为说明性的而非限制性的意义并且全部这样的修改旨在包括在本公开的范围内。
上面已经参考特定实施例描述了益处、其他优点和问题的解决方案。然而，益处、优点、问题的解决方案以及可能导致任何益处，优点或解决方案发生或变得更加明显的任何特征不应被解释为任何或全部的权利要求的关键的、必需的或必要的特征。此外，因为所公开的主题可以以与受益于本文教导的本领域技术人员显而易见的方式的不同但等同的方式进行修改和实践，所以以上公开的特定实施例仅是说明性的。除了在下面的权利要求书中描述的之外，不意图对本文所示的结构或设计的细节进行限制。因此显而易见的是，上面公开的特定实施例可以改变或修改，并且全部这样的变化都被认为在所公开的主题的范围内。因此，本文所要求的保护如在所附权利要求书中所阐明。

Claims (18)

1.一种方法，包括：
在多个用户表露出多个表情的同时捕获所述多个用户的图像，其中，所述图像是使用在由所述多个用户穿戴的至少一个头戴式设备(HMD)中实现的至少一个眼睛追踪传感器来捕获的；以及
训练机器学习算法以基于所述图像和所述多个表情来预测指示情绪的标签。
2.根据权利要求1所述的方法，其中，训练所述机器学习算法包括：训练卷积神经网络算法。
3.根据权利要求1或权利要求2所述的方法，其中，所述多个表情对应于指示表露出所述多个表情的所述多个用户的面部变形的参数的值。
4.根据权利要求3所述的方法，其中，所述参数的所述值包括：指示所述多个用户的面部上的独立肌肉群中的肌肉收缩状态的动作单元的值。
5.根据权利要求1所述的方法，进一步包括：
基于所述多个表情的子集来针对所述用户中的每个用户形成至少一个个性化图像；以及
训练所述机器学习算法以基于所述至少一个个性化图像和所述多个表情来预测指示所述情绪的所述标签。
6.根据权利要求5所述的方法，其中，训练所述机器学习算法包括：训练所述机器学习算法以基于该用户的平均中性图像来预测指示所述情绪的所述标签，所述平均中性图像是使用所述至少一个个性化图像形成的并从所述多个图像中被减去。
7.根据权利要求1所述的方法，进一步包括：
将表示所训练的机器学习算法的信息存储在非暂时性计算机可读介质中。
8.一种方法，包括：
使用在由第一用户穿戴的头戴式设备(HMD)中实现的眼睛追踪传感器捕获所述第一用户的第一图像；以及
使用机器学习算法推断在所述第一图像中由所述第一用户表露出的表情的标签，所述机器学习算法被训练以在多个第二用户表露出多个表情的同时使用所述多个第二用户的第二图像来预测所述多个表情的标签，并且其中，所述第二图像是使用在由所述多个第二用户穿戴的至少一个HMD中实现的至少一个眼睛追踪传感器来捕获的。
9.根据权利要求8所述的方法，其中，所述机器学习算法包括卷积神经网络算法。
10.根据权利要求8或权利要求9所述的方法，其中，所述多个表情对应于指示表露出所述多个表情的所述多个第二用户的面部变形的参数的值。
11.根据权利要求10所述的方法，其中，推断由所述第一用户表露出的所述表情的所述标签包括：将从所述第一图像中取得的参数的值和指示与所述多个表情相对应的所述面部变形的参数的值进行比较。
12.根据权利要求11所述的方法，其中，推断由所述第一用户表露出的所述表情的所述标签包括：识别所述多个表情中的一个表情，所识别的一个表情对应于从所述第一图像中取得的参数的值和指示与所述多个表情中的所识别的一个表情相对应的面部变形的参数的值之间的最佳匹配。
13.根据权利要求12所述的方法，其中，所述参数的所述值包括：指示所述多个第二用户的面部上的独立肌肉群中的肌肉收缩状态的动作单元的值。
14.根据权利要求8所述的方法，进一步包括：
访问表露出所述多个表情的子集的所述第一用户的至少一个个性化图像，其中，所述至少一个个性化图像是使用在由所述第一用户穿戴的HMD中实现的眼睛追踪传感器来捕获的；
将所述至少一个个性化图像与所述第一图像组合以形成所修改的第一图像；以及
通过将所述机器学习算法应用于所修改的第一图像来推断在所述第一图像中由所述第一用户表露出的所述表情的所述标签。
15.根据权利要求14所述的方法，其中，所述机器学习算法被训练以基于所述多个表情的所述子集来预测指示所述情绪的所述标签。
16.根据权利要求15所述的方法，其中，将所述至少一个个性化图像与所述第一图像组合包括：使用所述至少一个个性化图像生成所述第一用户的平均中性图像并从所述第一图像中减去所述平均中性图像。
17.根据权利要求8所述的方法，进一步包括：
基于所述表情的所推断的标签来修改以下中的至少一个：所述第一用户的面部的三维(3-D)模型的表示或表示所述用户的化身。
18.根据权利要求8所述的方法，进一步包括：
利用所述表情的所推断的标签来执行以下中的至少一个：评估由穿戴所述HMD的所述第一用户观看的内容在引起期望的情绪响应方面的有效性、基于所述表情的所推断的标签来调整由穿戴所述HMD的所述第一用户观看的交互式内容以及生成用户行为模型以通知供穿戴所述HMD的所述第一用户观看的内容的创建。
CN201880009128.0A 2017-05-01 2018-02-09 使用眼睛追踪相机对面部表情分类 Pending CN110249337A (zh)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US201762492861P 2017-05-01 2017-05-01
US62/492,861 2017-05-01
US15/831,823 US11042729B2 (en) 2017-05-01 2017-12-05 Classifying facial expressions using eye-tracking cameras
US15/831,823 2017-12-05
PCT/US2018/017592 WO2018203951A1 (en) 2017-05-01 2018-02-09 Classifying facial expressions using eye-tracking cameras

Publications (1)

Publication Number Publication Date
CN110249337A true CN110249337A (zh) 2019-09-17

Family

ID=63917368

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201880009128.0A Pending CN110249337A (zh) 2017-05-01 2018-02-09 使用眼睛追踪相机对面部表情分类

Country Status (4)

Country Link
US (2) US11042729B2 (zh)
EP (1) EP3566174A1 (zh)
CN (1) CN110249337A (zh)
WO (1) WO2018203951A1 (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110837294A (zh) * 2019-10-14 2020-02-25 成都西山居世游科技有限公司 一种基于眼球追踪的面部表情控制方法及系统
CN111602950A (zh) * 2020-06-09 2020-09-01 京东方科技集团股份有限公司 一种化妆纸、自动化妆装置及方法
CN113855019A (zh) * 2021-08-25 2021-12-31 杭州回车电子科技有限公司 基于eog、emg以及压电信号的表情识别方法和装置
CN114173061A (zh) * 2021-12-13 2022-03-11 深圳万兴软件有限公司 一种多模态摄像控制方法、装置、计算机设备及存储介质

Families Citing this family (24)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20180124437A1 (en) * 2016-10-31 2018-05-03 Twenty Billion Neurons GmbH System and method for video data collection
GB2560340A (en) * 2017-03-07 2018-09-12 Eyn Ltd Verification method and system
US11042729B2 (en) * 2017-05-01 2021-06-22 Google Llc Classifying facial expressions using eye-tracking cameras
JP6953247B2 (ja) * 2017-09-08 2021-10-27 ラピスセミコンダクタ株式会社 ゴーグル型表示装置、視線検出方法及び視線検出システム
JP7160044B2 (ja) * 2017-10-19 2022-10-25 ソニーグループ株式会社 電子機器
TWI666941B (zh) * 2018-03-27 2019-07-21 緯創資通股份有限公司 多層次狀態偵測系統與方法
US10684681B2 (en) 2018-06-11 2020-06-16 Fotonation Limited Neural network image processing apparatus
US10635979B2 (en) * 2018-07-20 2020-04-28 Google Llc Category learning neural networks
CN110826721A (zh) * 2018-08-09 2020-02-21 松下电器（美国）知识产权公司 信息处理方法及信息处理系统
US10726584B2 (en) 2018-11-28 2020-07-28 International Business Machines Corporation Displaying a virtual eye on a wearable device
CN109840512A (zh) * 2019-02-28 2019-06-04 北京科技大学 一种面部动作单元识别方法及识别装置
CN109919124B (zh) * 2019-03-19 2021-01-29 北京邮电大学 快速构建人脸动作单元识别数据集的方法
CN109977925B (zh) * 2019-04-22 2020-11-27 北京字节跳动网络技术有限公司 表情确定方法、装置及电子设备
EP3799407B1 (en) * 2019-09-26 2022-12-28 Nokia Technologies Oy Initiating communication between first and second users
GB2588952A (en) * 2019-11-15 2021-05-19 Prevayl Ltd Method and electronics arrangement for a wearable article
US11695758B2 (en) 2020-02-24 2023-07-04 International Business Machines Corporation Second factor authentication of electronic devices
US11599612B2 (en) * 2020-02-26 2023-03-07 Mastercard International Incorporated Method, apparatus and system for authenticating a user based on eye data and/or facial data
WO2021216476A1 (en) 2020-04-20 2021-10-28 Magic Leap, Inc. Expression prediction using image-based movement metric
CN112558906A (zh) * 2020-12-11 2021-03-26 上海影创信息科技有限公司 具有成像距离的显示控制方法和系统、存储介质及其vr设备
GB2606346B (en) * 2021-04-28 2023-10-25 Sony Interactive Entertainment Inc System and method of head mounted display personalisation
US11614345B2 (en) 2021-06-16 2023-03-28 Microsoft Technology Licensing, Llc Surface sensing via resonant sensor
KR102647730B1 (ko) * 2021-07-26 2024-03-14 서울대학교병원 워핑기술을 이용한 자폐증 환자의 상호작용 훈련 시스템 및 영상 워핑 모델 학습 방법
CN114519883A (zh) * 2022-02-16 2022-05-20 复旦大学 一种弱光环境下的人脸表情捕捉方法及装置
WO2024085875A1 (en) * 2022-10-20 2024-04-25 Hewlett-Packard Development Company, L.P. Multi-tasking action unit predictions

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001043345A (ja) * 1999-07-28 2001-02-16 Mitsubishi Electric Corp 表情認識装置、およびそれを用いた投薬制御システム、覚醒レベル評価システム、回復評価システム
JP2005293539A (ja) * 2004-03-08 2005-10-20 Matsushita Electric Works Ltd 表情認識装置
CN103793718A (zh) * 2013-12-11 2014-05-14 台州学院 一种基于深度学习的人脸表情识别方法
CN104077579A (zh) * 2014-07-14 2014-10-01 上海工程技术大学 基于专家系统的人脸表情图像识别方法
CN106170083A (zh) * 2015-05-18 2016-11-30 三星电子株式会社 用于头戴式显示器设备的图像处理
US20160360970A1 (en) * 2015-06-14 2016-12-15 Facense Ltd. Wearable device for taking thermal and visual measurements from fixed relative positions
CN106255978A (zh) * 2014-04-29 2016-12-21 微软技术许可有限责任公司 面部表情跟踪
US20170091535A1 (en) * 2015-09-29 2017-03-30 BinaryVR, Inc. Head-mounted display with facial expression detecting capability
KR101728635B1 (ko) * 2016-05-31 2017-04-20 연세대학교 산학협력단 표정을 인식하기 위한 장치 및 방법

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10810797B2 (en) * 2015-05-22 2020-10-20 Otoy, Inc Augmenting AR/VR displays with image projections
US11103140B2 (en) * 2015-06-14 2021-08-31 Facense Ltd. Monitoring blood sugar level with a comfortable head-mounted device
US20170103440A1 (en) * 2015-08-01 2017-04-13 Zhou Tian Xing Wearable augmented reality eyeglass communication device including mobile phone and mobile computing via virtual touch screen gesture control and neuron command
US10088896B2 (en) * 2016-03-29 2018-10-02 Dolby Laboratories Licensing Corporation Queasiness management for virtual reality systems
CN109475294B (zh) * 2016-05-06 2022-08-19 斯坦福大学托管董事会 用于治疗精神障碍的移动和可穿戴视频捕捉和反馈平台
US20180082482A1 (en) * 2016-09-22 2018-03-22 Apple Inc. Display system having world and user sensors
US11042729B2 (en) * 2017-05-01 2021-06-22 Google Llc Classifying facial expressions using eye-tracking cameras
CN115359508A (zh) * 2021-07-21 2022-11-18 谷歌有限责任公司 通过专家的神经元优化以提高的效率执行复杂优化任务

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001043345A (ja) * 1999-07-28 2001-02-16 Mitsubishi Electric Corp 表情認識装置、およびそれを用いた投薬制御システム、覚醒レベル評価システム、回復評価システム
JP2005293539A (ja) * 2004-03-08 2005-10-20 Matsushita Electric Works Ltd 表情認識装置
CN103793718A (zh) * 2013-12-11 2014-05-14 台州学院 一种基于深度学习的人脸表情识别方法
CN106255978A (zh) * 2014-04-29 2016-12-21 微软技术许可有限责任公司 面部表情跟踪
CN104077579A (zh) * 2014-07-14 2014-10-01 上海工程技术大学 基于专家系统的人脸表情图像识别方法
CN106170083A (zh) * 2015-05-18 2016-11-30 三星电子株式会社 用于头戴式显示器设备的图像处理
US20160360970A1 (en) * 2015-06-14 2016-12-15 Facense Ltd. Wearable device for taking thermal and visual measurements from fixed relative positions
US20170091535A1 (en) * 2015-09-29 2017-03-30 BinaryVR, Inc. Head-mounted display with facial expression detecting capability
KR101728635B1 (ko) * 2016-05-31 2017-04-20 연세대학교 산학협력단 표정을 인식하기 위한 장치 및 방법

Non-Patent Citations (6)

* Cited by examiner, † Cited by third party
Title
A. KAPOOR; Y. QI; R.W. PICARD: "Fully automatic upper facial action recognition" *
J.J. BAZZO;M.V.LAMA: "Recognizing facial actions using Gabor wavelets with neutral face average difference", 《SIXTH IEEE INTERNATIONAL CONFERENCE ON AUTOMATIC FACE AND GESTURE RECOGNITION》 *
SAYAN GHOSH; EUGENE LAKSANA; STEFAN SCHERER; LOUIS-PHILIPPE MORENCY: "A multi-label convolutional neural network approach to cross-domain action unit detection" *
SEBASTIAN HOMMEL，UWE HANDMANN: "AAM based continuous facial expression recognition for face image sequences", 《2011 IEEE 12TH INTERNATIONAL SYMPOSIUM ON COMPUTATIONAL INTELLIGENCE AND INFORMATICS》 *
刘姗姗;王玲;: "基于自动分割的局部Gabor小波人脸表情识别算法" *
杨国亮;王志良;: "图像代数特征在面部表情识别中的应用" *

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110837294A (zh) * 2019-10-14 2020-02-25 成都西山居世游科技有限公司 一种基于眼球追踪的面部表情控制方法及系统
CN110837294B (zh) * 2019-10-14 2023-12-12 成都西山居世游科技有限公司 一种基于眼球追踪的面部表情控制方法及系统
CN111602950A (zh) * 2020-06-09 2020-09-01 京东方科技集团股份有限公司 一种化妆纸、自动化妆装置及方法
CN111602950B (zh) * 2020-06-09 2023-05-09 京东方科技集团股份有限公司 一种化妆纸、自动化妆装置及方法
CN113855019A (zh) * 2021-08-25 2021-12-31 杭州回车电子科技有限公司 基于eog、emg以及压电信号的表情识别方法和装置
CN113855019B (zh) * 2021-08-25 2023-12-29 杭州回车电子科技有限公司 基于eog、emg以及压电信号的表情识别方法和装置
CN114173061A (zh) * 2021-12-13 2022-03-11 深圳万兴软件有限公司 一种多模态摄像控制方法、装置、计算机设备及存储介质
CN114173061B (zh) * 2021-12-13 2023-09-29 深圳万兴软件有限公司 一种多模态摄像控制方法、装置、计算机设备及存储介质

Also Published As

Publication number Publication date
US11042729B2 (en) 2021-06-22
US20180314881A1 (en) 2018-11-01
US12053301B2 (en) 2024-08-06
EP3566174A1 (en) 2019-11-13
WO2018203951A1 (en) 2018-11-08
US20210295025A1 (en) 2021-09-23

Similar Documents

Publication Publication Date Title
CN110249337A (zh) 使用眼睛追踪相机对面部表情分类
EP3807710B1 (en) Augmented reality display with frame modulation functionality
CN109496331B (zh) 用户界面菜单的情景感知
CN112034977B (zh) Mr智能眼镜内容交互、信息输入、应用推荐技术的方法
JP4481682B2 (ja) 情報処理装置及びその制御方法
US11974619B2 (en) Smart article visual communication based on facial movement
US20220083134A1 (en) Methods for generating calibration data for head-wearable devices and eye tracking system
JP6850723B2 (ja) 顔表情識別システム、顔表情識別方法及び顔表情識別プログラム
CN109086726A (zh) 一种基于ar智能眼镜的局部图像识别方法及系统
US20150063640A1 (en) Image processing apparatus and image processing method
JP2018537174A (ja) ノンプレイヤキャラクタのインタラクション特性を生成するために用いられるインタラクティブなモーションキャプチャデータの編集
KR102233099B1 (ko) 기계학습에 기반한 가상 현실 콘텐츠의 사이버 멀미도 예측 모델 생성 및 정량화 조절 장치 및 방법
Lemley et al. Eye tracking in augmented spaces: A deep learning approach
KR20190015332A (ko) 증강 현실의 가상 객체들에 영향을 미치는 장치
US11328187B2 (en) Information processing apparatus and information processing method
Mou et al. Your fellows matter: Affect analysis across subjects in group videos
CN113452985A (zh) 装置和头戴式套件
US20220124256A1 (en) Conditional display of object characteristics
JP2008186075A (ja) インタラクティブ画像表示装置
WO2021106552A1 (ja) 情報処理装置、情報処理方法、及びプログラム
KR102647730B1 (ko) 워핑기술을 이용한 자폐증 환자의 상호작용 훈련 시스템 및 영상 워핑 모델 학습 방법
Ramírez et al. Development of a Software Prototype for Assisting People with Quadriplegia: An Approach Based on Interface Analysis and Computer Vision
Takacs et al. Sensing user needs: recognition technologies and user models for adaptive user interfaces
JP2024046864A (ja) 情報処理装置および恐怖症改善支援方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
AD01 Patent right deemed abandoned

Effective date of abandoning: 20231229

AD01 Patent right deemed abandoned