CN110621228A - 使用基于相机的感测来确定情绪 - Google Patents
使用基于相机的感测来确定情绪 Download PDFInfo
- Publication number
- CN110621228A CN110621228A CN201880028984.0A CN201880028984A CN110621228A CN 110621228 A CN110621228 A CN 110621228A CN 201880028984 A CN201880028984 A CN 201880028984A CN 110621228 A CN110621228 A CN 110621228A
- Authority
- CN
- China
- Prior art keywords
- user
- determining
- short
- term
- emotional state
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 230000008451 emotion Effects 0.000 title claims abstract description 71
- 230000002996 emotional effect Effects 0.000 claims abstract description 68
- 230000000926 neurological effect Effects 0.000 claims abstract description 21
- 230000004044 response Effects 0.000 claims abstract description 8
- 238000000034 method Methods 0.000 claims description 64
- 230000015654 memory Effects 0.000 claims description 32
- 230000001815 facial effect Effects 0.000 claims description 14
- 230000002889 sympathetic effect Effects 0.000 claims description 10
- 230000000747 cardiac effect Effects 0.000 claims description 7
- 210000004709 eyebrow Anatomy 0.000 claims description 4
- 230000000704 physical effect Effects 0.000 claims description 4
- 230000001515 vagal effect Effects 0.000 claims description 4
- 238000013179 statistical model Methods 0.000 claims 3
- 230000002791 sympathovagal effect Effects 0.000 claims 2
- 230000003287 optical effect Effects 0.000 description 48
- 210000001367 artery Anatomy 0.000 description 44
- 230000036651 mood Effects 0.000 description 34
- 239000008280 blood Substances 0.000 description 26
- 210000004369 blood Anatomy 0.000 description 26
- 238000005259 measurement Methods 0.000 description 25
- 230000037007 arousal Effects 0.000 description 23
- 230000000694 effects Effects 0.000 description 20
- 238000013500 data storage Methods 0.000 description 19
- 238000004891 communication Methods 0.000 description 17
- 238000012360 testing method Methods 0.000 description 17
- 238000004458 analytical method Methods 0.000 description 14
- 230000006870 function Effects 0.000 description 14
- 239000013598 vector Substances 0.000 description 13
- 230000029058 respiratory gaseous exchange Effects 0.000 description 12
- 210000001002 parasympathetic nervous system Anatomy 0.000 description 11
- 230000009471 action Effects 0.000 description 10
- 210000002820 sympathetic nervous system Anatomy 0.000 description 10
- 210000003403 autonomic nervous system Anatomy 0.000 description 9
- 238000004364 calculation method Methods 0.000 description 9
- 210000003491 skin Anatomy 0.000 description 9
- 238000001514 detection method Methods 0.000 description 8
- 230000008921 facial expression Effects 0.000 description 8
- 230000007423 decrease Effects 0.000 description 6
- 230000008569 process Effects 0.000 description 6
- 208000019901 Anxiety disease Diseases 0.000 description 5
- 230000036506 anxiety Effects 0.000 description 5
- 210000004556 brain Anatomy 0.000 description 5
- 239000002131 composite material Substances 0.000 description 5
- 238000011156 evaluation Methods 0.000 description 5
- 238000009532 heart rate measurement Methods 0.000 description 5
- 238000012544 monitoring process Methods 0.000 description 5
- 238000012545 processing Methods 0.000 description 5
- 238000002310 reflectometry Methods 0.000 description 5
- XUMBMVFBXHLACL-UHFFFAOYSA-N Melanin Chemical compound O=C1C(=O)C(C2=CNC3=C(C(C(=O)C4=C32)=O)C)=C2C4=CNC2=C1C XUMBMVFBXHLACL-UHFFFAOYSA-N 0.000 description 4
- 238000004422 calculation algorithm Methods 0.000 description 4
- 210000001715 carotid artery Anatomy 0.000 description 4
- 230000001413 cellular effect Effects 0.000 description 4
- 210000002615 epidermis Anatomy 0.000 description 4
- 230000036541 health Effects 0.000 description 4
- 230000033001 locomotion Effects 0.000 description 4
- 238000010801 machine learning Methods 0.000 description 4
- 230000003557 neuropsychological effect Effects 0.000 description 4
- 230000000737 periodic effect Effects 0.000 description 4
- 230000000241 respiratory effect Effects 0.000 description 4
- 238000012706 support-vector machine Methods 0.000 description 4
- 238000012549 training Methods 0.000 description 4
- 208000003443 Unconsciousness Diseases 0.000 description 3
- 238000013459 approach Methods 0.000 description 3
- 238000013528 artificial neural network Methods 0.000 description 3
- 230000036772 blood pressure Effects 0.000 description 3
- 230000008859 change Effects 0.000 description 3
- 125000004122 cyclic group Chemical group 0.000 description 3
- 230000000994 depressogenic effect Effects 0.000 description 3
- 210000004207 dermis Anatomy 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 230000014509 gene expression Effects 0.000 description 3
- 230000001734 parasympathetic effect Effects 0.000 description 3
- 230000000541 pulsatile effect Effects 0.000 description 3
- 210000002321 radial artery Anatomy 0.000 description 3
- 230000001105 regulatory effect Effects 0.000 description 3
- 201000001320 Atherosclerosis Diseases 0.000 description 2
- 208000006011 Stroke Diseases 0.000 description 2
- 238000010521 absorption reaction Methods 0.000 description 2
- 230000006399 behavior Effects 0.000 description 2
- 230000003542 behavioural effect Effects 0.000 description 2
- 230000008901 benefit Effects 0.000 description 2
- 230000017531 blood circulation Effects 0.000 description 2
- 210000000748 cardiovascular system Anatomy 0.000 description 2
- 230000003247 decreasing effect Effects 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 230000003205 diastolic effect Effects 0.000 description 2
- 230000002526 effect on cardiovascular system Effects 0.000 description 2
- 210000001508 eye Anatomy 0.000 description 2
- 206010016256 fatigue Diseases 0.000 description 2
- 238000012880 independent component analysis Methods 0.000 description 2
- 230000003993 interaction Effects 0.000 description 2
- 230000002452 interceptive effect Effects 0.000 description 2
- 230000031700 light absorption Effects 0.000 description 2
- 238000013507 mapping Methods 0.000 description 2
- 210000003205 muscle Anatomy 0.000 description 2
- 230000007935 neutral effect Effects 0.000 description 2
- 230000035515 penetration Effects 0.000 description 2
- 210000001428 peripheral nervous system Anatomy 0.000 description 2
- 210000001013 sinoatrial node Anatomy 0.000 description 2
- 239000007787 solid Substances 0.000 description 2
- 230000001360 synchronised effect Effects 0.000 description 2
- 238000013519 translation Methods 0.000 description 2
- 230000014616 translation Effects 0.000 description 2
- 230000001720 vestibular Effects 0.000 description 2
- 241000282326 Felis catus Species 0.000 description 1
- 241001364929 Havel River virus Species 0.000 description 1
- 102000001554 Hemoglobins Human genes 0.000 description 1
- 108010054147 Hemoglobins Proteins 0.000 description 1
- 241000282412 Homo Species 0.000 description 1
- 206010062519 Poor quality sleep Diseases 0.000 description 1
- 208000004301 Sinus Arrhythmia Diseases 0.000 description 1
- 230000004913 activation Effects 0.000 description 1
- 230000003044 adaptive effect Effects 0.000 description 1
- 230000036626 alertness Effects 0.000 description 1
- 230000004075 alteration Effects 0.000 description 1
- 238000003491 array Methods 0.000 description 1
- 206010003119 arrhythmia Diseases 0.000 description 1
- 230000001174 ascending effect Effects 0.000 description 1
- 230000002567 autonomic effect Effects 0.000 description 1
- 210000004204 blood vessel Anatomy 0.000 description 1
- 210000000133 brain stem Anatomy 0.000 description 1
- 239000000872 buffer Substances 0.000 description 1
- 230000005792 cardiovascular activity Effects 0.000 description 1
- 230000036996 cardiovascular health Effects 0.000 description 1
- 238000007635 classification algorithm Methods 0.000 description 1
- 230000001149 cognitive effect Effects 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 238000004590 computer program Methods 0.000 description 1
- 210000005069 ears Anatomy 0.000 description 1
- 230000010491 emotional process Effects 0.000 description 1
- 210000003128 head Anatomy 0.000 description 1
- 230000004886 head movement Effects 0.000 description 1
- 208000019622 heart disease Diseases 0.000 description 1
- 230000003284 homeostatic effect Effects 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 238000003064 k means clustering Methods 0.000 description 1
- 238000007726 management method Methods 0.000 description 1
- 239000003550 marker Substances 0.000 description 1
- 210000002793 maxillary artery Anatomy 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 238000010295 mobile communication Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 210000005036 nerve Anatomy 0.000 description 1
- 210000000653 nervous system Anatomy 0.000 description 1
- 230000001537 neural effect Effects 0.000 description 1
- 210000001331 nose Anatomy 0.000 description 1
- 210000001636 ophthalmic artery Anatomy 0.000 description 1
- 210000000192 parasympathetic ganglia Anatomy 0.000 description 1
- 210000005037 parasympathetic nerve Anatomy 0.000 description 1
- 230000001575 pathological effect Effects 0.000 description 1
- 230000001991 pathophysiological effect Effects 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 239000000049 pigment Substances 0.000 description 1
- 210000002442 prefrontal cortex Anatomy 0.000 description 1
- 230000002685 pulmonary effect Effects 0.000 description 1
- 238000007637 random forest analysis Methods 0.000 description 1
- 238000012827 research and development Methods 0.000 description 1
- 230000033764 rhythmic process Effects 0.000 description 1
- 230000000630 rising effect Effects 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 230000008054 signal transmission Effects 0.000 description 1
- 238000000638 solvent extraction Methods 0.000 description 1
- 230000006641 stabilisation Effects 0.000 description 1
- 238000011105 stabilization Methods 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 238000012916 structural analysis Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 210000000331 sympathetic ganglia Anatomy 0.000 description 1
- 230000002123 temporal effect Effects 0.000 description 1
- 230000003867 tiredness Effects 0.000 description 1
- 208000016255 tiredness Diseases 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
- 230000012043 vestibular reflex Effects 0.000 description 1
- 238000001429 visible spectrum Methods 0.000 description 1
Classifications
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
- A61B5/7225—Details of analog processing, e.g. isolation amplifier, gain or sensitivity adjustment, filtering, baseline or drift compensation
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/02—Detecting, measuring or recording pulse, heart rate, blood pressure or blood flow; Combined pulse/heart-rate/blood pressure determination; Evaluating a cardiovascular condition not otherwise provided for, e.g. using combinations of techniques provided for in this group with electrocardiography or electroauscultation; Heart catheters for measuring blood pressure
- A61B5/024—Detecting, measuring or recording pulse rate or heart rate
- A61B5/02416—Detecting, measuring or recording pulse rate or heart rate using photoplethysmograph signals, e.g. generated by infrared radiation
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/0059—Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence
- A61B5/0077—Devices for viewing the surface of the body, e.g. camera, magnifying lens
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/02—Detecting, measuring or recording pulse, heart rate, blood pressure or blood flow; Combined pulse/heart-rate/blood pressure determination; Evaluating a cardiovascular condition not otherwise provided for, e.g. using combinations of techniques provided for in this group with electrocardiography or electroauscultation; Heart catheters for measuring blood pressure
- A61B5/021—Measuring pressure in heart or blood vessels
- A61B5/02108—Measuring pressure in heart or blood vessels from analysis of pulse wave characteristics
- A61B5/02125—Measuring pressure in heart or blood vessels from analysis of pulse wave characteristics of pulse wave propagation time
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/02—Detecting, measuring or recording pulse, heart rate, blood pressure or blood flow; Combined pulse/heart-rate/blood pressure determination; Evaluating a cardiovascular condition not otherwise provided for, e.g. using combinations of techniques provided for in this group with electrocardiography or electroauscultation; Heart catheters for measuring blood pressure
- A61B5/024—Detecting, measuring or recording pulse rate or heart rate
- A61B5/02405—Determining heart rate variability
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/02—Detecting, measuring or recording pulse, heart rate, blood pressure or blood flow; Combined pulse/heart-rate/blood pressure determination; Evaluating a cardiovascular condition not otherwise provided for, e.g. using combinations of techniques provided for in this group with electrocardiography or electroauscultation; Heart catheters for measuring blood pressure
- A61B5/026—Measuring blood flow
- A61B5/0295—Measuring blood flow using plethysmography, i.e. measuring the variations in the volume of a body part as modified by the circulation of blood therethrough, e.g. impedance plethysmography
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/103—Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
- A61B5/11—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb
- A61B5/1116—Determining posture transitions
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/16—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state
- A61B5/165—Evaluating the state of mind, e.g. depression, anxiety
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/24—Detecting, measuring or recording bioelectric or biomagnetic signals of the body or parts thereof
- A61B5/316—Modalities, i.e. specific diagnostic methods
- A61B5/318—Heart-related electrical modalities, e.g. electrocardiography [ECG]
- A61B5/346—Analysis of electrocardiograms
- A61B5/349—Detecting specific parameters of the electrocardiograph cycle
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/48—Other medical applications
- A61B5/4887—Locating particular structures in or on the body
- A61B5/489—Blood vessels
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/168—Feature extraction; Face representation
- G06V40/171—Local features and components; Facial parts ; Occluding parts, e.g. glasses; Geometrical relationships
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/172—Classification, e.g. identification
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/174—Facial expression recognition
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/174—Facial expression recognition
- G06V40/176—Dynamic expression
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B2562/00—Details of sensors; Constructional details of sensor housings or probes; Accessories for sensors
- A61B2562/04—Arrangements of multiple sensors of the same type
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/02—Detecting, measuring or recording pulse, heart rate, blood pressure or blood flow; Combined pulse/heart-rate/blood pressure determination; Evaluating a cardiovascular condition not otherwise provided for, e.g. using combinations of techniques provided for in this group with electrocardiography or electroauscultation; Heart catheters for measuring blood pressure
- A61B5/02007—Evaluating blood vessel condition, e.g. elasticity, compliance
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/02—Detecting, measuring or recording pulse, heart rate, blood pressure or blood flow; Combined pulse/heart-rate/blood pressure determination; Evaluating a cardiovascular condition not otherwise provided for, e.g. using combinations of techniques provided for in this group with electrocardiography or electroauscultation; Heart catheters for measuring blood pressure
- A61B5/0205—Simultaneously evaluating both cardiovascular conditions and different types of body conditions, e.g. heart and respiratory condition
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/02—Detecting, measuring or recording pulse, heart rate, blood pressure or blood flow; Combined pulse/heart-rate/blood pressure determination; Evaluating a cardiovascular condition not otherwise provided for, e.g. using combinations of techniques provided for in this group with electrocardiography or electroauscultation; Heart catheters for measuring blood pressure
- A61B5/021—Measuring pressure in heart or blood vessels
- A61B5/02108—Measuring pressure in heart or blood vessels from analysis of pulse wave characteristics
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/02—Detecting, measuring or recording pulse, heart rate, blood pressure or blood flow; Combined pulse/heart-rate/blood pressure determination; Evaluating a cardiovascular condition not otherwise provided for, e.g. using combinations of techniques provided for in this group with electrocardiography or electroauscultation; Heart catheters for measuring blood pressure
- A61B5/026—Measuring blood flow
- A61B5/0285—Measuring or recording phase velocity of blood waves
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
- A61B5/7203—Signal processing specially adapted for physiological signals or for diagnostic purposes for noise prevention, reduction or removal
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
- A61B5/7221—Determining signal validity, reliability or quality
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
- A61B5/7235—Details of waveform analysis
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
- A61B5/7235—Details of waveform analysis
- A61B5/7242—Details of waveform analysis using integration
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
- A61B5/7235—Details of waveform analysis
- A61B5/7253—Details of waveform analysis characterised by using transforms
- A61B5/7257—Details of waveform analysis characterised by using transforms using Fourier transforms
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
- A61B5/7235—Details of waveform analysis
- A61B5/7264—Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems
- A61B5/7267—Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems involving training the classification device
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
- A61B5/7271—Specific aspects of physiological measurement analysis
- A61B5/7278—Artificial waveform generation or derivation, e.g. synthesising signals from measured signals
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30196—Human being; Person
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/15—Biometric patterns based on physiological signals, e.g. heartbeat, blood flow
Abstract
在一个实施例中,一种体现软件的计算机可读的非暂时性存储介质,所述软件在被执行时可操作以用于实时地:通过单个传感器捕获用户的多个图像;基于多个图像确定用户在一段时间期间的一个或多个短期心脏学信号;基于心脏学信号估计用户的第一短期情绪状态;基于多个图像确定用户在该段时间期间的一个或多个短期神经学信号;基于神经学信号估计用户的第二短期情绪状态;将第一估计情绪状态与第二估计情绪状态进行比较;以及响应于确定第一估计情绪状态对应于第二估计情绪状态,确定用户在该段时间期间的短期情绪。
Description
技术领域
本公开总体上涉及对个体的生理特征的电子检测和评估。
背景技术
在行为、生物学和社会科学中,可以看出对评估人类情绪和/或生理特征(诸如心血管健康)的兴趣日益浓厚。例如,在不考虑人类情绪的情况下,从个体认知处理到社会和集体行为的许多现象可能无法很好地理解。最近,人们对情感计算产生了兴趣,情感计算是对可以识别、解释、处理和模拟人类情感的计算系统或设备的研究和开发。特别地,用户的情绪可以用作由计算设备或系统进行后续操作的输入。另外,确定生理特征对于检测或预测用户的健康是有用的。
发明内容
附图说明
图1示出了示例网络环境。
图2示出了用户的面部和颈部上的示例光学测量区域。
图3示出了心脏学度量的示例计算。
图4示出了用于计算用户的心脏学度量的示例方法。
图5示出了用于针对用户执行心率测量的示例方法。
图6A示出了基线数据直方图的示例。
图6B示出了测试数据直方图的示例,其中交感神经迷走神经平衡向左移动。
图6C示出了测试数据直方图的示例,其中交感神经迷走神经平衡向右移动。
图7示出了情绪的环状模型的示例图。
图8示出了用于情绪评估的示例方法。
图9示出了根据本发明的特定实施例的示例计算机系统。
具体实施方式
图1示出了示例网络环境100。网络环境100包括一个或多个光学相机110、客户端系统120、网络130、一个或多个服务器140以及一个或多个数据存储装置150。光学相机110、客户端系统120、服务器140和数据存储装置150可以通过网络130经由链路160彼此连接。在特定实施例中,光学相机110可以与客户端系统120集成。虽然图1示出了光学相机110、客户端系统120、网络130、服务器140和数据存储装置150的特定布置,但是本公开预期用户110、客户端系统120、网络130、服务器140和数据存储装置150的任何合适的布置。
网络环境100包括可以连接到客户端系统120的一个或多个光学相机110。在特定实施例中,光学相机110被配置为测量来自人体的一个或多个系统的数据。作为示例而非通过限制的方式,光学相机110可以被配置为监测人体的心脏活动,如下所述。作为另一个示例,光学相机110可以被配置为监测人体的神经学和神经解剖学活动,如下所述。
在特定的实施例中,光学相机110可以直接地或经由网络130连接到客户端系统120,这可以促进光学相机110和客户端系统120之间的交互和/或数据传输。数据(例如,心率、情绪状态等)可以存储在客户端系统120、数据存储装置150、其他合适的数据库或其任何组合上。另外,对(如下所讨论的)特定算法的数据和计算的处理可以由客户端系统120、服务器140、其他合适的设备/系统或其任何组合来执行。在特定实施例中,可以通过经由网络130从数据存储装置150访问用户数据、参照系/基线数据、医学数据、其他相关数据或其任何组合来执行对特定算法的数据和计算的处理。
作为示例而非通过限制的方式,客户端系统120、服务器140、数据存储装置150或其任何合适的组合中的两项或更多项可以绕过网络130直接彼此连接(例如,以太网或局域网(LAN)连接)。作为另一示例,客户端系统120、服务器140和数据存储装置150中的两个或更多个可以在物理上或逻辑上全部或部分地彼此共处一地。在特定实施例中,客户端系统120可以是任何合适的计算设备,例如,移动计算设备、智能手机、蜂窝电话、平板计算机、膝上型计算机、个人计算机或其任何组合。另外,这些设备可以经由网络130,直接地(例如,通过非网络连接),通过任何其他合适的方法,或其任何组合来彼此通信。作为示例而非通过限制的方式,客户端系统120可以经由诸如Wi-Fi或蓝牙之类的无线通信协议与网络130通信。在特定实施例中,网络130可以是任何合适的网络。作为示例而非通过限制的方式,网络130的一个或多个部分可以包括ad hoc网络、内联网、外联网、虚拟专用网络(VPN)、局域网(LAN)、无线LAN(WLAN)、广域网(WAN)、无线WAN(WWAN)、城域网(MAN)、互联网的一部分、公共交换电话网(PSTN)的一部分、蜂窝电话网络或这些网络中的两种或更多种的组合。网络130可以包括一种或多种网络。
在特定实施例中,链路160可以将客户端系统120、服务器140和数据存储装置150连接到网络130或将其彼此连接。本公开预期任何合适的链路160。在特定实施例中,一个或多个链路160包括一个或多个有线链路(例如,数字用户线(DSL)或有线数据业务接口规范(DOCSIS))、无线链路(例如,Wi-Fi或全球微波接入互操作性(WiMAX))或光学链路(例如,同步光学网络(SONET)或同步数字体系(SDH))。在特定实施例中,一个或多个链路160均包括ad hoc网络、内联网、外联网、VPN、LAN、WLAN、WAN、WWAN、MAN、互联网的一部分、PSTN的一部分、基于蜂窝技术的网络、基于卫星通信技术的网络、另一链路160或两个或更多个这样的链路160的组合。在整个网络环境100中,链路160不必相同,使得一个或多个第一链路160可以在一个或多个方面上不同于一个或多个第二链路160。
在特定实施例中,服务器140可以是任何合适的服务器。每个服务器140可以是单体服务器或跨越多个计算机或多个数据中心的分布式服务器。服务器140可以是各种类型的,例如但不限于:web服务器、文件服务器、应用服务器、交换服务器、数据库服务器、代理服务器、适合于执行本文中所述功能或过程的另一服务器或其任何组合。在特定实施例中,每个服务器140可以包括硬件、软件或嵌入式逻辑组件或两个或更多个这样的组件的组合,用于执行由服务器140实现或支持的适当功能。
在特定实施例中,数据存储装置150可以是任何合适的数据存储装置。数据存储装置150可以用于存储各种类型的信息。在特定实施例中,可以根据特定数据结构来组织存储在数据存储装置150中的信息。在特定实施例中,每个数据存储装置150可以是关系数据库、柱状数据库、相关数据库或其他合适的数据库。数据存储装置150可以包括网络存储,诸如云存储或其他网络可访问的存储。另外或备选地,数据存储装置150可以包括在客户端系统120的任何设备内或直接附接到客户端系统120的任何设备的本地存储,诸如固态驱动器(SSD)或硬盘驱动器(HDD)。
在特定实施例中,数据存储装置150可以存储与光学检测设备以及对由光学检测设备采集的数据的处理有关的各种数据结构。作为示例而非通过限制的方式,数据存储装置150可以存储与神经心脏学测量值(例如,心率(HR)、心率变异性(HRV)、从心率(HR)或心率变异性(HRV)导出的数据(例如,交感神经迷走神经平衡(SVB))、神经学数据或神经解剖学数据(例如,偏侧性、姿势、手势或脉络)相对应的数据结构。作为另一示例而非通过限制的方式,数据存储装置150可以存储与基于情绪评估的特征评估过程确定的特征数据和特征向量相对应的数据结构。尽管本公开描述或示出了网络环境100的特定类型的组件和这些组件的用途,但是本公开预期网络环境100的任何合适类型的组件、任何合适的网络拓扑(例如,包括独立设备拓扑)以及这些组件的任何合适的用途。
下文描述的特定实施例描述了通过由光学相机110收集的数据来监测和测量神经系统和心血管系统的病理生理相互作用。可以在用于个性化健康评估的移动监测的背景下测量神经心脏学度量。在移动监测中,光学相机110的使用可以促进实时移动健康评估。在特定实施例中,神经心脏学度量可以是各种心脏疾病或状况的指标。此处,对实时的引用是指在约5秒或更短时间内执行的测量。
对人类情绪的自动评估在行为、生物学和社会应用等方面是有用的。以下讨论的特定实施例描述了在个性化娱乐体验中使用移动监测的背景下对人类情绪的评估。在移动监测中,光学相机110的使用可以促进对人类情绪的实时评估。在特定实施例中,通过测量自主神经系统(ANS)的活动/觉醒(arousal)来评估人类情绪,其中觉醒的变化是各种情绪的指标。
图2示出了用户的面部和颈部上的示例光学测量区域。在特定实施例中,光学相机可以使用光电容积描记图(PPG)在特定的感兴趣区域(ROI)处测量每个脉博的血容量(BVP)。PPG照射用户的皮肤,并基于光吸收的变化确定潜在的心血管活动。作为示例而非通过限制的方式,PPG可以通过照射皮肤(例如,用环境光或从光学相机的发光二极管(LED))并使用光学相机的图像传感器测量在特定频率下反射光的量来测量由压力脉冲引起的血容量的变化。PPG信号与ROI中的血容量成比例。
在特定实施例中,PPG测量可以集中在用户的面部上执行,面部相对容易跟踪并且具有多个独特特征(例如,眼睛、嘴巴或鼻子)。通过使用人体上已知的动脉布局,血容量和硬度分析可以集中在主要但浅表(靠近表面)的动脉上。使用具有特定波长(例如,对应于红色、绿色和蓝色)的光可以进入浅表动脉,并且可以使用光学相机捕获在这些较大的血管中由脉动血调制的测量信号。在特定实施例中,可以在设置相机时预先选择动脉。捕获面部202的特定区域的图像。如图2的示例中所示,用户的面部202的图像可以由边界框204A-204D划分,每个边界框对应于特定的ROI。ROI可以对应于面部202的一个或多个动脉。在特定实施例中,可以从由边界框204A-204D限定的光学相机的图像中提取数据。
通过沿对应于特定浅表动脉的已知方向定位一个或多个边界框204A-204D,计算系统可以根据脉动血的波动来确定血容量脉冲。可以基于信号质量(例如,信号强度)来创建位于面部的不同位置处的多个动脉的图,使得即使当人移动时,仍然可以定位至少一个动脉。作为示例而非通过限制的方式,边界框204A-204D中的一个或多个可以对应于角动脉、上颌动脉、眼动脉或面部动脉中的一个或多个。可以使用预定的人动脉布局信息来定位浅表动脉。在特定实施例中,可以在特定用户的基线测量期间精细化浅表动脉在该特定用户的面部上的位置。例如,包含光学相机110的设备(诸如智能电话)可以请求用户进行基线测试,其中当用户正在注视光学相机110时,光学相机110分析并检测用户面部的浅表动脉。在特定实施例中,可以基于与每个浅表动脉的BVP相关联的信噪比(SNR)来选择一个或多个浅表动脉。作为示例而非通过限制的方式,与在ROI处测量的其余信号相比,可以通过确定主导电磁频率中的能量及其二次谐波来计算与BVP相关联的SNR。一旦针对给定用户映射了动脉,则在调整了面部位置或照明伪像之后,可以选择具有最高SNR的动脉。
图3示出了心脏学度量的示例计算。血压(BP)基于在给定时刻流经人体的血液量而不同。在特定实施例中,可以使用血容量脉冲方法在动脉位置处计算心率或RR间隔。如上所述,一旦动脉被定位,就可以通过分析沿着所选动脉的长度的血流的信号传输模型来确定HR。在特定实施例中,可以使用与动脉相关联的血容量和硬度来计算心脏学度量。可以基于计算PPG信号的曲线下面积(AUC)来确定血容量。基于相机的脉搏波传导时间(PWTT)测量可以检测血容量的变化,其可以用于相关动脉的结构分析。PWTT是对脉搏波在循环系统中的两点之间行进所花费的时间量的测量。作为示例而非通过限制的方式,可以基于PWTT确定与动脉相关联的硬度。在图3的示例中,可以基于从血液沿着动脉的长度L流动的初始时间T1到最终时间T2的时间差来计算PWTT和脉搏波速度,如以下等式(1)和(2)所示。
PWTT=T2-T1 (1)
脉搏波速度=L/(T2-T1) (2)
图4示出了用于计算用户的心脏学度量的示例方法。如下所述,可以通过将脑波活动和心脏活动的特征与特定情绪相关联来评估用户的心脏学度量。示例方法400可以被部署在具有合适的通信、处理、感测设施或其任何组合的一个或多个电子设备上,诸如移动电话、平板计算机、移动设备、固定位置计算设备和/或网络或云部署系统。作为示例而非通过限制的方式,处理器或电路系统可以体现该方法(例如,一个或多个计算机处理器可以通信地耦接到存储指令的数据存储设备,该指令可由该一个或多个计算机处理器执行以执行用于心脏学度量评估的示例方法400的操作)。
方法400开始于步骤410,其中与计算系统相关联的光学相机实时地捕获用户的图像。在特定实施例中,光学相机附接到计算系统或与计算系统集成。在步骤420,识别与用户的一个或多个浅表动脉相对应的一个或多个感兴趣区域。在特定实施例中,浅表动脉的识别基于从捕获的图像获得的光电容积描记图(PPG)数据的SNR。在步骤430,计算系统可以基于PPG数据测量血容量脉冲(BVP)信号。在步骤440,基于所测量的BVP信号,计算系统可以计算用户的一个或多个心脏学度量。
在适当的情况下,特定实施例可以重复图4的方法400的一个或多个步骤。尽管本公开将图4的方法的特定步骤描述并示出为以特定顺序发生,但是本公开涵盖图4的方法的任何适当步骤以任何合适的顺序发生。此外,尽管本公开描述并示出了用于计算用户的心脏学度量的包括图4的方法的特定步骤在内的示例方法,但是本公开涵盖用于计算用户的心脏学度量的包括任何合适步骤的任何合适的方法,在适当的情况下,该任何合适的方法可以包括图4的方法的全部步骤、一些步骤或不包括这些步骤。此外,尽管本公开描述并示出了执行图4的方法的特定步骤的特定组件、设备或系统,但是本公开涵盖实施图4的方法的任何适当步骤的任何合适的组件、设备或系统的任何适当组合。
在特定实施例中,可以使用远程PPG(rPPG)来测量与呼吸相关联的度量,以对位于鼻子上或鼻子附近的多个动脉执行同时分析。在呼吸期间,副交感神经系统通过呼气而被激活。通过测量经由鼻动脉的血液的移动,可以通过测量血容量变化以及流过相应动脉的血液的周期性运动来确定包括吸气时间和呼气时间在内的多个呼吸度量。可以使用复合BVP信号来计算用户的呼吸率。在特定实施例中,复合BVP信号是基于BVP变化跨多个浅表鼻动脉的同时测量的信号。呼吸机制可以引起周期性的头部运动,进而调制来自鼻动脉的信号(例如,通过反射)。在特定实施例中,可以使用跨非鼻动脉的BVP变化的测量来补偿周期性头部运动对所得复合BVP信号的影响。作为示例而非通过限制的方式,可以使用额头动脉来精细化复合BVP信号。额头动脉不具有可以调制来自面部的光反射的情绪表情。尽管本公开示出并描述了使用特定类型的传感器来测量特定的心脏学和呼吸度量,但是本公开涵盖使用任何合适类型的传感器来测量心脏学和呼吸度量。
如上所述,可以基于PPG波形的生理上合理或可分析的子段来计算一个或多个心脏测量值。在特定实施例中,生理上合理或可分析的子段可以被定义为满足阈值SNR的子段。PPG波形的特征(例如,峰值、零交叉或谷值)可以用于查找一个或多个可分析的段,以提取或计算心脏学和呼吸度量。在特定实施例中,取决于捕获的基本过程是使用反射的色度信号还是肺血容量(PBV)信号,可以通过分析PPG信号相对于基线信号的信噪比(SNR)并且然后计算测试信号相对于主导信号及其谐波的噪声商来获得可分析的段。在其他实施例中,信号分量可以从理论模型或从数据库和预期频率分量获得。如下所述,可以计算PPG信号分布以指导病理情况。作为示例而非通过限制的方式,在心律不齐的人中,即使完全没有噪音,基线信号也可能错误地看起来是高度损坏的信号。
从来自相机的图像中提取的PPG波形是可以分段成用于查找HR的可分析子段的时间序列。在特定实施例中,一个或多个预定义的生理信号特征可以用于识别PPG波形的可分析子段。在特定实施例中,可以将BVP和脉冲定时与呼吸分布的预期行为进行比较。有效段应当对应于由测量的BVP预期的特征,例如定时、幅度、形态或呼吸窦性心律不齐(RSA)之间的一致性。可以通过分析PPG波形的呼吸变化并识别具有不一致或不合理的RR间隔(其中“RR”是指心跳之间的时间)或幅度的PPG波形来提取有效的心脏脉冲。生理上合理的脉冲可能符合从BVP测量所预期的特征。作为示例而非通过限制的方式,在呼气期间,BVP逐渐增加,同时RR间隔也逐渐增加,而在吸气期间情况相反。这些信号之间的共现性或高协方差可以指示给定波形的生理合理性。
作为另一示例,PPG波形的可分析子段可以对应于与信号的快速傅立叶变换(FFT)中的主导频率一致的RR间隔。在特定实施例中,可以使用短时间序列段上的频率变换的上下文分析来精细化整个时间序列,以去除导致生理上不合理的HR计算的脉冲。此外,可分析时间段的脉冲起点一定不能发生在生理上不合理的点处。
此外,BVP的分布应与预定义的血液脉搏一致,其中上升部分(收缩部分)小于舒张部分(脉搏的衰减部分)。对于可分析的段,在两个信号之间不存在脉动活动的情况下,血液脉搏的90%宽度应近似等于RR间隔。如上所述,使用预定义的信号特征来识别PPG信号的与生理上合理的预定呼吸分布一致的可分析子段。作为示例而非通过限制的方式,可以分析PPG波形以确定在呼气期间R波对R波(RR)间隔逐渐增加的同时所测量的脉量测量值是否逐渐增大。相反,在吸气期间,可分析子段的脉量测量值应逐渐减小,同时RR间隔逐渐减小。另外,可以通过确定信号的对应收缩部分是否小于相同信号的对应舒张部分来确认PPG信号的可分析子段。
如上所述,从由相机捕获的数据提取的PPG波形包括红色、绿色和蓝色通道分量。与可见光谱的不同颜色(例如,红色、绿色或黄色)相对应的不同波长的可见光根据其波长穿透皮肤到不同的深度。在特定实施例中,可以分析PPG波形以基于预定标准确定与红色、绿色或蓝色通道中的任何一个相关联的信号是否是生理上不合理的。作为示例而非通过限制的方式,一种此类标准基于从用户的面部反射的信号的DC功率。反射信号的功率与皮肤吸收的光的量成反比。可以认为人类皮肤具有两层:表皮和真皮。表皮包含黑色素,黑色素优先吸收较低波长(蓝色)的光,以保护人免受紫外线伤害。因此,入射蓝光的大部分不会穿过表皮并进入真皮。因此,可见光的蓝色分量具有最低的穿透深度,但是大多数光不被反射,而是被表皮吸收。此外,如果蓝光穿透到真皮,则该蓝色分量与血红蛋白(和其他皮肤色素)相互作用,并经受额外的吸收,从而进一步减少了反射量。因此,可见光的蓝色分量具有最低的反射率,使得来自蓝色通道的信号具有整体信号的最低总功率。
红色分量是在皮肤的所有层反射的仅有分量,这导致红色分量具有最高的穿透深度和总功率。在特定实施例中,如果蓝色分量的总功率高于红色或绿色分量的总功率,则PPG段可以作为不可靠或不合理的而被丢弃。DC蓝色反射率应小于DC反射率绿色分量,绿色分量小于红色分量的DC反射率。因此,在PPG波形的可分析段中,红色分量的总功率应大于绿色分量的总功率,绿色分量的总功率应大于蓝色分量的总功率。在特定实施例中,如果一PPG段不符合该模式,则该PPG段可以作为不可靠的而被丢弃。应该注意的是,在入射光是“白色”(大致等量的每种颜色分量(例如,红色、绿色和蓝色)入射到用户的皮肤表面)的假设下,这些标准是严格有效的。例如,如果狭窄的蓝色光源入射到人的皮肤表面,则上述标准可能无效。在特定实施例中,可以在执行基线测量时,使用光学相机来测试“白色”光源的这种假设。
另一示例标准基于信号的AC分量。信号的AC分量是由血液流过(例如,自用户的心跳)ROI时的反射率变化引起的。在特定实施例中,如上所述,可以基于预定义的信号特征来验证来自相机的捕获信号。血液是面部的主要生色团并引起比黑色素更强的衰减,且导致与红色分量相比绿色分量的更大吸收。该效果导致绿色通道的脉动(即AC)功率为这3个分量中最大的。作为示例而非通过限制的方式,如果绿色分量的脉动功率低于红色或蓝色通道分量的脉动功率,则可以将段视为不可靠的而丢弃。所捕获信号的AC分量和DC分量两者的变化可能是由环境照明的变化引起的。可以补偿由环境照明引起的这些变化(例如,如上所述,通过测量额头动脉),或者可以将对应的段标记为无效。
验证PPG波形的段的另一示例标准是基于信号的协方差。在特定实施例中,可以基于红色、绿色和蓝色通道分量对于特定信号是否是协变的来验证来自相机的捕获信号,使得三个通道分量中的脉冲是时间对准的。如上所述,每个颜色通道主要由血液的流动和光吸收来调制。来自三个通道的分量不具有高协方差的信号段可能被拒绝,并且不被用于计算相关的心脏学或呼吸度量。
在特定实施例中,可以在段的离散傅立叶变换(DFT)功率上拒绝PPG波形的段。作为示例而非通过限制的方式,DFT峰值应与RR或RR-δ(delta)一致。在特定实施例中,当将RR值与DFT峰值进行比较时,可以考虑时间段的SNR。作为示例而非通过限制的方式,特定实施例检查窄带频率分量与本底噪声(noise floor)之间的适当高的SNR。如果SNR为低,则丢弃当前窗口(即,正在分析的PPG样本)。基于对时间窗内的值的观察,可以丢弃或校正段。在特定实施例中,可以基于规范化的以平均值为中心的RGB通道之间的窗口化协方差的最大可接受中值的阈值来拒绝时间段。
如上所述,PPG波形的可分析段可以用于计算用户的平均HR或HR范围。在第一步中,可以使用协方差分析来识别可分析的段。在特定实施例中,该步可以在初始化时段期间发生。第二步涉及使用从相机收集的图像对感兴趣动脉的后续跟踪,如上所述。在第三步中,可以在HR计算中去除或忽略高值脉冲(例如,具有尖锐边缘/不连续性)。在第四步中,可以使用血容量脉冲或对数空间的像素商来执行信号变换。在第五步中,可以使用信号特征(例如,峰值、谷值、零交叉、信号分布、SNR等)来计算RR。在第六步中,如上所述,可以基于信号R、G、B通道中从相机所捕获的图像获得的总信号功率和总脉动功率,来识别生理上合理的信号或可分析的段。如上所述,可以使用呼吸、血容量(信号幅度)和时序变化分析来识别生理上合理的或可分析的段。在下一步中,可以使用频率分析去除不合理的脉冲。可以通过将时间序列的SNR与基线信号分布进行比较来识别时间序列中的噪声段。在特定实施例中,使用近端脉冲基于时域分析来确定RR,然后将该RR用于计算平均HR或HR范围。在特定实施例中,可以使用时间序列的独立分量分析(ICA)来执行以上分析,其中时间序列以预定数量的帧的周期性增量而递增,直到独立分量的互信息(MI)接近0为止。可以通过计算最大独立分量的FFT来计算HR。
图5示出了用于针对用户执行心率测量的示例方法。方法500开始于步骤510,其中与计算系统相关联的光学相机实时地捕获用户的图像。在特定实施例中,光学相机附接到计算系统或与计算系统集成。在步骤520,计算系统可以基于多个图像确定用户的时间序列信号。在特定实施例中,该信号包括生理上合理的一个或多个段和生理上不合理的一个或多个段。在步骤530,计算系统可以基于一个或多个预定义的信号特征来识别一个或多个生理上合理的子段。在特定实施例中,该识别可以包括计算时间序列的SNR,并将该SNR与阈值SNR进行比较。可以识别所计算的SNR高于阈值SNR的信号的子段。在步骤540,计算系统可以基于生理上合理的子段来计算一个或多个心率测量值。
在适当的情况下,特定实施例可以重复图5的方法500的一个或多个步骤。尽管本公开将图5的方法的特定步骤描述并示出为以特定顺序发生,但是本公开涵盖图5的方法的任何适当步骤以任何合适的顺序发生。此外,尽管本公开描述并示出了用于针对用户执行心率测量的包括图5的方法的特定步骤在内的示例方法,但是本公开涵盖用于针对用户执行心率测量的包括任何合适步骤的任何合适的方法,在适当的情况下,该任何合适的方法可以包括图5的方法的全部步骤、一些步骤或不包括这些步骤。此外,尽管本公开描述并示出了执行图5的方法的特定步骤的特定组件、设备或系统,但是本公开涵盖实施图5的方法的任何适当步骤的任何合适的组件、设备或系统的任何适当组合。
心血管系统由ANS调节,ANS包括交感神经系统(SNS)和副交感神经系统(PSNS)。将交感神经迷走神经平衡(SVB)定义为SNS与PSNS之间的平衡点。心脏的节律由窦房结(SA)节点控制,窦房结节点由自主神经系统的交感神经和副交感神经二者的分支调节。心脏通过副交感神经节和交感神经节以及脊柱的侧灰柱接收其神经输入。交感神经活动倾向于增加心率,而副交感神经活动倾向于降低心率。在特定实施例中,基于SVB的情绪评估可以确定稳态平衡,其中交感神经流出和PSNS(例如,迷走神经)流出处于稳定的平衡。因此,可以通过分析SNS和PSNS之间(例如,副交感神经流出和交感神经流出之间)的相对主导和平衡来确定SVB。这种方法本质上是线性的,这使得其对噪声(例如,本质上倾向于非线性)非常稳定。
图6A示出了基线数据直方图的示例。如图6A的示例所示,基线数据直方图600的x轴对应于心率波动(例如,连续心跳之间的RR-δ或RR间隔差),并且基线数据直方图600的y轴对应于特定心率波动针对基线数据集发生的频率或次数。基线SVB一侧的测量数据集的一部分用于确定心脏活动数据的第一部分内的多个ANS活动标记。计算HRV特征,该HRV特征是涉及心脏活动数据的第一部分内的ANS活动标记的数量和第二部分内的ANS活性标记的数量的比率。SVB由基线数据直方图600的50∶50分布的点来定义,使得基线数据集的50%的数据点在SVB的左侧,并且基线数据集的50%的数据点在SVB的右侧。HRV数据用于确定SVB的变化。HRV描述了连续心跳之间的变化。使用基线数据直方图600,SVB对应于代表“正常”(例如,没有压力)状态的HRV区域。所描述的SVB分析以相等的权重对待SNS和PSNS(例如,因为两者都可能对分析ANS觉醒有用),并使用RR-δ。
在特定实施例中,为了确定SVB,将压力或觉醒定义为在测试数据t的RR-δ直方图Ht中SNS的主导增加,并且直方图上的数据点对应于测试数据集中一段相邻RR间隔之间的差。在特定实施例中,计算相对映射到SNS的事件数量与相对映射到PSNS的事件数量的比率。HRV的测量可以基于时域分析或频域分析,这两者都有很多缺点。例如,频域分析方法(例如,基于FFT的那些方法)不适用于移动平台上的实施方式,因为它们对噪声伪像极为敏感,并且需要相当长的测量时段。时域方法(例如,连续心跳间隔差的均方根(RMSSD)、NN(心跳与心跳)间隔的标准差(SDNN)以及相差大于50毫秒的连继NN对的数量除以NN总数的比例(pNN50))通常用于分析瞬时心率信号。给定用户的基线SVB和RR-δ直方图Ht,可以将SVB计算为所有RR-δ的中值、所有RR-δ的平均值、通过Ht计算的RMSSD的50%、通过Ht计算的SDNN的50%、其他相关值或其任意组合。
图6B示出了其中SVB向左移动的测试数据直方图610的示例,并且图6C示出了其中SVB向右移动的测试数据直方图620的示例。如图6B的示例所示,类似于图6A,测试数据直方图610的x轴对应于心率波动(例如,RR-δ),并且测试数据直方图610的y轴对应于针对测试数据集的心率波动的次数。在特定实施例中,基于基线SVB值(例如,用户特定的基线SVB值)选择测量数据集的第一和第二部分,其中该基线SVB值将测量数据集的直方图表示划分为第一和第二部分。当针对测试数据集的心率波动平均地导致平衡从直方图A1(例如,对应于基线数据)朝向左方向移动到直方图A2时,或换句话说,(例如,基于基线数据所确定的)SVB左侧的直方图A2的心率波动的测量数量大于SVB右侧的直方图A2的心率波动的测量数量,则确定用户的状态对应于代表“高觉醒”状态的HRV区域。以另一种方式解释,如图6B所示,在给定总面积A的情况下,当直方图向左移动时,确定A2相对于A的面积(例如,A2曲线下方的面积)小于A1相对于A的面积(例如,A1曲线下方的面积),并且确定用户的状态对应于代表“高觉醒”状态或SVB增加的HRV区域。
在另一方面,如图6C所示,类似于图6A,测试数据直方图620的x轴对应于心率波动(例如,RR-δ),并且测试数据直方图620的y轴对应于针对测试数据集的心率波动的次数。当针对测试数据集的心率波动平均地导致平衡从直方图A1(例如,对应于基线数据)朝向右方向移动到直方图A2时,或换句话说,(例如,基于基线数据所确定的)SVB右侧的直方图A2的心率波动的测量数量大于SVB左侧的直方图A2的心率波动的测量数量,则确定用户的状态对应于代表“低觉醒”状态的HRV区域。以另一种方式解释,如图6C的示例所示,在给定总面积A的情况下,当直方图向右移动时,确定A2相对于A的面积(例如,A2曲线下方的面积)大于A1相对于A的面积(例如,A1曲线下方的面积),并且确定用户的状态对应于代表“低觉醒”状态的HRV区域。
特定实施例取决于基于上下文适当的SVB的概念划分RR-δ直方图Ht。作为示例而非通过限制的方式,如果上下文是负责记录时段中的可变性的所有循环分量,则可以通过SDNN模型来评估SVB的比率。
图7示出了情绪的环状模型的示例图。情绪的环状模型700将人的情绪映射到包含觉醒和价态维度的二维圆形空间702中。觉醒水平映射到圆形空间702的竖直轴,并且价态映射到圆形空间702的水平轴。在环状模型700中,价态对应于情绪的类型(例如,正或负),而觉醒对应于情绪的强度。圆形空间702的中心表示中性价态和觉醒水平。在该模型中,情绪状态可以以价态和觉醒的任何水平、或者以这些因素中的一个或两个的中性水平来表示。另外,圆形空间702可以被划分为四个象限I-IV,每个象限对应于具有类似水平的觉醒和价态的情绪状态分组。作为示例而非通过限制的方式,象限I的情绪对应于正价态和高觉醒情绪状态。在示出的实施例中,象限I的情绪状态包括警觉、兴奋、兴高采烈和快乐。按照价态增加的顺序,象限I的这些情绪状态为警觉、兴奋、兴高采烈和快乐。按照觉醒增加的顺序,象限I的这些情绪状态为快乐、兴高采烈、兴奋和警觉。
象限II的情绪对应于负价态和高觉醒情绪状态。在示出的实施例中,象限II的情绪状态包括紧张、焦虑、有压力和沮丧。按照价态增加的顺序,象限II的这些情绪状态为沮丧、有压力、焦虑和紧张。按照觉醒增加的顺序,象限II的这些情绪状态为沮丧、有压力、焦虑和紧张。
象限III的情绪对应于负价态和低觉醒情绪状态。在示出的实施例中,象限III的情绪状态包括悲伤、郁闷、没精打采和疲劳。按照价态增加的顺序,象限III的这些情绪状态可以列为悲伤、郁闷、没精打采和疲劳。按照觉醒增加的顺序,象限III的这些情绪状态为疲劳、没精打采、郁闷和悲伤。
象限IV的情绪对应于正价态和低觉醒情绪状态。在示出的实施例中,象限IV的情绪状态包括平静、放松、安宁和满足。按照价态增加的顺序,象限IV的这些情绪状态为平静、放松、安宁和满足。按照觉醒增加的顺序,象限IV的这些情绪状态为平静、放松、安宁和满足。将意识到,在替代示例实施例中,可以包括附加的情绪,或者可以省略或重命名图7中的一个或多个情绪。
正面情绪可能只持续10到15秒,因此必须在相对短的时间段内执行正面情绪的检测。在特定实施例中,以心脏学为中心以确定用户情绪的分析可以基于通过组合线性模型和非线性模型的短期情绪预测模型。如下所述,可以至少部分地基于心脏学数据(例如,心率或SVB)并结合通过光学相机(例如,光学相机110)测量的神经解剖学或前庭体反射数据(例如,姿势、手势或偏侧性)来计算或确定用户的情绪估计。在特定实施例中,心脏学信号的同时一致性和前庭体反射数据可以用于检测用户的情绪,其中可以使用线性和非线性方法的复合模型来确定心脏学测量,如上所述。作为示例而非通过限制的方式,可以使用用于基于用户的交感神经迷走神经平衡(SVB)检测情绪的线性模型来测量心脏学数据。作为另一示例,可以使用HR动态的非线性模型来测量心脏学数据,其中该非线性模型基于在大约12秒内会聚的心率动态。在特定实施例中,该非线性模型基于可以针对用户个性化的概率点过程非线性模型。这种方法在给定过去事件的情况下对下一心跳的概率函数进行建模。在特定实施例中,该概率函数可以被完全参数化并且考虑到立方自回归Wiener-Volterra关系以对它的一阶矩(first order moment)建模。也就是说,这些表示可以被认为是输入信号与系统的脉冲响应以及包含输入信号与自身的递增阶积的一系列非线性项的卷积。
在特定实施例中,可以通过分析使用面部动作编码系统(FACS)方法测量的神经学信号来测量以神经学为中心的数据。FACS方法通过解释面部表情背后的肌肉活动来工作,这是通过将不同的面部移动编码为动作单元(AU)来实现的。这些动作单元是基于潜在的肌肉活动,该肌肉活动产生面部表情的给定的并且通常是瞬时的变化。然后通过识别在特定表情背后的动作单元或动作单元的组合来辨识表情。FACS使用的一些关键参数包括从使用相机捕获的图像中提取的眼眉、嘴唇宽度、嘴巴、牙齿可见性、下巴线、鼻唇线、鼻线和/或基于脸颊的微笑线印记。FACS基于给定用户面部表情背后的30个以上的各个动作单元。在特定实施例中,可以采用机器学习(ML)模型(例如,神经网络、隐马尔可夫模型(HMM)或SVM(支持向量机))来训练从由相机捕获的用户图像中提取的动作单元的解释。由于性别不同地表现情绪,因此可以针对性别对调整后的ML模型进行调整。
可以使用光学相机捕获神经解剖学或前庭体反射(例如,姿势、手势或偏侧性)数据。在特定实施例中,可以分析由光学相机捕获的图像以确定用户的偏侧性或姿势的变化。作为示例而非通过限制的方式,计算系统可以基于偏侧性来确定用户正经历正面情绪还是负面情绪,因为负面情绪可在面部左侧更显著地显示,而正面情绪可在面部右侧更显著地显示。作为另一个示例,计算系统可以基于身体姿势来确定用户正经历正面情绪还是负面情绪,因为不良的身体姿势可与负面情绪相关联,而良好的身体姿势可与正面情绪相关联。
如果SVB线性模型和心率动态非线性模型两者的结果被同时感测到并与特定情绪一致,则心脏学信号可以是短期正面情绪的决定因素。超过6秒的情感激发允许前额皮质对刺激信息进行编码,并将其从脑干传输到中央自主神经网络(CAN)的其他区域。因此,正面情绪应具有至少6秒加上要检测的至少一个额外呼吸周期或更多呼吸周期的持续时间。本文的实施例使得能够检测在某处持续约10秒-15秒的情绪过程。在特定实施例中,可以使用与用户相关联的当前上下文信息(包括用户的环境、用户参与的活动、和/或至少部分地基于以神经学为中心的数据检测到的用户的身体性质(例如,用户姿势),如上所述)来进一步验证对用户正经历短期正面情绪的实时确定(例如,在大约15秒内)。
在特定实施例中,计算系统可以包括情绪评估模块。在本文中,对模块的引用可以指被配置为执行离散功能的独立计算机代码或可执行代码。此外,模块可以是被配置为执行离散功能的专用电子电路。可以分析RBG通道的协方差。在特定实施例中,计算系统通过分析以预定时间间隔(例如,每30秒)测量的HRV的直方图来计算基于HRV的SVB,如图6A-6C的示例所示。如上所述,SVB被定义为SNS与PSNS之间的平衡点,因此,精确SVB计算所需的时间取决于SNS和PSNS测量的稳定时间。作为示例而非通过限制的方式,PSNS测量可能花费约2秒至3秒进行稳定,而SNS测量可能花费约25秒。具有较大直方条(bin)(或较长测量时间)的直方图补偿系统的延迟,而较小直方条(或较小测量时间)可能导致不准确的SVB计算。在示例实施例中,SVB和HR不是二元的,而是对SVB和HR激活的强度进行量化。因此,所计算的强度可以用于增加可估计的情绪状态的分辨率和数量。
在大脑可以通过较高阶的大脑中枢处理情绪之前可能需要特定长度的时间。例如,该时间段可以是6秒或更长。在用户的典型呼吸周期是每次呼吸大约4秒的事实下(这导致HR和HRV以及SVB中基于RSA的变化),示例实施例可以使用预定的时间窗口(例如,10秒)来确认来自心脏学数据(例如,来自PPG波形)和相机捕获的以神经学为中心的数据的信号的协变趋势。
分类是输出与给定输入的相关性(例如,情绪与以神经学为中心的心脏学数据)。例如,特定特征向量(例如,特征的有序列表)可以与用户的特定情绪相关。可以使用预测器函数来执行分类,其中使用包括输入向量和标记数据的答案向量的“训练”数据集来构建该预测器函数。机器学习分类器算法可以将输入向量与一个或多个权重结合(例如,通过点积),以构建预测器函数,以使输入向量最适配答案向量。作为示例而非通过限制的方式,分类算法可以包括支持向量机(SVM)、朴素贝叶斯、自适应增强(AdaBoost)、随机森林、梯度增强、K均值聚类、带有噪声的应用的基于密度的空间聚类(DBSCAN)或神经网络算法。
在特定实施例中,在离线训练期间,可以从使用相机捕获的多个用户的神经学(例如,基于FACS)和心脏学(例如,HR和SVB)数据以及用户在数据正被测量时的对应情绪来获得训练数据。作为示例而非通过限制的方式,输入向量可以是所提取的神经心脏学特征的向量,并且答案向量可以是用户报告的对应情绪(例如,高兴)。作为示例而非通过限制的方式,用于情绪评估的训练数据可以是在观看内容(例如,体育比赛、电视节目或电影)时捕获的用户的图像。在特定实施例中,机器学习分类器的输出向量可以是环状模型700的一个或多个象限或情绪,并且输出向量可以与标记数据(例如,用户提供的情绪)的答案向量进行比较,以“训练”机器学习分类器的预测器函数。
面部表情反映了大脑对PNS(周围神经系统)的影响,并且HR/HRV反映了心脏的状态。在特定实施例中,情绪评估模块可以从由相机捕获的用户的图像接收心脏学和神经学数据。在特定实施例中,情绪评估模块可以被配置为基于在显著的时间段(例如,约5秒或更长时间)上心脏学和神经学数据的协方差来确定用户的情绪。在特定实施例中,情绪评估模块可以基于心脏学数据执行用户在一段时间期间的情绪状态的估计。与心脏学和神经学数据的预定阈值相对应的时刻可以用于启动用户的情绪评估。作为示例而非通过限制的方式,可以捕获与阈值(例如,HRV上升到60以上和特定的面部表情)相对应的时刻并将其与特定的情绪(例如,兴高采烈或兴奋)相关联。情绪评估模块可以包括情绪状态比较模块。在特定实施例中,情绪评估模块可以基于确定情绪的环状模型700的与心脏学和神经学数据相对应的特定象限来识别情绪。作为示例而非通过限制的方式,情绪评估模块可以计算出:SVB和HR两者基本上同时增加对应于环状模型700的象限I(右上象限),SVB减小并且HR增加对应于象限II(左上象限),SVB和HR都减小对应于象限III(左下象限),以及SVB增加并且HR减小对应于象限IV(右下象限)。
在特定实施例中,可以使用神经学数据来精细化所确定的用户情绪(例如,基于姿势和活动情境的精细化)。作为示例而非通过限制的方式,减小的SVB和增加的HR以及伴随的面部表情可对应于愤怒。作为示例而非通过限制的方式,减小的SVB和增加的HR以及伴随的面部表情可对应于焦虑。在特定实施例中,情绪评估模块基于由神经解剖学数据(例如,由相机捕获的姿势或手势)确定的用户的情绪来精细化在环状模型700的特定象限内的用户的情绪。
如上所述,SVB的减小和HR的增加指示环状模型700的象限II中的情绪(例如,沮丧、压力、焦虑或紧张)。在特定实施例中,通过对面部的左侧显示的情绪或不良姿势的伴随检测的检测来精细化对愤怒的分析。作为示例而非通过限制的方式,情绪状态比较模块可以基于确定SVB和HR均增加、对应的面部表情、以及同时检测到用户具有良好的姿势或在面部右侧上显示的情绪而估计出用户正感到兴高采烈。如上所述,做出这些确定所需的所有信号可以由诸如光学相机110的光学信号传感器来捕获。如本文所使用的,SVB和HR水平的增加和减少是相对于基线值的。在特定实施例中,如果神经学和心脏学数据(就SVB或HR或两者而言)的相干性趋势保持超过预定的时间量(例如,10秒),则计算系统可以输出估计的情绪状态。
图8示出了用于情绪评估的示例方法。如下所述,可以通过将脑波活动和心脏活动的特征与特定情绪相关来评估用户的情绪。在特定实施例中,方法800可以由情绪评估系统执行。方法800开始于步骤810,其中单个传感器实时地捕获用户的图像。在步骤820,计算系统基于所捕获的图像实时地确定用户在一段时间期间的一个或多个短期心脏学信号。在特定实施例中,在步骤830,计算系统可以基于心脏学信号实时地估计用户的第一短期情绪状态。在特定实施例中,第一短期情绪状态的估计是基于根据从捕获的图像提取的PPG波形计算出的SVB和HR。在特定实施例中,对短时间的引用对应于大约15秒的时间段。在步骤840,计算系统可以基于所捕获的图像实时地确定用户在该段时间期间的一个或多个短期神经学信号。在步骤850,计算系统基于神经学信号实时地估计用户的第二短期情绪状态。在特定实施例中,第二短期情绪状态是基于上述使用FACS的动作单元的分类。在步骤860,计算系统可以将第一估计情绪状态与第二估计情绪状态进行比较。在步骤870,响应于确定第一估计情绪状态对应于第二估计情绪状态,基于第一估计情绪状态和第二估计情绪状态来确定用户在该段时间期间的短期情绪。
在适当的情况下,特定实施例可以重复图8的方法800的一个或多个步骤。尽管本公开将图8的方法的特定步骤描述并示出为以特定顺序发生,但是本公开涵盖图8的方法的任何适当步骤以任何合适的顺序发生。此外,尽管本公开描述并示出了用于评估用户的情绪的包括图8的方法的特定步骤在内的示例方法,但是本公开涵盖用于评估用户的情绪的包括任何合适步骤的任何合适的方法,在适当的情况下,该任何合适的方法可以包括图8的方法的全部步骤、一些步骤或不包括这些步骤。此外,尽管本公开描述并示出了执行图8的方法的特定步骤的特定组件、设备或系统,但是本公开涵盖实施图8的方法的任何适当步骤的任何合适的组件、设备或系统的任何适当组合。
在特定实施例中,本文描述的实施例可以用于评估用户的心脏风险。例如,确定颈动脉或桡动脉中的动脉粥样硬化可能对确定中风风险非常重要。在特定实施例中,可以使用血容量脉冲(BVP)和/或PWTT来计算血压的替代标记。作为示例而非通过限制的方式,确定跨颈动脉的PWTT和血容量变化使得能够测量用户的动脉粥样硬化的程度,因为动脉硬度由ANS通过PWTT调节。此外,可以基于跨颈动脉或桡动脉测量的PWTT以及与用户的基线相比在颈动脉或桡动脉中的BVP变化来计算中风风险。类似地,可以通过在用户在早晨时段的时间醒来的时间段期间连续测量跨一个或多个浅表动脉的PWTT和/或一个或多个浅表动脉中的BVP变化来识别心血管(CV)危险。
在特定实施例中,动脉映射可以用于认证用户。如上所述,可以使用由光学相机捕获的面部图像基于沿着用户面部的ROI的SNR来映射面部动脉。特别地,角动脉和滑车上动脉相对容易映射。该面部-动脉映射对于每个用户是独特的,并且可以用作面部签名,该面部签名可以用作区分不同用户的基础。可以使用关键动脉相对于面部界标(例如,眼睛、鼻子、耳朵或动脉)的布局来执行认证。作为示例而非通过限制的方式,可以使用光学相机来捕获该面部签名,并且将其存储在计算系统中。可以通过在认证时映射用户的关键动脉并将其与存储的面部签名进行比较来认证用户。例如,用户可以被认证到设备,诸如包含光学相机的智能电话或ATM。
情绪的准确检测可能非常适用于许多领域,例如虚拟现实(VR)、游戏、娱乐、目标广告、智能家居、健康或教育。客户端系统120可以是具有一个或多个光学相机的计算机或智能TV,该光学相机被配置为测量用户的神经心脏学和神经解剖学数据。在特定实施例中,可以基于评估的用户情绪来调整针对用户显示的内容或与内容相关联的设置。作为示例而非通过限制的方式,通过客户端系统向用户提供内容的服务器可以基于根据由光学相机捕获的数据的用户情绪以交互方式提供视频流。例如,服务器可以提供视频流,同时光学相机可以评估用户的情绪。服务器可以动态地提供内容以唤起特定的情绪。作为示例而非通过限制的方式,服务器可以选择视频流的唤起用户的放松感的一个或多个帧(例如,玩毛线的猫),并发送所选的帧以在客户端设备上显示。作为另一示例,如果确定用户是有压力的、生气或恐惧的,则客户端系统可以暂停内容。尽管本公开将服务器或客户端系统描述为执行特定动作,但是本公开涵盖客户端或服务器设备可以基于对用户情绪的评估来确定要采取的适当动作。
作为另一示例,服务器可以发送与视频游戏的场景相对应的视频流,以在客户端系统(例如,计算机或智能TV)上显示。服务器可以通过捕获用户的面部图像来评估玩游戏期间用户的情绪,并基于用户的情绪来调整游戏的难度等级。例如,如果用户在玩游戏期间表现出挫败,则服务器可以发送具有较低难度等级的游戏内容。相反,服务器可以基于检测到无趣而发送与较高难度等级相对应的游戏内容。作为另一示例,教育系统可以基于先前使用户在学习时经历正面情绪的内容来确定哪个内容最吸引用户,并且可以定制附加教育内容。
在特定实施例中,服务器可以在消费特定内容的同时,基于评估的用户情绪向用户发送针对附加内容的一个或多个推荐。作为示例而非通过限制的方式,响应于基于在玩特定游戏时由光学相机捕获的面部图像而确定用户正在经历高兴或兴奋,服务器可以发送针对类似类型的游戏(例如,第一人称射击游戏或社交游戏)的推荐。作为另一示例,响应于确定用户在观看特定电影或电视节目时正在经历抑郁或疲劳,服务器可以发送针对不同类型的电影或电视节目(例如,动作或体育)的推荐。
图9示出了根据本发明一些实施例的示例计算机系统900。在特定实施例中,一个或多个计算机系统900执行本文所描述或示出的一个或多个方法的一个或多个步骤。在特定实施例中,一个或多个计算机系统900提供本文所描述或示出的功能。在特定实施例中,在一个或多个计算机系统900上运行的软件执行本文所描述或示出的一个或多个方法的一个或多个步骤,或者提供本文所描述或示出的功能。特定实施例包括一个或多个计算机系统900的一个或多个部分。在本文中,在适当的情况下,对计算机系统的引用可以包含计算设备,反之亦然。此外,在适当的情况下,对计算机系统的引用可以包含一个或多个计算机系统。
本公开涵盖任何合适数量的计算机系统900。本公开涵盖采用任何合适的物理形式的计算机系统900。作为示例而非通过限制的方式,计算机系统900可以是:嵌入式计算机系统、片上系统(SOC)、单板式计算机系统(SBC)(例如,模块上计算机(COM)或模块上系统(SOM))、台式计算机系统、膝上型或笔记本计算机系统、交互式信息亭、大型机、计算机系统网、移动电话、个人数字助理(PDA)、服务器、平板计算机系统或这些项中的两个或更多个的组合。在适当的情况下,计算机系统900可以包括一个或多个计算机系统900;是单一的或分布式的;跨越多个位置;跨越多台机器;跨越多个数据中心;或者驻留在云中,该云可以包括一个或多个网络中的一个或多个云组件。在适当的情况下,一个或多个计算机系统900可以在没有实质的空间或时间限制的情况下执行本文所描述或示出的一个或多个方法的一个或多个步骤。作为示例而非通过限制的方式,一个或多个计算机系统900可以实时地或以批处理模式来执行本文所描述或示出的一个或多个方法的一个或多个步骤。在适当的情况下,一个或多个计算机系统900可以在不同时间或在不同位置处执行本文所描述或示出的一个或多个方法的一个或多个步骤。
在特定实施例中,计算机系统900包括处理器902、存储器904、存储装置906、输入/输出(I/O)接口908、通信接口910和总线912。尽管本公开描述并示出了处于特定布置的具有特定数量的特定组件的特定计算机系统,但是本公开涵盖处于任何合适布置的具有任何合适数量的任何合适组件的任何合适的计算机系统。
在特定实施例中,处理器902包括用于执行指令(例如,构成计算机程序的指令)的硬件。作为示例而非通过限制的方式,为了执行指令,处理器902可以从内部寄存器、内部高速缓存、存储器904或存储装置906中检索(或获取)指令;解码并执行指令;并且然后将一个或多个结果写入内部寄存器、内部高速缓存、存储器904或存储装置906。在特定实施例中,处理器902可以包括用于数据、指令或地址的一个或多个内部高速缓存。在适当的情况下,本公开涵盖包括任何合适数量的任何合适的内部高速缓存的处理器902。作为示例而非通过限制的方式,处理器902可以包括一个或多个指令高速缓存、一个或多个数据高速缓存、以及一个或多个转换查找缓冲器(TLB)。指令高速缓存中的指令可以是存储器904或存储装置906中的指令的副本,并且指令高速缓存可以加速处理器902对那些指令的检索。数据高速缓存中的数据可以是:存储器904或存储装置906中的数据的副本,其中在处理器902处执行的指令对所述数据进行操作;在处理器902处执行的先前指令的结果,其中所述结果由在处理器902处执行的后续指令进行访问或用于写入存储器904或存储装置906;或其他合适的数据。数据高速缓存可以加速处理器902的读或写操作。TLB可以加速处理器902的虚拟地址转换。在特定实施例中,处理器902可以包括用于数据、指令或地址的一个或多个内部寄存器。在适当的情况下,本公开涵盖包括任何合适数量的任何合适的内部寄存器的处理器902。在适当的情况下,处理器902可以包括一个或多个算术逻辑单元(ALU);是多核处理器;或包括一个或多个处理器902。尽管本公开描述并示出了特定处理器,但本公开涵盖任何合适的处理器。
在特定实施例中,存储器904包括主存储器,用于存储供处理器902执行的指令或供处理器902操作的数据。作为示例而非通过限制的方式,计算机系统900可以将指令从存储装置906或另一个源(例如,另一计算机系统900)加载到存储器904。然后,处理器902可以将指令从存储器904加载到内部寄存器或内部高速缓存。为了执行指令,处理器902可以从内部寄存器或内部高速缓存检索指令并对指令进行解码。在执行指令期间或之后,处理器902可以将一个或多个结果(可以是中间结果或最终结果)写入内部寄存器或内部高速缓存。然后,处理器902可以将那些结果中的一个或多个写入存储器904。在特定实施例中,处理器902仅执行一个或多个内部寄存器或内部高速缓存中或存储器904(与存储装置906或其他地方相对)中的指令,并且仅对一个或多个内部寄存器或内部高速缓存中或存储器904(与存储装置906或其他地方相对)中的数据进行操作。一个或多个存储器总线(每个可以包括地址总线和数据总线)可以将处理器902耦接到存储器904。总线912可以包括一个或多个存储器总线,如下所述。在特定实施例中,一个或多个存储器管理单元(MMU)驻留在处理器902与存储器904之间,并且便于访问处理器902所请求的存储器904。在特定实施例中,存储器904包括随机存取存储器(RAM)。该RAM可以是易失性存储器,在适当的情况下,该RAM可以是动态RAM(DRAM)或静态RAM(SRAM)。此外,在适当的情况下,该RAM可以是单端口或多端口的RAM。本公开涵盖任何合适的RAM。在适当的情况下,存储器904可以包括一个或多个存储器904。尽管本公开描述并示出了特定存储器,但是本公开涵盖任何合适的存储器。
在特定实施例中,存储装置906包括用于数据或指令的大容量存储装置。作为示例而非通过限制的方式,存储装置906可以包括:硬盘驱动器(HDD)、软盘驱动器、闪速存储器、光盘、磁光盘、磁带或通用串行总线(USB)驱动器或这些项中的两个或更多个的组合。在适当的情况下,存储装置906可以包括可移除或不可移除(或固定)的媒介。在适当的情况下,存储装置906可以在计算机系统900的内部或外部。在特定实施例中,存储装置906是非易失性的固态存储器。在特定实施例中,存储装置906包括只读存储器(ROM)。在适当的情况下,该ROM可以是:掩模编程ROM、可编程ROM(PROM)、可擦除PROM(EPROM)、电可擦除PROM(EEPROM)、电可变ROM(EAROM)或闪速存储器或这些项中的两个或更多个的组合。本公开涵盖采用任何合适的物理形式的大容量存储装置906。在适当的情况下,存储装置906可以包括便于处理器902与存储装置906之间的通信的一个或多个存储控制单元。在适当的情况下,存储装置906可以包括一个或多个存储装置906。尽管本公开描述并示出了特定的存储装置,但是本公开涵盖任何合适的存储装置。
在特定实施例中,I/O接口908包括提供用于计算机系统900与一个或多个I/O设备之间的通信的一个或多个接口的硬件、软件或两者。在适当的情况下,计算机系统900可以包括这些I/O设备中的一个或多个。这些I/O设备中的一个或多个可以实现人与计算机系统900之间的通信。作为示例而非通过限制的方式,I/O设备可以包括:键盘、键区、麦克风、监视器、鼠标、打印机、扫描仪、扬声器、静态相机、触控笔、平板计算机、触摸屏、轨迹球、摄像机、另一合适的I/O设备或这些项中的两个或更多个的组合。I/O设备可以包括一个或多个传感器。本公开涵盖任何合适的I/O设备和用于它们的任何合适的I/O接口908。在适当的情况下,I/O接口908可以包括使得处理器902能够驱动这些I/O设备中的一个或多个的一个或多个设备或软件驱动器。在适当的情况下,I/O接口908可以包括一个或多个I/O接口908。尽管本公开描述并示出了特定的I/O接口,但是本公开涵盖任何合适的I/O接口。
在特定实施例中,通信接口910包括提供用于计算机系统900与一个或多个其他计算机系统900或一个或多个网络之间的通信(例如,基于分组的通信)的一个或多个接口的硬件、软件或两者。作为示例而非通过限制的方式,通信接口910可以包括:用于与以太网或其他基于有线的网络进行通信的网络接口控制器(NIC)或网络适配器,或用于与无线网络(例如,WI-FI网络)进行通信的无线NIC(WNIC)或无线适配器。本公开涵盖任何合适的网络和用于该网络的任何合适的通信接口910。作为示例而非通过限制的方式,计算机系统900可以与ad hoc网络、个域网(PAN)、局域网(LAN)、广域网(WAN)、城域网(MAN)或互联网的一个或多个部分或这些网络中的两个或更多个的组合进行通信。这些网络中的一个或多个网络的一个或多个部分可以是有线的或无线的。作为示例,计算机系统900可以与以下网络进行通信:无线PAN(WPAN)(例如,蓝牙WPAN)、WI-FI网络、WI-MAX网络、蜂窝电话网络(例如,全球移动通信系统(GSM)网络)或其他合适的无线网络或这些网络中的两个或更多个的组合。在适当的情况下,计算机系统900可以包括用于这些网络中的任何网络的任何合适的通信接口910。在适当的情况下,通信接口910可以包括一个或多个通信接口910。尽管本公开描述并示出了特定的通信接口,但是本公开涵盖任何合适的通信接口。
在特定实施例中,总线912包括将计算机系统900的组件彼此耦接的硬件、软件或两者。作为示例而非通过限制的方式,总线912可以包括:加速图形端口(AGP)或其他图形总线、增强型行业标准架构(EISA)总线、前端总线(FSB)、超传输(HT)互连、行业标准架构(ISA)总线、无限带宽(INFINIBAND)互连、低引脚数(LPC)总线、存储器总线、微通道架构(MCA)总线、外围组件互连(PCI)总线、PCI-Express(PCIe)总线、串行高级技术附件(SATA)总线、视频电子标准协会本地(VLB)总线或其他合适的总线或这些项中的两个或更多个的组合。在适当的情况下,总线912可以包括一条或多条总线912。尽管本公开描述并示出了特定的总线,但是本公开涵盖任何合适的总线或互连。
在本文中,在适当的情况下,计算机可读的非暂时性存储介质或媒介可以包括一个或多个基于半导体的或其他集成电路(IC)(例如,现场可编程门阵列(FPGA)或专用IC(ASIC))、硬盘驱动器(HDD)、混合硬盘驱动器(HHD)、光盘、光盘驱动器(ODD)、磁光盘、磁光驱动器、软盘、软盘驱动器(FDD)、磁带、固态驱动器(SSD)、RAM驱动器、SECURE DIGITAL卡或驱动器、任何其他合适的计算机可读非暂时性存储介质或这些项中的两个或更多个的任何合适的组合。在适当的情况下,计算机可读非暂时性存储介质可以是易失性的、非易失性的或者是易失性和非易失性的组合。
在本文中,除非另有明确说明或通过上下文另有说明,否则“或”是包含性的而非排他性的。因此,除非另有明确说明或通过上下文另有说明,否则在本文中,“A或B”意味着“A、B或两者”。此外,除非另有明确说明或通过上下文另有说明,否则“和”既是共同的也是个别的。因此,除非另有明确说明或通过上下文另有说明,否则本文中,“A和B”意味着“A和B共同地或分别地”。
本领域普通技术人员将理解的是,本公开的范围包括对本文描述或示出的示例实施例的所有改变、替换、变化、变型和修改。本公开的范围不限于本文描述或示出的示例实施例。此外,本领域普通技术人员将理解的是,尽管本公开将本文中的各个实施例描述并示出为包括特定组件、元件、特征、功能、操作或步骤,但是这些实施例中的任何实施例可以包括本文中任何地方所描述或示出的任何组件、元件、特征、功能、操作或步骤的任何组合或置换。此外,在所附权利要求中提及装置或系统或装置或系统的组件适用于、被布置为、能够、被配置为、使得能够、可操作用于或操作用于执行特定功能包括该装置、系统、组件,无论其或特定功能是否被激活、接通或解锁,只要该装置、系统或组件适用于、被布置为、能够、被配置为、使得能够、可操作用于或操作用于如此即可。另外,尽管本公开描述或示出了提供特定优点的特定实施例,但是特定实施例可以不提供这些优点,提供这些优点的部分或全部。
Claims (20)
1.一种或多种体现软件的计算机可读的非暂时性存储介质,所述软件在被执行时操作为实时地进行以下操作:
通过单个传感器捕获用户的多个图像;
基于所述多个图像,确定用户在一段时间期间的一个或多个短期心脏学信号;
基于所述心脏学信号,估计用户的第一短期情绪状态;
基于所述多个图像,确定用户在所述一段时间期间的一个或多个短期神经学信号;
基于所述神经学信号,估计用户的第二短期情绪状态;
将第一估计情绪状态与第二估计情绪状态进行比较;以及
响应于确定第一估计情绪状态对应于第二估计情绪状态,基于第一估计情绪状态和第二估计情绪状态确定用户在所述一段时间期间的短期情绪。
2.根据权利要求1所述的介质,其中,所述软件还操作用于:
检测所述多个图像中用户的面部;
基于从所述多个图像获得的光电容积描记图PPG数据,确定用户的一个或多个所述短期心脏学信号;
基于从所述多个图像获得的面部动作编码系统FACS数据,确定用户的一个或多个所述短期神经学信号;
基于所述多个图像确定用户的一个或多个神经解剖学信号;以及
基于所述神经解剖学信号和所述短期情绪之间的一致性,确认用户的所述短期情绪。
3.根据权利要求2所述的介质,其中,所述FACS数据是基于检测到的用户的眼眉、嘴唇宽度、嘴巴、牙齿可见性、下巴线、鼻唇线、鼻线或基于脸颊的微笑线印记的特征。
4.根据权利要求2所述的介质,其中,一个或多个所述神经解剖学信号是检测到的用户的身体性质。
5.根据权利要求1所述的介质,其中,所述软件还操作用于:使用基于用户的交感神经迷走神经平衡SVB的线性模型来确定一个或多个所述心脏学信号。
6.根据权利要求5所述的介质,其中,所述软件还操作用于:
使用基于心率动态的非线性统计模型来确定一个或多个所述心脏学信号;以及
基于同时感测到所述SVB和心率动态,并基于确定所述SVB和心率动态与正面情绪一致,确定所述短期情绪对应于正面情绪。
7.根据权利要求1所述的介质,其中,所述心脏学信号和所述神经学信号的确定是同时执行的。
8.一种方法,包括实时地进行以下操作:
通过单个传感器捕获用户的多个图像;
基于所述多个图像,确定用户在一段时间期间的一个或多个短期心脏学信号;
基于所述心脏学信号,估计用户的第一短期情绪状态;
基于所述多个图像,确定用户在所述一段时间期间的一个或多个短期神经学信号;
基于所述神经学信号,估计用户的第二短期情绪状态;
将第一估计情绪状态与第二估计情绪状态进行比较;以及
响应于确定第一估计情绪状态对应于第二估计情绪状态,基于第一估计情绪状态和第二估计情绪状态确定用户在所述一段时间期间的短期情绪。
9.根据权利要求8所述的方法,还包括:
检测所述多个图像中用户的面部;
基于从所述多个图像获得的光电容积描记图PPG数据,确定用户的一个或多个所述短期心脏学信号;
基于从所述多个图像获得的面部动作编码系统FACS数据,确定用户的一个或多个所述短期神经学信号;
基于所述多个图像确定用户的一个或多个神经解剖学信号;以及
基于所述神经解剖学信号和所述短期情绪之间的一致性,确认用户的所述短期情绪。
10.根据权利要求9所述的方法,其中,所述FACS数据是基于检测到的用户的眼眉、嘴唇宽度、嘴巴、牙齿可见性、下巴线、鼻唇线、鼻线或基于脸颊的微笑线印记的特征。
11.根据权利要求9所述的方法,其中,一个或多个所述神经解剖学信号是检测到的用户的身体性质。
12.根据权利要求8所述的方法,其中,确定一个或多个所述心脏学信号包括:使用基于用户的交感神经迷走神经平衡SVB的线性模型。
13.根据权利要求12所述的方法,还包括:
使用基于心率动态的非线性统计模型来确定一个或多个所述心脏学信号;以及
基于同时感测到所述SVB和心率动态,并基于确定所述SVB和心率动态与正面情绪一致,确定所述短期情绪对应于正面情绪。
14.根据权利要求8所述的方法,还包括:同时执行所述心脏学信号和所述神经学信号的确定。
15.一种系统,包括:
一个或多个处理器;以及
耦接到所述处理器的非暂时性存储器,所述非暂时性存储器包括可由所述处理器执行的指令,当执行所述指令时,所述处理器操作为实时地进行以下操作:
通过单个传感器捕获用户的多个图像;
基于所述多个图像,确定用户在一段时间期间的一个或多个短期心脏学信号;
基于所述心脏学信号,估计用户的第一短期情绪状态;
基于所述多个图像,确定用户在所述一段时间期间的一个或多个短期神经学信号;
基于所述神经学信号,估计用户的第二短期情绪状态;
将第一估计情绪状态与第二估计情绪状态进行比较;以及
响应于确定第一估计情绪状态对应于第二估计情绪状态,基于第一估计情绪状态和第二估计情绪状态确定用户在所述一段时间期间的短期情绪。
16.根据权利要求15所述的系统,其中,所述处理器还操作用于:
检测所述多个图像中用户的面部;
基于从所述多个图像获得的光电容积描记图PPG数据,确定用户的一个或多个所述短期心脏学信号;
基于从所述多个图像获得的面部动作编码系统FACS数据,确定用户的一个或多个所述短期神经学信号;
基于所述多个图像确定用户的一个或多个神经解剖学信号;以及
基于所述神经解剖学信号和所述短期情绪之间的一致性,确认用户的所述短期情绪。
17.根据权利要求16所述的系统,其中,所述FACS数据是基于检测到的用户的眼眉、嘴唇宽度、嘴巴、牙齿可见性、下巴线、鼻唇线、鼻线或基于脸颊的微笑线印记的特征。
18.根据权利要求16所述的系统,其中,一个或多个所述神经解剖学信号是检测到的用户的身体性质。
19.根据权利要求15所述的系统,其中,所述处理器还操作用于:使用基于用户的交感神经迷走神经平衡SVB的线性模型来确定一个或多个所述心脏学信号。
20.根据权利要求15所述的系统,其中,所述处理器还操作用于:
使用基于心率动态的非线性统计模型来确定一个或多个所述心脏学信号;以及
基于同时感测到所述SVB和心率动态,并基于确定所述SVB和心率动态与正面情绪一致,确定所述短期情绪对应于正面情绪。
Applications Claiming Priority (9)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US201762492838P | 2017-05-01 | 2017-05-01 | |
US62/492,838 | 2017-05-01 | ||
US201762500277P | 2017-05-02 | 2017-05-02 | |
US62/500,277 | 2017-05-02 | ||
US201762510579P | 2017-05-24 | 2017-05-24 | |
US62/510,579 | 2017-05-24 | ||
US15/951,068 | 2018-04-11 | ||
US15/951,068 US10874309B2 (en) | 2017-05-01 | 2018-04-11 | Determining emotions using camera-based sensing |
PCT/KR2018/005060 WO2018203646A1 (en) | 2017-05-01 | 2018-05-02 | Determining emotions using camera-based sensing |
Publications (2)
Publication Number | Publication Date |
---|---|
CN110621228A true CN110621228A (zh) | 2019-12-27 |
CN110621228B CN110621228B (zh) | 2022-07-29 |
Family
ID=63915806
Family Applications (2)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201880028996.3A Expired - Fee Related CN110612056B (zh) | 2017-05-01 | 2018-05-02 | 使用基于相机的感测来确定动脉位置 |
CN201880028984.0A Active CN110621228B (zh) | 2017-05-01 | 2018-05-02 | 使用基于相机的感测来确定情绪 |
Family Applications Before (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201880028996.3A Expired - Fee Related CN110612056B (zh) | 2017-05-01 | 2018-05-02 | 使用基于相机的感测来确定动脉位置 |
Country Status (5)
Country | Link |
---|---|
US (3) | US10939833B2 (zh) |
EP (3) | EP3600040B1 (zh) |
KR (1) | KR102621119B1 (zh) |
CN (2) | CN110612056B (zh) |
WO (3) | WO2018203649A1 (zh) |
Cited By (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111772648A (zh) * | 2020-06-10 | 2020-10-16 | 南京七岩电子科技有限公司 | 一种结合hrv信号和面部表情判断情绪的方法及设备 |
CN112472088A (zh) * | 2020-10-22 | 2021-03-12 | 深圳大学 | 一种情绪状态评定方法、装置、智能终端及存储介质 |
CN113143274A (zh) * | 2021-03-31 | 2021-07-23 | 北京晶栈信息技术有限公司 | 基于摄像头的情绪预警方法 |
CN114098729A (zh) * | 2020-08-27 | 2022-03-01 | 北京晶栈信息技术有限公司 | 基于心脏间期的情绪状态客观测量方法 |
CN114287938A (zh) * | 2021-12-13 | 2022-04-08 | 重庆大学 | 建筑环境中人体参数的安全区间获得方法和设备 |
Families Citing this family (50)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20150124566A1 (en) | 2013-10-04 | 2015-05-07 | Thalmic Labs Inc. | Systems, articles and methods for wearable electronic devices employing contact sensors |
US11921471B2 (en) | 2013-08-16 | 2024-03-05 | Meta Platforms Technologies, Llc | Systems, articles, and methods for wearable devices having secondary power sources in links of a band for providing secondary power in addition to a primary power source |
WO2015081113A1 (en) | 2013-11-27 | 2015-06-04 | Cezar Morun | Systems, articles, and methods for electromyography sensors |
US11103140B2 (en) | 2015-06-14 | 2021-08-31 | Facense Ltd. | Monitoring blood sugar level with a comfortable head-mounted device |
US11154203B2 (en) | 2015-06-14 | 2021-10-26 | Facense Ltd. | Detecting fever from images and temperatures |
US10376163B1 (en) | 2015-06-14 | 2019-08-13 | Facense Ltd. | Blood pressure from inward-facing head-mounted cameras |
US10799122B2 (en) | 2015-06-14 | 2020-10-13 | Facense Ltd. | Utilizing correlations between PPG signals and iPPG signals to improve detection of physiological responses |
US11064892B2 (en) | 2015-06-14 | 2021-07-20 | Facense Ltd. | Detecting a transient ischemic attack using photoplethysmogram signals |
US10638938B1 (en) | 2015-06-14 | 2020-05-05 | Facense Ltd. | Eyeglasses to detect abnormal medical events including stroke and migraine |
US10791938B2 (en) | 2015-06-14 | 2020-10-06 | Facense Ltd. | Smartglasses for detecting congestive heart failure |
US10667697B2 (en) | 2015-06-14 | 2020-06-02 | Facense Ltd. | Identification of posture-related syncope using head-mounted sensors |
US10349887B1 (en) | 2015-06-14 | 2019-07-16 | Facense Ltd. | Blood pressure measuring smartglasses |
US11103139B2 (en) | 2015-06-14 | 2021-08-31 | Facense Ltd. | Detecting fever from video images and a baseline |
US10667723B2 (en) | 2016-02-19 | 2020-06-02 | Covidien Lp | Systems and methods for video-based monitoring of vital signs |
US11412943B2 (en) | 2016-07-16 | 2022-08-16 | Olesya Chornoguz | Methods and systems for obtaining physiologic information |
CN111183424B (zh) * | 2017-08-30 | 2024-04-12 | 深圳市长桑技术有限公司 | 识别用户的系统和方法 |
CN112040858A (zh) | 2017-10-19 | 2020-12-04 | 脸谱科技有限责任公司 | 用于识别与神经肌肉源信号相关的生物结构的系统和方法 |
WO2019079896A1 (en) * | 2017-10-24 | 2019-05-02 | Nuralogix Corporation | SYSTEM AND METHOD FOR DETERMINING STRESS BASED ON A CAMERA |
WO2019094893A1 (en) | 2017-11-13 | 2019-05-16 | Covidien Lp | Systems and methods for video-based monitoring of a patient |
CA3086527A1 (en) | 2018-01-08 | 2019-07-11 | Covidien Lp | Systems and methods for video-based non-contact tidal volume monitoring |
US11961494B1 (en) | 2019-03-29 | 2024-04-16 | Meta Platforms Technologies, Llc | Electromagnetic interference reduction in extended reality environments |
US11493993B2 (en) | 2019-09-04 | 2022-11-08 | Meta Platforms Technologies, Llc | Systems, methods, and interfaces for performing inputs based on neuromuscular control |
US11481030B2 (en) | 2019-03-29 | 2022-10-25 | Meta Platforms Technologies, Llc | Methods and apparatus for gesture detection and classification |
US11150730B1 (en) | 2019-04-30 | 2021-10-19 | Facebook Technologies, Llc | Devices, systems, and methods for controlling computing devices via neuromuscular signals of users |
US11907423B2 (en) | 2019-11-25 | 2024-02-20 | Meta Platforms Technologies, Llc | Systems and methods for contextualized interactions with an environment |
US11567573B2 (en) | 2018-09-20 | 2023-01-31 | Meta Platforms Technologies, Llc | Neuromuscular text entry, writing and drawing in augmented reality systems |
EP3766425A4 (en) | 2018-03-15 | 2021-06-23 | Panasonic Intellectual Property Management Co., Ltd. | SYSTEM, RECORDING MEDIA, AND METHOD FOR ESTIMATING THE PSYCHOLOGICAL STATE OF A USER |
US10621983B2 (en) * | 2018-04-20 | 2020-04-14 | Spotify Ab | Systems and methods for enhancing responsiveness to utterances having detectable emotion |
US11547313B2 (en) | 2018-06-15 | 2023-01-10 | Covidien Lp | Systems and methods for video-based patient monitoring during surgery |
EP3833241A1 (en) | 2018-08-09 | 2021-06-16 | Covidien LP | Video-based patient monitoring systems and associated methods for detecting and monitoring breathing |
US11115409B2 (en) * | 2018-10-18 | 2021-09-07 | International Business Machines Corporation | User authentication by emotional response |
EP3886693A4 (en) | 2018-11-27 | 2022-06-08 | Facebook Technologies, LLC. | METHOD AND DEVICE FOR AUTOCALIBRATION OF A PORTABLE ELECTRODE SENSING SYSTEM |
US11617520B2 (en) | 2018-12-14 | 2023-04-04 | Covidien Lp | Depth sensing visualization modes for non-contact monitoring |
CN109784287A (zh) * | 2019-01-22 | 2019-05-21 | 中国科学院自动化研究所 | 基于情景信号类前额叶网络的信息处理方法、系统、装置 |
US11315275B2 (en) | 2019-01-28 | 2022-04-26 | Covidien Lp | Edge handling methods for associated depth sensing camera devices, systems, and methods |
EP3698704A1 (en) * | 2019-02-20 | 2020-08-26 | Koninklijke Philips N.V. | Device, system and method for determining physiological information |
KR102277105B1 (ko) * | 2019-06-03 | 2021-07-14 | 계명대학교 산학협력단 | 카메라를 이용한 비접촉 혈압 측정 시스템 및 그 구동 방법 |
WO2021007652A1 (en) * | 2019-07-18 | 2021-01-21 | Nuralogix Corporation | System and method for detection of synthesized videos of humans |
US10729368B1 (en) * | 2019-07-25 | 2020-08-04 | Facemetrics Limited | Computer systems and computer-implemented methods for psychodiagnostics and psycho personality correction using electronic computing device |
KR20190100090A (ko) * | 2019-08-08 | 2019-08-28 | 엘지전자 주식회사 | 로봇 및 그를 이용한 무드 인식 방법 |
WO2021090402A1 (ja) * | 2019-11-06 | 2021-05-14 | 日本電気株式会社 | ストレス推定装置、ストレス推定方法、及び、記録媒体 |
KR20210078283A (ko) * | 2019-12-18 | 2021-06-28 | 삼성전자주식회사 | 센서 신호로부터 사용자의 제스처를 인식하는 전자 장치 및 이를 이용한 제스처 인식 방법 |
US11484208B2 (en) | 2020-01-31 | 2022-11-01 | Covidien Lp | Attached sensor activation of additionally-streamed physiological parameters from non-contact monitoring systems and associated devices, systems, and methods |
US11410486B2 (en) | 2020-02-04 | 2022-08-09 | Igt | Determining a player emotional state based on a model that uses pressure sensitive inputs |
KR20220012581A (ko) | 2020-07-23 | 2022-02-04 | 삼성전자주식회사 | 생체정보 추정 장치 및 방법 |
US11868531B1 (en) | 2021-04-08 | 2024-01-09 | Meta Platforms Technologies, Llc | Wearable device providing for thumb-to-finger-based input gestures detected based on neuromuscular signals, and systems and methods of use thereof |
CN113349778B (zh) * | 2021-06-03 | 2023-02-17 | 杭州回车电子科技有限公司 | 基于经颅直流电刺激的情绪分析方法、装置和电子装置 |
CN113712526B (zh) * | 2021-09-30 | 2022-12-30 | 四川大学 | 一种脉搏波提取方法、装置、电子设备及存储介质 |
KR102468648B1 (ko) | 2022-04-14 | 2022-11-22 | 주식회사 바이오커넥트 | 영상에 대한 원격 광용적맥파신호를 이용하여 사람의 심박수를 산출하는 방법 |
CN115633947B (zh) * | 2022-12-26 | 2023-03-21 | 四川大学华西医院 | 一种可穿戴血压监测装置及血压监测方法 |
Citations (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101337103A (zh) * | 2008-08-28 | 2009-01-07 | 北京阳光易德科技发展有限公司 | 一种压力与情绪调节方法、系统及一种生理信号采集装置 |
EP2438849A1 (en) * | 2010-10-06 | 2012-04-11 | Latvijas Universitate | Device and method for an optical contactless monitoring of cardiac parameters |
CN102647941A (zh) * | 2009-10-06 | 2012-08-22 | 皇家飞利浦电子股份有限公司 | 用于执行光电容积描记的方法和系统 |
CN103299330A (zh) * | 2010-10-21 | 2013-09-11 | 圣脑私营有限责任公司 | 人类体验及购买行为的神经心理建模方法及装置 |
US20140016860A1 (en) * | 2010-06-07 | 2014-01-16 | Affectiva, Inc. | Facial analysis to detect asymmetric expressions |
CN104732203A (zh) * | 2015-03-05 | 2015-06-24 | 中国科学院软件研究所 | 一种基于视频信息的情绪识别与跟踪方法 |
CN104881660A (zh) * | 2015-06-17 | 2015-09-02 | 吉林纪元时空动漫游戏科技股份有限公司 | 基于gpu加速的人脸表情识别及互动方法 |
CN105700682A (zh) * | 2016-01-08 | 2016-06-22 | 北京乐驾科技有限公司 | 基于视觉和语音的智能性别、情绪识别检测系统及方法 |
CN106031631A (zh) * | 2015-03-16 | 2016-10-19 | 阿里巴巴集团控股有限公司 | 一种心率检测方法、装置及系统 |
US20170071523A1 (en) * | 2015-07-16 | 2017-03-16 | Samsung Electronics Company, Ltd. | Continuous Stress Measurement with Built-In Alarm Fatigue Reduction Features |
CN106580346A (zh) * | 2015-10-14 | 2017-04-26 | 松下电器(美国)知识产权公司 | 情绪推定方法和情绪推定装置 |
Family Cites Families (43)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US7388971B2 (en) | 2003-10-23 | 2008-06-17 | Northrop Grumman Corporation | Robust and low cost optical system for sensing stress, emotion and deception in human subjects |
US8360986B2 (en) * | 2006-06-30 | 2013-01-29 | University Of Louisville Research Foundation, Inc. | Non-contact and passive measurement of arterial pulse through thermal IR imaging, and analysis of thermal IR imagery |
US8195460B2 (en) | 2008-06-17 | 2012-06-05 | Voicesense Ltd. | Speaker characterization through speech analysis |
EP2346403A2 (en) | 2008-10-07 | 2011-07-27 | Orsan Medical Technologies Ltd. | Measurement of cerebral hemodynamic parameters |
US9339202B2 (en) * | 2009-11-03 | 2016-05-17 | Vivaquant Llc | System for processing physiological data |
EP2333778A1 (en) | 2009-12-04 | 2011-06-15 | Lg Electronics Inc. | Digital data reproducing apparatus and method for controlling the same |
US20110251493A1 (en) * | 2010-03-22 | 2011-10-13 | Massachusetts Institute Of Technology | Method and system for measurement of physiological parameters |
GB201114406D0 (en) * | 2011-08-22 | 2011-10-05 | Isis Innovation | Remote monitoring of vital signs |
US9185353B2 (en) | 2012-02-21 | 2015-11-10 | Xerox Corporation | Removing environment factors from signals generated from video images captured for biomedical measurements |
JP6590438B2 (ja) * | 2012-03-13 | 2019-10-16 | コーニンクレッカ フィリップス エヌ ヴェKoninklijke Philips N.V. | 生理学的センサを有する心肺蘇生装置 |
GB2519909A (en) * | 2012-08-10 | 2015-05-06 | Vita Sentry Ltd | Estimations of equivalent inner diameter of arterioles |
KR101434336B1 (ko) | 2012-11-15 | 2014-08-27 | 장순철 | 표정을 통해 인식된 감정에 기초한 소리 재생 시스템 |
US10265002B2 (en) | 2013-02-13 | 2019-04-23 | Leman Micro Devices Sa | Non-invasive blood analysis |
JP6461021B2 (ja) * | 2013-03-14 | 2019-01-30 | コーニンクレッカ フィリップス エヌ ヴェKoninklijke Philips N.V. | 被検者のバイタルサイン情報を取得するためのデバイス及び方法 |
EP2967376B1 (en) * | 2013-03-14 | 2023-02-15 | Koninklijke Philips N.V. | Device and method for determining vital signs of a subject |
JP6132335B2 (ja) * | 2013-03-15 | 2017-05-24 | Necソリューションイノベータ株式会社 | 感情推定装置及び感情推定方法 |
US9962095B2 (en) * | 2013-04-23 | 2018-05-08 | Microsoft Technology Licensing, Llc | Optical heartrate tracking |
US9662022B2 (en) * | 2013-04-26 | 2017-05-30 | Xerox Corporation | Continuous cardiac signal generation from a video of a subject being monitored for cardiac function |
US9521954B2 (en) | 2013-06-19 | 2016-12-20 | Xerox Corporation | Video acquisition system for monitoring a subject for a desired physiological function |
US20150038810A1 (en) | 2013-08-05 | 2015-02-05 | Richard J. Melker | Sensors for photoplethysmography at the ophthalmic artery region |
US9264770B2 (en) * | 2013-08-30 | 2016-02-16 | Rovi Guides, Inc. | Systems and methods for generating media asset representations based on user emotional responses |
US10045702B2 (en) | 2013-10-17 | 2018-08-14 | Koninklijke Philips N.V. | Automatic camera adjustment for remote photoplethysmography |
US20150112157A1 (en) * | 2013-10-23 | 2015-04-23 | Quanttus, Inc. | Arrhythmia detection |
TWI546052B (zh) | 2013-11-14 | 2016-08-21 | 財團法人工業技術研究院 | 影像式心率活動偵測裝置及其方法 |
US9504426B2 (en) * | 2013-12-06 | 2016-11-29 | Xerox Corporation | Using an adaptive band-pass filter to compensate for motion induced artifacts in a physiological signal extracted from video |
US10165955B2 (en) | 2014-02-06 | 2019-01-01 | Reuven Gladshtein | Obtaining cardiovascular parameters using arterioles related transient time |
FR3023699B1 (fr) | 2014-07-21 | 2016-09-02 | Withings | Procede et dispositif de surveillance d'un bebe et d'interaction |
US20160095524A1 (en) | 2014-10-04 | 2016-04-07 | Government Of The United States, As Represented By The Secretary Of The Air Force | Non-Contact Assessment of Cardiovascular Function using a Multi-Camera Array |
US20160106328A1 (en) * | 2014-10-16 | 2016-04-21 | Xerox Corporation | Determining arterial pulse transit time from time-series signals obtained at proximal and distal arterial sites |
US9955880B2 (en) | 2014-10-27 | 2018-05-01 | Tata Consultancy Services Limited | Estimating physiological parameters |
WO2016081517A2 (en) | 2014-11-17 | 2016-05-26 | Borkholder David A | Pulse wave velocity, arterial compliance, and blood pressure |
KR101644586B1 (ko) | 2014-11-18 | 2016-08-02 | 상명대학교서울산학협력단 | 인체 미동에 의한 hrp 기반 사회 관계성 측정 방법 및 시스템 |
CN104545864B (zh) * | 2014-12-25 | 2017-08-11 | 中国科学院深圳先进技术研究院 | 心理调节方法和装置 |
WO2016123484A1 (en) * | 2015-01-29 | 2016-08-04 | Worcester Polytechnic Institute | Motion and noise artifact detection and reconstruction algorithms for photoplethysmogram and equivalent signals |
WO2016184703A1 (en) * | 2015-05-21 | 2016-11-24 | Koninklijke Philips N.V. | Identifying living skin tissue in a video sequence |
GB201509809D0 (en) | 2015-06-05 | 2015-07-22 | Isis Innovation | Method and apparatus for vital signs measurement |
US10165949B2 (en) * | 2015-06-14 | 2019-01-01 | Facense Ltd. | Estimating posture using head-mounted cameras |
US10285634B2 (en) | 2015-07-08 | 2019-05-14 | Samsung Electronics Company, Ltd. | Emotion evaluation |
US20170071516A1 (en) | 2015-09-15 | 2017-03-16 | Samsung Electronics Co., Ltd. | Mobile optical device and methods for monitoring microvascular hemodynamics |
KR101689021B1 (ko) | 2015-09-16 | 2016-12-23 | 주식회사 인포쉐어 | 센싱장비를 이용한 심리상태 판단 시스템 및 그 방법 |
US20170100067A1 (en) * | 2015-10-12 | 2017-04-13 | Yadong Liu | Method and system for emotion measurement |
SG11201803152YA (en) * | 2015-10-14 | 2018-05-30 | Synphne Pte Ltd | Systems and methods for facilitating mind - body - emotion state self-adjustment and functional skills development by way of biofeedback and environmental monitoring |
US10667723B2 (en) * | 2016-02-19 | 2020-06-02 | Covidien Lp | Systems and methods for video-based monitoring of vital signs |
-
2018
- 2018-04-11 US US15/951,098 patent/US10939833B2/en active Active
- 2018-04-11 US US15/951,105 patent/US10939834B2/en active Active
- 2018-04-11 US US15/951,068 patent/US10874309B2/en active Active
- 2018-05-02 WO PCT/KR2018/005066 patent/WO2018203649A1/en unknown
- 2018-05-02 EP EP18794775.9A patent/EP3600040B1/en active Active
- 2018-05-02 EP EP18794415.2A patent/EP3600018B1/en active Active
- 2018-05-02 EP EP18794330.3A patent/EP3595519A4/en active Pending
- 2018-05-02 CN CN201880028996.3A patent/CN110612056B/zh not_active Expired - Fee Related
- 2018-05-02 WO PCT/KR2018/005064 patent/WO2018203648A1/en unknown
- 2018-05-02 WO PCT/KR2018/005060 patent/WO2018203646A1/en unknown
- 2018-05-02 KR KR1020197033881A patent/KR102621119B1/ko active IP Right Grant
- 2018-05-02 CN CN201880028984.0A patent/CN110621228B/zh active Active
Patent Citations (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101337103A (zh) * | 2008-08-28 | 2009-01-07 | 北京阳光易德科技发展有限公司 | 一种压力与情绪调节方法、系统及一种生理信号采集装置 |
CN102647941A (zh) * | 2009-10-06 | 2012-08-22 | 皇家飞利浦电子股份有限公司 | 用于执行光电容积描记的方法和系统 |
US20140016860A1 (en) * | 2010-06-07 | 2014-01-16 | Affectiva, Inc. | Facial analysis to detect asymmetric expressions |
EP2438849A1 (en) * | 2010-10-06 | 2012-04-11 | Latvijas Universitate | Device and method for an optical contactless monitoring of cardiac parameters |
CN103299330A (zh) * | 2010-10-21 | 2013-09-11 | 圣脑私营有限责任公司 | 人类体验及购买行为的神经心理建模方法及装置 |
CN104732203A (zh) * | 2015-03-05 | 2015-06-24 | 中国科学院软件研究所 | 一种基于视频信息的情绪识别与跟踪方法 |
CN106031631A (zh) * | 2015-03-16 | 2016-10-19 | 阿里巴巴集团控股有限公司 | 一种心率检测方法、装置及系统 |
CN104881660A (zh) * | 2015-06-17 | 2015-09-02 | 吉林纪元时空动漫游戏科技股份有限公司 | 基于gpu加速的人脸表情识别及互动方法 |
US20170071523A1 (en) * | 2015-07-16 | 2017-03-16 | Samsung Electronics Company, Ltd. | Continuous Stress Measurement with Built-In Alarm Fatigue Reduction Features |
CN106580346A (zh) * | 2015-10-14 | 2017-04-26 | 松下电器(美国)知识产权公司 | 情绪推定方法和情绪推定装置 |
CN105700682A (zh) * | 2016-01-08 | 2016-06-22 | 北京乐驾科技有限公司 | 基于视觉和语音的智能性别、情绪识别检测系统及方法 |
Non-Patent Citations (1)
Title |
---|
PHUONG PHAM ET AL.: "Understanding Emotional Responses to Mobile Video Advertisements via Physiological Signal Sensing and Facial Expression Analysis", 《MULTIMODAL AND AUGMENTED INTERACTION》 * |
Cited By (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111772648A (zh) * | 2020-06-10 | 2020-10-16 | 南京七岩电子科技有限公司 | 一种结合hrv信号和面部表情判断情绪的方法及设备 |
CN114098729A (zh) * | 2020-08-27 | 2022-03-01 | 北京晶栈信息技术有限公司 | 基于心脏间期的情绪状态客观测量方法 |
CN114098729B (zh) * | 2020-08-27 | 2023-11-10 | 中国科学院心理研究所 | 基于心脏间期的情绪状态客观测量方法 |
CN112472088A (zh) * | 2020-10-22 | 2021-03-12 | 深圳大学 | 一种情绪状态评定方法、装置、智能终端及存储介质 |
CN112472088B (zh) * | 2020-10-22 | 2022-11-29 | 深圳大学 | 一种情绪状态评定方法、装置、智能终端及存储介质 |
CN113143274A (zh) * | 2021-03-31 | 2021-07-23 | 北京晶栈信息技术有限公司 | 基于摄像头的情绪预警方法 |
CN113143274B (zh) * | 2021-03-31 | 2023-11-10 | 中国科学院心理研究所 | 基于摄像头的情绪预警方法 |
CN114287938A (zh) * | 2021-12-13 | 2022-04-08 | 重庆大学 | 建筑环境中人体参数的安全区间获得方法和设备 |
CN114287938B (zh) * | 2021-12-13 | 2024-02-13 | 重庆大学 | 建筑环境中人体参数的安全区间获得方法和设备 |
Also Published As
Publication number | Publication date |
---|---|
US10939833B2 (en) | 2021-03-09 |
EP3595519A4 (en) | 2020-04-22 |
US20180310841A1 (en) | 2018-11-01 |
CN110612056B (zh) | 2022-08-09 |
EP3600018A4 (en) | 2020-04-22 |
KR102621119B1 (ko) | 2024-01-04 |
WO2018203646A1 (en) | 2018-11-08 |
US10939834B2 (en) | 2021-03-09 |
EP3595519A1 (en) | 2020-01-22 |
US20180314879A1 (en) | 2018-11-01 |
CN110621228B (zh) | 2022-07-29 |
WO2018203649A1 (en) | 2018-11-08 |
CN110612056A (zh) | 2019-12-24 |
EP3600040A1 (en) | 2020-02-05 |
KR20190137893A (ko) | 2019-12-11 |
US20180310842A1 (en) | 2018-11-01 |
EP3600040A4 (en) | 2020-04-01 |
EP3600018B1 (en) | 2023-11-01 |
US10874309B2 (en) | 2020-12-29 |
EP3600040B1 (en) | 2023-06-28 |
WO2018203648A1 (en) | 2018-11-08 |
EP3600018A1 (en) | 2020-02-05 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN110621228B (zh) | 使用基于相机的感测来确定情绪 | |
CN107850940B (zh) | 情感评估 | |
JP7261811B2 (ja) | 訓練された予測モデルに基づく血圧降下の非侵襲的決定のためのシステム及び方法 | |
Panicker et al. | A survey of machine learning techniques in physiology based mental stress detection systems | |
US10863939B2 (en) | Emotion estimating method, emotion estimating apparatus, and recording medium storing program | |
US10835158B2 (en) | System and method for biometric identification using sleep physiology | |
KR102328947B1 (ko) | 얼굴 영상 이미지를 이용하여 사용자의 건강 지표를 측정하는 방법 및 그를 이용한 장치 | |
Maaoui et al. | Automatic human stress detection based on webcam photoplethysmographic signals | |
US20220084196A1 (en) | Information processing apparatus, information processing method, and program | |
US20230233091A1 (en) | Systems and Methods for Measuring Vital Signs Using Multimodal Health Sensing Platforms | |
CN115024725A (zh) | 融合心理状态多参数检测的肿瘤治疗辅助决策系统 | |
Zheng et al. | Multi-modal physiological signals based fear of heights analysis in virtual reality scenes | |
US20230233123A1 (en) | Systems and methods to detect and characterize stress using physiological sensors | |
KR102243017B1 (ko) | 얼굴 피부 영상을 이용한 우울증 지수 측정 및 진단 방법 | |
TW201839635A (zh) | 情緒偵測系統及方法 | |
Li et al. | Sigd: A cross-session dataset for ppg-based user authentication in different demographic groups | |
ERDEM | Group Members | |
Mo et al. | SFF-DA: Sptialtemporal Feature Fusion for Detecting Anxiety Nonintrusively | |
Tabei | Novel smartphone-based photoplethysmogram signal analysis for health monitoring applications | |
Taha | Eye Biometrics Signal Analysis and Potential Applications in User Authentication and Affective Computing | |
Bousefsaf et al. | Assessment of physiological parameters by non-contact means to quantify mental stress states | |
Garg et al. | Non-Contact Based Method for Heart Rate Estimation and Attention Monitoring | |
KR20230087729A (ko) | 생체 지수 및 바이오 리듬 제공 방법 | |
He | Quantitative Multidimensional Stress Assessment from Facial Videos | |
ANGELOTTI et al. | Prediction and characterization of acute hypotensive episodes in intensive care unit |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |