CN110072438A - 使用热感和可见光头戴式相机检测生理响应 - Google Patents
使用热感和可见光头戴式相机检测生理响应 Download PDFInfo
- Publication number
- CN110072438A CN110072438A CN201780077226.3A CN201780077226A CN110072438A CN 110072438 A CN110072438 A CN 110072438A CN 201780077226 A CN201780077226 A CN 201780077226A CN 110072438 A CN110072438 A CN 110072438A
- Authority
- CN
- China
- Prior art keywords
- roi
- user
- physiological responses
- camera
- face
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 230000006461 physiological response Effects 0.000 title claims abstract description 368
- 230000035807 sensation Effects 0.000 title claims abstract description 99
- 238000012360 testing method Methods 0.000 title description 2
- 238000005259 measurement Methods 0.000 claims abstract description 207
- 238000001514 detection method Methods 0.000 claims abstract description 94
- 239000011521 glass Substances 0.000 claims description 116
- 239000000126 substance Substances 0.000 claims description 77
- 238000000034 method Methods 0.000 claims description 75
- 230000008859 change Effects 0.000 claims description 58
- 238000004891 communication Methods 0.000 claims description 45
- 238000010801 machine learning Methods 0.000 claims description 37
- 238000002156 mixing Methods 0.000 claims description 28
- 239000000203 mixture Substances 0.000 claims description 18
- RCKMWOKWVGPNJF-UHFFFAOYSA-N diethylcarbamazine Chemical compound CCN(CC)C(=O)N1CCN(C)CC1 RCKMWOKWVGPNJF-UHFFFAOYSA-N 0.000 claims description 5
- 206010020751 Hypersensitivity Diseases 0.000 abstract description 12
- 206010008190 Cerebrovascular accident Diseases 0.000 abstract description 10
- 208000006011 Stroke Diseases 0.000 abstract description 10
- 208000030961 allergic reaction Diseases 0.000 abstract description 8
- 206010019233 Headaches Diseases 0.000 abstract description 7
- 231100000869 headache Toxicity 0.000 abstract description 7
- 230000003247 decreasing effect Effects 0.000 abstract description 4
- 230000004044 response Effects 0.000 description 112
- 238000012549 training Methods 0.000 description 67
- 230000008921 facial expression Effects 0.000 description 61
- 210000001061 forehead Anatomy 0.000 description 46
- 230000001815 facial effect Effects 0.000 description 41
- 210000003128 head Anatomy 0.000 description 37
- 230000003287 optical effect Effects 0.000 description 29
- 238000004458 analytical method Methods 0.000 description 23
- 239000003814 drug Substances 0.000 description 22
- 230000035479 physiological effects, processes and functions Effects 0.000 description 22
- 230000014509 gene expression Effects 0.000 description 20
- 229940079593 drug Drugs 0.000 description 19
- 210000004209 hair Anatomy 0.000 description 18
- 230000002354 daily effect Effects 0.000 description 16
- 239000002537 cosmetic Substances 0.000 description 15
- 230000036651 mood Effects 0.000 description 15
- RYYVLZVUVIJVGH-UHFFFAOYSA-N caffeine Chemical compound CN1C(=O)N(C)C(=O)C2=C1N=CN2C RYYVLZVUVIJVGH-UHFFFAOYSA-N 0.000 description 14
- 238000004422 calculation algorithm Methods 0.000 description 14
- 230000033001 locomotion Effects 0.000 description 13
- 230000036387 respiratory rate Effects 0.000 description 13
- 235000013334 alcoholic beverage Nutrition 0.000 description 10
- 230000003190 augmentative effect Effects 0.000 description 10
- 230000007613 environmental effect Effects 0.000 description 10
- 230000007935 neutral effect Effects 0.000 description 10
- 210000003786 sclera Anatomy 0.000 description 10
- 230000009466 transformation Effects 0.000 description 10
- 230000008901 benefit Effects 0.000 description 9
- 238000010586 diagram Methods 0.000 description 9
- 230000008569 process Effects 0.000 description 9
- 238000012545 processing Methods 0.000 description 9
- 210000001747 pupil Anatomy 0.000 description 9
- LFQSCWFLJHTTHZ-UHFFFAOYSA-N Ethanol Chemical compound CCO LFQSCWFLJHTTHZ-UHFFFAOYSA-N 0.000 description 8
- 238000004364 calculation method Methods 0.000 description 8
- 230000000694 effects Effects 0.000 description 8
- 238000001228 spectrum Methods 0.000 description 8
- 210000004243 sweat Anatomy 0.000 description 8
- 230000000007 visual effect Effects 0.000 description 8
- LPHGQDQBBGAPDZ-UHFFFAOYSA-N Isocaffeine Natural products CN1C(=O)N(C)C(=O)C2=C1N(C)C=N2 LPHGQDQBBGAPDZ-UHFFFAOYSA-N 0.000 description 7
- 238000013528 artificial neural network Methods 0.000 description 7
- 230000015572 biosynthetic process Effects 0.000 description 7
- 229960001948 caffeine Drugs 0.000 description 7
- VJEONQKOZGKCAK-UHFFFAOYSA-N caffeine Natural products CN1C(=O)N(C)C(=O)C2=C1C=CN2C VJEONQKOZGKCAK-UHFFFAOYSA-N 0.000 description 7
- 230000008878 coupling Effects 0.000 description 7
- 238000010168 coupling process Methods 0.000 description 7
- 238000005859 coupling reaction Methods 0.000 description 7
- 230000002996 emotional effect Effects 0.000 description 7
- 238000005516 engineering process Methods 0.000 description 7
- 238000003786 synthesis reaction Methods 0.000 description 7
- 238000003491 array Methods 0.000 description 6
- 238000000605 extraction Methods 0.000 description 6
- 210000004709 eyebrow Anatomy 0.000 description 6
- 230000003803 hair density Effects 0.000 description 6
- 239000000463 material Substances 0.000 description 6
- 238000010606 normalization Methods 0.000 description 6
- 230000005855 radiation Effects 0.000 description 6
- 102000001554 Hemoglobins Human genes 0.000 description 5
- 108010054147 Hemoglobins Proteins 0.000 description 5
- 239000008280 blood Substances 0.000 description 5
- 210000004369 blood Anatomy 0.000 description 5
- 230000001419 dependent effect Effects 0.000 description 5
- 238000010191 image analysis Methods 0.000 description 5
- 201000009890 sinusitis Diseases 0.000 description 5
- 208000002874 Acne Vulgaris Diseases 0.000 description 4
- 208000005156 Dehydration Diseases 0.000 description 4
- 208000005374 Poisoning Diseases 0.000 description 4
- 206010000496 acne Diseases 0.000 description 4
- 230000007177 brain activity Effects 0.000 description 4
- 235000019504 cigarettes Nutrition 0.000 description 4
- 238000003066 decision tree Methods 0.000 description 4
- 230000018044 dehydration Effects 0.000 description 4
- 238000006297 dehydration reaction Methods 0.000 description 4
- 235000013305 food Nutrition 0.000 description 4
- 230000006870 function Effects 0.000 description 4
- 238000010438 heat treatment Methods 0.000 description 4
- 238000012880 independent component analysis Methods 0.000 description 4
- 238000007689 inspection Methods 0.000 description 4
- 230000007246 mechanism Effects 0.000 description 4
- 230000015654 memory Effects 0.000 description 4
- 229910052751 metal Inorganic materials 0.000 description 4
- 239000002184 metal Substances 0.000 description 4
- 231100000572 poisoning Toxicity 0.000 description 4
- 230000000607 poisoning effect Effects 0.000 description 4
- 238000001429 visible spectrum Methods 0.000 description 4
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 4
- SNICXCGAKADSCV-JTQLQIEISA-N (-)-Nicotine Chemical compound CN1CCC[C@H]1C1=CC=CN=C1 SNICXCGAKADSCV-JTQLQIEISA-N 0.000 description 3
- 208000019901 Anxiety disease Diseases 0.000 description 3
- 230000004913 activation Effects 0.000 description 3
- 230000036506 anxiety Effects 0.000 description 3
- 230000017531 blood circulation Effects 0.000 description 3
- 230000036760 body temperature Effects 0.000 description 3
- 238000009529 body temperature measurement Methods 0.000 description 3
- 210000004556 brain Anatomy 0.000 description 3
- 210000004027 cell Anatomy 0.000 description 3
- 238000013527 convolutional neural network Methods 0.000 description 3
- 238000013135 deep learning Methods 0.000 description 3
- 230000008451 emotion Effects 0.000 description 3
- 210000000887 face Anatomy 0.000 description 3
- 239000011888 foil Substances 0.000 description 3
- 210000001652 frontal lobe Anatomy 0.000 description 3
- 239000012535 impurity Substances 0.000 description 3
- 238000003780 insertion Methods 0.000 description 3
- 230000037431 insertion Effects 0.000 description 3
- 229960002715 nicotine Drugs 0.000 description 3
- SNICXCGAKADSCV-UHFFFAOYSA-N nicotine Natural products CN1CCCC1C1=CC=CN=C1 SNICXCGAKADSCV-UHFFFAOYSA-N 0.000 description 3
- 235000016709 nutrition Nutrition 0.000 description 3
- 238000006213 oxygenation reaction Methods 0.000 description 3
- 230000029058 respiratory gaseous exchange Effects 0.000 description 3
- 230000004043 responsiveness Effects 0.000 description 3
- 238000000926 separation method Methods 0.000 description 3
- 240000008067 Cucumis sativus Species 0.000 description 2
- 235000010799 Cucumis sativus var sativus Nutrition 0.000 description 2
- PEDCQBHIVMGVHV-UHFFFAOYSA-N Glycerine Chemical compound OCC(O)CO PEDCQBHIVMGVHV-UHFFFAOYSA-N 0.000 description 2
- 206010061218 Inflammation Diseases 0.000 description 2
- 208000019695 Migraine disease Diseases 0.000 description 2
- FAPWRFPIFSIZLT-UHFFFAOYSA-M Sodium chloride Chemical compound [Na+].[Cl-] FAPWRFPIFSIZLT-UHFFFAOYSA-M 0.000 description 2
- 238000004378 air conditioning Methods 0.000 description 2
- 230000037007 arousal Effects 0.000 description 2
- 206010003119 arrhythmia Diseases 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 2
- 235000013361 beverage Nutrition 0.000 description 2
- 230000005540 biological transmission Effects 0.000 description 2
- 238000012512 characterization method Methods 0.000 description 2
- 238000004883 computer application Methods 0.000 description 2
- 238000005520 cutting process Methods 0.000 description 2
- 238000013461 design Methods 0.000 description 2
- 230000005611 electricity Effects 0.000 description 2
- 230000003203 everyday effect Effects 0.000 description 2
- 230000036541 health Effects 0.000 description 2
- 238000005286 illumination Methods 0.000 description 2
- 230000001965 increasing effect Effects 0.000 description 2
- 230000004054 inflammatory process Effects 0.000 description 2
- 230000002452 interceptive effect Effects 0.000 description 2
- 230000000670 limiting effect Effects 0.000 description 2
- 238000012417 linear regression Methods 0.000 description 2
- 230000003340 mental effect Effects 0.000 description 2
- 230000004060 metabolic process Effects 0.000 description 2
- 206010027599 migraine Diseases 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- IOLCXVTUBQKXJR-UHFFFAOYSA-M potassium bromide Chemical compound [K+].[Br-] IOLCXVTUBQKXJR-UHFFFAOYSA-M 0.000 description 2
- 238000002203 pretreatment Methods 0.000 description 2
- 238000000513 principal component analysis Methods 0.000 description 2
- 238000003672 processing method Methods 0.000 description 2
- 230000000306 recurrent effect Effects 0.000 description 2
- 230000001105 regulatory effect Effects 0.000 description 2
- 238000009877 rendering Methods 0.000 description 2
- 239000004576 sand Substances 0.000 description 2
- 238000009738 saturating Methods 0.000 description 2
- 230000000391 smoking effect Effects 0.000 description 2
- 238000003860 storage Methods 0.000 description 2
- 238000006467 substitution reaction Methods 0.000 description 2
- 210000001994 temporal artery Anatomy 0.000 description 2
- JBRZTFJDHDCESZ-UHFFFAOYSA-N AsGa Chemical compound [As]#[Ga] JBRZTFJDHDCESZ-UHFFFAOYSA-N 0.000 description 1
- 208000031872 Body Remains Diseases 0.000 description 1
- 229910001339 C alloy Inorganic materials 0.000 description 1
- 206010011224 Cough Diseases 0.000 description 1
- 241001269238 Data Species 0.000 description 1
- 235000017274 Diospyros sandwicensis Nutrition 0.000 description 1
- 229910001218 Gallium arsenide Inorganic materials 0.000 description 1
- 241000282838 Lama Species 0.000 description 1
- 244000061176 Nicotiana tabacum Species 0.000 description 1
- 235000002637 Nicotiana tabacum Nutrition 0.000 description 1
- 208000002193 Pain Diseases 0.000 description 1
- 244000131316 Panax pseudoginseng Species 0.000 description 1
- 235000005035 Panax pseudoginseng ssp. pseudoginseng Nutrition 0.000 description 1
- 235000003140 Panax quinquefolius Nutrition 0.000 description 1
- 241000599931 Paris quadrifolia Species 0.000 description 1
- XUIMIQQOPSSXEZ-UHFFFAOYSA-N Silicon Chemical compound [Si] XUIMIQQOPSSXEZ-UHFFFAOYSA-N 0.000 description 1
- 206010041349 Somnolence Diseases 0.000 description 1
- 239000005083 Zinc sulfide Substances 0.000 description 1
- 230000009471 action Effects 0.000 description 1
- 230000001154 acute effect Effects 0.000 description 1
- 238000004026 adhesive bonding Methods 0.000 description 1
- 230000002411 adverse Effects 0.000 description 1
- 230000001476 alcoholic effect Effects 0.000 description 1
- 238000012152 algorithmic method Methods 0.000 description 1
- 208000026935 allergic disease Diseases 0.000 description 1
- 230000007815 allergy Effects 0.000 description 1
- 229910045601 alloy Inorganic materials 0.000 description 1
- 239000000956 alloy Substances 0.000 description 1
- 230000006793 arrhythmia Effects 0.000 description 1
- 208000006673 asthma Diseases 0.000 description 1
- QVGXLLKOCUKJST-UHFFFAOYSA-N atomic oxygen Chemical compound [O] QVGXLLKOCUKJST-UHFFFAOYSA-N 0.000 description 1
- 230000003796 beauty Effects 0.000 description 1
- 230000006399 behavior Effects 0.000 description 1
- 230000002457 bidirectional effect Effects 0.000 description 1
- 230000031018 biological processes and functions Effects 0.000 description 1
- 230000000903 blocking effect Effects 0.000 description 1
- 210000004204 blood vessel Anatomy 0.000 description 1
- 229910052799 carbon Inorganic materials 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 230000027288 circadian rhythm Effects 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 238000005094 computer simulation Methods 0.000 description 1
- 239000003433 contraceptive agent Substances 0.000 description 1
- 230000002254 contraceptive effect Effects 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 239000006071 cream Substances 0.000 description 1
- 230000007423 decrease Effects 0.000 description 1
- 235000005911 diet Nutrition 0.000 description 1
- 230000037213 diet Effects 0.000 description 1
- 230000009429 distress Effects 0.000 description 1
- 238000009826 distribution Methods 0.000 description 1
- 239000003651 drinking water Substances 0.000 description 1
- 235000020188 drinking water Nutrition 0.000 description 1
- 235000013399 edible fruits Nutrition 0.000 description 1
- 238000005538 encapsulation Methods 0.000 description 1
- 206010015037 epilepsy Diseases 0.000 description 1
- 238000010195 expression analysis Methods 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 235000012041 food component Nutrition 0.000 description 1
- 230000037406 food intake Effects 0.000 description 1
- 235000012631 food intake Nutrition 0.000 description 1
- 229910052732 germanium Inorganic materials 0.000 description 1
- GNPVGFCGXDBREM-UHFFFAOYSA-N germanium atom Chemical compound [Ge] GNPVGFCGXDBREM-UHFFFAOYSA-N 0.000 description 1
- 235000008434 ginseng Nutrition 0.000 description 1
- 230000004217 heart function Effects 0.000 description 1
- 229940088597 hormone Drugs 0.000 description 1
- 239000005556 hormone Substances 0.000 description 1
- 210000003016 hypothalamus Anatomy 0.000 description 1
- 238000002513 implantation Methods 0.000 description 1
- 230000001939 inductive effect Effects 0.000 description 1
- 230000002757 inflammatory effect Effects 0.000 description 1
- 238000002329 infrared spectrum Methods 0.000 description 1
- 239000004615 ingredient Substances 0.000 description 1
- 230000001788 irregular Effects 0.000 description 1
- 230000002045 lasting effect Effects 0.000 description 1
- 238000007477 logistic regression Methods 0.000 description 1
- 230000007787 long-term memory Effects 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 235000012054 meals Nutrition 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 230000008035 nerve activity Effects 0.000 description 1
- 230000001537 neural effect Effects 0.000 description 1
- 210000002569 neuron Anatomy 0.000 description 1
- 230000035764 nutrition Effects 0.000 description 1
- 239000002674 ointment Substances 0.000 description 1
- 230000027758 ovulation cycle Effects 0.000 description 1
- 229910052760 oxygen Inorganic materials 0.000 description 1
- 239000001301 oxygen Substances 0.000 description 1
- 238000010422 painting Methods 0.000 description 1
- 238000003909 pattern recognition Methods 0.000 description 1
- 239000004033 plastic Substances 0.000 description 1
- 229920003023 plastic Polymers 0.000 description 1
- 238000005498 polishing Methods 0.000 description 1
- 238000001556 precipitation Methods 0.000 description 1
- 238000003825 pressing Methods 0.000 description 1
- 238000002106 pulse oximetry Methods 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 230000002829 reductive effect Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 230000000284 resting effect Effects 0.000 description 1
- 230000033764 rhythmic process Effects 0.000 description 1
- 229910052594 sapphire Inorganic materials 0.000 description 1
- 239000010980 sapphire Substances 0.000 description 1
- 230000001568 sexual effect Effects 0.000 description 1
- 229910052710 silicon Inorganic materials 0.000 description 1
- 239000010703 silicon Substances 0.000 description 1
- 238000004088 simulation Methods 0.000 description 1
- 208000017520 skin disease Diseases 0.000 description 1
- 230000007958 sleep Effects 0.000 description 1
- 239000000779 smoke Substances 0.000 description 1
- 206010041232 sneezing Diseases 0.000 description 1
- 239000011780 sodium chloride Substances 0.000 description 1
- 230000002269 spontaneous effect Effects 0.000 description 1
- 210000002784 stomach Anatomy 0.000 description 1
- 230000035882 stress Effects 0.000 description 1
- 230000000153 supplemental effect Effects 0.000 description 1
- 238000012706 support-vector machine Methods 0.000 description 1
- 230000002889 sympathetic effect Effects 0.000 description 1
- 230000009897 systematic effect Effects 0.000 description 1
- 238000005494 tarnishing Methods 0.000 description 1
- 238000001931 thermography Methods 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
- 238000009423 ventilation Methods 0.000 description 1
- 238000003466 welding Methods 0.000 description 1
- DRDVZXDWVBGGMH-UHFFFAOYSA-N zinc;sulfide Chemical compound [S-2].[Zn+2] DRDVZXDWVBGGMH-UHFFFAOYSA-N 0.000 description 1
Classifications
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/01—Measuring temperature of body parts ; Diagnostic temperature sensing, e.g. for malignant or inflamed tissue
- A61B5/015—By temperature mapping of body part
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/08—Detecting, measuring or recording devices for evaluating the respiratory organs
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/16—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/16—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state
- A61B5/163—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state by tracking eye movement, gaze, or pupil change
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/68—Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient
- A61B5/6801—Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient specially adapted to be attached to or worn on the body surface
- A61B5/6802—Sensor mounted on worn items
- A61B5/6803—Head-worn items, e.g. helmets, masks, headphones or goggles
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/74—Details of notification to user or communication with user or patient ; user input means
- A61B5/746—Alarms related to a physiological condition, e.g. details of setting alarm thresholds or avoiding false alarms
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
- G01J5/00—Radiation pyrometry, e.g. infrared or optical thermometry
- G01J5/0022—Radiation pyrometry, e.g. infrared or optical thermometry for sensing the radiation of moving bodies
- G01J5/0025—Living bodies
-
- G—PHYSICS
- G02—OPTICS
- G02C—SPECTACLES; SUNGLASSES OR GOGGLES INSOFAR AS THEY HAVE THE SAME FEATURES AS SPECTACLES; CONTACT LENSES
- G02C11/00—Non-optical adjuncts; Attachment thereof
- G02C11/10—Electronic devices other than hearing aids
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/02—Detecting, measuring or recording pulse, heart rate, blood pressure or blood flow; Combined pulse/heart-rate/blood pressure determination; Evaluating a cardiovascular condition not otherwise provided for, e.g. using combinations of techniques provided for in this group with electrocardiography or electroauscultation; Heart catheters for measuring blood pressure
- A61B5/024—Detecting, measuring or recording pulse rate or heart rate
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/08—Detecting, measuring or recording devices for evaluating the respiratory organs
- A61B5/0816—Measuring devices for examining respiratory frequency
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/16—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state
- A61B5/165—Evaluating the state of mind, e.g. depression, anxiety
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/41—Detecting, measuring or recording for evaluating the immune or lymphatic systems
- A61B5/411—Detecting or monitoring allergy or intolerance reactions to an allergenic agent or substance
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
- G01J5/00—Radiation pyrometry, e.g. infrared or optical thermometry
- G01J2005/0077—Imaging
Abstract
本公开的一些方面涉及头戴式系统，其用于进行用户的面部的热测量以检测各种生理响应，诸如过敏反应、压力、头痛、中风等。典型地，这些系统涉及一个或多个头戴式热感相机，其可以物理地耦接到穿戴在用户的头部上的框架，并且用于进行一个或多个感兴趣区域(ROI)的热测量。本公开中描述的一些系统旨在用于“现实世界”、不受控的日常使用，其中生理响应的检测可能受到“混杂因素”的阻碍。混杂因素可能引起与正被检测的生理响应无关的面部某些ROI变暖和/或变凉，并且正因为如此可能降低生理响应检测的准确度。
Description
相关申请的交叉引用
本申请要求2016年10月14日提交的美国临时专利申请第62/408,677号以及2017年2月7日提交的美国临时专利申请第62/456,105号以及2017年4月2日提交的美国临时专利申请第62/480,496号的优先权。
技术领域
本申请涉及用于测量面部温度并且捕获面部图像的头戴式系统。
致谢
Gil Thieberger要感谢他敬爱的老师Lama Dvora-hla，感谢她非凡的教诲和智慧、爱心、慈善和道德的表现，以及感谢她在引导他和其它人走向自由和最终幸福的道路上所付出的无尽努力、支持和技巧。Gil还要感谢他挚爱的父母把他抚养成人。
背景技术
各种生理响应的表现涉及人的面部各个区域处的温度变化；测量面部上的各个区域处的温度和/或温度变化可以帮助确定人感觉到的压力水平、人的过敏反应程度或者用户的感受，例如，用户是否紧张、平静或快乐。在一些情况下，生理响应的表现可以涉及面部皮肤颜色变化(FSCC)，诸如由心脏脉搏或情绪响应的表达所造成的轻微颜色变化。可以从面部的各个区域的可见光图像中检测FSCC。
监测和分析面部的测量(例如，热测量和/或上述图像)对于许多与健康有关和与生活记录有关的应用是有用的。然而，当人们进行日常活动时，随着时间的推移收集这种数据可能非常困难，典型地涉及利用需要连续指向人的面部的相机，并且经常涉及执行各种复杂的图像分析进程，诸如涉及图像配准和面部跟踪的进程。此外，由于数据是在不受控环境中收集的，所以测量可能受到各种混杂因素的影响，诸如指向面部的热辐射、触摸面部或食用某些物质(例如，药物、酒精或咖啡因)。因此，由于它们可以使许多应用能够实现，因此需要能够在人的面部的各个区域处收集热测量。优选地，将在人在不受控环境中执行各种日常活动时的很长一段时间内收集该测量。
发明内容
本公开的一些方面涉及头戴式系统，其用于进行用户的面部的热测量以检测各种生理响应，诸如过敏反应、压力、头痛等。典型地，这些系统涉及一个或多个头戴式热感相机，其可以物理地耦接到穿戴在用户的头部上的框架，并且用于进行一个或多个感兴趣区域(ROI)的热测量。可以分析热测量以检测各种生理响应中的一种或多种的发生。可选地，框架可以属于各种头戴式系统，范围从眼镜到更复杂的头戴式设备，诸如虚拟现实系统、增强现实系统或混合现实系统。在一些实施例中，本公开中描述的系统旨在用于“现实世界”日常使用。因为现实世界日常条件不总是受控的，所以有时生理响应的检测可能受到本文所称的“混杂因素”的阻碍。混杂因素可能引起与正被检测的生理响应无关的面部某些ROI变暖和/或变凉，并且正因为如此可能降低生理响应检测的准确度。
本公开的其它方面涉及基于面部皮肤颜色变化(FSCC)来检测生理响应，面部皮肤颜色变化(FSCC)在面向内的头戴式可见光相机拍摄的图像中是可识别的。其表现涉及FSCC的生理响应的一些示例包含情绪响应(有时可能对肉眼隐藏)以及生理信号，诸如心率、心率变异性或呼吸速率。
附图说明
在本文中的实施例仅通过示例的方式参考以下附图进行描述：
图1a和图1b图示了耦接到眼镜框架的各种面向内的头戴式相机；
图2图示了耦接到增强现实设备的面向内的头戴式相机；
图3图示了耦接到虚拟现实设备的头戴式相机；
图4图示了耦接到增强现实设备的头戴式相机的侧视图；
图5图示了耦接到太阳镜框架的头戴式相机的侧视图；
图6至图9图示了被配置为测量与本文描述的一些实施例相关的各种感兴趣区域(ROI)的HMS；
图10至图13图示了包含具有多像素传感器(FPA传感器)的面向内的头戴式相机的系统的各种实施例；
图14a、图14b和图14c图示了右夹式设备和左夹式设备两者的实施例，右夹式设备和左夹式设备两者被配置为与眼镜框架附接/分离；
图15a和图15b图示了夹式设备的一个实施例，该夹式设备包含指向面部下部和前额的面向内的头戴式相机；
图16a和图16b图示了右夹式设备和左夹式设备的实施例，右夹式设备和左夹式设备被配置为附接在眼镜框架后面；
图17a和图17b图示了单个单元夹式(single-unit clip-on)设备的实施例，该单个单元夹式设备被配置为附接在眼镜框架后面；
图18图示了右夹式设备和左夹式设备的实施例，右夹式设备和左夹式设备被配置为与眼镜框架附接/分离，并且具有突出臂以保持面向内的头戴式相机；
图19图示了发出关于可能中风的警报的情形；
图20a和图20b图示了与在面部表情中可见的情绪响应相比基于热测量做出了情绪响应的不同的检测；
图21图示了智能手机应用的实施例，其向用户提供关于他/她对其他人看起来是怎样的反馈；
图22图示了平板电脑应用的一个实施例，其向用户提供关于他/她在某一时段的感受的反馈；
图23图示了被配置为基于面部皮肤颜色变化(FSCC)来检测生理响应的系统的实施例；
图24a和图24b图示了出于不同原因的对ROI的加热：窦炎(检测到的)和痤疮(未被检测为窦炎)；
图25a和图25b图示了当用户触摸他/她的面部时提供指示的系统的一个实施例；
图26a图示了第一种情况，其中用户的头发不遮挡前额；
图26b图示了第二种情况，其中用户的头发遮挡前额，并且系统请求用户移动头发以便使得能够正确测量前额；
图27a图示了系统的一个实施例，该系统基于由面向内的头戴式热感相机和面向外的头戴式热感相机进行的测量来检测生理响应。
图27b图示了在GUI上接收用户被监测未处于直射阳光中的指示。
图28图示了饮用酒精对热测量值的影响；
图29图示了由于吸烟造成的热测量的增加；
图30图示了由于服用药物造成的热测量的减少；以及
图31a和图31b是计算机的可能实施例的示意图。
具体实施方式
“热感相机”在本文中指代非接触式设备，其测量波长长于2500纳米(nm)的电磁辐射且不接触其感兴趣区域(ROI)。热感相机可以包含一个感测元件(像素)或多个感测元件，所述感测元件在本文中也称为“感测像素”、“像素”和/或焦平面阵列(FPA)。热感相机可以基于非制冷热传感器，诸如热电堆传感器、微测辐射热计传感器(其中微测辐射热计指代任何类型的测辐射热计传感器及其等同物)、热电传感器或铁电传感器。
形式为“ROI的热测量”(通常表示为THROI或其某种变体)的句子指代以下中的至少一个：(i)ROI的温度测量(TROI)，诸如当使用热电堆或微测辐射热计传感器时，以及(ii)ROI的温度变化测量(ΔTROI)，诸如当使用热电传感器时或当从由热电堆传感器或微测辐射热计传感器在不同时间进行的温度测量导出温度变化时。
在一些实施例中，诸如热感相机的设备可以被定位成使得它遮挡用户面部上的ROI，而在其它实施例中，该设备可以被定位成使得它不遮挡ROI。形式为“系统/相机不遮挡ROI”的句子指示，ROI可以被位于用户前面且看着ROI的第三人观察到，诸如图7、图11和图19中的全部ROI所示。形式为“系统/相机遮挡ROI”的句子指示，一些ROI不可以被第三人直接观察到，诸如图1a中被镜头遮挡的ROI 19和37，以及图9中分别被相机91和96遮挡的ROI97和102。
尽管许多公开的实施例可以成功地使用遮挡的热感相机，但是在某些情形下，诸如当每天和/或在正常的日常环境中使用HMS时，使用不遮挡其在面部上的ROI的热感相机可以为用户、HMS和/或热感相机提供一个或多个优点，该一个或多个优点可以涉及以下中的一个或多个：美学、更好的面部通风、减轻的重量、穿戴简单以及减少被玷污的可能性。
“可见光相机”指代被设计为检测可见光谱中的至少一些的非接触式设备，诸如具有光学透镜和CMOS或CCD传感器的相机。
术语“面向内的头戴式相机”指代被配置为要穿戴在用户的头部上且当用户的头部进行角移动和横向移动(诸如角速度高于0.1rad/sec，高于0.5rad/sec，和/或高于1rad/sec的移动)时也保持指向其ROI的相机，该ROI在用户面部上。头戴式相机(可以是面向内的和/或面向外的)可以被物理地耦接到穿戴在用户的头部上的框架，可以使用夹式机构(被配置为与眼镜附接和分离)而被附接到眼镜，可以使用当头部移动时使相机相对于用户的头部保持在固定位置的任何其它已知的设备而被安装到用户的头部。形式为“相机物理地耦接到框架”的句子意味着相机随着框架移动，诸如当相机被固定到(或集成到)框架时，或者当相机被固定到(或集成到)物理地耦接到框架的元件时。缩写“CAM”表示“面向内的头戴式热感相机”，缩写“CAMout”表示“面向外的头戴式热感相机”，缩写“VCAM”表示“面向内的头戴式可见光相机”，并且缩写“VCAMout”表示“面向外的头戴式可见光相机”。
形式为“被配置为要穿戴在用户的头部上的框架”或“穿戴在用户的头部上的框架”的句子指代将多于其重量的50％负载到用户的头部的机械结构。例如，眼镜框架可以包含两个镜腿，该两个镜腿连接到由横梁连接的两个边缘；Oculus RiftTM的框架包含放置在用户面部上的橡胶和头带；而Google GlassTM和Snap公司的Spectacles中的框架与眼镜框架相似。附加地或可替代地，框架可以连接到头盔(例如，运动头盔、摩托车头盔、自行车头盔和/或战斗头盔)和/或脑电波测量头戴装置，可以固定于头盔(例如，运动头盔、摩托车头盔、自行车头盔和/或战斗头盔)和/或脑电波测量头戴装置之内，和/或与头盔(例如，运动头盔、摩托车头盔、自行车头盔和/或战斗头盔)和/或脑电波测量头戴装置集成。
当热感相机是面向内的并是头戴式的时，可以使用本文描述的一些实施例来简化甚至消除本领域中已知的用于获取热测量的系统(其包含非头戴式热感相机)所面对的挑战。这些挑战中的一些可能涉及处理由用户的移动、图像配准、ROI对准、基于热点或标记的跟踪以及IR域中的运动补偿引起的复杂性。
在各种实施例中，相机位于靠近用户面部，诸如距面部最多2cm、5cm、10cm、15cm或20cm(在本文中“cm”表示厘米)。在诸如“位于距离面部/头部小于15cm的相机”之类的句子中距面部/头部的距离指代相机与面部/头部之间的最短可能距离。在各种实施例中使用的头戴式相机可以是轻质的，使得每个相机重量低于10g、5g、1g和/或0.5g(在本文中“g”表示克)。
下图示出了配备头戴式相机的HMS的各种示例。图1a图示了耦接到眼镜框架15的各种面向内的头戴式相机。相机10和12分别测量前额上的区域11和13。相机18和36分别测量眶周范围19和37上的区域。HMS进一步包含可选的计算机16，其可以包含处理器、存储器、电池和/或通信模块。图1b图示了相似的HMS，其中面向内的头戴式相机48和49分别测量区域41和41。相机22和24分别测量区域23和25。相机28测量区域29。并且相机26和43分别测量区域38和39。
图2图示了耦接到增强现实设备(诸如Microsoft HoloLensTM)的面向内的头戴式相机。图3图示了耦接到虚拟现实设备(诸如Facebook’s Oculus RiftTM)的头戴式相机。图4是图示耦接到增强现实设备(诸如Google GlassTM)的头戴式相机的侧视图。图5是图示耦接到太阳镜框架的头戴式相机的另一个侧视图。
图6至图9图示了被配置为测量与本文描述的一些实施例相关的各种ROI的HMS。图6图示了框架35，其安装面向内的头戴式相机30和31，面向内的头戴式相机30和31分别测量前额上的区域32和33。图7图示了框架75，其安装面向内的头戴式相机70和71以及面向内的头戴式相机76和77，面向内的头戴式相机70和71分别测量前额上的区域72和73，面向内的头戴式相机76和77分别测量上唇上的区域78和79。图8图示了框架84，其安装面向内的头戴式相机80和81，面向内的头戴式相机80和81分别测量鼻子侧面上的区域82和83。并且图9图示了框架90，其包含(i)面向内的头戴式相机91和92，面向内的头戴式相机91和92安装到突出臂并分别测量前额上的区域97和98，(ii)面向内的头戴式相机95和96，面向内的头戴式相机95和96也安装到突出臂，分别测量面部下部上的区域101和102，以及(iii)头戴式相机93和94，头戴式相机93和94分别测量眶周范围99和100上的区域。
图10至图13图示了具有多像素传感器(FPA传感器)的各种面向内的头戴式相机，其被配置为测量与本文描述的一些实施例相关的各种ROI。图10图示了头戴式相机120和122，头戴式相机120和122分别测量前额上的区域121和123，并且安装头戴式相机124，头戴式相机124测量鼻子上的区域125。图11图示了除了已经在图10中描述的头戴式相机之外的头戴式相机126和128，头戴式相机126和128分别测量上唇上的区域127和129。图12图示了头戴式相机130和132，头戴式相机130和132分别测量上唇和鼻子侧面上的较大区域131和133。并且图13图示了除了已经在图12中描述的头戴式相机之外的头戴式相机134和137，头戴式相机134和137分别测量在右面颊和嘴的右侧上的区域135和在左面颊和嘴的左侧上的区域138。
在一些实施例中，可以使用夹式设备将头戴式相机物理地耦接到框架，该夹式设备被配置为与一副眼镜附接/分离，以便多次将设备固定到眼镜/从眼镜释放设备。夹式设备保持着至少面向内的相机、处理器、电池和无线通信模块。大多数夹式设备可以位于框架前面(如图14b、图15b和图18所示)，或者替代地，大部分夹式设备可以位于框架后面(如图16b和图17b所示)。
图14a、图14b和图14c分别图示了右夹式设备141和左夹式设备142，右夹式设备141和左夹式设备142被配置为与眼镜框架140附接/分离。夹式设备142包含指向面部下部上的区域(例如上唇、嘴、鼻子和/或面颊)的面向内的头戴式相机143、指向前额的面向内的头戴式相机144、以及其它电子器件145(诸如处理器、电池和/或无线通信模块)。夹式设备141和142可以包含附图中图示为黑色圆圈的附加相机。
图15a和图15b图示了夹式设备147，夹式设备147包含指向面部下部上的区域(诸如鼻子)的面向内的头戴式相机148、以及指向前额的面向内的头戴式相机149。其它电子器件(诸如处理器、电池和/或无线通信模块)位于盒子150内，盒子150还保持相机148和149。
图16a和图16b图示了右夹式设备160和左夹式设备161，右夹式设备160和左夹式设备161分别被配置为附接在眼镜框架165后面。夹式设备160包含指向面部下部上的区域(诸如上唇、嘴、鼻子和/或面颊)的面向内的头戴式相机162、指向前额的面向内的头戴式相机163、以及其它电子器件164(诸如处理器、电池和/或无线通信模块)。夹式设备160和161可以包含附图中图示为黑色圆圈的附加相机。
图17a和图17b图示了单个单元夹式设备170，其被配置为附接在眼镜框架176后面。单个单元夹式设备170包含指向面部下部上的区域(诸如上唇、嘴、鼻子和/或面颊)的面向内的头戴式相机171和172、指向前额的面向内的头戴式相机173和174、被配置为施加力以将夹式设备170保持到框架176的弹簧175、以及其它电子器件177(诸如处理器、电池和/或无线通信模块)。夹式设备170可以包含附图中图示为黑色圆圈的附加相机。
图18图示了右夹式设备153和左夹式设备154，右夹式设备153和左夹式设备154分别被配置为与眼镜框架附接/分离，并且具有突出臂以保持面向内的头戴式相机。头戴式相机155测量面部下部上的区域，头戴式相机156测量前额上的区域，并且左夹式设备154进一步包含其它电子器件157(诸如处理器、电池和/或无线通信模块)。夹式设备153和154可以包含附图中图示为黑色圆圈的附加相机。
应注意，一些附图中的ROI的椭圆形和其它形状仅用于说明目的，并且ROI的实际形状通常不如图所示。可以使用各种方法计算ROI的准确形状，诸如使用面部的3D模型和热感相机物理地耦接到的头戴式系统(HMS)的模型的计算机化模拟，或者通过放置LED代替传感器(同时维持相同的视场)并观察面部上的照明图案。此外，相机的图示和讨论表示一个或多个相机，其中每个相机可以具有相同的FOV和/或不同的FOV。除非有相反的指示，否则相机可以包含一个或多个感测元件(像素)，即使多个感测元件没有明确地出现在附图中；当相机包含多个感测元件时，所示的ROI通常指代由相机捕获的总ROI，其由分别由不同感测元件捕获的多个区域构成。附图中相机的位置仅用于说明，并且相机可以放置在HMS上的其它位置。
形式为“范围上的ROI”的句子，诸如前额上的ROI或鼻子上的ROI，指代该范围的至少一部分。取决于上下文，尤其是当使用仅具有一个像素或少量像素的CAM时，ROI可以涵盖另一区域(除了该区域之外)。例如，形式为“鼻子上的ROI”的句子可以指代以下中的任一种：ROI的100％是在鼻子上，或者ROI的一部分是在鼻子上并且ROI的一部分是在上唇上。
本文描述的各种实施例涉及基于用户测量来检测生理响应。生理响应的一些示例包含压力、过敏反应、哮喘发作、中风、脱水、中毒或头痛(包含偏头痛)。生理响应的其它示例包含恐惧、惊吓、性唤起、焦虑、欢乐、痛苦或内疚的表现。生理响应的其它实例包含生理信号，诸如用户的心率或呼吸参数的值。可选地，检测生理响应可以涉及以下中的一个或多个：确定用户是否具有/具有过生理响应，识别与生理响应相关联的即将来临的发作，和/或计算生理响应的程度。
在一些实施例中，通过处理落入表征生理响应的某一时间窗口内的热测量，来完成生理响应的检测。例如，取决于生理响应，窗口可以是五秒长、三十秒长、两分钟长、五分钟长、十五分钟长或一小时长。检测生理响应可以涉及分析在多个上述窗口期间进行的热测量，诸如在不同天期间进行的测量。在一些实施例中，计算机可以接收在用户在一天期间穿戴具有耦接的热感相机的HMS时所进行的热测量的流，并且周期性地评估落入某一大小的滑动窗口内的测量。
在一些实施例中，基于在长时段内进行的测量来生成模型。形式为“在不同天期间进行的测量”或“在多于一周内进行的测量”的句子不限于分别跨越不同天或在一周内的连续测量。例如，“在多于一周内进行的测量”可以由配备有热感相机的眼镜进行，热感相机被穿戴多于一周，每天8小时。在该示例中，用户不需要在睡觉时佩戴眼镜以便在多于一周内进行测量。相似地，形式为“在多于5天内，每天至少2小时进行的测量”的句子指代包括在5个不同天内进行的至少10次测量的集合，其中每天至少进行两次测量，进行测量的时间相隔至少两小时。
在一些实施例中，利用长时段进行的测量(例如，在“不同天”进行的测量)可以具有有助于经训练的模型的普遍适用性的优点。在长时段内进行的测量可能包含在不同环境中进行的测量和/或在被测量的用户处于各种生理和/或精神状态时(例如，在用餐之前/之后和/或在被测量的用户处于困倦/精力充沛/快乐/沮丧等时)进行的测量。对这种数据进行模型训练可以改进在现实世界使用中经常遇到的各种环境(与受控的类实验室环境相反)中使用该模型的系统的性能。另外，在长时段内进行测量可以具有使得能够收集一些机器学习方法(例如，“深度学习”)所需的大量训练数据的优点。
检测生理响应可以涉及由计算机执行各种类型的计算。可选地，检测生理响应可以涉及执行以下操作中的一个或多个：将热测量与阈值进行比较(当达到可以指示生理响应发生的阈值时)，将热测量与参考时间序列进行比较，和/或通过执行涉及使用机器学习方法训练的模型的计算。可选地，一个或多个操作被执行针对的热测量是在某一长度的时间窗口期间进行的，该长度可以可选地取决于被检测的生理响应的类型。在一个示例中，窗口可以短于以下持续时间中的一个或多个：五秒、十五秒、一分钟、五分钟、三十分钟、一小时、四小时、一天或一周。在另一个示例中，窗口可以长于前述持续时间中的一个或多个。因此，当在长时段内进行测量(诸如在多于一周的时段内进行测量)时，可以基于落入某一时间附近的某一窗口内的测量的子集，来完成在某一时间的生理响应的检测；在某一时间的检测并不必要涉及利用在整个长时段内收集的全部值。
在一些实施例中，检测用户的生理响应可以涉及利用基线(baseline)热测量值，大部分基线热测量值是当用户没有正在经历生理响应时所进行过的。可选地，检测生理响应可以依赖于对一个或多个ROI处的典型温度(基线)的变化的观察，其中不同的用户可能在ROI处具有不同的典型温度(即，不同的基线)。可选地，检测生理响应可以依赖于对基线水平的变化的观察，该基线水平是基于在在前的分钟和/或小时期间进行的先前的测量来确定的。
在一些实施方案中，检测生理响应涉及确定生理响应的程度，其可以以指示生理响应程度的各种方式表达，诸如：(i)指示用户是否经历过和/或正在经历生理响应的二进制值，(ii)指示生理响应的幅度的数值，(iii)指示生理响应的严重性/程度的分类值，(iv)ROI的热测量(表示为THROI或其某种变体)的预期变化，和/或(v)THROI的变化率。可选地，当生理响应对应于生理信号(例如，心率、呼吸速率和额叶大脑活动的程度)时，生理响应的程度可以被解释为生理信号的值。
在本文中，“机器学习”方法指代使用一种或多种方法从示例中学习。可选地，方法可以被认为是监督的、半监督的和/或无监督的方法。机器学习方法的示例包含：决策树学习、关联规则学习、回归模型、最近邻分类器、人工神经网络、深度学习、归纳逻辑编程、支持向量机、聚类、贝叶斯网络、强化学习、代表学习、相似度和度量学习、稀疏字典学习、遗传算法、基于规则的机器学习和/或学习分类器系统。
在本文中，“基于机器学习的模型”是使用机器学习方法训练的模型。为了简洁起见，有时候，“基于机器学习的模型”可以简称为“模型”。将模型称为“基于机器学习的”旨在指示该模型是使用机器学习方法训练的(否则，“模型”还可以指代由除机器学习之外的方法生成的模型)。
在涉及利用基于机器学习的模型的一些实施例中，计算机被配置为通过基于热测量(以及可能的其它值)和/或基于从其导出的值(例如，测量的统计数据)生成特征值，来检测生理响应。然后，计算机利用基于机器学习的模型，基于特征值来计算指示用户是否和/或在何种程度上正经历(和/或将要经历)生理响应的值。可选地，计算所述值被认为是“检测生理响应”。可选地，由计算机计算的值指示用户具有/具有过生理响应的概率。
在本文中，特征值可以被认为输入到计算机，该计算机利用模型来执行值的计算，例如指示上述生理响应程度的值。应注意，术语“特征”和“特征值”可以当其使用的上下文清楚时互换使用。但是，“特征”通常指代某一类型的值，并且表示属性，而“特征值”是在某一实例(样本)情况下的该属性的值。例如，特征可以是某一ROI处的温度，而对应于该特征的特征值在一个实例中可以是36.9℃且在另一个实例中可以是37.3℃。
在一些实施例中，基于包含样本的数据，来训练用于检测生理响应的基于机器学习的模型。每个样本包含特征值和标签。特征值可以包含各种类型的值。基于在某一时间段期间进行的用户的测量(例如，在某一时间段期间进行的热测量)，来生成样本的至少一些特征值。可选地，一些特征值可以基于本文描述的各种其它信息源。标签指示对应于某一时间段的用户的生理响应。可选地，标签可以指示生理响应是否在某一时段期间发生和/或在某一时段期间生理响应的程度。附加地或可替代地，标签可以指示生理响应持续多长时间。可以使用各种方法来生成样本的标签，诸如用户的自我报告，分析训练数据的专家的注释，分析训练数据和/或分析与训练数据有关的附加数据的计算机的自动注释，和/或利用提供对生成标签有用的数据的附加传感器。应注意，在本文中当陈述基于某些测量来训练模型时(例如，“基于在不同天进行的THROI来训练的模型”)，这意味着在样本上训练该模型，该样本包括基于该某些测量生成的特征值以及对应于该某些测量的标签。可选地，对应于测量的标签指示在测量进行时的生理响应。
可以基于热测量来生成各种类型的特征值。在一个示例中，一些特征值指示某些ROI处的温度。在另一个示例中，其它特征值可以表示某些ROI处的温度变化。温度变化可以相对于某一时间和/或相对于不同的ROI。为了更好地检测需要花费一些时间来表现的生理响应，在一些实施例中，一些特征值可以描述某一ROI处在不同时间点的温度(或温度变化)。可选地，这些特征值可以包含热测量的各种函数和/或统计，诸如在某些时间窗口期间的最小/最大测量值和/或平均值。
应注意，当陈述基于包括多个源的数据来生成特征值时，这意味着对于每个源，存在至少一个基于该源(以及可能的其它数据)生成的特征值。例如，陈述从第一和第二ROI的热测量(分别为THROI1和THROI2)生成特征值，意味着特征值可以包含基于THROI1生成的第一特征值和基于THROI2生成的第二特征值。可选地，当样本包含基于用户的测量生成的特征值时，认为该样本是基于用户的测量(例如，包括THROI1和THROI2的测量)生成的。
除了基于热测量生成的特征值之外，在一些实施例中，可以基于可能影响在各种面部ROI处测量的温度的附加数据源来生成被计算机利用(例如，用以检测生理响应或训练模式)的至少一些特征值。附加源的一些示例包含：(i)环境测量，诸如温度、湿度水平、噪音水平、海拔、空气质量、风速、降水和红外辐射；(ii)上下文信息，诸如一天中的时间(例如，考虑昼夜节律的影响)、一个月中的一天(例如，考虑月球节律的影响)、一年中的一天(例如，考虑季节的影响)和/或月经周期的阶段；(iii)关于被测量的用户的信息，诸如性别、年龄、体重、身高和/或体格。替代地或附加地，可以基于由不是热感相机的传感器获得的用户的生理信号来生成至少一些特征值，诸如可见光相机、光电容积脉搏波(PPG)传感器、心电图(ECG)传感器、脑电图(EEG)传感器、皮肤电响应(GSR)传感器或热敏电阻。
在一些实施例中，可以基于在日常现实世界情形中收集的数据来训练用于检测生理响应的基于机器学习的模型。如此，可以在一天的不同时间、在用户执行各种活动时以及在各种环境条件下收集数据。利用这种多种多样的训练数据可以使得经训练的模型能够更好地适应不同条件可能对热测量值的各种影响，并且因此能够在现实世界日常情形中实现对生理响应的更好检测。
因为现实世界日常条件不总是相同的，所以有时生理响应的检测可能受到本文所称的“混杂因素”的阻碍。混杂因素可能是面部的某些区域变暖和/或变凉的缘由，其与正在被检测的生理响应是无关的，并且正因为如此可能降低生理响应检测的准确度。混杂因素的一些示例包含：(i)环境现象，诸如直射阳光、空调和/或风等；(ii)用户面部上的东西，其并不是通常都在那的和/或不表征大部分用户面部(例如化妆品、软膏、汗水、头发、面部毛发、皮肤瑕疵、痤疮、炎症、穿孔、人体彩绘和食物残渣)；(iii)可能影响用户的心率、血液循环和/或血液分布的身体活动(例如，步行、跑步、跳跃和/或弯腰)；(iv)食用了身体对其具有生理响应的物质，该生理响应可能涉及各种面部ROI处的温度变化，该物质诸如各种药物、酒精、咖啡因、烟草和/或某些类型的食物；和/或(v)扰乱性的面部动作(例如，皱眉、说话、进食、饮水、打喷嚏和咳嗽)。
在热测量中可能并不总是容易识别混杂因素的发生。因此，在一些实施例中，系统可以并入被设计为适应混杂因素的措施。在一些实施例中，这些措施可以涉及生成基于附加传感器(除热感相机之外)的特征值。在一些实施例中，这些措施可以涉及避免检测生理响应，这应该被解释为避免提供用户具有生理响应的指示。例如，如果识别到某一混杂因素(诸如对面部的一侧加热的强的定向太阳光)的发生，则系统可以避免检测用户有中风。在该示例中，即使面部两侧的对称ROI之间的温度差异达到了在其它情况下将保证警告用户的阈值，也可以不警告用户。
在一些实施例中，用于训练用于检测生理响应的模型的训练数据可以包含对应于各种条件的多种多样的样本集合，其中一些条件涉及混杂因素的发生(当不存在生理响应时和/或当存在生理响应时)。具有发生了混杂因素的样本(例如，用户处于直射阳光下或触摸面部)，可以导致在现实世界情况下不易于错误地检测生理响应(其可以被认为是假阳性的发生)的模型。
在训练模型之后，可以提供模型以供检测生理响应的系统使用。提供模型可以涉及执行不同的操作，诸如经由计算机网络和/或共享计算机储存介质将模型转发到系统，将模型储存在系统可以从中检索模型的位置(诸如数据库和/或基于云的储存)，和/或向系统通知关于模型的存在和/或关于模型的更新。
用于检测生理响应的模型可以包含不同类型的参数。以下是可以由计算机相应地执行以便检测生理响应的计算模型和类型的各种可能性的一些示例：(a)模型包括决策树的参数。可选地，计算机模拟沿决策树中的路径的遍历，基于特征值确定要采取的分支。可以在叶节点处获得指示生理响应的值，和/或基于涉及沿路径的节点和/或边缘上的值的计算来获得指示生理响应的值；(b)模型包括回归模型的参数(例如，线性回归模型或逻辑回归模型中的回归系数)。可选地，计算机将特征值(可以认为是回归量)乘以回归模型的参数，以便获得指示生理响应的值；和/或(c)模型包括神经网络的参数。例如，参数可以包含限定至少以下内容的值：(i)不同神经元层之间的互连图案，(ii)互连的权重，以及(iii)将每个神经元的加权输入转换为其输出激活的激活函数。可选地，计算机提供特征值作为神经网络的输入，计算各种激活函数的值并在各层之间传播值，并且从网络获得输出，该输出是指示生理响应的值。
在一些实施例中，可以利用用户界面(UI)来向用户和/或某个其它实体(诸如护理人员)通知生理响应和/或响应于生理响应的程度达到阈值的指示而呈现警报。UI可以包含用于显示通知和/或警报的屏幕、用于播放音频通知的扬声器、触觉UI和/或振动UI。在一些实施例中，关于用户的生理响应的“警告”指代通知以下中的一个或多个：用户通常不具有的生理响应(例如，中风、中毒和/或脱水)的发生，即将来临的生理响应(例如，过敏反应、癫痫发作和/或偏头痛)，以及生理响应的程度达到阈值(例如，压力和/或愤怒达到预定水平)。
用户的面部的热测量可以对于各种应用是有用的，诸如检测可能通过面部上的各个区域的温度变化而表现出的生理响应。生理响应的一些示例包含情绪响应(例如，恐惧和焦虑)或生理信号(例如，心率、呼吸速率和大脑活动)的表现。然而，当人们进行日常活动时，随着时间的推移收集这种数据可能非常困难。典型地，这种数据的收集涉及利用体积大、昂贵且需要连续指向人的面部的热感相机(thermal camera)。此外，由于人们在日常活动中的移动，收集所需的测量经常涉及执行各种复杂的图像分析进程，诸如涉及图像配准和面部跟踪的进程。
基于面部上的区域的热测量来检测生理响应的另一个挑战涉及各种混杂因素的影响，诸如面部移动(例如，面部表情、说话或进食)和面部上存在各种物质(例如，化妆品、面部毛发或汗水)。这些混杂因素可以改变热测量并导致生理响应的检测中的错误。这些混杂因素经常不易从热测量中识别。
因此，需要能够收集人的面部的各个区域的热测量。优选地，将在人执行各种日常活动时的很长一段时间内收集该测量。此外，在基于热测量来检测生理响应的过程中考虑混杂因素可能是有益的。
可以基于面部的各个区域的热测量和图像来检测各种生理响应。在一个实施例中，一种被配置为检测生理响应的系统包含面向内的头戴式热感相机(CAM)、面向内的头戴式可见光相机(VCAM)和计算机。该系统可以可选地包含附加元件，诸如框架和附加相机。
CAM穿戴在用户的头部上并进行用户的面部的第一ROI的热测量(THROI1)。可选地，CAM重量低于10g。可选地，CAM位于距离用户的面部小于15cm。可选地，CAM利用微测辐射热计或热电堆传感器。在一个实施例中，CAM包含焦平面阵列(FPA)传感器和红外透镜，并且根据沙姆定律(Scheimpflug principle)，FPA平面相对于红外透镜平面倾斜多于2°，以便改进ROI1的图像的清晰度(其中透镜平面指代垂直于透镜的光轴的平面，其可以包含一个或多个透镜)。
VCAM穿戴在用户的头部上并拍摄用户的面部上的第二ROI的图像(IMROI2)。可选地，VCAM重量低于10g并位于距离面部小于15cm。可选地，ROI1和ROI2重叠(这意味着扩展以便至少部分地覆盖)。例如，ROI2可以覆盖ROI1所覆盖的区域的至少一半。在一个实施例中，VCAM包含多像素传感器和透镜，并且根据沙姆定律，传感器平面相对于透镜平面倾斜多于2°，以便改进ROI2的图像的清晰度。
应注意，在一些实施例中，系统可以以没有系统部件(包含框架和相机)遮挡ROI1和/或ROI2的方式来构造。在替代实施例中，系统可以以至少一些系统部件(例如，框架和/或CAM)可以遮挡ROI1和/或ROI2的方式来构造。
计算机基于THROI1、IMROI2和模型来检测生理响应。可选地，该模型包含可以与THROI1和/或IMROI2进行比较以便检测生理响应的一个或多个阈值。可选地，该模型包含可以与THROI1和/或IMROI2进行比较以便检测生理响应的一个或多个参考时间序列。可选地，计算机通过基于THROI1和IMROI2来生成特征值并利用该模型基于该特征值来计算指示生理响应的程度的值，从而检测生理响应。在这种情况下，该模型可以称为“基于机器学习的模型”。可选地，基于IMROI2生成的至少一些特征值可以用于识别和/或考虑各种混杂因素，该各种混杂因素可以更改THROI1而不与生理响应直接相关。因此，通常，基于THROI1和IMROI2来检测生理响应比基于THROI1而不基于IMROI2来检测生理响应更准确。
在一个示例中，生理响应指示以下的用户情绪状态中的至少一种的发生：欢乐、恐惧、悲伤和愤怒。在另一个实例中，生理响应指示以下一种或多种的发生：压力、精神负荷、过敏反应、头痛、脱水、中毒和中风。生理响应可以是用户的生理信号。在一个示例中，生理响应是用户的心率，并且在该示例中，ROI1位于颞浅动脉和额颞浅动脉中的至少一个上方的皮肤上。在另一个示例中，生理响应是用户的额叶大脑活动，并且在该示例中，ROI1在前额上。在又一个示例中，生理信号是用户的呼吸速率，并且ROI1在鼻区域上。
用于检测生理响应的基于机器学习的模型典型地是在样本上训练的，其中每个样本包含基于在某一时段期间进行的THROI1和IMROI2而生成的特征值、以及指示用户在该某一时段期间的生理响应的标签。可选地，该模型是在基于用户的测量而生成的样本上训练的(在这种情况下，模型可以被认为是用户的个性化模型)。可选地，该模型是在基于一个或多个其它用户的测量而生成的样本上训练的。可选地，基于在被测量的用户处于不同情况时进行的测量来生成样本。可选地，基于在不同天进行的测量来生成样本。
在一些实施例中，可以利用诸如IMROI2的图像来生成各种类型的特征值，其可以用于检测生理响应和/或检测混杂因素的发生。基于图像而生成的一些特征值可以包含高级别与面部有关的特征值及其衍生物，诸如面部特征和/或标志(landmark)的位置和尺寸、图像序列中的动作单元(AU)的识别、和/或混合变形权重。特征的其它示例包含各种低级别特征，诸如使用Gabor滤波器、局部二值模式(LBP)及其衍生物，诸如SIFT和/或SURF(及其衍生物)的算法、图像关键点、定向梯度的直方图(HOG)描述符以及统计进程(如独立成分分析(ICA)、主成分分析(PCA)或线性判别分析(LDA))而生成的特征。特征值的其它示例可以包含从在不同时间拍摄的多个图像导出的特征，诸如卷局部二进制模式(VLBP)、长方体(Cuboid)和/或基于光学应变的特征。另外，一些特征值可以基于其它数据，诸如基于从头戴式麦克风接收的数据的音频处理而生成的特征值。音频处理可以检测与说话、进食和饮水相关联的噪声，并将其转换为要提供给基于机器学习的模型的特征值。
在一些实施例中，使用THROI1和IMROI2两者来检测生理响应可以赋予一些优点。例如，有时THROI1和IMROI2提供生理响应的互补信号(例如，由于它们能够测量与生理响应有关的不同生理过程的表现)。这可以提高检测的准确度。在检测到的生理响应是情绪响应的一个实施例中，计算机可以从IMROI2识别面部表情，并基于THROI1和所识别的面部表情来检测用户的情绪响应。例如，基于IMROI2而生成的、被用于检测情绪响应的至少一些特征值指示面部表情。可选地，通常，基于THROI1和所识别的面部表情两者来检测情绪响应比基于THROI1或所识别的面部表情中的任一个来检测情绪响应更准确。
以下是如何利用IMROI2来帮助更准确地检测生理响应的一些具体示例。在一个示例中，ROI1和ROI2在嘴上，并且IMROI2指示在某一时段期间面部表情的变化，该变化涉及从唇相接触的面部表情到张开嘴的面部表情的转变。可选地，通过利用IMROI2基于在该某一时段期间进行的THROI1来检测生理响应，计算机可以能够将THROI1的变化归因于张开嘴而不是唇温度的变化。
在另一个示例中，ROI1和ROI2在鼻子和上唇上，并且IMROI2指示在某一时段期间面部表情的变化，该变化涉及从中性面部表情到厌恶面部表情的转变。可选地，通过利用IMROI2基于在该某一时段期间进行的THROI1来检测生理响应，计算机可以将THROI1的变化归因于上唇抬高和鼻子起皱而不是鼻子和上唇温度的变化。
在又一示例中，ROI1和ROI2在用户的前额上，位于用户的至少一条眉毛上方约1cm处，并且IMROI2指示在某一时段期间面部表情的变化，该变化涉及从中性表情到涉及眉毛抬高的面部表情的转变。可选地，通过利用IMROI2基于在该某一时段期间进行的THROI1来检测生理响应，计算机可以将THROI1的变化归因于抬高眉毛而不是前额温度的变化。
应注意，存在本领域中已知的各种方法用于从图像中识别面部表情。虽然这些方法中的许多方法最初是为完整面部正面图像设计的，但是本领域技术人员将认识到，为完整面部正面图像设计的算法可以容易地适用于使用本文所述的面向内的头戴式可见光相机所获得的图像。例如，现有技术参考文献中描述的各种机器学习技术可以应用于从图像中提取的特征值，所述图像包含面部的、来自不直接位于用户前面的取向的部分。此外，由于VCAM与面部接近，在通过本文所述的系统所获得的图像中，面部特征通常是较大的。此外，当使用面向内的头戴式相机时，诸如图像配准和面部跟踪等挑战极大地简化并且可能不存在。参考文献：Zeng Zhihong等人的“A survey of affect recognition methods:Audio,visual,and spontaneous expressions”，IEEE模式分析与机器智能会刊，2009年1月31日:第39-58页，其描述了可以用于该任务的一些算法方法。
在一些实施例中，THROI1和IMROI2可以提供关于生理响应的不同的并且甚至可能矛盾的指示。特别地，面部表情可能并不总是表达用户的真正感受。例如，当与其它人在一起时，用户可以通过做出非真实的面部表情来隐藏他或她的真正感受。然而，同时，用户的面部的热测量可以揭示用户的真正情绪。因此，仅依赖于IMROI2来确定用户的情绪响应的系统有时可能是错误的，并且使用THROI1可以帮助使检测更准确。
在一个示例中，响应于接收在用户表达某种面部表情的第一时段期间进行的THROI1和IMROI2的第一集合，计算机检测到用户的第一情绪响应。此外，响应于接收在用户再次表达该某一面部表情的第二时段期间进行的THROI1和IMROI2的第二集合，计算机检测到与第一情绪响应不同的用户的第二情绪响应。在该示例中，计算机检测到不同的情绪响应，因为第一集合的THROI1指示达到阈值的第一生理响应，而第二集合的THROI1指示未达到该阈值的第二生理响应。以下是可能发生这种情况的一些更详细的示例。
在一个示例中，第一集合包含指示面部表情是微笑的IMROI2以及指示压力低于某一阈值的THROI1，并且计算机检测到的第一情绪响应是快乐。该示例中的第二集合包含指示面部表情是微笑的IMROI2以及指示压力高于该某一阈值的THROI1，并且计算机检测到的第二情绪响应是不舒适。
在一个示例中，第一集合包含指示面部表情是中性表情的IMROI2以及指示压力低于某一阈值的THROI1，并且计算机检测到的第一情绪响应是舒适。第二集合包含指示面部表情是中性的IMROI2以及指示压力高于该某一阈值的THROI1，并且计算机检测到的第二情绪响应是隐藏。
在又一个示例中，第一集合包含指示面部表情是愤怒表情的IMROI2以及指示压力高于某一阈值的THROI1，并且计算机检测到的第一情绪响应是愤怒。第二集合包括指示面部表情是愤怒表情的IMROI2以及指示压力低于该某一阈值的THROI1，并且计算机检测到的第二情绪响应指示假装愤怒。
在图20a和图20b中图示了与在面部表情中可见的情绪响应相比，基于热测量做出了不同的检测的现象。图示的图包含具有CAM 514和VCAM 515的HMS，其可以覆盖面颊、嘴和/或鼻子的部分。图20a图示了用户的笑面可能被误认为是快乐的情况；然而，冷的鼻子指示用户实际上是有压力的。图20b图示了面部表情指示用户处于中性状态的情况；然而，暖的鼻子指示用户是兴奋的。图20a和图20b还图示了第二CAM 516和第二VCAM 517，其可以用于一些实施例，如本文所述。
图21图示了智能手机应用的一个实施例，其向用户提供关于他/她对其他人看起来是怎样的反馈。图示的应用示出了用户快乐96次和愤怒20次。因为该应用的目的是测量用户对其他人看起来是怎样的，所以计算机基于IMROI2来对面部表情计数而不根据THROI1来校正面部表情。
图22图示了平板电脑应用的一个实施例，其向用户提供关于他/她在某一时段(例如，在一天期间，在一周期间，或在某一位置时)的感受的反馈。图示的应用示出了用户感到悲伤56分钟和感到快乐135分钟。因为该应用的目的是测量用户的感受(而不仅仅是用户对其他人看起来是怎样的)，所以计算机基于IMROI2和THROI1的组合分析来确定用户的情绪状态，如上所例示的。
在一个实施例中，该系统可以包含第二面向内的头戴式热感相机(CAM2)，其进行面部上的第三ROI的热测量(THROI3)。可选地，CAM2重量低于10g并物理地耦接到框架。可选地，ROI1的中心位于第三感兴趣区域(ROI3)的中心的右侧，并且ROI1与ROI3之间的对称重叠高于50％。可选地，为了检测生理响应，计算机基于THROI1与THROI3之间的差异来考虑面部热不对称性。
应注意，相对于将面部划分为右部分和左部分的垂直对称轴来考虑对称重叠。可以通过比较ROI1与ROI3的镜像之间的重叠，来观察ROI1与ROI3之间的对称重叠，其中镜像相对于垂直于面部前方的镜子，该镜子与脸部的交点沿着该垂直对称轴(其穿过前额的中间和鼻子的中间)。
可以由计算机执行以考虑热不对称性的一些计算示例包含：(i)利用与THROI1和THROI3进行比较的不同的阈值；(ii)利用与THROI1和THROI3进行比较的不同的参考时间序列；(iii)利用为第一和第二事件提供不同的结果的基于机器学习的模型，该第一和第二事件涉及在THROI1和THROI3中相同的平均变化但在THROI1和THROI3中不同的不对称性程度；以及(iv)利用不对称性来区分(a)THROI1与THROI3中与生理响应有关的温度变化和(b)THROI1与THROI3中与生理响应无关的温度变化。
在一个实施例中，该系统可以包含第二面向内的头戴式可见光相机(VCAM2)，其拍摄面部上的第三ROI的图像(IMROI3)。可选地，CAM2重量低于10g并物理地耦接到框架。可选地，VCAM和VCAM2分别位于划分面部的垂直对称轴的右侧和左侧至少0.5cm处，并且ROI2与ROI3之间的对称重叠高于50％。可选地，计算机还基于IMROI3来检测生理响应。例如，计算机可以基于IMROI3来生成一些特征值，其可以相似于基于IMROI2生成的特征值，并且在生理响应的检测中利用该些特征值。在另一个示例中，计算机基于从IMROI2和IMROI3中提取的对称面部元素之间的对称程度，来检测生理响应。
在一些实施例中，IMROI2可以包含可识别的面部皮肤颜色变化(FSCC)。FSCC典型地是用户面部皮肤下血红蛋白浓度水平和血液氧合浓度水平变化的结果，并且在本公开的其它地方更详细地讨论。在一个实施例中，计算机基于IMROI2来计算指示FSCC的值，并基于所计算的值来检测用户的情绪状态。可选地，通常，基于THROI1和FSCC两者来检测生理响应比基于THROI1或FSCC中任一个来检测生理响应更准确。在另一个实施例中，计算机生成指示IMROI2中的FSCC的特征值，并利用模型基于该特征值来检测生理响应。可选地，基于THROI1来生成至少一些特征值。可选地，基于样本来训练模型，其中每个样本包含基于用户的相应测量而生成的特征值以及指示生理响应的标签。可选地，标签可以例如从用户语音/书写的分析、面部表情分析、语音情绪分析和/或从分析皮肤电反应(GSR)和心率变异性(HRV)提取的情绪而导出。
在一些实施例中，可以利用IMROI2来检测可以影响面部温度但与正被检测的生理响应无关的混杂因素的发生。因此，混杂因素的发生可以降低基于热测量(例如基于THROI1)来检测生理响应的准确度。可以利用本领域已知的各种图像处理和/或图像分析技术，来完成下面描述的检测混杂因素的发生(化妆品、汗水、毛发、炎症和触摸)。例如，下面描述的检测至少一些混杂因素的发生可以涉及被训练以检测混杂因素的机器学习算法，和/或将IMROI2与涉及和不涉及混杂因素的参考图像(例如，面部涂抹化妆品的参考IMROI2的第一集合、以及面部几乎没有化妆品的参考IMROI2的第二集合)进行比较。
计算机可以以各种方式利用混杂因素的检测，以便改进基于THROI1对生理响应的检测。在一个实施例中，计算机可以响应于识别出某一混杂因素的程度达到阈值而避免做出生理响应检测。例如，如果在面部上有大量的面部毛发或大量的皮肤炎症，则可能检测不到某些生理响应。在另一个实施例中，用于检测生理响应的模型可以包含对应于某一混杂因素的某一特征，并且计算机可以生成指示该某一混杂因素的程度的某一特征值。可选地，在这种情况下的模型可以在该某一特征具有不同的值的样本上训练，诸如用于训练模型的一些样本是基于在发生该某一混杂因素时进行的测量而生成的，并且用于训练模型的其它样本是基于在没有发生该某一混杂因素时进行的测量而生成的。在又一个实施例中，计算机可以基于混杂因素的发生来对测量加权，使得在某些混杂因素发生时进行的测量可以被赋予比在没有发生该某一混杂因素时进行的测量更低的权重。可选地，测量的较低权重意味着它们对生理响应的检测的影响小于具有较高权重的测量。以下是在一些实施例中基于IMROI2可以检测到的混杂因素的一些示例。
一些类型的化妆品(例如，化妆品和/或面霜)可以遮掩ROI，影响ROI的辐射率(emissivity)，和/或影响ROI的温度。因此，将化妆品考虑为混杂因素可以改进系统检测生理响应的能力。在一个实施例中，可以在以下样本上训练模型：基于在化妆品涂抹到ROI1与ROI2之间的重叠区域的一部分之后进行的THROI1和拍摄的IMROI2的第一集合而生成的样本、以及基于在重叠区域几乎没有化妆品时进行的THROI1和拍摄的IMROI2的第二集合而生成的其它样本。可选地，利用该模型可以使得计算机能够考虑ROI2的一部分上化妆品的存在。
出汗可能会影响ROI的辐射率。因此，将出汗考虑为混杂因素可以改进系统检测生理响应的能力。在一个实施方案中，可以在以下样本上训练模型：从在ROI1与ROI2之间的重叠区域的一部分上检测到汗水时进行的THROI1和拍摄的IMROI2的第一集合而生成的样本、以及在重叠区域上没有检测到汗水时进行的THROI1和拍摄的IMROI2的第二集合而生成的另外的样本。可选地，利用该模型可以使得计算机能够考虑重叠区域上的汗水。
稠密的毛发可能影响ROI的辐射率，这可能会使热成像中的ROI显得比实际更冷。因此，将毛发密度和/或毛发长度(二者均称为毛发密度)考虑为混杂因素可以改进系统检测生理响应的能力。在一个实施方案中，可以在以下样本上训练模型：从在ROI1与ROI2之间的重叠区域的一部分上的毛发密度处于第一水平时进行的THROI1和拍摄的IMROI2的第一集合而生成的样本、以及从在ROI1与ROI2之间的重叠区域的一部分上的毛发密度处于高于第一水平的第二水平时进行的THROI1和拍摄的IMROI2的第二集合而生成的另外的样本。可选地，利用如此训练的模型可以使得计算机能够考虑重叠区域上的毛发。
在另一个实施例中，当可以移动头发时，系统可以请求用户移动她的头发以使得热感相机能够进行正确的测量。例如，图26a图示了第一种情况，其中用户的头发不遮挡前额。图26b图示了第二种情况，其中用户的头发遮挡前额，并且因此系统请求用户移动头发以便使得能够正确测量前额。
皮肤炎症(其可能包含皮肤瑕疵、痤疮和/或炎症性皮肤病)通常以与正被检测的生理响应无关的方式增加ROI温度。因此，将皮肤炎症考虑为混杂因素可以改进系统检测生理响应的能力。图24a图示了由于窦炎造成的对ROI的加热，系统检测到该生理响应(窦炎)。另一方面，图24b示出了由于痤疮造成的对相同ROI的加热，系统检测到窦炎。在一个实施方案中，可以在以下样本上训练模型：从在ROI1与ROI2之间的重叠区域的一部分上检测到皮肤炎症时进行的THROI1和拍摄的IMROI2的第一集合而生成的样本、以及在重叠区域上未检测到皮肤炎症时进行的THROI1和拍摄的IMROI2的第二集合而生成的另外的样本。可选地，利用如此训练的模型可以使得计算机能够考虑重叠区域上的皮肤炎症。
触摸ROI可以通过增加或降低触摸区域的温度来影响THROI。因此，触摸ROI可以被认为是混杂因素，其可以使检测生理响应不那么准确。在一个实施例中，可以在以下样本上训练模型：从在检测到用户触摸在ROI1与ROI2之间的重叠区域的一部分时进行的THROI1和拍摄的IMROI2的第一集合而生成的样本、以及从在检测到用户没有触摸该重叠区域时进行的THROI1和拍摄的IMROI2的第二集合而生成的另外的样本。可选地，利用如此训练的模型可以使得计算机能够考虑触摸重叠区域。
图25a和图25b图示了当用户触摸他/她的面部时提供指示的系统的一个实施例。该系统包含框架533，能够检测触摸面部的头戴式传感器(530，531，532)，以及头戴式热感相机(534，535，536，537)。可选地，头戴式传感器是可见光相机，其拍摄ROI的图像。头戴式传感器530捕获框架上方的ROI，并且头戴式传感器531和532捕获框架下方的ROI。由热感相机534测量的热点538是由触摸前额引起的并与正被检测的生理响应无关。在检测到触摸ROI时，与假设未检测到触摸的情况下使用相关联的热测量相比，计算机可以不同地使用该相关联的热测量。附加地或可替代地，用户界面可以提供触摸ROI阻碍生理响应的检测的指示。
在整个日常活动中，用户可以进行与正被检测的生理响应无关的各种面部移动，并且因此可能消极地影响CAM进行的热测量。这可能导致可能错误地归因于生理响应的测量。为了解决这个问题，计算机可以识别扰乱性活动(诸如说话、进食和饮水)，并且利用所识别的扰乱性活动以更准确地检测生理响应。在一个实施例中，计算机利用基于机器学习的方法来处理扰乱性活动。该方法可以包含(i)基于IMROI2来识别一种或多种扰乱性活动的发生，(ii)基于所识别的扰乱性活动来生成特征值，以及(iii)利用基于机器学习的模型基于该特征值和从THROI1生成的特征值来检测生理响应。
除了检测生理响应之外，在一些实施例中，计算机可以利用IMROI2来生成用户的替身(avatar)(例如，以便在虚拟环境中表示用户)。可选地，替身可以表达基于IMROI2检测到的用户的情绪响应。可选地，计算机可以修改替身以示出未在用户的实际面部表情中表现的合成面部表情，但是合成面部表情对应于基于THROI1检测到的情绪响应。在共同未决的美国专利公开2016/0360970中描述了可以用于基于IMROI2来生成替身的各种方法中的一些方法。
面部的热测量可以用于各种应用，其包含各种生理响应和/或医学条件的检测。然而，当在不受控的现实生活情形中进行时，热测量可能受到各种内在和外在因素的影响。这种因素的一些示例包含指向面部的红外辐射(例如，阳光)、风、与面部的物理接触(例如，使用手触摸面部)、以及诸如各种药物、酒精、咖啡因和尼古丁的物质的食用。尽管这些因素可能与正被检测的生理响应和/或医学条件无关，但它们仍可能影响面部上各种感兴趣区域的温度。因此，这些因素可以被认为是妨碍生理响应和/或医学条件的检测的混杂因素。因此，系统需要利用在现实生活情形中收集的热测量，来考虑可能更改热测量的各种内在和/或外在因素，以便避免这种因素可能对各种应用的热测量的效用产生不利影响。
以下是基于面向内的头戴式热感相机(CAMin)、面向外的头戴式热感相机(CAMout)和计算机来检测生理响应的系统的描述。CAMout测量环境并生成指示混杂因素的数据，诸如直射阳光或空调。与不考虑这些混杂因素的系统相比，考虑混杂因素使得系统能够更准确地检测生理响应。可选地，CAMin和/或CAMout物理地耦接到穿戴在用户的头部上的框架，诸如一副眼镜或增强现实设备的框架。可选地，CAMin和CAMout中的每个重量低于5g并距离用户的面部小于15cm。
CAMin进行用户的面部上的ROI的热测量(THROI)。可选地，CAMin不遮挡ROI。在一个示例中，ROI包含前额上的区域，并且生理响应涉及压力、头痛和/或中风。在另一个实例中，ROI包含鼻子上的区域，并且生理响应是过敏反应。
CAMout进行环境的热测量(THENV)。可选地，CAMout不遮挡ROI。可选地，CAMin与CAMout的光轴之间的角度为至少45°、90°、130°、170°或180°。可选地，CAMin的视场(FOV)大于CAMout的FOV，和/或CAMin的噪声等效温差(NEDT)低于CAMout的NEDT。在一个示例中，CAMin具有小于80°的FOV并且CAMout具有大于80°的FOV。在另一个示例中，CAMin具有比CAMout更多的感测元件(例如，CAMin的像素数目至少是CAMout的两倍)。
在一个实施例中，CAMin和CAMout基于具有相似操作参数的相同类型的传感器。可选地，CAMin和CAMout位于相距小于5cm或1cm。具有彼此靠近的相同类型的传感器可以具有使CAMin和CAMout两者受到相似的不准确性的优点，该相似的不准确性由热传导和封装温度产生。在另一个实施例中，CAMin和CAMout可以基于具有不同操作参数的不同类型的传感器。例如，CAMin可以基于微测辐射热计FPA，而CAMout可以基于热电堆(其可能比微测辐射热计更便宜)。
图27a图示了系统的一个实施例，该系统在框架的两侧均包含面向内和面向外的头戴式热感相机。在该图示中，CAMin是面向内的热感相机12，其进行ROI 13的热测量，而CAMout是面向外的热感相机62。与覆盖ROI 13的CAMin的FOV相比，弧64图示了CAMout 62的更大的FOV。所示实施例包含在框架右侧的第二头戴式热感相机10(CAMin2)，其进行ROI 11的热测量，以及第二面向外的头戴式热感相机63(CAMout2)。图27b图示了在GUI(在所示的膝上型计算机上)上接收用户被监测未处于直射阳光中的指示。相机520和521是面向外的头戴式热感相机。
计算机基于THROI和THENV来检测生理响应。可选地，THENV被用于考虑从环境传递到ROI的热量的至少一些影响(而不是由于用户的生理响应造成的)。因此，通常，基于THROI和THENV来检测生理响应可以比基于THROI而不基于THENV来检测生理响应更准确。
存在计算机可以利用THENV来提高检测生理响应的准确度的各种方式。在一个实施例中，计算机基于THROI和THENV的集合来生成特征值，并且利用基于机器学习的模型基于该特征值来检测生理响应。通过利用THENV来生成一个或多个特征值，计算机可以基于在不相似的环境中进行的相似THROI来对生理响应做出不同的检测。例如，响应于接收测量的第一集合，其中THROI达到第一阈值而THENV没有达到第二阈值，计算机检测出生理响应。然而，响应于接收测量的第二集合，其中THROI达到第一阈值而THENV达到第二阈值，计算机不检测出生理响应。可选地，THENV达到第二阈值指示用户暴露于预期会干扰到检测的高的红外辐射。
在另一个实施例中，计算机可以利用THENV来选择适合于检测生理响应的值。在一个示例中，计算机可以选择不同的阈值(与THROI进行比较)用以检测生理响应。在该示例中，不同的THENV可以使计算机使用不同的阈值。在另一个示例中，计算机可以利用THENV来选择适当的参考时间序列(可以与THROI进行比较)用以检测生理响应。在又一个示例中，计算机可以利用THENV来选择要利用的适当的模型，以基于基于THROI生成的特征值来检测生理响应。
在又一个实施例中，计算机可以基于THENV来归一化THROI。在一个示例中，归一化可以涉及从THROI中减去与THENV成比例的值，使得基于此时和/或与此时接近的时间的环境温度(例如，使用前一分钟的平均环境温度)来调整ROI处的温度值。附加地或可替代地，计算机可以基于THENV来调整与至少一些THROI相关联的权重，使得减小THROI之中的、在环境的测量指示极端环境温度时间期间进行的测量的权重。
在又一个实施例中，响应于确定THENV表示极端温度(例如，低于5℃、高于35℃、或被认为是不适当温度的一些其它范围)，计算机可以避免执行生理响应的检测。这样，计算机可以避免由于极端环境温度的影响而做出高风险错误的预测。以相似的方式，代替确定THENV表示极端温度，计算机可以确定THROI与THENV之间的差异不在可接受的范围内(例如，两者之间的差异多于15℃)，并且避免在该事件中做出生理响应的检测。
因为CAMout的FOV是有限的并且CAMout在远离光轴时的响应度降低，所以利用指向不同角度的两个或更多个CAMout可能是有益的。
在一个实施例中，该系统可以包含第二面向外的头戴式热感相机(CAMout2)，其进行环境的热测量(THENV2)。可选地，CAMout与CAMout2的光轴之间存在至少30°的角度。利用两个或更多个面向外的头戴式热感相机(诸如CAMout和CAMout2)可以帮助识别存在定向型环境干扰的情况(例如，来自某一方向的阳光)。在一些情况下，这种定向型干扰可以导致避免做出生理响应的检测。例如，响应于接收THROI达到第一阈值而THENV与THENV2之间的差异没有达到第二阈值的测量的第一集合，计算机检测出生理响应。然而，响应于接收THROI达到第一阈值而THENV与THENV2之间的差异达到第二阈值的测量的第二集合，计算机未检测出生理响应。可选地，计算机基于THROI、THENV与THENV2之间的差异，同时考虑CAMout与CAMout2的光轴之间的角度以及作为离CAMout和CAMout2中的每个的光轴的角度的函数的响应度的曲线图，来检测生理响应。
在另一个实施例中，CAMin和CAMout位于划分用户的面部的垂直对称轴的右侧，并且ROI在面部的右侧上。可选地，该系统包含位于垂直对称轴的左侧的第二面向内的头戴式热感相机(CAMin2)和第二面向外的头戴式热感相机(CAMout2)。CAMin2进行面部左侧上的第二ROI的热测量(THROI2)，并且不遮挡第二ROI(ROI2)。CAMout2进行相对于THENV更左侧的环境的热测量(THENV2)。在该实施例中，计算机还基于THROI2和THENV2来检测生理响应。
在又一个实施例中，CAMin和CAMout的光轴在法兰克福水平面上方，并且该系统进一步包含第二面向内的头戴式热感相机(CAMin2)和第二面向外的头戴式热感相机(CAMout2)，其光轴位于法兰克福水平面下方，分别进行热测量THROI2和THENV2。在该实施例中，计算机还基于THROI2和THENV2来检测生理响应。
可选地，计算机通过执行以下计算中的至少一个来检测生理响应：(i)当THENV与THENV2之间的差异达到阈值时，计算机将THROI和THROI2不同地归一化，以抵抗来自环境的热干扰，(ii)当THENV没有达到热环境干扰的预定阈值而THENV2达到预定阈值时，计算机为THROI分配比THROI2更高的权重以检测生理响应，以及(iii)计算机基于THROI、THENV、THENV2和可选的THROI2来生成特征值，并利用模型基于该特征值来检测生理响应。可选地，基于以下来训练该模型：一个或多个用户的THROI、THROI2、THENV和THENV2的第一集合，其是在该一个或多个用户具有生理响应时进行的；一个或多个用户的THROI、THROI2、THENV和THENV2的第二集合，其是在该一个或多个用户不具有生理响应时进行的。
除了具有一个或多个CAMout之外，或者代替具有一个或多个CAMout，一些实施例可以包含可以用于解决各种其它混杂因素(诸如用户移动和风)的传感器，这将在下面讨论。可选地，传感器耦接到穿戴在用户的头部上的框架。这种传感器的一个示例是图27a中的传感器68。
在一个实施例中，传感器进行测量(表示为mconf)，其指示用户活动的程度、用户的头部的取向和/或用户的身体位置的变化。例如，传感器可以是(i)移动传感器，其物理地耦接到穿戴在用户的头部上的框架，或者耦接到用户穿戴的可穿戴设备，(ii)可见光相机，其拍摄用户的图像，和/或(iii)有源3D跟踪设备，其发射电磁波并基于接收到的所发射的电磁波的反射来生成3D图像。可选地，计算机还基于mconf来检测生理响应。在一个示例中，如果mconf达到阈值(其可以指示用户非常活跃从而引起体温升高)，则计算机可以避免检测生理响应。在另一个示例中，计算机基于THROI、THENV和mconf来生成特征值，并且利用模型基于该特征值来检测生理响应。可选地，基于在用户具有不同的活动水平时进行的先前的THROI、THENV和mconf来训练该模型。例如，可以基于以下来训练模型：在用户步行或跑步时进行的先前的THROI、THENV和mconf的第一集合、以及在用户坐着或站立时进行的先前的THROI、THENV和mconf的第二集合。
以下是在考虑混杂物质的食用时检测生理响应的系统的描述。当一个人食用混杂物质时，它可能影响人的面部上的ROI的热测量(THROI)。对THROI的影响可以归因于可以在食用混杂物质后接着发生的各种生理和/或代谢过程，这可以导致以与正被检测的生理响应无关的方式而升高或降低ROI的温度(以及可能的其它影响)。因此，该系统的实施例利用指示混杂物质(诸如药物、酒精饮料、含咖啡因饮料和/或香烟)的食用的指示，来改进系统的检测准确度。在一个实施例中，该系统包含CAM和计算机。
CAM穿戴在用户的头部上并进行用户的面部的ROI的热测量(THROI)。可选地，系统包含CAM和设备物理耦接到的框架。可选地，CAM位于距离面部小于15cm和/或重量低于10g。
在不同的实施例中，ROI可以覆盖面部上的不同区域，并且CAM可以位于穿戴在用户的头部上的框架上的不同位置处和/或可以位于距离用户的面部不同的距离处。在一个实施例中，ROI在前额上，并且CAM物理地耦接到眼镜框架，位于ROI下方，并且不遮挡ROI。可选地，在该实施例中检测的生理响应是压力、头痛和/或中风。在另一个实施例中，ROI在眶周区域上，并且CAM位于距离ROI小于10cm。可选地，在该实施例中检测的生理响应是压力。在又一个实施例中，ROI在鼻子上，并且CAM物理地耦接到眼镜框架并且距离面部小于10cm。可选地，在该实施例中检测的生理响应是过敏反应。在又一个实施例中，ROI在鼻孔下方，并且CAM：物理地耦接到眼镜框架，位于ROI上方，并且不遮挡ROI。可选地，ROI覆盖上唇、嘴上的一个或多个区域和/或来自鼻子和/或嘴的呼气流所流过的(一个或多个)空气体积，并且在该实施例中检测的生理响应是呼吸参数，诸如用户的呼吸速率。
计算机可以从设备接收指示食用预期会影响THROI的混杂物质(诸如酒精饮料、药物、咖啡因和/或香烟)的指示。在不同的实施例中，可以利用各种类型的设备，以便识别各种混杂物质的食用。
在一个实施例中，设备包含可见光相机，其拍摄用户和/或用户环境的图像。可选地，可见光相机是头戴式可见光相机，其在其视场中具有从用户的嘴突出的体积。可选地，计算机基于对图像分析来识别混杂物质的食用。在一个示例中，可见光相机可以属于基于相机的系统，诸如OrCam(http://www.orcam.com/)，其用于识别各种对象、产品、面部和/或识别文本。在另一个示例中，可以利用由可见光相机捕获的图像来确定用户食用的食物的营养成分。Noronha等人的“Platemate:crowdsourcing nutritional analysis from foodphotographs”，第24届ACM用户界面软件与技术年度研讨会会刊,ACM,2011年，其中描述了这种利用膳食图像来生成食物摄入和膳食成分估计的方法。在专利US 9053483(Personalaudio/visual system providing allergy awareness)和专利US 9189021(Wearablefood nutrition feedback system)中给出了如何利用可见光相机来识别各种物质的食用的其它示例。
在另一个实施例中，该设备包含对用户录音的麦克风，并且计算机利用对用户的录音操作的声音识别算法来识别混杂物质的食用。可选地，声音识别算法包括语音识别算法，其被配置为识别指示食用混杂物质的词语。
在又一个实施例中，混杂物质是药物，并且该设备包含药片分配器(dispenser)，其提供指示用户服用了药物的指示。可选地，该指示指示药物的类型和/或其剂量。
在又一个实施例中，该设备是冰箱、食品室和/或服务机器人。可选地，该设备提供指示用户饮用酒精饮料和/或食品的指示。
在又一个实施例中，该设备具有物联网(IoT)能力，通过该能力将指示提供给系统。例如，该设备可以是具有网络连接的“智能设备”的一部分。
并且在又一个实施例中，该设备属于用户界面，该用户界面从用户或/或第三方接收关于食用混杂物质的指示。
由于各种代谢和/或其它生理过程，混杂物质的食用可能影响THROI。例如，已知许多药品作用于下丘脑和其它控制身体体温调节系统时所涉及的脑中心。在本文中，“混杂物质影响THROI”的陈述意味着食用该混杂物质导致ROI处的可测量的温度变化，如果没有食用该混杂物质，则可能不发生该可测量的温度变化。相似地，“混杂物质不影响THROI”的时间是自上次食用混杂物质(或根本没有食用)以来经过至少某一持续时间并且混杂物质的食用预期不再对ROI温度具有显著影响之后发生的时间。该某一持续时间可以取决于诸如物质类型、食用量和先前的食用模式之类的因素。例如，某一持续时间可以至少是：30分钟、两小时或一天。
混杂物质的影响的持续时间可能因物质而异，并且可能取决于各种因素，诸如物质的量、性别、体重、遗传特性和用户的状态。例如，空腹饮用酒精经常对THROI的影响大于用餐时饮用酒精。一些混杂物质可能具有持久的影响，可能贯穿摄取它们的时段。例如，激素类避孕药可以显著更改日常体温。其它混杂因素(诸如咖啡因和尼古丁)可能具有较短的持续影响，典型地在食用它们后少于一小时或两小时内消退。
计算机基于THROI和该指示食用混杂物质的指示来检测生理响应。在一个实施例中，计算机避免在某一窗口内检测生理响应，在该某一窗口期间混杂物质影响用户(例如，一小时、两小时或四小时)。在另一个实施例中，除了THROI和该指示之外，计算机还利用模型来检测用户在食用的混杂物质影响THROI期间是否具有生理响应。可选地，计算机通过基于THROI和该指示(以及可能的其它数据源)生成特征值，并且利用该模型基于该特征值来计算指示生理响应程度的值，来检测生理响应。可选地，特征值包含指示以下中的一个或多个的特征值：食用的混杂物质的量、食用的混杂物质的剂量、自上次食用混杂物质以来经过的时间、和/或已食用混杂因素的持续时间(例如，用户已服用某一药物多长时间)。
在一个实施例中，基于从用户和/或其它用户收集的数据来训练模型，其包含THROI、上述指示以及表示对应于进行THROI时的生理响应的值。可选地，将数据用于生成样本，其中每个样本包括特征值和标签。每个样本的特征值是基于在某一时段期间进行的THROI以及指示混杂物质是否影响在该某一时段期间进行的THROI的指示来生成的。样本的标签是基于表示生理响应的一个或多个值来生成的，并且指示被测量的用户在该某一时段期间是否(以及可选地在何种程度上)具有生理响应。可选地，用于训练模型的数据反映了受到混杂物质的影响和不受混杂物质的影响两者。例如，用于训练模型的数据可以包含：在混杂物质影响THROI时进行的THROI的第一集合、以及在混杂物质不影响THROI时进行的THROI的第二集合。可选地，第一和第二集合中的每个包括在被测量的用户具有生理响应时进行的至少一些THROI、以及在被测量的用户不具有生理响应时进行的至少一些THROI。
使用该指示(指示用户食用混杂物质)可能导致生理响应的检测取决于混杂物质是否被食用的情况。在一个示例中，其中当THROI达到阈值时检测到生理响应，计算机的检测行为可以如下：计算机基于第一THROI检测出生理响应，对于该第一THROI不存在指示第一THROI受到食用混杂物质的影响的指示，并且第一THROI达到阈值；计算机基于第二THROI未检测出生理响应，对于该第二THROI存在指示第二THROI受到食用混杂物质的影响的指示，并且第二THROI也达到阈值；以及计算机基于第三THROI检测出生理响应，对于该第三THROI不存在指示第三THROI受到食用混杂物质的影响的指示，并且第三THROI没有达到阈值。
以下三个图图示了警报的发出取决于混杂物质的食用的情形。图28图示了饮用酒精对某一THROI的影响通常在用户的典型的持续时间(例如，该持续时间基于用户的先前的测量)之后降低。因此，当影响仍然高时可能存在问题，并且系统可以发出警报。该图图示了面向外的可见光相机525，其生成指示用户何时饮用酒精饮料的指示。
图29图示了在用户吸烟时某一THROI的通常增加。系统识别用户何时吸烟(例如，基于由面向外的可见光相机525拍摄的图像)，并且因为THROI的增加是吸烟引起的而不警告。然而，当用户并未在某一时间内吸烟而温度升高时，则可能表明存在问题，并且可能需要警告用户。
图30图示了基于用户的先前的THROI，在用户服用药物之后某一THROI的预期的降低。系统识别药物何时被服用，并且在那些时间不生成警报。然而，当在没有服用药物的情况下THROI下降时，它可以指示应该使用户意识到的生理响应。
通过人的面部的各个区域的变化表现出许多生理响应。例如，测量温度和/或温度变化可以帮助确定人感觉到的压力量，或者人的过敏反应程度。在另一个示例中，测量面部的区域处的温度可以帮助确定用户的感受，例如，用户是否紧张、平静或快乐。相似地，可以分析面部的可见光图像以确定情绪响应和各种生理信号。
因此，监测和分析面部对于许多与健康有关和与生活记录有关的应用是有用的。然而，当人们进行日常活动时，随着时间的推移收集这种数据可能非常困难。通常，收集这种数据涉及利用需要持续指向人的面部的相机，该相机可能体积大、不美观和/或昂贵。此外，由于人们在日常活动中的移动，收集所需的测量经常涉及执行各种复杂的图像分析进程，诸如涉及图像配准和面部跟踪的进程。
因此，由于它们可以使得许多应用成为可能，因此需要能够收集人的面部的各个区域的图像(例如，可见光图像和/或热测量)。优选地，应该在不需要大量劳动或使人感到不舒适的情况下收集这些图像。
许多人在日常生活中出于各种原因佩戴眼镜，诸如视力矫正或防止过度日照。眼镜典型地不包含测量穿戴者的传感器，诸如拍摄面部的区域的图像的相机。为了能够收集可以用于各种应用(诸如检测生理响应)的这种图像，本文描述的一些实施例涉及可以附接到眼镜的夹式设备。
用户可以穿戴头戴式相机(诸如CAM或VCAM)的一种方式涉及将容纳相机的夹式设备附接到用户穿戴的框架上，诸如眼镜框架。这可以使得用户能够选择何时使用头戴式相机并利用他或她拥有的眼镜，这可能是舒适的和/或美学上令人愉悦的。
在一些实施例中，夹式设备包含可以与一副眼镜多次附接和分离的主体，以便将该夹式设备与眼镜固定和释放。主体是具有固定到其上的一个或多个部件的结构。例如，主体可以具有固定到其上的一个或多个面向内的相机。另外，主体可以具有固定到其上的无线通信模块。可以可选地被固定到主体的一些附加部件包含处理器、电池以及一个或多个面向外的相机。
在一个示例中，“眼镜”限于处方眼镜、处方太阳镜、平面太阳镜和/或增强现实眼镜。这意味着“眼镜”不指代头盔、帽子、虚拟现实设备和设计用于戴在眼镜上的护目镜。附加地或可替代地，对于普通用户而言，将夹式设备附接到眼镜和将夹式设备从眼镜分离都不应该花费多于10秒。这意味着操纵夹式设备不是复杂的任务。可选地，主体被配置为由佩戴眼镜的用户(不是技术人员)并且在不使用诸如螺丝刀或刀的工具的情况下从眼镜分离。因此，夹式设备可以按需附接和分离，例如，使得用户能够在需要进行测量时附接夹式，并且否则使其分离。
为了能够舒适地穿戴(可能长持续时间)，夹式设备是轻质设备，重量小于40g(即，主体和固定在其上的部件的总重量小于40g)。可选地，夹式设备重量低于20g和/或低于10g。
主体是部件(例如，面向内的相机)可以固定到其上的结构，使得在夹式设备附接到眼镜时各种部件不会脱落。可选地，当主体附接到眼镜时，固定到主体的各种部件中的至少一些保持在相同的位置和/或取向。在本文中，陈述部件“固定”到主体旨在表明在正常使用期间(例如，涉及固定/释放夹式设备)，部件典型地不从主体分离。这与主体本身相反，主体在正常使用中与眼镜框架分开，并且因此不被认为是“固定”到眼镜框架。
在一些实施例中，主体是由诸如塑料、金属和/或合金(例如，碳合金)的材料制成的刚性结构。可选地，刚性结构被成形为使得其适合眼镜框架的至少一部分的轮廓，以便能够牢固且稳定地附接到眼镜。在其它实施例中，主体可以由柔性材料制成，诸如橡胶。可选地，柔性主体被成形为使得其适合眼镜框架的至少一部分的轮廓，以便能够牢固且稳定地附接到眼镜。附加地或可替代地，当柔性主体附接到眼镜时，柔性主体可以呈现框架的一部分的形状。
主体可以利用各种机构以保持附接到眼镜。在一个实施例中，主体可以包含夹子构件，该夹子构件被配置为夹在眼镜上。在另一个实施例中，主体可以包含磁体，该磁体被配置为附接到连接到眼镜的磁体和/或眼镜的金属部分。在又一个实施例中，主体可以包含静止翼片(resting tab)，该静止翼片被配置为将夹式固定到眼镜。在又一个实施例中，主体可以包含保持构件(例如，搭扣、带扣、夹具、紧固件、钩子或闩锁)，该保持构件被配置为非永久地将夹式耦接到眼镜。例如，如图15a所示，搭扣147用于将夹式设备固定到眼镜框架。并且在又一个实施例中，主体可以包含弹簧，该弹簧被配置为施加将主体按压向眼镜的力。图17a图示了这种类型的机构的一个示例，其中弹簧175用于施加推动主体170并将其固定到框架176的力。
在在本文中，“非永久地耦接”某物意味着以一种无需过多力就能容易地分离的方式进行附接。例如，通过将某物夹在上面或闭合闩锁来耦接某物被认为是非永久地耦接它。通过使用螺丝刀旋牢螺钉、胶合或焊接来进行耦接不被认为是非永久地耦接。后者将是可以被认为将部件“固定”到主体的示例。
面向内的相机被固定到主体。它拍摄佩戴眼镜的用户的面部上的感兴趣区域的图像。可选地，即使当用户的头部进行横向移动和/或角移动时，面向内的相机也保持指向感兴趣的区域。面向内的相机可以是本公开中描述的CAM和/或VCAM中的任何一个。可选地，面向内的相机重量小于10g、5g或1g。可选地，面向内的相机是基于热电堆传感器、热电传感器或微测辐射热计传感器的热感相机，其可以是FPA传感器。
在一个实施例中，面向内的相机包含多像素传感器和透镜，并且根据沙姆定律，传感器平面相对于透镜平面倾斜多于2°，以便当主体被附接到由用户穿戴的眼镜时捕获更清晰的图像。
夹式设备可以包含固定到其上的附加部件。在一个实施例中，夹式设备包含固定到主体的无线通信模块，其传输由固定到主体的一个或多个相机进行的测量(例如，图像和/或热测量)。可选地，夹式设备可以包含固定到主体的电池，其向固定到主体的一个或多个部件提供电力。可选地，夹式设备可以包含处理器，该处理器控制固定到主体的一个或多个部件的操作和/或处理由固定到主体的相机进行的测量。
在一些实施例中，计算机接收由面向内的相机(以及可能固定到主体的其它相机)进行的测量，并且利用测量来检测生理响应。可选地，计算机不固定到主体上。例如，计算机可以属于用户的设备(例如，智能手机或智能手表)，或者计算机可以是基于云的服务器。可选地，计算机通过无线信道接收由无线通信模块发送的测量。
以下是使用固定到主体的不同类型的面向内和面向外的相机的实施例的各种示例，其可以用于拍摄佩戴眼镜的用户的面部上的各种感兴趣区域的图像。应注意，虽然下面的讨论通常指代单个“面向内的相机”和/或单个“面向外的相机”，但是夹式设备的实施例可以包含多个面向内和/或面向外的对相机。
在一些实施例中，面向内的相机是热感相机。可选地，当主体附接到眼镜时，热感相机距离用户的面部小于5cm。可选地，由热感相机进行的测量由无线通信模块传输并由计算机接收，该计算机使用它们来检测用户的生理响应。在一个示例中，当主体附接到眼镜时，热感相机的光轴在法兰克福水平面上方20°，并且热感相机对用户的前额上的区域进行热测量。在另一个示例中，当主体附接到眼镜时，热感相机对用户的鼻子上的区域进行热测量。在又一个示例中，当主体附接到眼镜时，热感相机对用户的眶周范围上的区域进行热测量。
在一个实施例中，面向内的相机是热感相机。当主体附接到眼镜时，热感相机位于佩戴眼镜的用户的视平线下方，并且距离划分用户的面部的垂直对称轴(即，轴向下穿过用户的前额和鼻子的中心)至少2cm。另外，当主体附接到眼镜时，面向内的热感相机进行用户的面部的以下部位中的至少一个上的区域的热测量：上唇、双唇和面颊。可选地，由热感相机进行的测量由无线通信模块传输并由计算机接收，该计算机使用它们来检测用户的生理响应。
在另一个实施例中，面向内的相机是可见光相机。可选地，当主体附接到眼镜时，可见光相机距离用户的面部小于10cm。可选地，由可见光相机拍摄的图像由无线通信模块传输并由计算机接收，该计算机使用它们来检测用户的生理响应。可选地，计算机基于图像中可识别的面部皮肤颜色变化(FSCC)来检测生理响应。在一个示例中，当主体附接到眼镜时，可见光相机的光轴在法兰克福水平面上方20°，并且可见光相机拍摄位于用户的眼睛上方的区域的图像。在另一个示例中，当主体附接到眼镜时，可见光相机拍摄佩戴眼镜的用户鼻子上的区域的图像。在又一个示例中，计算机基于面部表情来检测生理响应，并且当主体附接到眼镜时，可见光相机拍摄用户眼睛上方或下方的区域的图像。
在又一个实施例中，面向内的相机是可见光相机，并且当主体附接到眼镜时，可见光相机拍摄穿戴该眼镜的用户的眼睛上的区域的图像(IME)，并且该可见光相机位于距离用户的面部小于10cm。可选地，由无线通信模块传输图像，并由基于IME来检测生理响应的计算机接收图像。
在一个示例中，计算机基于眼睛的某些部位(诸如巩膜和/或虹膜)的颜色变化来检测生理响应。由于许多血管靠近眼睛表面，所以通过血液流动变化(例如，心脏脉搏和某些情绪响应)表现出的生理响应可以引起眼睛的某些部位的可识别的颜色变化。本公开中描述的用于基于图像中可识别的FSCC来检测生理响应的各种技术可以由本领域技术人员应用，以基于巩膜和/或虹膜的颜色变化来检测生理响应；虽然巩膜和虹膜与人的皮肤颜色不同，但它们也表现出与FSCC定性相似的与血液流动有关的颜色变化，并且因此可以使用与用于分析涉及前额、鼻子和/或面颊的FSCC的技术相似的技术对其进行分析。
在另一个示例中，可以利用IME来确定瞳孔的大小，其可以被计算机用来检测某些情绪响应(例如基于以下假设：瞳孔的响应反映了与增加的交感神经活动相关联的情绪激发(emotional arousal))。
如果需要，作为计算机检测生理响应的一部分，可以利用本领域已知的各种图像处理技术，来识别IME的哪些部分对应于眼睛的某些部分(例如，巩膜或虹膜)。例如，可以使用美国专利申请US20060147094或Hayes、Taylor R.和Alexander A.Petrov的“Mappingand correcting the influence of gaze position on pupil size measurements”，行为研究方法48.2(2016)：510-527页中描述的技术，来完成识别虹膜和瞳孔大小。另外，由于皮肤、虹膜和巩膜之间的明显的颜色差异，可以通过本领域已知的图像处理方法容易地识别虹膜和/或白色巩膜。
在一个实施例中，面向内的相机是可见光相机；当主体附接到眼镜时，可见光相机位于佩戴眼镜的用户的视平线下方，并且距离划分用户的面部的垂直对称轴至少2cm。可见光相机拍摄上唇、双唇和/或面颊上的区域的图像(IMROI)。可选地，IMROI由无线通信模块传输并由使用它们来检测生理响应的计算机接收。在一个示例中，生理响应是情绪响应，其基于从IMROI提取面部表情来检测。在另一个示例中，生理响应是情绪响应，其基于在IMROI中可识别的FSCC来检测。在又一个示例中，基于在IMROI中可识别的FSCC来检测的生理响应是心率和/或呼吸速率。
主体可以包含面向外的相机，其可以用于提供用于考虑各种环境干扰的测量，该各种环境干扰可以降低佩戴眼镜的用户的生理响应的检测。可选地，面向外的相机是头戴式相机。可选地，面向外的相机固定到主体上。
在一个实施例中，面向内的相机是热感相机，并且当主体附接到眼镜时，热感相机位于距离佩戴眼镜的用户的面部小于10cm，并且进行用户的面部上的感兴趣区域的热测量(THROI)。在该实施例中，面向外的头戴式热感相机进行环境的热测量(THENV)。无线通信模块将THROI和THENV传输到计算机，该计算机基于THROI和THENV来检测用户的情绪响应。可选地，计算机利用THENV来考虑来自环境的热干扰，如本文其它地方所讨论的。
在另一个实施例中，面向内的相机是可见光相机，并且当主体附接到眼镜时，可见光相机位于距离佩戴眼镜的用户的面部小于10cm，并且拍摄用户的面部上的感兴趣区域的图像(IMROI)。在该实施例中，面向外的头戴式可见光相机拍摄环境的图像(IMENV)。无线通信模块将IMROI和IMENV传输到计算机，该计算机基于IMROI和IMENV来检测用户的情绪响应。可选地，计算机基于在IMROI中可识别的FSCC来检测生理响应，并且利用IMENV来考虑环境光的变化，如本文其它地方所讨论的。
除了检测生理响应之外，附接到主体的面向内的相机可以用于附加的目的。在一个实施例中，面向内的相机是可见光相机，并且夹式设备包含也固定到主体的第二可见光相机。可选地，该可见光相机和/或第二可见光相机是光场相机。可选地，当主体附接到眼镜时，第一和第二可见光相机位于距离用户的面部小于10cm，并且拍摄视平线上方的第一区域和上唇上的第二区域的图像(分别为IMROI和IMROI2)。可选地，无线通信模块将IMROI和IMROI2传输到计算机，该计算机基于IMROI和IMROI2来生成用户的替身。在共同未决的美国专利公开2016/0360970中描述了可以用于基于IMROI和IMROI2来生成替身的各种方法中的一些。
夹式设备的不同实施例可以涉及各种形状、大小和/或附接到眼镜的位置的设备。图14a至图18图示了夹式设备的一些示例。当主体附接到眼镜时，大部分夹式设备可以位于眼镜框架的前面，如图14b、图15b和图18所示，或者可替代地，大部分夹式设备可以位于框架的后面，如图16b和图17b所示。一些夹式设备可以包含单个单元，诸如图15a和图17a中所示。而其它夹式设备可以包含多个单元(每个单元可以可选地被认为是分开的夹式设备)。附接到框架的多个单元的示例在图14b、图16b和图18中图示。以下是关于上述附图中所示实施例的更详细讨论。
图14a、图14b和图14c图示了分别包括主体141和142的右夹式设备和左夹式设备两者，右夹式设备和左夹式设备被配置为与眼镜框架140附接/分离。主体142具有固定到其上的多个面向内的相机，诸如指向面部下部上的区域(诸如上唇、嘴、鼻子和/或面颊)的相机143以及指向前额的相机144。主体142可以包含其它电子器件145，诸如处理器、电池和/或无线通信模块。左夹式设备和右夹式设备的主体141和142可以包含附图中图示为黑色圆圈的附加相机。
在另一个实施例中，眼镜包含左透镜和右透镜，并且当主体附接到眼镜时，夹式设备的大部分体积位于左透镜的左侧或右透镜的右侧。可选地，面向内的相机拍摄以下中的至少一个的图像：佩戴眼镜的用户的鼻子上的区域、以及用户的嘴上的区域。可选地，位于左透镜的左侧或右透镜的右侧的夹式设备的部分在用户向前看时不遮挡用户的视线。
图15a和图15b图示了包含主体150的夹式设备，以下两个头戴式相机固定到该主体150：指向面部下部上的区域(诸如鼻子)的头戴式相机148、以及指向前额的头戴式相机149。其它电子器件(诸如处理器、电池和/或无线通信模块)位于主体150内。夹式设备使用搭扣147与眼镜框架附接和分离。
在一个实施例中，当主体附接到眼镜时，夹式设备的大部分体积位于眼镜的透镜上方，并且面向内的相机拍摄佩戴眼镜的用户的前额上的区域的图像。可选地，位于眼镜透镜上方的夹式设备的一部分在用户向前看时不遮挡用户的视线。
虽然夹式设备经常可以具有旨在减小其伸出框架外的程度的设计，但在一些实施例中，夹式设备可以包含各种突出臂。可选地，可以利用这些臂以便将一个或多个相机定位在适于拍摄面部的某些区域的图像的位置。图18图示了分别包含主体153和154的右夹式设备和左夹式设备，右夹式设备和左夹式设备被配置成与眼镜框架附接/分离。这些主体具有保持头戴式相机的突出臂。头戴式相机155测量面部下部上的区域，头戴式相机156测量前额上的区域。左夹式设备还包含其它电子器件157(诸如处理器、电池和/或无线通信模块)。该图中所示的夹式设备可以包含附图中图示为黑色圆圈的附加相机。
在其它实施例中，夹式设备的至少一部分位于眼镜框架的后面。因此，当夹式设备附接到眼镜时，它们可保持美学上令人愉悦，并且附接夹式设备可以引起很少或不阻挡用户的视觉。图16b和图17b图示了大部分附接在框架的后面的夹式设备的两个示例。以下是实施例的一些附加示例，其中夹式设备的一部分可以位于框架的后面。
图16a和图16b图示了分别具有主体160和161的右夹式设备和左夹式设备两者，右夹式设备和左夹式设备被配置为附接在眼镜框架165后面。主体160具有固定到其上的各种部件，其包含：指向视平线下方的区域(诸如上唇、嘴、鼻子和/或面颊)的面向内的头戴式相机162、指向视平线上方的区域(诸如前额)的面向内的头戴式相机163、以及其它电子器件164(诸如处理器、电池和/或无线通信模块)。右夹式设备和左夹式设备可以包含附图中图示为黑色圆圈的附加相机。
图17a和图17b图示了包含主体170的单个单元夹式设备170，其被配置为附接在眼镜框架176后面。主体170具有固定到其上的各种相机，诸如指向面部下部上的区域(诸如上唇、嘴、鼻子和/或面颊)的头戴式相机171和172、以及指向前额的头戴式相机173和174。弹簧175被配置为施加将主体170保持到框架176的力。其它电子器件177(诸如处理器、电池和/或无线通信模块)也可以固定到主体170。夹式设备可以包含附图中图示为黑色圆圈的附加相机。
在一个实施例中，当主体附接到眼镜时，夹式设备的多于50％的面向外的表面位于眼镜框架的后面。可选地，位于眼镜框架后面的夹式设备的一部分对于与眼镜处于相同的高度直接对着眼镜的观察者是被遮挡的。因此，框架后面的夹式设备的一部分可能从许多角度对其它人是不可见的，这可以使夹式设备较不显眼和/或在美学上更令人愉悦。可选地，当主体附接到眼镜时，夹式设备的较大部分位于框架后面，诸如多于75％或90％的面向外的表面。
各种生物过程引起面部皮肤颜色变化(FSCC)。FSCC典型地是由于涉及用户的情绪状态的变化和/或用户的身体状态的变化的生理响应造成的和/或由于正常生物过程造成的、用户面部皮肤下的血红蛋白浓度水平和血液氧合浓度水平的变化的结果。血红蛋白浓度水平和血液氧合浓度水平的这些变化可以引起用户面部皮肤颜色的色调和饱和度分量的细微变化。
存在众所周知的基于FSCC来推断人的情绪状态和各种生理参数(诸如心率和呼吸速率)的方法。例如，美国专利申请20160098592描述了基于来自红色、绿色和蓝色(RGB)视频的血红蛋白浓度变化(HCC)来提取情绪。作为另一个示例，美国专利号8768438、8977347、8855384、9020185、8617081和美国专利申请号20130215244描述了从RGB视频、近红外视频和多光谱视频流中提取心率和有关参数。作为又一个示例，以下三篇出版物解释了FSCC(由血红蛋白浓度变化和/或氧合的浓度变化引起)如何与情绪相关：(i)Ramirez、Geovany A.等人的于IEEE计算机视觉和模式识别研讨会,2014年的论文集中的“Color analysis offacial skin:Detection of emotional state”；(ii)Wang Su-Jing等人的于IEEE图像处理会刊，2015年12月24日，第6034-6047页的Micro-expression recognition using colorspaces”；以及(iii)Jimenez、Jorge等人的于ACM图形(TOG)会刊,ACM,2010年，第29卷第6期的“A practical appearance model for dynamic facial color”。
用于基于FSCC来检测生理响应的所有现有技术方法分析从远离用户的相机拍摄的面部视频，并且因此这些方法典型地面临涉及面部跟踪和图像配准的挑战。另外，现有技术方法不利用照明干扰的测量(诸如环境光的变化)，该照明干扰在某些情况下可能影响基于FSCC来检测生理响应的准确度。因此，现有技术的准确度可能会受到误差的影响，从而降低基于FSCC来检测生理响应的性能，尤其是在用户移动且环境光变化的现实世界较不受控的环境中。
本公开的一些方面涉及基于面部皮肤颜色变化(FSCC)来检测生理响应，面部皮肤颜色变化(FSCC)在用面向内的头戴式可见光相机(VCAMin)拍摄的图像中是可识别的。上述现有技术的方法接收来自非头戴式可见光相机的图像，这意味着它们必须使用大量的图像配准(以便对准图像)并且受可见光传感器的不均匀性的影响(因为目标上的相同点可以在连续图像中由不同的像素测量)。从VCAMin获得的图像稳定性比从非头戴式可见光相机获得的图像稳定性更好。将相机安装到面部减少了系统误差并且使得能够更好地过滤随机误差，诸如通过对相同的一个或多个像素的多个测量取平均，和/或对相同像素的多个测量求和以改进信噪比。另外，当需要对从VCAMin获得的图像执行图像配准时，变换模型(将一个图像与另一个图像相关)可以受限制于VCAMin和ROI之间的最大可能相对移动，其作为将相机耦接到框架的结果而是受限制的。这种受限制的变换模型比完全变换模型(如在相机不是头戴式的现有技术配置中)的计算密集度小得多。
可以基于在用户的面部上发生的面部皮肤颜色变化(FSCC)来检测各种生理响应。在一个实施例中，一种被配置为基于FSCC来检测生理响应的系统包含至少一个面向内的头戴式可见光相机(VCAMin)和计算机。该系统可以可选地包含附加元件，诸如框架和附加的(一个或多个)面向内的相机和/或(一个或多个)面向外的相机。
图23图示了被配置为基于FSCC来检测生理响应的系统的一个实施例。该系统包含框架735(例如，眼镜框架)，各种相机物理地耦接到该框架735。这些相机包含可见光相机740、741、742和743，其可以各自拍摄用户的面颊和/或鼻子上的区域的图像。这些相机中的每个可能是VCAMin，这将在下面更详细地讨论。VCAMin的另一种可能性是相机745，其拍摄用户的前额上的区域的图像并耦接到框架的上部。拍摄环境的图像(IMENV)的可见光相机737是下面讨论的VCAMout的示例，其可以可选地包含在一些实施例中。可以可选地包含在一些实施例中的附加相机是面向外的热感相机738(其可以用于进行下述的THENV)和面向内的热感相机739(其可以用于进行下述的THROI2)。
VCAMin穿戴在用户的头部上，并且拍摄用户的面部上的感兴趣区域的图像(IMROI)。取决于正被检测的生理响应，ROI可以覆盖用户的面部上的各个区域。在一个示例中，ROI位于用户的面颊上、用户的鼻子上的区域上和/或用户的前额上的区域上。可选地，VCAMin不遮挡ROI，距离用户的面部小于10cm，并且重量低于10g。ROI被环境光照射。可选地，系统不遮挡ROI，并且ROI不被头戴式光源照射。替代地，ROI可以被比环境光弱的头戴式光源照射。
计算机依赖于IMROI中可识别的FSCC的效果，基于IMROI来检测生理响应。在本文中，形式为“在IMROI中可识别的FSCC”的句子指代可以由计算机识别和/或利用的FSCC的效果，其通常不被肉眼识别。FSCC现象可以用于检测各种类型的生理响应。在一个实施例中，检测到的生理响应可以涉及用户的情绪响应的表达。例如，计算机可以检测用户的情绪响应是中性的、积极的还是消极的。在另一个示例中，计算机可以检测到属于更具体类别的情绪响应，诸如窘迫、快乐、焦虑、悲伤、沮丧、阴谋、欢乐、厌恶、愤怒等。可选地，情绪响应的表达可能涉及用户做出面部表情和/或微表情(可以可选地基于IMROI来检测其发生)。在另一个实施例中，检测生理响应涉及确定用户的一个或多个生理信号，诸如心率(其也可以称为“心脏脉搏”)、心率变异性和/或呼吸速率。
IMROI是基于从用户的面部反射的环境光照射而生成的图像。反射的环境光的变化可能引起与正被检测的生理响应无关的FSCC，并且因此可能导致检测生理响应错误。在一些实施例中，该系统包含面向外的头戴式可见光相机(VCAMout)，其穿戴在用户的头部上并拍摄环境的图像(IMENV)。可选地，VCAMout距离用户的面部小于10cm，并且重量低于10g。可选地，VCAMout可以包含为其提供宽视场的光学器件。可选地，计算机基于IMROI和IMENV两者来检测生理响应。考虑到IMENV指示朝向面部的照射并且IMROI指示来自面部的反射，利用IMENV检测生理响应可以至少部分地考虑环境光的变化，当未考虑该变化时可能导致检测生理响应错误。
应注意，该系统可以包含被配置为拍摄面部上各个ROI的图像的VCAMin，IMROI可以包含从多个VCAMin拍摄的图像，并且相对于面部位于不同的位置和/或取向的多个VCAMout可以用于拍摄环境的图像。
在一些实施例中，VCAMin和/或VCAMout物理耦接到框架，诸如眼镜框架或增强现实设备框架。可选地，VCAMin与VCAMout的光轴之间的角度对于计算机是已知的，并且可以将其用于检测生理响应。可选地，VCAMin与VCAMout的光轴之间的角度是固定的。
由于VCAMin接近面部，在一些实施例中，在VCAMin的光轴与ROI之间可能存在锐角(例如，当ROI包含前额上的区域时)。为了改进IMROI的清晰度，VCAMin可以被配置为以利用沙姆定律的方式来操作。在一个实施例中，VCAMin包含传感器和透镜；根据沙姆定律，传感器平面相对于透镜平面倾斜大于2°的固定角度，以便当由用户穿戴VCAMin时捕获更清晰的图像(其中透镜平面指代垂直于透镜的光轴的平面，其可以包含一个或多个透镜)。可选地，VCAMin不遮挡ROI。在另一个实施例中，VCAMin包含传感器、透镜和马达；根据沙姆定律，马达使透镜相对于传感器倾斜。该倾斜改进了当由用户穿戴VCAMin时IMROI的清晰度。
除了捕获可见光谱中的图像之外，一些实施例可以涉及捕获近红外光谱(NIR)中的光。在一些实施例中，VCAMin和/或VCAMout可以包含在以下NIR光谱间隔中的至少一个中捕获光线的光学器件和传感器：700-800nm，700-900nm，700-1,000nm。可选地，计算机可以利用在NIR光谱间隔中获得的数据来检测生理响应(除了从可见光谱获得的数据之外或代替从可见光谱获得的数据)。可选地，传感器可以是设计为在NIR光谱中敏感的CCD传感器和/或设计为在NIR光谱中敏感的CMOS传感器。
计算机可以利用各种方法以便基于IMROI来检测生理响应。在上述现有技术参考文献提供了如何实现这种检测的一些示例，其依赖于FSCC来检测生理响应。应注意，尽管现有技术的方法涉及分析视频，该视频从非头戴式的、典型地距离ROI比VCAMin更远的、并相对于ROI可能在不同的取向处的相机获得，本领域技术人员可以容易地调整现有技术中描述的用于检测生理响应的计算方法来处理IMROI。在一些情况下，本文描述的实施例可以提供视频，与一些现有技术方法相比，更容易在该视频中检测到期望的信号。例如，考虑到从VCAMin到ROI的短的距离，与在一些现有技术参考文献由摄像机获得的图像相比，预期ROI覆盖IMROI中的图像的更大的部分。另外，由于VCAMin接近ROI，可以不需要在一些现有技术方法中需要的附加照射，诸如为脉搏血氧计照射皮肤以获得光电容积脉搏波(PPG)信号。此外，考虑到VCAMin相对于ROI的固定的位置和取向(即使当用户做出横向移动和/或角移动时)，在本文描述的实施例中极其简化或者可以完全放弃需要由现有技术方法实现的许多预处理步骤(诸如图像配准和/或面部跟踪)。
IMROI可以在被计算机用于检测生理响应之前和/或作为检测生理响应的过程的一部分，经历各种预处理步骤。预处理的一些非限制性示例包含：像素强度的归一化(例如，以获得零均值单位方差时间序列信号)，以及通过构造方波、正弦波或用户限定的形状(诸如美国专利号8617081中描述的从ECG信号或PPG信号获得的形状)来调节时间序列信号。附加地或可替代地，一些实施例可以涉及基于单个图像或图像序列来生成特征值。在一些示例中，从一个或多个图像生成特征值可以涉及利用本公开中描述的各种方法中的一些来生成高级别和/或低级别的基于图像的特征。
以下是计算机可以用于基于IMROI来检测生理响应的一些方法的讨论。此外，可以在所提供的参考文献和其中引用的参考文献中找到与实现方式有关的细节。可选地，(除了IMROI之外)计算机还可以利用IMENV来检测生理响应，如下面更详细地解释的。
在一些实施例中，可以使用信号处理和/或分析方法来检测生理响应。可选地，这些方法可以用于检测在某一时段期间拍摄的IMROI中的重复生理信号(例如，心率、心率变异性或呼吸速率)。可选地，检测到的生理响应表示在该某一时段期间用户的生理信号的值。
在一个示例中，标题为“Determining cardiac arrhythmia from a video of asubject being monitored for cardiac function”的美国专利号8768438描述了如何基于FSCC来确定心率，其以从用户的视频中获得的PPG信号来表示。在该示例中，从受试者的暴露皮肤的视频图像生成时间序列信号，并且将参考信号用于对时间序列信号执行约束源分离(其是ICA的变体)以获得PPG信号。在PPG信号中检测峰-峰脉冲点，可以对其进行分析以确定诸如心率、心率变异性之类的参数，和/或获得可以指示诸如心率失常的条件的峰-峰脉冲动态性。
在另一个示例中，标题为“Video-based estimation of heart ratevariability”的美国专利号8977347描述了如何对与上述相似的时间序列信号进行不同类型的分析以检测心率变异性。在该示例中，时间序列数据被去趋势化以从信号中移除慢的非静态趋势并且被滤波(例如，使用带通滤波)。之后，使用快速傅里叶变换(FFT)提取时间序列信号内的积分功率谱的低频和高频分量。计算这些分量内的积分功率谱的低频和高频的比率。并且将该比率随时间的动态分析用于估计心率变异性。
在又一个示例中，标题为“Systems and methods for non-contact heart ratesensing”的美国专利号9020185描述了如何滤波和处理从用户的视频获得的时间序列信号以通过例如使用ICA算法来分离基础(underlying)的脉冲信号。可以使用FFT将来自算法的分离的脉冲信号变换为频率间隔数据，其中可以提取或估计心率。
在一些实施例中，可以使用基于机器学习的方法来检测生理响应。可选地，这些方法可以用于检测情绪表达和/或生理信号的值。
通常，基于机器学习的方法涉及在样本上训练模型，每个样本包含：基于在某一时段期间拍摄的IMROI生成的特征值、以及指示在该某一时段期间的生理响应的标签。可选地，可以通过在样本上训练模型来为用户个性化模型，所述样本包含：基于该用户的IMROI生成的特征值、以及对应的指示该用户的相应生理响应的标签。(除了IMROI之外)还可以基于其它数据源来生成样本中的一些特征值，所述其它数据源诸如为使用热感相机、移动传感器和/或其它生理传感器生成的用户的测量，和/或环境的测量。可选地，在较早时段期间拍摄的用户的IMROI可以充当要比较的基线。可选地，一些特征值可以包含混杂因素的指示，其可以影响FSCC，但是与正在被检测的生理响应无关。混杂因素的一些示例包含触摸面部、指向面部的热辐射以及食用某些物质(诸如药物、酒精、咖啡因或尼古丁)。
训练模型可以涉及利用本领域中已知的各种训练算法(例如，用于训练神经网络和/或本文描述的其它方法的算法)。在训练模型之后，可以为标签(生理响应)是未知的IMROI生成特征值，并且计算机可以利用该模型基于这些特征值来检测生理响应。
应注意，在一些实施例中，基于包含用户的测量的数据来训练模型，在这种情况下，可以认为该模型是用户的个性化模型。在其它实施例中，基于包含一个或多个其它用户的测量的数据来训练模型，在这种情况下，可以认为该模型是通用模型。
为了实现可以用于检测各种条件下的生理响应的鲁棒性模型，在一些实施例中，训练中使用的样本可以包含基于在不同条件下拍摄的IMROI的样本并且包含具有各种标签(例如，表达或不表达某些情绪，或不同的生理信号值)的样本。可选地，基于在不同天拍摄的IMROI来生成样本。
以下是在不同实施例中训练模型时可以使用的不同样本组成的四个示例。以下四个示例中的“被测量的用户”可以是上面提到的“用户”(例如，当模型是在包含该用户的测量的数据上训练的个性化模型时)，或者可以是一个或多个其它用户之中的用户(例如，当模型是在包含其它用户的测量的数据上训练的通用模型时)。在第一示例中，系统不遮挡ROI，并且在从IMROI的第一集合生成的样本上训练该模型，IMROI的第一集合是在被测量的用户在室内且未处于直射阳光中时拍摄的，并且也在从IMROI的第二集合生成的其它样本上训练该模型，IMROI的第二集合是在被测量的用户在户外处于直射阳光中时拍摄的。在第二示例中，在从在白天期间拍摄的IMROI的第一集合生成的样本上训练该模型，并且还在从在夜间期间拍摄的IMROI的第二集合生成的其它样本上训练该模型。在第三示例中，在从IMROI的第一集合生成的样本上训练该模型，IMROI的第一集合是在被测量的用户锻炼且移动时拍摄的，并且还在从IMROI的第二集合生成的其它样本上训练该模型，IMROI的第二集合是在被测量的用户坐着且不锻炼时拍摄的。并且第四个示例，在从IMROI的第一集合生成的样本上训练该模型，IMROI的第一集合是在被测量的用户饮用酒精饮料之后少于30分钟拍摄的，并且还在从IMROI的第二集合生成的其它样本上训练该模型，IMROI的第二集合是在被测量的用户没有饮用酒精饮料的一天拍摄的。
样本的标签可以从各种源获得。在一个实施例中，可以利用不是VCAMin的一个或多个传感器来获得标签。在一个示例中，可以使用ECG传感器来测量心率和/或心率变异性。在另一个示例中，可以使用具有附接到胸部的传感器的智能衬衫(例如，的智能衬衫)来确定呼吸速率。在又一个示例中，可以基于用户做出的面部表情的分析，用户的语音的分析，用户的面部的区域的热测量的分析，和/或一个或多个以下传感器测量的用户的生理信号——心率、心率变异性、呼吸速率和皮肤电反应——的分析，来确定用户的情绪响应类型。
在另一个实施例中，可以推断描述用户的情绪响应的标签。在一个示例中，标签可以基于用户的通信的语义分析，其指示在拍摄IMROI时用户的情绪状态。在另一个示例中，可以在用户暴露于某一内容的过程中生成标签，并且基于与该某一内容相对应的预期情绪响应来确定标签(例如，快乐是对美好图像的预期响应，而窘迫是对令人不安的图像的预期响应)。
由于检测到的生理响应的性质和数据类型(视频图像)，可以在一些实施例中应用的机器学习方法是“深度学习”。在一个实施例中，模型可以包含描述神经网络的多个隐藏层的参数。可选地，该模型可以包含卷积神经网络(CNN)。在一个示例中，CNN可以用于识别视频图像中的某些图案，诸如由于生理响应造成的所反射的FSCC的图案。可选地，检测生理响应可以基于多个可能连续的图像来完成，该多个可能连续的图像随时间(即，跨越多个帧)显示某一变化图案，其表征正被检测的生理响应。因此，检测生理响应可以涉及保留基于先前的图像的状态信息。可选地，模型可以包含描述支持这种能力的架构的参数。在一个示例中，模型可以包含循环神经网络(RNN)的参数，循环神经网络是经由该网络的节点中的循环来捕获样本序列的动态的联结主义模型。这使得RNN能够保持可以表示来自任意长的上下文窗口的信息的状态。在一个示例中，可以使用长短期存储器(LSTM)架构来实现RNN。在另一个示例中，可以使用双向循环神经网络架构(BRNN)来实现RNN。
本文提及的一些现有技术参考提供了可以用于检测生理响应(尤其是在其对应于情绪响应的情况下)的基于机器学习的方法的附加详细示例。在一个示例中，Ramirez等人(“Color analysis of facial skin:Detection of emotional state”)描述了使用包含决策树、多项逻辑回归和潜在动态条件随机场的各种机器学习算法来检测情绪状态。在另一个示例中，Wang等人(“Micro-expression recognition using color spaces”)描述了各种特征提取方法和像素颜色值变换，其用于生成被训练以识别微表情的支持向量机(SVM)分类器的输入。
如上所述，在一些实施例中，可以利用IMENV来检测生理响应，以至少部分地考虑可能导致检测生理响应的错误的照射干扰。存在不同的方式可以将IMENV用于此目的。
在一个实施例中，当IMENV的变化达到某一阈值(例如，其可以对应于高于某一程度的环境光变化)时，计算机可以避免检测生理响应。
在另一个实施例中，IMENV可以用于相对于环境光对IMROI归一化。例如，可以基于在拍摄IMROI时IMENV中的像素的强度，来调整IMROI中的像素的强度。美国专利申请号20130215244描述了一种归一化方法，其中从含有生理响应信号的图像的区域中减去来自不含有信号的区域(例如，包含用户的不同身体部分或用户后面的物体的背景区域)的像素值。虽然其中描述的计算方法可以应用于本公开中的实施例，但是由于VCAMin接近面部并且事实上VCAMin是头戴式的，因此在某些情况下其中描述的精确设置可能不能很好地工作。因此，减去来自从VCAMout获得的环境(IMENV)的信号可能是有利的，这可以更准确地表示照射面部的环境光。
应注意，包含真值(ground-truth)信号(即，对应于IMROI和IMENV的真正生理响应的值)的训练数据可以用于优化归一化进程，该归一化进程用于相对于在IMROI中测量的环境光来校正IMROI。例如，这种优化可以用于确定执行上述减法的函数的参数值，这导致最准确地检测生理响应。
在又一个实施例中，除了IMROI之外，还可以利用IMENV来生成特征值。可选地，基于IMROI生成的相同类型的特征值中的至少一些还可以基于IMENV来生成。可选地，基于IMENV生成的特征值中的至少一些可以与图像的部分相关，诸如IMENV中的像素块的平均强度。
通过利用IMENV作为用于检测生理响应的输入，基于机器学习的模型可以被训练为具有鲁棒性并且不易受到诸如环境光变化的环境干扰的影响。例如，如果用于训练模型的训练数据包含其中不存在生理响应(例如，没有测量到情绪响应或微表情)但是一些环境光变化可能已经引入了一些与FSCC有关的信号的样本，将训练该模型使得基于IMENV的特征值被用于考虑这种情况。这可以使得计算机能够至少部分地抵消这种环境干扰的影响，并且可能更准确地检测生理响应。
在一个实施例中，计算机接收指示用户食用预期会影响FSCC的混杂物质(例如，酒精、药品、某些药物和/或香烟)的指示。在食用的混杂物质影响FSCC时，计算机基于IMROI、该指示和模型来检测生理响应，在以下上训练该模型：在混杂物质影响FSCC时拍摄的IMROI的第一集合、以及在混杂物质不影响FSCC时拍摄的IMROI的第二集合。
现有技术FSCC系统对用户移动敏感，并且在用户跑步时不能很好地操作。这是因为现有的FSCC系统使用硬件和自动图像跟踪器，硬件和自动图像跟踪器不够准确，无法在跑步时正确地从整个图像中剪裁ROI，并且裁剪ROI时的较大误差对FSCC算法的性能不利。相反于现有技术FSCC系统，当用户的头部做出角移动和横向移动时，所公开的VCAMin仍然指向其ROI，并且因此大大简化甚至消除与图像配准和ROI跟踪有关的复杂挑战。因此，基于VCAMin的系统(诸如在图23中所示的系统)在用户跑步时仍可以检测生理响应(基于FSCC)。
VCAMin可以指向面部上的不同区域。在第一实施例中，ROI在前额上，VCAMin位于距离用户的面部小于10cm，并且可选地VCAMin的光轴在法兰克福水平面上方20°。在第二实施例中，ROI在鼻子上，并且VCAMin位于距离用户的面部小于10cm。因为VCAMin靠近面部，所以可以基于小的ROI来计算FSCC，这与受其自动图像跟踪器的准确度限制的非头戴式现有技术无关。在第三实施例中，VCAMin指向用户的眼睛。计算机选择巩膜作为ROI并基于巩膜的IMROI中可识别的颜色变化来检测生理响应。在第四实施例中，VCAMin指向用户的眼睛。计算机选择虹膜作为ROI并基于虹膜的IMROI中可识别的颜色变化来检测生理响应。可选地，计算机进一步基于虹膜的IMROI来计算瞳孔直径的变化，并且基于瞳孔直径的变化来检测用户的情绪响应。
为了改进检测准确度，并且在一些情况下为了更好地考虑干扰，计算机可以在检测生理响应时利用一个或多个头戴式热感相机的测量。在一个实施例中，系统可以包含面向内的头戴式热感相机，其进行用户的面部上的第二ROI的热测量(THROI2)。可选地，ROI和ROI2重叠，并且计算机利用THROI2来检测生理响应。可选地，通常，基于在IMROI中可识别的FSCC和THROI2两者来检测生理响应比基于FSCC而不基于THROI2来检测生理响应更准确。可选地，计算机利用THROI2来至少部分地考虑温度变化，该温度变化可能由于身体活动和/或影响血液流动的某些药物的食用而发生。可选地，计算机通过基于THROI2来生成特征值并利用在包括THROI2的数据上训练的模型，以利用THROI2来检测生理响应。
在另一个实施例中，系统可以包含面向外的头戴式热感相机，其进行环境的热测量(THENV)。可选地，计算机可以利用THENV来检测生理响应(例如，通过基于THENV来生成特征值并利用在包括THENV的数据上训练的模型)。可选地，通常，基于在IMROI中可识别的FSCC和THENV两者来检测生理响应比基于FSCC而不基于THENV来检测生理响应更准确。可选地，计算机利用THENV来至少部分地考虑来自环境的热干扰，诸如直射阳光和/或附近的加热器。
除了检测生理响应之外，在一些实施例中，计算机可以利用IMROI来生成用户的替身(例如，以便在虚拟环境中表示用户)。可选地，替身可以表达基于IMROI检测到的用户的情绪响应。可选地，计算机可以修改用户的替身以示出未在用户的实际面部表情中表现的合成面部表情。在一个实施例中，合成面部表情对应于基于IMROI中可识别的FSCC而检测到的情绪响应。在另一个实施例中，合成面部表情对应于基于CAM进行的热测量而检测到的情绪响应。在共同未决的美国专利公开2016/0360970中描述了可以用于基于IMROI来生成替身的各种方法中的一些。
本文描述的各种实施例涉及HMS，该HMS可以使用线缆和/或无线地与用户携带的设备和/或非可穿戴设备连接。HMS可以包含电池、计算机、传感器和收发器。
图31a和图31b是计算机(400，410)的可能的实施例的示意图，计算机(400，410)能够实现本文所讨论的包含“计算机”的一个或多个实施例。计算机(400，410)可以以各种方式实现，诸如但不限于服务器、客户端、个人计算机、网络设备、手持设备(例如，智能手机)、HMS(诸如，智能眼镜、增强现实系统和/或虚拟现实系统)、嵌入可穿戴设备中的计算设备(例如，嵌入衣服中的智能手表或计算机)、植入人体的计算设备、和/或能够执行计算机指令的集合的任何其它计算机形式。在本文中，增强现实系统还指代混合现实系统。此外，对计算机或处理器的引用包含一个或多个计算机和/或处理器(可以在不同位置)的任何集合，其个别地或联合地执行计算机指令的一个或多个集合。例如，第一计算机可以嵌入HMS中，该HMS与嵌入用户的智能手机中的第二计算机通信，该用户的智能手机通过因特网与云计算机通信。
计算机400包含以下部件中的一个或多个：处理器401、存储器402、计算机可读介质403、用户界面404、通信接口405和总线406。计算机410包含以下部件中的一个或多个：处理器411、存储器412和通信接口413。
转发到处理器/计算机的热测量可以包含与由热感相机所测量的值基本上相同的“原始”值，和/或包含将某种形式的预处理和/或分析应用于原始值得到的经处理值。可以用于处理原始值的方法的示例包含模拟信号处理、数字信号处理以及各种形式的归一化、噪声消除和/或特征提取。
在本文中描述的至少一些方法是“计算机实现的方法”，其通过在处理器(401，411)上执行指令而在诸如计算机(400，410)的计算机上实现。可选地，指令可以储存在计算机可读介质上，该计算机可读介质可以可选地是非暂时性计算机可读介质。响应于由包含处理器和存储器的系统进行的执行，指令引起系统执行方法步骤。
在本文中，具有聚焦光学器件的VCAM或CAM的光轴方向由聚焦光学器件确定，而没有聚焦光学器件(诸如单个像素热电堆)的CAM的光轴方向由其传感器的最大响应度的角度确定。当利用光学器件使用CAM进行测量时，则术语CAM包含光学器件(例如，一个或多个透镜)。在一些实施例中，CAM的光学器件可以包含由适合于所需波长的材料制成的一个或多个透镜，诸如以下材料中的一种或多种：氟化钙、砷化镓、锗、溴化钾、蓝宝石、硅、氯化钠和硫化锌。在其它实施例中，CAM光学器件可以包含一个或多个衍射光学元件、和/或一个或多个衍射光学元件和一个或多个折射光学元件的组合。
当CAM包含光学限制器(limiter)/场限制器/FOV限制器(诸如，具有窗口的标准TO-39封装内的热电堆传感器，或者具有抛光金属场限制器的热电堆传感器)时，则术语CAM还可以指代光学限制器。取决于上下文，术语CAM还可以指代与CAM和/或保持CAM的外壳相邻的读出电路。
在本文中，在基于热测量来计算值、基于热测量来生成特征值、或热测量的比较的上下文中对热测量的引用涉及热测量的值(其为温度值或温度变化值)。因此，形式为“基于THROI来计算”的句子可以被解释为“基于THROI的值来计算”，并且形式为“比较THROI1和THROI2”的句子可以被解释为“比较THROI1的值和THROI2的值”。
取决于实施例，ROI的热测量(通常表示为THROI或使用相似的记法)可以具有各种形式，诸如时间序列、根据变化的采样频率进行的测量和/或以不规则的间隔进行的测量。在一些实施例中，热测量可以包含温度测量(T)和/或温度测量的变化(ΔT)的各种统计，诸如最小值、最大值和/或平均值。热测量可以是原始值和/或经处理值。当热感相机具有多个感测元件(像素)时，热测量可以包含对应于每个像素的值，和/或包含表示对像素值的处理的值。可以对热测量进行归一化，诸如相对于基线(基于较早的热测量)、一天中的时间、一个月中的一天、用户正在进行的活动的类型和/或各种环境参数(例如，环境的温度、湿度、辐射水平等)进行归一化。
如本文所使用的，对“一个实施例”(及其变体)的引用意味着所指代的特征可以包含在本发明的至少一个实施例中。此外，对“一个实施例”、“一些实施例”、“另一个实施例”、“又一个实施例”等的分开引用可以指代相同的实施例，可以图示实施例的不同方面，和/或可以指代不同的实施例。
可以使用动词“指示”、形容词“指示性”和/或使用其变体来描述一些实施例。在本文中，形式为“X指示Y”的句子表示X包含与Y相关的信息，直到X等于Y的情况。例如，形式为“热测量指示生理响应”的句子意味着热测量包含可以从其推断出生理响应的信息。陈述“X指示Y”或“指示Y的X”可以解释为“X指示Y”。此外，形式为“提供/接收指示X是否发生的指示”的句子在本文中可以指代任何指示方法，包含但不限于：当X发生时发送/接收信号并且当X不发生时不发送/接收信号，当X发生时不发送/接收信号并且当X不发生时发送/接收信号，和/或当X发生时发送/接收第一信号并且当X不发生时发送/接收第二信号。
在本文中，某物的“大部分”被限定为高于某物的51％(包含某物的100％)。某物的“部分”和某物的“区域”两者在本文中指代该物的一部分与该物的100％之间的值。例如，形式为“区域的部分”的句子可以涵盖该区域的0.1％与100％之间。作为另一个示例，形式为“用户的前额上的区域”的句子可以涵盖由单个像素捕获的前额的最小区域(诸如前额的0.1％或5％)与前额的100％之间。词语“区域”指代开放式要求语言，并且所述捕获面部上的具体区域的相机可以仅捕获具体区域的一小部分、整个具体区域和/或具体区域的一部分连同(一个或多个)附加的区域。
形式为“角度大于20°”的句子指代绝对值(在该示例中可以是+20°或-20°)，除非明确指出，诸如，在具有“CAM的光轴在法兰克福水平面上方/下方20°”的形式的短语中，其中清楚地指示CAM指向为向上/向下。法兰克福水平面由从右/左外耳门的最上方到右/左眶缘的最低点的两条线创建。
术语“包括”、“包含”、“具有”或其任何其它变体指示不排除附加限制的开放式要求语言。“一”或“一个”用于描述一个或多个，并且单数也包含复数，除非它显而易见的是另外的意思；例如，形式为“CAM被配置为进行区域的热测量(THROI)”的句子指代进行一个或多个区域的热测量的一个或多个CAM，包含进行多个区域的热测量的一个CAM；作为另一个示例，“计算机”指代一个或多个计算机，诸如与云计算机一起操作的可穿戴计算机的组合。
短语“基于”旨在意味着“至少部分地基于”。此外，声明“基于X”来计算值，并且接着在某一实施例中声明“还基于Y”来计算该值，意味着在该某一实施例中基于X和Y来计算该值。
术语“第一”、“第二”等仅仅被解释为序数指定，并且本身不应受到限制。预定值是固定值和/或在执行将某一值与该预定值进行比较的计算之前的任何时间确定的值。当在开始执行计算以确定是否达到阈值之前，被用于确定是否达到了利用该值的阈值的逻辑是已知的时，该值也被认为是预定值。
本发明的实施例可以包含本文描述的实施例的特征的任何各种组合和/或集成。尽管一些实施例可以描绘串行操作，但是实施例可以并行地和/或以与所描绘的那些不同的顺序执行某些操作。此外，在文本和/或附图中使用重复的附图标记和/或字母是为了简化和清楚的目的，并且本身并不表示所讨论的各种实施例和/或配置之间的关系。实施例的应用不限于方法的步骤顺序，或者在说明书、附图或示例中设定的设备的实现方式的细节。此外，图中所示的各个块本质上可以是功能性的，并且因此可以不必对应于分立的硬件元件。
为了清楚起见而在分开的实施例的上下文中描述的实施例的某些特征也可以在单个实施例中以各种组合提供。相反，为了简洁起见而在单个实施例的上下文中描述的实施例的各种特征也可以分开地提供或以任何合适的子组合提供。结合具体示例描述的实施例是作为示例而非限制来呈现的。此外，很明显，许多替代、修改和变化对于本领域技术人员来说是显而易见的。应当理解，在不脱离实施例的范围的情况下，可以利用其它实施例并且可以进行结构改变。因此，本公开旨在包含落入所附权利要求及其等同物的精神和范围内的所有这种替代、修改和变化。
以下段落公开了申请人预期在分案专利申请中提交的权利要求文本。在描述独立权利要求的每个实施例之后，存在以“可选地”开始的多个从属权利要求。在分案专利申请中，可以根据任何顺序和多种从属关系来布置可选的从属权利要求。应明确注意，以下可选的从属权利要求的顺序不是限制性的，并且可以要求保护其任何顺序。
在一个实施例中，一种被配置为检测生理响应的系统，包括：
面向内的头戴式热感相机(CAM)，其被配置为进行用户的面部上的第一感兴趣区域的热测量(THROI1)；
面向内的头戴式可见光相机(VCAM)，其被配置为拍摄所述用户的面部上的第二感兴趣区域的图像(IMROI2)；
其中所述第一感兴趣区域(ROI1)和所述第二感兴趣区域(ROI2)重叠；
以及
计算机，其被配置为基于THROI1、IMROI2和模型来检测生理响应。
可选地，所述计算机进一步被配置为基于THROI1和IMROI2来生成特征值，并且利用所述模型基于所述特征值来检测生理响应；其中，通常，基于THROI1和IMROI2来检测生理响应比基于THROI1而不基于IMROI2来检测生理响应更准确。
可选地，基于在不同天期间进行和拍摄的所述用户的先前的THROI1和IMROI2来训练所述模型，并且生理响应指示以下的所述用户情绪状态中的至少一种的发生：欢乐、恐惧、悲伤和愤怒。
可选地，基于在不同天期间进行和拍摄的所述用户的先前的THROI1和IMROI2来训练所述模型，并且生理响应指示以下中的一种或多种的发生：压力、精神负荷、过敏反应、头痛、脱水、中毒和中风。
可选地，基于在不同天期间进行和拍摄的先前的THROI1和IMROI2来训练所述模型，并且生理响应是选自以下的生理信号：心率、呼吸速率和额叶大脑活动的程度。
可选地，ROI2覆盖ROI1的至少一半，CAM和VCAM中的每个重量低于10g，物理地耦接到被配置为穿戴在所述用户的头部上的框架，并且距离所述用户的面部小于15cm；并且该系统进一步包括第二热感相机，其位于距离所述用户的面部小于15cm，物理地耦接到所述框架，并且被配置为进行所述面部上的第三感兴趣区域的热测量(THROI3)；ROI1的中心位于所述第三感兴趣区域(ROI3)的中心的右侧，并且ROI1与ROI3之间的对称重叠高于50％；由此为了检测生理响应，所述计算机被配置为基于THROI1与THROI3之间的差异来考虑面部热不对称性。
可选地，考虑热不对称性包括利用以下计算中的至少一个：(i)利用与THROI1和THROI3进行比较的不同的阈值；(ii)利用与THROI1和THROI3进行比较的不同的参考时间序列；(iii)利用为第一和第二事件提供不同的结果的基于机器学习的模型，该第一和第二事件涉及THROI1和THROI3中相同的平均变化但THROI1和THROI3中不同的不对称性程度；以及(iv)利用所述不对称性来区分(a)THROI1与THROI3中与生理响应有关的温度变化和(b)THROI1与THROI3中与生理响应无关的温度变化。
可选地，ROI2覆盖ROI1的至少一半，CAM和VCAM中的每个重量低于10g，物理地耦接到被配置为穿戴在所述用户的头部上的框架，并且距离所述用户的面部小于15cm；并且该系统进一步包括第二可见光相机(VCAM2)，其物理地耦接到所述框架，并且被配置为拍摄所述面部上的第三ROI的图像(THROI3)；其中VCAM和VCAM2分别位于划分所述面部的垂直对称轴的右侧和左侧至少0.5cm处，并且ROI2与ROI3之间的对称重叠高于50％；并且其中所述计算机被配置为还基于IMROI3来检测生理响应。
可选地，生理响应是情绪响应，所述计算机进一步被配置为基于IMROI2来计算面部皮肤颜色变化(FSCC)，并且基于THROI1和FSCC来检测所述用户的情绪响应；其中，通常，基于THROI1和FSCC两者来检测情绪响应比基于THROI1或FSCC中任一个来检测情绪响应更准确。
可选地，生理响应是情绪响应，所述计算机进一步被配置为从IMROI2识别面部表情，并且基于THROI1和所识别的面部表情来检测所述用户的情绪响应；其中，通常，基于THROI1和所识别的面部表情两者来检测情绪响应比基于THROI1或所识别的面部表情中的任一个来检测情绪响应更准确。
可选地，所述计算机进一步被配置为基于IMROI2来生成所述用户的替身，并且修改所述替身以示出未在所述用户的面部表情中表现的合成面部表情，所述合成面部表情对应于基于THROI1检测到的情绪响应。
可选地，在以下样本上训练所述模型：基于在化妆品被施加到ROI1与ROI2之间的重叠区域的一部分之后进行的THROI1和拍摄的IMROI2的第一集合而生成的样本、以及基于在所述重叠区域几乎没有化妆品时进行的THROI1和拍摄的IMROI2的第二集合生成的其它样本；由此利用所述模型使得所述计算机能够考虑所述重叠区域上化妆品的存在。
可选地，在以下样本上训练所述模型：从在ROI1与ROI2之间的重叠区域的一部分上检测到汗水时进行的THROI1和拍摄的IMROI2的第一集合生成的样本、以及从在所述重叠区域上没有检测到汗水时进行的THROI1和拍摄的IMROI2的第二集合生成的另外的样本；由此利用所述模型使得所述计算机能够考虑所述重叠区域上的汗水。
可选地，在以下样本上训练所述模型：从在ROI1与ROI2之间的重叠区域的一部分上的毛发密度处于第一水平时进行的THROI1和拍摄的IMROI2的第一集合生成的样本、以及从在ROI1与ROI2之间的重叠区域的一部分上的毛发密度处于高于所述第一水平的第二水平时进行的THROI1和拍摄的IMROI2的第二集合生成的另外的样本；由此利用所述模型使得所述计算机能够考虑所述重叠区域的一部分上的毛发。
可选地，在以下样本上训练所述模型：从在ROI1与ROI2之间的重叠区域的一部分上检测到皮肤炎症时进行的THROI1和拍摄的IMROI2的第一集合生成的样本、以及从在所述重叠区域上没有检测到皮肤炎症时进行的THROI1和拍摄的IMROI2的第二集合生成的另外的样本；由此利用所述模型使得所述计算机能够考虑所述重叠区域上的皮肤炎症。
可选地，在以下样本上训练所述模型：从在检测到所述用户触摸ROI1与ROI2之间的重叠区域的一部分时进行的THROI1和拍摄的IMROI2的第一集合生成的样本、以及从在检测到所述用户没有触摸所述重叠区域时进行的THROI1和拍摄的IMROI2的第二集合生成的另外的样本；由此利用所述模型使得所述计算机能够考虑触摸所述重叠区域。
可选地，所述计算机进一步被配置为：(i)基于IMROI2来识别以下一种或多种更改THROI1的扰乱性活动的发生：说话、进食和饮水，(ii)基于所识别的扰乱性活动来生成特征值，以及(iii)利用所述模型基于所述特征值和THROI1来检测生理响应。
可选地，ROI1和ROI2在嘴上，并且IMROI2指示在某一时段期间面部表情的变化，该变化涉及从唇相接触的面部表情到张开嘴的面部表情的转变；由此基于在所述某一时段期间进行的THROI1来检测生理响应涉及将THROI1的变化归因于张开嘴而不是唇温度的变化。
可选地，ROI1和ROI2在鼻子和上唇上，并且IMROI2指示在某一时段期间面部表情的变化，该变化涉及从中性面部表情到厌恶的面部表情的转变；由此基于在所述某一时段期间进行的THROI1来检测生理响应涉及将THROI1的变化归因于抬高的上唇和起皱的鼻子而不是鼻子和上唇温度的变化。
可选地，ROI1和ROI2在所述用户的前额上，位于所述用户的眉毛中的至少一个上方约1cm处，并且IMROI2指示在某一时段期间面部表情的变化，该变化涉及从中性表情到涉及抬高的眉毛的面部表情的转变；由此基于在所述某一时段期间进行的THROI1来检测生理响应涉及将THROI1的变化归因于升高眉毛而不是前额温度的变化。
可选地，该系统进一步包括以下中的至少一个：(i)其中VCAM包括多像素传感器和透镜，并且根据沙姆定律，所述传感器平面相对于所述透镜平面倾斜多于2°，以便改进ROI2的图像的清晰度；以及(ii)其中CAM包括焦平面阵列(FPA)传感器和红外透镜，并且根据沙姆定律，所述FPA平面相对于红外透镜平面倾斜多于2°，以便改进ROI1的图像的清晰度。
可选地，响应于接收在所述用户表达某一面部表情的第一时段期间进行的THROI1和拍摄的IMROI2的第一集合，所述计算机检测所述用户的第一情绪响应，并且响应于接收在所述用户再次表达所述某一面部表情的第二时段期间进行的THROI1和拍摄的IMROI2的第二集合，所述计算机检测与所述第一情绪响应不同的所述用户的第二情绪响应；并且其中所述第一集合的THROI1指示达到阈值的第一生理响应，而所述第二集合的THROI1指示未达到所述阈值的第二生理响应。
可选地，所述第一集合包括指示面部表情是微笑的IMROI2以及指示压力低于某一阈值的THROI1，并且所述第一情绪响应是快乐；并且所述第二集合包括指示面部表情是微笑的IMROI2以及指示压力高于所述某一阈值的THROI1，并且所述第二情绪响应是不舒适。
可选地，所述第一集合包括指示面部表情是中性表情的IMROI2以及指示压力低于某一阈值的THROI1，并且所述第一情绪响应是舒适；并且所述第二集合包括指示面部表情是中性的IMROI2以及指示压力高于所述某一阈值的THROI1，并且所述第二情绪响应是隐藏。
可选地，所述第一集合包括指示面部表情是愤怒表情的IMROI2以及指示压力高于某一阈值的THROI1，并且所述第一情绪响应是愤怒；并且所述第二集合包括指示面部表情是愤怒表情的IMROI2以及指示压力低于所述某一阈值的THROI1，并且所述第二情绪响应指示假装愤怒。
在一个实施例中，一种用于检测生理响应的方法，包括：
使用位于距离用户的面部最多15cm的面向内的头戴式热感相机进行所述用户的面部上的第一感兴趣区域的热测量(THROI1)；
使用位于距离所述用户的面部最多15cm的面向内的头戴式可见光相机拍摄所述用户的面部上的第二感兴趣区域的图像(IMROI2)；其中ROI1和ROI2重叠；
基于THROI1和IMROI2来生成特征值；并且
利用模型基于所述特征值来检测生理响应；其中基于在不同天期间进行和拍摄的先前的THROI1和IMROI2来训练所述模型。
可选地，生理响应是情绪响应，并且该方法进一步包括基于IMROI2来计算指示面部皮肤颜色变化(FSCC)的值，并且利用指示FSCC的所述值来生成用于检测生理响应的至少一个所述特征值。
可选地，该方法进一步包括基于IMROI2来生成指示在ROI1与ROI2之间的重叠区域的一部分上出现一种或多种以下混杂因素的特征值：化妆品的存在、汗水的存在、头发的存在和皮肤炎症的存在，并且利用所述特征值来检测生理响应。
在一个实施例中，一种被配置为检测生理响应的系统，包括：
面向内的头戴式热感相机(CAMin)，其被配置为进行用户的面部上的感兴趣区域的热测量(THROI)；其中CAMin不遮挡所述感兴趣区域(ROI)并且距离所述用户的面部小于15cm；
面向外的头戴式热感相机(CAMout)，其被配置为进行环境的热测量(THENV)并且距离所述面部小于15cm；以及
计算机，其被配置为基于THROI和THENV来检测生理响应。
可选地，所述计算机进一步被配置为基于THROI和THENV的集合来生成特征值，并且利用基于机器学习的模型基于所述特征值来检测生理响应；其中响应于接收THROI达到第一阈值而THENV没有达到第二阈值的测量的第一集合，所述计算机检测出生理响应；并且其中响应于接收THROI达到所述第一阈值而THENV达到所述第二阈值的测量的第二集合，所述计算机不检测出生理响应。
可选地，通常，基于THROI和THENV来检测生理响应比基于THROI而不基于THENV来检测生理响应更准确。
可选地，CAMin的视场(FOV)大于CAMout的FOV，并且CAMin的噪声等效温差(NEDT)低于CAMout的NEDT。
可选地，CAMin具有小于80°的视场(FOV)，CAMout具有大于80°的FOV，并且CAMin具有比CAMout更多的感测元件。
可选地，CAM与CAMout的光轴之间的角度是以下角度中的至少一个：45°、90°、130°、170°和180°。
可选地，CAMin和CAMout基于相同类型的传感器并相距小于5cm。
可选地，该系统进一步包括被配置为穿戴在所述用户的头部上的框架；其中CAMin和CAMout各自重量低于5g并物理地耦接到所述框架。
可选地，感兴趣区域包含所述用户的前额上的区域，并且生理响应包括以下中的至少一个：压力、头痛和中风。
可选地，感兴趣区域包含所述用户的鼻子上的区域，并且生理响应是过敏反应。
可选地，该系统进一步包括第二面向外的头戴式热感相机(CAMout2)，其被配置为进行环境的热测量(THENV2)；其中CAMout与CAMout2的光轴之间存在至少30°的角度；响应于接收THROI达到第一阈值而THENV与THENV2之间的差异没有达到第二阈值的测量的第一集合，所述计算机检测出生理响应；并且响应于接收THROI达到所述第一阈值而THENV与THENV2之间的所述差异达到所述第二阈值的测量的第二集合，所述计算机不检测出生理响应。
可选地，该系统进一步包括第二面向外的头戴式热感相机(CAMout2)，其被配置为进行环境的热测量(THENV2)；CAMout与CAMout2的光轴之间存在至少30°的角度；其中所述计算机被配置为基于THROI、THENV与THENV2之间的差异，同时考虑CAMout与CAMout2的光轴之间的角度以及作为离CAMout和CAMout2中的每个的光轴的角度的函数的响应度的曲线图，来检测生理响应。
可选地，CAMin和CAMout位于划分所述用户的面部的垂直对称轴的右侧，并且所述ROI在所述面部的右侧上；并且该系统进一步包括位于所述垂直对称轴的左侧的第二面向内的头戴式热感相机(CAMin2)和第二面向外的头戴式热感相机(CAMout2)；CAMin2被配置为进行所述面部的左侧上的第二ROI的热测量(THROI2)，并且不遮挡ROI2；CAMout2被配置为进行相对于CAMout所测量的环境更左侧的环境的热测量(THENV2)；其中所述计算机被配置为还基于THROI2和THENV2来检测生理响应。
可选地，CAMin和CAMout的光轴在法兰克福水平面上方；并且该系统进一步包括第二面向内的头戴式热感相机(CAMin2)和第二面向外的头戴式热感相机(CAMout2)，其光轴位于法兰克福水平面下方，并且被配置为分别进行热测量THROI2和THENV2；其中所述计算机被配置为还基于THROI2和THENV2来检测生理响应。
可选地，该系统进一步包括传感器，其被配置为进行指示以下中的至少一个的测量(mconf)：所述用户活动的程度、所述用户的头部的取向和所述用户的身体位置的变化；其中所述计算机被配置为还基于mconf来检测生理响应。
可选地，所述计算机进一步被配置为基于THROI、THENV和mconf来生成特征值，并且利用模型基于所述特征值来检测生理响应；其中可以基于以下样本来训练所述模型：在所述用户步行或跑步时进行的先前的THROI、THENV和mconf的第一集合、以及在所述用户坐着或站立时进行的先前的THROI、THENV和mconf的第二集合。
可选地，所述传感器包括以下传感器中的一个或多个：(i)移动传感器，其物理地耦接到穿戴在所述用户的头部上的框架，或者耦接到所述用户穿戴的可穿戴设备，(ii)可见光相机，其被配置为拍摄所述用户的图像；以及(iii)有源3D跟踪设备，其被配置为发射电磁波并基于接收到的所发射的电磁波的反射来生成3D图像。
可选地，所述计算机被配置为基于THROI与THENV之间的差异来检测生理响应；由此基于所述差异来检测生理响应使得所述系统能够在不受控的环境中良好地操作，所述不受控的环境未将环境温度维持在±3℃以下的范围，并且未将湿度维持在±10％以下的范围。
在一个实施例中，一种用于检测生理响应的方法，包括：
使用面向内的头戴式热感相机(CAMin)进行用户的面部上的感兴趣区域的热测量(THROI)；
利用由所述用户穿戴的面向外的头戴式热感相机(CAMout)进行环境的热测量(THENV)；
基于THROI和THENV来生成特征值；并且
利用基于机器学习的模型基于所述特征值来检测生理响应。
可选地，该方法进一步包括：进行THROI的第一集合(第一THROI)，其中所述第一THROI达到第一阈值；进行THENV的第一集合(第一THENV)，其中所述THENV的第一集合没有达到第二阈值；基于所述THROI的第一集合和所述THENV的第一集合来检测所述用户具有生理响应；进行THROI的第二集合，其中所述THROI的第二集合达到所述第一阈值；进行THENV的第二集合，其中所述THENV的第二集合达到所述第二阈值；并且基于所述THROI的第二集合和所述THENV的第二集合来检测所述用户不具有生理响应。
在一个实施例中，一种被配置为在考虑混杂物质的食用时检测生理响应的系统，包括：
面向内的头戴式热感相机(CAM)，其被配置为进行用户的面部上的感兴趣区域的热测量(THROI)；以及
计算机，其被配置为：
接收指示所述用户食用影响THROI的混杂物质的指示；并且
在所食用的混杂物质影响THROI时，基于THROI、所述指示和模型来检测生理响应。
可选地，在以下上训练所述模型：在所述混杂物质影响THROI时进行的THROI的第一集合、以及在所述混杂物质不影响THROI时进行的THROI的第二集合。
可选地，CAM位于距离所述用户的面部小于10cm，并且所述混杂物质包括酒精饮料、药物和香烟中的至少一种；并且其中所述第一集合和所述第二集合是所述用户的先前的THROI。
可选地，所述计算机基于第一THROI检测出生理响应，对于所述第一THROI不存在指示所述第一THROI受到食用所述混杂物质的影响的指示，并且所述第一THROI达到阈值；其中所述计算机基于第二THROI而不检测出生理响应，对于所述第二THROI存在指示所述第二THROI受到食用所述混杂物质的影响的指示，并且所述第二THROI也达到所述阈值。
可选地，所述模型是基于机器学习的模型，并且所述计算机进一步被配置为基于THROI和所述指示来生成特征值，并且利用所述基于机器学习的模型基于所述特征值来检测生理响应。
可选地，所述混杂物质包括药物，所述指示从药片分配器接收，并且所述指示指示所述用户服用药物。
可选地，所述混杂物质包括酒精饮料，所述指示从冰箱、食品室和服务机器人中的至少一个接收；并且其中所述指示指示所述用户饮用酒精饮料。
可选地，所述指示从头戴式可见光相机接收，所述头戴式可见光相机在其视场中具有从所述用户的嘴突出的体积，并且所述计算机进一步被配置为基于对由所述头戴式可见光相机拍摄的图像的分析来识别所述混杂物质的食用。
可选地，所述指示从具有物联网(IoT)能力的设备接收，通过该能力将所述指示提供给所述计算机。
可选地，所述指示从配置为对所述用户录音的麦克风接收；并且所述计算机进一步被配置为利用对所述用户的录音操作的声音识别算法来识别所述混杂物质的食用。
可选地，声音识别算法包括语音识别算法，其被配置为识别指示食用所述混杂物质的词语。
可选地，所述指示从用户界面接收，所述用户界面被配置为从所述用户或第三方接收关于食用所述混杂物质的输入。
可选地，所述感兴趣区域(ROI)在前额上，并且CAM：物理地耦接到眼镜框架，位于所述ROI下方，并且不遮挡所述ROI。
可选地，所述感兴趣区域(ROI)在眶周区域上，并且CAM位于距离所述面部小于10cm。
可选地，所述感兴趣区域(ROI)在鼻子上，并且CAM：物理地耦接到眼镜框架，并且位于距离所述面部小于10cm。
可选地，所述感兴趣区域(ROI)在鼻孔下方，并且CAM：物理地耦接到眼镜框架，位于所述ROI上方，并且不遮挡所述ROI。
在一个实施例中，一种在考虑混杂物质的食用时检测生理响应的方法，包括：
使用面向内置的头戴式热感相机进行用户的面部上的感兴趣区域的热测量(THROI)；
接收指示食用影响THROI的混杂物质的指示；并且
在所述食用的混杂物质影响THROI时，基于THROI、所述指示和模型来检测生理响应；其中所述模型在以下上被训练：在所述混杂物质影响THROI时进行的THROI的第一集合、以及在所述混杂物质不影响THROI时进行的THROI的第二集合。
可选地，所述模型是基于机器学习的模型，并且该方法进一步包括基于THROI和所述指示来生成特征值，并且利用所述基于机器学习的模型基于所述特征值来检测生理响应。
可选地，该方法进一步包括基于分析由头戴式可见光相机拍摄的图像来生成所述指示，所述头戴式可见光相机在其视场中具有从所述用户的嘴部突出的体积的至少一部分。
可选地，所述混杂物质包括药物，并且所述指示从药片分配器接收。
可选地，所述混杂物质包括酒精饮料，并且所述指示从冰箱、食品室和服务机器人中的至少一个接收。
在一个实施例中，一种夹式设备，包括：
主体，其被配置与一副眼镜多次附接和分离，以便与所述眼镜固定和释放所述夹式设备；
固定到所述主体的面向内的相机；以及
固定到所述主体的无线通信模块；
其中所述夹式设备重量小于40g。
可选地，该设备进一步包括固定到所述主体的处理器和固定到所述主体的电池；其中所述无线通信模块被配置为将由所述面向内的相机进行的测量传输到未固定到所述主体并且被配置为基于测量来检测生理响应的计算机。
可选地，所述面向内的相机是热感相机；其中当所述主体附接到所述眼镜时，所述热感相机：被配置为进行穿戴所述眼镜的用户的前额上的区域的热测量(THF)，位于距离所述用户的面部小于5cm，并且其光轴在法兰克福水平面上方20°；并且其中所述无线通信模块被配置为将THF传输到计算机，所述计算机被配置为基于THF来检测生理响应。
可选地，所述面向内的相机是热感相机；其中当所述主体附接到所述眼镜时，所述热感相机：被配置为进行穿戴所述眼镜的用户的鼻子上的区域的热测量(THN)，并且位于距离所述用户的面部小于5cm；并且其中所述无线通信模块被配置为将THN传输到计算机，所述计算机被配置为基于THN来检测生理响应。
可选地，所述面向内的相机是热感相机；其中当所述主体附接到所述眼镜时，所述热感相机：被配置为进行穿戴所述眼镜的用户的眶周范围上的区域的热测量(THP)，并且位于距离所述用户的面部小于5cm；并且其中所述无线通信模块被配置为将THP传输到计算机，所述计算机被配置为基于THP来检测生理响应。
可选地，所述面向内的相机是热感相机；其中当所述主体附接到所述眼镜时，所述热感相机：位于穿戴所述眼镜的用户的视平线下方，位于距离划分所述用户的面部的垂直对称轴至少2cm，并且被配置为进行所述用户的面部的以下部位中的至少一个上的区域的热测量(THROI)：上唇、双唇和面颊；并且其中所述无线通信模块被配置为将THROI传输到计算机，所述计算机被配置为基于THROI来检测生理响应。
可选地，所述面向内的相机是可见光相机；其中当所述主体附接到所述眼镜时，所述可见光相机：被配置为拍摄穿戴所述眼镜的用户的视平线上方的区域的图像(IMROI)，位于距离所述用户的面部小于10cm，并且其光轴在法兰克福水平面上方20°；并且其中所述无线通信模块被配置为将IMROI传输到计算机，所述计算机被配置为基于IMROI来检测生理响应。
可选地，所述区域在前额上，并且所述计算机被配置为基于在IMROI中可识别的面部皮肤颜色变化(FSCC)来检测生理响应。
可选地，所述面向内的相机是可见光相机；其中当所述主体附接到所述眼镜时，所述可见光相机：被配置为拍摄穿戴所述眼镜的用户的鼻子上的区域的图像(IMN)，并且位于距离所述用户的面部小于10cm；并且其中所述无线通信模块被配置为将IMN传输到计算机，所述计算机被配置为基于IMN来检测生理响应。
可选地，所述计算机被配置为基于在IMN中可识别的面部皮肤颜色变化(FSCC)来检测生理响应。
可选地，所述面向内的相机是可见光相机；其中当所述主体附接到所述眼镜时，所述可见光相机：被配置为拍摄穿戴所述眼镜的用户的眼睛上的区域的图像(IME)，并且位于距离所述用户的面部小于10cm；并且其中所述无线通信模块被配置为将IME传输到计算机，所述计算机被配置为基于在IME中可识别的巩膜的颜色变化来检测所述用户的生理响应。
可选地，所述面向内的相机是可见光相机；其中当所述主体附接到所述眼镜时，所述可见光相机：被配置为拍摄穿戴所述眼镜的用户的眼睛上的区域的图像(IME)，并且位于距离所述用户的面部小于10cm；并且其中所述无线通信模块被配置为将IME传输到计算机，所述计算机被配置为基于在IME中可识别的虹膜的颜色变化来检测所述用户的生理响应。
可选地，所述面向内的相机是可见光相机；其中当所述主体附接到所述眼镜时，所述可见光相机：被配置为拍摄穿戴所述眼镜的用户的眼睛上的区域的图像(IME)，并且位于距离所述用户的面部小于10cm；并且其中所述无线通信模块被配置为将IME传输到计算机，所述计算机被配置为基于瞳孔直径的变化来检测所述用户的情绪响应。
可选地，所述面向内的相机是可见光相机；其中当所述主体附接到所述眼镜时，所述可见光相机：位于穿戴所述眼镜的用户的视平线下方，位于距离划分所述用户的面部的垂直对称轴至少2cm，并且被配置为拍摄所述用户的面部的以下部位中的至少一个上的区域的图像(IMROI)：上唇、双唇和面颊；并且其中所述无线通信模块被配置为将IMROI传输到计算机，所述计算机被配置为基于IMROI来检测所述用户的情绪响应。
可选地，所述面向内的相机是热感相机；其中当所述主体附接到所述眼镜时，所述热感相机：被配置为进行穿戴所述眼镜的用户的面部上的感兴趣区域的热测量(THROI)，并且位于距离所述用户的面部小于10cm；并且该设备进一步包括面向外的头戴式热感相机，其被配置为进行环境的热测量(THENV)；其中所述无线通信模块被配置为将THROI和THENV传输到计算机，所述计算机被配置为基于THROI和THENV来检测所述用户的情绪响应。
可选地，所述计算机被配置为利用THENV来考虑来自环境的热干扰。
可选地，所述面向内的相机是可见光相机；其中当所述主体附接到所述眼镜时，所述可见光相机：被配置为拍摄穿戴所述眼镜的用户的面部上的感兴趣区域的图像(IMROI)，并且位于距离所述用户的面部小于10cm；并且该设备进一步包括面向外的头戴式可见光相机，其被配置为拍摄环境的图像(IMENV)；其中所述无线通信模块被配置为将IMROI和IMENV传输到计算机，所述计算机被配置为基于IMROI和IMENV来检测所述用户的情绪响应。
可选地，所述面向内的相机是可见光相机；其中当所述主体附接到所述眼镜时，所述可见光相机：被配置为拍摄穿戴所述眼镜的用户的面部上的感兴趣区域的图像(IMROI)，并且位于距离所述用户的面部小于10cm；并且该设备进一步包括面向外的头戴式可见光相机，其被配置为拍摄环境的图像(IMENV)；其中所述无线通信模块被配置为将IMROI和IMENV传输到计算机，所述计算机被配置为基于在IMROI中可识别的面部皮肤颜色变化(FSCC)来检测生理响应，并且利用IMENV来考虑环境光的变化。
可选地，所述面向内的相机是可见光相机；并且该设备进一步包括第二面向内的可见光相机；其中当所述主体附接到所述眼镜时，所述可见光相机和所述第二可见光相机：被配置为拍摄视平线上方的第一区域和上唇上的第二区域的图像(分别为IMROI和IMROI2)，并且位于距离所述用户的面部小于10cm；其中所述无线通信模块被配置为将IMROI和IMROI2传输到计算机，所述计算机被配置为基于IMROI和IMROI2来生成所述用户的替身。
可选地，所述面向内的相机包括多像素传感器和透镜，并且根据沙姆定律，传感器平面相对于透镜平面倾斜多于2°，以便当所述主体被附接到由用户穿戴的所述眼镜时捕获更清晰的图像。
可选地，当所述主体附接到所述眼镜时，所述夹式设备的多于50％的面向外的表面位于所述眼镜框架的后面。
可选地，当所述主体附接到所述眼镜时，所述夹式设备的多于75％的面向外的表面位于所述眼镜框架的后面。
可选地，当所述主体附接到眼镜时，所述夹式设备的大部分体积位于所述眼镜的透镜上方，并且所述面向内的相机被配置为拍摄穿戴所述眼镜的用户的前额上的区域的图像。
可选地，所述眼镜包括左透镜和右透镜，并且当所述主体附接到所述眼镜时，所述夹式设备的大部分体积位于所述左透镜的左侧或所述右透镜的右侧；其中所述面向内的相机被配置为拍摄以下中的至少一个的图像：穿戴所述眼镜的用户的鼻子上的区域和所述用户的嘴上的区域。
可选地，所述主体利用以下机构中的至少一个来保持附接到所述眼镜：被配置为夹在所述眼镜上的夹子构件、被配置为附接到连接到所述眼镜的磁体的磁体、被配置为附接到所述眼镜的金属部分的磁体、被配置为将所述夹式固定到所述眼镜的静止翼片、被配置为非永久地将所述夹式耦接到所述眼镜的保持构件、以及被配置为施加将所述主体按压向所述眼镜的力的弹簧。
可选地，所述主体被配置为由使用所述眼镜的用户在不使用螺丝刀或刀的情况下从所述眼镜分离。
可选地，所述眼镜由以下中的至少一种组成：处方眼镜、处方太阳镜、平面太阳镜和增强现实眼镜；并且其中对于普通用户而言，将所述夹式设备附接到所述眼镜和将所述夹式设备从所述眼镜分离都不应该花费多于10秒。
可选地，所述夹式设备重量小于20g。
在一个实施例中，一种被配置为基于面部皮肤颜色变化(FSCC)来检测生理响应的系统，包括：
面向内的头戴式可见光相机(VCAMin)，其被配置为拍摄用户的面部上的感兴趣区域的图像(IMROI)；其中所述感兴趣区域(ROI)被环境光照射；以及
计算机，其被配置为基于在IMROI中可识别的FSCC来检测生理响应。
可选地，该系统进一步包括被配置为拍摄环境的图像(IMENV)的面向外的头戴式可见光相机(VCAMout)；其中所述计算机进一步被配置为利用模型并还基于IMENV来检测生理响应。
可选地，IMENV指示朝向所述面部的照射，IMROI指示来自所述面部的反射，并且利用IMENV检测生理响应至少部分地考虑环境光的变化，所述环境光的变化引起生理响应的检测中的错误。
可选地，生理响应包括所述用户的情绪响应的表达。
可选地，生理响应包括所述用户的心率和所述用户的心率变异性中的至少一个。
可选地，生理响应包括所述用户的呼吸速率。
可选地，VCAMin和VCAMout中的至少一个包括被配置为还在以下近红外(NIR)光谱间隔中的至少一个中捕获光线的传感器：700-800nm，700-900nm，700-1000nm；并且所述计算机进一步被配置为还基于在所述NIR光谱间隔中获得的数据来检测生理响应。
可选地，该系统进一步包括被配置为穿戴在所述用户的头部上的框架；其中VCAMin和VCAMout物理耦接到所述框架，位于距离所述用户的面部小于10cm，并且每个重量低于10g；并且其中VCAMin和VCAMout的光轴之间的角度对于所述计算机是已知的。
可选地，在以下上训练所述模型：在所述用户在室内且未处于直射阳光中下时拍摄的IMROI和IMENV的第一集合、以及在所述用户在户外处于直射阳光下时拍摄的IMROI和IMENV的第二集合。
可选地，在以下上训练所述模型：在白天期间拍摄的IMROI和IMENV的第一集合、以及在夜间期间拍摄的IMROI和IMENV的第二集合。
可选地，在以下上训练所述模型：在所述用户锻炼和移动时拍摄的IMROI和IMENV的第一集合、以及在所述用户坐着和不锻炼时拍摄的IMROI和IMENV的第二集合。
可选地，VCAMin不遮挡所述ROI，并且所述计算机进一步被配置为利用模型来检测生理响应；并且其中在以下上训练所述模型：在所述用户在室内且未处于直射阳光中时拍摄的IMROI的第一集合、以及在所述用户在室外处于直射阳光中时拍摄的IMROI的第二集合。
可选地，所述计算机进一步被配置为利用模型来检测生理响应；并且其中在以下上训练所述模型：在所述用户锻炼和移动时拍摄的IMROI的第一集合、以及在所述用户坐着和不锻炼时拍摄的IMROI的第二集合。
可选地，所述计算机进一步被配置为利用模型来检测生理响应；并且其中在以下上训练所述模型：在所述用户饮用酒精饮料之后少于30分钟拍摄拍摄的IMROI的第一集合、以及在所述用户没有饮用酒精饮料的一天拍摄拍摄的IMROI的第二集合。
可选地，所述计算机进一步被配置为利用模型来检测生理响应；其中在样本上训练所述模型，每个样本包括：基于所述用户的IMROI生成的特征值、以及指示所述用户的情绪响应的标签；并且其中所述标签基于以下中的一种或多种生成：所述用户的通信的语义分析，所述用户做出的面部表情的分析，所述用户的面部区域的热测量，以及所述用户的一种或多种以下生理信号：心率、心率变异性、呼吸速率和皮肤电反应。
可选地，所述计算机进一步被配置为利用模型来检测生理响应；其中在样本上训练所述模型，每个样本包括：基于在所述用户暴露于某一内容时拍摄的所述用户的IMROI生成的特征值、以及指示与所述某一内容相对应的预期情绪响应的标签。
可选地，所述计算机进一步被配置为接收指示所述用户食用影响FSCC的混杂物质的指示，并且在所食用的混杂物质影响FSCC时，基于IMROI、所述指示和模型来检测生理响应；其中在以下上训练所述模型：在所述混杂物质影响FSCC时拍摄的IMROI的第一集合、以及在所述混杂物质不影响FSCC时拍摄的IMROI的第二集合。
可选地，所述计算机仍然基于在所述用户跑步时拍摄的IMROI中可识别的FSCC来检测生理响应。
可选地，所述ROI在前额上，VCAMin位于距离所述用户的面部小于10cm，并且VCAMin的光轴在法兰克福水平面上方20°。
可选地，所述ROI在鼻子上，并且VCAMin位于距离所述用户的面部小于10cm。
可选地，VCAMin指向所述用户的眼睛；并且所述计算机进一步被配置为选择巩膜作为所述ROI，并且基于巩膜的IMROI中可识别的颜色变化来检测生理响应。
可选地，VCAMin指向所述用户的眼睛；并且所述计算机进一步被配置为选择虹膜作为所述ROI，并且基于虹膜的IMROI中可识别的颜色变化来检测生理响应。
可选地，所述计算机进一步被配置为基于虹膜的IMROI来计算所述瞳孔直径的变化，并且基于所述瞳孔直径的变化来检测所述用户的情绪响应。
可选地，该系统进一步包括面向内的头戴式热感相机，其被配置为进行所述用户的面部上的第二ROI的热测量(THROI2)；其中ROI和ROI2重叠，并且所述计算机进一步被配置为利用THROI2来检测生理响应；由此，通常，基于在IMROI中可识别的FSCC和THROI2两者来检测生理响应比基于在IMROI中可识别的FSCC而不基于THROI2来检测生理响应更准确。
可选地，进一步包括面向外的头戴式热感相机，其被配置为进行环境的热测量(THENV)；并且所述计算机进一步被配置为利用THENV来检测生理响应；由此，通常，基于在IMROI中可识别的FSCC和THENV两者来检测生理响应比基于在IMROI中可识别的FSCC而不基于THENV来检测生理响应更准确。
可选地，VCAMin不遮挡所述ROI，并且VCAMin包括传感器和透镜；根据沙姆定律，传感器平面相对于透镜平面倾斜大于2°的固定角度，以便当由所述用户穿戴VCAMin时捕获更清晰的图像。
可选地，VCAMin包括传感器、透镜和马达；根据沙姆定律，所述马达被配置为使所述透镜相对于所述传感器倾斜；由此，所述倾斜改进了当由所述用户穿戴VCAMin时IMROI的清晰度。
可选地，所述计算机进一步被配置为基于IMROI来生成所述用户的替身，并且修改所述替身以示出未在所述用户的面部表情中表现的合成面部表情，所述合成面部表情对应于基于在IMROI中可识别的FSCC检测到的情绪响应。
在一个实施例中，一种用于基于面部皮肤颜色变化(FSCC)来检测生理响应的方法，包括：
利用面向内的头戴式可见光相机(VCAMin)拍摄用户的面部上的感兴趣区域的图像(IMROI)；其中所述感兴趣区域(ROI)被环境光照射；以及
基于IMROI中可识别的FSCC来检测生理响应。
可选地，该方法进一步包括利用面向外的头戴式可见光相机(VCAMout)来拍摄环境的图像(IMENV)；其中还基于IMENV来检测生理响应。
可选地，检测生理响应涉及基于IMROI来生成特征值，并且利用模型基于所述特征值来计算指示生理响应的程度的值；其中基于在不同天期间拍摄的所述用户的IMROI来训练所述模型。
Claims (9)
1.一种被配置为检测生理响应的系统，包括：
面向内的头戴式热感相机(CAM)，其被配置为进行用户的面部上的第一感兴趣区域的热测量(THROI1)；
面向内的头戴式可见光相机(VCAM)，其被配置为拍摄所述用户的面部上的第二感兴趣区域的图像(IMROI2)；
其中所述第一感兴趣区域(ROI1)和所述第二感兴趣区域(ROI2)重叠；以及
计算机，其被配置为基于THROI1、IMROI2和模型来检测所述生理响应。
2.一种用于检测生理响应的方法，包括：
使用位于距离用户的面部最多15cm的面向内的头戴式热感相机进行所述用户的面部上的第一感兴趣区域的热测量(THROI1)；
使用位于距离所述用户的面部最多15cm的面向内的头戴式可见光相机拍摄所述用户的面部上的第二感兴趣区域的图像(IMROI2)；其中ROI1和ROI2重叠；
基于THROI1和IMROI2来生成特征值；以及
利用模型基于所述特征值来检测所述生理响应；其中基于在不同天期间进行和拍摄的先前的THROI1和IMROI2来训练所述模型。
3.一种被配置为检测生理响应的系统，包括：
面向内的头戴式热感相机(CAMin)，其被配置为进行用户的面部上的感兴趣区域的热测量(THROI)；其中CAMin不遮挡所述感兴趣区域(ROI)并且距离所述用户的面部小于15cm；
面向外的头戴式热感相机(CAMout)，其被配置为进行环境的热测量(THENV)并且距离所述面部小于15cm；以及
计算机，其被配置为基于THROI和THENV来检测所述生理响应。
4.一种用于检测生理响应的方法，包括：
使用面向内的头戴式热感相机(CAMin)进行用户的面部上的感兴趣区域的热测量(THROI)；
利用由所述用户穿戴的面向外的头戴式热感相机(CAMout)进行环境的热测量(THENV)；
基于THROI和THENV来生成特征值；以及
利用基于机器学习的模型基于所述特征值来检测生理响应。
5.一种被配置为在考虑混杂物质的食用时检测生理响应的系统，包括：
面向内的头戴式热感相机(CAM)，其被配置为进行用户的面部上的感兴趣区域的热测量(THROI)；以及
计算机，其被配置为：
接收指示所述用户食用影响THROI的混杂物质的指示；以及
在所食用的混杂物质影响THROI时，基于THROI、所述指示和模型来检测所述生理响应。
6.一种在考虑混杂物质的食用时检测生理响应的方法，包括：
使用面向内置的头戴式热感相机进行用户的面部上的感兴趣区域的热测量(THROI)；
接收指示食用影响THROI的混杂物质的指示；以及
在所食用的混杂物质影响THROI时，基于THROI、所述指示和模型来检测所述生理响应；其中所述模型在以下集合上被训练：在所述混杂物质影响THROI时进行的THROI的第一集合、以及在所述混杂物质不影响THROI时进行的THROI的第二集合。
7.一种夹式设备，包括：
主体，其被配置与一副眼镜多次附接和分离，以便将所述夹式设备与所述眼镜固定和释放；
固定到所述主体的面向内的相机；以及
固定到所述主体的无线通信模块；
其中所述夹式设备重量小于40g。
8.一种被配置为基于面部皮肤颜色变化(FSCC)来检测生理响应的系统，包括：
面向内的头戴式可见光相机(VCAMin)，其被配置为拍摄用户的面部上的感兴趣区域的图像(IMROI)；其中所述感兴趣区域(ROI)被环境光照射；以及
计算机，其被配置为基于在IMROI中可识别的FSCC来检测所述生理响应。
9.一种用于基于面部皮肤颜色变化(FSCC)来检测生理响应的方法，包括：
利用面向内的头戴式可见光相机(VCAMin)拍摄用户的面部上的感兴趣区域的图像(IMROI)；其中所述感兴趣区域(ROI)被环境光照射；以及
基于IMROI中可识别的FSCC来检测所述生理响应。
Applications Claiming Priority (7)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| US201662408677P | 2016-10-14 | 2016-10-14 | |
| US62/408,677 | 2016-10-14 | ||
| US201762456105P | 2017-02-07 | 2017-02-07 | |
| US62/456,105 | 2017-02-07 | ||
| US201762480496P | 2017-04-02 | 2017-04-02 | |
| US62/480,496 | 2017-04-02 | ||
| PCT/IB2017/056069 WO2018069791A1 (en) | 2016-10-14 | 2017-10-02 | Detecting physiological responses using thermal and visible-light head-mounted cameras |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN110072438A true CN110072438A (zh) | 2019-07-30 |
Family
ID=61905195
Family Applications (2)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201780077295.4A Pending CN110099601A (zh) | 2016-10-14 | 2017-10-02 | 检测呼吸参数并提供生物反馈的系统和方法 |
| CN201780077226.3A Pending CN110072438A (zh) | 2016-10-14 | 2017-10-02 | 使用热感和可见光头戴式相机检测生理响应 |
Family Applications Before (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201780077295.4A Pending CN110099601A (zh) | 2016-10-14 | 2017-10-02 | 检测呼吸参数并提供生物反馈的系统和方法 |
Country Status (3)
| Country | Link |
|---|---|
| CN (2) | CN110099601A (zh) |
| GB (5) | GB2569936B (zh) |
| WO (3) | WO2018069791A1 (zh) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111128387A (zh) * | 2020-02-26 | 2020-05-08 | 上海鹰瞳医疗科技有限公司 | 建立癫痫发作检测模型的方法和设备 |
| CN112057074A (zh) * | 2020-07-21 | 2020-12-11 | 北京迈格威科技有限公司 | 呼吸速率测量方法、装置、电子设备及计算机存储介质 |
Families Citing this family (14)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| GB2561537B (en) * | 2017-02-27 | 2022-10-12 | Emteq Ltd | Optical expression detection |
| IL261235A (en) * | 2018-08-19 | 2020-02-27 | Sensority Ltd | Machine classification of significant psychophysiological response |
| EP3716151A1 (en) * | 2019-03-25 | 2020-09-30 | Steffen Wirth | Stress monitor and stress-monitoring method |
| US20220346651A1 (en) * | 2019-10-04 | 2022-11-03 | Nippon Avionics Co., Ltd. | Diseased person distinguishing device and diseased person distinguishing system |
| TWI750531B (zh) * | 2019-11-12 | 2021-12-21 | 國立勤益科技大學 | 基於胸部呼吸訊號的呼吸暫停的偵測裝置和偵測方法 |
| CN111202502B (zh) * | 2020-01-19 | 2021-06-15 | 珠海格力电器股份有限公司 | 健康指标检测方法、系统、存储介质及健康监测设备 |
| CN111248922B (zh) * | 2020-02-11 | 2022-05-17 | 中国科学院半导体研究所 | 基于加速度计和陀螺仪的人体呼吸情况采集贴及制备方法 |
| EP4143793A1 (en) * | 2020-04-30 | 2023-03-08 | Marsupial Holdings Inc. | Extended field-of-view near-to-eye wearable display |
| US11790586B2 (en) * | 2020-06-19 | 2023-10-17 | Microsoft Technology Licensing, Llc | Generating physio-realistic avatars for training non-contact models to recover physiological characteristics |
| US11803237B2 (en) * | 2020-11-14 | 2023-10-31 | Facense Ltd. | Controlling an eye tracking camera according to eye movement velocity |
| CN113576452A (zh) * | 2021-07-30 | 2021-11-02 | 深圳市商汤科技有限公司 | 基于热成像的呼吸率检测方法、装置及电子设备 |
| CN113729725B (zh) * | 2021-09-30 | 2024-02-06 | 东南大学 | 基于功率谱一阶矩和平滑器的心电信号提取呼吸波形方法 |
| CN113975633B (zh) * | 2021-12-08 | 2022-09-30 | 国家康复辅具研究中心 | 一种基于多源信息耦合反馈的电刺激康复训练系统 |
| CN116110539B (zh) * | 2023-02-14 | 2024-03-26 | 苏州睿酷医疗科技有限责任公司 | 一种缓解疼痛的虚拟现实系统和方法 |
Citations (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20120075464A1 (en) * | 2010-09-23 | 2012-03-29 | Stryker Corporation | Video monitoring system |
| US20130124039A1 (en) * | 2003-04-22 | 2013-05-16 | Marcio Marc Abreu | Thermal Imaging System |
| IL190102A (en) * | 2005-09-12 | 2014-04-30 | D V P Technologies Ltd | Medical image processing |
| CN104434058A (zh) * | 2013-09-24 | 2015-03-25 | 广达电脑股份有限公司 | 头戴式系统 |
| CN104684465A (zh) * | 2012-07-12 | 2015-06-03 | 菲力尔系统公司 | 使用热成像的婴儿监测系统及方法 |
| CN104768452A (zh) * | 2012-12-04 | 2015-07-08 | 皇家飞利浦有限公司 | 用于获得生物的生命体征信息的设备及方法 |
| WO2015167909A1 (en) * | 2014-04-29 | 2015-11-05 | Microsoft Technology Licensing, Llc | Facial expression tracking |
| CN105432072A (zh) * | 2013-06-20 | 2016-03-23 | 微软技术许可有限责任公司 | 用于感兴趣区域捕捉的多模图像感测 |
| CN105447441A (zh) * | 2015-03-19 | 2016-03-30 | 北京天诚盛业科技有限公司 | 人脸认证方法和装置 |
| US20160270656A1 (en) * | 2015-03-16 | 2016-09-22 | Magic Leap, Inc. | Methods and systems for diagnosing and treating health ailments |
Family Cites Families (22)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| FR2639212A1 (fr) * | 1988-11-18 | 1990-05-25 | Hennson Int | Dispositif de mesure et d'analyse de mouvements du corps humain ou de parties de celui-ci |
| JPH09140677A (ja) * | 1995-11-20 | 1997-06-03 | Matsushita Electric Ind Co Ltd | 体温測定装置 |
| DE29913602U1 (de) * | 1999-08-04 | 1999-11-25 | Oculus Optikgeraete Gmbh | Gerät zur Augenuntersuchung mit einer Scheimpflugkamera und einem Spaltprojektor zur Aufnahme von Schnittbildern eines Auges |
| GB2385451A (en) * | 2002-02-13 | 2003-08-20 | Loadpoint Ltd | Monitoring drowsiness |
| US7066180B2 (en) * | 2003-07-09 | 2006-06-27 | Airmatrix Technologies, Inc. | Method and system for measuring airflow of nares |
| US7515054B2 (en) * | 2004-04-01 | 2009-04-07 | Torch William C | Biosensors, communicators, and controllers monitoring eye movement and methods for using them |
| US20090221888A1 (en) * | 2008-03-03 | 2009-09-03 | Ravindra Wijesiriwardana | Wearable sensor system for environmental and physiological information monitoring and information feedback system |
| EP2233071A1 (en) * | 2009-03-27 | 2010-09-29 | Koninklijke Philips Electronics N.V. | Breathing feedback device |
| JP2013030959A (ja) * | 2011-07-28 | 2013-02-07 | Seiko Instruments Inc | 居眠り監視警告装置及び居眠り監視警告方法 |
| CN115813368A (zh) * | 2012-05-30 | 2023-03-21 | 瑞思迈传感器技术有限公司 | 用于监控心肺健康的方法和设备 |
| CN102973273B (zh) * | 2012-11-29 | 2014-12-17 | 中国人民解放军第四军医大学 | 一种基于红外辐射检测的睡眠呼吸功能监测系统 |
| CN105208916A (zh) * | 2013-03-15 | 2015-12-30 | 瓦索普蒂克医疗公司 | 使用多种照明形态的眼科检查及疾病管理 |
| JP2015092646A (ja) * | 2013-11-08 | 2015-05-14 | ソニー株式会社 | 情報処理装置、制御方法、およびプログラム |
| GB2528044B (en) * | 2014-07-04 | 2018-08-22 | Arc Devices Ni Ltd | Non-touch optical detection of vital signs |
| CA3210898A1 (en) * | 2014-08-10 | 2016-02-18 | Autonomix Medical, Inc. | Ans assessment systems, kits, and methods |
| CA3156908A1 (en) * | 2015-01-06 | 2016-07-14 | David Burton | Mobile wearable monitoring systems |
| CN104665787B (zh) * | 2015-01-26 | 2017-08-22 | 周常安 | 生理反馈系统 |
| DE102016101665A1 (de) * | 2015-01-29 | 2016-08-04 | Affectomatics Ltd. | Auf datenschutzüberlegungen gestützte filterung von messwerten der affektiven reaktion |
| US20160228037A1 (en) * | 2015-02-10 | 2016-08-11 | Oridion Medical 1987 Ltd. | Homecare asthma management |
| KR20160108967A (ko) * | 2015-03-09 | 2016-09-21 | 한국전자통신연구원 | 생체신호 측정장치 및 이를 이용한 생체신호 측정방법 |
| US10113913B2 (en) * | 2015-10-03 | 2018-10-30 | Facense Ltd. | Systems for collecting thermal measurements of the face |
| US9867546B2 (en) * | 2015-06-14 | 2018-01-16 | Facense Ltd. | Wearable device for taking symmetric thermal measurements |
-
2017
- 2017-10-02 GB GB1906669.5A patent/GB2569936B/en active Active
- 2017-10-02 WO PCT/IB2017/056069 patent/WO2018069791A1/en active Application Filing
- 2017-10-02 CN CN201780077295.4A patent/CN110099601A/zh active Pending
- 2017-10-02 GB GB2116877.8A patent/GB2598245B/en active Active
- 2017-10-02 WO PCT/IB2017/056067 patent/WO2018069790A1/en active Application Filing
- 2017-10-02 GB GB2114500.8A patent/GB2596733B/en active Active
- 2017-10-02 GB GB1906592.9A patent/GB2570247B/en active Active
- 2017-10-02 CN CN201780077226.3A patent/CN110072438A/zh active Pending
- 2017-10-02 GB GB1906670.3A patent/GB2570829B/en active Active
- 2017-10-02 WO PCT/IB2017/056066 patent/WO2018069789A1/en active Application Filing
Patent Citations (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20130124039A1 (en) * | 2003-04-22 | 2013-05-16 | Marcio Marc Abreu | Thermal Imaging System |
| IL190102A (en) * | 2005-09-12 | 2014-04-30 | D V P Technologies Ltd | Medical image processing |
| US20120075464A1 (en) * | 2010-09-23 | 2012-03-29 | Stryker Corporation | Video monitoring system |
| US20160065909A1 (en) * | 2010-09-23 | 2016-03-03 | Stryker Corporation | Video monitoring system |
| CN104684465A (zh) * | 2012-07-12 | 2015-06-03 | 菲力尔系统公司 | 使用热成像的婴儿监测系统及方法 |
| CN104768452A (zh) * | 2012-12-04 | 2015-07-08 | 皇家飞利浦有限公司 | 用于获得生物的生命体征信息的设备及方法 |
| CN105432072A (zh) * | 2013-06-20 | 2016-03-23 | 微软技术许可有限责任公司 | 用于感兴趣区域捕捉的多模图像感测 |
| CN104434058A (zh) * | 2013-09-24 | 2015-03-25 | 广达电脑股份有限公司 | 头戴式系统 |
| WO2015167909A1 (en) * | 2014-04-29 | 2015-11-05 | Microsoft Technology Licensing, Llc | Facial expression tracking |
| US20160270656A1 (en) * | 2015-03-16 | 2016-09-22 | Magic Leap, Inc. | Methods and systems for diagnosing and treating health ailments |
| CN105447441A (zh) * | 2015-03-19 | 2016-03-30 | 北京天诚盛业科技有限公司 | 人脸认证方法和装置 |
Non-Patent Citations (3)
| Title |
|---|
| GEOVANY A. R ET AL.: "Color Analysis of Facial Skin: Detection of Emotional State", 《2014 IEEE CONFERENCE ON COMPUTER VISION AND PATTERN RECOGNITION WORKSHOPS》 * |
| SHANGFEI WANG ET AL.: "A Natural Visible and Infrared Facial Expression Database for Expression Recognition and Emotion Inference", 《IEEE TRANSACTION ON MULTIMEDIA,》 * |
| 张敏贵: "生物特征识别及研究现状", 《生物物理学报》 * |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111128387A (zh) * | 2020-02-26 | 2020-05-08 | 上海鹰瞳医疗科技有限公司 | 建立癫痫发作检测模型的方法和设备 |
| CN112057074A (zh) * | 2020-07-21 | 2020-12-11 | 北京迈格威科技有限公司 | 呼吸速率测量方法、装置、电子设备及计算机存储介质 |
Also Published As
| Publication number | Publication date |
|---|---|
| WO2018069789A1 (en) | 2018-04-19 |
| GB2570247A (en) | 2019-07-17 |
| GB2598245A (en) | 2022-02-23 |
| GB2598245B (en) | 2022-09-28 |
| GB201906592D0 (en) | 2019-06-26 |
| GB2596733A (en) | 2022-01-05 |
| CN110099601A (zh) | 2019-08-06 |
| GB2570829A (en) | 2019-08-07 |
| GB201906669D0 (en) | 2019-06-26 |
| WO2018069791A1 (en) | 2018-04-19 |
| GB201906670D0 (en) | 2019-06-26 |
| GB2570829B (en) | 2021-12-01 |
| GB2570247B (en) | 2021-12-01 |
| GB202114500D0 (en) | 2021-11-24 |
| GB202116877D0 (en) | 2022-01-05 |
| GB2596733B (en) | 2022-07-06 |
| GB2569936B (en) | 2021-12-01 |
| GB2569936A (en) | 2019-07-03 |
| WO2018069790A1 (en) | 2018-04-19 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110072438A (zh) | 使用热感和可见光头戴式相机检测生理响应 | |
| US10045737B2 (en) | Clip-on device with inward-facing cameras | |
| US10136856B2 (en) | Wearable respiration measurements system | |
| US11064892B2 (en) | Detecting a transient ischemic attack using photoplethysmogram signals | |
| US20210345888A1 (en) | Detecting alcohol intoxication from video images | |
| US10524667B2 (en) | Respiration-based estimation of an aerobic activity parameter | |
| US10799122B2 (en) | Utilizing correlations between PPG signals and iPPG signals to improve detection of physiological responses | |
| US10523852B2 (en) | Wearable inward-facing camera utilizing the Scheimpflug principle | |
| US11154203B2 (en) | Detecting fever from images and temperatures | |
| US10216981B2 (en) | Eyeglasses that measure facial skin color changes | |
| US10159411B2 (en) | Detecting irregular physiological responses during exposure to sensitive data | |
| US10791938B2 (en) | Smartglasses for detecting congestive heart failure | |
| US10076250B2 (en) | Detecting physiological responses based on multispectral data from head-mounted cameras | |
| US10130261B2 (en) | Detecting physiological responses while taking into account consumption of confounding substances | |
| US10524696B2 (en) | Virtual coaching based on respiration signals | |
| US10638938B1 (en) | Eyeglasses to detect abnormal medical events including stroke and migraine | |
| US10154810B2 (en) | Security system that detects atypical behavior | |
| US9968264B2 (en) | Detecting physiological responses based on thermal asymmetry of the face | |
| US10076270B2 (en) | Detecting physiological responses while accounting for touching the face | |
| US10151636B2 (en) | Eyeglasses having inward-facing and outward-facing thermal cameras | |
| US10299717B2 (en) | Detecting stress based on thermal measurements of the face | |
| Nie et al. | SPIDERS: Low-cost wireless glasses for continuous in-situ bio-signal acquisition and emotion recognition | |
| US10045726B2 (en) | Selecting a stressor based on thermal measurements of the face | |
| US10085685B2 (en) | Selecting triggers of an allergic reaction based on nasal temperatures | |
| US10136852B2 (en) | Detecting an allergic reaction from nasal temperatures |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| WD01 | Invention patent application deemed withdrawn after publication |
Application publication date: 20190730 |
|
| WD01 | Invention patent application deemed withdrawn after publication |