CN111386068A - 基于摄像机的压力测量系统与方法 - Google Patents
基于摄像机的压力测量系统与方法 Download PDFInfo
- Publication number
- CN111386068A CN111386068A CN201880076170.4A CN201880076170A CN111386068A CN 111386068 A CN111386068 A CN 111386068A CN 201880076170 A CN201880076170 A CN 201880076170A CN 111386068 A CN111386068 A CN 111386068A
- Authority
- CN
- China
- Prior art keywords
- determining
- interest
- heart rate
- hemoglobin concentration
- bit
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 64
- 238000009530 blood pressure measurement Methods 0.000 title claims abstract description 16
- 102000001554 Hemoglobins Human genes 0.000 claims abstract description 66
- 108010054147 Hemoglobins Proteins 0.000 claims abstract description 66
- 210000002216 heart Anatomy 0.000 claims abstract description 63
- 238000010801 machine learning Methods 0.000 claims abstract description 22
- 238000012549 training Methods 0.000 claims abstract description 19
- 230000008859 change Effects 0.000 claims abstract description 14
- 230000002526 effect on cardiovascular system Effects 0.000 claims abstract description 10
- 238000012634 optical imaging Methods 0.000 claims description 48
- 230000015654 memory Effects 0.000 claims description 28
- 238000005259 measurement Methods 0.000 claims description 20
- 238000012545 processing Methods 0.000 claims description 14
- 238000013528 artificial neural network Methods 0.000 claims description 13
- 230000006403 short-term memory Effects 0.000 claims description 8
- 238000001914 filtration Methods 0.000 claims description 7
- 239000011159 matrix material Substances 0.000 claims description 6
- 238000013500 data storage Methods 0.000 claims description 5
- 230000000004 hemodynamic effect Effects 0.000 claims description 5
- 230000004075 alteration Effects 0.000 claims description 4
- 239000000203 mixture Substances 0.000 claims description 3
- 238000004891 communication Methods 0.000 claims description 2
- 230000035882 stress Effects 0.000 description 46
- 210000004027 cell Anatomy 0.000 description 19
- 230000017531 blood circulation Effects 0.000 description 18
- 230000001815 facial effect Effects 0.000 description 15
- XUMBMVFBXHLACL-UHFFFAOYSA-N Melanin Chemical compound O=C1C(=O)C(C2=CNC3=C(C(C(=O)C4=C32)=O)C)=C2C4=CNC2=C1C XUMBMVFBXHLACL-UHFFFAOYSA-N 0.000 description 14
- 230000001515 vagal effect Effects 0.000 description 11
- 230000007423 decrease Effects 0.000 description 9
- 210000003403 autonomic nervous system Anatomy 0.000 description 8
- 230000013632 homeostatic process Effects 0.000 description 8
- 238000010586 diagram Methods 0.000 description 7
- 210000001002 parasympathetic nervous system Anatomy 0.000 description 7
- 230000000875 corresponding effect Effects 0.000 description 6
- 230000000694 effects Effects 0.000 description 6
- 210000002820 sympathetic nervous system Anatomy 0.000 description 6
- 230000006870 function Effects 0.000 description 5
- 230000008569 process Effects 0.000 description 5
- 238000012360 testing method Methods 0.000 description 5
- 230000036772 blood pressure Effects 0.000 description 4
- 230000009466 transformation Effects 0.000 description 4
- 230000004913 activation Effects 0.000 description 3
- 238000013459 approach Methods 0.000 description 3
- 238000006243 chemical reaction Methods 0.000 description 3
- 238000005094 computer simulation Methods 0.000 description 3
- 239000006185 dispersion Substances 0.000 description 3
- 238000009532 heart rate measurement Methods 0.000 description 3
- 230000003340 mental effect Effects 0.000 description 3
- 230000003287 optical effect Effects 0.000 description 3
- 230000000737 periodic effect Effects 0.000 description 3
- 230000035479 physiological effects, processes and functions Effects 0.000 description 3
- 238000002360 preparation method Methods 0.000 description 3
- 230000029058 respiratory gaseous exchange Effects 0.000 description 3
- 210000001186 vagus nerve Anatomy 0.000 description 3
- 208000004301 Sinus Arrhythmia Diseases 0.000 description 2
- 238000002835 absorbance Methods 0.000 description 2
- 230000005792 cardiovascular activity Effects 0.000 description 2
- 230000036996 cardiovascular health Effects 0.000 description 2
- 238000013135 deep learning Methods 0.000 description 2
- 238000001514 detection method Methods 0.000 description 2
- 230000004069 differentiation Effects 0.000 description 2
- 210000005069 ears Anatomy 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 239000000284 extract Substances 0.000 description 2
- 210000001061 forehead Anatomy 0.000 description 2
- 230000003993 interaction Effects 0.000 description 2
- 238000001361 intraarterial administration Methods 0.000 description 2
- 238000007477 logistic regression Methods 0.000 description 2
- 210000002569 neuron Anatomy 0.000 description 2
- 230000001734 parasympathetic effect Effects 0.000 description 2
- 230000002040 relaxant effect Effects 0.000 description 2
- 230000000241 respiratory effect Effects 0.000 description 2
- 238000012706 support-vector machine Methods 0.000 description 2
- 230000002123 temporal effect Effects 0.000 description 2
- CVOFKRWYWCSDMA-UHFFFAOYSA-N 2-chloro-n-(2,6-diethylphenyl)-n-(methoxymethyl)acetamide;2,6-dinitro-n,n-dipropyl-4-(trifluoromethyl)aniline Chemical compound CCC1=CC=CC(CC)=C1N(COC)C(=O)CCl.CCCN(CCC)C1=C([N+]([O-])=O)C=C(C(F)(F)F)C=C1[N+]([O-])=O CVOFKRWYWCSDMA-UHFFFAOYSA-N 0.000 description 1
- 238000012935 Averaging Methods 0.000 description 1
- 208000024172 Cardiovascular disease Diseases 0.000 description 1
- 241000282412 Homo Species 0.000 description 1
- 210000001015 abdomen Anatomy 0.000 description 1
- 238000010521 absorption reaction Methods 0.000 description 1
- 230000003044 adaptive effect Effects 0.000 description 1
- 230000003321 amplification Effects 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 210000003484 anatomy Anatomy 0.000 description 1
- 230000037007 arousal Effects 0.000 description 1
- 238000002555 auscultation Methods 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 230000015572 biosynthetic process Effects 0.000 description 1
- 210000000746 body region Anatomy 0.000 description 1
- 230000000747 cardiac effect Effects 0.000 description 1
- 210000000748 cardiovascular system Anatomy 0.000 description 1
- 230000037326 chronic stress Effects 0.000 description 1
- 208000010877 cognitive disease Diseases 0.000 description 1
- 230000001427 coherent effect Effects 0.000 description 1
- 230000002596 correlated effect Effects 0.000 description 1
- 238000010219 correlation analysis Methods 0.000 description 1
- 230000001186 cumulative effect Effects 0.000 description 1
- 238000002565 electrocardiography Methods 0.000 description 1
- 238000002567 electromyography Methods 0.000 description 1
- 210000000744 eyelid Anatomy 0.000 description 1
- 210000001035 gastrointestinal tract Anatomy 0.000 description 1
- 230000036541 health Effects 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 230000001788 irregular Effects 0.000 description 1
- 230000007787 long-term memory Effects 0.000 description 1
- 230000007774 longterm Effects 0.000 description 1
- 238000004020 luminiscence type Methods 0.000 description 1
- 210000004072 lung Anatomy 0.000 description 1
- 230000006996 mental state Effects 0.000 description 1
- 230000001617 migratory effect Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 230000036651 mood Effects 0.000 description 1
- 238000003199 nucleic acid amplification method Methods 0.000 description 1
- 230000010355 oscillation Effects 0.000 description 1
- 210000005037 parasympathetic nerve Anatomy 0.000 description 1
- 230000036316 preload Effects 0.000 description 1
- 208000020016 psychiatric disease Diseases 0.000 description 1
- 238000011084 recovery Methods 0.000 description 1
- 230000001105 regulatory effect Effects 0.000 description 1
- 230000008844 regulatory mechanism Effects 0.000 description 1
- 230000036387 respiratory rate Effects 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 230000003938 response to stress Effects 0.000 description 1
- 230000000284 resting effect Effects 0.000 description 1
- 230000001020 rhythmical effect Effects 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 238000000926 separation method Methods 0.000 description 1
- 230000001568 sexual effect Effects 0.000 description 1
- 230000011664 signaling Effects 0.000 description 1
- 238000000638 solvent extraction Methods 0.000 description 1
- 230000003595 spectral effect Effects 0.000 description 1
- 230000002269 spontaneous effect Effects 0.000 description 1
- 230000000638 stimulation Effects 0.000 description 1
- 230000002889 sympathetic effect Effects 0.000 description 1
- 238000003786 synthesis reaction Methods 0.000 description 1
- 230000009885 systemic effect Effects 0.000 description 1
- 230000001052 transient effect Effects 0.000 description 1
- 238000011282 treatment Methods 0.000 description 1
- 230000002792 vascular Effects 0.000 description 1
- 238000012795 verification Methods 0.000 description 1
- 238000001429 visible spectrum Methods 0.000 description 1
Images
Classifications
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/16—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state
- A61B5/165—Evaluating the state of mind, e.g. depression, anxiety
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/02—Detecting, measuring or recording pulse, heart rate, blood pressure or blood flow; Combined pulse/heart-rate/blood pressure determination; Evaluating a cardiovascular condition not otherwise provided for, e.g. using combinations of techniques provided for in this group with electrocardiography or electroauscultation; Heart catheters for measuring blood pressure
- A61B5/026—Measuring blood flow
- A61B5/0261—Measuring blood flow using optical means, e.g. infrared light
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/0033—Features or image-related aspects of imaging apparatus classified in A61B5/00, e.g. for MRI, optical tomography or impedance tomography apparatus; arrangements of imaging apparatus in a room
- A61B5/004—Features or image-related aspects of imaging apparatus classified in A61B5/00, e.g. for MRI, optical tomography or impedance tomography apparatus; arrangements of imaging apparatus in a room adapted for image acquisition of a particular organ or body part
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/0059—Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence
- A61B5/0077—Devices for viewing the surface of the body, e.g. camera, magnifying lens
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/02—Detecting, measuring or recording pulse, heart rate, blood pressure or blood flow; Combined pulse/heart-rate/blood pressure determination; Evaluating a cardiovascular condition not otherwise provided for, e.g. using combinations of techniques provided for in this group with electrocardiography or electroauscultation; Heart catheters for measuring blood pressure
- A61B5/0205—Simultaneously evaluating both cardiovascular conditions and different types of body conditions, e.g. heart and respiratory condition
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/02—Detecting, measuring or recording pulse, heart rate, blood pressure or blood flow; Combined pulse/heart-rate/blood pressure determination; Evaluating a cardiovascular condition not otherwise provided for, e.g. using combinations of techniques provided for in this group with electrocardiography or electroauscultation; Heart catheters for measuring blood pressure
- A61B5/024—Detecting, measuring or recording pulse rate or heart rate
- A61B5/02405—Determining heart rate variability
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/02—Detecting, measuring or recording pulse, heart rate, blood pressure or blood flow; Combined pulse/heart-rate/blood pressure determination; Evaluating a cardiovascular condition not otherwise provided for, e.g. using combinations of techniques provided for in this group with electrocardiography or electroauscultation; Heart catheters for measuring blood pressure
- A61B5/024—Detecting, measuring or recording pulse rate or heart rate
- A61B5/02416—Detecting, measuring or recording pulse rate or heart rate using photoplethysmograph signals, e.g. generated by infrared radiation
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/103—Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
- A61B5/1032—Determining colour for diagnostic purposes
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/145—Measuring characteristics of blood in vivo, e.g. gas concentration, pH value; Measuring characteristics of body fluids or tissues, e.g. interstitial fluid, cerebral tissue
- A61B5/14542—Measuring characteristics of blood in vivo, e.g. gas concentration, pH value; Measuring characteristics of body fluids or tissues, e.g. interstitial fluid, cerebral tissue for measuring blood gases
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/145—Measuring characteristics of blood in vivo, e.g. gas concentration, pH value; Measuring characteristics of body fluids or tissues, e.g. interstitial fluid, cerebral tissue
- A61B5/14546—Measuring characteristics of blood in vivo, e.g. gas concentration, pH value; Measuring characteristics of body fluids or tissues, e.g. interstitial fluid, cerebral tissue for measuring analytes not otherwise provided for, e.g. ions, cytochromes
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/145—Measuring characteristics of blood in vivo, e.g. gas concentration, pH value; Measuring characteristics of body fluids or tissues, e.g. interstitial fluid, cerebral tissue
- A61B5/1495—Calibrating or testing of in-vivo probes
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/24—Detecting, measuring or recording bioelectric or biomagnetic signals of the body or parts thereof
- A61B5/316—Modalities, i.e. specific diagnostic methods
- A61B5/318—Heart-related electrical modalities, e.g. electrocardiography [ECG]
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
- A61B5/7235—Details of waveform analysis
- A61B5/7246—Details of waveform analysis using correlation, e.g. template matching or determination of similarity
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
- A61B5/7235—Details of waveform analysis
- A61B5/7253—Details of waveform analysis characterised by using transforms
- A61B5/7257—Details of waveform analysis characterised by using transforms using Fourier transforms
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
- A61B5/7235—Details of waveform analysis
- A61B5/7264—Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
- A61B5/7235—Details of waveform analysis
- A61B5/7264—Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems
- A61B5/7267—Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems involving training the classification device
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/74—Details of notification to user or communication with user or patient ; user input means
- A61B5/7465—Arrangements for interactive communication between patient and care services, e.g. by using a telephone network
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/044—Recurrent networks, e.g. Hopfield networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/90—Determination of colour characteristics
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/161—Detection; Localisation; Normalisation
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H20/00—ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance
- G16H20/70—ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance relating to mental therapies, e.g. psychological therapy or autogenous training
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H30/00—ICT specially adapted for the handling or processing of medical images
- G16H30/40—ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
- G16H50/20—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
- G16H50/30—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for calculating health indices; for individual health risk assessment
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
- G16H50/70—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for mining of medical data, e.g. analysing previous cases of other patients
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H80/00—ICT specially adapted for facilitating communication between medical practitioners or patients, e.g. for collaborative diagnosis, therapy or health monitoring
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/0002—Remote monitoring of patients using telemetry, e.g. transmission of vital signals via a communication network
- A61B5/0015—Remote monitoring of patients using telemetry, e.g. transmission of vital signals via a communication network characterised by features of the telemetry system
- A61B5/0022—Monitoring a patient using a global network, e.g. telephone networks, internet
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/02—Detecting, measuring or recording pulse, heart rate, blood pressure or blood flow; Combined pulse/heart-rate/blood pressure determination; Evaluating a cardiovascular condition not otherwise provided for, e.g. using combinations of techniques provided for in this group with electrocardiography or electroauscultation; Heart catheters for measuring blood pressure
- A61B5/021—Measuring pressure in heart or blood vessels
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/08—Detecting, measuring or recording devices for evaluating the respiratory organs
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/48—Other medical applications
- A61B5/4806—Sleep evaluation
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/68—Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient
- A61B5/6801—Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient specially adapted to be attached to or worn on the body surface
- A61B5/6802—Sensor mounted on worn items
- A61B5/6803—Head-worn items, e.g. helmets, masks, headphones or goggles
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/68—Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient
- A61B5/6887—Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient mounted on external non-worn devices, e.g. non-medical devices
- A61B5/6898—Portable consumer electronic devices, e.g. music players, telephones, tablet computers
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/048—Activation functions
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10016—Video; Image sequence
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30076—Plethysmography
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30196—Human being; Person
- G06T2207/30201—Face
Abstract
一种基于摄像机的压力测定系统和方法。该方法包括：确定身体部分的多个感兴趣区域(ROI)；使用经过训练的机器学习模型确定用于表示血红蛋白浓度变化的每个感兴趣区域的捕获图像序列中的一组位平面，使用血红蛋白浓度(HC)训练的机器学习模型改变训练集，所述血红蛋白浓度变化训练集包括作为输入的以先前捕获的其他人类个体的图像序列的位平面和作为目标的接收的心血管数据；根据所确定的位平面集的变化确定每个感兴趣区域的血红蛋白浓度变化的信号；对于每个感兴趣区域，根据峰值确定心跳之间的间隔在血红蛋白浓度变化信号中；使用心跳之间的间隔来确定心率变异性；使用心率变异性的标准差的确定来至少一个测定压力水平；以及输出压力水平。
Description
技术领域
本发明一般涉及人体压力的检测，更具体地说，涉及基于摄像机的压力测定系统和方法。
背景技术
人类经常并经常遇到各种压力情况。当这种压力高度和/或长时间内存在时，可能会导致各种对健康有害后果，例如心血管疾病、认知功能障碍和心理障碍。一般来说，压力评估依赖于自我报告问卷调查或生理仪器的使用，如心电图(ECG)。虽然自我报告问卷调查可以提供一个人的心理状态和压力水平的简单结果，但考虑到易受反应偏见的影响，这种问卷的结果通常被认为是高度不可靠的。生理测量，例如从心电图接收到的测量，可以可靠地用于测量压力。然而，生理仪器通常是侵入性的，通常需要经过培训的专业人员来操作。例如，心电图的使用需要经过训练的人将电极连接到受试者的身体上，这通常不仅具有高度的侵入性，而且也不方便。因此，其他测量压力的方法，例如，要么不可靠，要么不方便，要么两者兼而有之。
发明内容
在一方面，提供了一种基于摄像机的人类个体压力测定方法，该方法包括：接收捕获人体个体身体部分的图像序列；基于人体部分的特征确定人体部分的多个感兴趣区域(ROI)；使用经过训练的机器学习模型确定每个感兴趣区域的捕获图像序列中表示人类个体的血红蛋白浓度变化的一组位平面，使用血红蛋白浓度(HC)训练的机器学习模型改变训练集，使用先前捕获的其他人类个体的图像序列的位平面作为输入并以心血管数据作为接收目标来使血红蛋白浓度改变训练集；根据所确定的位平面集的变化确定每个感兴趣区域的血红蛋白浓度改变信号；对于每个感兴趣区域，根据峰值确定心跳之间的间隔在血红蛋白浓度变化信号中；利用心跳之间的间隔来确定心率变异性；使用心率变异性的标准差的至少一个确定来确定压力水平；以及输出压力水平。
在特定情况下，心血管数据包括由心电图机测量的血流动力学变化。
在另一种情况下，位平面位于图像序列的每个图像的红色通道、绿色通道和蓝色通道中。
在另一种情况下，机器学习模型包括一个长-短期记忆(LSTM)神经网络。
在另一种情况下，长短期记忆神经网络的输出包括作为确定的位平面集合的位平面组成权重矩阵。
在另一种情况下，身体部分是个人的脸。
在另一种情况下，确定多个感兴趣区域包括在捕获图像序列的每一帧中跟踪人类个体的面部以跟踪感兴趣区域。
在另一种情况下，确定心跳之间的间隔包括：应用快速傅立叶变换(FFT)和带通滤波来确定主频率分量；使用主频率分量来重建每个心跳的峰值；以及确定重建峰值之间的间隔。
在另一种情况下，确定心率变异性包括生成心跳间隔的庞加莱图。
在另一种情况下，确定压力水平包括：在垂直于庞加莱图同一直线的方向上确定心率变异点的第一标准差；确定心率变异点沿同一直线方向的第一标准差；确定压力测量值，作为与第二标准差除以第一标准差的相关性。
在另一种情况下，确定压力的测量还包括对第二个标准差除以第一个标准差的费希尔z变换(Fisher z-transformation)。
在另一方面，提供了一种用于基于摄像机的人体压力测定的系统，所述系统包括至少一个处理单元和数据存储器，所述至少一个处理单元与数据存储器进行通信并被配置成执行：一经皮光学成像(TOI)模块，用于接收捕获人类个体身体部分的图像序列，并基于身体部分的特征确定身体部分的多个感兴趣区域(ROI)；一数据科学模块，使用血红蛋白浓度(HC)训练的机器学习模型改变训练集，所述血红蛋白浓度变化训练集包括作为输入的以先前捕获的其他人类个体的图像序列的位平面和作为目标的接收的心血管数据，经皮光学成像模块基于所确定的位平面集的改变来确定每个感兴趣区域的血红蛋白浓度变化信号；一重建模块以根据血红蛋白浓度变化信号中的峰值确定心跳之间的间隔；一压力模块以使用心跳之间的间隔来确定心率变异性，并使用心率变异性标准差的至少一个测定来确定压力水平；以及一输出模块以输出压力水平。
在特定情况下，心血管数据包括从心电图机接收到的血流动力学变化。
在另一种情况下，位平面位于图像序列的每个图像的红色通道、绿色通道和蓝色通道中。
在另一种情况下，身体部位是个人的脸。
在另一种情况下，确定多个感兴趣区域包括在捕获图像序列的每一帧中跟踪人类个体的面部以跟踪感兴趣区域。
在另一种情况下，重建模块通过以下方法确定心跳之间的间隔：应用快速傅立叶变换(FFT)和带通滤波来确定主频率分量；使用主频率分量，重建每个心跳的峰值；以及确定重建的心跳之间的间隔峰值。
在另一种情况下，压力模块通过生成心跳间隔的庞加莱图来确定心率变异性。
在另一种情况下，压力模块通过以下方式确定压力水平：确定与庞加莱图的同一直线垂直方向上心率变异点的第一标准差；确定沿该直线方向上心率变异点的第一标准差关于同一性；确定一种压力的测量，作为与第二个标准差除以第一个标准差的相关性。
在另一种情况下，压力模块通过对第二个标准差除以第一个标准差的费希尔z变换来确定压力的测量值。
本文对这些和其他方面进行了考虑和描述。应理解，上述总结内容阐述了系统和方法的代表性方面，以帮助熟练读者理解以下详细描述。
附图说明
在接下来的详细描述中，本发明的特征将变得更加明显，其中参考附图：
图1是根据一个实施例的用于基于摄像机的心率跟踪的系统的框图；
图2是根据一个实施例的用于基于摄像机的心率跟踪的方法的流程图；
图3是皮肤表皮层和真皮下层重新发光的图示；
图4是示出特定人体在特定时间点血红蛋白浓度变化的一组表面图像和相应的经皮图像；
图5是存储器单元的示意图；
图6是将个人的面部划分为感兴趣区域的示例性图示；
图7A是比较图1的实施例和心电图之间的心率测量的示例图；
图7B是比较图1的实施例和心电图之间的压力水平测量的示例图；以及
图8是三通道图像的位平面的图示。
具体实施方式
现在将参考附图来描述实施例。为了说明的简单性和清晰性，在认为适当的情况下，可以在附图中重复附图标记以指示相应或类似的元素。此外，为了提供对这里描述的实施例的透彻理解，阐述了许多具体细节。然而，本领域普通技术人员将理解，在没有这些具体细节的情况下，也可以实践本文描述的实施例。在其他实例中，未详细描述公知的方法、过程和组件，以避免混淆本文所描述的实施例。此外，该描述不应被视为限制本文所描述的实施例的范围。
除非上下文另有说明，否则在本说明书中使用的各种术语可理解如下：“或”通篇使用的包括“和/或”，通篇使用的单数冠词和代词包括其复数形式，反之亦然；同样，性别代词包括其对应代词，因此不应将代词理解为限制本文所述的任何事物由单一性别使用、实现、表现等；“示例性”应理解为“说明性”或“举例性”，并且不一定是比其他实施例“优选”的。术语的进一步定义可在本文中列出；这些定义可适用于这些术语的先前和随后的实例，如将从本说明书的阅读中理解的那样。
此处例示的执行指令的任何模块、单元、组件、服务器、计算机、终端、引擎或设备可以包括或以其他方式访问计算机可读介质，例如存储介质、计算机存储介质或数据存储设备(可移动和/或不可移动)，例如磁盘，光盘或磁带。计算机存储介质可以包括以用于存储信息的任何方法或技术实现的易失性和非易失性、可移动和不可移动介质，例如计算机可读指令、数据结构、程序模块或其他数据。计算机存储介质的示例包括RAM、ROM、EEPROM、闪存或其他存储技术、CD-ROM、数字多功能磁盘(DVD)或其他光存储、磁带、磁带、磁盘存储或其他磁存储设备，或任何其他可用于存储所需信息并可由应用程序、模块或两者访问的媒体。任何这样的计算机存储介质可以是设备的一部分，也可以是可访问的或可连接的。此外，除非上下文另有明确指示，否则本文中列出的任何处理器或控制器可以实现为单个处理器或多个处理器。多个处理器可以排列或分布，并且本文所述的任何处理功能可以由一个或多个处理器执行，即使只是例示单个处理器。本文所描述的任何方法、应用或模块可使用计算机可读/可执行指令来实现，该计算机可读介质可存储或以其他方式保存并由一个或多个处理器执行。
以下内容一般涉及人体压力的检测，更具体地说，涉及基于摄像机的压力测定系统和方法。
已经确定，通过测量心率变异性(包括呼吸窦性心律失常)可以观察到个体的压力。在一个人处于压力的情况下，当一个人遇到一个感知到的威胁时，自主神经系统通常会调整个人身体的内部状态并对这种情况做出反应。自主神经系统的两个分支，交感神经系统和副交感神经系统，参与压力反应。交感神经系统通常与来自外部环境的挑战有关，例如在紧张的情况下触发战斗或逃跑反应。副交感神经系统通常与使身体回到静止状态或内环境稳定状态有关。已经确定，压力通常发生在副交感神经系统无法维持体内环境平衡时。因此，可以通过检测体内平衡水平来确定压力。
作为副交感神经系统的一部分，迷走神经通常在调节体内平衡方面起着很大的作用，因为它负责向心脏、肺和消化道发出信号，使其减速和放松。迷走神经的活动，也就是所谓的迷走神经张力，因此可以指示体内的稳态水平。一般来说，随着迷走神经张力的增加，心脏减慢，体内平衡得以维持，压力水平降低。一般来说，随着迷走神经张力的降低，心脏加快，体内平衡被破坏，压力水平增加。研究表明，由心电图(ECG)测量的副交感迷走神经活动在涉及压力的治疗过程中减少。此外，还发现迷走神经张力的不规则增加和减少可表明慢性压力。
虽然迷走神经张力可以提供对个体压力水平的了解，但迷走神经张力的变化通常不能直接测量。相反，已经发现迷走神经张力和与压力有关的相应信息可以通过一个或多个心率变异性指数间接但可靠地测量，例如呼吸窦性心律失常(RSA)。RSA是心脏跳动的有节律的增加和减少，在有呼吸的情况下发生。通常，心率随吸入而增加，随呼气而降低。研究表明，静息RSA的降低表明压力增加。
作为测量RSA方法的一部分，可以首先测量心率的变化。在一种特殊的方法中，心电图可以用来观察心率变异性(HRV)，分析每一个R波之间的时间周期(毫秒)，以获得R-R间隔(RRI)。根据RRI的信息，可以对压力做出可靠的推断。增加的RRI变化可以表明迷走神经的兴奋作用降低了心率，从而可以表明压力水平低。RRI变化的减少表明迷走神经受到抑制，心率增加，从而表明压力水平高。然而，对RRI的评估可能不足以确定迷走神经张力，因为呼吸通常不是导致心率变化的唯一因素。举个例子，可能存在比呼吸频率慢的振荡，例如回旋波；它可以提供有关交感神经系统而不是副交感神经系统的信息。因此，通常必须过滤来自心电图记录的数据以获得各种心率变异性(HRV)特征，包括RSA的测量，并且实际上可以是迷走神经张力的估计，其可以提供关于个体压力水平的信息。
在评估个体压力水平时，心电图的使用是有效和可靠的；但是，其使用通常存在局限性。心电图通常是昂贵的，具体有侵入性，而且不方便。首先，心电图通常很昂贵，因为它需要使用专门的设备(例如，心电图电极、导联和机器)。此外，心电图机的解释通常需要经过专门训练的医疗专业人员，他们的时间和专业知识可能十分昂贵。其次，心电图是典型的侵入性的，因为它的电极的使用需要将所述电极附着在人体上，这会引起不适。第三，心电图通常不方便，因为电极的应用通常需要准备皮肤表面以降低皮肤阻抗，以便获得干净的心电图信号。这些限制的结合意味着心电图特别不方便，因为它不能在所有的设置中使用。在许多情况下，这些限制对于评估压力是有问题的，因为个人通常在一天中的不同时间中处于压力，例如在工作、家庭或学校。然而，对于心电图，个人通常仅限于在偶尔和繁琐的使用心电图设备的医疗设施中评估他们的压力，以确定他们的压力水平是否已达到不健康状态。
现在参考图1，示出了用于基于摄像机的心率跟踪100的系统。系统100包括处理单元108、一个或多个摄像机100、存储设备101和输出设备102。处理单元108可以以通信的方式连接到存储设备101，存储设备101可以预加载和/或周期性加载从一个或多个摄像机100获得的视频成像数据。处理单元108包括各种互连元件和模块，包括经皮光学成像(TOI)模块110、滤波模块112、数据科学模块114、位平面模块116、转换模块118、重建模块120、压力模块122和输出模块124。在特定情况下，经皮光学成像模块包括图像处理单元104和滤波器106。摄像机105拍摄的视频图像可以由滤波器106处理并存储在存储设备101上。在进一步的实施例中，一个或多个模块可以在单独的处理单元或设备上执行，包括摄像机105或输出设备102。在进一步的实施例中，模块的一些特征可根据需要组合或在其它模块上运行。
这里使用的术语“视频”可以包括静止图像的集合。因此，“摄像机”可以包括捕获静态图像序列的摄像机。
使用经皮光学成像(TOI)，经皮光学成像模块110可以从传统数码摄像机拍摄的原始图像中分离血红蛋白浓度(HC)。现在参考图3，示出了从皮肤重新发射光的图。光301在皮肤302下方传播，并在穿过不同皮肤组织后重新发射303。然后，重新发射的光303可以被光学摄像机100捕获。影响再发射光的主要发色团是黑色素和血红蛋白。由于黑色素和血红蛋白具有不同的颜色特征，因此可以获得主要反映表皮下血红蛋白浓度的图像，如图4所示。
使用经皮光学成像(TOI)，经皮光学成像模块110经由图像处理单元104从摄像机105获取每个捕获的图像或视频流，并对图像执行操作以生成对象的相应优化血红蛋白浓度(HC)图像。根据血红蛋白浓度数据，可以确定血红蛋白浓度。图像处理单元104在捕获的视频序列中分离血红蛋白浓度。在示例性实施例中，使用数字摄像机105以每秒30帧的速度拍摄对象的面部图像。可以理解，可以使用替代数字摄像机、照明条件和帧速率来执行该处理。
在特定情况下，分离血红蛋白浓度可以通过分析视频图像序列中的位平面来完成，以确定和分离大约最大信噪比(SNR)的一组位平面。结合从人类受试者收集的血压波数据，高信噪比位平面的确定参照构成捕获的视频序列的第一组训练图像。在某些情况下，该数据与从人类受试者收集并接收的其他设备(例如，心电图、气动呼吸、连续血压、激光多普勒数据等)一起提供，以便提供地面真值血流数据以训练训练集以确定血红蛋白浓度变化。血流训练数据集可以由使用一个或多个连续血压测量设备作为基本真值数据从人类受试者获得的血压波数据组成；例如，动脉内血压测量方法、听诊方法或示波方法。基于这三种示例性方法之一选择训练数据集取决于使用连续血压测量系统的设置；例如，如果受试者处于医院重症监护环境中，则可以从动脉内血压测量方法接收训练数据。
位平面是数字图像的一个基本方面。通常，数字图像由一定数量的像素组成(例如，1920X1080像素的宽度X高度)。具有一个或多个通道(例如，红色、绿色和蓝色(RGB))的数字图像的每个像素。每个通道都有一个动态范围，通常每个通道为8位/像素，但对于高动态范围图像，偶尔每个通道为10位/像素。由此，由这些位组成的数组构成了所谓的位平面。在一个示例中，对于彩色视频的每个图像，可以有每个通道为8位的三个通道(例如，红色、绿色和蓝色(RGB))。因此，对于彩色图像的每个像素，通常有24层，每层1位。在这种情况下，位平面是图像的特定层在所有像素上的单个1位映射的视图。因此，对于这种类型的彩色图像，通常有24个位平面(即，每个平面有一个1位图像)。因此，对于每秒30帧的1秒彩色视频，至少有720(30X24)个位平面。图8是三通道图像(具有红色、绿色和蓝色(RGB)通道的图像)的位平面的示例性示图。对于图像的每个通道，每个层堆栈都是相乘的；例如，如图所示，RGB图像中每个通道都有一个位平面堆栈。在本文描述的实施例中，申请人认识到使用位平面的位值而不是仅使用例如每个信道的平均值的优点。因此，可以实现更高水平的准确度来进行血红蛋白浓度变化的预测，从而实现本文所公开的、以及所描述的用于进行预测的连续血压测量。特别是，由于采用位平面为机器学习模型的训练提供了更大的数据基础，因此带来的更高的精度是可能的。
经皮光学成像信号可以从人体的感兴趣区域(ROI)获取，例如前额、鼻子和脸颊，并且可以手动或自动为视频图像定义。感兴趣区域优选地不重叠。优选地选择这些感兴趣区域，在此基础上血红蛋白浓度特别指示血压测量。使用由所有三个R、G、B信道的所有位平面组成的本机图像，提取在每个感兴趣区域上的特定时间段(例如，10秒)内变化的信号。
根据信号特性，可以使用一个或多个滤波器对原始信号进行预处理。此类滤波器可包括例如巴特沃斯滤波器、切比雪夫滤波器等。利用来自两个或多个感兴趣区域的滤波信号，机器学习被用于系统地识别将显著增加信号微分(例如，在SNR改善大于0.1db的情况下)的位平面和将不贡献或减少信号微分的位平面。在舍弃后一种方法后，剩余的位平面图像可以最佳地确定血红蛋白浓度和血红蛋白浓度的变化。
关于位平面，数字图像由一定数量的像素组成；通常称为宽度乘以高度的配置(例如，1920W X 1080H)。每个像素都有一个或多个与之关联的通道。每个通道都有一个动态范围，通常每个通道为8位/像素，但对于高动态范围图像，偶尔每个通道为10位/像素。对于彩色视频，每个图像通常有三个通道；例如，红色、绿色和蓝色(RGB)。在特定情况下，每个通道有8位。在某些情况下，还可以使用其他通道，例如热通道和深度通道。因此，位平面是图像的单个位在所有像素上的视图；即，每个通道的每位1位图像。
机器学习方法(例如，长短期记忆(LSTM)神经网络，或适当的替代方法，例如非线性支持向量机)和深度学习可用于评估受试者血红蛋白变化的共同时空模式的存在。机器学习过程涉及使用沿时间维度在每个位平面的每个像素中的位值来操作位平面向量(例如，24个位平面X 30fps)。在一个实施例中，该处理要求对每个位平面进行减法和加法运算，以在该时间段内最大化所有感兴趣区域中的信号差。在某些情况下，为了获得可靠和坚固的计算模型，整个数据集可以分为三组：训练集(例如，整个主题数据的80％)、测试集(例如，整个主题数据的10％)和外部验证集(例如，整个主题数据的10％)。时间周期可以根据原始数据的长度而变化(例如，15秒、60秒或120秒)。加法或减法可以按像素方式执行。使用机器学习方法、长-短期记忆(LSTM)神经网络或其合适的替代方法，可以有效地获得关于在精度方面改善微分的信息，哪些位平面提供了最好的信息，哪些位平面不提供特征选择。长短期记忆(LSTM)神经网络允许我们进行群体特征选择和分类。下面将更详细地讨论长短期记忆机器学习算法。在此过程中，从图像序列中分离出一组反映血红蛋白浓度时间变化的位平面，用于测定血压。
为了提取面部血流数据，在摄像机103观看对象时，提取每个对象身体部分图像的每个像素或感兴趣区域上的面部血红蛋白浓度变化数据作为时间的函数。在某些情况下，为了提高信噪比(SNR)，可以将受试者的身体部分划分为多个感兴趣区域(ROI)。例如，可以根据受试者的差异基础生理学进行划分，例如通过自主神经系统(ANS)调节机制进行划分。这样，可以平均每个感兴趣区域中的数据。通过使用面部跟踪软件，可以手动选择或自动检测感兴趣区域。然后，机器学习模块112可以平均每个感兴趣区域中的数据。这些信息可以构成训练集的基础。作为示例，系统100可以通过观察(或绘制)随时间而产生的所选感兴趣区域血红蛋白浓度强度值的时间剖面(例如，形状)，来监视所选感兴趣区域随时间而包含的静止血红蛋白浓度变化。在某些情况下，系统100可以通过观察(或绘制)随时间演变的空间色散(感兴趣区域之间的血红蛋白浓度分布)来监测跨多个感兴趣区域的更复杂的迁移血红蛋白浓度变化。
长-短期记忆(LSTM)神经网络或其合适的替代方法可用于有效地获得关于在精度方面改善微分的信息，哪一个位平面提供最佳信息，哪一个位平面不提供特征选择。长短期记忆(LSTM)神经网络允许系统100执行组特征选择和分类。下面将更详细地讨论长短期记忆机器学习算法。通过这个过程，得到了从图像序列中分离出的反映血红蛋白浓度时间变化的位平面集合。在下面描述的后续步骤中，图像滤波器被配置为隔离识别的位平面。
为了提取面部血流数据，在摄像机105观看对象时，提取每个对象的面部图像的每个像素上的血红蛋白浓度变化数据作为时间的函数。在其他一些情况下，为了提高信噪比(SNR)和减少对计算资源的需求，系统100还可以使用感兴趣区域方法。在这种方法中，系统100定义图像上的感兴趣区域，并且对于每个位平面，求出每个区域中所有像素的位值的和，并将该和除以该区域中像素的数目。这给出了每个位平面中每个感兴趣区域的平均位值。受试者的面部可根据例如其解剖学或差异基础生理学划分为多个感兴趣区域(ROI)。
机器学习方法，包括深度学习算法(例如长短期记忆(LSTM)神经网络或合适的替代方法，例如非线性支持向量机)可用于评估受试者血红蛋白变化的共同时空模式的存在性。长-短期记忆(LSTM)神经网络或另一种方法是根据部分受试者(如70％、80％、90％)的经皮数据训练，以获得面部血流的多维计算模型。然后根据剩余训练对象的数据对模型进行测试。
因此，可以获得任何对象的视频序列，并将从所选位平面提取的血红蛋白浓度应用于计算模型以确定血流波。对于血流和强度波动发生变化的长时间运行视频流，可以报告依赖于基于移动时间窗(例如，10秒)的血红蛋白浓度数据的估计值和强度分数随时间的变化。
在使用长短期记忆(LSTM)神经网络的示例中，长短期记忆神经网络包括至少三层细胞。第一层是输入层，它接受输入数据。第二层(也许是附加层)是一个隐藏层，它由内存单元组成(参见图5)。最后一层是输出层，利用逻辑回归方法在隐藏层的基础上生成输出值。
如图所示，每个存储单元包括四个主要元件：输入门、具有自回归连接(与自身的连接)的神经元、遗忘门和输出门。自回归连接的权重为1.0，并且确保在不受任何外部干扰的情况下，存储单元的状态可以从一个时间步到另一个时间步保持恒定。门的作用是调节记忆细胞自身和环境之间的相互作用。输入门允许或防止输入信号改变存储单元的状态。另一方面，输出门可以允许或阻止记忆细胞的状态对其他神经元产生影响。最后，遗忘门可以调节记忆细胞的自回归连接，允许细胞根据需要记忆或忘记其先前的状态。
下面的公式描述了每一个时间步t如何更新一层存储单元。在这些方程式中：xt是t时刻内存储单元层的输入数组。在我们的应用中，这是所有感兴趣区域的血流信号
Wi,Wf,Wc,Wo,Ui,Uf,Uc,Uo和Vo是权重矩阵；和
bi,bf,bc，和bo是偏移向量
首先，我们计算输入门的值it，和在t时刻存储单元状态的候选值
it＝σ(Wixt+Uiht-1+bi)
其次，我们计算在t时刻记忆细胞遗忘门的值ft：
ft＝σ(Wfxt+Ufht-1+bf)
给定输入门激活值it、遗忘门激活值ft和候选状态值的值
我们可以计算，在t时间下存储单元的新状态Ct的值：
使用存储单元的新状态，我们可以计算其输出门的值，然后计算其输出：
ot＝σ(Woxt+Uoht-1+VoCt+bo)
htot*tan h(Ct)
基于记忆细胞的模型，对于每个时间点的血流分布，我们可以计算出记忆细胞的输出。因此，从一个输入序列x0，x1，x2，…，xn，长短期记忆层中的存储单元将生成一个表示序列h0，h1，h2，…，hn。
目的是将序列分为不同的条件。逻辑回归输出层根据长短期记忆隐藏层的表示序列生成每个条件的概率。在时间步骤t的概率向量可通过以下公式计算：
pt＝softmax(Woutputht+boutput)
其中Woutput是从隐藏层到输出层的权重矩阵，boutput是输出层的偏移向量。累积概率最大的条件将是该序列的预测条件。
系统100对来自经皮光学成像模块110的血红蛋白浓度变化数据使用心率跟踪方法，利用像素或多个感兴趣区域(ROI)的自适应加权，并使用最小化“噪声”标准来控制权重。心率跟踪方法还利用Hilbert变换为心跳提取相干信号。有利的是，当根据“地面真值”心电图(ECG)数据测量时的精度表明，心跳恢复方法的估计“每分钟心跳次数”(BPM)通常与在心电图数据的+/-2BPM内是一致的。
如本文所述，由经皮光学成像模块110捕获的“活体”或先前记录的人类受试者面部的血红蛋白浓度数据被用作确定受试者心率的源数据。面部血流数据可用于估计相关参数，如BPM中的平均心率。
估计受试者的BPM，经皮光学成像模块110检测、恢复和跟踪受试者的心跳的有效出现。如本文所述，系统100通过其各个模块，然后将这些周期性事件转换为表示平均计数为BPM的瞬时统计。然后，这个即时统计数据会不断更新。有利的是，该方法具有等于指定为“每秒帧”(FPS)的视频采集帧速率的数据采样。这提供了瞬时心率的连续每帧估计。
有利的是，本文描述的实施例可以利用由经皮光学成像模块110捕获的血红蛋白活性来从确定至少部分由自主神经系统(ANS)控制的面部血红蛋白活性来收集例如关于个人心率、RRI和压力水平的信息。由于ANS可以参与对压力的反应，个人面部的某些区域可以反映这些反应。在特定情况下，ANS的交感支控制着眼睑、脸颊和下巴的面部血流。副交感神经支配鼻子和耳朵的面部血流。在一些实施例中，考虑到副交感神经分支已被确定在维持内环境稳定中发挥作用，并且因此可对压力水平的变化负责，可特别注意个体鼻子和耳朵中的血红蛋白活性。
在本文描述的实施例中，血红蛋白活性的经皮光学成像图像可用于确定心率和RRI。这些信息可以绘制出来，例如在庞加莱散点图上，并进行分析以确定压力水平。有利的是，本发明者已确定经皮光学成像可用于基于面部血流信息获得个体压力水平的精确测量。
转到图2，示出了用于基于摄像机的压力测定200的方法的流程图。
在框202，如本文所述，使用由经皮光学成像模块110对人类个体的经皮光学成像从摄像机105拍摄的视频中提取血流信息，用于在所定义的感兴趣区域(ROI)处的血红蛋白浓度。在特定情况下，感兴趣区域位于个人的脸上。此外，经皮光学成像模块110记录这种血红蛋白浓度随时间的动态变化。
对于每个视频，经皮光学成像模块110基于通过本文描述的经皮光学成像(TOI)方法提取的血流信息来确定心率。黑色素和血红蛋白通常是影响可见光谱(约400-700nm)中光组织相互作用的主要发色团。已经确定，血红蛋白的吸光度，无论是含氧的还是脱氧的，通常在红色光谱区域(大约>590-600纳米)急剧下降。我们还确定，随着波长的增加，黑色素的吸收率通常是单调下降的。血红蛋白和黑色素之间吸收的这种特征性差异使得经皮光学成像模块110能够将反映皮肤血红蛋白浓度的图像与反映皮肤黑色素浓度的图像分离。
摄像机105在红色、绿色和蓝色(RGB)信道中以多个位平面捕获图像(参见图3)。经皮光学成像模块110通常选择最能反映血红蛋白浓度变化的位平面，并丢弃那些不基于血红蛋白和黑色素的颜色特征差异的位平面(如本文所述)。在某些情况下，来自生理测量系统(如心电图)的心血管数据可以用作选择位平面的地面真值数据。在这种情况下，鉴于面部血管系统通常是心血管系统的一个组成部分，面部的血流动力学变化可以与从生理测量系统获得的心血管活动密切对应。
在框204，为了选择位平面，经皮光学成像模块110将维度降低来定义感兴趣区域(ROI)。感兴趣区域可以根据血液在面部或人体皮肤表面的另一部分流动和扩散的方式，或根据人体的其他解剖特征来定义。例如，对于面部，经皮光学成像模块可以定义九个感兴趣区域：额头小、鼻子在两眼之间、鼻梁饱满、鼻尖小、右脸颊窄、左脸颊窄、上唇、下唇、下巴小。图6示出了这些感兴趣区域的示例。对于每个感兴趣区域，经皮光学成像模块110通过平均每个信道的每个位平面上的图像值来获得特定位平面的原始时间信号以降低维度。在这种方法中，经皮光学成像模块110定义图像上的感兴趣区域。对于每个位平面，经皮光学成像模块110对每个区域中的所有像素的位值求和，并将求和除以该区域中的像素数。这给出了每个位平面中每个感兴趣区域的平均位值。然后，如本文所述，可以应用机器学习技术来获得所有位平面中所有感兴趣区域的最佳权重，使得系统100能够最佳地预测个体的压力水平。
在某些情况下，来自每个感兴趣区域的血红蛋白浓度数据被视为独立的信号。因此，用于每个感兴趣区域的血红蛋白浓度数据，通过处理来自面部图像上的唯一位置的特定经皮光学成像信号的单独的对应信号处理路径(也称为链)来进行路由。这样，多个感兴趣区域产生多个独立但同时处理的信号。
在框206，滤波模块112带通滤波来自每个信道的脉冲频带(约0.5Hz到2.5Hz)中的原始信号。本发明者已经确定，如果一个特定的位平面包含关于系统性心血管活动的信息，则该信息可以在该频带中表现出来。
在方框208，数据科学模块114使用来自RGB信道的带通滤波原始数据作为输入和来自生理系统的地面真值脉冲数据作为目标来训练机器学习模型。得到了个体的位平面合成权矩阵。
在框210，位平面模块116使用每个人的位平面组成权重矩阵从该人的视频图像的每个帧中选择位平面。在某些情况下，经皮光学成像模块110和/或位平面模块116可以在每个帧中跟踪个人的面部并自动定义感兴趣区域。
在框212中，在选择了位平面的情况下，经皮光学成像模块110从摄像机105的每个感兴趣区域获取个人的原始面部血流信号。
在框214，在某些情况下，转换模块118对滤波的感兴趣区域信号应用转换以提供经皮光学成像信号的主频率分量。这个分量可以对应于一个周期性的心带频率。在特定情况下，该变换可以包括使用快速傅立叶变换(FFT)和围绕心率带的带通滤波(例如，0.5Hz到2Hz)。
在框216中，使用主频率分量，重建模块120可以重建个人心跳的峰值以确定心率并确定心跳之间的间隔(即RRI)。
在确定了心跳的峰值和确定了RRI之后，压力模块122基于使用频域或时域或使用动态系统方法的方法来确定个体的压力水平。在示例中，在框218中，压力模块122在例如庞加莱图上绘制RRI，以索引心率变异性(HRV)。在特定情况下，压力模块122将每个RRI相对于庞加莱图上的下一个RRI进行绘制。在x轴上具有RR(n)，而在y轴上具有RR(n+1)。
在框220，压力模块122确定沿同一直线的点的第二标准偏差以获得“SD2”。在框222，压力模块122确定垂直于同一直线的点的第一标准偏差以获得“SD1”。在一个示例中，可以使用回归来获得同一直线分析或其他合适的方法。在框224，压力模块122通过将SD2除以SD1来确定压力指示符。
在框226，输出模块124将压力测定输出到输出设备102；例如，输出到计算机监视器、触摸屏、可穿戴设备上的LCD屏幕、音频设备等。
本发明者通过科学测试确定，经皮光学成像可以无创、准确地测量个人压力水平。作为这种测试的一个例子，给每个人看了短片，一部中性影片作为他们的休息时间，一部影片来激发他们的高唤醒情绪。每个人的皮肤表面(在本例中是他们的脸)都是在看电影时记录下来的。如本文所述，从捕获个体面部的视频的每个帧的像素中提取经皮面部血流数据。作为对照，在观看电影比较数据时，也将心电图附加到受试者身上。
在这类测试的一个例子中，79名18岁以上的健康成年人(34名男性；平均年龄＝23.704标准差：7.367)参加了测试。在79名参与者中，19名参与者完成了两次研究，20名参与者完成了三次研究。参与者被告知，他们将得到一部令人放松的电影；这部电影是对云层在天空中移动两分钟的动画描述。
在本例中，心电图数据是使用BIOPACTM(肌电图仪)生理测量系统获得的，该系统具有以250赫兹采样率连接的心电图放大模块(心电图100C)。电极根据埃因托芬的三角形(Einthoven's triangle)放置在参与者身上：放在靠近右肩，左肩和右臀部上。在此示例中，使用倾斜的CCD摄像机捕获经皮光学成像图像序列，以60帧/秒的速度记录参与者的脸部。
在该示例中，将本文所述实施例的经皮光学成像方法的精度与使用BIOPAC心电图获得的测量值进行比较。测定经皮光学成像和BIOPAC测量值的相关系数，特别是心率和标准差2(SD2)除以标准差1(SD1)；即精神压力。这些压力分数被转化为压力指数。在这种情况下，使用费舍尔z变换将相关系数转换为z值。z值是一个标准分数，表示原始分数与总体平均值之间的标准差数量。这允许检查正态分布曲线上的数据，并允许确定个人的压力得分在压力指数上的位置。例如，压力指数可以假定平均值为零，标准差为1。压力指数为零表示平均压力水平，压力指数为1表示个人压力水平高于平均水平1个标准差，压力指数为-2表示个人压力水平低于平均水平2个标准差。在获得经皮光学成像和/或BIOPAC心电图的压力指标后，计算压力指标的相关系数，以确定经皮光学成像和BIOPAC心电图的心率标准分数与SD2/SD1的对应关系。
进行相关分析，以检查使用经皮光学成像从本文所述实施例获得的生理测量值与使用BIOPAC心电图获得的生理测量值之间的关系。测定经皮光学成像测得的心率与BIOPAC的相关性。结果发现，这两种仪器之间存在正相关关系，r＝.981。从经皮光学成像获得的心率测量值与从BIOPAC心电图获得的心率测量值之间的这种极强的正相关关系似乎表明经皮光学成像能够像BIOPAC心电图一样准确地检测心率(见图7A)。同时还测定了经皮光学成像和BIOPAC测量结果之间的相关性。SD1和SD2是从两种仪器中获得的。
SD1可以定义为在垂直于庞加莱图上的同一直线方向上的点之间的色散(标准差)。SD1反映RSA引起的心率短期变化，提示交感神经系统的激活。SD1测量可使用以下公式获得：
SD2可以定义为沿着庞加莱图上的恒等线上的点之间的离散度(标准差)。SD2反映了RSA引起的心率的长期变化，可以反映交感神经和副交感神经系统的活动。使用以下公式获得SD2测量值：
SD2/SD1为心率变异性时间序列的动态变化率。SD2/SD1反映交感神经系统与副交感神经系统的关系，可作为个体压力的指标。结果发现，经皮光学成像和BIOPAC测得的精神压力之间存在正相关，r＝.903。从经皮光学成像和BIOPAC获得的精神压力测量值之间的这种强正相关关系似乎表明经皮光学成像能够像BIOPAC一样准确地确定精神压力(见图7B)。因此，从经皮光学成像获得的生理测量值与从BIOPAC心电图获得的生理测量值之间存在很强的正相关。
有利的是，发现本文所描述的实施例提供了一种非侵入性方法来确定人体生理学的变化，特别是心率和压力水平，其准确度至少与其他侵入性和昂贵的方法相同。使用本文所描述的实施例的SD2/SD1的测量与来自BIOPAC方法的测量强烈对应，表示本方法能够至少与BIOPAC方法一样准确地确定压力。
本实施例可以有利地被使用，例如，节省当前用于通过诸如心电图等其他方法来确定心率变异性(HRV)和压力的量成本、减少不便和费用。尤其是心电图，它具有侵入性，因为它需要准备患者的皮肤，并且需要连接电极，这对某些人来说可能是不舒服的。也很难将心电图电极连接到某些有过度出汗倾向的人(例如，有发汗倾向的人)和极端潮湿的地方；导致电极与个人自发分离，从而产生噪音和可能不准确的心电图数据。心电图设备也非常昂贵，以至于它通常不包括在世界各地的定期健康检查中，这意味着许多人不容易获得告知他们心血管健康或压力水平的程序。
本实施例有利地提供了一种非侵入性、不易受个体出汗影响且相对便宜的方法。本实施例是非侵入性的，因为它们不需要制备患者的皮肤，也不需要将任何东西附着到患者的身体上。这可以最大限度地减少医务人员为病人进行生理评估做准备的时间。此外，很少有人对心血管健康检查持保留意见。由于本实施例不要求将电极连接到人体上，因此也不要求在特定条件下(例如，没有任何皮肤条件和在非潮湿环境中)对个体进行评估。因此，更多的人可以有机会测量他们的压力水平。本实施例通常也需要较便宜的设备来操作，并且可以容易地在各种设置中实现。因此，允许定期监控压力。
在各种实施例中，摄像机可以被引导到任何身体部位的皮肤，例如手、腹部、脚等。在这些情况下，感兴趣区域可基于该身体部位的结构来确定。如本文所述，系统还可以从这些身体区域提取动态血红蛋白变化以确定压力水平。
上述实施例可应用于多个领域。在一个实施例中，该系统可以安装在智能手机设备中，以允许智能手机的用户测量其压力水平。在另一个实施例中，该系统可用于派出所和边境站，以监控嫌疑人在审讯期间的压力水平。在又一实施例中，该系统可用于医疗或精神病医生诊所，供从业者监视患者。
其他应用可能变得显而易见。
虽然本发明已经参照某些具体实施例进行了描述，但是本领域技术人员将清楚地看到对本发明的各种修改，而不脱离本发明所附权利要求书中概述的本发明的精神和范围。以上所有引用文件的全部披露均以引用方式并入本文件。
Claims (20)
1.一种基于摄像机的人类个体压力测定方法，所述方法包括：
接收捕获人类个体身体部分的图像序列；
基于身体部分的特征确定身体部分的多个感兴趣区域(ROI)；
使用经过训练的机器学习模型确定每个感兴趣区域的捕获的图像序列中表示人类个体的血红蛋白浓度变化的一组位平面，使用血红蛋白浓度(HC)训练的机器学习模型改变训练集，使用先前捕获的其他人类个体的图像序列的位平面作为输入并以心血管数据作为目标接收来使血红蛋白浓度改变训练集；
基于所确定的位平面集合的变化来确定每个感兴趣区域的血红蛋白浓度变化信号；
对于每个感兴趣区域，基于血红蛋白浓度变化信号中的峰值确定心跳之间的间隔；
利用心跳间期测定心率变异性；
使用至心率变异性标准差的少一个测定来确定压力水平；以及
输出压力水平。
2.根据权利要求1所述的方法，其中所述心血管数据包括由心电图机测量的血液动力学变化。
3.根据权利要求1所述的方法，其中所述位平面位于图像序列的每个图像的红色通道、绿色通道和蓝色通道中。
4.根据权利要求1所述的方法，其中所述机器学习模型包括长短期记忆(LSTM)神经网络。
5.根据权利要求5所述的方法，其中，长短期记忆神经网络的输出包括作为所确定的位平面集合的位平面组成权重矩阵。
6.根据权利要求1所述的方法，其中身体部分是个体的面部。
7.根据权利要求6所述的方法，其中确定多个感兴趣区域包括在捕获的图像序列的每个帧中跟踪人类个体的面部以跟踪感兴趣区域。
8.根据权利要求1所述的方法，其中确定心跳之间的间隔包括：
采用快速傅立叶变换(FFT)和带通滤波确定主频率分量；
使用主频率分量，重建每个心跳的峰值；以及
确定重建的峰之间的间隔。
9.根据权利要求1所述的方法，其中确定心率变异性包括产生心跳间隔的庞加莱图。
10.根据权利要求9所述的方法，其中确定压力水平包括：
在垂直于庞加莱图同一直线的方向上确定心率变异点的第一标准差；
确定沿同一直线方向的心率变异点的第一标准差；
确定压力测量值，作为与第二个标准的相关性除以第一个标准差。
11.根据权利要求10所述的方法，其中确定压力测量值还包括对除以第一标准偏差的第二标准进行费希尔z变换。
12.一种用于基于摄像机测定人类个体压力的系统，该系统包括至少一个处理单元和数据存储器，所述至少一个处理单元与所述数据存储器进行通信并配置为执行：
经皮光学成像(TOI)模块以接收捕获人类个体身体部分的图像序列，并基于身体部分的特征确定身体部分的多个感兴趣区域(ROI)；
数据科学模块，使用经过训练的机器学习模型确定每个感兴趣区域的用于表示个体血红蛋白浓度变化的捕获的图像序列中的一组位平面，使用血红蛋白浓度(HC)训练的机器学习模型改变训练集，所述血红蛋白浓度变化训练集包括作为输入的以先前捕获的其他人类个体的图像序列的位平面和作为目标的接收的心血管数据，经皮光学成像模块基于所确定的位平面集的改变来确定每个感兴趣区域的血红蛋白浓度的变化信号；
重建模块以基于血红蛋白浓度变化信号的峰值来确定心跳间隔；
压力模块以使用心跳之间的间隔来确定心率变异性，并使用至心率变异性标准差的少一个测定来确定压力水平；以及
输出模块以输出压力水平。
13.根据权利要求12所述的系统，其中所述心血管数据包括从心电图机接收到的血流动力学变化。
14.根据权利要求12所述的系统，其中所述位平面位于图像序列的每个图像的红色通道、绿色通道和蓝色通道中。
15.根据权利要求12所述的系统，其中所述身体部分为个体的脸部。
16.根据权利要求15所述的系统，其中确定多个感兴趣区域包括在捕获的图像序列的每个帧中跟踪人类个体的面部以跟踪感兴趣区域。
17.根据权利要求12所述的系统，其中所述重建模块通过以下方式确定心跳之间的间隔：
采用快速傅立叶变换(FFT)和带通滤波确定主频率分量；
使用主频率分量，重建每个心跳的峰值；以及
确定重建的峰之间的间隔。
18.根据权利要求12所述的系统，其中所述压力模块通过产生心跳间隔的庞加莱图来确定心率变异性。
19.根据权利要求18所述的系统，其中所述压力模块通过以下方式确定压力水平：
在垂直于庞加莱图同一直线的方向上确定心率变异点的第一标准差；
确定沿同一直线方向的心率变异点的第一标准差；
确定作为与第二个标准的相关性除以第一个标准差的压力测量值。
20.根据权利要求19所述的系统，压力模块通过对除以第一标准差的第二标准进行费希尔z变换来确定压力的测量。
Applications Claiming Priority (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| US201762576384P | 2017-10-24 | 2017-10-24 | |
| US62/576,384 | 2017-10-24 | ||
| PCT/CA2018/051346 WO2019079896A1 (en) | 2017-10-24 | 2018-10-24 | SYSTEM AND METHOD FOR DETERMINING STRESS BASED ON A CAMERA |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN111386068A true CN111386068A (zh) | 2020-07-07 |
| CN111386068B CN111386068B (zh) | 2023-05-30 |
Family
ID=66246734
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201880076170.4A Active CN111386068B (zh) | 2017-10-24 | 2018-10-24 | 基于摄像机的压力测量系统与方法 |
Country Status (4)
| Country | Link |
|---|---|
| US (2) | US11471083B2 (zh) |
| CN (1) | CN111386068B (zh) |
| CA (1) | CA3079625C (zh) |
| WO (1) | WO2019079896A1 (zh) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111728602A (zh) * | 2020-08-21 | 2020-10-02 | 之江实验室 | 基于ppg的无接触血压测量装置 |
| CN112237421A (zh) * | 2020-09-23 | 2021-01-19 | 浙江大学山东工业技术研究院 | 一种基于视频的动态心率变异性分析模型 |
Families Citing this family (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2020099508A (ja) * | 2018-12-21 | 2020-07-02 | オリンパス株式会社 | 撮像装置および撮像装置の制御方法 |
| CN109784561A (zh) * | 2019-01-15 | 2019-05-21 | 北京科技大学 | 一种基于集成学习的浓密机底流浓度预测方法 |
| JP7262658B2 (ja) * | 2019-07-16 | 2023-04-21 | ニューラロジックス コーポレイション | 血液バイオマーカのカメラに基づく数量化のためのシステム及び方法 |
| WO2021007652A1 (en) * | 2019-07-18 | 2021-01-21 | Nuralogix Corporation | System and method for detection of synthesized videos of humans |
| US11818373B1 (en) * | 2020-09-08 | 2023-11-14 | Block, Inc. | Machine-learning based data compression for streaming media |
| DE102022201925A1 (de) | 2022-02-24 | 2023-08-24 | Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung eingetragener Verein | Verfahren, System, Vorrichtung sowie Computerprogrammprodukt zur Bestimmung eines Entspanntheitswertes mindestens eines Nutzers in einem Arbeitsumfeld |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104055498A (zh) * | 2014-04-30 | 2014-09-24 | 首都医科大学 | 一种基于红外序列图像的人体呼吸和心率信号非接触式检测方法 |
| US20150099987A1 (en) * | 2010-06-07 | 2015-04-09 | Affectiva, Inc. | Heart rate variability evaluation for mental state analysis |
| CN105266787A (zh) * | 2015-11-03 | 2016-01-27 | 西安中科创星科技孵化器有限公司 | 一种非接触式心率检测方法及系统 |
| CN106999111A (zh) * | 2014-10-01 | 2017-08-01 | 纽洛斯公司 | 用于检测不可见人类情感的系统和方法 |
| CA3013959A1 (en) * | 2016-02-17 | 2017-08-24 | Nuralogix Corporation | System and method for detecting physiological state |
Family Cites Families (60)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH0654831A (ja) | 1992-08-10 | 1994-03-01 | Hitachi Ltd | 磁気共鳴機能イメージング装置 |
| EP1491135A3 (en) | 1993-04-12 | 2005-09-07 | Hema Metrics, Inc. | Method and apparatus for monitoring blood constituents |
| EP1433417B1 (en) | 1995-05-12 | 2007-12-05 | Seiko Epson Corporation | Device for controlling a physiological state |
| US6102846A (en) | 1998-02-26 | 2000-08-15 | Eastman Kodak Company | System and method of managing a psychological state of an individual using images |
| US8388530B2 (en) | 2000-05-30 | 2013-03-05 | Vladimir Shusterman | Personalized monitoring and healthcare information management using physiological basis functions |
| US20070100666A1 (en) | 2002-08-22 | 2007-05-03 | Stivoric John M | Devices and systems for contextual and physiological-based detection, monitoring, reporting, entertainment, and control of other devices |
| JP2005044330A (ja) | 2003-07-24 | 2005-02-17 | Univ Of California San Diego | 弱仮説生成装置及び方法、学習装置及び方法、検出装置及び方法、表情学習装置及び方法、表情認識装置及び方法、並びにロボット装置 |
| US20050054935A1 (en) * | 2003-09-08 | 2005-03-10 | Rice Robert R. | Hyper-spectral means and method for detection of stress and emotion |
| US20060058590A1 (en) * | 2004-08-24 | 2006-03-16 | Shaw Geoffrey M | Method and system for assaying agitation |
| JP4590555B2 (ja) | 2004-09-02 | 2010-12-01 | 国立大学法人長岡技術科学大学 | 感性状態判別方法及び装置 |
| JP4911557B2 (ja) | 2004-09-16 | 2012-04-04 | 株式会社リコー | 画像表示装置、画像表示制御方法、プログラム及び情報記録媒体 |
| US20070021678A1 (en) | 2005-07-19 | 2007-01-25 | Cardiac Pacemakers, Inc. | Methods and apparatus for monitoring physiological responses to steady state activity |
| ATE554702T1 (de) | 2006-03-02 | 2012-05-15 | Johnson & Johnson Consumer | Verfahren für den nachweis von pickeln vor dem spriessen |
| WO2007140609A1 (en) | 2006-06-06 | 2007-12-13 | Moreideas Inc. | Method and system for image and video analysis, enhancement and display for communication |
| US20080294012A1 (en) | 2007-05-22 | 2008-11-27 | Kurtz Andrew F | Monitoring physiological conditions |
| US8038615B2 (en) | 2007-05-22 | 2011-10-18 | Eastman Kodak Company | Inferring wellness from physiological conditions data |
| US8090160B2 (en) | 2007-10-12 | 2012-01-03 | The University Of Houston System | Automated method for human face modeling and relighting with application to face recognition |
| US20100152600A1 (en) | 2008-04-03 | 2010-06-17 | Kai Sensors, Inc. | Non-contact physiologic motion sensors and methods for use |
| US20090318773A1 (en) | 2008-06-24 | 2009-12-24 | Searete Llc, A Limited Liability Corporation Of The State Of Delaware | Involuntary-response-dependent consequences |
| US8219438B1 (en) | 2008-06-30 | 2012-07-10 | Videomining Corporation | Method and system for measuring shopper response to products based on behavior and facial expression |
| US8512260B2 (en) | 2008-10-29 | 2013-08-20 | The Regents Of The University Of Colorado, A Body Corporate | Statistical, noninvasive measurement of intracranial pressure |
| WO2011065237A1 (ja) | 2009-11-27 | 2011-06-03 | 株式会社日立製作所 | 生体光計測装置 |
| US20110251493A1 (en) | 2010-03-22 | 2011-10-13 | Massachusetts Institute Of Technology | Method and system for measurement of physiological parameters |
| US20120257035A1 (en) | 2011-04-08 | 2012-10-11 | Sony Computer Entertainment Inc. | Systems and methods for providing feedback by tracking user gaze and gestures |
| US8540629B2 (en) * | 2011-05-13 | 2013-09-24 | Fujitsu Limited | Continuous monitoring of stress using a stress profile created by renal doppler sonography |
| JP5668138B2 (ja) | 2011-06-17 | 2015-02-12 | 株式会社日立製作所 | 生体光計測装置 |
| US9427191B2 (en) | 2011-07-25 | 2016-08-30 | Valencell, Inc. | Apparatus and methods for estimating time-state physiological parameters |
| WO2013036965A2 (en) | 2011-09-09 | 2013-03-14 | The Regents Of The Iniversity Of California | In vivo visualization and control of pathological changes in neural circuits |
| WO2013163211A1 (en) | 2012-04-24 | 2013-10-31 | The General Hospital Corporation | Method and system for non-invasive quantification of biological sample physiology using a series of images |
| WO2013166341A1 (en) | 2012-05-02 | 2013-11-07 | Aliphcom | Physiological characteristic detection based on reflected components of light |
| US9814426B2 (en) | 2012-06-14 | 2017-11-14 | Medibotics Llc | Mobile wearable electromagnetic brain activity monitor |
| WO2013190678A1 (ja) | 2012-06-21 | 2013-12-27 | 株式会社日立製作所 | 生体状態評価装置およびそのためのプログラム |
| US9811901B2 (en) | 2012-09-07 | 2017-11-07 | Massachusetts Institute Of Technology | Linear-based Eulerian motion modulation |
| US9031293B2 (en) | 2012-10-19 | 2015-05-12 | Sony Computer Entertainment Inc. | Multi-modal sensor based emotion recognition and emotional interface |
| CN102973279B (zh) | 2012-12-18 | 2014-09-17 | 哈尔滨工业大学 | 独立成分分析联合最小二乘法的近红外脑机接口的信号检测方法 |
| EP2762066A1 (en) | 2013-02-05 | 2014-08-06 | Koninklijke Philips N.V. | System and method for determining vital sign information of a subject |
| US20150379362A1 (en) | 2013-02-21 | 2015-12-31 | Iee International Electronics & Engineering S.A. | Imaging device based occupant monitoring system supporting multiple functions |
| US10365716B2 (en) | 2013-03-15 | 2019-07-30 | Interaxon Inc. | Wearable computing apparatus and method |
| US20140313303A1 (en) | 2013-04-18 | 2014-10-23 | Digimarc Corporation | Longitudinal dermoscopic study employing smartphone-based image registration |
| US20140378810A1 (en) | 2013-04-18 | 2014-12-25 | Digimarc Corporation | Physiologic data acquisition and analysis |
| US9408570B2 (en) | 2013-05-03 | 2016-08-09 | The Charles Stark Draper Laboratory, Inc. | Physiological feature extraction and fusion to assist in the diagnosis of post-traumatic stress disorder |
| JP2014239871A (ja) | 2013-05-07 | 2014-12-25 | 安東 秀夫 | 生体活動検出方法、生体活動測定装置、生体活動検出信号の転送方法および生体活動情報を利用したサービスの提供方法 |
| US20140365272A1 (en) | 2013-06-07 | 2014-12-11 | Bby Solutions, Inc. | Product display with emotion prediction analytics |
| TWI518629B (zh) | 2013-06-12 | 2016-01-21 | 英特爾股份有限公司 | 用於生理信號之自動化品質評估的方法及設備 |
| WO2015098977A1 (ja) * | 2013-12-25 | 2015-07-02 | 旭化成株式会社 | 脈波測定装置、携帯機器、医療機器システム、及び生体情報コミュニケーションシステム |
| WO2015103614A2 (en) * | 2014-01-06 | 2015-07-09 | The Florida International University Board Of Trustees | Near infrared optical imaging system for hemodynamic imaging, pulse monitoring, and mapping spatio-temporal features |
| CN103976710B (zh) | 2014-04-28 | 2015-08-26 | 京东方科技集团股份有限公司 | 健康监测系统及其数据采集方法 |
| US20150327800A1 (en) * | 2014-05-16 | 2015-11-19 | Mediatek Inc. | Apparatus and method for obtaining vital sign of subject |
| US9693696B2 (en) | 2014-08-07 | 2017-07-04 | PhysioWave, Inc. | System with user-physiological data updates |
| US20170245792A1 (en) | 2014-10-20 | 2017-08-31 | Flare Diagnostics, Llc | Skin Test Reading Device and Associated Systems and Methods |
| EP3212057B1 (en) | 2014-10-29 | 2021-12-01 | Spectral MD, Inc. | Reflective mode multi-spectral time-resolved optical imaging methods and apparatuses for tissue classification |
| WO2016142392A1 (en) | 2015-03-09 | 2016-09-15 | Koninklijke Philips N.V. | Wearable and detachable health parameter sensor |
| US9913583B2 (en) | 2015-07-01 | 2018-03-13 | Rememdia LC | Health monitoring system using outwardly manifested micro-physiological markers |
| US10705603B2 (en) | 2016-02-08 | 2020-07-07 | Nuralogix Corporation | System and method for detecting invisible human emotion in a retail environment |
| WO2018085946A1 (en) * | 2016-11-14 | 2018-05-17 | Nuralogix Corporation | System and method for detecting subliminal facial responses in response to subliminal stimuli |
| AU2018233407B2 (en) | 2017-03-17 | 2020-10-01 | Ixensor Co., Ltd. | Method for improving usability and accuracy for physiological measurement |
| US10939833B2 (en) * | 2017-05-01 | 2021-03-09 | Samsung Electronics Company, Ltd. | Determining artery location using camera-based sensing |
| KR102385188B1 (ko) * | 2017-09-29 | 2022-04-12 | 삼성전자주식회사 | 외부 전자 장치에서 생성된 정보를 이용하여 이미지 데이터를 처리하는 방법 및 전자 장치 |
| CN112218576A (zh) * | 2018-03-20 | 2021-01-12 | 海科·雷德特尔 | 用于采集和分析皮肤的图像的装置和方法 |
| DE112019004512T5 (de) * | 2018-09-10 | 2021-06-24 | Mitsubishi Electric Corporation | Informationsverarbeitungseinrichtung, programm undinformationsverarbeitungsverfahren |
-
2018
- 2018-10-24 US US16/342,090 patent/US11471083B2/en active Active
- 2018-10-24 CN CN201880076170.4A patent/CN111386068B/zh active Active
- 2018-10-24 CA CA3079625A patent/CA3079625C/en active Active
- 2018-10-24 WO PCT/CA2018/051346 patent/WO2019079896A1/en active Application Filing
-
2022
- 2022-09-15 US US17/932,561 patent/US11857323B2/en active Active
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20150099987A1 (en) * | 2010-06-07 | 2015-04-09 | Affectiva, Inc. | Heart rate variability evaluation for mental state analysis |
| CN104055498A (zh) * | 2014-04-30 | 2014-09-24 | 首都医科大学 | 一种基于红外序列图像的人体呼吸和心率信号非接触式检测方法 |
| CN106999111A (zh) * | 2014-10-01 | 2017-08-01 | 纽洛斯公司 | 用于检测不可见人类情感的系统和方法 |
| CN105266787A (zh) * | 2015-11-03 | 2016-01-27 | 西安中科创星科技孵化器有限公司 | 一种非接触式心率检测方法及系统 |
| CA3013959A1 (en) * | 2016-02-17 | 2017-08-24 | Nuralogix Corporation | System and method for detecting physiological state |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111728602A (zh) * | 2020-08-21 | 2020-10-02 | 之江实验室 | 基于ppg的无接触血压测量装置 |
| CN112237421A (zh) * | 2020-09-23 | 2021-01-19 | 浙江大学山东工业技术研究院 | 一种基于视频的动态心率变异性分析模型 |
Also Published As
| Publication number | Publication date |
|---|---|
| US11857323B2 (en) | 2024-01-02 |
| US20210361208A1 (en) | 2021-11-25 |
| CN111386068B (zh) | 2023-05-30 |
| CA3079625C (en) | 2023-12-12 |
| WO2019079896A1 (en) | 2019-05-02 |
| US20230008293A1 (en) | 2023-01-12 |
| CA3079625A1 (en) | 2019-05-02 |
| US11471083B2 (en) | 2022-10-18 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111386068B (zh) | 基于摄像机的压力测量系统与方法 | |
| Li et al. | The obf database: A large face video database for remote physiological signal measurement and atrial fibrillation detection | |
| US9872652B2 (en) | Method and apparatus for heart rate monitoring using an electrocardiogram sensor | |
| CN108697386B (zh) | 用于检测生理状态的系统和方法 | |
| Huynh et al. | VitaMon: measuring heart rate variability using smartphone front camera | |
| KR100493714B1 (ko) | 자율신경 검사장치 | |
| Moreno et al. | Facial video-based photoplethysmography to detect HRV at rest | |
| US20050010116A1 (en) | Method and apparatus based on combination of physiological parameters for assessment of analgesia during anesthesia or sedation | |
| US20220022809A1 (en) | Systems and methods to detect and treat obstructive sleep apnea and upper airway obstruction | |
| CN116092673B (zh) | 一种便携式多信息融合分析及干预评估系统及其方法 | |
| Al-Shargie | Early detection of mental stress using advanced neuroimaging and artificial intelligence | |
| Park et al. | Non-contact measurement of heart response reflected in human eye | |
| Sugita et al. | Noise reduction technique for single-color video plethysmography using singular spectrum analysis | |
| JP7361784B2 (ja) | 行動タスク評価システムおよび行動タスク評価方法 | |
| Capdevila et al. | HRV based health&sport markers using video from the face | |
| Ahmad et al. | Multiparameter physiological analysis in obstructive sleep apnea simulated with Mueller maneuver | |
| CN116186502B (zh) | 一种多模态视觉神经功能检测方法及其系统 | |
| JP7132568B2 (ja) | 生体情報計測装置及び生体情報計測方法 | |
| Franco et al. | Singular Spectrum Analysis of pupillometry data. Identification of the sympathetic and parasympathetic activity | |
| Yang et al. | Improving the accuracy of biosignal analysis using bcg by applying a signal-to-noise ratio and similarity-based channel selection algorithm | |
| Ferroukhi et al. | Robust and reliable PPG and ECG integrated biosensor | |
| Arpaia et al. | HRV-Based Detection of Fear of Heights in a VR Environment | |
| Matsuyama | ECG and APG signal analysis during exercise in a hot environment | |
| Okada et al. | Emotion Monitoring Using Remote Measurement for Physiological Signals by Camera | |
| Johnson | Utilizing Image Segmentation for the Extraction of Heart Rate Variability in the Pursuit of Updating Mental Health Therapeutic Validity Processes |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |