CN112597789A - 血压推定系统、血压推定方法、学习装置、学习方法及程序 - Google Patents

血压推定系统、血压推定方法、学习装置、学习方法及程序 Download PDF

Info

Publication number
CN112597789A
CN112597789A CN202010911014.4A CN202010911014A CN112597789A CN 112597789 A CN112597789 A CN 112597789A CN 202010911014 A CN202010911014 A CN 202010911014A CN 112597789 A CN112597789 A CN 112597789A
Authority
CN
China
Prior art keywords
blood pressure
face image
weighted time
subject
time series
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202010911014.4A
Other languages
English (en)
Inventor
野泽昭雄
大岩孝辅
中野研一
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Noguchi Akio
Original Assignee
Toshiba Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Toshiba Corp filed Critical Toshiba Corp
Publication of CN112597789A publication Critical patent/CN112597789A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/0059—Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence
    • A61B5/0077—Devices for viewing the surface of the body, e.g. camera, magnifying lens
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/0033—Features or image-related aspects of imaging apparatus classified in A61B5/00, e.g. for MRI, optical tomography or impedance tomography apparatus; arrangements of imaging apparatus in a room
    • A61B5/004—Features or image-related aspects of imaging apparatus classified in A61B5/00, e.g. for MRI, optical tomography or impedance tomography apparatus; arrangements of imaging apparatus in a room adapted for image acquisition of a particular organ or body part
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/0059—Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence
    • A61B5/0075—Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence by spectroscopy, i.e. measuring spectra, e.g. Raman spectroscopy, infrared absorption spectroscopy
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/01—Measuring temperature of body parts ; Diagnostic temperature sensing, e.g. for malignant or inflamed tissue
    • A61B5/015—By temperature mapping of body part
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/02—Detecting, measuring or recording pulse, heart rate, blood pressure or blood flow; Combined pulse/heart-rate/blood pressure determination; Evaluating a cardiovascular condition not otherwise provided for, e.g. using combinations of techniques provided for in this group with electrocardiography or electroauscultation; Heart catheters for measuring blood pressure
    • A61B5/021—Measuring pressure in heart or blood vessels
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7235—Details of waveform analysis
    • A61B5/7239—Details of waveform analysis using differentiation including higher order derivatives
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7235—Details of waveform analysis
    • A61B5/7246—Details of waveform analysis using correlation, e.g. template matching or determination of similarity
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7235—Details of waveform analysis
    • A61B5/7264—Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems
    • A61B5/7267—Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems involving training the classification device
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7271—Specific aspects of physiological measurement analysis
    • A61B5/7275—Determining trends in physiological measurement data; Predicting development of a medical condition based on physiological measurements, e.g. determining a risk factor
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F17/00—Digital computing or data processing equipment or methods, specially adapted for specific functions
    • G06F17/10—Complex mathematical operations
    • G06F17/16—Matrix or vector computation, e.g. matrix-matrix or matrix-vector multiplication, matrix factorization
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F17/00—Digital computing or data processing equipment or methods, specially adapted for specific functions
    • G06F17/10—Complex mathematical operations
    • G06F17/18—Complex mathematical operations for evaluating statistical data, e.g. average values, frequency distributions, probability functions, regression analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G06T7/0014—Biomedical image inspection using an image reference approach
    • G06T7/0016—Biomedical image inspection using an image reference approach involving temporal comparison
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G06V40/171—Local features and components; Facial parts ; Occluding parts, e.g. glasses; Geometrical relationships
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10048—Infrared image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20076—Probabilistic image processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30088—Skin; Dermal
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G06T2207/30201—Face

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Theoretical Computer Science (AREA)
  • Medical Informatics (AREA)
  • General Physics & Mathematics (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Artificial Intelligence (AREA)
  • Veterinary Medicine (AREA)
  • Surgery (AREA)
  • Animal Behavior & Ethology (AREA)
  • Public Health (AREA)
  • Pathology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Computation (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Multimedia (AREA)
  • Physiology (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Computing Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Cardiology (AREA)
  • Human Computer Interaction (AREA)
  • Databases & Information Systems (AREA)
  • Psychiatry (AREA)
  • Signal Processing (AREA)
  • General Engineering & Computer Science (AREA)
  • Pure & Applied Mathematics (AREA)
  • Mathematical Analysis (AREA)
  • Mathematical Optimization (AREA)
  • Computational Mathematics (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Vascular Medicine (AREA)

Abstract

本发明提供一种能够以非接触的方式瞬时推定被检测者的血压的血压推定系统。其具有：脸部图像获取部，获取被检测者的脸部图像；血压推定部，基于所述脸部图像的空间特征量来推定所述被检测者的血压。

Description

血压推定系统、血压推定方法、学习装置、学习方法及程序
技术领域
本发明涉及一种以非接触的方式推定被检测者的血压的技术。
背景技术
公知有以非接触的方式推定被检测者的血压的技术。在专利文献1中记载有如下的系统：根据被检测者的皮肤图像的亮度的时间变化计算脉搏波时机，并且根据被检测者与接收天线之间的距离的时间变化计算心搏时机，基于脉搏波时机与心搏时机的时间差来推定被检测者的血压。
现有技术文献
专利文献
专利文献1：日本特开2016-77890号公报
发明内容
发明要解决的技术问题
但是，在专利文献1的技术中，由于除了用于获取被检测者的皮肤图像的拍摄机构之外，还需要用于计算脉搏波时机的计算机构、用于测量与被检测者的皮肤的距离的包括接收天线的测距机构、及用于计算心搏时机的计算机构，因此系统构成的规模变得较大。
此外，在专利文献1的技术中，由于基于被检测者的皮肤图像的亮度的时间变化的信息即皮肤图像的时间特征量，与被检测者和接收天线之间的距离的时间变化的信息即皮肤的位置的时间特征量来进行血压推定，因此每一次的血压推定都需要用于提取皮肤图像的时间特征量及皮肤的位置的时间特征量所需的时间。因此，无法瞬时推定被检测者的血压。
本发明提供能够以非接触的方式瞬时推定被检测者的血压的血压推定系统、血压推定方法、学习装置、学习方法及用于使用计算机实现这些的程序。
用于解决上述技术问题的方案
为了解决上述技术问题，方案1的血压推定系统的特征在于，具有：脸部图像获取部，在非接触状态下获取被检测者的脸部图像；血压推定部，基于所述脸部图像的空间特征量来推定所述被检测者的血压。
该血压推定系统获取被检测者的脸部图像，基于该脸部图像的空间特征量来推定该被检测者的血压。
此外，方案2的血压推定系统的特征在于，在方案1所述的血压推定系统中，所述血压推定部具有：相关数据存储部，存储示出脸部图像的独立分量的加权时间序列与血压的关系的相关数据；空间特征量提取部，通过对由所述脸部图像获取部获取的脸部图像进行独立分量分析，从而提取该脸部图像的独立分量的加权时间序列作为所述空间特征量；血压判定部，根据所述相关数据判定与由所述空间特征量提取部提取的加权时间序列相对应的血压的值；推定血压值输出部，将所述血压判定部所判定的值作为所述被检测者的血压的推定值输出。
该血压推定系统通过对被检测者的脸部图像进行独立分量分析来提取该脸部图像的独立分量的加权时间序列，并根据相关数据判定与其所提取的加权时间序列相对应的血压的值，将该值作为被检测者的血压的推定值输出。
此外，方案3的血压推定系统的特征在于，在方案1所述的血压推定系统中，所述血压推定部具有：相关数据存储部，存储示出脸部图像的独立分量的加权时间序列及其微分值与血压的关系的相关数据；加权时间序列计算部，通过对由所述脸部图像获取部获取的脸部图像进行独立分量分析，从而计算该脸部图像的独立分量的加权时间序列作为所述空间特征量；加权时间序列微分计算部，计算由所述加权时间序列计算部计算出的加权时间序列的微分值；血压判定部，根据所述相关数据判定与由所述加权时间序列计算部计算出的加权时间序列及由所述加权时间序列微分计算部计算出的加权时间序列的微分值相对应的血压的值；推定血压值输出部，将所述血压判定部所判定的值作为所述被检测者的血压的推定值输出。
该血压推定系统通过对被检测者的脸部图像进行独立分量分析，计算该脸部图像的独立分量的加权时间序列，进而计算该加权时间序列的微分值。然后，根据相关数据判定与加权时间序列及其微分值相对应的血压的值，将该值作为被检测者的血压的推定值输出。
此外，方案4的血压推定系统的特征在于，在方案3所述的血压推定系统中，所述加权时间序列的微分值包括所述加权时间序列的一阶微分及二阶微分，所述加权时间序列微分计算部计算所述加权时间序列的一阶微分及二阶微分。
该血压推定系统根据相关数据判定与加权时间序列及其一阶微分及二阶微分相对应的血压的值，将该值作为被检测者的血压的推定值输出。
此外，方案5的血压推定系统的特征在于，在方案2～4的任一项所述的血压推定系统中，所述脸部图像为脸部热图像或脸部可视图像。
该血压推定系统获取被检测者的脸部热图像或脸部可视图像，基于该脸部热图像或脸部可视图像的空间特征量来推定该被检测者的血压。
对于脸部热图像的获取，使用红外线热像仪。脸部热图像是指，分析从被实验者的脸部发射的红外线，以图示出热分布的图像。对于脸部可视图像的获取，使用通常被广泛使用的照相机，即使用具有用于成像的光学系统并用于拍摄影像的装置。
此外，方案6的血压推定系统的特征在于，在方案1所述的血压推定系统中，所述血压推定部具有：判定用空间特征量存储部，存储与由二阶段或三阶段构成的血压阶段相对应的判定用的空间特征量；空间特征量提取部，提取由所述脸部图像获取部获取的脸部图像的空间特征量；血压阶段判定部，基于由所述空间特征量提取部提取的空间特征量与所述判定用的空间特征量，判定所述被检测者的血压阶段；推定血压阶段输出部，将所述血压阶段判定部的判定结果作为所述被检测者的血压阶段的推定结果输出。
该血压推定系统提取被检测者的脸部图像的空间特征量，基于该提取出的空间特征量与判定用的空间特征量来判定被检测者的血压阶段，将该判定结果作为被检测者的血压阶段的推定结果输出。
此外，方案7的血压推定系统的特征在于，在方案6所述的血压推定系统中，存储于所述判定用特征量存储部的所述判定用的空间特征量是由机器学习部提取的空间特征量，所述机器学习部具有：学习用数据存储部，存储与由二阶段或三阶段构成的血压阶段分别相对应地被赋予标签的多个学习用脸部图像；特征量提取部，使用学习完毕的模型提取所述学习用脸部图像的空间特征量；特征量学习部，基于所述特征量提取部的提取结果与对作为其提取对象的所述学习用脸部图像赋予的标签的关系，变更所述学习完毕的模型的网络参数，使得所述特征量提取部的所述空间特征量的提取精度变高。
该血压推定系统将由机器学习部提取的空间特征量作为判定用的空间特征量使用。机器学习部存储与由二阶段或三阶段构成的血压阶段分别相对应地被赋予标签的多个学习用脸部图像，使用学习完毕的模型从学习用脸部图像提取被检测者的脸部图像的空间特征量，基于该提取结果与对作为提取对象的学习用脸部图像赋予的标签的关系，变更学习完毕的模型的网络参数，使得被检测者的脸部图像的空间特征量的提取精度变高。
此外，方案8的血压推定系统的特征在于，在方案7所述的血压推定系统中，所述脸部图像为脸部热图像或脸部可视图像。
该血压推定系统提取被检测者的脸部热图像或脸部可视图像的空间特征量，基于该提取出的空间特征量与判定用的空间特征量来判定被检测者的血压阶段，将该判定结果作为被检测者的血压阶段的推定结果输出。
方案9的学习装置的特征在于，具有：学习用数据存储部，存储与由二阶段或三阶段构成的血压阶段分别相对应地被赋予标签的多个学习用脸部图像；特征量提取部，使用学习完毕的模型提取所述学习用脸部图像的空间特征量；特征量学习部，基于所述特征量提取部的提取结果与对作为其提取对象的所述学习用脸部图像赋予的标签的关系，变更所述学习完毕的模型的网络参数，使得所述特征量提取部的所述空间特征量的提取精度变高。
该学习装置存储与由二阶段或三阶段构成的血压阶段分别相对应地被赋予标签的多个学习用脸部图像，使用学习完毕的模型从学习用脸部图像提取被检测者的脸部图像的空间特征量，基于该提取结果与对作为其提取对象的学习用脸部图像赋予的标签的关系，变更学习完毕的模型的网络参数，使得被检测者的脸部图像的空间特征量的提取精度变高。
方案10的血压推定方法的特征在于，具有：脸部图像获取步骤，获取被检测者的脸部图像；血压推定步骤，基于所述脸部图像的空间特征量来推定所述被检测者的血压。
在该血压推定方法中，获取被检测者的脸部图像，基于该脸部图像的空间特征量来推定该被检测者的血压。
此外，方案11的血压推定方法的特征在于，在方案10所述的血压推定方法中，所述血压推定步骤具有：相关数据存储步骤，存储示出脸部图像的独立分量的加权时间序列与血压的关系的相关数据；空间特征量提取步骤，通过对所述被检测者的脸部图像进行独立分量分析，从而提取该脸部图像的独立分量的加权时间序列作为所述空间特征量；血压判定步骤，根据所述相关数据判定与由所述空间特征量提取步骤提取的加权时间序列相对应的血压的值；推定血压值输出步骤，将所述血压判定步骤的判定结果作为所述被检测者的血压的推定值输出。
在该血压推定方法中，通过对被检测者的脸部图像进行独立分量分析来提取该脸部图像的独立分量的加权时间序列，并根据相关数据判定与该被提取的加权时间序列相对应的血压的值，将该值作为被检测者的血压的推定值输出。
此外，方案12的血压推定方法的特征在于，在方案10所述的血压推定方法中，所述血压推定步骤具有：相关数据存储步骤，存储示出脸部图像的独立分量的加权时间序列及其微分值与血压的关系的相关数据；加权时间序列计算步骤，通过对由所述脸部图像获取步骤获取的脸部图像进行独立分量分析，从而计算该脸部图像的独立分量的加权时间序列作为所述空间特征量；加权时间序列微分计算步骤，计算由所述加权时间序列计算步骤计算出的加权时间序列的微分值；血压判定步骤，根据所述相关数据判定与由所述加权时间序列计算步骤计算出的加权时间序列及由所述加权时间序列微分计算步骤计算出的加权时间序列的微分值相对应的血压的值；推定血压值输出步骤，将所述血压判定步骤所判定的值作为所述被检测者的血压的推定值输出。
在该血压推定方法中，通过对被检测者的脸部图像进行独立分量分析，计算该脸部图像的独立分量的加权时间序列，进而计算该加权时间序列的微分值。然后，根据相关数据判定与加权时间序列及其微分值相对应的血压的值，将该值作为被检测者的血压的推定值输出。
此外，方案13的血压推定方法的特征在于，在方案12所述的血压推定方法中，所述加权时间序列的微分值包括所述加权时间序列的一阶微分及二阶微分，所述加权时间序列微分计算部计算所述加权时间序列的一阶微分及二阶微分。
在该血压推定方法中，根据相关数据判定与加权时间序列及其一阶微分及二阶微分相对应的血压的值，将该值作为被检测者的血压的推定值输出。
此外，方案14的血压推定方法的特征在于，在方案10所述的血压推定方法中，所述血压推定步骤具有：判定用特征量存储步骤，存储与由二阶段或三阶段构成的血压阶段相对应的判定用的空间特征量；血压阶段判定步骤，基于所述被检测者的脸部图像的空间特征量与所述判定用的空间特征量，判定所述被检测者的血压阶段；推定血压阶段输出步骤，将所述血压阶段判定步骤的判定结果作为所述被检测者的血压阶段的推定结果输出。
在该血压推定方法中，提取被检测者的脸部图像的空间特征量，基于该提取出的空间特征量与判定用的空间特征量来判定被检测者的血压阶段，将该判定结果作为被检测者的血压阶段的推定结果输出。
方案15的学习方法的特征在于，具有：学习用数据存储步骤，存储与由二阶段或三阶段构成的血压阶段分别相对应地被赋予标签的多个学习用脸部图像；特征量提取步骤，使用学习完毕的模型提取所述学习用脸部图像的空间特征量；特征量学习步骤，基于所述特征量提取步骤的提取结果与对作为其提取对象的所述学习用脸部图像赋予的标签的关系，变更所述学习完毕的模型的网络参数，使得所述特征量提取步骤的所述空间特征量的提取精度变高。
在该学习方法中，存储与由二阶段或三阶段构成的血压阶段分别相对应地被赋予标签的多个学习用脸部图像，使用学习完毕的模型从学习用脸部图像提取被检测者的脸部图像的空间特征量，基于该提取结果与对作为其提取对象的学习用脸部图像赋予的标签的关系，变更学习完毕的模型的网络参数，使得被检测者的脸部图像的空间特征量的提取精度变高。
方案16的程序是用于使计算机作为推定被检测者的血压的机构发挥功能的程序，其特征在于，具有：相关数据存储步骤，存储示出脸部图像的独立分量的加权时间序列与血压的关系的相关数据；脸部图像获取步骤，获取被检测者的脸部图像；空间特征量提取步骤，通过对由所述脸部图像获取步骤获取的脸部图像进行独立分量分析，从而提取该脸部图像的独立分量的加权时间序列作为该脸部图像的空间特征量；推定血压值输出步骤，根据所述相关数据求出与由所述空间特征量提取步骤提取出的加权时间序列相对应的血压的值，将该值作为所述被检测者的血压的推定值输出。
通过将该程序安装在一台或相互协同工作的多台计算机来执行该程序，使得该由一台或多台计算机构成的系统作为如下机构发挥功能：对被检测者的脸部图像进行独立分量分析，从而提取该脸部图像的独立分量的加权时间序列，根据相关数据判定与该被提取的加权时间序列相对应的血压的值，将该值作为被检测者的血压的推定值输出。
此外，方案17的程序是用于使计算机作为推定被检测者的血压的机构发挥功能的程序，其特征在于，具有：相关数据存储步骤，存储示出脸部图像的独立分量的加权时间序列及其微分值与血压的关系的相关数据；加权时间序列计算步骤，通过对由所述脸部图像获取步骤获取的脸部图像进行独立分量分析，从而计算该脸部图像的独立分量的加权时间序列作为所述空间特征量；加权时间序列微分计算步骤，计算由所述加权时间序列计算步骤计算出的加权时间序列的微分值；血压判定步骤，根据所述相关数据对与由所述加权时间序列计算步骤计算出的加权时间序列及由所述加权时间序列微分计算步骤计算出的加权时间序列的微分值相对应的血压的值进行判定；推定血压值输出步骤，将所述血压判定步骤所判定的值作为所述被检测者的血压的推定值输出。
通过将该程序安装在一台或相互协同工作的多台计算机来执行该程序，使得该由一台或多台计算机构成的系统作为如下机构发挥功能：对被检测者的脸部图像进行独立分量分析，从而计算该脸部图像的独立分量的加权时间序列，进而计算该加权时间序列的微分值，根据相关数据判定与加权时间序列及其微分值相对应的血压的值，将该值作为被检测者的血压的推定值输出。
此外，方案18的程序的特征在于，在方案17所述的程序中，所述加权时间序列的微分值包括所述加权时间序列的一阶微分及二阶微分，所述加权时间序列微分计算步骤是计算所述加权时间序列的一阶微分及二阶微分的步骤。
通过将该程序安装在一台或相互协同工作的多台计算机来执行该程序，从而使其作为如下机构发挥功能：根据相关数据判定与加权时间序列及其一阶微分及二阶微分相对应的血压的值，将该值作为被检测者的血压的推定值输出。
此外，方案19的程序是用于使计算机作为推定被检测者的血压的机构发挥功能的程序，其特征在于，具有：判定用特征量存储步骤，存储与由二阶段或三阶段构成的血压阶段相对应的判定用的空间特征量；脸部图像获取步骤，获取被检测者的脸部图像；血压阶段判定步骤，基于由所述脸部图像获取步骤获取的脸部图像与所述判定用的空间特征量，判定所述被检测者的血压阶段；推定血压阶段输出步骤，将所述血压阶段判定步骤的判定结果作为所述被检测者的血压阶段的推定结果输出。
通过将该程序安装在一台或相互协同工作的多台计算机来执行该程序，使得该由一台或多台计算机构成的系统作为如下机构发挥功能：提取被检测者的脸部图像的空间特征量，基于该提取出的空间特征量与判定用的空间特征量来判定被检测者的血压阶段，将该判定结果作为被检测者的血压阶段的推定结果输出。
此外，方案20的程序的特征在于，在方案19所述的程序中，具有：学习用数据存储步骤，存储与由二阶段或三阶段构成的血压阶段分别相对应地被赋予标签的多个学习用脸部图像；特征量提取步骤，使用学习完毕的模型从所述学习用脸部图像提取所述脸部图像的空间特征量；特征量学习步骤，基于所述特征量提取步骤的提取结果与对作为其提取对象的所述学习用脸部图像赋予的标签的关系，变更所述学习完毕的模型的网络参数，使得所述特征量提取步骤的所述空间特征量的提取精度变高，所述判定用特征量存储步骤是存储由所述特征量提取步骤提取出的所述空间特征量的步骤。
通过将该程序安装在一台或相互协同工作的多台计算机来执行该程序，使其作为如下机构发挥功能：存储与由二阶段或三阶段构成的血压阶段分别相对应地被赋予标签的多个学习用脸部图像，使用学习完毕的模型提取学习用脸部图像的空间特征量，基于该提取结果与对作为其提取对象的学习用脸部图像赋予的标签的关系，变更学习完毕的模型的网络参数，使得空间特征量的提取精度变高，并存储提取出的空间特征量。
此外，方案21的程序是用于使计算机作为用于推定被检测者的血压的学习装置发挥功能的程序，其特征在于，具有：学习用数据存储步骤，存储与由二阶段或三阶段构成的血压阶段分别相对应地被赋予标签的多个学习用脸部图像；特征量提取步骤，使用学习完毕的模型提取所述学习用脸部图像的空间特征量；特征量学习步骤，基于所述特征量提取步骤的提取结果与对作为其提取对象的所述学习用脸部图像赋予的标签的关系，变更所述学习完毕的模型的网络参数，使得所述特征量提取步骤的所述空间特征量的提取精度变高。
通过将该程序安装在一台或相互协同工作的多台计算机来执行该程序，使得该由一台或多台计算机构成的系统作为如下学习装置发挥功能：存储与由二阶段或三阶段构成的血压阶段分别相对应地被赋予标签的多个学习用脸部图像，使用学习完毕的模型从这些学习用脸部图像提取被检测者的脸部图像的空间特征量，基于该提取结果与对作为其提取对象的学习用脸部图像赋予的标签的关系，变更学习完毕的模型的网络参数，使得被检测者的脸部图像的空间特征量的提取精度变高。
发明效果
根据方案1的血压推定系统，基于在非接触状态下获取的被检测者的脸部图像的空间特征量来推定该被检测者的血压，由此能够以非接触的方式瞬时推定被检测者的血压。
即，例如在专利文献1所述的现有技术中，由于基于被检测者的皮肤图像的亮度的时间变化的信息即皮肤图像的时间特征量，与被检测者和接收天线之间的距离的时间变化的信息即皮肤的位置的时间特征量来进行血压推定，因此每一次的血压推定都需要用于提取皮肤图像的时间特征量及皮肤的位置的时间特征量所需的时间，无法瞬时推定被检测者的血压，但在方案1所述的发明中，由于构成为基于在非接触状态下获取的被检测者的脸部图像的空间特征量来推定该被检测者的血压，因此仅利用脸部图像的空间特征量的信息处理就能够进行被实验者的血压推定，从而无需像现有技术那样，每一次的血压推定都需要用于提取皮肤图像的时间特征量及皮肤的位置的时间特征量所需的时间，而是在获取被实验者的脸部图像后，就能够瞬时且正确地进行血压推定。
此外，例如在专利文献1所述的现有技术中，由于除了用于获取被检测者的皮肤图像的拍摄机构之外，还需要用于计算脉搏波时机的计算机构、用于测量与被检测者的皮肤的距离的包括接收天线的测距机构、及用于计算心搏时机的计算机构，因此系统构成的规模变得较大，但在方案1所述的发明中，由在非接触状态下获取被检测者的脸部图像的脸部图像获取部与基于所述脸部图像的空间特征量来推定所述被检测者的血压的血压推定部构成血压推定系统，因此能够使系统构成简易，还能够降低系统构成所需的成本。
根据方案2的血压推定系统，能够基于被检测者的脸部图像的独立分量的加权时间序列，以非接触的方式瞬时且正确地推定被检测者的血压。
根据方案3的血压推定系统，能够基于被检测者的脸部图像的独立分量的加权时间序列，以非接触的方式瞬时且正确地推定被检测者的血压。并且，根据该血压推定系统，由于可基于被检测者的脸部图像的独立分量的加权时间序列的微分值来推定空间特征量的之后的变化率，因此可对被检测者的之后的血压变化进行预测推定。
根据方案4的血压推定系统，由于可基于加权时间序列的一阶微分及二阶微分来推定空间特征量的之后的变化率，因此可不引起计算量的显著增加而正确地对被检测者的之后的血压变化进行预测推定。即，由于能够精密地分析血压的变化率，因此可正确地预测该测量时间以后的血压的变化。
根据方案5的血压推定系统，能够基于被检测者的脸部热图像或脸部可视图像的独立分量，以非接触的方式瞬时且正确地推定该被检测者的血压。
根据方案6的血压推定系统，能够基于被检测者的脸部图像的空间特征量，以非接触的方式瞬时且正确地推定该被检测者的血压阶段。
根据方案7的血压推定系统，由于能够变更学习完毕的模型的网络参数，使得被检测者的脸部图像的空间特征量的提取精度变高，因此能够基于被检测者的脸部图像的空间特征量，以非接触的方式瞬时且更高精度地推定被检测者的血压阶段。
根据方案8的血压推定系统，能够基于被检测者的脸部热图像或脸部可视图像的空间特征量，以非接触的方式瞬时且更高精度地推定被检测者的血压阶段。
根据方案9的学习装置，能够变更学习完毕的模型的网络参数，使得被检测者的脸部图像的空间特征量的提取精度变高。其结果为，能够以非接触的方式瞬时且更高精度地推定被检测者的血压阶段。
根据方案10的血压推定方法，通过基于被检测者的脸部图像的空间特征量来推定该被检测者的血压，从而能够以非接触的方式瞬时且正确地推定被检测者的血压。
根据方案11的血压推定方法，能够基于被检测者的脸部图像的独立分量的加权时间序列，以非接触的方式瞬时且正确地推定被检测者的血压。
根据方案12的血压推定方法，能够基于被检测者的脸部图像的独立分量的加权时间序列，以非接触的方式瞬时且正确地推定被检测者的血压。进而，根据该血压推定方法，由于可基于被检测者的脸部图像的独立分量的加权时间序列的微分值来推定空间特征量的之后的变化率，因此可对被检测者的之后的血压变化进行预测推定。
根据方案13的血压推定方法，由于可基于加权时间序列的一阶微分及二阶微分来推定空间特征量的之后的变化率，因此可更正确地对被检测者的之后的血压变化进行预测推定。即，由于能够精密地分析血压的变化率，因此可正确地预测该测量时间以后的血压的变化。
根据方案14的血压推定方法，能够基于被检测者的脸部图像的空间特征量，以非接触的方式瞬时推定该被检测者的血压阶段。
根据方案15的学习方法，能够变更学习完毕的模型的网络参数，使得被检测者的脸部图像的空间特征量的提取精度变高。
根据方案16的程序，能够使用一台或相互协同工作的多台计算机来实现具有如下功能的血压推定系统：通过对被检测者的脸部图像进行独立分量分析，提取该脸部图像的独立分量的加权时间序列，根据相关数据判定与该被提取的加权时间序列相对应的血压的值，将该值作为被检测者的血压的推定值输出。
根据方案17的程序，能够使用一台或相互协同工作的多台计算机来实现具有如下功能的血压推定系统：对被检测者的脸部图像进行独立分量分析，从而计算该脸部图像的独立分量的加权时间序列，进而计算该加权时间序列的微分值，根据相关数据判定与加权时间序列及其微分值相对应的血压的值，将该值作为被检测者的血压的推定值输出。
根据方案18的程序，能够使用一台或相互协同工作的多台计算机来实现具有如下功能的血压推定系统：根据相关数据判定与加权时间序列及其一阶微分及二阶微分相对应的血压的值，将该值作为被检测者的血压的推定值输出。
根据方案19的程序，能够使用一台或相互协同工作的多台计算机来实现具有如下功能的血压推定系统：提取被检测者的脸部图像的空间特征量，基于该提取出的空间特征量与判定用的空间特征量来判定被检测者的血压阶段，将该判定结果作为被检测者的血压阶段的推定结果输出。
根据方案20的程序，能够使用一台或相互协同工作的多台计算机来实现具有如下功能的血压推定系统：存储与由二阶段或三阶段构成的血压阶段分别相对应地被赋予标签的多个学习用脸部图像，使用学习完毕的模型提取学习用脸部图像的空间特征量，基于该提取结果与对作为其提取对象的学习用脸部图像赋予的标签的关系，变更学习完毕的模型的网络参数，并存储提取出的空间特征量，使得空间特征量的提取精度变高。
根据方案21的程序，能够使用一台或相互协同工作的多台计算机来实现具有如下功能的学习装置：存储与由二阶段或三阶段构成的血压阶段分别相对应地被赋予标签的多个学习用脸部图像，使用学习完毕的模型从这些学习用脸部图像提取被检测者的脸部图像的空间特征量，基于该提取结果与对作为其提取对象的学习用脸部图像赋予的标签的关系，变更学习完毕的模型的网络参数，使得被检测者的脸部图像的空间特征量的提取精度变高。
附图说明
图1是本发明的第1实施方式的血压推定系统的框图。
图2是示出图1的血压推定系统的处理内容的流程图。
图3是图2中的血压推定处理的流程图。
图4是本发明的第2实施方式的血压推定系统的框图。
图5是示出图4的血压推定系统的处理内容的流程图。
图6是图4中的血压推定处理的流程图。
图7是本发明的第2实施方式的血压推定系统的框图。
图8是示出图7的血压推定系统的处理内容的流程图。
图9是图7中的血压推定处理的流程图。
图10是第2实施方式的血压推定系统中的学习处理的流程图。
图11是示出实验方案(protocol)的图。
图12是例示提取出的脸部热图像(FTI)的图。
图13是例示平均血压(MBP)、心输出量(CO)、总外周血管阻力(TPR)及心率(HR)的时间序列变动的图。
图14是例示从观测信号提取的独立分量与加权时间序列的图。
图15是例示平均血压的推定值及测量结果的图。
图16是例示提取出的独立分量图像及相对应的加权时间序列的图。
图17是例示个人模型的导出结果的图。
图18是例示通用模型的导出结果的图。
图19是例示血压变动实验中的平均血压的时间序列与血压阶段的图(被检测者G)。
图20是例示血压变动实验中的平均血压位移的图。
图21是示出血压阶段推定中的混淆矩阵的代表例(被检测者A)的图。(a)为二阶段推定的混淆矩阵，(b)为三阶段推定的混淆矩阵。
图22是示出血压阶段推定中的混淆矩阵的代表例(被检测者G)的图。(a)为二阶段推定的混淆矩阵，(b)为三阶段推定的混淆矩阵。
图23是例示血压变动实验中的平均血压的最高值和最低值之差与血压阶段推定的正答率之间的关系的图。(a)为二阶段推定的情况，(b)为三阶段推定的情况。
图24是示出卷积层第1层中的特征图(feature map)(被检测者A)的图。(a)为高级(High Level)的情况，(b)为中级(Middle Level)的情况，(c)为低级(Low Level)的情况。
图25是示出卷积层第2层中的特征图(feature map)(被检测者A)的图。(a)为高级(High Level)的情况，(b)为中级(Middle Level)的情况，(c)为低级(Low Level)的情况。
图26是示出卷积层第3层中的特征图(feature map)(被检测者A)的图。(a)为高级(High Level)的情况，(b)为中级(Middle Level)的情况，(c)为低级(Low Level)的情况。
图27是示出卷积层第1层中的特征图(feature map)(被检测者G)的图。(a)为高级(High Level)的情况，(b)为中级(Middle Level)的情况，(c)为低级(Low Level)的情况。
图28是示出卷积层第2层中的特征图(feature map)(被检测者G)的图。(a)为高级(High Level)的情况，(b)为中级(Middle Level)的情况，(c)为低级(Low Level)的情况。
图29是示出卷积层第3层中的特征图(feature map)(被检测者G)的图。(a)为高级(High Level)的情况，(b)为中级(Middle Level)的情况，(c)为低级(Low Level)的情况。
具体实施方式
以下参照附图对本发明的实施方式进行说明。
[第1实施方式]
[构成]
图1所示的第1实施方式的血压推定系统100具有脸部图像获取装置(脸部图像获取部)110与血压推定装置(血压推定部)120。
脸部图像获取装置110是用于拍摄被检测者P的脸部图像FI的装置。脸部图像FI可以是脸部热图像FTI，也可以是脸部可视图像FVI。在脸部图像FI是脸部热图像FTI的情况下，使用红外线热像仪作为脸部图像获取装置110。在脸部图像FI是脸部可视图像FVI的情况下，使用可视图像拍摄装置作为脸部图像获取装置110。
血压推定装置120是通过将本发明的程序安装在通用的计算机来执行从而实现的。
血压推定装置120是使用脸部图像FI的独立分量的加权时间序列作为脸部图像FI的空间特征量，基于由脸部图像获取装置110获取的脸部图像FI、及示出脸部图像FI的独立分量的加权时间序列A与血压的关系的相关数据CD来推定被检测者P的血压的装置。
血压推定装置120具有相关数据存储部121、空间特征量提取部122、血压判定部123与推定血压值输出部124。
相关数据存储部121是存储相关数据CD的功能模块。
空间特征量提取部122是通过对由脸部图像获取装置110获取的脸部图像FI进行独立分量分析，提取该脸部图像FI的独立分量的加权时间序列作为空间特征量的功能模块。
血压判定部123是根据相关数据CD判定与由空间特征量提取部122提取的加权时间序列A相对应的血压的值的功能模块。
推定血压值输出部124是将血压判定部123所判定的值作为被检测者P的血压的推定值EV输出的功能模块。
[动作]
接着，根据图2及图3的流程图说明如上所述地构成的血压推定系统100中的处理的流程。
如图2所示，血压推定系统100执行脸部图像获取处理S1与血压推定处理S2。
脸部图像获取处理S1是获取被检测者P的脸部图像FI的处理。
血压推定处理S2是基于由脸部图像获取处理S1获取的被检测者P的脸部图像FI的空间特征量来推定该被检测者P的血压的处理。
如图3所示，血压推定处理S2中包括相关数据存储处理S21、空间特征量提取处理S22、血压判定处理S23与推定血压值输出处理S24。
相关数据存储处理S21是存储相关数据CD的处理。
空间特征量提取处理S22是通过对由脸部图像获取处理S1获取的被检测者P的脸部图像FI进行独立分量分析，从而提取该脸部图像FI的独立分量的加权时间序列作为脸部图像FI的空间特征量的处理。
血压判定处理S23是根据相关数据CD判定与由空间特征量提取处理S22提取的加权时间序列A相对应的血压的值的处理。
推定血压值输出处理S24是将血压判定处理S23的判定结果作为被检测者P的血压的推定值EV输出的处理。
[作用、效果]
在如上所述地构成的血压推定系统100中，被检测者P的脸部图像FI由脸部图像获取装置110拍摄。所拍摄的脸部图像FI被输入至血压推定装置120。血压推定装置120通过对被检测者P的脸部图像FI进行独立分量分析，提取该脸部图像FI的独立分量的加权时间序列A，根据相关数据CD判定与该被提取的加权时间序列A相对应的血压的值，将该值作为被检测者P的血压的推定值EV输出。
根据该血压推定系统100，能够基于被检测者P的脸部图像FI的独立分量的加权时间序列A，以非接触的方式瞬时且正确地推定被检测者P的血压。具体来说，通过仅拍摄一张被检测者P的脸部图像FI，即可瞬时且正确地推定该被检测者P的血压。
[第2实施方式]
[构成]
图4所示的第2实施方式的血压推定系统150具有脸部图像获取装置(脸部图像获取部)160与血压推定装置(血压推定部)170。
脸部图像获取装置160是用于拍摄被检测者P的脸部图像FI的装置。脸部图像FI可以是脸部热图像FTI，也可以是脸部可视图像FVI。在脸部图像FI是脸部热图像FTI的情况下，使用红外线热像仪作为脸部图像获取装置160。在脸部图像FI是脸部可视图像FVI的情况下，使用可视图像拍摄装置作为脸部图像获取装置160。
脸部图像获取装置160通过单次自动对焦(one shot)拍摄3张脸部图像FI。单次自动对焦的时间例如为2秒钟。以下，将第1张图像称为“第1图像FI1”，将第2张图像称为“第2图像FI2”，将第3张图像称为“第3图像FI3”。
血压推定装置170是通过将本发明的程序安装在通用的计算机并执行从而实现的。
血压推定装置170是使用脸部图像FI的独立分量的加权时间序列A、加权时间序列A的一阶微分A’及加权时间序列A的二阶微分A”作为脸部图像FI的空间特征量，并基于示出这些值A、A’、A”与血压的关系的相关数据CD来推定被检测者P的血压的装置。
血压推定装置170具有相关数据存储部171、空间特征量提取部172、血压判定部173与推定血压值输出部174。
相关数据存储部171是存储相关数据CD的功能模块。
空间特征量提取部172具有加权时间序列计算部172A与加权时间序列微分计算部172B。
加权时间序列计算部172A是如下功能模块：通过对由脸部图像获取装置160获取的单次自动对焦的3张脸部图像FI即第1图像FI1、第2图像FI2及第3图像FI3分别进行独立分量分析，计算第1图像FI1、第2图像FI2及第3图像FI3各自的独立分量的加权时间序列A作为空间特征量。以下，将第1图像FI1的加权时间序列称为“第1加权时间序列A1”，将第2图像FI2的加权时间序列称为“第2加权时间序列A2”，将第3图像FI3的加权时间序列称为“第3加权时间序列A3”。
加权时间序列微分计算部172B是如下功能模块：根据由加权时间序列计算部172A计算出的第1加权时间序列A1、第2加权时间序列A2及第3加权时间序列A3，计算加权时间序列A的一阶微分A’及二阶微分A”。
在该例中，加权时间序列微分计算部172B通过计算第1加权时间序列A1与第2加权时间序列A2的差分，求出第1加权时间序列一阶微分A1’，通过计算第2加权时间序列A2与第3加权时间序列A3的差分，求出第2加权时间序列一阶微分A2’。然后，加权时间序列微分计算部172B通过计算第1加权时间序列一阶微分A1’与第2加权时间序列一阶微分A2’的差分，求出加权时间序列二阶微分A”。
血压判定部173是如下功能模块：基于相关数据CD判定与由加权时间序列计算部172A计算出的加权时间序列A、由加权时间序列微分计算部172B计算出的第1加权时间序列一阶微分A1’、第2加权时间序列一阶微分A2’及加权时间序列二阶微分A”相对应的血压的值。在该例中，血压判定部173将第1加权时间序列一阶微分A1’与第2加权时间序列一阶微分A2’的平均值设为加权时间序列一阶微分A’，根据相关数据CD判定与加权时间序列A、加权时间序列一阶微分A’及加权时间序列二阶微分A”相对应的血压的值。
推定血压值输出部174是将血压判定部173所判定的值作为被检测者P的血压的推定值EV输出的功能模块。
[动作]
接着，根据图5及图6的流程图说明如上所述地构成的血压推定系统150中的处理的流程。
如图5所示，血压推定系统150执行脸部图像获取处理S1与血压推定处理S2。
脸部图像获取处理S1是获取被检测者P的脸部图像FI的处理。
血压推定处理S2是基于由脸部图像获取处理S1获取的被检测者P的脸部图像FI的空间特征量来推定该被检测者P的血压的处理。
如图6所示，血压推定处理S2中包括相关数据存储处理S21、加权时间序列计算处理S22A、加权时间序列微分计算处理S22B、血压判定处理S23与推定血压值输出处理S24。
相关数据存储处理S21是存储相关数据CD的处理。
加权时间序列计算处理S22A是对由脸部图像获取处理S1获取的被检测者P的脸部图像FI进行独立分量分析，从而计算该脸部图像FI的独立分量的加权时间序列A作为脸部图像FI的空间特征量的处理。
加权时间序列微分计算处理S22B是计算由加权时间序列计算处理S22A计算出的加权时间序列A的微分值，即第1加权时间序列一阶微分A1’、第2加权时间序列一阶微分A2’及加权时间序列二阶微分A”的处理。
血压判定处理S23是基于相关数据CD判定与加权时间序列A、加权时间序列一阶微分A’及加权时间序列二阶微分A”相对应的血压的值的处理。
推定血压值输出处理S24是将血压判定处理S23的判定结果作为被检测者P的血压的推定值EV输出的处理。
[作用、效果]
在如上所述地构成的血压推定系统150中，被检测者P的脸部图像FI由脸部图像获取装置160拍摄。所拍摄的脸部图像FI被输入至血压推定装置170。血压推定装置170通过对被检测者P的脸部图像FI进行独立分量分析，提取该脸部图像FI的独立分量的加权时间序列A，进而求出其一阶微分A’及二阶微分A”，基于相关数据CD判定与这些值A、A’、A”相对应的血压的值，将该值作为被检测者P的血压的推定值EV输出。
根据该血压推定系统150，能够基于被检测者P的脸部图像FI的独立分量的加权时间序列A及其微分值A’、A”，以非接触的方式瞬时且正确地推定被检测者P的血压。具体来说，通过利用单次自动对焦仅拍摄3张被检测者P的脸部图像FI，即可瞬时且正确地推定该被检测者P的血压。
进而，根据该血压推定系统150，由于可基于被检测者P的脸部图像FI的独立分量的加权时间序列A的微分值A’、A”来推定空间特征量的之后的变化率，因此可对被检测者P的之后的血压变化进行预测推定。即，由于能够精密地分析血压的变化率，因此可正确地预测该测量时间以后的血压的变化。
另外，在上述的例中，将第1加权时间序列一阶微分A1’与第2加权时间序列一阶微分A2’的平均值设为了加权时间序列一阶微分A’，但也可以将第1加权时间序列一阶微分A1’与第2加权时间序列一阶微分A2’中的任一个设为加权时间序列一阶微分A’。
[第3实施方式]
图7所示的第2实施方式的血压推定系统200具有脸部图像获取装置(脸部图像获取部)210、血压推定装置(血压推定部)220与学习装置(机器学习部)230。
脸部图像获取装置210是用于拍摄被检测者P的脸部图像FI的装置。脸部图像FI可以是脸部热图像FTI，也可以是脸部可视图像FVI。在脸部图像FI是脸部热图像FTI的情况下，使用红外线热像仪作为脸部图像获取装置210。在脸部图像FI是脸部可视图像FVI的情况下，使用可视图像拍摄装置作为脸部图像获取装置210。
血压推定装置220是通过将本发明的程序安装在通用的计算机来执行从而实现的。
血压推定装置220是基于由脸部图像获取装置210获取的脸部图像FI的空间特征量来推定被检测者P的血压的装置。
血压推定装置220具有判定用特征量存储部221、空间特征量提取部222、血压阶段判定部223与推定血压阶段输出部224。
判定用特征量存储部221是存储与由二阶段或三阶段构成的血压阶段相对应的判定用的空间特征量的功能模块。判定用的空间特征量是由学习装置230提取的空间特征量。
空间特征量提取部222是提取由脸部图像获取装置210获取的脸部图像FI的空间特征量的功能模块。
血压阶段判定部223是基于由空间特征量提取部222提取的空间特征量与判定用的空间特征量来判定被检测者P的血压阶段的功能模块。
推定血压阶段输出部224是将血压阶段判定部223的判定结果作为被检测者P的血压阶段的推定结果ES输出的功能模块。
学习装置230具有学习用数据存储部231、特征量提取部232与特征量学习部233。
学习用数据存储部231是存储与由二阶段或三阶段构成的血压阶段分别相对应地被赋予标签的多个学习用脸部图像的功能模块。
特征量提取部232是使用学习完毕的模型TM提取学习用脸部图像的空间特征量的功能模块。
特征量学习部233是如下功能模块：基于特征量提取部232的提取结果与对作为其提取对象的学习用脸部图像赋予的标签的关系来变更学习完毕的模型TM的网络参数，使得特征量提取部232的空间特征量的提取精度变高。学习完毕的模型TM将与由二阶段或三阶段构成的血压阶段分别相对应地被赋予标签的多个学习用脸部图像用于训练数据，通过对学习用脸部图像中所含的被检测者P的脸部图像的空间特征量进行机器学习而生成。
[动作]
接着，根据图8～图10的流程图说明如上所述地构成的血压推定系统200中的处理的流程。
血压推定系统200执行如图8及图9所示的脸部图像获取处理S3及血压推定处理S4、和如图10所示的学习处理S5。
脸部图像获取处理S3是获取被检测者P的脸部图像FI的处理。
血压推定处理S4是基于由脸部图像获取处理S3获取的脸部图像FI的空间特征量来推定被检测者P的血压的处理。
如图9所示，血压推定处理S4中包括判定用特征量存储处理S41、空间特征量提取处理S42、血压阶段判定处理S43与推定血压阶段输出处理S44。
判定用特征量存储处理S41是存储与由二阶段或三阶段构成的血压阶段相对应的判定用的空间特征量的处理。
空间特征量提取处理S42是提取由脸部图像获取处理S3获取的脸部图像FI的空间特征量的处理。
血压阶段判定处理S43是基于由空间特征量提取处理S42提取的空间特征量与判定用的空间特征量来判定被检测者P的血压阶段的处理。
推定血压阶段输出处理S44是将血压阶段判定处理S43的判定结果作为被检测者P的血压阶段的推定结果ES输出的处理。
如图10所示，学习处理S5中包括学习用数据存储处理S51、特征量提取处理S52与特征量学习处理S53。
学习用数据存储处理S51是存储与由二阶段或三阶段构成的血压阶段分别相对应地被赋予标签的多个学习用脸部图像的处理。
特征量提取处理S52是使用学习完毕的模型TM提取学习用脸部图像的空间特征量的处理。
特征量学习处理S53是基于特征量提取处理S52的提取结果与对作为其提取对象的学习用脸部图像赋予的标签的关系来变更学习完毕的模型TM的网络参数，使得特征量提取处理S52的空间特征量的提取精度变高的处理。
[作用、效果]
在如上所述地构成的第2实施方式的血压推定系统200中，被检测者P的脸部图像FI由脸部图像获取装置210拍摄。所拍摄的脸部图像FI被输入至血压推定装置220。血压推定装置220提取被输入的脸部图像FI的空间特征量，基于该提取出的空间特征量与判定用的空间特征量来判定被检测者P的血压阶段，将该判定结果作为被检测者P的血压阶段的推定结果ES输出。
根据该血压推定系统200，能够基于被检测者P的脸部图像FI的空间特征量，以非接触的方式瞬时推定该被检测者P的血压阶段。具体来说，通过仅拍摄一张被检测者P的脸部图像FI，即可瞬时且正确地推定该被检测者P的血压。
此外，第2实施方式的血压推定系统200将由学习装置230提取的空间特征量作为判定用的空间特征量使用。学习装置230存储与由二阶段或三阶段构成的血压阶段分别相对应地被赋予标签的多个学习用脸部图像，使用学习完毕的模型TM从学习用脸部图像提取被检测者的脸部图像FI的空间特征量，基于该提取结果与对作为提取对象的学习用脸部图像赋予的标签的关系，变更学习完毕的模型TM的网络参数，使得被检测者P的脸部图像FI的空间特征量的提取精度变高。随着学习完毕的模型TM的学习的推进，脸部图像FI的空间特征量的提取精度提高，存储在判定用特征量存储部121的空间特征量的精度也提高。
因此，根据该血压推定系统200，随着学习装置230中的学习完毕的模型TM的学习的推进，能够提高血压阶段的推定精度。
另外，本发明不限定于上述实施方式。例如，在上述第2实施方式中，血压推定系统200具备学习装置230，但也可省略学习装置230。在省略学习装置230的情况下，将由学习装置230以外的机构提取或生成的空间特征量存储在血压推定装置220的判定用特征量存储部221。
实施例
[第1实施方式的实施例]
1.实验的主旨
在日本，生活习惯病患者的增加已成为社会问题。生活习惯病是由于饮食不规律、暴饮暴食、缺乏运动等生活习惯引起的疾病，需要日常掌握自身的健康状况。作为其对策，有日常监视血压等生命体征的方案。生命体征是指“活着的证明”，主要表示血压、心率、呼吸、体温这4个指标。
生命体征经常被用作健康状况的指标，生命体征的日常监视有希望促进生活习惯病等疾病的早期发现。为了实现日常的生命体征监视，以无约束、无意识、非接触的方式进行测量是不可或缺的，且已经进行了大量的研究。在非接触血压测量的现有研究中，在利用红外线热成像照相机获取的鼻部皮肤温度与血压之间进行回归分析而进行了对血压推定模型的构建。
但是，已知不仅是鼻部皮肤温度等局部部位，在较广范围的脸部部位均与心理生理状况相关联。另一方面，提出有如下的方法：将独立分量分析(independent componentimage：以下简称为ICA)应用于脸部热图像(facial thermal image：以下简称为FTI)来提取特征量，由此明确独立分量与各生理心理指标的因果关系。因此，本研究的目的在于开发基于脸部热图像的独立分量的血压推定技术，将ICA应用于FTI，对提取出的独立分量与平均血压(Mean blood pressure：以下简称为MBP)进行多元回归分析，尝试进行与血压关联的特征量的提取、血压推定。
2.实验方法
<2.1>实验环境
被检测者为健康成人男性1名(22岁)，在24.5℃的无对流的屏蔽室中进行测量。预先对被检测者以口头及书面形式充分说明实验内容、目的、调查对象，通过签字确认其同意协助实验，在测量的15分钟前进入屏蔽室，使其适应室温。测量项目为通过FTI连续血压计进行MBP、心输出量(Cardiac output：CO)、总外周血管阻力(Total peripheral vascularresistance：PR)、心率(Heart rate：HR)的测量。将红外线热成像装置(TVS 200EX；AVIONICS公司制)配置在被检测者的前方1.2m的位置来进行FTI的测量。热图像尺寸为320×240像素(pixel)，温度分辨率为0.1℃。使脸部皮肤辐射率为ε＝0.98，以1Hz的采样频率记录热图像。连续血压计是在被检测者的左手中指第二关节处安装连续血压/血液动力学动态测量器(Finometer 2型，Finapress Medical Systems B.V公司制)的指套来进行测量，以采样频率1Hz记录于PC。
<2.2>测量方法
在图11示出实验方案。实验由60秒钟的安静(Rest：休息)及30秒钟的瓦尔萨尔瓦试验(Valsalva maneuve：以下简称为Valsalva)构成。进行3次Valsalva(Task：任务)，在其之前和之后设置休息。实验时间为330秒钟。另外，实验始终以闭眼状态进行。此外，连续血压计、FTI的测量从实验的开始直到结束进行。
3.解析方法
<3.1>从ICA记录的热图像中以a×b像素提取FTI区域，使得像图12那样，毛发及背景不会被拍摄到。然后，将利用1次实验提取出的330秒钟对应的FTI展开为一维FTI向量x(t)＝[x1、x2、…、xk](t＝1、2、…、330)(k＝1、2、…、a×b)，同样地将330秒钟对应的FTI向量储存为下述矩阵(1)。
[数1]
Figure BDA0002663263610000231
然后，将其作为观测信号x应用ICA。ICA在下述关系式(2)中，求出根据观测信号x推定独立分量矩阵S的混合矩阵A。
[数2]
X＝AS...................................................(2)
若将ICA应用于观测信号x，则独立分量矩阵S与混合矩阵A分别被推定为下述式。
[数3]
Figure BDA0002663263610000232
[数4]
Figure BDA0002663263610000233
此外，n为独立分量数。根据以上内容，独立分量矩阵S被推定为脸部皮肤温度的特征量(a×b)×n的矩阵，混合矩阵A被推定为各独立分量sn对观测信号x的贡献为n×t的矩阵。在下文中，将与各分量相对应的混合矩阵的分量an(t)称为加权时间序列。
在ICA中，假设观测分量数与独立分量数相等。通常实际独立分量数为未知的情况较多，不存在明确的独立分量数的情况较多。在此，使独立分量数为14。
<3.2>多元回归分析
将利用ICA得到的加权时间序列设为解释变量、将MBP设为目标变量并明确了与独立分量的因果关系。对于多元回归分析的变量选择，在通过逐步(stepwise)法优化模型后，对模型进行优化直到解释变量的P值达到0.05以下为止。为了确认有无多重共线性，在存在方差膨胀系数(VIF)为5.0以上的分量的情况下将其去除。此外，在去除该分量后，再次进行解释变量的优化。
4.实验结果及考察
在图13示出MBP、CO、TPR、HR从实验开始到结束为止的时间序列变化。此外，阴影部分表示Valsalva试验中的区间。其结果为，在Valsalva试验刚刚开始后，HR降低，从心脏搏出的血液的量也同样地减少，因此确认到CO减少、MBP变动及伴随交感神经系统活动亢进而TPR增加。Valsalva试验结束后，CO、TPR恢复到试验前的状态，MBP增加。从这些结果示出，Valsalva试验中的血压变动的机制与Valsalva结束后的血压变动的机制不同。
在图14示出将ICA应用于从实验开始到结束为止的FTI的观测信号而得到的独立分量、及与其相对应的加权时间序列。其结果为，如第8分量为两颊、第10分量为嘴唇那样，在脸部的各种部位出现特征量。另一方面，第7分量中在鼻孔出现特征量，该分量的加权时间序列在休息区间中重复急剧的变动。根据该结果可认为，第7分量是通过Valsalva试验产生的呼吸分量，已从多元回归分析的解释变量中去除。因此，使用利用ICA提取的平均血压与加权时间序列，进行了多元回归分析。
在表1示出MBP与通过加权时间序列的多元回归分析得到的偏回归系数。其结果为，在MBP与加权时间序列间认定有相关关系(R2＝0.58)。因此，为了确认对目标变量MBP的贡献率高的独立分量而计算出标准偏回归系数。将其结果示出在表2。据此，第13分量、第14分量的标准偏回归系数变高。其结果为，启示了出现在脸部整体和右眼右眉附近的特征量与血压有关联。
[表1]
Figure BDA0002663263610000251
[表2]
Figure BDA0002663263610000252
在图15示出通过多元回归分析得到的MBP推定值与测量值的结果。计算推定值与测量值的均方误差而得的结果为54.99mmHg。在Valsalva试验刚刚开始后及刚刚结束后的MBP急剧变动时，在推定值与测量值之间观察到较大的误差。可认为，通过提取与MBP的急剧变动有关联的特征量，血压推定的精度提高。
5.总结
在本实验中，目的在于开发基于脸部热图像的独立分量的血压推定技术，将ICA应用于FTI并对提取出的独立分量与MBP进行多元回归分析，尝试与血压有关联的特征量的提取、血压推定。其结果为，通过ICA提取的加权时间序列与MBP被认定为存在相关关系(R2＝0.58)，启示了出现在脸部整体、右眼右眉附近的特征量与血压有关联。
[第2实施方式的实施例]
1.实验的主旨
与第1实施方式的主旨相同。
2.实验方法
在实验中，实施了促进不同的血压变动机制的冷加压试验(cold pressor test：以下简称为CPT)及Valsalva。被实验者为，CPT为健康成人7名(男性：4名，女性：3名，21.4±0.5岁)、Valsalva为健康成人7名(男性：4名，女性：3名，1.6±0.5岁)。测量指标为，通过红外线热成像照相机(TVS-200EX；由AVIONICS公司制)进行FTI的测量，通过连续血压计(Finometer model2，Finapress Medical Systems B.V公司制)进行MBP的测量。另外，实验以就坐于椅子并始终闭眼状态实施，在CPT中，将被实验者的右手放入12℃的水中，在Valsalva中，使被实验者屏住呼吸。实验由安静闭眼60秒及血压变动试验30秒构成，重复实施3次。
此外，为了对导出的通用模型进行性能评价而进行了性能评价实验。被实验者为不参加Valsalva与CPT的实验的健康成人5名(男性：4名，女性：1名，23.0±3.5岁)，在实验室中进行。实验仅由30秒的安静闭眼构成，进行了FTI及MBP的测量。
3.解析方法
<3.1>个人模型导出
从测量的热图像中以a×b像素提取FTI区域，使得毛发及背景不会被拍摄到。对提取的各FTI以2×2像素进行马赛克处理后，为了去除身体活动分量而应用0.1Hz的低通滤波器。然后，将FTI展开为一维向量，将实验时间t秒的FTI向量储存于上述的式(1)所示的矩阵X。
在本实施例中，进行独立分量分析作为从混合信号中提取独立信号的方法。若使X为观测信号、A为对独立分量的贡献、S为独立分量，则独立分量分析能够以上述的式(2)表示。
在本实施例中，将X作为观测信号而应用于ICA。在图16中示出应用结果的一例，S被推定为FTI的特征量的矩阵，A被推定为各独立分量的观测信号与对X的贡献的矩阵。在下文中，将独立分量A称为加权时间序列。接着，对MBP与A的时间序列数据应用10秒钟的移动平均滤波器而进行了平滑化。另外，脸部皮肤温度根据皮肤血流的速度与力而变动。因此，为了考虑血流的速度与力，计算加权时间序列一阶微分A’及加权时间序列二阶微分A”，使解释变量为MBP，目标变量为A、A’及A”而导出血压推定个人模型。
<3.2>通用模型的导出
从导出的血压推定个人模型中提取与血压相关联的独立分量，使其汇总于矩阵。将该矩阵定义为SBP。
[数5]
Figure BDA0002663263610000261
SBP将像素数统一为c×d像素后，对每个图像进行正则化，使得最大值为1，最小值为0。接着，为了从汇总的矩阵中去除类似的独立分量，对每个图像应用相关分析，去除R＞0.6时的图像，计算出下述式(6)所示的加权时间序列Ae。
[数6]
Ae＝XS-1 (6)
根据加权时间序列Ae计算Ae’及Ae”，使解释变量为全部被检测者的MBP，使目标变量为Ae、Ae’及Ae”而导出血压推定模型，将该模型定义为通用模型。另外，在本研究中，汇总从CPT、Valsalva、CPT与Valsalva的混合试验(Hybrids)中提取的与血压相关联的独立分量，构筑3种类型的通用模型并进行了比较。
4.结果及考察
在图17示出从Valsalva与CPT的FTI推定出的血压推定个人模型的导出结果。横轴表示各任务，纵轴表示均方误差。从图17表明，在Valsalva与CPT中以几乎相同的精度推定了血压，能够通过本方法推定两个血压变动机制的MBP。接着，使用由个人模型提取的独立分量来导出Valsalva、CPT、混合试验的通用模型。对该通用模型使用未知数据进行性能评价。将其结果示出在图18。横轴表示通用模型的类型，纵轴表示平均误差，基线表示误差为0。如图18所示，Valsalva的血压被推定得较低，CPT的血压被推定得较高，而在混合试验中血压以最高精度、平均误差为1.26mmHg左右被推定。从上述内容表明，能够通过汇总与两个血压变动机制相关联的独立分量并导出通用模型来推定血压。
5.总结
在本实施例中，目的在于基于脸部皮肤温度独立分量推定血压，使用将ICA应用于FTI而提取出的独立分量来导出血压推定个人模型，汇总从个人模型中提取的与血压相关联的独立分量来导出血压推定通用模型。其结果为，通过使用本方法，能够与血压变动机制无关地导出个人模型，根据从两个血压变动机制的个人模型汇总的独立分量构建的通用模型的精度1.26mmHg是最高的。从上述内容表明，能够通过使用本实施例的方法来推定血压。
[第3实施方式的实施例]
1.实验的主旨
作为生活习惯病之一的高血压症是日本三大死亡原因中脑血管疾病及心血管疾病的危险因素。根据厚生劳动省2014年的患者调查，自2008年以来，高血压性循环系统疾病的估计患者总数呈增加倾向。在作为超龄化社会的现代，老年人的循环系统类疾病的重症化导致的老年人的生活机能下降等已成为问题，包括高血压症在内的生活习惯病的早期发现和重症化预防对策日益进展。
根据日本高血压学会的指南，血压以测量出的收缩压及舒张压为依据分为正常范围血压与高血压，高血压被细分为I级高血压、II级高血压及III级高血压这三阶段，以上的血压阶段作为高血压症的诊断基准被广泛利用。
进而，临床血压测量被用于高血压症的诊断基准或重症程度的判定，但由于在医疗机构的暂时紧张导致血压上升的白大衣高血压、在医疗机构为正常的血压值但居家时成为高血压的隐匿性高血压的存在成为问题。
对于高血压症的早期发现和重症化预防，在包括居家时在内的日常生活中对生命体征进行连续监测是不可或缺的。为了实现在日常生活中的对生命体征的连续监测，需要以低侵入性和无意识的方式感知生命体征的技术。近年来，逐渐创建了根据用智能手机的照相机拍摄的指尖容积脉搏波、由脸部可视图像提取的脉搏波分量来推定被拍摄者的心率的技术等低侵入性的生命体征感知技术。
我们旨在创建非接触的血压感知技术，在以非接触的方式测量出的鼻部皮肤温度与平均血压之间、以及从脸部可视图像中提取出的鼻部区域的脉搏波分量的振幅、相位与平均血压之间进行了相关分析。在现有研究中，将解析对象区域限定于鼻部，但通过将解析对象区域扩展到脸部整体，从脸部整体提取与血压相关联的特征，有希望使血压推定精度能够提高。进而，近年来，还进行了将深度学习算法应用于生物体信息的研究，通过将深度学习算法应用于脸部皮肤温度分布，对与睡眠阶段相关联的特征提取及睡眠阶段推定模型构建进行尝试。
若能够通过将深度学习算法应用于血压变动时的脸部皮肤温度分布，从而提取与血压相关联的特征并推定血压阶段，则有希望能够促进实现非接触的高血压症的诊断及日常生活中的对生命体征的连续监测。
在本实施例中，旨在利用非接触的感知技术实现对生命体征的连续监测，通过将深度学习算法应用于在使血压变动的状态下测量出的脸部皮肤温度分布，提取与血压相关联的特征，尝试以该特征为依据推定血压阶段的个人模型的构建。
2.基于冷负荷试验的血压变动实验
实施了冷负荷试验作为血压变动实验。在冷负荷试验中，利用红外线热成像照相机测量脸部皮肤温度分布的同时，利用连续血压计进行平均血压的测量。
<2.1>实验条件
被检测者为健康成人男性6名及女性1名(年龄：22.6±2.9岁)。实验在室温25±1℃、照度900-1000lux的办公室照明环境的实验室内进行。考虑昼夜节律的影响，实验在昼间进行。
<2.2>实验环境
实验环境构成如下：由供被检测者就坐的椅子、桌子、用于冷负荷试验的恒温水槽(NCB-2510，东京理化器械株式会社)、红外线热成像照相机(TV-200EX，日本AVIONICS株式会社)构成。桌子配置在被检测者的正面，在桌子的右边配置恒温水槽。由于冷负荷试验的对象部位是被检测者的右手，因此以使被检测者的右手腕被水槽中的水浸没的方式配置恒温水槽。此外，将用于擦拭被检测者的右手的毛巾配置在桌子上。将红外线热成像照相机配置在距离被检测者的脸部70cm的场所，使得能够测量被检测者的脸部皮肤温度分布。
<2.3>实验方法
为了使被检测者的脸部皮肤温度适应实验室的室温，使被检测者在实验开始的至少15分钟前进入实验室。进入实验室后，对被检测者进行实验概要的充分说明，得到参加实验的同意。得到参加实验的同意后，将连续血压计(Finometer model2，Finapres MedicalSystems)的血压测量用指套安装在被检测者的左手中指的第一关节与第二关节的中间部位。实验以安静闭眼2分钟及冷负荷试验1分钟为1组，在进行合计3组后，进行1分钟的安静闭眼而结束。实验中，使被检测者维持就坐状态。在冷负荷试验中，教导被检测者使其将右手的手腕浸没于水温保持在14℃的恒温水槽内的水中。在冷负荷试验结束后，教导被检测者使其将右手放置在桌子上的毛巾上。
以1fps测量了脸部皮肤温度分布。使含有脸部皮肤温度信息的脸部热图像的尺寸为纵240像素、横320像素，皮肤的热辐射率为0.98。另一方面，使连续血压计的采样频率为1Hz。关于由连续血压计测量的平均血压的时间序列数据，为了减小由于被检测者的身体活动引起的连续血压计的测量值的急剧变动的影响，将对连续血压计所输出的测量值应用每20秒的移动平均而得的数据作为平均血压的解析数据。
3.基于深度学习的血压阶段推定
在本实施例中，利用卷积神经网络(Convolutional Neural Network：CNN)将深度学习算法应用于通过血压变动实验测量出的脸部皮肤温度分布，从而尝试了用于血压阶段推定的个人模型的构建。CNN使用MATLAB(注册商标)2018a(MathWorks公司)来构建。
<3.1>血压阶段的定义
在此，将血压变动的时间序列的代表例示出在图19。其中，横轴为第1次的安静闭眼开始后的经过时间，纵轴为进行每20秒的移动平均后的平均血压。图中的任务为冷负荷试验区间，该图表明与安静闭眼区间的平均血压相比，冷负荷试验区间的平均血压较高。图19所示的被检测者G的平均血压的最低值为71.3mmHg，最高值为88.4mmHg。将全部被检测者的实验中的平均血压的最高值、最低值示出在表3。
[表3]
被检测者 A B C D E F G
最高值 117.8 120.3 93.9 107.5 111.8 98.9 88.4
最低值 95.8 87.4 74.7 80.9 92.8 80.3 71.3
在本实施例中，血压阶段被定义为将实验中的平均血压值分为低级(Low level)、高级(High level)的二阶段以及将其分为低级(Low level)、中级(Middle level)、高级(High level)的三阶段。在二阶段中，将实验中的平均血压低于平均血压的最低值与最高值的中间值的情况设为低级，将高于平均血压的最低值与最高值的中间值的情况设为高级。另一方面，在三阶段中，将实验中的平均血压的变动范围3等分，在3等分的范围中，将较低的范围设为低级，中等程度的范围设为中级，较高的范围设为高级。
<3.2>深度学习的输入数据生成
将在血压变动实验中测量的脸部皮肤温度分布作为CNN的输入数据。
通过含有脸部皮肤温度分布的信息的脸部热图像，生成将恒定的温度值设为阈值的二值化图像。利用该二值化图像确定脸部区域后，将其剪切为纵200像素、横200像素，从而生成仅包含脸部皮肤温度分布的信息的图像。以同时测量出的平均血压值为依据，将各皮肤温度分布分为各血压阶段。使各血压阶段中的脸部皮肤温度分布以脸部皮肤温度分布的中央相对于中心以-15～15℃随机旋转来进行数据扩展，其后通过抽稀以使各阶段中的输入数据数均等。
<3.3>虽然认为在CNN构成与超参数(hyper parameter)的最佳深度学习中，CNN的层数和滤波器尺寸等的超参数会较大地影响推定精度，但最佳超参数的选择及调整较为困难。近年来，网格搜索(Grid search)法和随机搜索(randomized search)法等自动调整超参数的方法被利用。在此，利用贝叶斯优化来进行超参数的优化。
CNN构成为：由输入层、卷积层、正则化层、池化层、全连接层及输出层构成。将各卷积层的滤波器尺寸设定为3、步长(stride)设定为1、填充尺寸(padding size)设定为1，使第n层中的卷积层的滤波器片数为32×2n1片。另一方面，使各池化层的尺寸为2、步长为2，池化方法为最大值池化。在各卷积层及池化层之间进行批量正则化后，应用正则化线性函数。使全连接层的元件数与各血压阶段相对应地为2及3，使激活函数为softmax函数。
贝叶斯优化分别应用于作为各被检测者的个人模型的CNN。利用贝叶斯优化而优化的超参数为卷积层数、初始学习率、动量及L2正则化强度。超参数的搜索范围为：使卷积层数为3～15，初始学习率为0.0001～0.05，动量为0.8～0.95，L2正则化强度为10-10～0.01。
在贝叶斯优化中，使各被检测者的脸部皮肤温度分布为输入数据，使全部输入数据的80％为训练数据，剩余的20％为测试数据。使上述输入数据在各自的超参数的CNN中进行学习，将作为输出的分类误差设为贝叶斯优化的目标函数。通过最小化目标函数来确定最佳超参数。贝叶斯优化的结果，各被检测者的最佳的CNN的构成是相同的(参照表4)。
[表4]
Figure BDA0002663263610000311
Figure BDA0002663263610000321
在表4中，Conv是卷积层，BatchNorm是批量正则化层，MaxPooling是最大化池化层，FC是全连接层，ReLU是正则化线性函数，Softmax是Softmax函数。此外，全连接层的尺寸在二阶段为2，在三阶段为3。进而，在表5及表6示出各被检测者的最佳超参数。超参数按照被检测者示出不同的值。
[表5]
被检测者 学习率 动量 L2正则化
A 1.07×10<sup>-5</sup> 0.801 4.17×10<sup>-3</sup>
B 2.65×10<sup>-4</sup> 0.908 9.09×10<sup>-3</sup>
C 1.00×10<sup>-4</sup> 0.837 3.85×10<sup>-4</sup>
D 1.08×10<sup>-4</sup> 0.841 2.87×10<sup>-4</sup>
E 1.02×10<sup>-5</sup> 0.900 1.06×10<sup>-10</sup>
F 1.20×10<sup>-4</sup> 0.896 2.46×10<sup>-7</sup>
G 4.36×10<sup>-4</sup> 0.801 1.22×10<sup>-9</sup>
[表6]
被检测者 学习率 动量 L2正则化
A 2.75×10<sup>-4</sup> 0.830 1.56×10<sup>-9</sup>
B 2.30×10<sup>-3</sup> 0.802 5.30×10<sup>-3</sup>
C 4.11×10<sup>-4</sup> 0.826 8.88×10<sup>-8</sup>
D 4.47×10<sup>-3</sup> 0.759 2.88×10<sup>-8</sup>
E 2.87×10<sup>-3</sup> 0.770 1.16×10<sup>-8</sup>
F 1.14×10<sup>-3</sup> 0.797 4.94×10<sup>-5</sup>
G 1.49×10<sup>-3</sup> 0.794 4.94×10<sup>-6</sup>
<3.4>脸部皮肤温度分布的深度学习
使各被检测者的脸部皮肤温度分布为输入数据，通过应用利用贝叶斯优化而优化的CNN，构建血压阶段推定的个人模型。
CNN的学习规则是误差反向传播法。在输入训练数据时的输出与作为血压阶段的目标变量的误差达到20％的时间点，学习结束。在进行学习时，使全部输入数据的80％为训练数据，剩余的20％为测试数据，进行5次交叉验证。在1次交叉验证中分别进行10次精度验证，使在各交叉验证中得到的正答率平均，由此获取最终的正答率。
4.结果及考察
<4.1>基于血压变动实验的平均血压的变动
在图20示出血压变动实验中的平均血压位移。横轴表示实验中的安静闭眼(R)及冷负荷试验(T)区间，纵轴表示以第1次的安静闭眼(R1)区间为基线时的平均血压位移。此外，图20中的制图点(plot)表示被检测者的平均值，误差线表示标准偏差。进而，威尔科克森(Wilcoxon)符号秩检验的结果表明，在所有的冷负荷试验(T1、T2、T3)区间及第4次的安静闭眼(R4)区间中的平均血压位移与基线相比均有意上升(＊：p＜0.05)。根据现有研究的结果示出，在冷负荷试验中，总外周血管阻力值上升，可认为在冷负荷试验中的平均血压的上升是由于总外周血管阻力的上升而引起的。
<4.2>血压阶段推定的正答率
在图21、图22示出在二阶段及三阶段的血压阶段推定中的混淆矩阵的代表例。混淆矩阵的纵轴为实际的阶段，横轴为推定的阶段。在图21示出在二阶段推定中正答率最高的被检测者A的混淆矩阵，在图22示出在二阶段推定中正答率最低的被检测者G的混淆矩阵。在被检测者A的二阶段推定中，示出了能够以高水准推定的结果，另一方面，在三阶段推定中，示出了特别难以在中级与低级之间进行分类的结果。另一方面，在被检测者G的二阶段推定中，结果为将高级时的皮肤温度分布推定为低级的样本较多，在三阶段推定中，结果为将低级时的皮肤温度分布推定为高级的样本特别多。在表7示出全部被检测者的血压阶段推定的正答率。关于全部被检测者的正答率，在二阶段推定中为80％以上的正答率，另一方面，在三阶段推定中为65～85％左右的正答率，与二阶段推定相比正答率变低。
[表7]
Figure BDA0002663263610000331
Figure BDA0002663263610000341
在此，在图23示出血压变动实验中的平均血压的最高值、最低值之差与血压阶段推定的正答率的散点图与回归直线。横轴为平均血压的最高值、最低值之差，纵轴为血压阶段推定的正答率。此外，图中的直线表示线性回归直线，R2表示回归系数。在二阶段推定及三阶段推定的结果中均确认到，若平均血压的最高值、最低值之差较小，则血压阶段推定的正答率呈降低的倾向，特别地在平均血压的最高值、最低值之差与三阶段推定的正答率之间确认到中等程度的相关性。在二阶段推定及三阶段推定中，正答率最低的被检测者G的平均血压的最高值、最低值之差为17.1mmHg，在全部被检测者之中为最低值。定义血压阶段时，由于将平均血压的最高值、最低值之差2等分或3等分，因此平均血压的最高值、最低值之差越小，则各阶段间的血压值之差也越小。可认为血压变动越小，则脸部皮肤温度分布变动也越小，因此平均血压的最高值、最低值之差为最低值的被检测者G的血压阶段推定的正答率变低。
<4.3>CNN内的特征图解析
在本实施例中，通过解析CNN的卷积层的滤波器中的特征图，提取脸部上的与血压相关联的特征，对各血压阶段的特征图进行比较。
在此刊登在二阶段推定中正答率最高的被检测者A与在二阶段推定中正答率最低的被检测者G的特征图。在图24示出被检测者A的卷积层第1层相对于在各血压阶段的脸部皮肤温度分布的输入的特征图，在图25示出卷积层第2层相对于在各血压阶段的脸部皮肤温度分布的输入的特征图，在图26示出卷积层第3层相对于在各血压阶段的脸部皮肤温度分布的输入的特征图。此外，在图27示出被检测者G的卷积层第1层相对于在各血压阶段的脸部皮肤温度分布的输入的特征图，在图28示出卷积层第2层相对于在各血压阶段的脸部皮肤温度分布的输入的特征图，在图29示出卷积层第3层相对于在各血压阶段的脸部皮肤温度分布的输入的特征图。其中，图24至图29示出在各卷积层的滤波器中的特征图之中激活为最大的特征图，特征图的颜色条的最大值表示同一层的全部特征图的激活的最大值，颜色条的最小值表示同一层的全部特征图的激活的最小值。
在被检测者A的血压阶段为中级时，在双眼、鼻梁、鼻翼、嘴唇上部的周围附近确认到激活(参照图26(b))。另一方面，在血压阶段为低级时，在左眼、鼻翼、嘴唇上部的周围附近确认到激活(参照图26(c))。在血压阶段为高级时，在中级及低级时被强烈激活的部位未确认到强烈的激活。
被检测者G在全部的血压阶段中，在眉毛、眼睛、鼻翼确认到激活(参照图29)。在血压阶段为高级及中级时，除眉毛、眼睛、鼻翼以外，还在嘴唇确认到激活，进而，在血压阶段为中级时，在右颊也确认到激活(参照图29(a)、(b))。
在表8示出全部被检测者的卷积层第3层相对于在各血压阶段的脸部皮肤温度分布的输入的特征图中确认到激活的脸部部位。示出了在各被检测者内，表现在脸部上的特征部位根据血压阶段而变化。进而，示出了在被检测者之间表现在脸部上的特征部位不同。作为在被检测者之间表现在脸部上的特征部位不同的主要原因，可认为是由于脸部的形状和脸部内的血管结构不同。教导了在深度学习中，通过捕捉根据血压阶段而表现部位不同的特征来实现血压阶段推定。进而，还教导了由于在被检测者之间表现在脸部上的特征部位不同，因此在血压阶段推定模型构建时还需要考虑个体性。
[表8]
Figure BDA0002663263610000351
Figure BDA0002663263610000361
皮肤温度取决于通过控制毛细血管前括约肌的收缩的交感神经系统活动而变动的皮肤血流量，但由于毛细血管前括约肌的松弛与收缩相比需要时间，因此存在滞后特性。可认为，皮肤温度由于滞后特性，与血压变动相比，皮肤温度变动的时机有可能延迟。可认为，为了实现更高精度的血压感知，需要考虑血压变动与皮肤温度变动之间的时间差。另一方面，由于脉搏波信息在血压变动时瞬时变动，因此将脉搏波传播时间等用作血压的指标。近年来，从脸部可视图像以非接触的方式获取脸部脉搏波分量的研究也日益进展。可认为通过皮肤温度分布与脸部脉搏波分量的并用、即并用温度信息与脉搏波信息，也促进更高精度的非接触的血压感知的实现。
5.总结
在本实验中，旨在利用非接触的感知技术实现对生命体征的连续监测，通过将深度学习算法应用于在使血压变动的状态下测量出的脸部皮肤温度分布，提取与血压相关联的特征，尝试以该特征为依据推定血压阶段的个人模型的构建。其结果为，在二阶段推定中为80％以上的正答率，在三阶段推定中为65～85％左右的正答率。进而，示出了在各被检测者内，表现在脸部上的特征部位根据血压阶段而变化、在被检测者之间表现在脸部上的特征部位不同。
工业实用性
本发明的血压推定系统能够以非接触的方式瞬时推定被检测者的血压，因此可以在用于推定被检测者的日常生活中的血压的机构、用于推定驾驶汽车中的驾驶员的血压的机构等的广泛的技术领域中利用。
附图标记说明
100 血压推定系统
110 脸部图像获取装置(脸部图像获取部)
120 血压推定装置(血压推定部)
121 相关数据存储部
122 空间特征量提取部
123 血压判定部
124 推定血压值输出部
150 血压推定系统
160 脸部图像获取装置(脸部图像获取部)
170 血压推定装置(血压推定部)
171 相关数据存储部
172 空间特征量提取部
172A 加权时间序列计算部
172B 加权时间序列微分计算部
173 血压判定部
174 推定血压值输出部
200 血压推定系统
210 脸部图像获取装置(脸部图像获取部)
220 血压推定装置(血压推定部)
221 判定用特征量存储部
222 空间特征量提取部
223 血压阶段判定部
224 推定血压阶段输出部
230 学习装置(机器学习部)
231 学习用数据存储部
232 特征量提取部
233 特征量学习部
CD 相关数据
EV 推定值
ES 推定结果
FI 脸部图像
FTI 脸部热图像
FVI 脸部可视图像
P 被检测者
TM 学习完毕的模型。

Claims (21)

1.一种血压推定系统，其特征在于，具有：
脸部图像获取部，在非接触状态下获取被检测者的脸部图像；
血压推定部，基于所述脸部图像的空间特征量来推定所述被检测者的血压。
2.如权利要求1所述的血压推定系统，其特征在于，
所述血压推定部具有：
相关数据存储部，存储示出脸部图像的独立分量的加权时间序列与血压的关系的相关数据；
空间特征量提取部，通过对由所述脸部图像获取部获取的脸部图像进行独立分量分析，从而提取该脸部图像的独立分量的加权时间序列作为所述空间特征量；
血压判定部，根据所述相关数据判定与由所述空间特征量提取部提取的加权时间序列相对应的血压的值；
推定血压值输出部，将所述血压判定部所判定的值作为所述被检测者的血压的推定值输出。
3.如权利要求1所述的血压推定系统，其特征在于，
所述血压推定部具有：
相关数据存储部，存储示出脸部图像的独立分量的加权时间序列及其微分值与血压的关系的相关数据；
加权时间序列计算部，通过对由所述脸部图像获取部获取的脸部图像进行独立分量分析，从而计算该脸部图像的独立分量的加权时间序列作为所述空间特征量；
加权时间序列微分计算部，计算由所述加权时间序列计算部计算出的加权时间序列的微分值；
血压判定部，根据所述相关数据，对与由所述加权时间序列计算部计算出的加权时间序列及由所述加权时间序列微分计算部计算出的加权时间序列的微分值相对应的血压的值进行判定；
推定血压值输出部，将所述血压判定部所判定的值作为所述被检测者的血压的推定值输出。
4.如权利要求3所述的血压推定系统，其特征在于，
所述加权时间序列的微分值包括所述加权时间序列的一阶微分及二阶微分，
所述加权时间序列微分计算部计算所述加权时间序列的一阶微分及二阶微分。
5.如权利要求2～4的任一项所述的血压推定系统，其特征在于，
所述脸部图像为脸部热图像或脸部可视图像。
6.如权利要求1所述的血压推定系统，其特征在于，
所述血压推定部具有：
判定用特征量存储部，存储与由二阶段或三阶段构成的血压阶段相对应的判定用的空间特征量；
空间特征量提取部，提取由所述脸部图像获取部获取的脸部图像的空间特征量；
血压阶段判定部，基于由所述空间特征量提取部提取的空间特征量与所述判定用的空间特征量，判定所述被检测者的血压阶段；
推定血压阶段输出部，将所述血压阶段判定部的判定结果作为所述被检测者的血压阶段的推定结果输出。
7.如权利要求6所述的血压推定系统，其特征在于，
存储于所述判定用特征量存储部的所述判定用的空间特征量是由机器学习部提取的空间特征量，
所述机器学习部具有：
学习用数据存储部，存储与由二阶段或三阶段构成的血压阶段分别相对应地被赋予标签的多个学习用脸部图像；
特征量提取部，使用学习完毕的模型提取所述学习用脸部图像的空间特征量；
特征量学习部，基于所述特征量提取部的提取结果与对作为其提取对象的所述学习用脸部图像赋予的标签的关系，变更所述学习完毕的模型的网络参数，使得所述特征量提取部的所述空间特征量的提取精度变高。
8.如权利要求7所述的血压推定系统，其特征在于，
所述脸部图像为脸部热图像或脸部可视图像。
9.一种学习装置，其特征在于，具有：
学习用数据存储部，存储与由二阶段或三阶段构成的血压阶段分别相对应地被赋予标签的多个学习用脸部图像；
特征量提取部，使用学习完毕的模型提取所述学习用脸部图像的空间特征量；
特征量学习部，基于所述特征量提取部的提取结果与对作为其提取对象的所述学习用脸部图像赋予的标签的关系，变更所述学习完毕的模型的网络参数，使得所述特征量提取部的所述空间特征量的提取精度变高。
10.一种血压推定方法，其特征在于，具有：
脸部图像获取步骤，获取被检测者的脸部图像；
血压推定步骤，基于所述脸部图像的空间特征量来推定所述被检测者的血压。
11.如权利要求10所述的血压推定方法，其特征在于，
所述血压推定步骤具有：
相关数据存储步骤，存储示出脸部图像的独立分量的加权时间序列与血压的关系的相关数据；
空间特征量提取步骤，通过对所述被检测者的脸部图像进行独立分量分析，从而提取该脸部图像的独立分量的加权时间序列作为所述空间特征量；
血压判定步骤，根据所述相关数据判定与由所述空间特征量提取步骤提取的加权时间序列相对应的血压的值；
推定血压值输出步骤，将所述血压判定步骤的判定结果作为所述被检测者的血压的推定值输出。
12.如权利要求10所述的血压推定方法，其特征在于，
所述血压推定步骤具有：
相关数据存储步骤，存储示出脸部图像的独立分量的加权时间序列及其微分值与血压的关系的相关数据；
加权时间序列计算步骤，通过对由所述脸部图像获取步骤获取的脸部图像进行独立分量分析，从而计算该脸部图像的独立分量的加权时间序列作为所述空间特征量；
加权时间序列微分计算步骤，计算由所述加权时间序列计算步骤计算出的加权时间序列的微分值；
血压判定步骤，根据所述相关数据对与由所述加权时间序列计算步骤计算出的加权时间序列及由所述加权时间序列微分计算步骤计算出的加权时间序列的微分值相对应的血压的值进行判定；
推定血压值输出步骤，将所述血压判定步骤所判定的值作为所述被检测者的血压的推定值输出。
13.如权利要求12所述的血压推定方法，其特征在于，
所述加权时间序列的微分值包括所述加权时间序列的一阶微分及二阶微分，
所述加权时间序列微分计算步骤是计算所述加权时间序列的一阶微分及二阶微分的步骤。
14.如权利要求10所述的血压推定方法，其特征在于，
所述血压推定步骤具有：
判定用特征量存储步骤，存储与由二阶段或三阶段构成的血压阶段相对应的判定用的空间特征量；
血压阶段判定步骤，基于所述被检测者的脸部图像的空间特征量与所述判定用的空间特征量，判定所述被检测者的血压阶段；
推定血压阶段输出步骤，将所述血压阶段判定步骤的判定结果作为所述被检测者的血压阶段的推定结果输出。
15.一种学习方法，其特征在于，具有：
学习用数据存储步骤，存储与由二阶段或三阶段构成的血压阶段分别相对应地被赋予标签的多个学习用脸部图像；
特征量提取步骤，使用学习完毕的模型提取所述学习用脸部图像的空间特征量；
特征量学习步骤，基于所述特征量提取步骤的提取结果与对作为其提取对象的所述学习用脸部图像赋予的标签的关系，变更所述学习完毕的模型的网络参数，使得所述特征量提取步骤的所述空间特征量的提取精度变高。
16.一种程序，是用于使计算机作为推定被检测者的血压的机构发挥功能的程序，其特征在于，具有：
相关数据存储步骤，存储示出脸部图像的独立分量的加权时间序列与血压的关系的相关数据；
脸部图像获取步骤，获取被检测者的脸部图像；
空间特征量提取步骤，通过对由所述脸部图像获取步骤获取的脸部图像进行独立分量分析，从而提取该脸部图像的独立分量的加权时间序列作为该脸部图像的空间特征量；
推定血压值输出步骤，根据所述相关数据求出与由所述空间特征量提取步骤提取出的加权时间序列相对应的血压的值，将该值作为所述被检测者的血压的推定值输出。
17.一种程序，是用于使计算机作为推定被检测者的血压的机构发挥功能的程序，其特征在于，具有：
相关数据存储步骤，存储示出脸部图像的独立分量的加权时间序列及其微分值与血压的关系的相关数据；
加权时间序列计算步骤，通过对由所述脸部图像获取步骤获取的脸部图像进行独立分量分析，从而计算该脸部图像的独立分量的加权时间序列作为所述空间特征量；
加权时间序列微分计算步骤，计算由所述加权时间序列计算步骤计算出的加权时间序列的微分值；
血压判定步骤，根据所述相关数据，对与由所述加权时间序列计算步骤计算出的加权时间序列及由所述加权时间序列微分计算步骤计算出的加权时间序列的微分值相对应的血压的值进行判定；
推定血压值输出步骤，将所述血压判定步骤所判定的值作为所述被检测者的血压的推定值输出。
18.如权利要求17所述的程序，其特征在于，
所述加权时间序列的微分值包括所述加权时间序列的一阶微分及二阶微分，
所述加权时间序列微分计算步骤是计算所述加权时间序列的一阶微分及二阶微分的步骤。
19.一种程序，是用于使计算机作为推定被检测者的血压的机构发挥功能的程序，其特征在于，具有：
判定用特征量存储步骤，存储与由二阶段或三阶段构成的血压阶段相对应的判定用的空间特征量；
脸部图像获取步骤，获取被检测者的脸部图像；
血压阶段判定步骤，基于由所述脸部图像获取步骤获取的脸部图像与所述判定用的空间特征量，判定所述被检测者的血压阶段；
推定血压阶段输出步骤，将所述血压阶段判定步骤的判定结果作为所述被检测者的血压阶段的推定结果输出。
20.如权利要求19所述的程序，其特征在于，具有：
学习用数据存储步骤，存储与由二阶段或三阶段构成的血压阶段分别相对应地被赋予标签的多个学习用脸部图像；
特征量提取步骤，使用学习完毕的模型从所述学习用脸部图像提取所述脸部图像的空间特征量；
学习步骤，基于所述特征量提取步骤的提取结果与对作为其提取对象的所述学习用脸部图像赋予的标签的关系，变更所述学习完毕的模型的网络参数，使得所述特征量提取步骤的所述空间特征量的提取精度变高，
所述判定用特征量存储步骤是存储由所述特征量提取步骤提取出的所述空间特征量的步骤。
21.一种程序，是用于使计算机作为用于推定被检测者的血压的学习装置发挥功能的程序，其特征在于，具有：
学习用数据存储步骤，存储与由二阶段或三阶段构成的血压阶段分别相对应地被赋予标签的多个学习用脸部图像；
特征量提取步骤，使用学习完毕的模型提取所述学习用脸部图像的空间特征量；
特征量学习步骤，基于所述特征量提取步骤的提取结果与对作为其提取对象的所述学习用脸部图像赋予的标签的关系，变更所述学习完毕的模型的网络参数，使得所述特征量提取步骤的所述空间特征量的提取精度变高。
CN202010911014.4A 2019-09-03 2020-09-02 血压推定系统、血压推定方法、学习装置、学习方法及程序 Pending CN112597789A (zh)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
JP2019160646 2019-09-03
JP2019-160646 2019-09-03
JP2020-129600 2020-07-30
JP2020129600A JP2021041142A (ja) 2019-09-03 2020-07-30 血圧推定システム、血圧推定方法、学習装置、学習方法及びプログラム

Publications (1)

Publication Number Publication Date
CN112597789A true CN112597789A (zh) 2021-04-02

Family

ID=74863368

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010911014.4A Pending CN112597789A (zh) 2019-09-03 2020-09-02 血压推定系统、血压推定方法、学习装置、学习方法及程序

Country Status (3)

Country Link
US (1) US20210113093A1 (zh)
JP (2) JP2021041142A (zh)
CN (1) CN112597789A (zh)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111914761A (zh) * 2020-08-04 2020-11-10 南京华图信息技术有限公司 一种热红外人脸识别的方法及系统
US11854250B2 (en) * 2020-09-16 2023-12-26 Fsx, Inc. Portable terminal and oshibori management system
CN115736863A (zh) * 2022-11-04 2023-03-07 北京小凡科技有限公司 基于计算机视觉和深度学习的非接触式血压检测系统
CN117100237B (zh) * 2023-10-18 2024-02-06 众保健康科技服务(济南)有限公司 一种居家养老用智能监测系统

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010187993A (ja) * 2009-02-19 2010-09-02 Denso Corp 血圧測定装置及びプログラム並びに記録媒体
CN105873503A (zh) * 2013-12-25 2016-08-17 旭化成株式会社 脉搏波测定装置、便携式设备、医疗设备系统以及生物体信息通信系统
CN106236049A (zh) * 2016-10-12 2016-12-21 南京工程学院 基于视频图像的血压测量方法
JP2018102731A (ja) * 2016-12-27 2018-07-05 花王株式会社 肌分析方法及び肌分析装置
CN110191675A (zh) * 2016-12-19 2019-08-30 纽洛斯公司 用于非接触式确定血压的系统和方法

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100474848B1 (ko) * 2002-07-19 2005-03-10 삼성전자주식회사 영상시각 정보를 결합하여 실시간으로 복수의 얼굴을검출하고 추적하는 얼굴 검출 및 추적 시스템 및 방법
US8360986B2 (en) * 2006-06-30 2013-01-29 University Of Louisville Research Foundation, Inc. Non-contact and passive measurement of arterial pulse through thermal IR imaging, and analysis of thermal IR imagery
JP6234136B2 (ja) * 2013-09-25 2017-11-22 シチズン時計株式会社 血圧計
JP6493680B2 (ja) * 2014-10-09 2019-04-03 パナソニックＩｐマネジメント株式会社 非接触血圧測定装置、及び、非接触血圧測定方法
KR20160107007A (ko) * 2015-03-03 2016-09-13 삼성전자주식회사 혈압 측정 장치 및 방법
JP6683367B2 (ja) * 2015-03-30 2020-04-22 国立大学法人東北大学 生体情報計測装置、生体情報計測方法及び生体情報計測プログラム
CN104720778B (zh) * 2015-04-09 2018-08-10 陶军 远程血压测量系统及其实现方法
JP6240134B2 (ja) * 2015-10-15 2017-11-29 ダイキン工業株式会社 皮膚状態推定装置およびその作動方法
US10667723B2 (en) * 2016-02-19 2020-06-02 Covidien Lp Systems and methods for video-based monitoring of vital signs
WO2018088358A1 (ja) * 2016-11-10 2018-05-17 シャープ株式会社 脈波検出装置、画像解析装置および生体情報生成システム

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010187993A (ja) * 2009-02-19 2010-09-02 Denso Corp 血圧測定装置及びプログラム並びに記録媒体
CN105873503A (zh) * 2013-12-25 2016-08-17 旭化成株式会社 脉搏波测定装置、便携式设备、医疗设备系统以及生物体信息通信系统
CN106236049A (zh) * 2016-10-12 2016-12-21 南京工程学院 基于视频图像的血压测量方法
CN110191675A (zh) * 2016-12-19 2019-08-30 纽洛斯公司 用于非接触式确定血压的系统和方法
JP2018102731A (ja) * 2016-12-27 2018-07-05 花王株式会社 肌分析方法及び肌分析装置

Also Published As

Publication number Publication date
US20210113093A1 (en) 2021-04-22
JP2022008806A (ja) 2022-01-14
JP2021041142A (ja) 2021-03-18

Similar Documents

Publication Publication Date Title
EP3554354B1 (en) System and method for contactless blood pressure determination
El-Hajj et al. Deep learning models for cuffless blood pressure monitoring from PPG signals using attention mechanism
CN112597789A (zh) 血压推定系统、血压推定方法、学习装置、学习方法及程序
CN108697386B (zh) 用于检测生理状态的系统和方法
US20210401332A1 (en) Self-monitoring and care assistant for achieving glycemic goals
JP2022008806A5 (zh)
US20150099987A1 (en) Heart rate variability evaluation for mental state analysis
EP3453321B1 (en) Non-invasive method and system for estimating blood pressure from photoplethysmogram using statistical post-processing
US20220151504A1 (en) Smart windowing to reduce power consumption of a head-mounted camera used for iPPG
KR101738278B1 (ko) 영상을 이용한 감정 인식 방법
CN111386068B (zh) 基于摄像机的压力测量系统与方法
Kumar et al. StressNet: detecting stress in thermal videos
Andreu-Cabedo et al. Mirror mirror on the wall… An intelligent multisensory mirror for well-being self-assessment
KR102243012B1 (ko) 피부 영상을 이용한 혈관탄성도와 부정맥 진단 방법
CN115024725A (zh) 融合心理状态多参数检测的肿瘤治疗辅助决策系统
JP7293506B2 (ja) 心血管パラメータを決定するための方法及びシステム
Nair et al. Illumination invariant non-invasive heart rate and blood pressure estimation from facial thermal images using deep learning
Raju et al. A Novel Technique for Continuous Blood Pressure Estimation from Optimal Feature Set of PPG Signal Using Deep Learning Approach
JP7489423B2 (ja) 血管弾性力指標の計算方法
Nakayama et al. Estimation of sleepiness using pupillary response and its frequency components
Fainzilberg Generalized approach to building computer’s tools of preventive medicine for home using
Ma Towards a Contactless Vital Sign System
Takahashi et al. Active state recognition of a person by the multimodal biological information estimated from facial image sequences
El Boussaki et al. Non-contact Respiratory Rate Monitoring Based on the Principal Component Analysis
Gribkov et al. Multilayer perceptron neural network for detecting singular points of photoplethysmogram

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
TA01 Transfer of patent application right

Effective date of registration: 20220321

Address after: Kanagawa County, Japan

Applicant after: Noguchi Akio

Address before: Tokyo, Japan

Applicant before: Toshiba Corp.

TA01 Transfer of patent application right