KR102569987B1 - 생체정보 추정 장치 및 방법 - Google Patents

생체정보 추정 장치 및 방법 Download PDF

Info

Publication number
KR102569987B1
KR102569987B1 KR1020210031320A KR20210031320A KR102569987B1 KR 102569987 B1 KR102569987 B1 KR 102569987B1 KR 1020210031320 A KR1020210031320 A KR 1020210031320A KR 20210031320 A KR20210031320 A KR 20210031320A KR 102569987 B1 KR102569987 B1 KR 102569987B1
Authority
KR
South Korea
Prior art keywords
input value
pulse wave
biometric information
signal
neural network
Prior art date
Application number
KR1020210031320A
Other languages
English (en)
Other versions
KR20220127406A (ko
Inventor
배상곤
장준혁
최진우
김연호
경제현
양준영
연인모
최정환
Original Assignee
삼성전자주식회사
한양대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사, 한양대학교 산학협력단 filed Critical 삼성전자주식회사
Priority to KR1020210031320A priority Critical patent/KR102569987B1/ko
Priority to US17/369,199 priority patent/US20220287571A1/en
Priority to CN202110825920.7A priority patent/CN115067896A/zh
Priority to EP21196633.8A priority patent/EP4056108A1/en
Publication of KR20220127406A publication Critical patent/KR20220127406A/ko
Application granted granted Critical
Publication of KR102569987B1 publication Critical patent/KR102569987B1/ko

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/02—Detecting, measuring or recording pulse, heart rate, blood pressure or blood flow; Combined pulse/heart-rate/blood pressure determination; Evaluating a cardiovascular condition not otherwise provided for, e.g. using combinations of techniques provided for in this group with electrocardiography or electroauscultation; Heart catheters for measuring blood pressure
    • A61B5/021—Measuring pressure in heart or blood vessels
    • A61B5/022—Measuring pressure in heart or blood vessels by applying pressure to close blood vessels, e.g. against the skin; Ophthalmodynamometers
    • A61B5/02225—Measuring pressure in heart or blood vessels by applying pressure to close blood vessels, e.g. against the skin; Ophthalmodynamometers using the oscillometric method
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/02—Detecting, measuring or recording pulse, heart rate, blood pressure or blood flow; Combined pulse/heart-rate/blood pressure determination; Evaluating a cardiovascular condition not otherwise provided for, e.g. using combinations of techniques provided for in this group with electrocardiography or electroauscultation; Heart catheters for measuring blood pressure
    • A61B5/021—Measuring pressure in heart or blood vessels
    • A61B5/02108—Measuring pressure in heart or blood vessels from analysis of pulse wave characteristics
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/02—Detecting, measuring or recording pulse, heart rate, blood pressure or blood flow; Combined pulse/heart-rate/blood pressure determination; Evaluating a cardiovascular condition not otherwise provided for, e.g. using combinations of techniques provided for in this group with electrocardiography or electroauscultation; Heart catheters for measuring blood pressure
    • A61B5/0205—Simultaneously evaluating both cardiovascular conditions and different types of body conditions, e.g. heart and respiratory condition
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/0002—Remote monitoring of patients using telemetry, e.g. transmission of vital signals via a communication network
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/02—Detecting, measuring or recording pulse, heart rate, blood pressure or blood flow; Combined pulse/heart-rate/blood pressure determination; Evaluating a cardiovascular condition not otherwise provided for, e.g. using combinations of techniques provided for in this group with electrocardiography or electroauscultation; Heart catheters for measuring blood pressure
    • A61B5/02007—Evaluating blood vessel condition, e.g. elasticity, compliance
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/02—Detecting, measuring or recording pulse, heart rate, blood pressure or blood flow; Combined pulse/heart-rate/blood pressure determination; Evaluating a cardiovascular condition not otherwise provided for, e.g. using combinations of techniques provided for in this group with electrocardiography or electroauscultation; Heart catheters for measuring blood pressure
    • A61B5/021—Measuring pressure in heart or blood vessels
    • A61B5/02108—Measuring pressure in heart or blood vessels from analysis of pulse wave characteristics
    • A61B5/02116—Measuring pressure in heart or blood vessels from analysis of pulse wave characteristics of pulse wave amplitude
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/02—Detecting, measuring or recording pulse, heart rate, blood pressure or blood flow; Combined pulse/heart-rate/blood pressure determination; Evaluating a cardiovascular condition not otherwise provided for, e.g. using combinations of techniques provided for in this group with electrocardiography or electroauscultation; Heart catheters for measuring blood pressure
    • A61B5/021—Measuring pressure in heart or blood vessels
    • A61B5/02108—Measuring pressure in heart or blood vessels from analysis of pulse wave characteristics
    • A61B5/02125—Measuring pressure in heart or blood vessels from analysis of pulse wave characteristics of pulse wave propagation time
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/02—Detecting, measuring or recording pulse, heart rate, blood pressure or blood flow; Combined pulse/heart-rate/blood pressure determination; Evaluating a cardiovascular condition not otherwise provided for, e.g. using combinations of techniques provided for in this group with electrocardiography or electroauscultation; Heart catheters for measuring blood pressure
    • A61B5/024—Detecting, measuring or recording pulse rate or heart rate
    • A61B5/02416—Detecting, measuring or recording pulse rate or heart rate using photoplethysmograph signals, e.g. generated by infrared radiation
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/02—Detecting, measuring or recording pulse, heart rate, blood pressure or blood flow; Combined pulse/heart-rate/blood pressure determination; Evaluating a cardiovascular condition not otherwise provided for, e.g. using combinations of techniques provided for in this group with electrocardiography or electroauscultation; Heart catheters for measuring blood pressure
    • A61B5/024—Detecting, measuring or recording pulse rate or heart rate
    • A61B5/02416—Detecting, measuring or recording pulse rate or heart rate using photoplethysmograph signals, e.g. generated by infrared radiation
    • A61B5/02427—Details of sensor
    • A61B5/02433—Details of sensor for infrared radiation
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/02—Detecting, measuring or recording pulse, heart rate, blood pressure or blood flow; Combined pulse/heart-rate/blood pressure determination; Evaluating a cardiovascular condition not otherwise provided for, e.g. using combinations of techniques provided for in this group with electrocardiography or electroauscultation; Heart catheters for measuring blood pressure
    • A61B5/024—Detecting, measuring or recording pulse rate or heart rate
    • A61B5/02438—Detecting, measuring or recording pulse rate or heart rate with portable devices, e.g. worn by the patient
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/44—Detecting, measuring or recording for evaluating the integumentary system, e.g. skin, hair or nails
    • A61B5/441—Skin evaluation, e.g. for skin disorder diagnosis
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/44—Detecting, measuring or recording for evaluating the integumentary system, e.g. skin, hair or nails
    • A61B5/441—Skin evaluation, e.g. for skin disorder diagnosis
    • A61B5/442—Evaluating skin mechanical properties, e.g. elasticity, hardness, texture, wrinkle assessment
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/68—Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient
    • A61B5/6801—Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient specially adapted to be attached to or worn on the body surface
    • A61B5/6802—Sensor mounted on worn items
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/68—Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient
    • A61B5/6801—Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient specially adapted to be attached to or worn on the body surface
    • A61B5/6802—Sensor mounted on worn items
    • A61B5/6803—Head-worn items, e.g. helmets, masks, headphones or goggles
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/68—Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient
    • A61B5/6801—Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient specially adapted to be attached to or worn on the body surface
    • A61B5/6802—Sensor mounted on worn items
    • A61B5/681—Wristwatch-type devices
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/68—Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient
    • A61B5/6801—Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient specially adapted to be attached to or worn on the body surface
    • A61B5/6813—Specially adapted to be attached to a specific body part
    • A61B5/6814—Head
    • A61B5/6815—Ear
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/68—Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient
    • A61B5/6801—Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient specially adapted to be attached to or worn on the body surface
    • A61B5/6843—Monitoring or controlling sensor contact pressure
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/68—Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient
    • A61B5/6887—Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient mounted on external non-worn devices, e.g. non-medical devices
    • A61B5/6898—Portable consumer electronic devices, e.g. music players, telephones, tablet computers
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7235—Details of waveform analysis
    • A61B5/7239—Details of waveform analysis using differentiation including higher order derivatives
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7235—Details of waveform analysis
    • A61B5/725—Details of waveform analysis using specific filters therefor, e.g. Kalman or adaptive filters
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7235—Details of waveform analysis
    • A61B5/7264—Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7235—Details of waveform analysis
    • A61B5/7264—Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems
    • A61B5/7267—Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems involving training the classification device
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7271—Specific aspects of physiological measurement analysis
    • A61B5/7275—Determining trends in physiological measurement data; Predicting development of a medical condition based on physiological measurements, e.g. determining a risk factor
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0464—Convolutional networks [CNN, ConvNet]
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B2562/00—Details of sensors; Constructional details of sensor housings or probes; Accessories for sensors
    • A61B2562/02—Details of sensors specially adapted for in-vivo measurements
    • A61B2562/0247—Pressure sensors

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Biomedical Technology (AREA)
  • General Health & Medical Sciences (AREA)
  • Biophysics (AREA)
  • Molecular Biology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Medical Informatics (AREA)
  • Pathology (AREA)
  • Surgery (AREA)
  • Animal Behavior & Ethology (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • Cardiology (AREA)
  • Physiology (AREA)
  • Artificial Intelligence (AREA)
  • Vascular Medicine (AREA)
  • Psychiatry (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Signal Processing (AREA)
  • Evolutionary Computation (AREA)
  • Mathematical Physics (AREA)
  • Theoretical Computer Science (AREA)
  • Fuzzy Systems (AREA)
  • Dermatology (AREA)
  • Multimedia (AREA)
  • Pulmonology (AREA)
  • Data Mining & Analysis (AREA)
  • Computational Linguistics (AREA)
  • Ophthalmology & Optometry (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Software Systems (AREA)
  • Otolaryngology (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Measuring Pulse, Heart Rate, Blood Pressure Or Blood Flow (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

생체정보 추정 장치가 개시된다. 일 실시예에 따르면 생체정보 추정 장치는 피검체로부터 맥파신호를 측정하는 맥파센서, 피검체와 맥파센서 사이에 작용하는 힘신호를 측정하는 힘센서, 및 맥파신호 및 힘신호를 기초로 제1 입력값, 제2 입력값 및 제3 입력값을 획득하고, 획득된 제1 입력값, 제2 입력값 및 제3 입력값을 제1 신경망 모델에 입력하여 특징 벡터를 추출하며, 추출된 특징 벡터를 제2 신경망 모델에 입력하여 생체정보를 획득하는 프로세서를 포함할 수 있다.

Description

생체정보 추정 장치 및 방법{APPARATUS AND METHOD FOR ESTIMATING BIO-INFORMATION}
비침습적으로 생체정보를 추정하는 장치 및 방법에 관한 것으로, 보다 구체적으로 딥러닝 기반의 추정 모델을 이용하여 생체정보를 추정하는 기술과 관련된다.
일반적으로 인체에 손상을 가하지 않고 비침습적(non-invasive)으로 혈압을 측정하는 방법으로서, 커프 기반의 압력 자체를 측정하여 혈압을 측정하는 방식과 커프 없이 맥파 측정을 통해 혈압을 추정하는 방식이 있다. 커프 기반의 혈압을 측정하는 방식으로는 상완(upper arm)에 커프(cuff)를 감고 커프 내 압력을 증가시켰다가 감소시키면서 청진기를 통해 혈관에서 발생하는 청음을 듣고 혈압을 측정하는 코로트코프 소리 방법(Korotkoff-sound method)과 자동화된 기계를 이용하는 방식으로 상완에 커프를 감고 커프 압력을 증가시킨 후 점차 커프 압력을 감소시키면서 커프 내 압력을 지속적으로 측정한 뒤 압력 신호의 변화가 큰 지점을 기준으로 혈압을 측정하는 오실로메트릭 방법(Oscillometric method)이 있다. 커프리스 혈압 측정 방법은 일반적으로 맥파전달시간(PTT, pulse transit time)을 계산하여 혈압을 추정하는 방식과, 맥파의 모양을 분석하여 혈압을 추정하는 PWA(Pulse Wave Analysis) 방식이 있다.
대한민국 공개특허공보 제10-2021-0014305호 (2021.02.09)
딥러닝을 기반으로 학습된 특징 추출 모델 및 생체정보 추정 모델을 이용하여 생체정보를 추정하는 장치 및 방법이 제시된다.
일 양상에 따르면, 생체정보 추정 장치는 피검체로부터 맥파신호를 측정하는 맥파센서, 피검체와 맥파센서 사이에 작용하는 힘신호를 측정하는 힘센서, 및 맥파신호 및 힘신호를 기초로 제1 입력값, 제2 입력값 및 제3 입력값을 획득하고, 획득된 제1 입력값, 제2 입력값 및 제3 입력값을 제1 신경망 모델에 입력하여 특징 벡터를 추출하며, 추출된 특징 벡터를 제2 신경망 모델에 입력하여 생체정보를 획득하는 프로세서를 포함할 수 있다.
이때, 제1 신경망 모델 및 제2 신경망 모델은 DNN(Deep Neural Network), CNN(Convolution Neural Network), 및 RNN(Recurrent Neural Network) 중의 적어도 하나를 기반으로 할 수 있다.
이때, 제1 신경망 모델은 병렬로 배치되어 제1 입력값, 제2 입력값 및 제3 입력값이 각각 입력되는 세 개의 신경망과, 세 개의 신경망의 출력들을 입력으로 하여 상기 특징 벡터를 출력하는 완전 연결 레이어(Fully connected layer)를 포함할 수 있다.
이때, 세 개의 신경망 각각은 컨볼루션 레이어(convolution layer), 배치 정규화(batch normalization), 활성화 함수(activation function) 및 맥스 풀링 레이어(max pooling layer)를 포함하는 제1 블록과, 컨볼루션 레이어, 배치 정규화, 활성화 함수, 컨볼루션 레이어, 배치 정규화, 스킵 연결(skip connection) 및 활성화 함수를 포함하는 제2 블록을 포함할 수 있다.
이때, 제2 신경망 모델은 특징 벡터를 입력으로 하는 제1 완전 연결 레이어 및 상기 제1 완전 연결 레이어의 출력을 입력으로 하여 생체정보를 출력하는 제2 완전 연결 레이어를 포함할 수 있다.
이때, 제2 신경망 모델은 나이, 성별, 키 및 몸무게 중의 적어도 하나를 포함하는 사용자 특성 정보를 기초로 추출된 추가 특징을 입력으로 하는 제3 완전 연결 레이어를 더 포함하고, 상기 제3 완전 연결 레이어의 출력은 상기 제2 완전 연결 레이어에 입력될 수 있다.
프로세서는 맥파신호로부터 1차 미분신호 및 2차 미분신호를 생성하고, 맥파신호, 1차 미분신호 및 2차 미분신호 중의 적어도 하나를 제1 입력값으로 획득할 수 있다.
프로세서는 힘신호를 이용하여 맥파신호 포락선, 1차 미분신호 포락선 및 2차 미분신호 포락선 중의 적어도 하나의 포락선을 생성하고, 생성된 포락선을 제2 입력값으로 획득할 수 있다.
프로세서는 힘신호를 제3 입력값으로 획득할 수 있다.
프로세서는 맥파신호 포락선에서 최대 진폭 지점에 해당하는 시간 지점을 포함한 기준점을 중심으로 소정 구간의 힘신호를 제3 입력값으로 획득할 수 있다.
프로세서는 맥파신호 및 힘신호를 밴드 패스 필터(band pass filter) 및 로우 패스 필터(low pass filter) 중의 적어도 하나를 이용하여 전처리할 수 있다.
프로세서는 사용자 특성 정보, 상기 맥파신호 및 힘신호 중의 적어도 하나를 기초로 추가 특징을 획득하고, 상기 특징 벡터 및 상기 획득된 추가 특징을 제2 신경망 모델에 입력하여 생체정보를 획득할 수 있다.
생체정보는 혈압, 혈관 나이, 동맥경화도, 대동맥압 파형, 혈관 탄성도, 스트레스 지수, 피로도, 피부 나이 및 피부 탄력도 중의 하나 이상을 포함할 수 있다.
프로세서는 복수의 맥파신호, 상기 복수의 맥파신호에 대응하는 복수의 힘신호를 학습데이터로 수집하고, 수집된 학습데이터를 이용하여 제1 입력값, 제2 입력값 및 제3 입력값을 획득하고, 획득된 제1 입력값, 제2 입력값 및 제3 입력값을 기초로 상기 제1 신경망 모델을 학습시키고, 상기 학습된 제1 신경망 모델에서 출력된 특징 벡터를 기초로 제2 신경망 모델을 학습시킬 수 있다.
또한, 생체정보 추정 장치는 외부 기기로부터 기준 생체정보를 학습데이터로 수신하는 통신부를 더 포함할 수 있다.
일 양상에 따르면, 생체정보 추정 방법은 피검체로부터 맥파신호 및, 피검체에 작용하는 힘신호를 측정하는 단계, 맥파신호를 기초로 제1 입력값을 획득하는 단계, 맥파신호 및 힘신호를 기초로 제2 입력값을 획득하는 단계, 힘신호를 기초로 제3 입력값을 획득하는 단계, 획득된 제1 입력값, 제2 입력값 및 제3 입력값을 제1 신경망 모델에 입력하여 특징 벡터를 추출하는 단계 및 추출된 특징 벡터를 제2 신경망 모델에 입력하여 생체정보를 획득하는 단계를 포함할 수 있다.
이때, 제1 신경망 모델은 병렬로 배치되어 제1 입력값, 제2 입력값 및 제3 입력값이 각각 입력되는 세 개의 신경망과, 세 개의 신경망의 출력들을 입력으로 특징 벡터를 출력하는 완전 연결 레이어(Fully connected layer)를 포함할 수 있다.
이때, 세 개의 신경망 각각은 컨볼루션 레이어(convolution layer), 배치 정규화(batch normalization), 활성화 함수(activation function) 및 맥스 풀링 레이어(max pooling layer)를 포함하는 제1 블록과, 컨볼루션 레이어, 배치 정규화, 활성화 함수, 컨볼루션 레이어, 배치 정규화, 스킵 연결(skip connection) 및 활성화 함수를 포함하는 제2 블록을 포함할 수 있다.
제2 신경망 모델은 특징 벡터를 입력으로 하는 제1 완전 연결 레이어 및 상기 제1 완전 연결 레이어의 출력을 입력으로 하여 생체정보를 출력하는 제2 완전 연결 레이어를 포함할 수 있다.
제2 신경망 모델은 사용자 특성 정보, 상기 맥파신호 및 힘신호 중의 적어도 하나를 기초로 추출된 추가 특징을 입력으로 하는 제3 완전 연결 레이어를 더 포함하고, 상기 제3 완전 연결 레이어의 출력은 상기 제2 완전 연결 레이어에 입력될 수 있다.
제1 입력값을 획득하는 단계는 맥파신호로부터 1차 미분신호 및 2차 미분신호를 생성하고, 상기 맥파신호, 1차 미분신호 및 2차 미분신호 중의 적어도 하나를 제1 입력값으로 획득할 수 있다.
제2 입력값을 획득하는 단계는 힘신호를 이용하여 맥파신호 포락선, 1차 미분신호 포락선 및 2차 미분신호 포락선 중의 적어도 하나의 포락선을 생성하고, 생성된 포락선을 제2 입력값으로 획득할 수 있다.
제3 입력값을 획득하는 단계는 힘신호를 제3 입력값으로 획득할 수 있다.
상기 제3 입력값을 획득하는 단계는 맥파신호 포락선에서 최대 진폭 지점에 해당하는 시간 지점을 포함한 기준점을 중심으로 소정 구간의 힘신호를 제3 입력값으로 획득할 수 있다.
또한, 생체정보 추정 방법은 사용자 특성 정보, 상기 맥파신호 및 힘신호 중의 적어도 하나를 기초로 추가 특징을 획득하는 단계를 더 포함하고, 생체정보를 획득하는 단계는 특징 벡터 및 상기 획득된 추가 특징을 제2 신경망 모델에 입력하여 생체정보를 획득할 수 있다.
본체, 본체에 배치된 생체정보 추정 장치와 상기 생체정보 추정 장치의 처리 결과를 출력하는 출력장치를 포함하고, 생체정보 추정 장치는 피검체로부터 맥파신호를 측정하는 맥파센서와, 피검체와 맥파센서 사이에 작용하는 힘신호를 측정하는 힘센서를 포함하는 센서장치, 및 맥파신호 및 힘신호를 기초로 제1 입력값, 제2 입력값 및 제3 입력값을 획득하고, 획득된 제1 입력값, 제2 입력값 및 제3 입력값을 제1 신경망 모델에 입력하여 특징 벡터를 추출하며, 추출된 특징 벡터를 제2 신경망 모델에 입력하여 생체정보를 획득하는 프로세서를 포함할 수 있다.
전자장치는 시계 타입 웨어러블 기기, 이어(Ear) 타입 웨어러블 기기, 및 모바일 기기 중의 적어도 하나를 포함할 수 있다.
딥러닝을 기반으로 학습된 특징 추출 모델 및 생체정보 추정 모델을 이용하여 생체정보를 추정할 수 있다.
도 1은 일 실시예에 따른 생체정보 추정 장치의 블록도이다.
도 2a 내지 도 2c는 도 1의 실시예에 따른 프로세서 구성의 실시예들을 설명하기 위한 도면이다.
도 2d는 맥파센서에 의해 획득된 맥파신호를 예시한 도면이다.
도 2e는 힘센서에 의해 획득된 힘신호를 예시한 도면이다.
도 2f는 맥파신호 및 힘신호를 이용하여 획득한 오실로메트리 포락선을 예시한 도면이다.
도 3은 다른 실시예에 따른 생체정보 추정 장치의 블록도이다.
도 4는 도 3의 실시예에 따른 프로세서 구성의 일 실시예이다.
도 5는 일 실시예에 따른 생체정보 추정 방법의 흐름도이다.
도 6은 다른 실시예에 따른 생체정보 추정 방법의 흐름도이다.
도 7은 생체정보 추정 장치를 포함한 전자장치의 일 실시예를 도시한 블록도이다.
도 8은 도 7의 전자장치의 시계형 실시예를 도시한 도면이다.
도 9는 도 7의 전자장치의 모바일형 실시예를 도시한 도면이다.
도 10은 도 7의 전자장치의 이어(Ear) 웨어러블형 실시예를 도시한 도면이다.
기타 실시예들의 구체적인 사항들은 상세한 설명 및 도면들에 포함되어 있다. 기재된 기술의 이점 및 특징, 그리고 그것들을 달성하는 방법은 도면과 함께 상세하게 후술되어 있는 실시예들을 참조하면 명확해질 것이다. 명세서 전체에 걸쳐 동일 참조 부호는 동일 구성 요소를 지칭한다.
제1, 제2 등의 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 구성요소들은 용어들에 의해 한정되어서는 안 된다. 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 또한 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있는 것을 의미한다. 또한, 명세서에 기재된 "…부", "모듈" 등의 용어는 적어도 하나의 기능이나 동작을 처리하는 단위를 의미하며, 이는 하드웨어 또는 소프트웨어로 구현되거나 하드웨어와 소프트웨어의 결합으로 구현될 수 있다.
이하, 생체정보 추정 장치 및 방법의 실시예들을 도면들을 참고하여 자세히 설명하도록 한다.
도 1은 일 실시예에 따른 생체정보 추정 장치의 블록도이다.
도 1을 참조하면 생체정보 추정 장치(100)는 맥파센서(110), 힘센서(120) 및 프로세서(130)를 포함한다.
맥파센서(110)는 피검체의 접촉시 광전용적 맥파(photoplethysmography, PPG)를 포함한 맥파신호를 측정할 수 있다. 피검체는 맥파센서가 접촉하여 맥파를 용이하게 측정할 수 있는 인체 부위일 수 있다. 예를 들어, 인체 내의 혈관 밀도가 높은 부위인 손가락일 수 있으나, 이에 제한되는 것은 아니며 요골 동맥과 인접한 손목 표면의 영역으로 모세혈이나 정맥혈이 지나가는 손목 상부, 발가락 등 인체의 말초 부위일 수도 있다.
맥파센서(110)는 피검체에 광을 조사하는 하나 이상의 광원과, 광원으로부터 소정 거리 떨어져 배치되며 피검체로부터 산란 또는 반사된 광을 검출하는 하나 이상의 디텍터를 포함할 수 있다. 하나 이상의 광원은 서로 다른 파장의 광을 조사할 수 있다. 예컨대, 적외(infrared) 파장, 녹색(green) 파장, 청색(blue) 파장, 적색(red) 파장, 백색(white) 파장 등을 포함할 수 있다. 광원은 LED(light emitting diode), 레이저 다이오드(laser diode) 및 형광체 등을 포함할 수 있으나 이에 한정되지 않는다. 또한, 디텍터는 포토다이오드(photodiode), 포토다이오드 어레이 및 CMOS(complementary metal-oxide semiconductor) 이미지 센서, CCD(charge-coupled device) 이미지 센서 등을 포함할 수 있다.
힘센서(110)는 피검체가 맥파센서(110)에 접촉한 상태에서 맥파 진폭의 변화를 유도하기 위해 누르는 힘을 점차 증가시키거나 감소시킬 때의 힘신호를 측정할 수 있다. 힘센서(110)는 스트레인 게이지(strain gauge) 등으로 형성된 하나의 힘센서로 형성되거나, 힘센서의 어레이로 형성될 수 있다. 다만, 이에 제한되지 않으며 힘센서(110) 대신에 압력센서, 공기주머니(air bladder) 형태의 압력센서, 힘센서와 면적센서가 결합된 압력센서 등으로 형성될 수도 있다.
프로세서(130)는 맥파센서(110)에 의해 측정된 맥파신호 및 힘센서(120)에 의해 측정된 접촉힘을 기초로 생체정보를 추정할 수 있다. 이때, 생체정보는 혈압, 혈관 나이, 동맥경화도, 대동맥압 파형, 혈관 탄성도, 스트레스 지수, 피로도, 피부 나이 및 피부 탄력도 등을 포함하며 이에 제한되지는 않는다. 이하, 설명의 편의를 위해 필요에 따라 혈압을 예로 들어 설명하나 혈압에 한정되는 것은 아니다.
도 2a 내지 도 2c는 도 1의 실시예에 따른 프로세서 구성의 실시예들을 설명하기 위한 도면이다. 도 2d는 맥파센서에 의해 획득된 맥파신호를 예시한 도면이다. 도 2e는 힘센서에 의해 획득된 힘신호를 예시한 도면이다. 도 2f는 맥파신호 및 힘신호를 이용하여 획득한 오실로메트리 포락선을 예시한 도면이다.
도 2a 및 도 2b를 참조하면, 실시예들에 따른 프로세서(200a, 200b)는 전처리부(210) 및 추정부(220)를 포함할 수 있다.
전처리부(210)는 맥파센서(110) 및/또는 힘센서(120)로부터 수신된 맥파신호 및/또는 힘신호를 밴드 패스 필터(band pass filter) 및/또는 로우 패스 필터(low pass filter) 등을 이용하여 전처리할 수 있다. 예컨대, 맥파신호를 컷오프 주파수 1-10Hz를 갖는 밴드 패스 필터링을 수행할 수 있다.
또한, 전처리부(210)는 맥파신호 및/또는 힘신호를 이용하여 추정부(220)에 입력될 입력값들을 획득할 수 있다.
예를 들어, 전처리부(210)는 맥파신호를 이용하여 제1 입력값을 획득할 수 있다. 예컨대, 맥파신호를 1차 및/또는 2차 미분하여 1차 미분신호 및/또는 2차 미분신호를 생성하고, 맥파신호, 1차 미분신호 및/또는 2차 미분신호를 제1 입력값으로 획득할 수 있다. 이때, 맥파신호, 1차 미분신호 및/또는 2차 미분신호에서 소정 시간 구간의 신호를 제1 입력값으로 획득할 수도 있다. 이때, 소정 시간 구간은 맥파신호의 진폭이 최대인 지점의 시간을 중심으로 미리 정의될 수 있다.
또한, 전처리부(210)는 맥파신호, 1차 미분신호 및/또는 2차 미분신호와 힘신호를 이용하여 맥파신호 포락선, 1차 미분신호 포락선 및/또는 2차 미분신호 포락선을 생성하고, 생성된 맥파신호 포락선, 1차 미분신호 포락선 및/또는 2차 미분신호 포락선을 제2 입력값으로 획득할 수 있다. 이때, 맥파신호 포락선, 1차 미분신호 포락선 및/또는 2차 미분신호 포락선에서 소정 시간 구간의 신호를 제2 입력값으로 획득할 수도 있다. 이때, 소정 시간 구간은 맥파신호의 진폭이 최대인 지점의 시간을 중심으로 미리 정의될 수 있다.
도 2d 내지 도 2f를 참조하여 포락선을 획득하는 일 예를 설명하면, 전처리부(210)는 예컨대 각 측정 시점에서 맥파신호 파형 엔벨로프(in1) 의 플러스 지점의 진폭값(in2)에서 마이너스 지점의 진폭값(in3)을 빼서 피크-투-피크(peak-to-peak) 지점을 추출할 수 있다. 또한, 피크-투-피크 지점의 진폭을 대응하는 시점의 접촉압력값을 기준으로 플롯(plot)하고, 예컨대 폴리노미얼 커브 피팅(polynomial curve fitting)을 수행하여 맥파신호 포락선(OW)을 획득할 수 있다. 마찬가지로, 1차 미분신호와 힘신호 및/또는 2차 미분신호와 힘신호를 이용하여 1차 미분신호 포락선 및/또는 2차 미분신호 포락선을 획득할 수 있다.
또한, 전처리부(210)는 힘신호를 이용하여 제3 입력값을 획득할 수 있다. 예를 들어, 전체 구간의 힘신호를 제3 입력값으로 결정할 수 있다. 또는 도 2e에 도시된 바와 같이 기준점(TP)을 중심으로 소정 구간(T1~T2) 예컨대, 전후 2.5초씩 총 5초 구간의 힘신호를 제3 입력값으로 결정할 수도 있다. 이때, 기준점(TP)은 도 2f에 도시된 맥파신호 포락선에서 진폭이 최대인 지점(MP)에 대응하는 시간 지점일 수 있다. 다만, 이에 제한되지 않으며 피검체에 의해 가해진 힘의 구간이 미리 정의될 수 있으며 이때, 그 힘의 구간은 사용자별로 다르게 정의될 수 있다.
다시 도 2a 및 도 2b를 참조하면, 추정부(220)는 제1 신경망 모델(221) 및 제2 신경망 모델(222)을 포함할 수 있다. 제1 신경망 모델(221) 및 제2 신경망 모델(222)은 DNN(Deep Neural Network), CNN(Co0nvolution Neural Network), 또는 RNN(Recurrent Neural Network) 등을 기반으로 학습된 신경망 모델일 수 있다. 이때, 제1 신경망 모델(221)은 전처리부(210)에 의해 획득된 입력값들을 입력으로 하여 혈압 관련 특징 벡터 및/또는 혈압 추정값을 출력하도록 학습된 신경망 모델이고, 제2 신경망 모델(222)은 제1 신경망 모델(221)의 특징 벡터 및/또는 그 밖의 추가 특징을 입력으로 하여 혈압 추정값을 출력하도록 학습된 신경망 모델일 수 있다.
제1 신경망 모델(221)은 세 개의 신경망(2211a,2211b,2211c)과 하나 이상의 완전 연결 레이어(2212,2213)를 포함할 수 있다. 각 신경망(2211a,2211b,2211c)은 도시된 바와 같이 병렬로 배치되어 전처리부(210)에 의해 획득된 제1 입력값(IP1), 제2 입력값(IP2) 및 제3 입력값(IP3)이 각각 입력될 수 있다.
도 2c를 참조하면, 각 신경망(2211a,2211b,2211c)은 레지듀얼 신경망(Residual Neural Network) 기반의 신경망일 수 있다. 각 신경망(2211a,2211b,2211c)은 도시된 바와 같이 제1 블록(BL1), 제2 블록(BL2) 및 그 이후에 평균 풀링 레이어(Average Pooling)로 구성될 수 있다. 제1 블록(BL1)은 컨볼루션 레이어(Conv), 배치 정규화(BN), 활성화 함수(ReLU) 및 맥스 풀링 레이어(MaxPooling)를 포함할 수 있다. 제2 블록(BL2)은 하나 이상의 서브 블록(BL21,BL22,BL23)으로 구성될 수 있다. 각 서브 블록(BL21,BL22,BL23)은 컨볼루션 레이어(Conv), 배치 정규화(BN), 활성화 함수(ReLU), 컨볼루션 레이어(Conv), 배치 정규화(BN), 스킵 연결(SC) 및 활성화 함수(ReLU)를 포함할 수 있다. 이때, 서브 블록의 개수는 도시된 바와 같이 세 개일 수 있으나 이에 제한되지 않는다.
다시 도 2a 및 도 2b를 참조하면, 제1 완전 연결 레이어(2212)는 각 신경망(2211a,2211b,2211c)에 연결되어 각 신경망(2211a,2211b,2211c)의 출력들을 평탄화하여 혈압 관련 특징 벡터(LF)로 변환하여 출력할 수 있다. 제2 완전 연결 레이어(2213)는 제1 완전 연결 레이어(2212)에서 출력된 특징 벡터(LF)를 입력으로 제1 혈압값(BI1)을 출력할 수 있다. 또한, 제1 완전 연결 레이어(2212) 이후에 시그모이드 함수(미도시)가 더 배치될 수 있다.
도 2a를 참조하면, 제2 신경망 모델(222)은 하나 이상의 완전 연결 레이어(2221,2222)를 포함할 수 있다. 제1 신경망 모델(221)에서 출력된 혈압 관련 특징 벡터(LF)는 제2 신경망 모델(222)의 제1 완전 연결 레이어(2221)에 입력되고,제1 완전 연결 레이어(2221)의 출력은 제2 완전 연결 레이어(2222)에 입력되어 제2 혈압값(BI2)으로 변환될 수 있다. 이때, 제1 완전 연결 레이어(2221) 이후에 ELU 함수 및/또는 MaxOut 함수가 더 배치될 수 있다.
도 2b를 참조하면, 제2 신경망 모델(222)은 제3 완전 연결 레이어(2223)를 더 포함할 수 있다. 제3 완전 연결 레이어(2223)는 그 밖의 다양한 방식으로 획득한 혈압 관련 추가 특징(HF)을 입력값으로 할 수 있다. 예를 들어, 추가 특징(HF)은 사용자로부터 입력된 나이, 성별, 키 및 몸무게 등의 사용자 특성 정보를 포함할 수 있다. 또한, 추가 특징(HF)은 전처리부(210)가 맥파신호, 1차 미분신호, 2차 미분신호, 및/또는 힘신호를 이용하여 추출한 추가 정보를 포함할 수 있으며, 예컨대, 각 신호의 최대 진폭 지점의 진폭/시간, 극소점/극대점의 진폭/시간, 변곡점의 진폭/시간, 또는 각 신호 파형의 전체/부분 면적, 최대 진폭 지점에 해당하는 접촉힘, 최대 진폭 지점의 소정 비율에 해당하는 접촉힘, 또는 이러한 정보들을 적절히 조합한 값을 포함할 수 있다.
일반적으로 신경망의 레이어가 깊어질수록 신경망을 학습할 때 기울기 소실(gradient vanishing) 문제가 발생할 수 있는데, 본 실시예들에 따르면 스킵 연결을 활용한 레지듀얼 신경망을 이용하여 레이어를 깊이 쌓아 맥파신호, 힘신호 등을 이용하여 복잡한 연산 과정을 통해 혈압을 추정하도록 학습시킬 수 있다. 또한, 맥파신호 및/또는 힘신호를 통해 획득한 다양한 입력값들을 제1 신경망 모델(221)의 신경망(2221a,2221b,2221c)에 병렬로 입력함으로써 혈압과 그 다양한 입력값들 간의 개별적 특성을 고려해 줄 수 있고, 이를 통해 혈압 추정의 정확성을 향상시킬 수 있다.
추정부(220)는 제2 신경망 모델(222)에서 출력된 제2 혈압값(BI2)을 최종 혈압 추정값으로 출력할 수 있다. 또는, 추정부(220)는 제1 혈압값(BI1)과 제2 혈압값(BI2)을 선형/비선형 결합하여 그 결과를 최종 혈압 추정값으로 출력할 수도 있다.
도 3은 다른 실시예에 따른 생체정보 추정 장치의 블록도이다.
도 2를 참조하면 생체정보 추정 장치(300)는 맥파센서(110), 힘센서(120), 프로세서(130), 저장부(310), 출력부(320) 및 통신부(230)를 포함할 수 있다. 맥파센서(110), 힘센서(120) 및 프로세서(130)는 앞에서 자세히 설명하였으므로, 이하, 중복되지 않은 내용을 위주로 설명한다.
저장부(310)는 생체정보 추정과 관련된 정보를 저장할 수 있다. 예를 들어, 맥파센서(110), 힘센서(120) 및 프로세서(130)에 의해 처리된 맥파신호, 접촉힘, 생체정보 추정값, 특징 벡터, 추가 특징 등의 데이터를 저장할 수 있다. 또한, 제1 신경망 모델, 제2 신경망 모델, 사용자 특성 정보 등을 저장할 수 있다. 저장부(310)는 플래시 메모리 타입(flash memory type), 하드디스크 타입(hard disk type), 멀티미디어 카드 마이크로 타입(multimedia card micro type), 카드 타입의 메모리(예를 들어, SD 또는 XD 메모리 등), 램(Random Access Memory: RAM) SRAM(Static Random Access Memory), 롬(Read-Only Memory: ROM), EEPROM(Electrically Erasable Programmable Read-Only Memory), PROM(Programmable Read-Only Memory), 자기 메모리, 자기 디스크, 광디스크 등의 저장매체를 포함하며, 이에 제한되는 것은 아니다.
출력부(320)는 프로세서(130)의 처리 결과를 사용자에게 제공할 수 있다. 예를 들어, 출력부(320)는 디스플레이에 생체정보 추정값을 표시할 수 있다. 이때, 생체정보 추정값이 정상 범위를 벗어나면 사용자가 쉽게 인식할 수 있도록 색깔이나 선의 굵기 등을 조절하거나 정상 범위를 함께 표시함으로써 사용자에게 경고 정보를 제공할 수 있다. 또한, 출력부(320)는 스피커 등의 음향 출력 모듈이나 햅틱 모듈 등을 이용하여 음성, 진동, 촉감 등의 비시각적인 방식으로 사용자에게 생체정보 관련 정보를 제공할 수 있다.
통신부(330)는 외부 기기와 통신하여 생체정보 추정과 관련된 각종 데이터를 송수신할 수 있다. 외부 기기는 스마트폰, 태블릿 PC, 데스크탑 PC, 노트북 PC 등의 정보 처리 장치를 포함할 수 있다. 통신부(330)는 블루투스(Bluetooth) 통신, BLE(Bluetooth Low Energy) 통신, 근거리 무선 통신(Near Field Communication, NFC), WLAN 통신, 지그비(Zigbee) 통신, 적외선(Infrared Data Association, IrDA) 통신, WFD(Wi-Fi Direct) 통신, UWB(ultra-wideband) 통신, Ant+ 통신, WIFI 통신, RFID(Radio Frequency Identification) 통신, 3G 통신, 4G 통신 및 5G 통신 등을 포함하는 다양한 유무선 통신 기술을 이용하여 외부 기기와 통신할 수 있다. 다만, 이에 한정되는 것은 아니다.
도 4는 도 3의 실시예에 따른 프로세서(130)의 일 실시예를 도시한 블록도이다.
도 4를 참조하면, 일 실시예의 프로세서(400)는 전처리부(210), 추정부(220) 및 학습부(410)를 포함할 수 있다. 전처리부(210) 및 추정부(220)는 도 2a 및 도 2b를 참조하여 자세히 설명한 바 있으므로 이하 생략한다.
학습부(410)는 학습 데이터(LD)를 수집하고, 수집된 학습 데이터(LD)를 이용하여 제1 신경망 모델(221) 및 제2 신경망 모델(222)를 학습시킬 수 있다.
학습부(410)는 맥파센서(110) 및 힘센서(120)를 제어하여 특정 사용자 또는 복수의 사용자들로부터 맥파신호 및 힘신호를 획득하고, 획득된 신호들을 학습데이터(LD)로 수집할 수 있다. 또한, 학습부(410)는 사용자가 사용자 특성 정보, 기준 혈압 등을 입력할 수 있도록 디스플레이에 인터페이스를 출력할 수 있으며, 그 인터페이스를 통해 사용자로부터 입력된 데이터를 학습 데이터로 수집할 수 있다. 또한, 학습부(410)는 통신부(330)를 제어하여 스마트폰, 웨어러블 기기, 커프 혈압계 등의 외부 기기로부터 사용자들의 맥파신호, 힘신호 및/또는 기준 혈압 등을 수신할 수 있다.
학습부(410)는 복수의 맥파신호 및 힘신호를 이용하여 전술한 바와 같이 제1 입력값, 제2 입력값 및 제3 입력값을 획득하고, 획득된 입력값들을 제1 신경망 모델(221)의 입력 데이터로, 이에 대응하는 기준 혈압을 정답 데이터로 하여 제1 신경망 모델(221)을 학습시킬 수 있다. 이때, 제1 신경망 모델(221)은 마지막 완전 연결 레이어(도 2a, 2b의 2213)의 이전 단계에서 혈압 관련 특징 벡터를 출력하도록 학습된다. 이와 같이 학습된 제1 신경망 모델(221)으로부터 출력되는 특징 벡터는 혈압과 상관도가 높은 특징이 될 수 있다. 학습부(410)는 이와 같이 제1 신경망 모델(221)의 출력인 특징 벡터 및/또는 추가 특징을 제2 신경망 모델(222)의 입력 데이터로, 기준 혈압을 정답 데이터로 하여 제2 신경망 모델(222)을 학습시킬 수 있다.
학습부(410)는 사용자의 입력, 또는 미리 정의된 주기에, 또는 혈압 추정 결과를 분석하여 신경망 모델(221,222)의 학습 시점을 판단하고, 학습이 필요하다고 판단된 시점에 신경망 모델(221,222)의 학습을 수행할 수 있다.
또한, 학습부(410)는 학습이 완료된 신경망 모델(221,222)을 통신부(330)를 통해 그 신경망 모델(221,222)을 이용하여 혈압을 추정하는 외부 기기들에 전송할 수 있다.
본 실시예에서는, 이와 같이 특징 벡터를 출력하는 제1 신경망 모델(221)과 그 특징 벡터를 이용하여 혈압 추정값을 출력하는 제2 신경망 모델(222)로 구성된 하이브리드 신경망 모델을 학습하고, 하이브리드 신경망 모델을 이용하여 혈압을 추정함으로써 정확도를 향상시킬 수 있다.
도 5는 일 실시예에 따른 생체정보 추정 방법의 흐름도이다.
도 5는 생체정보 추정 장치(100,300)에 의해 수행되는 생체정보 추정 방법의 일 실시예이다. 앞에서 자세히 설명하였으므로 이하 간단하게 기술한다.
먼저, 피검체가 맥파센서에 접촉하면 맥파센서를 통해 피검체로부터 맥파신호를 측정하고(511), 힘센서를 통해 피검체와 맥파센서 사이의 힘신호를 측정할 수 있다(512).
그 다음, 맥파신호를 기초로 제1 입력값을 획득할 수 있다(513). 예를 들어, 맥파신호, 1차 미분신호 및/또는 2차 미분신호를 제1 입력값으로 획득할 수 있다. 이때, 그 신호들의 전체 구간 또는 미리 정의된 일부 구간의 파형을 제1 입력값으로 결정할 수 있다.
또한, 맥파신호 및 힘신호를 기초로 제2 입력값을 획득할 수 있다(514). 예를 들어, 맥파신호, 1차 미분신호 및/또는 2차 미분신호와 힘신호를 이용하여 맥파신호 포락선, 1차 미분신호 포락선 및/또는 2차 미분신호 포락선을 생성하고, 생성된 맥파신호 포락선, 1차 미분신호 포락선 및/또는 2차 미분신호 포락선을 제2 입력값으로 획득할 수 있다.
또한, 힘신호를 기초로 제3 입력값을 획득할 수 있다(515). 예를 들어, 전체 구간 또는, 소정 기준점 예컨대, 맥파신호 포락선에서 최대 진폭 지점에 대응하는 시간 지점을 기준으로 일정 구간의 힘신호를 제3 입력값으로 획득할 수 있다.
그 다음, 제1 입력값, 제2 입력값 및 제3 입력값을 제1 신경망 모델에 입력하여 특징 벡터를 획득할 수 있다(516). 이때, 제1 신경망 모델은 제1 입력값, 제2 입력값 및 제3 입력값이 병렬로 입력되어 혈압 관련 특징 벡터를 출력하도록 학습될 수 있다.
그 다음, 단계(516)에서 제1 신경망 모델로부터 출력된 특징 벡터를 제2 신경망 모델에 입력하여 생체정보 추정값을 출력할 수 있다(517).
도 6은 다른 실시예에 따른 생체정보 추정 방법의 흐름도이다.
도 6은 전술한 생체정보 추정 장치(100,300)에 의해 수행되는 생체정보 추정 방법의 일 실시예이다. 앞에서 자세히 설명하였으므로 이하 간단하게 기술한다.
먼저, 피검체가 맥파센서에 접촉하면 피검체로부터 맥파신호 및 힘신호를 측정할 수 있다(611,612).
그 다음, 맥파신호 및/또는 힘신호를 기초로 제1 입력값, 제2 입력값 및 제3 입력값을 획득할 수 있다(613,614,615).
그 다음, 제1 입력값, 제2 입력값 및 제3 입력값을 제1 신경망 모델에 입력하여 특징 벡터를 추출할 수 있다(616).
또한, 사용자 특성 정보, 및/또는 단계(611,612)에서 획득된 맥파신호 및/또는 힘신호를 기초로 추가 특징을 추출할 수 있다(617). 예를 들어, 추가 특징(HF)은 사용자로부터 입력된 나이, 성별, 키 및 몸무게 등의 사용자 특성 정보, 맥파신호, 1차 미분신호, 2차 미분신호, 및/또는 힘신호를 이용하여 추출한 예컨대, 각 신호의 최대 진폭 지점의 진폭/시간, 극소점/극대점의 진폭/시간, 또는 각 신호 파형의 전체/부분 면적, 최대 진폭 지점에 해당하는 접촉힘, 최대 진폭 지점의 소정 비율에 해당하는 접촉힘, 또는 이러한 정보들을 적절히 조합한 값을 포함할 수 있다.
마지막으로, 단계(616,617)에서 획득된 특징 벡터 및 추가 특징을 제2 신경망 모델에 입력하여 생체정보 추정값을 출력할 수 있다(618).
도 7은 생체정보 추정 장치(100,300)를 포함한 전자장치의 블록도이다.
본 실시예의 전자장치는 예컨대, 스마트 워치, 스마트 밴드, 스마트 안경, 스마트 이어폰, 스마트 링, 스마트 패치, 스마트 목걸이 타입의 웨어러블 기기, 및 스마트폰, 태블릿 PC 등의 모바일기기, 또는 가전 기기나 사물인터넷(Internet of Things)을 기반으로 하는 다양한 IoT 기기(예: 홈 IoT 기기 등)일 수 있다.
도 7을 참조하면, 전자장치(700)는 센서장치(710), 프로세서(720), 입력장치(730), 통신모듈(740), 카메라모듈(750), 출력장치(760), 저장장치(770), 및 전력모듈(780)을 포함할 수 있다. 전자장치(700)의 구성들은 특정 기기에 일체로 탑재되거나, 둘 이상의 기기에 분산 탑재될 수 있다.
센서장치(710)는 전술한 생체정보 추정 장치(100,300)의 맥파센서 및 힘센서를 포함할 수 있다. 맥파센서는 하나 이상의 광원과 디텍터를 포함하고, 피검체가 접촉할 때 맥파신호를 획득할 수 있다. 힘센서는 맥파센서의 상단 또는 하단에 배치되며, 피검체와 맥파센서 사이에 작용하는 접촉힘을 측정할 수 있다. 센서장치(710)는 그 밖에 다양한 기능을 수행하기 위한 센서, 예컨대 자이로센서, GPS(Global Positioning System) 등을 포함할 수 있다.
프로세서(720)는 저장장치(770)에 저장된 프로그램 등을 실행하여 프로세서(720)에 연결된 구성요소들을 제어할 수 있으며, 다양한 데이터 처리 또는 연산을 수행할 수 있다. 프로세서(720)는 중앙 처리 장치 및 어플리케이션 프로세서 등과 같은 메인 프로세서 및, 이와 독립적으로 또는 함께 운영 가능한 보조 프로세서 예컨대, 그래픽 처리 장치, 이미지 시그널 프로세서, 센서 허브 프로세서, 커뮤니케이션 프로세서 등을 포함할 수 있다.
프로세서(720)는 사용자의 생체정보 추정 요청에 따라 센서장치(710)에 제어신호를 전달할 수 있으며, 센서장치(710)로부터 수신된 맥파신호 및 힘신호를 이용하여 생체정보를 추정할 수 있다. 프로세서(720)는 생체정보 추정을 위한 하이브리드 신경망 모델을 학습시킬 수 있으며, 통신모듈(740)을 이용하여 외부 기기에 전송할 수 있다.
입력장치(730)는 전자장치(700)의 각 구성요소에서 사용될 명령 및/또는 데이터를 사용자 등으로부터 수신할 수 있다. 입력장치(730)는 마이크, 마우스, 키보드, 및/또는 디지털 펜(스타일러스 펜 등)을 포함할 수 있다.
통신모듈(740)은 전자장치(700)와 네트워크 환경 내에 있는 다른 전자장치나 서버 또는 센서장치(710) 사이의 직접(유선) 통신 채널 및/또는 무선 통신 채널의 수립, 및 수립된 통신 채널을 통한 통신 수행을 지원할 수 있다. 통신모듈(740)은 프로세서(720)와 독립적으로 운영되고, 직접 통신 및/또는 무선 통신을 지원하는 하나 이상의 커뮤니케이션 프로세서를 포함할 수 있다. 통신장치(720)는 예컨대 셀룰러 통신 모듈, 근거리 무선 통신 모듈, GNSS(Global Navigation Satellite System 등) 통신 모듈 등의 무선 통신 모듈, 및/또는 예컨대 LAN(Local Area Network) 통신 모듈, 전력선 통신 모듈 등의 유선 통신 모듈을 포함할 수 있다. 이와 같이 다양한 종류의 통신 모듈들은 단일 칩 등으로 통합되거나, 서로 별도의 복수 칩으로 구현될 수 있다. 무선 통신 모듈은 가입자 식별 모듈에 저장된 가입자 정보(예: 국제 모바일 가입자 식별자(IMSI) 등)를 이용하여 통신 네트워크 내에서 전자 장치(700)를 확인 및 인증할 수 있다.
카메라모듈(750)은 정지영상 및 동영상을 촬영할 수 있다. 카메라모듈(750)은 하나 이상의 렌즈를 포함하는 렌즈 어셈블리, 이미지센서들, 이미지 시그널 프로세서들, 및/또는 플래시들을 포함할 수 있다. 카메라모듈(750)에 포함된 렌즈 어셈블리는 이미지 촬영의 대상인 피사체로부터 방출되는 빛을 수집할 수 있다.
출력장치(760)은 전자장치(700)에 의해 생성되거나 처리된 데이터를 시각적/비시각적인 방식으로 출력할 수 있다. 출력장치(760)는 음향 출력 장치, 표시 장치, 오디오 모듈 및/또는 햅틱 모듈을 포함할 수 있다.
음향 출력 장치는 음향 신호를 전자장치(700)의 외부로 출력할 수 있다. 음향 출력 장치는 스피커 및/또는 리시버를 포함할 수 있다. 스피커는 멀티미디어 재생 또는 녹음 재생과 같이 일반적인 용도로 사용될 수 있고, 리시버는 착신 전화를 수신하기 위해 사용될 수 있다. 리시버는 스피커의 일부로 결합되어 있거나 또는 독립된 별도의 장치로 구현될 수 있다.
표시 장치는 전자장치(700)의 외부로 정보를 시각적으로 제공할 수 있다. 표시 장치는 디스플레이, 홀로그램 장치, 또는 프로젝터 및 해당 장치를 제어하기 위한 제어 회로를 포함할 수 있다. 표시 장치는 터치를 감지하도록 설정된 터치 회로(Touch Circuitry) 및/또는 터치에 의해 발생되는 힘의 세기를 측정하도록 설정된 센서 회로(압력 센서 등)를 포함할 수 있다.
오디오 모듈은 소리를 전기 신호로 변환시키거나, 반대로 전기 신호를 소리로 변환시킬 수 있다. 오디오 모듈은 입력 장치를 통해 소리를 획득하거나, 음향 출력 장치 및/또는 전자 장치(700)와 직접 또는 무선으로 연결된 다른 전자 장치의 스피커 및/또는 헤드폰을 통해 소리를 출력할 수 있다.
햅틱 모듈은 전기적 신호를 사용자가 촉각 또는 운동 감각을 통해서 인지할 수 있는 기계적인 자극(진동, 움직임 등) 또는 전기적인 자극으로 변환할 수 있다. 햅틱 모듈은, 모터, 압전 소자, 및/또는 전기 자극 장치를 포함할 수 있다.
저장장치(770)는 센서장치(710)의 구동을 위해 필요한 구동 조건 및, 그 밖의 전자장치(700)의 구성요소들이 필요로 하는 다양한 데이터 예컨대, 소프트웨어 및 이와 관련된 명령에 대한 입력 데이터 및/또는 출력 데이터 등을 저장할 수 있다. 저장장치(770)는 휘발성 메모리 및/또는 비휘발성 메모리를 포함할 수 있다.
전력모듈(780)은 전자장치(700)에 공급되는 전력을 관리할 수 있다. 전력 관리 모듈은 PMIC(Power Management Integrated Circuit)의 일부로서 구현될 수 있다. 전력모듈(780)은 배터리를 포함할 수 있으며, 배터리는 재충전 불가능한 1차 전지, 재충전 가능한 2차 전지 및/또는 연료 전지를 포함할 수 있다.
도 8 내지 도 9는 도 7의 전자 장치의 구조들을 예시적으로 나타낸 도면들이다.
도 8을 참조하면 전자장치(700)는 시계 타입의 웨어러블 장치(800)로 구현될 수 있으며 본체와 손목 스트랩을 포함할 수 있다. 본체의 전면에는 디스플레이가 마련되어, 시간 정보, 수신 메시지 정보 등을 포함하는 다양한 어플리케이션 화면이 표시될 수 있다. 본체의 후면에는 센서장치(810)가 배치되어, 생체정보 추정을 위한 맥파신호 및 힘신호를 측정할 수 있다.
도 9를 참조하면 전자장치(700)는 스마트 폰(Smart Phone)과 같은 모바일 장치(900)로 구현될 수 있다.
모바일 장치(900)는 하우징 및 디스플레이 패널을 포함할 수 있다. 하우징은 모바일 장치(900)의 외관을 형성할 수 있다. 하우징의 제1 면에는 디스플레이 패널 및 커버 글래스(Cover Glass)가 차례로 배치될 수 있고, 디스플레이 패널은 커버 글래스를 통해 외부로 노출될 수 있다. 하우징의 제2 면에는 센서 장치(910), 카메라 모듈, 및/또는 적외선 센서 등이 배치될 수 있다. 사용자가 모바일 장치(900)에 탑재된 어플리케이션 등을 실행하여 생체정보 추정을 요청하는 경우 센서장치(910)를 이용하여 생체정보를 추정하고 사용자에게 생체정보 추정값을 영상 및/또는 음향으로 제공할 수 있다.
도 10을 참조하면 전자장치(700)는 이어(Ear) 웨어러블 장치(1000)로도 구현될 수 있다.
이어(Ear) 웨어러블 장치(1500)는 본체와 이어 스트랩(Ear Strap)을 포함할 수 있다. 사용자는 이어 스트랩을 귓바퀴에 걸어 착용할 수 있다. 이어 스트랩은 이어 웨어러블 장치(1000)의 형태에 따라 생략이 가능하다. 본체는 사용자의 외이도(External Auditory Meatus)에 삽입될 수 있다. 본체에는 센서장치(1010)가 탑재될 수 있다. 이어 웨어러블 장치(1000)는 성분 추정 결과를 사용자에게 음향으로 제공하거나, 본체 내부에 마련된 통신 모듈을 통해 외부 기기 예컨대, 모바일, 테블릿, PC 등으로 전송할 수 있다.
한편, 본 실시 예들은 컴퓨터로 읽을 수 있는 기록 매체에 컴퓨터가 읽을 수 있는 코드로 구현하는 것이 가능하다. 컴퓨터가 읽을 수 있는 기록 매체는 컴퓨터 시스템에 의하여 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록 장치를 포함한다.
컴퓨터가 읽을 수 있는 기록 매체의 예로는 ROM, RAM, CD-ROM, 자기 테이프, 플로피디스크, 광 데이터 저장장치 등이 있으며, 또한 캐리어 웨이브(예를 들어 인터넷을 통한 전송)의 형태로 구현하는 것을 포함한다. 또한, 컴퓨터가 읽을 수 있는 기록 매체는 네트워크로 연결된 컴퓨터 시스템에 분산되어, 분산 방식으로 컴퓨터가 읽을 수 있는 코드가 저장되고 실행될 수 있다. 그리고 본 실시예들을 구현하기 위한 기능적인(functional) 프로그램, 코드 및 코드 세그먼트들은 본 발명이 속하는 기술 분야의 프로그래머들에 의하여 용이하게 추론될 수 있다.
본 개시가 속하는 기술분야의 통상의 지식을 가진 자는 개시된 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 실시될 수 있다는 것을 이해할 수 있을 것이다. 그러므로 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며 한정적이 아닌 것으로 이해해야만 한다.
100,300: 생체정보 추정 장치
110: 맥파센서 120: 힘센서
130: 프로세서 210: 전처리부
220: 추정부 310: 저장부
320: 출력부 330: 통신부
410: 학습부 700: 전자장치
710: 센서장치 720: 프로세서
730: 입력장치 740: 통신모듈
750: 카메라모듈 760: 출력장치
770: 저장장치 780: 전력모듈

Claims (27)

  1. 피검체로부터 맥파신호를 측정하는 맥파센서;
    피검체와 맥파센서 사이에 작용하는 힘신호를 측정하는 힘센서; 및
    상기 맥파신호 및 힘신호를 기초로 제1 입력값, 제2 입력값 및 제3 입력값을 획득하고, 획득된 제1 입력값, 제2 입력값 및 제3 입력값을 제1 신경망 모델에 병렬로 입력하여 특징 벡터를 추출하며, 추출된 특징 벡터를 제2 신경망 모델에 입력하여 생체정보를 획득하는 프로세서를 포함하고,
    상기 프로세서는
    상기 맥파신호로부터 1차 미분신호 및 2차 미분신호를 생성하고, 상기 맥파신호, 1차 미분신호 및 2차 미분신호 중의 적어도 하나를 상기 제1 입력값으로 획득하고,
    상기 힘신호를 이용하여 맥파신호 포락선, 1차 미분신호 포락선 및 2차 미분신호 포락선 중의 적어도 하나의 포락선을 생성하고, 생성된 포락선을 상기 제2 입력값으로 획득하며,
    상기 맥파신호 및 상기 힘신호를 기초로 상기 제3 입력값을 획득하는 생체정보 추정 장치.
  2. 제1항에 있어서,
    상기 제1 신경망 모델 및 제2 신경망 모델은
    DNN(Deep Neural Network), CNN(Convolution Neural Network), 및 RNN(Recurrent Neural Network) 중의 적어도 하나를 기반으로 하는 생체정보 추정 장치.
  3. 제1항에 있어서,
    상기 제1 신경망 모델은
    병렬로 배치되어 상기 제1 입력값, 제2 입력값 및 제3 입력값이 각각 입력되는 세 개의 신경망과, 상기 세 개의 신경망의 출력들을 입력으로 하여 상기 특징 벡터를 출력하는 완전 연결 레이어(Fully connected layer)를 포함하는 생체정보 추정 장치.
  4. 제3항에 있어서,
    상기 세 개의 신경망 각각은
    컨볼루션 레이어(convolution layer), 배치 정규화(batch normalization), 활성화 함수(activation function) 및 풀링 레이어(pooling layer)를 포함하는 제1 블록과, 컨볼루션 레이어, 배치 정규화, 활성화 함수, 컨볼루션 레이어, 배치 정규화, 스킵 연결(skip connection) 및 활성화 함수를 포함하는 제2 블록을 포함하는 생체정보 추정 장치.
  5. 제1항에 있어서,
    상기 제2 신경망 모델은
    상기 특징 벡터를 입력으로 하는 제1 완전 연결 레이어 및 상기 제1 완전 연결 레이어의 출력을 입력으로 하여 생체정보를 출력하는 제2 완전 연결 레이어를 포함하는 생체정보 추정 장치.
  6. 제5항에 있어서,
    상기 제2 신경망 모델은
    사용자 특성 정보, 상기 맥파신호 및 힘신호 중의 적어도 하나를 기초로 추출된 추가 특징을 입력으로 하는 제3 완전 연결 레이어를 더 포함하고, 상기 제3 완전 연결 레이어의 출력은 상기 제2 완전 연결 레이어에 입력되는 생체정보 추정 장치.
  7. 삭제
  8. 삭제
  9. 삭제
  10. 제1항에 있어서,
    상기 프로세서는
    상기 맥파신호 포락선에서 최대 진폭 지점의 시간 지점을 포함한 기준점을 중심으로 소정 구간의 힘신호를 제3 입력값으로 획득하는 생체정보 추정 장치.
  11. 제1항에 있어서,
    상기 프로세서는
    상기 맥파신호 및 힘신호를 밴드 패스 필터(band pass filter) 및 로우 패스 필터(low pass filter) 중의 적어도 하나를 이용하여 전처리하는 생체정보 추정 장치.
  12. 제1항에 있어서,
    상기 프로세서는
    사용자 특성 정보, 상기 맥파신호 및 힘신호 중의 적어도 하나를 기초로 추가 특징을 획득하고, 상기 특징 벡터 및 상기 획득된 추가 특징을 제2 신경망 모델에 입력하여 생체정보를 획득하는 생체정보 추정 장치.
  13. 제1항에 있어서,
    상기 생체정보는
    혈압, 혈관 나이, 동맥경화도, 대동맥압 파형, 혈관 탄성도, 스트레스 지수, 피로도, 피부 나이 및 피부 탄력도 중의 하나 이상을 포함하는 생체정보 추정 장치.
  14. 제1항에 있어서,
    상기 프로세서는
    복수의 맥파신호, 상기 복수의 맥파신호에 대응하는 복수의 힘신호를 학습데이터로 수집하고,
    상기 수집된 학습데이터를 이용하여 제1 입력값, 제2 입력값 및 제3 입력값을 획득하고, 획득된 제1 입력값, 제2 입력값 및 제3 입력값을 기초로 상기 제1 신경망 모델을 학습시키고, 상기 학습된 제1 신경망 모델에서 출력된 특징 벡터를 기초로 상기 제2 신경망 모델을 학습시키는 생체정보 추정 장치.
  15. 제14항에 있어서,
    외부 기기로부터 기준 생체정보를 학습데이터로 수신하는 통신부를 더 포함하는 생체정보 추정 장치.
  16. 피검체로부터 맥파신호 및, 피검체에 작용하는 힘신호를 측정하는 단계;
    상기 맥파신호를 기초로 제1 입력값을 획득하는 단계;
    상기 맥파신호 및 힘신호를 기초로 제2 입력값을 획득하는 단계;
    상기 힘신호를 기초로 제3 입력값을 획득하는 단계;
    상기 획득된 제1 입력값, 제2 입력값 및 제3 입력값을 제1 신경망 모델에 병렬로 입력하여 특징 벡터를 추출하는 단계; 및
    상기 추출된 특징 벡터를 제2 신경망 모델에 입력하여 생체정보를 획득하는 단계를 포함하고,
    상기 제1 입력값을 획득하는 단계는
    상기 맥파신호로부터 1차 미분신호 및 2차 미분신호를 생성하고, 상기 맥파신호, 1차 미분신호 및 2차 미분신호 중의 적어도 하나를 상기 제1 입력값으로 획득하고,
    상기 제2 입력값을 획득하는 단계는
    상기 힘신호를 이용하여 맥파신호 포락선, 1차 미분신호 포락선 및 2차 미분신호 포락선 중의 적어도 하나의 포락선을 생성하고, 생성된 포락선을 상기 제2 입력값으로 획득하며,
    상기 제3 입력값을 획득하는 단계는
    상기 맥파신호 및 상기 힘신호를 기초로 상기 제3 입력값을 획득하는 생체정보 추정 방법.
  17. 제16항에 있어서,
    상기 제1 신경망 모델은
    병렬로 배치되어 상기 제1 입력값, 제2 입력값 및 제3 입력값이 각각 입력되는 세 개의 신경망과, 상기 세 개의 신경망의 출력들을 입력으로 상기 특징 벡터를 출력하는 완전 연결 레이어(Fully connected layer)를 포함하는 생체정보 추정 방법.
  18. 제17항에 있어서,
    상기 세 개의 신경망 각각은
    컨볼루션 레이어(convolution layer), 배치 정규화(batch normalization), 활성화 함수(activation function) 및 풀링 레이어(pooling layer)를 포함하는 제1 블록과, 컨볼루션 레이어, 배치 정규화, 활성화 함수, 컨볼루션 레이어, 배치 정규화, 스킵 연결(skip connection) 및 활성화 함수를 포함하는 제2 블록을 포함하는 생체정보 추정 방법.
  19. 제16항에 있어서,
    상기 제2 신경망 모델은
    상기 특징 벡터를 입력으로 하는 제1 완전 연결 레이어 및 상기 제1 완전 연결 레이어의 출력을 입력으로 하여 생체정보를 출력하는 제2 완전 연결 레이어를 포함하는 생체정보 추정 방법.
  20. 제19항에 있어서,
    상기 제2 신경망 모델은
    사용자 특성 정보, 상기 맥파신호 및 힘신호 중의 적어도 하나를 기초로 추출된 추가 특징을 입력으로 하는 제3 완전 연결 레이어를 더 포함하고, 상기 제3 완전 연결 레이어의 출력은 상기 제2 완전 연결 레이어에 입력되는 생체정보 추정 방법.
  21. 삭제
  22. 삭제
  23. 삭제
  24. 제16항에 있어서,
    상기 제3 입력값을 획득하는 단계는
    상기 맥파신호 포락선에서 최대 진폭 지점에 해당하는 시간 지점을 포함한 기준점을 중심으로 소정 구간의 힘신호를 제3 입력값으로 획득하는 생체정보 추정 방법.
  25. 제16항에 있어서,
    사용자 특성 정보, 상기 맥파신호 및 힘신호 중의 적어도 하나를 기초로 추가 특징을 획득하는 단계를 더 포함하고,
    상기 생체정보를 획득하는 단계는
    상기 특징 벡터 및 상기 획득된 추가 특징을 제2 신경망 모델에 입력하여 생체정보를 획득하는 생체정보 추정 방법.
  26. 본체, 본체에 배치된 생체정보 추정 장치와 상기 생체정보 추정 장치의 처리 결과를 출력하는 출력장치를 포함하고,
    상기 생체정보 추정 장치는
    피검체로부터 맥파신호를 측정하는 맥파센서와, 피검체와 맥파센서 사이에 작용하는 힘신호를 측정하는 힘센서를 포함하는 센서장치; 및
    상기 맥파신호 및 힘신호를 기초로 제1 입력값, 제2 입력값 및 제3 입력값을 획득하고, 획득된 제1 입력값, 제2 입력값 및 제3 입력값을 제1 신경망 모델에 병렬로 입력하여 특징 벡터를 추출하며, 추출된 특징 벡터를 제2 신경망 모델에 입력하여 생체정보를 획득하는 프로세서를 포함하고,
    상기 프로세서는
    상기 맥파신호로부터 1차 미분신호 및 2차 미분신호를 생성하고, 상기 맥파신호, 1차 미분신호 및 2차 미분신호 중의 적어도 하나를 상기 제1 입력값으로 획득하고,
    상기 힘신호를 이용하여 맥파신호 포락선, 1차 미분신호 포락선 및 2차 미분신호 포락선 중의 적어도 하나의 포락선을 생성하고, 생성된 포락선을 상기 제2 입력값으로 획득하며,
    상기 맥파신호 및 상기 힘신호를 기초로 상기 제3 입력값을 획득하는 전자장치.
  27. 제26항에 있어서,
    상기 전자장치는
    시계 타입 웨어러블 기기, 이어(Ear) 타입 웨어러블 기기, 및 모바일 기기 중의 적어도 하나를 포함하는 전자장치.



KR1020210031320A 2021-03-10 2021-03-10 생체정보 추정 장치 및 방법 KR102569987B1 (ko)

Priority Applications (4)

Application Number Priority Date Filing Date Title
KR1020210031320A KR102569987B1 (ko) 2021-03-10 2021-03-10 생체정보 추정 장치 및 방법
US17/369,199 US20220287571A1 (en) 2021-03-10 2021-07-07 Apparatus and method for estimating bio-information
CN202110825920.7A CN115067896A (zh) 2021-03-10 2021-07-21 用于估计生物信息的设备和方法
EP21196633.8A EP4056108A1 (en) 2021-03-10 2021-09-14 Apparatus and method for estimating bio-information

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020210031320A KR102569987B1 (ko) 2021-03-10 2021-03-10 생체정보 추정 장치 및 방법

Publications (2)

Publication Number Publication Date
KR20220127406A KR20220127406A (ko) 2022-09-20
KR102569987B1 true KR102569987B1 (ko) 2023-08-24

Family

ID=77710710

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020210031320A KR102569987B1 (ko) 2021-03-10 2021-03-10 생체정보 추정 장치 및 방법

Country Status (4)

Country Link
US (1) US20220287571A1 (ko)
EP (1) EP4056108A1 (ko)
KR (1) KR102569987B1 (ko)
CN (1) CN115067896A (ko)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102661814B1 (ko) * 2023-01-30 2024-04-30 상명대학교산학협력단 생체 신호 추정 방법 및 장치

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20200015755A1 (en) * 2018-07-12 2020-01-16 The Chinese University Of Hong Kong Deep learning approach for long term, cuffless, and continuous arterial blood pressure estimation

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102605898B1 (ko) * 2018-07-13 2023-11-23 삼성전자주식회사 생체정보 측정 장치 및 방법
KR20200054723A (ko) * 2018-11-12 2020-05-20 삼성전자주식회사 혈압 측정 장치 및 방법
KR20210014305A (ko) * 2019-07-30 2021-02-09 삼성전자주식회사 생체정보 추정 장치 및 방법
CN111248883B (zh) * 2020-02-21 2022-08-02 乐普（北京）医疗器械股份有限公司 一种血压预测的方法和装置

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20200015755A1 (en) * 2018-07-12 2020-01-16 The Chinese University Of Hong Kong Deep learning approach for long term, cuffless, and continuous arterial blood pressure estimation

Also Published As

Publication number Publication date
KR20220127406A (ko) 2022-09-20
CN115067896A (zh) 2022-09-20
EP4056108A1 (en) 2022-09-14
US20220287571A1 (en) 2022-09-15

Similar Documents

Publication Publication Date Title
KR20230054821A (ko) 생체정보 측정 장치 및 방법
CN108968972B (zh) 柔性疲劳检测装置以及信息处理方法及装置
KR102569987B1 (ko) 생체정보 추정 장치 및 방법
EP4050885A1 (en) Apparatus and method for measuring multiple bio-signals using image sensor, and electronic device
US11538846B2 (en) Display, electronic device having the display, and method of estimating bio-information using the electronic device
US20230157645A1 (en) Apparatus and method for estimating bio-information
KR20220160283A (ko) 생체정보 추정 장치 및 방법
KR102564545B1 (ko) 생체정보 추정 장치 및 방법
KR102569988B1 (ko) 혈압 추정 장치 및 방법
KR102564546B1 (ko) 생체정보 추정 장치 및 방법
KR20220009672A (ko) 혈압 추정 장치 및 방법
EP4166070A1 (en) Method of evaluating quality of bio-signal and apparatus for estimating bio-information
KR20230149387A (ko) 혈압 추정 장치 및 방법
US11877858B2 (en) Apparatus and method for estimating bio-information
US20230056434A1 (en) Apparatus and method for estimating blood pressure
US20240115212A1 (en) Apparatus and method for estimating physiological variables
US20240081663A1 (en) Apparatus for estimating bio-information and method of detecting abnormal bio-signal
US20240172945A1 (en) Apparatus and method for estimating blood pressure
US20230139441A1 (en) Method of extracting representative waveform of bio-signal and apparatus for estimating bio-information
US20230190117A1 (en) Apparatus and method for estimating blood pressure
KR20230141161A (ko) 혈압 추정 장치 및 방법
KR20230096474A (ko) 혈압 추정 장치 및 방법과 혈압 추정을 위한 센서
KR20240080675A (ko) 혈압 추정 장치 및 방법

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right