KR101936784B1 - A method, an apparatus, and a computer-readable storage medium for measuring blood flow change from an image in a real time - Google Patents
A method, an apparatus, and a computer-readable storage medium for measuring blood flow change from an image in a real time Download PDFInfo
- Publication number
- KR101936784B1 KR101936784B1 KR1020160168285A KR20160168285A KR101936784B1 KR 101936784 B1 KR101936784 B1 KR 101936784B1 KR 1020160168285 A KR1020160168285 A KR 1020160168285A KR 20160168285 A KR20160168285 A KR 20160168285A KR 101936784 B1 KR101936784 B1 KR 101936784B1
- Authority
- KR
- South Korea
- Prior art keywords
- blood flow
- image
- real time
- change
- skin color
- Prior art date
Links
- 230000008859 change Effects 0.000 title claims abstract description 111
- 230000017531 blood circulation Effects 0.000 title claims abstract description 72
- 238000000034 method Methods 0.000 title claims abstract description 33
- 230000001815 facial effect Effects 0.000 claims abstract description 31
- 230000003044 adaptive effect Effects 0.000 claims description 29
- XUMBMVFBXHLACL-UHFFFAOYSA-N Melanin Chemical compound O=C1C(=O)C(C2=CNC3=C(C(C(=O)C4=C32)=O)C)=C2C4=CNC2=C1C XUMBMVFBXHLACL-UHFFFAOYSA-N 0.000 claims description 18
- 238000001914 filtration Methods 0.000 claims description 16
- 102000001554 Hemoglobins Human genes 0.000 claims description 12
- 108010054147 Hemoglobins Proteins 0.000 claims description 12
- 238000012545 processing Methods 0.000 claims description 12
- 238000005259 measurement Methods 0.000 claims description 7
- 238000000691 measurement method Methods 0.000 claims description 7
- 238000012937 correction Methods 0.000 claims description 6
- 238000012935 Averaging Methods 0.000 claims description 5
- 238000004590 computer program Methods 0.000 claims description 4
- 238000005070 sampling Methods 0.000 claims description 3
- 238000003384 imaging method Methods 0.000 claims 1
- 230000008569 process Effects 0.000 abstract description 8
- 238000004422 calculation algorithm Methods 0.000 description 8
- 238000010586 diagram Methods 0.000 description 6
- 238000013461 design Methods 0.000 description 4
- 230000014509 gene expression Effects 0.000 description 4
- 238000010521 absorption reaction Methods 0.000 description 2
- 230000008033 biological extinction Effects 0.000 description 2
- 208000016252 change in skin color Diseases 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 1
- 230000003247 decreasing effect Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000003745 diagnosis Methods 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 238000009499 grossing Methods 0.000 description 1
- 238000009532 heart rate measurement Methods 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 239000000049 pigment Substances 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 238000005316 response function Methods 0.000 description 1
- 238000000926 separation method Methods 0.000 description 1
- 230000003595 spectral effect Effects 0.000 description 1
- 238000002834 transmittance Methods 0.000 description 1
Images
Classifications
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/02—Detecting, measuring or recording pulse, heart rate, blood pressure or blood flow; Combined pulse/heart-rate/blood pressure determination; Evaluating a cardiovascular condition not otherwise provided for, e.g. using combinations of techniques provided for in this group with electrocardiography or electroauscultation; Heart catheters for measuring blood pressure
- A61B5/026—Measuring blood flow
- A61B5/0261—Measuring blood flow using optical means, e.g. infrared light
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/02—Detecting, measuring or recording pulse, heart rate, blood pressure or blood flow; Combined pulse/heart-rate/blood pressure determination; Evaluating a cardiovascular condition not otherwise provided for, e.g. using combinations of techniques provided for in this group with electrocardiography or electroauscultation; Heart catheters for measuring blood pressure
- A61B5/024—Detecting, measuring or recording pulse rate or heart rate
- A61B5/02405—Determining heart rate variability
-
- G06K9/00281—
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/90—Determination of colour characteristics
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/168—Feature extraction; Face representation
- G06V40/171—Local features and components; Facial parts ; Occluding parts, e.g. glasses; Geometrical relationships
Landscapes
- Health & Medical Sciences (AREA)
- Engineering & Computer Science (AREA)
- Life Sciences & Earth Sciences (AREA)
- Cardiology (AREA)
- Physics & Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- Surgery (AREA)
- Public Health (AREA)
- Biomedical Technology (AREA)
- Heart & Thoracic Surgery (AREA)
- Medical Informatics (AREA)
- Molecular Biology (AREA)
- Biophysics (AREA)
- Animal Behavior & Ethology (AREA)
- Physiology (AREA)
- Pathology (AREA)
- Veterinary Medicine (AREA)
- Computer Vision & Pattern Recognition (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Hematology (AREA)
- Human Computer Interaction (AREA)
- Multimedia (AREA)
- Measuring Pulse, Heart Rate, Blood Pressure Or Blood Flow (AREA)
Abstract
본 발명은 실시간으로 촬영되는 이미지로부터 혈류변화를 측정하기 위한 방법, 장치 및 컴퓨터 판독가능 저장 매체에 관한 것으로, 카메라 모듈을 통해 안면 이미지가 실시간으로 촬영되는 과정; 상기 안면 이미지로부터 피부색 변화량을 산출하는 과정; 및 상기 산출된 피부색 변화량으로부터 혈류변화 신호 및 혈류변화 이미지를 측정하는 과정을 포함한다. The present invention relates to a method, an apparatus, and a computer-readable storage medium for measuring a change in blood flow from an image captured in real time, comprising: a process of photographing a facial image in real time through a camera module; Calculating a skin color change amount from the facial image; And measuring a blood flow change signal and a blood flow change image from the calculated amount of skin color change.
Description
본 발명은 실시간으로 촬영되는 이미지로부터 혈류변화를 측정하기 위한 방법, 장치 및 컴퓨터 판독가능 저장 매체에 관한 것이다.The present invention relates to a method, an apparatus and a computer-readable storage medium for measuring a blood flow change from an image photographed in real time.
일반적으로 혈류변화나 심박수 등의 측정은 의료전문가가 진단 목적으로 이루어지는데, 병원과 같은 의료시설에서는 이러한 측정이 가능한 장비가 상시 구비되어 있다. 혈류변화나 심박수를 측정하기 위한 장비는 측정 객체를 검출하기 위한 센서를 부착하여야 한다는 단점이 있어, 장비가 설치된 현장에서만 측정이 이루어질 수 있다는 한계가 있었다.In general, blood flow changes and heart rate measurements are performed by a medical professional for diagnosis purposes. In a medical facility such as a hospital, equipment capable of such measurement is always available. The equipment for measuring blood flow change and heart rate has a disadvantage in that a sensor for detecting a measurement object has to be attached.
최근, 스마트폰 등의 사용자 단말기기의 사양이 발전하면서, 사용자는 스마트폰의 카메라를 사용하여 심박수를 간단하게 측정할 수 있는 기술들이 구현되어 응용프로그램 형태로 보급되어 있다. 그러나 이러한 응용프로그램에 의하더라도 1차원적인 심박수를 모니터링할 수 있지만 혈류변화 자체를 측정할 수 없다는 한계가 있었다.2. Description of the Related Art Recently, with the development of the specification of a user terminal such as a smart phone, a user is able to easily measure a heart rate using a camera of a smart phone, However, even with such an application, it is possible to monitor the one-dimensional heart rate, but there is a limitation that the blood flow change itself can not be measured.
본 발명은 카메라를 통해 실시간으로 촬영되는 안면 영상 이미지로부터 혈류변화를 실시간으로 측정하기 위한 목적을 구현하기 위한 것이다.The present invention is intended to realize a purpose of real-time measurement of a blood flow change from a facial image imaged in real time through a camera.
또한, 본 발명은 실시간으로 혈류 변화를 측정하기 위하여, 안면 영상 이미지로부터 피부색 변화량을 측정하며, 측정된 혈류변화로부터 심박수 변화를 측정하기 위한 것이다.In addition, the present invention measures a change in skin color from a facial image and measures a change in heart rate from a measured change in blood flow in order to measure changes in blood flow in real time.
본 발명에 따른 제1 양상에 의하면, 실시간 혈류변화 측정 방법이 개시된다. 상기 방법은, 카메라 모듈을 통해 안면 이미지가 실시간으로 촬영되는 제1 단계; 상기 안면 이미지로부터 피부색 변화량을 산출하는 제2 단계; 및 상기 산출된 피부색 변화량으로부터 혈류변화 신호 및 혈류변화 이미지를 측정하는 제3 단계를 포함한다. According to a first aspect of the present invention, a real-time blood flow change measurement method is disclosed. The method includes: a first step in which a facial image is photographed in real time through a camera module; A second step of calculating a skin color change amount from the facial image; And a third step of measuring a blood flow change signal and a blood flow change image from the calculated amount of skin color change.
상기 방법에서 상기 안면 이미지로부터 피부색 변화량을 산출하는 단계는, 램버트 비어(Lambert Beer) 법칙을 이용하여 멜라닌으로부터 기인한 인자, 헤모글로빈으로부터 기인한 인자, 및 잔여 인자로 구분되어 모델링됨으로써 이루어질 수 있다. In the method, the step of calculating the amount of skin color change from the facial image may be performed by modeling the skin color change by using a Lambert Beer rule, a factor caused by melanin, a factor derived from hemoglobin, and a residual factor.
한편, 피부색 변화량을 산출하는 제2 단계에 앞서, 상기 안면 이미지를 하향샘플링한 후 HSV 보정이 수행되는 단계를 추가로 포함할 수 있다. 그리고 상기 HSV 보정이 수행된 후, 피부색 변화량을 산출하는 제2 단계에서는, 적응형 필터링이 재귀적으로 적용됨으로써 상기 피부색 변화량 중 동잡음을 최소화시키는 단계로 구체화될 수 있으며, 여기서 상기 적응형 필터는, LMS(Least Mean Square) 필터, NLMS(Normalized LMS) 필터, 및 RLS(Recursive least square) 필터 중 임의의 하나일 수 있지만, 이에 국한되지는 아니한다.Alternatively, HSV correction may be performed after downsampling the facial image prior to the second step of calculating the skin color change amount. In the second step of calculating the amount of skin color change after the HSV correction is performed, the adaptive filtering may be recursively applied to minimize the motion noise among the skin color change amount, , A Least Mean Square (LMS) filter, a Normalized LMS (NLMS) filter, and a Recursive Least Squares (RLS) filter.
그리고 본 발명의 제1 양상에 의한 방법은, 상기 혈류변화 신호 및 상기 혈류변화 이미지로부터 심박수의 변화를 실시간으로 추정하는 단계를 더 포함할 수 있다.The method according to the first aspect of the present invention may further include estimating a change in heart rate from the blood flow change signal and the blood flow change image in real time.
또, 상기 혈류변화 신호 및 혈류변화 이미지를 측정하는 제3 단계는, 상기 산출된 피부색 변화량으로부터 헤모글로빈 변화량을 도출하는 단계; 상기 헤모글로빈 변화량에 대한 필터링을 수행하는 단계; 및 상기 필터링 결과에 대한 상향샘플링을 통해 혈류변화 이미지를 측정하며, 상기 필터링 결과에 대한 평균화 모듈을 통해 혈류변화 신호를 측정하는 단계로 구체화될 수 있다.The third step of measuring the blood flow change signal and the blood flow change image may include the steps of: deriving a hemoglobin change amount from the calculated skin color change amount; Performing filtering on the hemoglobin change amount; And measuring a blood flow change image through upsampling on the filtering result and measuring a blood flow change signal through an averaging module for the filtering result.
본 발명에 따른 제2 양상에 의하면, 실시간 혈류변화 측정을 위한 컴퓨터 프로그램이 기록된 컴퓨터 판독가능 저장 매체가 개시된다. 상기 컴퓨터 프로그램은, 실시간으로 카메라 모듈을 통하여 안면 이미지를 촬영하기 위한 명령어; 상기 안면 이미지로부터 피부색 변화량을 산출하기 위한 명령어; 및 상기 산출된 피부색 변화량으로부터 혈류변화 신호 및 혈류변화 이미지를 측정하기 위한 명령어를 포함한다. According to a second aspect of the present invention, a computer-readable storage medium storing a computer program for real-time blood flow change measurement is disclosed. The computer program comprising: instructions for capturing a facial image through a camera module in real time; Calculating a skin color change amount from the face image; And a command for measuring a blood flow change signal and a blood flow change image from the calculated amount of skin color change.
본 발명에 따른 제3 양상에 의하면, 실시간 혈류변화 측정 장치가 개시되는데, 상기 장치는, 안면 이미지를 실시간으로 촬영하기 위한 카메라 모듈; 및 상기 안면 이미지로부터 피부색 변화량을 산출하고, 상기 피부색 변화량으로부터 혈류변화 신호 및 혈류변화 이미지를 측정하기 위한 이미지 프로세싱 모듈;을 포함한다.According to a third aspect of the present invention, there is provided a device for measuring a real-time blood flow change, comprising: a camera module for photographing a facial image in real time; And an image processing module for calculating a skin color change amount from the facial image and measuring a blood flow change signal and a blood flow change image from the skin color change amount.
상기 이미지 프로세싱 모듈은, 램버트 비어(Lambert Beer) 법칙을 이용하여 멜라닌으로부터 기인한 인자, 헤모글로빈으로부터 기인한 인자, 및 잔여 인자로 구분되어 모델링함으로써, 상기 안면 이미지로부터 피부색 변화량을 산출할 수 있다.The image processing module can calculate the amount of skin color change from the facial image by modeling it by using a Lambert Beer law, a factor derived from melanin, a factor derived from hemoglobin, and a residual factor.
또, 상기 이미지 프로세싱 모듈은 피부색 변화량을 산출함에 있어서 연산량을 감소시키고 산출의 정확성을 높이기 위하여, 상기 안면 이미지를 하향 샘플링하기 위한 하향샘플링부; 상기 하향샘플링된 안면 이미지에 대한 HSV 보정을 수행하는 보정부; 및 가중치를 업데이트시킴으로써 상기 피부색 변화량 중 동잡음을 최소화시키기 위한 적응형 필터링부를 더 포함할 수 있다.The image processing module may further include a downsampling unit for downsampling the facial image in order to reduce the amount of computation and increase the accuracy of the computation in calculating the skin color change amount; A correcting unit for performing HSV correction on the downsampled facial image; And an adaptive filtering unit for minimizing dynamic noise among the skin color change amount by updating the weight.
상기 이미지 프로세싱 모듈은, 혈류변화이미지 및 혈류변화 신호를 도출하기 위하여 상기 적응형 필터링부를 거친 후, 혈류변화이미지를 도출하기 위한 상향샘플링부; 및 상기 적응형 필터링부를 거친 후, 혈류변화 신호를 도출하기 위한 평균화부를 더 포함할 수 있다.Wherein the image processing module comprises: an up-sampling unit for deriving a blood flow change image after passing through the adaptive filtering unit to derive a blood flow change image and a blood flow change signal; And an averaging unit for deriving a blood flow change signal after passing through the adaptive filtering unit.
본 발명에 의하면, 카메라 모듈에 의해 획득된 영상으로부터 피부색 변화량, 혈류변화 이미지 및 신호, 그리고 심박수 변화량을 실시간으로 측정할 수 있다.According to the present invention, the skin color change amount, blood flow change image and signal, and heart rate change amount can be measured in real time from the image obtained by the camera module.
특히, 본 발명에서 제안되는 방법 또는 알고리즘에 의하면, 얼굴에 대한 혈류변화를 실시간으로 측정함에 있어 연산량이 적고 그에 따른 하드웨어에 대한 부하가 낮기 때문에, 데이터 통신이 가능하고 실시간으로 사진촬영이 가능한 스마트폰과 같은 사용자 기기에 구현될 수 있다는 효과가 있다.Particularly, according to the method or algorithm proposed in the present invention, since a calculation amount in a real-time measurement of a blood flow change with respect to a face is low and a load on the hardware is accordingly low, a smart phone The present invention is not limited thereto.
본 발명이 속하는 기술분야에서 통상의 지식을 가진 자라면 본 발명에 따른 효과는 비단 전술된 사항에 국한되지 아니하고 폭넓게 인정될 수 있음을 인지할 것이다.Those skilled in the art will appreciate that the effects of the present invention are not limited to the above description and can be widely accepted.
도 1은 본 발명에 따른 실시간 혈류변화 측정 방법의 개략적인 순서도이다.
도 2는 본 발명에 따른 실시간 혈류변화 측정 장치의 블록도이다.
도 3은 본 발명에 따른 실시간 혈류변화 측정 방법, 장치 및 컴퓨터 판독가능 저장매체가 수행되는 알고리즘의 모식도이다.
도 4는 본 발명에 따른 실시간 혈류변화 측정 방법에 따른 실험 예를 설명하기 위한 이미지이다.
도 5는 본 발명에 따른 실시간 혈류변화 측정 방법에 사용된 적응형 필터의 종류에 따른 심박수 추정 결과를 실험적으로 비교한 그래프이다.1 is a schematic flow chart of a method for measuring real-time blood flow change according to the present invention.
2 is a block diagram of an apparatus for measuring real-time blood flow change according to the present invention.
3 is a schematic diagram of an algorithm for real time blood flow measurement according to the present invention, an apparatus and an algorithm in which a computer-readable storage medium is performed.
4 is an image for explaining an experimental example according to the real-time blood flow change measuring method according to the present invention.
FIG. 5 is a graph comparing experimental results of the heart rate estimation result according to the type of the adaptive filter used in the real-time blood flow variation measuring method according to the present invention.
본 명세서에 개시된 본 발명의 실시예에 대하여 특정한 구조적 내지 기능적 설명들은 단지 본 발명에 따른 실시 예를 설명하기 위한 목적으로 예시되며, 본 발명에 따른 실시예는 다양한 형태로 실시될 수 있으며 본 명세서 또는 출원에 설명된 실시 예들에 한정되는 것으로 해석되어서는 아니된다. Specific structural and functional descriptions of embodiments of the invention disclosed herein are merely illustrative for purposes of illustrating embodiments of the invention and that the embodiments according to the invention may be embodied in various forms, And should not be interpreted as being limited to the embodiments described in the application.
본 발명에 따른 실시예는 다양한 변경을 가할 수 있고 여러 가지 형태를 가질 수 있으므로 특정 실시예는 도면에 예시되어 본 명세서에 상세하게 설명하고자 한다. 그러나 이는 본 발명의 개념에 따른 실시예를 특정한 개시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다. Since the embodiments according to the present invention can make various changes and have various forms, specific embodiments are illustrated in the drawings and described in detail herein. It should be understood, however, that the embodiments according to the concepts of the present invention are not intended to be limited to any particular mode of disclosure, but rather all variations, equivalents, and alternatives falling within the spirit and scope of the present invention.
본 명세서에서 사용한 용어는 단지 특정한 실시 예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 명세서에서, '포함하다', '구비하다', '가지다' 등의 용어는 특정된 특징, 숫자, 단계, 동작, 구성요소, 부분, 요소 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부분품 또는 이들을 조합한 것들의 존재 또는 부가가능성을 미리 배제하지 않는 것으로 이해되어야 한다. The terminology used herein is for the purpose of describing particular embodiments only and is not intended to be limiting of the invention. The singular expressions include plural expressions unless the context clearly dictates otherwise. In this specification, terms such as "comprise," "include," "have," and the like, specify that there is a specified feature, number, step, operation, component, section, element, Steps, operations, elements, parts, or combinations thereof, whether or not explicitly described or implied by the accompanying claims.
다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미이다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥상 가지는 의미와 일치하는 의미인 것으로 해석되어야 하며, 본 명세서에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다. Unless otherwise defined, all terms used herein, including technical or scientific terms, have the same meaning as commonly understood by one of ordinary skill in the art to which this invention belongs. Terms such as those defined in commonly used dictionaries should be construed as meaning consistent with meaning in the context of the relevant art and are not to be construed as ideal or overly formal in meaning unless expressly defined herein .
이하, 첨부된 도면을 참조로 본 발명에 따른 실시간 혈류변화 측정 기법에 관하여 상세하게 설명된다.Hereinafter, a real-time blood flow measurement technique according to the present invention will be described in detail with reference to the accompanying drawings.
도 1은 본 발명에 따른 실시간 혈류변화 측정 방법의 개략적인 순서도이고, 도 2는 본 발명에 따른 실시간 혈류변화 측정 장치의 블록도이며, 도 3은 본 발명에 따른 실시간 혈류변화 측정 방법, 장치 및 컴퓨터 판독가능 저장매체가 수행되는 알고리즘의 모식도이다. 도 1에 따른 각각의 단계를 수행하는 주체와 관련하여, 실시간 혈류변화 측정 장치의 블록도인 도 2 및 알고리즘의 모식도인 도 3을 필요에 따라, 연계하여 설명된다.2 is a block diagram of an apparatus for measuring real-time blood flow change according to the present invention. FIG. 3 is a flowchart illustrating a method and apparatus for measuring real-time blood flow change according to the present invention. Lt; / RTI > is a schematic diagram of an algorithm in which a computer-readable storage medium is implemented. 2, which is a block diagram of an apparatus for measuring real-time blood flow change, and FIG. 3, a schematic diagram of an algorithm, in connection with a subject performing each step according to FIG.
도 1의 제1 단계로, 카메라 모듈(도 2의 10)을 통해 안면 이미지가 실시간으로 촬영되는데, 여기서 카메라 모듈(10)은 통상적으로 사용자 컴퓨터에 구비되는 웹캠일 수 있지만, 이미지 프로세싱이 국부적으로/원격으로 가능하며 이미지의 촬영이 실시간으로 가능하다면 어떠한 카메라 모듈이라도 총괄적으로 이에 해당할 수 있다.1, a facial image is captured in real time through a camera module 10 (FIG. 2), wherein the
도 1의 제2 단계로, 실시간으로 촬영된 안면 이미지로부터 피부색 변화량을 산출하며, 제3 단계로, 상기 산출된 피부색 변화량으로부터 혈류변화 신호 및 혈류변화 이미지가 측정될 수 있으며, 이러한 제2 및 제3 단계는 이미지 프로세싱 모듈(도 2의 20)에 의해 수행될 수 있다. 제2 단계인 피부색 변화량을 산출함에 있어, 본 발명에서는 실시간으로 촬영된/입력된 안면 이미지에 대해, 램버트 비어(Lambert beer) 법칙을 이용하여 멜라닌으로부터 기인한 인자 및 헤모글로빈으로부터 기인한 인자로 구분하여, 모델링이 이루어질 수 있다. In the second step of Fig. 1, the amount of skin color change is calculated from the facial image photographed in real time. In the third step, the blood flow change signal and the blood flow change image can be measured from the calculated amount of skin color change.
다만, 이처럼 램버트 비어 법칙을 적용하여 모델링이 수행됨에 수반되는 연산량을 줄이기 위해, 하향샘플링부(도 2의 21)는 상기 안면 이미지를 임의의 주파수로 하향 샘플링하는데, 예컨대 실시간으로 촬영된 이미지가 200 x 200라면, 샘플링 주파수에 따라 5 x 5, 20 x 20, 35 x 35, 50 x 50 등으로 하향샘플링 될 수 있으며, 이러한 실시예가 도 4에 설명된다. 도 4의 (a)와 같이 촬영된 안면 이미지에 대해, (d)와 같이 하향 샘플링된 예가 도시된다. 이처럼 하향샘플링 과정을 통해, 연산량을 감소시킬 수 있을 뿐 아니라 궁극적으로 혈류의 변화량을 자연스럽게(smoothing) 표현할 수 있다. 2) downsamples the facial image to an arbitrary frequency in order to reduce the amount of computation associated with modeling by applying the Lambert-Beer rule. For example, when the image taken in real time is 200 x 200, it can be down sampled to 5 x 5, 20 x 20, 35 x 35, 50 x 50, etc. depending on the sampling frequency, and this embodiment is illustrated in Fig. 4 (a), an example of downsampling is shown as (d) for a facial image imaged as shown in (a). Through the downsampling process, not only the amount of computation can be reduced, but also the amount of change in the blood flow can be expressed in a smoothing manner.
하향샘플링이 이루어진 후, 보정부(22)에 의해 HSV 보정이 이루어짐으로써, 강도(intensity)를 고르게 하여 동잡음 인자를 감소시킬 수 있는데, 이와 관련하여서는 램버트 비어 법칙에 따른 모델링을 설명하는 과정에서 추가로 기술된다.After the downsampling is performed, HSV correction is performed by the
다시, 램버트 비어 법칙에 따른 모델링과 관련하여 돌아와서 계속 설명된다. 임의의 빛이 피부에 도달하면, 주파수 대역에 따라 투광 정도가 달라질 수 있는데, 피부색의 변화량을 산출하기 위해 피부색을 결정하는 다양한 요소 중 (i) 멜라닌으로부터 기인한 인자, (ii) 헤모글로빈으로부터 기인하는 인자, 그리고 (iii) 잔여 부분으로 구분되어 모델링이 이루어지는 것이다. 이처럼 램버트 비어 법칙을 이용하여, 안면 이미지는 다음의 식 (1)과 같이 모델링이 이루어질 수 있다.Again, it comes back with modeling in accordance with Lambert-Beer's rule. When an arbitrary light reaches the skin, the degree of light transmittance may vary depending on the frequency band. In order to calculate the amount of change in the skin color, various factors that determine the skin color include (i) factors attributable to melanin, (ii) Factor, and (iii) residual. Using the Lambert-Beer law, the facial image can be modeled as shown in equation (1).
λ: 파장, n: 이산 시간 인덱스λ: wavelength, n: discrete time index
cm, ch: 색소(pigment) 농도c m , c h : pigment concentration
vm: 멜라닌의 흡광계수v m : extinction coefficient of melanin
vh: 헤모글로빈의 흡광계수v h : extinction coefficient of hemoglobin
A: 흡수율A: absorption rate
A0: 잔여(residual)A 0 : residual
식 (1)에 대하여, 흡수율 A를 입사광의 강도(E)와 투과광의 강도(L)로 표현한 
식 (2)의 사항을 모든 파장 대역과 안면 이미지의 전체 픽셀의 좌표인 x,y를 감안하여 적분함으로써, 식 (3)과 같이 표현될 수 있다.Expression (2) can be expressed as equation (3) by integrating all wavelength bands and x, y coordinates of all pixels of the facial image.
이에 대해, 스펙트럼 응답함수 S를 스펙트럼 응답 함수(spectral response function)을 크로넥커 델타 함수(Kronecker delta function)이라고 가정하고, 식 (3)의 L(x,y,λ,n)에 식 (2)의 사항을 적용하면, i(x,y,n)은 식 (4)와 같이 표현될 수 있다.On the other hand, suppose that the spectral response function S is Kronecker delta function and that L (x, y, λ, n) in Eq. (3) (X, y, n) can be expressed as Equation (4).
식 (4)를 자연로그 형으로 변형하고, G 및 E를 임의의 상수로 가정하면, 피부색의 변화량을 
식 (5)와 같이 정리된 피부색의 변화량에 대한 관계식 중에서 헤모글로빈으로부터 기인하는 인자의 변화량은, 멜라닌으로부터 기인한 인자 및 잔여 부분에 비하여 극히 미비하기 때문에, 아래의 식 (6)과 같이 근사화시킬 수 있다.Since the amount of change in the factor due to hemoglobin in the relational expression for the amount of change in skin color as summarized in Equation (5) is extremely small compared with the factor and remaining portion due to melanin, the approximation can be approximated as shown in Equation (6) have.
이처럼 멜라닌으로부터 기인한 인자 및 잔여 부분으로 표현되는 피부색 변화량 모델링에 대해, 사용자가 움직임으로 인한 잡음(동잡음)을 제거하기 위한 과정과 관련하여 설명된다.The modeling of the amount of skin color change represented by the melanin-attributable factor and the residual part is described in connection with a process for eliminating noise (motion artifact) due to movement by the user.
통상적인 적응형 필터는 잡음(noise)을 제거할 수 있는 것으로 알려져 있어, 이러한 적응형 필터(도 2의 적응형 필터부(25))를 본 발명에 적용함으로써 멜라닌으로부터 기인하는 인자 및 잔여 부분에 관한 동잡음을 감소시킬 수 있다. 본 발명에서 적응형 필터란 바람직하게는, LMS(least mean square), NLMS(normalized least mean square), RLS(recursive least square)일 수 있지만, 이에 제한되는 것은 아니다.A conventional adaptive filter is known to be capable of eliminating noise. By applying this adaptive filter (the
다시 말해, 적응형 필터에 따라 피부색 변화량에 동잡음의 영향을 최소화하는 최적의 혈류변화를 구할 수 있는 기반이 되는 것이다. 이러한 적응형 필터를 전체 픽셀에 대해 적용함으로써 혈류 변화를 실시간으로 추정할 수 있다. In other words, the adaptive filter is a basis for obtaining the optimal blood flow change minimizing the effect of motion noise on the amount of skin color change. By applying the adaptive filter to all the pixels, it is possible to estimate the blood flow change in real time.
다만, 안면 이미지의 전체 픽셀에 대한 적응형 필터 알고리즘을 적용하는 것은 연산량이 많아지고 그에 따라 하드웨어에 미치는 부하가 커지기 때문에, 적응형 필터 알고리즘에 앞서 하향 샘플링이 수행될 필요가 있다.However, applying the adaptive filter algorithm for all the pixels of the facial image requires a downsampling prior to the adaptive filter algorithm because the computational load increases and the load on the hardware increases.
입력된 안면 이미지에 대해 임의의 주파수로 하향샘플링(도 2의 21)을 한 후 HSV 수정 과정(도 2의 22)을 통하여, 강도(intensity)를 고르게 해주며, 움직임에 의한 변화분(즉, 동잡음)을 감소시키게 된다. 이렇게 도출된 결과에 대해 선형 시스템 및 적응형 필터를 거침으로써, 피부색 변화량을 도출할 수 있다. (21 in Fig. 2) at an arbitrary frequency with respect to the input facial image, then uniformizes the intensity through the HSV modification process (22 in Fig. 2) ). The linear color system and the adaptive filter are applied to the result, and the skin color change amount can be derived.
이러한 과정을 거쳐, 피부색 변화량에 대해 동잡음을 최소화하는 과정을 거친 후, (도 1에 표시된 제3 단계와 같이) 상기 산출된 피부색 변화량으로부터 필터링(예, IIR, median 등)을 거친 후 상향샘플링 과정(도 2의 상향샘플링부(24)에 의함)을 통하여 혈류변화이미지를 구할 수 있고, 필터링된 피부색 변화량에 대한 평균화 과정(도 2의 평균화부(25)에 의함)을 통해 혈류변화 신호를 산출할 수 있다.After a process of minimizing motion noise with respect to the amount of skin color change through such a process, filtering (e.g., IIR, median, etc.) is performed from the calculated amount of skin color change (as in the third step shown in FIG. 1) (By the
또한, 도 1에 표시된 제3 단계에 의해 산출된 혈류변화 신호 및 혈류변화 이미지로부터 심박수의 변화를 실시간으로 추정할 수 있는데, 본 발명에 따른 실시간 혈류변화 측정 방법에 사용된 적응형 필터의 종류에 따른 심박수 추정 결과를 실험적으로 비교한 그래프가 도 5와 같이 표현된다. 즉, 도 5의 상단에 RLS, LMS, NLMS에 따른 적응형 필터를 이용한 경우, 도 5의 하단에 표기된 선행 연구 기법(HR, REE, ICA, EVM)에 비하여 심박수의 추정에 따른 분포가 균일하게 이루어짐으로써, 본 발명에 의해 제안되는 기법의 정확성이 향상됨을 알 수 있다.In addition, the change in the heart rate can be estimated in real time from the blood flow change signal and the blood flow change image calculated by the third step shown in FIG. 1. In the real time blood flow change measuring method according to the present invention, FIG. 5 is a graph showing an experimental comparison of the heart rate estimation result. That is, when the adaptive filter according to the RLS, LMS, and NLMS is used at the upper part of FIG. 5, the distribution according to the estimation of the heart rate is more uniform than that of the prior research method (HR, REE, ICA, EVM) It can be seen that the accuracy of the technique proposed by the present invention is improved.
본 명세서에서 설명된 실시예들에 관한 예시적인 모듈, 로직 블록, 단계 또는 이들의 조합은 전자 하드웨어(코딩 등에 의해 설계되는 디지털 설계), 소프트웨어(프로그램 명령을 포함하는 다양한 형태의 애플리케이션) 또는 이들의 조합에 의해 구현될 수 있다. 하드웨어 및/또는 소프트웨어 중 어떠한 형태로 구현되는지는 사용자 단말에 부여되는 설계상의 제약에 따라 달라질 수 있다.Exemplary modules, logic blocks, steps, or combinations thereof in connection with the embodiments described herein may be implemented as electronic hardware (digital designs designed by coding or the like), software (various types of applications including program instructions) Can be implemented by a combination. Hardware, and / or software may vary depending on design constraints imposed on the user terminal.
일부 실시 양상에서는, 본 명세서에서 설명된 구성의 하나 이상은 컴퓨터 프로그램 명령으로서 메모리에 저장될 수 있는데, 이러한 컴퓨터 프로그램 명령은 디지털 신호 프로세서를 중심으로 본 명세서에서 설명된 방법을 실행할 수 있다. 본 명세서에 첨부된 도면을 참조하여 특정되는 컴포넌트 간의 연결 예는 단지 예시적인 것으로, 이들 중 적어도 일부는 생략될 수도 있고, 반대로 이들 컴포넌트뿐 아니라 추가적인 컴포넌트를 더 포함할 수 있음은 물론이다.In some implementations, one or more of the configurations described herein may be stored in memory as computer program instructions, which may execute the methods described herein, centering on a digital signal processor. It is to be understood that the connections between the components specified with reference to the drawings attached hereto are merely illustrative and at least some of them may be omitted or, conversely, may include additional components as well as these components.
본 명세서에서 설명된 실시예들에 관한 예시적인 모듈, 로직 블록, 수단, 단계 또는 이들의 조합은 전자 하드웨어(코딩 등에 의해 설계되는 디지털 설계), 소프트웨어(프로그램 명령을 포함하는 다양한 형태의 애플리케이션) 또는 이들의 조합에 의해 구현될 수 있다. 하드웨어 및/또는 소프트웨어 중 어떠한 형태로 구현되는지는 사용자 단말에 부여되는 설계상의 제약에 따라 달라질 수 있다.It should be understood that the example modules, logic blocks, means, steps or combinations thereof in connection with the embodiments described herein may be implemented as electronic hardware (digital designs designed by coding or the like), software (various types of applications including program instructions) Or a combination of these. Hardware, and / or software may vary depending on design constraints imposed on the user terminal.
이상의 설명은 본 발명의 기술 사상을 예시적으로 설명한 것에 불과한 것으로서, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자라면 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 다양한 수정 및 변형이 가능할 것이다. 따라서, 본 발명에 개시된 실시예들은 본 발명의 기술 사상을 한정하기 위한 것이 아니라 설명하기 위한 것이고, 이러한 실시예에 의하여 본 발명의 기술 사상의 범위가 한정되는 것은 아니다. 본 발명의 보호범위는 아래의 청구범위에 의하여 해석되어야 하며, 그와 동등한 범위 내에 있는 모든 기술 사상은 본 발명의 권리범위에 포함되는 것으로 해석되어야 할 것이다.The foregoing description is merely illustrative of the technical idea of the present invention, and various changes and modifications may be made by those skilled in the art without departing from the essential characteristics of the present invention. Therefore, the embodiments disclosed in the present invention are intended to illustrate rather than limit the scope of the present invention, and the scope of the technical idea of the present invention is not limited by these embodiments. The scope of protection of the present invention should be construed according to the following claims, and all technical ideas within the scope of equivalents should be construed as falling within the scope of the present invention.
Claims (13)
상기 촬영된 안면 이미지로부터 피부색 변화량을 산출하는 단계;
상기 산출된 피부색 변화량에 가중치를 갱신하며 적응형 필터를 재귀적으로 적용하는 단계; 및
상기 적응형 필터가 적용된 피부색 변화량으로부터 혈류변화 신호 및 혈류변화 이미지를 측정하는 단계를 포함하고,
상기 적응형 필터를 재귀적으로 적용하는 단계는,
재귀적으로, 상기 적응형 필터에서 출력된 출력값과 상기 산출된 피부색 변화량을 연관시킨 연관값을 산출하고, 상기 산출된 연관값을 상기 적응형 필터에 입력하는 단계를 포함하는,
실시간 혈류변화 측정 방법.
Photographing a face image in real time through a camera module;
Calculating a skin color change amount from the photographed face image;
Updating the weight to the calculated amount of skin color change and recursively applying an adaptive filter; And
Measuring a blood flow change signal and a blood flow change image from the skin color change amount to which the adaptive filter is applied,
Wherein recursively applying the adaptive filter comprises:
Recursively calculating an association value that associates the output value output from the adaptive filter with the calculated amount of skin color change and inputting the calculated association value to the adaptive filter,
Real time blood flow measurement method.
상기 안면 이미지로부터 피부색 변화량을 산출하는 단계는, 램버트 비어(Lambert Beer) 법칙을 이용하여 멜라닌으로부터 기인한 인자, 헤모글로빈으로부터 기인한 인자, 및 잔여 인자로 구분되어 모델링됨으로써 수행되는 것을 특징으로 하는,
실시간 혈류변화 측정 방법.
The method according to claim 1,
Wherein the step of calculating a skin color change amount from the facial image is performed by modeling the skin color change by using a Lambert Beer rule, a factor caused by melanin, a factor derived from hemoglobin, and a residual factor.
Real time blood flow measurement method.
상기 촬영되는 단계 이후, 상기 안면 이미지를 하향샘플링한 후 HSV 보정이 수행되는 단계를 추가로 포함하는,
실시간 혈류변화 측정 방법.
The method according to claim 1,
Further comprising the step of down sampling the facial image and then performing HSV correction after the step of imaging.
Real time blood flow measurement method.
상기 적응형 필터는, LMS(Least Mean Square) 필터, NLMS(Normalized LMS) 필터, 및 RLS(Recursive least square) 필터 중 임의의 하나인 것을 특징으로 하는, 실시간 혈류변화 측정 방법.
The method according to claim 1,
Wherein the adaptive filter is any one of an LMS (Least Mean Square) filter, an NLMS (Normalized LMS) filter, and an RLS (Recursive least square) filter.
상기 혈류변화 신호 및 상기 혈류변화 이미지로부터 심박수의 변화를 실시간으로 추정하는 단계를 더 포함하는,
실시간 혈류변화 측정 방법.
The method according to claim 1,
Further comprising estimating in real time a change in heart rate from the blood flow change signal and the blood flow change image,
Real time blood flow measurement method.
상기 혈류변화 신호 및 혈류변화 이미지를 측정하는 단계는,
상기 산출된 피부색 변화량으로부터 헤모글로빈 변화량을 도출하는 단계;
상기 헤모글로빈 변화량에 대한 필터링을 수행하는 단계; 및
상기 필터링 결과에 대한 상향샘플링을 통해 혈류변화 이미지를 측정하며, 상기 필터링 결과에 대한 평균 모듈을 통해 혈류변화 신호를 측정하는 단계;
를 더 포함하는,
실시간 혈류변화 측정 방법.
The method according to claim 1,
Measuring the blood flow change signal and the blood flow change image,
Deriving a hemoglobin change amount from the calculated amount of skin color change;
Performing filtering on the hemoglobin change amount; And
Measuring an image of blood flow change through upsampling on the filtering result and measuring a blood flow change signal through an average module for the filtering result;
≪ / RTI >
Real time blood flow measurement method.
A computer-readable storage medium for real-time blood flow measurement for recording a computer program for performing the method of claim 1.
상기 안면 이미지로부터 피부색 변화량을 산출하고, 상기 피부색 변화량으로부터 혈류변화 신호 및 혈류변화 이미지를 측정하기 위한 이미지 프로세싱 모듈을 포함하며,
상기 이미지 프로세싱 모듈은,
상기 안면 이미지에 포함된 전체 픽셀에 적응형 필터링을 재귀적으로 적용하는 적응형 필터링부를 포함하고,
상기 적응형 필터링부는,
재귀적으로 적응형 필터에서 출력된 출력값과 상기 산출된 피부색 변화량을 연관시킨 연관값을 산출하고, 상기 산출된 연관값을 상기 적응형 필터에 입력하는,
실시간 혈류변화 측정 장치.
A camera module for photographing a facial image in real time; And
And an image processing module for calculating a skin color change amount from the facial image and measuring a blood flow change signal and a blood flow change image from the skin color change amount,
The image processing module comprising:
And an adaptive filtering unit that recursively applies adaptive filtering to all the pixels included in the facial image,
Wherein the adaptive filtering unit comprises:
Calculating an association value associating an output value recursively output from the adaptive filter with the calculated amount of skin color change, and inputting the calculated association value to the adaptive filter;
Real time blood flow change measuring device.
상기 이미지 프로세싱 모듈은, 램버트 비어(Lambert Beer) 법칙을 이용하여 멜라닌으로부터 기인한 인자, 헤모글로빈으로부터 기인한 인자, 및 잔여 인자로 구분되어 모델링함으로써, 상기 안면 이미지로부터 피부색 변화량을 산출하는 것을 특징으로 하는,
실시간 혈류변화 측정 장치.
10. The method of claim 9,
Wherein the image processing module calculates a skin color change amount from the facial image by modeling the image processing module by using a Lambert Beer law, a factor derived from melanin, a factor derived from hemoglobin, and a residual factor, ,
Real time blood flow change measuring device.
상기 이미지 프로세싱 모듈은,
상기 안면 이미지를 하향 샘플링하기 위한 하향샘플링부; 및
상기 하향샘플링된 안면 이미지에 대한 HSV 보정을 수행하는 보정부를 더 포함하는, 실시간 혈류변화 측정 장치.
10. The method of claim 9,
The image processing module comprising:
A downsampling unit for downsampling the facial image; And
Further comprising a correcting unit for performing HSV correction on the downsampled facial image.
상기 이미지 프로세싱 모듈은,
상기 적응형 필터링부를 거친 후, 혈류변화이미지를 도출하기 위한 상향샘플링부; 및
상기 적응형 필터링부를 거친 후, 혈류변화 신호를 도출하기 위한 평균화부;
를 더 포함하는,
실시간 혈류변화 측정 장치.
10. The method of claim 9,
The image processing module comprising:
An upsampling unit for deriving a blood flow change image after passing through the adaptive filtering unit; And
An averaging unit for deriving a blood flow change signal after passing through the adaptive filtering unit;
≪ / RTI >
Real time blood flow change measuring device.
상기 적응형 필터는, LMS(Least Mean Square) 필터, NLMS(Normalized LMS) 필터, 또는 RLS(Recursive least square) 필터 중 임의의 하나인 것을 특징으로 하는,
실시간 혈류변화 측정 장치.
10. The method of claim 9,
Wherein the adaptive filter is any one of an LMS (Least Mean Square) filter, an NLMS (Normalized LMS) filter, and an RLS (Recursive least square) filter.
Real time blood flow change measuring device.
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020160168285A KR101936784B1 (en) | 2016-12-12 | 2016-12-12 | A method, an apparatus, and a computer-readable storage medium for measuring blood flow change from an image in a real time |
| US15/690,103 US20180070887A1 (en) | 2016-08-29 | 2017-08-29 | Blood pressure measuring device and blood pressure measuring method using the same |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020160168285A KR101936784B1 (en) | 2016-12-12 | 2016-12-12 | A method, an apparatus, and a computer-readable storage medium for measuring blood flow change from an image in a real time |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| KR20180067025A KR20180067025A (en) | 2018-06-20 |
| KR101936784B1 true KR101936784B1 (en) | 2019-01-09 |
Family
ID=62769856
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020160168285A KR101936784B1 (en) | 2016-08-29 | 2016-12-12 | A method, an apparatus, and a computer-readable storage medium for measuring blood flow change from an image in a real time |
Country Status (1)
| Country | Link |
|---|---|
| KR (1) | KR101936784B1 (en) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2020241912A1 (en) * | 2019-05-28 | 2020-12-03 | 정규민 | Service providing system and method using heart rate |
| KR102413034B1 (en) | 2021-12-17 | 2022-06-24 | (주)헬스케어다온 | Method and device for providing image of measurement result for blood flow change |
Families Citing this family (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR102267509B1 (en) | 2018-08-29 | 2021-06-21 | 연세대학교 원주산학협력단 | The method for measuring microcirculation in cochlea and the apparatus thereof |
| KR102542525B1 (en) * | 2022-04-07 | 2023-06-13 | 상명대학교산학협력단 | Method and apparatus for remote photoplethysmogram |
| CN116269285B (en) * | 2022-11-28 | 2024-05-28 | 电子科技大学 | Non-contact normalized heart rate variability estimation system |
Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2016526947A (en) * | 2014-05-07 | 2016-09-08 | コーニンクレッカ フィリップス エヌ ヴェＫｏｎｉｎｋｌｉｊｋｅ Ｐｈｉｌｉｐｓ Ｎ．Ｖ． | Apparatus, system and method for extracting physiological information |
Family Cites Families (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP4718025B2 (en) * | 2001-03-16 | 2011-07-06 | 保土谷化学工業株式会社 | Benzimidazole derivatives and organic electroluminescent devices |
| WO2013152066A1 (en) * | 2012-04-03 | 2013-10-10 | Mclean Hospital Corporation | System and method for evaluation of circulatory function |
| JP6214914B2 (en) * | 2013-04-26 | 2017-10-18 | 株式会社 資生堂 | Skin dullness evaluation apparatus, skin dullness evaluation method, and skin dullness evaluation program |
| US9282905B2 (en) | 2013-05-29 | 2016-03-15 | University Of Washington Through Its Center For Commercialization | Methods for laser speckle contrast imaging of blood perfusion |
| JP6349075B2 (en) * | 2013-11-22 | 2018-06-27 | 三星電子株式会社Ｓａｍｓｕｎｇ Ｅｌｅｃｔｒｏｎｉｃｓ Ｃｏ．，Ｌｔｄ． | Heart rate measuring device and heart rate measuring method |
| KR20160044387A (en) * | 2014-10-15 | 2016-04-25 | 계명대학교 산학협력단 | A non-contact heartbeat measurement device using camera of mobile device and a non-contact heartbeat measurement method using the same |
| KR20160109474A (en) * | 2015-03-11 | 2016-09-21 | (주)아이에스엠아이엔씨 | Method and apparatus for measuring a blood flow change of hypodermic vein |
-
2016
- 2016-12-12 KR KR1020160168285A patent/KR101936784B1/en active IP Right Grant
Patent Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2016526947A (en) * | 2014-05-07 | 2016-09-08 | コーニンクレッカ フィリップス エヌ ヴェＫｏｎｉｎｋｌｉｊｋｅ Ｐｈｉｌｉｐｓ Ｎ．Ｖ． | Apparatus, system and method for extracting physiological information |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2020241912A1 (en) * | 2019-05-28 | 2020-12-03 | 정규민 | Service providing system and method using heart rate |
| KR102413034B1 (en) | 2021-12-17 | 2022-06-24 | (주)헬스케어다온 | Method and device for providing image of measurement result for blood flow change |
Also Published As
| Publication number | Publication date |
|---|---|
| KR20180067025A (en) | 2018-06-20 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR101936784B1 (en) | A method, an apparatus, and a computer-readable storage medium for measuring blood flow change from an image in a real time | |
| AU2016201690B2 (en) | Method and system for noise cleaning of photoplethysmogram signals | |
| JP5374217B2 (en) | Image processing apparatus and method | |
| US9324153B2 (en) | Depth measurement apparatus, image pickup apparatus, depth measurement method, and depth measurement program | |
| JP5721936B2 (en) | How to evaluate the quality of a distorted version of a frame sequence | |
| CN107424133B (en) | Image defogging method and device, computer storage medium and mobile terminal | |
| US20180070887A1 (en) | Blood pressure measuring device and blood pressure measuring method using the same | |
| US10478079B2 (en) | Pulse estimation device, pulse estimation system, and pulse estimation method | |
| Park et al. | Remote pulse rate measurement from near-infrared videos | |
| EP2202684A1 (en) | Image processing device and program | |
| US20200337573A1 (en) | Biological information detection device, biological information detection method and non-transitory computer-readable storage medium for biological information detection | |
| US9307123B2 (en) | Noise reduction apparatus and noise reduction method | |
| CN111358455A (en) | Blood pressure prediction method and device with multiple data sources | |
| JP6927322B2 (en) | Pulse wave detector, pulse wave detection method, and program | |
| WO2014070273A1 (en) | Recursive conditional means image denoising | |
| KR101752560B1 (en) | Oxygen saturation measuring method using image and computer readable storage medium of recording oxygen saturation measuring method using image | |
| US20220015644A1 (en) | Fever Detector by Distant Multipixel Thermal Imaging | |
| CN110348425A (en) | Go the method, apparatus, equipment and computer readable storage medium of shading | |
| KR102284671B1 (en) | Method and apparatus for measuring blood pressure using skin images | |
| ITTO20100931A1 (en) | "PROCEDURE AND DEVICE TO CLEAR A DIGITAL VIDEO SIGNAL, ITS RELATED PRODUCT, FROM THE NOISE" | |
| CN108353169A (en) | Image processing apparatus, the pulse estimating system and image processing method for having the image processing apparatus | |
| US20220343517A1 (en) | Device, method and system for registering a first image frame and a second image frame | |
| JP6172641B2 (en) | Image filtering apparatus, image filtering method, and image filtering program | |
| CN115239569A (en) | Image vignetting removal method, panoramic image generation method and related equipment | |
| JP2021023490A (en) | Biological information detection device |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| E902 | Notification of reason for refusal | ||
| E701 | Decision to grant or registration of patent right | ||
| GRNT | Written decision to grant |